多模态大模型训练加速工程师-Data AML(北京/上海/杭州/深圳)
发布时间:
岗位职责
1、负责视频生成/图像生成/多模态等方向模型后训练加速,如SFT、RL、CT、LoRA任务的训练加速;
2、负责Seedance/Seedream模型训练的异构卡适配工作。
任职要求
1、有AI工程系统优化经验,深入理解计算机体系结构、熟悉视觉大模型的原理与分布式训练方法;
2、了解主流AIGC、多模态算法模型原理,有AIGC模型训练适配和加速经验优先;
3、熟悉PyTorch、Megatron、DeepSpeed等训练框架原理,与ZeRO、TP、SP等并行技术原理优先;
4、熟悉Gradient Checkpoint、Activation Offloading、通算融合、同算掩盖、低精度训练等加速技巧优先;
5、熟悉Triton、TileLang、Cute DSL等语言并具备相关技术优化经验,或熟悉Verl、OpenRLHF、TRL优先。