招聘信息分享 招聘信息分享 ← 返回岗位列表

多模态大模型训练加速工程师-Data AML(北京/上海/杭州/深圳)

字节跳动📍上海研发正式
发布时间:

岗位职责

1、负责视频生成/图像生成/多模态等方向模型后训练加速,如SFT、RL、CT、LoRA任务的训练加速; 2、负责Seedance/Seedream模型训练的异构卡适配工作。

任职要求

1、有AI工程系统优化经验,深入理解计算机体系结构、熟悉视觉大模型的原理与分布式训练方法; 2、了解主流AIGC、多模态算法模型原理,有AIGC模型训练适配和加速经验优先; 3、熟悉PyTorch、Megatron、DeepSpeed等训练框架原理,与ZeRO、TP、SP等并行技术原理优先; 4、熟悉Gradient Checkpoint、Activation Offloading、通算融合、同算掩盖、低精度训练等加速技巧优先; 5、熟悉Triton、TileLang、Cute DSL等语言并具备相关技术优化经验,或熟悉Verl、OpenRLHF、TRL优先。
前往官网申请 →