⚠️ 该岗位已下线
此岗位在招聘官网已不再展示，可能已招满或关闭。以下信息为历史存档，仅供参考；请返回首页查看最新在招岗位。
此岗位在招聘官网已不再展示，可能已招满或关闭。以下信息为历史存档，仅供参考；请返回首页查看最新在招岗位。
AI基建-大模型推理框架开发工程师
发布时间：
岗位职责
- 负责基于 vLLM、SGLang 等技术的大模型推理框架的开发工作，包括但不限于设计和实现高效的推理引擎架构，优化推理过程中的计算流程，提高推理性能，以满足不同规模大模型的实时推理需求
- 复杂大模型框架性能评估和调优工作，构建并完善性能监控体系，通过实时监测训练指标，定位性能瓶颈，提出优化方案，确保在不同硬件上达到最优性能。
- 负责Cuda Kernel优化，开发高性能的GPU算子, 提升大模型推理性能
任职要求
- 硕士及以上学历，计算机、软件工程、数学等相关专业，具备扎实计算机理论基础和丰富编程经验，在深度学习领域有深入研究与实践。
- 精通 Python，熟练掌握至少一种深度学习框架（如 PyTorch），理解深度学习原理算法，有丰富模型开发与调优经验，能独立搭建复杂模型并优化性能。
- 熟悉 C++ 和 CUDA 编程，具备代码优化能力，能针对 GPU 等硬件高效编写和优化代码，了解硬件体系结构并进行针对性优化。
- 熟悉大模型推理框架的基本原理和流程，了解 vLLM、SGLang 等大模型推理框架的核心技术和实现优先
- 有良好团队协作与沟通能力，能与不同背景成员有效沟通协作，责任心强、敬业热情，能承受工作压力，保证项目按时高质量交付。