评测产品经理
发布时间:
岗位职责
1. 建设 Agent 评测体系:深入理解 Agent 在复杂真实场景下的能力边界,系统性构建涵盖多场景、多模态、多任务类型的评测方法论,将"效果好不好"转化为科学、可量化的能力度量体系。
2. Benchmark 研究与产出:持续跟踪国内外 Agent 评测领域前沿,主导设计具有挑战性与行业影响力的 Benchmark,推动在小米内外部建立影响力。
3. 数据驱动产品迭代:将评测洞察转化为高质量训练数据与产品优化方向,驱动产品与模型的持续演进。
4. 跨职能协同:作为评测方向的核心角色,与算法、产品、工程等多团队深度协作,以评测视角影响产品决策。
任职要求
1.基础要求
本科及以上学历,计算机、数学、统计或相关专业优先
5 年以上相关工作经验,有 AI 产品或大模型领域背景优先
对 Agent 技术方向有深入理解,能够独立判断评测方案的合理性与完整性
2.加分项
熟悉主流 LLM / Agent Benchmark,有独立研究或复现经验
有评测数据集构建或训练数据标注体系设计的实际经验
有车载、IoT、手机 AI 助手等 AI 场景的从业经历
3.素质要求
有强烈的产品直觉,能在技术语言与用户场景之间自由切换
主动性强,能在方向模糊的环境中自驱推进,有强目标感
对 AI 能力边界保持好奇心,热衷于深究"模型为什么在这里失败"