LLM 产品运营工程师

一、岗位定位 面向公司内部员工及业务系统，负责大模型网关的价格管理、用量计量、双向对账及成本治理。能够独立分析调用数据、定位计费问题，并通过脚本和系统工具实现运营自动化，提升价格与结算准确性，持续优化模型使用成本。 二、岗位职责 1、模型价格管理与双向对账； 负责模型采购价格与内部收费价格的维护、调价测算、配置验证及生效跟踪，建立价格版本和变更记录；独立完成供应商账单、网关调用明细与内部结算数据的核对，定位并推动解决用量、价格、折扣、缓存、重试及账期等差异，支持月度结算与账务调整。 2、计量与对账自动化； 使用 Python、SQL 等工具，独立开发和维护用量数据处理、价格校验、账单匹配、差异分析及报表生成流程；识别重复上报、数据遗漏、延迟和 usage 缺失等问题，建立可重复执行、可追溯的核算机制，持续减少人工操作。 3、缓存分析与模型成本优化； 基于真实调用日志，分析供应商 Prompt Caching 和网关缓存的适用场景、命中表现与实际收益，定位提示词结构、工具定义、上下文组织等因素造成的缓存问题；结合模型选型、重试与降级、上下文管理等手段推进优化，在效果、成功率及延迟约束下，量化验证单位任务成本的改善。 4、成本分析与运营报表； 建立模型、供应商、区域、团队及业务系统等维度的用量与成本分析，持续跟踪价格变化、预算执行、缓存收益、异常消耗和对账差异；输出日常监测及周期性运营报告，解释费用变化原因，形成有负责人、时间要求和验收结果的改进行动。 5、跨团队协作与实践沉淀； 对接供应商、采购、财务及业务团队，推动报价口径、资源供给、账单差异和成本问题解决；为重点业务提供计费、缓存及模型使用优化支持，沉淀操作规范、排障方法和使用指南。

1、相关工作经验； 3 年以上相关工作经验，具有大模型平台、云平台、API 开放平台、技术运营、成本治理或计费数据处理等背景。 2、扎实的数据处理与自动化能力； 熟练使用 SQL 和 Python，能够独立完成日志分析、数据清洗、跨来源数据核对、异常归因及自动化任务开发。具备数据完整性校验、重复数据处理、异常重跑和运行日志意识，能够验证处理结果的正确性。 3、计量、计费与成本分析能力； 具有用量计量、价格管理、账单核对、成本分摊或费用分析中的实际项目经验，能够清晰解释数据来源、计算规则、价格生效时间及差异原因；理解历史数据追溯、变更复核和账务调整的重要性。 4、大模型网关与接口理解能力； 理解大模型调用链路中的认证、限流、路由、缓存、重试、降级和计量机制，能够阅读 API 文档、调试模型接口并结合日志定位问题。了解 Token 计费、流式响应、usage、上下文窗口及缓存读写等概念；具备 LiteLLM、One API、Higress AI Gateway 等平台经验者优先； 5、加分项 独立建设过供应商对账、内部计费、价格管理或云成本治理工具，并投入实际使用； 有大模型缓存优化、Token 效率提升或模型成本治理经验，能够提供清晰的基线、实施过程和收益验证方法； 能利用 Codex、Claude Code、Cursor 等 AI 编程工具提升交付效率，并具备代码审查、测试和结果验证能力。