大数据容量与运营专家
发布时间:
岗位职责
1.负责大数据离线/实时计算、OLAP、检索服务等组件的容量规划,建立年度、季度和月度滚动预测机制。
2.分析业务增长、数据规模、任务负载和资源消耗趋势,识别容量缺口及资源风险。
3.统筹离线计算、实时计算、湖仓、存储等资源的供需管理和容量协调。
4.建设容量运营指标体系,持续跟踪资源利用率、峰谷特征、闲置率、供需偏差和单位成本。
5.推动资源调度、弹性伸缩、混部、资源池化及异构算力利用,提升整体资源效率。
6.负责成本核算、预算管理和成本归因,形成面向部门、业务、项目及任务的成本视图。
7.识别低效任务、闲置资源和不合理配置,联合业务及技术团队推动专项优化。
8.参与服务器、存储及云资源规划,支持资源采购、部署节奏和架构选型决策。
9.建设容量管理平台和自动化运营工具,提升预测、预警、分析及治理效率。
10.建立容量风险预警及应急机制,保障重点业务和重大活动期间的资源供给。
任职要求
本科及以上学历,计算机、软件工程、数据科学或相关专业。
具有1年以上大数据平台、云平台、资源调度、基础设施或技术运营经验。
熟悉 YARN、HDFS、Spark、Flink、Kubernetes、ES、Starrocks等一种或多种技术。
理解大数据任务负载特征、资源调度机制及计算存储成本结构。
掌握容量预测、趋势分析、异常分析和成本建模方法。
具备较强的数据分析能力,能够使用 SQL、Python 或 BI 工具开展运营分析。
具备产品化思维,能够将容量治理规则沉淀为平台、流程和自动化能力。
具备较强的经营意识、风险意识及跨团队推动能力。