资深数据质量工程师(数据采集方向)
发布时间:
岗位职责
1.承接数据产品团队数据采集方案,协助采集团队进行采集实施并确保准确、高效地获取目标数据,同时保证数据的稳定性和准确性;
2. 针对从目标平台采集来的数据建立执行数据质控标准,保障数据准确、完整、一致、有效;开发自动化校验工具,落地数据传输和存储线上化方案;
3.优化数据采集至入库应用相关链路,运用大模型助力数据质量提升,对原始非结构化数据进行清洗加工并建立异常数据预警机制,夯实数据治理和预警能力;
4.结合数据特点与业务应用需求,设计数据质量和稳定性方案,针对数据异动建设应急响应机制,协同上下游完善数据链路中数据传输、数据预警和数据治理的标准化SOP落地;
任职要求
1.3年以上数据治理、数据采集相关经验,精通数据库设计、开发与优化,熟悉数据爬虫场景的数据治理与数据质量建设者优先;
2.有数据采集技术或数据采集项目管理相关经验,能够设计高效的数据采集方案,有参与过多个大型平台采集和数据质量建设者优先;
3.具备强大的问题解决能力,具备新技术自研自学意愿,是AI产品深度用户,善用AI提升工作效率。能够快速适应不同的采集工程任务和挑战;
4.具备良好的沟通能力和团队合作精神,能够与不同背景的人员进行有效的沟通和协作,有过团队管理经验者优先;