中国移动｜算法开发岗（训练策略与数据工程）-金种子（北京）

1、研究跨领域（代码、数学、科学、多语言等）数据分布特性，设计数据混合配比、课程学习、动态采样策略，缓解能力跷跷板、灾难性遗忘等问题；搭建 “数据配比→能力画像” 可解释框架，实现模型能力精细化调控，开展数据采集、清洗、配比相关实验，保障训练数据质量； 2、开展自蒸馏与模型自演进方向研究，基于模型不同训练阶段、多粒度表征构建蒸馏信号，搭建无标注自监督蒸馏流水线，探索模型自我迭代增强的可持续演进方案； 3、设计并优化大模型相关算法，开发适配海量数据的训练与推理方案，持续提升模型实际场景效果；跟踪大模型训练策略、知识蒸馏、数据工程前沿方法，完成论文复现、算法验证与创新落地； 4、持续跟进 MiniLLM、DataComp、DoReMi 等领域前沿成果，探索原创训练与蒸馏范式，推动研究成果落地，配合跨部门开展协同研发工作。

1、博士学历，计算机、人工智能、机器学习、应用数学、自然语言处理等相关专业； 2、扎实深度学习与优化理论基础，深入理解 Transformer 架构，精通大模型预训练、后训练完整流程；熟练使用 Python 与 PyTorch，了解 TensorFlow，掌握 Megatron-LM、DeepSpeed、FSDP 等分布式训练框架，具备多机多卡调优经验； 3、熟悉各类知识蒸馏范式，掌握自蒸馏、多教师蒸馏等前沿方向；精通数据混合、课程学习、动态采样、数据质量评估相关方法； 4、具备大规模预训练数据 Pipeline 搭建经验，熟练开展多领域语料清洗、去重、分类与配比调优； 5、具备端到端工程落地能力，能够独立完成算法设计、实验验证，可通过 loss、梯度、评测指标诊断训练瓶颈； 6、具备良好问题解决、团队协作与跨部门沟通能力；在 NeurIPS、ICML、ICLR、ACL 等顶会发表训练策略 / 知识蒸馏 / 数据工程相关论文、参与千亿级模型训练蒸馏项目、拥有知名开源项目贡献者优先。