
中国电信人工智能研究院|大模型训练框架调优实习生
岗位职责
:
1. 参与TeleAI训练框架研发,负责生成式智能传输、多模态生成、多模态理解、VLA等模型训练任务在分布式训练场景的效率提升;
2. 在分布式训练场景下,探索高性能分布式系统设计和实现,包括且不限于多维混合并行联合优化、计算通信掩盖、专家并行负载均衡等,有顶会科研论文发表机会
任职要求
职位要求:
1. 扎实系统功底和编程能力,熟悉 C++/Python,熟悉常见数据结构和设计模式;
2. 熟悉深度学习基本原理和 PyTorch 框架;
3. 熟悉Megatron/DeepSpeed/FSDP等分布式训练框架,了解框架优化/问题定位相关工具链,会使用Nsight Systems等工具分析分布式训练效率瓶颈;
4. 具备cuda算子或通信优化经验 (CUDA/NCCL/ThunderKittens等),会使用Nsight Compute等工具分析算子效率瓶颈;
6. 热爱技术、学习能力强、具备复杂问题分析和系统思维能力。
中国电信人工智能研究院招聘实习生:大模型训练框架调优实习生岗位来自中国电信人工智能研究院招聘官网,具体内容以中国电信人工智能研究院招聘官网为准。
