小红书｜预训练算法实习生_模型结构
岗位职责
1. 与 Infra 团队深度协作，结合模型训练与推理瓶颈，深度参与大语言模型（LLM）的架构设计及迭代优化
2. 探索模型高效 Scaling 技术及新的Scaling方向（如 Context Scaling、Parameter Scaling 等），探索下一代 GPU 推理友好的模型结构与算法
3. 探索方向涵盖但不限于 Attention 机制、MoE 机制、优化器策略及学习范式创新
任职要求
- 基本要求
1. 本科及以上在读（年级不限），人工智能、计算机、自动化、数学等相关专业优先，懂infra的算法同学.
2. 具备出色的代码实现能力与扎实的算法功底：熟练运用 PyTorch 框架；拥有坚实的大模型基础知识（如掌握 CS336 课程核心内容，熟悉大模型精度问题、常见模型并行原理实现及推理优化方法)
3. 在大模型领域具备丰富实战经验，熟悉常见大模型结构及改进方案，在LLM某一算法方向有深入实践，具备创新研究能力
4. 具备良好的沟通协作能力，责任心强，积极主动，乐于挑战，能与团队共同探索新技术、推进技术进步
- 加分项
1. 发表过具有一定影响力的学术论文
2. 深度参与知名开源 LLM 项目
3. 熟悉 Triton 或 CUDA，并具备性能分析能力（如具有编写 FlashAttention 的能力）
4. 有 ACM/ICPC、IOI/NOI、Topcoder 等算法竞赛获奖经历
小红书招聘实习生：预训练算法实习生_模型结构岗位来自小红书招聘官网，具体内容以小红书招聘官网为准。