小红书｜Dots-【Ace顶尖实习生】探索大模型预训练更加高效的scaling效率优化

本课题的研究目标是研发更高效的预训练scaling效率，通过数据策略、模型结构设计(Dense, MoE, Long Context等)、初始化&优化器策略、学习范式的创新，深度理解模型的学习机制和评估方法，能够更精准的预测模型行为，并持续提升模型预训练从算力&数据到智能的转化效率。

1、不限年级，本科及以上在读，计算机/人工智能/软件工程等相关专业优先； 2、优秀的代码能力、数据结构和基础算法功底，熟练掌握至少一门编程语言，包括但不限于Python等； 3、有LLM/MLLM等多模态理解技术背景，或大规模模型训练实际项目经验者优先； 4、在TPAMI/CVPR/NeurIPS/ICCV/ICML/ICLR等顶级期刊会议上发表相关论文者优先； 5、良好的沟通协作能力，责任心强，积极主动，能和团队一起探索新技术，推进技术进步。