小红书｜【Ace顶尖实习生】基于Diffusion LLM的基座大模型研究

在搜索等实际线上业务中，推理速度限定了线上可用的模型大小以及可达效果，当前的基于transformer架构的大模型基座在推理速度上存在系统性瓶颈。本课题探索基于创新框架，如diffusion LLM和linear attention model的大模型基座范式，从数据、模型预训练、后训练、AI Infra、评测等方向探索模型效果极限。

1、不限年级，本科及以上在读，计算机/人工智能/软件工程等相关专业优先； 2、扎实的编程能力和算法功底，熟练掌握Python/C++/Java等至少一种编程语言； 3、扎实的机器学习/深度学习理论基础，有大规模推荐系统、计算广告、搜索引擎等核心算法项目经验； 3、有LLM/MLLM等多模态理解技术背景，或大规模模型训练实际项目经验者优先； 5、在TPAMI/CVPR/NeurIPS/ICCV/ICML/ICLR等顶级期刊会议上发表相关论文者优先； 6、在顶级学术会议或期刊发表论文，或ACM编程竞赛/机器学习等竞赛获奖； 7、良好的沟通协作能力，责任心强，积极主动，能和团队一起探索新技术，推进技术进步。