腾讯｜广告大模型推理基础技术研究实习

课题背景： 受大语言模型成功的启发，业界针对推荐模型的scaling law进行了多代探索，持续增加模型参数规模和计算量，探索实现性能的持续提升。 早期工作主要集中于单纯扩大模型宽度或交互层参数，缺乏深思熟虑的架构设计，限制了推荐领域的实际效果。 后续如Wukong等尝试，通过设计更精细的模型结构并进行Scale，取得一定进展，但往往忽略了与硬件协同的设计与优化，导致性能未能达到最优。 因此数据计算平台部，围绕推荐前沿模型探索，深入模型和硬件协同技术，探索推理基础技术的创新。 课题挑战： 1、极致推理性能要求，随着模型scaling，稠密部分的不断扩大，同时保障推荐场景苛刻的低延迟SLA要求，同时最大化推理吞吐； 2、针对不同硬件架构，通过灵活的图编译引擎、高性能融合算子框架、并行/缓存基础设施等，实现多平台算力利用最大化； 3、极致迭代效率要求，满足快速模型迭代中，对自定义算子、高性能融合算子等开发效率要求。 具体工作： 1、与算法、系统等团队紧密协作，对推理基础技术进行CoDesign； 2、新一代推荐系统架构探索，打破传统PS架构瓶颈，并扩展支持长序列、生成式等多种模型； 3、针对广告场景特征，通过AI辅助、融合算子框架、DSL等创新，实现高性能融合算子开发方案。

1、机器学习或者体系结构相关顶会论文优先； 2、机器学习头部开源项目经验优先； 3、熟悉推荐算法或推荐系统架构经验优先。 【加分项或注意事项】 此课题同时招聘应届实习生和低年级实习生。