腾讯｜边缘分布式推理实习
岗位职责
课题背景：
当前，EdgeOne在MoE 大语言边缘推理系统、通用边缘推理系统方向，在全球分布的边缘节点增加 AI 推理能力，补充开发者生态能力。在传输协议领域的优化，研究超大规模分布式节点和流量的传输优化机制，推动传输协议和系统的发展，迎接业界复杂网络和多态业务的挑战。
这些既是其技术壁垒的核心，也是推动行业发展的关键课题，亟需高阶人才加入以应对重大技术挑战与创新机遇。
课题挑战：
需要结合边缘算力的特点，设计调度系统、分布式并行推理架构，充分利用机房的通信、硬盘、加速卡等设施，实现行业领先的大语言推理系统；将缓存、传输等优化方案应用至 CDN 领域，形成新的边缘云基础设施；应对大规模长尾模型对显存资源的使用，实现超高速的模型加载和卸载，并实现对模型推理的通用性能优化。
具体工作：
设计调度系统、分布式并行推理架构，充分利用机房的通信、硬盘、加速卡等设施，实现行业领先的大语言推理系统。
任职要求
学历和专业要求：
计算机、体系结构或人工智能等相关专业博士。
技能要求：
熟悉GPU架构，熟悉SGLang/vLLM/PyTorch等常用框架/推理引擎，了解Transformer等常用模型结构和常用的模型推理性能优化手段。
腾讯招聘实习生：边缘分布式推理岗位来自腾讯招聘官网，具体内容以腾讯招聘官网为准。