腾讯｜元宝—语音同传大模型方向研究实习
岗位职责
课题背景：
随着全球化沟通的发展需要，语言障碍一直是国际会议、商务谈判和学术交流等场景的挑战。语音同传技术正是为了打破这一语言障碍获得了快速的发展。从传统的级联技术方案到现阶段的端到端语音方案。另外近年来伴随大模型技术的快速发展，语音结合大模型的端到端技术方案也在不断的探索往前发展，本项目为了实现基于LLM的端到端语音同传技术，攻克同传模型中流式和同声等技术难点，最终实现低延时、高质量翻译和保留说话人音色等功能。
课题挑战：
1、实现低延时的同时保证翻译的质量，如何设计模型或者通过RL算法来动态决策听和译的时机权衡。
2、复杂场景下的翻译问题，如背景音、回声、混响、多人说话，口音和方言等复杂场景翻译问题。
3、专有名词和时新词的翻译准确性，如何利用context和RAG技术引入外部知识。
4、跨语种的翻译过程中翻译语序和源语言语音情感保留。
具体工作：
将参与端到端语音同传大模型的模型架构设计，预训练数据的清洗和基模的训练，context和RAG技术能力的建设，奖励函数和强化学习算法的研究，提升端到端语音同传大模型的效果。
任职要求
1、具有端到端语音建模、语音翻译、语音理解、语音合成转换、说话人识别等方向的研究经验；
2、具备一定的LLM理论基础和调优实践经验；
3、熟悉端到端语音大模型的训练和调优技术；
4、在Interspeech、ICASSP等会议中投稿者优先。
腾讯招聘实习生：元宝—语音同传大模型方向研究岗位来自腾讯招聘官网，具体内容以腾讯招聘官网为准。