腾讯｜元宝—语音生成大模型方向研究实习
岗位职责
课题背景：
语音交互在元宝产品交互中扮演重要的角色，为了打造极致的用户交互体验，需要研发基于大模型的端到端语音生成技术，优化语音的自然度和流畅性。通过更先进的端到端语音大模型，使合成的语音将更加接近人类的真实语音。另外还需支持更多的语言和方言，使得不同语言背景的用户都能够享受到高质量的语音服务。未来的语音合成技术将允许用户进行个性化定制，用户可以根据自己的喜好选择合成语音的音色、语速和情感，从而提升用户体验。
课题挑战：
1、根据语义内容来推理生成相对应场景语音的风格和情感。
2、多人对话语音生成，解决交替说话过程中语气正常切换问题。
3、基于LLM的TTS模型幻觉问题，如错读和漏读等问题。
4、通过文本指令精准控制语音生成的风格，情感等。
5、设计RL算法同时保证生成语音的准确性和情感化。
6、多方言和多语种如何构建统一的语音生成大模型。
具体工作：
将参与语音生成大模型架构设计，预训练数据的清洗和基模的训练，tokenizer的设计和训练，instruct语音生成数据建设和算法优化，speech reward模型的建设和强化学习算法的研究，探索基于连续语音表征的技术方案，提升语音生成大模型的效果。
任职要求
1、具有语音合成、语音转换等方向的研究经验；
2、具备一定的LLM理论基础和调优实践经验；
3、熟悉语音大模型的训练和调优技术；
4、在Interspeech、ICASSP等会议中投稿者优先。
腾讯招聘实习生：元宝—语音生成大模型方向研究岗位来自腾讯招聘官网，具体内容以腾讯招聘官网为准。