腾讯｜混元-预训练数据价值刻画研究实习

课题背景： 聚焦大语言模型预训练数据的价值刻画，覆盖中文、英文及典型小语种场景，结合大语言模型预训练核心逻辑，梳理数据价值维度、沉淀评估方法论，排查数据现存问题。 课题挑战： 1、数据低质分类多，低质/有价值区分度小，判定难度大； 2、什么样数据对于预训练有价值，难以详细定义标准，需要结合大量实验验证。 具体工作： 1、系统梳理预训练数据价值核心维度，重点围绕数据质量、领域覆盖率、领域分布均衡性等展开； 2、沉淀多语言场景下预训练数据价值评估方法论； 3、分析当前预训练数据在质量是否优质、数据是否冗余、领域分布倾斜等方面的核心问题； 4、完成简单数据样本实践验证。

1、计算机/软件工程等相关专业硕士以上学历，拥有博士学位者优先，熟悉python/c++编程语言，熟练掌握大数据技术栈，包括Hadoop/Spark等； 2、深入理解大语言模型预训练原理、预训练目标及数据构建流程，拥有发表顶会论文、大模型研究工作、知名竞赛获奖、顶级研究机构或一线互联网工作经验者优先； 3、研读足量相关核心论文，掌握预训练数据评估、多语言数据处理等相关研究成果； 4、具备基础科研分析能力，能梳理价值维度、沉淀可落地方法，精准识别数据问题。