腾讯｜微信读书-长文本处理技术研究实习

课题背景： 尽管大语言模型（LLM）近期在意图识别与指令遵循等任务上表现卓越，但在超长文本处理领域仍面临严峻的技术瓶颈。 首先，基于Transformer架构的模型，其计算与存储复杂度随序列长度呈平方级增长，导致在扩展至长文本时资源开销急剧攀升； 其次，在超长上下文中，注意力机制往往难以精准捕捉长距离依赖关系，出现“迷失中间（Lost in the Middle）”现象，严重削弱了知识捕获与推理能力。 具体到微信读书的应用场景，需处理的对象为整本图书，其文本长度常达百万甚至千万字级别。如何在如此巨大的篇幅下实现高效、通用的长上下文理解，并建立科学的评测体系，已成为连接前沿模型能力与实际工业应用的关键研究课题。 课题挑战： 1、如何对海量的书籍正文进行快速预处理，并将其与用户生成内容（UGC，如书评、想法）进行深度融合，构建适应性强的知识表征，以高效支持知识问答、书籍评价、多维分类及剧透检测等多元化下游任务。 2、针对超长序列带来的计算瓶颈，如何从算法与系统层面进行协同优化（如改进注意力机制、显存优化等），在保证模型性能的前提下，显著降低训练与推理阶段的计算资源消耗与时间延迟。 3、如何设计一套客观、全面的评测基准，有效量化大模型在超长上下文中的信息提取准确度与逻辑推理能力，重点解决长文本生成中常见的“幻觉”问题，确保模型输出的忠实度与可靠性。 具体工作： 本课题将深入微信读书核心业务场景，依托平台高质量文本数据，开展数据驱动与算法创新相结合的深层研究。针对特定业务任务，开展包括训练范式改进（如长序列训练稳定性优化）、推理加速（如KV Cache优化、线性Attention机制）以及系统级框架设计（如检索增强生成RAG架构）在内的多样化研究；构建面向书籍理解的前沿评测基准（Benchmark），确保技术指标的科学性；研究成果可直接部署于实际生产环境，显著提升微信读书用户的阅读与交互体验。

1、计算机、人工智能等相关专业硕士及以上学历，博士优先。 2、深厚的 NLP 理论基础，熟悉 Transformer 架构细节，熟练掌握 PyTorch深度学习框架，具备优秀的编程能力。 3、有长文本处理（Long Context LLM）相关研究经验，有RAG（检索增强生成）、向量数据库、知识图谱融合相关项目经验者优先。 加分项： 1、在 ACL, EMNLP, ICLR, NeurIPS, ICML 等顶级会议发表过相关论文者优先。 2、有 HuggingFace 开源项目贡献或 GitHub 高星项目者优先。