字节跳动｜【实习】Agentic RL For Long Horizon Task-剪映数据与智能团队

团队介绍：剪映数据与智能团队旨在通过 AI 技术赋能剪映系产品，构建强大的算法能力壁垒。作为剪映系内的算法团队，负责推动整个业务在算法上的迭代与创新，为剪映、CapCut、即梦dreamina、Pippit、醒图等产品提供智能化支持。 课题介绍： Seedance2.0发布后，创作Agent进入深水区，无论是漫剧/短剧/视频/图片都有新的飞跃，为了快速满足用户高质量的创作需求，尤其是超过15s的成片，需要一个涉及多轮Function Call的创作Agent去完成，涉及大量工具的调用，包括不限于意图，分镜，创意，故事性，故事版等。我们打造基于Agentic RL的Agent赋能业务。 Agentic RL在训练 Long-Horizon Tasks有一系列核心难点，本质上比传统RL更复杂，“Agent”不仅要行动，还要规划、分解任务、记忆上下文。 具体难点： 1、Sparse Rewards； 2、Credit Assignment； 3、Planning & Decomposition； 4、Huge State Space； 5、Memory； 6、Exploration； 7、Optimization Difficulty； 8、复杂的Agent交互环境 我们需要解决Agentic RL在多轮Function Call，多个Tools和Skills下的长任务训练问题。 课题挑战： 1、Sparse Rewards a、稀疏奖励，如何设计合理的奖励 2、Credit Assignment a、如何解决信用分配问题 3、Planning & Decomposition a、如何拆解子目标 b、子目标的合理性 4、复杂的Agent交互环境 a、特别长的上下文 b、很多的Tools or Skills 5、训练的稳定性 a、同步、异步RL b、Rollout效率 课题价值： 技术价值： Agentic RL在Long Horizon Task是业内公认的难题，是处理复杂任务，Agent任务必须要攻克的难题，是提升大模型Agent效果上限的关键难题。 业务价值： 1、Long Horizon Task的解决会极大提升剪映各创作agent在处理长任务时的效果，使自研模型对比基座取得行业SOTA； 2、该技术的突破，可以落地更多更复杂的业务场景，尤其对目前的Sandbox Skill等架构有天然的适配。