字节跳动｜Agent数据分析产品实习生 - 火山方舟

团队介绍：火山方舟是火山引擎推出的一站式大模型服务平台，是中国大模型市场产品和份额领跑者。平台提供模型推理、评测、精调等全流程服务。方舟搭载了豆包及业界主流大模型，提供丰富的插件生态和AI应用开发服务，并通过稳定可靠的安全互信方案、专业的算法技术服务，全方位保障企业级AI应用落地。 日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 1、Agent可观测性数据分析；参与构建Agent可观测性数据体系，围绕Agent执行轨迹、工具调用、阶段编排、Token消耗等关键节点，基于ClickHouse、SQL完成海量链路数据的清洗、统计与专题分析，产出BI可视化看板； 2、评估数据集构造与治理；根据评测场景，协助构造结构化与非结构化评测集（工具调用序列、执行计划、Agent产出物、对抗性输入等），维护版本化与可追溯性，沉淀可复用的数据构造脚本与“Golden Set”评测基线； 3、Agent产出评估与标注闭环；对Agent输出（代码、文档、执行计划、工具调用序列等）进行结构化评估与打分，参与评估规则制定与迭代；校准人审与自动化指标（LLM-as-a-Judge）的一致性，沉淀标注样本集，支撑自动化评测与回归； 4、失败模式归类与根因分析；基于Trace、Metric、Log，定位Agent链路上的埋点缺陷、断点与异常行为（工具调用失败、编排卡顿、幻觉、超时等），把发现的问题转化为可执行的诊断结论，反向驱动Agent迭代； 5、评估工具链协同；协助完善评估平台、数据管理与可观测性工具链，提升评测构造、标注与看板搭建的效率。

1、本科及以上学历在读，计算机科学、软件工程、人工智能、统计、数学、信息管理等相关专业优先； 2、具备扎实的数据分析能力，熟悉SQL与数据可视化工具（Tableau/PowerBI/FineBI或内部BI）；了解基本的实验设计与指标分析方法； 3、熟练掌握Python/TypeScript/Java任一语言，具备扎实的编程基础与脚本编写能力；熟悉Linux常用命令、基本数据结构与算法； 4、对LLM/Agent有浓厚兴趣，了解Tool Use、Prompt Engineering、RAG、Function-Calling、Agent编排等基本概念； 5、良好的需求拆解与文档能力，逻辑清晰，善于跨团队沟通协作；自驱学习，责任心强； 6、熟悉ClickHouse/Doris/StarRocks等OLAP引擎之一，有海量数据查询与优化经验；了解可观测性相关概念（分布式追踪Trace/Metric/Log，或OpenTelemetry等）；有软件测试、评测集构造、数据标注、自动化评测（LLM-as-a-Judge、Golden Set）等相关经验；有NLP、文本挖掘、意图分析、统计建模相关项目/论文，或熟悉Flink/Spark/Kafka等大数据引擎之一；有AI编程工具、Agent框架（LangChain/LangGraph/AutoGen等）实践经历。