
智元|多模态交互算法工程师-X-Lab
岗位职责
1. 训练流水线建设: 搭建与维护多模态模型训练 Pipeline(涵盖数据预处理、实验追踪、Checkpoint 管理与回归评测),支持音视频、状态序列等多模态输入。
2. Teacher-Student 蒸馏: 使用大模型/专家模块生成 Richer Labels,设计蒸馏目标、Loss 函数与 Hard-negative 机制,将高价值能力稳定转移至端侧,摆脱对云端的在线依赖。
3. 模型压缩与部署优化: 负责 PTQ/QAT、量化感知训练、剪枝与 KV/Cache 优化;导出 ONNX/TensorRT 等格式;在真实设备上死磕 Latency、显存、功耗与推理抖动。
4. 质量与回归治理: 建立可复现机制,系统性归因模型失效(数据、标签、结构或部署问题);联合团队建设 Hard slices 与回放评测。
5. 运行时协同: 与系统侧拆分快慢路径,trade-off 端侧性能与业务收益,推动模型从“实验室能跑”跨越到“设备稳跑”。
6. 同时需要兼顾交互语义建模与任务定义(如回应对象判断、交互时机、主动策略等)
任职要求
1. 硕士及以上在读,计算机、人工智能、自动化、电子信息等相关专业优先。
2. 熟练掌握 Python,熟悉 PyTorch 或其他深度学习框架。
3. 理解深度学习基础(Transformer、Attention、常见 loss 与优化方法)。
4. 有以下任一经验优先:
LLM / 多模态模型训练(SFT / RLHF / LoRA)
语音 / 视觉 / VLM 项目经验
数据构造或训练 pipeline 搭建
5. 有多模态(音频+视觉)项目经验加分
6. 有 teacher-student 蒸馏或模型压缩经验加分
7. 熟悉交互类任务(如对话、agent、语音交互)加分
8. 做过模型对比实验、误差分析或 benchmark 评测加分
智元校园招聘:多模态交互算法工程师-X-Lab岗位来自智元招聘官网,具体内容以智元招聘官网为准。
