同花顺｜多模态大模型算法工程师（博士专项）-实习

面向金融图表、研报图片、公告表格、K 线图、路演视频、财经直播、音视频内容、投研材料等场景，建设文本、图像、表格、音频、视频统一理解与生成能力，支撑多模态金融 AI 产品。 岗位职责 1.负责多模态模型研发，包括图文理解、OCR、表格理解、图表解析、视频理解、音频理解、多模态检索和多模态生成。 2.建设面向金融场景的图表/表格/截图/研报/公告/行情图像理解能力，支持信息抽取、问答、摘要、数据解释和风险识别。 3.探索多模态大模型在金融投研中的应用，包括图表问答、财报表格理解、K 线形态理解、研报图表解析、音视频摘要等。 4.参与多模态 RAG、多模态 Agent、多模态评测和模型优化工作。 5.优化模型在复杂版面、密集表格、金融图形、长视频、低质量截图等场景下的准确率和鲁棒性。 6.与产品、工程、数据团队合作，推动多模态能力在问财、iFinD、资讯、投研助手等产品中落地。

1.计算机视觉、多模态学习、自然语言处理、机器学习等相关专业，博士优先。 2.熟悉 VLM、多模态大模型、OCR、Layout Analysis、Document AI、Video Understanding、CLIP、BLIP、LLaVA、Qwen-VL、InternVL 等方向。 3.熟悉 PyTorch，有模型训练、微调、评测和部署经验。 4.具备图像/文本/表格/视频等多源数据处理能力。 5.对金融图表、研报、公告、财报、行情数据等复杂信息有兴趣。 加分项 •有多模态大模型、文档智能、表格理解、图表问答、视频理解经验； •有金融、办公文档、研报解析、智能投研相关经验； •有 CVPR、ICCV、ECCV、ACL、EMNLP、NeurIPS、ICLR、ICML 等论文经验； •有多模态 RAG 或多模态 Agent 落地经验。