腾讯｜多模态引导的神经材质生产管线：从生成式合成到物理一致性重构实习

课题背景： 传统的材质建模依赖于Disney或微表面（Microfacet）等参数化物理模型，虽然稳健，但受限于参数维度，难以捕捉真实世界中复杂的非局部交互和多层视觉效果。神经材质（如NeuMIP）利用小型多层感知机（MLP）和潜在特征贴图，实现了高保真、实时且分辨率无关的复杂外观表示。然而，创作高质量神经材质门槛极高，往往需要专业的测角反光仪实验室或昂贵的艺术加工。随着多模态大语言模型（MLLM）和扩散模型的发展，利用文本或单张照片引导材质生成已成为可能。目前的前沿研究（如VideoNeuMat）正尝试将大型视频模型作为“虚拟测角反光仪”，从中提取被解耦的、可重用的神经材质资产，从而开启了从生成式合成转向高质量物理重构的新范式 课题价值： 1、内容创作的平民化与高效化： 该管线允许非专业用户通过文本指令或随手拍摄的照片生成电影级精度的PBR材质，极大降低了3D内容生产的成本； 2、实现真正的资产解耦与重用： 相比于传统的“烘焙”式贴图，该管线强调物理一致性重构，能将材质属性从光照和几何中彻底解耦，使其能够适应任何新场景的重光照需求； 3、实时渲染性能的跨越式提升： 神经材质在保持高保真度的同时，其评估成本不随材质复杂程度增加，如果能加以利用，将有可能实现高复杂度材质的高性能实时渲染； 4、工业管线的无缝集成： 我们预期该管线生产的神经材质资产将可以直接用于高品质游戏生产管线中 课题挑战： 1、物理规律的强制约束： 神经网络本质上并不天然遵循能量守恒定律，如何在重构过程中引入硬性的物理结构约束，而非仅靠软性的损失函数，是确保渲染真实性的关键； 2、数据稀缺性瓶颈： 训练高质量材质生成模型缺乏大规模、具备真实感且标注完善的PBR/神经材质数据集，依赖视频先验进行知识蒸馏是目前的蓝海但也极具技术难度； 3、可编辑性与语义控制： 神经材质目前多为“黑盒”表示，一旦生成，艺术家难以像传统贴图那样进行“增加锈迹”等语义级的交互式修改，构建语义可解释的潜空间是管线落地的痛点。 科研挑战： 1、突破多模块生成与编辑神经材质的理论瓶颈，最终从理论走向落地； 2、突破神经材质运行时效果与效率，突破硬件瓶颈； 3、在图形学与 AI 顶级会议发表高水平论文并申请核心专利，形成完整的智能游戏制作解决方案。

1、包含但不限于计算机、信息工程、模式识别、人工智能、自动化、软件工程、电子工程、统计学、应用数学、物理学/量子计算、信息安全、信号与信息处理等专业的博士和优秀硕士； 2、有图形学相关的基本算法及应用游戏； 3、较强的工程实现能力，熟练掌握 C/C++ 编程，熟悉 Shell/Python/Matlab 至少一种编程语言。