中国电信人工智能研究院｜端侧AI模型开发/部署实习生

1. 负责AI模型端侧部署与工程化落地 负责深度学习模型在端侧设备上的适配、转换、部署与优化，推动AI算法从云端到边缘端/终端设备的工程化落地； 支持计算机视觉、多模态、大语言模型等AI模型在端侧芯片(Jeston Orin,  骁龙， rk3588等)上的高效推理部署； 2. 负责模型压缩、量化与推理性能优化 开展FP32、FP16、INT8等不同精度模型转换与性能评估，优化模型精度与推理速度之间的平衡； 针对端侧算力、内存、功耗限制，开展模型剪枝、蒸馏、结构优化等轻量化优化工作。 分析模型推理瓶颈，定位性能热点算子，开展算子融合、算子替换、自定义算子开发与适配；

任职要求 1. 硕士及以上学历，电子信息、计算机、自动化、人工智能等相关专业； 2. 具备深度学习模型开发、模型部署或嵌入式AI工程实践经验。熟悉PyTorch/TensorFlow/ONNX模型导出、转换及部署流程；熟悉模型量化流程，掌握INT8量化、校准集构建、量化误差分析等方法。 3. 具备端侧AI芯片模型部署经验，有其他端侧AI芯片（如高通、英伟达Jetson、寒武纪、地平线、算能等）部署经验亦可。 4. 熟练掌握Python/C++开发，熟悉Linux嵌入式开发环境； 5. 具备良好的问题分析和解决能力，能够独立完成模型部署、调试和性能优化任务； 加分项 瑞芯微RK3588及RK系列芯片开展模型部署适配经验，熟悉基于RKNN、RKLLM等工具链完成模型转换、编译、部署及推理优化； 熟悉Transformer结构优化、KV Cache优化、低比特量化（INT4/INT8）； 具备NPU自定义算子开发、算子融合、底层性能Profiling经验； 有端侧芯片板级调试、驱动适配、系统优化经验。