快手｜大模型推理实习生-【电商】

1、推理引擎研发与优化：主导高性能大模型推理引擎建设，通过吞吐与时延的双向优化，降低业务推理成本； 2、核心模块构建：负责 KV Cache 管理、Batching/Scheduling、PD 分离及推理 Pipeline 的设计与实现； 3、极致性能调优：面向 TTFT、TPOT、TPS 等关键指标进行系统级优化（算子融合、显存管理、通信优化、推理编译）； 4、前沿技术落地：推动 INT8/FP8/FP4 等量化加速方案，实现推理性能的最大化； 5、高可用与平台化：构建推理侧的高可用保障体系（故障恢复、限流降级、自动化监控），推动模型发布与运维工具链建设。

1、系统与基础：计算机/软件相关专业，本科及以上学历；精通 Python/C++，具备扎实的高性能系统研发能力； 2、核心机理深度理解：深入理解 Transformer 推理原理，精通 Attention 机制、KV Cache 管理及采样策略； 3、业界引擎经验：熟悉主流推理框架（TensorRT、Sglang、vLLM 等）及算子优化技术； 4、工程化思维：具备高度的系统工程素养，能够处理复杂的并发调度与高可用性挑战。