中航科创｜大数据开发工程师

1. 多源业务数据接入：负责零售端（门店POS、线上商城、交易订单、会员、营销活动、门店进销存、仓库调拨）、制造端（生产工单、工序、质检、设备、能耗、成品库存、物料台账）各类业务数据源的采集与接入。 2. ETL数据开发与清洗：完成业务数据的抽取、清洗、去重、格式转换、脏数据过滤、缺失值处理，统一商品、物料、人员、门店等主数据标准，保障数据一致性。 3. 数据仓库分层建设：按照ODS、DWD、DWS、ADS分层架构，搭建零售销售、门店库存、会员营销、制造生产、质量管控、设备运维等主题数据模型。 4. 离线&实时数据计算开发：基于Spark开发离线批处理任务，完成日/周/月销售统计、产能统计、库存周转、质量不良率等业务指标；基于Flink开发实时计算任务，支撑门店实时销量、车间生产实时进度、库存实时监控看板。 5. 数据调度与运维监控：配置定时调度任务，监控任务运行状态、数据同步延迟、数据异常，及时处理任务失败、数据重复、指标偏差等问题，保障数据稳定产出。 6. 数据服务输出：为BI可视化平台输出标准指标宽表，为AI应用开发团队提供结构化、标准化业务数据集，支撑智能分析、智能问答、数据挖掘等场景落地。 7. 数据治理与文档沉淀：梳理业务数据口径、统一指标定义，开展日常数据质量校验，编写ETL开发文档、指标说明文档、运维手册。

专业：计算机科学与技术/软件工程/人工智能 / 数学 / 统计 / 电子信息优先。 1. 编程与基础工具能力 熟练掌握 Java/Scala 任意一门语言，熟练使用Python进行数据预处理；精通SQL，熟练运用多表关联、窗口函数、聚合统计，能独立编写复杂业务统计SQL并完成性能优化；掌握Linux常用命令、Shell脚本编写、Git代码版本管理。 2. 大数据核心技术栈 熟悉Hadoop生态（HDFS、YARN）基础原理；熟练使用Hive进行数仓建表、分区分桶设计、Hive SQL调优；掌握Spark离线计算核心原理与项目实操；了解Kafka消息队列机制，能够处理数据流收发与积压问题；掌握Flink实时计算基础，理解水印、状态管理、流批一体思想；熟悉主流任务调度工具（Azkaban/Airflow）。 3. 工程协作能力 能够对接业务、后端开发、AI开发团队，理解业务需求并转化为数据开发任务；可独立完成数据任务开发、测试、上线、运维全流程；具备良好的问题排查能力，可快速定位任务报错、数据延迟、指标异常问题。