职责和要求

工作职责：
1、在数据专家的带领下，根据业务需求，构建并维护数据采集系统，从工业数据源收集、清洗、预处理数据；
2、构建数据仓库与数据湖，为算法研发与模型训练提供高质量数据支持；
3、优化ETL作业性能，提高数据处理效率，排查和解决ETL过程中出现的问题和故障；
4、负责数据的日常维护工作，保障数据存储的高效性和安全性，保证数据安全合规；
4、深入理解工业领域场景的业务问题，理解工业生产流程和痛点。

任职条件:？？
1、计算机、软件工程、数学等相关专业本科或以上学历，3年以上相关工作经验，有工业数据处理经验者优先；
2、熟悉数据处理流程，掌握至少一种主流ETL工具，如Informatica、DataStage、Kettle等，熟练掌握其开发和配置；
3、精通SQL语言，能够熟练编写复杂的查询语句和存储过程，熟悉数据库设计和优化；
4、掌握至少一种编程语言（如Python、Java、Scala等）；
5、了解大模型对数据规模、质量的要求，掌握针对大模型的数据预处理优化策略；
6、对业务流程有较强的理解能力，具备良好的问题解决能力和快速学习能力。