職責描述：

1. 可以使用Airflow/Python構建和更新大數據管道創(chuàng)建和維護ETL管道；

2. 建立和更新大數據管道，維護Kargo的數據湖；

3. 確保用戶能夠正確訪問我們的數據資產；

4. 與洞察團隊協(xié)調，提取數據進行臨時報告；

5. 使用各種BI工具設計和創(chuàng)建有影響力的可視化效果；

6. 檢測并清除數據中的任何差錯；

7. 熟練使用書面、口頭或演示的方式，進行溝通和業(yè)務匯報。

任職要求：

1. 使用Hadoop、Hive、Spark、Kafka、HDFS等Apache Hadoop/Spark生態(tài)系統(tǒng)應用進行大數據處理的經驗者優(yōu)先；

2. 對數據倉庫ETL設計和開發(fā)、方法、工具、流程和實踐方面必須擁有豐富的經驗；

3. 有豐富的c級管理人員的星盤和報表制作經驗；

4. 熱愛數據，能夠發(fā)揮展示使用真正大型數據集的經驗；

5. 在AWS、Azure或阿里云等云技術方面有豐富的經驗；

6. 具有使用Python、Airflow或ETL等工具創(chuàng)建數據管道的豐富經驗；

7. 具有豐富的數據建模經驗；

8. 具有專業(yè)SQL技能；

9. 熟練掌握Linux工具；

10. 有較強的學習能力，可以充分發(fā)揮所掌握技能及崗位專業(yè)性；

11. 全日制本科及以上學歷，具有豐富工作經驗者優(yōu)先考慮；

12. 具備流利的英語口語和書寫能力。