崗位職責：
1.基于hadoop生態(tài)的大數(shù)據(jù)存儲平臺搭建和部署；
2.承擔數(shù)據(jù)抽取、清洗、轉(zhuǎn)化等數(shù)據(jù)處理程序開發(fā)；
3.完成日常數(shù)據(jù)分析查詢需求；
4.數(shù)據(jù)倉庫的設計，開發(fā)，維護；
5.數(shù)據(jù)挖掘。
任職資格：
1.熟悉離線及實時大數(shù)據(jù)平臺架構(gòu)，能夠獨立完成大數(shù)據(jù)平臺架構(gòu)及流程設計；
2.精通Hadoop生態(tài)系統(tǒng)組件，如Spark、Flume、Kafka、Hbase、Hive、ZooKeeper等；
3.熟悉ETL開發(fā)，能熟練使用至少一種ETL(talend,kettle等)轉(zhuǎn)化開源工具優(yōu)先考慮；
4.熟悉linux環(huán)境開發(fā)，熟練使用Linux、Shell、Perl、Python等腳本語言之一；
5.具有優(yōu)秀的學習能力、獨立分析問題和解決問題能力。