1,負(fù)責(zé)項目的數(shù)據(jù)處理產(chǎn)品規(guī)劃和設(shè)計,完成數(shù)據(jù)集成工作的開發(fā),測試與調(diào)優(yōu)
2,負(fù)責(zé)項目中數(shù)據(jù)處理工作(數(shù)據(jù)采集,清洗,匯總,集成等)
3,通過掌握業(yè)界常用的ETL工具能夠提出優(yōu)化方案
4,?負(fù)責(zé)協(xié)助完成應(yīng)用系統(tǒng)中數(shù)據(jù)上下層銜接處理工作
?
任職要求:
1,熟悉數(shù)據(jù)分析系統(tǒng)體系架構(gòu),熟悉數(shù)據(jù)倉庫建模理論,模型設(shè)計思路,并用于實(shí)際項目實(shí)踐
2,熟悉至少一種主流數(shù)據(jù)庫系統(tǒng),精通SQL,存儲過程,有較好的SQL性能調(diào)優(yōu)經(jīng)驗(yàn)
3,熟練使用至少一種主流ETL工具,如:sqoop/Kettle等
4,熟悉Hadoop,?HDFS,?MapReduce,?Spark,?Impala,?Hive,等開源分布式系統(tǒng);
5,熟悉任意一種腳本語言shell/perl/python者優(yōu)先;