崗位職責(zé)
?1、參與海量數(shù)據(jù)的ETL開發(fā),根據(jù)需求抽取各種數(shù)據(jù);
?2、負(fù)責(zé)數(shù)據(jù)倉庫ETL流程的開發(fā)和優(yōu)化,并及時(shí)解決ETL相關(guān)技術(shù)問題;
?3、負(fù)責(zé)ETL數(shù)據(jù)準(zhǔn)確性驗(yàn)證及報(bào)表維護(hù);
?4、參與項(xiàng)目基礎(chǔ)架構(gòu)規(guī)劃、ETL流程設(shè)計(jì)和相關(guān)規(guī)范制定。
?崗位要求
?1、3年以上相關(guān)工作經(jīng)驗(yàn);
?2、熟悉Linux開發(fā)環(huán)境,具備Linux系統(tǒng)分析能力;
?3、熟悉常用的數(shù)據(jù)建模理論,了解數(shù)據(jù)倉庫層級的設(shè)計(jì);
?4、熟練使用Java/Python/Scala等語言進(jìn)行開發(fā),熟悉shell/perl等腳本語言,具有較強(qiáng)的開發(fā)能力;
?5、熟悉Hadoop生態(tài),精通hdfs、spark、HBase,Hive開發(fā),熟悉MR、presto
?6、了解yarn,?Zookeeper、ELK等開源技術(shù);
?7、對設(shè)計(jì)和開發(fā)在線計(jì)算和離線計(jì)算系統(tǒng),有實(shí)戰(zhàn)經(jīng)驗(yàn);
?8、對數(shù)據(jù)敏感,優(yōu)秀的技術(shù)與業(yè)務(wù)結(jié)合能力;
?9、思路清晰,善于思考,責(zé)任心強(qiáng);
?10、具備良好的工作態(tài)度及溝通表達(dá)能力,工作認(rèn)真負(fù)責(zé),具備較強(qiáng)的團(tuán)隊(duì)協(xié)作意識和能力。