職位要求:??
??1、熟悉Java、scala編程,熟悉shell,有良好的編碼習(xí)慣;
??2、熟悉Hadoop生態(tài),精通hdfs、Spark,Hive,F(xiàn)link開發(fā),熟悉MR、presto等并具有一定的優(yōu)化能力;
??3、熟練使用kafka、Flume、filebeat等常用組件;
??4、了解yarn,?Zookeeper、ELK等開源技術(shù);
??5、對設(shè)計(jì)和開發(fā)在線計(jì)算和離線計(jì)算系統(tǒng),有實(shí)戰(zhàn)經(jīng)驗(yàn);
??6、對數(shù)據(jù)敏感,優(yōu)秀的技術(shù)與業(yè)務(wù)結(jié)合能力;
??7、思路清晰,善于思考,責(zé)任心強(qiáng);
??8、具備良好的工作態(tài)度及溝通表達(dá)能力,工作認(rèn)真負(fù)責(zé),具備較強(qiáng)的團(tuán)隊(duì)協(xié)作意識和能力;
??崗位職責(zé):
??1、參與海量數(shù)據(jù)的ETL開發(fā),根據(jù)需求抽取各種數(shù)據(jù)
??2、負(fù)責(zé)數(shù)據(jù)倉庫ETL流程的開發(fā)和優(yōu)化,并及時解決ETL相關(guān)技術(shù)問題
??3、負(fù)責(zé)ETL數(shù)據(jù)準(zhǔn)確性驗(yàn)證及報(bào)表維護(hù)
??4、參與數(shù)據(jù)平臺的設(shè)計(jì)、架構(gòu)及模塊的研發(fā)
??5、負(fù)責(zé)實(shí)時及離線數(shù)據(jù)倉庫的建設(shè)和維護(hù)