崗位職責(zé):
1、?根據(jù)公司及數(shù)據(jù)產(chǎn)品部門的業(yè)務(wù)要求,撰寫技術(shù)實(shí)現(xiàn)方案,參與技術(shù)調(diào)研與選型;
2、負(fù)責(zé)項(xiàng)目的開發(fā)規(guī)劃、編碼實(shí)現(xiàn)相關(guān)工作;
3、負(fù)責(zé)基于Spark技術(shù)的海量數(shù)據(jù)的處理、分析、統(tǒng)計(jì)、挖掘工作;
4、根據(jù)需求使用Spark?Streaming和Spark?SQL進(jìn)行數(shù)據(jù)處理/查詢/統(tǒng)計(jì)
?
任職要求:
1、3年以上scala開發(fā)經(jīng)驗(yàn),3年以上java開發(fā)經(jīng)驗(yàn)?。
2、熟悉scala或java開發(fā)語(yǔ)言,扎實(shí)的算法和編程功底。
3、對(duì)Spark及MR計(jì)算模型的原理和底層技術(shù)有一定深入,及時(shí)跟蹤和了解開源分布式計(jì)算存儲(chǔ)相關(guān)技術(shù)(Yarn,hbase,kafka等)。
4、有海量數(shù)據(jù)處理開發(fā)經(jīng)驗(yàn),機(jī)器學(xué)習(xí)相關(guān)實(shí)踐者優(yōu)先
5、誠(chéng)實(shí)守信,有擔(dān)當(dāng),有強(qiáng)烈的責(zé)任心和團(tuán)隊(duì)合作精神。