崗位職責(zé):
1.?負(fù)責(zé)大數(shù)據(jù)平臺設(shè)計與開發(fā)。
2.?負(fù)責(zé)大數(shù)據(jù)業(yè)務(wù)需求分解、開發(fā)與落地。
崗位要求:
1.統(tǒng)招本科以上學(xué)歷,?軟件、計算機及相關(guān)專業(yè),三年以上工作經(jīng)驗,其中大數(shù)據(jù)方向至少一年以上。
2.?熟悉Java,Scala,Python?一種或多種語言(硬性要求:一定要有Java及J2EE相關(guān)的開發(fā)經(jīng)驗)
3.?至少一個或者多個完整大數(shù)據(jù)實際項目的開發(fā)經(jīng)驗
4.?熟悉linux操作,熟練使用shell、python等腳本,了解分布式環(huán)境和分布式工作原理。
5.?熟悉Hadoop生態(tài)系統(tǒng)組件(HDFS、MapReduce、HBase、Hive、ZooKeeper、Azkaban、Yarn、Kylin?、Druid等)
6.?熟悉Flume、sqoop等工具;
7.?熟悉消息隊列Kafka,rabbitmq
8.?熟悉Spark?Streaming,Spark?sql,?Spark?MLlib?或?JStorm?或?Flink/Blink
9.?熟悉elasticsearch
10.?工作認(rèn)真,負(fù)責(zé),具有較好的溝通表達(dá)能力和團隊合作精神,學(xué)習(xí)能力強,有較好的邏輯分析能力。鉆研技術(shù)克服困難,勇于挑戰(zhàn)
11.?對大數(shù)據(jù)分析和處理計算有強烈興趣。責(zé)任心強,能夠接受適度加班。
12.?有ETL數(shù)據(jù)清洗經(jīng)驗,熟悉常用ETL工具,如:kattle等。
????????????????????????????????????????????????????????????????????
13.?有關(guān)系型數(shù)據(jù)庫同步經(jīng)驗,使用過canal,datax同步數(shù)據(jù)優(yōu)先考慮。