崗位職責(zé):
1、負(fù)責(zé)大數(shù)據(jù)平臺(tái)技術(shù)路線、技術(shù)框架、技術(shù)解決方案的輸出;負(fù)責(zé)端到端的大數(shù)據(jù)方案設(shè)計(jì)與系統(tǒng)架構(gòu);
2、負(fù)責(zé)大數(shù)據(jù)開發(fā)、數(shù)據(jù)挖掘、算法平臺(tái)的技術(shù)架構(gòu)及建設(shè);
3、參與系統(tǒng)需求分析、架構(gòu)設(shè)計(jì)、技術(shù)選型、應(yīng)用設(shè)計(jì)與開發(fā)以及測(cè)試與部署,負(fù)責(zé)編寫核心部分代碼。
4、持續(xù)挑戰(zhàn)新的技術(shù)方向,攻克大數(shù)據(jù)量、高并發(fā)、高可用、可擴(kuò)展等技術(shù)難點(diǎn)。
任職要求:
1、具有全面的大數(shù)據(jù)知識(shí)體系,熟悉大數(shù)據(jù)產(chǎn)品設(shè)計(jì)架構(gòu)和技術(shù)策略;
2、3年以上大數(shù)據(jù)系統(tǒng)開發(fā),設(shè)計(jì),架構(gòu)經(jīng)驗(yàn),豐富的數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)項(xiàng)目經(jīng)驗(yàn);
3、必須具有大規(guī)模數(shù)據(jù)處理的架構(gòu)和設(shè)計(jì)實(shí)戰(zhàn)經(jīng)驗(yàn);
4、精通Spark、MR、?HDFS、Yarn、Hbase、Hive、Kafka、Redis、Storm、Mahout、Flume、ElasticSearch等,并具有豐富的大型數(shù)據(jù)平臺(tái)工程經(jīng)驗(yàn);
5、深刻理解大數(shù)據(jù)處理(流計(jì)算,分布式計(jì)算,分布式文件系統(tǒng),分布式存儲(chǔ)等)相關(guān)技術(shù)和實(shí)現(xiàn)方法;
6、具有良好的團(tuán)隊(duì)協(xié)作精神,思維清晰敏捷,邏輯分析能力強(qiáng)。