職責(zé)描述:
?1、參與公司數(shù)據(jù)平臺架構(gòu)設(shè)計,負(fù)責(zé)大數(shù)據(jù)平臺和數(shù)據(jù)倉庫相關(guān)建設(shè);
??
2、依據(jù)公司的大數(shù)據(jù)技術(shù)發(fā)展路線,負(fù)責(zé)基于Hadoop生態(tài)系統(tǒng)和MPP數(shù)據(jù)庫的大規(guī)模數(shù)據(jù)平臺的研發(fā)及數(shù)據(jù)倉庫建設(shè),提供可靠的數(shù)據(jù)存儲和訪問能力;
??
3、負(fù)責(zé)公司大數(shù)據(jù)平臺和數(shù)據(jù)倉庫的搭建、開發(fā)、管理、監(jiān)控和性能調(diào)優(yōu),保證集群高效穩(wěn)定運行;
??
4、規(guī)劃與開發(fā)離線數(shù)據(jù)平臺系統(tǒng),處理海量數(shù)據(jù),優(yōu)化存儲和計算架構(gòu)的性能;
??
5、負(fù)責(zé)數(shù)據(jù)平臺技術(shù)難點攻關(guān)、技術(shù)選型評估,參與開發(fā)流程的討論與優(yōu)化;
??
6、參與公司數(shù)據(jù)治理策略等的制訂和實施;
??
7、負(fù)責(zé)協(xié)助產(chǎn)品經(jīng)理進行數(shù)據(jù)倉庫相關(guān)的需求分析、建模、寬表設(shè)計等工作;
?8、負(fù)責(zé)系統(tǒng)核心代碼編寫、代碼審核和重構(gòu),指導(dǎo)和培訓(xùn)數(shù)據(jù)工程師、不斷進行系統(tǒng)優(yōu)化;
??
?任職要求:
?1、本科以上學(xué)歷,7年以上大數(shù)據(jù)研發(fā)經(jīng)驗,帶領(lǐng)過10人以上的大數(shù)據(jù)團隊;
??
2、有大型分布式系統(tǒng)設(shè)計經(jīng)驗,負(fù)責(zé)過海量數(shù)據(jù)平臺上高可用、高性能分布式系統(tǒng)的架構(gòu)設(shè)計;
??
3、熟悉大數(shù)據(jù)開發(fā)框架,熟悉hadoop,hbase,spark等及業(yè)界主流流處理平臺;
??
4、熟悉掌握分布式存儲和NoSQL數(shù)據(jù)庫技術(shù)(如MonogoDB、Redis等),有實際生產(chǎn)項目應(yīng)用經(jīng)驗;6、熟練掌握java,python,scalar中的至少一種編程語言,掌握常見的數(shù)據(jù)結(jié)構(gòu),算法,了解軟件工程、敏捷開發(fā)等知識,熟悉常用設(shè)計模式;?
??
5、理解SOA,微服務(wù),中間件等PAAS相關(guān)的關(guān)鍵理念與技術(shù),并對其有廣泛的實踐與應(yīng)用經(jīng)驗,樂于分享。
??
6、有信用風(fēng)控等大數(shù)據(jù)設(shè)計和從業(yè)經(jīng)驗者優(yōu)先。