崗位職責(zé):?1.負(fù)責(zé)大數(shù)據(jù)處理平臺的總體技術(shù)工作,包括需求分析、架構(gòu)設(shè)計(jì)、研發(fā)、以及性能分析工作;?2.負(fù)責(zé)設(shè)計(jì)、構(gòu)建和優(yōu)化基于Hadoop/Hbase的存儲平臺架構(gòu);?3.負(fù)責(zé)整體提升Hadoop/Hbase/Storm/Spark集群的高可用性、高性能、高擴(kuò)展特性;?4.根據(jù)業(yè)務(wù)需求,提出最優(yōu)的技術(shù)解決方案;分解詳細(xì)的開發(fā)任務(wù),能配合其他項(xiàng)目制定開發(fā)計(jì)劃、開發(fā)文檔、開發(fā)流程圖;?5.負(fù)責(zé)帶領(lǐng)項(xiàng)目及培訓(xùn)團(tuán)隊(duì),指導(dǎo)技術(shù)團(tuán)隊(duì)完成數(shù)據(jù)規(guī)則的定義、數(shù)據(jù)模型的建立、數(shù)據(jù)清洗、數(shù)據(jù)遷移等工作。?6.負(fù)責(zé)數(shù)據(jù)架構(gòu)的規(guī)劃,并制定實(shí)施標(biāo)準(zhǔn)和規(guī)范,確保得到有效的執(zhí)行,同時(shí)保障數(shù)據(jù)以及文檔的質(zhì)量達(dá)到預(yù)定的標(biāo)準(zhǔn)。?任職資格:?1.?5年以上軟件開發(fā)經(jīng)驗(yàn),精通Java開發(fā),3年以上Hadoop相關(guān)開發(fā)經(jīng)驗(yàn);?2.具備數(shù)據(jù)庫系統(tǒng)基本理論知識,至少掌握一種主流商業(yè)數(shù)據(jù)庫產(chǎn)品如Oralce的管理和應(yīng)用,精通SQL語言,精通存儲過程;?3.對Hadoop的Map/Reduce原理有深入研究,有相關(guān)項(xiàng)目的實(shí)際開發(fā)經(jīng)驗(yàn);?4.熟悉Hadoop、Hive和hbase、storm等開源項(xiàng)目;?5.對基于Hadoop的大數(shù)據(jù)處理體系有深入認(rèn)識,具備相關(guān)產(chǎn)品(Hadoop/Storm?/Hive/Hbase)項(xiàng)目應(yīng)用研發(fā)經(jīng)驗(yàn),熟悉分布式系統(tǒng)、分布式計(jì)算系統(tǒng)的工作機(jī)制,能熟練掌握相關(guān)核心技術(shù)的工作機(jī)理;具有大規(guī)模數(shù)據(jù)平臺,高并發(fā)大型系統(tǒng),大數(shù)據(jù)等架構(gòu)設(shè)計(jì)和開發(fā)經(jīng)驗(yàn);?6.熟悉全文檢索技術(shù),如Solr、Lucene等使用;?7.具備數(shù)據(jù)管理和存儲相關(guān)項(xiàng)目和系統(tǒng)的開發(fā)經(jīng)驗(yàn),具有豐富的數(shù)據(jù)分析、挖掘和數(shù)據(jù)倉庫建模的項(xiàng)目實(shí)踐經(jīng)驗(yàn);?8.具有良好的溝通、組織和領(lǐng)導(dǎo)能力,優(yōu)秀的分析問題和解決問題的能力,對解決具有挑戰(zhàn)性問題充滿激情,具備強(qiáng)烈的進(jìn)取心和優(yōu)秀團(tuán)隊(duì)合作精神;?9.具有實(shí)時(shí)數(shù)據(jù)采集系統(tǒng)項(xiàng)目經(jīng)驗(yàn)者優(yōu)先;具有金融行業(yè)大數(shù)據(jù)應(yīng)用工作經(jīng)驗(yàn)者優(yōu)先。