1.負責數(shù)據(jù)相關(guān)平臺的搭建、開發(fā)、維護、優(yōu)化(Hadoop/Spark/Hive/Hbase);
?
2.根據(jù)業(yè)務(wù)需求進行數(shù)據(jù)模型的調(diào)研、設(shè)計、開發(fā)及驗證工作,并持續(xù)進行模型的優(yōu)化;
?
3.負責數(shù)據(jù)模型架構(gòu)的構(gòu)建,建立數(shù)據(jù)采集抽取、清洗、校驗等數(shù)據(jù)加工流程規(guī)范及OLAP多維數(shù)據(jù)分析模型;
?
4.持續(xù)對系統(tǒng)的技術(shù)架構(gòu)進行改進和優(yōu)化,提升海量數(shù)據(jù)的查詢性能和用戶體驗。
任職資格
?
1.熟悉數(shù)據(jù)管理標準、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理;
?
2.2年以上基于Hadoop架構(gòu)DW/BI項目實施和開發(fā)經(jīng)驗;熟悉hadoop生態(tài)圈,包括但不限于hive、hdfs、hbase、sqoop、spark、scala?等;
?
3.熟悉Mysql、Gbase等主流數(shù)據(jù)倉庫的技術(shù)細節(jié);?
?
4.能熟練進行SQL查詢優(yōu)化、有海量數(shù)據(jù)處理經(jīng)驗;
?
熟練使用Unix/Linux操作系統(tǒng),熟悉常用的Shell/Python/Perl工具;
?
5.具有良好的溝通能力、組織能力及團隊協(xié)作精神,有較強的分析和解決問題的能力。