1. 負(fù)責(zé)大數(shù)據(jù)基礎(chǔ)平臺(tái)的整體規(guī)劃和架構(gòu)設(shè)計(jì),參與需求分析、架構(gòu)設(shè)計(jì)、技術(shù)決策以及詳細(xì)設(shè)計(jì);
2. 構(gòu)建公司的大數(shù)據(jù)分析處理平臺(tái),并為大數(shù)據(jù)平臺(tái)提供性能調(diào)優(yōu)、架構(gòu)優(yōu)化重組,解決系統(tǒng)中的關(guān)鍵問題和技術(shù)難題;
3. 把握基礎(chǔ)業(yè)務(wù)復(fù)雜系統(tǒng)的設(shè)計(jì),確保系統(tǒng)的架構(gòu)質(zhì)量,編寫核心部分代碼;
4. 指導(dǎo)和培訓(xùn)工程師,不斷提升團(tuán)隊(duì)能力;
5. 持續(xù)挑戰(zhàn)新的技術(shù)方向,攻克大數(shù)據(jù)量,高并發(fā),高穩(wěn)定性,易用性等各種技術(shù)難點(diǎn)。
任職要求:
1. 1.5年以上大數(shù)據(jù)架構(gòu)經(jīng)驗(yàn),2年團(tuán)隊(duì)管理經(jīng)驗(yàn),熟悉Hadoop、Spark并有豐富的開發(fā)經(jīng)驗(yàn),熟悉zeus調(diào)度;
2. 扎實(shí)的Java、Scala語言基礎(chǔ),對(duì)JVM運(yùn)行機(jī)制有深入了解;
3. 熟練使用OpenStack?IaaS?平臺(tái),對(duì)OpenStack組件有深入的了解,并對(duì)公有云平臺(tái)有一定了解,構(gòu)建過混合云項(xiàng)目者優(yōu)先;
4. 熟悉?Docker等容器技術(shù),對(duì)常用調(diào)度框架有詳細(xì)的了解,并熟練使用其中一種調(diào)度框架平臺(tái);
5. 熟練使用Linux/Unix等操作系統(tǒng),具備編寫shell的能力;
6. 熟悉SQL、NoSQL、NewSQL數(shù)據(jù)庫的設(shè)計(jì)和開發(fā),如:?Oracle/Mysql/Hbase/Mongodb/Redis/PostgreSQL等;
7. 熟悉大數(shù)據(jù)相關(guān)組件搭建、應(yīng)用、優(yōu)化,如:Mapreduce/Sqoop/Hdfs/Hive/Spark-Streaming/Solr等;
8. 熟練使用ETL工具進(jìn)行數(shù)據(jù)抽取,清洗,轉(zhuǎn)換,關(guān)聯(lián)等操作;
9. 較強(qiáng)的人際關(guān)系能力、有團(tuán)隊(duì)精神,較強(qiáng)的執(zhí)行與推動(dòng)能力,有一定抗壓力。