1、依據(jù)設(shè)計(jì)文檔基于Hadoop平臺(tái)進(jìn)行數(shù)據(jù)建模、數(shù)據(jù)分析相關(guān)的功能開發(fā)、測(cè)試支持工作?
2、負(fù)責(zé)Hadoop相關(guān)系統(tǒng)的數(shù)據(jù)模型與分析報(bào)表邏輯優(yōu)化調(diào)整、系統(tǒng)監(jiān)控與故障排查處理工作?
3、按照要求編寫數(shù)據(jù)建模、數(shù)據(jù)分析相關(guān)項(xiàng)目及運(yùn)維支持文檔
4、負(fù)責(zé)完成領(lǐng)導(dǎo)協(xié)調(diào)安排的其它項(xiàng)目實(shí)施、運(yùn)維工作
5、負(fù)責(zé)完成上級(jí)領(lǐng)導(dǎo)安排的臨時(shí)性工作
1.具備shell、python、java等一種腳本語(yǔ)言的開發(fā)能力?
2.熟悉Hadoop生態(tài),熟悉分布式平臺(tái)開發(fā),使用包括但不限于HDFS/HIve/Spark/HBase/Kafka/FlInk/CDH等數(shù)據(jù)分析平臺(tái)組件;?
3.?熟悉Impala,trino,presto、ELK等,了解基本原理?
4.?熟悉yarn原理以及集群資源優(yōu)化,熟悉Kerberos,Sentry?
5.?熟悉Orcle、Mysql、OLAP、OLTP等數(shù)據(jù)庫(kù)?
6.?具有Hadoop?CDH平臺(tái)開發(fā)運(yùn)維經(jīng)驗(yàn)者優(yōu)先?
7.?良好的溝通表達(dá)能力和團(tuán)隊(duì)協(xié)作能力,對(duì)數(shù)據(jù)有敏感性?
8、有流處理和批處理實(shí)踐經(jīng)驗(yàn),熟悉Flink且有FlinkCDC實(shí)施經(jīng)驗(yàn)?
9、有數(shù)據(jù)分析與建模開發(fā)經(jīng)驗(yàn)和閱讀源碼能力者優(yōu)先。