關(guān)鍵詞:編寫Hadoop?Map/Reduce任務(wù)以及Hive?UDF,對(duì)海量數(shù)據(jù)進(jìn)行分析、處理和挖掘
職位描述:
負(fù)責(zé)日志數(shù)據(jù)的傳輸和存儲(chǔ)
編寫Hadoop?Map/Reduce任務(wù),日志數(shù)據(jù)進(jìn)行ETL操作
編寫Hive?腳本以及相關(guān)UDF任務(wù),對(duì)數(shù)據(jù)進(jìn)行建模
對(duì)Hadoop任務(wù)以及調(diào)度進(jìn)行優(yōu)化
任職資格:
熟悉Linux系統(tǒng)環(huán)境以及Shell腳本
熟悉Java語(yǔ)言,對(duì)數(shù)據(jù)結(jié)構(gòu)和算法設(shè)計(jì)有一定的理解
對(duì)Hadoop運(yùn)行機(jī)制有所了解,包括DFS分布式存儲(chǔ),Map/Reduce任務(wù)調(diào)度
良好的邏輯思維能力,良好的業(yè)務(wù)解讀能力
具有數(shù)據(jù)分析和數(shù)據(jù)挖掘方面的項(xiàng)目經(jīng)驗(yàn)者優(yōu)先