1、負(fù)責(zé)Cassandra、Hadoop、HBase、spark等大數(shù)據(jù)平臺的規(guī)劃、部署、監(jiān)控、系統(tǒng)優(yōu)化等工作??2、對海量數(shù)據(jù)做采集、存儲、管理、查詢、分析、挖掘、建模等處理?3、參與完成項目和業(yè)務(wù)系統(tǒng)的設(shè)計、開發(fā)和測試等工作??4、協(xié)助并參與爬蟲策略和防屏蔽規(guī)則研究,提升網(wǎng)頁抓取的效率和質(zhì)量
????5、??根據(jù)項目需求進(jìn)行開發(fā)實現(xiàn),文檔撰寫,項目實施?
任職要求
1.?本科及以上學(xué)歷,計算機(jī)相關(guān)專業(yè),2年以上大數(shù)據(jù)相關(guān)經(jīng)驗2.?hadoop大數(shù)據(jù)集群系統(tǒng)運維或開發(fā)經(jīng)驗,熟悉Cassandra分布式數(shù)據(jù)庫,熟悉Hadoop/HBase/spark?S3等大數(shù)據(jù)系統(tǒng),有大數(shù)據(jù)平臺運維或開發(fā)經(jīng)驗者優(yōu)先。3.?熟悉Linux操作系統(tǒng),熟悉Java,熟練使用Shell/Perl/Python中至少一種語言,能熟練編寫常規(guī)運維腳本4.?具備較強(qiáng)的學(xué)習(xí)能力、邏輯分析能力、問題排查能力5.?具備良好的溝通表達(dá)能力,良好的團(tuán)隊精神和合作精神6.?極強(qiáng)的責(zé)任心和耐壓能力,對項目質(zhì)量有很高的要求。