位職責(zé)：1、對(duì)指定網(wǎng)站進(jìn)行數(shù)據(jù)抓取，清洗以及匯總的開發(fā)工作。?2、互聯(lián)網(wǎng)網(wǎng)站，網(wǎng)頁，鏈接的特征挖掘。?3、負(fù)責(zé)系統(tǒng)日常運(yùn)營(yíng)資源調(diào)度優(yōu)化及運(yùn)營(yíng)指標(biāo)分析調(diào)優(yōu)，并能實(shí)時(shí)監(jiān)控爬蟲的進(jìn)度和警報(bào)反饋。?4、負(fù)責(zé)特殊網(wǎng)頁采集任務(wù)的分析及采集方案設(shè)計(jì)。?任職要求：1.?數(shù)學(xué)，統(tǒng)計(jì)，計(jì)算機(jī)相關(guān)專業(yè)本科以上學(xué)歷2.?熟悉Python以及數(shù)據(jù)分析相關(guān)工具，了解Shell3.?熟悉SQL語言，追求SQL性能，熟悉MySQL、MongoDB等4.?熟悉Hadoop、數(shù)據(jù)倉庫、Spark等大數(shù)據(jù)技術(shù)者優(yōu)先加分項(xiàng)：1）有數(shù)據(jù)庫調(diào)優(yōu)和海量數(shù)據(jù)存儲(chǔ)經(jīng)驗(yàn)優(yōu)先。2）有Solr、ElasticSearch開發(fā)經(jīng)驗(yàn)者優(yōu)先。工作地址北京市中關(guān)村東路66號(hào)世紀(jì)科貿(mào)大廈B座1109