崗位職責(zé)要求：
1.參與爬蟲(chóng)系統(tǒng)架構(gòu)設(shè)計(jì)和研發(fā)；
2.負(fù)責(zé)開(kāi)發(fā)高性能抓取架構(gòu)，支持業(yè)務(wù)發(fā)展；
3.負(fù)責(zé)對(duì)爬取數(shù)據(jù)進(jìn)行分類(lèi)和解析；
3.參與大數(shù)據(jù)系統(tǒng)的開(kāi)發(fā)維護(hù)
崗位任職要求：
1、熟練掌握Python開(kāi)發(fā)語(yǔ)言,3年以上的的爬蟲(chóng)工作經(jīng)驗(yàn)；
2、1-2年以上大規(guī)模網(wǎng)頁(yè)爬蟲(chóng)開(kāi)發(fā)經(jīng)驗(yàn)，有前端JS逆向工程經(jīng)驗(yàn)優(yōu)先；
3、熟悉分布式系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn),解決反爬蟲(chóng)、網(wǎng)絡(luò)異常等各種常見(jiàn)爬蟲(chóng)問(wèn)題；
4、熟悉app端數(shù)據(jù)抓?。ㄓ心嫦?、脫殼等經(jīng)驗(yàn)），掌握Apktool、dex2jar、JD-GUI等工
具，抓取過(guò)主流電商平臺(tái)和主流app軟件；
5、熟悉Hbase/Elasticsearch/kafka等大數(shù)據(jù)相關(guān)技術(shù)；
6、工作踏實(shí)認(rèn)真，思路清晰，有強(qiáng)烈的責(zé)任心、優(yōu)秀的協(xié)調(diào)溝通能力和團(tuán)隊(duì)合作精神；
招賢納士網(wǎng)聯(lián)盟網(wǎng)站
