1、負(fù)責(zé)多平臺(tái)信息爬取和頁(yè)面內(nèi)容的提取分析,負(fù)責(zé)破解各類(lèi)反爬機(jī)制;
2、負(fù)責(zé)網(wǎng)頁(yè)的數(shù)據(jù)抓取和爬取鏈路優(yōu)化(包括逆向分析、脫殼、加密參數(shù)破解、抓取攻防等),提升抓取能力;
3、研究爬蟲(chóng)策略和防屏蔽規(guī)則,解決封賬號(hào)、封IP、驗(yàn)證碼、頁(yè)面跳轉(zhuǎn)等難點(diǎn),提升網(wǎng)頁(yè)抓取的效率和質(zhì)量;
崗位要求:
1.3年以上python爬蟲(chóng)經(jīng)驗(yàn),本科及以上學(xué)歷,計(jì)算機(jī)相關(guān)專(zhuān)業(yè),有電商類(lèi)數(shù)據(jù)經(jīng)驗(yàn)優(yōu)先;
2.熟悉掌握至少一種開(kāi)源爬蟲(chóng)框架(scrapy、appium、selenium等);
3.精通動(dòng)態(tài)網(wǎng)頁(yè)抓取、瀏覽器模擬抓取、APP抓取等技術(shù),熟悉使用fiddler或其他抓包工具。;
4.具有js逆向,app逆向相關(guān)經(jīng)驗(yàn)。熟悉js?hook原理,熟悉各種反爬風(fēng)控常見(jiàn)手段;
5.具有團(tuán)隊(duì)合作精神,有責(zé)任感,對(duì)工作認(rèn)真負(fù)責(zé),有較強(qiáng)的協(xié)調(diào)和溝通能力;
6.熟練掌握xposed?,?appium,?hook,脫殼,mitmproxy,反編譯,selenium,scrapy,爬蟲(chóng)平臺(tái)