工作內(nèi)容:?1).?負(fù)責(zé)網(wǎng)絡(luò)爬蟲程序設(shè)計(jì)開發(fā),對目標(biāo)數(shù)據(jù)爬取分析;
??2).?負(fù)責(zé)相關(guān)接口數(shù)據(jù)的抓取和清洗工作;
??3).?負(fù)責(zé)算法數(shù)據(jù)的整理和算法調(diào)用;
??4).?負(fù)責(zé)爬蟲架構(gòu)的持續(xù)的性能優(yōu)化;
??5).?負(fù)責(zé)技術(shù)難點(diǎn)的攻克;
?崗位要求:
?1).?計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷,1年以上爬蟲工作經(jīng)驗(yàn)者優(yōu)先;
?2).?掌握Python基礎(chǔ)開發(fā),熟悉Tornado、Django、Flask其中任一web框架,熟悉常用的基礎(chǔ)網(wǎng)絡(luò)和解析類庫;
?3).?精通網(wǎng)頁抓取原理及技術(shù),精通正則表達(dá)式,熟練從結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息;
?4).?熟悉數(shù)據(jù)庫性能優(yōu)化與常見緩存技術(shù)與策略;
?5).?熟悉fiddler,charles等抓包工具,?熟悉反爬蟲、驗(yàn)證碼識(shí)別技術(shù)者優(yōu)先?;
?6).?具備優(yōu)秀的邏輯思維能力,對解決挑戰(zhàn)性問題充滿熱情,善于分析問題解決問題;
??
?7).?有強(qiáng)烈的上進(jìn)心和求知欲,擅于學(xué)習(xí)新事物。