崗位職責(zé):
1.?三年以上Python網(wǎng)絡(luò)爬蟲(chóng)開(kāi)發(fā)經(jīng)驗(yàn),熟悉is,PHP、nutch等編程語(yǔ)言。
2.?負(fù)責(zé)公司有關(guān)網(wǎng)絡(luò)抓取方面的工作,處理網(wǎng)絡(luò)數(shù)據(jù)抓取規(guī)劃、匯總,具備搭建數(shù)據(jù)采集平臺(tái),建立爬蟲(chóng)系統(tǒng),對(duì)數(shù)據(jù)的抓取、解析、調(diào)度、存儲(chǔ)、維護(hù)等開(kāi)發(fā)工作。
3.?爬蟲(chóng)核心算法和策略優(yōu)化,熟悉采集系統(tǒng)的調(diào)度策略,分析爬蟲(chóng)系統(tǒng)瓶頸設(shè)計(jì)實(shí)現(xiàn)相應(yīng)策略和算法,提升爬蟲(chóng)的抓取效率和質(zhì)量;
4.?負(fù)責(zé)服務(wù)器的網(wǎng)絡(luò)設(shè)置、維護(hù)和優(yōu)化、安全監(jiān)控、設(shè)備系統(tǒng)性能管理和優(yōu)化、網(wǎng)絡(luò)性能管理和優(yōu)化保障服務(wù)器與數(shù)據(jù)庫(kù)安全等。
任職要求:
任職要求:
1.?熟悉熟悉?Python?generator,?lucence?,?scrapy,pyspider,Selenium?等框架及系統(tǒng),掌握基本的Xpath,Selenium等用法及Requests,lxml庫(kù),Selenium;或熟悉httpclient、htmlparser、lucene、slor等相關(guān)技術(shù),Lucene/Nutch/等開(kāi)源工具;
2.?精通抓包工具至少一種,熟悉使用網(wǎng)頁(yè)抓取原理及技術(shù),異步編程,?多線程,多進(jìn)程編程,?事件驅(qū)動(dòng)編程;
3.?熟悉Windows和linux系統(tǒng),基本網(wǎng)絡(luò)設(shè)備的簡(jiǎn)單配置和管理及計(jì)算機(jī)硬件、操作系統(tǒng)維護(hù);
4.?具有較強(qiáng)的分析和解決問(wèn)題能力,以解決技術(shù)難題為樂(lè)趣,有想法,敢于挑戰(zhàn);
5.?熟悉MySQL,MongoDB及有集群數(shù)據(jù)庫(kù)開(kāi)發(fā)經(jīng)驗(yàn);
6.?有?simPy?仿真經(jīng)驗(yàn)者優(yōu)先