工作職責(zé):
1、負(fù)責(zé)分布式爬蟲(chóng)系統(tǒng)架構(gòu)和數(shù)據(jù)存儲(chǔ)設(shè)計(jì)和實(shí)現(xiàn);
2、建立完整的數(shù)據(jù)獲取、解析、入庫(kù)和監(jiān)控流程,并不斷優(yōu)化迭代完善;
3、負(fù)責(zé)各類(lèi)網(wǎng)絡(luò)請(qǐng)求分析,探索和研究高效的解決方案;?
4、理解系統(tǒng)數(shù)據(jù)處理流程以及業(yè)務(wù)功能需求;
5、保證數(shù)據(jù)的完整性和準(zhǔn)確性,保障數(shù)據(jù)采集的穩(wěn)定性。
任職資格:
1、熟悉TCP/IP、HTTP、HTTPS等網(wǎng)絡(luò)協(xié)議,熟悉web前端,熟悉js、css、html等;
2、熟練使用Python/java語(yǔ)言,熟悉常用爬蟲(chóng)框架和工具;
3、有過(guò)大型平臺(tái)數(shù)據(jù)采集,反爬經(jīng)驗(yàn);有逆向js,app反編譯經(jīng)驗(yàn);
4、有Mysql、Mongodb使用經(jīng)驗(yàn);
5、有3年以上對(duì)網(wǎng)頁(yè)、APP和Windows終端數(shù)據(jù)采集經(jīng)驗(yàn);
6、本科及以上學(xué)歷,統(tǒng)計(jì)、應(yīng)用數(shù)據(jù)或計(jì)算機(jī)相關(guān)專(zhuān)業(yè)。