崗位職責(zé)：
1、負(fù)責(zé)網(wǎng)頁(yè)數(shù)據(jù)采集核心技術(shù)、采集策略的研究和實(shí)現(xiàn)；
2、負(fù)責(zé)提升網(wǎng)頁(yè)數(shù)據(jù)采集系統(tǒng)效率和質(zhì)量；
3、負(fù)責(zé)研究各種網(wǎng)站、論壇、社交媒體，實(shí)現(xiàn)資源采集；
4、負(fù)責(zé)業(yè)務(wù)需求分析、系統(tǒng)設(shè)計(jì)、開(kāi)發(fā)計(jì)劃的制定與跟進(jìn)；
5、負(fù)責(zé)分布式調(diào)度、采集、傳輸、存儲(chǔ)、解析、通訊等模塊和策略的設(shè)計(jì)、開(kāi)發(fā)、維護(hù)、調(diào)優(yōu)，保證效率和質(zhì)量
6、負(fù)責(zé)日常數(shù)據(jù)分析和監(jiān)控
?
崗位要求：
1、有五年以上軟件設(shè)計(jì)與開(kāi)發(fā)經(jīng)驗(yàn)；精通c/c++/nodejs/python等編程語(yǔ)言，熟悉windows\Linux平臺(tái)，熟悉sql語(yǔ)言，熟悉mysql、mongodb等主流數(shù)據(jù)庫(kù)；
2、三年以上大規(guī)模網(wǎng)頁(yè)數(shù)據(jù)采集系統(tǒng)開(kāi)發(fā)經(jīng)驗(yàn)，了解相關(guān)原理及技術(shù)，精通正則表達(dá)式，深入了解Http協(xié)議，熟悉XML、JSON、SOAP協(xié)議、JS、AJAX、html，熟悉搜索引擎的工作原理，能夠總結(jié)分析不同網(wǎng)站的結(jié)構(gòu)特點(diǎn)與規(guī)律；
3、對(duì)算法設(shè)計(jì)和數(shù)據(jù)結(jié)構(gòu)有深刻的理解，精通多線(xiàn)程/多進(jìn)程編程，熟悉socket、http網(wǎng)絡(luò)編程，熟悉分布式程序設(shè)計(jì)，熟悉設(shè)計(jì)模式及程序性能優(yōu)化；
4、具有很強(qiáng)的分析和解決問(wèn)題的能力，具備攻克難題的強(qiáng)烈興趣，具備快速學(xué)習(xí)新理念及技術(shù)，有務(wù)實(shí)的工作態(tài)度與扎實(shí)的軟件開(kāi)發(fā)理論基礎(chǔ)。