職位描述：1.?負責(zé)分布式網(wǎng)絡(luò)爬蟲系統(tǒng)的架構(gòu)設(shè)計與開發(fā)（如抓取調(diào)度，多樣化抓取，頁面解析和結(jié)構(gòu)化抽取，海量數(shù)據(jù)存儲和讀取等）2.?負責(zé)爬蟲核心算法的策略優(yōu)化研究，提升爬蟲抓取效率和質(zhì)量（如調(diào)權(quán)調(diào)度、分析預(yù)測、質(zhì)量判斷、封禁與反封禁研究等）?3.?負責(zé)HTTP、AJAX等各類網(wǎng)絡(luò)請求分析，探索和研究高效的數(shù)據(jù)抓取解決方案任職資格：?1、本科及以上學(xué)歷，良好的代碼能力，扎實的數(shù)據(jù)結(jié)構(gòu)和算法功底，有快速迭代、逐步優(yōu)化的工程項目經(jīng)驗?2、有良好邏輯思維能力、溝通能力、團隊合作精神、學(xué)習(xí)能力，抗壓能力，對挑戰(zhàn)性問題充滿激情?3、熟悉linux和Java開發(fā)，熟悉shell/perl/python等腳本語言，熟練掌握正則表達式4、精通一種開源爬蟲框架，如scrapy、webmagic、nutch、heritrix等，有開發(fā)爬蟲框架經(jīng)驗優(yōu)先；熟悉反爬蟲、驗證碼識別技術(shù)者優(yōu)先5、有多線程、網(wǎng)絡(luò)數(shù)據(jù)處理經(jīng)驗優(yōu)先（如HTTP協(xié)議，AJAX，爬蟲開發(fā)，瀏覽器內(nèi)核開發(fā)，Web服務(wù)開發(fā)等）?6、有大規(guī)模分布式海量數(shù)據(jù)處理經(jīng)驗優(yōu)先（如Hadoop/Hbase/Spark/Strom/Flink等