崗位職責：
1.?熟悉linux平臺開發(fā)，熟練掌握Python語言；
2.?了解多線程、高性能應(yīng)用的設(shè)計與編碼及性能調(diào)優(yōu)；
?3.?有網(wǎng)絡(luò)爬蟲、網(wǎng)頁去重、網(wǎng)頁信息抽取等相關(guān)經(jīng)驗者優(yōu)先；
?4.?熟悉html,?DOM,?xpath，CSS者優(yōu)先。
?5.?掌握Hadoop(HDFS/MapReduce/Hive)、Spark、HBase、Storm、Kafka、Flume等技術(shù)、框架者優(yōu)先;
6.?有知名互聯(lián)網(wǎng)公司工作經(jīng)驗者優(yōu)先。
任職要求：
1.熟悉linux平臺開發(fā)，2年以上Python開發(fā)經(jīng)驗；
2.熟悉Mysql，MongDB二者至少之一；
?3.掌握簡單的驗證碼識別技術(shù)、AJAX網(wǎng)頁采集技術(shù)；
4.熟練使用抓包工具，Xpath，正則，Beautifulsoup；
5.有Scrapy分布式爬取經(jīng)驗和Docker技術(shù)者優(yōu)先；