崗位職責(zé):
1、分布式網(wǎng)絡(luò)爬蟲系統(tǒng)及數(shù)據(jù)庫(kù)的設(shè)計(jì)與開發(fā);
2、設(shè)計(jì)爬蟲策略和防屏蔽規(guī)則,解決封賬號(hào)、封IP、驗(yàn)證碼等難點(diǎn)攻克;
3、編寫大規(guī)模分布式網(wǎng)絡(luò)爬蟲(多線程、分布式調(diào)度、協(xié)議處理);
5、數(shù)據(jù)清洗整理類產(chǎn)品的應(yīng)用開發(fā)、優(yōu)化;構(gòu)建和開發(fā)在海量數(shù)據(jù)下多維分析的數(shù)據(jù)分析平臺(tái)
6、精通網(wǎng)頁(yè)抓取原理及技術(shù)、深度抓取、動(dòng)態(tài)網(wǎng)頁(yè)技術(shù)抓取、瀏覽器模擬抓取技術(shù),從結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息;
7、精通爬蟲和反爬技術(shù),精通http底層協(xié)議;精通深度抓取、動(dòng)態(tài)網(wǎng)頁(yè)技術(shù)抓取、瀏覽器模擬抓取技術(shù)等;
8、掌握J(rèn)ava語(yǔ)言,具有開發(fā)JavaWeb的能力,對(duì)Spring?Boot、SpringMVC等框架有見解。
9、熟悉HtmlParser/HttpClient/Jsoup/jQuery/bootstrap中的一種或多種開源技術(shù)。
1、負(fù)責(zé)圖像處理和圖像識(shí)別的技術(shù)研發(fā)。
2、負(fù)責(zé)公司圖像識(shí)別平臺(tái)的產(chǎn)品研究,技術(shù)研究。
3、負(fù)責(zé)計(jì)算機(jī)視覺應(yīng)用開發(fā)、移植及優(yōu)化
4、負(fù)責(zé)圖像處理、視頻分析及目標(biāo)識(shí)別算法的研發(fā)及性能優(yōu)化工作
5、負(fù)責(zé)相應(yīng)方向技術(shù)難點(diǎn)攻關(guān)、前瞻研究
任職要求:
1.模式識(shí)別、圖像處理、應(yīng)用數(shù)學(xué)等相關(guān)專業(yè)本科及以上學(xué)歷。
2.有一定的機(jī)器視覺或圖像處理方面工作經(jīng)驗(yàn);
3.有驗(yàn)證碼識(shí)別/機(jī)器學(xué)習(xí)/深度學(xué)習(xí)/hadoop大數(shù)據(jù)相關(guān)經(jīng)驗(yàn)者優(yōu)先。
4.收集研究行業(yè)內(nèi)新的技術(shù)、算法,不斷提高系統(tǒng)對(duì)圖像識(shí)別的效率與準(zhǔn)確率
5.精通圖像增強(qiáng)、目標(biāo)定位和分割、邊緣提取等基本圖像處理算法