崗位職責(zé)：1、負(fù)責(zé)數(shù)據(jù)平臺的數(shù)據(jù)采集與爬取、解析處理、入庫及備份等數(shù)據(jù)日常工作；2、負(fù)責(zé)分析新的數(shù)據(jù)需求,?完成數(shù)據(jù)處理的設(shè)計(jì)(文檔)和實(shí)現(xiàn)；3、負(fù)責(zé)數(shù)據(jù)的清洗、整理、整合及合并等工作；4、負(fù)責(zé)數(shù)據(jù)處理程序設(shè)計(jì)框架改善,?數(shù)據(jù)處理性能優(yōu)化,?系統(tǒng)數(shù)據(jù)處理的能力提高；5、負(fù)責(zé)和數(shù)據(jù)架構(gòu)師、數(shù)據(jù)挖掘、分析人員協(xié)同工作,?完成數(shù)據(jù)的統(tǒng)計(jì)、查詢和分析。應(yīng)聘要求：1、計(jì)算機(jī)相關(guān)專業(yè)大專及以上學(xué)歷，三年以上數(shù)據(jù)采集方面開發(fā)經(jīng)驗(yàn)；2、精通網(wǎng)頁抓取原理及技術(shù)，精通正則表達(dá)式，熟練從結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息；3、熟悉Linux平臺開發(fā)，精通java或python，熟悉tcp，http協(xié)議原理；熟悉Ajax工作原理,具備扎實(shí)的數(shù)據(jù)結(jié)構(gòu)與算法功底；4、熟悉常用的反爬蟲策略，有開發(fā)自動化爬蟲框架經(jīng)驗(yàn)優(yōu)先，有驗(yàn)證碼識別技術(shù)者優(yōu)先；5、熟悉Mysql/MongoDB/Redis，有過數(shù)據(jù)庫調(diào)優(yōu)和海量數(shù)據(jù)存儲經(jīng)驗(yàn)優(yōu)先；6、有數(shù)據(jù)處理和清晰經(jīng)驗(yàn)，了解Hadoop、Spark等大數(shù)據(jù)框架和流處理技術(shù)者優(yōu)先；7、具有以下信息采集經(jīng)驗(yàn)者優(yōu)先：企業(yè)工商信息，專利知識產(chǎn)權(quán)信息、法院判決文書等；8、具備優(yōu)秀的邏輯思維能力，對解決挑戰(zhàn)性問題充滿熱情，善于分析問題/解決問題。有強(qiáng)烈的上進(jìn)心和求知欲，擅于學(xué)習(xí)新事物。