崗位職責(zé)???
1.構(gòu)建分布式和高度并行的大數(shù)據(jù)接收和處理管道，近實(shí)時(shí)處理大量數(shù)據(jù)（結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)）；
2.評(píng)估和部署數(shù)據(jù)質(zhì)量框架，以衡量和改進(jìn)組織中的數(shù)據(jù)質(zhì)量；
3.與數(shù)據(jù)管理員.生產(chǎn)商和消費(fèi)者合作，設(shè)計(jì)適當(dāng)?shù)臄?shù)據(jù)管道；
4.在可能的情況下實(shí)現(xiàn)流程自動(dòng)化，并具有可重復(fù)性和可靠性；
5.與現(xiàn)場(chǎng)可靠性工程師和產(chǎn)品經(jīng)理密切合作，在持續(xù)交付環(huán)境中交付軟件。
資格：
1.在數(shù)據(jù)工程方面有豐富的經(jīng)驗(yàn)（3年以上）并且能解決相關(guān)難題；
2.能使用scala或python編寫生產(chǎn)代碼，并對(duì)最新的數(shù)據(jù)技術(shù)有濃厚的興趣。
具備：
1.數(shù)據(jù)驅(qū)動(dòng)思維；
2.集裝箱技術(shù)經(jīng)驗(yàn)（Openshift.Docker或K8S）；
3.以交付為中心，具有強(qiáng)大的產(chǎn)品意識(shí)；
4.在AWS或GCP上設(shè)計(jì)和實(shí)施數(shù)據(jù)基礎(chǔ)設(shè)施的知識(shí)；
5.優(yōu)秀的溝通技能和跨職能團(tuán)隊(duì)工作經(jīng)驗(yàn)；
6.在Apache?Spark和Nifi方面的經(jīng)驗(yàn)；
7.內(nèi)存數(shù)據(jù)處理經(jīng)驗(yàn)；
8.在實(shí)施加密和匿名等數(shù)據(jù)安全功能方面的經(jīng)驗(yàn)；
9.金融服務(wù)業(yè)的堅(jiān)實(shí)基礎(chǔ)；
10.扎實(shí)的SQL知識(shí)；
11.了解統(tǒng)計(jì)模型、機(jī)器學(xué)習(xí)、圖形分析。