崗位職責(zé):
1、負(fù)責(zé)Hadoop大數(shù)據(jù)平臺各類數(shù)據(jù)業(yè)務(wù)抽象及模型化;
2、負(fù)責(zé)數(shù)據(jù)倉庫ETL設(shè)計、開發(fā)及自動化工作
3、負(fù)責(zé)Spark的功能擴展和性能優(yōu)化,使用海量數(shù)據(jù)解決并實現(xiàn)業(yè)務(wù)需求,
4、設(shè)計或配合算法工程師實現(xiàn)算法,解決實體識別、情感分析等相關(guān)問題
5、使用Hive、Spark進行數(shù)據(jù)處理,協(xié)助建立數(shù)據(jù)模型;
任職要求:
1、本科及以上學(xué)歷。2年以上相關(guān)工作經(jīng)驗,精通SQL,精通Java、scala,Python其中至少一門語言,
2、熟悉數(shù)據(jù)庫/數(shù)據(jù)倉庫設(shè)計
3、熟悉Hive、Spark、kafka,Sqoop、hdfs,HBase
4,熟悉linux開發(fā)環(huán)境,掌握shell編程
5,參與過中大型大數(shù)據(jù)項目的架構(gòu)和設(shè)計的優(yōu)先考慮
6、有nlp相關(guān)經(jīng)驗者優(yōu)先考慮