職位描述:
1、負責大數(shù)據(jù)平臺的規(guī)劃和建設;
2、負責制定數(shù)據(jù)倉庫、數(shù)據(jù)建模、數(shù)據(jù)處理、數(shù)據(jù)運維和數(shù)據(jù)安全等架構(gòu)規(guī)范并落地實施;
3、設計并實現(xiàn)數(shù)據(jù)倉庫、數(shù)據(jù)挖掘、BI等數(shù)據(jù)系統(tǒng)建設、開發(fā);
4、搭建大數(shù)據(jù)平臺配套的管理后臺;
5、具有較強的學習能力,能及時跟進行業(yè)先進技術(shù),并研究落地實踐;
6、指導大數(shù)據(jù)開發(fā)人員、數(shù)據(jù)分析人員進行大數(shù)據(jù)項目開發(fā)和數(shù)據(jù)挖掘;
7、配合算法工程師進行數(shù)據(jù)模型建立和數(shù)據(jù)深度挖掘;
任職要求:
1、計算機相關(guān)專業(yè),五年項目架構(gòu)經(jīng)驗,至少兩年以上的大數(shù)據(jù)項目架構(gòu)經(jīng)驗;
2、深入理解大數(shù)據(jù)產(chǎn)品和數(shù)據(jù)分析相關(guān)技術(shù)和實現(xiàn)方法,具有大數(shù)據(jù)中臺項目經(jīng)驗;
3、熟練使用hadoop及hadoop生態(tài)圈中的常用組件,如Spark、Hive、zookeeper、Sqoop、Flume、Kafka、Storm、Redis、Spark、Yarn、Impala、HBase、kudu、Presto、solr?等全部或者部分組件,精通其中2-3個;深入理解MapReduce、HDFS、spark?RDD/DataFrame原理;?4、熟悉Strom或者Spark?Streaming等實時計算框架?
5、至少熟悉Java,Python,Scala一種或者多種語言,熟悉Oracle\MySQL,連接NoSql更佳,熟悉Linux及Shell;?
6、熟悉數(shù)據(jù)挖掘、可視化分析,各種BI算法和產(chǎn)品等,具有良好數(shù)據(jù)結(jié)構(gòu)算法原理基礎(chǔ)?
7、有機器學習或深度學習經(jīng)驗優(yōu)先;?
8、熟悉Spring?Boot,有Spring?Cloud等微服務相關(guān)項目開發(fā)經(jīng)驗優(yōu)先;?
9、有交通行業(yè)大數(shù)據(jù)平臺架構(gòu)經(jīng)驗優(yōu)先;