工作職責1、基于Hadoop/Spark分布式集群的架構(gòu)設(shè)計和開發(fā)。2、負責Hadoop數(shù)據(jù)倉庫建設(shè)和SQL相關(guān)開發(fā)工作，以及BI和AI項目的開發(fā)工作；3、負責數(shù)據(jù)處理、離線計算、實時計算功能、性能和擴展，解決并實現(xiàn)業(yè)務(wù)需求；4、不斷解決規(guī)模增長帶來的技術(shù)和業(yè)務(wù)問題，確保大數(shù)據(jù)平臺高效完成公司的數(shù)據(jù)任務(wù)工作。任職資格1、數(shù)學(xué)、統(tǒng)計學(xué)、人工智能、計算機相關(guān)專業(yè)，本科或以上學(xué)歷。2、至少熟練運用Java、Scala語言中的1種。3、需要有3年以上基于hadoop/Spark的實際項目開發(fā)經(jīng)驗。4、熟練使用MapReduce、Hive、spark、HDFS、Hbase、Redis、Kafka、presto；5、熟練掌握linux常規(guī)命令與工具，至少熟練應(yīng)用shell、Python腳本語言中的1種。6、敏銳的洞察系統(tǒng)性能瓶頸，并能對io、網(wǎng)絡(luò)通訊、任務(wù)調(diào)度中一個或多個方面的性能調(diào)優(yōu)。7、具有較強的學(xué)習能力、邏輯分析能力、問題排查能力、溝通能力、自我驅(qū)動動力、自我管理能力。