崗位職責(zé):
1、負(fù)責(zé)大數(shù)據(jù)基礎(chǔ)平臺的規(guī)劃,根據(jù)業(yè)務(wù)需求、數(shù)據(jù)量等情況設(shè)計(jì)基礎(chǔ)數(shù)據(jù)平臺的組件選型,主機(jī)、網(wǎng)絡(luò)、存儲等設(shè)備規(guī)劃
2、制定大數(shù)據(jù)的技術(shù)解決方案及規(guī)劃,理解業(yè)務(wù)需求,推進(jìn)大數(shù)據(jù)的應(yīng)用。
任職要求;
1、本科及以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè),具有5年以上工作經(jīng)驗(yàn)、3年以上大數(shù)據(jù)研發(fā)經(jīng)驗(yàn)
2、具備Hadoop、HBase、Spark、Kafka、Zeppelin、Kerberos等中一個(gè)或多個(gè)相關(guān)平臺維護(hù)、優(yōu)化經(jīng)驗(yàn)或技能。
3、熟悉Linux(redhat/centos)軟硬件環(huán)境、系統(tǒng)管理和優(yōu)化,熟練部署、優(yōu)化各種常用服務(wù)。熟練使用Linux?命令和常用的ssh、ftp、git、maven等開發(fā)工具;
4、熟悉Hadoop大數(shù)據(jù)生態(tài)圈,包括但不限于CDH/HDFS/YARN/Hive/Hbase/Kafka/zookeeper/Spark/Flume/Impala/Hue/Sqoop/Elasticsearch/kibana/MySQL/Oracle等;
5、熟悉Hadoop各組件的原理和實(shí)現(xiàn),有實(shí)際部署維護(hù)、管理(?包括元數(shù)據(jù)管理)及優(yōu)化經(jīng)驗(yàn)。并擁有持續(xù)調(diào)優(yōu)能力,運(yùn)維管理過大規(guī)模數(shù)據(jù)平臺;
6、熟悉掌握常用的安全協(xié)議和組件服務(wù),對hadoop各組件的權(quán)限、安全、kerberos進(jìn)行配置管理。熟悉SSL、ACL、kerberos等在大數(shù)據(jù)環(huán)境場景的使用;
7、熟悉常用運(yùn)維監(jiān)控工具(nagios/ganglia/zabbix/grafan/openfalcon等)和相關(guān)插件的開發(fā)。比如郵件、短信、微信報(bào)警插件等;
8、熟悉常用nginx/haproxy/varnish/netscaler等代理工具的使用和優(yōu)化;
9、具備良好的服務(wù)意識,善于主動思考,自我驅(qū)動力強(qiáng)。有良好的溝通、協(xié)調(diào)能力,富有團(tuán)隊(duì)精神,有較強(qiáng)的文檔編寫能力;