最新大数据运维工程师岗位职责 大数据运维工程师需要的技能(20篇)

格式:DOC 上传日期:2023-02-11 10:24:33
最新大数据运维工程师岗位职责 大数据运维工程师需要的技能(20篇)
时间:2023-02-11 10:24:33     小编:zdfb

范文为教学中作为模范的文章,也常常用来指写作的模板。常常用于文秘写作的参考,也可以作为演讲材料编写前的参考。范文书写有哪些要求呢?我们怎样才能写好一篇范文呢?这里我整理了一些优秀的范文,希望对大家有所帮助,下面我们就来了解一下吧。

大数据运维工程师岗位职责 大数据运维工程师需要的技能篇一

1. 负责公司核心集群的运维工作, 任务调度、监控预警,持续完善大数据平台,保证稳定性、安全性;

2. 负责集群容量规划、扩容及集群性能优化;

3. 基于大数据应用需求,持续优化hadoop框架及组件的配置,提升性能;

任职资格:

1.大专以上计算机,通信和网络相关专业;

2.3年以上中等规模集群环境下的hadoop/impala/hive/spark集群相关运维经验;

3.对各种hdfs/yarn/hive/impala/spark/hbase等相关参数调优, 性能优化等有实际经验;

4.有实际踩坑经历, 对于相关组件的版本跟进, 补丁跟踪, bug追踪等有相关经验;

5.实际处理过各种集群在线版本升级, 数据迁移, 集群扩容, 稳定性监控等工作;

6.熟悉kerberos安全认证系统,实施过集群权限管理, 资源隔离方面的方案规划或二次开发工作;

7.能维护hadoop源码,有hadoop 源代码bug修复或者源代码优化经验者优先;

8.有cloudera的cm使用经验尤佳。

大数据运维工程师岗位职责 大数据运维工程师需要的技能篇二

职责:

1、负责大数据平台hawq数据库运维;

2、负责大数据平台tbase数据库运维;

3、负责传统数据(oracle、mysql等数据库)数据迁移、数据同步;

4、负责日常数据库的监控及问题分析排查;

5、负责ogg、kafafa等组件数据传输同步日常运维;

6、负责数据库的优化、sql语句的优化调优;

7、负责数据同步的检验与异常处理,确保数据的一致性、完整性、及时性;

8、负责制定数据同步方案及实施。

任职要求:

1、大专或以上学历,计算机或统计类相关专业

2、有3年以上技术类或数据类的开发经验;

3、熟练linux 系统操作及linux 运维监控、软件安装配置;

4、熟悉大数据技术,如hadoop、spark、storm、zookeeper等;

5、熟悉主流数据库mysql/sql serverl/oracle/postgresql等,精通sql语句,对复杂sql能进行优化,能熟练编写存储过程;

6、熟练linux shell,可以进行运维shell开发;

7、学习能力强,责任心强,具有优秀的沟通表达、理解能力与团队合作能力;

8、有centos 7、red hat 7等linux操作系统,有shell脚本编写经验的优先。

9、有3年以上的基于mpp(greenplum ,hawq,vertica,gbase等mpp db)数据仓库的实际运维经验或3年以上 hive、spark 实际项目运维经验

10、在实际项目中,有异构数据库迁移经验,从传统oracle,mysql迁移至mpp数据仓库的实战经验.

大数据运维工程师岗位职责 大数据运维工程师需要的技能篇三

职责:

1、负责银行各类应用系统的运维标准制定和运维管理等工作;

2、负责银行各类应用系统的运行情况及相关技术的整理、分析和总结等工作;

3、负责银行各类应用系统的应用监控、应用运维体系工具的建设和维护工作;

4、负责银行各类应用系统的自动化脚本编写和测试工作。

招聘要求:

1、全日制一本以及以上学历,理工类专业;

2、具备2年及以上应用系统运维或应用系统开发经验,有银行应用系统运维或开发经验者优先;

3、具备较强的文档编写、英语文档阅读能力;

4、具备良好的沟通表达能力和团队合作精神,具有较强的工作责任心和主动性;

5、至少具备以下二项技能:

(1)熟悉银行应用系统体系架构、应用运维标准化流程;

(2)熟悉aix、linux操作系统相关运维工作,具备熟练的shell脚本编程能力;

(3)熟悉应用软件持续集成和持续发布交付项目的整体流程,熟悉jenkins、nexus等相关devops工具;

(4)熟练使用容器平台相关技术,有容器平台管理工作、应用容器打包的相关经验;

(5)熟练使用golang或者python编程。

大数据运维工程师岗位职责 大数据运维工程师需要的技能篇四

职责:

- 负责局点大数据平台的部署、管理、优化、监控报警,保障平台服务7*24稳定可靠高效运行;

- 深入理解公司大数据平台架构,发现并解决性能瓶颈,支撑业务和数据量的快速增长;

- 开发大数据自动化运维、监控报警、故障处理相关脚本和工具;

- 负责hadoop/spark/kafka等集群服务、业务监控、持续交付、应急响应、容量规划等。

要求:

- 4年以上运维相关工作经验,有大数据平台运维相关工作经验优先;

- 具备一定的故障排查能力,有良好的技术敏感度和风险识别能力,精通一门以上脚本语言(shell/python等),熟悉http/https、tcp/ip、smtp等协议;

- 熟悉linux(redhat/centos)软硬件环境、系统管理和优化,熟练部署、优化各种常用服务。熟练使用linux 命令和常用的ssh、ftp、git、maven等开发工具;

- 熟悉hadoop大数据生态圈,包括但不限于cdh/hdfs/yarn/hive/hbase/kafka/zookeeper/spark/flink/impala/elasticsearch/kibana/mysql/kubernetes等;

- 熟悉hadoop各组件的原理和实现,有实际部署维护、管理( 包括元数据管理)及优化经验。并拥有持续调优能力,运维管理过大规模数据平台;

- 熟悉掌握常用的安全协议和组件服务,对hadoop各组件的权限、安全、kerberos进行配置管理。熟悉ssl、acl、kerberos等在大数据环境场景的使用;

- 熟悉常用运维监控工具(nagios/ganglia/zabbix/grafan/openfalcon等)和相关插件的开发。比如邮件、短信、微信报警插件等;

- 熟悉常用nginx/haproxy/varnish/netscaler等代理工具的使用和优化;

- 具备良好的服务意识,善于主动思考,自我驱动力强。有良好的沟通、协调能力,富有团队精神,有较强的文档编写能力;

- 有大数据开发经验和阅读源码能力者优先

大数据运维工程师岗位职责 大数据运维工程师需要的技能篇五

职责:

1负责政务云平台、政务应用系统中数据库业务的日常运维,保障平台及应用系统服务7*24稳定可靠高效运行

2负责数据库性能调优,了解锁与隔离机制,协助客户解决数据库性能瓶颈

3制定数据库使用规范,制定数据库备份、升级、迁移规划并部署实施

4参与数据库设计工作,提高数据库维护自动化水平

5熟悉linux操作系统,熟练使用python,go,shell等至少一种语言

岗位要求:

1) 5年以上 oracle/mysql dba 从业经验;

2) 熟练掌握 oracle/mysql 数据库的基础理论知识、运行机制、体系架构、高可用方案、备份机制、容灾机制等;

3) 熟练掌握数据库性能优化,了解主流的分布式数据库 spanner/cassandra;

4) 熟悉 linux/unix 操作系统,对服务器硬件有一定了解;

5) 熟练掌握 golang、python、java 等语言中的一种;

6) 熟悉阿里云产品线,具备acp认证者优先考虑;

大数据运维工程师岗位职责 大数据运维工程师需要的技能篇六

1、 负责系统运行团队的日常运维工作;

2、 做好相关系统运行情况的值班记录和数据汇总工作;

3、 负责团队运维系统的安装、调试、维护、监控和故障处理等日常工作,对团队运维系统提供技术支撑,保证系统稳定运行;

4、 负责日常运维问题记录、反馈和跟踪。

5、 撰写相关的运行维护手册和后续完善修订,定期编写系统运行维护报告。

6、 完成领导安排的其他事项。

大数据运维工程师岗位职责 大数据运维工程师需要的技能篇七

职责:

1. 负责公司交换机、路由器、打印机、投影仪的维护保养、故障排除,保障网络运行安全、稳定;

2. 公司门禁系统、监控系统的日常维护与管理工作;

3. 公司办公软件的采购、安装、升级维护(office、企业邮箱、安全软件);

4. 负责信息化办公系统(hr系统、oa系统、erp系统)的实施、上线培训及维护,提供技术支援;

5. 负责公司网络、数据安全管理,离职员工电脑资料文件的备份;

6. 领导交办的其他临时任务。

任职要求:

1.计算机或网络工程相关专业专科及以上学历;

2.有丰富的计算机软、硬件知识,网络安全知识,系统维护知识;

3.熟练使用windows操作系统,熟练掌握网络知识及相关操作系统;

4.熟悉h3c交换机、路由器、防火墙等网络设备,有丰富的网络安全意识;

5.熟悉各种主流操作系统、网络安全软、硬件及相关方案及相关软件,较强的错误分析和应变能力,能独立进行安装、调试及故障排除;

6.学习能力强,有较好的沟通和协作能力,具备良好的服务意识。

大数据运维工程师岗位职责 大数据运维工程师需要的技能篇八

职责:

1、负责公司服务器日常的维护,包括巡检、故障排除、数据备份等业务,保证服务器高质量、高效率运行状态;

2、负责公司大数据产品的现场实施,制定可靠的实施方案;

3、负责公司大数据环境(hadoop生态)集群环境安装、维护、部署、优化;

【任职资格】

1、至少2年服务器、大数据集群运维经验;

2、精通linux运维命令,熟悉linux的维护和管理,熟悉shell脚本开发,能看懂python/scala优先;

3、熟悉大数据项目实施:包括不限于hadoop、hive、kafka、hbase、spark、kudu、impala等大数据生态的平台搭建,监控,运维,调优、生产环境;

4、熟悉docker技术优先;

5、熟练使用git版本控制,jenkins持续集成工具优先;

6、具备强烈的进取心、自我学习能力,良好的沟通能力和团队合作意识。

大数据运维工程师岗位职责 大数据运维工程师需要的技能篇九

职责:

1、企业内网建设和管理;进行网络架构的规划、设计、调整、性能优化;

2、网络环境的管理,配置,排错,维护;

3、网络设备的安装、配置、管理,提供网络设备维护方案;

4、网络安全,网络质量及网络设备的监控,生成网络质量报表;

5、建立完整的网络系统文档;

6、负责信息化系统运维,包含使用数量、权限管理、使用空间、系统资源等。

任职要求:

1、大专学历,计算机网络、通信相关专业;

2、具备2年以上网络工程实施经验,能够独立调试路由器、交换机、防火墙等国内外主流厂商产品;

3、具有良好的服务意识,思路清晰,沟通表达能力强;

4、具有华三、华为等主流厂商初级或以上专业认证优先;

5、有集成和运维项目经验者者优先。

6、有h3c或者华为的网络/无线/安全认证的优先;

大数据运维工程师岗位职责 大数据运维工程师需要的技能篇十

项目现场系统、公司软件产品、数据库的部署安装与运维;

根据现场环境和项目需求对数据库和软件进行配置调试;

参与数据调研与etl相关事宜;

负责与客户沟通项目需求,并整理需求反馈回公司;

撰写项目相关文档和技术文档;

负责对客户进行相关技术的培训与讲解;

大数据运维工程师岗位职责 大数据运维工程师需要的技能篇十一

职责:

1、负责设计运维平台、开发,提升运维质量及效率,实现系统的自动化管理;

2、负责监控告警系统的设计和开发,做到监控可视化、故障自动化;

3、评估系统性能和运行状态,建立量化指标,用数据指导优化;

4、技术文档的整理和编写。

任职要求:

1、计算机相关专业;

2、精通linux操作系统,熟悉shell或python等语言;

3、精通tomcat,nginx,lvs, jenkins、sonar等软件,能规划一套应用自动化集成部署方案;

4、精通监控架构及原理,熟悉系统、应用,数据库等组件的监控配置经验;

5、熟悉mysql,sql server,能熟练掌握mysql的基本操作,能对mysql进行性能优化,监控mysql日常运行情况,熟悉主备、主从、安全机制;

6、熟悉hadoop、spark、zookeeper等组件的原理及运维方式;

7、具备快速故障排错的能力,具备一定的大型应用系统的架构优化能力;

8、认真负责,工作严谨,重视流程规范,良好的沟通能力和团队协作能力,善于不断学习。

大数据运维工程师岗位职责 大数据运维工程师需要的技能篇十二

职责:

1、负责日常公司已交付项目的管理维护,保障系统的稳定运行;

2、负责相关故障、疑难问题排查处理,编制汇总故障、问题,定期提交汇总报告;

3、依照项目实际情况进行简单的编程实现特殊业务需要 ;

4、对工作认真负责,并能承受一定的工作压力 。

任职资格:

1、具有2年以上相关工作经验,能熟练使用c#进行代码编写和调试;

2、具备优秀的计算机软、硬件知识,能够快速判断软、硬件故障并且提出解决方案;

3、熟悉常用的操作系统、数据库的安装、操作、配置、故障处理及部署的相关知识及解决问题的能力;

4、有使用主流大型数据库的实际开发、维护经验;

5、吃苦耐劳,踏实好学、有较强的责任心、团队协作能力及沟通能力;

6、适应频繁出差;

大数据运维工程师岗位职责 大数据运维工程师需要的技能篇十三

职责:

1、负责应用系统的日常管理与运行维护;

2、负责日常计算机及网络维护,提供it软硬件软件方面的服务与支持;

3、负责服务器系统、数据库、常用服务支撑软件的安装、维护、迁移、故障处理;

4、负责不同开发环境持续集成搭建、优化及维护;

任职要求:

1、3年以上相关经验,大专以上学历,二年以上大中型在线系统运维的工经验,会python优先

2、至少掌握一门脚本语言,如shell、perl、python等等;

3、熟悉mysql数据库的管理,熟悉mysql备份和恢复、mysql mmm复制以及mysql的性能调优;

4、有一定的mysql数据库的运维经验,了解redis/activemq/kafka/tomcat/nginx等开源软件;

5、熟悉svn/git等源代码管理工具,至少熟悉一种主流的持续集成工具(jenkins、teamcity、crusecontrol等);

6、熟悉运维监控工具,如zabbix等;

7、有较好的团队管理和组织协调能力,具有良好的职业道德和团队协作精神,具备积极主

大数据运维工程师岗位职责 大数据运维工程师需要的技能篇十四

职责:

1、负责公司现有线上产品的日常运维工作

2、负责线上产品所涉及服务器及网络的维护及故障排除

3、负责公司现有线上产品功能扩展及维护

4、负责产品功能、产品实施方面的培训及验收工作

职位要求:

1、1年以上项目运维经验

2、熟悉linux 服务器维护,熟悉weblogic、tomcat 项目部署

3、熟悉oracle、mysql数据基础操作

4、熟练掌握git,svn等代码管理工具,对构建,代码检查,发布有相应经验。

5、有java开发基础的优先考虑

5、对技术有激情、有追求;富于技术创新精神,勇于解决技术难题;

6、责任心强,具备良好的团队合作精神和承受压力的能力。

7、能够适应出差,驻场运维

大数据运维工程师岗位职责 大数据运维工程师需要的技能篇十五

职责:

1. 负责日常网络及各子系统管理维护;

2. 负责设计并部署相关应用平台,并提出平台的实施、运行报告;

3. 负责配合开发搭建测试平台,协助开发设计、推行、实施和持续改进;

4. 负责相关故障、疑难问题排查处理,编制汇总故障、问题,定期提交汇总报告;

5. 负责网络监控和应急反应,以确保网络系统有7*24小时的持续运作能力;

6. 负责日常系统维护及监控,提供it软硬件方面的服务和支持,保证系统的稳定。

素质要求及任职资格:

1.学历: 专科以上。

2.专业: 计算机相关专业。

3.经验: 一年以上相关工作经历优先。

4.核心能力及业务技术要求:

a.熟悉unix/linux和windows系统,有it系统维护经验; 对操作系统、网络、计算机安全有一定的深刻理解;

b.熟悉主流的交换机、路由器、防火墙等网络设备及其技术应用;

c.熟悉主流web配置,包括iis、apache、tomcat、nginx等;

d.熟悉负载均衡技术,lvs+keepalive+heartbeat等集群技术;

e.精通或掌握sqlserver/oracle/mysql等大型数据库管理系统(之一)的安装/配置和管理;

f.熟练掌握linux监控软件,如nagios等,监控系统安全控制及技术防范;

g.具备良好的分析和解决问题的能力,对于攻关疑难问题具有强烈的兴趣;

h.性格开朗外向、善于学习,具备较强的服务意识、沟通协调能力、团队协作能力;

i.良好的文档编写能力,较强的客户服务意识,积极主动,吃苦耐劳, 高度的责任心及应急能力;

5.其它:身体状态良好。

大数据运维工程师岗位职责 大数据运维工程师需要的技能篇十六

职责:

1、管理、维护服务器及应用系统;

2、优化平台系统架构、提升系统服务性能。

3、负责服务器日常检查,故障排除;

4、负责服务器的实施部署与搭建;

5、负责服务器的资源调配、系统安全和数据备份;

6、负责服务器各项数据的监控,如流量、负载等;

任职要求:

1. 22-32岁,全日制大专及以上学历,计算机、信息工程或it相关专业,精通计算机维护,网络管理等相关知识;

2. 对网络安全体系有深入理解,有网络安全事件的紧急处置经验和能力,具有丰富的网络故障排查和解决经验,突出的分析和解决问题能力;

3、熟练使用linux/unix操作系统,2年以上linux平台使用经验。

4、熟悉主流linux安装、配置、管理及优化,有实际服务器管理经验和集群经验。

5、熟练掌握perl、shell、python之一的脚本编程;

6、熟练使用mysql、oracle,有实际数据库操作经验,熟悉常用sql语句。有数据库集群实际使用经验。

7、熟悉常见web系统架构,并具有很强的故障排查和解决问题的能力。

8、有redis集群,mysql读写分离,elk日志分析搭建的经验优先

大数据运维工程师岗位职责 大数据运维工程师需要的技能篇十七

1、对现场异常的处理及系统维护;

2、用户权限的新增、删除、关闭;

3、系统各个基础数据的配置;

4、对系统的功能模块编写操作说明;

5、对日常运维,编写运维说明;

6、对新增的功能模块进行培训;

7、对新增的功能模块进行实施;

8、积极参与团队周会,总结每周工作进度,工作表现。

大数据运维工程师岗位职责 大数据运维工程师需要的技能篇十八

职责:

1.负责研发部it监控平台的规划和建设;

2.负责研发部运维自动化平台规划建设;

3.负责研发部it系统的网络规划、建设、运维,保证各业务系统正常运行;

4.负责研发部现有it系统部署架构以及性能优化;

岗位要求:

1.精通linux系统的操作命令,有rhce、rhcsa证书更佳;

2.熟悉oracle、mysql、sqlserver等关系型数据中的至少1-2种,且至少有3年以上使

用运维经验;

3.能独立完成各种中间件集群在linux平台的部署、调优,包括且不限于zookeeper、kafka、

storm、redis等等;

4.熟悉如下至少一种编程语言shell、perl、python、ruby且独立输出过实战案例;

5.熟悉主流的it系统监控软件如zabbix、nagios等并有实际操作经验;

6.了解hadoop/spark等大数据平台,能使用大数据平台进行相关的数据处理;

7.熟悉aws、阿里云、腾讯云等公有云平台的相关操作;

8.具有良好的学习和解决问题的能力,具有团队合作精神;

9.吃苦耐劳,能承受一定的工作压力。

大数据运维工程师岗位职责 大数据运维工程师需要的技能篇十九

职责:

1、负责电商网站linux服务器的正常运行和应急响应;

2、负责阿里云服务器的正常运行和应急响应;

3、开发平台监控工具、自动化运维工具;

4、研究系统服务架构,实现性能优化,提高系统的健康度;

5、制定和改进应急预案和流程,提高服务运行质量;

6、负责为数据分析与决策人员提供数据支持;

7、搭建和维护开发服务器,测试服务器,数据分析服务器。

任职条件:

1、计算机相关专业、软件工程、计算机科学与技术、网络工程等相关专业,本科以上学历;两年以上linux服务器运维经验;

2、熟悉tcp/ip和snmp等网络协议和路由、交换机、防火墙等网络设备管理,熟悉综合布线,具有全面的网络安全知识;对系统漏洞、入侵检测、病毒防护、防火墙等有实践经验;

3、深入了解linux系统及其远程维护,具备linux下编程经验,熟练使用grep、awk、sed、vi等系统工具,擅长shell,python 等脚本语言当中的一种;

4、熟悉阿里云的后台,有过阿里云部署和运维经验;

5、熟悉mysql数据库和mysqlha架构,有mysqlmaster/slave相关调优经验;

6、熟悉squid,memcached,redis, mongodb 安装及调优;

7、熟悉apache,lighttpd,ngix服务器安装及调优;

8、熟悉xenserver安装使用,熟悉虚拟化,熟悉云架构;

9、了解运维高容量、大并发web系统的业务知识;

10、有大、中型网站维护实战经验者优先考虑;

11、对技术文档编写规范有一定了解,能阅读英文技术文档;

12、良好的沟通和语言表达能力,逻辑清晰,爱学习,有自我激励能力,乐于承担工作压力,责任心强。

大数据运维工程师岗位职责 大数据运维工程师需要的技能篇二十

职责:

1. 配合完成班组7*24小时值班巡检工作的安排和执行;

2. 配合班长协调安排客户服务请求的配合工作;

3. 负责事件及常见故障的处理与协调;

4. 巡检时善于发现设备隐患及缺陷,确保所辖设备始终处于良好的运行状态;

5. 认真作好值班记录和巡查记录并录入,认真执行交接班制度。积极配合班组长工作;

6. 按计划及时完成设备设施维护保养工作;及时做好维保记录;

7. 组织班组安全学习,负责班组安全工作的开展实施;

8. 完成临时安排的其他工作。

任职资格:

1. 具备弱电专业设备值班、巡检、操作、维护、应急的能力;

2. 能够熟练使用弱电专业工具,并独立或配合完成弱电专业相关工作;

3. 能够按照弱电专业工作计划安排,根据工作标准完成日常工作;

4. 具有妥善处理日常各种事务及突发事件的能力;

5. 取得国家专业机构颁发的行业许可证;

6. 2年以上弱电专业经验,1年以上数据中心行业经验有大型idc数据中心运维管理经验优先;

7. 工作责任心强,能承受一定的工作压力,能接受7*24小时排班工作制,并有应急处理能力;

8.从事过大中型数据中心维护工作者优先。

【本文地址:http://www.xuefen.com.cn/zuowen/1309827.html】

全文阅读已结束,如果需要下载本文请点击

下载此文档