大数据运维工程师岗位的主要职责(精选21篇)

来源:飞鸿范文帮 1.67W

大数据运维工程师岗位的主要职责 篇1

1) 承担团队的日常管理,如值班安排、工作分配、日常考评等;

大数据运维工程师岗位的主要职责(精选21篇)

2) 组织制订、完善与本部门相关的管理制度、标准操作手册SOP、维护操作MOP和应急预案等;

3) 组织制定中心基础设施保养计划,做好相关计划的实现、控制及优化工作;

4) 审核、报批、组织实施各类变更申请、事件报告工作,做好相关应急工作的指挥与处理;

5) 组织开展数据中心基础设施运行维护相关培训、训练与演练;

6) 协助商务部与外包服务商洽谈相关维护服务合同,监督服务实施并要求进行审核与考评,确保相关基础设施的稳定运行;

7) 负责数据中心基础设施资源统计、容量预警工作,做好每月用水用电统计、PUE统计与分析;

8) 配合数据中心进驻客户的场地选址、平面布局、改造实施、进驻管理等支持协调工作;

9) 基础设施月报、环境报告的编写和提交;

10) 数据中心基础设施的持续优化和改善;

11) 负责上级主管领导交办的其它工作。

大数据运维工程师岗位的主要职责 篇2

职责:

1.负责大数据管理平台产品的运维支撑工作,包括项目实施(安装、调优、培训)、项目联调以及其他日常维护等;

2.负责大数据管理平台产品的自动化运维相关脚本的开发、维护等;

3.参与大数据管理平台其他相关工作;

4.领导交付的其他事宜任职要求

任职要求:

1.熟悉Linux(redhat/centos)软硬件环境、系统管理和优化,熟练部署、优化各种常用服务,熟练使用Linux 命令;

2.具备一定的故障排查能力,能够独立排查及解决操作系统层的各类问题,有良好的技术敏感度和风险识别能力,熟悉一门以上脚本语言(Shell/Python等);

3.熟悉Hadoop大数据生态圈,包括但不限于Zookeeper、HDFS、YARN、Hive、Hbase、Spark、Kafka、Flume、ES、MySQL等;

4.熟悉Hadoop各组件的原理和实现,有实际部署维护、管理( 包括元数据管理)及优化经验,并拥有持续调优能力,运维管理过大规模数据平台经验者优先考虑;

5.熟悉掌握常用的安全协议和组件服务,对hadoop各组件的权限、安全、kerberos进行配置管理。熟悉SSL、ACL、kerberos等在大数据环境场景的使用;

6.大型节假日需低频次维护各项目,可以调休;

7.具备良好的服务意识,善于主动思考,自我驱动力强。有良好的沟通、协调能力,富有团队精神,有较强的文档编写能力;

8.本科或硕士毕业于211、985等国内知名高校者优先(注意,仅是加分项,不是必须);

9.有实际工作经验者优先;

大数据运维工程师岗位的主要职责 篇3

职责:

根据产品需求,完成产品功能的设计、编码、测试和发布;

现场项目支持工作,对现场反馈工单问题进行分析、定位和解决;

对现场项目提出的新需求进行分析、设计并完成;

根据产品和技术发展要求,完成平台的设计、开发和支持维护工作。

职位要求:

本科及以上学历,计算机、软件工程相关专业,3年以上相关工作经验;

精通sql、greenplum/postgresql、impala、oracle、mysql至少1种技术、可融汇贯通灵活转换使用;

熟悉hadoop平台zookeeper、hdfs、spark、MR及hbase等常用组件的运行原理;

基于linux/unix平台进行shell、python的常用脚本开发。

大数据运维工程师岗位的主要职责 篇4

职责:

1、负责公司大数据平台自动化运维开发、监控和优化工作,保障数据平台服务的稳定性和可用性;

2、负责公司Hadoop核心技术组件日常运维工作 ;

3、负责公司大数据平台现场故障处理和排查工作;

4、研究大数据前沿技术,改进现有系统的服务和运维架构,提升系统可靠性和可运维性;

任职要求:

1、本科或以上学历,计算机、软件工程等相关专业,3年以上相关从业经验

2、精通Linux运维命令,熟悉Linux的维护和管理,熟悉Shell/Python脚本开发,掌握Scala/JAVA优先;

3、熟悉大数据项目实施:包括不限于Kafka、Hadoop、Hive、Hbase、Spark等大数据生态的平台搭建,监控和调优;

4、良好团队精神服务意识,沟通协调能力;

大数据运维工程师岗位的主要职责 篇5

职责:

1、负责Hadoop、HBase、Hive、Spark等大数据平台 规划、部署、监控、系统优化等,确保高可用;

2、负责公司大数据平台的运维管理工作,集群容量规划、扩容及性能优化;

3、处理公司大数据平台各类异常和故障,确保系统平台的稳定运行;

4、设计实现大规模分布式集群的运维、监控和管理平台;

5、深入研究大数据业务相关运维技术,持续优化集群服务架构,探索新的大数据运维技及发展方向。

任职要求:

1、熟悉Hadoop/HBase/Hive/Spark/Kafka/Zookeeper等开源项目的安装与调试,升级扩容;

2、熟悉Hadoop大数据生态圈,包括但不限于HDFS、YARN、Hive、HBase、Spark、Kafka、Flume等;

3、精通一门以上脚本语言(shell/perl/python等),熟练掌握Linux系统及常规命令与工具,熟练的Shell脚本编写能力。

大数据运维工程师岗位的主要职责 篇6

职责:

1. 负责公司项目的运维保障。

2. 负责配置测试环境和线上环境部署,并进行维护、升级;

3. 负责公司服务器的规划与监控、数据分析、日志分析、排除故障等工作;

4. 优化运维体系并保证服务器可靠、可扩展的运维环境。

5. 自动化脚本的开发

职位要求:

1. 本科及以上学历,计算机及相关理工科专业毕业

2. 1年以上linux/unix系统管理经验,熟悉网络整体的架构,能熟练使用系统命令

3. 熟悉bash,csh等unix/linux shell脚本,熟悉ORACLE数据库基本操作,熟悉svn基本命令

4. 良好文档编写和文字表达能力和团队合作精神

5. 有很强的责任心和学习能力。

大数据运维工程师岗位的主要职责 篇7

职责:

1、软件产品及项目的部署、安装、升级、维护,确保系统正常稳定运行;

2、项目数据库维护、确保数据库正常运行;

3、及时解决客户在系统使用过程的各种问题,维护好客户关系以及客户培训工作;

4、收集客户在系统过程遇到的问题,进行分析和确认,并反馈至相关负责人;

5、完成上级安排的其他任务;

任职要求:

1、计算机相关专业,专科及以上学历;

2、掌握计算机基础知识,熟悉常用软件的安装与使用;

3、对软件开发有一定的了解;

4、了解病毒防护、系统漏洞、防护墙等网络安全知识;

5、具有良好的沟通和语言表达能力,逻辑思维能力强,有责任心,工作态度端正、积极,有团队意识及良好的操作规范意识。

大数据运维工程师岗位的主要职责 篇8

职责:

1、 负责协助销售人员、代理商售前技术讲解、产品安装、调试等工作;

2、 负责客户端网络环境搭建、服务器配置;

3、 负责售后为客户提供技术服务、培训;

4、 负责收集、分析、反馈客户技术需求与产品意见;

5、负责公司服务器数据的更新与维护工作;

任职资格:

1、 计算机相关专业,大专及以上学历;

2、 一年以上相关工作经验,熟悉Linux、Windows的IIS,Apache, Nginx环境部署;

3、 对PHP、Mysql、Js开发语言熟悉者优先考虑;

4、 具有良好的沟通能力、学习能力、较有敬业精神,适应短期出差工作性质;

大数据运维工程师岗位的主要职责 篇9

1.负责高并发,大存储和实时流的Hadoop/spark大数据平台规划,运维,监控和优化工作;

2.保证Hadoop/spark平台各核心服务运行的稳定、高效;

3.对Hadoop/spark平台运维不断优化,提升数据产品的质量和响应速度;

4.开发各种Hadoop大数据自动化运维与监控工具;

5.平台大数据环境的部署维护和技术支持;

6.应用故障的处理跟踪及统计汇总分析;

7.应用安全,数据的日常备份和应急恢复。

大数据运维工程师岗位的主要职责 篇10

职责

1、服务器的配置,维护,监控,调优,故障排除等;

2、大用户量下高性能服务器系统部署方案的制定及实施;

3、保障服务器与数据库安全,检查并消除安全漏洞;

4、数据备份、数据监控、应急响应、故障排除、编写数据分析报告等;

5、能够熟练排查运维过程中出现的服务故障、系统故障、网络故障;

6、负责公司计算机硬件的安装、配置以及维护修理

任职要求

1、本科学历,计算机应用或网络相关专业,有1~2年相关工作经验者优先考虑;

2、精通shell/Python/bat等1至2种编程语言;

3、熟悉常见的监控软件zabbix;

4、熟悉网络基础知识;

5、熟悉使用Linux/Unix操作系统;

6、能熟练的进行PostgreSQL数据库运维管理操作,并能熟练的解决较严重数据库故障;

7、精通数据库的各种备份及恢复方法,能进行数据库备份方案的设计,并能进行方案的实施和维护;

8、工作积极主动、踏实、认真,有较强的责任心和服务意识,良好的表达及沟通协调能力。

大数据运维工程师岗位的主要职责 篇11

职责:

1、参与项目需求分析, 制定开发计划,承担项目的架构设计和详细设计工作,并承担项目核心模块的开发任务,确保按时完成既定的开发内容;

2、参与软件开发的整体规划及实施,分析并解决软件开发过程中的技术问题,为公司的业务开展提供支持;

3、完成软件系统代码的实现,编写代码注释和开发文档,进行系统的功能定义,程序设计;

4、根据设计文档或需求说明完成代码编写,调试,测试和维护;

5、根据需要不断修改完善软件,负责现有系统的重构、优化、维护等工作;

7、对系统数据库进行日常管理,统计数据库中相关信息;

8、负责网络运行的安全性、可靠性及稳定性;

9、配合项目经理完成相关任务目标。

相关要求:

1、计算机或相关专业大专学历以上;

2、2年以上软件开发经验;

3、具备需求分析和系统设计能力,以及较强的逻辑分析和独立解决问题的能力;

4、熟练使用photoshop、flash、dreamweaver等工具,熟悉ASP,JAVA,SQL,HTML等开发语言;

5、具有良好的沟通领悟能力及团队协作能力,有进取心,强烈的责任感和认真细致的工作态度,善于学习,具备良好的团队意识。

大数据运维工程师岗位的主要职责 篇12

1. 负责客户AD或Exchange系统日常维护及监控,提供系统功能方面的服务和支持

2. 负责客户各应用系统相关故障、疑难问题排查处理,编制汇总故障、问题情况说明

3. 维护客户关系,提高客户满意度

4. 负责部分应用系统的升级上线工作

5. 整理现场需求,做成系统改善提案

大数据运维工程师岗位的主要职责 篇13

职责:

1、负责建设、调试和维护公司的网络系统,包括网络相关的软硬件系统负责解决网络故障、优化网络性能;

2、对各种应用支持软件如数据库、中间件以及各种通用服务或特定服务的监控管理,如邮件系统、DNS、Web 等的监控与管理;

3、管理企业中各 IT 系统的资源资产情况,这些资源资产可以是物理存在的,也可以是逻辑存在的;

4、推行信息技术中心的软件配置化管理,保证公司主要业务系统配置安全;

5、负责业务系统SIT/PRE/PRD的环境的部署发布工作;

6、负责维护公司机房和服务器资源;

7、推行Devops,实现适合公司IT环境的持续集成、持续部署等自动化运维;

任职资格:

1、大学本科及以上学历,计算机或相关专业毕业,具有大型互联网公司三年以上运维经验;

2、精通Linux系统,熟悉常用的web服务器/数据库/中间件等软件的应用及运维管理,熟悉TCP/IP及常用应用层协议;

3、精通一门以上脚本语言(shell/perl/python等),具备自动化运维、CI/CD、DevOps项目实践等相关经验,熟悉Kubernetes、Docker等容器相关技术;

4、熟悉大型分布式系统(计算/存储)的架构设计及运维管理,具备QEMU/KVM、libvirt、openstack等虚拟化技术的开发/运维经验者优先;

5. 具备较强Trouble-shooting能力,能够快速排查系统各种异常、瓶颈等,并推动平台和产品的优化改进;

6、具备较强的客户服务意识,能够快速响应客户咨询、技术支持等问题,提供相关解决方案,协助客户进行应用系统架构设计、快速上云和迁移等相关工作;

7、积极主动,善于沟通与持续学习,拥有较强的责任心与团队协作意识,敢于接受挑战并能承受较强工作压力。

大数据运维工程师岗位的主要职责 篇14

1.对公司MES系统进行日常维护,确保系统正常运行;

2.对MES系统有一定了解,有相关系统实施或运维经验佳;

3.针对业务部门提出的MES系统问题,进行trouble shooting,并找出解决方案;

4.熟悉数据库基本操作,如MySQL、SQL、Server等;

5.对C≠、Delphi开发语言有一定了解、有相关开发经验;

6.善于沟通,能同相关业务部门紧密合作,快速理解业务部门提出的需求或问题,并通过开发得以实现;

7.编写系统操作手册等文档;

8.完成领导布置的其他工作。

大数据运维工程师岗位的主要职责 篇15

职责:

1.基于现在有开源产品和解决方案的能力,为团队提供IT架构规划和咨询的服务;

2.提供云上DevOPS体系建设方案的咨询和实施服务,优化业务交付效率,加速团队的数字化转型;

3.在开发、测试和生产各阶段配合业务架构师完成环境的搭建与演示,组织内部资源,帮助完成云产品与技术方案的测试、咨询与实施。

任职要求:

1. 计算机或通信相关专业专科以上学历,5年以上大规模业务系统研发、运维、项目交付经验;

2. 针对大型分布式系统架构设计、容灾高可用/业务多活/两地三中心架构有深入理解和丰富的项目落地经验;

3. 精通Linux/windows系统,对于常用的运维工具,开源软件(Nginx、Tomcat、Hadoop、Hbase、zookeeper、MQ、Redis等)的部署及配置优化实践经验;

4. 精通MySQL、SQL Server、Oracle、PostgreSQL、Redis、Memcache等两种以上主流数据库和缓存技术,有丰富的数据库的优化/维护经验;

5. 熟悉微服务、容器化架构,以及相关技术,对Istio、Docker、Kubernates,mesos等容器编排技术有丰富的实践和落地经验;

6. 熟悉主流公有云产品,有维护本地机房经验;

7. 有大型综合项目的交付和落地经验,有较好的推动能力、风险识别意识和技术撑控判断力;

8. 具备良好的客户沟通能力及技巧,工作积极主动,认真负责,心理素质好,能承受较大工作压力;

9. 具备英文阅读、书写和沟通能力。

大数据运维工程师岗位的主要职责 篇16

1、负责网络以及服务器的网络设置、维护和优化、网络的安全监控、系统性能管理和优化、网络性能管理和优化;

2、负责日常系统维护,及监控,提供IT软硬件方面的服务和支持,保证系统的稳定;

3、负责相关故障、疑难问题排查处理,编制汇总故障、问题,定期提交汇总报告;

4、负责编写各类技术文档;

5、服务器Linux系统的安装和基本配置,具有网络方面的基本知识,对相关网络设备及综合布线有一定了解;

大数据运维工程师岗位的主要职责 篇17

职责:

1.对泛微OA系统、SAP系统开发与维护,熟悉数据库查询;

2.对数据中心机房服务器、网络等设备进行安装、硬件维护、故障处理等工作;

3.负责服务器系统、数据库安装与维护管理;

4.负责公司网络平台的运行监控与维护;

5.进行路由器等网络设备的维护管理,并对网络优化及办公室病毒查杀进行合理规划;

6.对公司电脑、及IT周边设备故障维护;

7.负责VPN网络、VOIP网络建设和维护,技术档案维护。

8.负责机房基础设施及服务器、交换机的日常维护巡检,保持机房运行环境的良好状态;

任职资格:

1.计算机相关专业,大专以上学历; 2.3年以上的网络管理、服务器管理、机房管理维护工作经验;

3.熟悉服务器系统、数据库安装,维护与使用;

4.熟悉企业级路由器、交换机、防火墙设备的设置与维护管理;

5.熟悉应用系统架构,对OA系统、ERP软件有维护经验 ;

6.注重服务意识,责任心强,性格开朗,工作积极主动,能接受勤奋工作氛围,有一定的抗压能力,敢于承担。

大数据运维工程师岗位的主要职责 篇18

职责:

1、 负责参与IT信息系统硬件集成项目实施工作;

2、 负责处理计算机及办公外设、监控、网络、的安装及调试工作,处理相关的故障问题及异常排除;

3、 综合布线及相关的工作;

4、 协助进行客户使用培训工作;

5、 具有良好的技术文档编制能力;

6、有IT售后服务经验者优先考虑

岗位要求:

1、 大专及以上学历,计算机类等相关专业;

2、 在学校有一定的弱电系统硬件集成系统实施经验;

3、 了解项目管理和项目实施;

4、 良好的逻辑思维能力、人际沟通能力;

5、 积极主动,具备团队意识,具有高度的责任心,能够承受较强的工作压力。

大数据运维工程师岗位的主要职责 篇19

职责:

1、负责数据平台的运维管理工作(部署、监控、优化、故障处理);

2、负责Hadoop/Spark/Flink/Elasticsearch/Kafka等系统的架构审核、容量规划、成本优化;

3、负责大数据平台的用户管理、权限分配、资源分配;

4、参与数据挖掘、机器学习平台的设计、并给出可执行的运维方案;

5、参与数据平台的相关工具开发(包括自动化部署、监控、ETL等);

6、深入理解数据平台架构,发现并解决故障隐患及性能瓶颈;

7、ETL工具、调度工具、关系型数据库的运维。

任职资格:

1、本科以上学历,计算机软件相关专业;

2、1年以上大数据相关组件运维经验(hadoop/yarn/hbase/hive/spark/kafka等),1年以上的CDH或HDP维护经验,3年以上系统运维相关经验;

3、深入理解Linux系统,能独立部署开源软件,熟练掌握一门以上脚本语言(shell/perl/python等),熟悉python开发语言优先;

4、逻辑思维能力强,做事有条理,责任心强,工作积极主动,执行力强,有良好的团队协作意识。

大数据运维工程师岗位的主要职责 篇20

1. 负责持续集成/自动化运维平台搭建;

2. 产品上线部署与发布;

3. 对系统、WEB、数据库日志收集分析,发现潜在隐患;

4. 服务器日常监控及报警处理;

5. 突发情况应急预案、应急处理;

6. 阿里云相关产品应用;

7. Docker镜像制作,K8S环境搭建;

8. Nginx、MQ等中间件的搭建、配置、管理、优化和维护;

9. Centos、GitLab、MYSQL的安装、配置、管理和维护;

10. mysql安装、配置、排错、备份还原、性能优化及监控;

11. 其他监控软件搭建及应用;

大数据运维工程师岗位的主要职责 篇21

职责:

1、负责运维平台的架构、设计、开发,提升运维质量及效率,达成运维自动化平台、日志平台、缓存平台持续迭代建设;

2、负责监控告警系统的设计和开发,做到监控可视化、故障自动化,7x24小时响应故障处理,对平台的运维质量负责;

3、评估系统性能和运行状态,建立量化指标,用数据指导优化,技术文档的整理和编写;

4、业务服务支持,不限于桌面支持、技术支持、系统支持,实现信息系统的自动化及业务管理系统自动化

5、信息化系统的规划和建设,不限于OA、客服、FMS、WMS、TMS、OMS、ERP等;

6、安全规划和管理,不限于网络、系统、数据、操作等安全,组织定期或者不定期进行安全演练

7、网络和硬件规划和管理:办公、开发、测试、生产、门店、分公司网络建设,机房、服务器、打印机、电脑、电话等基础

8、负责运维和IT团队的建设,负责业务上线,维护等日常运维工作,负责业务调优及配合开发人员解决问题;

岗位要求:

1、本科及以上学历,计算机相关专业,5年以上运维工作经验,2年以上互联网运维工作经验;

2、精通Linux操作系统,熟悉shell或python等语言,熟悉自动化运维,擅长ansible/puppet/SaltStack其中至少一项工具;

3、精通tomcat、nginx、lvs、 jenkins、sonar、dubbo、redis、memched、couchbase 、fdfs等软件,熟练掌握自动化集成部署方案;

4、精通大型监控架构及原理,熟悉系统、应用,数据库等组件的监控配置经验,熟悉后台分布式系统的架构及容灾设计;熟悉软件发布,运维,优化,对软件全生命周期管理有一定认识;

5、熟悉Mysql,能熟练掌握Mysql的基本操作,能对Mysql进行性能优化,监控Mysql日常运行情况,熟悉主备、主从、安全机制;

6、熟悉hadoop、Spark、Zookeeper等组件的原理及运维方式,有docker、kubernetes生产实践经验者优先;

7、具备快速故障排错的能力,具备一定的大型应用系统的架构优化能力,优秀的全局观,对虚拟化、服务器硬件、操作系统、网络、存储、应用中间件的工作原理等方面的技术有深入的理解和经验;

8、熟悉相关IT管理方法论,至少对ITILDevopsITOM中的两种有较为深刻的认识。

热门标签