最新大数据开发工程师的岗位说明(19篇)

格式:DOC 上传日期:2023-02-11 10:33:57
最新大数据开发工程师的岗位说明(19篇)
时间:2023-02-11 10:33:57     小编:zdfb

人的记忆力会随着岁月的流逝而衰退,写作可以弥补记忆的不足,将曾经的人生经历和感悟记录下来,也便于保存一份美好的回忆。写范文的时候需要注意什么呢?有哪些格式需要注意呢?下面是小编为大家收集的优秀范文,供大家参考借鉴,希望可以帮助到有需要的朋友。

大数据开发工程师的岗位说明篇一

1. 对数据进行结构化、标准化处理,对处理流程进行自动化搭建

2. 通过etl/cube数据建模,构建基于数据仓库的分析工具;

3. 参与数据与公司软件产品及第三软件的api对接;

4. 搭建与优化,数据采集、处理、可视化流程中所需的框架与模块开发;

5. 协同内外部力量完成需求的表达与技术攻关。

任职要求:

1. 熟悉数据库的设计和开发如:oracle/mysql/mssql/redis等,有处理大量数据经验的优先;

3. 熟练使用etl工具进行数据抽取,清洗,转换,关联等操作;

4. 熟练使用linux操作系统,具备编写shell的能力;

5. 熟练使用主流的开发框架,掌握以下语言:java、python;了解过源码的优先;

6. 具有2年以上数据仓库(dw)、商务智能(bi)、大数据等方面的软件或项目开发经验;

7. 了解可视化及bi工具者优先;

大数据开发工程师的岗位说明篇二

职责:

1、参与大数据架构的规划设计,参与业务建模及数据化运营平台的搭建、运维,对业务流程与大数据的结合提出建议和解决方案;

2、完成基于大数据平台的业务项目的开发、实施和维护工作;

3、负责解决大数据平台建设过程中的技术难点和性能调优工作;

4、参与数据仓库设计,根据业务需求实现高效率高灵活性的查询,数据分析,数据挖掘;

5、负责高吞吐高可用数据实时和离线采集,高并发的大数据业务架构设计

6、负责研发技术发展方向,新技术领域的探索,引入并验证数据平台领域新技术,提供系统效能

7、对大数据技术及开源框架充满热情,具有钻研精神,能自我学习。

任职资格:

1、具有5年java开发经验,熟悉spring生态,掌握hibernate、mybatis任意一种orm框架,掌握oracle、mysql数据库。

2、具有2年以上的大数据开发经验,熟悉大数据、数据仓库,分布式架构技术理论,具有大数据整体系统架构设计和实战经验,熟悉cdh、hdp、tdh至少一款大数据产品,有从无到有建设大数据平台经验者优先;

3、熟悉大数据组件的开发、搭建、维护以及性能优化;

4、较强的开发能力,必须熟练使用相关开发语言(java/python/scala/shell等),熟悉大数据生态、关系数据库和nosql数据库、linux等相关知识,能够独立完成并指导初级开发人员完成大数据相关的技术实现和调优;

5、熟悉hadoop、hbase、hdfs、mapreduce、yarn、zookeeper、hive、impala、spark、flink、kafka、flume、kylin、phoenix等组件或技术,能阅读源码跟踪问题。

6、熟练掌握spark、flink任意一种计算框架,掌握mapreduce计算框架原理,并有实际项目开发经验。

7、熟练掌握hdfs、hbase、kafka、redis、hive、sqoop、shell等技术和组件,熟练应用开发,必须熟悉复杂数据查询性能调优,包括实时查询和离线批处理查询,服务器和生态组件的参数优化。

8、精通高级算法并有与业务结合落地优先;

9、扎实的独立分析问题、解决问题的能力,具备良好的需求理解能力、沟通协调能力和团队合作精神;有很强的数据设计抽象能力,善于从复杂的数据问题中找到关键路径,并且擅于跟业务团队就业务问题进行良好的沟通,能推动业务的指标化、量化;

10、有较好的学习能力、团队协作精神,认真细心,有强烈的责任心,爱岗敬业,有较高抗压能力,有较好的工作稳定性。

大数据开发工程师的岗位说明篇三

职责:

1、 规划及建设大数据平台;

2、 负责大数据存储系统、分布式计算系统、挖掘算法等设计、研发以及维护、优化工作;

3、负责分析、挖掘、对抗各种产品安全层面的恶意行为;

4、 参与项目的系统设计和核心代码开发,指导和培训其他工程师;

5、 整理和提交技术文档,负责核心功能模块的代码编写和测试工作。

岗位要求:

1、 计算机、统计学等相关专业本科及以上学历,具有深厚的数学、统计学和计算机相关知识,精通数据仓库和数据挖掘的相关技术,3年以上大数据开发相关经验;

2、具有非常扎实的java基础,熟悉shell、python、r、scala等一种以上语言;

3、算法基础扎实,熟悉常见的数据结构,了解分布式算法和分布式系统的技术原理;

4、精通mapreduce设计方法或spark计算框架、对nosql,hadoop、hbase、spark、hive等主流云计算,大数据相关软件有充分的了解,并且有实践经验,能解决应用中的复杂问题;

5、熟悉大数据处理相关技术,包括但不限于hadoop、hive、hbase、impala、spark,kafaka、flume、sqoop、storm、redis等;

6、研读过hadoop、hbase、hive源代码者,能够在特定业务中进行定制改造者优先;

7、具有海量数据处理、数据挖掘、数据分析相关项目的工作经验者优先。

大数据开发工程师的岗位说明篇四

职责:

1、参与大规模数据快速查询系统的架构设计和开发;

2、大规模数据挖掘和机器学习算法的实现;

3、在线和离线海量数据分析平台的开发;

4、研究大数据前沿技术,提升系统的运维效率;

5、实现大数据基础架构平台的自动化运维。

【任职要求】:

1、计算机相关专业,具有3年以上大数据开发经验,熟悉java,linux;

2、熟悉hadoop大数据处理系统的开发,搭建及部署者优先

3、熟练地处理数据模型、数据etl以及存储管理;

4、熟悉hdfs/hive/mapreduce/kylin/hbase,能独自进行mapreduce程序开发者优先;

5、熟悉分布式系统概念、架构,有大规模分布式系统设计、实现、部署等经验;

6、有较强的书面与口头沟通表达能力,独立分析、解决问题的能力。

大数据开发工程师的岗位说明篇五

职责:

1、 负责大数据平台架构的整体设计,承担数据抽取、清洗、转化等数据处理程序开发;

2、 为业务运营提供技术支持,完成应用系统的搭建、优化、升级工作,保证平台稳定运行;

3、 编写系统的需求分析、设计、开发和部署文档等。

岗位要求:

1、硕士及以上学历,计算机、自动化、通信等相关专业;

2、熟练掌握java语言,并熟悉python语言,熟悉分布式系统架构,有hadoop,spark系统架构经验;

3、熟悉实时计算框架storm,flink,spark streaming其中之一;

4、熟练使用sql,熟悉数据库原理,熟练使用至少一种主流关系型数据库;

5、熟悉软件开发流程,能够根据需求编写需求、设计、开发手册等项目过程文档;

6、具有良好的沟通能力和主动性,抗压能力强。

大数据开发工程师的岗位说明篇六

职责:

1、公司线上运行中的系统日常维护,保障公司平台正常运行。

2、参与讨论项目功能需求,完善项目功能。

3、按照公司提出的新业务需求,设计和开发项目新功能。

任职要求:

1、熟悉thinkphp或codeigniter,会使用git,熟悉php数据缓存,伪静态配置,webservice。

至少会一种(memcache或者redis)。

2、了解mysql数据库的配置,能配置主从数据库,熟悉各类存储引擎,具有mysql结构优化,索引优化,查询优化的经验,根据项目需求完成高性能数据库设计。

3、熟悉linux系统,能熟练搭建维护lamp,lnmp环境及日常linux管理命令。

4、熟悉tcp/ip及http协议,熟悉网络安全。

5、了解html css,能熟练使用jquery进行开发。

6、良好的代码习惯,结构清晰,命名规范,逻辑性强,注释完善。

大数据开发工程师的岗位说明篇七

1、负责公司核心业务系统的需求分析、设计和开发工作;

2、负责框架开发,编写与维护公共模块代码,优化系统性能等,解决系统中的关键问题和技术难题;

3、负责指导其他工程师核心功能的架构与代码模板编写,开发与维护系统公用核心模块;

5、分析系统瓶颈,解决各种疑难杂症,对系统进行性能调优。

高级java开发工程师岗位职责(五)

1、负责企业官网商城的服务端架构优化、核心代码开发;

2、解决产品研发过程中碰到的各种技术难题,不断突破性能瓶颈;

3、深度参与业务规划,讨论并提出有建设性的意见。

大数据开发工程师的岗位说明篇八

职责:

1、参与app项目的后端调试,架构设计,架构原型实现及核心模块的开发工作;

2、参与系统需求分析与设计,并负责完成php核心代码,接口规范制定;

3、负责app相关的后台系统搭建,技术文档编写;

4、熟悉前端html5、javascript,能独立完成静态页面。

任职要求:

1、具备html5相关界面开发经验;

2、熟悉node js及linux开发系统的应用;

3、有thinkphp框架、ci框架的使用经验;

4、具备分布式缓存使用经验;

5、计算机基础扎实,熟悉基本的数据结构、算法、计算机体系结构,熟悉各种设计模和应用场景;

6、熟悉ajax以及json,xml等数据交换格式;

7、扎实的sql知识,熟练使用mysql,熟悉mysql的各种查询优化;

8、较强的团队协作能力、沟通能力,抗压力强;

9、有php、h5项目经验者优先

大数据开发工程师的岗位说明篇九

职责:

1、负责项目web前端的设计、开发、维护、扩展前端代码框架,完成单元测试、完成代码提交;

2、根据项目需求,分析并给出最优的页面前端结构解决方案;

3、持续的优化前端体验和页面响应速度,优化代码并保持良好兼容性,提升页面的友好度和易用性;

4、关注前端前沿技术研究。

能力:

1、计算机及相关专业本科及以上学历,三年以上的web前端开发工作经历,两年以上移动web前端开发经验;

2、精通html/css/javascript/ajax等,熟悉原生js开发,有基于原型和对象模式开发经验;

3、熟悉h5/css3,es6,hybrid等相关技术,至少使用过一种前端框架,如react、angular2、backbone、vue等,了解前端模块化开发, 前端工程化;

4、熟练掌握git,熟悉多人开发流程,经验优先;

5、熟练掌握photoshop等软件,熟悉页面架构和布局;

6、有车联网web产品经验优先,深刻理解以用户为中心的产品设计理念;

7、逻辑分析能力强,善于沟通,较强的学习能力,具备良好的沟通能力和团队协作精神。

大数据开发工程师的岗位说明篇十

职责:

1.根据需求分析文档完成数据库及程序设计;

2.根据开发计划完成开发任务并能够分析解决软件开发过程中的问题;

3.负责相关技术文档撰写工作;

4.负责解决核心技术问题,对技术方案进行决策;

【技能要求】:

1.全日制本科学历及以上,2本及以上院校。踏实诚恳、责任心强,能接受较大的工作强度,具备良好的沟通能力和学习能力;

基础扎实,精通io、多线程、集合等基础框架;

3.熟悉分布式、缓存、消息、搜索等机制;

4.精通web开发的相关技术,2年使用java进行web开发的经验;

5.精通java并有较全的知识面,熟悉spring、struts、mybatis等主流框架;

6.了解常用web前端技术,例如html、js、jquery、css等;

7.熟悉linux平台下常用命令操作、环境部署;

8.熟悉数据库技术(mysql/oracle),数据库优化及sql优化;

9.熟悉缓存、消息、大数据存储相关技术,例如:redis、memcached、activemq、mongodb、hbase等;

10.有微信开发、移动端平台开发经验者优先,有银行、保险等金融软件开发经验者优先;

11.工作认真负责、积极主动,富于探索创新精神,良好的沟通能力与团队合作意识;

大数据开发工程师的岗位说明篇十一

职责 :

1、参与需求评审,根据需求分析报告和需求规格说明书主导技术方案。

2.负责项目的开发与维护,能独立处理和解决所负责的任务;

3.制定软件开发阶段的工作计划,协调开发、测试的工作,做好日常代码审查工作,保证项目的进度和质量。

岗位要求:

1、本科以上学历,5年及以上java语言开发经验; 编程基础扎实,精通jsp、servlet等开发技术。

2、熟悉前端框架:如easyui、bootstrap等。

3、熟悉主流数据库:oracle、mysql等的应用系统的数据库设计、开发经验,熟练掌握sql。

4、熟悉j2ee体系架构,熟悉spring、hibernate、mybatis等主流开发框架。

5、有主流应用服务器,如tomcat、weblogic至少一种的部署配置及性能调试经验,熟悉使用svn,git版本管理工具;。

6、了解webservice、socketmq等接口框架。

7、熟悉linux系统常用命令;

8、能承受压力,个性成熟稳重,具备良好的沟通协调能力,工作积极主动认真负责,富于团队精神,具有良好的自学能力和独立解决问题的能力。

大数据开发工程师的岗位说明篇十二

职责;

1、大型网站的功能设计、开发和系统架构工作;

2、核心代码的编写及后台服务程序的研发和编写;

3、产品功能模块的升级和维护;

4、最前沿的技术攻坚;

5、底层基础设施的开发及维护.

任职资格:

1、5年以上php开发经验,其中3年以上作为团队主程序;

2、熟悉mvc架构,精通laravel框架,能开发通用性好的程序组件,有实际上线web系统项目经验;

3、熟悉mysql的优化和分布式方案,具备数据库应用系统规划及设计能力;

4、熟悉大规模系统的负载均衡、缓存、网络存储、数据库高可用设计及性能评估机制;

5、熟悉redis、memcache,至少熟悉一种分布式缓存方案;

6、必须拥有良好的代码习惯,要求结构清晰、命名规范、可读性强、代码冗余率低;

7、良好的团队协作精神,责任心强,能承受较大的工作压力。

大数据开发工程师的岗位说明篇十三

职责:

1、负责改进系统的性能、可扩展性、稳定性、安全性;

2、负责分布式应用系统分析、架构设计、开发;

3、负责项目开发过程中的技术攻关及运行中出现的技术问题;

4、定期review项目代码,并组织代码评审;

5、负责指导研发工程师的产品开发和技术研究工作,促使研发团队整体技术水平提升。

任职要求:

1、计算机及其相关专业本科毕业,5年以上java开发经验,至少3年以上中大型web应用系统架构设计经验;

2、掌握分布式系统的设计和应用,熟悉分布式、多线程、缓存、消息、搜索、网络编程等高性能架构相关开发技术;

3、掌握ngix、weblogic、tomcat、jboss等常见应用服务器的应用,同时需要掌握负载均衡、集群等策略;

4、精通spring、springmvc、mybatis、jquery、easyui、freemarker等web框架;

5、掌握mysql、mongodb、hbase、redis等相关技术及优化;

6、具有扎实的算法及数据结构功底;

7、熟悉linux操作系统,熟悉shell脚本编程及常用linux操作命令;

8、有hadoop、storm大数据处理及高性能架构设计经验优先;

9、具备在架构模式、设计模式、ooad方面的深入的知识和理解;

10、有丰富的性能调优经验,能快速定位性能瓶颈并给出解决方案优先;

11、经常关注开源社区、业界经验,对主流网站常用的技术有所知晓;

12、具有互联网、互联网金融相关行业系统开发经验者优先。

大数据开发工程师的岗位说明篇十四

职责:

1、 负责公司大数据平台数据处理工具etl、流处理平台等建设,功能规划,平台演进,维护调优等;

2、 结合公司业务特征,负责公司数据仓库规划、数据仓库建设、数仓管理等;

3、 负责大数据处理技术研究及新技术引进,参与超大规模实时/离线数据计算框架,存储、查询、可视化解决方案的设计,研发;

4、 负责公司业务数据仓库模型建设及全业务数据域打通;

5、 负责bi报表和可视化项目,和客户深度沟通,理解客户的业务挑战,提供解决方案,制定开发计划并执行,支持各单位日常数据需求和任务;

任职资格:

1、 熟练掌握关系型数据库,例如:oracle、mysql、vertica等;熟悉nosql数据库,例如hbase、redis、mongoddb等;具备丰富的数据库管理和运维调优经验;

2、 熟悉数据仓库领域知识和技能者优先,包括但不局限于:元数据管理、数据开发测试工具与方法、数据质量、主数据管理,数据打通等;

3、 有从事分布式数据存储与计算平台应用开发经验,熟悉hadoop生态相关技术并有相关实践经验着优先,如hdfs、mapreduce、hive、hbase、spark、storm;

4、 精通数据预处理、检验、清洗、分析方法,精通各种常用统计检验方法;熟练掌握一门或多门编程语言,并有大型项目建设经验者优先,如java、python、shell和scala等;

5、精通linux,熟悉日常运维、搭建常见服务器、定位解决日常问题的能力,具备etl开发经验优先;

6、 良好的语言沟通与表达能力,有丰富的数据开发经验,较强的数据、平台、技术理解能力;

7、 具备数学类、计算机类等相关专业统招本科及以上学历,具有3年及以上大数据开发工作经验,有互联网行业背景优先。

大数据开发工程师的岗位说明篇十五

职责:

1、协助设计技术方案和系统架构,重构现有不完善的系统;

2、负责对内、对外接口设计、实现,开发交互、性能、安全性良好的app移动应用;

3、独立承担系统中一个整体模块功能的开发工作;

4、编写系统核心代码,解决开发中的疑难问题;

5、承担重要系统模块的维护和监控工作,保证系统服务的稳定可靠;

6、能为团队引入创新的技术和思维。

岗位要求:

1、3年以上相关java开发经验;

2、熟悉使用java语言,理解java相关设计思想和技术,良好的编码习惯;

3、熟悉使用spring mybatis或hibernate等开源框架,了解其原理和机制;

4、掌握javascript,jquery,css3,html5等web界面的设计编程;

5、熟练使用oracle数据库,包括编码、维护、性能调优等,有分布式集群数据处理经验优先考虑;

6、熟练使用j2ee开发主流框架,能够独立承担前、后端的开发工作;

7、熟悉分布式系统的设计和应用,熟悉分布式、缓存信息等机制,使用一项或者以上主流开源项目优先;

8、良好的沟通、团队协作能力,责任心强,承受较大的工作压力。

大数据开发工程师的岗位说明篇十六

1、负责数据库的性能监控分析与系统优化、问题跟踪与管理,故障处理与灾难恢复;

2、配合开发提供数据库支持,负责sql上线审核;

3、能够向开发人员和产品业务人员提供数据库技术支持,并对程序开发中调用的sql语句进行优化;

4、负责设计数据库的数据备份与恢复,高可用方案的设计、制定与落地;

5、负责构建数据库相关的监控体系,将性能指标可视化,并推进性能问题的整改;

6、负责制定数据库使用过程中的规范和流程;

7、负责保障数据库集群、缓存存储系统稳定、高效和安全地运行;

8、负责系统软、硬件的部署、监控以及调优;

9、负责数据库的配置、开发、管理、维护等。

大数据开发工程师的岗位说明篇十七

职责:

1、参与需求调研,负责开展专项业务分析,数据开发工作;

2、负责数据支撑工作,从事数据库开发,报表设计和实现;

3、负责相关数据库设计的编写等工作;

4、参与项目的实施,负责数据结果提交、测试反馈与优化;

5、运营及决策提供业务分析及数据支持;

6、参与建立采集、转换、整合数据,与展现开发报表分析的数据设计流程,并应用于实际操作中。

任职要求:

1、本科以上学历,计算机相关专业,掌握sql语言,至少熟练使用过一种数据库;

2、熟悉etl的概念和流程,至少熟练使用过一种etl工具(odi,informatica,kettle等);

3、系统学习过数据库原理,对关系模型设计有一定认识更佳;

4、良好的逻辑思维能力,敏锐的数据洞察力,较强的总结归纳能力;

5、持有ocp认证、ocm、数据库工程师、spss、sas、cda任意一种证书者优先;

6、具备交通行业数据分析或经营分析相关大数据系统项目优先。

大数据开发工程师的岗位说明篇十八

职责:

1、根据项目要求,承担开发任务,按计划完成任务目标;

2、独立完成软件模块的编码;

3、协助测试人员完成软件系统及模块测试;

4、编制与项目相关的技术文档;

5、对已有系统进行系统维护及bug跟踪修改。

任职要求:

1、计算机或相关专业本科及以上学历;有意从事信息系统管理软件的开发维护。

2、熟悉java 编程或从事b/s开发一年以上工作经验者优先;

3、熟悉mvc设计模式、j2ee架构等java相关技术;

4、有软件开发相关过程文档编写能力;

满足以下其中条件者待遇从优:

5、深入了解面向对象编程,熟练使用eclipse、myeclipse等开发工具;

6、熟悉oracle数据库,熟悉基本sql语句;

7、熟悉ssh框架、extjs技术;

8、有社会保险相关信息系统软件开发维护经验;

大数据开发工程师的岗位说明篇十九

职责:

1、负责数据采集、数据存储、数据查询、数据计算等基础平台的设计和开发工作;

2、利用hadoop、spark、flink等技术进行离线和实时数据开发 ;

3、负责大数据平台的规划升级、平台维护和优化 ;

4、和其他部门或团队沟通、资源协调并落实工作。

任职要求

1、本科及以上学历;

2、3年以上大型大数据平台建设实施经验 ;

3、掌握常用大数据组件hadoop、hive、spark、flink、hbase、elasticsearch等原理、使用和调优 ;

4、具备较强技术功底,精通java、scala、python等至少一种开发语言,能根据需求给出技术架构 ;

5、有数据仓库、元数据管理和治理的开发经验优先 ;

6、善于沟通,思维活跃、责任感强、工作积极主动,有良好的团队协作意识。

【本文地址:http://www.xuefen.com.cn/zuowen/1309930.html】

全文阅读已结束,如果需要下载本文请点击

下载此文档