大数据架构师的职责（通用20篇）

大数据架构师的职责 篇1

职责：

1、负责大数据基础平台、海量数据存储处理分布式平台、数据分析系统架构设计和研发;

2、负责实时计算平台基础架构设计、部署、监控、优化升级;

3、制定项目数据仓库设计及实现规范，指导设计研发和部署;

4、协助策略和算法团队工作，保障数据挖掘建模和工程化;

5、深入研究大数据相关技术和产品，跟进业界先进技术。

任职要求：

1、3年以上大数据系统架构经验;

2、精通Hadoop HBase Hive Spark Flink Kafka Redis技术及其生态圈;

3、具备Java Scala Python等开发经验，熟悉数据挖掘和分析的策略与算法;

4、精通数据抽取，海量数据传输，数据清洗的常用方法和工具。

5、具备良好的系统分析能力、故障诊断能力;

6、有大数据策略、算法、可视化经验优先;

7、有在华为云存储产品和大数据产品的开发使用经验优先。

大数据架构师的职责 篇2

职责

1、参与打造数据中内容的规划、设计、开发和优化工作，实现高质量数据的互通与共享;

2、参与数据模型体系构建及数据主题设计和开发，搭建离线、实时数据公共层;

3、参与数据产品与应用的数据研发，发掘数据商业价值，打造极致体验的数据产品;

4、深入理解数据产品的使用场景，为业务方在可用性、成本上做更好的设计做参考;

5、团队成员的搭建与培养，任务划分，进度监控，代码规范，质量保证。

任职要求

1、熟悉数据仓库建模理论，3年以上相关领域实践经验;

2、Hadoop、Hive、Hbase、Storm、Spark等技术框架;

3、精通Java、Python、Scala、go等开发语言中的1到2种;

4、熟练使用Python/Java/scala或其他语言进行复杂业务逻辑的数据处理工作，具备海量数据处理以及性能优化的能力;

5、对MySQL、Redis、HBase等数据库有一定的了解和使用经验;

6、对olap，多维分析及kylin熟悉的更好;

7、思路清晰，具备良好的沟通能力和理解能力，较强的学习能力以及快速解决问题的能力;

8、对新技术，新事物有很好的探索和求知欲;

9、熟悉常规的机器学习算法：降维(PCA、SVD)、SVM、逻辑回归(LogisticsRegression)、决策树(GBDT、RandomForest)、关联规则(Apriori、FP-Growth)、聚类(K-Means)等优先。

大数据架构师的职责 篇3

职责

1、负责公司大数据平台的整体架构设计，包含数据收集、数据存储、数据挖掘、数据输出;

2、负责规划从数据源到数据应用的整体流程，并参与用户产品和数据产品的决策;

3、负责海量数据分析、用户行为分析，构建用户数据模型;

4、负责解决核心技术问题，对技术方案进行决策;

5、技术团队管理。

6、熟悉手机IOS、安卓系统APP开发

任职资格

1、计算机相关专业毕业，本科以上学历;

2、5年以上相关工作经验，具备软件产品架构设计经验，熟练掌握高性能、高扩展性架构设计方法;

3、熟练掌握java或c++任意一门语言、熟悉linux操作系统;

4、熟悉Hadoop/MR/Hbase/Mahout/Spark等大数据技术，并能够基于上述项目开发大数据相关应用;

5、熟悉基本数据挖掘方法和技术;

6、强烈的敬业精神，良好的沟通与协调能力，能有效组织协调团队完成各类开发工作;

7、热爱技术，相信数据的价值，对大数据有深刻的理解。

大数据架构师的职责 篇4

职责：

1、负责公司的大数据平台的数仓架构、系统架构设计;

2、负责带领团队完成舆情分析相关的挖掘方案设计;

3、负责大数据研发组团队管理;

4、负责带领团队完成舆情平台的方案文档撰写、迭代开发;

5、负责研发规范制定，研究行业前沿技术;

6、参与产品规划及设计讨论。

任职要求：

1、本科五年工作经验及以上，有至少五年的大数据技术实践经验，有NLP或AI相关经验;

2、有很强的架构设计能力和良好的表达能力;

3、有一定的项目管理及团队管理能力;

4、精通Hadoop、Spark生态圈中的常用组件原理及应用;

6、理解媒体业务，精通数据仓库的规划和设计;

5、精通掌握Java或Python编程，有性能调优能力;

4、熟悉NLP算法原理及应用;

6、对新生事物或者新技术有浓厚兴趣，学习能力强。

大数据架构师的职责 篇5

职责：

1、负责规划科技大数据平台及科技数据入库自动化的方案设计;

2、负责大数据平台的开发和维护，以及对外服务接口的开发;

3、负责大数据平台的优化和改进工作。

任职要求

1、计算机相关专业本科及以上学历，5年以上开发经验，其中3年以上为互联网、大数据相关的开发经验;

2、熟知Hadoop生态圈体系，精通Hadoop/Spark/Storm/Kafka中的一项或几项，深刻理解MapReduce的运行原理和机制，有MPI经验者尚佳;

3、熟悉Elasticsearch、Redis、Hbased等相关数据库的构建和操作，尤其是数据库集群的构建和操作，熟悉Neo4j者尚佳;

4、具有机器学习相关项目经验者优先。

大数据架构师的职责 篇6

职责：

1、负责公司大数据产品的架构设计，包含数据收集、数据存储、数据应用，并完成相关架构设计文档的撰写;

2、参与规划从数据源到数据应用的整体流程，并参与相关产品的决策;

3、负责解决核心技术问题，对技术方案进行决策;

4、负责大数据研发团队建设、人才梯队培养和技术团队管理;

5、积极了解业界发展，研究与跟踪大数据新技术发展方向。

任职要求：

1、精通GoldenGate For BigData相关理论，具备大型数据利用的生产实战经验;

2、精通数据驱动的理论，设计并生产上线相关数据驱动的产品;

3、精通常用消息中间件的使用，例如kafka/RocketMQ/Apache Pulsar，有解读相关源码者优先;

4、掌握hadoop、spark生态体系相关产品的使用，掌握MapReduce编程或Spark编程;

5、了解传统数据仓库理论及相关ETL工具，例如kettle/datastage;

6、熟悉Oracle、Mongodb、Mysql数据库的使用;

7、扎实的Java语言基础，熟悉Java开发工具和调试工具的使用;

8、良好的团队协作精神，有能力对团队在软件设计、实现和测试方面进行指导;

9、良好的逻辑分析能力和沟通能力，执行力强、对待工作认真严谨、责任心强、具备出色的学习能力和团队合作精神，有一定的推动能力;

10、计算机科学、信息技术或相关领域本科以上学历，具有5年以上数据平台项目开发经验，3年以上的架构设计经验，具有大数据平台应用大型项目架构设计经验优先;

大数据架构师的职责 篇7

职责：

1. 负责设计企业级大数据平台的整体架构，从技术层面制定清晰的大数据产品与系统技术架构，并负责实现关键技术和产品。

2. 负责设计具有创新价值的大数据底层平台、大数据上层应用系统等，带领团队完成有质变的技术解决方案。

3. 负责组织同事研究行内最前沿的技术发展方向，突破现有的技术难题。

4. 负责研究院对外项目合作协调与支持，编写项目建设方案及后期项目建设支持。

任职要求：

1. 硕士及以上学历，计算机相关专业。

2. JAVA基础扎实,不少于8年的一线开发经验，精通Spring boot/MyBatis/Restful API的开发与管理. 熟悉ReactJS/Angular/Vue之一前端开发技术，熟悉Maven或Ant.，熟悉Python语言开发加分。

3. 不少于4年大数据的直接研发经验，精通Hadoop/Spark系统，有hands-on的架构设计、性能调优、开发经验。有MongoDB、Kafka、Hbase/Cassandra/Storm/Hive 等系统的开发经验。

4. 掌握分布式系统原理，对分布式存储、流式计算、消息队列中的一项或多项有深入的理解和认识。

5. 熟悉分布式系统的监控、运维、故障恢复，高可用原理和设计理念。

6. 算法基础扎实，熟悉常见的数据结构，掌握大规模高并发访问、大数据开发等处理经验;熟练的Linux系统, 网络, 内存和存储等方面知识。

7. 必须要有千万级别的项目管理经验，包括但不限于前期需求沟通，建设方案编写，中期项目实施，进度汇报，后期项目维护。

大数据架构师的职责 篇8

职责：

1.能够带领技术人员基于hadoop平台进行海量数据应用系统开发;

2.负责结构化和非结构化数据的解析和清洗,海量数据查询和报表展现;

3.负责超大规模数据平台的搭建、维护和优化;

4.负责大数据采集、存储框架研究，参与在线或离线数据存储模型设计;

5.负责大数据平台新技术的开发使用和性能优化，测试。

任职资格：

1.计算机相关专业本科及以上学历;

2. 熟悉hadoop相关各种开源项目，比如HDFS/Hive/Hbase等有实际应用。(5年以上开发经验者优先);

3.两年以上熟练编写mapreduce代码经验，有三年以上网络日志分析、ETL经验。熟悉日志分析框架chukwa,flume,scribe者优先;

4.两年以上海量数据存储的安装部署、优化、二次开发经验，对大规模数据存储、传输、处理等有丰富的经验;

5.在数据挖掘、数据密集型处理、分布式计算、网格计算领域有深入理论基础;

6.具有较强的文档撰写能力，较强的团队精神和合作精神，对工作有热情，能承受压力。

大数据架构师的职责 篇9

职责：

1. 负责大数据平台的基础技术规划，编制相关规范文档。

2. 负责大数据平台的数据采集，处理，存储以及挖掘分析的架构实现。

3. 负责大数据平台的实际规划建设，包括环境和框架的规划搭建以及部分核心编码工作。

4. 负责大数据相关技术发展方向的预研。

5. 参与业务需求调研，根据需求及行业特点设计大数据解决方案并跟进具体实施项目。

6. 制定大数据平台中数据质量，业务质量监控及管理办法。

岗位要求：

1. 全日制本科及以上学历，5年以上工作经验，4年及以上大数据架构设计经验，熟悉大数据解决方案，包括Hadoop平台、Spark、storm、机器学习、深度学习等大数据解决方案。

2. 深刻理解大数据处理(流计算、分布式计算、分布式文件系统、分布式存储等相关技术)实现方法。有架构和设计实践经验。

3. 精通大型数据库Oracle、SqlServer等的开发。

4. 精通java，Python中的一种或多种语言。

5. 熟悉容器、虚拟化、微服务框架等相关技术。

6. 对数据敏感，有严谨的工作思路，良好的沟通能力和团队合作精神。

7. 熟悉R，Python，SAS、SPSS等数据挖掘经验者优先。

8. 高宽展性，高性能，和分布式系统的实践及运维经验者优先。

9. 有大型数据仓库实施、大数据平台数据开发经验，熟悉运营商业务者优先。

大数据架构师的职责 篇10

职责:

1)负责公司软件产品整体架构的设计和关键功能实现

2)负责公司架构长期看护以及优化;

3)负责软件部门各模组间的协调配合;

4)提高巩固软件代码质量;

5)负责大数据流式框架的设计、优化及部署;

6)规划研发部门员工的技术发展路线并提供必要的帮助和指导

任职资格:

1)本科及以上学历，计算机相关专业，5年以上工作经验;

2)频繁换工作，比如一年一个公司，请绕路;

3)3年以上产品架构经验，主导过产品的成功上线;

4)对底层设备通讯协议，B/S系统，手机APP开发等都有一定的了解;

5)对各种主流语言C#JavaPathon有一定的了解

5)精通各种大数据架构，并深入研究过其中一种，有stormkafka等流式实时处理经验为佳

6)能够承担较强的工作压力，有良好的自我驱动能力和责任感;

7)具备优秀的逻辑思维能力、表达能力、沟通协调能力。

大数据架构师的职责 篇11

职责

1、负责企业级大数据平台、数据云服务的设计与开发;

2、基于大数据生态圈，支持智慧交通等大数据场景应用实现;

3、负责公司大数据产品的设计、封装与落地;

4、负责学习大数据相关算法研究、实现与应用

任职要求

1、统招本科及以上学历;2年以上智慧城市建设或交通行业信息化相关工作经验，3年以上大数据架构设计、开发经验;

2、精通大数据生态圈的技术，包括但不限于MapReduce、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive，具备源码级问题解决和集群优化改造能力;

3、熟悉常用编程语言，包括Java、Python、Scala等;

4、具有很强的技术研发和创新能力，能有效把握技术发展方向，有较强的执行能力、学习能力、沟通能力、适应能力，责任心强;

大数据架构师的职责 篇12

职责：

1、数据分析软件平台架构搭建

2、负责深度学习核心框架或高性能后台服务系统的架构设计工作，包括系统总体规划、架构设计、系统分析、软件实现、性能优化;

3、指导开发人员开发，并解决系统出现的问题，理解物业需求;

4、制定开发计划和控制开发进度，负责指导研发团队开展设计工作;

任职要求：

1、硕士以上，计算机或先关专业;

2、5年左右软件开发经验，含3年以上系统分析、设计经验，有大型软件项目大型软件项目;有中大型互联网企业数据库架构设计及管理经验，

3、 具备良好的组件级建模能力，熟悉HTTP、TCP等协议

4、熟练使用UML进行软件架构设计，至少精通EA，RATIONAL， VISIO等一种设计工具.

5、精通至少一种编程语言，熟悉 Linux 相关技术，能独立在上面进行开发、测试和部署

6、深入理解数据库、数据仓库、大数据、分布式体系架构和关键技术

大数据架构师的职责 篇13

职责：

根据大数据业务需求，设计大数据方案及架构，实现相关功能;

搭建和维护大数据集群，保证集群规模持续、稳定、高效平稳运行;

负责大数据业务的设计和指导具体开发工作;

负责公司产品研发过程中的数据及存储设计;

针对数据分析工作，能够完成和指导负责业务数据建模。

职位要求：

计算机、自动化或相关专业(如统计学、数学)本科以上学历，3年以上大数据处理相关工作经验;

精通大数据主流框架(如 Hadoop、hive、Spark等);

熟悉 MySQL、NoSQL(MongoDB、Redis)等主流数据库，以及rabbit MQ等队列技术;

熟悉hadoop/spark生态的原理、特性且有实战开发经验;

熟悉常用的数据挖掘算法优先.

大数据架构师的职责 篇14

职责：

1、负责大数据开发团队建设;

2、负责行业大数据产品架构设计与研发;

3、负责带领团队进行行业大数据产品关键技术攻关。

任职要求：

1、有三年以上大数据应用、开发经验;具备海量数据加工处理(ETL)相关经验，对数据挖掘及机器学习有较为深刻的理解;

2、熟悉Hadoop相关技术，对HDFS、MapReduce、Hive、HBase有一定的使用和开发经验;

3、熟悉Linux，熟练使用Shell或Python，进行脚本编写;

4、对数据结构和数据统计分析算法有较为深刻理解;

5、掌握至少一种主流关系数据库开发技术：Oracle、SQL Server、MySQL等;

6、掌握实时流计算技术，有Spark、Storm开发经验者优先;

7、需要具备2年以上研发团队管理经验。

大数据架构师的职责 篇15

职责：

1.负责公司大数据底层框架的整体架构设计，结合公司实际业务情况进行技术选型及大数据战略规划;

2.负责统一数据平台项目的整体评估、设计、架构及关键模块的开发，不断提升系统的稳定性和效率;

3.负责架构优化及系统关键模块的设计开发，协助团队解决开发过程中的技术难题;

4.建立良好的公司内外的业界技术影响力;有效辅导团队，提升数据研发能力;

任职要求：

1.从事大数据项目相关开发和设计2年以上经验;有作为技术负责人系统化解决问题的成功案例;有海量数据实践经验优先;

2.拥有一定的算法和数据结构基础;有很强的数据设计抽象能力，善于从复杂的数据问题中找到关键路径;

3.熟悉目前正在发展的大数据分布式平台前沿技术的应用;包括但不仅仅限于：hadoop、storm、spark、等;

4. 良好的逻辑思维能力，良好的业务解读能力，懂电力或通信业务优先;

5.具有钻研精神，乐于接受挑战;

大数据架构师的职责 篇16

职责：

1、大数据平台架构规划与设计;

2、负责大数据平台技术框架的选型与技术难点攻关;

3、能够独立进行行业大数据应用的整体技术框架、业务框架和系统架构设计和调优等工作，根据系统的业务需求，能够指导开发团队完成实施工作;

4、负责数据基础架构和数据处理体系的升级和优化，不断提升系统的稳定性和效率，为相关的业务提供大数据底层平台的支持和保证;

5、培养和建立大数据团队，对团队进行技术指导。

任职要求：

1、计算机相关专业的背景专业一类院校毕业本科、硕士学位，8年(硕士5年)以上工作经验(至少拥有3年以上大数据项目或产品架构经验);

2、精通Java，J2EE 相关技术，精通常见开源框架的架构，精通关系数据库系统(Oracle MySQL等)和noSQL数据存储系统的原理和架构;

3、精通SQL和Mapreduce、Spark处理方法;

4、精通大数据系统架构，熟悉业界数据仓库建模方法及新的建模方法的发展，有DW，BI架构体系的专项建设经验;

5、对大数据体系有深入认识，熟悉Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大数据技术，并能设计相关数据模型;

6、很强的学习、分析和解决问题能力，可以迅速掌握业务逻辑并转化为技术方案，能独立撰写项目解决方案、项目技术文档;

7、具有较强的内外沟通能力，良好的团队意识和协作精神;

8、机器学习技术、数据挖掘、人工智能经验丰富者优先考虑;

9、 具有能源电力行业工作经验者优先。

大数据架构师的职责 篇17

职责：

1、负责规划大数据平台及应用产品的需求和技术方案设计;

2、负责数据对接和对外服务设计、开发和维护，并能保证质量和性能;

3、负责基于大数据平台的应用设计、开发和维护;

4、能从系统全局和各子系统的角度思考可能存在的问题，并提出改进方案建议;

任职要求：

1、大学本科6年以上工作经验，计算机相关专业。

2、至少4年以上的Java开发经验，3年以上大数据应用系统的开发和设计经验。

3、熟悉Hadoop生态圈技术体系， 对离线计算、内存计算和流式计算均有深刻理解， 如Hadoop、Storm、Spark三个中的任意二个， 能进行平台和组件优化。

4、精通Hive、HBase仓库设计，深刻理解MR运行原理和机制，能进行以提供高任务执行效率的优化。

5、精通Java开发，熟悉JVM调优， 对GC有深刻理解。

6、熟悉Linux、Shell、Kafka、Oracle、Mysql、Redis等相关技术， 能进行hbase可靠性诊断和维护。

7、快速研究和学习技术能力。

大数据架构师的职责 篇18

职责：

1、负责大数据平台架构的规划与设计;

2、负责大数据平台技术框架的选型与技术难点攻关;

3、参与企业级大数据产品和应用规划;

4、研究跟进大数据架构领域新技术并分享;

5、大数据处理和分析应用平台的设计指导。

任职资格：

1、 具备深厚的分布式系统或数据库系统的理论基础，熟悉分布式计算系统的工作机制，具有分布式文件系统、分布式数据库系统、集群存储系统等架构设计经验;

2、熟悉BI平台架构及相关项目标准，大数据解决方案包括Hadoop、Spark、Storm、机器学习等大数据平台解决方案;

3、熟悉MySql/Postgresql/Oracle/MongoDB/Redis等主流数据数据库;

4、 精通Linux/Unix环境，精通J java、scala、python、R中的一种或多种语言;

5、 具备优秀的团队意识和沟通能力，学习能力和主动性强，具有钻研精神，充满激情，乐于接受挑战;

6、大专及以上学历，3年及以上工作经验。

大数据架构师的职责 篇19

职责：

1.负责企业数据中心建设，设计数据逻辑模型和物理模型，并完成相关开发

2.梳理公司各业务线常用的指标和维度，统一指标定义口径

3.根据数据应用开发和数据分析需求，设计数据仓库信息层模型，提高数据开发的效率

4.负责数据模型的运营和优化，及时响应业务逻辑变更，保证模型的数据质量和稳定性

5.负责公司数据标签体系的建设，并推动标签体系在实际业务场景中落地

岗位要求：

1.5年以上DW/BI数据架构设计、模型设计和性能调优等相关经验

2.有较强的数据分析能力，精通数据仓库架构，熟悉Erwin或PowerDesigner建模工具

3.精通一种主流关系数据库(如mysql等)，熟悉Hive开发

4.有电商业务经验，元数据管理，数据质量管理或标签体系搭建经验者优先

5.优秀的协调沟通与团队协作能力，极强的责任心，能承受一定的工作压力，认同企业文化和团队价值

大数据架构师的职责 篇20

职责：

1. 负责大数据基础和应用平台的整体规划和架构设计，参与需求分析，架构设计，详细设计以及技术选型决策

2. 参与数据挖掘和建模相关核心算法的代码实现

3. 负责大数据算法平台的技术把关，性能调优，控制架构质量，解决项目技术难题;对研发项目和任务需求进行评估和方案设计、拆分任务并指导工程师完成开发

4. 带领团队提供并实现大数据算法平台上各项数据接入、数据挖掘分析及数据可视化的架构设计与能力，支持解决方案实施

5. 负责数据库设计、应用架构设计、核心技术选型等工作

6. 协调解决开发中的技术问题、设计和监控运营指标，保障系统稳定运行

7. 培养，指导有能力的员工，指导工程师进行技术验证实现，核心技术攻关，解决开发过程中的技术难题

任职要求：

1. 熟悉大数据和数据仓库的系统架构设计方法

2. 熟练使用并理解HadoopSpark架构及生态。(Hadoop，Hive，Hbase，Elasticsearch，Kafka，SparkFlink等)

3. 熟悉分布式系统架构，有分布式实时、离线和机器学习平台的架构和开发经验，具备海量数据清洗、分析处理及存储的实践经验

4. 熟练使用JAVA，具有大规模分布式系统调优经验

5. 熟悉AI相关算法，熟悉机器学习、深度学习。熟悉AI学习开源框架(Tensorflow、PyTorch等)者优先;

6. 具备良好的团队合作精神，对工作充满激情。

7. 熟悉FusionInsight平台开发经验者优先