上海计算机培训机构
服务热线:17349779029
当前位置>上海计算机培训机构>上海大数据培训班

上海大数据培训班

上海大数据培训班

  • 上课时段:详见详情
  • 教学点:10个
  • 开班时间:滚动开班
  • 课程价格:请咨询
  • 已关注:748
  • 优惠价格:请咨询
  • 咨询电话: 400-008-6280
  • 微信咨询:tan4811
授课学校:上海计算机培训机构 (点击获取校区地址)

课程介绍

中公优就业大数据培训班

  大数据是一种在获取、存储、管理、分析等方面大大超出了传统数据库软件工具能力范围的数据集合。它具有大量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。 未来大数据相关人才缺口巨大。


大量优质岗位等你来


大数据人才缺口


薪资待遇随工作年限呈阶梯式上涨


薪资待遇随工作年限呈阶梯式上涨


只有想不想学,没有能不能学


我是零基础零基础入学勤能补拙我想转行现有工作枯燥,工资太低我想技能提升已有的技术太落伍 担心被企业淘汰我是应届毕业生求职压力大 同专业市场需求饱和我是在校大学生对所学专业没有兴趣 为日后就业提早打算


理论、实战双向并行,奠定入行扎实基础


第一阶段


Java语言基础

Java语言基础:

Java语言入门、基本语法、面向对象、常用API、异常、集合、IO流、多线程、网络编程、反射、JDK新特性、MySQL数据库、JDBC

培养方向:

了解Java语言的特征和应用领域;掌握JDK、JRE和JVM的作用;能够成功搭建Java开发环境;完成HelloWorld程序的编写;掌握IDE工具IDEA的使用方式; 掌握Java基本语法中的常量、变量的声明和使用;掌握Java中的运算符、数据类型及其相互转换;掌握分支结构、循环结构、方法的定义和使用;掌握数组的使用,理解数组的内存结构; 掌握面向对象的编程思想;掌握类和对象的定义和使用;理解封装、继承、多态等特性;掌握抽象类、接口的特点和使用方式;充分理解并运用Java面向对象思想来进行程序开发; 掌握Java中的常用类和工具类的使用,能够使用这些常用类和工具类解决多种问题; 掌握Maven项目构建和依赖管理、掌握Maven的继承和聚合;

第二阶段


Hadoop技术栈

Hadoop技术栈

Linux、Hadoop、ZooKeeper、Hive、HBase、海王星大数据金融平台

培养方向:

掌握Linux操作系统安装及常用命令;掌握shell脚本编程; 掌握大数据架构Hadoop原理及编程应用;掌握Hadoop三大组件的使用方式、方法以及Hadoop调优; 掌握ZooKeeper协管理器工作机制以及动态感知原理及使用; 掌握Hive数据仓库的使用及调优原理; 掌握HBase数据库的开发、使用以及调优; 掌握消费金融业务处理流程;掌握根据业务制定合理技术框架(技术选型)的能力;大量数据的日志采集方案;数仓的分层搭建以及数仓建模;掌握大量数据的ETL处理方式;掌握工作流调度解决方案;掌握即席查询工具使用及其原理;掌握数据可视化报表工具的使用;掌握数据治理框架的原理以及使用;掌握集群指标监控工具的使用

职业方向:

Hadoop开发工程师、数据仓库工程师、ETL开发工程师、离线开发工程师

第三阶段


Spark技术栈

Spark技术栈

Scala、Kafka、Spark、交通流量实时可视化大屏

培养方向:

握Scala基本语法和进阶的使用,为学习Spark、Flink框架打下基础; 掌握消息队列概念、Kafka原理架构、日志合并、消息检索; 掌握分布式内存计算、RDD、DataSet、DStream概念; 掌握离线计算、流式计算; 掌握可视化大屏内在价值与用途;掌握实时流数据分析业务处理流程;掌握Flume+Kafka+Sparkstreaming+Redis架构整合;掌握Springboot的使用;掌握websocket操作使用;了解Echarts的使用方式

职业方向:

Spark开发工程师、实时开发工程师

第四阶段


Flink流式处理框架

Flink流式处理框架:

Flink、ClickHouse、畅游天涯旅游实时分析项目

培养方向:

掌握Flink的原理;掌握Flink的使用以及与其他技术的整合; 掌握ClickHouse架构、速度快的原因;掌握ClickHouse数据库和表引擎;掌握ClickHouse基本操作以及和spark、flink的整合; 掌握旅游行业业务流程;掌握Flink在实时计算业务中的使用;掌握自定义Flink source和sink来生成和消费Kafka数据;掌握Flink和ClickHouse整合已存储数据;掌握搜索引擎Elasticsearch;掌握Flink和Elasticsearch整合;掌握基于Flink CEP处理复杂事件

职业方向:

Flink开发工程师、实时开发工程师、实时数仓工程师

第五阶段


项目实战

项目实战:

EWR消费信用风险舆情系统、Monoceros物流大数据平台、物流Kubernetes+Docker项目迁移

培养方向:

掌握信贷金融业务处理流程;掌握根据业务制定合理的技术框架(技术选型);掌握当下流行的数据中台概念;掌握前台工作整体机制以及技术应用;掌握后台综合分析展示应用系统;掌握大量数据的综合采集方案;掌握大量数据的ETL处理方式;掌握工作流调度解决方案;掌握集群指标监控工具的使用; 掌握基于亿级订单的物流大数据平台的研发;掌握基于Flink实现仓库货物、仓储车运动轨迹、包裹追踪等多维度业务分析;具备基于HDP平台收集数据资源的能力,实现秒级OLAP分析; 掌握Docker容器化技术以及应用;掌握Kubernetes核心功能以及在项目中的部署应用

职业方向:

数据仓库工程师、ETL开发工程师、离线开发工程师、实时开发工程师、数据中台工程师

第六阶段


就业指导

就业指导:

企业面试前期准备与技巧、专业指导、企业面试复盘

课程内容:

职业规划讲解、简历注意事项详解、就业情况分析简历制作(个人技能、项目经验、自我评价); 简历审核修正、常见面试题的讲解、技术简历的指导与优化、强化实战项目(项目模块的介绍,业务流程的梳理); 真实面试复盘(晚自习时间)(总结学员面试中的问题,进行针对性的辅导以及相关面试题的讲解)

培养方向:

从简历、面试技巧等层面助力学员,培养学员沟通表达能力 让学员清晰了解职业发展规划,明确自身定位,找到适合自身发展的工作; 通过项目强化、面试专项指导、面试复盘等,学员能更好就业


一路暖心服务,不怕您货比三家


一路暖心服务,不怕您货比三家

优就业 1手把手教学,每一位学员的疑问随时解决,不拖延! 2四分理论六分实战的合理教学,干货满满,课程实在,不闲扯! 3真实项目Leader,行业经验、案例精髓,毫无保留倾囊相授! 4真实项目实战,作品真正上线,学习的成果显而易见! 5职业测评、简历修改、面试指导,企业推荐,打造个性化、差异化就业流程! 6封闭教学包住宿,中公购书补助等各项福利,为你的学习做好服务!其他机构 大班授课,老师精力有限,学员问题无法及时得到解决。纯理论填鸭式教学,知识点抽象干瘪,不能学以致用。案例陈旧,无法适应最新需求,小众非典型案例,不具行业代表性。短暂虚拟操作,方法一带而过,学员对知识一知半解。指导学员简历作假,或干脆无就业服务,无法按学员真实情况推荐就业,就业不稳定或薪资达不到预期。日常管理散漫,食宿自理,后续费用接踵而至,经济压力大,影响学习质量。

       大数据培训资料

  Hadoop生态系统概述

  其中包括:

  HDFS(Hadoop分布式文件系统)

  Apache MapReduce

  Apache Pig

  Apache HBase

  Apache Hive

  Apache Sqoop

  Apache Flume

  Apache Zookeeper

  Apache kafka

  Apache Oozie

  HDFS(Hadoop分布式文件系统):HDFS在Hadoop框架中执行最重要的工作。它同时分发数据并将其存储在群集中存在的每个节点上。此过程减少了将数据存储到磁盘上的总时间。

  MapReduce(使用MR将大数据集读入Hadoop /从Hadoop中写入大数据集):Hadoop MapReduce是系统的另一个重要部分,该系统处理集群中存储的大量数据。它允许并行处理HDFS存储的所有数据。而且,它通过集群中的大规模可伸缩性解决了处理成本高的问题。

  Apache Pig (Pig是Hadoop生态系统的一种ETL):它是一种高级脚本语言,用于为Hadoop集群中的大型数据集编写数据分析程序。Pig使开发人员能够生成查询执行例程,以分析大型数据集。脚本语言称为Pig Latin,Pig的一个关键部分,第二个关键部分是编译器。

  Apache HBase(OLTP / NoSQL)源:它是一个面向列的数据库,支持实时运行HDFS。它可以处理大型数据库表,即包含数百万行和列的文件。HBase的一个重要用途是有效使用主节点来管理区域服务器。

  Apache Hive(Hive是Hadoop上的SQL引擎):通过类似SQL的界面,Hive允许对HDFS中的数据进行平方处理。SQL语言的Hive版本称为HiveQL。

  Apache Sqoop(从RDBMS [SQL源]到Hadoop的数据导入/导出):它是一个应用程序,可帮助将数据从Hadoop导入和导出到其他关系数据库管理系统。它可以传输大量数据。Sqoop基于连接器体系结构,该体系结构支持插件以建立与新外部系统的连接。

  Apache Flume(从未构造的数据(社交媒体网站)/构建到Hadoop的数据导入) :这是一个应用程序,它允许将流数据存储到Hadoop群集中,例如将数据写入日志文件就是流数据的一个很好的例子。

  Apache Zookeeper(在集群环境中使用的协调工具):其作用是管理上述应用程序之间的协调,以使其在Hadoop生态系统中高效运行。

  Hadoop的功能– HDFS守护程序

  Hadoop系统基于主从架构的原理工作。

  名称节点:它是主节点,在实体中为单个。它负责存储HDFS元数据,该元数据跟踪HDFS中存储的所有文件。元数据上存储的信息类似于文件名,文件具有的权限,文件的授权用户以及文件的存储位置。此信息存储在RAM中,通常称为文件系统元数据。

  数据节点:它是从节点,并且存在多个数字。数据节点负责按照名称节点的指示存储和检索数据。数据节点会间歇性地向名称节点报告其当前状态以及与其一起存储的所有文件。数据节点在其中存储每个文件的多个副本。

  次要名称节点:存在次要名称节点以支持主要名称节点存储元数据。在名称节点由于元数据损坏或任何其他原因而发生故障时,辅助名称节点可防止整个群集发生故障。

  辅助名称节点指示名称节点创建并发送fsimage和editlog文件,然后由辅助名称节点创建压缩的fsimage文件。然后,将压缩后的文件传输回tge名称节点,并将其重命名。该过程或者每小时重复一次,或者当editlog文件的大小超过64MB时重复一次。


扫描二维码免费领取试听课程

报名预约

登录51乐学网

注册51乐学网

免费短信关闭