大数据平台数据管控培训课程-中心

数据治理范围

 数据治理面临的挑战
 数据的多元化
 数据的复杂性
 数据的完整性
 数据生命周期管理
 统一元数据管理
 数据集成方法
 数据安全
 数据湖架构
 基于大数据平台的数据建模
 RMDBS数据的增量实时同步采集

大数据在国内的运用

 大数据在国内的使用介绍
 离线计算框架介绍
 流式计算框架介绍
 内存计算框架介绍
 内存流式计算介绍
 大数据实时请求框架介绍
 大数据在证券的案例介绍
 大数据在银行的案例介绍

大数据生态系统介绍

 分布式存储—HDFS
 分布式并行计算—MapReduce
 基于Hadoop的数据仓库—Hive
 统一元数据管理—Hcatlog
 集群管理工具—ambari
 工作流工具—Oozie
 数据的并行采集—Flume
 MapReduce脚本工具—Pig
 与关系型数据库之间的数据迁移—Sqoop
 资源管理平台—Yarn
 数据生命周期管理—Falcon
 数据挖掘算法—Mahout
 分布式统一服务—Zookeeper
 Hadoop安全工具—Knox
 流式计算框架—Storm
 内存计算框架—Spark
 数据挖掘框架—Mahout、Mllib和Graphx

统一元数据管理

 元数据概念
 Hadoop平台元数据处理面临的问题
 Hcatalog介绍 
 Hcatlog原理和架构解析
 Hive与Hcatlog关系
 Hcatlog解决那些问题
 Hcatlog实战
 元数据注册机制
 基于Hadoop平台元数据处理方案

数据生命周期管理

 数据质量
 数据标准
 数据生命周期管理的重要性
 数据生命周期的概念
 开源Falcon解决那些问题
 Falcon架构和原理
 Falcon实战
 Falcon+HDFS、Hive实战
 Falcon+Oozie实战 

大数据平台安全

 Hadoop平台安全介绍
 HDFS2.0的ACLS介绍
 Hive安全介绍
 Hbase基于namespace的安全介绍
 Hadoop访问安全控制Knox
 Knox的架构和原理
 Knox与Kerberos介绍
 Ranger安全工具介绍
 Knox+Ranger整合控制Hadoop平台的安全
 基于Hadoop平台的数据加密

数据湖

 数据湖概念
 数据湖解决那些问题
 数据湖架构
 数据的整合
 数据的landing zone功能
 离线数据管理
 流式数据管理
 RDBMS全量和增量数据实时采集
 Databus框架介绍
 Databus功能介绍
 Databus解决那些问题

Think big基于Hadoop平台实战

 怎么快速迭代在Hadoop平台开发
 Hadoop平台设施的方法论
 2个月快速基于Hadoop平台开发步骤
 Hadoop平台开发的难点
 Hadoop平台开的注意点
 Hadoop平台设施的流程

互联网大数案例分享

 淘宝大数据平台深度解析
 基于大数据平台的实时营销架构
 淘宝大数据推荐架构介绍
 大数据实时分析架构