大数据学习培训班视频教程 核心技术全掌握

大数据核心技术全掌握课程视频it教程下载。本套课程讲授分布式系统构架、分布式编程、分布式流处理、分布式数据存储管理、内存计算支持等内容，覆盖大数据处理平台的主要核心技术，突出技术深度和实战性。

大数据学习培训班视频教程章节

大数据学习培训班视频教程第一讲 大数据和ODPS

主讲人：武永卫

主讲人：程永

QUIZ

大数据学习培训班视频教程第二讲 分布式存储

大纲

初步认识大数据对分布式存储系统的需求

理解大数据对分布式存储系统的需求

具体说明大数据对分布式存储系统的需求

大规模分布式存储的挑战

小概率事件-Raid卡故障

分布式存储系统举例

分布式存储系统重要功能设计要点剖析

链式写正常流程

写流程的另一种常见方式：主从模式

链式写异常流程

写异常处理的另一种方法-Seal and New

读正常流程

读流程优化-BackupRead

IO QoS

数据正确性：checksum

数据可靠性-Replication

数据均衡-Rebalance

垃圾回收-Garbage collection

Erasure coding

Erasure coding（3,2）写入和读取过程

元数据管理的高可用性和可扩展性

元数据管理的高可用性

Paxos概要

Raft

元数据管理的可扩展性

不同存储介质的特性

盘古混合存储

QUIZ

大数据学习培训班视频教程第三讲 资源管理与任务调度

阿里云飞天分布式调度

任务调度

资源调度

容错机制

规模挑战

安全域性能隔离

分布式调度的发展方向

QUIZ

大数据学习培训班视频教程第四讲 分布式编程模型的设计与演化

数据格式和抽象

分布式编程模型

MapReuduce编程模型

关系型数据编程模型

分布式图计算模型

分布式编程未来展望

QUIZ

实践1：通过两阶段提交协议完成数据上传

分布式事务

分布式一致性算法

两阶段提交与三阶段提交

实践--介绍

HW1：通过两阶段提交协议完成数据上传

大数据学习培训班视频教程第五讲 离线分布式关系型计算

关系型计算基本原理_1

关系型计算基本原理_2

分布式环境中的连接计算和聚合计算

其他计算和物理优化

QUIZ

大数据学习培训班视频教程第六讲 全局数据管理与调度

提纲

课程背景介绍

前序知识

分布式节点距离计算法则

数据分布策略

分布式计算调度

数据就近原则计算如何容错

ODPS跨集群数据依赖

QUIZ

实践2：编写MR完成Group By+Join操作

主讲人：谢德军

HW2：编写MR完成Group By+Join操作

大数据学习培训班视频教程第七讲 流式计算的系统设计与实现

增量计算和流式计算

与批量计算的区别

业界典型系统技术概要分析

核心技术

消息机制

有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制

StreamSQL

QUIZ

大数据学习培训班视频教程第八讲 内存计算

软硬件趋势、分布式计算简史与内存计算

分布式计算

内存计算

统一的计算框架

业界经典系统技术分析-spark&flink

QUIZ

大数据学习培训班视频教程第九讲 大规模数据的分布式机器学习平台

主讲人：褚葳

QUIZ

实践3：实现MapReduce编程运行时库

分布式环境下的新问题

工程实现范例

大数据学习培训班视频教程设计相关问题

HW3:实现MapReduce编程运行时库