Hadoop HDFS
简介 Hadoop Distributed File System，分布式文件系统 架构 Block数据块; 基本存储单位，一般大小为64M（配置大的块主要是因为：1）减少搜寻时间…
Hadoop 写文件
1.客户端将文件写入本地磁盘的 HDFS Client 文件中 2.当临时文件大小达到一个 block 大小时，HDFS client 通知 NameNode，申请写入文件 3.N…
Hadoop 读文件
客户端向NameNode发送读取请求 NameNode返回文件的所有block和这些block所在的DataNodes（包括复制节点） 客户端直接从DataNode中读取数据，如果…
Hadoop 可靠性
HDFS – 可靠性 HDFS 的可靠性主要有以下几点: 冗余副本策略 机架策略 心跳机制 安全模式 效验和 回收站 元数据保护 快照机制 1.冗余副本策…
Hadoop 命令工具
HDFS – 命令工具 fsck: 检查文件的完整性 start-balancer.sh: 重新平衡HDFS hdfs dfs -copyFromLocal 从本地磁盘…
Hadoop YARN
旧的MapReduce架构 JobTracker: 负责资源管理，跟踪资源消耗和可用性，作业生命周期管理（调度作业任务，跟踪进度，为任务提供容错） TaskTracker: 加载或…
Hadoop ResourceManager
负责全局的资源管理和任务调度，把整个集群当成计算资源池，只关注分配，不管应用，且不负责容错 资源管理 以前资源是每个节点分成一个个的Map slot和Reduce slot，现在是…
Hadoop NodeManager
Node节点下的Container管理 启动时向ResourceManager注册并定时发送心跳消息，等待ResourceManager的指令 监控Container的运行，维护C…
Hadoop ApplicationMaster
单个作业的资源管理和任务监控 具体功能描述： 计算应用的资源需求，资源可以是静态或动态计算的，静态的一般是Client申请时就指定了，动态则需要ApplicationMaster根…
Hadoop Container
基本的资源单位（CPU、内存等） Container可以加载任意程序，而且不限于Java 一个Node可以包含多个Container，也可以是一个大的Container Appli…
Hadoop Failover
失败类型 程序问题 进程崩溃 硬件问题 失败处理 任务失败 运行时异常或者JVM退出都会报告给ApplicationMaster 通过心跳来检查挂住的任务(timeout)，会检查…
Hadoop MapReduce
简介 一种分布式的计算方式指定一个Map（映#x5C04;）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相…
Hadoop 读取数据
MapReduce – 读取数据 通过InputFormat决定读取的数据的类型，然后拆分成一个个InputSplit，每个InputSplit对应一个Map处理，Re…
Hadoop Mapper
主要是读取InputSplit的每一个Key,Value对并进行处理 public class Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT…
Hadoop Shuffle
对Map的结果进行排序并传输到Reduce进行处理 Map的结果并不是直接存放到硬盘,而是利用缓存做一些预排序处理 Map会调用Combiner，压缩，按key进行分区、排序等，尽…
