Hadoop技术内幕:深入解析YARN架构设计与实现原理(董西成)pdf,mobi,epub,txt,kindle【电子版_简介_书评_在线阅读】

  • A+
所属分类:得到掌读
       

Hadoop技术内幕:深入解析YARN架构设计与实现原理简介

科技 类型 豆瓣评分 可以朗读 语音朗读 385千字 字数 2011 发行日期

主编推荐语

YARN深度教学,首部关于YARN的专著。

内容简介

本书从应用角度系统讲解了YARN的基本库和组件用法、应用程序设计方法、YARN上流行的各种计算框架(MapReduce、Tez、Storm、Spark),以及多个类YARN的开源资源管理系统(Corona和Mesos);从源代码角度深入分析YARN的设计理念与基本架构、各个组件的实现原理,以及各种计算框架的实现细节。

全书共四部分13章:第一部分(第1~2章)主要介绍了如何获取、阅读和调试Hadoop的源代码,以及YARN的设计思想、基本架构和工作流程;第二部分(第3~7章)结合源代码详细剖析和讲解了YARN的第三方开源库、底层通信库、服务库、事件库的基本使用和实现细节,详细讲解了YARN的应用程序设计方法,深入讲解和分析了ResourceManager、资源调度器、NodeManager等组件的实现细节;第三篇(第8~10章)则对离线计算框架MapReduce、DAG计算框架Tez、实时计算框架Storm和内存计算框架Spark进行了详细的讲解;第四部分(第11~13章)首先对Facebook Corona和Apache Mesos进行了深入讲解,然后对YARN的发展趋势进行了展望。附录部分收录了YARN安装指南、YARN配置参数以及Hadoop Shell命令等非常有用的资料。

目录

  • 版权信息
  • 前言
  • 第一部分 准备篇
  • 第1章 环境准备
  • 准备学习环境
  • 获取Hadoop源代码
  • 搭建Hadoop源代码阅读环境
  • Hadoop源代码组织结构
  • Hadoop初体验
  • 编译及调试Hadoop源代码
  • 小结
  • 第2章 YARN设计理念与基本架构
  • YARN 产生背景
  • Hadoop 基础知识
  • YARN 基本设计思想
  • YARN 基本架构
  • YARN 工作流程
  • 多角度理解YARN
  • 本书涉及内容
  • 小结
  • 第二部分 YARN 核心设计篇
  • 第3章 YARN基础库
  • 概述
  • 第三方开源库
  • 底层通信库
  • 服务库与事件库
  • 状态机库
  • 源代码阅读引导
  • 小结
  • 问题讨论
  • 第4章 YARN应用程序设计方法
  • 概述
  • 客户端设计
  • ApplicationMaster设计
  • YARN 应用程序实例
  • 源代码阅读引导
  • 小结
  • 问题讨论
  • 第5章 ResourceManager 剖析
  • 概述
  • 用户交互模块
  • ApplicationMaster管理
  • NodeManager管理
  • Application管理
  • 状态机管理
  • 几个常见行为分析
  • 安全管理
  • 容错机制
  • 源代码阅读引导
  • 小结
  • 问题讨论
  • 第6章 资源调度器
  • 资源调度器背景
  • HOD调度器
  • YARN资源调度器的基本架构
  • YARN层级队列管理机制
  • Capacity Scheduler
  • Fair Scheduler
  • 其他资源调度器介绍
  • 源代码阅读引导
  • 小结
  • 问题讨论
  • 第7章 NodeManager剖析
  • 概述
  • 节点健康状况检测
  • 分布式缓存机制
  • 目录结构管理
  • 状态机管理
  • Container生命周期剖析
  • 资源隔离
  • 源代码阅读引导
  • 小结
  • 问题讨论
  • 第三部分 计算框架篇
  • 第8章 离线计算框架MapReduce
  • 概述
  • MapReduce客户端
  • MRAppMaster工作流程
  • MR作业生命周期及相关状态机
  • 资源申请与再分配
  • Container启动与释放
  • 推测执行机制
  • 作业恢复
  • 数据处理引擎
  • 历史作业管理器
  • MRv1与MRv2对比
  • 源代码阅读引导
  • 小结
  • 问题讨论
  • 第9章 DAG计算框架Tez
  • 背景
  • Tez数据处理引擎
  • DAG Master实现
  • 优化机制
  • Tez应用场景
  • 与其他系统比较
  • 小结
  • 第10章 实时/内存计算框架Storm/Spark
  • Hadoop MapReduce的短板
  • 实时计算框架Storm
  • 内存计算框架Spark
  • 小结
  • 第四部分 高级篇
  • 第11章 Facebook Corona剖析
  • 概述
  • Corona设计特点
  • 工作流程介绍
  • 主要模块介绍
  • 小结
  • 第12章 Apache Mesos剖析
  • 概述
  • 底层网络通信库
  • Mesos服务
  • Mesos工作流程
  • Mesos资源分配策略
  • Mesos容错机制
  • Mesos应用实例
  • Mesos与YARN对比
  • 小结
  • 第13章 YARN总结与发展趋势
  • 资源管理系统设计动机
  • 资源管理系统架构演化
  • YARN发展趋势
  • 小结
  • 附录A YARN安装指南
  • 附录B YARN配置参数介绍
  • 附录C Hadoop Shell命令介绍
  • 附录D 参考资料

评分及书评

评分不足

出版方

机械工业出版社有限公司

机械工业出版社是全国优秀出版社,自1952年成立以来,坚持为科技、为教育服务,以向行业、向学校提供优质、权威的精神产品为宗旨,以“服务社会和人民群众需求,传播社会主义先进文化”为己任,产业结构不断完善,已由传统的图书出版向着图书、期刊、电子出版物、音像制品、电子商务一体化延伸,现已发展为多领域、多学科的大型综合性出版社,涉及机械、电工电子、汽车、计算机、经济管理、建筑、ELT、科普以及教材、教辅等领域。

喜欢这本书的也喜欢

  • Spark技术内幕:深入解析Spark内核架构设计与实现原理
  • Hadoop应用开发技术详解
  • ACE技术内幕:深入解析ACE架构设计与实现原理
  • Hadoop+Spark大数据分析实战
  • Ceph之RADOS设计原理与实现
  • 关于Hadoop技术内幕:深入解析YARN架构设计与实现原理的相关词

    新冠阳性互联网医院怎么操作 互联网金融课后题答案
    互联网的基础协议是什么 互联网金融类书籍推荐
    知乎断开与互联网连接 互联网营销师考试时间
    互联网三大核心思维方式 互联网金融相关的书籍推荐

    Hadoop技术内幕:深入解析YARN架构设计与实现原理(董西成)pdf,mobi,epub,txt,kindle【电子版_简介_书评_在线阅读】

    发表评论

    :?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: