久久国产精品波多野结衣AV ,激情国产AV做激情国产爱,精品一区国产欧美综合一区

<tfoot id="rjqrf"></tfoot>

<span id="rjqrf"><pre id="rjqrf"><dfn id="rjqrf"></dfn></pre></span>

<code id="rjqrf"><label id="rjqrf"><dfn id="rjqrf"></dfn></label></code>

<dfn id="rjqrf"><input id="rjqrf"><legend id="rjqrf"></legend></input></dfn>

免費咨詢熱線

400-615-1233

工作時間-工作日

8:30-17:30

Hadoop系統(tǒng)搭建及項目實踐

意見反饋閱讀 0

出版信息

類　　別：大數(shù)據(jù)與云計算
書　　名：Hadoop系統(tǒng)搭建及項目實踐
主　　編：劉淼陳紅時瑞鵬
定　　價：48
開　　本：16開
印刷方式：雙色
頁　　數(shù)：240
時　　間：2021年6月
出版社：北京郵電大學出版社
書　　號：978-7-5635-5913-8

內(nèi)容摘要

本書內(nèi)容包括Hadoop基礎知識、Hadoop安裝與配置管理、HDFS技術、MapReduce技術、Hadoop I/O操作、HBase技術、ZooKeeper技術、分布式數(shù)據(jù)倉庫技術Hive、分布式數(shù)據(jù)分析工具Pig、Hadoop與RDBMS數(shù)據(jù)遷移工具Sqoop、Hadoop實時數(shù)據(jù)處理技術。

本書適合作為Hadoop系統(tǒng)搭建基礎教材，也可作為相關技術人員的參考用書。

目錄

項目1 Hadoop基礎知識

任務1 認識Hadoop

1.1.1 Hadoop的由來

1.1.2 關于Hadoop的版本

任務2 理解Hadoop體系架構

1.2.1 Hadoop 1.x和Hadoop 2.x的區(qū)別

1.2.2 HDFS架構

1.2.3 MapReduce架構

任務3 理解Hadoop與分布式開發(fā)

任務4 Hadoop應用案例簡介

項目2 Hadoop安裝與配置管理

任務１Hadoop環(huán)境的搭建與配置

2.1.1安裝VMware

2.1.2安裝CentOS

2.1.3安裝JDK

任務２Hadoop的安裝模式

2.2.1 單機安裝

2.2.2 分布式安裝

任務3 Hadoop的啟動與驗證

2.3.1 格式化HDFS

2.3.2 Hadoop的守護進程

2.3.3 驗證集群HDFS

項目3 HDFS技術

任務１認識HDFS

3.1.1 HDFS產(chǎn)生的背景

3.1.2 HDFS簡介

3.1.3 HDFS的特點

任務２了解HDFS架構

3.2.1 HDFS讀取和寫入數(shù)據(jù)

3.2.2 元數(shù)據(jù)節(jié)點和數(shù)據(jù)節(jié)點

3.2.3 輔助元數(shù)據(jù)節(jié)點

3.2.4 安全模式

任務3 Hadoop shell命令

3.3.1 命令格式

3.3.2 HDFS命令

3.3.3 HDFS管理員命令

項目4 MapReduce技術

任務１認識MapReduce

4.1.1MapReduce簡介

4.1.2MapReduce編程模型概念

4.1.3MapReduce架構的基本概念

4.1.4應用實例——詞頻統(tǒng)計

4.1.5使用Eclipse創(chuàng)建Java工程

4.1.6WordCount代碼實現(xiàn)

任務2 MapReduce編程基礎

4.2.1 剖析MapReduce編程過程

4.2.2 Map工作過程

4.2.3 Reduce工作過程

4.2.4 Job工作過程

4.2.5 Shuffle過程

4.2.6 MapReduce的輸入/輸出格式

4.2.7 MapReduce的優(yōu)化

任務3 MapReduce高級編程

4.3.1 數(shù)據(jù)去重

4.3.2 數(shù)據(jù)排序

項目5 Hadoop I/O操作

任務１了解數(shù)據(jù)完整性

5.1.1校驗和

5.1.2數(shù)據(jù)塊檢測程序

任務2 基于文件的數(shù)據(jù)結構

5.2.1 SequenceFile存儲

5.2.2 MapFile存儲

5.2.3 SequenceFile轉(zhuǎn)換成MapFile

任務3 壓縮

5.3.1 Hadoop中壓縮格式的實現(xiàn)Codec

5.3.2 本地庫

任務4 序列化

5.4.1 Hadoop序列化

5.4.2 Writable和WritableComparable接口

5.4.3 Writable類

項目6 HBase技術

任務１了解HBase

6.1.1 HBase是什么

6.1.2 搭建HBase環(huán)境

任務2 理解HBase體系架構

6.2.1 架構簡介

6.2.2 理解HBase數(shù)據(jù)模型

6.2.3 概念視圖

6.2.4 物理視圖

6.2.5 HBase的命名空間

6.2.6 HBase表、行與列族

任務3 HBase shell基本操作

任務4 HBase API操作

6.4.1 HBase API類

6.4.2 HBase Java API操作

任務5 基于HBase API的應用

6.5.1 Scan

6.5.2 過濾器

6.5.3 協(xié)處理器

6.5.4 計數(shù)器

項目7 ZooKeeper技術

任務１了解ZooKeeper

7.1.1 ZooKeeper是什么

7.1.2 ZooKeeper的特征

7.1.3 ZooKeeper的架構

7.1.4 ZooKeeper的工作原理

7.1.5 ZooKeeper數(shù)據(jù)模型

任務2 搭建ZooKeeper 環(huán)境

7.2.1 ZooKeeper準備

7.2.2 ZooKeeper配置

7.2.3 啟動ZooKeeper3.4.14

任務3 ZooKeeper常用命令

7.3.1 ZooKeeper客戶端命令

7.3.2 ZooKeeper服務器命令

任務4 ZooKeeper API操作

7.4.1 ZooKeeper API 準備

7.4.2 ZooKeeper API應用

項目8 分布式數(shù)據(jù)倉庫技術Hive

任務１認識Hive

任務2 Hive服務組成

任務3 Hive的安裝和配置

8.3.1 Hive的基本安裝

8.3.2 MySQL的安裝

8.3.3 Hive的配置

任務4 Hive shell

任務5 HiveQL詳解

8.5.1 Hive數(shù)據(jù)管理方式

8.5.2 Hive表DDL操作

8.5.3 Hive表DML操作

項目9 分布式數(shù)據(jù)分析工具Pig

任務1 了解Pig

任務2 Pig的安裝

任務3 Pig保留關鍵字

9.3.1 Pig數(shù)據(jù)類型

9.3.2 null

9.3.3 Pig相關命令

任務4 使用 Pig

9.4.1 Pig 命令行選項

9.4.2 Pig 的兩種運行模式

9.4.3 Pig的相關 shell 命令詳解

9.4.4 Pig程序運行方式

9.4.5 Pig輸入與輸出

任務5 模式

任務6 Pig相關函數(shù)詳解

9.6.1 Pig常用函數(shù)

9.6.2 數(shù)組操作函數(shù)

9.6.3 過濾函數(shù)

9.6.4 數(shù)據(jù)操作函數(shù)

9.6.5 聚合函數(shù)

項目10 Hadoop與RDBMS數(shù)據(jù)遷移工具Sqoop

任務1 Sqoop的安裝

任務２ Sqoop配置

任務3 Sqoop相關功能

10.3.1 Sqoop基本操作

10.3.2 使用Sqoop導入MySQL數(shù)據(jù)到HDFS

10.3.3 使用Sqoop導出HDFS數(shù)據(jù)到MySQL

10.3.4 使用Sqoop導入MySQL數(shù)據(jù)到Hive

10.3.5 Sqoop Job

任務4 Hive、Pig和Sqoop的關系

項目11 Hadoop實時數(shù)據(jù)處理技術

任務1 Storm YARN

11.1.1 Apache Storm的組成結構

11.1.2 Storm數(shù)據(jù)流

11.1.3 Storm YARN產(chǎn)生的背景

11.1.4 Storm YARN功能介紹

任務２Apache Spark

11.2.1 Apache Spark的組成結構

11.2.2 Apache Spark的擴展功能

任務3 Storm與Spark的比較

參考文獻

主編信息

劉淼，天津鐵道職業(yè)技術學院教師。

相關圖書

<var id="ggxqf"></var>