QQ在線客服
免費(fèi)咨詢熱線
400-615-1233
工作時(shí)間-工作日
8:30-17:30

Spark編程基礎(chǔ)及項(xiàng)目實(shí)踐

  • 類　　別：大數(shù)據(jù)與云計(jì)算
  • 書　　名：Spark編程基礎(chǔ)及項(xiàng)目實(shí)踐
  • 主　　編：李國(guó)輝 時(shí)瑞鵬
  • 定　　價(jià)：45
  • 開(kāi)　　本：16開(kāi)
  • 印刷方式：雙色
  • 頁(yè)　　數(shù)：228
  • 時(shí)　　間：2020年4月
  • 出  版  社：北京郵電大學(xué)出版社
  • 書　　號(hào)：978-7-5635-6018-9

內(nèi)容摘要

        本書介紹了Spark編程的基礎(chǔ)知識(shí)。全書共8個(gè)項(xiàng)目，內(nèi)容包括Spark與大數(shù)據(jù)、Scala語(yǔ)言基礎(chǔ)、Spark的設(shè)計(jì)與運(yùn)行原理、RDD編程實(shí)踐、Spark SQL實(shí)踐、Spark Streaming、Spark圖計(jì)算和Spark MLlib。
        本書適合作為Spark編程基礎(chǔ)課程的教材，也可供廣大大數(shù)據(jù)學(xué)習(xí)愛(ài)好者參考使用。

目錄

項(xiàng)目1 Spark與大數(shù)據(jù)
　任務(wù)1 認(rèn)識(shí)大數(shù)據(jù)技術(shù)
　　1.1.1 大數(shù)據(jù)技術(shù)概述
　　1.1.2 大數(shù)據(jù)時(shí)代面臨的挑戰(zhàn)
　　1.1.3 大數(shù)據(jù)的解決方案：Hadoop生態(tài)系統(tǒng)
　任務(wù)2 初識(shí)Spark
　　1.2.1 Spark的起源
　　1.2.2 Spark的特點(diǎn)
　　1.2.3 Spark生態(tài)系統(tǒng)BDAS
　　1.2.4 Spark的應(yīng)用場(chǎng)景
　任務(wù)3 搭建Spark環(huán)境
　　1.3.1 Spark集群所需軟件的下載
　　1.3.2 搭建單機(jī)版環(huán)境
　　1.3.3 搭建單機(jī)偽分布式環(huán)境
　　1.3.4 搭建完全分布式環(huán)境
項(xiàng)目2 Scala語(yǔ)言基礎(chǔ)
　任務(wù)1 Scala簡(jiǎn)介
　　2.1.1 Scala的特性
　　2.1.2 Scala的安裝
　　2.1.3 運(yùn)行Scala程序
　任務(wù)2 Scala語(yǔ)法基礎(chǔ)
　　2.2.1 數(shù)據(jù)類型
　　2.2.2 變量
　　2.2.3 操作符
　　2.2.4 條件語(yǔ)句
　　2.2.5 循環(huán)控制
　　2.2.6異常處理
　任務(wù)3 Scala的數(shù)據(jù)結(jié)構(gòu)
　　2.3.1 數(shù)組
　　2.3.2 Map
　　2.3.3 List
　　2.3.4 Tuple
　　2.3.5 Set
　任務(wù)4 Scala面向?qū)ο蠹夹g(shù)
　　2.4.1 類和對(duì)象
　　2.4.2 函數(shù)式
　　2.4.3 模式匹配
　　2.4.4 類型系統(tǒng)
　　2.4.5 隱式轉(zhuǎn)換
　　2.4.6 文件操作
　實(shí)訓(xùn) 學(xué)生信息查詢
項(xiàng)目3 Spark的設(shè)計(jì)與運(yùn)行原理
　任務(wù)1 Spark運(yùn)行架構(gòu)
　　3.1.1 Spark架構(gòu)設(shè)計(jì)
　　3.1.2 Spark運(yùn)行流程
　任務(wù)2 Spark工作機(jī)制
　　3.2.1 Spark內(nèi)存管理
　　3.2.2 Spark容錯(cuò)機(jī)制
　　3.2.3 Spark監(jiān)控管理
項(xiàng)目4 RDD編程實(shí)踐
　任務(wù)1 RDD編程基礎(chǔ)
　　4.1.1 RDD創(chuàng)建
　　4.1.2 RDD操作
　任務(wù)2 RDD應(yīng)用——學(xué)生成績(jī)分析
　　4.2.1 創(chuàng)建RDD
　　4.2.2 查找每門課程成績(jī)排名前3的同學(xué)
　　4.2.3 輸出單科成績(jī)?yōu)?00分的學(xué)生ID
　任務(wù)3 持久化與數(shù)據(jù)分區(qū)
　　4.3.1 持久化
　　4.3.2 數(shù)據(jù)分區(qū)
項(xiàng)目5 Spark SQL實(shí)踐
　任務(wù)1 初識(shí)Spark SQL
　　5.1.1 Spark SQL的前世
　　5.1.2 Spark SQL架構(gòu)
　　5.1.3 Spark SQL的優(yōu)勢(shì)
　任務(wù)2 DataFrame基礎(chǔ)操作
　　5.2.1 創(chuàng)建DataFrame對(duì)象
　　5.2.2 DataFrame查看數(shù)據(jù)
　　5.2.3 DataFrame查詢操作
　　5.2.4 DataFrame輸出操作
項(xiàng)目6 Spark Streaming
　任務(wù)1 初識(shí)Spark Streaming
　　6.1.1 Spark Streaming概述
　　6.1.2 Spark Streaming的運(yùn)行原理
　　6.1.3 Spark Streaming快速體驗(yàn)案例
　任務(wù)2 理解Spark Streaming
　　6.2.1 DStream簡(jiǎn)介
　　6.2.2 DStream接收輸入源方法
　　6.2.3 DStream轉(zhuǎn)換操作
　　6.2.4 DStream窗口操作
　　6.2.5 DStream輸出操作
　任務(wù)3 Spark Streaming實(shí)戰(zhàn)
　　6.3.1 統(tǒng)計(jì)本地文本單詞個(gè)數(shù)
　　6.3.2 有狀態(tài)操作累計(jì)統(tǒng)計(jì)單詞個(gè)數(shù)
　　6.3.3 windows劃窗統(tǒng)計(jì)熱搜詞
項(xiàng)目7 Spark圖計(jì)算
　任務(wù)1 認(rèn)識(shí)Spark GraphX
　　7.1.1 圖的基本概念
　　7.1.2 圖計(jì)算的應(yīng)用
　　7.1.3 GraphX的基礎(chǔ)概念
　　7.1.4 GraphX的屬性圖
　任務(wù)2 GraphX常用圖操作
　　7.2.1 圖的創(chuàng)建操作
　　7.2.2 圖獲取屬性的操作
　　7.2.3 圖轉(zhuǎn)換屬性的操作
　　7.2.4 圖結(jié)構(gòu)轉(zhuǎn)換操作
　　7.2.5 圖的關(guān)聯(lián)操作
　　7.2.6 圖的近鄰聚合操作
　任務(wù)3 Spark GraphX實(shí)戰(zhàn)
　　7.3.1 Spark GraphX編程入門實(shí)戰(zhàn)
　　7.3.2 PageRank查找最重要用戶名單
項(xiàng)目8 Spark MLlib
　任務(wù)1 初識(shí)機(jī)器學(xué)習(xí)
　　8.1.1 機(jī)器學(xué)習(xí)的概念
　　8.1.2 機(jī)器學(xué)習(xí)的分類
　　8.1.3 MLlib數(shù)據(jù)類型
　　8.1.4 MLlib基本統(tǒng)計(jì)實(shí)踐
　任務(wù)2 特征提取和轉(zhuǎn)換
　　8.2.1 特征提取
　　8.2.2 常用特征轉(zhuǎn)換
　　8.2.3 特征選擇
　任務(wù)3 MLlib常用算法實(shí)戰(zhàn)——決策樹(shù)預(yù)測(cè)
參考文獻(xiàn)

主編信息

李國(guó)輝，天津職業(yè)大學(xué)副教授。

相關(guān)圖書