云計(jì)算與大數(shù)據(jù)技術(shù)（第2版 微課視頻 題庫版）

第一部分云計(jì)算理論與技術(shù)

第1章云計(jì)算概論

1.1什么是云計(jì)算

1.2云計(jì)算的產(chǎn)生背景

1.3云計(jì)算的發(fā)展歷史

1.4如何學(xué)好云計(jì)算

1.5小結(jié)

習(xí)題

第2章云計(jì)算基礎(chǔ)

2.1分布式計(jì)算

2.2云計(jì)算的基本概念

2.3分布式計(jì)算和云計(jì)算的區(qū)別與聯(lián)系

2.4云計(jì)算的關(guān)鍵技術(shù)

2.4.1分布式海量數(shù)據(jù)存儲

2.4.2虛擬化技術(shù)

2.4.3云管理平臺技術(shù)

2.4.4并行編程技術(shù)

2.4.5數(shù)據(jù)管理技術(shù)

2.5云交付模型

2.5.1SaaS

2.5.2PaaS

2.5.3IaaS

2.5.4基本云交付模型的比較

2.6云部署模式

2.6.1公有云

2.6.2私有云

2.6.3混合云

2.7云計(jì)算的優(yōu)勢與挑戰(zhàn)

2.8典型的云應(yīng)用

2.8.1云存儲

2.8.2云服務(wù)

2.8.3云物聯(lián)

2.9云計(jì)算與大數(shù)據(jù)

2.10小結(jié)

習(xí)題

第3章云計(jì)算機(jī)制

3.1云基礎(chǔ)設(shè)施機(jī)制

3.1.1虛擬網(wǎng)絡(luò)邊界

3.1.2虛擬服務(wù)器

3.1.3云存儲設(shè)備

3.1.4就緒環(huán)境

3.2云管理機(jī)制

3.2.1遠(yuǎn)程管理系統(tǒng)

3.2.2資源池化管理

3.2.3服務(wù)等級協(xié)議管理系統(tǒng)

3.2.4計(jì)費(fèi)管理系統(tǒng)

3.2.5資源備份

3.2.6云監(jiān)控

3.2.7自動化運(yùn)維

3.2.8服務(wù)模板管理

3.2.9云CMDB及流程管理

3.2.10服務(wù)目錄管理

3.2.11租戶及用戶管理

3.2.12容量規(guī)劃及管理

3.3特殊云機(jī)制

3.3.1自動伸縮監(jiān)聽器

3.3.2負(fù)載均衡器

3.3.3故障轉(zhuǎn)移系統(tǒng)

3.3.4資源集群

3.3.5多設(shè)備代理

3.3.6狀態(tài)管理數(shù)據(jù)庫

3.4小結(jié)

習(xí)題

第4章虛擬化

4.1虛擬化簡介

4.1.1什么是虛擬化

4.1.2虛擬化的發(fā)展歷史

4.1.3虛擬化帶來的好處

4.2虛擬化的分類

4.2.1服務(wù)器虛擬化

4.2.2網(wǎng)絡(luò)虛擬化

4.2.3存儲虛擬化

4.2.4應(yīng)用虛擬化

4.2.5技術(shù)比較

4.3系統(tǒng)虛擬化

4.4虛擬化與云計(jì)算

4.5開源技術(shù)

4.5.1Xen

4.5.2KVM

4.5.3OpenVZ

4.6虛擬化未來的發(fā)展趨勢

4.7小結(jié)

習(xí)題

第5章云計(jì)算的應(yīng)用

5.1概述

5.2亞馬遜公司的彈性計(jì)算云

5.2.1開放的服務(wù)

5.2.2靈活的工作模式

5.2.3帶來的好處

5.3Microsoft Azure

5.3.1簡介

5.3.2Microsoft Azure的架構(gòu)

5.3.3Microsoft Azure服務(wù)平臺

5.3.4開發(fā)步驟

5.4谷歌公司的云計(jì)算平臺與應(yīng)用

5.4.1MapReduce分布式編程環(huán)境

5.4.2分布式大規(guī)模數(shù)據(jù)庫管理系統(tǒng)BigTable

5.4.3谷歌的云應(yīng)用

5.5阿里云

5.5.1簡介

5.5.2阿里云的主要產(chǎn)品

5.6IBM公司的藍(lán)云云計(jì)算平臺

5.6.1藍(lán)云云計(jì)算平臺中的虛擬化

5.6.2藍(lán)云云計(jì)算平臺中的存儲結(jié)構(gòu)

5.7清華大學(xué)的透明計(jì)算平臺

5.8小結(jié)

習(xí)題

第二部分大數(shù)據(jù)理論與技術(shù)

第6章大數(shù)據(jù)概念和發(fā)展背景

6.1什么是大數(shù)據(jù)

6.2大數(shù)據(jù)的特點(diǎn)

6.3大數(shù)據(jù)的發(fā)展

6.4大數(shù)據(jù)的應(yīng)用

6.5小結(jié)

習(xí)題

第7章大數(shù)據(jù)系統(tǒng)架構(gòu)概述

7.1總體架構(gòu)概述

7.1.1總體架構(gòu)設(shè)計(jì)原則

7.1.2總體架構(gòu)參考模型

7.2運(yùn)行架構(gòu)概述

7.2.1物理架構(gòu)

7.2.2集成架構(gòu)

7.2.3安全架構(gòu)

7.3主流大數(shù)據(jù)系統(tǒng)廠商

7.3.1Cloudera

7.3.2Hortonworks

7.3.3亞馬遜

7.3.4谷歌

7.3.5微軟

7.3.6阿里云數(shù)加平臺

7.4小結(jié)

習(xí)題

第8章分布式通信與協(xié)同

8.1數(shù)據(jù)編碼傳輸

8.1.1數(shù)據(jù)編碼概述

8.1.2LZSS算法

8.1.3Snappy壓縮庫

8.2分布式通信系統(tǒng)

8.2.1遠(yuǎn)程過程調(diào)用

8.2.2消息隊(duì)列

8.2.3應(yīng)用層多播通信

8.2.4Hadoop IPC應(yīng)用

8.3分布式協(xié)同系統(tǒng)

8.3.1Chubby鎖服務(wù)

8.3.2ZooKeeper

8.3.3ZooKeeper在HDFS高可用中使用

8.4小結(jié)

習(xí)題

第9章大數(shù)據(jù)存儲

9.1大數(shù)據(jù)存儲技術(shù)的發(fā)展

9.2海量數(shù)據(jù)存儲的關(guān)鍵技術(shù)

9.2.1數(shù)據(jù)分片與路由

9.2.2數(shù)據(jù)復(fù)制與一致性

9.3重要數(shù)據(jù)結(jié)構(gòu)和算法

9.3.1Bloom Filter

9.3.2LSM樹

9.3.3Merkle哈希樹

9.3.4Cuckoo哈希

9.4分布式文件系統(tǒng)

9.4.1文件存儲格式

9.4.2GFS

9.4.3HDFS

9.5分布式數(shù)據(jù)庫NoSQL

9.5.1NoSQL數(shù)據(jù)庫概述

9.5.2KV數(shù)據(jù)庫

9.5.3列式數(shù)據(jù)庫

9.5.4圖數(shù)據(jù)庫

9.5.5文檔數(shù)據(jù)庫

9.6HBase數(shù)據(jù)庫搭建與使用

9.6.1HBase偽分布式運(yùn)行

9.6.2HBase分布式運(yùn)行

9.7大數(shù)據(jù)存儲技術(shù)的趨勢

9.8小結(jié)

習(xí)題

第10章分布式處理

10.1CPU多核和POSIX Thread

10.2MPI并行計(jì)算框架

10.3Hadoop MapReduce

10.4Spark

10.5數(shù)據(jù)處理技術(shù)的發(fā)展

10.6小結(jié)

習(xí)題

第11章Hadoop MapReduce解析

11.1Hadoop MapReduce架構(gòu)

11.2Hadoop MapReduce與高性能計(jì)算、網(wǎng)格計(jì)算的區(qū)別

11.3MapReduce工作機(jī)制

11.3.1Map

11.3.2Reduce

11.3.3Combine

11.3.4Shuffle

11.3.5Speculative Task

11.3.6任務(wù)容錯(cuò)

11.4應(yīng)用案例

11.4.1WordCount

11.4.2WordMean

11.4.3Grep

11.5MapReduce的缺陷與不足

11.6小結(jié)

習(xí)題

第12章Spark解析

12.1Spark RDD

12.2Spark與MapReduce對比

12.3Spark工作機(jī)制

12.3.1DAG工作圖

12.3.2Partition

12.3.3Lineage容錯(cuò)方法

12.3.4內(nèi)存管理

12.3.5數(shù)據(jù)持久化

12.4數(shù)據(jù)讀取

12.4.1HDFS

12.4.2Amazon S3

12.4.3HBase

12.5應(yīng)用案例

12.5.1日志挖掘

12.5.2判別西瓜好壞

12.6Spark的發(fā)展趨勢

12.7小結(jié)

習(xí)題

第13章流計(jì)算

13.1流計(jì)算概述

13.2流計(jì)算與批處理系統(tǒng)對比

13.3Storm流計(jì)算系統(tǒng)

13.4Samza流計(jì)算系統(tǒng)

13.5集群日志文件實(shí)時(shí)分析

13.6流計(jì)算的發(fā)展趨勢

13.7小結(jié)

習(xí)題

第14章集群資源管理與調(diào)度

14.1集群資源統(tǒng)一管理系統(tǒng)

14.1.1集群資源管理概述

14.1.2Apache YARN

14.1.3Apache Mesos

14.1.4Google Omega

14.2資源管理模型

14.2.1基于slot的資源表示模型

14.2.2基于最大最小公平原則的資源分配模型

14.3資源調(diào)度策略

14.3.1調(diào)度策略概述

14.3.2Capacity Scheduler調(diào)度

14.3.3Fair Scheduler調(diào)度

14.4YARN上運(yùn)行計(jì)算框架

14.4.1MapReduce on YARN

14.4.2Spark on YARN

14.4.3YARN程序設(shè)計(jì)

14.5小結(jié)

習(xí)題

第15章機(jī)器學(xué)習(xí)

15．1機(jī)器學(xué)習(xí)概述

15．1．1關(guān)鍵術(shù)語

15．1．2機(jī)器學(xué)習(xí)的分類

15．1．3機(jī)器學(xué)習(xí)的模型構(gòu)造過程

15．2監(jiān)督學(xué)習(xí)

15．2．1線性回歸

15．2．2邏輯斯特回歸

15．2．3最小近鄰法

15．2．4線性判別分析法

15．2．5樸素貝葉斯分類算法

15．2．6決策樹分類算法

15．2．7支持向量機(jī)分類算法

15．3非監(jiān)督學(xué)習(xí)

15．3．1劃分式聚類方法

15．3．2層次化聚類方法

15．3．3基于密度的聚類方法

15．4強(qiáng)化學(xué)習(xí)

15．4．1強(qiáng)化學(xué)習(xí)VS監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)

15．4．2強(qiáng)化學(xué)習(xí)問題描述

15．4．3強(qiáng)化學(xué)習(xí)問題分類

15．5神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)

15．5．1感知器模型

15．5．2前饋神經(jīng)網(wǎng)絡(luò)

15．5．3卷積神經(jīng)網(wǎng)絡(luò)

15．5．4其他類型結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)

15．6案例： 銀行貸款用戶篩選

15.7小結(jié)

習(xí)題

第三部分綜 合 實(shí) 踐

第16章實(shí)驗(yàn)： AWS

16.1實(shí)驗(yàn)一： 創(chuàng)建一個(gè)EC2實(shí)例

16.2實(shí)驗(yàn)二： 創(chuàng)建一個(gè)彈性高可用的博客

16.3實(shí)驗(yàn)三： 使用S3來實(shí)現(xiàn)靜態(tài)網(wǎng)站

16.4實(shí)驗(yàn)四： AWS關(guān)系型數(shù)據(jù)庫入門

16.5實(shí)驗(yàn)五： AWS大數(shù)據(jù)系列平臺

16.6實(shí)驗(yàn)六： AWS計(jì)算存儲網(wǎng)絡(luò)基礎(chǔ)入門

16.7實(shí)驗(yàn)七： AWS上的Kubernetes創(chuàng)建、管理及DevOps

第17章實(shí)驗(yàn)： 阿里云

17.1實(shí)驗(yàn)一： 創(chuàng)建阿里云服務(wù)器

17.2實(shí)驗(yàn)二： 配置SSH遠(yuǎn)程連接

17.3實(shí)驗(yàn)三： 安裝Python環(huán)境

17.4實(shí)驗(yàn)四： 部署并啟動Django服務(wù)

第18章實(shí)驗(yàn)： Docker

18.1Docker的核心概念

18.2實(shí)驗(yàn)一： Docker的安裝

18.3實(shí)驗(yàn)二： 容器操作

18.4實(shí)驗(yàn)三： 搭建一個(gè)Docker應(yīng)用棧

18.5實(shí)驗(yàn)四： 實(shí)現(xiàn)私有云

第19章實(shí)驗(yàn)： Hadoop、HDFS、MapReduce、Spark

19.1Hadoop

19.1.1實(shí)驗(yàn)一： 構(gòu)建虛擬機(jī)網(wǎng)絡(luò)

19.1.2實(shí)驗(yàn)二： 大數(shù)據(jù)環(huán)境安裝

19．2HDFS

19．2．1實(shí)驗(yàn)一： 文件創(chuàng)建與讀/寫

19．2．2實(shí)驗(yàn)二： 文件上傳

19．2．3實(shí)驗(yàn)三： 文件下載

19．2．4實(shí)驗(yàn)四： 使用字符流讀取數(shù)據(jù)

19．2．5實(shí)驗(yàn)五： 刪除文件

19．2．6實(shí)驗(yàn)六： 刪除文件夾

19．2．7實(shí)驗(yàn)七： 自定義數(shù)據(jù)輸入流

19．3MapReduce

19．3．1實(shí)驗(yàn)一： 合并去重

19．3．2實(shí)驗(yàn)二： PageRank算法

19．4Spark

19．4．1實(shí)驗(yàn)一： 安裝Spark

19．4．2實(shí)驗(yàn)二： 使用Spark Shell編寫代碼

19．4．3實(shí)驗(yàn)三： 使用Java編寫Spark應(yīng)用程序

第20章案例： 基于Docker的云計(jì)算服務(wù)平臺搭建

20．1方案介紹

20．1．1云平臺總體架構(gòu)

20．1．2網(wǎng)絡(luò)架構(gòu)

20．1．3集群架構(gòu)

20．1．4性能監(jiān)控

20．1．5Docker架構(gòu)

20．1．6鏡像架構(gòu)

20．2系統(tǒng)分析

20．2．1優(yōu)點(diǎn)

20．2．2局限性

20．2．3應(yīng)用場景

20．3門戶界面

20．3．1注冊

20．3．2登錄

20．3．3用戶主界面

20．3．4管理員界面

20．4服務(wù)器Docker配置

第21章案例： 使用Spark實(shí)現(xiàn)數(shù)據(jù)統(tǒng)計(jì)分析及性能優(yōu)化

21.1系統(tǒng)架構(gòu)

21.1.1總體方案

21.1.2詳細(xì)設(shè)計(jì)

21.1.3優(yōu)化設(shè)計(jì)

21.2具體實(shí)現(xiàn)

21.2.1數(shù)據(jù)獲取

21.2.2數(shù)據(jù)可視化

21.3性能優(yōu)化

21.3.1讀取優(yōu)化

21.3.2查詢優(yōu)化

21.3.3Spark參數(shù)級優(yōu)化

第22章實(shí)驗(yàn)： 基于OpenStack和Hadoop的大數(shù)據(jù)分析

22.1實(shí)驗(yàn)一： OpenStack安裝準(zhǔn)備

22.2實(shí)驗(yàn)二： OpenStack在線安裝

22.3實(shí)驗(yàn)三： 初始化OpenStack中的環(huán)境

22.4實(shí)驗(yàn)四： 搭建OpenStack中的虛擬機(jī)

22.5實(shí)驗(yàn)五： 大數(shù)據(jù)分析案例

參考文獻(xiàn)