HDFS+MapReduce分布式存儲與計算實戰(zhàn)

單元一  大數(shù)據(jù)概述   1
1.1????大數(shù)據(jù)基本概念   2
1.1.1　大數(shù)據(jù)與生活   2
1.1.2　大數(shù)據(jù)的特征   4
1.1.3　大數(shù)據(jù)的發(fā)展史   4
1.1.4  云計算、大數(shù)據(jù)和人工智能  5
1.1.5　大數(shù)據(jù)平臺——Hadoop   9
1.2　學(xué)習(xí)Hadoop的環(huán)境準(zhǔn)備工作   12
單元小結(jié)   24
單元自測   24
單元二  大數(shù)據(jù)Linux知識   27
2.1　Linux目錄結(jié)構(gòu)   28
2.2　Linux運(yùn)行級別   29
2.3　Linux常用命令   30
2.3.1  幫助命令   30
2.3.2  顯示當(dāng)前目錄絕對路徑命令   32
2.3.3  列出目錄命令   32
2.3.4  切換目錄命令   33
2.3.5  創(chuàng)建目錄命令   33
2.3.6  刪除文件或目錄命令   34
2.3.7  創(chuàng)建空文件   34
2.3.8  復(fù)制命令   35
2.3.9  移動/重命名命令   36
2.3.10  查看內(nèi)容命令   36
2.3.11  分屏顯示文件內(nèi)容命令  37
2.3.12  輸出重定向命令   37
2.3.13  輸出內(nèi)容到控制臺命令  38
2.3.14  軟鏈接命令   38
2.3.15  查看歷史執(zhí)行命令   39
2.3.16  顯示當(dāng)前時間命令   40
2.3.17  查看日歷命令   40
2.3.18  tar文件解壓命令   41
2.3.19  在指定的目錄下查找命令41
2.3.20  全局查找命令   42
2.3.21  在文本中查找命令   42
2.4　Linux用戶管理   43
2.4.1  添加用戶命令   43
2.4.2  創(chuàng)建用戶組命令   44
2.4.3  添加用戶并指定所屬組命令   44
2.4.4  修改用戶所屬組命令   44
2.4.5  刪除用戶命令   45
2.4.6  刪除用戶組命令   45
2.4.7  設(shè)置用戶密碼命令   45
2.4.8  查看用戶信息命令   45
2.4.9  切換用戶命令   46
2.4.10  查看登錄用戶信息命令   46
2.4.11  用戶、用戶組的相關(guān)文件   47
2.5　Linux組和權(quán)限管理   48
2.5.1  Linux中的權(quán)限   48
2.5.2  修改文件/目錄的所有者命令   49
2.5.3  修改文件/目錄的所屬組命令   50
2.5.4  修改文件所有者和所屬組命令   51
2.5.5  修改權(quán)限命令   52
2.6　Linux磁盤管理   53
2.6.1  查看系統(tǒng)整體磁盤情況命令   53
2.6.2  查看指定目錄的磁盤占用情況命令   54
2.7　Linux網(wǎng)絡(luò)   54
2.7.1  修改IP地址   55
2.7.2  修改主機(jī)名   55
2.8　Linux進(jìn)程管理   56
2.8.1  顯示系統(tǒng)執(zhí)行的進(jìn)程命令 56
2.8.2  顯示子父進(jìn)程的關(guān)系命令 57
2.8.3  終止進(jìn)程命令   57
2.9　Linux服務(wù)管理   57
2.10　Linux RPM和YUM   59
2.10.1  RPM相關(guān)命令   59
2.10.2  YUM相關(guān)命令   60
2.11　Linux vim編輯器   61
2.11.1  vim的普通模式   61
2.11.2  vim的編輯模式   62
2.11.3  vim的命令模式   62
單元小結(jié)   63
單元自測   63
單元三  Hadoop偽分布式安裝及其部署   67
3.1  前期知識準(zhǔn)備   68
3.2  Linux環(huán)境配置   70
3.2.1  修改主機(jī)名和計算機(jī)名   70
3.2.2  配置靜態(tài)IP地址   71
3.2.3  配置SSH無密碼連接   74
3.2.4  遠(yuǎn)程連接配置   77
3.3  JDK配置   78
3.3.1  卸載Open JDK   78
3.3.2  下載Oracle JDK   79
3.3.3  安裝Oracle JDK(root用戶權(quán)限執(zhí)行)   80
3.4  安裝與部署Hadoop   81
3.4.1  安裝CDH   82
3.4.2  修改hadoop-env.sh   83
3.4.3  修改core-site.xml   83
3.4.4  修改hdfs-site.xml   83
3.4.5  修改slaves文件   84
3.4.6  追加HADOOP_HOME到環(huán)境變量中   84
3.4.7  格式化HDFS   85
3.4.8  啟動Hadoop并驗證安裝   85
3.4.9  安裝驗證   86
單元小結(jié)   87
單元自測   87
單元四  HDFS原理詳解   89
4.1  HDFS概述以及設(shè)計目標(biāo)   90
4.1.1  HDFS概述   90
4.1.2  HDFS設(shè)計理念   91
4.1.3  HDFS目標(biāo)   92
4.1.4  HDFS缺點   93
4.2  HDFS架構(gòu)   93
4.3  HDFS副本機(jī)制   97
4.3.1  數(shù)據(jù)復(fù)制   97
4.3.2  副本存放機(jī)制   98
4.4  HDFS讀取文件和寫入文件  99
4.4.1  通過HDFS讀取文件   99
4.4.2  通過HDFS寫入文件   100
4.5  HDFS的基本文件操作   105
4.5.1  -help [cmd]   105
4.5.2  -mkdir   106
4.5.3  -ls(r)   106
4.5.4  -put   106
4.5.5  -du(s)   108
4.5.6  -count[-q]   109
4.5.7  -mv   109
4.5.8  -cp   109
4.5.9  -rm(r)   110
4.5.10  -moveFromLocal/-moveToLocal   110
4.5.11  -get [-ignorecrc]   110
4.5.12  -cat   111
單元小結(jié)   111
單元自測   112
單元五  MapReduce計算框架詳解   115
5.1  認(rèn)識MapReduce   116
5.1.1  什么是MapReduce   116
5.1.2  MapReduce的特點   116
5.2  MapReduce編程思想   117
5.3  MapReduce執(zhí)行流程   119
5.3.1  MapReduce流程分解   119
5.3.2  MapReduce詳解   120
5.4  Java版中wordcount功能的實現(xiàn)   121
5.5  Combiner應(yīng)用程序開發(fā)   128
5.5.1  MapReduce中Combiner的作用   128
5.5.2  Combiner的原理   128
5.5.3  代碼實現(xiàn)   130
5.6  Partitioner應(yīng)用程序開發(fā)   131
5.6.1  MapReduce中Partitioner的作用   131
5.6.2  代碼實現(xiàn)   131
單元小結(jié)   134
單元自測   135
單元六  搭建Hadoop完全分布式環(huán)境   137
6.1  Hadoop的集群規(guī)劃   138
6.2  前置安裝   141
6.3  安裝JDK   142
6.4  Hadoop集群的部署   143
6.5  作業(yè)提交到Hadoop集群上運(yùn)行   145
單元小結(jié)   146
單元自測   146
單元七  資源調(diào)度框架(YARN)與運(yùn)用   149
7.1　YARN產(chǎn)生的背景   150
7.2　YARN架構(gòu)   152
7.3　YARN的執(zhí)行流程   154
7.4　YARN的環(huán)境搭建   155
7.5　提交作業(yè)到Y(jié)ARN上執(zhí)行  157
單元小結(jié)   158
單元自測   158
單元八  Hive初識   161
8.1　認(rèn)識Hive   162
8.2　Hive的安裝和配置   163
8.2.1  安裝MySQL   163
8.2.2  安裝Hive   168
8.2.3  驗證安裝   170
8.3　Hive操作快速入門   171
單元小結(jié)   173
單元自測   173
單元九  電商用戶行為分析項目實戰(zhàn)   175
9.1　背景知識   176
9.2　項目基本介紹   179
9.2.1  用戶日志分析   179
9.2.2  常用的電商術(shù)語   180
9.2.3  用戶行為日志的意義   181
9.3　項目需求分析   182
9.3.1  需求分析   182
9.3.2  數(shù)據(jù)處理流程   183
9.4  實現(xiàn)項目功能   184
9.4.1  各省份瀏覽量統(tǒng)計功能實現(xiàn)   184
9.4.2  頁面瀏覽統(tǒng)計功能實現(xiàn)  188
9.4.3  ETL的介紹和實現(xiàn)   192
9.4.4  功能升級   195
9.4.5  打包上傳服務(wù)器運(yùn)行   202
9.5  項目功能優(yōu)化   206