Hive數據倉庫技術與應用

單元1 Hive概述1
任務1.1 Hive的產生背景1
1 Hive的產生背景2
2 Hive的發(fā)展歷史和現(xiàn)狀4
3 Hive與Hadoop4

任務1.2 Hive的概念9
1 Hive的系統(tǒng)與部署架構9
2 Hive與RDBM對比12
3數據倉庫的理解12
4 Hive的數據模型15
5 HiveQL與數據存儲16
任務1.3 Hadoop生態(tài)與Hive20
1 Pig20
2 HBase21
單元小結25

單元2 環(huán)境準備26
任務2.1 VMware與SecureCRT  Portable26
1 VMware簡介26
2 VMware的虛擬化27
任務2.2 JDK的配置37
1 JDK的簡介37
2 JDK的版本37
3上傳JDK的介質37
4 tar的解壓與壓縮37
任務2.3 免密登錄41
1 免密登錄用戶41
2免密登錄的優(yōu)點42
單元小結46

單元3 Hadoop搭建和配置47
任務3.1 Hadoop搭建47
1上傳Hadoop的介質47
2解壓Hadoop壓縮包48
3配置Hadoop的環(huán)境變量48
4配置Hadoop環(huán)境變量48
5修改Hadoop的配置文件49
6啟動Hadoop服務51
7檢查Hadoop的成功52
任務3.2 Hadoop配置57
1 Hadoop簡介57
2 MapReduce綜述61
單元小結70

單元4 安裝Hive的基礎操作71
任務4.1 Hive的模式71
1本地模式72
2遠程模式72
3內嵌模式73
任務4.2 安裝Hive實驗88
1 Hive簡介88
2 Hive的定義88
3設計特征88
4數據存儲89
任務4.3 Hive命令95
1創(chuàng)建表語句95
2加載數據96
3改變表98
4替換101
5刪除表102
6分區(qū)103
任務4.4 Hive命令行界面107
1 CLI選項107
2變量和屬性111
3在Hive內使用Hadoop的DFS命令112
任務4.5 數據類型和文件格式114
1基本數據類型114
2文件格式116
3壓縮編碼119
4集合數據類型121
任務4.6 Hive權限管理125
1開啟權限126
2權限操作128
任務4.7 Hive常用優(yōu)化方法137
1控制Reducer數量137
2使用Map Join138
3使用distinct+union all 代替union139
4解決數據傾斜的通用方法140
單元小結141
單元5 HiveQL的數據定義143
任務5.1 HiveQL的數據定義143
1 HiveQL的數據定義143
2 HiveQL和SQL的區(qū)別146
任務5.2 Hive數據庫150
1 Hive的數據庫150
2修改數據庫屬性151
任務5.3 修改表157
1增加、修改和刪除表分區(qū)157
2表重命名157
3增加列157
4刪除或者替換列157
5修改表屬性158
6修改存儲屬性158
7修改表語句158
單元小結162
單元6 HiveQL語句163
任務6.1 SELECT、FROM語句的概念163
1使用正則表達式來指定列163
2使用列值進行計算165
3算術運算符165
4使用函數168
5 LIMIT語句169
6列的別名169
7 CASE、WHEN、THEN句式169
8嵌套SELECT語句172
任務6.2 GROUP BY178
任務6.3 抽樣查詢180
1數據塊抽樣180
2分桶表的輸入裁剪180
任務6.4 WHERE語句181
1謂語操作符182
2浮點數比較183
任務6.5 JOIN語句184
1 JOIN優(yōu)化185
2 LEFT OUTER JOIN186
3 INNER JOIN187
4 FULL OUTER JOIN189
5 LEFT SEMIJOIN189
6 RIGHT OUTER JOIN190
7 OUTER JOIN190
8笛卡兒積JOIN191
9 mapsidejoin192
單元小結194
單元7 Hive綜合應用195
任務7.1 Hive和亞馬遜網絡服務系統(tǒng)(AWS)195
1彈性MapReduce的優(yōu)點196
2注意事項196
3 EMR上的實例196
任務7.2 Hive綜合案例199
1 Hive操作演示199
2交易數據演示207
單元小結227
參考文獻228