Flink編程基礎(chǔ)（Scala版）

第1章大數(shù)據(jù)技術(shù)概述1
1.1大數(shù)據(jù)概念與關(guān)鍵技術(shù)1
1.1.1大數(shù)據(jù)概念1
1.1.2大數(shù)據(jù)關(guān)鍵技術(shù)2
1.2代表性大數(shù)據(jù)技術(shù)3
1.2.1Hadoop4
1.2.2Spark8
1.2.3Flink10
1.2.4Beam13
1.3編程語(yǔ)言的選擇14
1.4在線資源15
1.5本章小結(jié)16
1.6習(xí)題16
實(shí)驗(yàn)1Linux系統(tǒng)的安裝和常用命令17
第2章Scala語(yǔ)言基礎(chǔ)19
2.1Scala語(yǔ)言概述19
2.1.1計(jì)算機(jī)的緣起19
2.1.2編程范式20
2.1.3Scala簡(jiǎn)介22
2.1.4Scala的安裝22
2.1.5HelloWorld23
2.2Scala的基礎(chǔ)編程知識(shí)25
2.2.1基本數(shù)據(jù)類型和變量25
2.2.2輸入輸出28
2.2.3控制結(jié)構(gòu)31
2.2.4數(shù)據(jù)結(jié)構(gòu)35
2.3面向?qū)ο缶幊袒A(chǔ)42
2.3.1類42
2.3.2對(duì)象48
2.3.3繼承53
2.3.4參數(shù)化類型57
2.3.5特質(zhì)59
2.3.6模式匹配64
2.3.7包67
2.4函數(shù)式編程基礎(chǔ)68
2.4.1函數(shù)的定義與使用69
2.4.2高階函數(shù)71
2.4.3閉包72
2.4.4偏應(yīng)用函數(shù)和Curry化72
2.4.5針對(duì)容器的操作74
2.4.6函數(shù)式編程實(shí)例80
2.5本章小結(jié)81
2.6習(xí)題82
實(shí)驗(yàn)2Scala編程初級(jí)實(shí)踐83
第3章Flink的設(shè)計(jì)與運(yùn)行原理88
3.1Flink簡(jiǎn)介88
3.2選擇Flink的原因89
3.2.1傳統(tǒng)數(shù)據(jù)處理架構(gòu)89
3.2.2大數(shù)據(jù)Lambda架構(gòu)90
3.2.3流處理架構(gòu)90
3.2.4Flink是理想的流計(jì)算框架91
3.2.5Flink的優(yōu)勢(shì)92
3.3Flink典型應(yīng)用場(chǎng)景94
3.3.1事件驅(qū)動(dòng)型應(yīng)用94
3.3.2數(shù)據(jù)分析應(yīng)用95
3.3.3數(shù)據(jù)流水線應(yīng)用97
3.4Flink的統(tǒng)一數(shù)據(jù)處理97
3.5Flink技術(shù)棧99
3.6Flink工作原理100
3.7Flink編程模型101
3.8Flink的應(yīng)用程序結(jié)構(gòu)102
3.9Flink的數(shù)據(jù)一致性103
3.9.1有狀態(tài)計(jì)算103
3.9.2數(shù)據(jù)一致性103
3.9.3異步屏障快照機(jī)制104
3.10本章小結(jié)105
3.11習(xí)題106
第4章Flink環(huán)境搭建和使用方法107
4.1安裝Flink107
4.1.1基礎(chǔ)環(huán)境107
4.1.2下載安裝文件108
4.1.3配置相關(guān)文件108
4.1.4運(yùn)行測(cè)試樣例109
4.1.5Flink和Hadoop的交互110
4.2在Scala Shell中運(yùn)行代碼110
4.3開(kāi)發(fā)Flink獨(dú)立應(yīng)用程序111
4.3.1安裝編譯打包工具M(jìn)aven111
4.3.2開(kāi)發(fā)批處理程序113
4.3.3開(kāi)發(fā)流處理程序117
4.3.4使用IntelliJ IDEA開(kāi)發(fā)Flink應(yīng)用程序119
4.4設(shè)置程序運(yùn)行并行度126
4.5Flink集群環(huán)境搭建127
4.5.1集群基礎(chǔ)配置127
4.5.2在集群中安裝Java129
4.5.3設(shè)置SSH無(wú)密碼登錄130
4.5.4安裝和配置Flink131
4.5.5啟動(dòng)和關(guān)閉Flink集群133
4.6本章小結(jié)133
4.7習(xí)題134
實(shí)驗(yàn)3Flink和Hadoop的安裝134
第5章DataStream API136
5.1DataStream編程模型136
5.1.1數(shù)據(jù)源137
5.1.2數(shù)據(jù)轉(zhuǎn)換149
5.1.3數(shù)據(jù)輸出160
5.2窗口的劃分163
5.3時(shí)間概念163
5.4窗口計(jì)算165
5.4.1窗口計(jì)算程序的結(jié)構(gòu)165
5.4.2窗口分配器166
5.4.3窗口計(jì)算函數(shù)170
5.4.4觸發(fā)器177
5.4.5驅(qū)逐器180
5.5水位線183
5.5.1水位線原理183
5.5.2水位線的設(shè)置方法186
5.5.3水位線應(yīng)用實(shí)例188
5.6延遲數(shù)據(jù)處理197
5.7狀態(tài)編程201
5.8本章小結(jié)203
5.9習(xí)題203
實(shí)驗(yàn)4DataStream API編程實(shí)踐204
第6章DataSet API207
6.1DataSet編程模型207
6.2數(shù)據(jù)源208
6.2.1文件類數(shù)據(jù)源208
6.2.2集合類數(shù)據(jù)源209
6.2.3通用類數(shù)據(jù)源209
6.2.4第三方文件系統(tǒng)213
6.3數(shù)據(jù)轉(zhuǎn)換215
6.3.1數(shù)據(jù)處理類算子216
6.3.2聚合操作類算子217
6.3.3多表關(guān)聯(lián)類算子220
6.3.4集合操作類算子223
6.3.5分區(qū)操作類算子223
6.4數(shù)據(jù)輸出224
6.5迭代計(jì)算226
6.5.1全量迭代226
6.5.2增量迭代229
6.6廣播變量230
6.7本章小結(jié)232
6.8習(xí)題232
實(shí)驗(yàn)5DataSet API編程實(shí)踐233
第7章Table API&SQL236
7.1編程模型236
7.1.1程序執(zhí)行原理236
7.1.2程序結(jié)構(gòu)237
7.1.3TableEnvironment238
7.1.4注冊(cè)表239
7.1.5查詢表245
7.1.6輸出表248
7.1.7DataStream/DataSet與Table的相互轉(zhuǎn)換251
7.1.8時(shí)間概念258
7.2Flink Table API260
7.2.1Table API應(yīng)用實(shí)例260
7.2.2掃描、投影和過(guò)濾261
7.2.3列操作263
7.2.4聚合操作263
7.2.5連接操作267
7.2.6集合操作268
7.2.7排序操作270
7.2.8插入操作270
7.2.9基于行的操作270
7.3Flink SQL280
7.3.1應(yīng)用實(shí)例280
7.3.2數(shù)據(jù)查詢與過(guò)濾操作282
7.3.3聚合操作282
7.3.4連接操作283
7.3.5集合操作283
7.4自定義函數(shù)285
7.4.1標(biāo)量函數(shù)285
7.4.2表值函數(shù)287
7.4.3聚合函數(shù)289
7.5本章小結(jié)291
7.6習(xí)題292
實(shí)驗(yàn)6Table API& SQL編程實(shí)踐292
第8章FlinkCEP296
8.1概述296
8.2Pattern API297
8.2.1個(gè)體模式297
8.2.2復(fù)合模式299
8.2.3模式組301
8.2.4匹配后跳過(guò)策略302
8.3模式的檢測(cè)302
8.3.1匹配事件提取303
8.3.2超時(shí)事件提取303
8.4應(yīng)用實(shí)例304
8.5本章小結(jié)308
8.6習(xí)題308
實(shí)驗(yàn)7FlinkCEP編程實(shí)踐308
參考文獻(xiàn)311