Apache Pulsar原理解析與應用實踐

前　言
基礎篇
第1章　Pulsar概述　　2
1.1　Pulsar是什么　　2
1.2　Pulsar的優(yōu)勢　　3
1.2.1　Pulsar不只是消息隊列　　4
1.2.2　存儲與計算分離　　4
1.2.3　云原生架構(gòu)　　5
1.2.4　Pulsar的存儲特性　　6
1.2.5　消息傳輸協(xié)議　　8
1.2.6　消費方式　　8
1.2.7　豐富的功能與生態(tài)　　9
1.3　消息隊列對比　　9
1.3.1　消息隊列簡介　　10
1.3.2　性能與可靠性　　11
1.3.3　功能特性對比　　14
1.4　快速體驗　　17
1.4.1　下載安裝　　17
1.4.2　單機服務啟動　　17
1.4.3　生產(chǎn)與消費　　18
第2章　Pulsar的基本概念和架構(gòu)
詳解　　20
2.1　Pulsar的基本概念　　20
2.1.1　多租戶與命名空間　　20
2.1.2　主題　　21
2.1.3　生產(chǎn)者　　22
2.1.4　消費者與訂閱　　24
2.1.5　消息的保留與過期　　27
2.2　Pulsar的邏輯架構(gòu)　　28
2.2.1　主題的配置管理　　29
2.2.2　主題的數(shù)據(jù)流轉(zhuǎn)　　30
2.2.3　主題的數(shù)據(jù)存儲　　31
2.3　Pulsar物理架構(gòu)　　32
2.3.1　物理架構(gòu)概述　　32
2.3.2　核心組件與服務　　35
第3章　Pulsar安裝與部署　　39
3.1　依賴環(huán)境　　39
3.1.1　安裝Java　　39
3.1.2　Pulsar安裝包　　40
3.2　分布式部署　　42
3.2.1　資源分配規(guī)劃　　42
3.2.2　集群搭建實戰(zhàn)　　44
3.3　Docker部署　　47
3.3.1　Docker單機部署　　47
3.3.2　Docker分布式部署　　48
3.4　Kubernetes部署　　48
3.4.1　minikube環(huán)境安裝　　48
3.4.2　Helm Chart安裝　　49
3.4.3　在Kubernetes中使用
Pulsar　　51
3.5　源碼的結(jié)構(gòu)與編譯　　52
3.5.1　源碼結(jié)構(gòu)　　52
3.5.2　源碼編譯　　52
第4章　Pulsar的基本操作　　54
4.1　生產(chǎn)者開發(fā)　　54
4.1.1　生產(chǎn)者概覽　　54
4.1.2　構(gòu)建客戶端對象　　56
4.1.3　構(gòu)建生產(chǎn)者　　58
4.1.4　數(shù)據(jù)發(fā)送路由規(guī)則　　60
4.1.5　分批發(fā)送　　63
4.1.6　分塊發(fā)送　　64
4.1.7　生產(chǎn)者攔截器　　64
4.2　消費者開發(fā)　　65
4.2.1　構(gòu)建消費者　　65
4.2.2　數(shù)據(jù)確認　　68
4.2.3　消費者攔截器　　72
4.2.4　消費者監(jiān)聽器　　72
4.3　Reader開發(fā)　　73
4.4　模式管理　　74
4.4.1　模式類型　　75
4.4.2　自動模式　　78
4.4.3　模式管理　　79
原理篇
第5章　Pulsar核心組件原理　　84
5.1　Broker原理　　84
5.1.1　通信協(xié)議層　　84
5.1.2　主題查找服務　　89
5.1.3　租戶與命名空間管理　　90
5.1.4　負載管理　　92
5.2　BookKeeper原理　　94
5.2.1　BookKeeper簡介　　94
5.2.2　BookKeeper的使用　　100
5.3　ManagedLedger組件　　100
5.3.1　ManagedLedger簡介　　101
5.3.2　消息積壓的配額管理　　102
5.3.3　消息的保留與清理　　103
5.3.4　消息的寫入　　104
5.3.5　消息的緩存與讀取　　104
5.4　主題管理　　105
5.4.1　Pulsar主題管理架構(gòu)　　106
5.4.2　生產(chǎn)者原理　　108
5.4.3　訂閱與消費者原理　　110
5.4.4　消息生存時間與持久化
控制　　114
第6章　Pulsar高級特性　　115
6.1　Pulsar事務　　115
6.1.1　消息隊列事務隔離級別　　116
6.1.2　Pulsar事務簡介　　117
6.1.3　Pulsar事務的使用方法　　118
6.1.4　Pulsar事務實現(xiàn)原理及關鍵
流程　　119
6.2　消息隊列協(xié)議層　　122
6.2.1　協(xié)議處理器　　122
6.2.2　Pulsar上的Kafka簡介　　125
6.2.3　Pulsar上的Kafka使用　　126
6.2.4　Pulsar上的Kafka工作
原理　　128
6.3　分層存儲　　130
6.3.1　分層存儲的設計　　130
6.3.2　分層存儲的使用　　131
6.3.3　分層存儲的原理　　133
6.4　消息延遲傳遞　　133
6.5　主題壓縮　　134
6.5.1　主題壓縮應用　　135
6.5.2　主題壓縮原理　　135
第7章　Pulsar Function與
Pulsar I/O　　137
7.1　Pulsar Function簡介　　137
7.1.1　Pulsar Function編程模型　　137
7.1.2　Pulsar Function邏輯結(jié)構(gòu)與
應用場景　　140
7.2　Pulsar Function應用實踐　　141
7.2.1　Pulsar Function的部署與
使用　　141
7.2.2　自定義Pulsar Function
開發(fā)　　146
7.2.3　Pulsar Function語義支持　　148
7.3　Pulsar Function原理　　150
7.3.1　Pulsar Function運行流程　　150
7.3.2　Function Worker組件工作
原理　　152
7.3.3　Pulsar運行時　　153
7.4　Pulsar I/O　　154
7.4.1　Pulsar I/O概述　　154
7.4.2　使用內(nèi)置的P