可伸縮服務(wù)架構(gòu)：框架與中間件

第1章 如何設(shè)計一款永不重復(fù)的高性能分布式發(fā)號器 1
1.1 可選方案及技術(shù)選型 2
1.1.1 為什么不用UUID 2
1.1.2 基于數(shù)據(jù)庫的實現(xiàn)方案 2
1.1.3 Snowflake開源項目 3
1.1.4 小結(jié) 4
1.2 分布式系統(tǒng)對發(fā)號器的基本需求 4
1.3 架構(gòu)設(shè)計與核心要點 6
1.3.1 發(fā)布模式 6
1.3.2 ID類型 7
1.3.3 數(shù)據(jù)結(jié)構(gòu) 7
1.3.4 并發(fā) 9
1.3.5 機器ID的分配 9
1.3.6 時間同步 10
1.3.7 設(shè)計驗證 11
1.4 如何根據(jù)設(shè)計實現(xiàn)多場景的發(fā)號器 11
1.4.1 項目結(jié)構(gòu) 12
1.4.2 服務(wù)接口的定義 14
1.4.3 服務(wù)接口的實現(xiàn) 15
1.4.4 ID元數(shù)據(jù)與長整型ID的互相轉(zhuǎn)換 22
1.4.5 時間操作 25
1.4.6 機器ID的生成 27
1.4.7 小結(jié) 32
1.5 如何保證性能需求 32
1.5.1 嵌入發(fā)布模式的壓測結(jié)果 33
1.5.2 中心服務(wù)器發(fā)布模式的壓測結(jié)果 33
1.5.3 REST發(fā)布模式（Netty實現(xiàn)）的壓測結(jié)果 33
1.5.4 REST發(fā)布模式（Spring Boot + Tomcat實現(xiàn)）的壓測結(jié)果 34
1.5.5 性能測試總結(jié) 34
1.6 如何讓用戶快速使用 35
1.6.1 REST發(fā)布模式的使用指南 35
1.6.2 服務(wù)化模式的使用指南 38
1.6.3 嵌入發(fā)布模式的使用指南 41
1.7 為用戶提供API文檔 43
1.7.1 RESTful API文檔 44
1.7.2 Java API文檔 45
第2章 可靈活擴(kuò)展的消息隊列框架的設(shè)計與實現(xiàn) 49
2.1 背景介紹 50
2.2 項目目標(biāo) 50
2.2.1 簡單易用 50
2.2.2 高性能 51
2.2.3 高穩(wěn)定性 51
2.3 架構(gòu)難點 51
2.3.1 線程模型 51
2.3.2 異常處理 53
2.3.3 優(yōu)雅關(guān)機 53
2.4 設(shè)計與實現(xiàn) 54
2.4.1 項目結(jié)構(gòu) 54
2.4.2 項目包的規(guī)劃 55
2.4.3 生產(chǎn)者的設(shè)計與實現(xiàn) 57
2.4.4 消費者的設(shè)計與實現(xiàn) 58
2.4.5 啟動模塊的設(shè)計與實現(xiàn) 67
2.4.6 消息處理器的體系結(jié)構(gòu) 76
2.4.7 反射機制 79
2.4.8 模板項目的設(shè)計 80
2.5 使用指南 82
2.5.1 安裝步驟 82
2.5.2 Java API 83
2.5.3 與Spring環(huán)境集成 84
2.5.4 對服務(wù)源碼進(jìn)行注解 85
2.6 API簡介 87
2.6.1 Producer API 87
2.6.2 Consumer API 88
2.6.3 消息處理器 88
2.6.4 消息處理器定義的注解 90
2.7 消息處理機模板項目 91
2.7.1 快速開發(fā)向?qū)? 91
2.7.2 后臺監(jiān)控和管理 92
第3章 輕量級的數(shù)據(jù)庫分庫分表架構(gòu)與框架 93
3.1 什么是分庫分表 94
3.1.1 使用數(shù)據(jù)庫的三個階段 94
3.1.2 在什么情況下需要分庫分表 95
3.1.3 分庫分表的典型實例 96
3.2 三種分而治之的解決方案 97
3.2.1 客戶端分片 97
3.2.2 代理分片 100
3.2.3 支持事務(wù)的分布式數(shù)據(jù)庫 101
3.3 分庫分表的架構(gòu)設(shè)計 102
3.3.1 整體的切分方式 102
3.3.2 水平切分方式的路由過程和分片維度 106
3.3.3 分片后的事務(wù)處理機制 107
3.3.4 讀寫分離 119
3.3.5 分庫分表引起的問題 119
3.4 流行代理分片框架Mycat的初體驗 123
3.4.1 安裝Mycat 123
3.4.2 配置Mycat 124
3.4.3 配置數(shù)據(jù)庫節(jié)點 128
3.4.4 數(shù)據(jù)遷移 129
3.4.5 Mycat支持的分片規(guī)則 129
3.5 流行的客戶端分片框架Sharding JDBC的初體驗 138
3.5.1 Sharding JDBC簡介 138
3.5.2 Sharding JDBC的功能 139
3.5.3 Sharding JDBC的使用 141
3.5.4 Sharding JDBC的使用限制 152
3.6 自研客戶端分片框架dbsplit的設(shè)計、實現(xiàn)與使用 153
3.6.1 項目結(jié)構(gòu) 154
3.6.2 包結(jié)構(gòu)和執(zhí)行流程 155
3.6.3 切片下標(biāo)命名策略 159
3.6.4 SQL解析和組裝 167
3.6.5 SQL實用程序 168
3.6.6 反射實用程序 173
3.6.7 分片規(guī)則的配置 177
3.6.8 支持分片的SplitJdbcTemplate和SimpleSplitJdbcTemplate接口API 179
3.6.9 JdbcTemplate的擴(kuò)展SimpleJdbcTemplate接口API 184
3.6.10 用于創(chuàng)建分庫分表數(shù)據(jù)庫的腳本工具 187
3.6.11 使用dbsplit的一個簡單示例 192
3.6.12 使用dbsplit的線上真實示例展示 199
第4章 緩存的本質(zhì)和緩存使用的優(yōu)秀實踐 201
4.1 使用緩存的目的和問題 202
4.2 自相似，CPU的緩存和系統(tǒng)架構(gòu)的緩存 203
4.2.1 CPU緩存的架構(gòu)及性能 205
4.2.2 CPU緩存的運行過程分析 206
4.2.3 緩存行與偽共享 208
4.2.4 從CPU的體系架構(gòu)到分布式的緩存架構(gòu) 218
4.3 常用的分布式緩存解決方案 221
4.3.1 常用的分布式緩存的對比 221
4.3.2 Redis初體驗 225
4.4 分布式緩存的通用方法 229
4.4.1 緩存編程的具體方法 229
4.4.2 應(yīng)用層訪問緩存的模式 233
4.4.3 分布式緩存分片的三種模式 235
4.4.4 分布式緩存的遷移方案 238
4.4.5 緩存穿透、緩存并發(fā)和緩存雪崩 244
4.4.6 緩存對事務(wù)的支持 246
4.5 分布式緩存的設(shè)計與案例 248
4.5.1 緩存設(shè)計的核心要素 248
4.5.2 緩存設(shè)計的優(yōu)秀實踐 250
4.5.3 關(guān)于常見的緩存線上問題的案例 253
4.6 客戶端緩存分片框架redic的設(shè)計與實現(xiàn) 257
4.6.1 什么時候需要redic 258
4.6.2 如何使用redic 258
4.6.3 更多的配置 258
4.6.4 項目結(jié)構(gòu) 260
4.6.5 包結(jié)構(gòu) 261
4.6.6 設(shè)計與實現(xiàn)的過程 261
第5章 大數(shù)據(jù)利器之Elasticsearch 268
5.1 Lucene簡介 269
5.1.1 核心模塊 269
5.1.2 核心術(shù)語 270
5.1.3 檢索方式 271
5.1.4 分段存儲 273
5.1.5 段合并策略 275
5.1.6 Lucene相似度打分 278
5.2 Elasticsearch簡介 286
5.2.1 核心概念 286
5.2.2 3C和腦裂 289
5.2.3 事務(wù)日志 291
5.2.4 在集群中寫索引 294
5.2.5 集群中的查詢流程 295
5.3 Elasticsearch實戰(zhàn) 298
5.3.1 Elasticsearch的配置說明 298
5.3.2 常用的接口 300
5.4 性能調(diào)優(yōu) 305
5.4.1 寫優(yōu)化 305
5.4.2 讀優(yōu)化 308
5.4.3 堆大小的設(shè)置 313
5.4.4 服務(wù)器配置的選擇 315
5.4.5 硬盤的選擇和設(shè)置 316
5.4.6 接入方式 318
5.4.7 角色隔離和腦裂 319
第6章 全面揭秘分布式定時任務(wù) 321
6.1 什么是定時任務(wù) 322
6.2 分布式定時任務(wù) 341
6.2.1 定時任務(wù)的使用場景 342
6.2.2 傳統(tǒng)定時任務(wù)存在的問題 342
6.2.3 分布式定時任務(wù)及其原理 344
6.3 開源分布式定時任務(wù)的用法 347
6.3.1 Quartz的分布式模式 347
6.3.2 TBSchedule 356
6.3.3 Elastic-Job 365
第7章 RPC服務(wù)的發(fā)展歷程和對比分析 377
7.1 什么是RPC服務(wù) 378
7.2 RPC服務(wù)的原理 379
7.2.1 Sokcet套接字 379
7.2.2 RPC的調(diào)用過程 380
7.3 在程序中使用RPC服務(wù) 382
7.4 RPC服務(wù)的發(fā)展歷程 383
7.4.1 第一代RPC：以O(shè)NC RPC和DCE RPC為代表的函數(shù)式RPC 384
7.4.2 第二代RPC：支持面對象的編程 388
7.4.3 第三代RPC：SOA和微服務(wù) 398
7.4.4 架構(gòu)的演進(jìn) 402
7.5 主流的RPC框架 403
7.5.1 Thrift 403
7.5.2 ZeroC Ice 410
7.5.3 gRPC 418
7.5.4 Dubbo 430
第8章 Dubbo實戰(zhàn)及源碼分析 436
8.1 Dubbo的四種配置方式 437
8.1.1 XML配置 437
8.1.2 屬性配置 440
8.1.3 API配置 441
8.1.4 注解配置 443
8.2 服務(wù)的注冊與發(fā)現(xiàn) 446
8.2.1 注冊中心 446
8.2.2 服務(wù)暴露 449
8.2.3 引用服務(wù) 451
8.3 Dubbo通信協(xié)議及序列化探討 455
8.3.1 Dubbo支持的協(xié)議 455
8.3.2 協(xié)議的配置方法 456
8.3.3 多協(xié)議暴露服務(wù) 457
8.3.4 Dubbo協(xié)議的使用注意事項 458
8.3.5 Dubbo協(xié)議的約束 459
8.4 Dubbo中高效的I/O線程模型 459
8.4.1 對Dubbo中I/O模型的分析 459
8.4.2 Dubbo中線程配置的相關(guān)參數(shù) 460
8.4.3 在Dubbo線程方面踩過的坑 461
8.4.4 對Dubbo中線程使用的建議 462
8.5 集群的容錯機制與負(fù)載均衡 462
8.5.1 集群容錯機制的原理 462
8.5.2 集群容錯模式的配置方法 464
8.5.3 六種集群容錯模式 464
8.5.4 集群的負(fù)載均衡 465
8.6 監(jiān)控和運維實踐 467
8.6.1 日志適配 467
8.6.2 監(jiān)控管理后臺 467
8.6.3 服務(wù)降級 473
8.6.4 優(yōu)雅停機 475
8.6.5 灰度發(fā)布 475
8.7 Dubbo項目線上案例解析 477
8.7.1 線上問題的通用解決方案 477
8.7.2 耗時服務(wù)耗盡了線程池的案例 480
8.7.3 容錯重試機制引發(fā)服務(wù)雪崩的案例 481
8.8 深入剖析Dubbo源碼及其實現(xiàn) 483
8.8.1 Dubbo的總體架構(gòu)設(shè)計 483
8.8.2 配置文件 486
8.8.3 Dubbo的核心RPC 488
8.8.4 Dubbo巧妙的URL總線設(shè)計 491
8.8.5 Dubbo的擴(kuò)展點加載SPI 492
8.8.6 Dubbo服務(wù)暴露的過程 493
8.8.7 服務(wù)引用 502
8.8.8 集群容錯和負(fù)載均衡 503
8.8.9 集群容錯 504
8.8.10 負(fù)載均衡 509
第9章 高性能網(wǎng)絡(luò)中間件 512
9.1 TCP/UDP的核心原理及本質(zhì)探索 513
9.1.1 網(wǎng)絡(luò)模型 513
9.1.2 UDP、IP及其未解決的問題 515
9.1.3 TCP詳解 519
9.1.4 是否可以用UDP代替TCP 527
9.1.5 網(wǎng)絡(luò)通信的不可靠性討論 529
9.2 網(wǎng)絡(luò)測試優(yōu)秀實踐 530
9.2.1 網(wǎng)絡(luò)測試的關(guān)鍵點 530
9.2.2 那些必不可少的網(wǎng)絡(luò)測試工具 532
9.2.3 典型的測試報告 539
9.3 高性能網(wǎng)絡(luò)框架的設(shè)計與實現(xiàn) 544
9.3.1 對代理功能的測試及分析 545
9.3.2 網(wǎng)絡(luò)中間件的使用介紹 549
9.3.3 內(nèi)存和緩存的優(yōu)化 551
9.3.4 快速解析流數(shù)據(jù) 554