算法與數(shù)據(jù)中臺：基于Google、Facebook與微博實踐

第1章 算法與數(shù)據(jù)中臺概述 1
1.1 中臺的背景和意義 1
1.2 算法與數(shù)據(jù)中臺的功能價值 3
1.3 算法與數(shù)據(jù)中臺的技術(shù)體系 4
1.4 算法與數(shù)據(jù)中臺的實踐場景 6
1.5 算法與數(shù)據(jù)中臺的應(yīng)用前景 7
1.6 本章總結(jié) 8
第2章 中臺技術(shù)之基礎(chǔ)設(shè)施 10
2.1 研發(fā)效率系統(tǒng) 10
2.1.1 代碼組織和構(gòu)建 11
2.1.2 代碼審查和任務(wù)管理 13
2.1.3 持續(xù)集成 15
2.1.4 通用壓測平臺 17
2.2 服務(wù)通信系統(tǒng) 19
2.2.1 跨進(jìn)程通信框架 20
2.2.2 服務(wù)注冊與發(fā)現(xiàn) 21
2.2.3 服務(wù)治理 24
2.3 監(jiān)控報警系統(tǒng) 25
2.3.1 通用系統(tǒng)架構(gòu) 25
2.3.2 指標(biāo)計算模型 26
2.3.3 開源解決方案 27
2.4 鏈路跟蹤系統(tǒng) 29
2.4.1 應(yīng)用場景與設(shè)計目標(biāo) 30
2.4.2 系統(tǒng)架構(gòu) 30
2.5 本章總結(jié) 32
第3章 中臺技術(shù)之在線算法系統(tǒng) 33
3.1 物料檢索系統(tǒng) 34
3.1.1 倒排檢索 35
3.1.2 倒排索引實例 37
3.1.3 相似檢索 38
3.1.4 相似檢索實例 40
3.1.5 模型粗排 40
3.2 模型預(yù)估服務(wù) 41
3.2.1 整體架構(gòu) 42
3.2.2 多框架支持 43
3.2.3 模型上線 44
3.2.4 在線預(yù)估 45
3.2.5 異構(gòu)設(shè)備 46
3.2.6 性能優(yōu)化 47
3.2.7 效果監(jiān)控 49
3.3 策略機制引擎 50
3.3.1 整體架構(gòu) 50
3.3.2 計算流解釋器 51
3.3.3 Lua 解釋器 52
3.4 集群管理平臺 53
3.4.1 多租戶架構(gòu) 53
3.4.2 集群動態(tài)管理 54
3.4.3 集群性能監(jiān)控 57
3.4.4 配置動態(tài)分發(fā) 59
3.5 效果評估系統(tǒng) 60
3.5.1 背景介紹 61
3.5.2 設(shè)計模式 61
3.5.3 系統(tǒng)架構(gòu) 62
3.5.4 指標(biāo)計算 64
3.6 本章總結(jié) 65
第4章 中臺技術(shù)之機器學(xué)習(xí)平臺 66
4.1 機器學(xué)習(xí)平臺簡介 66
4.1.1 機器學(xué)習(xí)的研發(fā)流程 67
4.1.2 機器學(xué)習(xí)的研發(fā)挑戰(zhàn) 69
4.1.3 機器學(xué)習(xí)的研發(fā)技術(shù) 69
4.2 傳統(tǒng)機器學(xué)習(xí)算法 73
4.2.1 線性算法 73
4.2.2 因子分解機算法 77
4.2.3 決策樹算法 81
4.3 深度學(xué)習(xí)算法 84
4.3.1 發(fā)展簡史 85
4.3.2 神經(jīng)元模型 86
4.3.3 神經(jīng)網(wǎng)絡(luò)模型 87
4.3.4 神經(jīng)網(wǎng)絡(luò)的算法原理 88
4.4 模型框架基本原理 94
4.4.1 分布式計算架構(gòu) 94
4.4.2 并行計算的同步機制 99
4.4.3 梯度更新算法 102
4.5 層結(jié)構(gòu)的模型框架 108
4.5.1 Caffe 109
4.5.2 DistBelief 110
4.5.3 WBLEngine 112
4.5.4 小結(jié) 116
4.6 數(shù)據(jù)流結(jié)構(gòu)的模型框架 116
4.6.1 TensorFlow 116
4.6.2 PyTorch 122
4.6.3 小結(jié) 126
4.7 復(fù)合結(jié)構(gòu)的模型框架 126
4.7.1 場景特點 126
4.7.2 設(shè)計思路 127
4.7.3 架構(gòu)與實現(xiàn) 128
4.7.4 性能優(yōu)化 131
4.7.5 小結(jié) 132
4.8 機器學(xué)習(xí)平臺簡介 132
4.8.1 單業(yè)務(wù)線開發(fā)階段 132
4.8.2 平臺化建設(shè)階段 133
4.8.3 業(yè)界知名產(chǎn)品 134
4.9 新浪微博 WBL 機器學(xué)習(xí)平臺 135
4.9.1 用戶操作界面 136
4.9.2 管理中心 138
4.9.3 數(shù)據(jù)中心 140
4.9.4 調(diào)度中心 141
4.9.5 智能中心 144
4.9.6 模型中心 145
4.10 本章總結(jié) 147
第5章 中臺技術(shù)之分布式數(shù)據(jù)庫 148
5.1 分布式數(shù)據(jù)庫概述 148
5.1.1 SQL 數(shù)據(jù)庫 148
5.1.2 NoSQL 數(shù)據(jù)庫 149
5.1.3 NewSQL 數(shù)據(jù)庫 150
5.2 分布式數(shù)據(jù)庫技術(shù) 150
5.2.1 ACID 理論 151
5.2.2 CAP 理論 151
5.2.3 BASE 理論 153
5.2.4 數(shù)據(jù)分片策略 154
5.2.5 數(shù)據(jù)復(fù)制策略 157
5.2.6 Gossip 協(xié)議 158
5.2.7 分布式一致性協(xié)議 160
5.2.8 分布式事務(wù)協(xié)議 167
5.3 分布式數(shù)據(jù)庫產(chǎn)品 170
5.3.1 Redis 170
5.3.2 Google BigTable 170
5.3.3 Google Spanner 173
5.4 LaserDB 分布式數(shù)據(jù)庫 177
5.4.1 系統(tǒng)架構(gòu) 178
5.4.2 數(shù)據(jù)模型 179
5.4.3 分片策略 180
5.4.4 批量加載 181
5.4.5 同步機制 182
5.4.6 高可用架構(gòu) 184
5.4.7 高性能方案 185
5.5 LaserDB 應(yīng)用案例分析 188
5.5.1 數(shù)據(jù)緩存 188
5.5.2 特征服務(wù) 189
5.5.3 向量存儲 190
5.5.4 樣本拼接 190
5.6 本章總結(jié) 191
第6章 中臺技術(shù)之大數(shù)據(jù)平臺 192
6.1 大數(shù)據(jù)平臺概述 192
6.1.1 大數(shù)據(jù)的特點 192
6.1.2 大數(shù)據(jù)平臺的技術(shù)棧 193
6.2 分布式協(xié)調(diào)系統(tǒng) 194
6.2.1 Google Chubby 195
6.2.2 Apache ZooKeeper 196
6.2.3 Consul 197
6.3 集群管理系統(tǒng) 199
6.3.1 Google Borg 200
6.3.2 Kubernetes 202
6.3.3 Apache YARN 203
6.4 分布式文件系統(tǒng) 205
6.4.1 Google GFS 205
6.4.2 Apache HDFS 207
6.4.3 Dropbox MagicPocket 209
6.5 消息管道系統(tǒng) 210
6.5.1 Google PubSub 211
6.5.2 Apache Kafka 213
6.6 分布式計算系統(tǒng) 214
6.6.1 MapReduce 214
6.6.2 Apache Spark 216
6.6.3 Apache Flink 218
6.6.4 Apache Beam 220
6.7 數(shù)據(jù)倉庫與分布式查詢系統(tǒng) 221
6.7.1 Google BigQuery 222
6.7.2 Apache Hive 223
6.7.3 Facebook Presto 224
6.7.4 Facebook Scuba 226
6.8 本章總結(jié) 227
第7章 中臺實踐之推薦系統(tǒng) 228
7.1 推薦系統(tǒng)的背景簡介 228
7.1.1 場景概況 229
7.1.2 整體架構(gòu) 230
7.1.3 推薦思路 233
7.2 推薦系統(tǒng)的算法模型 235
7.2.1 GBDT-LR 融合模型 235
7.2.2 Wide & Deep 模型 237
7.2.3 DeepFM 模型 238
7.2.4 雙塔模型 238
7.2.5 多任務(wù)模型 239
7.2.6 算法的發(fā)展趨勢 241
7.3 推薦系統(tǒng)的效果度量 244
7.3.1 體驗指標(biāo) 244
7.3.2 算法指標(biāo) 245
7.4 Facebook 信息流推薦簡介 250
7.4.1 數(shù)據(jù)分發(fā)系統(tǒng) 251
7.4.2 特征服務(wù) 252
7.4.3 索引系統(tǒng) 254
7.4.4 預(yù)估與排序服務(wù) 255
7.4.5 實時樣本拼接服務(wù) 256
7.4.6 模型訓(xùn)練平臺 257
7.5 本章總結(jié) 258
第8章 中臺實踐之?dāng)?shù)字廣告 259
8.1 數(shù)字廣告的背景簡介 259
8.1.1 核心概念 260
8.1.2 合約廣告 261
8.1.3 競價廣告 262
8.1.4 程序化交易廣告 263
8.2 數(shù)字廣告系統(tǒng)架構(gòu) 264
8.2.1 業(yè)務(wù)平臺 265
8.2.2 算法與數(shù)據(jù)中臺 265
8.3 數(shù)字廣告系統(tǒng)中的數(shù)據(jù)管理 266
8.3.1 站內(nèi)數(shù)據(jù) 267
8.3.2 站外數(shù)據(jù) 267
8.4 數(shù)字廣告系統(tǒng)中的受眾定向 268
8.4.1 內(nèi)容定向 268
8.4.2 用戶標(biāo)簽定向 269
8.4.3 定制化標(biāo)簽定向 269
8.4.4 社交關(guān)系定向 270
8.4.5 智能定向 270
8.5 數(shù)字廣告系統(tǒng)中的策略機制 270
8.5.1 流量預(yù)測 271
8.5.2 在線分配 271
8.5.3 頻次控制 272
8.5.4 平滑投放 272
8.5.5 探索策略 273
8.5.6 智能出價 274
8.5.7 廣告競價 276
8.5.8 反作弊機制 277
8.6 本章總結(jié) 277
第9章 中臺實踐之網(wǎng)約車平臺 278
9.1 業(yè)務(wù)簡介 279
9.1.1 業(yè)務(wù)背景 279
9.1.2 運作流程 281
9.1.3 用戶體驗 281
9.2 技術(shù)架構(gòu) 282
9.2.1 分層系統(tǒng)架構(gòu) 282
9.2.2 業(yè)務(wù)中臺 283
9.2.3 算法與數(shù)據(jù)中臺 285
9.3 打車定價場景 286
9.3.1 場景描述 286
9.3.2 價格動態(tài)下浮策略 287
9.3.3 價格動態(tài)上浮策略 289
9.3.4 小結(jié) 290
9.4 打車排隊場景 290
9.4.1 場景描述 290
9.4.2 排隊時間預(yù)估策略 291
9.4.3 小結(jié) 292
9.5 打車安全場景 292
9.5.1 場景描述 292
9.5.2 安全策略 293
9.5.3 小結(jié) 294
9.6 本章總結(jié) 294
參考文獻(xiàn) 295