Effective數(shù)據(jù)科學基礎設施

第1章  數(shù)據(jù)科學基礎設施介紹 1
1.1  選擇數(shù)據(jù)科學基礎設施的原因 2
1.2  什么是數(shù)據(jù)科學基礎設施 5
1.2.1  數(shù)據(jù)科學基礎設施堆棧 6
1.2.2  支持數(shù)據(jù)科學項目的整個生命周期 8
1.2.3  不能以偏概全 9
1.3  良好基礎設施的重要性 10
1.3.1  管理復雜性 11
1.3.2  利用現(xiàn)有平臺 12
1.4  以人為中心的基礎設施 13
1.4.1  自由與責任 14
1.4.2  數(shù)據(jù)科學家自主性 15
1.5  本章小結(jié) 16
第2章  數(shù)據(jù)科學的工具鏈 17
2.1  建立開發(fā)環(huán)境 18
2.1.1  云賬戶 21
2.1.2  數(shù)據(jù)科學工作站 22
2.1.3  筆記 24
2.1.4  歸納 27
2.2  介紹工作流 29
2.2.1  工作流基礎 30
2.2.2  執(zhí)行工作流 31
2.2.3  工作流框架 33
2.3  本章小結(jié) 35
第3章  Metaflow簡介 37
3.1  Metaflow的基本概念 38
3.1.1  安裝Metaflow 39
3.1.2  編寫基本工作流 40
3.1.3  管理工作流中的數(shù)據(jù)流 44
3.1.4  參數(shù) 50
3.2  分支和合并 55
3.2.1  有效的DAG結(jié)構(gòu) 56
3.2.2  靜態(tài)分支 57
3.2.3  動態(tài)分支 61
3.2.4  控制并發(fā) 64
3.3  Metaflow實際應用 66
3.3.1  啟動新項目 67
3.3.2  使用客戶端API訪問結(jié)果 69
3.3.3  調(diào)試故障 72
3.3.4  最后潤色 76
3.4  本章小結(jié) 79
第4章  隨計算層伸縮 81
4.1  什么是可伸縮性 82
4.1.1  整個堆棧的可伸縮性 83
4.1.2  實驗文化 85
4.2  計算層 87
4.2.1  使用容器進行批處理 89
4.2.2  計算層示例 92
4.3  Metaflow中的計算層 98
4.3.1  為Metaflow配置AWS批處理 100
4.3.2  @batch和@resources裝飾器 104
4.4  處理故障 107
4.4.1  使用@retry從瞬態(tài)錯誤中恢復 109
4.4.2  使用@timeout殺死僵尸 110
4.4.3  最后一種裝飾器：@catch 111
4.5  本章小結(jié) 113
第5章  實踐可伸縮性和性能 115
5.1  從簡單開始：垂直可伸縮性 116
5.1.1  示例：聚類Yelp評論 117
5.1.2  實踐垂直可伸縮性 119
5.1.3  為什么選擇垂直可
伸縮性 124
5.2  實踐水平可伸縮性 126
5.2.1  為什么選擇水平可伸縮性 126
5.2.2  示例：超參數(shù)搜索 127
5.3  實施性能優(yōu)化 130
5.3.1  示例：計算共現(xiàn)矩陣 131
5.3.2  加快工作流的方法 139
5.4  本章小結(jié) 140
第6章  投入生產(chǎn) 141
6.1  穩(wěn)定的工作流調(diào)度 143
6.1.1  中心化元數(shù)據(jù) 145
6.1.2  使用AWS Step Functions和Metaflow 147
6.1.3  使用@schedule調(diào)度運行 152
6.2  魯棒的執(zhí)行環(huán)境 153
6.2.1  Metaflow包如何流動 155
6.2.2  為什么依賴管理很重要 160
6.2.3  使用@conda裝飾器 162
6.3  穩(wěn)定運行 167
6.3.1  原型開發(fā)期間的命名空間 169
6.3.2  生產(chǎn)命名空間 173
6.3.3  使用@project的并行部署 174
6.4  本章小結(jié) 177
第7章  處理數(shù)據(jù) 179
7.1  快速數(shù)據(jù)的基礎 182
7.1.1  從S3加載數(shù)據(jù) 183
7.1.2  使用表格數(shù)據(jù) 188
7.1.3  內(nèi)存數(shù)據(jù)堆棧 192
7.2  與數(shù)據(jù)基礎設施的交互 194
7.2.1  現(xiàn)代數(shù)據(jù)基礎設施 195
7.2.2  用SQL準備數(shù)據(jù)集 199
7.2.3  分布式數(shù)據(jù)處理 205
7.3  從數(shù)據(jù)到特征 210
7.3.1  區(qū)分事實和特征 211
7.3.2  編碼特征 213
7.4  本章小結(jié) 218
第8章  使用和操作模型 221
8.1  生成預測 223
8.1.1  批處理、流式和實時預測 225
8.1.2  示例：推薦系統(tǒng) 227
8.1.3  批處理預測 232
8.1.4  實時預測 243
8.2  本章小結(jié) 248
第9章  全棧機器學習 249
9.1  可插拔的特征編碼器和模型 250
9.1.1  為可插拔的組件開發(fā)框架 251
9.1.2  執(zhí)行特征編碼器 255
9.1.3  基準模型 259
9.2  深度回歸模型 264
9.2.1  編碼輸入張量 266
9.2.2  定義深度回歸模型 269
9.2.3  訓練深度回歸模型 272
9.3  總結(jié)所學 275
9.4  本章小結(jié) 277
附錄  安裝Conda 279