數(shù)據(jù)挖掘與數(shù)據(jù)化運營實戰(zhàn)：思路、方法、技巧與應(yīng)用

目　　錄
推薦序
前言
第1章　什么是數(shù)據(jù)化運營 / 1
1.1　現(xiàn)代營銷理論的發(fā)展歷程 / 2
1.1.1　從4P到4C / 2
1.1.2　從4C到3P3C / 3
1.2　數(shù)據(jù)化運營的主要內(nèi)容 / 5
1.3　為什么要數(shù)據(jù)化運營 / 7
1.4　數(shù)據(jù)化運營的必要條件 / 8
1.4.1　企業(yè)級海量數(shù)據(jù)存儲的實現(xiàn) / 8
1.4.2　精細(xì)化運營的需求 / 10
1.4.3　數(shù)據(jù)分析和數(shù)據(jù)挖掘技術(shù)的有效應(yīng)用 / 11
1.4.4　企業(yè)決策層的倡導(dǎo)與持續(xù)支持 / 11
1.5　數(shù)據(jù)化運營的新現(xiàn)象與新發(fā)展 / 12
1.6　關(guān)于互聯(lián)網(wǎng)和電子商務(wù)的最新數(shù)據(jù) / 14
第2章　數(shù)據(jù)挖掘概述 / 15
2.1　數(shù)據(jù)挖掘的發(fā)展歷史 / 16
2.2　統(tǒng)計分析與數(shù)據(jù)挖掘的主要區(qū)別 / 16
2.3　數(shù)據(jù)挖掘的主要成熟技術(shù)以及在數(shù)據(jù)化運營中的主要應(yīng)用 / 18
2.3.1　決策樹 / 18
2.3.2　神經(jīng)網(wǎng)絡(luò) / 19
2.3.3　回歸 / 21
2.3.4　關(guān)聯(lián)規(guī)則 / 22
2.3.5　聚類 / 23
2.3.6　貝葉斯分類方法 / 24
2.3.7　支持向量機 / 25
2.3.8　主成分分析 / 26
2.3.9　假設(shè)檢驗 / 27
2.4　互聯(lián)網(wǎng)行業(yè)數(shù)據(jù)挖掘應(yīng)用的特點 / 28
第3章　數(shù)據(jù)化運營中常見的數(shù)據(jù)分析項目類型 / 30
3.1　目標(biāo)客戶的特征分析 / 31
3.2　目標(biāo)客戶的預(yù)測（響應(yīng)、分類）模型 / 32
3.3　運營群體的活躍度定義 / 33
3.4　用戶路徑分析 / 34
3.5　交叉銷售模型 / 35
3.6　信息質(zhì)量模型 / 37
3.7　服務(wù)保障模型 / 39
3.8　用戶（買家、賣家）分層模型 / 40
3.9　賣家（買家）交易模型 / 44
3.10　信用風(fēng)險模型 / 44
3.11　商品推薦模型 / 45
3.11.1　商品推薦介紹 / 45
3.11.2　關(guān)聯(lián)規(guī)則 / 45
3.11.3　協(xié)同過濾算法 / 50
3.11.4　商品推薦模型總結(jié) / 54
3.12　數(shù)據(jù)產(chǎn)品 / 55
3.13　決策支持 / 56
第4章　數(shù)據(jù)化運營是跨專業(yè)、跨團(tuán)隊的協(xié)調(diào)與合作 / 57
4.1　數(shù)據(jù)分析團(tuán)隊與業(yè)務(wù)團(tuán)隊的分工和定位 / 58
4.1.1　提出業(yè)務(wù)分析需求并且能勝任基本的數(shù)據(jù)分析 / 58
4.1.2　提供業(yè)務(wù)經(jīng)驗和參考建議 / 60
4.1.3　策劃和執(zhí)行精細(xì)化運營方案 / 60
4.1.4　跟蹤運營效果、反饋和總結(jié) / 61
4.2　數(shù)據(jù)化運營是真正的多團(tuán)隊、多專業(yè)的協(xié)同作業(yè) / 62
4.3　實例示范數(shù)據(jù)化運營中的跨專業(yè)、跨團(tuán)隊協(xié)調(diào)合作 / 62
第5章　分析師常見的錯誤觀念和對治的管理策略 / 67
5.1　輕視業(yè)務(wù)論 / 68
5.2　技術(shù)萬能論 / 69
5.3　技術(shù)尖端論 / 71
5.4　建模與應(yīng)用兩段論 / 72
5.5　機器萬能論 / 73
5.6　幸福的家庭都是相似的，不幸的家庭各有各的不幸 / 74
第6章　數(shù)據(jù)挖掘項目完整應(yīng)用案例演示 / 76
6.1　項目背景和業(yè)務(wù)分析需求的提出 / 77
6.2　數(shù)據(jù)分析師參與需求討論 / 78
6.3　制定需求分析框架和分析計劃 / 79
6.4　抽取樣本數(shù)據(jù)、熟悉數(shù)據(jù)、數(shù)據(jù)清洗和摸底 / 81
6.5　按計劃初步搭建挖掘模型 / 81
6.6　與業(yè)務(wù)方討論模型的初步結(jié)論，提出新的思路和模型優(yōu)化方案 / 83
6.7　按優(yōu)化方案重新抽取樣本并建模，提煉結(jié)論并驗證模型 / 84
6.8　完成分析報告和落地應(yīng)用建議 / 86
6.9　制定具體的落地應(yīng)用方案和評估方案 / 86
6.10　業(yè)務(wù)方實施落地應(yīng)用方案并跟蹤、評估效果 / 86
6.11　落地應(yīng)用方案在實際效果評估后，不斷修正完善 / 88
6.12　不同運營方案的評估、總結(jié)和反饋 / 88
6.13　項目應(yīng)用后的總結(jié)和反思 / 89
第7章　數(shù)據(jù)挖掘建模的優(yōu)化和限度 / 90
7.1　數(shù)據(jù)挖掘模型的優(yōu)化要遵循有效、適度的原則 / 91
7.2　如何有效地優(yōu)化模型 / 92
7.2.1　從業(yè)務(wù)思路上優(yōu)化 / 92
7.2.2　從建模的技術(shù)思路上優(yōu)化 / 94
7.2.3　從建模的技術(shù)技巧上優(yōu)化 / 95
7.3　如何思考優(yōu)化的限度 / 96
7.4　模型效果評價的主要指標(biāo)體系 / 96
7.4.1　評價模型準(zhǔn)確度和精度的系列指標(biāo) / 97
7.4.2　ROC曲線 / 99
7.4.3　KS值 / 100
7.4.4　Lift值 / 102
7.4.5　模型穩(wěn)定性的評估 / 104
第8章　常見的數(shù)據(jù)處理技巧 / 105
8.1　數(shù)據(jù)的抽取要正確反映業(yè)務(wù)需求 / 106
8.2　數(shù)據(jù)抽樣 / 107
8.3　分析數(shù)據(jù)的規(guī)模有哪些具體的要求 / 108
8.4　如何處理缺失值和異常值 / 109
8.4.1　缺失值的常見處理方法 / 109
8.4.2　異常值的判斷和處理 / 111
8.5　數(shù)據(jù)轉(zhuǎn)換 / 112
8.5.1　生成衍生變量 / 113
8.5.2　改善變量分布的轉(zhuǎn)換 / 113
8.5.3　分箱轉(zhuǎn)換 / 114
8.5.4　數(shù)據(jù)的標(biāo)準(zhǔn)化 / 115
8.6　篩選有效的輸入變量 / 115
8.6.1　為什么要篩選有效的輸入變量 / 116
8.6.2　結(jié)合業(yè)務(wù)經(jīng)驗進(jìn)行先行篩選 / 116
8.6.3　用線性相關(guān)性指標(biāo)進(jìn)行初步篩選 / 117
8.6.4　R平方 / 118
8.6.5　卡方檢驗 / 119
8.6.6　IV和WOE / 120
8.6.7　部分建模算法自身的篩選功能 / 121
8.6.8　降維的方法 / 122
8.6.9　最后的準(zhǔn)則 / 122
8.7　共線性問題 / 123
8.7.1　如何發(fā)現(xiàn)共線性 / 123
8.7.2　如何處理共線性 / 123
第9章　聚類分析的典型應(yīng)用和技術(shù)小竅門 / 125
9.1　聚類分析的典型應(yīng)用場景 / 126
9.2　主要聚類算法的分類 / 127
9.2.1　劃分方法 / 127
9.2.2　層次方法 / 128
9.2.3　基于密度的方法 / 128
9.2.4　基于網(wǎng)格的方法 / 129
9.3　聚類分析在實踐應(yīng)用中的重點注意事項 / 129
9.3.1　如何處理數(shù)據(jù)噪聲和異常值 / 129
9.3.2　數(shù)據(jù)標(biāo)準(zhǔn)化 / 130
9.3.3　聚類變量的少而精 / 131
9.4　聚類分析的擴展應(yīng)用 / 132
9.4.1　聚類的核心指標(biāo)與非聚類的業(yè)務(wù)指標(biāo)相輔相成 / 132
9.4.2　數(shù)據(jù)的探索和清理工具 / 132
9.4.3　個性化推薦的應(yīng)用 / 133
9.5　聚類分析在實際應(yīng)用中的優(yōu)勢和缺點 / 134
9.6　聚類分析結(jié)果的評價體系和評價指標(biāo) / 135
9.6.1　業(yè)務(wù)專家的評估 / 135
9.6.2　聚類技術(shù)上的評價指標(biāo) / 136
9.7　一個典型的聚類分析課題的案例分享 / 137
9.7.1　案例背景 / 137
9.7.2　基本的數(shù)據(jù)摸底 / 137
9.7.3　基于用戶樣本的聚類分析的初步結(jié)論 / 138
第10章　預(yù)測響應(yīng)（分類）模型的典型應(yīng)用和技術(shù)小竅門 / 140
10.1　神經(jīng)網(wǎng)絡(luò)技術(shù)的實踐應(yīng)用和注意事項 / 141
10.1.1　神經(jīng)網(wǎng)絡(luò)的原理和核心要素 / 141
10.1.2　神經(jīng)網(wǎng)絡(luò)的應(yīng)用優(yōu)勢 / 143
10.1.3　神經(jīng)網(wǎng)絡(luò)技術(shù)的缺點和注意事項 / 143
10.2　決策樹技術(shù)的實踐應(yīng)用和注意事項 / 144
10.2.1　決策樹的原理和核心要素 / 144
10.2.2　CHAID算法 / 145
10.2.3　CART算法 / 145
10.2.4　ID3算法 / 146
10.2.5　決策樹的應(yīng)用優(yōu)勢 / 146
10.2.6　決策樹的缺點和注意事項 / 147
10.3　邏輯回歸技術(shù)的實踐應(yīng)用和注意事項 / 148
10.3.1　邏輯回歸的原理和核心要素 / 148
10.3.2　回歸中的變量篩選方法 / 150
10.3.3　邏輯回歸的應(yīng)用優(yōu)勢 / 151
10.3.4　邏輯回歸應(yīng)用中的注意事項 / 151
10.4　多元線性回歸技術(shù)的實踐應(yīng)用和注意事項 / 152
10.4.1　線性回歸的原理和核心要素 / 152
10.4.2　線性回歸的應(yīng)用優(yōu)勢 / 153
10.4.3　線性回歸應(yīng)用中的注意事項 / 153
10.5　模型的過擬合及對策 / 154
10.6　一個典型的預(yù)測響應(yīng)模型的案例分享 / 156
10.6.1　案例背景 / 156
10.6.2　基本的數(shù)據(jù)摸底 / 156
10.6.3　建模數(shù)據(jù)的抽取和清洗 / 158
10.6.4　初步的相關(guān)性檢驗和共線性排查 / 159
10.6.5　潛在自變量的分布轉(zhuǎn)換 / 160
10.6.6　自變量的篩選 / 161
10.6.7　響應(yīng)模型的搭建與優(yōu)化 / 162
10.6.8　冠軍模型的確定和主要的分析結(jié)論 / 162
10.6.9　基于模型和分析結(jié)論基礎(chǔ)上的運營方案 / 164
10.6.10　模型落地應(yīng)用效果跟蹤反饋 / 165
第11章　用戶特征分析的典型應(yīng)用和技術(shù)小竅門 / 166
11.1　用戶特征分析所適用的典型業(yè)務(wù)場景 / 167
11.1.1　尋找目標(biāo)用戶 / 167
11.1.2　尋找運營的抓手 / 168
11.1.3　用戶群體細(xì)分的依據(jù) / 169
11.1.4　新品開發(fā)的線索和依據(jù) / 169
11.2　用戶特征分析的典型分析思路和分析技術(shù) / 170
11.2.1　3種劃分的區(qū)別 / 170
11.2.2　RFM / 171
11.2.3　聚類技術(shù)的應(yīng)用 / 172
11.2.4　決策樹技術(shù)的應(yīng)用 / 173
11.2.5　預(yù)測（響應(yīng)）模型中的核心自變量 / 173
11.2.6　假設(shè)檢驗的應(yīng)用 / 174
11.3　特征提煉后的評價體系 / 174
11.4　用戶特征分析與用戶預(yù)測模型的區(qū)別和聯(lián)系 / 175
11.5　用戶特征分析案例 / 176
第12章　運營效果分析的典型應(yīng)用和技術(shù)小竅門 / 177
12.1　為什么要做運營效果分析 / 178
12.2　統(tǒng)計技術(shù)在數(shù)據(jù)化運營中最重要最常見的應(yīng)用 / 179
12.2.1　為什么要進(jìn)行假設(shè)檢驗 / 179
12.2.2　假設(shè)檢驗的基本思想 / 179
12.2.3　T檢驗概述 / 180
12.2.4　兩組獨立樣本T檢驗的假設(shè)和檢驗 / 181
12.2.5　兩組獨立樣本的非參數(shù)檢驗 / 182
12.2.6　配對差值的T檢驗 / 183
12.2.7　配對差值的非參數(shù)檢驗 / 184
12.2.8　方差分析概述 / 186
12.2.9　單因素方差分析 / 187
12.2.10　多個樣本組的非參數(shù)檢驗 / 190
12.2.11　卡方檢驗 / 190
12.2.12　控制變量的方法 / 191
12.2.13　AB Test / 192
第13章　漏斗模型和路徑分析 / 193
13.1　網(wǎng)絡(luò)日志和布點 / 194
13.1.1　日志布點 / 195
13.1.2　日志采集 / 195
13.1.3　日志解析 / 195
13.1.4　日志分析 / 195
13.2　漏斗模型與路徑分析的主要區(qū)別和聯(lián)系 / 196
13.3　漏斗模型的主要應(yīng)用場景 / 197
13.3.1　運營過程的監(jiān)控和運營效率的分析與改善 / 197
13.3.2　用戶關(guān)鍵路徑分析 / 198
13.3.3　產(chǎn)品優(yōu)化 / 198
13.4　路徑分析的主要應(yīng)用場景 / 198
13.5　路徑分析的主要算法 / 199
13.5.1　社會網(wǎng)絡(luò)分析方法 / 199
13.5.2　基于序列的關(guān)聯(lián)分析 / 200
13.5.3　最樸素的遍歷方法 / 201
13.6　路徑分析案例的分享 / 203
13.6.1　案例背景 / 203
13.6.2　主要的分析技術(shù)介紹 / 203
13.6.3　分析所用的數(shù)據(jù)概況 / 203
13.6.4　主要的數(shù)據(jù)結(jié)論和業(yè)務(wù)解說 / 203
13.6.5　主要分析結(jié)論的落地應(yīng)用跟蹤 / 206
第14章　數(shù)據(jù)分析師對業(yè)務(wù)團(tuán)隊數(shù)據(jù)分析能力的培養(yǎng) / 208
14.1　培養(yǎng)業(yè)務(wù)團(tuán)隊數(shù)據(jù)分析意識與能力的重要性 / 209
14.2　數(shù)據(jù)分析師在業(yè)務(wù)團(tuán)隊數(shù)據(jù)分析意識能力培養(yǎng)中的作用 / 210
14.3　數(shù)據(jù)分析師如何培養(yǎng)業(yè)務(wù)團(tuán)隊的數(shù)據(jù)分析意識和能力 / 210
14.4　數(shù)據(jù)分析師培養(yǎng)業(yè)務(wù)團(tuán)隊數(shù)據(jù)分析意識能力的案例分享 / 212
14.4.1　 案例背景 / 212
14.4.2　過程描述 / 212
14.4.3　本項目的效果跟蹤 / 214
第15章　換位思考 / 216
15.1　為什么要換位思考 / 217
15.2　從業(yè)務(wù)方的角度換位思考數(shù)據(jù)分析與挖掘 / 218
15.3　從同行的角度換位思考數(shù)據(jù)分析挖掘的經(jīng)驗教訓(xùn) / 220
第16章　養(yǎng)成數(shù)據(jù)分析師的品質(zhì)和思維模式 / 222
16.1　態(tài)度決定一切 / 223
16.1.1　信念 / 223
16.1.2　信心 / 224
16.1.3　熱情 / 225
16.1.4　敬畏 / 226
16.1.5　感恩 / 227
16.2　商業(yè)意識是核心 / 228
16.2.1　為什么商業(yè)意識是核心 / 228
16.2.2　如何培養(yǎng)商業(yè)意識 / 229
16.3　一個基本的方法論 / 230
16.4　大膽假設(shè)，小心求證 / 231
16.5　20/80原理 / 233
16.6　結(jié)構(gòu)化思維 / 233
16.7　優(yōu)秀的數(shù)據(jù)分析師既要客觀，又要主觀 / 234
第17章　條條大道通羅馬 / 236
17.1　為什么會條條大道通羅馬 / 237
17.2　條條大道有側(cè)重 / 238
17.3　自覺服從和積極響應(yīng) / 239
17.3.1　自覺服從 / 239
17.3.2　積極響應(yīng) / 240
17.4　具體示例 / 242
第18章　數(shù)據(jù)挖掘?qū)嵺`的質(zhì)量保障流程和制度 / 243
18.1　一個有效的質(zhì)量保障流程制度 / 244
18.1.1　業(yè)務(wù)需求的收集 / 245
18.1.2　評估小組評估需求的優(yōu)先級 / 246
18.1.3　課題組的成立及前期摸底 / 247
18.1.4　向業(yè)務(wù)方提交正式課題（項目）計劃書 / 247
18.1.5　數(shù)據(jù)分析挖掘的課題展開 / 248
18.1.6　向業(yè)務(wù)方提交結(jié)論報告及業(yè)務(wù)落地應(yīng)用建議 / 248
18.1.7　課題（項目）的落地應(yīng)用和效果監(jiān)控反饋 / 248
18.2　質(zhì)量保障流程制度的重要性 / 249
18.3　如何支持與強化質(zhì)量保障流程制度 / 250
第19章　幾個經(jīng)典的數(shù)據(jù)挖掘方法論 / 251
19.1　SEMMA方法論 / 252
19.1.1　數(shù)據(jù)取樣 / 253
19.1.2　數(shù)據(jù)探索 / 253
19.1.3　數(shù)據(jù)調(diào)整 / 253
19.1.4　模式化 / 254
19.1.5　評價 / 254
19.2　CRISP-DM方法論 / 254
19.2.1　業(yè)務(wù)理解 / 255
19.2.2　數(shù)據(jù)理解 / 256
19.2.3 　數(shù)據(jù)準(zhǔn)備 / 256
19.2.4　模型搭建 / 256
19.2.5　模型評估 / 256
19.2.6　模型發(fā)布 / 256
19.3　Tom Khabaza的挖掘9律 / 256