Python數(shù)據(jù)挖掘技術(shù)及應(yīng)用（微課版）

目錄



第1章緒論1
1.1數(shù)據(jù)挖掘的相關(guān)概念1
1.2數(shù)據(jù)挖掘的步驟2
1.3數(shù)據(jù)挖掘的典型應(yīng)用3
1.3.1數(shù)據(jù)挖掘在市場(chǎng)營(yíng)銷(xiāo)中的應(yīng)用3
1.3.2數(shù)據(jù)挖掘在企業(yè)危機(jī)管理中的應(yīng)用3
1.4數(shù)據(jù)挖掘的主要挑戰(zhàn)3
1.4.1數(shù)據(jù)挖掘查詢(xún)語(yǔ)言3
1.4.2用戶(hù)交互4
1.4.3并行、分布和增量挖掘算法4
1.4.4數(shù)據(jù)類(lèi)型的多樣化4
1.5本章小結(jié)5
第2章pandas數(shù)據(jù)處理6
2.1Series對(duì)象6
2.1.1Series對(duì)象的創(chuàng)建6
2.1.2Series對(duì)象的屬性8
2.1.3Series對(duì)象的查看和修改8
2.2Series對(duì)象的基本運(yùn)算9
2.2.1算術(shù)運(yùn)算與函數(shù)運(yùn)算9
2.2.2Series對(duì)象之間的運(yùn)算10
2.3DataFrame對(duì)象10
2.3.1DataFrame對(duì)象的創(chuàng)建10
2.3.2DataFrame對(duì)象的屬性12
2.3.3查看和修改DataFrame對(duì)象的元素14
2.3.4判斷元素是否屬于DataFrame對(duì)象16
2.4DataFrame對(duì)象的基本運(yùn)算17
2.4.1數(shù)據(jù)篩選17
2.4.2數(shù)據(jù)預(yù)處理19
2.4.3數(shù)據(jù)運(yùn)算與排序33
2.4.4數(shù)學(xué)統(tǒng)計(jì)38
2.4.5數(shù)據(jù)分組與聚合44
2.5pandas數(shù)據(jù)可視化51
2.5.1繪制折線圖52
2.5.2繪制條形圖53
2.6pandas讀寫(xiě)數(shù)據(jù)55
2.6.1讀寫(xiě)csv文件56
2.6.2讀取txt文件59
2.6.3讀寫(xiě)Excel文件60
2.7本章小結(jié)64
第3章認(rèn)識(shí)數(shù)據(jù)65
3.1數(shù)據(jù)類(lèi)型65
3.1.1屬性類(lèi)型65
3.1.2數(shù)據(jù)集的類(lèi)型66
3.2數(shù)據(jù)質(zhì)量分析67
3.2.1缺失值分析68
3.2.2異常值分析69
3.2.3一致性分析72
3.3數(shù)據(jù)特征分析72
3.3.1分布特征72
3.3.2統(tǒng)計(jì)量特征73
3.3.3周期性特征78
3.3.4相關(guān)性特征80
3.4本章小結(jié)81
第4章數(shù)據(jù)預(yù)處理82
4.1數(shù)據(jù)清洗82
4.1.1處理缺失值82
4.1.2噪聲數(shù)據(jù)處理89
4.2數(shù)據(jù)集成90
4.2.1實(shí)體識(shí)別問(wèn)題90
4.2.2屬性冗余問(wèn)題91
4.2.3元組重復(fù)問(wèn)題91
4.2.4屬性值沖突問(wèn)題92
4.3數(shù)據(jù)規(guī)范化92
4.3.1最小最大規(guī)范化92
4.3.2z分?jǐn)?shù)規(guī)范化94
4.3.3小數(shù)定標(biāo)規(guī)范化94
4.4數(shù)據(jù)離散化94
4.4.1無(wú)監(jiān)督離散化95
4.4.2監(jiān)督離散化96
4.5數(shù)據(jù)歸約96
4.5.1過(guò)濾法97
4.5.2包裝法99
4.5.3嵌入法99
4.6數(shù)據(jù)降維100
4.6.1主成分分析法101
4.6.2線性判別分析法101
4.7學(xué)生考試成績(jī)預(yù)處理102
4.8本章小結(jié)106
第5章決策樹(shù)分類(lèi)107
5.1相似性和相異性的度量107
5.1.1數(shù)據(jù)對(duì)象之間的相異度107
5.1.2數(shù)據(jù)對(duì)象之間的相似度109
5.2分類(lèi)概述111
5.2.1分類(lèi)的基本概念111
5.2.2分類(lèi)的一般流程112
5.3決策樹(shù)分類(lèi)概述113
5.3.1決策樹(shù)的工作原理113
5.3.2選擇最佳劃分屬性的度量117
5.3.3決策樹(shù)分類(lèi)待測(cè)樣本的過(guò)程120
5.4ID3決策樹(shù)120
5.4.1ID3決策樹(shù)的工作原理120
5.4.2Python實(shí)現(xiàn)ID3決策樹(shù)122
5.4.3使用ID3決策樹(shù)預(yù)測(cè)貸款申請(qǐng)130
5.4.4ID3決策樹(shù)的缺點(diǎn)131
5.5C4.5決策樹(shù)的分類(lèi)算法131
5.5.1C4.5決策樹(shù)的工作原理131
5.5.2Python實(shí)現(xiàn)C4.5決策樹(shù)133
5.5.3使用C4.5決策樹(shù)預(yù)測(cè)鳶尾花類(lèi)別139
5.6CART決策樹(shù)139
5.6.1CART決策樹(shù)的工作原理139
5.6.2Python實(shí)現(xiàn)CART決策樹(shù)139
5.7本章小結(jié)143
第6章貝葉斯分類(lèi)144
6.1貝葉斯定理144
6.1.1概率基礎(chǔ)144
6.1.2貝葉斯定理簡(jiǎn)介146
6.1.3先驗(yàn)概率與后驗(yàn)概率147
6.2樸素貝葉斯分類(lèi)的原理與分類(lèi)流程147
6.2.1貝葉斯分類(lèi)原理147
6.2.2樸素貝葉斯分類(lèi)的流程147
6.3高斯樸素貝葉斯分類(lèi)150
6.3.1scikitlearn實(shí)現(xiàn)高斯樸素貝葉斯分類(lèi)150
6.3.2Python實(shí)現(xiàn)iris高斯樸素貝葉斯分類(lèi)151
6.4多項(xiàng)式樸素貝葉斯分類(lèi)156
6.5伯努利樸素貝葉斯分類(lèi)157
6.6本章小結(jié)157
第7章支持向量機(jī)分類(lèi)158
7.1支持向量機(jī)概述158
7.1.1支持向量機(jī)的分類(lèi)原理158
7.1.2最大邊緣超平面158
7.2線性支持向量機(jī)159
7.2.1線性決策邊界159
7.2.2線性分類(lèi)器邊緣160
7.2.3訓(xùn)練線性支持向量機(jī)模型161
7.3Python實(shí)現(xiàn)支持向量機(jī)163
7.3.1SVC支持向量機(jī)分類(lèi)模型164
7.3.2NuSVC支持向量機(jī)分類(lèi)模型166
7.3.3LinearSVC支持向量機(jī)分類(lèi)模型167
7.4本章小結(jié)168
第8章感知器分類(lèi)169
8.1人工神經(jīng)元169
8.1.1神經(jīng)元概述169
8.1.2激活函數(shù)170
8.2感知器171
8.2.1感知器模型171
8.2.2感知器學(xué)習(xí)算法172
8.3Python實(shí)現(xiàn)感知器學(xué)習(xí)算法概述174
8.3.1Python實(shí)現(xiàn)感知器學(xué)習(xí)算法174
8.3.2使用感知器分類(lèi)鳶尾花數(shù)據(jù)175
8.4本章小結(jié)177
第9章回歸178
9.1回歸概述178
9.1.1回歸的概念178
9.1.2回歸處理流程178
9.1.3回歸的分類(lèi)178
9.2一元線性回歸178
9.2.1一元線性回歸模型178
9.2.2使用一元線性回歸預(yù)測(cè)房?jī)r(jià)182
9.3多元線性回歸185
9.3.1多元線性回歸模型185
9.3.2使用多元線性回歸分析廣告媒介與銷(xiāo)售額之間的關(guān)系187
9.3.3多元線性回歸模型預(yù)測(cè)電能輸出188
9.4非線性回歸191
9.4.1多項(xiàng)式回歸191
9.4.2非多項(xiàng)式的非線性回歸195
9.5邏輯回歸198
9.5.1邏輯回歸模型199
9.5.2對(duì)鳶尾花數(shù)據(jù)進(jìn)行邏輯回歸分析201
9.6本章小結(jié)203
第10章聚類(lèi)204
10.1聚類(lèi)概述204
10.1.1聚類(lèi)的概念204
10.1.2聚類(lèi)方法類(lèi)型205
10.1.3聚類(lèi)應(yīng)用領(lǐng)域206
10.2k均值聚類(lèi)206
10.2.1k均值聚類(lèi)的原理206
10.2.2Python實(shí)現(xiàn)對(duì)鳶尾花的k均值聚類(lèi)208
10.3層次聚類(lèi)方法211
10.3.1層次聚類(lèi)的原理211
10.3.2Python實(shí)現(xiàn)凝聚層次聚類(lèi)214
10.3.3BIRCH聚類(lèi)的原理217
10.3.4Python實(shí)現(xiàn)BIRCH聚類(lèi)220
10.4密度聚類(lèi)221
10.4.1密度聚類(lèi)的原理221
10.4.2Python實(shí)現(xiàn)DBSCAN密度聚類(lèi)224
10.5本章小結(jié)227
第11章關(guān)聯(lián)規(guī)則挖掘228
11.1關(guān)聯(lián)規(guī)則挖掘概述228
11.1.1購(gòu)物籃分析228
11.1.2關(guān)聯(lián)規(guī)則相關(guān)概念229
11.1.3關(guān)聯(lián)規(guī)則類(lèi)型231
11.2頻繁項(xiàng)集的產(chǎn)生232
11.2.1先驗(yàn)原理233
11.2.2Apriori算法產(chǎn)生頻繁項(xiàng)集233
11.2.3候選項(xiàng)集的產(chǎn)生與剪枝236
11.2.4頻繁項(xiàng)集及其支持度的Python實(shí)現(xiàn)237
11.3關(guān)聯(lián)規(guī)則的產(chǎn)生239
11.3.1關(guān)聯(lián)規(guī)則產(chǎn)生的原理239
11.3.2Apriori算法產(chǎn)生關(guān)聯(lián)規(guī)則的方式240
11.3.3頻繁項(xiàng)集的緊湊表示241
11.4FP增長(zhǎng)算法242
11.4.1構(gòu)建FP樹(shù)243
11.4.2FP樹(shù)的挖掘245
11.5本章小結(jié)247
第12章推薦系統(tǒng)248
12.1推薦系統(tǒng)的概念248
12.1.1基本概念248
12.1.2推薦系統(tǒng)的類(lèi)型249
12.2基于內(nèi)容的推薦250
12.2.1文本表示251
12.2.2文本相似度257
12.2.3Python實(shí)現(xiàn)基于內(nèi)容的推薦258
12.3基于用戶(hù)的協(xié)同過(guò)濾推薦261
12.3.1收集用戶(hù)偏好262
12.3.2尋找相似的用戶(hù)262
12.3.3為相似的用戶(hù)推薦商品266
12.4基于物品的協(xié)同過(guò)濾推薦267
12.4.1獲取用戶(hù)對(duì)物品的評(píng)分267
12.4.2計(jì)算物品共同出現(xiàn)的次數(shù)和一個(gè)物品被多少個(gè)用戶(hù)購(gòu)買(mǎi)268
12.4.3計(jì)算物品之間的相似度268
12.4.4給用戶(hù)推薦物品269
12.5本章小結(jié)270
第13章電商評(píng)論網(wǎng)絡(luò)爬取與情感分析271
13.1網(wǎng)絡(luò)爬蟲(chóng)概述271
13.1.1網(wǎng)頁(yè)的概念271
13.1.2網(wǎng)絡(luò)爬蟲(chóng)的工作流程271
13.2使用BeautifulSoup庫(kù)提取網(wǎng)頁(yè)信息272
13.2.1BeautifulSoup的安裝272
13.2.2BeautifulSoup庫(kù)的導(dǎo)入272
13.2.3BeautifulSoup類(lèi)的基本元素273
13.2.4HTML內(nèi)容搜索274
13.3使用urllib庫(kù)編寫(xiě)簡(jiǎn)單的網(wǎng)絡(luò)爬蟲(chóng)277
13.3.1發(fā)送不帶參數(shù)的GET請(qǐng)求277
13.3.2模擬瀏覽器發(fā)送帶參數(shù)的GET請(qǐng)求278
13.3.3URL解析279
13.4爬取京東小米手機(jī)評(píng)論280
13.4.1京東網(wǎng)站頁(yè)面分析280
13.4.2編寫(xiě)京東小米手機(jī)評(píng)論爬蟲(chóng)代碼283
13.5對(duì)手機(jī)評(píng)論文本進(jìn)行情感分析286
13.5.1文本情感傾向分析的層次286
13.5.2中文文本情感傾向分析287
13.5.3評(píng)論文本情感傾向分析288
13.5.4評(píng)論文本分詞290
13.5.5去除停用詞291
13.5.6評(píng)論文本的LDA主題分析292
13.6本章小結(jié)297
參考文獻(xiàn)298