Python數(shù)據(jù)可視化方法、實踐與應用

第1章  數(shù)據(jù)采集 1
1.1  處理網(wǎng)絡數(shù)據(jù) 2
1.1.1  解析HTML和XML數(shù)據(jù) 2
1.1.2  處理HTTP 數(shù)據(jù) 11
1.1.3  處理URL 數(shù)據(jù) 17
1.2  網(wǎng)絡爬蟲技術 21
1.2.1  網(wǎng)絡爬蟲基礎 21
1.2.2  使用Beautiful Soup爬取網(wǎng)絡數(shù)據(jù) 22
1.2.3  使用XPath爬取網(wǎng)絡數(shù)據(jù) 24
1.2.4  爬取體育新聞信息并保存到XML文件 26
1.2.5  爬取XX百科 29
1.3  使用專業(yè)爬蟲庫Scrapy 32
1.3.1  Scrapy框架基礎 33
1.3.2  搭建Scrapy環(huán)境 34
1.3.3  創(chuàng)建個Scrapy項目 34
1.3.4  爬取某電影網(wǎng)的熱門電影信息 38
1.3.5  爬取某網(wǎng)站中的照片并保存到本地 42
1.3.6  爬取某網(wǎng)站中的主播照片并保存到本地 43
第2章  使用數(shù)據(jù)庫保存數(shù)據(jù) 45
2.1  操作SQLite 3數(shù)據(jù)庫 46
2.1.1  sqlite3模塊介紹 46
2.1.2  使用sqlite3模塊操作SQLite 3數(shù)據(jù)庫 53
2.1.3  SQLite和Python的類型 56
2.2  操作MySQL數(shù)據(jù)庫 60
2.2.1  搭建PyMySQL環(huán)境 61
2.2.2  實現(xiàn)數(shù)據(jù)庫連接 62
2.2.3  創(chuàng)建數(shù)據(jù)庫表 62
2.3  使用MariaDB數(shù)據(jù)庫 63
2.3.1  搭建MariaDB數(shù)據(jù)庫環(huán)境 63
2.3.2  在Python程序中使用MariaDB數(shù)據(jù)庫 66
2.3.3  使用MariaDB創(chuàng)建MySQL數(shù)據(jù)庫 68
2.4  使用MongoDB數(shù)據(jù)庫 71
2.4.1  搭建MongoDB環(huán)境 71
2.4.2  在Python程序中使用MongoDB數(shù)據(jù)庫 72
2.5  使用ORM(對象關系映射)操作數(shù)據(jù)庫 75
2.5.1  Python和ORM 75
2.5.2  使用SQLAlchemy 76
2.5.3  使用mongoengine 80
第3章  繪制散點圖和折線圖 83
3.1  繪制散點圖 84
3.1.1  繪制一個簡單的點 84
3.1.2  添加標題和標簽 84
3.1.3  繪制10個點 85
3.1.4  修改散點的大小 86
3.1.5  設置散點的顏色和透明度 87
3.1.6  修改散點的形狀 87
3.1.7  繪制兩組數(shù)據(jù)的散點圖 88
3.1.8  為散點圖設置圖例 89
3.1.9  自定義散點圖樣式 89
3.1.10  使用pygal繪制散點圖 91
3.2  繪制折線圖 92
3.2.1  繪制簡單的折線 92
3.2.2  設置標簽文字和線條粗細 93
3.2.3  繪制1000個點組成折線圖 94
3.2.4  繪制漸變色的折線圖 95
3.2.5  繪制多幅子圖 96
3.2.6  繪制正弦函數(shù)和余弦函數(shù)曲線 97
3.2.7  繪制3條不同的折線 100
3.2.8  繪制瀏覽器市場占有率變化折線圖 101
3.2.9  繪制XY線圖 102
3.2.10  繪制水平樣式的瀏覽器市場占有率變化折線圖 103
3.2.11  繪制疊加折線圖 104
3.2.12  繪制某網(wǎng)站用戶訪問量折線圖 105
3.3  繪制其他類型的散點圖和折線圖 106
3.3.1  繪制隨機漫步圖 106
3.3.2  大數(shù)據(jù)可視化分析某地的天氣情況 110
3.3.3  在Tkinter中使用Matplotlib繪制圖表 113
3.3.4  繪制包含點、曲線、注釋和箭頭的統(tǒng)計圖 115
3.3.5  在兩棟房子之間繪制箭頭指示符 117
3.3.6  根據(jù)坐標繪制行走路線圖 118
3.3.7  繪制方程式曲線圖 120
3.3.8  繪制星空圖 122
3.4  繪制BTC(比特幣)和ETH(以太幣)的價格走勢圖 122
3.4.1  抓取數(shù)據(jù) 122
3.4.2  繪制BTC/美元價格曲線 123
3.4.3  繪制BTC和ETH的歷史價格曲線圖 124
3.5  Flask pygal SQLite實現(xiàn)數(shù)據(jù)分析 125
3.5.1  創(chuàng)建數(shù)據(jù)庫 125
3.5.2  繪制統(tǒng)計圖 126
第4章  繪制柱狀圖 129
4.1  繪制基本的柱狀圖 130
4.1.1  繪制只有一個柱子的柱狀圖 130
4.1.2  繪制有兩個柱子的柱狀圖 130
4.1.3  設置柱狀圖的標簽 132
4.1.4  設置柱狀圖的顏色 135
4.1.5  繪制堆疊柱狀圖 136
4.1.6  繪制并列柱狀圖 137
4.1.7  繪制2002—2013年網(wǎng)頁瀏覽器使用變化柱狀圖 138
4.1.8  繪制直方圖 139
4.1.9  繪制橫向柱狀圖 140
4.1.10  繪制有圖例橫向柱狀圖 141
4.1.11  繪制分組柱狀圖 142
4.1.12  模擬電影票房柱狀圖 144
4.1.13  繪制正負柱狀圖 145
4.1.14  繪制不同商品銷量的統(tǒng)計 柱狀圖 145
4.2  可視化分析擲骰子游戲的結果次數(shù) 146
4.2.1  使用庫pygal實現(xiàn)模擬擲骰子功能 147
4.2.2  同時擲兩個骰子 148
4.3  可視化分析受歡迎的開源項目 150
4.3.1  統(tǒng)計前30名受歡迎的Python庫 150
4.3.2  使用pygal實現(xiàn)數(shù)據(jù)可視化 152
4.4  可視化統(tǒng)計顯示某網(wǎng)店各類口罩的銷量 154
4.4.1  準備CSV文件 154
4.4.2  可視化CSV文件中的數(shù)據(jù) 155
4.5  數(shù)據(jù)挖掘：可視化處理文本情感分析數(shù)據(jù) 156
4.5.1  準備CSV文件 156
4.5.2  可視化兩個劇本的情感分析數(shù)據(jù) 157
第5章  繪制餅狀圖 161
5.1  繪制基本的餅狀圖 162
5.1.1  繪制簡易的餅狀圖 162
5.1.2  修飾餅狀圖 164
5.1.3  突出顯示某個餅狀圖的部分 165
5.1.4  為餅狀圖添加圖例 166
5.1.5  使用餅狀圖可視化展示某地區(qū)程序員的工齡 166
5.1.6  繪制多個餅狀圖 167
5.1.7  繪制多系列餅狀圖 171
5.1.8  繪制圈狀餅狀圖 171
5.1.9  繪制環(huán)狀餅狀圖 172
5.1.10  繪制半餅狀圖 173
5.1.11  使用庫pandas、numpy 和matplotlib繪制餅狀圖 174
5.2  爬取熱門電影信息并制作可視化分析餅狀圖 174
5.2.1  創(chuàng)建MySQL數(shù)據(jù)庫 174
5.2.2  爬取并分析電影數(shù)據(jù) 176
5.3  機器學習實戰(zhàn)：Scikit-Learn聚類分析并可視化處理 179
5.3.1  準備餅狀圖 179
5.3.2  聚類處理 180
5.3.3  生成統(tǒng)計柱狀圖 180
5.4  可視化展示名著《西游記》中出現(xiàn)頻率多的文字 182
5.4.1  單元測試文件 182
5.4.2  GUI界面 182
5.4.3  設置所需顯示的出現(xiàn)頻率 185
第6章  繪制其他圖形 187
6.1  繪制雷達圖 188
6.1.1  創(chuàng)建極坐標圖 188
6.1.2  設置極坐標的正方向 188
6.1.3  繪制一個基本的雷達圖 189
6.1.4  繪制XX戰(zhàn)隊2020絕地求生戰(zhàn)績的雷達圖 190
6.1.5  使用雷達圖比較兩名研發(fā)部同事的能力 191
6.1.6  繪制汽車性能雷達圖 192
6.1.7  使用pygal繪制雷達圖 193
6.1.8  繪制主流編程語言的雷達圖 194
6.2  繪制熱力圖 195
6.2.1  繪制熱力圖的函數(shù) 195
6.2.2  繪制一個簡單的熱力圖 197
6.2.3  使用庫matplotlib繪制熱力圖 197
6.3  將Excel文件中的地址信息可視化為交通熱力圖 199
6.3.1  將地址轉換為JS格式 199
6.3.2  將JS地址轉換為坐標 199
6.3.3  在地圖中顯示地址的熱力信息 201
6.4  使用熱點圖可視化展示電視劇的收視率 202
6.4.1  爬蟲爬取電視劇資料 202
6.4.2  使用熱點圖實現(xiàn)可視化 204
6.5  行人重識別并繪制行走熱力圖 207
6.5.1  安裝第三方庫pytorch 208
6.5.2  編寫識別程序和繪圖程序 208
6.6  繪制詞云圖 210
6.6.1  繪制B站詞云圖 210
6.6.2  繪制知乎詞云圖 211
6.7  使用熱力圖可視化展示某城市的房價信息 212
6.7.1  準備數(shù)據(jù) 212
6.7.2  使用熱力圖可視化展示信息 213
第7章  商業(yè)應用：電影票房數(shù)據(jù)可視化 217
7.1  需求分析 218
7.2  模塊架構 218
7.3  爬蟲抓取數(shù)據(jù) 219
7.3.1  分析網(wǎng)頁 219
7.3.2  破解反爬 220
7.3.3  構造請求頭 223
7.3.4  實現(xiàn)具體爬蟲功能 224
7.3.5  將爬取的信息保存到數(shù)據(jù)庫 226
7.4  數(shù)據(jù)可視化分析 227
7.4.1  電影票房TOP10 227
7.4.2  電影評分TOP10 229
7.4.3  電影人氣TOP10 230
7.4.4  每月電影上映數(shù)量 231
7.4.5  每月電影票房 233
7.4.6  中外票房對比 234
7.4.7  名利雙收TOP10 236
7.4.8  叫座不叫好TOP10 237
7.4.9  電影類型分布 238
第8章  商業(yè)應用：房地產市場數(shù)據(jù)可視化 241
8.1  背景介紹 242
8.2  需求分析 242
8.3  模塊架構 242
8.4  系統(tǒng)設置 243
8.4.1  選擇版本 243
8.4.2  保存日志信息 244
8.4.3  設置創(chuàng)建的文件名 244
8.4.4  設置抓取城市 245
8.4.5  處理區(qū)縣信息 247
8.5  破解反爬機制 249
8.5.1  定義爬蟲基類 249
8.5.2  瀏覽器用戶代理 250
8.5.3  在線IP代理 251
8.6  爬蟲抓取信息 251
8.6.1  設置解析元素 251
8.6.2  爬取二手房信息 252
8.6.3  爬取樓盤信息 255
8.6.4  爬取小區(qū)信息 258
8.6.5  抓取租房信息 262
8.7  數(shù)據(jù)可視化 266
8.7.1  爬取數(shù)據(jù)并保存到數(shù)據(jù)庫 266
8.7.2  可視化濟南市房價貴的4個小區(qū) 270
8.7.3  可視化濟南市主要地區(qū)的房價均價 271
8.7.4  可視化濟南市主要地區(qū)的房源數(shù)量 272
8.7.5  可視化濟南市各區(qū)的房源數(shù)量所占百分比 274
第9章  商業(yè)應用：交通數(shù)據(jù)可視化 277
9.1  系統(tǒng)架構分析 278
9.2  從CSV文件讀取數(shù)據(jù) 278
9.2.1  讀取顯示CSV文件中的前3條騎行數(shù)據(jù) 278
9.2.2  讀取顯示CSV文件中指定列的數(shù)據(jù) 283
9.2.3  用統(tǒng)計圖可視化CSV文件中的數(shù)據(jù) 283
9.2.4  選擇指定數(shù)據(jù) 284
9.3  日期相關操作 290
9.3.1  統(tǒng)計每個月的騎行數(shù)據(jù) 290
9.3.2  展示某街道前5天的騎行數(shù)據(jù)信息 291
9.3.3  統(tǒng)計周一到周日每天的數(shù)據(jù) 292
9.3.4  使用matplotlib圖表可視化展示統(tǒng)計數(shù)據(jù) 293
第10章  商業(yè)應用：招聘信息  可視化 297
10.1  系統(tǒng)背景介紹 298
10.2  系統(tǒng)架構分析 298
10.3  系統(tǒng)設置 299
10.4  網(wǎng)絡爬蟲 299
10.4.1  建立和數(shù)據(jù)庫的連接 300
10.4.2  設置HTTP請求頭 User-Agent 300
10.4.3  抓取信息 301
10.4.4  將抓取的信息添加到 數(shù)據(jù)庫 302
10.4.5  處理薪資數(shù)據(jù) 303
10.4.6  清空數(shù)據(jù)庫數(shù)據(jù) 304
10.4.7  執(zhí)行爬蟲程序 304
10.5  信息分離統(tǒng)計 304
10.5.1  根據(jù)“工作經驗”分析 數(shù)據(jù) 305
10.5.2  根據(jù)“工作地區(qū)”分析 數(shù)據(jù) 306
10.5.3  根據(jù)“薪資水平”分析 數(shù)據(jù) 307
10.5.4  根據(jù)“學歷水平”分析 數(shù)據(jù) 308
10.6  數(shù)據(jù)可視化 309
10.6.1  Flask Web架構 309
10.6.2  Web主頁 311
10.6.3  數(shù)據(jù)展示頁面 312
10.6.4  數(shù)據(jù)可視化頁面 314