從零開始大模型開發(fā)與微調(diào)：基于PyTorch與ChatGLM

第1章  新時(shí)代的曙光—人工智能與大模型 1
1.1  人工智能：思維與實(shí)踐的融合 1
1.1.1  人工智能的歷史與未來(lái) 2
1.1.2  深度學(xué)習(xí)與人工智能 2
1.1.3  選擇PyTorch 2.0實(shí)戰(zhàn)框架 3
1.2  大模型開啟人工智能的新時(shí)代 4
1.2.1  大模型帶來(lái)的變革 4
1.2.2  最強(qiáng)的中文大模型—清華大學(xué)ChatGLM介紹 5
1.2.3  近在咫尺的未來(lái)—大模型的應(yīng)用前景 6
1.3  本章小結(jié) 7
第2章  PyTorch 2.0深度學(xué)習(xí)環(huán)境搭建 8
2.1  環(huán)境搭建1：安裝Python 8
2.1.1  Miniconda的下載與安裝 8
2.1.2  PyCharm的下載與安裝 11
2.1.3  Python代碼小練習(xí)：計(jì)算Softmax函數(shù) 14
2.2  環(huán)境搭建2：安裝PyTorch 2.0 15
2.2.1  Nvidia 10/20/30/40系列顯卡選擇的GPU版本 15
2.2.2  PyTorch 2.0 GPU Nvidia運(yùn)行庫(kù)的安裝 15
2.2.3  PyTorch 2.0小練習(xí)：Hello PyTorch 18
2.3  生成式模型實(shí)戰(zhàn)：古詩(shī)詞的生成 18
2.4  圖像降噪：手把手實(shí)戰(zhàn)第一個(gè)深度學(xué)習(xí)模型 19
2.4.1  MNIST數(shù)據(jù)集的準(zhǔn)備 19
2.4.2  MNIST數(shù)據(jù)集的特征和標(biāo)簽介紹 21
2.4.3  模型的準(zhǔn)備和介紹 22
2.4.4  對(duì)目標(biāo)的逼近—模型的損失函數(shù)與優(yōu)化函數(shù) 24
2.4.5  基于深度學(xué)習(xí)的模型訓(xùn)練 24
2.5  本章小結(jié) 26
第3章  從零開始學(xué)習(xí)PyTorch 2.0 27
3.1  實(shí)戰(zhàn)MNIST手寫體識(shí)別 27
3.1.1  數(shù)據(jù)圖像的獲取與標(biāo)簽的說(shuō)明 27
3.1.2  實(shí)戰(zhàn)基于PyTorch 2.0的手寫體識(shí)別模型 29
3.1.3  基于Netron庫(kù)的PyTorch 2.0模型可視化 32
3.2  自定義神經(jīng)網(wǎng)絡(luò)框架的基本設(shè)計(jì) 34
3.2.1  神經(jīng)網(wǎng)絡(luò)框架的抽象實(shí)現(xiàn) 34
3.2.2  自定義神經(jīng)網(wǎng)絡(luò)框架的具體實(shí)現(xiàn) 35
3.3  本章小結(jié) 43
第4章  一學(xué)就會(huì)的深度學(xué)習(xí)基礎(chǔ)算法詳解 44
4.1  反向傳播神經(jīng)網(wǎng)絡(luò)的前身歷史 44
4.2  反向傳播神經(jīng)網(wǎng)絡(luò)兩個(gè)基礎(chǔ)算法詳解 47
4.2.1  最小二乘法詳解 48
4.2.2  梯度下降算法 50
4.2.3  最小二乘法的梯度下降算法及其Python實(shí)現(xiàn) 52
4.3  反饋神經(jīng)網(wǎng)絡(luò)反向傳播算法介紹 58
4.3.1  深度學(xué)習(xí)基礎(chǔ) 58
4.3.2  鏈?zhǔn)角髮?dǎo)法則 59
4.3.3  反饋神經(jīng)網(wǎng)絡(luò)的原理與公式推導(dǎo) 60
4.3.4  反饋神經(jīng)網(wǎng)絡(luò)原理的激活函數(shù) 64
4.3.5  反饋神經(jīng)網(wǎng)絡(luò)原理的Python實(shí)現(xiàn) 66
4.4  本章小結(jié) 70
第5章  基于PyTorch卷積層的MNIST分類實(shí)戰(zhàn) 71
5.1  卷積運(yùn)算的基本概念 71
5.1.1  基本卷積運(yùn)算示例 72
5.1.2  PyTorch中的卷積函數(shù)實(shí)現(xiàn)詳解 73
5.1.3  池化運(yùn)算 75
5.1.4  Softmax激活函數(shù) 77
5.1.5  卷積神經(jīng)網(wǎng)絡(luò)的原理 78
5.2  實(shí)戰(zhàn)：基于卷積的MNIST手寫體分類 80
5.2.1  數(shù)據(jù)的準(zhǔn)備 80
5.2.2  模型的設(shè)計(jì) 81
5.2.3  基于卷積的MNIST分類模型 82
5.3  PyTorch的深度可分離膨脹卷積詳解 84
5.3.1  深度可分離卷積的定義 84
5.3.2  深度的定義以及不同計(jì)算層待訓(xùn)練參數(shù)的比較 86
5.3.3  膨脹卷積詳解 87
5.3.4  實(shí)戰(zhàn)：基于深度可分離膨脹卷積的MNIST手寫體識(shí)別 87
5.4  本章小結(jié) 90
第6章  可視化的PyTorch數(shù)據(jù)處理與模型展示 91
6.1  用于自定義數(shù)據(jù)集的torch.utils.data工具箱使用詳解 92
6.1.1  使用torch.utils.data. Dataset封裝自定義數(shù)據(jù)集 92
6.1.2  改變數(shù)據(jù)類型的Dataset類中的transform的使用 93
6.1.3  批量輸出數(shù)據(jù)的DataLoader類詳解 98
6.2  實(shí)戰(zhàn)：基于tensorboardX的訓(xùn)練可視化展示 100
6.2.1  可視化組件tensorboardX的簡(jiǎn)介與安裝 100
6.2.2  tensorboardX可視化組件的使用 100
6.2.3  tensorboardX對(duì)模型訓(xùn)練過(guò)程的展示 103
6.3  本章小結(jié) 105
第7章  ResNet實(shí)戰(zhàn) 106
7.1  ResNet基礎(chǔ)原理與程序設(shè)計(jì)基礎(chǔ) 106
7.1.1  ResNet誕生的背景 107
7.1.2  PyTorch 2.0中的模塊工具 109
7.1.3  ResNet殘差模塊的實(shí)現(xiàn) 110
7.1.4  ResNet網(wǎng)絡(luò)的實(shí)現(xiàn) 112
7.2  ResNet實(shí)戰(zhàn)：CIFAR-10數(shù)據(jù)集分類 114
7.2.1  CIFAR-10數(shù)據(jù)集簡(jiǎn)介 114
7.2.2  基于ResNet的CIFAR-10數(shù)據(jù)集分類 117
7.3  本章小結(jié) 118
第8章  有趣的詞嵌入 120
8.1  文本數(shù)據(jù)處理 120
8.1.1  Ag_news數(shù)據(jù)集介紹和數(shù)據(jù)清洗 120
8.1.2  停用詞的使用 123
8.1.3  詞向量訓(xùn)練模型Word2Vec使用介紹 125
8.1.4  文本主題的提?。夯赥F-IDF 128
8.1.5  文本主題的提?。夯赥extRank 132
8.2  更多的詞嵌入方法—FastText和預(yù)訓(xùn)練詞向量 134
8.2.1  FastText的原理與基礎(chǔ)算法 135
8.2.2  FastText訓(xùn)練及其與PyTorch 2.0的協(xié)同使用 136
8.2.3  使用其他預(yù)訓(xùn)練參數(shù)來(lái)生成PyTorch 2.0詞嵌入矩陣（中文） 140
8.3  針對(duì)文本的卷積神經(jīng)網(wǎng)絡(luò)模型簡(jiǎn)介—字符卷積 141
8.3.1  字符（非單詞）文本的處理 141
8.3.2  卷積神經(jīng)網(wǎng)絡(luò)文本分類模型的實(shí)現(xiàn)—Conv1d（一維卷積） 148
8.4  針對(duì)文本的卷積神經(jīng)網(wǎng)絡(luò)模型簡(jiǎn)介—詞卷積 151
8.4.1  單詞的文本處理 151
8.4.2  卷積神經(jīng)網(wǎng)絡(luò)文本分類模型的實(shí)現(xiàn)—Conv2d（二維卷積） 153
8.5  使用卷積對(duì)文本分類的補(bǔ)充內(nèi)容 155
8.5.1  漢字的文本處理 155
8.5.2  其他細(xì)節(jié) 157
8.6  本章小結(jié) 158
第9章  基于循環(huán)神經(jīng)網(wǎng)絡(luò)的中文情感分類實(shí)戰(zhàn) 160
9.1  實(shí)戰(zhàn)：循環(huán)神經(jīng)網(wǎng)絡(luò)與情感分類 160
9.2  循環(huán)神經(jīng)網(wǎng)絡(luò)理論講解 165
9.2.1  什么是GRU 165
9.2.2  單向不行，那就雙向 167
9.3  本章小結(jié) 168
第10章  從零開始學(xué)習(xí)自然語(yǔ)言處理的編碼器 169
10.1  編碼器的核心—注意力模型 170
10.1.1  輸入層—初始詞向量層和位置編碼器層 170
10.1.2  自注意力層 172
10.1.3  ticks和Layer Normalization 177
10.1.4  多頭注意力 178
10.2  編碼器的實(shí)現(xiàn) 180
10.2.1  前饋層的實(shí)現(xiàn) 181
10.2.2  編碼器的實(shí)現(xiàn) 182
10.3  實(shí)戰(zhàn)編碼器：拼音漢字轉(zhuǎn)化模型 184
10.3.1  漢字拼音數(shù)據(jù)集處理 185
10.3.2  漢字拼音轉(zhuǎn)化模型的確定 187
10.3.3  模型訓(xùn)練部分的編寫 190
10.4  本章小結(jié) 191
第11章  站在巨人肩膀上的預(yù)訓(xùn)練模型BERT 193
11.1  預(yù)訓(xùn)練模型BERT 193
11.1.1  BERT的基本架構(gòu)與應(yīng)用 194
11.1.2  BERT預(yù)訓(xùn)練任務(wù)與微調(diào) 195
11.2  實(shí)戰(zhàn)BERT：中文文本分類 198
11.2.1  使用Hugging Face獲取BERT預(yù)訓(xùn)練模型 198
11.2.2  BERT實(shí)戰(zhàn)文本分類 200
11.3  更多的預(yù)訓(xùn)練模型 203
11.4  本章小結(jié) 205
第12章  從1開始自然語(yǔ)言處理的解碼器 206
12.1  解碼器的核心—注意力模型 206
12.1.1  解碼器的輸入和交互注意力層的掩碼 207
12.1.2  為什么通過(guò)掩碼操作能夠減少干擾 212
12.1.3  解碼器的輸出（移位訓(xùn)練方法） 213
12.1.4  解碼器的實(shí)現(xiàn) 214
12.2  解碼器實(shí)戰(zhàn)—拼音漢字翻譯模型 215
12.2.1  數(shù)據(jù)集的獲取與處理 216
12.2.2  翻譯模型 218
12.2.3  拼音漢字模型的訓(xùn)練 229
12.2.4  拼音漢字模型的使用 230
12.3  本章小結(jié) 231
第13章  基于PyTorch 2.0的強(qiáng)化學(xué)習(xí)實(shí)戰(zhàn) 232
13.1  基于強(qiáng)化學(xué)習(xí)的火箭回收實(shí)戰(zhàn) 232
13.1.1  火箭回收基本運(yùn)行環(huán)境介紹 233
13.1.2  火箭回收參數(shù)介紹 234
13.1.3  基于強(qiáng)化學(xué)習(xí)的火箭回收實(shí)戰(zhàn) 234
13.1.4  強(qiáng)化學(xué)習(xí)的基本內(nèi)容 239
13.2  強(qiáng)化學(xué)習(xí)的基本算法—PPO算法 243
13.2.1  PPO算法簡(jiǎn)介 243
13.2.2  函數(shù)使用說(shuō)明 244
13.2.3  一學(xué)就會(huì)的TD-error理論介紹 245
13.2.4  基于TD-error的結(jié)果修正 247
13.2.5  對(duì)于獎(jiǎng)勵(lì)的倒序構(gòu)成的說(shuō)明 248
13.3  本章小結(jié) 249
第14章  ChatGPT前身—只具有解碼器的GPT-2模型 250
14.1  GPT-2模型簡(jiǎn)介 250
14.1.1  GPT-2模型的輸入和輸出結(jié)構(gòu)—自回歸性 251
14.1.2  GPT-2模型的PyTorch實(shí)現(xiàn) 252
14.1.3  GPT-2模型輸入輸出格式的實(shí)現(xiàn) 257
14.2  Hugging Face GPT-2模型源碼模型詳解 259
14.2.1  GPT2LMHeadModel類和GPT2Model類詳解 259
14.2.2  Block類詳解 270
14.2.3  Attention類詳解 274
14.2.4  MLP類詳解 281
14.3  Hugging Face GPT-2模型的使用與自定義微調(diào) 282
14.3.1  模型的使用與自定義數(shù)據(jù)集的微調(diào) 282
14.3.2  基于預(yù)訓(xùn)練模型的評(píng)論描述微調(diào) 285
14.4  自定義模型的輸出 286
14.4.1  GPT輸出的結(jié)構(gòu) 286
14.4.2  創(chuàng)造性參數(shù)temperature與采樣個(gè)數(shù)topK 288
14.5  本章小結(jié) 290
第15章  實(shí)戰(zhàn)訓(xùn)練自己的ChatGPT 291
15.1  什么是ChatGPT 291
15.2  RLHF模型簡(jiǎn)介 293
15.2.1  RLHF技術(shù)分解 293
15.2.2  RLHF中的具體實(shí)現(xiàn)—PPO算法 296
15.3  基于RLHF實(shí)戰(zhàn)的ChatGPT正向評(píng)論的生成 297
15.3.1  RLHF模型進(jìn)化的總體講解 297
15.3.2  ChatGPT評(píng)分模塊簡(jiǎn)介 298
15.3.3  帶有評(píng)分函數(shù)的ChatGPT模型的構(gòu)建 300
15.3.4  RLHF中的PPO算法—KL散度 301
15.3.5  RLHF中的PPO算法—損失函數(shù) 303
15.4  本章小結(jié) 304
第16章  開源大模型ChatGLM使用詳解 305
16.1  為什么要使用大模型 305
16.1.1  大模型與普通模型的區(qū)別 306
16.1.2  一個(gè)神奇的現(xiàn)象—大模型的涌現(xiàn)能力 307
16.2  ChatGLM使用詳解 307
16.2.1  ChatGLM簡(jiǎn)介及應(yīng)用前景 308
16.2.2  下載ChatGLM 309
16.2.3  ChatGLM的使用與Prompt介紹 310
16.3  本章小結(jié) 311
第17章  開源大模型ChatGLM 高級(jí)定制化應(yīng)用實(shí)戰(zhàn) 312
17.1  醫(yī)療問(wèn)答GLMQABot搭建實(shí)戰(zhàn)—基于ChatGLM搭建專業(yè)客服問(wèn)答機(jī)器人 312
17.1.1  基于ChatGLM搭建專業(yè)領(lǐng)域問(wèn)答機(jī)器人的思路 313
17.1.2  基于真實(shí)醫(yī)療問(wèn)答的數(shù)據(jù)準(zhǔn)備 314
17.1.3  文本相關(guān)性（相似度）的比較算法 315
17.1.4  提示語(yǔ)句Prompt的構(gòu)建 316
17.1.5  基于單個(gè)文檔的GLMQABot的搭建 316
17.2  金融信息抽取實(shí)戰(zhàn)—基于知識(shí)鏈的ChatGLM本地化知識(shí)庫(kù)檢索與智能答案生成 318
17.2.1  基于ChatGLM搭建智能答案生成機(jī)器人的思路 319
17.2.2  獲取專業(yè)（范疇內(nèi)）文檔與編碼存儲(chǔ) 320
17.2.3  查詢文本編碼的相關(guān)性比較與排序 322
17.2.4  基于知識(shí)鏈的ChatGLM本地化知識(shí)庫(kù)檢索與智能答案生成 325
17.3  基于ChatGLM的一些補(bǔ)充內(nèi)容 327
17.3.1  語(yǔ)言的藝術(shù)—Prompt的前世今生 328
17.3.2  清華大學(xué)推薦的ChatGLM微調(diào)方法 329
17.3.2  一種新的基于ChatGLM的文本檢索方案 330
17.4  本章小結(jié) 331
第18章  對(duì)訓(xùn)練成本上億美元的ChatGLM進(jìn)行高級(jí)微調(diào) 332
18.1  ChatGLM模型的本地化處理 332
18.1.1  下載ChatGLM源碼與合并存檔 332
18.1.2  修正自定義的本地化模型 335
18.1.3  構(gòu)建GLM模型的輸入輸出示例 337
18.2  高級(jí)微調(diào)方法1—基于加速庫(kù)Accelerator的全量數(shù)據(jù)微調(diào) 339
18.2.1  數(shù)據(jù)的準(zhǔn)備—將文本內(nèi)容轉(zhuǎn)化成三元組的知識(shí)圖譜 339
18.2.2  加速的秘密—Accelerate模型加速工具詳解 342
18.2.3  更快的速度—使用INT8（INT4）量化模型加速訓(xùn)練 345
18.3  高級(jí)微調(diào)方法2—基于LoRA的模型微調(diào) 348
18.3.1  對(duì)ChatGLM進(jìn)行微調(diào)的方法—LoRA 348
18.3.2  自定義LoRA的使用方法 349
18.3.3  基于自定義LoRA的模型訓(xùn)練 350
18.3.4  基于自定義LoRA的模型推斷 352
18.3.5  基于基本原理的LoRA實(shí)現(xiàn) 355
18.4  高級(jí)微調(diào)方法3—基于Huggingface的PEFT模型微調(diào) 357
18.4.1  PEFT技術(shù)詳解 358
18.4.2  PEFT的使用與參數(shù)設(shè)計(jì) 359
18.4.3  Huggingface專用PEFT的使用 360
18.5  本章小結(jié) 362