大型語言模型實戰(zhàn)指南：應用實踐與場景落地

定　價：￥99.00

作　者：	劉聰沈盛宇李特麗杜振東
出版社：	機械工業(yè)出版社
叢編項：
標　簽：	暫缺

購買這本書可以去

當當網 (￥74.20)

ISBN：	9787111758457	出版時間：	2024-08-01	包裝：	平裝-膠訂
開本：	16開	頁數：		字數：

內容簡介

　　內容簡介這是一本系統(tǒng)梳理并深入解析大模型的基礎理論、算法實現、數據構造流程、模型微調方法、偏好對齊方法的著作，也是一本能手把手教你構建角色扮演、信息抽取、知識問答、AI Agent等各種強大的應用程序的著作。本書得到了零一萬物、面壁智能、通義千問、百姓AI、瀾舟科技等國內主流大模型團隊的負責人的高度評價和鼎力推薦。具體地，通過本書你能了解或掌握以下知識：（1）大型語言模型的基礎理論，包括常見的模型架構、領域大型語言模型以及如何評估大模型的性能。（2）大模型微調的關鍵步驟：從數據的收集、清洗到篩選，直至微調訓練的技術細節(jié)。（3）大模型人類偏好對齊方法，從基于人工反饋的強化學習框架到當前主流的對齊方法。（4）通過GPTs快速搭建個性化的專屬ChatGPT應用。（5）通過開源模型在多種場景下搭建大模型應用，包括：表格查詢、角色扮演、信息抽取、知識問答、AI Agent等。（6）掌握大模型Agent方法以及Agent常用框架。（7）基于LangChain框架構建一個AutoGPT應用。本書集大模型理論、實踐和場景落地于一體，提供大量經詳細注釋的代碼，方便讀者理解和實操?？傊还芾锸窍肷钊胙芯看竽Ｐ捅旧?，還是進行大模型相關應用搭建，本書都應該能給你頗具價值的技術啟發(fā)與思考，讓你在大模型的路上快速前行，少走彎路。

作者簡介

　　劉聰資深NLP技術專家和AI技術專家，南京云問科技首席算法架構師，MLNLP（機器學習算法與自然語言處理）社區(qū)學術委員。主攻文本向量表征、問答系統(tǒng)、AIGC等技術方向，是大模型領域的先驅者和布道者。開源了首個中文Unilm預訓練模型、中文GPT2、夸夸閑聊機器人（ChatBot）、大模型微調等項目。作為主要負責人，在多項自然語言處理比賽中獲得前三名，在中文核心期刊和SCI發(fā)表多篇論文，有多項發(fā)明專利。知乎ID“劉聰NLP”，擁有公眾號“NLP工作站”，撰寫書籍《ChatGPT原理與實戰(zhàn)》。沈盛宇資深算法工程師，南京云問網絡技術有限公司算法組負責人。擅長結合用戶業(yè)務場景，針對性設計知識圖譜、問答、檢索、多模態(tài)、AIGC等的相關算法和落地方案。在結合客戶現有產品體系，推動數據中臺和算法平臺結合，從而提升服務質量方面，有豐富實戰(zhàn)經驗。曾獲得多項國家專利，參與制定和撰寫《IDP術語標準》《人工智能-智能助理能力等級評估標準》《人工智能標準化與開源研究報告》《ChatGPT原理與實戰(zhàn)》等多項國家級人工智能標準和書籍。李特麗資深大模型應用專家，LangChain中文社區(qū)聯合創(chuàng)始人，開發(fā)Langchain等多個大模型開發(fā)框架的中文網，幫助中國開發(fā)者快速學習AI開發(fā)框架，撰寫書籍《LangChain入門指南》。杜振東資深NLP技術專家和AI技術專家，南京云問科技NLP研究院院長，國家人工智能標準委專家、AIIA 人工智能技術專家、CCF智能機器人專業(yè)組首批委員。擁有10年機器學習與文本挖掘經驗，8年中文自然語言處理實戰(zhàn)經驗，參與制定6項國家人工智能總體組標準，編寫書籍《會話式AI》《人工智能實踐錄》《ChatGPT原理與實戰(zhàn)》等。

圖書目錄

CONTENTS
目　　錄
前言

第1章　大型語言模型基礎 1
1.1　Transformer基礎 1
1.2　常用的大型語言模型 4
1.2.1　GPT系列模型 4
1.2.2　OPT模型 11
1.2.3　Bloom模型 12
1.2.4　GLM系列模型 12
1.2.5　LLaMA系列模型 14
1.2.6　Baichuan系列模型 16
1.2.7　Qwen系列模型 18
1.2.8　Skywork模型 19
1.3　領域大型語言模型 21
1.3.1　法律大型語言模型 21
1.3.2　醫(yī)療大型語言模型 24
1.3.3　金融大型語言模型 27
1.3.4　教育大型語言模型 29
1.4　大型語言模型評估 30
1.4.1　大型語言模型的評估內容 30
1.4.2　大型語言模型的評估方法 32
1.4.3　大型語言模型評估榜單 33
1.5　本章小結 37

第2章　大型語言模型的常用微調方法 38
2.1　數據構造與清洗 38
2.1.1　數據構造方法 39
2.1.2　數據清洗方法 43
2.2　分詞器構造 44
2.2.1　分詞器概述 44
2.2.2　BPE分詞器 45
2.2.3　WordPiece分詞器 52
2.2.4　Unigram分詞器 56
2.2.5　SentencePiece分詞器 58
2.2.6　詞表融合 62
2.3　大型語言模型的微調方法 63
2.3.1　前綴調優(yōu) 63
2.3.2　提示調優(yōu) 64
2.3.3　P-Tuning v2 65
2.3.4　LoRA 65
2.3.5　DyLoRA 66
2.3.6　AdaLoRA 67
2.3.7　QLoRA 67
2.3.8　QA-LoRA 68
2.3.9　LongLoRA 69
2.3.10　VeRA 69
2.3.11　S-LoRA 70
2.4　基于PEFT的LLaMA模型微調實戰(zhàn) 71
2.4.1　項目介紹 71
2.4.2　數據預處理 71
2.4.3　模型微調 72
2.4.4　模型預測 77
2.5　本章小結 78

第3章　大型語言模型的人類偏好對齊 79
3.1　基于人類反饋的強化學習框架 79
3.2　前沿偏好對齊方法 84
3.2.1　RRHF 84
3.2.2　RLAIF 85
3.2.3　DPO 87
3.2.4　APO 89
3.3　基于DPO的偏好對齊實戰(zhàn) 90
3.3.1　數據集介紹 90
3.3.2　TRL框架介紹 92
3.3.3　訓練代碼解析 93
3.4　本章小結 96

第4章　創(chuàng)建個人專屬的ChatGPT—GPTs 97
4.1　GPTs初體驗 97
4.2　GPTs的初階使用 105
4.2.1　知識庫的使用 105
4.2.2　內置插件的使用 108
4.2.3　知識庫與內置插件的結合使用 111
4.3　GPTs的高階使用 113
4.4　本章小結 122

第5章　大型語言模型SQL任務實戰(zhàn) 123
5.1　公開數據集 123
5.1.1　英文公開數據集 123
5.1.2　中文公開數據集 128
5.2　主流方法 132
5.2.1　基于規(guī)則的方法 133
5.2.2　基于深度學習的方法 133
5.2.3　基于預訓練語言模型的方法 136
5.2.4　基于大型語言模型的方法 136
5.3　Text2SQL任務實戰(zhàn) 141
5.3.1　項目介紹 141
5.3.2　數據預處理 142
5.3.3　模型微調 147
5.3.4　模型預測 149
5.4　本章小結 150

第6章　大型語言模型的角色扮演應用 151
6.1　角色扮演 151
6.1.1　大型語言模型如何進行角色扮演 153
6.1.2　角色扮演數據的構造方法 155
6.1.3　大型語言模型角色扮演的能力評估 155
6.2　角色扮演實戰(zhàn)測試 156
6.3　基于Baichuan的角色扮演模型微調 159
6.3.1　項目介紹 159
6.3.2　數據預處理 160
6.3.3　模型微調 164
6.3.4　模型預測 171
6.4　本章小結 175

第7章　大型語言模型的對話要素抽取應用 176
7.1　對話要素抽取 176
7.2　對話要素抽取實戰(zhàn)測試 177
7.2.1　基于GPT-3.5 API進行對話要素抽取 178
7.2.2　基于Qwen-1.8B模型進行對話要素抽取 180
7.3　基于Qwen的對話要素抽取模型微調 183
7.3.1　項目介紹 183
7.3.2　數據預處理 183
7.3.3　模型微調 190
7.3.4　模型預測 198
7.4　本章小結 202

第8章　Agent應用開發(fā) 203
8.1　Agent概述 203
8.2　Agent的主要模塊 205
8.3　Agent的行為決策機制 207
8.4　主流Agent 框架 211
8.4.1　LangChain框架 211
8.4.2　LlamaIndex框架 214
8.4.3　AutoGPT框架 215
8.4.4　AutoGen 框架 216
8.4.5　SuperAGI框架 219
8.5　本章小結 221

第9章　基于知識庫的大型語言模型問答應用 222
9.1　基于知識庫問答 222
9.2　向量數據庫 224
9.2.1　文本的向量表征 225
9.2.2　向量的距離度量方法 228
9.2.3　常用的向量數據庫 229
9.3　基于知識庫的大型語言模型問答實戰(zhàn) 231
9.3.1　BGE微調 231
9.3.2　基于ChatGLM3知識庫答案生成任務的微調 238
9.3.3　基于Streamlit 的知識庫答案應用搭建 245
9.4　本章小結 249

第10 章　使用LangChain 構建一個AutoGPT 250
10.1　AutoGPT 概述 250
10.2　LangChain 概述 253
10.3　使用LangChain 構建AutoGPT 254
10.3.1　構建 254
10.3.2　規(guī)劃和任務分解 255
10.3.3　輸出解析 258
10.3.4　程序的核心AutoGPT類 261
10.3.5　工具能力配置 266
10.3.6　為Agent 配置記憶 269
10.4　運行AutoGPT 274
10.5　本章小結 277