企業(yè)級數(shù)據(jù)架構(gòu)：核心要素、架構(gòu)模型、數(shù)據(jù)管理與平臺搭建

定　價：￥99.00

作　者：	李楊
出版社：	機械工業(yè)出版社
叢編項：
標　簽：	暫缺

購買這本書可以去

當當網(wǎng) (￥74.20)

ISBN：	9787111746829	出版時間：	2024-03-01	包裝：	平裝-膠訂
開本：	16開	頁數(shù)：		字數(shù)：

內(nèi)容簡介

　　這是一本能指導企業(yè)在數(shù)字化轉(zhuǎn)型和數(shù)據(jù)要素時代通過數(shù)據(jù)架構(gòu)用好數(shù)據(jù)、管好數(shù)據(jù)、充分發(fā)揮數(shù)據(jù)價值的著作。從0到1講解了數(shù)據(jù)架構(gòu)的技術(shù)棧、方法論與落地實踐，揭示了數(shù)據(jù)架構(gòu)的底層邏輯，總結(jié)了數(shù)據(jù)架構(gòu)的核心要素和架構(gòu)模型，闡述了數(shù)據(jù)治理、數(shù)據(jù)資產(chǎn)管理以及數(shù)據(jù)平臺的搭建等全方位的內(nèi)容，是作者10余年數(shù)據(jù)工作經(jīng)驗的總結(jié)。本書主要分為五部分：第一部分：架構(gòu)基礎，對企業(yè)架構(gòu)的組成要素以及流行的企業(yè)架構(gòu)框架進行了總覽性質(zhì)的介紹，數(shù)據(jù)架構(gòu)是重點；第二部分：數(shù)據(jù)架構(gòu)基礎，詳細講解了數(shù)據(jù)架構(gòu)的組成、數(shù)據(jù)存儲、數(shù)據(jù)調(diào)度與消息傳輸、Lambda架構(gòu)和Kappa架構(gòu)以及數(shù)據(jù)架構(gòu)的輔助資源組件；第三部分：數(shù)據(jù)架構(gòu)模型，首先介紹了企業(yè)內(nèi)部數(shù)據(jù)區(qū)的劃分與內(nèi)部數(shù)據(jù)的流向，然后講解了數(shù)據(jù)模型的建模策略、步驟和方法，以及維度建模的詳細內(nèi)容；第四部分：數(shù)據(jù)管理，講解了數(shù)據(jù)架構(gòu)的核心內(nèi)容，包括元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)標準管理、數(shù)據(jù)治理和數(shù)據(jù)資產(chǎn)管理等的方法和實踐；第五部分：數(shù)據(jù)架構(gòu)實踐，通過離線計算和實時計算兩大場景中的綜合案例，對前面的內(nèi)容進行了融合，手把手教讀者進行數(shù)據(jù)架構(gòu)實踐。本書內(nèi)容通俗易懂，注重實踐，不僅濃縮了作者在日常工作中的思考、解決問題的思路，還融入了該領域優(yōu)秀同行的經(jīng)驗和實踐，相信對讀者會有一些幫助。

作者簡介

　　李楊資深數(shù)據(jù)架構(gòu)師，在數(shù)據(jù)相關(guān)領域有10年以上工作經(jīng)驗。頭部保險資管公司科技平臺交易系統(tǒng)團隊開發(fā)組負責人，負責多個應用以及數(shù)據(jù)平臺的建設、優(yōu)化以及遷移工作。曾擔任某數(shù)據(jù)公司技術(shù)合伙人，負責多個金融機構(gòu)的數(shù)據(jù)倉庫或數(shù)據(jù)平臺相關(guān)的工作。在數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)治理等領域有著非常深厚的積累，熟悉不同行業(yè)的數(shù)字化轉(zhuǎn)型。此外，他還是一名經(jīng)驗豐富的應用工程師，對大數(shù)據(jù)、數(shù)據(jù)庫以及主流的技術(shù)棧有著非常深入的了解。2022年被集團評為“優(yōu)秀架構(gòu)師”，積極參與行業(yè)內(nèi)部的相關(guān)課題研究，是《保險問道之保險資管數(shù)字化探索》一書的執(zhí)筆人之一，是中資協(xié)《金融科技賦能保險資管風險管控的研究》課題核心組成員之一。

圖書目錄

序
自序
前言
第一部分　架構(gòu)基礎
第1章　企業(yè)架構(gòu)概述 3
1.1　企業(yè)架構(gòu) 4
1.2　Zachman框架 4
1.2.1　Zachman框架的維度 4
1.2.2　Zachman框架的特點 5
1.2.3　Zachman框架的使用 6
1.3　TOGAF 6
1.3.1　TOGAF完善架構(gòu)過程 7
1.3.2　框架核心：ADM 8
1.4　業(yè)務架構(gòu) 9
1.4.1　業(yè)務架構(gòu)的價值 9
1.4.2　業(yè)務架構(gòu)的關(guān)鍵點 10
1.5　數(shù)據(jù)架構(gòu) 11
1.5.1　數(shù)據(jù)架構(gòu)設計 12
1.5.2　數(shù)據(jù)架構(gòu)核心組成 12
1.6　總結(jié) 13
第二部分數(shù)據(jù)架構(gòu)基礎
第2章　數(shù)據(jù)架構(gòu)構(gòu)成 18
2.1　數(shù)據(jù)模型 18
2.2　元數(shù)據(jù) 19
2.3　數(shù)據(jù)質(zhì)量 20
2.4　數(shù)據(jù)標準 21
2.5　數(shù)據(jù)治理 21
2.6　數(shù)據(jù)資產(chǎn) 22
2.6.1　數(shù)據(jù)管理 22
2.6.2　數(shù)據(jù)倉庫 22
2.6.3　數(shù)據(jù)湖 23
2.6.4　數(shù)據(jù)資產(chǎn)內(nèi)涵 23
2.7　數(shù)據(jù)生命周期 24
2.7.1　數(shù)據(jù)創(chuàng)建 25
2.7.2　數(shù)據(jù)使用 25
2.7.3　數(shù)據(jù)歸檔 26
2.7.4　數(shù)據(jù)銷毀 26
2.8　數(shù)據(jù)分布 27
2.8.1　數(shù)據(jù)存儲 27
2.8.2　數(shù)據(jù)訪問 27
2.9　常見數(shù)據(jù)架構(gòu)技術(shù)選型 28
2.9.1　Lambda 28
2.9.2　Kappa 29
2.10　數(shù)據(jù)調(diào)度 30
2.11　總結(jié) 30
第3章　數(shù)據(jù)存儲 31
3.1　數(shù)據(jù)存儲基礎 32
3.1.1　計算機組成基礎結(jié)構(gòu) 32
3.1.2　數(shù)據(jù)存儲核心概念 35
3.1.3　OLTP與OLAP場景 37
3.2　集中式數(shù)據(jù)庫 38
3.2.1　常見關(guān)系型數(shù)據(jù)庫 38
3.2.2　分庫分表 39
3.3　分布式數(shù)據(jù)庫 40
3.3.1　大規(guī)模并行處理技術(shù) 40
3.3.2　分布式事務 41
3.4　大數(shù)據(jù)存儲 43
3.4.1　HDFS 43
3.4.2　Yarn 44
3.4.3　Hive 44
3.4.4　HBase 45
3.4.5　Spark及Spark Streaming 46
3.5　特定領域存儲 46
3.5.1　ClickHouse 46
3.5.2　Elasticsearch 48
3.6　實時計算階段 49
3.7　總結(jié) 49
第4章　數(shù)據(jù)調(diào)度與消息傳輸 50
4.1　通用技術(shù)選型 50
4.2　Airflow調(diào)度平臺 52
4.2.1　Airflow基礎概念 52
4.2.2　Airflow架構(gòu) 54
4.2.3　Airflow與其他調(diào)度平臺對比 55
4.3　DataX數(shù)據(jù)同步工具 56
4.3.1　DataX基礎概念 56
4.3.2　DataX數(shù)據(jù)同步 57
4.3.3　DataX優(yōu)化 59
4.3.4　DataX與其他數(shù)據(jù)同步工具對比 60
4.4　Kafka消息中間件 62
4.4.1　Kafka基礎概念 62
4.4.2　Kafka架構(gòu)概述 63
4.4.3　Kafka高性能原理 63
4.4.4　Kafka與其他中間件對比 67
4.5　總結(jié) 68
第5章　Lambda架構(gòu)與Kappa架構(gòu) 69
5.1　架構(gòu)演進 69
5.1.1　傳統(tǒng)數(shù)據(jù)倉庫架構(gòu) 70
5.1.2　傳統(tǒng)大數(shù)據(jù)架構(gòu) 71
5.1.3　流式計算架構(gòu) 72
5.1.4　Lambda架構(gòu) 73
5.1.5　Kappa架構(gòu) 74
5.2　Lambda架構(gòu)詳解 75
5.2.1　架構(gòu)解析 76
5.2.2　核心組件 78
5.2.3　數(shù)據(jù)流向 81
5.3　Kappa架構(gòu)詳解 82
5.3.1　架構(gòu)解析 82
5.3.2　核心組件 85
5.3.3　數(shù)據(jù)流向 87
5.4　Lambda與Kappa對比 87
5.5　流批一體化 89
5.6　總結(jié) 90
第6章　輔助類應用體系介紹 91
6.1　資源管理 91
6.1.1　開源堡壘機JumpServer 92
6.1.2　部署與負載均衡 92
6.1.3　核心概念 94
6.1.4　最佳實踐 95
6.2　資源及組件監(jiān)控 95
6.2.1　開源監(jiān)控系統(tǒng)Prometheus 96
6.2.2　可視化系統(tǒng)Grafana 98
6.2.3　告警模塊AlertManager 100
6.2.4　小結(jié) 101
6.3　應用監(jiān)控 102
6.3.1　應用鏈路監(jiān)控Pinpoint 102
6.3.2　原理與組件介紹 103
6.3.3　最佳實踐 104
6.3.4　小結(jié) 106
6.4　日志監(jiān)控 107
6.4.1　ELK 107
6.4.2　直連式日志收集架構(gòu) 107
6.4.3　高并發(fā)日志收集架構(gòu) 108
6.5　總結(jié) 109
第三部分數(shù)據(jù)架構(gòu)模型實踐
第7章　企業(yè)數(shù)據(jù)區(qū)與數(shù)據(jù)流向 113
7.1　數(shù)據(jù)區(qū)概述 113
7.2　數(shù)據(jù)區(qū)詳解 115
7.2.1　操作型數(shù)據(jù)區(qū) 115
7.2.2　集成型數(shù)據(jù)區(qū) 116
7.2.3　分析型數(shù)據(jù)區(qū) 117
7.2.4　歷史數(shù)據(jù)區(qū) 118
7.3　企業(yè)數(shù)據(jù)流向 119
7.3.1　操作型數(shù)據(jù)區(qū)數(shù)據(jù)流向 119
7.3.2　集成型數(shù)據(jù)區(qū)數(shù)據(jù)流向 120
7.3.3　分析型數(shù)據(jù)區(qū)數(shù)據(jù)流向 121
7.3.4　歷史數(shù)據(jù)區(qū)數(shù)據(jù)流向 122
7.4　企業(yè)數(shù)據(jù)分層 123
7.5　企業(yè)集成型數(shù)據(jù)區(qū)層級 124
7.5.1　數(shù)據(jù)緩沖層 125
7.5.2　數(shù)據(jù)貼源層 126
7.5.3　標準模型層 127
7.5.4　整合模型層 127
7.5.5　數(shù)據(jù)集市層 128
7.6　互聯(lián)網(wǎng)公司的集成型數(shù)據(jù)區(qū)分層特點 129
7.7　總結(jié) 130
第8章　數(shù)據(jù)模型架構(gòu)詳解 131
8.1　為什么要建模 132
8.2　建模策略 134
8.2.1　數(shù)據(jù)緩沖層建模策略 135
8.2.2　數(shù)據(jù)貼源層建模策略 135
8.2.3　標準模型層建模策略 136