騰訊大數(shù)據(jù)構(gòu)建之道

定　價(jià)：￥149.00

作　者：	蔣杰劉煜宏陳鵬鄭禮雄等著
出版社：	機(jī)械工業(yè)出版社
叢編項(xiàng)：
標(biāo)　簽：	暫缺

購買這本書可以去

ISBN：	9787111710769	出版時(shí)間：	2022-07-01	包裝：	精裝
開本：	16開	頁數(shù)：	550	字?jǐn)?shù)：

內(nèi)容簡介

　　全書共13章，分兩大部分進(jìn)行全面而系統(tǒng)的介紹，第一部分從騰訊大數(shù)據(jù)平臺的發(fā)展歷程和總體架構(gòu)切入，深入剖析了各項(xiàng)技術(shù)原理，闡述了實(shí)戰(zhàn)過程中的挑戰(zhàn)和自研核心技術(shù)的設(shè)計(jì)思想，覆蓋了大數(shù)據(jù)接入、計(jì)算、存儲、分析、調(diào)度等大量技術(shù)組件。第二部分主要介紹了騰訊在數(shù)據(jù)治理、數(shù)據(jù)應(yīng)用、機(jī)器學(xué)習(xí)和平臺運(yùn)營方面的建設(shè)經(jīng)驗(yàn)，并對騰訊大數(shù)據(jù)產(chǎn)品及其在內(nèi)外部場景的實(shí)踐落地進(jìn)行了解讀，書中列舉的大量實(shí)踐案例對廣大讀者都極具參考價(jià)值和借鑒意義。

作者簡介

　　核心團(tuán)隊(duì)騰訊數(shù)據(jù)平臺部致力于為騰訊集團(tuán)旗下業(yè)務(wù)提供專業(yè)、可靠的大數(shù)據(jù)平臺及機(jī)器學(xué)習(xí)平臺服務(wù)，并依托騰訊云將大數(shù)據(jù)與AI能力對外輸出。團(tuán)隊(duì)專注于大數(shù)據(jù)、云原生、機(jī)器學(xué)習(xí)、圖計(jì)算、AI視覺和推薦技術(shù)等核心技術(shù)，并在世界級比賽屢獲獎(jiǎng)項(xiàng)。同時(shí)，團(tuán)隊(duì)全面擁抱開源并持續(xù)貢獻(xiàn)社區(qū)，自主研發(fā)的分布式機(jī)器學(xué)習(xí)平臺Angel和大數(shù)據(jù)集成平臺InLong分別從Linux和Apache頂級項(xiàng)目畢業(yè)，具有世界級的技術(shù)影響力。核心作者蔣杰，北京大學(xué)博士，騰訊公司副總裁，中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟（AIIA）副理事長，中國計(jì)算機(jī)學(xué)會（CCF）大數(shù)據(jù)專家委員會委員。2012年起在騰訊負(fù)責(zé)大數(shù)據(jù)平臺建設(shè)，主導(dǎo)研發(fā)了離線計(jì)算、實(shí)時(shí)計(jì)算、機(jī)器學(xué)習(xí)、數(shù)智融合四代騰訊大數(shù)據(jù)平臺，并推動大數(shù)據(jù)技術(shù)開源。帶領(lǐng)騰訊完成了騰訊廣告投放端整合，實(shí)現(xiàn)了騰訊全流量的一站式投放。在人工智能領(lǐng)域，打造了騰訊AI學(xué)習(xí)平臺，獲得多項(xiàng)頂級賽事獎(jiǎng)項(xiàng)。

圖書目錄

前言
第1章　打造騰訊大數(shù)據(jù)平臺1
1.1　騰訊大數(shù)據(jù)的緣起3
1.2　騰訊大數(shù)據(jù)的構(gòu)建理念5
1.3　騰訊大數(shù)據(jù)的總體架構(gòu)7
第2章　數(shù)據(jù)實(shí)時(shí)采集平臺11
2.1　接入層挑戰(zhàn)12
2.2　接入管理層TDManager14
2.3　數(shù)據(jù)采集17
2.4　數(shù)據(jù)總線23
2.5　消息中間件30
2.6　數(shù)據(jù)分揀40
2.7　接入層展望44
第3章　分布式存儲平臺46
3.1　文件存儲HDFS47
3.2　統(tǒng)一存儲Ceph62
3.3　下一代大數(shù)據(jù)存儲Ozone77
3.4　KV存儲HBase88
第4章　分布式計(jì)算平臺99
4.1　批處理MapReduce100
4.2　批處理Spark107
4.3　批處理漂移計(jì)算SuperSQL123
4.4　流處理Flink146
4.5　SQL數(shù)據(jù)倉庫Hive165
4.6　任務(wù)調(diào)度175
第5章　數(shù)據(jù)分析引擎184
5.1　關(guān)系型OLAP：騰訊實(shí)時(shí)多維分析平臺185
5.2　關(guān)系型OLAP：ClickHouse200
5.3　多維OLAP：Kylin211
5.4　多維OLAP：Druid222
第6章　資源調(diào)度平臺234
6.1　Yarn項(xiàng)目背景235
6.2　調(diào)度器性能優(yōu)化241
6.3　集群的高可用性244
6.4　多資源維度彈性管理254
第7章　數(shù)據(jù)治理體系261
7.1　元數(shù)據(jù)262
7.2　數(shù)據(jù)資產(chǎn)管理271
7.3　大數(shù)據(jù)安全283
第8章　機(jī)器學(xué)習(xí)平臺298
8.1　圖智能平臺299
8.2　Angel310
8.3　聯(lián)邦學(xué)習(xí)333
第9章　數(shù)據(jù)內(nèi)容挖掘350
9.1　概覽351
9.2　廣告內(nèi)容挖掘352
9.3　用戶畫像數(shù)據(jù)體系365
9.4　用戶畫像構(gòu)建方法366
9.5　數(shù)據(jù)內(nèi)容挖掘與推薦379
9.6　數(shù)據(jù)內(nèi)容挖掘與AI創(chuàng)作380
第10章　大數(shù)據(jù)平臺運(yùn)營384
10.1　大數(shù)據(jù)服務(wù)規(guī)劃385
10.2　大數(shù)據(jù)平臺治理393
10.3　自動化運(yùn)維體系構(gòu)建397
10.4　平臺運(yùn)營成本優(yōu)化404
10.5　大數(shù)據(jù)運(yùn)營分析與應(yīng)用體系408
第11章　大數(shù)據(jù)平臺產(chǎn)品設(shè)計(jì)410
11.1　TBDS大數(shù)據(jù)處理套件411
11.2　Oceanus實(shí)時(shí)流式數(shù)據(jù)處理平臺419
11.3　ideX數(shù)據(jù)分析與探索挖掘工具425
11.4　智能鈦TI機(jī)器學(xué)習(xí)平臺429
第12章　企業(yè)級容器云平臺GaiaStack438
12.1　GaiaStack產(chǎn)品背景和目標(biāo)439
12.2　GaiaStack架構(gòu)和技術(shù)特點(diǎn)446
12.3　GaiaStack核心技術(shù)454
第13章　大數(shù)據(jù)應(yīng)用服務(wù)503
13.1　智能客服機(jī)器人504
13.2　移動推送526
13.3　數(shù)據(jù)可視化產(chǎn)品小馬BI535
參考文獻(xiàn)549