本书详细讨论大数据管理技术的各个分支及其实现技术, 包括大数据建模技术、大数据存储和索引技术、大数据查询处理技术、大数据事务处理技术和大数据总线技术, 并在此基础上, 对大数据应用系统进行了全面分析。
本书面向大数据应用的开发人员、大数据管理系统的开发人员以及大数据管理技术的研究人员, 也适用于高等院校相关专业师生学习。

第1篇 大数据管理系统基础
第1章　大数据技术简介　/ 2
　1.1　大数据技术的起源　/ 2
　1.2　大数据与云计算　/ 3
　参考文献　/ 4

第2章　大数据管理系统架构　/ 5
　2.1　大数据管理系统不能采用单一架构　/ 5
　　　2.1.1　大数据的5V特征　/ 5
　　　2.1.2　关系数据库系统架构的缺陷　/ 6
　2.2　基于Hadoop生态系统的大数据管理系统架构　/ 8
　　　2.2.1　Hadoop简介　/ 8
　　　2.2.2　HDFS分布式文件系统　/ 9
　　　2.2.3　MapReduce数据处理系统　/ 10
　2.3　面向领域的大数据管理系统　/ 12
　　　2.3.1　什么是面向领域的大数据管理系统　/ 12
　　　2.3.2　面向领域的大数据管理系统架构　/ 13
　参考文献　/ 16

第3章　大数据模型型　/ 17
　3.1　关系数据模型　/ 17
　　　3.1.1　关系数据模式　/ 17
　　　3.1.2　关系大数据存储模型　/ 17
　　　3.1.3　查询语言　/ 18
　　　3.1.4　典型系统　/ 18
　3.2　键值数据模型　/ 19
　　　3.2.1　键值数据模式　/ 19
　　　3.2.2　键值数据存储模型　/ 19
　　　3.2.3　查询语言　/ 19
　　　3.2.4　典型系统　/ 20
　3.3　列族数据模型　/ 20
　　　3.3.1　列族数据模式　/ 20
　　　3.3.2　列族数据存储模型　/ 21
　　　3.3.3　查询语言　/ 21
　　　3.3.4　典型系统　/ 21
　3.4　文档数据模型　/ 22
　　　3.4.1　文档数据模式　/ 22
　　　3.4.2　文档数据存储模型　/ 23
　　　3.4.3　查询语言　/ 23
　　　3.4.4　典型系统　/ 24
　3.5　图数据模型　/ 24
　　　3.5.1　图数据模式　/ 24
　　　3.5.2　图数据存储模型　/ 25
　　　3.5.3　查询语言　/ 25
　　　3.5.4　典型系统　/ 26
　参考文献　/ 27

第4章　大数据应用开发　/ 28
　4.1　大数据应用开发流程　/ 28
　4.2　大数据库设计　/ 31
　　　4.2.1　顶层设计　/ 31
　　　4.2.2　数据存储格式　/ 32
　　　4.2.3　数据模式设计　/ 34
　　　4.2.4　元数据管理　/ 35
　　　4.2.5　元数据存储　/ 36
　参考文献　/ 37

第2篇 大数据管理系统实现技术
第5章　大数据存储和索引技术　/ 40
　5.1　大数据存储技术　/ 40
　　　5.1.1　分布式文件系统　/ 40
　　　5.1.2　关系数据存储　/ 45
　　　5.1.3　列族大数据存储技术　/ 48
　5.2　大数据索引技术　/ 50
　　　5.2.1　系统概述　/ 50
　　　5.2.2　CG索引　/ 53
　参考文献　/ 57

第6章　大数据查询处理技术　/ 59
　6.1　大数据批处理技术　/ 59
　　　6.1.1　MapReduce技术简介　/ 59
　　　6.1.2　基于MapReduce的多表连接技术　/ 62
　6.2　大数据流处理技术　/ 83
　　　6.2.1　系统设计动机与需求　/ 84
　　　6.2.2　MillWheel编程模型　/ 85
　　　6.2.3　MillWheel编程接口　/ 86
　　　6.2.4　计算　/ 86
　　　6.2.5　键　/ 87
　　　6.2.6　流　/ 87
　　　6.2.7　持久态　/ 87
　　　6.2.8　低水位　/ 87
　　　6.2.9　定时器　/ 87
　6.3　大图数据处理技术　/ 88
　　　6.3.1　Pregel大图处理系统　/ 89
　　　6.3.2　系统实现　/ 94
　　　6.3.3　GRAPE大图处理系统　/ 97
　6.4　混合大数据处理技术　/ 104
　　　6.4.1　背景介绍　/ 104
　　　6.4.2　EPIC框架概述　/ 105
　　　6.4.3　模型抽象　/ 109
　　　6.4.4　实现方案与技术细节　/ 118
　　　6.4.5　实验　/ 122
　6.5　群组查询处理技术　/ 128
　　　6.5.1　简介　/ 128
　　　6.5.2　群组查询的非侵入式方法　/ 131
　　　6.5.3　群组查询基础　/ 133
　　　6.5.4　群组查询引擎COHANA　/ 138
　　　6.5.5　性能分析　/ 143
　　　6.5.6　总结　/ 149
　参考文献　/ 149

第7章　大数据事务处理技术　/ 151
　7.1　基于键组的事务处理技术　/ 151
　　　7.1.1　键组　/ 151
　　　7.1.2　键值分组协议　/ 152
　　　7.1.3　系统实现　/ 153
　7.2　基于时间戳的事务处理技术　/ 155
　　　7.2.1　Spanner事务处理简介　/ 155
　　　7.2.2　TrueTime应用接口　/ 155
　　　7.2.3　基于时间戳的事务处理　/

作为过去十年里最重要的信息技术，大数据技术深刻影响了人们生活的方方面面。如今，从在家购物到出门打车，从投资理财到金融风控，从健康管理到公共安全，人们无时无刻不在使用各种大数据。在大数据引领的信息时代下，如何有效管理大数据，从大数据中获取有价值的信息，提升组织者的决策水平，发现新的利润增长点，成为各界持续关注和广泛研究的重要课题。大数据管理技术已经成为互联网等行业的核心竞争力之一。
大数据管理技术涉及了大数据管理的各个方面，包括数据存储、数据查询、数据治理、数据集成、数据处理、数据分析、数据可视化。传统关系数据库的一站式服务已经无法满足大数据领域的数据处理需求。一方面，以互联网应用为代表的大数据应用产生的庞大数据量超出了传统工具的处理能力；另一方面，异构数据源和种类繁多的大数据应用对数据处理和数据查询提出了诸多灵活性需求，这些需求大多不易通过传统的SQL 查询来实现。为解决数据量大和数据处理需求多样性所带来的挑战，大数据管理技术发展出了一系列革新的数据管理技术。
本书从大数据管理技术产生的历史背景出发，对大数据管理技术的起源和发展进行了全面介绍，详细讨论大数据管理技术，包括大数据建模技术、大数据存储和索引技术、大数据查询处理技术、大数据事务处理技术和大数据总线技术等，并在此基础上，对大数据应用系统进行了全面分析。
本书采取理论与实践并重的方式介绍大数据管理技术。在理论层面，力求覆盖面广，涵盖大数据管理技术的所有重要分支。在具体技术层面，力求深入浅出，重点介绍技术产生的应用背景，以及该技术解决应用中痛点问题的基本原理。对技术实现细节感兴趣的读者，可以通过书中列出的引文，从原始文献中获取相关信息。在实践层面，本书通过三章内容，具体介绍大数据管理技术如何应用于实际的大数据应用系统。希望这样的安排，能够满足不同层面的读者对大数据管理技术的研习需求。
本书面向大数据应用的开发人员、大数据管理系统的开发人员以及大数据管理技术的研究人员，也适用于高等院校相关专业师生学习。本书要求读者具有一定的计算机基础和数据库相关知识。希望本书在帮助读者了解大数据技术发展的同时，能够为相关领域的工作者在进行大数据系统开发时提供借鉴。
本书由浙江大学计算机科学与工程系陈刚教授、江大伟研究员、高云君教授共同编著。在本书的撰写过程中，丹麦奥尔堡大学的助理教授陈璐博士给予了有益的反馈。浙江大学计算机科学与工程系研究生张哲槟、鲁鹏凯、胡文涛、蒋飞跃、卜文凤、张远亮、仲启露等同学参与本书的校对以及插图绘制等工作。在此，向上述在本书撰写过程中给予帮助的老师和同学们表示深深的感谢。
由于作者水平有限，书中难免会有疏漏之处，敬请同行和读者不吝赐教，我们当深表感谢。
编著者