本书以面向应用、面向实战为指导思想，紧扣企业技术人才培养的特点，在知识点讲解和实验中避免复杂的理论，使读者能快速上手体验、验证大数据处理的魅力，以激发读者的学习兴趣。
本书覆盖了大数据生命周期中的主要技术要点，全书共8章，第1章介绍大数据的产生和特点及思维的变革，第2章了解大数据生态系统，第3～7章按照大数据的生命周期，分别讨论大数据采集与预处理、大数据管理、大数据分析、大数据可视化、大数据应用的基本原理和方法，第8章讨论大数据安全面临的挑战。
本书可作为本科、高职院校大数据技术或数据科学课程的参考书或教材，也可供数据科学相关技术人员阅读。

目 录

前言
第1章 概论1
1.1 揭秘大数据1
1.1.1 大数据产生历史必然1
1.1.2 大数据概念和特征2
1.1.3 大数据生命周期3
1.1.4 大数据与物联网、云计算、人工智能5
1.1.5 大数据时代的八个重大变革5
1.2 Linux系统概述7
1.2.1 Linux版本7
1.2.2 Linux系统目录结构7
1.2.3 文本编辑器vi9
1.2.4 文件权限解读10
1.2.5 Linux系统常用命令11
习题112
实验报告1 Linux实验13
第2章 大数据生态系统15
2.1 认识Hadoop15
2.2 HDFS16
2.2.1 HDFS体系结构16
2.2.2 HDFS存储原理17
2.2.3 HDFS常用操作20
2.3 MapReduce21
2.3.1 MapReduce逻辑结构21
2.3.2 MapReduce操作案例23
*2.4 Zookeeper24
习题225
实验报告2 Hadoop实验27
第3章 大数据采集与预处理29
3.1 数据29
3.1.1 数据是什么29
3.1.2 数据分类29
3.1.3 度量和维度31
3.2 数据采集32
3.2.1 数据采集分类32
3.2.2 数据采集方法32
3.2.3 数据采集工具32
3.3 数据清洗34
3.3.1 数据清洗任务34
3.3.2 数据清洗过程34
3.4 数据变换35
3.4.1 规范化36
3.4.2 函数变换36
3.5 网络爬虫37
3.5.1 爬虫简介37
*3.5.2 论坛爬虫源代码分析38
习题340
*实验报告3 网络爬虫41
第4章 大数据管理42
4.1 NoSQL42
4.1.1 NoSQL概述42
4.1.2 键值数据库43
4.1.3 图数据库44
4.1.4 文档数据库45
4.1.5 列式数据库47
4.1.6 云数据库47
4.2 HBase47
4.2.1 HBase模型47
4.2.2 HBase与传统关系数据库的对比分析49
4.2.3 HBase系统架构49
4.2.4 HBase常用Shell命令51
习题452
实验报告4 HBase实验53
第5章 大数据分析54
5.1 大数据分析概述54
5.1.1 数据分析原则54
5.1.2 大数据分析特点54
5.1.3 大数据分析流程55
5.1.4 数据分析师基本技能和素质57
*5.1.5 大数据分析难点58
*5.2 业务理解59
5.2.1 什么是业务理解59
5.2.2 如何理解业务60
5.2.3 数据业务化61
5.3 数据认知63
5.3.1 数据预处理63
5.3.2 概率分析63
*5.3.3 对比分析67
*5.3.4 细分分析68
*5.3.5 交叉分析69
5.3.6 相关分析69
5.4 特征工程72
5.4.1 特征工程面临的挑战72
5.4.2 特征选择72
5.4.3 特征提取72
5.4.4 指标设计73
5.5 数据建模76
5.5.1 模型分类76
5.5.2 决策树77
5.5.3 关联分析81
5.5.4 回归分析82
5.5.5 聚类分析85
*5.5.6 k-邻近分类算法KNN86
*5.6 通用计算引擎Spark86
5.6.1 Spark简介86
5.6.2 Spark与Hadoop差异88
5.6.3 Spark适用场景88
5.6.4 Spark运行模式89
5.6.5 Spark常用术语89
5.7 大数据分析引擎Hive89
5.7.1 数据仓库概念89
5.7.2 传统数据仓库的问题90
5.7.3 Hive特征90
5.7.4 Hive系统架构90
5.7.5 Hive应用案例91
习题595
实验报告5 Hive实验101
第6章 大数据可视化102
6.1 数据可视化基本概念102
6.1.1 为什么要数据可视化102
6.1.2 什么是数据可视化103
6.1.3 数据可视化的作用104
6.1.4 数据可视化术语104
6.1.5 数据可视化三要素105
6.2 常用图形105
6.2.1 饼图（扇形图）105
6.2.2 堆积柱形图106
6.2.3 风玫瑰图106
6.2.4 柱状图107
6.2.5 直方图107
6.2.6 气泡图108
6.2.7 散点图矩阵108
6.2.8 折线图109
6.2.9 面积图109
6.2.10 相关系数图110
6.2.11 雷达图110
6.2.12 箱线图110
6.3 数据可视化设计111
6.3.1 数据可视化设计原则111
6.3.2 数据可视化=数据+设计+故事113
6.3.3 数据可视化图形选择建议113
6.4 数据可视化工具114
6.4.1 基本工具114
6.4.2 进阶工具114
6.5 基于R语言可视化基础117
6.5.1 基本绘图命令117
6.5.2 ggplot2绘图121
习题6128
*实验报告6 可视化实验129
第7章 大数据应用131
7.1 零售行业大数据131
7.1.1 沃尔玛的购物篮分析131
7.1.2 农夫山泉用海量照片提升销量132
7.2 交通大数据134
7.2.1 交通拥堵大数据分析134
7.2.2 预测起飞时间142
7.3 医疗大数据143
7.3.1 移动医疗与个人健康143
7.3.2 基因测序——精准治癌正在成为现实146
第8章 大数据安全150
8.1 大数

“大数据”已经成为近年来备受关注的热词，越来越多的人逐渐认识到，大数据将是新一轮产业革命的新动力、新引擎。相关报告预计未来5年，大数据或者数据工作者的岗位需求将激增，其中大数据分析师的缺口在140万～190万。但大数据人才培养以及数据科学研究似乎远未做好准备。据教育部公布数据显示：继2016年北京大学、中南大学、对外经贸大学首批设立大数据相关学科后，2017年中国人民大学、北京邮电大学、复旦大学等32所高校成为第二批成功申请“数据科学与大数据技术”本科新专业的高校。2018年新增“数据科学与大数据技术”专业的高校达248所。
《大数据技术导论》是“数据科学与大数据技术”专业必修的第一门专业基础课，目前市场上大多数《大数据技术导论》教材只是作为专业技术课程的综述，专业术语过多，学生学起来很困难。导论的宗旨是导知识、导方法、导思维、导意识和导职业，而不是导技术。
本书的目的是把大数据思维、原理传递给想实践大数据的读者手中，不是让读者掌握大数据深奥的数学理论和复杂的环境搭建细节。因此，本书重点是如何在已搭建好的大数据平台下，实施大数据应用方案，注意力完全集中在能有效工作的大数据技术应用上，这样可以用最少的时间、最快的速度消化和部署大数据应用项目。
本书具有以下特点：
1）让读者从实践中学习大数据思维、原理和方法。书中给出了大量的故事和实验指导案例，指导读者一步一步迈向大数据世界。
2）学习大数据不需要很深的数学作为前提。无论你是谁，无论你来自哪里，无论你的受教育背景如何，都有能力使用书中提供的方法，解决大数据应用问题。
3）每一章都提供了一定数量的习题，用于检查学习效果。
4）为了减轻读者对编程基础的依赖，本书采用R语言作为编程环境。
5）大数据生态环境Hadoop采用集群安装，实验更接近应用。
6）不仅理工科学生要掌握大数据技术，非理工科的学生也要掌握最基本的大数据技术，本书适合各类相关专业。
带*号的章节为选学内容。
大数据领域发展迅猛，对许多问题编者并未做深入研究，一些有价值的新内容也来不及收入本书。加上编者知识水平和实践经验有限，书中难免存在不足之处，敬请读者批评指正。