近年来人工智能特别是深度学习在计算机视觉、自然语言处理、语音识别等领域获得了巨大成功，无线通信领域的研究者们期望将其应用于系统的各个层面，进而发展出智能通信，大幅度提升无线通信系统效能。智能通信也因此被认为是5G之后无线通信发展主流方向之一，其研究尚处于探索阶段。《智能通信：基于深度学习的物理层设计（第二版）》结合国内外学术界在该领域的*新研究进展，着眼于智能通信中基于深度学习的物理层设计，对相关理论基础、通信模块设计，以及算法实现等进行详尽的介绍与分析。内容主要包括：神经网络的基础及进阶技巧、典型神经网络、基于深度学习的通信物理层基本模块设计以及智能通信技术的原型验证方法等。为方便读者学习，相关章节均提供了开源代码(扫描二维码下载)，以帮助读者快速理解《智能通信：基于深度学习的物理层设计（第二版）》涉及的原理、概念，以及原型验证方法和实例。

目录
第二版前言
前言
第1章 绪论 1
1.1 智能通信简介 1
1.2 人工智能技术简介 3
1.2.1 人工神经网络 3
1.2.2 深度神经网络 4
1.2.3 卷积神经网络 5
1.2.4 循环神经网络 5
1.2.5 生成对抗神经网络 6
1.2.6 深度强化学**经网络 7
1.3 智能通信当前研究进展 8
1.3.1 信道估计 8
1.3.2 信号检测 8
1.3.3 CSI 反馈与重建 9
1.3.4 信道译码 10
1.3.5 端到端无线通信系统 12
1.4 总结与展望 13
1.5 本章小结 14
扩展阅读：深度强化学习 14
参考文献 15
第2章 神经网络的基础 17
2.1 机器学习概述 17
2.2 监督学习 19
2.3 分类问题 20
2.4 线性回归 23
2.5 逻辑回归 27
2.6 逻辑回归的代价函数 30
2.7 梯度下降法 32
2.8 模型验证 35
2.9 基于TensorFlow的二分类范例 36
2.10 本章小结 42
扩展阅读：梯度下降法 43
参考文献 43
第3章 神经网络的进阶技巧 44
3.1 多分类算法 44
3.2 激活函数 48
3.2.1 线性激活函数 49
3.2.2 Sigmoid函数 49
3.2.3 tanh函数 50
3.2.4 ReLu函数 51
3.3 神经网络的训练准备 53
3.3.1 输入归一化 53
3.3.2 权重初始化 55
3.4 正则化 57
3.4.1 偏差和方差 57
3.4.2 Dropout算法 58
3.4.3 补偿过拟合的其他方式 60
3.5 批量归一化 62
3.5.1 归一化网络的激活函数 62
3.5.2 BN与神经网络的拟合 63
3.6 优化算法 64
3.6.1 Mini-Batch梯度下降法 64
3.6.2 指数加权移动平均 65
3.6.3 动量梯度下降法 66
3.6.4 RMS prop 67
3.6.5 Adam优化算法 67
3.6.6 学习率衰减 68
3.7 基于TensorFlow的两层神经网络实例 69
3.8 本章小结 73
扩展阅读：激活函数 74
参考文献 74
第4章 卷积神经网络 75
4.1 什么是卷积神经网络 75
4.1.1 计算机视觉 75
4.1.2 卷积神经网络 76
4.2 卷积神经网络基本原理 77
4.2.1 卷积神经网络的结构 77
4.2.2 卷积神经网络的层级组成及其原理 77
4.2.3 卷积神经网络的特点 83
4.3 卷积神经网络的**网络 83
4.3.1 **的卷积神经网络 83
4.3.2 AlexNet概述 83
4.3.3 VGGNet概述 84
4.3.4 ResNet概述 86
4.4 多层卷积神经网络实例 88
4.5 本章小结 93
扩展阅读：残差网络 93
参考文献 93
第5章 循环神经网络 94
5.1 序列模型 94
5.1.1 序列模型简介 94
5.1.2 序列模型的符号定义 95
5.2 循环神经网络模型 96
5.2.1 RNN的前向传播 96
5.2.2 RNN的反向传播 98
5.2.3 不同类型的RNN 100
5.2.4 长期依赖问题 101
5.3 长短时记忆 102
5.3.1 长短时记忆网络 102
5.3.2 LSTM的变形与演进 105
5.3.3 LSTM实例应用 108
5.4 本章小结 110
扩展阅读：长短时记忆 110
参考文献 111
第6章 正交调制解调器 112
6.1 基于深度学习的QAM解调器设计 112
6.1.1 基本原理 112
6.1.2 SNR vs BER 仿真结果 114
6.2 基于深度学习的QAM解调器设计 119
6.2.1 QAM解调的评价标准 120
6.2.2 基于深度学习的QAM 解调 120
6.3 本章小结 129
扩展阅读：正交幅度调制 130
第7章 人工智能辅助的OFDM接收机 131
7.1 FC-DNN OFDM接收机 131
7.1.1 系统结构 131
7.1.2 模型训练 133
7.1.3 仿真代码 134
7.2 ComNet OFDM接收机 143
7.2.1 整体架构 143
7.2.2 信道估计子网 144
7.2.3 信号检测子网 146
7.2.4 仿真代码 147
7.3 仿真性能分析 150
7.3.1 仿真参数 150
7.3.2 整体ComNet OFDM接收机的仿真性能 151
7.4 本章小结 153
扩展阅读：梳状导频和块状导频 154
参考文献 154
第8章 CSI反馈及信道重建——CsiNet 155
8.1 CSI反馈背景知识 155
8.2 基本原理 156
8.2.1 系统模型 156
8.2.2 压缩感知 158
8.2.3 自编码器 158
8.3 基于深度学习的CSI反馈 159
8.3.1 基于深度学习的反馈机制 159
8.3.2 信道状态信息反馈网络(CsiNet)结构 160
8.4 实验结果与分析 162
8.4.1 实验数据生成 162
8.4.2 实验程序 163
8.4.3 实验仿真结果 169
8.5 CsiNet-LSTM* 172
8.6 本章小结 180
扩展阅读：自编码器 180
参考文献 180
第9章 滑动窗序列检测方法 182
9.1 序列检测 182
9.1.1 序列检测的基本原理 182
9.1.2 *大似然序列检测准则 184
9.1.3 维特比算法 184
9.2 基于深度学习的序列检测器实现 189
9.2.1 问题描述 189
9.2.2 深度学习实现 190
9.2.3 仿真分析 194
9.2.4 结果分析 201
9.3 本章小结 202
扩展阅读：循环神经网络 202
参考文献 203
第10章 基于深度学习的Turbo码译码 204
10.1 Turbo码起源 204
10.2 Turbo码编码原理 205
10.2.1 PCCC型编码结构 205
10.2.2 SCCC型编码结构 206
10.2.3 HCCC型编码结构 207
10.3 Turbo码传统译码算法 207
10.3.1 Turbo码译码结构 208
10.3.2 MAP算法 210
10.3.3 Log-MAP算法 213
10.3.4 Max-Log-MAP算法 214
10.4 基于深度学习的信道译码 214
10.4.1 优化传统“黑箱”神经网络 214
10.4.2 参数化传统译码算法 215
10.5 基于深度学习的Turbo码译码 220
10.5.1 模型的构建 220
10.5.2 性能仿真 230
10.5.3 仿真程序 232
10.6 本章小结 254
扩展阅读：Turbo码 254
参考文献 255
第11章 智能通信原型验证系统实例 256
11.1 基于人工智能辅助的OFDM接收机原型验证系统 256
11.1.1 系统硬件架构及系统流程 256
11.1.2 人工智能辅助的OFDM接收机空口测试 259
11.2 基于深度学习的信道译码原型验证系统实例 263
11.3 本章小结 266
扩展阅读：基于人工智能辅助的OFDM接收机 267

第1章绪论
　　从20世纪80年代至21世纪20年代，移动通信已经完成从**代移动通信系统（1st generation mobile communication systems，1G）至第五代移动通信系统（5G）的演进。随着5G的成功商用，为了满足未来人类对网络覆盖广度和数据速率等需求，下一代移动通信已在全球范围内展开前瞻性研究。近年来，人工智能（artificial intelligence，AI），特别是深度学习（deep learning，DL）在计算机视觉、自然语言处理、语音识别等领域获得了巨大成功，智能通信被认为是5G之后无线通信发展主流方向之一。前期的研究成果集中于应用层和网络层。目前，该方向的研究正在向介质访问控制层（medium access control，MAC）层和物理层推进，特别是在物理层已经出现无线传输与DL等结合的趋势，然而各项研究还处于初步探索阶段。基于DL的智能无线通信主要包括数据驱动DL和模型驱动DL两种方案。从*新研究进展可以看出，数据模型驱动DL对数据的依赖性小，将成为*具潜力的发展方向之一。
　　本章内容共分为5部分。**部分介绍智能通信简介；第二部分为人工智能技术简介；第三部分详细介绍智能通信当前研究进展；第四部分为总结与展望；第五部分为本章小结。
　　1.1智能通信简介
　　自2010年以来，5G技术备受学术界和工业界的关注，其主要特点为高度准、高容量、密集网络、低时延。相比于已经商用化的4G系统，5G无线传输速率提升10～100倍，峰值传输速率达到10Gbit/s、端到端时延降至毫秒级，连接设备密度增加10～100倍，流量密度提高1000倍，频谱效率提升5～10倍，能够在500km/h的速度下确保用户体验。与面向人与人通信的2G/3G/4G不同，5G在设计之初，就考虑了人与人、人与物体、物与物的互联。国际电信联盟发布的5G八大指标包括：基站峰值速率、用户体验速率、频谱效率、流量空间容量、移动性能、网络能效、连接密度和时延。
　　迄今为止，5G主要从3个维度实现上述指标，即：空口增强、更宽的频谱以及网络密集化。这3个维度*具代表性的使能技术分别对应于大规模多输入多输出（multiple input multiple output，MIMO）、毫米波通信以及超密集组网。大规模MIMO因具备提升系统容量、频谱效率、用户体验速率、增强全维覆盖和节约能耗等诸多优点，被认为是5G*具潜力的核心技术。然而，大规模MIMO的发展和应用也面临诸多问题，如对于不具有上下行互易性的频分双工（frequency division duplex，FDD）系统，如何有效地实现基于基站获取信道状态信息。毫米波指的是波长在毫米数量级的电磁波，其频率大约在30～300GHz之间。现有的无线通信系统所用频段大多集中在300MHz～3GHz之间，对毫米波频段的利用率较低。毫米波技术通过增加频谱带宽有效提高网络传输速率，但会受传播路径损耗、建筑物穿透损耗和雨衰等因素的影响，在实际应用中面临着巨大挑战。另外，毫米波通信可与大规模MIMO有机融合，通过大规模MIMO波束成形带来的阵列增益可以弥补毫米波穿透力差的劣势。超密集组网（ultra dense network，UDN）通过更加“密集化”的无线网络部署，将站间距离缩短为几十米甚至十几米，使得网站密度大大增加，从而提高频谱复用率、单位面积的网络容量以及用户体验速率。综合来看，大规模MIMO利用超高频维充分挖掘利用空间资源，毫米波通信利用超大带宽提升网络吞吐量，超密集组网利用超密基站提高频谱利用率，由此产生了海量的无线大数据，为未来无线通信系统利用人工智能手段提供了数据源。
　　另一方面，近年来人工智能特别是深度学习在计算机视觉、自然语言处理、语音识别等领域获得了巨大成功，无线通信领域的研究者们期望将其应用于系统的各个层面，进而产生智能通信系统，实现真正意义上的万物互联，满足人们对数据传输速率日新月异的需求。因此，智能通信被认为是5G之后无线通信发展主流方向之一，其基本思想是将人工智能引入无线通信系统的各个层面，实现无线通信与人工智能技术有机融合，大幅度提升无线通信系统效能的愿景。学术界和工业界正在上述领域开展研究工作，前期的研究成果集中于应用层和网络层，主要思想是将人工智能特别是深度学习的思想引入到无线资源管理和分配等领域。目前，该方向的研究正在向介质访问控制（medium access control，MAC）层和物理层推进，特别是在物理层已经出现无线传输与深度学习结合的趋势，然而各项研究目前还处于初步探索阶段。
　　尽管无线大数据为人工智能应用于物理层提供可能，智能通信系统的发展仍处于探索阶段，机遇与挑战并存。追溯历史，无线通信系统从1G演进至5G并获得巨大成功，其根源在于基于香农信息论的无线传输理论体系架构的建立与完善。一个典型的无线通信系统由发射机、无线信道和接收机构成，如图1.1所示。发射机主要包括信源、信源编码、信道编码、调制和射频发送等模块；接收机包括射频接收、信道估计、信号检测、解调、信道解码、信源解码以及信宿等模块。不同于典型的无线通信系统，智能通信的无线传输研究旨在打破原有的通信模式，获得无线传输性能的大幅提升。目前这方面的研究面临诸多挑战，国内外研究者们才开始初步探索。
　　图1.1典型的无线通信系统
　　本书主要介绍人工智能技术，特别是深度学习应用于无线传输技术的*新研究进展，主要包括信道估计、信号检测、信道状态信息（channel state information，CSI）的反馈与重建、信道解码以及端到端的通信系统。
　　1.2人工智能技术简介
　　1.2.1人工神经网络
　　人工神经网络（artificial neural network，ANN）是20世纪80年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象，建立简单模型，按不同的连接方式组成不同的网络。在工业界与学术界也常直接简称为神经网络或类神经网络。神经网络是一种由大量的节点（或称神经元）之间相互连接构成的运算模型，神经元结构如图1.2所示。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络对该信息记忆的强度。每个节点自身则代表一种特定的输出函数，称之为激活函数（activation function）。整个的网络根据网络的连接方式、权重值和激活函数的不同构成不同的输出，以逼近自然界某种算法或者函数，或是达到某种逻辑策略。
　　图1.2神经元结构
　　1996年Langley将机器学习定义为人工智能的一个分支，旨在依赖经验知识提高系统性能。经过20世纪以来的长期研究，研究者提出了逻辑回归、判定树、支持向量机和神经网络等各种算法。2006年，Hinton等在Science上发表论文，其主要观点有：①多隐藏层的人工神经网络具有优异的特征学习能力；②可通过“逐层预训练”来有效克服深层神经网络在训练上的困难，从此引出深度学习的研究。此后，深度学习在语音识别领域和图像识别领域取得巨大成就。深度学习作为一种新兴的神经网络算法，具有多种结构，包括深度神经网络（deep neural network，DNN）、卷积神经网络（convolutional neural network，CNN）、循环神经网络（recurrent neural network，RNN）、生成对抗神经网络（generative adversarial network，GAN）和深度增强学**经网络（deep reinforcement learning neural network，DRLNN）等。下面详细介绍这五种深度学习网络的基本结构。
　　1.2.2深度神经网络
　　深度神经网络（DNN）也被称为多层感知机。DNN基本结构如图1.3所示，由输入层、多个隐藏层和输出层构成。每个隐藏层包含多个神经元，每个神经元连接到相邻的层，同层神经元互不连接。单个神经元将各个输入与相应权重相乘，然后加偏置参数，*后通过非线性激活函数（激活函数类型见表1.1）。DNN可通过反向传播有效地优化，然后隐藏层和神经元数量的增加，将使得训练过程遇到如梯度消失、收敛缓慢以及收敛到局部*小值等问题，训练程序实现变得很困难。为了解决速度降低、计算复杂度、**梯度下降法（gradient descent，GD）、小批量随机梯度下降法（stochastic gradient descent，SGD），它随机选择一个样本计算每次的损失和梯度，但随机性特征在训练过程中会引起强烈的波动，因此，在**的GD和SGD之间采用小批量随机梯度下降法（small-batch SGD）进行训练。然而，这些算法仍然会出现收敛于局部*优解。为了解决这一问题并进一步加快训练速度，数种自适应学习速率算法应运而生，如Adagrad、RMSProp、Momentum、Adam等。训练完后还需注意是否有过拟合现象，如果训练后的网络在训练数据上表现良好，在测试过程中表现不佳，则出现过拟合现象。在这种情况下，为了在训练和测试资料上取得良好的结果，提出了正则化（regularization）和丢弃（dropout）等方案。
　　1.2.3卷积神经网络
　　卷积神经网络（CNN）的基本结构由输入层、多个卷积层、多个池化层、全连接层以及输出层构成，如图1.4所示。卷积层和池化层采用交替设置，即一个卷积层连接一个池化层，池化层后再连接一个卷积层，依此类推。卷积层中卷积核的每个神经元与其输入进行局部连接，并通过对应的连接权值与局部输入进行加权求和，然后再加入偏置值，得到该神经元输出值。由于该过程等同于卷积过程，因此被称为卷积神经网络。
　　图1.4卷积神经网络基本结构
　　1.2.4循环神经网络
　　循环神经网络（RNN）是一种对序列数据建模的神经网络，即一个序列当前的输出与前面的输出有关。具体的表现形式为：网络会对过去时刻的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再是无连接的而是有连接的，并且隐藏层的输入不仅包括输入层，还包括上一时刻隐藏层的输出。图1.5是一个循环神经网络基本结构的示例。RNN旨在为神经网络提供记忆，因为输出不仅依赖于当前输入，而且还依赖于过去时刻可用的信息或将来时刻可用的信息。
　　图1.5所示的时延步长（time step）为3。常用的RNN包括Elman网络、Jordan网络、双向RNN、长短期记忆（longshort term memory，LSTM）和门控循环单元（gated recurrent units，GRU）。
　　图1.5循环神经网络基本结构
　　1.2.5生成对抗神经网络
　　生成对抗神经网络（GAN）是一种新型的无监督学习生成方法，目的是学习一种能够产生成器G和一个鉴别器D，生成器和鉴别器的架构如图1.6所示，它包含一个生成器和一个鉴别器构成的框架。GAN可由DNN实现。鉴别器用于区分生成器生成的伪样本和实际数据集的真样本，生成器的任务是生成样本数据使得鉴别器区分不出真样本和伪样本。在训练过程中，生成器将输入噪声与样本的先验分布P(z)映射到一个样本，然后采集来自真实数据的样本和来自于生
　　图1.6生成对抗神经网络基本结构