《可标识无源感知理论和方法》系统阐述了可标识无源感知的理论体系和方法，以RFID技术为核心，突破传统感知方法在隐私保护、侵入性、身份识别等方面的局限。《可标识无源感知理论和方法》共11章，涵盖RFID信号特征采集、绑定式骨架建模、多模态数据融合、图卷积网络优化等关键技术，创新性地提出一系列高精度、高鲁棒的识别模型，并在自建数据集上实现了超过98%的分类准确率。《可标识无源感知理论和方法》还集成实现了完整的活动识别系统，为主动健康、智慧养老、人机交互等领域提供可落地的解决方案。

目录
第1章 绪论 1
1.1 研究背景及意义 1
1.2 国内外研究现状 2
参考文献 4
第2章 RFID标签响应信号特征数据读取方法 7
2.1 RFID系统的工作原理 7
2.1.1 LLRP简介 8
2.1.2 LLRP交互 8
2.2 低层数据读取的软硬件环境设置 9
2.2.1 系统连接 10
2.2.2 PuTTY使用 11
2.2.3 Eclipse配置 12
2.3 标签响应信号特征数据的读取过程 12
2.3.1 读取算法 12
2.3.2 算法测试 13
本章小结 14
参考文献 15
第3章 绑定式RFID骨架的人体活动识别 16
3.1 人体活动数据集 16
3.1.1 RFID天线部署 16
3.1.2 基于人体骨架的标签部署 17
3.1.3 RFID标签响应信号特征数据分析 17
3.1.4 数据集 21
3.2 骨架活动图 22
3.2.1 人体活动姿态划分 22
3.2.2 空间骨架图生成 23
3.2.3 时空骨架图生成 24
3.3 识别模型 24
3.4 实验 25
本章小结 27
参考文献 28
第4章 基于骨架活动图卷积网络的RFID人体活动识别 29
4.1 识别模型 29
4.1.1 骨架特征矩阵读取方法 29
4.1.2 骨架活动图卷积网络基本模型 30
4.1.3 带残差网络的骨架活动图卷积网络 36
4.1.4 并行化带残差网络的骨架活动图卷积网络 36
4.2 实验 38
4.2.1 模型训练 38
4.2.2 消融实验 39
4.2.3 对比实验 43
本章小结 44
参考文献 45
第5章 人体活动识别自适应全局时空图卷积网络 46
5.1 概述 46
5.2 相关理论与技术 48
5.3 图神经网络基础 49
5.3.1 GCN的基本原理 49
5.3.2 GCN的技术特点及应用领域 50
5.3.3 基于GCN的人体活动识别 50
5.4 识别模型 51
5.4.1 RFID骨架活动图构建 51
5.4.2 FSTC模型 54
5.4.3 A-FSTC模型 59
5.4.4 GA-FSTC模型 60
5.5 实验 61
5.5.1 数据集 61
5.5.2 模型训练 62
5.5.3 消融实验 64
5.5.4 模型分类准确性评估 66
5.5.5 鲁棒性与泛化能力评估 67
5.5.6 对比实验 69
本章小结 71
参考文献 71
第6章 基于RFID无源感知的活动识别拓扑析聚图卷积网络 74
6.1 概述 74
6.2 识别模型 76
6.2.1 H-GCN模型 76
6.2.2 FH-GCN模型 82
6.2.3 AFH-GCN模型 84
6.3 实验 85
6.3.1 模型训练 85
6.3.2 消融实验 85
6.3.3 模型分类准确性评估 87
6.3.4 鲁棒性与泛化能力评估 89
6.3.5 对比实验 90
6.4 人体活动识别系统 92
本章小结 96
参考文献 97
第7章 基于视觉与骨架式可穿戴无源感知的多模态人体活动识别 99
7.1 概述 99
7.2 相关理论基础 103
7.2.1 CNN 103
7.2.2 GCN 107
7.2.3 时空卷积网络 108
7.2.4 Transformer 109
7.3 数据集与预处理 112
7.3.1 数据采集及处理 112
7.3.2 数据集的组成与结构 118
7.4 识别模型 121
7.4.1 RFID骨架结构建模与动态特征表示 122
7.4.2 基于时空图卷积网络的人体活动识别 125
7.5 实验 127
7.5.1 数据集与预处理 127
7.5.2 评估指标 130
7.5.3 实验环境与参数设置 131
7.5.4 特征构造方法验证实验 132
7.5.5 改进网络结构消融实验 135
7.5.6 与现有模型对比实验 136
7.5.7 信号干扰鲁棒性实验 137
7.5.8 泛化性验证 138
本章小结 139
参考文献 140
第8章 复杂环境下的RFID与视觉的多模态人体活动识别 144
8.1 概述 144
8.2 识别模型 145
8.2.1 人体视觉骨架提取 145
8.2.2 基于图卷积的双模态骨架特征提取 145
8.2.3 基于图卷积的双模态骨架特征融合网络 146
8.2.4 基于跨模态注意力与门控加权的双模态融合网络 149
8.2.5 动态感知与权重自适应机制 152
8.3 实验 153
8.3.1 实验设置 153
8.3.2 实验结果 154
本章小结 163
参考文献 163
第9章 基于交互学习的可穿戴感知多模态人体活动识别 164
9.1 概述 164
9.2 相关工作 165
9.3 识别模型 168
9.3.1 多模态人体RFID骨架活动图 169
9.3.2 特征提取 171
9.3.3 多层交互学习注意记忆网络 173
9.3.4 深度融合网络 178
9.3.5 模型算法 180
9.4 实验 180
9.4.1 3种模态人体RFID骨架活动图的研究 180
9.4.2 人体活动数据集 182
9.4.3 模型训练 183
9.4.4 验证实验 184
9.4.5 消融实验 188
9.4.6 鲁棒性的研究 190
9.4.7 比较实验 191
本章小结 194
参考文献 194
第10章 基于RFID的多目标振动感知 199
10.1 概述 199
10.2 振动感知基础 205
10.2.1 RFID技术 205
10.2.2 多目标数据采集与读取算法 207
10.2.3 反向散射信号物理意义分析 208
10.3 多目标振动压缩感知方法 211
10.3.1 振动数据集 211
10.3.2 多目标压缩感知模型 216
10.4 实验 223
本章小结 225
参考文献 225
第11章 基于小波变换和时间卷积网络的时频双通道卷积振动感知 229
11.1 概述 229
11.2 数据预处理 230
11.2.1 TCN分支数据预处理 230
11.2.2 小波CNN分支数据预处理 231
11.3 振动感知模型 232
11.3.1 TCN分支 232
11.3.2 小波CNN分支 232
11.3.3 特征融合 234
11.3.4 优势分析 235
11.4 实验 235
11.4.1 模型训练 235
11.4.2 精度实验 236
11.4.3 频域宽度实验 237
11.4.4 对比实验 238
11.4.5 消融实验 239
11.5 多目标振动感知系统 241
11.5.1 概述 241
11.5.2 系统需求分析 242
11.5.3 系统设计 242
11.5.4 系统实现 243
本章小结 245
参考文献 246

第1章绪论
　　本章*先概述人体活动识别研究在社会、科技、应用层面的意义，以及基于射频识别（radio frequency identification，RFID）的人体活动识别（human activity recognition，HAR）优势与挑战；接着，介绍人体活动识别研究的代表成果和未竟问题。在此基础上，提出本书的目标、挑战与研究内容。
　　1.1研究背景及意义
　　人民对健康服务需求的日益增加，引起了联合国对健康服务的关注，联合国可持续发展集团（United Nations Sustainable Development Group，UNSDG）发布的《变革我们的世界：2030年可持续发展议程》指出，未来15年应该致力于实现全民健康覆盖，并提升整体健康与福祉水平[1]。主动健康是实现健康服务的一项重大需求，我国近年来将“主动健康和人口老龄化科技应对”作为国家重点研发计划重点专项。该专项研究主动健康的理论及方法，其中人体活动识别为疾病预防和监测提供实时数据支撑，是主动健康的重要辅助技术。
　　普适计算（ubiquitous computing，UC）的概念被提出以来，人体活动识别作为上下文感知系统的重要组成部分，不仅在远程生命健康监测领域受到重视，而且随着智能化生活这一概念的兴起，也成为许多生活辅助课题的重要组成部分。除此之外，人机交互[2]、驾驶辅助[3]、虚拟现实（virtual reality，VR）[4]等方面也广泛提及人体活动识别。人体活动识别一直以来都是模式识别和普适计算领域中的重要课题，也是一项极具挑战性的时间序列分类任务。人体活动识别方法不仅适用于主动健康服务[5—8]，而且可用于人机交互[9，叫、虚拟现实[4，11]、行为分析[12_15]、动画制作[I6]、交通安全[3]等领域。被识别的活动既可以是普遍环境下的走、站、坐、躺等泛在活动，也可以是特殊场景（如运动场、工厂）中的特定活动。前者在健康监测、智能家居等领域会被涉及，后者在技能评估等领域会被涉及。目前，人体活动识别技术仍然面临着许多问题：一方面，缺乏传感特征与不同人体活动间的映射模型；另一方面，相同人体活动存在多样性，不同人体活动间存在相似性[17]。这些问题直接导致活动识别难、识别精度低，因此迫切需要研究人员不断探索，寻找安全易用、识别能力强的方法。
　　传统的人体活动识别通常是基于机器视觉的方法，但该方法受视距和光线影响的限制，同时存在威胁用户隐私安全的问题[18]。随着传感器的发展，无线传感器也应用于人体活动识别，但这类方法具有电池维护困难且侵入感强的缺点[19]。这些问题都使得现有
　　的基于机器视觉和传感器的人体活动识别方案饱受争议。随着研究人员对无线信号理解的深入，他们将一些无线通信技术（如Wi-R）用于人体活动识别，有效地解决了现有方案的相关问题，取得了不错的效果；但它们本身不具有目标对象标记特征，不能解决目标对象身份识别问题[M]。RFID技术凭借其可标记感知的特征，能够有效地解决目标对象的身份识别、位置定位和状态感知这3个物联网（internet of things，IoT）领域的核心问题，在现有人体活动识别方案中脱颖而出。
　　到目前为止，已有一些基于RFID技术的人体活动识别解决方案，但现有的方案在分类粒度、准确度等方面仍有不足[21]。为进一步推动人体活动识别技术在相关领域深入应用，发挥RFID技术的可标记感知的优势，在保证分类准确率的同时实现更细致的活动识别成为目前基于RFID技术的人体活动识别研究的重要问题。
　　1.2国内外研究现状
　　根据人体活动信息感知方式的不同，人体活动识别可分为基于计算机视觉、基于穿戴传感器、基于传统无线信号、基于RFID技术等识别方法。
　　1.基于计算机视觉的识别方法
　　该方法通过摄像头采样人体活动视频，通过目标检测、姿态估计等机器学习或深度学习算法对活动进行建模，通过构建人体活动识别模型实现活动分类，如基于3D体感摄像[22，23]的人体活动识别。该方法识别率高，*高可超过99%，但其具有机器视觉所固有的缺陷，如侵犯隐私、依赖光源、计算复杂度高、受视距限制等[24]。
　　2.基于穿戴传感器的识别方法
　　该方法通过传感器采样人体活动数据，经过特征提取及模型训练得到活动分类结果。该方法通常要求被测人穿戴一定质量的传感器设备[25，26]，同时传感器设备普遍有源，需要电池维护，导致其易用性较差。
　　3.基于传统无线信号的识别方法
　　传统无线通信技术包含Wi-Fi、毫米波雷达和ZigBee等，人体活动引起无线信号变化，该方法即通过分析接收的变化信号与活动间的复杂关系实现人体活动识别[m27-29]。该方法无隐私侵犯，也无需电池。
　　4.基于RFID技术的识别方法
　　相较于Wi-Fi、ZigBee等方法，RFID技术具有可标记感知的优势[12]，使得多人可标记人体活动识别成为可能。因此，越来越多的研究人员开始在RFID技术的基础上进行人体活动识别研究。
　　RFID系统由阅读器、天线和一定数量的标签构成，其中阅读器通过天线发送识别等相关命令，标签通过无线信道响应命令。人体活动对命令信号和响应信号产生影响，造成阅读器所接收信号的特定变化，因此可利用变化的信号识别人体活动。该方法具有保护隐私、免电池维护、轻量级的优点。标识在人体活动识别中也具有重要意义，其可以区分活动个体及确认活动部位，而传统无线通信技术通常不具备可标识性。
　　RFID*初是一种用于身份识别的标识技术，当把其用于人体活动识别时，则具有区分活动个体及确认活动部位的潜能，即辨别活动个体和活动部位，因此RFID是一项很有前途的活动识别技术。近年来，研究人员围绕RFID技术开展了许多活动识别研究，取得了一定进展。根据标签的不同部署方式，将基于RFID技术的人体活动识别方法分为非绑定式活动识别和绑定式活动识别。
　　（1）非绑定式活动识别方法不能辨识活动个体和确认活动部位。根据标签是否运动，将这类活动识别方法分为3类模式：第1类模式将标签部署在使用物品上，人体活动引起物品上的标签运动，通过监测这些标签运动来判断人体活动类型[3Q，31]。该模式能识别人使用标签物品的活动，但所识别的活动类别有限。第2类模式将标签以阵列形式部署在环境中，该模式是一种标签静止部署方式，人在标签与天线间的空间内活动，通过检测人体对标签遮挡情况来识别活动[32，33]。该模式存在边缘模糊性，无法进行细粒度检测，而且人体与标签间的面向情况会严重影响识别性能。第3类模式混合了前两种模式，同时监测标签运动和人体所遮挡的标签响应信号，分别识别出人使用物品的活动和其他活动[34，35]。
　　（2）绑定式活动识别方法将标签部署在待测人身体上，阅读器通过识别标签的运动情况来分析活动类别[21，2736]。与基于传统穿戴传感器的方法相比，该方法具有免供电维护、轻量级和易用性强的突出优点。同时，此方法可利用RFID技术的可标识识别优点辨识活动个体。基于RFID技术的人体活动识别方法具体情况如表1-1所示。
　　如上所述，绑定式活动识别方法具有易用性强和可辨别活动个体的特点，在人体活动识别方法中具有突出优势。然而，现有绑定式方法主要采用支持向量机（support vector machine，SVM）和动态时间规整（dynamic time warping，DTW）作为识别模型，这些模型难以实现人体活动传感特征与不同人体活动间的精准映射，也难以区分相似人体活动，由此导致现有方法与基于计算机视觉的活动识别方法相比，所识别的人体活动类别较少、准确性较低。目前，该方法*多可识别8种人体活动，数量较少，识别粒度较粗，明显影响人体活动识别方法的应用。目前，绑定式活动识别方法尚不能辨别活动部位，而这种活动部位的辨别在活动精细化管控中具有重要意义。活动识别粒度与分类准确率间往往是矛盾的，原因在于识别粒度越细，活动间相似性越大，计算复杂度越高，实现高准确率识别越困难。特别重要的是，目前还缺乏一套有效的理论感知模型来刻画多个感知域和射频信号在时间、空间、频率等信号域的潜在关联性，无法通过量化的方式度量相关特征参量之间的数量关系，难以有效指导跨域感知。这些研究现状分析表明，在绑定式活动识别领域中，研究高准确率的细粒度活动识别方法是目前亟待解决的问题。
　　为此，本书以真实绑定式RFID环境中人体活动识别为研究对象，面向大量活动的细粒度分类，兼顾辨别活动个体和活动部位，研究保护隐私、超视距、免电池维护、可辨识、高准确率和细粒度的人体活动识别模型和方法，为主动健康、人机交互、虚拟现实、行为分析、交通安全等领域提供必要的人体活动识别技术支撑。