本书内容围绕图像理解的一个新的研究方向———时空行为理解展开，主要涉及从动作基元、动作、活动、事件直到行为的各个层次的检测和识别技术。本书主要侧重对这些技术的原理介绍，对相关方法结合研究成果进行分析，并对近年来的研究进展提供概括总结。本书除绪论外，共有7章，分别介绍时空兴趣点和人体关键点的检测，人和物的运动轨迹分析，对主体人动作的分类识别，对主体人活动的建模和识别，结合各种线索的行为分析推理，对异常事件的检测判断，以及对人-物交互关系的检测和解释。本书既可供高等学校信号与信息处理、通信与信息系统、电子与通信工程、模式识别与智能系统等学科研究生作为专业课教材或教学参考书，也可帮助计算机科学与技术、信息与通信工程、电子科学与技术、测控技术与仪器、机器人自动化、生物医学工程、光学、电子医疗设备研制、遥感、测绘和军事侦察等领域的研究人员开展相关的科研工作。

目录
第1章绪论
1．1图像工程
1．1．1图像技术和图像工程
1．1．2图像工程的3个层次
1．1．3图像工程相关学科和领域
1．1．4图像工程文献统计分类
1．2时空技术
1．2．1时空技术的发展
1．2．2时空技术的5个层次
1．3深度学习
1．3．1图像理解中的深度学习
1．3．2卷积神经网络的基本概念
1．3．3深度学习核心技术
1．4全书框架和各章简介
参考文献
第2章兴趣点和关键点
2．1时空兴趣点
2．1．1空间兴趣点的检测
2．1．2时空兴趣点的检测
2．2人体关键点
2．2．1基于图像的2D人体关键点检测
2．2．2基于视频的2D人体关键点检测
2．3多视角下的多人3D关键点检测
2．3．1基于多视角的3D人体关键点检测
2．3．2基于分层聚类的3D人体关键点检测
参考文献
第3章轨迹分析
3．1轨迹学习和分析
3．1．1场景建模
3．1．2轨迹学习
3．1．3活动分析
3．2轨迹特征聚类树
3．2．1轨迹特征提取
3．2．2特征聚类树
3．2．3FV编码树
3．2．4实验结果和分析
参考文献
第4章动作分类和识别
4．1动作分类
4．2动作识别
4．2．1各种活动中的动作识别
4．2．2动作识别的各种网络
4．3结合姿态和上下文的动作分类
4．3．1基于姿态模型的动作分类器
4．3．2基于上下文的动作分类器
4．4基于注意力机制的分类识别
4．4．1候选动作生成
4．4．2时域动作检测
参考文献
第5章活动建模和识别
5．1动作和活动建模
5．1．1动作建模
5．1．2活动建模
5．2主体动作联合建模
5．2．1单标签主体动作识别
5．2．2多标签主体动作识别
5．2．3主体动作语义分割
5．3用于活动识别的图卷积网络
5．3．1分通道拓扑细化建模
5．3．2用于动作识别的图卷积网络
5．3．3分尺度空间和动态时域卷积网络
参考文献
第6章行为识别网络
6．1结合运动和上下文的网络
6．1．1网络模型框架
6．1．2摄像机运动估计和补偿
6．1．3实验结果和分析
6．2利用结构信息的顺序分段网络
6．2．1顺序分段
6．2．2实验结果和分析
6．3基于骨架表达的方法
6．3．1骨架表达
6．3．2网络方法示例
参考文献
第7章异常事件检测
7．1异常事件检测方法分类
7．2基于神经网络的基本检测方法
7．2．1基于卷积自编码器和块学习
7．2．2基于单类神经网络的检测
7．3融合梯度差信息的稀疏去噪自编码器网络
7．3．1基于SDAE的方法
7．3．2基于SDAEGS的方法
7．3．3SDAE与SDAEGS的对比
7．4基于特征轨迹平滑的LSTM自编码器网络
7．4．1整体框架和流程
7．4．2实验结果和分析
7．5特征空间时序平滑的深度生成模型
7．5．1生成损失
7．5．2时序平滑损失
7．5．3训练和测试
7．5．4实验结果和分析
7．6场景内容适应的深度生成模型
7．6．1工作流程
7．6．2模型具体特点
7．6．3实验结果和分析
7．7主辅集成策略
7．7．1基本框架和流程
7．7．2主辅集成模块
7．7．3实验结果和分析
参考文献
第8章人物交互检测
8．1双阶段方法和单阶段方法
8．1．1双阶段方法
8．1．2单阶段方法
8．2基于转换器的方法
8．2．1使用转换器的双阶段方法
8．2．2使用转换器的单阶段方法
8．3更多典型方法
8．3．1零样本学习
8．3．2基于全局和局部实例的方法
8．3．3时空人物交互关系检测
8．4数据库和评价指标
8．4．1不同标注粒度的数据库
8．4．2特殊的数据库
8．4．3评价指标
参考文献
主题索引

前言

时空行为理解是图像工程高层——图像理解的一个较新的研究方向。它的目标是借助各种时空技术，实现对图像所反映的客观场景中人的活动和行为的分析并做出有意义的解释和判断。

本书主要涉及时空行为理解中从动作基元、动作、活动、事件直到行为的各个层次的建模、检测、识别和理解技术。本书主要侧重对这些技术的原理介绍，对相关方法结合研究成果进行讨论分析，并对近年来的研究进展提供概括总结。

本书除第1章绪论外，共有7章，分别介绍时空兴趣点和人体关键点的检测，人和物的运动轨迹分析，对主体动作的分类识别，对主体活动的建模和识别，结合各种线索的行为分析推理，对异常事件的检测判断，以及对人物交互关系的检测和分类。

本书侧重介绍一些时空行为理解领域不同层次的工作及近期进展。在2~8章中，每章首先介绍工作原理并概述现有典型技术，归纳其特点并进行分类； 然后对若干具体方法进行详细分析（给出总体流程、算法描述、具体步骤、效果实例、方法比较等）。每章都介绍一些相关技术领域的最新进展，归纳其特点并分类，可以帮助读者了解一些最新的发展趋势。

本书一方面可作为相关学科/专业高年级本科生和研究生的专业课教材或教学参考书，帮助他们掌握基本原理并开展科研活动、完成毕业设计和学位论文； 另一方面适合相关领域研究人员作为科研参考。

全书共有8章，其下有30节（二级标题），再下还有70小节（三级标题），共有编了号的图84幅、表格52个、公式191个。书中各章共列出了所引用的200多篇参考文献的目录（100多篇为21世纪20年代的），以及用于主题索引的300多个术语（同时给出了对应英文，以方便读者进一步查阅相关文献）。

书中有相当多的内容基于作者所在图像工程研究室中许多已获得学位的学生的研究成果，许多实验结果曲线和图片来自他们的几十篇研究论文。非常有幸与他们一起工作，感谢他们投身科研的努力付出，也祝愿他们今后在各自的工作中为科学的发展和社会的进步做出更大贡献。

最后，感谢妻子何芸、女儿章荷铭等家人在各方面的理解和支持。

章毓晋
2025年春节于书房
通信地址： 清华大学电子工程系，100084
电子邮件： zhangyj@tsinghua.edu.cn