本书围绕智能驾驶环境感知技术展开，系统介绍了智能驾驶环境感知系统的基本架构、车载传感器技术、目标检测与分割方法、恶劣天气条件下的目标检测方法，以及感知不确定性量化与风险传播等内容，旨在为智能驾驶环境感知技术的学习研究与应用提供系统参考。

全书首先从智能驾驶技术发展背景出发，阐述环境感知系统在智能驾驶车辆中的作用及其基本组成；随后介绍摄像头、激光雷达、毫米波雷达、超声波传感器及组合定位等典型车载传感器的工作原理、传感器模型和应用特点。在此基础上，本书以目标检测任务为主线，系统介绍目标检测与分割的任务定义、评价指标、典型数据集，以及卷积神经网络、Transformer、Mamba等基础网络架构，并进一步讨论2D目标检测、3D目标检测、多模态融合目标检测、语义分割、实例分割和占用栅格等典型感知任务。本书分析了恶劣天气（雨、雾、雪等）对传感器性能的影响，并探讨了目标检测模型在恶劣天气环境下面临的数据分布偏移与鲁棒性挑战，介绍了低质量图像目标检测模型、图像修复与目标检测级联式模型，以及图像修复与目标检测联合式模型等典型技术路线。此外，本书还讨论了目标检测模型在车载部署中面临的实时性与精度平衡问题，并介绍了感知不确定性量化及风险传播方法。

前 言
第1 章
智能驾驶感知技术概述
1. 1　引言/ 001
1. 2　智能驾驶技术发展现状/ 003
1. 3　智能驾驶环境感知系统发展现状/ 004
1. 4　智能驾驶环境感知系统简介/ 006
1. 5　小结/ 008
参考文献/ 008
第2 章
常用车载传感器
2. 1　引言/ 009
2. 2　摄像头/ 009
2. 2. 1　基本结构与工作原理/ 009
2. 2. 2　传感器模型/ 011
2. 2. 3　摄像头在智能驾驶中的应用/ 017
2. 3　激光雷达/ 018
2. 3. 1　基本结构与工作原理/ 018
2. 3. 2　传感器模型/ 019
2. 3. 3　激光雷达在智能驾驶中的应用/ 020
2. 4　毫米波雷达/ 021
2. 4. 1　基本结构与工作原理/ 021
2. 4. 2　传感器模型/ 023
2. 4. 3　毫米波雷达在智能驾驶中的应用/ 025
2. 5　超声波传感器/ 026
2. 5. 1　基本结构与工作原理/ 026
2. 5. 2　传感器模型/ 027
2. 5. 3　超声波传感器在智能驾驶中的应用/ 027
2. 6　小结/ 028
第3 章
目标检测与分割
3. 1　引言/ 029
3. 2　目标检测任务/ 029
3. 2. 1　任务定义/ 029
3. 2. 2　评价指标/ 032
3. 2. 3　典型目标检测数据集/ 036
3. 3　目标检测算法基础网络/ 041
3. 3. 1　卷积神经网络/ 042
3. 3. 2　Transformer 网络/ 050
3. 3. 3　Mamba 网络/ 054
3. 4　目标检测扩展任务/ 059
3. 4. 1　语义分割/ 060
3. 4. 2　实例分割/ 063
3. 4. 3　占用栅格/ 067
3. 5　小结/ 068
参考文献/ 068
第4 章
典型目标检测算法
4. 1　引言/ 070
4. 2　基于纯视觉的目标检测算法/ 070
4. 2. 1　2D 目标检测算法/ 070
4. 2. 2　3D 目标检测算法/ 080
4. 3　基于多模态融合的目标检测算法/ 089
4. 3. 1　基于数据级融合的目标检测算法/ 089
4. 3. 2　基于特征级融合的目标检测算法/ 093
4. 3. 3　基于决策级融合的目标检测算法/ 097
4. 4　联合2D 图像先验信息的3 D 目标检测方法/ 099
4. 4. 1　基于深度感知稀疏查询的3D 目标检测方法/ 099
4. 4. 2　nuScenes 数据集实验结果分析/ 104
4. 5　小结/ 107
参考文献/ 108
第5 章
面向恶劣天气条件的目标检测方法
5. 1　引言/ 109
5. 2　恶劣天气条件下的目标检测挑战/ 109
5. 2. 1　降雨天气条件下的目标检测挑战/ 110
5. 2. 2　浓雾天气条件下的目标检测挑战/ 112
5. 2. 3　降雪天气条件下的目标检测挑战/ 113
5. 2. 4　极端光照条件下的目标检测挑战/ 114
5. 3　恶劣天气条件下的目标检测方法/ 116
5. 3. 1　恶劣天气条件下目标检测模型的分类
与结构分析/ 116
5. 3. 2　低质量图像目标检测模型/ 121
5. 3. 3　图像修复与目标检测联合式模型/ 129
5. 4　目标检测模型的实时性与精度平衡/ 137
5. 4. 1　高精度模型的实时部署挑战/ 137
5. 4. 2　模型实时推理性能等效评估/ 138
5. 4. 3　主流模型架构效能对比分析/ 139
5. 5　小结/ 141
参考文献/ 141
第6 章
感知不确定性量化与风险传播
6. 1　引言/ 142
6. 2　感知不确定性概述/ 142
6. 2. 1　智能驾驶感知中的不确定性/ 142
6. 2. 2　感知不确定性影响因素/ 144
6. 2. 3　感知不确定性应对措施/ 147
6. 3　感知不确定性量化方法/ 150
6. 3. 1　蒙特卡洛Dropout / 150
6. 3. 2　深度集成/ 152
6. 4　感知不确定性驱动的风险自适应安全决策方法/ 154
6. 4. 1　考虑目标检测分类不确定性的风险自适应
安全决策/ 154
6. 4. 2　考虑目标轨迹预测不确定性的风险自适应
安全决策/ 162
6. 5　小结/ 188
参考文献/ 188
第7 章
结论及展望
7. 1　引言/ 189
7. 2　研究结论/ 189
7. 2. 1　联合2D 图像先验信息的3D 目标检测方法/ 190
7. 2. 2　面向恶劣天气条件的目标检测方法/ 191
7. 2. 3　感知不确定性量化与风险传播方法/ 193
7. 3　研究展望/ 194
7. 3. 1　面向极端场景的增强感知技术/ 194
7. 3. 2　感知- 决策一体化技术/ 196
7. 4　小结/ 198

环境感知是智能汽车理解外部交通环境的重要基础，也是实现高级别智能驾驶的关键环节。感知系统通过摄像头、激光雷达、毫米波雷达、超声波传感器以及组合定位等车载传感器，获取道路结构、交通参与者、交通标志标线和车辆自身状态等信息，并通过感知算法实现对驾驶环境的理解与认知。其性能直接影响下游决策与控制系统的安全性。

近年来，随着人工智能、计算机视觉、传感器技术和车载计算平台的快速发展，智能汽车环境感知技术取得了显著进展。以深度学习为代表的数据驱动方法推动了目标检测、语义分割与多传感器融合等任务的发展，感知系统也逐渐从单一传感器、单一任务处理，向多模态融合、统一感知和端到端协同优化的方向演进。然而，在真实道路环境中，感知系统仍面临多源异构数据融合难、恶劣天气条件下目标检测鲁棒性不足、模型实时性与精度平衡难、感知不确定性大等重要挑战。

本书在吸收和借鉴已有研究成果的基础上，尝试从智能驾驶环境感知系统的整体视角出发，对车载传感器、目标检测与分割、多传感器融合、恶劣天气感知、实时部署以及感知不确定性等内容进行系统梳理。希望本书能够帮助读者建立较为完整的智能汽车感知技术框架，并在基础理论、典型算法和工程应用之间形成一定衔接。

全书共分为7章。第1章概述智能驾驶感知技术的发展现状与系统架构；第2章介绍摄像头、激光雷达、毫米波雷达、超声波传感器等主流车载传感器的工作原理、模型及应用场景；第3章阐述目标检测与分割的任务定义、评价指标、典型数据集及基础网络架构；第4章介绍视觉与多模态目标检测方法，并探究了融合二维图像先验信息的三维目标检测方法；第5章聚焦恶劣天气条件下的目标检测方法，讨论低质量图像检测、图像修复与检测协同以及实时性与精度平衡问题；第6章围绕感知不确定性量化及其驱动的风险自适应安全决策方法展开；第7章对全书内容进行总结，并对未来发展方向进行展望。

由于智能驾驶感知技术发展迅速，相关理论、算法和工程实践仍在不断演进，加之编写时间和作者水平有限，故书中难免存在疏漏、不妥甚至错误之处，恳请广大读者和同行专家批评指正。希望本书能够为读者理解智能汽车感知技术提供参考，并为我国智能驾驶技术研究、工程实践和人才培养贡献绵薄之力。


作者
2025年1月