《智能可控的红外线图像与可见光图像融合》面向智能时代下红外线图像与可见光图像融合智能调控的技术需求，循序渐进地介绍了多尺度分割加权融合、比例-积分-微分（proportionalintegralderivative，PID）自动控制融合、源图像协同受控融合以及多尺度协同模糊控制融合四种成像处理算法模型及其运行架构的设计过程。《智能可控的红外线图像与可见光图像融合》通过典型样本案例的实验验证分析，论证四种算法的有效性和实用性，并试图为信息处理领域的科技人员提供概念创新、理论创新和技术创新的方法论参考。

目录
第1章 绪论 1
1.1 图像融合算法 2
1.1.1 基于多尺度变换的图像融合算法 2
1.1.2 基于稀疏/低秩表示的图像融合算法 3
1.1.3 基于脉冲神经网络的图像融合算法 4
1.1.4 基于预训练网络的图像融合算法 5
1.1.5 基于自编码网络的图像融合算法 7
1.1.6 基于端到端的图像融合算法 8
1.1.7 基于Transformer网络的图像融合算法 9
1.2 实验研究基础 10
1.2.1 融合图像质量的评价指标 10
1.2.2 实验样本 11
1.2.3 12种现有算法下典型案例融合结果的评价指标对比 16
第2章 多尺度分割加权融合 25
2.1 问题的提出 25
2.2 研究基础 27
2.2.1 多尺度融合算法 27
2.2.2 案例分析基础 28
2.2.3 均值平移聚类算法 30
2.3 源图像分割处理 34
2.3.1 假基础层图像处理 34
2.3.2 特征层图像处理 34
2.3.3 真基础层图像预融合处理 35
2.4 融合层成像处理 36
2.4.1 融合模型 36
2.4.2 本章融合算法的运行架构 37
2.5 实验验证与分析 38
2.5.1 TNO数据集典型案例分析 38
2.5.2 TNO与MSRS联合数据集实验样本分析 41
2.5.3 INO数据集实验样本分析 43
2.5.4 多尺度分割性能分析 46
2.5.5 预融合权重的性能分析 47
2.5.6 融合权重的性能分析 48
2.6 本章小结 56
第3章 PID自动控制融合 57
3.1 研究基础 57
3.1.1 PID控制的基本原理 57
3.1.2 问题的描述 58
3.2 源图像分割处理 58
3.2.1 基础层图像处理 59
3.2.2 特征层图像处理 64
3.2.3 红外线显著目标层图像处理 65
3.3 融合层成像处理 66
3.3.1 融合模型 66
3.3.2 本章融合算法的运行架构 67
3.3.3 QAB/F计算 68
3.3.4 PID参数设置的仿真实验 71
3.4 实验验证与分析 73
3.4.1 TNO数据集典型案例分析 73
3.4.2 TNO与MSRS联合数据集实验样本的统计分析 77
3.4.3 INO数据集实验样本的统计分析 80
3.4.4 源图像差异补偿 84
3.4.5 不同融合策略下的联合实验分析 86
3.5 本章小结 88
第4章 源图像协同受控融合 89
4.1 问题的提出 89
4.2 源图像协同模型 89
4.2.1 PCNN模型的基本原理 89
4.2.2 DPCNN模型的架构 91
4.2.3 面向图像融合的DDPCNN模型架构 92
4.3 源图像分割处理 94
4.3.1 基于DDPCNN模型的分割处理 94
4.3.2 特征层图像处理 95
4.4 融合层成像处理 95
4.4.1 融合模型 95
4.4.2 本章融合算法的运行架构 96
4.4.3 QAB/F计算 97
4.4.4 DDPCNN模型验证与设置 98
4.4.5 PID参数设置的仿真实验 103
4.5 实验验证与分析 104
4.5.1 TNO数据集典型案例分析 104
4.5.2 TNO与MSRS联合数据集实验样本分析 108
4.5.3 INO数据集实验样本分析 109
4.5.4 源图像分割性能分析 112
4.5.5 源图像差异补偿 113
4.5.6 三种融合算法的性能对比 115
4.6 本章小结 117
第5章 多尺度协同模糊控制融合 118
5.1 *优融合算法的设计需求 118
5.1.1 源图像分割处理 118
5.1.2 融合权重设置中的关键问题 119
5.2 融合层成像处理 123
5.2.1 本章融合算法的运行架构设计 123
5.2.2 融合模型设计 124
5.3 源图像分割处理 124
5.3.1 基于DDPCNN模型的分割处理 124
5.3.2 特征层图像预融合处理 124
5.3.3 基础层图像预融合处理 124
5.4 模糊PID控制器 125
5.4.1 设计基础 125
5.4.2 反馈误差的模糊化处理 125
5.4.3 模糊规则 126
5.4.4 模糊推理 127
5.4.5 控制参数的去模糊化处理 129
5.5 实验验证与分析 129
5.5.1 模糊PID控制器的实验设置 129
5.5.2 TNO数据集典型案例分析 131
5.5.3 TNO与MSRS联合数据集实验样本分析 135
5.5.4 INO数据集实验样本分析 136
5.5.5 MSRS数据集实验样本的统计分析 139
5.6 本章算法的性能分析 143
5.6.1 融合权重 143
5.6.2 控制性能 149
5.6.3 源图像差异补偿 151
5.6.4 三路并行控制 153
5.7 本章小结 154
第6章 总结与展望 155
6.1 总结 155
6.2 展望 160
6.2.1 多尺度协同BP神经网络控制融合算法 160
6.2.2 新型融合算法 162
参考文献 167

第1章　绪论
　　图像融合是图像处理中*重要的领域之一，涉及将不同类型传感器收集到的信息整合成一幅图像，以提高收集的信息量。将多源传感器收集到的图像组合成融合图像，可以提供比使用单个传感器捕获信息更完整、画面更清晰的图像，应用广泛。
　　红外线与可见光图像融合是图像融合领域的研究热点之一。究其原因，红外传感器对波长在0.78～1000μm的热辐射较为敏感，可以提供人眼无法感知的信息，尤其是环境(如烟雾和光照)对红外线图像中捕捉到的细节影响不大。热源目标成像后的像素强度明显高于背景，有利于用户识别目标的位置。但是，红外线图像中背景纹理的视觉效果比较差，并且红外线成像的视觉效果与人类视觉的感知习惯不符。相比之下，可见光图像对390～780nm波长比较敏感，它可以从反射光的物体中捕获场景中存在的主要信息，成像后的结果符合人类的视觉感知习惯，从而弥补红外线图像的缺陷。但是，可见光图像易受环境因素的影响，如光照变化、烟雾、降水等随机因素均会掩盖图像细节。因此，这两种图像类型表现出极强的互补性。为了提高图像的质量，可将红外线图像与可见光图像进行融合，通过专门的技术手段有效利用两种方法的优点，克服它们的局限性。
　　如图1-1所示，在低光照条件下，红外线图像能够清晰、准确地呈现可见光图像不能呈现的行人轮廓及其在图像中的位置信息，但却无法呈现可见光图像才能呈现的车辆尾部的交通标志以及车辆和大楼的细节信息。融合红外和可见光图像有助于同时识别行人位置和交通标志。
　　图1-1　红外线与可见光图像融合结果
　　图像融合的关键技术在于高性能图像融合算法的设计。高性能图像融合算法设计的基础依赖于各种成像效果评价指标的明确与合理使用，以及大量实验样本的测试与分析。
　　1.1　图像融合算法
　　虽然面向相同的应用目标，不同发展阶段涌现出的各种融合算法的设计基础，以及各种融合算法处理关键问题所采取的技术手段相互参考并相互渗透，但是代表性算法的特色还是比较突出。本书对具有代表性的融合算法进行分类研讨，以此明确本书所设计的四种融合算法的思路源头以及技术解决方案与论证方案的参考源，并谨此向本领域前辈和同行的先期工作致以诚挚敬意。
　　目前，可用于红外线与可见光图像融合的典型方法可归纳为以下七类：基于多尺度变换的图像融合算法、基于稀疏/低秩表示的图像融合算法、基于脉冲神经网络的图像融合算法、基于预训练网络的图像融合算法、基于自编码网络的图像融合算法、基于端到端的图像融合算法和基于Transformer网络的图像融合算法。
　　下面将在总结这七类方法的算法架构基础上，剖析其优缺点，并分别罗列本书算法介绍时所选取的每一类方法中的代表性算法。其中，选择这些代表性算法的原因，一方面是其优良的性能和实用性，另一方面是这些流行算法已公布了其算法代码和模型参数，可以在公开数据集上与本书算法进行可信的性能对比。
　　1.1.1　基于多尺度变换的图像融合算法
　　针对像素平均/取大融合方法容易受到干扰的问题，研究者提出了多尺度融合框架。该框架将图像从空间域转换为频域，采用多尺度分解工具(小波变换、轮廓小波变换、非下采样剪切小波变换和金字塔变换等)提取源图像的特征，然后根据融合任务设计相应的融合策略，*后通过逆变换将图像由频域变换为空间域，获得融合结果。该方法能够减少融合图像的伪影，避免噪声干扰。该算法的运行架构如图1-2所示。
　　图1-2　基于多尺度变换的图像融合算法运行架构
　　算法优点：①能够在不同尺度上捕捉图像的特征，包括细节信息和全局信息，通过融合这些不同尺度的特征，可以保留原始图像中的重要信息生成更高质量的融合图像。②对图像中的噪声和干扰具有一定的鲁棒性，能够在一定程度上抑制噪声和干扰对融合结果的影响。③能够处理多种类型的图像，包括不同分辨率、不同传感器获取的图像等，具有很强的适应性。可以根据具体应用需求调整融合策略，以满足不同的图像融合任务。④通常计算过程相对简单直接，没有复杂的反馈回路，因此计算复杂度较低，运行速度可能较快，能够满足一些对实时处理要求较高的场景，如实时监控、视频处理等。
　　算法缺点：①需要对图像进行多次尺度变换和分析，因此计算复杂度相对较高。在处理大规模图像数据时，可能会消耗较多的计算资源和时间。②多尺度融合算法的性能往往依赖于参数的合理设置，包括尺度数量、融合规则等。然而，这些参数的调整往往比较困难，需要基于具体的应用场景和任务需求进行细致的调试和优化。③现有的图像表示工具在多尺度信息提取和表示方面可能存在一定的局限性，无法充分提取和表示图像中的多尺度特征。这可能会影响多尺度融合算法的性能和效果。④在多尺度融合过程中，融合规则的设计对于融合结果的质量至关重要。然而，现有的融合规则可能存在重要信息丢失、边缘处存在光晕伪影和背景模糊等现象，影响融合图像的质量和视觉效果。⑤缺乏反馈机制可能导致在融合过程中对源图像信息的利用不够充分，难以根据中间结果进行动态调整和优化，从而在融合效果上可能不如基于反馈结构的模型，容易产生伪影或丢失重要细节。⑥对不同类型的源图像和复杂场景的适应性相对较弱，因为它不能像反馈结构模型那样根据实际情况灵活地调整融合策略，可能在面对多样化的图像融合任务时表现不够理想。
　　本书选取的实验对比算法为ADF算法[1]和RTVD-VIF算法[2]。