本书聚焦多模态语义通信这一前沿领域，从语义通信的起源入手，系统阐述了多模态语义通信从基础理论到实际应用的全方位内容。本书首先介绍了语义通信的基础架构，包括基于信息重构、生成模型和任务导向的系统，进而深入探讨多模态语义通信系统，涵盖多模态语义表示、模态缺失与语义噪声处理以及多任务多场景通信。在基础理论方面，详细介绍了信息瓶颈理论、信源信道联合编码，并对语义分析及语义知识库、多模态大模型进行深入解析。接着阐述了多任务、分布式和鲁棒性多模态语义通信系统的设计，探讨了多模态语义通信中的资源管理问题及解决方案。此外, 本书着重分析了基于大模型的多模态语义通信系统,包括大模型的训练与部署、系统架构及应用。最后介绍了多模态语义通信在不同场景下的应用，包括航空无人机场景下的图像分类、自动驾驶场景下的跨域目标检测、低地球轨道卫星通信系统中的图像传输及其他应用场景。
本书内容全面系统，知识先进，理论与实际应用相结合，非常适合企业、科研院所中从事通信领域前沿研究及应用的技术人员自学，也可用作高等院校相关专业的本科生和研究生教材。

第1章 多模态语义通信系统概述001
1.1 语义通信的起源 002
1.1.1 从传统通信到语义通信的演进 002
1.1.2 语义通信的早期研究与应用 005
1.1.3 人工智能技术推动下的语义通信发展 006
1.2 语义通信的基础架构 007
1.2.1 基于信息重构的语义通信系统 008
1.2.2 基于生成模型的语义通信系统 010
1.2.3 任务导向的语义通信系统 011
1.3 多模态语义通信系统 015
1.3.1 多模态表征学习 015
1.3.2 多模态语义通信主要挑战 017
1.3.3 多任务多模态语义通信 019

第2章 多模态语义通信相关基础理论023
2.1 信息瓶颈理论 024
2.1.1 信息瓶颈理论的发展历程 024
2.1.2 信息瓶颈理论的数学表述 024
2.1.3 信息瓶颈理论的应用 026
2.2 信源信道联合编码 027
2.2.1 信源信道分离编码及其局限性 027
2.2.2 信源信道联合编码技术的发展 028
2.2.3 经典信源信道联合编码 029
2.2.4 面向语义通信的信源信道联合编码 032
2.3 语义分析及语义知识库 034
2.3.1 多模态特征提取 035
2.3.2 语义融合方法 038
2.3.3 语义知识库 039
2.3.4 知识图谱 046
2.4 多模态大模型 052
2.4.1 大型语言模型的发展历程 053
2.4.2 AIGC 生成式模型 055
2.4.3 多模态大语言模型 057
2.4.4 多模态语义通信系统中的大模型性能指标 060

第3章 多模态语义通信系统设计067
3.1 多任务多模态语义通信 068
3.1.1 多任务多模态语义通信概述 069
3.1.2 系统设计 070
3.1.3 多任务多模态语义通信系统性能分析 075
3.2 分布式多模态语义通信 080
3.2.1 分布式多模态语义通信概述 080
3.2.2 系统框架及主要技术 082
3.2.3 分布式多模态语义通信系统性能分析 087
3.3 鲁棒性多模态语义通信 089
3.3.1 鲁棒性多模态语义通信概述 090
3.3.2 系统框架及算法介绍 092
3.3.3 鲁棒性多模态语义通信系统性能分析 097

第4章 多模态语义通信中的资源管理105
4.1 多模态语义信息传输衡量指标 106
4.1.1 多模态语义信息传输衡量指标介绍 106
4.1.2 指标间的关联性 112
4.2 面向任务的多模态语义通信的智能资源分配方法 113
4.2.1 多模态语义通信资源分配概述 114
4.2.2 面向任务的多模态语义通信的无线资源分配方法 120
4.2.3 面向语义通信的多维资源联合优化技术 147

第5章 基于大模型的多模态语义通信系统155
5.1 多模态语义通信系统中的大模型训练与部署 156
5.1.1 云端架构下的模型部署 157
5.1.2 分布式模型训练 160
5.1.3 大模型算力适配和优化 165
5.2 基于大模型的多模态语义通信架构 169
5.2.1 基于大模型的多模态语义通信系统概述 169
5.2.2 基于大模型的多模态语义通信系统实例 171
5.3 基于大模型的多模态语义通信应用 175
5.3.1 基于大模型的通信场景生成 175
5.3.2 基于大模型的信源与信宿端数据增强 178
5.3.3 基于大模型的安全与隐私保护 181

第6章 多模态语义通信的应用场景187
6.1 航空无人机场景下的图像分类 188
6.1.1 概述 188
6.1.2 相关基础理论 189
6.1.3 面向航空无人机图像分类的多模态语义通信架构 191
6.2 自动驾驶场景下的跨域目标检测 195
6.2.1 概述 195
6.2.2 相关基础理论 197
6.2.3 面向自动驾驶跨域目标检测的多模态语义通信架构 201
6.3 低地球轨道卫星通信系统中的图像传输 205
6.3.1 概述 205
6.3.2 相关基础理论 207
6.3.3 面向LEO-Sat 系统图像传输的多模态语义通信架构 209
6.4 其他应用场景 212
6.4.1 全息智能通信 212
6.4.2 工业互联网 215
6.4.3 6G NTN 物联网 218

第7章 未来机遇与方向225
7.1 智能应用与行业协作 226
7.1.1 多模态语义通信与6G 226
7.1.2 跨行业协同与经济效益 229
7.2 跨领域的标准与协议建设 231
7.2.1 跨行业的标准化需求 231
7.2.2 标准化的建立 233

参考文献 236

在5G/6G 移动通信技术与人工智能深度融合的当下，传统通信系统正面临从“数据传输”向“语义理解”的范式转变。多模态语义通信通过融合文本、图像、语音、视频等异构模态，实现跨模态信息的智能解析与高效传输，成为支撑智慧城市、工业互联网、元宇宙等新兴场景的潜在关键技术。
自香农信息论提出以来，传统通信系统始终以“比特传输”为核心，然而在智能交互场景中，这一范式已显局限。多模态语义通信通过提取信息语义特征实现“先理解后传输”，突破香农信息论对通信系统的禁锢。中国工程院院士张平团队在2024 年建成国际首个通信与智能融合6G 外场试验网，验证了该技术在小带宽条件下的高效传输能力，其效率可达传统通信的5 倍以上。另外，随着大语言模型（LLM） 与多模态大模型（MLLM） 的突破，跨模态对齐与语义压缩技术成为研究热点，为6G 通信系统设计提供理论基础。这不仅为6G “智简”内生网络、人机自然交互、低空经济以及边缘智能决策等高智能应用提供了基础，更显著增强了跨系统、跨模态的协同运作能力，是未来网络架构演进的关键突破口。
本书响应国家“十四五”数字经济发展规划，聚焦跨模态智能技术与智能通信技术前沿，致力于培养具备创新突破能力的复合型人才。本书定位于“人工智能、计算机科学与通信技术的交叉领域”，目标包括：①原理阐释 ：系统讲解多模态语义编码、模态对齐、预训练模型等核心技术；②架构解析 ：强化理论与实践结合，讲解多模态语义通信的实现架构和训练部署流程；③ 应用拓展 ：结合工业互联网、全息通信、卫星通信等场景，分析多模态语义通信在低延迟、高可靠性需求中的解决方案。
本书内容完整涵盖多模态语义通信基础理论与应用，并展望其未来挑战，对下一代智能通信系统研究和创新具有启示作用，具体章节安排如下。
第1章多模态语义通信系统概述，包括语义通信的起源和早期应用、人工智能技术推动下的语义通信技术、语义通信的基础架构以及多模态语义通信系统等。
第2章多模态语义通信相关基础理论，包括信息瓶颈理论、信源信道联合编码、语义知识库等，并简单介绍多模态大模型与多模态语义通信的关联性，为后文的技术细节和系统设计提供理论基础。
第3章针对实际部署时可能面临的挑战，探讨三种多模态语义通信系统设计范式：多任务、分布式、鲁棒性多模态语义通信系统。
第4章首先对比多模态语义通信和传统通信的传输衡量指标，然后结合新型衡量指标重点解决面向任务的多模态语义通信的智能资源分配方法。
第5章主要关注大模型在通信系统中的训练部署机制和算力适配方法，并给出了基于大模型的多模态语义通信系统的应用实例。
第6章主要介绍多模态语义通信在航空无人机、自动驾驶、卫星系统等几个关键领域以及其他前沿领域的应用场景。
第7章重点阐述多模态语义通信系统的未来机遇与挑战。
随着6G、人工智能、大语言模型、生成式AI 等技术的发展，多模态语义通信将进一步推动“人- 机- 物”智能交互的深化，为构建万物互联的智能社会奠定基础。本书旨在为读者提供从理论到实践的全方位指导，助力其在多模态语义通信领域的前沿探索。
“看似寻常最奇崛，成如容易却艰辛”。在大约一年的编写过程中，本书编写者深刻感受到了这一点，幸好得到了许多老师与同学的大力帮助，克服了种种困难，最终得以完成。本书第1、2、3、5、6章由郭洁主写，第4、7章由宋彬主写。清华大学秦志金副教授对本书内容提出了大量有建设性的意见。研究生苏康翔、张梦霞、谈鑫、张景豪、朱俊豪等参与了本书的编写。在此向各位领导、师友和同学表示深深的感谢。
本书在编写过程中参考了相关的文献资料，主要参考文献在书末已附，在此向相关文献的作者表示诚挚的谢意。
本书的编写得到了西安电子科技大学教材建设基金资助项目的支持，在此深表谢意。
本书虽经几次修改，但由于编者水平所限，不足与疏漏之处在所难免，敬请专家及读者批评指正。

编著者