本书针对智能指挥决策里不完全信息、复杂高维空间等问题，从多智能体强化学习和分层决策角度，介绍基于多智能体分层强化学习的指挥决策方法，围绕不确定条件下分层序贯决策建模等 4 个关键问题，讲解相关方法技术 。

目录

第 1 章 概述
1.1 本书研究背景及目的
1.1.1 研究背景
1.1.2 研究目的与意义
1.2 智能指挥决策及其技术发展现状
1.2.1 智能指挥决策研究现状
1.2.2 强化学习研究现状
1.2.3 多智能体研究现状
1.2.4 智能决策算法研究现状
1.2.5 发展现状评述
1.3 本书整体内容框架
1.3.1 主要内容
1.3.2 组织结构

第 2 章 智能指挥决策基本理论
2.1 指挥决策
2.1.1 指挥决策基本概念
2.1.2 指挥决策面临的挑战
2.2 智能指挥决策
2.2.1 智能指挥决策基本内涵
2.2.2 智能指挥决策中的 Agent
2.2.3 智能指挥决策的优势
2.2.4 智能指挥决策面临的现实问题

第 3 章 基于多智能体指挥决策的技术策略与总体框架
3.1 智能指挥决策方法选择
3.1.1 指挥决策建模方法
3.1.2 策略求解表征方法
3.1.3 样本数据获取方法
3.1.4 多智能体协同方法
3.2 基于多智能体分层强化学习的指挥决策框架
3.2.1 技术思路
3.2.2 框架设计
3.2.3 实现过程
3.3 需要解决的技术问题
3.3.1 不确定条件下的分层序贯决策建模与求解
3.3.2 高维状态动作空间下的策略搜索效率问题
3.3.3 大规模作战背景下多异构实体协同博弈问题
3.3.4 复杂策略空间下决策模型训练效率问题

第 4 章 基于多 Agent 的指挥决策模型构建与求解
4.1 问题提出及解决思路
4.1.1 问题提出
4.1.2 解决思路
4.2 基于多 Agent 的指挥决策实体建模
4.2.1 基于作战节点 Agent 的指挥决策实体抽象
4.2.2 多 Agent 指挥决策实体层级架构
4.3 基于 MDP 的指挥决策行为建模
4.3.1 完全信息条件下的指挥决策行为模型构建
4.3.2 非完全信息条件下的指挥决策行为模型构建
4.3.3 面向分层决策的指挥决策行为模型构建
4.4 基于 MARL 的指挥决策求解方法建模
4.4.1 多智能体指挥决策过程建模
4.4.2 多智能体指挥决策目标函数

第 5 章 基于分层表征的多智能体集中式指挥决策
5.1 问题提出及解决思路
5.1.1 问题提出
5.1.2 解决思路
5.2 多智能体集中式指挥决策方法
5.2.1 集中式指挥决策总体策略
5.2.2 基于分层表征的空间消减
5.2.3 基于最大熵的随机策略梯度求解
5.3 集中式指挥决策算法实现
5.3.1 基于 DSPG-ME 的多智能体强化学习
5.3.2 DSPG-ME 网络结构设计
5.3.3 神经网络训练

第 6 章 基于信息交互的多智能体分散式指挥决策
6.1 问题提出及解决思路
6.1.1 问题提出
6.1.2 解决思路
6.2 多智能体分散式指挥决策方法
6.2.1 分散式指挥决策总体策略
6.2.2 基于图注意力网络的信息协同
6.2.3 基于价值函数分解的策略协同
6.3 分散式指挥决策算法实现
6.3.1 基于 MAAC-GA 的多智能体强化学习
6.3.2 MAAC-GA 网络架构设计
6.3.3 神经网络训练

第 7 章 基于知识驱动的智能决策模型训练优化
7.1 问题提出及解决思路
7.1.1 问题提出
7.1.2 解决思路
7.2 模型优化总体策略
7.3 知识导向的奖励函数塑形
7.3.1 奖励函数塑形基本原理
7.3.2 基于历史知识统计量的奖励函数离线优化
7.3.3 基于对抗过程经验的奖励函数在线优化
7.4 知识重构的策略初始优化
7.4.1 基于模仿学习的策略生成
7.4.2 面向经验知识的模仿学习
7.4.3 面向教训知识的模仿学习
7.5 虚拟自博弈的联盟训练
7.5.1 基于策略集的对手池构建
7.5.2 基于虚拟自博弈的对手选择
7.5.3 基于对手池的联盟训练

附录 A 集中式指挥决策方法验证
A.1 实验环境与参数设置
A.1.1 实验环境
A.1.2 仿真参数设置
A.2 实验结果与分析

附录 B 分散式指挥决策方法验证
B.1 实验环境与参数设置
B.1.1 实验环境
B.1.2 参数设置
B.2 实验结果与分析

附录 C 知识驱动模型优化方法验证
C.1 实验环境与参数设置
C.1.1 实验环境
C.1.2 参数设置
C.2 实验结果与分析

附录 D “知识 + 学习 + 分层” 指挥决策方法验证
D.1 实验设计
D.1.1 合成营山岳丛林遭遇战斗仿真想定描述
D.1.2 仿真环境介绍
D.1.3 实验方案
D.2 智能决策框架与模型实现
D.2.1 战术级智能决策仿真验证框架
D.2.2 战术级智能决策模型实现
D.3 效果分析
D.3.1 方法性能对比分析
D.3.2 模型稳定性对比分析
D.3.3 学习训练效率对比分析
D.4 本章小结

参考文献