本书系统阐述了视觉伺服系统的技术原理与应用实践，完整呈现了从图像采集、处理分析到智能控制的整个技术链条。内容涵盖硬件选型、图像处理算法、立体视觉定位等核心技术，并深入介绍了如何运用OpenCV、Python 以及CNN、Transformer 等深度学习模型来解决实际问题。书中还通过工业检测、智能分拣、机器人焊接等多个智能制造领域的典型案例，具体展示了视觉伺服系统的设计与实现方案。
本书适合工业自动化领域工程师阅读学习，也可供计算机科学与技术、机器人工程等专业的师生参考。

第1章 视觉伺服概述 001
1.1 人类视觉 001
1.2 机器视觉 004
1.3 视觉伺服 007
1.4 机器人视觉伺服 007

第2章 机器视觉系统之图像采集 009
2.1 光源 010
2.2 照明系统 014
2.3 镜头 016
2.4 摄像头 020
2.5 图像采集卡 034

第3章 机器视觉系统之图像处理 037
3.1 图像处理基础 037
3.2 数字图像的来源 041
3.3 图像处理算法 041

第4章 机器视觉系统之图像分析 056
4.1 图像分析的概念 056
4.2 图像分析的方法 056
4.3 图像分析的常用算法 066

第5章 立体视觉系统 086
5.1 视觉系统的类型 086
5.2 单目视觉系统 088
5.3 双目视觉系统 091

第6章 机器人视觉伺服控制系统 098
6.1 机器人视觉伺服控制系统的软硬件组成 098
6.2 机器人视觉伺服控制系统的工作过程 100
6.3 机器人视觉伺服控制系统的类型 101
6.4 机器人的位置伺服控制系统 102

第7章 视觉图像处理与分析的软件平台 104
7.1 Python 104
7.2 PyTorch 116
7.3 MATLAB 120
7.4 OpenCV 129
7.5 HALCON 167

第8章 神经网络与深度学习 176
8.1 神经网络的基本概念 176
8.2 前馈神经网络 181
8.3 卷积神经网络 182
8.4 循环神经网络 192
8.5 Transformer 200
8.6 深度学习之TensorFlow 230
8.7 深度学习之YOLO 248

第9章 视觉伺服系统的应用 262
9.1 视觉伺服系统的架构组成与工作过程 262
9.2 基于视觉引导的SCARA 机器人自动装配系统 263
9.3 基于机器视觉的多机械臂煤矸石分拣机器人系统 268
9.4 线结构光焊缝类型识别及特征提取 275
9.5 基于车辆识别技术的可视化智能停车场综合管理系统 278
9.6 中草药智能识别分拣系统 283

参考文献 292

视觉伺服系统是以图像传感器作为核心传感与反馈元件的机电一体化系统。从更高层面看，它属于信息物理系统（CPS） 的典型代表。作为机电系统，视觉伺服系统在结构上包含计算机控制器、机电执行机构以及闭环反馈控制机制，其基本架构与传统机电系统一致；不同之处在于，它采用图像传感器作为检测手段，实现对环境的感知。
进一步而言，视觉伺服系统不仅是机电系统，更融合了多层次的信息处理技术，从而演进为信息物理系统。该系统集成多种嵌入式控制单元，例如图像控制器、图像采集卡，以及各类图像分析与处理嵌入式软件与平台。此外，它还常常依托物联网、互联网、大数据、深度学习与人工智能等新一代信息技术，实现更智能的决策与控制。因此，视觉伺服系统具有广泛而深远的技术意义。
视觉伺服系统从图像采集到最终机电执行，涵盖一系列连贯的处理步骤。首先，系统通过图像采集系统实时获取图像，也可从存储设备读取已有数字图像，或借助图像生成软件合成所需图像数据。随后，系统调用各类图像处理算法与函数，对原始图像进行预处理，包括去噪、滤除脉冲干扰、校正极值、局部增强、色彩空间转换、格式调整、几何变换、算术逻辑运算与图像合成等操作。该阶段旨在提升图像质量，为后续分析奠定基础。在图像分析阶段，系统进一步运用算法提取目标物体的特征信息、关键点、轮廓结构与数量统计等，从而完成识别、检测、计数与定位等任务，最终判断“目标为何物”“位于何处”以及“应如何操作”。
获取被操作物体的三维空间坐标是视觉伺服系统的关键环节之一，双目或多目立体视觉技术在此方面发挥重要作用。系统的另一关键，在于其分析结果所驱动的执行机构类型。例如，结合机器人则构成机器人视觉伺服系统；应用于门禁控制则形成智能门禁系统；嵌入生产线则成为智能制造系统的组成部分。
为支持图像处理与分析，视觉伺服系统常依托专业软件平台，如OpenCV、HALCON 和MATLAB 等。这些平台集成了丰富的图像处理算法与函数库。在编程语言方面，Python 已成为当前主流选择，VC++ 等传统语言也仍广泛使用。
近年来，神经网络在图像处理领域取得显著成就并持续演进。从前馈神经网络、卷积神经网络（CNN）、循环神经网络（RNN），再到Transformer 与自注意力机制，直至ChatGPT 等大模型的出现，技术架构不断革新。目前，YOLO、 TensorFlow 等框架已在目标检测等任务中得到普遍应用。
基于上述技术背景，本书内容安排如下：第1章 为概述，介绍视觉伺服系统的基本概念与发展背景；第2章 介绍图像采集系统的硬件组成，包括照明、镜头、图像传感器与采集卡的类型、结构及工作原理；第3、4章 阐述图像处理与分析的典型方法、算法、函数及其实际应用；第5章 探讨立体视觉系统，重点介绍基于双目视觉的三维位姿估计方法；第6章 专门讨论作为一种复杂且应用广泛的系统类型——机器人视觉伺服系统；第7章 介绍常用视觉处理软件平台，包括Python、OpenCV、Pytorch、HALCON 和MATLAB 等的基本命令与简单编程；第8章 系统讲解神经网络与深度学习在图像处理中的应用，涵盖FNN、CNN、RNN、Transformer等主流架构，并介绍 TensorFlow、YOLO 和PyTorch 的安装与基本使用；第9章 通过自动装配、煤矸石分拣、智能焊接、中草药识别分拣及智能门禁等案例，展示视觉伺服系统的典型应用。
本书所涉及的编程语言主要包括Python 与VC++，使用的软件平台包括OpenCV、HALCON与MATLAB，介绍的深度学习框架包括 TensorFlow、YOLO 与Transformer。本书内容也可作为进一步学习大模型技术的前序知识基础。

编著者