图像传感芯片是一款包含像素阵列及其驱动电路、模拟读出电路、数字控制电路、锁相环与偏置电路、接口电路等模块的复杂光电集成芯片。《图像传感芯片分析与设计》系统地介绍图像传感芯片的基本概念、结构和设计方法，共10章。第1～4章，内容侧重于图像传感芯片背景和基础理论，包括发展历史、性能指标、传感原理和芯片构成；第5～10章，根据具体应用详细阐述不同类型图像传感芯片的原理与技术手段，包括大动态范围成像、单光子成像、光飞行时间成像、线阵与 TDI成像、光谱成像、仿生动态视觉成像等。

目录
前言
第1章 绪论 1
1.1 图像传感系统 1
1.2 图像传感系统发展概述 4
1.2.1 光电探测器技术 4
1.2.2 图像传感芯片技术 6
1.2.3 未来发展趋势 9
1.3 图像传感芯片典型应用场景 11
1.3.1 图像传感芯片用于移动设备领域 11
1.3.2 图像传感芯片用于安防监控领域 12
1.3.3 图像传感芯片用于车载领域 12
1.3.4 图像传感芯片用于三维成像和测距 13
1.3.5 图像传感芯片用于空间领域 14
1.3.6 图像传感芯片用于荧光寿命成像领域 15
参考文献 15
第2章 图像传感芯片指标 17
2.1 图像传感器的分类 17
2.1.1 CCD图像传感器与CMOS 图像传感器 17
2.1.2 面阵图像传感器与线阵图像传感器 19
2.1.3 二维图像传感器与三维图像传感器 19
2.1.4 模拟输出、数字输出与SoC 型图像传感器 20
2.1.5 正照式图像传感器与背照式图像传感器 21
2.1.6 滚筒式曝光图像传感器与全局曝光图像传感器 22
2.1.7 典型图像传感器简介 23
2.2 工作条件 29
2.2.1 工作温度、供电电压与环境辐照 29
2.2.2 图像传感芯片工作载板 30
2.3 图像传感芯片参数 31
2.3.1 分辨率 31
2.3.2 填充因子 31
2.3.3 吸收系数 32
2.3.4 量子效率 32
2.3.5 转换增益 33
2.3.6 全局系统增益 33
2.3.7 灵敏度 34
2.3.8 满阱容量 35
2.3.9 暗电流 35
2.3.10 噪声 36
2.3.11 非均匀性 39
2.3.12 信噪比 40
2.3.13 动态范围 40
2.3.14 量化位数 41
2.3.15 帧频与功耗 41
2.3.16 图像处理计算量 41
参考文献 42
第3章 图像传感芯片感光机理和关键工艺 43
3.1 半导体的光电效应 43
3.1.1 硅的光电效应 43
3.1.2 载流子的产生 44
3.1.3 载流子的复合 46
3.1.4 光线的反射 46
3.1.5 光电流的收集 46
3.1.6 光电流的积分和转换 50
3.2 光电探测器件及像素结构 53
3.2.1 光电探测器件 53
3.2.2 CCD像素结构 55
3.2.3 CMOS像素结构 56
3.3 CMOS图像传感器关键工艺 63
3.3.1 CMOS工艺流程 63
3.3.2 正照与背照技术 70
3.3.3 三维堆叠技术 72
3.3.4 光刻板拼接技术 74
参考文献 77
第4章 CMOS图像传感芯片 78
4.1 CMOS图像传感芯片架构 78
4.2 CMOS图像传感芯片电路模块 83
4.2.1 模数转换器 83
4.2.2 相关双采样电路 93
4.2.3 电荷泵 97
4.2.4 带隙基准 106
4.2.5 锁相环 109
4.2.6 总线 114
4.2.7 高速接口 120
4.2.8 图像信号处理器 126
4.3 CMOS图像传感器仿真模型 129
4.3.1 光电转换模块 130
4.3.2 电压转换模块 134
4.3.3 源极跟随器 136
4.3.4 读出电路 144
4.3.5 阵列仿真模块 146
参考文献 149
第5章 大动态范围图像传感芯片 150
5.1 大动态范围成像原理 150
5.1.1 动态范围分析 150
5.1.2 大动态范围成像挑战 153
5.2 动态范围扩展技术 155
5.2.1 多次曝光技术 155
5.2.2 非线性响应像素设计 158
5.2.3 多灵敏度设计 161
5.3 典型应用 165
5.3.1 消费电子 165
5.3.2 智能驾驶 165
参考文献 166
第6章 单光子图像传感器 167
6.1 单光子雪崩二极管 167
6.1.1 概述 167
6.1.2 SPAD像素 168
6.1.3 前端电路 173
6.1.4 典型应用 178
6.2 电子倍增CCD 178
6.2.1 概述 178
6.2.2 芯片架构与工作原理 179
6.2.3 倍增寄存器 180
6.2.4 主要参数 181
6.2.5 典型应用 182
6.3 量子图像传感器 183
6.3.1 概述 183
6.3.2 工作原理与芯片架构 184
6.3.3 理论参数 186
6.3.4 QIS像素 193
6.3.5 低噪声读出电路设计 197
6.3.6 典型应用 202
参考文献 203
第7章 基于飞行时间的深度图像传感芯片 205
7.1 三维成像技术 205
7.1.1 三维成像技术原理 205
7.1.2 三维成像技术分类与对比 206
7.2 DToF图像传感芯片 212
7.2.1 DToF图像传感芯片工作原理 212
7.2.2 DToF像素 216
7.2.3 DToF图像传感芯片中的TDC 219
7.2.4 DToF三维图像传感器行为级模型 227
7.3 IToF图像传感芯片 232
7.3.1 IToF图像传感芯片工作原理 232
7.3.2 IToF像素 237
7.3.3 IToF图像传感芯片关键电路 244
7.3.4 IToF三维图像传感器行为级模型 248
7.4 典型应用 253
7.4.1 自动驾驶 254
7.4.2 消费电子 255
参考文献 256
第8章 线阵图像传感器芯片 258
8.1 线阵图像传感器 258
8.1.1 线阵成像基本原理 258
8.1.2 时间延时积分成像技术 258
8.1.3 TDI图像传感器的评价指标 260
8.2 TDI-CCD图像传感器 262
8.2.1 CCD的工作原理 262
8.2.2 CCD的转移方式 269
8.2.3 TDI-CCD图像传感器工作原理 273
8.3 TDI-CMOS图像传感器 274
8.3.1 曝光方式 274
8.3.2 信号累加方式 280
8.3.3 读出电路 291
8.4 典型应用 292
参考文献 294
第9章 光谱图像传感芯片 296
9.1 光谱成像技术与成像系统 296
9.1.1 光谱感知理论 297
9.1.2 光谱成像技术 297
9.1.3 光谱分光类型 298
9.2 光谱图像传感芯片成像技术 304
9.2.1 基于光子晶体滤波的成像技术 304
9.2.2 基于微纳结构滤波的成像技术 307
9.2.3 基于光谱透镜的成像技术 311
9.2.4 光谱图像重建方法 311
9.3 典型应用 314
9.3.1 遥感探测 314
9.3.2 精准农业 315
9.3.3 医疗影像 315
9.3.4 环境监测 316
参考文献 317
第10章 仿生智能图像传感芯片 319
10.1 仿生视觉系统 319
10.1.1 生物视觉成像机理 319
10.1.2 仿生智能视觉传感器 323
10.2 动态视觉传感器 326
10.2.1 差分型像素 326
10.2.2 信号传输方式 331
10.2.3 基于动态视觉传感器的其他成像结构 333
10.3 脉冲阵列仿生视觉传感器 337
10.3.1 脉冲调制像素结构 339
10.3.2 异步复位型脉冲像素结构 342
10.3.3 基于变化阈值的脉冲视觉图像重构方法 346
10.4 感存算一体仿生视觉传感器 350
10.4.1 感存算一体智能传感器典型成果 351
10.4.2 感存算一体智能传感器架构 352
10.5 典型应用 354
参考文献 357

第1章绪论
　　1.1图像传感系统
　　人类通过五官感知外界信息，并将得到的信息送到大脑进行思维和判断，然后大脑命令四肢完成某种动作。传感器能够代替人类的五官实现视觉、听觉、嗅觉、触觉、味觉信息的感知。光信息是容量*大、传播速度*快的一种信息，视觉信息占人类获取信息的80%以上，因此其重要性排在*位。人类依靠眼睛感知视觉信息，人眼大约包含5.76亿个像素，与复杂的生物图像信息处理系统共同构成了人类的视觉系统。
　　作为自然界历经亿万年进化形成的结果，人类具有一套精密而复杂的视觉系统。如图1-1所示，人类视觉系统主要包含眼球、视觉神经、视觉皮层三个部分[1]。眼睛通常呈球形，其剖面如图1-2所示[2]。外界光线透过角膜入射眼球中，随后被虹膜遮挡，仅有部分通过虹膜中央的瞳孔进入到晶状体。虹膜本身由肌纤维构成，可以收缩或舒张以控制瞳孔的大小，从而根据光强决定进光量。晶状体呈双凸透镜状，对入射光线起汇聚作用，由肌肉调节其屈光度，将视场中不同远近的物体清晰地反映到眼球后半部的视网膜上。视网膜接收到光信号后，将光信号转化为电信号，经过初步对比、过滤后，将电信号通过视觉传导通路输入视觉中枢进行处理。左右眼一共导出4路视神经，这里分别称为左1、左2和右1、右2。在到达视交叉前，左1和左2具有相同路径，类似地，右1和右2也具有相同路径。在视交叉处，左2和右1完成交叉互换，使得左1和右1构成左视束，连接左外侧膝状体核（lateral geniculate nucleus，LGN），而左2和右2构成右视束，连接右LGN。这样，左右LGN均分别接收到来自左右眼的视觉信号。LGN是传导通路的中继，视觉信号在此更换神经继续向大脑的视觉皮层进行投射，经过一系列的处理后*终形成人类视觉。
　　由于眼睛在人体感觉器官中的重要地位，人们一直以来都在努力寻找能够替代人眼并能进一步弥补人眼不足的工具，提高人体的视觉感知能力。图像传感器可以感知图像信息，看到超出人眼视觉范围的微观世界和宏观世界，如各种高速运动过程、超宽动态范围场景、各类近红外和紫外场景。如果说计算机相当于人的大脑，那么图像传感器则相当于人的眼睛，其作为图像信息获取*重要和*基本的技术，在人类生产、生活中占据着极其重要的地位。20世纪以来，图像传感和图像处理技术迅猛发展，图像传感的分辨率、帧频、动态范围等系列指标和噪声抑制、颜色处理等能力迅速提升。学习和掌握图像传感器的原理和技术，可以帮助人类提升视觉感知范围，获得高质量的图像信息。
　　根据图像传感器的成像原理和存储方式，可以将其划分为卤化银成像系统和固态电子成像系统。法国人尼塞弗尔？尼埃普斯（Nicéphore Nièpce）于1826年发明了世界上**台相机，开启了人类记录图像方式的新纪元。真正的里程碑是1839年法国美术家与化学家达盖尔（Daguerre）发明的世界上**台可携带木箱照相机，如图1-3所示，它采用银版摄影法，利用卤化银的感光机理，将一块表面有碘化银的铜板曝光，然后用水银蒸汽蒸，再用盐溶液固定，形成永久图像。
　　随着感光材料的发展，1888年，美国柯达公司的前身伊斯特曼干板公司生产出新型感光材料——胶卷，同样基于卤化银感光机理，即通过光子激发形成激子，让激子与卤化银发生反应，形成黑白成像的暗色部分。当时的相机将图像的光学信息转换为感光胶片的化学信号，借此将光学信息存储在胶片上，图像的再现过程也需要经历一系列复杂的化学逆反应，无法做到图像的实时显示，限制了图像信息的实时交流与共享。胶片相机固有的缺陷使其难以融入这个信息高速传递、多媒体密集交互的时代，逐渐被新兴的固态电子成像系统取代。
　　固态电子成像系统是将图像信息转换为电学信号，以数字信号的形式存储在光盘、硬盘等半导体存储器中，可以实时在显示设备上显示图像。随着集成电路设计技术和制造技术的发展，固态电子成像系统的成像精度越来越高，且其成本受益于半导体制造工艺的不断发展而持续降低。因此，固态电子成像系统已取代卤化银成像系统，成为当前普遍使用的图像传感技术。现代图像传感器经历了真空管图像传感器、电荷耦合器件（charge coupled devices，CCD）图像传感器、互补型金属氧化物半导体（complementary metal-oxide semiconductor，CMOS）图像传感器三个阶段。由于硅在可见光波长范围内有良好的吸收特性，并且硅基超大规模集成电路制造技术已相当成熟，所以硅基图像传感器获得了迅猛发展。
　　1975年，柯达应用电子研究中心工程师史蒂芬？沙森（StevenSasson）开发出世界上**台数码相机（图1-4），这台相机非常笨重，拍摄的照片如图1-5所示。在官方记载中有以下文字：“我们创造出一部无胶卷手持相机，通过电子方式拍摄黑白静像，并将它们记录到不太昂贵的音频级盒式磁带机上。磁带机能从相机内取下，并插入播放设备，以便在电视上观看。”
　　该相机拥有1万像素（按100×100阵列排列）的CCD黑白感光元件。每个像素占4个位，由0和1组成的四位数组合表示照片中的每一个点。一旦拍摄完毕，影像便会经过数字化处理并存储到相机中的内存缓冲区。照片可存储到永久性存储器内，存储器可以从相机上取下，并在播放设备上播放。从曝光那一刻起，相机需花费大约23s的时间将影像写入磁带机。拍好以后需要把磁带拿下来，放到播放设备上才能够实现照片显示。这个原型相机于1975年10月7日拍摄出历史上**张数字静态相片。
　　图1-4**台数码相机图1-5**台数码相机拍摄的照片
　　1.2图像传感系统发展概述
　　光电成像系统将采集到的图像信息转换为电学信息，并将这些信息存储在光盘、硬盘等存储介质中，图像可以通过显示器等设备进行实时显示。随着微电子技术的进步，存储介质朝着大容量、小型化的方向发展，提高了固态电子成像系统的便携性。此外，高速发展的图像处理技术和通信技术，使得固态电子成像系统的优势更加明显。
　　1.2.1光电探测器技术
　　图像传感器的工作基础是光电效应，即利用光电器件的光电转换功能，将光信号转换为与之成相应比例的电信号。根据光电效应不同，图像传感器分为外光电效应传感器和内光电效应传感器两类。电子束摄像管、图像增强管与变相管等真空管图像传感器属于外光电效应传感器；CCD图像传感器、CMOS图像传感器属于内光电效应图像传感器，这两种传感器均属于固态图像传感器。
　　利用外光电效应的真空管图像传感器，其中的光电管或光电倍增管工作原理如图1-6所示。入射光子打在阴极材料上，将其内部电子轰击出来形成光电流，电流值随着入射光强的改变而改变，从而可检测光信号。
　　半导体光电器件包括光敏电阻、光电池、光电二极管（photo diode，PD）、光电三极管等，都是利用内光电效应工作。内光电效应与外光电效应*大的区别在于，内光电效应中入射光子并不直接将光电子从光电材料内部轰击出来，而只是在光电材料内部将电子从低能态激发到高能态，在低能态留下一个导电空穴，在高能态产生一个能自由移动的电子。这样一对由入射光子激发产生的电子空穴对，称为光生电子空穴对。光生电子空穴对仍在材料内部，它会改变半导体材料的导电性能，通过检测这种改变就可探测光信号。
　　固态电子成像器件一般指半导体图像传感器，在同一半导体衬底上制作一维线阵型像素阵列或二维面阵型像素阵列，将图像的光信号转换为电信号，加上时序控制、信号处理等电路，可构成集成化、功能化的图像传感器。固态图像传感器直接扫描半导体上各个像素获得的电信号，输出信号对应像素的位置，准确率高，图像失真度小，典型的固态电子成像器件如图1-7所示。
　　图1-6光电管或光电倍增管工作原理图1-7固态电子成像器件
　　真空管图像传感器由于扫描电子束偏转畸变会使图像产生较大失真，电子束生成设备极其昂贵、笨重，而且操作不便，很难大规模应用。而固态图像传感器除了图像失真小，还具有体积小、集成度高、质量轻、分辨率高、功耗低和抗电磁干扰能力强等优点。因此，自20世纪70年代固态图像传感器诞生以来，很快就取代了真空管图像传感器，在航空航天、通信、雷达、医学、气象、军事等领域得到迅速推广。
　　1.2.2图像传感芯片技术
　　图像传感芯片一般指在同一半导体衬底上，集成若干光敏单元和移位寄存器，构成的集成化、功能化的光电芯片，利用光敏单元的光电转换功能，将其感光面上的光像转换为与光像成相应比例关系的“图像”电信号，并将转换结果按照感光面上对应的空间位置排列成二维矩阵形式进行存储，相比传统的胶片成像，具有可实时处理和显示、数字输出、便于存储和管理等诸多优势。1969年，美国贝尔实验室发明固态图像传感芯片，经过50多年的发展，在分辨率、光谱响应、噪声特性、响应速度等方面都突破了人眼的极限，取得显著进步。图像传感芯片广泛应用于智慧城市（虚拟现实、机器人视觉、体感游戏、智能交通、医疗影像、智能终端、安防监控等）、工农业生产（智能化产品制造、农业、现代物流、智能监控等）、国防安全（机载探测跟踪、光雷达跟踪、光电武器制导等）和科学研究（宇宙天体成像、微观生物学、生命科学观测、新型电子显微镜等）等领域。图像传感芯片技术结合图像处理、网络通信技术，承载了物联网中绝大部分的信息获取任务，为生产、生活、科研、国防等各个领域实现智能化提供了重要基础和技术支撑。
　　早在19世纪，人们就已经发现半导体材料的光电效应，而固态图像传感器的发展则要从1965年美国仙童半导体的G.P.Weckler发现反偏PN结的光电特性算起[3]。Weckler提出了光电流积分模式工作的PN结，光电流在反向偏置的PN结电容积分，采用MOS开关读出积分电荷，信号电荷以电流脉冲的形式出现，可以采用一个串联电阻将电流脉冲转换为电压。1967年，**个基于MOS管的图像传感器诞生[4]，它的光电探测器部分利用反偏PN结的无源像素（passive pixel sensor，PPS）结构，这也是现代CMOS图像传感器的原型。但是直到20世纪90年代初，基于无源像素的CMOS图像传感器也并未获得广泛应用，主要是由于受到工艺水平的限制存在较大噪声和图像拖尾。在20世纪70年代至90年代，基于CCD技术的图像传感器迅速发展。
　　1969年，美国贝尔实验室发明CCD图像传感器，它*初被用作电荷的存储以及转移器件。CCD拥有良好的感光特性，因此成为固态图像传感器的重要分支之一。早期CCD图像传感器的光电收集与电荷传输均在CCD器件中完成，