LV035-CCD与CMOS
一、图像传感器分类
前面我们知道图像传感器是将光信号转换为电信号的设备，广泛应用于数码相机、摄像机、智能手机、无人机、自动驾驶汽车以及各种工业和医疗应用中。常见的图像传感器主要有以下几种：
- CCD 图像传感器
CCD 的结构就象一排排输送带上并排放满了小桶，光线就像雨滴撒入各个小桶，每个小桶就是一个像素。按下快门拍照的过程，就是按一定的顺序测量在一个短暂的时间间隔中，小桶中落进了多少“光滴”，然后逐个记录下来并放大为电信号。这个记录的过程式串行工作的，所以早期的 CCD 数码相机虽然成像质量好，但是集成度受限制，连拍速度没有 CMOS 传感器的数码相机快。
- CMOS 图像传感器
CMOS 图像传感器的各个光电二极管都配备有放大器，因此可即时放大电流并一次性转换传输出去。所以具有速度快，功耗低的特点，早期的 CMOS 图像传感器存在噪点多、感光度低, 画质相对差的问题，但伴随技术发展，现在的 CMOS 传感器可以拍出超越 CCD 图像传感器的高画质视频与静止图像，在智能手机、数码相机等众多领域，CMOS 图像传感器成为了主流。
- 3D ToF 图像传感器
3D ToF（Time of Flight，飞行时间） 图像传感器是一种基于测量光从传感器发射至目标物体到其返回的时间，从而构建三维图像数据的传感器。这种传感器通过计算光脉冲的飞行时间来确定物体与传感器之间的距离，从而生成三维点云数据。
由于光速达到每秒约 30 万公里，如果直接测量光的反射时间，在进行细微的距离和图像检测的时候很难分辨出其飞行时间的差别。 所以一般来说 ToF 传感器会采用间接测量的方法，测量反射光相对于发射光的相位差来获取深度信息。传感器会发射调制过的红外光，并测量从不同距离的不同表面接收到的光的相位差。图中使用了两个接收检测器，第一个检测器的开关相位与发射光相同。会捕获一部分的反射光。而第二个检测接收器的开关相位与发射光相反，反射光也有另外一部分被其捕获，比较两个检测器捕获到的光子量的不同，就可以得到反射光相对于发射光的相位差，从而获得准确的距离信息。
ToF 传感器可以与 RGB 图像结合， 用算法组合 RGB 和深度图像，从而获得包含颜色和深度的场景和观察对象的 3D 信息，这在一些智能应用场景中具有重要作用，例如对汽车内乘客手势的识别。下图中的深度信息以颜色来表示，颜色越靠近红色，表明距离摄像头越近，越靠近蓝色，表明距离越远。
在汽车领域，TOF 被用于自动驾驶，防撞自动刹车、手势识别等功能。此外，TOF 也应用于手机的人脸识别，相机对焦，体感游戏中的 AR 与 VR 功能。
这里有一篇 TI 的文档：3D ToF 三维场景距离（景深）测量系统简介，主要介绍了 3D ToF 传感器的基本原理，里面提到的芯片是 OPT9221。
二、CCD（电荷耦合器件）
1. CCD 简介
1.1 CCD 是什么？
CCD，Charge-Coupled Device，即电荷耦合器件。CCD 的基本感光单元，是金属氧化物半导体电容器（MOS = Metal Oxide Semiconductor Capacity），它用作光电二极管和存储设备。
 |  |
1.2 三种 CCD 架构
CCD（电荷耦合器件）图像传感器体系可分为全帧（FF）、帧传输（FT）和行间传输（IT）三种 CCD 架构。
1.2.1 Full frame CCD
Full frame CCD 又叫全帧 CCD, 阵列的每一个像素都感光。传输时，每一列向单行串行寄存器上相应的位置转移。同时串行寄存器向 CCD 阵列的出口转移。Full frame 是可以利用整个感光区域，有效的增加了感光面积，同时也适应了长时间曝光。因此在上一帧曝光后，要先进行电荷输出，否则的话，下一帧曝光开始，上一帧还在读出阶段，就容易出现拖尾现象。因此这种 CCD 必须使用机械快门。同时也限制了 Full frame CCD 连续拍照的能力。
为什么必须要机械快门?这是因为 CCD 的光激活区并不会因为已经决定是时候执行读出而停止光激活。如果没有在曝光周期完成后阻挡入射光的机械快门，或者说在读出过程中快门没有关闭，光线会持续照射到 CCD 上。那么，在电荷逐行向下转移的整个漫长过程中：
- 正在被读出的电荷：在向下移动的路径中，会继续受到光照，产生新的电荷，并与原始信号混合在一起。
- 已经读出区域的像素：会开始新一轮的曝光，产生无关的电荷。
- 尚未被读出的像素：在等待被读出的时间里，也会积累额外的、非预期的电荷。
1.2.2 帧传输（Frame-Transfer）CCD
FT-CCD 允许我们保持 FF-CCD 的一些优点，同时（几乎）不需要快门。这是通过将 FF CCD 分成两个大小相等的部分来实现的。其中一个部分是普通的光敏成像阵列，另一个部分是屏蔽入射光的存储阵列。
在集成之后，用于所有像素的电荷包被快速地传输到存储阵列，然后在存储阵列中发生读出。当读取存储位置时，活动像素可以为下一图像累积电荷，这使得帧传输 CCD 能够获得比全帧 CCD 更高的帧速率。
FT 架构的主要缺点是成本较高，并且相对于图像质量而言面积增大，因为基本上是使用 FF 传感器，然后将像素数减少两倍。
帧传输 CCD 在全帧架构中增加了一个存储阵列
1.2.3 线间传输（Interline-Transfer）CCD
Interline Transfer CCD 又叫线间传输 CCD，这种 CCD 曝光后所产生的电荷都被转移到附件的移位寄存器，通过垂直传送向下转移到底部，按一定排序输出。这种 CCD 的优点是在曝光后即可将电荷储存在寄存器，继续曝光速度较快，感光和传送不在同一列，从而避免了拖尾现象。缺点是寄存器占用了感光面面积，也相应的牺牲了动态范围，芯片的每个像素并不是都感光，对于定位测量要求比较高的应用会有影响。
2. 基本结构
CCD 传感器的基本单元是光电二极管或 MOS 电容构成的感光像素井。曝光期间，像素井内累积的电荷表示入射光子数量。在读出过程中，CCD 依赖严格的时序控制，将积累的电荷逐行、逐列“接力式”地向传感器边缘的输出放大器转移，最终将整块感光阵列中所有像素的电荷移出，并在相同放大器中读出信号。一个全帧率 CCD 架构图如下图所示：
CCD 传感器电路框图大概如下所示：
对于左侧信号的采集这部分，忽略电路板部分，只关注感光部分，大概类似于这样：
总的来说，CCD 本质上是一个大阵列的半导体“桶”，可以将传入的光子转换为电子并保持累积的电荷。这些电荷通过逐行移位传输，即可以被垂直移位寄存器，向下转移到水平移位寄存器，水平移位寄存器以将电荷转换为电压并通过放大器输出。
3. 特点
CCD 相机是全局曝光，全局曝光是传感器上所有像素在同一时刻开启曝光并在同一时刻曝光结束，将物体某时刻的状态成像，对运动物体而言，类似于将物体冻结了，所以适合拍摄高速运动的物体。但是它采用逐个光敏输出，速度较慢。
3.1 Smear现象
CCD 会有 Smear 现象，smear 是 CCD 传感器在拍摄强烈点光源照射下的景物时出现光散射，形成条状光线影像的现象，一般称为漏光。这种称作漏光（Smear）的光散射现象是由于 CCD 传感器物理结构上的缺陷导致，从 CCD 的读取方向，即画面的垂直方向上入射的强光会穿透图像保护层产生多余影像而形成的，特别是没有使用机械快门的摄像机在拍摄时会有严重漏光现象。一般是 场景中存在极强光源或高反光物体，例如直接拍摄太阳、路灯等情况下会容易出现这种现象。
3.2 Blooming效应
当场景中存在亮度较高的点光源或亮区域时，CCD在亮点光源附近区域会存在Blooming效应，也叫做“开花”、“光晕”、“光溢出”。
这个问题发生的原因是CCD传感器的像素在受到强光照射时，亮点区域像素光照太强，光电二极管在强光下产生的光电子数超过了CCD电荷存储区可存储的最大电子数而溢出，溢出的电子将沿行或列的方向进入到了相邻像素，“污染”了相邻图像区域 (专业说法是：使相邻区域也饱和了)。如下图照片中太阳周围一片像素的值基本都饱和了。
5. 电荷转移与读出机制
使用 CCD 相机生成图像，可分为四个主要阶段或功能：通过光子与器件光敏区域相互作用产生电荷、收集和存储释放的电荷、电荷转移和电荷测量。
① 信号电荷的产生：第一步是电荷的产生。CCD 可以将入射光信号转换为电荷输出，依据的是半导体的内光电效应（光伏效应）。
② 信号电荷的存储：第二步是信号电荷的收集，就是将入射光子激励出的电荷收集起来成为信号电荷包的过程。
③ 信号电荷的传输（耦合）：第三步是信号电荷包的转移，就是将所收集起来的电荷包从 一个像元转移到下一个像元，直到全部电荷包输出完成的过程。
④ 信号电荷的检测：第四步是电荷的检测，就是将转移到输出级的电荷转化为电流或者电压的过程。
举个例子：
假设一个 N×M 的像素阵列，曝光结束后，每个像素内含有一定电荷(每个像素本身仅负责收集和存储电荷，不进行像素级放大或独立输出)。CCD 的控制时序使第一行电荷沿行方向转移到输出放大器的寄存器中，然后这一行电荷逐像素输出并转换为电压信号。接着第二行电荷移位到第一行位置，再输出，如此循环，直到所有像素的电荷被读出。
关于 CCD 工作原理，有一个经典的区域雨水测量比喻：
 |  |  |
CCD 串行读出方式，可以用桶旅测量区域雨量来示意。其中落在桶阵列上的降雨强度可能因地而异，与成像传感器上的入射光子相似，如图（a）。这些桶在积分期间收集了不同数量的信号（水），桶在传送带上向代表串行寄存器（Serial Bucket Array）的一排空桶传送。在图（b），一整排存储桶被并行移动到串行寄存器的存储库中。串行移位和读出操作如图（c）所示，其中描绘了每个桶中累积的雨水被顺序转移到校准的测量容器中，这类似于 CCD 输出放大器。当串行传送带上所有容器的内容物按顺序测量完毕后，另一列并行班次（Parallel Register Shift）将下一行收集桶的内容物转移到串行记录容器中，重复该过程，直到每个桶（像素）的内容物都测量完毕。
这一过程就像流水线，把全片存储的电荷逐行、逐像素地移向输出放大器。由于此过程电荷严格按照线性顺序移动，像素与像素间匹配性很高，输出信号一致性好，从而降低固定模式噪声。
5. 优势和不足
- 优势：像素间一致性高，输出信号品质均匀，低固定模式噪声，图像质量优异；在早期成像器件中广泛应用于科研、天文成像和专业摄影器材。
- 不足：CCD 逐行移位需要额外的电荷耦合路径，读出速度较慢，且功耗高。此外，制造 CCD 工艺复杂且成本较高，传感器面积大时的读出速度和复杂性也更具挑战。
三、CMOS（互补金属氧化物半导体）
1. CMOS 简介
CMOS 称为互补式金属氧化物半导体（Complementary Metal-Oxide-Semiconductor，缩写作 CMOS），是一种集成电路的设计工艺，可以在硅质晶圆模板上制出 NMOS（n-type MOSFET）和 PMOS（p-type MOSFET）的基本元件，由于 NMOS 与 PMOS 在物理特性上为互补性，因此被称为 CMOS。它的微观结构图如下：
当前主流的 CMOS 厂商有：索尼、三星、豪威、格科微、思特威、安森美等公司。
CMOS 还分为背照式、前照式、堆栈式：
前照式与背照式 CMOS 的区别很好理解，一种是电路层位于感光二极管前面，一种是电路层位于感光二极管后面。如上图所示，前照式 CMOS 的金属电路挡在受光面前面，这样会损失很多光线，真正能够被感光二极管接收和利用的光线只剩 70%甚至更少。很显然，背照式 CMOS 极大提高了光线利用率，可以提高传感器灵敏度，最明显的改善就是低照度环境下成像质量更高。
这么“简单”的改进，就能明显提高画质，为什么不早这么做呢？
虽然只是结构上的小改动，但这意味着承载光电二极管的基板要非常薄，大概是传统 CMOS 的百分之一，对生产工艺和技术要求相当高。所以发展到足够的技术水平后，才出现背照式 CMOS。2008 年的 6 月，索尼公司正式发布了背照式 CMOS 传感器。直至今天，手机上采用的几乎都是背照式 CMOS。
堆栈式，也叫堆叠式、积层式。本来像素区域（负责感光）与处理电路（负责处理信号）都在同一晶圆上进行蚀刻，堆叠式是把二者分开了，像素区域在上，处理电路在下，二者堆叠起来“各司其职”，所以叫堆叠式。
堆叠式的好处，最在于“各司其职”。像素部分和电路部分分别独立，像素部分可针对高画质优化，电路部分可针对高性能优化。比如，像素部分直接用 65nm 制程（可理解为制造精度）足够了，但电路部分用这样的制程就太粗糙了，二者分开以后，电路部分就可以采用更高精度的制程提高信号处理能力。
2. 基本结构
CMOS 传感器的架构图如下：
CMOS 像素是一个 集成了感光与放大功能的微电路单元，使得每个像素可以直接输出电压信号。换言之，CMOS 中每个像素不仅有光电二极管（感光元件），还内置若干有源元件（如 MOSFET 晶体管）以实现信号的放大与读出。这种结构为随机访问与高速读出奠定基础。
- 光电二极管（Photodiode）：将光转化为电荷。
- 转换晶体管（Transfer Gate）：控制电荷从光电二极管转移至储存节点或直接到源跟随器。
- 源跟随放大器（Source Follower）：每个像素具有自己的小型放大电路，将电荷信号直接转换为电压信号。
- 复位晶体管（Reset）：将存储节点复位到参考电压。
- 行选择晶体管（Row Select）：选择性地将该像素输出到列总线上。
下图是看到的一个像素结构的示意图：
电路原理框图大概如下：
忽略电路板部分，只关注感光部分，有如下的示意图：
互补金属氧化物半导体设计不是传输电荷桶，而是立即将电荷转换为电压，并在微线上输出电压。
3. 特点
CMOS 相机是卷帘曝光，卷帘曝光是逐行顺序开启曝光，不同行间曝光的开启时刻有个很小的延迟，高速运动物体可能会产生Rolling shutter问题（常说的果冻效应），但是现在也有 全域快门，整个 CMOS 同时曝光，比如索尼 A93，就是很贵。CMOS 有多个电荷-电压转换器和行列开关控制，读出速度快很多.
可以看一下果冻效应产生的原因：
使用逐行曝光的sensor所致，因为sensor是逐行曝光的，行与行之间有时间差，当拍摄快速运动的物体时，会导致成像物体会有扭曲，被拉长了，注意要和曝光时间导致的拖影做区分，曝光时间过长会有拖影，但不会导致成像物有变形；
措施：
（1）通过提高帧率、减少一行时间可以减少曝光时间，能缓解果冻效应 。
（2）换全局快门（Global Shutter）的 sensor，能彻底解决果冻效应，全局快门的 sensor 可以允许所有的像素在同一时间开始和结束曝光，曝光结束后再顺序读出。因为所有像素曝光的时间都在同一时间点，不会有时间差，所以不会出现拍摄快速运动物体时的果冻效应。
关于 CMOS 的快门，这里有一篇文档做了详细介绍：Digital camera design, part 3: CMOS rolling shutter and global reset schemes - EDN
4. 随机访问与并行读出
CMOS 的像元工作示意图如下：
与 CCD 需要逐行移位电荷不同，CMOS 通过地址逻辑可随意访问任何一行像素。当行选择晶体管被激活，该行像素的信号通过列线输出到读出电路。
 |  |
这种架构允许 CMOS 传感器同时对多行进行操作，从而实现高速读出。CMOS 的读出过程更像在处理一个二维阵列的内存寻址，可以提高帧速率，减少功耗，还能实现局部放大（Region of Interest）读取。
5. CMOS 的放大与噪声特性
虽然每个像素都有独立放大器，但这会导致像素间存在固定模式噪声（FPN）：由于工艺微差，每个像素的放大器增益或偏置电平略有不同，从而在图像上呈现固定的条纹或斑点状噪声。
为减小 FPN，CMOS 传感器通常配备片上校正电路和后期数字校正，通过双采样（Correlated Double Sampling, CDS）和数字电路减少读出过程中的偏移与噪声。
6. 优势和不足
- 优势：低功耗、高速读出、制造成本相对较低（可与标准 CMOS 工艺兼容），易于集成片上处理电路（ISP）。因此 CMOS 传感器逐渐在消费级数码相机、手机摄影、车载摄像头和各类嵌入式成像领域占据主流。
- 不足：早期 CMOS 器件噪声较高、画质不如 CCD，但随着工艺进步和信号处理技术的提升，CMOS 画质已大幅改善。在高端应用中（科学成像、医疗或天文）CMOS 方案也正快速普及。
四、CCD 与 CMOS 对比
CCD 和 CMOS 传感器是目前最常见的感光传感器，广泛应用于数码相机、数码摄像机、照相手机和摄像头等产品上。两者在结构、性能和技术上均不尽相同。
| CCD VS CMOS | ||
| 对比项目 | CCD 传感器 | CMOS 传感器 |
| 全名 | 电荷耦合器件传感器 | 金属氧化物半导体传感器 |
| 像元水桶模型 |  |  |
| 传输逻辑 | CCD 像元产生的电荷，需要先寄存在垂直寄存器中，然后分行传送到水平寄存器，最后单独依次测量每个像元的电荷并放大输出信号。 | 在每个像素上使用晶体管, 电荷通过传统导线移动, 每个像素都得到单独的处理。 |
| 像元信号 | 电荷 | 电压 |
| 图像质量 | CCD 技术起步早，采用 PN 结或二氧化硅隔离层隔离噪声，有一定优势，但随着技术发展，已无压倒性优势 | 早期 CMOS 由于光电传感元件、电路间距离很近，光、电、磁干扰严重，成像质量差。随着 CMOS 电路消噪技术发展，和 CCD 已相差无几 |
| 图像分辨率 | 高 | 稍低 |
| 处理速度 | 低，同步信号控制下串行逐行移位读取，速度较慢 | 高，每个像素有单独电路，信号读取简单，速度较 CCD 快很多 |
| 噪点 | 只有一个放大器放在芯片边缘，噪点较少 | 每个像素都搭配一个放大器，放大器之间难以做到一致，噪点相对较多 |
| 对光的敏感度 | 更高 | 较低 |
| 功耗 | 被动式采集图像，必须外加电压让每个像素中的电荷移动到传输通道，功耗高于 CMOS。 | 主动式采集图像，像素中的电荷直接由旁边的晶体管放大输出，功耗较低。 |
| 发热 | 更多 | 较少 |
| 成本 | 采用电荷传递方式，只要其中一个像素异常，会导致整排数据失效。良品率低，制造要求高，成本高于 CMOS。 | 和一般半导体电路使用相同的 CMOS 工艺，可以轻易集成周边电路到芯片中，成本较低。 |
| 快门 | 全局快门(几乎同时捕捉所有光线) | 滚动快门(从上到下分行暴光) |
| 制造工艺 | 复杂 | 简单 |
参考资料：
相机（Camera）成像原理详解_相机成像原理-CSDN 博客
PBR 来龙去脉篇一：光和人眼感知颜色_人眼亮度敏感曲线-CSDN 博客
图像传感器原理介绍 （史上最详细的 CCD 和 CMOS 介绍）_微视界
全面详细解析 CMOS 和 CCD 图像传感器 - 吴建明 wujianming - 博客园
CMOS 图像传感器的参数和评价标准_cmos 弱光-CSDN 博客
工业相机与镜头靶面尺寸的关系：从原理到选型的避坑指南 - 教程 - ljbguanli - 博客园
(3 封私信) 工业相机的靶面是什么？它影响了哪些因素？ - 知乎
(3 封私信) 键盘摄影（五）——相机成像元件：CMOS/CCD - 知乎
Camera 和 Image sensor 技术基础笔记(1) -- 光和 CCD/CMOS sensor 基础知识_sensor blooming-CSDN 博客
全面详细解析 CMOS 和 CCD 图像传感器 - 吴建明 wujianming - 博客园
堆栈式 CMOS、背照式 CMOS 和传统 CMOS 传感器的区别-腾讯云开发者社区-腾讯云
(3 封私信) Full frame CCD 和 Interline CCD 有何区别，性能有何差异？ - 知乎