LV016-相机简介
这部分简单了解下相机和相机模组，知道里面都有什么就可以了。
一、相机简介
简单的了解一下相机的一些内容。
1. 相机的成像
相机成像的原理其实很简单：小孔成像（准确说是凸透镜成像但为了简化模型 使用小孔成像做比喻 不太准确但更好理解）：
在一个完全无光的黑盒子里（我们称之为暗室）开一个小孔， 光线只能通过这个小孔进入暗室这时候，外部的实物会在盒子里形成一个倒影，在小孔正对面有一个记录光线信息的感光元件：以前胶片相机的感光元件是银盐 也就是胶片，现在数码相机是 CMOS 或者 CCD，感光元件然后再把光线信息保存下来（数码相机有个模数转换） ，就成了我们现在司空见惯的照片。
2. 单反相机
接下来看一下单反相机的组成：
CMOS 记录下光线信息后交给影像处理器将模拟信号转换到数字信号，然后再保存到 SD 卡中就拍下了一张照片。
主要组成部分就是：机身和镜头，机身包括外壳、按键、屏幕&取景器、处理芯片以及传感器 CMOS（CCD） 等，镜头主要包括多个镜片、对焦马达、光圈叶片以及对焦环和变焦环。
3. 镜头
这里再来简单看一下相机镜头的基本结构：
二、摄像头模组 CCM
1. 简介
我们常说的 Sensor，也就是图像传感器，它只是整个摄像头模组的一部分，主要负责将接收到的光信号转换成电信号，实际上整个摄像头模组(Camera Compact Module，CCM)由很多部分组成，除 Sensor 以外的其他模块会负责完成对焦、滤光、减震、数据传输等功能，以便更好地采集图像。
 |  |
2. 模组的基本构造
CCM 包含四 ⼤ 件： 镜头(lens)、传感器（sensor）、软板（FPC）、图像处理芯 ⽚（DSP）。决定 ⼀ 个摄像头好坏的重要部件是：镜头（lens）、图像处理芯 ⽚ （DSP）、传感器（sensor）。
下图是一个 AF 自动对焦的摄像头模组的拆解示意图：
可以看到，其实和相机的组成都是差不多的，主要结构和原理是一样的。侧面结构如下：
2.1 镜头(Lens)
将光线汇聚到图像传感器上。相当于人眼中的晶状体，利用透镜的折射原理，景物光线透过镜头在聚焦平面上形成清晰的像，然后通过感光材料 CMOS 或 CCD 记录影像，并通过电路转换为电信号。Lens 一般由几片透镜组成透镜结构，按材质可分为塑胶透镜(plastic)或玻璃透镜(glass)，玻璃镜片比树脂镜片价格贵。塑胶透镜其实是树脂镜片，透光率和感光性等光学指标比不上镀膜镜片。 通常摄像头采用的镜头结构有：1P、2P、1G1P、1G2P、2G2P、2G3P、4G、5G 等。透镜越多，成本越高，相对成像效果会更出色。
2.2 红外滤光片(IR-cut Filter)
滤除人眼的非可见光。主要是过滤掉进入镜头的光线中的红外光，这是因为人眼看不到红外光，但是 sensor 却能感受到红外光，所以需要将光线中的红外光滤掉，以便图像更接近人眼看到的效果。
滤光片如下所示（注意，这不是 CCM 用的红外滤光片，只是类似的，大概都长这个样子）：
2.3 图像传感器(Sensor)
是摄像头的核心，负责将通过 Lens 的光信号转换为电信号，再经过内部 AD 转换为数字信号。每个 pixel 像素点只能感受 R、G、B 中的一种，因此每个像素点中存放的数据是单色光，所以通常所说的 30 万像素或者 130 万像素，表示的就是有 30 万或 130 万个感光点，每个感光点只能感应一种光，这些最原始的感光数据称为 RAW Data(由于 Sensor 的每个 pixel 只能感光 R 光或 B 光或 G 光，因此每个像素此时存贮的是单色的，称之为 RAW DATA 数据)。
Tips：ISP，Image Signal Processor，图像信号处理器；DSP，Data Signal Processor，数字信号处理器。
Raw Data 数据要经过 ISP（Image Sensor Processor ，Sensor 模块的组成部分）处理才能还原出三原色，也就是说如果一个像素点感应为 R 值，那么 ISP 会根据该感光点周围的 G、B 的值，通过插值和特效处理等，计算出该 R 点的 G、B 值，这样该点的 RGB 就可以被还原。
ISP 一般用来处理 Image Sensor（图像传感器）的输出数据，如进行：AEC（自动曝光控制）、AGC（自动增益控制）、AWB（自动白平衡）、色彩校正、Gamma 校正、祛除坏点、Auto Black Level、Auto White Level 等等功能的处理。 而 DSP 功能就比较多，它可以做些拍照以及回显（JPEG 的编解码）、录像以及回放（Video 的编解码）、H.264 的编解码、还有很多其他方面的处理，总之是处理数字信号。可以认为 ISP 是一类特殊的处理图像信号的 DSP。
注意：ISP 表示的是什么？Image Signal Processor（图像信号处理器）或者 Image Sensor Processor（图像传感器处理器）。Image Sensor Processor，相当于 Sensor 模块中的一部分，由 DSP 做处理器。Image Signal Processor 是一个真正的处理器。
目前常用的 sensor 有两种，一种是 CCD（电荷耦合）原件；一种是 CMOS（金属氧化物导体）原件。
CCD（Charge Coupled Device），电荷耦合器件传感器。使用一种高感光度的半导体材料制成，能把光线转变成电荷，通过模数转换器芯片转换成电信号。CCD 由许多独立的感光单位组成，通常以百万像素为单位。当 CCD 表面受到光照时，每个感光单位都会将电荷反映在组件上，所有的感光单位产生的信号加在一起，就构成了一幅完整的图像。
CMOS（Complementary Metal-Oxide Semiconductor），互补性氧化金属半导体。主要是利用硅和锗做成的半导体，使其在 CMOS 上共存着带 N(-)和 P(+)级的半导体，这两个互补效应所产生的电流可以被处理芯片记录并解读成影像。
2.4 图像处理芯片 DSP
是 CCM 的重要组成部分，它的作用是将感光芯片获得的数据及时地快速地传递到中央处理器并刷新感光芯片，因此 DSP 芯片的好坏，直接影响画面品质，如：色彩饱和度、清晰度、流畅度等。如果集成了 DSP，则 RAW Data 会经过 AWB（自动白平衡）、color matrix、lens shading（镜头阴影校正）、gamma（曲线调整）、sharpness、AE（自动曝光）和 de-noise 处理，最终输出 YUV 或者 RGB 格式的数据。
2.5 音圈马达(VCM)
音圈马达(Voice Coil Motor)也叫音圈电机，电子学里面的音圈电机，是马达的一种。因为原理和扬声器类似，所以叫音圈电机，具有高频响、高精度的特点。
它是在一个永久磁场内放置一个线圈，线圈通电后会产生磁场（安培定则），从而与外围的永久磁铁产生引力或斥力，导致线圈受力移动。如果把镜头安置在线圈上，则可以通过改变电流大小线圈带动镜头前后运动，从而控制镜头的位置，完成对焦的功能。
2.6 FPC 柔性电路板(柔性 PCB)
柔性印制电路板(Flexible Printed Circuit Board，FPCB)的主要作用是将组件与主处理器连接起来，同时完成 Sensor 与主处理器之间的原始数据传输功能。
三、OV8858 模组为例
这里先来了解一下模组里的sensor都有什么东西，后面再详细学习。
1. 简介
我之前买了一款野火的 OV8858 sensor 模块：
野火 OV8858 摄像头模块使用的是 OV8858 的 CMOS 类型数字图像传感器。
（1）摄像头模块为 35*26.5mm 大小, 体积小, 工作电压低。
（2）支持使用 8MP(4:3-3264*2448)、2MP(4:3-1632*1224)尺寸输出图像数据。
（3）内置温度传感器, 采集得的图像支持 DPC 坏点矫正、自动暗电流矫正、镜头阴影矫正和 alternate row HDR。
| 传感器 | OV8858 800W 像素、彩色 |
| 电路设计 | 5V 供电、板载 24M 有源晶振 |
| 接口 | MIPI CSI2Lanes |
| 镜头 | 镜头: 1/4 焦距: 3.5mm 光圈: 2.4 视场角: 68° 畸变: 小于 1.0% |
| 输出格式 | 10-bit RGB RAW |
| 最大帧率 | 3264 *2448:30fps 1632* 1224:60fps |
| 自动对焦 | 支持 |
| 工作温度 | -30~85℃ |
| 模块尺寸 | 高 35mm 宽 26.5mm |
2. sensor 组成
我们看一下规格书，可以看到它的框图：
可以看到 sensor 主要由以下几个部分组成：
image sensor core
image sensor processor
image output interface
Control bus
2.1 image sensor core
image sensor core 主要由 Image array， AMP & gain control， ADC 组成；
image sensor core 部分主要是模拟电路，通过 ADC 转换成数字电路。所以这部分也叫做 sensor 的模拟部分。
2.1.1 image array
像素阵列(image array)就是我们前面提到的，由光电二极管组成的阵列，当然实际的电路每个像素远远不止一个二极管那么简单。一个典型的 sensor 的版图如下：
可以看到像素阵列占了整个芯片大部分的面积。像素阵列对应的就是一个个的像素点，也就是我们成像看到的每个像素。
image array 是模拟电路，很难做到很先进的工艺，比如 40nm 这种水平，而且并不是工艺越先进越好。但是 sensor 的数字部分比如内部的图像处理和接口逻辑却是纯数字逻辑，这部分却可以做到很先进的工艺比如 16nm。所以现在一个方向是 sensor 里面由于数字部分的工艺越来越先进，反而能塞下更多的数字处理的部分。有些厂商就在这些方面发力，在 sensor 内部做一些前处理，让 sensor 输出的图像质量更好。
简化一下这个平面布置图（floorplan）如下：
可以看到，像素阵列可以分为 Optical Black 区域，Active Pixel 区域和 Dummy border 区域。
一般一个 sensor 的 Image array 的点的个数会大于实际成像的图像。比如一个 1920x1080 的 sensor，可能实际的 Image array 的点数是 1948x1108；为什么会这么做呢？一是 Image array 角落的进光量很少，一般会去掉一部分角落的像素点；二是会增加一些功能性的区域，比如 Optiacl Black 区域用来作为暗电流的对照，留下 dummy border 作为后续数字处理的时间余量和传递一些额外信息，比如 embedded data 告诉外部 sensor 的曝光值等等。
Image array 另外一个比较重要的就是读出电路了。如下图所示：
其实就是每次选择一行像素输出给后续的数字逻辑，所以图像都是按行逐行输出。来源就是这里的读出模式。
2.1.2 ADC
虽然这里的 ADC 只画了一个，但是真正的 CMOS SENOR 的 ADC 是有一行那么多。这和 CCD 结构有很大区别：
 |  |
| Basic schematics of CCD (left) and CMOS (right) sensor architectures. | |
2.1.3 AMP
还有一个重要的部件是模拟放大器（AMP），我们知道每个像素点的值越大，代表这个点越亮。AMP 就是直接在每一个点的值上面乘以一个倍数值，比如 1.5 倍，2.0 倍，0.8 倍等。这样就可以在暗的时候调亮，在太亮的时候调暗一点。
这个倍数就是 Analog gain，对应的另外的一个概念是 Digitail Gain。Analog gain 可以通过外部来控制 sensor 的寄存器来控制。
2.2 image sensor processor
image sensor processor 其实就相当于 sensor 内部的“mini ISP”， 主要完成一些必要的功能。在 500 万像素以下，sensor 甚至可以内部完成了整个 isp 的功能，直接输出 YUV 图像，外部不再需要 ISP 处理，但是图像质量一般。随着像素越来越多，sensor 功耗限制，现在大尺寸的 sensor 都是输出 RAW 格式，内部只做一些必要的处理。比如 DPC, LENC 等。
后面会了解到，平时说的ISP其实是Image Signal Processor，这才是是正式、通用的术语，Image Sensor Processor 这个说法其实不常用，可以看作是非正式或描述性的说法，强调这个处理器是“为图像传感器服务的处理器”。在某些上下文中（例如集成在Sensor内部的ISP），它可能被用来特指集成在图像传感器芯片内部的处理器单元。
2.3 image output interface
手机，车载sensor常见的接口主要是DVP和MIPI。 DVP是比较老的并行接口；MIPI是高速串行接口。另外安森美自己搞了一个HiSPi接口，但是只有他家自己在用，和MIPI差不多。接口对比如下：
| 接口类型 | 信号线 | 极限速率 | 抗干扰能力 | 适用摄像头分辨率 | PCB Layout要求 |
| DVP | 并口，PCLK、VSYNC、PCLKHSYNC, D[0:11]支持8/10/12bit数据 | 极限96M左右 | 弱 | 最大5Mp | 阻抗要求低 |
| MIPI CSI-2 | 串口，CLKP/N、DATAP/N，最大支持8-lane | 2.5Gbps/lane(DPHY1.2) | 强 | 8Mp及以上 | lvds接口耦合,走线必须差分等长 |
| HiSPi | (onsemi自己的标准,同MIPI很像,除了onsemi自家支持的很少) | ||||
这部分是控制sensor内部寄存器的总线，常见的就是SCCB，这个协议跟I2C很像，可以当I2C理解。
参考资料