LV005-ToF简介
一、什么是 ToF 相机
1. ToF 简介
随着数字成像技术的发展，相机作为一种传感器开始被广泛研究。因为人可以通过自己的视觉和大脑来 估计视野中物体的位置、距离，而相机的原理模拟了人的双眼，所以研究者们模仿人的特点，利用相机 的二维图像反推图像中物体的三维信息。这种和二维图像推算三维信息相关的技术和数学理论发展成了 一个独立的学科——计算机视觉，也被称作机器视觉。
而 ToF，即 time of flight，直译为飞行时间。不同于二维图像来推算 三维信息，而是通过通过测量超声波/微波/光等信号在发射器和反射器之间的“飞行时间”来计算出两者之间距离。
2. ToF 相机
能够实现 ToF 测距的传感器就是 ToF 传感器，使用这种传感器的相机叫 ToF 相机，也被称为深度相机。其实 ToF 传感器和一般的 camera sensor 结构比较类似，都是通过感光阵列接收光信号，然后内部电路转换成数字图像信号。控制都是 I2C，输出一般都是 MIPI CSI-2, 内部自带 PLL。
TOF 传感器通过给目标物连续发送光脉冲，然后用传感器接受从物体反馈回来的光，并计算出光脉冲发送和接收的往返飞行时间，最终得到目标物的距离。当然这仅是测得目标物的距离，而我们知道有些目标物它可能是凹凸不一的，要想得到 3D 视觉信息，就还需要传感器通过计算光纤发射和反射的时间差或相位差，换算目标物体的距离，从而产生深度信息。
ToF 相机在记录深度信息的同时，还记录了正常的 2D 强度图像，因此可以将两者合并，构建出具有纹理的 3D 图形。所以其实 ToF 相机有单 ToF 和 RGB_D 的分别，就是有只输出深度信息 ToF 和 输出三色图+深度数据的 ToF 。反应到软件上深度信息其是一张二维的深度点云信息，也就是原始得到的信息是一张图像，每个点的值代表着相机和物体的距离的值，而不像二维相机是像素值。
下面是一个 ToF 相机成像的动图，这其实是一个单 ToF 的成成示意图。ToF 相机在记录深度信息的同时，还记录了正常的 2D 强度图像，因此可以将两者合并，构建出具有纹理的 3D 图形。这个示例图将深度信息显示成伪彩色图像。蓝色代表远处，红色代表近处。
ToF 相机成像示意图
关于 RGB-D 的技术，这里有个文档：Merging Color Data of Basler 2D Cameras with Basler blaze Depth Data，这种方案主要是借助 RGB 颜色显示，可以更好地检测和分类物体。
如上图，可以分辨出点云图的左边是苹果还是橙子吗？这要借助 RGB 颜色才能看出来。反过来，2D 相机也无法区分苹果的照片和真正的苹果。
3. 分类
- 按信息的复杂性
TOF 系统可以根据它们提供的信息的复杂性进行分类：1D TOF、2D TOF 和 3D TOF。1D TOF 代表简单的单点距离测量，2D TOF 常见于真空机器人，它扫描一条线来映射房间较低空间的距离，而 3D TOF 则结合了 2D 传感器阵列和成像镜头，以产生三维空间信息。
- 按测量原理
直接飞行时间（dToF）：通过测量光脉冲从发射到接收的直接往返时间来推算距离，具有高精度和抗干扰能力，适用于远距离测量。
间接飞行时间（iToF）：通过测量发射与接收光信号的相位差来间接计算飞行时间，成本较低，适合中短距离应用，但易受多路径效应影响。
4. 3D ToF
目前 3D 视觉技术主要分为 3D 结构光、双目立体视觉和 TOF 感知技术（也就是飞行时间），前面已经大概了解了 ToF，
3D TOF 传感器是一种深度传感技术，可以理解为测量发射光和反射光之间的飞行时间并根据光速来直接估计深度的传感器。3D ToF 技术是机器视觉工业重 要里程碑，通过使用低成本 CMOS 像素面阵列和主动调制光源技术来提供三维场景的距离景深信息。3D TOF 凭借其优秀的抗光性及远距离优势，已广泛应用于消费领域。例如可自动清扫的扫地机器人、可自动梯形校正的智能投影仪、可自动驾驶的汽车以及可人脸识别的智能手机、AR、VR 设备等。
ToF 传感器种类很多，使用较多的是通过 红外（一般都是不可见光）或者激光进行测距的 ToF 传感器。
ToF 相机之所以受到青睐，主要归功于其多项优势，包括成本效益高、测量精度良好、可靠性强、能够实现深度数据采集，以及紧凑的硬件设计。
二、ToF 系统架构
为了实现上述的距离测量，一个典型的 TOF 系统由以下几部分组成：
- 发射端（Tx）：包括激光光源（主要是 VCSEL）、激光驱动电路 ASIC，以及用于光束控制的光学组件（如准直镜头或衍射光学元件）和滤光片。
- 接收端（Rx）：包括接收端的镜头和滤光片；根据不同的 TOF 系统可能是 CIS、SPAD 或 SiPM 等传感器；以及用于处理接收器芯片大量数据的图像信号处理器（ISP），这个 ISP 也不一定是必须，有些情况下可能会修改数据，导致最终数据数据异常。
- 电源管理：需要稳定的电流控制 VCSEL、高电压供给 SPAD 等，因此需要强大的电源管理。
- 软件层：包括固件、SDK、操作系统和应用层。
该架构展示了激光束如何从 VCSEL 发出，经过光学组件修改后在空间中传播，反射在物体上并返回到接收器。通过计算这个过程中的时间差，可以获得距离或深度信息。值得注意的是，该架构没有涵盖噪声路径，如阳光引起的噪声或反射造成的多路径噪声。
三、特点
1. 优势
TOF 技术优势主要表现为以下几点：
- 测量精确快速，ToF 传感器能够在短时间内准确地检测物体，并且不受湿度，气压和温度的影响，使其适合于室内和室外使用。
- 测量距离长，ToF 传感器具有灵活性，因为它们能够检测各种形状和大小的近距离和远距离物体
- 安全，ToF 传感器都使用低功率红外激光作为光源，并通过调制脉冲驱动它。传感器达到 1 类激光安全标准，可确保其对人眼的安全。
- 成本低，与其他 3D 深度范围扫描技术（例如结构化光相机系统或激光测距仪）相比，ToF 传感器与它们相比要便宜得多。
2. 缺点
- 散射光如果非常明亮的表面离 ToF 传感器很近，它们可能会将太多的光散射到接收器中，并产生伪影和不必要的反射
- 多重反射在角落和凹形上使用 ToF 传感器时，它们可能会导致不必要的反射，因为光可能会多次反射，从而使测量失真。
- 环境光在明亮的阳光下户外使用 ToF 相机可能会导致户外使用困难。这是由于阳光的高强度会导致传感器像素快速饱和，从而无法检测到从物体反射的实际光。
四、3D TOF 传感器应用
目前 3D TOF 传感器已实现了较为广泛的应用，在消费领域，例如智能手机、汽车、智能投影、自动扫地机器人；工业领域如物流、安保监控、工业自动化等等。
- 智能手机
目前 TOF 技术实现在智能手机上的人脸识别、增强现实、手机摄影等应用场景。使用者可以通过人脸识别进行手机解锁、支付等功能，手机拍摄上，也是先了更快速的对焦和探测。代表机型有华为 P 系列、三星 S 系列等。
- 汽车
新能源汽车上也广泛应用 TOF 技术，在驾驶舱内部可监控驾驶者疲劳状态、识别手势；重点是实现了车辆环境探测，这是自动驾驶非常关键一环。代表车型有蔚来、理想等。
- 智能投影
3D TOF 传感器也应用在家用智能投影上，通过 TOF 传感器可以帮助投影仪识别墙面物体距离，实现自动梯形校正，也能识别到投影幕布的边缘，实现自动避障及入幕等功能。代表机型有当贝 X5、极米 H6 等。
参考资料：
什么是 ToF (Time-of-Flight) ？ | Basler AG
深度解析：ToF 深度测量原理与应用：精度挑战与优化策略-CSDN 博客
(3 封私信) 3D TOF 传感器是什么？为何成为机器视觉需求首选 - 知乎
双目、结构光、tof，三种深度相机的原理区别看这一篇就够了！_深度相机和双目相机区别-CSDN 博客
(3 封私信) 自动驾驶的 “眼睛” — 3D TOF 技术 - 知乎