图像传感器发展（图像传感系统）

2021年，索尼半导体解决方案公司（以下简称“索尼”）发布了两款堆叠式基于事件的视觉传感器（EVS）。这两款传感器专为工业设备设计，实现了业界最小的（与其他堆叠式基于事件的视觉传感器相比）4.86 m 像素尺寸，并且仅在感测到场景变化时进行捕获和记录。

01

事件摄像机概述

传统基于帧的图像传感器输出与基于事件的视觉传感器输出的比较

基于事件的相机是一种新型的受生物学启发的视觉传感器，可以有效地实时捕捉场景变化。与传统的基于帧的相机不同，事件相机仅报告触发的像素级亮度变化（成为事件）并输出微秒分辨率的异步事件流。此类视觉传感器逐渐成为图像处理、计算机视觉、机器人感知与状态估计、神经形态学等领域的研究热点。

目前广泛使用的事件摄像机大致可分为三类：

DVS动态视觉传感器是最基本、最先开发的事件相机。

ATIS asynchronous time based imagesensor（ATIS异步时间基图像传感器），其像素结构分为两部分（A和B），包括两个感光器，不仅可以提供事件信息，还可以提供一定的灰度信息需求。

DAVIS动态主动像素视觉传感器，将DVS相机与传统主动像素传感器（APS）相机相结合，可以同时输出场景事件和灰度信息。

传统相机的缺点

低帧率、运动模糊、低动态范围。

1、传统相机，无论是CMOS传感器、CCD传感器，还是RGBD相机，都有一个参数：帧率。他们以恒定的频率捕捉图像。这样一来，即使帧率能达到1KHz，也会有1ms的延迟。

2.传统相机需要一定时间的曝光，让感光器件积累一定量的光子。如果物体在曝光时间内高速移动，就会出现模糊。

3.传统相机的动态范围较低。具体来说，当光线极差或者亮度极高时，摄像头获取的信息是有限的。

以上三点都是由于相机本身硬件的限制造成的。即使高性能的相机可以在一定程度上减少这些问题，但由于相机原理的原因，这些问题是无法避免的。这些问题极大地限制了一些应用场景。

事件摄像机的优点

低延迟、高动态范围、数据量小、功耗极低。

由于事件相机的成像原理，我们可以发现只要亮度发生变化就会输出，并且只输出变化的数据占用很小的带宽。同时，由于事件相机更擅长捕捉亮度变化，因此可以在较暗和较亮的场景中使用。还可以输出有效数据。该事件摄像机具有低延迟（）、高动态范围（140dB）和极低功耗（1mW）的特点。

与传统相机相比，事件相机基于神经形态视觉。其基本思想是受生物系统工作方式的启发，检测场景动态的变化，而不是持续分析整个场景。这意味着让各个像素决定它们是否看到相关的东西。与固定频率系统采集相比，这种基于事件的方法可以节省大量功耗并减少延迟。

02

神经形态视觉传感器的发展历史

1943年，他提出了具有计算能力的神经元模型。 1952年，他建立了神经元动态微分方程来描述神经元动作电位的产生和传递过程。这种动作电位称为脉冲。

神经形态的概念最早于1990年提出，利用大规模集成电路来模拟生物神经系统。 1991年，第一个硅视网膜诞生，它模拟了视网膜上一些细胞的生物功能。 1993年，一种新型的集成电路通信协议，称为地址事件表示（AER），实现了事件的异步读取。 2003年，一个团队设计了一种基于AER的积分发射脉冲模型，将像素光强度编码为频率或脉冲间隔，称为Octopus Retina。

2005年，动态视觉传感器（DVS）被开发出来，它使用时空异步和稀疏事件来表示像素光强度的变化。 2008年，提出了一种基于异步时间的图像传感器。 ATIS）引入了事件触发的光强度测量电路来重建变化时的像素灰度。

2013年，开发出动态和主动像素视觉传感器（DAVIS），这是一种双模技术路线，增加了额外的独立传统图像采样电路，以弥补DVS纹理成像的缺点，随后在2017年又进行了扩展给它上色。

2016年，增加了事件的位宽，允许事件携带像素光强信息并输出，以还原场景纹理。 2018年，有团队采用章鱼视网膜的光强积分分布采样原理，用脉冲平面传输代替AER方法，以节省传输带宽。验证了积分采样原理可以高速重建场景纹理细节，也称为Vidar。

03

DVS 的工作原理

DVS/EVS发明的灵感来自于对人眼视网膜细胞的解读。

如下图所示，简单来说，人的视网膜主要由三层细胞组成：感光细胞层主要负责光/颜色感知。双极细胞负责感光细胞的控制和“选择性”读取。输出信号没有什么特别的。和我们熟悉的CIS系统没有什么区别。然而，CIS 开发人员开始致力于这种“选择性”阅读，并发现了一些不同的东西。由于视网膜上的细胞间信号是基于“放电”方式（具体细节请参考神经病学等医学书籍中神经元信号传输方式的描述），所以与传统CIS的4-APS像素不同，人类视网膜发挥作用的是电流，而不是电压。

受此启发，CIS研究人员制作了对应视网膜细胞之间工作原理的等效电路。感光细胞对应于使用电流作为感测输出的Log像素电路。双极单元是一种积分放大器，可“极化”像素输出的信号。然后神经元细胞对应的决策电路将“极化”信号“二值化”。决策电路只是一个1位ADC。

整个链路的工作效果简单描述如下图：当PPD感应到光时，偏置的PPD产生电流。电流的大小随着光强度的变化而变化。值得一提的是，这种变化并不是线性的变化，而是由于电路设计造成的Log函数曲线变化。光强度变化越大，电流增加越小。因此，链路后面的一堆电路所做的主要工作是在电流变化超过特定阈值时做出决策。当电流上升并超过某个阈值时，输出+1信号。当电流减小时，输出-1信号。阈值的单位大小是可以调整的，跨越阈值的动作称为“事件”。简单来说，就是感应电流的变化。每当电流值超过单位阈值时，就果断地输出事件信号。电流变化越大，输出的事件信号越多。通过等效电路转换等一系列操作，一种新型的感知光强度变化的仿生CIS系统诞生了，命名为DVS/EVS。

既然这种Sensor感知的是光强度的变化，那么如果光强度没有变化或者光强度的变化很微弱，会发生什么情况呢？答案很简单：没有任何输出。如果没有光强变化或者变化太弱，DVS/EVS就会失明。

04

应用

事件相机可应用于特征跟踪、SLAM和狩猎机器人，包括物联网（超低功耗监控和智慧城市）、自动驾驶（车辆测距、SLAM和乘员监控）、机器人（场景理解和定位） ）、行业愿景（过程监控和基础设施检查）等。

事件相机在自动驾驶领域的应用

事件相机具有响应速度极快、减少无效信息、降低计算能力和功耗、高动态范围等优点。它们可以帮助自动驾驶汽车降低信息处理的复杂度，提高车辆行驶安全性，并且可以在极亮或极暗的环境下正常工作。

适合落地场景：

首先，城市场景中的幽灵探测器。传统帧摄像机在面对水平鬼影探测场景时无法快速响应，而事件摄像机可以更快地感知危险信号。

二是高速场景下的避障。例如，当车辆在高速公路上快速行驶，遇到前方道路上的轮胎时，同框摄像头无法及时做出反应。然而，事件摄像机可以依靠其低延迟的优势，快速识别前方的轮胎，并及时采取措施避开障碍物。行动。

第三，场景太亮或太暗。例如，在深夜环境下，帧相机由于周围光线极暗而无法识别周围物体，但事件相机仍然可以有效识别周围物体。

第四，光强突变明显的场景。例如，车辆驶出隧道后，面对高曝光场景，帧相机会受到高曝光光的影响，导致故障情况，但事件相机不会受到影响。

不适合落地的场景：

主要是在城市场景中的某些工况下，例如车辆前方有无数行人过马路时。或者在一些恶劣的天气条件下，如大雨、大雪、沙尘等。

在上述两种场景中，前方目标数量众多且移动不规则，这会对事件相机产生大量无效噪声。

05

挑战

技术水平

1）无法识别特定目标物体：帧相机输出帧图像，已经有成熟的应用和标定数据库；而事件相机只能提供相对原始的数据信息，比如目标物体的外轮廓，并没有自己独立的数据库来匹配这种轮廓信息。如果想要获得更深入的信息，还是需要帧相机作为辅助。例如，首先从事件相机中识别出前面的蛋筒冰淇淋的形状，然后用神经网络算法进行训练后，你会发现形状与之前的蛋筒冰淇淋相似，从而确定该物体是什么在你面前的是。

2）缺乏合适的芯片和算法：目前的事件相机采用了原帧相机的一整套架构体系（如使用的芯片类型、算法模型等），但基于帧图像的架构无法完全处理事件流。大多数现有的事件摄像机产品仅执行简单的架构转换。但两者的工作原理却完全不同。如果只是简单的结构平移，就如同在超级跑车上安装了普通汽车发动机一样。

工程级别

1）阈值设置困难：阈值是衡量事件输出的标准。当目标物体的光强度变化（亮度由低到高或由高到低）超过预设阈值时，就会产生事件。基本原理是：通过调整阈值可以改变相机对噪声的敏感度。阈值越大，相机对噪声的敏感度越低，能够捕捉到的事件就越少；当阈值较小时，相机可以捕获的事件较少。将会有更多的活动。在自动驾驶领域，如何设定阈值也是一个难题：一方面，汽车行驶时，始终与周围事物处于相对运动状态，事件总会随着光照强度的变化而发生。物体的表面发生变化。阈值要大一些，以减少噪声；另一方面，事件数据具有稀疏性的特点（例如，对于静止的物体，事件相机只会在t0时刻产生事件，之后不会产生新的事件）。从冗余安全的角度来看，为了降低数据过少的风险，阈值应该小一些

2）数据处理效率低：帧相机数据处理的原理是等待整幅图像处理完毕才做出决定；而事件相机的数据处理原理是当事件发生时对事件进行处理，然后快速做出决策。然而，在目前的商业应用中，市场上还没有成熟的事件数据处理方法，因此现有的事件相机产品均采用帧相机数据处理方法来处理事件数据。例如，如果事件摄像机在60 秒内，则仅在第60 秒才会生成事件。这时，当我们按照30帧的帧率处理事件数据时，需要将60秒的数据切割成每30秒一组数据，然后在传统的神经网络算法模型下进行计算。可以发现，第一组30秒的数据并没有产生事件，但在传统网络模型下，前一组数据还必须进行计算，这违反了事件相机的数据处理原理，使得它失去了低延迟的优势。

3）与其他传感器融合的挑战：由于事件相机无法单独提供深度数据，例如距离测量、速度测量、表面的特定颜色等，它只能获取物体的轮廓，因此简单使用事件摄像头无法为自动驾驶车辆提供足够的冗余和安全性，与其他传感器融合是更好的感知解决方案。与其他传感器融合时，需要将事件流与其他传感器的信号同步。以事件摄像机和激光雷达的融合为例。事件相机和激光雷达都有帧的概念，激光雷达也以恒定的帧速率发射点云。如果想要同步这两个传感器，需要实现两个方面：一方面是时间戳一一对应；另一方面是时间戳的一一对应。另一方面，您需要基于良好的校准来映射事件相机的像素点云。到激光雷达点云上。

业务水平

1）应用场景还少：随着现有摄像头系统越来越成熟，当前事件摄像头能为自动驾驶带来的增量价值太小，只能通过与其他传感器集成来使用。价值更大，但事件摄像机作为一种新型传感器，在进入市场之前需要经历一个漫长的场景功能开发过程才能慢慢挖掘其一些潜在价值。

2）供应链体系不成熟：供应链体系不成熟。事件摄像机处于发展初期，产品标准化程度较低。推广过程中需要提供整套解决方案，导致产品成本较高。以事件相机算法开发供应商为例，一位自动驾驶公司的传感器专家提到，现有事件相机相关算法开发商主要以demo为主，并不开发针对特定场景的支撑算法。

06

外表

因为我找到的详细谈论事件相机的文献和资料大多是两三年前的，随着时间的推移，人们对事件相机的探索和发展也得到了进一步的提高。

时域中的值是连续的，但值域中的值是离散的，这也与常见的数字信号不同。此类数据无法使用传统RGB 相机方法进行处理。但它仍然可以完成传统相机可以完成的任务，例如光流估计、特征提取、3D重建、模式识别、SLAM等。

未来我们一定要发挥这两款相机的优势，将它们的价值发挥到最大。

审稿人：彭静