如果自动驾驶汽车和机器人要安全高效,就需要感知周围环境。他们还需要能够预测周围物体——的行为,无论是其他机器人、车辆,甚至人——,并在做出相应决策时规划他们的路径。换句话说,他们需要机器视觉。
传统上,机器视觉是通过相机和传感器(包括雷达、声纳和激光雷达)的组合来实现的。但机器视觉也常常依赖于热量。普渡大学电气与计算机工程教授祖宾雅各布(Zubin Jacob)表示:“热辐射来自所有非零温度的物体。树叶、树木、植物、建筑物,它们都在发射热辐射,但这是不可见的红外线辐射,我们肉眼和传统相机是看不见的。”由于热浪的不断散射,红外热像仪产生的图像缺乏材料特异性,导致图像模糊且“幽灵般”,没有深度或纹理。
作为“鬼影”图像的替代方案,雅各布和他在普渡大学和密歇根州立大学的同事开发了一种热辅助探测和测距(HADAR)技术,可以解决图像杂乱的问题。加热信号以“看到”纹理和深度,从而提高图像清晰度和细节。在概念验证实验中,他们证明了HADAR 在夜间的测距效果与白天的RGB 立体视觉一样好。
在白天或光线充足的环境中,人类可以看到丰富多样的颜色、纹理和深度,但即使在昏暗或黑暗的情况下,也有大量的热光子在周围弹跳。雅各布说,虽然人类看不到,但这种情况并不局限于机器,因此我们需要开发新的传感器和新的算法来利用这些信息。
在实验中,研究人员选择了沼泽地中的一个室外空间,远离道路和城市照明。他们收集了近100 张不同频率的红外光谱热图像。正如RGB 图像中的每个像素都由三个可见频率(R 代表红色、G 代表绿色、B 代表蓝色)进行编码一样,实验中的每个像素都标记有三个热物理属性:TeX—— 温度(T)、材料指纹或发射率(e) 和纹理或表面几何形状(X)。 “人们对T 和e 有很好的理解,但关于纹理的关键见解实际上在X 中,”雅各布说。这三个输出构成了HADAR 算法对对象和环境的物理描述。
HADAR 算法根据估计的温度、发射率和深度重建物体和环境的纹理、形状和颜色。纹理是根据发射率的差异生成的;形状是由深度的变化产生的;颜色是由温度范围产生的。这三个重建结果构成了HADAR算法对物体和环境的视觉表示。
最终,HADAR 算法能够从热图像中分离出物体和环境的物理特性,从而消除重影效应并提高图像清晰度和细节。 HADAR算法不仅可以在黑暗中看到物体的轮廓和热量,还可以看到物体的温度、材质和纹理,就像在白天一样。
Jacob补充说,HADAR技术可以提供更好的适应性,不受光照条件的限制,可以在黑暗或低能见度环境下正常工作。此外,在激光雷达、声纳或雷达等主动方法中,如果场景中有许多代理,它们之间可能会存在大量串扰。
Jacob表示,HADAR作为一项新技术,仍处于起步阶段。目前,数据收集大约需要一分钟。相比之下,例如,夜间行驶的自动驾驶汽车需要在几毫秒内对周围环境进行成像。此外,数据收集所需的相机体积庞大、昂贵且耗电。因此,这对于现阶段的科学演示来说非常有用,但不适合广泛采用。研究人员目前正在研究这些问题,雅各布预测未来几年的研究将致力于解决这些问题。
不过,雅各布表示,有一些应用可以立即实施,例如夜间野生动物监测。另一个不需要毫秒决策能力的地方是一些医疗应用,例如测量人体的温度梯度。他还表示:“现在最大的挑战是硬件的改进,我们可以将先进的算法融入其中。”他预测,下一代相机将是高速的、紧凑的,并且可以在室温下工作,因此需要新的材料。
审稿人:彭静