3d视觉技术和3d传感器分析的区别（3d视觉技术和3d传感器分析哪个好）

【摘要】 1. 3D视觉技术2D视觉技术借助强大的计算机视觉和深度学习算法取得了超越人类认知的成就，而3D视觉由于算法建模和环境依赖等问题始终处于研究前沿。 3D视觉也是一个传统的研究领域，但近五年来发展迅速。结合深度学习算法，在智能制造/机器人、自动驾驶、AR/VR、SLAM、无人机、3D重建、人脸识别等领域取得了优异的成果。 3D视觉的主要研究内容包括： l 3D感知：点云获取. 1. 3D视觉技术2D视觉技术借助强大的计算机视觉和深度学习算法，取得了超越人类认知的成就，而3D视觉则实现了由于算法建模，结果超出了人类的认知。环境依赖性和环境依赖性等问题一直处于正在进行的研究的前沿。 3D视觉也是一个传统的研究领域，但近五年来发展迅速。结合深度学习算法，在智能制造/机器人、自动驾驶、AR/VR、SLAM、无人机、3D重建、人脸识别等领域取得了优异的成果。 3D视觉的主要研究内容包括：

3D感知：点云采集与处理，应用于机器人/机器人、自动驾驶、无人机等场景。

位姿估计（视觉SLAM）：应用于机器人定位导航、VPS等场景。

3D重建：

大规模场景的3D重建、动态实景融合和3D理解（与3D感知一致），应用于数字城市/公园、数字文旅、混合现实等场景。

人脸、人体、手部3D重建及关键点检测识别应用于游戏娱乐、动漫、影视内容制作等领域。

近年来，学术界和工业界推出了一系列优秀的算法和产品，并在各个领域得到广泛应用。

学术界：

三大会议CVPR、ECCV、ICCV每年关于3D视觉相关主题的文章数量保持在十分之一左右，并且呈增长趋势。 3D视觉技术主要包括：3D点云识别与分割、3D物体检测、单目图像深度图生成、语义SLAM、三维重建、光场计算等。

行业：

3D视觉广泛应用于人脸识别、智能机器人、自动驾驶、ARVR等领域；例如，OPPO、华为、苹果等公司推出的3D+AI识别功能，可以通过扫描人脸三维结构来解锁手机；在自动驾驶领域，分析3D人脸信息以确定驾驶员驾驶时的情绪状态； SLAM方法通过重建周围环境来完成建图和感知； AR领域利用三维重建技术完成目标的再现等等。 2.3D视觉传感器/相机作为3D视觉的眼睛，传感器/相机在3D技术的演进和应用中发挥着非常重要的作用，甚至在一定程度上决定了3D视觉技术的发展和应用。本文简要分析了3D传感器/相机技术，并对当前行业硬件制造商和产品进行了简要介绍。 3D传感器/相机不仅可以获得平面图像，还可以获得被拍摄物体的深度信息，即三维位置和尺寸等。3D传感器/相机通常由多个相机+深度传感器组成。可实现三维信息采集，并将三维数据转换为点云。根据基本原理不同，目前市场上的3D传感器主要包括以下类型：

(1)双目相机双目视觉是机器视觉的重要形式。它基于视差原理，利用成像设备从不同位置获得被测物体的两幅图像。通过计算图像中对应点之间的位置偏差，获取物体三维几何信息的方法。目前，有主动式双筒望远镜和被动式双筒望远镜。被动双筒望远镜使用可见光。优点是不需要额外的光源，但不能在夜间使用。主动式双筒望远镜主动发射红外激光进行补光，在黑暗场景下也能正常工作。使用。

双目相机的优缺点：

硬件要求和成本较低，普通CMOS相机就足够了。

适用于室内、室外场景。

对环境光非常敏感。光线变化会导致图像偏差较大，从而导致匹配失败或精度低。

不适合单调、缺乏质感的场景。双目视觉根据视觉特征进行图像匹配。特征的缺失会导致匹配失败。

计算复杂度较高。纯视觉方法对算法要求较高，需要大量计算。

基线限制了测量范围。测量范围与基线（两个相机之间的距离）成正比，因此不可能实现小型化。

(2)结构光：通常采用特定波长的不可见红外激光作为光源。发射的光通过一定的编码投射到物体上，通过一定的算法计算返回的编码图案的畸变。获取物体的位置和深度信息。根据编码模式的不同，机构光摄像机可分为：

一般有条纹结构光---enshape

编码结构光---Mantis Vision，实感（F200）

散斑结构光--apple(prime sense)

结构光相机的优点和缺点包括：

方案成熟，相机基线可以做得更小，有利于小型化。

资源消耗低，可在单帧红外图像中计算深度信息，功耗低。

主动光源也可用于弱光场景。

一定范围内的高精度和高分辨率，分辨率可达1280x1024，帧率可达60FPS。

容易受到环境光干扰，导致户外体验不佳。

随着检测距离的增加，准确度变差。

（3）ToF相机与利用2D图像计算3D信息不同，ToF通过红外光在空气中的飞行时间来计算目标物体的距离。 ToF技术也是机器视觉行业的一个重要里程碑，因为它只需要使用低成本的CMOS传感器和主动光源技术即可提供3D场景的距离和深度信息。此外，与单点逐点扫描方式不同，ToF的每个图像元素都可以测量对应目标的亮度和反射的到达时间，从而计算出该点对应的距离和景深。 ToF 提供视角内场景整个分辨率的距离景深信息。该技术结构简单，使用方便，不依赖环境光，兼具高精度和高帧率。 TOF方法根据调制方式的不同，一般可分为两种：脉冲调制（Pulsed Modulation）和连续波调制（Continuous Wave Modulation）。脉冲调制需要非常高精度的时钟来进行测量，并且需要发射高频、高强度的激光。目前，大多数检测相位偏移的方法都是用于实现TOF功能。下图描述了TOF相机（连续波）的基本原理。在实际应用中，通常采用正弦波调制。由于接收端和发射端正弦波的相位偏移与物体距相机的距离成正比，因此可以利用相位偏移来测量距离。

TOF 的优点和缺点包括：

检测距离长。当激光能量足够的时候，可以达到几十米。

环境光的干扰相对较小。

对设备要求较高，尤其是时间测量模块。

资源消耗大。该方案在检测相位偏移时需要多次采样积分，计算量较大。

边缘精度低。

由于资源消耗和过滤，帧率和分辨率无法更高。目前最大的消费产品是VGA。

除了上述视觉传感器（摄像头）外，3D视觉相关数据采集设备还包括：毫米波雷达、激光雷达等，广泛应用于机器人、自动驾驶等应用场景。毫米波是指波长在1mm到10mm之间的电磁波。换算成频率后，毫米波的频率在30GHz到300GHz之间。毫米波的波长介于厘米波和光波之间，因此毫米波兼有微波制导和光电制导的优点。

激光雷达（LightDetectionAndRanging，LiDAR）即光探测和测量，是集成激光、全球定位系统（GPS）和惯性测量设备（IMU）来获取数据并生成精确的DEM（数字高程模型）的系统。激光雷达可以高精度定位激光束照射物体的位置，测距精度可达厘米级。其优点包括“准确”和“快速”。下图为自动驾驶领域常用的Velodyne LiDAR。

近年来，无人驾驶技术兴起并迅速发展。自动驾驶技术研发公司，包括谷歌、百度、Uber等主流自动驾驶汽车研发团队，都在利用激光雷达作为传感器之一，搭配图像识别等技术，实现三维环境感知，保障自动驾驶安全。驾驶。 LiDAR系统发射一束激光并测量光在物体表面反射后返回的信号。信号传输所需的时间提供了直接测量激光雷达系统与物体之间距离的手段。有关物体的其他信息（例如其速度或材料成分）也可以通过测量反射信号中的某些属性（包括感应多普勒频移）来确定，以创建完整的3D 模型。

审稿人：李茜