机器人视觉梳理图（机器人视觉梳理图片）

机器人视觉的概念

在智能制造过程中，通过传统编程来执行特定动作的机器人（机器人、机械臂、机器手臂等，除非另有说明，否则不严格区分，统称为机器人）将难以满足需求的制造业。发展需要。在很多应用中，需要为工业机器人安装一双眼睛，即机器视觉成像感知系统，使机器人能够具备识别、分析、处理等更高级的功能。这对于高度自动化的大规模生产非常重要。工业机器人只有具备视觉成像感知系统和观察目标场景的能力，才能正确判断和分析目标场景的状态，实现智能、灵活的自主作业。解决出现的问题。

在工业应用领域，最具代表性的机器人视觉系统是机器人手眼系统。根据成像单元的安装方式，机器人手眼系统分为两类：固定成像单元眼对手系统（Eye-to-Hand）和随动成像单元眼对手系统（手眼或手眼）。

在Eye-to-Hand系统中，视觉成像单元安装在机器人体外的固定位置，在机器人运行过程中不随机器人移动。当机器人或目标移动到机械臂的可操作范围内时，机械臂在视觉感知信息的反馈控制下，向目标移动并精确控制目标。眼手系统的优点是全局视场、标定控制简单、抗震性好、姿态估计稳定。但它也存在分辨率低、容易被遮挡等问题。

在“手眼”系统中，成像单元安装在机器人手臂的末端，并随机器人一起移动。手眼系统通常用于控制有限视野内的目标。不会像Eye-to-Hand系统那样出现机械臂遮挡成像视野的问题。它具有高空间分辨率。对于基于图像的视觉控制，成像单元模型参数的标定误差可以有效克服，并且对标定的精度没有要求。

图：两种机器人手眼系统的结构形式（a）手眼机器人系统（b）手眼机器人系统

在某些应用中，为了更好地发挥机器人手眼系统的性能，充分利用眼手系统全局视场和局部视场的高分辨率、高精度性能从Eye-in-Hand 的角度来看，可以采用两者的混合协作模式。 Eye-to-Hand系统用于机器人定位，Eye-in-Hand系统用于控制机器人的方向；或者通过Eye-to-Hand计算机器人相对于目标的方位，通过Eye-in-Hand确定高精度目标姿态。大概是在等待吧。

图：机器人协同视觉系统原理

机器人视觉发展路径：从2D到3D

l视觉成像最初是从二维（2D）图像处理和理解发展而来，即2D视觉成像。 2D视觉技术主要基于灰度或彩色图像中的像素灰度特征，以及基于轮廓的模式匹配驱动来获取目标中的有用信息，以识别物体的纹理、形状、位置、大小和方向。 2D视觉技术已经发展了30多年，已广泛应用于自动化和产品质量控制过程。目前，该技术相对成熟，主要用于字符和条码读取、标签验证、形状和位置测量、表面特征检测等。

l2D视觉技术很难实现高精度的三维测量和定位。二维形状测量的一致性和稳定性也较差，容易受到光照条件的影响。特别是当前的智能制造技术对机器人视觉性能的要求越来越高。 2D机器视觉技术的局限性已经显现出来。机器人视觉系统集成商发现通过2D 机器视觉系统增加价值越来越困难。迫切需要发展3D（3D）视觉技术，因为3D视觉技术可以产生2D视觉无法产生的形状或深度信息，因此得到更广泛的应用。

目前，机器人视觉成像技术和系统越来越多地应用于视觉测量、检测、识别、引导和自动化装配等领域。虽然很多机器人都具备一定程度的智能，但距离人类所需的智能水平还存在很大差距。一个重要原因是机器人视觉感知系统还存在许多科学问题和关键应用技术问题有待解决。例如：1）如何让机器人像人类一样感知、识别和理解客观世界的三维场景； 2）哪些三维视觉感知原理可以对场景目标进行快速、高精度的三维测量，基于该原理的三维3D测量视觉传感器体积小、成本低，可轻松嵌入到机器人系统中； 3）如何根据三维视觉系统获得的三维场景目标信息，有效自组织自己的识别算法，准确、实时地识别目标； 4）如何通过视觉感知和自学习算法，让机器人具备像人类一样独立适应环境的能力，自动完成人类分配的任务。

机器人3D视觉解决方案

3D视觉是机器人感知最先进、最重要的方法，可分为光学成像方法和非光学成像方法。目前最常用的方法是光学方法，包括：飞行时间法、结构光法、激光扫描法、莫尔条纹法、激光散斑法、干涉法、摄影测量法、激光跟踪法、从运动获取形状、阴影从X得到Shape，其他Shape从X等。本文介绍几种典型的解决方案。

1. 飞行时间3D 成像

飞行时间(TOF) 相机的每个像素利用光传播时间的差异来获取物体的深度。

l 直接TOF（D-TOF）是一种经典的TOF测量方法。探测器系统在发射光脉冲的同时启动探测接收单元进行计时。当探测器接收到目标发出的光回波时，探测器直接存储往返时间。目标距离可以通过简单的公式计算：z=0.5*c*t，c为光速，t为光的飞行时间。 D-TOF 通常用于单点测距系统。

，到系统、框架、上层应用支持的全栈技术。 l芯片层：目前已研发出MX系列3款深度引擎芯片，同时2019-2021年期间投入研发的芯片包括高分辨率结构光专用感光芯片、MX6600、iToF感光芯片（待量产）、AIoT数字算力芯片、dToF感光芯片等。 l系统层：以奥比中光在手机领域推出的iTOF系统方案为例，该创新性方案克服了传统iTOF方案的数据精度受环境影响的不足，对硬件和算法都做了创新式提升，测量精度和分辨率都显著提高。 l算法层：对于底层算法，公司制定了算法 IP 化、算法平台化双向技术路线，对已有算法不断进行优化与迭代。目前公司已量产结构光深度引擎算法、iToF 深度引擎算法、双目深度引擎算法，算法均实现了芯片 IP 化，同时这三种底层算法仍在不断优化与迭代以进行技术储备。对于应用算法，公司面向多元化市场需求，找准行业痛点，攻克共性关键应用算法，已商用骨架跟踪、图像分割、三维重建、机器人 SLAM 等算法，算法均可以实现在不同平台进行落地，正在开展扫地机 SLAM、大场景三维重建、实景导航等算法的技术储备。公司核心算法技术已布局及储备情况如下图所示：