机器人视觉控制原理（机器人视觉工作）

作者：段彦婷、蔡晨生、王鹏飞、王宁、陈平

本文概述了机器人视觉伺服技术，介绍了机器人视觉伺服系统的概念、发展历史和分类，重点介绍了基于位置的视觉伺服系统和基于图像的视觉伺服系统。总结了机器人视觉涉及的前沿问题，指出了当前研究中存在的问题和未来的发展方向。

目前，在世界各地的制造业中，工业机器人在生产中发挥着越来越重要的作用。为了让机器人能够胜任更复杂的任务，机器人不仅必须拥有更好的控制系统，还需要能够感知更多的环境变化。其中，机器人视觉因其信息量大、信息齐全而成为最重要的机器人感知功能。

机器人视觉伺服系统是机器视觉与机器人控制的有机结合。它是一个非线性、强耦合的复杂系统。其内容涉及图像处理、机器人运动学与动力学、控制理论等研究领域。随着摄像设备性价比的提高和计算机信息处理速度的提高，以及相关理论的日益完善，视觉伺服具备了实际应用的技术条件，相关技术问题已成为国内外研究的热点。目前的研究。

本文概述了机器人视觉伺服技术，介绍了机器人视觉伺服系统的概念、发展历史和分类，重点介绍了基于位置的视觉伺服系统和基于图像的视觉伺服系统。总结了机器人视觉涉及的前沿问题，指出了当前研究中存在的问题和未来的发展方向。

机器人视觉伺服系统

视觉伺服的定义：

人类获取大部分外部信息都是通过眼睛。几千年来，人类一直梦想着创造智能机器。这类智能机器首先具备人眼的功能，能够识别和理解外部世界。人脑中有很多组织参与视觉信息的处理，因此可以轻松处理很多视觉问题。然而，作为视觉认知的过程，人类所知甚少，这使得智能机器的梦想难以实现。随着摄像技术的发展和计算机技术的出现，具有视觉功能的智能机器开始由人类制造，逐渐形成了机器视觉的学科和产业。所谓机器视觉是由美国制造工程师学会机器视觉分会和RIA机器人工业协会自动视觉分会定义的：

“机器视觉是一种通过光学器件和非接触式传感器自动接收和处理真实物体图像，以获得所需信息或用于控制机器人运动的设备。”

机器视觉是一种类似于人眼的机器仿生系统。从广义上讲，任何通过光学器件从真实物体获取的信息以及相关信息的处理和执行都是机器视觉。这包括可见视觉和不可见视觉，甚至是人类视觉无法直接观察到的物体内部信息的获取和处理。

机器人视觉发展史

20世纪60年代，由于机器人技术和计算机技术的发展，人们开始研究具有视觉功能的机器人。然而，在这些研究中，机器人的视觉和机器人的运动严格来说是开环的。机器人视觉系统通过图像处理获得目标位姿，然后根据目标位姿计算机器运动位姿。在整个过程中，视觉系统只“提供”一次信息，然后不再参与该过程。 1973年，有人将视觉系统应用到机器人控制系统中。在此期间，这个过程被称为视觉反馈。直到1979年，希尔和帕克才提出“视觉伺服”的概念。显然，视觉反馈的含义只是从视觉信息中提取反馈信号，而视觉伺服则包括从视觉信号处理到机器人控制的整个过程。因此，视觉伺服比视觉反馈更能全面地反映机器人的视觉和控制能力。相关研究内容。

20世纪80年代以来，随着计算机技术和摄像设备的发展，机器人视觉伺服系统的技术问题引起了众多研究者的关注。近年来，机器人视觉伺服无论在理论还是应用上都取得了长足的进步。在很多学术会议上，视觉伺服技术常常被列为会议主题。视觉伺服已逐渐发展成为横跨机器人、自动控制、图像处理等技术领域的独立技术。

机器人视觉伺服系统分类：

目前，机器人视觉伺服控制系统有以下几种分类方法：

根据摄像机数量可分为单目视觉伺服系统、双目视觉伺服系统和多目视觉伺服系统。

单目视觉系统只能获取二维平面图像，无法直接获取目标的深度信息；多目视觉伺服系统可以获取目标多个方向的图像，获得丰富的信息，但图像信息处理量较大，且摄像机数量越多，保证系统稳定性就越困难。目前的视觉伺服系统主要采用双目视觉。

根据摄像头放置位置的不同，可分为手眼系统（eye in hand）和固定摄像系统（eye to hand或stand alone）

理论上，手眼系统可以实现精确控制，但对系统的标定误差和机器人的运动误差比较敏感；固定摄像系统对机器人的运动误差不敏感，但相同情况下获得的目标位姿信息的精度不如手眼系统准确。因此，控制精度相对较低。

根据机器人的空间位置或图像特征，视觉伺服系统分为基于位置的视觉伺服系统和基于图像的视觉伺服系统。

图1 基于位置控制的动态查看和移动系统

在基于位置的视觉伺服系统中（如图1所示），目标相对于相机和机器人的位姿是在处理图像后计算出来的，因此这需要对相机、目标和机器人模型进行标定，以及标定精度影响控制精度是该方法的难点。控制时将需要改变的姿态转换为机器人关节旋转的角度，由关节控制器控制机器人关节旋转。

图2 基于图像控制的直接视觉伺服系统

在基于图像的视觉伺服系统（如图2所示）中，控制误差信息来自于目标图像特征与期望图像特征之间的差异。对于这种控制方法，关键问题是如何建立反映图像差值变化与机器人手位姿、速度变化关系的图像雅可比矩阵；另一个问题是图像是二维的，计算图像雅可比矩阵需要估计目标深度（三维信息），而深度估计一直是计算机视觉中的难点。

雅可比矩阵的计算方法包括公式推导法、校准法、估计法和学习法。前者可以根据模型推导或校准，而后者可以在线估计。学习方法主要采用神经网络方法。

根据使用闭环关节控制器的机器人，视觉伺服系统分为动态观察运动系统和直接视觉伺服系统

前者利用机器人关节反馈内环稳定机械臂，图像处理模块计算出相机应有的速度或位置增量，反馈给机器人关节控制器；后者利用图像处理模块直接计算控制机械臂各关节运动。数量。

视觉伺服面临的主要问题

视觉伺服的研究已有近20年的历史。但由于视觉伺服涉及多个学科，其发展取决于这些学科的发展。目前，视觉伺服的研究还存在许多问题没有得到很好的解决。

从理论和实际计算处理速度来看，图像处理方法是图像伺服的最大难点；

图像处理完成后，图像特征与机器人关节运动之间模型的建立是图像伺服的另一个难点。

目前的许多控制方法并不能保证系统工作时在大范围内稳定，因此对相关控制方法的研究也是必要的。

视觉伺服的发展前景

视觉伺服未来的研究方向主要包括以下几个方面：

在实际环境中快速、鲁棒地获取图像特征是视觉伺服系统的关键问题

由于图像处理中的信息量很大以及可编程器件技术的发展，最近基于硬件的通用算法来加速信息处理的方法可能会在这个问题的研究中取得进展。

建立适合机器人视觉系统的相关理论和软件

目前许多机器人视觉伺服系统的图像处理方法并不是针对机器人视觉系统的。如果有这样一个专用的软件平台，在完成视觉伺服任务时就可以减少工作量，甚至视觉信息处理也可以硬件化。提高视觉伺服系统的性能。

将各种人工智能方法应用于机器人视觉伺服系统

尽管神经网络已经在机器人视觉伺服中得到应用，但许多智能方法还没有在机器人视觉伺服系统中得到充分应用。而且，目前的研究往往过于依赖数学建模和数学计算，这使得机器人视觉伺服系统在工作时需要过多的计算。目前计算机的处理速度很难满足系统速度的要求。然而，人类并不会通过大量的计算来完成相关功能。这给大家启示了人工智能到底能不能用。该方法减少了数学计算量，满足了系统速度的要求。

将主动视觉技术应用于机器人视觉伺服系统

主动视觉是当今计算机视觉和机器视觉领域研究的热点，视觉系统能够主动感知环境，并按照一定的规则主动提取所需的图像特征，使得一般情况下难以解决的问题得以解决。得到解决。

将视觉传感器与其他外部传感器相结合

为了使机器人能够更全面地感知环境，特别是补充机器人视觉系统的信息，可以在机器人视觉系统中添加多种传感器。这可以克服机器人视觉系统的一些困难，但多个传感器的引入需要解决机器人视觉系统中的信息融合和信息冗余问题。

结论

近年来，机器人视觉伺服技术取得了长足的进步，国内外机器人视觉系统的实际应用越来越多。许多技术问题有望在近期研究中取得进展。未来，机器人视觉伺服系统将在机器人技术中占据突出地位，机器人视觉伺服系统将越来越多地应用于工业生产中。

责任编辑：gt