多相机如何坐标统一（多相机标定方法）

介绍：

随着机器视觉的应用日益广泛，对大画幅多相机视觉系统的需求越来越大。主要应用方向是大幅面高精度定位测量和场景拼接。

多相机视觉系统的难点在于多相机坐标系的统一。可以分为两类，一类是摄像头视场之间没有重叠，一类是摄像头视场之间有重叠。

相机之间没有重叠的情况主要用于大画幅多相机的高精度定位和测量。摄像机之间存在重叠的情况主要用于场景拼接。

一。摄像机之间没有重叠。介绍了两种典型的方法。

1、使用大标定板统一坐标

计划介绍：

该方法使用大型标定板来统一每个相机的坐标。每个大校准板都有几个小校准板。小标定板之间的位置关系是已知的，并且每个相机可以捕获小标定板。通过各个小标定板可以对各个相机的内参数和外部参数进行标定，并且可以将各个相机的坐标转换到各个小标定板的坐标系中，从而统一各个相机的坐标。

系统结构：

相机在各个位置拍摄Mark图像，并通过图像处理方法获得Mark坐标。

常用的标定板形式：

上图显示了单个校准板的图像。大标定板由若干个单个标定板组成。标定板的尺寸和数量根据实际测量情况确定。

多标定板组合示意图：

案例分析：

(1)检测目标分析

衡量一个产品需要几个衡量指标。如下所示。

(2)图像采集采用四台相机完成所有项目的测量。拍摄的照片如下图所示。

(3) 测试过程

首先使用每张图片的两个垂直边计算它们的交点。那么就可以从这四个交点计算出L1和L2的值，如下图所示（以右下角的摄像头为例）。

防范措施：

该方法需要将多个相机的坐标统一到一个坐标系中，并且需要对单个相机进行标定以保证精度。根据检测要求，设定取多少点作为参考，但这会影响测试时间，需要酌情考虑。

应用领域：

手机、平板电脑面板尺寸检测。

2.利用相对运动来统一坐标

计划介绍：

该方法利用相机与被测物体之间的相对运动来统一相机的坐标。相机和被测物体只有一侧可以移动，记录每个位置的坐标，然后通过数学运算统一坐标。通常，相机位置固定，通过机械手等移动装置移动待测物体，然后将相机坐标系设置为机械手等移动装置的原点。

整体结构：

方法介绍：

通过摄像头拍摄的图像对Mark点进行定位，从而计算出被测物体相对于标准位置的偏差，包括角度偏差和位移偏差，最终确定机械装置的旋转角度和平移距离。以手机触摸屏和手机壳的定位系统来介绍算法原理。

手机触摸屏与手机外壳的定位系统采用多个摄像头代替一个摄像头进行定位，使得手机触摸屏与手机外壳能够精确组装。摄像机分为两组，每组两台摄像机。一组拍摄手机外壳（组1），另一组拍摄触摸屏（组2）。两组相机的标定方法相同。下面只介绍拍摄手机壳的两个摄像头的标定。摄像头固定，机械手吸住手机壳并移动。两个摄像头分别拍摄手机壳的两个定位孔。采用模板匹配的方式识别两个定位孔，如下图所示：

（1）通过机械手的移动获取用于标定的坐标（三点直线标定法）

第1 组摄像机1：

将Mark点移动到相机视野中，确定相机的初始位置，并获取初始Mark点Point11的中心坐标（cRow11，cColumn11）。机械手沿X方向移动一定距离（5mm）后，得到Mark点Point12（cRow12，cColumn11）的中心坐标。 cColumn12），机器人在Y方向移动一定距离（6mm）后，得到Mark点Point13的中心坐标（cRow13，cColumn13）。同时可以得到机器人在上述三个位置的空间坐标Robot11(X1[0],Y1[0]),Robot12(X1[1],Y1[1]),Robot13(X1[2] ]，Y1[2]）。

第1 组摄像机2：

同上，将同一个Mark点移动到相机视野中，通过同样的操作获取坐标：Point21(cRow21,cColumn21)、Point22(cRow22,cColumn22)、Point23(cRow23,cColumn23)、Robot21(X2[ 0]，Y2[0]]），Robot22（X2[1]，Y2[1]），Robot23（X2[2]，Y2[2]）。 (2)图像距离与实际距离换算比例关系的确定：

比例关系可以通过数学运算计算出来。

(3)旋转中心的确定

基于三点定圆的原理，让机械臂在初始位置旋转3次，得到Robot31、Robot32、Robot33相对于机械臂坐标系的三个坐标点。由这三个点的坐标即可计算出旋转圆的圆心坐标。

(4) 计算标准线的斜率：

需要在两个摄像机的视野内选择一点作为标准线的起点和终点，然后计算这条标准线在机器人坐标系中的斜率。将机械手调整到合适的位置，并将其确定为标准位置。此时，第1组的两个摄像机拍摄初始位置的两个不同Mark点的图像。通过模板匹配的方法找到两个相机初始位置视场中两个Mark点的中心坐标Point10（Row10，Column10）和Point20（Row20，Column20）。将Point10和Point20确定为标准线的起点和终点。找到Point10在机械臂中的坐标如下图所示。下图中，XOY为机械臂坐标系，X1O1Y1为第1组相机1的图像坐标。

通过计算该点到直线的距离即可得到d14、d15、d16的实际长度。由于运动过程中使用相同的标记点，因此摄像机1和摄像机2视野中的d1、d2和d3的值相同。因此，我们可以得到Point10在机器人坐标系中的实际坐标：Point10X=X1[1]+d16+d2，Point10Y=Y1[1]+(d1-d15)。

还可以得到Point20在机器人坐标系中的实际坐标：

点20X=X21+d26+d2，点20Y=Y21+(d1-d25)。

求标准线的斜率；

K=(点20Y-点10Y)/(点20X-点20X)

=(Y2[1]-Y1[1]-d25+d15)/(X2[1]-X1[1]+d26-d16)

之后每次定位都需要与这条标准线的斜率进行比较，从而得到与标准线的角度，最后进行旋转校正。

注意：由于Point10和Point20会落在不同的位置，所以在计算Point10和Point20的实际坐标时，上面的公式会发生变化，但原理是一样的。

定位校准

以后每次测试时，都会将得到的结果与标准线进行比较。可以获得与标准线的角度以及相对于标准位置的位置偏差，并根据获得的角度和位置偏差进行修正。校正过程中需要先旋转后平移，形成闭环反馈系统进行实时校正。

应用领域：

手机或平板电脑触摸屏和外壳的装配定位。

二。相机之间存在重叠，介绍了两种典型的方法。

1. 拼接图像的标定方法

计划介绍：

对于某些大尺寸对象，可以捕获多个图像，每个图像覆盖对象的不同部分。如果相机经过校准并且它们与通用世界坐标系的关系已知，则可以根据不同的图像进行准确的测量。通过将每个图像对齐到同一测量平面，甚至可以将多个图像拼接成覆盖整个对象的大图像。在生成的图像上，可以直接在世界坐标系中进行测量。图像拼接图：

安装：

两个摄像机或多台摄像机必须安装在稳定的平台上，每个图像覆盖整个场景的一部分。相机的方向可以是任意的，这意味着它们不需要与表面平行或垂直。调整相机焦距、照明和重叠区域，并使用覆盖整个视野的大参考对象。为了保证多张图像能够拼接成一张大图像，它们之间必须有一个小的重叠区域。重叠区域可以很小，因为这个重叠区域只是为了保证拼接后的结果图像没有间隙。下图是重叠区域的示意图。

校准：

图像校准可以分为两个步骤。

确定每个相机的内在参数。每个相机都可以单独标定，以获得相机的内部参数。

确定所有相机的外部参数。由于所有图像最终都要转换到一定的世界坐标系中，因此需要使用大型标定物体。该校准对象可以出现在所有图像中。它可以由多个校准板组成。标定板的数量与所用相机的数量一致。下图是两个相机分别拍摄的标定图像。

注：为了确定相机的外部参数，每个相机只拍摄一张标定图像就足够了。多相机采集标定图像的过程中，标定物体不能移动。理想情况下，这些校准图像应同时获取。

将单个图像拼接成一个更大的图像：

首先，必须对每个图像进行校正，将图像转换到公共坐标系中，以便它们正确匹配。在获得校正图像所需的所有地图后，可以有效地校正和拼接使用两个相机捕获的每个图像对。拼接结果图像由两个校正后的图像组成。每个校正后的图像占据图像的一部分。下图是校正后的图像和拼接结果。

应用领域：

液晶面板表面质量检测

2、无标定方法拼接图像

介绍：

该方法的精度比前三种方法低，适合不需要高精度拼接的应用。这种拼接方法的优点是不需要相机校准，并且可以自动排列每个单独的图像。

单张拍摄规则：

以下是拍摄每张图像时应遵循的一些规则：

(1)相邻图像之间必须有重叠

(2)图像之间的重叠区域必须具有相对明显的特征，以保证自动匹配过程更加准确。如果某些重叠区域中的特征不明显，则可以通过定义合适的图像对来克服这一问题。如果整个物体的特征不是特别明显，那么重叠的面积就应该大一些。

(3) 重叠图像的缩放比例必须大致相等。一般来说，缩放差异不应超过5-10% (4) 这些图像的亮度应该相似，至少在重叠区域。否则，如果亮度差异非常明显，则生成的图像中图像之间的接缝将会非常明显，如下所示。

定义重叠图像对：

需要定义一些重叠的图像对，并通过匹配确定这些图像对之间的变换关系。匹配过程将仅应用于这些重叠图像对。

如果需要拼接的图像较多，或者每行重叠图像中有很多图像，合理、彻底地排列图像对就非常重要。否则，某些图像可能无法准确匹配。这主要是因为噪声导致点坐标出现一些误差，导致无法准确计算图像之间的转换关系。这些错误将从一个图像传输到下一个图像。

提取图像中的特征点：

提取的特征点数量影响运行时间和匹配结果。特征点的数量越多，匹配过程就越慢。但特征点太少会增加产生错误结果的可能性。

匹配重叠区域的特征点，确定图像之间的变换关系：

图像拼接过程中最重要的任务是图像对之间的匹配过程。匹配的图像对可以进行任意平移和旋转，唯一的要求是图像应具有大致相同的比例。如果有关图像之间的平移和旋转的信息可用，则可以使用它来限制搜索区域，从而加快匹配过程并使算法更加鲁棒。特征点匹配的过程如下图所示。

生成拼接图像

一旦知道了图像对之间的转换关系，就可以调用该函数来进行图像拼接。下图为拼接后的图像。

注意：

需要注意球形拼接的情况。上述方法仅适用于相机绕光心旋转或缩放。如果相机的运动包含非严格围绕光心的平移或旋转，则采用这种方法得到的拼接结果将不准确，无法用于精确测量。

应用领域：

(1)街景拼接。

（二）电子地图制作。

(3)医学图像的拼接。

审稿人：李茜