机器视觉检测技术及应用（机器视觉检测理论与算法）

即使钢的温度超过1,000C，视觉技术也可以像冷钢一样检查热轧钢的表面。

为了生产无缝钢管，需要将钢坯运输到熔炉中进行加热。接下来，对坯料进行穿孔以形成厚壁空心壳体，然后将心轴插入壳体中。然后在芯轴式无缝管轧机中进行延伸轧制。拉伸过程结束后，坯料被输送到推料站，在那里被推过一系列轧机机架。结果是壁厚逐渐变小的长空心钢管。

尽管与热轧工艺一样有效，但轧机机架中的轧机机架偶尔会在钢材表面产生在热条件下很难检测到的痕迹和缺陷。因此，在质量改进项目中，许多制造商都希望尽早识别这些缺陷，以避免以相当大的成本生产大量有缺陷的材料。

视觉系统

为了解决这些问题，西班牙公司Tecnalia 的工程师开发了一种名为Surfin' 的机器视觉系统，该系统可以让钢铁制造商在钢板从推台上滚出时检测到此类缺陷（见图1）。检测到这一缺陷可以为制造商提供生产过程中任何问题的指示，使制造商能够及早对推台进行预防性维护，防止任何有缺陷的钢管交付给客户。

图1：西班牙Tecnalia公司的工程师开发了一种名为Surfin'的机器视觉系统，当温度超过1000的钢板从推台推出时，该系统可以检测钢板中的缺陷。

轧机机架生产的钢管表面上的这种典型缺陷通常会重复出现，直到更换轧机机架为止。这些缺陷包括表面裂纹、轧机支撑停止痕迹、裂纹以及随后粘附到管道表面另一部分的脱落钢材。

开发商面临着严峻的挑战。这种生产环境的条件可谓极其恶劣：不仅钢管生产速度较高，可达6~7m/s（Surfin’最高可达10m/s），而且钢管生产时的温度也非常高。被推出轧机机架的温度约为1000C，加上环境脏乱且存在水和油蒸气，使缺陷检测变得更加困难。

由于钢材热表面辐射的光与红外、红色、橙色和黄色波段的热发射直接相关，因此捕获从钢材表面反射的所有光的图像将使相机中的传感器饱和。从钢管辐射出辐射。全部对光敏感。为了解决这个问题，Surfin'系统（专利号ES2378602和EP2341330）使用波长远离炽热钢发出的光谱的光。

系统中的摄像头捕获的图像随后穿过美国爱特蒙特光学公司的窄带光学带通滤光片（中心波长470nm，带宽10nm）和红外（IR）辐射滤光片。这两个滤光片允许CCD 相机仅接收所需波长带内的辐射，同时添加红外滤光片以保护电子系统免受热辐射。受控照明技术使系统能够捕获钢管整个表面的图像，就像钢管是冷的一样。

为了使系统能够捕获钢管表面的360图像，系统采用了三套加拿大Teledyne DALSA公司14000线/秒的Spyder 3线扫描相机，垂直于轴线以120的角度间隔安装轧制钢管的平面。推进级的输出周围有一个保护壳。在该系统的早期版本中，每个相机的两侧都使用了来自加拿大Laserglow Technologies 的两个200mW 473nm 蓝色激光源，对钢管表面进行暗场照明。由于系统的几何形状，可以连续实时捕获钢管的完整图像（见图2a和b）。

图2：a)：为了使系统准确捕获钢管表面的360 图像(3)，系统使用三组激光器(1) 和14000 线/秒的线扫描相机(2)。 B)：激光器和摄像头组安装在垂直于滚动轴平面的同一平面内，呈120角，摄像头位于推进级输出端周围的防护罩内。

由于环境温度较高，保持相机持续冷却至关重要。为此，将压缩冷却空气注入保护壳中，保护相机和激光设备免受高温和恶劣环境的影响。空气不仅可以冷却系统，而且多余的空气会通过窗口排出，激光通过窗口输出光束，相机通过窗口捕捉图像，从而防止水垢、氧化物、灰尘和液体沉积。

图像处理

一旦捕获了钢材表面的图像，图像就会通过光纤千兆以太网链路传输100m 到控制室中基于PC 的服务器。在这里，首先使用自定义图像增强算法（例如直方图均衡化）对图像进行预处理以增强图像的对比度。该技术增加了图像的全局对比度，因为原始图像中的可用数据由接近的对比度值表示。

图像增强后，使用定制软件对其进行处理，在系统的早期版本中，该软件采用了基于支持向量机（SVM）的辅助学习系统。一旦系统学会通过纹理、对比度和尺寸识别不同样品的缺陷，算法就可以自动检测和分类生产环境中最重要的生产缺陷（见图3）。

图3：钢材中出现的典型缺陷包括(a) 材料粘附、(b) 材料去除和(c) 辊痕。

基于PC 的服务器用于存储来自摄像机的图像、发现的缺陷的数据及其在钢管上的位置。它还会将压力、温度、速度信号、通信和其他钢管生产数据的警报存储在Oracle数据库中。质量控制和可追溯性。还可以通过在连接到公司局域网(LAN) 的计算机上安装客户端应用程序来远程检查服务器上的数据。

该系统自最初开发以来已经经历了多次增强，并且系统的架构现已重新设计，以便更轻松地对齐和调整相机以及调整照明。

该系统的较新版本还使用液体而不是空气冷却技术，允许照明和传感器放置在更靠近钢管的位置，从而可以对管道的较热或较大区域进行成像。美国公司Metaphase Technologies 的LED 光源也取代了早期的激光器，将光源的使用寿命从2,000 小时延长至50,000 小时，并消除了散斑等可能破坏相机拍摄图像的因素。

软件用户界面也得到了改进，工厂操作员现在可以看到钢材中出现的缺陷的位置和具体属性（见图4）。现在还可以在数据库中存储几个月的生产数据，使工厂经理能够查看可能发生的任何错误的周期并安排定期的预防性维护操作。该系统还可以支持多个用户，这些用户不仅可以在本地访问该系统，还可以通过互联网访问该系统。

图4：定制的软件用户界面，使工厂操作员能够实时查看钢材上缺陷的位置和具体属性。

分类变更

Surfin 系统最近最重要的发展之一是用内部开发的候选窗口检测平台和用于缺陷分类的卷积神经网络(CNN) 取代了之前基于SVM 的分类器。 CNN可以学习从训练图像中提取表征每种类型缺陷的相关特征并进行分类，而SVM仅将其输入映射到一些可以揭示缺陷类别之间差异的高维空间。

通过假设所有感兴趣的对象（例如缺陷）共享将它们与背景区分开的共同视觉属性，候选窗口检测平台输出一组可能包含缺陷的区域。随后，CNN 提取学习到的特征并对图像数据进行实际的缺陷分类。

通过带有缺陷的热钢管图像的定制图像数据库对CNN分类器进行了验证，发现基于深度学习的方法能够比之前的SVM分类器明显更好地减少检测到的误报和漏报数量。

当执行两类分类（例如有缺陷与无缺陷）时，最相关的性能指标是AUC，或ROC（接收器操作特性）曲线下的面积，通过在x 上绘制误报率来测量轴和y 轴上的真阳性率。阳性率，然后计算该函数下的面积（见图5）。

图5：执行两类分类（例如有缺陷与无缺陷）时，最相关的性能指标是AUC 或ROC（接收者操作特性）曲线下的面积。模型越好，AUC越接近1。这样，在比较多个模型时，可以通过选择AUC最高的来选择最好的模型。虽然SVM分类器的AUC值为0.88，但对于二类分类情况，CNN-Surfin’分类器的AUC值为0.997。

理想情况下，该函数的值对于x轴上的每个值都是1.00，因此模型越好，其AUC越接近1。这样，在比较多个模型时，可以通过取最佳模型来选择最高AUC 值。虽然SVM分类器的AUC值为0.88，但对于二类分类情况，CNN-Surfin’分类器的AUC值为0.997。

此外，对于给定的模型，可以选择阈值以使系统能够确定样本是否有缺陷。由于模型的输出通常是0到1之间的概率值，如果概率值大于阈值，则样本将被标记为NOK，否则将被标记为OK。

通过将阈值移向1.0，您可以减少误报数量，但会增加误报数量，反之亦然。然后，您可以通过在x 轴上绘制阈值以及在x 轴上绘制特异性或真阴性率（=1 - 假阳性率）和灵敏度或真阳性率（=1 - 假阴性率）来直观地检查系统的工作情况。 y 轴在哪里。

与阈值相对应的垂直线切割两条曲线的点，产生假阳性率和假阴性率。阈值的常见选择是产生大致相等的假阳性率和假阴性率。对于CNN-Surfin'，获得了1.58% 的假阳性率和1.49% 的假阴性率（见图6）。相比之下，Surfin' 的SVM 版本的假阳性率为17.98%，假阴性率为18.00%，Surfin' 的分类错误次数减少了12 倍。

图6：垂直线与阈值对应的两条曲线相切的点，产生假阳性率和假阴性率。阈值的常见选择是产生大致相等的假阳性率和假阴性率。对于CNN-Surfin'，假阳性率为1.58%，假阴性率为1.49%。

现在，新的分类器已准备好在生产环境中运行。此外，Tecnalia工程师正在努力继续改进该系统，旨在使钢铁生产商能够生产零缺陷钢铁。例如，使用CNN-Surfin'评估了4类问题（OK和3类缺陷），通过AUC（平均扩展）进行分类，得到AUC=0.9956。但目前正在收集更多样本，以使结果更具统计意义。

自推出以来，Surfin'系统已交付给西班牙Tubos Reunidos和Aceros Inoxidables Olarra等公司，能够在热处理生产的早期阶段检测生产问题。 Tecnalia 正在与其他钢铁生产公司合作，部署该系统来检查形状更复杂的钢材，例如建筑和土木工程中使用的U 型钢或H 型钢。

Tecnalia 与西班牙Sarralle Group 建立了合作关系，在全球范围内分销Surfin' 系统。