机器视觉系统一般分为图像采集和图像处理两部分。
图像采集是指工业相机和PC机通过图像采集卡进行联动。图像采集卡接收来自工业相机的模拟信号或数字信号,并将信号处理转换成适合PC机的信息。
01
图像处理技术的应用
1.图像采集
目视检查首先需要收集输入图像。根据项目要求的不同,样品要求也会不一样。根据项目需求合理标定合适的样本,需要对大量样本进行训练,以提高性能。
图像格式(像素格式):分为黑白图像和彩色图像。黑白图像的灰度等级可分为256级,用8位表示;而彩色图像可以由RGB(YUV)3种颜色组成。
图像采集卡的附加功能:触发功能、光源控制功能、基本I/O功能、相机复位功能、定时输出功能、串行通信功能、电源输出功能等。
2. 图像预处理
图像处理是利用计算机对图像进行分析以达到预期结果的技术。一般指数字图像处理。其主要内容包括图像压缩、增强与恢复、匹配、描述与识别。
(1)图像增强
用于调整图像的对比度,突出图像中的重要细节,提高图像质量。有目的地强调图像的整体或局部特征,使原本不清晰的图像变得清晰或强调某些感兴趣的特征,扩大图像中不同物体特征之间的差异。包括灰度变换方法、直方图校正方法和滤波方法。
(2)图像变换
由于图像数组非常大,直接在空间域中处理会涉及大量的计算量。因此,常采用各种图像变换方法,如傅里叶变换、离散余弦变换等间接处理技术,将空间域处理转化为变换域处理,不仅可以减少计算量,而且可以获得更有效的处理。
(3)图像编码与压缩
图像编码和压缩技术可以减少描述图像的数据量,以节省图像传输和处理时间,减少占用的内存容量。可以在不失真或允许失真的情况下实现压缩。编码是压缩技术中最重要的方法,也是图像处理技术中最早、相对成熟的技术。
3.特征提取
图像分割就是从图像中提取有意义的特征。有意义的特征(包括图像的颜色、形状、灰度和纹理等)包括图像中的边缘、区域等。这是进一步进行图像识别、分析和理解的基础。
虽然边缘提取和区域分割的方法有很多,但目前还没有一种普遍适用于各种图像的有效方法。
4、识别技术
图像识别过程实际上可以看作是一个标注过程。其主要内容是对图像进行一定的预处理(增强、恢复)后进行图像分割和特征提取,从而进行判断分类。
很多时候,图像所传达的信息比其他形式的信息更丰富、更真实、更具体。人眼与大脑的配合使得人们能够获取、处理和理解视觉信息。人类利用视觉非常有效地感知有关外部环境的信息。
5、运动目标检测技术
运动目标检测的主要目的是从图像中提取运动目标,获取运动目标的特征信息,如颜色、形状、轮廓等。提取运动目标的过程实际上是图像分割的过程,运动目标可以只能体现在连续图像序列(如视频图像序列)中。运动目标提取的过程就是寻找连续图像序列中的差异,并提取由于物体运动和表现而产生的差异。
常用的方法有四种:连续帧间差分法、背景差分法、光流法和运动能量法。
6.目标跟踪与检测技术
运动目标检测是计算机视觉和视频处理领域中一个非常重要且有效的研究课题,因为它是视频对象分类和视频跟踪活动等许多复杂过程中的关键步骤。因此,从给定的视频帧序列中识别移动物体的实际形状变得很重要。
然而,由于动态场景变化、光照变化、阴影的存在、伪装和制导问题等各种挑战,检测运动中物体的实际形状的任务变得很棘手。
帧间差分法是检测运动物体最常用的方法。它分别找出当前帧与前一个连续帧以及当前帧与下一个连续帧之间的差异。然后,该算法选择两个不同帧之间的最大像素。强度值。接下来,将所得差异帧划分为不重叠的块,并计算每个块的强度和和平均值。随后,它使用阈值和强度平均值来查找每个块的前景和背景像素。
02
当前的挑战
1.不同的角度和不同的外部因素(光源、颜色、相机等)影响图像采集效果。
2、不同背景下得到的同一张图片。许多因素会影响图像的像素灰度,导致难以读取图片的特征。
3.图像中的物体以二维形式呈现,识别过程中会存在轻微偏差。
4、通用视觉检测系统无法适应任何环境,建立能与人类视觉系统相媲美的通用视觉系统非常困难。
5、目标之间或者目标与人之间的相互遮挡,尤其是在拥挤的情况下,使得目标检测非常不稳定,检测结果也非常不理想。这个问题需要进一步研究和解决。
03
提高图像识别技术的有效方法
1. 并行图像处理
并行计算是提高处理速度最有效的技术之一。图像并行处理技术为提高图像处理效率提供了广阔的空间。
并行图像处理包括并行算法和多处理器并行硬件系统。并行图像处理算法的执行效率取决于多处理器系统的硬件结构。
通常,并行结构仅适合映射一种类型的并行算法。并行图像处理结构设计面临的主要问题可以概括为两个方面:一是并行图像处理的硬件结构复杂,实际应用中图像处理结构的开发周期长、成本高;其次,图像处理算法的硬件结构针对性的设计方法导致图像处理平台的复用性差,难以调整、扩展和升级。
2. 数字信号处理器
数字信号处理器是由大规模或超大规模集成电路芯片组成的处理器,用于完成一定的信号处理任务。数字信号处理是以数字方式表示和处理信号的理论和技术。
数字信号处理和模拟信号处理是信号处理的子集。数字信号处理的目的是测量或过滤现实世界的连续模拟信号。因此,在进行数字信号处理之前,需要将信号从模拟域转换到数字域,这通常是通过模数转换器来实现的。数字信号处理的输出常常转换到模拟域,这是通过数模转换器实现的。
3.专用集成电路
专用集成电路是为特定用户或特定电子系统制造的集成电路。数字集成电路的通用性和大规模生产,大大降低了电子产品的成本,促进了计算机通信和电子产品的普及。但也造成了通用与特殊应用之间的冲突,以及系统设计与电路生产脱节的问题。同时,集成电路的规模越大,在构建系统时为了满足特殊要求而改变它们就越困难。
4.图像采集卡
传统相机系统每秒捕获和传输多个十亿像素,这需要实时处理或压缩。尽管相机传感器技术和支持接口正在迅速发展,但传统的基于PCIe/CPU/GPU 的PC 架构缺乏以此数据速率捕获、处理和存储图像所需的性能。
基于FPGA 的高端图像采集卡具有超快收发器和巨大的板载内存带宽,为实时处理和压缩提供必要的基础设施。开放式FPGA 架构允许开发人员定制自己的采集路径并嵌入自己的图像处理算法和压缩块。
审稿人:李茜