当前位置:首页 > 工业用地 >y3无人机(y5无人机)

y3无人机(y5无人机)

目前,无人机或空中机器人正处于快速发展时期。基于YOLO算法的目标检测性能已达到业界较高水平,算法仍需不断改进。无人机可以携带多种设备来完成不同的任务。这些任务的例子包括喷洒液体药物、测量、物流、灾害管理、航空摄影以及播种肥料或种子。基于YOLO算法的物体检测技术已经能够实现人体行为分析、面具识别、医疗诊断分析、自动驾驶、交通评估、多目标跟踪和机器人视觉。然而,无人机面临复杂的场景或任务,需要与地面控制终端进行良好的数据通信,因此无人机技术的创新和发展可能会受到某些应用环境的限制。然而,无人机面临复杂的场景或任务,需要与地面控制终端进行良好的数据通信,因此无人机技术的创新和发展可能会受到某些应用环境的限制。另外,基于YOLO算法的目标检测技术需要部署在高性能处理器中并与图像或视频数据结合使用,这对使用场景提出了一定的要求。这两种技术可以结合起来创造出一项新技术,即——基于YOLO的无人机技术(YBUT)。无人机为YOLO算法提供了更多的应用场景,YOLO算法可以帮助无人机完成更多新奇的任务。这样,无人机技术和YOLO算法可以进一步改善人们的日常生活,同时为各自行业的生产力做出贡献。

随着无人机技术的不断成熟,世界各国的无人机数量每年都在增加。根据全球商用无人机的年度销量和销量统计,如图1所示,到2025年,全球约有679架无人机。000架无人机,市场规模约为5亿美元。世界上无人机数量如此之多,如果能够将无人机作为空中平台来部署YOLO算法,就有可能让无人机变得更有价值。

y3无人机(y5无人机)

图1 全球商用无人机年度销量及销量统计

YOLO是一种广泛使用的深度学习算法,因为它是一种基于分类/回归的目标检测方法,这赋予了算法核心优势:结构非常简单、模型尺寸小、计算速度快。自YOLO推出以来(截至2023年2月)经过七年的发展,研究人员已经发布了YOLO算法的七个版本。基于YOLO的目标检测算法的机制是将输入图像调整为相同大小,然后将图像划分为大小相等的SS个网络单元,每个单独的网络单元都可以检测其中的目标。如果检测到的对象的中心落在网络单元内,则该网络单元将预测该对象。每个网络小区可以有N个检测帧。每个检测框不仅计算自己的位置,还做出预测分数。分数表示检测目标存在于预测网络单元中的可能性。由于网络单元中可能存在多个box,YOLO会自动选择得分最高的目标类别进行预测,如图2所示。

图2 基于YOLOv7的无人机技术架构图(BN:批量归一化层;AF:激活函数层)

利用中英文搜索引擎(如Web of Science、中国国家知识基础设施)对检索结果进行分析,获取相关领域中英文期刊的主要研究主题。迄今为止,计算机视觉技术已经发展出多种算法,其中YOLO算法于2016年提出,并于2017年由Jiang等人首次应用,将YOLO算法与无人机相结合。此后,YOLO算法和无人机融合技术不断发展,相关研究成果或应用激增。这项技术也从探索性实验转变为学术研究热点(见图3)。

图3 顶级期刊和会议发表论文数量(2017-2022年)

根据我们对YBUT应用领域的调查,将英文期刊中该领域的热点话题信息汇总成饼图,如图4的调查结果所示。从饼图可以看出,热点话题主要是集中于技术研究、工程、交通等行业,发表论文或会议文件的数量代表了研究人员的兴趣。我们还调查了该领域热门话题的中文期刊,发现它们更关注技术研究、工程和自动化。随着无人机技术和YOLO算法的不断发展,这项技术已经开始在大部分领域进行探索,并在少数领域取得了一些成功。 YBUT的发展和研究一直是顶级期刊和会议的热点话题,现在该技术的实际应用也逐渐引起他们的兴趣。

图4 YBUT应用领域调查:(a)英文期刊热门领域,(b)中文期刊热门领域

YBUT应用初期,主要工作机制是通过无人机采集图像或视频数据,然后由运行基于YOLO的目标检测算法的计算机进行目标检测、识别和分类。为了探索从无人机拍摄的图像中检测车辆的方法应用于交通监控和管理,并且由于深度学习算法在目标检测方面表现出显着的优势,研究人员尝试将基于YOLO的目标检测算法应用于无人机图像中的车辆检测。江等人。在无人机上集成热红外成像传感器和可见光成像传感器,构建多源数据采集系统,通过特征点提取和单响应矩阵方法对图像进行校正和对齐,然后对多源进行图像融合数据。最后,他们使用深度学习YOLO算法进行数据训练和车辆检测(见图5)。

图5 Jiang等人提出的方法流程图

此外,阮等人。尝试利用深度学习和基于视觉的锥套检测和定位方法,解决复杂环境下无人机自主空中加油液滴的精确检测和定位问题。他们使用训练好的YOLO算法进行锥体轨迹检测,确定参考位置后使用最小二乘椭圆拟合确定椭圆的长半轴,最后使用单目视觉相机进行椎体下垂定位(见图6)。

图6 Drogue检测方法

随着YBUT的不断发展,新一代无人机配备了丰富的计算资源和高性能处理器,部署基于YOLO的目标检测算法,让处理器在无人机收集数据的同时,实时检测、识别和分类任务。数据。目的。为了探索新一代技术的可行性,Zhang等人。将YOLOv3算法嵌入到资源有限的NVIDIA Jason TX1平台环境中(见图7),让无人机搭载嵌入式平台进行实时行人检测实验。

图7 四旋翼监控无人机

为了减轻无人机机载嵌入式处理器的计算压力,增强YBUT的实用性,Alam等人。提出了一种经济高效的空中监视系统,该系统保留了机载嵌入式处理器Movidius VPU 的有限功率。 Tiny-YOLO计算需求,将大型Tiny-YOLO计算任务转移到云端,并保持无人机与云端之间的最小通信。与其他最先进的方法相比,该系统的目标检测处理速度(每秒帧数)快六倍,同时板载嵌入式处理器技术的应用减少了端到端延迟和网络资源消耗(见图1)。 8).

图8 Alam等人完成的系统设计。

杜希等人。使用配备Nvidia Jetson TX2 高性能嵌入式处理器和PID 控制器的无人机。然后,他们在嵌入式处理器中部署了YOLOv3算法,使用基于YOLO的目标检测算法直观地引导无人机跟踪检测到的目标,同时使用PID控制器来控制无人机的飞行。实验结果表明,该方法成功实现了仅通过鱼眼相机进行定位和无人机跟踪飞行的视觉SLAM,无需外部定位传感器或引入GPS信号(见图9)。

图9 基于深度学习的运动控制软件架构。图中红色圆圈表示YOLOv3算法中输入的RGB图像,橙色圆圈表示YOLOv3算法的计算过程,蓝色圆圈表示YOLOv3算法检测到的目标和边界框数据。

阿菲菲等人。提出了一个强大的多场景行人检测框架,该框架使用YOLO-v3 对象检测作为骨干检测器(见图10),并在无人机上的Nvidia Jetson TX2 嵌入式处理器上运行。多个室外行人检测场景的实验结果表明,与YOLOv3算法相比,随着嵌入式处理器计算资源的增加,所提出的检测框架在mAP和FPS方面表现出更好的性能。

图10 行人检测框架工作流程

YBUT应用较为成熟的研究领域有输电线路检测、建筑物表面检测、运动目标跟踪、仪表显示读数、光伏组件检测、建筑物识别与分类等。从目前的调查来看,在YBUT在工程领域的应用研究中,研究人员更倾向于输电线路检测方向。可对复杂环境下的电线杆、绝缘子、电器元件、配电杆、输电塔、鸟巢、断路器等物体进行准确识别、分类和定位。例如,鲍等人。提出了一种端到端并行混合注意力检测YOLO网络(PMA-YOLO),通过无人机收集输电线路阻尼器数据,然后创建数据集来训练和测试模型;结果表明,该模型能够检测减震器异常,准确率达到93.8%(见图11)。

图11 PMA-YOLO网络检测减震器异常的实验结果。 “生锈”、“有缺陷”和“正常”阻尼器的地面实况和预测框分别以黄色、红色、蓝色和绿色显示

最近,阿尔萨纳德等人。提出了一种改进的YOLOv3算法,用于低空空域小型无人机检测;实验表明,所公开的改进算法模型能够有效检测复杂环境下的低空无人机(见图12),并可成功应用于反无人机研究领域,管理低空空域无人机。该方法在现有研究的基础上,进一步提高了YBUT的低空小型无人机检测性能。

图12 改进后的YOLOv3无人机检测算法结果

为了进一步管理和限制生活中的各种交通方式,BUT在交通领域做出了很多尝试。例如,冯等人。提出了一种基于YOLOv3的无人机检测方法(见图13)。

图13 基于城市道路视频的车辆检测结果

奥马尔等人。提出了一种基于YOLOv4算法的航拍图像中的车辆检测方法(见图14)。

图14 (a)无人机图像采集,(b)无人机图像检测结果

城市交通管理应用和城市道路管理都是YBUT技术应用的重要方向。席尔瓦等人。设计了一个部署YOLOv4 的分布式无人机平台来检测道路损坏(见图15)。

图15 道路损伤检测结果

赵等人。提出了一种基于YOLOv3的无人机高速公路中心标志检测算法,YOLO-Highway(见图16)。

图16 各种环境条件下路标检测结果

在农业领域,很多困难任务已经有了基于YBUT的新解决方案。随着YBUT的不断发展和扩大,现在可以检测大型植物物种中的不同目标和特征,例如死树检测、松枯线虫检测(见图17)、松枯病检测、油棕树果实检测和其他任务。

图17(a,b)是病树检测区域的原始图像,(c,d)是MobileNetv2-YOLOv4算法检测该区域病树的结果

此外,YBUT还可用于涉及小型植物的分析,例如豌豆和草莓周围的杂草检测(见图18)、大田小麦表型监测和番茄发芽检测。

图18 豌豆作物面积和草莓作物面积杂草识别结果

还可以高精度地检测、分类和计数移动目标(例如动物)(见图22)。

图19 使用YOLOv5s改进模型检测驯鹿和梅花鹿的数量

随着无人驾驶概念的增加,某些应用正在迅速实现自动化。克拉夫特等人。提出了一种基于YOLOv4的利用无人机定位公园垃圾的方法。实验结果表明,无人机可以在固定区域内检测垃圾并收集垃圾位置数据,同时在地图上标记垃圾位置,供清洁人员查看并方便清洁(见图20)。

图20 使用YOLOv4检测无人机数据集的结果

未来,该系统还可以与其他设备配合,定位并自动清扫垃圾,彻底减轻清扫人员的工作量。廖等人。提出了一种基于无人机的海洋垃圾探测系统,利用改进的YOLO算法的无人机进行海洋垃圾探测;他们的系统通过互联网将结果传输到地面监测平台,以协助政府机构实施管理计划(见图21)。

图21 八斗子渔港无人机垃圾检测结果

除了上面讨论的YBUT应用的主要领域外,一些研究人员还探索了全新的领域,尝试了新的方法,并利用这些方法来推广和增强YBUT的适用性和有用性。静等人。提出了一种基于YOLOv5s-ViT-BiFPN的神经网络,可以利用无人机图像来评估自然灾害后农村房屋的损坏情况(见图22)。

图22 YOLOv5s-ViT-BiFPN算法检测受损房屋

目前,YBUT的发展在工程、交通、农业、自动化等领域的应用较多,在其他领域的实践较少;该技术的推广仍然是一个挑战。未来的技术发展需要考虑这四个问题。

审稿人:李茜

最新资讯

推荐资讯