YOLOv5目标检测的轻量化研究
何 雨，田军委，张 震，王 沁，赵 鹏
西安工业大学 机电工程学院，西安 710021
室内目标检测技术是当前极具实用价值与广阔前景的热点研究，其在智能家居、服务机器人、安防监控等领域都有着广阔的应用前景[1-2]。目标检测技术的研究是开展室内视觉任务的基础，对于提高场景理解的感知力度有着重要意义。传统的目标检测算法基于手工提取特征[3]，形成了以级联检测器（VJ-Det），梯度方向直方图检测器（HOG-Det）和可变形组件检测器（deformable part model，DPM）为代表的传统目标检测算法，广泛应用于动态视频中的行人检测，以及静态图像中的车辆和常见动物检测[4]。深度学习技术突破了传统目标检测算法在特征提取上的技术瓶颈问题[5-7]，成为当前目标检测的主流算法。基于检测原理的差异，深度学习型目标检测可分为两类：two-stage和one-stage，代表算法分别为RCNN[8-10]系列和YOLO[11]、SSD[12]系列，其中SSD是基于前两者的改进。虽然现有目标检测方法众多，但大多数研究致力于精度提升，使得网络结构愈加复杂，对硬件成本要求也更大。而实际室内场景中机器人作业平台硬件平台有限，难以达到其要求，因此研究轻量化的目标检测显得尤其重要。YOLO系列算法作为经典的one-stage目标检测算法，因其出色的检测性能得到广泛应用，文献[13-15]采用MobileNetV2主干网络替换和注意力机制结合的方式来实现YOLO系列的轻量化的研究，在模型复杂度上有了改进，但对于精度却没有很好地兼顾。文献[16-17]提出基于网络通道的剪枝模型压缩方法来实现网络轻量化，在MobileNetV2的基础上再次进行剪枝来减少模型参数量，效果显著，但其精度损失严重，难以保障检测准确率，且在不同数据集的检测效果难以维持稳定。文献[18]采用空心卷积和超轻量子空间注意机制对特征图像进行重采样，极大地提高了目标检测精度。
以上研究针对单一精度或轻量化的改进难以满足室内机器人作业中对实时性和准确率的要求。因此，本文拟通过改进YOLOV5s目标检测算法对精度和轻量化进行研究，加强室内机器人的环境感知能力，有效解决室内目标检测实时性与准确率难以平衡的问题。
YOLOv5与YOLO系列的网络结构类似，主要由Input、Backbone、Neck和Head等四部分组成，YOLOv5s是YOLOv5里最小的一个模型，广泛应用于轻量化研究。如图1为YOLOV5s网络结构，由Input、Backbone、Neck和Head四部分组成构成，右侧为SPP和Foucs组件结构。其中，输入Input为三通道的RGB图像，特征大小为640×640×3，采用Mosaic数据增强的方式，丰富了检测目标图像背景，减少了模型对batch size的依赖。主干网络阶段Backbone使用Foucs网络结构对特征进行切片操作，更好地进行深度特征提取，使得通道数扩充了4倍，特征尺寸减半，提升了运算速度。特征融合层Neck采用路径聚合网络（path aggregation network，PANet），对Backbone输出的有效的特征图进行融合，实现不同特征层的信息交融。PANet更好地融合了浅层与深层的特征信息，使得网络充分提取到网络中各个层次的特征，从而加强特征提取，得到更为丰富的特征信息（强语义信息和边缘、纹理等信息）。输出部分Head有3个YOLO Head检测器，分别输出不同尺度特征图进行目标预测。
图1 YOLOv5s网络结构Fig.1 YOLOv5s network structure
YOLOv5虽已取得很好的成就，但仍存在一定的不足，对于硬件成本要求较高，难以部署在小型的嵌入式设备或者移动端设备。因此，为解决这个该问题，从算法模型复杂度和检测精度出发，对YOLOv5进行改进。
改进的YOLOv5s主要从轻量化特征提取、特征融合和损失函数三方面进行改进。首先，利用ShuffleNet v2轻量网络替代CSPDarknet（cross stage partial darknet）主干网络进行特征提取，大幅减少参数，实现YOLOv5s算法的整体轻量化；
其次，使用引入了上下文信息和权重信息的加权双向特征金字塔（bidirectional feature pyramid network，BiFPN）进行特征加强提取，获取更为丰富的特征信息，进一步提高检测性能；
最后，采用位置回归EIOU损失，从重叠、中心距离、宽高三部分损失描述目标框的回归，加快模型收，提升检测性能。下面将对轻量化特征提取、特征融合和损失函数的相关基础理论和改进方法进行详细介绍。
1.1 卷积计算
模型参数量和计算量是衡量网络轻量化的标准，通过对其计算获取网络的实际参数量和模型复杂度。
标准卷积由三部分组成：包括卷积层、批量归一化和激活函数。在标准卷积中，特征图的卷积核kernel通道数与输入保持一致，各通道单独做卷积运算后再相加。假设输入特征图shape为Cin×H×W，输出通道数为Cout，那么，会有Cout个卷积核，卷积核尺寸为Cin×K×K，由此可以计算其参数量（parameters）和计算量（FLOPS）大小。
参数量：
式中，H为特征图高度，W为宽度，K为卷积核的宽高尺寸。
计算量：
深度可分离卷积（depthwise separable convolution，DW）通过输入通道数与多个单通道卷积核的逐层运算，得到多个特征图，再利用逐点卷积在深度方向进行加权混合，实现不同通道间的信息融合。同理，可以计算DW卷积的参数量和计算量。
参数量：
计算量：
由上式可得：
根据式（5）可得，深度可分离卷积参数量和计算量明显小于标准卷积，因此，采用DW卷积替换标准卷积能极大减少计算量，减轻模型体积，实现轻量化，为最终模型部署在小型嵌入式设备提供了可行的依据。
分组卷积（group convolution，GC）把输入特征通道数Cin和卷积核划分为G组，每个卷积核的通道数为CinG，分组进行卷积后，G组输出拼接得到通道数为Cout的特征图，其参数量大小为：
由上式可知，标准卷积参数量是几种不同卷积中参数量最大的，而分组卷积和深度可分离卷积的参数量都有一定程度的降低。其中，分组卷积的参数里是标准卷积的1G，同理，计算量也是标准卷积的1G。
1.2 轻量化特征提取
YOLOV5初始模型在特征提取阶段易丢失小目标特征信息，对小目标的检测效果有所降低，并且其网络模型体积较大、参数量多、对硬件要求较高，对部署造成一定的困难。针对以上情况，本文在初始YOLOV5s网络基础上用轻量化的ShuffleNet v2[19]代替主干网络，减少参数，实现网络轻量化。
ShuffleNet v2提出了通道混洗（channel shuffle，CS）的操作。通过将分组卷积得到输出特征的不同通道信息均匀打乱，在不增长计算量的情况下，保证分组卷积之后不同组的特征图之间实现特征通信，增强特征提取效果。如图2所示为ShuffleNet v2基本模块。单元1中将输入特征通道数分为两组，左侧分支不作处理，右侧进行卷积操作和批量归一化等处理，再将左分支的通道划分特征与右分支卷积输出特征进行融合并进行通道混洗，从而加强对两分通道图信息的融合。单元2左右分支均为降采样操作，特征图大小减半，维度加倍，由两个单元共同组成ShuffleNet v2网络结构，实现轻量化特征提取。
图2 ShuffleNet v2基本模块Fig.2 Basic module of Shufflenet v2
表1展示了改进后的主干网络提取特征的每个阶段，采用计算量更小的DW卷积代替原先的最大池化卷积，可获取更为丰富的特征图。其中，Stage代表ShuffleNetv2基础模块，连续使用3个ShuffleNetv2模块在不增加计算量的同时使得特征提取能力加强，再使用1×1卷积扩充通道数，获取大感受野下的目标特征信息；
最后，使用全局池化替代全连接层进行融合空间信息，同时也可防止过拟合，提高泛化能力。
表1 改进后的主干网络结构参数Table 1 Structure parameters of improved backbone network
1.3 特征融合网络
YOLOv5采用PANet进行特征融合，采用自顶向下和自底向上构建不同shape的特征层的方式进行融合。通过浅层与深层的特征融合，使得网络充分提取到网络中各个层次的特征，从而加强特征提取，得到更为丰富的特征信息（强语义信息和边缘、纹理等细节信息）。因此，为进一步研究高效的多尺度特征融合方式，达到更好的目标检测效果，本文改进特征融合层的连接方式，使用BiFPN进行特征融合。BiFPN在PANet基础上引入了上下文信息和权重信息平衡不同尺度，通过添加一条额外的边，在不增加cost的同时可融合更多的特征，实现简单快速的多尺度特征融合，获取更大的感受野和清晰的目标位置和丰富的语义信息。Neck层网络结构如图3所示。
图3 Neck层网络结构Fig.3 Network structure of Neck layer
1.4 损失函数改进
YOLOV5的损失函数由三部分组成，包括位置、置信度和类别损失。其中，使用GIOU损失函数预测目标框的位置回归损失，BCE损失函数预测类别和置信度损失：
其中，LIOU=b?bgt b?bgt，b为真实框，bgt为预测框，C为包含b和bgt检测框的最小矩形框。
对于针对边界框回归任务位置损失，GIOU采取先扩大并集面积再实施优化IOU的方式，并以闭包的面积减去并集的面积作为惩罚项，不能反映真实框与预测框距离（重合度）和loss为0时梯度无法回传的情况。而CIOU存在宽和高不能同时增大或者减小的问题。
本文采用EIOU[20]损失函数，考虑了中心点距离、长宽边长真实差的问题，解决了GIoU存在的不足和CIOU纵横比的模糊的情况（将CIOU纵横比的影响因子拆开分别计算目标框和锚框的长和宽）。EIOU直接对w和h的预测结果进行惩罚，如式（9），由三部分组成，包括重叠、中心距离、宽高三种情况的损失。重叠和中心距离部分没做改动，继续使用沿用CIOU的方法，加入宽高损失解决了CIOU宽和高不能同时增大或者减小的问题，使目标框和预测框之间的宽高之差最小。引入的EIOU损失函数收敛更快，回归精度更高。
其中，cw、ch、ρ分别是覆盖两个box的最小外接框的宽度、高度和b和bgt之间的欧式距离，w,h,wgt,hgt分别为预测框的和真实框的宽高。
2.1 数据集准备
本文以COCO数据集为研究对象，提取5类常见室内目标样本：vase、apple、tv、laptop、refrigerator，总共13 441张，随机选取80%做训练集。训练前对所有数据进行Mosaic数据增强、初始化、归一化等处理。如图4所示为目标样本及其标签分布情况。
图4 数据标签分布Fig.4 Data label distribution
2.2 实验环境及配置
选用Ubuntu20.04为主要操作系统，利用Pytorch搭建神经网络模型，硬件平台NVIDIA GeForce RTX 2080Ti，运行内存为11 GB。采用COCO数据集预训练权重和余弦退火、预热学习率的方式来进一步收敛损失函数。如表2为训练的初始化参数。
表2 初始化参数Table 2 Initialization parameters
2.3 评价指标
深度学习目标检测算法的性能主要通过精确率（precision）、召回率（recall）、均值平均精度（mean average precision，mAP）等评价指标来体现。
精确率（precision）又称为查准率，被正确预测的正样本TP占所有检出（预测为正）样本的百分比例，是针对预测结果。
其中，TP是正确预测为正样本的样本，FP为错误地预测为正样本的样本。
召回率（recall），又称为查全率，被正确预测的正样本TP占所有正样本（ground truth）的比例，是针对原样本。
其中，FN是错误预测为负样本的样本。
如图5所示为precision-recall曲线，用于评估模型性能，横坐标为查全率recall，纵坐标为查准率precision，曲线与坐标轴的面积代表该类别的平均精度AP。曲线上各个点代表当前的精度值，曲线之上的点为正样本，反之为负样本。随着precision降低，recall不断增大，更多的样本判为正样本。由曲线可看出，曲线A检测性能优于曲线B，曲线B优于曲线C，可得到曲线越往右上角凸检测性能越好。
图5 Precision-recall曲线Fig.5 Curve of precision-recall
2.4 算法对比
为进一步验证本文YOLOv5s算法的优势，通过与YOLOv4算法对比发现，YOLOv5s算法虽在精度上比YOLOv4有略微降低，但是其参数量和计算量大小却有大幅度的降低，表明其模型复杂度和参数量的下降，能满足轻量化的要求。表3为YOLOV5s与YOLOv4算法的对比，如图6显示了YOLOV4算法在不同类别上的AP及mAP。YOLOv5s初始算法mAP为60.1%，FLOPS为15.9×109，Params为7.03×106。
表3 不同算法对比Table 3 Comparison of different algorithms
图6 YOLOv4目标检测结果Fig.6 YOLOv4 target detection results
2.5 轻量化实验对比
为证明本文研究内容的可靠性，本文采取多组对比实验来确认本方法相比其他轻量化方法的存在的优势。表4显示了不同主干网络下目标检测算法的检测性能。可发现Mobilenet v3轻量化主干网络相比于ShuffleNet v2模型复杂度更低，mAP值相对下降偏高，难以保障检测性能。本文研究目的需在轻量化的同时也需保障整体检测性能，因此，本文选用ShuffleNet v2作为主干特征提取网络，实现模型轻量化。
表4 轻量化网络对比Table 4 Lightweight network comparison
2.6 消融实验
选用ShuffleNet、ECA、BiFPN、EIOU方法分别作为独立的变量模块，采取控制变量的方法研究各个方法在YOLOv5s网络上的改进效果。表5为消融实验[21]结果，显示了各个方法改进的效果和融合效果，实验结果得出了适用于本文研究的室内轻量化目标检测方法。
表5 消融实验结果Table 5 Ablation experiment results
由表5可知，ShuffleNet v2、BiFPN、EIOU单个模块均能达到预期的效果，BiFPN、EIOU在mAP上有大幅改善，而ShuffleNet v2虽在精度上有所降低，但其参数量和模型复杂度均下降，满足轻量化需求。ECA注意力机制在本实验中并未达到理想的效果，因此不采用。故本文最终选用ShuffleNet v2、BiFPN、EIOU方法对YOLOV5进行改进，实现轻量化和精度的提升。
如表6是基于消融实验的各类别的平均精度AP，其中tv的AP值较高，而apple的AP值最低。结合实验结果和样本数据标签分布情况可以发现，大目标样本的整体检测性能高于小目标样本，而训练数据样本数量越多，检测结果越好。改进后的YOLOv5s算法在检测精度上有明显改善，可极大地提升室内目标检效果。
表6 不同方法检测下的APTable 6 AP under different methods to detect单位：%
图8 改进后YOLOv5s的P-R曲线Fig.8 P-R curve of improved YOLOv5s
2.7 目标检测实验分析
使用相同的数据集和参数对原始YOLOv5s模型和改进YOLOv5s模型进行训练和测试，取IOU阈值为0.5时，得到如图7、8的P-R曲线图。对应曲线与横纵坐标围成的面积为该类别的AP，曲线越靠近右上角，则AP越大，效果越好其中，5条细曲线由左下到右上分别代表apple、vase、refrigerator、laptop、tv，蓝实线代表5类的均值平均精度mAP，图例处显示为每类目标的AP。通过对比发现每类AP值均有所上涨，检测效果有大幅提升。
图7 YOLOv5s的P-R曲线Fig.7 P-R curve of YOLOv5s
如图9和图10为改进前后mAP对比，分别为取IOU阈值为0.5和0.5∶0.95（步长0.05）时所有类别的平均精确度。其中，蓝线为改进后的YOLOV5s曲线，红线为YOLOv5s，由曲线可发现，mAP阈值在两个取值范围内，改进后的均值平均精度mAP皆有5个百分点的提升。由图可以看出，本文改进的算法在检测性能整体均有提升。
图9 IOU阈值取0.5的mAPFig.9 IOU threshold is 0.5 mAP
图10 IOU阈值取（0.5∶0.95）的MAPFig.10 IOU threshold is（0.5∶0.95）mAP
由实验得到表7数据，改进后的计算量减小到9.2×109，参数量减少到4.01×106，mAP提升到63.9%，改进的YOLOv5算法让检测性能得到进一步的提升，实现了轻量化和精度的平衡，解决了现有模型检测速度与精度无法平衡的问题。
表7 改进前后实验结果对比Table 7 Comparison of experimental results before and after improvement
如图11和图12分别是两个不同场景下的目标检测情况。其中，图（a）代表改进前的检测结果，图（b）代表改进后的检测结果。由图可以看出，改进后的漏检率明显少于前者，且预测置信度也高于改进前，改后的检测效果明显提升，验证了改进后模型的有效性。
进一步验证本文改进算法的可移植性和通用性，在VOC2012数据集上进行验证，包含室内外不同场景下的20类目标，其类别及对应标签分布如图13，检测结果如表8。
图13 类别标签分布Fig.13 Category label distribution
通过对比表8的数据可发现，在VOC2012数据集上本文研究的改进算法也能有效提升检测性能。相比于改进前mAP降低了一点，但模型复杂度和参数量有了极大的减少，保障了轻量化的实现。进一步验证本文改进算法的通用性，不仅对于室内目标，对于室外等其他场景下的目标检测均能实现轻量化的需求，且能保障其精度不受太大影响。
表8 VOC2012数据集下检测结果Table 8 Test results under VOC2012 dataset
本文提出了一种基于YOLOv5的轻量化目标检测算法，改进了主干网络、特征融合及损失函数，提高了模型的检测性能，使得该模型在轻量化和准确率上有显著提升。该算法在实验中检测效果较好，检测精度和实时性达到了很好的平衡。其中，目标检测平均准确率mAP达到了63.9%，提高了3.8个百分点，参数量为4.01×106，减少了42.9%，模型复杂度减少了42.1%，极大地缩减了检测时间，提升了检测精度。该模型可以满足实际部署中轻量化和检测的实时性等需求。但室内环境复杂，目标检测算法难以获取其三维目标位置信息。在后续研究中，将重点对目标物在室内空间中三维信息的获取进行深入探究，以提升模型在实际场景中的应用价值。
猜你喜欢 特征提取轻量化卷积 汽车轻量化集成制造专题主编精密成形工程(2022年2期)2022-02-22基于3D-Winograd的快速卷积算法设计及FPGA实现北京航空航天大学学报(2021年9期)2021-11-02卷积神经网络的分析与设计电子制作(2019年13期)2020-01-14基于Gazebo仿真环境的ORB特征提取与比对的研究电子制作(2019年15期)2019-08-27从滤波器理解卷积电子制作(2019年11期)2019-07-04一种轻量化自卸半挂车结构设计智富时代(2019年2期)2019-04-18一种轻量化自卸半挂车结构设计智富时代(2019年2期)2019-04-18基于Daubechies(dbN)的飞行器音频特征提取电子制作(2018年19期)2018-11-14基于傅里叶域卷积表示的目标跟踪算法北京航空航天大学学报(2018年1期)2018-04-20Bagging RCSP脑电特征提取算法自动化学报(2017年11期)2017-04-04