Intelligent Detection of Floating Objects on Water Surface Based on Deep Learning
-
摘要: 漂浮物作为河道表观污染的重要源头，加强漂浮物检测是改善水环境生态质量的重要途径，也是积极落实“河长制”政策的技术手段。由于水面漂浮物具有场景复杂度高、形状不规则及多尺度形态变化等特点，采用传统的图像识别方法快速有效地检测目标具有较大的挑战性。因此，本文提出了一种基于深度学习的实时且稳健的水面漂浮物智能检测方法。首先，基于稀疏分解思想对低质量漂浮物图像进行降噪和增强处理，初步降低复杂水面环境对漂浮物图像质量的影响。其次，以轻量化MobileNetV2网络取代（single shot multibox detector，SSD）算法中的VGG16网络作为骨干网络，在预测层中将深度可分离卷积取代标准卷积，并采用动态特征金字塔网络提高多尺度漂浮物的检测精度，弥补SSD网络中强制不同层学习相同特征的不足。然后，将统一量化卷积神经网络（Quantized-CNN）框架应用于量化SSD检测器的检测误差，进一步加速卷积层计算和压缩全连接层的参数，降低SSD算法的计算复杂度和内存成本。本文在构建的水面漂浮物数据集上进行的实验结果表明：与现有的图像识别算法相比，改进后的SSD检测算法的平均精度（AP）和综合评价指数（F1）分别达到95.86%和94.74%，在硬件GPU下的检测速度达到64.23 FPS，检测算法的参数计算量减少到0.75×109，模型内存成本压缩到6.27 MB。改进SSD算法实现了水面漂浮物检测的高精度和高效率。Abstract: Floating objects are important sources of apparent pollution in a river. Strengthening the detection of floating objects is an important step to improve the ecological quality of the water environment, and it is also a technical means to actively implement the “river chief system” policy. Because floating objects on the water have the characteristics of high scene complexity, irregular shapes, and multi-scale morphological changes, it is challenging to use traditional image recognition methods to detect targets quickly and effectively. In this paper we propose a real-time and robust intelligent detection method for floating objects on the water surface based on deep learning. First, the low-quality floating objects image is denoised and enhanced based on the sparse decomposition idea, which reduces the impact of the complex water surface environment on the image quality of the floating objects. Secondly, lightweight MobileNetV2 is selected as the backbone of a single shot multi-box detector (SSD), and standard convolution is replaced by depthwise separable convolution in the prediction layers. A dynamic feature pyramid network (DyFPN) is adopted at extra low cost to improve the detection precision of multi-scale objects and to make up for the deficiency of SSD to force different network layers to learn the same features. More significantly, the unified quantized convolutional neural network (Quantized-CNN) framework is applied to quantifying the error correction of the improved detector for further accelerating the computation of convolutional layers and compressing the parameters of fully connected layers to reduce the computational complexity and memory cost of the SSD algorithm. The experimental results conducted in this paper on the constructed water surface floating objects data set show that: Compared with the existing image recognition algorithm, the improved SSD detection algorithm has an average accuracy (AP) and comprehensive evaluation index (F1) score of 95.86% and 94.74%. The detection speed under the hardware GPU reaches 64.23 FPS. The parameter calculation of the detection algorithm is reduced to only 0.75×109, and the size of the model is compressed into 6.27 MB. The improved SSD algorithm achieves high accuracy and efficiency in the detection of floating objects on the water surface.
-
漂浮物会对水质、水面景观、供水、水产和航运等造成不利影响，加强水面漂浮物检测与打捞对水利工程具有重要意义[1]。如谭磊[2]、徐晓晖[3]、Qiao[4]、Hu[5]和Li[6]等在应用过程中发现，传统水面漂浮物检测典型方法普遍存在效率低、精度低[7]等问题，特别是动态水面和漂浮物不规则、图像特征提取相对困难、漂浮物的频繁移动等增加了检测难度[8]，难以满足复杂水面场景的大范围漂浮物自动化检测作业的需求[9]。随着人工智能技术的快速发展，基于深度学习的图像识别算法为漂浮物智能识别与定位提供了新的技术支撑[10-12]。目前，基于深度学习的水面漂浮物检测算法沿着两条主线发展：一是以Faster RCNN[13]、CA-Faster R-CNN[14]为代表的基于候选框方式的检测主线，能够有效确保漂浮物检测精度，但检测速度无法满足实时检测需求；二是以YOLO[15]、SSD[16]和Retain-Net[17]为代表的一体化检测算法，检测速度要明显快于前者，但漂浮物检测精度略有下降[18]，其中SSD检测算法的准确率和检测速度相对较优，成为当前水面漂浮物目标检测的主流方法[19]。上述检测算法适用于一定范围内且物理环境复杂度相对较低的漂浮物目标检测，但水面漂浮物的识别环境受到大量噪声和环境干扰，使得不同尺度图像特征的提取相对困难。此外，现有漂浮物检测算法结构复杂且模型内存成本高，无法满足低性能检测设备的实时应用需求，难以得到广泛推广应用[20]。
轻量化深度学习模型[21]和动态特征金字塔网络[22]为平衡目标检测精度、效率和计算复杂度提供了新思路。以MobileNet为代表的轻量化深度学习模型通过引入反向残差网络减少参数计算量，并凭借检测速度和模型内存的优势在车辆检测[23]、海珍品识别[24]及水底生物检测领域[25]广泛应用。动态特征金字塔网络通过结合动态门（Dynamic gating）操作原则和自适应选择分支（Adaptively Selected Branch）方法对目标物输出特征进行量化，通过优化计算资源的分配策略实现了目标检测准确性和计算复杂度之间的平衡，提升了动态推理的合理性。目前，动态特征金字塔网络主要应用于降低浮点数运算量（FLOPs），如：在COCO minival上将Faster R-CNN的特征金字塔网络（FPN）替换为inception FPN，平均检测精度提升了1.6%；而引入动态特征金字塔网络后，在保持同等性能的情况下FLOPs减少约40%。当前，水环境检测领域的研究主要集中在提升算法的检测精度，缺乏对漂浮物检测算法的轻量化、精度和效率均衡化问题的全面系统研究，无法实现水面漂浮物的实时精准检测。
本文针对现有目标检测算法精度、效率和复杂水面环境的干扰问题，整合图像去噪、增强处理和深度学习框架，提出了一种基于改进SSD算法的水面漂浮物检测方法。首先，引入稀疏分解的思想对低质量的水面漂浮物图像进行图像降噪和增强处理，以保证预处理后的图像能够提供足够、正确的特征信息，初步降低复杂水面环境的影响；其次，选择结合锚框机制和回归思想的检测器（SSD）作为检测框架，基于轻量级MobileNetV2网络设计了特征提取网络，从而替代VGG16基础网络，同时将动态特征金字塔网络结构引入到特征提取网络中，以确保用于预测的特征图具有适当的分辨率和强语义特征；最后，采用反向残差模块和深度可分离卷积，并应用模型量化误差校正检测网络的卷积层和全连接层，降低反向传播的参数数量和内存成本。
1. 方 法
1.1 SSD算法
SSD算法作为一体化卷积网络检测方法，采用卷积对不同尺度特征图进行检测，以先验框为基准计算预测偏差，将特征提取、位置回归和分类任务集成到网络中进行训练[26]，具备速度快和精度高的优势。该算法以VGG16为基础网络，引入辅助卷积和池化层等结构，将多尺度特征图用于不同尺度目标物检测。
本文将SSD算法作为水面漂浮物检测的基本框架，主要原因在于：1）SSD算法可以直接预测目标物体分类和边界框，有效降低训练难度；2）SSD算法结合了Faster R-CNN算法的锚框机制和YOLO算法的回归思想，进行不同尺度图像特征提取，减少了训练参数数量。因此，SSD检测算法可以在不同尺度图像中达到一定的目标识别精度和速度，提高实时检测性能。但受限于复杂的水面漂浮物检测环境和计算量有限的硬件性能，SSD检测算法的检测精度和速度依然无法满足水面漂浮物实时检测的需求。
1.2 改进的SSD算法
传统SSD算法中VGG16基础网络的参数训练依赖于高性能的硬件设备[27]，而基于反向残留网络的MobileNetV2-FPN具有参数少和速度快的优势，能够有效解决实际水面漂浮物检测任务中的硬件和检测速度问题[28]。其中，MobileNetV2作为一个轻量化卷积神经网络，在MobileNetV1的基础上加入了线性bottlenecks和反转残差模块，构成了高效的基本模块，进一步减少模型的实际操作数。特征金字塔网络（feature pyramid network，FPN）通过融合低层特征的高分辨率和高层特征的高语义信息，在每个融合后的特征层上进行独立预测，实现了不同尺度的特征融合。虽然FPN进行了多尺度信息的融合，但未解决对同一特征层中的多尺度问题，而动态特征金字塔网络（dynamic feature pyramid network，DyFPN）能够采用自适应选择卷积方法解决该问题，同时在相同的参数量下相较于FPN具有更高的性能。为满足高精度、实时性和轻量化的水面漂浮物检测要求，对SSD算法作出以下改进：1）参考MobileNetV2的网络结构，在MobileNetV2网络预测层中将深度可分离卷积代替传统标准卷积，将其拆分为深度卷积（depthwise convolution，DW）和逐点卷积（poinwise convolution, PW），并将MobileNetV2网络卷积中的多尺度结构通过跨层连接构建DyFPN，重新设计SSD算法中的基础网络；2）采用模型量化方法量化深度分离卷积和标准卷积层的参数，减少参数规模，降低计算复杂度，最大化降低设备运行成本；3）根据实际检测设备的计算能力和水面漂浮物的检测需求，训练出能够满足实际需求的视觉检测模型。改进后的算法框架如图1所示。
图 1 改进SSD检测算法的网络结构Fig. 1 Network structure of improved SSD detection algorithm
下载:
全尺寸图片
改进的SSD算法由骨干网络（图1（a））和辅助网络（图1（b））组成网络模块。MobileNetV2的核心由1个标准卷积层和17个反向残差模块组成，如图1（c）所示。同时，参考ResNet的残差模块，采用1*1→3*3→1*1的模式，首先，采用PW增加特征通道数，将膨胀系数设置为6，使用DW过滤大量通道的空间信息并提取特征，引入宽度乘数β∈[0,1]和分辨率乘数ρ，优化并减少模型冗余参数；其次，使用PW卷积以减少通道数，通过线性转换形成低维线性瓶颈，将ReLU6代替传统的非线性激活函数ReLU，将最大输出值限制为6。调整后的反向残差模块是由1个1*1的卷积层、1个3*3的DW卷积、批量标准化（Batch normalize，Bn）和Relu6激励函数组成，如图1（d）所示。
骨干网络中的DyFPN融合MobileNetV2网络的输出特征图，在不增加过多参数的情况下，能够有效提高水面漂浮物检测精度。首先，将特征图自上而下进行两次上采样（up-sampling），将上采样结果与自下而上采样产生的特征图进行横向连接并融合；其次，采用3*3卷积层对融合特征图进行卷积操作，动态调整每个不同比例的特征地图的大小，通过融合MobileNetV2网络获取的多尺度特征图来提高水面漂浮物检测精度，如图1（e）所示。
改进后的骨干网络MobileNetV2-DyFPN网络模型如图2所示，每一行描述了一个重复n次并由一个或多个相同模块层组成的序列。图2中，t代表残差块中扩展的维度，c代表特征图输出的维数，s代表卷积操作的步长，n代表当前行卷积操作被重复应用次数。在序列1中以标准卷积层Conv2d进行操作，将卷积核设置为24，以确保完整地提取输入图像的特征信息；在序列2～8中采用瓶颈倒置残差（bottleneck）进行卷积操作；在序列9～12中采用标准卷积Conv2d进行自上而下和自下而上的动态特征金字塔特征提取，构建多个具有不同分辨率和强语义信息的低成本预测特征图，在序列13中采用深度可分离卷积代替传统标准卷积Conv2d进行特征预测。
图 2 改进后的MobileNetV2-DyFPN网络模型Fig. 2 Improved MobileNetV2-DyFPN network model下载:
全尺寸图片
辅助网络图1（b）的构建是为了量化深度可分离卷积和传统标准卷积的参数，以降低算法的计算复杂度和内存成本。采用模型量化方法Quantized-CNN对卷积层进行误差量化，将每一层特征图输出的误差进行最小化，并融合前一层量化过程中的误差，将误差量化的最优目标设置为G：
$$ G = { {{{\boldsymbol{D}}^{\left( v \right)}}} ^{\min },{{{\boldsymbol{B}}^{\left( v \right)}}} } \sum\limits_n {\left\| {{T_n} - \sum\limits_m {{{\left( {{{\boldsymbol{D}}^{\left( v \right)}}{{\boldsymbol{B}}^{\left( v \right)}}} \right)}^{\rm{T}}}{\boldsymbol{S}}_n^{\left( v \right)}} } \right\|} _F^2 $$ (1) 式中，
${\boldsymbol{S}}_n^{\left( v \right)}$ 为第n张图像中的V个子向量，${\boldsymbol{B}} $ 为指码字分配矩阵，${\boldsymbol{D}} $ 为子码本，${T_n}$ 代表图像输出，$F$ 代表Frobenius中参数量化的近似响应。误差量化最优目标通过块坐标下降法（Block Coordinate Descent）进行优化；同时，在优化过程中子空间残差优化通过动态调整子码本和子码字分配来实现。因此，将图像数据输入均匀划分为$V$ 个子向量${{\boldsymbol{S}}^{\left( v \right)}}$ ，将权重矩阵${\boldsymbol{W}}$ 分解为$V$ 个子空间矩阵，并生成子码本（Codebook）${{\boldsymbol{D}}^{\left( v \right)}}$ ，计算${{\boldsymbol{S}}^{\left( v \right)}}$ 和${{\boldsymbol{D}}^{\left( v \right)}}$ 中子码字（Codeword）；算法的计算复杂度是子码本和子码字的内积，算法的内存成本由子码本和子码字进行动态分配，$K$ 和$V$ 越小，网络计算效率越高。在实际水面漂浮物检测模型量化应用中，以超参数
$K$ 和${{V}}$ 计算水面漂浮物识别效率和精度损失，网络的计算复杂度和内存成本计算方式见表1和2。表1、2中，Cs和Ct分别代表相邻的前层神经元和后层神经元，$K$ 和$V $ 分别代表空间矩阵和子码字，$d_{\rm{s}}^2、d_{\rm{t} }^2和d_{\rm{k} }^2$ 分别代表不同神经元的核宽度。表 1 CNN全连接层和卷积层量化前后计算复杂度Table 1 Computation of fully connected and convolutional layers of CNN before and after quantization浮点运算次数 CNN 量化CNN 全连接层 ${C_{\rm{s}}}{C_{\rm{t}}}$ ${C_{\rm{s}}}K + {C_{\rm{t}}}V$ 卷积层 $d_{\rm{t}}^2{C_{\rm{t}}}d_{\rm{k}}^2{C_{\rm{s}}}$ $d_{\rm{s}}^2{C_{\rm{s} } }K + d_{\rm{t} }^2{C_{\rm{t} } }d_{\rm{k} }^2V$ 表 2 CNN全连接层和卷积层量化前后内存成本Table 2 Memory consumption of fully connected and convolutional layers of CNN before and after quantization字节 CNN 量化CNN 全连接层 $4{C_{\rm{s} } }{C_{\rm{t} } }$ $4{C_{\rm{s} } }K + \dfrac{ { {C_{\rm{t} } }V\ln \; k} }{8}$ 卷积层 $4d_{\rm{k}}^2{C_{\rm{s}}}{C_{\rm{t}}}$ $4{C_{\rm{s} } }K + \dfrac{ {d_{\rm{k} }^2{C_{\rm{t} } }V\ln \; k} }{8}$ 1.3 算法性能参数
为了选择最优的漂浮物检测模型，采用多种评价标准来评估水面漂浮物检测算法的性能，包括准确率P、召回率R、综合评价指数
${F_1}$ 和平均精度MAP，具体的计算见式（2）～（5）。$$ {{P}}=\frac{{\rm{T P N}}}{{\rm{T P N}}+{\rm{F P N}}} $$ (2) $$ {{R}}=\frac{{\rm{T P N}}}{{\rm{T P N}}+{\rm{F N N}}} $$ (3) $$ F_{1}=\frac{2 \times P \times R}{P+R} $$ (4) $$ {\rm{M A P}}=\frac{\displaystyle\sum P_{c}}{N_c} $$ (5) 式（2）～（5）中：TPN代表正确的检测结果；FPN代表错误的检测结果；TPN+FPN代表检测框的总数量；FNN代表漏检的结果；TPN+FNN代表真实框的总数量；综合评价指数
${F_1}$ 主要是在准确率和召回率不一致时而进行评估的方法； Nc为漂浮物照片总数量；Pc为每一个不同置信阈值下漂浮物的检测精度；$c$ 代表目标物种类，本文中的漂浮物指的是漂浮水草（水葫芦），$c$ 值为1。平均精度值MAP是所选11个不同置信阈值（召回值）的精度平均值。由于本文的目的是识别漂浮物数量和位置，要有效避免误检，而召回率相对于准确率重要程度更高，综合评价指标${F_1}$ 能够平衡准确率和召回率之间的关系，平均准确率MAP作为性能评价最全面的指标，其重要程度最高。因此，确定性能指标的优先级顺序为MAP>F1>R>P。利用预测框与真实框的交并比（RIOU）作为判断预测真假的前提，若RIOU大于一定阈值，将删除此类预测框，保留并输出得分最高的预测框，将这一过程称为非最大抑制（NMS）算法。非最大抑制将过滤多余预测框，保证分类网络在卷积核中心分类的准确性[29]。Pascal Voc2010数据集以RIOU =0.5为交并比阈值[30]，再根据预测框内类别置信度进行判定：若RIOU>0.5，认为检测结果为真样例；否则，认为是假样例。
2. 实验与结果
2.1 实验设计
首先，通过多种方式构建水面漂浮物图像数据集；其次，采用图像降噪和增强算法对图像进行预处理，提高采集图像的精度；然后通过LabelImg工具对图像数据进行标注，并将其分为测试集、训练集和验证集，同时对改进的SSD算法进行迁移学习训练，采用随机梯度下降算法（SGD）得到最优权重检测模型；最后，将训练好的目标检测模型应用于水面漂浮物的实时检测。
2.2 图像数据采集与处理
复杂多变的水面环境为采集水面漂浮物图像带来一定的挑战，通过摄像头监控系统获取漂浮物视频，采用视频帧处理获得7 872张漂浮物图像数据。为了进一步提高数据集的多样性，在实验室环境下拍摄2 267张图像数据，并从互联网端下载3 363张图像数据，共采集13 502张漂浮物数据用于模型的训练、验证及测试。
为了降低水面环境对漂浮物图像质量的影响，采用图像降噪算法进行图像预处理，处理过程如图3所示。
图 3 图像降噪处理过程Fig. 3 Process of image noise reduction processing下载:
全尺寸图片
通过数据降噪和增强，共获得148511张漂浮物数据样本图像。同时，按照数据集划分策略[31]，将数据集按照7.0∶2.5∶0.5划分为训练集、验证集和测试集，并将数据集转换为TFRecord格式，以提高数据集读取效率。表3为水面漂浮物数据集的统计数据，平均尺寸指边界框的面积在整幅图像中所占的百分比。
表 3 水面漂浮物数据集统计Table 3 Statistic of the floating objects dataset数据集 边界框数量 平均尺寸/cm 训练集 114 353 23.46 验证集 40 841 26.15 测试集 8 912 24.28 合计 164 106 24.63 2.3 模型训练与评估
本文采用的计算设备硬件配置为Inter(R) Xeon(R) E5-2620 CPU和1个NVIDIA RTX3080 GPU，使用Python3 编程语言和TensorFlow深度学习框架构建深度学习模型。针对本文改进的SSD算法，主要对参数Learning rate、Learning rate decay factor、Epoch与Batch size的选择，Learning rate设置了2组备选参数，分别为0.010、0.001；Learning rate decay factor设置了3组备选参数，分别为0.50、0.90、0.99；Batch size设置了3组备选参数，分别为8、16、32；Epoch设置了4组备选参数，分别为5、10、20、40。为验证神经网络中各参数对模型影响的一般规律，设计对比试验，并对比6个方案的检测结果，具体参数设置及检测结果见表4。
表 4 不同参数组合对应的检测结果评价Table 4 Evaluation of test results corresponding to different parameter combinations试验编号 Epoch Learning rate Learning rate decay factor Batch size MAP/% 1 5 0.010 0.50 8 78.37 2 10 0.010 0.90 8 81.23 3 20 0.010 0.99 16 79.24 4 10 0.001 0.50 16 88.59 5 20 0.001 0.90 32 92.18 6 40 0.001 0.99 32 89.32 对比6项试验模型检测结果发现：在控制Learning rate不变的情况下，当Epoch数值增加，模型使用训练集中的所有样本进行正向和反向传播的迭代次数增加；Batch size增加后一定程度提高了检测精确度。试验1～3中Learning rate设置为0.01，对于模型的梯度下降过程不能较好地收敛到全局最小值；在网络模型训练初始阶段，设置较大的Learning rate有助于模型尽快收敛；但是在训练后期，较大的Learning rate会让梯度下降在权重更新的时候出现波动影响收敛。试验4～6中Learning rate设置为0.001，模型的检测精确度明显提升，在Learning rate decay factor取值0.9时检测精确度最高；若Learning rate decay factor取值过小则不能使模型逃脱局部最小值陷阱，反之容易造成模型跳过局部最小值。基于上述试验得到了模型参数组合，本文将Iteration设置为150 000次，Save interval secs设置为600 s，Weight decay设置为0.000 5，具体参数设置见表5。
表 5 模型网络训练参数设置Table 5 Setting of model network training parameters参数 设定值 Learning rate 0.001 Weight decay 0.0005 Learning rate decay factor 0.90 Batch size 32 Epoch 20 Iteration 150000 Save interval secs/s 600 网络模型损失函数的变化情况如图4所示。由图4可知，训练损失函数在40 000次迭代内迅速下降，在40 000～60 000次迭代中平缓下降，在60 000次迭代后稳定，之后保持轻微波动。过多的训练会存在过拟合的风险，因此在30 000次迭代后，每20 000次迭代导出权重模型，最终选择其中5个权重模型（11 027.ckpt、38 763.ckpt、49 878.ckpt、87 352.ckpt和102 876.ckpt，编号为1～5）评估和选择最佳的目标检测模型。
图 4 网络模型损失函数的变化情况Fig. 4 Training loss of improved SSD algorithm下载:
全尺寸图片
本文5个模型在验证集上对应的性能指标见表6。表6显示：模型1、2和3相较于模型4和5性能较差；对于模型4和5，按照性能指标的优先级选择模型4最优。此外，参考COCO数据集将RIOU设定为0.5。为进一步验证RIOU取值的合理性，将模型4分别在不同的RIOU取值下的准确率、召回率、平均精度和漂浮物误检数量指标进行对比分析。验证集上不同RIOU值下模型的性能水平如图5所示。
表 6 验证集上5个权重模型的性能参数Table 6 Performance parameters of the five weight models on the validation set模型编号 P/% R/% F1/% MAP/% 1 94.24 85.23 89.51 82.24 2 92.34 74.31 82.35 78.26 3 83.26 72.26 77.37 74.19 4 95.86 93.64 94.74 94.26 5 95.19 94.82 95.00 93.15 
图 5 验证集上不同RIOU值下模型的性能水平Fig. 5 Performance levels of the model under different RIOU values on the validation set下载:
全尺寸图片
由图5可知：当RIOU设置为0.5时，准确率、召回率和平均精度指标开始呈现下降趋势，漂浮物误检数量呈现显著上升趋势；准确率和召回率分别达到了95.86%和93.64%，而
${F_1}$ 值为94.74%，平均精度高达94.26%，验证了改进后的SSD算法网络结构的有效性。本文在水面漂浮物图像预处理中采用了图像降噪和增强算法，为了分析前后的性能变化，在图像去噪和增强前后分别采用了一组数据集用于训练和测试，结果见表7。由表7可知，模型在图像降噪和增强处理后的性能参数提高约5%，说明预处理有效提高了检测精度。
表 7 图像去噪增强前后模型性能参数对比Table 7 Comparison of performance parameters before and after image denoising and enhancement处理过程 P/% R/% F1/% MAP/% 降噪增强前 90.23 88.26 89.23 87.19 降噪增强后 95.86 93.64 94.74 94.26 为了验证模型对水面漂浮物多尺度检测能力，分别在真实水面环境和实验室环境中检测了不同大小的漂浮物，根据漂浮物的像素面积占图像总像素面积的百分比将漂浮物分为大型（
$ \ge $ 25%）、中型（大于5%且小于25%）和小型（$ \le $ 5%），检测对比结果见表8。表 8 不同种类漂浮物检测参数的统计比较Table 8 Statistical comparison of detection parameters of different types of floating objects检测环境 种类 数量 TPN FPN FNN P/% R/% F1/% MAP/% 实验室环境 大型 1 013 1 013 0 0 100 100 100 100 真实水面环境 小型 1 217 1 145 57 72 95.28 94.11 94.69 93.26 中型 1 194 1 124 68 70 94.27 94.13 94.20 93.11 大型 783 745 24 38 96.86 95.18 96.01 95.89 实验室环境下的检测召回率均高达100%，代表无漏检。在真实水面环境中检测精度下降了约6%，本文采用的DyFPN使每个预测层使用的特征图具有适当的分辨率和强大的语义特征，有效保证了对不同大小漂浮物的检测效果。改进SSD算法的图像识别结果如图6所示。
图 6 改进算法图像识别结果Fig. 6 Image recognition result of improved algorith下载:
全尺寸图片
图6（a）、（c）和（e）均来自测试集，对比识别结果可以发现：在真实水面环境下，图6（d）中漂浮水草的尺寸较小且分散，识别率达到0.988和0.936；当漂浮水草的尺寸增加至图6（b）时，检测精度达到0.806和0.996；当检测区域出现多种且不规则的水草时，改进SSD算法在图6（f）中可以有效识别区域内所有的漂浮水草，但检测精度略低于图6（b）和（d），说明复杂检测环境和漂浮物的不规则变化影响检测精度。
3. 分析与讨论
为了进一步验证改进SSD算法的性能，本文选择VGG16、ResNet50、 MobileNet 3种网络模型作为SSD算法的特征提取网络，同时利用训练集对上述3种特征提取网络模型进行了对比，并在验证集上验证了不同特征提取网络、模型量化和DW卷积在水面漂浮物检测精度、速度和内存成本等方面的性能，具体结果见表9。
表 9 不同特征提取网络下SSD模型检测参数对比Table 9 Comparison of detection parameters of different feature extra networks bases on SSD detector特征提取网络 DyFPN 模型量化 DW卷积 P/% R/% F1/% MAP/% FLOPs/109 参数/106 内存/MB 时间/ms GPU CPU VGG16 × × × 86.15 85.27 85.71 85.32 12.36 28.65 114.00 102 464 ResNet50 × × × 90.26 89.85 90.05 89.26 15.08 32.18 132.00 121 502 1MobileNetV1-300 × × × 89.25 88.16 88.70 87.27 4.27 9.16 36.27 69 272 1MobileNetV2-300 × × × 91.86 90.52 91.19 89.13 3.91 8.22 29.11 45 182 0.75MobileNetV2-300 √ × × 96.29 94.73 95.50 95.19 4.12 9.26 32.16 52 198 0.75MobileNetV2-300 √ √ × 95.91 93.97 94.93 93.76 1.11 2.12 10.25 13 65 0.75MobileNetV2-256 √ √ √ 95.86 93.64 94.74 94.26 0.75 1.19 6.27 11.3 54 注：×代表未采用，√代表采用。 由表9可知：SSD模型采用VGG16和ResNet50作为特征提取网络后，检测精度较低，均低于90%；但ResNet50由于采用了残差结构从而加强了对漂浮物特征的学习，其检测精度要高于VGG16，但该模型由于采用复杂的网络结构造成计算量和内存成本较大。当使用宽度乘数为1和输入分辨率为300的MobileNetV1和MobileNetV2时，检测效率提升了约50%，参数计算量和内存成本分别减少到39.1亿次和29.11 MB，但检测精度降低。MobileNetV2由于采用了残差倒置瓶颈结构的内存推理机制和线性瓶颈，其检测性能在各个方面都优于MobileNetV1。当使用宽度乘数为0.75和分辨率为300的MobileNetV2-DyFPN时，检测精度提高到95.19%，相较于MobileNetV2提高了6.06%，但计算量、参数数量和运算时间由于网络结构复杂而小幅增加，说明MobileNetV2-DyFPN作为SSD算法的特征提取网络能够实现高检测精度和轻量化检测模型的目标。当引入模型量化方法后，GPU和CPU运行速度提高了约4倍，参数数量和内存成本压缩了约4倍，识别准确率仅降低了1.43%，因此改进后的SSD算法能够有效实现检测精度和效率的平衡。当引入DW卷积和降低输入分辨率后，该模型精度达到94.26%，说明在低分辨率图像上保持了良好的检测效果，更接近自动打捞设备的硬件性能和实际需求。整体而言，VGG16作为传统SSD算法的特征提取网络，网络参数量大且模型内存容量大，检测效率和精度较低；引入残差结构的ResNet50加深了特征提取网络，精度提升但网络结构复杂，检测效率低；加入轻量化MobileNetV2的SSD算法，得益于倒置瓶颈结构和线性瓶颈的优势，提升了检测效率，但检测精度降低；在引入MobileNetV2-DyFPN后，SSD算法通过采用自适应选择卷积方法在不增加参数的前提下提升了MobileNetV2的检测精度；在骨干网络MobileNetV2-DyFPN的基础上加入模型量化和DW卷积，通过加速卷积层计算和压缩全连接层的参数，大幅度降低了模型的计算量和模型内存。
结合浙江德清智慧水利项目中实际的水面漂浮物检测任务，检测设备的计算和存储承载能力仅达到20亿次FLOPs和4 GB，为实验室场景下的1/8，摄像头的分辨率为640×480；而实际检测环境下由于天气、光照的影响会降低图像分辨率，对低分辨率输入图像、低性能设备和快速检测的需求更为迫切。因此，基于以上实验结果分析，改进的SSD检测模型具有精度高、体积小、效率高的特点，可以满足水面漂浮物检测的实际需求。
为了再进一步验证改进SSD算法的稳健性，与YOLOV3、Faster RCNN和HOG+SVM模型进行对比，各模型在测试集上的性能参数见表10。由表10可知：改进后的SSD算法在水面漂浮物检测精度和Faster RCNN处于同一水平，而检测速度在GPU支持下约是YOLOV3的2倍，并在运算复杂度、参数数量和内存成本方面都优于其他3类检测模型；传统的HOG+SVM模型检测效果最差，在水面漂浮物检测中存在较多误检和漏检，检测速度最低，说明传统的分类识别方法对水面漂浮物检测对象和环境要求较高，缺乏鲁棒性。综合检测精度、速度、模型内存和鲁棒性来看，改进的SSD算法能够有效用于检测水面漂浮物并准确引导打捞工作工作。
表 10 测试集上不同检测模型性能对比Table 10 Comparison of detection parameters of different methods检测模型 P/% R/% F1/% MAP/% FLOPs/109 参数/106 内存/MB 速度/FPS GPU CPU 改进SSD算法 95.86 93.64 94.74 94.26 0.75 1.19 6.27 64.23 13.76 YOLOV3 93.22 91.97 92.59 91.18 24.28 48.93 186.00 33.02 10.11 Faster RCNN 96.65 93.37 94.98 93.29 136.98 175.98 386.00 7.93 3.28 HOG+SVM 88.12 82.39 85.16 84.28 — — — 1.13 0.28 4. 结 论
本文改进了深度学习SSD算法的基本框架，通过引入轻量化MobileNetV2特征提取网络，在预测层中将深度可分离卷积取代标准卷积，在特征提取层采用动态特征金字塔网络架构，以MobileNetV2-DyFPN代替VGG16作为骨干网络，将模型量化方法作为辅助网络，建立了水面漂浮物检测模型，并采用图像降噪和增强算法对原始图像数据集进行预处理；通过对改进SSD算法的训练与验证，以多种性能指标评价模型检测效果。实例应用结果表明，改进后的SSD算法确保了不同分辨率的特征图可以有效检测出目标漂浮物，检测精度达到95.86%，在GPU下检测效率达到64.23 FPS，检测性能满足水面漂浮物实际精度要求。同时，通过模型量化将模型内存成本控制在6.27 MB，有效节约计算资源，满足漂浮物的实时检测需求，具有较高的鲁棒性和泛化能力。
复杂的水面环境对漂浮物检测有重要影响，如在检测附着和遮挡面积大的小目标漂浮物时，检测效果并不理想。同时，拍摄角度与光照等因素也会导致图像误差，会对算法提出更高的要求。未来将从漂浮物图像采集环境和改进图像识别算法等方向进一步研究，以增强算法的实用性和适用性。
-
图 1 改进SSD检测算法的网络结构
Fig. 1 Network structure of improved SSD detection algorithm
下载:
全尺寸图片
图 2 改进后的MobileNetV2-DyFPN网络模型
Fig. 2 Improved MobileNetV2-DyFPN network model
下载:
全尺寸图片
图 3 图像降噪处理过程
Fig. 3 Process of image noise reduction processing
下载:
全尺寸图片
图 4 网络模型损失函数的变化情况
Fig. 4 Training loss of improved SSD algorithm
下载:
全尺寸图片
图 5 验证集上不同RIOU值下模型的性能水平
Fig. 5 Performance levels of the model under different RIOU values on the validation set
下载:
全尺寸图片
图 6 改进算法图像识别结果
Fig. 6 Image recognition result of improved algorith
下载:
全尺寸图片
表 1 CNN全连接层和卷积层量化前后计算复杂度
Table 1 Computation of fully connected and convolutional layers of CNN before and after quantization
浮点运算次数 CNN 量化CNN 全连接层 ${C_{\rm{s}}}{C_{\rm{t}}}$ ${C_{\rm{s}}}K + {C_{\rm{t}}}V$ 卷积层 $d_{\rm{t}}^2{C_{\rm{t}}}d_{\rm{k}}^2{C_{\rm{s}}}$ $d_{\rm{s}}^2{C_{\rm{s} } }K + d_{\rm{t} }^2{C_{\rm{t} } }d_{\rm{k} }^2V$ 表 2 CNN全连接层和卷积层量化前后内存成本
Table 2 Memory consumption of fully connected and convolutional layers of CNN before and after quantization
字节 CNN 量化CNN 全连接层 $4{C_{\rm{s} } }{C_{\rm{t} } }$ $4{C_{\rm{s} } }K + \dfrac{ { {C_{\rm{t} } }V\ln \; k} }{8}$ 卷积层 $4d_{\rm{k}}^2{C_{\rm{s}}}{C_{\rm{t}}}$ $4{C_{\rm{s} } }K + \dfrac{ {d_{\rm{k} }^2{C_{\rm{t} } }V\ln \; k} }{8}$ 表 3 水面漂浮物数据集统计
Table 3 Statistic of the floating objects dataset
数据集 边界框数量 平均尺寸/cm 训练集 114 353 23.46 验证集 40 841 26.15 测试集 8 912 24.28 合计 164 106 24.63 表 4 不同参数组合对应的检测结果评价
Table 4 Evaluation of test results corresponding to different parameter combinations
试验编号 Epoch Learning rate Learning rate decay factor Batch size MAP/% 1 5 0.010 0.50 8 78.37 2 10 0.010 0.90 8 81.23 3 20 0.010 0.99 16 79.24 4 10 0.001 0.50 16 88.59 5 20 0.001 0.90 32 92.18 6 40 0.001 0.99 32 89.32 表 5 模型网络训练参数设置
Table 5 Setting of model network training parameters
参数 设定值 Learning rate 0.001 Weight decay 0.0005 Learning rate decay factor 0.90 Batch size 32 Epoch 20 Iteration 150000 Save interval secs/s 600 表 6 验证集上5个权重模型的性能参数
Table 6 Performance parameters of the five weight models on the validation set
模型编号 P/% R/% F1/% MAP/% 1 94.24 85.23 89.51 82.24 2 92.34 74.31 82.35 78.26 3 83.26 72.26 77.37 74.19 4 95.86 93.64 94.74 94.26 5 95.19 94.82 95.00 93.15 表 7 图像去噪增强前后模型性能参数对比
Table 7 Comparison of performance parameters before and after image denoising and enhancement
处理过程 P/% R/% F1/% MAP/% 降噪增强前 90.23 88.26 89.23 87.19 降噪增强后 95.86 93.64 94.74 94.26 表 8 不同种类漂浮物检测参数的统计比较
Table 8 Statistical comparison of detection parameters of different types of floating objects
检测环境 种类 数量 TPN FPN FNN P/% R/% F1/% MAP/% 实验室环境 大型 1 013 1 013 0 0 100 100 100 100 真实水面环境 小型 1 217 1 145 57 72 95.28 94.11 94.69 93.26 中型 1 194 1 124 68 70 94.27 94.13 94.20 93.11 大型 783 745 24 38 96.86 95.18 96.01 95.89 表 9 不同特征提取网络下SSD模型检测参数对比
Table 9 Comparison of detection parameters of different feature extra networks bases on SSD detector
特征提取网络 DyFPN 模型量化 DW卷积 P/% R/% F1/% MAP/% FLOPs/109 参数/106 内存/MB 时间/ms GPU CPU VGG16 × × × 86.15 85.27 85.71 85.32 12.36 28.65 114.00 102 464 ResNet50 × × × 90.26 89.85 90.05 89.26 15.08 32.18 132.00 121 502 1MobileNetV1-300 × × × 89.25 88.16 88.70 87.27 4.27 9.16 36.27 69 272 1MobileNetV2-300 × × × 91.86 90.52 91.19 89.13 3.91 8.22 29.11 45 182 0.75MobileNetV2-300 √ × × 96.29 94.73 95.50 95.19 4.12 9.26 32.16 52 198 0.75MobileNetV2-300 √ √ × 95.91 93.97 94.93 93.76 1.11 2.12 10.25 13 65 0.75MobileNetV2-256 √ √ √ 95.86 93.64 94.74 94.26 0.75 1.19 6.27 11.3 54 注：×代表未采用，√代表采用。 表 10 测试集上不同检测模型性能对比
Table 10 Comparison of detection parameters of different methods
检测模型 P/% R/% F1/% MAP/% FLOPs/109 参数/106 内存/MB 速度/FPS GPU CPU 改进SSD算法 95.86 93.64 94.74 94.26 0.75 1.19 6.27 64.23 13.76 YOLOV3 93.22 91.97 92.59 91.18 24.28 48.93 186.00 33.02 10.11 Faster RCNN 96.65 93.37 94.98 93.29 136.98 175.98 386.00 7.93 3.28 HOG+SVM 88.12 82.39 85.16 84.28 — — — 1.13 0.28 -
[1] 蔡莹,唐祥甫,蒋文秀.河道漂浮物对工程影响及研究现状[J].长江科学院院报,2013,30(8):84–89. doi: 10.3969/j.issn.1001-5485.2013.08.019 Cai Ying,Tang Xiangfu,Jiang Wenxiu.Summary of treatment measures for floating debris in river course[J].Journal of Yangtze River Scientific Research Institute,2013,30(8):84–89 doi: 10.3969/j.issn.1001-5485.2013.08.019 [2] 谭磊,王耀南,沈春生.输电线路除冰机器人障碍视觉检测识别算法[J].仪器仪表学报,2011,32(11):2564–2571. doi: 10.19650/j.cnki.cjsi.2011.11.025 Tan Lei,Wang Yaonan,Shen Chunsheng.Vision based obstacle detection and recognition algorithm for transmission line deicing robot[J].Chinese Journal of Scientific Instrument,2011,32(11):2564–2571 doi: 10.19650/j.cnki.cjsi.2011.11.025 [3] 徐晓晖,靳保民,杨群.免疫克隆粒子群优化算法在水面舰船图像分割中的应用[J].自动化技术与应用,2011,30(8):1–5. doi: 10.3969/j.issn.1003-7241.2011.08.001 Xu Xiaohui,Jin Baomin,Yang Qun.Application of immunity clone with particle swarm optimization in surface ships segmentation[J].Techniques of Automation and Applications,2011,30(8):1–5 doi: 10.3969/j.issn.1003-7241.2011.08.001 [4] Qiao Xi,Bao Jianhua,Zhang Hang,et al.fvUnderwater sea cucumber identification based on principal component analysis and support vector machine[J].Measurement,2019,133:444–455. doi: 10.1016/j.measurement.2018.10.039 [5] Hu Liyong,Zheng Di,Qiao Feng,et al.Research on Smart Cast for Fish Cage Aquaculture based on image processing[C]//Proceedings of the 2016 2nd Workshop on Advanced Research and Technology in Industry Applications.Paris:Atlantis Press,2016:6–7. [6] Li Dawei,Xu Lihong,Liu Huanyu.Detection of uneaten fish food pellets in underwater images for aquaculture[J].Aquacultural Engineering,2017,78:85–94. doi: 10.1016/j.aquaeng.2017.05.001 [7] Han Fenglei,Yao Jingzheng,Zhu Haitao,et al.Marine organism detection and classification from underwater vision based on the deep CNN method[J].Mathematical Problems in Engineering,2020,2020:1–11. doi: 10.1155/2020/3937580 [8] Girshick R,Donahue J,Darrell T,et al.Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition.Columbus:IEEE,2014:580−587. [9] Peng Yingshu,Wang Yi.Real-time forest smoke detection using hand-designed features and deep learning[J].Computers and Electronics in Agriculture,2019,167:105029. doi: 10.1016/j.compag.2019.105029 [10] Ahn J,Yasukawa S,Sonoda T,et al.Enhancement of deep-sea floor images obtained by an underwater vehicle and its evaluation by crab recognition[J].Journal of Marine Science and Technology,2017,22(4):758–770. doi: 10.1007/s00773-017-0442-1 [11] Lv Xiaoqian,Wang An,Liu Qinglin,et al.Proposal-refined weakly supervised object detection in underwater images[C]//Zhao Y,Barnes N,Chen B,et al.International Conference on Image and Graphics.Cham:Springer,2019:418–428. [12] Rauf H T,Lali M I U,Zahoor S,et al.Visual features based automated identification of fish species using deep convolutional neural networks[J].Computers and Electronics in Agriculture,2019,167:105075. doi: 10.1016/j.compag.2019.105075 [13] Huang Hai,Zhou Hao,Yang Xu,et al.Faster R-CNN for marine organisms detection and recognition using data augmentation[J].Neurocomputing,2019,337(C):372–384. doi: 10.1016/j.neucom.2019.01.084 [14] 李国进,姚冬宜,艾矫燕,等.基于改进Faster R-CNN的水面漂浮物识别与定位[J].信阳师范学院学报(自然科学版),2021,34(2):292–299. doi: 10.3969/j.issn.1003-0972.2021.02.021 Li Guojin,Yao Dongyi,Ai Jiaoyan,et al.Detection and localization of floating objects via improved faster R-CNN[J].Journal of Xinyang Normal University(Natural Science Edition),2021,34(2):292–299 doi: 10.3969/j.issn.1003-0972.2021.02.021 [15] Xia Chunlei,Fu Longwen,Liu Hui,et al.In situ sea cucumber detection based on deep learning approach[C]//Proceedings of the 2018 OCEANS-MTS/IEEE Kobe Techno-Oceans (OTO).Kobe:IEEE,2018:1–4. [16] 唐小敏,舒远仲,刘文祥,等.基于SSD深度网络的河道漂浮物检测技术研究[J].计算机技术与发展,2020,30(9):154–158. doi: 10.3969/j.issn.1673-629X.2020.09.028 Tang Xiaomin,Shu Yuanzhong,Liu Wenxiang,et al.Research on detection technology of river floating objects based on SSD deep network[J].Computer Technology and Development,2020,30(9):154–158 doi: 10.3969/j.issn.1673-629X.2020.09.028 [17] Lin T Y,Goyal P,Girshick R,et al.Focal loss for dense object detection[C]//Proceedings of the 2017 IEEE International Conference on Computer Vision(ICCV).Venice:IEEE,2017:2999–3007. [18] Huang J,Rathod V,Sun Chen,et al.Speed/accuracy trade-offs for modern convolutional object detectors[C]//Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Honolulu:IEEE,2017:3296–3297. [19] 徐逸之,姚晓婧,李祥,等.基于全卷积网络的高分辨遥感影像目标检测[J].测绘通报,2018(1):77–82. doi: 10.13474/j.cnki.11-2246.2018.0014 Xu Yizhi,Yao Xiaojing,Li Xiang,et al.Object detection in high resolution remote sensing images based on fully convolution networks[J].Bulletin of Surveying and Mapping,2018(1):77–82 doi: 10.13474/j.cnki.11-2246.2018.0014 [20] 雷雨萌,陈祖煜,于沭,等.基于深度阈值卷积模型的土石料级配智能检测方法研究[J].水利学报,2021,52(3):369–380. doi: 10.13243/j.cnki.slxb.20200499 Lei Yumeng,Chen Zuyu,Yu Shu,et al.Intelligent detection of gradation for earth-rockfill materials base on deep otsu convolutional neural network[J].Journal of Hydraulic Engineering,2021,52(3):369–380 doi: 10.13243/j.cnki.slxb.20200499 [21] Howard A G,Zhu M,Chen B,et al.MobileNets:Efficient convolutional neural networks for mobile vision applications[EB/OL].(2017–04–17)[2021–11–20].https://arxiv.org/abs/1704.04861. [22] Zhu Mingjian,Han Kai,Yu Changbing,et al.Dynamic feature pyramid networks for object detection[EB/OL].(2021–06–03)[2021–11–20].https://arxiv.org/abs/2012.00779. [23] Womg A,Shafiee M J,Li F,et al.Tiny SSD:A tiny single-shot detection deep convolutional neural network for real-time embedded object detection[C]//Proceedings of the 2018 15th Conference on Computer and Robot Vision(CRV).Toronto:IEEE,2018:95–101. [24] 俞伟聪,郭显久,刘钰发,等.基于轻量化深度学习Mobilenet-SSD网络模型的海珍品检测方法[J].大连海洋大学学报,2021,36(2):340–346. doi: 10.16535/j.cnki.dlhyxb.2020-278 Yu Weicong,Guo Xianjiu,Liu Yufa,et al.Detection method of high value marine food organisms based on lightweight deep learning Mobilenet-SSD network[J].Journal of Dalian Ocean University,2021,36(2):340–346 doi: 10.16535/j.cnki.dlhyxb.2020-278 [25] Chen Guang,Sun Peng,Shang Yi.Automatic fish classification system using deep learning[C]//Proceedings of the 2017 IEEE 29th International Conference on Tools with Artificial Intelligence(ICTAI).Boston:IEEE,2018:24–29. [26] Liu Wei,Anguelov Dragomir,Erhan Dumitru,et al.SSD:Single shot multiBox detector[C].European Conference on Computer Vision.Amsterdam:IEEE,2016:21–37. [27] Chiu Y C,Tsai C Y,Ruan M D,et al.Mobilenet-SSDv2:An improved object detection model for embedded systems[C]//Proceedings of the 2020 International Conference on System Science and Engineering(ICSSE).Kagawa:IEEE,2020:1–5. [28] Sandler M,Howard A,Zhu M,et al.Inverted residuals and linear bottlenecks:Mobile networks for classification,detection and segmentation[EB/OL].(2019–03–21)[2021–11–20].https://arxiv.org/abs/1801.04381v1. [29] Everingham M,Van Gool L,Williams C K I,et al.The pascal visual object classes(VOC) challenge[J].International Journal of Computer Vision,2010,88(2):303–338. doi: 10.1007/s11263-009-0275-4 [30] Lin T Y,Maire M,Belongie S,et al.Microsoft coco:Common objects in context[C]//European Conference on Computer Vision.Zurich:IEEE,2014:740–755. [31] Raykar V C,Saha A.Data split strategies for evolving predictive models[C]//Proceedings of the 2015th European Conference on Machine Learning and Knowledge Discovery in Databases—Volume Part I.New York:ACM,2015:3–19.
