Detection and Tracking Method of Floating Objects on Water Surface Based on Improved SSD Model and Adaptive Filtering Algorithm
-
摘要: 水面漂浮物严重破坏河道景观和水生态环境，通过摄像头实施河湖可视化监管以改善河湖面貌，已成为积极落实“河湖长制”政策的重要技术手段。但由于河流环境复杂多样，存在水波扰动、动态光影和强光反射等诸多噪声问题，现有方法难以满足水面漂浮物实际管理需求。本文结合单帧检测与多帧滤波，提出了一种基于深度学习的水面漂浮物目标智能检测跟踪方法。在单帧检测中，删除5×5及以下低分辨率特征图，通过特征求和方式增强76×76高分辨率特征图以提升单步多框目标检测（single shot multibox detector，SSD）在小尺度漂浮物目标的检测精度；在多帧滤波中，基于时空相关性和运动信息构建自适应滤波（adaptive filter，AF）算法框架，计算视频帧中帧与帧之间的关联性，根据漂浮物目标的空间位置变化幅度自适应删除偏离运动轨迹的漂浮物目标检测结果，以降低漂浮物跟踪漂移；在信息融合阶段，通过特征对比融合检测和滤波信息，实现检测信息和跟踪信息动态互补，并以不同检测跟踪场景数据集进行训练与验证。结果表明：在简单水面场景下中心位置误差为8个像素点时，该方法的检测跟踪精度达到100%，成功率面积为0.94，平均速度达到17.27 fps，计算复杂度为7.18×109；在复杂水面场景下中心位置误差为10个像素点时，该方法的跟踪精度和成功率面积分别为93.24%和0.81，平均速度和计算复杂度分别为15.02 fps和8.76×109，在复杂环境下兼顾了检测跟踪精度和效率。Abstract: The floating objects on water surfaces seriously damage river landscapes and water ecological environments. However, due to the complex and diverse river environments, there are many noise problems such as water wave disturbance, dynamic light and shadow, and strong light reflection that may reduce the accuracy of image-based object detection. To solve the problem of floating object detection and tracking in complex environments, a deep learning-based intelligent detection and tracking method for floating object targets on the water surface is proposed by combining single-frame detection and multi-frame filtering. In single-frame detection, low-resolution feature maps of 5×5 and below are removed, and high-resolution feature maps of 76×76 are enhanced by feature-added technique to improve the detection accuracy of the SSD detection algorithm for small-scale floating objects. In multi-frame filtering, an adaptive filtering algorithm framework is constructed based on spatial-temporal correlation and motion information to calculate the correlation between frames in a video frame and adaptively remove the detection results of floater targets that deviate from the motion trajectory according to the magnitude of change in the spatial position of the floater target to reduce floater tracking drift. In the information fusion stage, the detection and filter information are fused by feature comparison to achieve dynamic complementarity between detection and tracking information and are trained and validated with different detection and tracking scene datasets. The results show that the method achieves 100% detection and tracking accuracy, 0.94 success rate area, 17.27 fps average speed, and 7.18×109 computational complexities in simple water scenes with a center location error of 8 pixels. The tracking accuracy and success rate area for a center location error of 10 pixels in complex water scenes are 93.24% and 0.81 respectively, and the average speed and computational complexity are 15.02 fps and 8.76×109 respectively, balancing detection and tracking accuracy and efficiency in complex environments.
-
漂浮物作为河道表观污染的重要源头，严重影响河道环境和河湖环境保护工作[1]。减小漂浮物聚集量与滞留时长，加强漂浮物跟踪监测，是改善水环境生态质量的重要途径，也是积极落实“河湖长制”政策的技术手段[2]。现阶段水面漂浮物检测跟踪方式包含了人工识别、遥感监测和机器视觉识别等[3]，但是复杂水面环境存在漂浮物采样困难、自身形变、环境光照、遮挡及监控摄像头位置固定等情况[4]，易造成漂浮物漏检和跟踪失败等问题，难以适应精细化和高效率的漂浮物控制管理需求。因此，寻找一种高效、快捷的水面漂浮物检测跟踪方法是水污染治理亟需解决的问题之一。
周治国等[5]针对水面漂浮物目标检测识别的研究主要围绕传统图像处理和基于深度学习方法两个方面展开。传统图像处理主要基于水面环境前景和背景特征、滤波理论进行目标识别，具有检测识别速度快的优势，但易受到目标尺度小、光照变化大、遮挡、运动缓慢等复杂环境的干扰，造成误检、漏检等问题，难以满足鲁棒性要求。基于深度学习的目标检测算法利用多层卷积神经网络提取漂浮物特征，如Huang等[6]采用Faster R-CNN检测网络和数据增强方式用于水面物体检测和识别，其精度较高但检测效率低；Redmon等[7]在改进YOLO（you only live once）基础上的提出YOLOv3进行目标检测，具有快速检测的优点，但存在精度下降的问题；Cao等[8]通过将SSD（single shot multibox detector）网络中的VGG（visual geometry group）基础网络进行轻量化设计，有效平衡了检测准确度和计算复杂度。其中，SSD模型以其自身的精度和速度的优势，成为当前应用于水面漂浮物目标检测识别的主流方法[9]。但是当漂浮物目标尺度较小[10]、缓慢运动[11]及背景复杂度发生较大变化时，检测误差率不断上升，同时算法需要高功耗实验设备的支持，难以移植到嵌入式设备中。目前水面漂浮物目标检测多是单帧检测，尚未充分利用视频帧与帧之间的时间相关性和漂浮物目标运动状态信息，在对视频进行处理时易造成目标漏检等情况[12]。
相较于目标检测，目标跟踪在实时性方面要求更为严格。在水面漂浮物目标跟踪领域，以往学者的研究方法主要分为经典目标跟踪方法和核相关滤波。刘海涛等[13]提出基于遗传算法的智能粒子滤波（particle filter）进行目标跟踪，有效降低高度和速度误差；Xie等[14]采用卡尔曼滤波（Kalman fliter）和高斯混合模型，提升了运动跟踪效果；李成美等[15]将Shi–Tomasi角检测和金字塔LK光流法相结合，实现对运动目标的稳定跟踪。以上经典目标跟踪算法适用于简单水面环境下的漂浮物跟踪，其跟踪的准确性和鲁棒性较差。基于核相关滤波(kernel correlation filter，KCF）算法[16]的漂浮物跟踪通过分类器训练、目标检测和模型更新，提升了在复杂河道场景中漂浮物跟踪的性能。Henriques等[17]在KCF中加入了方向梯度直方图（histogram of oriented gradient，HOG）提升目标跟踪精度，但由于漂浮物不同尺度的动态变化易产生跟踪漂移。以上目标跟踪算法基于视频序列中的时间信息对漂浮物目标进行处理，在较小漂浮物目标尺度及缓慢运动状态下无法确保跟踪精度。而序列检测可以利用目标的时间信息和漂浮物运动状态信息进行多帧联合检测与跟踪，降低跟踪环境不确定性的影响[18]，为解决现有目标跟踪算法问题提供新思路。
针对现有水面漂浮物检测与跟踪方法易受到复杂水面环境、漂浮物尺度与运动状态变化的影响等问题，作者提出一种基于改进的单步多框目标检测（single shot multibox detector, SSD）网络和相关滤波算法的水面漂浮物目标检测跟踪方法，较好地完成复杂环境下小尺度漂浮物的检测和跟踪任务。
1. 研究方法
1.1 方法概述
在单帧检测阶段，通过删除SSD网络中深层低分辨率检测层和增强浅层高分辨率特征层来获得小尺度漂浮物的空间信息，解决小尺度漂浮物检测问题；在多帧滤波阶段，基于时空相关性和运动信息提出一种自适应滤波算法，计算视频帧中帧与帧之间的关联性，自适应删除偏离运动轨迹的漂浮物目标检测结果，从而达到持续跟踪的目的；在信息融合阶段，通过特征对比将改进SSD检测网络和自适应滤波算法获得的信息进行融合，确保跟踪速度和准确率，并将新目标进行长时间持续跟踪。
研究方法分为3个步骤：1）应用改进SSD检测器检测出水面环境中所有的潜在目标作为检测结果；2）运用AF滤波器过滤掉偏离目标历史运动轨迹的检测目标，修正检测结果，获取当前帧检测目标的最终位置；3）在完成一定帧数跟踪后再次引入改进SSD检测机制，比较新检测框与旧跟踪框的置信度，通过融合检测信息和滤波信息确定合适的跟踪框。整体流程如图1所示。
图 1 水面漂浮物检测跟踪框架Fig. 1 Detection and tracking framework of floating objects on the water surface
下载:
全尺寸图片
1.2 单帧检测：改进SSD网络
SSD和YOLO在公开数据集上具有较好的检测速度和准确率性能，但是对低像素小尺度目标物的检测性能较低[19]。与YOLO算法基础网络Darknet相比，SSD检测算法的VGG结构简单，更适合与其他算法集成。由于较小漂浮物目标位于高分辨率的特征图中，本文对SSD网络进行如下改进，调整深层低分辨率检测层和浅层高分辨率检测层的结构。传统SSD中输入分辨率为300×300的输入图像，包含了6个检测层[20]，分辨率分别为38×38（F1）、19×19（F2）、10×10（F3）、5×5（F4）、3×3（F5）和1×1（F6），SSD300网络结构如图2所示。改进后的SSD检测网络如图3所示，包含了4个检测层，分辨率分别为76×76（F0）、38×38（F1）、19×19（F2）和10×10（F3）。
图 2 SSD 300网络结构Fig. 2 Network structure of SSD 300下载:
全尺寸图片
图 3 改进SSD 300网络结构Fig. 3 Network structure of improved SSD 300下载:
全尺寸图片
4个检测层具体情况如下：
1）删除深层低分辨率检测层。在分辨率为300×300的输入图像中，水面漂浮物目标物中包含部分低像素和小尺度图像，其包含的像素不足10×10，由于分辨率低、图像模糊、信息少和噪声多，增加了检测难度[21]。而检测层F4的分辨率为5×5，与原始输入图像相比，分辨率降低了58倍，该检测层下的漂浮物模糊且形状、外观信息大幅减少，因此分辨率为5×5的检测层F4及以下的分辨率无法提取小尺度漂浮物目标的重要特征，不同分辨率图层下的目标检测过程如图4所示。因此，本文将删除SSD网络中5×5、3×3和1×1分辨率的检测层。
图 4 不同分辨率图层下的目标检测Fig. 4 Target detection at different resolution layers下载:
全尺寸图片
2）增强浅层高分辨率检测层。为了提升小尺度漂浮物的检测性能，采用76×76的高分辨率特征层，但高分辨率特征层过于浅层将导致其包含的语义信息不足，从而难以区分目标，必须对其进行特征增强。特征融合具有在不降低分辨率的情况下提升特征层的语义信息，能够解决语义信息和分辨率的矛盾问题[22]。因此，采用特征融合中的特征求和（Add）方式对浅层高分辨率特征层进行增强处理，相较于特征拼接（Concat），求和方式具有节约参数和计算量的优势[23]。特征融合处理过程如图5所示。由图5可见：首先，将分辨率为76×76的特征层F0与分辨率为38×38特征层F1进行特征相加求和处理，采用1×1点卷积对F1层进行降维，并进行上采样得到F0a，确保F1和F0a具有相同的分辨率和通道数；将F0a层按照逐个像素添加到F0层，通过卷积层平滑处理进行特征融合得到F0o。
图 5 特征融合处理Fig. 5 Feature fusion processing下载:
全尺寸图片
采用置信度损失和回归损失为改进SSD模型的损失函数，进行模型参数优化。损失函数：
$$ L\left( {x_{ij}^k,c,l,g} \right) = \frac{1}{N}\left[ {{L_{{\rm{conf}}}}\left( {x_{ij}^k,c} \right) + \alpha {L_{{\rm{loc}}}}\left( {x_{ij}^k,l,g} \right)} \right] $$ (1) 式中,
${L_{{\rm{conf}}}}\left( {x_{ij}^k,c} \right)$ 为置信度损失，${L_{{\rm{loc}}}}\left( {x_{ij}^k,l,g} \right)$ 为回归损失，N为预测框的正样本数量，c为类别置信度预测值，x为预测框与真实框之间的差距，l为预测框所对应边界框位置预测值，g为真实框的位置参数，α为权重系数通过交叉验证。根据损失函数的结果对网络参数进行调整。1.3 滤波跟踪：自适应滤波算法
在视频图像序列中，漂浮物目标的运动轨迹在相邻帧中变化具有一定的连续性，但视频背景中的噪声与漂浮物目标的运动轨迹相关程度较低[24]。基于这一特点，本文提出了一种自适应滤波算法（adaptive filter，AF），实现自适应地删除偏离运动轨迹的漂浮物目标检测结果，从而达到持续跟踪的目的。自适应滤波算法结构如图6所示。由图6可见，AF算法作为一种队列结构，漂浮物的运动状态和轨迹由于相邻帧发生改变，圆形代表漂浮物在相邻帧中的检测框，虚线代表漂浮物检测框中心位置相连，上下横线代表漂浮物检测框的上限和下限。在滤波过程中，AF算法可以根据漂浮物目标的空间位置的变化幅度调整检测结果范围，防止漂浮物目标被漏检或误检。
图 6 自适应滤波算法结构Fig. 6 Adaptive filtering algorithm structure下载:
全尺寸图片
自适应滤波算法整体框架如图7所示。由图7可看出：首先，输入改进SSD检测器下当前视频帧中的水面漂浮物目标的检测结果
$M$ ，包含了若干检测目标的坐标信息${m_1}$ ，${m_2}$ ，${m_3}$ ，···，${m_n}$ 。然后，输入历史视频帧中漂浮物的坐标信息$P$ ，包含${p_1}$ ，${p_2}$ ，${p_3}$ ，···，${p_i}$ ，通过均值化处理得到历史帧中漂浮物数据的中心坐标$C$ ，并计算历史帧中每一个坐标信息与$C$ 的方差${\sigma ^2}$ 。其次，设定初始值${\gamma _0}$ 和方差系数$k$ ，${\gamma _0}$ 设置为0，$k$ 大于1，通过计算位置方差自适应调整$\gamma $ ，若相邻帧之间漂浮物目标空间位置变化较大，则自适应增加$\gamma $ 防止漂浮物目标作为背景噪声被删除；若相邻帧之间漂浮物目标空间位置变化较小，自适应减小$\gamma $ ，以防止背景噪声被误检为真实漂浮物目标。最后，计算当前帧中漂浮物目标检测结果$M$ 与$C$ 之间的距离$\sqrt {{{\left( {{m_i} - C} \right)}^2}} $ ，若大于$\gamma $ ，则删除当前帧中的检测结果${m_i}$ ；否则，进行保留，从有效检测结果中选择最高置信度作为当前帧的检测结果，并对$P$ 进行更新得到${P^*}$ 。
图 7 自适应滤波算法整体框架Fig. 7 Overall framework of the adaptive filtering algorithm下载:
全尺寸图片
$$ C = \frac{1}{\lambda }\sum\limits_{i = 1}^\lambda {\left( {{p_i}} \right)} $$ (2) $$ {\sigma ^2} = \frac{1}{\lambda }{\sum\limits_{i = 1}^\lambda {\left( {{p_i} - C} \right)} ^2} $$ (3) $$ \gamma = {\gamma _0} + k{\sigma ^2} $$ (4) $$ {M^*} = M - \left\{ {{m_i}} \right\} $$ (5) $$ {M^\Delta } = \left\{ m \right\} $$ (6) $$ {P^*} = \left( {P - \left\{ {{p_i}} \right\}} \right) \cup \left\{ m \right\} $$ (7) 式（2）～（7）中：
$C$ 为历史视频帧下水面漂浮物目标的坐标中心位置；$P$ 为历史视频帧中漂浮物的坐标信息集合，$P=\left\{p_1,\; p_2,\;p_3,\;\cdots,\; p_i\right\}$ ；$\gamma $ 为有效检测结果范围相对于$C$ 的半径；${\gamma _0}$ 为半径$\gamma $ 的初始值；${\sigma ^2}$ 为检测结果在历史帧中的空间位置方差；$k$ 代表方差的系数；$M$ 为改进SSD检测算法下当前帧水面漂浮物目标检测结果集合，$M=\left\{m_1,\; m_2,\; m_3,\;\cdots,\;m_n\right\}$ ；${M^\Delta }$ 为当前帧中最高置信度的检测结果；${P^*}$ 为更新后的历史帧水面漂浮物目标信息集合。1.4 单帧检测与多帧滤波信息融合
利用改进SSD检测算法进行目标检测来提取单帧图像特征，精度较高，可以对未知目标进行识别分类，鲁棒性强。但检测没有结合视频图像帧与帧之间的时间信息及漂浮物的运动信息，容易产生漏检，且运行速度较慢。自适应滤波算法通过提取连续帧图像的特征并训练滤波器，计算量少，处理速度快，但是容易造成累计误差，产生目标偏移，易受到目标遮挡与复杂水面环境的影响。因此，将单帧检测信息与多帧滤波信息进行融合，提升整体性能，实现对水面目标更加准确、稳定地检测跟踪，兼顾鲁棒性和实时性。
融合时，在首帧图像中通过改进SSD检测算法获取检测候选框
${S_i}$ ，确定目标物的空间位置信息；再将首帧目标的位置信息作为AF算法的输入，之后的数帧采用AF算法对目标进行跟踪，获取跟踪候选框${K_j}$ 。跟踪固定帧数后运行再检测机制，通过改进SSD检测算法确保持续检测跟踪的精度。通过计算${S_i}$ 和${K_j}$ 的交并比（IOU）来判断检测跟踪是否为同一漂浮物目标。交并比的计算公式如下：$$ \mathrm{IOU}=\frac{S_{i} \cap K_{j}}{S_{i} \cup K_{j}} $$ (8) 式中，
${S_i} \cap {K_j}$ 代表检测候选框和跟踪候选框的交集，${S_i} \cup {K_j}$ 代表检测候选框和跟踪候选框的并集。若$\forall {K_j}$ ，${{\rm{IOU}}} \leq 0.4$ ，判断${S_i}$ 为新漂浮物目标，参与AF算法的初始化；若$\exists {K_j}$ ，${{\rm{IOU}}} > 0.4$ ，则判断检测和跟踪为同一漂浮物目标，比较改进SSD算法检测框置信度${\rm{conf}}\left( {{S_i}} \right)$ 与AF算法跟踪框的置信度${\rm{conf}}\left( {{K_j}} \right)$ ，输出置信度较大的框作为系统输出。检测跟踪框选择过程如图8所示。
图 8 检测跟踪框选择过程Fig. 8 Process of detection and tracking box selection process下载:
全尺寸图片
1.5 模型评价指标
采用目标检测跟踪领域3种具有代表性的评价指标[25]中心位置误差（center location error，CLE）、重叠面积比率（overlap rate，OR）和检测跟踪精度（detection precision，DP）对检测跟踪结果进行定量分析。CLE代表跟踪目标与预测框的中心位置距离，采用欧氏距离，统计所有帧中心位置误差并取均值，即平均中心位置误差。CLEaverage为通过判断两个矩阵的靠近程度评估误差，数值越小代表跟踪过程的检测框位置越准确。OR为指跟踪目标的真实标记框与预测框的交集和并集面积比值，计算视频帧中所有帧的重叠面积比率，即平均重叠面积比率ORaverage。DP代表在检测跟踪视频中，检测跟踪成功的帧数占总帧数的比值。
$$ {\rm{CLE}}_{{{\rm{average}}}} = \frac{1}{N}\sum\limits_{i = 1}^N {\sqrt {{{\left( {{C_{\rm{g}}}\left( x \right) - {C_{\rm{t}}}\left( x \right)} \right)}^2} + {{\left( {{C_{\rm{g}}}\left( y \right) - {C_{\rm{t}}}\left( y \right)} \right)}^2}} } $$ (9) $$ {\rm{OR}}_{{{\rm{average}}}} = \frac{1}{N}\sum\limits_{i = 1}^N {\frac{{{\rm{area}}\left( {{R_{\rm{t}}} \cap {R_{\rm{g}}}} \right)}}{{{\rm{area}}\left( {{R_{\rm{t}}} \cup {R_{\rm{g}}}} \right)}}} $$ (10) $$ {\rm{DP}} = \frac{{{\rm{count}}\left( {{\rm{CLE}}_{i} < T} \right)}}{N} \times 100 \text{% }$$ (11) 式（9）～（11）中：
$N$ 为视频帧的总数量；$i$ 为图像帧的序号；${C_{\rm{t}}}$ 为预测框的位置中心；${C_{\rm{g}}}$ 为目标实际位置中心；${R_{\rm{t}}}$ 为跟踪算法的预测框；${R_{\rm{g}}}$ 为目标物的真实标记框；$T$ 为中心位置误差阈值，当指标${\rm{CL}}{{\rm{E}}_{\rm{i}}}$ 低于该阈值时代表当前帧检测跟踪成功，一般情况下阈值$T$ 为10。2. 试验数据集与实验参数设置
2.1 水面漂浮物数据集来源与制作
收集来自不同水面漂浮物场景的照片，构建外观各异的水面漂浮物数据集，见表1。由表1可知，由于背景复杂度会影响目标检测跟踪算法的性能[26]，因此采用平均方差加权信息熵来计算每个图像序列的背景复杂度，并根据背景复杂度阈值将图像序列划分为“简单水面场景子集”和“复杂水面场景子集”。平均方差加权信息熵[27]从图像的空间和局部信息对图像的整合和局部灰度分布和像素变化程度进行计算，计算步骤如下：1）将图像划分为若干图像块；2）计算每一个图像块的方差加权信息熵；3）平均所有图像块的方差加权信息熵。
表 1 数据集情况Table 1 Data set situation视频类型 水面场景 视频
量/个分辨率 时长/
(s·个–1)帧率/
fps简单水面场景 平静水面 35 1 920×1 080 64 30 复杂水面场景 动态光影移动 12 1 920×1 080 52 30 水面倒影 75 1 920×1 080 78 30 强光放射 24 1 920×1 080 61 30 水波扰动 13 1 920×1 080 92 30 $${\qquad \quad {H_1}\left( I \right) = \frac{1}{{256}}{\sum\limits _{S = 0}^{255}\left( {s - \overline s } \right) ^2} \times {P_s} \times \lg \;{P_s} }$$ (12) $$ H\left( I \right) = \frac{1}{N}\sum\limits _{k = 1}^N {H_1}\left( {{I_k}} \right) $$ (13) 式（12）～（13）中：
${H_1}\left( I \right)$ 为单张图像的方差加权信息熵；$H\left( I \right)$ 为平均方差加权信息熵；$s$ 为图像的灰度值；${P_s}$ 为灰度值$s$ 的概率；$\overline s $ 为图像灰度值的平均值；${I_k}$ 为单个图像块；$N$ 为分割图像块的数量，一般情况下$N$ 设置为8。选择$\;\rho $ 作为背景复杂度阈值，当图像序列背景复杂度低于$\;\rho $ 时，设定为简单水面场景子集，反之设置为复杂水面场景子集。通过对数据集中图像序列的分析，发现背景复杂度低于1的图像序列一般为平静水面背景，而背景复杂度高于1为复杂背景，如动态光影、水面倒影、强光及异常天气等，因此将$\rho $ 设置为1。简单水面场景子集包含了3类图像序列，总计1 522张图片，主要是平静水面背景；复杂水面场景子集包含了9个图像序列，共计2 502张图片。不同背景复杂度下的水面漂浮物图像如图9所示。图9（a）和（b）的背景复杂度分别为0.37和0.92，属于简单水面场景；图9（c）和（d）的背景复杂度达到6.83和28.65，属于复杂水面场景。
图 9 不同背景复杂度下的水面漂浮物图像Fig. 9 Images of floating objects on the water surface under different background complexities下载:
全尺寸图片
2.2 平台及参数设置
以Pascal VOC 2007训练出的SSD模型作为权重起点对网络进行微调，基于Ubuntu 18.04 LTS操作系统，计算机配置为Inter i7 CPU，32 G运行内存，搭配显卡为RTX 3080，算法平台为Python3.8版本的Pytorch 1.10的深度学习框架，网络训练输入参数见表2。
表 2 改进SSD检测网络训练输入参数Table 2 Input parameters of the improved SSD detection network training参数名称 数值 初始学习率 0.0001 衰减系数 0.1 学习权重 0.9 训练冲量 0.9 优化器 Adam 权重衰减系数 0.0005 输入图像分辨率 300×300 训练批次 16 训练迭代次数 150 000 选择实地实验中4类具有代表性的视频进行验证，视频1为正常水面环境，视频2为水波扰动环境，视频3为动态光影环境，视频4为强光反射环境。
3. 实验及结果分析
3.1 不同场景下的情况
在不同水面环境下漂浮物的检测跟踪结果见表3。 4个不同视频序列前500帧内每一帧跟踪结果的中心位置误差曲线和箱状图如图10所示。图10中，不同视频序列分别为正常水面、水波扰动、动态光影变化和强光反射场景。
表 3 测试数据集和检测跟踪结果Table 3 Test dataset and detection tracking results视频序列 水面环境 CLE DP/% 速度/fps 1 正常水面 2.43 93.02 17.88 2 水波扰动 4.73 92.15 16.22 3 动态光影 6.62 90.32 14.28 4 强光反射 8.81 88.26 12.62 表 4 动态光影和强光反射环境下检测跟踪结果Table 4 Detection and tracking results in dynamic light and shadow and strong light reflection environment视频序列 算法 CLE DP/% 速度/fps FLOPs/109 3 传统SSD 18.63 72.87 0.85 12.36 改进SSD 9.69 84.21 1.21 9.88 AF 7.03 88.36 15.36 11.57 融合算法 6.62 90.32 14.28 3.91 4 传统SSD 21.28 63.76 0.73 13.91 改进SSD 11.25 81.28 0.91 10.02 AF 9.27 85.82 13.11 12.26 融合算法 8.81 88.26 12.62 5.77 
图 10 不同跟踪环境下的算法中心位置误差Fig. 10 Algorithm center position errors in different tracking environments下载:
全尺寸图片
由表3和图10可知，在简单水面和复杂水面场景中，检测跟踪算法的中心位置误差低于9，代表在不同的环境下融合SSD检测信息和滤波信息能够较好地实现检测跟踪目的。在设定IOU阈值为0.6时，平均中心位置误差为5.65，平均检测跟踪精度为90.94%，平均检测速度达到15.25 fps。与正常水面环境相比，其余视频跟踪的中心位置误差统计曲线基于处于视频1的上方，说明水波扰动、动态光影和强光反射等因素降低了检测跟踪效果，其中动态光影和强光反射的影响较大，检测跟踪时间相对较长。
选择受检测跟踪环境影响较大的视频3和视频4进行对比实验，分别将改进SSD+AF融合算法与单一跟踪算法、检测算法进行对比分析。
图11为动态光影场景中的检测跟踪结果。视频3中存在动态光影的问题，水面包含了大量动态光影和倒影，河面光照分布不均匀。图11（a）中，传统SSD检测算法能够检测出较大尺度的漂浮物，但是无法检测小尺度漂浮物，同时造成了误检。改进SSD检测算法通过增强浅层高分辨率76×76特征层获得更多语义信息，检测出小尺度漂浮物目标，此时漂浮物运动区域背景相对简单，几种检测跟踪算法实现了较为准确的跟踪。图11（b）中，漂浮物进入了较大范围的倒影和光影变化区域，水面光影变化幅度较大，漂浮物和倒影区域在颜色上区分度降低，改进后的SSD检测算法虽然能够检测出漂浮物目标，但是跟踪框出现偏离目标的中心位置。AF算法基于232帧之前的历史信息自动删除了偏离滤波中心区域的漂浮物，对于光影具有一定鲁棒性。图11（c）中，区域背景出现了多个条状倒影，传统SSD检测算法出现了误检，将两个小尺度漂浮物检测为1个检测框，改进SSD算法和AF算法保持较好的检测跟踪结果，但是在跟踪准确度上低于融合算法。动态光影和强光反射环境下的检测跟踪结果见表4。
图 11 动态光影场景中的检测跟踪结果Fig. 11 Detection and tracking results in dynamic light and shadow scenes下载:
全尺寸图片
由表4可知，在检测跟踪的准确度上，本文提出的融合改进SSD和AF算法的中心位置误差和精度分别达到了6.62和90.32%，均高于其他3种算法。在检测跟踪速度和计算复杂度上，较于传统SSD，改进SSD算法删除了5×5及以下的低分辨率检测层，增强76×76浅层高分辨率检测层，速度提升了42.35%，代表着检测器处理图像效率有效提高；而浮点数操作量（FLOPs）从12.36降低到9.88，说明改进SSD算法的计算复杂度下降，但是检测算法显著低于自适应滤波跟踪AF算法。融合后，算法的计算速度和复杂度均得到了有效提升，达到14.28 fps和3.91×109。因此，在光影变化环境中，通过融合小尺度检测算法和滤波跟踪算法能够实现较优的跟踪性能。
图12为强光反射场景中的检测跟踪结果。
图 12 强光反射场景中的检测跟踪结果Fig. 12 Detection and tracking results in strong light reflection scenes下载:
全尺寸图片
视频4中漂浮物运动区域为强光反射，背景区域由于光线难以与漂浮物有效区域区分，增加跟踪难度。传统SSD算法在图12（a）、 （b）和（c）中均存在漏检的问题；改进SSD算法优化了深层低分辨率和浅层高分辨率特征层结构，有效识别出小尺度水面漂浮物。在初始前23帧，改进SSD算法和AF算法的跟踪结果相差较小，跟踪框基本上处于重叠，但是跟踪准确度低于融合算法；在145帧时，改进SSD检测算法将反光物体误检为漂浮物目标，而AF算法由于自适应增加滤波半径，避免了跟踪框产生漂移；在379帧时区域强光反射程度降低，跟踪框基本上处于重叠状态。相比较其他3种算法，由于检测跟踪环境的复杂性增加，视频4算法的中心位置误差、精度、速度和计算复杂度均低于视频3，但融合算法在强光反射下依然保持良好的检测跟踪效果。
3.2 对比实验与分析
采用单目标检测和跟踪算法进行对比实验验证本文算法的性能。检测算法选取两阶段YOLOv4算法，跟踪算法采用经典单目标跟踪算法、KCF算法和ECO算法。将159个视频序列按照7∶3比例划分为训练集和测试集，其中，训练集包含112个视频序列和2 817张图像，测试集包含47个视频序列和1 207张图像，均包含了不同场景的数据，可以验证算法的检测跟踪性能和泛化能力。
1）简单场景算法对比
在简单场景下，5种算法的漂浮物检测跟踪精度和成功率如图13所示。由图13可见：所有算法能够实现较好的检测跟踪结果；中心位置误差在8个像素之内，精度达到了1.0，代表视频中所有帧的漂浮物均被成功检测跟踪，而本文算法的中心位置误差小，在重叠率为0.5时，本文算法的检测跟踪成功率达到90%以上。以平均中心位置误差为8个像素点统计检测跟踪精度数值，计算成功率曲线面积结果见表5。由表5可知，检测跟踪精度和成功率曲线面积本文算法均优于其他算法。从检测跟踪速度看，改进后的SSD算法低于YOLOv4，由于改进SSD算法对检测层进行了删除和增强，提升了准确度，但算法参数量增加，降低了检测器的处理效率； KCF和ECO算法相较于检测算法速度明显提升，而本文算法通过将改进SSD和AF算法的优势结合达到17.27 fps，在算法精度和效率方面达到了平衡。从算法计算复杂度看，改进SSD算法采用VGG–16作为基础网络，网络参数量大且模型内存容量大，YOLOv4采用端到端检测，速度提升，但精度下降[28]；通过引入核函数KCF跟踪算法提升了算法的执行效率，FLOPs低于ECO。本文算法融合了改进SSD和AF算法，融合策略有效减少了网络层数和参数量，从而降低算法复杂度，达到7.18×109。
图 13 简单水面场景下不同算法的跟踪曲线Fig. 13 Tracking curves of different algorithms in simple water scenes下载:
全尺寸图片
表 5 在简单场景下不同算法的检测跟踪性能Table 5 Detection and tracking performance of different algorithms in simple scenarios算法
DP/% 成功率曲线面积 速度/fps FLOPs/109 改进SSD 90.35 0.78 0.68 11.82 YOLOv4 82.39 0.68 0.89 12.31 KCF 89.28 0.75 15.61 8.76 ECO 87.92 0.72 7.82 9.02 本文算法 100.00 0.94 17.27 7.18 2）复杂场景算法对比
在复杂水面场景中，不同算法的检测跟踪精度和成功曲线面积如图14所示；以平均位置误差为10个像素点统计精度数值，计算成功率曲线面积结果见表6。由于检测跟踪环境存在动态光影、水波扰动和强光反射的问题，检测跟踪算法的中心位置误差在一定程度上增加。相较于其他4种算法，本文算法融合单帧检测和多帧滤波，在复杂场景下具有较强的适应性和鲁棒性，能够较好地应对复杂环境因素造成的干扰，确保检测跟踪效果。从检测跟踪速度和计算复杂度方面看，检测跟踪算法由于漂浮物背景环境复杂度增加，复杂图像的处理效率降低，速度和计算复杂度均低于简单水面环境下的检测跟踪性能。但本文算法在达到精度93.24%和成功率0.81的情况下保持平均检测跟踪速度15.02 fps和浮点数操作量8.76×109，解决了漂浮物目标检测跟踪中的动态光影、水波扰动和强光反射的问题。
图 14 复杂水面场景下不同算法的跟踪曲线Fig. 14 Tracking curves of different algorithms in complex water scenes下载:
全尺寸图片
表 6 复杂场景下不同算法的检测跟踪性能Table 6 Detection and tracking performance of different algorithms in complex scenes算法
DP/% 成功率曲线面积 速度/fps FLOPs/109 改进SSD 83.52 0.73 0.82 13.29 YOLOv4 64.29 0.61 0.97 14.18 KCF 76.38 0.71 14.88 9.16 ECO 69.17 0.65 7.27 10.11 本文算法 93.24 0.81 15.02 8.76 从表5和表6可以看出，在不同水面环境下，改进SSD+AF算法的检测跟踪效果最好。本文算法利用基于时间相关性和运动信息的自适应滤波器填补了检测算法的漏检，同时改进SSD检测算法通过单帧检测纠正了对小尺度漂浮物跟踪框的漂移，较好地适应了不同的跟踪环境，并在检测跟踪速度和计算复杂度方面优于其他算法，解决了传统检测跟踪算法在漂浮物检测跟踪准确率和效率的问题。
4. 结论与展望
基于单帧检测和多帧滤波的特点，建立了一种基于深度学习的水面漂浮物检测跟踪方法，在单帧检测中通过删除低分辨率特征图并增强高分辨率特征图，优化特征层结构，提升小尺度漂浮物目标的检测精度；在多帧滤波中提出基于时间相关性和运动信息为基础的自适应滤波算法，结合视频帧特征相关性以降低漏检和误检；利用单帧检测和多帧滤波信息融合，实现检测信息和跟踪信息动态互补。通过构建不同场景的数据集用于模型训练与验证，以中心位置误差、检测跟踪精度、重叠率、速度和计算复杂度评价模型检测跟踪效果。研究证明，基于改进SSD检测算法和AF算法的水面漂浮物检测跟踪方法能够高效应对不同复杂场景下的持续检测跟踪，解决动态光影、水波扰动和强光反射等因素造成的干扰问题，兼具鲁棒性和实时性。
复杂水面环境、漂浮物自身变化性及固定监控设备的特殊性，增加了水面漂浮物目标的检测跟踪难度。其中，复杂跟踪环境是本文重点研究的内容，未来将从漂浮物尺度变化及多摄像机系统视频分析等方向进一步研究，以提高实际水利工程应用的效率。
-
图 1 水面漂浮物检测跟踪框架
Fig. 1 Detection and tracking framework of floating objects on the water surface
下载:
全尺寸图片
图 2 SSD 300网络结构
Fig. 2 Network structure of SSD 300
下载:
全尺寸图片
图 3 改进SSD 300网络结构
Fig. 3 Network structure of improved SSD 300
下载:
全尺寸图片
图 4 不同分辨率图层下的目标检测
Fig. 4 Target detection at different resolution layers
下载:
全尺寸图片
图 5 特征融合处理
Fig. 5 Feature fusion processing
下载:
全尺寸图片
图 6 自适应滤波算法结构
Fig. 6 Adaptive filtering algorithm structure
下载:
全尺寸图片
图 7 自适应滤波算法整体框架
Fig. 7 Overall framework of the adaptive filtering algorithm
下载:
全尺寸图片
图 8 检测跟踪框选择过程
Fig. 8 Process of detection and tracking box selection process
下载:
全尺寸图片
图 9 不同背景复杂度下的水面漂浮物图像
Fig. 9 Images of floating objects on the water surface under different background complexities
下载:
全尺寸图片
图 10 不同跟踪环境下的算法中心位置误差
Fig. 10 Algorithm center position errors in different tracking environments
下载:
全尺寸图片
图 11 动态光影场景中的检测跟踪结果
Fig. 11 Detection and tracking results in dynamic light and shadow scenes
下载:
全尺寸图片
图 12 强光反射场景中的检测跟踪结果
Fig. 12 Detection and tracking results in strong light reflection scenes
下载:
全尺寸图片
图 13 简单水面场景下不同算法的跟踪曲线
Fig. 13 Tracking curves of different algorithms in simple water scenes
下载:
全尺寸图片
图 14 复杂水面场景下不同算法的跟踪曲线
Fig. 14 Tracking curves of different algorithms in complex water scenes
下载:
全尺寸图片
表 1 数据集情况
Table 1 Data set situation
视频类型 水面场景 视频
量/个分辨率 时长/
(s·个–1)帧率/
fps简单水面场景 平静水面 35 1 920×1 080 64 30 复杂水面场景 动态光影移动 12 1 920×1 080 52 30 水面倒影 75 1 920×1 080 78 30 强光放射 24 1 920×1 080 61 30 水波扰动 13 1 920×1 080 92 30 表 2 改进SSD检测网络训练输入参数
Table 2 Input parameters of the improved SSD detection network training
参数名称 数值 初始学习率 0.0001 衰减系数 0.1 学习权重 0.9 训练冲量 0.9 优化器 Adam 权重衰减系数 0.0005 输入图像分辨率 300×300 训练批次 16 训练迭代次数 150 000 表 3 测试数据集和检测跟踪结果
Table 3 Test dataset and detection tracking results
视频序列 水面环境 CLE DP/% 速度/fps 1 正常水面 2.43 93.02 17.88 2 水波扰动 4.73 92.15 16.22 3 动态光影 6.62 90.32 14.28 4 强光反射 8.81 88.26 12.62 表 4 动态光影和强光反射环境下检测跟踪结果
Table 4 Detection and tracking results in dynamic light and shadow and strong light reflection environment
视频序列 算法 CLE DP/% 速度/fps FLOPs/109 3 传统SSD 18.63 72.87 0.85 12.36 改进SSD 9.69 84.21 1.21 9.88 AF 7.03 88.36 15.36 11.57 融合算法 6.62 90.32 14.28 3.91 4 传统SSD 21.28 63.76 0.73 13.91 改进SSD 11.25 81.28 0.91 10.02 AF 9.27 85.82 13.11 12.26 融合算法 8.81 88.26 12.62 5.77 表 5 在简单场景下不同算法的检测跟踪性能
Table 5 Detection and tracking performance of different algorithms in simple scenarios
算法
DP/% 成功率曲线面积 速度/fps FLOPs/109 改进SSD 90.35 0.78 0.68 11.82 YOLOv4 82.39 0.68 0.89 12.31 KCF 89.28 0.75 15.61 8.76 ECO 87.92 0.72 7.82 9.02 本文算法 100.00 0.94 17.27 7.18 表 6 复杂场景下不同算法的检测跟踪性能
Table 6 Detection and tracking performance of different algorithms in complex scenes
算法
DP/% 成功率曲线面积 速度/fps FLOPs/109 改进SSD 83.52 0.73 0.82 13.29 YOLOv4 64.29 0.61 0.97 14.18 KCF 76.38 0.71 14.88 9.16 ECO 69.17 0.65 7.27 10.11 本文算法 93.24 0.81 15.02 8.76 -
[1] 朱艳妮.基于视觉分析的河道漂浮物检测与跟踪方法研究[D].杭州:浙江大学,2021. Zhu Yanni.Research on detection and tracking method of river floating objects based on visual analysis[D].Hangzhou:Zhejiang University,2021. [2] 张馨月,高千红,闫金波,等.三峡水库近坝段水面漂浮物对水质的影响[J].湖泊科学,2020,32(3):609–618. doi: 10.18307/2020.0302 Zhang Xinyue,Gao Qianhong,Yan Jinbo,et al.Water quality affected by floating debris near the dam section of Three Gorges Reservoir[J].Journal of Lake Sciences,2020,32(3):609–618 doi: 10.18307/2020.0302 [3] 聂光涛,黄华.光学遥感图像目标检测算法综述[J].自动化学报,2021,47(8):1749–1768. doi: 10.16383/j.aas.c200596 Nie Guangtao,Huang Hua.A survey of object detection in optical remote sensing images[J].Acta Automatica Sinica,2021,47(8):1749–1768 doi: 10.16383/j.aas.c200596 [4] Yoon K,Song Y M,Jeon M.Multiple hypothesis tracking algorithm for multi-target multi-camera tracking with disjoint views[J].IET Image Processing,2018,12(7):1175–1184. doi: 10.1049/iet-ipr.2017.1244 [5] 周治国,荆朝,王秋伶,等.基于时空信息融合的无人艇水面目标检测跟踪[J].电子与信息学报,2021,43(6):1698–1705. Zhou Zhiguo,Jing Zhao,Wang Qiuling,et al.Object detection and tracking of unmanned surface vehicles based on spatial-temporal information fusion[J].Journal of Electronics & Information Technology,2021,43(6):1698–1705 [6] Huang Hai,Zhou Hao,Yang Xu,et al.Faster R–CNN for marine organisms detection and recognition using data augmentation[J].Neurocomputing,2019,337:372–384. doi: 10.1016/j.neucom.2019.01.084 [7] Redmon J,Divvala S.YOLOv3:An incremental improvement[C]//Proceeding of the IEEE Conference on Computer Vision and Pattern Recognition.Salt Lake City:IEEE,2018:89–95. [8] Cao Shuo,Zhao Dean,Liu Xiaoyang,et al.Real-time robust detector for underwater live crabs based on deep learning[J].Computers and Electronics in Agriculture,2020,172:105339. doi: 10.1016/j.compag.2020.105339 [9] 徐逸之,姚晓婧,李祥,等.基于全卷积网络的高分辨遥感影像目标检测[J].测绘通报,2018(1):77–82. Xu Yizhi,Yao Xiaojing,Li Xiang,et al.Object detection in high resolution remote sensing images based on fully convolution networks[J].Bulletin of Surveying and Mapping,2018(1):77–82 [10] Xue Zhijun,Chen Wenjie,Li Jing.Enhancement and fusion of multi-scale feature maps for small object detection[C]//Proceedings of the 2020 39th Chinese Control Conference (CCC).Shenyang:IEEE,2020:7212–7217. [11] Wu Yong,Yang Zheng,Niu Wenlong,et al.A weak moving point target detection method based on high frame rate image sequences[C]//Proceedings of the IGARSS 2018–2018 IEEE International Geoscience and Remote Sensing Symposium.Valencia:IEEE,2018:7066–7069. [12] Ding Lianghui,Xu Xin,Cao Yuan,et al.Detection and tracking of infrared small target by jointly using SSD and pipeline filter[J].Digital Signal Processing,2021,110:102949. doi: 10.1016/j.dsp.2020.102949 [13] 刘海涛,林艳明,陈永华,等.基于遗传算法的智能粒子滤波重采样策略研究[J].电子与信息学报,2021,43(12):3459–3466. doi: 10.11999/JEIT200561 Liu Haitao,Lin Yanming,Chen Yonghua,et al.A study on resampling strategy of intelligent particle filter based on genetic algorithm[J].Journal of Electronics & Information Technology,2021,43(12):3459–3466 doi: 10.11999/JEIT200561 [14] Xie Yifan,Huang Yuan,Song T L.Iterative joint integrated probabilistic data association filter for multiple-detection multiple-target tracking[J].Digital Signal Processing,2018,72:232–243. doi: 10.1016/j.dsp.2017.10.020 [15] 李成美,白宏阳,郭宏伟,等.一种改进光流法的运动目标检测及跟踪算法[J].仪器仪表学报,2018,39(5):249–256. doi: 10.19650/j.cnki.cjsi.J1803270 Li Chengmei,Bai Hongyang,Guo Hongwei,et al.Moving object detection and tracking based on improved optical flow method[J].Chinese Journal of Scientific Instrument,2018,39(5):249–256 doi: 10.19650/j.cnki.cjsi.J1803270 [16] 林友鑫.基于机器视觉的城市河道表观异物检测方法研究[D].杭州:浙江大学,2020. Lin Youxin.Research on detection method of apparent foreign bodies in urban rivers based on machine vision[D].Hangzhou:Zhejiang University,2020. [17] Henriques J F,Caseiro R,Martins P,et al.High-speed tracking with kernelized correlation filters[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(3):583–596. doi: 10.1109/TPAMI.2014.2345390 [18] 刘红亮,陈超,岳凯.基于跟踪信息的多帧联合检测方法[J].系统工程与电子技术,2021,43(8):2124–2128. doi: 10.12305/j.issn.1001-506X.2021.08.13 Liu Hongliang,Chen Chao,Yue Kai.Multi-frame joint detection method based on tracking information[J].Systems Engineering and Electronics,2021,43(8):2124–2128 doi: 10.12305/j.issn.1001-506X.2021.08.13 [19] Yu Changgeng,Liu Kai,Zou Wei.A method of small object detection based on improved deep learning[J].Optical Memory and Neural Networks,2020,29(2):69–76. doi: 10.3103/s1060992x2002006x [20] 李宝奇,黄海宁,刘纪元,等.基于改进SSD的水下光学图像感兴趣目标检测算法研究[J].电子与信息学报,2022,44(10):3372–3378. doi: 10.11999/JEIT210761 Li Baoqi,Huang Haining,Liu Jiyuan,et al.Underwater optical image interested object detection model based on improved SSD[J].Journal of Electronics & Information Technology,2022,44(10):3372–3378 doi: 10.11999/JEIT210761 [21] Li Jianan,Liang Xiaodan,Wei Yunchao,et al.Perceptual generative adversarial networks for small object detection[C]//Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Honolulu:IEEE,2017:1951–1959. [22] Lin T Y,Dollár P,Girshick R,et al.Feature pyramid networks for object detection[C]//Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Honolulu:IEEE,2017:936–944. [23] Cao Guimei,Xie Xuemei,Yang Wenzhe,et al.Feature-fused SSD:Fast detection for small objects[C]//Proceeding SPIE 10615,Ninth International Conference on Graphic and Image Processing (ICGIP 2017),Qingdao:SPIE,2018,10615:381–388. [24] 刘宗达,董立泉,赵跃进,等.视频中快速运动目标的自适应模型跟踪算法[J].光学学报,2021,41(18):1815001. doi: 10.3788/AOS202141.1815001 Liu Zongda,Dong Liquan,Zhao Yuejin,et al.Adaptive model tracking algorithm for fast moving targets in video[J].Acta Optica Sinica,2021,41(18):1815001 doi: 10.3788/AOS202141.1815001 [25] 孔繁锵,王丹丹,沈秋,等.在线低秩稀疏表示的鲁棒视觉跟踪[J].工程科学与技术,2017,49(4):151–157. doi: 10.15961/j.jsuese.201600511 Kong Fanqiang,Wang Dandan,Shen Qiu,et al.Robust visual tracking via online low-rank sparse representation[J].Advanced Engineering Sciences,2017,49(4):151–157 doi: 10.15961/j.jsuese.201600511 [26] 葛宝义,左宪章,胡永江.基于特征融合的长时目标跟踪算法[J].光学学报,2018,38(11):1115002. doi: 10.3788/AOS201838.1115002 Ge Baoyi,Zuo Xianzhang,Hu Yongjiang.Long-term target tracking algorithm based on feature fusion[J].Acta Optica Sinica,2018,38(11):1115002 doi: 10.3788/AOS201838.1115002 [27] Huo Weibo,Huang Yulin,Pei Jifang,et al.Ship detection from ocean SAR image based on local contrast variance weighted information entropy[J].Sensors,2018,18(4):1196. doi: 10.3390/s18041196 [28] Fan Shuxiang,Liang Xiaoting,Huang Wenqian,et al.Real-time defects detection for apple sorting using NIR cameras with pruning-based YOLOV4 network[J].Computers and Electronics in Agriculture,2022,193:106715. doi: 10.1016/j.compag.2022.106715
