Classification and Rating of Scrap Steel Based on Deep Learning
-
摘要: 废钢是现代钢铁工业重要的铁素来源，是钢企实现碳中和的重要原料。不同级别的废钢价格悬殊，其质量直接影响钢企的生产成本和产品质量。因此，废钢入炉前的分类和评级问题，受到钢企的普遍重视和高度关注。针对传统人工方法在废钢的分类评级中所出现的效率低、安全性和公正性差等问题，基于深度学习中的卷积注意力机制和加权双向特征融合网络构建废钢分类评级模型。首先，搭建废钢质量查验物理模型，模拟货车卸载废钢的生产作业场景，采用高分辨率视觉传感器采集不同类别的废钢图像。其次，设计了一种结合注意力与特征融合的废钢验质深度学习模型，将卷积注意力模块（convolutional block attention module，CBAM）加入主干网络对采集的废钢图像数据集进行特征提取，聚焦并保留图像的重要特征；使用双向特征金字塔（bidirectional feature pyramid network，BiFPN）平衡多尺度特征信息，进行多尺度特征融合。最后，在模型预测阶段，利用所构建的废钢质量验质模型进行废钢类别和质量判级，验证模型的精确性与检测效率。基于自制废钢验证数据集，与主流的目标检测模型Faster R–CNN、YOLOv4、YOLOv5系列以及YOLOv7进行性能比较。实验结果表明：本研究构建的废钢质量验质模型识别判级的准确率Acc达到了86.8%，所有类别平均精度mAP为89.2%，均高于对比的目标检测模型，在准确性、实时性以及识别评级效率方面可满足实际生产应用，解决废钢分类评级过程中的诸多难题，实现废钢的智能验质和公正判定。Abstract: Steel scrap is an important source of ferrite for the modern steel industry and an important raw material for steel companies to achieve carbon neutrality. The price of different grades of scrap varies greatly and its quality directly affects the production cost and product quality of steel enterprises. Therefore, the classification and grading of scrap before feeding into the furnace has received widespread attention and great concern from steel enterprises. To address the problems of low efficiency, poor safety, and fairness in the classification and rating of scrap by traditional manual methods, a scrap classification and rating model (CCBFNet) based on the spatial and channel attention mechanism and weighted bidirectional feature fusion network was proposed in the paper. Firstly, a physical model of scrap quality checking was built to simulate the production operation scene of unloading scrap by trucks, and high-resolution vision sensors were used to collect the images of different types of scrap. Secondly, a deep learning model combining attention and feature fusion was designed for scrap quality inspection in the model training stage, and the spatial and channel attention module (CBAM) was added to the backbone network to extract features from the collected scrap image dataset, focusing and retaining the important features of the images; then, a weighted Bidirectional Feature Pyramid Network (BFPN) was used. Secondly, the multi-scale feature fusion was performed by balancing the multi-scale feature information using the Bidirectional Feature Pyramid Network (BiFPN). Finally, in the model prediction stage, the constructed scrap quality verification model CCBFNet was used for scrap category and quality grading to verify the accuracy and detection efficiency of the model. Based on the homemade scrap validation dataset, the performance of CCBFNet was compared with the mainstream target detection Faster R–CNN, YOLOv4, YOLOv5 series, and YOLOv7. The experimental results showed that the Acc of CCBFNet reaches 86.8% and the mAP is 89.2%, which are higher than the compared target detection models. The proposed CCBFNet can fully meet the actual production applications in terms of accuracy, real-time and recognition rating efficiency, solve many difficulties in the process of scrap classification and rating, and realize the intelligent quality inspection and fair determination of scrap.
-
废钢是一种可替代铁矿石的绿色资源，也是现代钢铁行业的重要原料[1-2]。目前钢铁生产主要有两种路线，即采用铁矿石与废钢为主要原料的高炉–碱性氧炉（blast furnace–basic oxygen furnace，BF–BOF）路线和采用废钢为主要原料的电弧炉（electric arc furnace，EAF）路线[3-5]。根据世界钢铁协会数据，2021年全球粗钢产量为19.52 亿t，较上年增加3.8%，电炉钢产量同比增长14.4%，达5.63 亿t。其中，美国的钢铁产量约2/3来自废钢，废钢来源包括生产和成型废钢、加工废料和消费后废钢[6]。欧盟的钢铁生产份额约54%来自废钢[7-8]，日本20%以上的粗钢是由废钢制成[9]。尽管当前中国废钢占钢铁工业原料比例相对较少，但随着中国碳达峰、碳中和战略的进一步落实以及社会钢铁材料的逐步更新，中国将成为继美国、欧盟和日本之后废钢消费量最大的国家[10-11]。废钢消费量与进口量的迅速持续增长使其回收验质方面的压力与日俱增。
现今，大多数钢铁企业对废钢等级的判定主要由人工进行，存在着危险性高、评级精度低、公正性易受到质疑等诸多问题。不同级别的废钢价格差异较大，其质量直接影响钢企的生产成本和产品质量。因此，废钢的分类和评级成为钢企生产成本和产品质量控制的重要一环。
目前，国内外对于废钢分类评级的人工智能算法研究较少，与之相似的钢铁行业应用场景也仅有如设备寿命预测、铸坯和钢板表面质量判级、钢板表面字符识别以及合金检测等。李国瑞等[12]通过引入局部注意力机制，实现了对工业物联网设备剩余使用寿命的高精度预测。徐钢等[13]应用机器学习的聚类算法实现对汽车用钢（interstitial–free steel，IF钢）的在线判级。李江昀等[14]采用YOLOv2目标检测网络，实现板坯表面缺陷的检测。陈任飞等[15]提出了一种基于深度学习的实时且稳健的水面漂浮物智能检测方法，实现了水面漂浮物检测的高精度和高效率。Bobulski等[16]创建和研究自动分类技术，以提高城市垃圾回收过程的整体效率。Gupta等[17]提出了一种基于人工智能的自动解决方案，用于从其他废物类型中分类金属、塑料和玻璃制品。Jossue等[18]提出稠密卷积网络（dense convolutional network，DenseNet）+后向传播神经网络（back propagation neural network，BPNN）+主成分分析（principal component analysis，PCA）的深度学习模型，并在组合的铸件、锻造和不锈钢数据集上进行质量预测和评估，取得较好的效果。Penumuru等[19]提出在德国工业4.0中应用机器视觉和机器学习技术进行自动材料识别的通用方法，实现了对铝、铜中密度纤维板和低碳钢的识别和分类。值得注意的是，近几年国内多家钢企正加快实现智能化炼钢，探索废钢采购管理新途径。本文基于跨阶段局部网络（cross stage partial networks，CSP）、卷积注意力（convolutional block attention module，CBAM）、双向特征金字塔（bidirectional feature pyramid network，BiFPN）构建CCBF–Net（CSP+CBAM+BiFPN）废钢智能验质网络模型，对废钢类别特征进行提取，为了提高检测和判级精度，将注意力机制加入主干网络，在空间和通道上进行注意力操作，采用双向特征金字塔进行多尺度特征融合，并在自建废钢数据集HK_L上进行了实验研究，实现了对废钢类别、厚度的智能验质。
1. CCBF–Net模型
1.1 CCBF–Net模型结构
提出的基于注意力机制[20]的CCBF–Net模型用于废钢的分类评级，网络框架如图1所示。针对废钢验质场景，将CSP[21]结构用于废钢图像多种类别的特征提取，采用CBAM[22]在空间和通道维度上聚焦并保留图像的重要特征，采用BiFPN[23]平衡不同尺度的特征信息，进行更高效的多尺度特征融合。
图 1 CCBF–Net模型网络图Fig. 1 CCBF–Net model network diagram
下载:
全尺寸图片
1.2 相关技术
1.2.1 CSP
CSP在图像特征提取阶段使模型学习到更多的特征信息。CSP将梯度的变化完整的集成到特征图中，使梯度信息在相关性上具有较大的差异，从而获取更多的特征信息。此外，在减少计算量、提高推理速度和准确性方面CSP也有着显著优势。CSP结构的两个分支分别是CBL[24]结构和CBL+残差（Resunit）结构[25]，最后通过连接（concat）[26]操作将两分支合并。CSP网络结构如图2所示。
图 2 CSP结构图Fig. 2 CSP structure diagram下载:
全尺寸图片
1.2.2 CBAM
CBAM对特征图的通道与空间维度进行特征映射，并使特征自适应细化。CBAM模块结构如图3所示。CBAM的通道注意力和空间注意力结构如图4所示。
图 3 CBAM模块结构图Fig. 3 CBAM module structure diagram下载:
全尺寸图片
图 4 CBAM中的通道注意力和空间注意力结构Fig. 4 Channel attention and spatial attention structure in CBAM下载:
全尺寸图片
在CBAM的通道注意力模块中，首先对特征图F分别进行全局最大池化和均值池化，经全连接层生成1维通道注意力
$\boldsymbol{M}_{\mathrm{C}} \in \mathbb{R}^{C_{\mathrm{n}} \times 1 \times 1}$ ，通过相加和相乘操作得到特征图F' ，其中，$\boldsymbol{M}_{\mathrm{C}} $ 表示在通道维度上进行注意力提取的结果，C为通道注意力的标志，$\mathbb{R}^{C_{\mathrm{n}} \times 1 \times 1} $ 代表一个维度为${C_{\mathrm{n}} \times 1 \times 1} $ 的张量，可以看作是对于每个通道的注意力权重，$C_{\mathrm{n}}$ 为通道数；在空间注意力模块中，将F' 进行相同的池化操作，在卷积操作后生成2维空间注意力$\boldsymbol{M}_{\mathrm{S}} \in \mathbb{R}^{1 \times H \times W} $ ，最后F' 按元素相乘得到F'' ，$\boldsymbol{M}_{\mathrm{S}} $ 表示在空间维度上进行注意力提取的结果，S为空间注意力的标志，$\mathbb{R}^{1 \times H \times W} $ 表示一个大小为${1 \times H \times W} $ 的张量，其中H和W分别表示输入特征图的高度和宽度，这个张量可以看作是对于每个空间位置的注意力权重，其中每个元素表示对应空间位置的重要程度，这些权重可以被用来加权输入特征图的不同位置，从而调整不同位置的贡献，提升模型的性能。CBAM生成注意力过程描述如下所示：$$ {\boldsymbol{F}}{{{'}}}={\boldsymbol{M}}_{\mathrm{C}}\left({\boldsymbol{F}}\right)\otimes {\boldsymbol{F}}$$ (1) $$ {\boldsymbol{F}}{{{'}}{{'}}}={\boldsymbol{M}}_{\mathrm{S}}\left({\boldsymbol{F}}{{{'}}}\right)\otimes {\boldsymbol{F}}{{{'}}} $$ (2) 式（1）～（2）中，
$ \otimes $ 表示对应元素相乘，$\boldsymbol{F}\in {\mathbb{R}}^{C\times H\times W}$ 为输入的特征图。1.2.3 BiFPN
BiFPN是一种简单而高效的加权特征融合网络。特征金字塔（feature pyramid network，FPN）网络[27]通过从主干网络中不同层得到不同分辨率的特征。图5为FPN和BiFPN的结构图，图5中，P3～P7为不同尺度的特征图，P3是高分辨率，抽象信息少；P7是低分辨率，抽象信息多。在FPN中，自上往下的将低分辨率高信息量的特征上采样到前一层，通过这种方式实现特征的融合，使得底层的高分辨率低信息量的特征可以融合到上层的抽象信息。在FPN基础上，BiFPN结构增加了从原始节点到自下向上节点的连接，并且将自顶向下和自下向上的流程整合为一个可重复使用的块。具体优化如下：首先，移除无法提供更多信息的单输入边节点，从而使网络更加精简；其次，增加了同一层从输入节点到输出节点的连接，使得最终的输出既包含当前层的信息，又包含上下层的信息；此外，针对融合的各个尺度特征增加一个权重，调节每个尺度的贡献度，提高检测速度。
图 5 FPN与BiFPN结构图Fig. 5 FPN and BiFPN structure diagram下载:
全尺寸图片
2. 模型评价标准
模型的评价指标包括精确率（precision，P）、召回率（Recall，R）、F1值、准确率（Accuracy，Acc）、所有类别平均精度（mean average precision，mAP），各指标计算公式如下所示：
$$ \mathrm{P}=\frac{{\rm{TP}}}{{\rm{TP}}+{\rm{FP}}} $$ (3) $$ \mathrm{R}=\frac{{\rm{TP}}}{{\rm{TP}}+{\rm{FN}}} $$ (4) $$ \mathrm{F}1=\frac{2{\rm{P}}*{\rm{R}}}{\text{P + R}} $$ (5) $$ {\rm{Acc}}=\frac{{\rm{TP}}+{\rm{TN}}}{{\rm{TP}}+{\rm{FN}}+{\rm{TN}}+{\rm{FN}}} $$ (6) $$ \mathrm{m}\mathrm{A}\mathrm{P}=\frac{\displaystyle\sum_{i=1}^{N} {\rm{A}}{{\rm{P}}}_{i}}{N} $$ (7) 式（3）～（7）中，
$ i $ 为第$ i $ 个类别，$ N $ 为类别总数。TP为预测结果为正、实际也为正的样本数；FP为预测结果为正、实际为负的样本数；TN为预测结果为负、实际为负的样本数；FN为预测结果为负、实际为正的样本数；AP（average precision）为平均精度，指单类别PR曲线下的面积。3. 实验与分析
3.1 实验环境
本文实验在Ubuntu18.04系统搭建PyTorch框架的模型训练与验证环境，使用型号为NVIDIA GeForce RTX 3090*24G*8的显卡加速，CPU型号为Intel(R) Xeon(R) Silver 4310 CPU@2.10 GHz，采用Python编程语言。
3.2 实验数据集
由于废钢智能识别判级技术在国内外尚属初步探索阶段，并没有公开的废钢图像数据集。实验室模拟废钢回收现场建立了废钢验质物理模型，设计了废钢卸载车厢和废钢图像采集系统，并采购多种类别的废钢用于模拟废钢验质过程。采用海康威视分辨率为1 920像素×1 080像素的视觉传感器采集图像信息，建立了HK_L废钢图片数据集。数据集图像包括废钢厚度小于3 mm、厚度3～6 mm、厚度大于6 mm、镀锌件、油漆件、油污件以及杂质共7种类别。HK_L数据集有278张废钢的图像，标签数为12 592。表1为数据集详细数据，具体各类别标签数量如表2所示。针对数据集中的类别不均衡问题，在模型训练过程中采用了类别权重和图像权重两种方式进行改善。类别权重的设置根据每个类别的统计真实框的个数，取倒数，然后进行规范化（每个值除以类别总和），最后乘以类别数目。这意味着某个类别的真实框越多，对应的权重值越小；该类别的真实框越少，对应的权重值越大。图像权重的设置是按该图片内的所有某个类别的目标乘以相应的类别权重，求和后得到每张图像的权重；权重越大，被采样的几率越大；根据图像的权重选取图片，每次选取和训练集相同的图片数。
表 1 HK_L数据集Table 1 HK_L datasets类型 数量 图片数 278 总标签数 12 592 训练集图片数 250 训练集标签数 11 388 验证集图片数 28 验证集标签数 1 204 表 2 HK_L数据集各类别标签数量Table 2 Number of labels for each category in HK_L datasets类别 标签类别 标签数量 训练标签数量 厚度小于3 mm <3 mm 184 164 厚度3～6 mm 3～6 mm 654 598 厚度大于6 mm >6 mm 9 596 8 668 镀锌件 galvanized 730 663 油污件 greasy dirt 392 359 油漆件 paint 252 233 杂质 inclusion 784 703 3.3 结果与分析
3.3.1 对比实验
为了证明CCBF–Net模型在识别和评级废钢类别时与其他目标检测算法相比的优越性，选取HK_L图像数据集，将CCBF–Net分别与目标检测算法中主流的1阶段模型YOLOv4[28]、YOLOv5s、YOLOv5m、YOLOv7[29]，以及两阶段模型Faster R–CNN[30]进行对比，6种模型的性能指标比较见表3。
表 3 不同网络模型性能指标比较Table 3 Comparison of detection accuracy of different network models模型 mAP/% 网络层数 推理时间/ms Faster R–CNN 64.1 244 44 YOLOv4 68.1 516 26 YOLOv5s 79.2 270 8 YOLOv5m 85.3 369 12 YOLOv7 85.8 415 12 CCBF–Net 89.2 379 12 表3的结果表明，改进的CCBF–Net模型在mAP上具有明显优势。CCBF–Net模型的网络层数低于YOLOv4模型，但mAP远高于YOLOv4，两者相差21.1%。虽然CCBF–Net在主干网络中添加了注意力模块，导致网络层数增加，推理时间比YOLOv5s慢4 ms，但mAP比YOLOv5s提高了10%，比网络层数相近的YOLOv5m提高了3.9%，显著高于两阶段模型Faster R–CNN，mAP也好于最新的一阶段模型YOLOv7。CCBF–Net的mAP均优于5种对比模型，且对单张废钢图像的推理时间仅需12 ms，能够满足废钢分类评级的实时性要求。
3.3.2 消融实验
在消融实验模型训练过程中，采用Adam[31]优化器，使用CIoU Loss[32]作为损失函数，设置的2种图像尺寸分别为640像素×640像素、1 280像素×1 280像素，参数设置见表4。
表 4 训练参数Table 4 Training parameters优化器 损失函数 图像尺寸 训练次数 单批次训练
图像数量Adam CIoU 640像素×640像素
1 280像素×1 280像素200 16 在训练集上分别使用CSP模型、改进模型1（CSP+CBAM）、改进模型2 （CSP+BiFPN）、CCBF–Net模型（CSP+CBAM+BiFPN）4种模型得到的精确率P、召回率R、F1值、mAP，结果见表5。从表5可以看出，本文改进的网络模型CCBF–Net的 mAP 值达到了89.2%。改进模型1在CSP模型中加入CBAM，模型复杂程度与原模型基本一致，加入CBAM注意力机制的改进模型1 在两种图像尺寸下相较于CSP模型分别提高了0.6%和0.2%；这是由于CBAM同时具有空间和通道注意力操作的模块，提高了各个特征在通道和空间上的联系，更有利于提取目标的有效特征。改进模型2将CSP特征融合网络替换为BiFPN，与CSP模型的特征融合网络相比，BiFPN通过残差操作，增强特征的表示能力，并将具有信息比较少的单输入边结点移除，减少计算量，针对融合的各个尺度特征增加不同的权重，调节每个尺度的贡献度，使得特征融合能力更强；在两种图像尺寸下，其mAP比CSP模型分别提高了0.7%和0.5%，计算量只有略微增加，模型复杂度与改进模型1相同。CCBF–Net将CBAM和BiFPN同时加入网络中，其mAP均高于两种改进模型，且与CSP模型相比，在两种图像尺寸下，其mAP分别增加了1.1%和1.6%，同时，模型精确率P、召回率R和F1值也有较大幅度的增加；其原因在于，由CBAM得到更为细化的图像特征之后， BiFPN对多尺度特征添加权重信息，使得重要特征更加突出，减少无关特征的干扰，得到更为丰富和全面的废钢类别特征。
表 5 不同模型的评价指数Table 5 Evaluation index of different models模型 图像尺寸 P/% R/% F1/% mAP/% 模型复杂度 CSP 640像素×640像素 92.3 79.4 86.0 86.1 108.3 GFLOPs 1 280像素×1 280像素 92.5 81.0 85.4 87.6 改进模型1
（CSP+CBAM）640像素×640像素 91.9 80.4 85.6 86.7 108.5 GFLOPs 1 280像素×1 280像素 92.2 83.5 87.4 87.8 改进模型2
（CSP+BiFPN）640像素×640像素 91.6 78.3 84.4 86.8 108.5 GFLOPs 1 280像素×1 280像素 92.4 84.3 88.1 88.1 CCBF–Net 640像素×640像素 90.3 78.5 85.7 87.2 108.7 GFLOPs 1280像素×1 280像素 92.9 84.9 87.3 89.2 由于原图像（尺寸为1920像素×1080像素）调整成尺寸为640像素×640像素的输入图像时会使废钢特征变小，导致模型训练时出现精确率P、回归率R和F1值的波动，影响模型效果，而将输入图像尺寸调整为1280像素×1280像素时则会一定程度的缓解这一问题，且因硬件性能有限，原图像输入模型训练时效果并不好，故图像尺寸为1280像素×1280像素时实验达到最佳效果。
改进前后的各模型及CCBF–Net模型在HK_L数据集上的训练结果曲线如图6和7所示。图6为训练中的损失曲线，横坐标为训练次数，纵坐标是分类损失，其中，图6（a）为和（b）分别为图像尺寸为640像素×640像素和1 280像素×1 280像素的损失曲线。从图6中可以看出，CCBF–Net模型相比于CSP模型，收敛速度更快，分类损失值更小，说明改进后的模型网络的收敛能力更强。图7为训练中的mAP曲线，横坐标为训练次数，纵坐标为mAP值，图7（a）和（b）分别为图像尺寸640像素×640像素和1 280像素×1 280像素的mAP曲线。从图7可以看出，加入CBAM和BiFPN之后的CCBF–Net模型相较于CSP模型的mAP更高，模型训练效果更佳。值得注意的是，在训练过程继续增大训练次数时（图像尺寸为1 280像素×1 280像素条件下），模型的mAP并未得到提高，训练次数达200之后，mAP基本稳定在89%左右，表明模型已经收敛，且出现过拟合现象，故实验过程中的训练次数取值最大为200。
图 6 模型分类损失曲线Fig. 6 Model classification loss curve下载:
全尺寸图片
图 7 模型mAP曲线Fig. 7 Model mAP curve下载:
全尺寸图片
模型训练的混淆矩阵如图8所示。其中，横轴为真实类别；纵轴为预测类别；background FN 表示模型漏检的物体数量，即在背景类别中预测为没有物体、但实际上存在物体的数量；background FP表示模型误检的数量，即将背景或不存在的物体错误地识别为存在物体。从图8可以看出：在误检率方面，相对于所有类别来说，厚度大于6 mm的误检数量较多，原因在于该类别数量占比较高，故占所有类别误检的比例较高；但对于厚度大于6 mm的类别来说，其误检数量比例处在较低的水平；在正确分类方面，由于“小于3 mm”和“油污件”的类别较少，且特征不显著，导致模型训练时对于这两种类别的特征获得较少，其正确分类数量低于其他类别废钢；而另外5种废钢类别（厚度3～6 mm、厚度大于6 mm、镀锌件、油漆件、杂质）的正确分类数量较高，均达到了85%以上，各类别的漏检率和误检率较低，全类别准确率达到了86.8%。
图 8 废钢类别混淆矩阵Fig. 8 Scrap category confusion matrix下载:
全尺寸图片
3.3.3 检测结果分析
本文在验证集上对CCBF–Net模型进行了验证，对7种废钢类别的各评价指标进行分析，验证结果见表6。验证数据集的图片数为28张，标签数为1 352个；验证结果中，废钢单类别精确率P最高为98.8%，回归率R最高为100%，AP最高达到了99.5%，mAP为89.2%。
表 6 各类别验证集的表现情况Table 6 Performance under each category of validation set类别标签 图像数量 标签数量 P/% R/% AP/% <3 mm 28 22 82.0 62.3 71.6 3～6 mm 28 74 92.3 95.9 94.5 >6 mm 28 1 024 87.5 82.2 87.5 galvanized 28 88 88.8 89.7 91.6 paint 28 85 94.6 87.1 91.3 greasy dirt 28 33 85.7 78.8 88.6 inclusion 28 26 98.8 100.0 99.5 图9为使用CCBF–Net模型对废钢识别评级的效果图，其中，识别评级框的信息包含废钢类别标签及废钢种类识别评级检测的置信度。从图9可以看出，各类别废钢检测的置信度较高，且识别准确，对训练标签较少的类别也有较好的识别评级效果。由表6和图9分析可得，模型对废钢7种类别的识别评级具有较高的准确性，且泛化性良好；识别评级效率也较为优秀。废钢回收现场每车废钢需用爪机多次抓取进行卸载，爪机两次抓取卸载废钢的时间间隔为10～20 s，故CCBF–Net在实时性和检测效率上满足实际生产要求。模型对每次抓取后的车厢废钢进行分类评级检测，实行一层一拍，对重复的废钢进行后续的去重操作，实现精确的废钢智能验检。
图 9 CCBF–Net模型废钢识别评级的效果图Fig. 9 Renderings of scrap steel classification and rating using CCBF–Net model下载:
全尺寸图片
通过上述实验结果分析可得，CCBF–Net模型在主干网络加入CBAM能够有效提取废钢的类别特征，在空间和通道上进行注意力操作，提高重要特征的权重，并对特征图进行特征细化，保留重要的特征信息； 对CBAM处理过的细化特征图，BiFPN根据分辨率和特征贡献程度，进行加权特征融合操作，使得底层的高分辨率低信息量的特征可以融合到上层的抽象信息，平衡不同尺度的特征信息。从实验数据来看，加入CBAM和BiFPN的性能优于其他2个改进模型，且优于CSP模型，CCBF–Net模型在废钢各类别上，均达到了最优效果，有效解决传统人工验质方法废钢验质模式的安全性、准确性、公正性问题，有利于摆脱传统钢厂海量废钢采购过程中验质问题的技术困境。
4. 结 论
针对如何实现大批量废钢质量验收过程中的智能分类评级问题进行了研究，采用深度学习中卷积注意力机制和双向特征金字塔网络，提出了一种有效的废钢智能验质模型CCBF–Net。通过分别设计特征提取网络和特征融合网络，将卷积注意力机制有效融入模型，并将特征融合网络更换为双向特征空间金字塔模块，使得本模型在废钢类别特征提取和保留以及多尺度特征融合上有显著优势，提升了网络的整体性能。
实验结果表明，CCBF–Net模型的mAP达到了89.2%，各评价指标均高于未加入卷积注意力机制和双向特征金字塔模块的模型及主流的目标检测模型（YOLOv4、YOLOv5系列、YOLOv7、Faster R–CNN等），且在检测效率方面能够满足实际生产场景下废钢识别判级的实时性要求。
废钢验质模型CCBF–Net与传统人工废钢验质相比，在准确性、安全性和公正性上有着明显优势，模型的表现可达到替代人工验质的效果。后续工作将扩充数据集以增加模型的泛化性和鲁棒性，在废钢回收现场建立智能验质系统，并采集现场回收的废钢图片进行测试和训练，以期实现工业级应用。
-
图 1 CCBF–Net模型网络图
Fig. 1 CCBF–Net model network diagram
下载:
全尺寸图片
图 2 CSP结构图
Fig. 2 CSP structure diagram
下载:
全尺寸图片
图 3 CBAM模块结构图
Fig. 3 CBAM module structure diagram
下载:
全尺寸图片
图 4 CBAM中的通道注意力和空间注意力结构
Fig. 4 Channel attention and spatial attention structure in CBAM
下载:
全尺寸图片
图 5 FPN与BiFPN结构图
Fig. 5 FPN and BiFPN structure diagram
下载:
全尺寸图片
图 6 模型分类损失曲线
Fig. 6 Model classification loss curve
下载:
全尺寸图片
图 7 模型mAP曲线
Fig. 7 Model mAP curve
下载:
全尺寸图片
图 8 废钢类别混淆矩阵
Fig. 8 Scrap category confusion matrix
下载:
全尺寸图片
图 9 CCBF–Net模型废钢识别评级的效果图
Fig. 9 Renderings of scrap steel classification and rating using CCBF–Net model
下载:
全尺寸图片
表 1 HK_L数据集
Table 1 HK_L datasets
类型 数量 图片数 278 总标签数 12 592 训练集图片数 250 训练集标签数 11 388 验证集图片数 28 验证集标签数 1 204 表 2 HK_L数据集各类别标签数量
Table 2 Number of labels for each category in HK_L datasets
类别 标签类别 标签数量 训练标签数量 厚度小于3 mm <3 mm 184 164 厚度3～6 mm 3～6 mm 654 598 厚度大于6 mm >6 mm 9 596 8 668 镀锌件 galvanized 730 663 油污件 greasy dirt 392 359 油漆件 paint 252 233 杂质 inclusion 784 703 表 3 不同网络模型性能指标比较
Table 3 Comparison of detection accuracy of different network models
模型 mAP/% 网络层数 推理时间/ms Faster R–CNN 64.1 244 44 YOLOv4 68.1 516 26 YOLOv5s 79.2 270 8 YOLOv5m 85.3 369 12 YOLOv7 85.8 415 12 CCBF–Net 89.2 379 12 表 4 训练参数
Table 4 Training parameters
优化器 损失函数 图像尺寸 训练次数 单批次训练
图像数量Adam CIoU 640像素×640像素
1 280像素×1 280像素200 16 表 5 不同模型的评价指数
Table 5 Evaluation index of different models
模型 图像尺寸 P/% R/% F1/% mAP/% 模型复杂度 CSP 640像素×640像素 92.3 79.4 86.0 86.1 108.3 GFLOPs 1 280像素×1 280像素 92.5 81.0 85.4 87.6 改进模型1
（CSP+CBAM）640像素×640像素 91.9 80.4 85.6 86.7 108.5 GFLOPs 1 280像素×1 280像素 92.2 83.5 87.4 87.8 改进模型2
（CSP+BiFPN）640像素×640像素 91.6 78.3 84.4 86.8 108.5 GFLOPs 1 280像素×1 280像素 92.4 84.3 88.1 88.1 CCBF–Net 640像素×640像素 90.3 78.5 85.7 87.2 108.7 GFLOPs 1280像素×1 280像素 92.9 84.9 87.3 89.2 表 6 各类别验证集的表现情况
Table 6 Performance under each category of validation set
类别标签 图像数量 标签数量 P/% R/% AP/% <3 mm 28 22 82.0 62.3 71.6 3～6 mm 28 74 92.3 95.9 94.5 >6 mm 28 1 024 87.5 82.2 87.5 galvanized 28 88 88.8 89.7 91.6 paint 28 85 94.6 87.1 91.3 greasy dirt 28 33 85.7 78.8 88.6 inclusion 28 26 98.8 100.0 99.5 -
[1] 吴耀光,肖步庆,朱立光,等.电炉炼钢钢铁原料的现状分析与展望[J].钢铁,2021,56(11):55–62. doi: 10.13228/j.boyuan.issn0449-749x.20210170 Wu Yaoguang,Xiao Buqing,Zhu Liguang,et al.Current situation analysis and prospect of iron and steel raw material for electric arc furnace steelmaking[J].Iron & Steel,2021,56(11):55–62 doi: 10.13228/j.boyuan.issn0449-749x.20210170 [2] 朱荣,吴学涛,魏光升,等.电弧炉炼钢绿色及智能化技术进展[J].钢铁,2019,54(8):9–20. doi: 10.13228/j.boyuan.issn0449-749x.20190188 Zhu Rong,Wu Xuetao,Wei Guangsheng,et al.Development of green and intelligent technologies in electric arc furnace steelmaking processes[J].Iron & Steel,2019,54(8):9–20 doi: 10.13228/j.boyuan.issn0449-749x.20190188 [3] 姜周华,姚聪林,朱红春,等.电弧炉炼钢技术的发展趋势[J].钢铁,2020,55(7):1–12. doi: 10.13228/j.boyuan.issn0449-749x.20190560 Jiang Zhouhua,Yao Conglin,Zhu Hongchun,et al.Technology development trend in electric arc furnace steelmaking[J].Iron & Steel,2020,55(7):1–12 doi: 10.13228/j.boyuan.issn0449-749x.20190560 [4] 上官方钦,郦秀萍,周继程,等.中国废钢资源发展战略研究[J].钢铁,2020,55(6):8–14. doi: 10.13228/j.boyuan.issn0449-749x.20190427 Shangguan Fangqin,Li Xiuping,Zhou Jicheng,et al.Strategic research on development of steel scrap resources in China[J].Iron & Steel,2020,55(6):8–14 doi: 10.13228/j.boyuan.issn0449-749x.20190427 [5] 上官方钦,殷瑞钰,李煜,等.论中国发展全废钢电炉流程的战略意义[J].钢铁,2021,56(8):86–92. doi: 10.13228/j.boyuan.issn0449-749x.20200401 Shangguan Fangqin,Yin Ruiyu,Li Yu,et al.Dissussion on strategic significance of developing full scrap EAF process in China[J].Iron & Steel,2021,56(8):86–92 doi: 10.13228/j.boyuan.issn0449-749x.20200401 [6] Zhu Yongxian,Syndergaard K,Cooper D R.Mapping the annual flow of steel in the United States[J].Environmental Science & Technology,2019,53(19):11260–11268. doi: 10.1021/acs.est.9b01016 [7] Passarini F,Ciacci L,Nuss P,et al.Material flow analysis of aluminium,copper,and iron in the EU-28[M].Luxembourg:Publications Office,2018. [8] Fellner J,Laner D,Warrings R,et al.Potential impacts of the eu circular economy package on the utilization of secondary resources[J].Detritus,2018,2(1):16–23. doi: 10.31025/2611-4135/2018.13666 [9] Omura A,Todorova N,Li B,et al.Steel scrap and equity market in Japan[J].Resources Policy,2016,47:115–124. doi: 10.1016/j.resourpol.2016.01.001 [10] Lin Yuancheng,Yang Honghua,Ma Linwei,et al.Low-carbon development for the iron and steel industry in China and the world:Status quo,future vision,and key actions[J].Sustainability,2021,13(22):12548. doi: 10.3390/su132212548 [11] Yu B,An R,Zhao G.Spatial and temporal disparity of the in-use steel stock for China[J].Resources,Conservation and Recycling,2020,155:104667. doi: 10.1016/j.resconrec.2019.104667 [12] 李国瑞,武雅君,王颖,等.基于注意力的工业物联网设备剩余寿命预测方法[J].工程科学与技术,2022,54(6):67–74. doi: 10.15961/j.jsuese.202100863 Li Guorui,Wu Yajun,Wang Ying,et al.Attention-based remaining useful lifetime prediction method for industrial internet of things[J].Advanced Engineering Sciences,2022,54(6):67–74 doi: 10.15961/j.jsuese.202100863 [13] 徐钢,黎敏,徐金梧.机器学习在深冲钢质量自动判级中的应用[J].工程科学学报,2022,44(6):1062–1071. doi: 10.13374/j.issn2095-9389.2021.05.08.002 Xu Gang,Li Min,Xu Jinwu.Application of machine learning in automatic discrimination of product quality of deep drawn steel[J].Chinese Journal of Engineering,2022,44(6):1062–1071 doi: 10.13374/j.issn2095-9389.2021.05.08.002 [14] 李江昀,杨志方,郑俊锋,等.深度学习技术在钢铁工业中的应用[J].钢铁,2021,56(9):43–49. doi: 10.13228/j.boyuan.issn0449-749x.20210296 Li Jiangyun,Yang Zhifang,Zheng Junfeng,et al.Applications of iron and steel industry with deep learning technologies[J].Iron & Steel,2021,56(9):43–49 doi: 10.13228/j.boyuan.issn0449-749x.20210296 [15] 陈任飞,彭勇,吴剑,等.基于深度学习的水面漂浮物智能检测方法研究[J/OL].工程科学与技术,2022[2022–09–09].https://kns.cnki.net/kcms/detail/51.1773.TB.20220725.0951.010.html Chen Renfei,Peng Yong,Wu Jian,et al.Intelligent detection for floating objects on water surface based on deep learning[J/OL].Advanced Engineering Sciences,2022[2022–09–09]. [16] Bobulski J,Kubanek M.Project of sorting system for plastic garbage in sorting plant based on artificial intelligence[C]//Proceedings of the Computer Science & Information Technology.Dalian:AIRCC Publishing Corporation,2020:27–35. [17] Gupta P K,Shree V,Hiremath L,et al.The use of modern technology in smart waste management and recycling:Artificial intelligence and machine learning[M]//Kumar R,Wiil UK.Recent Advances in Computational Intelligence.Cham:Springer International Publishing,2019:173–188. [18] Jossue D R D,den Eynde Simon V,Wouter S,et al.Simultaneous mass estimation and class classification of scrap metals using deep learning[J].Resources,Conservation & Recycling,2022,181:106272. [19] Penumuru D P,Muthuswamy S,Karumbu P.Identification and classification of materials using machine vision and machine learning in the context of industry 4.0[J].Journal of Intelligent Manufacturing,2020,31(5):1229–1241. doi: 10.1007/s10845-019-01508-6 [20] Vaswani A,Shazeer N,Parmar N,et al.Attention is all You need[EB/OL].(2017–12–06)[2022–09–09].https://arxiv.org/abs/1706.03762 [21] Wang C Y,Mark Liao H Y,Wu Y H,et al.CSPNet:A new backbone that can enhance learning capability of CNN[C]//Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops(CVPRW).Seattle:IEEE,2020:1571–1580. [22] Woo S,Park J,Lee J Y,et al.CBAM:Convolutional block attention module[M]//Ferrari V,Hebert M, Sminchisescu C,et al.Computer Vision–ECCV 2018.Cham:Springer International Publishing,2018:3–19. [23] Tan Mingxing,Pang Ruoming,Le Q V.EfficientDet:scalable and efficient object detection[C]//Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).Seattle:IEEE,2020:10778–10787. [24] Wang Junfan,Chen Yi,Dong Zhekang,et al.Improved YOLOv5 network for real-time multi-scale traffic sign detection[J].Neural Computing and Applications,2022:1–13. doi: 10.1007/s00521-022-08077-5 [25] He Kaiming,Zhang Xiangyu,Ren Shaoqing,et al.Deep residual learning for image recognition[C]//Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Las Vegas:IEEE,2016:770–778. [26] Dettmers T,Minervini P,Stenetorp P,et al.Convolutional 2D knowledge graph embeddings[J].Proceedings of the AAAI Conference on Artificial Intelligence,2018,32(1):1811–1818. doi: 10.1609/aaai.v32i1.11573 [27] Lin T Y,Dollár P,Girshick R,et al.Feature pyramid networks for object detection[C]//Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Honolulu:IEEE,2017:936–944. [28] Bochkovskiy A,Wang C Y,Liao H Y M.YOLOv4:Optimal speed and accuracy of object detection[EB/OL].(2020–04–23)[2022–09–09].https://arxiv.org/abs/2004.10934 [29] Wang C Y,Bochkovskiy A,Liao H Y M.YOLOv7:Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors[EB/OL].(2020–07–26)[2022–09–09].https://arxiv.org/abs/2207.02696 [30] Ren Shaoqing,He Kaiming,Girshick R,et al.Faster R–CNN:Towards real-time object detection with region proposal networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(6):1137–1149. doi: 10.1109/TPAMI.2016.2577031 [31] Kingma D P,Ba J.Adam:A method for stochastic optimization[EB/OL].(2017–01–30)[2022–09–09]https://arxiv.org/abs/1412.6980 [32] Zheng Zhaohui,Wang Ping,Liu Wei,et al.Distance-IoU loss:Faster and better learning for bounding box regression[J].Proceedings of the AAAI Conference on Artificial Intelligence,2020,34(7):12993–13000. doi: 10.1609/aaai.v34i07.6999
