基于深度学习的特征融合与迁移学习相结合的垃圾分类算法

期刊: 环球科学 DOI: PDF下载

吴迪1,尚晓峰1

(大连理工大学城市学院 管理学院 辽宁大连 116600)

摘要


关键词

垃圾分类;深度学习;特征融合;迁移学习;数据增强

正文


针对城市化进程中日益严峻的垃圾分类问题,本研究提出了一种结合特征融合与迁移学习的深度学习算法。该算法采用轻量化的MobileNetV2网络作为特征提取器,通过特征金字塔网络(FPN)结构增强小目标检测能力,并引入数据增强技术提升模型泛化性。利用迁移学习策略,模型在预训练的华为垃圾图片数据集上进行微调,以适应垃圾分类任务。实验结果表明,该算法在垃圾分类数据集上达到了高准确率,同时保持了良好的实时性,有效提高了垃圾分类的自动化和智能化水平。


0引言

随着城市化进程的加速,生活垃圾处理问题日益凸显,成为全球关注的焦点。垃圾分类作为垃圾处理的首要环节,对于提高资源回收利用率、减少环境污染具有重要意义。然而,传统的人工垃圾分类方法存在效率低、成本高、准确率不高等问题,迫切需要智能化的解决方案。近年来,深度学习技术在图像识别领域取得了革命性的进展,为自动化垃圾分类提供了新的思路[1-2]

在深度学习的帮助下,垃圾分类算法的研究取得了显著进展。徐传运,王敏等提出了一种基于多特征加权融合的算法,通过卷积神经网络(CNN)和支持向量机(SVM)进行图像特征提取和分类,提高了垃圾分类的准确性和效率[3-4]。郑誉煌利用迁移学习的方法,建立了一种在已有数据集基础上进行模型训练和优化的分析平台,进一步提升了分类准确率[5]。此外,文献[5]通过改进的YOLOv5算法,实现了轻量化主干网络和提高模型性能的目标,为垃圾分类提供了一种高效、准确的解决方案。

尽管如此,现有的垃圾分类算法在实际应用中仍面临诸多挑战,如模型泛化能力不足、小目标检测能力弱、实时性差等问题。为了解决这些问题,本文提出了一种基于深度学习的特征融合与迁移学习相结合的垃圾分类算法。该算法通过引入数据增强、多特征融合、注意力机制等技术,进一步提升了模型的准确率和实时性,以期为垃圾分类领域提供更加高效、智能的解决方案。

1算法设计
1.1数据增强

在我们的研究中,首先,我们通过随机旋转图像一定角度来模拟真实世界中物体的不同朝向。除了基本的几何变换,我们还采用了颜色调整方法,以模拟不同光照条件下的场景。我们还添加了高斯噪声,采用了随机裁剪和图像拼接来模拟图像中物体的不同尺寸和上下文。此外,通过随机掩盖图像的一部分,增强了模型对不完整图像的识别能力。最后,我们采用了类内随机图像融合策略,通过融合同类图像来增加数据的多样性。

 

 

 

本文的结构如下:首先,介绍算法的总体设计和数据预处理方法;然后,详细阐述网络架构设计、特征提取、特征融合和迁移学习策略;接着,展示实验设置、评估指标和实验结果;最后,总结本文工作并提出未来的研究方向。通过本文的研究,我们期望能够推动垃圾分类技术的进一步发展,为实现垃圾智能分类提供理论和实践基础[4]

1.2 MobileNetV2FPN整合

在深度学习领域,针对图像识别和分类任务,MobileNetV2和特征金字塔网络(FPN)的结合为解决多尺度目标检测问题提供了一种有效的解决方案。MobileNetV2,一个为移动和嵌入式设备优化的轻量级卷积神经网络,以其倒置残差结构和轻量级设计著称。FPN则通过构建一个多尺度的特征金字塔来增强模型对不同尺寸目标的检测能力。将两者整合,可以充分发挥各自的优势,实现高效且准确的目标检测。

 

整合MobileNetV2FPN的关键在于如何有效地利用MobileNetV2提取的特征图,并将其通过FPN进行多尺度融合。MobileNetV2首先对输入图像进行处理,提取出一系列特征图。这些特征图捕捉了图像中不同层次的视觉信息,从浅层的边缘和纹理到深层的语义信息。

接下来,这些特征图被输入到FPN结构中。FPN通过自顶向下的路径和自底向上的路径,实现不同层次特征图的融合。自顶向下路径通过上采样和融合低层特征图,增强了特征图的语义信息。自底向上路径则保留了特征图的空间细节。这种融合策略使得模型能够同时捕捉到图像中的小物体和大物体。

FPN的基础上,我们进一步引入了特征融合策略。这一策略通过加权融合不同尺度的特征图,进一步提升了特征的表达能力。权重系数可以通过训练过程自动学习得到,以优化特征融合的效果。具体整合步骤如下图。

 

1 MobileNetV2FPN整合

1.3 迁移学习

在深度学习领域,迁移学习作为一种有效的技术手段,允许模型将在一个任务上学习到的知识应用到另一个相关任务上,这在垃圾分类算法中显示出了其重要性。通过利用在大型数据集如华为诺亚方舟实验室发布的垃圾分类数据集(Huawei Garbage Classification Dataset)上预训练的模型,这些模型已经学习了大量的视觉特征和模式,然后将其调整到特定的垃圾分类任务上,可以显著提高模型的分类准确率和训练效率[5]

文献[1]中提出的基于ResNet18模型的迁移学习方法,通过预处理和人工分类的图像数据集,使用ImageNet上预训练的模型,并通过替换最后一层全连接层来适应新的垃圾分类任务。这种方法不仅保持了较高的分类准确率,而且还能够快速适应新的任务。

此外,文献[4]中提到的结合特征融合与迁移学习的垃圾分类算法,通过使用卷积神经网络和支持向量机进行图像特征提取和分类,并在已有数据集基础上进行模型训练和优化,进一步提高了垃圾分类的准确性和效率。

结合这两种方法,我们构建一个强大的垃圾分类系统。利用迁移学习技术,模型可以从预训练模型的权重开始训练,而特征融合技术则可以进一步提取和利用图像中的局部特征、全局特征和上下文特征。这样的系统不仅能够识别图像中的具体对象,还能够理解对象所处的环境和上下文,从而提高分类的准确性[1][4]

1.4 训练和优化

  在深度学习中,训练和优化是构建高效模型的关键步骤。以下的内容,分为训练和优化两个部分。

数据预处理是训练深度学习模型的第一步。我们的数据预处理流程包括:

1. 图像尺寸调整:所有图像被调整为统一的尺寸,以符合网络输入的要求。

2. 归一化:图像数据被归一化到[0, 1]区间,以加快模型收敛。

3. 数据增强:包括随机水平翻转、旋转、裁剪和颜色抖动,增强模型对新视角和条件的适应能力。

我们的模型基于ResNet50,一个在大数据集上预训练的深度残差网络。我们对其进行了修改,以适应垃圾分类任务:

1. 特征提取层:保持ResNet50的前几层不变,以利用其强大的特征提取能力。

2. 特征融合层:添加了一个自定义的特征融合层,它结合了来自不同深度层次的特征图。

3. 分类层:最后一层被替换为新的全连接层,以输出垃圾分类的具体类别。我们采用了迁移学习策略,首先冻结了预训练模型的所有层,只训练分类层。在模型部分收敛后,我们解冻部分中间层,以微调整个网络。

我们使用了带有类别权重的交叉熵损失函数来处理类别不平衡问题,损失函数定义如下:

其中,yii是真实标签,pii是预测概率,wi是为每个类别分配的权重

我们选择了Adam优化器,它结合了RMSPropMomentum的优点,动态调整每个参数的学习率。

我们采用了分段常数衰减策略,初始学习率设置为0.001,在训练过程中根据验证集性能逐步降低。

为了防止过拟合,我们采用了以下正则化技术:

1. Dropou:在全连接层前应用Dropout,丢弃率为0.5

2. Batch Normalization:在卷积层后应用Batch Normalization,以稳定学习过程。

我们通过网格搜索和随机搜索对超参数进行了调整,包括:

1. 学习率:在0.00010.01之间搜索最佳值。

2. 批量大小:尝试了163264的不同批量大小。

3. 权重衰减:尝试了00.01的权重衰减系数。

2 实验结果分析

实验在配备NVIDIA GeForce RTX 3080 GPUIntel Core i9-10900K CPU的计算机上进行。使用Python编程语言,依托于TensorFlow 2.0深度学习框架。数据集为华为垃圾分类数据集,包含40个类别,共14,683张图像。

模型基于ResNet50架构,进行了适当的修改以适应垃圾分类任务。在迁移学习的第一阶段,我们冻结了预训练模型的所有层,仅训练最后几层。在第二阶段,我们解冻了部分中间层进行微调。

训练过程分为两个阶段。在第一阶段,我们使用较大的学习率(0.001)和较小的批量大小(16)进行训练。在第二阶段,我们减小学习率(0.0001)并增大批量大小(32),以细化模型的权重。

我们选择了Adam优化器,因为它能够自适应地调整学习率。损失函数为交叉熵损失,通过类别权重来处理类别不平衡问题。

 

为了评估模型的性能,我们在华为垃圾分类数据集上进行了一系列的实验,并记录了不同训练策略下的准确率。表1展示了基础训练、迁移学习以及迁移学习加特征融合策略的实验结果。

1 准确率对比

训练策略

准确率

基础训练 (仅训练最后几层)

88.56

迁移学习 (冻结预训练层,训练顶层)

90.35

迁移学习+特征融合

93.24

 

2展示了不同损失函数和优化器组合下的模型性能。我们测试了交叉熵损失函数与SGD优化器的组合,以及交叉熵损失函数与Adam优化器的组合,还包括了加权交叉熵损失函数与Adam优化器的组合。

2 损失函数和优化器对比

损失函数/优化器

 准确率 (%)

交叉熵/SGD

89.21

交叉熵/Adam

91.26

加权交叉熵/Adam

94.35

 

3展示了不同特征融合方法对模型性能的影响。我们比较了无融合、早期融合和多级特征融合三种策略。

3 特征融合效果对比

特征融合方法

准确率 (%)

无融合

88.67

早起融合

92.12

多级特征融合

97.36

 

综合以上实验结果,我们可以得出结论,迁移学习结合特征融合的策略在垃圾分类任务上取得了最佳性能。此外,优化器和损失函数的选择也对模型的最终性能有显著影响。通过这些实验,我们不仅验证了模型的有效性,还为未来的研究提供了改进的方向。

3 结论

本研究成功提出了一种结合特征融合与迁移学习的深度学习算法,用于垃圾分类任务。实验结果表明,该算法在华为垃圾分类数据集上达到了97.36%的准确率,验证了其有效性和实用性。

尽管取得了积极成果,但仍有进一步研究和改进的空间比如数据集扩展,模型优化,实时性能,多模态数据融合等。总体而言,本研究为垃圾分类的自动化和智能化提供了有价值的见解,并为未来研究指明了方向。

 

 

参考文献

[1] 王娜,刘傲轩,刘遵儒,等. 基于深度学习的算法模型在垃圾分类中的应用研究[J]. 电脑编程技巧与维护,2024, 1: 112-115.

[2] 贺朝辉,曾鹏程. 基于深度学习的生活垃圾分类[J]. 电脑知识与技术,2022, 18(3): 99-100.

[3] 徐传运,王影,王文敏,等. 面向生活垃圾图像分类的多级特征加权融合算法[J]. 重庆理工大学学报(自然科学)2022, 36(9): 146-155.

[4] 王敏. 多特征加权融合算法的生活垃圾图像分类研究[J]. 河北北方学院学报(自然科学)2023, 39(3): 27-31+36.

[5] 郑誉煌,戴冰燕,熊泽珲,陈钊. 基于迁移学习的可回收生活垃圾图像分类识别研究[J]. 广东第二师范学院学报,2020, 40(3): 94-100.

基金项目:2024年辽宁省大学生创新训练项目(S202413198018

作者介绍:吴迪(2004-),男,本科生,研究方向为垃圾识别。

          尚晓峰(1973-),男,硕士研究生,研究方向为目标检测,垃圾识别。


...


阅读全文