深度学习在海关图像识别技术研究中的应用-中国口岸科学技术-2024年增刊

深度学习在海关图像识别技术研究中的应用

作者：吕玉峰张晓龙高文娜杨宇韩晶韩立亮乔彩霞

吕玉峰张晓龙高文娜杨宇韩晶韩立亮乔彩霞

吕玉峰¹ 张晓龙¹ 高文娜¹ 杨宇¹ 韩晶¹ 韩立亮² 乔彩霞^{1 *}

摘要 在全球化背景下，各种潜在的疫病疫情、生物入侵以及野生动植物非法贸易等，对国家生态安全和经济发展构成了严重威胁，因此应用深度学习技术实现对目标物的快速准确识别成为维护国门生物安全的重要手段。本文以卫生检疫、动植物检疫和国门生物安全监测三个领域中深度学习图像识别技术的应用为例，根据项目研究数据显示，采用深度学习技术的图像识别算法模型在对各类有害生物的识别中具有较高的准确率和较强的鲁棒性，为提高海关工作效率和智能化水平、推进智慧海关建设提供了有力的技术支持。

关键词 深度学习；图像识别；卫生检疫；动植物检疫；国门生物安全监测；智慧海关

The Application of Deep Learning in Customs Image Recognition Technology

LYU Yu-Feng¹ ZHANG Xiao-Long¹ GAO Wen-Na¹ YANG Yu¹

HAN Jing¹ HAN Li-Liang² QIAO Cai-Xia^1*

Abstract In the context of globalization, various potential epidemics, biological invasions and illegal trade activities of animals and plants pose serious threats to national ecological security and economic development. The application of deep learning technology to achieve rapid and accurate identification of target objects has become an important means of maintaining national biosafety. This article takes the application of deep learning image recognition technology in the fields of health quarantine, animal and plant quarantine, and national biosafety monitoring as examples. Based on project research data, image recognition algorithm models using deep learning technology have high accuracy and strong robustness in identifying various harmful organisms, providing strong technical support for improving customs work efficiency and intelligence level and promoting the construction of smart customs.

Keywords deep learning; image recognition; health quarantine; animal and plant quarantine; national biosafety monitoring; smart customs

海关处在国内国际双循环的交汇枢纽，担负着守国门、促发展的职责使命。随着经济全球化步伐的加快和对外开放的持续深化，我国进出口货物贸易量和种类不断增加，同时近年来境外疫情疫病频发、各类“异宠”非法贸易和外来物种入侵风险不断加大，给国门生物安全带来严峻挑战。随着智慧海关建设深入推进，通过技术创新来提升查验和监管能力，是实现海关现代化、保障国门生物安全和生态安全的必然要求^[1-3]。

目前，海关科研人员在将图像识别技术应用于查验、鉴定、监测等工作方面取得了一些科研成果，特别是在媒介生物识别、实蝇成虫识别、外来入侵植物识别、杂草种子识别、多肉植物识别和木材识别等多个领域均应用深度学习技术开展了深入的算法研究^[4-10]，识别精度和识别类别逐步提升。

随着深度学习技术在图像识别领域的不断应用，为海关现场查验、有害生物鉴定、国门生物安全监测等工作提供了新的解决方案。相比于传统的图像识别方法，深度学习能够捕捉图像中更加抽象和复杂的特征，提高了识别准确率；较好地应对了复杂场景下的图像识别，提高了鲁棒性；并通过优化算法和结构模型，提高了图像识别的速度和实时性等^[11-12]。本文旨在讨论基于深度学习的图像识别算法的研究以及在海关卫生检疫、动植物检疫等工作中的应用，探讨海关图像识别技术研究面临的挑战，为推进智慧海关建设、提高外来有害生物防控的智能化水平提供技术支撑。

1 深度学习技术应用概述

1.1 基于深度学习的目标物图像识别流程

通过获取海关工作中各类目标物的结构化数据以及图像、声纹、视频等非结构化的多模态数据，运用深度学习进行数据建模，提取图像特征进行分析识别。基于深度学习的海关目标物图像识别流程包括数据采集、图像预处理、图像识别以及结果可视化（图1）等。数据采集是收集各类目标物的图像数据；图像预处理是对采集图像进行如增强、水平垂直旋转等操作，以便更好地提取特征；图像识别是采用已训练的模型，提取图像特征，识别出目标物的种类；结果可视化是将识别结果以图、表等形式直观展示，帮助口岸工作人员及时发现和排查风险。

1.2 目标物图像数据和数据集

依据深度学习数据集的制作规范，结合各类应用场景的具体需求，海关需要采集各类业务应用场景的各类型数据，包括文本等结构化数据和影音、图像等非结构化数据，制作完备数据集。采用图像预处理和人工清洗等方法，去除噪声、修正畸变，剔除不相关或低质图像，确保数据的纯净和质量，通过专业的人工标注和专家审核，制作算法训练数据集，为深度学习模型训练和应用提供数据基础。

以昆虫识别为例，利用LabelImg标注工具对图像中的物种的位置、类别等关键信息进行精确标注，并将这些标注信息保存为VOC标签格式的XML文件。为了在模型训练过程中进行交叉验证和性能评估，确保模型的泛化能力和鲁棒性，该数据集按照80%、10%和10%的比例划分为训练集、验证集和测试集。图2为LabelImg数据标注示例图。

1.3 目标物图像算法实现和训练

依托深度学习和人工智能等前沿技术，针对海关工作中的多个复杂场景进行深入研究，通过结合卷积神经网络（Convolutional Neural Network，CNN）和Transformer等高效模型，研究建立系列算法模型，实现对各业务场景目标物的精确识别。

实验环境方面，各项目试验在Linux或Windows操作系统下进行，确保广泛的兼容性和灵活性。硬件环境方面，配备高性能的CPU和GPU显卡，为深度学习模型的训练和推理提供充足的计算资源。

算法实现方面，各算法基于PyTorch深度学习框架，采用Python编程语言实现神经网络模型的训练、验证和测试。在训练过程中，采用小批量梯度下降算法，设置适当的迭代次数和批次大小，确保模型的训练效率和稳定性。同时，为了充分利用GPU的并行计算能力，加速训练过程，研究者们将模型和数据均加载到GPU上进行训练。

在超参数调整中，权值衰减系数被设定为0.001，初始学习率同样设置为0.001。通过调整权值衰减系数的大小，控制模型在训练过程中对权重的更新幅度，从而防止模型在训练数据上过度拟合。通过调整初始学习率的大小，控制模型在训练过程中的收敛速度和稳定性。

2 深度学习技术应用案例

2.1 卫生检疫

鼠、蚊、蝇、蜚蠊等媒介生物能够携带并传播各种病原体，直接或间接传播疾病，对人类健康构成威胁，是卫生检疫的重点研究对象。

图3是采用边缘检测、Gabor滤波器和颜色直方图对蚊、蝇、鼠、蟑的轮廓、纹理和颜色特征提取的结果，展示了不同生物之间显著的差异。颜色直方图RGB三通道的颜色分布揭示了这些生物在颜色上的独特特征，轮廓检测凸显了它们各自的形态学特征，纹理特征通过Gabor滤波器提取，进一步对局部纹理特征进行提取和识别。这些特征为实现对口岸重点病媒生物的快速准确识别提供有力支持。

2.1.1 鼠类识别

鼠类生态适应力强，能在各种环境中生存，且携带并传播如鼠疫、流行性出血热等多种烈性疾病，是卫生检疫的重点关注对象。

基于深度学习算法可实现对害鼠视频影像数据计算分析，实现害鼠物种的识别鉴定。图4为算法在多种复杂环境下的测试结果，由图可知，无论是干净背景（图4a、图4d）还是存在杂质的背景（图4b、图4c），算法均能准确区分不同种类的害鼠，并精确定位其在图像中的位置。同时，在阳光引起的数据过曝情况下，算法仍表现出强大的识别能力和鲁棒性。经测试统计，实际场景总体识别精度在80%～85%之间，这一精度水平已经能够满足实际应用的需求。

图4 害鼠识别结果图

Fig.4 Identification results of harmful mice

图5为害鼠设备数据的分割结果，图5a和图5c为原图，图5b和图5d分别为图5a和图5c的分割结果图。由图5a和图5b可以看出，算法完美地分割了害鼠的身体和尾巴。由图5c、图5d可知，摄像机存在雾气遮挡，导致害鼠的遮挡部分未被分割，为了进一步提高算法的鲁棒性和准确性，在研究中加入对遮挡等干扰因素的处理机制是智能识别的必要环节。

图5 害鼠原图（a、c）及其分割结果图（b、d）

Fig.5 Original images (a, c) and their segmentation results (b, d) of harmful mice

2.1.2 蜚蠊识别

蜚蠊是一种常见的媒介生物，它们能够携带并传播沙门氏菌、痢疾杆菌等多种病原体，且繁殖能力强，难以根除，对公共卫生构成威胁。

在基于深度学习的蜚蠊识别设备研究中，蜚蠊识别模型能够在复杂的环境下实现精准识别。图6为蜚蠊设备在脏乱和干净背景环境下的识别效果。测试结果显示，在干净背景下，识别准确率较高。由于脏乱背景中的复杂纹理和杂物对识别造成一定干扰，深度学习模型仍能够准确地识别出蜚蠊的种类，但存在漏检问题。整体上深度学习模型识别准确率达到80%～85%，在设备数据蜚蠊识别方面展现出了较好的鲁棒性和适应性，能够应对不同背景环境和蜚蠊分布情况的挑战。

2.1.3 蚊类识别

蚊子是传播疟疾、登革热等多种疾病的主要媒介生物，它们通过叮咬人类或动物来传播病原体，对人类健康构成严重威胁。

在白色和黄色两种不同背景下（图7），基于深度学习的蚊类识别模型的准确率均表现出色。在白色背景下，蚊虫与背景的对比度较高，模型能够更清晰地捕捉到蚊虫的特征，识别的精准度也较高。在黄色背景下，蚊虫与背景的对比度相对较低，经过优化训练的深度学习模型，依然能够准确识别出蚊虫的种类。模型测试精度显示：模型在白色背景下的识别准确率略高，在85%～90%之间，黄色背景的准确率在80%～85%之间。

图7 基于深度学习的蚊类识别测试结果图

Fig.7 Mosquito recognition test results based on deep learning

2.1.4 蝇类识别

蝇类是一类能够传播多种肠道传染病的媒介生物，它们通常通过接触食物、垃圾等污染源来携带病原体，对人类健康构成潜在威胁。

基于深度学习的算法模型在蝇类识别（图8）上展现出较好的性能。在白色背景下，算法因蝇类与背景之间的高对比度而更易于捕获蝇类的关键特征，因此在密集和稀疏蝇群场景中都能保持出色的识别精度。经对比，在黄色背景下，由于蝇类与背景的相似色度可能导致特征模糊，部分家蝇和丝光绿蝇出现误识别，算法的识别准确率略受影响。整体深度学习模型对于不同背景色和蝇群密度的适应性较好，实际应用可靠性较高。

图8 基于深度学习的蝇类识别测试结果图

Fig.8 Test results of fly recognition based on deep learning

2.2 动植物检疫

2.2.1 昆虫识别

基于深度学习的昆虫识别技术面临着类别繁多且特征差异细微的挑战，尤其是在某些特定角度下，部分昆虫的特征差异几乎难以察觉，这大大增加了识别的难度。尽管如此，基于深度学习的算法模型在海量数据训练前提下仍展现出良好的性能，能准确识别绝大部分昆虫种类。在鳞翅目昆虫的识别中，尤其是当它们死亡后翅膀闭合时，识别结果较为混乱，主要因为翅膀闭合状态下特征信息的缺失导致。此外，断翅和残污等特殊情况也会对算法产生一定的干扰，降低识别的准确率。但从整体统计结果来看，昆虫识别算法在实际应用中准确率维持在78%～82%之间，能够展现出较好的识别精度和鲁棒性（图9）。

2.2.2 实蝇识别

实蝇作为一类重要的检疫对象，对果蔬等农作物具有潜在的严重损害威胁。基于深度学习的识别模型测试结果表明，实蝇识别模型在背景干净、图像清晰的理想条件下能够展现出较高的识别准确率（78%～85%）（图10）。在实际应用中，由于实蝇样本存在于复杂多变的背景中，且存在重叠或遮挡，导致算法的识别准确率下降。实蝇识别算法模型中对于种内分类的识别精度表现不佳，种内特征差异较小，在遮挡或复杂环境条件下更为明显，导致误识别概率显著增加。

2.3 无人机植物识别

无人机植物识别是基于无人机采集图像、视频传输至服务器，对其进行裁剪后基于植物分类模型实现对植物的识别并向用户反馈。关员通过无人机获取监测线路沿途的低空遥感数据，采用基于深度学习的无人机植物识别模型对检疫性、外来入侵和常见种进行识别，获取该地区的植物群落结构、数量、不同植物坐标定位、投影面积。图11为该模型的测试结果：在特征明显的植物识别上，模型表现优异，能够准确识别出大部分植物种类。但对于某些具有黑色阴影或图像模糊的植物，模型在识别过程中可能会出现误识别的情况。经过对数据的精度验证，算法模型的准确率在70%～80%之间，基本能够满足日常国门生物安全杂草监测业务场景的使用需求。随着技术应用的推广，数据集的多样化会得到不断补充，深度学习技术也在快速迭代，无人机低空遥感数据识别模型精度也会逐步提升。

图11 基于深度学习的无人机植物识别测试结果图

Fig.11 Test results of UAV plant recognition based on deep learning

2.4 智能计数

在检测、监测工作过程中，有害生物的数量是一个重要的参考指标，利用深度学习技术，构建基于形态学特征的昆虫、杂草分类模型，可实现昆虫和杂草种子的自动鉴定和数量统计。

通过对基于深度学习的昆虫计数算法的测试（图12），由图12a—图12d结果可知，算法在处理昆虫混合场景、单一蝇类、蚊类以及稀疏分布的场景时，整体效果良好，能够准确识别和定位超过95%的昆虫。然而，在面临残肢、污渍和过度密集等干扰因素时，系统会出现一定程度的误识别。特别是在图12e中，当蝇类过于稠密和集中时，由于昆虫之间的相互重叠和遮挡，导致系统出现了大量的漏检，识别精度显著下降。该算法在处理高密度场景时仍存在一定的挑战，未来需要进一步优化算法，提高对复杂场景的识别能力。

3 讨论与展望

本文初步探讨了深度学习在海关图像识别技术研究中的应用，通过构建算法模型和实际测试发现，深度学习算法特别是卷积神经网络（CNN）和Transformer等模型对于提高图像识别的准确性和效率起着重要的作用。尤其是在多种复杂环境，如光线过曝、脏乱背景、重叠和遮挡等条件下，表现出优良性能，能够应用于更加广泛的场景和目标物类别，准确捕捉图像中更加抽象和复杂的特征，精准地识别各类目标物，有效提升海关对外来有害生物查验、鉴定、监测工作的智能化水平。此外，基于深度学习的图像识别模型在口岸进境粮食查验、木材材种鉴定、多肉植物识别、“异宠”检测鉴定以及进出口货物、集装箱、旅客行李现场查验等业务场景中也有初步探索应用。

3.1 深度学习在图像识别应用中面临的问题与挑战

（1）深度学习在图像识别中的应用离不开高质量数据集和准确的标注。构建和标注大规模的数据集是一项需要持续投入人力物力的任务，现有的大部分数据集往往存在规模不足、样本分布不均衡以及标注的不确定性等问题。因此，构建大规模且具有多样性的数据集是一个重大挑战。

（2）在数据样本分布方面，数据集的样本分布不均衡也会对模型的性能产生负面影响。同时，标注的不确定性也是一个重要问题。由于主观因素和标注者的不一致性，标注的准确性往往存在一定的误差。

（3）深度学习模型的鲁棒性和泛化能力也是一个重要挑战。鲁棒性问题涉及模型对于噪声、遮挡、光照变化等干扰因素的处理能力，泛化能力问题涉及模型在未见过的数据上的性能表现。这需要结合数据增强技术、对抗训练、正则化方法和网络结构设计等方面的研究，以实现更稳定、更可靠和泛化性能更强的图像识别模型。

（4）深度学习与传统方法的融合也是需要进一步研究的方向。深度学习优势在于其强大的特征学习能力和自动学习能力，而传统方法则在处理小样本和稀疏数据方面表现出色。两者相融合不仅能够提升图像识别的准确性和鲁棒性，还能够增强模型的可解释性和可控性，为实际应用场景提供更准确、可靠的解决方案。

3.2 深度学习技术未来的发展前景

深度学习在海关图像识别技术研究领域具有巨大的潜力和广阔的应用前景。未来的研究方向可集中在开发少量样本学习的算法、提高模型的透明度和可解释性，以及设计更高效的算法加速技术等。针对计算成本的问题，未来可以探索更加轻量化和高效的深度学习模型，例如，通过模型剪枝、量化等技术，在保证识别准确性的同时降低计算成本。此外，随着硬件技术的进步，将深度学习算法应用于边缘计算和移动设备也是未来一个重要的研究方向。

参考文献

[1]娄宸钦. 深度学习背景下海关动植物检疫风险源智能识别优化研究[J]. 中国海关, 2024(4): 84-86.

[2]杨丽军, 金哲, 管悦彤. 关于中国海关智慧查验能力建设的探究[J]. 中国海关, 2023(10): 90-91.

[3]李艺娟. 加快智慧海关动植检发展, 推进进出境动植物检疫监管数字化[J]. 大数据时代, 2021(10): 22-23.

[4]李震, 邓忠易, 洪添胜, 等. 基于神经网络的实蝇成虫图像识别算法[J]. 农业机械学报, 2017, 48; 129-136.

[5]郭振. 基于机器学习的外来入侵植物叶片图像识别方法[J]. 山西师范大学学报(自然科学版), 2024, 38(1): 23-30.

[6]刘俨娇.基于深度卷积网的多肉植物图像分类技术研究[D]. 大连: 大连交通大学, 2018.

[7]蔡骋, 张明, 朱俊平. 基于压缩感知理论的杂草种子分类识别[J]. 中国科学: 信息科学, 2010, 40 (增刊): 160-172.

[8] Núbia Rosa da Silva,Victor Deklerck, Jan M.Baetens, et al. Improved wood species identification based on multi-view imagery of the three anatomical planes[J]. Plant Methods, 2022, 18(1): 1-17.

[9]梁懿. 基于计算机视觉的檀香紫檀木材识别方法研究[D]. 南宁: 广西大学, 2022.

[10] André R. de Geus, André R. Backes, Alexandre B. ontijo, et al. Amazon wood species classification: a comparison between deep learning and pre-designed features[J]. Wood Science and Technology, 2021, 55: 857-872.

[11]董毅, 汪安祺. 基于深度学习的图像识别技术探讨[J]. 现代工业经济和信息化, 2021, 11(6): 154-155.

[12]闫宇宁, 苏晓伟, 万振龙. 深度学习技术在海关风险甄别中的应用研究[J]. 中国口岸科学技术, 2020(3): 26-32.

基金项目：国家重点研发计划课题（2022YFC2302704）

第一作者：吕玉峰（1978—），男，汉族，山西晋中人，本科，高级农艺师，主要从事智能识别、智能监测相关技术研究，E-mail: lyf98023@163.com

通信作者：乔彩霞（1978—），女，汉族，内蒙古鄂尔多斯人，博士，研究员，主要从事病原生物学领域工作，E-mail: bjhgqcx@163.com

1. 中国海关科学技术研究中心北京 100026

2. 青岛清数科技有限公司青岛 266114

1. Science and Technology Research Center of China Customs, Beijing 100026

2. Qingdao Qingshu Technology Co., LTD., Qingdao 266114

中国口岸科学技术

图1 基于深度学习的图像识别在检疫查验工作中的应用流程图

Fig.1 Application flowchart of deep learning based image recognition in customs quarantine inspection

图2 LabelImg数据标注示例图

Fig.2 LabelImg data annotation example diagram

图3 采用边缘检测、Gabor滤波器和颜色直方图对蚊、蝇、鼠、蜚蠊的轮廓、纹理和颜色特征提取的结果图

Fig.3 Results of extracting contours, textures, and color features of mosquitoes, flies, mice, and cockroaches using edge detection, Gabor filters, and color histograms