陈华聪 林毅 田健 胡建明 戴俊源 陈文强 陈志华 陈炜

摘 要 本研究提出了一套基于深度学习的图像目标检测以及机械臂抓取技术的自动化核酸采样系统，采用“机械臂+摄像头”的方式对入境物品及其包装进行图像目标检测并进行拭子采样。本研究的目标检测框架以基于YOLOv5框架为蓝本，使用深度可分离卷积以及逐点卷积融合的方式作为新的主干网络，设计了更加轻量级的幻影卷积进行Neck结构中的特征提取，以此来改进检测速度。最后，通过比例-积分-微分（Proportion Integral Differential，PID）来控制机械臂进行对应物体的抓取或涂抹操作，以此保证机械臂在运行过程中的稳定性。在自建数据集上本研究修改后的模型检测指标达到了99.18%，在CPU上使用ONNX框架部署的速度达到了25 FPS，能够满足实时检测的需求。

关键词 物体核酸采样；拭子采样；图片目标检测；深度学习

An Automated Nucleic Acid Sampling System for Entry Items Based on Deep Learning

CHEN Hua-Cong¹ LIN Yi¹ TIAN Jian¹ HU Jian-Ming¹ DAI Jun-Yuan¹ 
CHEN Wen-Qiang^1* CHEN Zhi-Hua² CHEN Wei²

Abstract In this study, an automated nucleic acid sampling system based on deep learning-based image object detection and robotic arm grasping technology was proposed, and the image object detection and swab sampling of entry items and their packaging were carried out by using the method of Robotic Arm plus Camera. Based on the YOLOv5 framework, the object detection framework in this study uses deep separable convolution and point-by-point convolution fusion as a new backbone network, and a more lightweight phantom convolution is designed for feature extraction in the Neck structure, so as to improve the detection speed. Finally, the Proportion Integral Differential (PID) is used to control the robotic arm to grasp or smear the corresponding object, so as to ensure the stability of the robotic arm during operation. On the self-built dataset, the modified model detection index reached 99.18%, and the deployment speed of the ONNX framework on the CPU reached 25 FPS, which can meet the requirements of real-time detection.

Keywords nucleic acid sampling; swab sampling; image object detection; deep learning

基金项目：国家重点研发计划项目（30471225）

第一作者：陈华聪（1987—），男，汉族，福建莆田人，本科，中级工程师，主要从事机器人、嵌入式软件等研究工作，E-mail: chenhc@hantewin.com

通信作者：陈文强（1975—），男，汉族，福建漳州人，博士，副高级工程师，主要从事无人驾驶、人工智能、智能网联汽车技术等研究工作，E-mail: chenwq@hantewin.com

1. 福建汉特云智能科技有限公司 福州 350000

2. 福州海关 福州 350000

1. Fujian Hantewin Intelligent Technology Co., Ltd., Fuzhou 350000

2. Fuzhou Customs District, Fuzhou 350000

中国口岸科学技术

在海关监管中，为了保证货物的安全性，对入境货物进行各类安全检测是一项非常重要的任务，核酸检测是安全检测流程中较为重要的一环。传统的采样方式通常采用人工操作，存在一定局限性。因此，通过自动化物体采样来替代人工采样，未来可能会成为海关监管的重要检测方式之一。自动化的核酸采样系统可以实现对目标物体的快速、准确识别并进行拭子采样，能极大提高采样效率。同时，自动化采样具有高精度、规范程序和标准动作，能减少误判和漏采，同时降低人员与危险品的接触风险，保障采样人员安全，有助于营造良好营商环境和确保国家经贸稳定发展。

本研究旨在探讨海关入境物体的自动化核酸采样方法，设计了一种自动化采样系统。在实验过程中发现，先采用图像目标检测算法进行物体识别和定位，再根据定位结果来控制机械臂抓取物体，有着较高的准确性，以期为入境物体的自动化核酸采样提供理论依据和实践指导。

1 研究现状

传统的物体核酸采样方法主要通过肉眼观察、手触等人工操作方法，而这些方法存在一定局限性。此外，传统方法对于某些特殊类型的物体，如高分子材料、纳米材料等，难以实现准确采样。

为克服传统方法的局限性，近年来出现了许多自动化采样技术。这些技术主要利用先进的传感器、图像处理、机器学习等技术，实现对物体的快速、准确采样。例如，基于X射线衍射技术的物体检测系统^[1]，可以实现对物体的成分和结构进行快速分析；基于图像处理技术的物体检测系统，可以通过对物体的表面形态进行识别和分析，判断其是否含有有害物质。

自动化采样技术虽然在海关入境物体采样中已取得显著进展，但仍面临一些挑战。首先，对于某些特殊类型的入境物体，例如对于传送带输入的物体，待检箱子所停止的位置并不是完全固定，这导致传统的自动化采样方法可能出现机械臂涂抹失败。同时，基于深度学习的方法往往对算力有着较高要求，也提高了自动化采样的成本。

2 物体采样工作概述

入境货物的采样是海关对进出口货物进行的一项重要监管任务，主要目的是确保货物安全，防止病毒或病菌等微生物的传播，筑起国门生物安全屏障。在这个过程中，工作人员需要对待检箱以及物体表面进行拭子采样，以此来判断是否存在有害物质。

人工采样可能存在的风险主要集中在两方面：一是安全问题。由于待检箱可能存在致病微生物，采样人员面临较大的安全风险。为了确保安全，上岗人员需要进行大量的培训，以掌握正确的操作方法和应对措施，在一定程度上增加了培训成本投入。此外，由于人工查验需要直接接触待检箱，采样人员还可能面临物理伤害的风险，如被箱子划伤或被重物砸伤等。二是人工查验效率有待提升。多次涂抹采样和开关箱的操作需要消耗大量精力，而且工作人员需要在规定时间内完成采样工作，这种高度紧张的工作环境容易产生失误，影响采样的准确性和效率。此外，传送带输入的方式也可能导致待检箱在传送过程中受到损坏或污染，进而影响采样效率。

3 应用需求分析与技术创新

3.1 需求分析

为了更好地解决这些问题，一种可以替代人工的自动化物体核酸采样系统将成为当下的主要需求。该系统可以对物体进行核酸采样，并减少人员与危险物品的接触，提高采样人员的安全保障。同时，自动化采样可以提高采样效率和准确性，降低人力成本和时间成本，减少人为因素造成的误判和漏检。此外，自动化采样系统还可以实现24小时不间断工作，提高海关的采样效率和响应速度。

本文设计了一种基于PID机械臂控制和深度学习目标检测的系统，该系统采用摄像头和机械臂的形式对入境物体进行核酸采样，有效减少了人员和危险物体的接触，在整个流程中不需要人工进行待检箱子的采样，只需人工打开箱子即可，这大大降低了人力和物力的成本。具体的机械臂示意图如图1。

图1 自动化采样系统整体示意图

Fig.1 Overall schematic diagram of the automated sampling system

3.2 技术创新

本研究设计的核酸采样系统由协作机械臂、智能夹手、3D视觉及智能相机以及各类自动化设备组成，可实现无人化货物病害检疫。核酸采样机器人对待检箱进行外表面、内表面、内容物模块区分，针对不同模块的物理特点进行采样算法设计，并对采样棉拭子力矩进行监控反馈，确保每项核酸采样动作真实有效。该系统的主要优势如下：

3D视觉检测速度快，精度高。采用yolo为主要框架，具体来说，在自建数据集中划分出3个类别：箱子外表面、箱子内表面以及其他内容物，根据图片目标检测的结果来判断目前所处的步骤。考虑到图片物体检测的实时性，对模型做了精度和速度的优化，具体优化如下：a.将yolo框架中的主干网络部分进行了一定的调整，使用了更加轻量级的深度可分离卷积以及逐点卷积融合的方式代替原有的标准卷积块，可以更加高效地对主干网络的特征进行提取；b.在主干网络的结束部分添加了CBAM^[2-3]注意力模块，CBAM注意力模块通过融合通道注意力和空间注意力，更加适配本文所采用的主干网络的形式^[4]，可以更好地关注到目标中的特征，CBAM注意力框架如图2所示。c.在neck结构中以GhostConv为蓝本^[5-6]，设计了一种更加轻量级的卷积块，称之为GhostMini。相较于常规的GhostConv，GhostMini只是用了1/4的本质特征层，计算量下降到原来的1/2，相较于标准的卷积块，GhostMini的运算量只有原来的近1/4，大大加快了型的部署速度。GhostConv和GhostMini的对比图如图3所示。

图2 CBAM结构图

Fig.2 Structure diagram of CBAM

相较于目前工业中最为常用的YOLOv5模型，本研究改进后的模型运行帧数是YOLOv5的1.7倍，在自建数据集中的mAP指标高出0.7%。

机械臂更符合采样流程。为了满足海关采样需求，设计了专门进行采样的机械臂，示意图如图4所示。

机械臂主要由六轴协作机械臂、智能夹手组成，机械臂臂展、最大采样长度和宽度分别为0.95 m、0.83 m和0.35 m，均能够满足在采样过程中的涂抹需求；同时，机械臂的最大扭矩为200 N，实际扭断力矩为150 N，涂抹力矩约100 N，能够保证在采样完成后扭断相对应的棉拭子，防止后续造成影响。

使用PID控制机械臂更加精准。该机器人在控制过程中采用PID控制^[7-10]，这是一种基于“比例—微分—积分”的控制方法，同时通过对当前状态的三种值的计算来进行运动速度和角度的提供。

机械臂根据图像的目标检测结果以及RGB和depth图的匹配结果来判断物体相对于相机的位置，然后通过手眼标定的结果来进行机械臂的运动控制。

通过PID控制机器人能够最大化防止在抓取或涂抹过程中的抖动现象，这保证了机器人在运动过程中不会出现过多的异常，可以有效地减少人力需求。

4 系统有效性测试

4.1 系统参数

该系统整体尺寸大小为120 cm×120 cm×165 cm，重量约为220 kg，允许的输入电压220 V，50 Hz。其中，系统在工作过程中的臂展最大为950 mm，在采样过程中的最大采样长度为830 mm，最大采样宽度为850 mm。

以上这些数据均能很好地与海关核酸采样中的传送带进行适配。模型的输入图片分辨率为640×640，部署框架为ONNX。

4.2 测试环境

本研究在自建的目标检测数据集中对提出的模型进行测试，其中图片分辨率均为640×480，在输入到模型之前会进行前处理，保证图片分辨率为640×640。评估的指标为mAP以及模型的部署速度FPS。同时，本研究搭建了室内的采样环境，由传送带和待测箱以及内部的物品组成，传送带全长20 m，每组采样箱的间隔为3 m，确保不会错误识别待检箱，查验作业操作流程依据《中华人民共和国海关进出口货物查验操作规程》的相关要求规范进行。

4.3 测试流程

测试过程由外表面、内表面以及内容物的采样组成，三者控制过程基本相同，具体流程如图5所示。

图5 物体的采样流程图

Fig.5 Sampling flow chart of objects

4.4 测试结果

在图像目标检测模型中，本研究改进后模型在自建数据集中的mAP指标为99.18%，高于原版YOLOv5的97.62%，帧数为25 FPS，远高于原版YOLOv5的15 FPS。这是由于模型中改进主干网络特征提取的速度以及使用CBAM来更好地适配主干网络。同时，本研究提出的GhostMini模块让网络在neck结构中的运行时间只有原来的30%。因此，笔者认为可以使用类似于GhostConv的思想来进行简单的特征物体检测。图6为对待检箱进行图像目标检测得到的可视化结果。

在机械臂抓取以及涂抹过程中，扭矩的范围为0～200 N，3D相机的深度精度为2 mm，系统的重复精度小于2 mm，在一轮的采样过程中，共计需要150 s左右，其中外表面采样为75 s，内表面采样为40 s，内容物平均采样时间约为35 s（不同物体存在一定误差）。图7为机械臂控制棉拭子在待检箱上采样的图片。

图6 待检箱子的可视化图片目标检测结果

Fig.6 Visualized image object detection results of the boxes to be inspected

图7 系统在待检箱上采样的图片

Fig.7 Images sampled by the system on the boxes to be inspected

5 结语

本研究提出了一种新的自动化物体采样系统，引入了工业上的图像目标检测的框架并进行了优化，提升了图像目标检测模型的精度和速度。而后，本研究使用目标检测得到的信息控制机械臂进行抓取和运动，极大提升了海关入境物体采样的速度和精度，并且优化了人力结构，在一定程度上节省了成本。笔者认为，为了提高入境物体采样的效率和准确性，降低安全风险和人力成本，需要加强自动化采样系统的研究和应用。通过引入先进的自动化技术，可以实现对物体的快速、准确采样，提高海关工作的效率和安全性，将有助于保障国家安全和经济发展，促进国际贸易顺利进行。同时，希望所提出的方法可以给海关采样方面的相关工作提供一个新的思路和方案。

参考文献

[1]何飞, 王健, 徐金梧, 等. 基于二维X射线衍射技术的铝箔织构在线检测[J].中国有色金属学报, 2018, 28(5): 880-887.

[2]Woo S, Park J, Lee J Y, et al. CBAM: Convolutional block attention module[C]//Proceedings of the European conference on computer vision (ECCV). 2018: 3-19.

[3]杨静, 张灿龙, 李志欣, 等. 集成空间注意力和姿态估计的遮挡行人再辨识[J]. 计算机研究与发展, 2022, 59(7): 1522-1532.

[4]代国威, 樊景超, 闫燊, 等. 一种采用CBAM与八度卷积改进YOLOV5的温室番茄识别与检测方法: 中国， CN202210728904.0[P]. 2024-01-08.

[5]李元,高敏.一种基于GhostNetV2轻量化工业产品零部件缺陷检测法: CN202310689703.9[P]. CN116883319A[2024-01-09].

[6]张倩如, 王云飞, 吕帅朝, 等. 基于改进GhostNet的小麦秸秆表皮结构完整性分类方法[J]. 南京农业大学学报, 2022(4): 788-798.

[7]陆军, 万江霞, 朱齐丹. 模糊PID控制在机械臂控制器中的应用[J]. 控制工程, 2009, 16(S1): 155-157.

[8]郑美茹. 基于模糊控制理论的机械臂PID控制算法优化设计[J]. 工业加热, 2021, 50 (9): 41-44.

[9]宋文龙, 杨鑫, 贾鹤鸣. 采摘机械臂的滑模PID控制[J]. 森林工程, 2013, 29(2): 74-76+134.

[10]马天兵, 宫晗, 杜菲, 等. 基于线结构光和优化PID的压电柔性机械臂振动控制[J].光学精密工程, 2021, 29(11): 2661-2671.

上图为GhostConv原版图片; 下图为本研究提出的GhostMini

图3 GhostConv和GhostMini结构对比示意图

Fig.3 Comparison diagram of GhostConv and GhostMini structures


图4 机械臂示意图

Fig.4 Schematic diagram of the robotic arm