崔 锦¹ 陈志强¹ 李元景¹ 魏晓光^2* 张 岱² 李金路¹ 彭 志¹ 吉东旭¹

摘 要 目前，随着新海关业务的深度融合，通关业务量的不断增加，海关监管面临的职责任务更重，监管链条更长，维护国门安全压力更大，监管业务素质要求更高等一系列新挑战。另一方面机器人技术及人工智能技术快速发展，越来越多人工完成的工作可由智能机器人代替。本文基于智能机器人技术，充分结合海关监管人工查验场景及业务现状，提出一套智能辅助查验机器人的解决方案，并详细阐述了该方案中的智能导航、机器视觉及数据挖掘等关键核心技术的应用点。该方案在青岛海关封闭式查验平台得到了实际应用，从查验风险防控方面为海关监管探索了新的智慧查验模式。

关键词 机器人；海关监管；人工查验；智能导航；机器视觉

 Application of Intelligent Robots as an Aid to Customs Manual Inspection

CUI Jin¹  CHEN Zhi-Qiang¹  LI Yuan-Jing¹  WEI Xiao-Guang^2*

ZHANG Dai²  LI Jin-Lu¹  PENG Zhi¹  JI Dong-Xu¹

Abstract At present, with the continuous increase of the workload of the customs clearance and the deepening of the integration of customs operations, customs supervision is faced with heavier responsibilities, longer chains of supervision, greater pressure to maintain national security, and higher demand of competence in customs supervision. Meanwhile, with the rapid development of robotics and artificial intelligence technology, more and more manual tasks can be completed by intelligent robots. Based on intelligent robot technology, this paper proposes a set of solutions of robot-aided customs inspection by combining with the scenarios of customs manual inspection and the current status of customs practices, and elaborates the application of intelligent navigation, machine vision, data mining and other key core technologies in this solution. This solution has been applied in enclosed inspection platform of Qingdao Customs to explore a new intelligent inspection mode for customs supervision in risk prevention and control.

Keywords robot; customs supervision; manual inspection; intelligent navigation; machine vision

1  背景概述

海关作为国家的行政管理机关，对进出口货物、旅客行李和邮递物品、进出境运输工具实施监督管理。随着新海关业务的深度融合，所面临的职责任务更重，监管链条更长，维护国门安全的压力更大，对海关执法关员的政策把握、商品认知等业务素质要求也越来越高。此外，在当前复杂的国际贸易新形势下，口岸营商环境作为国家稳外贸和促发展的关键要素，在优化口岸营商环境和提升跨境贸易便利度方面对我国海关提出了更高的标准和要求。

为着力创新海关建设，强化监管优化服务，打造智慧海关，我国海关加强顶层设计，把科技兴关作为重要思想和行动指南。通过不断进行新技术的探索和应用，将一些标准化的监管工作流程设计嵌入到物流企业运作流程中，在降低企业制度性成本的基础上，提升海关监管的针对性和有效性。通过全链条信息贯通的方式，用数据衔接替代“企业跑路”，简化环节手续，提高作业效率和工作质量，实现“提速降本增效、省时省事省钱”的目的。

2020年年初，全球新型冠状病毒肺炎的蔓延和常态化疫情防控给海关查验带来更高的要求和风险。商务部与海关总署、国家药监局两次联合发布公告^[1]，要求不断加强对出口防疫物资的质量监管。此外海关总署在查验流程上也提出新的举措，允许疫情防控期间，海关货物查验时收发货人在满足条件的情况下可免于到场^[2]。

综合以上海关监管的现状和智慧海关的发展要求，如何为一线关员提供更多智能化的查验作业支持，提高一线关员执法水平，提升通关速度成为当前海关发展的一个重要课题。机器人、人工智能和大数据等技术可作为当前重要科技兴关手段，能够帮助探索海关新的监管模式和查验流程，从而实现全面的改革和创新，达到提高查验效能，防范作业风险和提高布控有效性的目标。

2  智能辅助查验机器人方案简介

机器人技术是一项融合了基本的环境感知与识别、规划与决策、行为与控制等多功能的综合系统，能够在一些受限场景下完成简单繁复的任务。近年来，随着人工智能以及传感技术的高速发展，新兴的智能机器人也应运而生。智能机器人的应用已不再局限于工业生产线和传统的仓储物流等受限场景，逐步在智慧园区、政府机关等各行各业得以应用。本文拟探索一种能够在口岸监管业务流程中，高效辅助一线关员完成进出口货物监管查验，保障关员及其他工作人员作业安全的智能机器人——智能辅助查验机器人，该机器人可减轻人工负担，改善工作条件和提高现场查验效率。

该方案由部署在海关查验场地的智能辅助查验机器人和部署在海关办公室的智能辅助查验机器人运行支撑系统两部分组成。智能辅助查验机器人运行支撑系统可自动与海关业务系统进行信息互联，根据查验任务进行启发式机器人筛选和路径规划，实现对查验场地上的智能辅助查验机器人的最佳合理调度。智能辅助查验机器人在到达查验位后，将逐项完成验箱、验封志、环境安全检查、监装监掏、大数据辅助查验等各项工作。

智能辅助查验机器人的控制系统采用同方威视自主研发的NUCROS控制模块，能够在不同的场地环境下，快速完成机器人自主定位、高精度智能导航、柔性避障、自动回充等能力建设。此外，为了适应查验平台上货物堆放随机的状况，智能辅助查验机器人的运动控制增加了智能脱困设计。

智能辅助查验机器人的辅助查验功能基于机器视觉技术和数据挖掘技术，在查验过程中逐步建立商品信息、查验要点等专家知识库，通过对通关查验商品的智能识别，商品的合规性判别、海量查验数据精准快速定位及风险提示等实现高效监管。通过图像处理等技术，机器人还可实现对监装监卸、执法监督以及场地、人员、物资等的有效管控。

智能辅助查验机器人通过与海关业务系统的互联互通，可完成查验指令的获取，查验过程和结论信息的实时上报，进而成为串联整个海关监管业务的执行者，最终实现多种技术服务于海关的智慧监管全流程。

图1  智能辅助查验机器人

Fig.1  Intelligent inspection robot

3  智能辅助查验机器人核心技术应用

海关人工查验是一个相对复杂和专业的工作过程，机器人要在该业务场景及流程中真正发挥作用，就须对机器人的各项核心技术提出更高要求。在查验现场，机器人不仅要有一双“稳健的双脚”，实现可靠的定位、避障及其行走，还应该有一双“火眼金睛”和一个“超强大脑”，能够对现场的各种图像信息进行识别和分析，为现场关员提供有效的数据支撑。下面结合海关查验现场具体情况，重点阐述导航控制技术、机器视觉技术、数据挖掘技术在智能机器人中的应用和实现方法。

3.1 复杂场景下机器人定位及路径规划、避障技术应用

智能辅助查验机器人所工作的海关货物查验场地，存在货物、人员、叉车共同工作的情形，现场货物堆放不规则、环境状态变化大以及人和车的行迹无法预判等情况。这都将对机器人感知、定位和运动规划带来巨大挑战。如何解决机器人在查验平台上顺利完成“我在哪，我去哪，怎么去？”三大核心问题，是解决智能辅助查验机器人能够在海关监管领域应用的首要问题。

自主定位，是确定机器人在环境中所处位置的过程，是实现移动机器人自动导航能力的先决条件。本文所述的智能辅助查验机器人采用同步定位与地图构建技术(SLAM: Simultaneous Localization And Mapping ^[3] )，在运动过程中通过重复观测到的环境特征实现自身位置和姿态定位，再根据自身位置完成非工作状态监管平台环境地图增量式的构建（见图2a）。智能辅助查验机器人工作时，在已建好的地图上，通过激光雷达数据与已知地图中环境特征（比如：墙角、柱子、边界等）进行搜索、匹配和识别来确定自身位置^[4]。然而在工作状态下，监管平台里货物、叉车等会移动的物体，以及走动的人员，都会使环境特征发生改变，并对激光雷达的数据造成干扰。通过对激光雷达数据的有效滤波以及根据环境状态智能动态调整匹配定位算法，最终实现机器人在复杂动态的监管平台上稳定地、精准地自主定位。

(a)

 (b) 

图2  非工作状态查验平台地图（a）和工作状态查验平台地图（b）

Fig.2  Map of Customs inspection platform in inactive state (a); Map of Customs inspection platform in active state (b)

由于监管平台环境的多变性及光照变化的影响，机器人的环境感知任务相对复杂的多，对实时性要求也比较高。因此，多传感器融合就成为机器人环境感知面临的重大技术任务。利用单一传感器进行环境感知大多都有其难以克服的弱点，但将多传感器有效融合，通过对不同传感器的信息冗余、互补，几乎能使机器人覆盖所有的空间检测，全方位提升机器人的感知能力^[5]。本文所述机器人利用主激光雷达完成对机器人周边360度范围环境无死角监测；超声雷达负责感知玻璃等透光性强的幕墙或物品；多线激光雷达完成了机器人高度范围内全面立体的感知；防跌落传感器有效地检测出台阶和大坡度斜面，防止机器人跌落倾覆；深度相机能够成功识别出环境中的人和叉车以及其相对位置（见图3）。机器人借助多传感器融合技术有效提升了环境感知能力，成功的区分出不同高度堆放的货物以及移动的人和叉车，确保运行中人员，货物，叉车以及机器人自身的安全。

图3  智能辅助查验机器人传感器布局

Fig.3  Sensors layout of intelligent inspection robot

路径规划技术，是保证机器人在监管平台上安全行走、精准到达的最后一个环节，解决了机器人“怎么去”的问题^[6]。路径规划技术是在自主定位和环境感知的基础上实现的。根据对环境信息的掌握程度不同，机器人路径规划可分为全局路径规划和局部路径规划。全局路径规划是在已知的环境地图中，给机器人规划一条最优路径（见图2b）（修改同上），让机器人沿路径行走^[7]。局部路径规划侧重于考虑机器人当前的局部环境信息，依赖多传感器融合技术对动态的实时环境进行探测，尤其是对货物、人员和叉车的识别及定位，让机器人有良好的避障能力，安全稳定的沿全局路径行走到达指定查验位。

3.2 机器视觉技术应用

在海关货检人工查验环节需要对集装箱、封志、商品性状、标签和商标等各类文本进行查验及核对。在当前的监管中，通常采用关员人眼获取现场货物信息，然后再结合自身执法能力进行判别。然而，海关监管的进出口货物，其种类、形状、标签标识、商标备案信息等业务数据量巨大，仅靠人脑很难快速准确地完成判断，故本文所应用的视觉技术是在海关监管中的一个重要应用。通过多维度高清摄像头及机器视觉的方式，实现一种辅助甚至替代人眼观察和判别的技术应用方法。下面以海关查验中封志识别和商品识别为例进行详细算法阐述。

3.2.1 封志识别

在货检查验过程中，封志识别是一项重要的查验流程，目前阶段需海关关员到现场通过人眼识别的方式进行核对。在智能机器人辅助监管中，就可以通过对封志号进行拍照识别的方式来完成查验，封志形态如图4所示，机器人获取查验任务后，可对拍摄封志图片进行识别，并将识别的结果自动和舱单信息比对，实现自动辅助查验的功能。

本文所述的封志识别算法，主要包含封志文本检测及方向识别、封志文本识别、正则化后处理等三部分。本文所采用的封志识别算法的流程图，如图5所示。

图4  封志样例图

Fig.4  Samples of Customs seals

图5  封志号识别算法流程图

Fig.5  Flow chart of Customs seal recognition algorithm

(1)封志文本检测及方向识别。本文采用的文本检测算法是通过在Resnet50中采用可变性卷积进行自下而上的特征提取，在模糊弱特征区域通过卷积偏移参数方式获得有效特征，此外通过把文本区域进行扩展（图6所示），扩展核S_-1与文本核S₀的差集即为弱特征所在区域，通过对本区域的文本特征学习，从而改善神经网络对弱特征的提取能力，进而改善检测的不完整性^[8]。

为了进一步提升文本检测的效果，本文采用Deformable_Resnet50^[9]作为骨干网络更好的提取可变位置的特征，有效的提高边缘的检测能力。在FPN特征融合阶段获得不同尺度的特征图，尺度分别为原始输入图像的每层特征图的通道数均为256，最后再对四层特征图进行通道合并，从而融合获得1024通道的特征图

图6  基于边缘扩张与分割的文本检测算法原理图

Fig.6  Schematic of text detection algorithm based on edge expansion and segmentation

f()其中表示合并函数，Up()表示上采样函数， C_t为合并后的语义特征图， C_t通过Con(3,3)-BN-Relu-Con(1,1)-Up-Sigmoid层获得n张文本检测分割图和1张文本边缘分割图。

(2)封志文本识别。在封志文本识别时，为了能够更加精准快速的对封志文本进行识别，本文首先采用了图像矫正技术对封志文本图像进行初步矫正，其次使用深层神经网络方式对矫正之后的封志图像进行深度特征提取及特征序列编码，最后结合注意力机制对序列特征进行解码进而获取到封志文本信息^[10-13]，整体实现流程如图7所示。

(3)正则化封志号检索。由于封志图像本身可能存在多行文本信息，经上述方式识别后将返回多行文本，而在这些文本信息中，查验关注的仅仅只是封志号信息。因此就需要采取正则化封志号检索的手段，对返回的多行文本进行过滤，最终检索出封志号。如图8所示为海关监管现场常见的具备多行文本的铅封志图像。

（a）

（b）

（c）

图8  常见的多行封志图像

Fig.8  Common multi-line Customs seal images

在正则化封志号检索过程中，首先通过观察现有的封志号数据发现：封志号往往是由纯数字、数字加字母、以及字符“-”的形式组成。因此研究中加入了一些检索规则对文本进行过滤，最终检索出封志号，具体过程如表1所示。

表1  正则化封志号检索过程

Table 1  Regularized Customs seal number retrieval process

(3)封志识别实验结果。本文所述的算法经过1200回合训练，初始学习率为0.001，采用多步训练策略，在[400,700,900,1100]回合时学习率变为0.1倍。训练后的模型在1000张测试集上进行测试，测试结果如表2所述。在输入图像长端尺寸为960，尺度为1/2时获得最优的检测结果，检测速率为11.47fps。如图9所示，可实现对任意方向封志文本的检测，多行文本实现有效的分离，并且文本个体都实现了完整检测，验证了算法的有效性。

表2  文本检测算法结果

Table 2  Text detection algorithm results

图7  封志识别流程图

Pig.7  Flow chart of text recognition for Customs seal

‍‍

‍‍

图9  部分封志文本检测结果

Fig.9  Detection results of partial Customs seal text

表2中，尺度表示分割图为原始输入图像的缩小比例，尺度缩小越多，处理速度越快，但是与此同时会导致检测精度的下降。

（4）封志文本识别结果。在对查验现场的1000张封志图像（共计1499张封志文本图像）进行测试时，采用准确率作为封志文本识别评价的指标。其中准确率，表示所有测试的封志文本的个数，表示封志文本预测标签与真实标签完全相同的个数。由于字符O与数字0、字符l与数字1具有高度相似性，在测试时忽略该类情况下测试结果如表3所示，本文所述的封志文本识别算法准确率在97%以上，完全符合现场实际应用需求。

表3  封志文本识别测试结果

Table 3  Detection results of Customs seal text

3.2.1 商品识别

在查验过程中，对商品的识别判断也是一个重要的监管能力，通过图像识别的技术手段实现对商品的智能识别同样是一项重要的监管辅助手段。智能辅助查验机器人在查验现场对商品进行查验时，首先通过核对商品的类型，并根据类型进行必要的业务核验工作是查验的重要业务支撑。

以水产品为例，水产品种类繁多，且极易混淆。同时水产品中含有大量冻品，形态跟常温下存在较大差异（如图10所示）。因此本文所述商品识别主要是根据现场图片，结合深度学习技术，利用图像识别技术对水产品进行识别，获取商品类型，最终实现辅助业务系统使用的目的。

商品识别的算法流程主要分为目标定位分割算法模块和基于注意力机制的图像分类算法模块^[14] 两个步骤实现，目标定位分割算法主要是基于Mask RCNN算法^[15]，其算法流程如图11所示：

图10  冷冻、冰鲜水产品样例图

Fig.10  Sample images of frozen or chilled aquatic products

图11  商品目标定位与分割算法

Fig.11  Algorithm for product target positioning and segmentation

在分类算法模块部分，采用基于空间注意力机制的基础网络，损失函数采用基于Margin Loss的算法方案，以尽可能增加类间距离^[16]，损失函数如下：

水产品识别结果:水产品识别，本文的测试集共采用500张，共计41类水产品，结果如表4所示。

表4  水产品识别准确率结果

Table 4  Accuracy rate of aquatic product recognition

3.3 数据挖掘技术应用

数据挖掘(Data Mining)是一种信息处理技术，是从大量数据中自动分析并提取知识的技术^[17]。对大数据量、不完全性、不确定性、结构性特征真实数据，通过数据挖掘实现隐藏的、未知的、具有潜在应用价值的信息抽取，发现能被用户理解的知识并提供给用户，为用户提供决策支持。

智能辅助查验机器人借助数据挖掘技术，通过分析海关某类商品历史查验数据中每个环节的数据，从大量数据中寻找其相关的风险规律，主要通过数据准备、规律寻找和规律表示三个步骤最终实现对查验商品的风险提示。数据准备，包括从海关大量历史布控数据和查验数据等相关的数据源中选取所需的数据，并整合成用于数据挖掘的数据集；规律寻找，是用数据挖掘方法将数据集所含的规律找出来；规律表示，是尽可能以用户可理解的方式（如图表、热力图等可视化）将找出的规律表示出来。通过数据挖掘的聚类分析、关联分析、分类分析、异常分析、特异群组分析和演变分析等实现对风险防控的及时提醒。

如图12所示，通过海关信息平台，获取海量的查验风险要素信息。主要包括报关单信息、商品信息、货主信息、航线统计信息等^[18]，以及机器人系统中同种或者类似商品历史查验内容及结果，结合上述机器视觉技术实现当前查验集装箱号、封志号、商品性状、标签和商标等自动识别结果。将这些信息通过数据提取、数据ETL处理（数据清洗、噪声净化等），选择合适的数据挖掘算法（聚类分析、关联分析和深度学习等算法）进行训练和分析，生成查验风险及查验要点模型。通过测试不断优化该模型，生成知识库，用于海关关员查验辅助决策。最后将该模型运用于海关风险布控及查验细化指令中，提高海关查获率。

4  智能辅助查验机器人在海关查验现场应用

目前，智能辅助查验机器人在青岛海关封闭式查验平台进行应用，并取得以下进展：在充分结合海关查验的要求和工作流程下，机器人可实现海关人工查验全流程应用。主要工作流程包括派单接单、初检、监掏、查验、监装、结论提交、离场等环节。其中机器人可自动接受查验任务单，并在初检环节，自动启动工作，移动到落箱查验位，执行初检任务。在监掏监装环节，机器人可运行到监装监掏位，并会自动启动搭载的智能音视频设备进行执法录证工作。监装完成，同时被检集装箱离场后，机器人自动提交录证信息备案并返回充电位。

图12  海关查验数据挖掘应用架构图

Fig.12  The application architecture diagram of Customs inspection data mining

在查验全流程中，机器人系统完成落箱识别、封志识别、环境安全检测、关员信息识别比对、语音提醒等功能，并实现对水产品智能识别，备案商标侵权识别，商品的标签识别及危险品标识识别，为海关监管人工查验场景提供一整套可实际应用的智能辅助查验机器人解决方案。

5  应用展望

当前，海关查验要解决的核心问题就是“查得好、查得快”，充分利用智能机器人的人工智能技术、信息检索及数据传输技术、标准化流程、危险监测等技术，可以更好的提升查验效率，减少人工干预影响，有效防控执法风险，提高人员安全防护。

下一步，智能辅助查验机器人将进一步提升智能化水平，通过大量数据采集，不断丰富知识库，提升智能识别的准确性。进一步提升机器人智能化水平，丰富设备集成度，最终实现机器人完全辅助现场人员工作。

图13  青岛海关查验现场应用

Fig.13  Application in inspection platform of Qingdao Customs

智能辅助查验机器人可以成为海关加强监管，提升查验效率的重要手段。青岛海关利用科技手段转变传统的监管理念，对机器人技术应用于海关货物查验进行了长期有益探索，在提升查验信息化水平，规范监管流程的同时，缩短查验时间，提升查验效率，有效的保障了企业的通关速度，降低了物流成本，取得了显著的社会和经济效益。为机器人辅助人工查验取代传统人工查验模式，并向全国监管领域推广该工作方式打下了坚实的基础。

【该文经社科期刊学术不端文献检测系统（SMLC）检测，总文字复制比为10.2%。】

参考文献

[1]商务部 海关总署 国家市场监 督管理总局公告2020年第12号 关于进一步加强防疫物资出口质量监管的公告。自2020年4月26日起施行。

 [2]海关总署公告2020年第24号（关于新型冠状病毒肺炎疫情期间海关查验货物时收发货人可免于到场的公告）。2020年2月11日。

 [3] G. Dissanayake, H. Durrant-Whyte, and T. Bailey. A computationally efcient solution to the simultaneous localisation and map building (SLAM) problem. In ICRA'2000 Workshop on Mobile Robot Navigation and Mapping, 2000.

 [4] F. Dellaert, D. Fox, W. Burgard, and S. Thrun. Monte carlo localization for mobile robots. In Proc. of the IEEE Int. Conf. on Robotics  Automation (ICRA), 1998.

 [5] D. Hall, J. Llinas: Handbook of Multisensor Data Fusion, 2001.

 [6] Ersson, T., and Hu, X. 2001. Path planning and navigation of mobile robots in unknown environments. In Proceedings of the IEEE International Conference on Intelligent Robots and Systems (IROS).

 [7] S.M. LaValle， Planning algorithm，2006.

 [8] Li X, Wang W, Hou W, et al. Shape robust text detection with progressive scale expansion network[J]. arXiv preprint arXiv:1806.02559, 2018.

 [9] Dai J, Qi H, Xiong Y, et al. Deformable convolutional networks[C]//Proceedings of the IEEE international conference on computer vision. 2017: 764-773.

 [10] Baoguang S , Mingkun Y , Xinggang W , et al. ASTER: An Attentional Scene Text Recognizer with Flexible Rectification[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018:1-1.

 [11] Sutskever I , Vinyals O , Le Q V . Sequence to Sequence Learning with Neural Networks[J]. Advances in neural information processing systems, 2014.

 [12] Bahdanau D , Cho K , Bengio Y . Neural Machine Translation by Jointly Learning to Align and Translate[J]. Computer Science, 2014.

 [13] Chorowski J , Bahdanau D , Serdyuk D , et al. Attention-Based Models for Speech Recognition[J]. Computer Science, 2015, 10(4):429-439.

 [14] Wang F , Jiang M , Qian C , et al. Residual Attention Network for Image Classification[J]. 2017.

 [15] Kaiming H , Georgia G , Piotr D , et al. Mask R-CNN[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018:1-1.

 [16] Deng J, Guo J, Xue N , et al. ArcFace: Additive Angular Margin Loss for Deep Face Recognition[J]. 2018.

 [17] J. Galindo P. Tamayo, Credit Risk Assessment using Statistical and Machine Learning: Basic Methodology and Risk Modeling Applications, Procs, of Computational Economics' 97.

 [18]任尔伟, 牟青杰, 孙学文. 数据挖掘技术在海关查验和价格瞒骗辅助决策中的应用[J]. 上海海关学院学报, 2002(3):58-61.

（文章类别：CPST-A）