CopyRight 2009-2020 © All Rights Reserved.版权所有: 中国海关未经授权禁止复制或建立镜像
海关旅检“人”“物”准确关联及拦截监督体系研究
作者:王守军 汪新凯 王炜 王月恒 陈树雷 林枫 王晶 李志国
王守军 汪新凯 王炜 王月恒 陈树雷 林枫 王晶 李志国
王守军 1 汪新凯 2 王 炜 3 王月恒 1 陈树雷 2 林 枫 2 王 晶 1 李志国 4
摘 要 本文在分析海关旅客通关流程和信息化建设现状,以及目前海关旅检“人”“物”关联、风险拦截、查验处置等探索和实施情况的基础上,提出了应用卷积神经网络(Convolutional Neural Networks,CNN)建立AI信息链,融合应用态势感知、智能识别、数据融合、风险预警和传输处置等技术,通过深度学习和大数据分析,建立对旅客信息智能关联和风险评估的新方法和思路。同时,设计了完整的“人”“物”关联、布控拦截、查验监督体系并进行了实效验证,有助于实现“人”“物”准确关联及拦截,做到“无感通关、智能监管、无事不扰、无处不在”。
关键词 海关旅检;AI信息链;“人”“物”关联;智能拦截监督;无感通关
Research on the Accurate Association and Interception Supervision System of “Person” and “Item” in Customs Travel Inspection
WANG Shou-Jun1 WANG Xin-Kai2 WANG Wei3 WANG Yue-Heng1
CHEN Shu-Lei2 LIN Feng2 WANG Jing1 LI Zhi-Guo4
Abstract Based on the analysis of the business model and the current status of information technology in customs passenger clearance, as well as the exploration and implementation of the association between “person” and “item” in customs travel inspection, risk interception, inspection and disposal, this article proposes the application of convolutional neural networks (CNN) to establish an AI information chain. This approach integrates technologies such as situational awareness, intelligent recognition, data fusion, risk warning and transmission disposal. Through deep learning and big data analysis, a new method is developed for the intelligent association and risk assessment of passenger information. Additionally, this study have designed a complete system for the association of “person” and “item”, control interception, inspection supervision , and conducted practical verification, which has helped achieved accurate interaction and interception of “person” and “item”, resolved the bottleneck that restricts the development of intelligent travel inspection, and achieved “unconscious clearance, automatic (intelligent) supervision, no disturbance, and ubiquitous monitoring”.
Keywords customs travel inspection; AI information chain; the association between “person” and “item”; intelligent interception supervision; unconscious clearance
基金项目:海关总署科研项目(2024HK197)
第一作者:王守军(1972—),男,汉族,江苏宿迁人,硕士,主要从事海关口岸监管研究工作,E-mail: 41927397@qq.com
1. 中国海关管理干部学院 秦皇岛 066004
2. 连云港海关 连云港 222000
3. 南京海关 南京 210001
4. 北京鑫晟恒远科技有限公司 北京 100080
1. Chinese Academy of Customs Administration, Qinhuangdao 066004
2. Lianyungang Customs, Lianyungang 222000
3. Nanjing Customs, Nanjing 210001
4. Beijing Xinsheng Hengyuan Technology Co., Ltd., Beijing 100080
随着我国对外交流日益频繁,出入境旅客数量日益增长,给旅检通关监管安全、智能化、无形化、无感化提出越来越高的要求。对目标行李物品、旅客能够“识得准、拦得住、查留痕、核有据”一直是海关旅检的重点和难点,探索利用先进信息技术,结合实际应用场景、软硬件协同配合,达到“人”“物”的快速识别关联,实现海关监管“顺势嵌入”“无感通关、智能监管、无事不扰、无处不在”的目标,已成为海关旅检建设的重点研究方向。本文通过梳理旅检通关业务模式及信息化建设现状,构建事实(Fact)、数据(Data)、信息(Information)、知识(Knowledge)、智能(Intelligence)等5个要素组成的AI信息链[1-2],融合态势感知、智能识别、风险联动和数据快速流转处理等技术,构建了“人”“物”关联以及拦截监督体系。该体系以AI智能识别和数据快速流转处理为核心,以物联网为支撑,以软硬件资源快速响应为基础,应用卷积神经网络(Convolutional Neural Networks,CNN)[3]建立AI信息链,破解“人”“物”准确关联、重点旅客(行李)精准拦截、执法过程有效监督等难题,进而实现无感通关的目标。
1 “人”“物”准确关联及拦截监督建设现状
海关坚持按照旅检流程分别对入境托运行李和手提行李探索智能化监管,多个海关对重点和难点的“人”“物”关联技术进行大量有益探索。
1.1 入境托运行李监管
按照要求托运行李须进行先期机检,大体上可分为显性(有明显标志)和隐性(无明显标志)监管。显性监管是对需查验行李通过轧带施加关封锁及射频识别技术(Radio Frequency Identification,RFID)标志的方式,通过人工或RFID标志识别的方式对目标行李直接拦截;隐性监管是对需查验行李与行李托运人进行“人”“物”关联,通过人脸识别拦截行李托运人,实现目标行李拦截。
1.2 入境手提行李监管
主要是将需查验行李与行李携带人进行“人”“物”关联,通过人脸识别拦截行李携带人和目标行李。“人”“物”关联主要通过两种模式实现,即手提行李预检(将手提行李机检与卫生检疫闸机通道融合)和传统旅检模式(将手提行李在边检区域以后、旅客提取托运行李之前机检)。
1.3 拦截监督
目前主要通过以人工为主、设备自动拦截为辅的方式实施拦截。
2 AI信息链技术应用原理
2.1 AI信息链概述
AI技术是人工智能、物联网技术的综合应用[2],是构建海关“人”“物”准确关联拦截监督体系的重要路径。信息链由事实、数据、信息、知识、智能5个要素构成,通过智能识别、学习、分析将上述5个要素融合构建成AI信息链(图1)。
2.2 “人”“物”准确关联拦截监督体系设计原理
采用深度学习和大数据分析技术[4],通过对旅客出行相关信息进行智能关联和风险评估。主要分为数据采集、数据预处理、特征提取、“人”“物”关联、风险评估等部分。
(1)数据采集。通过现场终端设备、海关信息化系统,收集旅客和行李物品的结构化信息。
(2)数据预处理。对收集到的数据进行清洗、格式化等预处理操作,以提高数据质量。
(3)特征提取。利用深度学习技术,从预处理后的数据中提取关键特征,如旅客的人脸、行为特征、轨迹,行李物品的风险特征、外观特征等。
(4)“人”“物”准确关联。通过大数据分析技术,对提取的特征进行关联分析,准确关联“人”“物”,发现潜在的风险点和异常行为。
(5)风险评估。基于关联分析的结果,对旅客进行风险评估,确定其风险等级。
3 “人”“物”准确关联拦截监督体系构建
3.1 “人”“物”准确关联拦截监督体系实现途径与方法
采用卷积神经网络(CNN)的图像识别、物体识别、行为认知、神经风格迁移等构建深度学习模型[5],提取旅客行为和行李物品的特征信息,并运用关联规则挖掘、聚类分析等方法[6],对提取的特征进行关联分析和风险评估,集成深度学习模型和数据挖掘分析模块,实现自动化、智能化的“人”“物”关联和风险拦截(图2)。
图2 “人”“物”关联拦截技术路线图
Fig.2 Technical roadmap of the association and interception between “person” and “item”
3.1.1 通关数据集约化和标准化
整合通关全流程数据,制定数据标准制式、标准接口,实现全流程、多层次数据实时采集模式,同时叠加数据坐标、时间节点等信息,实现不同类型设备设施系统数据的采集和汇聚。
3.1.2 通过“图像识别”和“物体识别”采集特征信息
以精细分类判别图像的特征,通过自助申报、卫生检疫、智能化机检设备、人脸识别摄像机及现场感知设备、智能查验等智能化终端,综合运用人脸识别、智能追踪、电子围网、行李外观识别等技术,由卷积神经网络通过非监督学习[7]自行提取“人”、“物”特征信息。
3.1.3 通过“行为认知”获取行为特征信息
建立沿时间轴变化的人和物3D卷积神经网络,通过视频、智能行为分析等技术,逐帧提取旅客放(取)行李物品特征并输入循环神经网络,获取旅客通关全流程行为特征[8]。即通过对目标行李时间和空间坐标(Tn,An),实现对布控行李的定位和追踪,同步通过手提行李机检设备附近或托运行李转盘上的人脸摄影头和配套智能工控主机,在布控行李被旅客放置或提取时触发算法,获取具有时空坐标属性的“人”“物”关联照片。
(1)手提行李时间和空间坐标获取。旅客正常速度为V,旅客进入放包区时间为t1、空间坐标为a1,出放包区时间为t2、空间坐标为a2,目标行李过机时间为t3、空间坐标为a3,进入提取行李区域时间为t4、空间坐标为a4。
空间和时间坐标之间近似于以V为斜率、空间和时间差比值的线性函数:
(1)
(2)
锁定同时满足[a1, a2]和[t1, t2]区间可识别人脸的“人”“物”关联照片。
托运行李时间和空间坐标获取。目标行李进入行李提取转盘时间为t1,对应空间坐标为a1,到达下一感应点时间为t2,对应空间坐标为a2,目标行李实时时间为Tn、对应空间坐标为An,行李转盘速度为V,得到
(3)
(4)
行李被提取时空坐标为(Tn, An),则锁定同时满足[An-1, An]和[T n-1, Tn] 区间可识别人脸的“人”“物”关联照片。
3.1.4 通过“神经风格迁移”准确实现“人”“物”关联
神经风格迁移[9-10]是卷积神经网络的一项特殊应用,其功能是在给定的两份图像的基础上创作第三份图像。根据已获取的具有时空坐标属性的“人”“物”关联照片,以及AI智能信息链技术自动快速追溯具有同样时空坐标的旅客清晰人脸照片,通过智能化模型对碰时空坐标,输出关联结果,实现“人”“物”准确关联,如图3和图4所示。
图3 手提行李“人”“物”关联示意图
Fig.3 Schematic diagram of the association between “person” and “item” in hand luggage
3.2 网络架构支持
为保证系统数据传输的实时性和稳定性,需构建以万兆光纤为主干、千兆铜缆为接入网的二级行星专网。数据采集、布控指令发布均依托于局域网,避免复杂网络环境对系统产生的不必要影响。
3.3 构建多维度拦截体系
“由物及人”是实施精准拦截的关键,也是海关旅检建设的难点。为实现准确拦截,需构建现场智能终端、自动追踪、拦截闸机等多层次拦截体系,确保“拦得住”。根据“人”“物”关联情况,准确获取需拦截的旅客人脸、行李外观等图片信息,通过固定拦截终端、移动单兵或智能眼镜以及拦截闸机等实施多维度拦截;同时指挥中心通过打框追踪摄像机实时自动追踪被布控旅客,系统通过结构化分析,识别旅客交换行李及进入卫生间等特殊情况,自动推送报警信息,对于存在行李交换且不配合的旅客可借助缉私力量予以处置。
3.4 建立“一人一档”全流程通关档案
因旅检工作的特殊性,其一直以来是执法监管、内部管理和廉政风险防控的重点和难点。通过远程审图、随机派单、开包查验、仓库管理等功能实现全流程通关信息闭环,形成被查验旅客“一人一档”,通关全流程留痕。同时,随机抽取一定比例查验放行的通关档案实施复核复验,有效防范现场执法监管、内部管理和廉政等方面的风险。
4 “人”“物”准确关联拦截监督体系实效验证与应用优势
4.1 实效验证的主要方法
(1)实证研究法。通过AI信息链获取的时间和空间两个变量信息,揭示两个变量之间的相互关联关系。
(2)定量分析法。构建数理模型,通过采集不同的标本信息进行量化分析,研究因标本属性不同而产生的差异性结果。
(3)定性分析法。运用归纳和演绎、分析与综合等方法,揭示人物关联时空规律。
(4)实验法。通过主动变换场景和研究对象来发现“人”“物”关联的因果联系。
4.2 实效验证结果
4.2.1 手提行李“人”“物”准确关联情况
(1)实验测试情况。分别选取实验人员男女各10名,随机携带1—2件行李,各进行50次实验测试。具体实验情况见表1。
根据表1的实验结果,通过“时空坐标”实现手提行李“人”“物”准确关联效率达到99.0%以上,达到设计预期;最大偏差1.0%、最小偏差0.6%,对锁定[a1, a2]和[t1, t2]的区间极值增加或减少1.0%偏离值设置跟踪模型,可取得更佳效果。
(2)落地压力测试情况。在某旅检现场进行了落地压力测试,顺势嵌入传统旅检监管流程,布控拦截响应时间不超过6 s(图5),共计监管测试进境旅客14328人、行李30795件,其中,布控行李1752件,涉及1342名旅客,关联“人”“物”照片1752张,准确率为100.0%,获取对应有效人脸信息1325人,准确率为98.7%。
图5 布控拦截时效示意图
Fig.5 Schematic diagram of control interception effectiveness for a given period of timeliness
4.2.2 托运行李“人”“物”准确关联情况
实验测试数据如表2所示,通过“时空坐标”实现托运行李“人”“物”准确关联有效率达到98.0%以上,达到设计预期;最大偏差1.6%、最小偏差0.6%,对锁定[An-1, An]和[Tn-1, Tn]的区间极值增加或减少2.0%偏离值设置跟踪模型,可取得更佳效果。
对于未自动关联的样本,通过全景视频拼接和三维建模技术,指挥中心实时监测目标行李在行李提取转盘运行情况,并根据系统提示可以通过人为干预实现准确关联,如图6、图7所示。
4.3 应用优势
该系统顺势嵌入传统旅检监管流程,对传统旅检通关现场改造和投入都较小(图8),仅需在关键环节增加少量摄像机、服务器及终端设备即可实现行李物品监管的自动化和智能化,有利于构建“中心+现场”现场管理模式。在现场指挥中心可以全局掌控手提及托运行李布控、拦截情况,合理调配现场人力资源,通过系统及视频监控进行巡视巡查,提高正面监管效率,增强震慑、强化监督,有效避免监管对抗。一方面,通过远程审图布控目标行李,脱离通关第一现场,避免与旅客正面接触,降低现场冲突及舆情风险;另一方面,对目标行李均采用无标识、无感追踪拦截,对旅客实施无形化监管,“无处不在、无事不扰”,有效降低旅客采用破拆封志、交换行李等手段对抗监管风险,加强了海关正面监管,提升了旅客通关体验感。
5 结语
本文提出了一种基于AI信息链技术的海关旅检“人”“物”关联拦截监督体系,通过深度学习和大数据分析技术实现对旅客信息的智能关联、风险评估和精准拦截,能够有效提高旅检查验工作效率、降低误判率、保障国家安全,可应用于水运、陆路及航空等有行李物品监管业务的旅检业务现场。该体系可实现准确的“人”“物”关联、风险拦截以及现场执法监督,将行李物品的监管顺势嵌入通关流程之中,实现行李物品的自动智能监管,缓解了现场关员的工作压力,使整个执法过程有据可查,达到“无感通关”“无事不扰”“无处不在”的目标。随着AI技术的快速发展,该体系将会进一步发挥实际效能,有效融合“人防、物防、技防”,助力海关更好地守护国门安全,也为智能化旅检业务的发展提供了新的探索及应用方向。
参考文献
[1]张瑞军. 基于信息链的智能信息处理关键技术研究[D]. 武汉: 武汉理工大学, 2024.
[2]卓钦越. 图像理解中的卷积神经网络分析[J]. 健康忠告, 2020(9): P.257-257.
[3] 卢宏涛, 张秦川. 深度卷积神经网络在计算机视觉中的应用研究综述[D].上海: 上海交通大学, 2016.
[4] 常亮, 邓小明, 周明全, 等. 图像理解中的卷积神经网络[J]. 自动化学报, 2016, 42(9): 1300-1312.
[5]周飞燕, 金林鹏, 董军. 卷积神经网络研究综述[J]. 计算机学报, 2017, 40(6): 1229-1251.
[6]李鸣, 张鸿. 基于卷积神经网络迭代优化的图像分类算法[J]. 计算机工程与设计, 2017, 38(1): 198-202+214.
[7]牛连强, 陈向震, 张胜男, 等. 深度连续卷积神经网络模型构建与性能分析[J]. 沈阳工业大学学报, 2016, 38(6): 662-666.
[8]王心宇, 马良, 蔡瑞. 基于卷积神经网络的图像识别[J]. 工程技术研究, 2018(4): 101-102.
[9] 卢宏涛, 张秦川. 深度卷积神经网络在计算机视觉中的应用研究综述[J]. 数据采集与处理, 2016, 31(1): 1-17.
[10]邱锡鹏. 神经网络与深度学习[J]. 中文信息学报, 2020, 34(7): 4.
图1 AI信息链示意图
Fig.1 Schematic diagram of AI information chain
图4 托运行李“人”“物”关联示意图
Fig.4 Schematic diagram of the association between “person” and “item” in checked baggage
表1 手提行李“人”“物”准确关联实验测试数据表
Table 1 Experimental data table for accurate association between “person” and “item” in hand luggage
性别 | 落入[a1, a2]区间 | 未落入最大偏离率 (%) | 落入[t1, t2]区间 | 未落入最大偏离率 (%) | 同时落入时空区间 | 准确关联率 (%) | |
男 | 495 | 1.89 | 496 | 1.74 | 495 | 99.00 | |
女 | 497 | 1.92 | 498 | 1.66 | 497 | 99.40 | |
注: 未落入最大偏离率, 是指实际时间和空间坐标偏离最接近区间极值差与最接近区间极值比值. |
图6 目标行李实时追踪示意图
Fig.6 Schematic diagram of real-time tracking of target luggage
图7 目标行李“人”“物”实时关联示意图
Fig.7 Schematic diagram of real-time association between “person” and “item” in target luggage
表2 托运行李“人”“物”准确关联实验测试数据表
Table 2 Experimental data table for accurate association between “person” and “item” in checked baggage
性别 | 落入[An-1, An]区间 | 未落入最大偏离率 (%) | 落入[Tn-1, Tn]区间 | 未落入最大偏离率 (%) | 同时落入时空区间 | 准确关联率 (%) | |
男 | 497 | 1.44 | 498 | 1.53 | 496 | 99.20 | |
女 | 498 | 1.48 | 496 | 1.38 | 492 | 98.40 | |
注: 未落入最大偏离率,是指实际时间和空间坐标偏离最接近区间极值差与最接近区间极值比值. |
图8 某旅检现场改造后场景
Fig.8 Post-renovation scene of the customs clearance site