CopyRight 2009-2020 © All Rights Reserved.版权所有: 中国海关未经授权禁止复制或建立镜像
入境高风险货物检疫智能机器人系统设计与应用
作者:陈俊彬 冀红略 解伟欣 刘 冬 吴景武 冯均利 车礼东 钟江宁
陈俊彬 冀红略 解伟欣 刘 冬 吴景武 冯均利 车礼东 钟江宁
基金项目:海关总署科技项目(2022HK083);深圳海关科研项目(2023SZHK002)
第一作者:陈俊彬(1983—),男,汉族,广东陆丰人,本科,高级工程师,主要从事进出口商品检验及鉴定工作,E-mail: 279925873@qq.com
通信作者:刘冬(1984—),男,汉族,河北邯郸人,本科,高级工程师,主要从事进出口商品检验及鉴定工作,E-mail: 71880032@qq.com
1. 深圳海关工业品检测技术中心 深圳 518067
2. 惠州港海关综合技术服务中心 惠州 516000
3. 青岛海关技术中心 青岛 266500
4. 深圳海关 深圳 518000
1. Shenzhen Customs Industry Inspection Technology Center, Shenzhen 518067
2. Huizhou Port Customs Comprehensive Technology Service Center, Huizhou 516000
3. Qingdao Customs Technology Center, Qingdao 266500
4. Shengzhen Customs, Shengzhen 518000
Abstract In response to the wide demand for robots in intelligent quarantine scenarios of inbound goods such as land borders, airports, seaports, and cold chain warehouses, with the application of an intelligent robot system for quarantine of inbound high-risk goods, a mobile operating robot with precise autonomous positioning and navigation, high-precision robotic arm motion control algorithm, and multiple information configuration processing system has been developed. The system adopts multi-sample based deep learning visual positioning and human-computer interaction key technologies to solve the challenges of large quantities and types of high-risk goods entering the country. In addition, it has the functions of robot self-disinfection and supporting sampling consumables disinfection, sampling whole-process information management and 5G cloud services, etc. Having a broad application prospect in dealing with sudden infectious diseases and ensuring the technical reserve of goods clearance, it can promote the industrial development of inspection and quarantine science and technology, and promote the transformation and upgrading of China Smart Customs Initiative.
Keywords ports; high-risk goods; quarantine; intelligent robot; system design; application
2022年11月,聊天机器人——ChatGPT的出现又一次掀起了人工智能热潮,一场“机器人革命”正在对整个经济社会产生重大影响[1]。2023世界机器人大会上发布的《中国机器人技术与产业发展报告(2023)》指出,当前机器人产业进入技术创新密集活跃、产品应用深度拓展的发展机遇期,机器人技术与信息技术、生物技术、材料技术等交叉渗透,人、机、物深度融合。随着“机器人+”应用行动[2]稳步实施,机器人应用领域正加速拓展,在新能源汽车、医疗手术、电力巡检、光伏等领域的广泛应用,有力支撑着行业数字化转型和智能化升级。随着更高水平的对外开放,海关面临的职责更重,维护国门安全的压力更大。“机器人+”、人工智能等新兴技术能助力海关探索新的监管模式,达到降低安全风险、提高查验效能的目标。
目前针对高风险货物的检疫,口岸查验部门主要采用人工的方式进行,投入了大量人力、物力和财力,但仍面临人员职业暴露和货物交叉污染的风险。本文重点介绍在口岸检疫场景下,智能机器人定位与导航、移动操作机械臂控制、视觉定位、机器人组协同配合、消杀灭活技术、全流程数据信息处理等关键技术,研发出了高效安全的入境高风险货物检疫智能机器人系统(以下简称“检疫机器人系统”),其具有降低工作人员职业暴露、避免货物交叉感染等功能。
1 检疫机器人系统平台介绍
根据入境高风险货物检疫操作标准和规范化机器人系统作业的要求,并通过对流程规范的研究,检疫机器人系统平台由移动转运机器人、检疫操作机器人和耗材系统等多单元组成,实现功能互补、自主协同的检疫机器人系统。
该检疫机器人系统采用的工作流程具体如下:在检疫机器人系统平台作业中,卸货区域是从集装箱中取出待采样货物的缓存区域,由区域内搬运工人负责将货物上料至移动转运机器人;移动转运机器人负责将货物转运至采样区域操作台,待检疫机器人执行采样作业;待作业完成后,转运机器人将流转货物转运至卸货区;随后检疫机器人系统将执行消毒工序。
2 移动操作机器人技术研究
2.1 精密自主定位与导航技术
口岸查验现场有移动的人和货物,此场景具有不确定性和复杂多变性。为了使得机器人能够准确执行作业,减少因移动引起的定位误差,需要移动操作机器人具备精密自主定位和导航。机器人的感知系统需要得到精确的环境信息,才能使其更为准确地进行决策与规划。传感器独立检测技术仅仅将多个传感器采集数据简单堆积,因此累积环境信息误差较大,无法满足高精度的工程要求。移动操作机器人采用基于扩展卡尔曼滤波算法,实现多元定位信息融合的最优估计[3]。
多元定位信息融合的最优估计算法由3个卡尔曼滤波器构成:第一个滤波器对加速度计和陀螺仪的信号进行融合,可无漂移估计惯导的姿态(pitch和roll);第二个对惯导和视觉里程计输出的姿态航向进行融合;第三个对惯导和视觉里程计输出的位移信息进行融合。最后,将姿态航向滤波器和位移滤波器的输出作为融合里程计的导航定位结果,如图1所示。
为了避免在移动过程中受到其他移动物体的影响,因此在导航的路径规划中采取基于前向模拟的路径规划算法[4]。模拟机器人利用前向模拟算法,在多组不同速度的速度变化向量的驱动下,获得最优化路径。在得到的路径曲线中,有若干组曲线均能达到预期目标,即得到多组速度向量,因此设计评价函数选取最优化轨迹,从而得到最优化的速度向量。假设评价规则为:在局部导航中,使得机器人避开障碍物,且尽可能快速到达目标[5]。设计评价函数为
G(v,ω) = σ[αheads(xt,yt,θt)+βdist(xt,yt,θt)+γvel(xt,yt,θt)]
(1)
式(1)中,heads(xt,yt,θt)表示当前位置下,模拟轨迹方向与目标方向之间的方位角偏差;dist(xt,yt,θt)为t时刻距离最近障碍物的距离;vel(xt,yt,θt)为当前位置速度大小评价函数;σ为平滑函数;α、β、γ为3项评价函数的权值。
2.2 高精度机械臂运动控制算法
在检疫作业中,如何实现机械臂运动控制的高精度是一项核心任务。智能控制理论的发展,使得利用神经网络技术成为解决最优化问题的一种有效途径[6]。采用EC-RBF学习算法训练RBFNN,提高机械臂建模和轮廓控制的精度。机械臂的基本控制包括机械臂位置控制、力矩控制以及力/位混合控制。对于机械臂的控制系统,神经网络控制器主要是对系统的非线性和不确定性进行补偿。NNC与MRAC相结合的方法,可克服由于机械臂模型未知而引起的控制精度不准确的问题。机械臂神经网络模型自适应控制结构中RBFNNI用来对机械臂系统进行辨识,通过离线学习和在线运行的方法,在网络得到充分训练后便可以代替真实机械臂系统。RBFNNC为系统提供一个控制信号τ,实现系统控制,使跟踪误差在设定的范围内。
2.3 多元信息组态化处理系统
移动操作机器人的工作环境复杂、任务种类繁多,传感信息来源广、信息量大,因此研发一种易部署、高并发、可快速重构的机器人软硬件系统,对于提升机器人在复杂应用场景的动态适应能力和运行稳定性具有重要意义。为了解决集中式信息处理系统的信息流阻塞、资源浪费等问题,引入分布式信息处理系统概念,配合机器人操作系统(ROS)搭建分布式信息处理平台,实现机器人信息处理系统的组态化。
分布式信息处理系统并不仅限于依托计算机群完成计算,也可通过将该系统架构配置于单台计算机,利用线程实例化各个计算节点的方式实现中小规模信息流的分布式计算,并利用全局变量、共享内存等方式实现最终的信息输出及整合。分布式计算系统的服务节点化实现了对冗杂信息处理系统的松耦合。应用分布式信息处理系统架构的复合移动机器人,通过对系统中特定信息处理服务节点的组合和信息流的封装,即可实现对系统中特定功能的集成,进而实现机器人冗杂信息处理系统的组态化,提升了机器人信息处理系统的可移植性。
3 视觉定位及其人机交互技术研究
面对海量的入境高风险货物,如何应用视觉识别的算法精准计算货物的尺寸以及规划机械臂操作路径,也是本系统需要攻克的技术难点。为了解决此问题,本系统在场景重建与视觉识别位姿估计算法方面,利用三维视觉数据进行机械臂周围局部场景重建,恢复机械臂在环境中的位姿;对3D视觉传感器大量冗余信息进行分析提取,完成对机械臂工作空间模型的建立,实现机械臂对周围环境的全感知。这有利于实现机械臂的精准行为决策,进一步求解机械臂逆运动学最优值,实现高精度机械臂轮廓控制。
3.1 机械臂局部场景重建
3D摄像机三维场景重建的一般流程是获取深度图像后计算生成点云数据,对多帧点云数据匹配后进行融合,再对点云数据进行分割计算,最终生成三维场景地图。参照Kinect Fusion系统,三维场景重建工作的主要流程可分为深度图像获取、图像信息预处理、点云计算、点云配准、点云数据融合、点云分割、地图生成等阶段[7]。
为了解决深度图像噪声问题,采用加权最小二乘深度图像滤波算法。在深度图像中,该算法可以在确保图像中多尺度去噪效果的同时保持原始图像的阶跃边缘信息,减少不同深度值之间的模糊。深度相机采集到的原始图像可以表示为:DToF = Di+n。因此,滤波过程可以描述为寻找一个深度图像u来逼近DToF,使得u在与DToF相似的情况下尽可能平滑,可表示为能量函数最小值Emin所对应的解:
(2)
能量函数(2)中,p表示带有噪声的原始图像g中像素点的位置;数据项通过最小化滤波后的函数图像u和原始图像g之间的欧氏距离,来确保滤波后的图像与原图像尽可能逼近[8];通过目标图像u在x,y两个方向上的偏导数来控制不同区域图像的平滑程度;λ是调节滤波图像u的平滑与原始图像g之间相似性的一个平衡系数;最终目标图像的平滑效果由2个平滑权重系数αx(g)和αy(g)所决定。
点云配准的目的是将摄像机在各个位置获取的点云数据转换到同一个坐标系中。在着重分析Kinect Fusion系统中的深度图像匹配算法以及存在的问题后,本系统采用一种基于摄像机姿态运动补偿、带有权重的ICP点云配准,多帧联合估计的摄像机追踪优化算法,以解决移动过程中相机平移速度过快或遇到大面积单一纹理时出现的追踪失败,摄像机追踪过程中帧与帧之间匹配时产生的微小误差随时间累积的问题。
点云分割是根据空间、几何和纹理等特征对点云进行划分,使得同一区域内的点云拥有相似的特征[9]。对三维图像来说,凹凸性是其与生俱来的本质,采用基于凹凸性的点云分割算法,能够很好地提取点云中的不同物体,将复杂的物体分割为不同的简单几何形状,可用简单的参数描述复杂的物体。对于机械臂的操作对象,可采用CPC方法进行点云分割。该方法在点云分割前需要生成EEC(欧几里得边界云),将每一个边抽象为一个点,得到附带凹凸性的物体点云。
3.2 物体识别与位姿估计
在检疫作业中,如何准确地规划作业路线,技术前提是进行物体识别与位姿估计。采用基于显著域BOW(词袋)模型的物体识别方法,选择DoG作为局部极值点提取算子,提取图像中的Shi-Tomasi角点,进一步利用Shi-Tomasi角点标识图像的显著区域,并采用SIFT特征描述物体所在显著区域的DoG兴趣点,最终构建词袋模型并利用分类器完成物体识别任务[10]。
由于检测出的兴趣点是基于整个图像,因此采用Shi-Tomasi角点定位物体,在关键区域提取兴趣点,从而提高特征点的精确度,避免存在干扰。
在得到特征区域后,为能够在大量的特征数据库中进行快速、准确地匹配,采用SIFT算子对该区域进行特征提取,形成图像的形状特征表示。采用K-means聚类算法对显著区域局部特征进行聚类,将所有视觉词汇聚类形成一个词典。在此基础上,根据兴趣点描述向量与视觉词汇之间的Hamming距离进行词汇映射,便可实现物体识别。为了突出特征词,可采用信息检索中的tf-idf加权方法,生成带权值的BOW特征。
3.3 机械臂逆运动学最优值求解
六自由度机械臂一般模型与连杆坐标系建立如图2所示。
根据图2相邻连接杆关节坐标系的7次变换矩阵,可求出机械臂末端坐标系相对于基坐标系的变换矩阵。正运动学公式表示为
(3)
式(3)中为腕部坐标系相对于基坐标系的旋转矩阵,
为腕部坐标系相对于基坐标系的平移矢量。
机械臂运动逆求解问题是已知腕部坐标系相对于基坐标系的期望,求解该位姿6个关键旋转角的值[11]。针对此问题,本系统采用数值分析方法中的牛顿迭代法求逆运动学最优解。已知最终所需腕部坐标系{6}相对于基坐标系{0}的7次变换矩阵
,对于每一轮迭代可得到一个7次变换矩阵
,i为迭代次数
,以及雅克比矩阵J,通过牛顿迭代公式(4),便可得到6自由度机械臂运动逆解的最优值。
(4)
4 机器人及配套采样耗材消毒技术研究
4.1 机器人自消毒
检疫过程中机器人部分组件会与采样货物接触,因此应对接触面进行消毒。本系统采用2种不同方式进行机器人的自消毒,以实现双重安全保障,避免高风险货物之间的交叉感染。
机器人表面喷涂的自消毒功能材料,由复合金属、金属氧化物与高分子化合物杂化形成,以实现高效灭活病毒和细菌,形成阻断病毒的有效环境抗体。其特殊结构纳米材料释放出带正电荷的阳离子接触物体表面,使得病毒蛋白质外壳上含硫蛋白酶失去功能。若无病原体出现,功能材料会处于“待机”状态,使机器人达到自消毒和防护效果。
在机器人与高风险货物接触时,同时采取化学灭活的方式,通过辅助消毒设备,在接触表面喷淋化学试剂,实现二次灭活,降低病毒交叉感染的风险。
4.2 配套采样耗材消毒
按照采样试剂存放规范要求,将装有检测标本的塑料封口袋放入到样品盛放容器内,保持采样管垂直放置。样品盛放容器装入样本生物安全转运箱转运,用75%酒精或含氯消毒液喷洒消毒生物安全转运箱外表面,标本运输容器防水、防破损、防泄漏、耐高(低)温和高压,保证样本低温运送至实验室。
在机器人采样作业结束后,集成消毒设备通过喷淋75%酒精或含氯消毒液等消毒手段,对采样试剂外表面进行消杀,同时对塑封区与采样区进行物理隔离,采取多重保障措施,防止交叉感染,实现作业过程安全可靠。
5 采样全流程信息管理及5G云服务系统研究
在检疫机器人系统中,利用多机器人协同作业的方式,实现高风险货物采样作业流转以及采样数据信息传递;采用多机器人信息处理和决策系统,实现采样作业中机器人统筹管理;利用全流程信息管理和追踪对信息进行绑定,实现数据可追溯性;采用5G云服务系统,实现系统远程化部署和对机器人远程操作。
5.1 多机器人信息处理和决策系统技术
本系统提出一种基于相对截止期和初始优先级的优先级表设计方法,从而确定待执行任务更合理且唯一的实时优先级[12]。通过建立实时优先级数据表,实时更新任务优先级,解决固定优先级下资源占用的问题,提高多机器人系统资源的利用率和队列任务的完成速度。同时,调度算法采用粒子群算法,算法的精确度和求解速度直接影响到多机器人系统的运行时效性与准确性。粒子群算法的收敛速度快、设置参数少等优点可以缩短计算时间,提高运行效率,但是粒子群算法存在算法早熟、局部最优的问题。对粒子群算法的个体极值和随机粒子的最优位置P进行改进,保证粒子在局部最优情况下寻找全局最优的能力。
基于实时优先级数据表和改进粒子群算法的任务协同调度系统,本系统搭建入境高风险货物智能检疫机器人系统平台,实现多机器人协同作业及其配合。
5.2 采样全流程信息管理和追踪
检疫信息传递过程中,产生的数据来源有货物申报数据、开始检测时间、对应检疫样品、检验数据、采样标注区域、采样录制、采样位置等信息,所有采样产生的信息都应被统筹管理,从而在出现风险时,能够及时进行数据的回溯,精准发现风险来源。采用关系型数据库的方式对全流程信息数据进行管理和追踪,同时保障系统的安全性。
5.3 5G云服务系统
5G技术作为全新的通信技术,其特点为高带宽、低时延、高接入。采用5G技术搭建一套云服务系统,实现机器人在5G接入下货物转运和检疫过程,在维护层面同时可以降低维护成本,人员可以通过远程接入的方式,实现对系统的维护。采用的系统网络是将视频监控视频等大带宽信息实时传输至后台监控端。机器人本地部分的算力会通过5G的方式释放一部分至云服务器,对本地的计算力要求降低,实现轻量化的系统需求。
6 口岸推广与应用
目前,检疫机器人系统已应用在陆地边境、机场、海港码头等入境货物检疫场景领域,实现了复杂动态场景中移动机器人的高精度定位与导航;基于场景理解,构建组态化智能机器人信息联通系统,实现了多机器人协同控制与智能调度。为了满足多场景下的检疫需求,结合了紫外线、红外线等多种消毒手段来执行检疫作业,提高检疫工作的执行效率,提升机器人的智能化程度;构建符合使用场景规范要求的机器人采样原理和工作流技术框架,实现人机采样一致性达到99%以上,采样效率不低于人工采样,人机采集样本间微生物种类、数量均无明显差异。实现机器人替代高危人员采样,既能将人从繁重的工作中解脱出来,也保证了工作人员的安全,有效避免交叉感染。该系统符合T/SSITS 503—2022 《工业应用移动机器人 复合移动机器人技术规范》要求,检疫机器人系统单批次采样工作完成后,使用不低于2 种消毒方式,综合消毒有效率达到99%,实现配套采样耗材消毒和自动包装,有效减少人员劳动强度。
7 结语
目前,全球机器人市场规模在不断扩大,机器人在教育陪护、医疗康复、危险环境等领域的应用持续扩展,全球机器人产业正迎来新一轮增长。同时,国内外机器人的应用方向更多的是针对“人”开展,针对“货物”做检疫的研究和应用市场不多。本系统研发的检疫机器人系统,是兼具特殊场景应用和市场价值的新一代机器人平台的产品,在诸多应用领域,尤其在陆地边境、机场、海港码头等场景应对突发传染病和保障货物通关技术储备上具有广阔的应用前景。
参考文献
[1] Haenlein M, Kaplan A. Artificial Intelligence and Robotics: Shaking Up the Business World and Society At Large[J]. Journal of Business Research, 2020, 124(C): 405-407.
[2]刘京运.“机器人+ ”应用行动加快推动高质量发展[J]. 机器人产业, 2023(2): 42-47.
[3]黄鸿. 双目立体视觉与惯导融合里程估计方法[D]. 杭州:浙江大学, 2014.
[4]陆向龙, 吴春笃, 杨官学, 等. 改进A~*和DWA算法的果园喷雾机器人路径规划[J]. 计算机工程与应用, 2023, 59(18): 323-328.
[5]刘茜, 邱官升, 曾召余. 改进A~*算法融合DWA算法的自动驾驶路径规划[J]. 自动化与仪器仪表, 2023(2): 32-36+41.
[6]杨剑锋, 张翠, 张峰. 机械臂轨迹跟踪控制——基于EC-RBF神经网络的机械臂模型参考自适应控制[J]. 计算机工程与应用, 2015, 51(9): 82-86.
[7]朱思雨. 基于三维点云的室内工程施工进度跟踪研究[D]. 武汉: 华中科技大学, 2020.
[8]张建国, 季甜甜, 莘明星, 等. 涂胶缺陷检测中的边缘提取方法[J]. 船舶工程, 2021, 43(2): 128-133.
[9]彭丽君, 陆玲, 舒丽君. 基于PCL库的三维点云区域生长分割[J]. 电脑与信息技术, 2020, 28(3): 17-19.
[10]胡敏, 齐梅, 王晓华, 等. 基于显著区域词袋模型的物体识别方法[J]. 电子测量与仪器学报, 2013, 27(7): 647-652.
[11]张栩曼, 张中哲, 王燕波, 等. 基于空间六自由度机械臂的逆运动学数值解法[J]. 导弹与航天运载技术, 2016(3): 81-84.
[12]梁建刚. AGV系统路径规划与调度算法研究[D]. 北京: 北京邮电大学, 2018.
图1 导航方法图
Fig.1 Diagram of navigation methods
图2 六自由度机械臂一般模型与连杆坐标图
Fig.2 General model and connecting rod coordinate diagram of six-degrees-of-freedom manipulator