CopyRight 2009-2020 © All Rights Reserved.版权所有: 中国海关未经授权禁止复制或建立镜像
基于人工智能与无人机技术的船舶水尺智能识读应用与探讨
作者:刘鑫 常亮 张晓龙 王艺凯 崔云飞
刘鑫 常亮 张晓龙 王艺凯 崔云飞
世界贸易组织(WTO)和世界海关组织(WCO)联合发布的《WTO/WCO 2022年海关颠覆性技术报告》将大数据、数据分析、人工智能、机器学习技术定为海关当前应用的第三大颠覆性技术,将无人机技术定为海关当前应用的第五大颠覆性技术[1]。
当前,智慧海关建设和“智关强国”行动正在扎实高效开展。进出口商品检验应当根据保护人类健康和安全、保护动物或者植物的生命和健康、保护环境、防止欺诈行为、维护国家安全的原则,由国家商检部门制定、调整必须实施检验的进出口商品目录(以下简称目录)并公布实施[2]。海关商品检验是海关依据法律法规对进出口商品的安全、卫生、环保、健康以及防止欺诈等项目进行检验鉴定的行政执法行为,是海关的法定职责。重量欺诈是防止欺诈领域中的一项重要内容。防止进出口商品(本文以水尺计重方式明确重量的干散货为例)在重量方面的欺诈,目的是为维护国内收货人利益,为税款计征、打击走私提供强有力支撑保障。机制顺畅、边界清晰、责任明确、智能智慧的商检业务智慧治理体系正在加紧全面构建。
1 干散货的水尺计重应用
散货进出口贸易主要依靠海运完成。伴随着我国对外贸易的持续大幅度增长,大宗散货的运输量呈现出爆发性增长,特别是铁矿石、煤炭、谷物类大宗干散货。干散货船载货量的计算直接成为货物交接计算、处理索赔、运费计算、税费测定的重要参考数据,直接关乎承运人、发货人和收货人的切身利益。因此,对于船舶载货量测定的数据应更加准确。随着贸易量的增加,对船舶载货量测定速度也有了新的要求,高速且精准的测量数据可以有效地缓解港口的压力。对于干散船载货量的测定,一般沿用观测船舶六面水尺的传统方法[3]。
散货分为大宗散货和集装箱散货两种,其中,大宗散货又分为液体散货和干散货。一般的港口散货是指大宗的干散货,干散货主要包括煤炭及制品、金属矿石、水泥等约十大类。2022年,我国规模以上港口货物吞吐量为148.37亿t(含沿海运输),其中干散货吞吐量为90.34亿t(含沿海运输),占比60.89%[4]。2023年,国际干散货市场运输需求预计达到53.28亿t[5]。无论是国际贸易还是国内贸易,干散货贸易参与方在综合考虑公正性、准确性、经济性、便利性前提下,一般选择水尺计重方式确定货物重量并将水尺计重结果作为交割和结算的依据。进出境监督机关通常采信干散货的水尺计重结果,同时为重量鉴定、税款征收、打击走私提供重要支撑保障。基于水尺计重简单便捷、用时短、费用低、精度较高,贸易有关方可以互相制约以及公开公正的特点,这项重量鉴定技术的生命力极强,不仅在过去数十年时间广泛应用于贸易活动,在未来相当长时期内也将继续得到广泛应用,在人工智能和无人机技术的加持下,这项古老、传统的计重方式生命力将更加旺盛。
2 水尺计重工作的有关特点
2.1 水尺计重工作的要点
船舶图表的制作、计算公式、六面水尺的识读、压载水的计量、水密度测定等。
2.2 水尺计重工作的难点
风平浪静场景下的六面水尺识读技术门槛较低,容易掌握,但不是典型业务场景。由于较多数港口没有防波设施或者防波设施不完善,识读水尺时,水尺吃水处的浪高不仅超出了检验检疫行业标准的50 cm,甚至超过150 cm,给水尺识读带来很大困难。
2.3 水尺计重工作的痛点
主要是工作人员人身安全难以保障,风险较高。船舶靠海一侧的三面水尺的识读主要有3种办法:一是人工攀爬软梯下降到接近水面位置,目视水尺刻度人工识读后继续攀爬返回甲板;二是乘坐交通艇绕船观测;三是借助辅助工具,例如爬壁机器人、伸缩杆、无人机(无人航空器、艇)等。在辅助工具没有推广应用时,须人工攀爬软梯或乘坐交通艇,曾发生过工作人员因公致伤、致残等事故。
2.4 水尺计重工作的风险点
截至目前,水尺识读主要由识读人员主观确定,暂无相关的依据和规范,识读办法和技巧长期以来依靠师徒口口相传且执法尺度难以统一,公正性和廉洁性主要依靠从业人员职业自律,存在一定程度的随意性且现场难以留痕。特别是对于多港分卸的船舶,水尺识读标准不一,不利于中国海关、第三方检验机构的公正性和权威性。
船舶水尺的勘划依照相应的规范,最小刻度为10 cm,识读精度要求达到1 cm,需要估读。即使是浪高在50 cm(行业标准允许的最大浪高)以内的水尺场景,由若干名专业人员识读,不同人员得到的也结果不同,甚至差异较大。以常见的海岬型干散货船为例,每厘米吃水吨数(船舶的平均吃水每增加或减少一厘米所能增加或减少的载重吨数,在船舶静水力曲线图或载重表尺中都有不同吃水情况下的每厘米吃水吨数资料)达数十吨甚至超过100 t。浪高超过50 cm时,按检验检疫行业标准须暂停水尺计重作业,继续作业时将使得计重工作质量降低,甚至发生质量事故,暂停作业将因装卸货时间滞后产生巨大的经济损失。此外,因此风险点产生的廉洁从业风险同样值得关注。某种程度上可以理解为水尺的识读和经济利益是直接和高度相关联的,在较大风浪下,人工识读水尺的平均吃水可能产生5 cm以上误差(保守估算),以常见的每厘米吃水吨数120 t为例,最大可能产生600 t的计量误差。
3 人工智能与无人机技术在水尺计重领域的应用情况
传统的水尺计重方法不仅成本高、耗时长,而且难以保障作业人员安全。众多专家学者针对如何测量水尺值的问题进行了广泛的探索和研究[6]。
3.1 采集和传输影像
采集和传输水尺影像是水尺识读的前序工作。互联网公开信息显示:2015年,嵊泗海关(原嵊泗检验检疫局)将无人机技术应用于水尺计重工作;2016年,大窑湾海关(原大连检验检疫局)、太仓海关(原太仓检验检疫局)将无人机技术应用于水尺计重工作;太仓海关(原太仓检验检疫局)于2017年初成功试飞水上无人机;2017年,连云港海关(原连云港检验检疫局)智能水尺观测船投入使用。
3.2 识读水尺
水尺影像采集和传输后,由人工或计算机系统进行识读。如同率先在水尺计重领域应用无人机技术一样,中国海关再次率先在水尺计重领域应用人工智能技术,实现了世界海关范围内两大颠覆性技术的融合应用。2017年,太仓海关(原太仓检验检疫局)成功研发了智能水尺计重系统(被原质检总局列为2017年重点推进项目),无人机在水尺鉴定领域的应用再次取得突破性进展。2018年,嵊泗海关与浙江大学联合创新研发了“基于无人机的船舶水尺读数智能识别系统”,将视频实时处理技术融合到水尺鉴重业务中,实现了船舶水尺判读的快速化、精确化、智能化。随后,部分海港口岸海关、第三方检验机构开始人工智能技术在船舶水尺识读领域的探索和应用。
3.3 世界海关视角下的人工智能与无人机应用
2023年1月,《海关编译参考》介绍了世界海关执法中的无人机技术应用,重点是美国海关使用无人机开展数字取证、阿联酋海关使用无人机打击毒品走私、中国海关使用无人机推进水尺计重信息化改革进一步服务港口发展的有关情况[7]。
2016年至2022年的7年时间里,中国海关有关单位、第三方检验机构理论联系实践,在计算机系统智能识读船舶水尺领域开展了长期、持续的研究与探索,为人工智能与无人机技术深度融合应用付出了大量的时间和精力,智能识读水尺技术率先在中国从“概念车”到“量产车”、从探索应用到真正落地形成战斗力的距离已经越来越近。
4 人工智能识读船舶水尺难度大的原因分析
2016年至2019年,是人工智能识读船舶水尺的探索初期,主要是使用传统的计算机视觉、机器学习技术,识读的对象一般是崭新的船舶、低透明度的海水、清晰规范的水尺标记,干扰识别的因素较少,系统难以具备自主学习、自动迭代升级的功能,适用范围有一定限制。该时期的探索应用是人工智能技术识读水尺从无到有的标志,具有重要意义。2019年,《浙江日报》的有关报道中援引专业技术人员的介绍“因海上的风浪等因素会影响无人机的数据读取,所以实现无人机数据采集的精准并不容易,因此这项技术的含金量不低”[8]。
经过4年的研究探索和实践检验发现,人工智能技术应用于船舶水尺识读难度很大,研发费用高昂,技术瓶颈较难突破,识读的对象受限于部分场景(图1),难以大范围落地应用。
图1 早期人工智能技术识读船舶吃水值的主要应用场景
Fig.1 Main application scenarios of early artificial intelligence technology in draft read
4.1 业务场景方面的困难
崭新且干净的“理想”船体很少(图1),在真实的业务场景中,大多数船舶存在如下特点:一是船体和水尺刻度不同程度的划痕、生锈、海洋生物附着(图2);二是水尺刻度存在不同程度损坏、模糊、褪色(图3);三是不少港口的海水透明度较高,较为清澈,人工识读尚难以找到水线(图4);四是水尺刻度勘划不规范(图5);五是水尺刻度随着船体曲面发生形变(图6);六是海水镜面反射的场景(图7);七是浪花干扰视线的场景(图8)。上述特点对水尺识读造成了明显干扰,在其影响下,计算机系统识读船舶水尺的难度显著增大。
图2 船体划痕、生锈、附着物
Fig.2 Scratches, rusting, attachments
图3 水尺刻度损坏、模糊、褪色
Fig.3 Draft mark damage, blurring, fading
图4 海水透明度高
Fig.4 High seawater transparency
图5 水尺刻度勘划不规范
Fig.5 Irregular draft marking
图6 水尺刻度的不规则形变
Fig.6 Irregular deformations in draft markings
图7 镜面反射
Fig.7 Specular reflection
图8 浪花干扰
Fig.8 Disturbance of sprays
4.2 人工智能技术与研发经费方面及认知方面的困难
智能水尺识读的进一步研究离不开深度学习、卷积神经网络技术。当前,上述技术的鲁棒性不高、可解释性不强,掌握并熟练运用上述技术的开发单位较少,智能水尺识读领域区别于人脸识别、自动驾驶等热门领域,需专门开发且费用高昂。以近年来某智能水尺服务招标项目为例,包含智能水尺识读技术的周期性服务费用接近1000万元,一定程度上反映出该技术的研发费用、应用门槛较高。
在实验探索和研究中,在船舶条件理想、海水透明度低且易分辨、刻度清晰规范,计算机系统识读的结果仍然不够准确和稳定。一万个水尺刻度就是一万个场景(生锈程度、划痕磨损、照度等情况千变万化),没有完全相同的场景,例如光线角度发生了变化、照度发生了变化、网络发生抖动,识读结果随即产生较大误差。值得关注的是,即使是同一个业务场景的连续视频,即便上一帧识读正确,下一帧的识读结果仍然存在不确定性,极易出错。外界对人工智能识读船舶水尺技术的落地和推广信心明显不足,有观点认为这是“不可能完成的任务”。
4.3 政策理解和执行方面的困难与误区
商检业务智慧治理体系的目标之一是实现“管得住、放得开、通的快”。中华人民共和国海关总署《关于调整进口大宗商品重量鉴定监管方式的公告》〔2019年第159号〕发布实施后,海关依企业申请实施重量鉴定。有观点认为,海关将重量鉴定“放开”至第三方检验机构以后,重量鉴定在海关监管中的重要性正在下降,对水尺计重等重量鉴定工作的关注度和投入发生变化。海关不直接从事水尺计重等重量鉴定工作与放松监管之间不是划等号的关系,海关比以往任何时期更加需要得力、智能抓手实现精准有效监管,国际贸易市场需要海关智能水尺识读这杆“公平秤”。
5 现阶段的探索研究进展
2020年起,在国外依然停留在理论研究、把重心放在发期刊论文的时候,在质疑声音较多、技术信心不足的背景下,中国海关、第三方检验机构有关单位开始对人工智能识读船舶水尺的落地应用进一步探索,立项研发有关信息化系统。在新冠疫情期间,有关项目进度出现不同程度的迟缓情形。
5.1 载具方面
经过大量测试对比,无人航空器具备抗风、4G/5G网络控制链路和视频链路、自动按既定航线飞行、RTK精准定位、自动充换电(由无人值守机场保障)、锁定水尺刻度、弱光环境下作业等功能,是水尺观测设备的理想载具(图9)。
图9 无人航空器
Fig.9 Drones
5.2 人工智能识读方面
大规模的深度学习模型训练是人工智能识读的必要前提。事实证明,“专家训练电脑”是实现人工智能识读、提高识读准确率的有效途径。理想的人工智能识读不仅要有高质量的数据、合适的训练模型和足够的计算资源,还需要根据任务和数据的特点进行合理的超参数调整、数据增强和模型微调。
在实践中,通过尝试对超过1000个水尺刻度视频进行抽帧,对超过20000张图片进行标注,“手把手”告诉计算机系统,各类颜色的船体、各类字体的字符、各类照度的场景分别应该怎么读,如何排除生锈、划痕、浪花、漂浮物的干扰,如何校正船体曲率的影响,训练出最优模型(2021年至2022年数据)。识读系统实时接收业务现场无人航空器的视频推流信息,将每秒的视频信息分割为30个图片(帧),每个帧赋予唯一的序号并逐一进入识读系统(图10),且每一帧的识读结果可以存证、提取、展示(图11)。以100 s视频为例,拆分为3000张图片,计算机系统依次识读出3000个数值,根据筛选规则,去除150张离群图片(不具备识读条件或识读误差过大的图片)排除错帧以后(图12),对剩下的2850个数值进行运算,得到最终吃水值。
图10 逐帧识读吃水值,以折线图显示
Fig.10 Frame-by-frame draft reading, displayed as a line graph
图11 任意帧识读结果的存证、展示
Fig.11 Storage and presentation of the reading results from any frame
图12 排除错帧(图中用断点表示)
Fig.12 Elimination of incorrect frames (indicated by breakpoints in the figure)
5.3 识读精度验证
对于浪高30 cm及以上的场景,采用智能读数与人工读数比对并明确识读精度的做法不够严谨,难以令人信服。连云港海关研制的海水滤波器作为水尺测量的辅助工具,利用连通器和阻尼器的原理,衰减观测管中的浪涌强度,可以将几十厘米的波浪过滤成一条水平线,完美解决了各方的争议,是利用简单原理解决工作难题的典范。在具体实践中,通过使用透明软管(直径约75 mm)竖直插入海水,透明软管底端使用重物保持软管铅直,软管与水尺刻度平行且接近,使用软管的水位高度与智能读数比对,不断校正智能识读系统算法,从而验证了识读精度。
6 结语
通过人工智能识读方式对符合重量鉴定规程[9]、无人机应用规程[10]的200例照度理想、刻度清晰的水尺视频样本进行识读验证,平均帧识读准确率超过90%,对于浪高超过50 cm的场景也具备较理想的识读效果(2021年至2022年数据)。得益于“专家训练电脑”的大模型训练思路,智能识读技术对部分锈蚀严重的船体与刻度有较好的识读效果。2023年1月8日起,有关部门解除对新冠感染的甲类传染病防控措施后,海港口岸具备现场登临开展海洋试验、验证识读精度的基本条件,有关单位正在快速推进船舶水尺智能识读工作。
在水尺计重专业技术领域,中国海关始终走在世界前列,不仅设有专门的领导司局、处室,还成立了专门的鉴定专业技术委员会。2007年,中国海关完成的“船舶排水量纵倾校正方法—叶氏公式”被写进教材并应用于国际贸易水尺计重实践(叶氏公式由原蛇口检验检疫局叶炎辉同志从1990年开始,历时约17年,运用深厚的数学理论基础,经过反复推导和实践验算,通过长期对大量船舶数据进行分析研究后推出。此前,国际上通用的船舶排水量纵倾校正方法是日本人根本广太郎在上世纪60年代推导的校正公式进行纵倾校正)。2015年、2017年中国海关率先开展无人机观测水尺应用、人工智能识读水尺应用。我们相信,人工智能与无人机技术的深度融合,大规模落地支撑海关技术执法、第三方检验商业应用已经具备较大的现实可能,智慧海关、智慧商检值得期待。
参考文献
[1]WCO/WTO. Study Report on Disruptive Technologies[EB/OL]. https://www.wcoomd.org/-/media/wco/public/global/pdf/topics/facilitation/instruments-and-tools/tools/wco-wto-joint-report/wco-wto-study-report-on-disruptive-technologies-en.pdf.2022-06/2023-08.
[2]全国人民代表大会常务委员会.中华人民共和国进出口商品检验法[Z]. 2021-04-29.
[3]高博,崔建辉.散货船吃水精确感知方法探讨[J].天津航海, 2021(3): 47-50.
[4]黄文玉.货运港口行业发展现状分析及“十四五”未来发展规划分析[OL]. https://www.chinairn.com/news/20230916/16171313.shtml, 2023-09-16.
[5]陈昱鸣. 2022年干散货航运市场回顾及2023年展望[J].世界海运, 2023, 46(3): 14-20.
[6]程永林, 岳益锋, 张方, 等. 海运电厂船舶靠岸侧水尺图像采集实验研究[J].科技与创新, 2019(22): 55-56.
[7]王睿乾, 童话. 无人机技术在全球海关的应用[J].海关编译参考, 2023(2): 1-5.
[8]浙江日报.嵊泗海关使用无人机助力提升船舶通关效率[OL].https://baijiahao.baidu.com/s?id=1639168681415654490&wfr=spider&for=pc, 2019-07-16.
[9] SN/T 3023.2-2021 进出口商品重量鉴定规程 第2部分:水尺计重[S]. 2021.
[10] SN/T 5314-2021无人机在水尺计重中的应用规程[S]. 2021.
第一作者:刘鑫(1981—),男,汉族,陕西西安人,博士,正高级工程师,主要从事海关领域仪器设备研发和性能验评工作,E-mail: liuxin_cn@qq.com
1. 中国海关科学技术研究中心 北京 100026
2. 中国检验认证(集团)检验有限公司 北京 100028
1. Science and Technology Research Center of China Customs, Beijing 100026
2. China Certification & Inspection (Group) Inspection Co., Ltd., Beijing 100028