CopyRight 2009-2020 © All Rights Reserved.版权所有: 中国海关未经授权禁止复制或建立镜像
大数据在危化品供应链追溯中的应用
作者:胡炜星1
胡炜星1
摘 要 随着信息技术的快速发展,信息化建设积累了丰富的数据资源,大数据能力将成为构建数字化时代竞争优势。本文从进出口危化品供应链全生命周期角度出发,通过整合船公司、码头、物流企业数据,实现危化品贸易供应链全流程追溯。在智能风控方面,通过建设“数据模型+智能风控引擎”体系,形成数据驱动的智能风控新模式。
关键词 大数据;危化品;供应链追溯
Application of Big Data in Tracing the Supply Chain of Hazardous Chemicals
HU Wei-Xing1
Abstract With the rapid development of information technology, informatization has accumulated rich data resources, and big data capability will become a competitive advantages in the digital era. From the perspective of the entire life cycle of the import and export of hazardous chemicals supply chain, this paper traces the whole process of the supply chain of hazardous chemicals trade through integrating data of shipping companies, terminals and logistics companies. In terms of intelligent risk control, this paper proposes to adopt a new data-driven intelligent risk control model by building the "data model + intelligent risk control engine".
Keywords big data; hazardous chemicals; supply chain traceability
随着信息技术的快速发展,信息化建设积累了丰富的数据资源,大量的数据资源与数据种类已被政府部门、互联网公司和大型集团公司所掌握。当前,我国的数据积累量和生产比例呈现高增长态势,如将大数据业务进一步扩大,我国的大数据能力将成为构建数字化时代竞争的优势。
针对进出口贸易现状,货物单证中存在大量的供应链信息,包含货主、物流、运输、清关等信息,涉及海关、海事、边检、船运公司、码头、仓储和经销商等独立主体,需要数据疏通及整理,以便于海关追溯货物的供应链。大数据管理可以整合各类海量数据,将离散的数据需求聚合成数据长尾,从而满足传统管理中难以实现的需求。
本文从进出口危化品供应链全生命周期角度出发,深度挖掘数据价值,构建大数据体系,促进数据重用,提高数据利用率。要建立贸易供应链追溯体系,首要的是通过信息化手段覆盖从订舱、船舶、码头、海关申报、运输和物流等供应链全过程,完整记录各环节的相关数据,以便追溯,并通过大数据、云计算和区块链等技术实现对数据的采集、跟踪、分析。为此,需要在一个良好的集成开发平台上搭建整个追溯体系。危化品贸易供应链追溯体系的有效应用,可以帮助海关实现贸易、运输、物流等环节整个生命周期的监管,提高监管效率。
1 大数据的定义及特征
1.1 大数据的定义
随着互联网、物联网、人工智能等技术的快速发展,个人、企业乃至政府的信息数据呈快速增长趋势,信息数据背后的价值逐渐被关注和探索。大数据技术是指通过一定的技术手段对海量数据进行分析,以挖掘出数据的潜在价值[1]。大数据最核心的价值在于对海量数据进行存储和分析,给经济和社会行为提供一定的信息支撑和方法指导。
1.2 大数据的特征
大数据是海量数据的数据集合,其数据容量扩增速度和数据更新速度极快,以至于用常规的数据工具无法实现数据的采集、处理、存储和计算。这些数据集合的特征揭示了大数据的特征,即数据量大、数据类型多、价值密度低、时效性要求高[2]。
1.2.1 数据量大
大数据的一个显著特征就是数据量大。大数据的起始计算量单位至少是PB,甚至到EB、ZB,导致存储规模相当大,这也驱动着大数据存储技术的发展。
1.2.2 数据类型多
数据类型多是大数据价值的重要体现。数据呈现方法众多,可以是结构化、半结构化和非结构化的数据形态。结构化数据是高度组织和整齐格式化的数据,而非格式化数据不容易组织和格式化,这样大量的数据沉积会增加数据管理及梳理难度,导致储存成本过大。
1.2.3 价值密度低
互联网、物联网时代促使大量数据涌现,但有价值的数据可能只是其中的一小部分,并且若想利用这些数据,需要对海量数据进行采集、清理、挖掘。正是由于大数据的海量数据特征,导致大数据的价值密度低,这也促进了大数据挖掘技术的发展。
1.2.4 时效性要求高
大数据时效性要求高,意味着对大数据管理的要求高,需要在数据体量大、数据类型多、价值密集度高的情况下找到监测的平衡点。把控好数据时效性,可以加快供应链数据的现场信息反馈速度,并从根本上提高海关对现场通关的管理效率与安全防控的预警能力。
2 大数据处理的关键技术
大数据处理的关键技术主要包括数据采集与预处理、数据存储、数据分析挖掘和数据可视化。
2.1 数据采集
数据采集是大数据产业的基石。对于各种来源的结构化和非结构化数据本身是零散的,也就是所谓的数据孤岛,此时的数据并没有什么意义。而大数据的采集技术在获取海量数据信息的基础上,根据数据种类的分析结果,使用多种数据挖掘技术采集相应的数据,并将其储存在等量的存储空间内。
2.2 数据预处理
数据预处理是连接数据采集和数据分析的重要环节,是大数据技术中最为关键的一环,在大数据应用业务领域起到承前启后的作用。通过对海量数据进行预处理,可以提高数据质量。
数据预处理在数据挖掘前运作,预处理能有效提升数据采集模式和数据模型的品质。数据预处理主要包括数据清洗、数据转换、数据描述、特征选择或特征组合、特征抽取等步骤。
2.3 数据存储
在大数据存储方面,数据量大、类型多、时效性要求高等大数据特征,使数据存储量更庞大,对数据展现的要求更高。传统的数据库存储技术难以存储如此巨大的数据量。而大数据的应用技术与数据仓库的结合,对一些非结构化数据的采集、存储、传递、处理与分析十分有效,也能帮助人们发现这些非结构数据背后的潜在价值[3]。
2.4 数据分析
随着云计算、大数据等信息技术的不断发展,信息数据的规模不断扩大,数据仓库成为数据存储和分析的重要工具[4]。数据仓库高度集成了不同的异构数据源,通过对大量的异构数据源进行高度集成,可根据主题需要对这些数据进行重组,使用户能够从数据仓库中获取所需的信息,进而为用户提供一个具有高度集成性、协调性与统一性的信息服务环境,并且可以为用户在进行全局决策时提供有力的技术支持[5]。如图1所示,数据仓库的体系架构包括数据源、数据存储与管理、数据应用与分析三个层次。其中,数据源是数据仓库中最为重要的基础部分,将每天的数据传输到数据仓库,数据仓库通过ETL(抽取、转化、加载)的方式,将数据按照设定的数据表格存储好,形成基础数据。在对多种业务数据进行筛选和整合后,用于数据分析、数据挖掘、数据报表。
图1 大数据体系架构
Fig.1 Big data architecture
3 大数据与危化品供应链追溯
大数据管理是将错综复杂的数据整合在一起,针对不同的管理需求,梳理散乱的数据后聚合成系统性及稳定性的数据,供审阅分析人员在传统管理的基础上满足更高需求。运用大数据进行综合应用和管理,可以优化监管部门和相关企业的资源配置。
3.1 货物供应链追溯
为了保障危化品追溯与风险预警信息安全防篡改,以及形成进出口危化品贸易供应链全流程的闭环数据,实现对危化品贸易供应链全流程追溯,可以借鉴区块链技术原理,建立公开透明且能充分保护各方隐私的开放式区块链网络,实现数据可信同步。
利用区块链可追溯的特点,当发生危化品安全事故或货物运输过程中存在问题时,海关、货主、船公司、码头等各大主体都能从链上追溯到真实的电子数据,快速定位危化品供应链流转和监管过程中存在的问题,实现电子数据向电子证据的转变,从而明确界定各主体承担的责任,特别是危化品将得到更好管理,以确保运输安全。
结合物联网技术,运输工具的运行位置,货物的存储温度、湿度,储罐的压力、液位、密度等数据被监测后上链,从而使货物流动的各个环节纳入可靠的监管体系中。用图表方式呈现货物船舶从始发港到卸货港的停靠轨迹,并关联到货物到港后进入储罐的信息,在海关需要监管的各个风险点都能追溯被监管货物的物流和通关情况。
结合区块链应用数据、航运数据、危化品标签数据、危化品储罐、码头和船舶的申报数据等,融入物流供应链各作业单位的操作信息,为用户提供覆盖订舱、港口、通关到保税储罐各个供应链环节物流状态的全过程信息化管理手段,实现进出码头船舶、监管货物进出罐流程全掌控,形成化工区货物的供应链体系。基于区块链技术的可追溯性和点对点的可靠信任性,提高危化品企业供应链端到端的数据透明度。
3.2 危化品追踪
危化品生产企业通过验收危化品的包装和运输形式,粘贴不同的产品标签和车辆电子标签。海关通过扫描二维码或RIFD电子标签查验,读取产品基础信息,与核心数据库监管信息进行比对,确认产品标识合规和包装使用合规。仓储企业通过对危化品电子标签的追踪,帮助企业准确定位货物的存放位置,了解掌握出入库信息;通过网络服务及电子标签的相互联动,实现危险化学品的收发货信息追踪。
应用电子标签技术,开发智能化申报功能,共享监管信息,可以提高海关查验监管效率,简化海运空运申报环节,避免重复查验,实现企业通关时间大幅缩短和危化品管理水平的大幅提升。
3.3 风险预警
构建危化品贸易供应链追溯与风险预警分析体系,深度挖掘数据潜力,利用深度学习和神经网络技术,对供应链过程尤其是危化品供应链过程的风险点进行有效分析并进行预警提醒。预警分析体系包括以下模块。
(1) 防疫模块。通过船舶历经的上下港口,以及船员的登陆港口信息,综合判断船舶是否来自疫区国家。对于来自疫区的船舶风险预警,提醒海关、边检等单位做好预防和检测工作。
(2) 储罐模块。危化品货物主题库设置了各种危化品标准状态下的温度、密度等参数,当储罐货物的温度、密度和数量超过标准的基础参数,系统将发出预警。
(3) 安全监控模块。采集应急响应中心、危化品安全监控的信息,对于重大危险源的预警信息,系统第一时间同步预警,提醒海关及时干预处理。
(4) 船舶异常数据模块。通过分析船舶的动态轨迹信息与码头申报数据,以船名、航次等共有字段作为比对依据,当信息比对不符时,系统发出预警提醒,监管部门可调阅码头视频作为判断依据,及时掌握船舶停靠泊的动态信息。
(5) 危化品超长报关单分析模块。对于从报关单申报的时间到报关单结关状态的时间设置参考标准,通关时间超过该标准的报关单,即为超长报关单。系统以企业为单元,通过海量的申报数据比对分析,找到超长报关单数据并分析超长原因,帮助企业加快通关,创造更好的营商环境。
系统数据自动统计和分析,可以使海关对危化品货物供应链监管更加精准,并发挥大数据的优势,实现贸易供应链准确化、透明化、可追溯化,促进贸易供应链的全过程追溯,提升海关监管水平的同时,为企业用户的供应链安全保驾护航。
4 结语
大数据是当前深受关注的技术之一,它能够融入到供应链追溯及风险预警管理中,并发挥重要作用。本文基于对大数据技术特性的理解,结合区块链、物联网技术,尝试将大数据技术运用到危化品贸易供应链追溯中,实现贸易申报、航运以及储罐等数据的有效整合。通过大数据分析技术,实现贸易供应链全流程的可追溯和全记录,提升供应链的可视性和透明性,实现跨境供应链信息协同,可以有效解决不同部门、不同层级间的信息孤岛问题,提高供应链信息的利用率,同时创新海关监管模式,加强海关对贸易供应链的有效监管。
【该文经CNKI学术不端文献检测系统检测,总文字复制比为10.4%。】
作者简介:胡炜星(1984-),男,汉族,浙江宁波人,本科,现任金山海关保税监管二科副科长,主要从事上海化工区保税监管业务及智慧海关建设,E-mail:18019206069@189.com
1.金山海关 上海 201424
1. Jinshan Customs, Shanghai 201424
参考文献
[1]黄宜华,苗凯翔.深入理解大数据:大数据处理与编程实践[M]. 北京: 机械工业出版社, 2014: 17.
[2]马松. P公司基于大数据的新产品需求开发管理研究[D]. 山东大学, 2019.
[3]刘强.试论数据仓库与大数据融合[J].电脑知识与技术, 2020, (10): 7-9.
[4]张涛,崔健,柯亮亮.数据仓库性能优化策略研究[J].工业控制计算机, 2019, 32(5): 132-133, 152.
[5]罗红华.基于数据挖掘及数据仓库技术的研究与应用[J].通信设计与应用, 2019, (10): 77-78.
(文章类别:CPST-A)