CopyRight 2009-2020 © All Rights Reserved.版权所有: 中国海关未经授权禁止复制或建立镜像
国产事务型数据库的应用研究
作者:马志坤 熊飞 梁俊 冯立胜
马志坤 熊飞 梁俊 冯立胜
摘 要 近年来,国产数据库的发展情况持续受到业界关注,其功能特性和技术优势亦成为国产化工程重点考量的要素。本文简要介绍了国产数据库的发展现状,深入探讨了主备集群和数据共享集群的系统结构,从可用性、可靠性、实时性、负载均衡、安全性等多个维度剖析了国产数据库的性能和功能特性,并详细阐述了数据库监控系统和数据实时同步系统的运作机制与技术优势。同时,针对国产数据库产品的性能进行调研和评测,并针对海关信息系统数据库的国产化建设开展实践。
关键词 国产数据库;主备集群;数据共享集群;监控预警;数据迁移;数据实时同步
Research on the Application
of Domestic Transactional Database
MA Zhi-Kun 1 XIONG Fei 1 LIANG Jun 1 FENG Li-Sheng 1*
Abstract In recent years, the development of domestic databases has continued to attract the attention of the industry, and its functional characteristics and technical advantages have also become the key factors to be considered in the localization project. This paper briefly introduces the development status of domestic databases, deeply discusses the system structure of master-standby cluster and data-sharing cluster, analyzes the performance and functional characteristics of domestic databases from multiple dimensions such as availability, reliability, real-time, load balancing, and security, and elaborates the operation mechanism and technical advantages of database monitoring system and real-time data synchronization system. At the same time, the performance of domestic database products is investigated and evaluated, and the localization construction of customs information system database is carried out in practice.
Keywords domestic database; master-standby cluster; data-sharing cluster; monitoring and early warning; data migration; real-time data synchronization
1 国产数据库的发展现状
我国数据库产业最早可追溯至20世纪末期,2013年迎来发展高峰。根据中国通信标准化协会大数据技术标准推进委员会(CCSA TC601)的统计数据,截至2024年6月,我国数据库产品供应商累计达到167家。2014—2022年,共有128家国产数据库企业相继成立,占现有企业总数的76.6%,但自2023年起,新兴数据库企业的数量开始呈现下降趋势(图1),这标志着我国数据库产业正从数量增长阶段转向质量提升阶段。
图1 我国新兴数据库企业数量
Fig.1 The number of emerging database enterprises in China
近年来,在数据库国产化的实践研究中,各领域专家纷纷提出各类优化建议,分别在优化迁移方案、数据库测试技术、日志管理体系等方面进行了深入的探讨和研究。目前,医疗-、交通、广播电视、能源-等多个行业领域已经涌现众多成功案例,为数据库国产化建设提供了宝贵的经验。
在当前新一轮人工智能浪潮的驱动下,全球数据库产业变革不断,多强竞争格局逐步形成。得益于国家战略的引领,我国数据库产业进入蓬勃发展期和关键应用期,国际知名度和影响力进一步提升。研究报告显示,华为、金篆信科、南大通用、达梦数据、涛思数据和腾讯云分别在本地部署市场、金融级分布式数据库、分析型数据库、集中式事务型数据库、时序数据库和向量数据库市场中具备核心竞争力。
2 事务型集中式数据库的集群结构
国产数据库按照数据模型可分为事务型和分析型数据库,按照存储方式可分为集中式和分布式数据库。本文主要介绍国产事务型集中式数据库。
根据集群结构的不同,国产事务型数据库大致可分为两类:主备集群和数据共享集群。主备集群包括一个主节点和一个或多个备节点,主节点对外提供完整的读写服务,备节点作为主节点的热备,一般不对外提供服务或仅提供只读服务。数据共享集群则包含多个可独立提供读写服务的节点,各节点同时访问同一份存储。
2.1 主备集群
在主备集群中,主备库之间通过日志归档和日志重演服务实现数据的实时同步,其系统结构如图2所示。
主库提供完整的数据库服务,支持读写操作,通常作为生产库使用,支撑业务运行;备库则不对外提供服务或仅提供只读服务,主要用于容灾备份或查询系统。重做日志用于记录DML和DDL操作对物理数据页的修改。主备库之间通过内部通信系统完成重做日志的高效传输。备库接收并按顺序解析日志,修改数据页,实现数据库重演。一旦数据库异常重启,可通过重做日志将数据库恢复至故障前状态,确保数据安全。
集群中的每个数据库实例都配有守护进程,实时监控实例的运行状态和主备库之间的数据同步情况,在出现故障时自动启动相应的处理预案。监视器用于监控守护进程和数据库实例的运行状态。当主库出现故障时,监视器能够在数秒之内将备库切换为主库继续提供服务,确保服务不中断。对于访问量大的业务系统,主备集群支持将只读操作分流至备库,以减轻主库负载压力,提升资源使用率和数据吞吐量。
2.2 数据共享集群
数据共享集群是一个多实例、单存储的数据库系统,允许多个实例同时访问和修改同一数据库,主要由数据库服务、本地存储、自动存储管理器、集群同步服务、集群监视器、共享存储和通信网络组成,图3为一个两节点数据共享集群的系统结构图。
数据共享集群由若干个节点组成,每个节点又包括数据库实例、集群同步服务、自动存储管理器和本地存储。实例之间通过内部通信系统进行实时通信,通过高速网络访问共享存储,共享数据文件和控制文件。
每个数据库实例都拥有一个专属的集群同步服务,用于监测节点运行状态,还支持故障节点自动切换和恢复节点自动重加入,单节点故障不会导致整个数据库集群的失效,有效提升集群的整体可用性。
自动存储管理器是一个专用于块设备的分布式文件管理系统,能够根据需要灵活地增加、删除、扩展、截断数据文件,支持在线实现空间扩容。
集群监视器与集群同步服务相互通信,实时获取各个节点的状态信息,并发送一系列指令用来维护数据库实例,从而实现对整个集群运行情况的监控和管理。
数据共享集群的结构决定了它具有以下特性:一是高可用性。支持异常检测和故障节点自动隔离,能够将用户连接自动切换到正常节点上。二是高吞吐量。集群中各实例拥有专属的处理器和内存资源,可独立接收和处理用户请求。三是负载均衡。支持使用数据库服务名对外提供服务,按照一定的策略将用户请求分配至不同的节点,以实现数据连接的负载均衡。
3 数据库监控系统
国产数据库提供了数据库监控系统,帮助管理员及时了解和掌握数据库实例和集群的运行状态,高效进行数据库管理工作。通用的监控系统架构如图4所示。
监控系统一般可分为3个层级:管理对象层包括数据库集群、实例和代理服务,其中,代理服务负责定时收集数据库运行的各类数据信息,为系统管理和监控信息展示模块提供分析依据;应用层负责对数据进行分析处理;访问层给用户提供可视化的管理界面。
应用层大致可分为以下六大功能模块:
(1)监控指标数据库主要负责存储监控数据。
(2)数据存/取模块负责将代理服务获取的数据存入监控指标数据库,并检索数据给其他模块提供支持。
(3)监控信息展示模块负责整理监控数据,对集群和实例进行分组管理和数据统计,并采用各类图表形式实现数据可视化展示。常用的监控指标包括:服务器的CPU、内存、磁盘使用率,数据库实例的可用性、连接数、表空间使用率等。
(4)告警模块负责配置各类预警策略,实时监测各指标数值,一旦超过提前设定好的阈值,就会自动触发告警机制,通过邮件、短信等方式通知管理员及时介入。
(5)系统管理模块对数据库进行统一化集中式管理,包括用户管理、权限分配、日志记录、系统配置、监控预警等功能。
(6)客户端工具提供远程访问接口,管理员可以登录数据库管理平台,通过可视化界面进行相应的功能操作,有效简化数据库管理流程、提升运维效率。
数据库监控系统具有以下功能:
(1)可以实现多个数据库集群和实例的集中管理,避免分散部署带来的资源浪费和运维复杂性。
(2)在可视化平台上实现实例和集群管理、监控预警等多项功能,覆盖了数据库运维的各个环节。
(3)应用层各模块之间独立设计,支持相互调用,可以根据需求灵活进行功能纵向扩展和升级;也支持动态接入任意类型的数据库实例和集群,在节点数据量上可以进行横向扩展。
(4)具备完善的监控预警能力,一旦发现潜在异常,会根据预案发出预警消息,提醒管理员及时采取有效措施,保障数据库的安全稳定运行。
4 数据实时同步系统
数据实时同步系统提供异构数据库之间低延时、高可靠的数据同步服务,目前已被广泛应用于容灾备份、负载均衡、读写分离、数据移植、订阅分发、系统“双活”等各类业务场景中,其实现原理如图5所示。
在数据初始化阶段,同步系统支持数据全量装载。源端负责识别所有需要装载的表,在管理模块的调度下,提取表结构和数据信息,通过传输模块同步到目的端,确保源库和目的库初始数据的一致性。
在数据增量同步阶段,根据管理模块的调度,源端日志捕获分析模块采用日志扫描算法快速捕获、分析、转换增量日志数据,将转换后的标准格式消息投递给传输模块;传输模块对操作记录、表和字段进行过滤和映射后,将处理后的日志通过TCP/IP网络发送到目的端的执行模块。
根据管理模块的调度,目的端的执行模块严格按照事务间的关联关系和提交策略,采用多线程并行的方式进行数据入库。
综合分析数据同步原理和实现机制,数据实时同步系统具有以下技术优势:
(1)强兼容性:拥有成熟的关系数据模型和标准接口,适应目前主流的各类软硬件平台;可以根据用户需求灵活配置一对一、一对多广播型、多对一聚合型、多对多、级联等各种形式的拓扑结构;支持各种类型的数据筛选、过滤、转换、映射和计算逻辑,为不同业务场景提供量身定制的同步策略。
(2)低开销性:采用基于日志的结构化数据复制技术,无需依赖触发器或影子表,几乎不会对系统性能造成影响,以极小的资源开销实现秒级的数据同步。
(3)高实时性:源端采用日志扫描算法快速抽取操作日志,通过TCP/IP网络进行数据传输,无需依赖数据库自身的消息传递通道,还支持数据筛选和压缩,有效提升数据传输效率;目的端采用多线程并行、事务重组和分批加载技术提升数据装载效率,以极低的时延实现大批量数据的实时同步。
(4)高可靠性:严格按照事务顺序进行日志提取和数据装载,确保源库与目的库的事务逻辑完整性和一致性;采用完备的检查点机制和消息应答机制实现断点续传,避免因网络延迟或中断导致数据丢失,保障数据传输的可靠性和完整性。
(5)负载均衡:开启双向同步模式后,目的库在业务处理逻辑上与主机实时保持一致,可独立对外提供读写服务,分担数据库访问负载,提升业务系统运行效率。
5 安全管理与生态发展
目前主流的国产数据库产品均具备相应的安全认证资质和安全评估证书,满足国家及行业在数据安全和网络安全方面的合规性标准;提供可靠的安全机制和必要的技术手段保障数据安全性、完整性和可用性,有效应对各类安全威胁。
数据库安全管理系统主要包括用户标识与鉴别、自主与强制访问控制、通信与存储加密、审计等安全功能,用户可根据实际需要进行灵活配置,满足不同层次的安全需求。
其中,各功能模块和具体实现方式如下:
(1)用户标识与鉴别:通过账号和口令匹配和区分用户,防止身份冒用。
(2)强制访问控制:采用安全标记的方式,确保用户只能访问与自己安全级别相符的数据对象,避免越级访问。
(3)自主访问控制:采用精细化的权限管理方式,确保用户只能访问自己权限范围内的数据对象,避免权限蔓延。
(4)审计:审计人员能够查看所有用户的操作记录,为事故定责提供证据支持。
(5)通信加密、存储加密:用户可以根据需要开启或关闭数据加密传输或加密存储,支持自定义加密算法,防范风险。
(6)资源限制:用户可对网络资源和磁盘空间进行配额设置,防止资源被恶意抢占。
(7)客体重用:实现内存和磁盘空间的自动释放和清理。
国产数据库针对潜在的安全漏洞建立了完备的管理流程,所有用户都可以发现并报告疑似安全漏洞;安全应急小组负责接收并分析这些报告,依据评估结果,执行漏洞评估、修复、补丁开发及验证工作;最终漏洞信息及补丁成果会被发布到国家信息安全漏洞共享平台(China National Vulnerability Database,CNVD),向全体用户公开。
此外,国产数据库还提供与其他国产应用软件、中间件、数据库、操作系统等软硬件产品的兼容性与适配性认证服务,和众多合作伙伴共同推动本土技术的融合和创新,维护和促进国产数字化生态环境的健康、长期发展。
6 数据库性能调研评测
近年来,国产数据库呈现出多元化的发展趋势。为了充分调研各类数据库厂商和产品,全国海关信息中心(全国海关电子通关中心)陆续对10余款国产数据库产品展开调研,并选取“H2018数据交换子系统”作为典型应用场景,重点针对5款国产数据库产品开展适配和评测工作。
本次评测的应用系统和数据库均运行在XC版本的海关应用云平台上,但二者不属于同一网段,测试过程中应用系统访问数据库需要通过交换机进行网络迂回,因此数据访问的网络延时会大于生产环境。本次评测还另选取一款非国产数据库作为参照。评测环境中各测试数据库的配置信息见表1。
表1 评测数据库的配置信息
Table 1 Configuration information of assessment databases
产品 | 系统版本 | CPU线程 | 内存 (GB) | 存储 |
国产数据库A | ARM | 96 | 650 | SSD磁盘 |
国产数据库B | ARM | 96 | 650 | SSD磁盘 |
国产数据库C | ARM | 96 | 650 | SSD磁盘 |
国产数据库D | ARM | 96 | 650 | SSD磁盘 |
国产数据库E | ARM | 96 | 765 | SSD磁盘 |
非国产数据库 | x86 | 80 | 512 | 全闪阵列 |
参照“海关H2018数据交换子系统”的生产环境应用配置,按照“20个应用实例处理100万条数据”的场景进行数据库性能测试。在第一轮测试中,各数据库产品均使用默认版本和参数配置参与测试。初始测试后,国产数据库B、C对数据库版本进行了更新,D、E对数据库配置参数进行了调优。本研究对优化后的数据库产品进行了第二轮测试,应用服务器测试环境:容器配置1C 2G,20个应用实例,100万条数据,两轮测试的结果如图6所示。
分析测试结果可知,各款国产数据库产品性能表现参差不齐,其中,不乏优秀者具有较强的数据处理能力,也有部分产品还存在较大的提升空间。另外,从优化前后的对比数据中可以看出,版本更新和参数调优对数据库性能表现存在一定程度的正向影响。
通过本次评测,不仅深入了解了各数据库产品的实际性能表现,还验证了持续优化对提升数据库性能的重要性。未来,随着我国本土技术的不断迭代和完善,国产数据库将在性能、稳定性等方面进一步提升,为我国信息化建设提供更加坚实的支撑。
7 海关信息系统数据库国产化迁移案例分析
海关信息系统主要用于实现海关业务处理的信息化和自动化,经过多年的持续建设和完善,在促进业务协同、优化办公管理、提升对外服务能力等方面发挥了越来越重要的作用。
目前,海关信息系统数据库国产化切换工作按照从局部到整体、从周边到核心、从后端到前端的顺序稳步推进。本文将以“海关业务规范性文件查询系统”的数据库迁移为例,详述海关信息系统的数据库国产化迁移方案。
“海关业务规范性文件查询系统”为海关关员提供规范性文件的实时查询服务,为关员的高效、准确执法提供科学指导和有力支撑。根据海关关于数据库国产化建设的要求,该系统需要从原来的非国产数据库迁移到国产数据库上。
7.1 制定迁移策略
在本次迁移任务中,采用整体迁移策略,最大程度保障数据完整性和一致性。由于非国产和国产数据库的列类型存在差异,难以采用SQL文件的方式直接进行数据导入,本研究团队自主研发了专用的数据迁移工具,自动进行字段类型转换和映射,确保旧库数据准确、高效导入新库。另外,还制定了完备的应急预案,提前识别迁移中或迁移后可能出现的各类问题并提供解决方案,如果短时间内难以解决,则需将应用系统回切至原数据库上,以保障业务连续性。
7.2 数据库迁移测试和实施
在国产数据库中创建数据库实例,其中用户、表、索引、存储过程、函数等数据对象需与旧库保持完全一致。提前测试和评估迁移所需时长,选取业务低峰期作为实施时间窗口,届时关停应用系统服务、切断所有数据库连接,暂停数据业务操作。使用海关自主研发的数据迁移工具实施数据迁移,迁移过程中实时监控数据传输状态,确保无数据丢失或损坏。
7.3 数据比对和监控
迁移完成后,分别查询新旧库所有数据库对象的种类、个数,以及各表的数据条数,进行迁移前后数据比对,验证数据一致性。验证无误后,将应用系统的数据库连接配置修改为指向国产数据库,启动应用服务,进行系统、全面的业务测试,确保各项功能正常运行。同时,建立长效监控机制,实时跟踪业务系统的性能和稳定性,确保能够及时发现并处理潜在的问题。原库数据要做好备份,至少需要保留一年的时间,以备不时之需。
7.4 经验总结
“海关业务规范性文件查询系统”国产数据库迁移任务顺利完成,有效提升了海关数据安全性与自主可控能力,为海关信息系统国产化建设积累了宝贵的经验。未来,本研究将持续优化迁移方案,继续推进其他业务系统的迁移工作,逐步实现海关信息系统的全面国产化,强化海关信息安全屏障,确保国家数据安全。同时,持续深化与国产数据库厂商的合作关系,共同解决技术难题,推动本土技术的进步与创新,为海关系统的信息化和智能化发展奠定坚实的基础。
8 结语
随着我国现代化产业体系建设的加速推进,在各方力量的推动下,国产数据库产业稳健前行,目前正处于由“数量型”向“质量型”的关键转型期:在数据库可用性、可靠性、高实时性、可扩展性、兼容性、安全性等方面已经展示出一定的技术优势;拥有高效、全面的监控预警机制,简化数据库运维和管理流程;具有灵活、可靠的数据实时同步能力,助力业务系统平稳过渡至国产数据库环境。在未来的发展中,随着技术的不断进步,国产数据库将进一步提升系统性能、安全性和技术创新性,为更多行业领域提供坚实的数据支撑,推动我国信息化建设迈向新高度。
参考文献
[1] CCSA TC601大数据技术标准推进委员会.数据库发展研究报告(2024年)[R]. CCSA, 2024.
[2]毛冬, 张辰, 陈又咏, 等.基于国产CPU环境的国产数据库历史数据迁移技术[J]. 太赫兹科学与电子信息学报, 2024, 22(10): 1154-1160.
[3]谢秋琪, 吴斌, 梁俊杰, 等.基于国产软硬件数据库基准测试标准化研究[J].中国标准化, 2024, (3): 62-65.
[4]李开文, 陈德勇.基于国产数据库的大量设备日志管理功能设计与实现[J].中国信息界, 2024, (6): 152-154.
[5]吴业毅, 苏良波, 黄秋红, 等.基于适配某型国产数据库的医院信息系统改造实践[J].中国数字医学, 2025, 20(2): 46-49+74.
[6]董家凡, 翁雅丽, 王冬扬, 等.信创背景下的重症监护临床信息系统改造实践[J].中国数字医学, 2025, 20(5): 110-114.
[7]彭赛荣, 宋欣, 郭戬, 等.国产数据库在地铁信号系统中的应用研究[J]. 铁道通信信号, 2023, 59(4): 68-72. DOI: 10.13879/j.issn.1000-7458.2023-04.22343.
[8]杨子叶.中波台安播信息系统数据库国产化替代研究[J]. 广播与电视技术, 2024, 51(11): 64-68. DOI: 10.16171/j.cnki.rtbe. 20240011012.
[9]刘文君, 段金奎, 苏慧生. 长庆油田数据库国产化替代对策研究[J]. 信息系统工程, 2025(2): 75-78.
[10]马斐. 国产实时数据库在发电企业的应用[C]//中国电子企业协会. 电力企业信创国产化典型案例及论文集(2025). 国家能源集团山东石横热电有限公司: 2025: 81-83, DOI: 10.26914/c.cnkihy.2025.008951.
[11]达梦在线服务平台[EB/OL]. [2025-06-01], https://eco.dameng.com/.
[12] KINGBASE电科金仓数据库[EB/OL]. [2025-06-01], https://www.kingbase.com.cn/.
第一作者:马志坤(1998—),女,汉族,北京人,硕士,系统管理工程师,主要从事数据库运维工作,E-mail: mazhikun1998@126.com
通信作者:冯立胜(1971—),男,汉族,北京人,本科,高级工程师,主要从事软件开发、运行维护、架构设计与管控相关工作,E-mail: fenglisheng@139.com
1. 全国海关信息中心(全国海关电子通关中心) 北京 100005
1. National Information Center of GACC (General Administration of Customs of China), Beijing 100005
图2 主备集群的系统结构图
Fig.2 System structure diagram of master-standby clusters
图3 数据共享集群的系统结构图
Fig.3 System structure diagram of data-sharing clusters
图4 数据库监控系统的系统结构图
Fig.4 System structure diagram of database monitoring system
图5 数据实时同步系统原理示意图
Fig.5 Schematic diagram of data real-time synchronization system
图6 优化前后各数据库性能表现
Fig.6 Performance of each database before and after optimization