数据交换SDX-E

数据交换模块SDX-E提供库表交换(包括实时增量、批次全量、批次增量)、文件交换(包括文件同步、文件转数据、数据转文件)、API交换(包括API采集到库、API采集到文件等)功能;支持多源异构数据实时同步,全量和增量定时同步,支持采集位点回溯;支持数据加密、压缩、断点续传、数据限流、DDL、where过滤、一键建表、数据脱敏等功能;支持各类数据接入;支持跨网段交换等交换场景。

产品概述
通过多模态接入,SDX支持数据库源、文件源、API 源等超 20 种数据源类型,打破数据孤岛,构建起全域数据网络。数据交换功能,作为数据处理流程中的关键环节,其主要职责在于确保不同系统、平台或组织之间数据的顺畅流通与共享。以下是数据交换功能的概述:数据交换功能通过技术手段和协议,实现数据的发送、接收和共享,保障信息在异构环境中的一致性和可用性。其核心特点包括:1.互操作性:确保不同数据格式、协议和系统之间能够无缝对接,消除信息孤岛,提升数据的流通性。2.标准化:通过统一的数据交换标准和格式,如XML、JSON等,简化交换过程,降低复杂性。3.安全性:保障数据在传输过程中的安全性,采用加密、脱敏和认证等技术,防止数据泄露、篡改和非法访问。4.高效性:根据当前资源情况动态分配资源,优化数据传输效率,减少延迟,确保数据的实时或近实时交换。5.可监控性:提供数据交换过程的监控机制,以便跟踪数据流向,及时发现问题并采取措施。
场景
主要功能
数据源管理
支持对数据库源、文件源、API源的管理。数据库源支持各类关系型、非关系型数据库;文件源支持TFP、SMB、HDFS等;API源支持http、https等多种协议。
共享交换任务管理
支持库表交换(包括实时增量、批次全量、批次增量)、文件交换(包括文件同步、文件转数据、数据转文件)、API交换(包括API采集到库、API采集到文件等)功能。
任务调度
支持多种任务类型;支持定时、事件触发、手工触发等多种数据交换触发模式;支持数据交换任务的监控、告警、日志审计。
核心优势
丰富的组件支持
平台可支持多种异构数据源、文件源之间的全量、增量同步,包括Mysql、Sql server、Oracle、Kingbase、DB2、PostgreSQL、MD、Hive、Hbase等。
多样化场景支持
支持批次全量、定时增量、实时增量等库表交换任务类型,支持库表与文件之间的数据交换、支持不同文件源之间的数据交换。
统一的基础设施
平台提供统一的基础设施(高可用、动态负载、同步任务管理、插件管理、监控报警、公用业务组件等等),让设计人员专注于同步插件开发,有利于平台对支持不同数据库类型、版本的快速扩展。
前沿化的设计
吸收、整合业内经验,在架构模型、设计方法论、功能特性、可运维、易用性上进行全面的升级,在前瞻性和扩展性上下足功夫,满足未来5-10年内的各种同步需求。
完善的监听、校验机制
运用监听、日志功能实时监听同步状态;利用数据对比功能进一步确保数据交换结果的准确性。
支持dml和ddl操作
SDX系统不仅支持多种数据库dml操作,目前也支持部分数据库的ddl操作,未来的SDX系统也将支持多种数据库的操作。
图形化操作
图形化操作,通过页面配置生成具体可视的json。并可以直接对json进行文本修改,并以此方式更加灵活的解决异构数据库之间方言不一致带来的麻烦。
应用场景
跨云/本地数据库同步
异构数据库的实时同步
跨中心的数据同步
计算与云分析结合
备份与恢复
企业可以在总部建立统一的云端数据库,各分支机构定期或实时将本地数据同步到云端,实现数据的集中管理和共享。
在企业中,不同业务系统可能基于不同的数据库技术构建,如关系型数据库(MySQL、Oracle)和非关系型数据库(MongoDB、Redis)。CDC 能够实时捕获源数据库中的数据变更,并将其同步到目标数据库,确保不同数据库之间的数据一致性。
对于企业或大型组织,为了提高系统的可用性和容灾能力,通常会在多个数据中心部署业务系统。CDC 可以保证各个数据中心之间的数据实时同步,当一个数据中心的数据发生变化时,其他数据中心能立即更新相应的数据。
在物联网应用场景中,大量的传感器设备会产生海量数据。为了减少数据传输延迟和网络带宽压力,通常会在靠近设备端(边缘)设置本地数据库进行初步的数据处理和分析。而将本地数据库中的关键数据同步到云端数据库,则可以利用云端强大的计算和分析能力进行更深入的数据挖掘、机器学习等操作,以获取更有价值的商业洞察。
将本地数据库的数据同步到云端数据库,相当于为数据提供了一个异地备份副本。在本地数据中心遭遇自然灾害(如洪水、地震)、硬件故障(如服务器损坏)或其他意外事件导致数据丢失时,可以从云端快速恢复数据,减少业务中断时间和数据损失。
客户案例