共享交换SDX-E

海盒数据共享交换服务平台共享交换模块SDX-E提供库表交换、文件交换、API交换功能;支持多源异构数据实时增量同步,支持全量和增量流式读取,支持采集位点回溯;支持数据加密、压缩、断点续传、数据限流、DDL、where过滤、一键建表、敏感数据自动识别、数据脱敏等;支持各类数据接入任务的调度管理;支持各类交换场景。

产品概述
海盒数据共享交换服务平台共享交换模块SDX-E提供库表交换(包括实时增量、批次全量、批次增量)、文件交换(包括文件同步、文件转数据、数据转文件)、API交换(包括API采集到库、API采集到文件等)功能;支持多源异构数据实时增量同步,支持全量和增量流式读取,支持采集位点回溯;支持数据加密、压缩、断点续传、数据限流、DDL、where过滤、一键建表、敏感数据自动识别、数据脱敏等;支持各类(结构化、非结构化、半结构化)数据接入任务的调度管理;支持单表交换、多表交换、整库交换、文件交换、跨网段交换等各类交换场景。
场景
主要功能
数据源管理
支持对数据库源、文件源、API源的管理。数据库源支持各类关系型、非关系型数据库;文件源支持TFP、SMB、HDFS等;API源支持http、https等多种协议。
共享交换任务管理
支持库表交换(包括实时增量、批次全量、批次增量)、文件交换(包括文件同步、文件转数据、数据转文件)、API交换(包括API采集到库、API采集到文件等)功能。
任务调度
支持多种任务类型;支持定时、事件触发、手工触发等多种数据交换触发模式;支持数据交换任务的监控、告警、日志审计。
核心优势
丰富的组件支持
平台可支持多种异构数据源、文件源之间的全量、增量同步,包括Mysql、Sql server、Oracle、Kingbase、DB2、PostgreSQL、MD、Hive、Hbase等。
多样化场景支持
支持批次全量、定时增量、实时增量等库表交换任务类型,支持库表与文件之间的数据交换、支持不同文件源之间的数据交换。
统一的基础设施
平台提供统一的基础设施(高可用、动态负载、同步任务管理、插件管理、监控报警、公用业务组件等等),让设计人员专注于同步插件开发,有利于平台对支持不同数据库类型、版本的快速扩展。
前沿化的设计
吸收、整合业内经验,在架构模型、设计方法论、功能特性、可运维、易用性上进行全面的升级,在前瞻性和扩展性上下足功夫,满足未来5-10年内的各种同步需求。
完善的监听、校验机制
运用监听、日志功能实时监听同步状态;利用数据对比功能进一步确保数据交换结果的准确性。
支持dml和ddl操作
SDX系统不仅支持多种数据库dml操作,目前也支持部分数据库的ddl操作,未来的SDX系统也将支持多种数据库的操作。
图形化操作
图形化操作,通过页面配置生成具体可视的json。并可以直接对json进行文本修改,并以此方式更加灵活的解决异构数据库之间方言不一致带来的麻烦。
应用场景
数据汇聚与共享服务场景
双活灾备场景
湖仓建设与数据分析场景
重点面向政务及企业。政务及企业存在业务系统分散、数据孤岛现象,通常需要与内外部进行数据共享交换。SDX提供完整的产品解决方案,基于数据库、文件、接口进行数据的传输、采集,满足客户在多层级跨部门的场景下进行数据共享交换的需求。
面向工业、能源等行业。利用SDX的数据传输功能,通过单写实时复制、双加工等方式,使两个数据中心具备同样的数据,提供跨中心业务负载均衡运行能力,实现持续的应用可用性和灾难备份能力。
面向金融、交通等行业。通过SDX提供的数据批量传输、实时传输的功能,在不影响线上业务的情况下,将数据同步至数仓、数据湖,以数据应用、数据可视化的方式赋能业务。
客户案例