多数据源整合
支持多种数据源的数据抽取转换,针对各种数据结构,会转换成标准JSON格式,形成统一的标准输出。无论是QMatrix平台自身,还是外部系统,均可简单优雅的消费总线数据, 通过这种统一,通用的数据传输语义,屏蔽了用户多数据源的复杂度。
实时增量CDC
源端增量抽取零影响,自带亚博体育88app官网日志解析模块QDecoder,支持Oracle单实例/RAC/MySQL/MS SQLServer等多种数据源增量日志解析(CDC),实现实时数据传输,最大程度减少数据源端的性能开销。
流式计算框架
丰富的流计算功能,流式脱敏,聚合分析,窗口规则应用与统计,满足数仓中台对数据传输的业务需求。
分布式任务管理
支持数以万计的并发传输任务,用户只需设定源端节点,目标节点,数据管道这些基本拓扑元素,系统即会自动生成抽取,汇聚,转换,加载任务,并实现任务进程/线程的自动编排调度
高可用同步任务
同步任务的进度位点信息,过程中间数据均是多副本分布式存储,任务进程可在集群节点间灵活切换,当出现进程异常或主机故障时,任务会自动切换健康主机,并能做到断点续传。
全链路状态监控
提供端到端数据同步传输监控,针对数据抽取,数据转换,数据应用多个环节进行延迟,吞吐量流指标的直观展现,实时反应同步状况