产品简介
QMatrix是沃趣科技根据企业用户的实际需求,打造出的一款分布式数据传输计算平台,该平台能够帮助企业用户迅速构建数据传输总线,实现多业务系统数据的互通与共享。
平台支持多种异构数据源的数据抽取,汇聚,转换,对于下游业务端提供丰富的数据访问接口,可根据业务需要,实现数据的流式脱敏,增量/全量推送订阅,业务规则转换。
现在不少企业采用了分布式亚博体育88app官网架构和多云数据中心,QMatrix也可以帮助企业进行分布式数据的全貌还原,跨云数据的传输容灾。
产品特性
  • 多数据源整合
    多数据源整合
    支持多种数据源的数据抽取转换,针对各种数据结构,会转换成标准JSON格式,形成统一的标准输出。无论是QMatrix平台自身,还是外部系统,均可简单优雅的消费总线数据, 通过这种统一,通用的数据传输语义,屏蔽了用户多数据源的复杂度。
  • 实时增量CDC
    实时增量CDC
    源端增量抽取零影响,自带亚博体育88app官网日志解析模块QDecoder,支持Oracle单实例/RAC/MySQL/MS SQLServer等多种数据源增量日志解析(CDC),实现实时数据传输,最大程度减少数据源端的性能开销。
  • 流式计算框架
    流式计算框架
    丰富的流计算功能,流式脱敏,聚合分析,窗口规则应用与统计,满足数仓中台对数据传输的业务需求。
  • 分布式任务管理
    分布式任务管理
    支持数以万计的并发传输任务,用户只需设定源端节点,目标节点,数据管道这些基本拓扑元素,系统即会自动生成抽取,汇聚,转换,加载任务,并实现任务进程/线程的自动编排调度
  • 高可用同步任务
    高可用同步任务
    同步任务的进度位点信息,过程中间数据均是多副本分布式存储,任务进程可在集群节点间灵活切换,当出现进程异常或主机故障时,任务会自动切换健康主机,并能做到断点续传。
  • 全链路状态监控
    全链路状态监控
    提供端到端数据同步传输监控,针对数据抽取,数据转换,数据应用多个环节进行延迟,吞吐量流指标的直观展现,实时反应同步状况
  • 产品架构图
    产品架构图
    常见问题
  • 问题1:
    QMatrix适用与哪些业务场景?
    答:
    QMatrix可用于多数据源的数据传输转换,帮助企业构建数据总线,适用场景广泛,例如实时同步,流式脱敏,跨云数据容灾,业务数据实时转换等。
  • 问题2:
    QMatrix与传统的ETL,实时同步工具有什么区别?
    答:
    QMatrix是大数据流计算技术与亚博体育88app官网日志解析,全量ETL连接在一起,形成一个数据流处理平台,具备高可用,可扩展特性,并且支持海量传输任务的编排分配,管理调度,故障HA功能。
  • 问题3:
    QMatrix在同步传输管理上有什么特点?
    答:
    QMatrix采用数据节点,数据管道来描述传输拓扑关系,用户只需在页面添加各个模块,即可实现数据传输,我们可以灵活应对一对多,多对一,多对多的数据传输,包括分布式亚博体育88app官网的复杂传输。
  • 问题4:
    QMatrix在系统故障时能做到断点续传吗?
    答:
    QMatrix是计算存储分离架构,传输过程中的过程数据,进度位点都是多副本保存,传输任务中断后可自动重新拉起,识别位点断点续传,传输任务也可在集群节点间灵活调度。
  • 问题5:
    QMatrix做为企业数据总线,会成为瓶颈吗?
    答:
    QMatrix是一个分布式集群架构,其计算资源和存储资源都能随着机器的增加而线性扩展,目前我们的单通道数据解析同步可以达到50000TPS(还有优化提升的空间),以这个为基准,我们在平台内部可以开启更多传输通道进行扩展,平台性能不存在瓶颈。



  • 沃趣科技,让客户用上更好的亚博体育88app官网技术!