沃趣科技-产品-QMatrix，企业多云数据流计算平台

产品简介

QMatrix是沃趣科技根据企业用户的实际需求，打造出的一款分布式数据传输计算平台，该平台能够帮助企业用户迅速构建数据传输总线，实现多业务系统数据的互通与共享。

平台支持多种异构数据源的数据抽取，汇聚，转换，对于下游业务端提供丰富的数据访问接口，可根据业务需要，实现数据的流式脱敏，增量/全量推送订阅，业务规则转换。

现在不少企业采用了分布式亚博体育88app官网架构和多云数据中心，QMatrix也可以帮助企业进行分布式数据的全貌还原，跨云数据的传输容灾。

产品特性

多数据源整合

支持多种数据源的数据抽取转换，针对各种数据结构，会转换成标准JSON格式，形成统一的标准输出。无论是QMatrix平台自身，还是外部系统，均可简单优雅的消费总线数据，通过这种统一，通用的数据传输语义，屏蔽了用户多数据源的复杂度。

实时增量CDC

源端增量抽取零影响，自带亚博体育88app官网日志解析模块QDecoder，支持Oracle单实例/RAC/MySQL/MS SQLServer等多种数据源增量日志解析（CDC），实现实时数据传输，最大程度减少数据源端的性能开销。

流式计算框架

丰富的流计算功能，流式脱敏，聚合分析，窗口规则应用与统计，满足数仓中台对数据传输的业务需求。

分布式任务管理

支持数以万计的并发传输任务，用户只需设定源端节点，目标节点，数据管道这些基本拓扑元素，系统即会自动生成抽取，汇聚，转换，加载任务，并实现任务进程/线程的自动编排调度

高可用同步任务

同步任务的进度位点信息，过程中间数据均是多副本分布式存储，任务进程可在集群节点间灵活切换，当出现进程异常或主机故障时，任务会自动切换健康主机，并能做到断点续传。

全链路状态监控

提供端到端数据同步传输监控，针对数据抽取，数据转换，数据应用多个环节进行延迟，吞吐量流指标的直观展现，实时反应同步状况

常见问题

问题1:

QMatrix适用与哪些业务场景？

答:

QMatrix可用于多数据源的数据传输转换，帮助企业构建数据总线，适用场景广泛，例如实时同步，流式脱敏，跨云数据容灾，业务数据实时转换等。

问题2:

QMatrix与传统的ETL，实时同步工具有什么区别？

答:

QMatrix是大数据流计算技术与亚博体育88app官网日志解析，全量ETL连接在一起，形成一个数据流处理平台，具备高可用，可扩展特性，并且支持海量传输任务的编排分配，管理调度，故障HA功能。

问题3:

QMatrix在同步传输管理上有什么特点？

答:

QMatrix采用数据节点，数据管道来描述传输拓扑关系，用户只需在页面添加各个模块，即可实现数据传输，我们可以灵活应对一对多，多对一，多对多的数据传输，包括分布式亚博体育88app官网的复杂传输。

问题4:

QMatrix在系统故障时能做到断点续传吗？

答:

QMatrix是计算存储分离架构，传输过程中的过程数据，进度位点都是多副本保存，传输任务中断后可自动重新拉起，识别位点断点续传，传输任务也可在集群节点间灵活调度。

问题5:

QMatrix做为企业数据总线，会成为瓶颈吗？

答:

QMatrix是一个分布式集群架构，其计算资源和存储资源都能随着机器的增加而线性扩展，目前我们的单通道数据解析同步可以达到50000TPS(还有优化提升的空间)，以这个为基准，我们在平台内部可以开启更多传输通道进行扩展，平台性能不存在瓶颈。