田丰博士,矩阵起源CTO。师从数据库元老级前辈 David DeWitt,拥有20年数据库内核开发经验,多篇论文入选数据库领域国际顶级会议SIGMOD、VLDB。
本次专访,田丰博士与IT168分享了对数据库公司技术路线演变的思考。
从细分到融合的演化过程
技术细分与融合是一个不断变化的过程,会随着供给与需求的变化而动态调整。
以HTAP数据库的发展为例:关系型数据库的业务负载通常分为TP负载和AP负载,TP一般是做交易型的业务,数据量小,但要求低时延、高吞吐,对安全、高可用、稳定性有较高的要求。AP一般对历史数据进行分析,对系统资源开销大,主要面向数据量大、查询复杂以读为主的分析类业务。
早期数据量较小,数据库并不区分TP和AP,所有业务都放在一个数据库上,如Oracle既能支持TP负载,也能支持AP负载。随着时间的推移,数据量逐渐增大,受限于当时的技术,一套架构很难满足不同的负载需求,TP和AP开始分开,交易型数据库处理TP负载,数据仓库处理AP负载,中间通过ETL工具将交易型数据库上的数据传输到数据仓库中,当时业务对时效性要求并不高,可以满足业务需求。
实时分析需求不断上升
随着数字化深入,市场变化加快、竞争加剧,无论是移动互联网产品,还是智能制造、智慧城市等新兴场景,企业对数据使用的要求越来越高,需要获得实时洞察指导经营决策。
对于企业来说,以前做数据分析需要将数据从OLTP库ETL到数仓再进行分析,这样的数据分析方法实时能力较弱;随着对更大规模、更复杂的数据集进行实时分析的需求不断上升,催生出了HTAP数据库。
数据库产品的制胜关键
田丰博士介绍,当前众多的HTAP数据库,大概有以下三种技术路线。
一是从TP走向AP,在TP基础上增加AP能力。二是从AP走向TP,在AP的基础上增加TP的能力。三是从一开始同时支持AP和TP。其中有的方案是将一套TP系统和一套AP系统粘合起来,表面上看一套HTAP系统,但是粘合的方案在数据新鲜度和延迟方面难以把控,能力相对会弱一些。而且在一套系统的基础上增加额外的能力,在资源隔离、资源优化方面也会遇到挑战。
矩阵起源在进行MatrixOne产品设计时,较好地兼容了企业的实时分析需求,统一实现 AP、TP、流等不同类型数据和支持不同异构基础设施的应用,保证性能与简便管理。
实际上,用户对数据库的需求并不是简单的TP和AP,用户真正的需求是让写得更好、更准,读得更多、更快,人为地做了很多应用之后就把TP和AP两个数据库分开。云使得资源颗粒度更细且能近似无限地扩展,这意味着对于用户需求的组合可以不像以前那样一定是TP和AP之分。 比如MatrixOne将存储、计算、事务三层解耦,通过完全容器化的设计来实现极致扩展,更细颗粒度地按照数据的操作混合,通过资源隔离优化,充分利用资源,这样的架构创新离不开云的支持。
数据库竞争已进入崭新阶段
在快速变化的时代,基础软件的创新发展需要长期主义,小步迭代快跑,毕竟好的数据库是用出来的,更是在工程上不断迭代优化出来的。
数据库竞争已进入崭新阶段,一切可能刚刚开始。