武汉热线主页 > 资讯 > 正文 >

聊一聊htap数据库的挑战与机遇

2024-10-21 09:51:19 来源:互联网 阅读:-
【摘要】

根据艾瑞咨询研究室发布的《2022年中国数据库研究报告》,过去,htap数据库的技术结构主要是扩展主存储技术,并在存储的基础上添加存储方式。随着分布式技术的不断成熟,htap数据库自然得到适应,因此分布式结构已经启动,以满足高并发需求。

ocean base是一个金融级分布式关系数据库,在存储引擎、分布式事务、水平扩展、多副本、高可用性、多活容灾、htap等多个方向都有关键的技术突破和竞争力。ocean base最初的分布式计算引擎,可以使系统中的多个计算节点同时运行OLTP类型的应用和复杂的OLAP类型的应用,使数据库利用率最大化,同时利用多个节点的计算能力,完成对OLTP和OLAP应用的支持。

目前,htap数据库的概念和内涵与2014年htap刚刚提出的大不相同。随着它的不断发展,它也面临着许多问题。例如,自动选择htap工作负载、自适应htap资源调度、学型htap查询优化器、htap基准测试套件等是当前的一个重要问题。接下来就一起讨论一下htap数据库的挑战和机遇

1、htap工作负荷的自动列选择

给出一个htap工作负载,从行存储中选择哪些列进入内存存储是一项重要任务。但是,现有的方法严重依赖于历史统计数据来选择列入内存。这种方法是通过运行所有查询来推荐的,所以成本高,不灵活。

2、自适应htap资源调度

htap资源调度有助于数据库平衡工作负载隔离和数据新鲜度之间的平衡。这是通过调整OLAP和OLTP的执行模式来实现的。OLAP和OLTP工作负载的隔离执行有利于高吞吐量,但数据新鲜度较低。共享和执行混合工作负载有利于高数据新鲜度,但对工作负载有很强的干扰。

3、学型htap查询优化器

现有方法利用成本函数选择htap数据库中行存储和列存储的访问路径,以优化查询。然而,他们做出统一和独立的假设来估计行/列的大小,然后用这些估计来衡量行存储和列存储的扫描成本。由于成本估计不准确,这种方法对相关和倾斜的数据有问题。

4、htap基准套件

有人指出,TCP-H分布均匀,跨列相关性小,对OLAP的测试提出了一些挑战。所以,htap基准测试中带有TCP-H的基准测试应将有偏差的连接交叉相关关系纳入基准测试。

综上所述,htap数据库作为一种融合了事务处理和分析处理的新兴技术,面临着诸多挑战和机遇。通过克服数据一致性和性能优化等方面的挑战,htap数据库能够为企业提供实时的数据分析和决策支持,提高竞争力。同时,开源性质也为htap数据库的发展带来了机遇,通过开源社区的力量推动技术的创新和共享。然而,我们也要意识到htap数据库仍然面临着一些挑战,如数据一致性和性能优化等方面的问题。因此,我们需要不断探索和改进,以适应不断变化的业务需求。


推荐阅读:旗龙网