老虎机游戏 10亿左右的数据量mongodb可以胜任吗还是说需要使用Hbase这种数据库
你的位置:老虎机游戏 > 博彩问答 >

10亿左右的数据量mongodb可以胜任吗还是说需要使用Hbase这种数据库

发布日期:2022-03-29 19:33    点击次数:161

10亿左右的数据量mongodb可以胜任吗还是说需要使用Hbase这种数据库

如果你的主要需求是查询,那么hbase显然不符合你的需求,因为hbase擅长于写多读少的场景,它的region结构主要是面向列簇在memstore中也就是内存中缓冲写入的近期数据,然后定期定量刷新到磁盘上,这种机制非常有利于高速写入,在查询上查询近期热点数据的优势很明显博彩问答,从memstore中查询近期数据博彩问答,从专门用于缓存的blockcache中,查询热点数据,因为它基于LRU机制。
但是作为模糊查询这就有问题了,模糊查询的效率关键在于二级索引,但是hbase的设计主要是通过行键实现列簇下,面向一级索引的lsm-tree结构,配合布隆过滤器,实现高效的数据扫描匹配。模糊查询往往需要借助Mr或者spark计算引擎来实现,因此非常不适合模糊查询的需求。
相比较下,MongoDB更适合你的需求,它具有和传统数据库一样的,构建在B树索引之上,具有成熟的字段二级索引,非常适合模糊查找,但是MongoDB对于集合join关联查询并不行,往往需要文档嵌套结构或者多次文档查找来解决,因此关键看你的需求这种文档关联的查询是否多,如果不是很复杂的关联,那么MongoDB的集合分片shard可以更好的对十亿级数据集合进行切分,分布在不同的副本节点上,通过路由器实现多点查询,单点聚合,那么十亿级数据的模糊查找问题不算大。
关键是看MongoDB关联操作的复杂性有多大,是否影响查询效率。要是特别复杂的业务关联查找,最好考虑优化MySQL分区或者postgresql并行这种单机模式是否能快速查询解决,或许查询效果会更好,再或者考虑tidb这种分布式关系数据库来解决。

守护石1 次咨询5.0西安守护石信息科技有限公司 创始人2099 次赞同去咨询

友情链接:

TOP