数据库切分技巧

时间:2019-07-01作者:klpeng分类:IT综合浏览:168评论:0

1、垂直切分

(1)按照功能模块进行切分

    例如:一个购物网站有以下常见的功能模块:订单、购物车、查询、支付。

(2)按照表进行拆分

    一个表中某些列很常用,另外一些不常用,则可以进行垂直分割,把主码和一些列放到一个表,然后把主码和另外的列放到另外一个表。

    这样做的好处在于:数据行数会变小,一个数据页就能存放更多的数据,在查询时,会减少IO次数。

    缺点在于:需要管理冗余列,查询所以数据需要join操作。

 

垂直切分优缺点:

优点:

(1)数据库拆分简单明了,拆分规则明确。

(2)应用程序模块清晰明确,整合容易。

(3)数据维护方便易行,容易定位。

缺点:

(1)部分表关联无法在数据库级别完成,需要在程序中完成。

(2)对于访问极其频繁并且数据量超级大的表仍然存在性能瓶颈,不一定能满足要求。

(3)事务处理相对更为复杂。

(4)切分达到一定程度之后,扩展性(维护性)会遇到限制。

(5)过多切分可能带来系统过度复杂而难以维护。

 

2、水平切分

单表数据量过大,访问速度过慢,维护比较麻烦,需要对表进行拆分。

常规拆分规则:

按照实际用的字段进行拆分。

(1)按照范围进行拆分,orderid:1-10000,10001-20000......

(2)按照订单创建时间进行拆分,createdate

(3)按照orderid取模,orderid%N

(4)按照枚举值进行拆分,areacode

水平切分的优缺点:

优点:

(1)表关联基本能在数据库端全部完成。

(2)不存在某些超大型数据量和高负载的表遇到瓶颈的问题。

(3)应用程序端整体架构改动相对较少。

(4)事务处理相对简单。

(5)只要切分规则能够定义好,基本上较难遇到扩展性限制。

缺点:

(1)切分规则相对较为复杂,很难抽象出一个能够满足整个数据库的切分规则。

(2)后期数据的维护难度有所增加,人为手工定位数据更困难。

(3)应用系统各模块耦合度较高,可能会对后面数据的迁移拆分造成一定的困难。

 

3、联合切分

联合切分的优点:

(1)可以充分利用垂直切分和水平切分各自的优势而避免各自的缺陷。

(2)让系统扩展性得到最大化提升。

联合切分的缺点:

(1)数据库系统架构比较复杂,维护难度更大。

(2)应用程序架构也相对更复杂。

 

4、解决思路

总的来说存在两种解决思路:

(1)在每个应用程序木块中配置管理自己需要的一个(或多个)数据源,直接访问各个数据库,在模块内完成数据的整合。

(2)通过中间代理层来统一管理所有的数据源,后端数据库集群对前端应用程序透明。

 

5、数据库中间件

常见的数据库中间件:

TDDL处于停滞状态

Amoeba处于停滞状态

Cobar处于停滞状态

MyCAT社区非常活跃

MyCAT又是在Cobar基础上发展的版本,两个显著点是:后端由BIO(同步阻塞IO)改为NIO(同步非阻塞IO),并发量有大幅提高增加了对order by、group by、limit等聚合功能的支持(虽然Cobar也可以支持order by、group by、limit语法,但是结果没有进行聚合,只是简单返回给前端,聚合功能还是需要业务系统自己完成)。

打赏
文章版权声明:除非注明,否则均为彭超的博客原创文章,转载或复制请以超链接形式并注明出处。
相关推荐

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

猜你喜欢