Sybase VLDB（海量数据库系统）解决方案(1)

随着市场和业务模式不断细化，系统功能日益增强，应用操作将产生比以往更多的生产型数据，同时企业对历史数据分析的需求也在不断增加，因此将会不可避免的引起业务数据的极度膨胀。我们现在已经看到，越来越多地数据系统达到几百GB甚至于TB级以上的容量。如何建设如此巨大的数据库应用系统，用户需要从多方面加以考察，其中包括系统运行绝对性能、投资回报率（ROI）、系统运行风险和数据可管理性等多方面的因素，以得到一个最优的综合解决方案。

当今许多数据库厂商的产品所支持的数据量已达到TB级。但是对VLDB的支持不仅仅指的是在数据库中的容量——VLDB并不仅仅意味着简单地将所有数据存入一张表，VLDB的性能将涉及到数据库管理的所有方面：日常管理、数据加载、索引建立、运行性能等等。同时还需要支持大量用户连接和大的工作负荷。只有在此基础上保持良好的运行性能才能构成超大型数据库，即：任何针对VLDB的成功的解决方案应该是、也必须是一个完整的解决方案。

VLDB处理方式分析

当前通常的VLDB解决方案更多的是从数据存储优化的角度解决我们所面临的困难，较少关注影响VLDB性能的其他技术因素如日常管理、灾难恢复和系统可用性等方面。

从数据存储技术发展史来看，整个数据存储的发展过程是一个集中-分割-再集中-再分割这样一个循环往复的过程。这个过程也是需求不断拉动数据存储技术发展的过程。

现将一些常用的VLDB存储技术归纳如下：

◆分表技术
分表技术是最早使用的VLDB数据存储技术，早在dBase和Foxbase时代，人们就开始使用分表技术，来弥补PC性能较低，单个表数据量过大，会影响性能的缺陷。

◆表分区技术
表分区技术就是将表根据一定的条件和需求划分为多个分区，每个分区都是一个逻辑实体，是表的一个子集，用户可以象操作单表一样对表分区进行操作，可以根据应用操作的实际需求确定分区的数据管理模式，如针对不同操作可以在相应的分区上建立不同的索引机制，选择不同的并行方式等等。表分区为系统提供了更有效的数据组织方式，为VLDB和并行处理的实现提供了基础。表分区是目前大多数数据库厂家普遍使用的一种VLDB管理和存储技术。

◆Look- through 技术
Look-through技术是一种VLDB数据存储管理方式，它有效地结合了分布式技术和分表技术。通过在本地数据库建立其它数据库系统的视图或代理表，使应用通过访问一个本地小数据库而真正访问远程多个复杂数据库成为可能。

Look- through 技术大大减低了系统开发和管理的难度，对于开发者而言，其处理的只是一个逻辑数据库,数据库的物理位置对开发者是透明的。同时也降低了单点VLDB数据管理的复杂度和软硬件开销。同时不论是表分区，还是分表技术，都建立在同一类型的单一数据库系统之上，而Look- through为异构数据库的VLDB也提供了可能。

◆应用分割
不论是分表、表分区还是Look-through技术，其采取的都是一种数据分割的途径，在现实世界中，也有很多系统在使用数据分割的同时结合了应用分割的方式。通过应用分割为功能相对独立的功能模块单独建立业务系统。各系统之间的内部业务连续可通过分布式事物处理或应用集成来实现。

与其它技术相比，应用分割更像是一种设计方案、思路和经验，而不是一种技术，但由于应用的实际需求，目前，大多系统都在设计中采用了应用分割概念。

通过以上分析，我们可以看到不论是历史的还是现存的VLDB数据存储方案，都有自己特定的技术背景、特点和应用市场。并且各种技术之间并不是互相对立矛盾的，应充分合理地运用一切存储及优化技术，保证VLDB系统的高效运行。

Sybase公司VLDB解决方案

Sybase公司作为主要的数据库软件供应商，在全球拥有丰富的建立和实施VLDB系统的实际经验，用户遍及金融、电信、交通、制造等诸多行业。根据用户的需求和VLDB对数据库系统各方面的要求，Sybase公司的VLDB解决方案主要包括VLDB数据库存储技术、VLDB数据库性能优化以及VLDB数据维护三部分。

1.VLDB数据库的存储技术

根据业务的不同需求，Sybase公司将数据的存储主要细分为：分析型VLDB的数据存储和交易型VLDB的数据存储两种模式，针对不同的需求用户可以采用不同的方式。

◆交易型VLDB的数据存储

不言而喻，在交易速度和VLDB之间存在着固有的矛盾。高并发和高交易量往往是VLDB的最直接的原因，但由于关系型数据库的数据存储和索引的特点，数据的基数越大，相应的索引查找和数据搜索的时间也就越长，造成交易速度下降。

Sybase数据库管理系统集成了多种技术，支持用分表、表分区和Look-through的技术方法来解决大数据量管理的解决，同时应用系统也可以在Sybase数据库上利用应用分割的方法解决VLDB的管理问题。

◆分析型VLDB数据存储

分析型业务系统和交易型业务系统明显具有不同的特点。分析型业务系统往往专注于一个或几个事实数据如产品的销售情况、生产系统的次品率等，需要对长期以来的业务状况进行分析。Sybase的数据垂直分区技术正是针对分析型VLDB的这些特点而设计的。在数据垂直分区的管理结构下，不同的数据分类存放，保证了数据的快速和高效率的访问，极大地提高了在VLDB环境下的业务系统性能。

在数据垂直分区的基础上，Sybase在分析型业务系统中引入了专利的bitwise索引技术。Sybase的bitwise索引技术包含了常规的bitmap索引，同时又进行了特别的扩充，根据业务数据类型的不同实现了多种索引技术如：Fast Projection，Low Fast，High Group和High Non-Group。Bitwise索引的最显著特点就在于它在数据垂直分区的基础上，又对数据进行了按位(bit)的分割和存储，大大加快了数据定位和存取访问的速度，同时又为数据压缩提供了基础，控制了VLDB业务环境下数据膨胀速度。