在SQL Server中的关系型数据仓库分区策略(7)

转换性能

在我们的测试中，批量导入的过程后面跟着一个转换过程。转换过程包括将源数据和维度表联接在一起，其目的是为了使用提取的维度键值来填充目标仓库。下面是一段在我们的测试场景中使用的示例代码：

SELECT fact.fact_data_1, 
…
sdim.store_key, pdim.product_key, tdim.time_key
INTO sales_transformed
FROM 
sales fact, 
stores sdim, 
products pdim, 
time tdim
WHERE fact.store_id = sdim.store_id
AND convert(bigint, (fact.system + fact.generation + fact.vendor + fact.product)) 
= pdim.productid 
AND fact.weekid = tdim.weekid

转换查询是连续运行的，一个查询后面紧接着另一个，以致于在策略I中要保存前面的分区架构设置

以下是来自一个分区架构的性能数值，它是基于策略II的并且所有的线程都是以并行方式执行的。

索引构建性能

在我们的测试中，我们可以用2个小时在跨越拥有25亿行数据的八个分区的三个整型列（维度键）上创建一个聚簇索引。其中的SORT_IN_TEMPDB选项允许tempdb数据库被用来对数据进行排序。在这个测试过程中使用这个选项来隔离在索引建立过程中用来读写的物理磁盘。当'sort_in_tempdb'选项设置为on时，tempdb数据库必须有足够的剩余空间在离线的索引创建过程中用来放置整个的索引。当排序在一个用户数据库中完成时，每个文件组/分区需要有足够的剩余空间来放置相应的分区。

在我们的消费者场景和设计中，每个分区逻辑的代表了一周的有效数据，这些数据带有一个和在任何给定的分区中所有的行相同的键值。对于每个单独的索引建立的parallelism的级数只能是1，因为distinct关键字值的数量是1。因而，在SQL Server 2005中我们在创建了分区表之后再创建起始索引的做法让起始索引的建立更好的利用了可用的处理器资源。

数据库备份性能

在我们的测试中，我们花了一个小时多一点的时间来备份活动分区到4个RAID 3 LUNs on EMC CLARiiON存储系统。活动分区分布在跨越8个LUN's的一个RAID 5 (4+1 10K RPM) EMC CLARiiON阵列上。目标设备是一个RAID 3 (4+1, 5K RPM ATA) CLARiiON阵列。

老化数据到ATA 磁盘

老化数据到ATA磁盘包括使用SELECT/INTO语句批量导入数据。以下是一段用来实现滑动窗口的代码示例。

ALTER DATABASE [Customer]  
ADD FILEGROUP [ARCHIVE_1]
GO
ALTER DATABASE [Customer]  
ADD FILE (NAME = N'ARCHIVE_1', FILENAME = N'F:\ATA\RAID5\2\ARCHIVE_PARTITION_1.NDF', 
SIZE = 100GB, FILEGROWTH = 0)
TO FILEGROUP [ARCHIVE_1]
GO
ALTER DATABASE Customer MODIFY FILEGROUP [ARCHIVE_1] DEFAULT
GO
SELECT * INTO iri..Sales_129_ARCHIVE
FROM VISF 
WHERE TIME_KEY = 129
OPTION (MAXDOP 1)

一个等价于在现存的分区表上的聚簇索引的聚簇索引必须在新的表上创建，以便能够随后交换进分区表。在我们的测试中，我们使用了SELECT/INTO来滑出第一个有2.79亿行的老化分区到一个ATA磁盘阵列，整个过程用了不到20分钟。在同样的表上创建聚簇索引用了不到40分钟。

附录 B: 平台列表

以下的硬件和软件部件是用来进行本文中所描述的测试的：

Microsoft 软件
Microsoft Windows Server™ 2003 数据中心版 Build 3790
Microsoft SQL Server 2005 Beta 2

服务器平台
64-位 Unisys ES7000 Orion 130
16 Itanium 2 1.30 GHz CPUs 带有 3 MB 缓存
64 GB 内存

存储
EMC Symmetrix 5.5
- 96, 72 GB 10 KB RPM 磁盘 16 GB 读写缓存
EMC CLARiiON FC4700
- 155, 133.680 GB, 10 KB RPM磁盘16 GB读写缓存
- 30, 344 GB, 5 KB RPM磁盘(ATA)

主机总线适配卡
8 Emulex LP9002L 2 GB/秒光纤通道主机总线适配卡
所有的适配卡映射到CLARiiON 存储阵列，可以通过Powerpath 软件实现负载均衡

存储管理软件
EMC Powerpath v 3.0.5