SQL Server 2005全文检索技术在网站上的应用实录(2)

SQL Server中的全文搜索的体系结构如下所示。

图1

让我们逐一介绍两类重要的引擎及其在整个体系结构中的重要作用。

Full-Text Engine for SQL Server (MSFTESQL)

MSFTESQL 服务负责进行下列操作：

◆填充全文索引。
◆管理全文索引和全文目录。
◆帮助对 SQL Server 数据库中的表进行全文搜索。

让我们来看看SQL Server 2005全文索引的过程

全文填充（也称为爬网或爬虫）开始后，数据库引擎会将大批数据存入内存并通知 Microsoft SQL Server 全文引擎 (MSFTESQL) 服务开始进行索引。MSFTESQL 服务将对表的某一列或几列中的字符和格式化二进制数据编制索引。全文引擎将使用协议处理程序组件从内存中取出数据并进行进一步处理，从而生成全文索引。

对存储在 varbinary(max) 或 image 列中的数据编制索引时，筛选器（实现了 IFilter 接口）将基于为该数据指定的文件格式（例如，Microsoft Word）来提取文本。在某些情况下，筛选器组件会要求将 varbinary(max) 或 image 数据写到服务帐户 Temp 目录中，而不是将其存入内存。

在处理过程中，通过断字符将收集到的文本数据分隔成各个单独的标记或关键字。用于标记化的语言将在列级指定，或者也可以通过筛选器组件在 varbinary(max)、image 或 xml 数据内标识。

还可能执行其他处理以删除干扰词并在将标记存储到全文索引或索引片断中之前将这些标记规范化。

Microsoft Full-Text Engine for SQL Server 的功能

SQL Server 2005 为全文引擎提供了并行安装方式。这意味着对于每个 SQL Server 实例，都存在一个专用的 MSFTESQL 实例，其中包括专用的组件（例如断字符和筛选器）、资源（例如内存）和配置（例如服务级设置，实例级的 resource_usage 是一个更具体的例子）。单个 MSFTESQL 服务实例可管理相关联的 SQL Server 实例的全文索引。利用 MSFESQL 服务，SQL Server 可超出 SQL 标准对字符串列执行更为复杂的搜索。

MSFTESQL 服务担当了以下角色：

索引支持

MSFTESQL 实现了为数据库定义的全文目录和索引。

查询支持

MSFTESQL 可处理全文搜索查询并确定索引中符合全文选择条件的项。对于符合选择条件的每一项，MSFTESQL 将向 SQL Server 服务返回相应行的标识外加一个排名值，而后者将使用这些信息来构造查询结果集。所支持的查询类型包括：

◆搜索词或短语。
◆搜索位置邻近的词。
◆搜索词的变形。

可管理性支持

全文目录和索引不会存储在 SQL Server 数据库中。MSFTESQL 服务负责管理全文目录。

Microsoft Full-Text Engine Filter Daemon

MSFTEFD 由负责从表中访问和筛选数据以及进行断字和词干分析的组件组成。

◆筛选器

筛选器的任务是从文档中提取文本化信息流，并舍弃所有非文本化信息和格式化信息。筛选器将生成文本字符串和属性/值对，并依次将它们传递给索引引擎。

筛选器可从特定的文档格式（如 Microsoft Word 文档或文本文件）中提取文本化信息。例如，Microsoft 提供了 Microsoft Office 筛选器，此筛选器可以从 Word、Microsoft Excel 和 Microsoft PowerPoint 文件中提取文本和属性。其他筛选器用于处理 HTML 或电子邮件。还可以使用第三方筛选器。

◆SQL 协议处理程序

在 SQL Server 2005 中，SQL 协议处理程序的工作是从指定数据库中的表内访问数据。

断字符

断字符是用于在查询或抓取的文档中确定字符流中的字符边界位置。有关详细信息。

全文搜索的索引组件负责全文索引的初始填充，以及当全文索引表中的数据被修改时该索引的后续更新。为了提升全文索引过程的效率，Microsoft SQL Server 2005 改进了全文收集机制的体系结构，从而大大增强了性能。

Microsoft Full-Text Engine for SQL Server (MSFTESQL) 服务是一个全文索引和搜索引擎。MSFTESQL 引擎基于 Microsoft Search (MSSearch) 技术，它与 Microsoft SQL Server 2005 Database Engine 进行了最为紧密的集成。

全文引擎作为 MSFTESQL 服务在操作系统上运行。SQL Server 与 MSFTESQL 必须拥有相同的服务帐户。默认情况下将安装 MSFTESQL 服务，但是只有在使用全文搜索时才会运行此项服务。