6.16-1Google 抓取工具（用户代理）概览

“抓取工具”是一个统称，泛指通过跟踪从一个网页指向另一个网页的链接自动发现并扫描网站的任何程序（如漫游器或“蜘蛛”程序）。Google 的主要抓取工具叫作 Googlebot。下表列出了在引荐来源网址日志中经常会看到的 Google 抓取工具的相关信息，以及在 robots.txt、漫游器元标记和 X-Robots-Tag HTTP 指令中指定这些抓取工具的方式。

下表显示了 Google 的各种产品和服务所使用的抓取工具：

• 当您为网站编写抓取规则时，应在 robots.txt 文件中的 User-agent: 行内使用用户代理令牌，以便与某种类型的抓取工具匹配。如表中所示，某些抓取工具有多个令牌，但您只需使用与相应抓取工具匹配的 1 个令牌，即可应用规则。此列表并不完整，但涵盖了您在自己的网站上可能会看到的大多数抓取工具。
• 完整的用户代理字符串是对抓取工具的完整描述，会出现在请求和网站日志中。

robots.txt 中的用户代理 #

如果 Google 在 robots.txt 文件中识别出多个用户代理，它会跟踪最具体的用户代理。如果您希望 Google 的所有抓取工具都能够抓取您的网页，则您根本不需要 robots.txt 文件。如果您希望禁止或允许 Google 的所有抓取工具访问您的某些内容，您只需将 Googlebot 指定为用户代理即可。例如，如果您希望 Google 搜索范围包括您的所有网页，并且您的网页能够显示 AdSense 广告，您就不需要 robots.txt 文件。同样，如果您希望 Google 的所有抓取工具都不能访问您的某些网页，您可以禁止用户代理 Googlebot，这会一并禁止 Google 的所有其他用户代理。

不过，如果您希望更加精确地控制抓取范围，您可以将设置进一步具体化。例如，您可能希望 Google 搜索范围包括您的所有网页，但不希望 Google 抓取您个人目录中的图片。在这种情况下，您可以使用 robots.txt 禁止用户代理 Googlebot-image 抓取 /personal 目录中的文件（同时允许 Googlebot 抓取所有文件），具体如下：

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal

再举个例子，假设您希望自己的所有网页上都显示广告，但不希望这些网页出现在 Google 搜索结果中。这时，您可以禁止 Googlebot，同时允许 Mediapartners-Google，具体如下：

User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

漫游器元标记中的用户代理 #

某些网页会使用多个漫游器元标记针对不同的抓取工具指定不同的指令，例如：

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

在此示例中，Google 会使用所有否定指令，因此 Googlebot 将同时遵循 noindex 和 nofollow 指令。详细了解如何控制 Google 抓取您的网站并将其编入索引。