6.6-4.1通过 robots.txt 阻止访问-robots.txt 简介

什么是 robots.txt 文件？ #

robots.txt 文件规定了搜索引擎抓取工具可以/无法请求抓取您网站上的哪些网页或文件。此文件主要用于使您的网站避免收到过多请求；它并不是一种阻止 Google 访问某个网页的机制。若想阻止 Google 访问某个网页，您应使用 noindex 指令，或者使用密码保护该网页。

robots.txt 的作用是什么？ #

robots.txt 主要用于管理流向您网站的抓取工具流量，通常用于阻止 Google 访问某个网页（具体取决于文件类型）：

我使用了网站托管服务 #

如果您使用了 WIX、Drupal 或 Blogger 等网站托管服务，则可能无需（或无法）直接修改 robots.txt 文件。您的托管服务提供商可能会通过显示搜索设置页面或其他某种方式，告知搜索引擎是否应抓取您的网页。

若要查看您的网页是否已被 Google 抓取，请在 Google 中搜索该网页的网址。

如果您想向搜索引擎隐藏/取消隐藏网页，则需添加/移除可能存在的任何网页登录要求，并搜索以下说明：如何在托管服务上修改网页在搜索引擎中的可见性，例如：使用 Wix 向搜索引擎隐藏网页

了解 robots.txt 的限制 #

在创建或修改 robots.txt 之前，您应该了解这种网址屏蔽方法的限制。有时候，您可能需要考虑采用其他机制来确保搜索引擎无法在网络上找到您的网址。

1.并非所有搜索引擎都支持 robots.txt 指令

robots.txt 文件中的命令并不能强制规范抓取工具对网站采取的行为；是否遵循这些命令由抓取工具自行决定。Googlebot 和其他正规的网页抓取工具都会遵循 robots.txt 文件中的命令，但其他抓取工具未必也会如此。因此，如果您想确保特定信息不会被网页抓取工具抓取，我们建议您采用其他屏蔽方法，例如用密码保护服务器上的隐私文件。

2.不同的抓取工具会以不同的方式解析语法

虽然正规的网页抓取工具会遵循 robots.txt 文件中的指令，但每种抓取工具可能会以不同的方式解析这些指令。您需要好好了解一下适用于不同网页抓取工具的正确语法，因为有些抓取工具可能会无法理解某些命令。

3.如果其他网站上有链接指向被 robots.txt 文件屏蔽的网页，则此网页仍可能会被编入索引

 尽管Google 不会抓取被 robots.txt 屏蔽的内容或将其编入索引，但如果网络上的其他位置有链接指向被禁止访问的网址，我们仍可能会找到该网址并将其编入索引。因此，相关网址和其他公开显示的信息（如相关页面链接中的定位文字）仍可能会出现在 Google 搜索结果中。若要正确阻止您的网址出现在 Google 搜索结果中，您应为服务器上的文件设置密码保护，或者使用 noindex 元标记或响应标头（或者彻底移除网页）。

注意：结合使用多种抓取和索引编制指令可能会导致某些指令与其他指令冲突。请参阅 Google Developers 文档的“如何合并使用抓取指令与索引编制/内容显示指令”部分，了解如何正确配置这些指令。

测试网页以验证 robots.txt 的屏蔽效果 #

您可以测试某个网页或资源是否已被 robots.txt 规则禁止访问。

若要测试 noindex 指令的网页屏蔽效果，请使用网址检查工具。