若想阻止某个网页出现在 Google 搜索结果中,您可以在该网页的 HTML 代码中添加 noindex 元标记,或在 HTTP 请求中返回 noindex 标头。当 Googlebot 下次抓取该网页并发现该标记或标头时,就会完全阻止该网页出现在 Google 搜索结果中,不论是否有其他网站链接到该网页。
实施 noindex #
实施 noindex 的方法有两种:将其作为元标记实施,或作为 HTTP 响应标头实施。这两种方法的效果相同,从中选择更方便您网站采用的那一种方法即可。
<meta> 标记 #
若想阻止大部分搜索引擎网页抓取工具将您网站中的某个网页编入索引,请将以下元标记放入该网页的 <head> 部分中:
<meta name="robots" content="noindex">
若想仅阻止 Google 网页抓取工具将网页编入索引,请放入以下元标记:
<meta name="googlebot" content="noindex">
请注意,某些搜索引擎网页抓取工具对 noindex 指令可能会有不同的解读,因此,您的网页可能仍会出现在其他搜索引擎的结果中。
HTTP 响应标头 #
除了使用元标记,您还可在响应中返回一个值为 noindex 或 none 的 X-Robots-Tag 标头。下面是一个 HTTP 响应示例,其中含有一个 X-Robots-Tag,用于指示抓取工具不要将某个网页编入索引:
HTTP/1.1 200 OK (…) X-Robots-Tag: noindex (…)
帮助我们发现您的元标记 #
我们只有在抓取您的网页后才能看到元标记。如果您的网页仍出现在搜索结果中,可能是因为在您添加标记之后我们尚未抓取过您的网站。您可以使用网址检查工具请求 Google 重新抓取您的网页。此外,也可能是因为您的 robots.txt 文件阻止 Google 网页抓取工具访问该网址,因此我们无法发现此标记。要允许 Google 访问您的网页,您必须修改 robots.txt 文件。您可以使用 robots.txt 测试工具修改和测试 robots.txt。