请求 Google 重新抓取您的网址 #
如果您最近向网站添加了新网页或对网站中的现有网页进行了更改,则可以使用下列任一方法请求 Google 将该网页重新编入索引。
通用指南 #
抓取用时可能会从几天到几周不等。请耐心等待,并通过索引状态报告或网址检查工具监控进度。
本文所述的所有方法的响应用时大致相同。
提交各个网址受到配额的限制。
针对同一网址或站点地图多次请求重新抓取不会使抓取速度得到任何提升。
请求抓取的方法 #
使用网址检查工具(只有几个网址) #
您可以使用网址检查工具请求抓取各个网址。请注意,如果您有大量网址,则应改为提交站点地图。
若要将网址提交至索引系统,请执行以下操作:
1.阅读上述常规指南。
2.使用网址检查工具检查网址。
3.选择请求编入索引。该工具会对网址进行实际版本测试,检查网址是否存在任何明显的索引编制问题,如果不存在,此网页将加入索引编制队列。如果该工具发现网页存在问题,您应尝试修正这些问题。
注意:请求抓取并不能保证会立即收录进来,甚至根本不会收录。我们的系统会优先考虑快速收录有用的高质量内容。
提交站点地图(一次提交多个网址) #
站点地图是 Google 发现您网站上网址的重要方法。站点地图也可包含与备用语言版本以及视频、图片或新闻专用网页相关的其他元数据。了解如何创建站点地图。
如果自 Google 上次抓取以来您并未更改站点地图,那么重新提交该站点地图不会获得任何其他好处。如果站点地图中有更新过的网页,请将其标记为 <lastmod>。
您可以通过以下不同方法提醒 Google 注意您的站点地图:
使用站点地图报告提交站点地图。
使用 ping 工具。在浏览器或命令行中向此地址发送 GET 请求,并指定站点地图的完整网址。确保站点地图文件可供访问:
http://www.google.com/ping?sitemap=<full_URL_of_sitemap>
示例:
http://www.google.com/ping?sitemap=https://example.com/sitemap.xml
将下面这行内容插入到 robots.txt 文件中的任意位置,以指定指向您站点地图的路径。我们会在下次抓取您的网站时找到该站点地图:
Sitemap: http://example.com/my_sitemap.xml
减慢 Googlebot 的抓取速度 #
Google 会通过先进的算法确定最佳的网站抓取速度。我们的目标是,每次访问您的网站时都尽可能多地抓取网页,但不会过多地占用服务器的带宽。在某些情况下,Google 抓取您的网站可能会给您的基础架构带来沉重负载,或在服务中断期间带来不必要的成本。为了避免这种情况,您可以决定减少 Googlebot 发出的请求数量。
[mark_b]警告:减慢 Googlebot 的抓取速度将会产生广泛的影响,请谨慎考虑。此举的影响包括:Googlebot 发现的新网页数量会减少,现有网页的刷新频率会降低(例如,价格和商品库存状况可能需要更长时间才能体现在 Google 搜索中),被移除的网页保留在索引中的时间可能会更长。[/mark_b]
如果您决定减慢 Googlebot 的抓取速度,可以采用以下方法:
1.通过 Search Console 减慢抓取速度(推荐做法)
2.让 Google 自动减慢抓取速度
通过 Search Console 减慢抓取速度(推荐做法) #
如需快速减慢抓取速度,您可以在 Search Console 中更改 Googlebot 抓取速度。对此设置所做的更改通常会在几天内得以体现。如需使用此设置,请先验证您的网站所有权。设置抓取速度时,请务必避免将速度值设得过低,无法满足您网站的需求。详细了解抓取预算对 Googlebot 而言有何意义。
让 Google 自动减慢抓取速度 #
如果您急需让抓取速度在短时间(如几个小时或 1-2 天)内减慢,应该返回包含 500、503 或 429 HTTP 结果代码(而非所有内容)的信息性错误页面。在遇到大量包含 500、503 或 429 HTTP 结果代码的网址时(例如,如果您停用了您的网站),Googlebot 会减慢对您网站的抓取速度。这项更改会在 Googlebot 抓取返回这些错误的网址以及整个网站时体现出来。这些错误的数量减少后,抓取速度会自动重新开始提升。