利用 robots.txt 测试工具的提交功能,您可以轻松进行设置并请求 Google 以更快的速度为您的网站抓取新的 robots.txt 文件并将其编入索引。请按照以下步骤更新您的 robots.txt 文件,并将具体更改告知 Google。
1、点击 robots.txt 编辑器右下角的提交。系统会打开“提交”对话框。
2、点击“提交”对话框中的下载,从 robots.txt 测试工具页面下载修改后的 robots.txt 代码。
3、将新的 robots.txt 文件以文本文件的形式上传到您所在网域的根目录下,名称仍为 robots.txt(该 robots.txt 文件的网址应为 /robots.txt)。
[mark_e]
※如果您无权将文件上传到您所在网域的根目录下,我们建议您请网域管理员更改您的权限。
例如,如果您网站的首页位于 subdomain.example.com/site/example/ 下,那么您可能无法更新 robots.txt 文件 subdomain.example.com/robots.txt。在这种情况下,我们建议您请 example.com/ 的所有者对 robots.txt 文件进行必要的更改。
[/mark_e]
4、点击验证当前使用的版本,以查看您当前使用的 robots.txt 是否是您希望 Google 抓取的版本。
5、点击提交当前使用的版本,以通知 Google 您已对 robots.txt 文件进行了更改,并请求 Google 抓取该文件。
6、在浏览器中刷新页面,以便更新该工具的编辑器并查看您当前使用的 robots.txt 代码,从而确定 Google 是否已成功抓取您的最新版本。在刷新页面后,您还可以点击文本编辑器上方的下拉菜单,以便查看 Google 首次发现您的 robots.txt 文件最新版本时的时间戳。