如何在 Blogger 中添加自定义 Robots.txt 文件

Robots.txt 是一个简单的文本文件，网站管理员使用它来指导搜索引擎和其他网络爬虫如何爬行您的网站，即应该爬行哪些页面或目录。 因此，它在网站的搜索引擎优化（SEO）中发挥着重要作用。

Robots.txt 文件不用于从搜索引擎结果页面 (SERP) 中取消网页索引。 为此，您必须在不想索引的每个网页中添加 noindex robots 元标记。 我们已经讨论过如何在您的 Blogger 博客中。

在本教程中，我们将指导您如何在 Blogger 博客中添加自定义 robots.txt 文件。 我们首先讨论这个 robots.txt 文件在您博客中的位置以及如何访问它。

Blogger 已经为您的博客提供了一个默认的 robots.txt 文件，该文件位于您博客的根目录中：/机器人.txt地址。 按照此分步指南查看您博客的 robots.txt 文件 –

1. 打开 Google Chrome 或任何其他网络浏览器。
2. 在 URL 选项卡中输入完整的博客地址并添加/机器人.txt在地址末尾。 （见下图）

   

3. 现在按 Enter 按钮，它将加载您博客的 robots.txt 文件。

这样，您就可以检查任何网站的 robots.txt 文件，甚至包括 Google 和 Blogger 本身。

使用 Google Search Console 查看博客的 robots.txt

您可以使用 Google Search Console（以前称为 Google 网站站长工具）查看和测试 Blogger 博客上的 robots.txt 文件。 按着这些次序 -

1. 去谷歌搜索控制台并切换到旧版本。
2. 现在打开您的博客属性并转到爬行 > robots.txt 测试器。

   

3. 在这里您可以找到博客的 robots.txt 文件。 如果有任何语法警告和逻辑错误，Google 会将其显示在编辑器下方。
4. 您还可以输入 URL 并测试它是否被任何 Google 网络爬虫（例如 Googlebot、Googlebot-Image、Mediapartners-Google、Adsbot Google 等）阻止。

笔记：您在工具编辑器中所做的任何更改都不会自动保存到博客的网络服务器中。 该工具仅用于测试目的。

使用第三方工具测试 robots.txt 文件

Google Search Console 的 robots.txt 测试器仅允许您测试 Google 网络爬虫的网址。 有许多第三方工具可以帮助您测试 robots.txt 文件。

例如，您可以使用这个robots.txt 验证器和测试工具通过 TechnicalSEO 网站。 只需输入您要测试的任何网站的 URL，然后选择用户代理即可检查该网络爬虫是否阻止了任何文件或目录。

Robots.txt 文件中使用的基本术语

在 Blogger 博客中添加自定义 robots.txt 文件之前，您应该了解 robots.txt 文件中使用的基本术语。

• 用户代理：这用于针对网络爬虫。 您可以提及特定网络爬虫的名称或使用星号
• 用于定位所有网络爬虫的符号。/搜索不允许：它告诉机器人不允许它们抓取哪些页面、文件或目录。 正如你在上图中看到的，
  禁止：/p/page-url.html目录（标签页）被所有网络爬虫阻止。如果您想禁止特定博客文章，请使用以下语法：禁止：/yyyy/mm/post-url.html
  其中 yyyy 和 mm 指的是帖子的年份和月份。 同样，您可以像这样禁止 Blogger 页面：
• 如果“禁止”为空，则表示网络爬虫可以访问您的整个网站。允许： /允许：它告诉机器人哪些页面、文件或目录允许被它们抓取。
• 意味着您网站的所有内容都允许被抓取。网站地图：

您可以在此处添加网站或博客的 XML 站点地图。

如何在 Blogger 中添加自定义 robots.txt 文件

1. 设置 > 搜索首选项Blogger 的搜索首选项设置中有一个选项，允许您在博客上添加自定义 robots.txt 文件。 这是分步指南 –登录您的 Blogger 控制面板并转至
2. 编辑。在爬网程序和索引下，单击
3. 生成您的 robots.txt 文件自定义 robots.txt 选项旁边的链接。现在点击是的按钮并将 robots.txt 文件代码粘贴到框中。 您可以使用在线工具

   

4. 保存更改或手动创建它。最后，点击“

“ 按钮。 就是这样。笔记：

我们建议您不要更改 Blogger 博客的默认 robots.txt 文件。 但是，如果您想要禁止任何网页或目录，请务必非常仔细地测试和验证自定义 robots.txt 文件。