什么是Robots.txt文件？
Robots.txt是网站所有者创建的一个文本文件，用于告诉搜索引擎机器人如何抓取和索引其站点上的页面。它通常存储在您的网站的根目录（也称为主文件夹）中。Robots.txt文件的基本格式如下：
User-agent: [user-agent名称]
Disallow: [不允许抓取的URL字符串]
User-agent: [user-agent名称]
Allow: [允许抓取的URL字符串]
Sitemap: [您的XML Sitemap的URL]您可以有多行指令来允许或不允许特定的URL并添加多个站点地图。如果您不禁止某个URL，那么搜索引擎机器人会假设他们被允许抓取它。下面是一个例子的robots.txt文件：
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml在上述robots.txt示例中，我们允许搜索引擎抓取和索引WordPress上传文件夹中的文件。之后，我们禁止搜索机器人抓取和索引插件和WordPress管理文件夹。最后，我们提供了XML站点地图的URL。
是否需要为您的WordPress站点创建一个Robots.txt文件？
如果您没有robots.txt文件，搜索引擎仍然会抓取和索引您的网站。然而，您将无法告诉他们哪些页面或文件夹不应该抓取。当您刚开始写博客时，这影响不大，因为您还没有很多内容。但随着网站的发展，您可能希望更好地控制网站的抓取和索引。这里是为什么原因。
搜索机器人对每个网站都有抓取配额。这意味着他们在一个抓取会话中会抓取一定数量的页面。如果他们在完成抓取所有页面之前用完抓取预算，他们将在下一个会话中回来继续抓取。这可能会减慢您网站的索引速度。通过禁止搜索机器人尝试抓取不必要的页面，如您的WordPress管理页面、插件文件和主题文件夹，您可以节省抓取配额。这有助于搜索引擎更快地抓取和索引您网站上的更多页面。
一个理想的Robots.txt文件应该是什么样的？
许多流行的博客使用一个非常简单的robots.txt文件。其内容可能根据每个站点的需要有所不同：
User-agent: *
Disallow:
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml这个robots.txt文件允许所有搜索机器人索引所有内容，并提供链接到网站的XML站点地图。对于WordPress站点，我们建议在robots.txt文件中使用以下规则：
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml这告诉搜索机器人索引所有的WordPress图像和文件。禁止搜索机器人索引WordPress管理区域、readme文件和隐藏的联盟链接。通过将站点地图添加到robots.txt文件，您可以使Google机器人更容易找到您网站上的所有页面。
现在您知道理想的robots.txt文件应该是什么样的，让我们看看如何在WordPress中创建robots.txt文件。
如何在WordPress中创建Robots.txt文件
方法一：使用All in One SEO编辑Robots.txt文件
All in One SEO（简称AIOSEO）是市场上最好的WordPress SEO插件，被超过300万个网站使用。它易于使用，并附带一个robots.txt文件生成器。如果您尚未安装AIOSEO插件，请参阅我们的逐步指南如何安装WordPress插件。
注意：AIOSEO也有一个免费版本，并且具有这个特性。
安装并激活插件后，您可以直接从WordPress管理区域创建和编辑您的robots.txt文件。只需转到All in One SEO » 工具来编辑您的robots.txt文件。
首先，您需要通过点击“启用自定义robots.txt”切换按钮将其开启。启用后，您可以在WordPress中创建一个自定义的robots.txt文件。
所有操作SEO会在屏幕底部的“Robots.txt预览”部分显示现有robots.txt文件。这一版本将显示WordPress默认添加的规则。这些默认规则告诉搜索引擎不要抓取核心的WordPress文件，允许机器人索引所有内容并提供网站XML站点地图的链接。现在，您可以添加自定义规则以改进您的robots.txt以提升SEO。
要添加规则，在“用户代理”字段中输入用户代理。使用“*”适用于所有用户代理。然后，选择是否希望允许或禁止搜索引擎抓取。接下来，在“目录路径”字段中输入文件名或目录路径。规则会自动应用到您的robots.txt文件。若要添加另一条规则，只需点击“添加规则”按钮。我们建议添加规则直到创建出我们之前分享的理想robots.txt格式。您的自定义规则将如下所示。
完成后，不要忘记点击“保存更改”按钮以存储您的更改。
方法二：使用WPCode编辑Robots.txt文件
WPCode是一个强大的代码片段插件，可让您轻松、安全地添加自定义代码到您的网站。它还包括一个方便的功能，可让您快速编辑robots.txt文件。
注意：WPCode也有一个免费插件，但它不包括文件编辑功能。
首先，您需要安装WPCode插件。有关逐步说明，请参阅我们初学者指南如何安装WordPress插件。激活后，您需要导航到WPCode » 文件编辑器页面。到达那里后，只需点击“robots.txt”标签来编辑文件。现在，您可以粘贴或输入robots.txt文件的内容。完成后，确保点击页面底部的“保存更改”按钮以存储设置。
方法三：使用FTP手动编辑Robots.txt文件
此方法需要使用FTP客户端来编辑robots.txt文件。或者，您可以使用WordPress主机提供的文件管理器。只需使用FTP客户端连接到您的WordPress网站文件。进入后，您将能够在网站的根文件夹中看到robots.txt文件。如果没有看到，那么您可能没有robots.txt文件。在这种情况下，您可以直接创建一个。Robots.txt是一个纯文本文件，这意味着您可以将其下载到您的计算机上并使用任何纯文本编辑器如Notepad或TextEdit进行编辑。保存更改后，您可以将robots.txt文件上传回网站的根文件夹。
如何测试您的Robots.txt文件
创建robots.txt文件后，使用robots.txt测试工具来测试它是一个好主意。虽然有许多robots.txt测试工具，但我们推荐使用Google Search Console中的工具。首先，您需要将网站链接到Google Search Console。如果尚未完成，请参阅我们的指南如何将WordPress站点添加到Google Search Console。然后，您可以使用Google Search Console Robots测试工具。只需从下拉列表中选择您的属性。工具会自动获取您的网站的robots.txt文件，并在发现错误和警告时高亮显示。
最后的思考
优化robots.txt文件的目的是防止搜索引擎抓取不可公开访问的页面。例如，您的wp-plugins文件夹中的页面或WordPress管理文件夹中的页面。SEO专家中一个常见的误区是，阻止WordPress分类、标签和存档页面会提高抓取速度并导致更快的索引和更高的排名。这不是真的，这也违反了Google的站长指南。我们建议您遵循上述robots.txt格式为您的网站创建robots.txt文件。
在WordPress中使用Robots.txt的专家指南
现在您知道如何优化robots.txt文件，您可能想查看一些关于在WordPress中使用robots.txt的其他文章。
- 术语表：Robots.txt
- 如何隐藏WordPress页面不被Google索引
- 如何阻止搜索引擎抓取WordPress站点
- 如何永久删除互联网上的WordPress站点
- 如何轻松隐藏（Noindex）WordPress中的PDF文件
- 如何修复“Googlebot无法访问CSS和JS文件”错误
- 如何正确设置All in One SEO插件
我们希望这篇文章帮助您了解如何优化WordPress robots.txt文件以提升SEO。您也可以查看我们的终极WordPress SEO指南和我们推荐的最佳WordPress SEO工具来发展您的网站。如果您喜欢这篇文章，请订阅我们的 YouTube频道 获取WordPress视频教程。您也可以在 Twitter 和 Facebook 上关注我们。
