工作方式robots.txt将允许Googlebot或来自Google搜索引擎的机器人机器人抓取网站上的所有数据或页面。
但是，robots.txt 不允许 Googlebot 抓取联 手机号码数据 系页面。
创建或设置 Robots txt 的简易指南
您可以使用某些平台（例如最流行的 CMS、WordPress）上的功能自己创建 robots.txt 文件。如何？以下是使用 WordPress 轻松创建 robots.txt 的方法，即：
利用All in One SEO插件
创建和设置 Robots txt 的一种方法是使用 all in one SEO pack 插件。该类型插件与Yoast SEO类似，但功能更加齐全和有趣。
如何激活它？您可以直接在 WordPress 上下载 All in One SEO 插件并激活它。选择“功能管理器”部分以查看所有可用选项。
使用此插件创建和设置 robots.txt 的优点是，即使对于新用户来说也更容易做到。这是因为您不需要手动编写整个指令代码。另一方面，All in One SEO 插件更易于使用来选择所需的指令。
使用 Yoast SEO
还可以利用 Yoast SEO 创建和管
理 WordPress 上的 Robots.txt。在 Yoast SEO 中制作它相当容易，而且看起来很简单，所以任何人都可以学习它。
通过访问位于 WordPress 中“工具”选项中的“文件编辑器”，可以在 Yoast SEO 中创建和设置 robots.txt。
如果您想使用 Yoast SEO 创建自己的 robots.txt 文件代码，那么您 您可能会发现某些播 必须小心和彻底。这样，创建的代码就不会与 Yoast SEO 的默认 robots.txt 文件代码重叠。
Yoast SEO 在创建 robots.txt 时的弱点是用户必须手动编写 美国数据库 所有指令代码，例如用户代理、允许、禁止等代码。