此外，测试仪充当版本控制，允许您查看更改历史记录并了解它们如何影响网站的抓取和索引。
为什么日志分析如此有趣
虽然比 GSC 为我们提供的便捷工具不太常见和简单，但分析您的服务器日志可以帮助您了解机器人如何与您的网站交互。在技术层面上，日志记录了向服务器发出的每个请求，包括来自 Googlebot 和其他抓取工具的请求。这使应被 robots.txt 阻止的区域（或者验证它们是否没有）。
通过查看这些日志
还可以检测行为模式、抓取频率和可能发 电话号码资源 生的错误，但只需查看 Googlebot 从 robots.txt 发出的请求，您就可以安全地了解 Google 正在看到什么以及何时发生看过（以及内容）。
每天检查 robots.txt 的更改：预测问题的好主意
另一种选择是每天检查并保存 robots.txt 的副本。这可能看起来有些过分，但它将帮助您检测网站上可能发生的未经授权的更改或意外错误。自动化此过程就像设置每天保存文件的脚本一样简单。检查保存的内容以查看它与前一天是否不 如果电子邮件是您的主要工具 同已经有点复杂了（但只有一点点）。
我们 IKAUE 经常选择每天保存 Robots.txt 的所有行
但确实，真正的价值在于仅检测它是否已更改（因为您可以在 Google 中查看文件本身的历史内容）搜索控制台）。
现在准备好了，知道这个文件是如何工作的以及我们通常用来查看它的工具，让我们看看……
据说 Google 并不总是遵守 robots.txt 的 4 个原因
我一直在搜索，试图在网络和历史 SEO 博客中找到许多关于在 robots.txt 文件中向 Google 指示某些禁令的典型案例的投诉，以发现在某个时刻它决定输入“up到厨房 » 从您的网站。每个案例都有其特殊性，有些可能就像文件损坏或超出了谷歌告诉我们的长度限制一样简单。但大部分可以概括为以下4种情况：
案例1. Google进入是因为robots.txt制作不好
在大多数情况下，当谷歌点击应该被阻止的网址时，这是因为它可以。也就是说，您认为您已禁止访问，但事实并非如此。因此，这不是读取 捷克数字数据 文件时的错误，而是写入文件时站点上的错误。这几乎总是由于 robots.txt 配置中的一系列易于控制的错误造成的。
