不明白 Google 总是从路径的开头读取：如果您在不使用通配符的情况下定义中间片段，则不会阻止所需的路径。例如：
禁止：文件夹私人
该指令将阻止carpetaprivada但不会阻止 other carpetaprivada。如果要阻止所有包含“private”的路由，则必须使用通配符：
禁止：*文件夹私人
不要以“”开始声明：对此，过去的规则是Google总是理解路径定义以“”开头，如果你不这样做，它就会添加它。但不要依赖该规则。我给 电报数据 你留下了 Mj Cachón 的一篇文章，其中有一个实验，该实验表明不以“”开头的语句将被忽略。 （阅读 Mj Cachón 的实验文章）。
不理解规则的优先顺序：不是通过阅读顺序，而是通过定义的长度（字符数）。这意味着更具体的规则将覆盖更一般的规则。
例如：用户代理：
禁止：文件夹
禁止：folderspecialfile.html
允许：文件夹特殊
在这种情况下，Googlebot 将能够访问它，carpetaespecial尽管它会阻止一般规则carpeta。但是，您将无法访问 .hml 文件，因为它被拒绝。这是因 户上的帐户非常简单 我 为允许的路径更加具体。也就是说，路径越长（字符越多）权重越大，并且写入顺序与 robots.txt 的读取无关。
不理解 的组User-agent是唯一
的并且它们的定义不是混合的：如果您有一个组User-agent: Googlebot和另一个组User-agent: *，则规则不会组合。因此，如果您不在每个组中复制必要的策略，您可能会无意中打开或关闭访问。
用户代理：*
禁止：folder1
禁止：folder2
用户代理：Googlebot
禁止：extra-file.html
很多人看到这个例子会认为Google无法输入folder1，但其实它可以。这是因为未添加用户代理，仅将最具体的用户代理应用于机器人。因此，仅 捷克数字数据 禁止 Googlebot 进入 extra-file.html，而其余机器人则被禁止进入这两个文件夹，但 Google 除外。这是一个经常犯的错误，许多 SEO 人员都没有意识到。
