我已经在过去多次写入关于搜索引擎优化的问题如何技术导致的排名和流量严重下降。从元机器人标签的rel = canonical指向隐形404，许多问题可以躺在表面之下，造成了严重的损害到您的网站，搜索引擎优化明智。
好吧，我不幸遇到了另一个情况在最近，我要说的是，在这个岗位。导致排名和流量的缓慢泄漏的问题，这使得它很难为企业主的通知。公司知道它之前，重要的网页已经从谷歌的索引中消失了。
当关于SEO危险的客户来讲，我经常覆盖机器人。TXT文件。这是一个简单的文本文件，但它可以对你的SEO工作带来灾难性影响，如果处理不正确。
这让我想起了“吵闹蟋蟀”从黑衣人的。身材矮小，但强大的赫克。
虽然大多数SEO的理解，在机器人毯子不允许。TXT会造成巨大的问题，有可能导致问题的许多其他情况，以及。
有些可以慢慢发生，并导致重要的网址，从谷歌的索引泄漏？- 如果这些网址是重要的，那么你已经有了一个很大的问题，在您的手中。（顺便说一句，你不会知道它，除非有人真的抓住了问题。）
一个公司在今年秋季实现它不再排一些重要类别的关键字后，向我伸出手。他们极为关注，至少可以说。
但是，随着许多变化发生的事情与谷歌，在排名的下降可以是任何东西，对不对？ 也许这是一种算法更新，也许比赛调升了比赛，也许，只是也许，有导致排名下降的技术问题。于是我跳下来执行一些侦探工作。
当挖掘到的情况，我赶紧检查了曾经排名类别相关的关键字网址。有趣的是，看到一些网址，仍然排名很好，而另一些可能根本不会被发现。是的，一些网址已经从谷歌的索引中消失。
所以，我检查了元标记机器人。不存在。我检查的X机器人头，以确保NOINDEX没有在头响应正在发行。不，这是不是这样的。
然后，它打我。类别？网址我被检查是非描述性的，复杂的和使用的情况下，混合。基本上，CMS没有采用“漂亮”？网址页面的很大比例？在网站上（基于CMS如何设置）。
我知道？那？在这样的情况下，很容易为网址被贪婪的机器人被逮住。TXT指令。（“贪婪”仅仅意味着他们可以阻止超过他们应该。）
我启动了机器人。TXT测试仪在谷歌搜索控制台（GSC），并开始测试类的网址。答对了。了一些网址显示为被拦截，而另一些则允许。
我还远销以前接收的流量来自谷歌有机URL列表和它们爬。这使我能够查看目前正在阻止机器人的任何URL。TXT（散装）。再次，一些被封锁和一些允许。经过大量分析形势，它结束了两个问题。
回顾机器人。文本文件随着时间的推移，我看到了两个主要问题？那些困扰。
首先，新的指令都被添加到机器人。由CMS提供商和网站所有者的文本？不知道这是怎么回事。该网站有成千上万的URL的索引，所以即使在机器人的微小变化。TXT指令可能是危险的。
其次，指令略有变化情况。这意味着这些指令可能会错误地拿起或在网站上的网址小姐。
例如，如果您指定的目录/分类/但指令是/分类/，那么你就不会不允许的网址决心在/分类/目录下，指令是区分大小写。这是一个重要的一点要注意每个搜索引擎优化，网站管理员和企业主。见下图。
之间添加指令/删除随着时间的推移和情况的敏感性改变，该公司具有重要的类别网址？在不知不觉中得到禁止。当URL被禁止，谷歌无法抓取的网页，以确定它们所包含的内容，这引起了一些这些网址？从谷歌的索引随着时间的推移下降。不好。
但这里的难题是：网址往往不从索引中立即下降？- 所以这个问题变得非常硬，为公司检测。有没有在第一天大幅下降；？相反，他们经历了从谷歌的索引中重要的URL缓慢泄漏。正如您可以猜到，排名和流量泄漏的网址，该指数下降。
在今年8月，谷歌？网站站长趋势分析师？约翰·米勒记录，致力于机器人整个站长聚会。文本。对于参与技术SEO的人，这是一个必须的手表。
该站出来的一件事是约翰解释不允许的网址，如何？由谷歌，处理指数明智。例如，将禁止网址？保留在指数中，他们将退出，它需要多长时间为他们辍学？
在视频的32：34，约翰解释说，谷歌将下降约从以前爬禁止网址信息，它可能索引网址？只有基本信息。
此外，谷歌可以从指数随着时间的推移丢弃这些网址。有没有保证的网址？将被丢弃，但绝对可以发生。看到？视频在这里：
所以，当你有一个情况下，你错误地被抓取的网址禁止，他们可能会保留在指数中一段时间，直到谷歌决定放弃他们。而当谷歌终于丢弃它们，你不会有他们都不见了任何迹象（比业务将这些网址下降等）。谨防。
如果你想听听区分大小写约翰的话，你可以在视频观看13：50。他占地约指令，大小写和字符匹配的一些要点。
所以你怎么能避免自己的网站出现这种情况？ 我将提供一些子弹低于可帮助您了解何时改变正在实施的机器人。文本文件，以及如何发现，如果用来驱动网址投放正在被禁止的机器人。文本。
这绝不是一份建议最终名单，但低于子弹绝对可以帮助你避免SEO的灾难，由于机器人。TXT问题。
抓取和审核您的网站定期。最近我一直在说这个有很多。更可以抓取您的网站，更可以了解它的优势，劣势和风险。而作为抓取的一部分，您可以通过多种工具（包括尖叫青蛙，DeepCrawl，和其他爬行工具）查看不允许的网址，。你可能只是拿起重要的网址被封锁。如果是这样，挖，深挖问题。
机器人。TXT改变历史。您可以从您的CMS提供商请求通知时改变了你的机器人制造。txt文件。如果他们可以通过电子邮件或消息，您对这些变化，那么你可以迅速检查出来。你可以快速移动到解决任何问题。
自动检测对机器人。txt。你也可以使用一个服务，你坪机器人。每天txt文件。每当拿起一个变化，它会向您发送电子邮件。然后，你可以查看和更改，如有必要。这就像一个谷歌快讯技术SEO。例如，Robotto可以检测到一些重要的变化，并通知您。
审计谷歌搜索控制台（GSC）不断。你应该不断地审核谷歌搜索控制台报告。有几个报告，可以帮助您从技术SEO的角度来看找出与您的网站的新问题。对于这种情况，使用机器人。TXT测试仪上重要的网址将有助于。您还可以检查索引状态为“已被机器人”，它可能会暴露在阻止机器人网址的数量有所增加。txt？（这可以提高红旗）。然后你可以检查智能手机抓取错误的“阻止。“这可以在智能手机标签上找到，但完全可以涉及到桌面的网址，以及。
使用Wayback机器来检查机器人。txt。是的，你可以使用自由之路机检查您的机器人。随着时间的推移txt文件。对于许多网站，你会看到机器人的各种版本。TXT拿起了网站的生命。它可能会提供有关在页面下降的重要线索索引。
正如你可以用这个情况看，技术SEO变化可能对排名和流量产生大的影响。虽然机器人。TXT是一个简单的文本文件，它拥有可以阻止Google抓取重要的URL的指令（这可能会导致这些网址正在从谷歌的指数下跌）。
如果这些网页从索引中删除，他们在排名没有机会。并在排名没有机会，他们不能驾驶交通。这意味着你输了，而贪婪的机器人。txt文件胜。不要让它赢。按照上述我的建议，避免泄漏的网址。
在这篇文章中所表达的意见是那些客人笔者并不见得搜索引擎土地。作者的工作人员在这里列出。