今天是机器人20周年。TXT指令是供网站管理员阻止搜索引擎抓取其网页。
机器人。TXT是Martijn Koster拥有在1994年具有爬虫击中他的网站太难了问题之后创建的，而他在Nexor工作。然后，所有主要的搜索引擎备份，包括的WebCrawler，Lycos和AltaVista的，迅速采用它； 甚至20年后，所有主要的搜索引擎也将继续支持它，并服从它。
布赖恩Ussery贴在他对20周年的博客，并记录了最常见的机器人。TXT失误，他已经看到了他的任期内搜索引擎优化。它是通过非常值得的扫描，因为机器人。TXT，如果实施错误，会严重损害你的排名和搜索营销的成功。
有关漫游的详细信息。TXT看到robotstxt。组织，维基百科和谷歌支持。此外，请一定要看看我们的封锁蜘蛛节。
