必应公司周五宣布，该公司在其网站管理员工具中增加了robots.txt测试程序。这个新功能允许SEOs分析他们的robots.txt文件，并突出可能阻碍Bing进行最佳爬行的问题。
txt测试器和Bing网站管理员工具中的编辑器。
它是如何工作的。SEOs可以使用这个工具来测试和验证他们的robots.txt文件，或者检查一个URL是否被阻塞，是哪个语句阻塞了它，是哪个用户代理阻塞了它。
还可以使用编辑器对robots.txt文件进行更改。测试功能可以根据编辑器的内容检查提交的URL，允许SEOs和站点所有者当场检查URL是否有错误。
编辑好的robots.txt文件可以下载并离线更新，如果已经从其他地方对其进行了更改，则可以使用fetch选项来检索文件的最新版本。
测试人员按照Bingbot和AdIdxbot (Bing广告使用的爬虫)的方式操作，并且可以在两者之间进行切换。该工具还允许SEOs提交一个请求，让Bing知道你的robots.txt文件已经更新。
为什么我们关心。遵循与robots.txt相关的所需格式和语法可能会很复杂，这可能会导致错误，从而导致次优爬行。这个工具可以帮助突出显示seo和网站管理员的爬行问题，使他们能够更容易地故障诊断他们的robots.txt文件。