必应在新的网站管理员工具中增加了一个新功能:robots.txt测试器。这是Bing在2009年之前就已经拥有的功能,但在过去的10年里放弃了对它的支持。现在它回来了,而且更好了。
我在哪里可以使用它?你可以在新的Bing网站管理员工具中访问新的robots.txt测试。从那里您可以输入一个URL,以查看BingBot将如何获取该URL。
它看起来像什么?下面是该工具的截图。输入一个URL,用BingBot和Bing的广告机器人测试一下,看看robots.txt文件在HTTP和HTTPS之间有什么不同:
更多的细节。Bing的帮助文档称,这个“robots.txt测试程序帮助网站管理员分析他们的robots.txt文件,并强调那些会阻止他们被Bing和其他机器人优化爬行的问题。”
Bing团队的Fabrice Canal告诉我们,“我们对旧的robots.txt测试程序进行了更新和增强。卡纳尔解释说,这是他们多年前就有的一个功能,后来公司把它恢复了生机,并做得更好。
谷歌也有一个类似的工具,你可以在这里了解更多。
为什么我们关心。现在您可以看到BingBot如何查看您的内容。如果你需要解决Bing的索引或排名问题,这是你可以添加到你的工具包的工具之一,看看Bing如何访问你的页面。