弗雷德里克·杜布特(Frederic Dubut)是微软负责Bing搜索的高级程序经理，他周三在Twitter上说，当你在robots.txt文件中为其Bingbot爬虫程序创建一个特定部分时，你应该确保列出该部分的所有默认指令。
为Bingbot指定指令。“如果您专门为Bingbot创建一个部分，那么所有默认的指令都将被忽略(爬行延迟除外)，”他说。“你必须在自己的章节中复制粘贴你想让Bingbot遵守的指令，”他补充道。
txt提示—如果您专门为#Bingbot创建了一个部分，那么所有默认的指令都将被忽略(爬行延迟除外)。您必须在自己的小节中复制粘贴您希望Bingbot遵循的指令。# SEO # TechnicalSEO
-弗雷德里克·杜弗2019年1月2日
这是什么意思?这可能意味着Bing已经看到很多网站抱怨Bingbot正在抓取他们不想被抓取的网站区域。可能有些网站管理员认为，如果他们给Bingbot一些特定的指令，它将遵循未列出的其余默认指令。相反，如果您有一个关于Bingbot的部分，它将只遵循您在robots.txt文件的那个部分中特别列出的指令。如果没有针对Bingbot的特定部分，那么Bingbot将遵循缺省指令。
为什么它很重要。确保当你设置你的robots.txt文件时，所有的搜索引擎爬虫都能有效地爬行你的站点。如果您为阻塞、爬行延迟或其他指令设置了特定的指令，那么请确保所有搜索引擎爬行程序都在侦听这些指令。如果存在语法问题，如果您不遵守它们的协议，或者它们在访问这些指令时遇到问题，它们可能不会侦听。
有关为必应设置robots.txt的更多信息，请参阅帮助文档。