2017年1月，谷歌的Gary Illyes在谷歌的博客上发表了一份文件，向网站管理员和seo解释了爬行预算是如何运作的。他现在已经更新了文档，以明确AJAX(即XHR)调用可以并且将消耗站点的爬行预算。
JFYI:根据@ajkohn的建议，我明确地将AJAX/XHR调用添加到需要消耗站点爬行预算的列表中
——加里”鯨理”不善地(@methode) 4月23日,2019年
澄清。更新的内容(这里用斜体字表示)是:“一般来说，Googlebot抓取的任何URL都将计入网站的抓取预算。其他url，如AMP或hreflang，以及嵌入内容，如CSS和JavaScript，包括AJAX(即XHR)调用，可能需要爬行，并将消耗站点的爬行预算。同样，长重定向链对爬行也有负面影响。”
什么是爬行预算?谷歌将抓取预算定义为“Googlebot可以抓取和想要抓取的url数量”。简而言之，缓慢预算就是“将缓慢增长的速度和缓慢增长的需求结合在一起”。你可以在这里了解更多。
任何改变吗?不，谷歌只是澄清了AJAX/XHR调用确实消耗爬行预算，而且情况一直如此。
我们为什么要关心。一般来说，谷歌已经说了一次又一次，爬行预算不是什么担心大多数站长和seo。谷歌将抓取大多数站点，没有任何问题。需要对谷歌抓取的内容进行优先级排序的大型web站点可能需要再次检查AJAX/XHR调用，以验证谷歌是否在抓取它们，更重要的是，是否希望这些调用占用站点的抓取预算。