任何电子商务网站都可能熟悉“URL参数工具”。这是一个谷歌搜索控制台的功能，SEOs长期以来一直使用它来帮助控制网站的爬行。在这个工具中，你告诉谷歌你的不同URL参数是做什么的，以及谷歌应该如何抓取它们(“让Googlebot决定”，“没有URL”等等)。谷歌提供了关于可配置的不同设置以及爬行命令之间如何交互的大量文档。
然而，最近谷歌已经将这个工具移到了含糊不清的“遗留工具和报告”部分。从那时起，我就一直想知道这对这个工具意味着什么。这只是对旧功能进行分类的一种方式吗?谷歌计划最终将其淘汰吗?谷歌还使用这里的命令吗?
我发现的另一个有趣的地方是，在查看客户机日志文件时，我们遇到过一些例子，其中谷歌似乎没有遵守URL参数工具中设置的规则。
为了了解更多，我决定进行一个测试。我选择了我们的一个测试站点，并发现URL参数谷歌正在爬行。使用谷歌的索引覆盖率报告，我可以确认Googlebot正在爬行以下参数:
猫吗?
utm_source ?
utm_medium ?
utm_campaign ?
?裁判
6月26日，我继续将这些URL添加到谷歌的URL参数报告中。我专门指示Googlebot抓取“无url”。
然后我等待并监视着谷歌在网站上的爬行。在收集了几周的数据之后，我们可以看到谷歌仍然在抓取这些URL参数。我们能够找到活动的主要参数是“?”猫”的网址:
进一步缩小，你可以看到这些是经过验证的Googlebot事件发生在6月27日或以后，在爬行设置已经配置:
我们也能够确认爬行活动的两个” ?猫”和“?utm的URL使用谷歌的URL检查工具。注意，在新规则就位后，url是如何进行“最后一次抓取”的。
这对SEOs意味着什么?
虽然我们没有看到过多的抓取活动，但这表明谷歌可能并不总是遵守URL参数工具中的规则。请记住，这是一个较小的网站(大约600个页面)，所以这些URL参数将爬行的规模比一个大型电子商务网站要低得多。
当然，这并不是说谷歌总是忽略URL参数报告。然而，在这个特殊的例子中，我们可以看到它可能是这样的。如果您是一个电子商务网站，我建议您不要假设谷歌是如何抓取您的参数的，而是要检查日志文件以确认抓取活动。总的来说，如果您希望限制特定参数的爬行，我将首先依赖robots.txt。