今年早些时候，有一家电子商务公司向我寻求帮助。他们希望在对网站做了一些重要更改后完成审计。
作为我们最初沟通的一部分，他们准备了一份列表，列出了已经实施的变化，这样我就可以在分析网站之前了解这些变化。该榜单包括排名、流量和指数化方面的任何变化。
其中一颗子弹非常突出:在最近的改革实施后，他们看到了指数化的大幅飙升。多年来，这是一个受到主要算法更新影响的网站，所以大的网站变化(没有SEO指导)和随后的指数飙升吓得我魂不拉风。
SEO害怕。
信贷:GIPHY
我查看了谷歌搜索控制台(GSC)，我看到的是:被索引的6560页在一周内上升到16,215页。那是160%的增长。
GSC的指数化峰值。
很明显，深入研究这个问题并找出发生了什么将是首要任务。我的希望是，如果错误被推到生产环境中，错误的页面被编入了索引，那么我可以在发生任何重大破坏之前将这些问题暴露出来并修复它们。
我在网站上释放了尖叫青蛙和深度爬行，使用Googlebot和智能手机上的Googlebot作为用户代理。我渴望深入挖掘爬行数据。
问题:移动分面导航和稀薄内容的激增
首先，站点没有响应。相反，它使用动态服务，这意味着可以基于用户代理交付不同的HTML和CSS。
该网站的移动版本最近做了改动。在这些变化实现后，Googlebot通过分面导航(仅在移动页面上可用)被驱动到许多瘦url。这些细url显然已经被索引了。在谷歌的高质量算法似乎超负荷的时候，这从来都不是一件好事。
在我执行的抓取过程中，出现了许多基于移动分面导航的页面——其中许多页面非常稀薄或空白。另外，HTML改进报告(是的，很多人完全忽略了这个报告)在重复的标题标签报告中列出了一些细url。
当爬虫运行时，我挖掘了GSC，并开始浮现许多有问题的url。下面的屏幕截图显示了报告中近4000个细url。这并不是所有有问题的url，但谷歌可以找到它们。
很明显，我们遇到了技术SEO问题导致内容稀薄的情况。在撰写主要算法更新的文章时，我多次提到这个问题，而这就是一个很好的例子。现在，是时候收集尽可能多的数据，然后与我的客户沟通核心问题了。
修复
我首先解释的是，mobile-first index很快就会推出，如果网站能采用响应式的设计，那可能是最好的。这样，我的客户就可以确信所有页面都包含相同的内容、结构化数据、指令等等。他们同意我的观点，这也是该网站的长期目标。
其次，与我所提到的问题直接相关的是，我解释了他们应该将移动设备上的分面导航链接到的所有薄页面规范化、noindex或404。再次Googlebot爬行这些页面,应该拿起变化,开始放弃他们的索引。
我的客户问我如何通过机器人进行屏蔽。txt，我解释说，如果页面被封锁，那么Googlebot将永远不会看到noindex标签。这是一个常见的问题，我知道关于这个有很多困惑。
元机器人标签和robots.txt
只有在这些页面从索引中删除后，它们才应该被robots.txt阻止(如果你选择这样做的话)。我的客户实际上决定对页面进行404，推出更改，然后转向审计和抓取分析的其他重要发现。
这个问题
然后我的客户问了一个重要的问题。这是许多人在没有索引或从他们的网站上删除低质量或薄页后提出的问题。
“谷歌从索引中删除这些页面需要多长时间?”
啊，这是一个很好的问题——而且每个地点和情况的答案都不一样。我解释说，根据这些页面的重要性，这些url可能会很快被删除，也可能需要一段时间(甚至几个月或更长时间)。
例如，由于这些都是由分面导航生成的薄页面，因此从重要性和优先级的角度来看，它们在谷歌的列表中可能并不高。如果是这种情况，那么谷歌可能不会频繁地爬行这些页面(或很快地)。我的建议是转移到其他项目，只是随着时间的推移监控指数化。
注意:我确实解释过，我的客户端可以在从站点删除后将这些细url添加到XML站点地图文件中，以加速谷歌发现404s的过程。我