在帮助公司处理主要算法更新、网站重新设计、CMS迁移和其他搜索引擎优化带来的性能下降时，我发现自己抓取了很多url。这通常包括客户参与期间的大量爬行。对于更大规模的网站，我在分析抓取数据时经常会遇到很多问题，从技术SEO问题到内容质量问题再到用户参与障碍。
在这些问题浮出水面之后，制定一个补救计划来解决这些问题，纠正这些问题，提高网站的整体质量是非常重要的。否则，网站可能无法从算法更新的打击中恢复，它可能处于质量的灰色地带，技术问题可能会恶化，等等。
谷歌的John Mueller已经解释了很多次关于从质量更新中恢复，谷歌希望看到质量的显著提高，并且是长期的。所以，基本上，解决你所有的问题-然后你可能会看到积极的进展。
爬行:企业对外科手术
在深入研究一个站点时，您通常希望首先对该站点有一个整体的感觉，这将包括一个企业爬行(一个更大的爬行，覆盖足够多的站点，以便您获得大量的SEO智能)。这并不意味着要爬行整个站点。例如，如果一个站点有100万个页面被索引，那么您可能从抓取200-300K页面开始。
下面是我执行的几个初始企业爬虫，范围从250K到440K的url。
根据最初的抓取，然后可以启动几个针对站点特定区域的外科抓取。例如,注意很多薄X部分网站的内容?然后集中精力爬下一段。你可能会抓取25-50K的url，或者更多在这个区域，以获得更好的感觉，在那里发生了什么。
当这些都说了并完成后，您可能会在约定期间启动一些手术爬行，以将您的注意力集中在这些特定领域的问题上。例如,这里有一个小,手术爬10 k的url(集中在一个特定区域的一个网站)。
所有的爬虫帮助您识别站点上尽可能多的问题。然后就由你和你的客户团队(市场营销人员、项目经理、设计师和开发人员的组合)来实施需要完成的变更。
接下来:审计分期——非常棒，但还不是最后一步
在帮助客户端时，我通常获得对登台环境的访问权，这样我就可以在更改到达生产站点之前检查它们。这是一个好办法是为了把问题消灭在萌芽状态。不幸的是，有些时候不正确地实现变更会导致更多的问题。例如，如果开发人员误解了某个主题并实现了错误的更改，那么您可能会比开始时遇到更多的问题。
您绝对需要确保实现的所有更改都是正确的，否则您的情况可能会比审计前更糟。一种爬登台的时候不公开是VPN访问。在之前的一篇关于如何在将更改推入生产环境之前爬行登台服务器的文章中，我已经介绍了这一点。
但问题就在这里。我们现在讨论的是登台环境，而不是生产环境。有些时候，从登台到生产的变更会出现一些问题。可能指令被搞砸了，代码故障破坏了元数据，站点设计受到影响(这也会影响可用性)，移动url受到负面影响，等等。
因此，您肯定希望检查登台中的更改，但一旦这些更改进入生产环境，您肯定希望再次检查这些更改。我无法告诉您，在更改发布并发现问题后，我检查了生产现场多少次。有时他们虽小,但有时他们不那么小。但如果你在它们第一次出现时就抓住了它们，你就可以在它们造成长期损害之前解决这些问题。
我之所以提出这些内容，是因为在整个生产过程中检查更改是非常重要的，而且很明显，在更改到达生产过程后检查更改是非常重要的。这包括重新挖掘已经发生变化的网站(或部分)。让我们多谈谈recrawl。
并对其变化进行了比较分析
现在，你可能会说Glenn在这里说了很多工作……嗯，是也不是。幸运的是，一些顶级爬行工具允许您比较爬行。这可以帮助您在recrawl分析中节省大量时间。
我以前多次提到过我最喜欢的两个爬行工具，那就是深度爬行和尖叫青蛙。(免责声明:我是deep抓取公司的客户顾问委员会成员，已经工作了好几年了。)两者都是优秀的爬行工具，提供了大量的功能和报告。我经常说，在使用deep爬行和尖叫青蛙审计站点时，1+1=3。DeepCra