我已经在过去写了大量关于使用各种检索工具，以帮助搜索引擎优化。原因很简单。基于我已经完成审计的数量，我说你永远不会真正知道发生了什么事情有一个庞大而复杂的网站，直到你抓取。
我的两个爬行网站最喜欢的工具是DeepCrawl（其中我对客户咨询委员会）和尖叫青蛙。两者都是优秀的工具，挤满了宝贵的功能。
我通常使用DeepCrawl企业级抓取，而我用小青蛙尖叫到中型网站。我也用这两个在一起，有次一个企业爬行将产生保证较小，手术抓取结果。所以对我来说，DeepCrawl与尖叫青蛙组合的总和大于部分：1 1 = 3。
这两种工具都提供了丰富的数据，但我发现，有一些谎言的阴影一些强大和重要报告。在这篇文章中，我将很快覆盖9？易小姐？爬行报道，收拾严重的一拳SEO。和两个那些？报告是DeepCrawl的第2部分。0，我们会尽快公布（在未来几周之内）。让我们开始。
重定向链
多数SEO知道你需要旧网址重定向到新的同行通过网站重新设计或CMS迁移去的时候。但我见过太多的人检查初始301重定向，停止他们的研究。不要做？这个错误。
A 301可导致200标头响应代码，这是很大的。但是，这也可能导致404，这是不是很大。或者，它可能会导致另一个301，或另外五301S。或者，也许它会导致一个500（程序错误）。仅仅因为一个URL 301个重定向并不意味着重定向后正确解析。这就是重定向链中尖叫青蛙照报告。
请务必检查“始终遵循重定向”的框中，设置，然后抓取这些旧网址（在那些需要重定向）。
尖叫青蛙将遵循重定向，然后提供完整的路径从初始重定向至200，301，302，404，500等。要导出报告，则必须在主菜单中单击“报告”，然后选择重定向链。
一旦在Excel中，你会看到原来的URL重定向的，然后怎么URL要重定向到做出决议。如果这第二个URL重定向，你可以按照重定向链。再次，这是非常重要的知道。如果您301S导致404，那么你就可以？是用来排名很好地减掉的排名和流量来自网页。不好，至少可以说。
不安全的内容
现在很多网站都转向HTTPS，谷歌正在把压力。当您移动到HTTPS，有几个项目检查，以确保迁移正在妥善处理。其中一个项目是确保你没有碰上内容不匹配问题。这时候，你通过安全网址提供不安全因素。
如果你这样做，你会看到这样的错误：
很多人不知道这一点，但尖叫青蛙具有内置在显示不安全内容的报告。再次，头部的“报告”中的主菜单下拉列表，选择“不安全的内容。“该报告将列出不安全内容的来源和HTTPS URL中它被传递到。
一旦你迁移到HTTPS后运行报告，您可以将其导出并将数据发送给您的开发。
典型错误
规范网址标签，以确保搜索引擎理解一个强大的方式你？首选网址（正确的页面应该建立索引。对重复的内容）这可以帮助减下来，它可以从多个网址巩固索引属性，以规范的一个。
但规范网址标签也与一行代码来破坏搜索引擎优化的好方法。我见过的规范标签的许多拙劣的实现？这些年来。而在最坏的情况下，它可能会导致大规模的SEO问题 – 例如，一个进行规范化整个网站的主页或指向相对规范到404页，重定向404等。
有许多方法来糟蹋相对规范，但对上市公司增发的问题是，它位于表面之下。该标签是？肉眼看不到，这使得它非常，非常危险。所以尖叫青蛙提供了一个“典型错误”的报告，可以帮助您快速浮出水面这些问题。只需前往“报告”菜单？再次，选择“典型错误。“
导出报表后，你会看到每个典型错误尖叫青蛙爬行过程中拿起。你可能在你的发现而感到震惊。好消息是，你可以将报告发送给你的开发团队，使他们能够追捕为什么这些错误发生，进行必要的修改，以解决核心问题。
分页：第一页
分页跨大型网站，尤其是含有充满了许多产品类别的电子商务网站是很常见。
但是，分页也是许多SEO的一个令人困惑的问题，这往往产生不正确的设置从技术角度来看SEO。从noindexing组件页混合NOINDEX和rel下一个/上标签等问题的组合，可以经常给谷歌很奇怪的信号，你的分页。
DeepCrawl 1.9（当前版本）包含了一些非常有价值的报告，可以帮助你追捕这些问题。例如，当你在爬一个庞大而复杂的网站，分页有时深在现场躺（除了显而易见的区域）。“第一页”报告将显示您在分页第一页（包含一个rel =网址“下一个”标签）。这可以帮助您跟踪下来分页的许多情况下，起点上的大型网站。
你会找到？集？分页？在DeepCrawl报告通过单击“内容”选项卡，然后滚动到内容报表的底部。这是第一个专页报表的屏幕截图。
一旦你找到通过前几页报告分页，可以深入挖掘，看看分页已正确设置。是组件页面链接在一起？ 进行适当的使用相对下一个/上？ 如何规范版本？ 是否正在noindexed组件页面？ 难道他们被规范化到第一页？
你可以找出答案所有这些问题？和更多。但同样，你需要先找到分页的所有实例。这就是本报告有助于。
分页：无关联分页页面
接下来的一块拼图是跟踪包含在相对下一/上一个标签，但在网站上不连接在一起组成页。找到这些页面可以帮助表面技术SEO问题。例如，含有相对的URL下一个标签，应在组连接到下一个组件页面。既相对页面=“next”和rel =“上一页”应该被链接到前一个和下一个页面。等等等等。
如果您发现相对下一个/上没有标签的URL连接到一起，这可能预示？更深层的问题。也许有在网站上应该已被删除的旧代码。也许应该有联系的组件页，但他们没有显示在代码或在页面上向上。也许有没有一个“下一页”，但还是有一个rel =“下一步”的标签，它指向404。同样，你永远不知道你会发现，直到你在挖什么。
最大重定向
我前面提到的，一些重定向菊花链方式连接到更多的重定向。而当这种情况发生多次，它可能会导致问题，SEO明智。请记住，如果可能的话，你应该再重定向到目标页面，。作为谷歌的？约翰·米勒解释说，如果谷歌认为超过五个重定向，它可以阻止？之后，接下来的爬网过程中它可能会再试一次。
DeepCrawl提供了提供了重新定向的四倍以上的所有URL“最大重定向”报告。这是一个伟大的方式来方便地查看和分析这些URL。当然，你可以跳转到迅速解决这些重定向链。您可以通过点击“验证”选项卡，并滚动至标有“其他部分找到DeepCrawl的最大重定向报告。“
与的hreflang标记网页（且不）
是的Hreflang扎多语言的URL放在一起的好方法。根据用户的语言在SERP中的谷歌可以然后提供页面的正确版本。
但根据我的经验，我已经看到了hreflang错误的审计过程中勿庸置疑。例如，您必须对集群中的其他页面引用的页返回标记。所以，如果你的“连接”页面引用您的“ES”页面，然后再“ES”页面也必须引用“EN”页面。下面是显示在谷歌搜索控制台起来的“不归路标签”错误的例子。
此外，还有其他的方式来糟蹋hreflang标记，如提供不正确的语言和国家代码，使用X默认等不正确。因此，你一定要知道所有包含的hreflang的网页，让您可以更深入，如果这些标签设置正确理解。
在DeepCrawl，也有分析的hreflang几份报告。最基本的，但依然强大，是“的页面与hreflang标记”的报告。它会列出包含hreflang标记所有页面，提供所有在每个找到的标记的？页，并指示它们是否在该页面的HTML被供给，通过XML站点地图，或通过响应头输送。？你可以找到一套？hreflang？在DeepCrawl报告通过单击“验证”选项卡，然后滚动到部分标有“其他。“
请记住，对网页的标记更容易收拾，因为它们中的代码，但是当的hreflang通过响应头或在站点地图提供，你不会知道，通过简单地查看页面。DeepCrawl的的hreflang报告将浮出水面此信息对您。
我刚才提到，我为DeepCrawl客户顾问委员会的组成部分。嗯，我一直在测试中测试最新版本，版本2.0，它的推出临近了。截至2版本的一部分。0，出现了一些新的，令人难以置信？有价值的报告。我会触及他们两个在下面。记住，你不能访问在当前版本中这些报告（1.9），但你将能够在2.0，这应该在未来几周内推出。
不允许的JS / CSS
为了对Googlebot准确地渲染页面，它需要获取必要的资源（如CSS和JavaScript）。如果这些资源由机器人封锁。TXT，那么谷歌不能准确地呈现在网页就像一个典型的浏览器将。谷歌是在记录解释阻断资源“伤害你的网页索引。“不好，至少可以说。
使用抓取谷歌在谷歌搜索控制台，选择“抓取并呈现”是检查Googlebot的是如何使单个页面的好方法。但有关检查50，000页500，000页1，000，000页以上什么？ 那么，有在DeepCrawl 2的新报告。0是不允许的表面等资源JavaScript和CSS，这是一个伟大的方式来快速查看网站上的哪些资源被阻止。然后你就可以迅速纠正这些问题。
在HTTPS HTTP资源
有很多网站在冒险尝试并移动到HTTPS。但也有很多网站不正确地通过HTTPS HTTP内容（这将导致内容不匹配错误）。DeepCrawl 2.0让您面经过大规模的爬网问题。一旦确定了HTTP资源正在对HTTPS传输，你可以用你的开发人员纠正问题工作。
好了，现在你有更多的九份报告来分析超越你可能已经知道的那些（在尖叫青蛙和DeepCrawl）。我介绍了这则讯息的报告提供了丰富的重要数据？它可以帮助你表面技术SEO问题。而这些问题可能会抑制有机搜索你的表现。所以爬走，然后检查这些报告！ 你永远不知道你会发现什么。
在这篇文章中所表达的意见是那些客人笔者并不见得搜索引擎土地。作者的工作人员在这里列出。