技术的进步已经在搜索引擎优化，在那里现场爬虫如Botify，DeepCrawl和ScreamingFrog蓬勃驱动效率。
这些工具是SEO工具箱的重要组成部分，是在揭露和可视化技术问题，如断开的链接，404错误和无效的规范标签伟大。它们正在成为对SEO的技术性能分析，这意味着他们花费更少的时间与互动，并分析，网站默认源在浏览器和/或网站分析。
从表面上看，这看起来并不像什么予以关注；？我们得到大量的技术分析，在速度的工具。
然而，这些工具是机器人？- 他们？分析该网站的源代码，寻找针对审计检查识别的问题，这虽然有用，但不一定对应问题面对消费者。
正如我在之前的专栏中讨论，搜索引擎在我们多年见过的最快的速度推进，得益于机器学习。这些进步让搜索引擎专注于提供最相关的结果，不仅在内容方面，而且在用户体验方面（UX）。
从SEMrush研究和SearchMetrics都还参考用户信号，并且消费者的体验，包括移动友好，内容相关性，网站的速度，跳出率/搜索序列，网站停留时间和内容格式为重点的排名因素。
然而，随着网站爬虫成为网站分析默认和减少SEO的花费分析物理网站的时候，消费者体验被忽视，导致在尚未开发的机会，以提高性能。
此外，截至去年11月，？ 消费者通过移动设备访问网络超越台式机首次。从消费者行为这进一步断开网站爬虫，虽然网站爬虫正在迎头赶上，他们主要还是默认桌面分析。
考虑到这一点，关键是要分析并以同样的方式消费者与它们进行交互诊断网站，除了机器人的使用。
以消费者为第一种方法是必不可少的搜索结果，现在和将来取得成功。为了实现这一点，我们需要把自己放在消费者的鞋子和互动与网站，以及分析网站分析和谷歌搜索控制台，而不是单纯依靠网站爬虫。
相互作用，并且，一个网站的深入分析有助于我们了解的挑战，消费者面对各种设备，从最初的搜索通过对转换。此外，站点分析和谷歌搜索控制台帮助发现一个网站上的问题，消费者的脸。
例如，是在消费过程在移动和桌面优化？ 跨设备考虑消费者需求的内容？ 这是内容的经验，为设备进行了优化？ 是形式简单，填写并提交？
以网站作为消费者的互动和爬行的机器人永远不会相互取代； 他们都提供了独特的，非常相关的洞察力，使品牌的有机搜索范围内，最大限度的潜力。但是，要实现这一潜力，至关重要的是，这些方法都没有被忽视。
网站爬虫继续确保我们能有效地在规模确定网站技术问题，使我们的生活更轻松显著。但是，随着用户信号和消费者体验打在推动有机搜索性能越来越重要的作用，因此，我们不单纯依靠网站的抓取工具是必不可少的。
至关重要的是，我们把自己放在消费者和穿行他们的旅程的鞋子，了解他们的需求，并删除网站上的令人沮丧的易用性障碍。从这里出发，围绕消费者在购买渠道的每个阶段的信息需求战略咨询是提高相关性和驱动转换至关重要。
在这篇文章中所表达的意见是那些客人笔者并不见得搜索引擎土地。作者的工作人员在这里列出。