在搜索引擎中排名需要一个拥有完美技术SEO的网站。幸运的是，Yoast SEO插件可以处理(几乎)你WordPress网站上的所有事情。然而，如果你真的想从你的网站获得最多，并保持在竞争中领先，一些技术SEO的基本知识是必须的。在这篇文章中，我将解释技术SEO中最重要的概念之一:爬行能力。
爬虫是什么?
像谷歌这样的搜索引擎由一个爬虫、一个索引和一个算法组成。爬虫遵循链接。当谷歌的爬虫找到你的网站，它会读它和它的内容保存在索引。
一个爬虫跟踪网络上的链接。爬虫也被称为机器人，机器人，或蜘蛛。它每时每刻都在互联网上传播。一旦进入网站，它就会将页面的HTML版本保存在一个名为索引的庞大数据库中。这个索引是更新的每一次履带来到你的网站，并发现它的一个新的或修订版本。根据谷歌认为你的网站有多重要，你在你的网站上做出的改变的数量，爬虫来了或多或少经常。
阅读更多:SEO基础:谷歌做什么
爬行性是什么?
爬行能力与谷歌必须爬行你的网站的可能性有关。爬虫可以从你的网站被阻止。有几种方法可以阻止爬虫从你的网站。如果你的网站或你的网站上的一个页面被封锁，你就对谷歌的爬虫说:“不要来这里”。在大多数情况下，你的网站或相应的页面不会出现在搜索结果中。
有一些事情，可以防止谷歌爬行(或索引)你的网站:
如果你的robots.txt文件阻止爬虫，谷歌将不会来到你的网站或特定的网页。
在爬行你的网站之前，爬虫会看一看你的页面的HTTP头。这个HTTP头包含一个状态码。如果这个状态码说一个页面不存在，谷歌将不会爬你的网站。在关于我们的技术SEO培训的HTTP头模块中，我们将告诉你所有有关那。
如果某个特定页面上的robots元标记阻止搜索引擎索引该页面，谷歌将抓取该页面，但不会将其添加到其索引中。
这个流程图可以帮助你理解机器人在索引页面时所遵循的流程:
想了解所有关于爬行的知识吗?
尽管爬行能力只是技术SEO的基础(它与所有使谷歌能够索引你的站点的东西有关)，但对于大多数人来说，它已经是相当高级的东西了。然而，如果你正在阻塞——甚至可能不知道!-爬虫从你的网站，你永远不会在谷歌排名高。所以，如果你对搜索引擎优化很认真，这应该对你很重要。
如果你真的想了解关于爬行能力的所有技术方面，你一定要看看我们的技术SEO培训。在这个SEO课程中，我们将教你如何检测技术SEO问题和如何解决他们(与我们的Yoast SEO插件)。