我们通常认为搜索引擎优化与人类有关:我的客户使用什么查询?
我怎样才能让更多的博主链接到我?
我怎样才能让人们在我的网站上停留更长时间?
我如何为我的客户的生活和业务增加更多的价值?
事情应该是这样的。
但是，尽管我们生活在一个越来越受机器、人工智能(AI)和算法等非人类行为影响的世界，我们经常忘记，优化网站的很大一部分与人完全无关。
事实上，许多我们需要取悦的网站访问者实际上是机器人，我们忽视了他们，就会自找麻烦!
到底什么是机器人?
bot(也称为蜘蛛或爬行器)只是谷歌(或其他公司)用来搜索web、收集信息或执行自动化任务的一种软件。
“机器人”或“蜘蛛”这个词有点误导人，因为它暗示了某种程度的智能。实际上，这些爬虫并没有做太多的分析。机器人不会确定你的内容的质量;那不是他们的工作。他们只是在浏览网页链接的同时收集内容和代码，并将其传递给其他的索引算法。
这些算法然后获取爬虫收集的信息，并将其存储在一个名为索引的大规模分布式数据库中。当你在搜索引擎中输入一个关键字时，你正在搜索的就是这个数据库。
其他算法应用各种规则来评估数据库中的内容，并决定universal resource locator (URL)在特定搜索词的排名中的位置。分析包括高度相关的关键词出现在页面上的位置、反向链接的数量和质量以及整体内容质量。
到目前为止，您可能已经了解了为什么优化机器人程序是重要的。
虽然爬虫不会决定你的网站是否会出现在搜索结果中，如果它不能收集到它需要的所有信息，那么你的排名机会是相当渺茫的!
那么，你该如何对付这些爬行动物并引导它们去它们应该去的地方呢?你怎么给他们他们想要的东西?
首先要做的是:了解爬行预算
如果你想为机器人优化你的网站，你首先需要了解他们是如何运作的。这就是你的“爬行预算”的来源。
爬行预算是搜索引擎优化专家(SEOs)开发的一个术语，用于描述搜索引擎分配来爬行给定站点的资源。从本质上说，搜索引擎认为你的站点越重要，它就会分配更多的资源来抓取它，你的抓取预算也就越高。
虽然许多评论家都试图想出一个精确的方法来计算爬行预算，但确实没有办法给出一个具体的数字。
这个词流行起来后，谷歌加入进来解释了爬行预算对Googlebot的意义。他们强调了构成爬行预算的两个主要因素:
抓取速度限制:Googlebot抓取站点而不影响用户体验的速度(由服务器容量等决定)。
抓取需求:基于特定URL的受欢迎程度，以及该URL的内容在谷歌索引中的“陈旧程度”。URL越流行，需求越高，更新越多，谷歌需要抓取的次数就越多。
换句话说,你爬预算将会受到很多因素的影响,包括交通,多少的一个搜索引擎爬行你的网站,页面速度,页面大小(带宽使用),你怎么经常更新你的网站,有意义的无意义的url的比例等等。
要了解Googlebot抓取你网站的频率，只需浏览谷歌搜索控制台的“抓取:抓取统计”部分。这些图表/图表是谷歌免费提供的，确实很有帮助，但是它们提供了一个非常不完整的关于站点上机器人活动的图片。
理想情况下，您应该使用on爬行或尖叫青蛙日志分析器之类的程序来分析服务器日志文件。
重要的是要记住谷歌搜索控制台(GSC)不是服务器日志分析器。换句话说，网站管理员无法将服务器日志上传到GSC以分析所有机器人的访问，包括Bingbot。
在优化你的爬行预算时，有几个主要的事情要考虑:
站点更新的频率。如果你的博客一个月更新一次，不要期望谷歌在抓取你的网站上有很高的优先权。另一方面，高调且更新频率高的url(比如《赫芬顿邮报》的主页)可能每几分钟就会被抓取一次。如果你想让Googlebot更频繁地抓取你的网站，那就更频繁地为它提供内容。
主机负载。虽然谷歌希望定期抓取你的网站，但它也不想破坏你的用户的浏览体验。频繁爬行会给服务器带来沉重的负载。一般