爬行和索引过程为搜索引擎对结果进行排名奠定了基础。尽管是搜索引擎操作的基本方面，爬行和索引经常被忽视或误解。在我们的Live with Search Engine Land的爬行和索引会议上，谷歌的搜索开发者提倡者Martin Splitt用一个关于图书管理员的简单类比解释了这两个过程。
“想象一个图书管理员:如果你正在写一本新书,图书馆员必须把书和找出这本书是什么以及它与什么,如果有其他的书,这本书可能是原始材料或可能从这本书,引用“Splitt说。在他的例子中，图书管理员是谷歌的网络爬虫(称为Googlebot)，而图书是一个网站或网页。
“那么你……你必须通读(这本书)，你必须理解它是关于什么的，你必须理解它是如何与其他书相联系的，然后你才能把它分类到目录中，”他解释索引过程时说。然后，你网页的内容被存储在“目录”(即搜索引擎的索引)中，在那里可以进行排名，并作为相关查询的结果。
为了把这个比喻打个圆场，Splitt还用技术术语描述了这个过程:“我们有一个url列表……和我们每一个url,我们做一个网络请求,然后我们看看服务器响应,然后我们也呈现它(我们基本上打开它在浏览器中运行的JavaScript),然后我们再看看内容,然后把它放在索引的障眼法,类似于图书管理员做什么。”
为什么我们关心。为了使内容符合条件出现在搜索结果中，它必须首先被抓取和索引。了解如何爬行和索引工作可以帮助您解决技术SEO问题，并确保您的页面是可访问的搜索引擎。