索引是任何SEO审计的第一步。为什么?
如果你的网站没有被索引，它基本上是没有被谷歌和Bing阅读。如果搜索引擎不能找到并“阅读”它，再多的魔法或搜索引擎优化(SEO)也不能改善你的网页排名。
为了排名，一个网站必须首先被索引。
你的网站被编入索引了吗?
有许多工具可以帮助您确定站点是否被编入索引。
索引的核心是一个页面级的过程。换句话说，搜索引擎阅读页面并单独对待它们。
检查页面是否被谷歌索引的一种快速方法是使用site:操作符进行谷歌搜索。只输入域，如下面的示例所示，将显示谷歌为域索引的所有页面。您还可以输入特定的页面URL，以查看该页面是否已被索引。
当页面未被索引时
如果您的站点或页面没有被编入索引，最常见的罪魁祸首是在页面上使用了meta robots标签，或者在robots.txt文件中不恰当地使用了disallow。
meta标签(在页面级别)和robots.txt文件都为搜索引擎索引机器人提供了如何处理页面或网站上的内容的指导。
区别在于robots.txt文件在单个页面上显示meta标签，而robots.txt文件提供了整个站点的说明。然而，在robots.txt文件中，您可以指定页面或目录，以及机器人在索引时应该如何处理这些区域。让我们研究一下如何使用它们。
robots . txt
如果你不确定你的网站是否使用robots.txt文件，有一个简单的方法来检查。只需在浏览器中输入您的域，后面跟着/robots.txt。
下面是一个使用亚马逊(https://www.amazon.com/robots.txt)的例子:
亚马逊的“不允许”列表持续了很长一段时间!
谷歌搜索控制台还有一个方便的robots.txt测试工具，可以帮助您识别robots文件中的错误。你也可以使用底部的工具条来测试网站上的页面，看看你的robots文件在当前形式下是否阻止了Googlebot。
如果站点上的某个页面或目录被禁用，它将出现在robots文件中的Disallow:之后。如我上面的例子所示，我已经不允许使用robots文件索引我的登录页文件夹(/lp/)。这可以防止任何驻留在该目录中的页面被搜索引擎编入索引。
在使用robots文件时，有许多很酷又很复杂的选项。谷歌的开发者网站上有一个很好的关于所有使用robots.txt文件的方法的纲要。这里有一些:
机器人meta标签
robots元标记放置在页面的头部。通常，不需要同时使用robots.txt元标签和robots.txt来禁止对特定页面进行索引。
在上面的搜索控制台图像中，我不需要添加robots元标签到我的着陆页文件夹中的所有着陆页(/lp/)，以防止谷歌从索引他们，因为我已经不允许文件夹从索引使用robots.txt文件。
然而，robots元标签也有其他功能。
例如，您可以告诉搜索引擎，为了搜索引擎优化的目的，不应该遵循整个页面上的链接。这在某些情况下可能会派上用场，比如在新闻发布页面上。
可能最常用的两个SEO标签是noindex/index和nofollow/follow:
指数遵循。默认情况下。搜索引擎索引机器人应该索引这个页面上的信息。搜索引擎索引机器人应该跟随这个页面上的链接。
Noindex nofollow。搜索引擎索引机器人不应该索引这个页面上的信息。搜索引擎索引机器人不应该跟随这个页面上的链接。
谷歌开发者的网站也对robots元标签的使用进行了详尽的解释。
XML站点地图
当你在你的网站上有一个新的页面，理想情况下你希望搜索引擎能快速地找到它并建立索引。一种帮助实现这一目标的方法是使用可扩展标记语言(XML)站点地图，并向搜索引擎注册它。
XML站点地图为搜索引擎提供了网站上的页面列表。当你的新内容可能还没有太多的入站链接指向它时，这就特别有用，这会让搜索引擎机器人更难通过链接找到该内容。许多内容管理系统现在都内置了XML站点地图功能，或者可以通过插件使用，比如WordPress的Yoast SEO插件。
确保你有一个XML站点地图，并且用谷歌搜索控制台和Bing网站管理员工具注册。这就确保了谷歌和Bing知道站点地图的位置，并且可以不断地回来对其进行索引。
使用这种方法可以多快地对新内容进行索引?有一次我做了一个测试，发现谷歌只用了8秒就把我的新内容编入了索引——这就是我更换浏览器标签和执行site: operator命令所花的时间。