有有机搜索三个主要组成部分：抓取，索引和排名。当像谷歌搜索引擎到达你的网站，它抓取所有找到的链接。它发现了什么，然后输入到搜索引擎的索引，其中不同的因素来确定获取的网页，以及以什么顺序，对于特定的搜索查询信息。
作为SEO的，我们往往关注排名组件上我们的努力，但如果搜索引擎无法抓取和索引您网站上的网页，你不会从谷歌获得任何流量。显然，以确保您的网站是正确抓取和被搜索引擎收录是SEO的重要组成部分。
但是，你怎么能告诉您的网站是否正确索引？
如果你有机会获得谷歌搜索控制台，它会告诉你多少页都包含在你的XML网站地图以及其中有多少被索引。不幸的是，它不会走得太远，因为要告诉你的网页不被索引。
这可以让你有很多猜测或人工检查的。这就像在干草堆里找一根针。不好！ 让我们来解决这个问题有一点点的技术创造力和我的另一个免费的SEO工具。
如果要判断一个人的网址已被谷歌索引，我们可以使用“信息：”搜索运算符，就像这样：
如果URL被索引，结果将显示该URL：
但是，如果网址不被索引，谷歌将返回一个错误，说没有该URL没有可用的信息：
现在我们知道如何检查一个网址已被索引，你可能会想知道如何做到这一点集体。你可以有1000名工人很少检查每一个 – 或者，如果你愿意，你可以使用我的Python的解决方案：
使用上面的Python脚本，请确保您有Python 3的安装。您还必须安装BeautifulSoup图书馆。要做到这一点，打开一个终端或命令提示，并执行：
然后，您可以下载脚本到您的计算机。在同一文件夹中的脚本，创建网址列表的文本文件，在单独的行列出每个网址。
现在，你的脚本准备，我们需要建立Tor来作为我们的免费代理运行。在Windows中，下载Tor的专家包。解压zip文件到本地目录并运行TOR。可执行程序。随意将窗口最小化。
接下来，我们必须安装Polipo即可运行Tor和HTTP代理。下载最新的Windows二进制文件（它将被命名为“Polipo即可-1。X。X。X-win32的。拉链“），并解压缩到一个文件夹。
在你的文件夹Polipo即可，创建一个文本文件（例如：配置。TXT）具有以下内容：
打开命令提示符，然后导航至您的Polipo即可目录。
运行以下命令：
在这一点上，我们已经准备好运行我们的实际Python脚本：
该脚本会提示您指定的秒数检查每个URL之间的等待。
它还会提示您输入一个文件名（不含文件扩展名），将结果输出到CSV。
最后，它会问文本文件，它包含的URL列表检查文件名。
输入此信息并让脚本运行。
最终的结果将是一个CSV文件，它可以很容易地在Excel中打开，指定TRUE，如果一个页面索引或FALSE如果不是。
在脚本似乎没有正常工作的情况下，谷歌可能已经封锁Tor的。随意使用自己的代理服务，在这种情况下，通过修改脚本下面几行：
了解哪些网页是由谷歌索引是SEO成功的关键。您无法从谷歌获得流量，如果你的网页是不是在谷歌的数据库！
不幸的是，谷歌不会很容易地确定一个网站的网址被索引。但有一点苦劳和上面的Python脚本，我们能够解决这个问题。
在这篇文章中所表达的意见是那些客人笔者并不见得搜索引擎土地。作者的工作人员在这里列出。