游戏规则已经改变了。平均而言，15-20%的url没有被谷歌索引。
这是在实际索引页面的部分索引问题之上的。部分索引是当你的URL被谷歌索引，但页面的一些内容没有索引的许多原因。
你的网站越大，你就越有可能被索引所困扰。举几个例子:
沃尔玛:只有61%被谷歌收录，
Yoox.com:只有19%的内容被索引。
电子商务商店，出版商，甚至博客。没有人能对这个问题免疫。
沃尔玛，威瑞森，Medium.com——网站的类型并不重要。
Medium.com是我最喜欢的例子之一，有20%的url没有被谷歌索引，但是没有索引的网站列表很长。我们的数据库中充满了成千上万的大品牌，你知道的品牌，你每天访问的网站都在努力让他们独特的，可索引的url被谷歌索引。
本文将说明这个问题，并帮助您不仅理解它，而且诊断、监控和修复您的网站上的它。
在谷歌搜索中没有索引的几个品牌网站的url的百分比。
在我们开始讨论这个挑战的解决方案之前，让我先解释一下索引、部分索引和呈现SEO的历史。
一点历史
索引问题不再只是关于JavaScript。
第一次看到部分索引页面时，我对这种新现象感到惊讶，但在2017年，这个问题很容易解释。谷歌将索引HTML内容，并跳过依赖于JavaScript的页面部分。
我们开始跟踪我们的客户和其他大的，流行的网站的索引问题，希望找到原因。我们很快意识到索引问题有各种各样的形式和大小。
部分索引通常使用JavaScript连接到网站上，但这种情况正在慢慢改变。有越来越多的“JavaScript-free”网站与部分索引的斗争。
为了理解这个问题，我们需要更多的数据。我们需要了解问题的规模。去年,我们开始建造自己的工具集来追踪谷歌的索引问题,这篇文章将总结过去几年研究爬行,渲染,和索引的趋势,数据从我们的工具集,最后但并非最不重要的是,谷歌的反馈和反应我们宣布我们的发现在我的“呈现SEO宣言”SEJ eSummit 6月。
让我们从您可能会遇到的四种不同类型的索引问题开始。
URL索引
这个问题是最严重的，也是最容易理解的。如果您的整个URL没有被谷歌索引，那么它是一个总体问题。
为什么我叫它URL索引?在过去，我们使用术语“HTML索引”代替，但我们意识到它不再是最好的主意。你可以有部分索引问题与HTML网站，这使这个术语混淆和过时。从现在开始，我将坚持使用URL索引来使它更精确一些。
URL级别的索引问题示例
让我们看一下数据库中的一个url。我们将查看一个示例诊断路径，看看谷歌是否正确索引了URL。
在完成所有这些步骤之前，请确保所讨论的URL没有被规范化、没有索引、在机器人中被阻塞等等。
在写这篇文章的时候，这个URL(就像这篇文章中提到的其他URL一样)已经有好几个月没有被编入索引了，但是我确信在这篇文章发表之后，由于外部链接和发送到它的流量，它会很快被编入索引。如果你想看一看，请随意为一个不被谷歌索引的url列表DM我。
https://us.topshop.com/en/tsus/product/alba-white-woven-ballet-shoes-9902647
让我们从以前的好站点开始:命令check in谷歌。
我们可以看到谷歌没有为这个URL返回任何结果，但是我们的工作还没有完成。
命令经常返回错误的否定。不过(目前)有一种方法可以解决这个问题。
我们通常会进行两次额外的搜索，以确定我们的诊断是否正确。
1. “品牌名称”+网站命令
只需在站点前添加品牌名称:command
2. “关键字”+网站命令
在网站创建之前添加一个经常在内容中使用的词:命令来再次检查你的搜索结果是否准确。
在本例中，我使用了单词“shoes”，因为这是鞋类的产品清单。
现在我们可以确定这个URL没有被谷歌索引。
下面是一些没有在URL级别上建立索引的页面示例。