作为谷歌完全删除robots.txt文件中对noindex指令的支持的一部分，谷歌现在向那些有这样指令的人发送通知。今天早上，许多SEO社区开始收到来自谷歌搜索控制台的通知，标题是“从robots.txt删除“noindex”语句……”
它是什么样子的。社交媒体上有很多这样的截图，下面是比尔·哈泽在推特上的一张:
2019年9月1日。这是您需要不再依赖于robots.txt文件中提到的noindex的日期。这是谷歌在本月早些时候宣布的，现在正在发送信息来帮助传播这一改变。
我们为什么要关心。如果您得到这个通知，请确保您在这个noindex指令中提到的内容以不同的方式得到支持。最重要的是确保没有在robots.txt文件中使用noindex指令。如果你是，你需要在9月1日前做出上述建议。另外，看看您是否使用了nofollow或爬行延迟命令，如果是这样，接下来要为这些指令使用真正受支持的方法。
有什么替代方案?谷歌列出了以下选项，你可能已经使用了无论如何:
(1) robots元标签中的Noindex: HTTP响应头和HTML中都支持Noindex指令，当允许爬行时，Noindex指令是从索引中删除url的最有效方式。
(2) 404和410 HTTP状态码:这两个状态码都表示该页面不存在，当这些url被抓取和处理后，它们将从谷歌的索引中删除。
(3)密码保护:除非使用标记表示订阅或付费内容，否则将页面隐藏在登录后通常会将其从谷歌的索引中删除。
(4)机器人禁止入内。txt:搜索引擎只能索引他们知道的页面，所以阻止页面被抓取通常意味着它的内容不会被索引。虽然搜索引擎可能也会基于其他页面的链接索引URL，而看不到内容本身，但我们的目标是让这些页面在未来不那么显眼。
(5)搜索控制台删除URL工具:该工具是一种从谷歌搜索结果中临时删除URL的快捷简便方法。