如果你在谷歌搜索[报价]谷歌将返回百叶窗谷歌Offers网页作为第一搜索房源。但是,如果你仔细看,你会看到谷歌已经从蜘蛛挡住了他们的机器人内页。TXT文件和网页本身说,“不再被支持本网站。“
下面是[报价]搜索结果的屏幕截图,目前在谷歌:
正如你所看到的,它跻身头号但片断写道:“此结果的描述是因为这个网站的机器人不可用。TXT – 了解更多。“当你通过点击,你会得到一个网页,在技术上返回404个状态码,这应该对谷歌沟通,从他们的搜索结果中删除网页。
下面是谷歌Offers网页的副本:
谷歌似乎居页基于仍然指向该URL的链接术语报价。这是多大的链接和网站的信誉,仍能保持内容显示出来,即使它已经改变了,被封锁由机器人一个很好的例子。TXT,也404ed。谷歌的抓取工具将继续尝试访问该网址,看是否拒绝链接和404名的地位发生了变化,如果URL应该在未来某个时候根据这些变化包括。
如果你想从谷歌的索引中完全删除页面,404ing页面应该足够。我不知道,因为它在机器人是不允许的。TXT,,谷歌无法抓取页面看到的404个状态码,因此可以使网页排名在搜索结果中,仅仅基于链接。谷歌网站管理员工具有工具来彻底删除该网页,您可以了解在这里。