谷歌已经证实,有一些用户代理Googlebot的蜘蛛无法正常通过验证协议。
精明的网站管理员注意到,Googlebot会在 。249.70。0/24 IP范围不返回正确的反向DNS验证细节。给出的回答是“没有这样的主机是已知的,”但发现活动的站长是,它确实看起来是一个合法的谷歌爬虫。
谷歌的约翰·米勒在我的Google 信息确认这的确是对谷歌的最终问题。暂时他们已经在这些IP范围内停止Googlebot活动,将解决这个问题,他们继续抓取这些IP范围之前。
问题是,如果你是通过反向DNS验证阻断流氓蜘蛛,你可能已经从因为失败的DNS检查的抓取您的网站封锁谷歌。
现在,谷歌正在努力解决这个问题,但你不应该担心在这个时候阻止真正的Googlebot会。