长青的Googlebot在谷歌抓取和渲染内容的能力上是一个巨大的飞跃。在这次更新之前,Googlebot是基于Chrome 41(2015年发布)的,这样搜索引擎就可以索引那些在老版本Chrome上仍然可以使用的页面。然而,缺点是具有现代功能的站点可能不受支持。这种差异为站点所有者创造了更多的工作,他们希望在利用现代框架的同时仍然保持与谷歌的web爬虫的兼容性。
总是最新的。“现在,每当有一个更新,它几乎自动更新到最新的稳定版本,而不是我们不得不花几年的时间来做一个版本跳转,”Martin Splitt说,他是谷歌的搜索开发者倡导者,在我们与搜索引擎的现场爬行和索引会话。Splitt是致力于使Googlebot“常青”的团队的一员,这意味着爬虫将永远与最新版本的铬保持最新;他还在公司2019年的I/O开发者大会上发布了这款产品。
工作的两倍。在长青的Googlebot出现之前,一个常见的解决方法是使用现代框架为用户构建站点,但为Googlebot提供替代代码。这是通过识别Googlebot的用户代理来实现的,其中“41”代表了它正在使用的Chrome版本。
这一妥协意味着网站所有者必须为他们的内容创建一个专门针对Googlebot的替代版本。这样做既费力又费时。
谷歌机器人的用户代理,重新访问。更新Googlebot的用户代理以反映最新版本的Chromium的部分问题是,一些网站正在使用上述技术来识别网络爬虫。更新后的用户代理可能会导致网站所有者(不知道变化)没有向Googlebot提供任何代码,这可能会导致他们的网站没有被抓取,随后被索引和排名。
为了防止服务中断,谷歌提前沟通了用户代理的变更,并与技术提供商合作,以确保网站仍然像往常一样爬行。“当我们真正心动的时候……几乎没有发生火灾。”
为什么我们关心。长青谷歌机器人可以访问您的更多内容,而不需要解决方案。这也意味着运行现代JavaScript的站点索引问题更少。这使得网站所有者和seo能够花更多的时间创建内容,而不是把注意力分散在支持用户和过时版本的Chrome上。