去年，谷歌对其生产系统中使用的robots.txt解析器的代码进行了开源。在看到社区使用它构建工具，并向开源库添加了自己的贡献(包括用c++编写的原始解析器的语言移植到golang和rust)之后，谷歌本周宣布发布了其他相关的源代码项目。
以下是开发者和技术seo的新体验。
c++和Java。为任何人写自己或采用谷歌的c++编写的解析器(一个超级快的编译语言),谷歌发布了其robots . txt的源代码解析器解析器验证测试框架用于确保结果符合官方的robots . txt规范如预期的那样,它可以验证解析器在各种各样的其他语言写的。
此外，谷歌发布了一个官方移植到更流行的Java语言。现代Java比c++在企业应用程序中使用得更广泛，而c++更典型地使用在需要性能的核心系统应用程序中。目前，一些基于java的代码库运行用于企业SEO和或营销软件的应用程序。
测试和验证。运行测试框架的需求包括用于Apache Maven的JDK 1.7+，以及用于将测试框架与解析器平台和开发工作站接口的谷歌协议缓冲区。它对于开发自己的解析器、验证端口或使用谷歌的官方解析器的任何人都非常有用，特别是对于验证开发到新语言的端口时。
使用起来有多难?我们应该注意到，这些是谷歌中相对容易接近的由内部领导的项目，中级到高级程序员应该可以使用其中的一种或多种语言来使用。您可以使用几乎任何编程语言构建robots.txt解析器。然而，当您的营销应用程序运行与管理Googlebot完全相同的解析器时，它增加了可感知的权威性。
为什么我们关心。如果你或你的公司,计划写或写了履带解析robots . txt文件指令寻找重要信息(不仅)的优化,那么这个给你动力去评估是否使用谷歌的解析器在c++, Java,或者其他语言端口是值得的。如果应用程序已经用Java编写，那么Java解析器应该相对容易采用。