“我不知道为什么人们在重新发明轮子，”Martin Splitt说，他是谷歌的搜索开发者，在我们与搜索引擎的现场爬行和索引会议上。随着越来越多的技术被开发出来，为seo和网站管理员提供灵活的解决方案，Splitt担心依赖这些变通方法，而不是坚持基本原则，最终会损害网站的有机可见性。
“我们有一个工作机制来做联系……那么，为什么我们要尝试再造比我们已有的更糟糕的东西呢?Splitt说，他对一些开发人员和seo如何背离标准的HTML链接，转而采用更花哨的解决方案表示失望，比如使用按钮作为链接，以及为onclick处理程序放弃href属性。这些技术可能会给web爬虫程序带来问题，从而增加了这些爬虫程序跳过您的链接的可能性。
当SEOs和开发人员阻止搜索引擎访问某些使用robots.txt文件的内容时，仍然期望他们的JavaScript API来引导网络爬虫时，另一个常见的问题就出现了。“当你阻止我们加载它时，我们看不到你的任何内容，所以据我们所知，你的网站是空白的，”Splitt说，“而且，我不知道为什么，作为一个搜索引擎，我会在索引中保留一个空白网站。”
为什么我们关心。“通常情况下，人们面对一个相对简单的问题，然后过度设计一个看似有效的解决方案，但实际上在某些情况下失败，这些情况通常涉及爬虫，”Splitt说。当简单的、被广泛接受的技术已经存在时，站点所有者应该选择这些解决方案，以确保他们的页面能够被抓取，随后被索引和排名。解决方案越复杂，该技术在未来导致不可预见的问题的可能性就越大。