围绕苹果的网络爬虫很多猜测后,苹果终于发布了帮助文件,确认AppleBot的存在,他们的网络爬虫。
苹果表示,Applebot是苹果网络爬虫。 AppleBot是“使用产品,包括Siri的和Spotlight建议,”该公司表示,。
用户代理通常会遵循以下字符串,但将它包含“Applebot”总是:
Mozilla的/ 5.0(在Macintosh;英特尔的Mac OS X 10_10_1)为AppleWebKit / 600.2。5(KHTML,例如Gecko)版本/ 8.0。2 Safari浏览器/ 600.2。5(Applebot / 0.1)
苹果公司表示,将尊重习惯机器人。TXT规则和机器人meta标签。AppleBot目前起源于17.0。0.0净块。如果你不提AppleBot在你的机器人。TXT指示,苹果会跟着你提什么为Googlebot。所以,如果你想阻止AppleBot和Googlebot,你可以封锁Googlebot,但我建议你单独阻止的每个。
如果您发现不寻常的AppleBot活动,您可以了解它在苹果-NOC“在”苹果达到苹果。COM。
目前还不清楚,如果建设和与谷歌的搜索竞争苹果的计划,但这个是一步步接近到。
后记:苹果内幕今天晚些时候报道称,苹果是“迅速扩大的内部搜索组”通过Spotlight来建立自己的网络搜索引擎的版本。 因此,它似乎苹果正在进军谷歌的搜索空间 – 至少根据这些早期的报告。