谷歌已经在谷歌研究博客上发布了搜索质量评分者指南，这是评估谷歌搜索结果的承包商指南，特别是谷歌助手和语音搜索结果。它类似于网络搜索质量指南，但它改变了，没有屏幕看时，评估这样的结果;相反，您正在评估来自谷歌助手的语音响应。
谷歌解释说:“谷歌Assistant需要有自己的指导方针，因为它的许多交互都使用所谓的‘无眼技术’，当没有屏幕的时候，这是体验的一部分。谷歌设计了机器学习和算法，试图让语音回复和“回答语法、流利和简洁”。谷歌表示，他们要求评分者确保在几个方面的回答都令人满意:
信息满意度:回答的内容应满足用户的信息需求。
长度:当显示的答案太长时，用户可以快速直观地扫描并定位相关信息。至于声音的回答，那是不可能的。更重要的是确保我们提供了大量有用的信息，希望不要太多或太少。我们之前的一些工作目前正在用于确定最相关的部分答案。
表述:表述糟糕的书面回答比不符合语法的口语回答更容易理解，因此必须更加注意确保语法的正确性。
朗诵:回答的发音和韵律要正确。在文本到语音生成方面的改进，如WaveNet和Tacotron 2，正在迅速缩小与人类性能的差距。
这个只有7页的指南可以在这里下载PDF格式。