答案搜寻性能分析系统( “问题解答” )
该分析系统测试,搜索引擎如何能够很好的找到问题的正确答案(含有一个疑问代词,例如, “2014年世界杯在哪儿举办?”“圣诞老人领头的驯鹿叫什么”)或隐性问题的答案(问题中包含有问题性质的肯定句,比如“世界上第一位女性宇航员”,“灌篮高手作者”) 。
当用户输入一个包含隐性或显性问题的查询,他可能只是为了寻找一个答案。用户越早找到答案越好。最好的答案是直接体现在搜索结果的页面,即搜索结果的第一个片段。
然而,该分析系统依据“严谨性”程度的不同用四种方式来评估搜索引擎。由此分析系统有的四个选项标签:
1. 答案在片段中的位置
若答案出现在在搜索结果排序第一位的片段中得1分,若第二位得0.9分,若第三位0.8分,依此类推。如果答案出现在搜索结果位于第十的片段中得0.1分。若在前十个搜索结果的片段中都没有出现答案则得零分。
2.片段中的答案
若第一页的搜索结果的所有片段中包含至少一个答案得一分,否则为零分。
3.网站中答案的位置
搜索引擎的每个查询请求得到的分数由1至0.1。若第一页包含所要搜寻的答案则得一分,若第二页包含所要搜寻的答案得0.9分。由此类推,若所有的页面都没有包含所需答案,则为零分。
4. 在网上的答案(答案站点)
若在前十页搜索结果的网页中至少有一页包含所需答案,则搜索引擎得一分,否则为零分。
对于某些查询的问题的正确答案可能有几个不同的表达方式。例如,查询“奥林匹克格言”得到的正确答案可能来自英语,拉丁语或者用户的母语。只要这些都是同一实体的变体,我们都认为是正确的。但是我们避免使用拥有多个可能性答案的问题(如“四书是指的是哪几本书”)作为不适当的查询内容。