baiud与google中文技术比较分析【详细版】

      google与搜索 2006-5-21 22:26

题目有点大了,实际上我只做了4个方面的比较和分析:复合词的分词及过滤,汉语拼音检索的提示及简繁体字的转换,错别字的识别和提示,以及相关搜索词的提示。试验中尽量选择具有代表性的搜索词,由几组到十几组,结果还是蛮有意思的。

带搜索结果截图的版本请看这里

 

先说复合词的分词和过滤,选择了4组没有歧义的复合词,主要是并列结构和主谓结构,其中最后一组是在正规汉语中没有的词,是网络中形成的新词。

搜索词

Google

Baidu

笔记本电脑

返回21,800,000项结果。在前20页中(20页后未查看),摘要中加亮关键字多数为“笔记本电脑”,也有大量关键字为“笔记本”或“电脑”,在搜索结果第一页中第六项发现,所有的加亮关键词中,没有连续的“笔记本电脑”这个词,全部是分开的“笔记本”或“电脑”。

由此推测,google对搜索词的处理策略是:全部分词后再检索。然后再搜索结果中匹配任意关键词的子串。

返回11,500,000项结果。在前20页中(20页后未查看),摘要中加亮关键绝大多数为“笔记本电脑”,个别出现关键字为“笔记本”或“电脑”

baidu的结果看出,baidu的策略是尽量精确匹配搜索词,同时也对关键词分词后匹配。

为了测试是否对搜索词的分词效果,替换搜索为

[笔记本电脑 笔记本],即要求搜索结果中不包含“笔记本”,请看下面的试验。

笔记本电脑 笔记本

返回1,380,000项结果。很有意思的结果,结果中大量出现“笔记本”,“笔记本电脑”和“电脑”关键词,比例和上面差不多,三个关键词的数量差别不大,没有在结果中完全过滤掉“笔记本”这个词。

虽然网页数量少了近一半,但是过滤效果不明显。

返回4,140项结果。除了两条赞助商广告外,绝大多数(超过90%的网页中没有任何“笔记本”关键词,个别网页中出现“笔记本”或“笔记本电脑”(每页中不超过1个)关键词。

过滤效果明显,剩下的估计是因为竞价排名留下的。

数据仓库

返回2,330,000项结果。在前20页中(20页后未查看),与上一组结果非常相似,多数关键词为“数据仓库”,另有部分关键词“数据”

返回516,000项结果。在前20页中(20页后未查看),摘要中加亮的关键词全部为“数据仓库”。

数据仓库 -数据

返回7项结果。摘要中出现关键字“数据”和“數據”(繁体)及部分“仓库”。还是没有过滤全。

返回5项结果。4张英文网页,1张中文网页,摘要中没有任何加亮关键字。

人品问题

返回21,600,000项结果。Google摘要中加亮的关键词有“人品问题”(占多数),少量的“人品”,“问题”和“品问题”。此部分验证了“在结果中做任意相同字串的匹配”,因为其中匹配了一个字串“品问题”,由此可以推测,google对关键词坚持使用分词后再搜索的策略,摘要中加亮的完整关键词是分别对两个(多个)分词后的字串加亮,而这些词恰好又挨着,所以会出现完整的加亮关键词。

返回1,890,000项结果。摘要中绝大多数加亮的关键词为“人品问题”,少量的“人品”和“问题”,由此验证Baidu的策略是尽量精确匹配用户输入的关键词。

 

 

 

同样,搜索[人品问题 -人品],看看是否能正确分词并过滤。这组词和下一组词的选取可以保证不受竞价排名的干扰。

人品问题 -人品

返回18,600,000项结果。又是非常有意思的结果,匹配绝大多数的“品问题”。第三页中出现了“人品问题”这个词,但是只加亮了“品问题”几个字,这个结果有点出我意料,难道google把这个词分成了“人”和“品问题”?如果是这样的话,那就是分词的失败,没有把“人品”和“问题”看成是两个词。由此可以判断,在“笔记本电脑 -笔记本”和“数据仓库 -数据”两次搜索中没有过滤干净的情况也可能是因为分词没有分好。

返回3项结果。1篇英文网页,两篇中文,完全过滤掉“人品”关键词,出现“问题”关键词。

我稀饭

 

 

 

意思是我喜欢,选这个词是看两个引擎是否把“稀饭(喜欢)”这个网络常用词收入词库。

返回52,600项结果。

返回55,800项结果。

我稀饭 -稀饭

返回1,510项结果。在搜索结果的摘要中匹配了这样一个关键词“- 稀饭”。

返回0项结果。

结论:

1.  两个引擎都在结果摘要中加亮任意匹配成功的任意关键字子串。

2.  Google的搜索策略是,对关键词完全分词后,再搜索。而baidu的策略是尽量精确匹配搜索词,然后兼顾分词后各个子串的匹配。我认为,baidu的策略(尽量精确匹配搜索词)是更好的策略,这样更加符合用户的意图。

3.  为了试验两个引擎的分词准确度,选择的关键词都是并列或主谓关系的复合词,并且没有歧义,然后过滤关键词中一个字串组成的词。由结果可以看出,baidu的分词及过滤是十分准确的,而google表现不够令人满意,虽然页面减少很多,但是没有达到过滤效果。

 

----------------------------------------------

对拼音及简繁体中文的支持

特地选取了有歧义的拼音字符串和并不常见的拼音串。

  xianshibian 可以分解为 西安事变(正确)和 现实变(错误)和 县事变(错误)等。

pinganguilai, 其中pingan 可分成 平安(正确) 拚敢(错误) 等。

搜索词

Google

Baidu

xianshibian

提示:您是不是要找:西安事变    

提示:您要找的是不是: 西安事变 

renxingjilu

提示:您是不是要找: 人性记录  人行记录  人形记录  

提示:您要找的是不是: 人性记录  

jujuduxing

您是不是要找: 踽踽独行  

您要找的是不是: 踽踽独行 

pinganguilai

您是不是要找: 平安归来  

您要找的是不是: 平安归来

关于繁体字

在搜索结果中自动提供繁体搜索结果,如果使用繁体字关键词,结果中提供简体。

不管检索词为简体还是繁体,都提供简体结果,是否提供繁体结果,我没有看到。

结论:

两个引擎对拼音的支持还是非常好的,对简繁体的搜索词都有各自的处理方法,也算考虑全。

----------------------------------------------

对错别字的提示

选择搜索词时,即选择了字形相似而字音不同的词,也选择了字音相近而字形不同的词,以及常见易读错的词和常见短语(很难说是不是词)。

搜索词

Google

Baidu

塘粗排骨

直接搜索,没有错别字提示

您要找的是不是: 糖醋排骨

辛辛学子

直接搜索,没有错别字提示

直接搜索,没有错别字提示

瓜瓜坠地

直接搜索,没有错别字提示

您要找的是不是: 呱呱坠地 

朱荣基

直接搜索,没有错别字提示

您要找的是不是: 朱鎔基

韩飞子

直接搜索,没有错别字提示

您要找的是不是: 韩非子 

小里飞刀

直接搜索,没有错别字提示

您要找的是不是: 小李飞刀  

禹禹独行

直接搜索,没有错别字提示

直接搜索,没有错别字提示

结论:对于音近的错别字,baidu几乎都能提示出现错别字,但是对形近的错别字提示不够好,3个形近错别字只提示了1个。Google则没有任何错别字提醒功能。

结论:对于音近的错别字,baidu几乎都能提示出现错别字,但是对形近的错别字提示不够好,3个形近错别字只提示了1个。Google则没有任何错别字提醒功能。

对于音近的错别字,查错是比较容易的,一种方法是将搜索词转为拼音串,然后查找拼音串对应的搜索频率最高的几个词是否与搜索词相同,不同就提示。相比之下,对于形近字的差错就比较麻烦,所以“辛辛学子”和“禹禹独行”没有被检查出来。

相关搜索的提供

搜索词

Google

Baidu

韩飞子

0

0

韩非子

10个,高度相关

10个,高度相关

踽踽独行

0

10个,多数相关

小李飞刀

5个,高度相关

10个,高度相关

小里飞刀

0

10个,比较像关

人性记录

0

10个,高度相关

数据仓库

7个,高度相关

10个,高度相关

笔记本电脑

10个,高度相关

10个,高度相关

我稀饭

0

10个,比较像关

结论:在绝大多数情况下,baidu都能以很大的相关度给出10个相关搜索,并且当检索词错误时,也有不错的相关搜索列出。Google对部分搜索词能给出高度相关的相关搜索词,

结论:在绝大多数情况下,baidu都能以很大的相关度给出10个相关搜索,并且当检索词错误时,也有不错的相关搜索列出。Google对部分搜索词能给出高度相关的相关搜索词,

总体来看,baidu在中文技术上要优于google,尤其体现在错别字提醒和相关搜索两项上。另外,我认为,由于两个引擎对分词后搜索的策略的不同,使得搜索结果的多少在比较两个引擎的优劣上没有什么意义。Baidu倾向于搜索词的完整精确匹配,google对此关注好象不高。这个倾向也会的影响到两个引擎对同一关键词,尤其是复合词,的搜索结果排序。

总体来看,baidu在中文技术上要优于google,尤其体现在错别字提醒和相关搜索两项上。另外,我认为,由于两个引擎对分词后搜索的策略的不同,使得搜索结果的多少在比较两个引擎的优劣上没有什么意义。Baidu倾向于搜索词的完整精确匹配,google对此关注好象不高。这个倾向也会的影响到两个引擎对同一关键词,尤其是复合词,的搜索结果排序。

_____________________________________ 详细搜索 超级链接 虚拟主机 IDC服务器

标签集:TAGS:
回复Comments() 点击Count()

回复Comments

{commenttime}{commentauthor}

{CommentUrl}
{commentcontent}