百度搜索引擎中文分詞與文本粒度
2015-10-08 來(lái)自: 陜西印象信息技術(shù)有限公司 瀏覽次數:2998
百度搜索引擎的目的就是在滿(mǎn)足絕大部分用戶(hù)的需求下提供***精que***豐富的搜索結果,對于搜索引擎而言,用戶(hù)停留時(shí)間越短,越說(shuō)明搜索引擎的***性和準確性,不管是百度的輕應用、知心搜索,還是谷歌的語(yǔ)義搜索、蜂鳥(niǎo)算法,或是360的我的搜索,都是為了能夠幫助人們更方便的找到所求。
而對于搜索引擎而言,想要給用戶(hù)***需求的就需要去判斷用戶(hù)搜索詞的意圖。而搜索引擎盡管非常***,數據庫非常龐大,但它畢竟不是那么智能,不能直接判斷出搜索詞的意思,盡管谷歌已公布可以借助更加復雜的搜索請求***的理解人類(lèi)語(yǔ)言的概念,而不是一些零散的單詞,這樣的搜索能提供更加***的結果,即整句搜索。但這只是一小步,搜索引擎不論是進(jìn)行索引還是網(wǎng)頁(yè)排序仍需要對文本進(jìn)行切分,即中文分詞。分詞仍然是***基礎也是***重要的。而在中文分詞過(guò)程中文本粒度起到關(guān)鍵性的作用。
文本粒度
所謂文本粒度,對于搜索引擎而言:粒度是衡量文本所含信息量的大小。文本含信息量越多,粒度就越大,反之就小。有人會(huì )說(shuō)那簡(jiǎn)單啊,當然詞越長(cháng)含有的信息量就越大,你確定?那木木SEO告訴你一個(gè)小玩意:肌聯(lián)蛋白是目前已知的***da蛋白質(zhì),名字足足有189819個(gè)字母,是名副其實(shí)***da的單詞。這個(gè)單詞的信息量是有多大?閑話(huà)不多說(shuō),先來(lái)看下面幾組詞中,哪些的粒度大,哪些的粒度小。
蘿卜、葡萄、乒乓
龍井、籃球、紅色、橡皮檫
踢球、拔河、談戀愛(ài)、登山
高清電視機、南非雙人游、呼叫中心系統
第1組詞由兩個(gè)字組成,但是僅表達一個(gè)意思,這些詞的粒度是小的。而第二組詞雖然也基本由兩個(gè)字組成,也只有一個(gè)意思,但這些詞還可以拆分,如籃和球、橡皮和檫、踢和球等,這類(lèi)詞粒度要稍微大一些。而后面的第四組,不要說(shuō)粒度就更大了。