搜索引擎收錄

1基本概述

搜索引擎收錄是搜索引擎收錄一個(gè)網(wǎng)站頁(yè)面具體的數量值，收錄的數量越多，收錄的時(shí)間越快，證明此網(wǎng)站對搜索引擎比較友好。

比較常用的搜索引擎收錄有baidu（百度）google（谷歌）yahoo（雅虎）sogou（搜狗）youdao（有道）soso（搜搜）bing(必應）。

2收錄原理

收集待索引網(wǎng)頁(yè)的url

Internet上存在的網(wǎng)頁(yè)數量***是個(gè)天文數字，每天新增的網(wǎng)頁(yè)也不計其數，搜索引擎需要首先找到要索引收錄的對象。

具體到Google而言，雖然對GoogleBot是否存在DeepBot與FreshBot的區別存在爭議——至于是否叫這么兩個(gè)名字更是眾說(shuō)紛紜，當然，名字本身并不重要——至少到目前為止。

主流的看法是，在Google的robots中，的確存在著(zhù)相當部分專(zhuān)門(mén)為真正的索引收錄頁(yè)準備“素材”的robots——在這里我們姑且仍稱(chēng)之為FreshBot吧

——它們的任務(wù)便是每天不停地掃描Internet，以發(fā)現并維護一個(gè)龐大的url列表供DeepBot使用，換言之，當其訪(fǎng)問(wèn)、讀取其一個(gè)網(wǎng)頁(yè)時(shí)，目的并不在于索引這個(gè)網(wǎng)頁(yè)，而是找出這個(gè)網(wǎng)頁(yè)中的所有鏈接。

——當然，這樣似乎在效率上存在矛盾，有點(diǎn)不太可信。不過(guò)，我們可以簡(jiǎn)單地通過(guò)以下方式判斷：FreshBot在掃描網(wǎng)頁(yè)時(shí)不具備“排它性”。

也即是說(shuō)，位于Google不同的數據中心的多個(gè)robots可能在某個(gè)很短的時(shí)間周期，比如說(shuō)一天甚至一小時(shí)，訪(fǎng)問(wèn)同一個(gè)頁(yè)面，而DeepBot在索引、緩存頁(yè)面時(shí)則不會(huì )出現類(lèi)似的情況。

即Google會(huì )限制由某個(gè)數據中心的robots來(lái)完成這項工作的，而不會(huì )出現兩個(gè)數據中心同時(shí)索引網(wǎng)頁(yè)同一個(gè)版本的情況，如果這種說(shuō)法沒(méi)有破綻的話(huà)，則似乎可以從服務(wù)器訪(fǎng)問(wèn)日志中時(shí)?？梢钥吹皆醋圆煌琁P的GoogleBot在很短的時(shí)間內多次訪(fǎng)問(wèn)同一個(gè)網(wǎng)頁(yè)證明FreshBot的存在。

因此，有時(shí)候發(fā)現GoogleBot頻繁訪(fǎng)問(wèn)網(wǎng)站也不要高興得太早，也許其根本不是在索引網(wǎng)頁(yè)而只是在掃描url。

FreshBot記錄的信息包括網(wǎng)頁(yè)的url、TimeStamp(網(wǎng)頁(yè)創(chuàng )建或更新的時(shí)間戳)，以及網(wǎng)頁(yè)的Head信息(注：這一點(diǎn)存在爭議，也有不少人相信FreshBot不會(huì )去讀取目標網(wǎng)頁(yè)信息的，而是將這部分工作交由DeepBot完成。

不過(guò)，筆者傾向于前一種說(shuō)法，因為在FreshBot向DeepBot提交的url列表中，會(huì )將網(wǎng)站設置禁止索引、收錄的頁(yè)面排除在外，以提***率，而網(wǎng)站進(jìn)行此類(lèi)設置時(shí)除使用robots.txt外還有相當部分是通過(guò)mata標簽中的“noindex”實(shí)現的，不讀取目標網(wǎng)頁(yè)的head似乎是無(wú)法實(shí)現這一點(diǎn)的)，如果網(wǎng)頁(yè)不可訪(fǎng)問(wèn)，比如說(shuō)網(wǎng)絡(luò )中斷或服務(wù)器故障，FreshBot則會(huì )記下該url并擇機重試，但在該url可訪(fǎng)問(wèn)之前，不會(huì )將其加入向DeepBot提交的url列表。

總的來(lái)說(shuō)，FreshBot對服務(wù)器帶寬、資源的占用還是比較小的。最后，FreshBot對記錄信息按不同的優(yōu)先級進(jìn)行分類(lèi)，向DeepBot提交，根據優(yōu)先級不同，主要有以下幾種：

A：新建網(wǎng)頁(yè);B：舊網(wǎng)頁(yè)/新的TimeStamp，即存在更新的網(wǎng)頁(yè)C：使用301/302重定向的網(wǎng)頁(yè)；D：復雜的動(dòng)態(tài)url：如使用多個(gè)參數的動(dòng)態(tài)url，Google可能需要附加的工作才能正確分析其內容。

——隨著(zhù)Google對***頁(yè)支持能力的提高，這一分類(lèi)可能已經(jīng)取消；E：其他類(lèi)型的文件，如指向PDF、DOC文件的鏈接，對這些文件的索引，也可能需要附加的工作；

F：舊網(wǎng)頁(yè)/舊的TimeStamp，即未更新的網(wǎng)頁(yè)，注意，這里的時(shí)間戳不是以Google搜索結果中顯示的日期為準，而是與Google索引數據庫中的日期比對；G：錯誤的url，即訪(fǎng)問(wèn)時(shí)返回404回應的頁(yè)面；

優(yōu)先級按由A至G的順序排列，依次降低。需要強調的是，這里所言之優(yōu)先級是相對的，比如說(shuō)同樣是新建網(wǎng)頁(yè)，根據指向其的鏈接質(zhì)量、數量的不同，優(yōu)先級也有著(zhù)很大的區別，具有源自相關(guān)的網(wǎng)站鏈接的網(wǎng)頁(yè)具有較高的優(yōu)先級。

此外，這里所指的優(yōu)先級僅針對同一網(wǎng)站內部的頁(yè)面，事實(shí)上，不同網(wǎng)站也有有著(zhù)不同的優(yōu)先級，換言之，對網(wǎng)站中的網(wǎng)頁(yè)而言，即使其***di優(yōu)先級的404url，也可能比許多其他網(wǎng)站優(yōu)先級***gao的新建網(wǎng)頁(yè)更具優(yōu)勢。

網(wǎng)頁(yè)的索引與收錄

接下來(lái)才進(jìn)入真正的索引與收錄網(wǎng)頁(yè)過(guò)程。從上面的介紹可以看出，FreshBot提交的url列表是相當龐大的，根據語(yǔ)言、網(wǎng)站位置等不同，對特定網(wǎng)站的索引工作將分配至不同的數據中心完成。

整個(gè)索引過(guò)程，由于龐大的數據量，可能需要幾周甚至更長(cháng)時(shí)間才能完成。

正如上文所言，DeepBot會(huì )首先索引優(yōu)先級較高的網(wǎng)站/網(wǎng)頁(yè)，優(yōu)先級越高，出現在Google索引數據庫及至最終出現在Google搜索結果頁(yè)面中的速度便越快。

對新建網(wǎng)頁(yè)而言，只要進(jìn)入到這個(gè)階段，即使整個(gè)索引過(guò)程沒(méi)有完成，相應的網(wǎng)頁(yè)便已具備出現在Google索引庫中的可能，相信許多朋友在Google中使用“site”搜索時(shí)常?？吹綐俗檠a充結果只顯示網(wǎng)頁(yè)url或只顯示網(wǎng)頁(yè)標題與url但沒(méi)有描述的頁(yè)面，此即是處于這一階段網(wǎng)頁(yè)的正常結果。

當Google真正讀取、分析、緩存了這個(gè)頁(yè)面后，其便會(huì )從補充結果中逃出而顯示正常的信息。

——當然，前提是該網(wǎng)頁(yè)具有足夠的鏈接，特別是來(lái)自網(wǎng)站的鏈接，并且，索引庫中沒(méi)有與該網(wǎng)頁(yè)內容相同或近似的記錄(DuplicateContent過(guò)濾)。

對動(dòng)態(tài)url而言，雖然如今Google宣稱(chēng)在對其處理方面已不存在障礙，不過(guò)，可以觀(guān)察到的事實(shí)仍然顯示動(dòng)態(tài)url出現在補充結果中的幾率遠大于使用靜態(tài)url的網(wǎng)頁(yè)，往往需要更多、更有價(jià)值的鏈接才能從補充結果中逸出。

而對于上文中之“F”類(lèi)，即未更新的網(wǎng)頁(yè)，DeepBot會(huì )將其時(shí)間戳與Google索引數據庫中的日期比對，確認盡管可能搜索結果中相應頁(yè)面信息未來(lái)得及更新但只要索引了版本即可——考慮網(wǎng)頁(yè)多次更新、修改的情況——；至于“G”類(lèi)即404url，則會(huì )查找索引庫中是否存在相應的記錄，如果有，將其刪除。

數據中心間的同步

前文我們提到過(guò)，DeepBot索引某個(gè)網(wǎng)頁(yè)時(shí)會(huì )由特定的數據中心完成，而不會(huì )出現多個(gè)數據中心同時(shí)讀取該網(wǎng)頁(yè)，分別獲得網(wǎng)頁(yè)最近版本的情況，這樣，在索引過(guò)程完成后，便需要一個(gè)數據同步過(guò)程，將網(wǎng)頁(yè)的版本在多個(gè)數據中心得到更新。

這就是之前的GoogleDance。不過(guò)，在BigDaddy更新后，數據中心間的同步不再象那樣集中在特定的時(shí)間段，而是以一種連續的、時(shí)效性更強的方式進(jìn)行。

3影響收錄

網(wǎng)站標題

網(wǎng)站標題、描述、關(guān)鍵詞的寫(xiě)法在站長(cháng)們的心目中一直是很慎重的一件事情，直接關(guān)系到網(wǎng)站的排名與流量，而且這三大標簽在網(wǎng)站上線(xiàn)之后不能輕易修改，這就需要站長(cháng)們事先做好準備，如果說(shuō)事先沒(méi)有考慮好，上線(xiàn)之后又去修改的話(huà)百度會(huì )認為你的網(wǎng)站不穩定，剛上線(xiàn)就修改關(guān)鍵標簽，有嫌疑，然后就把你的網(wǎng)站丟進(jìn)沙盒，慢慢考察，此時(shí)想要百度收錄網(wǎng)站至少要等到一個(gè)月之后，而且保證這段時(shí)間每天給網(wǎng)站添加高質(zhì)量的文章。

外部鏈接

增加外部鏈接，能讓搜索引擎有效地抓取和收錄網(wǎng)頁(yè)。

外鏈方法

我們都知道了為網(wǎng)站增加外部鏈接有這么多的好處了，那么我們應該如何為網(wǎng)站增加更多、更具價(jià)值的外部鏈接呢?

下面總結幾種比較有效增加網(wǎng)站外鏈的方法：

1，自己主動(dòng)性地增加鏈接;

2，交換友情鏈接，比較容易簡(jiǎn)單的辦法;

3，提交分類(lèi)目錄、網(wǎng)絡(luò )書(shū)簽，簡(jiǎn)單未必十分有效;

4，購買(mǎi)文本鏈接，需要有***成本投入，且鏈接不持久;

5，組建鏈接網(wǎng)絡(luò )，建立網(wǎng)站群、博客群，投入成本高，耗時(shí)較長(cháng)，后期效果明顯;

網(wǎng)站內容

原創(chuàng )的網(wǎng)站內容更容易被收錄，采集、復制他人信息等做法一般很難收錄。

原創(chuàng )文章的***da好處，就是可以一舉多得，可以增加網(wǎng)站被搜索引擎收錄的概率，也可提升網(wǎng)站優(yōu)化排名。

4百度特點(diǎn)

1.基于字詞結合的信息處理方式 巧妙解決了中文信息的理解問(wèn)題，地提高了搜索的準確性和查全率。

2.支持主流的中文編碼 包括gbk(漢字內碼擴展規范)、gb2312(簡(jiǎn)體)、big5(繁體)，并且能夠在不同的編碼之間轉換?！?/p>

3.智能相關(guān)度算法 采用了基于內容和基于超鏈分析相結合的方法進(jìn)行相關(guān)度評價(jià)，能夠客觀(guān)分析網(wǎng)頁(yè)所包含的信息，從而***da限度保證了檢索結果相關(guān)性。

4.檢索結果更直觀(guān) 能標示豐富的網(wǎng)頁(yè)屬性(如標題、網(wǎng)址、時(shí)間、大小、編碼、摘要等)，并突出用戶(hù)的查詢(xún)串，便于用戶(hù)判斷是否閱讀原文。

5.百度搜索支持二次檢索 可在上次檢索結果中繼續檢索，逐步縮小查找范圍，直至達到***小、***準確的結果集。利于用戶(hù)更加方便地在海量信息中找到自己真正感興趣的內容。

6.相關(guān)檢索詞智能推薦技術(shù) 在用戶(hù)第1次檢索后，會(huì )提示相關(guān)的檢索詞，幫助用戶(hù)查找更相關(guān)的結果，統計表明可以促進(jìn)檢索量提升10-20%.

7.高性能服務(wù)器和本地化服務(wù)器 運用多線(xiàn)程技術(shù)、***的搜索算法、穩定的unix平臺、和本地化的服務(wù)器，保證了***的響應速度。百度搜索引擎在中國境內提供搜索服務(wù)，可大大縮短檢索的響應時(shí)間(一個(gè)檢索的平均響應時(shí)間小于0.5秒)

8.可以提供多種服務(wù)方式 可以在7天之內完成網(wǎng)頁(yè)的更新，是目前更新時(shí)間***、數據量***da的中文搜索引擎。

9.檢索結果輸出類(lèi)別聚合 支持內容類(lèi)聚、網(wǎng)站類(lèi)聚、內容類(lèi)聚+網(wǎng)站類(lèi)聚等多種方式。支持用戶(hù)選擇時(shí)間范圍，提高用戶(hù)檢索效率。

10.智能性、可擴展的搜索技術(shù) 擁有目前世界上***da的中文信息庫，為用戶(hù)提供***準確、***廣泛、***ju時(shí)效性的信息提供了堅實(shí)基礎。

11.結構、算法等的優(yōu)化 分布式結構、精心設計的優(yōu)化算法、容錯設計保證系統在大訪(fǎng)問(wèn)量下的高可用性、高擴展性、高性能和高穩定性。

12.高可配置性使得搜索服務(wù)能夠滿(mǎn)足不同用戶(hù)的需求。

13.***的網(wǎng)頁(yè)動(dòng)態(tài)摘要顯示技術(shù)。

14.獨有百度快照。

15.支持多種高級檢索語(yǔ)法，使用戶(hù)查詢(xún)效率更高、結果更準。已支持“+”(and)、“-”(not)、“|”(or)、“site：”、“domain：”、“intitle：”、“inurl”，還將繼續增加其它***的搜索語(yǔ)法。

5優(yōu)化方法

增加外鏈并被更快收錄的方法

1.通過(guò)優(yōu)化網(wǎng)站程序推廣，也就是所謂的SEO

2.競價(jià)排名

3.多發(fā)原創(chuàng )性的文章

4.提升PR值。

5.在高質(zhì)量的網(wǎng)站發(fā)布帶有鏈接的軟文，引導搜索引擎前來(lái)光顧，進(jìn)而實(shí)現收錄。

6.網(wǎng)站要有規律的更新，每次更新文章要不少于2篇。

7.網(wǎng)站打開(kāi)速度和空間的穩定性也是影響網(wǎng)站收錄的因素。

8.增加網(wǎng)站自身的權重，是更快收錄的根本原因。

6提高收錄

基本當搜索引擎收錄了站點(diǎn)之后，并且也已經(jīng)能夠看到搜索引擎收錄的數量，所希望的***是讓搜索引擎收錄更多的頁(yè)面。如果要提高搜索引擎的收錄量，大量增加網(wǎng)站內容是其一。更多要做的是為搜索引擎的蜘蛛程序打造一個(gè)良好的網(wǎng)站結構。 想要提高站點(diǎn)的收錄率，可以采取以下幾個(gè)方法：

提高外鏈

外鏈是SEO的良藥，無(wú)論是提高搜索引擎排名還是提高網(wǎng)站的收錄量，特別是高質(zhì)量的外部鏈接。鏈接建設的工作，要伴隨搜索引擎優(yōu)化方案的開(kāi)始至結束。

增加原創(chuàng )

原創(chuàng )性的內容，一旦被搜索引擎收錄之后，此類(lèi)的內容頁(yè)面就不是那么容易被搜索引擎刪除。如果是重復率太高的網(wǎng)站內容，即使是讓搜索引擎收錄之后，也很容易被搜索引擎定期清理掉。讓網(wǎng)站保持一定比例的原創(chuàng )內容，能夠培養網(wǎng)站的權重以及確保搜索引擎不會(huì )收錄了又刪除這些頁(yè)面。

優(yōu)化結構

優(yōu)化網(wǎng)站內部鏈接，良好的網(wǎng)站結構會(huì )讓蜘蛛順著(zhù)鏈接，一層層的讀取網(wǎng)站的內容。網(wǎng)站結構差的網(wǎng)站，會(huì )讓蜘蛛感覺(jué)走進(jìn)了迷宮。如果你的網(wǎng)站很龐大，***hao是建立清晰的網(wǎng)站導航、的網(wǎng)站地圖等用戶(hù)體驗應用，這樣做能夠引導蜘蛛也方便網(wǎng)站的用戶(hù)。

研究蜘蛛

搜索引擎的蜘蛛程序是一只有思維、有辨別能力的蜘蛛。我們別把它當成單純的網(wǎng)站內容搬運工，它在讀取你內容的時(shí)候，它會(huì )對這些內容進(jìn)行價(jià)值以及其他方面的辨別。作為網(wǎng)站的管理員，要研究蜘蛛的規則、爬取規律等，與搜索引擎的蜘蛛打交道也是重要的一門(mén)學(xué)問(wèn)。 對于提高網(wǎng)站的頁(yè)面收錄數量，我們要讓自己變得更加主動(dòng)。換句話(huà)說(shuō)，就是自己掌握主動(dòng)權。與其坐等蜘蛛上門(mén)，不如引導收錄。

網(wǎng)站地圖

網(wǎng)站地圖又稱(chēng)站點(diǎn)地圖，它就是一個(gè)頁(yè)面，上面放置了網(wǎng)站上所有頁(yè)面的鏈接。大多數人在網(wǎng)站上找不到自己所需要的信息時(shí)，可能會(huì )將網(wǎng)站地圖作為一種補救措施。搜索引擎蜘蛛非常喜歡網(wǎng)站地圖。

為什么要建立網(wǎng)站地圖呢？大多數人都知道網(wǎng)站地圖對于提高用戶(hù)體驗有好處：它們?yōu)榫W(wǎng)站訪(fǎng)問(wèn)者指明方向，并幫助迷失的訪(fǎng)問(wèn)者找到他們想看的頁(yè)面。對于搜索引擎優(yōu)化，網(wǎng)站地圖的好處就更多了：

1.為搜索引擎蜘蛛提供可以瀏覽整個(gè)網(wǎng)站的鏈接。

2.為搜索引擎蜘蛛提供一些鏈接，指向動(dòng)態(tài)頁(yè)面或者采用其他方法比較難以到達的頁(yè)面。

3.作為一種潛在的著(zhù)陸頁(yè)面，可以為搜索流量進(jìn)行優(yōu)化。

4.如果訪(fǎng)問(wèn)者試圖訪(fǎng)問(wèn)網(wǎng)站所在域內并不存在的URL，那么這個(gè)訪(fǎng)問(wèn)者就會(huì )被轉到“無(wú)法找到文件”的錯誤頁(yè)面，而網(wǎng)站地圖可以作為該頁(yè)面的“準”內容。

7新站收錄

百度不收錄新站的解決方法：

（1）***hao等網(wǎng)站的所有內容都完工后再上傳到網(wǎng)站空間

　?。?）網(wǎng)站上傳后，到百度提交下網(wǎng)站：幾大搜索引擎的網(wǎng)站登錄入口

（3）到百度搜藏注冊3-5個(gè)賬號，然后收藏網(wǎng)址

（4）到樂(lè )收，好望角等網(wǎng)絡(luò )收藏夾收藏網(wǎng)址

（5）到百度貼吧，A5等權重高的網(wǎng)站發(fā)布鏈接誘餌（帶上自己的網(wǎng)址），引誘百度蜘蛛過(guò)來(lái)爬去

（6）第1個(gè)月每天有規律的更新2-5篇原創(chuàng )文章

（7）不要采取SEO方式優(yōu)化

基本上按照上面的操作步驟，1-30天內都能收錄首頁(yè)。如果過(guò)了1個(gè)月，網(wǎng)址還沒(méi)有收錄，您可以嘗試把首頁(yè)的布局做個(gè)改版。