百度蜘蛛（Baiduspider）是什么？

百度蜘蛛也就是Baiduspider，其實百度蜘蛛是一種程序，夜以繼日得在互聯網上找尋新的URL，這種程序可以抓取互聯網上數以億計的網頁，接著抓取URL上的內容，返回到百度的網頁暫存數據庫。百度的收錄也是通過百度蜘蛛這種程序去抓取完成的。

百度蜘蛛分為很多種，每種蜘蛛的功能都不一樣，其中Baiduspider是用來抓取網頁內容的程序，抓取其他內容的蜘蛛，則是新的名字：

　　產品名稱                 對應user-agent

　　網頁搜索                Baiduspider

　　無線搜索                Baiduspider-mobile

　　圖片搜索                Baiduspider-image

　　視頻搜索                Baiduspider-video

　　新聞搜索                Baiduspider-news

　　百度搜藏                Baiduspider-favo

　　百度聯盟                Baiduspider-cpro

不少朋友會在自己的網站日志里看到這個蜘蛛Baiduspider-cpro，現在我們明白它是百度聯盟蜘蛛，用以百度聯盟程序匹配相應的廣告。

百度蜘蛛抓取規則

（1）通過百度蜘蛛下載回來的網頁放到補充數據區，通過各種程序計算過后才放到檢索區，才會形成穩定的排名，所以說只要下載回來的東西都可以通過指令找到，補充數據是不穩定的，有可能在各種計算的過程中給k掉，檢索區的數據排名是相對比較穩定的，百度目前是緩存機制和補充數據相結合的，正在向補充數據轉變，這也是目前百度收錄困難的原因，也是很多站點今天給k了明天又放出來的原因。

（2）深度優先和廣度優先，百度蜘蛛抓頁面的時候從起始站點（即種子站點指的是一些門戶站點）是廣度優先抓取是為了抓取更多的網址，深度優先抓取的目的是為了抓取高質量的網頁，這個策略是由調度來計算和分配的，百度蜘蛛只負責抓取，權重優先是指反向連接較多的頁面的優先抓取，這也是調度的一種策略，一般情況下網頁抓取抓到40%是正常范圍，60%算很好，100%是不可能的，當然抓取的越多越好

河南億恩科技股份有限公司(www.23lll.com)始創于2000年，專注服務器托管租用，是國家工信部認定的綜合電信服務運營商。億恩為近五十萬的用戶提供服務器托管、服務器租用、機柜租用、云服務器、網站建設、網站托管等網絡基礎服務，另有網總管、名片俠網絡推廣服務，使得客戶不斷的獲得更大的收益。
服務器/云主機 24小時售后服務電話：0371-60135900
虛擬主機/智能建站 24小時售后服務電話：0371-55621053
網絡版權侵權舉報電話：0371-60135995
服務熱線：0371-60135900