對(duì)于robots.txt的支持程度

google表現(xiàn)：寫了禁止就不再爬，會(huì)在谷歌站長(zhǎng)工具中列出來它想爬被你阻止了，如下圖：

百度的表現(xiàn)：寫了禁止之后很少爬，但是偶爾也會(huì)爬，相信是起作用了，因?yàn)樵絹碓缴伲郧耙惶鞄状维F(xiàn)在幾天一次。

搜狗蜘蛛：可以說是基本不聽話，也不知道是不是不吃這個(gè)規(guī)則，說它完全不吃它也吃了一點(diǎn)，只是把動(dòng)態(tài)地址的問號(hào)拿掉了，然后照爬，一爬就是一大片，這不知道它能爬出什么東西，如下圖：

搜搜蜘蛛跟雅虎蜘蛛好像差不多，感覺還是挺有效的，禁止之后沒有再有它爬過的痕跡。

服務(wù)器租用/服務(wù)器托管中國(guó)五強(qiáng)！虛擬主機(jī)域名注冊(cè)頂級(jí)提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]