- 掛牌上市企業(yè)
- 60秒人工響應(yīng)
- 99.99%連通率
- 7*24h人工
- 故障100倍補(bǔ)償
控制搜索引擎訪問和索引你的網(wǎng)站 |
| 發(fā)布時(shí)間: 2012/9/16 9:51:15 |
|
我經(jīng)常被問到 Google（谷歌）和搜索引擎是怎樣運(yùn)轉(zhuǎn)的。一個(gè)核心問題是：谷歌是怎樣知道一個(gè)網(wǎng)站的哪些部分是網(wǎng)站所有者想讓它們顯示在搜索結(jié)果中？網(wǎng)站內(nèi)容發(fā)布者能夠指定部分網(wǎng)站不被搜索嗎？好消息是，網(wǎng)站內(nèi)容發(fā)布者可以使用很多方法控制你們的網(wǎng)頁(yè)在搜索結(jié)果中的顯示。 文件 robots.txt 是這里的主角，該文件已經(jīng)成為業(yè)界標(biāo)準(zhǔn)好多年了。它讓一個(gè)網(wǎng)站所有者控制搜索引擎訪問他們的網(wǎng)站。你可以用 robots.txt 不同層次地控制訪問，比如讓搜索引擎只訪問整個(gè)網(wǎng)站，單個(gè)目錄，特定類型的網(wǎng)頁(yè)，或者某一網(wǎng)頁(yè)。有效地使用 robots.txt 能讓你更好地控制對(duì)你的網(wǎng)站 的搜索，但是如何達(dá)到這一目標(biāo)不是很顯而易見的。這是我們關(guān)于如何使用 robots.txt 來控制對(duì)你的網(wǎng)站的存取的一系列帖子的第一篇。 文件 robots.txt 有什么用？ 互聯(lián)網(wǎng)真的很大。你只是不相信它是怎樣地?zé)o窮無盡地大。你也許認(rèn)為維護(hù)網(wǎng)站耗費(fèi)好多精力，但是那只是“網(wǎng)海一粟”。 （對(duì) Douglas Adams 致以誠(chéng)摯的道歉） 象谷歌這樣的搜索引擎會(huì)讀取所有信息并對(duì)這些信息索引，索引是為了讓一個(gè)搜索引擎對(duì)一些用戶查詢顯示與之相匹配的網(wǎng)頁(yè)。 為了做到這一點(diǎn)谷歌的一些電腦不斷抓取網(wǎng)站，他們有一個(gè)谷歌所知道的所有網(wǎng)站的名單，他們閱讀每個(gè)網(wǎng)站的所有網(wǎng)頁(yè)。所有這些機(jī)器被稱為謠 Googlebot。一般來說，你是愿意讓 Googlebot 訪問你的網(wǎng)站，這樣你的網(wǎng)頁(yè)才可以被人們?cè)诠雀杷训健?br /> 然而，對(duì)你的網(wǎng)站上的某幾頁(yè)，你可能不想讓谷歌索引。舉例來說，你可能有一個(gè)目錄包含內(nèi)部日志，或者你可能有些新聞文章只能在支付費(fèi)用后才能訪問。你可以通過創(chuàng)建一個(gè)文本文件名為 robots.txt 的文件并把它放置在根目錄下來告訴谷歌爬蟲不要去抓取他們。文件 robots.txt 包含了一個(gè)搜索引擎不能訪問的頁(yè)面的清單。創(chuàng)建一個(gè) robots.txt 是直截了當(dāng)?shù)模试S你用一套精密分層控制搜索引擎對(duì)你網(wǎng)站的訪問。 精細(xì)控制 除了 robots.txt 文件讓您為你的一大堆文件簡(jiǎn)潔明了給出指令外，你也可以利用 robots META 標(biāo)簽來精確控制對(duì)你的單個(gè)網(wǎng)頁(yè)的訪問。為了做到這一點(diǎn)，你只需要對(duì)你的 HTML 網(wǎng)頁(yè)添加特定的 META 標(biāo)簽來控制怎樣對(duì)單個(gè)網(wǎng)頁(yè)索引。歸而總之，robots.txt 和 META 標(biāo)簽讓你更靈活地表達(dá)復(fù)雜的訪問規(guī)定變得比較容易。 一個(gè)簡(jiǎn)單的例子 這里是一個(gè)簡(jiǎn)單的例子，它是一個(gè) robots.txt 文件。 User-Agent: Googlebot Disallow: /logs/ User -Agent 行指明下面部分的一套指令只是為 Googlebot。所有主要搜索引擎都閱讀并聽從你放在 robots.txt 的指令。只要你愿意，你可以為不同的搜索引擎指定不同的規(guī)則。Disallow 行告訴 Googlebot 不能進(jìn)入你網(wǎng)站的檔案日志子目錄。你放在日志目錄中的內(nèi)容將不會(huì)顯示在谷歌搜索 結(jié)果中。 禁止訪問單個(gè)文件 如果你有一篇只有注冊(cè)用戶才能訪問的文章，你一定想讓它排除在谷歌的結(jié)果之外。為了做到這一點(diǎn)，你只需要在該文章對(duì)應(yīng)的 HTML 文件中添加一個(gè) META 標(biāo)簽。該文件的代碼的最開始有點(diǎn)像： <html> <head> <meta name="googlebot" content="noindex"> ... 這段代碼會(huì)阻止谷歌索引此文件。標(biāo)簽 META 特別有用，如果你只被允許編輯單個(gè)文件，而不是全站的 robots.txt。他們還允許你逐頁(yè)地指定復(fù)雜的訪問控制規(guī)定。 本文出自：億恩科技【www.23lll.com】 服務(wù)器租用/服務(wù)器托管中國(guó)五強(qiáng)！虛擬主機(jī)域名注冊(cè)頂級(jí)提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM] |
0371-60135900
京公網(wǎng)安備41019702002023號(hào)
香港服務(wù)器租用
美國(guó)服務(wù)器租用
電信骨干機(jī)房
聯(lián)通骨干機(jī)房
