- 掛牌上市企業
- 60秒人工響應
- 99.99%連通率
- 7*24h人工
- 故障100倍補償
WordPress博客 三種Robots.txt寫法解釋 |
| 發布時間: 2012/9/15 14:37:10 |
|
使用Wordpress搭建的博客，利用robots.txt文件限制搜索引擎抓取部分目錄及文件，歸納大致有以下幾種方法。
最簡單的開放寫法
不作任何限制，Wordpress站內鏈接結構比較合理，作為一般博客，完全開放就可以了，代碼：
User-agent: *
Disallow:
允許所有蜘蛛訪問，允許訪問所有內容。Wordpress只要模板中鏈接設計合理，沒有需要限制的特殊內容，推薦使用這種寫法。
最簡單的嚴格寫法
User-agent: *
Disallow: /wp-*
#Allow: /wp-content/uploads/
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.js$
Disallow: /*.css$
Disallow: /?s=
允許所有蜘蛛訪問，限制以“wp-”開頭的目錄及文件，限制抓取.php文件、.inc文件、.js文件、.css文件，限制抓取搜索結果。
Disallow: /wp-* 會連同附件目錄一起限制抓取，如果想讓搜索引擎抓取附件中的內容，將第三行的 # 號注釋去掉。Allow 不是所有搜索引擎都支持。
最合理的寫法
賣瓜的都說自己瓜甜，我也覺得自己的Robots.txt寫的最合理
User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /?s=
Sitemap: http://www.xxx.com/sitemap.xml
允許所有搜索引擎抓取，逐一列舉需要限制的目錄，限制抓取搜索結果。
包含sitemap.xml地址（這一項viki中有專門的說明，但Google管理員工具會提示‘檢測到無效的 Sitemap 引用’，有效性尚有爭議）。
robots.txt其他寫法
為避免在搜索引擎中出現重復頁面，Wordpress玩家自創了很多robots寫法，列舉一些常用的，作為參考（適用于偽靜態方式的永久鏈接）：
Disallow: /page/
#限制抓取Wordpress分頁
Disallow: /category/*/page/*
#限制抓取分類的分頁
Disallow: /tag/
#限制抓取標簽頁面
Disallow: */trackback/
#限制抓取Trackback內容
Disallow: /category/*
#限制抓取所有分類列表
本文出自：億恩科技【www.23lll.com】 |
0371-60135900
京公網安備41019702002023號
香港服務器租用
美國服務器租用
電信骨干機房
聯通骨干機房
