關于WordPress 站點添加和上傳 robots.txt
WordPress網站robots.txt怎么寫?robots.txt是網站很重要的一個組成部分。它告訴搜索引擎什么文件可以抓取，什么文件不能抓取。它是搜索引擎和網站之間一個默許的協議，由搜索引擎自覺遵守，用文本文檔來實現，放在robots.txt中。
robots協議(也稱為爬蟲協議、爬蟲規則、機器人協議等)，也就是通常添加到網站根目錄的robots.txt 文件，它的作用在于告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取，從而優化網站的收錄結果和權重。
如果你的網站根目錄還沒有 robots.txt，你可以創建一個，具體的寫法請參考 百度百科。下面是一個基本的 WordPress robots協議：
一、robot文件怎么寫?
最簡單的寫法是如下面例子的兩行代碼。
下面兩行代碼表示網站禁止抓取
User-agent: *
Disallow: /
下面代碼表示網站開放抓取
User-agent: *
Allow:
當robots.txt為空的時候，代表允許任何搜索引擎抓取，沒有限制。
1、如果你是新建網站，在安裝完wordpress程序之后，應該立即使用上面的禁止抓取代碼。等待網站安裝、配置完畢，發布一定內容之后，這時確認網站形式、目錄架構、核心方向、內容模式不會有刪改之后，再開放抓取，這樣能夠讓搜索引擎抓取到正確的內容。
提示：一定要在開放抓取之前搞定網站相關內容，開放抓取之后只是新增內容、目錄，這都是正常的。如果再刪、改就會引起搜索引擎的反感，進而可能會被懲罰。
如果不放置這個robots.txt文件，從零開始對wordpress網站內容、目錄、結構反復多次增、刪、改，只會讓搜索引擎認為你的網站不穩定，造成抓取了也不放出來，放出來也不給權重，不給好的排名，不給關鍵詞靠前等等不良后果。
說到底大部分網站都是靠著搜索引擎的青睞才能活下去，我們做不到獨特內容讓搜索引擎特別喜歡你，起碼也別被搜索引擎反感。
二、robot放到哪里去?
寫好了之后放到網站根目錄，比如wordpress網站的話，就用ftp軟件上傳到wp-admin、wp-content、wp-includes文件夾同一級目錄即可。
比如本站億恩Enews的robot文件網址是 https://enews.enkj.com/robots.txt，你傳上去之后把域名用你自己的替換掉，用網址能正常打開看到內容就說明是正確的了。
三、robot的一點個人經驗總結
1、robots文件的官方寫法，國內請參考百度搜索資源平臺>站點管理>數據監控>Robots。下面有一些關于寫法的一些解釋，如果你的網站主要靠百度帶來流量，就老老實實的依照建議寫。
我們常用的就是allow、Disallow等幾條命令，allow也就是允許抓取文件、文件夾;Disallow是禁止抓取文件、文件夾。
2、外貿站及面向國外訪客的網站，robot寫法請參考google support中心的解釋，因為國外網站的流量主要來源自谷歌，按照谷歌爸爸的描述去操作準沒錯。
3、禁止了robot之后，搜索引擎會按照相應的規則抓取或不抓取網站內容。不過用戶是可以正常訪問網站的。
很多新手只知道服務器運維、建設wordpress網站內容、發外鏈、加友鏈，卻不知道在網站建設初期及正常上線后最重要的robots.txt文件，所以對新手來說，本文內容很重要，建議大家好好看看.
以下即為基本的wordpress站點robots.txt文本
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /feed
Disallow: /articles/*/feed
Sitemap: https://enews.enkj.com/sitemap.xml
河南億恩科技股份有限公司(www.23lll.com)始創于2000年，專注服務器托管租用，是國家工信部認定的綜合電信服務運營商。億恩為近五十萬的用戶提供服務器托管、服務器租用、機柜租用、云服務器、網站建設、網站托管等網絡基礎服務，另有網總管、名片俠網絡推廣服務，使得客戶不斷的獲得更大的收益。
服務器/云主機 24小時售后服務電話：
0371-60135900
虛擬主機/智能建站 24小時售后服務電話：
0371-55621053
網絡版權侵權舉報電話：
0371-60135995
服務熱線：
0371-60135900
