關(guān)于WordPress 站點添加和上傳 robots.txt

WordPress網(wǎng)站robots.txt怎么寫?robots.txt是網(wǎng)站很重要的一個組成部分。它告訴搜索引擎什么文件可以抓取，什么文件不能抓取。它是搜索引擎和網(wǎng)站之間一個默許的協(xié)議，由搜索引擎自覺遵守，用文本文檔來實現(xiàn)，放在robots.txt中。

robots協(xié)議(也稱為爬蟲協(xié)議、爬蟲規(guī)則、機器人協(xié)議等)，也就是通常添加到網(wǎng)站根目錄的robots.txt 文件，它的作用在于告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取，從而優(yōu)化網(wǎng)站的收錄結(jié)果和權(quán)重。

如果你的網(wǎng)站根目錄還沒有 robots.txt，你可以創(chuàng)建一個，具體的寫法請參考 百度百科。下面是一個基本的 WordPress robots協(xié)議：

一、robot文件怎么寫?

最簡單的寫法是如下面例子的兩行代碼。

下面兩行代碼表示網(wǎng)站禁止抓取

User-agent: *

Disallow: /

下面代碼表示網(wǎng)站開放抓取

User-agent: *

Allow:

當(dāng)robots.txt為空的時候，代表允許任何搜索引擎抓取，沒有限制。

1、如果你是新建網(wǎng)站，在安裝完wordpress程序之后，應(yīng)該立即使用上面的禁止抓取代碼。等待網(wǎng)站安裝、配置完畢，發(fā)布一定內(nèi)容之后，這時確認(rèn)網(wǎng)站形式、目錄架構(gòu)、核心方向、內(nèi)容模式不會有刪改之后，再開放抓取，這樣能夠讓搜索引擎抓取到正確的內(nèi)容。

提示：一定要在開放抓取之前搞定網(wǎng)站相關(guān)內(nèi)容，開放抓取之后只是新增內(nèi)容、目錄，這都是正常的。如果再刪、改就會引起搜索引擎的反感，進而可能會被懲罰。

如果不放置這個robots.txt文件，從零開始對wordpress網(wǎng)站內(nèi)容、目錄、結(jié)構(gòu)反復(fù)多次增、刪、改，只會讓搜索引擎認(rèn)為你的網(wǎng)站不穩(wěn)定，造成抓取了也不放出來，放出來也不給權(quán)重，不給好的排名，不給關(guān)鍵詞靠前等等不良后果。

說到底大部分網(wǎng)站都是靠著搜索引擎的青睞才能活下去，我們做不到獨特內(nèi)容讓搜索引擎特別喜歡你，起碼也別被搜索引擎反感。

二、robot放到哪里去?

寫好了之后放到網(wǎng)站根目錄，比如wordpress網(wǎng)站的話，就用ftp軟件上傳到wp-admin、wp-content、wp-includes文件夾同一級目錄即可。

比如本站億恩Enews的robot文件網(wǎng)址是 https://enews.enkj.com/robots.txt，你傳上去之后把域名用你自己的替換掉，用網(wǎng)址能正常打開看到內(nèi)容就說明是正確的了。

三、robot的一點個人經(jīng)驗總結(jié)

1、robots文件的官方寫法，國內(nèi)請參考百度搜索資源平臺>站點管理>數(shù)據(jù)監(jiān)控>Robots。下面有一些關(guān)于寫法的一些解釋，如果你的網(wǎng)站主要靠百度帶來流量，就老老實實的依照建議寫。

我們常用的就是allow、Disallow等幾條命令，allow也就是允許抓取文件、文件夾;Disallow是禁止抓取文件、文件夾。

2、外貿(mào)站及面向國外訪客的網(wǎng)站，robot寫法請參考google support中心的解釋，因為國外網(wǎng)站的流量主要來源自谷歌，按照谷歌爸爸的描述去操作準(zhǔn)沒錯。

3、禁止了robot之后，搜索引擎會按照相應(yīng)的規(guī)則抓取或不抓取網(wǎng)站內(nèi)容。不過用戶是可以正常訪問網(wǎng)站的。

很多新手只知道服務(wù)器運維、建設(shè)wordpress網(wǎng)站內(nèi)容、發(fā)外鏈、加友鏈，卻不知道在網(wǎng)站建設(shè)初期及正常上線后最重要的robots.txt文件，所以對新手來說，本文內(nèi)容很重要，建議大家好好看看.

以下即為基本的wordpress站點robots.txt文本

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /feed

Disallow: /articles/*/feed

Sitemap: https://enews.enkj.com/sitemap.xml

關(guān)于WordPress 站點添加和上傳 robots.txt

河南億恩科技股份有限公司(m.zuiquanben.com)始創(chuàng)于2000年，專注服務(wù)器托管租用，是國家工信部認(rèn)定的綜合電信服務(wù)運營商。億恩為近五十萬的用戶提供服務(wù)器托管、服務(wù)器租用、機柜租用、云服務(wù)器、網(wǎng)站建設(shè)、網(wǎng)站托管等網(wǎng)絡(luò)基礎(chǔ)服務(wù)，另有網(wǎng)總管、名片俠網(wǎng)絡(luò)推廣服務(wù)，使得客戶不斷的獲得更大的收益。
服務(wù)器/云主機 24小時售后服務(wù)電話：0371-60135900
虛擬主機/智能建站 24小時售后服務(wù)電話：0371-55621053
網(wǎng)絡(luò)版權(quán)侵權(quán)舉報電話：0371-60135995
服務(wù)熱線：0371-60135900