搜索引擎robots.txt規則，是放置在網站根目錄下robots.txt文本文件，在文件中可以設定搜索引擎蜘蛛爬行規則。設置搜索引擎蜘蛛Spider抓取內容規則。
首先要創建一個robots.txt文本文件，放置網站的根目錄下，下面就開始編輯設置robots.txt協議文件：
①robots.txt允許所有搜索引擎蜘蛛抓取所以目錄文件，如果文件無內容，也表示允許所有的蜘蛛訪問，設置代碼如下：
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
②robots.txt禁止某個搜索引擎蜘蛛抓取目錄文件，設置代碼如下：
User-agent: Msnbot
Disallow: /
例如想禁止MSN的蜘蛛抓取就設為，Msnbot代表MSN的蜘蛛，如果想禁止其他搜索引擎就更換蜘蛛名字即可，其他蜘蛛名字如下：
百度的蜘蛛：baiduspider
Google的蜘蛛： Googlebot
騰訊Soso:Sosospider
Yahoo的蜘蛛：Yahoo Slurp
Msn的蜘蛛：Msnbot
Altavista的蜘蛛：Scooter
Lycos的蜘蛛： Lycos_Spider_(T-Rex)
③robots.txt禁止某個目錄被搜索引擎蜘蛛抓取，設置代碼如下：
User-agent: *
Disallow: /目錄名字1/
Disallow: /目錄名字2/
Disallow: /目錄名字3/
把目錄名字改為你想要禁止的目錄即可禁止搜索引擎蜘蛛抓取，目錄名字未寫表示可以被搜索引擎抓取。
④robots.txt禁止某個目錄被某個搜索引擎蜘蛛抓取，設置代碼如下：
User-agent: 搜索引擎蜘蛛名字說明(上面有說明蜘蛛的名字)
Disallow: /目錄名字/說明(這里設定禁止蜘蛛抓取的目錄名稱)
例如，想禁目Msn蜘蛛抓取admin文件夾，可以設代碼如下：
User-agent: Msnbot
Disallow: /admin/
⑤robots.txt設定某種類型文件禁止被某個搜索引擎蜘蛛抓取，設置代碼如下:
User-agent: *
Disallow: /*.htm說明(其中“.htm”，表示禁止搜索引擎蜘蛛抓取所有“htm”為后綴的文件)⑥robots.txt充許所有搜索引擎蜘蛛訪問以某個擴展名為后綴的網頁地址被抓取，設置代碼如下:User-agent: *
Allow: .htm$說明(其中“.htm”，表示充許搜索引擎蜘蛛抓取所有“htm”為后綴的文件)
⑦robots.txt只充許某個搜索引擎蜘蛛抓取目錄文件，設置代碼如下：
User-agent: 搜索引擎蜘蛛名字說明(上面有說明蜘蛛的名字)
Disallow:

網頁名稱：詳談robots.txt寫法規則
網頁路徑：http://www.2m8n56k.cn/news10/315210.html

成都網站建設公司_創新互聯，為您提供微信小程序、網站建設、網頁設計公司、關鍵詞優化、電子商務、網站內鏈

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：[email protected]。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯