網站建設好了，當然是希望網頁被搜索引擎收錄的越多越好，但有時候我們也會碰到網站不需要被搜索引擎收錄的情況。要啟用一個新的域名做鏡像網站，主要用于PPC 的推廣，這個時候就要想辦法屏蔽搜索引擎蜘蛛抓取和索引我們鏡像網站的所有網頁。因為如果鏡像網站也被搜索引擎收錄的話，很有可能會影響官網在搜索引擎的權重。

以下列舉了屏蔽主流搜索引擎爬蟲(蜘蛛)抓取/索引/收錄網頁的幾種思路。注意：是整站屏蔽，而且是盡可能的屏蔽掉所有主流搜索引擎的爬蟲(蜘蛛)。

　　1、通過 robotstxt 文件屏蔽

可以說 robotstxt 文件是最重要的一種渠道(能和搜索引擎建立直接對話)，給出以下建議：

Useragent Baiduspider

Disallow /

Useragent Googlebot

Disallow /

Useragent GooglebotMobile

Disallow /

Useragent GooglebotImage

Disallow/

Useragent MediapartnersGoogle

Disallow /

Useragent AdsbotGoogle

Disallow /

UseragentFeedfetcherGoogle

Disallow /

Useragent Yahoo Slurp

Disallow /

Useragent Yahoo Slurp China

Disallow /

Useragent YahooAdCrawler

Disallow /

Useragent YoudaoBot

Disallow /

Useragent Sosospider

Disallow /

Useragent Sogou spider

Disallow /

Useragent Sogou web spider

Disallow /

Useragent MSNBot

Disallow /

Useragent iaarchiver

Disallow /

Useragent Tomato Bot

Disallow /

Useragent

Disallow /

　　2、通過 meta tag 屏蔽

在所有的網頁頭部文件添加，添加如下語句：

<meta name='robots' content='index,follow' />：可以抓取本頁，也可以順著本頁繼續索引別的鏈接

<meta name='robots' content='noindex,follow' />：禁止抓取本頁，但可以抓取跟蹤本頁的其它鏈接

<meta name='robots' content='index,nofollow'/>：可以抓取本頁，禁止抓取和跟蹤本頁的其它鏈接

<meta name='robots' content='noindex,nofollow' />：禁止抓取本頁，禁止抓取和跟蹤本頁的其它鏈接

<meta name='robots' content='noarchive' />：禁止搜索引擎建立快照

　　3、通過服務器(如：Linux/nginx )配置文件設置

直接過濾 spider/robots 的IP 段。

以上就是《SEO優化之如何設置讓網站禁止被爬蟲收錄》的全部內容，僅供站長朋友們互動交流學習，SEO優化是一個需要堅持的過程，希望大家一起共同進步。

文章題目：【SEO優化】如何設置讓網站禁止被爬蟲收錄
文章來源：http://www.2m8n56k.cn/news25/145325.html

成都網站建設公司_創新互聯，為您提供虛擬主機、營銷型網站建設、品牌網站建設、App開發、商城網站、網站營銷

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：[email protected]。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯