企業建網站時如何設置Robots.txt文件

2022-05-18 分類：網站建設

做網站的朋友可能都聽說過Robots.txt文件，這個Robots.txt是網站與搜索引擎溝通的一個重要的渠道，通過這個文件，可以告訴搜索引擎自己做的網站那些頁面可以允許他們收錄，那些不允許他們收錄。那么自己就可以在建網站的時候，通過這個文件和搜索引擎達成協議。

Robots.txt文件必須要放在網站根目錄的下面，搜索引擎也會自動地根據網站域名，自動的找到這個文件來判斷自己是否可以收錄這個頁面。如果自己的網站允許搜索引擎可以收錄自己網站的所有的內容，那么就可以不放這個文件。

要放相關的文件的話，就要做Robots.txt，那么就要符合相關的格式，格式內容是用一個記事本命名為Robots.txt。里面寫上下面的內容。大家可以在建網站的時候做好之后傳到網站根目錄下。

格式如下：

User-agent:*

這個指的就是針對所有的搜索引擎蜘蛛代理

Disallow:/search.html

Disallow是不允許的意思，這一行說明的是不允許收錄/search.html這個文件；

Disallow:/index.php?

這一行說的是不允許搜索引擎收錄URL里面包含index.php?的文件；

Disallow:/tempweb/

這一行說的是不允許搜索引擎收錄這個文件夾/tempweb/里面所有的內容。

很多建網站的朋友做了這個文件之后不是很自信，這個時候，不妨可以找一些大型的網站，去看看他們的是怎么做的，對比一下自己的是不是有錯誤，自己就會確信其效果了。

另外需要注意一些符號是否有錯誤，比如大小寫空格啊什么的，盡量不要用一些復雜的參數；盡量的采用這種比較簡潔的方式來屏蔽自己一些不想讓搜索引擎收錄的內容。
大家可能聽說過一些網站被人惡意的修改Robots.txt文件，本來排名很好的被修改后，搜索引擎就不收錄了，所以大家在做網站維護的時候，有時候要不斷地檢查下自己的這個Robots.txt文件。

新聞名稱：企業建網站時如何設置Robots.txt文件
標題鏈接：http://www.2m8n56k.cn/news31/154781.html

成都網站建設公司_創新互聯，為您提供動態網站、關鍵詞優化、營銷型網站建設、做網站、全網營銷推廣、電子商務

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：[email protected]。內容未經允許不得轉載，或轉載時需注明來源：創新互聯

猜你還喜歡下面的內容

企業網站做優化中保持網站的更新有哪些作用？ 2022-05-18
小游戲需使用官方支付方式，開發者請自查 2022-05-18
玩轉社區與社群：6句話，便讓用戶不再沉默！ 2022-05-18
會電腦編程就一定會做企業網站嗎？NO、NO、NO 一起來了解一下： 2022-05-18
企業建設好一個網站后能持續使用多久最終還是取決于企業自己 2022-05-18
網絡營銷推廣存在的問題及解決建議 2022-05-18
手機網站百度優化相關問題解答 2022-05-18
我在百度貼吧發的信息為什么看不到？什么原因？如何應對？ 2022-05-18
小程序和企業應用風口已來丨聽朱嘯虎談小程序投資的那些事兒 2022-05-18

中文字幕第五页-中文字幕第页-中文字幕韩国-中文字幕最新-国产尤物二区三区在线观看-国产尤物福利视频一区二区

企業建網站時如何設置Robots.txt文件