robots文件
2022-06-16 分類： 網站建設
搜索引擎蜘蛛訪問網站時會先看網站根目錄下有沒有一個命名為robots的純文本文件，robots.txt用于指令搜索引擎蜘蛛禁止抓取網站某些內容或者指定允許搜索引擎抓取某些內容，如百度的robots文件位于： www.baidu.com/robots.txt
深圳網站制作認為，只有在需要禁止某些內容時，寫robots.txt才有意義。robots文件不存在或者空文件都默認意味著允許搜索引擎抓取所有內容。有的服務器設置有問題，robots文件不存在時會返回200狀態碼及一些錯誤信息。而不是404狀態碼，還有可能會使搜索引擎錯誤解讀robots文件信息，所以建議就算允許抓取所有內容，也要建一個空的robots.txt文件，放在根目錄下。
深圳做網站實踐得出結論，主流搜索引擎都遵守robots文件指令，robots.txt禁止抓取的文件搜索引擎將不再訪問或者不抓取。但要注意，被robots文件禁止抓取的URL還是可能會出現在搜索結果中，只要有導入鏈接指向這個URL，成都建網站認為搜索引擎就知道這個URL的存在，雖然不會抓取頁面內容，但是可能一下幾種形式還是會顯示在搜索結果中：
1.只顯示URL，沒有標題，描述。谷歌通常這么處理。
2.只顯示開放目錄或者雅虎等重要目錄收錄的標題和描述。
3.導入鏈接的錨文字顯示為標題和描述。百度通常這樣處理。
總之，只要想讓URL完全不出現在搜索結果中，需要使用頁面上的meta robots標簽。
深圳網站制作認為，只有在需要禁止某些內容時，寫robots.txt才有意義。robots文件不存在或者空文件都默認意味著允許搜索引擎抓取所有內容。有的服務器設置有問題，robots文件不存在時會返回200狀態碼及一些錯誤信息。而不是404狀態碼，還有可能會使搜索引擎錯誤解讀robots文件信息，所以建議就算允許抓取所有內容，也要建一個空的robots.txt文件，放在根目錄下。
深圳做網站實踐得出結論，主流搜索引擎都遵守robots文件指令，robots.txt禁止抓取的文件搜索引擎將不再訪問或者不抓取。但要注意，被robots文件禁止抓取的URL還是可能會出現在搜索結果中，只要有導入鏈接指向這個URL，成都建網站認為搜索引擎就知道這個URL的存在，雖然不會抓取頁面內容，但是可能一下幾種形式還是會顯示在搜索結果中：
1.只顯示URL，沒有標題，描述。谷歌通常這么處理。
2.只顯示開放目錄或者雅虎等重要目錄收錄的標題和描述。
3.導入鏈接的錨文字顯示為標題和描述。百度通常這樣處理。
總之，只要想讓URL完全不出現在搜索結果中，需要使用頁面上的meta robots標簽。
網頁標題：robots文件
文章網址：http://www.2m8n56k.cn/news9/167759.html
成都網站建設公司_創新互聯，為您提供品牌網站設計、網站維護、網站排名、網站收錄、用戶體驗、面包屑導航
聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：[email protected]。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯
猜你還喜歡下面的內容
- 如何讓網站上的按鈕更好看更易用 2022-06-15
- 專業SEO人員常用seo工具有哪些 2022-06-15
- 網絡營銷必備的幾大技巧？ 2022-06-15
- 新網站上線收錄慢怎么解決 2022-06-15
- 網絡建設需要更新才能“活”起來 2022-06-15
- 如何給別人的產品提意見? 2022-06-15
- 你的企業網站被您賦予生命了嗎？ 2022-06-15
- 同行網站是怎么建設得那么好的，給幾個方法，趕緊消化 2022-06-15
- 如何做好網站內部構建? 2022-06-15
- 電子郵件營銷的優勢 2022-06-15
- 更換服務器需注意的事項 2022-06-15
- 【微博運營之微博營銷】新浪微博傳播途徑研究 2022-06-15
- Web應用程序的優點 2022-06-15
- 企業網站該如何實施網站優化 2022-06-15
- 設計的階段,成為設計師的幾個要經歷的階段 2022-06-15
- 定制企業官網必備制作流程步驟講解 2022-06-15
- 裝飾品牌網站首頁設計效果 2022-06-15
- 株洲網站優化關鍵詞為什么會出現排名不穩定的情況？ 2022-06-15
- 互聯網時代，SEO網絡優化技術的主要應用領域有哪些？ 2022-06-15