搜索引擎蜘蛛爬行規律探秘(一)蜘蛛如何抓取鏈接
2021-10-23 分類： 網站建設
搜索引擎蜘蛛，對于我們來說非常神秘，本文的配圖使用蜘蛛俠的原因就在于此。當然我們也不是百度的也不是Google的，所以只能說探秘，而不是揭秘。本文內容比較簡單，只是給不知道的朋友一個分享的途徑，高手和牛人請繞行吧。
傳統意義上，我們感覺搜索引擎蜘蛛(spider)爬行，應該類似于真正的蜘蛛在蜘蛛網上爬行。也就是比如百度蜘蛛找到一個鏈接，順著這個鏈接爬行到一個頁面，然后再順著這個頁面里面的鏈接繼續爬……這個類似于蜘蛛網，也類似于一棵大樹。這個理論雖然正確，但是不準確。
搜索引擎內部是有一個網址索引庫的，所以搜索引擎蜘蛛是從搜索引擎的服務器出發，順著搜索引擎已有的網址爬行一個網頁，并將網頁內容抓取回來。頁面采集回來之后，搜索引擎會對其進行分析，將內容和鏈接分開，內容暫時先不說。分析出來鏈接之后，搜索引擎并不會馬上去派蜘蛛進行抓取，而是把鏈接和錨文本記錄下來交給網址索引庫進行分析、對比和計算，最后放入網址索引庫。進入了網址索引庫之后，才會有蜘蛛去抓取。
也就是如果出現了某個網頁的外鏈，并不一定會立刻有蜘蛛去抓取這個頁面，而是會有一個分析計算的過程。即便是這個外鏈在蜘蛛抓取之后被刪除了，這個鏈接也有可能已經被搜索引擎記錄，以后還有抓取的可能。而且下次如果蜘蛛再去抓取這個外鏈所在頁面，發現鏈接不存在了，或者外鏈所在頁面出現了404，那么只是減少了這個外鏈的權重，應該不會去網址索引庫刪除這個鏈接。
所以說已經不存在的頁面上的鏈接，也有作用。今天就分享這些，以后繼續跟大家分享我自己分析的內容，如果有不準確的地方，請大家批評指正。
分享標題：搜索引擎蜘蛛爬行規律探秘(一)蜘蛛如何抓取鏈接
URL鏈接：http://www.2m8n56k.cn/news17/132617.html
成都網站建設公司_創新互聯，為您提供網站策劃、云服務器、手機網站建設、網站改版、App開發、網站收錄
聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：[email protected]。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯
猜你還喜歡下面的內容
- 做網站設計比較好的公司 2021-10-23
- 博客改版添加robots.txt之后帶來的影響 2021-10-23
- 請謹慎選擇深圳網站制作公司 2021-10-23
- 網站優化結構布局的怎么把握 2021-10-23
- 建設網站如何經得起市場考驗 2021-10-23
- 如何通常數據去了解網站的SEO運營效果 2021-10-23
- 專訪饒凱：分享如何做好社區的運營和推廣 2021-10-23
- 企業建站的市場空間很大 2021-10-23
- 西安網站建設-網站建設中的留白原則是什么？ 2021-10-23
- 網站優化在百度搜索算法不斷調整的情況下怎么才能不受影響 2021-10-23
- 營銷型網站針對搜索引擎的標準是什么 2021-10-23
- 我想建網站前期需要準備多少錢 2021-10-23
- 新手網絡小白常用的網絡推廣平臺你知道多少 2021-10-23
- 西安網絡優化：優化網站時這些問題你必須要做好！ 2021-10-23
- 正確定位網站優化得心應手 2021-10-23
- 要想網站權重高還是得要“高人”推薦 2021-10-23
- 你知道網站SEO優化的作用嗎 2021-10-23
- 【SEO優化】如何增加網站優化的導入鏈接? 2021-10-23
- 如何判斷網站的權重高低 2021-10-23