網(wǎng)站優(yōu)化之防止網(wǎng)站被采集
2016-08-09 分類： 網(wǎng)站建設(shè)
采集就是使用程序通過自動(dòng)化操作復(fù)制數(shù)據(jù)。
首先說明，只要是能讓瀏覽器訪問的，就沒有不能采集的。
但是可以通過一定的手段讓采集變得非常麻煩，進(jìn)而在大量數(shù)據(jù)的情況下延遲采集完成時(shí)間，加大采集難度。
一般的情況略過不說，幾種情況比較特別的：
1、驗(yàn)證來路，cookie，session這些，比如PHP可以用fsockopen自定義HTTPHeader，基本上這些方法沒什么效果。
2、限速，限制某段時(shí)間內(nèi)打開頁面數(shù)量。這個(gè)只是推遲了下，大部分時(shí)間效果一般。比如某站限制一分鐘之內(nèi)只能打開30個(gè)網(wǎng)頁，頁面大小平均30K，則用迅雷批量下載就OK了，設(shè)置限速為2K，一覺醒來什么都好了。這個(gè)方法效果也基本沒有。
3、比較特別的方法，設(shè)置一個(gè)數(shù)量級(jí)的閥值，達(dá)到這樣數(shù)量后，必須驗(yàn)證方能繼續(xù)，比如打開10個(gè)頁面需要輸入驗(yàn)證碼，這個(gè)時(shí)候只需要保證驗(yàn)證碼不可識(shí)別，分配一個(gè)session，以后的瀏覽過程中用session保證用戶合法性，這樣不影響后續(xù)訪問，同時(shí)可以有效防止采集。
4、第三條對(duì)蜘蛛是致命的，此時(shí)可通過手機(jī)蜘蛛IP段，放行，其它的按照嚴(yán)格規(guī)則來。
5、3+4真是無敵的嗎?遠(yuǎn)非可以高枕無憂，比如此站有10萬個(gè)頁面，則設(shè)置100個(gè)代理，在閥值前循環(huán)使用代理，這樣實(shí)際上繞過了3的限制。
6、還有別的辦法嗎?不能，因?yàn)槟愕木W(wǎng)站能用瀏覽器打開。
首先說明，只要是能讓瀏覽器訪問的，就沒有不能采集的。
但是可以通過一定的手段讓采集變得非常麻煩，進(jìn)而在大量數(shù)據(jù)的情況下延遲采集完成時(shí)間，加大采集難度。
一般的情況略過不說，幾種情況比較特別的：
1、驗(yàn)證來路，cookie，session這些，比如PHP可以用fsockopen自定義HTTPHeader，基本上這些方法沒什么效果。
2、限速，限制某段時(shí)間內(nèi)打開頁面數(shù)量。這個(gè)只是推遲了下，大部分時(shí)間效果一般。比如某站限制一分鐘之內(nèi)只能打開30個(gè)網(wǎng)頁，頁面大小平均30K，則用迅雷批量下載就OK了，設(shè)置限速為2K，一覺醒來什么都好了。這個(gè)方法效果也基本沒有。
3、比較特別的方法，設(shè)置一個(gè)數(shù)量級(jí)的閥值，達(dá)到這樣數(shù)量后，必須驗(yàn)證方能繼續(xù)，比如打開10個(gè)頁面需要輸入驗(yàn)證碼，這個(gè)時(shí)候只需要保證驗(yàn)證碼不可識(shí)別，分配一個(gè)session，以后的瀏覽過程中用session保證用戶合法性，這樣不影響后續(xù)訪問，同時(shí)可以有效防止采集。
4、第三條對(duì)蜘蛛是致命的，此時(shí)可通過手機(jī)蜘蛛IP段，放行，其它的按照嚴(yán)格規(guī)則來。
5、3+4真是無敵的嗎?遠(yuǎn)非可以高枕無憂，比如此站有10萬個(gè)頁面，則設(shè)置100個(gè)代理，在閥值前循環(huán)使用代理，這樣實(shí)際上繞過了3的限制。
6、還有別的辦法嗎?不能，因?yàn)槟愕木W(wǎng)站能用瀏覽器打開。
本文名稱：網(wǎng)站優(yōu)化之防止網(wǎng)站被采集
網(wǎng)頁地址：http://www.2m8n56k.cn/news19/41719.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信公眾號(hào)、網(wǎng)站設(shè)計(jì)、網(wǎng)站策劃、建站公司、品牌網(wǎng)站建設(shè)、定制開發(fā)
聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：[email protected]。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容
- 網(wǎng)站優(yōu)化之搜索引擎更要考慮用戶需求 2016-08-09
- 怎樣做好行業(yè)網(wǎng)站的資訊？ 2016-08-18
- 如何做好網(wǎng)站內(nèi)部SEO？ 2016-08-09
- 網(wǎng)站被降權(quán)后有哪些特征 2016-08-18
- 如何做好網(wǎng)站優(yōu)化的關(guān)鍵詞部署 2016-08-09
- 網(wǎng)站優(yōu)化要利用對(duì)手超越對(duì)手 2016-08-09
- 深圳網(wǎng)頁制作中如何正確選擇字體？ 2016-08-18
- 這樣設(shè)計(jì)網(wǎng)頁更簡約 2016-08-25
- 今年標(biāo)志設(shè)計(jì)新趨勢 2016-08-25
- 網(wǎng)站優(yōu)化的時(shí)候鏈接到哪里發(fā)？ 2016-08-09
- 如何對(duì)建站效果進(jìn)行有效評(píng)估？ 2016-08-18
- 包裝設(shè)計(jì)由哪些元素組成？ 2016-08-25
- 字體在網(wǎng)頁設(shè)計(jì)中的運(yùn)用技巧 2016-08-25
- 創(chuàng)新SEO：如何增加網(wǎng)站的外鏈數(shù)量 2016-08-09
- 創(chuàng)新SEO說說開放平臺(tái)和即時(shí)搜索 2016-08-08
- 為啥網(wǎng)頁設(shè)計(jì)師和網(wǎng)頁開發(fā)人員必須協(xié)作？ 2016-08-25
- 這些網(wǎng)頁設(shè)計(jì)技巧是你在學(xué)校學(xué)不到的 2016-08-25
- 網(wǎng)站的PR還是兩年前的，看來最近兩年沒有功勞啊 2016-08-18
- 行業(yè)網(wǎng)站要怎樣發(fā)展 2016-08-18