山东福彩网|山东群英会直播

當前位置: 首頁 > 新聞動態 > 常見問題 > 內容

巧用robots避免蜘蛛黑洞

發布時間:2014-10-17 13:43:07    來源:百度站長學院    作者:貝斯特網絡    瀏覽量:   

對于百度搜索引擎來說,蜘蛛黑洞特指網站通過極低的成本制造出大量參數過多,及內容雷同但具體參數不同的動態URL ,就像一個無限循環的“黑洞”將spider困住,Baiduspider浪費了大量資源抓取的卻是無效網頁。

比如很多網站都有篩選功能,通過篩選功能產生的網頁經常會被搜索引擎大量抓取,而這其中很大一部分檢索價值不高,如“500-1000之間價格的租房”,首先網站(包括現實中)上基本沒有相關資源,其次站內用戶和搜索引擎用戶都沒有這種檢索習慣。這種網頁被搜索引擎大量抓取,只能是占用網站寶貴的抓取配額。那么該如何避免這種情況呢?

我們以北京某團購網站為例,看看該網站是如何利用robots巧妙避免這種蜘蛛黑洞的:

對于普通的篩選結果頁,該網站選擇使用靜態鏈接,如:http://bj.XXXXX.com/category/zizhucan/weigongcun

同樣是條件篩選結果頁,當用戶選擇不同排序條件后,會生成帶有不同參數的動態鏈接,而且即使是同一種排序條件(如:都是按銷量降序排列),生成的參數也都是不同的。如:http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek
http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

對于該團購網來說,只讓搜索引擎抓取篩選結果頁就可以了,而各種帶參數的結果排序頁面則通過robots規則拒絕提供給搜索引擎。

robots.txt的文件用法中有這樣一條規則:Disallow: /*?* ,即禁止搜索引擎訪問網站中所有的動態頁面。該網站恰是通過這種方式,對Baiduspider優先展示高質量頁面、屏蔽了低質量頁面,為Baiduspider提供了更友好的網站結構,避免了黑洞的形成。

本站關鍵詞:黑洞 蜘蛛
延展閱讀
Copyright ? 2013 - 2014 南陽貝斯特|南陽網站建設|南陽網站優化|南陽網絡公司|南陽網站設計|南陽網站托管 All Rights Reserved.  豫ICP備140002738號-2 

在線客服

  • 我們竭誠為您服務!
  • 我們竭誠為您服務!
  • 我們竭誠為您服務!
  • 電話:136 9371 6131

售后服務

  • 我們竭誠為您服務!
  • 電話:0371-56692799
山东福彩网 小丑上单ap出装 湖北十一选五全天走势图 澳门二十一点要牌技巧 幸运飞艇精准计划软件安卓版 棒球比分查询 11选5快彩app下载 平刷王手机版计划软件下载 江苏11选5开奖结果手机版 未来免费的加盟赚钱好买卖 手机斗牛看牌抢庄技巧