全國分站:

網站優化?網絡營銷?網站托管
7天見效果,滿意后再付費!

咨詢熱線:021-50116511
您的位置: 首頁 > 立倉學堂 > 百度蜘蛛 >
找到報錯頁面入口,可以利用百度蜘蛛referer
時間: 2019-03-18 11:54:05 來源:未知 點擊:165次
  

什么是百度蜘蛛的referer

百度蜘蛛的referer,是指當百度蜘蛛抓取某一個URL的時候,在HTTP頭中帶的Referer字段。請注意,這個定義和百度最近聲明去除Referer中關鍵詞數據沒有任何關系。這次講的是spider發起的HTTP請求,百度而去除的是用戶發起的。如果百度蜘蛛抓取百度首頁的logo,會發起這樣的請求:

上面Referer字段很明確的表示了他是從www.baidu.com這個頁面上發現并抓取了www.baidu.com/img/bd_logo1.png。而大家在服務器訪問日志中也應該能看到相應的記錄。目前發現只有當百度抓取一個網頁的同時,又抓取了網頁中的:img、js和css才會帶上referer字段。這部分額外的抓取量,應該不會占用百度分配的抓取配額,屬于“買1送1”。

 

對于站長的意義

 

如果你發現有一批URL(僅限于img,js,css)報錯(4xx或者5xx),但是一直找不到入口在哪,也就是說你不明白百度蜘蛛是從哪里發現這些錯誤URL的。這個字段可以幫助你迅速定位。

 

舉個例子

 

比如我們的SEO日志分析系統中可以看到,符合下面這種URL Pattern的路徑每天有6萬到10萬的抓取而且全部報404。

從發現問題至今過了1個月,查遍整個網站我也沒找到入口。今天偶然仔細查了一下日志,想起了百度蜘蛛的referer,馬上就能定位問題了。這些404的URL來自于一套沒人維護也沒人關注的頁面(往往是這樣)。收錄流量都不錯。由于最近公司圖片系統更新,圖片的URL全部更改了,但這套頁面并沒有跟著更新。

 

如果站點沒有記錄referer怎么辦

iis請在這里勾選“cs(Referer)”:

apache請參考:

apache log配置“Combined Log Format”章節

apache log配置的官方鏈接

Nginx請參考:

nginx log配置

nginx log配置的官方鏈接

結束語

· 很多SEO問題并不是立即致命的,所以沒有及時解決。流量就像螞蟻啃大象一樣一點一點啃掉了。

· 系統性的知識積累還是會在關鍵時刻發揮作用的。

· 感謝飛鷹對本文的修正。

0
閱讀延展
  • 上海奉賢綠地未來中心A3樓1017-1018室
  • 聯系電話:021-50116511
  • 工作時間:06:00-23:00
  • wushuaifeng#shlicang.com(# 換成 @
Copyright @ 2015-2020 上海立倉網絡科技有限公司 滬ICP備11007197號 滬公網安備31011702002634號
广联达画图赚钱 云南快乐十分开奖走势图工具 江西11选5模拟开奖 排列五走势图表图 好彩1开奖结果记录 福彩三分彩 紫金矿业股票分析报告 排列列五开奖号 北京体彩快中彩号码统计 多乐游戏中心下载 北京快乐8开奖直播360