當前位置: 新疆时时彩 > 資訊中心 > SEO知識 >

學會分析網站日志了解蜘蛛對網站抓取情況

新疆时时彩 www.zpivs.com 發表日期:2019-02-26 01:01作者來源:旭昇SEO優化公司瀏覽次數: 標簽:網站日志

作為SEO我們會經常分析網站日志,通過網站日志的分析,我們可以更加了解蜘蛛對網站抓取情況,所謂的網站日志就是記錄web服務器接收處理請求以及運行時錯誤等各種原始信息的以·log結尾的文件,網站日志最大的意義是記錄網站運營中比如空間的運營情況,被訪問請求的記錄。通過網站日志可以清楚的得知用戶在什么IP、什么時間、用什么操作系統、什么瀏覽器、什么分辨率顯示器的情況下訪問了你網站的哪個頁面,是否訪問成功。
網站日志
 
一、網站日志的作用
 
1、通過網站日志可以了解蜘蛛對網站的基本爬取情況,可以知道蜘蛛的爬取軌跡和爬取量,通過我們的網站日志,外鏈的多和少和網站蜘蛛的爬取量是有直接影響的,我們所說的鏈接誘餌就是如果你做了一個外鏈,蜘蛛在爬取這個外鏈頁面并把頁面放出來時,蜘蛛可以通過你留的這個鏈接來爬取你的網站,而網站日志正是會記錄下蜘蛛的這次爬取行動。
 
2、網站的更新頻率也和網站日志中蜘蛛抓取的頻率有關,一般來說更新頻率越高,蜘蛛的抓取頻率越高,而我們網站的更新不僅僅只是新內容的添加同時還有我們的微調操作。
 
3、我們可以根據網站日志的反應情況,對我們的空間的某些事情和問題提前進行預警,因為服務器如果出問題的話在網站日志中會第一時間反映出來,要知道服務器的穩定速度和打開速度兩者都會直接影響我們的網站。
 
4、通過網站日志我們可以知道網站的那些頁面是很受蜘蛛歡迎的,而哪些頁面是蜘蛛連碰都不去碰的,同時我們還能發現有一些蜘蛛由于是過度爬取對我們的服務器資源損耗是很大的,我們要進行屏蔽工作。
 
二、如何下載日志
在購買空間的時候需要問清楚是否支持網站日志下載,但現在基本虛擬主機都有這功能,網站日志是每天生成一次,我們只需要用FTP工具傳到本地就可以。
 
 
三、分析網站日志
 
LOGHAO日志分析

LOGHAO日志分析
 
1、日志的后綴名是log的我們用記事本打開,選擇格式里的自動換行這樣看起來方便,同時用搜索功能搜索BaiduSpider和Googlebot這兩個蜘蛛。
 
例如:
 
百度蜘蛛 2012-03-13 00:47:10 W3SVC177 116.255.169.37 GET / – 80 – 220.181.51.144 Baiduspider-favo+(+ baidu /search/spider ) 200 0 0 15256 197 265
 
谷歌機器人 2012-03-13 08:18:48 W3SVC177 116.255.169.37 GET /robots.txt – 80 – 222.186.24.26 Googlebot/2.1+(+ google /bot ) 200 0 0 985 200 31
 
我們分段來解釋
 
  2012-03-13 00:47:10 蜘蛛爬取的日期和時間點;W3SVC177 這個是機器碼這個是惟一的 我們不去管它;116.255.169.37 這個IP地址是服務器的IP地址;GET 代表事件,GET后面就是蜘蛛爬取的網站頁面,斜杠就代表首頁,80 是端口的意思,220.181.51.144 這個IP則是蜘蛛的IP,這里海瑤SEO快排發包技術小編告訴大家一個鑒別真假百度蜘蛛的方法,我們電腦點擊開始運行輸入cmd打開命令提示符,輸入nslookup空格加蜘蛛IP點擊回車,一般真百度蜘蛛都有自己的服務器IP而假蜘蛛則沒有。
 
  如果網站中出現了大量的假蜘蛛則說明有人冒充百度蜘蛛來采集你的內容,你就需要注意了,如果太猖獗那會很占用你的服務器資源,我們需要屏蔽他們的IP.
 
  200 0 0這里是狀態碼 狀態碼的意思可以在百度里搜索下;197 265最后兩個數字則代表著訪問和下載的數據字節數。
 
2、我們分析的時候先看看狀態碼 200代表下載成功,304代表頁面未修改,500代表服務器超時,這些是一般的其他代碼可以百度一下,對于不同的問題我們要處理。
 
3、我們要看蜘蛛經常爬取哪些頁面,我們要記錄下來,分析他們為什么會經常被蜘蛛爬取,從而分析出蜘蛛所喜歡內容。
 
4、有時候我們的路徑不統一出現帶斜杠和不帶斜杠的問題,蜘蛛會自動識別為301跳轉到帶斜杠的頁面,這里我們就發現了搜索引擎是可以判斷我們的目錄的,所以我們要對我們的目錄進行統一。
 
5、我們分析日志分析時間長了,我們能夠看出蜘蛛的抓取規律,同一目錄下面的單個文件的抓取頻率間隔和不同目錄的抓取頻率間隔都可以看出來,這些抓取頻率間隔時間是蜘蛛根據網站權重和網站更新頻率來自動確定的。
 
6、蜘蛛對于我們的頁面的抓取是分等級的,是根據權重依次遞減的,一般順序為首頁、目錄頁、內頁。
 
7、不同IP的蜘蛛他們的抓取頻率也是不相同的
 
四、查看網站日志的意義
 
1、查看訪問網站的用戶IP、訪問頁面、停留時間、訪問日期等等
 
2、查看搜索引擎蜘蛛都訪問網站那些頁面,返回碼是什么
 
3、找出404頁面,找出出問題的其他頁面,包括死連鏈接
 
4、發覺百度蜘蛛每天固定時間來訪問網站,那么就可以在固定時間更新網站。
 
5、訪問的頁面,有參數(代表動態頁面,或者中文URL),三個以上參數的路徑不利于優化,那么就有必要寫進robots.txt。
 
6、返回碼是不正常的,就有必要處理,讓頁面恢復正常訪問,不能恢復正常訪問的死鏈接,建立txt文檔,向百度站長平臺提交。
 
7、404頁面可以被百度收錄,那么就盡量去恢復網站訪問
 
五、網站日志的分析工具
 
愛站日志分析工具
愛站日志分析工具
 
這里給大家介紹一款非常好用的網站日志分析工具,就是拉格好分析工具//www.loghao.com/,可以選擇導入日志后進行分析,或者使用愛站等各類SEO工具,都可以直接分析網站日志。
如沒特殊注明,文章均為旭昇SEO優化公司原創,轉載請注明來自//www.zpivs.com/news/98.html
相關新聞

新站優化避免進入沙盒的幾個

[在許多新站中,SEO優化方面存在一些問題。 例如,該網站已經上線了很長時間....

日期:2019-01-17 11:20:52 瀏覽次數:217

企業建站的目的與優勢

[越來越多的企業開始建設自己的網站,用來提高企業知名度以及產品的推廣。網....

日期:2016-01-04 15:37:02 瀏覽次數:83

網站欄目合理規劃

[網站首頁是企業網上的虛擬門面,在此,所以企業必須注意自己門面的設計,決....

日期:2015-12-17 17:16:33 瀏覽次數:115

麥當勞加盟官方網站

[麥當勞加盟官方網站 麥當勞是一家現代、銳意進取的漢堡公司。 1955年,全球第....

日期:2020-02-25 22:23:20 瀏覽次數:135

如何讓網站被百度快速收錄

[做SEO的朋友都在關注收錄的問題,網站需要收錄了才能獲得排名,那么如何讓網....

日期:2018-11-22 00:15:04 瀏覽次數:379

網站制作應考慮的問題有那些

[在 網站制作 時,需要充分考慮到結構,符合用戶體驗,讓用戶更方便查找信息....

日期:2015-12-28 14:59:03 瀏覽次數:140

江西省水利廳

[江西省水利廳網站建設風格分析: 江西省水利廳網站整體以藍色為主色調,網....

日期:2020-03-04 07:59:04 瀏覽次數:104

網站設計必須知道的幾個知識

[一個成功的網站需要抓住訪客的眼球,還要有豐富的內容,良好的用戶、交互體....

日期:2018-06-20 11:08:35 瀏覽次數:197

B2C網站如何做好口碑營銷

[在B2C商城的運營推廣過程中多站長以為將網站排名做上去,宣傳做的好就會成功....

日期:2016-01-26 11:27:06 瀏覽次數:116

外貿營銷網站建設特點

[目前外貿B2B與B2C竟爭激烈,企業要自己建立B2B和B2C外貿銷售平臺,由于缺乏網絡....

日期:2016-04-07 17:24:39 瀏覽次數:239

打造好的網站結構才是SEO優化

[因然之前經常說SEO內容為皇,外鏈為王,但對于很多SEO認為是真理,如何更好的....

日期:2015-08-23 13:56:49 瀏覽次數:131

seo是什么意思,主要的作用與

[一、SEO是什么意思? SEO是英文Search Engine Optimization的縮寫,中文譯為搜索引擎優....

日期:2019-04-11 10:52:32 瀏覽次數:787

相關標簽
網站日志
熱門地區
成都 江西 長春 吉林 重慶 四川 成都 北京 濟南 山東 天津 河北 石家莊 廊坊 山西 太原 包頭 遼寧 沈陽 大連 黑龍江 哈爾濱 上海 江蘇 南京 浙江 杭州 合肥 福建 福州 河南 鄭州 湖北 武漢 湖南 長沙 西安 蘭州
?
新疆时时彩
咨詢熱線
020-82035113
QQ咨詢
2053034165
{ganrao} 山西11选5中奖查询 北京赛车开奖直播 辽宁快乐12有规律吗 手机版大乐透下载 河南省11选5开奖结果 上海配资 为何有这么多股票推荐群 吉林快三开奖软件 赢咖娱乐是个什么公司 陕西11选5怎么玩 做长线有什么好股票推荐 十一选五万能八码稳赚 山东体彩快乐扑克三 宁夏11选5中奖查询 十大网上股票配资平台 18彩票网