收藏本站|设为首页

您现在的位置: 首页 > 新闻中心 > 建站经验 > 详细内容

教你查看日志中蜘蛛的访谒行为

2012-09-12 13:58 来源: 卓杰科技 www.zhuojie.cc [ ]

百度的叫baiduspider;

网站日志,是处事器端自动生成的一个文本记实,具体记实了网站的访谒详情,做为站长的你,如不美观是需要查看访谒统计数据,那用51.la或者百度统计 工具就可以了,可是如不美观你想查看各搜索引擎的蜘蛛是否准时来爬行自己的网站,那就要学会自己查看网站日志文件了。连系我们自己的网站做为一个实例来做一个介绍:

首先操作FTP工具登录处事器端,一般在处事器根目录之下存在一个logs文件夹,这琅缦沔装的就是网站日志,当然分歧的处事器类型,日志文件的文件夹名称和我介绍的纷歧样,但不妨,日志文件的扩展名是log。

日志中蜘蛛的访谒行为

进入日志文件夹,你会发现,日志文件是按每一天的访谒情形为一个文件保留的:

日志中蜘蛛的访谒行为

OK,报怨了几句,随便下载一天的日志文件,用Windows文本工具打开该日志文件,会看到一堆酷似代码的字符,祝文件巨细打开速度也分歧:

好吧,我的处事器只保留比来三天的日志文件,真小气,我还用过一个国外的处事器,人家是按月记实,而且当月竣事后会将当月的日志打包供下载,只要你不酬报删除,该日志文件会永远存在,这才叫个性化,可是没法子,谁叫我们只能用国内的处事器。

注重磕暌剐布景的这一小部门,我用CTRL+F搜索功能查找baiduspider,好吧,为什么要查找baiduspider,这里先普及一下关于搜索引擎蜘蛛的一点小常识,各年夜搜索引擎的蜘蛛都有名字:

谷歌的叫Googlebot;

微软的叫bingbot;

腾讯的叫Sosospider;

搜狐的叫Sogou web spider;

125.90.88.96 - - [07/Sep/2012:19:16:21 +0800] "GET / HTTP/1.1" 200 5374 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.zhuojie.cc/?/search/spider.html)"

因为国内主若是以百度为优化对象,我们来看看关于百度蜘蛛爬行记实的信息剖析,在日志记实中随便找一个百度蜘蛛的信息:

220.181.51.118 - - [07/Sep/2012:09:54:15 +0800] "GET /product/disp.php?id=93 HTTP/1.1" 301 249 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.zhuojie.cc/?/search/spider.html)"

当真看获取路径这一项,因为我的网站是老域名,原本的主人被收录的路径/product/disp.php?id=93,百度蜘蛛同样爬行,结不美观我的 新网站里必定不会有这一条信息,因为HTTP反馈了301,而301代表已移动 — 请求的数据具有新的位置且更改是永远的。其拭魅这对于我来说是一件好事,蜘蛛爬行欠亨,知道这条收录记实已经失踪效,慢慢就会年夜百度的收录数据库中删除。此刻 百度正在审核我的新站点,一天爬行只有23次,也很不错了的。

好了,巨匠是不是可以触类旁通的学会看其它搜索引擎蜘蛛的爬行记实了呢?下次,笔者将重点再分享一下HTTP的反馈值,巨匠经由过程这个反馈值可以获悉自己网站的健康状况哦,很是主要。

好吧,这琅缦沔获取路径与HTTP反馈值长短常主要的信息,200为正常篡夺,篡夺了5374个字节。我们再剖析一标识表记标帜录:

日志中蜘蛛的访谒行为

怎么解读这些信息呢?蜘蛛IP--【访谒时刻】“获取路径”HTTP反馈值200 反馈字节数5357 百度蜘蛛标识表记标帜。

当然,有伴侣会说为什么不操作一些日志查看工具,人工手动察看费时吃力,是的,有些不错的工具可以供给更便捷的操作,今天笔者所述内容旨在用最初级的体例教会巨匠学会察看自己网站的日志。但愿以上内容能对你有点辅佐。

本篇文章地址:http://www.zhuojie.cc/?/experience/seo/seo-76.html,转载请注明链接感谢。