收藏本站|设为首页

您现在的位置: 首页 > 新闻中心 > 建站经验 > 详细内容

谈年夜iis日志中探寻搜索引擎蜘蛛勾当痕迹

2013-01-17 17:19 来源: 卓杰科技 www.zhuojie.cc [ ]

在站点的优化过程中个并不是说所有的站点问题都可以直接年夜站长工具上获得信息,往往站长工具上获得的信息都是在站点呈现问题后才能察觉到。作为一名seoer,我们更需要学会站点的隐性信息。例如,这几天做的外链效不美观若何?我们的内容那些方面加倍轻易受到搜索引擎蜘蛛的喜爱?搜索引擎蜘蛛对于我们站点的爬行积极端若何?等等,这些都是潜匿在站点内容部的一些关头信息。这些信息经由过程站长工具我们很难剖析。而这些信息恰恰可以年夜我们的站点IIS日志上找到谜底。

一:为何IIS日志在剖析站点隐性信息中如斯主要

1:借由该日志记实我们可以加倍清嚣张的剖析搜索引擎蜘蛛在网站上的爬行信息,这些信息包含有蜘蛛的爬行路线以及爬行深度。经由过程这一些数据信息,我们可以剖析近期我们培植的外链效不美观若何。因为我们知道外链就像是指导蜘蛛爬行的蜘蛛丝,如不美观外链培植的好的话,蜘蛛爬行的自然而然频仍,而且我们可以记实下年夜哪一个“进口”进入蜘蛛的频率高。

2:网站的内容更新与蜘蛛爬行存在必然的关系,一般只要我们更新不变频仍,蜘蛛的就会爬行得加倍的勤。对此我们可以借助日志中的蜘蛛来访频率对网站内容的更新频率做一个细调。

3:经由过程日志我们可以发现空寄放在的一些故障,这些故障可能是一些站长工具无法察觉到的。就好比近阶段很火的美橙空间因为手艺员误操作导致空间屏障了百度了蜘蛛事务,假如站长们事先剖析一下剖析一下空间日志,或许可以发现这一错误。

二:若何获得日志文件以及应注重的事项

1:要获得该日志文件我们的空间需要有iis日志记实的功能,假如我们的空间有这一功能的话,一般该日志文件会记其实weblog文件夹中,我们可以直接年夜这一文件夹中下载我们站点的日志文件。

2:在使用这一功能时我们需要注重日志的生成时刻设置,笔者的建议是如不美观站点是一个小型的站点可以让它一生成成一次,假如是斗劲年夜的站点我们可以让其每小时更新,以免生成的文件呈现过年夜的情形。

三:若何剖析解读蜘蛛行为

我们可以记事本的体例打开我们站点的日志文件,使用记事本的搜索功能搜索百度和谷歌的蜘蛛,分袂是BaiduSpider和Googlebot 。

百度蜘蛛

谷歌蜘蛛

我们可以分段进行剖析:

2012-04-5 00:47:10 是在章矣闽事务点蜘蛛爬进了我们的站点

116.255.109.63 这个ip是指我们的站点

GET紧跟厥后的就是蜘蛛爬行的页面,年夜这边我们可以体味近期我们的什么页面被爬行过。。

220.187.51.144 这一IP搜索引擎蜘蛛的ip地址,当然这边就可能会呈现真假两种地址。那么我们要若何识别章矣闽地址是真的蜘蛛仍是伪装的呢?笔者本文就分享自己的一个小体例,我们可以打开呼吁窗口,在窗口中执行nslookup+章矣闽所谓蜘蛛的地址。插手是货真价实的蜘蛛,那么就会有自己的处事器,反之则是无法找到信息。

真蜘蛛

假蜘蛛

那么为什么日志中会有伪造的蜘蛛呢?原因就是有其他站点伪造成假蜘蛛来爬行抓取你的站点内容。如不美观任由这些假蜘蛛横行的话,会对站点的处事器耗损造成必然的影响。对此我们可以使用这个体例找加入屏障他们,当然我们还需要细心措置,否则把真蜘蛛拒之门外就欠好了。

200 0 0代表的是网页正常的状况码,当然还有其他分歧数值的状况码,如500暗示处事器超时等等。我们可以借由这些状况码来剖析站点空间迩来的默示情形。

我们可以剖析日志文件中蜘蛛最常帮衬的几个页面,记实下来,而且找到为何会受到蜘蛛青睐的内外部原因。

作为站长年夜年夜都人可能斗劲熟悉那些直不美观的数据如流量、收录、反链等的剖析,对于日志文件的剖析可能较为目生。可是日志对于站点却至关主要,但愿本文能够辅佐巨匠更好的剖析日志文件。

本页关键词:

上一篇:W3C 官网超链接交互样式设计与实现 下一篇:蘑菇街分享平台