第一、可以清楚的了解百度蜘蛛每天的动静 服务器日志会自动每天记录百度蜘蛛每天每时每刻访问网站的次数、频率、停留时间,收录量等信息,这时候去服务器下载每天的日志,就会清楚的了解到,蜘蛛对于营销网站的总访问次数、停留时间、抓取量越高、平均抓取页面,通过了解这些数据,可以判断到蜘蛛的活跃度,营销网站对于蜘蛛的友好度,从而了解到哪里需要改进的。 第二、营销网站页面收录的情况 通过蜘蛛抓取的路径,可以了解到哪些页面被收录了,收录了哪些信息,在收录的这些信息之中,哪些是有利的?哪些需要调整?哪些页面重复了?页面之中是否含有死链接等等,如果有的话,此时需要把这些不利的因素给删除掉。 第三、营销网站目录的统计 网站目录的设置影响整个营销网站的成功被蜘蛛抓取,提高页面的收录,通过服务器日志可以深知蜘蛛喜欢哪些目录?哪些目录爬取的深度比较深?哪些目录较浅?或者说哪些目录压根就不想爬取等等,对于一些重要的目录页面需要在此地调整,一传递更多的权重。 第四、页面百度蜘蛛返回的状态码 网站的正常访问都是状态码有着千丝万缕的联系,比如,网站的正常访问的状态码是200,也就是蜘蛛的一次正常访问就是200,这正常倒是无所谓,一般也不显示,但是如果是404,再或者是403该如何是好,404倒好知晓,若是403压根就看不出来,所以此时就需要及时的处理,以免网站被降权或者损失权重。 第五、查看蜘蛛爬行营销网站页面时间 蜘蛛来营销网站爬行并不是二十四小时都在进行的,而是有一个时间段的,掌握蜘蛛抓取营销网站信息,有利于网站内容更新,第一时间被百度收录。 第六、查阅营销网站访问者的IP 通过查看受访者停留的时间,以此来判断用户是否寻找到了自己需要的信息,看出我们的营销网站用户体验与内容的价值,是不是用户想要的。