我们做SEO的，蜘蛛对于我们来说是相当熟悉的，相信做我们这一行的对于搜索引擎的工作原理更是熟的不能再熟了，我们SEOer都是知道的蜘蛛的带宽资源、时间都不是无限的，也不可能爬完所有页面，实际上最大的搜索引擎也只是爬行和收录了互联网的一小部分。由此可见，虽然理论上蜘蛛能爬行和抓取网站所有页面，但是实际上不能、也不会这么做的。SEO人员想要让自己的网站更多页面被收录，那么就要想方设法吸引蜘蛛来抓取。既然不能抓取所有页面，蜘蛛所要做的就是尽量抓取重要页面。这就不言而喻了，作为站长的SEOer们面对蜘蛛所要做的就是要引导蜘蛛去抓取自己网站上比较重要的页面和信息，那么哪些页面才能被蜘蛛认为比较重要呢?下面郝晓奇就来和大家一起看看：

　　1.网站以及页面的权重高低。我们都知道质量高、资格老的网站会被认为权重比较高，像这种网站上的页面被蜘蛛爬行的深度也会比较高，所以自然的会有更多内页被收录。

　　2.页面更新度。蜘蛛还是比较喜欢那些经常性的更新页面的，也就是我们常说的蜘蛛是比较喜欢“新鲜血液”的。蜘蛛每次爬行都会把页面数据存储起来。如果第二次发现页面与第一次收录的完全一样，说明页面没有更新，蜘蛛也就没有必要经常抓取。如果页面内容经常更新，蜘蛛就会更加频繁地访问这种页面，页面上出现的新链接，也自然会被蜘蛛更快地跟踪，抓取新页面。

　　3.导入链接。无论是外部链接还是同一个网站的内部链接，要被蜘蛛抓取，就必须有导入链接进入页面，否则蜘蛛根本没有机会知道页面的存在。高质量的导入链接也经常使页面上的导出链接被爬行深度增加。