今天有两个朋友提了一个相同的问题，为什么蜘蛛只爬取了网站的首页而没有爬取内页，不同的是一个是新站点，一个是老站点。那么今天就这个问题专门写篇文章，分享一下出现这种情况的原因及应对策略。

一、新新的网站

对于新新的网站，首页刚刚被收录，这时候网站的权重是极低的。就不要期望这么快收录内页了，制定一个详细的优化方案，定时更新，切记使用一些舞弊的手法。

二、robots.txt文件、服务器限制

这是很多新手容易犯的错误，对robots.txt文件不是很了解，但是不设置又觉得自己降低了档次，所以就错误的填写，导致屏蔽了内页。这样也就导致了蜘蛛无法爬取你的内页。另外服务器的限制也会出现这种情况。

解决策略：检查robots.txt文件和服务器是否有限制，自己看不懂可以找别人帮你。

三、搜索引擎优化群发作弊行为

有没有这种情况站长本人最清楚了，如果有这样的行为很容易导致蜘蛛只爬取首页，不爬取内页。

解决策略：停止群发的一切seo作弊手法。有规律并且持续的更新网站内容，网站内容最好原创，次点也要是高质量的伪原创。适当的针对内页做些外链和友情链接，引引蜘蛛。

四、网站的自身结构

网站结构是否混乱，导航结构是否混乱，导航不清楚，首页有没有足够的链接指向内页。

解决策略：整理网站导航，理顺结构，让网站导航更清晰明了，调用内页关键词到主页，增多一种“最新作品”、“作品引荐”等版块，增加内页入口。

五、网站内容质量和更新频率

网站内容质量应该是所有因素里面最重要的一个，也是收录不充分常见的原因。试想一篇自己都看不下去的文章，搜索引擎又怎么会有所青睐呢？互联网发展到现在，已经是粘贴复制，抄袭山寨横行。搜索引擎为了提供良好的用户体验，对于复制抄袭的内容，坚持不收录的原则。同时网站的更新是否具有规律性也非常重要。SEO管家中心：我们把百度蜘蛛比喻成一个人，它本来是1天来一次，你网站没有更新。然后就2天来一次，你的网站依旧没有更新。然后的然后就是5天、10天、15天….

解决策略：坚持有质量、有数量的定期更新网站内容，当然针对不同的行业更新的频率也不仅相同。热门的行业更新的频率就快一些，冷门行业就相对慢些。更新内容的同时也要做好站外链接工作。