当前位置:首页 >> 新闻内容
站长如何制作出正确的robots文件
来源:本站 | 作者:Shop7z编辑部 | 发布时间:2014/2/25 

    

  seo优化的技术好坏不仅仅在于内容和外链上,更重要的是一些细节上的处理,因为内容和外链相对来说需要掌握的要点不是很多,而且易于操作、容易理解;而网站优化的其他一些细节处理,相对来说平时接触的少,对于这些了解的也很少,真正要处理时却遇到很多问题,比如seo优化常规的404页面的制作,301重定向的处理,robots的一个创建等,对于网站来说都是不可或缺的一部分。

  下面来说说robots,首先它是一个协议,对于网站的抓取取到重要作用,创建robots的意义在于它可以让蜘蛛听从命令服从安排,解决了网站的一些隐私和不必要抓取的页面,同时也可以强调某一部分必须抓取。robots看似一个非常简单的操作,但平时如果没有太注意或多操作,你写的robots未必就是正确的,因为里面涉及到一些指令,没有写对可能会影响网站的抓取。

  百度站长平台推出了robots工具(http://zhanzhang.baidu.com/robots),只要注册下,认证下网站就ok了,它可以很好的检验你的robots写的是否正确,该工具可以检测您的网站是否有robots.txt文件,及robots.txt文件内容,并能按照您的需求生成正确的robots.txt文件,为robots文件的制作起到了很大的帮助。

  一、可以检测到网站是否有robots文件

  通过网站验证后,你可以任意测试网站,看该是否有制作robots,如果有它会一一列出你网站设置的情况,比如什么文件有抓取,什么文件被屏蔽了,一目了然,并且提示是否有错误的地方;而没做robots协议的,他也会提示:“您的网站没有robots.txt文件,表示您允许搜索引擎可以抓取您网站全部的内容”。如图所示(chinaz的robots检测结果):

  

 

  二、可以检测到网站robots是否正确

  很多朋友都是想当然,认为robots书写很简单,真正测试一下就会发现是错误的。在robots添加网站地图相信是大家都很熟悉的,主要目的是让搜索引擎蜘蛛顺利抓取网站地图,屏蔽蜘蛛是用Disallow,允许抓取时用Allow,想当然很多站长为了让蜘蛛抓取网站,直接把网站地图定义为:Allow: http://www.***.com/sitemap.html,结果检测一下原来是错误的,如图:

  

 

  

 

  百度一下才发现,原来格式为Sitemap: http://www.***.com/sitemap.html,虽然这个操作很简单,但如果没有robots工具的辅助,你可能长时间也不会发现这个问题。

  三、按你的需求生成正确的robots.txt文件

  如果你不懂如何制作robots文件,里面有很详细的内容介绍,包括robots的概念、如何制作等,利用表格的形式一一列出来,并且还有多方面的例子,比起百度百科要清晰明了的多,了解了概念后,当然就是手动制作了,它能够很好的按照你的想法一一生成内容,比如你不想让制作抓取联系我们这个页面,你就可以直接在上面操作:

  

 Shop7z网上购物系统
 最新资讯
Shop7z终极版:全站百分百采用纯html5/CSS/CSS3代码开发,代码集简洁与大气于一身,系统集合了Shop7z其他各版本优势于一体,高端大气,适合各行业开店。
Shop7z至尊版:集众家之所长,大气超美观页面于一体,采用宽屏版面设计开发,美观大气、动感时尚!宽屏版购物系统适合各行各业的网上开店需求
Shop7z多用户版:集"网上商城+用户开店"的完美模式!支持商家加盟,强大的店铺功能,独立的商家后台及结算,欢迎亲们测试!
Shop7z旗舰版:Shop7z旗舰版功能强大性能稳定,均支持商品组合套餐+限时抢购秒杀+不同规格不同价格+淘定数据包导入等功能!
 热点咨询
 推荐文章
 联系方式
工作时间: 早上9:00 - 21:00 (全年无休)
在线客服:275084681 81447933 
联系电话:0311-85315152 13102887321
电子邮件:Shop7z@126.com
工作期间推荐QQ联系,第一时间回复信息。
 首 页 | 购物系统 | 查看如何购买?如何建立网站? | 成功案例 | 常见问题/支持 | 网站合作 | 空间、域名 | 版权声明 | 新闻中心 | 关于我们
Shop7z网上购物系统在线客服:    275084681 客服QQ二:  81447933     客服电话:13102887321 0311-85315152
软件著作权证书登记号:2014SR001852 软著登字第0671096号     软件著作权证书登记号:2018SR956050 软著登字第3285145号
服务电话:0311-85315152    手机:131 0288 7321 (节假日不休)
地址:河北省石家庄市中山东路乐汇城A座A-1501#  邮政编码:050051
E-mail:Shop7z@126.com  275084681@qq.com (推荐邮箱)
CopyRight Shop7z.com版权所有 2004-2024 All Rights Reserved.冀ICP备19029961号-4
微信:
友情链接:
5vShop电商系统Shop7z购物系统网趣网上购物系统Asp微信支付中国站长站 源码素材网Admin5源码Asp300源码