网站Robots.txt协议知多少

发表日期:2015-09-22   资讯来源:佰牛科技   浏览:119

网站Robots.txt文件,是网站与搜索引擎交流的通用协议,通过Robots协议的设置告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取:一方面可以做网站安全的防护,更重要的是用来做优化,减少无效页面的收录,提升站点的排名效果。

在对客户的SEO诊断过程中,会经常遇到由于技术性的错误撰写,导致网站降权、不收录、被K的问题,这可以算是很多站点的通病。今天写出这篇文章,就是来做一个分享:关于robots.txt协议,你写对了吗?

一、设置成Allow全站点抓取

百度收录的越多,网站的排名越高?这是绝大多数站长的认为,事实上也是如此。但是也并非绝对成立:低质量的页面收录,会降低网站的排名效果,这一点你考虑到了吗?

如果你的网站结构不是非常的清晰,以及不存在多余的'功能”页面,不建议对网站开全站点的抓取,一些不够好的页面被抓取对网站只会带来负面的影响和评价。

二、那么什么样的页面不建议抓取

对于网站功能上有用的目录,有用的页面,在用户体验上可以得到更好的提升。但是搜索引擎方面来讲,就会造成:服务器负担,比如:大量的翻页评论,对优化上则没有任何的价值。

除此外还包含如:网站做了伪静态处理后,那么就要将动态链接屏蔽掉,避免搜索引擎抓取。用户登录目录、注册目录、无用的软件下载目录,如果是静态类型的站点,还要屏蔽掉动态类型的链接。

三、撰写上的细节注意事项

1、举例:Disallow; /a 与Disallow: /a/的区别,很多站长都见过这样的问题,为什么有的协议后加斜杠,有的不加斜杠呢?佰牛网络今天要说的是:如果不加斜杠,屏蔽的是以a字母开头的所有目录和页面,而后者代表的是屏蔽当前目录的所有页面和子目录的抓取。

通常来讲,我们往往选择后者更多一些,因为定义范围越大,容易造成'误杀”。

2、JS文件、CSS需要屏蔽吗?不少网站都做了这个屏蔽,但是佰牛网络要说的是:google站长工具明确的说明:封禁css与js调用,可能会影响页面质量的判断,从而影响排名。而对此,我们做了一些了解,百度方面同样会有一定影响。

3、已经删除的目录屏蔽,很多站长往往删除一些目录后,怕出现404问题,而进行了屏蔽,禁止搜索引擎再抓取这样的链接。事实上,这样做真的好吗?即使你屏蔽掉了,如果之前的目录存在问题,那么没有被蜘蛛从库中剔除,同样会影响到网站。

佰牛网络【深圳网站建设】建议最佳的方式是:将对应的主要错误页面整理出来,做死链接提交,以及自定义404页面的处理,彻底的解决问题,而不是逃避问题。

内容标签:
网站Robots.txt协议
制作网页教程视频
网页制作软件教程
深圳网站建设
{ solution_title }
相关资讯

【签约】深圳目路教育官网网站建设项目

目路SEEPATHS专注于为学生家庭提供教育升学的定制服务。团队持续运营超过8年,目前已经发展成为一家以升学结果为导向,多元化道路与学生背景条件相结合的高端专业、实现学生个性化升学规划的服务机构。

日期:2020-09-24    浏览:116

【签约】深圳中浩建设官网建设项目

深圳中浩建设实业有限公司成立于2000年,是一家专业从事沥青路面施工,集工程投资管理,沥青路面,彩色沥青路面,路面养护维修为一体的公司。

日期:2018-07-12    浏览:116

【签约】深圳财阜集团APP开发项目

财阜集团的是一家扎根香港,并专注于为所有客户和会员提供一站式海外资产配置及服务的综合集团。

日期:2019-05-03    浏览:111

【签约】大可智能教育信息网平台网站建设项目

大可智能教育信息网面向全国一线教师和学生,提供高考、留学、考级考试以及 各年级相关备课、迎考的专业资源。

日期:2017-09-20    浏览:111

【签约】深圳活石学院教育平台项目

活石学院,源自香港,提供DSE课程学习,留学权威,服务全球,以及服务香港本地中小幼升学,规划香港及海外大学本科留学,是业内首屈一指的香港教育专家。

日期:2018-11-03    浏览:109

网站长尾关键词优化的六大法宝

长尾关键词,按字面理解就是搜索长度长,有2至3个词组成的词语,而用户有可能会用的这些词进行搜索。那么,对于已经存在的长尾词需要怎么优化呢?接下来分享长尾词优化的六大法宝。

日期:2018-07-05    浏览:163

用户粘性提高才能够保证网站良性发展

网站优化都有很多公司来说都是非常重要的,因为如果你的网站上要是有更多的客户的话,那么势必要在网站优化上下一些功夫,如果网站是比较好的话,那么这种网站它的用户粘性相对来说应该是比较高的,因为用户粘性对于我们建站的人来说是非常的重要的,因为只有用户粘性能够提高的话,才能够保证我们的网站运营中能够良性发展。

日期:2018-07-05    浏览:154

这些网站图片优化小技巧十分受用

图片优化是网站要进行优化的一个十分重要的方面,传统意义上的优化仅仅只是图片要加alt标签或是仅仅压缩。但这样太过粗陋,以下带来详细技巧。

日期:2018-07-05    浏览:122