为您提供网站建设行业资讯、网站优化知识、主机域名邮箱、网站开发常见问题等
蜘蛛访问的第一个文件一定要避免这些错误
发表日期:2015-10-12 资讯来源:佰牛科技 浏览:128
Robots.txt文件看似只有几行字母,但是其实有很多细节需要我们注意的。因为如果你不注意这些细节,有的语句将不会发挥效果,甚至出现发效果。而robots.txtt文件是搜索引擎进入我们站点后访问的第一个文件,其写的好不好关系到站点的seo能否顺利进行。下面佰牛网络将举例分析三个在robots.txt文件时我们容易出现的细节上的错误。
错误一:Allow与disallow顺序颠倒
首先我们来看一段robots.txt语句:
User-agent: *
Allow: /
Disallow: /abcd/
这段语句初看我们可以得到目的是告诉搜索引擎在abcd目录下面的页面不能抓取,但是其他所有的页面可以。但是这段语句的实际效果如何呢?效果是背道而驰的,为什么呢?我们知道搜索引擎蜘蛛对于robots文件中的规则的执行是从上到下的。这将会造成Disallow语句失效,正确的做法,是要把Disallow: /abcd/置于Allow: /前才能发挥我们想要的效果。
错误二:屏蔽某一个页面时,页面名前没有带上斜杠'/”
我想这一点很多站长也很容易忽视掉,打个比方,我们想要对搜索引擎屏蔽在根目录下的abcd.html这一页面,有的人在robots上可能会这么写:Disallow: abcd.html,表面上看可能没什么问题,但是佰牛网络想要问一下你先告知搜搜引擎屏蔽的这一页面在什么目录下面?如果我们不带上的话,搜索引擎蜘蛛无法识别是在哪一个页面。正确的写法是:Disallow: /abcd.html,这样才能真正的屏蔽位于根目录下面的abcd.html这一页面。
错误三:屏蔽的后面没有跟上斜杠'/”
佰牛网络【深圳网站建设】同样举个例子,比如我们想屏蔽/abcd/这一目录下面的页面,有的人可能会这样写Disallow: /abcd。这样写是否有问题呢?这样写依然有问题,而且问题很大条。这样虽然可以屏蔽掉/abcd/这一目录下面的所有页面。但是这也会传递给搜索引擎这样的信息,那就是屏蔽开头为/abcd的所有页面。效果等同于是Disallow: /abcd’*。这个错误将会给站点照成很大的影响。正确的做法是,在想要屏蔽的目录后面切记需要加上斜杠'/”。
对于robots.txt文件的重要性想必很多站长都深有体会。如果我们不重视这些书写的小细节的不仅会失去robotss.txt原有的效果,还会引起不必要的反效果。- 内容标签:
- seo机构
- seo关键词排名软件
- 网络推广和优化
- 深圳网站建设
- 上一条:外链如何影响网站排名
- 上一条:网站SEO优化常用html标签解释
- 相关资讯
-
【签约】深圳目路教育官网网站建设项目
目路SEEPATHS专注于为学生家庭提供教育升学的定制服务。团队持续运营超过8年,目前已经发展成为一家以升学结果为导向,多元化道路与学生背景条件相结合的高端专业、实现学生个性化升学规划的服务机构。
日期:2020-09-24 浏览:116 -
【签约】深圳中浩建设官网建设项目
深圳中浩建设实业有限公司成立于2000年,是一家专业从事沥青路面施工,集工程投资管理,沥青路面,彩色沥青路面,路面养护维修为一体的公司。
日期:2018-07-12 浏览:116 -
【签约】深圳财阜集团APP开发项目
财阜集团的是一家扎根香港,并专注于为所有客户和会员提供一站式海外资产配置及服务的综合集团。
日期:2019-05-03 浏览:111 -
【签约】大可智能教育信息网平台网站建设项目
大可智能教育信息网面向全国一线教师和学生,提供高考、留学、考级考试以及 各年级相关备课、迎考的专业资源。
日期:2017-09-20 浏览:111 -
【签约】深圳活石学院教育平台项目
活石学院,源自香港,提供DSE课程学习,留学权威,服务全球,以及服务香港本地中小幼升学,规划香港及海外大学本科留学,是业内首屈一指的香港教育专家。
日期:2018-11-03 浏览:109 -
网站长尾关键词优化的六大法宝
长尾关键词,按字面理解就是搜索长度长,有2至3个词组成的词语,而用户有可能会用的这些词进行搜索。那么,对于已经存在的长尾词需要怎么优化呢?接下来分享长尾词优化的六大法宝。
日期:2018-07-05 浏览:163 -
用户粘性提高才能够保证网站良性发展
网站优化都有很多公司来说都是非常重要的,因为如果你的网站上要是有更多的客户的话,那么势必要在网站优化上下一些功夫,如果网站是比较好的话,那么这种网站它的用户粘性相对来说应该是比较高的,因为用户粘性对于我们建站的人来说是非常的重要的,因为只有用户粘性能够提高的话,才能够保证我们的网站运营中能够良性发展。
日期:2018-07-05 浏览:154 -
这些网站图片优化小技巧十分受用
图片优化是网站要进行优化的一个十分重要的方面,传统意义上的优化仅仅只是图片要加alt标签或是仅仅压缩。但这样太过粗陋,以下带来详细技巧。
日期:2018-07-05 浏览:122