关于青春的作文_母爱300字范文|北京军海癫痫医院
北京军海癫痫医院

您现在的位置: 首页 > 伤感文章 > 正文内容

剖析robots.txt文件中应该屏蔽哪些目录 -

来源:中国少年文学网   时间: 2021-03-03

  一个合格的网站,必须在根目录下包含一下robots.txt文件,这个文件的作用对所有运营网站的朋友来说并不陌生,网上也提供了很多制作 robots.txt文件的方法和软件,可谓相当方便。但是,你真的知道网站的robots.txt文件设置是否合理,哪些文件或者目录需要屏蔽、哪些设置方法对网站运营有好处?

  那下面带着这些疑问,笔者会进行详细的解答,希望对新手站长朋友们有所帮助,老鸟勿喷。

  一、什么是robots.txt

  笔者引用百度站长工具中后段话来解释。搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件,这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt,在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

  二、robots.txt文件对网站有什么好处

  1、快速增加网站权重和访问量;

<西安癫痫病医院那好p>   2、禁止某些文件被搜索引擎索引,可以节省服务器带宽和网站访问速度;

  3、为搜索引擎提供一个简洁明了的索引环境

  三、哪些网站的目录需要使用robots.txt文件禁止抓取

  1)、图片目录

  图片是构成网站的主要组成元素。随着现在建站越来越方便,大量CMS的出现,真正做到了会打字就会建网站,而正是因为如此方便,网上出现了大量的同质化模板网站,被反复使用,这样的网站搜索引擎是肯定不喜欢的,就算是你的网站被收录了,那你的效果也是很差的。如果你非要用这种网站的话,建议你应该在 robots.txt文件中进行屏蔽,通常的网站图片目录是:imags 或者 img;

  2)、网站模板目录

  如上面 图片目录 中所说,CMS的强大和灵活,也导致了很多同质化的网站模板的出现和滥用,高度的重复性模板在搜索引擎中形成了一种冗余,且模板文件常常与生成文件高度相似,同样易造成雷同内容的出现。对搜索引擎很不友好,严重的直接被搜索引擎打入冷宫,不得翻身,很多CMS有拥有独立的模板存放目录,因此,应该进行看癫痫病哪里最好模板目录的屏蔽。通常模板目录的文件目录是:templets

  3)、CSS、JS目录的屏蔽

  CSS目录文件在搜索引擎的抓取中没有用处,也无法提供有价值的信息。所以强烈建议站长朋友们在Robots.txt文件中将其进行屏蔽,以提高搜索引擎的索引质量。为搜索引擎提供一个简洁明了的索引环境更易提升网站友好性。CSS样式的目录通常情况下是:CSS 或者 style

  JS文件在搜索引擎中无法进行识别,这里只是建议,可以对其进行屏蔽,这样做也有一个好处:为搜索引擎提供一个简洁明了的索引环境;

  4)、屏蔽双页面的内容

  这里拿DEDECMS来举例吧。大家都知道DEDECMS可以使用静态和动态URL进行同一篇内容的访问,如果你生成全站静态了,那你必须屏蔽动态地址的URL链接。这里有两个好处:1、搜索引擎对静态的URL比动态的URL更友好、更容易收录;2、防止静态、动态URL能访问同一篇文章而被搜索引擎判为重复内容。这样做对搜索引擎友好性来说是有益无害的。

  5)、模板缓存目录

宁夏癫痫医院在哪里   很多CMS程序都有缓存目录,这种缓存目录的好处我想不用说大家也清楚了吧,可以非常有效的提升网站的访问速度,减少网站带宽,对用户体验也是很好的。不过,这样的缓存目录也有一定的缺点,那就是会让搜索引擎进行重复的抓取,一个网站中内容重复也是大祭,对网站百害而无一利。很多使用CMS建站的朋友都没有注意到,必须要引起重视。

  6)被删除的目录

  死链过多,对搜索引擎优化来说,是致命的。不能不引起站长的高度重视,。在网站的发展过程中,目录的删除和调整是不可避免的,如果你的网站当前目录不存在了,那必须对此目录进行robots屏蔽,并返回正确的404错误页面(注意:在IIS中,有的朋友在设置404错误的时候,设置存在问题,在自定义错误页面一项中,404错误的正确设置应该是选择:默认值 或者 文件,而不应该是:URL,以防止搜索引擎返回200的状态码。至于怎么设置,网上教程很多,大家要吧搜索一下)

  这里有一个争议性的问题,关于网站后台管理目录是否需要进行屏蔽,其实这个可有可无。在能保证网站安全的情况下,如果你的网站运营规模较小,就算网站管理目录出现在robots.tx原发性癫痫病症状t文件中,也没有多大问题,这个我也见过很多网站这样设置的;但如果你的网站运营规模较大,竞争夺手过多,强烈建议千万别出现任何你网站后台管理目录的信息,以防被别有用心的人利用,损害你的利益;其实搜索引擎越来越智能,对于网站的管理目录还是能很好的识别,并放弃索引的。另外,大家在做网站后台的时候,也可以在页面元标签中添加:进行搜索引擎的屏蔽抓取。

  最后,需要说明一点,很多站长朋友喜欢把站点地图地址放在robots.txt文件中,当然这里并不是去屏蔽搜索引擎,而是让搜索引擎在第一次索引网站的时候便能通过站点地图快速的抓取网站内容。这里需要注意一下:1、站点地图的制作一定要规范;2、网站一定要有高质量的内容.

韩历文学网 www.hanliwx.com

北京军海癫痫医院
武汉癫痫病医院   武汉癫痫病专科医院   治疗癫痫病的医院   癫痫的治疗   治疗癫痫病医院   癫痫病的治疗方法   癫痫病专科医院   武汉中际医院   武汉中际癫痫病医院正规吗   北京癫痫医院   北京癫痫病医院   郑州癫痫病医院   武汉癫痫病医院   武汉治疗癫痫的医院   治疗癫痫的方法   北京癫痫病专科医院   武汉看癫痫病医院   有哪些治疗癫痫的好方法   得了癫痫能治好吗   得了癫痫能治好吗   小儿癫痫病能治愈吗   癫痫病的治疗方法   羊羔疯能治好吗   治疗癫痫的方法有哪些   癫痫病的中医治疗方法   癫痫病的中医治疗方法   癫痫病症状   癫痫病症状   癫痫症的症状都有哪些   怎么才能治好癫痫   怎么才能治好癫痫   癫痫到底能不能治好   癫痫到底能不能治好   儿童癫痫的治疗方法有哪些   癫痫病的治疗方法都有哪些   癫痫症状   西安治疗癫痫病医院   植物网   治疗癫痫病医院   武汉癫痫病专科医院   西安哪家癫痫病医院好   南昌癫痫病医院   西安中际脑病医院怎么样   癫痫病症状   成都癫痫病医院   北京癫痫病医院   武汉癫痫病医院   哈尔滨癫痫病医院   癫痫病能治好吗   湖北癫痫病专科医院   济南癫痫病专科医院   郑州专业的癫痫病医院   郑州哪家癫痫病医院比较好   郑州治疗癫痫病医院哪家好   郑州军海癫痫病医院怎么样   全国治疗癫痫病医院   北京癫痫病医院哪家好   癫痫病怎么治疗   武汉癫痫病专科医院   湖北治疗癫痫病医院在哪   郑州治疗癫痫病医院哪家好   河南癫痫病专科医院   哈尔滨治疗癫痫病费用是多少   黑龙江癫痫病专科医院   陕西癫痫病专科医院   北京癫痫病专科医院  



新华网  人民网  新浪新闻  北京癫痫医院排名  39健康  心里频道  郑州癫痫医院排名