温州麦道信息科技有限公司
新闻资讯News Center
网站开发之SEO论robots.txt文件作用
2017-09-05

一.什么是robots.txt文件?

搜索引擎通过一种程序robot(又称spider),自动访问互联网上的网页并获取网页信息。spider在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件。您可以在您的网站中创建一个纯文本文件robots.txt,在文件中声明该网站中不想被robot访问的部分或者指定搜索引擎只收录特定的部分。

 

请注意,robots.txt是一个纯文本文件,是搜索引擎蜘蛛爬行网站的时候要访问的第一个文件,当蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围,相当于网站与搜索引蜘蛛遵循协议,如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被屏蔽的网页,作为站长,我们就可以通过robots.txt文件屏蔽掉错误的页面和一些不想让蜘蛛爬取和收录的页面。


二.robots.txt放置位置

robots.txt文件应该放置在网站根目录下。举例来说,当spider访问一个网站(比如http://www.mai-dao.cn)时,首先会检查该网站中是否存在http://www.mai-dao.cn/robots.txt这个文件,如果Spider找到这个文件,它就会根据这个文件的内容,来确定它访问权限的范围。

 

三.robots.txt作用

第一,Robots.txt文件大大节省服务器宽带
我们都知道像email retrievers、image strippers这类搜索引擎都耗用大量宽带,而且对网站没有什么太大的意义,而通过Robots.txt就可以制止不必要的爬行工作,如果你的网站是图片站的话,没有设置好Robots.txt文件的话,就会浪费大量的服务器宽带。


第二、方便搜索引擎爬起工作
如果你的网站内容丰富,页面很多,设置Robots.txt文件更为重要,比如你有个网站,整个站有50多个G,打开页面可能会比较慢,如果不配置好Robots.txt文件的话,蜘蛛爬行工作就会很费力,而且如果太多的蜘蛛爬行,以至会影响你网站的正常访问。

第三、声明该网站中不想被robot访问的部分或者指定搜索引擎只收录特定的部分,优化蜘蛛访问效率,蜘蛛抓取更频繁。

第四、引导蜘蛛爬网站地图

 

介绍:麦道科技,专注于网站建设领域10年,具有成熟的网站制作理念,丰富的网页设计经验。

 

电话:0577-88113499 86767266
传真:0577-86767266
Email:md@mai-dao.cn
7 × 24小时服务:13957753074 13958904321 邮编:325000
地址:浙江省温州市温州大道428号四层
麦道公众号 扫一扫关注我们
我们的服务:
  • 温州网站建设
  • 温州网站制作
  • 温州网站设计
  • 微信小程序
Copyright © 1999-2024 All Rights Reserved 温州麦道信息科技有限公司 版权所有   浙ICP备08013787号