大家都知道,robots.txt文件在网站优化时,是一个很你重步骤,正确的写好我们的robots.txt有利于我们的优化,首先我们要知道它是一种协议,也可以说是爬虫协议、机器人协议。它的作用就是告诉搜索引擎蜘蛛我们的网站那些页面可以被抓取,那些不可以抓取,所以这步对SEO网站优化很重要,但这一步也是要非常认真的写,一旦写错,那对自己网站会很严重,比如一个目录写错了,那么会导致这个目录里的东西不被抓取,所以我们必须要了解我们网站的架构,每个目录我们都要知道它是什么意思,这样有利于我们写好robots.txt协议,在没有搞懂自己网站的架构之前,最好不要去写robots.txt。先搞懂再说。下面我就来讲讲制作方法及怎么去使用:

大家首先要知道两个标签,Allow和Disallow,一个是允许,一个是不允许,它的作用相比大家也都能理解。大家一定不要搞混了,还有一个符号:*  这个符号代表:所有的意思。

User-agent: *

Disallow:

或者

User-agent: *

Allow:

如果我想屏蔽搜搜的蜘蛛来抓取,

User-agent: sosospider

Disallow: /

大家可以发现这个屏蔽蜘蛛跟上面允许相比只是多了一个“/”,其含义是完全不一样的,所以在书写的时候要千万注意,可不能因为多写个斜杠屏蔽了蜘蛛自己却不知道。还有就是在user-agent:后边不屑固定蜘蛛名称跟的如果是“*”表示是针对所有蜘蛛的。

我们要禁止网站那个目录文件不允许搜索引擎蜘蛛来抓取:

User-agent: *

Disallow: /目录/。

如果是阻止抓取某目录的话目录名字一定要注意“/”,不带“/”表示的是阻止访问这个目录页面和目录下的页面,而带上“/”则表示进阻止目录下的内容页面,这两点要分清楚。如果是想屏蔽多个目录就需要采用的。

如果是阻止蜘蛛访问某一类型的文件,例如阻止抓取.jpg格式的图片可以设置成:

User-agent: *

Disallow: .jpg$

假如我网站很多页面后缀带有?号的目录,怎么来写呢!我们可以这样写;

User-agent: *

Disallow: /*?

最后大家,写robots.txt的时候,一定要分清字母的大小写,还要robots.txt写好都是放到网站根目录下面。