robots文件,对于很多新手SEO来说,是一个看不懂的神秘文件。不知道它到底有什么用?我们该如何去写?阿泽在要告诉大家的是,做好robots文件会让你的网站更快收录,从而更快排名。它是SEO优化的一大利器!
首先,我们应该清楚的了解,robots文件是用来做什么的?
其实robots文件是一种协议,所有的搜索引擎蜘蛛在进入你的网站时,最先访问的就是这个文件。它的作用就是“告诉蜘蛛,哪些路径可以抓取,那些路径不能抓取”。
其次,在明白了它的用途之后,我们应该了解,它的写法,它的含义。Rotbots主要有以下几方面组成:
Uer-agent: 定义搜索引擎的类型;
Disallow: 定义禁止搜索引擎收录的地址;
Allow: 定义允许搜索引擎收录的地址;
Crawl-delay: 定义抓取延迟;
在这里我们要注意的这几个必须牢记的注意事项:
1、每行规则的第一个英文字母必须大写;
2、规则中的“:”只能使用英文状态下的冒号;
3、“:”后必须且只能跟随1个空格;
4、在书写规则时必须注意大小写;
5、路径中只要包含该关键词,该路径就会被直接屏蔽;
比如:Disallow: /t就表示屏蔽网站中包含“/t”的所有路径。
因此,我们必须牢记以上的写法与规则,否则一个错误的robots文件轻则导致网站排名降低,重则直接K站。SEO之路且行且珍惜啊!
最后,阿泽要给大家分享的是robots文件为什么对于我们网站的SEO优化会那么重要呢?原因如下:
1、现在百度每天有成千上万的信息在不断更新发布,对于搜索引擎来说,网站的质量只能从内容来判断。而很多人为了偷工减料,就使用编辑器自动生成文章,没错这样效率提高了,分分钟几十篇文章,可有什么用呢?蜘蛛抓取后与数据库的文章一对比,内容相似度太高,页面质量也不咋地,要你这页面何用?已经收录了的文章,为什么还要再来收录质量更差的页面呢?因此我们必须用robots文件屏蔽掉这些没用的、文字内容大量重复相似的页面。
2、大家都知道,搜索引擎喜欢原创内容,特别是高质量的原创,更是青睐。而这里的原创内容其实并不单单只是指网站文章原创度,也指网站模板的原创度。如果自己的网站是套用的模板文件,个人建议最好用robots文件将css目录、模板目录一起屏蔽。
3、除了以上所说的页面外,其实我们的后台页面,图片目录,数据库等隐私目录,建议最好一起屏蔽掉。一方面是这些内容搜索引擎抓取与否效用不大,另一方面是网站安全角度出发,最好将其路径修改后屏蔽掉,减少被黑的可能。
4、对于搜索引擎来说,网站如果改版,或者有垃圾链接被删除后,这些页面我们一定要将其路径屏蔽。因为只有这样,搜索引擎才不会觉得我们网站有大量死链,只有屏蔽掉死链,并将死链提交给搜索引擎,让它们知道。
比如我的robots文件因为之前改版有大量死链,就果断将其屏蔽掉。示例:http://www.cdqinlan.com/robots.txt
5、还记得文章开篇讲到的吗,robots文件的作用是“告诉蜘蛛,哪些路径可以抓取,那些路径不能抓取”。通过这个文件我们能大大的增强蜘蛛爬取网站的效率,与我们的内链布局原理其实类似,都是蜘蛛理解哪些才是网站最重要的内容,不再浪费到其它的那些无用的页面上。
好了,以上就是关于robots文件的所有介绍了,希望对大家有帮助。robots文件的设置虽然只是优化中的一个细节,可它设置的好坏却能直接影响到网站优化效果。因此,让我们做好每一个细节,让搜索引擎给自己网站获得好的排名一个必须的理由!
