robots文件，对于很多新手SEO来说，是一个看不懂的神秘文件。不知道它到底有什么用？我们该如何去写？阿泽在要告诉大家的是，做好robots文件会让你的网站更快收录，从而更快排名。它是SEO优化的一大利器！
首先，我们应该清楚的了解，robots文件是用来做什么的？
其实robots文件是一种协议，所有的搜索引擎蜘蛛在进入你的网站时，最先访问的就是这个文件。它的作用就是“告诉蜘蛛，哪些路径可以抓取，那些路径不能抓取”。
其次，在明白了它的用途之后，我们应该了解，它的写法，它的含义。Rotbots主要有以下几方面组成：
Uer-agent： 定义搜索引擎的类型；
Disallow： 定义禁止搜索引擎收录的地址；
Allow： 定义允许搜索引擎收录的地址；
Crawl-delay： 定义抓取延迟；
在这里我们要注意的这几个必须牢记的注意事项：
1、每行规则的第一个英文字母必须大写；
2、规则中的“:”只能使用英文状态下的冒号；
3、“:”后必须且只能跟随1个空格；
4、在书写规则时必须注意大小写；
5、路径中只要包含该关键词，该路径就会被直接屏蔽；
比如：Disallow: /t就表示屏蔽网站中包含“/t”的所有路径。
因此，我们必须牢记以上的写法与规则，否则一个错误的robots文件轻则导致网站排名降低，重则直接K站。SEO之路且行且珍惜啊！
最后，阿泽要给大家分享的是robots文件为什么对于我们网站的SEO优化会那么重要呢？原因如下：
1、现在百度每天有成千上万的信息在不断更新发布，对于搜索引擎来说，网站的质量只能从内容来判断。而很多人为了偷工减料，就使用编辑器自动生成文章，没错这样效率提高了，分分钟几十篇文章，可有什么用呢？蜘蛛抓取后与数据库的文章一对比，内容相似度太高，页面质量也不咋地，要你这页面何用？已经收录了的文章，为什么还要再来收录质量更差的页面呢？因此我们必须用robots文件屏蔽掉这些没用的、文字内容大量重复相似的页面。
2、大家都知道，搜索引擎喜欢原创内容，特别是高质量的原创，更是青睐。而这里的原创内容其实并不单单只是指网站文章原创度，也指网站模板的原创度。如果自己的网站是套用的模板文件，个人建议最好用robots文件将css目录、模板目录一起屏蔽。
3、除了以上所说的页面外，其实我们的后台页面，图片目录，数据库等隐私目录，建议最好一起屏蔽掉。一方面是这些内容搜索引擎抓取与否效用不大，另一方面是网站安全角度出发，最好将其路径修改后屏蔽掉，减少被黑的可能。
4、对于搜索引擎来说，网站如果改版，或者有垃圾链接被删除后，这些页面我们一定要将其路径屏蔽。因为只有这样，搜索引擎才不会觉得我们网站有大量死链，只有屏蔽掉死链，并将死链提交给搜索引擎，让它们知道。
比如我的robots文件因为之前改版有大量死链，就果断将其屏蔽掉。示例：http://www.cdqinlan.com/robots.txt
5、还记得文章开篇讲到的吗，robots文件的作用是“告诉蜘蛛，哪些路径可以抓取，那些路径不能抓取”。通过这个文件我们能大大的增强蜘蛛爬取网站的效率，与我们的内链布局原理其实类似，都是蜘蛛理解哪些才是网站最重要的内容，不再浪费到其它的那些无用的页面上。
好了，以上就是关于robots文件的所有介绍了，希望对大家有帮助。robots文件的设置虽然只是优化中的一个细节，可它设置的好坏却能直接影响到网站优化效果。因此，让我们做好每一个细节，让搜索引擎给自己网站获得好的排名一个必须的理由！
支付宝扫一扫
