众所周知,绝大多数网站都会有一个首选域名,从用户体验考虑,通常站长们还会另外解析一个域名,并设置301重定向。例如,用户未输入www的时候,仍然可以访问到我们的网站,就像访问http://baidu.com,会自动跳到http://www.baidu.com一样。

理论上,301重定向是对搜索引擎友好的设置,而且搜索引擎也能识别301返回码,从而只收录首选域名。但也有个例!比如,张戈博客刚一上线,我就已经把www的域名301重定向到了不带www域名:

但百度依然收录带www的,且www的排名更加靠前:

site了下带www的域名,居然收录了1600多条:

又比如百度搜索“卢松松”的结果,也是www的排在第一:

这个问题困扰了我很久,前往百度站长平台多次投诉无果,终于忍无可忍,决定将带www的域名做了禁止收录处理,我已做好www域名全线被T的心里准备。

曾多次搜索过如何禁止搜索引擎收录带www或不带www的域名的方法,但是都是一些做301设置的方法,看来还不够彻底!下面,我就来分享一下彻底禁止搜索引擎收录非首选域名的方法:

提前说明:如果正好和张戈博客相反,你的首选域名是带www的,那下面的代码只需要依葫芦画瓢的修改下即可,我就不赘述了。

一、准备工作

在网站根目录新建wrobots.txt文件,粘贴如下内容:

User-Agent: *

Disallow: /

二、修改规则

①、Nginx平台

编辑网站对应的nginx配置文件,比如:

vim /usr/local/nginx/conf/vhost/tianyunzmt.com.conf

找到之前301跳转的配置,如:

server ?>

如此,就双管齐下的做好了禁止搜索引擎收录新站非首选域名的设置!

以上就是禁止搜索引擎收录非首要域名的全部教程了,希望对和我一样苦恼的站长有所帮助。由于,这种中途设置禁止收录非常罕见,张戈也只是做下测试,还不知道有什么结果,所以不建议老站轻易尝试!个人强烈建议新站在上线之前就做好这些设置,避免带来和我一样的困扰!另外,由于没有IIS环境,所以就没有研究测试IIS下的设置方法,感兴趣的站长可以参考文章的思路去研究测试下。

       原文地址:http://zhangge.net/4460.html




HTTPX 基础教程-新乡seo|网站优化,网站建设_微信公众号:zeropython—昊天博客