不要妄想用robots.txt文件来来阻止百度的收录_推广优化_黑客防线网安服务器维护基地--Powered by WWW.RONGSEN.COM.CN

不要妄想用robots.txt文件来来阻止百度的收录

作者:黑客防线网安网站维护基地 来源:黑客防线网安网站维护基地 浏览次数:0

本篇关键词:百度收录
黑客防线网安网讯:  这是我用我的真实经历告诉大家,有图有真像。在这之前我和在坐的各位一样,以为写个robots.txt就万事大吉了,就可以安心的调试网站了。但往往要等百度收录了才后悔,原来当初自己错了,...

  这是我用我的真实经历告诉大家有图有真像在这之前我和在坐的各位一样以为写个robots.txt就万事大吉了,就可以安心的调试网站了但往往要等百度收录了才后悔,原来当初自己错了,robots.txt写禁止收录的规则对百度没用。

\

 

  ps直接上图先,大家仔细看图,重点看域名,如果不是看域名的话,估计你会把这快照看成是新浪首页的快照呢!看到这里可能有的站长要疑惑了,有的站长要笑。大家一定很想知道这种情况是如何造成的吧?

  其实是这样的,那天我也就是想去测试下自己买的集群主机的速度怎么样,于是下载了个新浪首页上放到空间上绑定后进行了测试。结果测完后就甩了个robots.txt文件上去,本就以为这样就可以万事大吉了,谁知道度娘她不吃这一套,对我的站那是照收不误。结果就这样悲剧了,我现在还不知道,如果我新站上线后那直接就是另一个站了,我现在还整天担心如果要是直接上新站的话,度娘会把我K了,或者降权呢!

  现在没办法,咨询了下我萧涵老师后,他老人家告诉我,首页标题里加了个 ;现在还好百度停止更新快照了。

  后来又找了些资料,分析了下原来是新站上外链惹的祸,因为之前没注意看百度官方对这文件给的介绍。在百度搜索帮助中心-禁止搜索引擎收录的方法中第三条中这样写到:“我在robots.txt中设置了禁止百度收录我网站的内容,为何还出现在百度搜索结果中?”答:如果其他网站链接了您robots.txt文件中设置的禁止收录的网页,那么这些网页仍然可能会出现在百度的搜索结果中,但您的网页上的内容不会被抓取、建入索引和显示,百度搜索结果中展示的仅是其他网站对您相关网页的描述。

  所以咱们站长一定要注意了,如果大家在新站调试期间想要让网站不被显示在百度快照上的话,在网站建设 www.hacker.com.cn期间请不要把域名地址放在百度蜘蛛可能会爬行的地方,例如大部份站长最喜欢设置的论坛个性签名里,这样有时候会不知不觉中就把外链又发出去了。

  本文作者:杨雪松,欢迎转载,转载可以不留名,但务必请保留下链接:www.weibogg.com

    黑客防线网安服务器维护方案本篇连接:http://www.rongsen.com.cn/show-6354-1.html
网站维护教程更新时间:2011-07-24 14:34:44  【打印此页】  【关闭
我要申请本站N点 | 黑客防线官网 |  
专业服务器维护及网站维护手工安全搭建环境,网站安全加固服务。黑客防线网安服务器维护基地招商进行中!QQ:29769479

footer  footer  footer  footer