一直都没有看到个具体的robots.txt文件在各个搜索引擎的执行情况如何，最近，我特意针对robots.txt文件对于各大搜索引擎做了个实验，看他们这一自己说是明文遵守的协议，落实到实际中去执行又是个什么状况。下面我就针对各大搜索引擎对robots.txt文件的反应测试数据，给大家详细讲解下，以供大家平时参考。
首先这个网站在百度，GOOGLE，yahoo，搜狗，搜搜，必应，有道收录都正常，然后我直接在robots.txt文件中设置禁止所有搜索引擎蜘蛛访问和爬行收录本站。自从把这个文件放上去的那天起，反应速度最快的就是GOOGLE，这也在我的意料之中，GOOGLE不管是做什么事情，处理完毕达到自己想要的效果反应速度都是一流的理想。甚至在做GOOGLE排名的时候，自己的操作速度和预期GOOGLRE排名效果的反应速度同步，最尽人意的莫过如此了。这也就是很多人不理解，为什么做优化有时需要很多时间，因为各个不同的搜索引擎对信息的抓取反应存在很大差别，所以有些时候，你什么都做好了。你还得去等待搜索引擎来抓取，搜索引擎抓取后才开始分析你这些信息的质量，质量高才会增加到网站权重上去。
所以要在最短时间内做出最高效理想的SEO效果出来，应该具备正确的决策能力和高效的执行能力，自接到网站优化的那一刻起，你所做的每一件事都是对网站能起到效果的，这些事情做下去后，对网站能起到多大的作用，在优化的过程中，针对出现的不同现象，能及时做出准确的处理方式，时刻对整个网站的优化操作做出风险评估把控(因为搜索引擎有很多陷阱等着你去跳)。
接着说其他搜索引擎对robots.txt文件的反应，GOOGLE只用了4天时间，删除了整个域名的网页收录，随后是腾讯SOSO过了6天也执行删除了整个域名的网页收录，接着是必应、搜狗7天时间删除了域名收录。到目前为止网易有道，百度没有丝毫动作，在百度只有几个关键词的排名稍微后退了一点，但没有删除任何域名网页收录。
通过这个实验分析得出的数据，希望大家以后在操作如此类似的robots.txt问题时，能起到参考作用。目前鉴于百度和有道还没有丝毫变化，所以需要继续观察一段时间，等后期有了结果，再做个百度详细robots.txt专题文章描述，希望大家继续关注。本文水晶枫叶SEO博客原创，保留版权 http://www.seocnz.com/seo/ 转载请保留链接。