盘点那些robots的屏蔽恩怨历史
https://www.huxiu.com/article/21696.html
这几天围绕Robots，因为百度和360的官司引起了众人关注，也许很多人还不知道Robots是什么。其实robots协议是一个搜索引擎的国际默认公约，任何网站只要在其robots中禁止搜索引擎访问，那么搜索引擎就无权收录。而robots的重要性在于，一个网站有权利可以存在于互联网中，但又不被指定的搜索引擎索引放到搜索结果中，因为搜索引擎在互联网上就像国王，网站就是每个人的小家，而robots协议则是对抗国王的最后利器，正所谓“风能进雨能进国王不能进”。
和搜索引擎打架的案例其实早就有了，而每次打架都会牵扯到robots协议，那么就来盘点下这些关于robots的恩恩怨怨吧。
Facebook 屏蔽谷歌搜索
曾经微软和谷歌在同一天晚上同Facebook谈合作与入股，而最后微软胜出，谷歌败北。以至于至今Facebook也没有对谷歌开放搜索，Facebook一个如此庞大的帝国居然将另个一巨头谷歌拒之门外，谷歌的心情可想而知。看看谷歌怎么说的。
现任雅虎CEO的曾经谷歌副总梅丽莎·梅耶，在2010年说“很多内容都被隐藏了，虽然有些内容涉及隐私受到保护，但用户应当能够找到与自己相关的信息。”
谷歌CEO佩奇在2012年说：“在没有任何理由的情况下，将用户作为人质，这是没有意义的。Facebook扣下了用户的数据。”
Facebook一直是屏蔽谷歌搜索的，而谷歌也恨得牙痒痒。这也导致了谷歌上线Google+与Facebook分庭抗礼，但从结果来看，还是无法撼动Facebook这棵大树。
Facebook屏蔽谷歌的原因也很简单，用户在Facebook上产生的内容势必会有能够带来商业价值的数据并且同时也涉及到用户隐私，所以Facebook也同样不会将这些数据轻易交付给第三方的。facebook至今仍然屏蔽谷歌搜索。
默多克旗下新闻屏蔽谷歌搜索
从传统媒体起家的默多克，对于搜索引擎的态度相当不友善，默多克曾将搜索引擎都说成是”网络寄生虫“。
默多克原话“他们是Google,他们是微软,他们是Ask.com,他们不应该免费获得内容,我想我们一直睡着了.”而默多克在09年开始展开计划，对谷歌等搜索引擎展开行动，对旗下多家新闻网站屏蔽搜索爬虫。
谷歌的回应也很简单明了”如果贵站不想在谷歌上出现，请修改贵站的robots文件即可“。不过到了2012年，默多克就投降了，默多克向谷歌认输，重新允许搜索抓取报纸网站。其实默多克的想法还是停留在传统的付费阅读的思维上，缺少对网络的深刻洞察。
淘宝屏蔽百度搜索
2008年淘宝屏蔽了百度搜索引擎，自此用户再也无法从百度直接搜索到关于淘宝的信息。
2008年正是百度C2C平台"有啊"上线的日子，而淘宝的对决就是直接封杀百度搜索，其目的在于对于用户搜索习惯的重新引导，将自身作为一个专业的购物搜索引擎。以突显自己的在中国的网购地位。
阿里永远不希望有一只脚踩在他头上，2012年11月，淘宝联盟开始禁止返利网模式，使得一大批淘宝客网站死亡。2013年8月，淘宝又对微信下手，屏蔽与微信的一切数据链接，又一批淘客死亡。
加上之后一淘的出现，更不难理解阿里屏蔽百度搜索的用意，其实说到底还是商业利益。目前一淘已经失利，而淘宝又再一次向百度开放搜索。
京东屏蔽一淘搜索
京东和阿里向来水火不容，京东不准用户使用支付宝支付，也因为新浪和阿里的关系不准用户用新浪微博登录。那么也不难理解当阿里推出一淘之后，京东的做法，京东自然也不会买账，京东也同样不允许有一只脚踩在自己头上。
2011年10月，京东和当年淘宝屏蔽百度一样，毅然屏蔽了一淘搜索。失去京东这么大的一个电商平台，一淘可谓流年不顺。
至今京东仍然屏蔽着一淘搜索。
优酷同时屏蔽百度与谷歌搜索
08年末我用百度视频搜索视频时意外发现，优酷消失了，后来才得知优酷原来同时屏蔽了百度与谷歌的搜索引擎。
本来以为又是一场商业竞争，但后来的相关透露中才得知优酷真正担心的是年底所要支付的宽带费用，为了减缓资金压力，所以同时屏蔽了百度与谷歌的爬虫搜索，来减少宽带承受，同竞争无关。
回看08年那个视频网站混战的时候，各种网络存储，宽带设施都还未达到先进的地步，再加上中国的上网人口数远超美国，也就导致了视频网站发展的步履维艰，再加上正版电影的版权等一系列问题，更注定了那是一段视频网站的寒冬时期。
仅隔3个月，09年3月份，优酷又一次开放了百度谷歌的视频搜索。可见这确实是一次临时的选择。
QQ空间对百度谷歌搜索开放
QQ空间自05年诞生时就没有开放给百度与谷歌，和Facebook一样封闭。QQ的逻辑是要将QQ空间打造成一个巨大的闭环，唯一的搜索只能是旗下的搜搜。
遗憾的是QQ空间是一款非常成功的产品，而搜搜则与成功无缘。虽然搜搜独家占有了QQ空间的搜索，但搜搜没有到达腾讯希望的高度。2012年的时候，QQ空间也终于向百度与谷歌开放。
百度屏蔽360搜索
百度旗下拥有贴吧，文库，知道，百科等网站产品，所以当百度面对360这个搜索引擎时，百度则从搜索引擎的角色转身成为了网站站长的角色，作为站长的百度对竞争对手360搜索进行了屏蔽，而360直接绕过了robots协议继续采集对方信息。
从历史来看，任何网站与搜索引擎产生矛盾后，只要网站的robots对搜索引擎进行了屏蔽，那么任何搜索引擎从来都会停止抓取。这次360的案例比较特别，开启了先河，未来中国的搜索引擎的规则是否会有重大变化，还看这次判决吧。
