淘宝称用户隐私数据不允许抓取 屏蔽百度蜘蛛
所属分类：数码
今日通过www.taobao.com/robots.txt发现，淘宝网已经屏蔽了百度“蜘蛛”。据了解，“蜘蛛”是通过网页的链接地址来寻找网页，从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。而如果一个网站屏蔽搜索引擎蜘蛛的话，就意味着该家搜索引擎无法获取这家网站的内容。
对于淘宝屏蔽百度蜘蛛，淘宝
RSS：cnbata
发布日期：2008-09-06