为什么我的网站已经添加robots.txt，还能在搜搜网页中被搜索到？

来源：岁月联盟编辑：zhu 时间：2009-08-23

为什么我的网站已经添加robots.txt，还能在搜搜网页中被搜索到？内容简介：在robots.txt中添加了禁止访问的规则后，sosospider即会遵循按规则停止相应的页面/站点抓

在robots.txt中添加了禁止访问的规则后，sosospider即会遵循按规则停止相应的页面/站点抓取。