找回密码
 注册
查看: 2153|回复: 1

准备干掉雅虎爬虫

[复制链接]
发表于 2012-10-16 15:24:20 | 显示全部楼层 |阅读模式
本帖最后由 avatar2012 于 2012-10-16 15:27 编辑

准备干掉雅虎爬虫

没来多少流量

占用流量倒是第二多

准备干掉这个流量

国内我相信没几个用这个搜索引擎了.

Yahoo Slurp        7,164        83.90 M字节        2012年10月15日 08:10
  1. User-agent: Yahoo! Slurp Disallow: /
复制代码
 楼主| 发表于 2012-10-16 15:58:14 | 显示全部楼层
User-agent: Yahoo Slurp
Disallow: /
User-agent: Slurp
Disallow: /
User-agent: Teoma
Disallow: /
User-agent: ia_archiver
Disallow: /
User-agent: twiceler
Disallow: /
User-agent: Scrubby
Disallow: /
User-agent: Robozilla
Disallow: /
User-agent: Gigabot
Disallow: /
User-agent: googlebot-image
Disallow: /
User-agent: yahoo-mmcrawler
Disallow: /
User-agent: yahoo-blogs/v3.9
Disallow: /
User-agent: psbot
Disallow: /
User-agent: Yahoo! Slurp China
Disallow: /
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

QQ|Archiver|手机版|小黑屋|鼠窝站长论坛

GMT+8, 2024-12-22 17:05 , Processed in 0.046777 second(s), 17 queries .

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表