准备干掉雅虎爬虫

avatar2012

准备干掉雅虎爬虫

没来多少流量

占用流量倒是第二多

准备干掉这个流量

国内我相信没几个用这个搜索引擎了.

Yahoo Slurp        7,164        83.90 M字节        2012年10月15日 08:10

1. User-agent: Yahoo! Slurp Disallow: /

复制代码

avatar2012

User-agent: Yahoo Slurp
Disallow: /
User-agent: Slurp
Disallow: /
User-agent: Teoma
Disallow: /
User-agent: ia_archiver
Disallow: /
User-agent: twiceler
Disallow: /
User-agent: Scrubby
Disallow: /
User-agent: Robozilla
Disallow: /
User-agent: Gigabot
Disallow: /
User-agent: googlebot-image
Disallow: /
User-agent: yahoo-mmcrawler
Disallow: /
User-agent: yahoo-blogs/v3.9
Disallow: /
User-agent: psbot
Disallow: /
User-agent: Yahoo! Slurp China
Disallow: /