准备干掉雅虎爬虫
本帖最后由 avatar2012 于 2012-10-16 15:27 编辑准备干掉雅虎爬虫
没来多少流量
占用流量倒是第二多
准备干掉这个流量
国内我相信没几个用这个搜索引擎了.
Yahoo Slurp 7,164 83.90 M字节 2012年10月15日 08:10User-agent: Yahoo! Slurp Disallow: / User-agent: Yahoo Slurp
Disallow: /
User-agent: Slurp
Disallow: /
User-agent: Teoma
Disallow: /
User-agent: ia_archiver
Disallow: /
User-agent: twiceler
Disallow: /
User-agent: Scrubby
Disallow: /
User-agent: Robozilla
Disallow: /
User-agent: Gigabot
Disallow: /
User-agent: googlebot-image
Disallow: /
User-agent: yahoo-mmcrawler
Disallow: /
User-agent: yahoo-blogs/v3.9
Disallow: /
User-agent: psbot
Disallow: /
User-agent: Yahoo! Slurp China
Disallow: /
页:
[1]