len4090 发表于 2011-11-2 10:00:43

空间流量不够用的同学们 屏蔽下这个蜘蛛

本帖最后由 len4090 于 2011-11-2 10:02 编辑

robots.txt里面加入user-agent: AhrefsBot
disallow: /上个月流量被它 浪费完了不知道 这个蜘蛛爬我的站干什么 为题是 他是什么蜘蛛也不知道 我是冲AP日记里查到这个IP的蜘蛛爬了我的站 也不知道他收录啥东西！反正没用 屏蔽它先   我们个靠百度和google 其他蜘蛛不需要 呵呵

len4090 发表于 2011-11-2 10:03:54

什么是AhrefsBot？
AhrefsBot是ahrefs.com的一条网络爬虫，通过抓取网页建立索引库，并提供反向链接分析和服务。AhrefsBot FAQS1、如何禁止AhrefsBot?

AhrefsBot遵守网络规范，如要禁止AhrefsBot，最快捷的方法是打开您的robots.txt，添加如下两行：

user-agent: AhrefsBot

disallow: /

这样，AhrefsBot就不会再抓取您网站的任何内容了。

2、什么是反向链接？

反向链接是和常规链接相比较而言的。常规链接在源文档内部进行声明和显示，而反向链接则在目标文档内部进行声明。换言之，常规链接在文档 A 中标明“指向文档 B”，而反向链接则在文档 B 中要求“使文档 A 指向我”，那么对于文档B来说，在文档A中的链接就是文档B的反向链接。

xjcx 发表于 2011-11-2 12:04:11

那就是说，只要不想AhrefsBot抓取的，都可以屏蔽，感谢分享

len4090 发表于 2011-11-2 13:11:32

回复 3# xjcx


    是的我屏幕后 流量基本没怎么增加了没屏蔽前一天就好多了现在 我才用掉5.4MB的流量 2天了

xjcx 发表于 2011-11-2 22:11:27

感谢提醒分享，收藏了。
如果我想把百度、谷歌也屏蔽了，怎么处理啊？

len4090 发表于 2011-11-3 07:20:08

回复 5# xjcx


    user-agent: *

disallow: /

len4090 发表于 2011-11-3 16:18:38

今天用这个 禁止 shougou soso youdao等蜘蛛 在看看效果看

.htaccessOrder Deny,Allow
Deny from 46.165.197.141
deny from 220.181.94
deny from 220.181.125
deny from 220.181.0
deny from 124.115.0
deny from 124.115.4
deny from 220.181.94.237
deny from 123.126.50.69
deny from 123.126.50.74
deny from 61.135.249.67
deny from 61.135.248.213
deny from 124.115.0.160
deny from 61.135.249.219
deny from 220.181.125.69
deny from 61.135.249.87
deny from 61.135.249.85

xjcx 发表于 2011-11-3 22:36:18

呵呵，我的小站，不需要收录，向你学习啊

len4090 发表于 2011-11-7 12:06:25

.htaccess
再更新yahu也屏蔽Order Deny,Allow
deny from 222.73.44.5
deny from 222.73.44.102
deny from 46.165.197.141
deny from 61.135.249.85
deny from 61.135.249.87
deny from 220.181.125.69
deny from 61.135.249.219
deny from 124.115.0.160
deny from 61.135.248.213
deny from 61.135.249.67
deny from 123.126.50.74
deny from 123.126.50.69
deny from 220.181.94.237
deny from 124.115.4.1/32
deny from 124.115.4.2/31
deny from 124.115.4.4/30
deny from 124.115.4.8/29
deny from 124.115.4.16/28
deny from 124.115.4.32/27
deny from 124.115.4.64/26
deny from 124.115.4.128/25
deny from 124.115.0.1/32
deny from 124.115.0.2/31
deny from 124.115.0.4/30
deny from 124.115.0.8/29
deny from 124.115.0.16/28
deny from 124.115.0.32/27
deny from 124.115.0.64/26
deny from 124.115.0.128/25
Deny from 46.165.197.141
deny from 220.181.94
deny from 220.181.125
deny from 220.181.0
deny from 124.115.0
deny from 124.115.4
deny from 220.181.94.237
deny from 123.126.50.69
deny from 123.126.50.74
deny from 61.135.249.67
deny from 61.135.248.213
deny from 124.115.0.160
deny from 61.135.249.219
deny from 220.181.125.69
deny from 61.135.249.87
deny from 61.135.249.85
deny from 110.75.174
deny from 110.75.171
deny from 110.75.173
deny from 110.75.176

lsx25759 发表于 2011-11-7 20:44:39

soso\yahu 这些没必要屏蔽吧~~~
页: [1] 2
查看完整版本: 空间流量不够用的同学们 屏蔽下这个蜘蛛