2007年12月5日星期三

CPANEL控制非正常流量

在说今天的内容之前,先补充一下上一篇文章中关于Blogger导出文章到Wordpress的细节,11了了而已还有生活与梦想在评论中都提到一些新方法,比如利用第三方的Wordpress-BSP来导入Blogger文章然后再由后台直接导出Wordpress的内容,这样在任何基于WP的平台上,能够比较圆满的实现自给自足。国内的YO2WPCOM。目前Wordpress.com被咔嚓,需要代理才行。面对目前的现状,有些在尝试导出导入内容的同志们可以做一个参考。

陈老师在我博客中留言,说是不是”咔嚓“已经涣散了人心,目前在Blogger的现状,起码从我的亲友团中间看,似乎影响不大,大家都一直在更新,有些无奈已经搬家的,也继续保持着联系和沟通。而我从一开始写博客就始终是两套班子一套人马,所谓”高瞻远瞩“版本。我不知道大家是怎么写博客的,我是一直用客户端WLW在写,第一次使用的时候读一下自己的模板,以后每次每篇文章直接选择不同的博客发布即可,还可以作为很好的存储工具。所以,没有感觉到有多麻烦。亲友团内容都在订阅,碰到自己感兴趣的话题也一定会去支持回复。但是不论是不是发烧级的GFANS,我还是希望大家增加一个禾草唐楷的可访问RSS,毕竟有这个可以正常访问的版本,交流起来简单方便一些。

正所谓不当家不知柴米油盐贵,目前美国空间每月有15G流量,当时没有这个流量概念,盘算了一下,大概差不多。结果空间跑了三天,一查看流量,居然每天有200多兆,不对那,怎么盘算也不会达到200多M每天这么多那,博客上有很多外链的YUPOO的图片,这些流量怎么测算?按道理来说这些流量应该是不包括在自己空间的流量中的。Cpanel有个管理项目叫Web/FTP stats,可以查看到非常详细的访问日志,逐项查看后恍然大悟,流量不合理的原因找到了。
















如图所示:上一篇文章在说海外空间好坏的时候,还说到坏处里边有条是百度来不来的问题,事实证明,百度不请自来,还来势汹汹。目前流量中很大的一部分是来自百度的爬虫,在百度搜索引擎中,不好好的表现禾草唐楷文章内容,但是在其他方面,比如MP3盗链上,却积极高效而频繁,这才几天那,几千次的爬虫反复搜索空间文档。仅仅是百度吗?不是,我的海外空间还有大户,再看:

















呈现在前边的大户还有搜狗和腾讯,一个腾讯拍拍上做新疆葡萄干的卖家,盗用我的MP3地址反复播放一首新疆歌曲,快乐的跳吧。而搜狗MP3搜索则如百度MP3搜索一样不厌其烦。反反复复,一天24小时根本不停歇。尽管空间是人家美国人的,但好歹现在是中国人在用,假如我流量无限制,用吧,毕竟美国人的资源都是中国人在用,可是看目前态势,似乎流量有越来越高的趋势。











令人十分费解的是,在我新开的美国空间压根就没有把以前的MP3文件夹及里边的MP3上传上去,压根就没有MP3这个目录和MP3文件,但是频繁的搜索与请求却越来越高,根本没有停止的意思。而且拍拍网上那个卖家的歌曲依旧在播放,在百度贴吧里边盗链的MP3地址用迅雷下载,依然可以正常下载,十分困惑,什么原因,在我目录中压根没有这个MP3文件,但是所有使用盗链的人却依然可以正常使用。掉头再来看看从不作恶的Google是不是真的清纯。


















看看Google的风格吧,爬虫在12月爬来3次。GFANS不是一天形成的,作恶的百度同样不是一天诞生的,事实说明一切。心中对Google的敬畏更加增添几分,就百度那种野蛮粗暴的原始采集,相信就算是Google去做都会比他做的漂亮一百倍,但是人家还真是不做,你服不服?相信他们不服,甚至还猫在角落偷偷乐那。

怎么能够控制这样非正常的流量呢?网上查阅了一些资料,增加了防盗链系统,在CPANEL中有个功能模块叫HOTLINK PROTECTION,是在空间的.HTACCESS中增加一些控制,我对自己使用的所有域名开放使用,同时对空间中用到的所有文件格式做了定义,开通了防盗链提示页面sorry.html;对于防盗链的效果自己心中无底,因为我空间中连这个目录都没有他们尚且如此频繁造访,我增加了防盗链又能如何呢?在Cpanel中还有个模块叫IP DENY,对腾讯拍拍网和搜狗MP3做了IP封锁,百度爬虫犹豫了一下,始终没有下手,鬼知道那个爬虫是在爬网站内容还是在盗链,不要最后封掉了IP,同时连带也封掉了百度搜索,这恐怕就是百度MP3的强大之处了,这点也是,不服不行。

继续观察,尽管非正常流量尚不足以对使用构成威胁,但如果在这方面有些许经验的可以给我留言,博客读者中藏龙卧虎,有没有更加有效的方法处理这种非正常流量,自己对这个事情非常感兴趣。比如:盗链文件压根不存在,迅雷却可以正常下载;播放器仍然在播放,如何阻止这样的非正常请求,效果就是要减低日志中的reqs值。昨天下午网站一度运行缓慢,昨天晚上做了防盗链及IP拒绝后,今天速度又变得飞快,但是看了下日志,reqs值却并无减少迹象,反而继续增长,什么原因呢?

4 条评论:

GG 说...

在日本不是早就遭到抗议了吗~~~呵呵

禾草唐楷 说...

还有这档事情那,真的太卑劣了,不过话说回来,我那些MP3又是从百度当下来的,我占了别人的便宜,开心,现在别人占我便宜,又气愤,就是这么个逻辑~~~

Victoria 说...

其实15G不算很大的流量,是得好好控制的,有的时候。而且音乐之类的东西在这里很敏感的。像我在学校连P2P都不敢用,因为虽然下载一张专辑被抓住最多罚款专辑价格和一点惩罚性罚款。但是用P2P的时候,下载的专辑实际上又传给了别人,所以被起诉的时候那个钱都没边的而且如果建立了下载页面就完了,听说最高的罚了20多万美元。咦,跑题了。。。。嗯,跑回来,好好控制。。。

禾草唐楷 说...

嗯,说的对极了,Victoria,所以我压根没有把博客MP3目录上传,博客里边有个MP3还有铃声的那个内容算是完蛋了。