Apache使用.htaccess 屏蔽恶意 User Agent(防蜘蛛)方法介绍

03零三邓何芯桃

　　这篇文章主要介绍了Apache使用.htaccess屏蔽恶意UserAgent(防蜘蛛),需要的朋友可以参考下

　　一、登记在册的恶意UserAgent

　　1、”Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;EmbeddedWB14.52from:http://www.bsalsa.com/EmbeddedWB14.52;.NETCLR2.0.50727)”

　　下面是网站日志中的两条记录，这个UserAgent会重复访问注册页面，并获取验证码，这是垃圾留言和恶意注册的开始。

　　复制代码代码如下:

　　116.242.22.10199.27.128.204––[30/Oct/2011:04:02:15+0800]“GET/checkcode.phpHTTP/1.1”302286“http://www.***.com/register.php”“Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;EmbeddedWB14.52from:http://www.bsalsa.com/EmbeddedWB14.52;.NETCLR2.0.50727)”

　　116.242.22.10199.27.128.204––[30/Oct/2011:04:02:19+0800]“POST/register.phpHTTP/1.1”302286“http://www.***.com/register.php”“Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;EmbeddedWB14.52from:http://www.bsalsa.com/EmbeddedWB14.52;.NETCLR2.0.50727)”

　　2、”Mozilla/5.0QunarBot/1.0″

　　这是一个无视robots.txt的蜘蛛，怀疑与“去哪儿”有关。

　　3、”Mozilla/4.0(compatible;MSIE5.00;Windows98)”

　　复制代码代码如下:

　　61.147.91.201173.245.48.60––[30/Oct/2011:06:00:28+0800]“GET/mp3/%A5%D6%A5%EB%A9%60%A5%D0%A9%60%A5%C9.mp3HTTP/1.1”302286“-”“Mozilla/4.0(compatible;MSIE5.00;Windows98)”

　　看到没？Windows98！总是抓取网站目录下的mp3文件，都是原来上传过mp3文件到网站的错。

　　4、”Mozilla/4.0″

　　复制代码代码如下:

　　58.255.120.95199.27.128.216––[30/Oct/2011:06:01:26+0800]“GET/ikmedata/cache/fuck.phpHTTP/1.1”4041479“-”“Mozilla/4.0”

　　58.255.120.95199.27.128.216––[30/Oct/2011:06:01:27+0800]“GET/data/cache/fuck.phpHTTP/1.1”4041479“-”“Mozilla/4.0”

　　58.255.120.95199.27.128.216––[30/Oct/2011:06:01:27+0800]“GET/data/cache/fuck.phpHTTP/1.1”4041479“-”“Mozilla/4.0”

　　又一个坑爹的，无尽无穷的扫描，非常恶心。

　　二、屏蔽恶意UserAgent

　　使用.htaccess

　　复制代码代码如下:

　　RewriteCond%{HTTP_USER_AGENT}“.*EmbeddedWB.*”[OR]

　　RewriteCond%{HTTP_USER_AGENT}“.*QunarBot.*”[OR]

　　RewriteCond%{HTTP_USER_AGENT}“.*Windows98.*”[OR]

　　RewriteCond%{HTTP_USER_AGENT}“^Mozilla/4.0$”

　　RewriteRule^(.*)$http://cao.ni.ma/

　　使用.htaccess需要了解一些正则表达式语法，以正确匹配字符串。

　　如果你觉得有用，屏蔽恶意UserAgent�0�2前，不妨先分析一下自己的网站日志，根据自己的需要定制。可以使用Firefox+UserAgentSwitcher测试效果，Chrome也有类似的切换User�0�2Agent的扩展程序。

　　VPS云主机

屏蔽UserAgent的方法很多，这里使用rewrite规则把这些UserAgent转移走，以达到屏蔽的效果。