恶意爬虫？能让恶意爬虫遁于无形的小Tips

宙哈哈

前言
验证码是阻挡机器人攻击的有效实践，网络爬虫，又被称为网络机器人，是按照一定的规则，自动地抓取网络信息和数据的程序或者脚本。如何防控，这里简单提供几个小Tips。



使用nginx的自带功能
通过对httpuseragent阻塞来实现，包括GET/POST方式的请求，以nginx为例。

拒绝以wget方式的httpuseragent，增加如下内容：

1. Block http user agent - wget
   
2. 
   
3. if ($http_user_agent ~* (Wget) ) {
   
4. 
   
5.     return 403;
   
6. 
   
7. }

复制代码

如何拒绝多种httpuseragent，内容如下：

1. if ($http_user_agent ~ (agent1|agent2|Foo|Wget|Catall Spider|AcoiRobot) ) {
   
2. 
   
3.     return 403;
   
4. 
   
5. }

复制代码

限制User-Agent字段
User-Agent字段能识别用户所使用的操作系统、版本、CPU、浏览器等信息，如果请求来自非浏览器，就能识别其为爬虫，阻止爬虫抓取网站信息。

限制IP或账号
根据业务需求，要求用户通过验证码后才能使用某些功能或权限。当同一IP、同一设备在一定时间内访问网站的次数，系统自动限制其访问浏览。只有在输入正确的验证码之后才能继续访问。

验证码拦截
在登录页等页面，添加验证码，以识别是正常流量还是恶意爬虫，也是一种基本的操作。



HTML代码：

HTML复制代码

<script src="captcha.js?appid=xxx"></script>
 
<script>
 
kg.captcha({
 
    // 绑定元素，验证框显示区域
 
    bind: "#captchaBox3",
 
    // 验证成功事务处理
 
    success: function(e) {
 
        console.log(e);
 
        document.getElementById('kgCaptchaToken').value = e['token']
 
    },
 
    // 验证失败事务处理
 
    failure: function(e) {
 
        console.log(e);
 
    },
 
    // 点击刷新按钮时触发
 
    refresh: function(e) {
 
        console.log(e);
 
    }
 
});
 
</script>
 
 
 
<div id="captchaBox3">载入中 ...</div>
 
<input type="hidden" name="kgCaptchaToken" value="" />

复制代码

Python代码：

1. from wsgiref.simple_server import make_server
   
2. 
   
3. from KgCaptchaSDK import KgCaptcha
   
4. 
   
5. def start(environ, response):
   
6. 
   
7.     # 填写你的 AppId，在应用管理中获取
   
8. 
   
9.     AppID = &quot;xxx&quot;
   
10. 
    
11.     # 填写你的 AppSecret，在应用管理中获取
    
12. 
    
13.     AppSecret = &quot;xxx&quot;
    
14. 
    
15.     request = KgCaptcha(AppID, AppSecret)
    
16. 
    
17.     # 填写应用服务域名，在应用管理中获取
    
18. 
    
19.     request.appCdn = &quot;https://cdn.kgcaptcha.com&quot;
    
20. 
    
21.     # 请求超时时间，秒
    
22. 
    
23.     request.connectTimeout = 10
    
24. 
    
25.     # 用户id/登录名/手机号等信息，当安全策略中的防控等级为3时必须填写
    
26. 
    
27.     request.userId = &quot;kgCaptchaDemo&quot;
    
28. 
    
29.     # 使用其它 WEB 框架时请删除 request.parse，使用框架提供的方法获取以下相关参数
    
30. 
    
31.     parseEnviron = request.parse(environ)
    
32. 
    
33.     # 前端验证成功后颁发的 token，有效期为两分钟
    
34. 
    
35.     request.token = parseEnviron[&quot;post&quot;].get(&quot;kgCaptchaToken&quot;, &quot;&quot;)  # 前端 _POST[&quot;kgCaptchaToken&quot;]
    
36. 
    
37.     # 客户端IP地址
    
38. 
    
39.     request.clientIp = parseEnviron[&quot;ip&quot;]
    
40. 
    
41.     # 客户端浏览器信息
    
42. 
    
43.     request.clientBrowser = parseEnviron[&quot;browser&quot;]
    
44. 
    
45.     # 来路域名
    
46. 
    
47.     request.domain = parseEnviron[&quot;domain&quot;]
    
48. 
    
49.     # 发送请求
    
50. 
    
51.     requestResult = request.sendRequest()
    
52. 
    
53.     if requestResult.code == 0:
    
54. 
    
55.         # 验证通过逻辑处理
    
56. 
    
57.         html = &quot;验证通过&quot;
    
58. 
    
59.     else:
    
60. 
    
61.         # 验证失败逻辑处理
    
62. 
    
63.         html = f&quot;{requestResult.msg} - {requestResult.code}&quot;
    
64. 
    
65.     response(&quot;200 OK&quot;, [(&quot;Content-type&quot;, &quot;text/html; charset=utf-8&quot;)])
    
66. 
    
67.     return [bytes(str(html), encoding=&quot;utf-8&quot;)]
    
68. 
    
69. httpd = make_server(&quot;0.0.0.0&quot;, 8088, start)  # 设置调试端口  http://localhost:8088/
    
70. 
    
71. httpd.serve_forever()

复制代码

最后
SDK开源地址：https://github.com/KgCaptcha，顺便做了一个演示：https://www.kgcaptcha.com/demo/