发文纪念一个非常有意思的事，虽说无果，但是过程值得记录进档案里。一直在防御爬虫，但是有个非常特别的爬虫，我一直在留意着，甚至放行了。统计数据里：这个爬虫第一次访问是【2016-10-05 20:25:18】，第一次爬光我单日配额是【2016-10-30 19:34:23】，最后一次访问是【2017-11-02 16:16:40】。由于客户端ip非常分散，推测这是个客户端爬虫，另外根据其突然停止访问，查询ip大部分属于民用宽带性质，可以推测这是个iPhone手机上运行的app。仅有的数据分析难度较大，不知道他到底是个什么样的应用，也不知道是不是借调我的数据用来做了什么样的用途。回头补充一下他的其他特点。供感兴趣爬虫攻防的同学学习研究。
这个爬虫早期给我带来的最大问题是加剧了配额消耗情况，其次是涉及隐私问题导致我不得不对齐进行结果随机偏移处理，同样也不得已，增加了ip查询的图形验证码。但是好处是这个爬虫给我的数据库带来了不少高质量查询记录，因此想了想还是要在此感谢下这个爬虫给我累计的数据库做出的贡献。这个始终没有被我亲自找到的爬虫程序，居然没留给我排查机会（我也确实不用iphone，这一点使得我知道今天才反应过来爬虫的运行环境）
目前知道他的特点如下：
1，访问了我网站最早上线高精度ip的接口地址，实在是没想到更好的应对方法，因此这个接口被我加了很大的偏移量。当然，随着数据源关闭，此接口同样不可再返回有效结果。
2，固定cookie，这是我把这个爬虫精确识别出来的唯一参数
3，推测为客户端应用，因为其客户端IP非常分散
4，可能是iPhone手机上的应用，可惜我不懂iPhone相关开发，其browser信息为“Mozilla/5.0 (iPhone; CPU iPhone OS 9_3_2 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Mobile/13F69”
5，停止非常整齐，停止前10分钟还有8个访问。突然停止这一点似乎印证了这个爬虫是苹果app，单一的应用商店更新才能做到如此彻底的app功能截止
6，部分其客户端ip（last 100）：
110.166.211.170
223.221.78.55
180.118.93.199
106.57.7.252
121.57.26.142
121.57.26.186
49.88.106.204
27.28.145.110
115.203.0.137
182.202.150.3
49.89.109.44
36.62.241.209
1.86.90.167
115.223.90.19
113.135.238.253
111.177.201.208
60.22.226.9
117.34.249.214
42.230.26.200
110.187.40.111
60.22.227.91
125.32.132.19
1.81.14.161
111.127.45.51
180.127.6.94
118.124.52.244
36.62.243.68
118.79.208.234
123.245.203.228
175.150.120.13
111.127.72.77
42.57.17.163
111.177.195.57
121.31.165.7
106.57.7.8
42.230.38.241
180.127.10.187
49.86.109.157
222.189.94.231
121.31.167.144
221.203.129.185
180.105.200.200
114.103.71.129
118.124.52.237
49.88.106.202
153.99.49.224
112.245.193.72
60.18.17.32
49.89.111.115
114.239.89.65
123.245.207.113
118.79.89.196
182.37.63.110
118.121.35.27
42.57.17.10
59.47.195.46
182.143.32.10
42.7.29.221
114.226.92.33
171.44.107.139
153.99.56.172
36.62.240.31
36.47.247.174
115.223.108.125
124.94.206.219
36.100.244.51
171.125.145.32
114.107.5.34
119.55.212.59
223.221.206.18
59.47.204.61
1.191.68.237
123.188.195.187
180.118.94.7
36.6.140.110
117.33.221.144
115.46.93.103
115.202.54.172
182.143.33.177
175.167.236.101
113.137.89.219
117.68.242.246
223.244.151.245
223.240.72.29
171.115.236.99
125.119.219.90
60.185.34.79
175.21.118.21
42.230.52.98
223.221.205.35
101.205.46.151
106.111.45.101
42.230.38.14
123.244.99.132
58.50.101.147
171.125.47.39
118.213.14.50
182.244.169.185
111.127.72.85
119.55.222.230
打脸了，明明停止了访问，11月5号又复活了，这个爬虫又开始了
原文地址：
https://www.opengps.cn/Blog/View.aspx?id=44
文章的更新编辑依此链接为准。欢迎关注源站原创文章！