比蚂蚁还勤奋，比蟑螂还讨厌，这种“虫”该怎么防？
年底来了，又到了黑产复苏的季节
随着年关季节的来临，万物开始骚动……
一声声秋雷炸响，一种生物
又从各自的巢穴里爬出来，开始了它们一天的辛勤工作
在互联网这片肥沃的土地上，它们，已经存活了多年
它们分工明确， 井然有序
在它们的背后，有一个无形的大脑
在给他们下达进军的指令……
本期《黑产世界》，带你们走进爬虫的秘密王国
让我们一起探究这一神秘物种……
当前，爬虫（Bot）流量已经遍布于互联网上的各行各业，有一个说法是，互联网上50%的流量，都是爬虫创造的，这个说法虽然夸张了些，但根据网宿2018上半年互联网安全报告数据显示，爬虫流量正在以惊人的速度迎头赶上人类在互联网上的真实访问流量，未来即将超越。
一大波爬虫正在向你袭来
2018年网宿平台共监测并拦截了25.86亿次爬虫攻击事件
平均每秒钟拦截165次
爬虫生活在哪里？
根据上半年网宿观测到的数据，爬虫这个物种
在中国主要分布在
北京、广东、四川、江苏、浙江等地
这跟它们的宿主：服务器资源有关
这些区域集中了国内大多数的服务器资源
这是爬虫最好的能量来源
爬虫也分好坏？
爬虫有分两个亚种，好爬虫和坏爬虫
好的爬虫能够让企业被搜索引擎收录，提升网站排名
而坏爬虫，则被用于很多黑暗的目的……
坏爬虫图鉴
爬虫，也在不断进化
优胜劣汰，这是自然的选择
爬虫这一物种，在互联网的演进下
分化出了高级爬虫和低级爬虫
随着爬虫天敌的出现，低级爬虫越来越少
而高级爬虫已经变得更加智能
它们知道该在什么时间段出没，以什么样的方式进食
才能不被天敌发现
爬虫的食物来自于哪里？
不同种类的爬虫，“食物”来源不尽相同
恶意注册、非法登录爬虫的食谱更加广泛，什么都吃
活动作弊爬虫，大多以优惠券、现金券维生
恶意刷票爬虫的食物，主要以火车票、飞机票为主
大体来看，交通运输行业，是爬虫最喜欢的“菜”
爬虫的天敌——Bot Guard
爬虫虽然给各行各业带来巨大的危害
但一物降一物，它们也有天敌
网宿Bot Guard 就是一个另大多数爬虫闻风丧胆的“掠食者”
Bot Guard是一个很好的“管家”，它主张“管理，而非单纯限制”的宗旨，Bot Guard的养分来自于网宿云安全平台丰富的访问数据及攻防样本，经过网宿云安全大脑的赋能，它练就了一双火眼金睛，能够精准识别正常用户、好爬虫、坏爬虫。
对待好爬虫，它能够精准识别，并进行分门别类的管理，能够对网站的搜索排名起到积极的作用。
而对于那些意图伪装成正常用户蒙混过关的坏爬虫，它的火眼金睛能够立马识别，并根据预设的策略和自定义的措施对这些爬虫进行相应的处理。
网站发现大量爬虫？没关系，你需要来一个Bot Guard！
.jpg "DDoS防护10G免费试用")
