相关内容

年中钜惠 新用户CDN加速免费试用

注册会员即享网页加速、视频加速、下载加速等CDN产品免费试用！

• BotGuard爬虫管理

  基于云端Bot管理网络，实时检测并阻断恶意Bot流量，联动情报库引擎进行事前检测处置

  来源： 云安全 > 业务安全 > BotGuard爬虫管理

• 爬虫防护

  # 机器人管理 在为客户端请求交付内容之前，您通常希望确保发起请求的客户端是人，而不是机器人或者爬虫程序。通常，爬虫程序或者机器人发出的请求都会带有一些请求特征。您可以在CDN Pro上针对这些特征定义一些用户交互策略，以识别请求是否由机器人发出。

  来源： 文档中心 > CDN Pro > 实践案例 > 边缘安全加速 > 爬虫防护

• 集成BotGuard爬虫管理

  @[toc](集成BotGuard爬虫管理) # 在CDN Pro上集成BOT应用 在[《爬虫防护》](https://www.wangsu.com/document/cdnpro/botmanagement)这篇文章中，我们已经为您介绍了如何在CDN Pro的边缘逻辑（Edge Logic）中自定义一些防爬虫策略当您不想自己对爬虫特征进行分析并自行编写防爬代码的时候，您也可以选择成我们的BotGuard爬虫管理服务，以保护您的资产不会被非法爬虫程序获取。同样的，您也可以在CDN Pro上集成其他第三方BOT应用保护您的资产。- 对于**不可缓存的动态资源**，我们认为：①这些动态内容是您非常关键的资产，需要重点保护；②即使CDN Pro上可以做短时缓存，但是绝大部分动态资源都是需要回源获取的，爬虫获取动态资源会对您的源站服务器造成不必要的负担；③爬虫程序请求动态资源，会具备各种各样的特征，自行进行特征分析并编写代码可能并不能防护所有的非法爬虫程序（除非您配置放行了这些爬虫）。同时，每个动态回源请求均会经过BOT应用进行更高级的BOT检测及防护，确保恶意爬虫请求不会访问到源站。 ## 集成其他第三方BOT 除了在CDN Pro上集成网宿BOT之外，您也可以采用同样的方式集成第三方BOT应用。

  来源： 文档中心 > CDN Pro > 实践案例 > 边缘安全加速 > 集成BotGuard爬虫管理

• 什么是Bot Guard爬虫管理

  # 什么是Bot Guard爬虫管理         网宿BotGuard爬虫管理产品，依托于网宿分布式的云安全防护体系形成Bot管理网络，基于已知Bot情报、精准访问控制、客户端特性识别、人机交互验证、机器学习等智能识别与检测技术        网宿BotGuard爬虫管理产品架构如下图所示： !

  来源： 文档中心 > Bot Guard爬虫管理 > 产品简介 > 什么是Bot Guard爬虫管理

• CentOS 6 无法yum安装怎么办

  由于CentOS社区不再为CentOS 6版本提供安全更新，网宿云将不再提供CentOS6操作系统相关的技术支持并适时停止提供CentOS6的公有镜像。 建议您升级操作系统至CentOS 7及以上，如果您的业务过渡期仍需要使用CentOS 6系统中的一些安装包，请根据以下操作步骤切换CentOS 6的源。 ### 操作步骤 1.运行以下命令编辑CentOS-Base.repo 文件。 ``` vi /etc/yum.repos.d/CentOS6-Base-Wangsu.repo ``` 2.按i进入编辑模式，将代码替换成以下内容切换源。 ``` # CentOS-Base.repo # # The mirror system uses the connecting IP address of the client and the # update status of each mirror to pick mirrors that are updated to and # geographically close to the client. You should use this for CentOS updates # unless you are manually picking other mirrors. # # If the mirrorlist= does not work for you, as a fall back you can try the # remarked out baseurl= line instead. # # [wangsu-base] name=CentOS-6 - Base - wangsucloud.com baseurl=http://mirrors.cloud.wangsucloud.com/centos-vault/6/os/$basearch/ #mirrorlist=http://mirrors.cloud.wangsucloud.com/?release=6&arch=$basearch&repo=os gpgcheck=1 gpgkey=http://mirrors.cloud.wangsucloud.com/centos-vault/RPM-GPG-KEY-CentOS-6 #released updates [wangsu-updates] name=CentOS-6 - Updates - wangsucloud.com baseurl=http://mirrors.cloud.wangsucloud.com/centos-vault/6/updates/$basearch/ #mirrorlist=http://mirrors.cloud.wangsucloud.com/?release=6&arch=$basearch&repo=updates gpgcheck=1 gpgkey=http://mirrors.cloud.wangsucloud.com/centos-vault/RPM-GPG-KEY-CentOS-6 #additional packages that may be useful [wangsu-extras] name=CentOS-6 - Extras - wangsucloud.com baseurl=http://mirrors.cloud.wangsucloud.com/centos-vault/6/extras/$basearch/ #mirrorlist=http://mirrors.cloud.wangsucloud.com/?release=6&arch=$basearch&repo=extras gpgcheck=1 gpgkey=http://mirrors.cloud.wangsucloud.com/centos-vault/RPM-GPG-KEY-CentOS-6 #additional packages that extend functionality of existing packages [wangsu-centosplus] name=CentOS-6 - Plus - wangsucloud.com baseurl=http://mirrors.cloud.wangsucloud.com/centos-vault/6/centosplus/$basearch/ #mirrorlist=http://mirrors.cloud.wangsucloud.com/?release=6&arch=$basearch&repo=centosplus gpgcheck=1 enabled=0 gpgkey=http://mirrors.cloud.wangsucloud.com/centos-vault/RPM-GPG-KEY-CentOS-6 #contrib - packages by Centos Users [wangsu-contrib] name=CentOS-6 - Contrib - wangsucloud.com baseurl=http://mirrors.cloud.wangsucloud.com/centos-vault/6/contrib/$basearch/ #mirrorlist=http://mirrors.cloud.wangsucloud.com/?release=6&arch=$basearch&repo=contrib gpgcheck=1 enabled=0 gpgkey=http://mirrors.cloud.wangsucloud.com/centos-vault/RPM-GPG-KEY-CentOS-6 priority=1 ``` 编辑完成后，按Esc键，并输入:wq保存退出文件。 3.执行以下命令，清理原缓存 ``` yum clean all ``` yum源切换完成后，即可使用yum install命令在实例上安装您所需要的软件包。

  来源： 文档中心 > 云服务器 > 常见问题 > Linux操作运维类 > 20. CentOS 6 无法yum安装怎么办

• 应用场景

  # 产品应用场景 网宿BotGuard爬虫管理产品应用的场景包括但不限于： - **注册场景** 针对注册场景中，非法者使用恶意注册工具进行机器人注册、垃圾注册、短信滥刷等，Bot Guard能智能识别正常用户与恶意Bot，降低恶意注册给企业带来的业务风险。- **登录场景** 针对登录场景中，非法者使用恶意注册工具进行刷库撞库、暴力破解等账号盗取，Bot Guard能智能识别正常用户与恶意Bot，避免用户账号信息而导致用户个人及企业经济损失。- **营销活动场景** 针对互联网开展的活动场景中，非法者使用自动化程序进行“薅羊毛”、“刷单/刷信誉”、投票作弊等，Bot Guard能智能识别正常用户与恶意Bot，保障活动效果。- **订票场景** 针对订票场景中，非法者使用订票程序恶意刷票、抢票、虚占座位等，Bot Guard能智能识别正常用户与恶意Bot，使用户能正常订票，保障用户和平台的利益。- **其他场景** 此外，非法者还可通过Bot程序进行其他行为，例如抓取竞争对手商品定价/库存/知识产权/财务信息等业务数据、恶意点击广告等，Bot Guard均能智能识别正常用户与恶意Bot。

  来源： 文档中心 > Bot Guard爬虫管理 > 产品简介 > 应用场景

• 让你深恶痛绝的个人数据泄露，背后都藏着它的身影

  那么，过去一年，恶意爬虫攻击已经发展到了什么程度，呈现出什么样的态势呢？ ::: hljs-center 平均每秒发生1000余次爬虫攻击请求 ::: ::: hljs-center !这其中，超过两成的恶意爬虫攻击瞄准了电子商务（12.46%）和零售行业（9.64%）。 和2020年上半年一致的是，电子制造和软件信息服务行业继续占据第一的位置，是遭受恶意爬虫攻击最严重的行业（23.79%）。而根据2020年全年的数据显示，2020年针对交通运输行业的恶意爬虫攻击次数是2019年的2.16倍，这说明自生产复工、解除交通管制后，抢票类爬虫软件迅速复苏，并且加倍活跃。 ::: hljs-center !::: hljs-center 爬虫无处不在 管理刻不容缓 ::: 以上种种数据表明，恶意爬虫a攻击的爆发式增长已经对社会生活造成了显著影响。 其一，人们的个人信息、商家的商业数据还在被未授权的恶意爬虫过度爬取，非法售卖，致使个人隐私受到侵害、市场秩序也受到影响。其三，恶意爬虫作为一种高频操作的自动化工具，能够为网站带来大量的并发请求量，尤其当爬虫攻击与网站促销等业务高峰期并行时，常常引起服务器负荷过大，导致网站响应速度缓慢，甚至宕机，严重影响网站平台的业务运行。 好在，专业的网络安全服务商可以帮助企业解决爬虫攻击问题。

  来源： 报告解读

• 数据解读| 传媒资讯业背后的流量之争

  2019上半年针对传媒资讯业的恶意爬虫攻击在全行业的占比超四成。作为互联网的基础类服务，传媒资讯业是大众获取信息资讯的必要渠道，也成为了互联网流量的“发源地”。截至2019年6月，我国网络新闻用户规模达6.86亿，较2018年底增长1114万，占网民整体的80.3%。[20191202.jpg](https://www.wangsu.com/wos/draft/news/1588145511777/1588145511777_20191202.jpg) ::: 对攻击数据进一步分析后我们发现，传媒资讯行业面临的网络安全威胁主要来自于恶意爬虫（Bot）攻击和爬虫练手：由数据可以看出，63.73%的爬虫以新闻资讯、活动信息和评论内容为目标，原因在于传统媒体门户网站内容较丰富，但这类网站的爬虫管理水平往往参差不齐，因此很多爬虫教程直接以传媒资讯网站为目标，导致网站内容遭受大量“新晋爬虫”抓取。通过这些攻击手段，攻击者可获取后台权限，篡改网站页面，实现恶意站点推广。 ::: hljs-center !特别是恶意爬虫和Web应用攻击在不断向自动化、智能化方向发展的当下，传媒资讯业的防护手段也需应时而变。 网宿云安全专家建议：面对流量黑灰产，传媒资讯行业要化“被动”为“主动”。

  来源： 报告解读

• 互联网流量持续增长，仅仅是因为用户增加吗？

  《报告》显示，2018上半年Web应用攻击数量环比增长了97.82%，恶意爬虫攻击数量环比增长了55.79%，DDoS攻击数量环比增长了37.6%。 ## 爬虫攻击日趋高明，交通出行成重灾区 2018年上半年，网宿平台共监测并拦截了25.86亿次有针对性的爬虫攻击事件，环比增长约55.79%。从地理分布情况看，超过80.5%的恶意爬虫流量主要分布在北京、广东、四川、江苏等互联网发达的区域。 ::: hljs-center !《报告》显示，超过91.9%的爬虫攻击更偏向于模拟人的正常访问方式获取网站数据，躲避各类访问频率控制、验证码等反爬措施，达到攻击目的。同时，除了通用的攻击手法之外，爬虫攻击还针对不同行业采取特定攻击手法，例如：酒店网站面临自动化撞库攻击、旅游网站面临竞争对手爬取价格恶意竞价、航空公司票务网站面临黄牛囤积特价席位等。 ::: hljs-center  ::: 当前，各行各业正面临不同程度的爬虫攻击，其中，交通运输行业(航空、 铁路、轮渡、快递等) 遭受的爬虫攻击最为严重，占了上半年恶意爬虫攻击事件的

  来源： 报告解读

• 安全报告丨2017下半年Web应用攻击激增6倍

  《报告》显示，与上半年的DDoS攻击峰值不断刷新有所不同的是，2017下半年网宿平台监测到的Web总攻击事件达5112次，较上半年增加了598%，激增了近6倍；告警次数为20983万次，千万级的告警以恶意爬虫为主。[2.jpg](https://www.wangsu.com/wos/draft/news/1588152662393/1588152662393_2.jpg) ::: 基于对安全事件告警进行分类，《报告》指出，2017年下半年占据前三位的分别为恶意爬虫、XSS跨站、非法下载，共占据所有攻击类型的恶意爬虫与上半年一样，仍居首位。整体上看，恶意爬虫、非法下载、SQL注入等告警的数量出现下降，XSS跨站、暴力破解的告警数量有一定幅度的上升。 ::: hljs-center  ::: **恶意爬虫**行为主要表现为自动化程序伪装成浏览器及用户对网站发起访问或业务操作，如注册、登录、提交订单、查询信息等；此类恶意爬虫日常可以自动注册并进行登录网站等操作**XSS跨站**攻击是指攻击者在远程Web页面中插入蓄意编写的恶意脚本，用户认为该页面是可信赖的，但是当浏览器下载该页面，嵌入其中的脚本将被解析执行。这种类型的漏洞由于被黑客用来构造危害性更大的网络钓鱼(Phishing)攻击而变得广为人知。

  来源： 报告解读

• 数据泄露波及数亿用户，警惕API给黑客大开方便之门

  此前已经发布爬虫篇，现奉上API攻击篇，以帮助行业客户了解API攻击趋势与应对策略。 过去4个月内，职场社交巨头LinkedIn领英连续被曝出大规模数据泄露事件，三次分别被发现有5亿、7亿、6亿份用户个人资料在地下论坛被售卖，涉及至少92%的领英用户。黑客正是利用了这类接口，通过爬虫程序高频向接口发起请求，从而批量获取到用户上传的个人信息。 API作为连接服务和数据的通道，在带来便利的同时，也为攻击者直取企业关键数据和应用提供了“捷径”。因此，当前攻击者已将API列为首选的入侵目标之一。 ::: hljs-center  ::: 针对API业务的攻击方式中，恶意爬虫（76.39%）占压倒性的多数，蝉联首要攻击方式。恶意爬虫能对企业开放的各类不受保护、有信息价值的API接口进行不断攻击，以达到破坏、牟利、盗取信息等目的。 攻击领英的黑客，使用的就是这种方式。尽管涉事数据均是用户在自己主页上公开的资料，领英也拒绝承认此事属于数据泄露，但公开数据不代表不需要安全防护。尤其是以政府机构为代表的传统行业，在向数字化、互联网+进行转型的过程中，许多API向外网提供服务后，在设计上较少考虑安全问题，存在大量未鉴权的、未修补漏洞的接口，被大肆地恶意探测与爬取，或被传统的Web攻击方式入侵。如针对API的SQL注入、XSS等问题甚至比传统网站更为严重。

  来源： 报告解读

• 网宿科技发布安全报告：2017下半年Web应用攻击激增6倍

  《报告》显示，与上半年的DDoS攻击峰值不断刷新有所不同的是，2017下半年网宿平台监测到的Web总攻击事件达5112次，较上半年增加了598%，激增了近6倍；告警次数为20983万次，千万级的告警以恶意爬虫为主。 　　基于对安全事件告警进行分类，《报告》指出，2017年下半年占据前三位的分别为恶意爬虫、XSS跨站、非法下载，共占据所有攻击类型的90%。恶意爬虫与上半年一样，仍居首位。整体上看，恶意爬虫、非法下载、SQL注入等告警的数量出现下降，XSS跨站、暴力破解的告警数量有一定幅度的上升。 　　恶意爬虫行为主要表现为自动化程序伪装成浏览器及用户对网站发起访问或业务操作，如注册、登录、提交订单、查询信息等；此类恶意爬虫日常可以自动注册并进行登录网站等操作，模拟正常用户行为，在关键时刻便蜂拥而出。 　　XSS跨站攻击是指攻击者在远程Web页面中插入蓄意编写的恶意脚本，用户认为该页面是可信赖的，但是当浏览器下载该页面，嵌入其中的脚本将被解析执行。这种类型的漏洞由于被黑客用来构造危害性更大的网络钓鱼(Phishing)攻击而变得广为人知。 　　

  来源： 资讯速递

• 护航中远海运集运 网宿荣获“安全守卫者计划优秀案例”

  随着疫情导致集装箱“一箱难求”，大量黑灰产使用爬虫工具针对航运业务进行爬取，企图谋利。一方面爬虫工具产生的回源请求激增，对企业业务运营造成极大压力，一旦网站崩溃影响巨大；另一方面爬虫非法下单抢占运力资源，不仅影响企业业务正常开展，更影响行业的航运公平性。网宿安全通过提供[BotGuard爬虫管理产品](https://www.wangsu.com/product/47)，以及7*24小时安全专家服务，帮助中远海运集运在云端实施BOT管理与防护，保障了其业务高效稳定。BotGuard依托分布式架构形成云端Bot管理网络，基于已知Bot情报、精准访问控制、客户端特性识别、指纹分析、大数据用户行为分析引擎、自动化框架实时检测防护等技术，能够精准识别真实用户请求与恶意流量，智能予以差异化管理策略，从而实现业务稳定运行。此外，BotGuard有效拦截了非法爬虫请求，也保障了集装箱货运订单的公平、正常进行。 BotGuard在中远海运集运业务场景的实践，是网宿安全为诸多行业客户护航的一个缩影。

  来源： 资讯速递

• 网宿科技斩获年度民航互联网技术优秀解决方案奖

  根据网宿发布的《2018年中国互联网安全报告》显示，以民航业为代表的交通运输业是遭受恶意爬虫攻击最多的领域，且恶意爬虫攻击呈现出攻击更智能、更懂得模仿人的行为的趋势。 ::: hljs-center !

  来源： 资讯速递

• 网宿科技成功应对七层DDos攻击 攻击请求数超千亿

  [image.png](https://www.wangsu.com/wos/draft/news/1641448428141/1641448428141_image.png) 图片说明：12月的攻击强度数据图 ::: 此次网宿科技得以抵御大规模恶意攻击，主要归功于数量庞大的边缘点节做为第一道防线，大大分散攻击强度，即使是针对动态内容的恶意请求，网宿科技的智能调度系统也可以缓解源站压力，维护系统平稳。据团队大数据分析显示，本轮攻击很可能由大量被恶意软件感染的移动设备或者IoT设备在黑客的远程操控下发起。 随着互联网行业的高速发展，隐匿在网络深处的各类安全问题日益严峻。针对常见的DDoS攻击、CC攻击、Web攻击、恶意爬虫、劫持篡改等几种常见的网络攻击风险类型，CDN根据其自身分布式架构，进行源站保护、防篡改能力、访问和认证安全等。 在CDN的基础安全能力上，网宿科技积极进行CDN与云安全能力的结合，通过额外配置，以更好地抵御外界攻击，保障业务安全平稳。

  来源： 资讯速递

• 双榜有名！网宿获评“CCIA网安50强”、“数字安全专精特新百强”

  根据网宿《2021年中国互联网安全报告》，网宿安全平台监测到的数据显示，2021年，Web应用攻击、恶意爬虫攻击、API攻击等均呈现出倍增态势，攻击目标趋于分散化，手段也更加多样，整体安全形势愈加严峻。 如何升级安全防护能力已是行业的必答题，也将成为安全厂商竞争突围的关键。

  来源： 资讯速递

• 爬虫泛滥，企业数据谁来守护？

  获取数据资源的方式有很多种，爬虫便是其最便捷的工具之一。当前，爬虫流量已经遍布各类网站,而越是重要数据集中的的地方，越是爬虫密布。而利用爬虫技术造成的个人数据泄露事件更是不时见诸报端。[640.webp](https://www.wangsu.com/wos/draft/news/1589341669270/1589341669270_640.webp) ::: 爬虫也有好坏之分，但受利益驱动，恶意爬虫越来越多，在爬取的过程中完全不控制爬取速率，用大量的代理IP地址来爬取数据，爬虫为企业带来了很大的压力，甚至导致业务无法正常运转。 **智能爬虫要用智能手段来应对** 如何将恶意爬虫拒之门外？关键在于精准识别真实用户流量和爬虫流量，并采取相应的管理措施。将数据分析与机器学习有效地结合起来应用于爬虫管理领域，才能更精准的识别恶意爬虫。网宿业务安全（Bot Guard）基于情报库、访问控制、客户端特性挑战CFC、陷阱挑战TPC、人机交互挑战HIC、机器学习等智能识别与检测技术，对业务流量进行实时检测和分析，智能识别与区分真实用户流量、善意爬虫流量与恶意爬虫流量，针对不同爬虫流量采取相应的管理策略，保障企业业务稳定运行。此外，通过对恶意爬虫的深度学习，网宿业务安全还可以利用恶意爬虫的一些特性来布设陷阱，诱导爬虫进入，达到“主动出击”的目的，从而更好的防住恶意爬虫，还企业一个健康的运营环境。

  来源： 产品动态

• 爬虫“助攻”网站内容抄袭 平台知识产权谁来保护？

  此外，恶意爬虫的访问行为，也占用大量的带宽和服务器性能，影响正常用户访问，直接给被爬网站带来大量额外的成本支出。如何将恶意爬虫拒之门外，成为各类网站运营者面临的共同问题。 **对抗有害爬虫，都有什么操作？** 对抗恶意爬虫，常见的技术手段包括验证码、IP限速，User-Agent限制、Url访问限速等，但随着爬虫手段的越来越高明，上述方法的有效性也越来越低。随着AI技术的发展，更是有一些公司打出“AI爬虫”的招牌，让爬虫的行为更接近真实用户。 在这种情况下，如何分辨正常用户和爬虫变得更加困难也更加重要，以其人之道还治其人之身，利用AI手段来反制爬虫，是当下反爬技术的新思路。**网宿AI爬虫防护服务** 防护恶意爬虫攻击，关键在于精准识别真实用户流量和爬虫流量，并采取相应的管理措施。基于对恶意爬虫行为的深度学习，网宿业务安全精准识别出正常用户与恶意爬虫之间的微小差异，同时利用恶意爬虫的一些特性来布设陷阱，诱导爬虫进入，达到主动防护目的，为企业网站营造健康的运营环境。

  来源： 产品动态

• 辛苦拉票两星期，不如爬虫一小时？不会再有了

  这种方式虽然在爬虫前进的道路上增加了一道门槛，但黑灰产同样可以使用爬虫，利用海量邮箱、手机号批量注册账号，再批量登录投票。 就这样，爬虫与反爬虫的战争，从简单粗暴，到运用人工智能等新兴技术，攻守双方都在不断变化、升级。**爬虫是个万金油** 刷票，只是爬虫的一项功能，爬虫的用武之地还有很多，例如： 批量爬取资讯、信息类网站上的内容、图片； 抢购电商促销商品、优惠券，薅羊毛； 批量扫描服务器漏洞，寻找可以入侵的系统； 利用网络上泄露的用户名和密码实施撞库，进一步盗取数据和资产； 发动CC攻击； 一个有趣的现象直到将受害系统的价值利用殆尽，植入后门，以实现长期控制的目的，将系统变为肉鸡，用于挖矿、发动DDoS攻击…… 安全问题是一环扣一环的，而爬虫在整个环节中占据重要的位置，可以说解决了爬虫的问题，许多其他的安全问题也将迎刃而解。例如，我们通过智能多维模型为每个客户端建立唯一的用户标识，以防止爬虫采用各种IP和UA伪装的方式绕过检查。 此外，我们通过学习平台上海量的恶意爬虫特征，根据不同行业所遭受的攻击特点，通过内置WML算法得出动态变化的识别模型，能够大大提升恶意爬虫识别的效率，并有效发现新型爬虫攻击。对智能爬虫防护模型来说，数据和样本就是它源源不断的养分，因此，随着使用时间的推移，我们的很多客户发现，恶意爬虫得到了越来越有效的控制，直至与业务保持完美的契合度。

  来源： 产品动态

• 比垃圾分类更烧脑的网络爬虫分类，你要怎么搞？

  [641.webp](https://www.wangsu.com/wos/draft/news/1589254650376/1589254650376_641.webp) ::: 从性质上来看，爬虫分为善意爬虫（Good Bots）和恶意爬虫（Bad Bots）两大类。**爬虫种类细分** 从行为上看，恶意爬虫有恶意注册爬虫、非法登录爬虫、活动作弊爬虫等影响网站正常业务开展。善意爬虫有如搜索引擎爬虫、网站流量监测和排名爬虫、网站在线监控服务爬虫、图片搜索引擎爬虫等，均有利于企业网站优化和推广的，需要区分对待。反爬机制的核心，在于如何区分正常用户、善意爬虫和恶意爬虫。 网宿云安全的技术专家们，以他们多年来为各大平台保驾护航的攻防经验，为企业提供一些反爬虫的新思路。 ::: hljs-center !**机器自学习** 爬虫并非一成不变，黑灰产业已经在使用大数据和人工智能技术来绕过传统的反爬机制，因此识别手段也需要升级，Bot Guard基于对恶意爬虫行为的深度学习，能够精准识别出正常用户与恶意爬虫之间的微小差异，做到先于黑产一步。交通运输业、生活服务、电商、资讯、金融等行业都是恶意爬虫攻击的重灾区，这里分享一起航司的案例： 曾有某航司官网每天遭受各类爬虫流量，包括搜索引擎、机票代理和第三方旅游平台等的爬虫，因一直无法清晰管理各类Bot，导致恶意Bot占用太多服务器资源，影响网站正常运营。

  来源： 产品动态

• 暑期航司爬虫攻击量暴涨超4倍，长假将至要做好应对

  Bot Guard三重智能防护，让恶意爬虫无所遁形伴随国内疫情防控形势稳定向好、旅游市场持续回暖，国内各航司的航班运行也逐渐恢复，并推出了“随心飞”、满额即减等多种促销手段提振消费。在航旅市场恢复活跃的同时，也迎来了另一波“黑暗大军”的复苏——爬虫（Bot）。 ::: hljs-center  ::: 根据网宿云安全平台数据，今年7、8月份，针对航司的恶意爬虫攻击次数环比前两个月暴涨446%。十一长假将至，以航司为代表的航旅行业正迎来又一业务高峰期，当下如何做好防护、防止恶意爬虫捣乱呢？在风控与爬虫的“斗法”中，IP封禁、访问频率控制和验证码是经典的对抗手段。然而，随着恶意爬虫朝智能化方向快速迭代，上述传统手段已经捉襟见肘。 ::: hljs-center !网宿爬虫管理（Bot Guard）基于多维度访问控制、请求合法性验证、交互验证等防护策略，同时将全网攻击样本导入大数据分析平台，利用深度学习等技术生成多种智能防护模型，从而精准区分恶意爬虫、善意爬虫和正常用户流量，实现Web端+APP端全场景防护，帮助航旅企业规避恶意爬虫攻击造成的业务风险。

  来源： 产品动态