相关内容

年中钜惠 新用户CDN加速免费试用

注册会员即享网页加速、视频加速、下载加速等CDN产品免费试用！

• BotGuard爬虫管理

  基于云端Bot管理网络，实时检测并阻断恶意Bot流量，联动情报库引擎进行事前检测处置

  来源： 云安全 > 业务安全 > BotGuard爬虫管理

• 应用层DDoS防御

  网宿 DMS 通过威胁情报库、访问控制、日志自学习、人机校验等方式实现对请求包实时检测和分析，在不影响正常访问的前提下，实时高效阻断恶意请求，单机防护性能达 1000 万 QPS，平台总体防护能力达 10 亿 QPS。各攻击类型简介及防护方法如下： ## CC、HTTP Flood 攻击 - 攻击简介 CC 攻击是指攻击者借助代理服务器模拟真实用户，不断向目标网站发送大量请求，如频繁请求某个动态 URL 或某个不存在的 URL，致使源站大量回源，耗尽网站服务器性能，进而致使目标网站拒绝服务。HTTP Flood 是指攻击者借助代理服务器模拟真实用户，不断向目标网站发送大量请求，如频繁请求某个静态 URL，耗尽网站服务器性能，进而致使目标网站拒绝服务。而恶意访问无法解析 JS，则DMS 拦截该请求。 b.META 验证跳转 通过在 meta 标签加入验证参数验证客户端是否合法，正常用户的客户端能够自动解析节点返回的meta 标签，并携带上验证参数重新发起请求，继续正常访问。而恶意访问无法解析，则 DMS 拦截该请求。

  来源： 文档中心 > DDoS云清洗 > 快速入门 > 应用层DDoS防御

• 简介

  ## CDN Pro边缘逻辑（Edge Logic）简介 # CDN Pro 的加速节点代理服务器基于开源软件 [NGINX](http://nginx.org/) 开发完成。NGINX 是目前业内最具通用性、最强适配性的缓存代理技术，自2004年问世以来已被广泛用于构建功能强大的Web服务器和性能优越的反向代理服务器。自2016年起，网宿就对开始对 NGINX 的开源版本进行了许多重大的修改，以便将其打造成完美的 CDN 代理服务器。CDN Pro 的主要设计目标之一是让客户对所使用的服务有完全的掌控权。基于这一目标，我们允许您通过直接使用 NGINX 语言编写边缘逻辑（Edge Logic）代码来对代理服务器进行配置和调试。我们相信这将为您在边缘上实现业务需求提供最大的灵活性。 在这里，我们将为您提供一个关于边缘逻辑的简单介绍，包括一些基础的使用指南，以及一些典型应用场景的实现方法。

  来源： 文档中心 > CDN Pro > 边缘逻辑(Edge Logic) > 简介

• 应用场景

  # 产品应用场景 网宿BotGuard爬虫管理产品应用的场景包括但不限于： - **注册场景** 针对注册场景中，非法者使用恶意注册工具进行机器人注册、垃圾注册、短信滥刷等，Bot Guard能智能识别正常用户与恶意Bot，降低恶意注册给企业带来的业务风险。- **登录场景** 针对登录场景中，非法者使用恶意注册工具进行刷库撞库、暴力破解等账号盗取，Bot Guard能智能识别正常用户与恶意Bot，避免用户账号信息而导致用户个人及企业经济损失。- **营销活动场景** 针对互联网开展的活动场景中，非法者使用自动化程序进行“薅羊毛”、“刷单/刷信誉”、投票作弊等，Bot Guard能智能识别正常用户与恶意Bot，保障活动效果。- **订票场景** 针对订票场景中，非法者使用订票程序恶意刷票、抢票、虚占座位等，Bot Guard能智能识别正常用户与恶意Bot，使用户能正常订票，保障用户和平台的利益。- **其他场景** 此外，非法者还可通过Bot程序进行其他行为，例如抓取竞争对手商品定价/库存/知识产权/财务信息等业务数据、恶意点击广告等，Bot Guard均能智能识别正常用户与恶意Bot。

  来源： 文档中心 > Bot Guard爬虫管理 > 产品简介 > 应用场景

• 适用行业

  “羊毛党”通过恶意Bot工具大量爬取优惠资源，通过转卖二次获利，不仅影响活动效果，也给商家造成了经济损失。- **旅游服务行业** 旅游服务行业包含旅游、交通、餐饮等一系列服务，其中诸多环节已成为黑客觊觎的对象，如在交通方面，航空售票、铁路售票等互联网售票平台频繁遭受恶意Bot刷单、占座、恶意查询等；在景区网上订票系统，一些“黄牛党”通过恶意Bot工具大量购买真票，并把价格炒高数倍获利；这类网站以内容为王，恶意Bot将导致网站的核心文本在几小时甚至几分钟内就被抓取并复制到别的网站，极大影响网站在搜索引擎上的排名，而低排名会导致访问量降低和销量、广告收益降低等。

  来源： 文档中心 > Bot Guard爬虫管理 > 产品简介 > 适用行业

• 攻击溯源

  ## **登录日志采集** 实时采集全量的主机登录日志，避免被黑客恶意删除，为入侵分析提供溯源依据。 ## **指令操作采集** 实时采集全量的指令操作日志，避免被黑客恶意删除，为入侵分析提供溯源依据。

  来源： 文档中心 > 主机入侵检测系统 > 功能特性 > 攻击溯源

• 让你深恶痛绝的个人数据泄露，背后都藏着它的身影

  那么，过去一年，恶意爬虫攻击已经发展到了什么程度，呈现出什么样的态势呢？ ::: hljs-center 平均每秒发生1000余次爬虫攻击请求 ::: ::: hljs-center !这其中，超过两成的恶意爬虫攻击瞄准了电子商务（12.46%）和零售行业（9.64%）。 和2020年上半年一致的是，电子制造和软件信息服务行业继续占据第一的位置，是遭受恶意爬虫攻击最严重的行业（23.79%）。而根据2020年全年的数据显示，2020年针对交通运输行业的恶意爬虫攻击次数是2019年的2.16倍，这说明自生产复工、解除交通管制后，抢票类爬虫软件迅速复苏，并且加倍活跃。 ::: hljs-center  ::: 《报告》还分析了恶意爬虫的攻击来源。::: hljs-center 爬虫无处不在 管理刻不容缓 ::: 以上种种数据表明，恶意爬虫a攻击的爆发式增长已经对社会生活造成了显著影响。 其一，人们的个人信息、商家的商业数据还在被未授权的恶意爬虫过度爬取，非法售卖，致使个人隐私受到侵害、市场秩序也受到影响。

  来源： 报告解读

• 数据解读| 传媒资讯业背后的流量之争

  2019上半年针对传媒资讯业的恶意爬虫攻击在全行业的占比超四成。作为互联网的基础类服务，传媒资讯业是大众获取信息资讯的必要渠道，也成为了互联网流量的“发源地”。截至2019年6月，我国网络新闻用户规模达6.86亿，较2018年底增长1114万，占网民整体的80.3%。[20191202.jpg](https://www.wangsu.com/wos/draft/news/1588145511777/1588145511777_20191202.jpg) ::: 对攻击数据进一步分析后我们发现，传媒资讯行业面临的网络安全威胁主要来自于恶意爬虫（Bot）攻击和通过这些攻击手段，攻击者可获取后台权限，篡改网站页面，实现恶意站点推广。 ::: hljs-center !特别是恶意爬虫和Web应用攻击在不断向自动化、智能化方向发展的当下，传媒资讯业的防护手段也需应时而变。 网宿云安全专家建议：面对流量黑灰产，传媒资讯行业要化“被动”为“主动”。基于在传媒资讯业深耕多年的技术沉淀与服务经验，网宿科技云安全为传媒资讯行业打造了个性化的防护方案：建立从用户到源站的全链路加速安全体系，持续抵御各种内容篡改、代码植入，将以恶意Bot为代表的“假流量”拒之门外，构筑安全护城河，为真正的用户提供安全可靠的数字化体验。

  来源： 报告解读

• 安全报告丨2017下半年Web应用攻击激增6倍

  《报告》显示，与上半年的DDoS攻击峰值不断刷新有所不同的是，2017下半年网宿平台监测到的Web总攻击事件达5112次，较上半年增加了598%，激增了近6倍；告警次数为20983万次，千万级的告警以恶意爬虫为主。[2.jpg](https://www.wangsu.com/wos/draft/news/1588152662393/1588152662393_2.jpg) ::: 基于对安全事件告警进行分类，《报告》指出，2017年下半年占据前三位的分别为恶意爬虫、XSS跨站、非法下载，共占据所有攻击类型的恶意爬虫与上半年一样，仍居首位。整体上看，恶意爬虫、非法下载、SQL注入等告警的数量出现下降，XSS跨站、暴力破解的告警数量有一定幅度的上升。 ::: hljs-center  ::: **恶意爬虫**行为主要表现为自动化程序伪装成浏览器及用户对网站发起访问或业务操作，如注册、登录、提交订单、查询信息等；此类恶意爬虫日常可以自动注册并进行登录网站等操作**XSS跨站**攻击是指攻击者在远程Web页面中插入蓄意编写的恶意脚本，用户认为该页面是可信赖的，但是当浏览器下载该页面，嵌入其中的脚本将被解析执行。这种类型的漏洞由于被黑客用来构造危害性更大的网络钓鱼(Phishing)攻击而变得广为人知。

  来源： 报告解读

• 网宿互联网安全报告之API攻击篇：攻击者可能通过APP位置权限窃取你的隐私！

  事实上，当前攻击者已将API列为首选的入侵目标之一，由此导致的大规模用户数据泄露时有发生——新浪微博因用户查询接口被恶意调用从而导致5.38亿微博用户数据泄露，Facebook因API安全漏洞从而导致2.67亿个用户的隐私数据被非法售卖…… 2019年网宿云安全平台共监测并拦截了30.33亿次针对[image.png](https://www.wangsu.com/wos/draft/news/1606374277785/1606374277785_image.png) ::: 在攻击手法上，恶意爬虫攻击仍然高居统治地位，占到整体API攻击数量的74.82%。[image.png](https://www.wangsu.com/wos/draft/news/1606374302339/1606374302339_image.png) ::: 恶意爬虫能对企业开放的各类不受保护、有信息价值的 API接口进行不断攻击，以达到破坏、牟利、盗取信息等目的。**网宿云安全团队建议，对接口进行鉴权、速率限制、配置白名单等方式能够有效缓解恶意爬虫攻击，降低敏感信息泄露的风险。** 《报告》对受攻击行业分布情况进行分析发现，政府机构首当其冲，承受的API攻击占比达到了60.94%，同比增长约14个百分点；电子商务跃居到了第二位，占比为26.44%。而政府机构更多的是由传统行业转向互联网+，向云上业务转型，许多API由内网转向外网，在设计上较少考虑安全问题，存在大量的未鉴权接口，失去了网络屏障之后，被大量的恶意探测与爬取，造成大量的敏感信息泄露。

  来源： 报告解读

• 互联网流量持续增长，仅仅是因为用户增加吗？

  《报告》显示，2018上半年Web应用攻击数量环比增长了97.82%，恶意爬虫攻击数量环比增长了55.79%，DDoS攻击数量环比增长了37.6%。 ## 爬虫攻击日趋高明，交通出行成重灾区 2018年上半年，网宿平台共监测并拦截了25.86亿次有针对性的爬虫攻击事件，环比增长约55.79%。从地理分布情况看，超过80.5%的恶意爬虫流量主要分布在北京、广东、四川、江苏等互联网发达的区域。 ::: hljs-center !同时，除了通用的攻击手法之外，爬虫攻击还针对不同行业采取特定攻击手法，例如：酒店网站面临自动化撞库攻击、旅游网站面临竞争对手爬取价格恶意竞价、航空公司票务网站面临黄牛囤积特价席位等。 ::: hljs-center  ::: 当前，各行各业正面临不同程度的爬虫攻击，其中，交通运输行业(航空、 铁路、轮渡、快递等) 遭受的爬虫攻击最为严重，占了上半年恶意爬虫攻击事件的

  来源： 报告解读

• 网宿科技发布安全报告：2017下半年Web应用攻击激增6倍

  《报告》显示，与上半年的DDoS攻击峰值不断刷新有所不同的是，2017下半年网宿平台监测到的Web总攻击事件达5112次，较上半年增加了598%，激增了近6倍；告警次数为20983万次，千万级的告警以恶意爬虫为主。 　　基于对安全事件告警进行分类，《报告》指出，2017年下半年占据前三位的分别为恶意爬虫、XSS跨站、非法下载，共占据所有攻击类型的90%。恶意爬虫与上半年一样，仍居首位。整体上看，恶意爬虫、非法下载、SQL注入等告警的数量出现下降，XSS跨站、暴力破解的告警数量有一定幅度的上升。 　　恶意爬虫行为主要表现为自动化程序伪装成浏览器及用户对网站发起访问或业务操作，如注册、登录、提交订单、查询信息等；此类恶意爬虫日常可以自动注册并进行登录网站等操作，模拟正常用户行为，在关键时刻便蜂拥而出。 　　XSS跨站攻击是指攻击者在远程Web页面中插入蓄意编写的恶意脚本，用户认为该页面是可信赖的，但是当浏览器下载该页面，嵌入其中的脚本将被解析执行。这种类型的漏洞由于被黑客用来构造危害性更大的网络钓鱼(Phishing)攻击而变得广为人知。 　　

  来源： 资讯速递

• 网宿科技成功应对七层DDos攻击 攻击请求数超千亿

  [image.png](https://www.wangsu.com/wos/draft/news/1641448428141/1641448428141_image.png) 图片说明：12月的攻击强度数据图 ::: 此次网宿科技得以抵御大规模恶意攻击，主要归功于数量庞大的边缘点节做为第一道防线，大大分散攻击强度，即使是针对动态内容的恶意请求，网宿科技的智能调度系统也可以缓解源站压力，维护系统平稳。据团队大数据分析显示，本轮攻击很可能由大量被恶意软件感染的移动设备或者IoT设备在黑客的远程操控下发起。 随着互联网行业的高速发展，隐匿在网络深处的各类安全问题日益严峻。针对常见的DDoS攻击、CC攻击、Web攻击、恶意爬虫、劫持篡改等几种常见的网络攻击风险类型，CDN根据其自身分布式架构，进行源站保护、防篡改能力、访问和认证安全等。 在CDN的基础安全能力上，网宿科技积极进行CDN与云安全能力的结合，通过额外配置，以更好地抵御外界攻击，保障业务安全平稳。

  来源： 资讯速递

• CDN领域唯一入选 网宿再次斩获专利界“奥斯卡”大奖

  网宿科技凭借《基于内容分发网络的分布式防恶意攻击方法和系统》斩获了中国专利优秀奖，同时成为2017年度国家知识产权示范企业。 当前，世界新一轮科技革命和产业变革蓄势待发，创新引领发展的趋势更加明显。知识产权作为激励创新的基本保障、发展的战略性资源和竞争力的核心要素，作用更加凸显。网宿科技副总裁李东表示，网宿在网络安全领域早已有所布局，此次获奖的专利已经广泛应用于网宿CDN内部各个服务系统中，为客户提供强大的恶意攻击防护服务，避免客户服务遭受应用层DDoS动态泛洪攻击影响。 “经历了多年来持续的研发投入，网宿已经拥有大量自主核心专利并落地实施。

  来源： 资讯速递

• 网宿科技斩获年度民航互联网技术优秀解决方案奖

  根据网宿发布的《2018年中国互联网安全报告》显示，以民航业为代表的交通运输业是遭受恶意爬虫攻击最多的领域，且恶意爬虫攻击呈现出攻击更智能、更懂得模仿人的行为的趋势。 ::: hljs-center !

  来源： 资讯速递

• 网宿科技高查杀率通过赛可达测评 再获权威认可

  draft/news/1611710834304/1611710834304_证书.jpg) 各项测试均达到赛可达实验室测试认证标准，被授予“东方之星”证书 ::: 本次测试结果显示，[网宿智能入侵检测引擎](https://www.wangsu.com/product/162)在检测WebShell恶意文件上表现出色

  来源： 资讯速递

• 为什么你打开5G，掐点下单，还是抢不到冰墩墩？

  三是成熟完备的产业链 从技术、软件开发；恶意注册、养号；到羊毛线报监控、抢购行为实施、商品出货等，产业链上下游之间配合紧密，最终将抢购成果变现。对电商网站而言，恶意Bot无节制的商品检索、注册、库存查询、调用下单接口等动作，给服务器负载造成极大压力，影响活动到达率的同时也侵占了商家有限的活动资源。 根据网宿云安全平台监测数据，每逢电商活动期间，活跃在各个电商平台的恶意Bot攻击行为呈暴涨趋势。网宿在与黑灰产对抗中也发现，在整个商品信息获取和下单流程中，黑灰产利用恶意Bot在各个环节尝试绕过检测和防护，且具备较强的“反侦察”意识。随着黑灰产的专业性在利益驱动下迅速提升，爬虫团伙逐步向着产业化运作，更强的对抗能力和伪装性成为恶意Bot的主要特点，一般公司缺乏足够的人员和经验去对抗不断进化的爬虫。 因此，针对恶意Bot要能做到“知己知彼，方能百战不殆”。行为特征 通过大数据实时在线分析与离线分析二者结合，识别恶意Bot的访问行为，如鼠标、键盘敲击、高频抓取、低频但规律的抓取、单一的访问行为、不符合逻辑的访问轨迹、异常的业务流等等。

  来源： 产品动态

• 爬虫泛滥，企业数据谁来守护？

  [640.webp](https://www.wangsu.com/wos/draft/news/1589341669270/1589341669270_640.webp) ::: 爬虫也有好坏之分，但受利益驱动，恶意爬虫越来越多，在爬取的过程中完全不控制爬取速率，用大量的代理IP地址来爬取数据，**智能爬虫要用智能手段来应对** 如何将恶意爬虫拒之门外？关键在于精准识别真实用户流量和爬虫流量，并采取相应的管理措施。将数据分析与机器学习有效地结合起来应用于爬虫管理领域，才能更精准的识别恶意爬虫。网宿业务安全（Bot Guard）基于情报库、访问控制、客户端特性挑战CFC、陷阱挑战TPC、人机交互挑战HIC、机器学习等智能识别与检测技术，对业务流量进行实时检测和分析，智能识别与区分真实用户流量、善意爬虫流量与恶意爬虫流量，针对不同爬虫流量采取相应的管理策略，保障企业业务稳定运行。此外，通过对恶意爬虫的深度学习，网宿业务安全还可以利用恶意爬虫的一些特性来布设陷阱，诱导爬虫进入，达到“主动出击”的目的，从而更好的防住恶意爬虫，还企业一个健康的运营环境。

  来源： 产品动态

• 爬虫“助攻”网站内容抄袭 平台知识产权谁来保护？

  此外，恶意爬虫的访问行为，也占用大量的带宽和服务器性能，影响正常用户访问，直接给被爬网站带来大量额外的成本支出。如何将恶意爬虫拒之门外，成为各类网站运营者面临的共同问题。 **对抗有害爬虫，都有什么操作？** 对抗恶意爬虫，常见的技术手段包括验证码、IP限速，User-Agent限制、Url访问限速等，但随着爬虫手段的越来越高明，上述方法的有效性也越来越低。**网宿AI爬虫防护服务** 防护恶意爬虫攻击，关键在于精准识别真实用户流量和爬虫流量，并采取相应的管理措施。基于对恶意爬虫行为的深度学习，网宿业务安全精准识别出正常用户与恶意爬虫之间的微小差异，同时利用恶意爬虫的一些特性来布设陷阱，诱导爬虫进入，达到主动防护目的，为企业网站营造健康的运营环境。

  来源： 产品动态

• 比垃圾分类更烧脑的网络爬虫分类，你要怎么搞？

  **爬虫种类细分** 从行为上看，恶意爬虫有恶意注册爬虫、非法登录爬虫、活动作弊爬虫等影响网站正常业务开展。善意爬虫有如搜索引擎爬虫、网站流量监测和排名爬虫、网站在线监控服务爬虫、图片搜索引擎爬虫等，均有利于企业网站优化和推广的，需要区分对待。反爬机制的核心，在于如何区分正常用户、善意爬虫和恶意爬虫。 网宿云安全的技术专家们，以他们多年来为各大平台保驾护航的攻防经验，为企业提供一些反爬虫的新思路。 ::: hljs-center !针对恶意Bot，利用大数据分析技术，基于内置的评分机制对历史威胁事件进行分析，形成不断更新的威胁情报库，以及时发现黑产信息并进行事前防御。 **访问控制** 通过访问限速、状态码限速、反复违规惩罚、黑白名单管理等常见手段，识别出爬虫的访问行为并及时阻断。**机器自学习** 爬虫并非一成不变，黑灰产业已经在使用大数据和人工智能技术来绕过传统的反爬机制，因此识别手段也需要升级，Bot Guard基于对恶意爬虫行为的深度学习，能够精准识别出正常用户与恶意爬虫之间的微小差异，做到先于黑产一步。交通运输业、生活服务、电商、资讯、金融等行业都是恶意爬虫攻击的重灾区，这里分享一起航司的案例： 曾有某航司官网每天遭受各类爬虫流量，包括搜索引擎、机票代理和第三方旅游平台等的爬虫，因一直无法清晰管理各类Bot，导致恶意Bot占用太多服务器资源，影响网站正常运营。

  来源： 产品动态

• 暑期航司爬虫攻击量暴涨超4倍，长假将至要做好应对

  Bot Guard三重智能防护，让恶意爬虫无所遁形伴随国内疫情防控形势稳定向好、旅游市场持续回暖，国内各航司的航班运行也逐渐恢复，并推出了“随心飞”、满额即减等多种促销手段提振消费。在航旅市场恢复活跃的同时，也迎来了另一波“黑暗大军”的复苏——爬虫（Bot）。 ::: hljs-center  ::: 根据网宿云安全平台数据，今年7、8月份，针对航司的恶意爬虫攻击次数环比前两个月暴涨446%。十一长假将至，以航司为代表的航旅行业正迎来又一业务高峰期，当下如何做好防护、防止恶意爬虫捣乱呢？然而，随着恶意爬虫朝智能化方向快速迭代，上述传统手段已经捉襟见肘。 ::: hljs-center !网宿爬虫管理（Bot Guard）基于多维度访问控制、请求合法性验证、交互验证等防护策略，同时将全网攻击样本导入大数据分析平台，利用深度学习等技术生成多种智能防护模型，从而精准区分恶意爬虫、善意爬虫和正常用户流量，实现Web端+APP端全场景防护，帮助航旅企业规避恶意爬虫攻击造成的业务风险。

  来源： 产品动态