相关内容

年中钜惠 新用户CDN加速免费试用

注册会员即享网页加速、视频加速、下载加速等CDN产品免费试用！

• BotGuard爬虫管理

  基于云端Bot管理网络，实时检测并阻断恶意Bot流量，联动情报库引擎进行事前检测处置

  来源： 云安全 > 业务安全 > BotGuard爬虫管理

• 用户行为分析

  用户行为分析模块实时监控新增&活跃用户趋势、用户留存率、页面转化率&退出率、操作分析，将传统性能分析与业务价值相关联，通过优化用户体验助力客户业务转化。[image.png](https://www.wangsu.com/wos/draft/help_doc/zh_cn/172/18172/1632300152171_image.png) **用户留存矩阵** ::: ## 转化分析 ## 转化分析模块分析用户所有访问页面的行为，包括TOP访问页面

  来源： 文档中心 > 应用性能管理 > APM-APP > 产品简介 > 产品功能 > 用户行为分析

• 应用场景

  # 产品应用场景 网宿BotGuard爬虫管理产品应用的场景包括但不限于： - **注册场景** 针对注册场景中，非法者使用恶意注册工具进行机器人注册、垃圾注册、短信滥刷等，Bot Guard能智能识别正常用户与恶意Bot，降低恶意注册给企业带来的业务风险。- **登录场景** 针对登录场景中，非法者使用恶意注册工具进行刷库撞库、暴力破解等账号盗取，Bot Guard能智能识别正常用户与恶意Bot，避免用户账号信息而导致用户个人及企业经济损失。- **营销活动场景** 针对互联网开展的活动场景中，非法者使用自动化程序进行“薅羊毛”、“刷单/刷信誉”、投票作弊等，Bot Guard能智能识别正常用户与恶意Bot，保障活动效果。- **订票场景** 针对订票场景中，非法者使用订票程序恶意刷票、抢票、虚占座位等，Bot Guard能智能识别正常用户与恶意Bot，使用户能正常订票，保障用户和平台的利益。- **其他场景** 此外，非法者还可通过Bot程序进行其他行为，例如抓取竞争对手商品定价/库存/知识产权/财务信息等业务数据、恶意点击广告等，Bot Guard均能智能识别正常用户与恶意Bot。

  来源： 文档中心 > Bot Guard爬虫管理 > 产品简介 > 应用场景

• 页面完整性检测

  网宿WEB应用性能管理产品提供WEB页面完整性检测功能，核心功能点概况如下： **①行为检测**：基于真实用户会话实时检测页面脚本行为，提供脚本来源、脚本执行行为以及脚本访问目标等维度监测。 **②异常预警**：根据受影响的用户数量、访问的数据及导出目标等诸多因素来为每个脚本进行风险评分。**④策略管理**：支持通过创建脚本行为策略来管理脚本行为并控制脚本的执行，如限制对每个原始域的Cookie、网络目标、本地存储或敏感数据输入的访问等。 **⑤漏洞检测**：支持常见漏洞和风险 (CVE)检测分析，以识别与恶意脚本行为关联的危险脚本源。

  来源： 文档中心 > 应用性能管理 > APM-WEB > 产品简介 > 产品功能 > 页面完整性检测

• 基础访问限制

  **1、IP黑白名单配置：** 客户端向web服务器发起请求，CDN边缘节点验证客户端的IP，根据客户的配置规则，控制只允许或者不允许某些ip访问对应的加速域名的指定文件，解决恶意盗刷、攻击等行为。针对不允许访问的IP/IP段，可以设置直接“禁止”或者“跳转”到指定URL。www.wangsu.com/wos/draft/help_doc/zh_cn/70/17107/1611300923872_image.png) **2、Referer防盗链配置** 客户端向web服务器发起请求，CDN边缘节点支持根据HTTP协议的Referer跟踪来源，对来源进行标识和判断，提升加速的安全性，解决恶意盗刷、攻击等行为。

  来源： 文档中心 > 云点播 > 功能说明书 > 视频播放 > 基础访问限制

• 适用场景

  页面被植入待病毒内容，影响访问者安全；<br/>- 网页暗链：网站被植入博彩、色情、游戏等广告内容；<br/> - ……| |恶意程序事件|恶意程序主要类型及危害：<br/>- 病毒、蠕虫：造成系统缓慢，数据损坏、运行异常；<br/>- 远控木马：主机被黑客远程控制；<br/>- 僵尸网络程序（肉鸡行为）：主机对外发动DDOS攻击、对外发起扫描攻击行为；<br/>- 挖矿程序：造成系统资源大量消耗；<br/>- ……| |信息破坏事件|- 系统配置遭篡改：系统中出现异常的服务、进程、启动项、账号等；<br/>- 数据库内容篡改：业务数据遭到恶意篡改，引起业务异常和损失；<br/>- 网站内容篡改事件：网站页面内容被黑客恶意篡改；<br/>- 信息数据泄露事件：服务器数据、会员账号遭到窃取并泄露；<br/>- ……| |其他安全事件|- 账号被异常登录：系统账号在异地登录，可能出现账号密码泄露；<br/>- 异常网络连接：服务器发起对外的异常访问，连接到木马主控端、矿池、病毒服务器等行为；<br/

  来源： 文档中心 > 安全专家服务 > 安全应急响应服务 > 适用场景

• 安全报告丨2017下半年Web应用攻击激增6倍

  《报告》显示，与上半年的DDoS攻击峰值不断刷新有所不同的是，2017下半年网宿平台监测到的Web总攻击事件达5112次，较上半年增加了598%，激增了近6倍；告警次数为20983万次，千万级的告警以恶意爬虫为主。恶意爬虫与上半年一样，仍居首位。整体上看，恶意爬虫、非法下载、SQL注入等告警的数量出现下降，XSS跨站、暴力破解的告警数量有一定幅度的上升。 ::: hljs-center  ::: **恶意爬虫**行为主要表现为自动化程序伪装成浏览器及用户对网站发起访问或业务操作，如注册、登录、提交订单、查询信息等；此类恶意爬虫日常可以自动注册并进行登录网站等操作，模拟正常用户行为，在关键时刻便蜂拥而出。[7.jpg](https://www.wangsu.com/wos/draft/news/1588152733016/1588152733016_7.jpg) ::: 整体来看，随着大流量攻击成为常态，网宿云安全平台通过大数据分析和机器学习，对用户行为建模，正在构筑覆盖网络安全、Web应用安全

  来源： 报告解读

• 让你深恶痛绝的个人数据泄露，背后都藏着它的身影

  爬虫程序能够模拟人的行为在互联网上进行自动化探测，对特定数据信息进行抓取，效率极高。那么，过去一年，恶意爬虫攻击已经发展到了什么程度，呈现出什么样的态势呢？ ::: hljs-center 平均每秒发生1000余次爬虫攻击请求 ::: ::: hljs-center !这其中，超过两成的恶意爬虫攻击瞄准了电子商务（12.46%）和零售行业（9.64%）。 和2020年上半年一致的是，电子制造和软件信息服务行业继续占据第一的位置，是遭受恶意爬虫攻击最严重的行业（23.79%）。::: hljs-center 爬虫无处不在 管理刻不容缓 ::: 以上种种数据表明，恶意爬虫a攻击的爆发式增长已经对社会生活造成了显著影响。 其一，人们的个人信息、商家的商业数据还在被未授权的恶意爬虫过度爬取，非法售卖，致使个人隐私受到侵害、市场秩序也受到影响。这种行为不仅抢占了普通消费者公平竞争的机会，而且对于商家而言，促销活动带来的新客和订单大部分来自羊毛党，无疑意味着巨额营销投入打了水漂。消费者和商家都深受影响，却最终让这些黑产中间商从中获利。

  来源： 报告解读

• 数据解读 | 搞不定羊毛党 年底电商大促就成“黑产”狂欢了

  ::: hljs-center ## 电商行业日均“被撞”超31万次 ::: 通过对攻击目标和攻击行为的关联分析，我们发现，针对电商行业的Bot攻击中，10.41%被用于撞库行为，电商行业平均每天“被撞”31万次。 ::: hljs-center !网宿业务安全（Bot Guard）通过大数据分析和机器学习技术，精准定义各类Bot，深度学习正常用户访问模型，对不同的流量采用不同的应对措施，尽可能地实现在不影响正常业务开展的前提下，最大限度降低恶意Bot带来的影响。

  来源： 报告解读

• 数据解读| 传媒资讯业背后的流量之争

  2019上半年针对传媒资讯业的恶意爬虫攻击在全行业的占比超四成。作为互联网的基础类服务，传媒资讯业是大众获取信息资讯的必要渠道，也成为了互联网流量的“发源地”。截至2019年6月，我国网络新闻用户规模达6.86亿，较2018年底增长1114万，占网民整体的80.3%。[20191202.jpg](https://www.wangsu.com/wos/draft/news/1588145511777/1588145511777_20191202.jpg) ::: 对攻击数据进一步分析后我们发现，传媒资讯行业面临的网络安全威胁主要来自于恶意爬虫（Bot）攻击和通过这些攻击手段，攻击者可获取后台权限，篡改网站页面，实现恶意站点推广。 ::: hljs-center !特别是恶意爬虫和Web应用攻击在不断向自动化、智能化方向发展的当下，传媒资讯业的防护手段也需应时而变。 网宿云安全专家建议：面对流量黑灰产，传媒资讯行业要化“被动”为“主动”。基于在传媒资讯业深耕多年的技术沉淀与服务经验，网宿科技云安全为传媒资讯行业打造了个性化的防护方案：建立从用户到源站的全链路加速安全体系，持续抵御各种内容篡改、代码植入，将以恶意Bot为代表的“假流量”拒之门外，构筑安全护城河，为真正的用户提供安全可靠的数字化体验。

  来源： 报告解读

• 网宿互联网安全报告之API攻击篇：攻击者可能通过APP位置权限窃取你的隐私！

  事实上，当前攻击者已将API列为首选的入侵目标之一，由此导致的大规模用户数据泄露时有发生——新浪微博因用户查询接口被恶意调用从而导致5.38亿微博用户数据泄露，Facebook因API安全漏洞从而导致2.67亿个用户的隐私数据被非法售卖…… 2019年网宿云安全平台共监测并拦截了30.33亿次针对[image.png](https://www.wangsu.com/wos/draft/news/1606374277785/1606374277785_image.png) ::: 在攻击手法上，恶意爬虫攻击仍然高居统治地位，占到整体API攻击数量的74.82%。[image.png](https://www.wangsu.com/wos/draft/news/1606374302339/1606374302339_image.png) ::: 恶意爬虫能对企业开放的各类不受保护、有信息价值的 API接口进行不断攻击，以达到破坏、牟利、盗取信息等目的。**网宿云安全团队建议，对接口进行鉴权、速率限制、配置白名单等方式能够有效缓解恶意爬虫攻击，降低敏感信息泄露的风险。** 《报告》对受攻击行业分布情况进行分析发现，政府机构首当其冲，承受的API攻击占比达到了60.94%，同比增长约14个百分点；电子商务跃居到了第二位，占比为26.44%。而政府机构更多的是由传统行业转向互联网+，向云上业务转型，许多API由内网转向外网，在设计上较少考虑安全问题，存在大量的未鉴权接口，失去了网络屏障之后，被大量的恶意探测与爬取，造成大量的敏感信息泄露。

  来源： 报告解读

• 网宿科技发布安全报告：2017下半年Web应用攻击激增6倍

  《报告》显示，与上半年的DDoS攻击峰值不断刷新有所不同的是，2017下半年网宿平台监测到的Web总攻击事件达5112次，较上半年增加了598%，激增了近6倍；告警次数为20983万次，千万级的告警以恶意爬虫为主。 　　基于对安全事件告警进行分类，《报告》指出，2017年下半年占据前三位的分别为恶意爬虫、XSS跨站、非法下载，共占据所有攻击类型的90%。恶意爬虫与上半年一样，仍居首位。整体上看，恶意爬虫、非法下载、SQL注入等告警的数量出现下降，XSS跨站、暴力破解的告警数量有一定幅度的上升。 　　恶意爬虫行为主要表现为自动化程序伪装成浏览器及用户对网站发起访问或业务操作，如注册、登录、提交订单、查询信息等；此类恶意爬虫日常可以自动注册并进行登录网站等操作，模拟正常用户行为，在关键时刻便蜂拥而出。 　　XSS跨站攻击是指攻击者在远程Web页面中插入蓄意编写的恶意脚本，用户认为该页面是可信赖的，但是当浏览器下载该页面，嵌入其中的脚本将被解析执行。这种类型的漏洞由于被黑客用来构造危害性更大的网络钓鱼(Phishing)攻击而变得广为人知。 　　整体来看，随着大流量攻击成为常态，网宿云安全平台通过大数据分析和机器学习，对用户行为建模，正在构筑覆盖网络安全、Web应用安全、业务安全等八大安全领域的智慧云端安全体系。

  来源： 资讯速递

• 网宿科技斩获年度民航互联网技术优秀解决方案奖

  根据网宿发布的《2018年中国互联网安全报告》显示，以民航业为代表的交通运输业是遭受恶意爬虫攻击最多的领域，且恶意爬虫攻击呈现出攻击更智能、更懂得模仿人的行为的趋势。 ::: hljs-center !

  来源： 资讯速递

• 护航中远海运集运 网宿荣获“安全守卫者计划优秀案例”

  BotGuard依托分布式架构形成云端Bot管理网络，基于已知Bot情报、精准访问控制、客户端特性识别、指纹分析、大数据用户行为分析引擎、自动化框架实时检测防护等技术，能够精准识别真实用户请求与恶意流量，智能予以差异化管理策略，从而实现业务稳定运行。

  来源： 资讯速递

• 网宿科技成功应对七层DDos攻击 攻击请求数超千亿

  [image.png](https://www.wangsu.com/wos/draft/news/1641448428141/1641448428141_image.png) 图片说明：12月的攻击强度数据图 ::: 此次网宿科技得以抵御大规模恶意攻击，主要归功于数量庞大的边缘点节做为第一道防线，大大分散攻击强度，即使是针对动态内容的恶意请求，网宿科技的智能调度系统也可以缓解源站压力，维护系统平稳。据团队大数据分析显示，本轮攻击很可能由大量被恶意软件感染的移动设备或者IoT设备在黑客的远程操控下发起。 随着互联网行业的高速发展，隐匿在网络深处的各类安全问题日益严峻。针对常见的DDoS攻击、CC攻击、Web攻击、恶意爬虫、劫持篡改等几种常见的网络攻击风险类型，CDN根据其自身分布式架构，进行源站保护、防篡改能力、访问和认证安全等。 在CDN的基础安全能力上，网宿科技积极进行CDN与云安全能力的结合，通过额外配置，以更好地抵御外界攻击，保障业务安全平稳。

  来源： 资讯速递

• 网宿科技 X 清华大学 | 构建高校零信任安全接入体系

  此前清华大学全面开展了“挖矿”行为排查，发现，其校园网内部分系统服务器存在“挖矿”行为，主要原因是为了满足师生疫情期间异地访问校园内网的需求，学校将部分应用开放于公网之上，由此导致业务端口被暴露，从而被木马入侵 “挖矿”。 由此也证明VPN的安全性不足以抵御“挖矿”木马威胁。网宿安达SecureLink基于零信任架构，从身份可信、终端可信、行为可信的3个核心能力，以及从传输加密、边缘防护、应用隐身打造的1套平台安全能力，为高校提供全方位防护，真正做到让每一位师生远程访问高校内网系统都更安全、更高效。**持续验证，透视高校全局安全态势** 网宿安达SecureLink会持续对访问校内业务系统的终端状态、访问行为、网络流量进行实时监测，一旦发现终端不符合安全要求，就降低访问权限，运行中也会对每一次访问行为进行信任评估，并对放行的流量进行网络流量分析（NTA），对暴力破解、端口扫描、XSS、SQL注入等异常流量后进行识别

  来源： 资讯速递

• 辛苦拉票两星期，不如爬虫一小时？不会再有了

  为了限制刷票行为，投票平台通常都会采取一些措施，从简单到复杂，但大部分都可以被程序绕过： **限制客户端** 这种方式最简单的做法就是投过票之后，选项变灰，无法继续投票。这种限制是通过修改客户端属性实现的，黑灰产破解的方法也是修改或删除客户端属性，或者直接往服务端发包，从而绕过限制。此外，我们通过学习平台上海量的恶意爬虫特征，根据不同行业所遭受的攻击特点，通过内置WML算法得出动态变化的识别模型，能够大大提升恶意爬虫识别的效率，并有效发现新型爬虫攻击。与此同时，深度学习正常用户的访问行为，建立正常用户访问模型，以正常模型+异常模型双向识别的方式，进一步提升爬虫识别效率。 ::: hljs-center !对智能爬虫防护模型来说，数据和样本就是它源源不断的养分，因此，随着使用时间的推移，我们的很多客户发现，恶意爬虫得到了越来越有效的控制，直至与业务保持完美的契合度。

  来源： 产品动态

• 为什么你打开5G，掐点下单，还是抢不到冰墩墩？

  三是成熟完备的产业链 从技术、软件开发；恶意注册、养号；到羊毛线报监控、抢购行为实施、商品出货等，产业链上下游之间配合紧密，最终将抢购成果变现。随着黑灰产的专业性在利益驱动下迅速提升，爬虫团伙逐步向着产业化运作，更强的对抗能力和伪装性成为恶意Bot的主要特点，一般公司缺乏足够的人员和经验去对抗不断进化的爬虫。 因此，针对恶意Bot要能做到“知己知彼，方能百战不殆”。网宿安全基于十余年防爬实战经验，为电商、票务、航旅网站定制BotGuard爬虫管理方案，通过Bot情报库、精准访问控制、客户端特性识别、人机交互验证、机器学习等智能识别与检测技术，识别和拦截商品交易场景下的注册、登录、商品查询、价格查询、下单支付等关键流程中的恶意Bot行为。[Bot管理](https://www.wangsu.com/product/47)的本质，在于区分“人”和“机器”，网宿通过“生物特征”和“行为特征”的两大差异，从海量流量中抓出恶意爬虫，帮助企业抵御羊毛党、黄牛党威胁： 生物特征 识别黑灰产所用的设备、资源特征，如可疑的IP、UA，Cookie行为特征 通过大数据实时在线分析与离线分析二者结合，识别恶意Bot的访问行为，如鼠标、键盘敲击、高频抓取、低频但规律的抓取、单一的访问行为、不符合逻辑的访问轨迹、异常的业务流等等。

  来源： 产品动态

• 比垃圾分类更烧脑的网络爬虫分类，你要怎么搞？

  **爬虫种类细分** 从行为上看，恶意爬虫有恶意注册爬虫、非法登录爬虫、活动作弊爬虫等影响网站正常业务开展。善意爬虫有如搜索引擎爬虫、网站流量监测和排名爬虫、网站在线监控服务爬虫、图片搜索引擎爬虫等，均有利于企业网站优化和推广的，需要区分对待。针对恶意Bot，利用大数据分析技术，基于内置的评分机制对历史威胁事件进行分析，形成不断更新的威胁情报库，以及时发现黑产信息并进行事前防御。 **访问控制** 通过访问限速、状态码限速、反复违规惩罚、黑白名单管理等常见手段，识别出爬虫的访问行为并及时阻断。**机器自学习** 爬虫并非一成不变，黑灰产业已经在使用大数据和人工智能技术来绕过传统的反爬机制，因此识别手段也需要升级，Bot Guard基于对恶意爬虫行为的深度学习，能够精准识别出正常用户与恶意爬虫之间的微小差异，做到先于黑产一步。交通运输业、生活服务、电商、资讯、金融等行业都是恶意爬虫攻击的重灾区，这里分享一起航司的案例： 曾有某航司官网每天遭受各类爬虫流量，包括搜索引擎、机票代理和第三方旅游平台等的爬虫，因一直无法清晰管理各类Bot，导致恶意Bot占用太多服务器资源，影响网站正常运营。在不影响搜索引擎Bot工作，不影响第三方购票平台抓取信息，不影响机票经销商伙伴调用查询接口等情况下，网宿业务安全（Bot Guard）为该航司精确识别所有流量的实际来源，并且通过详细的日志和访问行为，加上业务场景深度学习等技术，为该航司制定了爬虫识别与管理策略，恶意爬虫得到了有效的控制，释放了服务器资源

  来源： 产品动态

• 爬虫“助攻”网站内容抄袭 平台知识产权谁来保护？

  此外，恶意爬虫的访问行为，也占用大量的带宽和服务器性能，影响正常用户访问，直接给被爬网站带来大量额外的成本支出。如何将恶意爬虫拒之门外，成为各类网站运营者面临的共同问题。 **对抗有害爬虫，都有什么操作？** 对抗恶意爬虫，常见的技术手段包括验证码、IP限速，User-Agent限制、Url访问限速等，但随着爬虫手段的越来越高明，上述方法的有效性也越来越低。随着AI技术的发展，更是有一些公司打出“AI爬虫”的招牌，让爬虫的行为更接近真实用户。 在这种情况下，如何分辨正常用户和爬虫变得更加困难也更加重要，以其人之道还治其人之身，利用AI手段来反制爬虫，是当下反爬技术的新思路。**网宿AI爬虫防护服务** 防护恶意爬虫攻击，关键在于精准识别真实用户流量和爬虫流量，并采取相应的管理措施。基于对恶意爬虫行为的深度学习，网宿业务安全精准识别出正常用户与恶意爬虫之间的微小差异，同时利用恶意爬虫的一些特性来布设陷阱，诱导爬虫进入，达到主动防护目的，为企业网站营造健康的运营环境。

  来源： 产品动态

• 羊毛党盯上了政府消费劵 惠民助商大计如何保障？

  薅消费券羊毛的行为，不仅破坏正常的市场秩序，违背了提振消费的政策初衷，甚至还会影响政府信誉，给地方政府、企业造成经济损失。一方面，通过虚假交易来套现，导致真正的消费潜力没有释放，通过消费拉动经济回暖的效用难以发挥；另一方面，疫情冲击导致经济下滑的情况下，羊毛党通过消费券攫取暴利，无异于落井下石。目前，薅消费券羊毛的行为已经引起了广泛关注，有监管部门表示将追究消费劵套现者的相关法律责任。 ::: hljs-center **羊毛党技术升级 防不胜防** ::: 各地政府消费券通过自有APP、小程序等线上渠道进行发放，在为市民提供方便的同时，也给了羊毛党可乘之机。::: hljs-center **恶意爬虫不止盯上政府消费券** ::: 不止是消费券，近年来政府门户官网、政务服务平台等对外窗口也成为恶意爬虫攻击的重灾区。 **2019年网宿云安全平台共监测并拦截了20.58亿次针对政府机构的恶意爬虫攻击，平均每秒就发生65起。** 恶意爬虫攻击轻则导致平台服务器性能下降、业务访问卡顿，重则直接影响政务服务平台的正常运营。这一形势下，拦截恶意爬虫流量、保障政府机构各类网站的稳定性及可用性，是当下亟需解决的问题。网宿科技基于多年攻防对抗实战经验推出的BotGuard爬虫管理，提供了基于动态策略的纵深防护能力，可有效拦截针对政府机构的薅羊毛、内容爬取等恶意爬虫行为，保护政务服务平台的稳定运行。 ::: hljs-center !

  来源： 产品动态