产品功能

更新时间:2021-09-16 11:18:00

网宿BotGuard爬虫管理通过结合已知Bot情报、精准访问控制、客户端特性识别、人机交互验证、机器学习等技术手段,对业务请求进行检测与分析,智能识别出真实用户、善意Bot以及恶意Bot流量。

已知Bot情报

  网宿云安全平台日均清洗TB级别数量,通过各类情报挖掘技术,从已有流量数据中不断挖掘、更新已知Bot情报,并对Bot情报进行标签化分类,事前定义Bot类型,最大限度提高Bot识别效率。主要涵盖以下情报类型:
  • 威胁情报库
    通过威胁情报来消除攻防博弈过程中的不对等,通过大数据分析技术,基于内置的评分机制对历史事件进行威胁分析,发现黑产信息进行事前防御;事件触发性,持续更新威胁情报库。

  • 善意Bot库
    善意Bot(如搜索引擎爬虫)一般会在HTTP头的User-Agent中标识自己的身份,便于网站识别,但这类特征也较易模仿伪造,因此不能将此类特征作为识别善意Bot的唯一依据。Bot Guard通过反解技术识别善意Bot特征,形成善意Bot库,快速区分真实/伪造善意Bot程序,善意Bot情报包括各类主流搜索引擎Bot、网站监控Bot、市场分析Bot等,用户可基于业务需求对特定Bot进行处置。

精准访问控制
支持基于IP、URL、User-agent、HTTP请求头、区域的多维度访问控制策略,用户可根据实际需求组合配置符合自身业务特性的访问控制策略,满足各类不同应用场景的控制需求。

多维频率限制

  • 访问频控
    支持基于IP、User-agent、Cookie进行客户端定义,并限制客户端在单位时间周期内对指定URL的访问次数,超过设定阈值后,将对客户端的后续请求进行处置。

  • 状态码频控
    支持基于IP、User-agent、Cookie进行客户端定义,并限制客户端在单位时间周期内访问指定URL所产生的特定状态码次数,超过设定阈值后,将对客户端的后续请求进行处置。

客户端特性识别

  Bot程序与正常用户客户端在特征上存在差异点,通过Cookie、JavaScript支持特性,验证客户端合法性,进而识别区分正常用户和Bot工具,客户端特性识别基于客户端唯一标识作为统计粒度,有效解决NAT等多用户单出口环境下基于IP统计粒度造成的误杀或漏杀问题。

人机交互验证

  在不影响用户体验的基础上识别Bot程序与正常用户,为每个客户端添加事先设计好的交互场景,诱导用户下意识地进行简单的操作(如鼠标移动、键盘敲击等),通过客户端用户的行为数据进行监测分析是否为正常的用户反应,从而识别出Bot程序与正常用户。

指纹分析

  通过定义设备指纹与用户指纹信息,分析客户端指纹信息关联的IP特性向量,进行对客户端的访问行为进行分析,识别异常客户端进行处置。 

APP防护增强

  针对APP场景可通过集成安全SDK来实现APP防护增强,通过请求令牌鉴权与运行环境检测来判定业务请求是否来自于合法客户端,进而解决APP业务存在的恶意注册、撞库、暴破、营销欺诈、机器刷票等各类业务欺诈行为。
  • 请求可信认证
    SDK运行时会通过已定算法为每个业务请求生成唯一的动态令牌,并根据设定的验证头部进行请求头封装,客户端请求发起时将携带对应的令牌用于云端校验,云端在接收到客户端请求时对请求携带的动态令牌进行合法性验证,验证合法则转发业务请求,反之则根据指定动作进行处置。

  • 运行环境检测
    SDK会不定期的针对APP运行的客户端环境进行检测,基于硬件参数、设备型号、环境变量、端口信息等检测APP是否运行于模拟器、Root、多开等高危客户端环境,同时对运行于高危环境的客户端进行标记,以设备指纹ID标识客户端唯一性,并云端对高危客户端的请求进行处置。

机器学习

  网宿云安全平台日均TB级数据,拥有海量访问数据及攻防样本,将海量数据汇总到大数据机器学习集群中,通过内置数据分析算法进行动态建模,结合多维度、上下文内容分析,以识别最新型的Bot特征。
本篇文档内容对您是否有帮助?
有帮助
我要反馈
提交成功!非常感谢您的反馈,我们会继续努力做到更好!