相关内容

年中钜惠 新用户CDN加速免费试用

注册会员即享网页加速、视频加速、下载加速等CDN产品免费试用！

• 网站安全监测

  依托分布式监测集群，对目标系统提供7*24小时的全面安全监测服务，为网站运营护航

  来源： 云安全 > 安全监测 > 网站安全监测

• DNS防劫持

  解决Local DNS解析造成的域名劫持和跨网访问问题，并提供精准调度和安全抗D服务

  来源： 云安全 > DNS安全 > DNS防劫持

• BotGuard爬虫管理

  基于云端Bot管理网络，实时检测并阻断恶意Bot流量，联动情报库引擎进行事前检测处置

  来源： 云安全 > 业务安全 > BotGuard爬虫管理

• 高防DNS

  提供针对域名解析的各类攻击防御服务，同时具备稳定、快速的域名解析能力

  来源： 云安全 > DNS安全 > 高防DNS

• 版权保护

  提供视频加密、防录屏等全方位版权保护服务，覆盖音视频播放全链路

  来源： 云视频 > 媒体处理 > 版权保护

• 防劫持防篡改

  针对这种问题，网宿推出了防劫持防篡改功能，有效避免劫持和篡改的发生，保证请求文件的正确性。   注：DNS劫持主要由HTTPDNS来解决，本文主要针对HTTP劫持。 ## **二. 功能说明** ### **2.1.基本原理**   防劫持防篡改功能分为两种，轻量级特征值校验与文件hash特征值校验。[防劫持防篡改.png](https://www.wangsu.com/wos/draft/help_doc/zh_cn/277/756/1588071577440_防劫持防篡改.png) :::   其中， 文件hash特征值校验主要流程如下（需源站提供hash值）：应用场景**   该功能适用于需要保障数据传输安全、防劫持、防篡改，同时又未使用全链路https方案的应用场景。   轻量级特征值校验适用于对劫持比较敏感，但对防篡改要求不是十分苛刻的客户，主要用于解决302或DNS劫持。

  来源： 文档中心 > 点播分发 > 功能介绍 > 防劫持防篡改

• 防劫持防篡改

  针对这种问题，网宿推出了防劫持防篡改功能，有效避免劫持和篡改的发生，保证请求文件的正确性。   注：DNS劫持主要由HTTPDNS来解决，本文主要针对HTTP劫持。 ## **二. 功能说明** ### **2.1.基本原理**   防劫持防篡改功能分为两种，轻量级特征值校验与文件hash特征值校验。[防劫持防篡改.png](https://www.wangsu.com/wos/draft/help_doc/zh_cn/277/756/1588071577440_防劫持防篡改.png) :::   其中， 文件hash特征值校验主要流程如下（需源站提供hash值）：应用场景**   该功能适用于需要保障数据传输安全、防劫持、防篡改，同时又未使用全链路https方案的应用场景。   轻量级特征值校验适用于对劫持比较敏感，但对防篡改要求不是十分苛刻的客户，主要用于解决302或DNS劫持。

  来源： 文档中心 > 媒体处理 > 版权保护 > 防劫持防篡改

• 爬虫防护

  # 机器人管理 在为客户端请求交付内容之前，您通常希望确保发起请求的客户端是人，而不是机器人或者爬虫程序。通常，爬虫程序或者机器人发出的请求都会带有一些请求特征。您可以在CDN Pro上针对这些特征定义一些用户交互策略，以识别请求是否由机器人发出。location.href="$request_uri"; </script> </html>'; } # continue loading the page from origin or cache origin_pass my_origin; } ``` 您可以通过此方式，设置更多复杂的防爬策略

  来源： 文档中心 > CDN Pro > 应用案例 > 边缘安全加速 > 爬虫防护

• 集成BotGuard爬虫管理

  @[toc](集成BotGuard爬虫管理) # 在CDN Pro上集成BOT应用 在[《爬虫防护》](https://www.wangsu.com/document/cdnpro/botmanagement)这篇文章中，我们已经为您介绍了如何在CDN Pro的边缘逻辑（Edge Logic）中自定义一些防爬虫策略当您不想自己对爬虫特征进行分析并自行编写防爬代码的时候，您也可以选择成我们的BotGuard爬虫管理服务，以保护您的资产不会被非法爬虫程序获取。同样的，您也可以在CDN Pro上集成其他第三方BOT应用保护您的资产。但是，针对一些特殊的场景，我们仍然在边缘逻辑（Edge Logic）中定义了一些[爬虫防护规则](https://www.wangsu.com/document/cdnpro/botmanagement)，以保护我们认为不适合爬虫程序获取的静态资源。- 对于**不可缓存的动态资源**，我们认为：①这些动态内容是您非常关键的资产，需要重点保护；②即使CDN Pro上可以做短时缓存，但是绝大部分动态资源都是需要回源获取的，爬虫获取动态资源会对您的源站服务器造成不必要的负担；③爬虫程序请求动态资源，会具备各种各样的特征，自行进行特征分析并编写代码可能并不能防护所有的非法爬虫程序（除非您配置放行了这些爬虫）。

  来源： 文档中心 > CDN Pro > 应用案例 > 边缘安全加速 > 集成BotGuard爬虫管理

• 变更网站

  ### 简介 已经成功办理备案的网站，支持网站信息的变更申请，当您的网站信息发生变化，建议及时办理网站变更，避免影响其他业务的办理。 您可以直接通过网宿备案控制台进行网站变更办理。==注意：== 个人备案时，网站负责人默认为主体负责人， 因此网站变更办理不支持变更网站负责人，若需要变更网站负责人，请进行 变更备案 办理。 请确认已备案的网站为打开状态。 网站底部必须注明网站备案号，否则会造成管局审核不通过。|备案准备|说明| |-|-|-| |域名|进行网站备案时需填写网站域名，网站域名需同时符合以下要求：1.网站备案域名的顶级域为通过国家批复的顶级域名。2.网站备案域名需通过国家批复的域名注册服务机构进行注册管理（即境外注册商所注册的域名不能直接备案，需转入境内有资质的域名注册服务商）。3.网站备案域名在域名注册有效期内（以域名 WHOIS 信息中的过期时间为准）。4.网站备案域名为已通过实名认证的域名。5.申请备案时填报的备案主体信息应与域名注册人实名认证信息相符。详情可查看 [备案域名](https://www.wangsu.com/document/cate/2/640)。修改网站信息 二. 上传材料 三. 确认备案信息，提交初审 四. 通过审核，完成备案

  来源： 文档中心 > 备案文档 > 备案指引 > 备案流程指引 > 变更网站

• 让你深恶痛绝的个人数据泄露，背后都藏着它的身影

  网宿Bot Guard随行 防爬无忧>近日，网宿科技联合数世咨询正式发布《2020中国互联网安全报告》，《报告》显示2020年网络攻击呈倍数激增，网络安全形势愈加严峻。借此，我们推出了系列报告解读，以帮助行业客户了解网络安全趋势及制定应对策略。一些网络黑客、不合规的大数据公司，通过恶意爬虫从各大网站甚至公共服务平台上未授权、大批量爬取用户姓名、联系方式、住址、社保、公积金、履历、出行、社交、通信记录、电商消费记录等各类公民个人信息，将其打包售卖以获取非法利益。 ::: hljs-center  ::: 除了对个人信息的非法采集，恶意爬虫攻击还“活跃”各种各样的场景中，如：商家爬取竞争对手价格策略、内容社区盗用其他网站::: hljs-center 爬虫无处不在 管理刻不容缓 ::: 以上种种数据表明，恶意爬虫a攻击的爆发式增长已经对社会生活造成了显著影响。 其一，人们的个人信息、商家的商业数据还在被未授权的恶意爬虫过度爬取，非法售卖，致使个人隐私受到侵害、市场秩序也受到影响。其三，恶意爬虫作为一种高频操作的自动化工具，能够为网站带来大量的并发请求量，尤其当爬虫攻击与网站促销等业务高峰期并行时，常常引起服务器负荷过大，导致网站响应速度缓慢，甚至宕机，严重影响网站平台的业务运行。 好在，专业的网络安全服务商可以帮助企业解决爬虫攻击问题。

  来源： 报告解读

• 数据解读| 传媒资讯业背后的流量之争

  [4.jpg](https://www.wangsu.com/wos/draft/news/1588145703066/1588145703066_4.jpg) ::: ### - 近九成的Bot攻击以抓取网站内容为目的 结合传媒资讯行业的业务特性，我们对爬虫攻击的目标URL深入分析后发现：89.5%的爬虫以抓取网站内容为主要目标，还有9.05%的撞库攻击企图窃取有价值的账号。爬虫练手：由数据可以看出，63.73%的爬虫以新闻资讯、活动信息和评论内容为目标，原因在于传统媒体门户网站内容较丰富，但这类网站的爬虫管理水平往往参差不齐，因此很多爬虫教程直接以传媒资讯网站为目标，导致网站内容遭受大量“新晋爬虫”抓取。通过这些攻击手段，攻击者可获取后台权限，篡改网站页面，实现恶意站点推广。 ::: hljs-center !为提升搜索排名，一些非法网站运营者经常与黑帽SEO运营者合作，购买黑客攻陷的合法站点控制权，批量篡改被控网站的页面，实现站点推广。而流量大，权重高的传媒资讯网站成为黑客攻击的理想目标。

  来源： 报告解读

• 互联网流量持续增长，仅仅是因为用户增加吗？

  《报告》显示，2018上半年Web应用攻击数量环比增长了97.82%，恶意爬虫攻击数量环比增长了55.79%，DDoS攻击数量环比增长了37.6%。 ## 爬虫攻击日趋高明，交通出行成重灾区 2018年上半年，网宿平台共监测并拦截了25.86亿次有针对性的爬虫攻击事件，环比增长约55.79%。《报告》显示，超过91.9%的爬虫攻击更偏向于模拟人的正常访问方式获取网站数据，躲避各类访问频率控制、验证码等反爬措施，达到攻击目的。同时，除了通用的攻击手法之外，爬虫攻击还针对不同行业采取特定攻击手法，例如：酒店网站面临自动化撞库攻击、旅游网站面临竞争对手爬取价格恶意竞价、航空公司票务网站面临黄牛囤积特价席位等。 ::: hljs-center  ::: 当前，各行各业正面临不同程度的爬虫攻击，其中，交通运输行业(航空、 铁路、轮渡、快递等) 遭受的爬虫攻击最为严重，占了上半年恶意爬虫攻击事件的34.23%；其次是生活服务(旅游网站、酒店、医疗、在线教育等)行业、电商行业、信息服务行业等。

  来源： 报告解读

• 安全报告丨2017下半年Web应用攻击激增6倍

  《报告》显示，与上半年的DDoS攻击峰值不断刷新有所不同的是，2017下半年网宿平台监测到的Web总攻击事件达5112次，较上半年增加了598%，激增了近6倍；告警次数为20983万次，千万级的告警以恶意爬虫为主。从行业来看，生活服务类网站在各个时长维度中均有着高的占比，其次是视听影音类网站。这说明对于多数行业来讲，短时间的漏洞探测与攻击尝试都是普遍存在的。 ::: hljs-center !恶意爬虫与上半年一样，仍居首位。整体上看，恶意爬虫、非法下载、SQL注入等告警的数量出现下降，XSS跨站、暴力破解的告警数量有一定幅度的上升。 ::: hljs-center  ::: **恶意爬虫**行为主要表现为自动化程序伪装成浏览器及用户对网站发起访问或业务操作，如注册、登录、提交订单、查询信息等；此类恶意爬虫日常可以自动注册并进行登录网站等操作**非法下载**主要表现为攻击者利用网站管理员未对网站文件做访问管控，非法下载不期望流出的网站文件，通过发起GET请求去获取网站资源。

  来源： 报告解读

• 数据解读 | 搞不定羊毛党 年底电商大促就成“黑产”狂欢了

  [QQ图片20191104104649.jpg](https://www.wangsu.com/wos/draft/news/1588148553085/1588148553085_QQ图片20191104104649.jpg) ::: 为了了解黑灰产的攻击目的，我们研究了平台上电商网站的攻击数据例如，大部分消费者是价格敏感型用户，因此许多比价网站应运而生，比价网站用Bot爬取不同电商的产品价格并整合给用户。这除了给服务器造成一定的压力之外，还可能带来其他潜在影响。对于电商网站而言，需要通过数据分析为推广活动及定价策略作支撑，而大量Bot的活动会影响正常数据统计，从而影响企业对营销效果的判断。更进一步看，定价是电商运营的核心策略之一，一旦竞争对手摸清了自己的定价策略，并制定针对性打法，那该怎么破？::: hljs-center ## 爬虫攻击智能化趋势明显 ::: 电商对流量的重视程度使其对SEO具有高度敏感，这一特性使得电商网站需要对搜索引擎Bot放行，更不能误杀正常用户的流量。越来越多的高级爬虫便利用这一点，伪装成搜索引擎Bot和正常用户，试图蒙混过关。2019上半年，网宿云安全平台数据显示，高级爬虫攻击数量在Bot攻击的占比超过48%。 网宿云安全专家认为，电商行业反爬虫的核心在于合理的爬虫管理。

  来源： 报告解读

• 浅析门户网站CDN加速解决方案

  特别是Web2.0的推广与普及，使得互联网网站信息传播的方式有了更多选择。但是，无论信息的表现形式如何变化，内容如何加工，一些基本的规则还是被人们广泛认同和遵守的。例如8秒钟定律。如何保证在用户增多的情况下，使每一个客户仍然能都获得理想的访问体验，这就成为门户网站运营人员在不停增加网站内容，改进信息表现形式的同时所要面临的新挑战。以某著名门户网站为例，其需求主要呈现以下几个方面特点： • 用户众多，分布广泛，各类用户以及各地互联网接入情况差异较大； • 信息量随特殊日期、事件而变化，造成门户网站带宽需求高低值差异巨大； • 网站服务稳定性和请求响应要求高； • 易遭受黑客和病毒攻击，网站安全性要求高； • 架构复杂，应用多种网络技术**量身订造的解决方案** 根据客户特点以及针对大型体育赛事报道而产生的新需求，网宿科技为该门户网站设计出：以智能化全网负载均衡为基础，辅以大批量文件快速分发、动态数据加速等专利技术的网宿CDN门户网站加速解决方案。上述三个技术是网宿科技根据未来网站应用特点及发展趋势，依托自身强大的技术研发能力而设计的，代表国内CDN加速技术新成果，具有自主知识产权。

  来源： 资讯速递

• 网民更喜欢在上班时间浏览电子商务网站

  网民更喜欢在上班时间浏览电子商务网站（2011年12月6日 北京）近日，网宿科技发布了《2011年第三季度互联网报告》（以下简称《报告》）。此次《报告》中，对网民上网特别是电子商务网民访问时间的分析数据表明，网民更习惯在10:00、15:00和22:00三个时段上网访问电子商务网类网站。其中最高的访问峰值出现在下午15点，该时点的访问峰值达到了每日电子商务网站访问平均值的1.8倍。电商类网站以及中小电子商家可参考网宿科技的这一《报告》数据在每日网民访问高峰时段上传更新最新的产品咨询，以此提高销售份额。

  来源： 资讯速递

• 进一步提高网站备案率和备案信息准确率

  进一步提高网站备案率和备案信息准确率 为贯彻落实中央关于加强互联网行业管理、净化互联网络环境的要求，充分发挥互联网站备案管理的网站主办者溯源和接入地溯源作用，更好地服务于互联网管理各项重点工作，结合当前网站备案管理工作实际和面临的新情况、新问题，部近日下发《关于加强互联网站备案管理的工作方案》明确，以提高网站备案率和网站备案信息准确率为中心，在年底之前，将网站备案率提高到97%，将每月新入库的网站备案信息准确率提高到87%，将之前已入库的网站备案信息准确率提高到85%。通知要求，当前各接入服务商要集中清理现存的未备案网站、不准确网站备案信息和IP地址备案信息。要对本企业接入未备案网站的问题进行自查，并在6月底前完成所有未备案网站的代备案工作。因网站主办者无法联系或拒绝配合代备案工作等原因，逾期仍未完成备案补办手续的，应停止为其提供互联网接入服务。同时，将进一步提升部网站备案管理系统的支撑作用，在9月底之前建设配套的省局网站备案信息数据库，同时健全各省局的未备案网站发现手段，提高未备案网站的发现数量、缩短发现周期。如主办单位性质为个人的网站，不得以“某某有限公司”等为其网站主办者命名；主办单位性质为非政府机构或非政府授权机构的网站，不得以“某某市人民政府”、“某某监察”等公共事务关键字命名；主办单位性质为非国家级单位的网站，不得以“中国”等字头命名。

  来源： 资讯速递

• 网站的贴心管家--网宿科技wsView客户服务系统

  网站的贴心管家--网宿科技wsView客户服务系统 21世纪企业的赢利模式已经转化为为客户创造价值，著名的管理学家 彼得·德鲁克就曾说过，企业目标唯一有效的定义就是创造顾客。wsView具有统计信息全面、可操作性强、按需查询便捷等优势，可以让客户总体了解网站的CDN服务情况，准确认识最终用户的访问偏好；帮助客户调整自己的运营方向，转变网站的业务模式。同时，wsView也提供了丰富的扩展功能，用户所关注的网页、图片、下载等加速方面的数据分析查询，在wsView中可以清晰的呈现给查询者： 网页加速查询可以针对PV值、请求数、URL排行、目录排行、热门网页排行、访客、各地访客、访客停留时间、来源网站、搜索引擎进行查询，该频道可以帮助网页加速客户深入了解挖掘用户，提高工作效率，让客户精准的捕捉到更多的商机； 图片加速类客户可以针对访问来源、访问对象、图片访问量、目录访问量进行查询，该频道可以帮助图片加速客户不断改进图片访问效果，从而提高网站点击量，进而提升广告效果； 下载加速类客户可以针对总体下载、目录下载带宽、下载访客、热门文件下载进行查询，此频道能够帮助下载加速客户深入了解挖掘用户

  来源： 资讯速递

• 双十一网宿平台电商网站日峰值带宽超600G

  双十一网宿平台电商网站日峰值带宽超600G 2013年11月14日—北京，今年双十一当天，网宿科技云分发平台上电商网站页面加速服务日峰值带宽突破了600G，较去年同期增长了70%以上。根据网宿云分发平台上的数据显示，11月10日18：00之后电商网站访问流量开始急剧上升，并在21：15前后出现了第一个访问高峰。11月11日，除了2：00-8：00这个时间段外，电商网站整体访问流量都保持了高位运行，四个高峰分别出现在10：10、12：45、21：40、22：10左右。

  来源： 资讯速递

• 爬虫“助攻”网站内容抄袭 平台知识产权谁来保护？

  数据统计显示，互联网上50%的流量是来自于爬虫的，而在某些特定行业中甚至有网站流量90%都是来自爬虫的极端案例。房产中介网站、电商平台、点评分享等网站都是爬虫特别喜欢光顾的目标，新闻媒体、自媒体等内容类平台更是重灾区。 ::: hljs-center  ::: 对于内容类平台来说，网站内容被爬虫抓取后二次传播，原创内容失去独家性，由此带来的是流量被分流和进一步的收入损失，以及更长远的品牌伤害此外，恶意爬虫的访问行为，也占用大量的带宽和服务器性能，影响正常用户访问，直接给被爬网站带来大量额外的成本支出。如何将恶意爬虫拒之门外，成为各类网站运营者面临的共同问题。 **对抗有害爬虫，都有什么操作？在尽力阻止爬虫入侵的同时，也有网站尝试提高爬虫爬取的门槛，比如用图片来渲染价格等关键信息，人眼可见，机器识别不出来；还有反爬团队，在内容里“投毒”，让爬虫抓取到不该抓取的内容，增加后期数据清洗的难度。 ::: hljs-center !基于对恶意爬虫行为的深度学习，网宿业务安全精准识别出正常用户与恶意爬虫之间的微小差异，同时利用恶意爬虫的一些特性来布设陷阱，诱导爬虫进入，达到主动防护目的，为企业网站营造健康的运营环境。

  来源： 产品动态

• 爬虫泛滥，企业数据谁来守护？

  获取数据资源的方式有很多种，爬虫便是其最便捷的工具之一。当前，爬虫流量已经遍布各类网站,而越是重要数据集中的的地方，越是爬虫密布。而利用爬虫技术造成的个人数据泄露事件更是不时见诸报端。**百变爬虫的疯狂“侵略”** 爬虫按照特定规则自动从互联网上抓取信息，可以帮助实施者快速获取大量有价值的数据。 ::: hljs-center !并且随着人工智能等技术应用于网络后，越来越智能的爬虫攻击开始模拟人的正常访问方式获取网站数据，躲避各类访问频率控制、验证码等反爬措施，达到攻击目的。爬虫为企业带来了很大的压力，甚至导致业务无法正常运转。 **智能爬虫要用智能手段来应对** 如何将恶意爬虫拒之门外？关键在于精准识别真实用户流量和爬虫流量，并采取相应的管理措施。将数据分析与机器学习有效地结合起来应用于爬虫管理领域，才能更精准的识别恶意爬虫。此外，通过对恶意爬虫的深度学习，网宿业务安全还可以利用恶意爬虫的一些特性来布设陷阱，诱导爬虫进入，达到“主动出击”的目的，从而更好的防住恶意爬虫，还企业一个健康的运营环境。

  来源： 产品动态

• 比蚂蚁还勤奋，比蟑螂还讨厌，这种“虫”该怎么防？

  ** 爬虫有分两个亚种，好爬虫和坏爬虫 好的爬虫能够让企业被搜索引擎收录，提升网站排名 而坏爬虫，则被用于很多黑暗的目的…… ::: ::: hljs-center !分化出了高级爬虫和低级爬虫 随着爬虫天敌的出现，低级爬虫越来越少 而高级爬虫已经变得更加智能 它们知道该在什么时间段出没，以什么样的方式进食 才能不被天敌发现 ::: ::: hljs-center !** 不同种类的爬虫，“食物”来源不尽相同 恶意注册、非法登录爬虫的食谱更加广泛，什么都吃 活动作弊爬虫，大多以优惠券、现金券维生 恶意刷票爬虫的食物，主要以火车票、飞机票为主 大体来看，交通运输行业，是爬虫最喜欢的“菜” ::: ::: hljs-center !、坏爬虫。对待好爬虫，它能够精准识别，并进行分门别类的管理，能够对网站的搜索排名起到积极的作用。 而对于那些意图伪装成正常用户蒙混过关的坏爬虫，它的火眼金睛能够立马识别，并根据预设的策略和自定义的措施对这些爬虫进行相应的处理。 **网站发现大量爬虫？没关系，你需要来一个Bot Guard！**

  来源： 产品动态

• 辛苦拉票两星期，不如爬虫一小时？不会再有了

  **图片验证码** 图片验证码在一定程度上增加了爬虫刷票的难度，但其效果和用户体验成反比，而且不同类型的验证码都有成熟的方案可被绕过，有专业的打码平台甚至打出“AI打码”的旗号，通过人工智能和图像识别技术与网站验证码系统对抗。 ::: hljs-center !这种方式虽然在爬虫前进的道路上增加了一道门槛，但黑灰产同样可以使用爬虫，利用海量邮箱、手机号批量注册账号，再批量登录投票。 就这样，爬虫与反爬虫的战争，从简单粗暴，到运用人工智能等新兴技术，攻守双方都在不断变化、升级。，当黑客利用爬虫工具，批量扫描存在漏洞的服务器，再利用漏洞入侵网站系统，获取到系统管理员权限，就可以达到许多非法的目的。比如盗取用户数据，也就是我们俗称的“拖库”，随后将盗取的用户名、密码等数据用到其他网站或平台上，使用爬虫工具实施撞库攻击。例如，我们通过智能多维模型为每个客户端建立唯一的用户标识，以防止爬虫采用各种IP和UA伪装的方式绕过检查。 此外，我们通过学习平台上海量的恶意爬虫特征，根据不同行业所遭受的攻击特点，通过内置WML算法得出动态变化的识别模型，能够大大提升恶意爬虫识别的效率，并有效发现新型爬虫攻击。

  来源： 产品动态

• 比垃圾分类更烧脑的网络爬虫分类，你要怎么搞？

  ** 如果垃圾分类不当，会给垃圾处理和回收带来大量的工作量，对环境也造成不小的伤害，而爬虫如果分类不当，也会给网站带来很大危害。爬虫可以被用于很多场景，比如搜索引擎利用爬虫来抓取网页快照，提升网站权重和排名；一些黑灰产从业者，利用爬虫来进行刷票、批量获取网站核心内容。如若不分类，将会影响网站业务正常开展，所以，给爬虫分类势在必行。 ::: hljs-center !**爬虫种类细分** 从行为上看，恶意爬虫有恶意注册爬虫、非法登录爬虫、活动作弊爬虫等影响网站正常业务开展。善意爬虫有如搜索引擎爬虫、网站流量监测和排名爬虫、网站在线监控服务爬虫、图片搜索引擎爬虫等，均有利于企业网站优化和推广的，需要区分对待。从发展程度上看，爬虫又可以分为高级爬虫和低级爬虫两类。低级爬虫简单粗暴，容易识别；高级爬虫由低级爬虫演进，更加智能，不易识别。 根据网宿云安全平台数据显示，2018年91.9%的爬虫攻击属于高级爬虫攻击。交通运输业、生活服务、电商、资讯、金融等行业都是恶意爬虫攻击的重灾区，这里分享一起航司的案例： 曾有某航司官网每天遭受各类爬虫流量，包括搜索引擎、机票代理和第三方旅游平台等的爬虫，因一直无法清晰管理各类Bot，导致恶意Bot占用太多服务器资源，影响网站正常运营。

  来源： 产品动态