一个月前，网宿售后工程师小王刚到办公室，还没坐下就收到了一条来自某省级报业传媒集团安全处吴主任的信息。

01

当官媒遇上山寨APP

小王有点好奇地下载安装了微信里说的仿冒APP，不由得感叹：

这山寨版做得也忒像了，不仅首屏内容跟真网站实时的头条新闻一模一样，而且连该集团旗下十几种报刊的数字版资源库都是同步更新的，生产队的驴都没这么勤。

小王初步判断，山寨APP极有可能是通过爬虫批量复制的。

“假冒成我们官方新闻APP应该是为了给他们自己引流，里面夹带了好多不可描述的广告推送和链接，这对我们的形象影响可太不好了，得赶紧让它消停。”吴主任忙不迭地继续跟小王说明事情的严重性。

除了夹带不良“私货”，让该报同样担忧的是，作为守卫舆论阵地的当地官方新闻门户，其对往期新闻内容的勘误，在山寨APP上并未同步更正，而是继续以错误的表述被阅览、传播，恐将引来难以估计的舆情风险。

尽管该报在第一时间就向网信部门和各应用市场举报该山寨APP，要求下架，并加强了监测，但他们仍然担心，这种事后打击的方式如同“打地鼠”，十分被动且不能治本，按下葫芦又起瓢。

因此，冲着之前网络安全防护上的良好合作，吴主任向小王提出，希望网宿能帮他们对复制网站内容的行为进行阻断，从源头上斩断仿冒网站的锁链。

02

内容自动化搬运，抄你没商量

了解了原委，小王立刻拉上网宿安全专家，调取日志对问题进行排查。

排查发现，在该新闻网站的访问请求中，有大量IP的访问量较高，且访问的URL非常分散，综合分析可以判定，的确有大量爬虫在遍历访问网站上的图文内容，印证了小王的推测。

而该山寨APP能在原网站更新后的极短时间内就同步更新，说明造假者已经形成了内容更新监测→抓取→自动排版→自动发布全流程的自动化。

问题已判明，安全专家快速为该报接入了BotGuard爬虫管理平台，进行针对性的策略部署。

03

三打“李鬼”

对于媒体网站，爬虫防护策略的关键，在于精准区分正常用户、善意爬虫和恶意爬虫，必须在不影响正常用户访问及网站SEO的前提下，对恶意爬虫进行“精确打击”。

Round 1 - 初步试探

网宿首先通过Bot情报库，预先识别出搜索引擎爬虫、数据分析爬虫等善意爬虫和收录在库的恶意爬虫特征，采取针对性的处理方案，借助情报的力量抢占先机。

约37%的网站请求在此回合被识别为恶意爬虫攻击，得到拦截。

Round 2 - 正面交锋

对于情报库中尚未收录的未知种类爬虫，网宿安全专家通过部署Bot特性检测、设备指纹分析、自动化工具检测、客户端运行环境检测等多重策略，识别出爬虫工具有别于正常用户的生物特征和行为特征，并结合多维频控、精细化访问控制等手段进行处置。

山寨APP内容当天即出现断更，防护策略初见成效。

Round 3 - 大招攻坚

2天后，山寨APP又出现了死灰复燃的迹象。网宿研判仿冒者升级了隐蔽性更强的高级持续性爬虫，绕过当前策略。

安全专家随即通过AI智能防护策略，基于网宿云安全平台大数据样本及机器学习算法，找出恶意Bot与正常用户请求的微小行为差异和业务流差异，生成多个动态变化、实时纠错的异常行为分析模型，进行智能人机识别和处置。

经过三个回合的攻防对抗，网站的爬虫攻击得到了缓解，该山寨APP就此偃旗息鼓，彻底停止更新。而此时，对山寨APP举报申诉，还在流程中。

值得注意的是，在这段时间的对抗中，网宿识别出的恶意爬虫请求占比达到了56%，这意味着此前网站流量中超过半数都是虚假的恶意流量。这些恶意流量是否都来自于造假团伙，是否还有更多攻击者进行了其他破坏，尚不得而知。这正是爬虫问题最大的风险隐患所在。

04

仿冒网站猖獗，主动防御事不宜迟

除了新闻媒体，政务、公检法等与国计民生密切相关的网站，也是被网络灰产仿冒的重灾区。

在12321网络不良与垃圾信息举报受理中心（www.12321.cn）发布的“2021年11月被投诉的钓鱼网站前十名”中，对假冒高速ETC、人社部、市场监管局等投诉量名列前茅。

高仿网站、APP的制作已经形成了一条隐秘的产业链。造假者只需租赁境外服务器，通过爬虫程序爬取真网站代码，短时间内即可复制出一打从外观到内容都一模一样的假网站。即便被封禁下架，换个域名即可原地复活，可以说是成本低、上手快、难清除。单一的事后举报、申诉甚至诉讼，已经难以适应当下的传播节奏。

无论造假者通过假冒网站和APP是进行诈骗，钓取个人信息，还是为不良业务引流，不仅严重侵害着公众权益，对于真网站的声誉和公信力也能造成恶劣的影响。

在加强监测、举报的基础上，结合网宿BotGuard爬虫管理形成“组合拳”，针对网站内容复制链条重拳出击，能够帮助网站真正从源头上对造假者釜底抽薪， “免疫”仿冒及更多爬虫攻击带来的潜在威胁。