• 阿里云河南授权服务中心--[ 阿里云精英级合作伙伴 ]
  • 阿里云河南授权服务中心电话 :0371-56982772

解密:天猫双十一1682亿背后的“霸下-七层流量清洗”系统
发布时间:2017-11-22 17:26

解密:天猫双十一1682亿背后的“霸下-七层流量清洗”系统

上古神话中,龙生九子,其六为赑屃(bi xi),又名霸下,力大无穷,喜负重。在阿里安全也有这么一套技术框架以此命名。


上古神兽——霸下

如其意,霸下的责任是支撑阿里安全产品的底层技术框架,它面向的用户是安全产品,给安全产品提供所需要的一切技术元素,诸如接入、数据传输、配置下发、策略执行、在线近线计算、存储、检索。通过拼接组合这些安全产品必备的元素,就能非常快速地构建出一个全新业务场景的产品,而不用再从零开始设计、探路、踩坑。让安全产品,在与外部的黑客、黑灰产斗争中做到迅捷快变。

这套强大的技术框架为今年的双11保驾护航,并立下赫赫战功。今天,我们就一起探秘基于其研发的全新的“七层流量清洗”业务。

差一点被黑产“打穿”

“2016年之前,我们并未针对交易链路去做专项的防控,现在去看相当于是‘裸奔’的状态!”霸下-七层流量清洗业务产品负责人砚墨这句话令人印象深刻。

2016年3、4月份的时候,黑灰产肆虐,连续造成故障。原来,聚划算每天早上10点推出的秒杀被黑产盯上了。阿里安全的工程师进行排查的时候发现,在出故障的时候,所有的交易流量90%以上都不是实人,而是黑产发起的机器流量。而正是这些垃圾流量占用了绝大多数通道,让正常的用户几乎下不了单,导致交易系统几近瘫痪。

“当时的安全在交易链路上的防控是非常非常弱的。”砚墨连续用了两个“非常”。

自此之后,阿里安全成了专项团队,针对交易链路进行防控。从2016年4月份一直持续到2016年11月份。特别是在2016年双11之前,阿里安全的技术团队“996”了一个多月,去进行相关的布防,终于,2016年的双11平稳度过。

然而,在接下来的2016年双12中,谁也没有料到,一个月前还固若金汤的防线,居然差一点点就被黑产“打穿”!

“2016年的双12沿用的是之前双11的策略,我们布置了两道防线。第一道防线布防于集团的网关,第二道防线设置在用户最终提交订单的环节。但是在零点的时候,黑产竟然突破了第一道防线!说实话,当时我冷汗都给吓出来了。”砚墨描述起当时的情形。

不过所幸的是,黑产流量在突破第一道防线之后,再无进展,因为阿里安全工程师布防的第二道防线成功守住了。

从双11到双12,仅仅一个月的时间,黑产的技术能力就有了大幅度的提升。砚墨回忆说,在2016年双12,黑产大概用了三种手段,去绕开第一道防线。然后全部的黑产流量就已呈“兵临城下”之势,打到了第二道防线上,也就是应用的前面。如果再过去,就直接到交易了!


敌人已到城门口

“当时我们统计了一下前15分钟的黑产流量,大概有近两千万的PV是由机器发起的,占据了整个流量的30%多。如果这部分流量将我们的两道防线全部打穿的话,后果不堪设想。双12当天一定是一个P1故障!系统也应该基本瘫掉了。”砚墨说。

全新系统终于诞生

“我们发现最核心的问题是拦截效果不好,应对外部黑灰产的变化的时候,我们的响应速度也比较慢。黑产每天都在研究我们,对我们的系统非常了解,也知道哪些地方比较薄弱。” 砚墨说。鉴于2016年黑产的猖獗造成的“不堪”,阿里安全的工程师们决定打造全新的系统来对抗,但是面临的挑战也是前所未有的。

从整个底层架构来看,相当于把技术上的所有网络产品重新做了一遍。从应用角度、从代码角度,都得全部重新写。新系统的架构,无论是从设计逻辑上,还是理念层面的,与以前的都完全不同。

“与上下游团队、交易团队的会议当时开了很长很长时间,大概持续了一两个月,都在讨论这个问题。反反复复,反反复复。第一次反正是谈都没得谈,直接说这架构不行,让我们回去重新搞。后来,我们的做法就是,去做各种各样的压测、验证,比如稳定性的验证,包括CPU、内存的可控逻辑。接着,我们和以前的架构去一一做对比,比如进程开销有什么样的优势等。全部列下来,然后再去找相关的团队谈。然而,还是没有被接受。一方面是觉得这个技术是全新的,另外一方面,是觉得运营和运维的压力很大,因为他们原先不需要去关心单独的安全问题,现在要多考虑这样的一个因素。”砚墨说。

当然,经过漫长的讨论,以及各个团队的负责人、集团的架构师团队、阿里安全的架构师的反复验证,从数据上证明,这个项目的风险是可控的。最终,各方也就同意了。

事实证明,这套新系统的不论是性能、功能还是稳定性角度,都甩了老系统几条街。

经受大战考验

“这个项目启动于去年双11,第一次得到验证是今年的618大促。”砚墨说。

2017年2、3月间,阿里安全技术团队就把“霸下-七层流量清洗”系统的整个架构设计了出来。事实上,这套全新的系统从立项到发布总共也就半年的时间。在今年的5月18日,“霸下-七层流量清洗”系统就已经准备就绪。

618大促的时候,整套系统替换掉了去年的第二道防线, 8月9日,成功在全集团的统一网关层进行了部署。到9月9日酒水节的时候,系统已经是全部就绪,相对于去年双11来说,鸟枪换炮。

酒水节至2017年双11期间,阿里安全技术团队还对系统进行了版本的更新,修复了一些Bug,并做了性能优化。同时,提前进行安全策略的准备,比如一些模型、拦截名单之类的。

在10月11日的时候,包括物理架构和安全策略都全部定型,然后就进入全链路压测阶段。

“在10月国庆节后的第一周第一次压测的时候,我们还发现了很多问题,然后在一周之内把这些问题全部解决了。第二次全链路压测也顺利地过了,从性能和策略角度都全部过了。但其实也做了很多性能方面的优化和改动,小伙伴们非常给力,都加班加点熬夜完成。在最后一次全链路压测的时候,就没有什么问题了,看看数据就好了。”砚墨轻描淡写地讲出双11的备战情况。
天猫2017双11的总交易额为1682亿元,其中,交易峰值达到了32.5万笔/秒,比去年的数据有着很大幅度的提升。令人称奇的是,今年的双11基本没有出现大量用户反馈“无法下单”的情况。毫无疑问,这里面也有“霸下-七层流量清洗”系统的一份功劳。

据砚墨介绍,2017年双11,阿里安全技术团队所研发的全新流量清洗系统设置了4层防护,从开始渲染订单的时候就进行防控。而根据实际监测的情况来看,90%以上的黑产流量或恶意流量被第一、第二道防线过滤掉了,而最终交易系统的流量纯净度高达99.85%。

“你来我往”的攻与防

2016年年初,黑产最为猖獗的时期。

砚墨说,“黑灰产的利润远远超出所有人的认知,而且只要是有优惠或者秒杀的商品,他们都会去抢。例如一个洗发水原价19块钱,他们用1块钱秒到,一转手保底就有10块钱入账。10块钱虽然看起来很小,但是考虑到全网所有的优惠,可能一天就能让他们“薅”走成千上万块。而这些本来是我们提供给消费者的实惠!”。

当时,黑产通过一些防控最弱的通道,但是很快,阿里安全的工程师就将其堵死。黑产发现这条路被堵之后,然后又绕道从一些“人迹罕至”的路口,找一些非标准的路径,也被阿里安全的工程师识破并拒之门外。

黑产又生一计,开始花大价钱去破解手淘。尽管手淘的所有交易都是加密的,但是金钱的诱惑是巨大的,黑产费力找来一些老版本的手淘,然后去进行破解,获取里面的通讯协议等等,然后通过这些协议、脚本去模拟、下单。然而又一次地,阿里安全的工程师们重点加强了老版本手淘的防控,也没有给黑产可乘之机。

砚墨说,与黑产的你来我往,就是经典的安全攻防教程。

据介绍,全新的流量清洗系统也充分考虑了用户的体验。“霸下-七层流量清洗”系统对交易承诺的时间是5毫秒以内,而整个链路包含了网络请求通过网关,经过流量清洗系统的检验,再送到交易。

“只有这样,才能让用户无感知。”砚墨说。

实际上,今年双11前,市面上出现了大量的秒杀软件,而阿里安全的情报团队和工程师们迅速从流量中发现了异常,并进行有针对性的布防,使得这些黑产无功而返。

“霸下-七层流量清洗”系统还有一项非常牛的数据,那就是对流量的判定时间大幅缩短。在一年之前,一个流量被判定为机器流量,到流量被拦截,最长耗时达到15秒!而今年,这一时间暴减至几毫秒!也就是说,即使黑产软件能够在一秒内发起大量的请求,那阿里的安全防护系统也可以在几毫秒内直接拦掉。

“今年双11的GMV能再创新高,达到惊人的1682亿元,技术进步真的发挥了很大的作用。”砚墨感慨到。据悉,各条业务线也反馈,今年双11从流量清洗系统过去的流量纯净度非常高,充分保障了业务的正常运营!



把通道给真实的用户,把优惠送给“剁手党”,把黑产流量清洗掉,这就是“霸下-七层流量清洗”系统的使命。

砚墨表示,他和小伙伴们已经在着手准备双12了。

售前咨询:

0371-56982772