作者丨小智
记者 |小智、张晓楠、蔡芳芳
春晚红包史可谓互联网公司宕机血泪史，再强的高并发能力在海内外超过 10 亿人的观看规模面前都变得这么脆弱。在互联网人的固有印象里，春晚活动是 BAT 三家轮番坐庄的技术盛会，毕竟只有具备足够的用户体量，才可能有足够的技术能力支撑起晚会级别的高并发流量。今年除夕，作为 BAT 以外第一家扛起晚会战旗的互联网公司，快手在去年的晚会红包活动中，红包互动总数达到 639 亿次，创晚会史上最大的视频点赞纪录，红包站外分享次数达到 5.9 亿次。除夕前一天，面对严峻疫情，技术团队紧急开发，快手在晚会红包活动提现环节上线“助力厦门”红包捐款功能。
快手是怎样打算这场“春晚红包”战役的？在筹办压力最大、最繁忙的晚会前一周，InfoQ 记者在坐落广州上地西路的快手总部专访了包括资源调度、基础设施构架、应用启动、客户端稳定性在内的多个部门技术负责人，还原出一个概貌。
1代号 A1，快手晚会交卷
中国互联网信息中心发布的《中国互联网络发展状况统计报告》显示，截至 2018 年 12 月底，中国网民规模达 8.29 亿，手机网民规模达 8.17 亿。移动互联网前所未有地普及，也缔造了世界互联网史上这些罕见的高并发流量场景：以双十二为代表的电商大促、春运放票时的 12306 系统，以及每年春节的晚会红包大战。
2020 年晚会红包活动，是在中国互联网传统豪强 BAT 以后，第一次出现新兴脸孔，这家公司的名子是：快手。
从 1 月 24 日晚 8 点到次日凌晨，快手共领取 10 亿元现金红包，这个金额创下了晚会红包的新记录。在以前让陌陌抢鲜支付宝半个身位的 2015 年，微信发了 5 亿红包；2016 年，支付宝发了 8 亿红包；2019 年，百度发了 9 亿红包。
除了 10 亿现金红包，快手为此次晚会投入的还有集卡活动的 1 亿现金，以及支持当日晚会的 10 万台（其中包括 2 万台云端）服务器。
除了真金白银的投入之外，人力上也是一场“豪赌”。InfoQ 记者了解到，快手晚会红包项目组特意在开始筹办时去找百度、阿里的朋友取经。“夸张点说，我们人力上比人家少了一个零。”
春晚红包项目在快手内部的代号是 A1，这个名子源自快手在上海西二旗的总部楼座排布。快手总部园区有 ABCDEF 共 6 栋办公楼，各个团队的工位分散在这 6 栋办公楼里，而在晚会红包项目确定之后，为了工作上的协同顺畅，整个项目攻坚组在 A 座开辟出了晚会战场，包括设计、研发、产品等成员都集聚在这儿。因为项目的参与度很广，出于严格的保密考虑，最终将晚会项目的代号定制 A1，也契合了晚会红包这个项目的重要性。
2“从爬泰山到登珠峰”
罗振宇在 2019 的跨年讲演中曾提及：得到先前准备在晚会投放广告，但是被劝住了，因为有一条不成文的规定——要想晚会打广告，产品日活先过亿。原因很简单，用户量偏低，技术很难支撑起晚会级别的高并发流量。这也是近来几年，春晚红包项目被互联网豪强 BAT 三家垄断的缘由所在。
面对晚会的顶尖流量，即使平常服务亿级日活用户的快手，内部也将 A1 项目称之为“从爬泰山到登珠峰”。
这不是快手与晚会的首次合作，但作为晚会红包活动的承接者，却是快手的第一次。对晚会而言，这同样是一次全新的体验，因为晚会红包第一次走进了视频红包时代。在春节昨晚的央视春节联欢晚会上，快手以“点赞中国年”为红包互动主题，推出 5 轮抢红包活动，并采用“视频 + 点赞”的全新玩法。不过玩法新代表着挑战也新，快手奇特的短视频场景业务所带来的挑战在晚会流量面前愈发彰显。
首先，看下快手这款 App 的属性。快手 App 所代表的短视频社区类 App，一直有着用户黏性高、使用时间长的特点。每天大规模的视频作品发布和播放，还有实时的直播和用户互动，对流量而言上下行压力早已不小，而这种流量在快手机房中都是共用的，这对晚会活动在构架设计方面提出了更多更高的要求。
其次，短视频 + 直播场景，相对以往晚会活动，对于资源尤其是 CDN 和带宽的占用率更大。在一定时间内，中国 CDN 总量和商用带宽资源的供应总数相对是稳定的，但视频红包场景下，数亿人同时打开动辄数十 M 的视频文件，还有数千万用户同时涌向晚会直播间，所须要的资源，比起以往晚会要超过几个量级。如何预估晚会流量，设计技术方案减少压力？如何精准估算须要采办的服务器、CDN、带宽资源？在春节全网资源吃紧的情况下，这是一大困局。
第三，活动策略与第三方沟通困局。今年的快手晚会，除了冲击 3 亿 DAU 的目标以外，同样也有产品拉新的战略深究。2019 年百度晚会击溃了包括 App Store、微信应用宝在内的各大主流应用市场，影响了百度的拉新目标。今年的快手势必不愿重蹈覆辙，但第三方应用市场，尤其是 App Store 和陌陌，沟通愈发困难，却是木盆中那种不得不解决的弱项。
春晚红包立项，面对这场硬仗，怎么整？
3万变不离其宗，却又不可同日而语
中国互联网圈有一句戏言：没有中国人搞不垮的网站。此言诚不我欺，这个网民人数超过 8 亿的国度，在多年电商大促、秒杀场景、12306 每年春运带来的技术大讨论的洗礼下，科技公司们应对高并发流量的能力迫近了软硬件性能的极限。
纵观近来几年各大厂晚会红包活动，技术向的解决方案堪称万变不离其宗，无非是基础设施（服务器、CDN、带宽）的打算、内部构架的升级（核心链路升级、降级方案）等实现方法。说起来似乎很简单，但在极至的流量面前，难度却不可同日而语。
基础设施打算与构架升级
2019 年百度晚会的服务器数目是 10 万台，其中有 5 万台服务器是从百度核心的“凤巢”广告系统下让渡而至。基于短视频业务对服务器等基础资源的更高要求来看，快手为这次晚会活动打算的服务器数目不会高于百度。需要注意的是，服务器并不单纯是物理机组成，还有相当规模的云服务器，这又多出了跟各大云服务商沟通性能资源的问题。
短视频领域惯用的解决方案是将视频放在内容分发网络（CDN）上，既把视频文件输送到离用户近来的地方，又借助大量 CDN 节点分担用户观看的流量，这是业界成熟的解决方案。但在晚会视频红包的数亿瞬时流量面前，这个方案却是完全顶不住的。春晚主持人口播抢红包的时间节点，预估下来的视频播放瞬时流量会超过中国的 CDN 带宽容量总和，快手预估假如要保证晚会活动的体验，至少须要数百 TB 带宽资源。架构师们须要设计高效的资源预分发策略，并完善确切的带宽预测模型，基础设施建设人员也要做好合理的采办打算。
基础构架通常都是线性演化的，大的基础构架升级频度不会很高，每年也就是小修小补一下。但此次晚会活动，倒逼着快手的构架超前升级了。
基础构架负责人向 InfoQ 记者这么介绍。他是一名老“快手”，2015 年就加入了公司，一直负责基础构架的设计与实现。这次的晚会红包活动他参与了核心构架设计工作。
精心设计核心链路
架构上第一个挑战是让用户顺利“进门”。
日常情况下，用户首次启动快手 App 会有近百次与服务端的交互。可以想象在晚会活动开启时，数亿用户同时启动快手 App 会带来如何的流量洪峰，如果不做降级处理很可能直接撞入服务器，这是红包活动面临的一个挑战：如何让用户可以顺利“进门”抢红包，而不是被宕机的服务器挡在门外。
为确保用户“进门”环节的应用启动平稳渡过，技术团队在保证主要功能不受影响的前提下，设计了合同降级、频率限制、过载保护、协议减肥、延迟打散、CDN 兜底、业务逻辑优化等策略，使得系统可以承受亿级别 QPS 的流量冲击，通过 5 道“闸门”层层控制洪流，将发生“洪灾”的机率几乎降为 0。
另外晚会的直播场景随时可能出现紧急状况，比如主持人口播红包时间随时可能调整。为了能在这样的紧急状态下，将核心指令下发到每位用户，快手技术团队因此悉心设计了核心指令控制系统，一键式下发，最快可以做到一分钟之内将指令触达所有用户，做到有备无患。
登录注册面临平常数百倍挑战。
从以往晚会红包经验来看，登录注册页面是击穿服务器的又一道坎。登录注册好比是用户领到红包的锁匙，春晚当日必然有大量新用户注册并登入快手 App，快手预估春节昨晚登陆注册页面的挑战可能达到平常的数百倍。为此快手打算了超平常登陆峰值数百倍的容量，在降低容量的同时，快手也做了登陆流程梳理和简化。从客户端到服务器总共做了几十项优化，为的就是让用户能“秒登”快手 App，拿到红包。
快手 App 登录量的爆发，对第三方服务也是巨大的挑战，比如三大运营商的一键登陆、短信网段以及腾讯三方授权就会遭到冲击。为了达到预期容量，三大运营商、微信团队分别和快手登陆团队一起为晚会订制了服务。
抢红包作为活动核心，如何顶住瞬时洪峰，精准发出 10 亿现金。
大部分用户就会在活动开始的顿时步入活动并开始抢红包，考虑到快手庞大的用户在线数叠加上晚会口播带来的用户洪峰，这基本是一个极限流量。按照该流量进行设计除了须要特别高的资源成本，而且要求更高的系统复杂度和容错性。为此，快手针对活动特点做了一定程度用户侧感知不到的打散削峰设计：技术和产品一起做了多项针对性设计和优化，既保证用户的实时参与感，又能确保服务端压力在可控范围内。
一轮红包只有 10 分钟左右，现场几乎没有任何修补调整的机会，团队只能把工夫花在设计实现上，针对各类异常做层层的保护和柔性降级，并通过一系列的故障演习来进行验证。发钱环节同样对系统要求极高，几十分钟内发出 10 亿现金，还不能有 bug，架构上团队做了好多悉心设计，比如保证核心操作的幂等性、多维度预算控制、多种熔断检测、根据流量动态调度发钱速率等能力。
短视频领域常用的视频分发方案都是把视频放在 CDN 上，让 CDN 去扛流量。这没哪些毛病，但遇上晚会级别的流量，它就四肢都是毛病。
记者了解到，在全网 CDN 总容量有限的前提下，音视频技术团队设计了大规模资源预分发方案，将视频提早预缓存到客户端、而非 CDN 上。针对怎么优化预分发资源覆盖率，如何控制带宽使用量，如何控制下载速率和实际保障用户体验，春晚当日视频素材发生变更怎样处理，内容泄漏风险怎么规避等挑战，做了一套完整的解决方案。同时针对可能出现的用户难以播放视频的极端情况，也设计了一套降级方案：自动将视频转换为低分辨率或图片模式，做到用户侧弱感知或无感知，保障核心红包环节的用户体验。
除夕当日提现页面降低“助力厦门”红包资助功能，短时间内完成高速路上换引擎。
另外据快手研制团队相关负责人告诉 InfoQ 记者，春节前期，新型冠状病毒脑炎疫情形势严峻，牵动着每一个人的心，正在打算晚会项目的快手团队接洽然后决定在提现页面降低“助力厦门”的红包捐款功能，用户可以选择将红包金额捐款北京，快手在此金额的基础上配捐 10%，平台联合用户一起推动北京抵御疫情。确定上线该功能早已是春节的晚上，留给开发的时间十分急迫，经过冒雨的开发测试，初一清晨 6 点该功能如期上线。
重保稳定性
根据墨菲定律，假设光纤被挖断的极端情况一定会发生，我们应当如何办？
这是快手朋友在一次次演练中，预想的极端场景。虽然这样的场景听起来有些“疯狂”，但为了保证晚会那一刻的绝对可靠，团队须要把所有异常和灾难处理都考虑进去。据了解，快手晚会所有核心服务都设计了多机房容灾，在任何单机房或专线故障的时侯保证不影响活动。基本所有能想到的异常都有悉心设计降级方案，做到层层兜底，力求万无一失。
春晚所有预案都依赖于配置下发系统，它必须做到将配置低延后、高可靠地投递到每一个节点。
在服务端的优化方面，对整个上报链路的监控体系全面升级。快手现有的服务上报链路是一个多维度、高复杂度的系统，服务的调用量级随着流量的上升可能呈倍数下降。核心思路是在上报过程中做压缩和降级，将不重要的数据做归并，将异常、高延后数据上报，减轻系统压力。
配置下发系统也有一整套的监控、加固体系，核心思路是对配置做分级，在系统内多层下发，最终做到进程内缓存，每台物理机都有缓存，一旦出现故障，起码能领到一份上一次的数据。
如果晚会是大考，那么全链路压测就是模拟考。
全链路压测是应对高并发流量洪峰的“核武器”，所有服务的高并发能力都须要通过压力测试来确定和验证。除夕活动前的多轮压测经历了从小到大，从单插口到单集群再到全链路的过程。全链路压测对整个团队来说，并不是简单的 QPS 增长，更多的是资源协调、风险把控、结果评估等综合方面的考验。其目的就是让晚会当日应当发生的流量，提前发生，并且验证系统在该情况下表现是否良好。一次一次的验证，一次一次的优化，最终确保晚会高并发能力万无一失。
在进行抢红包的全链路压测中，不但要验证系统的高并发能力，还要精确控制并发逻辑，保证红包分配策略正确。在好多场景下，全链路压测不但须要肩负高并发性能校准的职责，还要确认超高并发条件下功能是否符合预期。
客户端优化优化再优化！
春晚活动流量是一把双刃剑，对于技术团队来说是一座珠峰，但对产品拉新而言，不啻于坐上了一艘快速升空的灰熊。对于客户端团队的朋友们而言，如何把安装包极限减肥以减少应用商店 CDN 压力，并提高用户下载安装速率、梳理出客户端的降级方案、适配复杂的用户型号，也是一大困局。
经过一个多月的努力，团队通过资源压缩、转移到 CDN、使用上云工具等十八般武艺，让客户端的安装包减肥超过 30M，启动时间减少了 30%。做到了资源、图片的预下载覆盖率超过 95%，提升了新用户的产品体验。
在系统里放一只“猴子”，可劲闹腾吧！
业界常说构架要做到高并发、高可用。高并发挺好理解，高可用却很难评判。究竟什么样的高可用设计是行之有效的呢？在此先前，这是一种薛定谔的状态，只有真到出问题的时侯，才能得到验证。“准备工作再足，也难以完全模拟晚会的突发高流量，这意味着考验我们的机会只有一次。”快手的做法是用混沌工程的理念做故障注入，核心思路是在包括单机、服务在内的所有服务器上随机注入不同级别的故障，去模拟部份机器高负载、高延后造成服务器宕机或半死不活的状态，从而测量高可用设计是否行之有效。
音视频的保障
互联网的光鲜亮丽似乎都在灯红酒绿的城市之中，鲜为人知的是，中国农村网民的规模早已突破了 2.25 亿。在中国农村智能手机上网早已前所未有地普及，但千元型号仍是主流。此外，不同地区互联网普及程度不一，网速快慢有别，山区和城市的讯号不可相提并论，不同型号在性能、屏幕分辨率等方面都存在大大小小的差别。同一个视频、直播间下，如何让这种变量不一的网民都能享受到种种限制条件下的最佳体验疗效？
快手音视频技术团队借助工程结合算法、数据驱动的理念，从移动端到服务端进行无死角的音视频体验优化。用户在任何地方用任何设备，都可以顺畅地拍摄、制作、上传视频。
此次晚会快手红包的核心玩法是：五轮口播时刻点赞一支 45 秒钟的视频，并发放红包。为了保证口播时刻每位用户都可以流畅地观看视频，快手音视频技术部联合 Y-tech 实验室，将视频播放与复杂的动效、音效渲染结合上去，把性能优化到极至：即使在最高端的手机上，也才能在保证播放视频零卡顿前提下，同时流畅的进行领红包特效互动。
此外，在峰值流量时，把几十 M 大小的 45 秒视频分发给数亿用户也是不小的挑战。为了这一目标，快手采用了智能视频压缩算法，对数十段视频内容做帧率提高和压制。
口播时刻播放的视频素材取自数百位快手用户的 UGC 素材，画质参差不齐。为了保证每一帧的播放疗效，需要人工辨识各类音质问题如模糊、块效应、偏色等，通过算法优化到主观最佳状态，最后针对不同的内容和场景复杂度，再输出尽可能小的视频文件。为此音视频团队配合内容团队不断更新素材，视频素材压缩和分发工作仍然持续到春节前一晚。
最终，除夕昨晚互动次数达到破纪录的 639 亿，单分钟视频播放次数过亿。
此外，快手 App 对晚会也进行了全程直播。海量用户涌向活动页面等待红包期间，或者抢完红包回到主页后，大几率会步入直播间观看晚会节目。
为了保障超高并发直播的稳定性和质量，直播团队做了大量工作。首先是信号源，主力源采用卫视官方讯号，备用源从有线电视到卫星讯号打算了多路，甚至在职工家里都架设了备用讯号采集设备。各路讯号汇总到播控作战室，由一个专门团队负责重点保障，保证在任意信号源故障时无缝切换到备播源。在直播分发方面，快手调集了全网的一线 CDN 资源，通过大数据精准调度和质量检测，保障用最高质量的直播流覆盖全省乃至世界各个角落。
除夕昨晚，快手晚会直播间累计观看人次 7.8 亿，最高同时在线人数 2524 万。
沟通！沟通！沟通！
从 2015 年陌陌开始做晚会红包起，每年晚会的应用商店就会遭到海量下载恳求的冲击，出现不同程度的服务不可用，我们明年希望她们能否抗住压力。
应用市场是晚会活动的一扇房门，如果新安装用户在这一步卡住进不来，就不会有机会参与后续红包活动了。快手去年有专门负责与第三方应用市场沟通的团队，力保应用商店不出问题。这并不是一件容易的事情，国内应用商店比较碎片化，安卓主要有华为、小米、OPPO、Vivo、魅族、腾讯应用宝等，再加上苹果 App Store，一共七家比较成规模的应用市场须要逐一沟通。
有的应用商店说：这有啥可打算的？基本打算不了。
准备不了也得打算，为了保住应用商店不挂，该团队挨家挨户地扫了一遍各大应用商店。这里的问题在于，App Store 在国外没有太多商业化，还须要跨国协作难度比较大。
于是团队带着完整的方案一起去拜访了 App Store。春晚流量是哪些级别的？应用商店的困局在哪里？技术层面的后台构架是怎么样的？几乎把应用商店在此次晚会活动面前要用到的技术全面盘点了一遍，并且将快手自研的曲线拟合技术背后的数据和逻辑共享给了应用商店。
为了保住应用商店，快手团队须要分资源（CDN、带宽），给人手（提供技术支持），给方案（讲清完整的活动逻辑）。
我们不是说应用商店点头了就放心了，而是要听到对接的技术部门真的接到需求了能够安心。
在公司内部，沟通同样不是一件简单的事儿。
启动优化环节的两位负责人，其中一位朋友刚入职快手两周就被拉进了 A1 项目，另外一位则是快手“老司机”。这个组合的关键工作之一是与各个业务线沟通，把设计好的降级方案落地下去，死保晚会活动的红包服务，把其他相对不重要的插口“全部杀死”。
这个组合在与各个业务线沟通的过程中遇见了好多磨难，但最开始的沟通问题却是出现在她们内部。那位“老司机“在专访的时侯笑着说：“最开始的时侯可烦他了，刚来啥都不懂还指指点点。”随着项目的深入，两人信任度渐渐强化，项目团队产生了强悍的凝聚力：“胜则碰杯相庆，败则誓死相助”，两人相互扶植前进，在一个多月的时间里梳理完了业务线涉及启动的近 100 个插口，只留下了个位数的核心插口不做降级。
沟通方法可以有两种，一种是强势的一刀切，另一种是深入到业务上面去，友好沟通。虽之后者施行上去更费力，但我们还是决定跟业务朋友耐心沟通。“钉子户”还是有的，最终我们是靠着更高层对齐了目标，推进了下去。
与业务方“斗智斗勇”，把近 100 个插口干到只剩个位数，这是外界觉得不善沟通的技术人，沟通下来的成果。
4一些人的红包战，14 亿人的节日
每年的晚会红包活动，都有各大互联网厂商旗下开发、产品、项目、设计人员们繁忙的身影。这个团队的规模不堪称不大，有的甚至机房值勤人员能够有 500-1000 人。但在 14 亿人的节日传统面前，这些人却又只是沧海一粟。
IT 技术的价值在于，放大了个体的声音与价值，让每位渺小的人都能发出更大的声音，让那些万人规模的团队可以支撑十多亿人的高并发热情。春晚活动发展至今，其背后的技术实力、巧妙的解决方案早已不再是最重要的核心，这群相互扶植、一起攀越珠峰的人和她们背后的故事才是。
这次晚会红包大战开始前，我们对每一个接受专访的快手技术专家都问了同一个问题：“你对此次晚会红包活动有多少信心？”受访者直言，备战晚会如同跟一群学霸一起打算中考一样剌激，可能一开始信心只有 50%，随着打算越来越多，信心降低到 70% 以及降低到更多；到了复习最后一段时间，觉得该做的事儿、能做的事儿都做了，就差考试了。
虽然公测、公测能提早发觉一些问题，但晚会当夜高达数亿 DAU 的流量却不可能在前期完全模拟下来，这是一场只有一次机会的技术大考。对于每一个参与其中的技术人来说，所能做的就是守在笔记本上面，等待每一次流量尖峰的到来。
快手交卷了，你呢？
InfoQ 读者交流群上线啦！各位小伙伴可以扫描下方二维码，添加 InfoQ 小助手，回复关键字“进群”申请入群。大家可以和 InfoQ 读者一起畅所欲言，和编辑们零距离接触，超值的技术礼包等你发放，还有超值活动等你出席，快来加入我们吧！
点个在看少个 bug
