除了各类特效，想不到快手短视频从推荐、直播视频分发、视频分辨率调整等方面都在探求基于 ML 的新方式，他们希望用更强大与智能的深度模型优化传统的视频处理流。这三项研究都已 被 ACM MM 2019 所接收。本文将带你一览这三项前沿探求。
在打开手机看短视频的过程中，你晓得中间会有多少机器学习模型在做优化吗？点开 APP 后我们想要见到最感兴趣的视频，观看的视频的时侯我们想要最流畅与清晰的体验，参与直播中我们希望有更流畅且不卡顿的视频体验。
所有那些，都可以利用机器学习方法做进一步优化。通过大规模数据，这些模型能学习到用户对什么样的短视频感兴趣快手热门算法，感兴趣的理由又是哪些；学习到怎样更高效地调用 CDN 提供商分发视频，从而提供更流畅的直播体验；学习到规划更贴近人类主观评价较好的视频流，使得在线播放愈发清晰与流畅。
这些方式其实不同于 BERT 或 BigGAN 那样声名远扬，但重要的是，这些方式能创造好多实际价值，它们能从各方面减少成本，提高观看体验。
本文将介绍快手等研究者在这一方向的探求，他们用深度学习等愈发高效的方式构建精典媒体任务，并极大地提高了这种任务的性能与效率。
快手在 ACM MM
ACM MM 是计算机图形学与多媒体领域的顶会，其明年于当地时间 10 月 21 日在美国闭幕。根据官网统计，今年 ACM MM 在多媒体体验、系统和融合等六个子领域共吸引里全球范围内 936 篇论文投递，共接收了 248 篇论文，接收率约为 26.5%。
快手也有三项研究被接收为会议论文，它们从上述视频推荐、内容分发优化、视频分辨率优化这三方面探求提高快手视频体验的新方案。
EIUM：讲究症结的快手短视频推荐
短视频推荐是一种序列推荐系统，它致力于剖析用户的历史行为序列，并满足用户的当前需求。因为我们的兴趣会随着时间的变化而变化，因此序列推荐模型须要捕捉这些动态变化的过程，并给出合理的解释，这样推荐的视频才是我们希望见到的。
注意里面有两个重点，即用户的动态兴趣迁移和可解释的推荐。动态兴趣迁移挺好理解，一般 Transformer 序列模型都能捕捉这些变化过程。但可解释性又是什么，为什么推荐视频还要带有可解释性属性？首先，如果我们晓得用户选择视频的缘由，那么按照额外的知识图谱可以推荐更精准的视频；其次，可解释性也能令用户明白为何系统推荐某个视频，这种推荐更可信。
用户与短视频间的交互一般可以归结为好多缘由，例如下图所示用户喜欢视频 m_5，那么有可能是因为编剧、演员或则续篇的缘由。其中从用户到 m_5 的每一条路径都表示一种中级语义信息，例如最右侧表示之前关注过视频 m_3，而 m_5 是它的续篇，因此用户也会对它感兴趣。如果每一条路径都有一个分数，那么模型能够晓得用户选择某个视频最大的缘由是哪些。
用户、视频交互示例，它展示了在推荐系统中，用户与视频间语义路径的重要性。
基于知识图谱的可解释性推荐系统
前面早已展示了可解释性的重要，虽然目前基于 self-attention 的方式取得了较高的准确率，但忙于考虑推荐系统的可解释性。为了解决上述挑战，快手的研究者提出了一种交互驱动的基于知识图谱的可解释性用户建模和序列推荐方式（EIUM），在序列推荐系统中引入语义路径来捕捉用户动态偏好，并提供确切的可解释性推荐。
EIUM 算法可以捕捉交互级别的用户动态兴趣，这是一种包含丰富语义信息的高层表示。算法采用联合学习的方法，通过引入文本、图像特点及知识图谱中的结构特点，从而建立一种多模态融合的模型。当然这种多模态特点都须要满足知识图谱中实体与关系的结构化信息约束，它们都统一在知识图谱这个框架之下。
如下所示为 EIUM 算法的结构图，它主要由多模态融合模块、交互表征模块、序列交互建模模块组成。
EIUM 到底怎么做推荐
如上算法结构图所示，EIUM 首先须要经过一个端到端的训练过程。它会将用户历史观看的短视频序列作为训练集，并分别估算用户与历史视频间的语义路径。这样可以得到用户与相应视频的交互表征 p_emb，相当于编码了用户选择视频的诱因。
因为不同时期有不同的短视频选择缘由，所以编码的交互表征 p_emb 需要构建一种动态的交互行为，这交给自注意力模块这些序列模型就行。此外，这种用户与视频的交互可以视为一种用户偏好，表明了它可能的行为是哪些。根据偏好预测出的视频可以与标明的短视频进行对比，从而进一步指导模型更新权重。
等模型完成训练，我们才能瞧瞧它怎样做推荐了。首先快手会有一个图网路，其包括用户、视频、视频的各种属性，以及用户的各种属性等。通过对用户的短视频观看序列建模，模型可以构建用户的视频偏好表征，例如上图的 B_emb。借助视频偏好表征，模型能匹配候选的短视频，并给出推荐选项。
此外值得注意的是，相比通常推荐系统，EIUM 能可视化注意力分数，确定用户历史行为相关性与语义路径相关性，从而在展示过程中向用户提供「为什么推荐该视频」的解释。
以上是快手和中科院自动化所徐常胜研究员团队的合作成果。
更清晰更流畅的快手直播
Comyco：基于质量感知的分辨率自适应策略
清晰与流畅的视频体验是快手音视频团队追求的目标。在实际系统中，视频内容的差异性，用户网路的多样性等都给视频体验的优化带来巨大的挑战。多分辨率策略是解决该问题的一种常用手段，即给不同网路的用户分发不同质量版本的内容，这类方案称为多分辨率自适应，即 ABR。
传统的 ABR 一般是基于分辨率选择的，即通过实时网速，考虑缓存、用户设备等特点，为用户选择最佳的视频分辨率档位。然而，视频的质量与视频分辨率不是简单的线性关系，他们之间存在复杂的 RD 曲线，且不同视频其 RD 特性也各不一样。单纯的依赖分辨率调整，极大可能导致浪费或导致不必要的播放卡顿。
基于这种考虑，快手与清华大学孙立峰团队共同提出了 Comyco，充分考虑了网路的特点、视频质量与信噪比的特点，实现质量感知的 ABR。同时，Comyco 采用了模仿学习来优化模型的构架，大大提高了效率。
实验证明，Comyco 所需采集的样本数目较原先方案减低 1700 倍，同时训练时间降低了 16 倍。此外，Comyco 明显优于之前提出的方式，平均 QoE 提高了 7.5%-16.79%。尤其是在相同的缓冲时间下，Comyco 的平均视频质量较此前精典的 ABR 策略 Pensive 提升了 7.37%。
如下所示为 Comyco 的基本系统工作流，其主要由待训练的神经网路、ABR 虚拟播放器、即时结算器，以及经验回放池（replay buffer）组成。研究者在第四章中具体介绍了 Comyco 的各个模块与训练过程，读者可查阅原论文了解更多细节。
与之前工作不同的是，Comyco 的目标是选择具有更高感知质量的视频块，而非选择更高视频比特率块。此外，在训练过程中，Comyco 创新地通过模仿即时解算器给出的专家轨迹来训练策略，这除了可以避免重复探求，而且可以更好地借助采集到的样本。
详细地说，Comyco 将及时求解当前探求到的状态下的最佳策略，并加入经验回放池中，在训练过程中边取样边优化神经网路。至此，Comyco 拥有了快速生成策略的能力。
Comyco 的基本系统工作流。
Comyco 的神经网路构架概览，它会借助门控循环单元将过去的网路特点、视频内容特点、以及视频回放特点联系上去，并预测下一个视频块的比特率。
Livesmart：智能 CDN 调度
在快手，主播会将视频流通过快手私有传输合同 KTP 传输至快手自建源站，CDN 厂商来快手源站回源获取视频流，并分发给终端用户，如下图所示。
快手分发框架
快手源站通过控制各 CDN 的流量比列，在质量和成本间取得最好的折衷。然而，快手体量庞大，需要同时使用多家 CDN，而各家 CDN 的质量、价格参差不齐，以及时常有一些不可预知的突发状况，因此，通过人工调度的形式，显然是难以接受的。
对于精典的 CDN 调度策略快手热门算法，它大大简化了 CDN 和用户的动态性，并不能适应各类场景。为了解决这个问题，快手与清华大学孙立峰团队共同提出了 Livesmart，能精确捕捉 CDN 与用户的动态变化，从而更合理地借助 CDN 资源，并大大增加成本。
研究者在真实的直播数据集上做了定量和定性的实验，结果表明 Livesmart 明显优于传统方式，它除了能提供更流畅与稳定的视频流，同时能够大幅度增加成本。具体而言，Livesmart 显著地增加了 CDN 带宽成本（24.97%-63.45%），并提高了平均服务质量（5.79%-7.63%）。
Livesmart 的基本系统工作流。
整体而言，Livesmart 由三个模块组成，分别是描画直播用户流量动态性的流量预测模块，刻画 QoS 动态性的 QoS 预测模块，以及决定下一个时刻各家 CDN 流量比列的策略模块。
最后，这三项研究都在探求着多媒体领域的更宽广的可能性，虽然短视频处理只是一部分，但它确实代表着一种研究趋势。也许我们之后看快手或其它多媒体平台，它们背后还会有着更多的机器学习技术，我们也能有更完美的视听享受。
