近日，在NVIDIAGTC2023会议上，多位来自快手的技术专家，展示了一系列前沿技术及解决方案：囊括了从视频帧率提高、数字人直播及互动解决方案，到订制性能优化新框架、针对小型推荐模型的性能优化，以及多模态超大模型在短视频场景落地等多个话题。
帧率提高秘笈视频音质评估算法和音质修补提高方案
快手App每天都要形成数千万条新增UGC短视频内容。用户发布一条视频，只须要几秒钟快手热门算法，降低一些特效快手热门算法，也只须要简单几个步骤。但鲜为人知的是，为了提供愈发清晰的音质，每条短视频在触达用户前都经历了重重“关卡”，这背后是快手技术团队持续的工程、算法技术积累。
快手音视频图象算法负责人孙明在《快手视频质量评价和音质提高解决方案》演讲中提及，在一条短视频从生产到消费的整体链路上，与音质相关的主要有拍摄、编辑和服务端处理这三个阶段。同时在下发到联通端的过程中，视频音质仍受制于网路环境、带宽成本、用户端型号等诱因影响。
为解决这个问题，快手针对UGC视频特点提出了视频音质评估算法体系（KVQ）和音质修补提高方案（KRP/KEP）。二者相辅相成，急剧提高了消费侧音质清晰度。
怎样在有限的算力下尽可能把算法疗效发挥到极至，实现降本增效？快手视频质量评价框架使用了AI方式来驱动算法开发。“早期我们构建了大量的内部测试集，发觉哪怕在数据较小的情况下，AI算法依然比市面上的工具好用，所以前面的迭代主要围绕在内容多样性、处理多样性、codec多样性三个问题来解决。”孙明表示。
快手音质修补“秘籍”
现现在KVQ已广泛应用于快手内部多个业务场景中，如全链路质量监控、基于内容的自适应处理和编码、搜索推荐等。同时，在StreamLake业务中，KVQ早已实现商业化，并为业内数家著名公司提供服务。
数字人直播及互动解决方案推动游戏营销
近来几年，前沿技术的革新也逐步推动了虚拟技术的升级。快手视觉互动技术负责人简伟华分享的《快手3D数字人直播及互动解决方案》，介绍了快手围绕3D数字人，基于快手虚拟世界互动平台KMIP和快手虚拟演播助手KVS，在直播、社交等领域进行的系列实践。
以游戏场景为例，数字人主播使用快手虚拟演播助手（KVS），以3D形象参与到游戏中，不仅自己体验并讲解游戏玩法外，用户也可以在主播的引导下与之进行互动，进而参与游戏进程与结果，甚至可通过打赏等形式入场，以沉溺式第一人称视角操控角色。
在技术的加持下，快手站内参与主题游戏虚拟世界互动的中小主播产值降低了50%以上，直播间付费率提高了2倍以上；带货方面，情人节期间，快手官方联合多位快手虚拟主播进行的直播带货共计4245千人观看，最高同时在线达到3万多人，300千人互动。
快手称，希望以3D数字人的技术栈支持主播和游戏宣发生态，实现多端打通，游戏营销的同时推动直播间个性化互动内容的生产，与平台进行深度联动。用户也可直接参与互动，这样一来，快手既承接了获取流量的部份，也赋于了游戏平台新的互动方式。
快手订制性能优化新框架
在针对更深层次的算法与模型优化方面，快手算法引擎专家门春雷在《基于TensorRT的端到端子图优化框架》的讲演中进行详尽论述，详尽介绍了为用户提供更方便服务的迭代技术。
据了解，NVIDIATensorRT是一个高性能的SDK，用于优化通用模型的推理性能。快手AI预估系统广泛采用TensorRT进行加速估算，但是，工业模型中有一些非通用子图，仍存在优化空间。
门春雷介绍，为了优化那些非通用子图，快手技术团队专门设计了一种借助AI编译器优化子图的端到端框架。具体来说，该框架会手动剖析和剪裁ONNX-Graph中存在性能困局的子图，借助AI编译器对其进行优化，并生成代码以填充到TensorRT插件中。这样，基于TensorRT的二次开发，才能进一步提高服务吞吐，节约估算资源。
针对小型推荐模型的性能优化
作为颈部短视频平台，快手日活用户达3.6亿，日均时长超129分钟。推荐服务在短视频、广告、电商等多项业务中都发挥着重要作用。
软件构架师梁潇在《针对小型推荐模型的性能优化》的讲演中表示，面对推荐时效性强和模型过分庞大的问题，快手通过平衡CPU和GPU的工作负载来优化整个系统，所有的工作都在同一台服务器上完成。这样做既特别适于布署，也能同时充分借助CPU和GPU资源。
方案的实现关键是将部份负载转移到GPU上。为了做到这一点，首先要深度优化CPU算法，而且提高模型在GPU上推理的效率，推理所需的时间越少,就意味着有更多的GPU算力可以拿来承载从CPU上迁移的算法。据悉，技术团队还尝试在GPU端缓存数据，进而降低对DRAM的访问量。
这种优化的动作使GPU借助率从20%左右急剧增强到近90%，吞吐量提升了十倍以上，才能帮助平台在成本可控的情况下，把疗效发挥到极至，更好地为用户提供优质服务。
ChatGPT风潮下加速多模态超大模型在短视频场景落地应用
去年以来，ChatGPT持续火热，让其背后的多模态大模型技术深受更多关注，也为行业带来了众多AI大模型技术研究风潮。超大模型和超级算力结合加速了技术的应用，大模型早已从自然语言处理扩充到计算机视觉、多模态领域等。
在《多模态超大模型短视频场景落地应用》这一讲演中，张胜卓、韩青长、李杰三位技术专家介绍，为了解决大模型应用中共性问题，快手举办技术攻关，沉淀了通用的混和并行训练、推理优化和模型布署整套解决方案。该方案已在快手的多个场景落地，以较低的资源成本取得了明显的业务利润。
快手技术团队称，通过研究发觉，训练时间漫长、推理效率偏低、部署相对复杂是多模态超大模型工程应用的三大绊脚石。为全链路解决上述问题，快手围绕增强模型估算效率和可布署举办技术攻关，沉淀了通用的混和并行训练、推理优化和模型布署整套解决方案。
此外，目前多模态超大模型已在快手的多个场景落地，以较低的资源成本加快业务举办，探求出了大模型从训练到落地的技术路径。同时，结合快手海量的视频资源和多媒体场景，多模态超大模型可以借助多模态特点建立通用理解能力，应用于推荐、广告、搜索、电商等核心业务。
在ChatGPT和GPT-4推动下，AIGC起火。随着AI技术的进一步发展，大模型以及多模态模型的商业化应用将进一步加速。六年磨一剑，例如快手等科技大鳄，将凭着多年提炼的技术“秘籍”，持续赋能亿万用户。快手内部文档切勿外传
