爱收集资源网

快手移动应用数据分析平台解决问题

网络整理 2023-09-17 00:07

据联通应用数据剖析平台 App Annie 在 7 月 10 日发布的 2019 年第二季度最新联通应用市场报告显示,快手在 2019 年第二季度消费额排行中坐落第四,成为中国最挣钱的短视频平台之一。

快手的赢利能力从侧面反映出快手内容的受欢迎程度,用过这个软件的小伙伴可能深有感悟,当你点击感兴趣的视频以后,快手会手动推荐更多符合你的兴趣的内容,不知不觉时间就过去许久。快手才能了解用户兴趣并依据用户喜好推荐感兴趣的视频,归功于它背后的个性化推荐系统。

然而,面对 2 亿日活,日均千万级视频上传的业务规模,快手推荐系统面临的技术挑战巨大。短视频内容推荐领域有什么难点和痛点?快手推荐系统怎样解决这种问题?与同类型平台的推荐系统相比,快手推荐系统有何非常之处?这些疑惑,快手推荐构架负责人任恺将在本文一一解答。

短视频内容推荐的难点和挑战

任恺表示,和其他大体量的短视频平台一样,快手的短视频内容推荐面临着多方面的挑战:一是推荐系统扩展性的挑战,随着活跃用户数、用户时长日渐降低,推荐模型和策略日渐复杂,都对推荐系统的扩展性产生巨大压力;另一方面,快手短视频每晚有千万级别的视频上传,如何进行平等普惠和秒级实时的流量分发、创建社区生态,也对系统和算法提出了巨大挑战。

为了解决上述问题,快手在构架层面上使用估算与储存分离的方法来水平扩充系统,以提升硬件资源的利用率。另一方面,为了完善秒级实时系统,快手首先使用自建的实时数据流系统保证特点和训练样本的实时更新,同时借助自研的模型训练框架来支撑千亿参数的深度模型的在线学习。通过从系统、数据和模型三个层面改善实时性和扩展性,快手基本上可以克服上述短视频内容推荐的难点和痛点。

在此,任恺重点指出了工业级环境对推荐系统提出的挑战,推荐系统怎样迭代能够应对工业环境变化带来的挑战呢?任恺说道,工业级别的推荐系统都是多人团队同时迭代的,如何建立好的平台型工具提升每位工程师的效率,以及怎样进行服务整治提升系统整体效率和稳健性,都是决定一个系统是否成功的关键要素。另外,任何推荐算法和机制的改进都要围绕用户需求和用户生态来建立,任何工业级的推荐系统迭代都须要考虑以上要素。

快手推荐系统机制与构架

与 YouTube、今日头条、优酷等同类视频内容平台相比快手热门算法,快手的推荐系统有着自身的奇特机制与策略快手热门算法,比如为了避免信息茧房,快手会在为用户进行个性化推荐的同时,帮助用户拓展兴趣边界,推荐用户可能感兴趣的内容。

通过推荐,快手想要鼓励视频生产和用户抒发。快手每晚用户的视频上传量达到千万级别,其中生产者的占比较高,且用户的平均视频上传量较高,因此,快手推荐系统的机制会考虑流量分发的普惠性,通过普惠性来鼓励用户通过短视频抒发自己,并与其他用户构建社交关系。

在构架上,目前快手推荐系统采用估算与储存分离的模式(如下图所示)。其中,推荐系统中的存储型服务主要拿来储存和实时更新上亿规模的用户画像、数十亿规模的短视频候选池,以及千亿规模的排序模型参数。而计算型服务主要进行视频召回检索、推荐模型预估和推荐策略估算。

(快手推荐系统构架简短图)

短视频行业推荐系统技术演进

推荐系统用于短视频的历史不算很长,但是在这段时间,推荐技术早已经历过迅速的迭代和优化。从系统构架层面来说,随着用户规模和业务复杂程度的下降,系统逐步呈现出分布式和异构化的趋势。在算法层面上则经历了树模型、大规模稀疏模型、在线学习模型、在线深度模型等一系列发展。

快手推荐系统也在技术演进中紧随技术时尚,采用最新的技术,并成为技术演进的推动者之一,包括采用千亿级参数在线学习的深度模型、强化学习排序模型、基于 Embedding 向量召回等机器学习技术。

快手热门算法