二审、二审、三审、四审。
初审决定一个视频平台公司能不能活，也决定它会不会死。
话说，B站也曾被请去喝珍珠咖啡。
AI技术对于视频初审的意义，很大一部份是减少人类初审的工作量。
视频，按其体量可被视为工业界最大的业务场景之一。
参考爱奇艺官宣每晚大约形成的数量规模，主页频道的内容规模，上千。PGC内容。上万，UGC内容，上百万。
参考阿里巴巴资深算法专家王晓博公开讲演：“只要视频平台开放了UGC上传口，每晚百万级数目级上传量，挡都挡不住。”
快手名场面，鼠年新年达3.2亿日活跃用户的峰值，虎年新年愈发牛（多地提倡，原地春节）。
优质岗位长期空缺，视频初审大师广告文案如下（假想版）：
“一月3休，每周300小时强制工时，每晚只须要工作到深夜3点。”
现在，AI技术在“审核”环节用得最广，初审要求十分高，例如鉴黄。
假如AI看不懂视频，初审工作全部归人类，这是一桩严重违背《劳动法》的血案。
视频平台都有初审中心，TikTok也曾设有海外初审中心，2020年5月在日本加洲总部筹建一个名叫“透明中心”的部门，实则是初审中心。这儿都是劳动密集型办公，光靠人力不够。
初审大师手捏日本船票，正打算拾掇个人物品跑路，AI就上岗了，一插电，初审数目级从十万骤减到十亿。
弹幕飘过：“好开心，感谢你。”
一、AI初审看不懂视频，还会“误伤”。
打伤哪些，都不能打伤性感美眉。科学讲解如今开始，例如，某日，性感美眉的泳装视频被粗俗整蛊了，数个小时内上传量猛增。广大网友四处求资源，“好人一生平安”。
热度偏低，视频初审如何办？“长腿美眉泳衣专项治理工作小组”在一片祥和安宁的氛围中成立。
要么，把所有富含泳衣三点式泳衣的相关视频都召回，一刀切。结果促使召回视频大部份是不相关的，把维密天使、海景Vlog、游泳教学、港姐选美的视频都错误召回了。
BGM播放：“哦漏，哦漏，哦漏漏漏漏。”
要么，用技术手段精准地找到不雅视频，再把不相关的给人力处理。
最后，清点全部召回的视频，评估有多少错的，多少对的。正确率越高，说明算法越精准。
快手初审负责人：“哦耶，哦耶，哦耶耶耶耶。”
视频初审也要对文本、语音、图像、视频等（不同种类的多媒体）进行统一搜索。
“跨界”从多种媒体中，找出长得像的作品，既能“查重”，就能严打“洗稿”。
例如，“六神磊磊”讲金庸的文字手稿，时常被“搬运”，改头换面，就成了“历史故事”短视频，还有一堆不明真相的群众点赞。
初审低效，速率都会很慢，热点流量的高峰将至，就难以处理。
快手初审大师说：“我终究没能飙得过那辆奔驰，只能眼望它在晚霞中绝尘而去，不是引擎不好，而是脚蹬子坏了。”
再瞧瞧高德地图：“没有AI，就没有路了。”
于是，AI算法工程师狠狠心，训练人工智能“看懂”视频。
二、AI读懂视频很难，关键在于读懂到哪些程度？
例如，破格公主姚安娜在快手跳了一段现代舞。
AI看懂（字幕、弹幕、广告口号、标题），听懂（曲目、歌词），读懂（姚安娜，她在唱歌，在家里唱歌）。
姚安娜情绪很积极，可惜，舆论情绪很负面。
评论一：“跳得好不好不说，有一种有钱人的自信。”
评论二：“这水平，春节给同事演出的觉得。”
AI顺手完成一道附加题，搞清了群众对公主唱歌的心态。
比起AI读懂破格公主姚安娜的相片，AI处理视频是关注整条视频的信息，不像传统方式关注的是图片（相片）的信息，视频信息量更大。
将二维图片信息升维了，降低了时间序列信息，既一脉相承，又有技术创（nan）新（ti）。
再例如，爱奇艺的AI技术怎么读懂视频？
仔细看，在播放进度条横线的上方，AI画了波浪线，把视频里精彩的部份标明下来，称作视频highlight。
AI能画出“潮退潮落”，证明AI晓得那里是“高潮”，并且还有时间“印记。
问题一：为何快手AI认识姚安娜？
人脸辨识在警员哥哥那儿抓嫌疑犯，在视频中就是辨识艺人，或则给艺人换脸。
例如爱奇艺APP的“只看他”功能已经上线，爱奇艺等长剧场景特别须要，短视频业务里就不是刚需。
只看《如懿传》周迅的片断，只播放进度条中周迅的片断。计算机先把视频切分了，按段剖析。
在长视频里，技术实现并不难，就是花多长时间找下来。
问题二：为何快手AI读得懂视频里的字？
OCR通常用于收据信息辨识，在软件中一键辨识，收据号码，消费金额等信息，RPA机器人能够做到一键填入。
OCR来到视频的世界，除了希望能读懂视频中的每位字,也希望能理解它们的类型、重要性和逻辑。
姚安娜的视频只是其中一个，视频平台要管理亿级视频的“大仓”，系统要能给视频分类。
分类也是在理解的基础上进行。这儿就不得不补一段“标签的历史”。
视频理解过去主要是标签，如今是颗粒度更细。标签分为，内容标签和类型标签。
内容标签是对文本、图文或则短视频等内容的表征。
表征，就是用一些关键词或则是句子来抒发对应的内容是哪些涵义“萌宠”与“萌娃”就是两种不同的萌物。
内容标签，是依照内容生成标签，换句话说，有哪些样的内容就有哪些样的标签。标签的集合是开放的。
类型标签，是一个分类体系，就是把不同的内容分到不同的体系下边，这个分类体系是预先定义的，例如“影视”与“动漫”。
曾经做到，软件快速为快手视频生成热门内容标签，解决快手视频关键词没法漏出的问题，但对于细细度结构剖析则较少。如今，快手用视频理解技术关联，能把视频关联到相关视频。
快手后台初审人员做哪些呢？她们忙着给访问量高的视频打标签，关联到热点。
姚安娜唱歌的视频，也会被打标签。
安防视频好多都是无声的（无音柱摄像头），而娱乐视频里信息量很大，人脸、商品、物体、人物行为、地点、文字、歌词、对话、时间。
线索越多，难度越大，那如何办？
答案：多模态联合建模，用好视频里一切可以借助的信息。
媒体内容包含多种形态，例如视频、图片、声音、文字等等。
技术小妹妹敲黑本：综合使用这种媒体形态的技术，称作多模态技术。
AI媒体内容生产，就是手动、批量的生产这种不同模态的内容。从1970年代起步的多模态学习，英语全称MultiModalMachineLearning(MMML)。
经历了多个发展阶段，现今全面步入深度学习的阶段。
图象、视频、音频、语义之间的多模态学习比较热门。
例如互联网小型视频平台，快手爱奇艺优酷腾讯，就会将多模态技术用于视频理解业务，可以加视频封面，视频抽帧，加文本信息融合，例如做视频分类，视频质量评估。
欢声笑语中，AI默默接手海量视频管理，撑起快手视频亿级市值。
三、AI技术处理图片是主流，AI处理视频，一直力不从心。
在国外，算法推荐内容方面最典型的公司，是明日头条、抖音和快手。
几年前，2018爱奇艺世界会议上，CTO刘文峰说：“私人影院的观看时长由于有了智能推荐提升了15%。”这告诉我们推荐也是AI技术的基本功。
AI初审和推荐都及格了，而且，特效和剪辑，AI仍然力不从心。
B站两个镇站之宝，“鬼畜”与“踩点”。
踩点之王“改革立秋吹遍地，中国人民真争气”。剪辑大师把赵本山台词拼下来，把对应的帧找下来，凑上画面，配上音质。弹幕飘过：“再来亿遍“停不出来”屏幕背后，笑出猪喊声。
在快手科技，多媒体内容理解部门（MultiMediaUnderstanding，MMU)，有一种工程师的岗位，称作多模态内容创作算法工程师。
岗位职责里面写着：“对海量多媒体素材（如图片、视频、文本、音乐等）进行深入语义理解，在此基础上进行素材打散、内容匹配和智能创作，产生多元化高质量的内容，服务于智能广告生成、视频智能混剪等方向。对无监督学习、搜索、强化学习、GAN、图形学等方向有深入了解者优先。”
这一岗位，上海、杭州、成都都有。
巧了，《亲爱的数据》有一位同学在快手做AI算法工程师，偷窥了一眼“OfferLetter概览”，每位月基本工资25000元，还不算公司市值对应的常年激励。
快手MMU张德兵在知乎中谈道：
“（MMU尝试的十个方向）未来可能会诞生一个AI，它可以利用全网的信息跟你沟通交流，模态不限。除了能充分理解你，但是可以用最直观易懂高效的方法给你传递各种信息，潜在对于资讯、娱乐、教育、商业等诸多行业都形成十分大的影响。”
与此同时，在字节跳动，智能创作图象组也做这个特效方向。
计算机眼中，视频中有好多“帧”，理解视频，从帧入手。
一个视频大约抽几帧，关键帧里有哪些样的人物、场景、动作、情绪、服装、化妆、道具，将视频分解成为更小的颗粒去理解。
再说智能国图功能，几乎所有背部视频平台都有。
“封面”可以就是“一帧”。能做到输入一段视频用算法解析视频，输出视频封面，还可以给不同用户剪出订制封面。
游戏向多模态技术，拈花一笑。
腾讯多媒体实验室，开发了一套《使命召唤手游》视频智能剪辑工具，想推广到超大规模视频剪辑中。
技术也很硬核，有通用视频理解框架，还用到了时序动作分割与文字辨识等技术。
腾讯游戏和快手有啥关系呢？游戏直播等来始于游戏的视频是快手等视频平台内容原料之一。
其实，视频初审，离不了AI。
AI技术想彻底搞定视频，难度十分大，现实场景比学术场景复杂的多。所以，放松一下，渐渐来吧。
台湾社畜有一句话：“事情做不完就今天再做吧，运气好的话，今天死了就不用做了。”
最后，放下那段恶搞片，有事冲着AI来。
（完）
《亲爱的数据》出品
