爱收集资源网

千元安卓机也能体验高端iPhone

网络整理 2023-09-16 16:07

雷刚发自凹非寺

量子位报导|公众号QbitAI

秒变娃娃脸,技术应用又有新突破。

但是相比P图后“变脸”,此次是拍摄短视频时终端实时进行“变脸”,上至万把元的iPhone下至千元安卓机,都能体验,甚至没有网路也OK。

你可能没想到,此次推动全球技术之先的是中国公司快手。

没错,就是老铁双击666的快手。

秒变冻龄

在其最新迭代的版本中,拍摄页面上线了名为“变男孩”的魔法表情。

拍摄界面选择该表情进行短视频拍摄,才能秒变冻龄,实现娃娃脸的样子——一千个老铁,有一千个娃娃脸老铁的样子。

例如这样:

这样:

以及这样:

上手简单,看上去也好玩,但稍懂技术原理,就晓得实现这样的应用和疗效,实际十分不简单。

核心是借助GAN——对抗生成网路。

此次除了国外首个实现端上实时GAN,也是全球范围内第一次实现iOS安卓多平台、全型号覆盖的视频实时GAN,甚至出于技(lao)术(ban)实(yao)力(qiu),快手AI工程师们还实现了“断网”壮举——没有网路状态也能用。

这是完全终端本地化的实现AI能力,是包含Google在内的AI头雁公司才有的追求。

但是相比翻译、语音辨识,视觉和实时视频,对于终端算力、内存资源、模型训练和压缩要求都更为苛刻,不仅要投入资源攻坚,还得顶着用户体验的压力,最后在各类各样的终端用户场景中接受检验。

挑战似乎不小。

但可以直接带来的效益,值得直面这份挑战。魔表上线3天即到百万使用量。

实时变脸的潮与难

其实你也多少留心到了,“变脸”、“换脸”在全世界掀起了一股新风尚。

不仅没有证据但可能在驾车的各种deepfakes,从图片到视频,从变老、男变女、女变男,返老孩童,全球网友玩得不亦乐乎。

简单回顾上去,最初在视频中推出实时“娃娃脸”的是Snapchat。

在去年5月,这个海外社交应用推出了该新功能,研制构建时长一年之久。

但疗效也立竿见影,一经发布,日活下跌10%。

其后还间接带火了日本变脸应用FaceApp,好多名星和普通人,开始利用应用看见自己老去、还童的疗效。

快手刷粉_淘宝快手刷粉_快手刷双击粉丝安卓

但放眼全球,还能跟上这些技术热潮的也不算多。

并且从Snapchat和FaceApp,也能看出技术实现之挑战。

一方面,实时视频几乎不能覆盖全型号全平台——Snapchat就只能在iOS支持。

另一方面必须借助云端训练和疗效施行,对网路状况要求也很高。这带来的小插曲是日本政客号召封杀FaceApp,由于上传相片到云端快手刷双击粉丝安卓,会让美国侵犯日本人隐私。

而快手选择做端上实时“变脸”,目标是能给所有用户带去更潮的短视频玩法。但不仅技术上的难要解决,留给快手Y-tech技术小分队的时间只有一个多月的时间。

没错,一个多月,打完Snapchat一年的仗。

“娃娃脸”背后技术

虽然早在18年4月份,快手早已在端侧实现了“变老”的功能疗效。

但从技术而言,“变老”和“娃娃脸”的难度,不可相提并论。

浅显点说,“变老”不须要改变人脸结构,可以通过贴妆形式实现,娃娃脸的人脸结构有很大变化,在五官细节上也和成人有很微妙的差异,但是万人千面快手刷双击粉丝安卓,无法用传统贴妆方式实现。

另外,“娃娃脸”效果,P图和实时视频的挑战也不一样。

视频所追求的,是在没有人为干预的条件下,快速生成疗效逼真的娃娃脸。

因而也就有两大挑战必须解决:

这种挑战,也是Snapchat在iOS实现而未能全平台全型号覆盖的诱因——iPhone的算力和资源,算是最下层的。

但中国实际情况,以及快手的用户而言,安卓用户占比不低,但是安卓型号种类较多,不同型号算力和显存资源差别较大,因而完成实时视频变“娃娃脸”,在快手这儿产品需求有了更明晰定义:

设计一个就能覆盖高、中、低不同型号的解决方案。

于是,快手技术团队采取了差别化的AI模型生成方案,针对不同型号,采用相应解决方案。

对于算力较高的型号,可以让AI模型做更多的工作,例如生成的图象范围更广,细节更清晰。

对于算力较低的型号,可以把一部份AI模型的工作拆下来用传统的方式去解决。

但是总体还有一点,不管算力高低,最后到用户使用中,都得实现GAN的“秒变”,这也就意味着算力再低,也要有高质量的AI算法实现——挑战和能力都隐含其中了。

最后,对于快手来说还有一项潜在挑战:网路。

一方面是用户体验上的审视,实时疗效对延后要求很高,服务端估算降低的网路延后对于实时应拿来说十分明显——用户须要等待,体验的疗效滞后。

另一方面,假如用户还坐落边远山区,手机讯号和网路不好,体验都会显得十分糟糕。

所以从一开始,快手技术团队对这款特效的目标就定成了达到“手机断网”也能用。

因而所有算法操作,都在手机端完成,不须要把用户拍摄的图象或视频传到前端服务器做算法处理。

用一个小小手机,完成了算力强悍的服务器能够做到的事,这是快手技术团队在“娃娃脸”功能上秀出的实力。

但是这只是实力的冰山一角,后台深藏的是驱动快手产品往前的基础引擎。

技术积累之力

正所谓水滴石穿非一日之功。

快手这次才能推动全球技术应用之先,快手自研的YCNN深度学习推理引擎、定制化模型压缩算法都是幕后功臣。

正是基于内部自研的压缩模型,能够在审视各类边界条件、有限的估算以及显存资源条件下,仍然把模型的估算量降到最小,同时又不影响算法疗效。

而快手端上深度学习推理引擎,为娃娃脸算法落地提供了有力支持。

这个起名YCNN的深度学习推理引擎,之前介绍快手AI时也多次提及。

这是快手自研的、支持多平台的、深度优化的神经网路推理引擎,是快手好多AI功能的强悍加速器,支持包括不限于NEON、SSE、Metal、NPU,OpenCL,OpenGLES的优化方式和技术。

在此次“娃娃脸”功能里,针对联通平台尤其是高端安卓机估算能力较弱的特性,YCNN引擎在定点化推理方面的优化,提出了低帧率高性能的解决方案。

实际上,近几年来,在深度学习研究领域,GAN等模型被广泛的应用到解决各类问题上,但像快手这样坚持构筑核心基础引擎,并最终让产品功能受惠,让终端用户受惠的,并不多。

但是也因为产品落地和应用的成功,技术上的难度和积累少为人知。

实际上,让拥有不同手机型号的每一个老铁,就能无差异享受高算力AI技术带来的乐趣,背后是非常强悍的技术团队的付出。

但这样的团队,也有委屈的时侯。在近来快手首次举行的技术OpenDay上,有校招中学生透漏“因为家里人、朋友认为快手Low而抒发过不想让她们选择来快手工作”。

假如才能全面了解一下快手,了解下快手的普惠价值观,以及通过这家公司的努力给普通人的生活带来的改变,相信她们的看法会改变。只有全面的了解以后,能够作出客观的判别。

那假如更深入了解端上GAN的进展突破呢?知晓“本地化无网路”也能应用AI模型呢?或则更进一步晓得压缩模型和推理引擎的强大……

可能是时侯给与快手以及快手的技术更多正名了。

但是在技术可能减缓资源、地区和发展不平等的明天,快手能通过终端产品让每一个用户无差异体会技术的乐趣、感知不一样的世界,还帮助更多边远地区加速商业化提高收入,善莫大焉。

把技术推向更前沿值得感慨,用前沿技术构建接地气的、普惠的产品,值得赞扬。

你说呢?

Lastbutnotleast,作出这款特效的技术团队是快手的Y-tech团队,这儿也非常传送门一下:

快手Y-tech,是快手在人工智能等前沿领域的探求者和先行者,以研制前沿科技、提升用户体验、创造用户价值为使命,旨在于在计算机视觉、机器学习、深度学习和计算机图形学等领域举办技术研究和业务落地。

研究的技术方向还包括图象处理、人脸辨识、多媒体技术、SLAM/AR/VR/MR、三维重建、优化算法,推荐,ranking,gameAI,机器学习平台,数据库,数据剖析,加强学习等。

最后,附马上能体验的H5传送门(也可直接点击阅读全文),欢迎分享你的“宝宝照”到盆友圈。谁还不是个孩子呢?

—完—

真挚急聘

量子位正在招募编辑/记者,工作地点在上海中关村。期盼有才华、有热情的朋友加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。

量子位QbitAI·头条号签约作者

վ'ᴗ'ի追踪AI技术和产品新动态

快手刷双击粉丝安卓