李荣浩又因为小眼睛上了热搜。
在#李荣浩的眼睛特效不大#的话题下,有一段李荣浩和杨丞琳结婚照的变脸视频。换脸后,李荣浩的眼神彻底变成了一条线,孙红雷也在微博转发“五十步笑百步”:
这个特效太过分了,李老师,有人黑你!
对此,网友们的评论都是“哈哈哈哈”。
细心的人可能已经注意到视频中的快手APP标志了。这是正确的!以上对小眼群体不太友好的功能是快手新推出的“变身漫画”特效。
这种真人一键变卡通效果的背后,是生成对抗网络(GAN)。
一键打破次元墙
目前,快手《变漫画》特效已在人气挑战榜“本周实时榜”(2002年6月15-21日)排名TOP 1,约有86个7.20,000 用户使用。
其中很多明星都拍过同一个视频,玩法也五花八门。
比如陈赫拿出类似苍蝇拍的“神秘钥匙”解除了二次元的封印。
邓紫棋擦了擦玻璃,换了脸。
不知道张艺兴用手势穿梭了多少次次元。
进入二次元后,明星们的发型、五官等细节都“还原”了,同时多了几分俏皮和灵动。
不过,将真人变成漫画并不少见。近年来,特效照片应用层出不穷。将图片和视频变成漫画风格、古风风格、手绘风格、油画风格,甚至改变性别和年龄,对用户来说都不是问题。
生成对抗网络 GAN
说到换脸,有一种技术是无法回避的——生成对抗网络 GAN。
雷锋网(公众号:雷锋网)此前曾报道,GAN作为一种深度学习模型,在机器学习中是一个比较新的概念。它于 2014 年 10 月首次出现在著名的 Google Brain 科学家 Ian Goodfellow 及其团队之前。在团队发表的论文《Generative Adversarial Networks》中。
机器学习模型分为两类:生成模型和判别模型。顾名思义,它们各自的功能就是根据数据集进行生成和判断。
Ian Goodfellow 之所以能成为“GAN 之父”,是因为他创造性地提出了通过对抗性(Adversarial)来估计生成模型的概念,同时训练生成模型和判别模型,让两者相互对抗并生成模型。需要尽可能生成真实的图片来欺骗判别模型,同时判别模型要尽量将生成模型生成的图片与原始数据集区分开来。
这个过程就像游戏中两个玩家之间的战斗。一开始满脸迷茫,到最后“真相越来越清楚”。这种机器之间自发的相互学习可以说是非常智能的。
而且 GAN 有很多种类型,其中最常见的是 Cycle GAN。
其实CycleGAN是人脸转换早期的一次重要尝试。既可以从源到目标的转换,也可以进行反向转换,方便学习两个类别之间的转换关系,更好地保证转换后的图像质量。
如上图,斑马可以变成马,那么即使改变动作,马也可以再次变成斑马;同理,夏天可以变成冬天,换景后冬天又可以变回夏天。
虽然上述快手动漫风格的换脸效果没有透露具体的技术信息,但之前尝试将人脸变成卡通形象的尝试确实使用了CycleGAN,相关论文也在2019年7月发表。 arXiv,一个预印本平台。
值得一提的是,这项研究利用了所谓的地标辅助 CycleGAN。
根据论文,这里的“地标”不是我们常说的“地标”,而是五官,所以我们可以把这项技术理解为CycleGAN的特别版——“五官辅助的CycleGAN”。
技术怎么样,我们来看看效果(雷锋网注:右边第二列是CycleGAN生成的;右边一列是CycleGAN辅助面部特征生成的)。
现实中的美女变成了二次元的小萝莉。
时尚的人造卡通看起来也不错。
此外,一些研究团队已经使用面部特征将低分辨率图像转换为基于 GAN 的高分辨率图像。感觉好多年的近视已经痊愈了!
看到这里,是不是要感叹它的神奇?
其实还有更神奇的,比如活人的大变化。
这是西班牙互联网棋盘制造商 REGIUM 网站上的员工资料页面,看起来并没有什么特别之处。但实际上,被陷害的四位工程师是“假人”,在现实生活中并不存在。
雷锋网了解到,这些“人造人”来自一个国外的打脸网站这个人并不存在.com,而且这些照片也是基于GAN的。
然而,换脸技术仍存在诸多问题——比如曾经一夜爆红的三日爽ZAO APP,以及在全球范围内臭名昭著的Deepfake,都引起了各界的关注。
p>
如何合理使用这种换脸技术是需要考虑的问题。