- 手机:
- 18888889999
- 电话:
- 0898-66889888
- 邮箱:
- admin@youweb.com
- 地址:
- 海南省海口市玉沙路58号
大家对换脸并不陌生,比如ps高手将图片中的人脸乾坤大挪移;《速度与激情7》更是让大家了解到,在电影中也存在换脸技术
要对视频换脸,是个挺麻烦的任务,有几点要考虑
1、需要保持原视频中人脸的姿势、表情、光照等信息
2、需要处理脸前方的头发、眼镜等的遮挡
3、侧脸、低头等非正脸姿势的处理
4、视频需要保持稳定,不能有闪烁抖动

上图是github上一个用户,采用cycleGan对两个主播互相换脸的效果,第一行是原图,第二行是合成图,第三行是由第二行再生成类似原图的图
这其实也是cycleGan的原理,同时学两种变换,y=F(x) 和 x'=G(y),要求 F(G(y)) y, G(F(x))
x
这个视频效果还是挺震惊的,甚至得到了生成对抗网络之父Goodfellow的转发

最近更火的,是Reddit上一个用户,将AV主角换成了明星脸,做成视频放到youtube上。据说该用户也就利用了一些现成的开源代码,合成的视频在一定程度也足够观看了

如果要精准的做人脸替换,一般必备的工作之一,就是人脸对齐。通过对脸部几十或上百个点位的检测,把目标脸的点位和原图脸部点位对应上,从而能约束目标脸的几何位置。同时,还需要对头发等遮挡物与脸部做分割,合成时也需要在边界处平滑处理。也有很多基于三维重建的工作,通过三维空间投影,来实现更精准的人脸替换
2017的ICCV有个相关工作:《Fast Face-Swap Using Convolutional Neural Networks》,这里贴出paper里的流程图,对人脸替换框架有个直接感受

目前的人脸替换,在正脸场景下效果较好,在侧脸、遮挡等情况下,会出现较多失真、变形,都属于技术不断进化的方向
当技术炉火纯青之时,当视频中的人脸替换再也不需要人工一帧帧修正,就可以以假乱真时,这种技术对影视、视频甚至社交的冲击力,将可能非常巨大
比如
拍摄电影,明星真的需要去片场吗,肖像权是否变会得更值钱?
看任何电影时,观众是否可以根据自己喜好,将主角替换为自己喜欢的任何人?
每个普通用户,是否获得了拍摄大片的机会,至少从自娱自乐的角度?
你对看到的任何视频,包括直播和视频聊天,还会相信眼见为实吗?
不管怎样,技术提高了效率,让换脸这一在影视行业存在多年的繁琐工作,有望变得平民化,并逐渐诞生出各种脑洞大开的应用