深度生成算法ILO
利用这种方法重建的图像,能构造出非常细节的人脸图像,甚至连马赛克人脸都能还原:
不过,这种方法也有一些问题,那就是在还原图像的过程中,模型会更注重图像风格的相似、而非像素的相似(即感知相似)。
所以即使人物逼真,在细节上也可能会出现像这样与原图不一致的情况:
深度生成算法ILO
当然,将图片变得清晰后,还需要利用动作迁移,让照片动起来。
这项技术能实时提取一段视频中的任务关键点,并将这些关键点和照片中的人脸关键点对应起来。
利用一项名为“骨架”(skeleton)的技术,模型将视频人物的关键点提取出来,并给照片中的人物也标记上对应的关键点。
动作迁移算法TransMoMo
然后,再一帧帧将视频人物的动作“迁移”到图片中去。
通过这种方法,哪怕只有一张照片,也能让里面的人物跟着“开口说话”:
确实接近于“魔法”了。
有人感动,也有人担心
除了对“魔法”效果的惊叹,这样的技术,也实实在在带来了感动。
在reddit热度高达2.9k的火爆讨论之中,就有网友写下了自己的真实感受:
我试了试我父亲的老照片,效果令我哽咽。他在我几个月大时就去世了,这是我第一次看见他动起来,眨眼、微笑……
也有网友提出,这要是搭配上AR放到博物馆里,让照片里的人亲自给你讲述他们的人生故事,那真的简直了。
不过,也有不少网友表示,担心这样的技术被滥用,比如拍摄某些小电影……
而虽然MyHeritage强调他们不会向任何第三方提供用户上传的照片,并且未被完全注册的照片会被自动删除,但网友仍然对数据泄露表示担忧。
毕竟MyHeritage本来也有过翻车历史……2018年6月,MyHeritage被发现一个安全漏洞,泄露了超过9200万名用户的数据。这些数据,包括用户的Email地址和密码。
虽然MyHeritage声称,用户家谱、DNA图谱和信用卡等信息存储在另一个系统,未被泄露,且在漏洞发现当天就对用户进行了双重身份验证。
但2019年12月,这些泄露的信息却出现在了各种非法网站上,正被出售(而且出售的信息不止Email地址和密码)。