不仅变高清,还能动起来
咳咳,梳(ba)理(gua)完了,我们还是照例说回到技术本身。
虽然MyHeritage没有详细说明这一火爆应用背后的技术细节,但大致上,让老照片动起来的效果,需要两步来完成。
先是用超分辨率,让照片变得更高清:
然后再用动作迁移,将另一个视频中的人物动作,“迁移”给照片中的人物。首先,是超分辨率技术,也就是通过降噪、增加分辨率等方法,来增加照片的清晰度。
这里,就需要GAN来发挥作用了,对这种模型进行训练后,再采用其中的生成器,来对低频图像进行重建。
整体而言,GAN能够解决MSE损失函数缺少高频信息的问题,从而补全图像中有关高频细节的内容。