DeepFaceDrawing的深度学习框架由三个模块组成,分别是CE(组件嵌入)、FM(特征映射)和IS(图像合成)。CE模块用来识别一些突出的面部特征,如眼睛、鼻子、嘴巴等,也包括面部剩余的部分。之后,由FM将这些特征映射到即将生成的人脸中,最后由IS生成完整的人脸。
不仅如此,它还可以识别用户画出的不同表情,并以此生成不同表情的人脸图片。
除此之外,用户还可以不画任何物体,只通过选择面部特征,就可以得到人脸图片。这项技术被称作“Face Copy-Paste”。
当然,这项技术还有一些局限性,例如只能生成看上去“漂亮”的脸,但不可否认的是,至少从小黑的角度来说,这项技术的实际运用会相当广泛:
至少警察叔叔们在需要绘制人像的时候,可以先让受害者绘制简单草图,并稍作调整,就可以第一时间知道犯罪嫌疑人的大概长相,而不必再等专门的模拟画像专家上门了。要知道,模拟画像专家可是非常稀有的呢。
通过照片,一键进入迪士尼的世界
如果上面那个AI算法在现实中非常有用,那么接下来小黑要介绍的这个算法,则可以满足每个孩子的“卡通梦”。
这个算法的名字叫作Toonify Yourself。在介绍之前,小黑先放出几张通过它制作的名人卡通头像让大家欣赏一下吧。
虽然小黑个人觉得,这个AI的实现方式并不困难,但它的火爆还是让小黑吃惊:
根据Toonify Yourself开发者的阐述,这个工具刚刚发布就完成了25万次服务,甚至一度还因为挤爆了服务器被迫下线。好在目前,这个工具已经重新上线,感兴趣的小伙伴们可以通过国外的搜索引擎搜索“Toonify Yourself”,来进行体验。
根据开发者之一的Doron Adler介绍,Toonify Yourself采用的是混合网络(Blended Network)机制,这个机制虽然复杂,但整体工作流程与其他的人工智能是一样的:首先,通过预训练模块对数量庞大的数据学习,之后再使用处理模块进行图像的混合生成。
为了保证生成照片的漫画效果,他们收集了迪士尼、皮克斯、梦工厂等动画制作厂商的约300多张漫画图像作为学习数据集。