【顔】に関するコンピュータビジョンの研究

最近, 顔関連の研究が盛り上がってるので, 備忘録も兼ねて, 個人的に気になった研究を記事にまとめた.
結果は特に上手くいったものをピックアップ（テイラースイフト率高め）. 

# 似顔絵(Portrait)
- __APDrawingGAN: Generating Artistic Portrait Drawings From Face Photos With Hierarchical GAN__  
  APDrawingGAN を使って顔のパーツごとに実画像to似顔絵の変換をするGenerator&Discriminatorを用意し, 学習. 100枚のプロのイラストレータによる似顔絵と実画像の対のデータを100枚(!)用意し, 回転（3通り）・拡大・縮小（3通り）でdata augmentationしx6に.   
[[Paper]](http://openaccess.thecvf.com/content_CVPR_2019/papers/Yi_APDrawingGAN_Generating_Artistic_Portrait_Drawings_From_Face_Photos_With_Hierarchical_CVPR_2019_paper.pdf)[[GitHub]](https://github.com/yiranran/APDrawingGAN)[[Demo]](http://face.lol/)

|![227F1AEE-4511-4F9D-BB98-860AABA8B09D.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/227432/8440ff3b-2756-4174-7137-bb358a0dcd37.png)|![86EA0AD3-7229-4FAC-B278-6CD663BBFCF8.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/227432/88d11e0f-e2e7-68a0-287e-a96dfa31a128.png)|
|:-:|:-:|
|input|output|

- __U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation__  
実画像toアニメ画像の変換を行うGANの研究. 実画像toアニメとアニメto実画像のGenerator/Discriminatorを用意することで, 対のデータでなくても学習ができるよう工夫. Attention機構を用いて目や口を強調して変換する事で, 従来より豊かな表現力を獲得. 実画像・アニメ画像それぞれ3400枚ずつのselfie2animeデータセットも提供.  
[[Paper]](https://arxiv.org/pdf/1907.10830.pdf)[[GitHub]](https://github.com/taki0112/UGATIT)[[Demo]](https://waifu.lofiu.com/)

|![499FD0B8-8476-47AA-BCC0-755E7AFA8DE2.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/227432/a1cada5b-3ca3-3a65-2eef-6b902d1adfa1.png)|![89F72440-1F26-4738-80EB-850323DD9562.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/227432/a4aa9f95-7136-9da9-49c4-a0c909e04e1f.png)|
|:-:|:-:|
|input|output|

# 顔3次元モデリング
- __Face-to-Parameter Translation for Game Character Auto-Creation__
１枚の静止画to3D顔モデルの変換に関する研究. 荒野行動の会社が自社のゲーム用アバターに適用する模様.
[[Paper]](https://arxiv.org/pdf/1909.01064.pdf)

- __paGAN: Real-time Avatars Using Dynamic Textures__
静止画一枚から3Dモデルの生成. 顔を顔で操れるiOSアプリも提供.
[[Paper]](http://luminohope.org/SIGA2018_paGAN.pdf)[[Demo]](https://apps.apple.com/us/app/pinscreen-instant-3d-avatars/id1322184255)

|![taylor.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/227432/fdd8ba7e-d721-a8fd-8714-5f68f2e5351e.jpeg)|![paGAN.gif](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/227432/6c26fe00-721e-f9df-ecb3-0a66b0115c4d.gif)|
|:-:|:-:|
|input|output|

# 顔操作(Manipulation)
- __MaskGAN: Towards Diverse and Interactive Facial Image Manipulation__
セマンティックなラベル（肌,口,目など）から自然な顔画像を生成. CelebAMask-HQのデータを用いて, SPADEの手法を適用. 学習データのほとんどが西洋系の顔のためかアジア系の顔を入力しても, 西洋人のような顔になって別人になるのが残念. 
[[Paper]](https://arxiv.org/pdf/1907.11922.pdf)[[GitHub]](https://github.com/switchablenorms/CelebAMask-HQ)
![Screenshot from 2019-09-25 17-45-46.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/227432/43d1c7fd-d0ce-c93c-b3f6-ace0e9fb0483.png)
![Screenshot from 2019-09-25 17-53-15.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/227432/af47bb2f-bce1-0e69-a0e4-08ea904d2f76.png)


- __Detecting Photoshopped Faces by Scripting Photoshop__
フォトショによる顔の変形を深層学習により推定. ヒートマップで出力. このコードをAdobeが公開してるというのが個人的にツボ.
[[Paper]](https://arxiv.org/pdf/1906.05856.pdf)[[GitHub]](https://github.com/PeterWang512/FALdetector)