DeepLearningはアニメを変えるのか？

（題を付けかえました。このページ中の画像は、それぞれの引用先のサイトの画像を表示しているものです。）

最近、Deep Learning関連では、アニメ産業自体にも影響しやすい技術が多数開発されているように思う。

まず、セル画の時代からある輪郭線をラフスケッチからトレースする作業が自動化されてしまうのではないか？

- [ラフスケッチの自動線画化](http://hi.cs.waseda.ac.jp/~esimo/ja/research/sketch/)
![ラフスケッチの自動線画化の画像](http://hi.cs.waseda.ac.jp/~esimo/images/sketch/teaser.png)

![ラフスケッチの自動線画化のネットワーク](http://hi.cs.waseda.ac.jp/~esimo/images/sketch/overview.png)

web サービス[■全層畳込みニューラルネットワークによるラフスケッチの自動線画化](http://hi.cs.waseda.ac.jp:8081/
)


------

次の２つの技術によれば、そのような線画画像に基づいて、色指定と着色の工程を自動化できてしまう可能性がないか？

- [初心者がchainerで線画着色してみた。わりとできた](http://qiita.com/taizan/items/cf77fd37ec3a0bef5d9d)

![初心者がchainerで線画着色してみた。わりとできたの画像](https://qiita-image-store.s3.amazonaws.com/0/61566/fca1a905-6d75-8294-8e93-447c870e22e7.jpeg)

しかも、簡単な方法で色指定をして着色させることもできています。
![初心者がchainerで線画着色してみた。わりとできたの画像の色指定例]
(https://qiita-image-store.s3.amazonaws.com/0/61566/d9cad146-1980-fb8c-059b-d824d527ca9a.jpeg)

作者の方がWEBサービスを提供を開始しました。
[線画の着色のデモ](http://paintschainer.preferred.tech/)

自分のPCで動作させたい方は、以下のリンク先へ
- [線画着色webサービスPaintsChainerを公開してみた](http://qiita.com/taizan/items/7119e16064cc11500f32)

- [PaintsChainer](https://paintschainer.preferred.tech/index_ja.html)
「ラフな写真を線画化できます」
「自由に色を指定できます」
「着色スタイルを選べます」


- [ディープネットワークを用いた大域特徴と局所特徴の学習による
白黒写真の自動色付け](http://hi.cs.waseda.ac.jp/~iizuka/projects/colorization/ja/)
![白黒写真の自動色付けのモデル](http://hi.cs.waseda.ac.jp/~iizuka/projects/colorization/images/model.png)

- [ディープラーニングで白黒アニメをカラー化するとこうなる](http://gigazine.net/news/20160510-neural-network-colorize/)

![ディープラーニングで白黒アニメをカラー化するとこうなるの画像](http://i.gzn.jp/img/2016/05/10/neural-network-colorize/00_m.png)


-------------

さらには、登場人物のキャラクタデザインにおいてさえ、Deep Learningの可能性が示されている。

- [Chainerで顔イラストの自動生成](http://qiita.com/mattya/items/e5bfe5e04b9d2f0bbd47)
![Chainerで顔イラストの自動生成の画像](
https://qiita-image-store.s3.amazonaws.com/0/51673/56f4f456-6666-f2f0-e80e-945432d8516f.png)

自動生成を試してみたい方はmattyaさんによる以下のサイトで試してみてください。
[Chainer-DCGAN](https://mattya.github.io/chainer-DCGAN/)

さらに自動生成される画像の大きさと質が向上している。
[2017-08-21
「自動生成」された美少女は、手書き美少女と区別がつくのか？](http://prehyou2015.hatenablog.com/entry/zidouseisei)
![画像例](https://cdn-ak.f.st-hatena.com/images/fotolife/k/kasumi19732004/20170818/20170818173919.jpg)


[TensorFlowによるDCGANでアイドルの顔画像生成](http://memo.sugyan.com/entry/20160516/1463359395)


[Generating Faces with Torch](http://torch.ch/blog/2015/11/13/gan.html)

-----
さらには、「『なぜか我々が放り込まれている世界』を『ほんとうの世界(美少女)』」に直接Deep Learningで変換するにいたっています。

- [機械学習で美少女化 ~ あるいはNEW GAME! の世界 ~](http://qiita.com/Hi-king/items/8d36d9029ad1203aac55)

![実写画像Vectorizerの学習](https://qiita-image-store.s3.amazonaws.com/0/28934/3828894e-247e-b82f-31ef-9a36e8f26772.png)


github https://github.com/Hi-king/kawaii_creator

---

追記：
　アニメ画像の特徴としては、背景領域の領域分割がされていて(セル画の輪郭線)、減色処理(セル画では利用できるペイントの数が限られています)がなされていて、単純化されている傾向があると思います（「サザエさん」などのリミテッドアニメの世界。この時代は人がそのような単純化した背景を作画する。）。
　セル画の時代から、デジタルでの作成の時代になって、作画の色の使える範囲が大幅に広がったこともアニメを変えています。作画の表現力が広がったことは、一方ではそれだけの作画を手作業でする人の大変さを増しているともいえるのでしょうか。

また、最近のアニメでは、着目している部分にだけピントをあてて、その他の部分にはボケを与える処理がされています。（「響け！ユーフォニアム」など。この時代では、作画した時点で各奥行きごとのレイヤーでデータを持っているので、その特定のレイヤー以外に対してだけピントを合わせ、他のレイヤーに対しては、画像処理によってボケを加えている様子がわかります。「響け！ユーフォニアム2」のオープニングは、カメラの視点が微妙にゆらいでおり、そのことによって机などが3Dとしてつじつまのあう動きをしています。その効果が空間としての存在感を感じさせるものになっています。）

　実写画像を元に加工してアニメの背景画像を作る傾向は増えてきているように感じています。（電車から見える町並みのシーン、「3月のライオン」の次回予告に使われている町並みのシーン。ただ、最近はほぼ実写そのものという感じにまで加工が減ってしまっていた。）


背景を実写動画から解釈して、それを元にアニメの背景らしく画像をつくりあげるDeep Learningが出現しても、もはや驚きはないような気がしてきます。次に示すchainer-gogh　は、静止画に限る理由はありません。

- chainer-gogh　[画風を変換するアルゴリズム](https://research.preferred.jp/2015/09/chainer-gogh/)

そこで、動画に対してその手法を適用した結果があります。この動画の中で、どのように動画に対してchainer-goghを適用したのかが簡潔に書いてあります。

- [人工知能×MMDで手書き風動画を作りたかった【Chainer】](http://www.nicovideo.jp/watch/sm28307258)


上の画風の変換では、対象物の理解はないままに行われるアルゴリズムですが、Deep Learningは対象物の理解をした上での処理が日に日に可能になってきているのを感じています。

- [Chainerを使って写真を新海誠さん風イラストに画風変換する](http://nullnull.hatenablog.com/entry/20161214styletransfer)

> 元論文やPrismaではゴッホの画風変換に取り組んでいましたが、この記事ではもっと皆さんに身近な例と言える、漫画やゲーム・アニメ風のイラストへの画風変換に取り組んだ結果をご紹介します。


- [「道路状況を見る目――自律走行車はどうやって周囲を認識するのか」](https://blogs.nvidia.co.jp/2016/01/05/eyes-on-the-road-how-autonomous-cars-understand-what-theyre-seeing/)

　上記のような実画像の動画シーンの中からシーンの理解に基づく領域分割はDeep Learningで進んでいく技術の一つですから、それも近いうちにアニメっぽくする技術の中にとりこまれていくのではないかと期待しています。


「最近流行りのディープラーニングで中割もできるようになったらいいのにな。」
[自動中割り hanepen β](http://umomemo.hatenadiary.jp/entry/2016/07/03/233451)
という記事を見つけました。



[「アニメを3D(サンジゲン)に!(星海社新書) 」](https://www.amazon.co.jp/%E3%82%A2%E3%83%8B%E3%83%A1%E3%82%923D-%E3%82%B5%E3%83%B3%E3%82%B8%E3%82%B2%E3%83%B3-%E6%98%9F%E6%B5%B7%E7%A4%BE%E6%96%B0%E6%9B%B8-%E6%9D%BE%E6%B5%A6-%E8%A3%95%E6%9A%81/dp/4061386050)

「いま、日本のアニメの中に「3DCG」という大きなうねりがうまれています。使いどころ次第では、クオリティを向上させつつコストの削減ができてしまうという3DCG。」の3DCGの部分がDeep Learningに置き換えることができるのではないか。

[猫の線画を着色するモデルを学習させた(pix2pix-tensorflow)](https://qiita.com/knok/items/4cfa2f9ca06b57cb233b)

---
2024年追記
研究の進展がすごすぎる。
https://x.com/NaveenManwani17/status/1870158336253190184