アニメのシーンから３次元モデルを生成してみた

# きっかけ

ワイ君、ある日Youtubeで下のような複合MADにハマっていた。
<iframe width="560" height="315" src="https://www.youtube.com/embed/0BBiLxMJ_fQ" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>

ワイ「はえ～すっごい。これ似てるシーンつなげてるんやな。素敵やん。アニメってすごいなあ。どうやって作られてるんやろか」

http://lanmy.net/2015/07/perspective-1/

ワイ「はえ〜すっごい。ちゃんと構造がしっかりしてるんやな。ん？じゃあ現実の写像なんじゃね」

# o(ﾐﾟｴﾟﾐ)o「３次元復元機〜」

ワイ「現実の写像なら３次元復元可能やろなあ。２次元アニメの３次元復元て素敵やん」

__説明しよう！
３次元復元とは、複数枚の２次元画像から３次元モデルを生成する手法のことだ！__
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1135021/3e5bdb47-40d9-4f6b-21d3-c7adecbd5690.png)
図：２次元画像から復元した３次元モデル（引用：https://hdtopography.github.io/learning/SfM-MVS/GIS_uchiyama_2018/1.about_sfm/1.about_sfm.html）

ワイ「ポケモンのこのシーンをフレーム分割して３次元復元ソフトに入れるやで。ガラガラポンで出来上がるの楽しみや」

https://youtube.com/clip/UgyaBoZEBZgrQkop_mR4AaABCQ

・・・・・・数分後

３次元復元機「できたやで」

<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">ポケモンBWでフォトグラメトリ<a href="https://twitter.com/hashtag/%E3%82%A2%E3%83%8B%E3%83%A1%E3%83%95%E3%82%A9%E3%83%88%E3%82%B0%E3%83%A9%E3%83%A1%E3%83%88%E3%83%AA?src=hash&amp;ref_src=twsrc%5Etfw">#アニメフォトグラメトリ</a> <a href="https://t.co/6qKzQIQ7Pg">pic.twitter.com/6qKzQIQ7Pg</a></p>&mdash; ソウ (@soh_nekocat) <a href="https://twitter.com/soh_nekocat/status/1389577971606822913?ref_src=twsrc%5Etfw">May 4, 2021</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>


ワイ「ええやんけ。じゃあこっちはどないや」

https://youtube.com/clip/UgxbouEtrewJlAiIGlN4AaABCQ

・・・・・・数分後

３次元復元機「できたやで」

<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">ポケモンBWでフォトグラメトリ２<a href="https://twitter.com/hashtag/%E3%82%A2%E3%83%8B%E3%83%A1%E3%83%95%E3%82%A9%E3%83%88%E3%82%B0%E3%83%A9%E3%83%A1%E3%83%88%E3%83%AA?src=hash&amp;ref_src=twsrc%5Etfw">#アニメフォトグラメトリ</a> <a href="https://t.co/wFJ6lWorn3">pic.twitter.com/wFJ6lWorn3</a></p>&mdash; ソウ (@soh_nekocat) <a href="https://twitter.com/soh_nekocat/status/1389578245192916992?ref_src=twsrc%5Etfw">May 4, 2021</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

ワイ「ちゃんと３次元になってるやん！　やっぱりアニメの３次元復元は可能やったんや！」

# 他のアニメシーンでも試してみた
注：権利関係上、入力画像として使ったアニメのシーンは割愛
## 日常

<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">日常でフォトグラメトリ<a href="https://twitter.com/hashtag/%E3%82%A2%E3%83%8B%E3%83%A1%E3%83%95%E3%82%A9%E3%83%88%E3%82%B0%E3%83%A9%E3%83%A1%E3%83%88%E3%83%AA?src=hash&amp;ref_src=twsrc%5Etfw">#アニメフォトグラメトリ</a> <a href="https://t.co/CB6CwQBok2">pic.twitter.com/CB6CwQBok2</a></p>&mdash; ソウ (@soh_nekocat) <a href="https://twitter.com/soh_nekocat/status/1389578887512788997?ref_src=twsrc%5Etfw">May 4, 2021</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>


## FGOバビロニア

<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">FGOバビロニアでフォトグラメトリ<a href="https://twitter.com/hashtag/%E3%82%A2%E3%83%8B%E3%83%A1%E3%83%95%E3%82%A9%E3%83%88%E3%82%B0%E3%83%A9%E3%83%A1%E3%83%88%E3%83%AA?src=hash&amp;ref_src=twsrc%5Etfw">#アニメフォトグラメトリ</a> <a href="https://t.co/3IFRFgW6U7">pic.twitter.com/3IFRFgW6U7</a></p>&mdash; ソウ (@soh_nekocat) <a href="https://twitter.com/soh_nekocat/status/1389579096821092353?ref_src=twsrc%5Etfw">May 4, 2021</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

# まとめ

今回はアニメのシーンから３次元モデルを生成してみました。
アニメのカットは厳密には現実の写像ではありませんが、思ったよりもキレイに３次元復元できている印象です。
選んだシーンは主にパンと回り込みで、３次元復元に必要な要素である、画像のラップ率を高く保つことができた点が、うまくいった要因のひとつだと考えられます。

ワイ「３次元ルイズ作りたいンゴねえ・・・・・・」

# 使ったソフト
3DF Zephyr
https://www.3dflow.net/3df-zephyr-photogrammetry-software/