ARCore とセルシェーダーと環境光推定

### ARCore とセルシェーダーと環境光推定

田舎の開けた場所で。

照明が入るとキャラよりもメカで遊びたくなる。


- [ARCore の Light Estimation](#arcore-の-light-estimation)
   - [光源](#光源)
   - [スカイボックス（映り込み）](#スカイボックス映り込み)
   - [その他](#その他)
- [歩きながらキャラを置いたら](#歩きながらキャラを置いたら)
- [デレステの AR モード](#デレステの-ar-モード)
   - [Vuforia SDK](#vuforia-sdk)
   - [デレステ AR モードの利用規約](#デレステ-ar-モードの利用規約)




<!--
https://qiita.com/sator_imaging/items/3c72b53729e28a709feb
-->


### 昼間＆夜間

<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">NPR セルシェーダーにはつらい照明環境<br><br>Light Estimation with <a href="https://twitter.com/hashtag/ARCore?src=hash&amp;ref_src=twsrc%5Etfw">#ARCore</a> <a href="https://t.co/X3oPEKvpoC">pic.twitter.com/X3oPEKvpoC</a></p>&mdash; サトー (@sator_imaging) <a href="https://twitter.com/sator_imaging/status/1161520191446163457?ref_src=twsrc%5Etfw">August 14, 2019</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>








## ARCore の Light Estimation


Light Estimation は環境光推定って訳でいいのだろうか。



### 光源

- 光源の向きは良い感じ。
    - 夜間に自動販売機の横に置いたらちゃんと照明がその向きから来た。
    - けど自販機の横を過ぎてタイムラグがあってからライティングが反映された。
- 影の色や強さは拾ってくれない。
- 影の中にキャラを置いても日陰にいる感じにはならない場合と、なる場合がある。
- 照明の明るさは怪しい…？
    - スマホの照度センサーを覆っても明るさは変わらなかったので、センサーを使っているわけではなさそう。
    - セルシェーダーの場合は、ライトの明るさをクリップしないと明るくなりすぎる。
        - 背景のカメラ画像の平均輝度をライトの明るさにする、ぐらいが丁度よさそう。




### スカイボックス（映り込み）


- スカイボックスも作ってくれてるみたいだけど、ちょっと良くわからない画像になってる。
    - どこで撮影しても同じテンプレの画像を使ってるように見える。
        - 明るいライトや草とか、特徴的な部分は映り込んでほしかった。
    - 映り込み用のスカイボックス画像は自前で作った方が良さそう。



### その他

- カメラのブラーやボケ、グレインは上手いこと合わせたい。
    - ARCore の設定でフォーカスモードを Fixed にすればボケは気にしなくても良さそう。
        - パンフォーカスだとしてもカメラのモーションブラーは付けないと合わない。グレインも。
    - スマホのカメラの焦点距離とか取得できそうな気がする。けど機種間で差がありそうだ。



## 歩きながらキャラを置いたら


- [Light Estimation with ARCore - YouTube](https://www.youtube.com/watch?v=hkKt1A57K6o)<br />
   <a href="https://www.youtube.com/watch?v=hkKt1A57K6o"><img src="https://i.ytimg.com/vi/hkKt1A57K6o/hqdefault.jpg" /></a><br />
   <iframe
      class="embed-card embed-webcard"
      scrolling="no"  frameborder="0"
      style="
         display: block;  border: none;
         margin: 10px 0px;
         width: 100%; height: 155px;
         max-width: 500px;
      "
      src="https://hatenablog-parts.com/embed?url=https://www.youtube.com/watch?v=hkKt1A57K6o">
   </iframe>




## デレステの AR モード


デレスポが出る、 のでデレステのアカウントを復旧したら AR モードが付いてた。


- [『デレステ』をもっと楽しむための新アプリ『デレスポ』発表―VR対応でアイドルがもっと身近に！ | インサイド](https://www.inside-games.jp/article/2019/08/22/124113.html)
   <iframe
      class="embed-card embed-webcard"
      scrolling="no"  frameborder="0"
      style="
         display: block;  border: none;
         margin: 10px 0px;
         width: 100%; height: 155px;
         max-width: 500px;
      "
      src="https://hatenablog-parts.com/embed?url=https://www.inside-games.jp/article/2019/08/22/124113.html">
   </iframe>




### Vuforia SDK


使用しているのは Vuforia というやつ。


AR マーカー（画像）以外にも立体物の認識が出来るようだけど、フィギュアを認識してどうこう、みたいな機能は特に見当たらず。



- [Vuforia SDK 4.0 with Object Recognition](https://www.youtube.com/watch?v=YaSWX6hqnDk)<br />
   <a href="https://www.youtube.com/watch?v=YaSWX6hqnDk"><img src="https://i.ytimg.com/vi/YaSWX6hqnDk/hqdefault.jpg" /></a><br />
   <iframe
      class="embed-card embed-webcard"
      scrolling="no"  frameborder="0"
      style="
         display: block;  border: none;
         margin: 10px 0px;
         width: 100%; height: 155px;
         max-width: 500px;
      "
      src="https://hatenablog-parts.com/embed?url=https://www.youtube.com/watch?v=YaSWX6hqnDk">
   </iframe>



### デレステ AR モードの利用規約

参考。

<p><img src="https://dl.dropbox.com/s/wl5ftzwuqhskgyn/%E3%83%87%E3%83%AC%E3%82%B9%E3%83%86AR_EULA_01.png" /></p>

<p><img src="https://dl.dropbox.com/s/sw2dar9xx4bwqwu/%E3%83%87%E3%83%AC%E3%82%B9%E3%83%86AR_EULA_02.png" /></p>