STYLYクイズチャレンジ 第1回 ～AR編～

# STYLYクイズチャレンジ 第1回 ～AR編～

STYLYの社員向けに技術知識向上を目的としたクイズを作成しました！
今回はそのAR編を公開します！
純粋にARの知識を問うクイズで、STYLYのことを知らなくても解けるようになっています。
ぜひ皆さん挑戦してみてください！


# 問題

## Q1. ARオクルージョンに関する説明で、以下の選択肢の中からもっとも適切なものを1つ選んでください

- [ ] A) ARオクルージョンを有効にしていると、カメラで撮影した実写映像に当たり判定を設定でき、CGオブジェクトが衝突できるようになる。
- [ ] B) iPhoneのLiDARセンサーを用いると、200メートル先にある建物をスキャンでき、オクルージョンに活用できる。
- [ ] C) ARオクルージョンとは、カメラで撮影した実写映像にCGを合成する際、CGの一部を非表示にすることで、実写映像との前後関係の違和感を軽減する技術である。
- [ ] D) テーブルのように静止しているものと、通行人のように動いているものは、どちらも同一のアルゴリズムでARオクルージョンが実現できるため、スマートフォンの機種を気にする必要はない。

<details><summary>答え</summary>

```
C)
```
[解説はこちら](#arオクルージョン)
</details>


## Q2. ARにおけるVPSに関する説明で、以下の選択肢の中からもっとも適切なものを1つ選んでください

- [ ] A) ARにおけるVPSは、Virtual Private Serverの略で、インターネット上の仮想サーバーを利用して位置情報を取得する技術である。
- [ ] B) ARにおけるVPSは、Visual Positioning Systemの略で、画像認識技術を利用して、デバイスの位置を推定する技術である。
- [ ] C) ARにおけるVPSは、アメリカ合衆国によって運用される衛星測位システムのことで、地球上の現在位置を測定する技術である。
- [ ] D) ARにおけるVPSは、Visual Programming Systemの略で、ビジュアルプログラミングを利用してARアプリケーションを開発する技術である。

<details><summary>答え</summary>

```
B)
```
[解説はこちら](#arにおけるvps)
</details>


## Q3. セマンティックセグメンテーションに関する説明で、以下の選択肢の中からもっとも適切なものを1つ選んでください

- [ ] A) セマンティックセグメンテーションを利用すると、空とビルを区別でき、空だけにCGコンテンツを表示する表現が実現できる。
- [ ] B) セマンティックセグメンテーションとは、深度センサーを利用して物体の奥行きを取得する技術である。
- [ ] C) セマンティックセグメンテーションとは、市場にいる不特定多数の顧客をさまざまな切り口で分類し、特定の属性ごとにグループを作るマーケティング手法である。
- [ ] D) セマンティックセグメンテーションを利用すると、遠くから巨大な怪獣がビルを越えて接近してくる奥行き表現を実現できる。

<details><summary>答え</summary>

```
A)
```
[解説はこちら](#セマンティックセグメンテーション)
</details>


## Q4. ARの位置合わせに関する説明で、以下の選択肢の中からもっとも適切なものを1つ選んでください

- [ ] A) スマートフォンARは、暗い場所でも問題なく稼働するため、AR体験会を夜の屋外や映画館で開催してもまったく問題はない。
- [ ] B) スマートフォンARは、乗り物の上でも問題なく稼働するため、電車や船の中でAR体験会を開催してもまったく問題ない。
- [ ] C) スマートフォンARは、カメラで撮影した映像によって位置合わせをしているため、ビルの窓や水面等に景色が反射していると、位置ズレが発生しやすい。
- [ ] D) スマートフォンARは、特徴的な模様のない場所でも問題なく稼働するため、グリーンバック撮影スタジオ等でAR撮影をしてもまったく問題はない。

<details><summary>答え</summary>

```
C)
```
[解説はこちら](#スマートフォンarの位置合わせ)
</details>


# 解説

## ARオクルージョン

オクルージョンとは **遮蔽** という意味の英単語で、AR業界においては、実写映像とCGの前後関係の違和感を軽減する技術を指します。

| ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/221845/194a1d9d-5e0a-6d6d-4ba2-783b20d4df03.png) |
|---|
| 左：オクルージョンを適用したAR、右：従来のAR |
| 図転載: https://styly.cc/ja/manual/occlusion/ |

オクルージョンと当たり判定を併用することはありますが、オクルージョンに当たり判定の機能は含まれません。当たり判定は、CG用語では **コライダー** と呼びます。

静止しているものより、動いているものの方がオクルージョンが難しく、専用のセンサー（LiDAR等）を搭載した端末を用意する必要があります。（2024年現在）

そのLiDARセンサーの有効範囲は5メートル程度であり、200メートル先の建物をスキャンすることはできません。（2024年現在）

| ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/221845/7a0ebd44-800a-d94b-4454-c1d2f464d7bb.png) |
|---|
| LiDARセンサー |
| 図転載: https://time-space.kddi.com/ict-keywords/20201204/3020.html |

より詳しくは以下をご覧ください。

https://styly.cc/ja/manual/occlusion-manual/


## ARにおけるVPS

### 2つのVPS

VPSという略語は、以下の2つの異なる用語で使用されています。

- Visual Positioning System （ビジュアルポジショニングシステム）
- Virtual Private Server (仮想専用サーバー)

ARの文脈では、前者の **Visual Positioning System** がよく使われます。
これは、 **自己位置推定** 技術の一種です。
デバイス搭載カメラで周囲の景色を撮影し、画像処理によってデバイスの位置を推定します。

**Virtual Private Server** は、Web界隈でよく使われます。
これは、1台の物理サーバー上に複数台の仮想的なサーバーを構築する技術です。
ARとはあまり関係がなく、位置情報を取得する技術でもありません。

なお、ビジュアルプログラミングを利用してAR作品を制作できるツールは、STYLY等の事例がありますが、これをVPSと呼ぶ慣習はありません。

### VPSとGPS

衛星測位システムとはGPSのことです。
GPSも **自己位置推定** 技術の一種です。
VPSにはGPS情報を活用するものもありますが、必須ではありません。

VPSとGPSは以下のような違いがあります。

- 高層ビルの多い場所だと、衛星からの電波が届きづらく、GPSは精度が悪くなる傾向があります。
- 反対にVPSは、ビルが多い場所の方が特徴点が増え、精度が良くなる傾向があります。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/221845/1a6ff04e-9590-e3fd-af69-c3e4aa22fbb7.png)


## セマンティックセグメンテーション

セマンティックセグメンテーションは画像処理技術の一種です。
セマンティックセグメンテーションを利用すると、以下のように空だけにCGを表示したりできます！

| ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/221845/22a912f6-d317-e00b-2aab-498babfd3db8.png)|
|---|
| 空と認識したピクセルのみに人の3Dモデルを表示することで、ビルの背後に巨人が存在するかのような表現ができる。 |
| 図転載: https://lightship.dev/ja/docs/ardk/context_awareness/semantic_segmentation/semantics.html |

奥行きを取得できているわけではないので、ビルの奥にいる怪獣がビルの手前まで接近してくる表現はできません。


また、マーケティング手法のセグメンテーションとは関係がありません。



## スマートフォンARの位置合わせ

一般にスマートフォンARは、以下の2つでスマートフォンの位置を推定しています。

- (1) カメラ撮影映像内の特徴点の変化から位置を推定
- (2) 加速度センサー・ジャイロの値の変化から移動量を推定

グリーンバックや暗い場所では特徴点を検出できないため、位置ズレが発生しやすいです。模様のない白い壁なども同様です。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/221845/72e42430-9a85-015c-596d-cc2753760195.png)

繰り返し模様のタイル壁やタイル歩道等は、模様の区別ができずに位置ズレが発生することがあります。

水面や鏡の反射によって景色が映り込むと、鏡像と現実の物体を区別できずに位置ズレが発生しやすくなります。

また、乗り物に乗ると、加速度センサー・ジャイロに影響が出るため、位置ズレが発生します。

AR体験に向かない環境というのは他にもいっぱいあります。
以下の記事がわかりやすいのでオススメです！

https://note.com/chujo/n/nf782108a9243

ARを利用したイベントを開催しようと考えている方は、イベント会場を決める際に、AR体験が問題なくできる場所なのか、十分な確認をするようにしましょう！


# さいごに

本記事作成にあたり、以下のページを参考にさせていただきました。ありがとうございました！

- https://qiita.com/nucoyuyu/items/68adfb6482daf5b8fd3d
- https://www.irasutoya.com/