2024 年 2 月 9 日

2023 年度 I 類 (情報系) コンピュータサイエンスプログラム 卒業研究最終発表会

スマートフォンを用いたアバター向けコレクションケースの実現
I 類 (情報系) コンピュータサイエンスプログラム 成見研究室 学籍番号: 2010742 渡邉匡太郎
データに反映していない”, ” 人の顔の動きを読み取って1 はじめにいない” という点で異なる.

3.3

近年の AR・VR を中心とした XR 市場の発展は目覚

仮想コレクションケースましく, AR・VR 表示機器の世界市場は 2030 年には 7

神澤は裸眼 3D ディスプレイを用い, 展示物を裸眼で兆円を超え, 2021 年の世界市場と比べて 11.6 倍になると立体視するプログラムの開発を行った [5]. 五十嵐はこれ予測されている [1]. また, メタバース上でアバターのよを改良し, 2 枚の LCD パネルと Kinect を用いた仮想コ

うな 3DCG データの商品を売買できるイベントも増え,レクションケースの開発を行った [6]. Kinect によって

3DCG データを集め, コレクションするということがでコレクションケースの利用者の視点情報を取得し, 2 枚のきるようになった.

LCD パネルに映し出す画像に反映することで, アバターデータが 1 つに見えるようにしている.

しかし, このようなアバターデータを現実世界の中で,一方, このシステムでは, コレクションケースのサイズ観賞したりすることは一般的ではない. 例えば, Fumi-が大きく, 手軽に使用できるとは言い難い.

Fumi[2] のように, アバターが現実世界の中にいるかのよ

3.4

うな写真を撮るアプリケーションもあるが, アバターとIGaze

Michael Kipp らはヘッドトラッキングと 3D 効果を用インタラクティブに相互作用できるような観賞の仕組みいた, アバターとの対話システムである IGaze を開発しはあまりない.

た [7]. IGaze は 42 インチのディスプレイと IR カメラ,2 研究目的

2 つの赤外線 LED が取りつけられた眼鏡によって構成されており, 使用者の背後に設置された IR カメラによっ

本研究では, スマートフォンを用いて安価, かつ手軽て, アバターの視線を観察者の頭に追従するように調節にアバターデータを観賞することのできるコレクションし, 没入感を生み出した.

ケースの実現を目指す. コレクションケースの動きや人本研究とは, ” コレクションケース以外の装置を必要との顔の動きを読み取り, アバターの動きにインタラクティブに反映することを目指す.

しない点” で異なる.

3 既存技術・関連研究

4

3.1

4.1

キャラクター召喚装置 ”Gatebox”

システム概要図 1 はシステムの概要図である. コレクションケース

Gatebox 社の開発した Gatebox では, 透過スクリーン

本体には 3 台のスマートフォンを使用し側面に並べるこの背後から単焦点プロジェクターを用いてアバターデーとで作成した (図 2). スマートフォンに内蔵されているタを投影することによって, ホログラムのように表示す

カメラを使用して使用者の顔の位置を取得し, 観察者のることができる. カメラやマイク, センサーを搭載してお視点に合わせてアバターデータを表示する. また, スマーり, 観察者の動きや声に反応してコミュニケーションをトフォンのセンサーを用いて傾きを検知し, アバターをとることも可能である [3].

よろめかすなど動きを作る.

本研究とは, ” 高価でない”, ” 小型でない” という点で本システムでは, Netcode for GameObjects を使用し,異なる.

3.2

システム実装取得した使用者の視点位置を他のスマートフォンにも共デジタルフィギュア観賞用ディスプレイ ” デジタル有することですべてのスマートフォンで適切な画像を表フィギュアボックス”示できるようにした.

アバターデータを観賞する方法として, スマートフォ4.2ン上でアプリケーションを動かすものがある. Gatebox

顔認識による視点の移動使用者の視点情報を取得するために, Unity パッケー社の” デジタルフィギュアボックス” では, 専用のアプリジである AR Foundation のフェイストラッキング機能

ケーションとスマートフォンを格納する箱によって, 安を使用した. AR Foundation では, 実際のカメラ位置を価にアバターデータを観賞できる [4].

Unity シーン内の基準点と対応させている. そのため, 実

本研究とは, ” コレクションケースの動きをアバター

1

図 1 システム構成図

図 3 各マークの位置によるマークのずれ

クの垂直方向, 水平方向のずれである.
図 3 より, コレクションケースの誤差は, 垂直方向よりも水平方向のほうが大きく, 特に, 側面の描写が正しくないという結果が得られた. これは, コレクションケースのサイズがスマートフォンの厚みの分だけ大きくなってしまうことを考慮していなかったことが原因であると考え

図 2 外観図る. そのため, 仮想空間のコレクションケースを実物のコレクションケースに合わせることで解決できると考える.

際のカメラと顔の位置関係を Unity シーン内に再現する6ことができる.

4.3

本研究では, 既存研究であったコレクションケースをアバターに動きをつける

スマートフォンを使用することで小型化し, 違和感の無アバターデータに動きを持たせるために, PuppetMas-い表示を行うことができた. また, コレクションケースのter を使用した. また, コレクションケース内に小さな球動きに対応して, アバターの動きに変化を持たせること状の物体を設置し, コレクションケースを傾けるとそのによって, アバターとインタラクティブに相互作用でき傾きを検知して動くようにした. アバターデータはこのるような観賞が実現できた.

球体と干渉するため, コレクションケースを動かすこと

今後の課題として, 顔認識の範囲や精度を向上させる

で, アバターの動きにインタラクティブに反映される.

4.4

ことが考えられる. カメラに広角レンズを取りつけ, 顔認コレクションケースの側面の描写識の範囲を広げたシステムを作成することや, 外付けの本システムでは, projectionMatrix を使用し斜め投影カメラを使用することが考えられる.

を行うことで, コレクションケースの側面を切り抜いたような, 現実に即した画像情報を得た.

参考文献[1] 株 式 会 社 富 士 キ メ ラ 総 研, ” 『AR/VR 関 連 市 場 の 将 来展 望 2023』 ま と ま る”, 富 士 キ メ ラ 総 研 ホ ー ム ペ ー ジ,https://www.fcr.co.jp/pr/23012.htm (参照 2023-09-27).
[2] ピ ク シ ブ 株 式 会 社, ”FumiFumi”, VRoid Hub ホ ー ム ペ ー ジ,https://hub.vroid.com/apps/2ODeEyNy9K
BnHnXsFR4lP6PSJ6pOtZWthfXICSwhCDI (参 照 2023-1002).
[3] Gatebox 株式会社, ” キャラクター召喚装置 Gatebox”, Gatebox ホームページ, https://www.gatebox.ai/gatebox (参照 2023-10-02).
[4] Gatebox 株式会社, ” デジタルフィギュアボックス”, Gatebox ホームページ, https://www.gatebox.ai/digitalfigurebox (参照 2023-1002).
[5] 神澤俊. 裸眼 3D ディスプレイを使った仮想コレクションケース. 電気通信大学, 卒業論文, 2012 年.
[6] 五十嵐達郎. 仮想コレクションの二画面化. 電気通信大学, 卒業論文,2018 年.
[7] Kipp M., Gebhard P.: IGaze Studying Reactive Gaze Behavior in Semi-immersive Human-Avatar Interactions. In Proceedings of the 8th International Conference on Intelligent VirtualAgent, pp. 191-199, 2008

5 システムの評価
5.1

実験概要

人型のフィギュアを 3D モデル化し, 仮想コレクションに配置したものと, 同じサイズで作成した現実のコレクションケース内に現実のフィギュアを配置したもので比較する. 撮影する位置と角度を変えながら本研究で作成したコレクションケースと現実のコレクションケースを撮影し, フィギュアの体の部位や, コレクションケース内に設置したマークのずれを測定した.

5.2

まとめ

実験結果

仮想コレクションケースと実物のコレクションケースのマークのずれを x 軸方向, y 軸方向でそれぞれ計測し,その距離を算出した. 図 3 は各マークの位置によるマー2