1.はじめに
近年，プロジェクションマッピングによる映像作品や,プロジェクションされた映像と人がインタラクション可能なものが商業施設で見られるなど,エンタテインメントの分野でプロジェクタを用いたコンテンツは一般的になっている.プロジェクション映像とインタラクション可能なコンテンツの場合,インタラクションする自分の体やスクリーンに映る自分の影とスクリーンに投影されている映像の違いは明白であり，自分の体やスクリーンに映る自分の影は映像に対するインタラクションの手段でしかない.そこで我々はプロジェクタによってプレイヤーの影と全く同じ見た目，動きをするバーチャル影を投影し，プレイヤー自身の影とバーチャル影が混在するスクリーンでインタラクションを行うコンテンツであれば,バーチャル影と自分自身の影の違いが曖昧になると考えた.バーチャル影と自分自身の影の違いが曖昧になることで,プレイヤーは見ている影が自分のものか否かがわからず,プレイヤーの影もプレイヤーがインタラクションできるコンテンツの一部として利用可能になり，従来とは違う体験ができる。またプロジェクションされた映像とインタラクションを行うコンテンツ，影を利用したコンテンツはIVRCでも多く発表されている[1]が,それらは現在の投影先の環境や現在の体験者の影を使用したものである．そこで本企画では現在だけでなく，過去と未来のプレイヤーの姿を表すバーチャル影を投影することで，プレイヤーは過去の自分，未来の自分とインタラクションすることができ，他のプロジェクタを用いたコンテンツには見られない時間の概念を導入する.以上のように本企画では,プレイヤーの影をプレイヤーがインタラクションできるコンテンツの一部として利用し，過去・現在・未来のプレイヤーの姿を表すバーチャル影を投影することで,エンタテインメントとして新しいプロジェクタを利用したコンテンツ体験を提示する.
2.目標
本企画の目標は,プレイヤーの体から出る普通の影とプロジェクタによって投影されるバーチャルな影が混在するスクリーンで影とのインタラクションを楽しむことである.ただプロジェクタによって投影された映像とインタラクションするのではなく，プレイヤーの影と全く同じ見た目,動きをするバーチャル影を投影することでプレイヤーは見ている影が自分のものか否かがわからず,プレイヤーの影もプレイヤーがインタラクションできるコンテンツの一部として利用可能になる。バーチャル影として「過去のバーチャル影」「現在のバーチャル影」「未来のバーチャル影」の3種類を投影することで，時間軸上の過去・現在・未来という違う時点の自分の姿とインタラクションが可能になる.一般に影は現在の自分の姿を表すものという印象があるため,普通の影と時点の違うバーチャル影が混在する環境では，どの影が現在の自分の姿なのかが曖昧になり，不思議な感覚が生まれる．加えてバーチャル影と自分の影を咄嗟に区別することが難しくコンテンツ性が生み出される．なお「未来のバーチャル影」については機械学習ネットワークによってプレイヤーの未来の姿を予測することで実装する.
3. mimiclear
3.1コンテンツ内容
コンテンツの様子を図1に示す.スクリーンには自身の影とプロジェクタで投影された複数のバーチャル影が表示される.プレイヤーはバーチャル影をレーザー銃で攻撃する．バーチャル影を攻撃することでスコアが加算され，自分の影を攻撃してしまうと減点される.プレイヤーは制限時間までにどれだけスコアを稼ぐことができるかを競う．投影されるバーチャル影には種類があり「過去のバーチャル影」「現在のバーチャル影」「未来のバーチャル影」である．文字通り「現在のバーチャル影」は現在のプレイヤーと同じ動きをする影,「過去のバーチャル影」はプレイヤーの0.5秒前の動きをする影,「未来のバーチャル影」はプレイヤーの0.5秒後の動きをする影である（各生成方法は4節で解説).プレイヤーは自分の影がわからず現在の自身の姿勢を客観視できないため「過去の影」「現在の影」「未来の影」のどれが現在の姿であるか判別しづらくなる．また数秒ごとにプレイヤーの背後の光源が切り替わることで,プレイヤーの影の位置は数秒単位で変化する(図 2)ため，凝視によるプレイヤ一影とバーチャル影の判別が難しくなる.
3.2 コンテンツ実装手法
コンテンツ実装の様子を図3に示す.プレイヤーの正面にスクリーンとRGB-Dカメラを設置し, RGB-Dカメラによってプレイヤーの骨格推定を行う.推定された骨格情報を基にバーチャル影を生成し,プロジェクタでスクリーンに投影する.設置した光源によって意図してできるプレイヤーの影ではなく，プロジェクタ自身が光源となりできてしまったプレイヤーの影がスクリーンに映るのを防ぐため,プロジェクタはプレイヤーの前に設置する必要がある.そこでプロジェクタにはスクリーンとの距離が短くても映像を投影することのできる短焦点プロジェクタを使用する（上手く行かない場合は通常のプロジェクタをプレイヤーの上に設置し投影).またプレイヤーの背後に弧状に複数の光源を配置し、コンテンツ内で発光する光源を切り替えることでスクリーンに映るプレイヤーの影の位置を変化させる。光源はマイコンで制御し，バーチャル影は光源の位置情報からプレイヤーの足元からスクリーンに伸びる影があると，自分の影の発見が容易になってしまうため,床を黒くするなどして足元の影がわからないようにする.バーチャル影を攻撃するためのレーザー銃を図４に示す.銃に取り付けたトラッキング可能なコントローラーにより銃の位置と角度を取得し，銃の角度とスクリーンまでの距離からスクリーンのどの部分に照準が合っているかを計算する.バーチャル影に照準があった状態でコントローラーのトリガーを引くとバーチャル影を攻撃することかできる.
3.3コンテンツ進行手順
まずコンテンツ開始前にプレイヤーのＴポーズをRGB-Dカメラで撮影し,プレイヤーの骨格とプレイヤーの形状を取得する．Tポーズの骨格と形状を対応付けることでプレイヤー個人の骨格に合わせた影型を生成する.コンテンツの制限時間は２分であり，プレイヤーはバーチャル影をレーザー銃で攻撃する.攻撃した影がバーチャル影であれば，攻撃されたバーチャル影は消え，スコアが加算される．しかし攻撃した影が自分の影であれば滅点される．プレイヤーの影を出すために設置された光源が切り替わり，切り替わるタイミングでバーチャル影もリセットされる。また光源が切り替わるタイミングは三つある。一つ目は経過時間による切り替えであり，体験中決められた秒数が経過する毎に光源が切り変わる.更にスコアの増加に応じて切り替わる間隔を短くすることで，自分の影とバーチャル影を判別することが難しくなっていく.二つ目は自分の影を攻撃してしまった時の切り替え，三つ目は投影されているバーチャル影を全て消してしまった時に光源が切り替わる．コンテンツ終了後，スコアからランクを判定しプレイヤーに提示して終了となる.
4.バーチャル影
4.1 「過去のバーチャル影」「現在のバーチャル影」
「現在のバーチャル影」はRGB-Dカメラで現在撮影されている動画フレームからプレイヤーの骨格を推定し，コンテンツ開始前に撮影したＴポーズのプレイヤーの姿に対応づけることで生成し，光源の位置とプレイヤーの位置から計算した整合性のとれた影をプロジェクタで投影する。また「過去のバーチャル影」はRGB-Dカメラで現在撮影されている動画フレームの0.5秒前の動画フレームからプレイヤーの骨格を推定し,同様にプレイヤーのＴポーズ姿と対応づけることで生成し，整合性のとれた影をプロジェクタで投影する.
4.2  「未来のバーチャル影」
「未来のバーチャル影」は「過去のバーチャル影」「現在のバーチャル影」と逢い, RGB-Dカメラ画像から骨格を推定することはできない．そこで本企画ではプレイヤーの未来の骨格を機械学習ネットワークによって予測することとする．骨格情報を入力として未来の骨格予測を行う機械学習ネットワークが提案されている．堀内ら[2]は過去 10フレームの26個の骨格点それぞれ三次元座標を入力として機械学習ネットワークに送り，0.5秒後の骨格点それぞれ三次元座標を出力する機械学習ネットワークを提案している．本企画ではこれらの機械学習ネットワークを参考にデータセットの作成，ネットワークの学習を行い，未来のプレイヤーの骨格を予測できるようにする.機械学習ネットワークによって予測された骨格情報とプレイヤーのTポーズ姿を対応づけることで「未来のバーチャル影」を生成し、光源の位置とプレイヤーの位置から計算した整合性のとれた影をプロジェクタで投影する.
5.システム構成
全体のシステム構成を図５に示す.コンテンツの実装は統合開発環境のUnityで行う.
6.制作物完成予想図
制作物の完成予想図は実装と同じく図６である.スクリーンの大きさや光源の位置は会場の大きさに合わせて調整するが，影の大きさやプロジェクタの焦点距離の関係から可能な限りスクリーンと光源の距離を取る.  RGB-D カメラにはAzure Kinectなどの骨格推定が容易にできるものを使用する. ・竜影遊戯 (Co-play / 東京工業大学 / 2003 年) http://ivrc.net/archive/電影遊戯2003/ ・第3.5次産業革命(metaphy /電気通信大学,青山学院大学/ 2003年) http://ivrc.net/archive/第3-5次産業革命2003/ • INVISIBLE ~影を追う者~(Team Shadow /奈良先端科学技術大学院大学/ 2005年) http://ivrc.net/archive/ invisible-～影を追う者～2005/ ・かげくり(2.5D /岐阜大学/ 2007年) http://ivrc.net/archive/かげくり-2007/ ・かげかみさま(かげかみさまのおかげ/奈良先端科学技術大学院大学/ 2007年) http://ivrc.net/archive/かすかみさま-2007/ • THE DREAMING PILLOW (Armella Leung,Olivier Oswalt / ATI-Universite Paris / 2008 年) http://ivrc.net/archive/ the-dreaming-pillow-2008/ ・I SHADOW(影ケバプ／神奈川工科大学／2011年) http://ivrc.net/archive/ i-shadow2009/ • TICKLE A SHADOW(!nteracTeam /慶應義塾大学/ 2013年) http://ivrc.net/archive/ tickle-a-shadow2013/ ・めざせドラムマスター (まちかねワニさんチーム/大阪大学/ 2018年) http://ivrc.net/archive/めざせドラムマスター2018/ [2]  Y.Horiuchi et al: Computational Foresight: Forecasting Human Body Motion in Real-Time for Reducing Delays in Interactive System, Proceedings of the 2017 ACM International Conference on Interactive Surfaces and Spaces, pp. 312–317, 2017.