情報処理学会 インタラクション 2019
IPSJ Interaction 2019

2C-61
2019/3/6

空中への運動視差立体視 CG 映像の投影と手による直接的なインタラクションの提案
高崎 真由美1,a)

水野 慎士1,b)

概要：本研究では，空中に運動視差による立体視三次元 CG 映像を投影しながら，その映像に対して手による直接的なインタラクションを実現するシステムを提案する．マイクロミラーアレイプレート等を用いた空中ディスプレイで表示した CG 映像とインタラクションを実現するシステムは従来より提案されているが，表示される映像は平面的であった．本研究で提案するシステムでは，ユーザの視点位置に応じた映像をリアルタイムで生成することで，立体知覚に重要な運動視差を再現しながら三次元 CG 物体を空中に表示する．そして，ユーザの指先位置に応じて三次元 CG 物体の移動，変形，生成を行う．システムを実装した実験では，空中に立体的に表示された三次元 CG 物体を指で直接触れながら様々な操作が行えることを確認した．

1. はじめに映像生成に関する技術や機器の進歩に伴い，三次元 CGを様々な方法で観察したり対話操作したりすることができるようになった．例えば，VR や AR に対応した HMD を使用することで，仮想空間に入り込んで三次元 CG を直接操作したり実空間に三次元 CG が実在するように重畳表示することが可能となってきている．
その中でも，本研究ではマイクロミラーアレイプレート(a) 指による空中への三次元的(b) 異なる視点からの三次元的お絵描きお絵描き観察を用いた空中への映像表示に着目する [1]．マイクロミラーアレイプレートを用いることで，HMD を装着することなく実空間に映像が存在するように観察することが可能である．そして，その映像とのインタラクションを行う手法もいくつか提案されている．しかし，空中に三次元 CG 物体の映像を表示した場合でも，映像は空間中の平面に投影されているように観察されて，三次元 CG 物体がその場に立体的に存在するような感覚を得るのは困難であった．
そこで，本研究ではマイクロミラーアレイプレートを用いながら，三次元 CG 物体の映像を空中に立体的に表示する手法を開発する．これにより，三次元 CG 物体が実際に実空間に存在するように立体的に観察することが可能となる．そして，空中に表示された三次元 CG 物体に対して指で直接操作する手法も開発する．本研究の実現により，ユーザは空中に表示された三次元 CG 物体を立体感を感じ
1a)b)

愛知工業大学 情報科学部
k16065kk@aitech.ac.jp
s mizuno@aitech.ac.jp© 2019 Information Processing Society of Japan(c) 指による三次元 CG 物体の変形
図 1

提案システムによる操作の例て様々な位置から観察しながら，指で直接触れて変形させたり，空間中で三次元的に移動させたりすることが可能となる．また，空間中に三次元的なお絵描きをすることも可能となる．図 1 にシステムを使用している様子を示す．

2. 関連研究
空中に映像を表示しながら，映像とインタラクションを669

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

2C-61
2019/3/6

行う手法はいくつか提案されている．

user
KinectKim らは，マイクロミラーアレイプレートと上下移動するディスプレイを用いて，空間中の CG 映像とインタラク

mid-air display

ションを行う手法を開発した [2]．このシステムでは，テー3DCG object(virtual)

ブル上に置いたブロックを用いて空間中の様々な三次元位置に CG 映像を表示させることが可能であるが，表示されmicro-mirror
array plate

LeapMotion

る CG 映像は平面として存在する．

display

松浦らは，Kim らと同様に機構を用いながら映像を水PC面に反射させることで，水面上の空中に存在する CG 映像と水を介してインタラクションを行うシステムを開発し(a) 外観

た [3]．このシステムでは，水をすくうことで水と一緒に空(b) システム構成
図 2

提案システム

中映像を様々な位置に移動させることが可能である．ただし，このシステムでも CG 映像は平面的に表示される．

三次元 CG 物体はマイクロミラーアレイプレート上の空

木村らは，LED を三次元的に配置した回転円盤によって中に表示される．このとき，ユーザの視点位置に応じて三生成された立体映像をマイクロミラーアレイプレートで空次元 CG の見え方を適切に変化させることで運動視差を中に表示しながら，指の動きに応じて LED の点灯を制御再現する．これにより，ユーザは空中に表示された三次元して立体映像を変化させることで空中映像とのインタラクCG 物体を立体感を感じながら観察することができる．

ションを実現するシステムを開発した [4]．ただし，表示さそして，空中に表示された三次元 CG 物体を指で触れるれる映像は LED の残像による単純なものに限られており，ように直接操作することができる．物体に対する操作としインタラクションの内容も映像を少し変化させるなど限定ては，変形．移動，生成などである．例えば，円筒状の CG的である．

物体の表面を指で触ると，表面形状に凹凸を与えることがJones らは，異方性ホログラフィック拡散フィルタを貼っできる．また，空中に浮かぶ三次元 CG 物体を様々な方向た鏡を高速に回転させながらプロジェクタで映像を投影すから指で押すと，空間中で物体を三次元的に移動させるこることで，360 度のあらゆる方向から三次元 CG 物体を立とができる，さらに，空間中で指を動かすと，指先を使っ体的に観察しながらインタラクションを行うことができるて三次元的な線を描くこともできる．

システムを開発した [5]．ただし，手などで映像を直接触れてインタラクションすることはできない．

3.2 空中への映像表示

Ochiai らは，レーザーでプラズマ化した空気電子による本研究のシステムで用いるマイクロミラーアレイプレー

光点を用いて空中に CG 映像を表示するとともにインタラ

トは，垂直に並べたマイクロミラーで構成されたプレートクションを実現するシステムを開発した [6]．映像は空中をミラーが直交するように 2 層に重ねた構造となっている．に立体的に表示されて，手で直接触れることによるインタマイクロミラーアレイプレートは，実物体の映像をプラクションも可能である．しかし，表示される映像は極めレートに対して面対称の位置に結像する性質を持つ．例えて小さく，インタラクションの内容も表示物体が変化した

ば，マイクロミラーアレイプレートを水平に置いて，そのり少し動いたりするなど限定的である．

下に実物体を置けば，実物体と面対称の空間中に実物体が本研究で提案する手法は，空中に三次元 CG 物体を立体存在するように観察される．そして，実物体としてディス的に表示することが可能である．そして，その映像に対しプレイを置いて，そのディスプレイに映像を表示させれば，て指で直接触れながら，三次元 CG 物体の変形，移動，生マイクロミラーアレイプレートに対してディスプレイと面成など様々なインタラクションを三次元的に行うことがで対称の空間中の位置にディスプレイ映像が表示されているきるという，従来システムにはない特徴を持つ．

ように観察される．

3. 提案手法
3.1 システム構成と概要

本研究では，図 2(b) に示すようにマイクロミラーアレイプレートの下部にディスプレイを傾けて設置する．それにより，ディスプレイが仮想的にはマイクロミラーアレイプ

本研究で開発するシステムの外観と構成を図 2 に示す．

レート上の空間中に浮かんで存在することになり，ディスシステムはマイクロミラーアレイプレート，ディスプレイ，プレイに表示された映像も空間中に浮かんで観察される．

Kinect，Leap Motion，制御用 PC で構成されている．マ
イクロミラーアレイプレートはボックス上に設置されており，ボックス内にディスプレイが設置されている．ユーザ
はシステムのボックス前に立って一人で使用する．

© 2019 Information Processing Society of Japan

3.3 運動視差立体視 CG
運動視差は，立体物を観察するときに観察者または立体物が移動することで生じる見え方の変化である．図 3 に示

670

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

2C-61
2019/3/6

変形対象となる三次元 CG 物体の形状は頂点格子で構
ユーザ

ユーザ

ユーザ成されている．そして，指先の三次元座標と三次元 CG 物体の各頂点との距離に基づいて接触判定を行い，接触と判定された頂点を指先座標から離れる方向に移動させる．また，三次元 CG 物体の移動も指先座標と物体頂点との接触

左から見た様子

移動

移動

右から見た様子

判定に基づいており，接触と判定された場合に物体頂点全体を移動させる．

中央から見た様子

物体の生成は，指先座標に基づいて三次元 CG 物体を配置することで実現する．例えば，三次元 CG 物体として小さな球を用いて，指先座標に球を連続的に配置することで，

図 3 運動視差

指の移動によって空間中に三次元的な線状物体を生成することが可能である．

すように，運動視差では観察者の移動に伴って今まで見え

3.3 節で述べたように，CG 空間は実空間を再現したものなかった部分が見えるようになったり，近くの物体が遠くになっている．そのため，ユーザの指先座標に基づいて三の物体に比べて見え方が大きく変化する．運動視差は人の次元 CG 物体の変形，移動，生成を行った場合，ユーザか立体知覚にとって非常に大きな手がかりであり，運動視差らは自身の指で三次元 CG 物体に直接触れながらインタラのみで三次元形状と奥行きに関する十分な情報が得られるクションを行っているように観察される．

ことが知られている [7]．
そして運動視差立体視 CG は，ユーザの視点に合わせて4. 実験

CG 映像を変化させて運動視差を再現することで立体視を提案したシステムを実装して実験を行った．使用したマ実現したものである．運動視差立体視 CG は専用のディイクロミラーアレイプレートは一辺が約 50cm の正方形のスプレイやメガネ等は不要で，三次元 CG 物体が実際に大きさで，設置したディスプレイは 15 インチのフル HD モ

その場に存在するように観察したり操作することができニタである．MacBookPro 上に C++で実装しており，三る [8][9]．

次元 CG 映像の生成には OpenGL を用いている．

本研究では，文献 [9] の手法に基づいて運動視差立体視

図 4 にシステムによって表示された CG 物体を異なる視CG を実現する．まず，Kinect で取得したユーザの頭部位線から観察している様子を示す．運動視差の考慮の有無に置に基づいてユーザ視点の三次元位置を取得する．そして，関わらず三次元 CG 物体は空中に存在するように観察され実空間を再現した CG 空間を構築して，CG 映像をリアルるが，運動視差を考慮しない場合には視点移動によって三タイムで生成する．具体的には，Kinect の設置位置に基づ次元 CG 物体が平面に投影されていることが明確に感じらいて実空間の座標系を構築して，ユーザ視点，空中の仮想れた．一方，運動視差を考慮した場合には，空中に浮かん的ディスプレイ，表示物体のそれぞれの三次元座標を得る．

で表示された三次元 CG 物体の見え方が視点移動に応じてこの座標に基づいて，CG 生成用視点，CG 投影面，三次元適切に変化して，実際に存在するように立体感を持って観CG 物体を配置した CG 空間を構築して CG 映像を生成す察された．

る．このように生成した三次元 CG 映像を仮想ディスプレ

図 5 に空中に表示された三次元 CG 物体を指で触れて直イに表示してユーザ視点から観察すると，トロンプ・ルイ

接的に変形しながら，異なる視点から観察している様子をユの原理で立体感が感じられるのに加えて，ユーザの移動示す．指が三次元 CG 物体に触れることで，CG 物体がまに応じて三次元 CG 物体の見え方が適切に変化して運動視るでそこに実在するように指で押されたり引っ張られたよ差が再現される．以上のことにより，ユーザは三次元 CGうに立体的に変形させることを実現した．

物体が空中に実在するように立体感を持って観察することができる．

図 6 に空中に表示された三次元 CG 物体を指で触れて直接的に移動する様子を示す．指で三次元 CG 物体に様々な方向から押すと，指の方向に応じて CG 物体が押されて三3.4 インタラクション次元的に移動することが確認された．

空中に表示された三次元 CG 物体とのインタラクション

図 7 に空中に指で三次元的な絵を描画しながら，異なるは，ユーザが CG 物体を指で直接触れることによって行う．

視点から観察している様子を示す．指の移動に伴って指先ユーザの指先の三次元位置は Leap Motion によって取得から次々と球が発生して配置されていき，自分の指で空中する．取得した座標は CG 空間の三次元座標に変換する．
そして，指先の三次元座標に基づいて三次元 CG 物体の変形，移動，生成などのインタラクションを実現する．

© 2019 Information Processing Society of Japanに絵を描くような感覚が得られた．
図 8 に提案システムで空中に立体的に表示した三次元CG 物体に対して指で直接的にインタラクションを行った

671

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

2C-61
2019/3/6(a) オ リ ジ ナ ル 視 点 か ら の観察

図 6 空中に表示された三次元 CG 物体の指による直接的な移動(b) 運動視差を考慮しない場(c) 運動視差を考慮した場合

合の移動視点からの観察の移動視点からの観察

図 4システムで再現した運動視差による CG 物体の見え方の変化

図 7
図 5

指による三次元的な絵の描画と異なる視点からの観察

空中に表示された三次元 CG 物体の指による直接的な変形と異なる視点からの観察的にインタラクションを行う手法を開発した．システムを例を示す．図 8(a) では，円筒を横から押して変形してお実装した実験では，三次元 CG 物体が実際に空中に存在すり，空中に立体的に表示した三次元 CG 物体に対してならるように立体的に観察されて，空中の三次元 CG 物体を指ではのインタラクションとなっている，このように，提案で直接触れながら三次元的に変形，移動，生成が行えるこシステムの特徴を生かした様々なインタラクションの可能とを確認した．従来，このような三次元 CG 物体の表示と性があると思われる．

インタラクションは透過型 AR 用 HMD などの装着が必要

5. まとめ本研究では，マイクロミラーアレイプレートを用いた空であったが，本研究のシステムでは HMD 等の装着がなくても同様の表示やインタラクションを実現していると思われる．

中への映像表示と運動視差立体視 CG を組み合わせるこ

今後の課題としては，より複雑なインタラクションの実とで，空中に立体的に映像を表示する手法を開発した．ま現，両眼視差立体視への対応，提案システムを応用した実

た，空中に立体的に表示された三次元 CG 物体と指で直接用アプリケーションの開発などが挙げられる．

© 2019 Information Processing Society of Japan672

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

2C-61
2019/3/6[8][9]

原田一馬, 菅野祐介, 佐藤洋一: 運動視差を用いた直感的なマルチタッチインタラクション, インタラクション 2012
論文集, pp. 795–800 (2012).
塚田真未, 川島卓也, 水野慎士: 運動視差を用いた立体視 CG システムの構築と科学館での活用の検討, 情報処
理学会研究報告, デジタルコンテンツクリエーション,
2013-DCC-4, No. 3, 2013.

(a) 円筒の変形(b) ブロックを摘んで移動(c) 曇ったガラスの拭き取り
図 8

空中に立体的に表示した三次元 CG 物体との様々なインタラクション

参考文献
[1]
[2]

[3]

[4]

[5]

[6]

[7]

“ASKA 3D”, https://aska3d.com/ja/ (参照 2018-12-23).
H. Kim, I. Takahashi, H. Yamamoto, S. Maekawa, T.
Naemura: MARIO: Mid-air Augmented Reality Interaction with Objects, J. of Entertainment Computing, Vol.
5, Issue 4, pp. 233–241, 2014.
Y. Matsuura, N. Koizumi: FairLift: Interaction withMid-air Images on Water Surface, Proc. of SIGGRAPH
2018 Emerging Technology, 2018.
木村優太, 牧野泰才, 篠田裕之: 空中超音波による触覚フィードバックを有するインタラクティブ立体映像システムの開発, 第 21 回日本バーチャルリアリティ学会大会
論文集, 34C-02, 2016.
A. Jones, I. McDowall, H. Yamada, M. Bolas, P. Debevec: Rendering for an Interactive 360◦ Light Field
Display, ACM Transactions on Graphics, Vol. 26, Issue
3, Article No. 40, 2007.
Y. Ochiai, K. Kumagai, T. Hoshi, J. Rekimoto, S.
Hasegawa, Y. Hayasaki: Fairy Lights in Femtoseconds:
Aerial and Volumetric Graphics Rendered by Focused
Femtosecond Laser Combined with Computational Holographic Fields, Proc. of SIGGRPH 2015 Emerging Technology, 2015.
B. J. Rogers, M. Graham: Motion Parallax as an Independent Cue for Depth Perception, J. of Perception, No.
8, pp. 125–134, 1979.

© 2019 Information Processing Society of Japan673