情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3A022021/3/10

境界面を持つホログラフィックディスプレイにおける傾きを入力としたインタフェース
深谷 陸†1

福地 健太郎†1

概要：3DCG を裸眼で立体視可能なホログラフィックディスプレイにおいて，投影された 3DCG にユーザが直接働きかけられるインタフェース技術が多数提案されている．しかしディスプレイが投影面や保護容器などの境界面を持つ場合，それに阻害されて映像に直接働きかけることが出来ない．本研究ではディスプレイ自体を操作して中身に働きかけ，間接的なインタラクションを可能とするインタフェースを提案した．具体的には，レンチキュラーレンズ方式のホログラフィックディスプレイと加速度センサを組み合わせ，ディスプレイを傾けることで入力とする．応用例として，左記のディスプレイを容器と見立て，その中に液体が満たされているという想定の下に，ディスプレイに対する操作を反映した流体シミュレーションの結果をリアルタイムに投影するシステムを作成した．その結果，あたかも液体の入った容器を操作しているような感覚を提供することができた．

プレイ自体を操作することで間接的にディスプレイ内部に1. はじめに投影されている対象物へ働きかけることができるインタフ
ェースを提案する．具体的にはディスプレイに加速度センサをとりつけることで，ディスプレイを傾けて操作ができるようにした．応用例として，ディスプレイを容器に見立て，中に液体が満たされているという想定の下に，容器を傾けた際の液体の動きを流体シミュレーションによってリアルタイムで生成し表示するシステムを構築した．その結果，あたかもディスプレイ内部に液体の入った容器を操作しているような感覚を提供することが出来た（図 1）．

図 1

提案システムが動作している様子

2. 関連研究
Ravin Balakrishnan らはホログラフィックディスプレイ

ホログラフィックディスプレイとは，裸眼での両眼立体のうち，境界面を持つものを対象に，境界面内に投影され視による 3 次元的な映像提示を行うことのできるディスプ

た対象物の操作方法について，境界面の外に設けられた入レイのことである．その中でも本研究では，ユーザの視点力空間の次元や性質，そしてそこへの入力をいかに対象物位置に応じて対応する角度からの 3DCG を提示することにへの操作に反映するかを軸に分類をしている[1]．そのいずより運 動視 差に よる 立体 感を 提示 でき るもの (light-field

れにおいても境界面外での操作を対象物への直接的操作へdisplay)で，さらにレンチキュラーレンズを用いたものに代と変換する過程が含まれる．例えば左記文献で Ravin らは表されるような複数ユーザの同時閲覧に対応するものを対境界面上でのスタイラス操作を利用した研究を紹介してい象とする．こうしたディスプレイは 3 次元映像を介してのる．同研究ではスタイラスの長軸の延長線と対象物との交協調作業を可能とし，3DCAD や分子構造の可視化，構造点を操作の対象点とすることで，スタイラスがあたかも境解析などの分野で用いられている．

界面からディスプレイ内部へと延びているかのように用い

3DCG として投影された対象物を操作・編集するためのることができるインタフェースを提案しているが，実際のインタフェースとして，対象物が立体的に提示されるホロ入力空間と出力空間との隔たりをユーザは常に意識するこグラフィックディスプレイでは，対象物に対して手指で直とになる．一方で Ravin らは同文献において球状のホログ接働きかけるインタフェースが期待される．しかし，ホロラフィックディスプレイにおいて境界面を手で直接回転さグラフィックディスプレイには投影面や保護容器などの境せることで対象物を異なる角度から閲覧する手法を提案し界面を持つために対象物に直接働きかけることが出来ないている．これは本研究の提案するインタラクション手法とものがある．

近いが，左記文献では提案のみで実装については報告され本研究では，この境界面を持つホログラフィックディスていない．
境界面を持たない空中投影方式向けのインタフェース†1 明治大学 総合数理学部 先端メディアサイエンス学科© 2021 Information Processing Society of Japanとして，落合らは Fairy Lights[2]を提案している．従来ナノ443

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3A02
2021/3/10秒レーザーを使用していた部分にフェムト秒レーザーを用レイとして，大きさ 210W×98.5D×155H(mm)，重量 2.2kgいることで安全性を高めた上でユーザの手指と投影映像との Looking Glass 8.9 inch (Looking Glass Factory 社) を使用の衝突を光学的に判定することで，空中に結像した 3DCGした．この Looking Glass の傾きを入力とするために，9 自に直接働きかけることができる．

由度の加速度センサとして Adafruit BNO055 搭載 9DoF 方

投影面自体を手に持って傾けることで操作できるイン位/慣性計測モジュール ADA-2472 を本体上部に設置した．

タフェースの例としては，Augmented Reality (AR) 技術をセンサからの出力は Arduino Uno を用いて取得し，USB 経用いたものやプロジェクションによるものが提案されてい由で PC に送信している．流体シミュレーションは後述する．Julian Oliver の levelHead[3]では，立方体のすべての面るように 3 次元 SPH 法を用いたプログラムにより実現した．に AR マーカを張り付けたものを操作するインタフェース

シミュレーション結果はゲームエンジンである Unity を利を提案している．ユーザは立方体を手に持ち，カメラが撮用して可視化し，Looking Glass に投影している．具体的な影した映像をディスプレイ越しに見て操作する．AR マー

インタラクションの流れについては後述する．PC は Intel

カはゲーム画面に置換され，このゲームの進行をユーザはCore i9 9900K CPU 3.60GHz，NVIDIA GeForce RTX 2070

立 方 体 を 傾 け る こ と で 制 御 す る ． Martin Spindler ら のGPU，DDR4 32GB メモリを搭載したものを用いた．

PaperLens[4]は，ユーザは手に矩形スクリーンを持ち，スク3.2 Looking Glass の特徴

リーンを移動させたり傾けたりして操作する．スクリーン本システムで利用している Looking Glass は，視点位置にの位置姿勢はカメラによって認識され，その操作を反映し応じた 3DCG を提示するホログラフィックディスプレイでた映像をプロジェクタによってスクリーンに投影している．

ある．同ディスプレイは水平に 45 方向の視点位置から見たその応用として Magic Lens[5]を三次元的に拡張したもの

映像をそれぞれレンダリングし，それらを統合した映像をを提案しており，例として CT スキャンによって得られたレンチキュラーレンズを通して見せることで，両眼視差お三次元医療画像の，任意の位置の断面を表示するアプリケよび運動視差を実現している．レンチキュラーレンズの特ーションを実装している．

性上，1 軸（左右方向）の視点位置の移動にのみ対応してディスプレイを傾けて操作するインタフェースは加速おり，上下方向の移動には対応していない．また，厚みの度センサを内蔵したスマートフォン向けのアプリケーショある高屈折率の透明体がディスプレイ面に付加されており，ンではよく見られるが，ホログラフィックディスプレイで焦点 面 をデ ィ ス プレ イ 表面 か ら透 明 体 内に 移 動さ せ ての利用例は見当たらない．その主な障害としては，ホログ3DCG を提示する仕組みとなっている．本システムでは本ラフィックディスプレイは一般に大型で重く，傾けての操稿執筆時に最小のものである 8.9 インチサイズで画面解像作に不向きであることが考えられる．我々は後述する小型度が 2560×1600 ピクセル，透明体の厚みが 45mm のもののホログラフィックディスプレイを用いてこの問題を回避を利用している．この透明体を液体の容器に見立て，傾けしている．

たときの重力情報と 3DCG 内の重力を同期させることでデ3. 提案システム

図 2

バイスを傾けるという動作と 3DCG の動作とを対応させている．

作成したシステムの全容

3.1 概要本システムの全容を図 2 に示す．まず，傾けることができるような大きさで境界面をもつホログラフィックディスプ© 2021 Information Processing Society of Japan444

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3.3 流体シミュレーションとその可視化

3A022021/3/10

うに処理している．なお現在の実装では，9DoF センサの値のうち加速度センサの値のみを使用しており，それ以外の値（ジャイロ・地磁気）は使用していない．
シミュレーション結果の可視化は，流体粒子を円形の平面パーティクルとして表現することで実装した．各パーテ
ィクルは仮想カメラから常に真円に見えるようビルボードとして表現している．パーティクルの深度に応じて陰面処理を施し，また奥のパーティクルほど輝度を低くすることで，液体の奥行き感を表現している．なお，流体の可視化において，マーチングキューブ法を使うなど流体表面をレンダリングする手法は計算負荷が高く応答性能を低下させるため今回は採用しなかった．

図 3

Unity 上で実行した流体シミュレーションを上から見た様子

4. 提案手法の主観的評価
本システムの使用風景を図 4 に示す．
著者らが実際に本システムを体験しての主観的な感想

提案システムの応用例として我々は Looking Glass を容としては，傾け操作に応じて液体が滑らかに動き，かつ両器に見立て，その中に注がれた仮想液体を揺らすことがで眼視差に加えて運動視差によって立体感が得られ，従来手きるインタフェースを構築した．本節で液体の動きの実装

法と比べて強いリアリティを感じることができた．特に，について説明する．

ディスプレイ面がユーザに対して正面を向くようにデバイ

仮想液体の動きの計算は流体シミュレーションによっスを持った上で yaw 軸回りに傾けた際，相対的には自分がて実装されている．図 3 は Looking Glass に投影される方向ディスプレイを回り込んで見たことになるため自然と運動とは別角度から流体シミュレーションを見た様子である．

視差 が 生じ ， 立 体感 が 得ら れ た（ 次 節 で述 べ るよ う に

流体シミュレーションには 3 次元 SPH 法を採用している．
SPH 法は液体を構成する粒子の運動に基づくシミュレーシ

Looking Glass の制約により pitch 軸回りの回転では運動視差は得られない）．

ョン手法であり，液面やそこから飛んだ飛沫の挙動を表現しやすく，そのため液体が揺れている様子がユーザにわかりやすくなるためこれを用いた．
流体粒子の数は 32768 個としており，流体シミュレーシ
ョンを投影する高屈折率の透明体を容器と見立てた際に容器を半分ほど満たすよう調整した．流体シミュレーション
は GPU 上で並列計算により実装しており，これによって応答性能を向上させている．この粒子数でシミュレーションを実行すると，レンダリングにかかる時間を含め，画面書き換え速度は平均 37fps であった．
流体シミュレーションの結果を可視化し Looking Glassへ投影するのには，Unity および HoloPlay Unity Plugin for
the Looking Glass という SDK を利用した．この SDK では
Looking Glass に投影される 3D 領域を視錐台として指定する．そのため，Looking Glass のディスプレイを容器に見立てて利用するためには，この視錐台にシミュレーション領域を合わせる必要がある．そこで，図 3 で白い直方体で示されているように容器の壁を設計した．壁と液体粒子との衝突はペナルティ法を用いて処理している．

図 4

本システムを使用している様子

加速度センサからは Arduino Uno を介して，重力方向の情報をシリアル通信によって受け取っている．この情報と流体シミュレーションの計算に用いる重力方向とを一致させることで，デバイスの傾きに応じて仮想液体が揺れるよ© 2021 Information Processing Society of Japan445情報処理学会 インタラクション 2021
IPSJ Interaction 2021

5. 議論

3A02
2021/3/10

イであっても重さの問題があり，操作性や連続使用時の快適性に課題が見つかった．

提案手法ではホログラフィックディスプレイ本体を直接手にもって操作することを前提としているが，Looking

参考文献

Glass の場合，一般的な液晶ディスプレイの重量に加えて高[1]屈折率透明体の重量があるため，高速な操作には向かず，[2]

ま た 長 時 間 の 使 用 に は 支 障 を き た し た ． Looking Glass
Factory 社が計画している次期モデルでは軽量化が図られているが，画面を大きくすることを考えるのであれば，重量の問題の解決は不可避であろう．ジンバルに乗せるなどの工夫が必要となるだろう．
デバイスの重量は別の課題の要因にもなっている．ディ

[3]
[4]

スプレイを把持する手に触覚フィードバックを与えることでリアリティを高めることを狙い，ディスプレイに小型振動子である Haptuator Mark II (Tactile Labs 社)を付加し，仮想液体の動きに応じて振動させることを試みたが，試作の[5]

Balakrishnan, R. and Fitzmaurice, G. W.. User interfaces forvolumetric displays. Computer. 2001, vol. 34, p. 37-45.
Ochiai, Y. and Kumagai, K.. Fairy Lights in Femtoseconds: Aerialand Volumetric Graphics Rendered by Focused Femtosecond Laser
Combined with Computational Holographic Fields. ACM
Transactions on Graphics. 2016, vol. 35, no. 2, Article No. 17, p.
1-14.
“levelHead “. https://julianoliver.com/levelhead/, (参照2020-12-13).
Spindler, M. and Stellmach, S.. PaperLens: advanced magic lensinteraction above the tabletop. ITS'09: The ACM International
Conference on Interactive Tabletops and Surfaces. 2009, p. 69-76.
Bier, E. A. and Stone, M. C.. Toolglass and magic lenses: thesee-through interface. SIGGRAPH '93: Proceedings of the 20th
annual conference on Computer graphics and interactivetechniques. 1993, p. 73-80.

段階では振動をほとんど感じることができなかった．この原因としては，振動子の出力に比べて Looking Glass の重量(2.2kg)が重過ぎたことが挙げられる．振動子の出力を上げるのはこの場合デバイス全体をさらに重くしてしまうため採用しにくい．
境界面を持つホログラフィックディスプレイには，今回利用したレンチキュラーレンズ方式のもの以外にも，ユーザの頭部位置を追跡することで視点位置に対応した映像を提示するものも存在する．この方式ではディスプレイは机上に固定され，ユーザの頭部位置が移動することを想定している．しかし提案手法のように傾ける操作をディスプレイに加えた場合，ディスプレイに対して相対的な頭部位置の移動が想定以上に高速になるため，追跡が遅れたり失敗したりする原因となりうる．加速度センサから得られる情報を利用した補正や，高速な追跡技術が必要となろう．
一方で，今回使用したようなレンチキュラーレンズ方式のホログラフィックディスプレイではその仕組み上，運動視差を提示できる回転は 1 軸に限られる．2 軸の回転操作に対応するためには前述の頭部位置トラッキング方式か，マイクロレンズアレイを用いたホログラフィックディスプレイが必要となる．しかし後者の場合，レンダリングしなければならない視点位置が増加するため，インタラクションの応答性能がさらに低下することが予想される．

6. 結論
本研究では，投影面や保護容器などの境界面を持つホログラフィックディスプレイに対して，ディスプレイ自体を操作して中身に働きかけ，間接的なインタラクションを可能とするインタフェースを提案した．ディスプレイに加速度センサを付加したデバイスを試作した結果，あたかも液体の入った容器を操作しているような感覚を提供することができた．しかし現行の小型ホログラフィックディスプレ© 2021 Information Processing Society of Japan446