情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-35
2019/3/6

HaptoBOX: 複合現実体験を増強する
多感覚型インタフェースの研究 (1) デバイスの試作
木川貴一郎†1大島登志一†1

概要：本研究では，ビデオシースルー型複合現実感（Mixed Reality; MR）によるリアルとバーチャルとの整合性の高い視覚的融合体験を基盤として，多感覚的なリアリティを増強するためのフィジカルなインタフェースデバイスを試作した．MR HMD（Head-Mounted HMD）を装着し，箱状の本デバイスを手に持つと，箱内に仮想物が表示され，その動きに応じて振動や反動とが映像と同期して提示され，多感覚的にリアリティを増強することができる。デバイス内部には，複数のソレノイドと偏心モータによるアクチュエータが組み込まれており，映像と同期して動作制御をおこなう．また，3 次元音像定位によって仮想物から音響が発せられていると感じることができる．

1. はじめに多感覚的におこなうインタフェースを開発する．
図 1 に HaptoBOX での体験の様子を示す．ユーザは，複合現実感（Mixed Reality; MR）や拡張現実感（Augmented

ビデオシースルー型 MR HMD を装着し，HaptoBOX を両Reality; AR）は，仮想空間の情報を現実空間に重畳して提手で把持する．HaptoBOX 内部には，仮想物が提示され，示し，現実物と仮想物の融合体験をよりリアリティ高く体HaptoBOX を自由な方向から観察することで，位置的に整験できる技術として注目を集め，近年実用性も高まってき合性のとれた視覚体験をおこなうことができる．また，表ている．これらの技術（AR と MR を併せて MR と表記）示される仮想物の動きの特性に応じて，映像と同期した振は，当初より現実物と仮想物を融合するという観点から，動や反動などが手に伝わり，リアリティの高い MR 体験

現実物の形態を生かした利用方法が提唱されてきた．たとが可能である．また，手の部分は，ステレオ法とクロマキ

えば，2 次元平面上に描かれたマーカを用いた位置合わせー方式により，仮想物体との前後関係が正しく再現されて手法の初期の研究事例として，暦本の 2 次元マトリクスコ

おり，手に持ったケースの中に仮想物が入っている感覚をード CyberCode[1]においては，飛び出す絵本や恐竜の骨格視覚的に矛盾なく表現できるようになっている．

模型など，教育用を想定したコンテンツが提案されていた．
また，Billinghurst らの MagicBook[2] では MR の利点を活用した研究として，本を媒介してリアルとバーチャルとを行き来するインタラクティブ・コンテンツの枠組みを提案した．現在では，スマートフォンやカメラを備えたパソコンで，紙媒体の上に CG モデルや動画を観察することのできる MR 図鑑も販売されている[3][4]．さらに，3 次元空間性を活かす形で，現実環境や現実物体に CG を重畳する実用的な活用も進んでいる[5]．
本研究では，このように MR の応用としてオーソドッ
クスな現実物体と仮想物体との融合を対象とし，主に教育現場での利用を前提に実用的なコンテンツを載せていくプ
ラットフォームの実現を目指す．多様な MR のディスプ

図1

HaptoBOX の体験の様子

2. 多感覚 MR インタフェース HaptoBOX
関連研究

レイ形式の中でも，HMD（Head-Mounted Display; 頭部搭

視覚体験と多感覚なフィードバックによる感覚モダリ

載型表示装置）による主観視点体験であり，かつ現実風景ティの整合性の実現は，元来バーチャルリアリティ（Virtualをカメラで取得しコンピュータ上で CG を合成するビデオReality; VR）の核となる特質である．そうした VR の系譜

シースルー形式を前提とする．このビデオシースルー型である MR においては，それは現実体験とバーチャルな感HMD をキーデバイスとして，バーチャルとリアルとをシ覚体験との整合性という形で研究がなされている．現実物ームレスに体験できることを特徴とする当該ディスプレイに対して，それと同じ形状の仮想物を提示することでその形式の利点を活かして，インタラクティブな MR 体験をリアリティを向上させ，MR 体験の効果を高める研究が実†1 立命館大学 映像学部
College of Image Arts and Sciences, Ritsumeikan University© 2019 Information Processing Society of Japan846

情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-35
2019/3/6用化も含めて多くなされている[5][6]．力触覚提示についてのマーカをレイアウトしている（図 2）．HaptoBOX 内部には，TECHTILE ToolKit[7]など数多くの研究がなされており，は，触覚を提示するためのアクチュエータ類とそれらを制実物体の形状だけではなく力触覚提示と視覚との積極的な御するための Arduino が内蔵されている．

併用を MR 体験に組み込むことも多くなされている[8]．
筆者らはフィジカル MR ディスプレイ[9][10][11]というアプローチで当該課題に取り組んでおり本研究もその一環である．
本研究で試作したフィジカル MR ディスプレイ Hapto
BOX の特徴は，キューブ形のマーカ内部に仮想物があるかのように表示することと，仮想物の映像の動きと同期し図3て，音響と触覚とを同時に提示することによって，観察体

HaptoBox 外装のマーカ配置

験のリアリティを向上するという点である．すなわち，多種多様な形状の仮想物をその形状に合わせてインタフェー

本プロトタイプでは，反動の再現のための対向型ソレノスを実現するのではなく，多様な形状を自然に受け入れる

イドモジュールと，周期の異なる 2 種類の偏心バイブレー形態としてバーチャルなガラスケースを手に持ち，その内ションモータを装備している．

部にある仮想物の動態をリアリティ高く体験できることとリニア型反動モジュールしたのである．

ソレノイドの押し引きで反動の実現をおこなうため，図キューブ型ディスプレイとしては，pCubee[9]がある．

4 に示すように二つのソレノイドを対向させ，本体部分をこれは 5 面の箱型ディスプレイ装置と 3 軸ジャイロセンサ連結した．コアの部分を基台に固定して本体部分を可動指で傾きやユーザの視点に応じた映像を箱型ディスプレイ装せることで，可動部分の慣性を増し，より強い反動が得ら置の内部に表示するものである．また，同様にリアルタイれるようにした．

ム・インテグラルフォトグラフィ・ディスプレイを 6 面に備えた箱型ディスプレイ内部に仮想物を提示する
gCubik[13]などがある．これらの箱型ディスプレイは，多様な形状の仮想物を直接手で取り扱うことによるリアリティの向上の効果を示したものである．本研究の HaptoBOX
では，このようなインタフェースを MR システムにおいて箱型マーカにより実現している．
図4

システム構成ソレノイドモジュールの配置と実装

図 1 にシステム構成を示す．ユーザインタフェースは，頭部に装着するビデオシースルー型 MR HMD（キヤノン

回転型振動モジュール

MREAL HM-A1 ） と ， 手 に 持 つ HaptoBOX お よ び

偏心モータによって振動を発生する触覚デバイスは，携HaptoWAND，空間的な音像定位のための 3D ヘッドフォン

帯電話の通知機能やゲームコントローラのフィードバックから構成される．

機能として一般化している．その中でも，二つの振動周期の異なる偏心モータを用いることで，多様な触覚を再現しようとするデバイスもあり，1997 年発売のソニー製家庭用ゲーム機用のコントローラ DualShock はその代表的事例である．HaptoBOX においても，振動周期の異なる２つの偏心モータを組み合わせたモジュールを内蔵している．同じモータとウェイトを用いているが，ウェイトは軸から異なる距離で設置してあり，さらに，90 度方向を変えて設置することで，振動方向も異なるよう配慮している（図 5）．
図 2 システム構成図

HaptoBOX デバイス
HaptoBOX の外装には，位置合わせのためのマーカが配置されている．HaptoBOX を把持する際にマーカの視認性を確保するため，各面中央に大きめのマーカと周囲に小型© 2019 Information Processing Society of Japan図5

偏心バイブレーションモータの配置

847

情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-35
2019/3/6

4. むすび

聴覚体験の向上
聴覚体験に関しては，3 次元的な音像定位が可能な立体音響ヘッドフォン（SONY VIP-1000）を採用し，HaptoBOX内部から音響が聞こえてくるよう構成した．ヘッドフォンにジャイロが内蔵されており，3D 音場プロセッサにより，HaptoBOX との方向差に基づいて音像が定位する．

3. サンプルコンテンツの実装と機能実験

本研究では，ビデオシースルー型 MR 体験を基盤に，手に持ったキューブ型デバイス内部に仮想物が入っているよ
うな感覚がリアルに得られるよう，視覚・聴覚・触覚を融合したユーザインタフェースデバイスを提案した．
プロトタイプシステムの機能テストを滋賀県長浜市で実施した展示会と東京国際フォーラムで開催された国際学会 SIGGRAPH ASIA 2018 でのデモ展示にておこなった．被コンテンツ
サンプルコンテンツとして心臓，戦闘機，ヘリコプターの 3 種類を実装した．各コンテンツの触覚・視覚・聴覚提示の内容を説明し，これらによる実験の結果を考察する．
(1) 心臓医療分野での応用事例として心臓を表現した．心臓は人体の中でも動きが特徴的であり，サンプルとして適していると考えた（図 6）．
・触覚：ソレノイドモジュールを使用し一定サイクルで拍動を提示する．
・視覚：一定サイクルで CG が縮小・拡張を繰り返す．
・聴覚：一定サイクルで心臓の鼓動音が提示される．
(2) 戦闘機
戦闘機が発生すると思われるエンジンの振動を偏心モータで再現した（図 7）．本コンテンツの特徴としては，見た目の動きには，直接的に振動を感じさせる要素はない．
・触覚：偏心モータで細かく早い振動を提示する．
・視覚：戦闘機後方からパーティクルを表示させる．
・聴覚：エンジン音を聴覚提示として提示する．
(3) ヘリコプター
戦闘機よりも複雑な振動を発生させるサンプルとして，回転翼が２つあるヘリコプターを採用した(図 8)．
触覚：偏心モータで細かく早い振動と大きく遅い振動の組み合わせた振動を提示する．
視覚：CG モデルの回転翼ブレードを回転させる．
聴覚：本コンテンツもモータ音を聴覚提示として利用する．

験者は，合計 600 名強あり，体験状況の観察と簡単なインタビュー調査を行った．
定量的な分析をするにいたらなかったが，総じてHaptoBOX による多感覚フィードバックは，視覚体験を増強するに有効なインタフェースとして受け入れられることが確認できた．コンテンツとしては，「心臓」と「ヘリコプター」が「戦闘機」よりもリアリティ感が高く，これは視覚的な動きと振動・反動の感覚とが分かりやすく整合していることと関係していると考えられる．また，「ヘリコプター」は最もリアリティを感じたという評価があり，これはメインローターとテイルローターの複合という，複雑な要素を再現性高く実現できていたという評価と考えられる．
これを踏まえれば，複数のアクチュエータの組み合わせで複雑な触覚を提示することに一定の有効なシステムを構築できたと考えられる．
このような結果を踏まえて，今後多様な触覚をともなうコンテンツを実装するためのパラメタライズを検討することとしたい．すなわち，今回対向型リニアアクチュエータと 2 種類のロータリー振動子を用いたが，これら 3 種類を基底としてどの程度の幅の触覚を提示できるかを詳細に検討したい．またさらに，ペルチェ素子による温度提示や，振動スピーカの組み込みによる本体での音響提示と触覚のバリエーション増強もおこなっていく．また，感覚提示だ
けではなく，マーカによる位置姿勢計測に加え，圧力センサなどによるユーザ入力も実装し，双方向的なユーザインタフェースとして機能を充実させることとしたい．
それらの実装にともない HaptoBOX 内の実装の最適化も進める．また，無線モジュールとバッテリーを搭載してスタンドアローンで HaptoBOX を可動させれば使用時の自由度が上がると考えられる．HaptoBOX の実用的な用途を開拓していく．

図6

心臓

図7

戦闘機

システムの技術的要素の研究のみならず，コンテンツの制作において，CG モデルと触覚・音響とを同期させる仕組みが必要であり，データ制作プロセスとシステムへの組み込みとチューニングなど，総合的なワークフローとして確立することを目指す．
また，MR の表示デバイスとして光学シースルー方式のHMD が製品として普及していることもあり，一般には同

図8

ヘリコプター© 2019 Information Processing Society of Japan

方式がメジャーととらえられている状況もあるが，先の展848

情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-35
2019/3/6

示実験では，ビデオシースルー型 HMD の体験が新鮮であるという被験者が非常に多かった．本研究プロジェクトにおいては，リアルとバーチャルとの整合性が高いビデオシースルー方式を基盤として，その可能性を究めていきたいと考える．
謝辞

本研究は JSPS 科研費 16K00288 の助成を受けたものです．

参考文献
[1]

Mark Billinghursta, Hirokazu Kato, Ivan Poupyrevc: The
MagicBook: a transitional AR interface, Computers & Graphics,Vol. 25, Issue 5, pp. 745 - 753, Elsevier Science Ltd., Oct. 2001.
[2] 暦本純一: 2 次元マトリックスコードを利用した拡張現実感の構成手法, WISS’96 予稿集, 1996 年 12 月
[3] リチャード・ウォーカー編, 伊藤伸子訳: 人体図鑑-3D アニメーションで見て学ぼう, 化学同人 (2012)[4] 阿部和厚編，学研の図鑑 LIVE 9 人体,学研教育出版 (2015)[5] MREAL 導入事例, キヤノン IT ソリューションズ株式会社
https://www.canon-its.co.jp/solution/mr/case/ (参照 2019-12-25)[6] 大島登志一, 山本裕之, 田村秀行: 実体触知覚機能を重視した複合現実感システム―自動車インテリア・デザイン検証への応用―, 日本バーチャルリアリティ学会論文集, Vol. 9, No.
1, pp. 79 – 88 (2004)[7] 仲谷正史, 筧康明, 南澤孝太, 三原聡一郎, 舘暲: 触感表現の一般普及に向けた方法論とテクタイルワークショップを通したその実践, 日本バーチャルリアリティ学会論文誌, Vol. 19,
No. 4 (2014)[8] 安藤広志 Juan Liu , Dong Wook Kim: 多感覚インタラクショ
ン技術とシステム応用, 情報通信研究機構季報, Vol. 56 pp.
147 – 155 (2010)[9] Toshikazu Ohshima, Kiyohide Satoh, Hiroyuki Yamamoto, andHideyuki Tamura: AR2Hockey: A Case Study of Collaborative
Augmented Reality, Virtual Reality Annual International
Symposium, 1998. Proceedings, IEEE 1998 (1998)
DOI: 10.1109/1998.658505.
[10] Toshikazu Ohshima, Tsukasa Sumizono: Tactile microcosm ofALife: interaction with artificial life by aerial mixed reality
display, Proc of SIGGRAPH Asia 2018 Posters, Article No. 53(2018) DOI: 10.1145/3283289.3283357[11] Toshikazu Ohshima, Chiharu Tanaka : MR coral sea: mixed reality
aquarium with physical MR displays, Proc. of SIGGRAPH ASIA
2014 Emerging Technologies (2014)
DOI:10.1145/2669047.2669051[12] Ian Stavness, Billy Lam, Sidney Fels Department of Electrical andComputer Engineering University of British Columbia : pCubee: A
Perspective-Corrected Handheld Cubic Display , CHI 2010:
Pointing and Selecting DOI: 10.1145/1753326.1753535.
[13] Roberto Lopez-Gulliver , Ritsumeikan Univ. : gCubik+i Virtual 3D
Aquarium: Interfacing a Graspable 3D Display with a Tabletop
Display , 情報通信研究機構季報 Vol.56 Nos.1/2 2010.

© 2019 Information Processing Society of Japan849