情報処理学会 インタラクション 2019
IPSJ Interaction 2019

1B-28
2019/3/6

MR Book: ミクストリアリティによるインタラクティブ図鑑の制作 (1) ユーザインタフェースの検討
山内稀惠 †1

大島登志一 †1

概要：本研究では，複合現実感（Mixed Reality; MR）の体験形式の中でもビデオシースルー型 HMD 方式によるリアルとバーチャルとの整合性の高い視覚的融合体験を基盤として，紙媒体である書籍にマーカを組み込んだ図鑑を制作して，多様なマルチメディアコンテンツにより図鑑としての効果の増強を図った．コンテンツ部とユーザインタフェース部を分離し，共通性の高い操作を実現した．コンテンツ部には書籍型と実体型とを試作し，ムービーや CG 画像による多様なコンテンツのプラットフォームとなるようデザインした．本論文では，特にユーザインタフェース部分の検討について述べる．

1. はじめにテキスト情報・2 次元画像・ムービー・3D モデルといった多様な形式のデータを複合させる．本論文では，CG を重畳複合現実感（Mixed Reality; MR）や拡張現実感（Augmentedさせる MR カードインタフェースをコンテンツパートとユReality; AR）は，仮想空間の情報を現実空間に重畳して提ーザインタフェースパートとに分離し，多様なコンテンツ示し，現実物と仮想物の融合体験をよりリアリティ高く体に対応できるよう，コンテンツパートではボードタイプと験できる技術として注目を集め，近年実用性も高まってき立体造形タイプとを用意し，ユーザインタフェースパートている．これらの技術（AR と MR を併せて AR/MR と表では，汎用性の高い操作を実現したことについて述べる．

記）は，当初より現実物と仮想物を融合するという観点から，現実物の形態を生かした利用方法が提唱されてきた．

2. MRBook-MR 型図鑑のフレームワーク

たとえば，2 次元平面上に描かれたマーカを用いた位置合2.1 関連研究

わせ手法の初期の研究事例として，暦本の 2 次元マトリク

MR 型昆虫図鑑の事例[5][6]では，を制作した．体験者はスコード CyberCode[1]においては，飛び出す絵本や恐竜のヘッドマウントディスプレイを装着し，ペン型デバイスで骨格模型など，教育用を想定したコンテンツが提案されての入力，ダイヤルやボタンでの角度変更，拡大縮小や，昆いた．また，Billinghurst らの MagicBook[2] では AR/MR の虫の挙動を観察できる．加藤らのマジックパドル[7]では，利点を活用した研究として，本を媒介してリアルとバーチヘッドマウントディスプレイを装着し，カタログを見るとャルとを行き来するインタラクティブ・コンテンツの枠組仮想物体が表示され，マーカ付きのパドルデバイスで「すみを提案した．現在では，スマートフォンやカメラを備えくう」「振る」「傾ける」「押す」「叩く」といったインタラたパソコンで，紙媒体の上に CG モデルや動画を観察するクションを実現した．本研究では，カード型 MR の利点とことのできる MR 図鑑も販売されている[3][4]．

して他にデバイスが不要であることに着目し，マジックパ

本研究では，このように AR/MR の応用としてはオーソドルのように，すべてのインタラクションをマーカでおこドックスともいえるバーチャル書籍を対象とし，主に教育なうというインタフェースとする．

現場での利用を前提に実用的なコンテンツを載せていくプ

2.2 MRBook システム

ラットフォームの実現を目指す．多様な AR/MR のディス

MR Book システムの全体像を図 1 に示す．

プレイ形式の中でも，HMD（Head-Mounted Display; 頭部搭載型表示装置）による主観視点体験であり，かつ現実風景をカメラで取得しコンピュータ上で CG を合成するビデオシースルー形式を前提とする．このビデオシースルー型
HMD をキーデバイスとして，バーチャルとリアルとをシームレスに体験できることを特徴とする当該ディスプレイ
形式の利点を活かして，インタラクティブな MR 図鑑を制作するフレームワーク「MR Book」を開発している．MR 図
鑑には，フィジカルな図鑑として機能するものをベースに，

図 1

MR Book 体験の様子†1 立命館大学© 2019 Information Processing Society of Japan290

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

1B-28
2019/3/6

また，システム構成を図 2 に示す．ユーザインタフェー
スは，頭部に装着するビデオシースルー型 MR HMD（キヤノン MREAL HM-A1）と机上で操作するマーカ付き図鑑インタフェースから構成される．

図 5 分離型図鑑インタフェース
図 5 の分離型図鑑インタフェースでは，コンテンツ共通
図 2

MR Book システム構成の汎用 UI として 3 つのタンジブルウィジットを用意した．
これにより，操作の幅は限られるが，デフォルトでユーザ

HMD を装着して図鑑（図 3）を観察すると，図 4 に示すはどの本でも共通の UI マーカを利用して操作ができる．

ようにコンテンツ表示用のマーカ（図 3 上部：コンテンツ

図 5 下部の UI パートにおいて，各マーカは，左から順にマーカ）上に CG モデルや動画が表示される．また，ユー下記の機能を備えている．

ザインタフェースの 4 つのマーカ（図 3 下部：UI マーカ）

①前後左右への傾きと回転：CG モデルの回転には，操作方法を示すアイコンが重畳表示される．

②動画スイッチ：ムービーの再生・停止③拡大縮小スライド：CG モデルの拡大・縮小
各 UI マーカの機能を表 1 に示す．

図 3機能
前後左右の傾きと回転

アイコン
回転矢印とシーソー

動画再生再生マーク

拡大縮小

双方向矢印MRBook 図鑑インタフェース

図 4体験映像

またさらに，改良した図鑑インタフェースでは，図 5 に示すように，コンテンツパート（画像上）とユーザインタフェースパート（画像下）に分割され，コンテンツパートのマーカを入れ替えるだけで異なるコンテンツの切り替えが可能になっている．

© 2019 Information Processing Society of Japan

操作内容
UI マ ー カ を傾けると，同じ向きに本のコンテンツが傾き，回転させると同じ向きに本のコンテンツが回転する
UI マ ー カ に触れている間は動画が再生される

可動機
UI マ ー カ 下にスポンジを置き前後可動＋押しピンを軸とした円盤で回転する機
構

UI マ ー カ を左右にスライドさせると CG モデルの大きさが変化する

左右にスライドする機
構

ベースボードに固定

表 1 UI マーカの機能
こうした，コンテンツパートとユーザインタフェースパートとを分割する利点として，図 5 に示すように，既存の図鑑や教科書など様々な本にオプションとしてマーカを装着することで，MR 機能拡張することができるということである．これによって従来のメディアを増強することが容易になり，教材資源の活用や教材の制作負荷を大きく軽減

291情報処理学会 インタラクション 2019
IPSJ Interaction 2019できると期待される．

1B-28
2019/3/6

また，図鑑型 UI だけでなく，図 7 に示すような実体造形型 UI も MR Book の枠組みとして含めることを進めている．これによって，図鑑や教科書だけでなく，より多くの模型などをインタラクティブなコンテンツとして教材化できると考える．

図 6 既存の図鑑の MR 拡張例
MRBook で用意したコンテンツのフォーマットでは，見図7

実体造形型コンテンツマーカ例

開き 1 ページにコンテンツの名前，写真，コンテンツマーカ，解説文が記載される．コンテンツとして，3DCG モデ

CG モデルや動画のコンテンツ表示が大きく，本の文字やルと動画・静止画が組み込まれる．コンテンツパートの手挿絵を隠してしまっていたため，体験者の目から文字や挿前にユーザインタフェースパートを設置して使用する．コ

絵を隠してしまっていたことも原因の一つだと考える．CG

ンテンツパートは，物理的な図鑑としても機能するようデモデルや動画のコンテンツの大きさを考慮した MRBook のザインすることで，MR 機能なしでも楽しめるよう作り込コンテンツ差し込み手順を考える必要がある．

むことができる．
2.3 ユーザインタフェースのデザイン上の工夫

コンテンツ差し替えでは，CG モデルの作成と差し替え
は，2 名はできたが，残り 2 名は途中までできなかった．

マーカを UI として使う上では，カメラでマーカを観測

原因は，CG モデルの大きさが小さすぎて表示されていてしつつ，それを直接手で操作するという物理的な制約から，も見えなかったり，プログラム書き換えの際にデータ名を操作のしやすさと分かりやすさに留意する必要があった．

間違えて書き換えたりしていたためであった．動画の作成

これらについて，数度の試行展示を重ねて工夫を行った．と差し替えは，3 名はできたが，1 名ができなかった．動画

まず，マーカと操作との対応については，マーカ単体での作成はコマンドプロンプトの使用を必要としたが，コマ示すことはむずかしく，MR 体験時にマーカに重畳するア

ンドプロンプトを利用したことがない体験者は，あらかじイコンのデザインと，チュートリアルコンテンツを用意しめ用意しておいた動画作成の手順を見ても操作が戸惑ってて，操作方法を教示するという手法をとった．

いたため，作成が行えなかった．コンテンツ作成の手順に操作のしやすさという点では，操作時にマーカが隠れな作成の際に使うソフトやツールの詳細な使い方を記載するいよう取手部分を作ることをおこなった．また，マーカのことが必要であった．また，今回の実験対象が学生 4 名で可動機構についてスムーズで充分な可動域となるよう作成あったため，体験者の母数を増やして，再度，差し替えのした．一方で，機能に沿った自由度の限定も行った．

評価実験を行う必要がある．

2.4 コンテンツの制作のワークフロー
MR Book の枠組みにおいて，コンテンツ制作の利便性も3. むすび高めるよう工夫をおこなった．コンテンツのフォーマット

本研究では，AR/MR を応用した MR 図鑑を制作する枠を定めた上でファイルの差し替えだけで新しいコンテンツ組みについて，ユーザインタフェースとコンテンツ制作のを組み込めるようにし，またプログラム構造も整理し，部両観点から取り組み，そのコンセプトとプロトタイプシス分的な改変である程度のカスタマイズができるようにした．

テムについて述べた．マーカによるユーザインタフェース

動画と 3DCG モデルの組み込みに関しても，コンテンツ作をコンテンツパートとインタフェースパートに分離するこ成手順の整理をおこない，本開発者以外のユーザでもコンとで，従来の図鑑や書籍、さらには模型などを MR で増強テンツ制作がおこなえることを実験で確認した．CG モデすることにより，学習効果の高い教材を提供することを目ルの制作に関して，多数の写真から実物体をモデル化する指した．数度の展示実験を通じて，UI マーカの改良を行う方式であるフォトグラメトリによるモデルの組み込みもマとともに，新しいコンテンツの作成が容易になるようプロニュアル化した．

グラム構造の整理とデータ制作のマニュアル化をおこなっ© 2019 Information Processing Society of Japan292

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

1B-28
2019/3/6

た．その後の予備実験では，今後十分な可能性があることが確認できた．しかしながら，マーカをつかう MR である
ことの物理的制約により，動作の安定性などの観点から，マーカの工夫にはまだ多くの余地があることが明らかになっている．また，コンテンツの制作に関しては，ある程度のプログラミングスキルも要求される状況となっている．
コンテンツ制作のチュートリアル自体をコンテンツ化するという計画もある．UI マーカの工夫と併せて，UI マーカの観測を別のカメラでおこなうなど，主観視点の視界をより広くとれるよう改良する必要もあるかもしれない。
今後，通常の書籍と MR Book による MR 化した書籍とで学習効果を比較するなど，システムの改良と併せて本格的な評価実験をおこなっていく．
謝辞

本研究は JSPS 科研費 16K00288 の助成を受けたものです．

参考文献
[1]

[2]
[3]
[4]
[5]

[6]

[7]

Mark Billinghursta, Hirokazu Kato, Ivan Poupyrevc: The
MagicBook: a transitional AR interface, Computers & Graphics,
Vol. 25, Issue 5, pp. 745 - 753, Elsevier Science Ltd., Oct. 2001.
暦本純一: 2 次元マトリックスコードを利用した拡張現実感の構成手法, WISS’96 予稿集, 1996 年 12 月
リチャード・ウォーカー編, 伊藤伸子訳: 人体図鑑-3D アニメーションで見て学ぼう, 化学同人 (2012)
阿部和厚編，学研の図鑑 LIVE 9 人体,学研教育出版 (2015)
柴田史久, 吉田友佑, 古野光紀, 酒井理生, 木口健治, 木村朝子, 田村秀行: Vivid Encyclopedia: MR 昆虫図鑑, 日本バーチャルリアリティ学会第 9 回大会論文集 (2004 年)
大川卓哉, 鈴木瑞枝, 柴田史久, 木村朝子, 田村秀行: 複合現
実立体図鑑・カタログにおけるアイテム提示法に関する考察, 日本バーチャルリアリティ学会第 9 回大会論文集, pp.
297 – 300 (2004)
加藤博一, Mark Billinghurst , 鉄谷信二, 橘哲八郎: 拡張現実技術を用いたタンジブルインタフェース, 芸術科学論文誌
Vol. 1, No. 2, pp. 97 – 104 (2003)© 2019 Information Processing Society of Japan293