平成 28 年 2 月 10 日
平成 27 年度

情報理工学研究科

情報・通信工学専攻

コンピュータサイエンスコース

MixedReality 空間における仮想書斎システムの開発
電気通信大学大学院

情報理工学研究科

情報・通信工学専攻 成見哲研究室 1431024 大和田 瑛美華

1 背景と目的
電子書籍は登場した年代から現在まで技術の発展と共に主流となる電子書籍閲覧端末は推移してきており，現在の主流はスマートフォン，タブレット，タブレット型専用端末であるが前述の HMDの登場によって主流となる端末はこれからも推移すると考えられる．また日本において電子書籍が登場してから 10 年以上経ってい図1

るが，電子書籍と紙書籍のどちらも異なった利点があり，機能として優れているか結論となる研究結果は出ていない．

2.3

システムの全体図

Variable Reality II[7]仮想現実世界とは CG で構築する世界である．近年，Oculus

電子書籍に関連した研究で Variable Reality II があげられる．

Rift[1] や GoogleGlass[2] といった HMD（装着型ディスプレイ)

モーションセンサを取り付けた HMD を利用して使用するもので，や HMD 用のコントローラ，Kinect[3] や LeapMoiton[4] といった実際の紙書籍を使用した AR と紙書籍を使用しない VR の 2 つを製品が市場に登場し，仮想現実を用いた技術の研究や技術開発が利用できる．ジェスチャーなどで操作を行い，読書のみに特化した発展してきており，物事の効率化・必要最低限の情報伝達のみに利研究である．本研究では，ユーザが直感的に操作が行えるように用されるだけではなく，ユーザに楽しさを与える，ユーザの関心ジェスチャ操作は用いない．

を引き付ける手段として利用することが可能になった．仮想現実を用いた技術には完全に視界を仮想現実のみにした VR（Virtual3 システム

Reality, 仮想現実），現実に付加情報として仮想現実の一部だけ表

3.1

システムの全体図示した AR（Augmented Reality, 拡張現実)，現実に付加情報に加

図 1 はシステムの全体図である．ユーザは ARUco[8] を用いてえ仮想現実に触れることが出来る MR（Mixed Reality，複合現実)

作成した箱面と HMD を装着．ユーザ情報を入力デバイスが取得が存在する．

し，PC が処理をする．

本研究の目的は，大規模な装置を使用せず直感的な操作と歩行

3.2

デバイスの説明が可能な MR 空間の構築と，MR 空間を用いた仮想書斎システム

3.2.1

Kinect v2の開発である．仮想書斎システムの電子書籍は，紙書籍の利点でKinect v2(以下 Kinect）の特徴はボタン入力ではなく，予め記ある立体的なページの厚みや動きを取り入れることを目標とした．

憶させたジェスチャ入力をするところである. 最大 6 人までユーザ

このシステムにより，読書の楽しさを与える仮想書斎を目指す．

を検知し，ジェスチャや画面上での位置座標を取得する．Color 情

2 既存研究・技術

報は RGB カメラから得られた映像であり，Depth（深度）情報は2.1 MR Plug-in for Unity : MREAL[5]Kinect からの距離である．
3.2.2

LeapMotion

MR 技術に関連した既存技術として MREAL があげられる．

LeapMotion は机上に置き, 手首から先の動きを認識するジェス

MREAL は Unity で制作した高精細３ D グラフィックスを，ユーチャー入力デバイスである．手の詳細なトラッキングの他にキーザの自由な視点で体験できるというものである．MREAL は企業ボードを叩くような動作（KeyTap）や１本の指の円運動 (Circle）と向け製品であり価格も個人開発を行っているユーザにとっては手いったジェスチャの認識も可能である．体全体を認識する Kinectを出すことが難しいものとなっている．また，基準マーカの設置はとは違い，手に特化して詳細な手の情報を得ることが可能である．

不可欠であり，前準備が必要なシステムとなっている．本研究では，個人でシステムが使えるように手に入りやすいデバイスを用いて，大がかりな前準備が必要のないシステムの構築を目指した．

4 MR 空間を用いた仮想書斎システムの機能
システムの概要は次のとおりである．

2.2 Virtuix Omni[6]
仮想現実の中を歩行する既存技術として，Virtuix Omni があげ

MR 空間を歩いて見回せるられる．Omni は VR で使用できる HMD を装着して使用する．

• 一定の空間を構築

実際にユーザが歩行すると VR の中を歩行出来，歩行をしても装• Kinect によってユーザの位置を検出置の中央に戻る．装置は大きく，個人での入手と所有が難しいこと• 前後左右の視点移動がデメリットとしてあげられる．

• 視線移動• 装飾：写真、イラストの展示
手を動かして本棚から取り出し，ページを捲れる• 手のモデリングによる接触による操作（接触判定：分離軸表1

実験後の問題の正答率

システム名

項目

本研究システム

猫に混じった写真

26.67

ショートストーリーからの出題

62.00

犬に混じった写真

20.00

ショートストーリーからの出題

64.00

Kindle for PC

図2

正答率 [%]

ユーザ位置の補正に対する比較グラフ

5.0.2
判定を利用

被験者実験

本システムと Kindle for PC[9] との無意識の記憶量の差を確か• 本棚から本を選ぶめる．体を動かす、本が立体的に捲れる・見えることにより読書内• ページを捲って閲覧

容について無意識の記憶が増えると仮定した．

ページの厚みや捲れる途中を３次元的に見える• ページの厚みと立体的な動きの描画
4.1 視線移動：箱面
ARUco は 基 準 マ ー カ の 作 成 と 基 準 マ ー カ の 検 出 が 行 え る ．

実験手順は 5 人の被験者に対し，テーマとは明らかに違う写真を混ぜた本とショートストーリーを閲覧し，1 時間後に記憶量を調べる問題を解いて貰うことと，システムを使用している間，被験者の感想や反応を観察する，ことである．

OpenCV ベースで開発されており，Kinect で検出する場合に実験後の問題の正答率は表 1 であり，記憶量に差は出なかった．

実装が容易である．本システムで基準マーカの種類と姿勢から，原因としてはシステムの完成度が低かったため，「本が読みづらい」

ユーザの視線の向きを検出するため箱面を作成し，利用した．と感じる被験者が多かったためである．

4.2 手のモデリング

本の見た目に対して，システムの目的は達成出来たが，MR 空

LeapMotion を用いる場合，メリットとして指先の衝突判定によ間の見た目は被験者が「宙に浮いている」「距離感と奥行がわかりり「握る」「摘まむ」という操作が可能である．しかし，デメリッにくい」と発言しており改善が必要である．また画面が細かく揺トとして本システムの起動・動作が不安定になってしまった．安定

れて本が読みづらいという問題点があった．操作方法については，性を優先するため本研究の最終的なシステム，評価は Kinect のみ

想定した方法と被験者の動きには差異はなかった．本システムはで行った．今後，LeapMotion を繋げ，範囲調節を行えば利用可能

直感的操作のために，ジェスチャ入力を用いなかったが特定の操である．

作に関してはジェスチャの実装や，視界の追加固定などの追加機

4.3 ユーザ位置の補正能の要望があった．

Kinect の単体関節検出のデータの利用だけでは，ノイズが入りユーザ位置が大きくぶれる．また両手を使って操作を行うので，関6 まとめと今後の課題

節が重なり関節の深度情報が正しく得られない．そこで条件を設

本研究では，ユーザの実際の歩行により移動，衝突判定により操定し，過去３フレーム分の値の平均でユーザ位置の補正を行った．

作できる MR 空間の構築，MR 空間を用いた仮想書斎システムの前準備は，Color 情報をマス目に分割，取得した関節がどのマスに開発を行った．仮想書斎の電子書籍は，立体的なページの厚みの動所属するか記録，取得関節の座標データを記録である．条件は，関きの実装を行った．今後の課題として，視界のブレとなるノイズの節情報が両手ではない，両手が所属するマスと同じマスではない，除去，LeapMotion の安定実装などのシステムの安定化と，ユーザ最新フレームで検出された関節である，の３つである．

が使いやすくなる機能の追加があげられる．

4.4 ユーザ位置補正の比較
ユーザ位置の補正について評価を行った．比較対象は頭のみ(JointType Head), 肩の中央のみ (JoitType SpinShoulder)，過去
3 フレーム分の肩の中央 (3Frame SpinShoulder)，本システムの実装 (3FrameBody) で，結果は図 2 である．本システムで実装した場合は細かな値の動きはあるものの大きな変化はない．つまり，本システムの実装でユーザ位置の補正が出来たといえる．

5 システムの評価
5.0.1 デモンストレーション
EC2015 と 2015 年度調布祭にてデモンストレーションを行った．体験者の意見としては，（LeapMotion を利用時）手がうまく動かしにくい，箱面を被ることに戸惑いがある，体を動かすのが楽しいなどがあった．
デモンストレーションをもとに，システムの改善を行った．

参考文献[1] Oculus Rift，Oculus VR, LLC,
https://www.oculus.com[2] Google Glass，Google,
https://developers.google.com/glass/[3] Xbox 360,Microsoft,
http://www.xbox.com/ja-JP/kinect[4] LeapMotion,
https://www.leapmotion.com/[5] MREAL・キャノン IT ソリューションズ株式会社（2013）,
http://www.canon-its.co.jp/company/news/20130618mr01.
html[6] Virtuix Omni,Virtuix,2016 年 1 月 28 日最終アクセス
http://www.virtuix.com/[7] Variable Reality II,,HYE SOO YANG,
http://www.hyesooy.com/varreality2[8] Automatic generation and detection of highly reliable fiducial
markers under occlusion・S. Garrido-Jurado, R. Munoz-Salinas,
F.J Madrid-Cuevas, M.J. Mar ´ n-Jim ´ enez,
http://www.uco.es/investiga/grupos/ava/sites/default/
files/GarridoJurado2014.pdf[9] Kindle for PC,2016 年 1 月 28 日最終アクセス,
http://www.amazon.co.jp/gp/feature.html?docId=3078592246