修

士

論

文

の

和

文

要

旨

研究科・専攻大学院 情報理工学研究科 情報・通信工学 専攻

氏大和田瑛美華名論 文 題 目要

学籍番号

博士前期課程1431024

MixedReality 空間における仮想書斎システムの開発

旨

本研究では，MR（MixedReality，複合現実）空間を用いた仮想書斎システムを開発した．
本システム内では，電子書籍の閲覧を行ったり，壁に写真を飾ったりすることが出来る．また，ユーザ自身が本当に歩くことによって仮想空間内を移動したり，手で触る操作をすることでページをめくったり物を移動したりすることが出来る．
近年電子書籍が普及しているものの，「ページの厚みにより読んだ量や残りの量が分かり易い」「ページを捲（めく）ることで読んでいる実感がある」など紙書籍ならではの利点もある．そこで本研究では，電子書籍でありながら紙書籍に近い感覚が得られることを目標とした．
本システムは，ユーザーが歩き回れる仮想空間を構築すること，ユーザーの手の動きに対して仮想空間内で反応させること，紙書籍に近い形状の電子書籍をモデリング・レンダリ
ングすること，の三つの機能に分けられる．Kinect を用いてユーザーの位置を，基準マーカ
ーを用いて顔の向きを検出し，仮想空間内での移動を実現している．ユーザーの手の動き
は Kinect で検出し，仮想空間内での座標系と照らし合わせることで対応付け，ページ捲り
や物の移動を実現している．Kinect で取得出来る関節のデータには時々大きなノイズが生じるため，ユーザーデータを元に補正方法を開発した．読み進めた分のページを OpenGL
を用いて三次元的に表現し，ページが捲れる様子も立体的にページを動かすことで，読んでいる感覚を得やすい様に表現した．
本システムと Kindle for PC を用いて読後の記憶に関する比較実験を行った結果，一つの課題の正答率は本システムが 27%，Kindle が 20%で若干優れている数字が出たが，もう一つの課題ではほぼ差が見られず，有意な差とは言えなかった．被験者の意見では，本システムの方が読んでいる楽しさがあるという意見もあったが，操作性や見た目などに対する課題も多かった．

平成 27 年度

修士論文

MixedReality 空間における仮想書斎システムの開発

電気通信大学大学院 情報理工学研究科
情報・通信工学専攻 コンピュータサイエンスコース
学籍番号 1431024
氏名 大和田 瑛美華
指導教員 成見 哲
副指導教員 角田 博保
平成 28 年 3 月 15 日

概要
本研究では，MR（MixedReality，複合現実）空間を用いた仮想書斎システムを開発した．本システム内では，電子書籍の閲覧を行ったり，壁に写真を飾ったりすることが出来る．また，ユーザ自身が本当に歩くことによって仮想空間内を移動したり，手で触る操作をすることでページをめくったり物を移動したりすることが出来る．
近年電子書籍が普及しているものの，「ページの厚みにより読んだ量や残りの量が分かり易い」「ページを捲（めく）ることで読んでいる実感がある」など紙書籍ならではの利点もある．そこで本研究では，電子書籍でありながら紙書籍に近い感覚が得られることを目標とした．
本システムは，ユーザーが歩き回れる仮想空間を構築すること，ユーザーの手の動きに対して仮想空間内で反応させること，紙書籍に近い形状の電子書籍をモデリング・レン
ダリングすること，の三つの機能に分けられる．Kinect を用いてユーザーの位置を，基準マーカーを用いて顔の向きを検出し，仮想空間内での移動を実現している．ユーザーの手の動きは Kinect で検出し，仮想空間内での座標系と照らし合わせることで対応付け，
ページ捲りや物の移動を実現している．Kinect で取得出来る関節のデータには時々大きなノイズが生じるため，ユーザーデータを元に補正方法を開発した．読み進めた分のペー
ジを OpenGL を用いて三次元的に表現し，ページが捲れる様子も立体的にページを動かすことで，読んでいる感覚を得やすい様に表現した．
本システムと Kindle for PC を用いて読後の記憶に関する比較実験を行った．その結果，一つの課題の正答率は本システムが 27%，Kindle が 20%で若干優れている数字が出たが，もう一つの課題ではほぼ差が見られず，有意な差とは言えなかった．被験者の意見では，
本システムの方が読んでいる楽しさがあるという意見もあったが，操作性や見た目などに対する課題も多かった．

目次
第1章
1.1
1.2
1.3

はじめに
背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3
3
3
4

第 2 章 仮想現実世界を用いた技術と関連デバイス
2.1 仮想現実世界を用いた技術 . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.2 関連デバイス . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.2.1 Kinect v2[3] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.2.2 LeapMotion[4] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6
6
8
8
8

第 3 章 電子書籍と紙書籍
12
3.1 電子書籍の閲覧端末について . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.2 電子書籍 VS 紙書籍 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
第 4 章 既存技術及び研究
4.1 MR 技術 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.1.1 MR Plug-in for Unity : MREAL[22] . . . . . . . . . . . . . . . . . .
4.1.2 デメリットと本研究との差異 . . . . . . . . . . . . . . . . . . . . .
4.2 仮想現実の物体に触る . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.2.1 さわれる拡張現実感システムの検討 [25] . . . . . . . . . . . . . . .
4.2.2 デメリットと本研究との差異 . . . . . . . . . . . . . . . . . . . . .
4.3 VR 移動 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.3.1 Virtuix Omni[26] . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.3.2 デメリットと本研究との差異 . . . . . . . . . . . . . . . . . . . . .
4.4 電子書籍に関係したもの . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.4.1 Variable Reality II[27] . . . . . . . . . . . . . . . . . . . . . . . . .
4.4.2 Kindle[28] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

14
14
14
14
17
17
17
17
17
18
18
18
21

第 5 章 システムの概要
5.1 目標とするシステムの構想 . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.1.1 ユーザの使用準備 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.1.2 ユーザがシステムで出来ること . . . . . . . . . . . . . . . . . . . .
5.1.3 ユーザから見えないシステムの処理 . . . . . . . . . . . . . . . . . .
5.2 本研究のシステムの仕様 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.2.1 使用準備 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.2.2 MR 空間での機能 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.2.3 電子書籍としての機能 . . . . . . . . . . . . . . . . . . . . . . . . .
5.2.4 装飾機能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

23
23
23
23
24
26
26
26
26
27

1

第 6 章 システムの詳細
6.1 システムの開発環境 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6.1.1 利用デバイス . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6.1.2 利用ライブラリ . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6.2 システムの全体 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6.2.1 システムの起動 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6.2.2 ユーザの位置検出（視点移動） . . . . . . . . . . . . . . . . . . . .
6.2.3 ユーザの視線の検出 (視線移動） . . . . . . . . . . . . . . . . . . .
6.2.4 ユーザの手の位置検出と描画 . . . . . . . . . . . . . . . . . . . . .
6.2.5 書斎の描画と衝突判定 . . . . . . . . . . . . . . . . . . . . . . . . .
6.2.6 本の描画と操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

28
28
28
28
31
31
32
35
38
39
43

第 7 章 システムの評価
7.1 ユーザ位置の補正に対する評価 . . . . . . . . . . . . . . . . . . . . . . . .
7.1.1 考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7.2 LeapMotion と Kinect の両方を用いたデモンストレーション . . . . . . . .
7.2.1 デモンストレーションの概要 . . . . . . . . . . . . . . . . . . . . .
7.2.2 評価結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7.2.3 EC2015 後の研究方針 . . . . . . . . . . . . . . . . . . . . . . . . . .
7.3 Kinect のみのデモンストレーション . . . . . . . . . . . . . . . . . . . . . .
7.3.1 デモンストレーションの概要 . . . . . . . . . . . . . . . . . . . . .
7.3.2 考察結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7.4 読書の記憶に関する被験者実験 . . . . . . . . . . . . . . . . . . . . . . . .
7.4.1 目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7.4.2 実験手順と内容 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7.4.3 実験結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

44
44
44
44
44
45
45
45
45
46
46
46
46
48

第 8 章 まとめと今後の課題
8.1 まとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8.1.1 MR 空間の構築：視界 . . . . . . . . . . . . . . . . . . . . . . . . .
8.1.2 MR 空間の構築：操作方法 . . . . . . . . . . . . . . . . . . . . . . .
8.1.3 MR 空間の構築：移動方法 . . . . . . . . . . . . . . . . . . . . . . .
8.1.4 仮想書斎システム：本の閲覧 . . . . . . . . . . . . . . . . . . . . .
8.1.5 仮想書斎システム：本の選択 . . . . . . . . . . . . . . . . . . . . .

52
52
52
53
53
54
54

第 9 章 謝辞

58

2

第1章

はじめに

本章では，仮想現実を用いた技術の発展と電子書籍の現状について述べ，本研究の目的について説明する．また，各章の概要についても紹介をする．

1.1

背景

仮想現実世界とは，CG（Computer Graphics）で構築された世界である．仮想現実を用いた技術とは，仮想現実を全体または一部を利用した技術と定義する．近年,Oculus Rift[12] やGoogleGlass[2] といった装着型ディスプレイである HMD（Head Mount Display) や,HMD用のコントローラ,Kinect[3],LeapMotion[4] といったモーションセンサ製品が市場に登場した．また VR（Virtual Reality，仮想現実）に利用する HMD に対して特に VRHMD，仮想ヘッドセッドと呼ばれるようになった．以上の事柄に付随して仮想現実を用いた研究や技術開発も活発化し発展してきており，技術がゲームなどの嗜好品, ロボットなどの操作,
商品の PR やサービスに利用されてきている．つまり, 物事の効率化・必要最低限の情報伝達のみに用いられるだけではなく, ユーザに楽しさを与える, ユーザの関心を引き付ける手段として利用することが可能になった．
また電子書籍は登場してから現在まで技術の発展と共に主流となる電子書籍閲覧端末
は推移してきており，現在の主流はスマートフォン，タブレット，タブレット型の専用端末である．しかし，前述の HMD の登場によって主流となる端末は今現在のものから推移すると考えられる．また，日本において電子書籍が登場してから 10 年以上経っているが，電子書籍と紙書籍のどちらが機能として優れているか結論となる研究結果は出ていない．
2013 年度の卒業研究「裸眼立体視ディスプレイ搭載のスマートフォンを用いた紙書籍に近い電子書籍閲覧システムの開発」[18] では裸眼立体視可能なディスプレイ搭載のスマー
トフォンを用いて，リアルで直感的操作が可能な電子書籍閲覧システムの開発を行った．
立体視により電子書籍に奥行を持たせページの厚みを描画し，操作はページをタッチしながらドラックすることにより捲りと，タッチをしながらデバイスを傾けることによりページ送りを実装した．被験者実験では使用説明なく操作が可能であり，感想も好評なものがあった．課題点は紙書籍に近づけた描画を画面の小さなスマートフォン上で行ったため，実際に読書をする場合目が疲れることや，細かい操作が難しいことがあげられる．

1.2

目的

本研究では, 大規模な装置をユーザに装着することなく直感的な操作と歩行可能な MR
空間を構築し, 更に MR 空間を用いた仮想書斎システムの開発を目的とする．仮想書斎シ
ステムの電子書籍は，紙書籍の利点を取り入れたものとする．本研究における紙書籍の利点は，ページの厚みとページの動きと捉えた．ページの厚みにより本の内容をどのくらい読み進めたか, 残りのページ数が直感的にわかる．またページの動きは，スライドショーのような瞬間的なページの切り替えではなく，多くのユーザが慣れ親しんでいる紙書籍の3

図 1.1:
ページが捲れる動きである．このページの動きによって本を読んでいる感覚が得られる．
また仮想書斎には好みの写真やイラストを飾ることが出来るものとする．

1.3

構成

本論文の構成と，その内容は以下の通りである．
第 1 章 はじめに仮想現実を用いた技術の発展と電子書籍の現状について述べ，本研究の目的について述べる．
第 2 章 仮想現実を用いた技術と関連デバイス
VR，AR，MR について説明し，更に関連するデバイスについて説明をする．
第 3 章 電子書籍と紙書籍
現在までの電子書籍閲覧端末について述べ，電子書籍と紙書籍の現状について述べる．
第 4 章 既存技術及び研究
本研究に関連する既存技術及び研究について説明し，本研究との違いについて述べる．
第 5 章 システムの概要
本研究が目標とするシステムの構想について述べる．また構想を基に開発した本研
究のシステムの方針と仕様について説明をする．
第 6 章 システムの詳細本研究での開発環境，システムの全体について説明をし，実装方法について説明をする．
第 7 章 システムの評価
ユーザ位置の補正に対する評価，LeapMotion と Kinect の両方を用いたシステムのデモンストレーション，Kinect のみのデモンストレーション，被験者実験について述べる

4

第 8 章 まとめと今後の課題
本研究の成果，問題点，今後の課題について述べる．

5

第2章

仮想現実世界を用いた技術と関連
デバイス

本章では，VR，AR，MR について説明し，更に関連するデバイスについて説明をする．

2.1

仮想現実世界を用いた技術

仮想現実を用いた技術の用語として VR（Virtual Reality，仮想現実），AR（Augmented
Reality，拡張現実），MR（Mixed Reality，複合現実) が存在する．VR とは視界を完全に仮想現実のみで構成する技術であり，ゲーム (図 2.1) や住宅展示案内 (図 2.2) などで利用されている．AR とは現実世界の映像に CG やデジタル情報を重ね合わせて表示する技術であり，お菓子のパッケージで行うゲーム (図 2.3, 図 2.4) や宣伝，絵本やパンフレットに追加情報表示などで利用されている．また MR とは仮想現実と現実を融合させる技術であり，利用場面は AR と似通っているが異なる特徴として仮想現実の物体に触る，動かすといった影響を与えて体験することが出来るという特徴がある．
以上のように VR はユーザの視界を完全に仮想現実のものにすることにより没入感を与えることが出来る利点があり，世界観に入り込むゲームや映画などの映像作品に向く．対して，AR と MR はユーザが現実も認知することが出来るので障害物に気を付けなければならない道案内や商品の PR などの情報表示などの日常生活で使用するツールに向く．

図 2.1: VR を使ったゲーム（参考文献 [5] より引用）

図 2.2: VR を使った住宅展示(参考文献 [6] より引用)

6

図 2.3: AR ゲームが出来るゲームのパッケー
ジ（キョロちゃんの遊べる AR[7]）図 2.4: パッケージを認識して AR ゲーム起動
(参考文献 [8] より引用)

7

2.2

関連デバイス

2.2.1

Kinect v2[3]Microsoft 社から 3 次元入力デバイスとして Kinect v2(以下 Kinect）(図 2.5）が提供されている．Kinect の特徴はボタン入力ではなく，予め記憶させたジェスチャ入力をする
ところである. ゲームの分野ではコンシューマゲーム機の Xbox360 やアーケードゲームのDanceEvolution などで利用され，研究の分野では手話やダンスなどの技術向上を目的とした研究で利用されている．Kinect の主な仕様は表 2.1 である．
最大 6 人までユーザを検知し，ジェスチャや画面上での位置座標を取得する．また，Depth（深度) センサと音センサが内蔵されている．Depth センサは Time of Flight(TOF:Kinectから赤外線を投光して，反射して戻ってくる時間から Depth 情報を得る）方式が採用されている．Kinect の詳細な仕様は表 2.2 である．
Kinect の Color 情報は図 2.6 であり,Depth（深度）情報を視覚的に変換したものは図 2.7である．関節情報は, 図 2.8 のように Color 情報で得た関節の座標情報を基に Depth 情報の座標と Kinect からの距離を取得する．

2.2.2

LeapMotion[4]LeapMotion(図 2.9) は机上に置き, 手首から先の動きを認識するジェスチャー入力デバ
イスである．LeapMotion のトラッキング速度は通常時では 150fps で，バランスモードで
120fps である．手の詳細なトラッキングの他にキーボードを叩くような動作（KeyTap）
や１本の指の円運動 (Circle）といったジェスチャの認識も可能である．体全体を認識する
Kinect とは違い，手に特化して詳細な手の情報を得ることが可能である．近年では,Oculus
Rift[12] に LeapMotion マウンタを利用して LeapMotion を装着し (図 2.10), 仮想現実体験も可能になった (図 2.11)．Oculus Rift とは広視野ば立体視が可能な HMD で，ヘッドト
ラッキングにより仮想現実の中を実際に頭を動かして見回すことが出来るデバイスである．

8

表 2.1: Kinect v2 の主な要件
項目
対応 OS

消費電力
CPU
接続ポート
メモリ
GPU
ソフトウェア要件（参考文献 [9] より引用）
要件

Windows 8,Windows 8.1 ,Windows Embedded Standard 8 ,Windows Embedded Standard 8.1
36W
2.66 GHz 以上デュアルコア 64 ビット (x64) プロセッサUSB 3.0,
PCI-Express 経由の USB 接続の場合は PCI-EX Gen2 (5Mbps) 以上
2 GB RAM
DirectX 11 対応グラフィックスカード
Visual Studio 2012 またはVisual Studio 2013 .NET Framework 4.5 以降

表 2.2: Kinect v2 の詳細な仕様
項目

Color（色）情報
Depth(深度)Player（人物領域）
Skeleton(人物姿勢）
Joint（関節）Hand State（手の開閉）
Angle（角度）（参考文献 [10] より引用）
仕様

解像度:1920 × 1080 , fps:30fps
解像度:1920 × 1080 ,fps:30fps , 取得範囲:0.5m から 8.0m
6人
2人
１人当たり 25 関節あり
水平：70 度，垂直：60 度

図 2.5: Kinect v29図 2.6: Color の例

図 2.7: Depth の例

図 2.8: Kinect の関節認識（Body)10図 2.9: 研究で利用した LeapMotion

図 2.10: Oculus Rift に LeapMotion を装着例 （参考文献 [11] の Leap Motion VR Galleryより引用）

図 2.11: Oculus Rift に LeapMotion を装着例（参考文献 [11] の Planetarium より引用）

11

第3章

電子書籍と紙書籍

本章では，現在までの電子書籍閲覧端末について述べ，電子書籍と紙書籍の現状につい
て述べる．

3.1

電子書籍の閲覧端末について

日本における電子書籍閲覧端末の発展はその時代の技術発展と共に推移しており,2013
年の公正取引委員会によれば次の通りに年代別に分けることが可能である [13]．

• CD-ROM，携帯型端末機（オフライン）:1980 年代中頃〜1990 年代中頃
• 携帯型端末機（オンライン，書店やコンビニの端末から販売）:1990 年代後半〜2000
年代初め• 携帯型端末機（ダウンロード販売):2000 年代初め〜2000 年代中頃
• 携帯電話:2000 年代中頃〜2010 年代初め
• スマートフォン，タブレット，携帯電話:2010 年代初め〜
日本における電子書籍の始まりは 1985 年に発売された「最新科学技術用語辞典 CDROM 版」（株式会社三修社）であるとされている [14]．インターネットの普及と共に電子書籍の配信の方法が変わり，電子書籍端末も変化してきた．携帯電話の個人所有率が増加したことにより 2009 年頃には電子書籍市場全体の 9 割を携帯電話向けが占めた．2010
年には電子書籍専用端末「Kindle」(アマゾン社) が世界規模で急激に普及し，日本では「iPhone」「iPad」（アップル社）が普及した．また日本において電子書籍の普及と発展のため「日本電子書籍出版社協会」が設立されるなど環境整備が始まった．
2015 年現在に至るまで電子書籍端末の閲覧方法は高性能化，多様化してきているがハードとソフトにおいて固定化されたものはまだないと考える．
また紙書籍と電子書籍についての 2 社のアンケート調査結果 [15][16] によれば，アンケー
ト回答者の 50 ％以上が電子書籍よりも紙書籍を好んでいるという回答をした．この理由として「ページを捲るなどの質感」「分厚い本を読み終わった後に感じる達成感」と紙書籍の特性をあげていた．技術革新と共に電子書籍端末が変化し，日本における電子書籍市場も成長 [17] しているが，現在の電子書籍端末や閲覧方法は紙書籍に慣れているユーザや
電子独特の操作を苦手とするユーザに対応していないと考える．

3.2

電子書籍 VS 紙書籍

Stavanger 大学の Anne Mangen 氏の研究によれば小説を読んでいる時に, ストーリーの進行に合わせて紙を捲っていく作業が記憶の補助になると述べており [19], また, 東京大学
12

の酒井邦嘉によれば [20][21] 文字の大きさや段組みなどのレイアウトが記憶や理解に重要だと述べている．
電子書籍の利点として, 閲覧端末（ハードウェア）の容量が許す限り，紙書籍に比べて圧倒的に多い数の本を持ち運ぶことが出来る, ユーザが読みやすいように文字の大きさを変更できる, 自分だけの誰にも見られない秘密の本棚を持つことが出来る, 物理的な重さが閲覧端末のみであることがあげられる．また閲覧端末によってはスクロールバーなどで 1
ページにまとめられた文字を一気に速読することが可能であったり, インターネットに接続されていれば本の単語から直接，言葉の意味を調べることが可能である．
紙書籍の利点は, 固定されたレイアウトにより感覚的に「前のページのあのあたりにこんなことが書いてあった」と無意識に覚えることが出来ることである．また電子書籍が爆発的に普及してきたのは 2010 年頃で多くのユーザが子供時代から親しんだ読み物の媒体が紙書籍であることから，「（紙書籍の方が）本を読んでいる」という実感が得られる．紙書籍の場合でも使用するユーザによっては速読が可能である．
以上のように紙書籍と電子書籍はそれぞれ利点が存在する．しかし, 電子書籍の軽いという利点が，紙書籍での「重みが読んでいる実感になる」という利点と反することもあり，どちらがいいかは結論を出すことが出来ない．ユーザが速読を出来る環境が電子書籍のスクロールバーのものか, 紙書籍を捲るものかは個々のユーザそれぞれの好みや技量で
決まる．

13

第4章

既存技術及び研究

本章では，本研究に関連する既存技術及び研究について説明し，本研究との違いについ
て述べる．

4.1

MR 技術

4.1.1

MR Plug-in for Unity : MREAL[22]MR 技術に関連した既存技術としてキャノン IT ソリューションズ株式会社の製品である MREAL があげられる．Unity で制作した高精細３ D グラフィックスを MREAL で見ることによりユーザの自由な視点から MR として現実世界で体験できるというものである．企業の製品ライフサイクルの短縮化により実物大モデルが早急に必要とされ，また製品を使うユーザの姿勢や視点の動き考慮したデザインや操作性の評価を行う必要が出てきたことから開発がされた．ビデオシースルー方式のヘッドマウントディスプレイ HM-A1，
基準マーカ，位置検出センサ (図 4.1) を利用し，ユーザの立ち位置，視線方向を検出している．検出した情報から，自由曲面プリズムにより歪みの少ない MR 空間を実現をしている (図 4.2)．

4.1.2

デメリットと本研究との差異

製品説明 [22] の「様々なシーンで活用される MR コンテンツ」では例として製造業，建築，イベントがあげられている様に，MREAL は企業向けの製品であり価格も個人開発を行っているユーザにとっては手を出すことが難しいものとなっている．また，図 4.3 で表されているように基準マーカの設置は不可欠であり，前準備が必要なシステムとなってい図 4.1: MREAL の構成

その１

14

（参考文献 [24] より引用)

図 4.2: MREAL の構成

その 2（参考文献 [23] より画像引用)

図 4.3: MREAL の基準マーカの利用

15（参考文献 [24] より引用)

る．本研究では，個人でシステムが使えるように手に入りやすいデバイスを用いて，大がかりな前準備が必要のないシステムの構築を目指した．

16

図 4.4: AR マーカと LeapMotion を用いた実行画面

4.2

仮想現実の物体に触る

4.2.1

さわれる拡張現実感システムの検討 [25]([25] より引用)

CG のような仮想のオブジェクトに触るという観点での先行研究として，電気通信大学の春田によって開発された「触れる拡張現実感システムの検討」があげられる．この研究では触れる AR と表現されているが，MR と同様のシステムである．
この研究ではカメラで AR マーカを認識すると，CG モデルを構築し Kinect(Kinect v1）
または LeapMotion それぞれのデバイスを用いて，CG モデルに座標上で触れることにより影響を与え，変化させるというものである．また Kinect と LeapMotion を用いた比較実
験では，LeapMotion を使用したシステムの方が直感的な操作が出来ると論文中で述べられている．図 4.4 は研究システムと物理エンジンを組み合わせた LeapMotion での実行画面である．LeapMotion で得られた手の動きによって仮想的な壁を壊すというアプリケー
ションである．

4.2.2

デメリットと本研究との差異「さわれる拡張現実感システムの検討」はシステムが机の上で構築をされており, 操作を行うのはユーザの腕から先であり, システムを設置した場所のみの使用である．本シス
テムでは机だけではなく部屋全体に範囲を広げてシステムの開発を行った．

4.3

VR 移動

4.3.1

Virtuix Omni[26]

実際の歩行により VR 空間を移動する既存製品として, デバイスメーカ Virtuix 社のVirtuix Omni があげられる．図 4.5 の装置をユーザが市販 VR ヘッドセットと組み合わせて使用することにより, ユーザ自身の歩行, 走行, 跳ねなどの動きでゲームをコントロール出17図 4.5: Virtuix Omni

（参考文献 [26] の PRODUCTS より引用)

来る製品である．Omni の使用準備は, 専用シューズ Omni Shoes を動作検知の為の Omni
Tracking POD を付けて履き,Omni に乗り込み,Omni ハーネスを腰に装着する．Omni の床面が中心に向かって傾斜をしており, ユーザが動いても Omni の上に留まるという仕組みである．実際の Omni の動作風景は図 4.6 である．

4.3.2

デメリットと本研究との差異

実際に歩行が出来, ゲームに応用が出来, 実際にゲームの中で入っているという没入感を得られるというメリットがあるが, 大型装置であるため日本の一般家庭では導入しにくいというデメリットが存在する．本研究では一般家庭でも利用できるシステムの開発を目指
した．

4.4

電子書籍に関係したもの

4.4.1

Variable Reality II[27]電子書籍に関連した既存研究として HYE SOO YANG が開発した Variable Reality IIがあげられる．これは LeapMotion と Oculus Rift を利用した AR と VR 技術を利用した電子書籍閲覧システムである．装置の構成は図 4.7 である．

18

図 4.6: Virtuix Omni
（参考文献 [26] の ATX VR Meetup November 2015 動画より引用)

図 4.7: Variable Reality の構成（参考文献 [27] の Variable Reality Setup より引用)

図 4.8: AR のシステム（参考文献 [27] の Variable Reality Augmented Book より引用)

19

図 4.9: AR のシステムの実行画面（参考文献 [27] の Variable Reality Demonstration Video
より引用)

図 4.10: VR のシステム（参考文献 [27] の Variable Reality Virtual Book より引用)

図 4.11: VR のシステムの実行画面（参考文献 [27] の Variable Reality Demonstration
Video より引用)

20

図 4.12: Kindle for PC のライブラリ画面

図 4.13: Kindle for PC の PDF 閲覧画面

AR のシステムでは紙書籍を検出し．紙書籍に対して電子情報を投影するシステムである (図 4.8 及び図 4.9)．VR のシステムでは手をトラッキングし，紙書籍を使わず電子書籍を出現させるシステムである (図 4.10 及び 4.11)．
本研究との違いVR と AR のシステムも決まったジェスチャーにより書籍への操作を行う．本研究ではユーザの目の前の狭い空間だけではなく広い空間のシステムの構築を行い，ユーザの視界に入っていない状態でも，情報を破棄させずに保持し続ける．また予め決めたジェス
チャー操作ではなく，触る・持つなどの直感的な操作を行う．

4.4.2

Kindle[28]

多くのユーザに利用されている電子書籍の配信元のひとつとして Amazon.com がある．
Kindle とは Amazon.com が提供する電子書籍リーダ専用端末，スマートフォンやタブレッ
ト，及び PC 向けのアプリのことを指し示す．図 4.12 と図 4.13 は Windows8.1\8\7 用のKindle for PC[29] の実行画面の一部である．Kindle for PC は，キーボードの矢印キーまたは Enter キー，マウスによって操作をする．特徴として，次のページに読み進めた際にエフェクトがなくスライドショーの表示のように切り替える．

21

本研究との違い

Kindle for PC は普段から PC に慣れたユーザによっては直感的に操作が行え，ユーザ
によっては無駄と感じるページ捲りなどのエフェクトがなく見た目がシンプルである．本
研究では PC 操作に慣れているユーザではなく紙書籍に慣れているユーザが直感的に操作が行え，親しみを抱くような見た目にすることが目的である．

22

第5章

システムの概要

本章では，本研究が目標とするシステムの構想について述べる．また構想を基に開発した本研究のシステムの方針と仕様について説明をする．

5.1

目標とするシステムの構想

構想は使用するユーザから見える部分と，見えない部分の 2 つに分けて述べる．これらは構想であり，今回実装していない機能も多い．

5.1.1

ユーザの使用準備

家庭用ゲームを設置するように，装置を出して直ぐに使えるシステムを想定する．具体的には壁に基準マーカを貼りつけたりする模様替えをしない，個人で入手・所有が難しい
機材を使わない．

5.1.2

ユーザがシステムで出来ること

ユーザが仮想書斎で行えることについて述べる．
電子書籍の閲覧（読書）
電子書籍のデータは Kindle や SonyReaderStore[30] などで入手可能な広く流通している
電子書籍のフォーマット，PDF，画像を利用できる．
本に対する基本的な読書操作について以下にまとめた．
本を持つ本を持ち，移動が出来る．狭い空間ではなく広い空間の仮想書斎であるので，ユーザの移動先に本が移動し，閲覧が可能である．
本の開閉本を選択したら直ぐに閲覧するページが始まるのではなく，ユーザが開くことにより本を読むことが出来る．
ページを 1 ページずつ捲るスライドショーのように瞬間的にページが移動するのではなく，ぱらぱらと立体的にページが捲れる．捲る操作は紙書籍と同じように，ユーザの手で持つ，または滑らすことによって行う．
ページを任意数のページを捲る
本のページを複数枚摘まむことにより，任意の枚数のページを捲る．

23

本を傾けてページを送る
本を傾けることによってぱらぱらとページが捲れる．ページ送りの具体的な例は，
分厚い紙辞書で目的の単語を探し出す時に行っている．
本の選択
リストではなく，本棚から本を持ってきて閲覧をする．本棚の見た目は現実の本棚を模しているが，容量は紙書籍に比べて多く収容が可能である．

読書以外に本に対して行う操作
前述した読書以外に行える操作を以下にまとめた．
本に栞を挟むブックマーク機能である．栞を挟んだ後の移動操作は，瞬間的に移動するのではな
く挟んだ栞を目印にページを開く．
ページを折る
栞や付箋の代わりにページを折ることが出来る．紙書籍とは違い，復元操作を行えば跡が残らないことが利点である．
ページに書き込む
線を引く，コメントを書き込む操作である．ページを折るのと同様に，元通りに復元することが利点である．
ページを破く，切り抜く
メモやスクラップブック用の切り抜きとして，本とは別に保存可能である．

前述した項目以外の仮想書斎の機能
壁紙，写真の切り替え
仮想書斎内の壁に写真やイラスト，ポスター，本の切り抜きを飾れる．利点として，印刷をしなくても写真が飾れる，現実の場所を取らないことがあげられる．

5.1.3

ユーザから見えないシステムの処理

MR 空間の構築
範囲
ユーザ，装置が起動した部屋の壁，椅子や机といった現実の物体を認識し，これらに合わせた範囲で空間を構築する．
ユーザ認識人数
1 人でも使用可能だが，複数人で使用することも可能である．他のユーザの操作によって発生した MR 空間内の変化を共有することが出来る．

24

ユーザ操作
視点移動
ユーザの現実の歩行による移動が，MR 空間の移動となる．
視線移動
ユーザの現実の視線の移動が，MR 空間の視線移動となる．
仮想オブジェクト
MR 空間に表示する CG を仮想オブジェクトと定義する．仮想オブジェクトにユー
ザは触れることが出来，移動が出来る．電子書籍・本棚・写真などは仮想オブジェ
クトとして描画する．

データ入力
電子書籍
対応する電子書籍のデータが読み込まれたら，自動で本棚に振り分ける．
壁に飾る写真，イラスト，ポスター
対応するデータが読み込まれると，仮想書斎内で選択が可能になる．

25

5.2

本研究のシステムの仕様

本研究では Kinect，LeapMotion，PC，Web カメラ，HMD によってシステム構成をした．Kinect と LeapMotion にはジェスチャ機能があり，開発で利用可能であるが本研究では利用しない．ジェスチャ機能を利用しないことにより，ユーザの直感的な動作が可能である．本研究のシステムの仕様について説明をする．

5.2.1

使用準備

部屋の中に，Kinect を設置する．PC には Kinect，LeapMotion，Web カメラを USB によって接続し，HMD には HDMI ケーブルを接続する．

5.2.2

MR 空間での機能

一定値の大きさの空間を構築し，Kinect によってユーザを検出する．空間は X 軸と Y
軸方向のユーザ移動が出来る．

視界

HMD に MR 空間の映像を映す．
ユーザの視点・視線移動
視点移動
視点移動はユーザの歩行によって行う．
視線移動
視線移動は，基準マーカを貼りつけた箱を被って行う．

ユーザの MR 空間内における手LeapMotion と Kinect 使用
LeapMotion で手のひら，指先など詳細な手のモデルを MR 空間内の操作用の手として使用．
Kinect のみ
手のひらのみの手のモデルを MR 空間内の操作用の手として使用．

5.2.3

電子書籍としての機能

描画
仮想オブジェクトで描画をする．2 次元の平面ではなく立体的に描画をし，厚みのある
本を作成．

26

選択
本棚から前述の手のモデルを使って閲覧する本を選択する．

閲覧
固定設置した本を閲覧する．手のモデルによってページを捲る．

5.2.4

装飾機能

Kinect を正面に見て，左右側の固定位置に写真・イラストの仮想オブジェクトを描画
する．

27

第6章

システムの詳細本章では，本研究での開発環境，システムの全体について説明をし，実装方法について説明をする．

6.1

システムの開発環境

開発環境は本研究で利用する Kinect の推奨開発環境に合わせて，Windows8 で Visual
Studio(以下 VS) で行った．使用言語は C++で開発を行っている．

6.1.1

利用デバイス

本研究のシステムを開発にするにあたって，利用したデバイスは Kinect，LeapMoiton，
HMD，Web カメラ，PC である．Kinect v2 の SDK のバージョンは v2.0 1409 を利用し，LeapMotion の SDK は 2.3.1 を利用した．2015 年 12 月の時点で, 研究で利用した Kinect
for Windows v2 販売を終了してるが,Xbox One 用の Kinect v2 に Windows PC アダプターを接続することにより,PC で利用が出来る．
没入型の HMD:HMZ-T3
本研究で利用する HMD として Sony の 3D ヘッドマウントディスプレイ「HMZ-T3」[31]を採用した．PC からの出力を HDMI を通して可能である．尚，本システムは 3D に（立体視）には対応をしていない．

6.1.2

利用ライブラリ

freeglut
仮想オブジェクトは OpenGL によって描画をした．OpenGL の利用を用意にさせるライ
ブラリとして freeglut[32] が存在する．freeglut は現在開発が停止した GLUT（the OpenGL
Utility Toolkit) の後続版であり, 本研究のシステムの処理の関係から freeglut を採用した．
今回研究で利用したバージョンは 2.8.1 である．

OpenCV
OpenCV(Open Sourse Computer Vision Library)[33] はマルチプラットフォーム対応の画像，動画処理をするためのライブラリである．主な機能として，行列演算，カメラキャ
リブレーション，GUI(ウィンドウ出力，画像・動画ファイルの入出力，カメラキャプチャ

28

図 6.1: ARToolkit 未実行のカメラ起動

図 6.2: ARToolkit 実行などがあげられる．OpenCV2.4.8 でシステムの開発開始をしたが，後述の OpenCV 拡張モジュールを利用するために OpenCV3.0 で開発を続けた．
OpenCV のインストール方法は OpenCV の HP[33] からインストーラをダウンロードしてインストールする方法と，OpenCV のリポジトリ [34] からソースコードをダウンロード
して，VS でビルドをしインストールを行う２つの方法がある．本研究では拡張モジュー
ルを利用するために，VS でビルドを行った．ビルドは Cmake(ver.3.3.0-rc2) を用いて行った．本研究のシステムの実行環境である VS2015 ではビルドが出来なかったため，VS2013
でビルドを行った．

OpenCV 拡張モジュール:ARUco[35]OpenCV の拡張モジュール (opencv contrib) は比較的新しい機能があり，局所特徴量抽出アルゴリズムなどがある．
基準マーカを利用するにあたって，ARUco の利用を行った．ARUco とは基準マーカの自動生成と，Web カメラなどのカメラデバイスを用いた基準マーカの識別・姿勢検出が行えるライブラリである．他の研究で広く利用されている ARToolkit[36] が存在するが，OpenGL ベースで開発されたものであり，手動で基準マーカを作成するので似通ったマーカの誤検出が起こり得る．本システムの主要デバイスである Kinect v2 が OpenCV ベース
であり，RGB カメラからの取得した Color 情報と合わせて使うことから ARUco を採用した．ARToolkit は開発者自身が作成ルール（基準マーカは四角形であり黒で縁取る，左右上下対称にならない）を基に自作の基準マーカを作成しシステムに利用が出来るのが利点である．実際にサンプルとして配布されている hiro マーカ (図 6.1 の基準マーカ) を検出したサンプルプログラムの実行結果は図 6.1 と図 6.2 である．しかし問題として，人間が作成するため似通ったマーカが作成され誤認識する可能性がある．これに対し，ARUco は類似しない基準マーカを自動で生成が可能であるため，基準マーカ識別精度が高い．ARUco
で複数の基準マーカを利用した際には図 6.3 のように識別 ID が取得可能である．

29

図 6.3: AR ボードの検出 [35] より引用

30

図 6.4: システムの全体図

図 6.5: MR 空間を上から見た図

6.2

システムの全体システムの全体図は図 6.4 である．入力デバイスにユーザの情報，ARUco の情報をそれ
ぞれ渡し，PC で計算と処理を行う．PC からは HMD に映像として出力を行う．ユーザが装着するのは ARUco で作成した基準マーカを貼りつけた箱型の被るお面と HMD である．
MR 空間の構築は, 位置測定と衝突判定, 仮想書斎の描画から構成される．予め固定した空間を構築し，後述する検出したユーザ位置を基にユーザの視点を反映させた．図 6.5 はMR 空間を上から見た配置図になる．

6.2.1

システムの起動VS での動作のみ，使用するデバイス，機能の選択を可能にした．システムの実行時に使用の有無を決定できるものは以下の通りである．次章で行った被験者実験で変更を行った．
• Web カメラ
• Kinect• LeapMotion31図 6.6: ユーザの位置認識• キーボード（Kinect を使用しない場合，MR 空間移動が行え，本の操作が可能）• マウス（ARUco を使用せずに視線移動が可能）• ARUco

6.2.2

ユーザの位置検出（視点移動）

ユーザの位置認識は Kinect によって行う．図 6.6 のように，ユーザの関節情報を Kinectが認識し，Color 座標と Depth 座標を取得が可能．取得したデータを PC で解析をし，処理をした．Color 情報からユーザの X 軸（横方向）の位置を，Depth 情報から Z 軸（縦方向）の移動を行った．
取得データ値のブレとその補正方法

Kinect の人体検出の取得 Depth 情報は，実際の立ち位置を変化させていないにも関わらず，図 6.7 のように瞬間的に検出値に大きな揺らぎが発生する．図 6.7 の青線とオレン
ジ線はそれぞれ Kinect からユーザの頭までの距離と Kinect から両肩の中央までの距離である．仮想書斎及び MR 空間は Kinect から直線距離で 2m 以下であるため，この差がシ
ステムのユーザ距離に大きく影響を与える．
そこで取得データから，3 つの方法によりユーザ距離を安定させて取得できるように実装を行い，比較実験から１つを採用した．採用した方法について説明をする．また比較実験とその考察については後述する．
人体の関節情報は, 関節として認識できなかった場合と足元等 Kinect の認識範囲から外れた場合には関節情報は得られない．また, 両手は操作を行うことからユーザの位置の計
算には含まずに除外した．
3 フレーム分の取得できた関節情報を平均し, 保存する．更に図 6.8 のように Color 画面
をマス目に分割し, 取得できた関節情報がそれぞれどのマスにあるか保存を行う．図 6.9 はマス目と検出した関節の例である．ユーザがシステムを操作する際に図 6.10 のように右手または左手が他の関節の前にあることにより他の関節の Depth 情報を誤検出することから, ユーザの位置を計算時に両手が所属するマスと同じマスに所属する関節情報をユー
ザ位置の検出から除外をした．最新フレームで関節情報が取得されていれば３フレーム分の平均値をユーザの位置の計算に用いた．
32

図 6.7: 頭と両肩の中央位置の Kinect からの取得データ

図 6.8: マス目にした Color 情報

図 6.9: マス目と検出した関節33

図 6.10: 例：右手が他の関節と重なる

34

図 6.11: 今回制作した箱面

6.2.3

ユーザの視線の検出 (視線移動）

Kinect の SDK にはユーザの表情，顔の方向を取得する機能が含まれている．しかし，本研究で利用した HMD ではユーザの顔が隠れて顔の認識が正確には出来ない．そこでユーザの顔方向の認識は，ARUco を用いた．基準マーカを認識し，ユーザの実際の顔の代用として視線方向とした．
基準マーカの姿勢による顔の向き取得
視点の移動は，図 6.11 の箱面を制作し，これを用いた．箱面は HMD の上から被って使用する．箱の四方に ARUco によって作成した基準マーカを貼りつけ，Kinect で認識を行うように実装した．基準マーカは ARUco のサンプルプログラムと同じで正面, 右側, 左側,
後ろ側の 4 種類である．検出の優先度は正面, 右, 左, 後ろとし偽陽性による視界のぶれの対策をした．
Kinect の Color 情報のままでは ARUco の関数で処理をするとメモリリークが発生することから,Color 情報をグレースケールに変換し,ARUco の関数で処理をした．カメラキャ
リブレーションは Kinect の Color 情報から作成した．
検出した基準マーカの姿勢から, ユーザの視線方向を計算した．
お面を使った実装
本研究では顔の 3 分の 1 が隠れてしまう HMD を使用したことから Kinect の顔の認識が出来ない．本研究の目的では多くの装置を使わないことが好ましい．そこで HMD に写真やイラストを貼りつけてユーザの顔の代用としようと試みた．
しかし，図 6.12 のようにイラストの抽象化された２次元の顔では，Kinect は顔と認識をしなかった．原因として眉毛や鼻といった顔のパーツを抽象化しているからである．そこで，眉があり，顔の堀がしっかりとしている図 6.13 のお面を用意した．
実際に顔認識のサンプルプログラムでお面を認識させると、図 6.14 のように検出した．

35

図 6.12: イラストの顔(参考文献 [37] より引用)

36

図 6.13: 利用したお面

図 6.14: お面を Kinect で検出37

図 6.15: LeapMotion を取り付けたお面
ユーザが HMD を装着したときにユーザの顔の位置にお面が来るように HMD に固定．
更に LeapMotion をお面の口元に固定をした (図 6.15)．LeapMotion の位置は，実際にユー
ザが腕を上げ過ぎるとテンションがかかることから出来るだけお面の下部に装着し，顔のパーツと同化する位置にした．
Kinect に顔を向けている場合に顔の検出を行えたが，Kinect の仕様では真横に顔を向けた際に顔の向きの検出が出来ないという問題点がある．このため，本研究では 4 方向の視線を取得できる ARUco を使った実装を採用した．

6.2.4

ユーザの手の位置検出と描画

手の位置の認識

Kinect のみの場合，関節情報を基にユーザの両手の座標を取得し，MR 空間内の仮想の手を作成した． X 軸 Y 軸（ユーザが手を左右上下に動かす平面）はユーザの位置から相対位置を計算して決定する実装を行った．視覚的な位置合わせとして Z 軸状の位置（Kinect
からの距離）は体の位置を基準にした．被験者実験では Kinect のみの手のモデルを実装
した．
LeapMotion を用いる場合は，Kinect のユーザ位置認識とは別に LeapMotion によってユーザの手を認識し，座標を取得．また前述のユーザ位置認識と同様に取得したデータをPC で処理した．OpenGL による描画との同期をさせる為に, ポーリング方式による実装
38

図 6.16: LeapMotion を用いた MR 空間内のユーザの手を採用した．LeapMotion SDK の関数により手の詳細な動きのデータを取得が可能であるので,MR 空間に合わせて値のリサイズ処理を行った．実行画面は図 6.16 である．

LeapMotion と Web カメラとの同時使用によるバグについてOpenCV の複数台の Web カメラの処理を行う際にシステム起動時に終了，または Web
カメラからの映像取得が行われない．また Web カメラと LeapMotion を接続したままシステムを起動するとシステムが処理に入る前に終了した．対策として,Web カメラを接続しシステムが正常に起動してから LeapMotion を挿すことがあげられる．本研究の評価実
験では安定性を優先するため，LeapMotion をシステムに組み込まなかった．

6.2.5

書斎の描画と衝突判定

描画図 6.5 の配置で仮想オブジェクトの描画を行った．図 6.17，図 6.18，図 6.19 はそれ
ぞれ仮想書斎の正面，左側，右側である．Web カメラで取得した映像に仮想オブジェクトを重ねて HMD に表示をしている．左側にはコルクボードにイラストと写真を貼りつけ，右側にはクリスマスリースを飾った．

分離軸衝突判定

OpenGL で仮想オブジェクトの描画は可能だが，OpenGL には衝突判定がないため実装を行った．曲面を含んだ仮想オブジェクトでは，衝突判定の処理が複雑になることから描画オブジェクトとは別に OBB（Oriented Bounding Box) を作成し，OBB 同士の分離
39

図 6.17: 仮想書斎正面

図 6.18: 仮想書斎左側

40

図 6.19: 仮想書斎右側

図 6.20: OBB のイメージ

41

図 6.21: 分離軸判定イメージ

図 6.22: ある分離軸で衝突判定が真軸判定を行った．OBB は図 6.20 のように仮想オブジェクトが中に入る大きさの箱であり，独自に中心座標，３次元軸の座標を持つことが可能である．
分離軸とは OBB の X，Y，Z 軸それぞれの辺に平行な軸である．図 6.21 の黄緑色の分
離軸は OBB2（図 6.21 の赤色四角形）の１辺のものである．図 6.22 のように分離軸に２つの OBB の投影した線分が重なっているかのどうか判定によって OBB 同士が衝突しているか判定する．１つの分離軸だけではなく，２つの OBB の分離軸に対して判定を行い，すべての判定が真なら OBB 同士が衝突しているといえる．

42

図 6.23: 閲覧する本の切り替え

6.2.6

本の描画と操作

本の描画は，曲面描画と曲面へのテクスチャマッピングを用いて紙のページの立体的な再現を行った．また，本の厚みは前述した分離軸衝突判定を用いて，紙のページの再現を行った．衝突判定を用いることにより，座標の決め打ちではなくリアルタイムの厚みが再現できる．

本棚と収納されている本
本棚に本を並べた．

本のページを捲る
ユーザが閲覧中の本のページ捲りは，MR 空間のユーザの手が見開きの本の右のページに触れると右のページが左側に向かって捲られ，左のページに触れると同様に右側に向かって捲られる．

本の選択
閲覧している本を他の本に切り替えるには，図 6.23 のように MR 空間の本棚から本を閲覧している本の傍まで持ってくると切り替えられる．切り替えは瞬間的に行われるため，アニメーションで切り替わったことを表現した．

43

第7章

システムの評価

本章では，ユーザ位置の補正に対する評価，LeapMotion と Kinect の両方を用いたシス
テムのデモンストレーション，Kinect のみのデモンストレーション，被験者実験につい
て述べる．

7.1

ユーザ位置の補正に対する評価

比較した実装方法は３種類であり，本研究で採用したものは実装方法 3 である．
実装方法１は Kinect で検出が出来た関節情報の距離値を平均化する．
実装方法 2 は１つの関節の過去３フレーム分を平均化する．
実装方法 3 は前章で説明をした通りである．
これらのユーザ位置の補正方法について評価を行った．比較対象は頭のみ (JointType Head),
肩の中央のみ (JoitType SpinShoulder)，過去 3 フレーム分の肩の中央 (3Frame SpinShoulder)，本システムの実装 (3FrameBody) で，結果は図 7.1 である．

7.1.1

考察

頭のみ，肩の中央のみの検出できたユーザの体の関節単体の場合，ノイズにより値が大きく変化する．過去 3 フレーム分の関節単体の場合もノイズが発生した際も値が大きく変化をする．本システムで実装した場合は細かな値の動きはあるものの大きな変化はない．
つまり，本システムの実装でユーザ位置の補正が出来たといえる．

7.2

LeapMotion と Kinect の両方を用いたデモンストレー
ション

7.2.1

デモンストレーションの概要

2015 年 9 月 25 日 (金) から 27 日 (日) にかけて開催されたエンターテイメントコンピュー
ティング 2015(EC2015) に参加を，9 月 26 日にデモンストレーション発表を行った．ユー
ザは HMD とお面につけた LeapMotion と装着し，Kinect の前で体験を行ってもらった．
また，EC2015 にてシステムに実装した内容でユーザの操作に関係するものは以下の通りである．
• Kinect を正面にし，前後に歩行移動すると MR 空間内を前後に移動• お面につけた LeapMotion の前に両手を翳すと，MR 空間内での手が出現し操作が可能

44

• 開かれた本のページに複数の指先が触ると，ページを捲ることが可能• 奥の本棚から本を選択し複数の指先が触れると，その本の移動が可能• 奥の本棚から本を持ってきて，開かれた本に近づけるとアニメーションと共に開かれた本の内容が切り替えられる

7.2.2

評価結果

前後の移動
前後の移動に関しては，ユーザは仕様通り移動が出来ていた．

視覚
体験したユーザの中には「実際の机を置いてそこに本を出現させた方が違和感がない」という感想もあった．今後の課題として，実際の机や壁をシステムが認知して CG を合成することを検討する必要があげられる．

手による操作システムを起動した際の LeapMotion の手の検出可能距離は LeapMotion から約 25cmである．多くのユーザが手を LeapMotion の検出可能距離よりも遠く，腕を伸ばした距離
で，操作をしようと無意識に試みていたため LeapMotion による手の検出が出来なかった．
ユーザにとってひじを曲げて操作をするよりも，手を伸ばして操作をする方が自然だと思
われる．

7.2.3

EC2015 後の研究方針

ユーザの手を伸ばそうとする操作に対して LeapMotion による手の認識が出来ない，
LeapMotion を含んだシステムでは安定して起動が出来ない，以上の 2 つの理由から LeapMotion をシステムから外した構成で研究を続けた．ただし，LeapMotion から得られた指先，指の関節などの手のひら以外の情報を追加し，追加情報に合わせた衝突判定を追加す
れば LeapMotion をシステムに組み込むことも可能である．

7.3

Kinect のみのデモンストレーション

7.3.1

デモンストレーションの概要

2015 年 11 月 22 日の電気通信大学オープンキャンパスにて研究のデモンストレーショ
ン発表を行った．
デモンストレーションの概要は，Kinect，Web カメラ，箱面を用いて行った．しかし，オープンキャンパスの来場者の多くが完全に視界を覆う箱面を被ることに抵抗があったた
め，箱面は開発者自身が被って行うか，手に持った状態で視界移動の体験を行った．EC2015
後に LeapMotion を使用しない実装のため，Kinect のみでユーザの MR 空間の操作を実行可能にした．
45

7.3.2

考察結果

10 名程度のユーザに体験を行ってもらった．ユーザの前後移動に関しては，体験したユーザの全員が行えた．本を取るという動作は MR 空間内の移動が足らず，本棚までに手が届かないユーザが多かった．しかし，本を捲る動作は「ページに触れれば捲ることが出来る」という説明後に全員が出来た．
プロジェクターの干渉
デモの位置を起動中のプロジェクターの映像光が当たる位置 (プロジェクターとスクリーンの間) で行った場合，ユーザの位置取得が正常に行われなかった．これは Kinect にプロジェクターの光が干渉したためである．デモの位置をプロジェクターの光が当たらない位置に変更しデモを続行した．

ユーザ位置の計測
デモンストレーション中にユーザ位置の計測を行った．図 7.2 と図 7.3 は計測結果である．
青線 (JoitType Head) がユーザの体の一部の単体検出の値，オレンジ線（getDeptCoodinateAverage Z) は検出が出来た体の一部の値を平均した値，灰色（get3FrameDepthCoodinateBodyAverage）は本研究で実装したユーザ位置の値である．単体の関節情報の値が大きくブレた場合でも，本研究で実装した値は大きな変化がなかったことからデモンスト
レーション中もユーザ位置を補正できたといえる．

7.4

読書の記憶に関する被験者実験

7.4.1

目的

被験者実験の目的はユーザの無意識の記憶の差，ユーザの操作を観察し考察することとした．紙書籍の利点を取り入れた本システムと最低限の情報を表示する電子書籍の例として Kindle for PC[29] の比較をする．Kindle for PC は HMD を用いず直接 PC の画面を使った．実際に被験者に両方のシステムを利用してもらい，無意識記憶に関して違いがあるか比較をする．また，被験者に本システムを使用してもらい観察，聞き取り調査を行い，本研究の利点・課題点を調べる．

7.4.2

実験手順と内容

実験手順は以下通りで行った．

1.

研究のシステム(a) 被験者がシステムの操作画面に慣れるため，HMD と Web カメラを装着した状態で PC のキーボードとマウスによって操作を行う(b) Kinect を加えたシステムで，前後左右の移動と手による操作を行う(c) 箱面を被り，視線移動を加えた状態で操作を行う(d) 猫の本 3 冊を読む46

図 7.1: ユーザ位置の補正に対する比較グラフ

図 7.2: デモ発表中に計測したユーザ位置

その１

図 7.3: デモ発表中に計測したユーザ位置

その２

47

システム名本システム

Kindle for PC

表 7.1: 実験後の問題の正答率
項目
猫に混じった写真
ショートストーリーからの出題
犬に混じった写真
ショートストーリーからの出題

正答率 [%]

26.67
62.00
20.00
64.00

(e) ショートストーリーの本 1 冊を読む
2. 比較用の電子書籍システム：Kindle for PC(a) 犬の本を 3 冊読む(b) ショートストーリーの本を 1 冊読む
3. 1 時間後に問題を解く
1 時間後に解く問題は，ショートストーリーの内容について 10 問ずつ合計 20 問と猫と犬の本で混ざっていたテーマにない写真が何か答える 2 問である．猫と犬の本についての問題は問いは 1 問であるが混ざっている写真は 3 枚ずつなので, 回答は 3 つである．被験者には「猫の本」「犬の本」と説明してあるが，猫と犬の本 6 冊それぞれに明らかにテーマから離れた写真（例：ナポリタン，網焼き中のサンマ）が入っており，猫と犬の本についての質問でテーマに合っていない写真の種類について回答してもらった．
また本研究システムでショートストーリーを読む場合に 4 人の被験者が「読めない」と申告があったため,Kinect を抜き，システムをキーボードで操作する状態で読んでもらった．1 人は本研究システムで本を読み切った．

7.4.3

実験結果

質問項目と被験者回答

5 人の被験者に本システムと Kindle for PC を使用した実験後に回答してもらった結果
が表 7.1 である．
被験者の観察- HMD について
• HMD 単体が重いと感じる被験者が多く, 実際に被験者の鼻に HMD の跡が実験
１時間後に残っていた．
- 視界について• 現システムのユーザ位置の計算の精度がまだ低く, 視界の細かな揺れを感じていた．
48

• 歩行移動時には揺れの感じ方について発言はなかったが, 文字の本を読むときに「視界が揺れて読みにくい」と発言があった．
• 本を読むとき用に視界の固定があった方がいいと発言があった．
• PC やスマートフォンなどの画面で見慣れているため, 被験者の多くはその画面で見ているのと同じように顔を前にやり仮想オブジェクトを見ようとしていた．
• 「近づくのではなく, 自分が近づく」ということに気付くときがあった• 「宇宙空間にいるみたい」と感想があった• 部屋に誰かが入ってきた時に気付き, 傍にいた開発者や椅子に気付いていた• 奥行きが把握出来ない被験者がいた• 顔をあげたままでも閲覧は出来るが，視線を手元に無意識に向けることが多かった- 手について• MR 空間内の操作用の手は軸の位置はユーザ位置からの固定値にしているが，被験者は奥にある本を取ろうとして手を伸ばすことが多かった．
• 手を上げ続けるため, 肩が凝るという感想があった．
• 衝突判定によって手に取ったり動かしたりする操作が楽しいという発言もあったが, ジェスチャー操作だけでキーボードのように効率が良い方がいいという発言もあった．
- ページ捲り
• ページを捲る方法については「ページに触れることにより．ページ捲りが出来る」と説明をしており，被験者自身がページに触ることに対して「上から触る」「下から触る」「ページを進めるときは左手ではなく右手で触るようにする」とそれぞれが工夫をしていた．
• 「ページをうまく捲れない時があるが, 捲れるときは本を読んでいるという感覚がある」と発言もあったが「効率が良いほうがいい」も同時に出ていた- 本の選択• 本の選択は棚から持ってきて本を選択するよりも, キーボードで操作する方 (テンキーの数字で本を選択) がスムーズにできる．
- ページの厚み• 読んでいる本のページの厚みの増減について被験者は気づいているが, 同色のページが重なっている場合に厚みの変化がわかりにくかった．
• 厚みがあることにより「読んでいるという感覚がある」という被験者もいたが「数字だけがあればいい」という被験者もいた．
49

- 歩行について• HMD と Web カメラの接続は HDMI ケーブルと USB ケーブルで行っていたた
め, ケーブルが気になって歩きづらいと発言があったので, ケーブルを邪魔にならない位置にした．
• ケーブルの位置を考慮して配置すると, 被験者はあまり足元に意識を傾けさせることなく歩けた．
- 箱面について• 被験者には箱面を使うことを事前に伝えていなかったため、取り出した時に戸惑う反応であった• 被った状態の自分の格好を確認して「変な恰好」や「面白い恰好」と感想を漏らす被験者がいた- 違和感，ユーザが気になったこと, その他• 被験者実験は「読書」という観点から行っていたが, 被験者によっては「ゲーム」感覚で楽しんでいる場合もあった．この場合、仮想オブジェクトに触るときに失敗すると一種の悔しさを抱いているようだったがうまくいくと喜ぶこともあった．
• 背景がなく, 例えば本だけが視界に存在しているとき,「空間にいるよりはものが浮いている感覚」を感じており, コルクボードなど背景があると違和感がな
いようである．
• 「前後左右の移動のみ」と伝えてあったが, しゃがんで高さを調節しようとする被験者がいた• 「文字が読みにくい。近づけばいいだろう」と試行錯誤をしていた- システムの今後についての被験者の発言• 衝突判定でページ捲りや本を持つのではなく, 掴む動作で行った方がいい．
- Kindle for PC と比較して• キーボードで操作する Kindle の方が読み進めは早かった．
• 猫と犬の本はどちらも写真を用意していたが, 本の形を取っていたシステムと比べて犬の本ではスライドショーという感覚に近かった．
装置に関して装置につながっているコードを気を付ければ，歩行の妨げにはならなかった．しかし，HMD をそのまま使った場合に「鼻が痛い」と発言があったので別の HMD を使用するか，
クッションを取り付けるなどの工夫が必要である．

50

視界，映像など見ることに関して閲覧する本のページの見た目や動きは「本らしい」と被験者の感想が得られた．しかし，仮想オブジェクトの背景がなく，また現実の物体に位置を合わせていなかったため「宙に浮いている」「距離感や奥行が分かりにくい」という被験者が多かったことから改善が必要である．

手，歩行，操作に関して
また被験者実験の観察から，歩く，本を読む，本を取るという動作において被験者が想像した操作と本研究で想定した操作方法とあまり差異はなかった．しかし，奥行きがつかめないことと視界（ユーザの位置座標）が細かくぶれることによって本棚の本がうまく取れないことが多かった．また，「ページを捲る」のは操作しやすそうであったが，本の選択に関してはジェスチャの方がよいという発言があり，今後の実装と評価でユーザの動かしたい操作方法を考案することが必要である．

問題についてページ捲りを取り入れ，歩く，腕から先を動かすことを取り入れることにより被験者が無意識に記憶する記憶量に変化が表れると予測したが，実験結果 (表 7.1) によると写真に関しては少し差が出たが，ショートストーリーに関しては記憶量にほぼ差異はなかった．

51

第8章

まとめと今後の課題

本章では，本研究の成果，問題点，今後の課題について述べる．

8.1

まとめ

本研究では個人で入手可能な Kinect を用いて, 大規模な装置をユーザに装着することな
く, 歩いたり直感的な操作が可能な MR 空間を構築し, 紙書籍の利点を取り入れた電子書
籍が閲覧が出来る仮想書斎システムを構築した．具体的な項目毎に達成した点と今後の課
題, 課題の解決手法について述べる．

8.1.1

MR 空間の構築：視界

達成した点

Kinect を起点とし, ユーザを認識して MR 空間を構築した．また,Kinect の Depth 情報の値をそのまま使用した場合, 取得した値にノイズを含むことによりユーザの位置が大幅にずれるため, その補正を行い MR 空間内でのユーザの位置を保つ実装を行った．
今後の課題
今後の課題として以下の事柄があげられる．

- 視界のぶれの補正
現システムではユーザの視界がぶれてしまい, 本の閲覧に集中することが出来ない- 距離感と奥行現システムでは，距離感や奥行がわかりにくい．
課題の解決手法
視界の高さの変更はユーザの頭の高さが身長によって異なることから実装を行っていない．課題の解決方法としては, システム起動時に初期設定としてユーザの身長を登録し,それを用いて計算を行う．具体的な方法は左右移動と同じ方法を取る．また距離感や奥行は，仮想の壁の出現や現実の壁や机などを認識して現実の物体に仮想オブジェクトを合わせることにより解決可能である．

52

8.1.2

MR 空間の構築：操作方法

達成した点

MR 空間内にユーザの手を出現させ,OBB による衝突判定によって仮想オブジェクトに触れ, 移動などのイベントを発生させた．LeapMotion を用いた場合と Kinect のみで実装
したシステムを構築した．
今後の課題
被験者実験において，被験者が MR 空間内の手を仮想オブジェクトに触れさせるだけ
ではなく指先も動かして握ろうとしたりすることから，操作方法は仮想の手の単体衝突判
定だけではなく，複数の衝突判定またはジェスチャ判定が必要である．

課題の解決手法

Kinect のみで行った単体の衝突判定よりも，LeapMotion を用いて指先まで使った複数の衝突判定または Kinect の手の握る，開くといったジェスチャ機能を使った方がより直感的な操作を行う方が好ましい．具体的な解決方法は，LeapMotion を用いた場合のシス
テムの安定動作の向上，Kinect を使ったジェスチャ機能の追加実装があげられる．

8.1.3

MR 空間の構築：移動方法

達成した点

MR 空間では Kinect を正面に見て, 前後左右の移動を可能にした．
今後の課題- 視界の高さの変更
前述のように前後左右の位置の移動は可能になったが, 被験者実験でも表れたようにかがむなど顔の高さを変えることにより,MR 空間の視界の高さを操作する必要がある．
- 視線移動後の移動
現システムでは視線移動後に視点移動が出来ない．
課題の解決手法
視線移動後の移動は, ユーザが正面に向いている状態の x 軸と z 軸を横を向いた状態では入れ替える方法があげられる．また, 視界のぶれの補正はジェスチャ操作などによって視界を固定する方法を取ることがあげられる．

53

8.1.4

仮想書斎システム：本の閲覧

達成した点
本の閲覧に関して，達成した点は以下の通りである．

- 本のページの描画
紙の重なりによる厚み，ページの曲面を紙の本に近づけ仮想オブジェクトを生成- 本のページ捲り
ページに触れると，一瞬でページが捲れるのではなく紙書籍を模倣したページ捲り
今後の課題
本の閲覧に関して，今後の課題として以下の点があげられる．

- 本の厚みの改善
同色のページの重なりによる厚みが分かりにくい- 本を持つ本を持つ，持ったまま移動が出来ない
課題の解決手法
本の厚みに関してはページ毎に影のエフェクトを追加する方法があげられ，また本を持つことに関しては操作によるイベントの追加および，衝突判定の精度をあげることがあげ
られる．

8.1.5

仮想書斎システム：本の選択

達成した点
衝突判定によって仮想の本棚から本を選び，本を切り替えることが可能になった．

今後の課題
被験者実験において手を近付けて本を取ることが難しかったため，改善する必要がある．

課題の解決手法
手の操作性をあげ，更に本に触って選択する以外にジェスチャによる選択を検討することがあげられる．

54

参考文献[1] Oculus Rift，Oculus VR, LLC
https://www.oculus.com[2] Google Glass，Google
https://developers.google.com/glass/[3] Xbox 360,Microsoft
http://www.xbox.com/ja-JP/kinect[4] LeapMotion
https://www.leapmotion.com/[5] The London Heist Getaway Sony Morpheus VR E3 2015,2016 年 1 月 28 日最終アクセス
https://www.youtube.com/watch?v=tMI2Swxc1EM[6] ハコマンション VR,2016 年 1 月 28 日最終アクセス
http://www.cigr.co.jp/pj/hako/[7] キョロちゃんの遊べる AR,2016 年 1 月 28 日最終アクセス
http://www.morinaga.co.jp/kyorochan/ar/[8] キョロちゃんの遊べる AR GooglePlay,2016 年 1 月 28 日最終アクセス
https://play.google.com/store/apps/details?id=jp.co.morinaga.
kyorochanar[9] Xbox One Kinect センサー用 Windows PC アダプター,2016 年 1 月 28 日最終アクセス
http://www.microsoftstore.com/store/msjp/ja_JP/pdp/Xbox-One-Kinect/
productID.309515600[10] Kinect v1 と Kinect v2 の仕様比較,2016 年 1 月 28 日最終アクセス
http://www.buildinsider.net/small/kinectv2cpp/01[11] Setup Leap Motion for VR Development,2016 年 1 月 28 日最終アクセス
https://developer.leapmotion.com/vr-setup[12] Oculus,2016 年 1 月 28 日最終アクセス
https://www.oculus.com/[13] 「電子書籍市場の動向について」, 公正取引委員会（2013 年)
http://www.jftc.go.jp/cprc/reports/index.files/cr-0113.pdf

55

[14] 電子書籍ビジネス調査報告書 2014 サンプル, インプレス研究所
https://r.impressrd.jp/iil/files/sample_pdf/電 子 書 籍 ビ ジ ネ ス 調 査 報 告
書 2014\_サンプル版.pdf[15] リサーチバンク，2015 年 5 月 14 日アクセス
http://research.lifemedia.jp/[16] Voxburner — 62% of 16-24s prefer books as physical products，2015 年 5 月 14 日ア
クセス
http://www.voxburner.com/blog-source/2015/5/18/
16-24-prefer-books-as-physical-products[17] 電子書籍の市場規模 (インプレスビジネスメディアの資料をもとに作成)，2015 年 5月 14 日アクセス
http://www7b.biglobe.ne.jp/~yama88/info.html[18] 「裸眼立体視ディスプレイ搭載のスマートフォンを用いた紙書籍に近い電子書籍閲覧システムの開発」 電気通信大学，大和田瑛美華（2014 年)[19] Want to Remember What You Read? Switch to Paper,2016 年 1 月 28 日最終アクセス
http://www.inc.com/laura-montini/paper-might-help-your-ability-to-recallwhat-you-read.html[20] まつもとあつしのそれゆけ！ 電子書籍 第 9 回 脳科学者に聞く「紙の本 vs. 電子書籍」,2016 年 1 月 28 日最終アクセス
http://ddnavi.com/news/55944/a/[21] 『脳を創る読書』著者解題
http://mind.c.u-tokyo.ac.jp/Sakai_Lab_files/Staff/KLS_PaperJ/
KLS2013JNd.pdf[22] MREAL・キャノン IT ソリューションズ株式会社（2013）,2016 年 1 月 28 日最終ア
クセス
http://www.canon-its.co.jp/company/news/20130618mr01.html[23] MR Plug-in for Unity・キャノン IT ソリューションズ株式会社（2013）
http://www.canon-its.co.jp/mr/pdf/mrpunity_catalog_1306.pdf[24] 動画で見る「MREAL」
・キャノン IT ソリューションズ株式会社,2016 年 1 月 28 日最終アクセス
http://web.canon.jp/v-square/movie.html?id=t025[25] 触れる拡張現実システムの検討，春田英和，電気通信大学（2013)[26] Virtuix Omni,Virtuix,2016 年 1 月 28 日最終アクセス
http://www.virtuix.com/[27] Variable Reality II,HYE SOO YANG ,2016 年 1 月 28 日最終アクセス
http://www.hyesooy.com/varreality256

[28] Kindle ストア,2016 年 1 月 28 日最終アクセス
https://www.amazon.co.jp/Kindle- キ ン ド ル- 電 子 書 籍/b/ref=topnav_
storetab_kinc?ie=UTF8&node=2250738051[29] Kindle for PC,2016 年 1 月 28 日最終アクセス
http://www.amazon.co.jp/gp/feature.html?docId=3078592246[30] SonyReaderStore,2016 年 1 月 31 日最終アクセス
http://ebookstore.sony.jp/[31] ヘッドマウントディスプレイ Personal 3D Viewer ,Sony,2016 年 1 月 28 日最終ア
クセス
http://www.sony.jp/hmd/products/HMZ-T3/[32] freeglut,2016 年 1 月 28 日最終アクセス
http://freeglut.sourceforge.net/[33] OpenCV,2016 年 1 月 28 日最終アクセス
http://opencv.org/[34] OpenCV GitHub,2016 年 1 月 28 日最終アクセス
https://github.com/Itseez[35] Automatic generation and detection of highly reliable fiducial markers underocclusion・S. Garrido-Jurado, R. Munoz-Salinas, F.J Madrid-Cuevas, M.J. Mar´
n-Jim´ enez,
http://www.uco.es/investiga/grupos/ava/sites/default/files/
GarridoJurado2014.pdf[36] ARToolkit・加藤博一，ワシントン大学 HLTL(Human Interface Technology),2016 年
1 月 28 日最終アクセス
http://www.hitl.washington.edu/artoolkit/[37] UNITY-CHAN! OFFICIAL WEBSITE,2016 年 1 月 28 日最終アクセス
http://unity-chan.com/

57

第9章

謝辞

本修士論文は, 筆者が電気通信大学大学院 情報理工学研究科 情報・通信工学専攻
コンピュータサイエンスコース 博士前期課程在学中に成見研究室において行った研究をまとめたものです．本研究を進めるにあたり, ご指導ご鞭撻を頂きました主指導員の成見哲教授, 及び副指導教員の角田博保准教授に深謝致します．また, 本研究の被験者実験に協力を頂きました方々にも, 心より感謝致します．最後になりますが, 研究について様々なコメントを頂きました同研究室の皆様に心より感謝をしております．ありがとうございました．

58