北信越地区

教育システム情報学会 2015年度学生研究発表会

ヘッドマウントディスプレイを用いた学習支援システム
Educational Support System using Head Mounted Display
櫻井 渉*1, 和田 健*1, 前田 篤志*1, 中平 勝子*2, 北島 宗雄*2
Wataru SAKURAI*1, Takeshi WADA*1, Atsushi MAEDA*1, Katsuko NAKAHIRA*2, Muneo KITAJIMA*2*1 大阪府立大学工業高等専門学校*1Osaka Prefecture University College of Technology*2 長岡技術科学大学*2Nagaoka University of Technology

Email: at_maeda@osaka-pct.ac.jp
あらまし：コンピュータで作成した三次元モデルを，複合現実感を用いて実空間に投影する技術は，多くの分野でその利用が期待されている．本研究では，複合現実を体感することで学習を支援するシステムの実現を目指した．その中で，視認デバイスにはステレオカメラを実装したヘッドマウントディスプレイを，操作法としてハンドジェスチャーを採用した．また，視覚誘導性自己運動感覚に代表される健康面の課題を注視し，各種デバイスはフレームレートを指標に選定した．
キーワード：複合現実感（MR），ステレオ視，ハンドジェスチャー

1.

はじめに

表 1 システム構成と開発環境
項 目
名称・仕様等
ハードウェア

近年，実空間と仮想空間を融合する複合現実感（Mixed Reality: MR）に関する研究が注目を集めている．実空間の物体に仮想空間の情報を付与できることから，我々は「理解促進を目的とした教育分野における MR の利用」を提案している．例えば，講義で一つの製品を説明する際，巨大，高価である等の理由で現物を準備できない状況は容易に想定される．また，三次元の事象をスライドやホワイトボードという二次元平面で説明するには限界がある．本
研究では，MR 技術を用いた視覚教材とヘッドマウントディスプレイ（Head Mounted Display：HMD）を組み合わせることで，効果的・効率的な未来型教育・学習スタイルの可能性を検証する．

HMD
ステレオカメラ
3Dカメラ

Ovrvision 1
Leap Motion
RealSense F200VGAAMD Radeon HD 6850

メモリ8GBCPU

Intel Core i7-4770

ソフトウェアOS開発環境2.

Oculus rift DK2

システム概要Windows 8.1
Unity 5.1.2
Visual Studio 2013, 2015
Ovrvision SDK 0.8

システム構成と開発環境を表 1 に示す．
2.1 システム構成

SDKLeap Motion SDK 2.3.1

CAD

SOLIDWORKS 2014-2015

3D CG

Blender 2.76b

Intel RealSense SDK R4

HMD には比較的取扱いが容易な Oculus rift DK2を選択した．また，実空間の映像を取得するデバイスについては，高性能な小型ステレオカメラである
Ovrvision 1 を採用した．
多くの既存システムと同様に，本システムもハンドジェスチャーで操作できる仕様とした．そこで，ハンドトラッキング用に 2 種類の 3D カメラを準備し，「3. 3D カメラ」で述べるとおり，それぞれの機能を比較後，より優れた性能を有する機種を選択した．

3.

3D カメラハンドトラッキング用 3D カメラについては，小型 か つ 手 指 認 識 機 能 を 有 す る Leap Motion とRealSense F200 を候補とし（1,2），以下の 3 項目で両デバイスの性能を比較した．その結果を基に，本シス
テムでは RealSense F200 を採用した．

2.2 開発環境

3.1 認識確度

本研究の開発環境には，3D 描画が容易でマルチプラットフォームに対応したゲームエンジン Unity を採用した．なお，Intel RealSense SDK を使用するため，OS は Windows8.1 以上，CPU は第四世代以降を必須とした．

ハンドトラッキングでは認識する速度よりも確度が重要となるため，まず，様々な手形状について認識確度を評価した．最も差が現れた「握りこぶし」の認識状況を図 1 に，他の手形状に関する結果を表2 に示す．Leap Motion では，指関節の曲がりに対す

17北信越地区

教育システム情報学会 2015年度学生研究発表会

図 2 装着状況

図 1 認識状況

表 3 フレームレート測定結果

表 2 認識確度評価結果

手のひら（指は閉じた状態）○○

測定内容 自作プログラム Unity内部ツール
[fps]
動作機器
[fps]
Ovrvision 1
50.8
77

手の甲（指は閉じた状態）

Leap Motion

175.4

≧200

○

○

RealSense F200

155.4

≧200

手を広げた状態（カメラに対して垂直）

○

○

37.4

72

中指と薬指を折った状態

××

41.1

73

指の関節を曲げた状態

△

○

握り拳

△

○

両手（指は開けた状態）○○

両手（重ねた状態）

××

3Dカメラ Leap Motion RealSense F200

状態

Ovrvision 1 +Leap Motion
Ovrvision 1 +RealSense F200

4.

実験

アプリケーションの操作性を検証するためには，できるだけ多くのユーザーから意見を聞く必要がある．そこで，本校文化祭および国内最大級の展示会である SEMICON Japan において，ハンドジェスチャー認識機能を組み込んだアプリケーションの操作性について使用感を聞き取り調査した．

る追従が不十分で（図中，丸部分），親指が「握られていない」と認識されている．

5.

3.2 装着感

結果と考察

文化祭ではハンドジェスチャー操作に対して問題，課題等の指摘はなかった．一方，SEMICON Japan においては，操作自体に戸惑う状況が見受けられ，より直感的で分かりやすい操作方法の採用を希望する声が多数聞かれた．さらに，「手の認識確度を挙げるべき」，「重量の軽減を図るべき」等の意見もあった．
現在，スマートフォンのように直感的な操作が可能となるよう種々の改善を進めている．また，他の操作方法として音声認識を想定し，メニュー方式を実現できるユーザーインターフェースの作成にも着手している．今後は，文化祭および SEMICON Japanで実施したデモンストレーションの経験を基に，より広い年齢層に対応できる MR 学習支援システムの実現を目指したい．

本システムでは，ユーザーが自由に行動できることを前提条件としているため，3D カメラを HMD に取り付けた際の装着感についても検証した．ステレオカメラ（Ovrvision 1）のみを装備している HMDの位置を基準として評価した結果を図 2 に示す．相対位置の変化から明らかなように，RealSense F200を取り付けた場合に装着感が顕著に悪化した．Leap
Motion との重量比が約 4 倍あることが原因と考えられる．
3.3 フレームレート
視覚誘導性自己運動感覚は，HMD 装着時に指摘されている健康上の課題である．一定方向に運動する視覚パターンを観察した際，ユーザーがその逆方向に運動しているかのように知覚する錯覚現象であり，酷くなると「酔い」が発生する．その要因については，映像の遅延やフレームレートの引っ掛かり，有機 EL 以外の液晶モニタによるブラーといったハードウェア的なものと，目から入る視覚情報が三半規管の加速感覚と一致しないといったソフトウェア的なものが挙げられる（3）．そこで本研究では，安全とされる 60fps のアプリケーション制作を目標とし，ステレオカメラ Ovrvision 1 と組み合わせた場合のフレームレートを測定した．自作プログラムと Unity
内部ツールを用いて評価した結果を表 3 に示す．
RealSense F200 の方がやや良好な結果を示した．

参考文献(1) Intel「IntelDeveloperZone」<https://software.intel.com/sites/landingpage/realsense/ca
mera-sdk/v1.1/documentation/html/index.html?doc_devgu
ide_introduction.html>（参照 2016-01-04）(2) Leap Motion「Leap Motion / DEVEROPER PORTAL」<https://developer.leapmotion.com/documentation/csharp/
devguide/Leap_Overview.html>（参照 2015-12-28）(3) MoguraVR「なぜ 13 歳以下の子供は、Oculus Rift を使用してはいけないのか？医学的な見地からの警鐘」<http://www.moguravr.com/13yearsold-limitation/>（参照2016-01-06）

18