関西地区

教育システム情報学会 2016年度学生研究発表会

VR 環境における全天球画像への指示動作の認識
Recognition of the gesture for 360 degree panoramic images
in VR environment
上乾 翔, 越智 洋司
Kakeru UEINUI, Youji OCHI
近畿大学理工学部電気電子工学科
Faculty of Science and Engineering, Kindai University
Email: k.ueinui@gmail.com, ochi@kindai.ac.jp
あらまし：近年、VR 環境を用いた研究が活発に行われている.我々は VR 環境での全天球画像を用いた遠隔指示の支援を目標とし, 全天球カメラの RICOH THETA S, 手や指の情報を取得する Leap Motion, VR 向けのヘッドマウントディスプレイである Oculus Rift を用い, 全天球画像への指示動作の認識を行うシステムの開発について報告する．
キーワード：VR, 全天球画像, 指示動作

1.

はじめに待機状態で, 数秒間の指先の静止を感知すると認識状態になり, 指先の位置により, 方向を判定する.
その判定を用いて動作を認識し, 認識状態に入った時に指が指している座標を表示し, その場所にマーカーを表示する. また, ある範囲内で特定の指示動作を行うと, 画面遷移として, 画像の切り替えが行われる. 認識状態に入ってから数秒間以内に動作認識が行われなかった場合, または動作認識が行われた場合は待機状態に戻る. このシステムの実行図を図２に示す.

近年, VR 技術の発展と普及に伴い, 全天球画像をVR 環境で見ることが容易になっており, 教育の分野においても避難研究にも用いられている.(1) また,VR 環境での作業の遠隔支援に関しての取り組みなどもなされている.(2), (3), (4)本研究では, このような環境下での情報共有に着目し, VR 環境での全天球画像を用いた遠隔指示の支援のためのシステムの開発を目標として, 全天球画像の共有とそれに対する指示動作を共有するために,データベースを用いた全天球画像での仮想環境の管理と指示動作の認識とその向上を目的とする.

ポインタ

2.

システムの概要

本研究では画像の管理にデータベースを用い, VR環境での仮想空間での画像の位置関係を管理する.
また, Leap Motion で取得した手や指の情報から指示動作の認識を行い, それにより, 画像の切り替えを行う.
マーカー
図 2 システム実行図
2.2 データベースを用いた全天球画像の管理
本研究において VR 環境は初期状態で９つの全天球画像からなる１つの空間を複数構成することを想定する. 今回画像の管理に用いるデータベースのテーブルの数は３つとし, それぞれが画像の情報管理,空間同士のつながりの管理, 画像の切り替えの管理に用いられる.
(1) 画像の情報管理

図 1 システム構成図

各全天球画像は空間の情報, 空間内での位置関係の情報, 画像の URL などの情報を有している. これらの情報を管理するためにテーブルを一つ設けている. このテーブルの構造を表１に示す.

2.1 本システムの試み
本システムでは, 指先の方向を読み取り, 指が向いている場所にポインタを表示させる. 初期状態は

89

関西地区

教育システム情報学会 2016年度学生研究発表会

ムでの指の位置の方向にマーカーを表示し, 座標情報を表示する. また, 基準フレームでの指の位置がある範囲の座標であった場合に, データベースからその座標の画像の URL が読み込まれ, 球に表示する.

(2) 空間同士のつながりの管理空間同士は隣り合っていて, 前後左右の４方向に連なりを持つ可能性がある. この４方向にそれぞれどの空間があるかを管理するために, テーブルを一つ設けている.

3.

(3) 画像の切り替えの管理
現在, ４方向への移動が想定されていて, 画像の切り替えのために, それぞれ４方向に移動した際の画像の位置と, 縦横それぞれに移動した際に, 空間の移動がある方向の管理のためにテーブルを一つ設けている.
表１ 画像情報管理テーブルの構造
アイテム名
説明
Id

DB のユニークキー

SpaceID

空間の IDposition

位置番号url

画像を格納した URL

評価実験

この研究の評価実験として, 動作認識の正確性を評価するために, 以下の内容で評価実験を行った.
・評価実験に参加するのは５人とする.
・この実験では VR を用いず、肉眼で PC の画面を見て行うものとする.
・評価する動作認識は時計回りの回転運動, 反時計回りの回転運動, 前後によるタップ運動とし, 各動作につき一人 10 回行うものとする.
・実験の参加者には, 動作認識や判定について全員に同程度の前提知識を与えた上で行うものとする.
次の表に評価実験の結果を示す.
表２

動作認識実験結果

ユーザ

時計回り
回転運動

反時計回り回転運動

タップ運動

2.3 システムの動作手順

A

90%

90%

100%

(1)画像の読み込みと表示

B

70%

100%

80%

C

80%

90%

100%

D

90%

90%

90%

E

90%

100%

100%

平均

84%

94%

94%

あらかじめ Google Drive に保存している全天球カメラ RICOH THETA S で撮影した全天球画像の画像
URL をデータベースで管理し, システム起動時や場面移動の際に読み込み, 球の内側に表示し, VR 用のカメラで映し, それを VR に表示するものとする.
(2)動作読み込みの準備
フレームの最初に Leap Motion での各情報の更新や実際に判定に用いる変数の設定を行う. 読み込み待機の状態では, Leap Motion で指の方向を読み取り, 方向の変化により次の状態へ移行する. また,指先の方向にポインタが表示される. 人差し指を前方に向け, 数秒間静止させることで, 指示動作の読み込みを行える状態になる.この状態から動作の認識が行われずに数秒間経つと, 読み込み待機の状態に戻る.

4.

おわりに

本研究では,全天球画像への指示動作の認識を行うシステムの開発を行った. 認識対象として, 時計回り円運動, 反時計回り円運動, タップ運動の以上３つとなる．今後の課題としては, 遠隔支援のために, 指示の受け手側が全天球画像を撮影し, それを即座に共有できる機能を実装し, 指示の受け手側の表示機能も実装する.
参考文献(3)指示動作の認識
現在判定できる動作は時計回りの回転運動, 反時計回りの回転運動, 指先の前後によるタップ運動である. Leap Motion で取得した指先の位置情報と指の方向情報を用い, 回転運動では動作読み込み状態になった時の最初のフレームである基準フレーム, タップ運動では直前のフレームでの位置, 方向情報と,現在の情報との比較により指の移動方向を認識し,その移動のパターンにより指示動作の認識を行う.
認識可能な指の移動方向は, 時計回り円運動および反時計回り円運動の認識に用いる上下左右とタップ運動の認識に用いる押引である.

(1) 谷口昂平,岡本勝,松原行宏: “実画像を用いた仮想環境における避難経路探索に関する検討” 信学技報, vol.
116, no. 351, ET2016-66, pp. 1-4, 2016 年 12 月
(2) 森島茂貴,間下以大,清川清,他: “作業者視点映像の全方位レンジデータへの投影による遠隔協調作業支援システム” 映像情報メディア学会技術報告, vol.34, no.
25, MVE2010-46, pp131-135 2010 年 6 月(3) 足立智章,小川剛史,清川清,他: “現実空間への注釈記述が可能な高没入感遠隔指示システム” 電子情報通信 学 会 技 術 研 究 報 告 : 信 学 技 報 , vol.103, no. 208
PRMU2003-71, pp83-88 2003.7.18.
(4) 大西仁,望月要,鈴木龍太郎,他: “遠隔空間型協調作業における作業者座標系の自動変換:VR システムによる 作 業 支 援 ” 信 学 技 報 , vol.97, no. 606, pp111-116
1998.3.14(4)指示動作の反映
時計回りの回転運動が検知されると, 基準フレー90