情報処理学会 インタラクション 2015
IPSJ Interaction 2015A06
2015/3/5

共生現実感のための眼鏡型空間共有システムの実装
伊藤 寛祥1,a)

阿部 亨1,2,b)

菅沼 拓夫1,2,c)

概要：我々は，現実・仮想を問わず異なる空間に存在するユーザやモノの情報を共有することで，高度なインタラクションを可能とする共生現実感（Symbiotic Reality: SR）に関する研究を進めている．SR は，別々の空間を感覚的に融合させた共生空間を通してユーザに提供され，この共生空間は，ユーザに空間を提示する機能（空間提示機能），ユーザやモノの状態を獲得する機能（状態獲得機能）等を様々な形で実装した複数のシステムにより実現される．本稿では，眼鏡型の空間提示機能，および，眼鏡型空間提示機能と効果的に併用できる状態獲得機能を，透過型ヘッドマウントディスプレイ（HMD）とモーションセンサで実装したシステムを提案する．さらに，試作システムを用いた実験結果に基づき，提案システムの有効性に関する検討を行う．

Implementation of Glasses-type Space Sharing System for SymbioticRealityITO Tomoyasu1,a)

ABE Toru1,2,b)

SUGANUMA Takuo1,2,c)

Abstract: We continue research on the symbiotic reality (SR), which achieves advanced interaction amongusers and objects by sharing their information in diﬀerent spaces both of the real and virtual worlds. The SR
is provided to the users through the symbiotic space, where various diﬀerent spaces are merged sensuously.
The symbiotic space is realized with multiple systems implementing several functions, such as presenting thespace to the user and acquiring the status of the user, in various ways. In this manuscript, we propose a
glasses-type space presentation system implemented with a see-through head-mounted display (HMD), and auser status acquirement system using a motion sensor which can be combined eﬀectively with the glasses-typesystem. Furthermore, we discuss the eﬀectiveness of our proposed systems based on the experimental resultswith the prototype system.

1. はじめにため，現実空間での応用が困難であるという課題がある．
この課題を解決するため，我々は共生現実感（Symbiotic

計算機の小型化・高性能化に伴い，SNS や仮想空間など

Reality: SR）を提案してきた [1]．これは図 1 に示すようインターネットを利用したコミュニケーション手段が広くに，仮想空間上に現実空間を再現し，各種センサによって普及している．特に仮想空間に関しては，CG 技術や専用取得された現実空間の状態・状況を仮想空間に反映させるツールの発展により教育やビジネスでの活用だけでなくことで，現実空間と仮想空間を重ね合わせる技術である．

アミューズメントなどでも利用され，より身近なものにな

特に現実空間内でのユーザの状態は，ユーザに対応したアりつつある．しかし，仮想空間でのコミュニケーションはバタ (シンビオント) に反映され，このシンビオントが仮想ユーザが操作するアバタ・オブジェクトを介して行われる空間内でユーザと同様の動きをする．これにより，ユーザ

1

2a)
b)
c)

東北大学大学院 情報科学研究科
Graduate School of Information Sciences, Tohoku University
東北大学 サイバーサイエンスセンター
Cyberscience Center, Tohoku University
tomoyasu@ci.cc.tohoku.ac.jp
beto@cc.tohoku.ac.jp
suganuma@cc.tohoku.ac.jp© 2015 Information Processing Society of Japanはシンビオントを通じて現実空間から仮想空間に対してインタラクションを行うことが可能になる．
以上のように，異なる空間のユーザやモノの情報を共有し，それらとのインタラクションによって共生感を強化する論理的な空間を共生空間という [2]．ここで共生感とは，

162

図 1

SR のイメージ概要
図 2

Fig. 1 Overview of SR

シンビオミラーの概念

Fig. 2 Concept of Symbio-mirror

ユーザが違和感なく他空間のユーザやモノの存在を相互かつ同様に感じる感覚のことを指す．共生空間は，ユーザに空間を提示する機能（空間提示機能），ユーザやモノの状態を獲得する機能（状態獲得機能）等を様々な形で実装した複数のシステムで構成される空間共有システムにより実現される．本稿では，眼鏡型の空間提示機能，および，これと効果的に併用できる状態獲得機能を，透過型ヘッドマウントディスプレイ（HMD）とモーションセンサで実装したシステムを提案する．さらに，試作システムを用いた実験結果に基づき，提案システムの有効性に関する検討を行う．

2. 関連研究SR による共生空間を提示する既存のシステムとして，

図 3 シンビオフレームの概念

鏡型のシンビオミラー [3] と額縁型のシンビオフレーム [4]Fig. 3 Concept of Symbio-frameがある．シンビオミラーは現実空間と仮想空間の両方に設置され，互いの空間を鏡像のように対向させて表示するシを兼ねる．そのため，空間を提示する位置が自由に移動可ステムである．シンビオミラーの概念を図 2 に示す．この

能，表示画面が小さい，端末を持つ必要があるためインタシステムでは，距離画像センサを用いて，現実空間のユーラクションが制限，などの特徴がある．

ザの位置や動きを取得し，それらを仮想空間のオブジェク

これらのように，共生空間を提示するシステムにはそれトに反映させている．そのため，現実空間のユーザは，鏡ぞれ特徴があるため用途に応じて使い分ける必要がある．

像として映し出された空間に存在するユーザと互いに位置を認識しながらインタラクションが可能となる．また対向する空間を，壁面に設置したスクリーンなど大型の表示装

3. 提案
3.1 シンビオグラス

置で提示するため，複数人で利用可能，両手が空くためイ共生空間を提示する新たな手法として，HMD を用いた

ンタラクションが自由，空間を提示する位置が固定，提示眼鏡型の空間共有システムであるシンビオグラスの基本機のための広い壁面が必要，などの特徴がある．

能を提案してきた [5]．本稿では新たにモーションセンサ

シンビオフレームはタブレット端末上で共生空間を表示するシステムである．シンビオフレームの概念を図 3 にを組み合わせることで，効果的にユーザの状態を獲得可能なシステムを提案する．

示す．このシステムでは，端末上に背面カメラで撮影したシンビオグラスは透過型 HMD 上に仮想空間にのみ存在映像と仮想空間にのみ存在するアバタやオブジェクトを重するアバタやオブジェクトを切り出して表示し，ユーザのねて表示し，端末の移動に合わせて表示を更新する．この移動に合わせて表示を更新するシステムである．これによときタブレット端末は，表示機器と移動を検出するセンサ

り，ユーザには現実空間上に仮想空間のアバタやオブジェ© 2015 Information Processing Society of Japan163

図 4

シンビオグラスの概念
図 5

Fig. 4 Concept of Symbio-glass

買い物支援システムの概要

Fig. 5 Overview of shopping assistance system
表 1

提案システムと既存システムとの比較

Table 1 Comparison of proposed system with existing systems

また，副次的な効果としてセンサの有効範囲を空間全体からユーザ周辺に限定することに繋がっている．そのため小型化されたセンサで高精度化な状態獲得が可能となる．

3.3 応用例
シンビオグラスの応用例として，家具などの買い物を支援するシステムが考えられる．これは図 5 に示すようにクトが存在しているように見える．シンビオグラスの概念

購入対象の設置場所を共生空間とし，商品の代わりにオブを図 4 に示す．

ジェクトを設置することで購入後のシミュレーションを提案システム（眼鏡型）と既存システム（鏡型，額縁型）行うものである．現実空間の実際に設置する場所に，仮想との比較を表 1 に示す．提案システムでは空間を提示する空間にある商品を重ねて表示することで，より実用的なシ位置がユーザの視点と一致，両手を使ったインタラクショミュレーションが可能であるため，ユーザはこれまでの商ンが可能，ユーザそれぞれに HMD が必要，身体へのデバ品の検討方法と比べてより実生活に近い環境で商品の検討イスの装着が必要，などの特徴がある．本システムは，シができる．また商品を販売する販売員などは，仮想空間にンビオミラーやシンビオフレームと異なる特徴を持つことアバタとして参加することで遠隔地からシンビオントとので，空間を提示する位置の移動と両手を用いたインタラクコミュニケーションが可能となる．これによりオブジェクションを同時に行うなど，従来のシステムを使用し難い場

トを用いたより詳しい商品の紹介や比較ができるため，購合に有効な手段を提供できると考えられる．

入後の満足度を高めることに繋がる．
他の応用例として，3D モデルのデザインなど創作活動

3.2 モーションセンサを用いた状態獲得機能での支援が挙げられる．これは仮想空間のオブジェクトの現実空間から仮想空間に対するインタラクションについ形状やテクスチャをユーザ自身が変更することで，造形作て，シンビオミラーでは現実空間に設置された距離画像セ業をオブジェクトに対して行うものである．特に，コンセンサを用いて簡単なジェスチャを認識し，シンビオントにプトモデルや試作品のような量産されないものをオブジェ反映させている．しかし，シンビオグラスでは空間を提示クトとして作成することで，イメージの具現化や直感的なする位置がユーザに依存するため，ユーザがセンサに対し編集を行うことができる．て必ずしも正面を向くとは限らない．従って，ユーザ自身の身体などの遮蔽物によってジェスチャの認識が出来ないという問題があった．

4. 実装・実験
4.1 システムの構成

この問題に対して，本稿ではユーザに直接センサを装着

シンビオグラスの設計にあたって，本稿では MPCS フすることで解決を図る．具体的にはシンビオグラスで利用

レームワーク [6] に従う．MPCS フレームワークとは，シする HMD にモーションセンサを取り付け，ユーザの動きステムを Model，View，Controller の 3 要素に分割して設を取得する．これにより現実空間内でのユーザの位置に依計する MVC フレームワーク [7] を拡張し，空間共有シス存することなくユーザの動きを取得することが可能となる．

テムの設計開発方法論として定式化したものである．共生© 2015 Information Processing Society of Japan

164

図 6

MPCS フレームワークによる空間共有システムの表現

Fig. 6 Expression of space sharing system based on MPCSframework
図 7

表 2 MPCS フレームワークのモジュール

Table 2 Module of MPCS framework
モジュール

機能

例

Model

データを集約サーバ

Presenter

情報の表現

ディスプレイController

入力の受け取り

センサ

Space

共生空間に参加する空間

仮想空間

シンビオグラスのシステム構成

Fig. 7 Structure of Symbio-glass

空間を提示する機能は特徴と用途によって使い分ける必要があるが，そのためにシステムの設計が複雑になる課題がある．MPCS フレームワークを用いて設計することで，システムの設計プロセスが複雑になることを防ぎ，モジュールの変更により他の用途への対応が容易となる．MPCS フ
レームワークでは，共生空間の提示システムは図 6 のように表現される．ここで，共生空間を構成する要素はそれぞれ表 2 のような機能を持っている．このとき，図 6 にお図 8

シンビオグラスの MPCS フレームワークによる表現

Fig. 8 Expression of Symbio-glass using MPCS framework

いて破線で区切られた Presenter，Controller，Space は空間ごとに設計し，それらのデータは単一の Model に集約さ表示されたオブジェクトに対して様々なインタラクションれる．

が可能となる．

シンビオグラスのシステム構成を図 7 に示す．このシステム構成を MPCS フレームワークに沿って表現すると

4.2 予備実験図 8 のようになる．本システムでは，ユーザの情報とし4.2.1 実験概要て，ユーザ自身の位置・向きとユーザの手指の位置を取モーションセンサの利用に関して，研究所の一般公開の得している．これらはデータ中継用の HTTP サーバを経際に一般の方約 120 人を対象として予備実験を行った．目

由して，Model にあたる OpenSim サーバに送信される．

的は，事前知識や特別な習熟なしにモーションセンサによPresenter には透過型 HMD である MOVERIO[8] を用い，る操作が可能か検証することである．実験は図 9 に示すよ

仮想空間のみに存在するアバタやオブジェクトを切り出しうに上部にモーションセンサを取り付けた HMD を装着して表示する．これにより，ユーザには現実空間に仮想空間てもらい，顔の前で手を動かすことで図 10 に表示されるのアバタやオブジェクトが存在するように見える．ユーザアイコンの画像を動かすものである．この画像はモーショの位置は距離画像センサを，向きは Android 端末をそれぞンセンサで検出した人差し指の先端に従って上下左右に動れ Controller として用いることで取得している．これらをくようになっている．また，本実験では，被験者の位置をシンビオントに反映させることで，現実空間と仮想空間で取得する距離画像センサと，向きを取得する Android 端末ユーザの視点が常に一致することになる．

は省略している．本実験でのシステム構成の概略を図 11

また，現実空間から仮想空間へのインタラクションのたに示す．モーションセンサはノートパソコンに接続され，めに取得されたユーザの手指の位置を用いる．提案システ

ノートパソコン上で画像を動かす処理を行っている．それムではこのための Controller として，Leap Motion[9] といをスタンドアローンで動作する HMD に Wi-Fi 経由で表示うモーションセンサを用いる．これにより，モーションセしている．

ンサを中心とした 3 次元での手指の位置を取得できる．こ4.2.2 実験結果・考察

れを仮想空間に反映させることにより，ユーザは HMD に© 2015 Information Processing Society of Japan

被験者へのインタビューを行った結果，概ね以下のよう165

現実空間から仮想空間に対してインタラクションを行う場
合，ジェスチャなどより複雑な動きが必要になることも考えられる．その場合，どのような動きが適しているか検討する必要があると考えられる．

(ii)，(iii) に関して，本実験の構成ではユーザに対して前後方向の情報を取得していなかったことに起因する．特に(iii) は，どの程度，離れた位置に画像が提示されていると感じるかが被験者によって異なるために起きている．そのため前後方向の情報を利用し，HMD 上での表示位置を補正する必要がある．

5. まとめ本稿では空間共有システムの機能として，眼鏡型空間提
図 9

実験の様子

Fig. 9 Scene of experiment

示機能，および，眼鏡型空間提示機能と効果的に併用できる状態獲得機能を HMD とモーションセンサで実装したシステムを提案した．また試作システムを用いた予備実験を行い，HMD 上の表示に対して提案した手法を用いることで，特別な習熟なしに簡単な操作が可能であることを確認した．今後は HMD 上での表示位置の補正についての検討と，仮想空間のオブジェクトに対する様々なインタラクションの実装を進める予定である．
参考文献
[1]

図 10

表示画面

[2]

Fig. 10 Displayed image

[3]

[4]

[5]

[6]
図 11

実験でのシステム構成

Fig. 11 Structure of system in this experiment

な意見を得た．

[7][8](i) 操作を直感的に行うことができた．
(ii) 手を前後に動かすのに合わせて画像が拡大・縮小すれ[9]菅沼拓夫，野口博司，高橋秀幸，白鳥則郎：共生コンピュー
ティングに基づく現実・仮想空間の融合とその応用に関する一考察，FIT2009, Vol.4, pp.311-312 (2009)
Noguchi, H., Suganuma, T. and Kinoshita, T.: Perceptual Integration of Real-Space and Virtual-Space Basedon Symbiotic Reality, SCMAS2010, pp.788-793 (2010)
Kawamura, T., Abe, T. and Suganuma, T.: A Designof State Acquisition Function using Range Image Sensor for 3D Symbiotic Space, SCMAS2013, pp.622-627(2013)
森瞬，阿部亨，菅沼拓夫：共生型 3 次元仮想空間における空間提示機能の高度化，DPSWS2013 論文集, pp.95-98(2013)
伊藤寛祥，川村拓弥，阿部亨，菅沼拓夫：3 次元共生空間における HMD を用いた空間提示手法の提案，情報処理学会 第 76 回全国大会, 2ZA-4 (2014)
川村拓弥，阿部亨，菅沼拓夫：MPCS フレームワークに基づく鏡型空間共有システムの設計，（発表予定）インタ
ラクション 2015, (2015)
Krasner, G. E. and Pope, S. T.: A Cookbook for Using
the Model-View-Controller User Interface Paradigm inSmalltalk-80, JOOP, pp.26-41, 48-49 (1988)
MOVERIO，入手先 ⟨http://www.epson.jp/products/moverio/⟩
Leap Motion，入手先 ⟨https://www.leapmotion.com/⟩

ば良かった．

(iii) 指の位置と画像が離れているため，感覚的に操作しづらかった．

(i) に関して，本実験の目的である特別な習熟なしに操作可能かという点については，本実験程度の複雑でない操作であれば問題なく行えると考えられる．ただし，実際に© 2015 Information Processing Society of Japan166