情報処理学会 インタラクション 2015
IPSJ Interaction 2015

C03
2015/3/7

MPCS フレームワークに基づく鏡型空間共有システムの設計
川村 拓弥1,a)

阿部 亨1,2,b)

菅沼 拓夫1,2,c)

概要：空間を共有している感覚をより高める遠隔コミュニケーションシステムの簡易な実現のために，
Symbiotic Reality (SR) に基づく共生型空間共有システムの設計開発方法論を定式化する．また，提案した設計開発方法論に基づき，鏡型の空間共有システムを設計し，その効果を議論する．本稿では，このシステムを実際に実装し，研究所公開において公開実験を実施した様子も併せて紹介する．

A Design of Mirror-type Space-Sharing System
Based on MPCS Framework
Kawamura Takuya1,a)

Abe Toru1,2,b)

Suganuma Takuo1,2,c)

Abstract: We are aiming for easy realization of remote communication systems that bring higher spacesharing feeling. In this research, we propose a design methodology for symbiotic space-sharing systems basedon Symbiotic Reality (SR) technology. We design a mirror-type space-sharing system by using range image
sensors in reference to the proposed methodology. In addition, we explain that we implemented this systemand conducted an experiment in open laboratory event to the public.

1. はじめに高齢化や核家族化が進行する今日，離れた場所に住んでいる家族や親族とのコミュニケーションが，距離的，時間上困難である．そこで，あたかも相手や物体がそこにいる/あるかのような感覚をユーザに提供する，Mixed Reality(MR) 技術によるテレイグジスタンスシステムや空間共有システムの研究が進められている [1], [2]．

的な制約により困難となっており，高齢の家族の様体急変

空間共有システムとは，自分とは別の空間にいる相手やを察知して孤独死を防ぐことを目的とした見守り支援シス

物体があたかも自分の空間にいる/あるかのような感覚を，テムのような，遠隔地との親族とのコミュニケーションを映像や音声等を用いて各空間にいるユーザに提示するシス支援するシステムが求められている．また，少子化や過疎テムであり，超鏡（ハイパーミラー）[3] や，全周囲裸眼立化，コスト削減による，遠隔授業支援や遠隔会議のニーズが体ディスプレイを用いたテレイグジスタンスシステム [4]存在し，Skype やテレビ会議システムなどの遠隔コミュニ等が開発されている．

ケーションシステムが普及している．これらのシステムでまた，現実空間と仮想空間を重ね合わせることを目的

は，他の空間にいる相手と物体を同時に操作したり，物体とした，共生型空間共有システムも研究が進められていを介したインタラクションをしたりすることは物理的制約る．共生型空間共有システムの例としては，シンビオミ
ラー [5], [6](図 1) や，シンビオグラス [7] 等が挙げられる．

12a)b)c)

東北大学 大学院情報科学研究科, Graduate School of Information Sciences, Tohoku University
東北大学 サイバーサイエンスセンター, Cyberscience Center,Tohoku University
ka-amur@ci.cc.tohoku.ac.jp
beto@cc.tohoku.ac.jp
suganuma@cc.tohoku.ac.jp© 2015 Information Processing Society of Japanこれらのシステムは，センサ，ネットワーク，表示装置等が連携した，高度な分散システムとして実現されるのが一般的であるが，その設計開発に着目すると以下の課題が存在する．一つ目はシステムの設計開発が場当たり的で非効率である点である．これは共生型であるなしに関わら

729

図 3 MVC フレームワーク

Fig. 3 MVC Framework
図 1 シンビオミラー

Fig. 1 Symbio-Mirror• Augmented Virtuality (AV):virtual space + real users, objects
これら MR では，ユーザや物体の挙動の影響が，一つの空間（図 2(a)，(b) において太線の四角で表した空間）内に限定されている．例えば，AR においては仮想の時空間自体は存在しない．そのため，複数の空間と「現実にある物体」を共有することや，異なる空間のユーザや物体同士に相対的な位置情報を持たせることが困難である．

図 2 (a)AR，(b)AV，(c)SR の概念比較

Fig. 2 Conceptual comparison of (a)AR, (b)AV, (c)SR

2.2 Symbiotic Reality
そこで我々はこれまでに，MR に代わる新たな技術として，Symbiotic Reality（SR, 共生現実感）を提案してきた．

ず，状況ごとに各々最初から設計する必要がある [8] というこの技術は，現実空間とディジタル空間のギャップを埋めことである．二つ目はシステムが対象とする空間に制約がることを目的とした「共生コンピューティング」[9] のパーあるという点である．これは，共生型でない場合は，ユーセプチュアルウェアの一部である．SR とは，現実空間とザや物体の挙動の影響が，一つの空間内に限定され，異な空間の広さや物体の配置を同一にした仮想空間を構築し，る空間のユーザや物体同士が相対的な位置情報を持つこと

現実空間内に設置したセンサで獲得した現実空間の人・物が困難であることに起因し，共生型の場合は，現実空間と体の動きの情報を仮想空間内のアバタや仮想物体に同期さ空間の広さや物体の配置を同一にした仮想空間上で，アバせることで，現実空間と仮想空間を重ね合わせる技術であタを介してインタラクションを行うため，広さや配置が異る [10]．SR による空間共有システムを，共生型空間共有なる空間を共有できず，アイコンタクト等が困難であるなシステムと呼ぶ．

ど，利用可能なコミュニケーションが制約されることに起因する．

現実と仮想のそれぞれの空間が独自に存在し（図 2(c)），ユーザや物体同士は相対的な位置情報を持ち，両空間で時そこで本研究では，空間を共有している感覚をより高め間を共有することで，人とアバタ，現実にある物体と仮想る空間共有システムの簡易な実現を目的として，前述した物体の挙動が同期するという特徴を持つ．一方で，従来の空間共有システムの設計時の課題を解決すべく，共生型空共生型空間共有システムでは，現実空間と空間の広さや物間共有システムの設計開発方法論を提案する．本稿では，体の配置を同一にした仮想空間上でアバタを介してインタ提案する設計開発方法論について述べた後，その方法論にラクションを行うため，広さや配置が異なる空間を共有で沿ったシステム設計の具体例として，距離画像センサを用きず，使えるコミュニケーションに制約がある（アイコンいた鏡型空間共有システムを設計し，その効果を議論する．

タクト等が困難）という課題が存在した．

また，このシステムを実装し，研究所公開において公開実験を実施した様子も併せて紹介する．

2. 関連研究と課題
2.1 Mixed Reality

2.3 MVC フレームワーク
分散型，またはオブジェクト指向型システムの設計開発時のフレームワークの代表例として，MVC フレームワーク [11] が挙げられる．図 1 で表される，Model，View，Mixed Reality（MR, 複合現実感）は，相手の空間と仮想Controller の 3 つのモジュールから構成され，Smalltalk の物体を共有する技術であり，大きく次の 2 つに分類できる．

開発時から，現代では Web アプリまで，GUI を持つソフ• Augmented Reality (AR):real space + virtual avatars, objects© 2015 Information Processing Society of Japan

トウェアの設計指針として広く活用されてきた．

• Model: アプリケーションデータやアプリケーション

730

サーバ，関数等• View: 情報を視覚的に表現するもの• Controller: 入力を受け取り，M と V へ通知する入力デバイスやイベント処理メソッド
このフレームワークの利点は，機能がモジュール毎に分割されるため，プログラムの見通しが利く点や，モジュー
図 4 共生空間の位置づけ

ル毎に異なるものに置き換えることが容易である点であFig. 4 Position of Symbiotic Spaceる．また，MVC の構成要素が，空間共有システムにおけるサーバ，表示機能，センサ機能等の構成要素と親和性が高いため，MVC フレームワークの適用が効果的であると考えられる．一方，User の存在する空間（Space）に関し共生感：ては構成要素に含まれていないので，Space の仕様が重要「ユーザが違和感なく他空間のユーザや物体の存である空間共有システムの設計においては，十分配慮する在を相互にかつ同様に感じる感覚」

必要がある．

3. MPCS フレームワークの提案
3.1 概要共生空間生成機能においては，各空間からセンサ等（Con-troller）により環境やユーザの状況を取得し，各空間に取得した環境やユーザの状況を場所や目的に適したデバイス，

本章では，MVC フレームワークを元に，空間の要素，セ表現形式（Presenter）で提示する．そこで，各空間を統合ンサ等を考慮して拡張した MPCS フレームワークに基づして共生するためにデータを集約するものが Model の要

く共生型空間共有システムの設計開発方法論を提案する．

素となる．

提案するフレームワークの概要を示す．MVC フレー
ムワークに対して，“View” を視覚的な出力以外にも拡張

Model M の要素例 = { データ集約サーバ，仮想空間サーバ，…}し “Presenter” に置き換える点と，ユーザがいる空間をModel の要素は，共生型空間共有システム [5], [6], [7] の“Space” という新たな構成要素として導入する点が大きな場合はそのまま共生空間を生成するものに対して適用す差異であり，以下の 4 つの構成要素からなる．

1）
る（図 4 における°．一方，共生型でない空間共有シス• Model: データを集約し共生空間 (後述) を生成する
もの• Presenter: 情報を視覚的に限らずマルチモーダルに表テム [3], [4] の場合は，Presenter でユーザに提示する映像に映る空間を共生空間とみなして適用する（図 4 における2）°．

現し，Space の要素に作用するもの• Controller: 入力を受け取り，もしくは積極的に取得し，M と P へ通知する入力デバイスやイベント処理
メソッド，センサ類

3.3 Presenter: 情報反映機能
MVC の “View” を視覚以外にも拡張し，情報を提示・反映し，共生感を提供する機能（Data Reflection Function,• Space: 共生空間に参加する空間DRF）に適用する．すなわち，Space にいるユーザに、視次に，各モジュールの詳細を示す．

覚・聴覚・触覚的な出力をするものや，Space の要素に何らかの作用を与えるものが Presenter の要素となる．

3.2 Model: 共生空間生成機能
MVC における “Model” を、共生空間を生成する機能

Presenter P の要素例 = { モニタ，スクリーン，スピーカ，アクチュエータ，…}（Symbiotic Space Generation Function, SSGF）に適用する．また，本フレームワークの中核となる要素として，「共生空間」を以下のように定義する．

3.4 Controller: 情報取得機能
MVC の “Controller” をセンサ類にも拡張したモジュールであり，Space 内の様々な情報を取得する機能（Data

共生空間：

Acquisition Function, DAF）に適用する．すなわち，Space「異なる空間のユーザや物体の情報を共有し，そにいるユーザが操作することによって情報を受け取る入力れらとのインタラクションによって共生感を強化

デバイスや，Space の情報を積極的に取得するセンサ類がする論理的な空間」要素となる．

Controller C の要素例 = { マウス，キーボー
ここで，「共生感」を以下のように定義する．

ド，ビデオカメラ，超音波センサ，距離画像センサ，…}© 2015 Information Processing Society of Japan731

鏡のように提示する．

• 空間 1 と空間 2 のユーザは，そのままの姿で参加する．
• 空間 3 のユーザは，そのままでも，ユーザの動き（位置，ジェスチャ）と同期して動くアバタ（シンビオントと呼ぶ）としても，参加可能とする．
図 6(a) は，機能要件に現れる構成要素を MPCS フレー
図 5 MPCS フレームワーク

ムワーク（図 5）の各要素として当てはめたものである．

Fig. 5 MPCS Framework

この段階では，空間 1，2，3 の Controller，及び仮想空間の P は，機能要件で明確に与えられていないため，未定と3.5 Space: 共生空間参加空間
MVC の “User” を，User がいる空間全体に拡張し，フする．
次に，モジュール間を流れる情報（各モジュールの入出レームワークの構成要素としたものである．共生空間へ力）とそれに伴うネットワークの帯域等の要求を決定するは，複数箇所の現実/仮想空間からの参加を想定している（図 6(b)）．ただし，今回の設計では，簡単のためネットが，各空間は共生空間の背景となる空間と，それ以外の空ワーク要求については無視している．ここで，「合成画像」

間の 2 種類に分けることが可能であり，前者を「ホスト空とは，ホスト空間にユーザが集まったように見える映像の間（H）」，後者を「ゲスト空間（G）」と呼ぶ．その特性かことを指す．

ら，メイン空間の Controller には背景の映像を取得可能なものが必要となる．

続いて，決定した入出力情報から図 6(a) の段階で未定であった要素を決定する（図 6(c)）．図中の太い矢印は、要各空間にある物体・構成要素のうち，共生空間に参加す素が何によって決定したかを表している．なお，図が煩雑るために必要なものが Space の要素となるが，機能要件にになることを避けるため，一部の矢印を省略した．また，より、以下のように様々なものが要素になり得る．

要素「Kinect」には切り抜き機能を含むものとする．具体Space S(HorG) の要素例 = { ユーザ，物体，ロボット，広さ，温度，…}

的には以下のように各要素を決定する．

• 空間 1，2，3 の各空間における Space から Controller
への入出力情報から，映像情報と深度情報が同時に取

3.6 MPCS フレームワークの適用方法
MPCS を用いて，以下の手順で設計を進める．
( 1 ) システムの要求定義から，機能要件を整理する．
( 2 ) 機能要件に現れる構成要素を，図 5 で表される MPCS得できる距離画像センサを Controller とする．距離画像センサの中でも，スケルトン情報が容易に取得できる Kinect を用いることとする．

• Kinect を使用すると，ユーザが手に持った物体と着用の各要素として当てはめる．この時，P・C・S は（現した物体もそのユーザと共に切り抜くことができる．

実/仮想に関わらず）想定される空間毎に当てはめる．

• 空間 1，2，3 の各空間における Space の要素の「広さ」( 3 ) 各モジュール間で受け渡される情報（入出力情報）やから，広さに応じて各空間の Presenter の要素を決定ネットワーク要求を決定する．

する．すなわち，広い空間 1 ではスクリーンを，中く( 4 ) 隣接するモジュールの要素と（3）に基づき，既存の設らいの広さの空間 2 では通常の PC のモニタを，狭い備や予算等を考慮しつつ，各モジュールの要素（機能空間 3 はコンパクトで済むノート PC のモニタを，そ要件に現れなかった要素や抽象的な要素）を，機能要れぞれ鏡表示で用いることに決定する．

件を満たすように具体化し，決定する．

( 5 ) 空間間のネットワーク構成を，実現の容易さ等を考慮して変更する（Option）．
ここまで設計した後，実装段階へ移行する．

4. 鏡型空間共有システムの設計• Model は，各空間の Controller から「空間の映像情報」，「シンビオントの映像情報」を受け取ってそれらをまとめて合成し，空間 1，2，3 の Presenter に「合成映像の情報」を受け渡す必要があることから，映像合成サーバを用意することに決定する．

• 仮想空間の Presenter は，「ユーザの状態情報」を「シ提案した設計開発方法論の具体的な適用例として，「共ンビオント操作情報」に変換してシンビオントの映像生空間」を鏡を通して見える空間として表現した鏡型空間情報を更新させる必要があることから，映像合成サー共有システムを提案する．このシステムの機能要件は以下のとおりである．

• 空間を 3 箇所用意し，広い順に空間 1，空間 2，空間 3とする．

• 各空間のモニタやスクリーンには背景とユーザの姿を© 2015 Information Processing Society of Japanバにアバタ操作（数値変換）機能を付けることとする．

• 仮想空間の Controller は，仮想空間の Space からのシンビオントの映像情報を特に加工せずにそのままModel に受け渡すため，要素なし（null）とする．
最後に，図 6(d) のようにネットワーク構成を変更する．

732

図 7 実際のシステム配置

Fig. 7 System Installation in a Real Space

図 8 アバタとして参加している様子

Fig. 8 Joining the Symbiotic Space as an Avatar

図 9 他空間のユーザにマスクを重ねている様子

Fig. 9 Overlapping a Mask on an User in the Other Place

仮想空間への「ユーザの状態情報」は空間 3 からのみ送信されるため，間に Model を介さなくても良いと判断したためである．実装にあたっては，例えば「Kinect」を「Kinect」と「Kinect が接続された切り抜き処理を行う PC」に分けるように，各要素をさらに詳細に分解する．
※ 1 ゲスト空間の時はユーザの部分のみの映像※ 2 ゲスト空間の時はユーザが手に持った/着用した物体のみ
図 6 MPCS に基づく設計の流れ

Fig. 6 Design Flow Based on MPCS

5. 公開実験4 章で設計したシステムを実際に構築し，2 日間の研究
所公開において公開実験を行った．図 7 は実際のシステムの配置図である．本実験では，空間 2 をホスト空間とし，空間 1，3 をゲスト空間と固定した．また，空間 2 への立© 2015 Information Processing Society of Japan733

を実際に構築し，研究所公開において公開実験を行った．
今後は，既存研究で設計されたシンビオミラー [6] をMPCS フレームワークに基づいて再設計することにより，提案した方法論を用いて設計する際の統一的な設計開発の可能性を検証する．また，共生型でないシステムを含む様々なシステムを設計することにより，提案した方法論の一般性について議論し，その適用可能範囲について明確化する．
さらに，5 章で述べたシステム上の課題を解決すべく，音声通信の機能を機能要件に組み入れた上で，ネットワーク要求を考慮して再設計することを予定している．
図 10 たくさんの人がいる共生空間の様子

Fig. 10 Symbiotic Space with Many Users

謝辞 本研究の一部は，日本学術振興会科学研究費補助金（24300022）の援助を受けて実施した．

ち入りは研究室関係者のみとし，空間 3 のユーザは図 8 のように必ずアバタで参加することとした．

1 日目は一般客が 92 名，学生が 31 名，2 日目は一般客

参考文献
[1]

が 75 名，学生が 23 名，総計 221 名の方々にこのシステムを体験していただいた．その結果，多くのユーザが，映像の背景が自空間の背景でないことに気付いた後も，各空間にいる他人と違和感なくコミュニケーションをとれてい[2]た．例えば，図 9 は，空間 1 のユーザが空間 2 のユーザにマスクを重ねている様子である．また，たくさんの人が映っている（すなわち，たくさんの人が共生空間にいる）[3]

時，誰がどこの空間にいるのかわからなくなる場面があった（図 10）．これらのことから，ユーザに共生感を提供できたと考えられる．

[4]

また，2 日目の 10 時から 11 時半頃，一時的に動作が重くなった．これは，空間 1，3 と空間 2 を結ぶネットワーク[5]上で輻輳が発生したことが原因として考えられる．このようなシステムトラブル発生時においても，MPCS フレームワークに基づいた系統的な設計開発プロセスにより得られ[6]る各種仕様から，原因究明，問題解決が早期に行えると考えられる．具体的には，今回のトラブルに対しては，ネットワークに対する負荷の根本的な改善や，ネットワーク資[7]源枯渇時の動的対応の機能が必要であるという知見を得ることができた．また，これにより，MPCS フレームワーク[8]に沿って設計する際，ネットワーク要求を重要視して設計する必要性が明確化した．さらに，「音声もあったほうが良[9]い」という声が複数あったことから，今後音声通信の機能の付加を考えている．このような機能追加の際にも MPCSフレームワークの効果が大いに期待できると考えられる．

[10]

6. おわりに
本論文では，空間を共有している感覚をより高める空間共有システムの簡易な実現を目標とし，共生型空間共有システムの設計開発方法論を定式化し，その方法論に基づいて鏡型空間共有システムを設計した．また，このシステム© 2015 Information Processing Society of Japan[11]

Kato, H. and Billinghurst, M.: Marker tracking andHMD calibration for a video-based augmented reality conferencing system, Proc. of the 2nd IEEE andACM International Workshop on Augmented Reality(IWAR’99), pp.85-94 (1999).
Beck, S., Kunert, A., Kulik, A. and Froehlich, B.: Immersive Group-to-Group Telepresence, IEEE Transactions on Visualization and Computer Graphics, Vol.19,
No.4, pp.616-625 (2013).
大山英明，戸田賢二，森川治：距離画像を用いた多地点映像合成機能を持つビデオ通話システム，第 14 回計測自動制
御学会システムインテグレーション部門講演会 (SI2013)，
pp.1401-1406 (2013)．
渡邊孝一，南澤孝太，新居英明，舘 ：全周囲裸眼立体ディスプレイを用いたサイバースペースへのテレイグジ
スタンス，日本バーチャルリアリティ学会論文誌，Vol.17，No.2，pp.91-100 (2012)．
川村拓弥，阿部亨，菅沼拓夫：共生型 3 次元仮想空間における距離画像センサを用いた共生感提供機能の設計, 第75 回情報処理学会全国大会予稿集，2J-2 (2013)．
Kawamura, T., Abe, T. and Suganuma, T.: A Design ofState Acquisition Function using Range Image Sensor
for 3D Symbiotic Space, Proc. of the Third International
Workshop on Symbiotic Computing and Multiagent Systems (SCMAS2013), pp.622-627 (2013).
伊藤寛祥，川村拓弥，阿部亨，菅沼拓夫：3 次元共生空間における HMD を用いた空間提示手法の提案，第 76 回情報処理学会全国大会予稿集，2ZA-4 (2014)．
舘日章，佐藤誠，廣瀬通孝：バーチャルリアリティ学，日本
バーチャルリアリティ学会，pp.13-14 (2011)．
菅沼拓夫，野口博司，高橋秀幸，白鳥則郎：共生コンピュー
ティングに基づく現実・仮想空間の融合とその応用に関する一考察，情報科学技術フォーラム講演論文集 (FIT2009)，
pp.312-313 (2009)．
Noguchi, H., Suganuma, T. and Kinoshita, T.: Perceptual Integration of Real-Space and Virtual-Space Basedon Symbiotic Reality, Proc. of the First International
Workshop on Symbiotic Computing and Multiagent Systems (SCMAS2010), pp.788-793 (2010).
Krasner, G. E. and Pope, S. T.: A Cookbook for Using
the Model-View-Controller User Interface Paradigm inSmalltalk-80, Journal of Object Oriented Programming,
Vol.1, No.3, pp.26-41, pp.48-49 (1988).

734