情報処理学会 インタラクション 2015
IPSJ Interaction 2015

B23
2015/3/6

遠隔空間内の三次元的移動を表現する：
深度情報を用いた部分重畳表示型ビデオチャットの提案濵上 宏樹1

宮部 真衣2

吉野 孝1

概要：我々はこれまでに可動枠を用いた部分重畳表示型ビデオチャットシステム「ドアコム」を開発してきた．ドアコムは，現実空間に存在する枠を介して遠隔地間を仮想的につなぎ，ユーザが相手の空間内を平面的に動き回ることができるようにするシステムである．しかし，このシステムでは双方向二次元的な動きしかできず，「相手の空間で指示操作をしている感覚」や「相手の空間へ侵入している感覚」に関しては，十分な効果を与えられていないことが課題であった．そこで本研究では，ビデオチャットにおいて遠隔空間内を三次元的に移動可能な仕組みを提案する．本提案では， 深度センサーを用いて遠隔の空間をつなぐことで，遠隔空間内のを三次元的移動を表現し，「遠隔空間内に隠れる」「遠隔空間内を指差す」という重畳表示ならではの表現を実現する．

Expression of 3-D Movement between Remote Spaces:
Proposal of Partial Overlay-type Video Chat System using Depth
InformationHiroki Hamaue1

Mai Miyabe2

Takashi Yoshino1

Abstract: We have developed a partial overlay-type video chat system “DOACOM” which use a movable
frame. “DOACOM” can connect between remote places virtually through the frame which exists in an actualspace.In the conventional system, however, both users can move another remote partner’s space at perpendicular plane. The conventional system could not give both “the sense doing operation of directions at anotherpartner’s space” and “the sense making an incursion into another partner’s space.” suﬃciently. We proposethat a new partial overlay-type video chat system. A user can move three-dimensionally in another remotepartner’s space in the new system. This system can express three-dimensional movement in the remote space
using a depth sensor at both places. The system can give both expressions “hiding in the remote space” and“pointing in the remote space”.

1. はじめに行える環境が整ってきた．従来メディアスペースによって遠隔地間を対面環境に近づける試みが多くなされてきた．

近年，Skype などの無料でビデオチャットを行えるツー

大画面のディスプレイで遠隔地の相手を等身大に表示する

ルが普及してきている [1]．またその機能が Facebook やこと [3] や，ハーフミラーを用いたシステムでアイコンタGoogle+といった大規模 SNS に組み込まれたことや，スクトを可能にすることによって，遠隔地にいる相手の存在マートフォンの普及 [2] により，容易にビデオチャットを感が 増すこと [4] がわかっている．
我々は，ドア型の専用インタフェースを用いて重畳表示

12和歌山大学 システム工学部
Faculty of Systems Engineering, Wakayama University,Wakayama-shi, Wakyama 640-8510, Japan
京都大学 学際融合教育研究推進センター
Center for the Promotion of Interdisciplinary Education
and Research, Kyoto University, Kyoto-shi,Kyoto 606-8317,
Japan© 2015 Information Processing Society of Japanを行う，ビデオチャットシステム「ドアコム」を開発してきた [5]．本稿では，遠隔地間の一方または両方のカメラの映像の一部を，他方の映像や別の映像に重畳し，互いが同じ映像を見て会話を行うシステムを「重畳表示型ビデオ526

開閉部

図 1

図 2

背面

前面

ドアコム表示映像

ドア無し側
ドアなし側

ドアコムのインタフェース

ドア操作側
ドアなし側

チャット」と呼ぶ. 過去の実験より，ドアコムはカメラ映像をそのまま相手のディスプレイに表示させるビデオチャッ
トに比べ，存在感および同室感（遠隔地の対話者と同じ部屋にいる感覚）が向上し，映像に立体感が生じる傾向が得られている [5]．また，ドアの枠外に手を出すジェスチャ

ドア無し側ユーザkinectkinect
ドア操作側ユーザドアをした場合に枠外の描画を行う機能を開発した．実験の結果，「枠外へ手を出す」表現は指示操作に良い影響を与える可能性が見られた. しかし，双方向二次元的な動きしかでドア・ドア内側の映像，深度データきず，「相手の空間で指示操作をしている感覚」や「相手の空間へ侵入している感覚」に関しては，十分な効果を与え感覚の向上を目指し，部分重畳型ビデオチャットにおける遠隔空間内の三次元的移動表現手法を提案する.

2. ドアコム

ドア操作側 PC図 3 システム構成図

られていないことがわかった [6].
そこで本稿では, 相手の空間への侵入感覚や，指示操作合成した映像

ドア無し側 PC

出た手の映像と深度情報をドア無し側に送信する，
（B）

ドア無し側

ドア無し側の使用機器はドア無し側 Kinect, ドア無し側 PC である．ドア無し側では，ドア無し側 Kinect でユーザを撮影し，ドア操作側に送信する．また，ドア

ドアコムは，現実空間に存在する枠を介して遠隔地間をの操作側 PC から送られてきたドアのフレームとその仮想的につなぎ，ユーザが相手の空間内を平面的に動き回内側の映像を，ドア無し側 PC でドア無し側の映像とることができるようにするシステムである．図 1 に，ドアオーバーラップさせる．

コムのインタフェースを示すドアコムは，他人の部屋に入るために使用する「ドア」をメタファとした.
本システムはドア操作側とドア無し側で通信を行う．

3. 提案手法
3.1 従来のドアコムにおける課題と提案

図 2 にドアコムの表示映像を示す．ドア操作側ユーザは，これまでに開発してきたドアコムにおいては，前述したドアを顔の前に掲げてドアを開き，その中からディスプレように「ドア」を用いて遠隔地間を仮想的に接続し，またイを覗くようにして会話を行う．各ユーザのディスプレイ

ドアを用いたジェスチャ（ドア枠から手を出すなど）が可には，ドア無し側の部屋の映像にドア操作側のドアとドア能となっている．このシステムにより，同室感や，指示操の内側が重畳表示される．これにより，ドアの操作側とド作に対する効果はある程度確認できているものの，得られア無し側の空間がドアによって繋がっているような映像とている効果は未だ十分とは言えない．

なる.

1 つ目の課題として，「相手の空間で指示操作をしていドアコムのシステム構成を図 3 に示す.
（A）

ドア操作側る感覚」への対応が挙げられる．従来のドアコムでは，ドア操作側ユーザは，相手の空間に自身の映像が重畳表示さ

ドア操作側の使用機器はドア，ドア操作側 Kinect，ドれ，また二次元方向であれば自由に動き回ることが可能でア操作側 PC である．ドア操作側 Kinect でドア操作あるため，相手の空間での指示操作感覚を得ることが可能

側ユーザを撮影し，ドア操作側 PC でドアのフレームである．一方，ドア無し側ユーザから見ると，自分の空間を認識してドアのフレームとその内側の映像，枠外にに相手が侵入してきており，ドア操作側ユーザと比較し© 2015 Information Processing Society of Japan527

表 1

従来ドアコムと提案手法の違い
相手空間で指示操作をしている感覚を表している．

相手の空間へ侵入している感覚

ドア操作側

ドア無し側

従来ドアコム

○×△

提案手法

○○○

（1）

d1 ＞ d2

まず，d1 ＞ d2 の場合について述べる．ドア操作側にある Kinect からドアまでの距離 d2 がドア無し側のKinect から人物及び物体までの距離 d1 よりも小さい
場合，ドアによって切り取られたドア操作側の映像はドア無し側の人物および物体より前面に表示されるて，相手への指示操作感覚が得られにくい．つまり，同じ（図 4(c)）．図 5 に前後関係を考慮した重畳表示映像

ビデオチャットに参加しているにもかかわらず，ドア無しを示す．d1 ＞ d2 の場合の映像は図 5（A）である．ド側ユーザは得られる指示操作感覚が不十分であり，ドア無ア無し側の人物より前面にドアの映像が表示されていし側ユーザの指示操作感覚についても十分な効果が得られる．これは従来のドアコムと同様の表現である．

るような工夫が必要である．

（2）

d1 ＜ d2

2 つ目の課題としては，「相手の空間へ侵入している感

次に d1 ＜ d2 の場合について述べる．ドア操作側に覚」への対応がある．既存のビデオチャットと比較すると，ある Kinect からドアまでの距離 d2 がドア無し側の従来のドアコムを用いることで，相手の空間へ侵入していKinect から人物及び物体までの距離 d1 よりも大きいる感覚は，ある程度得られていると考えられる．しかし，場合，ドアによって切り取られたドア操作側の映像は従来のドアコムは二次元方向への移動のみが可能であり，ドア無し側の人物および物体より背面に表示される

ドア操作側は常に最前面に重畳表示される．つまり，前後（図 4(d)）．d1 ＜ d2 の場合の映像が図 5（B）である．に移動したとしても，重畳される画像には変化がなく，相ドア無し側の人物より背面にドアの映像が表示されて手空間へ侵入し，移動するという感覚において，影響を与いる．従来のドアコムにおける表現とは異なり，ドアえている可能性がある．

操作側のドアおよびドア無し側の物体の深度情報を取そこで，これらの課題を解決するために，遠隔空間内得し，比較することにより，相手空間内の物体の背後を三次元的に移動可能な手法を提案する．提案手法では，に隠れるなどの三次元的移動表現が可能となる．またKinect により取得可能な深度情報を用いることにより，従ドア無し側の人物が前面に表示されることによりドア来のドアコムでは実現できていなかった，奥行きを考慮し無し側からドア操作側への指示が可能となる．

た三次元的な移動の表現を実現する．従来のドアコムと提従来のドアコムでは常にドア操作側の映像が前面に表示さ案手法の違いを表 1 にまとめる．

れていたために不可能だった「相手の空間に隠れる」 「ド三次元的移動表現の実現方法については，次節において詳細に述べる．

3.2 三次元的移動表現のための重畳表示手法
本節では，提案する三次元的移動表現のための重畳表示手法について述べる．

ア無し側からドア操作側への指示」といった表現が，本提案手法により可能となる．

4. おわりに本研究では「相手の空間で指示操作をしている感覚」や「相手の空間へ侵入している感覚」を与えることが可能な実際に空間に侵入しているのであれば，侵入した空間にビデオチャットの実現を目指し，遠隔空間内の三次元的なおけるモノとドアやドア枠外に出した手にカメラから見た移動表現手法を提案した．提案する表現手法のポイントは前後関係が生じる．利用者に「相手の空間で指示操作をし以下の 2 点にまとめられる．ている感覚」や「相手の空間へ侵入している感覚」を与え( 1 ) 遠隔話者やその空間の物体の前後関係を，Kinect で取るためには，二次元の位置だけでなく奥行きも考慮した，空間における位置関係に基づく重畳表示が重要であると考えた．
そこで本提案手法では，従来の Web カメラに替わりKinect を用いることで，遠隔空間内における三次元移動の得可能な深度情報から判定( 2 ) 判定した前後関係をもとに，映像を重畳することにより，一方の空間に対して部分的に映像を重畳するビデ
オチャットでは難しかった双方向のインタラクション
手法を実現

表現を可能にする．具体的には，Kinect により取得可能な本手法を用いることで，従来の平面的な移動のみ可能なド深度情報を用いて，ユーザや周辺物体の前後関係や前後へアコムとは異なったユーザの行動が見られることが期待さの移動を認識し，前後関係を考慮した重畳表示を行うことれる．

により，三次元的な移動を画面内で表現する．
図 4 に重畳表示の仕組みを示す．図 4 における d1 は今後，提案手法，三次元的な移動表現やそれに伴い可能となる「相手の空間に隠れる」，「ドアなし側からドアあり

Kinect と利用者との距離を，d2 は Kinect とドアとの距離© 2015 Information Processing Society of Japan528

G !GG

G G
NLQHFW㸦D㸧ࢻ࢔↓ࡋഃ㸦E㸧ࢻ࢔᧯సഃ
図 4

ドア無し側ॹॕ५উঞॖॹॕ५উঞॖ

㸦F㸧G!G ࡢሙྜࡢ㔜␚⾲♧㸦G㸧GG ࡢሙྜࡢ㔜␚⾲♧

前後関係を考慮した重畳表示の仕組み

ドア操作側

ドア無し側

(A)d1>d2
ドア操作側の映像が前面に表示されており，ドア操作側の映像への指示が不可能
図 5

ドア操作側

(B)d1<d2
ドア操作側の映像が背面に表示されており，ドア操作側の映像への指示が可能

提案手法による重畳表示映像側への指示」の効果について検証する.
参考文献
[1]

[2]

[3]

[4]

[5]

[6]

Skype
Blogs：Skype の 同 時 接 続 ユ ーザ ー 数 、4000 万 人 を 達 成,入 手 先⟨http://blogs.skype.com/2012/04/13/skype4000/⟩(参照 2014.12.16).
総 務 省：平 成 24 年 度 版 情 報 通 信 白 書, 入 手 先⟨http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h24/html/nc122110.html⟩(参照 2014.12.16).
Marilyn M. Mantei, Ronald M. Baecker, Abigail J.
Sellen, et al.: Experiences in the Use of a MediaSpace.CHI 91,pp.203-208(1991).
Yevgenia Bondareva and Don Bouwhuis: Deter-minantsof Social Presence in Videoconferencing, AVI2004 Workshop on Environments for Personalized Information Access, pp.1-9(2004)
藤田 真吾, 吉野 孝:重畳表示型ビデオチャットにおける枠の 3 次元的な移動と存在の効果, 情報処理学会, インタラクション 2012 論文集,pp.813-818(2012).
吉野 孝, 宮部 真衣:可動枠を用いた部分重畳表示型ビデオ
チャットにおける遠隔地への影響を表現可能な ドアコ
ム 3 の提案, 情報処理学会, インタラクション 2013 論文集,pp.427-430(2013).

© 2015 Information Processing Society of Japan529