情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163B392016/3/4

ドアコム Z：
遠隔空間内の物に対する接触と三次元的な移動が表現可能なビデオチャット
濵上 宏樹1

吉野 孝1

概要：我々はこれまでに可動枠を用いた部分重畳表示型ビデオチャットシステム「ドアコム」を開発してきた．ドアコムは，現実空間に存在する枠を介して遠隔地間を仮想的につなぎ，ユーザが相手の空間内を動き回ることができるようにするシステムである．ドアコムでは，深度センサーを用いて遠隔の空間をつなぐことで，遠隔空間内のを三次元的移動を表現し，「遠隔空間内に隠れる」「遠隔空間内を指差す」という重畳表示ならではの表現を実現した．しかし，このシステムでは遠隔空間内の物に触れることができず，「自身の空間に侵入されている感覚」に関しては，十分な効果を与えられていないことが課題であった．そこで本研究では，ビデオチャットにおいて遠隔空間における物を掴んで三次元的に移動可能な仕組みを提案する．本提案では， 遠隔空間内の接触と三次元的な移動を表現し，「遠隔空間内の物を掴む」「遠隔空間内の物を移動かす」という重畳表示ならではの表現を実現する．また，提案手法を実装したドアコム Z の試作システムを開発し，試作システムを用いて予備実験を行った．予備実験の結果，提案手法により遠隔空間内における接触や移動が表現可能であることが確認できた．

DOACOM-Z:
The Video Chat Which can Express Touch to a Thing in Remote Spaceand 3-D Movement between Remote Spaces
Hiroki Hamaue1

Takashi Yoshino1

Abstract: We have developed a partial overlay-type video chat system “DOACOM” which use a movable
frame. “DOACOM” can connect between remote places virtually through the frame which exists in an actual space. A user can move three-dimensionally in another remote partner’s space in the new system. Thissystem can express three-dimensional movement in the remote space using a depth sensor at both places.
The system can give both expressions “hiding in the remote space” and “pointing in the remote space. ”
However, the system can not touch to a thing in remote space. The conventional system could not enoughgive “the sense into which it is invaded by own space.” We propose that a new video chat which can express
touch to a thing in remote space and 3-D movement between remote spaces. This system can express “holding a thing in remote space”and “moving a thing in remote space.” Moreover, we developed the trial system
of “DOACOM-Z.” We carried out the preliminary experiment using the trial system. As the result of theexperiment shows that it can be expressed “holding a thing in remote space”and “moving a thing in remotespace.”

1. はじめに
近年，Skype などの無料でビデオチャットを行えるツー1

和歌山大学 システム工学部
Faculty of Systems Engineering, Wakayama University,Wakayama-shi, Wakayama 640-8510, Japan© 2016 Information Processing Society of Japan

ルが普及してきている [1]．またその機能が Facebook やGoogle+ といった大規模 SNS に組み込まれたことや，ス924

情報処理学会 インタラクション 2016
IPSJ Interaction 2016163B39
2016/3/4

マートフォン の普及 [2] により，容易にビデオチャットをドア無し側
ドアなし側

ドア操作側
ドアなし側行える環境が整ってきた．従来，メディアスペースによって遠隔地間を対面環境 に近づける試みが多くなされてきた. 大画面のディスプレイで 遠隔地の相手を等身大に表示すること [3] や, ハーフミラーを 用いたシステムでアイコンタクトを可能にすることによって，遠隔地にいる相手の存在感が増すこと [4] がわかっている．我々は，ドア型の専

ドア無し側ユーザ

KinectKinect
ドア操作側ユーザ

ドア用インタフェースを用いて重畳表示を行う，ビデオチャットシステム「ドアコム」を開発してきた [5]．本稿では, 遠隔地間の一方または両方のカメラの映像の一部を，他方のドア・ドア内側の映像，深度データ映像や別の映像に重畳し，互いが同じ映像を見て会話を行うシステムを「重畳表示型ビデオチャット」と呼ぶ． 過去

合成した映像

ドア無し側 PCの実験より，ドアコムはカメラ映像をそのまま相手のディ

ドア操作側 PC図 1 システム構成図

スプレイに表示させるビデオチャットに比べ，存在感および同室感 (遠隔地の対話者と同じ部屋にいる感覚) が向上

ビデオチャットにおいて存在感を向上させるための，し，映像に立体感が生じる傾向が得られている [5]．また，

腕 を 用 い た 様 々 な 手 法 が 提 案 さ れ て い る ．Tang ら の遠隔空間内における三次元移動の表現によりドア操作側へVideoArms[10] では「相手の空間に侵入している感覚」を与えることが分かっの映像を対話相手に表示することにより，対話相手との共ている [6]. しかし，ドア無し側へ「自身の空間へ侵入され有空間を指示することが可能である．大西らの PopArm[11]ている感覚」は十分に与えられていなかった [7]．そこで本では，対話相手の映像から境界面を超えて実体化したかの稿では， 深度センサーを用いて遠隔の空間をつなぐことように見せることにより，存在感を出すシステムである．

で，遠隔空間内の接触と三次元的な移動を表現し，「遠隔空実体化させた腕を用いて対話相手側の空間を指示すること間内の物を掴む」「遠隔空間内の物を動かす」という重畳表が可能である．HANDY System[12] では利用者の手の映示ならではの表現を実現する．

像を対話相手の対話相手の顔の映像と組み合わせること

2. 関連研究共有している作業領域上にある腕で，存在感の向上を行った．これらの研究により，ビデオチャットにおいて腕を対話相手の空間に侵入させる手法は遠隔重畳型ビデオチャットとして森川らの超鏡 [8] があ存在感が向上することが分かっている．しかし，これら手る．超鏡では，相手と自分が鏡の中で同じ場所にいるよう

法では遠隔地の物に対しての指示は可能であるが，遠隔地な表示を行うことにより，存在感を実現するシステムであの物に対する接触や移動に関しては表現できていない．

る．この研究は，ビデオ対話に適した映像であれば，現実にありえない状況でも存在感を実現することが可能であることを示した．超鏡と本システムの類似点としては，重畳

3. ドアコム
3.1 ドアコムの概要型ビデオチャットである点や，対話者同士が同じ映像を見ドアコムは，現実空間に存在する枠を介して遠隔地間をているため WISI-WYS(What I See What You See) を満仮想的につなぎ，ユーザが相手の空間内を平面的に動き回たしている点などがある．相違点としては，超鏡が鏡をメることができるようにするシステムである．

タファとして，遠隔対話者同士が同じ部屋にいるような映本システムはドア操作側とドア無し側で通信を行う．

像を作り出しているのに対し，本システムは遠隔地の空間

図 1 にドアコムのシステム構成を示す．Kinect によりカがドアによって繋がっている点がある．また，それを実現

ラー情報，深度情報，骨格情報を取得し通信を行う．図 2

するために実際のオブジェクトをインタフェースとしていにドアコムの表示映像を示す．ドア操作側ユーザは，ドアる点も異なる．

を顔の前に掲げてドアを開き，その中からディスプレイをビデオチャットにおいてはユーザの位置関係も重要な要覗くようにして会話を行う．各ユーザのディスプレイに素である．実際の部屋と同じような空間を作り出すシステ

は，ドア無し側の部屋の映像にドア操作側のドアとドアのムとして，平田らの t-Room[9] がある．t-Room ではユー内側が重畳表示される．これにより，ドアの操作側とドアザが同じ部屋にいるような感覚として同室感を定義してい無し側の空間がドアによって繋がっているような映像となる．ユーザの位置関係を考慮して，実対面しているようなる. 図 3 に，ドアコムのインタフェースを示す．ドアコム

協調コミュニケーション環境を実現し，同室感を高めるこは，他人の部屋に入るために使用する「ドア」をメタファとを目標にしている．とした.

© 2016 Information Processing Society of Japan925

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163B392016/3/4.LQHFWG

接触判定領域G

接触判定領域\\㸦E㸧⿕౵ධഃ㸦D㸧౵ධഃ
図 4

接触判定

接触部分は青色に表示

図 2

ドアコム表示映像

開閉部
侵入側の右手図 5

接触表現

内の物に対する接触と三次元的な移動が可能になった重畳表示型ビデオチャットをドアコム Z と呼ぶ．ドアコム Z では，Kinect により取得可能な深度情報と骨格情報を用いる
ことにより，従来のドアコムでは実現できていなかった，「遠隔空間内の物を掴む」「遠隔空間内の物を動かす」とい背面

前面
図 3

ドアコムのインタフェース

う表現を実現する．図 4 に提案手法による接触判定の仕組みを示す．図 4 の d1 は Kinect と侵入側利用者の右手との距離，y1 は右手の位置を表している．Kinect から侵入側

4. 提案手法
4.1 従来のドアコムにおける課題

ユーザの骨格情報を取得し，右手の二次元座標を得る．右手の二次元座標を基準に二次元的な接触判定領域を定める．

Kinect から侵入側ユーザの右手の深度情報を取得する．右これまでに開発してきたドアコムにおいては，前述した手の深度情報と二次元的な接触判定領域を用いて，三次元ように「ドア」を用いて遠隔地間を仮想的に接続し，ドア的な接触判定領域を作成する (図 4(a))．三次元的な接触判を用いた, ドア枠から手を出すなどのジェスチャが可能と定領域を被侵入側に送信する．被侵入側にて，三次元的ななっている．また，Kinect により取得可能な深度情報を用

接触判定領域にある映像を接触したと判定する (図 4(b))．

いて，ユーザや周辺物体の前後関係や前後への移動を認識

図 4(b) では被侵入側ユーザが持っているボールが三次元し，前後関係を考慮した重畳表示を行うことにより，遠隔的な接触判定領域内にあり，接触していると判定される．

地における三次元的な移動の表現が可能となっている．こ

深度情報を用いて接触判定を行うことで，遠隔空間内のモのシステムにより，「相手の空間に侵入している感覚」や，ノを映像から背景と区別して判定することができる．

「自身の空間へ侵入されている感覚」はある程度確認できているものの，得られている効果は未だ十分とは言えない．

4.3 遠隔空間内の動かす表現手法

4.2 遠隔空間内の接触表現手法

骨格情報と深度情報，カラー画像を用いる.

遠隔空間内の動かす表現には，Kinect により取得可能な
従来のドアコムでは，ドア枠から手を出すことで遠隔空（1）掴み表現間内の指差しが可能であった．しかし，実際に空間に侵入遠隔空間内のモノが接触している状態が図 6(a) であしているのであれば，指差しだけでなく，その空間にあるる．接触している部分は青く表示されている．Kinect

モノに対する接触と移動を行うことが可能である．そこでからユーザの骨格情報を取得し，右手の状態を判定す

本稿では， 遠隔空間内の物に対する接触と三次元的な移動る．右手が閉じている状態のときは接触状態にあるモ可能な手法を提案する．また，提案手法を用いて遠隔空間ノを掴んでいると判定する．掴んでいる状態では，掴© 2016 Information Processing Society of Japan926

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

接触していた領域を複製

163B392016/3/4

接触判定領域.LQHFW

৐ਤ৏୐D ෶োડभ୎৿

侵入側の右手図 6

掴み表現

んだ時のモノの映像を複製し保持する (図 6(b))．遠隔
地内のモノが移動し接触状態では無くなっても，掴んでいる間は複製された映像は保持されたままである．
右手が開いている状態のときは接触していても掴んでいないと判定する．掴んでいる状態から右手を開く

E ৐ਤৎभ਀ં಩൸

F ৐ਤৎभ਀ં಩൸と，保持していた映像は消える．
（2）

図 7

上下左右移動表現

前後移動表現

Kinect からユーザの骨格情報を取得し，右手の座標を取得する．掴んだ時の位置から右手が移動した分，保持されている映像を平面的に移動させる．これにより，遠隔空間内の掴んだモノの上下左右移動表現が可能である．
（3）

前後移動表現

図 7 に提案手法による前後移動表現の仕組みを示す．

Kinect からユーザの骨格情報と深度情報を取得し，右(a)回転前手の深度情報を取得する．モノを掴んだ状態で Kinect(b)回転後
図 8に対して前後に移動したとき，変化した右手の深度情報回転表現

により保持した映像の拡大縮小を行なう．拡大縮小の従来のドアコムでは不可能だった「遠隔空間内の物を掴

倍率は深度情報の変化量により求める．Kinect に対しむ」「遠隔空間内の動かす」といった表現が，本提案手法にて前進すると Kinect からの距離が近くなる (図 7(a))．

より可能となる．

前進したことにより深度情報が変化し，保持された映像は拡大される (図 7(b))．Kinect に対して後退すると Kinect からの距離が遠くなる (図 7(a))．後退したことにより深度情報が変化し，保持された映像は縮小

5. 予備実験
5.1 実験概要
提案手法により，遠隔空間内における接触や移動が表現される (図 7(c))．これにより，遠隔空間内の掴んだモできているか，ドアコム Z の試作システムを用いて予備実ノの前後移動表現が可能である．

験を行った．ドアコム Z の試作システムでは，以下の操作

（4）

回転表現

Kinect から被侵入側の深度情報，カラー画像と侵入側ユーザの骨格情報を取得する．被侵入側の掴みにより保持されている映像のカラー画像と深度情報を組み合わせて三次元画像情報とする．侵入側ユーザの骨格情報から右手首の角度を取得する．右手首の角度に応じて三次元画像を回転させる．回転させた三次元画像を Kinect を正面とした二次元画像に変換し，画面に表示する．回転前の映像が図 8(a)．回転後の映像が図 8(b) である．これにより，遠隔空間内の掴んだモノの回転表現が可能である．

© 2016 Information Processing Society of Japanが可能である．
（1）

接触表現：遠隔空間内において接触判定領域内にある物を青く表示する（2）

掴み表現：手が閉じているとき，接触している映像を保持する（3）

上下左右移動表現：掴み状態で手を上下左右に移動させると，保持した映像も同様に移動する（4）

前後移動表現：掴み状態で手を前後に移動させると，保持した映像が拡大縮小する（5）

回転表現：掴み状態のとき，保持した映像を回転させ表示する

927

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163B392016/3/4

表 1

アンケートの結果 (5 段階評価)
評価の分布質問項目

12345中央値

最頻値(1)

遠隔空間内の物に接触しているように感じた．

0114444, 5(2)遠隔空間内の物に掴んでいるように感じた．

000554.54, 5(3)遠隔空間内の物を上下左右に動かしているように感じた．

0113545(4)遠隔空間内の物を前後に動かしているように感じた．

001454.55(5) 遠隔空間内の物が回転しているように感じた．
0 1 1 6 2
・評価項目 (1: 強く同意しない，2: 同意しない，3: どちらともいえない，4: 同意する，5: 強く同意する)

445.2 実験手順
本実験ではドアコム Z の試作システムを用いて，遠隔空意見も得られた．操作性の改善が必要である．
（4）

前後移動表現間内にある物の受け渡しを行った．実験協力者は和歌山大

遠隔空間内の物を前後に動かしている感覚について質学の学生 10 名である．実験協力者は侵入側に立ちシステ

問した結果 (表 1(4))，「同意する」という回答が得ら

ムの操作方法の説明を受け，以下のタスクを行った．

れた．自由記述では「大きさが変化したから」「画像（1） 遠隔空間内にある指定された物に右手を接触させるが拡大縮小したため」という意見が得られ，手の前後（2）接触した物を掴む（3）

掴んだ物を上下左右に移動させる（4）

掴んだ物を前後に移動させる（5）

掴んだ物を回転した映像を見る

実験後アンケートを行った．

移動により保持した映像が拡大縮小することで前後移動を表現できることが分かった．
（5）

回転表現

遠隔空間内の物が回転している感覚について質問した
結果 (表 1(5))，
「同意する」という回答が得られた．自由記述では「回転して見えた」「回転により厚みが感

5.3 実験結果と考察
表 1 にアンケート結果を示す．アンケートは 5 段階評価と記述式を用いた．
（1）

接触表現じられた」という意見が得られ，保持した映像を回転させ表示することでを表現できることが分かった．しかし，回転表現における背面の表示について「後ろ側が反転だけだった」や「少し違和感があった」という遠隔空間内の物に接触について質問した結果 (表 1(1))，

意見も得られた．Kinect による一方向からの情報取得「同意する」という回答が得られ，遠隔空間内においでは背面の情報は取得できないため，違和感ない表示て接触判定領域内にある物を青く表示することにより方法を検討する必要がある．

接触を表現できることが分かった．しかし，「触ってシステムに対する自由記述では「掴めることが面白い」いるという感覚が視覚だけで感じにくかった」というや「相手側のに介入できる要素があって面白い」と提案手意見も見られた．より接触感を与えられる表現を検討

法による表現を支持する意見が得られた．

する必要がある．
（2）

掴み表現

6. おわりに遠隔空間内の物を掴んでいる感覚について質問した結本研究では「自身の空間に侵入されている感覚」や「相果 (表 1(2))，「同意する」という回答が得られた．自手の空間へ侵入している感覚」を与えることが可能なビデ由記述では「普段の掴む動作と同じ動きでできたから」オチャットの実現を目指し，遠隔空間内の三次元的な接触という意見が得られ，手が閉じているときに接触して移動表現手法を提案した．提案する表現手法は以下の 2 点いる映像を保持する表示により掴みを表現できることにまとめられる．

が分かった．

( 1 ) 遠隔話者やその空間の物体の接触を，Kinect で取得可

（3）

上下左右移動表現

能な骨格情報と深度情報から判定

遠隔空間内の物を上下左右に動かしている感覚につい( 2 ) 接触したモノを掴み，三次元的に移動させることによて質問した結果 (表 1(3))，
「同意する」という回答がり，ビデオチャットでは難しかった双方向のインタラ得られた．自由記述では「手の移動に物が正しく追従クション手法を実現していたから」「思い通りに動いたから」という意見

また，提案手法を用いたドアコム Z の試作システムを開が得られ，手の上下左右移動により保持した映像も同発し予備実験を行った．実験の結果，提案手法により遠隔様に移動することで上下左右移動が表現できることが空間内における接触や移動が表現可能であることが確認で分かった．しかし，「動かすのか難しかった」というきた．アンケートの回答から，回転表示における遠隔空間© 2016 Information Processing Society of Japan928

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163B392016/3/4

内の物の背面の表示についての問題点が明らかになった．
今後，問題点の改善を行い，提案手法により可能となる「遠隔空間内の物を掴む」「遠隔空間内の動かす」の効果について検証する．
参考文献
[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]
[9]

[10]

[11]

[12]

Skype Blogs：Skype の同時接続ユーザー数、4000 万人を達成, http://blogs.skype.com/2012/04/13/skype4000/ (参照 2015.1.9).
総 務 省：平 成 24 年 度 版
情 報 通 信 白 書,
http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h24/html/nc122110.html(参照 2015.1.9).
Marilyn M. Mantel, Ronald M. Baecker, Abigail J.
Sellen, et al. : Experiences in the Use of a MediaSpace,CHI ’99, pp.203-208(1991).
Yevgenia Bondareva and Don Bouwhuis: Deter-minantsof Social Presence in Videoconferencing, AVI2004 Workshop on Environments for Personalized Information Access, pp.1-9(2004).
藤田 真吾, 吉野 孝 ：重畳表示型ビデオチャットにおける枠の 3 次元的な移動と存在の効果, 情報処理学会, インタ
ラクション 2012 論文集, pp.813-818(2012).
濵上 宏樹, 宮部 真衣, 吉野 ：部分重畳表示型ビデオチャッ
トにおける三次元インタラクション手法の提案, 情報処理学会第 77 回全国大会, 1ZA-03, 第 4 分冊, pp.199-200(2015).
濵上 宏樹, 宮部 真衣, 吉野 孝 ：部分重畳型ビデオチャッ
トにおける被侵入感の検証，情報処理学会，関西支部大会，G-11，pp.1-2 (2015)．
森川 治, 前迫孝徳 :「超鏡」: 自己像を表示するビデオ対話方式, 情報処理学会 HI 研究会, Vol.725, pp.25-30 (1997).
Kenji Hirata, Yasunori Harada,Takehiro Ohno, et al. :t-Room: Telecollaborative Room for Everyday Interaction, 情報処理学会第 66 回全国大会, 4B-3, pp.4.97-4.98(2004).
Anthony Tang, Carman Neustaedter, Saul Greenberg:VideoArms: Embodiments for Mixed Presence Groupware, Proc. of BCS HCI 2006, pp.85-102(2006).
大西 裕也, 田中 一晶, 中西 英之 ：PopArm: 身体映像の部
分実体化によるソーシャルテレプレゼンスの強化, 情報処理学会, インタラクション 2015 論文集, pp.38-46(2015).
Igor de Souza Almeida, Marina Atsumi Oikawa, Jordi
Polo Carres, Jun Miyazaki, Hirokazu Kato ： AR-based
video-mediated communication : A social presence enhancing experience, SVR2012, pp.125-130(2012).

© 2016 Information Processing Society of Japan929