(57)【要約】【課題】異なる空間にいる対話相手の存在感を同一空間内に再現する。【解決手段】映像取得部１０は、人物と共有オブジェクトとが含まれる映像を取得する。動作情報取得部１２は、人物の動作を追跡した動作情報を取得する。映像再生部１４は、他の空間にいる人物を対話相手として、他の空間の空間合成装置が取得した映像から対話相手の映像を抽出し、対話相手の映像を映像取得部１０が取得した映像に合成して再生する。動作再現部は１６、対話相手の動作情報に基づいて共有オブジェクトを動作させて対話相手の動作を再現する。【選択図】図３
2015154430.tif 000002
【特許請求の範囲】
【請求項１】
複数の空間それぞれに少なくとも一人の人物と少なくとも一つの共有オブジェクトとが存在し、上記複数の空間それぞれに設置された空間合成装置を含む空間合成システムであって、
上記空間合成装置は、
上記人物と上記共有オブジェクトとが含まれる映像を取得する映像取得部と、
上記人物の動作を追跡した動作情報を取得する動作情報取得部と、
他の空間にいる人物を対話相手として、他の空間の空間合成装置が取得した映像から上記対話相手の映像を抽出し、上記対話相手の映像を上記映像取得部が取得した映像に合成して再生する映像再生部と、
上記対話相手の動作情報に基づいて上記共有オブジェクトを動作させて上記対話相手の動作を再現する動作再現部と、
を含む空間合成システム。
【請求項２】
請求項１に記載の空間合成システムであって、
上記空間合成装置は、
上記共有オブジェクトを複数の部分に分割し、上記人物が存在する部分から他の部分が視覚的に認識できないようにする遮蔽部をさらに含む
空間合成システム。
【請求項３】
請求項２に記載の空間合成システムであって、
上記共有オブジェクトは二人が着席可能な長椅子であり、上記長椅子の中央に設置された衝立により空間が視覚的に分断されており、上記人物は上記衝立により分割された二つの空間のうち一方の空間において上記長椅子に着席しており、
上記映像再生部は、上記対話相手が上記長椅子の他方の空間に着席しているように上記映像を合成するものであり、
上記動作再現部は、上記長椅子の少なくとも一つの脚を、上記対話相手の動作情報に基づいて振動させるものである
空間合成システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、異なる空間にいる対話相手の存在感を同一空間内に再現する空間合成技術に関する。
【背景技術】
【０００２】
遠隔地にいる対話者間で相互に映像を提示するビデオチャットでは、音声のみで会話する場合（例えば、電話やボイスチャット）よりも対話相手の存在を身近に感じることができる。ビデオチャットにおいて、対話相手の存在感をより強化する方法が多く研究されている。例えば、対話相手が目の前にいるかのように映像を提示する方法が挙げられる。具体的には、大型のディスプレイで相手の姿を等身大で提示する方法、アイコンタクトが成立するようにカメラとディスプレイの位置関係を決定する方法、などである。
【０００３】
これに対して、対話相手の身体のみをクロマキー合成で切り抜き、ユーザの映像の隣に合成して提示する方法も提案されている（非特許文献１参照）。非特許文献１に記載の方法は、ユーザの目の前のディスプレイを鏡に見立て、あたかもユーザの隣に対話相手がいるかのように見せるものである。以下、非特許文献１に記載の方法を実装したシステムを、ミラーシステムと呼ぶ。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Osamu Morikawa, Takanori Maesako, “HyperMirror: Toward Pleasant-to-use Video Mediated Communication System”, CSCW '98, 149-158, 1998.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の方法は、視覚的に対話相手の存在を感じさせる方法であるため、ユーザはその他の感覚で相手の存在を感じることはできない。
【０００６】
この発明の目的は、ビデオチャットによるコミュニケーションにおいて、異なる空間にいる対話相手の存在感を同一空間内に再現することができる空間合成技術を提供することである。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、この発明の空間合成システムは、複数の空間それぞれに少なくとも一人の人物と共有オブジェクトとが存在し、複数の空間それぞれに設置された空間合成装置を含む。空間合成装置は、人物と共有オブジェクトとが含まれる映像を取得する映像取得部と、人物の動作を追跡した動作情報を取得する動作情報取得部と、他の空間にいる人物を対話相手として、他の空間の空間合成装置が取得した映像から対話相手の映像を抽出し、対話相手の映像を映像取得部が取得した映像に合成して再生する映像再生部と、対話相手の動作情報に基づいて共有オブジェクトを動作させて対話相手の動作を再現する動作再現部と、を含む。
【発明の効果】
【０００８】
この発明によれば、異なる空間にいる対話相手の存在感を同一空間内に再現することができるため、対話相手の動作を把握することが容易になる。したがって、コミュニケーションを円滑にすることができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、空間合成システムの使用方法の例を説明するための図である。
【図２】図２は、空間合成システムの機能構成を例示する図である。
【図３】図３は、空間合成装置の機能構成を例示する図である。
【図４】図４は、共有オブジェクトの機能構成を例示する図である。
【図５】図５は、共有オブジェクトを長椅子とした例を説明するための図である。
【図６】図６は、空間合成システムの処理フローを例示する図である。
【発明を実施するための形態】
【００１０】
この発明の空間合成技術では、ユーザの映像の隣に対話相手の身体を合成し、鏡のように映像を提示する非特許文献１に記載のミラーシステムにおいて、触覚や視覚、聴覚などの他の感覚を通じて対話相手の存在感を提示するシステムを追加する。対話相手の存在感を提示する機能を備えた物体（以下、共有オブジェクトと呼ぶ）は、ユーザと対話相手の合成映像の間に設置されており、対話相手の合成映像の動きに合わせて動作する。つまり、ユーザはこの共有オブジェクトの動作を通して対話相手の身体動作を感じることができる。従来のミラーシステムと比較し、対話相手の映像だけでなくその他の感覚を通じて対話相手が隣にいる感覚を再現できることが、この発明の革新的な点である。
【００１１】
図１を参照して、この発明の空間合成システムの使用方法の例を説明する。ユーザ６1の正面に大型のディスプレイ５とカメラ３を設置し、ディスプレイ５にカメラ３で撮影した映像を表示する。映像の位置と大きさは、ディスプレイ５の場所に設置した鏡に映る像と同じになるように調整されている。映像内のユーザ６’1の隣には、遠隔地の対話相手６2の身体のみの映像６’2をクロマキー合成等の映像合成技術を用いて重ね合わせる。対話相手６2の合成映像に対応する位置とユーザ６1の位置との間には遮蔽部７を設置する。遮蔽部７で隔てられた二つの空間は、それぞれユーザ６1側の空間８1、対話相手６2側の空間８2を示している。空間８1にいるユーザ６1は遮蔽部７によって対話相手側の空間８2を直接見ることはできない。
【００１２】
二つの空間８1、８2を繋ぐように共有オブジェクト２を設置する。共有オブジェクト２はアクチュエータ等の駆動機構によって対話相手６2の身体動作に合わせて動作するものである。ユーザ６1は共有オブジェクト２を通して対話相手６2の身体動作を触覚的に感じることができる。対話相手６2の身体動作は、遠隔地に設置された対話相手６2側の空間合成装置（図示せず）がモーショントラッキング技術やセンサ技術によって取得し、一般的な通信技術によって、対話相手６2の映像６’2と共にユーザ６1側の空間合成装置（図示せず）に伝達する。ユーザ６1側の空間合成装置では、映像の合成と共有オブジェクト２の制御を行う。
【００１３】
図１の例では、共有オブジェクト２は二人掛けの長椅子であり、長椅子の中央に遮蔽部７を設置することで、一方の端に座るユーザ６1から他方の端を見ることができないようにしている。共有オブジェクト２の他の例は、一本の手すりである。手すりの中央に遮蔽部７を設置し、一方の端によりかかるユーザ６1から他方の端が見えないようにしておき、対話相手６2の身体動作に合わせて手すりに振動を与えるようにすることもできる。
【００１４】
共有オブジェクト２は触覚のみならず、視覚や聴覚を通じて対話相手の存在感を提示するように構成することができる。例えば、共有オブジェクト２が長椅子であるとして、ユーザが長椅子の脇に立っている場合、もしくは、共有オブジェクト２が手すりであるとして、ユーザが手すりの前に立っている場合、長椅子の座面もしくは手すりを振動させることで、ユーザが共有オブジェクトに触れていなくとも、視覚もしくは聴覚を通じて対話相手の身体動作を感じることができる。
【００１５】
図１の例では、遮蔽部７は不透明な素材で作成された衝立である。衝立は、対話相手側の空間８2にある共有オブジェクト２の動作がユーザ６1から見えなくするための一例である。遮蔽部７はユーザ側の空間８1から対話相手側の空間８2が完全に見えなくなっていなくともよく、例えば、すりガラス等の半透明の素材で衝立を作成し、対話相手側の空間８2の詳細な状態がわからないようになっていればよい。このとき、対話相手６2の代わりにマネキン人形などを置いておき、すりガラス越しに人影が見えるようにすることで、ユーザの錯覚を助長することができる。また、マネキン人形の代わりに対話相手の身体動作に同期して動くアンドロイドなどを置くことで、さらに効果的にユーザの錯覚を助長することができる。
【００１６】
図１の例では、ユーザ６1と対話相手６2は一人ずつであり、共有オブジェクト２は二人掛けの長椅子であったが、ユーザ６1と対話相手６2はそれぞれ一人でなくともよい。例えば、ユーザ６1が二人おり共有オブジェクト２を三人掛けの長椅子として、両端にユーザ６1が座り、長椅子の中央に振動を与えることでユーザ６1の間に座る対話相手６2の動作を再現してもよい。
【００１７】
［実施形態］
以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００１８】
図２を参照して、実施形態に係る空間合成システムの構成例を説明する。空間合成システムは、n（≧2）個の空間にそれぞれ設置されたn台の空間合成装置１1,…,１nを含む。i（i=1,…,n）番目の空間８iには、少なくとも一人の人物６iと共有オブジェクト２iが存在する。以降の説明では、i番目の空間８iに存在する人物６iをユーザと呼び、j（j=1,…,n、i≠j）番目の空間８jに存在する人物６jを対話相手と呼ぶ。対話相手とは特定の一人ではなく、その他の空間にいるn-1人の人物それぞれを指しているものとする。人物６iは共有オブジェクト２iと少なくとも一点で接触している。
【００１９】
空間合成装置１1,…,１nはそれぞれ通信網９に接続される。通信網９は、各空間合成装置１1,…,１nが相互に通信可能なように構成されていればよく、例えば、アナログもしくはデジタルの公衆電話網もしくは構内電話網などの回線交換方式の通信網、又はインターネットやＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などのパケット交換方式の通信網で構成することができる。
【００２０】
図３を参照して、空間合成装置１の構成例を説明する。空間合成装置１は、映像取得部１０、動作情報取得部１２、映像再生部１４、動作再現部１６、共有オブジェクト２、カメラ３、センサ４及びディスプレイ５を含む。空間合成装置１は、例えば、中央演算処理装置（Central Processing Unit、ＣＰＵ）、主記憶装置（Random Access Memory、ＲＡＭ）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。空間合成装置１は、例えば、中央演算処理装置の制御のもとで各処理を実行する。空間合成装置１に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて読み出されて他の処理に利用される。
【００２１】
カメラ３は、例えば、被写体とする人間や物体の映像を撮影するビデオカメラである。例えば、撮影可能な解像度や映像の記録媒体、マイクロフォンの有無、デジタルアナログの別など、カメラ３の備えるべき機能には制限はなく、一般的に動画が撮影可能なビデオカメラであれば任意のものを利用することができる。
【００２２】
センサ４は、例えば、対象物の三次元座標を逐次的に収集するモーションキャプチャセンサである。センサ４により映像の被写体の三次元座標を収集することで、被写体の位置とその位置の変化を取得することができる。センサ４として利用できるモーションキャプチャセンサは、例えば、「日本マイクロソフト株式会社、“Xbox 360 - Kinect”、[online]、[平成26年1月27日検索]、インターネット<URL：http://www.xbox.com/ja-JP/kinect>（参考文献１）」に記載されている。
【００２３】
カメラ３及びセンサ４は、図３に示すように、空間合成装置１に接続される外部の周辺機器であってもよいし、空間合成装置１の筺体内に内蔵されていてもよい。また、カメラ３とセンサ４は、図３に示すように、別個の機器として構成してもよいし、カメラ３とセンサ４を一つの筺体内に組み込んだ一つの機器として構成してもよい。
【００２４】
ディスプレイ５は、例えば、空間合成装置１のカメラ３で撮影した映像を再生する画面を有する大型液晶ディスプレイである。ディスプレイ５は、図３に示すように、空間合成装置１に接続される外部の周辺機器であってもよいし、空間合成装置１の一平面に組み込まれていてもよい。例えば、表示可能な解像度やスピーカーの有無、デジタルアナログの別など、ディスプレイ５の備えるべき機能には制限はなく、カメラ３で撮影された映像が再生可能なディスプレイであれば任意のものを利用することができる。
【００２５】
図４を参照して、共有オブジェクト２の構成例を説明する。共有オブジェクト２は、例えば、アクチュエータ２０、モータドライバ２２、IOボード２４、電源２６を含む。アクチュエータ２０はモータドライバ２２を介してIOボード２４へ接続される。IOボード２４は空間合成装置１の動作再現部１６へ接続される。電源２６は、モータドライバ２２へ接続され、電力を供給する。IOボード２４は、シリアル通信により動作再現部１６から入力される制御信号に基づいて、モータドライバ２２を操作する。モータドライバ２２は、IOボード２４からの制御信号に基づいて、アクチュエータ２０へ入力する電圧や電流を制御する。アクチュエータ２０は、モータドライバ２２の制御の下で、共有オブジェクト２の動作を制御する。
【００２６】
図５を参照して、共有オブジェクト２を長椅子として実装した場合を例として、具体的な構成例を説明する。長椅子では、隣に人が座ったときや隣の人が足を組み替えたとき、貧乏揺すりをしたときなどに、長椅子が振動することで隣の人の身体動作を感じることができる。この長椅子の振動を共有オブジェクトで再現する。
【００２７】
長椅子として実装された共有オブジェクト２は、座面２１及び四本以上の脚２３を含み、少なくとも一本の脚２３には磁性体２５、弾性体２７及び電磁石２９が組み込まれている。電磁石２９に電流を流すと磁力が発生し、磁性体２５が電磁石２９の方向へ引っ張られる結果、長椅子の座面２１が脚２３の方へ傾斜する。例えば、合成映像中の対話相手６jが座る動作をしたとき、電磁石２９への電源をONにすることで、ユーザ６iはあたかも隣に対話相手６jが座ったかのように感じられる。また、対話相手６jが貧乏ゆすりをした際には、電磁石２９への電源をONとOFFを周期的に繰り返すことで座面２１が小刻みに振動することになる結果、ユーザ６iはあたかも隣に座っている人が貧乏ゆすりをしているように感じられる。
【００２８】
図６を参照しながら、実施形態に係る空間合成システムが実行する空間合成方法の処理フローの一例を、手続きの順に従って説明する。
【００２９】
以下の説明では、i番目の空間８iに存在する人物６iをユーザとし、j番目の空間８jに存在する人物６jを対話相手とし、空間８iに設置された空間合成装置１iの動作を中心として説明する。対話相手の存在する空間８jは一つの空間とは限らず、複数の空間であってもよい。複数の空間に対話相手がいる場合であっても、他の空間８jに設置された空間合成装置８jの動作はいずれも同様である。
【００３０】
ステップＳ１０iにおいて、空間合成装置１iの映像取得部１０iは、空間合成装置１iのカメラ３iを用いて、空間８iに存在するユーザ６iと共有オブジェクト２iとが含まれる映像を取得する。取得した映像は、映像再生部１４へ入力される。
【００３１】
ステップＳ１０jにおいて、空間合成装置１jの映像取得部１０jは、空間合成装置１jのカメラ３jを用いて、空間８jに存在する対話相手６jと共有オブジェクト２jとが含まれる映像を取得する。取得した映像は、空間合成装置１iへ、通信網９を介して送信される。
【００３２】
ステップＳ１２jにおいて、空間合成装置１jの動作情報取得部１２jは、空間合成装置１jのセンサ４jを用いて、対話相手６jの動作を追跡した動作情報を取得する。取得した動作情報は、空間合成装置１iへ、通信網９を介して送信される。撮影した映像は送信に際して、転送効率を高めるために適切なデータフォーマットで符号化し圧縮しても構わない。
【００３３】
ステップＳ１４iにおいて、空間合成装置１iの映像再生部１４iは、空間合成装置１jが取得した映像から対話相手６jの映像を抽出する。続いて、対話相手６jの映像を映像取得部１０iが取得した映像中に合成して、合成された映像をディスプレイ５iへ再生する。
【００３４】
ステップＳ１６iにおいて、空間合成装置１iの動作再現部１６は、対話相手６jの動作情報に基づいて共有オブジェクト２iを動作させて対話相手６jの動作を再現する。
【００３５】
従来のミラーシステムは、対話相手が隣にいる感覚を視覚的に再現するものであった。しかし、隣を見てしまうと対話相手がそこに存在しないことは明確であり、物理的に相手の存在を感じることはできなかった。これに対し、この発明の空間合成システムは、衝立によって遮られた隣の空間に対話相手がいる感覚を再現するものであり、二つの空間を繋ぐ共有オブジェクトによって、視覚だけでなく触覚でも対話相手の存在を感じることができる。
【００３６】
この発明の空間合成技術は、遠隔地の対話相手の存在をユーザ側の空間に合成し、相手の存在をより身近に感じさせるものである。この発明を用いた遠隔コミュニケーションにより対面環境でのコミュニケーションを代替することによって、移動にかかるコストやエネルギーを削減することができる。
【００３７】
この発明は上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。上記実施形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
【００３８】
［プログラム、記録媒体］
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【００３９】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００４０】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００４１】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００４２】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【符号の説明】
【００４３】
１  空間合成装置
２  共有オブジェクト（長椅子）
３  カメラ
４  センサ
５  ディスプレイ
６  人物
７  遮蔽部（衝立）
８  空間
９  通信網
１０  映像取得部
１２  動作情報取得部
１４  映像再生部
１６  動作再現部
【図１】
2015154430.tif 000003
【図２】
2015154430.tif 000004
【図３】
2015154430.tif 000005
【図４】
2015154430.tif 000006
【図５】
2015154430.tif 000007
【図６】
2015154430.tif 000008