(57)【特許請求の範囲】
【請求項１】
送信装置及び受信装置を含む映像実体化システムであって、
上記送信装置は、
少なくとも一つの被写体及び上記被写体と連続して視認可能な少なくとも一つの実体化対象を含む映像を撮影する映像取得部と、
少なくとも上記映像における上記実体化対象と上記被写体との接点の位置の変化を含む動作情報を取得する実体情報取得部と、
を含み、
上記受信装置は、
上記実体化対象を実体化したオブジェクトと、
上記映像から上記実体化対象を消去して画面に再生する映像再生部と、
上記動作情報に基づいて、上記オブジェクトと上記映像中の被写体とが連続して視認可能となるように上記オブジェクトの位置を制御する実体再現部と、
を含む映像実体化システム。
【請求項２】
請求項１に記載の映像実体化システムであって、
上記実体再現部は、上記オブジェクトにおける接点の位置と、上記画面に再生される上記映像中の被写体における接点の位置とが一致するように上記オブジェクトの位置を制御するものである
映像実体化システム。
【請求項３】
請求項１又は２に記載の映像実体化システムであって、
上記実体再現部は、上記映像中の被写体の動作に追随して、上記オブジェクトが上記被写体の一部に見えるように上記オブジェクトの位置を制御するものである
映像実体化システム。
【請求項４】
請求項１から３のいずれかに記載の映像実体化システムであって、
上記実体再現部は、上記映像中の被写体の動作に応じて、上記オブジェクトの大きさを変化させるものである
映像実体化システム。
【請求項５】
請求項１から４のいずれかに記載の映像実体化システムであって、
上記被写体は、一人の人間の少なくとも片方の腕を含む部分であり、
上記実体化対象は、上記片方の腕の肘から先の部分であり、
上記接点は、上記肘であり、
上記実体再現部は、上記片方の腕の肘から先の動きを再現するように上記オブジェクトの位置を制御するものである
映像実体化システム。
【請求項６】
請求項１から４のいずれかに記載の映像実体化システムであって、
上記被写体は、手に物体を握る一人の人間の少なくとも上記物体を握る手を含む部分であり、
上記実体化対象は、上記物体であり、
上記接点は、上記物体を握る手であり、
上記実体再現部は、上記物体が上記手に握られて動いているように上記オブジェクトの位置を制御するものである
映像実体化システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、映像上の物体の一部を実体化する映像実体化技術に関する。
【背景技術】
【０００２】
通信技術の向上によって、ビデオ会議やテレビ電話のようなビデオチャットを用いて、遠隔地にいる人間が映像と音声により相互にコミュニケーションを取ることが可能となっている。遠隔地間で作業テーブル上の状態を共有するビデオチャット技術として、例えば、非特許文献１に記載された技術が挙げられる。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】山下直美、梶克彦、葛岡英明、平田圭二、青柳滋巳、”遠隔ユーザのジェスチャの可視性を向上させる手法の提案と評価”、情報処理学会論文誌、Vol. 52、No. 1、pp. 97-108、2011年1月
【発明の概要】
【発明が解決しようとする課題】
【０００４】
非特許文献１に記載されたような従来のビデオチャット技術では、ビデオ映像を用いて遠隔地の人間や物体の動きを伝達することができる。しかしながら、従来のビデオチャット技術では、映像内の人間や物体の動きを三次元的に眺めることや、それらに触れることはできない。３Ｄディスプレイ等の立体視技術を用いれば、ある程度、遠隔地の物体を三次元的に眺めることはできるが、依然としてそれに触れることはできない。映像内の人間や物体の動きを実体化すれば、それらの状態をより正確に把握することができ、コミュニケーションを円滑化することが期待できる。
【０００５】
この発明の目的は、ビデオチャットによるコミュニケーションにおいて、映像中の人物や物体を実体化することでコミュニケーションを円滑にすることである。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、この発明の映像実体化システムは、送信装置と受信装置を含む。送信装置は、少なくとも一つの被写体及び被写体と連続して視認可能な少なくとも一つの実体化対象を含む映像を撮影する映像取得部と、少なくとも映像における実体化対象と被写体との接点の位置の変化を含む動作情報を取得する実体情報取得部と、を含む。受信装置は、実体化対象を実体化したオブジェクトと、映像から実体化対象を消去して画面に再生する映像再生部と、動作情報に基づいて、オブジェクトと映像中の被写体とが連続して視認可能となるようにオブジェクトの位置を制御する実体再現部と、を含む。
【発明の効果】
【０００７】
この発明の映像実体化技術によれば、映像上の人物や物体の一部を実体化することができるため、遠隔地の人間や物体の動きを把握することが容易になる。したがって、コミュニケーションを円滑にすることができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、映像実体化システムの機能構成を例示する図である。
【図２】図２は、映像実体化方法の処理フローを例示する図である。
【図３】図３は、実体再現部の具体的な構成例を説明するための図である。
【図４】図４は、実体再現部の具体的な構成例を説明するための図である。
【図５】図５は、実体再現部の具体的な構成例を説明するための図である。
【発明を実施するための形態】
【０００９】
この発明の映像実体化技術は、ロボット技術、モーショントラッキング技術、映像合成技術を用いて、映像上の人間や物体の一部を物理的な実体に置き換えて画面から飛び出させ、映像に合わせて画面上を動くことを可能にするものである。
【００１０】
この発明の実施形態に係る映像実体化システムは、ロボットアーム、位置決め機構、モーショントラッキング装置及びソフト、映像合成ソフト、ビデオ会議端末によって構成される。映像実体化システムは、映像内の人間や物体の一部をロボット等で実体化して映像から飛び出させ、モーショントラッキング技術及び映像合成技術によって、映像内の人間や物体の動きに合わせて実体化したオブジェクトを動作させる。
【００１１】
以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００１２】
図１を参照して、実施形態に係る映像実体化システムの構成例を説明する。映像実体化システムは送信装置１及び受信装置２を含む。送信装置１及び受信装置２は通信網９に接続される。通信網９は、送信装置１と受信装置２とが相互に通信可能なように構成されていればよく、例えば、アナログもしくはデジタルの公衆電話網もしくは構内電話網などの回線交換方式の通信網、又はインターネットやＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などのパケット交換方式の通信網で構成することができる。
【００１３】
送信装置１は、映像取得部１０、実体情報取得部１２、カメラ１４及びセンサ１６を含む。送信装置１は、例えば、中央演算処理装置（Central Processing Unit、ＣＰＵ）、主記憶装置（Random Access Memory、ＲＡＭ）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。送信装置１は、例えば、中央演算処理装置の制御のもとで各処理を実行する。送信装置１に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて読み出されて他の処理に利用される。
【００１４】
カメラ１４は、例えば、被写体とする人間や物体の映像を撮影するビデオカメラである。例えば、撮影可能な解像度や映像の記録媒体、マイクロフォンの有無、デジタルアナログの別など、カメラ１４の備えるべき機能には制限はなく、一般的に動画が撮影可能なビデオカメラであれば任意のものを利用することができる。
【００１５】
センサ１６は、例えば、対象物の三次元座標を逐次的に収集するモーションキャプチャセンサである。センサ１６により映像の被写体の三次元座標を収集することで、被写体の位置とその位置の変化を取得することができる。センサ１６として利用できるモーションキャプチャセンサは、例えば、「日本マイクロソフト株式会社、“Xbox 360 - Kinect”、[online]、[平成26年1月27日検索]、インターネット<URL：http://www.xbox.com/ja-JP/kinect>（参考文献１）」に記載されている。
【００１６】
カメラ１４及びセンサ１６は、図１に示すように、送信装置１に接続される外部の周辺機器であってもよいし、送信装置１の筺体内に内蔵されていてもよい。また、カメラ１４とセンサ１６は、図１に示すように、別個の機器として構成してもよいし、カメラ１４とセンサ１６を一つの筺体内に組み込んだ一つの機器として構成してもよい。
【００１７】
受信装置２は、映像再生部２０、実体再現部２２、ディスプレイ２４及びオブジェクト２６を含む。受信装置２は、例えば、中央演算処理装置（Central Processing Unit、ＣＰＵ）、主記憶装置（Random Access Memory、ＲＡＭ）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。受信装置２は、例えば、中央演算処理装置の制御のもとで各処理を実行する。受信装置２に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて読み出されて他の処理に利用される。
【００１８】
ディスプレイ２４は、例えば、送信装置１のカメラ１４で撮影した映像を再生する画面を有する大型液晶ディスプレイである。ディスプレイ２４は、図１に示すように、受信装置２に接続される外部の周辺機器であってもよいし、受信装置２の一平面に組み込まれていてもよい。例えば、表示可能な解像度やスピーカーの有無、デジタルアナログの別など、ディスプレイ２４の備えるべき機能には制限はなく、カメラ１４で撮影された映像が再生可能なディスプレイであれば任意のものを利用することができる。
【００１９】
オブジェクト２６は、映像中の実体化対象を実体化した物体である。オブジェクト２６は、ディスプレイ２４の画面表面上を移動可能なように構成する。実体化対象は映像に撮影される可能性があれば、どのような物体でもよい。例えば、映像の被写体を一人の人間とし、実体化対象を人間の腕の肘から先の部分として構成するのであれば、オブジェクト２６はロボットアームのような人間の腕を模した器具とすればよい。また、例えば、映像の被写体を手に指示棒のような物体を握った人間とし、実体化対象を指示棒として構成するのであれば、オブジェクト２６はその指示棒と同一形状の物体とすればよい。
【００２０】
図２を参照しながら、実施形態に係る映像実体化システムが実行する映像実体化方法の処理フローの一例を、手続きの順に従って説明する。
【００２１】
ステップＳ１０において、送信装置１の映像取得部１０は、送信装置１のカメラ１４を用いて、少なくとも一つの被写体及びその被写体と連続して視認可能な少なくとも一つの実体化対象を含む映像を撮影する。撮影した映像は、通信網９を介して、受信装置２へ送信される。撮影した映像は送信に際して、転送効率を高めるために適切なデータフォーマットで符号化し圧縮しても構わない。
【００２２】
ステップＳ１２において、送信装置１の実体情報取得部１２は、送信装置１のセンサ１６を用いて、映像における実体化対象と被写体との接点の位置の変化を取得する。取得する情報は、実体化対象と被写体との接点の位置の変化のみならず、被写体及び実体化対象の向きや角度など詳細な動作情報を取得してもよい。取得した情報は、通信網９を介して、受信装置２へ送信される。
【００２３】
ステップＳ２０において、受信装置２の映像再生部１０は、送信装置１から受信した映像から実体化対象を消去して受信装置２のディスプレイ２４に再生する。映像から実体化対象を消去する方法は、クロマキー合成等の既存の映像合成技術を用いればよい。
【００２４】
ステップＳ２２において、受信装置２の実体再現部２２は、送信装置１から受信した動作情報に基づいて、オブジェクト２６と映像中の被写体とが連続して視認可能となるようにオブジェクト２６の位置を制御する。より詳しくは、オブジェクト２６における接点の位置と、ディスプレイ２４の画面に再生される映像中の被写体における接点の位置とが一致するようにオブジェクト２６の位置を制御する。さらに、被写体及び実体化対象の向きや角度などを取得している場合には、被写体と実体化対象の輪郭が一致するように、オブジェクト２６の向きや角度を調節する。
【００２５】
図３を参照して、オブジェクト２６の位置を制御する方法について、より詳細に説明する。図３は、遠隔地にいる人間の肘から先の部分をロボットアームで実体化した例である。ディスプレイ２４から飛び出した実体化部分であるオブジェクト２６（図３の例では、ロボットアーム）は、ディスプレイ２４を設置したテーブル２２１の下に設置した位置決め機構２２２〜２２６を介して固定する。図３の例では、オブジェクト２６はアクリル板等の透明な板２２２の先端に固定されており、アクリル板２２２を、水平方向に固定されたレール２２３に沿って移動する回転軸２２４と、鉛直方向に固定されたレール２２５に沿って移動する回転軸２２６とからなる二軸直動機構によって位置決めを行うことで、ロボットアーム２６はディスプレイ２４の画面表面上を移動することができる。
【００２６】
ディスプレイ２４から飛び出した実体化部分であるオブジェクト２６は、ディスプレイ２４の画面表面上を並行移動するだけではなく、回転機構などにより、視覚的に映像と自然に繋がるように角度を調整してもよい。映像内の人間の肩から肘までの部分とロボットアーム２６とが一直線になるように、図４（Ａ）の例では、ロボットアーム２６の水平方向の角度を調整し、図４（Ｂ）の例では、ロボットアーム２６の鉛直方向の角度を調整している。
【００２７】
オブジェクト２６は、実体化対象の移動に応じてサイズを変化させることもできる。図５を参照して、実体化対象を被写体の腕とした場合に、実体化したロボットアームの長さを変化させる例を説明する。ロボットアーム２６は、ロボットハンド２６５と、ロボットハンド２６５を先端に取り付けた円筒形をした第一の腕部２６４と、第一の腕部２６４を挿入可能な円筒形をした第二の腕部２６３と、第一の腕部２６４とワイヤで接続された巻き取り機構２６１及び２６２とからなる。ロボットアーム２６は、図３に示すように、アクリル板２２２の上方の端に固定されている。ワイヤは目立たないようにアクリル板２２２の淵に沿わせるようにし、巻き取り機構２６１及び２６２はアクリル板２２２の下方の端に設置する。巻き取り機構２６１及び２６２を操作することで、第一の腕部２６４が第二の腕部２６３の中をスライドするように構成される。図５（Ａ）はロボットアーム２６を伸ばした状態の例である。巻き取り機構２６１を緩め、巻き取り機構２６２を巻き上げることで第一の腕部２６４が第二の腕部２６３からせり出し、ロボットアーム２６の全長を伸ばすことができる。図５（Ｂ）はロボットアーム２６を縮めた状態の例である。巻き取り機構２６２を緩め、巻き取り機構２６１を巻き上げることで第一の腕部２６４が第二の腕部２６３の中へ引き込まれ、ロボットアーム２６の全長を縮めることができる。例えば、映像中の被写体が腕を前方へ突き出した場合にはロボットアームの全長を伸ばし、腕を後方へ引っ込めた場合にはロボットアームの全長を縮めることで、より実体化対象の再現性を高めることができる。
【００２８】
この発明の映像実体化技術によれば、映像内の物体の一部を実体化して飛び出させることで、平面の映像では分かりにくい三次元的な動きが把握しやすくなる。図３及び図４に示した例では、遠隔地の人間の腕を実体化することで、遠隔地の人間が何を指しているのかを把握しやすくなっている。また、この発明の映像実体化技術によれば、遠隔地間の人間が実体化部分を介して互いに接触することも可能になる。例えば、互いに実体化した手（例えば、ロボットハンド）を握ることで握手をすることができる。
【００２９】
この発明は上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。上記実施形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
【００３０】
［プログラム、記録媒体］
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【００３１】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００３２】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００３３】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００３４】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【符号の説明】
【００３５】
１  送信装置
２  受信装置
９  通信網
１０  映像取得装置
１２  実体情報取得部
１４  カメラ
１６  センサ
２０  映像再生部
２２  実体再現部
２４  ディスプレイ
２６  オブジェクト
【図１】
0006044047.tif 000002
【図２】
0006044047.tif 000003
【図３】
0006044047.tif 000004
【図４】
0006044047.tif 000005
【図５】
0006044047.tif 000006