(57)【要約】【課題】  遠隔地にいる話者が同一のコンテンツを視聴でき、かつ、コンテンツの映像上の任意の位置を指示できるようにする。【解決手段】  ユーザＡ，Ｂが、ディスプレイに表示されるコンテンツと自身等のクロスフェイド方式の映像を見ながら、コンテンツの映像の指し示したい位置を自己の指先等が示すように指先等を動かすと、動きベクトルが検出され、検出された位置を含む所定の領域が切り出されて、ユーザＡのポインタ９４、ユーザＢのポインタ９５としてコンテンツの映像にαブレンディングされる。１枚の映像９１から切り出された２つのポインタをユーザＡ，Ｂに対応付けるためには、例えばユーザＡ，Ｂの指にそれぞれ異なるサイバーコード（２次元コード）１０１を装着させる。本発明は、例えば、遠隔地間のコミュニケーション装置に適用することができる。【選択図】図８
2006041884.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介して他の情報処理装置と通信する情報処理装置において、
前記他の情報処理装置と同一のコンテンツデータを同期再生する再生手段と、
ユーザを撮影し、その結果得られた第１のユーザ映像を入力する入力手段と、
前記他の情報処理装置から前記ネットワークを介して送信された、前記他の情報処理装置のユーザの映像である第２のユーザ映像を受信する受信手段と、
前記第１または第２のユーザ映像のうちの少なくとも一方のユーザ映像から、ユーザが任意の位置を指し示すポインタを抽出する抽出手段と、
前記再生手段によって同期再生された前記コンテンツデータの映像に、前記抽出手段によって抽出されたポインタを合成する合成手段と
を含むことを特徴とする情報処理装置。
【請求項２】
前記合成手段は、前記再生手段によって同期再生された前記コンテンツデータの映像に、前記抽出手段によって抽出された前記ポインタと、前記ポインタに対応するユーザを特定可能な情報とを合成する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記合成手段は、前記再生手段によって同期再生された前記コンテンツデータの映像に、前記抽出手段によって抽出された前記ポインタを、αブレンディングを適用して合成する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記第１または第２のユーザ映像のうちの少なくとも一方のユーザ映像から動きベクトルを検出する動きベクトル検出手段をさらに含み、
前記抽出手段は、前記動きベクトルに基づいて前記ポインタを抽出する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記抽出手段は、前記第１または第２のユーザ映像のうちの少なくとも一方のユーザ映像に複数のユーザが映っている場合、前記複数のユーザそれぞれが任意の位置を指し示す複数のポインタを抽出する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記抽出手段は、抽出した前記複数のポインタを、前記複数のユーザのいずれかに対応付ける
ことを特徴とする請求項５に記載の情報処理装置。
【請求項７】
ネットワークを介して他の情報処理装置と通信する情報処理方法において、
前記他の情報処理装置と同一のコンテンツデータを同期再生する再生ステップと、
ユーザを撮影し、その結果得られた第１のユーザ映像を入力する入力ステップと、
前記他の情報処理装置から前記ネットワークを介して送信された、前記他の情報処理装置のユーザの映像である第２のユーザ映像を受信する受信ステップと、
前記第１または第２のユーザ映像のうちの少なくとも一方のユーザ映像から、ユーザが任意の位置を指し示すポインタを抽出する抽出ステップと、
前記再生ステップの処理で同期再生された前記コンテンツデータの映像に、前記抽出ステップの処理で抽出されたポインタを合成する合成ステップと
を含むことを特徴とする情報処理方法。
【請求項８】
ネットワークを介して他の情報処理装置と通信するためのプログラムであって、
前記他の情報処理装置と同一のコンテンツデータを同期再生する再生ステップと、
ユーザを撮影し、その結果得られた第１のユーザ映像を入力する入力ステップと、
前記他の情報処理装置から前記ネットワークを介して送信された、前記他の情報処理装置のユーザの映像である第２のユーザ映像を受信する受信ステップと、
前記第１または第２のユーザ映像のうちの少なくとも一方のユーザ映像から、ユーザが任意の位置を指し示すポインタを抽出する抽出ステップと、
前記再生ステップの処理で同期再生された前記コンテンツデータの映像に、前記抽出ステップの処理で抽出されたポインタを合成する合成ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項９】
ネットワークを介して他の情報処理装置と通信するためのプログラムであって、
前記他の情報処理装置と同一のコンテンツデータを同期再生する再生ステップと、
ユーザを撮影し、その結果得られた第１のユーザ映像を入力する入力ステップと、
前記他の情報処理装置から前記ネットワークを介して送信された、前記他の情報処理装置のユーザの映像である第２のユーザ映像を受信する受信ステップと、
前記第１または第２のユーザ映像のうちの少なくとも一方のユーザ映像から、ユーザが任意の位置を指し示すポインタを抽出する抽出ステップと、
前記再生ステップの処理で同期再生された前記コンテンツデータの映像に、前記抽出ステップの処理で抽出されたポインタを合成する合成ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および方法、記録媒体、並びにプログラムに関し、特に、ネットワークを介して接続された他の情報処理装置と同一のコンテンツを再生し、コンテンツの映像上に、コンテンツの映像上の任意の位置を指し示すユーザのポインタを表示するようにした情報処理装置および方法、記録媒体、並びにプログラムに関する。
【背景技術】
【０００２】
従来、遠隔地にいる人同士の交流（以下、遠隔コミュニケーションと記述する）に用いる装置として、電話、いわゆるテレビ電話、ビデオ会議システム等が存在する。また、パーソナルコンピュータ等を用いてインタネットに接続し、テキストチャット、映像と音声を伴うビデオチャット等を行う方法もある。
【０００３】
さらに、遠隔コミュニケーションを実行しようとする人（以下、話者とも記述する）がそれぞれパーソナルコンピュータ等を用い、インタネットを介して仮想空間を共有したり、同一のコンテンツ（楽曲、動画、静止画等）を共用したりすることも提案されている（例えば、特許文献１参照）。
【０００４】
ところで、単に、コンテンツの映像上のある特定のポイントや領域等を話者が指し示す方法として、CCD(Charge Coupled Device)カメラ等により話者の手の動きを検出し、その検出結果に対応して画面上に表示されたカーソル等のポインタを移動させる技術が存在する（例えば、特許文献２参照）。
【０００５】
【特許文献１】特開２００３−２７１５３０号公報
【特許文献２】特開平８−４４４９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の遠隔コミュニケーションでは、話者間のコミュニケーションを通じた共通体験や環境共有等を実現することができず、相互理解感やリラックス感等を増すことができなかったことから、コミュニケーションの内容が伝言的なものになったり、気まずいものになったりと、双方向コミュニケーションを効果的に活性化させることができなかった。例えば、コンテンツを共用する際に、コンテンツの映像上のある特定のポイントや領域等を話者が指し示すことができないので、伝えたい情報を伝えることができないもどかしさや不快感等を生じさせてしまうという課題があった。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、遠隔地にいる話者が同一のコンテンツを視聴でき、かつ、コンテンツの映像上の任意の位置を指示できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の情報処理装置は、他の情報処理装置と同一のコンテンツデータを同期再生する再生手段と、ユーザを撮影し、その結果得られた第１のユーザ映像を入力する入力手段と、他の情報処理装置からネットワークを介して送信された、他の情報処理装置のユーザの映像である第２のユーザ映像を受信する受信手段と、第１または第２のユーザ映像のうちの少なくとも一方のユーザ映像から、ユーザが任意の位置を指し示すポインタを抽出する抽出手段と、再生手段によって同期再生されたコンテンツデータの映像に、抽出手段によって抽出されたポインタを合成する合成手段とを含むことを特徴とする。
【０００９】
前記合成手段は、再生手段によって同期再生されたコンテンツデータの映像に、抽出手段によって抽出されたポインタと、ポインタに対応するユーザを特定可能な情報とを合成するようにすることができる。
【００１０】
前記合成手段は、再生手段によって同期再生されたコンテンツデータの映像に、抽出手段によって抽出されたポインタを、αブレンディングを適用して合成するようにすることができる。
【００１１】
本発明の情報処理装置は、第１または第２のユーザ映像のうちの少なくとも一方のユーザ映像から動きベクトルを検出する動きベクトル検出手段をさらに含むことができ、前記抽出手段は、動きベクトルに基づいてポインタを抽出するようにすることができる。
【００１２】
前記抽出手段は、第１または第２のユーザ映像のうちの少なくとも一方のユーザ映像に複数のユーザが映っている場合、複数のユーザそれぞれが任意の位置を指し示す複数のポインタを抽出するようにすることができる。
【００１３】
前記抽出手段は、抽出した複数のポインタを、複数のユーザのいずれかに対応付けるようにすることができる。
【００１４】
本発明の情報処理方法は、他の情報処理装置と同一のコンテンツデータを同期再生する再生ステップと、ユーザを撮影し、その結果得られた第１のユーザ映像を入力する入力ステップと、他の情報処理装置からネットワークを介して送信された、他の情報処理装置のユーザの映像である第２のユーザ映像を受信する受信ステップと、第１または第２のユーザ映像のうちの少なくとも一方のユーザ映像から、ユーザが任意の位置を指し示すポインタを抽出する抽出ステップと、再生ステップの処理で同期再生されたコンテンツデータの映像に、抽出ステップの処理で抽出されたポインタを合成する合成ステップとを含むことを特徴とする。
【００１５】
本発明の記録媒体のプログラムは、他の情報処理装置と同一のコンテンツデータを同期再生する再生ステップと、ユーザを撮影し、その結果得られた第１のユーザ映像を入力する入力ステップと、他の情報処理装置からネットワークを介して送信された、他の情報処理装置のユーザの映像である第２のユーザ映像を受信する受信ステップと、第１または第２のユーザ映像のうちの少なくとも一方のユーザ映像から、ユーザが任意の位置を指し示すポインタを抽出する抽出ステップと、再生ステップの処理で同期再生されたコンテンツデータの映像に、抽出ステップの処理で抽出されたポインタを合成する合成ステップとを含むことを特徴とする。
【００１６】
本発明のプログラムは、他の情報処理装置と同一のコンテンツデータを同期再生する再生ステップと、ユーザを撮影し、その結果得られた第１のユーザ映像を入力する入力ステップと、他の情報処理装置からネットワークを介して送信された、他の情報処理装置のユーザの映像である第２のユーザ映像を受信する受信ステップと、第１または第２のユーザ映像のうちの少なくとも一方のユーザ映像から、ユーザが任意の位置を指し示すポインタを抽出する抽出ステップと、再生ステップの処理で同期再生されたコンテンツデータの映像に、抽出ステップの処理で抽出されたポインタを合成する合成ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００１７】
本発明においては、ユーザが撮影された第１のユーザ映像、または他の情報処理装置のユーザの映像である第２のユーザ映像のうちの少なくとも一方のユーザ映像から、ユーザが任意の位置を指し示すポインタが抽出され、他の情報処理装置と同期再生されたコンテンツデータの映像に、抽出されたポインタが合成される。
【発明の効果】
【００１８】
本発明によれば、遠隔地にいる話者が同一のコンテンツを視聴でき、かつ、コンテンツの映像上の任意の位置を指示することが可能となる。
【発明を実施するための最良の形態】
【００１９】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２０】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加されたりする発明の存在を否定するものではない。
【００２１】
請求項１に記載の情報処理装置（例えば、図１のコミュニケーション装置１−１）は、他の情報処理装置（例えば、図１のコミュニケーション装置１−２）と同一のコンテンツデータを同期再生する再生手段（例えば、図４のコンテンツ再生部３０）と、ユーザを撮影し、その結果得られた第１のユーザ映像を入力する入力手段（例えば、図４の入力部２４）と、他の情報処理装置からネットワーク（例えば、図１の通信網２）を介して送信された、他の情報処理装置のユーザの映像である第２のユーザ映像を受信する受信手段（例えば、図４の通信部２８）と、第１または第２のユーザ映像のうちの少なくとも一方のユーザ映像から、ユーザが任意の位置を指し示すポインタを抽出する抽出手段（例えば、図４のポインタ検出部３７）と、再生手段によって同期再生されたコンテンツデータの映像に、抽出手段によって抽出されたポインタを合成する合成手段（例えば、図４の映像音声合成部３１）とを含む。
【００２２】
請求項４に記載の情報処理装置は、第１または第２のユーザ映像のうちの少なくとも一方のユーザ映像から動きベクトルを検出する動きベクトル検出手段（例えば、図４の動きベクトル検出部３８）をさらに含む。
【００２３】
請求項７に記載の情報処理方法は、他の情報処理装置と同一のコンテンツデータを同期再生する再生ステップ（例えば、図５のステップＳ４）と、ユーザを撮影し、その結果得られた第１のユーザ映像を入力する入力ステップ（例えば、図４の入力部２４による図５のステップＳ４）と、他の情報処理装置からネットワークを介して送信された、他の情報処理装置のユーザの映像である第２のユーザ映像を受信する受信ステップ（例えば、図４の通信部２８による図５のステップＳ４）と、第１または第２のユーザ映像のうちの少なくとも一方のユーザ映像から、ユーザが任意の位置を指し示すポインタを抽出する抽出ステップ（例えば、図１０のステップＳ２４）と、再生ステップの処理で同期再生されたコンテンツデータの映像に、抽出ステップの処理で抽出されたポインタを合成する合成ステップ（例えば、図１０のステップＳ２６）とを含む。
【００２４】
なお、本発明の記録媒体に記録されているプログラム、および本発明のプログラムの請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係は、上述した本発明の情報処理方法のものと同様であるので、その記載は省略する。
【００２５】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００２６】
図１は、本発明を適用したコミュニケーションシステムの構成例を示している。このコミュニケーションシステムにおいて、コミュニケーション装置１−１は、通信網２を介して他のコミュニケーション装置１（図１の場合、コミュニケーション装置１−２）と接続し、いわゆるテレビ電話のようにユーザの音声および映像を相互に通信することに加え、共通のコンテンツ（例えば、テレビジョン放送等を受信して得られる番組コンテンツ、予めダウンロード等により取得済の映画等のコンテンツ、ユーザ間で授受した私的なコンテンツ等の動画像、静止画像等）を他のコミュニケーション装置１−２と同期して再生することにより、ユーザ間の遠隔コミュニケーションを支援するものである。以下、コミュニケーション装置１−１および１−２を個々に区別する必要がない場合、単にコミュニケーション装置１と記述する。
【００２７】
コミュニケーション装置１は、複数のユーザが同時に利用することができる。例えば、図１の場合、コミュニケーション装置１−１は、ユーザＡ，Ｂによって使用されており、コミュニケーション装置１−２は、ユーザＸによって使用されているものとする。
【００２８】
例えば、共通のコンテンツの映像が図２Ａに示すようなものであり、コミュニケーション装置１−１によって撮影されたユーザＡの映像が図２Ｂに示すようなものであり、コミュニケーション装置１−２によって撮影されたユーザＸの映像が図２Ｃに示すようなものであるとする。この場合、コミュニケーション装置１−１のディスプレイ２２（図４）には、例えば、図３Ａに示すピクチャインピクチャ(picture in picture)、図３Ｂに示すクロスフェイド(cross fade)、または図３Ｃに示すワイプ(wipe)の方式で、コンテンツとユーザの映像が重畳されて表示される。
【００２９】
なお、図３Ａに示されたピクチャインピクチャにおいては、コンテンツの映像にユーザの映像が小画面として重畳される。小画面の表示位置およびサイズは任意に変更可能である。また、自身（ユーザＡ）とコミュニケーション相手（ユーザＸ）の映像の両方ではなく、一方の小画面だけを表示させることも可能である。さらに、コンテンツの映像がユーザの映像の小画面を透過するように、いわゆる、αブレンディングさせてもよい。
【００３０】
図３Ｂに示されたクロスフェイドにおいては、コンテンツの映像にユーザ（ユーザＡまたはユーザＸ）の映像がαブレンディングされて表示される。このクロスフェイドは、例えばコンテンツの映像上の任意の位置や領域をユーザが指し示すとき等に用いることができる。
【００３１】
図３Ｂに示されたワイプにおいては、コンテンツの映像を覆うようにユーザの映像が所定の方向から出現する。
【００３２】
コンテンツとユーザの映像の合成方式は随時変更が可能である。また、コンテンツとユーザの映像の表示は、上述した方式以外の方式を適用してもよい。
【００３３】
コンテンツとユーザの映像および音声の合成状況、例えば、ピクチャインピクチャ、クロスフェイド、またはワイプの区別、ピクチャインピクチャが採用されているときの子画面のサイズや位置、クロスフェイドが採用されているときのαブレンディングの透過度、音量等の割合等は、合成情報３４（図４）として記録される。
【００３４】
図１に戻る。通信網２は、インタネット等に代表される広帯域なデータ通信網である。コンテンツ供給サーバ３は、コミュニケーション装置１からの要求に応じ、通信網２を介してコンテンツをコミュニケーション装置１に供給する。認証サーバ４は、コミュニケーション装置１のユーザが当該コミュニケーションシステムを利用するに際しての認証、課金等の処理を行う。
【００３５】
放送装置５は、テレビジョン放送等の番組としてコンテンツを送信する。したがって、各コミュニケーション装置１は、放送装置５から放送されるコンテンツを同期して受信し、再生することができる。なお、放送装置５からコミュニケーション装置１に対するコンテンツの送信は無線であってもよいし、有線であってもよい。また、通信網２を介してもかまわない。
【００３６】
標準時刻情報供給装置６は、コミュニケーション装置１に内蔵された時計（標準時刻計時部４１（図４））を、標準時刻（世界標準時、日本標準時刻等）に整合させるための標準時刻情報を各コミュニケーション装置１に供給する。なお、標準時刻情報供給装置６からコミュニケーション装置１に対する標準時刻情報の供給は、無線であってもよいし、有線であってもよい。また、通信網２を介してもかまわない。
【００３７】
次に、コミュニケーション装置１−１の詳細な構成例について、図４を参照して説明する。
【００３８】
コミュニケーション装置１−１において、出力部２１は、ディスプレイ２２およびスピーカ２３より構成され、映像音声合成部３１から入力される映像信号および音声信号にそれぞれ対応する映像を表示し、音声を出力する。
【００３９】
入力部２４は、ユーザの映像（動画像または静止画像）を撮影するカメラ２５、ユーザの音声を集音するマイク２６、およびユーザの周囲環境情報（明度、温度、湿度等）を検出するセンサ２７より構成され、取得した動画像、音声、および周辺環境情報を含むユーザのリアルタイム（ＲＴ）データを通信部２８および記憶部３２に出力する。カメラ２５は、被写体（ユーザ）までの距離を計測可能な機能を有している。また、入力部２４は、取得したユーザの映像および音声を映像音声合成部３１に出力する。さらに、入力部２４は、取得した映像を画像解析部３５に出力する。なお、入力部２４を複数（図４の場合は２つ）設けて、それぞれを複数のユーザ（図１のユーザＡ，Ｂ）に指向させるようにしてもよい。
【００４０】
通信部２８は、入力部２４から入力されるユーザＡのリアルタイムデータを、通信網２を介してコミュニケーション相手のコミュニケーション装置１−２に送信するとともに、コミュニケーション装置１−２が送信したユーザＸのリアルタイムデータを受信し、映像音声合成部３１、記憶部３２、および画像解析部３５に出力する。また、通信部２８は、コミュニケーション相手のコミュニケーション装置１−２またはコンテンツ供給サーバ３から通信網２を介して供給されたコンテンツを受信し、コンテンツ再生部３０および記憶部３２に出力する。さらに、通信部２８は、記憶部３２に記憶されているコンテンツ３３や、操作情報出力部５０によって生成された操作情報を、通信網２を介してコミュニケーション装置１−２に送信する。
【００４１】
放送受信部２９は、放送装置５から放送されたテレビジョン放送信号を受信し、得られた放送番組としてのコンテンツをコンテンツ再生部３０に出力する。コンテンツ再生部３０は、放送受信部２９によって受信された放送番組のコンテンツ、通信部２８によって受信されたコンテンツ、または記憶部３２から読み出されるコンテンツを再生し、得られたコンテンツの映像および音声を映像音声合成部３１および画像解析部３５に出力する。
【００４２】
映像音声合成部３１は、コンテンツ再生部３０から入力されるコンテンツの映像と、ユーザの映像と、OSD(On Screen Display)用の映像とをαブレンディング等によって合成し、その結果得られた映像信号を出力部２１に出力する。また、映像音声合成部３１は、コンテンツ再生部３０から入力されるコンテンツの音声と、ユーザの音声を合成し、その結果得られた音声信号を出力部２１に出力する。
【００４３】
記憶部３２は、入力部２４から供給されるユーザ（ユーザＡ等）のリアルタイムデータ、通信部２８から供給されるコミュニケーション相手（ユーザＸ）のリアルタイムデータ、放送受信部２９によって受信された放送番組のコンテンツ、通信部２８から供給されるコンテンツを記憶する。また、記憶部３２は、合成制御部４７によって生成された合成情報３４を記憶する。
【００４４】
画像解析部３５は、コンテンツ再生部３０から入力されるコンテンツの映像、およびユーザの映像（コミュニケーション装置１−２からのものも含む）の明度や輝度を解析し、その解析結果を合成制御部４７に出力する。画像解析部３５の鏡像生成部３６は、ユーザ（コミュニケーション装置１−２からのものも含む）の映像の鏡像を生成する。ポインタ検出部３７は、動きベクトル検出部３８によって検出されるユーザの動きベクトル等に基づき、ユーザの映像（コミュニケーション装置１−２からのものも含む）からユーザが所望の位置を指し示すポインタとなる手首や指先等を検出して、その映像を抽出する。なお、入力部２４からの映像に複数のユーザが含まれている場合、複数のポインタを検出してユーザを対応付ける。動きベクトル検出部３８は、ユーザの映像（コミュニケーション装置１−２からのものも含む）から、ユーザの動作を示す動きベクトルを検出し、その発生ポイントと軌跡を識別する。マッチング部３９は、検出されたユーザの動きベクトルが、予め想定されているユーザの動きのいずれに合致するかを判定し、判定結果を動きベクトルマッチング情報として制御部４３に出力する。
【００４５】
通信環境検出部４０は、通信部２８と通信網２を介したコミュニケーション装置１−２との通信環境（通信レート、通信遅延時間等）を監視して、監視結果を制御部４３に出力する。標準時刻計時部４１は、標準時刻情報供給装置６から供給される標準時刻情報に基づき、自己が刻む標準時刻を整合し、標準時刻を制御部４３に供給する。操作入力部４２は、例えばリモートコントローラ等から成り、ユーザの操作を受け付けて、対応する操作信号を制御部４３に入力する。
【００４６】
制御部４３は、操作入力部４２から入力されるユーザの操作に対応した操作信号や画像解析部３５から入力される動きベクトルマッチング情報等に基づいて、コミュニケーション装置１−１を構成する各部を制御する。制御部４３は、セッション管理部４４、視聴記録レベル設定部４５、再生同期部４６、合成制御部４７、再生許可部４８、記録許可部４９、操作情報出力部５０、および電子機器制御部５１を含んでいる。なお、図４において、制御部４３からコミュニケーション装置１−１を構成する各部への制御ラインの図示は省略されている。
【００４７】
セッション管理部４４は、通信部２８が通信網２を介して通信コミュニケーション装置１−２、コンテンツ供給サーバ３、認証サーバ４等と接続する処理を制御する。視聴記録レベル設定部４５は、ユーザからの設定操作に基づき、入力部２４に取得されたユーザＡ等のリアルタイムデータを、コミュニケーション相手のコミュニケーション装置１−２において再生可能であるか否か、記録可能であるか否か、記録可能である場合の記録可能回数等を設定し、この設定情報を通信部２８からコミュニケーション装置１−２に通知させる。再生同期部４６は、コミュニケーション相手のコミュニケーション装置１−２と同期して同一のコンテンツが再生されるように、放送受信部２９やコンテンツ再生部３０を制御する。
【００４８】
合成制御部４７は、コンテンツの映像および音声とユーザの映像および音声が、ユーザからの設定操作に従って合成されるように、画像解析部３５の解析結果等に基づいて映像音声合成部３１を制御する。再生許可部４８は、コンテンツに付加されているライセンス情報等に基づいて当該コンテンツの再生の可否を判断し、判断結果に基づいてコンテンツ再生部３０を制御する。記録許可部４９は、コミュニケーション相手の設定やコンテンツに付加されているライセンス情報に基づき、ユーザのリアルタイムデータやコンテンツの記録の可否を判断し、判断結果に基づいて記憶部３２を制御する。操作情報出力部５０は、ユーザによる操作（テレビジョン放送受信時のチャンネル切り換え操作、コンテンツ再生開始、再生終了、早送り再生の操作等）に対応して、その操作内容や操作時刻等を含む操作情報（詳細は後述する）を生成し、通信部２８からコミュニケーション相手のコミュニケーション装置１−２に通知させる。この操作情報は、コンテンツの同期再生に利用される。
【００４９】
電子機器制御部５１は、画像解析部３５から入力される動きベクトルマッチング情報に基づき、コミュニケーション装置１−１に接続（無線接続を含む）された所定の電子機器（例えば、照明機器、空調機器等。いずれも不図示）を制御する。
【００５０】
なお、コミュニケーション装置１−２の詳細な構成例については、図４に示されたコミュニケーション装置１−１の構成例と同様であるので、その説明は省略する。
【００５１】
次に、コミュニケーション装置１−１によるコミュニケーション装置１−２との遠隔コミュニケーション処理について、図５のフローチャートを参照して説明する。
【００５２】
この遠隔コミュニケーション処理は、コミュニケーション装置１−２との遠隔コミュニケーションの開始を指示する操作が操作入力部４２に入力され、この操作に対応する操作信号が制御部４３に入力されたときに開始される。
【００５３】
ステップＳ１において、通信部２８は、セッション管理部４４の制御に基づき、通信網２を介してコミュニケーション装置１−２に接続し、遠隔コミュニケーションの開始を通知する。この通知に対応して、コミュニケーション装置１−２は、遠隔コミュニケーションの開始の受諾を返信する。
【００５４】
ステップＳ２において、通信部２８は、制御部４３の制御に基づき、入力部２４から入力されるユーザＡ等のリアルタイムデータを、通信網２を介してコミュニケーション装置１−２に送信し始めるとともに、コミュニケーション装置１−２から送信されたユーザＸのリアルタイムデータの受信を開始する。送信されたユーザＡ等のリアルタイムデータに含まれる映像および音声と、受信されたユーザＸのリアルタイムデータに含まれる映像および音声は、映像音声合成部３１に入力される。
【００５５】
ステップＳ３において、通信部２８は、セッション管理部４４の制御に基づき、通信網２を介して認証サーバ４に接続し、コンテンツ取得のための認証処理を行う。この認証処理の後、通信部２８は、通信網２を介してコンテンツ供給サーバ３にアクセスし、ユーザが指定するコンテンツを取得する。このとき、コミュニケーション装置１−２でも同様の処理が行われ、同一のコンテンツが取得されているものとする。
【００５６】
なお、テレビジョン放送されているコンテンツを受信する場合や、既に取得済で記憶部３２に記憶されているコンテンツを再生する場合、ステップＳ３の処理は省略することができる。
【００５７】
ステップＳ４において、コンテンツ再生部３０は、再生同期部４６の制御に基づき、コミュニケーション装置１−２と同期したコンテンツの再生処理を開始する。
【００５８】
ステップＳ５において、記憶部３２は、遠隔コミュニケーション記録処理を開始する。具体的には、再生が開始されたコンテンツ、送信されたユーザＡ等のリアルタイムデータに含まれる映像および音声、受信されたユーザＸのリアルタイムデータに含まれる映像および音声、並びに、これらの合成の状態を示す合成制御部４７によって生成された合成情報３４の記録が開始される。
【００５９】
ステップＳ６において、映像音声合成部３１は、合成制御部４７の制御に従い、再生されたコンテンツの映像および音声と、送信されたユーザＡ等のリアルタイムデータに含まれる映像および音声と、受信されたユーザＸのリアルタイムデータに含まれる映像および音声とを図３Ａ乃至図３Ｃに示されたいずれかの方法で合成し、この結果得られた映像信号および音声信号を出力部２１に供給する。出力部２１は、供給された映像信号に対応する映像を表示し、音声信号に対応する音声を出力する。この段階でユーザ間の映像および音声の通信と、コンテンツの同期再生が開始されたことになる。
【００６０】
さらにステップＳ６において、映像音声合成部３１等の処理と平行して画像解析部３５のポインタ検出部３５は、ユーザＡ等のリアルタイムデータに含まれる映像に基づき、ユーザＡ等のポインタを検出し、画面上に表示する等の処理（ポインティング処理）を実行する。
【００６１】
ステップＳ７において、制御部４３は、ユーザから遠隔コミュニケーションの終了を指示する操作が行われたか否かを判定し、行われたと判定するまで待機する。ユーザから遠隔コミュニケーションの終了を指示する操作が行われたと判定された場合、処理はステップＳ８に進む。
【００６２】
ステップＳ８において、通信部２８は、セッション管理部４４からの制御に基づき、通信網２を介してコミュニケーション装置１−２に接続し、遠隔コミュニケーションの終了を通知する。この通知に対応して、コミュニケーション装置１−２は、遠隔コミュニケーションの終了の受諾を返信する。
【００６３】
ステップＳ９において、記憶部３２は、コミュニケーション記録処理を終了する。このときまでに記録された、再生されたコンテンツ、ユーザＡ等のリアルタイムデータに含まれる映像および音声、受信されたユーザＸのリアルタイムデータに含まれる映像および音声、並びに合成情報３４は、今後において、今回の遠隔コミュニケーションが再現されるときに利用される。
【００６４】
以上、コミュニケーション装置１−１によるコミュニケーション装置１−２との遠隔コミュニケーション処理の説明を終了する。
【００６５】
次に、上述した遠隔コミュニケーション処理のステップＳ６のポインティング処理の概要について、コミュニケーション装置１−１が一人のユーザＡによって使用されている第１の場合、コミュニケーション装置１−１が複数のユーザＡ，Ｂによって操作され、入力部２４が複数設けられている第２の場合、コミュニケーション装置１−１が複数のユーザＡ，Ｂによって操作され、１つの入力部２４により複数のユーザＡ，Ｂの映像が撮影されている第３の場合の３通りに場合分けし、図６乃至図８を参照して説明する。
【００６６】
図６は、第１の場合におけるポインティング処理の概要を示している。ユーザＡが、ディスプレイ２２に表示されるコンテンツと自身（ユーザＡ）のクロスフェイド方式の映像（例えば、図３Ｂに示されたもの）を見ながら、ディスプレイ２２上において、コンテンツの映像の指し示したい位置を自己の指先等が示すように、図６Ａに示すように指先等を動かすと、この動作の動きベクトルが検出され、動きベクトルの検出された位置を含む所定の領域がユーザＡの映像７１から切り出されて、図６Ｃに示すように、ユーザＡのポインタ７４としてコンテンツの映像にαブレンディングされる。そして、ユーザＡの映像７１は子画面としてコンテンツの映像に重畳される。
【００６７】
同様に、図６Ｂに示すユーザＸの映像７２からも、ユーザＸの動きベクトルが検出され、ユーザＸのポインタ７５が切り出されてコンテンツの映像にαブレンディングされる。そして、ユーザＸの映像７２は子画面としてコンテンツの映像に重畳される。なお、ユーザＸの映像７２から、ユーザＸの動きを検出してユーザＸのポインタを切り出す処理は、コミュニケーション装置１−１で行ってもよいし、コミュニケーション装置１−２が行い、その結果をコミュニケーション装置１−１に供給するようにしてもよい。
【００６８】
図６Ｃに示された、コンテンツとユーザのポインタが合成された映像７３（ただし、コンテンツの映像は不図示）では、ユーザＡのポインタ７４と、ユーザＸのポインタ７５とを区別できるようにするため、ポインタの枠が色や模様によって差別化されている。なお、ユーザのポインタを区別する他の方法として、各ポインタに異なる色を付けたり、ポインタの近傍にユーザを識別できる文字、記号、マーク、ユーザの映像のサムネイル（縮小映像）等を表示するようにしてもよい。
【００６９】
図７は、第２の場合におけるポインティング処理の概要を示している。第２の場合、コミュニケーション装置１−１に複数設けられた入力部２４には、それぞれが対応するユーザを特定するための情報が予め設定されているものとする。
【００７０】
ユーザＡが、ディスプレイ２２に表示されるコンテンツと自身（ユーザＡ）のクロスフェイド方式の映像（例えば、図３Ｂに示されたもの）を見ながら、ディスプレイ２２上において、コンテンツの映像の指し示したい位置を自己の指先等が示すように、図７Ａに示すように指先等を動かすと、この動作の動きベクトルが検出され、動きベクトルの検出された位置を含む所定の領域がユーザＡの映像８１から切り出されて、図７Ｃに示すように、ユーザＡのポインタ８５としてコンテンツの映像にαブレンディングされる。そして、ユーザＡの映像８１は子画面としてコンテンツの映像に重畳される。
【００７１】
同様に、図７Ｂに示すユーザＢの映像８２からも、ユーザＢの動きベクトルが検出され、ユーザＢのポインタ８６が切り出されてコンテンツの映像にαブレンディングされる。そして、ユーザＢの映像８２は子画面としてコンテンツの映像に重畳される。
【００７２】
さらに同様に、図７Ｃに示すユーザＸの映像８３からも、ユーザＸの動きベクトルが検出され、ユーザＸのポインタ８７が切り出されてコンテンツの映像にαブレンディングされる。そして、ユーザＸの映像８３は子画面としてコンテンツの映像に重畳される。なお、ユーザＸの映像８３から、ユーザＸの動きを検出してユーザＸのポインタを切り出す処理は、コミュニケーション装置１−１で行ってもよいし、コミュニケーション装置１−２が行い、その結果をコミュニケーション装置１−１に供給するようにしてもよい。
【００７３】
図７Ｄに示された、コンテンツとユーザのポインタが合成された映像８４（ただし、コンテンツの映像は不図示）では、ユーザＡのポインタ８５と、ユーザＢのポインタ８６と、ユーザＸのポインタ８７とを区別できるようにするため、ポインタの近傍にユーザを識別できる文字が表示されている。なお、ユーザのポインタを区別する他の方法として、ポインタの枠やポインタ自身を色分けしたり、ポインタの近傍にユーザを識別できる記号、マーク、またはユーザの映像のサムネイル等を表示したりするようにしてもよい。
【００７４】
図８は、第３の場合におけるポインティング処理の概要を示している。第３の場合、コミュニケーション装置１−１に設けられた１つの入力部２４により、ユーザＡ，Ｂが同時に撮影され、図８Ａに示すようなユーザＡ，Ｂの映像９１が入力される。
【００７５】
ユーザＡ，Ｂが、それぞれ、ディスプレイ２２に表示されるコンテンツと自身等（ユーザＡ，Ｂ）のクロスフェイド方式の映像（例えば、図３Ｂに示されたもの）を見ながら、ディスプレイ２２上において、コンテンツの映像の指し示したい位置を自己の指先等が示すように、図８Ａに示すように指先等を動かすと、ユーザＡ，Ｂそれぞれの動きベクトルが検出され、ユーザＡ，Ｂそれぞれの動きベクトルの検出された位置を含む所定の領域がユーザＡ，Ｂの映像９１から切り出されて、図８Ｃに示すように、ユーザＡのポインタ９４、ユーザＢのポインタ９５としてコンテンツの映像にαブレンディングされる。そして、ユーザＡ，Ｂの映像９１は子画面としてコンテンツの映像に重畳される。
【００７６】
なお、１枚の映像９１から切り出された２つのポインタを、ユーザＡ，Ｂに対応付けるためには、例えば、図９に示すように、ユーザＡ，Ｂの指にそれぞれ異なるサイバーコード（２次元コード）１０１を装着させて、映像９１からサイバーコード１０１を読み出して解析するようにしてもよい。また、サイバーコード１０１の代わりに、色の異なる指輪等をユーザＡ，Ｂに装着させる方法が考えられる。
【００７７】
同様に、図８Ｂに示すユーザＸの映像９２からも、ユーザＸの動きベクトルが検出され、ユーザＸのポインタ９６が切り出されてコンテンツの映像にαブレンディングされる。そして、ユーザＸの映像９２は子画面としてコンテンツの映像に重畳される。なお、ユーザＸの映像９２から、ユーザＸの動きを検出してユーザＸのポインタを切り出す処理は、コミュニケーション装置１−１で行ってもよいし、コミュニケーション装置１−２が行い、その結果をコミュニケーション装置１−１に供給するようにしてもよい。
【００７８】
図８Ｃに示された、コンテンツとユーザのポインタが合成された映像９３（ただし、コンテンツの映像は不図示）では、ユーザＡのポインタ９４と、ユーザＢのポインタ９５と、ユーザＸのポインタ９６とを区別できるようにするため、ポインタの近傍にユーザの映像のサムネイルが表示されている。なお、ユーザのポインタを区別する他の方法として、ポインタの枠を色や模様により差別化したり、ポインタの近傍にユーザを識別できる文字、記号、マーク等を表示するようにしてもよい。
【００７９】
次に、図８に示された第３の場合の詳細、すなわち、コミュニケーション装置１−１においてユーザＡ，Ｂ，Ｃのポインタを表示するポインティング処理について、図１０のフローチャートを参照して説明する。このポインティング処理は、ユーザＡまたはユーザＢによりポインティング処理の開始を指示する操作が行われたときに開始される。
【００８０】
ステップＳ２１において、コミュニケーション装置１−１の鏡像生成部３６は、入力部２４から入力されたユーザＡ，Ｂの映像の鏡像を生成する。映像音声合成部３１は、生成された鏡像とコンテンツの映像をαブレンディングして、図３Ｂに示されたようなクロスフェイド映像を生成し、ディスプレイ２２に出力する。
【００８１】
ここでユーザＡとユーザＢが、ディスプレイ２２に表示されたクロスフェイド映像を見ながらディスプレイ２２上において、コンテンツの映像の指し示したい位置を自己の指先等が示すように指先等を動かすと、ステップＳ２２において、入力部２１のカメラ２５は、被写体（ユーザＡ，Ｂ）までの距離を測定し、測定結果を画像解析部３５に出力する。ステップＳ２３において、動きベクトル検出部３８は、ユーザＡ，Ｂの映像から動きベクトルを検出する。
【００８２】
ステップＳ２４において、ポインタ検出部３７は、ステップＳ２２の処理で測定されたユーザＡ，Ｂまでの距離、ステップＳ２３の処理で測定されたユーザＡ，Ｂの映像上の動きベクトル等に基づいて、ユーザＡ，Ｂの映像からポインタ（指先、手首等）を抽出する。いまの場合、２つのポインタが抽出される。ステップＳ２５において、ポインタ検出部３７は、抽出した２つのポインタに対応するユーザを識別する。具体的には、例えば、ユーザＡ，Ｂがそれぞれ指先に異なるサイバーコードを装着するようにして、抽出した２つのポインタの映像からそれぞれサイバーコードを読み出して、ユーザＡ，Ｂを識別するようにする。
【００８３】
ステップＳ２６において、映像音声合成部３１は、ユーザＡ，Ｂのポインタに、対応するユーザを示す情報（例えば、ポインタの枠の色分け、または文字、マーク、記号、あるいはサムネイル画像の表示）を付加して、コンテンツの映像にαブレンディングを行う。
【００８４】
なお、コミュニケーション装置１−２の入力部２４から入力されるユーザＸの映像についても、コミュニケーション装置１−１またはコミュニケーション装置１−２において、上述したステップＳ２１乃至２５の処理が行われ、コミュニケーション装置１−１において、上述したステップＳ２６の処理が行われる。
【００８５】
従って最終的にコミュニケーション装置１−１のディスプレイ２２には、図８Ｃに示されたような合成された映像が表示されることになる。以上で、ポインティング処理の説明を終了する。
【００８６】
なお、図６に示された第１の場合、図７に示された第２の場合の詳細については、図１０を参照して上述した説明からステップＳ２５の処理が省略されることの他は同様であるので、その説明は省略する。
【００８７】
また、上述した説明では、コミュニケーション装置１−１にコミュニケーション装置１−２が追随して動作する場合についてのみ言及しているが、この主従関係は逆転させたり、随時変更したりすることが可能である。
【００８８】
さらに、上述した説明では、コミュニケーション装置１−１に、１台のコミュニケーション装置１（コミュニケーション装置１−２）が追随する場合についてのみ言及しているが、複数台のコミュニケーション装置１を追随させるようにしてもよい。また、複数台のコミュニケーション装置１により、主従関係を逆転させたり、随時変更したりするようにしてもよい。
【００８９】
ところで、上述したコミュニケーション装置１の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１１に示すような汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【００９０】
このパーソナルコンピュータ２００は、CPU(Central Processing Unit)２０１を内蔵している。CPU２０１にはバス２０４を介して、入出力インタフェース２０５が接続されている。バス２０４には、ROM(Read Only Memory)２０２およびRAM(Random Access Memory)２０３が接続されている。
【００９１】
入出力インタフェース２０５には、ユーザが操作コマンドを入力するキーボード、マウス、等の入力デバイスよりなる入力部２０６、映像を表示したり、音声を出力したりする出力部２０７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部２０８、およびインタネットに代表されるネットワークを介した通信処理を実行する通信部２０９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどの記録媒体２１１に対してデータを読み書きするドライブ２１０が接続されている。
【００９２】
このパーソナルコンピュータ２００に上述したコミュニケーション装置１の処理を実行させるプログラムは、記録媒体２１１に格納された状態でパーソナルコンピュータ２００に供給され、ドライブ２１０によって読み出されて記憶部２０８に内蔵されるハードディスクドライブにインストールされている。記憶部２０８にインストールされているプログラムは、入力部２０６に入力されるユーザからのコマンドに対応するCPU２０１の指令によって、記憶部２０８からRAM２０３にロードされて実行される。
【００９３】
なお、本明細書において、プログラムに基づいて実行されるステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００９４】
また、プログラムは、１台のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
【００９５】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【図面の簡単な説明】
【００９６】
【図１】本発明を適用したコミュニケーションシステムの構成例を示している。
【図２】コンテンツの映像、およびユーザの映像の一例を示す図である。
【図３】コンテンツの映像と、ユーザの映像の合成例を示す図である。
【図４】図１のコミュニケーション装置の構成例を示すブロック図である。
【図５】コミュニケーション装置による遠隔コミュニケーション処理を説明するフローチャートである。
【図６】第１の場合におけるポインティング処理の概要を説明するための図である。
【図７】第２の場合におけるポインティング処理の概要を説明するための図である。
【図８】第３の場合におけるポインティング処理の概要を説明するための図である。
【図９】ユーザを識別するためのサイバーコードの一例を示す図である。
【図１０】第３の場合におけるポインティング処理を説明するフローチャートである。
【図１１】汎用パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【００９７】
１  コミュニケーション装置，  ２  通信網，  ３  コンテンツ供給サーバ，  ４  認証サーバ，  ５  放送装置，  ６  標準時刻情報供給装置，  ２１  出力部，  ２２  ディスプレイ，  ２３  スピーカ，  ２４  入力部，  ２５  カメラ，  ２６  マイク，  ２７  センサ，  ２８  通信部，  ２９  放送受信部，  ３０  コンテンツ再生部，  ３１  映像音声合成部，  ３２  記憶部，  ３３  コンテンツ，  ３４  合成情報，  ３５  画像解析部，  ３６  鏡像生成部，  ３７  ポインタ検出部，  ３８  動きベクトル検出部，  ３９  マッチング部，  ４０  通信環境検出部，  ４１  標準時刻計時部，  ４２  操作入力部，  ４３  制御部，  ４４  セッション管理部，  ４５  視聴記録レベル設定部，  ４６  再生同期部，  ４７  合成制御部，  ４８  再生許可部，  ４９  記録許可部，  ５０  操作情報出力部，  ５１  電子機器制御部，  ２００  パーソナルコンピュータ，  ２０１  CPU，  ２１１  記録媒体
【図１】
2006041884.tif 000003
【図２】
2006041884.tif 000004
【図３】
2006041884.tif 000005
【図４】
2006041884.tif 000006
【図５】
2006041884.tif 000007
【図６】
2006041884.tif 000008
【図７】
2006041884.tif 000009
【図８】
2006041884.tif 000010
【図９】
2006041884.tif 000011
【図１０】
2006041884.tif 000012
【図１１】
2006041884.tif 000013