(57)【要約】【課題】  遠隔地にいる話者同士が同時に視聴したコンテンツと、話者の映像および音声とを再現可能なように記録する。【解決手段】  ステップＳ１１で、コンテンツの映像および音声とユーザの映像および音声との合成状況の設定に関するパラメータと、現在の標準時刻を示す情報を含む合成情報が生成され記憶される。ステップＳ１３で、現在再生中のコンテンツに標準時刻が付加されて記録が開始される。ステップＳ１５で、ユーザＡ等のリアルタイムデータに標準時刻が付加されて記録が開始される。ステップＳ１７で、ユーザＸのリアルタイムデータに標準時刻が付加されて記録が開始される。ステップＳ１８で、合成の設定が変更されたか否かが判定され、変更された場合、ステップＳ１９で、合成情報が再生成されて記憶される。本発明は、例えば、遠隔地間のコミュニケーション装置に適用することができる。【選択図】  図６
2006041888.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介して他の情報処理装置と通信する情報処理装置において、
前記他の情報処理装置と同期して同一のコンテンツデータを再生する再生手段と、
ユーザの音声および映像を、前記ネットワークを介して前記他の情報処理装置と通信する通信手段と、
ユーザからの設定に基づき、前記再生手段によって再生された前記コンテンツデータの映像および音声と前記ユーザの映像および音声とを合成する合成手段と、
前記コンテンツデータ、前記ユーザの映像および音声、並びに、前記コンテンツデータの映像および音声と前記ユーザの映像および音声との合成状況を示す合成情報を記憶する記憶手段と、
前記記憶手段によって記憶された前記合成情報に基づき、前記再生手段および前記合成手段を制御して、前記記憶手段に記憶された前記コンテンツデータの映像および音声と前記ユーザの映像および音声との合成を再現させる再現制御手段と
を含むことを特徴とする情報処理装置。
【請求項２】
前記記憶手段によって記憶された前記コンテンツデータ、並びに前記ユーザの映像および音声には、前記合成手段によって合成されたときの時刻を示す時刻情報が付加され、前記合成情報には、前記合成情報が生成されたとき、または前記合成状況の設定が変更されたときの時刻を示す時刻情報が付加されている
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
ネットワークを介して他の情報処理装置と通信する情報処理方法において、
前記他の情報処理装置と同期して同一のコンテンツデータを再生する再生ステップと、
ユーザの音声および映像を、前記ネットワークを介して前記他の情報処理装置と通信する通信ステップと、
ユーザからの設定に基づき、前記再生ステップの処理で再生された前記コンテンツデータの映像および音声と前記ユーザの映像および音声とを合成する合成ステップと、
前記コンテンツデータ、前記ユーザの映像および音声、並びに、前記コンテンツデータの映像および音声と前記ユーザの映像および音声との合成状況を示す合成情報を記憶する記憶ステップと、
前記記憶ステップの処理で記憶された前記合成情報に基づき、前記再生ステップおよび前記合成ステップを制御して、前記記憶ステップの処理で記憶された前記コンテンツデータの映像および音声と前記ユーザの映像および音声との合成を再現させる再現制御ステップと
を含むことを特徴とする情報処理方法。
【請求項４】
ネットワークを介して他の情報処理装置と通信するためのプログラムであって、
前記他の情報処理装置と同期して同一のコンテンツデータを再生する再生ステップと、
ユーザの音声および映像を、前記ネットワークを介して前記他の情報処理装置と通信する通信ステップと、
ユーザからの設定に基づき、前記再生ステップの処理で再生された前記コンテンツデータの映像および音声と前記ユーザの映像および音声とを合成する合成ステップと、
前記コンテンツデータ、前記ユーザの映像および音声、並びに、前記コンテンツデータの映像および音声と前記ユーザの映像および音声との合成状況を示す合成情報を記憶する記憶ステップと、
前記記憶ステップの処理で記憶された前記合成情報に基づき、前記再生ステップおよび前記合成ステップを制御して、前記記憶ステップの処理で記憶された前記コンテンツデータの映像および音声と前記ユーザの映像および音声との合成を再現させる再現制御ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項５】
ネットワークを介して他の情報処理装置と通信するためのプログラムであって、
前記他の情報処理装置と同期して同一のコンテンツデータを再生する再生ステップと、
ユーザの音声および映像を、前記ネットワークを介して前記他の情報処理装置と通信する通信ステップと、
ユーザからの設定に基づき、前記再生ステップの処理で再生された前記コンテンツデータの映像および音声と前記ユーザの映像および音声とを合成する合成ステップと、
前記コンテンツデータ、前記ユーザの映像および音声、並びに、前記コンテンツデータの映像および音声と前記ユーザの映像および音声との合成状況を示す合成情報を記憶する記憶ステップと、
前記記憶ステップの処理で記憶された前記合成情報に基づき、前記再生ステップおよび前記合成ステップを制御して、前記記憶ステップの処理で記憶された前記コンテンツデータの映像および音声と前記ユーザの映像および音声との合成を再現させる再現制御ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および方法、記録媒体、並びにプログラムに関し、特に、ネットワークを介して接続された他の情報処理装置と、ユーザの音声や映像を通信するとともに、同一のコンテンツを同期して再生するようにし、さらに、ユーザの音声や映像と再生したコンテンツを記録するようにした情報処理装置および方法、記録媒体、並びにプログラムに関する。
【背景技術】
【０００２】
従来、遠隔地にいる人同士の交流（以下、遠隔コミュニケーションと記述する）に用いる装置として、電話、いわゆるテレビ電話、ビデオ会議システム等が存在する。また、パーソナルコンピュータ等を用いてインタネットに接続し、テキストチャット、映像と音声を伴うビデオチャット等を行う方法もある。
【０００３】
さらに、遠隔コミュニケーションを実行しようとする人（以下、話者と記述する）がそれぞれパーソナルコンピュータ等を用い、インタネットを介して仮想空間を共有したり、同一のコンテンツを共用したりすることも提案されている（例えば、特許文献１参照）。
【０００４】
【特許文献１】特開２００３−２７１５３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来技術でも、遠隔地にいる話者同士が同一のコンテンツ（例えば、テレビジョン番組）を視聴しながら話者の映像や音声を通信し、コンテンツの映像および音声と話者の映像や音声を合成して出力することは可能であった。この合成された映像および音声を記録しようとした場合、コンテンツの映像および音声と話者の映像や音声を個々に記録する第１の記録方法か、コンテンツの映像および音声とユーザの映像および音声を合成した状態で記録する第２の記録方法が考えられる。
【０００６】
しかしながら、第１の記録方法では、それを再生した場合、コンテンツの映像および音声と話者の映像および音声との合成状態が不明であるので、記録時の合成された状態の映像および音声を再現することができないという課題があった。
【０００７】
第２の記録方法では、それを再生した場合、記録時の合成された映像および音声を再現することは可能であるが、コンテンツの映像および音声と、話者の映像および音声とを記録時とは異なる状態で再び合成することができないという課題があった。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、遠隔地にいる話者同士が同時に視聴したコンテンツと、話者の映像および音声とを、記録時の合成された状態を再現可能であって、且つ、記録時とは異なる状態で合成して再生可能なように記録することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の情報処理装置は、他の情報処理装置と同期して同一のコンテンツデータを再生する再生手段と、ユーザの音声および映像を、ネットワークを介して他の情報処理装置と通信する通信手段と、ユーザからの設定に基づき、再生手段によって再生されたコンテンツデータの映像および音声とユーザの映像および音声とを合成する合成手段と、コンテンツデータ、ユーザの映像および音声、並びに、コンテンツデータの映像および音声とユーザの映像および音声との合成状況を示す合成情報を記憶する記憶手段と、記憶手段によって記憶された合成情報に基づき、再生手段および合成手段を制御して、記憶手段に記憶されたコンテンツデータの映像および音声とユーザの映像および音声との合成を再現させる再現制御手段とを含むことを特徴とする。
【００１０】
前記記憶手段によって記憶されたコンテンツデータ、並びにユーザの映像および音声には、合成手段によって合成されたときの時刻を示す時刻情報が付加され、合成情報には、合成情報が生成されたとき、または合成状況の設定が変更されたときの時刻を示す時刻情報が付加されているようにすることができる。
【００１１】
本発明の情報処理方法は、他の情報処理装置と同期して同一のコンテンツデータを再生する再生ステップと、ユーザの音声および映像を、ネットワークを介して他の情報処理装置と通信する通信ステップと、ユーザからの設定に基づき、再生ステップの処理で再生されたコンテンツデータの映像および音声とユーザの映像および音声とを合成する合成ステップと、コンテンツデータ、ユーザの映像および音声、並びに、コンテンツデータの映像および音声とユーザの映像および音声との合成状況を示す合成情報を記憶する記憶ステップと、記憶ステップの処理で記憶された合成情報に基づき、再生ステップおよび合成ステップを制御して、記憶ステップの処理で記憶されたコンテンツデータの映像および音声とユーザの映像および音声との合成を再現させる再現制御ステップとを含むことを特徴とする。
【００１２】
本発明の記録媒体のプログラムは、他の情報処理装置と同期して同一のコンテンツデータを再生する再生ステップと、ユーザの音声および映像を、ネットワークを介して他の情報処理装置と通信する通信ステップと、ユーザからの設定に基づき、再生ステップの処理で再生されたコンテンツデータの映像および音声とユーザの映像および音声とを合成する合成ステップと、コンテンツデータ、ユーザの映像および音声、並びに、コンテンツデータの映像および音声とユーザの映像および音声との合成状況を示す合成情報を記憶する記憶ステップと、記憶ステップの処理で記憶された合成情報に基づき、再生ステップおよび合成ステップを制御して、記憶ステップの処理で記憶されたコンテンツデータの映像および音声とユーザの映像および音声との合成を再現させる再現制御ステップとを含むことを特徴とする。
【００１３】
本発明のプログラムは、他の情報処理装置と同期して同一のコンテンツデータを再生する再生ステップと、ユーザの音声および映像を、ネットワークを介して他の情報処理装置と通信する通信ステップと、ユーザからの設定に基づき、再生ステップの処理で再生されたコンテンツデータの映像および音声とユーザの映像および音声とを合成する合成ステップと、コンテンツデータ、ユーザの映像および音声、並びに、コンテンツデータの映像および音声とユーザの映像および音声との合成状況を示す合成情報を記憶する記憶ステップと、記憶ステップの処理で記憶された合成情報に基づき、再生ステップおよび合成ステップを制御して、記憶ステップの処理で記憶されたコンテンツデータの映像および音声とユーザの映像および音声との合成を再現させる再現制御ステップとを含むことを特徴とする。
【００１４】
本発明の情報処理装置および方法。並びにプログラムにおいては、ユーザの音声および映像が、ネットワークを介して他の情報処理装置と通信され、ユーザからの設定に基づき、再生されたコンテンツデータの映像および音声とユーザの映像および音声とが合成される。また、コンテンツデータ、ユーザの映像および音声、並びに、コンテンツデータの映像および音声とユーザの映像および音声との合成状況を示す合成情報が記憶され、記憶された合成情報に基づき、記憶されたコンテンツデータの映像および音声とユーザの映像および音声との合成が再現される。
【発明の効果】
【００１５】
本発明によれば、遠隔地にいる話者同士が同時に視聴したコンテンツと、話者の映像および音声とを、記録時を再現可能であって、且つ、記録時とは異なる状態で再生可能なように記録することが可能となる。
【発明を実施するための最良の形態】
【００１６】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００１７】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加されたりする発明の存在を否定するものではない。
【００１８】
請求項１に記載の情報処理装置（例えば、図１のコミュニケーション装置１−１）は、他の情報処理装置（例えば、図１のコミュニケーション装置１−２）と同期して同一のコンテンツデータを再生する再生手段（例えば、図４のコンテンツ再生部３０）と、ユーザの音声および映像を、ネットワーク（例えば、図１の通信網２）を介して他の情報処理装置と通信する通信手段（例えば、図４の通信部２８）と、ユーザからの設定に基づき、再生手段によって再生されたコンテンツデータの映像および音声とユーザの映像および音声とを合成する合成手段（例えば、図４の映像音声合成部２８）と、コンテンツデータ、ユーザの映像および音声、並びに、コンテンツデータの映像および音声とユーザの映像および音声との合成状況を示す合成情報を記憶する記憶手段（例えば、図４の記憶部３２）と、記憶手段によって記憶された合成情報に基づき、再生手段および合成手段を制御して、記憶手段に記憶されたコンテンツデータの映像および音声とユーザの映像および音声との合成を再現させる再現制御手段（例えば、図４の合成制御部４７）とを含む。
【００１９】
請求項３に記載の情報処理方法は、他の情報処理装置と同期して同一のコンテンツデータを再生する再生ステップ（例えば、図４のステップＳ４）と、ユーザの音声および映像を、ネットワーク（例えば、図１の通信網２）を介して他の情報処理装置（例えば、図１のコミュニケーション装置１−２）と通信する通信ステップ（例えば、図４のステップＳ２）と、ユーザからの設定に基づき、再生ステップの処理で再生されたコンテンツデータの映像および音声とユーザの映像および音声とを合成する合成ステップ（例えば、図４のステップＳ６）と、コンテンツデータ、ユーザの映像および音声、並びに、コンテンツデータの映像および音声とユーザの映像および音声との合成状況を示す合成情報を記憶する記憶ステップ（例えば、図４のステップＳ５）と、記憶ステップの処理で記憶された合成情報に基づき、再生ステップおよび合成ステップを制御して、記憶ステップの処理で記憶されたコンテンツデータの映像および音声とユーザの映像および音声との合成を再現させる再現制御ステップ（例えば、図７のステップＳ３４）とを含む。
【００２０】
なお、本発明の記録媒体に記録されているプログラム、および本発明のプログラムの請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係は、上述した本発明の情報処理方法のものと同様であるので、その記載は省略する。
【００２１】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００２２】
図１は、本発明を適用したコミュニケーションシステムの構成例を示している。このコミュニケーションシステムにおいて、コミュニケーション装置１−１は、通信網２を介して他のコミュニケーション装置１（図１の場合、コミュニケーション装置１−２）と接続し、いわゆるテレビ電話のようにユーザの音声および映像を相互に通信することに加え、共通のコンテンツ（例えば、テレビジョン放送等を受信して得られる番組コンテンツ、予めダウンロード等により取得済の映画等のコンテンツ、ユーザ間で授受した私的なコンテンツ等の動画像、静止画像等）を他のコミュニケーション装置１−２と同期して再生することにより、ユーザ間の遠隔コミュニケーションを支援するものである。以下、コミュニケーション装置１−１および１−２を個々に区別する必要がない場合、単にコミュニケーション装置１と記述する。
【００２３】
コミュニケーション装置１は、複数のユーザが同時に利用することができる。例えば、図１の場合、コミュニケーション装置１−１は、ユーザＡ，Ｂによって使用されており、コミュニケーション装置１−２は、ユーザＸによって使用されているものとする。
【００２４】
例えば、共通のコンテンツの映像が図２Ａに示すようなものであり、コミュニケーション装置１−１によって撮影されたユーザＡの映像が図２Ｂに示すようなものであり、コミュニケーション装置１−２によって撮影されたユーザＸの映像が図２Ｃに示すようなものであるとする。この場合、コミュニケーション装置１−１のディスプレイ２２（図４）には、例えば、図３Ａに示すピクチャインピクチャ(picture in picture)、図３Ｂに示すクロスフェイド(cross fade)、または図３Ｃに示すワイプ(wipe)の方式で、コンテンツとユーザの映像が重畳されて表示される。
【００２５】
なお、図３Ａに示されたピクチャインピクチャにおいては、コンテンツの映像にユーザの映像が小画面として重畳される。小画面の表示位置およびサイズは、ユーザが任意に変更可能である。また、自身（ユーザＡ）とコミュニケーション相手（ユーザＸ）の映像の両方ではなく、一方の小画面だけを表示させることも可能である。さらに、コンテンツの映像がユーザの映像の小画面を透過するように、いわゆる、αブレンディングさせてもよい。
【００２６】
図３Ｂに示されたクロスフェイドにおいては、コンテンツの映像にユーザ（ユーザＡまたはユーザＸ）の映像がαブレンディングされて表示される。このクロスフェイドは、例えばコンテンツの映像上の任意の位置や領域をユーザが指し示すとき等に用いることができる。
【００２７】
図３Ｂに示されたワイプにおいては、コンテンツの映像を覆うようにユーザの映像が所定の方向から出現する。
【００２８】
なお、コンテンツとユーザの映像の表示は、上述した方式以外の方式を適用してもよい。映像と同様、コンテンツとユーザの音声についても、音量や左右バランスなどがユーザの設定に基づいて合成されるようになされている。コンテンツとユーザの映像および音声の合成方式は随時変更が可能である。
【００２９】
コンテンツとユーザの映像および音声の合成状況、例えば、ピクチャインピクチャ、クロスフェイド、またはワイプの区別、ピクチャインピクチャが採用されているときの子画面のサイズや位置、クロスフェイドが採用されているときのαブレンディングの透過度、音量等の割合等は、ユーザが任意に設定することが可能であり、これらの設定に関するパラメータは、その設定が変更された時刻を示す情報を含む合成情報３４（図４）として記録される。
【００３０】
図１に戻る。通信網２は、インタネット等に代表される広帯域なデータ通信網である。コンテンツ供給サーバ３は、コミュニケーション装置１からの要求に応じ、通信網２を介してコンテンツをコミュニケーション装置１に供給する。認証サーバ４は、コミュニケーション装置１のユーザが当該コミュニケーションシステムを利用するに際しての認証、課金等の処理を行う。
【００３１】
放送装置５は、テレビジョン放送等の番組としてコンテンツを送信する。したがって、各コミュニケーション装置１は、放送装置５から放送されるコンテンツを同期して受信し、再生することができる。なお、放送装置５からコミュニケーション装置１に対するコンテンツの送信は無線であってもよいし、有線であってもよい。また、通信網２を介してもかまわない。
【００３２】
標準時刻情報供給装置６は、コミュニケーション装置１に内蔵された時計（標準時刻計時部４１（図４））を、標準時刻（世界標準時、日本標準時刻等）に整合させるための標準時刻情報を各コミュニケーション装置１に供給する。なお、標準時刻情報供給装置６からコミュニケーション装置１に対する標準時刻情報の供給は、無線であってもよいし、有線であってもよい。また、通信網２を介してもかまわない。
【００３３】
次に、コミュニケーション装置１−１の詳細な構成例について、図４を参照して説明する。
【００３４】
コミュニケーション装置１−１において、出力部２１は、ディスプレイ２２およびスピーカ２３より構成され、映像音声合成部３１から入力される映像信号および音声信号にそれぞれ対応する映像を表示し、音声を出力する。
【００３５】
入力部２４は、ユーザの映像（動画像または静止画像）を撮影するカメラ２５、ユーザの音声を集音するマイク２６、およびユーザの周囲環境情報（明度、温度、湿度等）を検出するセンサ２７より構成され、取得した動画像、音声、および周辺環境情報を含むユーザのリアルタイム（ＲＴ）データを通信部２８および記憶部３２に出力する。カメラ２５は、被写体（ユーザ）までの距離を計測可能な機能を有している。また、入力部２４は、取得したユーザの映像および音声を映像音声合成部３１に出力する。さらに、入力部２４は、取得した映像を画像解析部３５に出力する。なお、入力部２４を複数（図４の場合は２つ）設けて、それぞれを複数のユーザ（図１のユーザＡ，Ｂ）に指向させるようにしてもよい。
【００３６】
通信部２８は、入力部２４から入力されるユーザＡのリアルタイムデータを、通信網２を介してコミュニケーション相手のコミュニケーション装置１−２に送信するとともに、コミュニケーション装置１−２が送信したユーザＸのリアルタイムデータを受信し、映像音声合成部３１、記憶部３２、および画像解析部３５に出力する。また、通信部２８は、コミュニケーション相手のコミュニケーション装置１−２またはコンテンツ供給サーバ３から通信網２を介して供給されたコンテンツを受信し、コンテンツ再生部３０および記憶部３２に出力する。さらに、通信部２８は、記憶部３２に記憶されているコンテンツ３３や、操作情報出力部５０によって生成された操作情報を、通信網２を介してコミュニケーション装置１−２に送信する。
【００３７】
放送受信部２９は、放送装置５から放送されたテレビジョン放送信号を受信し、得られた放送番組としてのコンテンツをコンテンツ再生部３０に出力する。コンテンツ再生部３０は、放送受信部２９によって受信された放送番組のコンテンツ、通信部２８によって受信されたコンテンツ、または記憶部３２から読み出されるコンテンツを再生し、得られたコンテンツの映像および音声を映像音声合成部３１および画像解析部３５に出力する。
【００３８】
映像音声合成部３１は、コンテンツ再生部３０から入力されるコンテンツの映像と、ユーザの映像と、OSD(On Screen Display)用の映像とをαブレンディング等によって合成し、その結果得られた映像信号を出力部２１に出力する。また、映像音声合成部３１は、コンテンツ再生部３０から入力されるコンテンツの音声と、ユーザの音声を合成し、その結果得られた音声信号を出力部２１に出力する。
【００３９】
記憶部３２は、入力部２４から供給されるユーザ（ユーザＡ等）のリアルタイムデータ、通信部２８から供給されるコミュニケーション相手（ユーザＸ）のリアルタイムデータ、放送受信部２９によって受信された放送番組のコンテンツ、通信部２８から供給されるコンテンツに、制御部４３を介して標準時刻計時部４１から供給される標準時刻を定期的に付加して記憶する。また、記憶部３２は、合成制御部４７によって生成された合成情報３４も記憶する。
【００４０】
画像解析部３５は、コンテンツ再生部３０から入力されるコンテンツの映像、およびユーザの映像（コミュニケーション装置１−２からのものも含む）の明度や輝度を解析し、その解析結果を合成制御部４７に出力する。画像解析部３５の鏡像生成部３６は、ユーザ（コミュニケーション装置１−２からのものも含む）の映像の鏡像を生成する。ポインタ検出部３７は、動きベクトル検出部３８によって検出されるユーザの動きベクトル等に基づき、ユーザの映像（コミュニケーション装置１−２からのものも含む）からユーザが所望の位置を指し示すポインタとなる手首や指先等を検出して、その映像を抽出する。なお、入力部２４からの映像に複数のユーザが含まれている場合、複数のポインタを検出してユーザを対応付ける。動きベクトル検出部３８は、ユーザの映像（コミュニケーション装置１−２からのものも含む）から、ユーザの動作を示す動きベクトルを検出し、その発生ポイントと軌跡を識別する。マッチング部３９は、検出されたユーザの動きベクトルが、予め想定されているユーザの動きのいずれに合致するかを判定し、判定結果を動きベクトルマッチング情報として制御部４３に出力する。
【００４１】
通信環境検出部４０は、通信部２８と通信網２を介したコミュニケーション装置１−２との通信環境（通信レート、通信遅延時間等）を監視して、監視結果を制御部４３に出力する。標準時刻計時部４１は、標準時刻情報供給装置６から供給される標準時刻情報に基づき、自己が刻む標準時刻を整合し、標準時刻を制御部４３に供給する。操作入力部４２は、例えばリモートコントローラ等から成り、ユーザの操作を受け付けて、対応する操作信号を制御部４３に入力する。
【００４２】
制御部４３は、操作入力部４２から入力されるユーザの操作に対応した操作信号や画像解析部３５から入力される動きベクトルマッチング情報等に基づいて、コミュニケーション装置１−１を構成する各部を制御する。制御部４３は、セッション管理部４４、視聴記録レベル設定部４５、再生同期部４６、合成制御部４７、再生許可部４８、記録許可部４９、操作情報出力部５０、および電子機器制御部５１を含んでいる。なお、図４において、制御部４３からコミュニケーション装置１−１を構成する各部への制御ラインの図示は省略されている。
【００４３】
セッション管理部４４は、通信部２８が通信網２を介して通信コミュニケーション装置１−２、コンテンツ供給サーバ３、認証サーバ４等と接続する処理を制御する。視聴記録レベル設定部４５は、ユーザからの設定操作に基づき、入力部２４に取得されたユーザのリアルタイムデータを、コミュニケーション相手のコミュニケーション装置１−２において再生可能であるか否か、記録可能であるか否か、記録可能である場合の記録可能回数等を設定し、この設定情報を通信部２８からコミュニケーション装置１−２に通知させる。
【００４４】
視聴記録レベル設定部４５によれば、ユーザの映像および音声に対して視聴レベルおよび記録レベルを設定することが可能となるので、プライベートな映像および音声の流出を防ぐことが可能となる。
【００４５】
再生同期部４６は、コミュニケーション相手のコミュニケーション装置１−２と同期して同一のコンテンツが再生されるように、放送受信部２９やコンテンツ再生部３０を制御する。
【００４６】
合成制御部４７は、コンテンツの映像および音声とユーザの映像および音声が、ユーザからの設定操作に従って合成されるように、画像解析部３５の解析結果等に基づいて映像音声合成部３１を制御する。また、合成制御部４７は、コンテンツの映像および音声とユーザの映像および音声との合成状況、例えば、ピクチャインピクチャ、クロスフェイド、またはワイプの区別、ピクチャインピクチャが採用されているときの子画面のサイズや位置、クロスフェイドが採用されているときのαブレンディングの透過度、音量等の割合等の設定に関するパラメータを、その設定が変更された標準時刻を示す情報を含む合成情報３４を生成して、記憶部３２に記憶させる。
【００４７】
再生許可部４８は、コンテンツに付加されているライセンス情報等に基づいて当該コンテンツの再生の可否を判断し、判断結果に基づいてコンテンツ再生部３０を制御する。記録許可部４９は、コミュニケーション相手の設定やコンテンツに付加されているライセンス情報に基づき、ユーザのリアルタイムデータやコンテンツの記録の可否を判断し、判断結果に基づいて記憶部３２を制御する。再生許可部４８および記録許可部４９によれば、コンテンツの視聴および記録のコピーコントロール制御が可能となる。
【００４８】
操作情報出力部５０は、ユーザによる操作（テレビジョン放送受信時のチャンネル切り換え操作、コンテンツ再生開始、再生終了、早送り再生の操作等）に対応して、その操作内容や操作時刻等を含む操作情報（詳細は後述する）を生成し、通信部２８からコミュニケーション相手のコミュニケーション装置１−２に通知させる。この操作情報は、コンテンツの同期再生に利用される。
【００４９】
電子機器制御部５１は、画像解析部３５から入力される動きベクトルマッチング情報に基づき、コミュニケーション装置１−１に接続（無線接続を含む）された所定の電子機器（例えば、照明機器、空調機器等。いずれも不図示）を制御する。
【００５０】
なお、コミュニケーション装置１−２の詳細な構成例については、図４に示されたコミュニケーション装置１−１の構成例と同様であるので、その説明は省略する。
【００５１】
次に、コミュニケーション装置１−１によるコミュニケーション装置１−２との遠隔コミュニケーション処理について、図５のフローチャートを参照して説明する。
【００５２】
この遠隔コミュニケーション処理は、コミュニケーション装置１−２との遠隔コミュニケーションの開始を指示する操作が操作入力部４２に入力され、この操作に対応する操作信号が制御部４３に入力されたときに開始される。
【００５３】
ステップＳ１において、通信部２８は、セッション管理部４４の制御に基づき、通信網２を介してコミュニケーション装置１−２に接続し、遠隔コミュニケーションの開始を通知する。この通知に対応して、コミュニケーション装置１−２は、遠隔コミュニケーションの開始の受諾を返信する。
【００５４】
ステップＳ２において、通信部２８は、制御部４３の制御に基づき、入力部２４から入力されるユーザＡ等のリアルタイムデータを、通信網２を介してコミュニケーション装置１−２に送信し始めるとともに、コミュニケーション装置１−２から送信されたユーザＸのリアルタイムデータの受信を開始する。送信されたユーザＡ等のリアルタイムデータに含まれる映像および音声と、受信されたユーザＸのリアルタイムデータに含まれる映像および音声は、記憶部３２および映像音声合成部３１に入力される。
【００５５】
ステップＳ３において、通信部２８は、セッション管理部４４の制御に基づき、通信網２を介して認証サーバ４に接続し、コンテンツ取得のための認証処理を行う。この認証処理の後、通信部２８は、通信網２を介してコンテンツ供給サーバ３にアクセスし、ユーザが指定するコンテンツを取得する。このとき、コミュニケーション装置１−２でも同様の処理が行われ、同一のコンテンツが取得されているものとする。
【００５６】
なお、テレビジョン放送されているコンテンツを受信する場合や、既に取得済で記憶部３２に記憶されているコンテンツを再生する場合、ステップＳ３の処理は省略することができる。
【００５７】
ステップＳ４において、コンテンツ再生部３０は、再生同期部４６の制御に基づき、コミュニケーション装置１−２と同期したコンテンツの再生処理（以下、コンテンツ同期再生処理と記述する）を開始する。具体的には、例えば、ユーザからの操作（チャンネル切り換え操作、早送り再生開始操作等）をコミュニケーション装置１−２に通知し、コミュニケーション装置１−１にコミュニケーション装置１−２を追随させるようにする。
【００５８】
ステップＳ５において、記憶部３２は、遠隔コミュニケーション記録処理を開始する。具体的には、再生が開始されたコンテンツ、送信されたユーザＡ等のリアルタイムデータに含まれる映像および音声、受信されたユーザＸのリアルタイムデータに含まれる映像および音声、並びに、これらの合成の状態を示す合成制御部４７によって生成された合成情報３４の記録が開始される。この遠隔コミュニケーション記録処理の詳細については、図６を参照して後述する。
【００５９】
ステップＳ６において、映像音声合成部３１は、合成制御部４７の制御に従い、再生されたコンテンツの映像および音声と、送信されたユーザＡ等のリアルタイムデータに含まれる映像および音声と、受信されたユーザＸのリアルタイムデータに含まれる映像および音声とを合成し、この結果得られた映像信号および音声信号を出力部２１に供給する。出力部２１は、供給された映像信号に対応する映像を表示し、音声信号に対応する音声を出力する。この段階でユーザ間の映像および音声の通信と、コンテンツの同期再生が開始されたことになる。
【００６０】
さらにステップＳ６において、映像音声合成部３１等の処理と平行して画像解析部３５のポインタ検出部３５は、ユーザＡ等のリアルタイムデータに含まれる映像に基づき、ユーザＡ等のポインタを検出し、画面上に表示する等の処理（ポインティング処理）を実行する。
【００６１】
ステップＳ７において、制御部４３は、ユーザから遠隔コミュニケーションの終了を指示する操作が行われたか否かを判定し、行われたと判定するまで待機する。ユーザから遠隔コミュニケーションの終了を指示する操作が行われたと判定された場合、処理はステップＳ８に進む。
【００６２】
ステップＳ８において、通信部２８は、セッション管理部４４からの制御に基づき、通信網２を介してコミュニケーション装置１−２に接続し、遠隔コミュニケーションの終了を通知する。この通知に対応して、コミュニケーション装置１−２は、遠隔コミュニケーションの終了の受諾を返信する。
【００６３】
ステップＳ９において、記憶部３２は、コミュニケーション記録処理を終了する。このときまでに記録された、再生されたコンテンツ、ユーザＡ等のリアルタイムデータに含まれる映像および音声、受信されたユーザＸのリアルタイムデータに含まれる映像および音声、並びに合成情報３４は、今後において、今回の遠隔コミュニケーションが再現されるときに利用される。
【００６４】
以上、コミュニケーション装置１−１による遠隔コミュニケーション処理の説明を終了する。
【００６５】
なお、上述した説明では、コミュニケーション装置１−１にコミュニケーション装置１−２が追随する（コミュニケーション装置１−１にコミュニケーション装置１−２が同期してコンテンツを再生する）場合についてのみ言及しているが、この主従関係は逆転させたり、随時変更したりすることが可能である。
【００６６】
さらに、上述した説明では、コミュニケーション装置１−１に、１台のコミュニケーション装置１（コミュニケーション装置１−２）が追随する場合についてのみ言及しているが、複数台のコミュニケーション装置１を追随させるようにしてもよい。また、複数台のコミュニケーション装置１により、主従関係を逆転させたり、随時変更したりするようにしてもよい。
【００６７】
次に、上述した図５の遠隔コミュニケーション処理におけるステップＳ５の遠隔コミュニケーション記録処理について、図６を参照して詳述する。
【００６８】
ステップＳ１１において、合成制御部４７は、現段階でユーザにより設定されている、コンテンツの映像および音声とユーザの映像および音声との合成状況の設定に関するパラメータと、現在の標準時刻を示す情報を含む合成情報３４を生成して、記憶部３２に記憶させる。
【００６９】
ステップＳ１２において、記録許可部４９は、現在再生中のコンテンツの属性情報（メタデータ）等に基づき、現在再生中のコンテンツが記録可能であるか否かを判定する。現在再生中のコンテンツが記録可能であると判定された場合、処理はステップＳ１３に進む。ステップＳ１３において、記憶部３２は、記録許可部４９からの制御に従い、現在再生中のコンテンツに、制御部４３を介して標準時刻計時部４１から供給される標準時刻を定期的に付加して記憶する処理を開始する。なお、ステップＳ１２において、現在再生中のコンテンツが記録可能ではないと判定された場合、ステップＳ１３はスキップされる。
【００７０】
ステップＳ１４において、記録許可部４９は、ユーザからの設定に基づき、ユーザ（ユーザＡ等）のリアルタイムデータが記録可能であるか否かを判定する。ユーザＡ等のリアルタイムデータが記録可能であると判定された場合、処理はステップＳ１５に進む。ステップＳ１５において、記憶部３２は、記録許可部４９からの制御に従い、ユーザＡ等のリアルタイムデータに、制御部４３を介して標準時刻計時部４１から供給される標準時刻を定期的に付加して記憶する処理を開始する。なお、ステップＳ１４において、ユーザＡ等のリアルタイムデータが記録可能ではないと判定された場合、ステップＳ１５はスキップされる。
【００７１】
ステップＳ１６において、記録許可部４９は、コミュニケーション装置１−２からの通知に基づき、コミュニケーション装置１−２のユーザ（ユーザＸ）のリアルタイムデータが記録可能であるか否かを判定する。ユーザＸのリアルタイムデータが記録可能であると判定された場合、処理はステップＳ１７に進む。ステップＳ１７において、記憶部３２は、記録許可部４９からの制御に従い、ユーザＸのリアルタイムデータに、制御部４３を介して標準時刻計時部４１から供給される標準時刻を定期的に付加して記憶する処理を開始する。なお、ステップＳ１６において、ユーザＸのリアルタイムデータが記録可能ではないと判定された場合、ステップＳ１７はスキップされる。
【００７２】
なお、ステップＳ１２およびＳ１３、ステップＳ１４およびＳ１５、並びにステップＳ１６およびＳ１７の処理は、便宜上、順序立てて説明したが、実際には変更して行われる。
【００７３】
ステップＳ１８において、合成制御部４７は、ユーザにより、コンテンツの映像および音声とユーザの映像および音声との合成の設定が変更されたか否かを判定し、合成の設定が変更されたと判定されるまで待機する。合成の設定が変更されたと判定された場合、処理はステップＳ１９に進む。ステップＳ１９において、合成制御部４７は、ユーザにより変更された、コンテンツの映像および音声とユーザの映像および音声との合成状況の設定に関するパラメータと、現在の標準時刻を示す情報を含む合成情報３４を生成して、記憶部３２に記憶させる。この後、処理はステップＳ１８に戻り、それ以降の処理繰り返される。そして、この遠隔コミュニケーション処理は、上述したように、ユーザから遠隔コミュニケーションの終了を指示する操作が行われるまで継続される。以上で、遠隔コミュニケーション記録処理の説明を終了する。
【００７４】
次に、コミュニケーション装置１−１による、遠隔コミュニケーション記録処理によって記録されたコンテンツの映像および音声、ユーザの映像および音声、並びに合成情報に基づいて、遠隔コミュニケーションを再現する処理（以下、遠隔コミュニケーション再現処理と記述する）について、図７のフローチャートを参照して説明する。この遠隔コミュニケーション再現処理は、例えば、記憶部３２に記憶されているコンテンツ３３の再生を指示するユーザからの操作に対応して開始される。
【００７５】
ステップＳ３１において、制御部４３は、操作入力部４２に対してユーザから、遠隔コミュニケーションの再現を指示する操作が行われたか否かを判定する。遠隔コミュニケーションの再現を指示する操作が行われたと判定された場合、処理はステップＳ３２に進む。
【００７６】
ステップＳ３２において、合成制御部４７は、記憶部３２に記憶されている合成情報を取得する。ステップＳ３３において、合成制御部４７は、合成情報に含まれる標準時刻と、記憶部３２に記憶されているコンテンツに付加されている時刻情報と、ユーザのリアルタイムデータに付加されている時刻情報と同期させて再生を開始させる。これにより、映像音声合成部３７には、コンテンツの映像および音声とユーザの映像および音声が入力される。ステップＳ３４において、映像音声合成部３１は、ステップＳ３２の処理で取得した合成情報に基づく合成制御部４７からの制御に従い、コンテンツの映像および音声とユーザの映像および音声とを合成して出力部２１に出力する。これにより、記録時の遠隔コミュニケーションが完全に再現されたことになる。
【００７７】
なお、ステップＳ３１において、遠隔コミュニケーションの再現を指示する操作が行われていないと判定された場合、処理はステップＳ３５に進む。
【００７８】
ステップＳ３５において、操作入力部４２は、コンテンツの映像および音声とユーザの映像および音声との合成に関するユーザからの設定操作を受け付ける。ステップＳ３６において、合成制御部４７は、記憶部３２に記憶されているコンテンツに付加されている時刻情報と、ユーザのリアルタイムデータに付加されている時刻情報と同期させて再生を開始させる。これにより、映像音声合成部３７には、コンテンツの映像および音声とユーザの映像および音声が入力される。ステップＳ３７において、映像音声合成部３１は、ステップＳ３５の処理での設定結果に対応した合成制御部４７からの制御に従い、コンテンツの映像および音声とユーザの映像および音声とを合成して出力部２１に出力する。記録時の遠隔コミュニケーションとは異なる合成状態で、コンテンツの映像および音声とユーザの映像および音声との出力が再現されたことになる。なお、当然ながら、コンテンツの映像および音声だけを再生することも可能である。
【００７９】
以上、コミュニケーション装置１−１による遠隔コミュニケーション再現処理の説明を終了する。
【００８０】
ところで、上述したコミュニケーション装置１の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図８に示すような汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【００８１】
このパーソナルコンピュータ１００は、CPU(Central Processing Unit)１０１を内蔵している。CPU１０１にはバス１０４を介して、入出力インタフェース１０５が接続されている。バス１０４には、ROM(Read Only Memory)１０２およびRAM(Random Access Memory)１０３が接続されている。
【００８２】
入出力インタフェース１０５には、ユーザが操作コマンドを入力するキーボード、マウス、等の入力デバイスよりなる入力部１０６、映像を表示したり、音声を出力したりする出力部１０７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１０８、およびインタネットに代表されるネットワークを介した通信処理を実行する通信部１０９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどの記録媒体１１１に対してデータを読み書きするドライブ１１０が接続されている。
【００８３】
このパーソナルコンピュータ１００に上述したコミュニケーション装置１の処理を実行させるプログラムは、記録媒体１１１に格納された状態でパーソナルコンピュータ１００に供給され、ドライブ１１０によって読み出されて記憶部１０８に内蔵されるハードディスクドライブにインストールされている。記憶部１０８にインストールされているプログラムは、入力部１０６に入力されるユーザからのコマンドに対応するCPU１０１の指令によって、記憶部１０８からRAM１０３にロードされて実行される。
【００８４】
なお、本明細書において、プログラムに基づいて実行されるステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００８５】
また、プログラムは、１台のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
【００８６】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【図面の簡単な説明】
【００８７】
【図１】本発明を適用したコミュニケーションシステムの構成例を示している。
【図２】コンテンツの映像、およびユーザの映像の一例を示す図である。
【図３】コンテンツの映像と、ユーザの映像の合成例を示す図である。
【図４】図１のコミュニケーション装置の構成例を示すブロック図である。
【図５】コミュニケーション装置による遠隔コミュニケーション処理を説明するフローチャートである。
【図６】図５のステップＳ５の遠隔コミュニケーション記録処理を説明するフローチャートである。
【図７】遠隔コミュニケーション再現処理を説明するフローチャートである。
【図８】汎用パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【００８８】
１  コミュニケーション装置，  ２  通信網，  ３  コンテンツ供給サーバ，  ４  認証サーバ，  ５  放送装置，  ６  標準時刻情報供給装置，  ２１  出力部，  ２２  ディスプレイ，  ２３  スピーカ，  ２４  入力部，  ２５  カメラ，  ２６  マイク，  ２７  センサ，  ２８  通信部，  ２９  放送受信部，  ３０  コンテンツ再生部，  ３１  映像音声合成部，  ３２  記憶部，  ３３  コンテンツ，  ３４  合成情報，  ３５  画像解析部，  ３６  鏡像生成部，  ３７  ポインタ検出部，  ３８  動きベクトル検出部，  ３９  マッチング部，  ４０  通信環境検出部，  ４１  標準時刻計時部，  ４２  操作入力部，  ４３  制御部，  ４４  セッション管理部，  ４５  視聴記録レベル設定部，  ４６  再生同期部，  ４７  合成制御部，  ４８  再生許可部，  ４９  記録許可部，  ５０  操作情報出力部，  ５１  電子機器制御部，  １００  パーソナルコンピュータ，  １０１  CPU，  １１１  記録媒体
【図１】
2006041888.tif 000003
【図２】
2006041888.tif 000004
【図３】
2006041888.tif 000005
【図４】
2006041888.tif 000006
【図５】
2006041888.tif 000007
【図６】
2006041888.tif 000008
【図７】
2006041888.tif 000009
【図８】
2006041888.tif 000010