(57)【要約】【課題】  複数の映像および音声の合成を、コンテンツの特性に応じて簡単に設定することができるようにする。【解決手段】  サッカーが行われている映像１５１においては、物体の動きの変化が大きい。コミュニケーション装置は、コンテンツの映像から、物体の動き情報を検出し、検出した動き情報に基づいて、動きの変化量の度合いを分析し、分析結果に応じて、ディスプレイ４１Ａに表示されるコンテンツの映像と、ユーザＸの映像の合成を制御するための制御情報を生成する。これにより、ディスプレイ４１Ａにおいては、コンテンツの映像１５１が、コンテンツ表示１７１Ａに示されるように、ディスプレイ４１Ａの画枠いっぱいに表示され、コンテンツ表示１７１Ａに重畳される子画面１７２Ａが、コンテンツの視聴を妨げないように、薄く、小さくして表示される。本発明は、ユーザ間の遠隔地コミュニケーションを支援するコミュニケーションシステムに適用できる。【選択図】図７
2006041886.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介して接続された他の情報処理装置と通信する情報処理装置において、
前記他の情報処理装置と同一のコンテンツデータを同期再生する再生手段と、
前記他の情報処理装置から、他のユーザの音声および映像を受信するユーザ情報受信手段と、
前記再生手段により同期再生されたコンテンツデータの音声および映像と、前記ユーザ情報受信手段により受信された前記他のユーザの音声および映像を合成する合成手段と、
前記再生手段により同期再生されたコンテンツデータの音声、映像、およびコンテンツデータに付加される付加情報のうちの少なくとも１つに基づいて、前記コンテンツデータの特性を分析する特性分析手段と、
前記特性分析手段による分析結果に基づいて、前記合成手段による前記音声および映像の合成を制御する制御パラメータを設定するパラメータ設定手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記特性分析手段は、前記コンテンツデータが有するシーンの特性を分析し、
前記パラメータ設定手段は、前記特性分析手段により分析された前記シーンの特性に基づいて、前記合成手段による前記音声および映像の合成を制御する制御パラメータを設定する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記特性分析手段は、前記コンテンツデータの映像の特性として、前記映像における文字情報の位置を分析し、
前記パラメータ設定手段は、前記特性分析手段により分析された前記映像における文字情報の位置に基づいて、前記合成手段による前記音声および映像の合成を制御する制御パラメータを設定する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記パラメータ設定手段は、前記特性分析手段による分析結果に基づいて、前記他の情報処理装置を制御する制御パラメータも設定し、
前記パラメータ設定手段により設定された制御パラメータを、前記他の情報処理装置に送信する送信手段を
さらに備えることを特徴とする請求項１に記載の情報処理装置。
【請求項５】
ネットワークを介して接続された他の情報処理装置と通信する情報処理装置の情報処理方法において、
前記他の情報処理装置と同一のコンテンツデータを同期再生する再生ステップと、
前記他の情報処理装置から、他のユーザの音声および映像を受信するユーザ情報受信ステップと、
前記再生ステップの処理により同期再生されたコンテンツデータの音声および映像と、前記ユーザ情報受信ステップの処理により受信された前記他のユーザの音声および映像を合成する合成ステップと、
前記再生ステップの処理により同期再生されたコンテンツデータの音声、映像、およびコンテンツデータに付加される付加情報のうちの少なくとも１つに基づいて、前記コンテンツデータの特性を分析する特性分析ステップと、
前記特性分析ステップの処理による分析結果に基づいて、前記合成ステップの処理による前記音声および映像の合成を制御する制御パラメータを設定するパラメータ設定ステップと
を含むことを特徴とする情報処理方法。
【請求項６】
ネットワークを介して接続された情報処理装置と通信する処理をコンピュータに実行させるプログラムが記録されている記録媒体であって、
前記情報処理装置と同一のコンテンツデータを同期再生する再生ステップと、
前記情報処理装置から、他のユーザの音声および映像を受信するユーザ情報受信ステップと、
前記再生ステップの処理により同期再生されたコンテンツデータの音声および映像と、前記ユーザ情報受信ステップの処理により受信された前記他のユーザの音声および映像を合成する合成ステップと、
前記再生ステップの処理により同期再生されたコンテンツデータの音声、映像、およびコンテンツデータに付加される付加情報のうちの少なくとも１つに基づいて、前記コンテンツデータの特性を分析する特性分析ステップと、
前記特性分析ステップの処理による分析結果に基づいて、前記合成ステップの処理による前記音声および映像の合成を制御する制御パラメータを設定するパラメータ設定ステップと
を含むことを特徴とするプログラムが記録されている記録媒体。
【請求項７】
ネットワークを介して接続された情報処理装置と通信する処理をコンピュータに実行させるプログラムであって、
前記情報処理装置と同一のコンテンツデータを同期再生する再生ステップと、
前記情報処理装置から、他のユーザの音声および映像を受信するユーザ情報受信ステップと、
前記再生ステップの処理により同期再生されたコンテンツデータの音声および映像と、前記ユーザ情報受信ステップの処理により受信された前記他のユーザの音声および映像を合成する合成ステップと、
前記再生ステップの処理により同期再生されたコンテンツデータの音声、映像、およびコンテンツデータに付加される付加情報のうちの少なくとも１つに基づいて、前記コンテンツデータの特性を分析する特性分析ステップと、
前記特性分析ステップの処理による分析結果に基づいて、前記合成ステップの処理による前記音声および映像の合成を制御する制御パラメータを設定するパラメータ設定ステップと
を含むことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および方法、記録媒体、並びにプログラムに関し、特に、ネットワークを介して接続された他の情報処理装置とともに、同一のコンテンツとそれぞれのユーザの音声や映像を合成し、同期して再生するようにした情報処理装置および方法、記録媒体、並びにプログラムに関する。
【背景技術】
【０００２】
従来、遠隔地にいる人同士の交流（以下、遠隔地コミュニケーションと記述する）に用いる装置として、電話、いわゆるテレビ電話、ビデオ会議システム等が存在する。また、パーソナルコンピュータ等を用いてインタネットに接続し、テキストチャット、映像と音声を伴うビデオチャット等を行う方法もある。
【０００３】
さらに、遠隔地コミュニケーションを実行しようとする人がそれぞれパーソナルコンピュータ等を用い、インタネットを介して仮想空間を共有したり、同一のコンテンツを共用することも提案されている（例えば、特許文献１参照）。
【０００４】
【特許文献１】特開２００３−２７１５３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、遠隔地にいる人同士が同一のコンテンツを共用する従来の方法では、主に言語的情報を伝送することでコミュニケーションを行うため、実際に相手と対面して行う対面コミュニケーションと比較して、ユーザ同士の心情や状況が伝わりにくいといった課題があった。
【０００６】
また、同一のコンテンツとともに、相手側の映像および音声も視聴する従来の方法では、相手側の映像および音声と、共用するコンテンツの映像および音声を、ユーザの操作に応じて最適に合成させるには、機器の操作が煩雑であることから、困難である課題があった。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、遠隔地にいる人同士がコンテンツを同時に視聴している場合に、複数の映像および音声情報の合成を、視聴しているコンテンツに応じて簡単に設定することができるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の情報処理装置は、他の情報処理装置と同一のコンテンツデータを同期再生する再生手段と、他の情報処理装置から、他のユーザの音声および映像を受信するユーザ情報受信手段と、再生手段により同期再生されたコンテンツデータの音声および映像と、ユーザ情報受信手段により受信された他のユーザの音声および映像を合成する合成手段と、再生手段により同期再生されたコンテンツデータの音声、映像、およびコンテンツデータに付加される付加情報のうちの少なくとも１つに基づいて、コンテンツデータの特性を分析する特性分析手段と、特性分析手段による分析結果に基づいて、合成手段による音声および映像の合成を制御する制御パラメータを設定するパラメータ設定手段とを備えることを特徴とする。
【０００９】
特性分析手段は、コンテンツデータが有するシーンの特性を分析し、パラメータ設定手段は、特性分析手段により分析されたシーンの特性に基づいて、合成手段による音声および映像の合成を制御する制御パラメータを設定するようにすることができる。
【００１０】
特性分析手段は、コンテンツデータの映像の特性として、映像における文字情報の位置を分析し、パラメータ設定手段は、特性分析手段により分析された映像における文字情報の位置に基づいて、合成手段による音声および映像の合成を制御する制御パラメータを設定するようにすることができる。
【００１１】
パラメータ設定手段は、特性分析手段による分析結果に基づいて、他の情報処理装置を制御する制御パラメータも設定し、パラメータ設定手段により設定された制御パラメータを、他の情報処理装置に送信する送信手段をさらに備えるようにすることができる。
【００１２】
本発明の情報処理方法は、他の情報処理装置と同一のコンテンツデータを同期再生する再生ステップと、他の情報処理装置から、他のユーザの音声および映像を受信するユーザ情報受信ステップと、再生ステップの処理により同期再生されたコンテンツデータの音声および映像と、ユーザ情報受信ステップの処理により受信された他のユーザの音声および映像を合成する合成ステップと、再生ステップの処理により同期再生されたコンテンツデータの音声、映像、およびコンテンツデータに付加される付加情報のうちの少なくとも１つに基づいて、コンテンツデータの特性を分析する特性分析ステップと、特性分析ステップの処理による分析結果に基づいて、合成ステップの処理による音声および映像の合成を制御する制御パラメータを設定するパラメータ設定ステップとを含むことを特徴とする。
【００１３】
本発明の記録媒体に記録されているプログラムは、情報処理装置と同一のコンテンツデータを同期再生する再生ステップと、情報処理装置から、他のユーザの音声および映像を受信するユーザ情報受信ステップと、再生ステップの処理により同期再生されたコンテンツデータの音声および映像と、ユーザ情報受信ステップの処理により受信された他のユーザの音声および映像を合成する合成ステップと、再生ステップの処理により同期再生されたコンテンツデータの音声、映像、およびコンテンツデータに付加される付加情報のうちの少なくとも１つに基づいて、コンテンツデータの特性を分析する特性分析ステップと、特性分析ステップの処理による分析結果に基づいて、合成ステップの処理による音声および映像の合成を制御する制御パラメータを設定するパラメータ設定ステップとを含むことを特徴とする。
【００１４】
本発明のプログラムは、情報処理装置と同一のコンテンツデータを同期再生する再生ステップと、情報処理装置から、他のユーザの音声および映像を受信するユーザ情報受信ステップと、再生ステップの処理により同期再生されたコンテンツデータの音声および映像と、ユーザ情報受信ステップの処理により受信された他のユーザの音声および映像を合成する合成ステップと、再生ステップの処理により同期再生されたコンテンツデータの音声、映像、およびコンテンツデータに付加される付加情報のうちの少なくとも１つに基づいて、コンテンツデータの特性を分析する特性分析ステップと、特性分析ステップの処理による分析結果に基づいて、合成ステップの処理による音声および映像の合成を制御する制御パラメータを設定するパラメータ設定ステップとを含むことを特徴とする。
【００１５】
本発明においては、情報処理装置と同一のコンテンツデータが同期再生され、他の情報処理装置から、他のユーザの音声および映像が受信され、同期再生されたコンテンツデータの音声および映像と、受信された他のユーザの音声および映像が合成される。そして、同期再生されたコンテンツデータの音声、映像、およびコンテンツデータに付加される付加情報のうちの少なくとも１つに基づいて、コンテンツデータの特性が分析され、分析結果に基づいて、音声および映像の合成を制御する制御パラメータが設定される。
【００１６】
ネットワークとは、少なくとも２つの装置が接続され、ある装置から、他の装置に対して、情報の伝達をできるようにした仕組みをいう。ネットワークを介して通信する装置は、独立した装置どうしであってもよいし、１つの装置を構成している内部ブロックどうしであってもよい。
【００１７】
また、通信とは、無線通信および有線通信は勿論、無線通信と有線通信とが混在した通信、すなわち、ある区間では無線通信が行われ、他の区間では有線通信が行われるようなものであってもよい。さらに、ある装置から他の装置への通信が有線通信で行われ、他の装置からある装置への通信が無線通信で行われるようなものであってもよい。
【発明の効果】
【００１８】
本発明によれば、複数の映像および音声情報の合成を、再生しているコンテンツに応じて簡単に設定することができる。また、本発明によれば、遠隔地にいる人同士が、より活発で自然なコミュニケーションを行うことができる。
【発明を実施するための最良の形態】
【００１９】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。したがって、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２０】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００２１】
請求項１に記載の情報処理装置は、他の情報処理装置（例えば、図４のコミュニケーション装置１−２）と同一のコンテンツデータを同期再生する再生手段（例えば、図４のコンテンツ再生部２５）と、他の情報処理装置から、他のユーザの音声および映像を受信するユーザ情報受信手段（例えば、図４の通信部２３）と、再生手段により同期再生されたコンテンツデータの音声および映像と、ユーザ情報受信手段により受信された他のユーザの音声および映像を合成する合成手段（例えば、図４の映像音声合成部２６）と、再生手段により同期再生されたコンテンツデータの音声、映像、およびコンテンツデータに付加される付加情報のうちの少なくとも１つに基づいて、コンテンツデータの特性を分析する特性分析手段（例えば、図４のコンテンツ特性分析部７１）と、特性分析手段による分析結果に基づいて、合成手段による音声および映像の合成を制御する制御パラメータを設定するパラメータ設定手段（例えば、図４の制御情報生成部７２）とを備えることを特徴とする。
【００２２】
請求項２に記載の情報処理装置は、特性分析手段（例えば、図１０のステップＳ５１の処理を実行する図４のコンテンツ特性分析部７１）は、コンテンツデータが有するシーンの特性を分析し、パラメータ設定手段（例えば、図１０のステップＳ５７の処理を実行する図４の制御情報生成部７２）は、特性分析手段により分析されたシーンの特性に基づいて、合成手段による音声および映像の合成を制御する制御パラメータを設定するようにすることを特徴とする。
【００２３】
請求項３に記載の情報処理装置は、特性分析手段（例えば、図１１のステップＳ７３の処理を実行する図４のコンテンツ特性分析部７１）は、コンテンツデータの映像の特性として、映像における文字情報の位置を分析し、パラメータ設定手段（例えば、図１１のステップＳ７４の処理を実行する図４の制御情報生成部７２）は、特性分析手段により分析された映像における文字情報の位置に基づいて、合成手段による音声および映像の合成を制御する制御パラメータを設定することを特徴とする。
【００２４】
請求項４に記載の情報処理装置は、パラメータ設定手段は、特性分析手段による分析結果に基づいて、他の情報処理装置を制御する制御パラメータも設定し、パラメータ設定手段により設定された制御パラメータを、他の情報処理装置に送信する送信手段（例えば、図４の操作情報出力部８７）をさらに備えることを特徴とする。
【００２５】
請求項５に記載の情報処理方法は、他の情報処理装置と同一のコンテンツデータを同期再生する再生ステップ（例えば、図５のステップＳ４）と、他の情報処理装置から、他のユーザの音声および映像を受信するユーザ情報受信ステップ（例えば、図５のステップＳ２）と、再生ステップの処理により同期再生されたコンテンツデータの音声および映像と、ユーザ情報受信ステップの処理により受信された他のユーザの音声および映像を合成する合成ステップ（例えば、図９のステップＳ２３）と、再生ステップの処理により同期再生されたコンテンツデータの音声、映像、およびコンテンツデータに付加される付加情報のうちの少なくとも１つに基づいて、コンテンツデータの特性を分析する特性分析ステップ（例えば、図１０のステップＳ５１）と、特性分析ステップの処理による分析結果に基づいて、合成ステップの処理による音声および映像の合成を制御する制御パラメータを設定するパラメータ設定ステップ（例えば、図１０のステップＳ５７）とを含むことを特徴とする。
【００２６】
なお、請求項６に記載の記録媒体および請求項７に記載のプログラムも、上述した請求項５に記載の情報処理方法と基本的に同様の構成であるため、繰り返しになるのでその説明は省略する。
【００２７】
以下、図を参照して本発明の実施の形態について説明する。
【００２８】
図１は、本発明を適用したコミュニケーションシステムの構成例を示している。このコミュニケーションシステムにおいて、コミュニケーション装置１−１は、通信網２を介して他のコミュニケーション装置１（図１の場合、コミュニケーション装置１−２）と接続し、いわゆるＴＶ（テレビジョン）電話機のようにユーザの音声および映像を相互に通信することに加えて、共通のコンテンツを、他のコミュニケーション装置１−２と同期して再生することにより、ユーザ間の遠隔地コミュニケーションを支援するものである。以下、コミュニケーション装置１−１および１−２を個々に区別する必要がない場合、単にコミュニケーション装置１と記述する。
【００２９】
なお、共通のコンテンツは、例えば、テレビジョン放送を受信して得られる番組コンテンツ、予めダウンロード済の映画等のコンテンツ、ユーザ間で供給済の私的なコンテンツ、ゲームや音楽のコンテンツ、または、ＤＶＤ（Digital Versatile Disk）に代表される光ディスク（図示せぬ）に記録済のコンテンツなどである。
【００３０】
コミュニケーション装置１は、複数のユーザが同時に利用することができる。例えば、図１の場合、コミュニケーション装置１−１は、ユーザＡ，Ｂによって使用されており、コミュニケーション装置１−２は、ユーザＸによって使用されているものとする。
【００３１】
例えば、共通のコンテンツの映像が図２Ａに示すようなものであり、コミュニケーション装置１−１によって撮影されたユーザＡの映像が図２Ｂに示すようなものであり、コミュニケーション装置１−２によって撮影されたユーザＸの映像が図２Ｂに示すようなものであるとする。この場合、コミュニケーション装置１−１のディスプレイ４１（図４）には、例えば、図３Ａに示すピクチャインピクチャ(picture in picture)、図３Ｂに示すクロスフェイド(Cross fade)、または図３Ｃに示すワイプ(wipe)の方式で、コンテンツとユーザの映像が重畳されて表示される。
【００３２】
図３Ａに示されたピクチャインピクチャにおいては、コンテンツの映像にユーザの映像が子画面として重畳される。子画面の表示位置およびサイズは任意に変更可能である。また、自身（ユーザＡ）とコミュニケーション相手（ユーザＸ）の映像の両方ではなく、一方の子画面だけを表示させることも可能である。
【００３３】
図３Ｂに示されたクロスフェイドにおいては、コンテンツの映像とユーザ（ユーザＡまたはユーザＸ）の映像が合成されて表示される。このクロスフェイドは、例えばコンテンツの映像として表示された地図上のある位置をユーザが指し示すとき等に用いることができる。
【００３４】
図３Ｃに示されたワイプにおいては、コンテンツの映像を覆うようにユーザの映像が所定の方向から出現する。例えば、図３Ｃにおいては、ユーザの映像は、コンテンツの映像の右側から出現している。
【００３５】
これらの合成パターンは、随時変更が可能である。また、図３Ａ乃至図３Ｃに示された合成パターンにおける各映像の透明度を設定する映像バランス、さらに、図示はしないが、コンテンツとユーザの音声の音量を設定する音量バランスなども、合成パラメータとして随時変更が可能である。これらの合成パターンおよび合成パラメータの変更の履歴は、合成情報として合成情報記憶部６４（図４）に記録される。なお、コンテンツとユーザの映像の表示は、上述した合成パターンだけに限らず、これら以外の合成パターンを適用してもよい。
【００３６】
図１に戻る。通信網２は、インタネット等に代表される広帯域なデータ通信網である。コンテンツ供給サーバ３は、コミュニケーション装置１からの要求に応じ、通信網２を介してコンテンツをコミュニケーション装置１に供給する。認証サーバ４は、コミュニケーション装置１のユーザが当該コミュニケーションシステムを利用するに際しての認証、課金等の処理を行う。
【００３７】
放送装置５は、テレビジョン放送等の番組としてコンテンツを送信する。したがって、各コミュニケーション装置１は、放送装置５から放送されるコンテンツを同期して受信し、再生することができる。なお、放送装置５からコミュニケーション装置１に対するコンテンツの送信は無線であってもよいし、有線であってもよい。また、通信網２を介してもかまわない。
【００３８】
標準時刻情報供給装置６は、コミュニケーション装置１に内蔵された時計（標準時刻計時部３０（図４））を、標準時刻（世界標準時、日本標準時刻等）に正確に同期させるための標準時刻情報を各コミュニケーション装置１に供給する。なお、標準時刻情報供給装置６からコミュニケーション装置１に対する標準時刻情報の供給は、無線であってもよいし、有線であってもよい。また、通信網２を介してもかまわない。
【００３９】
なお、図１の例においては、コミュニケーション装置１が通信網２を介して２台しか接続されていないが、２台に限らず、コミュニケーション装置１−３およびコミュニケーション装置１−４など、複数台のコミュニケーション装置１が通信網２に接続されている。
【００４０】
次に、コミュニケーション装置１−１の詳細な構成例について、図４を参照して説明する。
【００４１】
コミュニケーション装置１−１において、出力部２１は、ディスプレイ４１およびスピーカ４２より構成され、映像音声合成部２６から入力される映像信号および音声信号にそれぞれ対応する映像を表示し、音声を出力する。
【００４２】
入力部２２−１および２２−２は、ユーザの映像（動画像または静止画像）を撮影するカメラ５１−１および５１−２、ユーザの音声を集音するマイクロフォン（以下、マイクと称する）５２−１および５２−２、並びにユーザの周囲の明度や温度等を検出するセンサ５３−１および５３−２よりそれぞれ構成され、取得した映像、音声、明度、および温度等を含むユーザのリアルタイム（ＲＴ）データを、通信部２３、記憶部２７、およびデータ分析部２８に出力する。また、入力部２２−１および２２−２は、取得したユーザの映像および音声を、映像音声合成部２６に出力する。
【００４３】
なお、以下、入力部２２−１および２２−２、カメラ５１−１および５１−２、マイク５２−１および５２−２、並びにセンサ５３−１および５３−２を、個々に区別する必要がない場合、単に、それぞれ入力部２２、カメラ５１、マイク５２、並びにセンサ５３と称する。また、入力部２２を複数設け（図４の場合は２つ）、それぞれを複数のユーザ（図１のユーザＡ，Ｂ）に対して指向させるようにしてもよい。
【００４４】
通信部２３は、入力部２２から入力されるユーザのリアルタイムデータを、通信網２を介してコミュニケーション相手のコミュニケーション装置１−２に送信し、コミュニケーション装置１−２が送信したユーザのリアルタイムデータを受信し、映像音声合成部２６および記憶部２７に出力する。また、通信部２３は、コミュニケーション相手のコミュニケーション装置１−２またはコンテンツ供給サーバ３から通信網２を介して供給されたコンテンツ（以下、適宜、コンテンツデータとも称する）を受信し、コンテンツ再生部２５および記憶部２７に出力する。さらに、通信部２３は、記憶部２７に記憶されているコンテンツや、操作情報出力部８７からの操作情報や制御情報などを、通信網２を介してコミュニケーション装置１−２に送信する。
【００４５】
放送受信部２４は、放送装置５から放送されたテレビジョン放送信号を受信し、得られた放送番組のコンテンツを、コンテンツ再生部２５、および、必要に応じて記憶部２７に出力する。コンテンツ再生部２５は、放送受信部２４によって受信された放送番組のコンテンツ、通信部２３によって受信されたコンテンツ、記憶部２７から読み出されるコンテンツ、または、図示せぬ光ディスクなどから読み出されるコンテンツを再生し、得られたコンテンツの映像および音声を、映像音声合成部２６およびデータ分析部２８に出力する。なお、このとき、コンテンツ再生部２５は、コンテンツに付加される付加情報（メタデータなど）もデータ分析部２８に出力する。付加情報は、例えば、コンテンツを構成する各場面の内容の概要情報、補足情報、または関連情報などである。
【００４６】
映像音声合成部２６は、コンテンツ再生部２５から入力されるコンテンツの映像および音声、入力部２２から入力されるユーザの映像および音声、通信部２３から入力される通信相手（ユーザＸ）の映像および音声、並びに、ユーザに対するアラート等の文字列などをミキシング（混合して調整すること、すなわち、以下、適宜、合成とも称する）し、その結果得られた映像信号と音声信号を出力部２１に出力する。
【００４７】
記憶部２７は、コンテンツ記憶部６１、ライセンス記憶部６２、ユーザ情報記憶部６３、および合成情報記憶部６４により構成される。コンテンツ記憶部６１は、入力部２２から供給されるユーザ（ユーザＡ等）のリアルタイムデータ、通信部２３から供給されるコミュニケーション相手（ユーザＸ）のリアルタイムデータ、放送受信部２４によって受信された放送番組のコンテンツ、通信部２３から供給されるコンテンツを記憶する。ライセンス記憶部６２は、コンテンツ記憶部６１に記憶されるコンテンツの、コミュニケーション装置１−１が有するライセンス情報などを記憶する。ユーザ情報記憶部６３は、コミュニケーション装置１−１が属するグループなどのプライバシ情報を記憶する。合成情報記憶部６４は、合成制御部８４により設定が変更された合成パターンや合成パラメータを、合成情報として記憶する。
【００４８】
データ分析部２８は、コンテンツ特性分析部７１および制御情報生成部７２により構成され、入力部２２から供給されるユーザ（ユーザＡ等）のリアルタイムデータ、通信部２３から供給されるコミュニケーション相手（ユーザＸ）のリアルタイムデータ、およびコンテンツ再生部２５からのコンテンツデータが入力される。
【００４９】
コンテンツ特性分析部７１は、コンテンツ再生部２５から供給されるコンテンツデータの映像、音声、またはコンテンツに付加される付加情報などに基づいて、コンテンツの特性（内容）を分析し、分析結果を、制御情報生成部７２に出力する。
【００５０】
制御情報生成部７２は、映像音声合成部２６に対して、ユーザ特性分析部７１からの分析結果に応じた制御を行わせるための制御情報を生成し、生成した制御情報を、制御部３２に出力する。すなわち、制御情報生成部７２は、分析結果に応じた合成パラメータや合成パターンで、コンテンツ再生部２５からのコンテンツデータの映像および音声、通信部２３から供給されるコミュニケーション相手のリアルタイムデータの映像および音声を合成させるように、映像音声合成部２６を制御するための制御情報を生成し、生成した制御情報を、制御部３２に出力する。また、制御情報生成部７２は、コミュニケーション相手であるコミュニケーション装置１−２の映像音声合成部２６に対して、コンテンツ特性分析部７１からの分析結果に応じた制御を行わせるための制御情報を生成し、生成した制御情報を、制御部３２に出力する。
【００５１】
通信環境検出部２９は、通信部２３と通信網２を介したコミュニケーション装置１−２との通信環境（通信レート、通信遅延時間等）を監視して制御部３２に出力する。標準時刻計時部３０は、制御部３２に供給する標準時刻を計時する。標準時刻計時部３０は、標準時刻情報供給装置６から供給される標準時刻情報に基づいて自己が刻む標準時刻を修正する。操作入力部３１は、リモートコントローラ等からなり、ユーザの操作を受け付けて対応する操作信号を制御部３２に入力する。
【００５２】
制御部３２は、操作入力部３１から入力されるユーザの操作に対応した操作信号や、データ分析部２８から入力される制御情報などに基づいて、コミュニケーション装置１−１を構成する各部を制御する。制御部３２は、セッション管理部８１、視聴記録レベル設定部８２、再生同期部８３、合成制御部８４、再生許可部８５、記録許可部８６、操作情報出力部８７、および電子機器制御部８８を含んでいる。なお、図４において、制御部３２からコミュニケーション装置１−１を構成する各部への制御ラインの図示は省略されている。
【００５３】
セッション管理部８１は、通信部２３が通信網２を介してコミュニケーション装置１−２、コンテンツ供給サーバ３、認証サーバ４等と接続する処理を制御する。また、セッション管理部８１は、他の装置（例えば、コミュニケーション装置１−２）などからのコミュニケーション装置１−１の各部を制御する制御情報を受け付けるか否かを判定する。
【００５４】
視聴記録レベル設定部８２は、ユーザの操作に基づき、入力部２２に取得されたユーザのリアルタイムデータやコンテンツ記憶部６１に記憶されているユーザ個人のコンテンツが、コミュニケーション相手のコミュニケーション装置１−２において再生可能であるか否か、記録可能であるか否か、記録可能であるなら記録可能な回数等を設定し、この設定情報を、プライバシ情報として、ユーザのリアルタイムデータに付加して、通信部２３からコミュニケーション装置１−２に通知させる。再生同期部８３は、コミュニケーション相手のコミュニケーション装置１−２と同期して同一のコンテンツが再生されるように、コンテンツ再生部２５を制御する。
【００５５】
合成制御部８４は、ユーザの操作に従って、再生されているコンテンツデータの特性分析するように、データ分析部２８を制御する。また、合成制御部８４は、コンテンツの映像および音声とユーザの映像および音声が、ユーザの操作、またはデータ分析部２８からの制御情報に従って合成されるように、映像音声合成部２６を制御する。すなわち、合成制御部８４は、データ分析部２８からの制御情報に基づいて、図３Ａ乃至図３Ｃに示されるような合成パターンおよび合成パラメータの設定を変更し、設定を変更した合成パターンおよび合成パラメータに基づいて、映像音声合成部２６を制御する。そして、合成制御部８４は、設定を変更した合成パターンおよび合成パラメータを、合成情報として、合成情報記憶部６４に記録させる。
【００５６】
再生許可部８５は、コンテンツに付加されているライセンス情報やプライバシ情報（コミュニケーション相手の視聴記録レベル設定部８２により設定される）等に基づいて当該コンテンツの再生の可否を判定し、判定結果に基づいてコンテンツ再生部２５を制御する。記録許可部８６は、コンテンツに付加されているライセンス情報やプライバシ情報等に基づき、コンテンツの記録の可否を判定し、判定結果に基づいて記憶部２７を制御する。
【００５７】
操作情報出力部８７は、ユーザによる操作（テレビジョン放送受信時のチャンネル切り換え操作、コンテンツ再生開始、再生終了、早送り再生の操作等）に対応して、その操作内容と操作時刻を含む操作情報を生成し、通信部２３からコミュニケーション相手のコミュニケーション装置１−２に通知させる。この操作情報は、コンテンツの同期再生に利用される。また、操作情報出力部８７は、データ分析部２８からの制御情報も、通信部２３からコミュニケーション相手のコミュニケーション装置１−２に通知させる。
【００５８】
電子機器制御部８８は、ユーザによる操作に基づき、出力部２１や入力部２２の出力や入力の設定、コミュニケーション装置１−１の周辺に位置する所定の電子機器（例えば、照明機器、空調機器等。いずれも不図示）を制御する。
【００５９】
なお、コミュニケーション装置１−２の詳細な構成例については、図４に示されたコミュニケーション装置１−１の構成例と同様であるので、その説明は省略する。
【００６０】
次に、コミュニケーション装置１−１によるコミュニケーション装置１−２との遠隔コミュニケーション処理について、図５のフローチャートを参照して説明する。なお、この処理は、コミュニケーション装置１−２においても同様に実行される処理でもある。
【００６１】
このコミュニケーション処理は、コミュニケーション装置１−２との遠隔コミュニケーションの開始を指示する操作が、操作入力部３１に入力され、この操作に対応する操作信号が制御部３２に入力されたときに開始される。
【００６２】
ステップＳ１において、通信部２３は、セッション管理部８１からの制御に基づき、通信網２を介してコミュニケーション装置１−２に接続し、遠隔コミュニケーションの開始を通知し、ステップＳ２に進む。この通知に対応して、コミュニケーション装置１−２は、遠隔コミュニケーションの開始の受諾を返信する。
【００６３】
ステップＳ２において、通信部２３は、制御部３２からの制御に基づき、入力部２２から入力されるユーザＡ等のリアルタイムデータを、通信網２を介してコミュニケーション装置１−２に送信し始めるとともに、コミュニケーション装置１−２から送信されたユーザＸのリアルタイムデータの受信を開始し、ステップＳ３に進む。このとき、入力部２２から入力されるユーザＡ等のリアルタイムデータと、受信されたユーザＸのリアルタイムデータは、データ分析部２８に入力され、リアルタイムデータのうちの映像および音声は、映像音声合成部２６に入力される。
【００６４】
ステップＳ３において、通信部２３は、セッション管理部８１からの制御に基づき、通信網２を介して認証サーバ４に接続し、コンテンツ取得のための認証処理を行う。この認証処理の後、通信部２３は、通信網２を介してコンテンツ供給サーバ３にアクセスし、ユーザが指定するコンテンツを取得し、ステップＳ４に進む。このとき、コミュニケーション装置１−２でも同様の処理が行われ、同一のコンテンツが取得されているものとする。
【００６５】
なお、テレビジョン放送されているコンテンツを受信する場合や、既に取得済で記憶部２７に記憶されているコンテンツを再生する場合、ステップＳ３の処理は不要となる。
【００６６】
ステップＳ４において、コンテンツ再生部２５は、再生同期部８３の制御に基づき、コミュニケーション装置１−２と同期したコンテンツの再生処理（以下、コンテンツ同期再生処理と記述する）を開始し、ステップＳ５に進む。このコンテンツ同期再生処理により、コミュニケーション装置１−１および１−２において、同じコンテンツが、標準時刻計時部３０（標準時刻情報供給装置６）から供給される標準時刻情報に基づいて同期して再生され、再生されたコンテンツデータは、映像音声合成部２６およびデータ分析部２８に入力される。
【００６７】
ステップＳ５において、記憶部２７は、遠隔コミュニケーション記録処理を開始し、ステップＳ６に進む。具体的には、映像音声合成部２６は、再生が開始されたコンテンツ、入力されたユーザＡ等のリアルタイムデータに含まれる映像および音声、受信されたユーザＸのリアルタイムデータに含まれる映像および音声を、合成制御部８４による制御のもと、合成し、合成の結果得られた映像信号および音声信号を出力部２１に供給する。なお、このとき、合成制御部８４は、ユーザの操作に基づいて予め設定されている合成パターンおよび合成パラメータに基づいて映像音声合成部２６の合成処理を制御する。
【００６８】
出力部２１は、供給された映像信号に対応する映像を表示し、音声信号に対応する音声を出力する。この段階でユーザ間の映像および音声の通信と、コンテンツの同期再生が開始されたことになる。
【００６９】
そして、再生が開始されたコンテンツ、入力されたユーザＡ等のリアルタイムデータに含まれる映像および音声、受信されたユーザＸのリアルタイムデータに含まれる映像および音声、並びに、これらの合成の状態（合成パターンおよび合成パラメータ）を示す合成情報の記録が開始される。
【００７０】
ステップＳ６において、データ分析部２８および映像音声合成部２６は、合成制御部８４による制御に従い、コンテンツ特性分析ミキシング処理を実行する。このコンテンツ特性分析ミキシング処理の詳細については後述するが、ステップＳ６においては、データ分析部２８により、コンテンツ再生部２５から供給されるコンテンツデータの映像、音声、または付加情報に基づいて、コンテンツの内容や特性が分析され、その分析の結果に基づいて、映像音声合成部２６などを制御するための制御情報が生成される。したがって、合成制御部８４は、ユーザの操作に基づいて予め設定されている合成パターンおよび合成パラメータではなく、生成される制御情報に基づいて合成パターンおよび合成パラメータを変更し、映像音声合成部２６の合成処理を制御する処理を実行する。
【００７１】
ステップＳ７において、制御部３２は、ユーザから遠隔コミュニケーションの終了を指示する操作が行われたか否かを判定し、遠隔コミュニケーションの終了を指示する操作が行われたと判定するまで待機する。ステップＳ７において、ユーザから遠隔コミュニケーションの終了を指示する操作が行われたと判定された場合、処理はステップＳ８に進む。
【００７２】
ステップＳ８において、通信部２３は、セッション管理部８１からの制御に基づき、通信網２を介してコミュニケーション装置１−２に接続し、遠隔コミュニケーションの終了を通知する。この通知に対応して、コミュニケーション装置１−２は、遠隔コミュニケーションの終了の受諾を返信する。
【００７３】
ステップＳ９において、記憶部２７は、遠隔コミュニケーション記録処理を終了し、遠隔コミュニケーション処理は、終了する。なお、ここまでに記録された、再生されたコンテンツ、ユーザＡ等のリアルタイムデータに含まれる映像および音声、受信されたユーザＸのリアルタイムデータに含まれる映像および音声、並びに合成情報は、今後において、今回の遠隔コミュニケーションが再現されるときに利用される。
【００７４】
以上、コミュニケーション装置１−１による遠隔コミュニケーション処理の説明を終了する。
【００７５】
次に、上述した遠隔コミュニケーション処理のステップＳ６におけるコンテンツ特性分析ミキシング処理について説明する。
【００７６】
図６は、コンテンツ特性分析ミキシング処理を行うデータ分析部２８の詳細な構成例を示している。なお、図６において、図４における場合と対応する部分には対応する符号を付してあり、その説明は繰り返しになるので省略する。
【００７７】
図６の例において、コンテンツ特性分析部７１は、分析制御部１０１、動き情報分析部１０２、文字情報分析部１０３、音声情報分析部１０４、および付加情報分析部１０５により構成される。
【００７８】
分析制御部１０１は、合成制御部８４の制御のもと、動き情報分析部１０２、文字情報分析部１０３、音声情報分析部１０４、および付加情報分析部１０５を制御し、コンテンツ再生部２５から入力されるコンテンツデータの映像、音声、または付加情報に基づいて、コンテンツの内容を分析させ、分析結果を、制御情報生成部７２に供給する。
【００７９】
動き情報分析部１０２は、コンテンツデータの映像から、物体の動き情報を抽出し、抽出した動き情報に基づく分析を行い、分析結果を分析制御部１０１に供給する。文字情報分析部１０３は、コンテンツデータの映像から、報道番組などのコンテンツに表示される文字情報や、ゲームのコンテンツに表示される操作情報（例えば、パラメータ情報やスコア情報）を抽出し、抽出した文字情報や操作情報に基づく分析を行い、分析結果を分析制御部１０１に供給する。
【００８０】
音声情報分析部１０４は、コンテンツデータの音声から、例えば、音量や周波数特性に基づく分析を行い、分析結果を分析制御部１０１に供給する。なお、音声情報分析部１０４は、チャンネル数、ステレオモード、または二ヶ国語モードなど音声に関する情報を分析するようにすることもできる。付加情報分析部１０５は、コンテンツデータに付加される付加情報に基づく分析を行い、分析結果を分析制御部１０１に供給する。
【００８１】
制御情報生成部７２は、分析制御部１０１からの分析結果に基づいて、コミュニケーション装置１−１の各部が実行する処理を制御する制御情報を生成し、生成した制御情報を、合成制御部８４に供給する。また、制御情報生成部７２は、分析制御部１０１からの分析結果に基づいて、コミュニケーション相手のコミュニケーション装置１−２の映像音声合成部２６が実行する処理を制御する制御情報を生成し、生成した制御情報を、操作情報出力部８７に供給する。
【００８２】
次に、図７を参照して、コンテンツ特性分析ミキシング処理を具体的に説明する。
【００８３】
図７は、図５の遠隔コミュニケーション処理において、ユーザＡおよびユーザＸが共用するコンテンツの構成例を示している。
【００８４】
図７の例の場合、ユーザＡおよびユーザＸが共有するスポーツ（例えば、サッカー）番組のコンテンツの映像、音声、および付加情報が、時間軸に沿って示されている。なお、図７においては、音声として、音声から抽出される音量特性が示されており、この音量特性は、点線Ｇより上は、音量が大きく、点線Ｇより下は、音量が小さいことを示している。
【００８５】
このコンテンツは、そのシーンの特性に応じて、例えば、時刻ｔ０乃至時刻ｔ１の、サッカーの試合の実況が中継される中継シーン、時刻ｔ１乃至時刻ｔ２の、サッカーの試合の実況中継におけるハイライト場面のＶＴＲ（Video Tape Recorder）が再生されるハイライトシーン、および、時刻ｔ２乃至時刻ｔ３の、サッカー番組の合間にコマーシャルが提供されるＣＭ（コマーシャル）シーンの３種類のシーンに分けられる。
【００８６】
中継シーンにおいては、例えば、選手がサッカープレイを行っている映像１５１が表示され、時刻ｔ０乃至時刻ｔ１の音声特性を有する音声が出力される。したがって、映像１５１から抽出される、物体（選手）の動きの変化量は、多い特性があり、また、中継シーンの映像１５１には、図示せぬ「Ｌｉｖｅ」（生中継）を示す文字情報が重畳される場合がある。
【００８７】
中継シーンにおける音声は、例えば、パスが繰り返される場面においては、単調な解説の音声が行われ、比較的静かであるが、攻撃的なプレイ、ゴール前のプレイ、またはフリーキックなどが行われる場面においては、歓声がところどころであがるなどの特性があるため、音量特性１６１に示されるように、ときどき、音量が大きい状態と小さい状態が繰り返される特性がある。中継シーンのコンテンツには、番組情報、メンバー情報、およびスコア情報などの付加情報が付加される。
【００８８】
ハイライトシーンにおいては、例えば、選手がゴールを決めた場面のＶＴＲが反復再生（リプレイ）された映像１５２が表示され、時刻ｔ１乃至時刻ｔ２の音声特性を有する音声が出力される。このハイライトシーンの映像１５２には、図示せぬ「Ｒｅｐｌｙ」（反復再生）を示す文字情報が重畳されたり、また、映像１５２のスロー（コマ送り）再生などの特殊な編集効果が付加されている場合が多い。
【００８９】
ハイライトシーンにおける音声は、例えば、ゴールを決めたときに大きく歓声があがり、それが比較的長く続いたり、また、その場面が繰り返されることも多いため、音量特性１６２に示されるように、一度音量が大きくなると、音量が大きい状態が継続する特性がある。ハイライトシーンにおけるコンテンツには、このハイライトシーンの情報（ハイライト情報）、および得点者情報などの付加情報が付加される。
【００９０】
ＣＭシーンにおいては、サッカー番組を提供する提供者の広告などの映像１５３が表示され、時刻ｔ２乃至時刻ｔ３の音声特性を有する音声が出力される。したがって、ＣＭシーンの映像１５３は、そのＣＭの広告内容に応じて異なるが、例えば、静かな海辺の風景のコマーシャルであった場合、映像１５３内の物体の動きは、中継シーンより少ない。
【００９１】
ＣＭシーンの音声は、時刻ｔ０乃至ｔ２までのサッカー番組の音声とは異なる特性がある。すなわち、図７の例の音量特性１６３に示されるように、音量は、突然大きくなったり、小さくなったりしておらず、ほぼ基準（点線Ｇ）の状態を継続しており、時刻ｔ０乃至ｔ２までのサッカー番組の音量特性とは異なる特性を表している。ＣＭシーンのコンテンツには、このコマーシャルの情報（ＣＭ情報）などの付加情報が付加される。なお、コマーシャルの音声は、例であり、コマーシャルの内容によって音量特性１６３とは異なる。
【００９２】
以上のように、同じコンテンツ内でもシーン（場面）によって、映像、音声、および付加情報は、異なる特性を有している。
【００９３】
したがって、例えば、ユーザＡが、コミュニケーション装置１−１を用いて、コミュニケーション装置１−２を操作するユーザＸと、図５のステップＳ５における遠隔コミュニケーション記録処理を行っており、コミュニケーション装置１−１のディスプレイ４１に、図３Ａを参照して上述したピクチャインピクチャの方式で、コンテンツとユーザＸの映像が合成され、表示されている場合に、ユーザＡにより、操作入力部３１を用いて、ユーザ特性分析ミキシング処理の開始を指示する操作が行われると、分析制御部１０１は、再生中のコンテンツの映像、音声、または付加情報からコンテンツの特性として、これらのシーンを分析する。そして、制御情報生成部７２は、これらのシーンの分析結果に応じて、コンテンツとユーザの映像および音声を合成させる制御情報を生成する。
【００９４】
すなわち、図７の例においては、コンテンツのシーンの特性に応じて、特性分析ミキシング処理が実行される。なお、換言すると、この場合、分析制御部１０１は、コンテンツのシーンの特性を分析することで、コンテンツ視聴と、コミュニケーション処理のどちらが重要であるかを分析している。
【００９５】
まず、中継シーンの場合を説明する。上述したように、サッカーを行っている映像１５１においては、動きの変化が大きい。したがって、分析制御部１０１（動き情報分析部１０２）は、コンテンツの映像から、物体の動き情報を検出し、検出した動き情報を分析する。すなわち、分析制御部１０１は、動きの変化量の度合いが大きい場合には、選手の動きや試合の展開が早く、ユーザが、相手とのコミュニケーションよりも、コンテンツの視聴に集中したいであろうと分析する。
【００９６】
制御情報生成部７２は、分析制御部１０１の分析結果に応じて、図７のディスプレイ４１Ａに示されるように、コンテンツ表示１７１Ａに重畳される、ユーザＸの映像が表示される子画面１７２Ａを薄く小さく表示するように映像を合成する制御情報を生成する。なお、このとき、制御情報生成部７２は、ユーザＸの音声の音量を、コンテンツの音声に対して小さく出力するように音声を合成する制御情報も生成する。
【００９７】
これにより、ディスプレイ４１Ａにおいては、コンテンツの映像１５１が、コンテンツ表示１７１Ａに示されるように、ディスプレイ４１Ａの画枠いっぱいに表示させるように制御されるとともに、コンテンツ表示１７１Ａに重畳されるユーザＸの映像が表示される子画面１７２Ａを、コンテンツの視聴を妨げないように、薄く、小さくして表示させるように制御される。また、ユーザＸの音声も、コンテンツの視聴を妨げないように、小さく出力される。
【００９８】
これにより、ユーザは、手間のかかる設定を行うことなく、コンテンツの視聴に集中する環境を得ることができる。
【００９９】
一方、分析制御部１０１は、検出した動きの変化量が小さい場合には、選手の動きや試合の展開が緩やかになり、ユーザが、コンテンツの視聴の合間に、コミュニケーション相手とのコミュニケーションを行いたいであろうと分析する。制御情報生成部７２は、分析制御部１０１の分析結果に応じて、コンテンツ表示１７１Ａに重畳される子画面１７２Ａを濃く表示するように映像を合成する制御情報を生成する。また、制御情報生成部７２は、子画面１７２Ａの大きさ（すなわち、分析結果）に応じて、ユーザＸの音声の音量を、コンテンツの音声に対して大きく出力するように音声を合成する制御情報も生成する。
【０１００】
これにより、ユーザは、手間のかかる設定を行うことなく、コンテンツの視聴の合間に、ユーザとコミュニケーションを行う環境を得ることができる。
【０１０１】
次に、ハイライトシーンの場合を説明する。ハイライトシーンは、上述したように、コンテンツ内のある場面のＶＴＲの反復再生などの特殊な編集効果を有するシーンである。したがって、分析制御部１０１は、そのシーンの編集効果がどのようなものであるか、すなわち、そのシーンの編集効果を分析することにより、ユーザ間でのコミュニケーションとコンテンツ視聴のうち、どちらが活性化するかを分析する。制御情報生成部７２は、その分析結果に応じて、図７のディスプレイ４１Ｂに示される、コンテンツ表示１７１Ｂと子画面１７２Ｂを表示するように映像を合成する制御情報を生成する。
【０１０２】
例えば、選手がゴールを決めた場面のＶＴＲが反復再生されたコンテンツの映像１５２の場合、ユーザがコミュニケーション相手と感動を共用したいであろうと分析される。したがって、制御情報生成部７２は、ディスプレイ４１Ｂには、コンテンツの映像１５２を、コンテンツ表示１７１Ｂに示されるように、コンテンツ表示１７１Ａよりも、少し小さめに表示するとともに、コンテンツ表示１７１Ｂに重畳されるユーザＸの映像が表示される子画面１７２Ｂを、子画面１７２Ａよりも、濃く、大きく表示するように映像を合成する制御情報を生成する。また、制御情報生成部７２は、子画面１７２Ｂの大きさ（すなわち、分析結果）に応じて、ユーザＸの音声の音量を、中継シーンの場合より少し大きく出力するように音声を合成する制御情報も生成する。
【０１０３】
これにより、ユーザは、手間のかかる設定を行うことなく、コンテンツの視聴により獲られる感動を、コミュニケーション相手と共感し合える環境を得ることができる。
【０１０４】
また、ＣＭシーンの場合においても、同様の制御が実行される。すなわち、ＣＭシーンの場合には、ユーザが休憩がてら、コミュニケーション相手と会話を楽しみたい、あるいは、広告などの映像１５３に対して、コミュニケーション相手と意見を交換したいであろうと分析される。したがって、制御情報生成部７２は、図７のディスプレイ４１Ｃにおいては、コンテンツの映像１５３を、コンテンツ表示１７１Ｃに示されるように、コンテンツ表示１７１Ｂよりも、さらに少し小さめに表示するとともに、コンテンツ表示１７１Ｃに重畳されるユーザＸの映像が表示される子画面１７２Ｃを、子画面１７２Ｂよりも、濃く、大きくし表示するように映像を合成する制御情報を生成する。また、制御情報生成部７２は、子画面１７２Ｃの大きさ（すなわち、分析結果）に応じて、ユーザＸの音声の音量を、ハイライトシーンの場合より少し大きく出力するように音声を合成する制御情報も生成する。
【０１０５】
これにより、ユーザは、手間のかかる設定を行うことなく、コンテンツの視聴の合間に、気になる広告に対して、コミュニケーション相手と意見を交換する環境を得ることができる。この場合、広告を見ながら即座に意見交換ができるので、ユーザの広告に対する購買意欲が促進される。
【０１０６】
図８は、図７のコンテンツ特性分析ミキシング処理の他の例を示している。
【０１０７】
例えば、図５のステップＳ５においては、遠隔コミュニケーション記録処理が開始され、合成制御部８４により、ユーザの操作に基づいて予め設定されている合成パターンおよび合成パラメータに基づいて、映像音声合成部２６の合成処理が制御され、コミュニケーション装置１−１のディスプレイ４１Ｄには、再生中のコンテンツの映像２０１Ｄの右下部に、コミュニケーション相手であるユーザＸの映像が、子画面２０２Ｄとして重畳されて表示されている。
【０１０８】
ここで、ユーザＡにより、操作入力部３１を用いて、ユーザ特性分析ミキシング処理の開始を指示する操作が行われると、分析制御部１０１は、例えば、コンテンツの付加情報から、コンテンツの種類を検出し、コンテンツの種類に応じて、コンテンツの映像（コンテンツの表示画面）の構成特性を分析する。制御情報生成部７２は、その分析結果に応じて、コンテンツとユーザの映像および音声を合成させる制御情報を生成する。すなわち、図８の例においては、コンテンツの種類の特性や、映像の構成特性に応じて、特性分析ミキシング処理が実行される。
【０１０９】
例えば、コンテンツが、その映像に文字情報が多く構成される報道番組タイプ（例えば、ニュースやワイドショーなど）であった場合、分析制御部１０１（文字情報分析部１０３）は、コンテンツの映像から、文字認識や固定表示部分認識などを用いて、文字情報を抽出し、コンテンツの映像上の文字情報がある位置を分析する。制御情報生成部７２は、文字制御部１０１の分析結果に応じて、文字情報がない位置に、ユーザＸの映像が表示される子画面を移動させて表示させるように映像を合成する制御情報を生成する。
【０１１０】
すなわち、ディスプレイ４１Ｅに示されるように、コンテンツの映像２０１Ｅの右上部には、文字情報２１１が重畳されており、右下部には、文字情報２１２が重畳されている。この場合、子画面２０２Ｄのように、コンテンツの映像２０１Ｅの右下部に子画面を合成してしまうと、文字情報２１２と重なってしまい、文字情報２１２が見え難くなってしまう。したがって、分析制御部１０１は、コンテンツの映像２０１Ｅから、文字情報２１１および２１２を抽出し、文字情報２１１および２１２の位置を分析する。この分析結果に応じて、制御情報生成部７２は、文字情報がない、コンテンツの映像２０１Ｅの左上部に、子画面２０２Ｅを表示させるように映像を合成する制御情報を生成する。
【０１１１】
これにより、ユーザの手を煩わせることなく、コンテンツの文字情報が見え難くなることを抑制することができる。
【０１１２】
また、例えば、コンテンツが、その映像に、コミュニケーション装置１−１を操作するための操作情報（パラメータ情報やスコア情報など）が多く構成されるゲームタイプであった場合、分析制御部１０１（文字情報分析部１０３）は、コンテンツの映像から、文字認識や固定表示部分認識などを用いて、文字情報や操作情報を抽出し、文字情報や操作情報に基づいて、コンテンツの映像上の文字情報や操作情報がある位置を分析する。制御情報生成部７２は、文字制御部１０１の分析結果に応じて、文字情報や操作情報がない位置に、ユーザＸの映像が表示される子画面を移動、または縮小させて、表示させるように映像を合成する制御情報を生成する。
【０１１３】
すなわち、ディスプレイ４１Ｆに示されるように、コンテンツの映像２０１Ｆの左上部には、スコア情報２１３が重畳されており、下部には、パラメータ情報２１４が重畳されている。この場合、子画面２０２Ｄのように、コンテンツの映像２０１Ｆの右下部に子画面を合成してしまうと、パラメータ情報２１４と重なってしまい、パラメータ情報２１４が見え難くなってしまう。したがって、分析制御部１０１は、コンテンツの映像２０１Ｆから、スコア情報２１３およびパラメータ情報２１４などの操作情報を抽出し、スコア情報２１３およびパラメータ情報２１４の位置を分析する。この分析結果に応じて、制御情報生成部７２は、操作情報がない、コンテンツの映像２０１Ｆの右部に、子画面２０２Ｆを縮小して表示させるように映像を合成する制御情報を生成する。
【０１１４】
これにより、ユーザの手を煩わせることなく、コンテンツの操作情報が見え難くなることを抑制することができる。
【０１１５】
なお、図８の例においては、報道番組やゲームのコンテンツを例に説明したが、コンテンツは、これらに限らず、例えば、字幕が表示される映画などのコンテンツなどにも適用される。
【０１１６】
以上の説明においては、ピクチャインピクチャの方式を用いて説明したが、本発明は、ピクチャインピクチャの方式に限らず、図３Ｂおよび図３Ｃを参照して上述したクロスフェイドの方式およびワイプの方式、さらに、その他の合成パターンでも適用される。
【０１１７】
また、上記説明においては、コミュニケーション相手の映像および音声を、コンテンツの映像およびに合成する場合のみ説明したが、入力部２２より入力されたユーザＡの映像および音声も、コンテンツの映像および音声に合成するようにしてもよい。
【０１１８】
次に、図９のフローチャートを参照して、図５のステップＳ６のコンテンツ特性分析ミキシング処理について説明する。
【０１１９】
図５のステップＳ５においては、遠隔コミュニケーション記録処理が開始され、合成制御部８４は、ユーザの操作に基づいて予め設定されている合成パターンおよび合成パラメータに基づいて、映像音声合成部２６の合成処理を制御する処理を実行しており、データ分析部２８には、再生されたコンテンツデータ、入力されるユーザＡ等のリアルタイムデータ、および受信されたユーザＸのリアルタイムデータが、入力されている。
【０１２０】
ユーザＡにより、操作入力部３１を用いて、コンテンツ特性分析ミキシング処理の開始を指示する操作が行われる。操作入力部３１は、ユーザＡの操作に対応する操作信号を、合成制御部８４に供給する。合成制御部８４は、操作入力部３１からの操作信号を入力すると、ステップＳ２１において、コンテンツ特性分析ミキシング処理を開始するか否かを判定し、コンテンツ特性分析ミキシング処理を開始すると判定した場合、ステップＳ２２に進み、データ分析部２８を制御し、コンテンツ分析処理を実行させる。
【０１２１】
このコンテンツ分析処理は、図１０のフローチャートを参照して詳しく後述するが、ステップＳ２２におけるコンテンツ分析処理により、コンテンツの映像、音声、または付加情報などに基づいて、コンテンツの内容や特性が分析され、映像音声合成部２６に、分析結果に応じた合成パラメータや合成パターンで、コンテンツおよびリアルタイムデータの映像および音声を合成させるための制御情報が生成され、生成された制御情報が、合成制御部８４に供給される。なお、コミュニケーション相手であるコミュニケーション装置１−２の映像音声合成部２６に対する制御情報が生成された場合には、生成された制御情報は、操作情報出力部８７に供給される。
【０１２２】
ステップＳ２２の後、処理は、ステップＳ２３に進み、合成制御部８４は、制御情報生成部７２からの制御情報に応じて、映像音声合成部２６の合成パターンや合成パラメータを設定し、映像音声合成部２６に、コンテンツの映像および音声、並びに、コミュニケーション相手であるユーザの映像および音声を合成させ、ステップＳ２４に進む。
【０１２３】
これにより、出力部２１を構成するディスプレイ４１には、コンテンツの映像およびコミュニケーション相手であるユーザの映像が、コンテンツ特性分析部７１により分析され、制御情報生成部７２により生成された制御情報に応じて表示される。また、出力部２１を構成するスピーカ４２には、コンテンツの音声およびコミュニケーション相手であるユーザの音声が、コンテンツ特性分析部７１により分析され、制御情報生成部７２により生成された制御情報に応じて出力される。
【０１２４】
そして、再生が開始されたコンテンツ、送信されたユーザＡ等のリアルタイムデータに含まれる映像および音声、受信されたユーザＸのリアルタイムデータに含まれる映像および音声とともに、制御情報生成部７２により生成された制御情報に応じて変更された合成パターンおよび合成パラメータが合成情報として記録される。
【０１２５】
ステップＳ２４において、操作情報出力部８７は、制御情報生成部７２から、ユーザＸが使用するコミュニケーション装置１−２への制御情報を受けると、制御情報を、通信部２３、および通信網２を介して、コミュニケーション装置１−２に送信し、ステップＳ２５に進む。なお。制御情報を受信したコミュニケーション装置１−２の処理は、後述する。
【０１２６】
ユーザＡにより、操作入力部３１を用いて、コンテンツ特性分析ミキシング処理の終了を指示する操作が行われる。操作入力部３１は、ユーザＡの操作に対応する操作信号を、合成制御部８４に供給する。合成制御部８４は、操作入力部３１からの操作信号を入力すると、ステップＳ２５において、コンテンツ特性分析ミキシング処理を終了するか否かを判定し、コンテンツ特性分析ミキシング処理を終了すると判定された場合、コンテンツ特性分析ミキシング処理を終了し、図５のステップＳ６に戻り、ステップＳ７に進む。
【０１２７】
また、ステップＳ２５において、コンテンツ特性分析ミキシング処理を終了しないと判定された場合、処理は、ステップＳ２２に戻り、それ以降の処理が繰り返される。
【０１２８】
一方、ステップＳ２１において、コンテンツ特性分析ミキシング処理を開始しないと判定された場合、コンテンツ特性分析ミキシング処理は終了され、処理は、図５のステップＳ６に戻り、ステップＳ７に進む。すなわち、合成制御部８４は、ステップＳ７で遠隔コミュニケーション処理が終了するまで、ユーザの操作に基づいて予め設定されている合成パターンおよび合成パラメータでの映像音声合成部２６の合成処理を制御する処理を継続する。
【０１２９】
次に、図１０のフローチャートを参照して、図９のステップＳ２２におけるコンテンツ分析処理を詳しく説明する。なお、図１０においては、図７を参照して上述したコンテンツのシーンの特性に応じて実行される特性分析ミキシング処理を説明する。
【０１３０】
分析制御部１０１は、ステップＳ５１において、動き情報分析部１０２、文字情報分析部１０３、音声情報分析部１０４、または付加情報分析部１０５を制御し、コンテンツ再生部２５から入力されるコンテンツデータの映像、音声、または付加情報に基づいて、コンテンツのシーン（例えば、図７の中継シーン、ハイライトシーン、または、ＣＭシーン）を検出させる。
【０１３１】
具体的には、分析制御部１０１は、動き情報分析部１０２、文字情報分析部１０３、音声情報分析部１０４、および付加情報分析部１０５のうち、少なくとも１つを制御して、コンテンツのシーンを検出させる。そして、分析制御部１０１の制御に応じて、動き情報分析部１０２、文字情報分析部１０３、音声情報分析部１０４、および付加情報分析部１０５は、それぞれ次の処理を行う。
【０１３２】
すなわち、動き情報分析部１０２は、コンテンツの映像から、物体の動き情報を抽出し、抽出した動き情報から、コンテンツの動きの変化量を分析し、分析した結果に基づいて、例えば、コンテンツの動きの変化量が大きければ、中継シーンであるというように、各シーンを検出する。
【０１３３】
文字情報分析部１０３は、コンテンツの映像から、文字情報を分析する。具体的には、文字情報分析部１０３は、例えば、図７の映像１５１から、「Ｌｉｖｅ」を示す文字情報や、映像１５２から、「Ｒｅｐｌｙ」を示す文字情報などを分析し、分析した結果に基づいて、例えば、「Ｌｉｖｅ」の文字情報があれば、中継シーンであるというように、各シーンを検出する。
【０１３４】
音声情報分析部１０４は、コンテンツの音声から、図７の音量特性１６１乃至１６３や、周波数特性を分析し、分析した結果に基づいて、例えば、音量特性１６３のように、音量特性が急に変化すれば、ＣＭシーンであるというように、各シーンを検出する。
【０１３５】
付加情報分析部１０５は、コンテンツの付加情報を分析し、分析した結果に基づいて、例えば、図７に例の付加情報に、スコア情報があれば、中継シーンであるというように、各シーンを検出する。なお、特殊な編集効果を有するシーン（例えば、ハイライトシーン）のコンテンツに、特殊な編集効果を有するシーンであることを示す付加情報を、予め付加するようにして、それを、付加情報分析部１０５に分析させるようにしてもよい。
【０１３６】
なお、以上のシーンの分析（検出）方法を組み合わせて行うようにしてもよいし、上述したシーンの分析方法に限らず、他の分析方法を使用するようにしてもよい。
【０１３７】
以上のように、ステップＳ５１において、シーンが検出され、ステップＳ５２以降において、検出されたシーンの特性に基づいて合成の制御情報が生成される。
【０１３８】
ステップＳ５２において、分析制御部１０１は、ステップＳ５１において検出されたシーンが中継シーンであるか否かを判定し、中継シーンであると判定した場合、ステップＳ５３に進み、動き情報分析部１０２を制御し、コンテンツの映像から、物体の動き情報を抽出し、抽出した動き情報から、コンテンツの動きの変化量を分析させ、分析された動きの変化量が多いか否かを判定する。
【０１３９】
なお、ステップＳ５１においてすでに動きの変化量が分析されていた場合には、その分析結果が用いられて、動きの変化量が判定される。
【０１４０】
ステップＳ５３において、分析制御部１０１は、動きの変化量が多いと判定した場合、すなわち、選手の動きや試合の展開が早く、ユーザが、相手とのコミュニケーションよりも、コンテンツの視聴に集中したいであろうと分析して、その分析結果を、制御情報生成部７２に供給し、ステップＳ５４に進む。
【０１４１】
制御情報生成部７２は、ステップＳ５４において、分析制御部１０１からの分析結果に応じて、図７のディスプレイ４１Ａに示されるように、コンテンツ表示１７１Ａに重畳される、ユーザＸの映像が表示される子画面１７２Ａを薄く表示するように映像を合成する制御情報、および、コンテンツの音声よりも、ユーザＸの音声を小さく出力するように音声を合成する制御情報を生成する。そして、制御情報生成部７２は、生成した制御情報を、合成制御部８４に供給し、コンテンツ分析処理を終了し、図９のステップＳ２２に戻り、ステップＳ２３に進む。
【０１４２】
また、ステップＳ５３において、分析制御部１０１は、動きの変化量が多くはないと判定した場合、すなわち、選手の動きや試合の展開が緩やかになり、ユーザが、コンテンツの視聴の合間に、コミュニケーション相手とのコミュニケーションを行いたいであろうと分析して、その分析結果を、制御情報生成部７２に供給し、ステップＳ５５に進む。
【０１４３】
制御情報生成部７２は、ステップＳ５５において、分析制御部１０１からの分析結果に応じて、ステップＳ７のディスプレイ４１Ａのコンテンツ表示１７１Ａに重畳される、ユーザＸの映像が表示される子画面１７２Ａを濃く表示するように映像を合成する制御情報、および、ステップＳ５４の制御情報よりも、コンテンツの音声に対して、ユーザＸの音声を少し大きく出力するように音声を合成する制御情報を生成する。そして、制御情報生成部７２は、生成した制御情報を、合成制御部８４に供給し、コンテンツ分析処理を終了し、図９のステップＳ２２に戻り、ステップＳ２３に進む。
【０１４４】
一方、ステップＳ５２において、ステップＳ５１において検出されたシーンが中継シーンではないと判定された場合、分析制御部１０１は、ステップＳ５６に進み、検出されたシーンがハイライトシーンであるか否かを判定する。
【０１４５】
ステップＳ５６において、分析制御部１０１は、検出されたシーンがハイライトシーンであると判定した場合には、例えば、図７の例においては、選手がゴールを決めた場面のＶＴＲが反復再生されたコンテンツの映像１５２を、ユーザがコミュニケーション相手と感動を共用したいであろうと分析し、その分析結果を、制御情報生成部７２に供給し、ステップＳ５７に進む。
【０１４６】
制御情報生成部７２は、ステップＳ５７において、分析制御部１０１からの分析結果に応じて、図７のディスプレイ４１Ｂに示されるように、コンテンツの映像１５２を、コンテンツ表示１７１Ｂに示されるように、コンテンツ表示１７１Ａよりも、少し小さめに表示するとともに、コンテンツ表示１７１Ｂに重畳されるユーザＸの映像が表示される子画面１７２Ｂを、子画面１７２Ａよりも、濃く、大きく表示するように映像を合成する制御情報を生成する。また、制御情報生成部７２は、ステップＳ５４の制御情報よりも、コンテンツの音声に対して、ユーザＸの音声を少し大きく出力するように音声を合成する制御情報を生成する。そして、制御情報生成部７２は、生成した制御情報を、合成制御部８４に供給し、コンテンツ分析処理を終了し、図９のステップＳ２２に戻り、ステップＳ２３に進む。
【０１４７】
ステップＳ５６において、検出されたシーンがハイライトシーンではない（図７の場合、すなわち、ＣＭシーンである）と判定された場合には、例えば、広告などの映像１５３に対して、コミュニケーション相手と意見を交換したいであろうと分析し、その分析結果を、制御情報生成部７２に供給し、ステップＳ５８に進む。
【０１４８】
制御情報生成部７２は、ステップＳ５８において、分析制御部１０１からの分析結果に応じて、図７のディスプレイ４１Ｃに示されるように、コンテンツ表示１７１Ｂよりも、さらに少し小さめに表示するとともに、コンテンツ表示１７１Ｃに重畳されるユーザＸの映像が表示される子画面１７２Ｃを、子画面１７２Ｂよりも、濃く、大きくし表示するように映像を合成する制御情報を生成する。また、制御情報生成部７２は、ステップＳ５７の制御情報よりも、コンテンツの音声に対して、ユーザＸの音声を、さらに少し大きく出力するように音声を合成する制御情報を生成する。そして、制御情報生成部７２は、生成した制御情報を、合成制御部８４に供給し、コンテンツ分析処理を終了し、図９のステップＳ２２に戻り、ステップＳ２３に進む。
【０１４９】
なお、図１０のステップＳ５４、Ｓ５５、Ｓ５７，およびＳ５８において、生成される制御情報は、合成制御部８４のみに供給するとして説明したが、このとき、同時に、コミュニケーション相手であるコミュニケーション装置１−２の映像音声合成部２６を制御するための制御情報も生成されて、操作情報出力部８７に供給される。なお、この場合の子画面には、ユーザＸではなく、コミュニケーション装置１−１のユーザＡの映像が表示される。
【０１５０】
これにより、コミュニケーション相手のコミュニケーション装置も制御することができるので、ユーザは、コミュニケーション相手と、子画面のユーザの映像が異なるだけの同じ構成の表示画面を見ることができる。
【０１５１】
以上のように、コンテンツの映像、音声、および付加情報から、コンテンツのシーンの特性や動きの変化量の特性を分析し、分析結果に応じて、コンテンツの映像および音声、ならびにコミュニケーション相手の映像および音声の合成を制御したり、コンテンツの内容がリアルタイムに反映されるコミュニケーションを行うことができる。したがって、遠隔地にいながらも対面でコミュニケーションを行っているような効果が引き出される。
【０１５２】
また、ユーザにとって、わずらわしく、かつ設定が難しいとされる、これらのコミュニケーション装置の映像や音声の合成処理の設定を、コンテンツの内容や特性に応じて簡単に行うことができるので、ユーザは、設定にかかる手間を省くことができる。
【０１５３】
次に、図１１のフローチャートを参照して、図９のステップＳ２２におけるコンテンツ分析処理の他の例を詳しく説明する。なお、図１１においては、図８を参照して上述したコンテンツの種類の特性に応じて実行される特性分析ミキシング処理を説明する。
【０１５４】
分析制御部１０１は、ステップＳ７１において、付加情報分析部１０５を制御し、コンテンツ再生部２５から入力されるコンテンツデータの付加情報に基づいて、コンテンツのタイプ（種類）を検出させ、ステップＳ７２に進む。
【０１５５】
ステップＳ７２において、分析制御部１０１は、ステップＳ７１において検出されたコンテンツのタイプが、映像に文字情報が多い特性がある報道番組タイプであるか否かを判定し、報道番組タイプであると判定した場合、ステップＳ７３に進み、コンテンツの映像から、文字情報の位置（表示される表示位置）を抽出し、文字情報がある位置を分析し、ステップＳ７４に進む。
【０１５６】
ステップＳ７４において、制御情報生成部７２は、文字制御部１０１の分析結果に応じて、文字情報がない位置に、ユーザＸの映像が表示される子画面を移動させて、表示させるように映像を合成する制御情報を生成し、生成された制御情報を、合成制御部８４に供給し、コンテンツ分析処理を終了し、図９のステップＳ２２に戻り、ステップＳ２３に進む。
【０１５７】
一方、ステップＳ７２において、ステップＳ７１において検出されたコンテンツのタイプが、報道番組タイプであるか否かを判定し、報道番組タイプではないと判定した場合、ステップＳ７５に進み、検出されたコンテンツのタイプが、映像に操作情報が多い特性があるゲームタイプであるか否かを判定し、検出されたコンテンツのタイプが、ゲームタイプであると判定した場合、ステップＳ７６に進む。
【０１５８】
ステップＳ７６において、分析制御部１０１は、コンテンツの映像から、操作情報の位置を抽出し、操作情報がある位置を分析し、ステップＳ７７に進む。
【０１５９】
ステップＳ７７において、制御情報生成部７２は、制御情報生成部７２は、文字制御部１０１の分析結果に応じて、操作情報がない位置に、ユーザＸの映像が表示される子画面を移動、または縮小させて、表示させるように映像を合成する制御情報を生成し、生成された制御情報を、合成制御部８４に供給し、コンテンツ分析処理を終了し、図９のステップＳ２２に戻り、ステップＳ２３に進む。
【０１６０】
また、ステップＳ７５において、検出されたコンテンツのタイプが、ゲームタイプではないと判定した場合（すなわち、他のタイプのコンテンツであると判定した場合）、コンテンツ分析処理を終了し、図９のステップＳ２２に戻り、ステップＳ２３に進む。
【０１６１】
なお、図１１のステップＳ７４、およびＳ７７においても、図１０の例と同様に、生成される制御情報は、合成制御部８４のみに供給するとして説明したが、このとき、同時に、コミュニケーション相手であるコミュニケーション装置１−２の映像音声合成部２６を制御するための制御情報も生成して、操作情報出力部８７に供給するようにしてもよい。
【０１６２】
以上のように、コンテンツの映像、音声、および付加情報から、コンテンツのタイプや、コンテンツの映像の構成特性を分析し、分析結果に応じて、コンテンツの映像および音声、ならびにコミュニケーション相手の映像および音声の合成を制御するので、再生されているコンテンツの内容、特性がリアルタイムに反映されるコミュニケーションを行うことができる。したがって、遠隔地にいながらも対面でコミュニケーションを行っているような効果が引き出される。
【０１６３】
また、ユーザにとって、わずらわしく、かつ設定が難しいとされる、これらのコミュニケーション装置の映像や音声の合成処理の設定を、コンテンツの内容や特性に応じて簡単に行うことができるので、ユーザは、設定にかかる手間を省くことができる。
【０１６４】
さらに、コミュニケーション相手のコミュニケーション装置も制御することができる。
【０１６５】
次に、図１２のフローチャートを参照して、図１３のステップＳ３０においてコミュニケーション装置１−１から送信された制御情報を受信する、コミュニケーション装置１−２の制御情報受信処理について説明する。
【０１６６】
なお、図１２の制御情報受信処理は、コミュニケーション装置１−２が、図５のステップＳ５の後において遠隔コミュニケーション記録処理を行っている間に実行される処理である。すなわち、この処理は、他のコミュニケーション装置１−１によるコンテンツ特性分析結果に応じて、ミキシング処理を行う処理であり、換言すると、ステップＳ６のコンテンツ特性分析ミキシング処理の他の処理である。
【０１６７】
ステップＳ１０１において、コミュニケーション装置１−２の通信部２３は、コミュニケーション装置１−１の操作情報出力部８７から送信されてくる制御情報を受信すると、セッション管理部８１に供給する。
【０１６８】
ステップＳ１０２において、セッション管理部８１は、コミュニケーション装置１−１からの制御情報が、ユーザが望まない操作や効果を発生させるものである場合、制御情報を拒否すると判定し、制御情報受信処理を終了する。
【０１６９】
なお、コミュニケーション装置１−１からの制御情報の受付または拒否は、コミュニケーション装置１−２において設定することが可能であり、制御情報を一切受け付けないと設定することも可能である。また、受け付けた場合、自分自身のコミュニケーション装置において分析され、生成された制御情報の排他制御のため、優先度を設けたり、あるいは、コミュニケーション装置の間で、マスタとスレーブの関係を予め設定するようにしてもよい。
【０１７０】
一方、ステップＳ１０２において、セッション管理部８１は、コミュニケーション装置１−１からの制御情報を拒否しないと判定した場合、その制御情報を、合成制御部８４に供給し、ステップＳ１０３に進む。
【０１７１】
ステップＳ１０３において、合成制御部８４は、制御情報生成部７２からの制御情報に応じて、映像音声合成部２６の合成パターンや合成パラメータを設定し、映像音声合成部２６に、コンテンツの映像および音声、並びに、コミュニケーション相手であるユーザの映像および音声を合成させ、制御情報受信処理を終了する。
【０１７２】
以上のように、自分自身のコンテンツ特性分析部７１において分析され、制御情報生成部７２において生成された制御情報だけでなく、他のコミュニケーション装置のコンテンツ特性分析部７１において分析され、制御情報生成部７２において生成された制御情報も利用することができ、さらに、それを拒否することも可能である。
【０１７３】
これにより、ユーザは、コミュニケーション相手と、子画面のユーザの映像が異なるだけの同じ構成の表示画面を見ながらコミュニケーションができるので、より自然なコミュニケーションを行うことができる。
【０１７４】
なお、上記説明においては、各コミュニケーション装置に、データ分析部２８を設置する場合を説明したが、通信網２に、サーバを設置し、そのサーバに、データ分析部２８を設け、制御情報を各コミュニケーション装置に提供するようにしてもよいし、サーバに、コンテンツ特性分析部７１のみを設け、分析情報を各コミュニケーション装置に提供するようにしてもよい。
【０１７５】
以上のように、遠隔コミュニケーション処理が実行されるので、従来の音声電話機、ＴＶ電話機、または、ビデオ会議システムのような遠隔地コミュニケーション装置と比較して、より活発で自然なコミュニケーションが実現される。
【０１７６】
すなわち、従来においては、従来のＴＶ装置で、リアルタイムで配信される放送コンテンツ視聴するユーザＸが、遠隔地にいるユーザＡに音声電話機を使用して、放送コンテンツを視聴した感想を伝えた場合、実際に放送コンテンツを見ていないユーザＡには、状況の理解が困難である場合があった。
【０１７７】
しかしながら、本発明のコミュニケーション装置を用いることにより、遠隔地にいるユーザＡとユーザＸが同じ時刻に同じコンテンツを共用することができ、さらに、子画面などにおいて、お互いの映像や音声も同時に再生されるので、遠隔地にいるにも関わらず、あたかも対面でコミュニケーションを行っているような臨場感、一体感、または親近感などを得ることができる。
【０１７８】
さらに、コンテンツの内容や特性に応じて、コンテンツとユーザの映像および音声の合成処理などを制御するようにしたので、コミュニケーション装置の各パラメータを、手間をかけることなく、簡単に設定することができる。これにより、さらに、活発で自然なコミュニケーションが実現される。
【０１７９】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。この場合、例えば、図１のコミュニケーション装置１−１および１−２は、図１３に示されるようなパーソナルコンピュータ４０１により構成される。
【０１８０】
図１３において、ＣＰＵ（Central Processing Unit）４１１は、ＲＯＭ(Read Only Memory) ４１２に記憶されているプログラム、または、記憶部４１８からＲＡＭ（Random Access Memory）４１３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ４１３にはまた、ＣＰＵ４１１が各種の処理を実行する上において必要なデータなどが適宜記憶される。
【０１８１】
ＣＰＵ４１１、ＲＯＭ４１２、およびＲＡＭ４１３は、バス４１４を介して相互に接続されている。このバス４１４にはまた、入出力インタフェース４１５も接続されている。
【０１８２】
入出力インタフェース４１５には、キーボード、マウスなどよりなる入力部４１６、ＣＲＴ(Cathode Ray Tube)，ＬＣＤ（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部４１７、ハードディスクなどより構成される記憶部４１８、モデム、ターミナルアダプタなどより構成される通信部４１９が接続されている。通信部４１９は、無線などのネットワークを介しての通信処理を行う。
【０１８３】
入出力インタフェース４１５にはまた、必要に応じてドライブ４２０が接続され、磁気ディスク４２１、光ディスク４２２、光磁気ディスク４２３、或いは半導体メモリ４２４などが適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部４１８にインストールされる。
【０１８４】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１８５】
この記録媒体は、図１３に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク４２１（フレキシブルディスクを含む）、光ディスク４２２（CD-ROM(Compact Disk-Read Only Memory)，ＤＶＤ(Digital Versatile Disk)を含む）、光磁気ディスク４２３（MD(Mini-Disk)（商標）を含む）、もしくは半導体メモリ４２４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭ４１２や、記憶部４１８に含まれるハードディスクなどで構成される。
【０１８６】
なお、本明細書において、フローチャートに示されるステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１８７】
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【図面の簡単な説明】
【０１８８】
【図１】本発明のコミュニケーションシステムの構成例を示す図である。
【図２】図１のコミュニケーションシステムにおいて用いられる映像の例を示す図である。
【図３】コンテンツとユーザの映像の合成パターンの例を示す図である。
【図４】図１のコミュニケーション装置１−１の構成例を示すブロック図である。
【図５】図１のコミュニケーション装置の遠隔コミュニケーション処理を説明するフローチャートである。
【図６】図４のデータ分析部の詳細な構成例を示す図である。
【図７】コンテンツのシーンに応じて実行される特性分析ミキシング処理の一例を説明する図である。
【図８】コンテンツの種類に応じて実行される特性分析ミキシング処理の一例を説明する図である。
【図９】図５のステップＳ５のコンテンツ特性分析ミキシング処理を説明するフローチャートである。
【図１０】図９のステップＳ２２のコンテンツ分析処理を説明するフローチャートである。
【図１１】図９のステップＳ２２のコンテンツ分析処理の他の例を説明するフローチャートである。
【図１２】図９のステップＳ２４の処理に対応して実行される、制御情報受信処理を説明するフローチャートである。
【図１３】本発明を適用するパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０１８９】
１−１，１−２  コミュニケーション装置，２  通信網，３  コンテンツ供給サーバ，２１  出力部，２２−１，２２−２  入力部，２３  通信部，２６  映像音声合成部，２８  データ分析部，３１  操作入力部，３２  制御部，４１  ディスプレイ，４２  スピーカ，５１−１，５１−２  カメラ，５２−１，５２−２  マイク，５３−１，５３−２  センサ，７１  コンテンツ特性分析部，７２  制御情報生成部，８１  セッション管理部，８４  合成制御部，８７  操作情報出力部，１０１  分析制御部，１０２  動き情報分析部，１０３  文字情報分析部，１０４  音声情報分析部，１０５  付加情報分析部
【図１】
2006041886.tif 000003
【図２】
2006041886.tif 000004
【図３】
2006041886.tif 000005
【図４】
2006041886.tif 000006
【図５】
2006041886.tif 000007
【図６】
2006041886.tif 000008
【図７】
2006041886.tif 000009
【図８】
2006041886.tif 000010
【図９】
2006041886.tif 000011
【図１０】
2006041886.tif 000012
【図１１】
2006041886.tif 000013
【図１２】
2006041886.tif 000014
【図１３】
2006041886.tif 000015