(57)【要約】【課題】  遠隔地にいる話者相互の身振りや手振りのマッチング状況に基づいて所定の処理を実行できるようにする。【解決手段】  ステップＳ１１で、ユーザＡの映像が入力され、ステップＳ１２で、ユーザＡの映像から、動きベクトル、その発生ポイント、およびその軌跡を含む識別データが取得され、ステップＳ１３で、マッチングデータベースが参照され、識別データに対応するモーションコマンドが特定される。そして、ステップＳ１５で、ユーザＡ側のモーションコマンドと、ユーザＸ側のモーションコマンドが対応するか否かが判定され、ステップＳ１６で、モーションコマンドに対応する動作が実行される。本発明は、例えば、遠隔地間のコミュニケーション装置に適用することができる。【選択図】図７
2006039917.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介して他の情報処理装置とユーザの映像を通信する情報処理装置において、
ユーザを撮影し、その結果得られたユーザ映像を入力する入力手段と、
前記ユーザ映像からユーザの動作を検出し、検出結果として動作情報を生成する検出手段と、
前記動作情報に対応する第１のコマンドを発生する発生手段と、
前記第１のコマンドと前記他の情報処理装置から送信された前記他の情報処理装置のユーザの動作に対応する第２のコマンドとの対応関係を判定する判定手段と、
前記判定手段の判定結果に対応する処理の実行を制御する制御手段と
を含むことを特徴とする情報処理装置。
【請求項２】
前記他の情報処理装置と同一のコンテンツデータを同期再生する再生手段を
さらに含むことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
ネットワークを介して他の情報処理装置とユーザの映像を通信する情報処理方法において、
ユーザを撮影し、その結果得られたユーザ映像を入力する入力ステップと、
前記ユーザ映像からユーザの動作を検出し、検出結果として動作情報を生成する検出ステップと、
前記動作情報に対応する第１のコマンドを発生する発生ステップと、
前記第１のコマンドと前記他の情報処理装置から送信された前記他の情報処理装置のユーザの動作に対応する第２のコマンドとの対応関係を判定する判定ステップと、
前記判定ステップの処理での判定結果に対応する処理の実行を制御する制御ステップと
を含むことを特徴とする情報処理方法。
【請求項４】
ネットワークを介して他の情報処理装置とユーザの映像を通信するためのプログラムであって、
ユーザを撮影し、その結果得られたユーザ映像を入力する入力ステップと、
前記ユーザ映像からユーザの動作を検出し、検出結果として動作情報を生成する検出ステップと、
前記動作情報に対応する第１のコマンドを発生する発生ステップと、
前記第１のコマンドと前記他の情報処理装置から送信された前記他の情報処理装置のユーザの動作に対応する第２のコマンドとの対応関係を判定する判定ステップと、
前記判定ステップの処理での判定結果に対応する処理の実行を制御する制御ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項５】
ネットワークを介して他の情報処理装置とユーザの映像を通信するためのプログラムであって、
ユーザを撮影し、その結果得られたユーザ映像を入力する入力ステップと、
前記ユーザ映像からユーザの動作を検出し、検出結果として動作情報を生成する検出ステップと、
前記動作情報に対応する第１のコマンドを発生する発生ステップと、
前記第１のコマンドと前記他の情報処理装置から送信された前記他の情報処理装置のユーザの動作に対応する第２のコマンドとの対応関係を判定する判定ステップと、
前記判定ステップの処理での判定結果に対応する処理の実行を制御する制御ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。
【請求項６】
ネットワークを介して他の情報処理装置とユーザの映像を通信する情報処理装置において、
ユーザを撮影し、その結果得られた第１のユーザ映像を入力する入力手段と、
前記他の情報処理装置から前記ネットワークを介して送信された、前記他の情報処理装置のユーザの映像である第２のユーザ映像を受信する受信手段と、
前記第１のユーザ映像からユーザの動作を検出し、検出結果として第１の動作情報を生成するとともに、前記第２のユーザ映像からユーザの動作を検出し、検出結果として第２の動作情報を生成する検出手段と、
前記第１および第２の動作情報にそれぞれ対応する第１および第２のコマンドを発生する発生手段と、
前記第１のコマンドと前記第２のコマンドとの対応関係を判定する判定手段と、
前記判定手段の判定結果を、前記ネットワークを介して前記他の情報処理装置に通知する通知手段と、
前記判定手段の判定結果に対応する処理の実行を制御する制御手段と
を含むことを特徴とする情報処理装置。
【請求項７】
前記他の情報処理装置と同一のコンテンツデータを同期再生する再生手段を
さらに含むことを特徴とする請求項６に記載の情報処理装置。
【請求項８】
ネットワークを介して他の情報処理装置とユーザの映像を通信する情報処理方法において、
ユーザを撮影し、その結果得られた第１のユーザ映像を入力する入力ステップと、
前記他の情報処理装置から前記ネットワークを介して送信された、前記他の情報処理装置のユーザの映像である第２のユーザ映像を受信する受信ステップと、
前記第１のユーザ映像からユーザの動作を検出し、検出結果として第１の動作情報を生成するとともに、前記第２のユーザ映像からユーザの動作を検出し、検出結果として第２の動作情報を生成する検出ステップと、
前記第１および第２の動作情報にそれぞれ対応する第１および第２のコマンドを発生する発生ステップと、
前記第１のコマンドと前記第２のコマンドとの対応関係を判定する判定ステップと、
前記判定ステップの処理での判定結果を、前記ネットワークを介して前記他の情報処理装置に通知する通知ステップと、
前記判定ステップの処理での判定結果に対応する処理の実行を制御する制御ステップと
を含むことを特徴とする情報処理方法。
【請求項９】
ネットワークを介して他の情報処理装置とユーザの映像を通信するためのプログラムであって、
ユーザを撮影し、その結果得られた第１のユーザ映像を入力する入力ステップと、
前記他の情報処理装置から前記ネットワークを介して送信された、前記他の情報処理装置のユーザの映像である第２のユーザ映像を受信する受信ステップと、
前記第１のユーザ映像からユーザの動作を検出し、検出結果として第１の動作情報を生成するとともに、前記第２のユーザ映像からユーザの動作を検出し、検出結果として第２の動作情報を生成する検出ステップと、
前記第１および第２の動作情報にそれぞれ対応する第１および第２のコマンドを発生する発生ステップと、
前記第１のコマンドと前記第２のコマンドとの対応関係を判定する判定ステップと、
前記判定ステップの処理での判定結果を、前記ネットワークを介して前記他の情報処理装置に通知する通知ステップと、
前記判定ステップの処理での判定結果に対応する処理の実行を制御する制御ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項１０】
ネットワークを介して他の情報処理装置とユーザの映像を通信するためのプログラムであって、
ユーザを撮影し、その結果得られた第１のユーザ映像を入力する入力ステップと、
前記他の情報処理装置から前記ネットワークを介して送信された、前記他の情報処理装置のユーザの映像である第２のユーザ映像を受信する受信ステップと、
前記第１のユーザ映像からユーザの動作を検出し、検出結果として第１の動作情報を生成するとともに、前記第２のユーザ映像からユーザの動作を検出し、検出結果として第２の動作情報を生成する検出ステップと、
前記第１および第２の動作情報にそれぞれ対応する第１および第２のコマンドを発生する発生ステップと、
前記第１のコマンドと前記第２のコマンドとの対応関係を判定する判定ステップと、
前記判定ステップの処理での判定結果を、前記ネットワークを介して前記他の情報処理装置に通知する通知ステップと、
前記判定ステップの処理での判定結果に対応する処理の実行を制御する制御ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。
【請求項１１】
ネットワークを介して他の情報処理装置とユーザの映像を通信する情報処理装置において、
ユーザを撮影し、その結果得られたユーザ映像を入力する入力手段と、
前記ユーザ映像からユーザの動作を検出し、検出結果として第１の動作情報を生成する検出手段と、
前記第１の動作情報を、前記ネットワークを介して所定のサーバに通知する通知手段と、
前記通知手段による前記第１の動作情報の通知に対応して前記所定のサーバから返信される、前記他の情報処理装置から通知された第２の動作情報との対応状況の判定結果を受信する受信手段と、
前記受信手段によって受信された前記判定結果に対応する処理の実行を制御する制御手段と
を含むことを特徴とする情報処理装置。
【請求項１２】
前記所定のサーバでは、前記第１の動作情報に対応する第１のコマンドが発生されるとともに、前記他の情報処理装置から通知された前記他の情報処理装置のユーザの動作に対応する第２の動作情報に対応する第２のコマンドが発生され、前記第１のコマンドと前記第２のコマンドの対応関係が判定されて、前記判定結果が前記情報処理装置に返信される
ことを特徴とする請求項１１に記載の情報処理装置。
【請求項１３】
前記他の情報処理装置と同一のコンテンツデータを同期再生する再生手段を
さらに含むことを特徴とする請求項１１に記載の情報処理装置。
【請求項１４】
ネットワークを介して他の情報処理装置とユーザの映像を通信する情報処理方法において、
ユーザを撮影し、その結果得られたユーザ映像を入力する入力ステップと、
前記ユーザ映像からユーザの動作を検出し、検出結果として第１の動作情報を生成する検出ステップと、
前記第１の動作情報を、前記ネットワークを介して所定のサーバに通知する通知ステップと、
前記通知ステップの処理による前記第１の動作情報の通知に対応して前記所定のサーバから返信される、前記他の情報処理装置から通知された第２の動作情報との対応状況の判定結果を受信する受信ステップと、
前記受信ステップの処理で受信された前記判定結果に対応する処理の実行を制御する制御ステップと
を含むことを特徴とする情報処理方法。
【請求項１５】
ネットワークを介して他の情報処理装置とユーザの映像を通信するためのプログラムであって、
ユーザを撮影し、その結果得られたユーザ映像を入力する入力ステップと、
前記ユーザ映像からユーザの動作を検出し、検出結果として第１の動作情報を生成する検出ステップと、
前記第１の動作情報を、前記ネットワークを介して所定のサーバに通知する通知ステップと、
前記通知ステップの処理による前記第１の動作情報の通知に対応して前記所定のサーバから返信される、前記他の情報処理装置から通知された第２の動作情報との対応状況の判定結果を受信する受信ステップと、
前記受信ステップの処理で受信された前記判定結果に対応する処理の実行を制御する制御ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項１６】
ネットワークを介して他の情報処理装置とユーザの映像を通信するためのプログラムであって、
ユーザを撮影し、その結果得られたユーザ映像を入力する入力ステップと、
前記ユーザ映像からユーザの動作を検出し、検出結果として第１の動作情報を生成する検出ステップと、
前記第１の動作情報を、前記ネットワークを介して所定のサーバに通知する通知ステップと、
前記通知ステップの処理による前記第１の動作情報の通知に対応して前記所定のサーバから返信される、前記他の情報処理装置から通知された第２の動作情報との対応状況の判定結果を受信する受信ステップと、
前記受信ステップの処理で受信された前記判定結果に対応する処理の実行を制御する制御ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および方法、記録媒体、並びにプログラムに関し、特に、ネットワークを介して接続された他の情報処理装置とユーザの映像と音声を通信し、ユーザの身振りや手振り等に従って所定の動作を行うようにした情報処理装置および方法、記録媒体、並びにプログラムに関する。
【背景技術】
【０００２】
従来、遠隔地にいる人同士の交流（以下、遠隔コミュニケーションと記述する）に用いる装置として、電話、いわゆるテレビ電話、ビデオ会議システム等が存在する。また、パーソナルコンピュータ等を用いてインタネットに接続し、テキストチャット、映像と音声を伴うビデオチャット等を行う方法もある。
【０００３】
さらに、遠隔コミュニケーションを実行しようとする人（以下、話者とも記述する）がそれぞれパーソナルコンピュータ等を用い、インタネットを介して仮想空間を共有したり、同一のコンテンツ（楽曲、動画、静止画等）を共用したりすることも提案されている（例えば、特許文献１参照）。
【０００４】
ところで、単に、CCD(Charge Coupled Device)カメラ等により話者の映像を取得し、話者の身振りや手振りを検出する技術は存在する（例えば、特許文献２および３参照）。
【０００５】
【特許文献１】特開２００３−２７１５３０号公報
【特許文献２】特開平８−２１１９７９号公報
【特許文献３】特開平８−２１２３２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の遠隔コミュニケーションでは、話者間のコミュニケーションを通じた共通体験や環境共有等を実現することができず、相互理解感やリラックス感等を増すことができなかったことから、コミュニケーションの内容が伝言的なものになったり、気まずいものになったりと、双方向コミュニケーションを効果的に活性化させることができなかった。
【０００７】
例えば、話者相互の身振りや手振りに対応して、双方で共通の動作が実行されれば、相互の協調性や理解感が深まることが期待できるが、従来、そのような技術は存在していまいという課題があった。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、遠隔地にいる話者相互の身振りや手振りのマッチング状況に基づいて所定の処理を実行できるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明の第１の情報処理装置は、ユーザを撮影し、その結果得られたユーザ映像を入力する入力手段と、ユーザ映像からユーザの動作を検出し、検出結果として動作情報を生成する検出手段と、動作情報に対応する第１のコマンドを発生する発生手段と、第１のコマンドと他の情報処理装置から送信された他の情報処理装置のユーザの動作に対応する第２のコマンドとの対応関係を判定する判定手段と、判定手段の判定結果に対応する処理の実行を制御する制御手段とを含むことを特徴とする。
【００１０】
本発明の第１の情報処理装置は、他の情報処理装置と同一のコンテンツデータを同期再生する再生手段をさらに含むことができる。
【００１１】
本発明の第１の情報処理方法は、ユーザを撮影し、その結果得られたユーザ映像を入力する入力ステップと、ユーザ映像からユーザの動作を検出し、検出結果として動作情報を生成する検出ステップと、動作情報に対応する第１のコマンドを発生する発生ステップと、第１のコマンドと他の情報処理装置から送信された他の情報処理装置のユーザの動作に対応する第２のコマンドとの対応関係を判定する判定ステップと、判定ステップの処理での判定結果に対応する処理の実行を制御する制御ステップとを含むことを特徴とする。
【００１２】
本発明の第１の記録媒体のプログラムは、ユーザを撮影し、その結果得られたユーザ映像を入力する入力ステップと、ユーザ映像からユーザの動作を検出し、検出結果として動作情報を生成する検出ステップと、動作情報に対応する第１のコマンドを発生する発生ステップと、第１のコマンドと他の情報処理装置から送信された他の情報処理装置のユーザの動作に対応する第２のコマンドとの対応関係を判定する判定ステップと、判定ステップの処理での判定結果に対応する処理の実行を制御する制御ステップとを含むことを特徴とする。
【００１３】
本発明の第１のプログラムは、ユーザを撮影し、その結果得られたユーザ映像を入力する入力ステップと、ユーザ映像からユーザの動作を検出し、検出結果として動作情報を生成する検出ステップと、動作情報に対応する第１のコマンドを発生する発生ステップと、第１のコマンドと他の情報処理装置から送信された他の情報処理装置のユーザの動作に対応する第２のコマンドとの対応関係を判定する判定ステップと、判定ステップの処理での判定結果に対応する処理の実行を制御する制御ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００１４】
本発明の第２の情報処理装置は、ユーザを撮影し、その結果得られた第１のユーザ映像を入力する入力手段と、他の情報処理装置からネットワークを介して送信された、他の情報処理装置のユーザの映像である第２のユーザ映像を受信する受信手段と、第１のユーザ映像からユーザの動作を検出し、検出結果として第１の動作情報を生成するとともに、第２のユーザ映像からユーザの動作を検出し、検出結果として第２の動作情報を生成する検出手段と、第１および第２の動作情報にそれぞれ対応する第１および第２のコマンドを発生する発生手段と、第１のコマンドと第２のコマンドとの対応関係を判定する判定手段と、判定手段の判定結果を、ネットワークを介して他の情報処理装置に通知する通知手段と、判定手段の判定結果に対応する処理の実行を制御する制御手段とを含むことを特徴とする。
【００１５】
本発明の第２の情報処理装置は、他の情報処理装置と同一のコンテンツデータを同期再生する再生手段をさらに含むことができる。
【００１６】
本発明の第２の情報処理方法は、ユーザを撮影し、その結果得られた第１のユーザ映像を入力する入力ステップと、他の情報処理装置からネットワークを介して送信された、他の情報処理装置のユーザの映像である第２のユーザ映像を受信する受信ステップと、第１のユーザ映像からユーザの動作を検出し、検出結果として第１の動作情報を生成するとともに、第２のユーザ映像からユーザの動作を検出し、検出結果として第２の動作情報を生成する検出ステップと、第１および第２の動作情報にそれぞれ対応する第１および第２のコマンドを発生する発生ステップと、第１のコマンドと第２のコマンドとの対応関係を判定する判定ステップと、判定ステップの処理での判定結果を、ネットワークを介して他の情報処理装置に通知する通知ステップと、判定ステップの処理での判定結果に対応する処理の実行を制御する制御ステップとを含むことを特徴とする。
【００１７】
本発明の第２の記録媒体のプログラムは、ユーザを撮影し、その結果得られた第１のユーザ映像を入力する入力ステップと、他の情報処理装置からネットワークを介して送信された、他の情報処理装置のユーザの映像である第２のユーザ映像を受信する受信ステップと、第１のユーザ映像からユーザの動作を検出し、検出結果として第１の動作情報を生成するとともに、第２のユーザ映像からユーザの動作を検出し、検出結果として第２の動作情報を生成する検出ステップと、第１および第２の動作情報にそれぞれ対応する第１および第２のコマンドを発生する発生ステップと、第１のコマンドと第２のコマンドとの対応関係を判定する判定ステップと、判定ステップの処理での判定結果を、ネットワークを介して他の情報処理装置に通知する通知ステップと、判定ステップの処理での判定結果に対応する処理の実行を制御する制御ステップとを含むことを特徴とする。
【００１８】
本発明の第２のプログラムは、ユーザを撮影し、その結果得られた第１のユーザ映像を入力する入力ステップと、他の情報処理装置からネットワークを介して送信された、他の情報処理装置のユーザの映像である第２のユーザ映像を受信する受信ステップと、第１のユーザ映像からユーザの動作を検出し、検出結果として第１の動作情報を生成するとともに、第２のユーザ映像からユーザの動作を検出し、検出結果として第２の動作情報を生成する検出ステップと、第１および第２の動作情報にそれぞれ対応する第１および第２のコマンドを発生する発生ステップと、第１のコマンドと第２のコマンドとの対応関係を判定する判定ステップと、判定ステップの処理での判定結果を、ネットワークを介して他の情報処理装置に通知する通知ステップと、判定ステップの処理での判定結果に対応する処理の実行を制御する制御ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００１９】
本発明の第３の情報処理装置は、ユーザを撮影し、その結果得られたユーザ映像を入力する入力手段と、ユーザ映像からユーザの動作を検出し、検出結果として第１の動作情報を生成する検出手段と、第１の動作情報を、ネットワークを介して所定のサーバに通知する通知手段と、通知手段による第１の動作情報の通知に対応して所定のサーバから返信される、他の情報処理装置から通知された第２の動作情報との対応状況の判定結果を受信する受信手段と、受信手段によって受信された判定結果に対応する処理の実行を制御する制御手段とを含むことを特徴とする。
【００２０】
前記所定のサーバでは、第１の動作情報に対応する第１のコマンドが発生されるとともに、他の情報処理装置から通知された他の情報処理装置のユーザの動作に対応する第２の動作情報に対応する第２のコマンドが発生され、第１のコマンドと第２のコマンドの対応関係が判定されて、判定結果が情報処理装置に返信されるようにすることができる。
【００２１】
本発明の第３の情報処理装置は、他の情報処理装置と同一のコンテンツデータを同期再生する再生手段をさらに含むことができる。
【００２２】
本発明の第３の情報処理方法は、ユーザを撮影し、その結果得られたユーザ映像を入力する入力ステップと、ユーザ映像からユーザの動作を検出し、検出結果として第１の動作情報を生成する検出ステップと、第１の動作情報を、ネットワークを介して所定のサーバに通知する通知ステップと、通知ステップの処理による第１の動作情報の通知に対応して所定のサーバから返信される、他の情報処理装置から通知された第２の動作情報との対応状況の判定結果を受信する受信ステップと、受信ステップの処理で受信された判定結果に対応する処理の実行を制御する制御ステップとを含むことを特徴とする。
【００２３】
本発明の第３の記録媒体のプログラムは、ユーザを撮影し、その結果得られたユーザ映像を入力する入力ステップと、ユーザ映像からユーザの動作を検出し、検出結果として第１の動作情報を生成する検出ステップと、第１の動作情報を、ネットワークを介して所定のサーバに通知する通知ステップと、通知ステップの処理による第１の動作情報の通知に対応して所定のサーバから返信される、他の情報処理装置から通知された第２の動作情報との対応状況の判定結果を受信する受信ステップと、受信ステップの処理で受信された判定結果に対応する処理の実行を制御する制御ステップとを含むことを特徴とする。
【００２４】
本発明の第３のプログラムは、ユーザを撮影し、その結果得られたユーザ映像を入力する入力ステップと、ユーザ映像からユーザの動作を検出し、検出結果として第１の動作情報を生成する検出ステップと、第１の動作情報を、ネットワークを介して所定のサーバに通知する通知ステップと、通知ステップの処理による第１の動作情報の通知に対応して所定のサーバから返信される、他の情報処理装置から通知された第２の動作情報との対応状況の判定結果を受信する受信ステップと、受信ステップの処理で受信された判定結果に対応する処理の実行を制御する制御ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００２５】
本発明の第１の情報処理装置および方法、並びにプログラムにおいては、ユーザ映像からユーザの動作が検出され、検出結果として動作情報が生成され、動作情報に対応する第１のコマンドが発生される。そして、第１のコマンドと他の情報処理装置から送信された他の情報処理装置のユーザの動作に対応する第２のコマンドとの対応関係が判定され、判定結果に対応する処理の実行が制御される。
【００２６】
本発明の第２の情報処理装置および方法、並びにプログラムにおいては、ユーザを撮影し、その結果得られた第１のユーザ映像からユーザの動作が検出され、検出結果として第１の動作情報が生成されるとともに、他の情報処理装置のユーザの映像である第２のユーザ映像からユーザの動作が検出し、検出結果として第２の動作情報が生成され、第１および第２の動作情報にそれぞれ対応する第１および第２のコマンドが発生される。そして、第１のコマンドと第２のコマンドとの対応関係が判定され、判定結果がネットワークを介して他の情報処理装置に通知されるとともに、判定結果に対応する処理の実行が制御される。
【００２７】
本発明の第３の情報処理装置および方法、並びにプログラムにおいては、ユーザ映像からユーザの動作が検出され、検出結果として第１の動作情報が生成され、第１の動作情報が、ネットワークを介して所定のサーバに通知される。そして、第１の動作情報の通知に対応して所定のサーバから返信される、他の情報処理装置から通知された第２の動作情報との対応状況の判定結果が受信され、受信された判定結果に対応する処理の実行が制御される。
【発明の効果】
【００２８】
本発明によれば、遠隔地にいる話者相互の身振りや手振りのマッチング状況に基づいて所定の処理を実行することが可能となる。
【発明を実施するための最良の形態】
【００２９】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００３０】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加されたりする発明の存在を否定するものではない。
【００３１】
請求項１に記載の情報処理装置（例えば、図７に示された第１のモーションコントロール処理を実行する図１のコミュニケーション装置１−１）は、ユーザを撮影し、その結果得られたユーザ映像を入力する入力手段（例えば、図４の入力部２４）と、ユーザ映像からユーザの動作を検出し、検出結果として動作情報（例えば、動きベクトル、その発生ポイント、およびその軌跡から成る識別データ）を生成する検出手段（例えば、図４の動きベクトル検出部３８）と、動作情報に対応する第１のコマンドを発生する発生手段（例えば、図４のマッチング部３９）と、第１のコマンドと他の情報処理装置（例えば、図１のコミュニケーション装置１−２）から送信された他の情報処理装置のユーザの動作に対応する第２のコマンドとの対応関係を判定する判定手段（例えば、図４の制御部４３）と、判定手段の判定結果に対応する処理の実行を制御する制御手段（例えば、図４の電子機器制御部５１）とを含む。
【００３２】
請求項２に記載の情報処理装置は、他の情報処理装置と同一のコンテンツデータを同期再生する再生手段（例えば、図４のコンテンツ再生部３０）をさらに含む。
【００３３】
請求項３に記載の情報処理方法は、ユーザを撮影し、その結果得られたユーザ映像を入力する入力ステップ（例えば、図７のステップＳ１１）と、ユーザ映像からユーザの動作を検出し、検出結果として動作情報を生成する検出ステップ（例えば、図７のステップＳ１２）と、動作情報に対応する第１のコマンドを発生する発生ステップ（例えば、図７のステップＳ１３）と、第１のコマンドと他の情報処理装置から送信された他の情報処理装置のユーザの動作に対応する第２のコマンドとの対応関係を判定する判定ステップ（例えば、図７のステップＳ１５）と、判定ステップの処理での判定結果に対応する処理の実行を制御する制御ステップ（例えば、図７のステップＳ１６）とを含む。
【００３４】
請求項６に記載の情報処理装置（例えば、図８に示された第２のモーションコントロール処理を実行する図１のコミュニケーション装置１−１）は、ユーザを撮影し、その結果得られた第１のユーザ映像を入力する入力手段（例えば、図４の入力部２４）と、他の情報処理装置（例えば、図１のコミュニケーション装置１−２）からネットワークを介して送信された、他の情報処理装置のユーザの映像である第２のユーザ映像を受信する受信手段（例えば、図８のステップＳ２１の処理を行う図４の通信部２８）と、第１のユーザ映像からユーザの動作を検出し、検出結果として第１の動作情報（例えば、動きベクトル、その発生ポイント、およびその軌跡から成る識別データ）を生成するとともに、第２のユーザ映像からユーザの動作を検出し、検出結果として第２の動作情報を生成する検出手段（例えば、図４の動きベクトル検出部３８）と、第１および第２の動作情報にそれぞれ対応する第１および第２のコマンドを発生する発生手段（例えば、図４のマッチング部３９）と、第１のコマンドと第２のコマンドとの対応関係を判定する判定手段（例えば、図４の制御部４３）と、判定手段の判定結果を、ネットワークを介して他の情報処理装置に通知する通知手段（例えば、図８のステップＳ２５の処理を行う図４の通信部２８）と、判定手段の判定結果に対応する処理の実行を制御する制御手段（例えば、図４の電子機器制御部５１）とを含む。
【００３５】
請求項７に記載の情報処理装置は、他の情報処理装置と同一のコンテンツデータを同期再生する再生手段（例えば、図４のコンテンツ再生部３０）をさらに含む。
【００３６】
請求項８に記載の情報処理方法は、ユーザを撮影し、その結果得られた第１のユーザ映像を入力する入力ステップ（例えば、図５のステップＳ２）と、他の情報処理装置からネットワークを介して送信された、他の情報処理装置のユーザの映像である第２のユーザ映像を受信する受信ステップ（例えば、図８のステップＳ２１）と、第１のユーザ映像からユーザの動作を検出し、検出結果として第１の動作情報を生成するとともに、第２のユーザ映像からユーザの動作を検出し、検出結果として第２の動作情報を生成する検出ステップ（例えば、図８のステップＳ２２）と、第１および第２の動作情報にそれぞれ対応する第１および第２のコマンドを発生する発生ステップ（例えば、図８のステップＳ２３）と、第１のコマンドと第２のコマンドとの対応関係を判定する判定ステップ（例えば、図８のステップＳ２４）と、判定ステップの処理での判定結果を、ネットワークを介して他の情報処理装置に通知する通知ステップ（例えば、図８のステップＳ２５）と、判定ステップの処理での判定結果に対応する処理の実行を制御する制御ステップ（例えば、図８のステップＳ２６）とを含む。
【００３７】
請求項１１に記載の情報処理装置（例えば、図９に示された第３のモーションコントロール処理を実行する図１のコミュニケーション装置１−１）は、ユーザを撮影し、その結果得られたユーザ映像を入力する入力手段（例えば、図４の入力部２４）と、ユーザ映像からユーザの動作を検出し、検出結果として第１の動作情報（例えば、動きベクトル、その発生ポイント、およびその軌跡から成る識別データ）を生成する検出手段（例えば、図４の動きベクトル検出部３８）と、第１の動作情報を、ネットワークを介して所定のサーバに通知する通知手段（例えば、図９のステップＳ３３の処理を行う図４の通信部２８）と、通知手段による第１の動作情報の通知に対応して所定のサーバから返信される、他の情報処理装置（例えば、図１のコミュニケーション装置１−２）から通知された第２の動作情報との対応状況の判定結果を受信する受信手段（例えば、図９のステップＳ３４の処理を行う図４の通信部２８）と、受信手段によって受信された判定結果に対応する処理の実行を制御する制御手段（例えば、図４の電子機器制御部５１）とを含む。
【００３８】
請求項１３に記載の情報処理装置は、他の情報処理装置と同一のコンテンツデータを同期再生する再生手段（例えば、図４のコンテンツ再生部３０）をさらに含む。
【００３９】
請求項１４に記載の情報処理方法は、ユーザを撮影し、その結果得られたユーザ映像を入力する入力ステップ（例えば、図９のステップＳ３１）と、ユーザ映像からユーザの動作を検出し、検出結果として第１の動作情報を生成する検出ステップ（例えば、図９のステップＳ３２）と、第１の動作情報を、ネットワークを介して所定のサーバに通知する通知ステップ（例えば、図９のステップＳ３３）と、通知ステップの処理による第１の動作情報の通知に対応して所定のサーバから返信される、他の情報処理装置から通知された第２の動作情報との対応状況の判定結果を受信する受信ステップ（例えば、図９のステップＳ３４）と、受信ステップの処理で受信された判定結果に対応する処理の実行を制御する制御ステップ（例えば、図９のステップＳ３５）とを含む。
【００４０】
なお、本発明の記録媒体に記録されているプログラム、および本発明のプログラムの請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係は、上述した本発明の情報処理方法のものと同様であるので、その記載は省略する。
【００４１】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００４２】
図１は、本発明を適用したコミュニケーションシステムの構成例を示している。このコミュニケーションシステムにおいて、コミュニケーション装置１−１は、通信網２を介して他のコミュニケーション装置１（図１の場合、コミュニケーション装置１−２）と接続し、いわゆるテレビ電話のようにユーザの音声および映像を相互に通信することに加え、共通のコンテンツ（例えば、テレビジョン放送等を受信して得られる番組コンテンツ、予めダウンロード等により取得済の映画等のコンテンツ、ユーザ間で授受した私的なコンテンツ等の動画像、静止画像等）を他のコミュニケーション装置１−２と同期して再生することにより、ユーザ間の遠隔コミュニケーションを支援するものである。以下、コミュニケーション装置１−１および１−２を個々に区別する必要がない場合、単にコミュニケーション装置１と記述する。
【００４３】
コミュニケーション装置１は、複数のユーザが同時に利用することができる。例えば、図１の場合、コミュニケーション装置１−１は、ユーザＡ，Ｂによって使用されており、コミュニケーション装置１−２は、ユーザＸによって使用されているものとする。
【００４４】
例えば、共通のコンテンツの映像が図２Ａに示すようなものであり、コミュニケーション装置１−１によって撮影されたユーザＡの映像が図２Ｂに示すようなものであり、コミュニケーション装置１−２によって撮影されたユーザＸの映像が図２Ｃに示すようなものであるとする。この場合、コミュニケーション装置１−１のディスプレイ２２（図４）には、例えば、図３Ａに示すピクチャインピクチャ(picture in picture)、図３Ｂに示すクロスフェイド(cross fade)、または図３Ｃに示すワイプ(wipe)の方式で、コンテンツとユーザの映像が重畳されて表示される。
【００４５】
なお、図３Ａに示されたピクチャインピクチャにおいては、コンテンツの映像にユーザの映像が小画面として重畳される。小画面の表示位置およびサイズは任意に変更可能である。また、自身（ユーザＡ）とコミュニケーション相手（ユーザＸ）の映像の両方ではなく、一方の小画面だけを表示させることも可能である。さらに、コンテンツの映像がユーザの映像の小画面を透過するように、いわゆる、αブレンディングさせてもよい。
【００４６】
図３Ｂに示されたクロスフェイドにおいては、コンテンツの映像にユーザ（ユーザＡまたはユーザＸ）の映像がαブレンディングされて表示される。このクロスフェイドは、例えばコンテンツの映像上の任意の位置や領域をユーザが指し示すとき等に用いることができる。
【００４７】
図３Ｂに示されたワイプにおいては、コンテンツの映像を覆うようにユーザの映像が所定の方向から出現する。
【００４８】
コンテンツとユーザの映像の合成方式は随時変更が可能である。また、コンテンツとユーザの映像の表示は、上述した方式以外の方式を適用してもよい。
【００４９】
コンテンツとユーザの映像および音声の合成状況、例えば、ピクチャインピクチャ、クロスフェイド、またはワイプの区別、ピクチャインピクチャが採用されているときの子画面のサイズや位置、クロスフェイドが採用されているときのαブレンディングの透過度、音量等の割合等は、合成情報３４（図４）として記録される。
【００５０】
図１に戻る。通信網２は、インタネット等に代表される広帯域なデータ通信網である。コンテンツ供給サーバ３は、コミュニケーション装置１からの要求に応じ、通信網２を介してコンテンツをコミュニケーション装置１に供給する。認証サーバ４は、コミュニケーション装置１のユーザが当該コミュニケーションシステムを利用するに際しての認証、課金等の処理を行う。
【００５１】
放送装置５は、テレビジョン放送等の番組としてコンテンツを送信する。したがって、各コミュニケーション装置１は、放送装置５から放送されるコンテンツを同期して受信し、再生することができる。なお、放送装置５からコミュニケーション装置１に対するコンテンツの送信は無線であってもよいし、有線であってもよい。また、通信網２を介してもかまわない。
【００５２】
標準時刻情報供給装置６は、コミュニケーション装置１に内蔵された、標準時刻（世界標準時、日本標準時刻等）を刻む時計（標準時刻計時部４１（図４））を整合させるための標準時刻情報を各コミュニケーション装置１に供給する。なお、標準時刻情報供給装置６からコミュニケーション装置１に対する標準時刻情報の供給は、無線であってもよいし、有線であってもよい。また、通信網２を介してもかまわない。
【００５３】
マッチングサーバ７は、コミュニケーション装置１−１で検出されるユーザの身振りや手振りに対応する動きベクトル等を示す識別データと、コミュニケーション装置１−１で検出されるユーザの身振りや手振りに対応する動きベクトル等を示す識別データとのマッチング状況を判定して、その判定結果をコミュニケーション装置１−１，１−２に通知する。
【００５４】
次に、コミュニケーション装置１−１の詳細な構成例について、図４を参照して説明する。
【００５５】
コミュニケーション装置１−１において、出力部２１は、ディスプレイ２２およびスピーカ２３より構成され、映像音声合成部３１から入力される映像信号および音声信号にそれぞれ対応する映像を表示し、音声を出力する。
【００５６】
入力部２４は、ユーザの映像（動画像）を撮影するカメラ２５、ユーザの音声を集音するマイク２６、およびユーザの周囲環境情報（明度、温度、湿度等）を検出するセンサ２７より構成され、取得した動画像、音声、および周辺環境情報を含むユーザのリアルタイム（ＲＴ）データを通信部２８および記憶部３２に出力する。カメラ２５は、被写体（ユーザ）までの距離を計測可能な機能を有している。また、入力部２４は、取得したユーザの映像および音声を映像音声合成部３１に出力する。さらに、入力部２４は、取得した映像を画像解析部３５に出力する。なお、入力部２４を複数（図４の場合は２つ）設けて、それぞれを複数のユーザ（図１のユーザＡ，Ｂ）に指向させるようにしてもよい。
【００５７】
通信部２８は、入力部２４から入力されるユーザＡのリアルタイムデータを、通信網２を介してコミュニケーション相手のコミュニケーション装置１−２に送信するとともに、コミュニケーション装置１−２が送信したユーザＸのリアルタイムデータを受信し、映像音声合成部３１、記憶部３２、および画像解析部３５に出力する。また、通信部２８は、コミュニケーション相手のコミュニケーション装置１−２またはコンテンツ供給サーバ３から通信網２を介して供給されたコンテンツを受信し、コンテンツ再生部３０および記憶部３２に出力する。さらに、通信部２８は、記憶部３２に記憶されているコンテンツ３３や、操作情報出力部５０によって生成された操作情報を、通信網２を介してコミュニケーション装置１−２に送信する。
【００５８】
放送受信部２９は、放送装置５から放送されたテレビジョン放送信号を受信し、得られた放送番組としてのコンテンツをコンテンツ再生部３０に出力する。コンテンツ再生部３０は、放送受信部２９によって受信された放送番組のコンテンツ、通信部２８によって受信されたコンテンツ、または記憶部３２から読み出されるコンテンツを再生し、得られたコンテンツの映像および音声を映像音声合成部３１および画像解析部３５に出力する。
【００５９】
映像音声合成部３１は、コンテンツ再生部３０から入力されるコンテンツの映像と、ユーザの映像と、OSD(On Screen Display)用の映像とをαブレンディング等によって合成し、その結果得られた映像信号を出力部２１に出力する。また、映像音声合成部３１は、コンテンツ再生部３０から入力されるコンテンツの音声と、ユーザの音声を合成し、その結果得られた音声信号を出力部２１に出力する。
【００６０】
記憶部３２は、入力部２４から供給されるユーザ（ユーザＡ等）のリアルタイムデータ、通信部２８から供給されるコミュニケーション相手（ユーザＸ）のリアルタイムデータ、放送受信部２９によって受信された放送番組のコンテンツ、通信部２８から供給されるコンテンツを記憶する。また、記憶部３２は、合成制御部４７によって生成された合成情報３４を記憶する。
【００６１】
画像解析部３５は、コンテンツ再生部３０から入力されるコンテンツの映像、およびユーザの映像（コミュニケーション装置１−２からのものも含む）の明度や輝度を解析し、その解析結果を合成制御部４７に出力する。画像解析部３５の鏡像生成部３６は、ユーザ（コミュニケーション装置１−２からのものも含む）の映像の鏡像を生成する。ポインタ検出部３７は、動きベクトル検出部３８によって検出されるユーザの動きベクトル等に基づき、ユーザの映像（コミュニケーション装置１−２からのものも含む）からユーザが所望の位置を指し示すポインタとなる手首や指先等を検出して、その映像を抽出する。なお、入力部２４からの映像に複数のユーザが含まれている場合、複数のポインタを検出してユーザを対応付ける。
【００６２】
動きベクトル検出部３８は、ユーザの映像（コミュニケーション装置１−２からのものも含む）から、ユーザの動作を示す動きベクトルを検出し、その発生ポイントや軌跡等を識別する。この識別結果を、以下、識別データと記述する。マッチング部３９は、マッチングデータベース（マッチングＤＢ）５２を参照し、動きベクトル検出部３８からの識別データに対応するモーションコマンドを特定して制御部４３に出力する。
【００６３】
通信環境検出部４０は、通信部２８と通信網２を介したコミュニケーション装置１−２との通信環境（通信レート、通信遅延時間等）を監視して、監視結果を制御部４３に出力する。標準時刻計時部４１は、標準時刻情報供給装置６から供給される標準時刻情報に基づき、自己が刻む標準時刻を整合し、標準時刻を制御部４３に供給する。操作入力部４２は、例えばリモートコントローラ等から成り、ユーザの操作を受け付けて、対応する操作信号を制御部４３に入力する。
【００６４】
制御部４３は、操作入力部４２から入力されるユーザの操作に対応した操作信号や画像解析部３５から入力されるモーションコマンド等に基づいて、コミュニケーション装置１−１を構成する各部を制御する。制御部４３は、セッション管理部４４、視聴記録レベル設定部４５、再生同期部４６、合成制御部４７、再生許可部４８、記録許可部４９、操作情報出力部５０、および電子機器制御部５１を含んでいる。なお、図４において、制御部４３からコミュニケーション装置１−１を構成する各部への制御ラインの図示は省略されている。
【００６５】
セッション管理部４４は、通信部２８が通信網２を介して通信コミュニケーション装置１−２、コンテンツ供給サーバ３、認証サーバ４等と接続する処理を制御する。視聴記録レベル設定部４５は、ユーザからの設定操作に基づき、入力部２４に取得されたユーザＡ等のリアルタイムデータを、コミュニケーション相手のコミュニケーション装置１−２において再生可能であるか否か、記録可能であるか否か、記録可能である場合の記録可能回数等を設定し、この設定情報を通信部２８からコミュニケーション装置１−２に通知させる。再生同期部４６は、コミュニケーション相手のコミュニケーション装置１−２と同期して同一のコンテンツが再生されるように、放送受信部２９やコンテンツ再生部３０を制御する。
【００６６】
合成制御部４７は、コンテンツの映像および音声とユーザの映像および音声が、ユーザからの設定操作に従って合成されるように、画像解析部３５の解析結果等に基づいて映像音声合成部３１を制御する。再生許可部４８は、コンテンツに付加されているライセンス情報等に基づいて当該コンテンツの再生の可否を判断し、判断結果に基づいてコンテンツ再生部３０を制御する。記録許可部４９は、コミュニケーション相手の設定やコンテンツに付加されているライセンス情報に基づき、ユーザのリアルタイムデータやコンテンツの記録の可否を判断し、判断結果に基づいて記憶部３２を制御する。操作情報出力部５０は、ユーザによる操作（テレビジョン放送受信時のチャンネル切り換え操作、コンテンツ再生開始、再生終了、早送り再生の操作等）に対応して、その操作内容や操作時刻等を含む操作情報（詳細は後述する）を生成し、通信部２８からコミュニケーション相手のコミュニケーション装置１−２に通知させる。この操作情報は、コンテンツの同期再生に利用される。
【００６７】
電子機器制御部５１は、画像解析部３５から入力されるモーションコマンドに基づき、コミュニケーション装置１−１に接続（無線接続を含む）された所定の電子機器（例えば、照明機器、空調機器等。いずれも不図示）を制御する。
【００６８】
マッチングデータベース５２には、動きベクトル検出部３８によって検出されたユーザの動きベクトル、その発生ポイント、およびその軌跡から成る識別データと、モーションコマンドとの対応関係を示すテーブル等が予め保持されている。なお、マッチングデータベース５２には、ユーザが任意に、識別データとモーションコマンドの対応関係を追加することが可能である。例えば、再生されるコンテンツのメタデータに記録されている識別データとモーションコマンドの対応関係を画像解析部３５が読み出すようにし、その対応関係を、マッチングデータベース５２には追記することが可能である。
【００６９】
なお、コミュニケーション装置１−２の詳細な構成例については、図４に示されたコミュニケーション装置１−１の構成例と同様であるので、その説明は省略する。
【００７０】
次に、コミュニケーション装置１−１によるコミュニケーション装置１−２との遠隔コミュニケーション処理について、図５のフローチャートを参照して説明する。
【００７１】
この遠隔コミュニケーション処理は、コミュニケーション装置１−２との遠隔コミュニケーションの開始を指示する操作が操作入力部４２に入力され、この操作に対応する操作信号が制御部４３に入力されたときに開始される。
【００７２】
ステップＳ１において、通信部２８は、セッション管理部４４の制御に基づき、通信網２を介してコミュニケーション装置１−２に接続し、遠隔コミュニケーションの開始を通知する。この通知に対応して、コミュニケーション装置１−２は、遠隔コミュニケーションの開始の受諾を返信する。
【００７３】
ステップＳ２において、通信部２８は、制御部４３の制御に基づき、入力部２４から入力されるユーザＡ等のリアルタイムデータを、通信網２を介してコミュニケーション装置１−２に送信し始めるとともに、コミュニケーション装置１−２から送信されたユーザＸのリアルタイムデータの受信を開始する。送信されたユーザＡ等のリアルタイムデータに含まれる映像および音声と、受信されたユーザＸのリアルタイムデータに含まれる映像および音声は、映像音声合成部３１に入力される。
【００７４】
ステップＳ３において、通信部２８は、セッション管理部４４の制御に基づき、通信網２を介して認証サーバ４に接続し、コンテンツ取得のための認証処理を行う。この認証処理の後、通信部２８は、通信網２を介してコンテンツ供給サーバ３にアクセスし、ユーザが指定するコンテンツを取得する。このとき、コミュニケーション装置１−２でも同様の処理が行われ、同一のコンテンツが取得されているものとする。
【００７５】
なお、テレビジョン放送されているコンテンツを受信する場合や、既に取得済で記憶部３２に記憶されているコンテンツを再生する場合、ステップＳ３の処理は省略することができる。
【００７６】
ステップＳ４において、コンテンツ再生部３０は、再生同期部４６の制御に基づき、コミュニケーション装置１−２と同期したコンテンツの再生処理を開始する。ステップＳ５において、記憶部３２は、遠隔コミュニケーション記録処理を開始する。具体的には、再生が開始されたコンテンツ、送信されたユーザＡ等のリアルタイムデータに含まれる映像および音声、受信されたユーザＸのリアルタイムデータに含まれる映像および音声、並びに、これらの合成の状態を示す合成制御部４７によって生成された合成情報３４の記録が開始される。
【００７７】
ステップＳ６において、映像音声合成部３１は、合成制御部４７の制御に従い、再生されたコンテンツの映像および音声と、送信されたユーザＡ等のリアルタイムデータに含まれる映像および音声と、受信されたユーザＸのリアルタイムデータに含まれる映像および音声とを図３Ａ乃至図３Ｃに示されたいずれかの方法で合成し、この結果得られた映像信号および音声信号を出力部２１に供給する。出力部２１は、供給された映像信号に対応する映像を表示し、音声信号に対応する音声を出力する。この段階でユーザ間の映像および音声の通信と、コンテンツの同期再生が開始されたことになる。
【００７８】
さらにステップＳ６において、映像音声合成部３１等の処理と平行して画像解析部３５のポインタ検出部３５は、ユーザＡ等のリアルタイムデータに含まれる映像に基づき、ユーザＡ等のポインタを検出し、画面上に表示する等の処理（ポインティング処理）を実行する。
【００７９】
ステップＳ７において、制御部４３は、ユーザから遠隔コミュニケーションの終了を指示する操作が行われたか否かを判定し、行われたと判定するまで待機する。ユーザから遠隔コミュニケーションの終了を指示する操作が行われたと判定された場合、処理はステップＳ８に進む。
【００８０】
ステップＳ８において、通信部２８は、セッション管理部４４からの制御に基づき、通信網２を介してコミュニケーション装置１−２に接続し、遠隔コミュニケーションの終了を通知する。この通知に対応して、コミュニケーション装置１−２は、遠隔コミュニケーションの終了の受諾を返信する。
【００８１】
ステップＳ９において、記憶部３２は、コミュニケーション記録処理を終了する。このときまでに記録された、再生されたコンテンツ、ユーザＡ等のリアルタイムデータに含まれる映像および音声、受信されたユーザＸのリアルタイムデータに含まれる映像および音声、並びに合成情報３４は、今後において、今回の遠隔コミュニケーションが再現されるときに利用される。
【００８２】
以上、コミュニケーション装置１−１によるコミュニケーション装置１−２との遠隔コミュニケーション処理の説明を終了する。
【００８３】
上述した説明では、コミュニケーション装置１−１にコミュニケーション装置１−２が追随して動作する場合についてのみ言及しているが、この主従関係は逆転させたり、随時変更したりすることが可能である。
【００８４】
また、上述した説明では、コミュニケーション装置１−１に、１台のコミュニケーション装置１（コミュニケーション装置１−２）が追随する場合についてのみ言及しているが、複数台のコミュニケーション装置１を追随させるようにしてもよい。また、複数台のコミュニケーション装置１により、主従関係を逆転させたり、随時変更したりするようにしてもよい。
【００８５】
次に、上述した遠隔コミュニケーション処理のステップＳ４のコンテンツ同期再生処理と平行して実行されるモーションコントロール処理の概要について説明する。このモーションコントロール処理では、コミュニケーション装置１−１のユーザＡの身振りや手振りによる動作が検出され、これに対応するモーションコマンドが決定される。また、コミュニケーション装置１−２のユーザＸの身振りや手振りによる動作も検出され、これに対応するモーションコマンドが決定される。そして、ユーザＡ側におけるモーションコマンドと、ユーザＸ側のモーションコマンドのマッチング状況に基づいて、コミュニケーション装置１−１，１−２で所定の処理が実行される。
【００８６】
図６は、動きベクトル検出部３８によって検出されるユーザＡやユーザＸ等の動作の一例を示している。動きベクトル検出部３８では、例えば図６Ａに示すように、腕を挙げて手を開いて左右に振る動作、例えば図６Ｂに示すように、腕を挙げて指先を横方向に移動させる動作、例えば図６Ｃに示すように、腕を横に出して下げる動作等が、動きベクトル、その発生ポイント、およびその軌跡から成る識別データとして検出される。
【００８７】
そして、これ等の識別データに対応するモーションコマンドとして、例えば、コンテンツとして表示されている静止画を切り換える、コンテンツとして再生されている楽曲を切り換える、コンテンツとして再生している放送番組のチャンネルを切り換える、音量を増減させる、コンテンツの映像に重畳表示されている子画面のサイズを変更する、セッションを終了する、画面エフェクト（画面を揺らす等）を実行させる、照明機器の明暗を調整する、空調機器の設定温度を調整する、了解を示す等が、マッチングデータベース５２に保持されているテーブル等に記録されている。
【００８８】
なお、マッチング状況に基づいて、コミュニケーション装置１−１，１−２で所定の処理が実行されるとは、ユーザＡ側におけるモーションコマンドと、ユーザＸ側のモーションコマンドが一致する場合にだけ、所定の処理が実行されるわけではなく、ユーザＡ側におけるモーションコマンドと、ユーザＸ側のモーションコマンドが異なっていても、予め決められている組み合わせである場合には、所定の処理が実行されることを意味している。
【００８９】
例えば、一方のユーザＡの映像から図３Ａに示された動作（「バイバイ」と手を振る動作）が検出され、これに対応して「セッションを終了する」というモーションコマンドが決定され、他方のユーザＸの映像からも図３Ａに示された動作（「バイバイ」と手を振る動作）が検出され、これに対応して「セッションを終了する」というモーションコマンドが決定された場合、コミュニケーション装置１−１，１−２でセッションが終了される。
【００９０】
また例えば、一方のユーザＡの映像から図３Ｂに示された動作が検出され、これに対応して「静止画を切り換える」というモーションコマンドが決定され、他方のユーザＸの映像から、頭を前に倒してうなずく動作が検出され、これに対応して「了解を示す」というモーションコマンドが決定された場合、コミュニケーション装置１−１，１−２でセッションが終了される。
【００９１】
ところで、モーションコントロール処理は、協調モード、マスタ・スレーブモード、またはサーバモードのいずれかのモードが採用されて実行される。上記３種類のモードのいずれが採用されるかは、コミュニケーション装置１の仕様として固定としてもよいし、ユーザが選択できるようにしてもよい。
【００９２】
協調モードでは、コミュニケーション装置１−１，１−２の双方において、自己のユーザの映像だけが解析されて識別データが取得され、対応するモーションコマンドが決定される。そして、決定されたモーションコマンドが相互に通信され、コミュニケーション装置１−１，１−２の双方において、モーションコマンドのマッチング状況が判定されて、判定結果に基づいて所定の処理が行われる。
【００９３】
マスタ・スレーブモードでは、コミュニケーション装置１−１，１−２の一方において、双方のユーザの映像が解析されて識別データが取得され、ユーザＡ側とユーザＸ側のモーションコマンドが決定される。さらに、モーションコマンドのマッチング状況が判定されて、判定結果が他方にも通知され、コミュニケーション装置１−１，１−２の双方において、判定結果に基づく所定の処理が行われる。なお、コミュニケーション装置１−１，１−２のどちらがマスタとなり、どちらがスレーブとなるかは、ユーザが任意に設定し、随時、変更することができる。
【００９４】
サーバモードでは、コミュニケーション装置１−１，１−２の双方において、自己のユーザの映像だけが解析されて識別データが取得される。そして、取得された識別データがマッチングサーバ７に通知される。マッチングサーバ７では、ユーザＡ側の識別データに対応するモーションコマンドと、ユーザＸ側の識別データに対応するモーションコマンドとが決定され、モーションコマンドのマッチング状況が判定されて、判定結果がコミュニケーション装置１−１，１−２の双方に通知され、判定結果に基づく所定の処理が行われる。
【００９５】
協調モードが採用された第１のモーションコントロール処理におけるコミュニケーション装置１−１の動作について、図７のフローチャートを参照して説明する。
【００９６】
ステップＳ１１において、コミュニケーション装置１−１の画像解析部３５は、入力部２４から入力されるユーザＡの映像を、動きベクトル検出部３８に入力する。なお、ユーザＡの映像を鏡像生成部３６に入力し、鏡像生成部３６によって生成された鏡像を、動きベクトル検出部３８に入力するようにしてもよい。
【００９７】
ステップＳ１２において、動きベクトル検出部３８は、ユーザＡの映像から動きベクトルを検出し、その発生ポイント、およびその軌跡を含む識別データを取得する。ステップＳ１３において、マッチング部３９は、マッチングデータベース５２を参照し、動きベクトル検出部３８によって取得された識別データに対応するモーションコマンドを特定して制御部４３に出力する。
【００９８】
ステップＳ１４において、制御部４３は、コミュニケーション装置１−２から送信されたモーションコマンドを、通信部２８が取得したか否かを判定し、取得したと判定するまで待機する。コミュニケーション装置１−２から送信されたモーションコマンドを取得したと判定された場合、処理はステップＳ１５に進む。
【００９９】
ステップＳ１５において、制御部４３は、マッチング部３９からのユーザＡ側のモーションコマンドと、通信部２８によって取得されたユーザＸ側のモーションコマンドが対応するものである（ユーザＡ側のモーションコマンドとユーザＸ側のモーションコマンドが一致するか、あるいは、ユーザＡ側のモーションコマンドとユーザＸ側のモーションコマンドが異なっていても予め決められている組み合わせであるか）否かを判定する。ユーザＡ側のモーションコマンドとユーザＸ側のモーションコマンドが対応するものであると判定された場合、処理はステップＳ１６に進む。
【０１００】
ステップＳ１６において、制御部４３は、ユーザＡ側のモーションコマンドに対応する動作を実行する。具体的には、例えば、放送受信部２９で受信するチャンネルを切り換えさせたり、出力部２１のスピーカ２３から出力される音量を調整したり、制御部４３の電子機器制御部５１がコミュニケーション装置１−１に接続されている照明機器の照度を調整したりする。この後、処理はステップＳ１２に戻り、それ以降の処理が繰り返される。
【０１０１】
なお、ステップＳ１５において、ユーザＡ側のモーションコマンドとユーザＸ側のモーションコマンドが対応するものではないと判定された場合、ステップＳ１６はスキップされて、処理はステップＳ１２に戻り、それ以降の処理が繰り返される。
【０１０２】
以上、協調モードが採用された第１のモーションコントロール処理におけるコミュニケーション装置１−１の動作の説明を終了する。なお、コミュニケーション装置１−２も、同様の動作を実行することにより、第１のモーションコントロール処理が実現される。
【０１０３】
次に、マスタ・スレーブモードが採用された第２のモーションコントロール処理におけるコミュニケーション装置１−１の動作について、図８のフローチャートを参照して説明する。なお、以下の説明においては、コミュニケーション装置１−１がマスタであり、コミュニケーション装置１−２がスレーブであるとする。
【０１０４】
ステップＳ２１において、コミュニケーション装置１−１の画像解析部３５は、入力部２４から入力されるユーザＡの映像と、通信部２８によって受信されたユーザＸとを、動きベクトル検出部３８に入力する。なお、ユーザＡ，Ｘの映像を鏡像生成部３６に入力し、鏡像生成部３６によって生成された鏡像を、動きベクトル検出部３８に入力するようにしてもよい。
【０１０５】
ステップＳ２２において、動きベクトル検出部３８は、ユーザＡの映像から動きベクトルを検出し、その発生ポイント、およびその軌跡を含む識別データを取得する。また、動きベクトル検出部３８は、ユーザＸの映像から動きベクトルを検出し、その発生ポイント、およびその軌跡を含む識別データを取得する。ステップＳ２３は、マッチング部３９は、マッチングデータベース５２を参照し、動きベクトル検出部３８によって取得されたユーザＡの識別データに対応するモーションコマンドと、ユーザＸの識別データに対応するモーションコマンドとを特定して制御部４３に出力する。
【０１０６】
ステップＳ２４において、制御部４３は、マッチング部３９からのユーザＡ側のモーションコマンドと、ユーザＸ側のモーションコマンドが対応するものである（ユーザＡ側のモーションコマンドとユーザＸ側のモーションコマンドが一致するか、あるいは、ユーザＡ側のモーションコマンドとユーザＸ側のモーションコマンドが異なっていても予め決められている組み合わせであるか）否かを判定する。ユーザＡ側のモーションコマンドとユーザＸ側のモーションコマンドが対応するものであると判定された場合、処理はステップＳ２５に進む。
【０１０７】
ステップＳ２５において、制御部４３は、ユーザＡ側のモーションコマンドに対応する動作を、通信部２８からコミュニケーション装置１−２に通知させる。ステップＳ２６において、制御部４３は、ユーザＡ側のモーションコマンドに対応する動作を実行する。具体的には、例えば、放送受信部２９で受信するチャンネルを切り換えさせたり、出力部２１のスピーカ２３から出力される音量を調整したり、制御部４３の電子機器制御部５１がコミュニケーション装置１−１に接続されている照明機器の照度を調整したりする。コミュニケーション装置１−２でも、コミュニケーション装置１−１からの通知に従い、コミュニケーション装置１−１と同様の動作が実行される。この後、処理はステップＳ２２に戻り、それ以降の処理が繰り返される。
【０１０８】
なお、ステップＳ２４において、ユーザＡ側のモーションコマンドとユーザＸ側のモーションコマンドが対応するものではないと判定された場合、ステップＳ２５およびステップＳ２６はスキップされて、処理はステップＳ２２に戻り、それ以降の処理が繰り返される。
【０１０９】
以上、マスタ・スレーブモードが採用された第２のモーションコントロール処理における。マスタであるコミュニケーション装置１−１の動作の説明を終了する。なお、スレーブであるコミュニケーション装置１−２は、ユーザＸのリアルタイムデータを送信し、コミュニケーション装置１−１からの通知に従って動作するのみでよい。
【０１１０】
次に、サーバモードが採用された第３のモーションコントロール処理におけるコミュニケーション装置１−１の動作について、図９のフローチャートを参照して説明する。
【０１１１】
ステップＳ３１において、コミュニケーション装置１−１の画像解析部３５は、入力部２４から入力されるユーザＡの映像を動きベクトル検出部３８に入力する。なお、ユーザＡ，Ｘの映像を鏡像生成部３６に入力し、鏡像生成部３６によって生成された鏡像を、動きベクトル検出部３８に入力するようにしてもよい。
【０１１２】
ステップＳ３２において、動きベクトル検出部３８は、ユーザＡの映像から動きベクトルを検出し、その発生ポイント、およびその軌跡を含む識別データを取得し、制御部４３に出力する。ステップＳ３３は、制御部４３は、動きベクトル検出部３８から入力されたユーザＡの識別データを、通信部２８からマッチングサーバ７に通知させる。
【０１１３】
一方、コミュニケーション装置１−２においても、上述したステップＳ３１乃至Ｓ３３と同様の処理が行われている。したがって、マッチングサーバ７には、コミュニケーション装置１−１からユーザＡの識別データが通知され、コミュニケーション装置１−２からユーザＸの識別データが通知されることになる。
【０１１４】
マッチングサーバ７では、ユーザＡの識別データに対応するモーションコマンドと、ユーザＸの識別データに対応するモーションコマンドとが特定されて、さらに、ユーザＡ側のモーションコマンドと、ユーザＸ側のモーションコマンドが対応するものである（ユーザＡ側のモーションコマンドとユーザＸ側のモーションコマンドが一致するか、あるいは、ユーザＡ側のモーションコマンドとユーザＸ側のモーションコマンドが異なっていても予め決められている組み合わせであるか）否かが判定される。そして、ユーザＡ側のモーションコマンドとユーザＸ側のモーションコマンドが対応するものであると判定された場合、ユーザＡ（またはユーザＸ）のモーションコマンドが、コミュニケーション装置１−１とコミュニケーション装置１−２に返信される。なお、ユーザＡ側のモーションコマンドとユーザＸ側のモーションコマンドが対応するものではないと判定された場合にも、その旨が返信される。
【０１１５】
ステップＳ３４において、制御部４３は、通信部２８によってマッチングサーバ７からの返信が受信されたか否かを判定し、マッチングサーバ７からの返信が受信されたと判定するまで待機する。マッチングサーバ７からの返信が受信されたと判定された場合、処理はステップＳ３５に進む。
【０１１６】
ステップＳ３５において、制御部４３は、マッチングサーバ７からの返信に対する動作を行う。具体的には、マッチングサーバ７からの返信がモーションコマンドである場合、モーションコマンドに対応する動作を実行する。具体的には、例えば、放送受信部２９で受信するチャンネルを切り換えさせたり、出力部２１のスピーカ２３から出力される音量を調整したり、制御部４３の電子機器制御部５１がコミュニケーション装置１−１に接続されている照明機器の照度を調整したりする。この後、処理はステップＳ３２に戻り、それ以降の処理が繰り返される。マッチングサーバ７からの返信が、ユーザＡ側のモーションコマンドとユーザＸ側のモーションコマンドが対応するものではない旨の情報である場合、特に動作は行われず、処理はステップＳ３２に戻り、それ以降の処理が繰り返される。コミュニケーション装置１−２でも、マッチングサーバ７からの返信に従い、コミュニケーション装置１−１と同様の動作が実行される。
【０１１７】
以上、サーバモードが採用された第３のモーションコントロール処理におけるコミュニケーション装置１−１の動作の説明を終了する。
【０１１８】
以上に説明した第１乃至第３のモーションコントロール処理によれば、コミュニケーション装置１−１のユーザＡの身振りや手振りによる動作と、コミュニケーション装置１−２のユーザＸの身振りや手振りによる動作との対応関係に従って、コミュニケーション装置１−１および１−２が同じ処理を行うので、ユーザＡとユーザＸとの間で相互の協調性や理解感が深まり、より円滑な遠隔コミュニケーションが期待できる。
【０１１９】
ところで、上述したコミュニケーション装置１の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１０に示すような汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１２０】
このパーソナルコンピュータ２００は、CPU(Central Processing Unit)２０１を内蔵している。CPU２０１にはバス２０４を介して、入出力インタフェース２０５が接続されている。バス２０４には、ROM(Read Only Memory)２０２およびRAM(Random Access Memory)２０３が接続されている。
【０１２１】
入出力インタフェース２０５には、ユーザが操作コマンドを入力するキーボード、マウス、等の入力デバイスよりなる入力部２０６、映像を表示したり、音声を出力したりする出力部２０７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部２０８、およびインタネットに代表されるネットワークを介した通信処理を実行する通信部２０９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどの記録媒体２１１に対してデータを読み書きするドライブ２１０が接続されている。
【０１２２】
このパーソナルコンピュータ２００に上述したコミュニケーション装置１の処理を実行させるプログラムは、記録媒体２１１に格納された状態でパーソナルコンピュータ２００に供給され、ドライブ２１０によって読み出されて記憶部２０８に内蔵されるハードディスクドライブにインストールされている。記憶部２０８にインストールされているプログラムは、入力部２０６に入力されるユーザからのコマンドに対応するCPU２０１の指令によって、記憶部２０８からRAM２０３にロードされて実行される。
【０１２３】
なお、本明細書において、プログラムに基づいて実行されるステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１２４】
また、プログラムは、１台のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
【０１２５】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【図面の簡単な説明】
【０１２６】
【図１】本発明を適用したコミュニケーションシステムの構成例を示している。
【図２】コンテンツの映像、およびユーザの映像の一例を示す図である。
【図３】コンテンツの映像と、ユーザの映像の合成例を示す図である。
【図４】図１のコミュニケーション装置の構成例を示すブロック図である。
【図５】コミュニケーション装置による遠隔コミュニケーション処理を説明するフローチャートである。
【図６】ユーザの身振りや手振りによる動作の一例を示す図である。
【図７】第１のモーションコントロール処理を説明するフローチャートである。
【図８】第２のモーションコントロール処理を説明するフローチャートである。
【図９】第３のモーションコントロール処理を説明するフローチャートである。
【図１０】汎用パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０１２７】
１  コミュニケーション装置，  ２  通信網，  ３  コンテンツ供給サーバ，  ４  認証サーバ，  ５  放送装置，  ６  標準時刻情報供給装置，  ７  マッチングサーバ，  ２１  出力部，  ２２  ディスプレイ，  ２３  スピーカ，  ２４  入力部，  ２５  カメラ，  ２６  マイク，  ２７  センサ，  ２８  通信部，  ２９  放送受信部，  ３０  コンテンツ再生部，  ３１  映像音声合成部，  ３２  記憶部，  ３３  コンテンツ，  ３４  合成情報，  ３５  画像解析部，  ３６  鏡像生成部，  ３７  ポインタ検出部，  ３８  動きベクトル検出部，  ３９  マッチング部，  ４０  通信環境検出部，  ４１  標準時刻計時部，  ４２  操作入力部，  ４３  制御部，  ４４  セッション管理部，  ４５  視聴記録レベル設定部，  ４６  再生同期部，  ４７  合成制御部，  ４８  再生許可部，  ４９  記録許可部，  ５０  操作情報出力部，  ５１  電子機器制御部，  ５２  マッチングデータベース，  ２００  パーソナルコンピュータ，  ２０１  CPU，  ２１１  記録媒体
【図１】
2006039917.tif 000003
【図２】
2006039917.tif 000004
【図３】
2006039917.tif 000005
【図４】
2006039917.tif 000006
【図５】
2006039917.tif 000007
【図６】
2006039917.tif 000008
【図７】
2006039917.tif 000009
【図８】
2006039917.tif 000010
【図９】
2006039917.tif 000011
【図１０】
2006039917.tif 000012