(57)【要約】【課題】本発明は、画像を配信する装置に対して再生操作を行い、双方向の通信に用いられる子画面の動きや子画面の音声状態に基づいて子画面の表示を適切に制御する。【解決手段】受信した通信データから検出した動き信号によって通信中か否かを判定する画像解析部１４と、受信した通信データから抽出した音声データの出力値によって通信中か否かを判定する音声解析部１５と、通信中と判定された場合は、子画面に表示する画像の透過度及び彩度、及び／又は子画面の音声として出力する音声の音量を設定する子画面制御部１６と、応答時間を計測する操作遅延計測部２１と、操作信号に対応するコンテンツが本機にある場合には、経過時間と遅延時間とを比較し、この経過時間が遅延時間を越えたときに操作信号に従って合成データを出力させる再生制御部２４とを備える。【選択図】図１
2008136079.tif 000002
【特許請求の範囲】
【請求項１】
記憶装置に記憶された、画像データ及び音声データを含むコンテンツデータを読み出して配信するコンテンツ配信機能と、撮影した画像データ及び録音した音声データを含む通信データを送受信する双方向通信機能とを有する電子機器と接続され、この電子機器からのコンテンツデータを主画面として出力し、この主画面に重なるように通信データを子画面として出力する記憶再生装置であって、
外部入力により、画像解析モード又は音声解析モードのいずれが選択されたかを示す選択信号を受信した場合に、前記電子機器から受信した通信データから動き信号を検出し、検出した動き信号が動き信号用閾値を超えた場合に通信中と判定する画像解析部と、
前記選択信号が音声解析モードを示している場合に、前記電子機器から受信した通信データから音声データを抽出し、抽出した音声データの出力値が音声データ用閾値を超えた場合に通信中と判定する音声解析部と、
前記画像解析部及び／又は前記音声解析部により通話中と判定された場合には、前記子画面に表示する画像の透過度及び彩度、及び／又は前記子画面の音声として出力する音声の音量を設定する子画面制御部と、
前記子画面制御部により設定された子画面に表示する画像の透過度及び彩度、又は子画面の音声として出力する音声の音量に基づいて、前記主画面のコンテンツデータと前記子画面の通信データを合成する合成部と
を備えることを特徴とする記憶再生装置。
【請求項２】
前記コンテンツデータを記憶するコンテンツ記憶部と、
前記電子機器の応答時間を計測する操作遅延計測部と、
外部入力より操作信号を受け付けたときに、前記コンテンツ記憶部に記憶されたコンテンツデータに対応するコンテンツのタイトルインデックスを示すインデックス情報データを記憶部から読み込み、読み込んだインデックス情報データに前記操作信号に対応するコンテンツのタイトルンデックスが存在する場合には、前記操作信号を受け付けたときからの経過時間と前記操作遅延計測部により計測した遅延時間とを比較し、この経過時間が前記遅延時間を越えたときに、前記操作信号に従って、前記合成部により合成したデータを出力させる再生制御部と
を更に備えることを特徴とする請求項１に記載の記憶再生装置。
【請求項３】
記憶装置に記憶された、画像データ及び音声データを含むコンテンツデータを読み出して配信するコンテンツ配信機能と、撮影した画像データ及び録音した音声データを含む通信データを送受信する双方向通信機能とを有する電子機器と接続され、この電子機器からのコンテンツデータを主画面として出力し、この主画面に重なるように通信データを子画面として出力する記憶再生装置に適用される記憶再生プログラムであって、
記憶再生装置を、
外部入力により、画像解析モード又は音声解析モードのいずれが選択されたかを示す選択信号を受信した場合に、前記電子機器から受信した通信データから動き信号を検出し、検出した動き信号が動き信号用閾値を超えた場合に通信中と判定する画像解析部と、
前記選択信号が音声解析モードを示している場合に、前記電子機器から受信した通信データから音声データを抽出し、抽出した音声データの出力値が音声データ用閾値を超えた場合に通信中と判定する音声解析部と、
前記画像解析部及び／又は前記音声解析部により通話中と判定された場合には、前記子画面に表示する画像の透過度及び彩度、及び／又は前記子画面の音声として出力する音声の音量を設定する子画面制御部と、
前記子画面制御部により設定された子画面に表示する画像の透過度及び彩度、又は子画面の音声として出力する音声の音量に基づいて、前記主画面のコンテンツデータと前記子画面の通信データを合成する合成部
として機能させるための記憶再生プログラム。
【請求項４】
記憶再生装置を、
前記コンテンツデータを記憶するコンテンツ記憶部と、
前記電子機器の応答時間を計測する操作遅延計測部と、
外部入力より操作信号を受け付けたときに、前記コンテンツ記憶部に記憶されたコンテンツデータに対応するコンテンツのタイトルインデックスを示すインデックス情報データを記憶部から読み込み、読み込んだインデックス情報データに前記操作信号に対応するコンテンツのタイトルンデックスが存在する場合には、前記操作信号を受け付けたときからの経過時間と前記操作遅延計測部により計測した遅延時間とを比較し、この経過時間が前記遅延時間を越えたときに、前記操作信号に従って、前記合成部により合成したデータを出力させる再生制御部と
として更に機能させるための請求項３に記載の記憶再生プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークを介して接続された電子機器との間で、画像及び音声コンテンツの配信や双方向通信を行う記憶再生装置及び記憶再生プログラムに関する。
【背景技術】
【０００２】
従来、画像及び音声のコンテンツ配信は、地上波デジタル放送や衛生放送等に代表されるような電波による放送、又は画像及び音声コンテンツが記憶された記録媒体の流通等によって行われていた。
【０００３】
しかしながら、昨今では、アナログコンテンツからデジタルコンテンツへの急速な移行、光通信網に代表されるようなネットワークインフラの整備促進、インターネットに接続可能な電子機器の普及、及びインターネットを介した様々なサービスの提供の増加等により画像及び音声コンテンツの配信方法に変化が生じつつある。
【０００４】
例えば、放送局側から一方的に送られる信号を受けて画像及び音声コンテンツを再生するという方法ではなく、ネットワークを介し、オンデマンドで利用者に視聴したい画像及び音声コンテンツを選択させて、ストリーミング配信で再生するという方法がある。又、画像及び音声コンテンツを記録した記録媒体により流通させるのではなく、ネットワークを介してダウンロードさせることによって画像及び音声コンテンツ配信を行う方法等が一般的によく知られている。
【０００５】
さらにＤＬＮＡ（Digital Living Network Alliance）は、家庭で使用するＡＶ（Audio Visual）機器やパーソナルコンピュータをホームネットワークで接続し、コンテンツの共有を図るためのガイドライン策定を推進している。このガイドラインに沿って、家庭用のコンテンツ記録再生機器にもネットワーク接続可能なものが増加してきている。
【０００６】
また、画像及び音声コンテンツを配信しながら、利用者間でコミュニケーションすることを可能にするシステムもある。例えば、特許文献１には、配信サーバから配信される画像及び音声を物理的に離れた場所にある再生装置で同時に再生しながら、ネットワークを介して音声や文字による通信を可能にする画像コミュニケーションシステムが提案されている。
【０００７】
しかし、特許文献１に記載の画像コミュニケーションシステムでは、コンテンツ供給側及びコンテンツ受信側の利用者が同一のコンテンツを同時に視聴する場合、コンテンツ供給側が常に再生操作を行ってコンテンツ受信側へ画像を配信する。このため、コンテンツ受信側の利用者は一次停止、早送り、巻き戻し等の再生に関する操作を行うことができなかった。従って、コンテンツ受信側の利用者は画像コミュニケーションシステムを用いてコンテンツ供給側の利用者に再生に関する操作を依頼しなければならず、操作がわずらわしかった。
【０００８】
また、離れた場所にいる利用者が通信することを可能にする装置として、テレビ電話、ネットワーク会議システム等が一般的に知られている。このような一般的な装置を用いて、双方向の通信を行う場合、主画像の上に子画面をオーバーレイして、子画面の中に相手側の顔を表示する。そのため、子画面を主画像に重ねる際、主画像の重要な部分が子画面で隠れて見えなくなる場合があった。
【０００９】
そこで、例えば特許文献２には、子画面に表示される画像の動きに応じて子画面を透過表示させることにより、子画面によって隠れてしまう主画像の内容を子画面の内容と同時に表示させる子画面表示装置が提案されている。
【特許文献１】特開２００３−２３５０２７号公報
【特許文献２】特開平７−３３６６２２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかし、特許文献２に記載の子画面表示装置では、子画面に表示される画像の動きに応じて子画面を透過表示させることにより、子画面によって隠れてしまう主画面の画像を子画面の画像と同時に表示させるので、子画面に表示される画像に動きがあったとしても、それが双方のコミュニケーションにおいて、重要なシーンであるとは限らない。そのため、双方の利用者にとって適切に子画面表示を制御できないという問題点があった。
【００１１】
本発明は、上記問題点に鑑みてなされたものであり、双方向から画像配信の操作を行うことができ、子画面の動きや子画面の音声状態に基づいて、子画面の表示を適切に制御することができる記憶再生装置及び記憶再生プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するため、本発明に係る記憶再生装置の第１の特徴は、記憶装置に記憶された、画像データ及び音声データを含むコンテンツデータを読み出して配信するコンテンツ配信機能と、撮影した画像データ及び録音した音声データを含む通信データを送受信する双方向通信機能とを有する電子機器と接続され、この電子機器からのコンテンツデータを主画面として出力し、この主画面に重なるように通信データを子画面として出力する記憶再生装置であって、外部入力により、画像解析モード又は音声解析モードのいずれが選択されたかを示す選択信号を受信した場合に、電子機器から受信した通信データから動き信号を検出し、検出した動き信号が動き信号用閾値を超えた場合に通信中と判定する画像解析部と、選択信号が音声解析モードを示している場合に、電子機器から受信した通信データから音声データを抽出し、抽出した音声データの出力値が音声データ用閾値を超えた場合に通信中と判定する音声解析部と、画像解析部（１４）及び／又は音声解析部により通話中と判定された場合には、子画面に表示する画像の透過度及び彩度、及び／又は子画面の音声として出力する音声の音量を設定する子画面制御部と、子画面制御部により設定された子画面に表示する画像の透過度及び彩度、又は子画面の音声として出力する音声の音量に基づいて、主画面のコンテンツデータと前記子画面の通信データを合成する合成部とを備えることにある。
【００１３】
上記目的を達成するため、本発明に係る記憶再生装置の第２の特徴は、コンテンツデータを記憶するコンテンツ記憶部と、電子機器の応答時間を計測する操作遅延計測部と、外部入力より操作信号を受け付けたときに、コンテンツ記憶部に記憶されたコンテンツデータに対応するコンテンツのタイトルインデックスを示すインデックス情報データを記憶部から読み込み、読み込んだインデックス情報データに操作信号に対応するコンテンツのタイトルンデックスが存在する場合には、操作信号を受け付けたときからの経過時間と操作遅延計測部により計測した遅延時間とを比較し、この経過時間が遅延時間を越えたときに、操作信号に従って、合成部により合成したデータを出力させる再生制御部とを更に備えることにある。
【発明の効果】
【００１４】
本発明に係る記憶再生装置及び記憶再生プログラムによれば、ネットワークを介して接続された画像及び音声コンテンツを配信する装置に対して再生制御操作を行うことができ、双方向の通信に用いられる子画面に表示される画像の動きや子画面の音声状態に基づいて子画面を適切に制御することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態について図面を参照して説明する。
【００１６】
本実施形態では、ネットワークを介して接続された記憶再生装置との間でコンテンツ配信及び双方向通信を行う記憶再生装置を例に挙げて説明する。
【００１７】
図１は、本発明に係る記憶再生装置の一実施形態の構成を示したブロック図である。
【００１８】
本実施形態における記憶再生装置３０は、記憶再生装置３１とネットワーク１００を介して接続されている。なお、記憶再生装置３０と記憶再生装置３１とは、同一の構成を有している。
【００１９】
また、記憶再生装置３０には、外部入力により画像解析モード、又は音声解析モードのいずれが選択されたかを示す選択信号を生成する解析モード選択インタフェース１と、例えば記憶再生装置３０側の利用者等を撮影し、撮影した画像を電気信号に変換するカメラ２と、音声を電気信号に変換する鋭指向性マイク３と、映像及び音声コンテンツデータを記憶再生装置３０へ送信する外部ＡＶ機器４と、外部入力により再生制御操作信号を受け付ける再生操作インタフェース５と、記憶再生装置３０からの出力データを出力する出力部２６とが接続されている。
【００２０】
記憶再生装置３０は、画像入力部６と、音声入力部７と、コンテンツ記憶部８と、外部機器接続部９と、再生操作受信部１０と、子画面エンコーダ部１１と、雑音除去フィルタ１２と、ネットワーク接続インタフェース１３と、画像解析部１４と、音声解析部１５と、子画面制御部１６と、子画面デコーダ部１７と、コンテンツデコーダ部１８と、画像合成部１９と、音声合成部２０と、操作遅延計測部２１と、ＡＶ同期部２２と、再生部２３と、再生制御部２４と、記憶部２５とを備えている。
【００２１】
雑音除去フィルタ１２は、鋭指向性マイク３によって電気信号に変換された音声信号を音声入力部７を経由して受信する。そして受信した音声信号から雑音を除去して対話音声を強調し、雑音を除去した音声信号を子画面エンコーダ部１１へ送信する。
【００２２】
ここで、雑音除去フィルタ１２と上述した鋭指向性マイク３とは、利用者にとって余分な雑音を除去するために設けられる。
【００２３】
例えば、記憶再生装置３０又は記憶再生装置３１のいずれか一方で再生されているコンテンツデータの音声が通信データの音声に混合されてくると、他方では、再生しているコンテンツデータの音声に対し少し遅延したコンテンツデータの音声が通信データの音声に重畳されることとなる。この少し遅延して重畳された音声は利用者にとって違和感を感じさせる原因となる。そこで、鋭指向性マイク３と雑音除去フィルタ１２が、このような音声の重畳等による余分な雑音を除去する。
【００２４】
子画面エンコーダ部１１は、カメラ２によって撮影され電気信号に変換された画像データと、雑音除去フィルタ１２から受信した音声データの各々をエンコードし、双方をマルチプレクサで多重化してネットワーク接続インタフェース１３へ送信する。
【００２５】
子画面デコーダ部１７は、ネットワーク１００を介して記憶再生装置３１から受信した子画面用の画像データ及び音声データをデコードする。
【００２６】
画像解析部１４は、解析モード選択インタフェース１により選択信号を受信した場合に、子画面デコーダ部１７から受信した通信データから動き信号を検出し、検出した動き信号が動き信号用閾値を超えた場合に通信中と判定する。
【００２７】
音声解析部１５は、解析モード選択インタフェース１により受け付けた選択信号が音声解析モードであった場合、子画面デコーダ部１７から受信した通信データから音声データを抽出し、抽出した音声データの出力値が音声データ用閾値を超えた場合に通信中と判定する。
【００２８】
子画面制御部１６は、画像解析部１４及び／又は音声解析部１５の判定結果が通信中か否かによって、子画面に表示する画像の透過度及び彩度、及び／又は子画面の音声として出力する音声の音量を設定する。
【００２９】
コンテンツデコーダ部１８は、ネットワーク１００を介して記憶再生装置３１から受信した主画面用の画像データ及び音声データ、コンテンツデータを記憶したコンテンツ記憶部８から受信した主画面用の画像データ及び音声データ、又は外部ＡＶ機器４から外部機器接続部９を介して受信した主画面用の画像データ及び音声データのデコードを行う。
【００３０】
画像合成部１９は、子画面制御部１６により設定された子画面に表示する画像の透過度及び彩度に基づいて、コンテンツデコーダ部１８から受信した主画面の画像データと子画面デコーダ部１７から受信した子画面の画像データを合成する。
【００３１】
音声合成部２０は、子画面の音声として出力する音声の音量に基づいて、コンテンツデコーダ部１８から受信した主画面の音声データと子画面デコーダ部１７から受信した子画面の音声データを合成する。
【００３２】
操作遅延計測部２１は、記憶再生装置３１の応答時間を計測する。
【００３３】
記憶部２５は、インデックス情報データや遅延時間データ等を記憶し、コンテンツ記憶部８は、記憶部２５に記憶されたインデックス情報データに対応するコンテンツデータを記憶する。
【００３４】
再生制御部２４は、再生操作インタフェース５より操作信号を受け付けたときに、コンテンツ記憶部８に記憶されたコンテンツデータに対応するコンテンツのタイトルインデックスを示すインデックス情報データを記憶部２５から読み込み、読み込んだインデックス情報データにこの操作信号に対応するコンテンツのタイトルインデックスが存在する場合には、この操作信号を受け付けたときからの経過時間と操作遅延計測部２１により計測した遅延時間とを比較し、この経過時間が遅延時間を越えたときに、再生操作インタフェース５より受け付けた操作信号に従って、画像合成部１９及び音声合成部２０により合成したデータを出力させる。
【００３５】
ＡＶ同期部２２は、画像合成部１９から受信した画像データと音声合成部２０から受信した音声データとの同期を図り、再生部２３は、再生制御部２４の制御信号に従ってＡＶ同期部２２から受信した画像データ及び音声データを出力部２６へ出力する。
【００３６】
≪子画面表示設定処理≫
次に、図２のフローチャートに従って、本実施形態における記憶再生装置３０の子画面表示設定処理の処理手順について説明する。
【００３７】
まず、解析モード選択インタフェース１は、利用者による選択操作等により受信した“画像解析モード”、又は“音声解析モード”を示す選択信号を生成する。
【００３８】
そして、生成した選択信号が示すモードが“画像解析モード”であった場合には、解析モード選択インタフェース１は、画像解析部１４及び子画面制御部１６へ“画像解析モード”の選択信号を送信する。一方、受信した選択信号が示すモードが“音声解析モード”であった場合には、解析モード選択インタフェース１は、画像解析部１４、音声解析部１５、及び子画面制御部１６へ“音声解析モード”の選択信号を送信する（ステップＳ１）。
【００３９】
次に、子画面デコーダ部１７が、ネットワーク１００を介して記憶再生装置３１より受信した撮影した画像データ及び録音した音声データを含む通信データをデコードし、デコードした通信データのうち画像データを画像解析部１４及び画像合成部１９へ送信し、デコードした通信データのうち音声データを音声解析部１５及び音声合成部２０へ送信する。
【００４０】
次に、画像解析部１４は、解析モード選択インタフェース１より受信した選択信号が示すモードが“画像解析モード”であった場合には、子画面デコーダ部１７から受信した通信データのうち画像データがコミュニケーション中を示唆しているか否かを判定する（ステップＳ５）。
【００４１】
具体的には、まず、画像解析部１４が、“画像解析モード”を示す選択信号を受信すると、子画面デコーダ部１７から受信した画像データをブロックに分割し、ブロック単位で前フレームの最も似ているブロックを探すブロックマッチング法を用いて、動きベクトルを抽出する。そして、抽出した動きベクトルが、予め定めた動き信号用閾値を越えた場合に、コミュニケーションは開始されたと判定する。
【００４２】
さらに、一定時間抽出した動きベクトルが、動き信号用閾値を下回るとコミュニケーションが終了したものと判定する。
【００４３】
ここで、この動き信号用閾値の設定は、高すぎるとコミュニケーションの開始を検出し難くなり、利用者がコミュニケーションを開始しても子画面が見にくい表示となってしまったり、子画面用の音声が聞こえにくくなる場合がある。逆に、動き信号用閾値の設定が低すぎるとコミュニケーションの開始を誤検知し易くなり、利用者がコミュニケーションを開始していないときにも、子画面を必要以上に鮮明に表示したり、子画面用の音声が主画面の音声の邪魔になる場合がある。そのため、予め提供者等が実測に基づいた適性な値を予め算出し、提供者や利用者等が予め適正な値を設定しておく必要がある。
【００４４】
なお、コミュニケーション中を示唆しているか否かの判定は、上記のブロックマッチング法以外にも、ジェスチャー（手話）認識機能を実装し、それを字幕として表示し、この表示内容によりコミュニケーションが開始されたか否かを判定するようにしてもよい。
【００４５】
次に、画像解析部１４は、子画面デコーダ部１７から受信した画像データがコミュニケーション中を示唆していると判定した場合、コミュニケーション中を示唆していることを示すコミュニケーション状態信号を子画面制御部１６へ送信する。
【００４６】
そして、コミュニケーション状態信号を受信した子画面制御部１６は、解析モード選択インタフェース１から受信した選択信号が示すモードが“画像解析モード”であること、及び画像解析部１４から受信したコミュニケーション状態信号がコミュニケーション中を示唆していることから、子画面制御部１６は最終的にこの子画面を利用している利用者がコミュニケーション中であると判定する（ステップＳ５）。
【００４７】
一方、子画面制御部１６は、解析モード選択インタフェース１から受信した選択信号が示すモードが“音声解析モード”であった場合には、画像解析部１４及び音声解析部１５によりコミュニケーション中を示唆しているかを判定する（ステップＳ２）。
【００４８】
この場合、解析モード選択インタフェース１は、画像解析部１４と音声解析部１５の両方に“音声解析モード”の選択信号を送信し、これにより画像解析部１４と音声解析部１５とが共に解析動作する。
【００４９】
具体的には、例えば画像解析部１４は、“音声解析モード”を示す選択信号を受信すると、子画面デコーダ部１７から受信した画像データの中から顔領域の検出を行う。顔領域の検出では、顔画像の複数のサンプルから平均的な「基準顔」のテンプレートを用意し、テンプレートマッチングを行う。ここで、検出精度を高めるため、画像解析モードで用いた方法と同様に動きベクトルを抽出し、その画像内において比較的動きの多い部分に重みをかけてマッチングを行うこととする。
【００５０】
これは、本実施形態に係る記憶再生装置３０の利用状況を考慮したものであり、背景が複雑だったとしても、その背景はほとんど動くことがなく、コミュニケーションを行う人間の動きが画像中の大きな動き部分であることを利用している。
【００５１】
そして、顔領域の検出を行った後、予め用意していた「基準顔」のテンプレートとの口領域周辺においての口パーツのみのパターンマッチングを行い、口の正確な位置を検出する。そして、口の位置をトラッキングしながら、口領域の動きベクトルを抽出し、抽出した動きベクトルが予め定めた動き信号用閾値を上回っている場合に、コミュニケーション中であることを示唆するコミュニケーション状態信号を子画面制御部１６へ送信する。
【００５２】
一方、音声解析部１５は、“音声解析モード”を示す選択信号を受信すると、子画面デコーダ部１７から受信した音声データの音声レベルがある予め定めた音声データ信号用閾値を上回っている場合に、コミュニケーション中であることを示すコミュニケーション状態信号を子画面制御部１６へ送信する。
【００５３】
最終的に、子画面制御部１６では、画像解析部１４と音声解析部１５の双方からコミュニケーション中であることを示唆するコミュニケーション状態信号を受信した場合にのみ、この子画面を利用している利用者がコミュニケーション中であると判定する。
【００５４】
そして、子画面制御部１６は、画像解析部１４又は／及び音声解析部１５によりコミュニケーション中を示唆していると判定した場合は、子画面に表示する画像の透過度を例えば“０”％に設定し（ステップＳ３）、子画面に表示する画像の彩度を例えばオリジナルのままの状態にすることで、子画面に表示する画像をカラー表示に設定する（ステップＳ４）。
【００５５】
これにより、利用者が子画面の画像を用いてコミュニケーション中である場合に、子画面の画像を鮮明に表示することができるので、利用者にとって見やすいように子画面の表示を適切に制御することができる。
【００５６】
また、子画面制御部１６は、画像解析部１４又は／及び音声解析部１５によりコミュニケーション中を示唆していないと判定した場合は、子画面に表示する画像の透過度を例えば“６０”％に設定し（ステップＳ３）、子画面に表示する画像の彩度を例えば最低にすることで、子画面に表示する画像を白黒表示に設定する（ステップＳ７）。
【００５７】
これにより、利用者が子画面の画像を用いてコミュニケーションしてない場合に、子画面の画像を透過させることで主画面表示の邪魔にならないようにでき、又、白黒表示とすることで、主画面の色彩との干渉を防ぐことができ、子画面の動きや子画面の音声状態に基づいて利用者にとって見やすいように子画面の表示を適切に制御することができる。
【００５８】
そして、画像合成部１９は、子画面制御部１６により設定された子画面に表示する画像の透過度及び彩度に基づいて、主画面上に子画面の画像を合成する。
【００５９】
≪双方向操作処理≫
次に、図３のフローチャートに従って、本実施形態における記憶再生装置３０の双方向操作処理の処理手順について説明する。
【００６０】
まず、再生操作インタフェース５は、利用者による選択操作等により受信した再生制御操作信号を再生操作受信部１０を介して再生制御部２４へ送信し、再生制御部２４は、この再生制御操作信号を受信したとき、ネットワーク１００を介して接続されている記憶再生装置３１に再生制御操作中か否かを問い合わせる（ステップＳ１１）。そして、記憶再生装置３１が再生制御中である場合には、記憶再生装置３１の再生制御操作を優先させるため、再生操作インタフェース５が受け付けた再生制御操作を禁止する（ステップＳ１９）。
【００６１】
ここで再生制御操作中とは、早送り、巻き戻し、一時停止、コマ送り等の操作を行っていて通常の再生状態ではない状態のことをいい、再生制御操作信号とは、早送り、巻き戻し、一時停止、コマ送り等の通常の再生信号ではない操作信号のことをいう。
【００６２】
これにより、記憶再生装置３１の再生制御操作中に記憶再生装置３１から再生制御操作信号を送信することを防止することができる。
【００６３】
そして、記憶再生装置３１が再生制御操作中でない場合には、再生制御部２４は、記憶再生装置３０が再生制御操作中か否かを判定し（ステップＳ１２）、再生制御操作中ではないと判定した場合、処理をステップＳ１３へ移行させる。
【００６４】
次に、再生制御部２４は、ステップＳ１２にて記憶再生装置３０が再生制御操作中ではないと判定した場合、受信した再生制御操作信号の対象が記憶再生装置３０のコンテンツ記憶部８に記憶されているコンテンツか否かを判定する（ステップＳ１３）。
【００６５】
具体的には、再生制御部２４は、コンテンツ記憶部８に記憶された画像又は音声コンテンツデータに対応するコンテンツのタイトルインデックスを示すインデックス情報データを記憶部２５から読み込み、読み込んだインデックス情報データに、再生操作インタフェース５が受け付けた再生制御操作信号に対応する画像又は音声コンテンツが存在するか否かで判定する。
【００６６】
そして、再生制御部２４は、読み込んだインデックス情報データに、再生操作インタフェース５が受け付けた再生制御操作信号に対応する画像又は音声コンテンツデータのインデックス情報データが存在しない場合、即ちその再生制御操作信号の対象が記憶再生装置３０のコンテンツ記憶部８に記憶されているコンテンツではないと判定した場合（ステップＳ１３）は、再生制御部２４が、再生操作インタフェース５が受け付けた再生制御操作信号を記憶再生装置３１へ送信する（ステップＳ１８）。
【００６７】
一方、ステップＳ１３において、再生制御部２４は、再生制御操作信号の対象が記憶再生装置３０のコンテンツ記憶部８に記憶されているコンテンツであると判定した場合は、ステップＳ１４へ処理を移行させる。
【００６８】
これにより、再生操作インタフェース５が受け付けた再生制御操作信号を記憶再生装置３０と記憶再生装置３１の状態によって適切に割り振ることができる。
【００６９】
次に、再生制御部２４は、ステップＳ１３において、再生制御操作信号の対象が記憶再生装置３０のコンテンツ記憶部８に記憶されているコンテンツではないと判定した場合、記憶再生装置３１の応答時間を示す遅延時間を計測させる計測指示信号を操作遅延計測部２１へ送信する。
【００７０】
そして、計測指示信号を受信した操作遅延計測部２１は、例えば記憶再生装置３０へパケットを送信したときの応答時間を計測することによって、遅延時間を算出し、記憶部２５へ記憶する（ステップＳ１４）。
【００７１】
次に、再生制御部２４は、ステップＳ１４で算出した遅延時間と比較するための経過時間の計測を開始し（ステップＳ１５）、記憶再生装置３１からの再生制御操作信号が送信されてくるか否かを監視する（ステップＳ１６）。
【００７２】
そして、再生制御部２４は、記憶部２５から遅延時間を読み込み、ステップＳ１５にて計測を開始した経過時間が読み込んだ遅延時間を越えた場合（ステップＳ１７）に、ステップＳ１８の処理を行う。
【００７３】
一方、再生制御部２４は、ステップＳ１５にて計測を開始した経過時間が読み込んだ遅延時間を越えることなく（ステップＳ１７）、記憶再生装置３１からの再生制御操作信号を受信した場合、この再生制御操作信号を優先するため、記憶再生装置３０の操作を禁止する（ステップＳ１９）。
【００７４】
これにより、記憶再生装置３０及び記憶再生装置３１の間において、先に受け付けた再生制御信号を優先的に処理することができるので、双方向からの操作が可能となる。
【００７５】
以上のように、本実施形態における記憶再生装置３０によれば、ネットワーク接続された記憶再生装置３１との間で、同一のコンテンツを視聴しながら、双方向の操作を可能にし、子画面の表示の動きや子画面の音声状態に基づいて子画面の表示を適切に制御することができるので、利用者にとって、利便性を向上することことができる。
【００７６】
例えば、家庭内の別の部屋にいる家族、より広い範囲でのネットワーク環境において、遠隔地にいる親族、友人、恋人等と同一コンテンツを共有することが可能となる。さらに離れた場所にいる利用者同士が共有している同じコンテンツを同時に視聴しながらコミュニケーションを取ることができるようなコミュニケーションシステムを実現することができ、物理的な距離は離れていても時間を共有するという状況を作り出すことができる。例えば、子供を持つ夫婦とこの夫婦と遠く離れた場所で暮らす夫婦の親とが、撮影した子供の姿を一緒に視聴しながら会話するといったことが可能になる。
【００７７】
＜変形例１＞
本実施形態における記憶再生装置３０は、ネットワーク１００を介して接続した記憶再生装置３１から受信した通信データから子画面の動きや子画面の音声状態に基づいて子画面の画像表示を適切に制御する構成とした。
【００７８】
本実施形態の変形例１である記憶再生装置４０では、子画面の画像表示及び子画面の音声の音量を適切に制御する構成とする。
【００７９】
図４は、変形例１である記憶再生装置４０の構成を示すブロック図である。
【００８０】
図４に示すように、子画面制御部１６が、子画面に表示する画像の透過度及び彩度の設定を行うと共に、子画面の音声として出力する音声の音量を設定し、設定値を画像合成部１９及び音声合成部２０へ送信する。そして、画像合成部１９が設定された透過度及び彩度に基づいて主画面上に子画面の画像を合成し、音声合成部２０が、設定された音声の音量に基づいて主画面の音声と子画面の音声とを合成する。
【００８１】
具体的には、まず、子画面制御部１６は、画像解析部１４又は／及び音声解析部１５によりコミュニケーション中を示唆していると判定した場合は、子画面に表示する画像の透過度を例えば“０”％に設定し、子画面に表示する画像の彩度を例えばオリジナルのままの状態にすることで、子画面に表示する画像をカラー表示に設定すると共に、子画面の音声として出力する音声の音量を利用者に聴こえ易いように、例えば“６０”％に設定する。
【００８２】
また、子画面制御部１６は、画像解析部１４又は／及び音声解析部１５によりコミュニケーション中を示唆していないと判定した場合は、子画面に表示する画像の透過度を例えば“６０”％に設定し、子画面に表示する画像の彩度を例えば最低にすることで、子画面に表示する画像を白黒表示に設定すると共に、子画面の音声として出力する音声の音量を主画面を内容を視聴している利用者にとって邪魔にならないように、例えば“０”％に設定する。
【００８３】
そして、画像合成部１９が、子画面制御部１６により設定された子画面に表示する画像の透過度及び彩度に基づいて、主画面上に子画面の画像を合成し、音声合成部２０が、子画面制御部１６により設定された子画面の音声として出力する音声の音量に基づいて、主画面の音声と子画面の音声とを合成する。
【００８４】
これにより、変形例１に係る記憶再生装置４０は、ネットワーク１００を介して接続した記憶再生装置４１から受信した通信データから子画面の動きや子画面の音声状態に基づいて、子画面の画像表示及び子画面の音声の音量を適切に制御することができる。
【図面の簡単な説明】
【００８５】
【図１】本発明に係る記憶再生装置の一実施形態を示したブロック図である。
【図２】本実施形態における記憶再生装置の子画面表示設定処理の処理手順を示したフローチャートである。
【図３】本実施形態における記憶再生装置の双方向操作処理の処理手順を示したフローチャートである。
【図４】変形例１である記憶再生装置の構成を示すブロック図である。
【符号の説明】
【００８６】
１…解析モード選択インタフェース
２…カメラ
３…鋭指向性マイク
４…機器
５…再生操作インタフェース
６…画面入力部
７…音声入力部
８…コンテンツ記憶部
９…外部機器接続部
１０…再生操作受信部
１１…子画面エンコーダ部
１２…雑音除去フィルタ
１３…ネットワーク接続インタフェース
１４…画像解析部
１５…音声解析部
１６…子画面制御部
１７…子画面デコーダ部
１８…コンテンツデコーダ部
１９…画像合成部
２０…音声合成部
２１…操作遅延計測部
２２…ＡＶ同期部
２３…再生部
２４…再生制御部
２５…記憶部
２６…出力部
３０…記憶再生装置
３１…記憶再生装置
４０…記憶再生装置
４１…記憶再生装置
１００…ネットワーク
【図１】
2008136079.tif 000003
【図２】
2008136079.tif 000004
【図３】
2008136079.tif 000005
【図４】
2008136079.tif 000006