(57)【要約】【課題】適切な視差の3Dコンテンツを再生することができるようにする。【解決手段】コンテンツサーバ１の記録媒体には複数の3Dコンテンツが記録されている。また、それぞれの3Dコンテンツのデータとして、記録レートの異なる複数のデータが記録されている。所定の記録レートの3Dコンテンツを伝送することがクライアント端末２Ａにより要求された場合、コンテンツサーバ１においては、記録レートが高い場合には視差が大きくなり、記録レートが低い場合には視差が小さくなるように、Ｌ画像とＲ画像の間の視差を規定する視差パラメータの値として記録レートに応じた値が設定される。視差調整後の3Dコンテンツはクライアント端末２Ａに伝送され、再生される。本発明は、ネットワークを介してコンテンツを伝送するシステムに適用することができる。【選択図】図１
2012070116.tif 000002
【特許請求の範囲】
【請求項１】
左目用画像と右目用画像を含む3Dコンテンツを記録する記録手段と、
前記3Dコンテンツの記録レートまたは伝送レートに応じて、前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整する視差調整手段と、
視差が調整された左目用画像と右目用画像を含む前記3Dコンテンツを、伝送先となるそれぞれの端末にネットワークを介して伝送する伝送制御手段と
を備える情報処理装置。
【請求項２】
前記視差調整手段は、前記3Dコンテンツの記録レートまたは伝送レートが閾値より高い場合、前記閾値より低い場合より視差が大きくなるように、左目用画像と右目用画像の間の視差を調整する
請求項１に記載の情報処理装置。
【請求項３】
前記端末の数を検出する検出手段をさらに備え、
前記伝送制御手段は、前記検出手段により検出された前記端末の数に応じて前記3Dコンテンツの伝送レートを決定し、
前記視差調整手段は、前記伝送制御手段により決定された伝送レートに応じて、前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整する
請求項１に記載の情報処理装置。
【請求項４】
前記記録手段は、視点の異なる複数の前記3Dコンテンツを記録するとともに、それぞれの前記3Dコンテンツのデータとして、記録レートの異なるデータを記録し、
前記3Dコンテンツの特徴を抽出し、抽出した特徴に基づいて、前記記録手段に記録されている前記3Dコンテンツのそれぞれの評価値を算出する抽出手段と、
伝送対象とする前記3Dコンテンツを、視点の異なる複数の前記3Dコンテンツの中から前記評価値に基づいて選択する選択手段と
をさらに備え、
前記視差調整手段は、前記選択手段により選択された前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整する
請求項１に記載の情報処理装置。
【請求項５】
前記選択手段は、前記評価値の最も高い前記3Dコンテンツを選択する
請求項４に記載の情報処理装置。
【請求項６】
前記選択手段は、伝送対象とする前記3Dコンテンツのデータとして、前記評価値に応じた記録レートのデータを選択する
請求項４に記載の情報処理装置。
【請求項７】
左目用画像と右目用画像を含む3Dコンテンツを記録し、
前記3Dコンテンツの記録レートまたは伝送レートに応じて、前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整し、
視差を調整した左目用画像と右目用画像を含む前記3Dコンテンツを、伝送先となるそれぞれの端末にネットワークを介して伝送する
ステップを含む情報処理方法。
【請求項８】
左目用画像と右目用画像を含む3Dコンテンツを記録し、
前記3Dコンテンツの記録レートまたは伝送レートに応じて、前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整し、
視差を調整した左目用画像と右目用画像を含む前記3Dコンテンツを、伝送先となるそれぞれの端末にネットワークを介して伝送する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項９】
ネットワークを介して接続される情報処理装置から伝送される左目用画像と右目用画像を含む3Dコンテンツを受信する受信手段と、
前記3Dコンテンツの記録レートに応じて、前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整する視差調整手段と、
視差が調整された左目用画像と右目用画像を含む前記3Dコンテンツを再生する再生手段と
を備える再生装置。
【請求項１０】
前記視差調整手段は、前記3Dコンテンツの記録レートが閾値より高い場合、前記閾値より低い場合より視差が大きくなるように、左目用画像と右目用画像の間の視差を調整する
請求項９に記載の再生装置。
【請求項１１】
前記情報処理装置には、視点の異なる複数の前記3Dコンテンツが記録されているとともに、それぞれの前記3Dコンテンツのデータとして、記録レートの異なるデータが記録されている
請求項９に記載の再生装置。
【請求項１２】
前記情報処理装置との間の通信品質を検出する検出手段をさらに備え、
前記受信手段は、前記検出手段により検出された前記通信品質に応じた記録レートの前記3Dコンテンツを受信する
請求項１１に記載の再生装置。
【請求項１３】
前記受信手段は、視点の異なる複数の前記3Dコンテンツを受信し、
前記受信手段により受信された前記3Dコンテンツの特徴を抽出し、抽出した特徴に基づいて、視点の異なる複数の前記3Dコンテンツのそれぞれの評価値を算出する抽出手段と、
視点の異なる複数の前記3Dコンテンツの中から、前記評価値の最も高い前記3Dコンテンツを選択する選択手段と
をさらに備え、
前記視差調整手段は、前記選択手段により選択された前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整する
請求項１１に記載の再生装置。
【請求項１４】
前記受信手段は、再生対象とする前記3Dコンテンツのデータとして、再生対象とする前記3Dコンテンツの特徴に基づいて算出された評価値に応じた記録レートのデータを受信し、
前記視差調整手段は、前記受信手段によりデータが選択された前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整する
請求項１１に記載の再生装置。
【請求項１５】
前記受信手段は、前記情報処理装置から伝送される前記評価値の情報を受信し、受信した前記評価値に応じた記録レートのデータを受信する
請求項１４に記載の再生装置。
【請求項１６】
ネットワークを介して接続される情報処理装置から伝送される左目用画像と右目用画像を含む3Dコンテンツを受信し、
前記3Dコンテンツの記録レートに応じて、前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整し、
視差を調整した左目用画像と右目用画像を含む前記3Dコンテンツを再生する
ステップを含む再生方法。
【請求項１７】
ネットワークを介して接続される情報処理装置から伝送される左目用画像と右目用画像を含む3Dコンテンツを受信し、
前記3Dコンテンツの記録レートに応じて、前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整し、
視差を調整した左目用画像と右目用画像を含む前記3Dコンテンツを再生する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、再生装置、再生方法、およびプログラムに関し、特に、適切な視差の3Dコンテンツを再生することができるようにした情報処理装置、情報処理方法、再生装置、再生方法、およびプログラムに関する。
【背景技術】
【０００２】
テレビジョン受像機や録画機器などの家電機器向けのコンテンツ配信サービスが開始されている。ユーザは、テレビジョン番組を視聴するのと同じ感覚で、映画などの各種のコンテンツをストリーミング再生などによって視聴することができる。
【０００３】
ところで、近年、立体視が可能な画像を収録した3Dコンテンツが注目されている。3Dコンテンツのビデオデータには、左目用画像（Ｌ画像）と右目用画像（Ｒ画像）のデータが含まれる。Ｌ画像に写る被写体とＲ画像に写る被写体には、視差に相当するずれがある。視差が設定されたＬ画像とＲ画像を交互に表示し、アクティブシャッタメガネをかけたユーザの左目と右目にそれぞれ届けることによって、被写体を立体的に認識させることが可能になる。
【０００４】
将来的には、上述したような家電機器向けのコンテンツ配信サービスにおいても、3Dコンテンツの配信が行われるようになるものと考えられる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２８５２６号公報
【特許文献２】特開平０９−１２１３７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一般的に、3Dコンテンツのデータ量は、平面的な画像からなる2Dコンテンツのデータ量と較べて多い。従って、コンテンツの配信を行っているサーバに多くのユーザが同時にアクセスし、3Dコンテンツの視聴を始めた場合、伝送路のトラフィックが問題になることが2Dコンテンツだけの配信を行っているときと較べて多くなることが予想される。
【０００７】
多くの人が同時にアクセスし、伝送路が込み合うことによって余裕がなくなった場合、データの伝送が止まり、3Dコンテンツの再生が途中で止まってしまったり、再生画像にノイズが現れたりしてしまう。
【０００８】
そこで、伝送路に余裕がなくなった場合に、3Dコンテンツの伝送レートをサーバ側で下げるような制御を行うようにすることも考えられる。しかし、視差をそのままに伝送レートだけを調整した場合、例えば伝送レートが低いときには高いときと較べてノイズが目立ってしまい、これにより、制作者側で意図した立体感をユーザに与えることができないばかりか、疲労感を与えてしまう可能性がある。
【０００９】
本発明はこのような状況に鑑みてなされたものであり、適切な視差の3Dコンテンツを再生することができるようにするものである。
【課題を解決するための手段】
【００１０】
本発明の一側面の情報処理装置は、左目用画像と右目用画像を含む3Dコンテンツを記録する記録手段と、前記3Dコンテンツの記録レートまたは伝送レートに応じて、前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整する視差調整手段と、視差が調整された左目用画像と右目用画像を含む前記3Dコンテンツを、伝送先となるそれぞれの端末にネットワークを介して伝送する伝送制御手段とを備える。
【００１１】
前記視差調整手段には、前記3Dコンテンツの記録レートまたは伝送レートが閾値より高い場合、前記閾値より低い場合より視差が大きくなるように、左目用画像と右目用画像の間の視差を調整させることができる。
【００１２】
前記端末の数を検出する検出手段をさらに設けることができる。この場合、前記伝送制御手段には、前記検出手段により検出された前記端末の数に応じて前記3Dコンテンツの伝送レートを決定させ、前記視差調整手段には、前記伝送制御手段により決定された伝送レートに応じて、前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整させることができる。
【００１３】
前記記録手段には、視点の異なる複数の前記3Dコンテンツを記録させるとともに、それぞれの前記3Dコンテンツのデータとして、記録レートの異なるデータを記録させ、前記3Dコンテンツの特徴を抽出し、抽出した特徴に基づいて、前記記録手段に記録されている前記3Dコンテンツのそれぞれの評価値を算出する抽出手段と、伝送対象とする前記3Dコンテンツを、視点の異なる複数の前記3Dコンテンツの中から前記評価値に基づいて選択する選択手段とをさらに設けることができる。この場合、前記視差調整手段には、前記選択手段により選択された前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整させる。
【００１４】
前記選択手段には、前記評価値の最も高い前記3Dコンテンツを選択させることができる。
【００１５】
前記選択手段には、伝送対象とする前記3Dコンテンツのデータとして、前記評価値に応じた記録レートのデータを選択させることができる。
【００１６】
本発明の一側面の情報処理方法は、左目用画像と右目用画像を含む3Dコンテンツを記録し、前記3Dコンテンツの記録レートまたは伝送レートに応じて、前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整し、視差を調整した左目用画像と右目用画像を含む前記3Dコンテンツを、伝送先となるそれぞれの端末にネットワークを介して伝送するステップを含む。
【００１７】
本発明の一側面のプログラムは、左目用画像と右目用画像を含む3Dコンテンツを記録し、前記3Dコンテンツの記録レートまたは伝送レートに応じて、前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整し、視差を調整した左目用画像と右目用画像を含む前記3Dコンテンツを、伝送先となるそれぞれの端末にネットワークを介して伝送するステップを含む処理をコンピュータに実行させる。
【００１８】
本発明の他の側面の再生装置は、ネットワークを介して接続される情報処理装置から伝送される左目用画像と右目用画像を含む3Dコンテンツを受信する受信手段と、前記3Dコンテンツの記録レートに応じて、前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整する視差調整手段と、視差が調整された左目用画像と右目用画像を含む前記3Dコンテンツを再生する再生手段とを備える。
【００１９】
前記視差調整手段には、前記3Dコンテンツの記録レートが閾値より高い場合、前記閾値より低い場合より視差が大きくなるように、左目用画像と右目用画像の間の視差を調整させることができる。
【００２０】
前記情報処理装置には、視点の異なる複数の前記3Dコンテンツが記録されているとともに、それぞれの前記3Dコンテンツのデータとして、記録レートの異なるデータが記録されているようにすることができる。
【００２１】
前記情報処理装置との間の通信品質を検出する検出手段をさらに設けることができる。この場合、前記受信手段には、前記検出手段により検出された前記通信品質に応じた記録レートの前記3Dコンテンツを受信させることができる。
【００２２】
前記受信手段には、視点の異なる複数の前記3Dコンテンツを受信させ、前記受信手段により受信された前記3Dコンテンツの特徴を抽出し、抽出した特徴に基づいて、視点の異なる複数の前記3Dコンテンツのそれぞれの評価値を算出する抽出手段と、視点の異なる複数の前記3Dコンテンツの中から、前記評価値の最も高い前記3Dコンテンツを選択する選択手段とをさらに設けることができる。この場合、前記視差調整手段には、前記選択手段により選択された前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整させることができる。
【００２３】
前記受信手段には、再生対象とする前記3Dコンテンツのデータとして、再生対象とする前記3Dコンテンツの特徴に基づいて算出された評価値に応じた記録レートのデータを受信させ、前記視差調整手段には、前記受信手段によりデータが選択された前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整させることができる。
【００２４】
前記受信手段には、前記情報処理装置から伝送される前記評価値の情報を受信させ、受信した前記評価値に応じた記録レートのデータを受信させることができる。
【００２５】
本発明の他の側面の再生方法は、ネットワークを介して接続される情報処理装置から伝送される左目用画像と右目用画像を含む3Dコンテンツを受信し、前記3Dコンテンツの記録レートに応じて、前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整し、視差を調整した左目用画像と右目用画像を含む前記3Dコンテンツを再生するステップを含む。
【００２６】
本発明の他の側面のプログラムは、ネットワークを介して接続される情報処理装置から伝送される左目用画像と右目用画像を含む3Dコンテンツを受信し、前記3Dコンテンツの記録レートに応じて、前記3Dコンテンツの左目用画像と右目用画像の間の視差を調整し、視差を調整した左目用画像と右目用画像を含む前記3Dコンテンツを再生するステップを含む処理をコンピュータに実行させる。
【００２７】
本発明の一側面においては、左目用画像と右目用画像を含む3Dコンテンツが記録され、前記3Dコンテンツの記録レートまたは伝送レートに応じて、前記3Dコンテンツの左目用画像と右目用画像の間の視差が調整され、視差が調整された左目用画像と右目用画像を含む前記3Dコンテンツが、伝送先となるそれぞれの端末にネットワークを介して伝送される。
【００２８】
本発明の他の側面においては、ネットワークを介して接続される情報処理装置から伝送される左目用画像と右目用画像を含む3Dコンテンツが受信され、前記3Dコンテンツの記録レートに応じて、前記3Dコンテンツの左目用画像と右目用画像の間の視差が調整され、視差が調整された左目用画像と右目用画像を含む前記3Dコンテンツが再生される。
【発明の効果】
【００２９】
本発明によれば、適切な視差の3Dコンテンツを再生することができる。
【図面の簡単な説明】
【００３０】
【図１】コンテンツ伝送システムの構成例を示す図である。
【図２】コンテンツサーバの記録媒体に記録されている3Dコンテンツの例を示す図である。
【図３】コンテンツサーバのハードウェア構成例を示すブロック図である。
【図４】コンテンツサーバの機能構成例を示すブロック図である。
【図５】クライアント端末の構成例を示すブロック図である。
【図６】クライアント端末の再生処理について説明するフローチャートである。
【図７】コンテンツサーバの伝送処理について説明するフローチャートである。
【図８】アクセス数と伝送レートの関係の例を示す図である。
【図９】コンテンツサーバのキーフレーム評価値算出処理について説明するフローチャートである。
【図１０】画像特徴量の例を示す図である。
【図１１】コンテンツサーバの他の伝送処理について説明するフローチャートである。
【図１２】コンテンツサーバのさらに他の伝送処理について説明するフローチャートである。
【図１３】コンテンツサーバの他の機能構成例を示すブロック図である。
【図１４】クライアント端末の他の構成例を示すブロック図である。
【図１５】コンテンツサーバの伝送処理について説明するフローチャートである。
【図１６】クライアント端末の再生処理について説明するフローチャートである。
【図１７】通信品質と記録レートの関係の例を示す図である。
【図１８】クライアント端末の他の再生処理について説明するフローチャートである。
【図１９】クライアント端末のさらに他の再生処理について説明するフローチャートである。
【発明を実施するための形態】
【００３１】
以下、発明を実施するための形態について説明する。説明は以下の順序で行う。
１．第１の実施の形態（各種の制御をコンテンツサーバ側で行う例）
２．第２の実施の形態（各種の制御をクライアント端末側で行う例）
【００３２】
＜第１の実施の形態＞
［コンテンツ伝送システムの構成］
図１は、本発明の一実施形態に係るコンテンツ伝送システムの構成例を示す図である。
【００３３】
図１のコンテンツ伝送システムは、コンテンツサーバ１と、クライアント端末２Ａ乃至２Ｅがインターネットなどのネットワークを介して接続されることによって構成される。図１の例においては、クライアント端末２Ａ乃至２Ｅはテレビジョン受像機とされている。
【００３４】
以下、適宜、クライアント端末２Ａ乃至２Ｅをそれぞれ区別する必要がない場合、まとめてクライアント端末２という。なお、図１にはクライアント端末２Ａ乃至２Ｅの５台のクライアント端末しか示していないが、コンテンツサーバ１にはさらに多くのクライアント端末が接続される。
【００３５】
コンテンツサーバ１は、伝送可能なコンテンツとして複数の3Dコンテンツを記録媒体に記録している。それぞれの3Dコンテンツには、Ｌ画像とＲ画像のデータであるビデオデータと、オーディオデータとが含まれる。コンテンツサーバ１は、クライアント端末２からの要求に応じて3Dコンテンツを記録媒体から読み出し、ネットワークを介して伝送する。
【００３６】
クライアント端末２は、ネットワークを介してコンテンツサーバ１にアクセスし、3Dコンテンツの選択画面を表示する。また、クライアント端末２は、リモートコントローラを操作するなどして所定の3Dコンテンツがユーザにより選択された場合、ユーザにより選択された3Dコンテンツの伝送をコンテンツサーバ１に要求する。クライアント端末２は、コンテンツサーバ１から伝送されてきた3Dコンテンツを受信して再生し、Ｌ画像とＲ画像を交互にディスプレイに表示するとともに、音声をスピーカから出力する。アクティブシャッタメガネを装着したユーザは、3Dコンテンツの画像を立体的に見ることができる。
【００３７】
このように、クライアント端末２は、コンテンツサーバ１にアクセスして選択画面を表示したりするブラウザの機能と、3Dコンテンツを再生して3D画像（Ｌ画像とＲ画像）を表示する機能を少なくとも有する。
【００３８】
ここで、コンテンツサーバ１の記録媒体に記録されている3Dコンテンツについて説明する。図２は、コンテンツサーバ１の記録媒体に記録されている3Dコンテンツの例を示す図である。
【００３９】
図２に示すように、コンテンツサーバ１においては、複数の関連する3Dコンテンツがグループ化して管理されている。例えば、3Dコンテンツグループ＃１はサッカーの試合のコンテンツであり、3Dコンテンツグループ＃２は映画のコンテンツである。
【００４０】
3Dコンテンツグループ＃１は、あるサッカーの試合を、同じ時間に異なる場所から3Dカメラ（視差に相当する間隔だけ離れて設けられた２つの撮像手段）で撮影して得られた3Dコンテンツのグループである。
【００４１】
例えば、3Dコンテンツグループ＃１に含まれる3Dコンテンツ＃１１は、サッカーの試合を視点１から撮影して得られた3Dコンテンツであり、3Dコンテンツ＃１２は、同じサッカーの試合を視点２から撮影して得られた3Dコンテンツである。3Dコンテンツ＃１３は、同じサッカーの試合を視点３から撮影して得られた3Dコンテンツである。3Dコンテンツグループ＃１に含まれる3Dコンテンツ＃１１乃至＃１３の再生時間は例えば同じ時間である。
【００４２】
また、コンテンツサーバ１の記録媒体には、各視点の3Dコンテンツのデータとして、異なる記録レートのデータが複数記録されている。例えば、3Dコンテンツ＃１１については、記録レートR1のデータと記録レートR2のデータが記録されている。他の視点の3Dコンテンツについても同様に、記録レートR1のデータと記録レートR2のデータが記録されている。例えば、記録レートR2は、記録レートR1よりも高いレートである。
【００４３】
3Dコンテンツグループ＃２や図示せぬ他の3Dコンテンツグループについても同様に、それぞれの3Dコンテンツグループには、同じ時間に異なる場所から同じ対象を撮影して得られた複数の3Dコンテンツが含まれる。また、各視点の3Dコンテンツのデータとして、記録レートの異なるデータが複数記録されている。
【００４４】
このように、コンテンツサーバ１には、１つのコンテンツ（3Dコンテンツグループ）毎に、関連する複数の3Dコンテンツが用意されている。また、関連するそれぞれの3Dコンテンツのデータとして、それぞれ異なる記録レートのデータが用意されている。これにより、クライアント端末２のユーザは、サッカーの試合や映画などの各種のコンテンツを、好みの視点を選択して視聴したりすることができる。特にスポーツ番組の映像などでは、決められた一方向だけからの映像よりも迫力のある映像を楽しめる可能性がある。
【００４５】
なお、同じグループに含まれる3Dコンテンツは、出演者が同じ3Dコンテンツ、ジャンルが同じ3Dコンテンツといったように、視点とは違う意味で関連する3Dコンテンツであってもよい。
【００４６】
［各装置の構成］
図３は、コンテンツサーバ１のハードウェア構成例を示すブロック図である。
【００４７】
CPU(Central Processing Unit)１１、ROM(Read Only Memory)１２、RAM(Random Access Memory)１３は、バス１４により相互に接続されている。
【００４８】
バス１４には、さらに、入出力インタフェース１５が接続されている。入出力インタフェース１５には、キーボード、マウスなどよりなる入力部１６、ディスプレイ、スピーカなどよりなる出力部１７が接続される。また、入出力インタフェース１５には、記録部１８、通信部１９、および、リムーバブルメディア２１を駆動するドライブ２０が接続される。
【００４９】
記録部１８は、HDD(Hard Disk Drive)やSSD(Solid State Drive)などの記録媒体よりなり、図２に示すようにして3Dコンテンツを記録する。記録部１８に記録されている3Dコンテンツは、CPU１１による制御に従って適宜読み出され、入出力インタフェース１５を介して通信部１９に供給される。
【００５０】
通信部１９は、ネットワークインタフェースなどよりなり、ネットワークを介してクライアント端末２と通信を行う。通信部１９は、クライアント端末２からの要求を受信するとともに、記録部１８から読み出され、入出力インタフェース１５を介して供給された3Dコンテンツをクライアント端末２に伝送する。
【００５１】
図４は、コンテンツサーバ１の機能構成例を示すブロック図である。
【００５２】
図４に示す機能部のうちの少なくとも一部は、図３のCPU１１により所定のプログラムが実行されることによって実現される。コンテンツサーバ１においては、アクセス数検出部３１、選択部３２、伝送制御部３３、特徴抽出部３４、および視差調整部３５が実現される。
【００５３】
アクセス数検出部３１は、アクセスしてきたクライアント端末２の数を検出し、検出したアクセス数の情報を選択部３２と伝送制御部３３に出力する。後述するように、クライアント端末２のアクセス数は、3Dコンテンツを各クライアント端末２に伝送するときの伝送レートを決定することや、各クライアント端末２に伝送する3Dコンテンツの記録レートを決定することに用いられる。
【００５４】
選択部３２は、記録部１８に記録されている3Dコンテンツの中から、伝送対象とする3Dコンテンツを選択する。伝送対象とする3Dコンテンツは、例えば、アクセス数検出部３１により検出されたクライアント端末２のアクセス数や、特徴抽出部３４により算出された3Dコンテンツのキーフレーム評価値に応じて選択される。選択部３２は、選択した3Dコンテンツを記録部１８から読み出し、伝送制御部３３に出力する。また。選択部３２は、視差の調整を行う場合には、記録部１８から読み出した3Dコンテンツを視差調整部３５に出力する。
【００５５】
伝送制御部３３は、図３の通信部１９を制御し、3Dコンテンツの伝送を制御する。伝送制御部３３からは、選択部３２から供給された3Dコンテンツ、または視差調整部３５から供給された、視差調整後の3Dコンテンツが伝送される。また、伝送制御部３３は、3Dコンテンツを伝送するときの伝送レートを、適宜、アクセス数検出部３１により検出されたアクセス数に応じて制御する。
【００５６】
特徴抽出部３４は、記録部１８に記録されている3Dコンテンツの特徴を抽出し、抽出した特徴に基づいて、それぞれの3Dコンテンツの区間毎のキーフレーム評価値を算出する。特徴抽出部３４によるキーフレーム評価値の算出については後に詳述する。特徴抽出部３４は、それぞれの3Dコンテンツの区間毎のキーフレーム評価値の情報を選択部３２に出力する。
【００５７】
視差調整部３５は、選択部３２から供給された3Dコンテンツの視差パラメータの値として例えば3Dコンテンツの記録レートに応じた値を設定し、視差を調整する。視差調整部３５は、視差調整後の3Dコンテンツを伝送制御部３３に出力する。視差パラメータは、3DコンテンツのＬ画像とＲ画像の間の視差を規定するパラメータであり、3Dコンテンツのビデオデータに含まれる。3Dコンテンツを受信したクライアント端末２は、3D画像の表示時、Ｌ画像とＲ画像の間の視差を視差パラメータに基づいて設定し、Ｌ画像とＲ画像を表示する。視差の違いによって、ユーザが感じる被写体の深度に違いが現れる。
【００５８】
図５は、クライアント端末２の構成例を示すブロック図である。
【００５９】
システムコントローラ５１は、コントロールバス５２を介してクライアント端末２の各部を制御する。システムコントローラ５１による制御に従って各部の間で行われるデータの送受信はデータバス５３を介して行われる。例えば、システムコントローラ５１は、ネットワークI/F部６２を制御してコンテンツサーバ１にアクセスし、ユーザにより選択された3Dコンテンツの伝送を要求する。
【００６０】
I/F部５４は、リモートコントローラ５５からの信号を受信し、ユーザの操作の内容を表す情報をシステムコントローラ５１に出力する。
【００６１】
表示処理部５６は、コンテンツサーバ１から伝送された3Dコンテンツの画像や3Dコンテンツの選択画面をLCD(Liquid Crystal Display)などよりなるディスプレイ５７に表示させる。表示処理部５６は、例えば、3Dコンテンツの再生が再生処理部５８により行われ、Ｌ画像とＲ画像からなるビデオデータが供給された場合、Ｌ画像とＲ画像を交互にディスプレイ５７に表示させる。
【００６２】
再生処理部５８は、コンテンツサーバ１から伝送され、ネットワークI/F部６２により受信された3Dコンテンツが供給された場合、3Dコンテンツの再生処理を行う。再生処理には、圧縮されている3Dコンテンツの伸張、伸張して得られた非圧縮のビデオデータとオーディオデータのデコード、視差パラメータに基づく視差の設定などの処理が含まれる。
【００６３】
再生処理部５８は、再生処理によって得られたＬ画像とＲ画像からなるビデオデータを表示処理部５６に出力する。また、再生処理部５８は、再生処理によって得られたオーディオデータに基づいて、図示せぬスピーカから3Dコンテンツの音声を出力させる。再生処理部５８は、放送波を介して伝送され、チューナ部６１により受信されたコンテンツや、記録媒体６０に記録されているコンテンツの再生なども行う。
【００６４】
記録処理部５９は、チューナ部６１により受信されたコンテンツを所定の方式で圧縮し、HDDやSSDなどよりなる記録媒体６０に記録させる。この例においては、クライアント端末２は録画機能を有しているものとされている。
【００６５】
チューナ部６１は、アンテナから供給される信号に対して復調処理、A/D変換処理などを施し、放送波を介して伝送されたコンテンツのデータを取得する。チューナ部６１により取得されたコンテンツのデータは、そのコンテンツの録画がユーザにより指示されている場合、記録処理部５９に供給され、記録媒体６０に記録される。
【００６６】
ネットワークI/F部６２は、ネットワーク６３を介してコンテンツサーバ１と通信を行う。ネットワークI/F部６２は、ユーザにより選択された3Dコンテンツの伝送をコンテンツサーバ１に対して要求するとともに、要求に応じてコンテンツサーバ１から伝送された3Dコンテンツを受信し、再生処理部５８などに出力する。
【００６７】
［各装置の動作］
ここで、以上のような構成を有するコンテンツサーバ１とクライアント端末２の動作について説明する。
【００６８】
はじめに、図６のフローチャートを参照して、3Dコンテンツを再生するクライアント端末２の処理について説明する。
【００６９】
ステップＳ１において、システムコントローラ５１は、ネットワークI/F部６２を制御してコンテンツサーバ１にアクセスする。ネットワークI/F部６２は、アクセスしたときにコンテンツサーバ１から伝送されてくる情報を表示処理部５６に出力し、3Dコンテンツの選択画面を表示させる。選択画面にはコンテンツサーバ１の記録部１８に記録されている3Dコンテンツの一覧が表示されており、ユーザは、リモートコントローラ５５を操作するなどして所定の3Dコンテンツを選択することができる。
【００７０】
ステップＳ２において、システムコントローラ５１は、ユーザにより選択された3Dコンテンツの伝送をコンテンツサーバ１に要求する。このとき、3Dコンテンツのグループだけがユーザにより選択されるようにしてもよいし、視点や記録レートまでが選択されるようにしてもよい。クライアント端末２からの要求に応じて、コンテンツサーバ１においては、クライアント端末２に対する3Dコンテンツの伝送が開始される。
【００７１】
ステップＳ３において、ネットワークI/F部６２は、コンテンツサーバ１から伝送されてきた3Dコンテンツを受信する。
【００７２】
ステップＳ４において、再生処理部５８は、ネットワークI/F部６２により受信された3Dコンテンツを再生し、3D画像をディスプレイ５７に表示させる。ユーザにより選択された3Dコンテンツの伝送が行われている間、ステップＳ３以降の処理が繰り返し行われ、3Dコンテンツの再生が終了したとき、処理は終了される。
【００７３】
次に、図７のフローチャートを参照して、3Dコンテンツを伝送するコンテンツサーバ１の処理について説明する。
【００７４】
図７の処理は、クライアント端末２のアクセス数に応じて伝送レートを制御し、3Dコンテンツを伝送する処理である。
【００７５】
ステップＳ１１において、アクセス数検出部３１は、アクセスしてきたクライアント端末２からの要求を受信する。クライアント端末２からの要求には、伝送対象とする3Dコンテンツを指定する情報が含まれる。
【００７６】
ステップＳ１２において、アクセス数検出部３１は、3Dコンテンツの伝送を要求しているクライアント端末２の数を検出し、検出した数をアクセス数として、その数の情報を伝送制御部３３に出力する。
【００７７】
ステップＳ１３において、伝送制御部３３は、アクセス数検出部３１により検出されたアクセス数に応じて3Dコンテンツの伝送レートを決定する。伝送制御部３３は、決定した伝送レートで、各クライアント端末２に3Dコンテンツを伝送する。各クライアント端末２から伝送が要求された3Dコンテンツは、選択部３２により記録部１８から読み出され、伝送制御部３３に対して供給されている。
【００７８】
例えば、伝送制御部３３は、アクセス数が閾値より多い場合、第１の伝送レートを選択し、伝送対象の3Dコンテンツを第１の伝送レートで各クライアント端末２に伝送する。また、伝送制御部３３は、アクセス数が閾値より少ない場合、第１の伝送レートより高い伝送レートである第２の伝送レートを選択し、伝送対象の3Dコンテンツを第２の伝送レートで各クライアント端末２に伝送する。
【００７９】
なお、アクセス数に応じて選択した伝送レートより、各クライアント端末２により伝送が要求されている3Dコンテンツの記録レートの方が高い場合、伝送制御部３３は、選択した伝送レートで伝送できるように伝送対象の3Dコンテンツの再エンコードを行う。伝送制御部３３は、再エンコードによって記録レートを下げた3Dコンテンツを伝送する。また、伝送対象とする3Dコンテンツのグループと視点のみがユーザにより選択され、記録レートが選択されていない場合、選択した伝送レート以下の記録レートのデータが伝送されるようにしてもよい。この場合、3Dコンテンツの再エンコードは不要である。
【００８０】
図８は、アクセス数と伝送レートの関係の例を示す図である。
【００８１】
図８の横軸はクライアント端末２のアクセス数を表し、縦軸は伝送レートを表す。図８の例においては、アクセス数が１以上、ａ１未満である場合、3Dコンテンツの伝送レートはｒ１とされ、アクセス数がａ１以上、ａ２未満である場合、3Dコンテンツの伝送レートは、ｒ１より低いｒ２とされている。また、アクセス数がａ２以上である場合、3Dコンテンツの伝送レートは、ｒ２より低いｒ３とされている。伝送制御部３３は、このようなアクセス数と伝送レートの関係を表す情報を有しており、この情報に従って伝送レートを選択する。
【００８２】
以上のように、アクセス数に応じて伝送レートを制御することにより、コンテンツサーバ１は、データを途切れさせることなく、各クライアント端末２に3Dコンテンツを伝送することが可能になる。一方、クライアント端末２のユーザは、表示が中断したりノイズが現れたりすることなく、3Dコンテンツを視聴することができる。
【００８３】
次に、図９のフローチャートを参照して、キーフレーム評価値を算出するコンテンツサーバ１の処理について説明する。
【００８４】
キーフレーム評価値は3Dコンテンツの盛り上がりを表す値である。後述するように、キーフレーム評価値は、伝送対象とする3Dコンテンツの視点の選択や記録レートの選択に用いられる。図９の処理は、伝送対象とする3Dコンテンツの視点の選択や記録レートの選択の前に行われる。
【００８５】
ステップＳ２１において、特徴抽出部３４は、記録部１８に記録されているそれぞれの3Dコンテンツに注目し、注目する3Dコンテンツの特徴を抽出する。記録レートが異なり、内容が同じ3Dコンテンツについては、いずれか１つの記録レートの3Dコンテンツが特徴の抽出に用いられる。
【００８６】
例えば、3Dコンテンツのビデオデータとオーディオデータをそれぞれ対象として特徴が抽出され、ビデオデータからは画像特徴量が、オーディオデータからは音声特徴量が抽出される。画像特徴量には、カメラ特徴量Ｆｃ（パンＦｃｐ、チルトＦｃｔ、ズームＦｃｚなどのアフィン係数に基づく特徴量）と、3D特徴量Ｆｄ（Ｌ画像とＲ画像の視差量、または深度量に基づく特徴量）が含まれる。一方、音声特徴量には音声スペクトルパワーＦａが含まれる。
【００８７】
ステップＳ２２において、特徴抽出部３４は、画像特徴量と音声特徴量に基づいて、3Dコンテンツの所定の区間毎のキーフレーム評価値を算出する。全ての3Dコンテンツの区間毎のキーフレーム評価値が算出されたとき、処理は終了される。
【００８８】
図１０は、画像特徴量の例を示す図である。
【００８９】
ビデオデータＶ１１乃至Ｖ１８は、それぞれ、3Dコンテンツグループ＃１に含まれる3Dコンテンツ＃１１乃至＃１８のビデオデータである。この例においては、同じサッカーの試合を８つの視点から撮影した3Dコンテンツが3Dコンテンツグループ＃１に含まれるものとされている。
【００９０】
なお、図１０の例においては各視点の3Dコンテンツのビデオデータとして１フレームの画像しか示していないが、実際には、各視点の3DコンテンツのビデオデータにはＬ画像とＲ画像が表示順で交互に並ぶ複数の画像のデータが含まれる。
【００９１】
ビデオデータＶ１１乃至Ｖ１８の右側に示す時系列Ｆ１１乃至Ｆ１８は、それぞれ、ビデオデータＶ１１乃至Ｖ１８の画像特徴量の時系列である。ビデオデータＶ１１乃至Ｖ１８のそれぞれに対応する、3Dコンテンツ＃１１乃至＃１８のオーディオデータからも、同様にして音声特徴量の時系列が得られる。
【００９２】
キーフレーム評価値の算出は、図１０に示すように所定の区間ｔ０毎に、区間ｔ０内の画像特徴量と音声特徴量を用いて行われる。
【００９３】
ここで、カメラ特徴量ＦｃであるパンＦｃｐ、チルトＦｃｔ、ズームＦｃｚの各特徴量の重み係数をｋｐ，ｋｔ，ｋｚ、3D特徴量Ｆｄの重み係数をｋｄとし、音声特徴量である音声スペクトルパワーＦａの重み係数をｋａとする。
【００９４】
この場合、キーフレーム評価値Ｆは例えば下式（１）により求められる。
Ｆ＝ｋｐ・Ｆｃｐ＋ｋｔ・Ｆｃｔ＋ｋｚ・Ｆｃｚ＋ｋｄ・Ｆｄ＋ｋａ・Ｆａ
・・・    （１）
【００９５】
この場合、各重み係数の関係は下式（２）により表される。
ｋｐ＋ｋｔ＋ｋｚ＋ｋｄ＋ｋａ＝１        ・・・    （２）
【００９６】
以上のようにして算出された各3Dコンテンツの区間毎のキーフレーム評価値の情報は記録部１８に記録される。記録部１８に記録されたキーフレーム評価値の情報は、適宜、特徴抽出部３４から選択部３２に供給される。
【００９７】
次に、図１１のフローチャートを参照して、3Dコンテンツを伝送するコンテンツサーバ１の他の処理について説明する。
【００９８】
図１１の処理は、クライアント端末２に伝送する3Dコンテンツの記録レートをキーフレーム評価値に応じて変えるとともに、3Dコンテンツの視差を記録レートに応じて調整する処理である。例えば、図１１の処理は、図６の処理が行われるなどして、クライアント端末２において3Dコンテンツの再生が行われているときに開始される。
【００９９】
ステップＳ３１において、選択部３２は、各クライアント端末２に伝送中の3Dコンテンツの区間、すなわち、各クライアント端末２において視聴中の3Dコンテンツの区間のキーフレーム評価値を特定する。キーフレーム評価値の特定は、特徴抽出部３４から選択部３２に対して供給されたキーフレーム評価値の情報を参照することによって行われる。
【０１００】
ステップＳ３２において、選択部３２は、クライアント端末２に伝送する3Dコンテンツの記録レートを、視聴中の区間のキーフレーム評価値に応じて選択する。
【０１０１】
キーフレーム評価値が高い区間は盛り上がっている区間であるから、そのような盛り上がっている区間こそ、高画質で視聴することをユーザは希望しているものと考えられる。選択部３２は、クライアント端末２に所定の3Dコンテンツを伝送している場合、例えばキーフレーム評価値が閾値より高い区間については、より高い記録レートである記録レートR2のデータを伝送対象として選択する。また、選択部３２は、キーフレーム評価値が閾値より低い区間については、より低い記録レートである記録レートR1のデータを伝送対象として選択する。選択部３２は、伝送対象の3Dコンテンツのデータを視差調整部３５に出力する。
【０１０２】
ステップＳ３３において、視差調整部３５は、選択部３２から供給された3Dコンテンツの視差を記録レートに応じて調整する。例えば、視差調整部３５は、伝送対象の3Dコンテンツの記録レートが記録レートR2である場合、視差パラメータの値としてデフォルトの値を設定する。また、視差調整部３５は、3Dコンテンツの記録レートが記録レートR1である場合、視差パラメータの値としてデフォルトの値より小さい値を設定する。
【０１０３】
すなわち、視差調整部３５は、記録レートが高い3Dコンテンツについては、記録レートが低い3Dコンテンツの視差より大きい視差を設定する。また、視差調整部３５は、記録レートが低い3Dコンテンツについては、記録レートが高い3Dコンテンツの視差より小さい視差を設定する。視差調整部３５は、視差調整後の3Dコンテンツを伝送制御部３３に出力する。
【０１０４】
3Dコンテンツの記録レートが低い場合、通常、3Dコンテンツの記録レートが高い場合より、3D画像上に現れるノイズ（MPEGやMVC等の圧縮ノイズ）の量が多くなる。3D画像上に現れるノイズの量が多い場合にもノイズの量が少ない場合と同じ量の視差を与えたときには、ユーザが感じる立体感が不自然なものになり、疲労感が大きくなる可能性がある。従って、3Dコンテンツの記録レートが低い場合には視差を小さくすることによって、不自然な立体感や疲労感をユーザに与えてしまうことを防ぐことが可能になる。
【０１０５】
ステップＳ３４において、伝送制御部３３は、視差調整後の3Dコンテンツをクライアント端末２に伝送する。伝送制御部３３により伝送された3Dコンテンツを受信したクライアント端末２においては3Dコンテンツの再生が行われる。
【０１０６】
以上の処理により、コンテンツサーバ１は、盛り上がりの程度に応じて3D画像の画質を区間毎に調整することができる。また、コンテンツサーバ１は、記録レートに応じて視差を調整することによって、不自然な立体感や疲労感をユーザに与えてしまうことを防ぐことができ、より見やすい3D画像を表示させることが可能になる。
【０１０７】
なお、視差の調整を行わずに、選択部３２により選択された所定の記録レートの3Dコンテンツがそのまま伝送されるようにしてもよい。
【０１０８】
また、視差の調整が図７の処理の後に行われるようにしてもよい。この場合、高い伝送レートで3Dコンテンツを伝送する場合、低い伝送レートで伝送する場合より大きい視差を設定して3Dコンテンツの伝送が行われる。また、低い伝送レートで3Dコンテンツを伝送する場合、高い伝送レートで伝送する場合より小さい視差を設定して3Dコンテンツの伝送が行われる。
【０１０９】
次に、図１２のフローチャートを参照して、3Dコンテンツを伝送するコンテンツサーバ１のさらに他の処理について説明する。
【０１１０】
図１２の処理は、クライアント端末２に伝送する3Dコンテンツの視点をキーフレーム評価値に応じて選択する処理である。この場合、クライアント端末２からは、伝送対象とする3Dコンテンツのグループの選択は行われるが、視点の選択は行われない。図１２の処理は、例えば、所定の3Dコンテンツグループの伝送がクライアント端末２により要求されたときに開始される。
【０１１１】
ステップＳ４１において、選択部３２は、伝送が要求された3Dコンテンツのグループに含まれる、各視点の3Dコンテンツの区間毎のキーフレーム評価値を特定する。
【０１１２】
ステップＳ４２において、選択部３２は、先頭の区間から順に注目し、注目する区間においてキーフレーム評価値が最も高い視点の3Dコンテンツを伝送対象として選択する。選択部３２は、選択した3Dコンテンツを伝送制御部３３に出力する。
【０１１３】
音声特徴量を無視し、区間毎のキーフレーム評価値が、各区間の画像特徴量のみに基づいて決定されるものとして図１０の例を参照して説明する。例えば、選択部３２は、先頭の区間である区間Ｔ１と、区間Ｔ１の次の区間である区間Ｔ２においては、その区間内でキーフレーム評価値が最も高い視点２の3Dコンテンツ（ビデオデータＶ１２を含む3Dコンテンツ）を伝送対象として選択する。また、選択部３２は、区間Ｔ２の次の区間である区間Ｔ３においては、その区間内でキーフレーム評価値が最も高い視点３の3Dコンテンツ（ビデオデータＶ１３を含む3Dコンテンツ）を伝送対象として選択する。
【０１１４】
すなわち、選択部３２は、区間毎に、そのとき最も盛り上がっていると考えられる視点の3Dコンテンツを伝送対象として選択する。クライアント端末２においては、最も盛り上がっていると考えられる視点に自動的に切り替えて3D画像の表示が行われることになる。
【０１１５】
ステップＳ４３において、伝送制御部３３は、選択部３２により選択された3Dコンテンツをクライアント端末２に伝送する。伝送制御部３３により伝送された3Dコンテンツを受信したクライアント端末２においては3Dコンテンツの再生が行われる。
【０１１６】
なお、ステップＳ４３の処理に続けて図１１の処理が行われ、キーフレーム評価値に応じて視点を選択する処理と組み合わせた形で、3Dコンテンツの記録レートの選択と視差の調整が行われるようにしてもよい。
【０１１７】
１つの3Dコンテンツグループに含まれる各3Dコンテンツは異なる場所から撮影したものであるから、同じ区間であっても、ビデオデータとオーディオデータの内容の違いに応じてキーフレーム評価値、すなわち盛り上がりに差が現れる。以上の処理により、コンテンツサーバ１は、最も盛り上がっていると考えられる視点の3Dコンテンツを続けてユーザに視聴させることができる。
【０１１８】
＜第２の実施の形態＞
以上においては、アクセス数（伝送品質）に応じた伝送レートの制御、キーフレーム評価値に応じた記録レートの選択、キーフレーム評価値に応じた視点の選択等の各種の制御がコンテンツサーバ１により行われるものとしたが、クライアント端末２により行われるようにすることも可能である。
【０１１９】
［各装置の構成］
図１３は、コンテンツサーバ１の他の機能構成例を示すブロック図である。
【０１２０】
図１３に示す構成のうち、図４に示す構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。コンテンツサーバ１においては、選択部３２、および伝送制御部３３が実現される。なお、コンテンツサーバ１のハードウェア構成は図３に示す構成と同じである。
【０１２１】
選択部３２は、記録部１８に記録されている3Dコンテンツの中から、クライアント端末２により伝送が要求された3Dコンテンツを選択する。選択部３２は、選択した3Dコンテンツを記録部１８から読み出し、伝送制御部３３に出力する。
【０１２２】
伝送制御部３３は、選択部３２から供給された3Dコンテンツをクライアント端末２に伝送する。
【０１２３】
図１４は、クライアント端末２の構成例を示すブロック図である。
【０１２４】
図１４に示す構成のうち、図５に示す構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。図１４に示すクライアント端末２の構成は、通信品質評価部７１と特徴抽出部７２が追加されている点を除いて、図５に示す構成と同じである。
【０１２５】
通信品質評価部７１は、コンテンツサーバ１から伝送されてきたデータの受信状況に基づいて、コンテンツサーバ１とクライアント端末２の間の通信品質を検出する。後述するように、コンテンツサーバ１とクライアント端末２の間の通信品質は、伝送を要求する3Dコンテンツの記録レートを決定することに用いられる。
【０１２６】
例えば、通信品質の評価はパケットの到達状況を解析することによって行われる。パケットの到達状況を解析することによって通信品質を評価することについては、例えば特開２００７−２８５２６号公報に開示されている。
【０１２７】
特徴抽出部７２は、コンテンツサーバ１から伝送された3Dコンテンツの特徴を特徴抽出部３４（図４）と同様にして抽出し、抽出した特徴に基づいて、それぞれの3Dコンテンツの区間毎のキーフレーム評価値を算出する。特徴抽出部３４は、それぞれの3Dコンテンツの区間毎のキーフレーム評価値の情報をシステムコントローラ５１に出力する。
【０１２８】
［各装置の動作］
ここで、図１３、図１４に示す構成を有するコンテンツサーバ１とクライアント端末２の動作について説明する。クライアント端末２においては、第１の実施の形態においてコンテンツサーバ１が行っていた処理と基本的に同様の処理が行われる。
【０１２９】
はじめに、図１５のフローチャートを参照して、3Dコンテンツを伝送するコンテンツサーバ１の処理について説明する。
【０１３０】
ステップＳ１０１において、選択部３２は、アクセスしてきたクライアント端末２からの要求を受信する。クライアント端末２からの要求には、伝送対象とする3Dコンテンツを指定する情報が含まれる。選択部３２は、クライアント端末２により指定された3Dコンテンツを記録部１８から読み出し、伝送制御部３３に出力する。
【０１３１】
ステップＳ１０２において、伝送制御部３３は各クライアント端末２に3Dコンテンツを伝送し、処理を終了させる。
【０１３２】
次に、図１６のフローチャートを参照して、3Dコンテンツを再生するクライアント端末２の処理について説明する。
【０１３３】
図１６の処理は、コンテンツサーバ１とクライアント端末２の間の通信品質に応じて、伝送を要求する3Dコンテンツの記録レートを変えるとともに、3Dコンテンツの視差を記録レートに応じて調整する処理である。
【０１３４】
ステップＳ１１１において、システムコントローラ５１はコンテンツサーバ１にアクセスする。ネットワークI/F部６２は、コンテンツサーバ１から伝送された情報を表示処理部５６に出力し、3Dコンテンツの選択画面をディスプレイ５７に表示させる。ユーザは、リモートコントローラ５５を操作するなどして、所定の3Dコンテンツグループに含まれる、所定の視点の3Dコンテンツを伝送対象として選択する。ここでは、伝送対象とする3Dコンテンツの記録レートの選択は行われない。
【０１３５】
ステップＳ１１２において、通信品質評価部７１は、コンテンツサーバ１から伝送されてきたデータの受信状況に基づいて、コンテンツサーバ１とクライアント端末２の間の通信品質を検出する。
【０１３６】
ステップＳ１１３において、システムコントローラ５１は、通信品質評価部７１により検出された通信品質に応じた記録レートを選択し、選択した記録レートの3Dコンテンツの伝送をコンテンツサーバ１に要求する。
【０１３７】
例えば、通信品質を表す値が閾値より低い場合、記録レートR1が選択され、閾値より高い場合、記録レートR1より高い記録レートである記録レートR2が選択される。コンテンツサーバ１においては図１５の処理が行われ、クライアント端末２により指定された視点の3Dコンテンツのデータのうち、指定された記録レートのデータをクライアント端末２に伝送することが開始される。
【０１３８】
なお、各3Dコンテンツのデータとして記録レートの異なるデータがコンテンツサーバ１に用意されていない場合、クライアント端末２による要求があったときにコンテンツサーバ１により生成されるようにしてもよい。この場合、コンテンツサーバ１は、記録部１８に記録されている3Dコンテンツのデータを、クライアント端末２により指定された記録レートのデータに再エンコードし、再エンコード後のデータをクライアント端末２に伝送する。
【０１３９】
ステップＳ１１４において、ネットワークI/F部６２は、コンテンツサーバ１から伝送されてきた3Dコンテンツを受信する。
【０１４０】
ステップＳ１１５において、システムコントローラ５１は、視差調整部３５（図４）と同様にして、3Dコンテンツの視差を記録レートに応じて調整する。
【０１４１】
ステップＳ１１６において、再生処理部５８は、視差調整後の3Dコンテンツを再生し、3D画像をディスプレイ５７に表示させる。ユーザにより選択された3Dコンテンツの再生が終了したとき、処理は終了される。
【０１４２】
図１７は、通信品質と記録レートの関係の例を示す図である。
【０１４３】
図１７の横軸は通信品質を表し、縦軸は記録レートを表す。図１７の例においては、通信品質を表す値が１以上、ｑ１未満である場合、3Dコンテンツの記録レートはR1（記録レートR1）とされ、通信品質を表す値がｑ１以上、ｑ２未満である場合、3Dコンテンツの記録レートは、R1より高いR２とされている。また、通信品質を表す値がｑ２以上である場合、3Dコンテンツの記録レートは、R2より高いR3とされている。システムコントローラ５１は、このような通信品質と記録レートの関係を表す情報を有しており、この情報に従って記録レートを選択する。
【０１４４】
以上のように、伝送を要求する3Dコンテンツの記録レートを通信品質に応じて制御することにより、クライアント端末２は、データを途切れさせることなく、3Dコンテンツを受信することが可能になる。クライアント端末２のユーザは、表示が中断したりノイズが現れたりすることなく、3Dコンテンツを視聴することができる。
【０１４５】
また、クライアント端末２は、記録レートに応じて視差を調整することによって、不自然な立体感や疲労感をユーザに与えてしまうことを防ぐことができ、より見やすい3D画像を表示することが可能になる。
【０１４６】
次に、図１８のフローチャートを参照して、3Dコンテンツを再生するクライアント端末２の他の処理について説明する。
【０１４７】
図１８の処理は、再生する3Dコンテンツの視点をキーフレーム評価値に応じて変える処理である。
【０１４８】
ステップＳ１２１において、システムコントローラ５１はコンテンツサーバ１にアクセスする。ネットワークI/F部６２は、コンテンツサーバ１から伝送されてくる情報を表示処理部５６に出力し、3Dコンテンツの選択画面をディスプレイ５７に表示させる。ユーザは、リモートコントローラ５５を操作するなどして所定の3Dコンテンツグループを選択する。ここでは、視点の選択は行われない。3Dコンテンツの記録レートについては、ユーザにより選択されるようにしてもよいし、図１６の処理と同様に通信品質に応じて選択されるようにしてもよい。
【０１４９】
ステップＳ１２２において、システムコントローラ５１は、ユーザにより選択された3Dコンテンツグループに含まれる全ての視点の3Dコンテンツの伝送をコンテンツサーバ１に要求する。コンテンツサーバ１においては図１５の処理が行われ、クライアント端末２により指定された3Dコンテンツグループに含まれる全ての視点の3Dコンテンツをクライアント端末２に対して伝送することが開始される。
【０１５０】
ステップＳ１２３において、ネットワークI/F部６２は、コンテンツサーバ１から伝送された3Dコンテンツを受信する。
【０１５１】
ステップＳ１２４において、特徴抽出部７２は、コンテンツサーバ１から伝送されたそれぞれの3Dコンテンツの特徴を抽出する。特徴抽出部７２による特徴の抽出は、特徴抽出部３４（図４）による処理と同様にして行われる。すなわち、ある3Dコンテンツグループに含まれる全ての視点の3Dコンテンツについて、それぞれ、画像特徴量と音声特徴量が抽出される。
【０１５２】
ステップＳ１２５において、特徴抽出部７２は、画像特徴量と音声特徴量に基づいて、3Dコンテンツの所定の区間毎のキーフレーム評価値を算出する。特徴抽出部７２は、3Dコンテンツグループに含まれる全ての視点の3Dコンテンツの区間毎のキーフレーム評価値の情報をシステムコントローラ５１に出力する。
【０１５３】
ステップＳ１２６において、システムコントローラ５１は、先頭の区間から順に注目し、注目する区間においてキーフレーム評価値が最も高い視点の3Dコンテンツを再生対象として選択する。システムコントローラ５１は、各区間においてどの3Dコンテンツを再生対象とするのかを表す情報を特徴抽出部７２に出力し、再生対象の3Dコンテンツを再生処理部５８に出力させる。
【０１５４】
これにより、区間毎に、そのとき最も盛り上がっていると考えられる視点の3Dコンテンツが再生対象として選択され、最も盛り上がっていると考えられる視点に自動的に切り替えて3D画像の表示が行われることになる。
【０１５５】
ステップＳ１２７において、再生処理部５８は、システムコントローラ５１により選択された3Dコンテンツを再生し、3D画像をディスプレイ５７に表示させる。最後の区間まで再生が終了したとき、処理は終了される。
【０１５６】
以上の処理により、クライアント端末２は、最も盛り上がっていると考えられる視点の3Dコンテンツを続けてユーザに視聴させることができる。
【０１５７】
なお、図１８の処理によって3Dコンテンツの再生が行われる場合に、上述した記録レートに応じた視差の調整が行われるようにすることも可能である。
【０１５８】
次に、図１９のフローチャートを参照して、3Dコンテンツを再生するクライアント端末２のさらに他の処理について説明する。
【０１５９】
図１９の処理は、伝送を要求する3Dコンテンツの記録レートをキーフレーム評価値に応じて変えるとともに、3Dコンテンツの視差を記録レートに応じて調整する処理である。この処理においては、コンテンツサーバ１の記録部１８に記録されているそれぞれの3Dコンテンツのキーフレーム評価値の算出がコンテンツサーバ１において行われる。すなわち、コンテンツサーバ１には図４の特徴抽出部３４が設けられ、特徴抽出部３４により算出された各3Dコンテンツのキーフレーム評価値の情報が記録部１８に記録されている。
【０１６０】
ステップＳ１３１において、システムコントローラ５１はコンテンツサーバ１にアクセスする。ネットワークI/F部６２は、コンテンツサーバ１から伝送された情報を表示処理部５６に出力し、3Dコンテンツの選択画面をディスプレイ５７に表示させる。ユーザは、所定の3Dコンテンツグループに含まれる所定の視点の3Dコンテンツを伝送対象として選択する。ここでは、伝送対象とする3Dコンテンツの記録レートの選択は行われない。
【０１６１】
ステップＳ１３２において、システムコントローラ５１は、ユーザにより選択された3Dコンテンツのキーフレーム評価値の情報の伝送をコンテンツサーバ１に要求する。コンテンツサーバ１からは、ユーザにより選択された3Dコンテンツの区間毎のキーフレーム評価値の情報が記録部１８から読み出され、伝送されてくる。
【０１６２】
ステップＳ１３３において、ネットワークI/F部６２は、コンテンツサーバ１から伝送されてきたキーフレーム評価値の情報を受信する。
【０１６３】
ステップＳ１３４において、システムコントローラ５１は、伝送を要求する3Dコンテンツの記録レートを、区間毎に、その区間のキーフレーム評価値に応じて選択する。システムコントローラ５１は、例えばキーフレーム評価値が閾値より高い区間については、より高い記録レートである記録レートR2を選択する。また、システムコントローラ５１は、キーフレーム評価値が閾値より低い区間については、より低い記録レートである記録レートR1を選択する。
【０１６４】
ステップＳ１３５において、システムコントローラ５１は、ユーザにより選択された3Dコンテンツのデータとして、区間毎に選択した記録レートのデータを伝送することをコンテンツサーバ１に要求する。コンテンツサーバ１においては図１５の処理が行われ、クライアント端末２により指定された3Dコンテンツのデータとして、指定された記録レートのデータをクライアント端末２に対して伝送することが開始される。
【０１６５】
ステップＳ１３６において、ネットワークI/F部６２は、コンテンツサーバ１から伝送されてきた3Dコンテンツを受信する。
【０１６６】
ステップＳ１３７において、システムコントローラ５１は、図４の視差調整部３５と同様にして、3Dコンテンツの視差を記録レートに応じて調整する。
【０１６７】
ステップＳ１３８において、再生処理部５８は、視差調整後の3Dコンテンツを再生し、3D画像をディスプレイ５７に表示させる。ユーザにより選択された3Dコンテンツの再生が終了したとき、処理は終了される。
【０１６８】
以上の処理により、クライアント端末２は、盛り上がりの程度に応じて3D画像の画質を区間毎に調整することができる。また、クライアント端末２は、記録レートに応じて視差を調整することによって、不自然な立体感や疲労感をユーザに与えてしまうことを防ぐことができ、より見やすい3D画像を表示することが可能になる。
【０１６９】
＜変形例＞
以上においては、アクセス数（伝送品質）に応じた伝送レートの制御、キーフレーム評価値に応じた記録レートの選択、キーフレーム評価値に応じた視点の選択等の各種の制御が全てコンテンツサーバ１、またはクライアント端末２により行われるものとしたが、一部の制御がコンテンツサーバ１により行われ、他の一部の制御がクライアント端末２により行われるようにしてもよい。
【０１７０】
＜プログラムについて＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
【０１７１】
インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図３に示されるリムーバブルメディア２１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM１２や記録部１８に、あらかじめインストールしておくことができる。
【０１７２】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１７３】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１７４】
１  コンテンツサーバ，  ２Ａ乃至２Ｅ  ユーザ端末，  １８  記録部，  ３１  アクセス数検出部，  ３２  選択部，  ３３  伝送制御部，  ３４  特徴抽出部，  ３５  視差調整部，  ５１  システムコントローラ，  ７１  通信品質評価部，  ７２  特徴抽出部
【図１】
2012070116.tif 000003
【図２】
2012070116.tif 000004
【図３】
2012070116.tif 000005
【図４】
2012070116.tif 000006
【図５】
2012070116.tif 000007
【図６】
2012070116.tif 000008
【図７】
2012070116.tif 000009
【図８】
2012070116.tif 000010
【図９】
2012070116.tif 000011
【図１０】
2012070116.tif 000012
【図１１】
2012070116.tif 000013
【図１２】
2012070116.tif 000014
【図１３】
2012070116.tif 000015
【図１４】
2012070116.tif 000016
【図１５】
2012070116.tif 000017
【図１６】
2012070116.tif 000018
【図１７】
2012070116.tif 000019
【図１８】
2012070116.tif 000020
【図１９】
2012070116.tif 000021