(57)【要約】【課題】３Ｄコンテンツのビデオデータを適切に処理することができるようにする。【解決手段】取得される３Ｄコンテンツのコンテンツデータには、３Ｄ画像のビデオデータと、その３Ｄ画像において基準となる所定の画像サイズである基準画サイズと、その基準画サイズのときの最大視差および最小視差の情報が含まれる。画サイズ検出部７１は、３Ｄ画像のビデオデータの画像サイズを検出する。最大／最小視差算出部７２は、検出された３Ｄビデオデータの画像サイズと「基準画サイズ」とが同一ではない場合に、３Ｄビデオデータの画像サイズに対応する最大視差および最小視差を算出する。字幕調整部７３は、算出された最大視差および最小視差に基づく所定の画像処理、例えば、字幕の奥行位置を調整する処理を行う。本発明は、例えば、取得された３Ｄ画像の画像データを処理する画像処理装置に適用できる。【選択図】図８
2011223481.tif 000002
【特許請求の範囲】
【請求項１】
３Ｄ画像の画像データと、
前記３Ｄ画像において基準となる所定の画像サイズである基準画サイズと、その基準画サイズのときの最大視差および最小視差と
を含むデータ構造。
【請求項２】
３Ｄ画像の画像データ、並びに、前記３Ｄ画像において基準となる所定の画像サイズである基準画サイズと、その基準画サイズのときの最大視差および最小視差を含むコンテンツデータを取得する取得手段と、
前記取得手段により取得された前記３Ｄ画像の画像データによる画像サイズを検出する検出手段と、
検出された前記画像データの画像サイズと前記基準画サイズが同一ではない場合に、取得された前記画像データの画像サイズに対応する最大視差および最小視差を算出する視差算出手段と、
算出された前記最大視差および最小視差に基づき、前記取得手段により取得された前記画像データに対して所定の画像処理を行う処理手段と
を備える画像処理装置。
【請求項３】
前記視差算出手段は、取得された前記基準画サイズのときの最大視差および最小視差に、検出された前記画像データの画像サイズと前記基準画サイズの比率を乗算することで、前記画像データの画像サイズに対応する最大視差および最小視差を算出する
請求項２に記載の画像処理装置。
【請求項４】
３Ｄ画像の画像データ、並びに、前記３Ｄ画像において基準となる所定の画像サイズである基準画サイズと、その基準画サイズのときの最大視差および最小視差を含むコンテンツデータを取得し、
取得された前記３Ｄ画像の画像データによる画像サイズを検出し、
検出された前記画像データの画像サイズと前記基準画サイズが同一ではない場合に、取得された前記画像データの画像サイズに対応する最大視差および最小視差を算出し、
算出された前記最大視差および最小視差に基づき、取得された前記画像データに対して所定の画像処理を行う
ステップを含む画像処理方法。
【請求項５】
コンピュータに、
３Ｄ画像の画像データ、並びに、前記３Ｄ画像において基準となる所定の画像サイズである基準画サイズと、その基準画サイズのときの最大視差および最小視差を含むコンテンツデータを取得させ、
取得された前記３Ｄ画像の画像データによる画像サイズを検出し、
検出された前記画像データの画像サイズと前記基準画サイズが同一ではない場合に、取得された前記画像データの画像サイズに対応する最大視差および最小視差を算出し、
算出された前記最大視差および最小視差に基づき、取得された前記画像データに対して所定の画像処理を行う
ステップを含む処理を実行させるためのプログラム。
【請求項６】
３Ｄ画像の画像データと、
前記３Ｄ画像の画像データによる画像サイズのときの最大視差および最小視差と
を含むデータ構造。
【請求項７】
３Ｄ画像の画像データ、並びに、前記３Ｄ画像の画像データによる画像サイズのときの最大視差および最小視差を含むコンテンツデータを取得する取得手段と、
前記取得手段により取得された前記３Ｄ画像の画像データの画像サイズを、所定の拡大縮小率で拡大または縮小する拡大縮小手段と、
拡大または縮小後の画像サイズの前記画像データにおける最大視差および最小視差を算出する算出手段と、
算出結果に更新された前記最大視差および最小視差を、拡大または縮小後の前記画像データとともに出力する出力手段と
を備える画像処理装置。
【請求項８】
３Ｄ画像の画像データ、並びに、前記３Ｄ画像の画像データによる画像サイズのときの最大視差および最小視差を含むコンテンツデータを取得し、
取得された前記３Ｄ画像の画像データの画像サイズを、所定の拡大縮小率で拡大または縮小し、
拡大または縮小後の画像サイズの前記画像データにおける最大視差および最小視差を算出し、
算出結果に更新された前記最大視差および最小視差を、拡大または縮小後の前記画像データとともに出力する
ステップを含む画像処理方法。
【請求項９】
コンピュータに、
３Ｄ画像の画像データ、並びに、前記３Ｄ画像の画像データによる画像サイズのときの最大視差および最小視差を含むコンテンツデータを取得させ、
取得された前記３Ｄ画像の画像データの画像サイズを、所定の拡大縮小率で拡大または縮小し、
拡大または縮小後の画像サイズの前記画像データにおける最大視差および最小視差を算出し、
算出結果に更新された前記最大視差および最小視差を、拡大または縮小後の前記画像データとともに出力させる
ステップを含む処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ構造、画像処理装置、画像処理方法、およびプログラムに関し、特に、３Ｄコンテンツのビデオデータを適切に処理することができるようにするデータ構造、画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
映画等のコンテンツとしては２Ｄ画像が主流であるが、最近では、３Ｄ画像が注目を集めており、３Ｄ画像の表示装置や、３Ｄ画像の符号化と復号の方法について様々な技術が提案されている（例えば、特許文献１，２参照）。
【０００３】
３Ｄ画像は、左目で視認する左目用画像と右目で視認する右目用画像により構成され、左目用画像と右目用画像に所定の視差が設定されていることにより、視聴者は画像を立体的に知覚する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−３２７４３０号公報
【特許文献２】特開２００８−１８２６６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
３Ｄ画像の左目用画像と右目用画像に設定されている視差の最大値および最小値の情報（視差情報）は、提供される左目用画像と右目用画像から検出することもできるが、３Ｄコンテンツのメタデータ（付加情報）として提供することも考えられる。この場合、視差の最大値および最小値の情報は画像サイズに応じて変わるため、３Ｄコンテンツの取得側で、画像サイズがいくつのときの視差情報であるのかを正確に把握できなければ、適切な処理はできない。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、３Ｄコンテンツのビデオデータを適切に処理することができるようにするものである。
【課題を解決するための手段】
【０００７】
本発明の第１の側面のデータ構造は、３Ｄ画像の画像データと、前記３Ｄ画像において基準となる所定の画像サイズである基準画サイズと、その基準画サイズのときの最大視差および最小視差とを含む。
【０００８】
本発明の第１の側面においては、３Ｄ画像の画像データと、３Ｄ画像において基準となる所定の画像サイズである基準画サイズと、その基準画サイズのときの最大視差および最小視差とが含まれている。
【０００９】
本発明の第２の側面の画像処理装置は、３Ｄ画像の画像データ、並びに、前記３Ｄ画像において基準となる所定の画像サイズである基準画サイズと、その基準画サイズのときの最大視差および最小視差を含むコンテンツデータを取得する取得手段と、前記取得手段により取得された前記３Ｄ画像の画像データによる画像サイズを検出する検出手段と、検出された前記画像データの画像サイズと前記基準画サイズが同一ではない場合に、取得された前記画像データの画像サイズに対応する最大視差および最小視差を算出する視差算出手段と、算出された前記最大視差および最小視差に基づき、前記取得手段により取得された前記画像データに対して所定の画像処理を行う処理手段とを備える。
【００１０】
本発明の第２の側面の画像処理方法は、３Ｄ画像の画像データ、並びに、前記３Ｄ画像において基準となる所定の画像サイズである基準画サイズと、その基準画サイズのときの最大視差および最小視差を含むコンテンツデータを取得し、取得された前記３Ｄ画像の画像データによる画像サイズを検出し、検出された前記画像データの画像サイズと前記基準画サイズが同一ではない場合に、取得された前記画像データの画像サイズに対応する最大視差および最小視差を算出し、算出された前記最大視差および最小視差に基づき、取得された前記画像データに対して所定の画像処理を行うステップを含む。
【００１１】
本発明の第２の側面のプログラムは、コンピュータに、３Ｄ画像の画像データ、並びに、前記３Ｄ画像において基準となる所定の画像サイズである基準画サイズと、その基準画サイズのときの最大視差および最小視差を含むコンテンツデータを取得させ、取得された前記３Ｄ画像の画像データによる画像サイズを検出し、検出された前記画像データの画像サイズと前記基準画サイズが同一ではない場合に、取得された前記画像データの画像サイズに対応する最大視差および最小視差を算出し、算出された前記最大視差および最小視差に基づき、取得された前記画像データに対して所定の画像処理を行うステップを含む処理を実行させるためのものである。
【００１２】
本発明の第２の側面においては、３Ｄ画像の画像データ、並びに、３Ｄ画像において基準となる所定の画像サイズである基準画サイズと、その基準画サイズのときの最大視差および最小視差を含むコンテンツデータが取得され、取得された３Ｄ画像の画像データによる画像サイズが検出され、検出された画像データの画像サイズと基準画サイズが同一ではない場合に、取得された画像データの画像サイズに対応する最大視差および最小視差が算出され、算出された最大視差および最小視差に基づき、取得された画像データに対して所定の画像処理が行われる。
【００１３】
本発明の第３の側面のデータ構造は、３Ｄ画像の画像データと、前記３Ｄ画像の画像データによる画像サイズのときの最大視差および最小視差とを含む。
【００１４】
本発明の第３の側面においては、３Ｄ画像の画像データと、３Ｄ画像の画像データによる画像サイズのときの最大視差および最小視差とが含まれている。
【００１５】
本発明の第４の側面の画像処理装置は、３Ｄ画像の画像データ、並びに、前記３Ｄ画像の画像データによる画像サイズのときの最大視差および最小視差を含むコンテンツデータを取得する取得手段と、前記取得手段により取得された前記３Ｄ画像の画像データの画像サイズを、所定の拡大縮小率で拡大または縮小する拡大縮小手段と、拡大または縮小後の画像サイズの前記画像データにおける最大視差および最小視差を算出する算出手段と、算出結果に更新された前記最大視差および最小視差を、拡大または縮小後の前記画像データとともに出力する出力手段とを備える。
【００１６】
本発明の第４の側面の画像処理方法は、３Ｄ画像の画像データ、並びに、前記３Ｄ画像の画像データによる画像サイズのときの最大視差および最小視差を含むコンテンツデータを取得し、取得された前記３Ｄ画像の画像データの画像サイズを、所定の拡大縮小率で拡大または縮小し、拡大または縮小後の画像サイズの前記画像データにおける最大視差および最小視差を算出し、算出結果に更新された前記最大視差および最小視差を、拡大または縮小後の前記画像データとともに出力するステップを含む。
【００１７】
本発明の第４の側面のプログラムは、コンピュータに、３Ｄ画像の画像データ、並びに、前記３Ｄ画像の画像データによる画像サイズのときの最大視差および最小視差を含むコンテンツデータを取得させ、取得された前記３Ｄ画像の画像データの画像サイズを、所定の拡大縮小率で拡大または縮小し、拡大または縮小後の画像サイズの前記画像データにおける最大視差および最小視差を算出し、算出結果に更新された前記最大視差および最小視差を、拡大または縮小後の前記画像データとともに出力させるステップを含む処理を実行させるためのものである。
【００１８】
本発明の第４の側面においては、３Ｄ画像の画像データ、並びに、３Ｄ画像の画像データによる画像サイズのときの最大視差および最小視差を含むコンテンツデータが取得され、取得された３Ｄ画像の画像データの画像サイズが、所定の拡大縮小率で拡大または縮小され、拡大または縮小後の画像サイズの画像データにおける最大視差および最小視差が算出され、算出結果に更新された最大視差および最小視差が、拡大または縮小後の画像データとともに出力される。
【００１９】
なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【００２０】
画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００２１】
本発明の第１乃至第４の側面によれば、３Ｄコンテンツのビデオデータを適切に処理することができるようにする。
【図面の簡単な説明】
【００２２】
【図１】本発明を適用した記録装置の一実施の形態の構成例を示すブロック図である。
【図２】図１の記録装置による記録処理を説明するフローチャートである
【図３】記録媒体に記録されるデータの階層構造を示す図である。
【図４】MPEG4のボックスの拡張領域の例を示す図である。
【図５】MPEG4のボックスの拡張領域の他の例を示す図である。
【図６】MPEG4のボックスの拡張領域のさらに他の例を示す図である。
【図７】本発明を適用した再生装置の一実施の形態の構成例を示すブロック図である。
【図８】３Ｄ画像処理部の詳細構成例を示すブロック図である。
【図９】図７の再生装置による再生処理を説明するフローチャートである。
【図１０】本発明を適用したデータ変換装置の一実施の形態の構成例を示すブロック図である。
【図１１】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００２３】
＜本発明を適用した一実施の形態＞
［記録装置の構成例］
図１は、本発明を適用した記録装置の一実施の形態の構成例を示すブロック図である。
【００２４】
図１の記録装置１０は、ビデオエンコーダ１１、オーディオエンコーダ１２、多重化部１３、および記録制御部１４により構成される。
【００２５】
記録装置１０は、３Ｄコンテンツのコンテンツデータを符号化して、BDROM（Blu-Ray（登録商標） Disc Read Only Memory）等の記録媒体２０に記録させる。コンテンツデータは、３Ｄ画像の画像データ（以下、３Ｄビデオデータという。）、その画像データに対応する音声データを含み、３Ｄビデオデータは左目用画像の画像データと右目用画像の画像データとからなる。また、コンテンツデータには、左目用画像と右目用画像に設定されている視差の情報が付加情報として含まれる。
【００２６】
記録装置１０のビデオエンコーダ１１は、外部から入力された３Ｄビデオデータを、MPEG2（Moving Picture Experts Group phase 2），MPEG4，AVC（Advanced Video Coding）等の符号化方式で符号化する。ビデオエンコーダ１１は、符号化の結果得られるES（Elementary Stream）であるビデオストリームを多重化部１３に供給する。
【００２７】
オーディオエンコーダ１２は、外部から入力された３Ｄビデオデータに対応するオーディオデータをMPEG等の符号化方式で符号化し、その結果得られるESであるオーディオストリームを多重化部１３に供給する。
【００２８】
多重化部１３は、ビデオエンコーダ１１から供給されるビデオストリームと、オーディオエンコーダ１２から供給されるオーディオストリームを多重化し、その結果得られる多重化ストリームを記録制御部１４に供給する。
【００２９】
記録制御部１４は、多重化部１３から供給される多重化ストリームを記録媒体２０に記録させる。また、記録制御部１４は、記録媒体２０に記録される３Ｄ画像において基準となる所定の画像サイズ（以下、基準画サイズと称する。）と、その画像サイズのときの視差の最大値（最大視差）および最小値（最小視差）を定義ファイルとして記録媒体２０に記録させる。なお、視差の最大値（最大視差）と最小値（最小視差）を、以下では、最大視差／最小視差とも記述する。
【００３０】
ここで、記録媒体２０に記録される３Ｄビデオデータの画像サイズと基準画サイズは、基本的には一致するが、必ずしも一致しなくてもよい。即ち、付加情報の最大視差／最小視差は、あくまで基準画サイズのときの視差の最大値および最小値である。従って、記録媒体２０に記録される３Ｄビデオデータの画像サイズが基準画サイズでない場合には、３Ｄビデオデータの最大視差／最小視差は、定義ファイルとして記録されている最大視差／最小視差とは異なる。
【００３１】
例えば、基準画サイズ＝「７２０×４８０」、最大視差＝「＋７２」、および最小視差＝「−４８」が、定義ファイルとして記録される場合には、基準画サイズが「７２０×４８０」であるときの最大視差と最小視差がそれぞれ「＋７２」および「−４８」であることを表す。この場合、記録媒体２０に記録される３Ｄビデオデータの画像サイズが「１９２０×１０８０」であってもよい。
【００３２】
なお、最大視差／最小視差および基準画サイズは、例えば、図示せぬ操作入力部等から入力され、記録制御部１４に供給される。
【００３３】
以上のように構成される記録装置１０では、「基準画サイズと最大視差／最小視差」が、付加情報（メタデータ）として記録媒体２０に記録されるので、再生時に「最大視差／最小視差」を用いた正しい処理を行うことができる。
【００３４】
［記録装置の処理の説明］
図２は、図１の記録装置１０による記録処理を説明するフローチャートである。この記録処理は、例えば、付加情報、３Ｄビデオデータ、およびオーディオデータが入力されたとき、開始される。
【００３５】
ステップＳ１０において、記録制御部１４は、外部から入力された付加情報としての「基準画サイズと最大視差／最小視差」を定義ファイルとして記録媒体２０に記録させる。
【００３６】
ステップＳ１１において、ビデオエンコーダ１１は、外部から入力された３Ｄビデオデータを、MPEG2，MPEG4，AVC等の符号化方式で符号化する。そして、ビデオエンコーダ１１は、符号化の結果得られるビデオストリームを多重化部１３に供給する。
【００３７】
ステップＳ１２において、オーディオエンコーダ１２は、外部から入力された３Ｄビデオデータに対応するオーディオデータをMPEG等の符号化方式で符号化し、その結果得られるオーディオストリームを多重化部１３に供給する。
【００３８】
ステップＳ１３において、多重化部１３は、ビデオエンコーダ１１からのビデオストリームとオーディオエンコーダ１２からのオーディオストリームを多重化し、その結果得られる多重化ストリームを記録制御部１４に供給する。
【００３９】
ステップＳ１４において、記録制御部１４は、多重化部１３から供給される多重化ストリームを記録媒体２０に記録媒体に記録させ、処理を終了する。
【００４０】
[付加情報のデータ構造]
図３は、記録媒体２０に記録されるデータの階層構造を示す図である。
【００４１】
図３に示すように、記録媒体２０に記録されるデータの階層は、オーディオストリームやビデオストリーム等のESのレイヤＣ、多重化ストリームのシステムレイヤであるレイヤＢ、記録媒体２０に唯一の情報のレイヤＡ等により構成される。
【００４２】
上述した例では、付加情報としての「基準画サイズと最大視差／最小視差」が記録媒体２０に唯一の定義ファイルとして、即ち、レイヤＡに記録されるように説明した。しかしながら、「基準画サイズと最大視差／最小視差」は、レイヤＢやレイヤＣに記録されるようにすることもできる。
【００４３】
例えば、レイヤＣにおいて付加情報が記録される場合、符号化方式がAVCであれば、付加情報は、SEI（Supplemental Enhancement Information）として、または、SPS（Sequence Parameter Set）やPPS（Picture Parameter Set）の一部として記録される。また、符号化方式がMPEG2であれば、ビデオシーケンス（Video Sequence）やエクステンションアンドユーザデータ（extension_and_user_data）として記録される。
【００４４】
この場合、１つのビデオストリーム内で付加情報を可変にすることができる。「基準画サイズと最大視差／最小視差」はビデオストリームごとに変えることができる。
【００４５】
一方、レイヤＢにおいて付加情報が記録される場合、付加情報は、TS（Transport Stream）のプライベートパケット、PS（Program Stream）のプライベートパック、MPEG4のコンフィグレーション（Config）情報に含まれるボックス（Box）の拡張領域等に記録される。
【００４６】
付加情報が記録されるMPEG4のボックスの拡張領域は、例えば、図４に示すように、ファイルの先頭に位置するftypボックスの直後のPrivate Extension ボックス(図４中uuid）に設けられる。この場合、記録媒体２０に記録された３Ｄビデオデータを再生する再生装置は、復号処理の前に「基準画サイズと最大視差／最小視差」を取得することができる。「基準画サイズと最大視差／最小視差」はファイル内で不変である。
【００４７】
なお、Private Extension ボックスには、「基準画サイズと最大視差／最小視差」のほか、コーデックの種類、ビットレート、フレームサイズ、アスペクト比、画像が２Ｄ画像であるか３Ｄ画像であるかを示す情報等が記述される。
【００４８】
また、付加情報が記録されるMPEG4のボックスの拡張領域は、図５に示すように、moovボックス内のトラック情報（trak）の領域（図５中stsd）に設けられるようにしてもよい。この場合、ビデオストリームに参照先の付加情報の領域を表す情報が含まれており、再生装置は、その情報に基づいて、「基準画サイズと最大視差／最小視差」を取得する。従って、この場合、ビデオストリーム内で「基準画サイズと最大視差／最小視差」を可変にすることができる。但し、図４の場合に比べてアクセス性は悪い。
【００４９】
さらに、付加情報が記録されるMPEG4のボックスの拡張領域は、図６に示すように、mdatボックス内に設けられるようにしてもよい。即ち、付加情報が１つのメディアストリーム（side info.stream）として記録されるようにしてもよい。この場合、ビデオストリームと付加情報は時間情報で同期するため、「基準画サイズと最大視差／最小視差」を時々刻々と変化させることができる。
【００５０】
なお、図４乃至図６の例では、ftypボックスの後に、moov ボックス、mdat ボックスが順に配置されているが、moov ボックスとmdat ボックスの配置はこれに限定されない。
【００５１】
＜本発明を適用した再生装置の実施の形態＞
[再生装置の構成例]
図７は、本発明を適用した再生装置の一実施の形態の構成例を示すブロック図である。
【００５２】
図７の再生装置５０は、読出部５１、分離部５２、ビデオデコーダ５３、３Ｄ画像処理部５４、およびオーディオデコーダ５５により構成される。再生装置５０は、記録媒体２０に記録されている３Ｄビデオデータとそれに対応する音声データを付加情報とともに再生し、付加情報に基づいて、適切に３Ｄ画像を表示させる。
【００５３】
具体的には、再生装置５０の読出部５１は、記録媒体２０に記録されている「基準画サイズと最大視差／最小視差」を含む付加情報を読み出し、３Ｄ画像処理部５４に供給する。また、読出部５１は、記録媒体２０に記録されている多重化ストリームを読み出し、分離部５２に供給する。
【００５４】
分離部５２は、読出部５１から供給される多重化ストリームをビデオストリームとオーディオストリームに分離する。そして、分離部５２は、ビデオストリームをビデオデコーダ５３に供給し、オーディオストリームをオーディオデコーダ５５に供給する。
【００５５】
ビデオデコーダ５３は、分離部５２から供給されるビデオストリームを、図１のビデオエンコーダ１１における符号化方式に対応する方式で復号し、その結果得られる３Ｄビデオデータを３Ｄ画像処理部５４に供給する。
【００５６】
３Ｄ画像処理部５４は、ビデオデコーダ５３から供給される３Ｄビデオデータに対し、必要に応じて所定の画像処理を行う。本実施の形態では、３Ｄ画像処理部５４は、３Ｄ画像に重畳表示する字幕の奥行位置の調整を行う処理を実行するものとする。３Ｄ画像処理部５４は、処理後の３Ｄビデオデータを表示部６１に出力する。
【００５７】
なお、字幕が表示される画像領域は、外部より与えられてもよいし、３Ｄ画像処理部５４内で独自に検出してもよい。字幕が表示される領域を検出する方法としては、例えば、本出願人により先に提案されている特開２００８−１６６９８８の処理（所定時間変化しない領域を字幕領域として検出する処理）などを採用することができる。
【００５８】
オーディオデコーダ５５は、分離部５２から供給されるオーディオストリームを、図１のオーディオエンコーダ１２における符号化方式に対応する方式で復号し、その結果得られるオーディオデータをスピーカ６２に供給する。
【００５９】
表示部６１は、３Ｄ画像処理部５４から供給されるビデオデータに対応する左目用画像と右目用画像を、例えば時分割で表示する。このとき、視聴者は、例えば、左目用画像と右目用画像の切り替えに同期したシャッタ付き眼鏡を装着し、左目用画像を左目だけで見て、右目用画像を右目だけで見る。これにより、視聴者は、３Ｄ画像を立体的に知覚することができる。
【００６０】
スピーカ６２は、オーディオデコーダ５５から供給されるオーディオデータに対応する音声を出力する。
【００６１】
［３Ｄ画像処理部５４の詳細構成例］
図８は、図７の３Ｄ画像処理部５４の詳細構成例を示すブロック図である。
【００６２】
３Ｄ画像処理部５４は、画サイズ検出部７１、最大／最小視差算出部７２、および字幕調整部７３により構成される。
【００６３】
画サイズ検出部７１は、読出部５１から供給される３Ｄビデオデータから、その画像サイズを検出する。ここで検出される画像サイズは、表示部６１に表示される画像サイズであるので、以下では、表示画サイズと称する。表示画サイズは、例えば、画像の有効期間を表す信号をカウントすることによって認識することができる。画サイズ検出部７１は、検出結果の表示画サイズを最大／最小視差算出部７２に供給する。
【００６４】
最大／最小視差算出部７２は、読出部５１から供給される「基準画サイズと最大視差／最小視差」を取得するとともに、画サイズ検出部７１から供給される表示画サイズを取得する。
【００６５】
そして、最大／最小視差算出部７２は、供給される表示画サイズを、付加情報の「基準画サイズ」と比較して、表示画サイズと基準画サイズが異なるサイズである場合、表示画サイズにおける最大視差／最小視差を算出する。
【００６６】
例えば、「基準画サイズ、最大視差、最小視差」がそれぞれ「７２０×４８０、＋７２、−４８」であり、「表示画サイズ」が「１９２０×１０８０」である場合、最大／最小視差算出部７２は、表示画サイズにおける最大視差／最小視差を、次のように算出する。
最大視差＝＋７２×（１９２０／７２０）＝＋１９２
最小視差＝−４８×（１９２０／７２０）＝−１２８
【００６７】
最大／最小視差算出部７２は、算出結果としての表示画サイズにおける最大視差／最小視差を字幕調整部７３に供給する。なお、表示画サイズと基準画サイズが一致する場合には、取得した付加情報の「最大視差／最小視差」がそのまま、表示画サイズにおける最大視差／最小視差として字幕調整部７３に供給される。
【００６８】
字幕調整部７３は、３Ｄ画像に重畳表示される字幕の奥行位置を、表示画サイズにおける最大視差／最小視差に応じて調整する。即ち、字幕調整部７３では、字幕が表示画サイズの最大視差で決定される奥行位置の少し手前（視聴者から見て最も手前）にくるように調整される。
【００６９】
[再生装置の処理の説明]
図９は、再生装置５０による再生処理を説明するフローチャートである。この再生処理は、例えば、記録媒体２０に記録されている３Ｄコンテンツの再生が視聴者により指示されたとき開始される。
【００７０】
ステップＳ３１において、読出部５１は、記録媒体２０に付加情報として記録されている「基準画サイズと最大視差／最小視差」を読み出し、３Ｄ画像処理部５４に供給する。
【００７１】
ステップＳ３２において、再生装置５０は、記録媒体２０に記録されている３Ｄコンテンツの多重化ストリームを読み出し、復号する。即ち、読出部５１が、記録媒体２０から３Ｄコンテンツの多重化ストリームを読み出し、分離部５２に供給し、分離部５２は、多重化ストリームをビデオストリームとオーディオストリームに分離する。ビデオデコーダ５３は、ビデオストリームを、記録装置１０の符号化方式に対応する方式で復号し、その結果得られる３Ｄビデオデータを３Ｄ画像処理部５４に供給する。オーディオデコーダ５５は、オーディオストリームを、記録装置１０の符号化方式に対応する方式で復号し、その結果得られるオーディオデータをスピーカ６２に供給する。
【００７２】
ステップＳ３３において、画サイズ検出部７１は、読出部５１から供給される３Ｄビデオデータから、その画像サイズ（表示画サイズ）を検出し、最大／最小視差算出部７２に供給する。そして、ステップＳ３４において、最大／最小視差算出部７２は、画サイズ検出部７１で検出された「表示画サイズ」と、読出部５１から供給された「基準画サイズ」が同一であるかを判定する。
【００７３】
ステップＳ３４で、「表示画サイズ」と「基準画サイズ」が同一ではないと判定された場合、処理はステップＳ３５に進み、最大／最小視差算出部７２は、表示画サイズにおける最大視差／最小視差を算出して、字幕調整部７３に供給する。
【００７４】
一方、ステップＳ３４で、「表示画サイズ」と「基準画サイズ」が同一であると判定された場合、処理はステップＳ３６に進む。ステップＳ３６では、最大／最小視差算出部７２は、読出部５１から供給された付加情報の「基準画サイズ」をそのまま、表示画サイズにおける最大視差／最小視差として字幕調整部７３に供給する。
【００７５】
ステップＳ３７において、字幕調整部７３は、３Ｄ画像に重畳表示される字幕の奥行位置を、表示画サイズにおける最大視差／最小視差に応じて調整し、調整後の３Ｄビデオデータを表示部６１に出力する。また、ステップＳ３７では、オーディオデコーダ５５が３Ｄビデオデータに対応するオーディオデータを出力し、処理は終了する。
【００７６】
以上のように、記録媒体２０には３Ｄコンテンツの多重化ストリームに加えて、その３Ｄコンテンツの「基準画サイズと最大視差／最小視差」が付加情報として記録されている。再生装置５０は、その付加情報を読み出し、復号により得られた３Ｄビデオデータの画サイズと比較することで、読み出した３Ｄビデオデータの正確な最大視差／最小視差を簡単に知ることができる。そして、３Ｄビデオデータの正確な最大視差／最小視差に基づいて、所定の信号処理を適切に行うことができる。
【００７７】
本実施の形態では、所定の信号処理として、字幕の奥行位置を調整する処理を行う例について説明したが、最大視差／最小視差に基づく処理は、これに限定されるものではない。
【００７８】
上述した例では、３Ｄコンテンツの多重化ストリームおよび付加情報（メタデータ）が、記録媒体２０を介して、コンテンツ提供者側からコンテンツ視聴者側に提供される例について説明した。しかし、３Ｄコンテンツは、例えば、衛星放送、ケーブルTV、インターネットなどのネットワークを介した伝送により提供される場合もある。そして、コンテンツ提供側から送信されてから、コンテンツ視聴者が受信するまでの伝送経路の途中で、３Ｄコンテンツの画サイズの拡大または縮小が行われる場合も考えられる。この場合、伝送されてくる３Ｄビデオデータの画像サイズと、付加情報として伝送されてくる「基準画サイズ」は異なるものとなる。このような場合であっても、付加情報の「基準画サイズと最大視差／最小視差」から、受信した３Ｄビデオデータの画像サイズにおける最大視差／最小視差を即座にかつ正確に知ることができ、正確な最大視差／最小視差に基づいた画像処理を適切に行うことができる。
【００７９】
＜その他の実施の形態＞
なお、上述した例では、３Ｄコンテンツの画像サイズの拡大または縮小が行われた場合でも、付加情報として記録または伝送される「基準画サイズと最大視差／最小視差」は固定のものとして説明した。しかしながら、画像サイズの拡大または縮小に応じて付加情報の「最大視差／最小視差」を更新するようにしてもよい。この場合、「基準画サイズ」は、記録または伝送される３Ｄビデオデータの画像サイズと必ず一致するので、省略することができる。
【００８０】
［データ変換装置の構成例］
図１０は、３Ｄビデオデータの画像サイズを変換するとともに、最大視差／最小視差の情報も更新するデータ変換装置（画像処理装置）の機能ブロック図である。なお、図１０において、オーディオデータについての説明は省略する。
【００８１】
図１０のデータ変換装置８０は、取得部８１、画像拡大縮小部８２、最大／最小視差更新部８３、および出力部８４により構成される。
【００８２】
取得部８１は、外部から入力される３Ｄビデオデータと、付加情報としての「最大視差／最小視差」を取得する。取得部８１は、３Ｄビデオデータを画像拡大縮小部８２に供給し、「最大視差／最小視差」を最大／最小視差更新部８３に供給する。
【００８３】
画像拡大縮小部８２は、供給される３Ｄビデオデータの画像サイズを、図示せぬ操作入力部等で入力されて供給される拡大縮小率に従って、拡大または縮小する処理を実行する。画像拡大縮小部８２は、処理後の３Ｄビデオデータを出力部８４に供給する。
【００８４】
最大／最小視差更新部８３は、取得部８１から供給される「最大視差／最小視差」を、操作入力部等から供給される拡大縮小率に基づいて、画像拡大縮小部８２が拡大または縮小処理を実行した処理後の画像に対応する「最大視差／最小視差」に更新する。そして、最大／最小視差更新部８３は、更新後の「最大視差／最小視差」を出力部８４に供給する。
【００８５】
出力部８４は、画像拡大縮小部８２から供給される３Ｄビデオデータと、付加情報としての「最大視差／最小視差」を、多重化して、または時分割などにより出力する。
【００８６】
なお、拡大縮小率は、操作入力部等で入力されるものでなく、予め決定されている値でもよい。
【００８７】
データ変換装置８０の動作について、具体的な例を挙げて説明する。
【００８８】
最初に、取得部８１は、例えば、画像サイズが「７２０×４８０」である３Ｄビデオデータと、「最大視差／最小視差」として「＋７２／−４８」が記述されている付加情報を取得する。取得部８１が取得した３Ｄビデオデータは画像拡大縮小部８２に供給され、付加情報は最大／最小視差更新部８３に供給される。
【００８９】
画像拡大縮小部８２には、操作入力部等において所定のユーザによって入力された拡大縮小率が供給される。ここでは、例えば、「１９２０／７２０」が供給されたものとする。
【００９０】
画像拡大縮小部８２は、供給された拡大縮小率に基づいて、３Ｄビデオデータに対し、その画像サイズを「７２０×４８０」から「１９２０×１０８０」に拡大する処理を実行し、処理後の３Ｄビデオデータを出力部８４に供給する。
【００９１】
最大／縮小視差更新部８３は、操作入力部等から供給された拡大縮小率、即ち、「１９２０／７２０」に従って、付加情報の「最大視差／最小視差」を更新する。具体的には、最大／縮小視差更新部８３は、
最大視差＝＋７２×（１９２０／７２０）＝＋１９２
最小視差＝−４８×（１９２０／７２０＝−１２８
を計算することにより、更新後の「最大視差／最小視差」として「＋１９２／−１２８」を求める。そして、最大／縮小視差更新部８３は、更新後の「最大視差／最小視差」＝「＋１９２／−１２８」を出力部８４に供給する。
【００９２】
なお、画像拡大縮小部８２の処理と、最大／縮小視差更新部８３の処理は、並行して実行することができる。
【００９３】
出力部８４は、画像拡大縮小部８２から供給された画像サイズが「１９２０×１０８０」である３Ｄビデオデータと、その「最大視差／最小視差」として「＋１９２／−１２８」が記述されている付加情報を出力する。
【００９４】
このデータ変換装置８０は、コンテンツ提供側の出力部の前段、伝送経路の途中、および、コンテンツ取得側の入力部の後段のいずれに配置されていてもよい。
【００９５】
[本発明を適用したコンピュータの説明]
上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【００９６】
そこで、図１１は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【００９７】
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部２０８やROM（Read Only Memory）２０２に予め記録しておくことができる。
【００９８】
あるいはまた、プログラムは、リムーバブルメディア２１１に格納（記録）しておくことができる。このようなリムーバブルメディア２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア２１１としては、例えば、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【００９９】
なお、プログラムは、上述したようなリムーバブルメディア２１１からドライブ２１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部２０８にインストールすることができる。すなわち、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。
【０１００】
コンピュータは、CPU(Central Processing Unit)２０１を内蔵しており、CPU２０１には、バス２０４を介して、入出力インタフェース２０５が接続されている。
【０１０１】
CPU２０１は、入出力インタフェース２０５を介して、ユーザによって、入力部２０６が操作等されることにより指令が入力されると、それに従って、ROM２０２に格納されているプログラムを実行する。あるいは、CPU２０１は、記憶部２０８に格納されたプログラムを、RAM(Random Access Memory)２０３にロードして実行する。
【０１０２】
これにより、CPU２０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０５を介して、出力部２０７から出力、あるいは、通信部２０９から送信、さらには、記憶部２０８に記録等させる。
【０１０３】
なお、入力部２０６は、キーボードや、マウス、マイク等で構成される。また、出力部２０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０１０４】
本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０１０５】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１０６】
上述した実施の形態は、３Ｄ画像として、視点の数が２個である２視点の３Ｄ画像について説明したが、視点の数が３以上の多視点の３Ｄ画像についても同様に適用できる。
【０１０７】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１０８】
２０  記録媒体，  ５０  再生装置，  ５１  読出部，  ５４  ３Ｄ画像処理部，  ７１  画サイズ検出部，  ７２  最大／最小視差算出部，  ７３  字幕調整部，  ８０  データ変換装置，  ８１  取得部，  ８２  画像拡大縮小部，  ８３  最大／最小視差更新部，  ８４  出力部
【図１】
2011223481.tif 000003
【図２】
2011223481.tif 000004
【図３】
2011223481.tif 000005
【図４】
2011223481.tif 000006
【図５】
2011223481.tif 000007
【図６】
2011223481.tif 000008
【図７】
2011223481.tif 000009
【図８】
2011223481.tif 000010
【図９】
2011223481.tif 000011
【図１０】
2011223481.tif 000012
【図１１】
2011223481.tif 000013