(57)【要約】【課題】３Ｄコンテンツを、３Ｄ画像および２Ｄ画像のいずれとして視聴した場合でも違和感なく視聴できるようにする。【解決手段】再生装置５０は、記録媒体２０に記録されている３Ｄコンテンツの左目用画像と右目用画像の画像データを再生する。また、記録媒体２０には、左目用画像と右目用画像の右画枠周辺の視差量に応じた黒枠幅と、左目用画像と右目用画像の左画枠周辺の視差量に応じた黒枠幅の情報も記録されている。後処理部５４は、取得された右画枠周辺の視差量に応じた黒枠幅の画像と、左画枠周辺の視差量に応じた黒枠幅の画像を、左目用画像および右目用画像に挿入した枠付左目用画像および枠付右目用画像を生成し、出力する。本発明は、例えば、取得された３Ｄ画像の画像データを処理する画像処理装置に適用できる。【選択図】図８
2011228862.tif 000002
【特許請求の範囲】
【請求項１】
３Ｄコンテンツの、黒枠が挿入されていない左目用画像と右目用画像の画像データと、前記左目用画像と右目用画像の右画枠周辺の視差量に応じた黒枠幅および前記左目用画像と右目用画像の左画枠周辺の視差量に応じた黒枠幅を取得する取得手段と、
取得された前記右画枠周辺の視差量に応じた黒枠幅の画像と、前記左画枠周辺の視差量に応じた黒枠幅の画像を、前記左目用画像および前記右目用画像に挿入した枠付左目用画像および枠付右目用画像を生成する生成手段と
を備える画像処理装置。
【請求項２】
前記左目用画像と右目用画像の右画枠周辺の視差量を検出し、検出された視差量に応じた黒枠幅を算出するとともに、前記左目用画像と右目用画像の左画枠周辺の視差量を検出し、検出された視差量に応じた黒枠幅を算出する黒枠幅算出手段をさらに備え、
前記取得手段は、前記黒枠幅算出手段により算出された前記黒枠幅を取得する
請求項１に記載の画像処理装置。
【請求項３】
外部から取得される前記３Ｄコンテンツのコンテンツデータに、前記左目用画像と右目用画像の画像データに加えて、前記黒枠幅の情報が含まれているか否かを判定する黒枠幅判定手段をさらに備え、
前記黒枠幅算出手段は、前記黒枠幅判定手段において前記黒枠幅が含まれていないと判定された場合に前記黒枠幅を算出し、
前記取得手段は、前記３Ｄコンテンツのコンテンツデータに前記黒枠幅が含まれている場合、前記３Ｄコンテンツのコンテンツデータの前記黒枠幅の情報を取得する
請求項２に記載の画像処理装置。
【請求項４】
前記黒枠幅は、視差量に対応する幅と、前記左目用画像および前記右目用画像の両方に挿入するオフセットからなる
請求項１に記載の画像処理装置。
【請求項５】
画像データを取得する取得手段と生成手段とを備える画像処理装置の、
前記取得手段が、３Ｄコンテンツの、黒枠が挿入されていない左目用画像と右目用画像の前記画像データと、前記左目用画像と右目用画像の右画枠周辺の視差量に応じた黒枠幅および前記左目用画像と右目用画像の左画枠周辺の視差量に応じた黒枠幅を取得し、
前記生成手段が、取得された前記右画枠周辺の視差量に応じた黒枠幅の画像と、前記左画枠周辺の視差量に応じた黒枠幅の画像を、前記左目用画像および前記右目用画像に挿入した枠付左目用画像および枠付右目用画像を生成する
ステップを含む画像処理方法。
【請求項６】
コンピュータに、
３Ｄコンテンツの、黒枠が挿入されていない左目用画像と右目用画像の画像データと、前記左目用画像と右目用画像の右画枠周辺の視差量に応じた黒枠幅および前記左目用画像と右目用画像の左画枠周辺の視差量に応じた黒枠幅を取得し、
取得された前記右画枠周辺の視差量に応じた黒枠幅の画像と、前記左画枠周辺の視差量に応じた黒枠幅の画像を、前記左目用画像および前記右目用画像に挿入した枠付左目用画像および枠付右目用画像を生成する
ステップを含む処理を実行させるためのプログラム。
【請求項７】
３Ｄコンテンツの、黒枠が挿入されていない左目用画像と右目用画像の画像データと、
前記左目用画像と右目用画像の右画枠周辺の視差量に応じた黒枠幅および前記左目用画像と右目用画像の左画枠周辺の視差量に応じた黒枠幅と
を含むデータ構造。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ構造、画像処理装置、画像処理方法、およびプログラムに関し、特に、３Ｄコンテンツを、３Ｄ画像および２Ｄ画像のいずれとして視聴した場合でも違和感なく視聴できるようにするデータ構造、画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
映像コンテンツとしては２Ｄ画像が主流であるが、最近では、３Ｄ画像が注目を集めており、３Ｄ画像の表示装置や、３Ｄ画像の符号化と復号の方法などについて様々な技術が提案されている（例えば、特許文献１，２参照）。
【０００３】
３Ｄ画像は、左目で視認する左目用画像と右目で視認する右目用画像により構成され、左目用画像と右目用画像に所定の視差が設定されていることにより、視聴者が画像を立体的に知覚することができるものである。
【０００４】
近年の３Ｄ映画では、画枠（画像の外縁部分）周辺の画像を見やすくするため、画枠周辺に黒枠を挿入する技術が採用されている。黒枠の大きさはシーン内の視差の量（視差量）に応じて動的に変化するため、黒枠はフローティングウィンドウとも呼ばれる。
【０００５】
図１は、黒枠挿入の例を示す図である。
【０００６】
図１Aは、飛び出し量が０の３Ｄ画像の例である。左目用画像と右目用画像におけるりんごの表示位置が同じであるため、飛び出し量は０となる。
【０００７】
図１Bは、りんごが飛び出して知覚される３Ｄ画像の例である。図１Aの３Ｄ画像と比較すると、左目用画像のりんごがXだけ右側（画像内側）に表示されている。即ち、左目用画像と右目用画像のりんごに視差量Xの視差が生じている。そのため、りんごが飛び出して知覚される。しかし、図１Bの３Ｄ画像には黒枠が挿入されていないため、画枠での飛び出しがあり、３Ｄ画像を視聴するユーザにとっては見にくさ（違和感）を感じる。
【０００８】
図１Cは、図１Bの３Ｄ画像に対して黒枠を挿入した例である。図１Cの左目用画像には、視差量Xと同じ幅の黒枠が挿入されている。これにより、視聴するユーザが見やすい画像となる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平１０−３２７４３０号公報
【特許文献２】特開２００８−１８２６６９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、今後普及する３Ｄコンテンツの全てが上述したような黒枠が挿入された画像となっているとは限らない。また逆に、３Ｄコンテンツに必ず黒枠が挿入されているとすると、例えば、シャッタ付き眼鏡が用意できない、または、故障しているときなどのように、３Ｄコンテンツを３Ｄ画像として視聴できない環境では問題となる。例えば、左目用画像または右目用画像の一方を用いて２Ｄ画像として視聴するような場合には、黒枠がシーンによって動くため、不自然な画像として見えてしまうからである。
【００１１】
本発明は、このような状況に鑑みてなされたものであり、３Ｄコンテンツを、３Ｄ画像および２Ｄ画像のいずれとして視聴した場合でも違和感なく視聴できるようにするものである。
【課題を解決するための手段】
【００１２】
本発明の第１の側面の画像処理装置は、３Ｄコンテンツの、黒枠が挿入されていない左目用画像と右目用画像の画像データと、前記左目用画像と右目用画像の右画枠周辺の視差量に応じた黒枠幅および前記左目用画像と右目用画像の左画枠周辺の視差量に応じた黒枠幅を取得する取得手段と、取得された前記右画枠周辺の視差量に応じた黒枠幅の画像と、前記左画枠周辺の視差量に応じた黒枠幅の画像を、前記左目用画像および前記右目用画像に挿入した枠付左目用画像および枠付右目用画像を生成する生成手段とを備える。
【００１３】
本発明の第１の側面の画像処理方法は、画像データを取得する取得手段と生成手段とを備える画像処理装置の、前記取得手段が、３Ｄコンテンツの、黒枠が挿入されていない左目用画像と右目用画像の前記画像データと、前記左目用画像と右目用画像の右画枠周辺の視差量に応じた黒枠幅および前記左目用画像と右目用画像の左画枠周辺の視差量に応じた黒枠幅を取得し、前記生成手段が、取得された前記右画枠周辺の視差量に応じた黒枠幅の画像と、前記左画枠周辺の視差量に応じた黒枠幅の画像を、前記左目用画像および前記右目用画像に挿入した枠付左目用画像および枠付右目用画像を生成するステップを含む。
【００１４】
本発明の第１の側面のプログラムは、コンピュータに、３Ｄコンテンツの、黒枠が挿入されていない左目用画像と右目用画像の画像データと、前記左目用画像と右目用画像の右画枠周辺の視差量に応じた黒枠幅および前記左目用画像と右目用画像の左画枠周辺の視差量に応じた黒枠幅を取得し、取得された前記右画枠周辺の視差量に応じた黒枠幅の画像と、前記左画枠周辺の視差量に応じた黒枠幅の画像を、前記左目用画像および前記右目用画像に挿入した枠付左目用画像および枠付右目用画像を生成するステップを含む処理を実行させるためのものである。
【００１５】
本発明の第１の側面においては、３Ｄコンテンツの、黒枠が挿入されていない左目用画像と右目用画像の画像データと、左目用画像と右目用画像の右画枠周辺の視差量に応じた黒枠幅および左目用画像と右目用画像の左画枠周辺の視差量に応じた黒枠幅が取得され、取得された右画枠周辺の視差量に応じた黒枠幅の画像と、左画枠周辺の視差量に応じた黒枠幅の画像が、左目用画像および右目用画像に挿入された枠付左目用画像および枠付右目用画像が生成される。
【００１６】
本発明の第２の側面のデータ構造は、３Ｄコンテンツの、黒枠が挿入されていない左目用画像と右目用画像の画像データと、前記左目用画像と右目用画像の右画枠周辺の視差量に応じた黒枠幅および前記左目用画像と右目用画像の左画枠周辺の視差量に応じた黒枠幅とを含む。
【００１７】
本発明の第２の側面においては、３Ｄコンテンツの、黒枠が挿入されていない左目用画像と右目用画像の画像データと、左目用画像と右目用画像の右画枠周辺の視差量に応じた黒枠幅および左目用画像と右目用画像の左画枠周辺の視差量に応じた黒枠幅とが含まれる。
【００１８】
なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【００１９】
画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００２０】
本発明の第１乃至第２の側面によれば、３Ｄコンテンツを、３Ｄ画像および２Ｄ画像のいずれとして視聴した場合でも違和感なく視聴することができる。
【図面の簡単な説明】
【００２１】
【図１】黒枠挿入の例を示す図である。
【図２】本発明を適用した記録装置の一実施の形態の構成例を示すブロック図である。
【図３】図２の記録装置による記録処理を説明するフローチャートである
【図４】記録媒体に記録されるデータの階層構造を示す図である。
【図５】MPEG4のボックスの拡張領域の例を示す図である。
【図６】MPEG4のボックスの拡張領域の他の例を示す図である。
【図７】MPEG4のボックスの拡張領域のさらに他の例を示す図である。
【図８】本発明を適用した再生装置の一実施の形態の構成例を示すブロック図である。
【図９】後処理部の詳細構成例を示すブロック図である。
【図１０】後処理部のその他の詳細構成例を示すブロック図である。
【図１１】黒枠幅の算出処理について説明する図である。
【図１２】黒枠幅算出部の詳細構成例を示すブロック図である。
【図１３】図８の再生装置による再生処理を説明するフローチャートである。
【図１４】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００２２】
＜記録装置の実施の形態＞
［記録装置の構成例］
図２は、本発明を適用した記録装置の一実施の形態の構成例を示すブロック図である。
【００２３】
図２の記録装置１は、黒枠幅算出部１０、ビデオエンコーダ１１、オーディオエンコーダ１２、多重化部１３、および記録制御部１４により構成される。
【００２４】
記録装置１は、３Ｄコンテンツのコンテンツデータを符号化して、BDROM（Blu-Ray（登録商標） Disc Read Only Memory）等の記録媒体２０に記録させる。コンテンツデータは、３Ｄ画像の画像データ（以下、３Ｄビデオデータともいう。）、その画像データに対応する音声データを含み、３Ｄビデオデータは左目用画像の画像データと右目用画像の画像データとからなる。また、コンテンツデータには、画枠周辺の画像を見やすくするため、画枠周辺に挿入すべき黒枠の幅（以下、黒枠幅と称する。）が付加情報として含まれる。従って、記録媒体２０に記録される３Ｄビデオデータの左目用画像と右目用画像は、画枠周辺の画像を見やすくするための黒枠は挿入されていない画像である。
【００２５】
記録装置１の黒枠幅算出部１０は、外部から入力される３Ｄビデオデータから、３Ｄ画像の画枠周辺の画像を見やすくするために挿入する黒枠幅を算出する。より具体的には、黒枠幅算出部１０は、３Ｄビデオデータの左目用画像と右目用画像の視差量を検出し、検出された視差量に応じた黒枠幅を算出して、ビデオエンコーダ１１に供給する。なお、黒枠幅は、後述するように、フレームまたはフィールド単位で算出および設定してもよいし、シーンごとなどの複数枚のフレームまたはフィールド単位で算出および設定してもよい。
【００２６】
黒枠幅算出部１０の詳細については、再生装置５０の詳細構成の説明で後述するが、黒枠幅算出部１０は、左目用画像と右目用画像のそれぞれについて、右側の画枠（以下、右画枠と称する。）と左側の画枠（以下、左画枠と称する。）の黒枠幅を別々に算出する。従って、黒枠幅算出部１０は、４つの黒枠幅を算出して、ビデオエンコーダ１１に供給する。
【００２７】
ビデオエンコーダ１１は、外部から入力される３Ｄビデオデータとメタデータを、MPEG2（Moving Picture Experts Group phase 2），MPEG4，AVC（Advanced Video Coding）等の符号化方式で符号化する。メタデータには、３Ｄ画像の付加情報としての黒枠幅が含まれる。ビデオエンコーダ１１は、符号化の結果得られるES（Elementary Stream）であるビデオストリームを多重化部１３に供給する。
【００２８】
オーディオエンコーダ１２は、外部から入力される３Ｄビデオデータに対応するオーディオデータをMPEG等の符号化方式で符号化し、その結果得られるESであるオーディオストリームを多重化部１３に供給する。
【００２９】
多重化部１３は、ビデオエンコーダ１１から供給されるビデオストリームと、オーディオエンコーダ１２から供給されるオーディオストリームを多重化し、その結果得られる多重化ストリームを記録制御部１４に供給する。
【００３０】
記録制御部１４は、多重化部１３から供給される多重化ストリームを記録媒体２０に記録させる。
【００３１】
記録装置１は、以上のような構成を有している。
【００３２】
［記録装置の処理の説明］
次に、図３のフローチャートを参照して、図２の記録装置１による記録処理について説明する。この記録処理は、例えば、３Ｄビデオデータおよびオーディオデータが入力されたとき、開始される。
【００３３】
ステップＳ１０において、黒枠幅算出部１０は、外部から入力された３Ｄビデオデータから、左目用画像と右目用画像それぞれの黒枠幅を算出する。
【００３４】
ステップＳ１１において、ビデオエンコーダ１１は、外部から入力された３Ｄビデオデータとメタデータを、MPEG2，MPEG4，AVC等の符号化方式で符号化する。メタデータには、ステップＳ１０で算出された左目用画像と右目用画像それぞれの黒枠幅が含まれる。ビデオエンコーダ１１は、符号化の結果得られるビデオストリームを多重化部１３に供給する。
【００３５】
ステップＳ１２において、オーディオエンコーダ１２は、外部から入力された３Ｄビデオデータに対応するオーディオデータをMPEG等の符号化方式で符号化し、その結果得られるオーディオストリームを多重化部１３に供給する。
【００３６】
ステップＳ１３において、多重化部１３は、ビデオエンコーダ１１からのビデオストリームとオーディオエンコーダ１２からのオーディオストリームを多重化し、その結果得られる多重化ストリームを記録制御部１４に供給する。
【００３７】
ステップＳ１４において、記録制御部１４は、多重化部１３から供給される多重化ストリームを記録媒体２０に記録媒体に記録させ、処理を終了する。
【００３８】
以上のように、記録装置１では、黒枠が挿入されていない左目用画像と右目用画像の３Ｄビデオデータが記録媒体２０に記録されるとともに、左目用画像と右目用画像それぞれに黒枠を挿入する場合の黒枠幅が付加情報（メタデータ）として記録媒体２０に記録される。従って、記録媒体２０記録された３Ｄコンテンツを再生し、３Ｄ画像として視聴するときには、付加情報として提供される黒枠幅に基づいて左目用画像と右目用画像それぞれに黒枠を挿入して表示させることができ、画枠周辺の画像を見やすくすることができる。一方、記録媒体２０に記録された３Ｄコンテンツを再生し、３Ｄ画像を２Ｄ画像として視聴するときには、黒枠が挿入されていないため３Ｄ画像を再生することができるため、画枠周辺の画像が飛び出すことによる不自然さを視聴者に感じさせることがない。従って、記録装置１によれば、３Ｄ画像および２Ｄ画像のいずれとして視聴しても違和感なく視聴できるに違和感なく視聴できる３Ｄコンテンツを提供することができる。
【００３９】
[付加情報の格納場所の説明]
図４は、記録媒体２０に記録されるデータの階層構造を示す図である。
【００４０】
図４に示すように、記録媒体２０に記録されるデータの階層は、オーディオストリームやビデオストリーム等のESのレイヤＣ、多重化ストリームのシステムレイヤであるレイヤＢ、記録媒体２０に唯一の情報のレイヤＡ等により構成される。付加情報としての「黒枠幅」は、レイヤＡ、レイヤＢ、レイヤＣのなかの１つ以上に記録されるようにすることができる。
【００４１】
例えば、レイヤＣにおいて付加情報が記録される場合、符号化方式がAVCであれば、付加情報は、SEI（Supplemental Enhancement Information）として、または、SPS（Sequence Parameter Set）やPPS（Picture Parameter Set）の一部として記録される。また、符号化方式がMPEG2であれば、ビデオシーケンス（Video Sequence）やエクステンションアンドユーザデータ（extension_and_user_data）として記録される。
【００４２】
この場合、付加情報は、１つのビデオストリーム内で可変にすることができるので、「黒枠幅」を左目用画像と右目用画像ごとまたはシーンごとに設定することができる。
【００４３】
一方、レイヤＢにおいて付加情報が記録される場合、付加情報は、TS（Transport Stream）のプライベートパケット、PS（Program Stream）のプライベートパック、MPEG4のコンフィグレーション（Config）情報に含まれるボックス（Box）の拡張領域等に記録される。
【００４４】
付加情報が記録されるMPEG4のボックスの拡張領域は、例えば、図５に示すように、ファイルの先頭に位置するftypボックスの直後のPrivate Extension ボックス(図５中uuid）に設けられるようにしてもよい。この場合、記録媒体２０に記録された３Ｄビデオデータを再生する再生装置は、復号処理の前に付加情報としての「黒枠幅」を取得することができるが、付加情報はファイル内で不変となる。
【００４５】
なお、Private Extension ボックスには、「黒枠幅」のほか、コーデックの種類、ビットレート、フレームサイズ、アスペクト比、画像が２Ｄ画像であるか３Ｄ画像であるかを示す情報等が記述される。
【００４６】
また、付加情報が記録されるMPEG4のボックスの拡張領域は、図６に示すように、moovボックス内のトラック情報（trak）の領域（図６中stsd）に設けることができる。この場合、ビデオストリームに参照先の付加情報の領域を表す情報が含まれており、再生装置は、その情報に基づいて、「黒枠幅」を取得する。従って、この場合も、ビデオストリーム内で「黒枠幅」を可変にすることができるので、「黒枠幅」を左目用画像と右目用画像ごとまたはシーンごとに設定することができる。
【００４７】
さらに、付加情報が記録されるMPEG4のボックスの拡張領域は、図７に示すように、mdatボックス内に設けられるようにしてもよい。即ち、付加情報が１つのメディアストリーム（side info.stream）として記録されるようにしてもよい。この場合、ビデオストリームと付加情報は時間情報で同期するため、「黒枠幅」を左目用画像と右目用画像ごとまたはシーンごとに変化させることができる。
【００４８】
なお、図５乃至図７の例では、ftypボックスの後に、moov ボックス、mdat ボックスが順に配置されているが、moov ボックスとmdat ボックスの配置はこれに限定されない。
【００４９】
＜再生装置の実施の形態＞
[再生装置の構成例]
図８は、本発明を適用した再生装置の一実施の形態の構成例を示すブロック図である。
【００５０】
図８の再生装置５０は、読出部５１、分離部５２、ビデオデコーダ５３、後処理部５４、およびオーディオデコーダ５５により構成される。再生装置５０は、記録媒体２０に記録されている３Ｄビデオデータとそれに対応する音声データを再生し、３Ｄ画像を表示させる。
【００５１】
具体的には、再生装置５０の読出部５１は、記録媒体２０に記録されている多重化ストリームを読み出し、分離部５２に供給する。
【００５２】
分離部５２は、読出部５１から供給される多重化ストリームをビデオストリームとオーディオストリームに分離する。そして、分離部５２は、ビデオストリームをビデオデコーダ５３に供給し、オーディオストリームをオーディオデコーダ５５に供給する。
【００５３】
ビデオデコーダ５３は、分離部５２から供給されるビデオストリームを、図２のビデオエンコーダ１１における符号化方式に対応する方式で復号し、その結果得られる３Ｄビデオデータとメタデータ（付加情報）を後処理部５４に供給する。
【００５４】
後処理部５４は、ビデオデコーダ５３から付加情報として供給される黒枠幅に基づいて、３Ｄビデオデータの左目用画像と右目用画像に黒枠を挿入する処理（後処理）を行う。後処理部５４は、黒枠挿入後の左目用画像と右目用画像の画像データを表示部６１に出力する。
【００５５】
オーディオデコーダ５５は、分離部５２から供給されるオーディオストリームを、図２のオーディオエンコーダ１２における符号化方式に対応する方式で復号し、その結果得られるオーディオデータをスピーカ６２に供給する。
【００５６】
表示部６１は、後処理部５４から供給される画像データに基づく左目用画像と右目用画像を、例えば時分割で表示する。このとき、視聴者は、例えば、左目用画像と右目用画像の切り替えに同期したシャッタ付き眼鏡を装着し、左目用画像を左目だけで見て、右目用画像を右目だけで見る。これにより、視聴者は、３Ｄ画像を立体的に知覚することができる。
【００５７】
スピーカ６２は、オーディオデコーダ５５から供給されるオーディオデータに対応する音声を出力する。
【００５８】
［後処理部５４の構成例］
図９は、図８の後処理部５４の詳細構成例を示すブロック図である。
【００５９】
後処理部５４は、黒枠挿入部７１を含んで構成される。
【００６０】
黒枠挿入部７１には、ビデオデコーダ５３から、左目用画像の右画枠と左画枠の黒枠幅、および、右目用画像の右画枠と左画枠の黒枠幅の、４種類の黒枠幅が供給される。黒枠挿入部７１は、供給された黒枠幅に基づいて、左目用画像と右目用画像に黒枠（の画像）を挿入した枠付左目用画像と枠付右目用画像を生成する。そして、黒枠挿入部７１は、生成後の枠付左目用画像と枠付右目用画像の画像データを表示部６１（図８）に出力する。
【００６１】
［後処理部５４のその他の構成例］
図１０は、図８の後処理部５４のその他の詳細構成例を示すブロック図である。
【００６２】
図１０の後処理部５４は、再生される記録媒体２０にメタデータとして黒枠幅が記録されていない場合にも対応可能となっている。即ち、再生される記録媒体２０にメタデータとして黒枠幅が記録されている場合には、記録媒体２０から読み出した黒枠幅を用いて、枠付左目用画像と枠付右目用画像を生成する。一方、再生される記録媒体２０にメタデータとして黒枠幅が記録されていない場合には、図１０の後処理部５４は、３Ｄビデオデータの左目用画像と右目用画像から最適な黒枠幅を算出し、算出結果の黒枠幅を用いて、枠付左目用画像と枠付右目用画像を生成する。
【００６３】
図１０の後処理部５４は、図９と同様の黒枠挿入部７１と、黒枠幅判定部７２および黒枠幅算出部７３とから構成される。
【００６４】
黒枠幅判定部７２は、記録媒体２０にメタデータとして黒枠幅が記録されているか否か、即ち、ビデオデコーダ５３から黒枠幅が供給されるか否かを判定する。ビデオデコーダ５３から黒枠幅が供給された場合、黒枠幅判定部７２は、供給された黒枠幅を黒枠挿入部７１に供給する。一方、ビデオデコーダ５３から黒枠幅が供給されない場合、黒枠幅判定部７２は、黒枠幅算出部７３に、黒枠幅を算出させる指令を供給する。
【００６５】
黒枠幅算出部７３は、黒枠幅判定部７２から黒枠幅を算出させる指令が供給された場合、ビデオデコーダ５３から供給される３Ｄビデオデータの左目用画像と右目用画像から最適な黒枠幅を算出し、黒枠挿入部７１に供給する。
【００６６】
［黒枠幅算出部７３の処理］
次に、図１１を参照して、左目用画像の左画枠の黒枠幅の算出を例に、黒枠幅算出部７３が行う黒枠幅の算出処理について説明する。なお、記録装置１の黒枠幅算出部１０（図２）が行う処理もこれと同様である。
【００６７】
最初に、入力される左目用画像と右目用画像を比較することにより、右目用画像の左画枠周辺の視差量が算出される。視差量の検出には従来から知られる各種の手法を採用することができるが、本実施の形態では、ブロックマッチングによる検出を用いて説明する。
【００６８】
黒枠幅算出部７３には、ブロックマッチングを行うブロックのサイズを決定する横幅Xaが、パラメータとして与えられる。なお、ブロックの縦幅Yaは画像サイズと同一とする。
【００６９】
図１１Aに示すように、右目用画像において左端から横幅Xaおよび縦幅Yaで特定されるブロックが参照ブロックとされる。そして、黒枠幅算出部７３は、左目用画像において参照ブロックと同サイズの比較ブロックを、移動量DがサーチレンジSRとなる位置まで右方向に所定量（例えば１画素）ずつ移動させ、参照ブロックと比較ブロックの相関値を求める。相関値の最も高い移動量Dが右目用画像の左画枠の視差量となる。黒枠幅算出部７３は、右目用画像の左画枠の視差量と同じ幅を、左目用画像の左画枠の黒枠幅とする。
【００７０】
図１１Bは、右目用画像の左画枠の視差量D１と同一の黒枠幅が挿入されて生成された枠付左目用画像を示している。
【００７１】
なお、左目用画像と右目用画像の両方に黒枠が入っていると、左右の画像で対応関係がとれるため見やすくなることが知られている。そこで、挿入先の画像と反対側の画像（図１１の例では右目用画像）にも黒枠を挿入し、右目と左目の両方の画像に黒枠が必ず挿入されるようにするためのパラメータとして、オフセットOffsetを設ける場合がある。
【００７２】
図１１Cは、所定量のオフセットOffsetが設定され、左目用画像と右目用画像の両方に黒枠が挿入されている例を示している。
【００７３】
以上の要領で、左目用画像と右目用画像のそれぞれについて、右画枠および左画枠の黒枠幅を算出することができる。
【００７４】
［黒枠幅算出部７３の詳細構成例］
図１２は、黒枠幅算出部７３の詳細構成例を示すブロック図である。
【００７５】
黒枠幅算出部７３は、パラメータ保持部８１、出力選択部８２、左画枠視差量検出部８３、右画枠視差量検出部８４、および黒枠幅決定部８５により構成される。
【００７６】
パラメータ保持部８１は、図１１を参照して説明したブロックサイズを決定する横幅Xa、サーチレンジSR、およびオフセットOffsetのそれぞれをパラメータとして保持する。そして、パラメータ保持部８１は、必要に応じて、ブロックサイズの横幅XaとサーチレンジSRを左画枠視差量検出部８３と右画枠視差量検出部８４に供給し、オフセットOffsetを黒枠幅決定部８５に供給する。なお、これらのパラメータは、固定値として予め記憶されるようにしてもよいし、所定のタイミングで、または必要に応じて図示せぬ操作入力部等から入力させるようにしてもよい。
【００７７】
出力選択部８２は、黒枠幅判定部７２から供給される、黒枠幅を算出させる指令に基づいて、入力される左目用画像と右目用画像の出力のオンオフを選択する。即ち、黒枠幅判定部７２から黒枠幅を算出させる指令が供給された場合、出力選択部８２は、出力オンを選択し、ビデオデコーダ５３から入力される左目用画像と右目用画像を、左画枠視差量検出部８３と右画枠視差量検出部８４に出力する。一方、黒枠幅判定部７２から黒枠幅を算出させる指令が供給されていない場合、出力選択部８２は、出力オフを選択し、ビデオデコーダ５３から入力される左目用画像と右目用画像を出力しない。従って、黒枠幅判定部７２から黒枠幅を算出させる指令が供給されないときは、黒枠幅算出部７３では、黒枠幅は算出されない。
【００７８】
左画枠視差量検出部８３は、パラメータ保持部８１から供給されるブロックサイズの横幅XaとサーチレンジSRに基づき、入力される左目用画像と右目用画像の左画枠周辺の視差量を検出し、検出結果を黒枠幅決定部８５に供給する。即ち、右目用画像の左端に参照ブロックを固定して左目用画像の比較ブロックを移動して検出される視差量と、左目用画像の左端に参照ブロックを固定して右目用画像の比較ブロックを移動して検出される視差量が、黒枠幅決定部８５に供給される。
【００７９】
右画枠視差量検出部８４は、パラメータ保持部８１から供給されるブロックサイズの横幅XaとサーチレンジSRに基づき、入力される左目用画像と右目用画像の右画枠周辺の視差量を検出し、検出結果を黒枠幅決定部８５に供給する。即ち、右目用画像の右端に参照ブロックを固定して左目用画像の比較ブロックを移動して検出される視差量と、左目用画像の右端に参照ブロックを固定して右目用画像の比較ブロックを移動して検出される視差量が、黒枠幅決定部８５に供給される。
【００８０】
黒枠幅決定部８５は、左画枠視差量検出部８３と右画枠視差量検出部８４から供給される４つの視差量に、パラメータ保持部８１から供給されるオフセットOffsetを加算して、４種類の黒枠幅を決定する。即ち、左目用画像の左画枠および右画枠の黒枠幅と、右目用画像の左画枠および右画枠の黒枠幅が決定され、黒枠挿入部７１（図１０）に供給される。
【００８１】
なお、上述した説明では、左目用画像と右目用画像に対して４種類の黒枠幅を決定したが、左画枠と右画枠のそれぞれについて左目用画像と右目用画像の黒枠幅を共通に決定してもよい。
【００８２】
また、左画枠と右画枠の黒枠幅についても、それらの最大値や平均値を用いて共通に決定してもよい。即ち、左画枠と右画枠の黒枠幅を、最大値や平均値等による同一の値としてもよい。このようにすることで、左画枠と右画枠の黒枠幅が大きく異なる場合に視聴者が見づらくなることを防止することができる。
【００８３】
さらに、例えば、シーン単位などの時間軸方向に異なる複数枚の左目用画像または右目用画像どうしで黒枠幅を平滑化して決定してもよい。また、左画枠と右画枠のそれぞれの最大値や平均値の代表値をさらに時間軸方向で平滑化して決定してもよい。
【００８４】
図２の黒枠幅算出部１０も、図１２と同様の構成を有している。ただし、記録装置１では、黒枠幅を必ず算出して記録する必要があるので、出力選択部８２は必ず出力オンの状態とされるか、または、出力選択部８２が省略される。
【００８５】
なお、図２の黒枠幅算出部１０と図１２の黒枠幅算出部７３のいずれにおいても、オフセットOffsetについては省略してもよい。
【００８６】
[再生装置の処理の説明]
次に、図１３のフローチャートを参照して、図１０に示した構成の後処理部５４を有する再生装置５０が３Ｄコンテンツの画像を再生する再生処理について説明する。この再生処理は、例えば、記録媒体２０に記録されている３Ｄコンテンツの再生が操作入力部等で指示されたとき開始される。なお、図１３の処理が開始される状態では、パラメータ保持部８１で保持されている各種のパラメータは、必要とされる各部へ供給されているものとする。
【００８７】
ステップＳ３１において、読出部５１は、記録媒体２０に記録されている３Ｄコンテンツの多重化ストリームを読み出し、復号する。即ち、読出部５１が、記録媒体２０から３Ｄコンテンツの多重化ストリームを読み出し、分離部５２が、多重化ストリームをビデオストリームとオーディオストリームに分離する。そして、ビデオデコーダ５３が、分離部５２からのビデオストリームを記録装置１の符号化方式に対応する方式で復号する。ビデオデコーダ５３の復号の結果得られた３Ｄビデオデータは、後処理部５４に供給される。ビデオストリームに、付加情報としての黒枠幅がメタデータとして含まれていた場合には、黒枠幅の情報も後処理部５４に供給される。
【００８８】
ステップＳ３２において、黒枠幅判定部７２は、ビデオデコーダ５３から黒枠幅が供給されたかを判定し、ビデオデコーダ５３から黒枠幅が供給されたと判定された場合、処理はステップＳ３３に進み、供給された黒枠幅を黒枠挿入部７１に供給する。
【００８９】
一方、ステップＳ３２で、ビデオデコーダ５３から黒枠幅が供給されないと判定された場合、処理はステップＳ３４に進み、黒枠幅判定部７２は、黒枠幅算出部７３に、黒枠幅を算出させる指令を供給する。これにより、黒枠幅算出部７３の出力選択部８２は、出力オンを選択し、ビデオデコーダ５３から入力される左目用画像と右目用画像を、左画枠視差量検出部８３と右画枠視差量検出部８４に出力する。
【００９０】
そして、ステップＳ３５において、左画枠視差量検出部８３は、ブロックサイズの横幅XaとサーチレンジSRに基づき、入力される左目用画像と右目用画像の左画枠周辺の視差量を検出し、検出結果を黒枠幅決定部８５に供給する。
【００９１】
また、ステップＳ３６において、右画枠視差量検出部８４は、ブロックサイズの横幅XaとサーチレンジSRに基づき、入力される左目用画像と右目用画像の右画枠周辺の視差量を検出し、検出結果を黒枠幅決定部８５に供給する。
【００９２】
ステップＳ３５とＳ３６の実行される処理の順序は、逆であってもよいし、同時であってもよい。
【００９３】
ステップＳ３７において、黒枠幅決定部８５は、左画枠視差量検出部８３と右画枠視差量検出部８４から供給される４つの視差量にオフセットOffsetを加算して、４種類の黒枠幅を決定し、黒枠挿入部７１に供給する。
【００９４】
ステップＳ３３またはＳ３７の処理後、ステップＳ３８において、黒枠挿入部７１は、供給された黒枠幅に基づいて、左目用画像と右目用画像それぞれの左画枠と右画枠に黒枠を挿入した枠付左目用画像と枠付右目用画像を生成する。
【００９５】
そして、ステップＳ３９において、黒枠挿入部７１は、生成された枠付左目用画像と枠付右目用画像の画像データを表示部６１に出力して、処理を終了する。
【００９６】
以上の再生処理では、記録媒体２０に３Ｄコンテンツの画像データとは別に、付加情報として黒枠幅が記録されている場合には、その黒枠幅を読み出して、左目用画像と右目用画像それぞれの左画枠と右画枠に黒枠を挿入した枠付左目用画像と枠付右目用画像を生成することができる。これにより、記録媒体２０の３Ｄコンテンツを３Ｄ画像として視聴する場合には、黒枠が挿入された３Ｄ画像を表示部６１に表示させることができるので、画枠周辺で不快感のない３Ｄ画像を表示することができる。
【００９７】
また、再生処理では、記録媒体２０に３Ｄコンテンツの画像データとは別に黒枠幅の情報が記録されていない場合には、読み出した左目用画像と右目用画像の視差量を検出し、視差量に応じた適切な黒枠幅を決定して、黒枠を挿入した枠付左目用画像と枠付右目用画像を生成することができる。従って、記録媒体２０に記録された３Ｄコンテンツのコンテンツデータに黒枠幅の情報がない場合であっても、黒枠が挿入された３Ｄ画像を表示部６１に表示させることができ、画枠周辺で不快感のない３Ｄ画像を表示することができる。
【００９８】
なお、再生装置５０には、黒枠挿入のオンオフを設定する操作入力部や設定画面を設けることができる。この場合において、黒枠挿入のオフが設定されたときには、３Ｄ画像の一方の画像を利用して２Ｄ画像として視聴しても画枠が表示されないので、不必要な黒枠が表示されることによる不快感を与えることがない。
【００９９】
従って、再生装置５０によれば、３Ｄコンテンツを、３Ｄ画像および２Ｄ画像のいずれとして視聴した場合でも違和感なく視聴することができる。
【０１００】
なお、上述した例では、ブロックマッチングのブロックの縦幅Yaを画像サイズと同一とし、黒枠幅は画像の各行で同一に設定された。しかし、ブロックマッチングのブロックの縦幅Yaを画像サイズより小さくして、縦方向（垂直方向）に対して複数のブロックを適用し、視差量をそれぞれ検出することで、縦方向に対して複数の黒枠幅が設定されるようにしてもよい。最小単位としては１行ごとに視差量に応じて黒枠幅を設定することも可能である。
【０１０１】
また、上述した例では、本発明を再生装置に適用し、記録媒体２０に３Ｄコンテンツの画像データとは別に記録された黒枠幅の情報を読み、黒枠を挿入する再生装置の実施の形態として説明した。
【０１０２】
しかしながら、本発明は再生装置以外の装置にも適用することができる。例えば、３Ｄコンテンツの画像データと黒枠幅の情報は、例えば、衛星放送、ケーブルTV、インターネットなどのネットワークを介した伝送により提供されてもよい。従って、本発明はネットワークを介した伝送により送信されてくる３Ｄコンテンツの画像データと黒枠幅の情報を受信して、黒枠幅の情報を読み、３Ｄ画像に黒枠を挿入して表示させる表示装置や記録再生装置にも適用できる。
【０１０３】
即ち、本発明は、３Ｄコンテンツの画像データと黒枠幅の情報を別々に取得し、また、黒枠幅の情報の有無に応じて黒枠幅を決定し、黒枠を挿入した枠付左目用画像と枠付右目用画像を生成して、出力する独立した画像処理装置とすることができる。
【０１０４】
[本発明を適用したコンピュータの説明]
上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１０５】
そこで、図１４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１０６】
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部２０８やROM（Read Only Memory）２０２に予め記録しておくことができる。
【０１０７】
あるいはまた、プログラムは、リムーバブルメディア２１１に格納（記録）しておくことができる。このようなリムーバブルメディア２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア２１１としては、例えば、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０１０８】
なお、プログラムは、上述したようなリムーバブルメディア２１１からドライブ２１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部２０８にインストールすることができる。すなわち、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。
【０１０９】
コンピュータは、CPU(Central Processing Unit)２０１を内蔵しており、CPU２０１には、バス２０４を介して、入出力インタフェース２０５が接続されている。
【０１１０】
CPU２０１は、入出力インタフェース２０５を介して、ユーザによって、入力部２０６が操作等されることにより指令が入力されると、それに従って、ROM２０２に格納されているプログラムを実行する。あるいは、CPU２０１は、記憶部２０８に格納されたプログラムを、RAM(Random Access Memory)２０３にロードして実行する。
【０１１１】
これにより、CPU２０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０５を介して、出力部２０７から出力、あるいは、通信部２０９から送信、さらには、記憶部２０８に記録等させる。
【０１１２】
なお、入力部２０６は、キーボードや、マウス、マイク等で構成される。また、出力部２０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０１１３】
本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０１１４】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１１５】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１１６】
２０  記録媒体，  ５０  再生装置，  ５１読出部，  ５４  後処理部，  ７１  黒枠挿入部，  ７２  黒枠幅判定部，  ７３  黒枠算出部，  ８１  パラメータ保持部，  ８２  出力選択部，  ８３  左画枠視差量検出部，  ８４  右画枠視差量検出部，  ８５  黒枠幅決定部
【図１】
2011228862.tif 000003
【図２】
2011228862.tif 000004
【図３】
2011228862.tif 000005
【図４】
2011228862.tif 000006
【図５】
2011228862.tif 000007
【図６】
2011228862.tif 000008
【図７】
2011228862.tif 000009
【図８】
2011228862.tif 000010
【図９】
2011228862.tif 000011
【図１０】
2011228862.tif 000012
【図１１】
2011228862.tif 000013
【図１２】
2011228862.tif 000014
【図１３】
2011228862.tif 000015
【図１４】
2011228862.tif 000016