(57)【要約】【課題】違和感が少なく破綻の目立たない２Ｄ３Ｄ変換が可能となる奥行き推定データを生成する。【解決手段】奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から奥行き推定データを生成する奥行き推定データ生成装置において、仮奥行き推定データ生成部は、入力した非立体画像に基づき、仮奥行き推定データを生成する。判定部は非立体画像がカメラ撮影された画像か否か判定する。第２加算部は判定部の判定結果に基づいて仮奥行き推定データのゲインを調整し、奥行き推定データを生成する。【選択図】図１
2014127799.tif 000002
【特許請求の範囲】
【請求項１】
奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から奥行き推定データを生成する奥行き推定データ生成装置であって、
前記非立体画像信号に基づき、仮奥行き推定データを生成する仮奥行き推定データ生成部と、
前記非立体画像がカメラで撮影した画像か否かを判定する判定部と、
前記判定部の判定結果に応じて前記仮奥行き推定データのゲインを調整して奥行き推定データを生成する第２加算部と
を備えたことを特徴とする奥行き推定データ生成装置。
【請求項２】
前記非立体画像からホワイトノイズ候補を検出するホワイトノイズ候補検出部
を更に備え、
前記判定部は、前記ホワイトノイズ候補の画面内の偏り度合いによって前記非立体画像がカメラで撮影した画像か否かを判定することを特徴とする
請求項１記載の奥行き推定データ生成装置。
【請求項３】
前記判定部が前記非立体画像をカメラで撮影した画像でないと判定した場合、
前記第２の加算部は、前記奥行きデータのゲインを小さくすることを特徴とする
請求項１または２に記載の奥行き推定データ生成装置。
【請求項４】
前記判定部は、前記ホワイトノイズ候補が前記非立体画像全体に存在した状態で、特定の領域で極端にホワイトノイズ候補が少ない場合、この領域をテロップ領域と判定し、
前記第２の加算部は、前記判定部がテロップ領域と判定した領域の奥行き推定データのゲインを小さくすることを特徴とする
請求項１または２に記載の奥行き推定データ生成装置。
【請求項５】
前記仮奥行きデータ生成部は、
基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを記憶する記憶部と、
前記非立体画像のシーン構造を推定するために、前記非立体画像の画面内の所定領域における画素値に統計量を利用して、前記複数の基本奥行きモデル間の合成比率を算定する算定部と、
前記記憶部から読み出した前記複数の奥行きモデルを、前記算定部にて算定した合成比率に基づいて合成し、合成奥行きデータを生成する合成部と、
前記非立体画像信号の所定の信号成分を前記合成奥行きデータに加算して前記仮奥行きデータを生成する第１加算部と
を有することを特徴とする請求項１から４のいずれかに記載の奥行きデータ生成装置。
【請求項６】
奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられておらず、非立体画像から擬似立体動画像を生成する擬似立体画像生成装置であって、
請求項１から５のいずれか１項に記載の奥行き推定データ生成装置から供給する前記奥行推定データに応じて前記非立体画像のテクスチャのシフトを対応部分の奥行きに応じた量だけ行うことによって左目用画像および／または右目用画像となる別視点画像を生成する別視点画像生成部を備え、
前記別視点画像生成部により生成した別視点画像と、前記非立体画像との一方を左目用画像とし、他方を右目用画像として出力することを特徴とする擬似立体画像生成装置。
【請求項７】
奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から奥行き推定データを生成する奥行き推定データ生成方法であって、
前記非立体画像信号に基づき、仮奥行き推定データを生成する仮奥行き推定データ生成ステップと、
前記非立体画像がカメラで撮影した画像か否かを判定する判定ステップと、
前記判定ステップの判定結果に応じて前記仮奥行き推定データのゲインを調整して奥行き推定データを生成する第２加算ステップと
を有することを特徴とする奥行き推定データ生成方法。
【請求項８】
奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から奥行き推定データを生成する機能をコンピュータに実現させる奥行き推定データ生成プログラムであって、
前記非立体画像信号に基づき、仮奥行き推定データを生成する仮奥行き推定データ生成処理と、
前記非立体画像がカメラで撮影した画像か否かを判定する判定処理と、
前記判定ステップの判定結果に応じて前記仮奥行き推定データのゲインを調整して奥行き推定データを生成する第２加算処理と
を有することを特徴とする奥行き推定データ生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から奥行き推定データを生成する、奥行き推定データ生成装置、擬似立体画像生成装置、奥行き推定データ生成方法及び奥行き推定データ生成プログラムに関する。
【背景技術】
【０００２】
立体表示システムにおいては、非立体画像の擬似立体視による鑑賞を可能にするために、通常の静止画もしくは動画、即ち立体を表すための奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から、擬似的な立体画像を生成する処理が行われる。このような技術の一例として、例えば特許文献１に開示された擬似立体画像生成装置がある。特許文献１記載の技術は、できる限り現実に近いシーン構造の決定を行うために、基本となる複数種類のシーン構造のそれぞれについて奥行き値を示す複数種類の基本奥行きモデルを用いて、画面上部の高域成分評価部と画面下部の高域成分評価部からの入力非立体画像の高域成分評価値に応じて合成比率を決定し、その合成比率に応じて複数種類の基本奥行きモデルを合成する。そして加算器において、合成した基本奥行きモデルと非立体画像のＲ信号とを重畳し、最終的な奥行き推定データを生成し、この奥行き推定データを元にした処理を非立体画像の画像信号に施すことで、立体感を感じさせる別視点画像の画像信号を生成している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１８５０３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の手法では、複数種類の基本奥行モデルを物理法則的な一般論、経験知、視覚心理的知見を用いて推定し生成している。しかし、コンピュータ・グラフィックスや画像に挿入されたテロップなどは、上記で用いている推定に当てはまらない事があり  その推定結果から３Ｄ画像を生成すると違和感や破綻の多い画像となってしまう。このような画像の違和感や破綻を抑えるためには、全体の３Ｄ効果を弱める方向に設定しなくてはならない場合があり、更なる改善が望まれていた。  
【０００５】
本発明は上記課題を鑑みてなされてもので、違和感が少なく破綻の目立たない２Ｄ３Ｄ変換が可能となる奥行き推定データを生成する、奥行き推定データ生成装置、擬似立体画像生成装置、奥行き推定データ生成方法及び奥行き推定データ生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために本発明は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から奥行き推定データを生成する奥行き推定データ生成装置（１０）であって、前記非立体画像信号に基づき、仮奥行き推定データを生成する仮奥行き推定データ生成部（１１，１２，１３，１４，１５，１６，１７，１９）と、前記非立体画像がカメラで撮影した画像か否かを判定する判定部（２１）と、前記判定部の判定結果に応じて前記仮奥行き推定データのゲインを調整して奥行き推定データを生成する第２加算部（２２）とを備えたことを特徴とする奥行き推定データ生成装置を提供する。
【０００７】
また、上記の目的を達成するために本発明は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から奥行き推定データを生成する奥行き推定データ生成方法であって、前記非立体画像信号に基づき、仮奥行き推定データを生成する仮奥行き推定データ生成ステップと、前記非立体画像がカメラで撮影した画像か否かを判定する判定ステップと前記判定ステップの判定結果に応じて前記仮奥行き推定データのゲインを調整して奥行き推定データを生成する第２加算ステップとを有することを特徴とする奥行き推定データ生成方法を提供する。
【０００８】
また、上記の目的を達成するために本発明は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から奥行き推定データを生成する機能をコンピュータに実現させる奥行き推定データ生成プログラムであって、前記非立体画像信号に基づき、仮奥行き推定データを生成する仮奥行き推定データ生成処理と、前記非立体画像がカメラで撮影した画像か否かを判定する判定処理と、前記判定ステップの判定結果に応じて前記仮奥行き推定データのゲインを調整して奥行き推定データを生成する第２加算処理とを有することを特徴とする奥行き推定データ生成プログラムを提供する。
【発明の効果】
【０００９】
本発明によれば、違和感が少なく破綻の目立たない２Ｄ３Ｄ変換が可能となる奥行き推定データを生成する、奥行き推定データ生成装置、擬似立体画像生成装置、奥行き推定データ生成方法及び奥行き推定データ生成プログラムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】擬似立体画像生成装置の構成を説明するためのブロック図である。
【図２】基本奥行きモデルタイプ１の立体構造の一例を示す図である。
【図３】基本奥行きモデルタイプ２の立体構造の一例を示す図である。
【図４】基本奥行きモデルタイプ３の立体構造の一例を示す図である。
【図５】基本奥行きモデル合成比率決定条件を説明する図である。
【図６】ホワイトノイズ候補検出部の構成の一例を説明するための図である。
【図７】入力画像である。
【図８】図７の画像の１フレーム前の画像である。
【図９】差分信号を説明するための図である。
【図１０】差分信号から微小信号を抜き出した信号である。
【図１１】差分信号を高域フィルタを通した後に閾値より大きい信号を抜き出した図である。
【図１２】図１０と図１１の信号の論理積を取った図である。
【図１３】ホワイトノイズ候補の判定方法の一例を説明するための図である。
【発明を実施するための形態】
【００１１】
次に、本発明の実施の形態について図面と共に詳細に説明する。
図１に示すように、本実施の形態の擬似立体画像生成装置１は、奥行き推定データ生成部１０と、別視点画像生成部５０より構成される。
【００１２】
奥行き推定データ生成部１０は、画像入力部１１と、画面上部の高域成分評価部１２と、画面下部の高域成分評価部１３と、フレームメモリ１４、１５及び１６と、合成部１７と、第１加算部１９と、ホワイトノイズ候補検出部２０と、判定部２１と、第２加算部２２とを有し、奥行き推定データを生成する。また、画像入力部１１と、画面上部の高域成分評価部１２と、画面下部の高域成分評価部１３と、フレームメモリ１４、１５及び１６と、合成部１７と、第１加算部１９は本発明の仮奥行きデータ生成部として機能する。
【００１３】
画像入力部１１は、フレームメモリを備えており、入力した非立体画像信号である１フレーム分の画像信号を一時記憶した後、その１フレーム分の画像信号を画面上部の高域成分評価部１２、画面下部の高域成分評価部１３、ホワイトノイズ候補検出部２０にそれぞれ供給する。画像入力部１１に入力される非立体画像信号は一視点の画像信号であり、ここでは一例として右目画像として表示されるべき右目用画像信号であるものとする。画像入力部に入力する画像の信号方式は問わない。
【００１４】
画面上部の高域成分評価部１２は、１フレーム分の右目用画像信号における画面の上部約２０％にあたる領域内での高域成分を求めて、画面上部の高域成分評価値として算出する。そして、画面上部の高域成分評価部１２は、画面上部の高域成分評価値を合成部１７に供給する。画面下部の高域成分評価部１３は、１フレーム分の右目用画像信号における画面の下部約２０％領域内にあたる領域内での高域成分を求めて、画面下部の高域成分評価値として算出する。そして、画面下部の高域成分評価部１３は、画面下部の高域成分評価値を合成部１７に供給する。
【００１５】
一方、フレームメモリ１４は基本奥行きモデルタイプ１、フレームメモリ１５は基本奥行きモデルタイプ２、フレームメモリ１６は基本奥行きモデルタイプ３の画像を予め格納している。これらの基本奥行きモデルタイプ１〜３の画像は、それぞれ非立体画像信号を基に奥行き推定データを生成して擬似立体画像信号を生成するための基本となるシーンの画像を示す。フレームメモリ１４〜１６は、本発明の基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを記憶する記憶部として機能する。
【００１６】
上記の基本奥行きモデルタイプ１の画像は、球面状の凹面による奥行きモデルの画像で、図２に示すような立体構造の画像を示す。多くの場合に、この基本奥行きモデルタイプ１の画像が使用される。オブジェクトが存在しないシーンにおいては、画面中央を一番遠距離に設定することにより、違和感の少ない立体感及び快適な奥行き感が得られるからである。
【００１７】
また、上記の基本奥行きモデルタイプ２の画像は、基本奥行きモデルタイプ１の画像の上部を球面でなく、アーチ型の円筒面に置き換えたもので、図３に立体構造を示すような、上部を円筒面（軸は垂直方向）で下部を凹面（球面）としたモデルの画像である。
【００１８】
更に、上記の基本奥行きモデルタイプ３の画像は、図４に立体構造を示すような、上部を平面とし、下部をその平面から連続し、下に行くほど手前側に向かう円筒面状としたもので、上部が平面、下部が円筒面（軸は水平方向）としたモデルの画像である。基本奥行きモデルタイプ発生手段を構成するフレームメモリ１４〜１６に格納されている、これら基本奥行きモデルタイプ１〜３の画像は、合成部１７へ供給される。
【００１９】
合成部１７は、まず、画面上部の高域成分評価部１２から供給された画面上部の高域成分評価値と、画面下部の高域成分評価部１３から供給された画面下部の高域成分評価値とに基づいて、画像のシーンを考慮することなく、予め定められた方法により、基本奥行きモデルタイプ１の合成比率ｋ１、基本奥行きモデルタイプ２の合成比率ｋ２、基本奥行きモデルタイプ３の合成比率ｋ３を算定する。なお、３つの合成比率ｋ１〜ｋ３の合計値は常に「１」である。
【００２０】
図５は、合成比率の決定条件の一例を示す。図５は、横軸に示す画面上部の高域成分評価値（以下、上部の高域成分評価値と略す）と、縦軸に示す画面下部の高域成分評価値（以下、下部の高域成分評価値と略す）の各値と、予め指定された値ｔｐｓ、ｔｐｌ、ｂｍｓ、ｂｍｌとの兼ね合いにより合成比率が決定されることを示す。この合成比率の決定条件は一例であり、これに限定されるものではない。
【００２１】
図５において、複数のタイプが記載されている領域については、高域成分評価値に応じて線形に合成される。例えば、図５において、「ｔｙｐｅ１／２」の領域では、下記のように（上部の高域成分評価値）と（下部の高域成分評価値）との比率で基本奥行きモデルタイプ１の値であるＴｙｐｅ１と基本奥行きモデルタイプ２の値であるＴｙｐｅ２の比率が決定され、基本奥行きモデルタイプ３の値であるｔｙｐｅ３は比率の決定には用いられない。
【００２２】
Ｔｙｐｅ１：Ｔｙｐｅ２：Ｔｙｐｅ３
＝（上部の高域成分評価値−ｔｐｓ）：（ｔｐｌ−上部の高域成分評価値）：０
また、図５において、「Ｔｙｐｅ１／２／３」の領域では、Ｔｙｐｅ１／２とＴｙｐｅ１／３との平均を採用して、下記のようにＴｙｐｅ１／２／３の値が決定される。
【００２３】
Ｔｙｐｅ１：Ｔｙｐｅ２：Ｔｙｐｅ３
＝（上部の高域成分評価値−ｔｐｓ）＋（下部の高域成分評価値−ｂｍｓ）：（ｔｐｌ−上部の高域成分評価値）：（ｂｍｌ−下部の高域成分評価値）
なお、合成比率ｋ１、ｋ２、ｋ３は次式で算出される。
【００２４】
ｋ１＝Ｔｙｐｅ１／（Ｔｙｐｅ１＋Ｔｙｐｅ２＋Ｔｙｐｅ３）
ｋ２＝Ｔｙｐｅ２／（Ｔｙｐｅ１＋Ｔｙｐｅ２＋Ｔｙｐｅ３）
ｋ３＝Ｔｙｐｅ３／（Ｔｙｐｅ１＋Ｔｙｐｅ２＋Ｔｙｐｅ３）
合成部１７は、続いて、上記のように算出した合成比率ｋ１〜ｋ３が示す比率で、基本奥行きモデルタイプ１〜３の画像を合成して、背景を構成する曲面の奥行きデータ（以下、合成奥行きデータともいう）を生成する。合成部１７は、本発明の算定部および合成部として機能する。
第一加算部１９は、合成部１７から供給される合成奥行きデータと、画像入力部１１から供給される画像信号のＲ信号成分とを加算して仮奥行き推定データを生成する。
【００２５】
Ｒ信号成分を使用する理由の一つは、順光に近い環境で、かつ、テクスチャの明るさの度合い（明度）の変化が大きくない条件下で、Ｒ信号成分の大きさが原画像の凹凸と一致する確率が高いという経験則による。すなわち、このＲ信号成分は、入力非立体画像の原画像の凹凸に略対応した信号レベルを示す信号成分である。なお、テクスチャとは、画像を構成する要素であり、単一の画素もしくは画素群で構成される。
また、Ｒ信号成分を使用するもう一つの理由として、赤色及び暖色は色彩学における前進色であり、寒色系よりも奥行きが手前に認識されるという特徴があり、この奥行きを手前に配置することで立体感を強調することが可能であるということである。
【００２６】
本実施形態で説明した仮奥行き推定データ生成の流れは一例であり、これに限定されるものではない。例えば入力画像によってはＲ成分を加算することを省略しても効果的な仮奥行き推定データが得られる場合がある。また、画像全体が人物のアップの場合等は、合成奥行きモデル生成を省略して、入力画像のＲ成分のみから、有効な仮奥行き推定データを生成することも可能である。
【００２７】
ホワイトノイズ候補検出部２０は、画像に含まれるホワイトノイズ候補を検出する。図６にホワイトノイズ候補検出部２０の構成例を示す。ホワイトノイズ候補検出部２０は、フレームメモリ３１、減算器３２、ノイズレベル比較部３３、高域フィルタ３４、高域成分検出部３５、論理積部３６から構成される。
【００２８】
フレームメモリ３１は、ホワイトノイズ候補検出部２０に入力した画像信号を１フレーム分遅延させる。減算器３２は、現フレームの画像信号から１フレーム遅延した画像信号を減算し、差分の絶対値を差分信号として出力する。
ホワイトノイズ自体は微小な信号であるため、ノイズレベル比較部３３では、減算器３２から受け取った差分信号の値を所定の閾値と比較し、閾値より小さい値の信号のみを出力する。この時比較する値は、Ｒ，Ｇ，Ｂのいずれかの信号レベルでも良いし、Ｒ，Ｇ，Ｂの２つ以上の信号レベルの組み合わせから算出した値でも良い。また、閾値は設計値として任意に設定可能である。
【００２９】
ホワイトノイズが広い空間周波数帯域を持つのに対し、動画像自体の変化は、極小の画素のみ変化することは少なく、その周囲と共に変化することがほとんどである。このため高域フィルタ３４により動画像自体の変化による成分を減衰させて高域成分を抽出する。高域成分検出部３５では高域フィルタ３４で抽出した高域成分信号を検出し、信号の値が所定の閾値以上となる信号成分を検出する。この時比較する値は、Ｒ，Ｇ，Ｂのいずれかの信号レベルでも良いし、Ｒ，Ｇ，Ｂの２つ以上の信号レベルの組み合わせから算出した値でも良い。また、閾値は設計値として任意に設定可能である。論理積部３６は、ノイズレベル比較器３３から受け取った信号と高域成分検出部３５から受け取った信号の論理積を取り、ホワイトノイズ候補信号として出力する。
【００３０】
判定部２１は、ホワイトノイズ候補信号の画面内での偏り度合いを判定し、ホワイトノイズであるか否かを判定する。カメラで撮影された画像は、撮像素子の熱電子の影響やAD変換器の変換誤差などにより、画像全体にランダムで微小なノイズ(ホワイトノイズ)を含んでいる。一方、ＣＧなど最初からデジタル信号処理された画像は、意図して挿入されない限りこのようなノイズ成分を含んでいない。第２加算部２２は、判定部２１の判定結果に基づき、ホワイトノイズが無いと判定された画像領域について、第１加算部１９から受け取った仮奥行き推定データの奥行きデータのゲインを下げ、奥行き推定データとして、別視点画像生成部５０に出力する。
【００３１】
ホワイトノイズ検出処理の流れを、図７から図１３を使って説明する。図７から図１３は、２種類の入力画像に対する各処理工程に於ける処理状態を比較した図であり、各図で（ａ）は入力画像がＣＧ画像であった場合の処理状態を示し、（ｂ）は入力画像がＣＧ画像に対してカメラでの撮影時と同様のノイズ成分を付加した画像であった場合の処理状態を示す。
【００３２】
図７は入力画像を示し、図８は入力画像をフレームメモリ３１で１フレーム分遅延させた画像を示す。すなわち、図８の画像は、図７の画像の１フレーム前の画像である。図９は、図７の画像と図８の画像の差分の絶対値をとった差分信号による画像である。図１０は、減算器３２から出力された差分信号からノイズレベル比較部３３にて閾値より小さい値の信号を抜き出し、２値化した信号画像である。図１１は、減算器３２から出力された差分信号を広域フィルタ３４に通し、更に、閾値以上の値となる信号を抜き出して２値化した信号画像である。
【００３３】
図１２は、ノイズレベル比較部３３から出力された信号と、高域成分比較部３５から出力された信号に対し、論理積部３６で論理積を取った信号画像であり、この論理積信号がホワイトノイズ候補信号となる。図１２から判るように、（ａ）のＣＧ画像では、ホワイトノイズ候補は少なく、また特定の場所に偏っている。一方ＣＧ画像にカメラでの撮影時と同様のノイズ成分を付加した（ｂ）の画像では、ホワイトノイズ候補が多く、また画像全体に分散している。判定部２１では、ホワイトノイズ候補の量と、画面内での分散度合いから、ホワイトノイズの有無を判定する。
【００３４】
ホワイトノイズ判定動作の一例を説明する。判定部２１では、ホワイトノイズ候補検出部２０から受け取ったホワイトノイズ候補信号画像を図１３の（ａ）、（ｂ）のように、格子状のエリアに分割し、その分割されたエリア毎にホワイトノイズ候補の量をカウントし、その平均値と分散値を求める。図１３（ｃ）は図１３（ａ）のホワイトノイズ候補信号に対し、格子状のエリアに分割したエリア毎にホワイトノイズ候補の量をカウントし、その平均値と分散値を求めた例であり、平均値は３．２０、分散値は８．２５と算出されている。図１３（ｄ）は図１３（ｂ）のホワイトノイズ候補信号に対し、格子状のエリアに分割したエリア毎にホワイトノイズ候補の量をカウントし、その平均値と分散値を求めた例であり、平均値は９．０５、分散値は３．７２と算出されている。
【００３５】
判定部２１は、ホワイトノイズ候補の量の平均値が所定の閾値より少ないか、または分散値が所定の閾値より大きい場合、カメラによる実写画像ではないと判定する。この時、平均値の閾値および分散値の閾値は設計値として任意に設定可能である。また、ほぼエリア全体にホワイトノイズが存在しているが、特定のエリアにのみ極端にホワイトノイズ候補が少ない場合、カメラによる実写画像にテロップ領域が存在すると判定する。例えば、図１３（ｄ）において、ホワイトノイズ候補の平均値は９．０５と大きいので、この画像全体はカメラによる実写画像と判定する。しかし、分割された画像内の領域によっては、ホワイトノイズ候補の数が０や１のように極端に少ない領域が存在する。この時、ホワイトノイズ候補が極端に少ない領域をテロップ領域と判定する。
【００３６】
第２加算部２２は、判定部２１の判定結果に基づき、カメラによる実写画像ではないと判定された場合、第１の加算部１９から受け取った仮奥行き推定データに対し、画像全体の奥行きデータのゲインを下げ、奥行き推定データとして出力する。また、カメラによる実写画像にテロップ領域が存在すると判定された場合、第１の加算部１９から受け取った仮奥行き推定データに対し、テロップ領域と判定された領域のみ、奥行きデータのゲインを下げて、奥行き推定データとして出力する。
【００３７】
以上の処理により、ＣＧ画やメニュー表示等の様にデジタル的に作成された画像に対し、奥行きデータのゲインを下げ、より適切な２Ｄ３Ｄ変換を行える奥行き推定データを生成することができる。
【００３８】
奥行き推定データ生成部１０により生成した奥行き推定データを基に、別視点の画像を生成することが可能になる。例えば、左に視点移動する場合、画面より手前に表示するものについては、近い物ほど画像を見る者の内側（鼻側） に見えるので、内側すなわち右に対応部分のテクスチャを奥行きに応じた量だけ移動する。
画面より奥に表示するものについては、近い物ほど画像を見る者の外側に見えるので、左に対応部分のテクスチャを奥行きに応じた量だけ移動する。これを左目画像、原画を右目画像とすることでステレオペアが構成される。
【００３９】
図１に戻り、別視点画像生成部５０について説明する。
別視点画像生成部５０は、テクスチャシフト部５１、オクルージョン補償部５２、ポスト処理部５３で構成され、ステレオペア画像として左目画像５４および右目画像５５を出力する。テクスチャシフト部５１は、奥行き推定データ生成部１０から受け取った奥行き推定データに応じた量だけ右目画像のテクスチャシフトを行い、右目視点とは別視点の画像を生成する。
【００４０】
テクスチャシフトを行うことによる画像中の位置関係変化によりテクスチャの存在しない部分すなわちオクルージョンが発生する場合がある。このような部分については、オクルージョン補償部５２において、入力画像 の対応部分で充填する、若しくは公知の文献（ 山田邦男， 望月研二， 相澤清晴， 齊藤隆弘： ” 領域競合法により分割された画像のテクスチャの統計量に基づくオクルージョン補償" , 映情学誌, Ｖｏｌ.５６，Ｎｏ．５，ｐｐ．８６３〜８６６（２００２．５）） に記載の手法で充填する。
オクルージョン補償部５２でオクルージョン補償した画像は、ポスト処理部５３により、平滑化などのポスト処理を施すことにより、それ以前の処理において発生したノイズなどを軽減することによって左目画像５４を生成し、入力画像を右目画像５５とすることによりステレオペアが構成される。これらの左目画像５４と右目画像５５とは、ステレオ表示装置２へと出力される。
【００４１】
なおステレオペア画像の生成に関しては、左右反転することで左目画像を原画とし、右目画像を別視点画像として生成してもよい。
また、上記処理においては、右目画像もしくは左目画像のどちらかを入力画像、他方を生成された別視点画像とするようなステレオペア画像を構成しているが、左右どちらについても別視点画像を用いる、すなわち、右に視点移動した別視点画像と左に視点移動した別視点画像を用いてステレオペア画像を構成することも可能である。
なお、本実施形態では別視点画像生成部として２視点での例を説明しているが、２視点以上の表示が可能な表示装置にて表示する場合、その視点数に応じた数の別視点画像を生成する複数視点画像生成装置を構成することも可能である。
【００４２】
上記のステレオ表示装置２は、偏光メガネを用いたプロジェクションシステム、時分割表示と液晶シャッタメガネを組み合わせたプロジェクションシステム若しくはディスプレイシステム、レンチキュラ方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイなどを含む。
また、上記のように２視点以上の表示が可能な表示装置を用いた多視点立体画像表示システムの構築も可能である。また、本立体表示システムにおいては音声出力を装備する形態のものも考えられる。この場合、静止画等音声情報を持たない画像コンテンツについては、画像にふさわしい環境音を付加するような態様のものが考えられる。
【００４３】
なお、本発明は、ハードウェアにより図１の構成の奥行きデータ生成部、ステレオペア生成部を構成する場合に限定されるものではなく、コンピュータプログラムによるソフトウェアにより実現することもできる。この場合、コンピュータプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもよい。
【符号の説明】
【００４４】
１  擬似立体画像生成装置
１０  奥行き推定データ生成部、１１  画像入力部
１２  画面上部の高域成分評価部、１３  画面下部の高域成分評価部
１４、１５、１６  フレームメモリ、１７  合成部、１９  第１加算部
２０  ホワイトノイズ候補検出部、２１  判定部、２２  第２加算部
３１  フレームメモリ、３２  減算部、３３  ノイズレベル比較部
３４  高域フィルタ、３５  高域成分検出部、３６  論理積部
５０  別視点画像生成部、５１  テクスチャシフト部
５２  オクルージョン補償部、５３  ポスト処理部
【図１】
2014127799.tif 000003
【図２】
2014127799.tif 000004
【図３】
2014127799.tif 000005
【図４】
2014127799.tif 000006
【図５】
2014127799.tif 000007
【図６】
2014127799.tif 000008
【図７】
2014127799.tif 000009
【図８】
2014127799.tif 000010
【図９】
2014127799.tif 000011
【図１０】
2014127799.tif 000012
【図１１】
2014127799.tif 000013
【図１２】
2014127799.tif 000014
【図１３】
2014127799.tif 000015