(57)【要約】【課題】非立体画像から生成される擬似的な立体化画像において、画面全体として擬似的な立体感を簡単に向上させる。【解決手段】奥行き信号生成装置１は、映像信号の輝度レベルを複数の輝度レベル領域に分割し、映像信号の所定単位の画素毎に各輝度レベル領域に含まれる画素数に基づいて輝度ヒストグラムデータを生成する輝度ヒストグラムデータ生成部１２１と、輝度レベルの高周波成分の分布を示す高周波成分ヒストグラムデータを生成する高周波成分ヒストグラムデータ生成部１２２と、高周波成分ヒストグラムデータに基づいて輝度ヒストグラムデータを補正すると共に、補正した輝度ヒストグラムデータの分布の状態に基づきゲイン補正値を算出して、算出したゲイン補正値と補正後の輝度ヒストグラムデータとに基づいて階調補正曲線を生成し、生成した階調補正曲線に基づいて映像信号から奥行き信号を生成する奥行き信号推定部１３とを有する。【選択図】図１
2012084961.tif 000002
【特許請求の範囲】
【請求項１】
映像信号の輝度レベルが取り得る範囲を複数の輝度レベル領域に分割して、前記映像信号の所定単位の画素毎に前記輝度レベルがどの輝度レベル領域に含まれるかを判定すると共に、各輝度レベル領域に含まれる画素数をカウントし、そのカウント値に基づいて前記映像信号の輝度レベルの分布を示す輝度ヒストグラムデータを生成する輝度ヒストグラム生成手段と、
前記複数の輝度レベル領域における前記映像信号の輝度レベルにおける高周波成分の分布を示す高周波成分ヒストグラムデータを生成する高周波成分ヒストグラム生成手段と、
前記高周波成分ヒストグラムデータに基づいて前記輝度ヒストグラムデータを補正した補正後の輝度ヒストグラムデータを生成する輝度ヒストグラムデータ補正手段と、
前記補正後の輝度ヒストグラムデータの分布の状態に基づきゲイン補正値を算出するゲイン算出手段と、
前記ゲイン補正値と前記補正後の輝度ヒストグラムデータとに基づいて複数のガンマデータからなる階調補正曲線を生成する階調補正曲線生成手段と、
前記階調補正曲線に基づいて前記映像信号から奥行きを示す奥行き信号を生成する奥行き信号生成手段と、
を有することを特徴とする奥行き信号生成装置。
【請求項２】
前記階調補正曲線生成手段は、
前記ゲイン補正値と前記補正後の輝度ヒストグラムデータとに基づいて前記階調補正曲線を構成する複数のポイントとなるガンマデータを生成し、
前記ガンマデータのリミット処理を行い、
リミット処理された前記ガンマデータに対してリーク型積分処理を行い、積分処理したガンマデータを生成し、
前記積分処理したガンマデータに基づいて前記階調補正曲線を生成する、
ことを特徴とする奥行き信号生成装置。
【請求項３】
請求項１または請求項２に記載の奥行き信号生成装置と、
前記奥行き信号生成装置によって生成された前記奥行き信号と、前記映像信号とに基づいて、前記映像信号のテクスチャをシフトすることにより左目画像信号と右目画像信号とを生成するステレオペア生成装置と、
を有することを特徴とする擬似立体画像信号生成装置。
【請求項４】
映像信号の輝度レベルが取り得る範囲を複数の輝度レベル領域に分割して、前記映像信号の所定単位の画素毎に前記輝度レベルがどの輝度レベル領域に含まれるかを判定すると共に、各輝度レベル領域に含まれる画素数をカウントし、そのカウント値に基づいて前記映像信号の輝度レベルの分布を示す輝度ヒストグラムデータを生成するステップと、
前記複数の輝度レベル領域における前記映像信号の輝度レベルにおける高周波成分の分布を示す高周波成分ヒストグラムデータを生成するステップと、
前記高周波成分ヒストグラムデータに基づいて前記輝度ヒストグラムデータを補正した補正後の輝度ヒストグラムデータを生成するステップと、
前記補正後の輝度ヒストグラムデータの分布の状態に基づきゲイン補正値を算出するステップと、
前記ゲイン補正値と前記補正後の輝度ヒストグラムデータとに基づいて階調補正曲線を生成するステップと、
前記階調補正曲線に基づいて前記映像信号から奥行きを示す奥行き信号を生成するステップと、
を有することを特徴とする奥行き信号生成方法。
【請求項５】
映像信号の輝度レベルが取り得る範囲を複数の輝度レベル領域に分割して、前記映像信号の所定単位の画素毎に前記輝度レベルがどの輝度レベル領域に含まれるかを判定すると共に、各輝度レベル領域に含まれる画素数をカウントし、そのカウント値に基づいて前記映像信号の輝度レベルの分布を示す輝度ヒストグラムデータを生成するステップと、
前記複数の輝度レベル領域における前記映像信号の輝度レベルにおける高周波成分の分布を示す高周波成分ヒストグラムデータを生成するステップと、
前記高周波成分ヒストグラムデータに基づいて前記輝度ヒストグラムデータを補正した補正後の輝度ヒストグラムデータを生成するステップと、
前記補正後の輝度ヒストグラムデータの分布の状態に基づきゲイン補正値を算出するステップと、
前記ゲイン補正値と前記補正後の輝度ヒストグラムデータとに基づいて階調補正曲線を生成するステップと、
前記階調補正曲線に基づいて前記映像信号から奥行きを示す奥行き信号を生成するステップと、
前記奥行き信号と、前記映像信号とに基づいて、前記映像信号のテクスチャをシフトすることにより左目画像信号と右目画像信号とを生成するステップと、
を有することを特徴とする擬似立体画像信号生成方法。
【請求項６】
映像信号の輝度レベルが取り得る範囲を複数の輝度レベル領域に分割して、前記映像信号の所定単位の画素毎に前記輝度レベルがどの輝度レベル領域に含まれるかを判定すると共に、各輝度レベル領域に含まれる画素数をカウントし、そのカウント値に基づいて前記映像信号の輝度レベルの分布を示す輝度ヒストグラムデータを生成するステップと、
前記複数の輝度レベル領域における前記映像信号の輝度レベルにおける高周波成分の分布を示す高周波成分ヒストグラムデータを生成するステップと、
前記高周波成分ヒストグラムデータに基づいて前記輝度ヒストグラムデータを補正した補正後の輝度ヒストグラムデータを生成するステップと、
前記補正後の輝度ヒストグラムデータの分布の状態に基づきゲイン補正値を算出するステップと、
前記ゲイン補正値と前記補正後の輝度ヒストグラムデータとに基づいて階調補正曲線を生成するステップと、
前記階調補正曲線に基づいて前記映像信号から奥行きを示す奥行き信号を生成するステップと、
をコンピュータに実行させるための奥行き信号生成プログラム。
【請求項７】
映像信号の輝度レベルが取り得る範囲を複数の輝度レベル領域に分割して、前記映像信号の所定単位の画素毎に前記輝度レベルがどの輝度レベル領域に含まれるかを判定すると共に、各輝度レベル領域に含まれる画素数をカウントし、そのカウント値に基づいて前記映像信号の輝度レベルの分布を示す輝度ヒストグラムデータを生成するステップと、
前記複数の輝度レベル領域における前記映像信号の輝度レベルにおける高周波成分の分布を示す高周波成分ヒストグラムデータを生成するステップと、
前記高周波成分ヒストグラムデータに基づいて前記輝度ヒストグラムデータを補正した補正後の輝度ヒストグラムデータを生成するステップと、
前記補正後の輝度ヒストグラムデータの分布の状態に基づきゲイン補正値を算出するステップと、
前記ゲイン補正値と前記補正後の輝度ヒストグラムデータとに基づいて階調補正曲線を生成するステップと、
前記階調補正曲線に基づいて前記映像信号から奥行きを示す奥行き信号を生成するステップと、
前記奥行き信号と、前記映像信号とに基づいて、前記映像信号のテクスチャをシフトすることにより左目画像信号と右目画像信号とを生成するステップと、
をコンピュータに実行させるための擬似立体画像信号生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通常の静止画もしくは動画、即ち奥行き信号が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像の映像信号から奥行き信号を生成し、この奥行き信号をもとにした処理を上記非立体画像に施すことにより、立体感を感じさせる立体画像の映像信号を生成し、出力するための奥行き信号生成装置、擬似立体画像信号生成装置、奥行き信号生成方法、擬似立体画像信号生成方法、奥行き信号生成プログラム、擬似立体画像信号生成プログラムに関する。
【背景技術】
【０００２】
立体表示システムにおいては、非立体画像の擬似立体視による鑑賞を可能にするために、通常の静止画もしくは動画、即ち立体を表す為の奥行き信号が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から、擬似的な立体化画像を生成する処理が行われる。
【０００３】
このような技術の一例として、例えば、特許文献１に記載の技術のような、奥行きに応じた輪郭線を断面とするチューブを構成することを前提とする遠近法ベースのアプローチが従来から知られている。この特許文献１記載の技術は、メッシュ画像データに輪郭線の距離情報を付加して三次元ポリゴン立体データを形成し、この三次元ポリゴン立体データに写真画像から得たカラー画像データを適用して、三次元ポリゴン立体データにより構成される三次元ポリゴン立体の内側にカラー画像データを貼り付ける態様に、上記三次元ポリゴン立体をレンダリング処理して三次元画像データを得るようにしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−１８５７１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の手法は、遠近法を基本としており、実際には入力されるさまざまな非立体画像のすべてのシーンに対して遠近法的な構造推定が適合するわけではないので、擬似的な立体画像の効果が限定的である、という課題がある。
【０００６】
また、遠近法的な構造推定が適合する場合であっても、自動的に正しい奥行き構造モデルを構成して違和感の無い立体視を実現させることは容易ではない、という課題もある。
【０００７】
そこで、本発明は、非立体画像から生成される擬似的な立体化画像において、画面全体として擬似的な立体感を簡単に向上させることができる奥行き信号生成装置、擬似立体画像信号生成装置、奥行き信号生成方法、擬似立体画像信号生成方法、奥行き信号生成プログラム、擬似立体画像信号生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の奥行き信号生成装置（１）の第１の特徴は、映像信号の輝度レベルが取り得る範囲を複数の輝度レベル領域に分割して、前記映像信号の所定単位の画素毎に前記輝度レベルがどの輝度レベル領域に含まれるかを判定すると共に、各輝度レベル領域に含まれる画素数をカウントし、そのカウント値に基づいて前記映像信号の輝度レベルの分布を示す輝度ヒストグラムデータを生成する輝度ヒストグラム生成手段（１２１）と、前記複数の輝度レベル領域における前記映像信号の輝度レベルにおける高周波成分の分布を示す高周波成分ヒストグラムデータを生成する高周波成分ヒストグラム生成手段（１２２）と、前記高周波成分ヒストグラムデータに基づいて前記輝度ヒストグラムデータを補正した補正後の輝度ヒストグラムデータを生成する輝度ヒストグラムデータ補正手段（１３）と、前記補正後の輝度ヒストグラムデータの分布の状態に基づきゲイン補正値を算出するゲイン算出手段（１３）と、前記ゲイン補正値と前記補正後の輝度ヒストグラムデータとに基づいて複数のガンマデータからなる階調補正曲線を生成する階調補正曲線生成手段（１３）と、前記階調補正曲線に基づいて前記映像信号から奥行きを示す奥行き信号を生成する奥行き信号生成手段（１３）と、を有することにある。
【０００９】
また、本発明の奥行き信号生成装置（１）の第２の特徴は、前記階調補正曲線生成手段（１３）は、前記ゲイン補正値と前記補正後の輝度ヒストグラムデータとに基づいて前記階調補正曲線を構成する複数のポイントとなるガンマデータを生成し、前記ガンマデータのリミット処理を行い、リミット処理された前記ガンマデータに対してリーク型積分処理を行い、積分処理したガンマデータを生成し、前記積分処理したガンマデータに基づいて前記階調補正曲線を生成する、ことにある。
【００１０】
また、本発明の擬似立体画像信号生成装置の第１の特徴は、前記奥行き信号生成装置（１）と、前記奥行き信号生成装置によって生成された前記奥行き信号と、前記映像信号とに基づいて、前記映像信号のテクスチャをシフトすることにより左目画像信号と右目画像信号とを生成するステレオペア生成装置（２）と、を有することにある。
【００１１】
また、本発明の奥行き信号生成方法の第１の特徴は、映像信号の輝度レベルが取り得る範囲を複数の輝度レベル領域に分割して、前記映像信号の所定単位の画素毎に前記輝度レベルがどの輝度レベル領域に含まれるかを判定すると共に、各輝度レベル領域に含まれる画素数をカウントし、そのカウント値に基づいて前記映像信号の輝度レベルの分布を示す輝度ヒストグラムデータを生成するステップと、前記複数の輝度レベル領域における前記映像信号の輝度レベルにおける高周波成分の分布を示す高周波成分ヒストグラムデータを生成するステップと、前記高周波成分ヒストグラムデータに基づいて前記輝度ヒストグラムデータを補正した補正後の輝度ヒストグラムデータを生成するステップと、前記補正後の輝度ヒストグラムデータの分布の状態に基づきゲイン補正値を算出するステップと、前記ゲイン補正値と前記補正後の輝度ヒストグラムデータとに基づいて階調補正曲線を生成するステップと、前記階調補正曲線に基づいて前記映像信号から奥行きを示す奥行き信号を生成するステップと、を有することにある。
【００１２】
また、本発明の擬似立体画像信号生成方法の第１の特徴は、映像信号の輝度レベルが取り得る範囲を複数の輝度レベル領域に分割して、前記映像信号の所定単位の画素毎に前記輝度レベルがどの輝度レベル領域に含まれるかを判定すると共に、各輝度レベル領域に含まれる画素数をカウントし、そのカウント値に基づいて前記映像信号の輝度レベルの分布を示す輝度ヒストグラムデータを生成するステップと、前記複数の輝度レベル領域における前記映像信号の輝度レベルにおける高周波成分の分布を示す高周波成分ヒストグラムデータを生成するステップと、前記高周波成分ヒストグラムデータに基づいて前記輝度ヒストグラムデータを補正した補正後の輝度ヒストグラムデータを生成するステップと、前記補正後の輝度ヒストグラムデータの分布の状態に基づきゲイン補正値を算出するステップと、前記ゲイン補正値と前記補正後の輝度ヒストグラムデータとに基づいて階調補正曲線を生成するステップと、前記階調補正曲線に基づいて前記映像信号から奥行きを示す奥行き信号を生成するステップと、前記奥行き信号と、前記映像信号とに基づいて、前記映像信号のテクスチャをシフトすることにより左目画像信号と右目画像信号とを生成するステップと、有することにある。
【００１３】
また、本発明の奥行き信号生成プログラムの第１の特徴は、映像信号の輝度レベルが取り得る範囲を複数の輝度レベル領域に分割して、前記映像信号の所定単位の画素毎に前記輝度レベルがどの輝度レベル領域に含まれるかを判定すると共に、各輝度レベル領域に含まれる画素数をカウントし、そのカウント値に基づいて前記映像信号の輝度レベルの分布を示す輝度ヒストグラムデータを生成するステップと、前記複数の輝度レベル領域における前記映像信号の輝度レベルにおける高周波成分の分布を示す高周波成分ヒストグラムデータを生成するステップと、前記高周波成分ヒストグラムデータに基づいて前記輝度ヒストグラムデータを補正した補正後の輝度ヒストグラムデータを生成するステップと、前記補正後の輝度ヒストグラムデータの分布の状態に基づきゲイン補正値を算出するステップと、前記ゲイン補正値と前記補正後の輝度ヒストグラムデータとに基づいて階調補正曲線を生成するステップと、前記階調補正曲線に基づいて前記映像信号から奥行きを示す奥行き信号を生成するステップと、をコンピュータに実行させることにある。
【００１４】
また、本発明の擬似立体画像信号生成プログラムの第１の特徴は、映像信号の輝度レベルが取り得る範囲を複数の輝度レベル領域に分割して、前記映像信号の所定単位の画素毎に前記輝度レベルがどの輝度レベル領域に含まれるかを判定すると共に、各輝度レベル領域に含まれる画素数をカウントし、そのカウント値に基づいて前記映像信号の輝度レベルの分布を示す輝度ヒストグラムデータを生成するステップと、前記複数の輝度レベル領域における前記映像信号の輝度レベルにおける高周波成分の分布を示す高周波成分ヒストグラムデータを生成するステップと、前記高周波成分ヒストグラムデータに基づいて前記輝度ヒストグラムデータを補正した補正後の輝度ヒストグラムデータを生成するステップと、前記補正後の輝度ヒストグラムデータの分布の状態に基づきゲイン補正値を算出するステップと、前記ゲイン補正値と前記補正後の輝度ヒストグラムデータとに基づいて階調補正曲線を生成するステップと、前記階調補正曲線に基づいて前記映像信号から奥行きを示す奥行き信号を生成するステップと、前記奥行き信号と、前記映像信号とに基づいて、前記映像信号のテクスチャをシフトすることにより左目画像信号と右目画像信号とを生成するステップと、をコンピュータに実行させることにある。
【発明の効果】
【００１５】
本発明によれば、非立体画像から生成される擬似的な立体化画像において、画面全体として擬似的な立体感を向上させることが可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施の形態を示すブロック図である。
【図２】本実施の形態における一画面内の判定領域の一例を示す図である。
【図３】本実施の形態における輝度ヒストグラムデータ生成部のブロック図である。
【図４】本実施の形態における高周波成分ヒストグラムデータ生成部のブロック図である。
【図５】本実施の形態における奥行き信号推定部の動作を示すフローチャートの一例である。
【図６】本実施の形態における輝度ヒストグラムデータ補正処理の詳細例を示すフローチャートである。
【図７】本実施の形態における輝度ヒストグラムデータ補正の一例である。
【図８】本実施の形態における輝度ヒストグラムデータ補正の一例である。
【図９】本実施の形態における分散値に基づいた分散ゲインの一例である。
【図１０】本実施の形態における階調補正曲線を構成する値を生成するためのフローチャートの一例である。
【図１１】本実施の形態における階調補正曲線の生成方法を説明するための図である。
【図１２】本実施の形態における階調補正曲線の比較を示す図である。
【図１３】本実施の形態における階調補正曲線の正規化リミット処理の一例を示す図である。
【図１４】本実施の形態におけるリーク型積分回路の一例である。
【図１５】本実施の形態における奥行き信号算出の一例である。
【発明を実施するための形態】
【００１７】
次に、本発明に係る奥行き信号生成装置、擬似立体画像信号生成装置、奥行き信号生成方法、擬似立体画像信号生成方法、奥行き信号生成プログラム、擬似立体画像信号生成プログラムの実施の形態について説明する。なお、下記の説明では、本発明の擬似立体画像信号生成装置は、奥行き信号生成装置とステレオ生成装置とから構成される。
【００１８】
≪奥行き信号生成装置の実施の形態の説明≫
以下、本発明の実施の形態の奥行き信号生成装置について、図面を参照して説明する。
【００１９】
図１は、本発明に係る奥行き信号生成装置および擬似立体画像信号生成装置の実施の形態の構成例を示すブロック図である。
【００２０】
図１に示すように、本実施の形態の擬似立体画像信号生成装置は、奥行き信号生成装置１と、ステレオペア生成装置２とを有しており、奥行きを示す奥行き信号が明示的にも又はステレオ画像のように暗示的にも与えられておらず、時系列的に連続した複数の画像で構成された非立体画像の映像信号（輝度信号Ｙ、色差信号Ｂ−Ｙ，Ｒ−Ｙ）から左目画像信号と右目画像信号とを生成して、ステレオ表示装置３に対し左目画像信号と右目画像信号とを出力するように構成されている。
【００２１】
図１において、奥行き信号生成装置１は、ノイズ成分の影響を除外するローパスフィルタ１１と、輝度ヒストグラムデータ生成部１２１および高周波成分ヒストグラムデータ生成部１２２で構成された画像特徴生成部１２と、奥行き信号推定部１３とを有する。なお、ローパスフィルタ１１は、必須のものではなく、省略しても良い。
【００２２】
また、ステレオペア生成装置２は、奥行き信号推定部１３で推定された奥行き信号に基づいて、入力される非立体画像の映像信号のテクスチャをシフトするテクスチャシフト部２１と、オクルージョンを補償するオクルージョン補償部２２と、ポスト処理を行うポスト処理部２３と、左目画像信号生成部２４と、右目画像信号生成部２５とを有している。
【００２３】
そして、ステレオペア生成装置２で生成された左目画像信号と右目画像信号とは、ステレオ表示装置３へ入力され、ステレオ表示装置３にて擬似的な立体画像が表示される。
【００２４】
図２は、画像特徴生成部１２を構成する輝度ヒストグラムデータ生成部１２１および高周波成分ヒストグラムデータ生成部１２２が画像の特徴として輝度ヒストグラムデータおよび高周波成分ヒストグラムデータを抽出する一画面ｆ内の判定領域ｆａの一例を示す図である。
【００２５】
図２に示すように、画像特徴生成部１２を構成する輝度ヒストグラムデータ生成部１２１および高周波成分ヒストグラムデータ生成部１２２は、１フィールド又は１フレームである画面ｆ内に所定の判定領域ｆａを設け、それぞれ、判定領域ｆａ内の輝度レベルに基づいて、画像の特徴量として、輝度ヒストグラムデータと、高周波成分ヒストグラムデータとを生成する。
【００２６】
なお、本実施の形態では、１フィールド又は１フレーム毎に輝度および高周波成分のヒストグラムデータを生成するが、複数フィールド又は複数フレーム毎に輝度および高周波成分のヒストグラムデータを生成してもよく、画面の所定単位（時間単位）毎に輝度および高周波成分のヒストグラムデータを生成すればよい。ただし、１フィールド又は１フレーム毎に輝度および高周波成分のヒストグラムデータを生成することが望ましい。さらに判定領域ｆａは、有効映像期間内であれば大きさは任意である。
【００２７】
（輝度ヒストグラムデータ生成部１２１の詳細構成例）
図３は、図１における輝度ヒストグラムデータ生成部１２１の構成例を示すブロック図である。
【００２８】
図３に示すように、輝度ヒストグラムデータ生成部１２１は、判定器群１２１１と、カウンタ群１２１２と、レジスタ群１２１３とを有する。
【００２９】
輝度ヒストグラムデータ生成部１２１に入力される映像信号の輝度信号Ｙは、まず、判定器群１２１１に供給される。
【００３０】
判定器群１２１１は、図３に示すように、複数の判定器１２１１ａ〜１２１１ｐにより構成され、輝度信号Ｙの取り得る輝度レベルの範囲を、所定の輝度レベル範囲の大きさの複数の輝度レベル領域に分割し、各画素毎にその輝度レベルがいずれかの輝度レベル領域に入るものであるかを判定する。本実施の形態では、例えば、輝度信号Ｙの輝度レベルを０〜２５５の２５６階調とし、輝度信号Ｙの取り得る輝度レベルの範囲を、０〜１５階調、１６〜３１階調、３２〜４７階調、…、２４０〜２５５階調というように１６階調毎の１６の輝度レベル領域に分割するものとする。なお、２５６階調および１６の輝度レベル領域の分割数は、あくまで、一例であり、これに限定されるものではない。例えば、輝度レベル＝４０の画素であれば、判定器１２１１ｃから“１”が出力され、その他の判定器からは“０”が出力される。
【００３１】
また、カウンタ群１２１２は、複数のカウンタ１２１２ａ〜１２１２ｐにより構成され、それぞれ、対応する判定器１２１１ａ〜１２１１ｐから出力された信号をカウントアップし、そのカウント値を１だけインクリメントする。つまり、複数のカウンタ１２１２ａ〜１２１２ｐのカウント値は、判定器群１２１１により分割された１６の各輝度レベル領域に含まれる画素の総数を示している。
【００３２】
レジスタ群１２１３は、複数のレジスタ１２１３ａ〜１２１３ｐにより構成され、カウンタ群１２１２から出力されるカウント値を保持する。このように、輝度ヒストグラムデータ生成部１２１は、１６階調毎の１６に分割した輝度レベル領域に含まれる画素数をカウントして、輝度ヒストグラムデータを生成し、奥行き信号推定部１３へ供給する。
【００３３】
（高周波成分ヒストグラムデータ生成部１２２の詳細構成例）
図４は、図１における高周波成分ヒストグラムデータ生成部１２２の構成例を示すブロック図である。
【００３４】
図４に示すように、高周波成分ヒストグラムデータ生成部１２２は、ＨＰＦ（ハイパスフィルタ）１２２１と、絶対値演算部１２２２と、コアリング演算部１２２３と、ＬＰＦ（ローパスフィルタ）１２２４と、２値化演算部１２２５と、判定器群１２２６と、論理積ゲート群１２２７と、カウンタ群１２２８と、レジスタ群１２２９とを有している。
【００３５】
高周波成分ヒストグラムデータ生成部１２２では、図４に示すように、入力される輝度信号Ｙは、ＨＰＦ１２２１と、判定器群１２２６とに供給される。
【００３６】
ＨＰＦ１２２１は、注目画素とその周辺画素との差分値を生成し、絶対値演算部１２２２に供給する。
【００３７】
絶対値演算部１２２２は、入力された差分値を絶対値化し、コアリング演算部１２２３に供給する。
【００３８】
コアリング演算部１２２３は、所定の閾値より小さい差分値は“０”を出力する処理を行い、その結果をＬＰＦ１２２４に供給する。これは、ノイズ成分の振幅は小さい事より、このノイズ成分の除去を目的とする処理である。ＬＰＦ１２２４により平均化し２値化演算部１２２５に供給する。
【００３９】
２値化演算部１２２５では、所定の閾値より大きい場合は“１”を出力し、小さい場合は“０”を出力し、注目画素が高周波成分であるかの判断を行う。
【００４０】
なお、判定器群１２２６は、図３に示す輝度ヒストグラムデータ生成部１２１の判定器群１２１１と同様に、１６個の判定器１２２６ａ〜１２２６ｐから構成されており、同様の機能を有している。
【００４１】
論理積ゲート群１２２７は、判定器群１２２６からの信号と、２値化演算部１２２５からの信号との論理積を行い、その論理積結果をカウンタ群１２２８へ供給するもので、１６個の論理積ゲート１２２７ａ〜１２２７ｐから構成されている。
【００４２】
カウンタ群１２２８およびレジスタ群１２２９は、図３に示す輝度ヒストグラムデータ生成部１２１のカウンタ群１２１２およびレジスタ群１２１３と同様に、１６個のカウンタ１２２８ａ〜１２２８ｐ、レジスタ１２２９ａ〜１２２９ｐから構成されており、同様の機能を有している。
【００４３】
このように、本実施の形態の高周波成分ヒストグラムデータ生成部１２２は、図４に示すように、１６個に分割した輝度レベル領域に含まれる高周波成分の画素数をカウントして、各輝度レベル領域毎の高周波成分ヒストグラムデータを生成し、奥行き信号推定部１３へ供給する。
【００４４】
（奥行き信号推定部１３における奥行き信号推定処理の詳細動作例）
図５は、奥行き信号推定部１３における奥行き信号推定処理の詳細動作例を示すフローチャートである。
【００４５】
図５に示すように、奥行き信号推定部１３は、まず、画像特徴生成部１２の輝度ヒストグラムデータ生成部１２１および高周波成分ヒストグラムデータ生成部１２２からそれぞれ画像特徴情報である輝度ヒストグラムデータおよび高周波成分ヒストグラムデータを取得する（ステップＳ５１０）。
【００４６】
次に、奥行き信号推定部１３は、高周波成分ヒストグラムデータを用いて輝度ヒストグラムの補正処理を行う（ステップＳ５２０）。
【００４７】
次に、奥行き信号推定部１３は、高周波成分ヒストグラムデータによる補正後の輝度ヒストグラムデータを用いて分散値を算出し、その分散値に基づきゲイン補正値算出処理を行う（ステップＳ５３０）。
【００４８】
次に、奥行き信号推定部１３は、分散値に基づき算出したゲイン補正値により補正後の輝度ヒストグラムデータを用いて積分処理及び正規化処理を行い、階調補正曲線（ガンマ曲線）を構成するポイントであるガンマデータの算出処理を行う（ステップＳ５４０）。
【００４９】
次に、奥行き信号推定部１３は、ステップＳ５４０で算出したガンマデータの正規化リミット処理を行う（ステップＳ５５０）。なお、このステップＳ５５０のガンマデータの正規化リミット処理は、省略しても良い。
【００５０】
次に、奥行き信号推定部１３は、ステップＳ５５０で正規化リミット処理を行ったガンマデータに対し時間方向のリーク型積分処理を行う（ステップＳ５６０）。なお、このステップＳ５６０のリーク型積分処理は、ステップＳ５５０のガンマデータの正規化リミット処理と同様に、省略しても良い。
【００５１】
次に、奥行き信号推定部１３は、リーク型積分処理によって算出した複数のガンマデータより補間データの作成を行う（ステップＳ５７０）。
【００５２】
次に、奥行き信号推定部１３は、補間データにより補間した階調補正曲線（ガンマ曲線）に基づいて奥行き量を決定する奥行き信号（シフト量Ｓ）を算出する（ステップＳ５８０）。なお、奥行き信号（シフト量Ｓ）の算出後は、Ｓ５１０の処理へ戻り、ステップＳ５１０〜ステップＳ５８０の処理を繰り返す。
【００５３】
次に、図５に示す奥行き信号推定部１３の各ステップの処理を詳細に説明する。
【００５４】
（ステップＳ５２０の輝度ヒストグラム補正処理の詳細）
図６は、図５に示すステップＳ５２０の輝度ヒストグラム補正処理の詳細例を示すフローチャートである。
【００５５】
奥行き信号推定部１３は、ステップＳ５１０で取得した輝度ヒストグラムデータＹhist［ｉ］と高周波成分ヒストグラムデータＨhist［ｉ］とを用いて、補正後の輝度ヒストグラムデータＣorrＹhist［ｉ］を生成する。
【００５６】
つまり、まず、奥行き信号推定部１３は、１６個に分割した輝度レベル領域を示すインデックスｉと、輝度ヒストグラムデータＹhist［ｉ］の積分値Ｙhist_sumとを０に設定する（ステップＳ５２００）。
【００５７】
次に、奥行き信号推定部１３は、ｉが１６未満であるか否かを判定する（ステップＳ５２０５）。ここで、ｉが１６よりも小さい場合には（ステップＳ５２０５“ＹＥＳ”）、ステップＳ５２１０の処理へ進む一方、ｉが１６以上である場合には（ステップＳ５２０５“ＮＯ”）、ステップＳ５２２０の処理へ進む。
【００５８】
つまり、ｉが１６よりも小さい場合には（ステップＳ５２０５“ＹＥＳ”）、奥行き信号推定部１３は、次の式（１）に示す計算式により、Ｙhist［ｉ］の積分を行う（ステップＳ５２１０）。
【００５９】
Ｙhist_sum ＝ Ｙhist_sum ＋Ｙhist［ｉ］  …（１）
なお、ここで求められたＹhist_sumは、一時的に奥行き信号推定部１３内の図示しないメモリに保存される。
【００６０】
ステップＳ５２１０の処理が終了すると、奥行き信号推定部１３は、ｉを１インクリメントして（ステップＳ５２１５）、ステップＳ５２０５の処理に戻る。
【００６１】
そして、奥行き信号推定部１３は、ｉ＝１５になるまで、ステップＳ５２１０およびステップＳ５２１５の処理を繰り返し、輝度ヒストグラムデータＹhist［ｉ］の積分値を生成する。
【００６２】
一方、ｉが１６以上になった場合（ステップＳ５２０５“ＮＯ”）、奥行き信号推定部１３は、まず、ｉと、高周波成分ヒストグラムデータＨhist［ｉ］の積分値Ｈhist_sumと、補正後の輝度ヒストグラムデータＣorrＹhist［ｉ］の積分値ＣorrＹhist_sumとを０に設定する（ステップＳ５２２０）。
【００６３】
次に、奥行き信号推定部１３は、ｉが１６未満であるか否かを判定し（ステップＳ５２２５）、ここで、ｉが１６よりも小さい場合には（ステップＳＳ５２２５“ＹＥＳ”）、ステップＳ５２３０の処理へ進む一方、ｉが１６以上の場合には（ステップＳ５２２５“ＮＯ”）、ステップＳ５２７５の処理へ進む。
【００６４】
つまり、奥行き信号推定部１３は、ｉが１６よりも小さい場合には（ステップＳ５２２５“ＹＥＳ”）、まず、次の式（２）に示す計算式により、輝度ヒストグラムデータＹhist［ｉ］のＹhist_sumに対する割合Ｙhist_rate［ｉ］を求める（ステップＳ５２３０）。
【００６５】
Ｙhist_rate［ｉ］＝（Ｙhist［ｉ］×２５５）／Ｙhist_sum   …（２）
次に、奥行き信号推定部１３は、Ｙhist_rate［ｉ］が閾値Ｙhist_thより大きいか否かを判定し（ステップＳ５２３５）、Ｙhist_rate［ｉ］がＹhist_thより大きい場合には（ステップＳ５２３５“ＹＥＳ”）、ステップＳ５２４０の処理へ進む一方、Ｙhist_rate［ｉ］がＹhist_th以下の場合には（ステップＳ５２３５“ＮＯ”）、ステップＳ５２６５の処理へ進む。
【００６６】
つまり、奥行き信号推定部１３は、Ｙhist_rate［ｉ］がＹhist_thより大きい場合には（ステップＳ５２３５“ＹＥＳ”）、次の式（３）に示す計算式により、輝度ヒストグラムデータＹhist［ｉ］と、閾値Ｈhist_thを用いて、高周波成分ヒストグラムデータＨhist［ｉ］と比較する値Ａを求める（ステップＳ５２４０）。
【００６７】
Ａ＝（Ｙhist［ｉ］× Ｈhist_th／２５５）…（３）
次に、奥行き信号推定部１３は、高周波成分ヒストグラムデータＨhist［ｉ］が、式（３）により求めた値Ａ未満であるか否かを判定し（ステップＳ５２４５）、Ｈhist［ｉ］がＡよりも小さい場合には（ステップＳ５２４５“ＹＥＳ”）、ステップＳ５２５０の処理へ進む一方、Ｈhist［ｉ］がＡ以上の場合には（ステップＳ５２４５“ＮＯ”）、ステップＳ５２７０の処理へ進む。
【００６８】
つまり、奥行き信号推定部１３は、Ｈhist［ｉ］がＡよりも小さい場合には（ステップＳ５２４５“ＹＥＳ”）、次の式（４）に示す計算式により、補正後の輝度ヒストグラムデータＣorrＹhist［ｉ］を求める（ステップＳ５２５０）。次いで、奥行き信号推定部１３は、次の式（５）に示す計算式により、補正後の輝度ヒストグラムデータＣorrＹhist［ｉ］の積分値ＣorrＹhist_sumを求める（ステップＳ５２５５）。
【００６９】
ＣorrＹhist［ｉ］＝ Ｙhist［ｉ］×（Ｈhist［ｉ］／Ａ）  …（４）
ＣorrＹhist_sum ＝ ＣorrＹhist_sum＋ＣorrＹhist［ｉ］   …（５）
これに対し、Ｙhist_rate［ｉ］が閾値Ｙhist_th以下の場合には（ステップＳ５２３５“ＮＯ”）、奥行き信号推定部１３は、次の式（６）に示す計算式により、高周波成分ヒストグラムデータＨhist［ｉ］の積分値Ｈhist_sumを求める（ステップＳ５２６５）。次いで、奥行き信号推定部１３は、次の式（７）に示す計算式により、補正後の輝度ヒストグラムデータＣorrＹhist［ｉ］を求める（ステップＳ５２７０）。なお、Ｈhist［ｉ］がＡ以上になった場合も（ステップＳ５２４５“ＮＯ”）、奥行き信号推定部１３は、次の式（７）に示す計算式により、補正後の輝度ヒストグラムデータＣorrＹhist［ｉ］を求める（ステップＳ５２７０）。
【００７０】
Ｈhist_sum ＝ Ｈhist_sum＋Ｈhist［ｉ］  …（６）
ＣorrＹhist［ｉ］＝ Ｙhist［ｉ］        …（７）
奥行き信号推定部１３は、ここで求めたＣorrＹhist［ｉ］、ＣorrＹhist［ｉ］の積分値ＣorrＹhist_sum、Ｈhist［ｉ］の積分値Ｈhist_sumを、一時的に、図示しないメモリに保存する。
【００７１】
ステップＳ５２５５もしくはステップＳ５２７０の処理が終了すると、奥行き信号推定部１３は、ｉを１インクリメントして（ステップＳ５２６０）、ステップＳ５２２５の処理に戻る。
【００７２】
このように、奥行き信号推定部１３は、ｉ＝１５になるまで、ステップＳ５２２５〜Ｓ５２７０の処理を繰り返す。
【００７３】
その一方、奥行き信号推定部１３は、ステップＳ５２２５の判断処理で、ｉが１６以上になったと判断した場合には（ステップＳ５２２５“ＮＯ”）、まず、ｉを０に設定し（ステップＳ５２７５）、続いてｉが１６未満であるか否かを判定する（ステップＳ５２８０）。
【００７４】
ｉが１６よりも小さい場合（ステップＳ５２８０“ＹＥＳ”）、奥行き信号推定部１３は、Ｙhist_rate［ｉ］が閾値Ｙhist_th未満であるか否かを判定する（ステップＳ５２８５）。奥行き信号推定部１３は、Ｙhist_rate［ｉ］がＹhist_thよりも小さい場合のみ（ステップＳ５２８５“ＹＥＳ”）、次の式（８）に示す計算式により、ＣorrＹhist［ｉ］を求め（ステップＳ５２９０）、Ｙhist_rate［ｉ］が閾値Ｙhist_th以上の場合には（ステップＳ５２８５“ＮＯ”）、ＣorrＹhist［ｉ］を求めない。
【００７５】
ＣorrＹhist［ｉ］＝ ＣorrＹhist_sum×Ｈhist［ｉ］／Ｈhist_sum   …（８）
ここで求められたＣorrＹhist［ｉ］は、一時的に奥行き信号推定部１３内の図示しないメモリに保存される。
【００７６】
その後、奥行き信号推定部１３は、ｉを１インクリメントして（ステップＳ５２９５）、ステップＳ５２８０の処理に戻る。
【００７７】
ｉが１６以上になった場合（ステップＳ５２８０“ＮＯ”）、奥行き信号推定部１３は、補正後の輝度ヒストグラムデータＣorrＹhist［ｉ］（ｉ＝０〜１５）の生成を終了している。これにより、奥行き信号推定部１３は、図５のステップＳ５２０の輝度ヒストグラムデータ補正処理を終了し、ステップＳ５３０へ進む。
【００７８】
図７は、奥行き信号推定部１３が図５におけるステップＳ５２０の輝度ヒストグラム補正処理、すなわち図６に詳細に示す輝度ヒストグラム補正処理により補正した輝度ヒストグラムデータの一例である。
【００７９】
図７において、横軸は、１６個に分割した輝度レベル領域を示す輝度ヒストグラムデータのインデックスｉ（ｉ＝０〜１５）、縦軸は、輝度ヒストグラムデータＹhist［ｉ］の頻度（画素数）を表している。
【００８０】
また、図７において、棒グラフ７１は、補正前の輝度ヒストグラムデータＹhist［ｉ］、棒グラフ７２は、高周波成分ヒストグラムデータＨhist［ｉ］、棒グラフ７３は、補正後の輝度ヒストグラムデータＣorrＹhist［ｉ］を表している。
【００８１】
この図７に示すような補正前の輝度ヒストグラムデータＹhist［ｉ］を有する画像は、例えば、大面積を占める暗い（低輝度の）平坦な領域に、明るい（中間輝度〜高輝度の）物体が存在する画像である。
【００８２】
そのため、奥行き信号推定部１３は、この図７に示すような輝度ヒストグラムデータＹhist［ｉ］を示す画像では、ステップＳ５２０の高周波成分ヒストグラムによる輝度ヒストグラム補正処理により、インデックスｉが“０”と“１”の輝度ヒストグラムデータＹhist［ｉ］を減少させ、破線７４で示す減少分を、インデックスｉが“２”〜“１３” の輝度ヒストグラムデータＹhist［ｉ］に再配分している。これにより、奥行き信号推定部１３は、画像中の暗い平坦な領域から、明るい物体に階調を割り振ることができる。なお、インデックスｉが“０”〜“１５”の補正前の輝度ヒストグラムデータの総和と、補正後の輝度ヒストグラムデータの総和とはほぼ等しくなる（計算誤差により微小な差は発生する）。
【００８３】
なお、図７において、“Ｙhist_th”は、図６のステップＳ５２３５やステップＳ５２８５で使用する閾値である。また、Ａは、上記式（３）により求めた高周波成分ヒストグラムデータＨhist［ｉ］と比較する値である。
【００８４】
図８は、奥行き信号推定部１３が図５におけるステップＳ５２０の輝度ヒストグラム補正処理、すなわち図６に詳細に示す輝度ヒストグラム補正処理により補正した輝度ヒストグラムデータの他の例である。
【００８５】
図７と同様に、図８において、横軸は、輝度ヒストグラムデータのインデックスｉ（ｉ＝０〜１５）、縦軸は、輝度ヒストグラムデータＹhist［ｉ］の頻度（画素数）を表しており、棒グラフ８１は、補正前の輝度ヒストグラムデータＹhist［ｉ］、棒グラフ８２は、高周波成分ヒストグラムデータＨhist［ｉ］、棒グラフ８３は、補正後の輝度ヒストグラムデータＣorrＹhist［ｉ］を表している。
【００８６】
この図８に示すような補正前の輝度ヒストグラムデータＹhist［ｉ］を有する画像は、例えば、大面積を占める明るい（高輝度の）平坦な領域と、低輝度〜中間輝度の物体が存在する画像である。図８に示す場合も、図７と同様に、奥行き信号推定部１３は、ステップＳ５２０の輝度ヒストグラム補正処理により、インデックスｉが“１４”の輝度ヒストグラムデータＹhist［ｉ］を減少させ、破線８４で示す減少分を、インデックスｉが“１”〜“１３” の輝度ヒストグラムデータＹhist［ｉ］に再配分している。これにより、図７の場合と同様に、奥行き信号推定部１３は、画像中の明るい平坦な領域から、物体が存在する低輝度〜中間輝度に階調を割り振ることができる。なお、図７と同様に、図８において、“Ｙhist_th”は、図６のステップＳ５２３５やステップＳ５２８５で使用する閾値である。また、Ａは、上記式（３）により求めた高周波成分ヒストグラムデータＨhist［ｉ］と比較する値である。
【００８７】
（ステップＳ５３０の分散によるゲイン補正値算出処理の詳細）
次に、ステップＳ５３０の分散によるゲイン補正値算出処理の詳細について説明する。
【００８８】
奥行き信号推定部１３は、ステップＳ５３０では、まずステップＳ５２０で生成した補正後の輝度ヒストグラムデータＣorrＹhist［ｉ］を用いて、次の式（９）に示す計算式により、補正後の輝度ヒストグラムデータＣorrＹhist［ｉ］の平均値ＣorrＹhist_Aveを求める。
【００８９】
【数１】
2012084961.tif 000003
次に、奥行き信号推定部１３は、次の式（１０）に示す計算式により、補正後の輝度ヒストグラムデータＣorrＹhist［ｉ］の分散値ＳＳを求める。
【００９０】
【数２】
2012084961.tif 000004
ここで、“ａｂｓ”は、絶対値である。
【００９１】
式（１０）により示す分散値ＳＳは、補正後の輝度ヒストグラムデータＣorrＹhist［ｉ］が特定のインデックスに集中した場合は、大きな値をとり、広い階調に分散している場合は、小さな値をとる。
【００９２】
図９は、本実施の形態における補正後の輝度ヒストグラムデータＣorrＹhist［ｉ］の分散値ＳＳと、ゲイン補正値Ｇssとの関係の一例を示す説明図である。
【００９３】
図９において、横軸は補正後の輝度ヒストグラムデータＣorrＹhist［ｉ］の分散値ＳＳ、縦軸はゲイン補正値Ｇssを表す。
【００９４】
図９に示すように、例えば、分散値ＳＳ＝０〜１８と小さい場合、すなわち、補正後の輝度ヒストグラムデータＣorrＹhist［ｉ］が広い階調に分散している場合は、ゲイン補正値Ｇssを１．４とする。
【００９５】
分散値ＳＳ＝１８〜１３３の範囲では、分散値ＳＳが大きいほど、ゲイン補正値Ｇssを小さくする。すなわち、補正後の輝度ヒストグラムデータＣorrＹhist［ｉ］が特定の階調に集中している度合いが大きいほど、ゲイン補正値Ｇssを減少させる。
【００９６】
分散値ＳＳ＝１３３以上では、補正後の輝度ヒストグラムデータＣorrＹhist［ｉ］が特定の階調に集中しているものとみなして、ゲイン補正値Ｇssは０とする。
【００９７】
なお、図９に示す例では、分散値ＳＳ＝１８，１３３をゲイン補正値Ｇssの変化点としているが、これに限定されることはなく、ゲイン補正値Ｇssの変化点は任意に設定できる。なお、本実施の形態では分散値ＳＳが１３３以上のときにゲイン補正値Ｇssを０としているが、０にしなくてもよい。
【００９８】
（ステップＳ５４０のガンマデータ算出処理の詳細）
図１０は、図５に示すステップＳ５４０のガンマデータ算出処理の手順を示すフローチャートである。
【００９９】
奥行き信号推定部１３は、図５に示すステップＳ５４０のガンマデータ算出処理により、補正後の輝度ヒストグラムデータＣorrＹhist［ｉ］と、ゲイン補正値Ｇssとを用いて、輝度信号の階調を補正するための階調補正曲線（ガンマ曲線）を構成する、ガンマデータであるポイントＲ［ｉ］（ｉ＝０〜１５）を生成する。
【０１００】
つまり、奥行き信号推定部１３は、まず、１６個に分割した輝度レベル領域を示すインデックスｉと、積分値sumとを、０に設定する（ステップＳ５４００）。
【０１０１】
次に、奥行き信号推定部１３は、ｉが１６未満であるか否かを判定する（ステップＳ５４０５）。ここで、ｉが１６よりも小さい場合には（ステップＳ５４０５“ＹＥＳ”）、ステップＳ５４１０の処理へ進む一方、ｉが１６以上の場合には（ステップＳ５４０５“ＮＯ”）、ステップＳ５４４５の処理へ進む。
【０１０２】
つまり、奥行き信号推定部１３は、ｉが１６よりも小さい場合には（ステップＳ５４０５“ＹＥＳ”）、補正後の輝度ヒストグラムデータＣorrＹhist［ｉ］を入力する（ステップＳ５４１０）。ここでは、ｉ＝０よりＣorrＹhist［０］である。
【０１０３】
次に、奥行き信号推定部１３は、ステップＳ５４１０の処理により入力した補正後の輝度ヒストグラムデータＣorrＹhist［ｉ］を、次の式（１１）に示す計算式により補正後の輝度ヒストグラムデータＣorrＹhist［ｉ］（ｉ＝０〜１５）の平均値ＣorrＹhist_Ａveを用いてオフセットする（ステップＳ５４１５）。なお、次の式（１１）に示す計算式による計算値integは、オフセット値である。
【０１０４】
integ＝（CorrYhist[i]−CorrYhist_Ave）×１６／CorrYhist_Ave  …（１１）
次に、奥行き信号推定部１３は、次の式（１２）に示すように、ステップＳ５４１５の処理により求めた式（１１）のオフセット値integに、所定の固定ゲインＧと、図９に示す関係により分散値ＳＳから求めたゲイン補正値Ｇssとを乗算する（ステップＳ５４２０）。なお、固定ゲインＧは、奥行き信号推定部１３等に予め設定されている。
【０１０５】
integ＝integ×Ｇ×Ｇss  …（１２）
次に、奥行き信号推定部１３は、積分値sumに、ステップＳ５４２０で求めたデータであるオフセット値integを加算する（ステップＳ５４２５）。ここで、最初は、ｉ＝０より、sum＝０であるから、新たに得られるsumは、ステップＳ５４２０の処理で求めたオフセット値integとなる。
【０１０６】
次に、奥行き信号推定部１３は、ステップＳ５４２５の処理で求めた積分値sumを用いて、次の式（１３）により、補正後の輝度ヒストグラムデータＣorrＹhist［ｉ］に対応するポイントＰ［ｉ］を求める（ステップＳ５４３０）。
【０１０７】
Ｐ［ｉ］＝sum／１６  …（１３）
次に、奥行き信号推定部１３は、次の式（１４）により、ステップＳ５４３０の処理で求めたＰ［ｉ］にリニアデータ［（Ｌｗ−Ｌｂ）×（ｉ＋１）／１６＋Ｌｂ］を付加したＱ［ｉ］を算出する（ステップＳ５４３５）。
【０１０８】
Ｑ［ｉ］＝Ｐ［ｉ］＋［（Ｌｗ−Ｌｂ）×（ｉ＋１）／１６＋Ｌｂ］  …（１４）
ここで、Ｌｗは所定の白レベル、Ｌｂは所定の黒レベルである。
【０１０９】
なお、奥行き信号推定部１３は、ステップＳ５４３５で求めたＱ［ｉ］を、一時的に図示しないメモリに保存する。
【０１１０】
奥行き信号推定部１３は、ステップＳ５４３５の処理が終了すると、インデックスｉを１インクリメントして（ステップＳ５４４０）、ステップＳ５４０５の処理に戻る。
【０１１１】
そして、奥行き信号推定部１３は、ｉ＝１５まで（ステップＳ５４０５“ＹＥＳ”）、前述したステップＳ５４０５〜Ｓ５４４０の処理を繰り返す。
【０１１２】
以上の処理によって、奥行き信号推定部１３は、図１１に示すようなポイントＱ［０］〜Ｑ［１５］を生成する。
【０１１３】
図１１において、横軸は、輝度信号（Ｙ入力）、縦軸は、出力輝度信号（Ｙ出力）を表しており、ポイントＱ［０］〜Ｑ［１５］を結ぶ曲線が階調補正曲線（ガンマ曲線）となる。ただし、図１１に示す階調補正曲線は、正規化前であり、Ｄを用いて正規化する必要があることも示している。なお、このＤは、後述する式（１４）により算出する値である。
【０１１４】
奥行き信号推定部１３は、図１０のステップＳ５４４５以降において、Ｑ［０］〜Ｑ［１５］の正規化処理を行う。
【０１１５】
奥行き信号推定部１３は、図１０のステップＳ５４３５の処理によりポイントＱ［１５］を求めると、続くステップＳ５４４０の処理により、ｉを１インクリメントする。これにより、ｉは１６となる。
【０１１６】
すると、奥行き信号推定部１３は、続くステップＳ５４０５の処理により、ｉは１６未満ではないと判定して（ステップＳ５４０５“ＮＯ”）、ステップＳ５４４５の処理に進み、次の式（１５）を用いて、所定の白レベルＬｗと現在の白レベル（Ｑ［１５］）との差分Ｄを求める。これは、現在の白レベル（Ｑ［１５］）を所定の白レベルＬｗに補正する必要があるからである。なお、本実施の形態では、所定の黒レベルＬｂ＝０としている。
【０１１７】
Ｄ＝Ｌｗ−Ｌｂ−Ｑ［１５］  …（１５）
次に、奥行き信号推定部１３は、再びｉ＝０に設定し（ステップＳ５４５０）、続いてｉが１６未満であるか否かを判定する（ステップＳ５４５５）。
【０１１８】
奥行き信号推定部１３は、ｉが１６よりも小さいと判断した場合には（ステップＳ５４５５“ＹＥＳ”）、ステップＳ５４４５の処理により現在の白レベルＱ［１５］を所定の白レベルＬｗに一致させたことで生じた差分Ｄに応じて、各ポイントＱ［ｉ］の白レベルを変更する補正、すなわち正規化処理を、次の式（１６）を用いて行う（ステップＳ５４６０）。これにより、階調補正曲線を構成するガンマデータであるポイントＲ［ｉ］が求められる。各ポイントＲ［ｉ］は、一時的に奥行き信号推定部１３内の図示しないメモリに保存される。
【０１１９】
Ｒ［ｉ］＝Ｑ［ｉ］＋Ｄ×（ｉ＋１）／１６＋Ｌｂ  …（１６）
そして、奥行き信号推定部１３は、ステップＳ５４６０の処理が終了すると、ｉを１インクリメントして（ステップＳ５４６５）、ステップＳ５４５５の処理に戻る。
【０１２０】
そして、奥行き信号推定部１３は、ｉ＝１５までステップＳ５４６０およびステップＳ５４６５の処理を繰り返す。
【０１２１】
そして、ステップＳ５４６０の処理によりＱ［１５］について正規化処理がされると、続くステップＳ５４６５の処理により、ｉが１６となるので、奥行き信号推定部１３は、ステップＳ５４５５において、ｉは１６未満ではないと判定する（ステップＳ５４５５“ＮＯ”）。これにより、ポイントＲ［０］〜Ｒ［１５］の生成が終了する。この後、奥行き信号推定部１３は、図５のステップＳ５５０へ進む。
【０１２２】
図１２は、本実施の形態における階調補正曲線の比較を示す図である。
【０１２３】
図１２（ａ）は、奥行き信号推定部１３が図７に示した輝度ヒストグラムデータを基に生成した階調補正曲線を示し、（ｂ）は奥行き信号推定部１３が図８に示した輝度ヒストグラムデータを基に生成した階調補正曲線を示している。
【０１２４】
図１２（ａ），（ｂ）において、破線により示す曲線９１ａ，９１ｂは、それぞれ、図５のステップＳ５２０の輝度ヒストグラム補正処理を行わなかった場合の階調補正曲線を示す。実線により示す曲線９２ａ，９２ｂは、図５のステップＳ５２０の輝度ヒストグラム補正処理を行った場合の階調補正曲線を示す。図１２（ａ），（ｂ）において、曲線９１ａ，９１ｂが、従来技術に相当する階調補正曲線を示している。
【０１２５】
図１２（ａ）では、曲線９１ａの場合、平坦な暗部に階調が割り振られる事で、黒浮きや階調段差を目立たせる要因となっていた。一方、曲線９２ａの場合、物体のある中間輝度近辺に多くの階調を割り振ることができ、平坦な暗部は黒いままで物体のコントラスト感を増すことができる。
【０１２６】
また、図１２（ｂ）では、曲線９１ｂの場合、平坦な明部に階調が割り振られる事で、物体が存在する中間輝度近辺はＹ入力に対して、値が小さく出力され、物体がやや暗くなってしまう要因となっていた。一方、曲線９２ｂの場合、物体のある中間輝度近辺に多くの階調を割り振ることができ、物体のコントラスト感を増すことができる。
【０１２７】
（ステップＳ５５０のガンマデータの正規化リミット処理の詳細）
奥行き信号推定部１３は、ステップＳ５４０で生成したＲ［０］〜Ｒ［１５］に対して、ステップＳ５５０において正規化リミット処理を行う。
【０１２８】
まず、奥行き信号推定部１３は、ガンマデータであるＲ［ｉ］と、リニアデータとの差分値Ｒsub［ｉ］を、次の式（１７）を用いて算出する。
【０１２９】
Ｒsub［ｉ］＝Ｒ［ｉ］−［２５６×（ｉ＋１）／１６］  …（１７）
なお、式（１７）において、ｉ＝０〜１５とする。
【０１３０】
また、Ｒsub［ｉ］の絶対値をＲsub_abs［ｉ］とし、Ｒsub_abs［ｉ］（ｉ＝０〜１５）の最大値をＲsub_maxとし、正規化リミット処理する際のリミット閾値をＲ_thとする。すると、Ｒsub_maxがＲ_thより大きい場合、奥行き信号推定部１３は、次の式（１８）を用いて正規化リミット処理し、Ｒsub［ｉ］（ｉ＝０〜１５）を補正する。
【０１３１】
Ｒsub［ｉ］＝Ｒsub［ｉ］×Ｒ_th／Ｒsub_max  …（１８）
なお、式（１８）において、ｉ＝０〜１５とする。
【０１３２】
その後、奥行き信号推定部１３は、次の式（１９）を用いて、Ｒsub［ｉ］と、リニアデータ［２５６×（ｉ＋１）／１６］との和を求め、補正後のＲ［ｉ］を生成する。その後、奥行き信号推定部１３は、ステップＳ５６０のリーク型積分処理へと進む。
【０１３３】
Ｒ［ｉ］＝Ｒsub［ｉ］＋［２５６×（ｉ＋１）／１６］  …（１９）
図１３（ａ）〜（ｄ）は、本実施の形態における階調補正曲線の正規化リミット処理前、正規化リミット処理後の一例を示す図である。
【０１３４】
図１３（ａ）に示す階調補正曲線１０１ａをリミット閾値Ｒ_thにより正規化リミット処理すると、図１３（ｂ）に示すような階調補正曲線１０１ｂが得られる。また、図１３（ｃ）に示す階調補正曲線１０１ｃをリミット閾値値Ｒ_thにより正規化リミット処理すると、図１３（ｄ）に示すような階調補正曲線１０１ｄが得られる。
【０１３５】
なお、前述したように、ステップＳ５５０のガンマデータの正規化リミット処理は省略しても良い。
【０１３６】
（ステップＳ５６０のリーク型積分処理の詳細）
次に、図５に示すステップＳ５６０のリーク型積分処理の詳細について説明する。
【０１３７】
図１４は、図５に示すステップＳ５６０のリーク型積分処理を実行するリーク型積分回路１３１の構成例を示すブロック図である。
【０１３８】
リーク型積分回路１３１は、ステップＳ５５０で生成された各ポイントＲ［ｉ］を入力とし、これにリーク型積分処理を施した出力データＲ_out［ｉ］を出力する。リーク型積分回路１３１は、奥行き信号推定部１３の中に設けられる。
【０１３９】
図１４に示すように、リーク型積分回路１３１は、加算器１３１１と、レジスタ群１３１２と、１５／１６乗算器１３１３と、１／１６乗算器１３１４とを有しており、時間方向にリーク型の積分処理を行うよう構成されている。
【０１４０】
リーク型積分回路１３１において、Ｒ［ｉ］が入力されると、レジスタ群１３１２内の１６個のレジスタ１３１２ａ〜１３１２ｐより順に出力されたデータに１５／１６乗算器１３１３にて１５／１６が乗算され、加算器１３１１にて加算される。
【０１４１】
この加算された結果がレジスタ群１３１２内の１６個のレジスタ１３１２ａ〜１３１２ｐに順に格納される。
【０１４２】
そしてレジスタ群１３１２内の１６個のレジスタ１３１２ａ〜１３１２ｐより順に出力されたデータに、１／１６乗算器１３１４にて１／１６を乗算したものが最終的な出力データＲ_out［ｉ］として出力される。
【０１４３】
このように、奥行き信号推定部１３は、ステップＳ５６０のリーク型積分処理を行うことにより、画像を緩やかに変化させ、より自然な画質を提供することができる。なお、前述したように、ステップＳ５６０のリーク型積分処理は省略しても良い。
【０１４４】
（ステップＳ５７０のガンマデータの補間データの作成処理）
次に、奥行き信号推定部１３は、ステップＳ５６０のリーク型積分処理を行ったガンマデータに対し、ステップＳ５７０により補間データの作成処理を行う。
【０１４５】
つまり、奥行き信号推定部１３は、ステップＳ５７０の処理により、ステップＳ５６０で生成したリーク型積分処理後のＲ_out［ｉ］（ｉ＝０〜１５）を補間データにより直線補間して、後述する図１５（ａ）に示すような階調補正曲線を生成する。
【０１４６】
（ステップＳ５８０の奥行き信号算出処理）
そして、奥行き信号推定部１３は、ステップＳ５８０の奥行き信号算出処理により、ステップＳ５７０の処理により補間データにより直線補間された出力輝度信号（Ｙ_out（ｊ）（ｊ＝０〜２５５））を示す階調補正曲線と、リニアデータである入力輝度信号（ｊ（＝０〜２５５））との差分値を、奥行き信号であるシフト量Ｓ（ｊ）として次の式（２０）を用いて算出する。
【０１４７】
Ｓ（ｊ）＝Ｙ_out（ｊ）−ｊ  …（２０）
この式（２０）のシフト量Ｓ（ｊ）（ｊ＝０〜２５５）が、奥行きを決定する奥行き信号として奥行き信号推定部１３から出力される。
【０１４８】
以上のような処理により、本実施の形態の奥行き信号生成装置１は、奥行き信号であるシフト量Ｓを生成して、ステレオペア生成装置２へ出力する。
【０１４９】
図１５は、本実施の形態におけるシフト量Ｓの算出の一例を示す説明図である。
【０１５０】
図１５（ａ）は、入力輝度信号（ｊ（＝０〜２５５））と、出力輝度信号（Ｙ_out（ｊ）（ｊ＝０〜２５５））との関係、すなわちステップＳ５７０の処理により補間データにより直線補間された階調補正曲線１１１の一例を示す図である。また、図１５（ｂ）は、入力輝度信号（ｊ）と、図１５（ａ）に示す本実施の形態により最終的に生成された階調補正曲線１１１に基づくシフト量Ｓ（ｊ）との関係を示す図である。
【０１５１】
つまり、入力輝度信号（ｊ）の奥行き信号であるシフト量Ｓ（ｊ）は、図１５（ａ）に示す階調補正曲線１１１に基づいて決まることになる。
【０１５２】
以上説明したように、本実施の形態の奥行き信号生成装置１は、非立体画像の映像信号の輝度レベルの空間的な情報を考慮した輝度レベルヒストグラム分布に応じて、輝度レベルの分布の多い輝度レベル近傍では階調補正曲線の傾斜を増大させる一方、輝度レベルの分布の少ない輝度レベル近傍は階調補正曲線の傾斜を減少させる等の補正をした階調補正曲線を生成し、この階調補正曲線に基づき非立体画像の映像信号の奥行き信号を推定する。これにより、奥行き信号生成装置１は、画面（視野）上において面積の多い、すなわち輝度レベルの分布が広い輝度レベルには奥行き方向の階調を配分することができる。この結果、奥行き信号生成装置１によれば、非立体画像から生成される擬似的な立体化画像において、画面全体として擬似的な立体感を向上させることが可能となる。
【０１５３】
なお、本実施の形態の奥行き信号生成装置１では、奥行き信号推定部１３は、図９に示すように、式（１０）により求めた分散値ＳＳに基づきゲイン補正値Ｇssを変更するように説明したが、本発明では、これに限らず、分散値ＳＳ以外のパラメータに基づきゲイン補正値Ｇssを変更するようにしても勿論よい。
【０１５４】
≪ステレオペア生成装置２の動作の一例≫
ステレオペア生成装置２では、奥行き信号生成装置１により生成された階調補正曲線に基づいて推定された奥行き信号と、映像信号とを基に、別視点の画像を生成する。例えば、左に視点移動する場合、画面より手前に表示するものについては、近い物ほど画像を見る者の内側（鼻側）に見えるので、内側すなわち右に対応部分のテクスチャを奥行きに応じた量だけ移動する。これに対し、画面より奥に表示するものについては、近い物ほど画像を見る者の外側に見えるので、左に対応部分のテクスチャを奥行きに応じた量だけ移動する。これを左目画像、原画を右目画像とすることでステレオペアが構成される。
【０１５５】
つまり、図１に示す本実施の形態のステレオペア生成装置２では、まず、テクスチャシフト部２１が奥行き信号生成装置１の奥行き信号推定部１３から出力された奥行き信号について、小さい値、すなわち奥に位置するものから順に、その値に対応する部分の映像信号のテクスチャを、奥行き信号が示すシフト量Ｓ画素分だけ、例えば右にシフトする。なお、奥行き信号が負の場合には、奥行き信号が示すそのシフト量Ｓ画素分だけ左へシフトする。
【０１５６】
テクスチャシフト部２１における奥行き信号が示すそのシフト量Ｓに基づく映像信号のテクスチャのシフト動作は、非立体画像の映像信号のテクスチャのシフトに対応するものである。換言するならば、非立体画像の各画素を、奥行き信号の値であるシフト量Ｓの値に応じてそれぞれを左右に移動する処理である。
【０１５７】
ここで、シフトを行うことによる画像中の位置関係の変化により、テクスチャの存在しない部分、すなわちオクルージョンが発生する場合がある。このような部分については、オクルージョン補償部２２が、映像信号の対応部分周辺の映像信号により充填するか、若しくは公知の文献（山田邦男，望月研二，相澤清晴，齊藤隆弘：“領域競合法により分割された画像のテクスチャの統計量に基づくオクルージョン補償”,映情学誌,Vol.56,No.5,pp.863-866(2002.5)）等に記載の手法で充填する。
【０１５８】
オクルージョン補償部２２にてオクルージョン補償された画像は、ポスト処理部２３により平滑化などのポスト処理を施すことにより、それ以前の処理において発生したノイズなどを軽減し、左目画像信号生成部２４が左目画像信号として出力する。その一方、右目画像信号生成部２５は、映像信号を右目画像信号として出力する。
【０１５９】
このようにして、ステレオペア生成装置２は、奥行き信号生成装置１により生成された階調補正曲線に基づいて推定した奥行き信号と、映像信号とを基に、左目画像信号と右目画像信号とのステレオペアを生成することができる。そして、これらの左目画像信号と右目画像信号は、ステレオ表示装置３へ出力される。
【０１６０】
ステレオペア生成装置２と奥行き信号生成装置１とにより、本実施の形態の擬似立体画像信号生成装置が構成される。この擬似立体画像信号生成装置によれば、非立体画像から上記ステレオペアを生成し、このステレオペアにより、画面全体として擬似的な立体感を向上させた擬似立体画像をステレオ表示装置３に表示させることが可能となる。
【０１６１】
なお、ステレオペアに関して、左右反転することで左目画像信号を原画、右目画像信号を別視点画像のステレオペアを構成してもよい。また、上記処理においては、右目画像信号もしくは左目画像信号のどちらかを映像信号、他方を生成された別視点画像信号とするようなステレオペアを構成しているが、左右どちらについても別視点画像信号を用いる、すなわち、右に視点移動した別視点画像信号と左に視点移動した別視点画像信号とを用いてステレオペアを構成することも可能である。
【０１６２】
≪ステレオ表示装置３の動作の一例≫
そして、図１に示す本実施の形態のステレオ表示装置３は、例えば、偏光メガネを用いたプロジェクションシステム、あるいは時分割表示と液晶シャッタメガネを組み合わせたプロジェクションシステム若しくはディスプレイシステム、レンチキュラ方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイなどや、ステレオ画像の各画像に対応した２台のプロジェクタによるプロジェクタシステムであり、ステレオペア生成装置２によって生成された左目画像信号と、右目画像信号とを入力してディスプレイ等に表示して、擬似立体画像を表示する。
【０１６３】
なお、上記実施の形態の説明では、ステレオペア生成装置２として左目画像信号と右目画像信号の２視点での例を説明したが、本発明では、これに限らず、２視点以上の表示が可能な表示装置にて表示する場合には、その視点数に応じた数の別視点画像を生成するように構成しても勿論よい。
【０１６４】
また、上記のように２視点以上の表示が可能な表示装置を用いた多視点立体画像表示システムの構築も可能である。また、本立体表示システムにおいては音声出力を装備する形態のものも考えられる。この場合、静止画等音声情報を持たない画像コンテンツについては、画像にふさわしい環境音を付加するような態様のものが考えられる。
【０１６５】
また、本実施の形態では、図１に示すように、奥行き信号生成装置１と、ステレオペア生成装置２と、ステレオ表示装置３とをハードウエアにより構成して説明したが、本発明では、ハードウエアにより構成したものに限定されるものではなく、例えば、ＣＰＵと、そのＣＰＵを前述のように動作させるためのコンピュータプログラムのソフトウェアにより奥行き信号生成装置１、ステレオペア生成装置２およびステレオ表示装置３の機能を達成するようにしても勿論よい。この場合、コンピュータプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもようにしても良い。
【０１６６】
以上、本発明を一実施の形態によって説明したが、上記実施の形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、この発明の技術的思想は、構成物品の材質、形状、構造、配置等を下記のものに特定するものでない。この発明の技術的思想は、特許請求の範囲において種々の変更を加えることができる。
【符号の説明】
【０１６７】
１    奥行き信号生成装置
１１  ローパスフィルタ
１２  画像特徴生成部
１２１  輝度ヒストグラムデータ生成部（輝度ヒストグラム生成手段）
１２２  高周波成分ヒストグラムデータ生成部（高周波成分ヒストグラム生成手段）
１３  奥行き信号推定部（輝度ヒストグラムデータ補正手段、ゲイン算出手段、階調補正曲線生成手段、奥行き信号生成手段）
２    ステレオペア生成装置
２１  テクスチャシフト部
２２  オクルージョン補償部
２３  ポスト処理部
２４  左目画像信号生成部
２５  右目画像信号生成部
３    ステレオ表示装置
【図１】
2012084961.tif 000005
【図２】
2012084961.tif 000006
【図３】
2012084961.tif 000007
【図４】
2012084961.tif 000008
【図５】
2012084961.tif 000009
【図６】
2012084961.tif 000010
【図７】
2012084961.tif 000011
【図８】
2012084961.tif 000012
【図９】
2012084961.tif 000013
【図１０】
2012084961.tif 000014
【図１１】
2012084961.tif 000015
【図１２】
2012084961.tif 000016
【図１３】
2012084961.tif 000017
【図１４】
2012084961.tif 000018
【図１５】
2012084961.tif 000019