(57)【要約】【課題】記憶容量を増大させずに、非立体画像の映像信号からより精度の高い擬似的な立体化画像の映像信号を生成することができる奥行きデータ生成装置等を提供する。【解決手段】色頻度検出部１１は、色差平面におけるＸ軸とＹ軸との交点を中心とする回転方向の角度範囲を１つの色軸範囲とし、この色軸範囲を複数設定し、それぞれの色軸範囲内に含まれる非立体画像の映像信号のフィールドごと又はフレームごとの各画素の出現頻度を表す色頻度を検出し、データ処理部１２は、色軸範囲ごとに設定されるシフト量特性における、シフト量の限度値となるシフトリミットを色頻度に基づいて算出して、このシフトリミットをシフト量特性に設定し、奥行きデータ推定部１３は、シフト量特性と、非立体画像の映像信号における各画素の彩度とに基づいて、色軸範囲ごとに各画素の奥行きデータであるシフト量を算出する。【選択図】図１
2012060381.tif 000002
【特許請求の範囲】
【請求項１】
非立体画像の映像信号における第１及び第２の色差信号の一方の色差信号のレベルをＸ軸、他方の色差信号のレベルを前記Ｘ軸と直交するＹ軸とする色差平面において、前記Ｘ軸と前記Ｙ軸との交点を中心とする回転方向の角度範囲を１つの色軸範囲とし、この色軸範囲を複数設定し、それぞれの色軸範囲内に含まれる前記非立体画像の映像信号のフィールドごと又はフレームごとの各画素の出現頻度を表す色頻度を検出する色頻度検出手段と、
それぞれの前記色軸範囲に応じて設定される、前記非立体画像の映像信号から擬似立体画像信号を生成するための奥行きデータであるシフト量の彩度に対する特性であるシフト量特性における、前記シフト量の限度値となるシフトリミットを前記色頻度に基づいて算出し、前記シフトリミットを前記シフト量特性に設定するシフトリミット算出手段と、
前記非立体画像の映像信号における各画素の彩度を算出する彩度算出手段と、
前記シフト量特性と、前記彩度算出手段で算出された前記彩度とを用いて、前記色軸範囲ごとに各画素の前記シフト量を算出するシフト量算出手段と
を備えることを特徴とする奥行きデータ生成装置。
【請求項２】
前記シフトリミット算出手段は、前記色頻度の所定範囲において、前記色頻度が大きくなるに従い、前記シフトリミットを大きくすることを特徴とする請求項１に記載の奥行きデータ生成装置。
【請求項３】
請求項１または請求項２に記載の奥行きデータ生成装置と、
前記奥行きデータ生成装置で算出された前記シフト量と、前記非立体画像の映像信号とに基づいて、前記非立体画像の映像信号のテクスチャをシフトすることにより左目画像信号と右目画像信号とのステレオペアを擬似立体画像信号として生成するステレオペア生成装置と
を備えることを特徴とする擬似立体画像信号生成装置。
【請求項４】
非立体画像の映像信号における第１及び第２の色差信号の一方の色差信号のレベルをＸ軸、他方の色差信号のレベルを前記Ｘ軸と直交するＹ軸とする色差平面において、前記Ｘ軸と前記Ｙ軸との交点を中心とする回転方向の角度範囲を１つの色軸範囲とし、この色軸範囲を複数設定し、それぞれの色軸範囲内に含まれる前記非立体画像の映像信号のフィールドごと又はフレームごとの各画素の出現頻度を表す色頻度を検出するステップと、
それぞれの前記色軸範囲に応じて設定される、前記非立体画像の映像信号から擬似立体画像信号を生成するための奥行きデータであるシフト量の彩度に対する特性であるシフト量特性における、前記シフト量の限度値となるシフトリミットを前記色頻度に基づいて算出し、前記シフトリミットを前記シフト量特性に設定するステップと、
前記非立体画像の映像信号における各画素の彩度を算出するステップと、
前記シフト量特性と、前記彩度を算出するステップで算出された前記彩度とを用いて、前記色軸範囲ごとに各画素の前記シフト量を算出するステップと
を含むことを特徴とする奥行きデータ生成方法。
【請求項５】
前記シフトリミットを前記シフト量特性に設定するステップは、前記色頻度の所定範囲において、前記色頻度が大きくなるに従い、前記シフトリミットを大きくすることを特徴とする請求項４に記載の奥行きデータ生成方法。
【請求項６】
非立体画像の映像信号における第１及び第２の色差信号の一方の色差信号のレベルをＸ軸、他方の色差信号のレベルを前記Ｘ軸と直交するＹ軸とする色差平面において、前記Ｘ軸と前記Ｙ軸との交点を中心とする回転方向の角度範囲を１つの色軸範囲とし、この色軸範囲を複数設定し、それぞれの色軸範囲内に含まれる前記非立体画像の映像信号のフィールドごと又はフレームごとの各画素の出現頻度を表す色頻度を検出するステップと、
それぞれの前記色軸範囲に応じて設定される、前記非立体画像の映像信号から擬似立体画像信号を生成するための奥行きデータであるシフト量の彩度に対する特性であるシフト量特性における、前記シフト量の限度値となるシフトリミットを前記色頻度に基づいて算出し、前記シフトリミットを前記シフト量特性に設定するステップと、
前記非立体画像の映像信号における各画素の彩度を算出するステップと、
前記シフト量特性と、前記彩度を算出するステップで算出された前記彩度とを用いて、前記色軸範囲ごとに各画素の前記シフト量を算出するステップと、
前記シフト量を算出するステップで算出された前記シフト量と、前記非立体画像の映像信号とに基づいて、前記非立体画像の映像信号のテクスチャをシフトすることにより左目画像信号と右目画像信号とのステレオペアを擬似立体画像信号として生成するステップと
を含むことを特徴とする擬似立体画像信号生成方法。
【請求項７】
非立体画像の映像信号における第１及び第２の色差信号の一方の色差信号のレベルをＸ軸、他方の色差信号のレベルを前記Ｘ軸と直交するＹ軸とする色差平面において、前記Ｘ軸と前記Ｙ軸との交点を中心とする回転方向の角度範囲を１つの色軸範囲とし、この色軸範囲を複数設定し、それぞれの色軸範囲内に含まれる前記非立体画像の映像信号のフィールドごと又はフレームごとの各画素の出現頻度を表す色頻度を検出するステップと、
それぞれの前記色軸範囲に応じて設定される、前記非立体画像の映像信号から擬似立体画像信号を生成するための奥行きデータであるシフト量の彩度に対する特性であるシフト量特性における、前記シフト量の限度値となるシフトリミットを前記色頻度に基づいて算出し、前記シフトリミットを前記シフト量特性に設定するステップと、
前記非立体画像の映像信号における各画素の彩度を算出するステップと、
前記シフト量特性と、前記彩度を算出するステップで算出された前記彩度とを用いて、前記色軸範囲ごとに各画素の前記シフト量を算出するステップと
をコンピュータに実行させるための奥行きデータ生成プログラム。
【請求項８】
前記シフトリミットを前記シフト量特性に設定するステップは、前記色頻度の所定範囲において、前記色頻度が大きくなるに従い、前記シフトリミットを大きくすることを特徴とする請求項７に記載の奥行きデータ生成プログラム。
【請求項９】
非立体画像の映像信号における第１及び第２の色差信号の一方の色差信号のレベルをＸ軸、他方の色差信号のレベルを前記Ｘ軸と直交するＹ軸とする色差平面において、前記Ｘ軸と前記Ｙ軸との交点を中心とする回転方向の角度範囲を１つの色軸範囲とし、この色軸範囲を複数設定し、それぞれの色軸範囲内に含まれる前記非立体画像の映像信号のフィールドごと又はフレームごとの各画素の出現頻度を表す色頻度を検出するステップと、
それぞれの前記色軸範囲に応じて設定される、前記非立体画像の映像信号から擬似立体画像信号を生成するための奥行きデータであるシフト量の彩度に対する特性であるシフト量特性における、前記シフト量の限度値となるシフトリミットを前記色頻度に基づいて算出し、前記シフトリミットを前記シフト量特性に設定するステップと、
前記非立体画像の映像信号における各画素の彩度を算出するステップと、
前記シフト量特性と、前記彩度を算出するステップで算出された前記彩度とを用いて、前記色軸範囲ごとに各画素の前記シフト量を算出するステップと、
前記シフト量を算出するステップで算出された前記シフト量と、前記非立体画像の映像信号とに基づいて、前記非立体画像の映像信号のテクスチャをシフトすることにより左目画像信号と右目画像信号とのステレオペアを擬似立体画像信号として生成するステップと
をコンピュータに実行させるための擬似立体画像信号生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像の映像信号から奥行きデータを生成する奥行きデータ生成装置、奥行きデータ生成方法、奥行きデータ生成プログラム、およびこの奥行きデータを用いて擬似立体画像信号を生成する擬似立体画像信号生成装置、擬似立体画像信号生成方法、擬似立体画像信号生成プログラムに関する。
【背景技術】
【０００２】
通常の静止画もしくは動画、すなわち立体を表す為の奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像の映像信号から擬似的な立体化画像の映像信号を生成する処理を行う擬似立体画像信号生成装置として、例えば、奥行きに応じた輪郭線を断面とするチューブを構成することを前提とする遠近法ベースのアプローチによる三次元画像データ作成方法が知られている（例えば、特許文献１参照）。また、できる限り現実に近いシーン構造の決定を行うために、基本となる複数種類のシーン構造のそれぞれについて奥行き値を示す複数種類の基本奥行きモデルを用い、所定の画像サイズにスケーリングした非立体画像を用いて、上部の高域成分評価部と下部の高域成分評価部からの入力非立体画像の高域成分評価値に応じて合成比率を決定し、その合成比率に応じて複数種類の基本奥行きモデルを合成し、加算器において、合成した基本奥行きモデルと非立体画像のＲ信号とを重畳した後、再びスケーリングして最終的な奥行きデータを生成し、この奥行きデータをもとにした処理を非立体画像の映像信号に施すことで、立体感を感じさせる別視点画像の映像信号を生成して出力する擬似立体画像信号生成装置が知られている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−１８５７１２号公報
【特許文献２】特開２００６−１８６５１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の三次元画像データ作成方法では、遠近法を基本として三次元画像データを作成しているため、実際には入力される様々な非立体画像のすべてのシーンに対して遠近法的な構造推定が適合するとは限らないので、効果は限定的であるという問題がある。また、遠近法的な構造推定が適合する場合であっても、自動的に正しい奥行き構造モデルを構成して違和感の無い立体視を実現させることは容易でないという問題もある。
【０００５】
また、特許文献２に記載の奥行きデータ生成装置等では、予め基本となる基本奥行きモデルを複数種類記憶しておくため、より精度の高い擬似的な立体化画像の映像信号を生成しようとすると、基本奥行きモデルの数が増えることになり、記憶容量が増大するという問題がある。
【０００６】
本発明は上記に鑑みてなされたもので、記憶容量を増大させずに、非立体画像の映像信号からより精度の高い擬似的な立体化画像の映像信号を生成することができる奥行きデータ生成装置、擬似立体画像信号生成装置、奥行きデータ生成方法、擬似立体画像信号生成方法、奥行きデータ生成プログラム、擬似立体画像信号生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の態様は、下記（１），（２）の構成を有する奥行きデータ生成装置、下記（３）の構成を有する擬似立体画像信号生成装置、下記（４），（５）の構成を有する奥行きデータ生成方法、下記（６）の構成を有する擬似立体画像信号生成方法、下記（７），（８）の構成を有する、奥行きデータ生成プログラム、下記（９）の構成を有する擬似立体画像信号生成プログラムを提供する。
【０００８】
（１）
非立体画像の映像信号における第１及び第２の色差信号の一方の色差信号のレベルをＸ軸、他方の色差信号のレベルを前記Ｘ軸と直交するＹ軸とする色差平面において、前記Ｘ軸と前記Ｙ軸との交点を中心とする回転方向の角度範囲を１つの色軸範囲とし、この色軸範囲を複数設定し、それぞれの色軸範囲内に含まれる前記非立体画像の映像信号のフィールドごと又はフレームごとの各画素の出現頻度を表す色頻度を検出する色頻度検出手段と、
それぞれの前記色軸範囲に応じて設定される、前記非立体画像の映像信号から擬似立体画像信号を生成するための奥行きデータであるシフト量の彩度に対する特性であるシフト量特性における、前記シフト量の限度値となるシフトリミットを前記色頻度に基づいて算出し、前記シフトリミットを前記シフト量特性に設定するシフトリミット算出手段と、
前記非立体画像の映像信号における各画素の彩度を算出する彩度算出手段と、
前記シフト量特性と、前記彩度算出手段で算出された前記彩度とを用いて、前記色軸範囲ごとに各画素の前記シフト量を算出するシフト量算出手段と
を備えることを特徴とする奥行きデータ生成装置。
【０００９】
（２）
前記シフトリミット算出手段は、前記色頻度の所定範囲において、前記色頻度が大きくなるに従い、前記シフトリミットを大きくすることを特徴とする（１）に記載の奥行きデータ生成装置。
【００１０】
（３）
（１）または（２）に記載の奥行きデータ生成装置と、
前記奥行きデータ生成装置で算出された前記シフト量と、前記非立体画像の映像信号とに基づいて、前記非立体画像の映像信号のテクスチャをシフトすることにより左目画像信号と右目画像信号とのステレオペアを擬似立体画像信号として生成するステレオペア生成装置と
を備えることを特徴とする擬似立体画像信号生成装置。
【００１１】
（４）
非立体画像の映像信号における第１及び第２の色差信号の一方の色差信号のレベルをＸ軸、他方の色差信号のレベルを前記Ｘ軸と直交するＹ軸とする色差平面において、前記Ｘ軸と前記Ｙ軸との交点を中心とする回転方向の角度範囲を１つの色軸範囲とし、この色軸範囲を複数設定し、それぞれの色軸範囲内に含まれる前記非立体画像の映像信号のフィールドごと又はフレームごとの各画素の出現頻度を表す色頻度を検出するステップと、
それぞれの前記色軸範囲に応じて設定される、前記非立体画像の映像信号から擬似立体画像信号を生成するための奥行きデータであるシフト量の彩度に対する特性であるシフト量特性における、前記シフト量の限度値となるシフトリミットを前記色頻度に基づいて算出し、前記シフトリミットを前記シフト量特性に設定するステップと、
前記非立体画像の映像信号における各画素の彩度を算出するステップと、
前記シフト量特性と、前記彩度を算出するステップで算出された前記彩度とを用いて、前記色軸範囲ごとに各画素の前記シフト量を算出するステップと
を含むことを特徴とする奥行きデータ生成方法。
【００１２】
（５）
前記シフトリミットを前記シフト量特性に設定するステップは、前記色頻度の所定範囲において、前記色頻度が大きくなるに従い、前記シフトリミットを大きくすることを特徴とする（４）に記載の奥行きデータ生成方法。
【００１３】
（６）
非立体画像の映像信号における第１及び第２の色差信号の一方の色差信号のレベルをＸ軸、他方の色差信号のレベルを前記Ｘ軸と直交するＹ軸とする色差平面において、前記Ｘ軸と前記Ｙ軸との交点を中心とする回転方向の角度範囲を１つの色軸範囲とし、この色軸範囲を複数設定し、それぞれの色軸範囲内に含まれる前記非立体画像の映像信号のフィールドごと又はフレームごとの各画素の出現頻度を表す色頻度を検出するステップと、
それぞれの前記色軸範囲に応じて設定される、前記非立体画像の映像信号から擬似立体画像信号を生成するための奥行きデータであるシフト量の彩度に対する特性であるシフト量特性における、前記シフト量の限度値となるシフトリミットを前記色頻度に基づいて算出し、前記シフトリミットを前記シフト量特性に設定するステップと、
前記非立体画像の映像信号における各画素の彩度を算出するステップと、
前記シフト量特性と、前記彩度を算出するステップで算出された前記彩度とを用いて、前記色軸範囲ごとに各画素の前記シフト量を算出するステップと、
前記シフト量を算出するステップで算出された前記シフト量と、前記非立体画像の映像信号とに基づいて、前記非立体画像の映像信号のテクスチャをシフトすることにより左目画像信号と右目画像信号とのステレオペアを擬似立体画像信号として生成するステップと
を含むことを特徴とする擬似立体画像信号生成方法。
【００１４】
（７）
非立体画像の映像信号における第１及び第２の色差信号の一方の色差信号のレベルをＸ軸、他方の色差信号のレベルを前記Ｘ軸と直交するＹ軸とする色差平面において、前記Ｘ軸と前記Ｙ軸との交点を中心とする回転方向の角度範囲を１つの色軸範囲とし、この色軸範囲を複数設定し、それぞれの色軸範囲内に含まれる前記非立体画像の映像信号のフィールドごと又はフレームごとの各画素の出現頻度を表す色頻度を検出するステップと、
それぞれの前記色軸範囲に応じて設定される、前記非立体画像の映像信号から擬似立体画像信号を生成するための奥行きデータであるシフト量の彩度に対する特性であるシフト量特性における、前記シフト量の限度値となるシフトリミットを前記色頻度に基づいて算出し、前記シフトリミットを前記シフト量特性に設定するステップと、
前記非立体画像の映像信号における各画素の彩度を算出するステップと、
前記シフト量特性と、前記彩度を算出するステップで算出された前記彩度とを用いて、前記色軸範囲ごとに各画素の前記シフト量を算出するステップと
をコンピュータに実行させるための奥行きデータ生成プログラム。
【００１５】
（８）
前記シフトリミットを前記シフト量特性に設定するステップは、前記色頻度の所定範囲において、前記色頻度が大きくなるに従い、前記シフトリミットを大きくすることを特徴とする（７）に記載の奥行きデータ生成プログラム。
【００１６】
（９）
非立体画像の映像信号における第１及び第２の色差信号の一方の色差信号のレベルをＸ軸、他方の色差信号のレベルを前記Ｘ軸と直交するＹ軸とする色差平面において、前記Ｘ軸と前記Ｙ軸との交点を中心とする回転方向の角度範囲を１つの色軸範囲とし、この色軸範囲を複数設定し、それぞれの色軸範囲内に含まれる前記非立体画像の映像信号のフィールドごと又はフレームごとの各画素の出現頻度を表す色頻度を検出するステップと、
それぞれの前記色軸範囲に応じて設定される、前記非立体画像の映像信号から擬似立体画像信号を生成するための奥行きデータであるシフト量の彩度に対する特性であるシフト量特性における、前記シフト量の限度値となるシフトリミットを前記色頻度に基づいて算出し、前記シフトリミットを前記シフト量特性に設定するステップと、
前記非立体画像の映像信号における各画素の彩度を算出するステップと、
前記シフト量特性と、前記彩度を算出するステップで算出された前記彩度とを用いて、前記色軸範囲ごとに各画素の前記シフト量を算出するステップと、
前記シフト量を算出するステップで算出された前記シフト量と、前記非立体画像の映像信号とに基づいて、前記非立体画像の映像信号のテクスチャをシフトすることにより左目画像信号と右目画像信号とのステレオペアを擬似立体画像信号として生成するステップと
をコンピュータに実行させるための擬似立体画像信号生成プログラム。
【発明の効果】
【００１７】
本発明によれば、記憶容量を増大させずに、非立体画像の映像信号からより精度の高い擬似的な立体化画像の映像信号を生成することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明に係る奥行きデータ生成装置および擬似立体画像信号生成装置の実施の形態の構成例を示すブロック図である。
【図２】色頻度検出部が色頻度検出を行う１フィールド又は１フレームである画面内に設けられた所定の判定領域を示す説明図である。
【図３】色頻度検出部の構成例を示すブロック図である。
【図４】色頻度検出部が色頻度を検出する際の色差平面における各色の色軸範囲の一例を示す図である。
【図５】図４に示す色頻度の頻度量をグラフ化したものである。
【図６】データ処理部の構成例を示す説明図である。
【図７】ゲインＧｌｉｍの算出例を示す図である。
【図８】シフトリミット処理回路の構成例を示す図である。
【図９】奥行きデータ推定部の構成例を示すブロック図である。
【図１０】Ｂ−ＹをＸ軸（横軸）、Ｒ−ＹをＹ軸（縦軸）とする色差平面の一例を示す説明図である。
【図１１】奥行きデータ推定部のシフト量算出部で用いる補正関数の説明図である。
【図１２】シフト量特性の一例を示す図である。
【発明を実施するための形態】
【００１９】
次に、本発明に係る奥行きデータ生成装置、擬似立体画像信号生成装置、奥行きデータ生成方法、擬似立体画像信号生成方法、奥行きデータ生成プログラム、擬似立体画像信号生成プログラムの実施の形態について説明する。なお、下記の説明では、擬似立体画像信号生成装置は、奥行きデータ生成装置とステレオ生成装置とを有する。
【００２０】
〈実施の形態〉
以下、本発明に係る奥行きデータ生成装置および擬似立体画像信号生成装置について、図面を参照して説明する。
【００２１】
図１は、本発明に係る奥行きデータ生成装置および擬似立体画像信号生成装置の実施の形態の構成例を示すブロック図である。
【００２２】
図１に示すように、本実施の形態の擬似立体画像信号生成装置は、奥行きデータ生成装置１と、ステレオペア生成装置２とを有しており、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられておらず、時系列的に連続した複数の画像で構成された非立体画像の映像信号（輝度信号Ｙ、色差信号Ｂ−Ｙ，Ｒ−Ｙ）から、左目画像信号と右目画像信号とからなるステレオペア（擬似立体画像信号）を生成して、ステレオ表示装置３に対しステレオペアを出力するように構成されている。
【００２３】
奥行きデータ生成装置１は、非立体画像の映像信号から擬似立体画像信号を生成するための奥行きデータであるシフト量を算出するものであり、色頻度検出部（色頻度検出手段）１１と、データ処理部１２と、奥行きデータ推定部１３と、記憶部１４とを有している。
【００２４】
色頻度検出部１１は、非立体画像の映像信号における第１及び第２の色差信号の一方の色差信号のレベルをＸ軸、他方の色差信号のレベルをＸ軸と直交するＹ軸とする色差平面において、Ｘ軸とＹ軸との交点を中心とする回転方向の角度範囲を１つの色軸範囲とし、この色軸範囲を複数設定し、それぞれの色軸範囲内に含まれる上記映像信号のフィールドごと又はフレームごとの各画素の出現頻度を表す色頻度を検出する。色頻度検出部１１の詳細については後述する。
【００２５】
データ処理部１２は、色頻度検出部１１で検出された色頻度に基づいて、後述の奥行きデータ推定部１３で１〜ｎ軸の色軸範囲ごとのシフト量Ｓ１〜Ｓｎを求める際に用いるシフトリミットｌｉｍを算出する。また、データ処理部１２は、後述のシフトポイントｐ１〜ｐ４を色軸範囲ごとに設定する。データ処理部１２の詳細については後述する。
【００２６】
奥行きデータ推定部１３は、非立体画像の映像信号における各画素の彩度を算出し、算出した彩度と後述のシフト量特性とを用いて、１〜ｎ軸の色軸範囲ごとに各画素の奥行きデータであるシフト量Ｓ１〜Ｓｎを算出する。奥行きデータ推定部１３の詳細については後述する。
【００２７】
記憶部１４は、データ処理部１２にて使用される色軸範囲ごとのシフトリミットの初期値ｌｉｍ０を予め記憶する。なお、この初期値ｌｉｍ０は、データ処理部１２内に予め記憶されていても勿論よく、この場合には、記憶部１４は省略できる。
【００２８】
ステレオペア生成装置２は、奥行きデータ生成装置１の奥行きデータ推定部１３で生成されたシフト量Ｓ１〜Ｓｎに基づいて、非立体画像の映像信号のテクスチャをシフトするテクスチャシフト部２１と、オクルージョンを補償するオクルージョン補償部２２と、ポスト処理を行うポスト処理部２３と、左目画像信号と右目画像信号とのステレオペアを生成するステレオペア生成部２４とを有している。
【００２９】
ステレオ表示装置３は、ステレオペア生成装置２で生成されたステレオペアに基づいて、擬似的な立体化画像を画面に表示する。
【００３０】
≪色頻度検出部１１の構成および動作の一例≫
次に、色頻度検出部１１の構成および動作の一例について説明する。
【００３１】
図２は、色頻度検出部１１が色頻度検出を行う１フィールド又は１フレームである画面ｆ内に設けられた所定の判定領域ｆａを示す説明図である。
【００３２】
つまり、本実施の形態では、色頻度検出部１１は、例えば、色の範囲を指定して映像信号のレベルから色頻度検出を行う色頻度検出枠として、１フィールド又は１フレームである画面ｆ全体ではなく、画面ｆ内に設けられた所定の判定領域ｆａを設定している。なお、所定の判定領域ｆａの広さは任意であり、１フィールド又は１フレームである画面ｆとすることも可能である。
【００３３】
図３は、色頻度検出部１１の構成例を示すブロック図である。
【００３４】
図３に示すように、色頻度検出部１１は、色相比較器１１１と、彩度比較器１１２と、論理積（ＡＮＤ）ゲート１１３と、カウンタ１１４と、レジスタ１１５とを有している。
【００３５】
ここで、色相比較器１１１は、映像信号における色相が指定の範囲、すなわちＬ０−Ｌ１≦色相＜Ｌ０＋Ｌ２（ただし、Ｌ０，Ｌ１，Ｌ２は、任意の色相の値で、後述の図１０に示す等色相線の値である）の式を満足するか否かを判断する。色相比較器１１１は、色相がＬ０−Ｌ１≦色相＜Ｌ０＋Ｌ２を満足する場合には“１”を出力し、満足しない場合には“０”を出力する。
【００３６】
彩度比較器１１２は、映像信号における彩度が所定の閾値（例えば、後述するシフトポイントｐ１等と等しい値が好ましいが、これに限定するものではない）より大きいか否かを判断する。彩度比較器１１２は、所定の閾値より大きい場合には“１”を出力し、所定の閾値より小さい場合には“０”を出力する。
【００３７】
論理積（ＡＮＤ）ゲート１１３は、色相比較器１１１の出力と、彩度比較器１１２の出力との論理積（ＡＮＤ）をとり、その結果をカウンタ１１４へ出力する。
【００３８】
カウンタ１１４は、論理積ゲート１１３の出力をカウントアップし、そのカウント値を１ずつインクリメントする。これにより、カウンタ１１４のカウント値は、色相比較器１１１の条件を満たす色相レベル領域に含まれ、且つ、彩度レベルが彩度比較器１１２の条件を満たした画素の総数を示すことになる。このカウンタ値が、色頻度のデータになる。
【００３９】
レジスタ１１５は、カウンタ１１４のカウント値を保持して、そのカウンタ値を色頻度として、データ処理部１２へ出力する。
【００４０】
このように、色頻度検出部１１は、カウンタ１１４がカウントしてレジスタ１１５が保持した、色相比較器１１１の所定条件（Ｌ０−Ｌ１≦色相＜Ｌ０＋Ｌ２）を満たす色相レベル領域に含まれ、且つ、彩度レベルが彩度比較器１１２の所定条件（シフトポイントｐ１＜彩度）を満たした画素の総数を検出して、そのカウンタ値を色頻度のデータとしてデータ処理部１２へ供給する。つまり、色頻度検出部１１は、色相比較器１１１の条件を満たす後述する１〜ｎ軸の各色の色軸範囲（色範囲ともいう）ごとに、各色の色軸範囲における彩度レベルが後述するシフトポイントｐ１より大きい画素の総数を色頻度データ（ＣＨｘ，ｘ＝１〜ｎ）として出力する。
【００４１】
図４は、図１に示す色頻度検出部１１が色頻度を検出する際の色差平面における各色の色軸範囲の一例を示す図である。
【００４２】
つまり、色頻度検出部１１は、図４に示すように、映像信号における色差信号Ｒ−Ｙ、Ｂ−Ｙの一方の色差信号Ｂ−ＹのレベルをＸ軸とし、他方の色差信号Ｒ−ＹのレベルをＸ軸と直交するＹ軸とする色差平面において、Ｘ軸とＹ軸との交点を中心とする回転方向の角度範囲を１つの色軸範囲とする。色頻度検出部１１は、この色軸範囲を複数（１〜ｎ）設定し、１〜ｎ軸の色軸範囲内に含まれる映像信号のフィールドごと又はフレームごとの彩度レベルが後述するシフトポイントｐ１より大きい画素の出現頻度を表す色頻度を検出する。
【００４３】
図５は、図４に示す色頻度の頻度量をグラフ化したものである。
【００４４】
図５は、横軸に図４に示す色差平面の直交座標における角度範囲である１〜ｎ軸の色軸範囲をとる一方、縦軸に１フィールド又は１フレーム単位で図２に示した判定領域ｆａ内で１〜ｎ軸の各色軸範囲内で検知される色頻度の値をとっている。ここで、この色頻度の値は、前述したように、彩度レベルがシフトポイントｐ１より大きい画素の出現頻度を表すものである。
【００４５】
≪データ処理部１２の構成および動作の一例≫
次に、データ処理部１２の構成および動作の一例について説明する。
【００４６】
図６は、データ処理部１２の構成例を示す説明図である。
【００４７】
図６に示すように、データ処理部１２は、ゲイン算出器１２１と、シフトリミット算出器（シフトリミット算出手段）１２２と、シフトポイント設定器１２３とを有している。
【００４８】
ゲイン算出器１２１は、色頻度検出部１１からの色の範囲を指定した１〜ｎ軸の各色軸範囲からの色頻度データＣＨ１、ＣＨ２、…、ＣＨｎの大きさに基づいて、色軸範囲ごとにゲインＧｌｉｍを算出する。
【００４９】
シフトリミット算出器１２２は、次の（１）式に示すように、ゲイン算出器１２１で算出された色軸範囲ごとのゲインＧｌｉｍにシフトリミットの初期値ｌｉｍ０を乗算して、色軸範囲ごとに最大シフト量（シフト量の限度値）であるシフトリミットｌｉｍを算出する。シフトリミット算出器１２２は、算出したシフトリミットｌｉｍを、後述する奥行きデータ推定部１３のシフト量算出部１３４１〜１３４ｎで用いるシフト量特性におけるシフトリミットｌｉｍとして設定する。
【００５０】
ｌｉｍ＝ｌｉｍ０×Ｇｌｉｍ  …（１）式
ここで、色頻度と、ゲインＧｌｉｍと、最大シフト量であるシフトリミットｌｉｍとの関係の詳細は後述するが、簡単に述べておくと、本実施の形態では、色頻度の大きさが大きくなるに従い、シフトリミットｌｉｍが大きくなるようにゲインＧｌｉｍを大きくする。
【００５１】
シフトポイント設定器１２３は、色軸範囲ごとのシフトポイントｐ１〜ｐ４を奥行きデータ推定部１３のシフト量算出部１３４１〜１３４ｎに設定する。シフトポイントｐ１〜ｐ４は、後述するように、暖色系、寒色系等の色合いに応じて設定される。シフトポイント設定器１２３には、１〜ｎ軸の各色軸範囲を示す色軸情報が色頻度検出部１１から入力され、シフトポイント設定器１２３は、この色軸情報に基づいて、色軸範囲の色合いに応じたシフトポイントｐ１〜ｐ４を設定する。
【００５２】
なお、シフトポイントの数は４点（ｐ１〜ｐ４）に限らず、３点でも、５点以上でも良い。
【００５３】
≪データ処理部１２のゲイン算出器１２１の動作の一例≫
図７は、ゲイン算出器１２１によるゲインＧｌｉｍの算出例を示す図である。前述のように、ゲイン算出器１２１で算出されたゲインＧｌｉｍは、シフトリミット算出器１２２でシフトリミットの初期値ｌｉｍ０に乗算される。
【００５４】
図７において、横軸は色頻度、縦軸はゲインＧｌｉｍを示す。ゲインＧｌｉｍが１のときは、シフトリミット算出器１２２で算出されるシフトリミットｌｉｍの値は、初期値ｌｉｍ０となる。シフトリミットの初期値ｌｉｍ０は、色軸範囲ごとに記憶部１４に記憶されている。
【００５５】
図７に示すように、ゲイン算出器１２１は、色頻度の所定範囲（ｒ１〜ｒ２）において、色頻度（色面積）が大きくなるに従い、ゲインＧｌｉｍを大きくする。ゲイン算出器１２１は、色頻度がｒ１より小さい場合、ゲインＧｌｉｍを０とし、色頻度がｒ２より大きい場合、ゲインＧｌｉｍを最大値のｒ３とする。色頻度の最大値は１であり、ｒ１、ｒ２の値としては、例えば、ｒ１＝０．２、ｒ２＝０．９とする。また、ｒ３の値としては、例えば、ｒ３＝１．４とする。ｒ１、ｒ２、ｒ３は、ゲイン算出器１２１が可変して設定可能な値である。なお、ゲインＧｌｉｍの最小値は０でなくてもよい。ｒ３は、１より大きな値とする。
【００５６】
ゲイン算出器１２１は、このようなゲインＧｌｉｍの値を用いることで、色頻度の大きさにより、シフトリミット算出器１２２で算出されるシフトリミットｌｉｍの値を変化させ、１〜ｎ軸の各色軸範囲におけるシフト量Ｓ１〜Ｓｎを制御する。
【００５７】
ここで、シフトリミットｌｉｍをフィールドごと又はフレームごとに変化させると、シーンチェンジ等が起きた場合、シフトリミットｌｉｍの変化が急峻になり、動画の場合に不具合が発生する可能性がある。そこで、シフトリミットｌｉｍの変化をある程度緩やかにすることが望まれる場合がある。色頻度の変化が急峻に変化しても、シフトリミットｌｉｍの変化を緩やかにし、その結果、最終的に映像信号に掛けるシフト量Ｓ１〜Ｓｎが緩やかに変化するようになれば、動画の場合に不具合は発生しない。
【００５８】
図８は、上記のようにシフトリミットｌｉｍの変化を緩やかにするためのシフトリミット処理回路１２２１の構成を示す図である。シフトリミット処理回路１２２１は、シフトリミット算出器１２２に設けられる。
【００５９】
図８に示すように、シフトリミット処理回路１２２１は、加算器１２２２と、レジスタ１２２３と、乗算器１２２４と、乗算器１２２５とを備える。
【００６０】
加算器１２２２と、レジスタ１２２３と、乗算器１２２４とは、時間方向にリーク型の積分回路１２２６を構成する。レジスタ１２２３には、１フィールド前又は１フレーム前のシフトリミットの値ｌｉｍｋ−１が格納されている。
【００６１】
リーク型の積分回路１２２６に今回のフィールド又はフレームのシフトリミットの値ｌｉｍｋが入力されると、乗算器１２２４は、ｌｉｍｋ−１×１５／１６の演算を行う。加算器１２２２は、今回のフィールド又はフレームのシフトリミットの値ｌｉｍｋと、乗算器１２２４が算出した値（ｌｉｍｋ−１×１５／１６）とを加算して、ｌｉｍ＝ｌｉｍｋ＋（ｌｉｍｋ−１×１５／１６）の演算を行い、この演算結果をレジスタ１２２３に格納する。
【００６２】
そして、乗算器１２２５は、ｌｉｍ’＝ｌｉｍ×（１／１６）の演算を行い、この値（ｌｉｍ’）を、今回のシフトリミットの値として、後述する図９に示す奥行きデータ推定部１３のシフト量算出部１３４１〜１３４ｎに設定する。
【００６３】
これにより、スタティックな処理をダイナミックな処理にすることができ、フィールド間又はフレーム間におけるシフトリミットｌｉｍの変化を緩やかにすることができる。
【００６４】
≪奥行きデータ推定部１３の構成および動作の一例≫
次に、奥行きデータ推定部１３の構成および動作の一例について説明する。
【００６５】
図９は、奥行きデータ推定部１３の構成例を示すブロック図である。
【００６６】
図９に示すように、奥行きデータ推定部１３は、ＬＰＦ１３１と、角度算出部１３２と、彩度算出部（彩度算出手段）１３３と、１〜ｎ軸の各色軸範囲のシフト量算出部（シフト量算出手段）１３４１〜１３４ｎとを有する。
【００６７】
ＬＰＦ１３１は、映像信号の色差信号Ｒ−Ｙ、Ｂ−Ｙが入力されると、ノイズを除去して、角度算出部１３２と、彩度算出部１３３とに出力する。
【００６８】
角度算出部１３２は、各画素について、色差信号Ｒ−Ｙ、Ｂ−Ｙの角度Ｔを算出する。
【００６９】
彩度算出部１３３は、各画素について、色差信号Ｒ−Ｙ、Ｂ−Ｙのベクトルの大きさである彩度ＶＣを算出する。色差信号Ｒ−Ｙ、Ｂ−Ｙのベクトルの大きさである彩度ＶＣの算出式を、下記（２）式に示す。
【００７０】
ＶＣ＝｛（Ｒ−Ｙ）２＋（Ｂ−Ｙ）２｝１／２  …（２）式
ここで、色差信号Ｒ−Ｙ、Ｂ−Ｙは、例えば図１０に示すようにＢ−ＹをＸ軸（横軸）、Ｒ−ＹをＹ軸（縦軸）とする色差平面で表すことができ、この色差平面では回転方向が色相を表し、半径方向が彩度を表す。
【００７１】
また、角度θ０、θ１、θ２（θ１＜θ０＜θ２）におけるＬ０、Ｌ１、Ｌ２は、等色相線を表す。等色相線Ｌ０が補正の中心線であって補正中心角θ０により設定され、角度θ１〜θ２が補正領域である。なお、この等色相線Ｌ０、Ｌ１、Ｌ２の値は、図３に示す色頻度検出部１１の色相比較器１１１における色相比較の際に使用されている。
【００７２】
１〜ｎ軸の各色軸範囲のシフト量算出部１３４１〜１３４ｎには、図９に示すように、角度算出部１３２から色差信号Ｒ−Ｙ、Ｂ−Ｙの角度Ｔと、彩度算出部１３３から色差信号Ｒ−Ｙ、Ｂ−Ｙのベクトルの大きさである彩度ＶＣが入力されると共に、それぞれの補正領域を決める角度θ０、θ１、θ２、あるいは角度θ０と補正範囲Ｒが入力される。
【００７３】
ここで、シフト量算出部１３４１〜１３４ｎそれぞれに供給する角度θ０、θ１、θ２を、θ０１、θ１１、θ２１〜θ０ｎ、θ１ｎ、θ２ｎとする。そして角度θ０１〜θ０ｎを総称して角度θ０、角度θ１１〜θ１ｎを総称して角度θ１、角度θ２１〜θ２ｎを総称して角度θ２とする。なお、角度θ１〜θ２の補正領域は重複しないような設定にする必要がある。
【００７４】
次に、シフト量算出部１３４１〜１３４ｎの機能について、図１１、図１２を用いてさらに説明する。
【００７５】
図１１は、図１に示す本実施の形態の奥行きデータ推定部１３のシフト量算出部１３４１〜１３４ｎで用いる補正関数Ｍ１２の説明図である。
【００７６】
図１１において、図１０の等色相線Ｌ１よりも角度の大きい部分を示す関数をＦＬ１とし、これを例えばＣ言語にて表すと、次の（３）式となる。
【００７７】
ＦＬ１＝Ｔ−θ１；
ｉｆ（ＦＬ１＜０）  ＦＬ１＝０；  …（３）式
この（３）式は、図１１（Ａ）に示す特性となる。
【００７８】
同様に、図１０の等色相線Ｌ２よりも角度の小さい部分を示す関数をＦＬ２とし、これをＣ言語にて表すと、次の（４）式となる。
【００７９】
ＦＬ２＝θ２−Ｔ；
ｉｆ（ＦＬ２＜０）  ＦＬ２＝０；  …（４）式
この（４）式は、図１１（Ｂ）に示す特性となる。
【００８０】
シフト量算出部１３４１〜１３４ｎは、次の（５）式に基づいて、奥行きデータであるシフト量を求めるため、補正関数Ｍ１２を生成する。
【００８１】
Ｍ１２＝Ｍｉｎ（ＦＬ１，ＦＬ２）；  …（５）式
この（５）式で示される補正関数Ｍ１２は、前述の（３）式で示されるＦＬ１と、（４）式で示されるＦＬ２との小さい方を選択するものである。そのため、前述の（５）式で示される補正関数Ｍ１２は、図１１（Ｃ）に示すように角度θ０に頂点を有する三角形状の特性となる。なお、補正関数Ｍ１２の特性としては、三角形状に限定されることはなく、上限値を設けて台形状にしたり、あるいは余弦関数状にしたりしてもよい。なお、補正関数Ｍ１２は、補正範囲外である角度θ１、θ２の外側を０とすることが必要である。
【００８２】
ところで、θ１＝θ０−Ｒ、θ２＝θ０＋Ｒとしたとき、角度算出部１３２で算出された角度Ｔは０〜３６０°の値であり、角度θ１や角度θ２が０°又は３６０°をまたぐ場合には、角度の値に不連続が生じる。
【００８３】
そこで、シフト量算出部１３４１〜１３４ｎは、上記の（３）、（４）式で用いる角度Ｔを、例えばＣ言語にて表す次の（６）式によって予め補正しておく。
【００８４】
ｉｆ（Ｔ−θ１）≧３６０）  Ｔ＝Ｔ−３６０；
ｉｆ（θ２−Ｔ）≧３６０）  Ｔ＝Ｔ＋３６０；  …（６）式
シフト量算出部１３４１〜１３４ｎは、この（６）式により、角度θ１や角度θ２が０°又は３６０°をまたぐ場合であっても、角度θ１〜θ２の範囲内に角度Ｔが含まれるとき、角度Ｔを連続的な値に補正することによって、角度θ１〜θ２の範囲内で角度Ｔの値の不連続が生じないようにすることができる。よって、図１１（Ｃ）に示す特性の補正関数Ｍ１２を正しく生成することができる。
【００８５】
以上のようにして、シフト量算出部１３４１〜１３４ｎは、角度θ０を中心とする補正領域として、θ１＝θ０−Ｒ、θ２＝θ０＋Ｒとしたとき、補正角度Ｒを１８０°近傍まで、すなわち、θ０±１８０°の補正領域を設定することができる。
【００８６】
ここで、シフト量算出部１３４１〜１３４ｎは、補正対象の色の数ｎに応じて設けられているので、それぞれ、次の（７）式に示すように、上記（２）式で示される彩度算出部１３３からの色差信号Ｒ−Ｙ、Ｂ−Ｙのベクトルの大きさである彩度ＶＣに、上記（５）式により表される図１１（Ｃ）に示す特性の補正関数Ｍ１２の値を乗算して、補正した彩度ＶＣ’を算出する。
【００８７】
ＶＣ’＝ＶＣ×Ｍ１２  …（７）式
そして、シフト量算出部１３４１〜１３４ｎは、上記（７）式により算出される補正した彩度ＶＣ’をパラメータとして、補正対象の色、すなわち１〜ｎ軸の各色軸範囲ごとに、それぞれ、奥行きデータであるシフト量Ｓ１〜Ｓｎを算出する。
【００８８】
その際、各色軸範囲のシフト量算出部１３４１〜１３４ｎには、図９に示すように、補正対象の色に応じた所定の補正中心角θ０、角度θ１〜θ２（又は補正中心角θ０，補正範囲Ｒ）と、１〜ｎ軸の各色軸範囲ごとの奥行きデータであるシフト量Ｓ１〜Ｓｎの度合いを可変させるためにデータ処理部１２（図６参照）からシフトポイントｐ１〜ｐ４、および最大シフト量を示すシフトリミットｌｉｍがそれぞれ入力されて、独立して設定されている。
【００８９】
そのため、シフト量算出部１３４１〜１３４ｎは、それぞれ、独立して、１〜ｎ軸の各色軸範囲ごとに、次の（８）式に基づいて、奥行きデータであるシフト量Ｓ１〜Ｓｎを算出する。
【００９０】
ｉｆ（ＶＣ’≦ｐ１）  Ｓ＝０；
ｉｆ（ＶＣ’≦ｐ２）  Ｓ＝ｌｉｍ×（ＶＣ’−ｐ１）／（ｐ２−ｐ１）；
ｉｆ（ＶＣ’≦ｐ３）  Ｓ＝ｌｉｍ；
ｉｆ（ＶＣ’≦ｐ４）  Ｓ＝ｌｉｍ×（ｐ４−ＶＣ’）／（ｐ４−ｐ３）；
ｅｌｓｅ              Ｓ＝０；                                  …（８）式
この（８）式は、次に説明する図１２（Ａ）〜（Ｃ）に示すような特性となる。
【００９１】
図１２（Ａ）〜（Ｃ）は、シフト量Ｓ１〜Ｓｎの彩度に対する特性であるシフト量特性の一例を示す図である。図１２（Ａ）〜（Ｃ）において、横軸に上記（７）式の補正した彩度ＶＣ’をとり、縦軸に、奥行きデータであるシフト量Ｓをとっている。図１２（Ａ）〜（Ｃ）において、ｐ１〜ｐ４は、シフトポイントｐ１〜ｐ４の値を示す。
【００９２】
まず、図１２（Ａ）は、一例として中彩度の場合に、プラスのシフト量が大きくなる特性を示している。つまり、図１２（Ａ）では、彩度ＶＣ’が０からｐ１まではシフト量Ｓは０であり、ｐ１からｐ２までは彩度ＶＣ’が大きくなるにつれシフト量Ｓも増大し、ｐ２からｐ３まではシフト量Ｓは上限であるシフトリミットｌｉｍとなり、ｐ３からｐ４までは彩度ＶＣ’の増大に伴いシフト量Ｓは減少し、ｐ４より大きい場合はシフト量Ｓは０となる。図１２（Ａ）では、中彩度においてシフト量Ｓがシフトリミットｌｉｍとなるようにｐ２、ｐ３が設定されている。
【００９３】
また、図１２（Ｂ）では、彩度ＶＣ’が０からｐ１まではシフト量Ｓは０であり、ｐ１から高彩度のｐ２までは彩度ＶＣ’が大きくなるにつれシフト量Ｓも増大し、ｐ２からｐ３およびｐ４まではシフト量Ｓは上限（限度値）であるシフトリミットｌｉｍとなる。なお、図１２（Ｂ）では、ｐ３とｐ４とが同じ値の場合を示しているが、これらは異なる値でもよい。この場合、ｐ３からｐ４までは彩度ＶＣ’の増大に伴いシフト量Ｓは減少し、ｐ４より大きい場合はシフト量Ｓは０となるようにすればよい。
【００９４】
図１２（Ｂ）のシフト量特性は主に、暖色系（赤、マゼンタなど）の色合いの場合に、色が濃くなるにつれて飛び出し（凸）が大きくなるような擬似立体画像を生成する特性である。
【００９５】
また、図１２（Ｃ）は、中彩度の場合に、マイナスのシフト量が大きくなる特性を示している。つまり、図１２（Ｃ）では、彩度ＶＣ’が０からｐ１まではシフト量Ｓは０であり、ｐ１からｐ２までは彩度ＶＣ’が小さくなるにつれシフト量Ｓも減少し、ｐ２からｐ３まではシフト量Ｓは下限（限度値）であるシフトリミットｌｉｍとなり、ｐ３からｐ４までは彩度ＶＣ’の増大に伴いシフト量Ｓは増大し、ｐ４より大きい場合はシフト量Ｓは０となる。図１２（Ｃ）では、図１２（Ａ）と同様のｐ１〜ｐ４が設定される。
【００９６】
図１２（Ｃ）のシフト量特性は主に、寒色系（青、シアンなど）の色合いの場合に、中間の彩度の引っ込み（凹）が最も大きくなるような擬似立体画像を生成する特性である。
【００９７】
本実施の形態では、図１２（Ｂ）、（Ｃ）のシフト量特性を決定する要因として、下記２点を考慮している。
【００９８】
１点目は、赤色及び暖色は色彩学における前進色であり、寒色系よりも奥行きが手前に認識されるという特徴があるという点である。したがって、赤色及び暖色の部分を手前に配置することで立体感を強調することができる。逆に、青色及び寒色は後退色であり、暖色系よりも奥行きが奥に認識される特徴がある。よって、青色及び寒色の部分を奥に配置することによっても立体感の強調が可能である。
【００９９】
２点目は、色が濃い、すなわち高彩度のものは、奥行きが手前に認識されるという特徴があり、逆に、色が薄い、すなわち低彩度のものは、奥行きが奥に認識されるという特徴があるという点である。これは、遠くから伝わってくる光が大気によって拡散され、近くの色は彩度が高いが、遠くの色は彩度が低下していき同じような色相に集まる現象「大気遠近法」によるものである。
【０１００】
上記２点を踏まえ、シフト量算出部１３４１〜１３４ｎでは、図１２（Ｂ），（Ｃ）のシフト量特性により、奥行きデータであるシフト量Ｓを生成している。各シフト量算出部１３４１〜１３４ｎには、データ処理部１２のシフトリミット算出器１２２、シフトポイント設定器１２３が、それぞれシフトリミットｌｉｍ、シフトポイントｐ１〜ｐ４を設定することにより、シフト量特性が設定される。シフト量算出部１３４１〜１３４ｎは、シフト量特性と彩度とを用いて、色軸範囲ごとに各画素の奥行きデータであるシフト量Ｓ１〜Ｓｎを算出する。シフトリミットｌｉｍおよびシフトポイントｐ１〜ｐ４は、データ処理部１２が各色軸範囲、すなわち奥行きデータ推定部１３のシフト量算出部１３４１〜１３４ｎに対して独立して自由に設定することが可能である。
【０１０１】
なお、上記のシフト量特性は、本実施の形態の一例であり、本発明では、これらの特性に限定されない。
【０１０２】
以上の処理により、奥行きデータ推定部１３は、１〜ｎ軸の各色軸範囲の奥行きデータであるシフト量Ｓ１〜Ｓｎを生成して、ステレオペア生成装置２へ出力する。
【０１０３】
以上説明したように、本実施の形態の奥行きデータ生成装置１では、非立体画像の映像信号から各色軸範囲内に含まれる映像信号のフィールドごと又はフレームごとの各画素の出現頻度を表す色頻度を検出し、色軸範囲ごとにシフト量特性におけるシフトリミットｌｉｍを色頻度に基づいて算出し、各画素の彩度とシフト量特性とを用いて、色軸範囲ごとに各画素の奥行きデータであるシフト量Ｓ１〜Ｓｎを算出する。これにより、予め複数種類の基本奥行きモデルを記憶する必要もなくなり、記憶容量を増大させずに、奥行き情報が明示的にも暗示的にも与えられていない非立体画像の映像信号から精度の高い擬似的な立体化画像の映像信号を生成することができる。
【０１０４】
その結果、本実施の形態によれば、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像の映像信号から、人間の視覚特性を考慮し非立体画像の色合いや色の濃淡、色の面積に応じて各色ごとの奥行きを推定することが可能となり、入力されるさまざまなシーンに対してより精度の高い擬似的な立体化画像の映像信号を生成することが可能となる。
【０１０５】
≪ステレオペア生成装置２の動作の一例≫
そして、図１に示す本実施の形態のステレオペア生成装置２では、奥行きデータ生成装置１により生成された奥行きデータであるシフト量Ｓ１〜Ｓｎと、入力される映像信号とを基に、別視点画像信号を生成する。例えば、左に視点移動する場合、画面より手前に表示するものについては、近い物ほど画像を見る者の内側（鼻側）に見えるので、内側すなわち右に対応部分のテクスチャを奥行きに応じた量だけ移動する。これに対し、画面より奥に表示するものについては、近い物ほど画像を見る者の外側に見えるので、左に対応部分のテクスチャを奥行きに応じた量だけ移動する。これを左目画像、原画を右目画像とすることでステレオペアが構成される。
【０１０６】
つまり、図１に示す本実施の形態のステレオペア生成装置２では、まず、テクスチャシフト部２１が奥行きデータ生成装置１の奥行きデータ推定部１３から出力された１〜ｎ軸の各色軸範囲ごとの奥行きデータであるシフト量Ｓ１〜Ｓｎについて、シフト量Ｓ１〜Ｓｎが小さい値、すなわち奥に位置するものから順に、その値に対応する部分の映像信号のテクスチャをシフト量Ｓ画素分だけ、例えば右にシフトする。なお、奥行きデータであるシフト量Ｓが負の場合には、そのシフト量Ｓ画素分だけ左へシフトする。
【０１０７】
テクスチャシフト部２１におけるシフト量Ｓに基づく映像信号のテクスチャのシフト動作は、非立体画像の映像信号のテクスチャのシフトに対応するものである。換言するならば、非立体画像の各画素を、奥行きデータであるシフト量Ｓの値に応じてそれぞれを左右に移動する処理である。
【０１０８】
ここで、シフトを行うことによる画像中の位置関係の変化により、テクスチャの存在しない部分、すなわちオクルージョンが発生する場合がある。このような部分については、オクルージョン補償部２２が、映像信号の対応部分周辺の映像信号により充填するか、若しくは公知の文献（山田邦男，望月研二，相澤清晴，齊藤隆弘：“領域競合法により分割された画像のテクスチャの統計量に基づくオクルージョン補償”,映情学誌,Vol.56,No.5,pp.863-866(2002.5)）等に記載の手法で充填する。
【０１０９】
オクルージョン補償部２２にてオクルージョン補償された画像は、ポスト処理部２３により平滑化などのポスト処理を施すことにより、それ以前の処理において発生したノイズなどを軽減することによって、別視点画像信号である左目画像信号が生成される。
【０１１０】
そして、ステレオペア生成部２４は、入力映像信号を右目画像信号とすることにより、左目画像信号と右目画像信号とのステレオペアを擬似立体画像信号として生成し、このステレオペアをステレオ表示装置３へと出力する。なお、ステレオペアに関して、左右反転して、入力映像信号を左目画像信号とし、生成した別視点画像信号を右目画像信号とするステレオペアを構成してもよい。また、上記処理においては、右目画像信号および左目画像信号の一方を入力映像信号、他方を生成された別視点画像信号とするようなステレオペアを構成しているが、左右どちらについても別視点画像信号を用いる、すなわち、右に視点移動した別視点画像信号と左に視点移動した別視点画像信号とを用いてステレオペアを構成することも可能である。
【０１１１】
≪ステレオ表示装置３の動作の一例≫
そして、図１に示す本実施の形態のステレオ表示装置３は、例えば、偏光メガネを用いたプロジェクションシステム、あるいは時分割表示と液晶シャッタメガネを組み合わせたプロジェクションシステム若しくはディスプレイシステム、レンチキュラ方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイなどや、ステレオ画像の各画像に対応した２台のプロジェクタによるプロジェクタシステムであり、ステレオペア生成装置２によって生成され、入力された左目画像信号と、右目画像信号とをディスプレイ等に表示して、擬似立体画像を表示する。
【０１１２】
このように、以上説明した奥行きデータ生成装置１と、ステレオペア生成装置２と、ステレオ表示装置３を組み合わせることにより、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像の映像信号から、人間の視覚特性を考慮し非立体画像の色合いや色の濃淡、色の面積に応じて各色ごとの奥行きを推定することが可能となり、入力されるさまざまなシーンに対してより精度の高い擬似的な立体化画像の映像信号を表示して、ユーザに立体画像として立体視させることが可能になる。
【０１１３】
従って、本実施の形態の擬似立体画像信号生成装置によれば、奥行き情報が明示的にも暗示的にも与えられていない非立体画像の映像信号から奥行きデータを生成し、この奥行きデータをもとにした処理を非立体画像の映像信号に施すことで、立体感を感じさせる別視点画像信号を生成し、非立体画像の映像信号と別視点画像信号とにより擬似立体画像信号を生成するようにしたので、人間の視覚特性を考慮し非立体画像の色合いや色の濃淡、色の面積に応じて奥行きを推定することで、入力されるさまざまなシーンに対して、より精度の高い擬似的な立体化画像の映像信号を生成することが可能となる。
【０１１４】
なお、上記実施の形態の説明では、ステレオペア生成装置２として左目画像信号と右目画像信号の２視点での例を説明したが、本発明では、これに限らず、２視点以上の表示が可能な表示装置にて表示する場合には、その視点数に応じた数の別視点画像信号を生成するように構成しても勿論よい。
【０１１５】
また、上記のように２視点以上の表示が可能な表示装置を用いた多視点立体画像表示システムの構築も可能である。また、本立体表示システムにおいては音声出力を装備する形態のものも考えられる。この場合、静止画等音声情報を持たない画像コンテンツについては、画像にふさわしい環境音を付加するような態様のものが考えられる。
【０１１６】
また、本実施の形態では、図１に示すように、奥行きデータ生成装置１と、ステレオペア生成装置２と、ステレオ表示装置３をハードウエアにより構成して説明したが、本発明では、ハードウエアにより構成したものに限定されるものではなく、例えば、ＣＰＵと、そのＣＰＵを上述のように動作させるためのコンピュータプログラムのソフトウェアにより奥行きデータ生成装置１、ステレオペア生成装置２およびステレオ表示装置３の機能を達成するようにしても勿論よい。この場合、コンピュータプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもようにしても良い。
【０１１７】
以上、本発明を一実施の形態によって説明したが、上記実施の形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、この発明の技術的思想は、構成物品の材質、形状、構造、配置等を下記のものに特定するものでない。この発明の技術的思想は、特許請求の範囲において種々の変更を加えることができる。
【符号の説明】
【０１１８】
１    奥行きデータ生成装置
１１  色頻度検出部
１２  データ処理部
１２２  シフトリミット算出器
１３  奥行きデータ推定部
１３３  彩度算出部
１３４１〜１３４ｎ  シフト量算出部
１４  記憶部
２    ステレオペア生成装置
２１  テクスチャシフト部
２２  オクルージョン補償部
２３  ポスト処理部
２４  ステレオペア生成部
３    ステレオ表示装置
【図１】
2012060381.tif 000003
【図２】
2012060381.tif 000004
【図３】
2012060381.tif 000005
【図４】
2012060381.tif 000006
【図５】
2012060381.tif 000007
【図６】
2012060381.tif 000008
【図７】
2012060381.tif 000009
【図８】
2012060381.tif 000010
【図９】
2012060381.tif 000011
【図１０】
2012060381.tif 000012
【図１１】
2012060381.tif 000013
【図１２】
2012060381.tif 000014