(57)【要約】【課題】画面の中央部に注目被写体がある画像に対して十分な立体効果を得られる奥行き情報を生成することができる奥行き情報生成装置を提供する。【解決手段】合成部１１７は、フレームメモリ１１４〜１１６に記憶された基本奥行きモデルを合成して視差データを発生する。下部高域成分評価部１１３は、画面下部の下部高域成分評価値を生成する。奥行き・飛び出し補正データ生成部１３８は、Ｒ信号とＢ信号とを用いて、暖色系が正の値、寒色系が負の値をとる色データを生成する。奥行き・飛び出し補正データ生成部１３８は、色データにおける正の値に第１の利得係数を乗算し、負の値に第２の利得係数を乗算して、画素の奥行きまたは飛び出しの程度を補正するための補正データを生成する。加算器１１９は、合成部１１７からの視差データと補正データとを加算して、奥行き推定データを生成する。【選択図】図２
2014017686.tif 000002
【特許請求の範囲】
【請求項１】
画面全体の視差値を決定するための基本奥行きモデルを用いて、画面内それぞれの画素の視差値を示す視差データを発生する視差データ発生部と、
非立体画像信号における赤色信号と青色信号とを用いて、暖色系が正の値、寒色系が負の値をとる色データを生成する色データ生成部と、
画面内の第１の所定領域に含まれる複数の画素に対する所定統計量を評価して第１の統計量評価値を生成する第１の統計量評価部と、
前記色データにおける正の値に乗じる利得係数であり、前記第１の統計量評価値が大きくなるに従って大きくなる第１の利得係数と、前記色データにおける負の値に乗じる利得係数であり、前記第１の統計量評価値が大きくなるに従って小さくなる第２の利得係数を生成する利得制御部と、
前記色データにおける正の値に前記第１の利得係数を乗算し、前記色データにおける負の値に前記第２の利得係数を乗算することにより、画素の奥行きまたは飛び出しの程度を補正するための補正データを生成する振幅補正部と、
前記視差データ発生部が発生した視差データと、前記振幅補正部より出力された補正データとを加算して、画面内それぞれの画素に対する奥行き推定データを生成する加算器と、
を備えることを特徴とする奥行き情報生成装置。
【請求項２】
前記視差データ発生部は、複数の基本奥行きモデルそれぞれの画面全体の視差値を示す視差データを、前記非立体画像信号が有する特徴に基づいて合成する合成部を有することを特徴とする請求項１記載の奥行き情報生成装置。
【請求項３】
画面内の第２の所定領域に含まれる複数の画素に対する前記所定統計量を評価して第２の統計量評価値を生成する第２の統計量評価部をさらに備え、
前記合成部は、前記第１の統計量評価値と前記第２の統計量評価値とに応じて、前記複数の基本奥行きモデルそれぞれの画面全体の視差値を示す視差データを合成する
ことを特徴とする請求項２記載の奥行き情報生成装置。
【請求項４】
前記複数の基本奥行きモデルは、凹面タイプの基本奥行きモデルと平面タイプの基本奥行きモデルとを含み、
前記合成部は、前記第１の統計量評価値が０から第１の値までであれば前記平面タイプの基本奥行きモデルを用い、前記第１の値をより大きい第２の値より大きければ、前記凹面タイプの基本奥行きモデルを用い、
前記振幅補正部は、前記合成部が前記凹面タイプの基本奥行きモデルを用いる場合には、画素の飛び出しの程度を大きくする補正データを生成し、前記合成部が前記平面タイプの基本奥行きモデルを用いる場合には、画素の奥行きの程度を大きくする補正データを生成する
ことを特徴とする請求項２または３に記載の奥行き情報生成装置。
【請求項５】
請求項１〜４のいずれか１項に記載の奥行き情報生成装置と、
前記奥行き推定データに基づいて、複数の視点の画像データを生成する複数視点画像データ生成部と、
を備えることを特徴とする擬似立体画像生成装置。
【請求項６】
画面全体の視差値を決定するための基本奥行きモデルを用いて、画面内それぞれの画素の視差値を示す視差データを発生し、
非立体画像信号における赤色信号と青色信号とを用いて、暖色系が正の値、寒色系が負の値をとる色データを生成し、
画面内の第１の所定領域に含まれる複数の画素に対する所定統計量を評価して第１の統計量評価値を生成し、
前記色データにおける正の値に乗じる利得係数であり、前記第１の統計量評価値が大きくなるに従って大きくなる第１の利得係数と、前記色データにおける負の値に乗じる利得係数であり、前記第１の統計量評価値が大きくなるに従って小さくなる第２の利得係数を生成し、
前記色データにおける正の値に前記第１の利得係数を乗算し、前記色データにおける負の値に前記第２の利得係数を乗算することにより、画素の奥行きまたは飛び出しの程度を補正するための補正データを生成し、
前記視差データと前記補正データとを加算して、画面内それぞれの画素に対する奥行き推定データを生成する
ことを特徴とする奥行き情報生成方法。
【請求項７】
コンピュータに、
画面全体の視差値を決定するための基本奥行きモデルを用いて、画面内それぞれの画素の視差値を示す視差データを発生させる機能と、
非立体画像信号における赤色信号と青色信号とを用いて、暖色系が正の値、寒色系が負の値をとる色データを生成させる機能と、
画面内の第１の所定領域に含まれる複数の画素に対する所定統計量を評価して第１の統計量評価値を生成させる機能と、
前記色データにおける正の値に乗じる利得係数であり、前記第１の統計量評価値が大きくなるに従って大きくなる第１の利得係数と、前記色データにおける負の値に乗じる利得係数であり、前記第１の統計量評価値が大きくなるに従って小さくなる第２の利得係数を生成させる機能と、
前記色データにおける正の値に前記第１の利得係数を乗算し、前記色データにおける負の値に前記第２の利得係数を乗算することにより、画素の奥行きまたは飛び出しの程度を補正するための補正データを生成させる機能と、
前記視差データと前記補正データとを加算して、画面内それぞれの画素に対する奥行き推定データを生成させる機能と、
を実現させることを特徴とする奥行き情報生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通常の画像のように奥行き情報が明示的に与えておらず、ステレオ画像のように奥行き情報が暗示的にも与えられていない非立体画像から奥行き情報を生成する奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラム、奥行き情報を用いて擬似的な立体画像を生成する擬似立体画像生成装置に関する。
【背景技術】
【０００２】
近年、立体画像の普及に伴って、奥行き情報が明示的にも暗示的にも与えられていない非立体画像を擬似的な立体画像に変換することが行われるようになってきた。非立体画像を擬似的な立体画像に変換するための擬似立体画像生成装置が種々提案されている。
【０００３】
一例として、特許文献１には、基本となる複数種類のシーン構造のそれぞれについて奥行き値を示す複数種類の基本奥行きモデルを用いて奥行き推定データを生成する擬似立体画像生成装置が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１５１５３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の擬似立体画像生成装置が備える奥行き情報生成装置においては、画面の中央部に人物等の注目被写体がある画像では十分な立体効果が得られる奥行き情報を生成することができないという問題点があった。
【０００６】
本発明はこのような問題点に鑑み、画面の中央部に注目被写体がある画像に対して十分な立体効果を得られる奥行き情報を生成することができる奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラムを提供することを目的とする。また、画面の中央部に注目被写体がある画像に対して十分な立体効果を得ることができる擬似立体画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上述した従来の技術の課題を解決するため、画面全体の視差値を決定するための基本奥行きモデルを用いて、画面内それぞれの画素の視差値を示す視差データを発生する視差データ発生部（１１４〜１１７）と、非立体画像信号における赤色信号と青色信号とを用いて、暖色系が正の値、寒色系が負の値をとる色データを生成する色データ生成部（３８１，３８２）と、画面内の第１の所定領域に含まれる複数の画素に対する所定統計量を評価して第１の統計量評価値を生成する第１の統計量評価部（１１３）と、前記色データにおける正の値に乗じる利得係数であり、前記第１の統計量評価値が大きくなるに従って大きくなる第１の利得係数と、前記色データにおける負の値に乗じる利得係数であり、前記第１の統計量評価値が大きくなるに従って小さくなる第２の利得係数を生成する利得制御部（３８６）と、前記色データにおける正の値に前記第１の利得係数を乗算し、前記色データにおける負の値に前記第２の利得係数を乗算することにより、画素の奥行きまたは飛び出しの程度を補正するための補正データを生成する振幅補正部（３８３〜３８５）と、前記視差データ発生部が発生した視差データと、前記振幅補正部より出力された補正データとを加算して、画面内それぞれの画素に対する奥行き推定データを生成する加算器（１１９）とを備えることを特徴とする奥行き情報生成装置を提供する。
【０００８】
上記の奥行き情報生成装置において、前記視差データ発生部は、複数の基本奥行きモデルそれぞれの画面全体の視差値を示す視差データを、前記非立体画像信号が有する特徴に基づいて合成する合成部（１１７）を有することが好ましい。
【０００９】
上記の奥行き情報生成装置において、画面内の第２の所定領域に含まれる複数の画素に対する前記所定統計量を評価して第２の統計量評価値を生成する第２の統計量評価部（１１２）をさらに備え、前記合成部は、前記第１の統計量評価値と前記第２の統計量評価値とに応じて、前記複数の基本奥行きモデルそれぞれの画面全体の視差値を示す視差データを合成することが好ましい。
【００１０】
上記の奥行き情報生成装置において、前記複数の基本奥行きモデルは、凹面タイプの基本奥行きモデルと平面タイプの基本奥行きモデルとを含み、前記合成部は、前記第１の統計量評価値が０から第１の値までであれば前記平面タイプの基本奥行きモデルを用い、前記第１の値をより大きい第２の値より大きければ、前記凹面タイプの基本奥行きモデルを用い、前記振幅補正部は、前記合成部が前記凹面タイプの基本奥行きモデルを用いる場合には、画素の飛び出しの程度を大きくする補正データを生成し、前記合成部が前記平面タイプの基本奥行きモデルを用いる場合には、画素の奥行きの程度を大きくする補正データを生成することが好ましい。
【００１１】
また、本発明は、上述した従来の技術の課題を解決するため、上記のいずれかの構成を有する奥行き情報生成装置と、前記奥行き推定データに基づいて、複数の視点の画像データを生成する複数視点画像データ生成部（２）とを備えることを特徴とする擬似立体画像生成装置を提供する。
【００１２】
さらに、本発明は、上述した従来の技術の課題を解決するため、画面全体の視差値を決定するための基本奥行きモデルを用いて、画面内それぞれの画素の視差値を示す視差データを発生し、非立体画像信号における赤色信号と青色信号とを用いて、暖色系が正の値、寒色系が負の値をとる色データを生成し、画面内の第１の所定領域に含まれる複数の画素に対する所定統計量を評価して第１の統計量評価値を生成し、前記色データにおける正の値に乗じる利得係数であり、前記第１の統計量評価値が大きくなるに従って大きくなる第１の利得係数と、前記色データにおける負の値に乗じる利得係数であり、前記第１の統計量評価値が大きくなるに従って小さくなる第２の利得係数を生成し、前記色データにおける正の値に前記第１の利得係数を乗算し、前記色データにおける負の値に前記第２の利得係数を乗算することにより、画素の奥行きまたは飛び出しの程度を補正するための補正データを生成し、前記視差データと前記補正データとを加算して、画面内それぞれの画素に対する奥行き推定データを生成することを特徴とする奥行き情報生成方法を提供する。
【００１３】
さらにまた、本発明は、上述した従来の技術の課題を解決するため、コンピュータに、画面全体の視差値を決定するための基本奥行きモデルを用いて、画面内それぞれの画素の視差値を示す視差データを発生させる機能と、非立体画像信号における赤色信号と青色信号とを用いて、暖色系が正の値、寒色系が負の値をとる色データを生成させる機能と、画面内の第１の所定領域に含まれる複数の画素に対する所定統計量を評価して第１の統計量評価値を生成させる機能と、前記色データにおける正の値に乗じる利得係数であり、前記第１の統計量評価値が大きくなるに従って大きくなる第１の利得係数と、前記色データにおける負の値に乗じる利得係数であり、前記第１の統計量評価値が大きくなるに従って小さくなる第２の利得係数を生成させる機能と、前記色データにおける正の値に前記第１の利得係数を乗算し、前記色データにおける負の値に前記第２の利得係数を乗算することにより、画素の奥行きまたは飛び出しの程度を補正するための補正データを生成させる機能と、
前記視差データと前記補正データとを加算して、画面内それぞれの画素に対する奥行き推定データを生成させる機能とを実現させることを特徴とする奥行き情報生成プログラムを提供する。
【発明の効果】
【００１４】
本発明の奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラムによれば、画面の中央部に注目被写体がある画像に対して十分な立体効果を得られる奥行き情報を生成することができる。また、本発明の擬似立体画像生成装置によれば、画面の中央部に注目被写体がある画像に対して十分な立体効果を得ることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の擬似立体画像生成装置の一実施形態を示すブロック図である。
【図２】図１中の奥行き推定部３１１の具体的な構成例であり、本発明の奥行き情報生成装置の一実施形態を示すブロック図である。
【図３】図２中のフレームメモリ１１４が保持する基本奥行きモデル（タイプ１）の立体構造の一例を示す図である。
【図４】図２中のフレームメモリ１１５が保持する基本奥行きモデル（タイプ２）の立体構造の一例を示す図である。
【図５】図２中のフレームメモリ１１６が保持する基本奥行きモデル（タイプ３）の立体構造の一例を示す図である。
【図６】図２中の合成部１１７による合成比率決定条件の一例を示す図である。
【図７】図２中の奥行き・飛び出し補正データ生成部１３８の具体的な構成例を示すブロック図である。
【図８】図７中のＲＢ割合算出部３８１が算出するRB_rate信号の特性図である。
【図９】図７中の減算器３８２より出力されるRB_out信号の特性図である。
【図１０】図７中の利得制御部３８６が生成する利得係数gain_p，gain_mの特性図である。
【図１１】奥行き・飛び出し補正データ生成部１３８によってRB_out信号を奥行き方向に強調した補正データRB_out_gainの特性図である。
【図１２】奥行き・飛び出し補正データ生成部１３８によってRB_out信号を飛び出し方向に強調した補正データRB_out_gainの特性図である。
【図１３】擬似立体画像に変換する前に平面画像の一例を示す図である。
【図１４】図１３に示す平面画像を擬似立体画像に変換した画像であり、一実施形態による効果を説明するための擬似立体画像を示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明の奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラム、擬似立体画像生成装置の一実施形態について、添付図面を参照して説明する。
【００１７】
図１において、Ｒ，Ｇ，Ｂ信号である入力信号（オブジェクト信号）は、擬似的な奥行き情報を生成する奥行き情報生成部１に入力される。奥行き情報生成部１は、一実施形態の奥行き情報生成装置を構成する。Ｒ，Ｇ，Ｂ信号は、３原色信号の赤色信号，緑色信号，青色信号である。
【００１８】
奥行き情報生成部１に入力されるＲ，Ｇ，Ｂ信号は、奥行き情報が明示的にも暗示的にも与えられていない非立体画像を表す画像信号である。奥行き情報生成部１は、奥行き推定データを生成する奥行き推定部３１１を有する。奥行き推定部３１１の具体的な構成及び動作については後に詳述する。
【００１９】
ステレオペア生成部２には、奥行き情報生成部１への入力信号であるＲ，Ｇ，Ｂ信号と、奥行き推定部３１１によって生成された奥行き推定データとが入力される。ステレオペア生成部２は、右目画像データと左目画像データとのステレオペアを生成する。
【００２０】
ステレオペア生成部２は、非立体画像信号に基づいて複数の視点の画像データを生成する複数視点画像データ生成部の一例である。奥行き情報生成部１とステレオペア生成部２とは、一実施形態の擬似立体画像生成装置を構成する。
【００２１】
ステレオペア生成部２は、入力されたＲ，Ｇ，Ｂ信号をそのまま右目画像データとする。ステレオペア生成部２は、右目画像データ（Ｒ，Ｇ，Ｂ信号）に基づいて左目画像データを生成する。
【００２２】
画素シフト部２１には、Ｒ，Ｇ，Ｂ信号と奥行き推定データとが入力される。画素シフト部２１は、奥行き推定データに基づいてＲ，Ｇ，Ｂ信号それぞれの画素をシフトする。
【００２３】
例えば左に視点移動する場合、画面より手前に表示するものは近いものほど画像を見る者の内側（鼻側）に見える。そこで、画素シフト部２１は、対応部分の画素を奥行き推定データが示す奥行きに応じた量だけ、内側（右側）に移動させる。画面より奥に表示するものは近いものほど画像を見る者の外側に見える。そこで、画素シフト部２１は、対応部分の画素を奥行きに応じた量だけ、外側（左側）に移動させる。
【００２４】
画素シフト部２１によって画素をシフトすると、画像内に、画素が存在しない、いわゆるオクルージョンが発生する場合がある。オクルージョン補償部２２は、画素シフト部２１より出力されたＲ，Ｇ，Ｂ信号のオクルージョンを補償する。
【００２５】
オクルージョン補償部２２は、オクルージョン発生箇所の周辺の画素を用いて画素を補間する等の公知の方法によってオクルージョンを補償する。
【００２６】
オクルージョン補償部２２より出力されたＲ，Ｇ，Ｂ信号は、ポスト処理部２３に入力される。ポスト処理部２３は、入力されたＲ，Ｇ，Ｂ信号に対して平滑化処理等のポスト処理を施す。ポスト処理部２３によってポスト処理を施すことにより、オクルージョン補償された画像が滑らかとなり、ノイズが軽減される。
【００２７】
ポスト処理部２３より出力されたＲ，Ｇ，Ｂ信号は、左目画像データとなる。左目画像出力部２４は左目画像データを出力し、右目画像出力部２５は右目画像データを出力する。
【００２８】
ステレオペア生成部２には、ステレオ画像表示装置３が接続されている。ステレオ画像表示装置３には、左目画像出力部２４より出力された左目画像データと、右目画像出力部２５より出力された右目画像データとのステレオペアが入力される。ステレオ画像表示装置３は、入力されたステレオペアに基づいてステレオ画像（立体画像）を表示する。
【００２９】
ステレオペア生成部２は、入力されたＲ，Ｇ，Ｂ信号をそのまま左目画像データとし、左目画像データ（Ｒ，Ｇ，Ｂ信号）を画素シフトすることによって右目画像データを生成してもよい。
【００３０】
ステレオペア生成部２は、右目画像データと左目画像データのいずれも、入力されたＲ，Ｇ，Ｂ信号をそのまま用いるのではなく、画素シフト部２１によって画素をシフトさせた左右の別視点の画像データをステレオペアとしてもよい。
【００３１】
図２を用いて、奥行き推定部３１１の具体的構成例及びその動作について説明する。画像入力部１１１には、Ｒ，Ｇ，Ｂ信号が入力される。画像入力部１１１は、Ｒ，Ｇ，Ｂ信号のうちのＲ信号のみを、上部高域成分評価部（第２の統計量評価部）１１２と下部高域成分評価部（第１の統計量評価部）１１３とに供給する。画像入力部１１１は、Ｒ，Ｇ，Ｂ信号のうちのＲ信号及びＢ信号を奥行き・飛び出し補正データ生成部１３８に供給する。
【００３２】
上部高域成分評価部１１２は、それぞれのフレームの上部約２０％の領域（第２の所定領域）に高域成分（所定統計量）がどの程度含まれているかを評価する。例えば、上部高域成分評価部１１２は、上部約２０％の領域を水平８画素、垂直８画素のブロックに分割する。上部高域成分評価部１１２は、それぞれのブロックにおいて次の式（１）を計算し、ブロックの平均を上部高域成分評価値top_actとする。上部高域成分評価値top_actは、合成部１１７に入力される。
【００３３】
【数１】
2014017686.tif 000003
【００３４】
下部高域成分評価部１１３は、それぞれのフレームの下部約２０％の領域（第１の所定領域）に高域成分（所定統計量）がどの程度含まれているかを評価する。例えば、下部高域成分評価部１１３は、下部約２０％の領域を水平８画素、垂直８画素のブロックに分割する。下部高域成分評価部１１３は、それぞれのブロックにおいて上記の式（１）を計算し、ブロックの平均を下部高域成分評価値bottom_actとする。下部高域成分評価値bottom_actは、合成部１１７に入力される。
【００３５】
なお、本実施形態では、フレームの下部約２０％の領域を第１の所定領域としたが、第１の所定領域の位置や範囲は、生成する擬似立体画像の特徴等に応じて適宜決定してよい。第２の所定領域も同様である。また、所定統計量も、本実施形態では、高域成分としたが、これもまた、生成する擬似立体画像の特徴等に応じて適宜異なる統計量を用いてよい。
【００３６】
フレームメモリ１１４〜１１６は、擬似立体画像を生成する際の基本となる基本奥行きモデルを記憶している。フレームメモリ１１４，１１５，１１６が記憶している基本奥行きモデルをそれぞれタイプ１，タイプ２，タイプ３とする。図３，図４，図５は、それぞれ、基本奥行きモデルのタイプ１，タイプ２，タイプ３の立体構造の一例を示している。
【００３７】
図３及び図４に示すタイプ１，タイプ２の基本奥行きモデルは凹面タイプの基本奥行きモデルである。図５に示すタイプ３の基本奥行きモデルは非凹面の平面タイプの基本奥行きモデルである。
【００３８】
基本奥行きモデルとは画面全体の視差値を決定するためのモデルである。基本奥行きモデルは、平面上のそれぞれの画素を、図３〜図５に示すような非平面形状の特性が有する飛び出し方向または奥行き方向にシフトさせるテーブルまたは計算式にて構成することができる。
【００３９】
合成部１１７は、上部高域成分評価値top_act及び下部高域成分評価値bottom_actそれぞれの値に応じて、フレームメモリ１１４〜１１６より出力されるタイプ１〜３の基本奥行きモデルを所定の合成比率で合成する。合成比率が０の場合もあることから、合成とはタイプ１〜３のうちのいずれか１つのみを用いる場合も含むものとする。
【００４０】
合成部１１７は、図６に示す合成比率決定条件に従ってタイプ１〜３の基本奥行きモデルを合成する。図６の横軸は上部高域成分評価値top_act、縦軸は下部高域成分評価値bottom_actである。
【００４１】
図６に示すように、下部高域成分評価値bottom_actが所定の値bms以下であれば、合成部１１７は、上部高域成分評価値top_actの値にかかわらず、タイプ３の基本奥行きモデルを用いる。即ち、タイプ１，２の合成比率を０にする。
【００４２】
下部高域成分評価値bottom_actが値bmsより大きく、所定の値bml以下であれば、合成部１１７は、上部高域成分評価値top_actの値に応じてタイプ１〜３を次のように合成する。上部高域成分評価値top_actが所定の値tps以下であれば、合成部１１７は、タイプ１の合成比率を０にして、タイプ２とタイプ３とを合成する。
【００４３】
上部高域成分評価値top_actが値tpsより大きく、所定の値tpl以下であれば、合成部１１７は、タイプ１〜３を合成する。上部高域成分評価値top_actが値tplより大きければ、合成部１１７は、タイプ２の合成比率を０にして、タイプ１とタイプ３とを合成する。
【００４４】
下部高域成分評価値bottom_actが値bmlより大きければ、合成部１１７は、上部高域成分評価値top_actの値に応じてタイプ１〜３を次のように合成する。上部高域成分評価値top_actが値tps以下であれば、合成部１１７は、タイプ１，３の合成比率を０にして、タイプ２の基本奥行きモデルを用いる。
【００４５】
上部高域成分評価値top_actが値tpsより大きく、値tpl以下であれば、合成部１１７は、タイプ３の合成比率を０にして、タイプ１とタイプ２とを合成する。上部高域成分評価値top_actが値tplより大きければ、合成部１１７は、タイプ２，３の合成比率を０にして、タイプ１の基本奥行きモデルを用いる。
【００４６】
合成部１１７によって図６に示す合成比率決定条件に従って合成した画面全体の視差値を示すデータは、加算器１１９に入力される。
【００４７】
複数のタイプの基本奥行きモデルを上部高域成分評価値top_act及び下部高域成分評価値bottom_actに応じて合成する構成は必須の構成ではないが、好ましい構成である。少なくとも１つのタイプの基本奥行きモデルを用いて、画面全体の視差値を示すデータを発生する構成であればよい。
【００４８】
奥行き・飛び出し補正データ生成部１３８は、Ｒ信号とＢ信号とに基づいて、画素の奥行きまたは飛び出しの程度を補正するための補正データを生成する。補正データは、合成部１１７より出力されたデータが示す画面全体の視差値に対して付加される付加的な視差値のデータである。
【００４９】
Ｒ信号を用いる理由の１つは、順光に近い環境で、かつ、画面内の明度が大きく異ならない条件で、Ｒ信号の大きさが被写体の凹凸の程度と一致する確立が高いからである。他の理由の１つは、赤色等の暖色は色彩学における前進色であり、寒色よりも奥行き方向の手前に認識されやすいからである。
【００５０】
Ｂ信号を用いる理由の１つは、物理法則的一般論（空気遠近法）により、光線の散乱により遠くにあるものほど、青寄りに見えるからである。
【００５１】
従って、Ｒ信号とＢ信号とを用いて補正データを生成すれば、手前側に存在している被写体をより手前側へと補正し、奥側に存在している被写体をより奥側へと補正することが可能となる。
【００５２】
図７を用いて、奥行き・飛び出し補正データ生成部１３８の具体的構成例及びその動作について説明する。図７において、ＲＢ割合算出部３８１には、Ｒ信号とＢ信号とが入力される。
【００５３】
ＲＢ割合算出部３８１は、式（２）に示す計算式によってＲ信号とＢ信号との割合を算出してRB_rate信号を出力する。RB_rate信号はＲ信号とＢ信号との割合を示す信号である。ＲＢ割合算出部３８１は、Ｒ信号とＢ信号とを用いて、赤色と青色との割合を示す色割合データを生成する色割合データ生成部である。
【００５４】
RB_rate=(0.5×R)+{0.5×(255-B)}    …（２）
【００５５】
Ｒ信号とＢ信号をそれぞれ８ビットとし、Ｘ軸にＢ信号、Ｙ軸にＲ信号、Ｚ軸に式（２）で得られるRB_rate信号をとると、RB_rate信号は図８に示すように表される。図８では、RB_rate信号の値の大きさによってＲｔ１〜Ｒｔ４までの４つの領域に分けている。
【００５６】
式（２）より、Ｒ信号が大きければRB_rate信号の値は大きくなり、Ｂ信号が大きければRB_rate信号の値は小さくなる。従って、赤や黄のような暖色は領域Ｒｔ４に含まれ、青やシアンのような寒色は領域Ｒｔ１に含まれる。
【００５７】
RB_rate信号は減算器３８２に入力される。減算器３８２は、RB_rate信号からオフセット値（OFFSET）を減算する。オフセット値は好ましくは１２８である。オフセット値を１２８とした場合、減算器３８２は、式（３）に示す計算式によって、RB_rate信号の大きさの中心を０基準に変更したRB_out信号を出力する。
【００５８】
RB_out=RB_rate-128    …（３）
【００５９】
RB_out信号は図９に示すように表される。式（３）によって、図８におけるRB_rate信号が１２８を超える領域Ｒｔ３，Ｒｔ４の部分はプラスとなり、１２８未満の領域Ｒｔ１，Ｒｔ２の部分はマイナスとなる。プラスは飛び出し方向、マイナスは引っ込み方向である。
【００６０】
従って、RB_rate信号を式（３）によって図９に示すようなRB_out信号に変換すると、赤の強い部分を手前側、青の強い部分を奥側へと配置させることができる。なお、黒や白を含むグレーの部分のRB_out信号は０となるため、奥行き・飛び出し補正データ生成部１３８が生成する補正データは、全体的な奥行きを変化させない。
【００６１】
ＲＢ割合算出部３８１及び減算器３８２は、Ｒ信号とＢ信号とを用いて、暖色系が正の値、寒色系が負の値をとる色データを生成する色データ生成部である。
【００６２】
RB_out信号は、乗算器３８３，３８４に入力される。乗算器３８３は、RB_out信号のマイナス側の領域Ｒｔ１，Ｒｔ２の利得を可変させるための乗算器であり、乗算器３８４は、RB_out信号のプラス側の領域Ｒｔ３，Ｒｔ４の利得を可変させるための乗算器である。
【００６３】
利得制御部３８６には、下部高域成分評価部１１３によって生成された下部高域成分評価値bottom_actが入力される。利得制御部３８６は、下部高域成分評価値bottom_actの値に応じて、マイナス側の利得係数gain_mとプラス側の利得係数gain_pを生成する。
【００６４】
図１０の（ａ）に示すように、利得制御部３８６は、下部高域成分評価値bottom_actが大きくなるに従ってマイナス側の利得係数gain_mを順次小さくするよう制御する。図１０の（ｂ）に示すように、利得制御部３８６は、下部高域成分評価値bottom_actが大きくなるに従ってプラス側の利得係数gain_pを順次大きくするよう制御する。
【００６５】
利得制御部３８６によって生成された利得係数gain_mは乗算器３８３に供給され、利得制御部３８６によって生成された利得係数gain_pは乗算器３８４に供給さる。乗算器３８３は、RB_out信号に利得係数gain_mを乗算して選択部３８５へと出力する。乗算器３８４は、RB_out信号に利得係数gain_pを乗算して選択部３８５へと出力する。
【００６６】
選択部３８５には、RB_out信号の符号ビットが入力される。選択部３８５は、入力された符号ビットに基づいて、RB_out信号がプラスであれば、乗算器３８４の出力を選択し、RB_out信号がマイナスであれば乗算器３８３の出力を選択する。選択部３８５からは、補正データRB_out_gainが出力される。
【００６７】
乗算器３８３，３８４及び選択部３８５は、暖色系が正の値、寒色系が負の値をとる色データであるRB_out信号における正の値に利得係数gain_pを乗算し、RB_out信号における負の値に利得係数gain_mを乗算することにより、画素の奥行きまたは飛び出しの程度を補正するための補正データを生成する振幅補正部として動作している。
【００６８】
図６で説明したように、画面下部の高域成分が少ない場合には、下部高域成分評価値bottom_actが小さくなって、平面モデルである図５に示す奥行き基本モデルのタイプ３が選択される。画面下部の高域成分が多い場合には、下部高域成分評価値bottom_actが大きくなり、凹面モデルである図３に示す奥行き基本モデルのタイプ１または図４に示す奥行き基本モデルのタイプ２が選択される。
【００６９】
まず、下部高域成分評価値bottom_actが小さくなって、奥行き基本モデルのタイプ３が選択された場合について説明する。下部高域成分評価値bottom_actが小さいので、図１０の（ａ），（ｂ）に示す特性より、マイナス側の利得係数gain_mは比較的大きな値となり、プラス側の利得係数gain_pは比較的小さな値となる。
【００７０】
従って、選択部３８５より出力される補正データRB_out_gainは、図１１に示すように、奥行きを強調する特性となる。図１１では、奥行きが強調されることによって、マイナス側の補正データRB_out_gainを領域Ｒｔ０〜Ｒｔ２の３つの領域として図示している。図１１に示す補正データRB_out_gainを画面全体の視差値を示すデータに加えれば、奥行きの程度を大きくすることができる。
【００７１】
次に、下部高域成分評価値bottom_actが大きくなって、奥行き基本モデルのタイプ１またはタイプ２が選択された場合について説明する。下部高域成分評価値bottom_actが大きいので、図１０の（ａ），（ｂ）に示す特性より、マイナス側の利得係数gain_mは比較的小さな値となり、プラス側の利得係数gain_pは比較的大きな値となる。
【００７２】
従って、選択部３８５より出力される補正データRB_out_gainは、図１２に示すように、飛び出しを強調する特性となる。図１２では、飛び出しが強調されることによって、プラス側の補正データRB_out_gainを領域Ｒｔ３〜Ｒｔ５の３つの領域として図示している。図１２に示す補正データRB_out_gainを画面全体の視差値を示すデータに加えれば、飛び出しの程度を大きくすることができる。
【００７３】
以上のようにして奥行き・飛び出し補正データ生成部１３８が生成した補正データRB_out_gainは、図２の加算器１１９に入力される。加算器１１９は、合成部１１７より出力された画面全体の視差値を示すデータと補正オブジェクト信号とを加算して、奥行き推定データとして出力する。
【００７４】
図１３，図１４を用いて、本実施形態による効果について説明する。図１３に示すように、画面手前から奥に道が続いており、道の両側に木が存在し、画面下部に人物が存在している画像を例とする。この図１３に示す画像の場合、奥行き推定部３１１は、図３に示す奥行き基本モデルのタイプ１を選択する。
【００７５】
図１４において、（ａ）は従来の処理による擬似立体画像であり、（ｂ）は本実施形態の処理による擬似立体画像である。図１４の（ａ）に示す擬似立体画像は、特許文献１に記載されている画面全体の視差値を示すデータに対してＲ信号をそのまま加算する処理による画像である。
【００７６】
図１４の（ａ）より分かるように、従来の処理においては背景と人物との分離感が乏しい。一方、本実施形態によれば、補正データRB_out_gainによる補正によって人物の飛び出し感が強調されるので、図１４の（ｂ）より分かるように、背景と人物との分離感が向上している。よって、本実施形態によれば、立体効果を大きく改善することができる。
【００７７】
ここでは、凹面モデルである奥行き基本モデルのタイプ１が選択された場合について説明したが、本実施形態においては、使用する奥行き基本モデルのタイプに合せて、奥行きまたは飛び出しの一方が適切に選択されて強調される。従って、使用する奥行き基本モデルのタイプがいずれであっても、立体効果を大きく改善することが可能となる。
【００７８】
以上説明した本実施形態においては、ステレオペア生成部２が２視点の画像データを生成し、ステレオ画像表示装置３が２視点の画像データに基づいて立体画像を表示する構成を示している。３視点以上の画像データを生成し、３視点以上の画像データに基づいて立体画像を表示するいわゆる多視点画像表示装置によって立体画像を表示してもよい。
【００７９】
ステレオ画像表示装置３は、偏光めがねを用いたプロジェクションシステム、時分割表示と液晶シャッタめがねとを組み合わせたプロジェクションシステムもしくはディスプレイシステム、レンチキュラ方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイ等のいずれでもよい。
【００８０】
プロジェクタシステムは、ステレオペアのそれぞれの画像データを投射する２台のプロジェクタで構成することができる。
【００８１】
本実施形態の奥行き情報生成装置または擬似立体画像生成装置をハードウェアによって構成してもよいし、コンピュータプログラムによるソフトウェアによって構成してもよい。
【００８２】
コンピュータに以上説明した奥行き情報生成装置及び方法、擬似立体画像生成装置及び方法と同様の処理を実行させる場合、奥行き情報生成プログラムや擬似立体画像生成プログラムを記録媒体より読み出してコンピュータにインストールさせてもよいし、奥行き情報生成プログラムや擬似立体画像生成プログラムを、ネットワークを介してコンピュータにインストールさせてもよい。
【００８３】
本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。
【符号の説明】
【００８４】
１  奥行き情報生成部（奥行き情報生成装置）
２  ステレオペア生成部
３  ステレオ画像表示装置
２１  画素シフト部
１１２  上部高域成分評価部
１１３  下部高域成分評価部
１１４〜１１６  フレームメモリ（視差データ発生部）
１１７  合成部（視差データ発生部）
１１９  加算器
１３８  奥行き・飛び出し補正データ生成部
３１１  奥行き推定部
３８１  ＲＢ割合算出部
３８２  減算器
３８３，３８４  乗算器（振幅補正部）
３８５  選択部（振幅補正部）
３８６  利得制御部
【図１】
2014017686.tif 000004
【図２】
2014017686.tif 000005
【図３】
2014017686.tif 000006
【図４】
2014017686.tif 000007
【図５】
2014017686.tif 000008
【図６】
2014017686.tif 000009
【図７】
2014017686.tif 000010
【図８】
2014017686.tif 000011
【図９】
2014017686.tif 000012
【図１０】
2014017686.tif 000013
【図１１】
2014017686.tif 000014
【図１２】
2014017686.tif 000015
【図１３】
2014017686.tif 000016
【図１４】
2014017686.tif 000017