(57)【要約】【課題】画面の中央部に注目被写体がある画像に対して十分な立体効果が得られる奥行き情報を生成することができる奥行き情報生成装置を提供する。【解決手段】合成部１１７は、フレームメモリ１１４〜１１６に記憶された画面全体の視差値を決定するための基本奥行きモデルを合成して、画面内それぞれの画素の視差値を示す視差データを発生する。オブジェクト信号補正部１１８は、非立体画像信号（Ｒ信号）に含まれる注目被写体が画面の周辺部を除く中央部に集中して分布している程度を示す中央部分布割合データの大きさに応じて、非立体画像信号の振幅を増大させるよう補正して補正非立体画像信号（Ｒ’信号）を出力する。加算器１１９は、合成部１１７からの視差データと補正非立体画像信号とを加算して、奥行き推定データを生成する。【選択図】図２
2014007715.tif 000002
【特許請求の範囲】
【請求項１】
画面全体の視差値を決定するための基本奥行きモデルを用いて、画面内それぞれの画素の視差値を示す視差データを発生する視差データ発生部と、
非立体画像信号に含まれる注目被写体が画面の周辺部を除く第１の中央部に集中して分布している程度を示す中央部分布割合データを算出する中央部分布割合算出部と、
前記中央部分布割合データの大きさに応じて、画面の前記第１の中央部と同一または異なる第２の中央部における前記非立体画像信号の振幅を増大させるよう補正して、補正非立体画像信号を出力する振幅補正部と、
前記視差データ発生部が発生した視差データと、前記振幅補正部より出力された補正非立体画像信号とを加算して、画面内それぞれの画素に対する奥行き推定データを生成する加算器と、
を備えることを特徴とする奥行き情報生成装置。
【請求項２】
前記視差データ発生部は、複数の基本奥行きモデルそれぞれの画面全体の視差値を示す視差データを、前記非立体画像信号が有する特徴に基づいて合成する合成部を有することを特徴とする請求項１記載の奥行き情報生成装置。
【請求項３】
画面における上部の所定の領域に含まれる高域成分の量を評価して上部高域成分評価値を生成する上部高域成分評価部と、
画面における下部の所定の領域に含まれる高域成分の量を評価して下部高域成分評価値を生成する下部高域成分評価部と、
をさらに備え、
前記合成部は、前記上部高域成分評価値と前記下部高域成分評価値とに応じて、前記複数の基本奥行きモデルそれぞれの画面全体の視差値を示す視差データを合成する
ことを特徴とする請求項２記載の奥行き情報生成装置。
【請求項４】
前記中央部分布割合算出部は、前記周辺部に含まれる高周波成分の頻度を示す高周波成分頻度データと、前記第１の中央部に含まれる高周波成分の頻度を示す高周波成分頻度データとを用いて、前記中央部分布割合データを算出することを特徴とする請求項１〜３のいずれか１項に記載の奥行き情報生成装置。
【請求項５】
前記非立体画像信号は、３原色信号のうちの赤色信号であることを特徴とする請求項１〜４のいずれか１項に記載の奥行き情報生成装置。
【請求項６】
請求項１〜５のいずれか１項に記載の奥行き情報生成装置と、
前記奥行き推定データに基づいて、複数の視点の画像データを生成する複数視点画像データ生成部と、
を備えることを特徴とする擬似立体画像生成装置。
【請求項７】
画面全体の視差値を決定するための基本奥行きモデルを用いて、画面内それぞれの画素の視差値を示す視差データを発生し、
非立体画像信号に含まれる注目被写体が画面の周辺部を除く第１の中央部に集中して分布している程度を示す中央部分布割合データを算出し、
前記中央部分布割合データの大きさに応じて、画面の前記第１の中央部と同一または異なる第２の中央部における前記非立体画像信号の振幅を増大させるよう補正して、補正非立体画像信号を生成し、
前記視差データと前記補正非立体画像信号とを加算して、画面内それぞれの画素に対する奥行き推定データを生成する
ことを特徴とする奥行き情報生成方法。
【請求項８】
コンピュータに、
画面全体の視差値を決定するための基本奥行きモデルを用いて、画面内それぞれの画素の視差値を示す視差データを発生するステップと、
非立体画像信号に含まれる注目被写体が画面の周辺部を除く第１の中央部に集中して分布している程度を示す中央部分布割合データを算出するステップと、
前記中央部分布割合データの大きさに応じて、画面の前記第１の中央部と同一または異なる第２の中央部における前記非立体画像信号の振幅を増大させるよう補正して、補正非立体画像信号を生成するステップと、
前記視差データと前記補正非立体画像信号とを加算して、画面内それぞれの画素に対する奥行き推定データを生成するステップと、
を実行させることを特徴とする奥行き情報生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通常の画像のように奥行き情報が明示的に与えておらず、ステレオ画像のように奥行き情報が暗示的にも与えられていない非立体画像から奥行き情報を生成する奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラム、奥行き情報を用いて擬似的な立体画像を生成する擬似立体画像生成装置に関する。
【背景技術】
【０００２】
近年、立体画像の普及に伴って、奥行き情報が明示的にも暗示的にも与えられていない非立体画像を擬似的な立体画像に変換することが行われるようになってきた。非立体画像を擬似的な立体画像に変換するための擬似立体画像生成装置が種々提案されている。
【０００３】
一例として、特許文献１には、基本となる複数種類のシーン構造のそれぞれについて奥行き値を示す複数種類の基本奥行きモデルを用いて奥行き推定データを生成する擬似立体画像生成装置が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１５１５３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の擬似立体画像生成装置が備える奥行き情報生成装置においては、画面の中央部に人物等の注目被写体がある画像では十分な立体効果が得られる奥行き情報を生成することができないという問題点があった。
【０００６】
本発明はこのような問題点に鑑み、画面の中央部に注目被写体がある画像に対して十分な立体効果が得られる奥行き情報を生成することができる奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラムを提供することを目的とする。また、画面の中央部に注目被写体がある画像に対して十分な立体効果を得ることができる擬似立体画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上述した従来の技術の課題を解決するため、画面全体の視差値を決定するための基本奥行きモデルを用いて、画面内それぞれの画素の視差値を示す視差データを発生する視差データ発生部（１１４〜１１７）と、非立体画像信号に含まれる注目被写体が画面の周辺部を除く第１の中央部に集中して分布している程度を示す中央部分布割合データを算出する中央部分布割合算出部（８４）と、前記中央部分布割合データの大きさに応じて、画面の前記第１の中央部と同一または異なる第２の中央部における前記非立体画像信号の振幅を増大させるよう補正して、補正非立体画像信号を出力する振幅補正部（８６，８７）と、前記視差データ発生部が発生した視差データと、前記振幅補正部より出力された補正非立体画像信号とを加算して、画面内それぞれの画素に対する奥行き推定データを生成する加算器（１１９）とを備えることを特徴とする奥行き情報生成装置（１）を提供する。
【０００８】
上記の奥行き情報生成装置において、前記視差データ発生部は、複数の基本奥行きモデルそれぞれの画面全体の視差値を示す視差データを、前記非立体画像信号が有する特徴に基づいて合成する合成部（１１７）を有することが好ましい。
【０００９】
上記の奥行き情報生成装置において、画面における上部の所定の領域に含まれる高域成分の量を評価して上部高域成分評価値を生成する上部高域成分評価部（１１２）と、画面における下部の所定の領域に含まれる高域成分の量を評価して下部高域成分評価値を生成する下部高域成分評価部（１１３）とをさらに備え、前記合成部は、前記上部高域成分評価値と前記下部高域成分評価値とに応じて、前記複数の基本奥行きモデルそれぞれの画面全体の視差値を示す視差データを合成することが好ましい。
【００１０】
上記の奥行き情報生成装置において、前記中央部分布割合算出部は、前記周辺部に含まれる高周波成分の頻度を示す高周波成分頻度データと、前記第１の中央部に含まれる高周波成分の頻度を示す高周波成分頻度データとを用いて、前記中央部分布割合データを算出することが好ましい。
【００１１】
上記の奥行き情報生成装置において、前記非立体画像信号は、３原色信号のうちの赤色信号であることが好ましい。
【００１２】
また、本発明は、上述した従来の技術の課題を解決するため、上記のいずれかの構成を有する奥行き情報生成装置と、前記奥行き推定データに基づいて、複数の視点の画像データを生成する複数視点画像データ生成部（２）とを備えることを特徴とする擬似立体画像生成装置を提供する。
【００１３】
さらに、本発明は、上述した従来の技術の課題を解決するため、画面全体の視差値を決定するための基本奥行きモデルを用いて、画面内それぞれの画素の視差値を示す視差データを発生し、非立体画像信号に含まれる注目被写体が画面の周辺部を除く第１の中央部に集中して分布している程度を示す中央部分布割合データを算出し、前記中央部分布割合データの大きさに応じて、画面の前記第１の中央部と同一または異なる第２の中央部における前記非立体画像信号の振幅を増大させるよう補正して、補正非立体画像信号を生成し、前記視差データと前記補正非立体画像信号とを加算して、画面内それぞれの画素に対する奥行き推定データを生成することを特徴とする奥行き情報生成方法を提供する。
【００１４】
さらにまた、本発明は、上述した従来の技術の課題を解決するため、コンピュータに、画面全体の視差値を決定するための基本奥行きモデルを用いて、画面内それぞれの画素の視差値を示す視差データを発生するステップと、非立体画像信号に含まれる注目被写体が画面の周辺部を除く第１の中央部に集中して分布している程度を示す中央部分布割合データを算出するステップと、前記中央部分布割合データの大きさに応じて、画面の前記第１の中央部と同一または異なる第２の中央部における前記非立体画像信号の振幅を増大させるよう補正して、補正非立体画像信号を生成するステップと、前記視差データと前記補正非立体画像信号とを加算して、画面内それぞれの画素に対する奥行き推定データを生成するステップとを実行させることを特徴とする奥行き情報生成プログラムを提供する。
【発明の効果】
【００１５】
本発明の奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラムによれば、画面の中央部に注目被写体がある画像に対して十分な立体効果が得られる奥行き情報を生成することができる。また、本発明の擬似立体画像生成装置によれば、画面の中央部に注目被写体がある画像に対して十分な立体効果を得ることができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の擬似立体画像生成装置の一実施形態を示すブロック図である。
【図２】図１中の奥行き推定部１１の具体的な構成例であり、本発明の奥行き情報生成装置の一実施形態を示すブロック図である。
【図３】図２中のフレームメモリ１１４が保持する基本奥行きモデル（タイプ１）の立体構造の一例を示す図である。
【図４】図２中のフレームメモリ１１５が保持する基本奥行きモデル（タイプ２）の立体構造の一例を示す図である。
【図５】図２中のフレームメモリ１１６が保持する基本奥行きモデル（タイプ３）の立体構造の一例を示す図である。
【図６】図２中の合成部１１７による合成比率決定条件の一例を示す図である。
【図７】図２中のオブジェクト信号補正部１１８の具体的な構成例を示すブロック図である。
【図８】図７中の高周波成分頻度検出部８１，８２がそれぞれ高周波成分の頻度を検出する領域の一例を示す図である。
【図９】図７中の高周波成分頻度検出部８１，８２の具体的な構成例を示すブロック図である。
【図１０】図９中のハイパスフィルタ８０１による高周波成分の検出位相を説明するための図である。
【図１１】図７中の中央部分布割合算出部８４の具体的な構成例を示すブロック図である。
【図１２】図７中のリーク型積分回路８５の具体的な構成例を示すブロック図である。
【図１３】図７中のゲイン算出部８６で算出するゲインの特性図である。
【図１４】図１３の（ｂ）に示すゲインの制限値limの特性図である。
【図１５】一実施形態による効果を説明するための擬似立体画像の表示例を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明の奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラム、擬似立体画像生成装置の一実施形態について、添付図面を参照して説明する。
【００１８】
図１において、Ｒ，Ｇ，Ｂ信号である入力信号（オブジェクト信号）は、擬似的な奥行き情報を生成する奥行き情報生成部１に入力される。奥行き情報生成部１は、一実施形態の奥行き情報生成装置を構成する。Ｒ，Ｇ，Ｂ信号は、３原色信号の赤色信号，緑色信号，青色信号である。
【００１９】
奥行き情報生成部１に入力されるＲ，Ｇ，Ｂ信号は、奥行き情報が明示的にも暗示的にも与えられていない非立体画像を表す画像信号である。奥行き情報生成部１は、奥行き推定データを生成する奥行き推定部１１を有する。奥行き推定部１１の具体的な構成及び動作については後に詳述する。
【００２０】
ステレオペア生成部２には、奥行き情報生成部１への入力信号であるＲ，Ｇ，Ｂ信号と、奥行き推定部１１によって生成された奥行き推定データとが入力される。ステレオペア生成部２は、右目画像データと左目画像データとのステレオペアを生成する。
【００２１】
ステレオペア生成部２は、非立体画像信号に基づいて複数の視点の画像データを生成する複数視点画像データ生成部の一例である。奥行き情報生成部１とステレオペア生成部２とは、一実施形態の擬似立体画像生成装置を構成する。
【００２２】
ステレオペア生成部２は、入力されたＲ，Ｇ，Ｂ信号をそのまま右目画像データとする。ステレオペア生成部２は、右目画像データ（Ｒ，Ｇ，Ｂ信号）に基づいて左目画像データを生成する。
【００２３】
画素シフト部２１には、Ｒ，Ｇ，Ｂ信号と奥行き推定データとが入力される。画素シフト部２１は、奥行き推定データに基づいてＲ，Ｇ，Ｂ信号それぞれの画素をシフトする。
【００２４】
例えば左に視点移動する場合、画面より手前に表示するものは近いものほど画像を見る者の内側（鼻側）に見える。そこで、画素シフト部２１は、対応部分の画素を奥行き推定データが示す奥行きに応じた量だけ、内側（右側）に移動させる。画面より奥に表示するものは近いものほど画像を見る者の外側に見える。そこで、画素シフト部２１は、対応部分の画素を奥行きに応じた量だけ、外側（左側）に移動させる。
【００２５】
画素シフト部２１によって画素をシフトすると、画像内に、画素が存在しない、いわゆるオクルージョンが発生する場合がある。オクルージョン補償部２２は、画素シフト部２１より出力されたＲ，Ｇ，Ｂ信号のオクルージョンを補償する。
【００２６】
オクルージョン補償部２２は、オクルージョンの周辺の画素を用いて画素を補間する等の公知の方法によってオクルージョンを補償する。
【００２７】
オクルージョン補償部２２より出力されたＲ，Ｇ，Ｂ信号は、ポスト処理部２３に入力される。ポスト処理部２３は、入力されたＲ，Ｇ，Ｂ信号に対して平滑化処理等のポスト処理を施す。ポスト処理部２３によってポスト処理を施すことにより、オクルージョン補償された画像が滑らかとなり、ノイズが軽減される。
【００２８】
ポスト処理部２３より出力されたＲ，Ｇ，Ｂ信号は、左目画像データとなる。左目画像出力部２４は左目画像データを出力し、右目画像出力部２５は右目画像データを出力する。
【００２９】
ステレオペア生成部２には、ステレオ画像表示装置３が接続されている。ステレオ画像表示装置３には、左目画像出力部２４より出力された左目画像データと、右目画像出力部２５より出力された右目画像データとのステレオペアが入力される。ステレオ画像表示装置３は、入力されたステレオペアに基づいてステレオ画像（立体画像）を表示する。
【００３０】
ステレオペア生成部２は、入力されたＲ，Ｇ，Ｂ信号をそのまま左目画像データとし、左目画像データ（Ｒ，Ｇ，Ｂ信号）を画素シフトすることによって右目画像データを生成してもよい。
【００３１】
ステレオペア生成部２は、右目画像データと左目画像データのいずれも、入力されたＲ，Ｇ，Ｂ信号をそのまま用いるのではなく、画素シフト部２１によって画素をシフトさせた左右の別視点の画像データをステレオペアとしてもよい。
【００３２】
図２を用いて、奥行き推定部１１の具体的構成例及びその動作について説明する。画像入力部１１１には、Ｒ，Ｇ，Ｂ信号が入力される。画像入力部１１１は、Ｒ，Ｇ，Ｂ信号のうちのＲ信号のみを、上部高域成分評価部１１２と下部高域成分評価部１１３とオブジェクト信号補正部１１８とに供給する。
【００３３】
上部高域成分評価部１１２は、それぞれのフレームの上部約２０％の領域に高域成分がどの程度含まれているかを評価する。例えば、上部高域成分評価部１１２は、上部約２０％の領域を水平８画素、垂直８画素のブロックに分割する。上部高域成分評価部１１２は、それぞれのブロックにおいて次の式（１）を計算し、ブロックの平均を上部高域成分評価値top_actとする。上部高域成分評価値top_actは、合成部１１７に入力される。
【００３４】
【数１】
2014007715.tif 000003
【００３５】
下部高域成分評価部１１３は、それぞれのフレームの下部約２０％の領域に高域成分がどの程度含まれているかを評価する。例えば、下部高域成分評価部１１３は、下部約２０％の領域を水平８画素、垂直８画素のブロックに分割する。下部高域成分評価部１１３は、それぞれのブロックにおいて上記の式（１）を計算し、ブロックの平均を下部高域成分評価値bottom_actとする。下部高域成分評価値bottom_actは、合成部１１７に入力される。
【００３６】
フレームメモリ１１４〜１１６は、擬似立体画像を生成する際の基本となる基本奥行きモデルを記憶している。フレームメモリ１１４，１１５，１１６が記憶している基本奥行きモデルをそれぞれタイプ１，タイプ２，タイプ３とする。図３，図４，図５は、それぞれ、基本奥行きモデルのタイプ１，タイプ２，タイプ３の立体構造の一例を示している。
【００３７】
基本奥行きモデルとは画面全体の視差値を決定するためのモデルである。基本奥行きモデルは、平面上のそれぞれの画素を、図３〜図５に示すような非平面形状の特性が有する飛び出し方向または奥行き方向にシフトさせるテーブルまたは計算式にて構成することができる。
【００３８】
合成部１１７は、上部高域成分評価値top_act及び下部高域成分評価値bottom_actそれぞれの値に応じて、フレームメモリ１１４〜１１６より出力されるタイプ１〜３の基本奥行きモデルを所定の合成比率で合成する。
【００３９】
合成部１１７は、図６に示す合成比率決定条件に従ってタイプ１〜３の基本奥行きモデルを合成する。図６の横軸は上部高域成分評価値top_act、縦軸は下部高域成分評価値bottom_actである。
【００４０】
図６に示すように、下部高域成分評価値bottom_actが所定の値bms以下であれば、合成部１１７は、上部高域成分評価値top_actの値にかかわらず、タイプ３の基本奥行きモデルを用いる。即ち、タイプ１，２の合成比率を０にする。
【００４１】
下部高域成分評価値bottom_actが値bmsより大きく、所定の値bml以下であれば、合成部１１７は、上部高域成分評価値top_actの値に応じてタイプ１〜３を次のように合成する。上部高域成分評価値top_actが所定の値tps以下であれば、合成部１１７は、タイプ１の合成比率を０にして、タイプ２とタイプ３とを合成する。
【００４２】
上部高域成分評価値top_actが値tpsより大きく、所定の値tpl以下であれば、合成部１１７は、タイプ１〜３を合成する。上部高域成分評価値top_actが値tplより大きければ、合成部１１７は、タイプ２の合成比率を０にして、タイプ１とタイプ３とを合成する。
【００４３】
下部高域成分評価値bottom_actが値bmlより大きければ、合成部１１７は、上部高域成分評価値top_actの値に応じてタイプ１〜３を次のように合成する。上部高域成分評価値top_actが値tps以下であれば、合成部１１７は、タイプ１，３の合成比率を０にして、タイプ２の基本奥行きモデルを用いる。
【００４４】
上部高域成分評価値top_actが値tpsより大きく、値tpl以下であれば、合成部１１７は、タイプ３の合成比率を０にして、タイプ１とタイプ２とを合成する。上部高域成分評価値top_actが値tplより大きければ、合成部１１７は、タイプ２，３の合成比率を０にして、タイプ１の基本奥行きモデルを用いる。
【００４５】
合成部１１７によって図６に示す合成比率決定条件に従って合成した画面全体の視差値を示すデータは、加算器１１９に入力される。
【００４６】
複数のタイプの基本奥行きモデルを上部高域成分評価値top_act及び下部高域成分評価値bottom_actに応じて合成する構成は必須の構成ではないが、好ましい構成である。少なくとも１つのタイプの基本奥行きモデルを用いて、画面全体の視差値を示すデータを発生する構成であればよい。
【００４７】
オブジェクト信号補正部１１８は、オブジェクト信号のうちのＲ信号を後述するように補正してＲ’信号として出力する。Ｒ’信号は、合成部１１７より出力されたデータが示す画面全体の視差値に対して付加される付加的な視差値のデータである。
【００４８】
Ｒ信号を用いる理由の１つは、順光に近い環境で、かつ、画面内の明度が大きく異ならない条件で、Ｒ信号の大きさが被写体の凹凸の程度と一致する確立が高いからである。他の理由の１つは、赤色等の暖色は色彩学における前進色であり、寒色よりも奥行き方向の手前に認識されやすいからである。
【００４９】
図７を用いて、オブジェクト信号補正部１１８の具体的構成例及びその動作について説明する。図７において、画像特徴検出部８０にはＲ信号が入力される。画像特徴検出部８０は、高周波成分頻度検出部８１，８２を有する。
【００５０】
高周波成分頻度検出部８１は、図８に示すように、１フレームの画面全体である領域ＲｎＡにおける高周波成分の頻度を検出する。領域ＲｎＡは有効映像期間でよい。高周波成分頻度検出部８２は、図８に示すように、領域ＲｎＡよりも狭い画面中央の領域ＲｎＢにおける高周波成分の頻度を検出する。領域ＲｎＢの大きさは適宜設定すればよい。
【００５１】
高周波成分頻度検出部８１，８２は、具体的に、図９に示すように構成される。図９において、ハイパスフィルタ（ＨＰＦ）８０１には、Ｒ信号が入力される。
【００５２】
ＨＰＦ８０１は、水平方向においては、図１０の（ａ）に示すように、ハッチングを付した現在の画素に対し、左右方向に１画素ずつ離れた位置の白で示す画素x_m，x_pの差分を算出する。ＨＰＦ８０１は、垂直方向においては、図１０の（ｂ）に示すように、ハッチングを付した現在の画素に対し、上下方向に１画素ずつ離れた位置の白で示す画素y_m，y_pの差分を算出する。
【００５３】
ＨＰＦ８０１は、図１０の（ａ），（ｂ）に白で示す画素x_m，x_p，y_m，y_pのデータを生成するための水平方向及び垂直方向の遅延器と、差分を算出する減算器を有する。図１０の（ａ），（ｂ）より分かるように、ハッチングを付した現在の画素に対する差分値は、水平方向では１画素、垂直方向では１ライン遅れて生成されることになる。水平方向の差分値は水平方向の高周波成分を示し、垂直方向の差分値は垂直方向の高周波成分を示す。
【００５４】
絶対値演算部８０２は、ＨＰＦ８０１より入力された差分値を式（２），式（３）に示す計算式によって絶対値化する。Act_Hは水平差分絶対値であり、Act_Vは垂直差分絶対値である。絶対値演算部８０２は、式（４）に示す計算式によって高周波成分Act_HVを算出する。
【００５５】
Act_H=abs(x_m-x_p)    …（２）
Act_V=abs(y_m-y_p)    …（３）
Act_HV=Act_H+Act_V    …（４）
【００５６】
２値化演算部８０３は、絶対値演算部８０２より入力された高周波成分Act_HVが所定の閾値より大きければ“１”を出力し、閾値以下であれば“０”を出力する。２値化演算部８０３の出力が“１”であれば、注目画素である現在の画素が高周波成分を有するということである。
【００５７】
高周波成分頻度検出部８１においては、累積カウンタ８０４は、領域ＲｎＡの期間、２値化演算部８０３の出力を累積してカウントする。累積カウンタ８０４のカウント値は、領域ＲｎＡ内で、２値化演算部８０３によって高周波成分Act_HVが閾値より大きいと判定された画素の総数を示す。
【００５８】
高周波成分頻度検出部８２においては、累積カウンタ８０４は、領域ＲｎＢの期間、２値化演算部８０３の出力を累積してカウントする。累積カウンタ８０４のカウント値は、領域ＲｎＢ内で、２値化演算部８０３によって高周波成分Act_HVが閾値より大きいと判定された画素の総数を示す。
【００５９】
高周波成分頻度検出部８１においては、レジスタ８０５は、累積カウンタ８０４からのカウント値を保持して、高周波成分頻度データAct_Num_Aとして出力する。高周波成分頻度検出部８２においては、レジスタ８０５は、累積カウンタ８０４からのカウント値を保持して、高周波成分頻度データAct_Num_Bとして出力する。
【００６０】
本実施形態では、それぞれのフレームで高周波成分頻度データAct_Num_A，Act_Num_Bを生成しているが、複数フレーム毎に高周波成分頻度データAct_Num_A，Act_Num_Bを生成してもよい。画像特徴検出部８０は、画面の所定単位（時間単位）毎に高周波成分頻度データAct_Num_A，Act_Num_Bを生成すればよい。但し、１フレーム毎に高周波成分頻度データAct_Num_A，Act_Num_Bを生成することが好ましい。
【００６１】
ここでは、画像データの画面の単位をフレームとして説明したが、インターレース走査によるフィールドを単位とすることもある。この場合、本実施形態におけるフレームをフィールドと読み替えることとする。
【００６２】
図７に戻り、高周波成分頻度検出部８１より出力された高周波成分頻度データAct_Num_Aは、減算器８３に入力される。高周波成分頻度検出部８２より出力された高周波成分頻度データAct_Num_Bは、減算器８３及び中央部分布割合算出部８４に入力される。
【００６３】
減算器８３は、式（５）に示す計算式によって高周波成分頻度データAct_Num_Aから高周波成分頻度データAct_Num_Bを減算して、それぞれのフレームの領域ＲｎＡのうち、画面中央の領域ＲｎＢを除いた周辺部の高周波成分頻度データAct_Num_(A-B)を算出する。周辺部の高周波成分頻度データAct_Num_(A-B)は、中央部分布割合算出部８４に入力される。
【００６４】
Act_Num_(A-B)=Act_Num_A-Act_Num_B    …（５）
【００６５】
中央部分布割合算出部８４は、画面中央の領域ＲｎＢの高周波成分頻度データAct_Num_Bと、周辺部の高周波成分頻度データAct_Num_(A-B)とに基づいて、画面の中央部に注目被写体が存在している程度を示す中央部分布割合データAct_Centerを算出する。
【００６６】
本実施形態では、画像特徴検出部８０において高周波成分が多く検出される部分は背景のような平坦な画像ではなく、所定の絵柄（テクスチャ）を有する画像であるから、高周波成分が多く検出される部分を注目被写体としている。
【００６７】
図１１に示すように、中央部分布割合算出部８４は、減算器８４１と下限リミッタ８４２とを有する。減算器８４１は、式（６）に示す計算式によって、高周波成分頻度データAct_Num_Bから高周波成分頻度データAct_Num_(A-B)を減算して、中央部分布割合データAct_Centerを算出する。
【００６８】
Act_Center=Act_Num_B-Act_Num_(A-B)    …（６）
【００６９】
下限リミッタ８４２は、減算器８４１より出力された中央部分布割合データAct_Centerが０未満の値であれば０にする。下限リミッタ８４２からは、０以上の所定の値をとる中央部分布割合データAct_Centerが出力される。中央部分布割合データAct_Centerは、高周波成分を有する被写体が画面の周囲よりも中央部に位置している程度が大きいほど、大きな値を示すことになる。
【００７０】
中央部分布割合データAct_Centerは、リーク型積分回路８５に入力される。リーク型積分回路８５は、図１２に示すように、加算器８５１と、レジスタ８５２と、乗算器８５３，８５４を有する。リーク型積分回路８５は、図１２に示す構成によって、中央部分布割合データAct_Centerに対して、時間方向にリーク型の積分処理を施す。
【００７１】
加算器８５１は、入力された中央部分布割合データAct_Centerと乗算器８５３の出力とを加算する。レジスタ８５２は、加算器８５１の出力を保持する。乗算器８５３は、レジスタ８５２の出力に15/16を乗算して、加算器８５１へと出力する。乗算器８５４は、レジスタ８５２の出力に1/16を乗算して、リーク型の積分処理を施した中央部分布割合データAct_Center_Leakを出力する。
【００７２】
リーク型積分回路８５によって中央部分布割合データAct_Centerに対してリーク型の積分処理を施すことにより、オブジェクト信号補正部１１８によって生成されるＲ’信号は、画像の変化によって急激には変化しない。従って、ステレオペア生成部２によって生成されるステレオペアによるステレオ画像は緩やかに変化することになり、より自然な画質とすることができる。
【００７３】
リーク型積分回路８５を設けることは必須ではないが、設けることが好ましい。
【００７４】
リーク型積分回路８５より出力された中央部分布割合データAct_Center_Leakは、ゲイン算出部８６に入力される。ゲイン算出部８６には、画像情報として、奥行き情報生成部１に入力される画像データの水平幅データH_widthと垂直幅データV_widthも入力される。
【００７５】
ゲイン算出部８６は、画面の位置に応じて、また、中央部分布割合データAct_Center_Leakの値に応じて、ゲインを算出する。図１３を用いて、画面の位置に応じたゲインの設定について説明する。図１３は、画面の水平方向の位置に応じたゲインの特性を示している。図１３の（ａ），（ｂ）において、H_Numは水平の画素番号である。
【００７６】
図１３の（ａ）は比較のため従来におけるゲインの特性を示している。横軸の左端部が画面の左端部であり、従来は、水平方向の左端部からH_widthで示す右端部まで一定のゲイン１である。
【００７７】
これに対して、本実施形態では、図１３の（ｂ）に示すように、水平方向の左端部からH_widthで示す右端部まで太い破線で示す一定のゲイン１の状態と、画面中央部のｐ１〜ｐ２の範囲で実線で示す１を超えるゲインをとる状態とのいずれかとなる。画面中央部のｐ１〜ｐ２の範囲のゲインの制限値limは、中央部分布割合データAct_Center_Leakの値に応じて１〜ｒ２の範囲で可変される。即ち、画面中央部のｐ１〜ｐ２の範囲のゲインは、最大で太い一点鎖線で示す状態となる。
【００７８】
図１３の（ｂ）に示すゲイン（Gain）の特性を計算式で表すと、式（７）となる。
【００７９】
If(H_Num<p1)    Gain=(lim-1)×H_Num/p1+1;
If(H_Num<p2)    Gain=lim;
If(H_Num<H_width)    Gain=(lim-1)×(H_width-H_Num)/（H_width-p2）+1;
…（７）
【００８０】
画面中央部のｐ１，ｐ２の位置は適宜設定すればよい。領域ＲｎＢの左端部をｐ１、右端部をｐ２としてもよい。即ち、ここでの画面中央部とは、図８に示す画面中央の領域ＲｎＢと同じでもよいし、同じでなくてもよい。
【００８１】
図１４は、中央部分布割合データAct_Center_Leakの値とゲインの制限値limとの関係を示している。図１４に示すように、中央部分布割合データAct_Center_Leakの値が０であれば制限値limは１である。中央部分布割合データAct_Center_Leakの値が大きくになるに従って、制限値limも順次大きくなる。
【００８２】
中央部分布割合データAct_Center_Leakの値がｒ１のとき、制限値limは最大のｒ２となる。中央部分布割合データAct_Center_Leakの値がｒ１以上では、制限値limは最大のｒ２で一定となる。
【００８３】
図１３では、画面の水平方向の位置に応じてゲインを異ならせるように設定しているが、画面の垂直方向の位置に応じてゲインを異ならせるように設定してもよい。垂直方向の位置に応じてゲインを異ならせる場合も、図１３と同様、中央部分布割合データAct_Center_Leakの値が大きくなるほど、垂直方向の中央部のゲインを大きくすればよい。画面の水平方向及び垂直方向の双方で、位置に応じてゲインを異ならせるように設定してもよい。
【００８４】
図７に戻り、乗算器８７には、Ｒ信号と、ゲイン算出部８６によって算出されたゲインとが入力される。乗算器８７は、Ｒ信号に対して、ゲイン算出部８６から入力されたゲインを乗算して、Ｒ’信号として出力する。Ｒ’信号は、オブジェクト信号であるＲ信号を補正した補正オブジェクト信号である。
【００８５】
以上より分かるように、オブジェクト信号補正部１１８（特に、ゲイン算出部８６及び乗算器８７）は、中央部分布割合算出部８４で算出された中央部分布割合データAct_Center（Act_Center_Leak）の大きさに応じて、画面中央部における非立体画像信号（Ｒ信号）の振幅を増大させるよう補正して、補正非立体画像信号（Ｒ’信号）を出力する振幅補正部として動作している。
【００８６】
以上のようにして生成されたＲ’信号は、図２の加算器１１９に入力される。加算器１１９は、合成部１１７より出力された画面全体の視差値を示すデータとＲ’信号とを加算して、奥行き推定データとして出力する。
【００８７】
図１５を用いて、本実施形態による効果について説明する。図１５において、（ａ）は従来の処理による擬似立体画像であり、（ｂ）は本実施形態の処理による擬似立体画像である。図１５の（ａ）の擬似立体画像は、特許文献１に記載されている画面全体の視差値を示すデータに対してＲ信号をそのまま加算する処理による画像である。
【００８８】
図１５の（ａ），（ｂ）は、シフト量０〜２５５を黒から白までのグレースケールで表現している。シフト量０は視差が０の状態であり、シフト量２５５は飛び出し方向の視差が最大の状態である。
【００８９】
図１５の（ａ），（ｂ）は、画面の中央部に注目被写体が集中して配置されている画像の例である。従来では、図１５の（ａ）に示すように、注目被写体（特に花の画像）の立体の程度が限定的である。
【００９０】
これに対して、本実施形態によれば、図１５の（ｂ）に示すように、注目被写体（特に花の画像）のシフト量が大きくなり、より飛び出して見えることから、立体の程度が大きく改善されていることが分かる。
【００９１】
図１３の（ｂ）に示すゲインの特性より分かるように、画面の周辺部から中央部へとゲインが順次増大し、中央部から周辺部へとゲインが順次減少していくので、擬似立体画像の奥行きはなだらかに変化する。従って、違和感を生じさせることはない。本実施形態によれば、画面中央部に向かってオブジェクト（被写体）の奥行きがなだらかに変化し、丸みを帯びたような立体効果を得ることができる。
【００９２】
本実施形態によれば、画面の中央部に注目被写体が存在している程度に応じて画面中央部を飛び出させることができ、画像の絵柄に応じて適切な飛び出しの程度とすることができる。
【００９３】
以上説明した本実施形態においては、ステレオペア生成部２が２視点の画像データを生成し、ステレオ画像表示装置３が２視点の画像データに基づいて立体画像を表示する構成を示している。３視点以上の画像データを生成し、３視点以上の画像データに基づいて立体画像を表示するいわゆる多視点画像表示装置によって立体画像を表示してもよい。
【００９４】
ステレオ画像表示装置３は、偏光めがねを用いたプロジェクションシステム、時分割表示と液晶シャッタめがねとを組み合わせたプロジェクションシステムもしくはディスプレイシステム、レンチキュラ方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイ等のいずれでもよい。
【００９５】
プロジェクタシステムは、ステレオペアのそれぞれの画像データを投射する２台のプロジェクタで構成することができる。
【００９６】
本実施形態の奥行き情報生成装置または擬似立体画像生成装置をハードウェアによって構成してもよいし、コンピュータプログラムによるソフトウェアによって構成してもよい。
【００９７】
コンピュータに以上説明した奥行き情報生成装置及び方法、や似立体画像生成装置及び方法と同様の処理を実行させる場合、奥行き情報生成プログラムや擬似立体画像生成プログラムを記録媒体より読み出してコンピュータにインストールさせてもよいし、奥行き情報生成プログラムや擬似立体画像生成プログラムを、ネットワークを介してコンピュータにインストールさせてもよい。
【００９８】
本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。
【符号の説明】
【００９９】
１  奥行き情報生成部（奥行き情報生成装置）
２  ステレオペア生成部
３  ステレオ画像表示装置
１１  奥行き推定部
２１  画素シフト部
８４  中央部分布割合算出部
８６  ゲイン算出部（振幅補正部）
８７  乗算器（振幅補正部）
１１２  上部高域成分評価部
１１３  下部高域成分評価部
１１４〜１１６  フレームメモリ（視差データ発生部）
１１７  合成部（視差データ発生部）
１１８  オブジェクト信号補正部
１１９  加算器
【図１】
2014007715.tif 000004
【図２】
2014007715.tif 000005
【図３】
2014007715.tif 000006
【図４】
2014007715.tif 000007
【図５】
2014007715.tif 000008
【図６】
2014007715.tif 000009
【図７】
2014007715.tif 000010
【図８】
2014007715.tif 000011
【図９】
2014007715.tif 000012
【図１０】
2014007715.tif 000013
【図１１】
2014007715.tif 000014
【図１２】
2014007715.tif 000015
【図１３】
2014007715.tif 000016
【図１４】
2014007715.tif 000017
【図１５】
2014007715.tif 000018