(57)【要約】【課題】通常の２次元表示用ディスプレイにおいても、立体感のある画像を表示させることが可能な画像処理装置を提供する。【解決手段】画像処理装置を、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを記憶する記憶部(5,6,7)と、入力非立体画像のシーン構造を推定するために基本奥行きモデル間の合成比率を算定する算定部（2,3,4)と、記憶部(5,6,7)から読み出した複数の基本奥行きモデルを、算定部(2,3,4)にて算定した合成比率で合成して、非立体画像における合成基本奥行きモデルを生成する合成部(8)と、合成部(8)により生成した合成基本奥行きモデルと、非立体画像とから前記奥行き信号を生成する生成部(10)と、奥行き信号のレベルに応じて、非立体画像の鮮鋭度、平滑度、コントラストのうち少なくとも1つを制御し、その制御された非立体画像を出力する制御部(11,12,13)とで構成する。【選択図】      図１
2007264722.tif 000002
【特許請求の範囲】
【請求項１】
奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から奥行き信号を作成し、この奥行き信号を用いて前記非立体画像に所定の画像処理を施した非立体画像を生成する画像処理装置であって、
基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを記憶する、及び／又は所定の計算式より算出して得る複数の基本奥行きモデルを記憶する記憶手段と、
入力する前記非立体画像のシーン構造を推定するために、前記入力する非立体画像の画面内の所定領域における画素値の統計量を利用して、前記複数の基本奥行きモデル間の合成比率を算定する算定手段と、
前記記憶手段から読み出した前記複数の基本奥行きモデルを、前記算定手段にて算定
した合成比率で合成して、現在の奥行き信号生成の対象となっている非立体画像に対して時系列的に１枚以上前の非立体画像における合成基本奥行きモデルを生成する合成手段と、
前記合成手段により生成した前記合成基本奥行きモデルと、前記現在の奥行き信号生成の対象となっている非立体画像とから前記奥行き信号を生成する生成手段と、
前記奥行き信号のレベルに応じて、前記非立体画像の鮮鋭度、平滑度、コントラストのうち少なくとも1つを制御し、その制御された非立体画像を出力する制御手段と、
を有することを特徴とする奥行き信号生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通常の静止画もしくは動画、即ち奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から奥行き信号を生成し、この奥行き信号をもとにした処理を上記非立体画像に施すことで、立体感を感じさせる非立体画像を生成し、出力する画像処理装置に関する。
【背景技術】
【０００２】
立体表示システムにおいては、非立体画像の擬似立体視による鑑賞を可能にするために、通常の静止画もしくは動画、即ち立体を表す為の奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から、擬似的な立体化画像を生成する処理が行われる。
このような技術の一例として、例えば特許文献１に記載の技術のような、奥行きに応じた輪郭線を断面とするチューブを構成することを前提とする遠近法ベースのアプローチが従来から知られている。
この特許文献１記載の技術は、メッシュ画像データに輪郭線の距離情報を付加して三次元ポリゴン立体データを形成し、この三次元ポリゴン立体データに写真画像から得たカラー画像データを適用して、三次元ポリゴン立体データにより構成される三次元ポリゴン立体の内側にカラー画像データを貼り付ける態様に、前記三次元ポリゴン立体をレンダリング処理して三次元画像データを得るようにしたものである。
【０００３】
また、特許文献２に記載の技術のように、曲面や平面からなるモデルを、画像特定部分のテクスチャの高域成分の量を測定して得たデータをもとにして、画像内容に応じた比率で合成して基本奥行きモデルとし、これをもとに擬似的な奥行きを決定する技術もある。
【特許文献１】特開平９−１８５７１２号公報
【特許文献２】特開２００５−１５１５３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記したような従来例では、疑似立体化された画像を鑑賞するための特殊な立体表示ディスプレイが必要である。立体表示ディスプレイとして、例えば、偏光を利用したもの、液晶シャッタを利用したもの、これらの双方を併用したものなど各種あるが、コスト面・性能面が十分クリアされていないため、一般家庭に普及できていないという課題がある。
【０００５】
本発明は以上の課題を鑑みてなされたものである。
本発明は、非立体画像から奥行き信号を生成し、この生成した奥行き信号を、従来例のように立体表示用ディスプレイに表示するための画像の生成に用いるのではなく、１チャネルの非立体画像に施す画像処理の種類及びその強さを決定する信号として用いることで、通常の２次元表示用ディスプレイにおいても、立体感のある画像を表示させることが可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記目的を達成するための手段として、
（１）奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から奥行き信号を作成し、この奥行き信号を用いて前記非立体画像に所定の画像処理を施した非立体画像を生成する画像処理装置であって、
基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを記憶する、及び／又は所定の計算式より算出して得る複数の基本奥行きモデルを記憶する記憶手段と、
入力する前記非立体画像のシーン構造を推定するために、前記入力する非立体画像の画面内の所定領域における画素値の統計量を利用して、前記複数の基本奥行きモデル間の合成比率を算定する算定手段と、
前記記憶手段から読み出した前記複数の基本奥行きモデルを、前記算定手段にて算定
した合成比率で合成して、現在の奥行き信号生成の対象となっている非立体画像に対して時系列的に１枚以上前の非立体画像における合成基本奥行きモデルを生成する合成手段と、
前記合成手段により生成した前記合成基本奥行きモデルと、前記現在の奥行き信号生成の対象となっている非立体画像とから前記奥行き信号を生成する生成手段と、
前記奥行き信号のレベルに応じて、前記非立体画像の鮮鋭度、平滑度、コントラストのうち少なくとも1つを制御し、その制御された非立体画像を出力する制御手段と、
を有することを特徴とする奥行き信号生成装置を提供するものである。
【発明の効果】
【０００７】
本発明の画像処理装置によれば、非立体画像から奥行き信号を生成し、この生成した奥行き信号を、従来例のように立体表示用ディスプレイに表示するための画像の生成に用いるのではなく、１チャネルの非立体画像に施す画像処理の種類及びその強さを決定する信号として用いることで、通常の２次元表示用ディスプレイにおいても、立体感のある画像を表示させることが可能となる。
【０００８】
また、奥行き信号は入力される２次元動画像に対してリアルタイムで生成可能であるので、動画像においても立体感のある画像を表示させることが可能となる。
【発明を実施するための最良の形態】
【０００９】
以下に本発明の実施の形態の概略を説明する。
絵画などにおいては、近景物を精細に明るく、遠景物を平板に暗くすることによって立体感を強調するような表現技法がある。
【００１０】
本発明は、上記絵画的技法に着目してなされたものであり、２次元画像に対する奥行き信号を生成する処理と、この生成した奥行き信号を用いて２次元画像に上記した絵画的技法を電気的に施す処理とを実現する画像処理装置を提案するものである。
【実施例１】
【００１１】
＜装置の構成＞
次に、本発明の実施例を図面と共に説明する。
図１は本発明の画像処理装置の一実施例のブロック図である。
【００１２】
本画像処理装置は、擬似立体化を行う非立体画像が入力される画像入力部(1)と、画像入力部(1)からの非立体画像の上部約２０％の高域成分評価値を計算により求める上部の高域成分評価部(2)と、画像入力部(1)からの非立体画像の下部約２０％の高域成分評価値を計算により求める下部の高域成分評価部(3)と、前記上部の高域成分評価値と前記下部の高域成分評価値とを基に、擬似立体画像を生成する際の基本モデルである３種類の基本奥行きモデルの合成比率を決定する合成比率決定部(4)と、前記３種類の基本奥行きモデルを記憶する３つのフレームメモリ(5)、(6)、(7)と、合成比率決定部(4)で決定した合成比率により、フレームメモリ(5)、(6)、(7)から読み出す前記３種類の基本奥行きモデル画像を合成する奥行きモデル合成部(8)と、奥行きモデル合成部(8)により得られた合成基本奥行きモデル画像に、画像入力部(1)の基になる画像の三原色信号（ＲＧＢ信号）のうちの赤色信号（Ｒ信号）を重畳し奥行き信号を得る加算器(10)と、前記加算器(10)で得られた奥行き信号に応じて、入力される非立体画像の高域成分を強調する制御を行なう鮮鋭化部(11)と、奥行き信号に応じて、先鋭化部(11)の出力画像の平滑化の度合いを制御する平滑化部(12)と、奥行き信号に応じて、平滑化部(12)の出力画像の輝度を補正するコントラスト制御部(13)と、より構成している。
＜基本奥行きモデル＞
ここで、基本奥行きモデルについて説明する。
【００１３】
基本奥行きモデルとは、非立体画像から擬似立体画像を生成するための画像の奥行き情報を生成する為に参照する、予め経験知から得られている基本的な奥行き情報を持った複数の画像モデルである。擬似立体画像を生成する対象の非立体画像のシーンを分析して、そのシーンの立体的特徴が、前記複数の基本奥行きモデルにどの程度合致するかの比率を求めて、その比率に従って各基本奥行きモデルの画素毎の奥行き量を合成した合成奥行きモデルを、奥行き信号生成に用いる。ここで言うところのシーンの立体的特徴とは具体的には、前記上部の高域成分評価値と前記下部の高域成分評価値とのことである。
【００１４】
図３は、前記基本奥行きモデルを表すための座標系を示した図である。基本奥行きモデル画像の中心を座標の原点とするｘｙ平面に画素を配置し、ｚ軸方向を各画素毎の奥行き量とする。
【００１５】
本実施例では３種類の基本奥行きモデルを使用している。以下各基本奥行きモデルについて詳細に説明する。
[タイプＡ]
基本奥行きモデルタイプＡは、図３の座標系によれば各画素毎の奥行き量ｚは数式１で表される。ｒは球の半径、ｗは基本奥行きモデルＡの画像の水平サイズ、ｈは基本奥行きモデルＡの画像の垂直サイズであるとする。
【００１６】
【数１】
2007264722.tif 000003
ここで、画像サイズが水平６４０画素、垂直４８０画素の基本奥行きモデルの例では、水平サイズｗ＝６４０、ｈ＝４８０となり、半径ｒ＝１０００となる。
【００１７】
前記数式２で算出した奥行き情報を輝度値としてグレイスケールで表した例を図４に示す。ここでは、数式１で算出される奥行きｚを２５５−２×ｚで正規化し、０から２５５の８ビットで表している。値０（暗い）が最も奥行きが深く、２５５（明るい）が最も奥行きが浅いことを示す。また図５は奥行き量を加味した立体構造を示した図である。
この基本奥行きモデルタイプＡでこのような凹面を使用する理由は、基本的にオブジェクトが存在しないシーンにおいては画面中央を一番遠距離に設定することにより違和感の少ない立体感及び適度な奥行き感が得られるからである。基本奥行きモデルタイプＡが使用されるシーン構成の一例として、図６のようなシーンがあげられる。
[タイプＢ]
基本奥行きモデルタイプＢは、図３の座標系によれば各画素毎の奥行き量ｚは数式２で表される。ｒは円筒、及び球の半径、ｗはモデル画像の水平サイズ、ｈはモデル画像の垂直サイズである。
【００１８】
【数２】
2007264722.tif 000004
ここで、画像サイズが水平６４０画素、垂直４８０画素の基本奥行きモデルの例では、水平サイズｗ＝６４０、ｈ＝４８０となり、半径ｒ＝１０００となる。
【００１９】
前記数式２で算出した奥行き情報を輝度値としてグレイスケールで表した例を図７に示す。ここでは、数式２で算出される奥行きｚを２５５−２×ｚで正規化し、０から２５５の８ビットで表している。値０（暗い）が最も奥行きが深く、２５５（明るい）が最も奥行きが浅いことを示す。また図８は奥行き量を加味した立体構造を示した図である。
【００２０】
この基本奥行きモデルタイプＢは、前記上部の高域成分評価値が小さい場合に、画面上部に空もしくは平坦な壁が存在するシーンと認識して、画面上部の奥行きを深く設定するものである。基本奥行きモデルタイプＢが使用されるシーン構成の一例として、図９のようなシーンがあげられる。
[タイプＣ]
基本奥行きモデルタイプＣは、図３の座標系によれば各画素毎の奥行き量ｚは数式３で表される。ｒは円筒の半径、ｗはモデル画像の水平サイズ、ｈはモデル画像の垂直サイズである。
【００２１】
【数３】
2007264722.tif 000005
ここで、画像サイズが水平６４０画素、垂直４８０画素の基本奥行きモデルの例では、水平サイズｗ＝６４０、ｈ＝４８０となり、半径ｒ＝１０００としている。
【００２２】
前記数式４で算出した奥行き情報を輝度値としてグレイスケールで表した例を図１０に示す。ここでは、数式３で算出される奥行きｚを２５５−２×ｚで正規化し、０から２５５の８ビットで表している。値０（暗い）が最も奥行きが深く、２５５（明るい）が最も奥行きが浅いことを示す。また図１１は奥行き量を加味した立体構造を示した図である。
【００２３】
この基本奥行きモデルタイプＣは前記下部の高域成分評価値が小さい場合に、画面下部に平坦な地面もしくは水面に広がるシーンと認識し、画面上部を遠景として平面近似し、画面下部については下に行くほど奥行きＺが小さくなるように設定したものである。基本奥行きモデルタイプＣが使用されるシーン構成の一例として、図１２のようなシーンがあげられる。
＜処理の詳細説明＞
次に、図１に示した実施例の動作について、図２のフローチャートと共に詳細に説明する。
【００２４】
まず、画像入力部(1)に擬似立体化を行う対象の非立体画像を入力する（ステップＳ１）。この非立体画像は、通常の静止画もしくは動画、即ち画像の奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像で、例えば、８ビットで量子化されている画像データである。
【００２５】
前記画像入力部(1)に入力した非立体画像の画像データを、上部の高域成分評価部(2)に供給する。画像データの画面の上部約２０％につき、領域内の点（ｉ，ｊ）における輝度信号をＹ（ｉ，ｊ）としたとき、各ブロックについて下記数式４による計算を行う。この計算結果を上部の高域成分評価値（ｔｏｐ＿ａｃｔ）とする（ステップＳ２）。
【００２６】
【数４】
2007264722.tif 000006
また、前記上部の高域成分評価算出と並行して、前記画像入力部(1)に入力した非立体画像の画像データを、下部の高域成分評価部(3)にも供給する。画像データの画面の下部約２０％につき、領域内の点（ｉ，ｊ）における輝度信号をＹ（ｉ，ｊ）としたとき、各ブロックについて前記と同様に数式１による計算を行う。この計算結果を下部の高域成分評価値（ｂｏｔｔｏｍ＿ａｃｔ）とする（ステップＳ３）。
【００２７】
そして前記上部の高域成分評価部２で計算した上部の高域成分評価値と前記下部の高域成分評価部３で計算した下部の高域成分評価値を合成比率決定部(4)に供給する。合成比率決定部(4)では、奥行きモデル合成部(8)で合成する前記３種類の基本奥行きモデルの合成比率k1, k2, k3 (k1+k2+k3=1)を決定する（ステップＳ４）。
【００２８】
図１３は合成比率決定部(4)、ステップＳ４で決定する合成比率の決定条件の一例を示す。図１３は上部の高域成分評価値（ｔｏｐ＿ａｃｔ）を横軸、下部の高域成分評価値（ｂｏｔｔｏｍ＿ａｃｔ）を縦軸とし、予め指定された値ｔｐｓ，ｔｐｌ，ｂｍｓ，ｂｍｌとの兼ね合いにより基本奥行きモデルタイプを選択もしくは合成することを示す。図１３において、複数の基本奥行きモデルタイプを記載している部分については、高域成分評価値に応じて線形に合成する。
【００２９】
例えば、ＴｙｐｅＡ／Ｂでは（ｔｏｐ＿ａｃｔ−ｔｐｓ）：（ｔｐｌ−ｔｏｐ＿ａｃｔ）の比率で基本奥行きモデルタイプＡ（ＴｙｐｅＡ）と基本奥行きモデルタイプＢ（ＴｙｐｅＢ）の合成比率を決定する。すなわち、ＴｙｐｅＡ／Ｂの合成比率は、基本奥行きモデルタイプＣ（ＴｙｐｅＣ）は使用せず、
TypeA：TypeB：TypeC＝(top＿act−tps)：(tpl−top＿act)：0で合成比率を決定する。
【００３０】
また、ＴｙｐｅＢ／Ｃ、ＴｙｐｅＡ／Ｃについては（ｂｏｔｔｏｍ＿ａｃｔ−ｂｍｓ）：（ｂｍｌ−ｂｏｔｔｏｍ＿ａｃｔ）の比率で基本奥行きモデルタイプＢと基本奥行きモデルタイプＣの合成比率を決定し、基本奥行きモデルタイプＡと基本奥行きモデルタイプＣの合成比率を決定する。すなわち、ＴｙｐｅＢ／Ｃの合成比率は、基本奥行きモデルタイプＡ（ＴｙｐｅＡ）は使用せず、
TypeA：TypeB：TypeC＝0：(bottom＿act−bms)：(bml−bottom＿act)で合成比率を決定し、ＴｙｐｅＡ／Ｃの合成比率は、基本奥行きモデルタイプＢ（ＴｙｐｅＢ）は使用せず、
TypeA：TypeB：TypeC＝(bottom＿act−bms)：0：(bml−bottom＿act)で合成比率を決定する。
【００３１】
更に、ＴｙｐｅＡ／Ｂ／Ｃにおいては、ＴｙｐｅＡ／Ｂ，ＴｙｐｅＡ／Ｃの合成比率の平均を採用しており、
TypeA：TypeB：TypeC＝(top＿act−tps)＋(bottom＿act−bms)：(tpl−top＿act)：(bml−bottom＿act)で合成比率を決定する。
更に、合成比率k1, k2, k3を
k1= TypeA/( TypeA+TypeB+TypeC) 
k2= TypeB/( TypeA+TypeB+TypeC) 
k3= TypeC/( TypeA+TypeB+TypeC)
で正規化する。
【００３２】
奥行きモデル合成部(8)では、合成比率決定部５で決定した合成比率ｋ１，ｋ２，ｋ３に基づいて、下記数式５により、フレームメモリ(5)、(6)及び(7)に格納されている３種類の基本奥行きモデルタイプＡ、Ｂ、Ｃの各画像ｄａ、ｄｂ、ｄｃをそれぞれ対応する画素毎に合成し、合成基本奥行きモデルｃｄを得る（ステップＳ５）。この奥行きモデル合成においては、計算済みの基本奥行きモデルタイプをフレームメモリから呼び出すのでなく、その都度数式１〜３を用いた計算によって生成したものを使用しても構わない。
【００３３】
【数５】
2007264722.tif 000007
ここで、ｐは各基本奥行きモデルの各画素位置を示す水平座標、ｑは垂直座標である。
【００３４】
このように、本実施の形態では、基本となるシーンの奥行き構造モデルとして３種類の基本奥行きモデルを用意し、基になる画像の輝度信号の高域成分を画面上部及び画面下部について算定する。そしてその算出結果により、画面上部及び下部の高域成分が多い場合は、基本奥行きモデルタイプＡの比率を大きくする。また、画面上部の高域成分が少ない場合は、上部に空もしくは平坦な壁が存在するシーンと認識して、上部の奥行きを深くした基本奥行きモデルタイプＢの比率を増加する。逆に、画面下部の高域成分が少ない場合は、下部に平坦な地面もしくは水面が手前に連続的に広がるシーンと認識して、上部を遠景として平面近似し、下部については下に行くほど奥行きを浅くした基本奥行きモデルタイプＣの比率を増加する。このような処理を行うことにより、より現実に近いシーン構造の推定を行うことが可能になる。
【００３５】
再び図１及び図２に戻って説明する。
奥行きモデル合成部(8)で生成した合成基本奥行きモデルを加算器(10)に供給する。ここで、画像入力部(1)から入力する画像データの三原色信号（ＲＧＢ信号）のうちの赤色信号（Ｒ信号）(9)と前記合成奥行きモデルとを、下記数式６の算出式を用いて重畳し、奥行き信号を生成する（ステップＳ６）。ここでは原画のＲ信号の１／１０を重畳している。
【００３６】
【数６】
2007264722.tif 000008
Ｒ信号を使用する理由の一つは、Ｒ信号の大きさが、順光に近い環境で、かつ、テクスチャの明度が大きく異ならないような条件において、被写体の凹凸と一致する確率が高いという経験則によるものである。更にもう一つの理由として、赤色及び暖色は色彩学における前進色であり、寒色系よりも奥行きが手前に認識されるという特徴があり、この奥行きを手前に配置することで立体感を強調することが可能であるということである。
【００３７】
基本奥行きモデルＡの一例である図６の手前に人物を配したサンプルである図１４に対して、Ｒ信号を重畳したときの奥行き信号の画像の例を図１５に示す。また図１６はその３次元構造を示した図である。
【００３８】
赤色及び暖色が前進色であるのに対し、青色は後退色であり、暖色系よりも奥行きが奥に認識される特徴がある。よって、青色の部分を奥に配置することによっても立体感の強調は可能である。さらに双方を併用して、赤色の部分を手前、青色の部分を奥に配置することによって立体感を強調することも可能である。
【００３９】
次に、鮮鋭化部(11) では、生成した奥行き信号を用いて、画像入力部(1)から入力する非立体画像に対して鮮鋭化を施す処理を行う（ステップＳ７）。具体的には、例えば、１画面内において、生成した奥行き信号が小さい（距離が近い）画像領域部分ほど、画像の輝度成分に対してかけるハイパスフィルタの度合いを強くする処理を行う。
【００４０】
平滑化部(12) では、生成した奥行き信号を用いて、先鋭化部(11)の出力画像に対して平滑化を施す処理を行う（ステップＳ８）。具体的には、例えば、１画面内において、生成した奥行き信号が大きい（距離が遠い）画像領域部分ほど、画像の輝度成分に対してかけるローパスフィルタの度合いを強くする処理を行う。
【００４１】
コントラスト制御部(13)では、生成した奥行き信号を用いて、平滑化部(12)の出力画像に対してコントラストを制御する処理を行なう(ステップＳ９）。具体的には、１画面内において、生成した奥行き信号が小さい（距離が近い）画像領域部分ほど、画像の輝度成分のコントラストを大きくする処理を行う。
【００４２】
以上の処理により、立体感を強調された２次元画像を生成することが可能となる。
図１７〜１９は、この処理の効果を示すための画像例である。
図１７が入力画像である。図１８は、図１７の画像を、グレー色の濃さによって遠景・中景・近景の領域に分けて示した図である。グレー色の薄いほうがより遠景の領域である。そして、遠景領域については平滑化とコントラストを低くする処理を行い、近景領域については鮮鋭化とコントラストを高くする処理を行い、中景領域は遠景領域と近景領域との中間の処理を行った結果が図１９である。この図１９を図１７と比較すると、同じ２次元画像ではあるが、より立体感が向上していることがわかる。なお、この例では、判りやすいように奥行きを段階的に３つに分けて処理を行ったが、本実施例の奥行き信号によればこのように段階分けする必要はなく無段階の処理を行えるので、より自然な立体感のある２次元画像を得ることができる。また、奥行き信号はリアルタイムで得られるので、動画に対しても十分に対応可能である。
【００４３】
上記が、絵画などにおいて、近景物を精細に明るく、遠景物を平板に暗くすることによって立体感を強調する表現技法を電気的に施した効果である。
なお、本実施例では、先鋭化、平滑化、コントラスト制御の順番で処理を行っているが、この３つの処理の順番はこの例にかぎらず、いかなる順番でも良い。
また、奥行き信号を用いる処理は、鮮鋭化、平滑化、コントラスト制御に限らず、画質の調整処理ならばどのような処理に対しても用いることができる。例えば、彩度や色相などを調整しても良い。
【００４４】
また、本発明のプログラムは、記録媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。
【図面の簡単な説明】
【００４５】
【図１】本発明の画像処理装置の一実施例のブロック図である。
【図２】本発明の一実施例のフローチャートである。
【図３】基本奥行きモデルの座標系を示す図である。
【図４】基本奥行きモデルタイプＡの奥行き画像の一例を示す図である。
【図５】基本奥行きモデルタイプＡの立体構造の一例を示す図である。
【図６】基本奥行きモデルタイプＡが使用されるシーン構成の一例である。
【図７】基本奥行きモデルタイプＢの奥行き画像の一例を示す図である。
【図８】基本奥行きモデルタイプＢの立体構造の一例を示す図である。
【図９】基本奥行きモデルタイプＢが使用されるシーン構成の一例である。
【図１０】基本奥行きモデルタイプＣの奥行き画像の一例を示す図である。
【図１１】基本奥行きモデルタイプＣの立体構造の一例を示す図である。
【図１２】基本奥行きモデルタイプＣが使用されるシーン構成の一例である。
【図１３】基本奥行きモデル合成比率決定条件を説明する図である。
【図１４】画像サンプルの一例を示す図である。
【図１５】Ｒ信号を重畳した奥行き画像の一例を示す図である。
【図１６】Ｒ信号を重畳した奥行きの立体構造を示す図である。
【図１７】本発明の一実施例の効果を比較するための原画像である。
【図１８】本発明の一実施例の処理内容を説明するための画像である。
【図１９】本発明の一実施例の処理を施した画像である。
【符号の説明】
【００４６】
１  画像入力部
２  上部の高域成分評価部
３  下部の高域成分評価部
４  合成比率決定部
５  フレームメモリ（基本奥行きモデルタイプＡ）
６  フレームメモリ（基本奥行きモデルタイプＢ）
７  フレームメモリ（基本奥行きモデルタイプＣ）
８  奥行きモデル合成部
１０  加算部
１１  鮮鋭化部
１２  平滑化部
１３  コントラスト制御部
【図１】
2007264722.tif 000009
【図２】
2007264722.tif 000010
【図１３】
2007264722.tif 000011
【図３】
2007264722.tif 000012
【図４】
2007264722.tif 000013
【図５】
2007264722.tif 000014
【図６】
2007264722.tif 000015
【図７】
2007264722.tif 000016
【図８】
2007264722.tif 000017
【図９】
2007264722.tif 000018
【図１０】
2007264722.tif 000019
【図１１】
2007264722.tif 000020
【図１２】
2007264722.tif 000021
【図１４】
2007264722.tif 000022
【図１５】
2007264722.tif 000023
【図１６】
2007264722.tif 000024
【図１７】
2007264722.tif 000025
【図１８】
2007264722.tif 000026
【図１９】
2007264722.tif 000027