(57)【要約】本発明は、簡単な構成で、画質の劣化を抑制できる階調圧縮を実現することができるようにする画像処理装置および方法、プログラム、並びに記録媒体に関する。輝度信号生成部６１、知覚均等化部６２の処理を経て、検波部６３は、信号Ｙ’に対して検波処理を行い、明るい領域の照明の平均強度と暗い領域の照明の平均強度とが求められる。制御MPU６４がそれらの平均強度に基づいて順応ゲインｋArと順応ゲインｋBrとを求めておく。信号Ｙ’をエッジ保存LPF６５で処理することにより、照明成分の信号Ｙ’lpが得られ、ディテール抽出部６６においては、信号Ｙ’と照明成分の信号Ｙ’lpとの差分を演算することにより、信号Ｙ’の画像のディテール成分の信号Ｙ’deが抽出される。この後、信号Ｙ’の照明成分は、トーンカーブ処理部６８で階調圧縮され、信号Ｙ’の画像のディテール成分は、ディテール調整部６７で階調圧縮される。
2009072537.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の処理対象画素の各周辺画素について、前記処理対象画素に対して決定される基準画素の値と閾値とに基づいて有効か否かを決定し、有効とされた周辺画素の値により平滑化を行なうエッジ保存ローパスフィルタと、
前記入力画像の輝度分布に基づいて、前記入力画像を、複数の領域に分割して、前記領域のそれぞれの輝度の平均値を算出する輝度平均値算出手段と、
前記輝度平均値算出手段で算出された前記領域のそれぞれの輝度の平均値に基づいて前記エッジ保存ローパスフィルタに設定する閾値を算出する閾値算出手段と
を備える画像処理装置。
【請求項２】
前記閾値算出手段は、
前記領域のそれぞれの輝度の平均値の差分絶対値に所定の固定値を乗じることにより前記閾値を算出する
請求項１に記載の画像処理装置。
【請求項３】
前記エッジ保存ローパスフィルタにより、前記入力画像から輝度信号の振幅の周期が大きい照明成分を抽出し、
前記入力画像の輝度信号と前記照明成分の差分としてディテール成分を抽出する抽出手段と、
前記照明成分に対応して定まるゲインを特定する特定手段と、
前記特定手段により特定されたゲインを、前記ディテール成分に乗じることで前記ディテール成分を補正するディテール成分補正手段とをさらに備える
請求項１に記載の画像処理装置。
【請求項４】
前記特定手段は、前記画像の前記輝度の値に対応する複数の領域のそれぞれを、前記領域のそれぞれの輝度の平均値に基づく演算により求められ、完全順応させる場合に乗じられるゲインである完全順応ゲインに基づいて得られるゲイン特性に基づいて特定する
請求項３に記載の画像処理装置。
【請求項５】
前記特定手段は、前記画像の前記輝度の値に対応する複数の領域のそれぞれを、前記領域のそれぞれの輝度の平均値に基づく演算により求められ、完全順応させる場合に乗じられるゲインである完全順応ゲインに、所定の演算処理を施すことで求められる補正ゲインに基づいて得られるゲイン特性に基づいて特定する
請求項３に記載の画像処理装置。
【請求項６】
前記補正ゲインを求める演算においては、
前記画像の前記輝度の値に対応する複数の領域のそれぞれの輝度の平均値に基づいて算出されるダイナミックレンジの値に応じて定まる予め設定された順応レベル特性に基づいて特定される順応レベルが用いられる
請求項５に記載の画像処理装置。
【請求項７】
前記特定手段は、
前記複数の領域のうち、最も暗い領域に対応する完全順応ゲインを、前記順応レベルに基づいて補正した第１の値を前記補正ゲインの上限値とし、
前記複数の領域のうち、最も明るい領域に対応する完全順応ゲインを、前記順応レベルに基づいて補正した第２の値を前記補正ゲインの下限値とし、
前記ゲイン特性を決定する
請求項６に記載の画像処理装置。
【請求項８】
前記入力された画像の画素数を間引く間引き手段と、
前記間引き手段により画素数が間引かれた画像を、元の画素数の画像に拡大する拡大手段とをさらに備え、
前記間引き手段により画素数が間引かれた画像が前記エッジ保存ローパスフィルタに入力され、
前記エッジ保存ローパスフィルタから出力された信号に対応する画像が前記拡大手段に入力される
請求項１に記載の画像処理装置。
【請求項９】
入力画像の処理対象画素の各周辺画素について、前記処理対象画素に対して決定される基準画素の値と閾値とに基づいて有効か否かを決定し、有効とされた周辺画素の値により平滑化を行ない、
前記入力画像の輝度分布に基づいて、前記入力画像を、複数の領域に分割して、前記領域のそれぞれの輝度の平均値を算出し、
前記領域のそれぞれの輝度の平均値に基づいて前記閾値を算出するステップ
を含む画像処理方法。
【請求項１０】
入力画像の処理対象画素の各周辺画素について、前記処理対象画素に対して決定される基準画素の値と閾値とに基づいて有効か否かを決定し、有効とされた周辺画素の値により平滑化を行ない、
前記入力画像の輝度分布に基づいて、前記入力画像を、複数の領域に分割して、前記領域のそれぞれの輝度の平均値を算出し、
前記領域のそれぞれの輝度の平均値に基づいて前記閾値を算出するステップを
含む画像処理をコンピュータに実行させるプログラム。
【請求項１１】
入力画像の処理対象画素の各周辺画素について、前記処理対象画素に対して決定される基準画素の値と閾値とに基づいて有効か否かを決定し、有効とされた周辺画素の値により平滑化を行ない、
前記入力画像の輝度分布に基づいて、前記入力画像を、複数の領域に分割して、前記領域のそれぞれの輝度の平均値を算出し、
前記領域のそれぞれの輝度の平均値に基づいて前記閾値を算出するステップを
含む画像処理をコンピュータに実行させるプログラムが記録された記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、簡単な構成で、画質の劣化を抑制できる階調圧縮を実現することができるようにする画像処理装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
従来、ＣＣＤなどの撮像素子を用いるカメラでは、例えば、光学フィルムを用いるカメラと比較してダイナミックレンジが狭いので、逆光時の撮像などでは、明るい部分の階調が失われる白とび（オーバーエクスポージャ）又は暗い部分の階調が失われる黒つぶれ（アンダーエクスポージャ）などが発生しがちだった。しかし近年、固体撮像素子の進歩（低ノイズ化）やブラケット露光の合成技術により、光学フィルム写真に匹敵するような広ダイナミックレンジの輝度階調を有するRAW画像信号が得られるようになってきた。【０００３】
一方、撮像された動画像や静止画像を保存するファイルフォーマット（JPEG、MPEGなど）や、一般のCRTやLCDやプリンタなどの表示装置では、現在も表現可能な輝度階調には制限がある。つまり、表示装置で表現可能な画像のダイナミックレンジが狭い。したがって、光学フィルム写真に匹敵するような広ダイナミックレンジの輝度階調を有する画像のRAW画像信号（以下、広ダイナミックレンジ画像と称する）を取得しても、それを保存したり表現したり（表示や印刷等）できないという問題がある。なお、RAW画像信号は、いわゆるイメージャの出力信号である。【０００４】
そこで、広ダイナミックレンジ画像の輝度階調を圧縮してダイナミックレンジを狭め、表示装置等の従来の機器が表現可能な画像（以下、狭ダイナミックレンジ画像と称する）に変換するダイナミックレンジ圧縮処理技術が必要となる。【０００５】
例えば、広ダイナミックレンジ画像の輝度のヒストグラムに基づいて階調再配分を適応的に決定する技術がある（特許文献１参照）。この技術では、広ダイナミックレンジ画像の階調を、ヒストグラム化するなどして、よりダイナミックレンジの狭い表示装置等の階調に合わせて再配分することで狭ダイナミックレンジの画像を生成する。また、ヒストグラムのピーク近辺の輝度値ができるだけ多くの階調に配分される階調変換曲線を決定することによって、重要な被写体のコントラスト低下を抑制する。この技術のように、入力画像の輝度に対して、出力の輝度が一律に定まる手法をグローバルな階調圧縮法と呼ぶ。【０００６】
しかしながら、グローバルな階調圧縮法では、階調変換曲線の微分値が小さい輝度（階調レンジが削られる輝度）での輝度変化が小さくなり、小振幅のコントラスト感や被写体の立体感（以降、これらをまとめてテクスチャ感、またはディテール感と称することにする）が喪失した見えの悪い画像となる問題がある。【０００７】
そこで、グローバルな階調圧縮法における見えの問題を解決した階調圧縮技術として、ローカルな階調圧縮法がある。これは、ダイナミックレンジの大きい画像は、一般には被写体自体のコントラストよりも、むしろコントラストの強い照明によって発生するという知見を用いて、照明の成分のみを階調圧縮してダイナミックレンジを狭める手法である。この手法は、入力画像の輝度に対して出力の輝度が一律に定まるものではなく、輝度の入出力の関係が画素ごとに変化するため、グローバルな階調圧縮法に対してローカルな階調圧縮法と呼ばれている。【０００８】
ローカルな階調圧縮法を用いるものとして、例えば、画像を一旦グローバルな階調圧縮法により階調圧縮してから照明以外の成分を補償する技術がある（例えば、特許文献２参照）。他にも、広ダイナミックレンジ画像を複数の周波成分画像に分離し、それぞれに異なる振幅変調を施した後に、それらを加算合成して１枚の画像を生成する技術が、文献「Z. Rahman, D. J. Jobson and G.A. Woodell, “Multi-Scale Retinex for Color Image Enhancement”, Proc.of International Conference on Image Processing 1996, 1996, pp. 19P9 」等に開示されている。【０００９】
これらの技術では、一般に照明の分布はエッジ部分以外では空間的になだらかであるという特性を使って、ローパスフィルタで画像を帯域分割し、低周波側の画像成分を照明成分として扱っている。【００１０】
【特許文献１】特開平９−３３１４６９号公報
【特許文献２】特開２００４−２２１６４４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、単純なローパスフィルタで画像を帯域分割しただけでは照明成分のエッジ部分において照明成分の分離精度が低下し、被写体の輪郭部分に沿って階調の反転が生じ、画質が劣化することがある。この反転の様子が後光に似ているため、この劣化はHALOアーチファクト（あるいは単にHALO）と呼ばれている。【００１２】
このHALOアーチファクトを解消するために、照明成分の分離にエッジ保存の非線形ローパスフィルタ（Bilateral Filter）を用いたローカルな階調圧縮手法が文献「F. Durand and J. Dorsey, “Fast bilateral filtering for the display of  High-dynamic-range images”, Proc. SIGGRAPH 02, pp. 257-266, 2002.」や「R. Sobol, “Improving the Retinex algorithm for rendering wide dynamic range photographs”, Journal of Electronic Imaging, Vol. 13(1), pp. 65-74, 2004.」等に開示されている。しかし、これらの手法にも、非線形フィルタ処理の計算コストが極端に高いことや、フィルタのエッジ判定に用いる閾値の決め方に指針がなく、閾値パラメータの自動調整ができないといった、実装上の問題がある。【００１３】
また、カラー画像を階調圧縮する場合には、階調圧縮後に色の階調の一部が失われてのっぺりした画質となってしまったり、色味がずれたり、一部の色味が不自然になったりする、カラー画像特有の問題が生じる。【００１４】
色の階調の一部が失われてのっぺりした画質となってしまうという問題は、輝度の階調圧縮の処理結果を、入力のカラー画像に反映した際にRGB信号が飽和することで起こる。色味のズレも信号の飽和によるもので、RGB３チャンネルの信号のうち、1つのチャンネルが飽和したことでRGBのバランスが崩れて色ずれが起こる。【００１５】
そこで、例えば、文献「L.Wang, T.Horiuchi and H.Kotera, "HDR Image Compression based on Local Adaptation for Scene and Display Using Retinal Model", Proc. 14th Color Imaging Conference, pp.327-332, 2006.」では、RGB信号の変調を非線形にすることで、階調圧縮アルゴリズムの中で飽和度を調整する方法が提案されている。この方法には単純な数式で飽和度を調整できる利点があるが、その一方で色域圧縮処理としては性能が悪く、調整の自由度が低いという欠点がある。非線形な変調によってRGBのバランスが崩れて色味が不自然になったり、出力デバイスの色域に対して補正が不適切であったりする問題が起こる。【００１６】
さらに、カラー画像の圧縮では、高彩度色の領域が不自然に明るくなる問題がある。これは、輝度信号を使って照明の明るさを推定すると、高彩度色の領域で大きな誤差を持ち、その領域の明るさが実際よりも暗く推定されることに起因する。【００１７】
また、上述したそれぞれの階調圧縮手法では、暗黙のうちにダイナミックレンジが充分に大きい理想的な系を想定しているため、カメラ信号処理に組み込んで稼動させる際に、入力画像や信号処理の制限により不具合が出る。【００１８】
不具合のひとつは、撮像素子の飽和による画質の破綻である。素子上で飽和した部分をいくら階調圧縮（輝度を抑圧）しても、その部分の階調は現れないばかりか、むしろ画像の白点が暗くなることで画質が悪化してしまう。また、カラーセンサのうちの一部の色が飽和した領域では、階調圧縮をしたことで被写体以外の色が現れて画質が劣化することがある。【００１９】
他の不具合としては、カメラの信号処理パラメータとの連携が取れないことによる画質劣化があげられる。もともとカメラ信号処理では、RAW信号を現像する際に高輝度部分の階調カーブを調整することで、ある程度、グローバルな階調圧縮が施されており、それにあわせて撮像露出も決められている。ここに、別の階調圧縮の処理が入ると、撮像露出の設定値と階調カーブの関係が崩れてしまい、現像処理が想定通りに行われなくなる。他にも、階調圧縮によってノイズ増長されることで、ノイズリダクションの効果が期待通りに出ずに、ノイズ感を悪化させてしまう。【００２０】
さらに、数多くのローカルな階調圧縮手法が提案されているが、いずれも照明成分の圧縮方法が所定のアルゴリズムで規定されているため、カメラ信号処理へ応用する際に画質設定の自由度が低いという問題がある。【００２１】
本発明はこのような状況に鑑みてなされたものであり、簡単な構成で、画質の劣化を抑制できる階調圧縮を実現することができるようにするものである。
【課題を解決するための手段】
【００２２】
本発明の一側面は、入力画像の処理対象画素の各周辺画素について、前記処理対象画素に対して決定される基準画素の値と閾値とに基づいて有効か否かを決定し、有効とされた周辺画素の値により平滑化を行なうエッジ保存ローパスフィルタと、前記入力画像の輝度分布に基づいて、前記入力画像を、複数の領域に分割して、前記領域のそれぞれの輝度の平均値を算出する輝度平均値算出手段と、前記輝度平均値算出手段で算出された前記領域のそれぞれの輝度の平均値に基づいて前記エッジ保存ローパスフィルタに設定する閾値を算出する閾値算出手段とを備える画像処理装置である。【００２３】
前記閾値算出手段は、前記領域のそれぞれの輝度の平均値の差分絶対値に所定の固定値を乗じることにより前記閾値を算出するようにすることができる。【００２４】
前記エッジ保存ローパスフィルタにより、前記入力画像から輝度信号の振幅の周期が大きい照明成分を抽出し、前記入力画像の輝度信号と前記照明成分の差分としてディテール成分を抽出する抽出手段と、前記照明成分に対応して定まるゲインを特定する特定手段と、前記特定手段により特定されたゲインを、前記ディテール成分に乗じることで前記ディテール成分を補正するディテール成分補正手段とをさらに備えるようにすることができる。【００２５】
前記特定手段は、前記画像の前記輝度の値に対応する複数の領域のそれぞれを、前記領域のそれぞれの輝度の平均値に基づく演算により求められ、完全順応させる場合に乗じられるゲインである完全順応ゲインに基づいて得られるゲイン特性に基づいて特定するようにすることができる。【００２６】
前記特定手段は、前記画像の前記輝度の値に対応する複数の領域のそれぞれを、前記領域のそれぞれの輝度の平均値に基づく演算により求められ、完全順応させる場合に乗じられるゲインである完全順応ゲインに、所定の演算処理を施すことで求められる補正ゲインに基づいて得られるゲイン特性に基づいて特定するようにすることができる。【００２７】
前記補正ゲインを求める演算においては、前記画像の前記輝度の値に対応する複数の領域のそれぞれの輝度の平均値に基づいて算出されるダイナミックレンジの値に応じて定まる予め設定された順応レベル特性に基づいて特定される順応レベルが用いられるようにすることができる。【００２８】
前記特定手段は、前記複数の領域のうち、最も暗い領域に対応する完全順応ゲインを、前記順応レベルに基づいて補正した第１の値を前記補正ゲインの上限値とし、前記複数の領域のうち、最も明るい領域に対応する完全順応ゲインを、前記順応レベルに基づいて補正した第２の値を前記補正ゲインの下限値とし、前記ゲイン特性を決定するようにすることができる。【００２９】
前記入力された画像の画素数を間引く間引き手段と、前記間引き手段により画素数が間引かれた画像を、元の画素数の画像に拡大する拡大手段とをさらに備え、前記間引き手段により画素数が間引かれた画像が前記エッジ保存ローパスフィルタに入力され、前記エッジ保存ローパスフィルタから出力された信号に対応する画像が前記拡大手段に入力されるようにすることができる。【００３０】
本発明の一側面は、入力画像の処理対象画素の各周辺画素について、前記処理対象画素に対して決定される基準画素の値と閾値とに基づいて有効か否かを決定し、有効とされた周辺画素の値により平滑化を行ない、前記入力画像の輝度分布に基づいて、前記入力画像を、複数の領域に分割して、前記領域のそれぞれの輝度の平均値を算出し、前記領域のそれぞれの輝度の平均値に基づいて前記閾値を算出するステップを含む画像処理方法である。【００３１】
本発明の一側面は、入力画像の処理対象画素の各周辺画素について、前記処理対象画素に対して決定される基準画素の値と閾値とに基づいて有効か否かを決定し、有効とされた周辺画素の値により平滑化を行ない、前記入力画像の輝度分布に基づいて、前記入力画像を、複数の領域に分割して、前記領域のそれぞれの輝度の平均値を算出し、前記領域のそれぞれの輝度の平均値に基づいて前記閾値を算出するステップを含む画像処理をコンピュータに実行させるプログラムである。【００３２】
本発明の一側面は、入力画像の処理対象画素の各周辺画素について、前記処理対象画素に対して決定される基準画素の値と閾値とに基づいて有効か否かを決定し、有効とされた周辺画素の値により平滑化を行ない、前記入力画像の輝度分布に基づいて、前記入力画像を、複数の領域に分割して、前記領域のそれぞれの輝度の平均値を算出し、前記領域のそれぞれの輝度の平均値に基づいて前記閾値を算出するステップを含む画像処理をコンピュータに実行させるプログラムが記録された記録媒体である。【００３３】
本発明の一側面においては、入力画像の処理対象画素の各周辺画素について、前記処理対象画素に対して決定される基準画素の値と閾値とに基づいて有効か否かが決定され、有効とされた周辺画素の値により平滑化を行ない、前記入力画像の輝度分布に基づいて、前記入力画像を、複数の領域に分割して、前記領域のそれぞれの輝度の平均値が算出され、前記領域のそれぞれの輝度の平均値に基づいて前記閾値が算出される。
【発明の効果】
【００３４】
本発明によれば、簡単な構成で、画質の劣化を抑制できる階調圧縮を実現することができる。
【図面の簡単な説明】
【００３５】
【図１】本発明の一実施の形態に係る撮像装置の構成例を示す図である。
【図２】図１の階調圧縮部の詳細な構成例を示す図である。
【図３】検波において行われる処理を説明する図である。
【図４】画像のヒストグラムを説明する図である。
【図５】図４の画像の明るい領域と暗い領域、およびダイナミックレンジを説明する図である。
【図６】順応ゲインのLUTの例を示す図である。
【図７】順応ゲインの設定を説明する図である。
【図８】εフィルタの閾値の設定を説明する図である。
【図９】εフィルタの動作を説明する図である。
【図１０】εフィルタの処理を説明する図である。
【図１１】図２のエッジ保存LPFの詳細な構成例を示す図である。
【図１２】図１１のエッジ保存LPFの処理により生成される画像の例を示す図である。
【図１３】図１１のエッジ保存LPFの処理により生成される画像の例を示す図である。
【図１４】図１１のエッジ保存LPFの処理により生成される画像の例を示す図である。
【図１５】図１１のエッジ保存LPFの処理により生成される画像の例を示す図である。
【図１６】図１２のエッジ保存アップサンプラの処理を説明する図である。
【図１７】図２の補正ゲインLUTの例を示す図である。
【図１８】NR処理における順応ゲインの影響を説明する図である。
【図１９】ノイズ信号の標準偏差σを求める関数の例を示す図である。
【図２０】画作り要素を求める関数の例を示す図である。
【図２１】撮像処理の例を説明するフローチャートである。
【図２２】検波処理の例を説明するフローチャートである。
【図２３】階調圧縮処理の例を説明するフローチャートである。
【図２４】エッジ保存ローパスフィルタ処理の例を説明するフローチャートである。
【図２５】従来の階調圧縮処理におけるRGBγ補正の例を示す図である。
【図２６】従来の階調圧縮処理におけるYγ補正の例を示す図である。
【図２７】本発明で用いるRGBγテーブルの例を示す図である。
【図２８】本発明で用いるYγテーブルの例を示す図である。
【図２９】照明成分の階調圧縮とディテール成分の階調圧縮について説明する図である。
【図３０】図１の階調圧縮部の別の詳細な構成例を示す図である。
【図３１】図３０の階調圧縮部による階調圧縮処理の例を説明するフローチャートである。
【図３２】本発明の撮像装置の別の構成例を示す図である。
【図３３】本発明の撮像装置のさらに別の構成例を示す図である。
【図３４】本発明の撮像装置のさらに別の構成例を示す図である。
【図３５】エッジ保存ローパスフィルタの構成例を示すブロック図である。
【図３６】加算係数を説明する図である。
【図３７】フィルタ係数を説明する図である。
【図３８】エッジ保存ローパスフィルタによるフィルタ処理を説明するフローチャートである。
【図３９】エッジ保存ローパスフィルタの別の構成例を示すブロック図である。
【図４０】エッジ保存ローパスフィルタの別の構成例を示すブロック図である。
【図４１】加算係数の別の例を説明する図である。
【図４２】フィルタ係数の別の例を説明する図である。
【図４３】エッジ保存ローパスフィルタに入力される画像の例を示す図である。
【図４４】適正値より小さい値の閾値の場合にエッジ保存ローパスフィルタから出力される画像の例を示す図である。
【図４５】適正な閾値の場合にエッジ保存ローパスフィルタから出力される画像の例を示す図である。
【図４６】適正値より大きい値の閾値の場合のエッジ保存ローパスフィルタから出力される画像の例を示す図である。
【図４７】図４４に対応してディテール抽出部６６から出力される画像の例を示す図である。
【図４８】図４５に対応してディテール抽出部６６から出力される画像の例を示す図である。
【図４９】図４６に対応してディテール抽出部６６から出力される画像の例を示す図である。
【図５０】適正な閾値の例を説明する図である。
【図５１】適正な閾値の別の例を説明する図である。
【図５２】適正な閾値のさらに別の例を説明する図である。
【図５３】適正な閾値のさらに別の例を説明する図である。
【図５４】画像のディテール成分を補正する効果について説明する図である。
【図５５】画像のディテール成分の補正する効果について説明する図である。
【図５６】画像のディテール成分の補正する効果について説明する図である。
【図５７】図２の補正ゲインLUTの別の例を示す図である。
【図５８】図２の補正ゲインLUTのさらに別の例を示す図である。
【図５９】図２の補正ゲインLUTのさらに別の例を示す図である。
【図６０】図２の補正ゲインLUTのさらに別の例を示す図である。
【図６１】補正ゲインＬＵＴ設定処理を説明するフローチャートである。
【図６２】順応レベルを用いてディテール成分に乗じられるゲインが設定される場合のディテール調整部から出力される画像の例を示す図である。
【図６３】補正ゲインＬＵＴ設定処理の別の例を説明するフローチャートである。
【図６４】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【００３６】
１０  撮像装置，  ３１  CCD，  ３２  ホワイトバランス部，  ３３  デモザイク部，  ３４  階調圧縮部，３５  リニアマトリクス部，  ３６  RGBγ補正部，  ３７  BT.６０１行列部，  ３８  Yγ補正部  ３９  色差マトリクス部，  ４０  デバイス色域圧縮部，  ４２  ｓRGBγ補正部，  ４３  RGB△γ補正部，  ６１  輝度信号生成部，  ６２  知覚均等化部，  ６３  検波部，  ６４  制御MPU，  ６５  エッジ保存LPF，  ６６  ディテール抽出部，  ６７  ディテール調整部，  ６８  トーンカーブ処理部，  ６９加算器，  ７０  NR処理部，  ７１  RGB変調部，  ３５１  ダウンサンプラ，  ３５２  バッファ，  ３５３  マルチスケールフィルタ，  ３５４  バッファ，  ３５６  エッジ保存アップサンプラ，  ３６１  超大域エッジ保存LPF，  ３６２  大域エッジ保存LPF，６０１  加算係数決定処理部，  ６０２  係数正規化処理部，  ６０５  積算部，６０６  積算終了判定部，  ６１１  基準レベル算出部，  ６１３  加算係数算出部，  ６２２  積算部，６２３  積算終了判定部
【発明を実施するための最良の形態】
【００３７】
以下、図面を参照して、本発明の実施の形態について説明する。【００３８】
図１は、本発明の一実施の形態に係る撮像装置１０の一実施の形態に係る構成例を示すブロック図である。【００３９】
同図に示されるCCD３１は、CCD撮像素子から得られた画像をホワイトバランス部３２に出力する。【００４０】
ホワイトバランス部３２は、CCD３１から出力される画像の各画素値に適切な係数をかけることにより、被写体の無彩色の部分の色バランスが実際に無彩色となるように、画像のホワイトバランスを調整する。ホワイトバランス部３２は、ホワイトバランスを調整した画像をデモザイク部３３に供給する。【００４１】
デモザイク部３３は、ホワイトバランス部３２から供給される画像に対してA/DコンバータなどによりA/D変換された画像データであるモザイク画像を取得する。モザイク画像は、Ｒ，Ｇ，Ｂのうちいずれかの色成分に対応するデータが１つの画素に格納され、例えば、ベイヤー配列と呼ばれる色配列に従って各画素が配置されている画像である。そして、デモザイク部３３は、モザイク画像を、RGB信号に変換（デモザイク）して階調圧縮部３４に出力する。【００４２】
階調圧縮部３４は、デモザイク部３３から供給されたRGB信号に対して後述するように、階調圧縮の処理を施し、その処理が施されたRGB信号をリニアマトリクス部３５に供給する。【００４３】
リニアマトリクス部３５は、予め設定された演算式に従って、所定のマトリクス係数に基づいて、RGB信号の演算を行い、人間の目の特性に近似した色彩のRGB信号を生成する。【００４４】
RGBγ補正部３６は、リニアマトリクス部３５から出力されるRGB信号にγ補正を施し、BT.601行列部３７に出力し、BT.601行列部３７は、RGBγ補正部３６から出力されたRGB信号を、ITU-R BT.601の規格に適合するように変換する。【００４５】
BT.601行列部３７は、画像データの信号を、輝度信号と色差信号に分けて出力し、輝度信号は、Yγ補正部３８に出力され、輝度信号に対してＹγ補正部３８によりγ補正が施される。色差信号は、色差マトリクス部３９に出力され、色差信号による画像データがマトリックス演算処理されて彩度補正が施される。【００４６】
Yγ補正部３８と色差マトリクス部３９から出力されるそれぞれの信号の画像データが合成され、デバイス色域圧縮部４０により出力デバイスの色域にあわせて色域圧縮の処理が施される。ここで、色域圧縮の処理としては任意の方法を用いることができ、たとえば特開2000―278546（対応ＵＳ特許ＵＳ６，４３７，７９２）に開示されている方法などを使って、色味がズレないように、また階調の喪失がないように色域圧縮をする。なお、出力デバイスの色域が決まっていない場合には、デバイス色域圧縮部４０により、例えば、sRGBやAdobeRGBやscRGBなどの出力画像フォーマットの色域にあわせた色域圧縮の処理が施される。【００４７】
本実施の形態においては、階調圧縮部３４により、ダイナミックレンジが圧縮（階調圧縮）された画像が生成され、その後で、デバイス色域圧縮部４０により出力デバイスの色域にあわせて色域圧縮の処理が施される。後述するように、階調圧縮部３４では、RGBから明るさを表す信号を抽出し、その明るさを表す信号にゲインを乗じるなどして階調圧縮処理が施されるため、階調圧縮処理が施された信号からRGB信号を生成すると、信号がデバイスの色再現範囲を超えてしまうことで、本来の画像の色合いと異なるものとなってしまうことがある。本実施の形態のように、階調圧縮された画像が生成され、その後で、色域圧縮の処理が施されるようにすることで、色の階調の一部が失われてのっぺりした画質となってしまうことや色味のずれなどが発生することを抑止することができる。【００４８】
そして、デバイス色域圧縮部４０から出力された画像データが保存ファイル４１に保存される。【００４９】
図２は、階調圧縮部３４の詳細な構成例を示すブロック図である。【００５０】
同図における輝度信号生成部６１は、階調圧縮部３４に入力されたRGB信号から物体の反射率を考慮した明るさを表す信号Ｙを抽出する。なお信号Ｙは、RGB信号の線形和を演算して得られる輝度信号をそのまま用いてもよいし、その輝度信号に対して次のような演算処理を施して得られる信号としてもよい。【００５１】
例えば、RGBのうち最大値のチャネルと輝度信号の重み付け和を用いて輝度信号に対して所定の演算を行い、信号Yを得るようにしてもよい。【００５２】
また、露出計による被写体の色度の情報を利用して輝度信号を補正する演算を行い、信号Yを得るようにしてもよい。なお、露出計については、特許公報第２６３４８９７号などに詳細が開示されている。【００５３】
あるいはまた、撮像された画像に基づいて被写体を認識し、認識された被写体に対応付けられて予め定められている反射率の値に基づいて輝度信号を補正する演算を行い、信号Yを得るようにしてもよい。【００５４】
知覚均等化部６２は、この後行われる検波処理やローパスフィルタの処理において、人間の視覚に合った信号処理を行うために、信号Ｙを非線形変換して知覚均等な明るさ信号Ｙ’を生成する。たとえば入力のＲＧＢ信号がリニア信号だった場合には、ｓＲＧＢのγカーブを用いて非線形変換をする。【００５５】
γカーブは、例えば、sRGB（IEC61966-2-1）で用いられている、リニアRGBからノンリニアRGBへの変換の式を用いて得ることができる。その他、1976 CIE L*a*b* color spaceで使われる非線形変換、対数変換（Ｙ’ = log(Y)）、累乗（Ｙ’ = Y^(1/2.2)）などにより非線形変換が行われるようにしてもよい。【００５６】
なお、以降では、特に説明のない限り、ダッシュつきの変数はノンリニアな値を表し、ダッシュなしの変数はリニアの値を表すものとする。【００５７】
検波部６３は、信号Ｙ’に対して検波処理を行う。【００５８】
検波部６３は、まず、入力信号（信号Ｙ’）に対してローパスフィルタ処理をする。これにより、入力信号の中で周波数が所定の値より高い部分が除去されることになる。これは、信号Ｙ’のうちの細かい空間パターンを無視し、大局的な空間パターンを検波するための処理である。このようにすることで、画像の中の細かい空間パターンに基づいて検波が行われ、検波の結果が極値に偏ってしまうことが抑止される。【００５９】
検波部６３の処理により後述するように、入力画像のうちの明るい領域の照明の平均強度と暗い領域の照明の平均強度とが推定される。また、検波部６３の処理により後述するように、飽和レベル以上の値を持つ画素の数がカウントされ、その画素の数に基づいて、撮像露出が適正か否かが判定され、適正でないと判定された場合、制御MPU６４により、露出を下げるように撮像装置１０が制御される。さらに、後述するように、検波部６３により求められた明るい領域の照明の平均強度と暗い領域の照明の平均強度に基づいて、制御ＭＰＵ６４によりエッジ保存LPF６５のフィルタに設定される閾値が求められる。【００６０】
図３を参照して、検波部６３の処理の詳細について説明する。【００６１】
検波部６３に入力された元画像９１の信号は、ダウンサンプラ９２により間引画像９３に変換される。この例では、３８８８×２６０８の画素で構成される１０Mピクセルの元画像９１が間引かれてX×Yの画素で構成される間引画像９３に変換されている。【００６２】
間引画像９３の信号が演算器９４に供給され、図中の演算器９４の上部に示されるようなヒストグラムが生成される。このヒストグラムは、横軸が画素の輝度値、縦軸が度数（画素数）とされ、演算器９４により間引画像９３の全ての画素の平均輝度値（図中のバー１１１）が演算により求められる。ここで得られる平均輝度値が後述する値Ymの初期値となる。【００６３】
演算器９５は、演算器９４により生成されたヒストグラムをバー１１１（すなわち輝度の平均値）で分割する。これにより、間引画像９３に含まれる全ての画素が、平均値より輝度値の大きい画素と、平均値より輝度値の小さい画素に分割されることになる。【００６４】
演算器９５の処理を経て分割された画素のうち、平均値（バー１１１）より輝度値の大きい画素は、演算器９６に供給され、それらの画素の平均値が演算される。また、演算器９５の処理を経て分割された画素のうち、平均値（バー１１１）より輝度値の小さい画素は、演算器９７に供給され、それらの画素の平均値が演算される。その結果、図中の演算器９６の上部のヒストグラムに示されるように、バー１１２（バー１１１より輝度値の大きい画素の平均値）と、バー１１３（バー１１１より輝度値の小さい画素の平均値）とが求められることになる。ここで得られる輝度値の大きい画素の平均値と、輝度値の小さい画素の平均値がそれぞれ、後述する値Yhと値Ylの初期値となる。【００６５】
さらに、演算器９６と演算器９７のそれぞれ演算結果の値が演算器９８に供給され、その２つの値の平均値が演算される。ここで得られた平均値は、図中演算器９８の上部に示されるヒストグラムのバー１２１に対応する。【００６６】
そして、演算器９９がこのヒストグラムをバー１２１で再度分割し、演算器１００と演算器１０１は、それぞれ、バー１２１より輝度値の大きい画素の平均値、バー１２１より輝度値の小さい画素の平均値を演算する。その結果、図中の演算器１００の上部のヒストグラムに示されるように、バー１３２（バー１２１より輝度値の大きい画素の平均値）と、バー１３３（バー１２１より輝度値の小さい画素の平均値）とが求められることになる。【００６７】
さらに、演算器１００と演算器１０１のそれぞれ演算結果の値が演算器１０２に供給され、その２つの値の平均値が演算される。ここで得られる平均値が収束するまで上述した処理を繰り返し実行する。なお、ここで言う収束とは、例えば、演算器９８により演算される平均値と、演算器１０２により演算される平均値との差分絶対値が所定の閾値以下となることを意味する。【００６８】
このような処理により収束した平均値を値Ymとし、値Ymより輝度値が大きい画素の平均値、すなわち画像の中の明るい領域の画素の平均値を値Yhとし、値Ymより輝度値が小さい画素の平均値、すなわち画像の中の暗い領域の画素の平均値を値Ylとして内部のメモリなどに記憶する。【００６９】
なお、ここでは説明のため演算器９４乃至演算器１０２までの計算処理についてヒストグラムを生成すると説明したが、この計算は閾値を用いた平均値計算である。従って、実際には、演算器９４乃至演算器１０２のそれぞれはヒストグラムを生成せず、単に平均値の計算、または分割の処理を実行するものである。【００７０】
以後、このようにして得られた値Yhが、画像の中の明るい領域の照明の平均強度ＬＡと等しいものとし、値Ylが、画像の中の暗い領域の照明の平均強度ＬＢと等しいものとする。【００７１】
検波部６３の処理により、明るい領域の照明の平均強度ＬＡと暗い領域の照明の平均強度ＬＢとが求められ、制御ＭＰＵ６４において、画像のダイナミックレンジの広さＤＲが次のようにして求められる。【００７２】
例えば、検波部６３に入力された信号の画像が図４のａに示されるような画像であり、その画像のヒストグラムが図４のｂに示されるようなものであったとする。なお、図４のｂは、横軸が画素の輝度値、縦軸が度数（画素数）とされ、図４のａの画像の画素の値のヒストグラムを表している。【００７３】
検波部６３の処理を経ると、図４のａに示される画像は、図５のａに示されるように、画像の中の明るい領域Ａと暗い領域Ｂとに分割して検波値を求めることになる。そして、図５のｂのヒストグラムに示されるように、領域Ａの照明の平均強度ＬＡと領域Ｂの照明の平均強度ＬＢに基づいて、次式により画像のダイナミックレンジＤＲを得ることができる。【００７４】
ＤＲ＝log2（Yh／Yl）【００７５】
また、検波部６３の処理により、明るい領域の照明の平均強度ＬＡと暗い領域の照明の平均強度ＬＢとが求められ、制御ＭＰＵ６４において、画像の明るい領域と暗い領域のそれぞれの順応レベルが求められる。ここで順応レベルは、例えば、明るい領域または暗い領域において、各領域の照明強度に対応して適切に被写体の画像を得るための露出値の制御に用いられる係数とされる。【００７６】
最初に、制御ＭＰＵ６４は、デフォルトの露出値EV0を、例えば次式の演算により取得する。【００７７】
EV0＝−log2（２Ym）【００７８】
あるいはまた、演算によらず撮像装置１０にあらかじめ設定された露出値などがデフォルトの露出値EV0として取得されるようにしてもよい。なお、デフォルトの露出値EV0は、撮像装置１０（カメラ）の標準露出値を表すものとなる。【００７９】
露出値EV0が得られた後、制御ＭＰＵ６４は、撮像した画像をデフォルトの露出値の画像に変換するためのゲインｋ0を次式により演算する。【００８０】
ｋ0＝２EV0【００８１】
また、制御ＭＰＵ６４は、画像の明るい領域に完全順応した露出値EVhと、画像の暗い領域に完全順応した露出値EVlとを次式によりそれぞれ求める。【００８２】
EVh＝−log2（２Yh）
EVl＝−log2（２Yl）【００８３】
完全順応した露出値を用いて撮像を行うと、各領域の照明強度に対応して被写体を適切に表示する画像が得られる。例えば、露出値をEVhとして明るい領域に設置された被写体を撮像し、露出値をEVlとして暗い領域に設置された被写体を撮像した場合、被写体の反射率が同じであれば、どちらの画像においても被写体が同じ明るさで表示されることになる。【００８４】
さらに、制御ＭＰＵ６４は、画像の明るい領域の完全順応ゲインｋAおよび画像の暗い領域の完全順応ゲインｋBを次式により求める。【００８５】
ｋA＝２EVh
ｋB＝２EVl【００８６】
ゲインkAおよびゲインkBを用いれば、撮像した画像を、明るい領域に完全順応した露出値の画像および暗い領域に完全順応した露出値の画像に変換することができる。【００８７】
しかしながら、画像の明るい領域と暗い領域にそれぞれ完全順応した画像を表示した場合、その画像のコントラストは、明るい領域と暗い領域とで全く差がないものとなり、不自然に感じられる。そこで、本実施の形態においては、順応レベルを用いてゲインkAおよびゲインkBを補正する。【００８８】
順応レベルは、画像のダイナミックレンジに対応して定まる１以下の値とされ、例えば、ルックアップテーブル（LUT）として予め制御ＭＰＵ６４の内部に記憶されている。【００８９】
図６は、順応レベルを特定するためのLUTの内容の例を示す図である。同図は、横軸がダイナミックレンジの値とされ、縦軸が順応レベルの値とされ、ダイナミックレンジの各値に対応する順応レベルが線２０１により示されている。【００９０】
同図に示されるように、順応レベルは、画像のダイナミックレンジが大きいほど、すなわち、画像の明るい領域の照明の平均強度と画像の暗い領域の照明の平均強度との差が大きいほど、値が１に近づき、強い順応がかかるように設定されている。【００９１】
ここで強い順応とは、より完全順応に近い状態の順応を意味している。【００９２】
また、同図に示されるように、ダイナミックレンジの値が「４」より大きくなると、線２０１が水平となるように設定されている。すなわち、ダイナミックレンジがある程度以上大きくなると、それ以上順応がかからないように設定されている。【００９３】
制御ＭＰＵ６４は、図６に示されるLUTにより特定された順応レベルAdlを用いて画像の明るい領域の完全順応ゲインｋAおよび画像の暗い領域の完全順応ゲインｋBを、それぞれ次式により補正して補正後の画像の明るい領域の順応ゲインｋArおよび画像の暗い領域の順応ゲインｋBrを求める。【００９４】
ｋAr＝２(EV0-Adl×(EVh-EV0))
ｋBr＝２(EV0-Adl×(EVl-EV0))【００９５】
図７を参照してさらに詳細に説明する。【００９６】
図７の画像２２０は、デフォルトの露出値EV0で撮像された画像とする。デフォルトの露出値EV0で撮像された画像においては、図中画像２２０の下に示されるグラフの線２４１により、入力信号の輝度値（Y-in）に対応して出力信号の輝度値（Y-out）が定まるようになされている。【００９７】
画像２２１は、画像２２０の明るい領域である領域Aに完全順応させた露出値EVhで撮像された画像とされる。露出値EVhで撮像された画像においては、図中画像２２１の上に示されるグラフの線２４２により、入力信号の輝度値（Y-in）に対応して出力信号の輝度値（Y-out）が定まるようになされている。すなわち、線２４１により定まる値に対して完全順応ゲインkAが乗じられて輝度値（Y-out）が定まるようになされている。【００９８】
換言すれば、画像２２１は、画像２２０の領域Aに対応させて一律に露出を下げたものであり、明るい領域に合わせて画像２２０の階調をグローバルに圧縮した画像である。また、明るい領域の中にあるオブジェクト（被写体の中の一部分）については、画像２２０において白くつぶれて（とんで）いた画素に適切な明るさが与えられることにより、オブジェクトの見えが改善された画像であるとも言える。【００９９】
上述した補正後の画像の明るい領域の順応ゲインｋArを、線２４１により定まる値に対して乗じることにより、画像２２２の図中上のグラフの線２４３により入力信号の輝度値（Y-in）に対応して出力信号の輝度値（Y-out）が定まるようになる。その結果、画像２２０のダイナミックレンジに応じて明るい領域に順応させた画像２２２が得られることになる。【０１００】
画像２２３は、画像２２０の暗い領域である領域Ｂに完全順応させた露出値EVlで撮像された画像とされる。露出値EVlで撮像された画像においては、図中画像２２３の下に示されるグラフの線２４４により、入力信号の輝度値（Y-in）に対応して出力信号の輝度値（Y-out）が定まるようになされている。すなわち、線２４１により定まる値に対して完全順応ゲインkBが乗じられて輝度値（Y-out）が定まるようになされている。【０１０１】
換言すれば、画像２２３は、画像２２０の領域Ｂに対応させて一律に露出を上げたものであり、暗い領域に合わせて画像２２０の階調をグローバルに圧縮した画像である。また、暗い領域の中にあるオブジェクトについては、画像２２０において黒くつぶれていた画素に適切な明るさが与えられることにより、オブジェクトの見えが改善された画像であるとも言える。【０１０２】
上述した補正後の画像の暗い領域の順応ゲインｋBrを、線２４１により定まる値に対して乗じることにより、画像２２４の図中下のグラフの線２４５により入力信号の輝度値（Y-in）に対応して出力信号の輝度値（Y-out）が定まるようになる。その結果、画像２２０のダイナミックレンジに応じて暗い領域に順応させた画像２２４が得られることになる。【０１０３】
このように、図６に示されるLUTにより特定された順応レベルAdlを用いて順応ゲインを求めて、画像の各領域の照明の強度に応じた順応ゲインを乗じることにより、画像の明るい領域に対しても暗い領域に対しても適切な露出値が設定された画像を得ることができる。このようにして得られた画像は、全体としてのダイナミックレンジが圧縮されており、かつ画像の各領域のオブジェクトの見えが改善された画像であり、さらに、例えば、画像の明るいまたは領域と暗い領域に完全順応した画像の場合とは異なり、自然な印象の画像となる。このような、画像のダイナミックレンジの圧縮を、適宜、階調圧縮と称することにする。【０１０４】
撮像装置１０においては、検波部６３の処理結果に基づいて、制御MPU６４が上述した順応ゲインｋArと順応ゲインｋBrとを求めておき、後のディテール調整部６７の処理と、トーンカーブ処理部６８の処理において、順応ゲインｋArと順応ゲインｋBrとを用いた画像の階調圧縮が行われる。【０１０５】
すなわち、撮像装置１０においては、図６を参照して上述したように、画像のダイナミックレンジに基づいて特定された順応レベルAdlを用いて、画像の明るい領域の完全順応ゲインｋAおよび画像の暗い領域の完全順応ゲインｋBを補正して順応ゲインｋArおよび順応ゲインｋBrを求める。そして、順応ゲインｋArおよび順応ゲインｋBrに基づいて、図２の補正ゲインLUT７２が生成される。なお、補正ゲインLUT７２については、図１７を参照して後述する。【０１０６】
また、検波部６３の処理により、明るい領域の照明の平均強度ＬＡと暗い領域の照明の平均強度ＬＢとが求められ、制御ＭＰＵ６４において、エッジ保存ＬＰＦ６５に供給する閾値εが求められる。【０１０７】
閾値εは、平均強度ＬＡと平均強度ＬＢに基づいて次式の演算により求められる。【０１０８】
ε＝Ｒ×｜ＬＡ − ＬＢ｜【０１０９】
ここで、Ｒはフィルタのエッジ保存の強さを調整する係数で固定値とされる。すなわち、図８に示されるようにεが特定される。図８は、撮像された画像のヒストグラムを表しており、図中縦軸が度数（画素数）、横軸が明るさ（例えば、輝度値）とされている。【０１１０】
エッジ保存ＬＰＦ６５は、非線形な平滑化フィルタであり、基準レベルから±εの範囲外の値の画素の値を、基準レベルに置き換えて平滑化するようになされている。このフィルタは、いわゆるεフィルタを改善したローパスフィルタである。図９のａと図９のｂを参照してこのローパスフィルタの動作について説明する。なお、図９のａと図９のｂは、それぞれ横軸が画素位置、縦軸が明るさの値とされ、各画素位置の画素の明るさの値を線３０１または線３０２により示したものである。【０１１１】
例えば、画像の画素の明るさの値が図９のａに示される線３０１で表される場合、エッジ保存ＬＰＦ６５は、例えば、点３１１でのフィルタの出力値を求める処理は、フィルタ窓の中心の値であるフィルタ中央値を基準レベルとし、基準レベルから±εの範囲外の値の画素の値であって、例えば、点３１２で示される位置の画素の値を、一時的に点３１３の明るさに置き換えて、フィルタ窓の範囲の画素の平均値を計算することで平滑化する。その結果、図９のｂの点３１４で示される明るさの値に、画素位置の幅W内の画素の明るさの値が一律に設定されることになる。【０１１２】
そして、幅Wの位置を、画素毎にずらしながらこのような処理が繰り返され、明るい部分と暗い部分とに分けられるように画像が平滑化されていく。【０１１３】
このように動作するエッジ保存ＬＰＦ６５の処理を経ることにより、例えば、図１０のａに示される入力画像から図１０のｂに示される出力画像を得ることができる。図１０のａと図１０のｂは、それぞれ背景と黒い人影が撮像された画像であり、図１０のａの領域Ａ（背景）は明るい領域とされ、図１０のｂの領域Ｂ（人影）は暗い領域とされている。そして図１０のａの円３２１で示されるようにエッジ保存ＬＰＦ６５のフィルタの窓が設定されているものとし、図中星型で示した画素３２２がフィルタ中央値であって基準レベルの明るさの値を有する画素とされる。【０１１４】
このように、エッジ保存ＬＰＦ６５の処理を経て出力された図１０のｂに示される画像においては、背景の複雑な模様が消えているが、背景と人影との境界であるエッジは保存されている。すなわち、エッジ保存ＬＰＦ６５の処理を経ることにより、信号Ｙ’から高周波成分が排除され、領域ごとの照明成分を精度よく抜き出すことができる。【０１１５】
εフィルタにおいては、基準レベルとして、一般にフィルタ窓の中心にある一つの画素の値が使われるが、その場合、画像中の特異点が平滑化されなくなる問題がある。そこで、例えば、フィルタ窓の中心の画素と、その画素の周辺の予め定められた位置に配置された複数の画素の値の重み付き平均値を基準レベルとして動作するローパスフィルタを用いてエッジ保存ＬＰＦ６５を構成することとする。なお、フィルタ窓の中心の画素と、その画素の周辺の予め定められた位置に配置された複数の画素の値の単純な平均値などを基準レベルとしてもよい。【０１１６】
また、１つのεフィルタの処理では、平滑化できる周波数帯域に偏りがあるため、本実施の形態においては、閾値の値がそれぞれ異なる複数のローパスフィルタによる処理の結果得られる信号を合成して用いることとする。【０１１７】
図１１は、エッジ保存ＬＰＦ６５の詳細な構成例を示す図である。上述したように、エッジ保存LPF６５は、入力された信号Ｙ’の画像を元画像とし、元画像のディテール成分を除去し、元画像の照明成分のみを適切に抽出するローパスフィルタである。【０１１８】
エッジ保存ＬＰＦ６５に入力された信号Ｙ’の画像は、ダウンサンプラ３５１により間引かれ、より画素数の少ない画像とされてバッファ３５２に保持される。このように画素数を間引いてフィルタ処理を施すことでより高速な処理を実現できる。【０１１９】
このとき、例えば、図１２に示されるように、元画像の画素数が１６分の１に間引かれた画像が生成されて、図１３に示されるような画像がバッファ３５２に保持されることになる。この例では、元画像が、空を背景とした時計塔を被写体とした画像である。なお、ここでは、説明を簡単にするために、画素数が１６分の１に間引かれた画像が元画像より小さいサイズの画像として表されているが、ダウンサンプラ３５１の間引の処理により必ずしも画像のサイズが小さくなるわけではない。【０１２０】
バッファ３５２に保持された画像は、マルチスケールフィルタ３５３に供給される。マルチスケールフィルタ３５３は、超大域エッジ保存LPF３６１と大域エッジ保存LPF３６２を有する構成とされる。大域エッジ保存LPF３６２は、例えば、フィルタ窓の大きさが、入力画像の短辺のピクセル数の２％乃至２０％のエッジ保存LPFとされる。ここで、入力画像の短辺とは、撮像素子のフォーマットが縦横方向に対して非対称である場合、画素数の少ない方の辺を表す。超大域エッジ保存LPF３６１は、例えば、フィルタ窓の大きさが、大域エッジ保存LPF３６２と比較して２倍乃至１０倍の大きさとなるように設定されたエッジ保存LPFとされる。【０１２１】
バッファ３５２から出力される信号は、超大域エッジ保存LPF３６１と大域エッジ保存LPF３６２のそれぞれに供給され、それぞれのローパスフィルタの処理を経た信号が加算器３６３により合成されるようになされている。【０１２２】
マルチスケールフィルタ３５３の処理を経た信号の画像は、例えば、図１４に示されるような画像となってバッファ３５４に保存される。【０１２３】
図１４の画像においては、図１３の画像と比較して、時計塔の時計や壁の模様、また背景に含まれる雲などがマルチスケールフィルタ３５３の処理により除去されている。【０１２４】
バッファ３５４に保存された画像は、エッジ保存アップサンプラ３５６に供給される。エッジ保存アップサンプラ３５６は、信号Ｙ’から得られる元画像のエッジ情報に基づいてバッファ３５４に保存された画像の画素数を拡大するアップサンプラとされる。すなわち、エッジ保存アップサンプラ３５６は、ダウンサンプラ３５１により間引かれて画素数の少なくなった画像を元の画素数の画像に戻すようになされている。【０１２５】
このとき、例えば、図１５に示されるように、バッファ３５４に保存された画像の画素数が１６倍に拡大された画像が生成されることになる。図１５に示される画像には、被写体である時計塔が暗いオブジェクトとして表示されており、背景である空が明るいオブジェクトとして表示されている。すなわち、時計塔や空の中の細かな模様は除去されて、暗い部分と明るい部分により構成された画像となっている。このような画像を、本実施の形態においては、元画像の照明成分と称する。【０１２６】
また、本実施の形態においては、エッジ保存アップサンプラ３５６において、画像の画素数を増やすとき、エッジのなまりが除去されるようになされている。【０１２７】
図１６を参照してエッジ保存アップサンプラの処理の詳細について説明する。【０１２８】
元画像の画素数が１６分の１に間引かれた画像の画素数を単純に１６倍に拡大すると（単純拡大すると）、画像の暗い部分と明るい部分との境界であるエッジが、画像３８１に示されるようにぼやけた状態の画像となる。画像３８１の右側には、横軸を画素位置とし、縦軸を画素の明るさの値とし、線３８３により画像３８１の各画素の明るさを表したグラフが示されている。【０１２９】
線３８３は、本来長方形に近い形状を有するものとなるべきものであるが、単純拡大されたことにより台形に近い形状となっている。すなわち、単純拡大されたことによって、本来画素の明るさが急峻に変化すべきものが、緩やかに変化している。このように、画像の中でエッジがはっきり表示されなくなることがエッジのなまりとなる。【０１３０】
そこで、本実施の形態においては、単純拡大されてエッジがなまった画像と元画像との差分を抽出し、抽出された差分の信号にエッジのなまりを除去する処理を施して元画像に合成する。【０１３１】
元画像３８２の右側には、横軸を画素位置とし、縦軸を画素の明るさの値とし、線３８４により元画像３８２の各画素の明るさを表したグラフが示されている。線３８４に示される元画像は、エッジのなまりはないが、マルチスケールフィルタ３５３の処理を経ていないので、ディテール成分が含まれている。この例では、線３８４の領域３８４ａに含まれる細かい振幅がディテール成分とされる。【０１３２】
線３８３で示される信号と、線３８４で示される信号との差分を抽出することにより得られる信号の画像は、画像３８５のようになる。画像３８５の下には、横軸を画素位置とし、縦軸を画素の明るさの値とし、線３８６により画像３８５の各画素の明るさを表したグラフが示されている。線３８６で示される信号は、画像３８１のエッジのなまり成分と、元画像３８２のディテール成分を含んだ信号となる。【０１３３】
そこでエッジ保存アップサンプラでは、線３８６で示される信号に、線３８７で示される特性を有するゲインをかけてなまり成分を除去する。線３８７は、横軸を入力、縦軸を出力とし、入力信号の値に応じて出力信号の値を変化させるゲインの特性を表している。線３８７は、いわゆるＳ字関数の特性を有している。【０１３４】
信号に含まれる元画像３８２のディテール成分と、画像３８１のエッジのなまり成分とを比べると、画像３８１のエッジのなまり成分による振幅の方が大きいものとなる。このため、線３８６で示される信号をＳ字関数で処理することによって、画像３８８で示されるような、なまり成分を減らした画像を得ることができる。なお、ここで用いるＳ字関数は固定値でもよいが、例えば、エッジの存在確率が高い部分でＳ字特性が強くなるように変調を行うと、より効果的にエッジが復元できる。【０１３５】
画像３８８の下には、横軸を画素位置とし、縦軸を画素の明るさの値とし、線３８９により画像３８８の各画素の明るさを表したグラフが示されている。線３８９で示される信号においては、線３８６で示される信号の場合と比較して、エッジのなまり成分による振幅が小さくなっている。【０１３６】
このように、エッジのなまり成分を減らした後に、その信号（線３８９で示される信号）を、元画像３８２の信号（線３８４で示される信号）に合成することで、拡大画像である画像３９１が得られる。画像３９１の下には、横軸を画素位置とし、縦軸を画素の明るさの値とし、線３９２により画像３９１の各画素の明るさを表したグラフが示されている。線３９２で示される信号においては、線３８３で示される信号とは異なりエッジのなまりがなく、かつ、線３８４で示される信号とは異なりディテール成分による細かな振幅が含まれていない。【０１３７】
すなわち、画像３９１は、単純拡大した画像３８１とは異なり、画像の中でエッジがはっきり表示され、かつ画像の照明成分のみが抽出された画像とされている。【０１３８】
なお、アップサンプルの処理としては、上述した本実施の形態による方式の他、「J.Kopf and M.Cohen and D.Lischinski and M.Uyttendaele, ” Joint Bilateral Upsampling”, Proc. SIGGRAPH 07, 2007」の方式を用いて実現することも可能であるが、上述した本実施の形態による方式を用いた方が、より効率的かつより高精度なアップサンプルの処理を実現することができる。【０１３９】
このように本実施の形態によれば、エッジのなまりがないようにして画像の照明成分とディテール成分を抽出することができる。また、エッジ保存LPF６５のフィルタ処理のパラメータ（閾値など）は、画像のダイナミックレンジに応じて自動的に決まるので、例えば、ユーザに操作負担を強いることもない。【０１４０】
また、本実施の形態では、上述したように、ダウンサンプラ３５１により間引かれて画素数の少なくなった画像に対してマルチスケールフィルタ３５３による処理を施し、その後、エッジ保存アップサンプラ３５６により元の画素数の画像に戻すようにしたので、フィルタ処理に要する時間とコストを大幅に低減することが可能となる。【０１４１】
上述のように、信号Ｙ’をエッジ保存LPF６５で処理することにより、信号Ｙ’の画像の照明成分の信号Ｙ’lpが得られる。照明成分の信号Ｙ’lpは、ディテール抽出部６６、ディテール調整部６７、およびトーンカーブ処理部６８に供給される。【０１４２】
ディテール抽出部６６においては、信号Ｙ’と照明成分の信号Ｙ’lpとの差分を演算することにより、信号Ｙ’の画像のディテール成分の信号Ｙ’deが抽出され、ディテール成分の信号Ｙ’deは、ディテール調整部６７に供給される。この後、信号Ｙ’の照明成分は、トーンカーブ処理部６８で階調圧縮され、信号Ｙ’の画像のディテール成分は、ディテール調整部６７で階調圧縮される。ただし、ディテール調整部６７による階調圧縮は、実際には画像のダイナミックレンジの圧縮を目的とするものではなく、画像のディテールの見えの改善を目的とするものである。【０１４３】
ディテール調整部６７は、補正ゲインLUT７２に基づいて得られるゲインを、ディテール成分の信号Ｙ’deに乗じることにより、画像のディテール成分の補正の処理を行うようになされている。【０１４４】
図１７に、補正ゲインLUTの例を示す。補正ゲインLUT７２は、照明強度とゲインの値を対応づけたテーブルとされ、この例では、線４１１により照明強度に対応するゲインの値が規定されている。線４１１は、照明成分の信号Ｙ’lpの値を照明強度として用い、照明強度が０のときにＤｅｔａｉｌＧａｉｎ（０）＝ｋＢrとなり、照明強度が上限値Ｙ’supとなる場合にＤｅｔａｉｌＧａｉｎ（Ｙ’sup）＝ｋＡrとなるように、ゲインの境界条件を、単調減少の条件を満たす滑らかな曲線で補間して得られる特性を有するようになされている。ただし、ゲインの値が１未満になると、信号が飽和した領域で画像が破綻するため、ゲインの値が常に１以上になるように制限をかける。【０１４５】
図１７に示される補正ゲインLUT７２は、制御MPU６４が、検波部６３の処理に伴って予め求めておいた順応ゲインｋArおよび順応ゲインｋBrに基づいて設定するようになされている。【０１４６】
このようにして得られた信号に基づいて得られる画像おいては、明るい領域、または暗い領域の中にあるそれぞれのオブジェクトについて、白くつぶれたり黒くつぶれたりする画素が少なくなり、個々の画素の明るさの違いが適切に認識されるようにディテール成分（オブジェクト）の見えが改善された画像となる。【０１４７】
また、このように、補正ゲインLUT７２に予めゲインを記憶させておくようにすれば、例えば、LUTのデータを一部書き換えるだけで階調圧縮の度合いなどを容易に調整することができる。【０１４８】
トーンカーブ処理部６８においては、照明成分の信号Ｙ’lpの値に対応してトーンカーブとして定まるゲインの値を照明成分の信号Ｙ’lpに乗じることにより、照明成分の信号Ｙ’lpの階調圧縮が行われる。このトーンカーブは、補正ゲインLUT７２と連動して定まるものとされ、例えば、次式により得られる値がゲインの値とされる。【０１４９】
ＴｏｎｅＣｕｒｖｅ（Ｙ’lp）＝Ｙ’ＬＰ×ＤｅｔａｉｌＧａｉｎ（Ｙ’lp）【０１５０】
ここで、ＤｅｔａｉｌＧａｉｎ（Ｙ’lp）は、補正ゲインLUT７２に基づいて得られたゲインの値とされ、ＴｏｎｅＣｕｒｖｅ（Ｙ’lp）がトーンカーブ処理部６８で用いられるゲインの値とされる。【０１５１】
このようにすることで、人間の目の順応の強さを考慮したダイナミックレンジの圧縮（階調圧縮）を行うことができる。【０１５２】
また、例えば、撮像装置１０の画作りのパラメータとしてトーンカーブ処理部６８の処理を利用する場合には、あえて補正ゲインLUT７２と連動させずに、例えば装置の設計者が自由に代表値のセットを設定するようにしてもよい。この場合には、例えば、検波部６３の処理の結果に基づいて代表値を選ぶようにすればよい。ただし、この場合でも、信号が飽和した領域での破綻を防ぐために、ＴｏｎｅＣｕｒｖｅ（Ｙ’ＬＰ）／Ｙ’ＬＰが常に１以上になるように制限する必要がある。【０１５３】
このように画作りのパラメータとしてトーンカーブ処理部６８の処理を利用する場合には、例えば、照明成分については、各領域の順応レベルから独立して階調圧縮のためのトーンカーブを設定することができ、自由な画質設計が可能になる。【０１５４】
ディテール調整部６７とトーンカーブ処理部６８の処理を経た信号は、加算器６９により合成されて、信号Ｙ’outとしてRGB変調部７１に供給される。RGB変調部７１には、ＲＧＢ信号に対してノイズリダクション（ＮＲ）処理を施してＲＧＢNR信号も供給されるようになされている。【０１５５】
一般に、NR処理では、ISO感度に基づいてノイズ強度が設定されて、ノイズを除去する処理が施されることになるが、階調圧縮を行った場合、出力画像のノイズの見えは、ゲインの影響を受ける。【０１５６】
例えば、図１８に示される、ISO感度ｓで撮像された画像４３１に対してノイズリダクションの処理４３２を施して、さらに階調圧縮の処理４３３を施す場合、階調圧縮の処理に伴って、画像４３１の明るい領域Ａの画素の値にはゲインｋArが乗じられ、画像４３１の暗い領域Bの画素の値にはゲインｋBrが乗じられることになる。【０１５７】
従って、ノイズリダクションの処理４３２によりノイズを除去した画像に対して階調圧縮の処理４３３が施す際に、領域Aと領域Bのゲインにより再びノイズが強調されてしまうことがある。そこで、本実施の形態においては、ノイズリダクションの処理４３２においては、画像４３１の領域Ａの画素については、ISO感度を（ｋAr×ｓ）としてノイズ強度を設定し、画像４３１の領域Ｂの画素について、ISO感度を（ｋBr×ｓ）としてノイズ強度を設定して適切にノイズを除去するようになされている。具体的には、以下に述べるように、補正ゲインLUT７２に基づいて定まるゲインに対応するNR処理の閾値を設定することで適切にノイズを除去する。【０１５８】
ＮＲ処理では、画素ごとにεフィルタの閾値εＮＲを調整して、入力信号よりノイズ成分を取り除くようになされている。閾値εＮＲは、ノイズの標準偏差σに基づいて定まる値であり、ノイズ信号の標準偏差σは、画素の電荷ｘとＩＳＯ感度ｓが決まると、関数σ＝ｆｓ（ｘ）で求められる。なお、画素の電荷ｘに対応してその画素の輝度値が定まることになる。【０１５９】
図１９は、縦軸がノイズの標準偏差σ、横軸が画素の電子数ｘとされ、上述した関数の例を示す図である。同図においては、高感度ゲインの場合の関数と、標準ゲインの場合の関数が例として示されている。【０１６０】
また、ＮＲ処理では、閾値εＮＲの値を算出するにあたり、例えば、装置の設計者が設定した画作り要素が加味される。ＩＳＯ感度ｓでの画作り要素をｇ（ｘ，ｓ）とすると、ＮＲ処理の閾値はεＮＲ＝ｇ（ｘ，ｓ）×ｆｓ（ｘ）で計算される。【０１６１】
図２０は、縦軸が画作り要素ｇ、横軸が画素の電子数ｘとされ、上述した関数ｇ（ｘ，ｓ）の例を示す図である。この例では、高感度ゲインの場合の関数と、標準ゲインの場合の関数が例として示されている。【０１６２】
本実施の形態においては、ゲインの影響を反映させた閾値εＮＲｍｏｄを次式により求めて、その閾値εＮＲｍｏｄを用いてNR処理部７０によりNR処理が行われる。【０１６３】
εＮＲｍｏｄ＝ｇ（Ｇａｉｎ×ｘ， Ｇａｉｎ×ｓ）／Ｇａｉｎ×ｆｓ（ｘ）【０１６４】
ここで、変数Ｇａｉｎは、補正ゲインLUT７２に基づいて定まるゲインの値とされる。【０１６５】
このようにすることで、画像の中のどの領域においても、ゲインが乗じられることを考慮した最適なＮＲ処理を行うことができる。【０１６６】
NR処理部７０は、上述したようにして定まる閾値εＮＲｍｏｄを用いてRGB信号に対してNR処理を行い、出力信号として信号ＲＧＢNRを生成して、RGB変調部７１に供給する。【０１６７】
RGB変調部７１は、加算器６９から供給される信号に基づいて、NR処理部７０から供給される信号ＲＧＢNRを変調することにより、階調圧縮部３４の処理結果の信号として、次式により得られる信号ＲＧＢNRoutを出力する。【０１６８】
ＲＧＢNRout＝（Ｙout／Ｙ）×ＲＧＢNR【０１６９】
ここで、信号Ｙoutと信号Ｙは、それぞれ信号Ｙ’outと信号Ｙ’に対して、知覚均等化部６２によりなされた非線形変換処理の逆変換処理により生成されたリニアな信号である。すなわち、階調圧縮部３４に入力された画像のRGB信号は、輝度信号生成部６１により明るさを表す信号Yに変換され、画像の階調圧縮の処理は信号Yに基づいて行われる。そして、階調圧縮された画像は、再びRGB信号（信号RGBNRout）とされて階調圧縮部３４から出力されていく。【０１７０】
次に、図２１のフローチャートを参照して、撮像装置１０による撮像処理について説明する。【０１７１】
ステップＳ１１において、撮像装置１０は、準備撮像を行う。この準備撮像は、記録すべき画像の撮像である本撮像を行うのに先立って、撮像装置１０の各種のパラメータの設定などを行うために行われるものである。【０１７２】
ステップＳ１２において、撮像装置１０は、ステップＳ１１の処理により、図１のCCD３１から出力される信号を、ホワイトバランス部３２の処理を経て、デモザイク部３３によりRGB信号に変換することでRGB信号を生成して階調圧縮部３４に出力する。【０１７３】
ステップＳ１３において、図２の輝度信号生成部６１は、階調圧縮部３４に入力されたRGB信号から物体の反射率を考慮した明るさを表す信号Ｙを抽出する。なお、このとき、知覚均等化部６２において、この後行われる検波処理やフィルタ処理において、人間の視覚に合った信号処理を行うために、信号Ｙを非線形変換して知覚均等な明るさ信号Ｙ’が生成される。【０１７４】
ステップＳ１４において、検波部６３は、図２２を参照して後述する検波処理を実行する。これにより、検波部６３が信号Ｙ’に対して検波処理を行う。【０１７５】
ここで、図２２のフローチャートを参照して図２１のステップＳ１４の検波処理の詳細について説明する。【０１７６】
ステップＳ４１において、検波部６３は、入力信号（信号Ｙ’）に対してローパスフィルタ処理をする。これにより、画像の中で周波数が所定の値より高い成分が除去されることになる。【０１７７】
ステップＳ４２において、検波部６３は、平均値Ymを演算し領域を分割する。ステップＳ４３において、検波部６３は、各領域の平均値Yh、および平均値Ylを求めて再度平均値Ymを求める。【０１７８】
ステップＳ４４において、検波部６３は、値Ymが収束したか否かを判定し、値Ymが収束したと判定されるまで、ステップＳ４２乃至ステップＳ４４の処理を繰り返し実行する。【０１７９】
これらの処理は、図３を参照して上述したように行われる。【０１８０】
ステップＳ４４において、値Ymが収束したと判定された場合、処理はステップＳ４５に進む。【０１８１】
ステップＳ４５において、検波部６３は、露出のパラメータを仮決定する。【０１８２】
このようにして、検波処理が実行される。【０１８３】
図２１に戻って、ステップＳ１４の処理の後、ステップＳ１５において、制御MPU６４は、飽和レベル以上の値を持つ画素の数をカウントし、その画素の数に基づいて、撮像露出が適正か否かを判定する。【０１８４】
ステップＳ１５において、露出が適正ではないと判定された場合、処理はステップＳ１１に戻り、制御MPU６４により、例えば、露出を下げるように撮像装置１０が制御されて再度準備撮像が行われる。【０１８５】
ステップＳ１５において、露出が適正であると判定された場合、処理は、ステップＳ１６に進む。【０１８６】
ステップＳ１６において、制御MPU６４は、順応ゲインｋAr、順応ゲインｋBrなど露出に関するパラメータを、最終的に決定する。このとき、エッジ保存LPF６５に供給される閾値εもパラメータとして設定される。またこのとき、例えば、ステップＳ１４の検波処理により求められた平均値Yhに基づいて得られる露出値EVhをデフォルトの露出値として新たに設定してもよい。明るい領域に対応させた露出値により画像を撮像するようにすれば、画像に含まれるノイズが著しく強調されてしまうことを抑止することができるからである。この場合、順応ゲインｋAr、順応ゲインｋBrも新たに求めなおして露出に関するパラメータを最終的に決定する。【０１８７】
また、順応ゲインｋAr、および順応ゲインｋBrが得られたことにより、制御MPU６４は、このとき補正ゲインLUT７２の設定を行い、例えば、照明強度の値とゲインの値とを対応付ける図１７の線４１１が具体的に生成される。【０１８８】
ステップＳ１７において、撮像装置１０は本撮像を行う。これにより、CCD３１から出力される信号が、ホワイトバランス部３２の処理を経て、デモザイク部３３によりRGB信号に変換されることでRGB信号を生成され、そのRGB信号が階調圧縮部３４に出力される。【０１８９】
ステップＳ１８において、階調圧縮部３４は、図２３のフローチャートを参照して後述する階調圧縮処理を実行する。【０１９０】
ステップＳ１９において、撮像装置１０は、各種の所定の信号処理を行う。この処理は、図１のリニアマトリクス部３５、RGBγ補正部３６、BT.601行列部３７、Ｙγ補正部３８、および色差マトリクス部３９による処理に対応する。【０１９１】
ステップＳ２０において、デバイス色域圧縮部４０は、例えば、出力デバイスの色域に合わせた色域圧縮の処理を行う。上述したように、本実施の形態においては、階調圧縮処理（ステップＳ１８）が施された後で、色域圧縮処理が行われるので、色の階調の一部が失われてのっぺりした画質となってしまうことや色味のずれなどが発生することを抑止することができる。【０１９２】
そして、ステップＳ２１において、デバイス色域圧縮部４０から出力された画像データが保存ファイル４１に保存される。【０１９３】
このようにして撮像処理が行われる。【０１９４】
次に、図２３のフローチャートを参照して、図２１のステップＳ１８の階調圧縮処理の詳細について説明する。【０１９５】
ステップＳ６１において、図２４を参照して後述するエッジ保存LPF６５による処理が実行される。【０１９６】
ここで、図２４のフローチャートを参照して、図２３のステップＳ６１のエッジ保存ローパスフィルタ処理の詳細について説明する。【０１９７】
ステップＳ８１において、ダウンサンプラ３５１は、エッジ保存ＬＰＦ６５に入力された信号Ｙ’の画像の画素を間引いて、より画素数の少ない間引き画像としてバッファ３５２に保持させる。このとき、例えば、図１２に示されるように、元画像の画素数が１６分の１に間引かれた画像が生成されて、図１３に示されるような画像がバッファ３５２に保持されることになる。【０１９８】
ステップＳ８２とステップＳ８３において、バッファ３５２に保持された画像は、マルチスケールフィルタ３５３に供給されて、超大域エッジ保存LPF３６１と大域エッジ保存LPF３６２のそれぞれによる処理が施される。そして、ステップＳ８４において、それぞれのローパスフィルタの処理を経た信号が加算器３６３により合成され、バッファ３５４に保存される。【０１９９】
ステップＳ８５において、バッファ３５４に保存された画像が、エッジ保存アップサンプラ３５６に供給され、エッジ保存アップサンプラの処理が施される。このとき、例えば、図１６を参照して上述したように、単純拡大されてエッジがなまった画像と元画像との差分を抽出し、抽出された差分の信号にエッジのなまりを除去する処理を施して元画像に合成することで、拡大画像が得られる。【０２００】
このようにして、エッジ保存ローパスフィルタ処理が行われる。【０２０１】
図２３に戻って、ステップＳ６１の処理の後、ステップＳ６２において、ディテール抽出部６６は、信号Ｙ’と照明成分の信号Ｙ’lpとの差分を演算することにより、信号Ｙ’の画像のディテール成分の信号Ｙ’deを抽出し、ディテール調整部６７に供給する。【０２０２】
ステップＳ６３において、ディテール調整部６７は、補正ゲインLUT７２に基づいてゲインを設定する。このとき、図１７を参照して上述したように、照明成分の信号Ｙ’lpの値に基づいてゲインが設定されることになる。【０２０３】
ステップＳ６４において、ディテール調整部６７は、ステップＳ６３の処理により設定されたゲインを、ディテール成分の信号Ｙ’deに乗じることにより、画像のディテール成分の補正の処理を行う。【０２０４】
ステップＳ６５において、NR処理部７０は、上述したようにゲインの影響を反映させた閾値εＮＲｍｏｄを求めて、その閾値εＮＲｍｏｄに基づいてノイズパラメータを設定する。【０２０５】
ステップＳ６６において、ステップＳ６５の処理により設定されたノイズパラメータに基づくNR処理が行われる。このとき、出力信号として信号ＲＧＢNRがRGB変調部７１に供給される。【０２０６】
ステップＳ６７において、トーンカーブ処理部６８は、照明成分の信号Ｙ’lpの値に対応してトーンカーブとして定まるゲインの値を照明成分の信号Ｙ’lpに乗じることにより、照明成分の信号Ｙ’lpの階調圧縮を行なう。【０２０７】
ステップＳ６８において、加算器６９は、ステップＳ６４の処理によりディテール調整部６７から出力される信号と、ステップＳ６７の処理によりトーンカーブ処理部６８から出力される信号を合成し、信号Ｙ’outとしてRGB変調部７１に供給する。【０２０８】
ステップＳ６９において、RGB変調部７１は、ステップＳ６８の処理で加算器６９から供給される信号に基づいて、NR処理部７０から供給される信号ＲＧＢNRを変調する。  【０２０９】
そして、ステップＳ７０において、ステップＳ６９の処理の処理結果の信号であって、階調圧縮部３４の処理結果の信号として、信号ＲＧＢNRoutが出力される。【０２１０】
このようにして、階調圧縮処理が実行される。このようにすることで、入力信号のコントラストが適度に圧縮され、かつ明るい領域でも暗い領域でもディテール感に富んだ画像を得ることができる。【０２１１】
また、例えば、トーンカーブ処理部６８による処理を行わず、ディテール調整部６７の処理によりディテール成分のみを強調するようにすれば、入力画像のコントラストを保ったまま、画像の領域ごとの見えを改善するようにすることも可能である。【０２１２】
ところで、従来のデジタルスチルカメラなどの信号処理では、RAW信号（イメージャの出力信号）の高輝度部分の階調カーブを調整することで、ある程度グローバルな階調圧縮を施し、それにあわせて撮像露出が決まるようになされている。この上に、さらに別の階調圧縮の処理が入ると、撮像露出の設定値と階調カーブの関係が崩れてしまい、想定通りの画像を生成できなくなり、また、ノイズリダクションの効果が期待通りに出ずに、ノイズ感を悪化させてしまう。例えば、RAW信号の高輝度部分の階調カーブを調整することで、ある程度グローバルな階調圧縮処理を行うことが可能なデジタルスチルカメラなどの撮像装置に本発明を適用する場合、通常のカメラ信号処理と、本実施の形態の処理とを、例えば、次のように連動させると効率的である。【０２１３】
従来のカメラ信号処理では、入力信号のダイナミックレンジを表す値ＤＲＩＮに応じて、RGB信号と信号Y（輝度信号）に対してγ処理を施すことで画像の高輝度領域をニー圧縮してダイナミックレンジを圧縮する。【０２１４】
図２５は、従来の階調圧縮処理におけるRGBγ補正の例を示す図である。同図に示されるように、入力信号のダイナミックレンジを表す値ＤＲＩＮが１５０％の場合（Dレンジ１５０％）、値ＤＲＩＮが３００％の場合（Dレンジ３００％）、値ＤＲＩＮが６００％の場合（Dレンジ６００％）のそれぞれにおける被写体輝度に対応する補正後のRGB信号の出力値（RGBout）の特性が、それぞれ線５０１乃至線５０３で示されている。【０２１５】
図２６は、従来の階調圧縮処理におけるYγ補正の例を示す図である。同図に示されるように、入力信号のダイナミックレンジを表す値ＤＲＩＮが１５０％の場合（Dレンジ１５０％）、値ＤＲＩＮが３００％の場合（Dレンジ３００％）、値ＤＲＩＮが６００％の場合（Dレンジ６００％）のそれぞれにおける被写体輝度に対応する補正後の信号Yの出力値（Yout）の特性が、それぞれ線５１１乃至線５１３で示されている。【０２１６】
このような信号の補正は、例えば、カメラの内部のメモリなどに記憶されている、RGBγテーブルとYγテーブルに基づいて行われる。【０２１７】
RAW信号を現像する際に高輝度部分の階調カーブを調整することでグローバルな階調圧縮処理を行うことが可能なデジタルスチルカメラなどにおいては、図２５と図２６に示されるように入力信号が自動的に補正されてしまう。【０２１８】
図１乃至図２４を参照して上述した処理を、RAW信号を現像する際に高輝度部分の階調カーブを調整することでグローバルな階調圧縮処理を行うことが可能なデジタルスチルカメラなどに追加する場合、すなわち、例えば、図２１のステップＳ１９の処理で、図２５と図２６に示されるように入力信号が補正されるデジタルスチルカメラに本発明を適用する場合には、ダイナミックレンジを（ｋＢr／ｋＡr）×ＤＲＩＮとしてRGBγテーブルとYγテーブルを設定するようにすればよい。【０２１９】
これは、図２１のステップＳ１８の処理により入力画像のダイナミックレンジＤＲＩＮがｋＢｒ／ｋＡｒ倍だけ圧縮されているからである。【０２２０】
図２７と図２８は、ダイナミックレンジを（ｋＢｒ／ｋＡｒ）×ＤＲＩＮとして設定されたRGBγテーブルとYγテーブルの例を示す図である。【０２２１】
図２７は、横軸がRGB信号の入力値（RGBin）、縦軸がRGB信号の出力値（RGBout）とされ、入力信号のダイナミックレンジを表す値ＤＲＩＮが１５０％の場合（Dレンジ１５０％）、値ＤＲＩＮが３００％の場合（Dレンジ３００％）、値ＤＲＩＮが６００％の場合（Dレンジ６００％）のそれぞれにおけるRGB信号の入力値に対応する補正後のRGB信号の出力値の特性が、それぞれ線５２１乃至線５２３で示されている。【０２２２】
図２８は、横軸が信号Yの入力値（Yin）、縦軸が信号Yの出力値（Yout）とされ、入力信号のダイナミックレンジを表す値ＤＲＩＮが１５０％の場合（Dレンジ１５０％）、値ＤＲＩＮが３００％の場合（Dレンジ３００％）、値ＤＲＩＮが６００％の場合（Dレンジ６００％）のそれぞれにおける信号Yの入力値に対応する補正後の信号Yの出力値の特性が、それぞれ線５３１乃至線５３３で示されている。【０２２３】
このようにRGBγテーブルとYγテーブルを、順応ゲインｋＢrおよび順応ゲインｋＡrに基づいて再設定（補正）するようにすれば、例えば、従来のデジタルスチルカメラなどの構成を大幅に変更することなく、本発明を適用することが可能である。【０２２４】
このように、RGBγテーブルとYγテーブルを補正する場合、例えば、階調圧縮部３４から順応ゲインｋＢrおよび順応ゲインｋＡrを表す信号が、撮像装置１０の図示せぬバスなどを解してRGBγ補正部３６とYγ補正部３８に供給され、RGBγ補正部３６とYγ補正部３８において、それぞれRGBγテーブルとYγテーブルが補正されるようにすればよい。【０２２５】
ところで、上述したように、トーンカーブ処理部６８では、照明成分の信号Ｙ’lpの値に対応してトーンカーブとして定まるゲインの値を照明成分の信号Ｙ’lpに乗じることにより、照明成分の信号Ｙ’lpの階調圧縮が行われ、このトーンカーブは、補正ゲインLUT７２と連動して定まる。【０２２６】
いま、トーンカーブにおいて、例えば装置の設計者が自由に代表値のセットを設定するなどしないものとし、加算器６９で合成されて生成される信号の値をY’outとすると、次式が成立する。【０２２７】
Y’out＝ＴｏｎｅＣｕｒｖｅ（Ｙ’lp）＋ＤｅｔａｉｌＧａｉｎ（Ｙ’lp）×Ｙ’de
＝Ｙ’lp×ＤｅｔａｉｌＧａｉｎ（Ｙ’lp）＋ＤｅｔａｉｌＧａｉｎ（Ｙ’lp）×Ｙ’de
＝ＤｅｔａｉｌＧａｉｎ（Ｙ’lp）×（Ｙ’lp＋Ｙ’de）【０２２８】
すなわち、トーンカーブ処理部６８のトーンカーブを、補正ゲインLUT７２と完全に連動させてしまえば、加算器６９で合成されて生成される信号は、元画像である信号Ｙ’（＝Ｙ’lp＋Ｙ’de）に対して、単に補正ゲインLUT７２により定まるゲイン（ＤｅｔａｉｌＧａｉｎ（Ｙ’lp））を乗じたものとなる。【０２２９】
トーンカーブ処理部６８のトーンカーブを、補正ゲインLUT７２と完全に連動させてしまうことで、例えば、トーンカーブ処理部６８とディテール調整部６７とを共通化して、装置の構成をより簡略化することができる。【０２３０】
図２を参照して上述した構成の階調圧縮部３４による階調圧縮処理を行う場合、画像の照明成分とディテール成分に乗じられるゲインがそれぞれ異なる。すなわち、照明成分の階調圧縮により得られる信号の特性が図２９に示される線５５２で表されるものであったとすると、ディテール成分の階調圧縮により得られる信号の特性は、図２９の点線５５１で表されるものとなる。【０２３１】
図２９は、横軸が照明成分の信号Ｙ’lpの入力値Ｙ’lpinとされ、縦軸が階調圧縮されて出力される照明成分の信号Ｙ’lpの出力値Ｙ’lpoutとされる。仮に、ディテール成分の信号の入力値を横軸にとり、階調圧縮されて出力されるディテール成分の信号の出力値を縦軸にとって、図２９に重ねて示すと、点線５５１で表される特性が得られる。【０２３２】
トーンカーブ処理部６８のトーンカーブを、補正ゲインLUT７２と完全に連動させてしまうということは、本来点線５１１で表されるディテール成分の信号の出力値の特性が、図２９の線５５２で示される特性と同様のものになるということである。【０２３３】
図３０は、図１の階調圧縮部３４の詳細構成の別の例を示す図であって、階調圧縮部３４の構成を、図２の場合より簡略化する場合の例を示す図である。【０２３４】
同図において、輝度信号生成部６１乃至エッジ保存LPF６５は、それぞれ図２を参照して上述したものと同様なので詳細な説明は省略する。【０２３５】
図３０においては、図２の場合と異なり、ディテール調整部６７、トーンカーブ処理部６８、および加算器６９が設けられておらず、ゲイン処理部７３が設けられている。ゲイン処理部７３は、内部に、補正ゲインLUT７２と同様のLUTを有する構成とされ、エッジ保存LPF６５から出力される照明成分の信号Ｙ’lpに対応するゲインをLUTに基づいて特定し、NR処理部７０とRGB変調部７１に出力するようになされている。【０２３６】
図３０の例では、ゲイン処理部７３の出力信号（すなわちゲインの値）がNR処理部７０に供給され、NR処理部７０は、上述したようにして定まる閾値εＮＲｍｏｄを用いてRGB信号に対してNR処理を行い、出力信号として信号ＲＧＢNRを生成して、RGB変調部７１に供給する。【０２３７】
RGB変調部７１は、ゲイン処理部７３から供給されたゲインの値をRGB信号に乗じるとともに、NR処理部７０から供給される信号ＲＧＢNRを変調することにより、階調圧縮部３４の処理結果の信号として、次式により得られる信号ＲＧＢNRoutを出力する。図３０の例では、信号ＲＧＢNRoutは、次式により表されることになる。【０２３８】
ＲＧＢNRout＝｛ＤｅｔａｉｌＧａｉｎ（Ｙ’lp）｝1/γ×ＲＧＢNR【０２３９】
ここで、｛ ｝1/γは、ノンリニアからリニアへの変換をあらわしている。【０２４０】
次に、図３０に示されるように、階調圧縮部３４を構成した場合の階調圧縮処理の例を、図３１のフローチャートを参照して説明する。【０２４１】
ステップＳ１０１において、エッジ保存LPF６５による処理が実行される。この処理は、図２４のフローチャートを参照して上述した処理と同様なので、詳細な説明は省略する。【０２４２】
ステップＳ１０２において、ゲイン処理部７３は、内部のLUTに基づいてゲインを設定する。このとき、図１７を参照して上述したように、照明成分の信号Ｙ’lpの値に基づいてゲインが設定されることになる。【０２４３】
ステップＳ１０３において、NR処理部７０は、上述したようにゲインの影響を反映させた閾値εＮＲｍｏｄを求めて、その閾値εＮＲｍｏｄに基づいてノイズパラメータを設定する。【０２４４】
ステップＳ１０４において、ステップＳ１０３の処理により設定されたノイズパラメータに基づくNR処理が行われる。このとき、出力信号として信号ＲＧＢNRがRGB変調部７１に供給される。【０２４５】
ステップＳ１０５において、RGB変調部７１は、ステップＳ１０２の処理で設定されたゲインの値をRGB信号（すなわち照明成分の信号Ｙ’lp＋ディテール成分の信号Ｙ’de）に乗じることにより階調圧縮を行なう。【０２４６】
ステップＳ１０６において、RGB変調部７１は、ゲイン処理部７３から供給される信号に基づいて、NR処理部７０から供給される信号ＲＧＢNRを変調する。【０２４７】
そして、ステップＳ１０７において、階調圧縮部３４の処理結果の信号として、信号ＲＧＢNRoutが出力される。【０２４８】
このようにして、階調圧縮処理が実行される。このようにすることで、入力信号のコントラストが適度に圧縮され、階調全域でディテール感に富んだ画像を得ることができ、かつ、図２３の場合と比較して処理を簡略化することができる。【０２４９】
また、本実施の形態を用いれば、例えば、従来のRGBトーンカーブ処理により得られる画像の画質を改善することができる。例えば、従来のRGBトーンカーブ処理では、グローバルな階調圧縮を行うことによるディテールが喪失したり、ＲＧＢ信号の非線形処理による色ずれが生じて画質が劣化したりすることがある。【０２５０】
例えば、本実施の形態のエッジ保存LPF６５とディテール抽出部６６を用いて画像の照明成分とディテール成分を抽出する。そして、従来のＲＧＢトーンカーブ処理において予め定められているトーンカーブに基づいて、画像のディテール成分と照明成分のそれぞれに対して異なるトーンカーブ処理（階調の補正）を施すローカルな処理を行うことにより、従来のＲＧＢトーンカーブ処理の場合と比較して、より画質の高い画像を得ることができる。【０２５１】
この場合、従来のＲＧＢトーンカーブ処理において与えられた予め定められたトーンカーブのゲインの値をＵｓｅｒＴｏｎｅＣｕｒｖｅ（Ｙ’）とし、ディテール成分に対して乗じられるゲインＤｅｔａｉｌＧａｉｎ（Ｙ’lp）の値を次式により求めるようにすればよい。【０２５２】
ＤｅｔａｉｌＧａｉｎ（Ｙ’lp）＝ＵｓｅｒＴｏｎｅＣｕｒｖｅ（Ｙ’lp）／Ｙ’lp【０２５３】
そして、照明成分に対して乗じられるゲインＴｏｎｅＣｕｒｖｅ（Ｙ’lp）は、次式により求めるようにすればよい。【０２５４】
ＴｏｎｅＣｕｒｖｅ（Ｙ’lp）＝ＵｓｅｒＴｏｎｅＣｕｒｖｅ（Ｙ’lp）【０２５５】
このようにすることで、トーンカーブ処理により得られる画像の画質を、簡単に改善することができる。【０２５６】
また、図１において、デモザイク部３３によりモザイク画像を、RGB信号に変換（デモザイク）して階調圧縮部３４に出力すると説明したが、モザイク画像の信号であるベイヤーＲＡＷ信号をそのまま階調圧縮部３４に出力するようにしてもよい。【０２５７】
この場合、階調圧縮部３４の輝度信号生成部６１が、信号Ｙを生成するときに、ベイヤーＲＡＷ信号を補間したＲＧＢ信号を用いるようにし、NR処理部７０が、ベイヤーＲＡＷ信号に対するＮＲ処理を施すようにする。そして、RGB変調部７１がＲＧＢ信号を変調する変わりに、ベイヤーＲＡＷ信号を変調するようにすればよい。【０２５８】
ベイヤーＲＡＷ信号をそのまま階調圧縮部３４に出力する場合、撮像装置１０の構成は、図３２に示されるようになる。図３２において、図１に対応する各部には同一の符号が付されている。図３２の例では、階調圧縮部３４が、ホワイトバランス部３２と、デモザイク部３３との間に配置されている。その他の部分は、図１の場合と同様である。【０２５９】
また、撮像装置１０を図３３に示されるように構成してもよい。図３３において、図１に対応する各部には同一の符号が付されている。図３３の例では、階調圧縮部３４が、リニアマトリクス部３５と、RGBγ補正部３６との間に配置されている。その他の部分は、図１の場合と同様である。【０２６０】
さらに、撮像装置１０をγ補正処理後に階調圧縮をするように構成することも可能である。この場合、階調圧縮処理を施す前に、理想的なsRGBγ補正処理を行って、その後、階調圧縮処理を行うようにする。そして階調圧縮処理の後、γの画作りやニー圧縮の成分をRGBΔγ補正部により補正するように構成する。【０２６１】
図３４は、γ補正処理後に階調圧縮をするようにした場合の撮像装置１０の構成例を示す図である。図３４において、図１に対応する各部には同一の符号が付されている。図３４の例では、図１の場合と異なり、RGBγ補正部３６が設けられておらず、理想的なsRGBγ補正処理を行うsRGBγ補正４２と、γの画作りやニー圧縮の成分を補正するRGBΔγ補正部４３が設けられている。そして、図３４においては、階調圧縮部３４が、sRGBγ補正４２と、RGBΔγ補正部４３との間に配置されている。その他の部分は、図１の場合と同様である。【０２６２】
図３５は、図１１の超大域エッジ保存LPF３６１または大域エッジ保存LPF３６２の詳細な構成例を示すブロック図である。上述したように、超大域エッジ保存LPF３６１または大域エッジ保存LPF３６２には、バッファ３５２から出力される信号が供給され、それぞれのエッジ保存LPFの処理を経た信号が加算器３６３に出力される。これらのフィルタは、画像のエッジ部分に影響を与えずに、エッジ以外の部分を平滑化できるように構成されている。【０２６３】
なお、図２のブロック図に示されるエッジ保存ＬＰＦ６５は、便宜上、図１１に示されるように、ダウンサンプラ３５１、エッジ保存アップサンプラ３５６などを含んで構成される機能ブロックを、エッジ保存ＬＰＦと称している。しかし、通常の線形ローパスフィルタ（ＬＰＦ）に対して、フィルタ窓内のある入力値がフィルタ処理の出力へ与える影響の割合を、その入力値と、ある基準レベル（例えば、フィルタ窓中央の値）との差に応じて調整する機能を追加したフィルタをエッジ保存LPFとも称する。すなわち、図１１において、超大域エッジ保存LPF３６１または大域エッジ保存LPF３６２として構成されている個々のフィルタのそれぞれを、エッジ保存LPFと称することもある。【０２６４】
図３５に示されるように、図１１の超大域エッジ保存LPF３６１または大域エッジ保存LPF３６２（ここでは、単にエッジ保存LPFという）は、加算係数決定処理部６０１、係数正規化処理部６０２、乗算器６０３、乗算器６０４、積算部６０５、および積算終了判定部６０６により構成されている。【０２６５】
バッファ３５２に保持された画像の中のフィルタ窓中央に位置する画素は、加算係数決定処理部６０１の基準レベル算出部６１１に供給される。基準レベル算出部６１１は、供給された画素の値に基づいて基準レベルを算出する。例えば、図９を参照して上述したように、フィルタ窓中央に位置する画素の値がそのまま基準レベルとされる。【０２６６】
基準レベル算出部６１１から出力される基準レベルは、減算器６１２に供給される。減算器６１２は、このエッジ保存LPFに入力されるそれぞれの画素の値と、基準レベルとの差分を演算し、演算結果を加算係数出力部６１３に供給する。【０２６７】
加算係数出力部６１３は、減算器６１２からの出力値と、図２の制御ＭＰＵ６４から供給される閾値εとに基づいて、加算係数を出力する。加算係数は、エッジ保存LPFによるフィルタ処理に用いられる信号方向の重みであり、レンジフィルタの係数と言い換えることもできる。このとき、例えば、図３６に示されるように、加算係数が出力されることになる。【０２６８】
図３６は、横軸を減算器６１２からの出力値、縦軸を加算係数出力部６１３が出力する加算係数の値としたグラフである。同図に示されるように、加算係数出力部６１３は、減算器６１２からの出力値（すなわち、それぞれの画素の値と、基準レベルとの差分値）が、＋ε乃至−εの範囲内にある場合、加算係数の値「１」を出力するようになされている。また、加算係数出力部６１３は、減算器６１２からの出力値が、＋ε乃至−εの範囲内にない場合、加算係数の値「０」を出力するようになされている。【０２６９】
乗算器６０３は、加算係数出力部６１３から出力された加算係数と、このエッジ保存LPFに入力されるそれぞれの画素の値とを乗算する。乗算器６０３がこのような加算係数を乗じることによって、基準レベルとの差分値が、＋ε乃至−εの範囲内にない画素に関する値が乗算器６０４に供給されないようにすることができる。【０２７０】
乗算器６０４は、乗算器６０３から出力された値と、フィルタ係数を乗算する。フィルタ係数は、エッジ保存LPFによるフィルタ処理に用いられる空間方向の重みであり、ドメインフィルタの係数と言い換えることもできる。ここで、乗算されるフィルタ係数は、当該画素とフィルタ窓中央に位置する画素との距離に対応して定まる値とされる。【０２７１】
図３７は、フィルタ係数を説明する図である。同図は、横軸が当該画素とフィルタ窓中央に位置する画素との距離を表しており、縦軸がフィルタ係数の値を表している。同図に示されるように、処理対象の画素（当該画素）とフィルタ窓中央に位置する画素との距離が、＋Ｗ乃至−Ｗの範囲内にある場合、所定のフィルタ係数の値が供給されるようになされている。また、処理対象の画素（当該画素）とフィルタ窓中央に位置する画素との距離が、＋Ｗ乃至−Ｗの範囲内にない場合、フィルタ係数の値「０」が供給されるようになされている。また、当該画素とフィルタ窓中央に位置する画素との距離が、＋Ｗ乃至−Ｗの範囲内でのフィルタ係数の積分値が「１」となるようになされている。ここで、Ｗは、図９を参照して上述した画素位置の幅Ｗに対応する値であり、このエッジ保存LPFに予め設定されている。【０２７２】
乗算器６０３がこのようなフィルタ係数を乗じ、かつ後述するように正規化が行なわれることにより、フィルタ窓内の画素の値の平均値を、積算により得ることができるのである。【０２７３】
乗算器６０４から出力される値は、積算部６０５に供給されて積算される。フィルタ窓内に位置する全ての画素についての乗算器６０４から出力される値が積算部６０５に供給されて積算された場合、積算終了判定部６０６は、積算結果を除算器６２４に出力する。【０２７４】
一方、乗算器６２１は、加算係数出力部６１３から出力された加算係数と、上述したフィルタ係数を乗算する。乗算器６２１から出力される値は、積算部６２２に供給されて積算される。フィルタ窓内に位置する全ての画素についての乗算器６２１から出力される値が積算部６２２に供給されて積算された場合、積算終了判定部６２３は、積算結果を正規化係数として除算器６２４に出力する。これにより、フィルタ窓内の画素のうち、基準レベルとの差分値が、＋ε乃至−εの範囲内であった画素の輝度値の平均値を求めることができるのである。【０２７５】
そして除算器６２４の出力が、このエッジ保存LPFの処理を経て得られた画素の値とされる。これにより、エッジ保存LPFの処理を経た画素の値は、フィルタ窓内の画素のうち、基準レベルとの差分値が、＋ε乃至−εの範囲内であった画素の輝度値の平均値に置き換えられることになる。【０２７６】
すなわち、エッジ保存LPFでは、処理対象画素の周辺画素について、処理対象画素に対応する基準画素の値（基準レベル）と閾値εとに基づいて、基準レベルとの差分値が、＋ε乃至−εの範囲内であったか否かが判定される。そして、基準レベルとの差分値が、＋ε乃至−εの範囲内であった周辺画素のみが有効な画素として、上述した平均値の演算に用いられることで、平滑化が行なわれるのである。【０２７７】
なお、図３５は、図１１の超大域エッジ保存LPF３６１または大域エッジ保存LPF３６２の詳細な構成例であると説明したが、図１１のマルチスケールフィルタを、図３５の構成に置き換えることも可能である。すなわち、図２においてエッジ保存LPF６５として示される機能ブロックは、必ずしも超大域エッジ保存LPF３６１と大域エッジ保存LPF３６２とをそれぞれ有する構成でなくても構わない。【０２７８】
図３８のフローチャートを参照して、図３５のエッジ保存LPFによるフィルタ処理について説明する。この処理は、例えば、図２４のステップＳ８２またはステップＳ８３の処理として実行される。【０２７９】
ステップＳ１３１において、基準レベル算出部６１１は、供給された画素の値に基づいて基準レベルを算出する。例えば、図９を参照して上述したように、フィルタ窓中央に位置する画素の値がそのまま基準レベルとされる。【０２８０】
ステップＳ１３２において、積算器６０５と積算器６２２がリセットされる。【０２８１】
ステップＳ１３３において、フィルタ窓内の未処理の画素が選択されて減算器６１２に供給される。【０２８２】
ステップＳ１３４において、加算係数出力部６１３は、減算器６１２からの出力値と、図２の制御ＭＰＵ６４から供給される閾値εとに基づいて、加算係数を出力する。このとき、例えば、図３６に示されるように、減算器６１２からの出力値が、＋ε乃至−εの範囲内にある場合、加算係数の値「１」が出力される。また、減算器６１２からの出力値が、＋ε乃至−εの範囲内にない場合、加算係数の値「０」が出力される。【０２８３】
そして、乗算器６０３が、加算係数出力部６１３から出力された加算係数と、このエッジ保存LPFに入力されるそれぞれの画素の値とを乗算する。【０２８４】
ステップＳ１３５において、乗算器６０４は、乗算器６０３から出力された値と、フィルタ係数を乗算する。また、乗算器６２１は、加算係数出力部６１３から出力された加算係数と、フィルタ係数を乗算する。このとき、例えば、図３７に示されるように、ステップＳ１３３の処理で選択された画素（当該画素）とフィルタ窓中央に位置する画素との距離が、＋Ｗ乃至−Ｗの範囲内にある場合、フィルタ係数の値「１」が供給される。また、当該画素とフィルタ窓中央に位置する画素との距離が、＋Ｗ乃至−Ｗの範囲内にない場合、フィルタ係数の値「０」が供給される。【０２８５】
ステップＳ１３６において、積算部６０５は、ステップＳ１３５の処理結果の値を積算する（足しこむ）。【０２８６】
ステップＳ１３７において、積算終了判定部６０６および積算終了判定部６２３は、フィルタ窓内に位置する全ての画素についての値が積算されたか否かを判定し、まだ積算されていないと判定された場合、処理は、ステップＳ１３３に戻る。【０２８７】
ステップＳ１３７において、フィルタ窓内に位置する全ての画素についての値が積算されたと判定された場合、積算終了判定部６０６および積算終了判定部６２３は、積算結果を除算器６２４に出力する。【０２８８】
ステップＳ１３８において、除算器６２４による除算が行なわれ、正規化された値が出力される。【０２８９】
このようにして、エッジ保存LPFの処理が実行される。【０２９０】
図３９は、エッジ保存LPFの別の構成例を示すブロック図である。図３９において、図３５に対応する機能ブロックには、同一の符号が付されており、詳細な説明は省略する。【０２９１】
図３９の例では、加算係数出力部６１３の出力が、乗算器６０３に供給されるとともに、減算器６０７に供給されるようになされている。そして、減算器６０７が、加算係数出力部６１３が出力する加算係数と値「１.０」との差分を算出するようになされている。減算器６０７の出力は、乗算器６０８に供給され、乗算器６０８は、減算器６０７から出力される差分の値と、基準レベル算出部６１１から出力される基準レベルを乗算し、その結果得られた値を加算器６０９に供給するようになされている。加算器６０９は、乗算器６０３から供給される値と、乗算器６０８から供給される値とを加算して乗算器６０４に供給するようになされている。【０２９２】
図３９のように構成されるエッジ保存LPFにおいては、図３５における係数正規化処理部６０２を設けないようにする（省略する）ことが可能である。【０２９３】
図４０は、エッジ保存LPFのさらに別の構成例を示すブロック図であり、図３９のように構成されるエッジ保存LPFを、さらに簡素化して構成する場合の例を示すものである。図４０において、図３５または図３９に対応する機能ブロックには、同一の符号が付されており、詳細な説明は省略する。【０２９４】
図４０の例では、減算器６１２の出力が、加算係数出力部６１３の出力とともに、乗算器６０３に供給されるようになされている。そして、加算器６０９は、乗算器６０３から供給される値と、基準レベル算出部６１１から出力される基準レベルとを加算して乗算器６０４に供給するようになされている。【０２９５】
ここでは、エッジ保存LPFを非線形デジタルフィルタであるεフィルタにより構成する例について説明したが、エッジ保存LPFをより調整自由度の高い非線形デジタルフィルタであるバイラテラルフィルタにより構成することも可能である。バイラテラルフィルタにより構成するエッジ保存LPFの場合も、図３５、図３９、および図４０を参照して上述したブロック図と同様の構成となる。ただし、バイラテラルフィルタの場合、加算係数出力部６１３が出力する加算係数および乗算器６０４または乗算器６２１に供給されるフィルタ係数がεフィルタの場合と異なる。【０２９６】
図４１は、エッジ保存LPFをバイラテラルフィルタにより構成する場合の加算係数について説明する図である。同図は、図３６と同様に、横軸を減算器６１２からの出力値、縦軸を加算係数出力部６１３が出力する加算係数の値としたグラフである。同図に示されるように、加算係数出力部６１３は、減算器６１２からの出力値（すなわち、それぞれの画素の値と、基準レベルとの差分値）が、「０」である場合、加算係数の値「１」を出力するようになされている。そして、減算器６１２からの出力値が、＋ε乃至−εの範囲内にない場合、ほぼ「０」に近い値の加算係数を出力するようになされている。【０２９７】
図４１の例においては、図３６の場合と異なり、減算器６１２からの出力値の変化に伴う加算係数の値の特性が連続値となるようになされている。例えば、同図の右上に示される式により、減算器６１２からの出力値の変化に伴う加算係数の値の特性が示される。なお、この式における変数ｙが加算係数の値を表し、変数ｘが減算器６１２からの出力値を表している。【０２９８】
図４２は、エッジ保存LPFをバイラテラルフィルタにより構成する場合のフィルタ係数について説明する図である。同図は、図３７と同様に、横軸が当該画素とフィルタ窓中央に位置する画素との距離を表しており、縦軸がフィルタ係数の値を表している。同図に示されるように、当該画素とフィルタ窓中央に位置する画素との距離が、「０」である場合、最も高いフィルタ係数の値が供給されるようになされている。そして、当該画素とフィルタ窓中央に位置する画素との距離が、＋Ｗ乃至−Ｗの範囲内にない場合、ほぼ「０」に近い値のフィルタ係数が供給されるようになされている。また、当該画素とフィルタ窓中央に位置する画素との距離が、＋Ｗ乃至−Ｗの範囲内でのフィルタ係数の積分値が「１」となるようになされている。【０２９９】
図４２の例においては、図３７の場合と異なり、当該画素とフィルタ窓中央に位置する画素との距離の変化に伴うフィルタ係数の値の特性が連続値となるようになされている。例えば、同図の右上に示される式により、当該画素とフィルタ窓中央に位置する画素との距離の変化に伴うフィルタ係数の値の特性が示される。なお、この式における変数ｙがフィルタ係数の値を表し、変数ｘが当該画素とフィルタ窓中央に位置する画素との距離を表し、Ｃは所定の定数とされる。【０３００】
上述した図３５、図３９または図４０において、エッジ保存LPFの加算係数出力部６１３に供給される閾値εが図２の制御ＭＰＵ６４により適切に演算されることにより、エッジ保存LPF６５のフィルタ処理を経て画像の照明成分とディテール成分が適切に抽出されるのである。【０３０１】
次に、適切な閾値εがエッジ保存LPFに供給されることによる効果についてさらに説明する。いま、図４３に示される画像が、図２のエッジ保存LPF６５に入力されるものとする。同図の上側の画像は、板材を使った床の画像であり、図中左側の領域が暗い領域、図中右側の領域が明るい領域とされている。【０３０２】
同図の下側に示されるグラフは、この画像の中央の横一列の画素の輝度値の変化を示すグラフであり、横軸が画素位置、縦軸が輝度値とされる。図４３のグラフに示されるように、図中左側の暗い領域の画素は、全体的に輝度値が低く、グラフの振幅の小さいものとなっている。すなわち、図中左側の暗い領域の画素のそれぞれは、輝度値の変化が小さいのである。また、図中右側の明るい領域の画素は、全体的に輝度値が高く、グラフの振幅の大きいものとなっている。すなわち、図中右側の明るい領域の画素のそれぞれは、輝度値の変化が大きいのである。また、同図上側の画像の暗い領域と明るい領域の境界が図中横方向中央付近にあるので、同図下側のグラフの図中横方向中央付近において、画素の輝度値が急峻に大きく変化している。【０３０３】
図１２乃至図１５を参照して上述したように、図２のエッジ保存LPF６５の処理を経た画像は、画像の中の細かな模様は除去されて、暗い部分と明るい部分により構成された画像（元画像の照明成分）となることが望ましい。【０３０４】
図４４乃至図４６は、図４３に示される画像が図２のエッジ保存LPF６５の処理を経て出力された状態の画像の例を示す図である。【０３０５】
図４４は、仮に、適正値より小さい値の閾値εがエッジ保存LPF６５に供給（設定）されてしまった場合の例を示す図である。なお、図４４も図４３と同様に、同図の下側に示されるグラフより、この画像の中央の横一列の画素の輝度値の変化が示されている。【０３０６】
図４４の上側の画像に示されるように、図中左側の暗い領域では、画像の中の細かな模様は除去されているが、図中右側の明るい領域では、画像の中の細かな模様が除去されていない。すなわち、図４４の下側のグラフに示されるように、図中左側の暗い領域では、グラフの振幅が充分小さいものとなっているが、図中右側の明るい領域では、グラフの振幅があまり小さくなっていない。つまり、図４４の場合、明るい領域における輝度値の平滑化が不充分なのである。【０３０７】
図４５は、適正な閾値εがエッジ保存LPF６５に供給された場合の例を示す図である。なお、図４５も図４３と同様に、同図の下側に示されるグラフより、この画像の中央の横一列の画素の輝度値の変化が示されている。【０３０８】
図４５の上側の画像に示されるように、図中左側の暗い領域でも、図中右側の明るい領域でも、画像の中の細かな模様は除去されており、暗い領域と明るい領域の境界が明確に識別できるように表示されている。すなわち、図４５の下側のグラフに示されるように、図中左側の暗い領域でも、図中右側の明るい領域でも、グラフの振幅が充分小さいものとなっており、図中横方向中央付近において、画素の輝度値が急峻に大きく変化している。つまり、図４５の場合、明るい領域においても、暗い領域においても輝度値の平滑化が充分になされており、かつ照明成分の境界部分のエッジが適切に保存されているのである。【０３０９】
図４６は、仮に、適正値より大きい値の閾値εがエッジ保存LPF６５に供給されてしまった場合の例を示す図である。なお、図４６も図４３と同様に、同図の下側に示されるグラフより、この画像の中央の横一列の画素の輝度値の変化が示されている。【０３１０】
図４６の上側の画像に示されるように、図中左側の暗い領域でも、図中右側の明るい領域でも、画像の中の細かな模様は除去されているが、暗い領域と明るい領域の境界が不明確に表示されている（ボケている）。すなわち、図４６の下側のグラフに示されるように、図中左側の暗い領域でも、図中右側の明るい領域でも、グラフの振幅が充分小さいものとなっているが、図中横方向中央付近における画素の輝度値の変化が緩やかになっている。つまり、図４６の場合、明るい領域においても、暗い領域においても輝度値の平滑化が充分になされているが、照明成分の境界部分のエッジが適切に保存されていないのである。【０３１１】
図３５と図３６を参照して上述したように、エッジ保存LPFの処理を経た画素の値は、フィルタ窓の画素のうち、基準レベルとの差分値が、＋ε乃至−εの範囲内であった画素の輝度値の平均値に置き換えられる。従って、仮に閾値εが「０」であれば、エッジ保存LPFの処理を経ても画素の値は変わらないことになる。このため、図４４に示されるように、適正値より小さい閾値εが供給されると、特に、元画像において画素の輝度値の変化が大きかった部分（図４４の明るい領域）においての平滑化が不充分となってしまうのである。【０３１２】
また、仮に閾値εが無限大であれば、エッジ保存LPFの処理を経た画素の値は全て一定の値に置き換えられてしまうことになる。このため、図４６に示されるように、適正値より大きい閾値εが供給されると、元画像における明るい領域と暗い領域の境界がボケてしまうのである。【０３１３】
図４７乃至図４９は、図４４乃至図４６に示される画像が、それぞれ図２のエッジ保存LPF６５から出力された場合、ディテール抽出部６６から出力される画像の例を示す図である。【０３１４】
図４７は、図４４に示される画像が、図２のエッジ保存LPF６５から出力された場合、ディテール抽出部６６から出力される画像の例である。図４７も図４３と同様に、同図の下側に示されるグラフより、この画像の中央の横一列の画素の輝度値の変化が示されている。同図の上側の画像と下側のグラフに示されるように、画像の中の細かな模様などが明確に表示されておらず、グラフの振幅が小さいものとなっている。【０３１５】
図４８は、図４５に示される画像が、図２のエッジ保存LPF６５から出力された場合、ディテール抽出部６６から出力される画像の例である。図４８も図４３と同様に、同図の下側に示されるグラフより、この画像の中央の横一列の画素の輝度値の変化が示されている。同図の上側の画像と下側のグラフに示されるように、画像の中の細かな模様などが明確に表示されおり、グラフの振幅も比較的大きいものとなっている。【０３１６】
図４９は、図４６に示される画像が、図２のエッジ保存LPF６５から出力された場合、ディテール抽出部６６から出力される画像の例である。図４９も図４３と同様に、同図の下側に示されるグラフより、この画像の中央の横一列の画素の輝度値の変化が示されている。同図の上側の画像と下側のグラフに示されるように、画像の中の細かな模様などが明確に表示されおり、グラフの振幅も比較的大きいものとなっているが、元画像における明るい領域と暗い領域の境界において、本来除去されるべき輝度値の変化が生じている。【０３１７】
このように、エッジ保存ＬＰＦ６５に、適正な閾値εを設定しなければ、信号Ｙ’から高周波成分を排除して、領域ごとの照明成分を精度よく抜き出すことができず、その結果、ディテール成分を精度よく抽出することもできないのである。【０３１８】
適正な閾値εは、入力される画像によって異なる値となる。図５０は、エッジ保存LPF６５に入力される画像の例を示す図である。なお、図５０も図４３と同様に、同図の下側に示されるグラフより、この画像の中央の横一列の画素の輝度値の変化が示されている。同図の下側に示されるグラフに記された図中垂直方向の矢印の長さにより、同図上側の画像に対応して定まる適正な閾値εが示されている。【０３１９】
図５１は、エッジ保存LPF６５に入力される画像の別の例を示す図である。なお、図５１も図４３と同様に、同図の下側に示されるグラフより、この画像の中央の横一列の画素の輝度値の変化が示されている。同図の下側に示されるグラフに記された図中垂直方向の矢印の長さにより、同図上側の画像に対応して定まる適正な閾値εが示されている。図５１の画像は、図５０の画像と比較して明るい領域と暗い領域との輝度値の差が小さい画像とされる。従って、同図の下側に示されるグラフにおいても、図中中央付近での輝度値の変化が図５０の場合と比較して小さくなっており、適正な閾値εもより小さい値とされている。【０３２０】
図５２は、エッジ保存LPF６５に入力される画像の別の例を示す図である。なお、図５２も図４３と同様に、同図の下側に示されるグラフより、この画像の中央の横一列の画素の輝度値の変化が示されている。同図の下側に示されるグラフに記された図中垂直方向の矢印の長さにより、同図上側の画像に対応して定まる適正な閾値εが示されている。図５２の画像は、図５０の画像と比較して明るい領域と暗い領域との輝度値の差が大きい画像とされる。従って、同図の下側に示されるグラフにおいても、図中中央付近での輝度値の変化が図５０の場合と比較して大きくなっており、適正な閾値εもより大きい値とされている。【０３２１】
図５３は、エッジ保存LPF６５に入力される画像のさらに別の例を示す図である。なお、図５３も図４３と同様に、同図の下側に示されるグラフより、この画像の中央の横一列の画素の輝度値の変化が示されている。同図の下側に示されるグラフに記された図中垂直方向の矢印の長さにより、同図上側の画像に対応して定まる適正な閾値εが示されている。図５３の画像は、図５０の画像と比較して全体として明るい画像であるが、明るい領域と暗い領域との輝度値の差が図５０の場合と同じ画像とされる。従って、同図の下側に示されるグラフは、図５０のグラフより全体として図中上側に位置しているが、図中中央付近での輝度値の変化を含めて図５０の場合と同じ波形のものとされている。この場合、適正な閾値εも、図５０の場合と同じ値とされる。【０３２２】
このように、入力される画像に応じて適正な閾値εを供給するべく、検波部６３の処理により、明るい領域の照明の平均強度ＬＡと暗い領域の照明の平均強度ＬＢとが求められ、それらの平均強度に基づいて制御ＭＰＵ６４が閾値εを求めるのである。図５０乃至図５３の図中下側のグラフから分かるように、適正な閾値εは、画像の中の明るい領域と暗い領域との輝度値の差より小さい値であり、かつそれぞれの領域における輝度値の振幅より大きい値となることが望ましい。そのため、制御ＭＰＵ６４は、上述したように、平均強度ＬＡと平均強度ＬＢとの差分絶対値に固定値Ｒを乗じることで閾値εを演算するのである。【０３２３】
ところで、上記において、図２のディテール調整部６７は、補正ゲインLUT７２に基づいて得られるゲインであって、図１７に示されるゲインを、ディテール成分の信号Ｙ’deに乗じることにより、画像のディテール成分の補正の処理を行うと説明した。しかし、図１７に示されるLUTにより特定されたゲインを用いなくとも、画像の明るい領域の順応ゲインと暗い領域の順応ゲインを求めることは可能である。すなわち、図６により特定される順応レベルを用いずにディテール成分に乗じられるゲインが設定されるようにしてもよい。【０３２４】
図５４乃至図５６を参照して、ディテール成分の信号にゲインを乗じることにより、画像のディテール成分の補正する効果について説明する。【０３２５】
図５４は、図２の知覚均等化部６２から出力される画像の例を示す図である。同図の上側の画像は、板材を使った床の画像であり、図中左側の領域が暗い領域、図中右側の領域が明るい領域とされている。同図の下側に示されるグラフは、この画像の中央の横一列の画素の輝度値の変化を示すグラフであり、横軸が画素位置、縦軸が輝度値とされる。図５４のグラフに示されるように、図中左側の暗い領域の画素は、全体的に輝度値が低く、グラフの振幅の小さいものとなっている。【０３２６】
図５５と図５６は、図５４に示される画像が図２のエッジ保存LPF６５、およびディテール抽出部６６の処理を経て、ディテール調整部６７から出力された場合の画像の例をそれぞれ示している。同図の下側に示されるグラフのそれぞれは、これらの画像の中央の横一列の画素の輝度値の変化を示すグラフであり、横軸が画素位置、縦軸が輝度値とされる。【０３２７】
図５５は、仮に、ディテール調整部６７においてゲインが乗じられなかった場合の例を示している。この例では、ディテール成分にゲインが乗じられないので、同図下側のグラフに示されるように、図中左側の領域の画素は、グラフの振幅の小さいものとなっている。このため、同図上側の画像に示されるように、図中左側の領域において画像の中の細かな模様などが明確に表示されていない。【０３２８】
図５６は、仮に、ディテール調整部６７において完全順応ゲインが乗じられた場合の例を示している。この例では、ディテール成分に完全順応ゲインが乗じられたので、同図下側のグラフに示されるように、図中左側の領域の画素についても、図中右側の領域の画素と同様に、グラフの振幅が大きいものとなっている。このため、同図上側の画像に示されるように、図中左側の領域においても、図中右側の領域と同様に、画像の中の細かな模様などが明確に表示されている。【０３２９】
上述したように、画像の明るい領域と暗い領域にそれぞれ完全順応した画像を表示した場合、その画像のコントラストは、明るい領域と暗い領域とで全く差がないものとなり、不自然に感じられる。このため、図６により特定される順応レベルを用いてゲインを補正するようにしたのである。図１７を参照して上述したLUTでは、照明成分の信号Ｙ’lpの値（照明強度）が０のときにゲインｋＢrとなるように、すなわち、ゲインの上限がｋＢrとなるように設定されている。また、照明強度が上限値Ｙ’supとなる場合にゲインｋＡrとなるように、すなわち、ゲインの下限がｋＡrとなるように設定されている。しかし、ディテール成分の見えをより明確にするためには、ディテール成分に完全順応ゲインを乗じることが望ましい。【０３３０】
ディテール成分の見えをより明確にするようなゲインが乗じられるようにする場合、ゲインの上限が完全順応ゲインｋＢとなり、ゲインの下限が完全順応ゲインｋＡとなるように、図２の補正ゲインＬＵＴ７２を設定するようにしてもよい。【０３３１】
なお、完全順応ゲインｋＡと完全順応ゲインｋＢのそれぞれは、上述したように、画像の明るい領域に完全順応した露出値EVhと、画像の暗い領域に完全順応した露出値EVlとに基づく演算により求められる。そして、露出値EVhと露出値EVlのそれぞれは、上述したように、検波部６３の処理によって得られた画像の中の明るい領域の画素の平均値Ｙh、および画像の中の暗い領域の画素の平均値Ｙｌに基づく演算により求められる。すなわち、画像の中の明るい領域の画素の平均値Ｙh、および画像の中の暗い領域の画素の平均値Ｙｌが特定できれば、制御ＭＰＵ６４の演算により、完全順応ゲインｋＡと完全順応ゲインｋＢとを導出することができるのである。【０３３２】
図５７は、ディテール成分の見えをより明確にするようなゲインが乗じられるようにする場合の補正ゲインＬＵＴ７２の例を示す図である。この例では、線６３１により照明強度に対応するゲインの値が規定されている。すなわち、照明成分の信号Ｙ’lpの値を照明強度として用い、照明強度がＹ’lのときにＤｅｔａｉｌＧａｉｎ（Ｙ’l）＝ｋＢとなり、照明強度がＹ’ｈとなる場合にＤｅｔａｉｌＧａｉｎ（Ｙ’ｈ）＝ｋＡとなるようになされている。【０３３３】
線６３１は、例えば、次式により特定される。【０３３４】
ＤｅｔａｉｌＧａｉｎ（Ｙ’lp）＝ｋＢ×（Ｙ’lp／Ｙ’l）
または、
ＤｅｔａｉｌＧａｉｎ（Ｙ’lp）＝ｋＡ×（Ｙ’lp／Ｙ’ｈ）【０３３５】
ただし、ｋＡ≦ＤｅｔａｉｌＧａｉｎ（Ｙ’lp）≦ｋＢ【０３３６】
なお、Ｙ’l、Ｙ’ｈは、それぞれ図３を参照して上述した、画像の中の明るい領域の画素の平均値を値Ｙh、画像の中の暗い領域の画素の平均値を値Ｙｌがノンリニア変換された値である。【０３３７】
補正ゲインＬＵＴ７２は、処理対象の画像により異なるものとなる。すなわち、画像の中の明るい領域の画素の平均値を値Ｙh、および画像の中の暗い領域の画素の平均値を値Ｙｌが変化すると、線６３１の形状も異なるものとなる。【０３３８】
図５８は、ディテール成分の見えをより明確にするようなゲインが乗じられるようにする場合の補正ゲインＬＵＴ７２の別の例を示す図である。同図は、図５８の場合と比較して、処理対象の画像の明暗の差が小さい場合の例である。【０３３９】
図５８の例では、横軸におけるＹ’lとＹ’ｈとの差分が図５７の場合より小さくなっており、縦軸におけるｋＡとｋＢとの差分も図５７の場合より小さくなっている。【０３４０】
図５９は、ディテール成分の見えをより明確にするようなゲインが乗じられるようにする場合の補正ゲインＬＵＴ７２のさらに別の例を示す図である。同図は、図５８の場合と比較して、処理対象の画像の明暗の差が大きい場合の例である。【０３４１】
図５９の例では、横軸におけるＹ’lとＹ’ｈとの差分が図５７の場合より大きくなっており、縦軸におけるｋＡとｋＢとの差分も図５７の場合より大きくなっている。【０３４２】
図６０は、ディテール成分の見えをより明確にするようなゲインが乗じられるようにする場合の補正ゲインＬＵＴ７２のさらに別の例を示す図である。同図は、図５８の場合と比較して、処理対象の画像が全体として暗い場合の例である。【０３４３】
図６０の例では、横軸におけるＹ’lとＹ’ｈとの差分は、図５７の場合と同様であるが、横軸における位置がそれぞれ図中左側に動いている。また、図６０の場合、縦軸におけるｋＡとｋＢとの差分は、図５７の場合と同様であるが、縦軸における位置が図中上側に動いている。【０３４４】
図５７乃至図６０の例では、ゲインの上限が完全順応ゲインｋＢとし、ゲインの下限が完全順応ゲインｋＡとするように設定したが、ゲインの上限とゲインの下限は、それぞれ完全順応ゲインとは異なる値とされてもよい。【０３４５】
このように、実際の補正ゲインＬＵＴ７２は、ディテール成分の見えをどの程度明確にするかによって異なるものとなり、さらに、処理対象の画像に応じて異なるものとなるのである。【０３４６】
次に、図６１のフローチャートを参照して、補正ゲインＬＵＴ設定処理について説明する。この処理は、例えば、図２１のステップＳ１６の処理とともに実行される。【０３４７】
ステップＳ１５１において、制御ＭＰＵ６４は、ディテール成分の信号に乗じるゲインの特性を決定する。このとき、例えば、図２１のステップＳ１４の検波処理に伴って得られた画像の中の明るい領域の画素の平均値を値Ｙh、および画像の中の暗い領域の画素の平均値を値Ｙｌがゲインの特性の決定に用いられることになる。そして、例えば、図５７乃至図６０の線６３１に示されるような特性が決定される。【０３４８】
ステップＳ１５２において、制御ＭＰＵ６４は、ステップＳ１５１の処理により決定されたゲインの特性を、ＬＵＴに変換する。【０３４９】
ステップＳ１５３において、制御ＭＰＵ６４は、ステップＳ１５２の処理で得られたＬＵＴを補正ゲインＬＵＴ７２に設定する。【０３５０】
このようにして、補正ゲインＬＵＴ７２が設定される。【０３５１】
なお、以上においては、ディテール成分の信号に乗じるゲインは、補正ゲインＬＵＴ７２に基づいて設定されると説明したが、例えば、補正ゲインＬＵＴ７２を用いることなく、都度演算するなどしてゲインが設定されるようにしてもよい。従って、図６１のステップＳ１５３の処理は、実行されないようにしてもよい。【０３５２】
勿論、図６を参照して上述したように順応レベルを用いてディテール成分に乗じられるゲインが設定される場合の方が自然な画像を得ることができる。図６２は、順応レベルを用いてディテール成分に乗じられるゲインが設定される場合、図５４に示される画像が図２のエッジ保存LPF６５、およびディテール抽出部６６の処理を経て、ディテール調整部６７から出力された場合の画像の例を示している。同図の下側に示されるグラフは、この画像の中央の横一列の画素の輝度値の変化を示すグラフであり、横軸が画素位置、縦軸が輝度値とされる。【０３５３】
同図の例では、図中右側の領域と比較して、図中左側の領域において画像の中の細かな模様などがやや不明確ではあるものの、全体として画像のディテール感が得られた画像といえる。このように、順応レベルを用いてゲインの補正を行えば、例えば、図５５に示されるように、図中左側の領域において画像の中の細かな模様などが明確に表示されなくなることを抑止できる。また、順応レベルを用いてゲインの補正を行えば、図５６に示されるように画像のコントラストが、明るい領域と暗い領域とで全く差がないものとなることを抑止できる。【０３５４】
例えば、暗い領域において画像の中の細かな模様などが明確に表示されなくなることを抑止できるように、また、画像のコントラストが、明るい領域と暗い領域とで全く差がないものとなることを抑止できるように、順応レベルは、図６に示されるように設定されている。すなわち、図６の線２０１により示される順応レベルは、画像のダイナミックレンジが大きいほど、値が１に近づき、強い順応がかかるように設定されているのである。【０３５５】
例えば、図６の線２０１は、ダイナミックレンジが「２」を下回る場合は、順応レベルが「０」となるように設定されている。ダイナミックレンジが充分に小さい場合、すなわち画像の明るい領域の照明の平均強度と画像の暗い領域の照明の平均強度との差が充分に小さい場合、例えば、画像の暗い領域と明るい領域における画像の中の細かな模様などは、ゲインを乗じなくても、ほぼ同様に表示されるからである。【０３５６】
また、例えば、図６の線２０１は、ダイナミックレンジが「４」を超える場合は、順応レベルが一定となるように設定されている。画像の明るい領域の照明の平均強度と画像の暗い領域の照明の平均強度との差が充分に大きい場合、例えば、ダイナミックレンジに比例して強いゲインを乗じると、画像のコントラストが、明るい領域と暗い領域とで全く差がないものとなるからである。【０３５７】
そして、図６の線２０１は、ダイナミックレンジが「２」乃至「４」である場合は、順応レベルがダイナミックレンジに比例して順応レベルが高くなるように設定されている。【０３５８】
このように設定された順応レベルを用いて、制御ＭＰＵ６４は、画像の明るい領域の完全順応ゲインｋAおよび画像の暗い領域の完全順応ゲインｋBを補正して補正後の画像の明るい領域の順応ゲインｋArおよび画像の暗い領域の順応ゲインｋBrを求めるのである。明るい領域の順応ゲインｋArおよび画像の暗い領域の順応ゲインｋBrは、後述するように、補正ゲインＬＵＴ７２において、ゲインの上限値または下限値として用いられることになる。【０３５９】
なお、図６の線２０１は、順応レベルの一例である。上述のような特性が得られるものであれば、線２０１の形状は任意に決めてよい。【０３６０】
補正後の順応ゲインｋArおよび補正後の順応ゲインｋBrに基づいて得られる補正ゲインLUT７２が図１７に示されるものとなる。上述したように、図１７の線４１１は、照明成分の信号Ｙ’lpの値を照明強度として用い、照明強度が０のときにＤｅｔａｉｌＧａｉｎ（０）＝ｋＢrとなり、照明強度が上限値Ｙ’supとなる場合にＤｅｔａｉｌＧａｉｎ（Ｙ’sup）＝ｋＡrとなるように、ゲインの境界条件を、単調減少の条件を満たす滑らかな曲線で補間して得られる特性を有するようになされている。【０３６１】
線４１１は、例えば、次式により特定される。【０３６２】
ＤｅｔａｉｌＧａｉｎ（Ｙ’lp）＝（ｋＢｒ−ｋＡｒ）／（ｋＢ−ｋＡ）×
（Ｇａｉｎ（Ｙ’lp）−ｋＡ）＋ｋＡｒ【０３６３】
ただし、ｋＡｒ≦ＤｅｔａｉｌＧａｉｎ（Ｙ’lp）≦ｋＢｒ
なお、Ｇａｉｎ（Ｙ’lp）は、順応ゲイン使用前のゲインを表すものとする。【０３６４】
次に、図６３のフローチャートを参照して、補正ゲインＬＵＴ設定処理の別の例について説明する。この処理は、例えば、図２１のステップＳ１６の処理とともに実行される。図６３のフローチャートは、順応レベルを用いてディテール成分に乗じられるゲインが設定される場合の補正ゲインＬＵＴ設定処理を説明するものである。【０３６５】
ステップＳ１７１において、制御ＭＰＵ６４は、画像のダイナミックレンジに対応する順応レベルを決定する。このとき、例えば、図２１のステップＳ１４の検波処理に伴って得られた画像の中の明るい領域の画素の平均値を値Ｙh、および画像の中の暗い領域の画素の平均値を値Ｙｌが順応レベルの決定に用いられることになる。そして、例えば、図６を参照して上述したように、順応レベルが決定される。【０３６６】
ステップＳ１７２において、制御ＭＰＵ６４は、ディテール成分の信号に乗じるゲインの上限値ｋＢｒと下限値ｋＡｒとを演算により求める。
ステップＳ１７３において、制御ＭＰＵ６４は、ディテール成分の信号に乗じるゲインの特性を決定する。このとき、例えば、図２１のステップＳ１４の検波処理に伴って得られた画像の中の明るい領域の画素の平均値を値Ｙh、および画像の中の暗い領域の画素の平均値を値Ｙｌがゲインの特性の決定に用いられることになる。そして、例えば、図１７の線４１１に示されるような特性が決定される。【０３６７】
ステップＳ１７４において、制御ＭＰＵ６４は、ステップＳ１７３の処理により決定されたゲインの特性を、ＬＵＴに変換する。【０３６８】
ステップＳ１７５において、制御ＭＰＵ６４は、ステップＳ１７４の処理で得られたＬＵＴを補正ゲインＬＵＴ７２に設定する。【０３６９】
このようにして、補正ゲインＬＵＴ７２が設定される。【０３７０】
なお、例えば、補正ゲインＬＵＴ７２を用いることなく、都度演算するなどしてゲインが設定されるようにしてもよい。従って、図６３のステップＳ１７５の処理は、実行されないようにしてもよい。【０３７１】
以上においては、本発明を適用した実施の形態について撮像装置として構成される場合の例について説明したが、撮像装置とは別の機器として構成されるようにすることも可能である。例えば、予め従来のデジタルスチルカメラなどの撮像装置により画像が撮像され、その画像を入力画像とする画像処理装置により、上述した処理が施されるようにしてもよい。あるいはまた、本発明を、汎用のコンピュータなどにより実行されるＲＡＷ現像アプリケーションソフトウェアなどのプログラムに適用することも可能である。【０３７２】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図６４に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。【０３７３】
図６４において、CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。【０３７４】
CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。【０３７５】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、CRT(Cathode Ray Tube)、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。【０３７６】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。【０３７７】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。【０３７８】
なお、この記録媒体は、図６４に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。【０３７９】
なお、本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図１】
2009072537.tif 000003
【図２】
2009072537.tif 000004
【図３】
2009072537.tif 000005
【図４】
2009072537.tif 000006
【図５】
2009072537.tif 000007
【図６】
2009072537.tif 000008
【図７】
2009072537.tif 000009
【図８】
2009072537.tif 000010
【図９】
2009072537.tif 000011
【図１０】
2009072537.tif 000012
【図１１】
2009072537.tif 000013
【図１２】
2009072537.tif 000014
【図１３】
2009072537.tif 000015
【図１４】
2009072537.tif 000016
【図１５】
2009072537.tif 000017
【図１６】
2009072537.tif 000018
【図１７】
2009072537.tif 000019
【図１８】
2009072537.tif 000020
【図１９】
2009072537.tif 000021
【図２０】
2009072537.tif 000022
【図２１】
2009072537.tif 000023
【図２２】
2009072537.tif 000024
【図２３】
2009072537.tif 000025
【図２４】
2009072537.tif 000026
【図２５】
2009072537.tif 000027
【図２６】
2009072537.tif 000028
【図２７】
2009072537.tif 000029
【図２８】
2009072537.tif 000030
【図２９】
2009072537.tif 000031
【図３０】
2009072537.tif 000032
【図３１】
2009072537.tif 000033
【図３２】
2009072537.tif 000034
【図３３】
2009072537.tif 000035
【図３４】
2009072537.tif 000036
【図３５】
2009072537.tif 000037
【図３６】
2009072537.tif 000038
【図３７】
2009072537.tif 000039
【図３８】
2009072537.tif 000040
【図３９】
2009072537.tif 000041
【図４０】
2009072537.tif 000042
【図４１】
2009072537.tif 000043
【図４２】
2009072537.tif 000044
【図４３】
2009072537.tif 000045
【図４４】
2009072537.tif 000046
【図４５】
2009072537.tif 000047
【図４６】
2009072537.tif 000048
【図４７】
2009072537.tif 000049
【図４８】
2009072537.tif 000050
【図４９】
2009072537.tif 000051
【図５０】
2009072537.tif 000052
【図５１】
2009072537.tif 000053
【図５２】
2009072537.tif 000054
【図５３】
2009072537.tif 000055
【図５４】
2009072537.tif 000056
【図５５】
2009072537.tif 000057
【図５６】
2009072537.tif 000058
【図５７】
2009072537.tif 000059
【図５８】
2009072537.tif 000060
【図５９】
2009072537.tif 000061
【図６０】
2009072537.tif 000062
【図６１】
2009072537.tif 000063
【図６２】
2009072537.tif 000064
【図６３】
2009072537.tif 000065
【図６４】
2009072537.tif 000066
【国際調査報告】
2009072537.tif 000067
2009072537.tif 000068
2009072537.tif 000069
2009072537.tif 000070