(57)【要約】【課題】デジタルカメラ等で得られたデジタル画像のコントラストを自動的に調整して、より鮮明な画像を高速に得る。【解決手段】画像入力手段１０で得られた入力画像１に対して、コントラスト改善手段１２が人間の視覚モデルを利用したコントラスト改善を行う。即ち、対象画素Ｐｉｊの画素値ＶＰｉｊとその周辺視野領域にある画素値の加重平均画素値ＶＡＰｉｊの間の相対的な比較によりＰｉｊのコントラスト改善量ＶＲＰｉｊを算出する。その値を実際の画素値に変換する際の基準値を制御することでコントラスト強調画像３を生成する。そして、入力画像の輝度をもとに強調画像３と入力画像１の結合係数を適応的に変化させる。【選択図】　図１
2004038842.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像データを入力する画像入力手段と、
前記画像入力手段で得られた入力画像に前処理を行う前処理手段と、
前記前処理手段で得られた前処理後の画像のコントラスト改善処理を行うコントラスト改善処理手段と、
前記コントラスト改善処理手段で得られた強調画像と入力画像の合成を行う画像合成手段と、
前記画像合成手段で得られた合成後の画像に後処理を行う後処理手段と、
前記後処理手段で得られた後処理後の画像を出力する画像出力手段より構成されることを特徴とする画像処理装置。
【請求項２】
コントラスト改善手段が、対象画素の周囲よりコントラスト改善時に使用する画素を決定する比較画素決定手段と、
前記比較画素決定手段で得られた画素の濃度をもとに対象画素のコントラスト改善量を求める強調量導出手段と、
前記強調量導出手段で得られたコントラスト改善量を実際の画素値に変換する際の基準値を求める変換基準値算出手段と、
前記強調量導出手段で得られたコントラスト改善量を、前記変換基準値算出手段で得られた変換基準値をもとに実際の画素値に変換する画素値変換手段より構成されることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
強調量導出手段が、比較画素決定手段で選択された周囲画素濃度より局所的な特徴を表す比較対象濃度を求める周囲平均手段と、
前記周囲平均手段で得られた重み付き平均濃度と対象画素濃度よりコントラスト改善量を求める改善量算出手段より構成されることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
強調量導出手段が、比較画素決定手段で選択された周囲画素濃度より局所的な特徴を表す比較対象濃度を求める周囲平均手段と、
対象画素のエッジ情報を検出するエッジ情報検出手段と、
前記エッジ情報検出手段で得られたエッジ情報より得られる補正係数を算出する補正係数算出手段と、
前記周囲平均手段で得られた重み付き平均濃度を前記補正係数算出手段で得られた補正係数で補正する比較量補正手段と、
前記比較量補正手段で得られた補正後の比較濃度と対象画素濃度よりコントラスト改善量を求める改善量算出手段より構成されることを特徴とする請求項２に記載の画像処理装置。
【請求項５】
強調量導出手段が、比較画素決定手段で選択された周囲画素濃度より局所的な特徴を表す比較対象濃度を求める周囲平均手段と、
前記周囲平均手段で得られた重み付き平均濃度と対象画素濃度よりコントラスト改善量を求める改善量算出手段と、
比較画素決定手段で選択された周囲画素と対象画素の濃度差分より得られる強調成分を算出する強調成分算出手段と、
前記改善量算出手段で得られたコントラスト改善量に前記強調成分算出手段で得られた強調成分を加算する改善量補正手段より構成されることを特徴とする請求項２に記載の画像処理装置。
【請求項６】
コントラスト改善手段が、対象画素の周囲よりコントラスト改善時に使用する画素の垂直方向位置を決定する比較画素決定手段と、
前記比較画素決定手段で得られた画素を対象として、各水平画素位置ごとに垂直方向における画素濃度の重み付き加算を行う垂直方向加算手段と、
前記垂直方向加算手段で得られた各水平画素位置における値より、対象画素の周囲画素として設定された領域内に含まれる水平画素位置の値を用いて、対象画素に対する比較濃度を算出する簡易周囲平均手段と、
対象画素の周囲画素の濃度より得られる補正係数を算出する補正係数算出手段と、
前記簡易周囲平均手段で得られた比較濃度を前記補正係数算出手段で得られた補正係数で補正する比較量補正手段と、
前記比較量補正手段で得られた周囲の特徴を表す比較濃度と対象画素濃度よりコントラスト改善量を求める改善量算出手段と、
前記改善量算出手段で得られたコントラスト改善量を実際の画素値に変換する際の基準値を求める変換基準値算出手段と、
前記強調量導出手段で得られたコントラスト改善量を、前記変換基準値算出手段で得られた変換基準値をもとに実際の画素値に変換する画素値変換手段より構成されることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
コントラスト改善手段が、対象画素の周囲よりコントラスト改善時に使用する画素の垂直方向位置と水平方向位置を決定する比較画素決定手段と、
前記比較画素位置決定手段で得られた画素を対象として、選択された水平画素位置において、その垂直方向における画素濃度の重み付き加算を行う間引き垂直方向加算手段と、
前記比較画素決定手段で選択された水平画素位置に対する前記間引き垂直方向加算手段で得られた加算値より、対象画素の周囲画素として設定された領域内に含まれる水平画素位置の値を用いて、対象画素に対する比較濃度を算出する簡易周囲平均手段と、
比較画素決定手段で選択された周囲画素の濃度より得られる補正係数を算出する補正係数算出手段と、
前記簡易周囲平均手段で得られた比較濃度を前記補正係数算出手段で得られた補正係数で補正する比較量補正手段と、
前記比較量補正手段で得られた周囲の特徴を表す比較濃度と対象画素濃度よりコントラスト改善量を求める改善量算出手段と、
前記改善量算出手段で得られた補正後のコントラスト改善量を実際の画素値に変換する際の基準値を求める変換基準値算出手段と、
前記強調量導出手段で得られたコントラスト改善量を、前記変換基準値算出手段で得られた変換基準値をもとに実際の画素値に変換する画素値変換手段より構成されることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前処理手段が、入力画像の扱うべき色空間を特定する色空間特定手段と、
前記色空間特定手段で、特定された色空間に対して入力画像に予め処理されたガンマ変換の逆変換を行う線形化手段より構成されることを特徴とする請求項１に記載の画像処理装置。
【請求項９】
後処理手段が、色空間特定手段で特定された色空間の持つガンマ関数による変換を行うガンマ変換手段より構成されることを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
後処理手段が、入力画像の輝度値及び色差成分を算出する入力輝度・色算出手段と、
前記入力輝度・色算出手段で得られた入力画像の輝度成分と合成画像の輝度成分を比較し、合成画像の輝度成分を調整する輝度調整手段と、
前記輝度調整手段で得られた合成画像の輝度成分をもとに前記入力輝度・色算出手段で得られた入力画像の色成分を修正する色成分修正手段と、
前記輝度調整手段で得られた合成画像の輝度成分と、前記色成分修正手段で得られた修正後の色成分を使って合成画像に再変換する画像再生成手段と、
前記画像再生成手段で得られた合成画像に対して、前処理手段内の色空間特定手段で特定されたガンマ関数による変換を行うガンマ変換手段より構成されることを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
デジタル画像データを扱う画像処理方法において、
入力されたデジタル画像データに所定の前処理を行い、
得られた前処理後の画像のコントラスト改善処理を行い、
コントラスト改善処理で得られた強調画像と入力画像の合成を行い、
画像合成処理で得られた合成後の画像に後処理を行うことを特徴とする画像処理方法。
【請求項１２】
コントラスト改善処理として、
対象画素の周囲よりコントラスト改善時に使用する画素を決定し、
決定された画素の濃度をもとに対象画素のコントラスト改善量を求め、
強調量導出処理で得られたコントラスト改善量を実際の画素値に変換する際の基準値を求め、
その基準値をもとに強調量導出処理で得られたコントラスト改善量を実際の画素値に変換することを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】
強調量導出処理として、
対象画素の周囲画素濃度より局所的な特徴を表す比較対象濃度を求め、
得られた比較対象濃度と対象画素濃度よりコントラスト改善量を求めることを特徴とする請求項１２に記載の画像処理方法。
【請求項１４】
強調量導出処理として、
対象画素の周囲画素濃度より局所的な特徴を表す比較対象濃度を求め、
対象画素の周囲画素として選択された画素濃度よりエッジ情報を求め、
得られたエッジ情報より得られる補正係数を算出し、
得られた比較対象濃度としての重み付き平均濃度を補正係数で補正し、
補正された比較対象濃度と対象画素濃度よりコントラスト改善量を求め、
コントラスト改善量を実際の画素値に変換する際の基準値をもとに、
得られたコントラスト改善量を、変換基準値をもとに実際の画素値に変換することを特徴とする請求項１２に記載の画像処理方法。
【請求項１５】
強調量導出処理として、
対象画素の周囲画素濃度より局所的な特徴を表す比較対象濃度を求め、
得られた比較対象濃度と対象画素濃度よりコントラスト改善量を求め、
対象画素の周囲画素と対象画素の濃度差分より得られる強調成分を算出し、
得られたコントラスト改善量に強調成分を加算して補正を行い、
補正後のコントラスト改善量を実際の画素値に変換する際の基準値を求め、
その基準値をもとに強調量導出処理で得られたコントラスト改善量を実際の画素値に変換することを特徴とする請求項１２に記載の画像処理方法。
【請求項１６】
コントラスト改善処理として、
対象画素の周囲よりコントラスト改善時に使用する画素の垂直方向位置を決定し、
決定された画素を対象として、各水平画素位置ごとに垂直方向における画素濃度の重み付き加算値を求め、
得られた各水平画素位置における重み付き加算値より、対象画素の周囲画素として設定された領域内に含まれる水平画素位置の値を用いて、対象画素に対する比較濃度を算出し、
対象画素の周囲画素の濃度より得られる補正係数を算出し、
得られた比較濃度を対象画素の周囲画素の濃度より得られた補正係数で補正し、
補正された比較対象濃度と対象画素濃度よりコントラスト改善量を求め、
得られたコントラスト改善量を実際の画素値に変換する際の基準値をもとに、その基準値をもとに得られたコントラスト改善量を実際の画素値に変換することを特徴とする請求項１１に記載の画像処理方法。
【請求項１７】
コントラスト改善処理として、
対象画素の周囲よりコントラスト改善時に使用する画素の垂直方向位置と水平方向位置を決定し、
選択された水平画素位置において、その垂直方向における選択された垂直画素位置の濃度の重み付き加算を行い、
選択された水平画素位置に対して得られた垂直方向での加算値より、対象画素の周囲画素として設定された領域内に含まれる加算値を用いて、対象画素に対する比較濃度を算出し、
選択された周囲画素の濃度より得られた補正係数をもとに、対象画素に対する比較濃度を補正する処理を行い、
補正された比較対象濃度と対象画素濃度よりコントラスト改善量を求め、
得られたコントラスト改善量を実際の画素値に変換する際の基準値をもとに、その基準値をもとに、得られたコントラスト改善量を実際の画素値に変換することを特徴とする請求項１１に記載の画像処理装置。
【請求項１８】
前処理として、
入力画像の扱うべき色空間を特定し、
特定された色空間に対して入力画像に予め処理されたガンマ変換の逆変換をことを特徴とする請求項１１に記載の画像処理方法。
【請求項１９】
後処理として、
前処理としての色空間特定処理で特定されたガンマ関数による変換を行うことを特徴とする請求項１１に記載の画像処理方法。
【請求項２０】
後処理として、
入力画像の輝度値及び色差成分を算出し、
得られた入力画像の輝度成分と合成画像の輝度成分を比較し合成画像の輝度成分を調整し、
得られた合成画像の輝度成分をもとに入力画像の色成分を修正し、
得られた合成画像の輝度成分と、修正後の色成分を使って合成画像に再変換を行い、
得られた合成画像に対して、前処理手段内の色空間特定手段で特定されたガンマ関数による変換を行うことを特徴とする請求項１１に記載の画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ等で得られたデジタル画像のコントラストを自動的に調整して、より鮮明な画像を高速に得ることができる画像処理装置及び画像処理方法に関するものである。
【０００２】
【従来の技術】
デジタルカメラで撮影されたカラー画像は、撮像素子であるＣＣＤ素子で得られたアナログ値におけるノイズ割合を表すＳＮレベルやアナログ値をデジタル値に変換する際の変換精度等の影響で、実際に撮影された自然画像の持つ画素濃度のダイナミックレンジよりも狭いレンジに制限されるため、影がかかった細部での情報が損失する現象が発生する傾向がある。特に画像内に明るい領域と暗い領域が混在するようなサンプルを撮影しようとした場合にその傾向は大きい。その改善として、デジタル画像の輝度等の範囲をより輝度の高い画像部分からより輝度の低い画像部分までに拡げるように、コントラスト強調を行う手法がまず考えられる。そのコントラスト強調の従来手法としては、原画像を構成する全画素の輝度値の分布状態を示すヒストグラムを作成し、ヒストグラムの累積曲線を輝度変換曲線として原画像中の画素の輝度値を新な輝度値に変換し、画像のコントラストを強調するヒストグラム均等化手法がある。この手法は、原画像全領域の画素の輝度を同一の輝度変換曲線で新たな輝度に変換するために、部分的にはかえってコントラストが低下してしまう部分が生じることがある。このため、画像全体にわたってコントラスト強調を行いたい場合には、その領域に合ったコントラスト強調処理を行う必要がある。
【０００３】
この手法のさらなる改善として、画像を複数の矩形領域に分割し、各々の領域毎に上記ヒストグラム均等手法を適用する局所的ヒストグラム均等化手法も多く提案されており（例えば、特開２０００−２８５２３０公報）、その構成図は図２２のようになる。図２２はコントラスト改善部を表したものであり、画像を矩形に分割する画像データ分割部２２１、矩形ごとにヒストグラムを作成するヒストグラム作成部２２２、および矩形ごとにコントラストの伸張を行うコントラスト伸張部２２３よりなる。しかし、この手法を用いた場合、コントラストが強調されすぎる矩形領域が発生したり、隣接する矩形領域間の境界でコントラストが不連続になる可能性があるなどの問題点が指摘されている。
【０００４】
一方、ヒストグラムを利用しないで、このような問題の解決策として、フィールドごとにデジタルカメラのシャッタ時間や絞りを変えて、明るい部分と暗い部分を別々に撮像し、得られた各々の情報を１枚の画像に合成して中間調濃度を実現することで、実際に撮影された自然画像の持つ画素濃度度のダイナミックレンジに近づける手法も提案されている。その例として、特開平６−１４１２２９公報に参照されている例があり、その装置の構成図は図２３のようになる。図２３において、２３０は被写体の光電効果を行う撮像素子、２３１は画像信号を記録するメモリ、２３２は信号レベルを常数倍する乗算手段、２３３，２３８は画像信号のレベルに応じて重みを付加するレベル重み手段、２３４は信号を加算する加算手段、２３５は画像信号の速度を変換する速度変換手段、２３６は画像信号のレベルを圧縮するレベル圧縮手段、２３７は各ブロックのタイミングを制御するタイミング制御手段である。この発明装置は、撮像素子における電荷蓄積期間の異なる２枚以上の画像の信号レベルに応じて重み付け合成を行い、得られた合成画像出力を標準テレビ信号の速度に変換するとともに、テレビ信号での基準レベルに圧縮するテレビ撮像装置に関するものであるため、速度変換手段、レベル圧縮手段等を有する。そのため、デジタルカメラに当てはめる場合、速度変換手段やレベル圧縮手段は必要な構成要素ではない。しかし、この発明のように複数の電荷蓄積期間で得られた画像合成による手法の場合、合成された画像におけるコントラストの不連続性は生じにくいが、最低２枚の画像を続けて取るため、原理的に同じ画像を取ることができない。そのため、これらの画像を合成した場合、シャッタ速度にも影響されるが合成画像の細部がぼけたりずれたりする画像が作成される可能性がある。また、明るい部分を撮影する際の濃度レンジと暗い部分を撮影する際の濃度レンジで画像内の持つ濃度レンジ全域をカバーできていない場合、その２つの中間濃度レンジで不連続性が生じる危険もある。
【０００５】
ところで、このような影のかかった領域での細部及び色を人間が観察した場合、人間の視覚は上記のような問題を発生させることなく、画像の持つ広い濃度のダイナミクスや色を知覚することができる。このような人間の視覚を中心とした中央視野／周辺視野レティネックスの概念は、Ｅｄｗｉｎ　Ｌａｎｄにより「Ａｎ　Ａｌｔｅｒｎａｔｉｖｅ　Ｔｅｃｈｎｉｑｕｅ　ｆｏｒ　ｔｈｅ　Ｃｏｍｐｕｔａｔｉｏｎ　ｏｆ　ｔｈｅ　Ｄｅｓｉｇｎａｔｏｒ　ｉｎ　ｔｈｅ　Ｒｅｔｉｎｅｘ　Ｔｈｅｏｒｙｏｆ　Ｃｏｌｏｒ　Ｖｉｓｉｏｎ」、Ｎａｔｉｏｎａｌ　Ａｃａｄｅｍｙ　ｏｆ　Ｓｃｉｅｎｃｅ、第８４巻、ｐｐ．３０７８からｐｐ．３０８０（１９８６）の中で紹介されている。この中では、人間の視覚のレティネックスの概念では、中央視野が２から４基礎単位分の直径を持ち、周辺視野が中央視野の約２００から２５０倍の直径を有する逆２乗関数で記述されている。そして、中央視野、周辺視野各々の視野内での信号強度の空間的平均が知覚される強度に関係するとして定義されている。これらの原理に従い、上記のような暗部における色と明度表現を改善する手法が近年提案されている。この例は国際公開番号ＷＯ９７／４５８０９（日本では特表２０００−５１１３１５公表番号）で記述されており、図２４はその構成を示す。なお、ここではグレースケール画像を例に説明するが、カラー画像に対しても拡張することができる。画像の（ｉ，ｊ）における画素値Ｉ（ｉ，ｊ）はプロセッサ２４１及びフィルタ２４２によって調整されフィルタリング処理が行われる。
【０００６】
画素ごとに、プロセッサ２４１は、次式（数１）のような調整画素値Ｉ’（ｉ，ｊ）を算出する。ここで、Ｆ（ｘ，ｙ）は周辺視野を表す周辺視野関数であり、「＊」は畳み込み演算処理を示す。
【０００７】
そして、Ｆ（ｘ，ｙ）が式（数２）の条件を満足するように正規化係数Ｋが決定されており、これにより式（数１）の第２項は、周辺視野における画素値の平均値に相当する。つまり、式（数１）は大きな領域における画素値平均値に対する各画素の画素値の比率を対数変換したものに相当する。周辺視野関数Ｆ（ｉ，ｊ）は、人間の視覚モデルとの対応から対象画素に近づくほど寄与する割合が高いように設計されており、式（数３）のようなガウス関数が適用される。ここでｃは各画素値Ｉ（ｉ，ｊ）の調整画素値Ｉ’（ｉ，ｊ）をコントロールするための定数である。
【０００８】
【数１】
2004038842.tif 000003
【０００９】
【数２】
2004038842.tif 000004
【００１０】
【数３】
2004038842.tif 000005
【００１１】
以上のように、この従来の発明では周辺視野での平均画素値に対する対象画素値を調整された画素値Ｉ’（ｉ，ｊ）として算出し、この値に対して、ディスプレイ２４３によって使用されるレティネックス出力Ｒ（ｉ，ｊ）を生成するためのフィルタ処理が２４２により行われる。２４２はＩ’（ｉ，ｊ）を対数領域からディスプレイ２４３で扱われるＲ（ｉ，ｊ）の画素値領域へ変換するものであり、処理の簡便化のために全ての画素に対して同一のオフセット及び利得変換関数を適用する処理が用いられる。
【００１２】
しかしながら、この手法の場合、周辺視野関数を制御するｃによる影響を大きく受ける。例えば、このｃが大きな値になると対象画素に寄与する周辺視野が大きくなることで、大きな影における色の補償のみが可能となるが、一方、このｃが小さい値の場合、対象画素近傍のみが影響を与えることとなり、小さな影領域での改善のみが見受けられる。このように扱う画像内の画素値のダイナミックスレンジに応じて適切なｃを考慮する必要があり画像依存性の問題が挙げられる。その改善として、複数の周辺視野領域を設ける手法も同じ特許内に提案されているが、いくつ周辺視野領域を用意するかが明確になっていない。また、改善精度を向上されるために大きな周辺領域から小さい周辺領域を多く用意することにより、処理時間が膨大になってしまうという問題点がある。
【００１３】
また、複数の定数ｃにより設定される最大の周辺視野内で画素値変動が非常に小さい場合、調整された画素値Ｉ’（ｉ，ｊ）は複数領域を用意してもＩ（ｉ，ｊ）に関係なく１．０近傍になる。このような場合、画素値変動の小さい対象画素でのＩ’（ｉ，ｊ）はその入力画像全体におけるＩ’（ｉ，ｊ）の平均近傍に位置する場合が多く、２４２におけるオフセット及び利得変換関数如何に問わず、実際の画素値における中央付近に向かいやすい傾向がある。特にハイライト輝度をもつ一様に広い画像領域では、調整後の輝度が下がる方向に調整されやすく視覚的に悪化する問題がある。一方、夜景等の輝度の低く広い領域では過剰に強調されることで撮影時に発生した色ノイズや圧縮ノイズが表れることがあった。
【００１４】
この課題を解決するための手法として、先行出願より入力画像と強調画像の適応的な合成画像を導出することでこれらを改善できることを示した。その一方で、画像の平坦化、特に輪郭部分における濃度差の減少が発生した。
【００１５】
【発明が解決しようとする課題】
このように、従来の人間の視覚モデルをもとにしたコントラスト改善技術では、その他の手法よりもより鮮明なコントラスト変換画像を得ることができたが、人間の周辺視野を規定するための定数や最終的に扱うための実際の画素値に変換する際のフィルタ処理の設計に経験的知識を多く含むという問題点を抱えている。その対応策として、複数の周辺視野を用意した多重解像度モデルも提案されているが、処理時間が膨大となってしまう。
【００１６】
また、画像合成時により生じた合成画像の平坦化、特に輪郭部分のさらなる強調が必要になる。
【００１７】
本発明はかかる点に鑑みてなされたものであり、撮像された明暗部を持つ画像のみを用いてより鮮明かつ高速に撮像画像のコントラストを改善することができる画像処理装置及び画像処理方法を提供することを目的とする。
【００１８】
【課題を解決するための手段】
上記課題を解決するために本発明の第１の画像処理装置及び画像処理方法は、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求める。得られたコントラスト改善量を実際の画素値に変換する際に、対象画素の輝度に応じて制御することで、入力画像と強調画像の合成画像に生じる画像の平坦化や輪郭部分における濃度差の減少が改善することができるようにしたものである。
【００１９】
上記課題を解決するために本発明の第２の画像処理装置及び画像処理方法は、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求める際に、対象画素の輝度に応じて周辺領域の平均画素値である比較濃度を制御するものである。こうすることで、より対象画素の濃度とその周囲の比較濃度の差を強調することができ、入力画像と強調画像の合成画像に生じる画像の平坦化や輪郭部分における濃度差の減少が改善することができるようにしたものである。
【００２０】
上記課題を解決するために本発明の第３の画像処理装置及び画像処理方法は、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求める。得られたコントラスト改善量を実際の画素値に変換する際に、対象画素の濃度と周囲画素の濃度の差分に応じて上記コントラスト改善量を補正することで、入力画像と強調画像の合成画像に生じる画像の平坦化や輪郭部分における濃度差の減少が改善することができるようにしたものである。
【００２１】
上記課題を解決するために本発明の第４の画像処理装置及び画像処理方法は、対象画素の周辺領域における平均画素値を求める際に、まずコントラスト改善時に使用する画素の垂直方向位置を決定し、決定された画素を対象として、各水平画素位置ごとに垂直方向における画素濃度の加算値を求める。そして、得られた各水平画素位置における加算値より、対象画素の周囲画素として設定された領域内に含まれる水平画素位置の値を用いて、対象画素に対する比較濃度を算出することで処理の簡略化を実現するものである。
【００２２】
上記課題を解決するために本発明の第５の画像処理装置及び画像処理方法は、対象画素の周辺領域における平均画素値を求める際に、まずコントラスト改善時に使用する画素の垂直・水平方向位置を決定する。そして、決定された水平画素位置に対して、選択された垂直方向の画素濃度の加算値を求める。そして、対象画素の周囲画素として設定された領域内に選択された水平画素位置が含まれる場合には、その含まれる水平画素位置での加算値を用いる。対象画素の周囲画素として設定された領域内に選択された水平画素位置が含まれない場合にはその隣接する選択された水平画素位置における加算値を用いる。この手順をもとに、対象画素に対する比較濃度を高速に算出することで処理の簡略化を実現するものである。
【００２３】
上記課題を解決するために本発明の第６の画像処理装置及び画像処理方法は、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求める。そして本発明の第１の画像処理装置及び方法と同様に得られたコントラスト改善量を実際の画素値に変換し、入力画像との合成処理を行う。その後、入力画像における対象画素の輝度・色成分と合成画像の輝度・色成分と比較して、輝度の低下をしないようにするとともに、入力画像の色成分に比例した値を用いることで、合成画像における色ずれを抑えることで最終的に出力される画像の高画質化を実現したものである。
【００２４】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。図１は本発明の第１から第６の実施の形態である画像処理装置の全体構成図を、図２は本発明の第１から第３の実施の形態である画像処置装置におけるコントラスト改善手段の構成を、図４は第１から第６の実施の形態である画像処置装置における画像合成手段の構成図を表す。
【００２５】
図５は本発明の第１の実施の形態である画像処理装置における強調量導出善手段の構成図を表す。
【００２６】
図６は本発明の第２の実施の形態である画像処理装置における強調量導出善手段の構成図を表す。
【００２７】
図７は本発明の第３の実施の形態である画像処理装置における強調量導出善手段の構成図を表す。
【００２８】
図１４は本発明の第４の実施の形態である画像処理装置におけるコントラスト改善手段の構成図を表し、図１７は本発明の第５の実施の形態である画像処理装置におけるコントラスト改善手段の構成図を表す。
【００２９】
図１９は本発明の第６の実施の形態である画像処理装置における後処理手段の構成図を表す。
【００３０】
また、図９は本発明の第１から第６の実施の形態である画像処理方法における全体のフローチャートを表す図である。
【００３１】
図１０は本発明の第１の実施の形態である画像処理方法におけるコントラスト改善処理と画像合成処理のフローチャートを表す図である。
【００３２】
図１１は本発明の第２の実施の形態である画像処理方法におけるコントラスト改善処理のフローチャートを表す図である。
【００３３】
図１２は本発明の第３の実施の形態である画像処理方法におけるコントラスト改善処理のフローチャートを表し、図２０は本発明の第６の実施の形態である画像処理方法におけるコントラスト改善処理と後処理手段のフローチャートを表す図である。
【００３４】
なお、構成図の各図において、同一部には同じ番号を付している。また、なお、これ以降で、画素位置（ｉ，ｊ）の単位には全て画素単位が用いられることする。
【００３５】
（第１の実施の形態）
まず、本発明の第１の実施の形態である画像処理装置及び画像処理方法について説明する。図１はその全体の構成を表す図であり、１は入力画像を、２は最終的に出力される出力画像を、３はコントラスト改善手段１２で得られた強調処理後の画像を現す。そして、１０は１の入力画像を得るためのＣＣＤ素子のような画像入力手段であり、１１は入力画像に逆ガンマ変換等のような前処理を行う前処理手段、１２は１１で得られたデジタル入力画像の細部を強調するためのコントラスト改善処理を行うコントラスト改善処理手段、１３はデジタル入力画像と１２のコントラスト改善手段で得られた強調画像を合成する画像合成手段であり、１４は１３で得られた合成画像に入力画像にかかっていたガンマ変換のような後処理を行う後処理手段であり、１５は１３で得られた合成画像を最終処理後の画像として所望のデバイス（プリンタ、ディスプレイ等）で出力するための画像出力手段である。コントラスト改善手段は図２のような構成になる、図２において、２０は対象画素Ｐｉｊの周辺領域より比較対象にする周辺画素を決定する比較画素決定手段であり、２１は対象画素Ｐｉｊにおけるカラー３成分値ＶＰｉｊ（ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））を広さｃのＰｉｊ周囲領域より選択された比較対象画素との比較によりコントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），　Ｒｇ（ｉ，ｊ），　Ｒｂ（ｉ，ｊ））を算出する強調量導出手段であり、２２は強調量導出手段２１で得られたコントラスト改善量ＶＲＰｉｊを実際の画素値に変換する際の変換基準値ＶＴｃ（ｒｔｃ（ｉ，ｊ），ｇｔｃ（ｉ，ｊ），ｂｔｃ（ｉ，ｊ））を求める変換基準値算出手段であり、２３は２２の変換基準値ともとに強調量導出手段２１で得られたコントラスト改善量ＶＲＰｉｊを実際の画素Ｐｉｊにおけるコントラスト改善後の画素値に変換する画素値変換手段である。強調量導出手段２１は図５のように、周囲平均手段５０と改善量算出手段５１より構成される。
【００３６】
また、画像合成手段１３は図４に示されるように、入力画像１内の輝度情報をもとに入力画像１とコントラスト改善手段で得られた強調画像３に掛かる結合係数ｗｓ（ｓ＝１，３；ここでｗ１は入力画像１に掛かる結合係数であり、ｗ３は強調画像３に掛かる結合係数を示す）を決定する結合係数導出手段４０と、結合係数導出手段４０で得られた結合係数ｗ０、ｗ１を使って、入力画像１とコントラスト改善手段で得られた強調画像３の加重平均画像を生成する加重平均合成手段４１、そして４１で得られた加重平均合成画像と入力画像１、そして強調画像３を比較して出力画像の画素値を決定する出力値決定手段４２より構成される。
【００３７】
以上のように構成された第１の実施の形態である画像処理装置の動作について図９、図１０に従い説明する。
【００３８】
画像入力手段１０を介して、カラー画像１がデジタル入力される。１０ではカラー画像の場合、通常レッドｒ、グリーンｇ、ブルーｂの成分データが入力手段の精度（８ビットならば０から２５５の値で）得られる。１０ではこの値を０．０から１．０の値に正規化する。
【００３９】
デジタル入力画像１に対して、図８のような前処理が行われる。近年、このようなコントラスト改善が行われる画像データはデジタルカメラ（ＤＳＣ）で撮影されたものが増えている。通常、ＤＳＣで撮影された画像データをパソコン等でモニタ表示を行う場合、入力画像をより鮮明にするために図８上左図のような上に凸の形をしているガンマ関数を用いた変換処理が行われている。一般に使用されているｓＲＧＢ空間ではこのガンマ変換におけるガンマγは２．２が使用される。プリンタで出力する場合にも、このガンマ関数が予め入力画像に掛けられていることを前提にして出力のための画像処理が実行される。そのため、ＣＣＤ等の撮影素子で得られた画像データを正確に抽出するために、γ＝２．２の効果を戻すための逆ガンマ関数による変換処理が必要になり、前処理手段１１は図８上右図のような下に凸の逆ガンマ変換を行う。
【００４０】
次に、逆ガンマ変換されたデジタル入力画像１に対して、入力画像の暗部におけるコントラストを改善するためのコントラスト改善処理がコントラスト改善手段１２で行われる。コントラスト改善手段１２では図１３のように行われる。人間の視覚では、図１３に模式的に示されるように対象画素Ｐｉｊに対して知覚された画素値のみでＰｉｊの画素情報（色、コントラストなど）を認知するのではなく、対象画素Ｐｉｊをその周囲にある画素の情報との相対的な関係により、対象画素値Ｐｉｊの画素値を調整することでＰｉｊの画素情報を知覚している。これは、従来例で説明したようにＥｄｗｉｎ　Ｌａｎｄにより紹介されたレティネックス概念と呼ばれるものであり、このような知覚により一部だけ別の照明を受けているような不均一な照明光や極端に画素値の強度変化があるようなシーンでも、物体の色を精度よく認知することができる。本発明でも、この概念を利用することで影のような暗部における色や細部情報を明確にする。
【００４１】
まず、対象画素Ｐｉｊの画素値ＶＰｉｊ　（ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））をＬａｎｄにおける中心視野と見なし、その周囲にｃ画素の矩形領域に属する領域を周辺視野と見なす。そして、周辺視野における画素値の加重平均画素値ＶＡＰｉｊ（Ａｒ（ｉ，ｊ），Ａｇ（ｉ，ｊ），Ａｂ（ｉ，ｊ））を求めるとともに、このＶＡＰｉｊとＶＰｉｊの間の相対的関係につながるコントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））を算出する。このＶＡＰｉｊとして、従来例のように式（数１）の第２項におけるｃ画素の周辺視野内における画素値ＶＰｉｊ（ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））と式（数２）、（数３）のようにガウス関数で定義された周辺視野関数Ｆ（ｘ，ｙ）の畳み込み積分値で定義することも可能であり、コントラスト改善量ＶＲＰｉｊも式（数１）を３成分独立に定義することも可能であるが、本発明では処理の簡単化と高速化を考慮して定義をすることとした。その例として、式（数４）のようにＶＡＰｉｊはｃ画素の周辺視野内における画素値ＶＰｉｊ（ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））の平均値を定義し、コントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））も式（数５）のように各成分ごとの画素値ＶＰｉｊの加重平均画素値ＶＡＰｉｊに対する比として定義することができる。
【００４２】
【数４】
2004038842.tif 000006
【００４３】
【数５】
2004038842.tif 000007
【００４４】
また、式（数６）、（数７）のようにｃ画素の周辺視野内における輝度ｙ（ｉ，ｊ）の平均値をＶＡＰｉｊの３成分として定義し、コントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））は式（数７）のように画素Ｐｉｊにおける各成分値の加重平均画素値ＶＡＰｉｊに対する比として定義することも可能である。
【００４５】
【数６】
2004038842.tif 000008
【００４６】
【数７】
2004038842.tif 000009
【００４７】
こうすることで、式（数４）（数５）のように各成分独立でコントラスト改善量を算出するよりも得られたコントラスト改善量のバランスをよりうまく保持できると考える。そこで本発明では式（数６）、式（数７）による定義を採用することとした。
【００４８】
以上のような対象画素Ｐｉｊに対するコントラスト改善量ＶＲＰｉｊを入力画像内の全ての画像に対して行う。この処理を周囲平均手段５０と改善量算出手段５１が行う。
【００４９】
次に、このコントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））を実際の画素値に変換する必要がある。この処理としては、ＶＲＰｉｊの各成分を０．０から１．０の範囲内の値に変換し、必要と思われる部分を抽出した実際の画素値に変換する方法等が考えられるが、ここではより簡易化のために、変換基準値ＶＴｃ（ｔｒｃ，ｔｇｃ，ｔｂｃ）を算出してその変換基準値をＶＲＰｉｊの各成分に乗算して、強調画像３の画素Ｐｉｊにおける画素値とする。この場合、通常扱われる８ビットの整数データである０から２５５に変換しても良いが、ここではその値を０．０から１．０の正規化した範囲内の実数データにまず変換基準値とコントラスト改善量ＶＲＰｉｊを使って変換し、その後に０から２５５の８ビットデータの整数データに変換することとする。そのため、ＶＴｃの各成分が取りえる値は０．０から１．０の範囲になる。ＶＴｃの決定を変換基準値算出手段２２が行うが、一律にＶＴｃ＝（０．５，０．５，０．５）のように取りえる画素値の平均に設定することもできる。しかしながら、輝度が高いほど高めに、低いほど低めになるように変換する方が入力画像１からの急激な変化を抑制することができると思われる。つまり、このように入力画像１の対象画素Ｐｉｊにおける輝度ｙ（ｉ，ｊ）に応じてＶＴｃの値を制御することで、シャドウ部の急激な輝度レベル上昇を抑制することが可能となる。よって、ここでもそのようにｙ（ｉ，ｊ）におうじてＶＴｃ（ｔｒｃ，ｔｇｃ，ｔｂｃ）を制御することとした。その一例は式（数８）のようになるが、このような線形関数ではなく、非線形関数を用いることも考えられる。
【００５０】
【数８】
2004038842.tif 000010
【００５１】
なお、この式（数８）における傾きを大きくしすぎると、暗部におけるコントラスト改善を抑制しすぎることで本来の特徴である、変動差がある部分を強調してコントラスト改善する特徴を損なうことがある。またＶＴｃの取りうる範囲は０．０から１．０であるので、これらの条件をもとに式（数８）を設定する必要がある。
【００５２】
強調量導出手段２１のＶＲＰｉｊと変換基準値算出手段２２のＶＴｃの結果を受けて、２３の画素値変換手段が強調画像３の画素Ｐｉｊにおける画素値を求める。
【００５３】
一方、Ｒｅｔｉｎｅｘ理論に基づくコントラスト改善手法の課題として、従来例で説明した非常に大きな領域で一律な色を持つハイライト部での輝度レベルの低下が生じる。同様に、非常に大きな領域で一律な色を持つシャドウ部では強調画像における輝度レベルが急激に上昇することで、ＣＣＤ等で入力時発生したシャドウ部における色ノイズを際立たせる。本件特許出願の発明者らは、先の出願（日本国　特願２００２−３３６５８号）において、これらの問題を解決するために、入力画像１と視覚モデルで得られた強調画像３を適応的に合成することで入力画像１が本来持つ輝度レベルの低減や上昇を抑えることとした。本発明でもその手段を用いるが、上記示した強調量導出手段２１からのＶＲＰｉｊを実際の画素値に変換する際の変換基準値ＶＴｃを対象画素Ｐｉｊの輝度ｙ（ｉ，ｊ）に応じて制御する処理と組み合わせてやることで、より入力画像１のもつ雰囲気を保ちながら、暗部の見えを改善することが可能となる。なお、画像合成手段１５は図４のように構成されており、まず４０で入力画像１に掛かる結合係数ｗ１と強調画像３に掛かる結合係数ｗ３を制御する。そして４１において、このｗ１とｗ３を用いた加重平均合成画像４を生成する。最後に４２において、入力画像１の対象画素Ｐｉｊの輝度ｙ（ｉ，ｊ）、色差ｃｒ（ｉ，ｊ），ｃｂ（ｉ，ｊ）を求めるとともに、合成画像４の対応する画素の輝度ｗｙ（ｉ，ｊ），色差ｗｃｒ（ｉ，ｊ），ｗｃｂ（ｉ，ｊ）を求める。そして、ｙ（ｉ，ｊ）≧ｗｙ（ｉ，ｊ）の場合には、ｗｙ（ｉ，ｊ）＝ｙ（ｉ，ｊ）として、このｗｙ（ｉ，ｊ），ｗｃｒ（ｉ，ｊ），ｗｃｂ（ｉ，ｊ）よりＲＧＢ空間におけるＶＷＰｉｊ（ｗｒ（ｉ，ｊ），ｗｇ（ｉ，ｊ），ｗｂ（ｉ，ｊ））に変換することで最終的な出力画像２を生成する。
【００５４】
なお、４０の時点で、入力画像１画素値ＶＰｉｊと強調画像３の画素値ＶＲＰｉｊを比較して、ＶＰｉｊが３成分ともＶＲＰｉｊより大きい場合にはｗ１＝１．０、ｗ３＝０．０とし、それ以外にはｗ１＝ｗ３＝０．５として合成画像の画素値ＶＷＰｉｊを求めることとしたが、前記した先行出願（日本国　特願２００２−３３６５８号）のように入力画像の対応する画素におけるエッジ情報で制御する手法や、輝度ｙ（ｉ，ｊ）と予め決めたしきい値ＴＨ，ＴＨＣｏｍｂを用いて、式（数９）のように制御する手法も可能である。
【００５５】
【数９】
2004038842.tif 000011
【００５６】
なお、式（数９）の場合、ｅｘｐ関数による処理のオーバーヘッドが考えられるが、予め設定した精度に応じたｅｘｐ関数をテーブル化してそのテーブル参照することでこの処理のオーバーヘッドは抑えることができる。この式（数９）は暗部では極力強調画像３を優先するが、入力画像の輝度と強調画像の輝度の比をもとに、その改善が急激な場合にはｗ３を抑制することで暗部でのノイズ強調を抑制するように工夫したものである。
【００５７】
以上のような構成や処理を行うことで本発明の第１の実施の形態である画像処理装置及び画像処理方法は、従来例の視覚モデルの利点を有効に生かすことでハイライト部における輝度低下とシャドウ部における輝度の急激な上昇に対するノイズ強調を抑制したコントラスト改善を、簡易かつ高精度に行うことができる。また、先行出願やＪｏｂｓｏｎらの従来手法のように、２１で得られたコントラスト改善量より有効を思われる領域を抽出する処理が不要となるため、処理量の削減にもつながるという利点も持つ。
【００５８】
さらに、本発明ではコントラスト改善手段１２は図２のように１つの周辺領域ｃによる構成をしているが、この周辺領域ｃの大きさが改善される暗部の大きさに起因していると思われる。通常、自然画像の場合、さまざまな大きさを持つ影部分がありうることから、従来技術で説明したようなＪｏｂｓｏｎらのような複数の周辺領域サイズｃ［ｓ］を持つ多重解像度モデルがより効果的である。そのような多重解像度モデルに本発明を適用すると、１２のコントラスト改善手段は図３のような構成になる。
【００５９】
周辺範囲初期化手段３０でまずｃ＝ｃ０というように、予め用意された複数の周辺視野領域サイズｃ［ｓ］（ｓ＝０，１，．．，Ｃｎｕｍ−１）のｃ０を周辺視野領域に設定する。この場合、ｃ［ｓ］は最小サイズ領域から昇順に用意しても構わないし、最大サイズから降順に用意しても構わないが、サイズの変更方向をそろえた方がよい。ここでは最大サイズから降順に用意されているとして、順に周辺視野領域を小さくしながら、入力画像における細部改善を行うこととする。２０、２１では、現在設定されているｃ＝ｃｋの矩形域の周辺視野に対して、周辺視野における画素値のコントラスト改善量ＶＲＰｉｊ［ｓ］　（Ｒｒ＃ｓ（ｉ，ｊ），Ｒｇ＃ｓ（ｉ，ｊ），Ｒｂ＃ｓ（ｉ，ｊ））　が算出される。そして、すべてのｃ［ｓ］で２１での画素Ｐｉｊ周辺視野におけるコントラスト改善量計算が終了したかどうかの判定を終了判定手段３１で行う。終了していないと判定された場合には周辺範囲変更手段３２へ処理が移り、現在設定されている周辺視野領域ｃをつぎの候補に変更し再び２０、２１での処理が行われる。一方、３１で終了判定された場合には、各周辺視野領域ｃ［ｓ］に対するＰｉｊのコントラスト改善量ＶＲＰｉｊ［ｓ］（Ｒｒ＃ｓ（ｉ，ｊ），Ｒｇ＃ｓ（ｉ，ｊ），Ｒｂ＃ｓ（ｉ，ｊ））の重み付き平均値を求め、その値をＰｉｊのコントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））と設定する。簡易化のために、各ｃ［ｓ］によるＶＲＰｉｊ［ｓ］の平均値をＰｉｊのコントラスト改善量ＶＲＰｉｊとして採用する。これ以外にも、ｃ［ｓ］による値ＶＲＰｉｊ［ｓ］を各成分別に比較して最大値となる値をＰｉｊのコントラスト改善量ＶＲＰｉｊとすることも可能である。こうした場合、加算処理よりも比較処理により処理時間の増大が生じるが、強調画像３として生成された画像の画素値変動が緩やかとなり、エッジ部分における急激な上昇を抑えることができるという利点も持つ。
【００６０】
これ以降の処理は１つの周辺範囲の場合と同様のため省略する。
【００６１】
なお、これらの処理は本発明の第１の実施の形態である画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）及びデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。
【００６２】
また、本発明の第１の実施の形態である画像処理方法に従い生成されたＬＳＩチップのような半導体チップを用いても同様に実現することができる。
【００６３】
（第２の実施の形態）
次に本発明の第２の実施の形態である画像処理装置及び画像処理方法について説明する。
【００６４】
その全体の構成図は本発明の第１の実施の形態と同様に図１のように構成され、コントラスト改善手段は１つの周辺範囲ｃを持つ場合は図２のようになり、複数の周辺範囲ｃ［ｓ］を持つ場合には図３のような構成になる。同様に画像合成手段１３は図４のようになる。そして、図２もしくは図３における強調量導出手段２１は、図６のような構成になる。
【００６５】
強調量導出手段２１は、対象画素Ｐｉｊ　（ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））の周囲より選択された比較対象画素の重み付き加重和ＶＡＰｉｊ（Ａｒ（ｉ，ｊ），Ａｇ（ｉ，ｊ），Ａｂ（ｉ，ｊ））を計算する周囲平均手段５０と、Ｐｉｊにおける輝度のエッジ情報ｅ（ｉ，ｊ）を求めるエッジ情報検出手段６０と、６０のｅ（ｉ，ｊ）をもとに５０のＶＡＰｉｊを補正する係数ＶＤＡＰｉｊ（ｄｃｒ（ｉ，ｊ），ｄｃｇ（ｉ，ｊ），ｄｃｂ（ｉ，ｊ））を求める補正係数算出手段６１と、６１で得られた補正係数ＶＤＡＰｉｊをもとにＶＡＰｉｊを補正する比較量補正手段６２と、６２で得られたＰｉｊの局所的な特徴を表すＶＡＰｉｊと画素Ｐｉｊ　（ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））の比をもとにコントラスト強調量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））を算出する改善量算出手段５１より構成される。
【００６６】
以上のように構成された第２の実施の形態である画像処理装置の動作について説明する。
【００６７】
画像入力手段１０を介して、カラー画像１がデジタル入力される。１０ではカラー画像の場合、通常レッドｒ、グリーンｇ、ブルーｂの成分データが入力手段の精度（８ビットならば０から２５５の値で）得られる。１０ではこの値を０．０から１．０の値に正規化する。次に、デジタル入力画像１に対して、入力画像のガンマ変換を元の線形に戻す前処理をま処理手段１１が行う。そしてこの前処理後の入力画像１に対して、暗部におけるコントラストを改善するためのコントラスト改善処理がコントラスト改善手段１２で行われる。コントラスト改善手段１２では図２、または図３のように行われる。まず、対象画素の周囲範囲ｃもしくはｃ［ｓ］内の周囲画素より比較濃度算出に使用する比較対象画素を選択し、この比較対象画素と対象画素よりコントラスト強調量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））を算出する。そして、この値を変換基準値ＶＴｃ（ｔｒｃ，ｔｇｃ，ｔｂｃ）を用いて実際の８ビット整数データである画素値に変換するのである。そして、得られた強調画像３と入力画像１の適応的な合成を図４で示された画像合成手段１３が行い、得られた合成画像２に入力画像に元々付加されていたガンマ変換を改めて後処理手段１４が行うことで画像出力手段１５でプリンタやディスプレイ等のデバイス機器に出力する最終的な出力画像を生成するのである。
【００６８】
強調量導出手段２１では、まず、入力画像内における画素Ｐｉｊの画素値ＶＰｉｊをＬａｎｄにおける中心視野と見なし、その周囲にｃ画素の矩形領域に属する領域を周辺視野と見なす。そして、比較画素決定手段２０で選択された比較対象画素をもとに、その周囲範囲内の重み付き加重和ＶＡＰｉｊ（Ａｒ（ｉ，ｊ），Ａｇ（ｉ，ｊ），Ａｂ（ｉ，ｊ））を算出する。それとともに、この値を補正する補正係数ＶＤＡＰｉｊ（ｄｃｒ（ｉ，ｊ），ｄｃｇ（ｉ，ｊ），ｄｃｂ（ｉ，ｊ））を求める。本発明の第１の実施例では、コントラスト改善量を実際の画素値に変換する際の変換基準値ＶＴｃを制御することで合成画像３で発生する出力画像２のエッジ付近での平坦化現象を抑制していたが、この輪郭付近での平坦化解消をするには、変換基準値ＶＴｃを制御するのではなく一律の中心値（ここでは、０．０から１．０での範囲で扱っているため０．５）に設定して、５０で得られた周囲範囲Ａｉｊ内の重み付き加重和ＶＡＰｉｊ（Ａｒ（ｉ，ｊ），Ａｇ（ｉ，ｊ），Ａｂ（ｉ，ｊ））を制御することでも同じような効果が得られると思われる。よって、本発明では入力画像内の対象画素Ｐｉｊの情報を使って、ＶＡＰｉｊを補正する補正係数ＶＤＡＰｉｊ（ｄｃｒ（ｉ，ｊ），ｄｃｇ（ｉ，ｊ），ｄｃｂ（ｉ，ｊ））を求め、この値を６１でＶＡＰｉｊに各成分ごとに乗算することで輪郭付近での強調程度を高めることとした。その補正係数制御としては、ここでは、対象画素Ｐｉｊの輝度ｙ（ｉ，ｊ）のエッジ情報ｅ（ｉ，ｊ）をもとに式（数１０）のように、線形的にエッジ情報の程度におうじて補正係数を抑制することとした。しかし、この制御方法は一義的に決まるものではなく、非線形関数による制御も可能である。なお、式（数１０）においてａｖｅ＃ｅはｅ（ｉ，ｊ）の画像内平均を表すが簡略化のために０．５を設定することも可能である。
【００６９】
【数１０】
2004038842.tif 000012
【００７０】
しかし、本発明の第１の実施例と同様に入力画像内の対象画素Ｐｉｊの輝度ｙ（ｉ，ｊ）をもとに線形的に補正係数を制御することも可能であり、この場合には、輝度が高いほど補正係数を小さくするようにするものである。
【００７１】
このような手段を取り入れることで強調画像３およびその画像３と入力画像１の合成画像２のメリハリ程度をある程度保存するように、暗部でのコントラスト改善を行うことが可能となる。
【００７２】
また、本発明の第１の実施例と同様に、図３のような多重解像度による構成も可能であり、こうすることで本発明の画像メリハリ保存の効果を生かしながら、入力画像における画素値のダイナミックレンジや影のような暗部サイズにあまり影響されることなく自動的に入力画像のコントラスト改善を行うことができ、画像のコントラスト調整の効率化につながる。
【００７３】
なお、これらの処理は本発明の第２の実施の形態である画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）及びデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。
【００７４】
また、本発明の第２の実施の形態である画像処理方法に従い生成されたＬＳＩチップのような半導体チップを用いても同様に実現することができる。
【００７５】
（第３の実施の形態）
次に本発明の第３の実施の形態である画像処理装置及び画像処理方法について説明する。
【００７６】
その全体の構成図は本発明の第１の実施の形態と同様に図１のように構成され、コントラスト改善手段は１つの周辺範囲ｃを持つ場合は図２のようになり、複数の周辺範囲ｃ［ｓ］を持つ場合には図３のような構成になる。同様に画像合成手段１３は図４のようになる。そして、図２もしくは図３における強調量導出手段２１は、図７のような構成になる。
【００７７】
強調量導出手段２１は、対象画素Ｐｉｊ　（ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））の周囲より選択された比較対象画素の重み付き加重和ＶＡＰｉｊ（Ａｒ（ｉ，ｊ），Ａｇ（ｉ，ｊ），Ａｂ（ｉ，ｊ））を計算する周囲平均手段５０と、Ｐｉｊにおける輝度と、周囲領域内より選択された比較対象画素Ｑｉｊの輝度の差分量の絶対値の重み付き加重和Ａｄｙ（ｉ，ｊ）を求める輝度差分平均手段７０と、Ａｄｙ（ｉ，ｊ）をもとに５１で得られたコントラスト強調量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））を強調する強調成分ＶＢＲＰｉｊ（ＢＲｒ（ｉ，ｊ），ＢＲｇ（ｉ，ｊ），ＢＲｂ（ｉ，ｊ））を算出する強調成分算出手段７１と、７１で得られたＶＢＲＰｉｊ（ＢＲｒ（ｉ，ｊ），ＢＲｇ（ｉ，ｊ），ＢＲｂ（ｉ，ｊ））をもとにコントラスト強調量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））を補正する改善量補正手段７２より構成される。
【００７８】
以上のように構成された第３の実施の形態である画像処理装置の動作について説明する。
【００７９】
画像入力手段１０を介して、カラー画像１がデジタル入力される。１０ではカラー画像の場合、通常レッドｒ、グリーンｇ、ブルーｂの成分データが入力手段の精度（８ビットならば０から２５５の値で）得られる。１０ではこの値を０．０から１．０の値に正規化する。次に、デジタル入力画像１に対して、入力画像のガンマ変換を元の線形に戻す前処理をま処理手段１１が行う。そしてこの前処理後の入力画像１に対して、暗部におけるコントラストを改善するためのコントラスト改善処理がコントラスト改善手段１２で行われる。コントラスト改善手段１２では図２、または図３のように行われる。まず、対象画素の周囲範囲ｃもしくはｃ［ｓ］内の周囲画素より比較濃度算出に使用する比較対象画素を選択し、この比較対象画素と対象画素よりコントラスト強調量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））を算出する。そして、この値を変換基準値ＶＴｃ（ｔｒｃ，ｔｇｃ，ｔｂｃ）を用いて実際の８ビット整数データである画素値に変換するのである。そして、得られた強調画像３と入力画像１の適応的な合成を図４で示された画像合成手段１３が行い、得られた合成画像２に入力画像に元々付加されていたガンマ変換を改めて後処理手段１４が行うことで画像出力手段１５でプリンタやディスプレイ等のデバイス機器に出力する最終的な出力画像を生成するのである。
【００８０】
強調量導出手段２１では、まず、入力画像内における画素Ｐｉｊの画素値ＶＰｉｊをＬａｎｄにおける中心視野と見なし、その周囲にｃ画素の矩形領域に属する領域を周辺視野と見なす。そして、比較画素決定手段２０で選択された比較対象画素をもとに、その周囲範囲内の重み付き加重和ＶＡＰｉｊ（Ａｒ（ｉ，ｊ），Ａｇ（ｉ，ｊ），Ａｂ（ｉ，ｊ））を算出する。
【００８１】
本発明の第１の実施例では、コントラスト改善量を実際の画素値に変換する際の変換基準値ＶＴｃを制御することで合成画像３で発生する出力画像２のエッジ付近での平坦化現象を抑制していた。また、本発明の第２の実施例では、変換基準値ＶＴｃを制御するのではなく、Ｐｉｊの輝度ｙ（ｉ，ｊ）のエッジ情報ｅ（ｉ，ｊ）をもとに周囲範囲内の重み付き加重和ＶＡＰｉｊを制御することで合成画像３におけるエッジ付近での平坦化現象を抑制していた。
【００８２】
この第３の実施例では、まず輝度差分平均算出手段７０で、対象画素Ｐｉｊにおける輝度ｙ（ｉ，ｊ）とその周辺範囲より比較画素として選択されたＱ（ｉ，ｊ）の輝度ｙｓ（ｉ，ｊ）間の差分量の絶対値の重み付き加重和Ａｄｙ（ｉ，ｊ）を求める。そして、この値をもとに強調成分算出手段７１が式（数１１）に従い、強調成分ＶＢＲＰｉｊ（ＢＲｒ（ｉ，ｊ），ＢＲｇ（ｉ，ｊ），ＢＲｂ（ｉ，ｊ））を求めるのである。
【００８３】
【数１１】
2004038842.tif 000013
【００８４】
この式は、Ａｄｙ（ｉ，ｊ）をＰｉｊにおける変位強調量と見なし、５１で得られたＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））の１．０からの変位量をこのＡｄｙ（ｉ，ｊ）と予め設定された強調係数で強調する成分量を算出するものである。例えば、均一に輝度が変わらないところでは、強調成分は生じない。しかし、コントラスト改善量が１．０より大きい対象画素に対しては強調画像の画素値をより強調するような成分が算出され、逆にコントラスト改善量が１．０より小さい対象画素に対しては、強調画像の画素値を抑制するような成分が得られる。そのため、強調画像３においてよりエッジ付近等での画素値変化が大きいところにおけるメリハリ感がますこととなり、最終的に得られる合成画像２における画像のメリハリ感の保存を実現することができる。
【００８５】
以上のように、本発明の第３の実施の形態例では、このような強調成分を算出する手段を取り入れることで強調画像３およびその画像３と入力画像１の合成画像２のメリハリ程度をある程度保存するように、暗部でのコントラスト改善を行うことが可能となる。
【００８６】
また、本発明の第１の実施例と同様に、図３のような多重解像度による構成も可能であり、こうすることで本発明の画像メリハリ保存の効果を生かしながら、入力画像における画素値のダイナミックレンジや影のような暗部サイズにあまり影響されることなく自動的に入力画像のコントラスト改善を行うことができ、画像のコントラスト調整の効率化につながる。
【００８７】
なお、これらの処理は本発明の第３の実施の形態である画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）及びデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。
【００８８】
また、本発明の第３の実施の形態である画像処理方法に従い生成されたＬＳＩチップのような半導体チップを用いても同様に実現することができる。
【００８９】
（第４の実施の形態）
次に本発明の第４の実施の形態である画像処理装置及び画像処理方法について説明する。
【００９０】
その全体の構成図は本発明の第１の実施の形態と同様に図１のように構成され、コントラスト改善手段は１つの周辺範囲ｃを持つ場合は図１４のような構成になる。同様に画像合成手段１３は図４のようになる。コントラスト改善手段１２は、対象画素Ｐｉｊの周辺領域より比較対象にする周辺画素を決定する比較画素決定手段２０と、各水平画素位置ｉに対して、選択された比較画素を対象とした垂直方向での加算値Ｎ［ｉ］を求める垂直方向加算手段１４０と、１４０より対象画素Ｐｉｊの周辺範囲に含まれる水平画素位置ｉの加算値Ｎ［ｉ］より周辺範囲の加重和ＶＡＰｉｊ（Ａｒ（ｉ，ｊ），Ａｇ（ｉ，ｊ），Ａｂ（ｉ，ｊ））を計算する簡易周囲平均手段１４１と、１４１で得られたＰｉｊの局所的な特徴を表すＶＡＰｉｊと画素Ｐｉｊ　（ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））の比をもとにコントラスト強調量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））を算出する改善量算出手段５１と、５１で得られたコントラスト改善量ＶＲＰｉｊを実際の画素値に変換する際の変換基準値ＶＴｃ（ｒｔｃ（ｉ，ｊ），ｇｔｃ（ｉ，ｊ），ｂｔｃ（ｉ，ｊ））を求める変換基準値算出手段２２と、２２の変換基準値ともとに改善量補正手段７２で得られたコントラスト改善量ＶＲＰｉｊを実際の画素Ｐｉｊにおけるコントラスト改善後の画素値に変換する画素値変換手段２３より構成される。
【００９１】
図１４のように構成された第４の実施の形態である画像処理装置におけるコントラスト改善処理の処理の流れを説明する。
【００９２】
画像入力手段１０を介して、カラー画像１がデジタル入力される。１０ではカラー画像の場合、通常レッドｒ、グリーンｇ、ブルーｂの成分データが入力手段の精度（８ビットならば０から２５５の値で）得られる。１０ではこの値を０．０から１．０の値に正規化する。次に、デジタル入力画像１に対して、入力画像のガンマ変換を元の線形に戻す前処理をま処理手段１１が行う。そしてこの前処理後の入力画像１に対して、暗部におけるコントラストを改善するためのコントラスト改善処理がコントラスト改善手段１２で行われる。コントラスト改善手段１２では、まず周辺領域ｃ内で比較対象画素を選択する。その場合、例えば図１６の左図のように、ある間隔で垂直方向に間引いて比較対象画素Ｑｉｊを決める。次に、垂直方向加算手段１４０が図１６左図のように各水平画素位置ｉにおける垂直方向での輝度値の加算値Ｎ［ｉ］を求める。そして、簡易周囲平均手段１４１では、このＮ［ｉ］より対象画素Ｐｉｊの周辺領域ｃ内に含まれるＮ［ｋ］の加重和Ｓを求め、その周辺範囲内に含まれる比較画素数ｍで除することで平均比較対象輝度Ａｓｙ（ｉ，ｊ）を算出する。そして、この値と対象画素Ｐｉｊの画素値（ｒ（ｉ．ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））を各々比較することでコントラスト改善量ＶＲＰｉｊを求める。さらに、対象画素Ｐｉｊが図１６右図のように水平画素位置ｉがｉ＋１へ移った場合、図１６のようにまずＰｉｊで得られた加重和Ｓより先頭のＮ［０］を減する。そして、それに新しく周辺範囲に含まれることとなったＮ［７］を加えることでＰｉ＋１ｊの周辺範囲内の比較画素の輝度の総和Ｓが得られる。この値を同じように比較対象画素数ｍで除することで平均比較対象輝度Ａｓｙ（ｉ＋１，ｊ）が得られる。このように、予め用意しておいた垂直方向での加算値Ｎ［ｋ］を加減算することで簡易に平均比較対象輝度が得られる。これが、コントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））の対象画素Ｐｉｊ（ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））の比較対象濃度ＶＡＰｉｊをなるのである。こうすることで、周辺範囲内のＶＡＰｉｊを求める際のフィルタリング処理を高速に行うことができる。
【００９３】
Ｒｅｔｉｎｅｘ処理によるコントラスト改善を行う場合、このＶＡＰｉｊを求める処理量の削減が大きなポイントになっていた。特に、図１５のように複数の周辺範囲領域ｃ［ｋ］をもつ多重解像度処理をした場合、その処理量は非常に膨大となってします。しかしながら、本発明のように、重み付き加重和を単純な周辺範囲内の平均に簡略化しそして、そのための周辺範囲内の加重和計算手続きを工夫することで処理量の削減を実現することができる。
【００９４】
このコントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））を実際の画素値に変換する場合には、本発明の第１の実施例と同じように入力画像１の対象画素Ｐｉｊにおける輝度ｙ（ｉ，ｊ）に応じて式（数８）のように変換基準値ＶＴｃの値を制御することで、シャドウ部の急激な輝度レベル上昇を抑制する。なお、この際に、本発明の第２の実施例における平均比較濃度ＶＡＰｉｊの制御や第３の実施例のような強調成分ＶＢＲＰｉｊの制御する処理を加えることも可能である。
【００９５】
さらに、本発明ではコントラスト改善手段１２は図１４のように１つの周辺領域ｃによる構成をしているが、この周辺領域ｃの大きさが改善される暗部の大きさに起因していると思われる。通常、自然画像の場合、さまざまな大きさを持つ影部分がありうることから、従来技術で説明したようなＪｏｂｓｏｎらのような複数の周辺領域サイズｃ［ｓ］を持つ多重解像度モデルがより効果的である。そのような多重解像度モデルに本発明を適用すると、１２のコントラスト改善手段は図１５のような構成になる。
【００９６】
こうした場合、強調画像３として生成された画像の画素値変動が緩やかとなり、エッジ部分における急激な上昇を抑えることができるという利点も持つ。
【００９７】
以上のように本発明の第４の画像処理装置及び画像処理方法は、本発明の第１の実施の例においてもっとも処理量の多い対象画素周辺の平均比較画素濃度ＶＡＰｉｊの算出過程を工夫・簡略化することで、エッジ保存しながらのコントラスト改善効果を保ちながら処理時間を短縮化することができる。特にこの高速化の効果は複数の周辺範囲ｃ［ｋ］を持つ場合ほどその効果は大きくなるものである。
【００９８】
さらに、これらの処理は本発明の第４の実施の形態であるカラー画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）及びデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。
【００９９】
また、本発明の第４の実施の形態である画像処理方法に従い生成されたＬＳＩチップのような半導体チップを用いても同様に実現することができる。
【０１００】
（第５の実施の形態）
本発明の第５の実施の形態である画像処理装置及び画像処理方法について説明する。
【０１０１】
その全体の構成図は本発明の第１の実施の形態と同様に図１のように構成され、コントラスト改善手段は１つの周辺範囲ｃを持つ場合は図１７のような構成になる。同様に画像合成手段１３は図４のようになる。コントラスト改善手段１２は、対象画素Ｐｉｊの周辺領域より比較対象にする周辺画素を決定する比較画素決定手段２０と、水平画素位置における選択されたｉに対して、選択された比較画素を対象とした垂直方向での加算値Ｎ［ｉ］を求める間引き垂直方向加算手段１７０と、１７０より対象画素Ｐｉｊの周辺範囲に含まれる水平画素位置ｉの加算値Ｎ［ｉ］より周辺範囲の加重和ＶＡＰｉｊ（Ａｒ（ｉ，ｊ），Ａｇ（ｉ，ｊ），Ａｂ（ｉ，ｊ））を計算する簡易周囲平均手段１４１と、１４１で得られたＰｉｊの局所的な特徴を表すＶＡＰｉｊと画素Ｐｉｊ　（ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ））の比をもとにコントラスト強調量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））を算出する改善量算出手段５１と、５１で得られたコントラスト改善量ＶＲＰｉｊを実際の画素値に変換する際の変換基準値ＶＴｃ（ｒｔｃ（ｉ，ｊ），ｇｔｃ（ｉ，ｊ），ｂｔｃ（ｉ，ｊ））を求める変換基準値算出手段２２と、２２の変換基準値ともとに改善量補正手段７２で得られたコントラスト改善量ＶＲＰｉｊを実際の画素Ｐｉｊにおけるコントラスト改善後の画素値に変換する画素値変換手段２３より構成される。
【０１０２】
この発明は、本発明の第４の実施の形態例と比較すると、水平画素位置ｉ全てに対して、選択された比較対象画素のみを対象とした垂直方向での加算処理を行うのではなく、予め比較画素決定手段で水平画素位置も所定の間隔で間引いて選択を行う。そして、選択された水平画素位置ｉの垂直方向での加算処理を行うようにしたものである。
【０１０３】
図１８はその処理の概要を表すが、図１８の左図のように水平画素位置に間引いかれたとする。その場合、間引き垂直方向加算処理１７０では、ｉ＝０における垂直方向加算値Ｎ［０］を間引かれたｉ＝１における垂直方向加算値Ｎ［１］＝Ｎ［０］に振り分ける。同様に、Ｎ［３］＝Ｎ［２］、Ｎ［５］＝Ｎ［４］のように補間する。このようにすることで、全ての水平画素位置に対して垂直方向での加算処理を行うことがなく処理量の削減となる。また、つづく水平画素位置ｉ＋１に対する処理の場合は図１７右図のようになり、先頭のＮ［０］が対象画素Ｐｉｊの周辺領域ｃ内に含まれるＮ［ｋ］の加重和Ｓより減算される。その後、新しく周辺範囲に含まれることとなったＮ［７］が加えられることになるが、このｉ＝７の水平画素位置における垂直方向加算処理は比較画素決定手段２０で除かれているため、比較画素決定手段２０で選択されｉ＝７に最も隣接したｉ＝６におけるＮ［６］でＮ［７］を補間した。そしてその補間されたＮ［７］を先ほどの加重和Ｓに加算する。その後、周辺範囲内に含まれる比較画素数ｍで除することで平均比較対象輝度Ａｓｙ（ｉ，ｊ）が算出される。こうすることで、本発明の第４の実施の形態例よりも重み付き加重和の計算手続きを削減することができ、より処理量の削減を実現することができる。
【０１０４】
なお、コントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））を実際の画素値に変換する場合には、本発明の第１の実施例と同じように入力画像１の対象画素Ｐｉｊにおける輝度ｙ（ｉ，ｊ）に応じて式（数８）のように変換基準値ＶＴｃの値を制御することで、シャドウ部の急激な輝度レベル上昇を抑制しているが、本発明の第２の実施例における平均比較濃度ＶＡＰｉｊの制御や第３の実施例のような強調成分ＶＢＲＰｉｊの制御する処理を加えることも可能である。
【０１０５】
さらに、本発明ではコントラスト改善手段１２は図１７のように１つの周辺領域ｃによる構成をしているが、この周辺領域ｃの大きさが改善される暗部の大きさに起因していると思われる。通常、自然画像の場合、さまざまな大きさを持つ影部分がありうることから、従来技術で説明したようなＪｏｂｓｏｎらのような複数の周辺領域サイズｃ［ｓ］を持つ多重解像度モデルがより効果的であることも本発明の第１の実施例と同様である。
【０１０６】
さらに、これらの処理は本発明の第５の実施の形態である画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）及びデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。
【０１０７】
また、本発明の第５の実施の形態である画像処理方法に従い生成されたＬＳＩチップのような半導体チップを用いても同様に実現することができる。
【０１０８】
（第６の実施の形態）
本発明の第６の実施の形態である画像処理装置及び画像処理方法について説明する。
【０１０９】
その全体の構成図は本発明の第１の実施の形態と同様に図１のように構成される。そして、コントラスト改善手段は本発明の第１から第５の実施例のいずかと同様の構成で組み立てられる。また、画像合成手段１３も本発明の第１の実施例と同様に図４のようになる。この発明のポイントは、後処理手段が図１９のように構成されていることであり、図１９において、１９０は入力画像の輝度と色差を計算する入力輝度・色差算出手段であり、１９１は合成画像３のＰｉｊにおける輝度ｗｙ（ｉ，ｊ）と１９０で得られた輝度ｙ（ｉ，ｊ）を比較し、その間の比Ｒａｔｉｏ（ｉ，ｊ）を算出する輝度比算出手段であり、１９２は得られた輝度比をもとに合成画像３の輝度ｗｙ（ｉ，ｊ）を調整する輝度調整手段であり、１９３は調整された輝度ｗｙ（ｉ，ｊ）とｙ（ｉ，ｊ）間のＲａｔｉｏ（ｉ，ｊ）より入力画像の色差を修正する色差成分修正手段であり、１９４は修正された色差成分と輝度より合成画像３の画素値ＶＷＰｉｊ（ｗｒ（ｉ，ｊ），ｗｇ（ｉ，ｊ），ｗｂ（ｉ，ｊ））を再算出する画像再生成手段であり、１９５は所定のガンマ変換を行うガンマ変換手段である。
【０１１０】
このように構成された、本発明の第６の実施の形態である画像処理方法の処理を背罪するが、コントラスト改善処理と後処理手段は図２０のようになる。コントラスト改善処理は、本発明の第１の実施の例と同じように行われるが、第１の実施例の場合、コントラスト改善量ＶＲＰｉｊ（Ｒｒ（ｉ，ｊ），Ｒｇ（ｉ，ｊ），Ｒｂ（ｉ，ｊ））が成分ごとに式（数６）（数７）に従い算出されるのに対し、本発明では、式（数６）と式（数１１）のように、周辺範囲内の平均比較輝度Ａｙ（ｉ，ｊ）と対象画素Ｐｉｊの輝度ｙ（ｉ，ｊ）の比に示される改善輝度ｙＲＰ（ｉ，ｊ）を算出する。
【０１１１】
そして、このｙＲＰ（ｉ，ｊ）を変換基準値算出手段２２で得られたｙＴｃ（ｉ，ｊ）をもとに実際の画素値のもつ輝度ｙＲＰ（ｉ，ｊ）に変換する。次に、画像合成手段１３で強調画像３の輝度ｙＲＰ（ｉ，ｊ）と入力画像１の輝度ｙ（ｉ，ｊ）の合成輝度画像２を生成する。つまり、本発明の第１から第５の実施例で３成分ごとに扱ってきたのに対し、ここでは輝度のみで画像合成まで処理を行うのである。これは、本発明の第１の実施例の式（数６）（数７）のように平均比較輝度ＶＡＰｉｊと入力画像ＶＰｉｊの各成分比を使う場合、入力画像１の色バランスはある程度保持されるが、その後で行われる強調・補正処理で図２１左図のように入力画像１の色バランスが崩れることがありうる。そこで、本発明では図２１の右図のように、合成後の改善輝度ｗｙ（ｉ，ｊ）とｙ（ｉ，ｊ）間の改善比Ｒａｔｉｏ（ｉ，ｊ）をもとに入力画像の色差ｃｒ（ｉ，ｊ），ｃｂ（ｉ，ｊ）を修正した改善色差ｗｃｒ（ｉ，ｊ），　ｗｃｂ（ｉ，ｊ）を生成し、これらの値をもとに合成画像の画素値ＶＷＰｉｊを算出することで色バランスの保持を図ったものである。
【０１１２】
しかし、合成後の改善輝度ｗｙ（ｉ，ｊ）とｙ（ｉ，ｊ）間の比Ｒａｔｉｏ（ｉ，ｊ）をそのまま入力画像の色差ｃｒ（ｉ，ｊ），ｃｂ（ｉ，ｊ）に乗算して得られた色差ｗｃｒ（ｉ，ｊ），　ｗｃｂ（ｉ，ｊ）が飽和する可能性があるため、この飽和判定を行う。そして、もしｗｃｒ（ｉ，ｊ）が飽和していた場合には、この色差に対する比ｄＲａｔｉｏ（ｉ，ｊ）＝ｗｃｒ（ｉ，ｊ）／ｃｒ（ｉ，ｊ）を改めて合成後の改善輝度と入力画像の輝度による改善比Ｒａｔｉｏ（ｉ，ｊ）とする。この値をもとに合成後の改善輝度ｄｗｙ（ｉ，ｊ）を計算する処理を１９２の輝度調整手段が行う。次に、１９３がＲａｔｉｏ（ｉ，ｊ）を使って改めて、入力画像の色差ｃｒ（ｉ，ｊ），ｃｂ（ｉ，ｊ）を修正して合成後の色差ｄｗｃｒ（ｉ，ｊ），ｄ　ｗｃｂ（ｉ，ｊ）を生成するのである。その後、実際の画素値に変換して合成画像３のＰｉｊにおける画素値ＶＷＰｉｊ（ｗｒ（ｉ，ｊ），ｗｇ（ｉ，ｊ），ｗｂ（ｉ，ｊ））を求め、ガンマ変換手段１９５が入力画像に本来加えられていたガンマ変換処理を行うことで最終的に画像出力手段１５で出力する出力画像２を生成するのである。
【０１１３】
このように本発明では、入力画像における色のバランスを保つために、コントラスト改善処理時には輝度のみの改善を行い、その際の改善度合いを示す改善比をもとに入力画像の色差を修正することで合成画像の色バランス改善を図るものである。とくに、修正後の色差の飽和状態を考慮して改善度合いを図ることで、入力画像の色バランスを保持しながらコントラスト改善を行うことが可能となり、改めて色バランスを改善するための手段や仕組みを考慮する必要がないことが特徴である。
【０１１４】
さらに、これらの処理は本発明の第６の実施の形態である画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）及びデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。
【０１１５】
また、本発明の第６の実施の形態である画像処理方法に従い生成されたＬＳＩチップのような半導体チップを用いても同様に実現することができる。
【０１１６】
【発明の効果】
以上のように、本発明の第１の画像処理装置及び画像処理方法は、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求める。得られたコントラスト改善量を実際の画素値に変換する際に、対象画素の輝度に応じて制御することで、入力画像と強調画像の合成画像に生じる画像の平坦化や輪郭部分における濃度差の減少が改善することができるようにしたものである。
【０１１７】
以上のように、本発明の第２の画像処理装置及び画像処理方法は、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求める際に、対象画素の輝度に応じて周辺領域の平均画素値である比較濃度を制御するものである。こうすることで、より対象画素の濃度とその周囲の比較濃度の差を強調することができ、入力画像と強調画像の合成画像に生じる画像の平坦化や輪郭部分における濃度差の減少が改善することができるようにしたものである。
【０１１８】
以上のように、本発明の第３の画像処理装置及び画像処理方法は、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求める。得られたコントラスト改善量を実際の画素値に変換する際に、対象画素の濃度と周囲画素の濃度の差分に応じて上記コントラスト改善量を補正することで、入力画像と強調画像の合成画像に生じる画像の平坦化や輪郭部分における濃度差の減少が改善することができるようにしたものである。
【０１１９】
以上のように、本発明の第４の画像処理装置及び画像処理方法は、対象画素の周辺領域における平均画素値を求める際に、まずコントラスト改善時に使用する画素の垂直方向位置を決定し、決定された画素を対象として、各水平画素位置ごとに垂直方向における画素濃度の加算値を求める。そして、得られた各水平画素位置における加算値より、対象画素の周囲画素として設定された領域内に含まれる水平画素位置の値を用いて、対象画素に対する比較濃度を算出することで処理の簡略化を実現するものである。
【０１２０】
以上のように、本発明の第５の画像処理装置及び画像処理方法は、対象画素の周辺領域における平均画素値を求める際に、まずコントラスト改善時に使用する画素の垂直・水平方向位置を決定する。そして、決定された水平画素位置に対して、選択された垂直方向の画素濃度の加算値を求める。そして、対象画素の周囲画素として設定された領域内に選択された水平画素位置が含まれる場合には、その含まれる水平画素位置での加算値を用いる。対象画素の周囲画素として設定された領域内に選択された水平画素位置が含まれない場合にはその隣接する選択された水平画素位置における加算値を用いる。この手順をもとに、対象画素に対する比較濃度を高速に算出することで処理の簡略化を実現するものである。
【０１２１】
以上のように、本発明の第６の画像処理装置及び画像処理方法は、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求める。そして本発明の第１の画像処理装置及び方法と同様に得られたコントラスト改善量を実際の画素値に変換し、入力画像との合成処理を行う。その後、入力画像における対象画素の輝度・色成分と合成画像の輝度・色成分と比較して、輝度の低下をしないようにするとともに、入力画像の色成分に比例した値を用いることで、合成画像における色ずれを抑えることで最終的に出力される画像の高画質化を実現したものである。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態である画像処理装置の構成を表すブロック図
【図２】本発明の第１の実施の形態である画像処理装置におけるコントラスト改善手段の構成を表す図
【図３】本発明の第１の実施の形態である画像処理装置における多重解像度でのコントラスト改善手段の構成を表すブロック図
【図４】本発明の第１の実施の形態である画像処理装置における画像合成手段の構成を表すブロック図
【図５】本発明の第１の実施の形態である画像処理装置における強調量算出手段の構成を表すブロック図
【図６】本発明の第２の実施の形態である画像処理装置における強調量算出手段の構成を表すブロック図
【図７】本発明の第３の実施の形態である画像処理装置における強調量算出手段の構成を表すブロック図
【図８】本発明の第１，２，３，４，５の実施の形態である画像処理装置における前処理手段と後処理手段の例を表す模式図
【図９】本発明の第１の実施の形態である画像処理方法における全体のフローチャート
【図１０】本発明の第１の実施の形態である画像処理方法におけるコントラスト改善処理と画像合成処理のフローチャート
【図１１】本発明の第２の実施の形態である画像処理方法におけるコントラスト改善処理のフローチャート
【図１２】本発明の第２の実施の形態である画像処理方法におけるコントラスト改善処理のフローチャート
【図１３】本発明の第１から第６の実施の形態のいずれかに記載の画像処理方法におけるコントラスト改善処理に使用されている人間の視覚モデルの概念図
【図１４】本発明の第４の実施の形態である画像処理装置におけるコントラスト改善手段の構成を表すブロック図
【図１５】本発明の第４の実施の形態である画像処理装置における多重解像度でのコントラスト改善手段の構成を表すブロック図
【図１６】本発明の第４の実施の形態である画像処理方法におけるコントラスト改善処理のフローチャート
【図１７】本発明の第５の実施の形態である画像処理装置におけるコントラスト改善手段の構成を表すブロック図
【図１８】本発明の第５の実施の形態である画像処理方法におけるコントラスト改善処理の概要を表す図
【図１９】本発明の第６の実施の形態である画像処理装置における後処理手段の構成を表す図
【図２０】本発明の第６の実施の形態である画像処理方法におけるコントラスト改善処理と後処理手段のフローチャート
【図２１】本発明の第６の実施の形態である画像処理方法における後処理の概要を表す図
【図２２】従来例における画像処理装置の構成を表すブロック図
【図２３】従来例における画像処理装置の構成を表すブロック図
【図２４】従来例における画像処理装置の構成を表すブロック図
【符号の説明】
１　入力画像
２　出力画像
３　強調画像
１０　画像入力手段
１１　前処理手段
１２　コントラスト改善手段
１３　画像合成手段
１４　後処理手段
１５　画像出力手段
２０　比較画素決定手段
２１　強調量導出手段
２２　変換基準値算出手段
２３　画素値変換手段
３０　周辺範囲初期化手段
３１　終了判定手段
３２　周辺範囲変更手段
４０　結合係数導出手段
４１　加重平均合成手段
４２　出力値決定手段
５０　周囲平均手段
５１　改善量算出手段
６０　エッジ情報検出手段
６１　補正係数算出手段
６２　比較量補正手段
７０　輝度差分平均手段
７１　強調成分算出手段
７２　改善量補正手段
１４０　垂直方向加算手段
１４１　簡易周囲平均手段
１７０　間引き垂直方向加算手段
１９０　入力輝度・色差計算手段
１９１　輝度比算出手段
１９２　輝度調整手段
１９３　色差成分修正手段
１９４　画像再生成手段
１９５　ガンマ変換手段
２２０　画像データ入力手段
２２１　画像データ分割手段
２２２　ヒストグラム作成手段
２２３　コントラスト伸張手段
２２４　画像データ出力手段
２３０　ＣＣＤ
２３１　メモリ
２３２　乗算手段
２３３　レベル重み付加手段Ｈ
２３４　加算手段
２３５　速度変換手段
２３６　レベル圧縮手段
２３７　タイミング制御手段
２３８　レベル重み付加手段Ｌ
２３９　画像合成部
２４０　ディジタル撮像装置
２４１　プロセッサ
２４２　フィルタ
２４３　ディスプレイ
【図１】
2004038842.tif 000014
【図２】
2004038842.tif 000015
【図３】
2004038842.tif 000016
【図４】
2004038842.tif 000017
【図５】
2004038842.tif 000018
【図６】
2004038842.tif 000019
【図７】
2004038842.tif 000020
【図８】
2004038842.tif 000021
【図９】
2004038842.tif 000022
【図１０】
2004038842.tif 000023
【図１１】
2004038842.tif 000024
【図１２】
2004038842.tif 000025
【図１３】
2004038842.tif 000026
【図１４】
2004038842.tif 000027
【図１５】
2004038842.tif 000028
【図１６】
2004038842.tif 000029
【図１７】
2004038842.tif 000030
【図１８】
2004038842.tif 000031
【図１９】
2004038842.tif 000032
【図２０】
2004038842.tif 000033
【図２１】
2004038842.tif 000034
【図２２】
2004038842.tif 000035
【図２３】
2004038842.tif 000036
【図２４】
2004038842.tif 000037