(57)【要約】【課題】高階調領域と低階調領域において、色潰れを起こすことがない画像処理装置を得ることを目的とする。【解決手段】この発明に係る画像処理装置によれば、階調補正パラメータ算出手段８が入力画像信号の最大成分値に対応した変換比率を階調補正テーブルから読み取って階調補正パラメータとして算出しているため、この階調補正パラメータを前記最大成分値よりも小さい他の成分に乗算しても最大階調を超えることはなく、色潰れを起こすことはない。  また、局所補正手段６が対象画素の周辺明度に応じて局所的に入力画像信号の大きさを補正しているため、局所的な暗部の画像信号を予め強めこの部分の階調差を拡大することができ、階調補正テーブル曲線に従ってこの暗部の階調差が圧縮されるような補正が行われた場合であっても、階調情報が保たれて色潰れが起こることはない。【選択図】図１
2010026690.tif 000002
【特許請求の範囲】
【請求項１】
入力画像信号の特徴量の出現度数について一定期間の分布を抽出する分布抽出手段と、
前記分布に基づいて階調補正テーブルを作成する階調補正テーブル作成手段と、
各画素についての前記入力画像信号からこの画素周辺の所定領域内における周辺明度を算出する周辺明度検出手段と、
前記周辺明度に基づいて前記画素における局所補正値を算出する局所補正値算出手段と、
前記局所補正値に基づいて前記画素における入力画像信号の大きさを補正して第２の画像信号を生成する局所補正手段と、
前記第２の画像信号の複数の成分の最大のものを、最大成分値として検出する最大成分値検出手段と、
前記最大成分値と前記階調補正テーブルから階調補正パラメータを算出する階調補正パラメータ算出手段と、
前記階調補正パラメータと前記第二の画像信号を乗算して出力画像信号を生成する乗算手段と、
を備えた画像処理装置。
【請求項２】
特徴量は、入力画像信号の複数の成分の最大のものであることを特徴とする、
請求項１に記載の画像処理装置。
【請求項３】
一定期間は、１フレーム期間であることを特徴とする、
請求項１に記載の画像処理装置。
【請求項４】
局所補正値算出手段は、周辺明度が所定値より大きい場合には局所補正値を１とし、前記所定値以下の場合には前記局所補正値を１以上とし、
局所補正手段は、前記局所補正値を入力画像信号に乗算して第２の画像信号を生成することを特徴とする、
請求項１に記載の画像処理装置。
【請求項５】
分布抽出手段は、入力画像信号の特徴量の階調範囲を複数の階級に分け、前記特徴量の前記階級毎の出現度数の一定期間の分布を抽出し、
階調補正テーブル作成手段は、各階級の最大階調に対して、前記階調範囲の最小階級から前記各階級までの正規化した出現度数の累積値を対応づけた折線グラフを作成することを特徴とする、
請求項１に記載の画像処理装置。
【請求項６】
局所補正値算出手段は、階調補正テーブルを参照して局所補正値を算出することを特徴とする、
請求項１乃至５のいずれか１項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、入力画像信号の階調を補正して出力する画像処理装置に関するものである。
【背景技術】
【０００２】
従来の画像処理装置では、以下のように入力画像信号の補正を行っていた。まず、入力画像信号の各成分（Ｒ（赤）、Ｇ（緑）、Ｂ（青））から輝度信号を生成し、この輝度信号について、一画面中で出現頻度の分布を抽出し、分布の多い輝度領域により多くの階調が割り当てられるように、階調補正テーブルを作成する。次に各画素の輝度信号の階調レベルに対応する変換比率を階調補正テーブルから読み取り、この変換比率を各画素の入力画像信号の各成分に乗じて補正を行っていた。
【０００３】
以上のように作成された階調補正テーブルを用いて入力画像信号の各成分の補正を行っていたため、分布の多い輝度領域での明暗を細分化できコントラストの向上を図ることができる。また、共通の変換比率が入力画像信号の各成分に乗算されるので、入力信号と出力信号とで色バランスの変化が生じにくい（例えば、特許文献１参照）。
【０００４】
【特許文献１】特開２００４−３４２０３０号公報（第５−１４頁、第１−１３図）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ここで、入力画像信号の各成分（Ｒ、Ｇ、Ｂ）から輝度信号（Ｙ）は、下記式によって算出される。
Ｙ＝α・Ｒ＋β・Ｇ＋γ・Ｂ；α＝０．３０、β＝０．５９、γ＝０．１１
階調補正テーブルから、上式により算出した輝度信号の階調レベルに対応する変換比率を読み取った場合、変換比率が１より大きな場合があり得る。補正前のある成分が最大階調に近いところにあった場合に、この成分に対してこのような変換比率をそのまま乗ずると、補正後の当該成分が最大階調を越えることとなるため、クリップ回路等により強制的に最大階調に抑えられて出力されることとなる。従って、このような場合には、最大階調付近の階調差が適正に表現されず、色潰れが発生するという問題があった。
【０００６】
また、全体的に明るい画面の中に小面積の暗部（例えば陰の部分）が存在するような画面、すなわち一画面を構成する全画素中に高階調を有するものの出現頻度が多い中にあって低階調の画素の出現頻度が少ない場合には、従来の画像処理装置における階調補正テーブルを使用すると、この低階調の画素には少ない階調しか割り当てられないことになるため、この暗部では補正後の階調差がなくなりこの場合も色潰れを起こしてしまうという問題もあった。
【０００７】
本発明は、上記に示したような問題点を解決するためになされたもので、色潰れを起こすことがない画像処理装置を得ることを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係る画像処理装置は、最大成分値検出部が各画素について入力画像信号の複数の成分の最大のものを最大成分値として検出し、階調補正パラメータ算出手段が階調補正テーブルからこの最大成分値に対応した変換比率を読み取って階調補正パラメータとして算出し、乗算手段がこの階調補正パラメータを入力画像信号の各成分に乗算して出力画像信号を生成することを特徴とする。
また、この発明に係る画像処理装置は、周辺明度検出手段が各画素周辺の所定領域内における周辺明度を算出し、この周辺明度に基づいて局所補正値算出手段が当該画素における局所補正値を算出し、この局所補正値に基づいて局所補正手段が当該画素における入力画像信号の大きさを補正することを特徴とする。
【発明の効果】
【０００９】
この発明に係る画像処理装置によれば、階調補正パラメータ算出手段が入力画像信号の最大成分値に対応した変換比率を階調補正テーブルから読み取って階調補正パラメータとして算出しているため、この階調補正パラメータを前記最大成分値よりも小さい他の成分に乗算しても最大階調を超えることはなく、色潰れを起こすことはない。
また、この発明に係る画像処理装置によれば、局所補正手段が対象画素の周辺明度に応じて局所的に入力画像信号の大きさを補正しているため、局所的な暗部の画像信号を予め強めこの部分の階調差を拡大することができ、階調補正テーブル曲線に従ってこの暗部の階調差が圧縮されるような補正が行われた場合であっても、階調情報が保たれて色潰れが起こることはない。
【発明を実施するための最良の形態】
【００１０】
実施の形態１．
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
この画像処理装置は、第一の最大値検出手段１、最大値分布抽出手段２、階調補正テーブル作成手段３、周辺明度検出手段４、局所補正値算出手段５ａ、局所補正手段６、第二の最大値検出手段７、階調補正パラメータ算出手段８、乗算手段９から構成される。
本画像時処理装置には、入力画像信号Ｒ１、Ｇ１、Ｂ１が入力される。ここで、入力画像信号Ｒ１、Ｇ１、Ｂ１は、それぞれ各画素における赤、緑、青の成分の大きさを表す原色信号である。
【００１１】
本実施の形態は、階調補正テーブルを作る際の分布を抽出する特徴量として、各画素における入力画像信号の各成分の最大値を用いるものであるが、これは画素毎の入力信号より得られる他の特徴量であってもよく、例えば各成分より算出された輝度信号を用いてもよい。この場合には、第一の最大値検出手段１の代わりに輝度算出手段、最大値分布抽出手段２の代わりに輝度分布抽出手段という構成とすればよい。
【００１２】
次に各構成要素の動作について、以下に説明する。
入力画像信号は、第一の最大値検出手段１に入力される。第一の最大値検出手段１は、各画素について入力画像信号の各成分Ｒ１、Ｇ１、Ｂ１の中から最大の階調をリアルタイムで検出して、これを最大値分布抽出手段２に出力する。例えば、Ｒ１＝１０、Ｇ１＝２０、Ｂ１＝３０のときには、Ｂ１の３０の値を出力する。
【００１３】
最大値分布抽出手段２は、ある一定期間、例えば１画面分（１フレーム分）について、画素毎の入力画像信号の最大値の分布を抽出し、階調補正テーブル作成手段３に出力する。１画面分（１フレーム分）の画素数が１００万画素であれば、１００万画素分の入力画像信号の最大値がどのように分布しているかを抽出する。
分布は階調値毎に抽出してもよいが（例えば、総階調を１０ｂｉｔのデジタル信号で表現する場合には総階調数が１０２４であり、この場合には１０２４の階調分布を抽出）、階調数が多くなると回路規模も大きくなってしまう。この場合には、複数の階調値を一つの階級としてまとめ、階級毎の出現度数を求めることで分布を抽出することにより、コントラストの改善という効果に見合うように、回路規模を最適化することができる。図２には１０２４階調の入力を、１６個の階級に分けてその出現度数を求めたときのヒストグラムの一例を示す。
【００１４】
階調補正テーブル作成手段３は、最大値分布抽出手段２から入力された入力画像信号の最大値の分布、例えば図２に示したようなヒストグラムから、階調補正テーブルを作成する。例えば１６階級のヒストグラムから作成された階調補正テーブルを作成する場合を図３に示す。図３の横軸は入力画像信号の最大値の階調で、縦軸は階級ごとの正規化出現度数（棒グラフ）、または補正後の階調（折れ線グラフ）である。
棒グラフは、図２に示した階級毎の出現度数を（階調範囲の最大値）を（１フレーム内の画素数）で除したもの、すなわち本例では１０２３／１，０００，０００を乗じて正規化したもの（正規化出現度数）を示す。左下から右上に伸びた曲線が、入力画像信号を出力画像信号に変換する階調補正テーブルに対応する曲線であり、各階級の最大値を横軸座標値とし、当該階級までの正規化出現度数の累積値を縦軸座標値とするものである。
このように階調補正テーブル曲線を作成することにより、この曲線は出現度数の多い階級あるいは階調領域では傾きが大きく、逆に出現度数の少ない階級あるいは階調領域では傾きが小さくなり、またこの階調補正テーブルによる補正前後で、信号の最大階調（１０２３）が一致することとなる。
【００１５】
尚、上記以外の方法で、出現度数の多い階級あるいは階調領域で傾きが大きくなり、逆に出現度数の少ない階級あるいは階調領域で傾きが小さくなるように階調補正テーブル曲線を作成してもよい。
また、曲線の傾きに、下限値や上限値を設定し、得られる階調補正パラメータ曲線に制限を加えることも可能である。この場合、各階級における、曲線に沿う縦軸方向の増加分（図３でΔｙ）の総和が最大階調（この例では１０２３）となるように、曲線の傾きの制限を行った階級以外の階級について、曲線の傾きを併せて調整を行っておくのが望ましい。
【００１６】
周辺明度検出手段４は、各画素における入力画像信号から明度信号を算出するとともに、当該画素を含む周辺の所定の局所領域（例えば当該画素を中心とする縦５画素、横５画素の範囲）の明度信号を算出し、当該画素における周辺明度ＹＬとして局所補正値算出手段５ａに出力する。
ここで、各画素における明度信号は、例えば各画素における入力画像信号の各成分Ｒ１、Ｇ１、Ｂ１を加算して、または各成分に重みを付けて加算することにより求めることができる。また、所定の局所領域における明度信号は、この領域を構成する各画素の明度信号の平均値として求めてもよいし、または各画素の明度信号を最小値から最大値まで並べたときの中央付近にあるものを選択して求めてもよい。
【００１７】
局所補正値算出手段５ａは、周辺明度検出手段４にて求められた周辺明度ＹＬから局所補正値ＫＬを算出し、局所補正手段６に出力する。局所補正値算出手段５ａは、例えば周辺明度ＹＬの値で読み出しアドレスを特定し、予め対応する局所補正値ＫＬの値をルックアップテーブルに記憶させておくことにより実現することができる。
図４は、周辺明度ＹＬと局所補正値ＫＬの関係の一例を表す図である。図４において、局所補正値ＫＬは、周辺明度が所定値より大きい場合には１．０であり、周辺明度が所定値より小さい場合には周辺明度が小さくなるほど大きくなる。ここで、入力画像信号に応じてどの明度領域を予め強めておきたいかということに基づき、この所定値を任意に定めることができる。
【００１８】
局所補正手段６は、入力画像信号の各成分Ｒ１、Ｇ１、Ｂ１にそれぞれ局所補正値ＫＬを乗じて第二の画像信号Ｒ２、Ｇ２、Ｂ２を算出する。よって、周辺明度ＹＬと局所補正値ＫＬが前記の図４に示す関係である場合、周辺明度ＹＬが小さい場合（周辺が暗い場合）に入力画像信号Ｒ１、Ｇ１、Ｂ１に大きな値を乗じることになる。すなわち、当該画素の周辺が暗い場合に大きな値が乗算され、信号ゲインが向上することにより明るさが向上することになる。
【００１９】
第二の最大値検出手段７は、各画素について局所補正手段６にて得られた第二の画像信号の各成分Ｒ２、Ｇ２、Ｂ２の中から最大値を検出して、階調補正パラメータ算出手段８に出力する。処理内容は第一の最大値検出手段１と同様である。
【００２０】
階調補正パラメータ算出手段８は、階調補正テーブル作成手段３により得られた階調補正テーブル曲線と、第二の最大値検出手段７により得られた第二の画像信号の各成分の最大値を用いて、第二の画像信号Ｒ２、Ｇ２、Ｂ２に対して乗ずるべき変換比率、すなわち階調補正パラメータを算出し、乗算手段９に出力する。
算出例を図５に示す。図５において、左下から右上に伸びた曲線は図３と同じ階調補正テーブル曲線である。ある画素について、第二の最大値検出手段７から、当該画素における第二の画像信号の各成分の最大値が入力される。この最大値の値をｘｍとし、階調補正テーブル曲線上でこのｘｍに対応する縦軸の座標をｙｍとすると、この点（ｘｍ、ｙｍ）に向けて原点から引いた直線の傾きｇｍが求めるべき変換比率（階調補正パラメータ）である。
傾きｇｍを求める方法はいくつかあるが、一例としては、当該最大値ｘｍが含まれる階級の上限の階調ｘ２における傾きｇ２と、この階級の一つ下の階級の上限の階調ｘ１における傾きｇ１から、下記数１により内分して計算する方法がある。
【００２１】
【数１】
2010026690.tif 000003
【００２２】
この方法では、数学的に若干の誤差が生じるが、問題となるレベルではない。また、ｇｍを算出するための除数が固定値（上記の例では、ｘ２−ｘ１）であるため、除算器を用いず、回路規模を縮小することができる。例えば、この固定値を２ｎ（ｎは１以上の整数）としておけば、シフト処理により除算を行うことができる。
もちろん、階調補正テーブル曲線がわかっているので、除算器などを用いて下記数２により直接傾きｇｍを求めても良い。ｙ１、ｙ２は、階調補正テーブル曲線上で階調ｘ１、ｘ２に各々対応する縦軸の座標である。
【００２３】
【数２】
2010026690.tif 000004
【００２４】
乗算手段９は、第二の画像信号の各成分Ｒ２、Ｇ２，Ｂ２に階調補正パラメータ算出手段８で得られた階調補正パラメータを乗算して、出力画像信号Ｒ３、Ｇ３、Ｂ３を算出する。乗算手段９は、特に説明を必要としない通常の乗算器を用いて構成できる。
【００２５】
次に本実施の形態による画像処理装置の効果を図６により説明する。図６に示された階調補正テーブル曲線は、この発明による効果を判りやすくするために、図３や図５に示されたものとは異なるものを使用している。
横軸下に記されたＲ、Ｇ、Ｂの記号は、各々第二の画像信号の各成分Ｒ２，Ｇ２、Ｂ２の階調である。Ｙは、各成分Ｒ２、Ｇ２、Ｂ２の階調から計算される輝度信号の階調である。Ｒ、Ｇ、Ｂ、Ｙの階調補正テーブル曲線上に対応する点と原点とを結ぶ直線の傾きが、それぞれ、ｇｒ、ｇｇ、ｇｂ、ｇｙである。本実施の形態に係る画像処理装置によれば、各成分の最大値はＢの階調であり、傾きｇｂが乗算手段９で乗算される変換比率、すなわち階調補正パラメータになる。
【００２６】
ここで仮に、Ｇから算出された傾きｇｇとＢを乗算した場合は乗算結果はＢＧ０となり、また、従来の画像処理装置のようにＹから算出された傾きｇｙとＢを乗算した場合は乗算結果はＢＹ０となり、共に最大階調（１０２３）を超える。実際にはクリップ回路などにより最大階調値に制限して出力されるため、この付近の階調差が適正に表現されず色潰れが起きる（この例では、Ｂ（青）の階調が潰れる）。
それに対して、本実施の形態に係る画像処理装置によれば、傾きｇｂは最大値の成分であるＢに乗算しても最大階調（本例では１０２３）を超えないように、階調補正テーブル曲線が定められているため、Ｂよりも小さいＲやＧにｇｂを乗じても最大階調を超えることはない。従って、色潰れが起こることはない。
【００２７】
また、局所補正手段６が、図４に示す局所補正値ＫＬを用いて、暗部の第二の画像信号Ｒ２、Ｇ２、Ｂ２を予め強め、暗部の階調差を拡大している。このため、暗部の出現頻度の分布の少ない画面で、階調補正テーブル曲線に従って暗部の階調差が圧縮されるような補正が行われた場合であっても、階調情報が保たれて色潰れが起こることはない。
【００２８】
更に、従来の画像処理装置と同様に、階調補正テーブル作成手段３が、図３に示すように出現度数の分布の多い階調領域に多くの階調を割り当てるように階調補正テーブルを作成し、その領域での明暗を細分化できるため、コントラストの向上が図れるという効果がある。
また、乗算手段９が、共通の階調補正パラメータｇｂを第二の画像信号（Ｒ２、Ｇ２、Ｂ２）に乗ずることにより出力画像信号（Ｒ３、Ｇ３、Ｂ３）を得ているため、色変化を防止することができるという効果もある。
【００２９】
実施の形態２．
図７は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。
本実施の形態と実施の形態１とは、局所補正値算出手段５ｂが異なるのみであるため、他の構成の説明は省略し、以下では局所補正値算出手段５ｂの動作について説明する。
【００３０】
局所補正値算出手段５ｂは、周辺明度検出手段４から出力された周辺明度ＹＬ以外に、階調補正テーブル作成手段３で作成された階調補正テーブル曲線、特に低階調領域での傾きを参照して局所補正値ＫＬを生成する。
図８は、周辺明度ＹＬと局所補正値ＫＬとの関係の一例を示す図であり、（Ａ）は階調補正テーブル曲線における低階調領域の傾きが小さい場合、（Ｂ）は低階調領域の傾きが中程度の場合、（Ｃ）は低階調領域の傾きが大きい場合である。
【００３１】
階調補正テーブル曲線における低階調領域の傾きが小さい場合には、この領域の入力画像信号の階調差が大きく圧縮して補正されることになるため、階調差が小さくなり色潰れを起こすこととなる。このような場合には、図８（Ａ）に示す特性の局所補正値ＫＬを用いることにより、暗部の信号を予め大きくしこの部分に割り当てられる階調数を増やしておくことにより、階調情報が保たれ色潰れを防ぐことができる。
【００３２】
逆に階調補正テーブル曲線の低階調領域の傾きが大きい場合には、この領域の入力画像信号の階調差が圧縮されず、予め暗部の階調差を拡大しなくても色潰れを起こすこともない。従って、図８（Ｃ）に示す曲線を用いればよい。
実施の形態１においては、階調補正テーブル曲線の状況によらずに一律に同じ局所補正値ＫＬを使用するため、階調補正テーブル曲線の低階調領域の傾きが大きい場合には暗部が明るくなりすぎる場合もあったが、本実施の形態によればこのような状態を改善でき、暗部が明るくなりすぎるのを防止できるという効果もある。
【図面の簡単な説明】
【００３３】
【図１】この発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図２】この発明の実施の形態１において、入力画像信号の最大値の分布の例を示す図である。
【図３】この発明の実施の形態１において、入力画像信号の最大値の分布から階調補正テーブル曲線を作成する例を示す図である。
【図４】この発明の実施の形態１において、周辺明度ＹＬと局所補正値ＫＬの関係の一例を示す図である。
【図５】この発明の実施の形態１において、階調補正パラメータを算出する例を示す図である。
【図６】この発明の実施の形態１に係る画像処理装置の効果を示す図である。
【図７】この発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。
【図８】この発明の実施の形態２において、周辺明度ＹＬと局所補正値ＫＬの関係の一例を示す図である。
【符号の説明】
【００３４】
２    最大値分布抽出手段
３    階調補正テーブル作成手段
４    周辺明度検出手段
５ａ  局所補正値算出手段
５ｂ  局所補正値算出手段
６    局所補正手段
７    第二の最大値検出手段
８    階調補正パラメータ算出手段
９    乗算手段
【図１】
2010026690.tif 000005
【図２】
2010026690.tif 000006
【図３】
2010026690.tif 000007
【図４】
2010026690.tif 000008
【図５】
2010026690.tif 000009
【図６】
2010026690.tif 000010
【図７】
2010026690.tif 000011
【図８】
2010026690.tif 000012