(57)【要約】【課題】  ヒストグラム均等化に特有な局所的な特性歪みや傾き変化によって、階調補正が不自然になることを防止する。【解決手段】  本発明は、原画像の階調を変換する階調補正装置であって、ヒストグラム作成部、第１特性作成部、第２特性作成部、特性合成部、および階調補正部を備える。このヒストグラム作成部は、原画像の明度からヒストグラムを作成する。第１特性作成部は、ヒストグラムの確率密度の粗密を均等に近づける第１階調変換特性を求める。第２特性作成部は、階調飛びが生じない階調変化に制限した第２階調変換特性を保持する。特性合成部は、第１階調変換特性および第２階調変換特性を加重合成して、合成済み階調変換特性を作成する。階調補正部は、明度を入力パラメータとして合成済み階調変換特性の入出力階調の比を求め、この比を原画像の色成分に乗ずることで原画像を階調補正する。【選択図】      図２
2005130484.tif 000002
【特許請求の範囲】
【請求項１】
原画像の階調を変換する階調補正装置であって、
前記原画像の明度（色の濃さおよび明るさを総合的に表す値）についてヒストグラムを作成するヒストグラム作成部と、
前記ヒストグラムの確率密度の粗密を均等に近づける第１階調変換特性を求める第１特性作成部と、
階調飛びが生じない階調変化に制限した第２階調変換特性を出力する第２特性作成部と、
前記第１階調変換特性および前記第２階調変換特性を加重合成して、合成済み階調変換特性を作成する特性合成部と、
前記原画像を構成する画素単位に、前記明度を前記合成済み階調変換特性に照合して入出力階調の比を求め、前記比を前記原画像の色成分に乗じることにより、前記原画像を階調補正する階調補正部と
を備えたことを特徴とする階調補正装置。
【請求項２】
請求項１に記載の階調補正装置において、
前記ヒストグラム作成部は、
前記原画像から部分画像を抽出し、前記部分画像から前記ヒストグラムを作成する
ことを特徴とする階調補正装置。
【請求項３】
請求項２に記載の階調補正装置において、
前記ヒストグラム作成部は、
前記原画像の明るさ、色、および『顔判別などの被写体判別』の少なくとも一つの特徴判別に基づいて前記部分画像の領域を決定する
ことを特徴とする階調補正装置。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の階調補正装置において、
前記第２特性作成部は、
前記原画像の平均輝度に応じて、前記第２階調変換特性を調整変更する
ことを特徴とする階調補正装置。
【請求項５】
原画像の階調を変換する階調補正装置であって、
前記原画像から第１明度（色の濃さおよび明るさを総合的に表す値）を抽出する第１明度抽出部と、
前記原画像を構成する色成分に関する量を加重加算して第２明度を抽出する第２明度抽出部と、
前記第１明度および前記第２明度を合成して、第３明度を求める明度合成部と、
前記原画像を構成する画素単位に、前記第３明度をパラメータとして入出力階調の比を求め、前記比を色成分に乗じることにより、前記原画像を階調補正する階調補正部と
を備えたことを特徴とする階調補正装置。
【請求項６】
請求項５に記載の階調補正装置において、
前記明度合成部は、
前記原画像の暗い箇所では、前記原画像の明るい箇所よりも、前記第２明度の加重比率を高くする
ことを特徴とする階調補正装置。
【請求項７】
コンピュータを、請求項１ないし請求項６のいずれか１項に記載の階調補正装置として機能させるための階調補正プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、原画像の階調を変換する階調補正装置および階調補正プログラムに関する。
特に、本発明は、原画像のヒストグラムを求め、そのヒストグラムの粗密を緩和するように階調変換特性を作成する技術に関する。
【背景技術】
【０００２】
従来、画像データに対して、階調補正を行う技術が知られている。
例えば、電子カメラを用いて主要被写体を逆光撮影すると、背景が著しく明るく撮影される場合がある。また、ストロボ撮影を行うと、遠方に位置する背景が極端に暗く撮影される場合がある。
【０００３】
これら画像は、階調の偏りが強く、微妙な階調変化に乏しくなる。この階調の偏りを階調補正する技術として、ヒストグラム均等化と呼ばれる技術が知られている。
このヒストグラム均等化では、補正対象の原画像から輝度成分を画素単位に抽出し、輝度成分の値ごとに出現度数を求めて、ヒストグラムを作成する。次に、このヒストグラムの度数を累積した後に、出力階調レンジに合わせて累積度数を正規化し、階調補正の特性曲線とする。ヒストグラム均等化では、このように求めた特性曲線に従って原画像の階調補正が行われる。
【０００４】
このヒストグラム均等化の階調補正により、原画像において出現度数が高い階調については、階調変化を拡げる方向に補正がなされる。逆に、原画像において出現度数の少ない階調については、階調変化を狭める方向に補正がなされる。その結果、階調の偏りを均等化した画像を得ることができる。
【０００５】
しかしながら、この場合には出現度数のピーク部分で、特性曲線の傾きが著しく急になり、階調補正後の画像が不自然になるという問題があった。このような問題に有効な方法であるとして、特許文献１が提案されている。
この特許文献１では、まず、ヒストグラムの度数分布を、所定の上限値でリミットする。次に、この上限リミット後の度数を累積した後に、階調レンジに合わせて正規化し、特性曲線を作成する。このような上限リミットの処理を付加することによって、作成される特性曲線の傾きを制限し、階調補正後の画像に現れる過度な階調補正を回避することができる。
【特許文献１】米国特許第５９２３３８３号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の上限リミットでは、その効果が度数ピークの箇所に限られるため、特性曲線の急激な傾きを全域にわたって抑制することはできず、特性曲線には傾きの急な箇所が現れる。このような傾きの急な特性曲線によって、本来なだらかな階調変化が過度に強調されることになり、やはり不自然な画像になってしまうという問題が相変わらず未解決であった。
【０００７】
さらに、特殊な撮像画像では、原画像中に特定の階調域がもともと存在しない場合がある（以下、原画像中で出現度数がほぼゼロの階調域を欠落階調域という）。ヒストグラム上では、この欠落階調域に出現度数ゼロが並ぶ。その結果、ヒストグラム均等化では、この欠落階調域において累積度数は殆ど変化せず、特性曲線の傾きもほぼゼロとなる。そのため、階調補正後に、この欠落階調域の幅はほぼゼロ近くまで階調圧縮される。この場合、その欠落階調域を挟んで上側と下側の階調が極端に接近し、本来あるべき階調差が失われてしまう。
【０００８】
特に、夜景などの撮像画像では、高輝度側に広範囲の欠落階調域が生じる。ヒストグラム均等化では、この高輝度側の欠落階調域が階調圧縮されることにより、低輝度側が不自然に明るく階調補正されてしまう。その結果、夜景の印象を大きく損なってしまう。
また、このように明るく階調補正される際に、色成分（ＲＧＢ成分など）のいずれかがレンジオーバーし、不自然な色相に変化してしまうといった弊害もあった。
【０００９】
このような欠落階調域の問題は、特許文献１の上限リミットでは一切解決できない。すなわち、上限リミットでは、出現度数が上限値を超えた階調域について対処するものであり、出現度数がゼロに近い欠落階調域については全く対処できないからである。
【００１０】
そこで、本発明は、上述した未解決の欠落階調域の問題を共通課題として、階調補正後の画像が従来よりも自然になるように、ヒストグラム均等化の階調補正を改良することを目的とする。
また、本発明の別の目的は、ヒストグラム均等化の階調変換特性に局所的に現れる特性変化（特に急峻すぎる傾き）を改善することである。
特に、請求項１にかかる発明の別の目的は、ヒストグラム均等化だけでは柔軟性がなく達成が難しい明るさのコントロールを可能にすることである。
さらに、請求項５，６にかかる発明の別の目的は、階調補正の基準値として特に好適な明度値を作成することである。
【課題を解決するための手段】
【００１１】
《請求項１》
請求項１に記載の発明は、原画像の階調を変換する階調補正装置であって、ヒストグラム作成部、第１特性作成部、第２特性作成部、特性合成部、および階調補正部を備える。
このヒストグラム作成部は、原画像の明度（色の濃さおよび明るさを総合的に表す値）についてヒストグラムを作成する。
第１特性作成部は、ヒストグラムの確率密度の粗密を均等に近づける第１階調変換特性を求める。
第２特性作成部は、階調飛びが生じない階調変化に制限した第２階調変換特性を保持する。なお、第２階調変換特性は、階調飛びが生じる程度の急峻すぎる変化が特性曲線にないことを条件にして作成することが好ましい。
特性合成部は、第１階調変換特性および第２階調変換特性を加重合成して、合成済み階調変換特性を作成する。
階調補正部は、原画像を構成する画素単位に、明度を合成済み階調変換特性に照合して入出力階調の比を求め、その比を原画像の色成分に乗じることにより、原画像を階調補正する。
例えば、色の濃さおよび明るさを総合的に表す明度としては、画素ごとの色成分の最大値を用いることが好ましい。
【００１２】
また好ましくは、第２特性作成部が保持する第２階調変換特性を、べき乗カーブを含む特性とする。すなわち、第２階調変換特性の少なくとも一部は、入力ｘに対する出力ｙがべき乗の関係『ｙ−ｙｏ＝Ｃ（ｘ−ｘｏ）a』（ただしａ，Ｃ，ｙｏ，およびｘｏは調整パラメータ）と一致する。
【００１３】
《請求項２》
請求項２に記載の発明は、請求項１に記載の階調補正装置において、ヒストグラム作成部は、原画像から部分画像を抽出し、部分画像からヒストグラムを作成することを特徴とする。
【００１４】
《請求項３》
請求項３に記載の発明は、請求項２に記載の階調補正装置において、ヒストグラム作成部は、原画像の明るさ、色、および『顔判別などの被写体判別』の少なくとも一つの特徴判別に基づいて部分画像の領域を決定することを特徴とする。
【００１５】
《請求項４》
請求項４に記載の発明は、請求項１ないし請求項３のいずれか１項に記載の階調補正装置において、第２特性作成部は、原画像の平均輝度に応じて、第２階調変換特性を調整変更することを特徴とする。
【００１６】
《請求項５》
請求項５に記載の発明は、原画像の階調を変換する階調補正装置であって、第１明度抽出部、第２明度抽出部、明度合成部、特性作成部、および階調補正部を備える。
この第１明度抽出部は、原画像から、色の濃さおよび明るさを総合的に表す値を抽出して第１明度とする。
第２明度抽出部は、原画像を構成する色成分に関する量を加重加算して、第２明度を抽出する。
明度合成部は、第１明度および第２明度を合成して、第３明度を求める。
階調補正部は、原画像を構成する画素単位に、第３明度をパラメータとして入出力階調の比を求め、その比を色成分に乗じることにより、原画像を階調補正する。
例えば、色の濃さおよび明るさを総合的に表す第１明度としては、画素ごとの色成分の最大値を用いることが好ましい。
【００１７】
《請求項６》
請求項６に記載の発明は、請求項５に記載の階調補正装置において、明度合成部は、
原画像の暗い箇所では、原画像の明るい箇所よりも、第２明度の加重比率を高くする。
【００１８】
《請求項７》
請求項７の階調補正プログラムは、コンピュータを、請求項１ないし請求項６のいずれか１項に記載の階調補正装置として機能させるためのプログラムコードを含む。
【発明の効果】
【００１９】
《請求項１〜４》
請求項１〜４の発明は、２種類の階調変換特性を加重合成して、合成済み階調変換特性を作成する。
この内、一方の第１階調変換特性は、明度のヒストグラムを均等に近づけるように作成された特性である。すなわち、第１階調変換特性では、明度ヒストグラムの確率密度の粗密変化が極端な場合、急峻な傾きが局所的に発生する。さらに、第１階調変換特性は、原画像の明度に欠落域が有れば、その欠落域を相対的に階調圧縮する特性である。
【００２０】
一方、第２階調変換特性は、階調飛びが生じない範囲に階調変化を制限した特性である。すなわち、第１階調変換特性で急峻な傾きを持つ部分でも、第２階調階調変換特性は、階調飛びが生じない程度の傾きを維持する。さらに、この第２階調変換特性は、欠落階調域か否かとは無関係に、階調域全体について階調飛びが生じない範囲で階調補正を実施する特性である。
【００２１】
これら２種類の階調変換特性を加重合成することにより、第１階調変換特性の局所的に急峻な特性が、階調飛びを生じない第２階調変換特性によって効果的に緩和される。その結果、明度ヒストグラムの確率密度を均等にある程度近づけつつ、かつ局所的に急峻な傾きや欠落域に起因する不自然さを抑制した『滑らかな特性曲線の合成済み階調変換特性』が得られる。
【００２２】
さらに、この合成済み階調変換特性に明度を入力パラメータとして与え、この合成済み階調変換特性の入出力階調の比を求める。この比を色成分に乗することによって階調補正を行う。この明度は、色の濃さおよび明るさを総合した値であり、言い換えると、色座標空間の色立体（画素の色の座標点が表面に乗るように設定した仮想上の立方体）の大きさにおおよそ対応する値である。
したがって、この明度を基準にした階調補正は、色座標空間の原点を中心に色立体（各画素の色の座標点が表面に乗った立方体）を、上述した比に従って比例拡大または比例縮小することにほぼ等しい。この比例拡大によって色立体をたとえ最大に拡大しても、各画素の色の座標点が、色成分の出力階調レンジで決まる最大の色立体よりも外にはみ出すことは少なく、色成分のいずれかがレンジオーバー（色飽和）する可能性は低い。
このような飽和防止の効果により、色飽和による色相変化がなくなり、階調補正後の画像の色相を自然な印象に保つことが可能になる。
したがって、色飽和による画質劣化が少なく、かつ滑らかで豊かに階調変化する補正画像を得ることが可能になる。
【００２３】
従来、上述したような優れた階調変換特性を作成するためには、ベテランの画像処理技術者が、個々の画像ごとに階調補正カーブを試行錯誤しながら作成しなければならず、手間と時間の非常にかかる作業であった。また、経験やセンスといった要素が必要な作業であるため、そのまま機械化することは不可能であった。
しかしながら、請求項１〜４の発明は、従来難しかったこの作業を、単純なアルゴリズムで的確に実現し、かつ安定した品質の階調変換特性を原画像に合わせて作成できるという点で非常に優れた発明である。
【００２４】
《請求項５，６》
既に述べたように、第１明度（色成分の最大値）を基準に階調補正を行うことにより、色飽和の問題は改善できる。
しかしながら、電子カメラの撮像画像では、特定の色成分（例えばＲ成分）に限ってノイズが多い場合がある。そのため、この特定の色成分が最大値となる箇所では、第１明度のＳ／Ｎが低下する。そのため、この第１明度を基準に階調補正を実施すると、条件によっては階調補正後にノイズが目立つ。
【００２５】
そこで、階調補正後の色飽和などの問題を改善しつつ、ノイズ問題を改善するために、請求項５，６の発明がなされた。
すなわち、色成分に関する量を加重加算して第２明度（例えば輝度Ｙ）を求める。このような第２明度は、特定の色成分のノイズが、加重加算の割合に従って低くなる。
【００２６】
この第２明度と第１明度とを合成して第３明度を求め、この第３明度を基準に階調補正を行うことにより、階調補正後の色飽和の問題を従来よりも改善しつつ、ノイズ問題も改善することが可能になる。
【００２７】
特に、請求項６の発明では、第３明度として、明るい箇所では第１明度を優先し、暗い箇所では第２明度を優先する。このような第３明度を基準にヒストグラム均等化を行うことにより、明るい箇所で発生しやすい飽和の問題を第１明度によって確実に改善しつつ、暗い箇所で目立ちやすいノイズ問題を第２明度によって確実に改善することが可能になる。このように明るさで問題を切り分けることにより、飽和とノイズの問題をどちらも適切に改善することが可能になる。
【発明を実施するための最良の形態】
【００２８】
《第１の実施形態》
［本実施形態の構成説明］
図１は、階調補正装置１１の構成を説明するブロック図である。
この階調補正装置１１は、ヒストグラム作成部１２、第１特性作成部１４、第２特性作成部１３、特性合成部１５、および階調補正部１６を備えて概略構成される。
この内、ヒストグラム作成部１２は、部分画像抽出部２１、明度抽出部２２、明度解析部２３、および平滑化部２４を備える。
また、第２特性作成部１３は、平均輝度算出部３１、およびガンマ決定部３２を備える。
このような構成の階調補正装置１１は、ハードウェアまたはソフトウェアによって実現して、電子カメラに搭載することが好ましい。
また、後述する処理フローを記述した階調補正プログラムを用いて、コンピュータを階調補正装置１１として機能させることもできる。
【００２９】
［階調変換特性の作成動作］
図２は、階調補正装置１１による階調変換特性の作成処理を説明する流れ図である。
以下、図２のステップ番号に沿って、階調変換特性の作成処理を説明する。
【００３０】
ステップＳ１：  階調補正装置１１には、外部から原画像が入力される。この原画像の各画素は、ＲＧＢ色成分のデータから構成される。まず、この原画像は、部分画像抽出部２１に入力される。
部分画像抽出部２１は、この原画像から明るさや肌色領域を識別したり、あるいは公知の顔識別方法を実施することにより、原画像の主な絵柄が、人物・風景のいずれであるかを判定する。
【００３１】
なお、電子カメラには、ユーザーが撮影対象に合わせて撮影モード（風景モードや人物モードなど）を適宜に切り替えるものが知られている。このような電子カメラで撮像された原画像については、電子カメラのシステムコントロール用のＭＰＵから撮影モードの情報を取得することができる。また、原画像のデータファイル内から撮影モードの情報を取得することもできる。部分画像抽出部２１は、この撮影モードから、原画像の主な絵柄が、人物・風景のいずれであるかを判定してもよい。
【００３２】
ステップＳ２：  部分画像抽出部２１は、原画像の主な絵柄が風景であると判定すると、ステップＳ３に動作を移行する。一方、部分画像抽出部２１は、原画像の主な絵柄が人物であると判定すると、ステップＳ４に動作を移行する。
【００３３】
ステップＳ３：  主な絵柄が風景の場合、部分画像抽出部２１は、後述するヒストグラムの母集団を、画面全域に設定する。設定後、部分画像抽出部２１は、ステップＳ５に動作を移行する。
【００３４】
ステップＳ４：  主な絵柄が人物の場合、部分画像抽出部２１は、後述するヒストグラムの母集団を、肌色領域や顔領域を含む部分画像に設定する。設定後、部分画像抽出部２１は、ステップＳ５に動作を移行する。
【００３５】
ステップＳ５：  明度抽出部２２は、選択した母集団について、画素単位にＲＧＢ値の最大値を抽出し、明度Ｌとする。この場合、高速化のために、とびとびのサンプリングで明度Ｌを抽出することが好ましい。また、画像空間上で明度Ｌを局所加算することにより、明度Ｌのノイズを予め低減してもよい。
【００３６】
ステップＳ６：  明度解析部２３は、抽出された明度Ｌについて出現度数を解析し、明度Ｌのヒストグラムを求める。図３（Ａ）は、この明度のヒストグラムの様子を示す説明図である。
【００３７】
ステップＳ７：  平滑化部２４は、ヒストグラムの分布形状を平滑化する。
このような平滑化としては、度数の移動平均（または移動加重平均）を求める処理が好ましい。また、度数のべき乗（０．５〜０．１乗など）を取るなどのソフトリミット的な平滑化処理も好ましい。さらに、移動平均とべき乗の両方を実施してもよい。
図３（Ｂ）は、平滑化後のヒストグラムの様子を示す説明図である。
【００３８】
ステップＳ８：  第１特性作成部１４は、平滑化後のヒストグラムについて、低明度側から累積度数を求める。
【００３９】
ステップＳ９：  第１特性作成部１４は、累積度数の到達値が、階調補正後の出力階調レンジの最大値となるように累積度数を正規化し、第１階調変換特性を得る。
図３（Ｃ）に示す実線カーブは、第１階調変換特性の一例である。
【００４０】
ステップＳ１０：  一方、平均輝度算出部３１は、原画像の輝度を求めて平均し、平均輝度を求める。
【００４１】
ステップＳ１１：  ガンマ決定部３２は、この平均輝度に基づいて、ガンマ変換（ｙ＝Ｃ（ｘ−ｘｏ）a＋ｙｏ）の調整パラメータａ，ｘｏ，ｙｏを決定する。
なお、このガンマ変換において階調飛びが許容範囲を超えて生じる場合には、ガンマ変換の変換カーブを制限する。このような制限手法としては、例えば、階調飛びが生じないように、変換カーブの一部を直線などで置き換えればよい。また例えば、階調飛びが生じないように（ｘｏ，ｙｏ）を設定して、変換カーブの原点をずらしてもよい。
【００４２】
また、平均輝度に対応して調整パラメータａを変更することにより、明るさ調整が実現できる。例えば、平均輝度が暗いほど、調整パラメータａを小さくすることが好ましい（例えばａ＝０．１〜０．３）。その結果、原画像の暗さを適度に補正することができる。
このように作成された第２階調変換特性は、第１階調変換特性の急峻な傾き部分を緩和する効果を持つが、それと同時に、原画像の明るさを補正する効果を持たせることができる。
なお、ガンマ変換の調整パラメータＣについては、出力階調レンジの最大値に応じて算出すればよい。
このような調整パラメータの決定により、第２階調変換特性が得られる。
【００４３】
ステップＳ１２：  特性合成部１５は、ステップＳ９で求めた第１階調変換特性と、ステップＳ１１で求めた第２階調変換特性とを加重合成し、合成済み階調変換特性を得る。作成された合成済み階調変換特性は、階調補正部１６に設定される。
通常、この加重合成の比率（第１：第２）は、例えば、１：１とか、２：１などの所定比率に固定される。
【００４４】
なお、ユーザーの好みに応じた微調整を可能にする場合、加重合成の比率をユーザーが設定入力できるよう、マニュアルスライドバーなどをユーザーに提示することが好ましい。この場合、ユーザーは、この加重合成の比率を変更することにより、画像の味の調整が可能になる。具体的には、紅葉の風景などはその印象を大きく変化させることができる。また、池の鯉などの絵柄では、水面反射の印象を大きく変化させ、あたかも偏光フィルタを着脱したかのような印象の変化を得ることができる。
図４は、このようにして得られる合成済み階調変換特性を示す図である。
【００４５】
［階調補正の動作説明］
図５は、階調補正装置１１による階調補正の動作を説明する図である。
以下、図５に示すステップ番号に沿って、階調補正の動作を説明する。
【００４６】
ステップＳ２１：  階調補正部１６は、階調補正の処理対象の画素を、原画像から選択する。この処理対象の画素について、画素を構成するＲＧＢ値の中から最大値を求めて、明度Ｌとする。
【００４７】
ステップＳ２２：  階調補正部１６は、抽出した明度Ｌを、設定された階調変換特性（上述したケースでは、合成済み階調変換特性）に照合して、入出力階調の比を取得する。なお、『入力階調』と『入出力階調の比』とを対応付けた階調変換特性（式やルックアップテーブル）を用意することにより、比の計算処理を省略することが好ましい。
【００４８】
ステップＳ２３：  階調補正部１６は、取得した比を、処理対象の画素のＲＧＢ色成分にそれぞれ乗じて、階調補正済みのＲＧＢ色成分を得る。なお、ここでの乗算処理はテーブル参照などによって高速に実行することが好ましい。
このような処理を、原画像全体に実施することにより、階調補正の動作を完了する。なお、階調補正の完了後、必要に応じて彩度補正を実施してもよい。
なお、ステップＳ５，Ｓ２１の明度抽出が重複しないようにすることで、処理時間を短縮してもよい。例えば、先に、原画像の全画素について明度Ｌを抽出して、明度画像として記憶しきおき、この明度画像から部分画像の明度Ｌを抽出して、ヒストグラムの母集団として使用してもよい。
【００４９】
［本実施形態の効果など］
上述したように、本実施形態では、明度Ｌのヒストグラムの確率密度の粗密を均等に近づける第１階調変換特性と、階調飛びが生じない第２階調変換特性とを加重合成する。このとき、第１階調変換特性の局所的な急峻すぎる傾きが、第２階調変換特性によって緩和される。その結果、明度ヒストグラムを均等化しつつ、急峻な明度変化を抑制した合成済み階調変換特性を作成することができる。さらに、第２の効果は、第２階調変換特性のガンマａを適当に定めることで、画像の明るさを適切にコントロール可能にした点である。
【００５０】
その上、本実施形態では、原画像の明度Ｌを基準として、合成済み階調変換特性の入出力階調の比を求め、この比を色成分に乗ずることで原画像を階調補正する。
図６（Ａ）は、この明度を基準にした階調補正の効果を説明する図である。
この図において、明度Ｌ１を持つ画素の色（色座標空間上の位置）は、明度Ｌ１の色立体の表面に位置する。本実施形態では、階調補正において、処理対象の画素の明度Ｌ１を合成済み階調変換特性に参照して入出力階調比（Ｌ２／Ｌ１）を求め、この比を処理対象の画素のＲＧＢ色成分に乗じる。この場合、図６（Ａ）に示すように、色座標空間のＲＧＢ色成分は、色立体表面に乗ったまま移動するため、最大の色立体Ｍを決してはみ出すことがない。すなわち、階調補正によって特定の色成分が飽和して不自然な色が生じるなどの弊害が起きない。
【００５１】
ちなみに、図６（Ｂ）に、本実施形態の比較対象として、色成分の線形結合Ｐ１，Ｐ２を基準に階調補正を行うケースを示す。ここでの線形結合は、例えば、ＲＧＢ色成分の所定比の線形結合［Ｐ＝αＲ＋βＧ＋（１−α−β）Ｂ］などである。
この場合、処理対象の画素の線形結合Ｐ１を階調変換特性に参照して入出力階調比（Ｐ２／Ｐ１）を求め、この比を処理対象の画素のＲＧＢ色成分に乗じる。すると、図６（Ｂ）に示すように、色座標空間のベクトルが最大の色立体Ｍを超える可能性が生じる。その結果、特定の色成分（この場合はＲ成分）がレンジオーバーし、高輝度箇所に特定色の飽和による不自然な色が出現してしまう。一方、本実施形態では、上述のように、このような飽和は発生しない。
【００５２】
また、本実施形態の第２階調変換特性は、主としてべき乗カーブからなる。このべき乗カーブは、形状が滑らかに変化するため、ヒストグラム均等化に見られるような局所的な急峻すぎる傾き変化は発生しない。したがって、本実施形態の第２階調変換特性は、ヒストグラム均等化の弊害を緩和する上で、好適な特性である。
なお、第２階調変換特性は、このべき乗関数に限定されない。例えば、第２階調変換特性としては、局所的な傾き変化の少ない単調増加型（ただし、傾きゼロの領域があってもよい）の特性であることが好ましい。また例えば、第２階調変換特性としては、べき乗カーブや、Ｓ字状カーブや、ベジエ曲線のカーブなどが好ましい。
【００５３】
さらに、本実施形態では、ヒストグラムの母集団を状況に応じて画像の部分範囲に限定する。このように母集団を限定することにより、原画像の一部に生じる極端な階調偏りがヒストグラムに現れる可能性が一段と低くなる。その結果、ヒストグラム均等化における局所的な傾き急変による弊害を改善することができる。
また、本実施形態では、肌色に該当する明るさや色を特徴判別して、主要被写体である人物を含む部分範囲を、ヒストグラムの母集団としている。その結果、人物の肌部分におけるヒストグラムの偏りを的確に検出できる。また、この肌部分のヒストグラムの偏りを、予め設定される肌部分として好ましいヒストグラム分布に補正するように、階調変換特性を作成することができる。その結果、肌部分以外の箇所の影響を受けずに、良好な階調変換特性を作成できる。（例えば、晴天下の暗い影部分などを、肌部分以外の影響を受けずに、適切に明るく補正することが可能となり、暗部潰れの少ないポートレート画像を得ることができる。）
【００５４】
なお、ヒストグラムの母集団を範囲限定するに際して、部分画像抽出部２１が次のような処理（１）〜（３）を行ってもよい。
（１）まず、原画像をマルチエリアに分割し、個々の分割エリアごとに輝度（または色成分）と、全エリアの最大輝度（または最大色成分）との差をパラメータにして求める。
（２）一方、部分画像抽出部２１には、このパラメータと、最適な分割エリア（複数の分割エリアの組み合わせでもよい）との対応関係が、予め記憶されている。この対応関係は、多数の実写結果に基づいて用意されたものである。
（３）部分画像抽出部２１は、原画像から求めたパラメータを、この対応関係に参照することにより、最適な分割エリア（あるいは分割エリアの優先順に従った重み付け）を決定する。このような範囲設定では、逆光撮影などの状況において、最適な分割エリアを設定することが可能となり、ヒストグラム均等化の弊害を一段と防止できる。
【００５５】
また、撮影意図を撮影モードやユーザー入力などから判定できれば、この撮影意図に応じて、ヒストグラムの母集団を限定する手法を柔軟に変更してもよい。例えば、紅葉撮影モードであれば、紅葉に該当する赤や黄色や明るさの領域を識別して母集団を限定すればよい。
【００５６】
さらに、本実施形態では、原画像の平均輝度に応じて、第２階調変換特性を変更する。したがって、最終的な合成済み階調変換特性を、原画像の明るさを適度に補正する方向にシフトすることが可能となる。その結果、ヒストグラム均等化という機械的な階調補正に対して、原画像の明るさを適度にするという調整要素を加味することが可能になる。その結果、ベテランの画像処理者でなければ従来作成できなかった複数の調整要素を考慮した階調変換特性が、簡単なアルゴリズムで作成できる。
【００５７】
その上、原画像の平均輝度（好ましくは分割エリアごとの平均輝度）から、夜景撮影、星夜撮影、または花火撮影であることを認識することもできる。この場合は、暗部を必要以上に明るく補正しないように、第２階調変換特性を制限することもできる。この場合、ヒストグラム均等化において不自然に明るく補正されていた夜景画像などを、夜景の印象を大切に維持して階調補正することが可能になる。
【００５８】
さらに、本実施形態では、ヒストグラムの分布形状を平滑化する。この平滑化処理により、ヒストグラムの極端な起伏がなだらかに抑制される。その結果、ヒストグラムの極端な度数変化が小さくなり、ヒストグラム均等化の特性曲線に局所的に現れる急峻な傾きを効果的に抑制することが可能になる。このような作用により、図３（Ｃ）に示すように、局所的な傾き変化を抑制した第１階調変換特性を作成できる。
ちなみに、図３（Ｃ）には、比較対象として、従来のヒストグラム均等化で求めた変換特性と、従来の上限リミットで求めた変換特性とを併せて示す。これら従来の変換特性に比べて、本実施形態の第１階調変換特性は、局所的な傾き変化が少なく、良好な階調変換特性が得られている。
特に、ヒストグラムの平滑化により、欠落階調域とそれ以外の階調域（出現度数が中程度の領域も含む）との度数差が小さくなり、ヒストグラム均等化における欠落階調域の弊害を改善することもできる。
なお、移動平均（または移動加重平均）のように、欠落階調域を周囲の度数値によって埋めるような平滑化が特に好ましい。このような平滑化では、ヒストグラム分布上において、大きな度数の山部分を引き下げるだけではなく、低い度数の谷部分をバランス良く持ち上げる効果がある。その結果、ヒストグラム均等化の特性曲線の急峻な傾き箇所を抑制しつつ、その抑制した分を特性曲線の緩い傾き箇所にバランス良く配分できる。このような傾き配分の効果により、特性曲線上において、局所的に急峻な箇所が新たに生じることがない。
また、移動平均では、欠落階調域を根本的に除去したり、欠落階調域の幅を狭めたり、欠落階調域とその隣接域との度数変化をなだらかに連続させることができる。その結果、欠落階調域に起因する従来の弊害の多くを確実に改善できる。
【００５９】
なお、特許文献１の上限リミットはハードリミットであり、本実施形態の平滑化と明確に異なる。つまり、上限リミットでは、欠落階調域とは殆ど無関係なヒストグラム分布のピーク部分を局所的にカットする機能しかない。したがって、特許文献１の上限リミットでは、上述した本実施形態の作用効果を達成できない。
【００６０】
なお、本実施形態では、この第１階調変換特性を、第２階調変換特性と加重合成している。しかしながら、これに限定されず、平滑化後のヒストグラムを用いて求めた第１階調変換特性をそのまま使って、階調補正を実施しても勿論よい。この場合も、従来の弊害を改善した階調補正結果を得ることが十分可能である。
【００６１】
また、従来のヒストグラム均等化により第１階調変換特性を作成し、第２階調変換特性と加重合成してもよい。この場合も、従来の弊害を改善した階調補正結果を得ることが十分可能である。
次に、別の実施形態について説明する。
【００６２】
《第２の実施形態》
図７は、第２の実施形態における階調補正装置４０の構成を説明する図である。なお、この階調補正装置４０は、ハードウェアにより実現してもよい。また、階調補正プログラムにより、コンピュータを階調補正装置して機能させてもよい。
第２の実施形態における構成上の特徴は、第１の実施形態の特性合成部１５に代えて、曲線近似部４５を配置した点である。なお、第１の実施形態（図１）と同じ構成要件について、図７に同じ参照符号を図示し、ここでの重複説明を省略する。
【００６３】
図８は、第２の実施形態における階調変換特性の作成処理を示す流れ図である。
図８において、ステップＳ１〜Ｓ９の動作については、第１の実施形態（図２）と同一動作であるため、ここでの重複説明を省略する。
第２の実施形態における動作上の特徴点は、ステップＳ３０である。すなわち、ヒストグラム均等化あるいはその変形手法で得られた階調変換特性（ここでは第１階調変換特性）を、曲線関数で近似して近似階調変換特性を求める。近似手法としては、最小二乗法などが好ましい。
【００６４】
この場合の曲線関数としては、局所的な傾き変化の少ない単調増加型（ただし、傾きゼロの領域があってもよい）の曲線関数であることが好ましい。例えば、べき乗関数や、Ｓ字状カーブの関数や、ベジエ曲線などが好ましい。また例えば、曲線関数については、階調飛びを防止するなどの理由から、曲線の一部を直線に置き換えることが好ましい。
また、複数の曲線関数を用いてそれぞれに曲線近似を行い、近似誤差の一番小さいものを選択してもよい。あるいは、階調変換特性から複数点をサンプルし、これら複数点の大小関係に合致する曲線関数を選択して、曲線近似を実施してもよい。
【００６５】
近似階調変換特性では、このような曲線近似の作用により、図９に示すように、ヒストグラム均等化の全体傾向を反映しつつも、局所的な傾き変化が効果的に除去される。その結果、ヒストグラム均等化に特有な不自然な階調補正を抑えつつ、階調の偏りの全体傾向を良好に階調補正することが可能になる。
この近似階調変換特性では、欠落階調域や急峻な傾きに起因する従来の弊害の多くが改善されている。特に、階調補正の特性曲線が局所的に歪んで生じる『階調段差（偽輪郭）』や『階調差の欠落』を適切に低減することができる。
【００６６】
なお、このように求めた近似階調変換特性と、上述した第２階調変換特性とを加重合成することにより、合成済み階調変換特性を作成してもよい。この場合は、第２階調変換特性を調整変更することによって、階調補正の様々な要望を柔軟に加味できる。
【００６７】
また、従来のヒストグラム均等化によって作成した階調変換特性を曲線近似することによって、近似階調変換特性を作成してもよい。この場合も、従来の弊害を改善した階調補正結果を得ることが十分可能である。
【００６８】
《第３の実施形態》
第３実施形態の特徴は、上述した実施形態の明度Ｌの代わりに、図１０に示す作成手順で作成される第３明度を使用する点である。なお、第３明度の使用法については、上述した実施形態の明度Ｌと同じであるため、ここでの説明を省略する。
以下、図１０を用いて、この第３明度の作成手順について説明する。
【００６９】
ステップＳ４１：  画素単位に原画像のＲＧＢ色成分から最大値を求め、第１明度Ｌとする。
ちなみに、上述した実施形態の明度Ｌを、第１明度Ｌとしてそのまま使用すればよい。
【００７０】
ステップＳ４２：  画素単位に原画像のＲＧＢ色成分を下式に従って加重加算し、第２明度Ｐとする。
Ｐ＝αＲ＋βＧ＋（１−α−β）Ｂ
上式の加重比率については、１：１：１でも１：２：１でもよいし、輝度Ｙの加重比率（３：６：１など）に一致させてもよい。
【００７１】
また例えば、ノイズ量の多い色成分ほど、上式の加重比率を小さくすることにより、ノイズの影響を軽減することも好ましい。
なお、ここで加重加算するのは色成分に関する量であればよく、例えば、色成分を線形変換して求めた量でもよいし、色成分をガンマ補正した量でもよい。
また、処理高速化のため、画面上でとびとびにサンプリングした位置について、第２明度Ｐを求めてもよい。
【００７２】
ステップＳ４３：  画素単位に、第１明度Ｌと第２明度Ｐとを合成して、第３明度Ｍを求める。この場合、暗い箇所ほど、第３明度Ｍに含まれる第２明度Ｐの割合を大きくすることが好ましい。例えば、下式により、このような要件を満足する第３明度Ｍを生成することができる。
Ｍ＝Ｓ・Ｌ＋（１−Ｓ）・Ｐ
あるいは、
Ｍ＝（１＋Ｓ）・Ｌ／２＋（１−Ｓ）・Ｐ／２
ただし、加重比率Ｓは、対象画素の明るさの評価値であればよい。例えば、Ｓとしては、第１明度Ｌ、第２明度Ｍ，またはこれらの平均値や合成値などを、数値範囲０〜１に正規化して使用すればよい。
【００７３】
また、このような正規化済みの明るさ評価値に対してべき乗を取るなどして、加重比率Ｓを非線形化してもよい。このような加重比率Ｓの非線形化により、ノイズが問題となる暗い箇所において、第３明度Ｍに含まれる第２明度Ｐの割合を非線形に大きくすることが可能になる。
この場合、０≦ｗ（Ｓ）≦１に規格化された重み関数ｗ（Ｓ）として、
Ｍ＝ｗ（Ｓ）・Ｌ＋（１−ｗ（Ｓ））・Ｐ
あるいは、
Ｍ＝（１＋ｗ（Ｓ））・Ｌ／２＋（１−ｗ（Ｓ））・Ｐ／２
となる。
【００７４】
また例えば、加重比率Ｓを折れ線化することによって、ノイズが問題となる程度に暗い箇所において、第３明度Ｍとして第２明度Ｐをそのまま選択し、色成分の飽和が問題となる程度に明るい箇所で、第３明度Ｍとして第１明度Ｌをそのまま選択することもできる。
【００７５】
上述した第１および第２の実施形態において、明度Ｌの代わりに、この第３明度Ｍを採用した場合、階調補正におけるノイズおよび飽和の問題を、その箇所の明るさに応じて、臨機応変に改善することが可能になる。
【００７６】
《実施形態の補足事項》
なお、本発明の階調補正は、画素値の再量子化（１２ビットを８ビットに変換など）と合わせて実施しても勿論よい。このとき、明度を基準にしない階調補正であれば、階調変換特性のデータテーブルの出力値に、再量子化後の値を予め設定しておけばよい。また、明度を基準にした階調補正では、入出力階調の比と色成分との乗算処理に際して再量子化を実施することが好ましい。すなわち、この乗算処理に使用する乗算用データテーブルの出力値に、再量子化後の値を設定すればよい。このような処理により、本発明において、階調補正および再量子化という複数処理を一緒に実行することが可能になる。
【００７７】
また、上述した実施形態では、ＲＧＢ色成分を階調補正するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。例えば、補色成分やＹＣｂＣｒ成分などの色成分（本発明ではＹも色成分の一つとする）について階調補正する場合に、本発明を適用することも勿論可能である。
【００７８】
なお、上述した実施形態では、人物／風景を識別して、ヒストグラムの母集団を切り換えている。しかしながら、このような母集団の切り換え処理については省略してもかまわない。また、常に一定範囲（中央の画面１／４など）を、ヒストグラムの母集団に設定してもよい。また例えば、撮影時の焦点検出エリアや、画像圧縮時のＲＯＩ（関心領域）の情報を情報取得できる場合には、その領域付近を、ヒストグラムの母集団に選択してもよい。
【００７９】
また、上述した実施形態では、各画素から色成分の最大値を抽出して明度Ｌとし、その明度を基準にしてヒストグラム均等化の階調補正を実施している。しかしながら、本発明はこれに限定されるものではない。例えば、この明度Ｌの代わりに、輝度Ｙや特定の色成分（例えばＧ色成分）などを基準に使用して、ヒストグラム均等化の階調補正を実施してもよい。このような輝度Ｙなどを基準としたヒストグラム均等化においても、上述した実施形態（第１階調変換特性と第２階調変換特性の合成など）は、局所的に急峻な階調変化を軽減できるなどの効果がある。
【産業上の利用可能性】
【００８０】
以上説明したように、本発明は、画像の階調補正を行う産業分野で利用可能な発明である。
【図面の簡単な説明】
【００８１】
【図１】階調補正装置１１の構成を説明するブロック図である。
【図２】階調変換特性の作成動作を説明する流れ図である。
【図３】ヒストグラムを平滑化した後、ヒストグラム均等化を実施する動作を説明する図である。
【図４】合成済み階調変換特性を示す図である。
【図５】階調補正の動作を説明する図である。
【図６】明度に基づく階調補正を説明する図である。
【図７】階調補正装置４０の構成を説明する図である。
【図８】階調変換特性の作成処理を示す流れ図である。
【図９】近似階調変換特性を示す図である。
【図１０】明度の作成例を示す流れ図である。
【符号の説明】
【００８２】
１１  階調補正装置
１２  ヒストグラム作成部
１３  第２特性作成部
１４  第１特性作成部
１５  特性合成部
１６  階調補正部
２１  部分画像抽出部
２２  明度抽出部
２３  明度解析部
２４  平滑化部
３１  平均輝度算出部
３２  ガンマ決定部
４０  階調補正装置
４５  曲線近似部
【図１】
2005130484.tif 000003
【図２】
2005130484.tif 000004
【図３】
2005130484.tif 000005
【図４】
2005130484.tif 000006
【図５】
2005130484.tif 000007
【図６】
2005130484.tif 000008
【図７】
2005130484.tif 000009
【図８】
2005130484.tif 000010
【図９】
2005130484.tif 000011
【図１０】
2005130484.tif 000012