(57)【特許請求の範囲】
【請求項１】
画像データを最適露出に補正するための画像処理装置において、
画素単位に分解した前記画像データのＲ，Ｇ，Ｂ頻度分布を再現領域に拡大するために画像データの補正を行うダイナミックレンジ拡大手段と、
前記ダイナミックレンジ拡大手段によるダイナミックレンジ拡大後の画像データに明るさを表すヒストグラムにおいて所定割合の頻度積算値に対応するレベル値を用いて露出補正が必要か否かを判断する手段と、
前記判断する手段により前記露出補正が必要と判断されたとき、画像にハイライト部が存在する割合に応じて露出補正量を変更して露出補正を行う露出補正手段と、を備えていることを特徴とする画像処理装置。
【請求項２】
前記露出補正手段は、前記ヒストグラム中央値より補正量を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記露出補正手段は、
前記露出補正量を変更するためのハイライト部が存在する割合をシーンに応じて異ならせることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記露出補正手段は
前記ダイナミックレンジ拡大手段における処理の影響度合いと、ハイライト部が存在する割合とに応じて前記露出補正量を変更し露出補正を行うことを特徴とする請求項１〜３の何れかの一に記載の画像処理装置。
【請求項５】
前記ダイナミックレンジ拡大手段は、少なくとも逆光状態に応じて前記補正を変えることを特徴とする請求項１〜４の何れかの一に記載の画像処理装置。
【請求項６】
前記露出補正手段は、
前記露出補正としてトーンカーブ補正を行い、この場合のトーンカーブの形状は入力レベルの低領域において１次直線、高領域において上に凸の２次放物線として、シーンや露出に応じて接点位置を異ならせることを特徴とする請求項１〜５の何れかの一に記載の画像処理装置。
【請求項７】
前記露出補正手段は、
前記２つのトーンカーブを接点において接線接続することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
露出補正手段は、
前記ハイライト部を画像の２次元位置座標平面上で連続領域としていることを特徴とする請求項１〜７の何れかの一に記載の画像処理装置。
【請求項９】
画像データを最適露出に補正するための画像処理装置において、
画素単位に分解した前記画像データのＲ，Ｇ，Ｂ頻度分布を再現領域に拡大するために画像データの補正係数を算出するダイナミックレンジ拡大補正係数算出手段と、
ダイナミックレンジ拡大後の画像データに明るさを表すヒストグラムにおいて所定割合の頻度積算値に対応するレベル値を用いて露出補正が必要か否かを判断する手段と、
前記判断する手段により前記露出補正が必要と判断されたとき、画像にハイライト部が存在する割合に応じて露出補正量を変更し露出補正を行うための補正係数を算出する露出補正係数算出手段と、
前記ダイナミックレンジ拡大補正係数及び前記露出補正係数とを用いて補正テーブルを作成して色変換処理を行う変換手段と、を備えていることを特徴とする画像処理装置。
【請求項１０】
画像データを最適露出に補正するための画像処理をコンピュータに実行させるコンピュータに読み取り可能なプログラムにおいて、
画素単位に分解した前記画像データのＲ，Ｇ，Ｂ頻度分布を再現領域に拡大するために画像データの補正を行うダイナミックレンジ拡大処理と、
前記ダイナミックレンジ拡大処理によるダイナミックレンジ拡大後の画像データに明るさを表すヒストグラムにおいて所定割合の頻度積算値に対応するレベル値を用いて露出補正が必要か否かを判断する処理と、
前記判断する処理により前記露出補正が必要と判断されたとき、画像にハイライト部が存在する割合に応じて露出補正量を変更し露出補正を行う露出補正処理と、コンピュータに実行させることを特徴とするプログラム。
【請求項１１】
前記露出補正処理は、前記ヒストグラム中央値より補正量を決定することを特徴とする請求項１０に記載のプログラム。
【請求項１２】
前記露出補正処理は、
前記露出補正量を変更するためのハイライト部が存在する割合をシーンに応じて異ならせることを特徴とする請求項１０又は１１に記載のプログラム。
【請求項１３】
前記露出補正処理は、前記ダイナミックレンジ拡大手段における処理の影響度合いと、ハイライト部が存在する割合とに応じて前記露出補正量を変更し露出補正を行うことを特徴とする請求項１０〜１２の何れかの一に記載のプログラム。
【請求項１４】
前記ダイナミックレンジ拡大処理は、
少なくとも逆光状態に応じて前記補正を変えることを特徴とする請求項１０〜１３の何れかの一に記載のプログラム。
【請求項１５】
前記露出補正処理は、
前記露出補正としてトーンカーブ補正を行い、この場合のトーンカーブの形状は入力レベルの低領域において１次直線、高領域において上に凸の２次放物線として、シーンや露出に応じて接点位置を異ならせることを特徴とする請求項１０〜１４の何れかの一に記載のプログラム。
【請求項１６】
前記露出補正処理は、
前記２つのトーンカーブを接点において接線接続することを特徴とする請求項１５に記載のプログラム。
【請求項１７】
露出補正処理は、
前記ハイライト部を画像の２次元位置座標平面上で連続領域としていることを特徴とする請求項１０〜１６の何れかの一に記載のプログラム。
【請求項１８】
画像データを最適露出に補正するための画像処理をコンピュータに実行させるコンピュータに読み取り可能なプログラムにおいて、
画素単位に分解した前記画像データのＲ，Ｇ，Ｂ頻度分布を再現領域に拡大するために画像データの補正係数を算出するダイナミックレンジ拡大補正係数算出処理と、
ダイナミックレンジ拡大後の画像データに明るさを表すヒストグラムにおいて所定割合の頻度積算値に対応するレベル値を用いて露出補正が必要か否かを判断する処理と、
前記判断する処理により前記露出補正が必要と判断されたとき、画像にハイライト部が存在する割合に応じて露出補正量を変更し露出補正を行うための補正係数を算出する露出補正係数算出処理と、
前記ダイナミックレンジ拡大補正係数及び前記露出補正係数とを用いて補正テーブルを作成して色変換処理を行う変換処理と、をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、画像処理装置及びプログラムに関する。
【０００２】
【従来の技術】
特開平１１−１３６５１４号公報には、均等サンプリングデータから、エッジ変化の大きい部分を主被写体として検出し、その中央値より露出補正量を設定する技術が開示されている。また、γ変換カーブを使用して露出補正を行っている点が開示されている。
【０００３】
特開２０００−１３６２４公報には、複数のハイライト検出方法を有し、原画像の特性に応じてハイライトポイントを選択し、色処理条件（画像の明るさを変えるための露出補正処理）を異ならせる技術が開示されている。
【０００４】
【発明が解決しようとする課題】
従来のカメラ及びデジタルカメラ等には、撮影時の露出を常に最適に保つための自動露出制御装置が設けられている。露出制御方式には、光量検出のため画面を複数の適当な領域に分割し、領域ごとの重み付けを行い、加重平均を取り、絞やシャッタスピードなどを調節する方法が一般的で、単に画面全体の加重平均を取る方式は平均測光方式と呼ばれる。また，撮影時、主被写体は画面中心になることが多いため、中央部を重点的に測光する方式は、中央重点測光方式と呼ばれる。
【０００５】
これらの方式では、測光エリアの明るさに対する平均値や中央値で露出を判断する。しかし、『明るさの平均値、又は中央値』が必ずしも主被写体の適正露出とは限らない。例えば、主被写体の真後ろに光源が存在し、背景と主被写体との輝度差が大きい、『真逆光』状態で撮影したり、夜景を背景に主被写体を撮影（以下、このような撮影状況を『夜間撮影』と呼ぶ）する場合、デジタルカメラの機能である『夜景モード』で撮影しても主被写体はアンダーになってしまう。
【０００６】
あるいは、夜間撮影でもフラッシュを用いると、シャッタスピードは固定であるため、フラッシュの光が弱いと主被写体はアンダーになってしまう。
【０００７】
すなわち、現在のデジタルカメラにおける自動露出制御方式ではさまざまな撮影条件に対応できていない。
【０００８】
近年、パソコンやインターネット、家庭用プリンタの普及により、デジタルデータで写真画像を扱う機会が増えており、それに伴いデジタル写真画像データ（以下、単に『画像データ』と呼ぶ）を自動的に露出補正する技術も多数提案されている。
【０００９】
ここで、露出補正とは、シーンに対して不適切な明るさの画像をシーンに適した明るさに調節することを意味する。例えば、露出不足で全体に暗い被写体や、逆光で暗くなっている被写体を明るくしたり、露出オーバな被写体を暗くしたりすることである。カメラでの露出補正は、レンズに入る入射光量を調節するために絞りやシャッタスピードを変える方法が一般的である。また、プリンタやディスプレイでは、入出力変換関数等を用いて、入力信号の明るさに対し出力信号の明るさを最適化するための処理等を意味する。
【００１０】
前記特開平１１−１３６５１４号公報に開示の技術では、画像データからエッジ変化の大きい領域を主被写体として検出し、その中央値より露出補正量を設定する。しかし、エッジ部分（すなわちコントラスト変化の大きい部分）は必ずしも主被写体と一致しないため、その中央値を主被写体の特徴量と断定できないという不具合がある。
【００１１】
ここで、図９に露出補正の必要な画像、図１０に露出補正の不必要な画像の輝度ヒストグラムを示す。どちらの画像も暗所で撮影されており、ヒストグラムの中央値は非常に低い。しかし、露出補正が不必要な画像は図中の矢印で示す部分にある程度のハイライト部を含んでいることがわかる。
【００１２】
つまり、被写体抽出が不確かなのであれば被写体抽出を行わず、ある所定割合を超えるハイライト部がある領域に存在するか否かを調べれば良く、存在すればそれ以上の補正を行う必要はないことになる。
【００１３】
また、特開平１１−１３６５１４号公報に開示されている、エッジ部分を得るための処理は複雑なため、処理速度も大きくなってしまう不具合がある。
【００１４】
また、特開平１１−１３６５１４号公報の技術では、γ変換カーブを使用して露出補正を行っているが、そのような変換カーブを用いると低レベル領域の持ち上がりが大きいためノイズが強調されてしまうという不具合もある。
【００１５】
この発明の目的は、露出適性部が存在する割合に応じて露出補正量を変更し露出補正を行うことにより、過度な露出補正を防ぐことである。
【００１６】
この発明の目的は、被写体抽出などを行わず簡単にかつ迅速に露出補正の必要性を判断し、また、適切な補正量を得ることである。
【００１７】
この発明の目的は、シーンに応じた高精細な補正効果を得ることである。
【００１８】
この発明の目的は、過度な露出補正を防ぎ原画の雰囲気を保つことである。
【００１９】
この発明の目的は、シーンに適したコントラスト強調を行うことである。
【００２０】
この発明の目的は、低中領域のコントラストを強調しつつ露出補正を行ない、また、適切なトーンカーブを作成することである。
【００２１】
この発明の目的は、接点の出力レベルにおいて階調再現性を保つことである。
【００２２】
この発明の目的は、過度な露出補正を防ぎ、また、速度を向上させることである。
【００２３】
この発明の目的は、高精細な補正を行うことである。
【００２４】
【課題を解決するための手段】
請求項１に記載の発明は、画像データを最適露出に補正するための画像処理装置において、画素単位に分解した前記画像データのＲ，Ｇ，Ｂ頻度分布を再現領域に拡大するために画像データの補正を行うダイナミックレンジ拡大手段と、前記ダイナミックレンジ拡大手段によるダイナミックレンジ拡大後の画像データに明るさを表すヒストグラムにおいて所定割合の頻度積算値に対応するレベル値を用いて露出補正が必要か否かを判断する手段と、前記判断する手段により前記露出補正が必要と判断されたとき、画像にハイライト部が存在する割合に応じて露出補正量を変更して露出補正を行う露出補正手段と、を備えていることを特徴とする画像処理装置である。
【００２５】
したがって、露出適性部が存在する割合に応じて露出補正量を変更し露出補正を行うことにより、過度な露出補正を防ぐことができる。また、明るさを表すヒストグラムにおける頻度積算値の所定割合に対応するレベル値を用いて、所定割合以上のハイライト部が存在するか否かを判断することにより、被写体抽出などを行わず簡単にかつ迅速に露出補正の必要性を判断することができる。
【００２６】
請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記露出補正手段は、前記ヒストグラム中央値より補正量を決定することを特徴とする。
【００２７】
したがって、輝度ヒストグラムの中央値から補正量を決定することにより、適切な補正量を得ることができる。
【００２８】
請求項３に記載の発明は、請求項１又は２に記載の画像処理装置において、前記露出補正手段は、前記露出補正量を変更するためのハイライト部が存在する割合をシーンに応じて異ならせることを特徴とする。
【００２９】
したがって、露出補正量を変更するためのハイライト部が存在する割合を、逆光画像や夜間人物画像などのシーンで異ならせることにより、シーンに応じた高精細な補正効果を得ることができる。
【００３０】
請求項４に記載の発明は、請求項１〜３の何れかの一に記載の画像処理装置において、前記露出補正手段は、前記ダイナミックレンジ拡大手段における処理の影響度合いと、ハイライト部が存在する割合とに応じて前記露出補正量を変更し露出補正を行うことを特徴とする。
【００３１】
したがって、ダイナミックレンジ拡大処理の影響度合いが大きかった絵柄に対し、更なる露出補正を行う必要があるか否かを検討することにより、過度な露出補正を防ぎ原画の雰囲気を保つことができる。
【００３２】
請求項５に記載の発明は、請求項１〜４の何れかの一に記載の画像処理装置において、前記ダイナミックレンジ拡大手段は、少なくとも逆光状態に応じて前記補正を変えることを特徴とする。
【００３３】
したがって、シーンを少なくとも真逆光とその他に分け、各々に対しダイナミックレンジの再現領域を異ならせることにより、シーンに適したコントラスト強調を行うことができる。
【００３４】
請求項６に記載の発明は、請求項１〜５の何れかの一に記載の画像処理装置において、前記露出補正手段は、前記露出補正としてトーンカーブ補正を行い、この場合のトーンカーブの形状は入力レベルの低領域において１次直線、高領域において上に凸の２次放物線として、シーンや露出に応じて接点位置を異ならせることを特徴とする。
【００３５】
したがって、ダークレベルに偏っている画像情報を補正する際に、トーンカーブの形は低領域に直線、高領域に上向き凸の２次放物線を用いることにより、低中領域のコントラストを強調しつつ露出補正を行うことができる。また、シーンや露光状態に応じ、直線と放物線の接点を異ならせることにより、適切なトーンカーブを作成することができる。
【００３６】
請求項７に記載の発明は、請求項６に記載の画像処理装置において、前記露出補正手段は、前記２つのトーンカーブを接点において接線接続することを特徴とする。
【００３７】
したがって、直線と放物線が接点において接線接続することにより、接点の出力レベルにおいて階調再現性を保つことができる。
【００３８】
請求項８に記載の発明は、請求項１〜７の何れかの一に記載の画像処理装置において、露出補正手段は、前記ハイライト部を画像の２次元位置座標平面上で連続領域としていることを特徴とする。
【００３９】
したがって、露出適性部が存在する割合に応じて露出補正量を変更し露出補正を行うことにより、過度な露出補正を防ぐことができる。また、画素ごとに変換を行うのではなく、補正テーブルを作成し色変換処理を行うことにより、速度を向上させることできる。
【００４０】
請求項９に記載の発明は、画像データを最適露出に補正するための画像処理装置において、画素単位に分解した前記画像データのＲ，Ｇ，Ｂ頻度分布を再現領域に拡大するために画像データの補正係数を算出するダイナミックレンジ拡大補正係数算出手段と、ダイナミックレンジ拡大後の画像データに明るさを表すヒストグラムにおいて所定割合の頻度積算値に対応するレベル値を用いて露出補正が必要か否かを判断する手段と、前記判断する手段により前記露出補正が必要と判断されたとき、画像にハイライト部が存在する割合に応じて露出補正量を変更し露出補正を行うための補正係数を算出する露出補正係数算出手段と、前記ダイナミックレンジ拡大補正係数及び前記露出補正係数とを用いて補正テーブルを作成して色変換処理を行う変換手段と、を備えていることを特徴とする画像処理装置である。
【００４１】
したがって、意味のあるハイライト部のみを用いて露出補正の必要性を判断することにより、高精細な補正を行うことができる。
【００４２】
請求項１０に記載の発明は、画像データを最適露出に補正するための画像処理をコンピュータに実行させるコンピュータに読み取り可能なプログラムにおいて、画素単位に分解した前記画像データのＲ，Ｇ，Ｂ頻度分布を再現領域に拡大するために画像データの補正を行うダイナミックレンジ拡大処理と、前記ダイナミックレンジ拡大処理によるダイナミックレンジ拡大後の画像データに明るさを表すヒストグラムにおいて所定割合の頻度積算値に対応するレベル値を用いて露出補正が必要か否かを判断する処理と、前記判断する処理により前記露出補正が必要と判断されたとき、画像にハイライト部が存在する割合に応じて露出補正量を変更し露出補正を行う露出補正処理と、コンピュータに実行させることを特徴とするプログラムである。
【００４３】
したがって、露出適性部が存在する割合に応じて露出補正量を変更し露出補正を行うことにより、過度な露出補正を防ぐことができる。また、明るさを表すヒストグラムにおける頻度積算値の所定割合に対応するレベル値を用いて、所定割合以上のハイライト部が存在するか否かを判断することにより、被写体抽出などを行わず簡単にかつ迅速に露出補正の必要性を判断することができる。
【００４４】
請求項１１に記載の発明は、請求項１０に記載のプログラムにおいて、前記露出補正処理は、前記ヒストグラム中央値より補正量を決定することを特徴とする。
【００４５】
したがって、輝度ヒストグラムの中央値から補正量を決定することにより、適切な補正量を得ることができる。
【００４６】
請求項１２に記載の発明において、請求項１０又は１１に記載のプログラムにおいて、前記露出補正処理は、前記露出補正量を変更するためのハイライト部が存在する割合をシーンに応じて異ならせることを特徴とする。
【００４７】
したがって、露出補正量を変更するためのハイライト部が存在する割合を、逆光画像や夜間人物画像などのシーンで異ならせることにより、シーンに応じた高精細な補正効果を得ることができる。
【００４８】
請求項１３に記載の発明は、請求項１０〜１２の何れかの一に記載のプログラムにおいて、前記露出補正処理は、前記ダイナミックレンジ拡大手段における処理の影響度合いと、ハイライト部が存在する割合とに応じて前記露出補正量を変更し露出補正を行うことを特徴とする。
【００４９】
したがって、ダイナミックレンジ拡大処理の影響度合いが大きかった絵柄に対し、更なる露出補正を行う必要があるか否かを検討することにより、過度な露出補正を防ぎ原画の雰囲気を保つことができる。
【００５０】
請求項１４に記載の発明は、請求項１０〜１３の何れかの一に記載のプログラムにおいて、前記ダイナミックレンジ拡大処理は、少なくとも逆光状態に応じて前記補正を変えることを特徴とする。
【００５１】
したがって、シーンを少なくとも真逆光とその他に分け、各々に対しダイナミックレンジの再現領域を異ならせることにより、シーンに適したコントラスト強調を行うことができる。
【００５２】
請求項１５に記載の発明は、請求項１０〜１４の何れかの一に記載のプログラムにおいて、前記露出補正処理は、前記露出補正としてトーンカーブ補正を行い、この場合のトーンカーブの形状は入力レベルの低領域において１次直線、高領域において上に凸の２次放物線として、シーンや露出に応じて接点位置を異ならせることを特徴とする。
【００５３】
したがって、ダークレベルに偏っている画像情報を補正する際に、トーンカーブの形は低領域に直線、高領域に上向き凸の２次放物線を用いることにより、低中領域のコントラストを強調しつつ露出補正を行うことができる。また、シーンや露光状態に応じ、直線と放物線の接点を異ならせることにより、適切なトーンカーブを作成することができる。
【００５４】
請求項１６に記載の発明は、請求項１５に記載のプログラムにおいて、前記露出補正処理は、前記２つのトーンカーブを接点において接線接続することを特徴とする。
【００５５】
したがって、直線と放物線が接点において接線接続することにより、接点の出力レベルにおいて階調再現性を保つことができる。
【００５６】
請求項１７に記載の発明は、請求項１０〜１６の何れかの一に記載のプログラムにおいて、露出補正処理は、前記ハイライト部を画像の２次元位置座標平面上で連続領域としていることを特徴とする。
【００５７】
したがって、露出適性部が存在する割合に応じて露出補正量を変更し露出補正を行うことにより、過度な露出補正を防ぐことができる。また、画素ごとに変換を行うのではなく、補正テーブルを作成し色変換処理を行うことにより、速度を向上させることできる。
【００５８】
請求項１８に記載の発明は、画像データを最適露出に補正するための画像処理をコンピュータに実行させるコンピュータに読み取り可能なプログラムにおいて、画素単位に分解した前記画像データのＲ，Ｇ，Ｂ頻度分布を再現領域に拡大するために画像データの補正係数を算出するダイナミックレンジ拡大補正係数算出処理と、ダイナミックレンジ拡大後の画像データに明るさを表すヒストグラムにおいて所定割合の頻度積算値に対応するレベル値を用いて露出補正が必要か否かを判断する処理と、前記判断する処理により前記露出補正が必要と判断されたとき、画像にハイライト部が存在する割合に応じて露出補正量を変更し露出補正を行うための補正係数を算出する露出補正係数算出処理と、前記ダイナミックレンジ拡大補正係数及び前記露出補正係数とを用いて補正テーブルを作成して色変換処理を行う変換処理と、をコンピュータに実行させることを特徴とするプログラムである。
【００５９】
したがって、意味のあるハイライト部のみを用いて露出補正の必要性を判断することにより、高精細な補正を行うことができる。
【００６０】
【発明の実施の形態】
この発明の一実施の形態について説明する。
【００６１】
図１は、この発明の一実施の形態である画像処理装置１０１の概略構成を示す機能ブロック図であり、図２は、その具体的ハードウェア構成の一例を示すブロック図である。
【００６２】
図１において、画像入力装置１００は、写真などをマトリックス状の画素として表した実写の画像データを画像処理装置１０１に出力する。画像処理装置１０１は複数の画像処理を行うにあたり、各画像処理（ダイナミックレンジ拡大手段１０２、露出補正手段１０３）において最適な評価手段に基づいて評価値を算出し、評価値を用いて画像処理を実行する。画像出力装置１０４は、画像処理した画像データを、ドットマトリクス状の画素で出力する。
【００６３】
画像入力装置の具体例は、図２におけるスキャナ２００及びデジタルカメラ２０１又はビデオカメラ２０２などが該当し、画像処理装置の具体例は、コンピュータ２１０、ハードディスク２０３、キーボード２０４、ＣＤ−ＲＯＭドライブ２０５、フロッピーディスクドライブ２０６及びモデム２０７などからなるコンピュータシステムが該当し、画像出力装置１０４の具体例は、プリンタ２０９やディスプレイ２０８が該当する。
【００６４】
本実施の形態の場合、画像データとしては写真などの実写データが適している。なお、コンピュータ２１０は、ＣＤ−ＲＯＭなどの記憶媒体からプログラムを読取ってハードディスク２０３にインストールし、このソフトウェアにより本実施の形態の機能を実現している。また、モデム２０７については公衆通信回線に接続され、外部のネットワークを介して接続し、プログラムやデータをダウンロードしてハードディスク２０３にインストールし、このソフトウェアにより本実施の形態の機能を実現してもよい。
【００６５】
一方、コンピュータ２１０内では、オペレーティングシステム２１２が稼動しており、プリンタやディスプレイに対応したプリンタドライバ２１４やディスプレイドライバ２１３が組み込まれている。また、画像処理アプリケーション２１１はオペレーティングシステムにて処理の実行を制御され、必要に応じてプリンタドライバ２１４やディスプレイドライバ２１３と連携し、所定の画像処理を実行する。よって、画像処理装置としてこのコンピュータの役割は、ＲＧＢの階調データを入力して最適な画像処理を施したＲＧＢの階調データを作成し、ディスプレイドライバ２１３を介してディスプレイ２０８に表示させるとともに、プリンタドライバ２１４を介してＣＭＹもしくはＣＭＹＫの２値データに変換してプリンタ２０９に印刷させることになる。
【００６６】
上述した画像の評価値の取得とそれに伴う画像処理は、具体的には上記コンピュータ内にて，図３に示すフローチャートに対応した画像処理プログラムで行っている。
【００６７】
以下逆光以外のシーンを想定して、かかる処理について説明する。
【００６８】
まず、入力手段により画像データを入力する（３００）。次に、ＲＧＢ頻度分布を適当な再現領域に拡大するために画素をサンプリングし（３０１）、ＲＧＢ頻度分布の最大値Maxをハイライトポイント、最小値Minをシャドーポイントとして算出し（３０８）、以下の式でダイナミックレンジを拡大するための係数：α、βを求める（３０９）。
【００６９】
α=  255/(Max  -  Min)
β=  {(１-α)・(255・Min)}/{255-(Max  -  Min  )}  …  (１)
ここでαに制限を設け、α＞1.7  の場合、α≡1.7  とする。
【００７０】
また、画素をサンプリングする際に下記の式で輝度を算出し、輝度ヒストグラムを作成する（３０２）。
【００７１】
輝度：Y  =  0.299・R  +  0.587・G  +  0.114・B  …  (２)
【００７２】
輝度ヒストグラムより、累積頻度95％に対応するレベルL1を算出する（３０２）。L1は、ダイナミックレンジ拡大手段１０２後の画像データに所定割合以上のハイライト部が存在するか否かを判断するための評価値L２を算出するための値である。
【００７３】
さらに、輝度ヒストグラムの累積頻度50％に対応するレベル（中央値）M1を算出する（３０２）。M1は、前記ハイライト部が存在せず、露出補正が必要な場合に補正量を決定するための評価値M2を算出するための値である。
【００７４】
ここで、露出補正とは、シーンに対して不適切な明るさの画像をシーンに適した明るさに調節することを意味する。例えば、露出不足で全体に暗い被写体や、逆光で暗くなっている被写体を明るくしたり、露出オーバな被写体を暗くしたりすることである。プリンタやディスプレイなどの表示系では、入出力変換関数やルックアップテーブル等を用いて明るさの不適切な入力信号に対し出力信号の明るさを最適化するための処理を意味する。
【００７５】
次に、任意画素における輝度値YIN(i)(i=1…N,N:総画素数)より、(１)式で算出したα,βを用いてダイナミックレンジ補正係数C1(i)を、各画素iごとに求め、入力信号(RIN(i),GIN(i),BIN(i))を再現領域に拡大変換する（３１０）。
【００７６】
C1(i)  =  (α・YIN(i)+β)/YIN(i)  …  (３)
(R1(i),G1(i),B1(i))  =  C1(i)・(RIN(i),GIN(i),BIN(i))  …  (４)
【００７７】
次に、露出補正量を決定する。露出補正は以下のように場合分けを行い、トーンカーブf(x)による補正を式(７),(８)にて行う（３０６）。
【００７８】
本実施の形態では、露出補正量をL2,M2の値を用いて(m1,m2)を算出することで決定する。また、トーンカーブf(x)の導出方法は、後述する。
【００７９】
初めに、前記L1のダイナミックレンジ拡大後の値L２及びM1に対するM2を算出する（３０３）。
【００８０】
L2  =α・L1+β  …  (５)
M2  =α・M1+β  …  (６)
【００８１】
次にL2を用いて、画像全体の明るい部分5％にあたる領域が、閾値レベル１００を超えているか否かを調べ、ハイライト部が存在するか否かを確認し（３０４）、ハイライト部が存在しない場合は、M２より露出補正量(m1,m2)を決定する（３０５）。
【００８２】
(１)  閾値レベル≦L2の場合：露出補正を行わない（３０４のＮ）。
【００８３】
(２)  閾値レベル＞L2かつ、0≦M2≦5又は120≦M2の場合：夜景、もしくは順光画像とみなし、露出補正を行わない（３０４のＮ）。
【００８４】
(３)  閾値レベル＞L2かつ、5<M2≦30の場合：露出補正を行う（３０４のＹ）。M1=160,m2=192でトーンカーブf(x)を作成（３０５）。トーンカーブ補正（３０６）。
【００８５】
(４)  閾値レベル＞L2かつ、30<M2<120の場合、露出補正を行う（３０４のＹ）。M1=130,m2=m1+(-(59/90)×M2+(236/3))でトーンカーブf(x)を作成（３０５）。トーンカーブ補正（３０６）。
【００８６】
ここで、(３),(４)のm1,m2は後述する接点(m1,m2)である。
【００８７】
トーンカーブ補正は以下のようにして行う。ダイナミックレンジ補正後の各画素の輝度値：Y1(i)より、露出補正係数：C2(i)を以下の式で算出する。
【００８８】
C2(i)  =  Y2(i)/Y1(i)
=  f(Y1(i))/Y1(i)  …  (７)
入力信号(R1(i),G1(i),B1(i))  を以下の式で変換し、露出補正を行う（３０７）。
【００８９】
(R2(i),G2(i),B2(i))  =  C2(i)・(R1(i),G1(i),B1(i))  …  (８)
ここで、ダイナミックレンジの拡大方法、すなわち再現領域であるMax,Minの決定方法やαの制限などには種々の方法が提案されているが、これにはこだわらない。また、再現領域を決定し、あるいは、輝度ヒストグラムを求める際には必ずしも全画素の情報を使う必要はなく、間引きなどをして得た情報を使用しても良い。さらに、本例ではダイナミックレンジ拡大手段１０２前に作成した輝度ヒストグラムより評価値を算出し、それらを式(５),(６)で変換することでダイナミックレンジ拡大手段１０２後の評価値を算出しているが、ダイナミックレンジ拡大手段１０２後に輝度ヒストグラムをとり、それらの評価値を算出する方法もある。また、画像全体に対しハイライト部がどの程度存在するか否かを判定する方法には種々の方法が提案されているが、これにはこだわらない。また、露出補正方法や露出補正量の決定には種々の方法が提案されているが、これにはこだわらない。
【００９０】
これにより、シーンとして暗く（明るく）ても、露出適性部が存在する割合に応じて露出補正量を変更し、露出補正を行うことにより、過度な露出補正を防ぐことができる。
【００９１】
また、明るさを表すヒストグラムにおける頻度積算値の所定割合に対応するレベル値を用いてハイライト部が存在する割合を判断することにより、被写体抽出などを行わず、簡単かつ迅速に露出補正の必要性を判断することができる。
【００９２】
さらに、輝度ヒストグラムの中央値から補正量を決定することにより、適切な補正量を得ることができる。
【００９３】
前記の例で、例えば、逆光画像の場合は評価値L1を、輝度ヒストグラムの累積頻度80％に対応するレベルとし、閾値レベルを140とする。ここで、累積頻度のパーセンテージや閾値はこれにはこだわらない。これにより、露出補正量を変更するためのハイライト部が存在する割合を、逆光画像と夜間人物画像などのシーンで異ならせることにより、シーンに応じた高精細な補正効果を得ることができる。
【００９４】
なお、後述のような、光画像の逆光タイプを判別し、逆光タイプに応じて階調処理を異ならせる技術を用いると、極端な露出不足や、夜間撮影、逆光シーンでは大きなダイナミックレンジ補正が期待される。このような場合、更なる露出補正を行うと原画のもつ雰囲気が失われる恐れがあるので、露出補正が必要か否かを検討する。
【００９５】
例えば、
・逆光画像では、α＞1.3以上かつ輝度頻度積算値80％に対応するレベルが閾値140以上の時に露出補正を行わない。
・夜間人物画像では、α＞1.5以上かつ輝度頻度積算値95％に対応するレベルが閾値100以上の時に露出補正を行わない。
とする。
【００９６】
ここで、ダイナミック拡大処理の影響の大きさをα値で検討したが、これにはこだわらない。これにより、ダイナミックレンジ拡大処理の影響が大きい場合に、更なる露出補正を行う必要があるか否かを検討することにより、過度な露出補正を防ぎ原画の雰囲気を保つことができる。
【００９７】
また、光画像の逆光タイプを判別し、逆光タイプに応じて階調処理を異ならせる技術を用いれば、シーンに応じてダイナミックレンジの再現領域を自動的にかつ適切に異ならせることが可能である。すなわち、シーンを『真逆光』『真逆光以外の逆光』『その他』に分け、再現領域のハイライトポイントMax、ダークポイントMinを以下のように設定する。
【００９８】
・真逆光の場合：Max  …  輝度ヒストグラムにおける二極化の分岐点。Min  …  輝度ヒストグラムにおける総画素数の0.3％以上の頻度を持つ最小値。
【００９９】
・真逆光以外の逆光の場合：Max  …  ＲＧＢ各ヒストグラムにおける総画素数の0.03％以上の頻度を持つ最大値。Min  …  輝度ヒストグラムにける総画素数の0.3％以上の頻度を持つ最小値。
【０１００】
・その他：Max  …ＲＧＢ各ヒストグラムにおいて総画素数の0.03％以上の頻度を持つ最大値。Min  …ＲＧＢ各ヒストグラムにおいて総画素数の0.03％以上の頻度を持つ最小値。
【０１０１】
ここで、シーン判別方法や、ダイナミックレンジ拡大方法も種々の方法が提案されているがこれにはこだわらない。また、シーン判別は自動判別のほかにオペレータがシーンを指定してもかまわない。これにより、シーンを少なくとも真逆光、及びその他に分け、各々に対しダイナミックレンジの設定範囲を異ならせることにより、シーンに適したコントラスト強調を行うことができる。
【０１０２】
前記の露出補正手段１０３は(７),(８)式で表されるトーンカーブ補正であり、(７)式のトーンカーブ：f(x)（x≧0）を以下の方法で算出する。図４にf(x)を示す。但し、
f(x)  =  l1(x)      (0≦x＜m1)
=  l2(x)      (m1≦x＜1)
である。
【０１０３】
接点（x,y）=(m1,m2)においてl1(x)とl2(x)は結合し、l1(x)は１次直線、l2(x)は２次放物線である。
【０１０４】
L1(x)  =  (m2/m1)・x                  (0≦x＜m1)  …  (９)
L2(x)  =  {-b±(b^2  -  4・a・c)^(1/2)}/(2・a)    (m1≦x＜1)…  (１０)
但し、a  =  tanθ/sqrt(2)
b  =  2・tanθ・(x/sqrt(2)  -  P)  +  P            …  (１１)
c  =  tanθ・(x^2/sqrt(2)-2・P・x)  -  P・x
P  =  ((1-m1)^2  +  (1-m2)^2)^(1/2)/2
であり、l2(x)≦1となるように、θを設定する。θは(m1,m2)と(1,1)を結ぶ直線と、(m1,m2)と放物線の頂点とを結ぶ直線とが作る角である。また、解は0<l2(x)≦1なる値を選択する。
【０１０５】
また、実根を持つために、a,b,cは以下の条件を満たす。
【０１０６】
b^2  -  4・a・c  ≧0              …  (１２)
【０１０７】
次に、接点（x,y）=(m1,m2)はシーンによって異なった値となる。
【０１０８】
[１]逆光画像：
例えば、ダイナミックレンジ補正後の輝度ヒストグラム中央値M２をもって、図５に示す関数で持ち上げ量：Δ(Δ  =  -(63/80)・M2+(441/4))を決定し、m1  =  115,m2  =  m1+Δとする。暗部のコントラストを保ちつつ、低中レベルの明るさが補正される。但し、露出判定のための輝度ヒストグラムは光画像の逆光タイプを判別し、逆光タイプに応じて階調処理を異ならせる技術の説明で前記した最小値Minから二極化の分岐点までの範囲を用いて行う。これにより、逆光部分を取り除いた領域で露出判定を行い、高精細な露出補正量を得ることができる。
【０１０９】
[２]逆光以外の画像：
・5＜M2≦30の場合  …  m1=160,m2=192とする。ハイライト側を持ち上げる特性を持つ補正カーブのため、暗部のコントラストが強調され、かつ持ち上がりが少ないため、夜景画像が誤認識されても悪影響が少ない。
・30＜M2≦1の場合  …  ダイナミックレンジ補正後の輝度ヒストグラム中央値M2をもって,、図６に示す関数で持ち上げ量Δ(Δ  =  -(59/90)・M2+(236/3))を決定し、m1  =  130,m2  =  m1+Δとする。暗部のコントラストを保ちつつ、低中レベルの明るさが補正される。
【０１１０】
ここで、l1(x)、l2(x)及び(m1,m2)の算出方法には種々の方法が考えられるがこれにはこだわらない。これにより、ダークレベルに偏っている画像情報を補正する際に、トーンカーブの形は低領域に直線：l1(x)、高領域に上向き凸の２次放物線：l2(x)を用いることにより、低中領域のコントラストを強調しつつ露出補正を行うことができる。また、シーンや露光状態に応じ、直線と放物線の接点(x,y)=(m1,m2)を異ならせることにより、適切なトーンカーブを作成することができる。
【０１１１】
また、前記の露出補正手段１０３は、式(７),(８)で表されるトーンカーブ補正であり、式(７)のトーンカーブf(x)（x≧0）を以下の方法で算出する。
【０１１２】
図７にf(x)を示す。但し、
f(x)  =  l1(x)      (0≦x＜m1)
=  l2(x)      (m1≦x＜1)
である。
【０１１３】
接点（x,y）=(m1,m2)においてl1(x)とl2(x)は接線結合し、l1(x)は１次直線、l2(x)は以下で表される２次放物線である。
【０１１４】
L1(x)  =  (m2/m1)・x                  (0≦x＜m1)  …  (１３)
L2(x)  =  {-b±(b^2  -  4・a・c)^(1/2)}/(2・a)    (m1≦x＜1)…  (１４)
但し、a  =  tanθ・(sinξ^2)
b  =  2・tanθ・sinξ・(cosξ・x-  m1-  P)  +  P・cosξ  …  (１５)
c  =  tanθ・[cosξ・x・{cosξ・x  -  2・(m1  +  P)}  +  m1・(m1  +  2・P)  -P・(m2  +  sinξ・x)]
であり、ψ  =  atan{(1-m2)/(1-m1)}
ξ  =  atan(m2/m1)
φ  =  ξ    ψ                                    …  (１６)
θ  =  atan{(1/2)tanφ}
P  =  (1-m1)/2・cosψ
【０１１５】
また、実根を持つために、a,b,cは以下の条件を満たす。
【０１１６】
b^2  -  4・a・c  ≧０              …  (１７)
【０１１７】
ここで、l1(x)及びl2(x)の算出には種々の方法が考えられるが、これにはこだわらない。これにより、直線l1(x)と放物線l2(x)が接点において接線接続することにより、接点の出力レベルにおいて階調再現性が保つことができる。
【０１１８】
ところで、例えば画像表示装置にプリンタを仮定する場合、画像処理速度向上のため、図８に示すような処理を行う。すなわち、画像データを直接修正するのではなく、実際にはダイナミックレンジ補正係数：C１(j)(j=0,1,2,・・・,255)、及び露出補正係数：C2(j)を求め（８０４）、補正テーブルを作成し（８０５）、色変換パラメータ(CMY(k))を更新する（８０６）。
【０１１９】
この方法で、120万画素程度の画像を平均0.12秒のオーバーヘッドで処理を行うことができる。
【０１２０】
また、画像表示装置をディスプレイにする場合、画像処理速度向上のためプリンタと同様、画像データを直接修正するのではなく、実際にはダイナミックレンジ補正係数：C1(j))(j=0,1,2,・・・,255)、及び露出補正係数C２(j)を求め、ルックアップテーブルを作成し、色変換（ＲＧＢ）を行う。
【０１２１】
これにより、シーンとして暗く（明るく）ても、露出適性部が存在する割合に応じて露出補正量を変更し露出補正を行うことにより、過度な露出補正を防ぐことができる。また、画素ごとに変換を行うのではなく、変換テーブルを作成し色変換処理を行うことにより、速度を向上させることができる。
【０１２２】
前記の例では、輝度ヒストグラムのみからハイライト部の有無を決定しているが、それらが画像中に分散していれば主被写体とは言えず、重要度は低い。図９、図１０に示すように、ハイライト部はある画像領域に集中し被写体として成り立っている場合のみ意味がある。よって、ハイライト部が集中しているか否かを調べる必要がある。
【０１２３】
ハイライト部がある領域に集中しているか否かは、例えば図１１に示すように、画像をいくつかの領域に区切り番号付けを行い、ハイライト部がどの領域に存在するかを調べればよい。ここで、ハイライト部がある領域に集中して存在しているか否かを調べるには種々の方法が考えられるがこれにはこだわらない。
【０１２４】
これにより、意味のあるハイライト部のみを用いて露出補正の必要性を判断し高精細な補正を行うことができる。
【０１２５】
【発明の効果】
請求項１に記載の発明は、露出適性部が存在する割合に応じて露出補正量を変更し露出補正を行うことにより、過度な露出補正を防ぐことができる。また、明るさを表すヒストグラムにおける頻度積算値の所定割合に対応するレベル値を用いて、所定割合以上のハイライト部が存在するか否かを判断することにより、被写体抽出などを行わず簡単にかつ迅速に露出補正の必要性を判断することができる。
【０１２６】
請求項２に記載の発明は、請求項１に記載の画像処理装置において、輝度ヒストグラムの中央値から補正量を決定することにより、適切な補正量を得ることができる。
【０１２７】
請求項３に記載の発明は、請求項１又は２に記載の画像処理装置において、露出補正量を変更するためのハイライト部が存在する割合を、逆光画像や夜間人物画像などのシーンで異ならせることにより、シーンに応じた高精細な補正効果を得ることができる。
【０１２８】
請求項４に記載の発明は、請求項１〜３の何れかの一に記載の画像処理装置において、ダイナミックレンジ拡大処理の影響度合いが大きかった絵柄に対し、更なる露出補正を行う必要があるか否かを検討することにより、過度な露出補正を防ぎ原画の雰囲気を保つことができる。
【０１２９】
請求項５に記載の発明は、請求項１〜４の何れかの一に記載の画像処理装置において、シーンを少なくとも真逆光とその他に分け、各々に対しダイナミックレンジの再現領域を異ならせることにより、シーンに適したコントラスト強調を行うことができる。
【０１３０】
請求項６に記載の発明は、請求項１〜５の何れかの一に記載の画像処理装置において、ダークレベルに偏っている画像情報を補正する際に、トーンカーブの形は低領域に直線、高領域に上向き凸の２次放物線を用いることにより、低中領域のコントラストを強調しつつ露出補正を行うことができる。また、シーンや露光状態に応じ、直線と放物線の接点を異ならせることにより、適切なトーンカーブを作成することができる。
【０１３１】
請求項７に記載の発明は、請求項６に記載の画像処理装置において、直線と放物線が接点において接線接続することにより、接点の出力レベルにおいて階調再現性を保つことができる。
【０１３２】
請求項８に記載の発明は、請求項１〜７の何れかの一に記載の画像処理装置において、露出適性部が存在する割合に応じて露出補正量を変更し露出補正を行うことにより、過度な露出補正を防ぐことができる。また、画素ごとに変換を行うのではなく、補正テーブルを作成し色変換処理を行うことにより、速度を向上させることできる。
【０１３３】
請求項９に記載の発明は、意味のあるハイライト部のみを用いて露出補正の必要性を判断することにより、高精細な補正を行うことができる。
【０１３４】
請求項１０に記載の発明は、露出適性部が存在する割合に応じて露出補正量を変更し露出補正を行うことにより、過度な露出補正を防ぐことができる。また、明るさを表すヒストグラムにおける頻度積算値の所定割合に対応するレベル値を用いて、所定割合以上のハイライト部が存在するか否かを判断することにより、被写体抽出などを行わず簡単にかつ迅速に露出補正の必要性を判断することができる。
【０１３５】
請求項１１に記載の発明は、請求項１０に記載のプログラムにおいて、輝度ヒストグラムの中央値から補正量を決定することにより、適切な補正量を得ることができる。
【０１３６】
請求項１２に記載の発明において、請求項１０又は１１に記載のプログラムにおいて、露出補正量を変更するためのハイライト部が存在する割合を、逆光画像や夜間人物画像などのシーンで異ならせることにより、シーンに応じた高精細な補正効果を得ることができる。
【０１３７】
請求項１３に記載の発明は、請求項１０〜１２の何れかの一に記載のプログラムにおいて、ダイナミックレンジ拡大処理の影響度合いが大きかった絵柄に対し、更なる露出補正を行う必要があるか否かを検討することにより、過度な露出補正を防ぎ原画の雰囲気を保つことができる。
【０１３８】
請求項１４に記載の発明は、請求項１０〜１３の何れかの一に記載のプログラムにおいて、シーンを少なくとも真逆光とその他に分け、各々に対しダイナミックレンジの再現領域を異ならせることにより、シーンに適したコントラスト強調を行うことができる。
【０１３９】
請求項１５に記載の発明は、請求項１０〜１４の何れかの一に記載のプログラムにおいて、ダークレベルに偏っている画像情報を補正する際に、トーンカーブの形は低領域に直線、高領域に上向き凸の２次放物線を用いることにより、低中領域のコントラストを強調しつつ露出補正を行うことができる。また、シーンや露光状態に応じ、直線と放物線の接点を異ならせることにより、適切なトーンカーブを作成することができる。
【０１４０】
請求項１６に記載の発明は、請求項１５に記載のプログラムにおいて、直線と放物線が接点において接線接続することにより、接点の出力レベルにおいて階調再現性を保つことができる。
【０１４１】
請求項１７に記載の発明は、請求項１０〜１６の何れかの一に記載のプログラムにおいて、露出適性部が存在する割合に応じて露出補正量を変更し露出補正を行うことにより、過度な露出補正を防ぐことができる。また、画素ごとに変換を行うのではなく、補正テーブルを作成し色変換処理を行うことにより、速度を向上させることできる。
【０１４２】
請求項１８に記載の発明は、意味のあるハイライト部のみを用いて露出補正の必要性を判断することにより、高精細な補正を行うことができる。
【図面の簡単な説明】
【図１】この発明の一実施の形態である画像処理装置の概略構成を示す機能ブロック図である。
【図２】前記画像処理装置の電気的な接続を示すブロック図である。
【図３】前記画像処理装置が行う処理を説明するフローチャートである。
【図４】前記画像処理装置が行う処理を説明する説明図である。
【図５】同説明図である。
【図６】同説明図である。
【図７】同説明図である。
【図８】前記画像処理装置が行う処理を説明するフローチャートである。
【図９】この発明の課題を説明する説明図である。
【図１０】同説明図である。
【図１１】前記画像処理装置が行う処理を説明する説明図である。
【符号の説明】
１０１  画像処理装置
１０２  ダイナミックレンジ拡大手段
１０３  露光補正手段
【図１】
0004398595.tif 000002
【図２】
0004398595.tif 000003
【図３】
0004398595.tif 000004
【図４】
0004398595.tif 000005
【図５】
0004398595.tif 000006
【図６】
0004398595.tif 000007
【図７】
0004398595.tif 000008
【図８】
0004398595.tif 000009
【図９】
0004398595.tif 000010
【図１０】
0004398595.tif 000011
【図１１】
0004398595.tif 000012