(57)【特許請求の範囲】
【請求項１】
入力された画像の信号値の分布情報を算出する第１の算出手段と、
前記入力された画像の分割された部分領域ごとに信号値の分布情報を算出する第２の算出手段と、
前記第１の算出手段によって算出された分布情報において上位からの累積頻度が所定値となる信号値に基づいて設定される第１の値と、前記第２の算出手段によって算出された分布情報において中央値となる第２の値とを比較する比較手段と、
前記入力された画像から前記比較手段により前記第２の値が前記第１の値より大きいと判定された部分領域を除いた画像領域を用いて、前記入力された画像全体の階調補正を行う補正手段とを有することを特徴とする画像処理装置。
【請求項２】
前記部分領域は、前記入力された画像の上下方向に分割された領域であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記比較手段は、前記入力された画像の上部の部分領域から順に比較を行い、前記第２の値が前記第１の値より大きくない部分領域が存在すると判定した場合、当該部分領域よりも下部の部分領域の比較を行わないことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記比較手段は、前記入力された画像の所定の部分領域よりも下部の部分領域の比較を行わないことを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記入力された画像の上下方向は、前記入力された画像に付加されているメタデータに基づいて決定される方向であることを特徴とする請求項２ないし４のいずれか１項に記載の画像処理装置。
【請求項６】
入力された画像の信号値の分布情報を算出する第１の算出工程と、
前記入力された画像の分割された部分領域ごとに信号値の分布情報を算出する第２の算出工程と、
前記第１の算出工程で算出された分布情報において上位からの累積頻度が所定値となる信号値に基づいて設定される第１の値と、前記第２の算出工程で算出された分布情報において中央値となる第２の値とを比較する比較工程と、
前記入力された画像から前記比較工程で前記第２の値が前記第１の値より大きいと判定された部分領域を除いた画像領域を用いて、前記入力された画像全体の階調補正を行う補正工程とを有することを特徴とする画像処理方法。
【請求項７】
入力された画像の信号値の分布情報を算出する第１の算出工程と、
前記入力された画像の分割された部分領域ごとに信号値の分布情報を算出する第２の算出工程と、
前記第１の算出工程で算出された分布情報において上位からの累積頻度が所定値となる信号値に基づいて設定される第１の値と、前記第２の算出工程で算出された分布情報において中央値となる第２の値とを比較する比較工程と、
前記入力された画像から前記比較工程で前記第２の値が前記第１の値より大きいと判定された部分領域を除いた画像領域を用いて、前記入力された画像全体の階調補正を行う補正工程とをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法及びプログラムに関し、特に、階調補正するために用いて好適な技術に関する。
【背景技術】
【０００２】
近年のプリンタには、露出が不足している画像においても、適切な明るさで印刷できるように様々な階調補正手段が搭載されている。階調補正する方法には、様々な方法が考えられるが、その１つとしてヒストグラム情報を用いた補正方法がある。この補正方法では、画像から輝度のヒストグラムやＲＧＢのヒストグラムを取得し、累積積算度数がある割合以上となるような階調値が、予め決められた階調値となるように画像全体をトーンカーブ処理やゲイン処理により補正する。
【０００３】
一方、画像には様々な被写体が含まれているが、すべての被写体が補正処理に必要な情報ではない。撮影者は、いわゆる主被写体を写すために撮影しており、主被写体が適切な明るさで補正されるのが望ましい。
【０００４】
しかしながら、上記の方法で用いられているヒストグラムは、明るさやＲＧＢ値の積算情報あるため、画像に含まれているすべての被写体の情報が同じ重要度で扱われてしまう。そのため、主被写体の露出が不足し、他の被写体がハイライト部分の多くを占めるような画像の場合、主被写体の情報が他の被写体の情報に埋もれてしまい、ヒストグラムからは主被写体の露出不足を判断できなくなってしまう。この結果、主被写体の露出を適切に補正できないことになる。
【０００５】
このような問題点を解消するため、画像中で補正処理に考慮しなくてもよい領域を判断し、その領域以外から取得されたヒストグラムのみを用いて補正する方法が開示されている。例えば特許文献１には、画像を複数の部分領域に分割し、それらの領域から取得された局所的なヒストグラムをもとに階調を補正する方法が開示されている。
【０００６】
特許文献１に記載されている技術は、画像を複数の領域に分割し、それらの領域のうち、最も輝度が低い点を持つ領域と、最も輝度が高い点を持つ領域と、ヒストグラムの分散が低い領域とを補正処理に考慮しなければならない領域としている。そして、これらの領域のヒストグラムに所定の重み付けを行って中間ヒストグラムを作成し、その中間ヒストグラムから、階調補正処理に用いるトーンカーブを算出している。つまり、これらの３つのどの条件にも一致しない領域は補正処理に考慮しなくてもよい領域と判断され、中間ヒストグラムに反映されない。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第４３９８５９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、前述した特許文献１に記載の技術において、前述の３つのどの条件にも一致しない領域であっても、すべてが補正処理に考慮しなくてもよい領域とは限らない。
【０００９】
例えば、図３（ａ）に示すような画像では、上部には空が映っており、中央部には主被写体が映っている。図４（ａ）は、図３（ａ）に示す画像のＲＧＢヒストグラムを示す図である。また、図４（ｂ）は、図３（ａ）に示す画像の中の空のヒストグラムを示す図であり、図４（ｃ）は、図３（ａ）に示す画像の中の被写体のヒストグラムを示す図である。図４（ａ）に示すヒストグラムと図４（ｂ）に示すヒストグラムとを比較すると、空がハイライト部分の多くを占めることがわかり、図４（ｃ）に示すヒストグラムから、被写体が少し露出不足であることがわかる。
【００１０】
このようにハイライト部分が多く存在する画像を最適に補正するためには、露出不足である主被写体を明るく補正するのが望ましい。しかしながら、前述した３つの領域を選択する場合に、主被写体のＲＧＢヒストグラムの分散によっては主被写体が補正処理で考慮される領域として選択されないことがある。したがって、主被写体よりも他の被写体がハイライト部分を多く占めるようなシーンでは、主被写体が適切に階調補正されない。
【００１１】
本発明は前述の問題点に鑑み、主被写体よりも他の被写体がハイライト部分として多く占めるようなシーンで、主被写体を適切に階調補正できるようにすることを目的としている。
【課題を解決するための手段】
【００１２】
本発明の画像処理装置は、入力された画像の信号値の分布情報を算出する第１の算出手段と、前記入力された画像の分割された部分領域ごとに信号値の分布情報を算出する第２の算出手段と、前記第１の算出手段によって算出された分布情報において上位からの累積頻度が所定値となる信号値に基づいて設定される第１の値と、前記第２の算出手段によって算出された分布情報において中央値となる第２の値とを比較する比較手段と、前記入力された画像から前記比較手段により前記第２の値が前記第１の値より大きいと判定された部分領域を除いた画像領域を用いて、前記入力された画像全体の階調補正を行う補正手段とを有することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、主被写体以外のハイライト部分が多く占めるシーンにおいても、適切に階調補正を行うことができる。
【図面の簡単な説明】
【００１４】
【図１】実施形態に係る画像処理装置の機能構成例を示すブロック図である。
【図２】実施形態における階調補正の処理手順の一例を示すフローチャートである。
【図３】空及び主被写体が写っている画像の一例を示す図である。
【図４】全体及び部分のＲＧＢヒストグラムの一例を示す図である。
【図５】不要な領域を取り除いた後のＲＧＢヒストグラム及びトーンカーブの一例を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について、図面を参照しながら説明する。
図１は、本実施形態に係る画像処理装置の機能構成例を示すブロック図である。
図１において、画像入力部１０２は、ＣＤ-ＲＯＭやメモリーカードなどの外部記憶装置から、階調補正処理を行う画像データを入力する。ここで、入力される画像データのファイル形式としては、様々な形式が考えられるが、本実施形態では、印刷に用いられるJpeg形式を想定している。
【００１６】
画像形式変換処理部１０３は、画像入力部１０２によって入力された画像データをＲＧＢ形式へ変換処理する。具体的には、Jpeg形式からYCbCr形式へ伸張し、さらにＲＧＢ形式へ変換する。階調補正部１０４は、画像形式変換処理部１０３にて取得されたＲＧＢ形式の画像データを元に階調補正に必要な補正量を算出し、階調補正処理を行う。
【００１７】
画像形式逆変換処理部１０５は、ＲＧＢ形式の画像データを、元の画像形式へ逆変換する。具体的には、ＲＧＢ形式からYCbCr形式へ変換し、さらに、YCbCr形式からJpeg形式へ圧縮する。画像出力部１０６は、画像形式逆変換処理部１０５にて圧縮されたJpeg形式の画像データを外部へ出力する。ここで出力先としては、元の画像データが記憶されていた外部記憶装置へ上書き保存することを想定している。
【００１８】
また、画像入力部１０２に入力される画像データがＲＧＢ形式の画像データである場合は、階調補正部１０４は画像データを直接入力し、画像形式逆変換処理部１０５を介さず画像出力部１０６に補正後の画像データを直接出力する。
【００１９】
図２は、本実施形態における階調補正部１０４による階調補正の処理手順の一例を示すフローチャートである。以下、図３（ａ）に示すような画像に対して階調補正を行う例について説明する。
まず、Ｓ２０１において、画像入力部１０２または画像形式変換処理部１０３からＲＧＢ形式の画像データを入力する。本実施形態では、図４（ａ）に示す画像に係るＲＧＢ形式の画像データが入力されるものとする。
【００２０】
次に、Ｓ２０２において、画像データの特定方向（空方向）を判定する。ここで空方向とは、画像が撮影され際に、デジタルカメラが向いている空の方向である。この判定処理には様々な技術が開示されているが、一般的には画像データのメタデータにこれらの情報が含まれており、本実施形態ではこの情報を用いる。図３（ａ）に示す画像の場合、上部が空方向となる。
【００２１】
一般的に空は主被写体よりも明るいため、結果としてヒストグラムのハイライト部分を多く占めることなる。そこで、本実施形態では、この空によるハイライト情報が階調補正量を算出する際に不要な情報であるものとして扱う。
【００２２】
次に、Ｓ２０３において、階調補正部１０４は第１の算出手段として機能し、入力された画像データからサンプリングすることにより、ＲＧＢヒストグラムＨallを算出する。そして、Ｓ２０４において、ＲＧＢヒストグラムＨallの第１のハイライトポイントＲＧＢhi1と第２のハイライトポイントＲＧＢhi2とを算出する。
【００２３】
本実施形態では、第１のハイライトポイントＲＧＢhi1としてＲＧＢヒストグラムＨallが累積頻度９９％となるＲＧＢ値を用いる。また、第２のハイライトポイントＲＧＢhi2としてＲＧＢヒストグラムＨallが累積頻度９０％となるＲＧＢ値を用いる。そして、Ｓ２０５において、これらのハイライトポイントを用い、以下の式（１）により画像中のハイライトの割合が閾値よりも小さいか否かを判断する。
【００２４】
【数１】
0005754959.tif 000002
【００２５】
ここで、第１のハイライトポイントＲＧＢhi1（累積頻度９９％）と第２のハイライトポイントＲＧＢhi2（累積頻度９０％）との間に存在する階調数をハイライトの階調数と定義する。この２つのハイライトポイントの差分が所定値以上（閾値ＴｈRGB1以上）である場合には、画像におけるハイライトの割合が少ないと判断する。ここで、閾値ＴｈRGB1は様々な値を設定することが可能だが、本実施形態では１５とする。Ｓ２０５の判断の結果、差分が閾値ＴｈRGB1以上である場合には、後述するＳ２０６〜Ｓ２１３の処理は不要であるため、そのままＳ２１４へ進む。
【００２６】
一方、Ｓ２０５の判断の結果、差分が閾値ＴｈRGB1未満である場合には、Ｓ２０６へ進む。Ｓ２０６においては、階調補正量を算出する際に不要と考えられる画像領域を判別するために、図３（ｂ）に示すように、画像を空方向に複数の領域（例えば１０）に分割し、上部から認識番号ｎを順番に付加する。Ｓ２０７以降では、このように分割された部分領域ごとに、階調補正量の算出に不要な領域であるか否かを判断する。
【００２７】
Ｓ２０７においては、まず、認識番号ｎを１にセットする。そして、Ｓ２０８において、階調補正部１０４は第２の算出手段として機能し、その領域の局所ＲＧＢヒストグラムＨ［ｎ］を算出する。図４（ｄ）に、その局所ＲＧＢヒストグラムＨ［１］を示す。次に、Ｓ２０９において、局所ＲＧＢヒストグラムＨ［ｎ］の中央値ＲＧＢmiddle［ｎ］を算出する。なお、この中央値ＲＧＢmiddle［ｎ］は認識番号ｎの部分領域の代表的な階調値を示している。次に、Ｓ２１０において、画像中のこの領域がハイライトに属するか否かを判断するために、以下の式（２）を満たすか否かを判断する。
【００２８】
【数２】
0005754959.tif 000003
【００２９】
ここで、係数αは調整用のパラメータであり、本実施形態では最も結果が良好となる０．９０を用いる。このように、第１の値として第２のハイライトポイントＲＧＢhi2に係数αを掛けた値と、第２の値として局所ＲＧＢヒストグラムＨ［ｎ］の中央値ＲＧＢmiddle［ｎ］とを比較する。また、部分領域の代表的な階調値を示す量として平均値ではなくて中央値を用いているのは、以下の理由によるものである。ヒストグラムが低階調に偏った形である場合、平均値を用いると、ハイライトが多く占める場合でも、部分領域の代表的な階調値が低く見積もられてしまうためである。
【００３０】
Ｓ２１０の判断の結果、式（２）を満たす場合は、中央値ＲＧＢmiddle［ｎ］が第２のハイライトポイントＲＧＢhi2よりも高い領域に属していることを意味し、画像中の認識番号ｎの部分領域がハイライトに属していることになる。このように画像の空方向にハイライト部分が属している場合は、階調補正量を算出する際に影響を及ぼし、主被写体が適切に補正されないため、階調補正量の算出には用いない。したがって、この場合はＳ２１１に進む。一方、Ｓ２１０の判断の結果、式（２）を満たさない場合はハイライトに属していないことから、以降の部分領域もハイライトに属さないと判断できる。したがって、Ｓ２１３に進む。
【００３１】
Ｓ２１１においては、認識番号ｎを１つ増加させる。そして、Ｓ２１２において、認識番号ｎが４以上であるか否かを判断する。この判断の結果、４未満である場合は、次の領域について判断を行うため、Ｓ２０８へ戻る。一方、４以上である場合は、次のＳ２１２へ進む。本実施形態では、ハイライトポイントに属するか否かを判断する識別番号の基準をｎ＝４としたが、４に限定するわけではなく、例えばｎ＝３やｎ＝５としてもよい。
【００３２】
図４（ｅ）〜図４（ｇ）はそれぞれ、ｎ＝２〜４までの局所ヒストグラムＨ［ｎ］を示す図である。図４（ｄ）〜図４（ｇ）に示すように、ＲＧＢmiddle［３］までは、各分布において式（２）を満たしている。
【００３３】
そこで、次のＳ２１３においては、図３（ｂ）に示すように、不要と判断した認識番号１〜３の部分領域を除いた認識番号４〜１０までの部分領域を、階調補正に必要な領域とし、再度、サンプリングしてＲＧＢヒストグラムＨallを取得する。図５（ａ）は、階調補正に必要な領域のＲＧＢヒストグラムＨallを示す図である。図５（ａ）に示すように、空のハイライト部分が削除されているため、図４（ａ）に示す画像全体から算出されたＲＧＢヒストグラムに比べて、主被写体の情報が多く含まれることになり、より適切な補正が可能となる。
【００３４】
次に、Ｓ２１４においては、Ｓ２１３で再度算出したＲＧＢヒストグラムＨallを元に階調補正処理にて用いるトーンカーブを算出する。トーンカーブの算出方法には、さまざまな方法が開示されている。本実施形態では、ＲＧＢヒストグラムＨallの累積頻度９９％となる第３のハイライトポイントＲＧＢhi3がTargetＲＧＢ以上となるように、以下の式（３）に示すようなトーンカーブを用いる。
【００３５】
【数３】
0005754959.tif 000004
【００３６】
ここで、ＲＧＢinは入力階調数（階調補正前の階調数）であり、ＲＧＢoutは出力階調数（階調補正後の階調数）である。また、本実施形態では、TargetＲＧＢとして２３０を用い、算出されるトーンカーブを図５（ｂ）に示す。次に、Ｓ２１５において、Ｓ２１４で算出されたトーンカーブを用いて、画像全体のＲＧＢに対して階調補正を行う。
【００３７】
図５（ｃ）は、これらの処理によって階調補正された画像ヒストグラムを示す図である。点線で示されたヒストグラムは従来の方法で補正した場合の結果である。これに対し、本実施形態では階調補正量を算出する際に、主被写体の情報を多く持つヒストグラムを用いるため、より適切に被写体の露出が補正される。最後に、Ｓ２１６において、補正処理された画像データを画像形式逆変換処理部１０５または画像出力部１０６に出力する。
【００３８】
以上のように本実施形態によれば、画像のハイライト部分を階調補正に用いないようにしたので、主被写体以外のハイライトが多く占めるシーンにおいても、適切に階調補正が可能となる。
【００３９】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４０】
１０４  階調補正部
【図１】
0005754959.tif 000005
【図２】
0005754959.tif 000006
【図３】
0005754959.tif 000007
【図４】
0005754959.tif 000008
【図５】
0005754959.tif 000009