(57)【特許請求の範囲】
【請求項１】
カラー画像データから背景領域を抽出する画像処理装置において、背景候補領域の情報を用いて背景領域の色域を設定する背景領域色域設定手段を有しており、前記背景候補領域は、カラー画像データが夜間撮影シーン画像であるときには、対象画像の持つ明るさ範囲を少なくとも２段階以上に区分した最暗区部分に対応する領域であることを特徴とする画像処理装置。
【請求項２】
カラー画像データから背景領域を抽出する画像処理装置において、背景候補領域の情報を用いて背景領域の色域を設定する背景領域色域設定手段を有しており、前記背景候補領域は、カラー画像データが逆光および半逆光シーン画像であるときには、対象画像の持つ明るさ範囲を少なくとも２段階以上に区分した最明区部分に対応する領域であることを特徴とする画像処理装置。
【請求項３】
請求項１または請求項２記載の画像処理装置において、背景領域色域設定手段は、前記背景候補領域に属する色成分の分布の広がり度合いに応じて背景領域の色域の大きさを設定するようになっていることを特徴とする画像処理装置。
【請求項４】
請求項１乃至請求項３のいずれか一項に記載の画像処理装置において、背景領域色域設定手段は、前記背景候補領域に属する色成分から求まる平均値および標準偏差値を用いて背景領域の色域を設定するようになっていることを特徴とする画像処理装置。
【請求項５】
請求項１乃至請求項４のいずれか一項に記載の画像処理装置において、背景領域色域設定手段は、微小領域S1内に前記背景候補領域が存在する場合、微小領域S1内に存在する前記背景候補領域の情報を用いて、微小領域S1内の背景領域の色域を設定するようになっていることを特徴とする画像処理装置。
【請求項６】
請求項１乃至請求項４のいずれか一項に記載の画像処理装置において、背景領域色域設定手段は、微小領域S1内に前記背景候補領域が存在しない場合、微小領域S1の近傍に属し、かつ背景領域の色域情報をもつ微小領域S2の情報を用いて、微小領域S1内の背景領域の色域を設定することを特徴とする画像処理装置。
【請求項７】
カラー画像データから背景領域を抽出する画像処理方法において、背景候補領域の情報を用いて背景領域の色域を設定するようにし、前記背景候補領域は、カラー画像データが夜間撮影シーン画像であるときには、対象画像の持つ明るさ範囲を少なくとも２段階以上に区分した最暗区部分に対応する領域であることを特徴とする画像処理方法。
【請求項８】
カラー画像データから背景領域を抽出する画像処理方法において、背景候補領域の情報を用いて背景領域の色域を設定するようにし、前記背景候補領域は、カラー画像データが逆光および半逆光シーン画像であるときには、対象画像の持つ明るさ範囲を少なくとも２段階以上に区分した最明区部分に対応する領域であることを特徴とする画像処理方法。
【請求項９】
カラー画像データから背景領域を抽出する画像処理を行うとき、背景候補領域の情報を用いて背景領域の色域を設定する処理であって、前記背景候補領域は、カラー画像データが夜間撮影シーン画像であるときには、対象画像の持つ明るさ範囲を少なくとも２段階以上に区分した最暗区部分に対応する領域である処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１０】
カラー画像データから背景領域を抽出する画像処理を行うとき、背景候補領域の情報を用いて背景領域の色域を設定する処理であって、前記背景候補領域は、カラー画像データが逆光および半逆光シーン画像であるときには、対象画像の持つ明るさ範囲を少なくとも２段階以上に区分した最明区部分に対応する領域である処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法および記録媒体に関する。
【０００２】
【従来の技術】
近年、パソコン，インターネット，家庭用プリンタの普及やハードディスクなどの記憶容量の大型化により、デジタルデータで写真画像を扱う機会が増えている。それに伴い、デジタル写真画像データ（以下、画像データと呼ぶ）の入力手段として、デジタルカメラやフィルムスキャナなどが一般に使用されている。
【０００３】
ここで、デジタルカメラには、撮影時の露出を常に最適に保つために露出制御装置が設けられている。この露出制御装置の制御方式には、撮影者が夜景や逆光等のシーンを選択して制御する方法や、カメラが自動的にシーンを判別し制御する方法などがある。カメラの自動露出制御は、光量検出のため画面を複数の適当な領域に分割し、領域ごとに重み付けを行い加重平均を取り、絞りやシャッタスピードなどを調節するのが一般的である。
【０００４】
しかし、これらの制御方式は各社様々であり、撮影条件によって適正に作動しない場合もあり、完全なものは存在しない。とりわけ、主被写体の真後ろに光源が存在し背景と主被写体との輝度差が大きい真逆光状態では、被写体に露出が合わないと背景の明るさに引っ張られて露出がマイナスに補正されるため、被写体が暗く写ってしまう。
【０００５】
また、夜間ストロボ撮影では、被写体にストロボ光があたることが前提になるため、絞りやシャッタスピードは既定値に固定される。つまり、ストロボと被写体の距離が遠すぎると光が届かず、この場合も被写体は暗く写ってしまう。
【０００６】
このようなデジタルカメラでの撮影時における不適切な露出状態に対応するため、画像データをコンピュータのアプリケーションやプリンタドライバ等で自動補正する技術が多数提案されている。
【０００７】
ここで、自動補正とは主に露出を補正することであり、シーンに対し明るさが不適切な被写体をシーンに適した明るさに調節することを意味する。例えば露出不足で全体に暗い被写体や、逆光で暗くなっている被写体を明るくしたり、露出オーバな被写体を暗くしたりすることである。カメラでの露出補正とは、レンズに入る入射光量を調節するために絞りやシャッタスピードを変えることであるが、アプリケーションやプリンタドライバ等では、入出力変換関数等を用いて入力信号の被写体の明るさに対し出力信号のそれを最適化するための処理を意味する。
【０００８】
とりわけ、上記の夜間撮影や逆光撮影の場合、被写体と背景との明るさが極端に異なるため、画像から被写体を抽出し、露出を判定する。
【０００９】
このような、被写体を抽出する技術は多数提案されている。例えば、画像から肌色の多く分布する部分，すなわち顔面を中心に抽出する方法や、画像中のエッジ量を最も多く含む部分をピントが合っている領域として被写体判別する方法などが提案されている。
【００１０】
しかし、肌色などの決まった色の範囲を露出不適切な画像から抽出するのは困難である。また、デジタルカメラで撮影した画像は、撮像素子の大きさによって細部にまでピントが合ってしまうため、被写体が背景よりも薄暗くコントラストがない逆光画像では、背景の方がエッジ量が多く、被写体抽出の精度が悪い。
【００１１】
一方、被写体を抽出するのではなく、背景を除去する方法も提案されている。例えば、特開平５−２３６３４０号（以下、第１の従来技術と称す）には、既知である背景画像の平均色相および平均輝度と画像中の任意画素の輝度および色相とを比較し、既知である背景画像の平均色相および平均輝度と画像中の任意画素の輝度および色相とに閾値以上の差があれば、被写体とみなすようにしている。すなわち、この第１の従来技術では、閾値を背景画像の平均色相及び平均輝度に応じて変化させるようになっている。
【００１２】
しかしながら、この第１の従来技術では、あらかじめ背景画像の情報が知られていなくてはならない。また、背景の平均色相との比較を行う場合、背景に満遍なく様々な色が含まれていれば、色相の平均値はそれらのどれでもない色になってしまうため、抽出判定基準として役に立たないという問題がある。
【００１３】
また、例えば特開平５−９１３２４号（以下、第２の従来技術と称す）には、画像を複数ブロックに分け、ブロックごとに濃度情報を得て背景ブロックを抽出する背景抽出方法が示されている。すなわち、この第２の従来技術の背景抽出方法は、各画素ごとの濃度平均値DMを求め、各ブロックごとの濃度平均値Dnと濃度分散値Snとを求めた後に、近隣ブロックとの濃度の連続性をDn及びSnより判定し、背景を抽出するようにしている。
【００１４】
しかしながら、この第２の従来技術では、濃度情報を用いて背景を抽出するため、色味が全く異なっていても濃度が一致していれば背景として抽出されてしまう場合があり、高精度な判定（背景抽出判定）を行なうことができないという問題がある。
【００１５】
【発明が解決しようとする課題】
本発明は、上述した従来の問題を解決し、カラー画像データから背景領域を正確に抽出することの可能な画像処理装置および画像処理方法および記録媒体を提供することを目的としている。
【００１６】
【課題を解決するための手段】
上記目的を達成するために、請求項１記載の発明は、カラー画像データから背景領域を抽出する画像処理装置において、背景候補領域の情報を用いて背景領域の色域を設定する背景領域色域設定手段を有しており、前記背景候補領域は、カラー画像データが夜間撮影シーン画像であるときには、対象画像の持つ明るさ範囲を少なくとも２段階以上に区分した最暗区部分に対応する領域であることを特徴としている。
また、請求項２記載の発明は、カラー画像データから背景領域を抽出する画像処理装置において、背景候補領域の情報を用いて背景領域の色域を設定する背景領域色域設定手段を有しており、前記背景候補領域は、カラー画像データが逆光および半逆光シーン画像であるときには、対象画像の持つ明るさ範囲を少なくとも２段階以上に区分した最明区部分に対応する領域であることを特徴としている。
【００１７】
また、請求項３記載の発明は、請求項１または請求項２記載の画像処理装置において、背景領域色域設定手段は、前記背景候補領域に属する色成分の分布の広がり度合いに応じて背景領域の色域の大きさを設定するようになっていることを特徴としている。
【００１８】
また、請求項４記載の発明は、請求項１乃至請求項３のいずれか一項に記載の画像処理装置において、背景領域色域設定手段は、前記背景候補領域に属する色成分から求まる平均値および標準偏差値を用いて背景領域の色域を設定するようになっていることを特徴としている。
【００２１】
また、請求項５記載の発明は、請求項１乃至請求項４のいずれか一項に記載の画像処理装置において、背景領域色域設定手段は、微小領域S1内に前記背景候補領域が存在する場合、微小領域S1内に存在する前記背景候補領域の情報を用いて、微小領域S1内の背景領域の色域を設定するようになっていることを特徴としている。
【００２２】
また、請求項６記載の発明は、請求項１乃至請求項４のいずれか一項に記載の画像処理装置において、背景領域色域設定手段は、微小領域S1内に前記背景候補領域が存在しない場合、微小領域S1の近傍に属し、かつ背景領域の色域情報をもつ微小領域S2の情報を用いて、微小領域S1内の背景領域の色域を設定することを特徴としている。
【００２３】
また、請求項７記載の発明は、カラー画像データから背景領域を抽出する画像処理方法において、背景候補領域の情報を用いて背景領域の色域を設定するようにし、前記背景候補領域は、カラー画像データが夜間撮影シーン画像であるときには、対象画像の持つ明るさ範囲を少なくとも２段階以上に区分した最暗区部分に対応する領域であることを特徴としている。
また、請求項８記載の発明は、カラー画像データから背景領域を抽出する画像処理方法において、背景候補領域の情報を用いて背景領域の色域を設定するようにし、前記背景候補領域は、カラー画像データが逆光および半逆光シーン画像であるときには、対象画像の持つ明るさ範囲を少なくとも２段階以上に区分した最明区部分に対応する領域であることを特徴としている。
【００２４】
また、請求項９記載の発明は、カラー画像データから背景領域を抽出する画像処理を行うとき、背景候補領域の情報を用いて背景領域の色域を設定する処理であって、前記背景候補領域は、カラー画像データが夜間撮影シーン画像であるときには、対象画像の持つ明るさ範囲を少なくとも２段階以上に区分した最暗区部分に対応する領域である処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を特徴としている。
また、請求項１０記載の発明は、カラー画像データから背景領域を抽出する画像処理を行うとき、背景候補領域の情報を用いて背景領域の色域を設定する処理であって、前記背景候補領域は、カラー画像データが逆光および半逆光シーン画像であるときには、対象画像の持つ明るさ範囲を少なくとも２段階以上に区分した最明区部分に対応する領域である処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を特徴としている。
【００２５】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
【００２６】
図１は本発明の画像処理システムの構成例を示す図である。また、図２は図１の画像処理システムのハードウェア構成例を示す図である。なお、図１，図２の画像処理システムは、デジタルカメラ等で撮影した画像の不適切な露出を自動補正する画像処理を行なうものとして構成されている。
【００２７】
図１を参照すると、この画像処理システムは、画像データを入力する（例えば、写真などをマトリクス状の画素として表した実写の画像データを入力する）画像入力装置１００と、画像入力装置１００から入力された画像データに対して所定の画像処理を施す画像処理装置１０１と、画像処理装置１０１で画像処理された画像データを出力する（ドットマトリクス状の画素で出力する）画像出力装置１０４とを備えている。
【００２８】
また、図２を参照すると、図１の画像処理システムは、具体的には、スキャナ２００と、デジタルカメラ２０１と、ビデオカメラ２０２と、ハードディスク（ＨＤ）２０３と、キーボード（ＫＢＤ）２０４と、ＣＤ−ＲＯＭドライブ２０５と、フロッピーディスク（ＦＤ）ドライブ２０６と、コンピュータ２１０と、モデム２０７と、ディスプレイ２０８と、プリンタ（例えばインクジェットプリンタ）２０９と、サーバ（データの記憶機能を有する）２１５とを有している。
【００２９】
ここで、図１の画像入力装置１００は、図２において、スキャナ２００，撮像装置（例えば、デジタルカメラ）２０１，あるいはビデオカメラ２０２に対応し、また、図１の画像処理装置１０１は、図２において、コンピュータ２１０，ハードディスク２０３，キーボード２０４，ＣＤ−ＲＯＭドライブ２０５，フロッピーディスクドライブ２０６，モデム２０７などからなるコンピュータシステムに対応し、また、図１の画像出力装置１０４は、図２において、プリンタ２０９，ディスプレイ２０８，サーバ２１５に対応する。
【００３０】
なお、図２において、モデム２０７は、例えば公衆通信回線に接続され、外部のネットワークを介して、ソフトウェアやデータをこの画像処理システムにダウンロードすることなどに用いられる。
【００３１】
また、図２において、コンピュータ２１０内には、オペレーティングシステム（ＯＳ）２１２が設定されており、また、画像出力装置であるプリンタ２０９，ディスプレイ２０８にそれぞれ対応したプリンタドライバ２１４，ディスプレイドライバ２１３が組み込まれている。また、コンピュータ２１０内では、オペレーティングシステム２１２の制御の下で画像処理アプリケーション２１１の処理の実行制御がなされるようになっている。すなわち、コンピュータ２１０内では、必要に応じてプリンタドライバ２１４やディスプレイドライバ２１３と連携して所定の画像処理が実行されるようになっている。従って、画像処理装置１０１としてのこのコンピュータ２１０は、画像入力装置１００からＲＧＢの階調データを入力して、最適な画像処理を施したＲＧＢの階調データを作成し、画像処理を施したＲＧＢの階調データをディスプレイドライバ２１３を介してディスプレイ２０８に表示させたり、画像処理を施したＲＧＢの階調データをサーバ２１５に記憶したりするとともに、プリンタドライバ２１４を介してＣＭＹもしくはＣＭＹＫの２値データに変換してプリンタ２０９に印刷させる機能を有している。
【００３２】
図１の構成の画像処理システムでは、画像入力装置１００は、写真などをマトリックス状の画素として表した実写の画像データを画像処理装置１０１に出力する。画像処理装置１０１は、複数の画像処理を行うにあたり、各画像処理において最適な評価手段に基づいて評価値を算出し、評価値を用いて画像処理を実行する。そして、画像出力装置１０４は、画像処理された画像データをドットマトリクス状の画素で出力する。
【００３３】
上述した画像の評価値の取得とそれに伴う画像処理は、図１の画像処理装置１０１において、具体的には、図２のコンピュータ２１０内で、画像処理アプリケーションプログラム２１１に従って行なわれる。
【００３４】
図３は図１，図２の画像処理装置１０１における画像処理例を示すフローチャートである。なお、本発明は、撮像装置等で取り込まれた自然画像の露出補正に関する技術であるため、以下の例では、入力画像データはＲＧＢビットマップデータであるとする。
【００３５】
図３を参照すると、まず、画像データが入力されると（ステップ３０１）、画像処理装置１０１では、背景である可能性の高い背景候補領域を選択する（ステップ３０２）。次に背景の色域を決定し（ステップ３０３）、決定した背景の色域に基づいて、画像データを背景領域と非背景領域（つまり、被写体領域）とに分離する（ステップ３０４）。次に、被写体領域より露出が適正であるか否かの判定を行ない（ステップ３０５）、ステップ３０５で露出が不適正であると判定すると、画像データに対して露出補正を行ない（ステップ３０６）、画像出力装置１０４に送信する（ステップ３０７）。
【００３６】
画像出力装置１０４では、画像出力装置１０４がプリンタの場合、画像処理装置１０１から送信された画像データに対し、複数の出力色成分Ｃ（Cyan），Ｍ（Mazenta），Ｙ（Yellow），Ｋ（black）への色変換処理を実行し、その結果をプリントする。
【００３７】
色変換処理は、画像処理装置１０１から送信された画像データに対し、画像出力装置１０４のもつ色再現範囲に応じて階調補正処理が行われる。次に、画像データの持つ色特性と画像出力装置１０４の色特性に基づいて色変換が行われ、複数の出力色成分Ｃ（Cyan），Ｍ（Mazenta），Ｙ（Yellow），Ｋ（black）データに変換され、描画手段，画像記憶手段（格納バッファ）に送られる。
【００３８】
ＲＢＧ（赤、青、緑）の階調データｋから出力色成分Ｃ（Cyan），Ｍ(Mazenta），Ｙ（Yellow），Ｋ（black）データへの変換は、メモリアップ補間で、ＣＭＹに色変換する。メモリアップ補間とは、図２１に示すように、ＲＧＢ空間を入力色空間とした場合、ＲＧＢ空間を同種類の立体図形（ここでは立方体）に分割し、入力の座標（ＲＧＢ）における出力値Ｐを求めるのに、前記入力の座標を含む立方体を選択し、該選択された立方体の８点の予め設定した頂点上の出力値と前記入力の前記立方体の中における位置（各頂点からの距離）に基づいて、線形補間を実施するものである。ここで、いまの例の場合、出力値Ｐは、Ｃ，Ｍ，Ｙ値にそれぞれ相当し、補間演算に使用される入力空間上の座標（ＲＧＢ）には、実際の入出力（Ｌ*ａ*ｂ*−ＣＭＹ）の関係を測定して、このデータを使用して最小２乗法等により算出したＲＧＢ（Ｌ*ａ*ｂ*）に対するＣ，Ｍ，Ｙの値が予め設定してある。また、ＣＭＹ信号は、例えば次式のような演算によって、ＣＭＹＫ信号に変換される。
【００３９】
【数１】
Ｋ＝α×ｍｉｎ（Ｃ，Ｍ，Ｙ）
Ｃ'＝Ｃ−β×Ｋ
Ｍ'＝Ｍ−β×Ｋ
Ｙ'＝Ｙ−β×Ｋ
【００４０】
なお、色変換法はこの方法だけに限らず、画像出力装置１０４の特性を、例えば、コンピュータが画像データのヘッダ情報に記録して送信するようにしても良いし、上記の画像出力装置１０４をコンピュータ内部に実装する場合には、例えばＩＣＣ（Inter Color Consortium）で標準化されているデバイス・プロファイルを読み出して用いても良い。
【００４１】
次に、図３のステップ３０２の背景候補領域の選択処理を詳述する。
【００４２】
図４は背景候補領域の選択，抽出処理を説明するためのフローチャートである。なお、図４の例では、背景候補領域は、対象画像の輝度情報から得るようにしている。図４を参照すると、最初に対象画像（ステップ３０１で入力された画像データ）の各画素の輝度値を算出する（ステップ４０１）。ここで、輝度値をｙとすると、輝度値ｙは次式（数２）によって算出される。
【００４３】
【数２】
ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ
【００４４】
このようにして輝度値ｙが算出されると、次に、輝度分布を算出する（ステップ４０２）。図５には、算出された輝度分布が示されている。図５において、横軸は入力画像データの輝度値（輝度レベル）ｙであり、縦軸は輝度値ｙに対する頻度である。
【００４５】
次に、対象画像中の相対的に明るい領域と暗い領域とを抽出するために、上記輝度分布の分布範囲（ダイナミックレンジ）の算出を行なう（ステップ４０３）。分布範囲（ダイナミックレンジ）の算出は次のようになされる。すなわち、図５に示すように、まず、輝度分布の両端(０および２５５)からの頻度累積割合が、全度数の１％の値に対応する輝度値を算出し、下端値をMin_Lとし、上端値をMax_Lとして分布範囲とする。
【００４６】
このようにして、分布範囲（ダイナミックレンジ）の算出がなされた後、Max_L，Min_L間を４つの輝度区分に分割する。すなわち、輝度値ｙ，輝度分布を暗い方から区分１，区分２，区分３，区分４とする（ステップ４０４）。
【００４７】
ここで、輝度値ｙが「Min_L + (Max_L - Min_L)/4 未満」を区分１とし、輝度値ｙが「Min_L + (Max_L - Min_L)/4 以上で、Min_L + 2×(Max_L - Min_L)/4  未満」を区分２とし、輝度値ｙが「Min_L + 2×(Max_L - Min_L)/4 以上で、Min_L + 3×(Max_L - Min_L)/4  未満」を区分３とし、輝度値ｙが「Min_L + 3×(Max_L - Min_L)/4  以上」を区分４とする。図５には各区分域が示されている。
【００４８】
次に、背景候補領域の輝度区分を選択する（ステップ４０５）。輝度区分はシーンに応じて適切な区分を選択する。ここで、シーンとしては、例えば以下のものが挙げられる。
・夜間撮影…夜景や夜間にフラッシュを使用して撮影したポートレート画像など。
・逆光、半逆光…被写体の真後ろ、もしくは後部に光源がある画像。
・露出アンダー…撮影時の光量不足で全体的に暗い画像。
・適正（順光）…露出調節が適切に成されている画像。
例えば、対象画像が夜間撮影の場合、背景は画像中の相対的に暗い部分にあると考えられるため、最暗区分である区分１に属する画像中の領域が背景候補領域となる。図６には、夜間ポートレート画像の輝度分布および区分が示されている。
【００４９】
また、逆光や半逆光画像の場合、背景は画像中の相対的に明るい部分にあると考えられるため、最明区分である区分４に属する画像領域が背景候補領域となる。図７には、半逆光画像の輝度分布および区分が示されている。
【００５０】
このようにして、背景候補領域の選択，抽出がなされる（ステップ４０６）。なお、上述の例では、輝度の分布範囲を、輝度レベル端部からの頻度累積１％の値に対する輝度値としているが、これのかわりに、全画素数に対する出現頻度に閾値を設けるなどしても良い。また、パーセンテージも１％にこだわらない。
【００５１】
また、上述の例では、輝度の分布範囲を４分割しているが、２分割以上であれば良く、分割数にはこだわらない。また、分割方法は、累積頻度で区分するなどしても良く、上記の例にはこだわらない。
【００５２】
また、上記の例では、ＲＧＢ入力画像を前提にしているが、これのかわりに、Ｌ*ａ*ｂ*でも良い。この場合、輝度にはＬを用い、色成分には、Ｌ*，ａ*，ｂ*を用いれば良い。
【００５３】
また、処理を高速にするために画素間引きを行ったり、輝度としてＲＧＢの単純平均やＧ成分のみを用いても良い。
【００５４】
次に、図３の背景の色域設定処理（ステップ３０３）を図８のフローチャートを用いて説明する。背景の色域設定処理では、まず、入力画像データに対し、前述の背景候補領域の選択処理（ステップ３０２）によって得られた背景候補領域の各色成分分布を得る（ステップ５０１）。すなわち、色成分ごとの分布を作成する。図９，図１０，図１１には、Ｒ，Ｇ，Ｂの各色成分の分布が示されている。
【００５５】
次に、各色成分の平均値Ave(i)(i=R,G,B：色成分)、及び、標準偏差値sd(i)を算出する（ステップ５０２）。
【００５６】
次に、背景の色域を色成分ごとに設定する（ステップ５０３）。すなわち、各色成分iの取り得る色域Ci(i=R,G,B)を算出する。ここで、各色成分iの取り得る色域Ci(i=R,G,B)は、次式のように設定される。
【００５７】
【数３】
Ave(i) - n1×sd(i) ≦ Ci ≦ Ave(i) + n2×sd(i)
【００５８】
数３において、n1,n2は定数であり、本願の発明者の実験では、夜間ポートレート画像の場合、n1 = 3, n2 = 4が望ましく、また、逆光画像の場合、n1 = 4, n2 = 3が望ましい。
【００５９】
図９，図１０，図１１には、Ave(i)，sd(i)の大きさ、及び、Ciの範囲がそれぞれ示されている。
【００６０】
背景の色域は全ての色成分において条件Ciを満たす色空間である。つまり、画素値：r,g,bにおいて、次式を満たす画素を背景領域とする（ステップ５０４）。
【００６１】
【数４】
(r⊂CR)∩(g⊂CG)∩(b⊂CB)
【００６２】
また、色域の設定を行なうにあたり、画像全体ではなく局所的処理を行えば、背景候補領域に含まれている色数が少ないために色域がより狭まり、厳密な設定を行うことができる。
【００６３】
具体的に、入力画像データを縦にK分割、横にL分割（K,Lは整数）、合計K×L分割し、分割区域ごとに背景の色域を設定する。この場合、まず、図１２に示すように画像を分割し、各区域に番号(k = 1,2,...K；l = 1,2...L)をつける。
【００６４】
次に、区域(k,l)についての処理を図１３を用いて説明する。図１３は区域(k,l)の様子を示している。なお、図１３において、黒い部分は背景候補領域である。
【００６５】
区域(k,l)についての処理として、区域(k,l)の背景の色域を色成分ごとに設定する。色成分iの取り得る色域C(i,k,l)は、区域(k,l)の背景候補領域（図１３の黒い部分）の色成分iにおける平均値Ave(i,k,l)及び標準偏差値sd(i,k,l)を用いて、次式のように設定される。
【００６６】
【数５】
Ave(i,k,l) - n1×sd(i,k,l) ≦ C(i,k,l) ≦ Ave(i,k,l) + n2×sd(i,k,l)
【００６７】
数５において、n1,n2は定数である。上述の例では色分布の広がりとして分布の標準偏差値を用いているが、平均値と最小値、もしくは最大値と平均値の差分等でもよい。
【００６８】
区域(k,l)における背景の色域は、全ての色成分において条件C(i,k,l)を満たす色空間である。つまり、画素値r,g,bにおいて、次式を満たす画素を区域(k,l)の背景領域とする。
【００６９】
【数６】
(r⊂C(R,k,l))∩(g⊂C(G,k,l))∩(b⊂C(B,k,l))
【００７０】
また、区域(k,l)に背景候補領域が存在しない場合は、近隣区域の色域が参照される。例えば図１４の場合、斜線で示す区域(k,l)に背景候補領域が存在しないので、区域(k,l)に隣接している８つの区域の中から背景候補領域が存在している区域(k-1,l-1),(k,l-1),(k,l+1),(k+1,l+1)の色域の平均値が算出され、区域(k,l)の色域が設定される。すなわち、次式のように設定される。
【００７１】
【数７】
{ ( Ave(i,k-1,l-1) + Ave(i,k,l-1) + Ave(i,k,l+1) + Ave(i,k+1,l+1) )
- n1× ( sd(i,k-1,l-1) + sd(i,k,l-1) + sd(i,k,l+1) + sd(i,k+1,l+1) )}/4
≦  C(i,k,l)  ≦
{ ( Ave(i,k-1,l-1) + Ave(i,k,l-1) + Ave(i,k,l+1) + Ave(i,k+1,l+1) )
- n2× ( sd(i,k-1,l-1) + sd(i,k,l-1) + sd(i,k,l+1) + sd(i,k+1,l+1) )}/4
【００７２】
ここで、微小領域は分割区域でなくても良く、また隣接領域も図１５の斜線部に示すように任意の領域でもよい。これにより、背景の色域を設定することができる（ステップ５０４，図３のステップ３０３）。
【００７３】
次に、図３のステップ３０４の処理，すなわち、対象画像を被写体領域と背景領域とに分離する処理を詳述する。
【００７４】
ステップ３０４の処理では、対象画像を図１６のようにラスタ走査しながら、各画素について背景領域か否かを判別する。ここで、判別は数４，数６または数７を用いて行なわれ、判別の結果、背景領域でなければ被写体領域とみなし、情報を記憶装置に出力する。
【００７５】
次に、図３のステップ３０５，３０６の処理，すなわち、被写体データの露出が適正か否かを判定する露出判定処理、および、露出補正処理を図１７のフローチャートを用いて説明する。
【００７６】
図１７を参照すると、記憶装置から被写体領域のデータを読み出し（ステップ６０１）、被写体領域の統計的な特徴量を算出し、画像データの露出が適正か否かを判定する。図１７の例では、輝度分布を作成し（ステップ６０２）、輝度分布から輝度中央値等を算出し（ステップ６０３）、算出された輝度中央値等に応じた補正の度合いdeltaを決定して（ステップ６０４）、画像データの露出が適正か否かを判定するようにしている。図１８には、輝度中央値Aに対する補正の度合いdeltaが示されている。
【００７７】
上記判定の結果、被写体が露出不良（露出不足）の場合には、補正を行う。図１７の例では、トーンカーブf1(x)を用いて補正を行なうようになっている。すなわち、図１７の例では、被写体領域より算出される輝度分布から中央値A等が算出され、補正量が算出されると、次に、次式のように補正カーブf1(x)を設定する（ステップ６０５）。
【００７８】
【数８】
fl(x)
=((B+delta)/B)・x (0<x<B)
=((255-B-delta)/(255-B))・x-(delta・255)/(255-B) (B≦x<255)
【００７９】
ここで、Ｂは被写体領域の輝度最大値である。また、図１９には補正カーブが示されている。補正カーブが決定したら、露出補正のための以下の変換を行う。
【００８０】
すなわち、対象画像の画素ｊにおける輝度値を入力輝度値Y1(j)(j=1,2,....N：Nは画素数)とし、Y1(j)に対してトーンカーブ変換後の出力輝度値Y2(j)を算出し、次式により露出補正係数H(j)を算出する（ステップ６０６）。
【００８１】
【数９】
H(j) = Y2(j)/Y1(j)
= f1(Y1(j))/Y1(j)
【００８２】
次いで、画素ｊのＲＧＢ値(R(j),G(j),B(j))を次式によって変換し（ステップ６０７）、画像出力する（ステップ６０８）。
【００８３】
【数１０】
(Ro(j),Go(j),Bo(j)) = C(j)・(R(j),G(j),B(j))
【００８４】
なお、上述の例では、傾きの異なる直線を用いてトーンカーブ（補正カーブ）を決定したが、図２０のようにスプラインなどの曲線を用いてトーンカーブ（補正カーブ）を決定しても良い。
【００８５】
また、上述の例では、端点を含めた３点を通るカーブで構成しているが、節点の数にはこだわらない。例えば夜間撮影では背景が明るくならない方が良い場合もある。このような場合は、シャドー側に節点を複数設定し、シャドー部の出力レベルが変わらないように設定することもできる。また、トーンカーブ補正の結果、ハイライトの階調性が失われる恐れがあれば、ハイライト側に節点を複数設定し、ハイライトの階調が保たれるように設定することもできる。
【００８６】
上述したように、本発明は、カラー画像データから背景領域を抽出する画像処理装置において、背景である可能性の高い背景候補領域の情報を用いて背景領域の色域を設定する背景領域色域設定手段を有していることを特徴としている。このように、背景である可能性の高い背景候補領域の情報を用いて背景領域の色域を設定することにより、色味が同等な領域を背景領域として精度良く抽出することができる。
【００８７】
より具体的に、上記背景領域色域設定手段は、背景候補領域に属する色成分の分布の広がり度合いに応じて背景領域の色域の大きさを設定するようになっている。これにより、背景候補領域の持つ色分布の広がり度合いに応じて背景領域の色域の大きさを設定することができる。
【００８８】
また、上記背景領域色域設定手段は、背景候補領域に属する色成分から求まる平均値および標準偏差値を用いて背景領域の色域を設定するようになっている。これにより、背景候補領域の持つ色分布の広がり度合いに応じて背景領域の色域の大きさを設定することができる。
【００８９】
ここで、夜間撮影シーン画像の背景候補領域は、対象画像の持つ明るさ範囲を少なくとも２段階以上に区分した最暗区部分に対応する領域である。
【００９０】
また、逆光および半逆光シーン画像の背景候補領域は、対象画像の持つ明るさ範囲を少なくとも２段階以上に区分した最明区部分に対応する領域である。
【００９１】
このように、シーンに応じた最適な背景候補領域を選択することができる。
【００９２】
また、背景領域色域設定手段は、微小領域S1内に存在し背景である可能性の高い背景候補領域の情報を用いて、前記微小領域S1内の背景領域の色域を設定するようになっている。これにより、背景領域の色域の設定を厳密に行うことができる。
【００９３】
また、背景領域色域設定手段は、微小領域S1内に背景候補領域が存在しない場合、前記微小領域S1の近傍に属し、かつ背景領域の色域情報をもつ微小領域S2の情報を用いて、微小領域S1内の背景領域の色域を設定するようになっている。このように、微小領域S1内に背景候補領域が存在しない場合、代わりに近傍領域の背景候補領域の情報を用いて背景を抽出することができる。
【００９４】
図２２は、本発明の画像処理装置および画像処理方法および記録媒体をデジタルカメラに適用した場合のシステムの一例を示す図である。
【００９５】
図２２を参照すると、このデジタルカメラは、撮像光学系（レンズ）１と、絞り２と、撮像素子（例えば、ＣＣＤ）３と、光電変換部４と、Ａ／Ｄ変換部５と、画像処理部６と、画面の露出を制御する露出制御部７と、色補間部８と、画像圧縮部９と、記憶部１０と、表示部１１とを有している。
【００９６】
このような構成のデジタルカメラの処理動作を説明する。
【００９７】
なお、いまの例では、露出制御や自動焦点合わせは、撮影直前に行われるものとする。被写体からの光は、撮像光学系１に入射し、絞り２で光量が制限された後、撮像素子（例えば、ＣＣＤ）３の画面に結像する。撮像素子３で結像した被写体情報は、光電変換部４で光電変換され、電気信号としてＡ／Ｄ変換部５に送られる。
【００９８】
次に、Ａ／Ｄ変換部５によりアナログ信号がデジタル信号に変換され、色補間部８により色補間処理された後に、画像処理部６及び露出制御部７に出力される。
【００９９】
画像処理部６では、Ａ／Ｄ変換部５からのデジタル出力信号に対し、画質を上げるために、コントラスト補正処理，エッジ強調処理，偽色補正処理などの処理を行なう。
【０１００】
そして、次の画像圧縮部９では、画像処理部６から出力されたデータを圧縮し、データストリーム化する。データストリームは記憶部１０に格納される。ここで、記憶部１０には、例えばフロッピーディスク，ＭＯ，メモリカードなどが用いられる。
【０１０１】
記憶部１０に格納されたデータストリームは、表示部１１（例えばパソコンなどのディスプレイ）で再現することが可能である。他にも再現手段として、プリンタに出力するなどの種々の方法が考えられ、それらを用いても良い。
【０１０２】
一方、露出制御部７では、露出が適切か否かが判断され、適切でなければ本撮影時において撮像光学系（例えばレンズ）の絞り２及びシャッタスピードが調節される。
【０１０３】
露出制御部７における処理について詳細に説明する。露出制御部７では、露出制御部７に入力した画像データの背景候補領域が抽出される。例えば、フラッシュのプレ発光があれば夜間撮影とみなせるので、背景候補領域は図６における最暗区分である区分１に属する画像領域とされ、それ以外であれば、最明区分である区分４に属する画像領域が背景候補領域となる。
【０１０４】
次に、背景候補領域の色情報から色成分毎に平均値及び標準偏差値が算出され、数２から数６により背景領域の色域が設定される。次に、画像をラスタ走査しながら、各画素の色が背景領域か否かが判別され、被写体領域であれば数１で明度値が算出され、明度分布が算出され、その中央値が出力される。
【０１０５】
次に中央値を用いて被写体の露出が適正か否かが判定される。例えば、夜間撮影画像において、被写体中央値が４０以下であれば露出不足である。そのような場合は本撮影時のフラッシュの光量を強くしたり、シャッタスピードを長くしたりして露出の調節を行う。
【０１０６】
また、図２３は図１，図２の画像処理システムのハードウェア構成例を示す図である。図２３を参照すると、この画像処理システムは、例えばワークステーションやパーソナルコンピュータ等で実現され、全体を制御するＣＰＵ２１と、ＣＰＵ２１の制御プログラム等が記憶されているＲＯＭ２２と、ＣＰＵ２１のワークエリア等として使用されるＲＡＭ２３と、ハードディスク２４と、画像データを表示するためのディスプレイ２５と、カラープリンタなどの画像形成装置２６とを有している。
【０１０７】
ここで、ＣＰＵ２１，ＲＯＭ２２，ＲＡＭ２３，ハードディスク２４は、図２のコンピュータ２１０としての機能を有している。この場合、図１の画像処理装置１０１の機能を、ＣＰＵ２１にもたせることができる。すなわち、本発明の画像処理装置としての機能をＣＰＵ２１にもたせることができる。
【０１０８】
なお、ＣＰＵ２１におけるこのような画像処理装置としての機能は、例えばソフトウェアパッケージ（具体的には、ＣＤ −ＲＯＭ 等の情報記録媒体）の形で提供することができ、このため、図２３の例では、情報記録媒体３０がセットさせるとき、これを駆動する媒体駆動装置３１が設けられている。
【０１０９】
換言すれば、本発明の画像処理装置，画像処理方法は、イメージスキャナ，ディスプレイ等を備えた汎用の計算機システムにＣＤ −ＲＯＭ 等の情報記録媒体に記録されたプログラムを読み込ませて、この汎用計算機システムのマイクロプロセッサに背景領域の色域設定処理を実行させる装置構成においても実施することが可能である。この場合、本発明の画像処理を実行するためのプログラム（すなわち、ハードウェアシステムで用いられるプログラム）は、媒体に記録された状態で提供される。プログラムなどが記録される記録媒体としては、ＣＤ−ＲＯＭ に限られるものではなく、ＲＯＭ ，ＲＡＭ ，フレキシブルディスク，メモリカード等が用いられても良い。媒体に記録されたプログラムは、ハードウェアシステムに組み込まれている記憶装置、例えばハードディスク２４にインストールされることにより、このプログラムを実行して、画像処理機能を実現することができる。
【０１１０】
また、本発明の画像処理装置及び画像処理方法を実現するためのプログラムは、媒体の形で提供されるのみならず、通信によって例えばサーバによって提供されるものであっても良い。
【０１１１】
【発明の効果】
以上に説明したように、請求項１乃至請求項１０記載の発明によれば、カラー画像データから背景領域を抽出する画像処理装置において、背景候補領域の情報を用いて背景領域の色域を設定する背景領域色域設定手段を有しているので、色味が同等な領域を背景領域として精度良く抽出することができる。
特に、請求項１、請求項７、請求項９記載の発明では、前記背景候補領域は、カラー画像データが夜間撮影シーン画像であるときには、対象画像の持つ明るさ範囲を少なくとも２段階以上に区分した最暗区部分に対応する領域であることにより、シーンに応じた最適な背景候補領域を選択することができる。
また、請求項２、請求項８、請求項１０記載の発明では、前記背景候補領域は、カラー画像データが逆光および半逆光シーン画像であるときには、対象画像の持つ明るさ範囲を少なくとも２段階以上に区分した最明区部分に対応する領域であることにより、シーンに応じた最適な背景候補領域を選択することができる。
【０１１２】
また、請求項３記載の発明によれば、請求項１または請求項２記載の画像処理装置において、背景領域色域設定手段は、前記背景候補領域に属する色成分の分布の広がり度合いに応じて背景領域の色域の大きさを設定するようになっているので、背景候補領域の持つ色分布の広がり度合いに応じて背景領域の色域の大きさを設定することができる。
【０１１３】
また、請求項４記載の発明によれば、請求項１乃至請求項３のいずれか一項に記載の画像処理装置において、背景領域色域設定手段は、前記背景候補領域に属する色成分から求まる平均値および標準偏差値を用いて背景領域の色域を設定するようになっているので、背景候補領域の持つ色分布の広がり度合いに応じて背景領域の色域の大きさを設定することができる。
【０１１６】
また、請求項５記載の発明によれば、請求項１乃至請求項４のいずれか一項に記載の画像処理装置において、背景領域色域設定手段は、微小領域S1内に前記背景候補領域が存在する場合、微小領域S1内に存在する前記背景候補領域の情報を用いて、微小領域S1内の背景領域の色域を設定するようになっているので、背景領域の色域の設定を厳密に行うことができる。
【０１１７】
また、請求項６記載の発明によれば、微小領域S1内に前記背景候補領域が存在しない場合、代わりに近傍領域の背景領域の情報を用いて背景を抽出することができる。
【図面の簡単な説明】
【図１】本発明の画像処理システムの構成例を示す図である。
【図２】図１の画像処理システムのハードウェア構成例を示す図である。
【図３】図１，図２の画像処理装置１０１における画像処理例を示すフローチャートである。
【図４】背景候補領域の選択，抽出処理を説明するためのフローチャートである。
【図５】算出された輝度分布を示す図である。
【図６】夜間ポートレート画像の輝度分布および区分を示す図である。
【図７】半逆光画像の輝度分布および区分を示す図である。
【図８】背景の色域設定処理を説明するためのフローチャートである。
【図９】Ｒの色成分の分布を示す図である。
【図１０】Ｇの色成分の分布を示す図である。
【図１１】Ｂの色成分の分布を示す図である。
【図１２】背景の色域を設定する処理を説明するための図である。
【図１３】背景の色域を設定する処理を説明するための図である。
【図１４】背景の色域を設定する処理を説明するための図である。
【図１５】背景の色域を設定する処理を説明するための図である。
【図１６】対象画像をラスタ走査する様子を示す図である。
【図１７】露出判定処理および露出補正処理を説明するためのフローチャートである。
【図１８】輝度中央値に対する補正の度合いを示す図である。
【図１９】補正カーブを示す図である。
【図２０】トーンカーブを決定するための曲線を示す図である。
【図２１】メモリマップ補間を説明するための図である。
【図２２】本発明の画像処理装置および画像処理方法をデジタルカメラに適用した場合のシステムの一例を示す図である。
【図２３】図２の画像処理システムのハードウェア構成例を示す図である。
【符号の説明】
１          撮像光学系（レンズ）
２          絞り
３          撮像素子（ＣＣＤ）
４          光電変換部
５          Ａ／Ｄ変換部
６          画像処理部
７          露出制御部
８          色補間部
９          画像圧縮部
１０        記憶部
１１        表示部
１００      画像入力装置
１０１      画像処理装置
１０４      画像出力装置
２００      スキャナ
２０１      デジタルカメラ
２０２      ビデオカメラ
２０３      ハードディスク（ＨＤ）
２０４      キーボード（ＫＢＤ）
２０５      ＣＤ−ＲＯＭドライブ
２０６      フロッピーディスクドライブ
２１０      コンピュータ
２０７      モデム
２０８      ディスプレイ
２０９      プリンタ
２１５      サーバ
２１２      オペレーティングシステム
２１３      ディスプレイドライバ
２１４      プリンタドライバ
２１１      画像処理アプリケーション
２１        ＣＰＵ
２２        ＲＯＭ
２３        ＲＡＭ
２４        ハードディスク
３０        情報記憶媒体
３１        媒体駆動装置
【図１】
0004107812.tif 000002
【図２】
0004107812.tif 000003
【図３】
0004107812.tif 000004
【図４】
0004107812.tif 000005
【図５】
0004107812.tif 000006
【図６】
0004107812.tif 000007
【図７】
0004107812.tif 000008
【図８】
0004107812.tif 000009
【図９】
0004107812.tif 000010
【図１０】
0004107812.tif 000011
【図１１】
0004107812.tif 000012
【図１２】
0004107812.tif 000013
【図１３】
0004107812.tif 000014
【図１４】
0004107812.tif 000015
【図１５】
0004107812.tif 000016
【図１６】
0004107812.tif 000017
【図１７】
0004107812.tif 000018
【図１８】
0004107812.tif 000019
【図１９】
0004107812.tif 000020
【図２０】
0004107812.tif 000021
【図２１】
0004107812.tif 000022
【図２２】
0004107812.tif 000023
【図２３】
0004107812.tif 000024