(57)【特許請求の範囲】
【請求項１】
照明手段を用いて撮影した第１の画像から、前記照明手段を用いることで前記第１の画像に発生する被写体の影領域を抽出する抽出手段と、
前記影領域の画像信号を補正するために参照する参照領域を、前記影領域および予め決められた条件を満たす領域を含まないように、前記第１の画像内に設定する設定手段と、
前記参照領域の情報を用いて、前記影領域の画像信号を補正する補正手段と、を有し、
前記設定手段は、複数の候補領域を設定し、該複数の候補領域のうちの１つを前記参照領域として設定することを特徴とする画像処理装置。
【請求項２】
照明手段を用いて撮影した第１の画像から、前記照明手段を用いることで前記第１の画像に発生する被写体の影領域を抽出する抽出手段と、
前記影領域の画像信号を補正するために参照する参照領域を、前記第１の画像内に設定する設定手段と、
前記参照領域の情報を用いて、前記影領域の画像信号を補正する補正手段とを有し、
前記設定手段は、複数の候補領域を設定し、該複数の候補領域のうちの１つを前記参照領域として設定し、前記参照領域のうち、前記影領域および予め決められた条件を満たす領域を、前記補正手段による補正に用いられにくくするように制御することを特徴とする画像処理装置。
【請求項３】
前記抽出手段は、前記第１の画像と、前記照明手段を用いずに撮影した第２の画像との差分から、前記影領域を抽出することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記予め決められた条件を満たす領域は、前記第１の画像を撮影した撮像装置からの距離が前記影領域よりも手前にある被写体の領域、前記影領域を発生させた被写体の領域、主被写体の領域、および、色相が、前記影領域の画像信号の色相から予め決められた範囲を超えて異なる画像信号の領域の少なくともいずれかを含むことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記参照領域から、前記影領域の画像信号を補正するために参照する参照画素を選択する選択手段を更に有することを特徴とすることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記選択手段は、前記影領域の１つの画素に対して、複数の参照画素を選択することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記選択手段は、前記影領域の予め決められた数の画素ごとに、複数の参照画素を選択することを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記設定手段は、矩形の前記複数の候補領域の四隅の画素のうち、前記予め決められた条件を満たす画素がより少ない候補領域を前記参照領域として設定することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記設定手段は、前記複数の候補領域のうち、前記第１の画像を撮影した撮像装置からの距離が、前記影領域までの距離に最も近い候補領域を前記参照領域として設定することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項１０】
請求項１乃至９のいずれか１項に記載の画像処理装置と、
前記第１の画像を撮影するための撮像手段と
を有することを特徴とする撮像装置。
【請求項１１】
抽出手段が、照明手段を用いて撮影した画像から、前記照明手段を用いることで前記画像に発生する被写体の影領域を抽出する抽出工程と、
設定手段が、前記影領域の画像信号を補正するために参照する参照領域を、前記影領域および予め決められた条件を満たす領域を含まないように、前記画像内に設定する設定工程と、
補正手段が、前記参照領域の情報を用いて、前記影領域の画像信号を補正する補正工程と、を有し、
前記設定工程では、複数の候補領域を設定し、該複数の候補領域のうちの１つを前記参照領域として設定することを特徴とする画像処理方法。
【請求項１２】
抽出手段が、照明手段を用いて撮影した画像から、前記照明手段を用いることで前記画像に発生する被写体の影領域を抽出する抽出工程と、
設定手段が、前記影領域の画像信号を補正するために参照する参照領域を、前記画像内に設定する設定工程と、
前記設定手段が、前記参照領域のうち、前記影領域および予め決められた条件を満たす領域を、前記補正に用いられにくくするように制御する制御工程と、
補正手段が、前記制御工程で制御された参照領域の情報を用いて、前記影領域の画像信号を補正する補正工程と、を有し、
前記設定工程では、複数の候補領域を設定し、該複数の候補領域のうちの１つを前記参照領域として設定することを特徴とする画像処理方法。
【請求項１３】
コンピュータを、請求項１乃至９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１４】
請求項１３に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、および撮像装置に関する。
【背景技術】
【０００２】
従来から被写体の影を補正する技術が開示されている。具体的には、画像の輝度および色相情報を用いて影領域を検出し、検出した影領域を除去する技術が開示されている。
【０００３】
特許文献１では、影領域を検出するとともに、影領域に隣接する任意の非影の領域を参照領域として選択する。そして、影領域と非影の参照領域の輝度、色相の差分を影領域に加算することで、影を除去した画像を得ることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２３７９７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１には、影除去に用いる非影の参照領域をどのように選択するかが開示されていない。また、影領域に隣接する領域全てが参照領域として適しているとは言えず、適切な参照領域を適応的に選択する必要がある。
【０００６】
本発明は上記問題点を鑑みてなされたものであり、影を低減するために参照する非影領域を適応的に決定することで、より精度良く影を低減することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の画像処理装置は、照明手段を用いて撮影した第１の画像から、前記照明手段を用いることで前記第１の画像に発生する被写体の影領域を抽出する抽出手段と、前記影領域の画像信号を補正するために参照する参照領域を、前記影領域および予め決められた条件を満たす領域を含まないように、前記第１の画像内に設定する設定手段と、前記参照領域の情報を用いて、前記影領域の画像信号を補正する補正手段とを有し、前記設定手段は、複数の候補領域を設定し、該複数の候補領域のうちの１つを前記参照領域として設定する。
【発明の効果】
【０００８】
本発明によれば、影を低減するために参照する非影領域を適応的に決定することで、より精度良く影を低減することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態におけるデジタルカメラの構成を示すブロック図。
【図２】実施形態における画像処理部の構成を示すブロック図。
【図３】第１の実施形態における撮影処理及び影低減処理を示すフローチャート。
【図４】第１の実施形態における撮影画像および差分画像の一例を示す図。
【図５】第１の実施形態における影低減処理部の構成を示すブロック図。
【図６】第１の実施形態における参照画像領域の決定方法を説明する図。
【図７】第２の実施形態における参照画像領域の決定方法を説明する図。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。なお、本実施形態では、画像処理装置としてデジタルカメラに適用した例について説明する。
【００１１】
＜第１の実施形態＞
以下、図１〜６を参照して、本発明の第１の実施形態について説明する。図１は、第１の実施形態におけるデジタルカメラ１００の構成例を示すブロック図である。
【００１２】
図１に示すデジタルカメラ１００において、ズームレンズ、フォーカスレンズを含むレンズ群１０１（撮像光学系）、及び、絞り機能を備えるシャッター１０２を介して入射した光は、撮像部１０３において光電変換される。撮像部１０３は、ＣＣＤやＣＭＯＳ素子などで構成され、光電変換により得られた電気信号は、画像信号としてＡ／Ｄ変換器１０４へ出力される。Ａ／Ｄ変換器１０４は、撮像部１０３から出力されるアナログ画像信号をデジタル画像信号（画像データ）に変換し、画像処理部１０５に出力する。
【００１３】
画像処理部１０５は、Ａ／Ｄ変換器１０４からの画像データ、または、メモリ制御部１０７を介して画像メモリ１０６から読み出された画像データに対し、ホワイトバランスなどの色変換処理、γ処理、輪郭強調処理、色補正処理などの各種画像処理を行う。画像処理部１０５から出力された画像データは、メモリ制御部１０７を介して画像メモリ１０６に書き込まれる。画像メモリ１０６は、画像処理部１０５から出力された画像データや、表示部１０９に表示するための画像データを格納する。
【００１４】
顔検出部１１３は、撮影された画像から人物の顔が存在する顔領域を検出する。画像処理部１０５では、顔検出部１１３の顔検出結果や、撮像した画像データを用いて所定の評価値算出処理を行い、得られた評価値に基づいてシステム制御部５０が露光制御、焦点調節制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理などを行う。
【００１５】
また、Ｄ／Ａ変換器１０８は、画像メモリ１０６に格納されている表示用のデジタルの画像データをアナログ信号に変換して表示部１０９に供給する。表示部１０９は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１０８からのアナログ信号に応じた表示を行う。
【００１６】
コーデック部１１０は、画像メモリ１０６に格納された画像データをＪＰＥＧ、ＭＰＥＧなどの規格に基いてそれぞれ圧縮符号化または復号化する。システム制御部５０は符号化した画像データを、インタフェース（Ｉ／Ｆ）１１１を介して、メモリカードやハードディスク等の記録媒体１１２に格納する。
【００１７】
また、Ｉ／Ｆ１１１を介して記録媒体１１２から読み出された画像データをコーデック部１１０により復号して伸長し、画像メモリ１０６に格納する。そして、画像メモリ１０６に格納された画像データを、メモリ制御部１０７、Ｄ／Ａ変換器１０８を介して表示部１０９に表示することで、画像を再生表示することができる。
【００１８】
影低減処理部１１４は、撮影画像の影を低減または除去する。なお、影低減処理部１１４により行われる影低減処理については、詳細に後述する。
【００１９】
システム制御部５０はデジタルカメラ１００のシステム全体を制御する。不揮発性メモリ１２１は、ＥＥＰＲＯＭなどのメモリにより構成され、システム制御部５０の処理に必要なプログラムやパラメータなどを格納する。システムメモリ１２２はシステム制御部５０の動作用の定数、変数、不揮発性メモリ１２１から読みだしたプログラム等を展開するために用いられる。システム制御部５０は、不揮発性メモリ１２１に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。なお、ここでいうプログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。この際、システム制御部５０の動作用の定数、変数、不揮発性メモリ１２１から読み出したプログラム等をシステムメモリ１２２に展開する。
【００２０】
操作部１２０は、ユーザによる操作を受け付ける。フラッシュ１２３は照明装置であり、デジタルカメラ１００に内蔵された照明装置であっても、デジタルカメラ１００に着脱可能な照明装置であってもよい。測距センサ１２４は被写体までの距離を測定し、撮影画素の画素単位に対応する距離情報を２次元の距離マップ画像として出力する。なお、被写体までの距離を測定する方法は測距センサ１２４を用いた方法に限定されない。例えば、撮像部１０３を用いて得られた画像データに基づいて被写体までの距離を測定する方法でもよい。
【００２１】
図２は画像処理部１０５の構成を示すブロック図である。以下、図２を参照して、画像処理部１０５における処理について説明する。なお、本実施形態では、撮像部１０３はベイヤー配列のカラーフィルタにより覆われているものとする。従って、撮像部１０３の各画素からはＲ、Ｇ、Ｂいずれかの画像信号が出力される。
【００２２】
図１のＡ／Ｄ変換器１０４から画像処理部１０５に入力された画像信号は、まず、図２の同時化処理部２００に入力される。同時化処理部２００は、入力されたＲ、Ｇ、Ｂの画像信号に対して同時化処理を行い、各画素について色信号ＲＧＢを生成する。ＷＢ増幅部２０１は、公知の処理によりシステム制御部５０が算出するホワイトバランスゲイン値に基づき、生成された各画素の色信号ＲＧＢにゲインをかけ、ホワイトバランスを調整する。ＷＢ増幅部２０１によりホワイトバランスが調整された色信号ＲＧＢは、輝度・色信号生成部２０２に入力される。輝度・色信号生成部２０２は色信号ＲＧＢから輝度信号Ｙを生成し、生成した輝度信号Ｙを輪郭強調処理部２０３へ、また、色信号ＲＧＢを色変換処理部２０５へ出力する。
【００２３】
輪郭強調処理部２０３では、輝度信号Ｙに対して輪郭強調処理を行い、輝度ガンマ処理部２０４へ出力する。輝度ガンマ処理部２０４では輝度信号Ｙに対してガンマ補正を行い、メモリ制御部１０７を介して輝度信号Ｙを画像メモリ１０６に出力する。
【００２４】
一方、色変換処理部２０５は、色信号ＲＧＢに、例えば、マトリクス演算を行って、所望のカラーバランスへ変換する。色ガンマ処理部２０６では、色信号ＲＧＢにガンマ補正を行う。色差信号生成部２０７では、ＲＧＢ信号から色差信号Ｒ−Ｙ、Ｂ−Ｙを生成する。
【００２５】
このようにして生成された輝度信号Ｙ及び色差信号Ｒ−Ｙ、Ｂ−Ｙ（画像データ）は、画像メモリ１０６に一旦記憶され、コーデック部１１０によって圧縮符号化され、記録媒体１１２に記録される。
【００２６】
次に、上記構成を有するデジタルカメラ１００の第１の実施形態における処理について説明する。なお、第１の実施形態におけるデジタルカメラ１００は、少なくとも、通常の撮影モードと、フラッシュ１２３によって生じる影を低減もしくは除去可能な影低減撮影モードの２種類の撮影モードを備えているものとする。
【００２７】
図３（ａ）は、撮影処理におけるシステム制御部５０の処理を説明するフローチャートである。まず、Ｓ３０１において、フラッシュ１２３を用いた撮影モード（フラッシュ発光モード）であるか否かを判定する。フラッシュ撮影を行う場合は、Ｓ３０２に進み、フラッシュ撮影を行わない撮影モード（フラッシュ非発光モード）の場合は、Ｓ３０５に進んで通常のフラッシュ非発光撮影を行う。
【００２８】
Ｓ３０２では、ユーザによる操作部１２０への操作により、影低減撮影モードが選択されているか否かを判定する。影低減撮影モードが選択されている場合は、Ｓ３０３に進み、影低減撮影モードが選択されていない場合は、Ｓ３０５へ進んで通常のフラッシュ発光撮影を行う。
【００２９】
Ｓ３０３では、まず、フラッシュ１２３を非発光状態として、撮影露出の制御を行う。具体的には、主となる被写体（人物など）領域に関して、フラッシュ撮影した時の明るさと同等の明るさの画像が得られるように、非発光時の露出を制御する。なお、フラッシュ撮影した時の明るさは、フラッシュ１２３の発光量と被写体領域の反射率に影響するため、Ｓ３０３で想定するフラッシュ撮影した時の明るさと実際のフラッシュ撮影した時の明るさは異なる場合がある。しかしながら、Ｓ３０３で想定するフラッシュ撮影した時の明るさはフラッシュ発光撮影で目標とする明るさである。そのためステップＳ３０３は、主となる被写体（人物など）領域に関して、フラッシュ撮影で目標とする明るさと同等の明るさの画像が得られるように、非発光時の露出を制御することになる。なお、この時点で、ユーザによる操作部１２０への操作等により主となる被写体（人物など）領域の反射率やフラッシュ撮影時の発光量が設定されているときは、発光量と反射率からフラッシュ撮影した時の明るさを求めてもよい。
【００３０】
次にＳ３０４では、フラッシュ非発光撮影を行う。フラッシュ非発光撮影で得られた画像の例を図４（ａ）に示す。そして、フラッシュ非発光撮影で得られた画像（以下、「非発光画像」と呼ぶ。）を画像メモリ１０６に記録する。その後、Ｓ３０５に進んで、フラッシュ発光モードによりフラッシュ１２３を発光して本撮影を行う。
【００３１】
なお、Ｓ３０５で行われる本撮影においては、上述したように、Ｓ３０２でＮＯの場合に、フラッシュ１２３を発光して撮影が行われ、Ｓ３０１でＮＯの場合に、フラッシュ１２３を発光せずに撮影が行われる。
【００３２】
Ｓ３０６では、Ｓ３０５で撮影した画像を記録媒体１１２に記録する。フラッシュ１２３を発光した場合の画像（以下、「発光画像」と呼ぶ。）の一例を図４（ｂ）に示す。ここで、影低減撮影モードが選択され、Ｓ３０４で非発光画像を記録している場合には、非発光画像と発光画像とを対応付けて記録媒体１１２に記録し、撮影処理を終了する。
【００３３】
次に、影低減処理について、図３（ｂ）のフローチャートを用いて説明する。図３（ａ）に示す撮影後、影低減する画像がユーザ操作によって選択されると、選択された画像データに対して、図３（ｂ）の処理を行う。
【００３４】
図３（ｂ）のＳ３１０において、対応付けて記録されていた、選択された画像の発光画像と非発光画像の画像データ間の差分を算出する。差分を算出する際には、２枚の画像の位置ずれ量を算出し、位置ずれを補正した後、差分を算出する。図４（ａ）に示す非発光画像と図４（ｂ）に示す発光画像との差分画像の例を図４（ｃ）に示す。フラッシュ１２３の発光・非発光で、被写体領域が同程度の明るさとなるように露出を制御して撮影しているため、発光画像と非発光画像間で主となる被写体部分に大きな差分は生じない。一方で、フラッシュ光によって生じた影になっている領域に関しては、４０１に示すように大きな差分が生じる。
【００３５】
ただし、フラッシュからの距離が遠い被写体に関しては、フラッシュ光が届かないため、非発光撮影時に露出を上げてして撮影した分だけ明るくなってしまい、差分が生じてしまう。そのため、所定の距離範囲以内にある距離に限定して、影検出のための差分をとるような構成をとることも可能である。
【００３６】
上記のようにして取得した非発光画像と発光画像との差分が閾値以上の領域（例えば図４の領域４０１）を、第１の実施形態では影領域として用いる。
【００３７】
図３に戻り、Ｓ３１１では、システム制御部５０は、フラッシュ１２３による影領域が存在するか判定する。具体的には、Ｓ３１０で算出した閾値以上の差分を有する領域が所定の画素数以上あるか否かを判定する。閾値以上の差分を有する領域が所定の画素数以上ある場合は、フラッシュ１２３の発光により影が生じていると判断し、Ｓ３１２に進む。一方、影領域が無いと判断した場合は、処理を終了する。
【００３８】
Ｓ３１２では、操作部１２０に対するユーザ操作により入力された影の低減割合（影低減割合）を設定する。影低減割合とは、影をどの程度低減するかを示す数値であり、影低減割合１００％の場合は、完全に影を除去することになる。
【００３９】
Ｓ３１３において、記録媒体１１２に記録された画像データ（発光画像）を影低減処理部１１４に入力し、影低減処理を行う。なお、影低減処理の詳細に関しては後述する。Ｓ３１４において、影を低減した画像を記録媒体１１２に記録し、処理を終了する。
【００４０】
次に、Ｓ３１３において影低減処理部１１４で行われる影低減処理について説明する。図５は影低減処理部１１４の内部構成を示すブロック図である。
【００４１】
影低減処理部１１４に入力した発光画像の画像データ（輝度信号Ｙ及び色差信号Ｒ−Ｙ、Ｂ−Ｙ）は、図５に示すようにＬＰＦ５０１に入力され、低域通過のＬＰＦ処理が施される一方、ＨＰＦ５０２にも入力されて、高域通過のＨＰＦ処理が施される。ＬＰＦ５０１により処理された低域信号は、参照領域決定処理部５０３へ出力される。
【００４２】
参照領域決定処理部５０３には、ＬＰＦ５０１からの発光画像の低域信号の他に、測距センサ１２４で生成した距離マップ画像（距離情報）および、図３のＳ３１０で算出した影領域の情報が入力される。参照領域決定処理部５０３では、ＬＰＦ５０１から入力された画像データが影領域の画素の画像データか否かを判定し、影領域の画素である場合は、低減対象となる影画素と類似した、影低減に用いる参照領域を検出する。
【００４３】
ここで、参照領域決定処理部５０３で行われる処理について、図６を用いて具体的に説明する。参照領域決定処理部５０３では、影領域情報を参照して、入力された画像信号のうち、影領域にある画素の画像信号に対して順に処理を行う。
【００４４】
図６（ａ）において、影画素６０１は、処理対象となる影領域にある画素の１つを示し、発光画像内の影画素６０１に対して、参照画素のサーチ範囲６０２を設定する。図６（ｂ）は図６（ａ）の一部を拡大した図である。影画素６０１が処理対象の画素である場合、影画素６０１を基準としたサーチ範囲６０２を設定し、そのサーチ範囲６０２内にある画素に関して、影画素６０１と類似した画素を検出する。この時、１画素だけの比較ではなく、周辺画素も含む領域でパターンマッチングを行う。参照画素６０３は、検出した参照画素の一例である。
【００４５】
この時、パターンマッチングは、単純に輝度情報だけを用いて行うのではなく、距離情報および影領域情報を利用する。影領域は参照対象としてふさわしくないため、サーチ範囲内であっても、パターンマッチングは行わない。さらに距離情報を参照し、影の領域よりも、カメラに向かって手前の距離にある被写体領域に関しては、影領域の参照対象としてふさわしくないため、パターンマッチング対象から除外する（参照領域）。このように処理する理由について図６（ｃ）を用いて説明する。
【００４６】
図６（ｃ）は距離情報信号を元に生成される距離マップ画像の一例を示している。ここでは、距離マップとして、被写体の距離がカメラに近いほど白くなり、遠いほど黒となるものとして表している。
【００４７】
図６の例では、影領域付近にあり、かつ影領域よりも手前にある被写体は、影を発生させる原因となった被写体である可能性が高く、影を低減するために参照するにはふさわしくない。そのためパターンマッチング対象から除外する。
【００４８】
上記のように、影領域および、影領域よりも距離が近いものを除外した画素に対して、パターンマッチング処理を行う。なお、パターンマッチングの際には、影と非影領域のマッチングとなるため、輝度を正規化してのマッチングを行う。
【００４９】
上記のように、参照領域決定処理部５０３は、処理対象の画素に類似した参照画素を決定し、決定した参照画素の情報および画像信号を参照画素変換処理部５０４へ送る。
【００５０】
参照画素変換処理部５０４は、影画素と参照画素を合成する処理を行う。この時の合成比率は、図３のＳ３１２で設定した影低減割合によって決定される。即ち、影低減割合が１００％である場合には、影画素を参照画素で完全に置き換える。影低減割合が５０％の場合は、影画素と参照画素を１：１の比率で合成する。
【００５１】
参照画素を用いて影画素を変換した（影を低減した）信号は合成処理部５０５に出力され、合成処理部５０５は、影画素を変換した信号に対して、元の画像信号の高域信号を加算し、合成結果の画像を出力する。
【００５２】
以上説明したように第１の実施形態では、影領域を低減するために参照する画素を選択する際に、影領域および影領域よりも距離が近い領域（予め決められた条件を満たす画素）を参照しないように制御する構成とした。これにより、影を補正するための参照画素もしくは参照領域を的確に選ぶことができるようになり、影低減の精度が向上する。
【００５３】
なお、第１の実施形態では、距離が影領域よりも近い被写体は、影低減の参照対象から除外するように制御したが、影の原因となっている被写体（例えば図６の人物）を除外できるのであれば、これ以外の制御を用いてもよい。例えば、影領域の輪郭情報（形状情報）を利用して、テンプレートマッチングを行い、影領域と輪郭の一致度が高い領域（例えば、図６の人物領域）を特定する。そして、影領域と、影領域と形状の一致度が高い領域を除外した領域から参照画素を選択する方法を用いてもよい。
【００５４】
また、図６の人物領域のような主被写体領域を抽出し、その領域は、参照画素の選択から除外する構成とすることも可能である。例えば、顔検出を用いて、顔を含む被写体領域は参照領域の選択から除外するなどの処理を行うことができる。
【００５５】
また、処理対象の影画素と色相が所定の閾値を越えて異なる場合、その画素は参照画素とはしないように、色相などの情報を加えて制御してもかまわない。
【００５６】
また、第１の実施形態では、参照画素を選択する際に影画素および影の原因となっている被写体の画素を除外する構成について説明したが、完全に除外しない構成をとることも可能である。例えば、影および影の原因となっている被写体を完全に除外するのではなく、参照画素として選択されにくくするようにマッチングの結果が低く出るように制御する構成をとることも可能である。
【００５７】
また、第１の実施形態では、参照画素が１画素である場合を例に説明したが、参照画素は１画素だけでなく、複数画素であってもよい。例えば、影画素との一致度が高い参照領域を複数検出し、その平均値で処理対象の影画素を置きかえる処理を行う構成を取ることが可能である。これにより一画素だけの場合と比較してノイズの影響を抑えることが可能である。
【００５８】
また、影画素及び参照画素の単位を画素ではなく小領域単位で処理する構成をとることも可能である。例えば、３×３画素の小領域単位で影領域と参照領域のマッチングを行い、領域単位で参照領域の平均値に置き換える構成を取ることも可能である。
【００５９】
また、第１の実施形態では、参照画素と影画素を合成する処理について説明したが、参照画素を利用して影画素の影を低減させる処理であればどのような処理を行ってもよい。例えば、影画素を参照画素の特性に近づける変換ゲインを算出し、その変換ゲインを影画素にかける構成を取ることも可能である。具体的には、影画素と参照画素の輝度および色の比率を計算し、影画素を参照画素に近づけるための輝度および色ゲインを算出する。そして、影画素に対して輝度および、色ゲインを乗算する。なお、画素単位でなく、画面全体や小領域単位で、変換ゲインを算出する構成をとってもよい。
【００６０】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。第２の実施形態では、影低減のための参照画素のサーチ範囲の設定方法、すなわち、参照領域決定処理部５０３における処理が、第１の実施形態と異なる。なお、第２の実施形態におけるデジタルカメラの構成は、第１の実施形態において図１、２、５を参照して説明したものと同様であるため、ここでは説明を省略する。また撮像処理および影低減処理の流れも図３のフローチャートで示したものと同様であるため、説明を省略する。
【００６１】
第１の実施形態では、図６（ａ）に示すように、処理対象の影画素６０１に対して、影画素の周辺に参照画素のサーチ範囲を設定した。しかし影の周囲を影の原因となる被写体で囲まれている場合などは、参照するのに有効な領域が存在しない場合がある。例えば、図７（ａ）において、画素７０１が処理対象である影画素、領域７０２は参照画素のサーチ範囲を示している。この場合、サーチ範囲がほぼ影領域および影の原因となっている被写体領域であるため、参照画素を検出することができない。
【００６２】
そこで、第２の実施形態では、影領域および影の原因となっている被写体領域情報を元に、サーチ範囲を適応的に設定する。以下、具体的な制御方法について説明する。まず、図７（ｂ）に示すように、複数のサーチ範囲の候補領域７０２〜７０４を設定する。そして、サーチ範囲の候補領域７０２〜７０４それぞれに関して、矩形のサーチ候補領域の四隅の画素が影領域もしくは、影の原因となっている被写体領域であるか判定する。そして、２か所以上が影画素でも影の原因となる被写体領域の画素でもなく、最も影画素に近いサーチ範囲をサーチ範囲として選択する。
【００６３】
図７（ｂ）の例で説明すると、候補領域７０２は、領域の四隅全ての画素が影画素もしくは影の原因となっている被写体領域の画素である。候補領域７０３は、左上の画素を除く３か所の画素が影画素もしくは影の原因となっている被写体領域の画素である。候補領域７０４は、四隅全ての画素が影画素でも影の原因となる被写体領域の画素でもない。そのため、図７（ｂ）の例では、候補領域７０４をサーチ範囲として設定する。
【００６４】
以上で説明したように、第２の実施形態では、第１の実施形態に加えて参照画素のサーチ範囲を影画素もしくは影の原因となっている被写体領域の情報を用いて適応的に選択する構成とした。これにより、サーチ範囲の中に参照できる画素が含まれていない状態を低減できることが可能となり、より精度よく参照画素を検出することが可能となる。
【００６５】
なお、第２の実施形態では、参照画素のサーチ範囲の候補を３つ設定し、その中から最適なサーチ範囲を選択する例を説明したが、参照画素のサーチ範囲の選び方をこの方法に限定するものではない。影画素もしくは影の原因となっている被写体領域の画素を利用して、参照画素のサーチ範囲を決定するのであればどのような方法を用いてもよい。
【００６６】
例えば、影画素に対して水平・垂直方向にもっと多くの参照画素のサーチ範囲候補を設定し、その中から選択することも可能である。また、４隅に影画素および影の原因となる被写体領域の画素を含まない領域ができるまで、サーチ範囲を少しずつずらしながら調べる方法をとることも可能である。
【００６７】
また、影領域および影の原因となる被写体領域を使わずに、距離情報を用いてサーチ範囲を決定する方法をとることも可能である。例えば、影領域と距離が近い領域にサーチ範囲を設定してもよい。図７（ｂ）を例に説明すると、距離情報を用いて、候補領域７０２〜７０４に関してそれぞれ平均距離を算出し、平均距離が処理対象となる影の距離と最も近いサーチ範囲を選択する。図７（ｂ）の例では、候補領域７０２、７０３は、影よりも手前の被写体を含んでいるため、距離の平均値は影よりも手前にくる。これに対し、候補領域７０４は影とほぼ同じ距離の領域であるため、候補領域７０４をサーチ範囲として決定する。
【００６８】
なお、上記第１及び第２の実施形態では、カメラの内部に影低減処理部１１４を備え、カメラ内で影低減処理を行う構成について説明したが、影低減処理を行う場所をカメラ内に限定するものではない。例えば、パソコンなどの他のデバイスに取りこんで、そのデバイス内に影低減処理部１１４を備え、影低減処理を行う構成をとることも可能である。
【００６９】
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７０】
５０：システム制御部、１０３：撮像部、１０５：画像処理部、１１２：記録媒体、１１３：顔検出部、１１４：影低減処理部、１２３：フラッシュ、１２４：測距センサ、５０３：参照領域決定処理部、５０４：参照画素変換処理部、５０５：合成処理部
【図１】
0006616674.tif 000002
【図２】
0006616674.tif 000003
【図３】
0006616674.tif 000004
【図４】
0006616674.tif 000005
【図５】
0006616674.tif 000006
【図６】
0006616674.tif 000007
【図７】
0006616674.tif 000008