(57)【要約】【課題】  ディジタル画像から特定の被写体を抽出する作業を容易にする画像処理方法、システム、装置及びプログラム並びにディジタルカメラを提供する。【解決手段】  本発明に係る画像処理方法は、同一シーンについて注目領域に焦点が合っている第一ディジタル画像と注目領域から焦点が外れている第二ディジタル画像とを生成する撮像段階と、第一ディジタル画像の輝度のエッジを表す第一エッジ画像と第二ディジタル画像の輝度のエッジを表す第二エッジ画像との差分を表す輝度差分画像を生成する輝度差分生成段階と、第一ディジタル画像の色相のエッジを表す第三エッジ画像と第二ディジタル画像の色相のエッジを表す第四エッジ画像との差分を表す色相差分画像を生成する色相差分生成段階と、輝度差分画像と色相差分画像とに基づいて第一ディジタル画像の注目領域に対応する領域を特定する領域特定段階と、を含む。【選択図】    図１
2006173661.tif 000002
【特許請求の範囲】
【請求項１】
シーンを撮像してディジタル画像を生成する段階であって、同一シーンについて注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを生成する撮像段階と、
前記第一ディジタル画像の輝度のエッジを表す第一エッジ画像と前記第二ディジタル画像の輝度のエッジを表す第二エッジ画像との差分を表す輝度差分画像を生成する輝度差分生成段階と、
前記第一ディジタル画像の色相のエッジを表す第三エッジ画像と前記第二ディジタル画像の色相のエッジを表す第四エッジ画像との差分を表す色相差分画像を生成する色相差分生成段階と、
前記輝度差分画像と前記色相差分画像とに基づいて前記第一ディジタル画像の前記注目領域に対応する領域を特定する領域特定段階と、
を含むことを特徴とする画像処理方法。
【請求項２】
前記領域特定段階において、前記輝度差分画像の画素の画素値と前記色相差分画像の対応する画素の画素値とを重み付けして加算し、加算した結果に基づいて前記第一ディジタル画像の前記注目領域に対応する領域を特定することを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記輝度差分画像の画素値に基づいて前記注目領域が含まれている領域を推定する推定段階を更に含み、
前記色相差分生成段階において、前記第一ディジタル画像の前記推定した領域の前記第三エッジ画像と前記第二ディジタル画像の前記推定した領域の前記第四エッジ画像との差分を表す前記色相差分画像を生成することを特徴とする請求項１又は２に記載の画像処理方法。
【請求項４】
前記輝度差分生成段階において、前記第一エッジ画像と前記第二エッジ画像との差分を表す差分画像を生成し、前記差分画像の注目画素及び当該注目画素を基準に所定範囲内にある画素の画素値のばらつきを求め、求めたばらつきに基づいて前記輝度差分画像の当該注目画素に対応する画素の画素値を設定することを特徴とする請求項１、２又は３に記載の画像処理方法。
【請求項５】
前記色相差分生成段階において、前記第三エッジ画像と前記第四エッジ画像との差分を表す差分画像を生成し、前記差分画像の注目画素及び当該注目画素を基準に所定範囲内にある画素の画素値のばらつきを求め、求めたばらつきに基づいて前記色相差分画像の当該注目画素に対応する画素の画素値を設定することを特徴とする請求項１〜４のいずれか一項に記載の画像処理方法。
【請求項６】
前記輝度差分生成段階において、前記第一ディジタル画像の縮小画像に基づいて前記第一エッジ画像を生成し、前記第二ディジタル画像の縮小画像に基づいて前記第二エッジ画像を生成することを特徴とする請求項１〜５のいずれか一項に記載の画像処理方法。
【請求項７】
前記色相差分生成段階において、前記第一ディジタル画像の縮小画像に基づいて前記第三エッジ画像を生成し、前記第二ディジタル画像の縮小画像に基づいて前記第四エッジ画像を生成することを特徴とする請求項１〜６のいずれか一項に記載の画像処理方法。
【請求項８】
前記第二ディジタル画像を調整範囲の限界近傍に焦点を設定して撮像することにより生成することを特徴とする請求項１〜７のいずれか一項に記載の画像処理方法。
【請求項９】
前記第一ディジタル画像の前記注目領域に対応する領域以外の領域の画素値を均一にする段階を含むことを特徴とする請求項１〜８のいずれか一項に記載の画像処理方法。
【請求項１０】
前記第一ディジタル画像の前記注目領域に対応する領域以外の領域を透明にする段階を含むことを特徴とする請求項１〜８のいずれか一項に記載の画像処理方法。
【請求項１１】
前記注目領域に対応する領域以外の領域を透明にした前記第一ディジタル画像を前記第二ディジタル画像又は他のディジタル画像の上に重畳合成する段階をさらに含むことを特徴とする請求項１０に記載の画像処理方法。
【請求項１２】
シーンを撮像してディジタル画像を生成する手段であって、同一シーンについて注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを生成する撮像手段と、
前記第一ディジタル画像の輝度のエッジを表す第一エッジ画像と前記第二ディジタル画像の輝度のエッジを表す第二エッジ画像との差分を表す輝度差分画像を生成する輝度差分生成手段と、
前記第一ディジタル画像の色相のエッジを表す第三エッジ画像と前記第二ディジタル画像の色相のエッジを表す第四エッジ画像との差分を表す色相差分画像を生成する色相差分生成手段と、
前記輝度差分画像と前記色相差分画像とに基づいて前記第一ディジタル画像の前記注目領域に対応する領域を特定する領域特定手段と、
を備えることを特徴とする画像処理システム。
【請求項１３】
注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを同一シーンについて取得する取得手段と、
前記第一ディジタル画像の輝度のエッジを表す第一エッジ画像と前記第二ディジタル画像の輝度のエッジを表す第二エッジ画像との差分を表す輝度差分画像を生成する輝度差分生成手段と、
前記第一ディジタル画像の色相のエッジを表す第三エッジ画像と前記第二ディジタル画像の色相のエッジを表す第四エッジ画像との差分を表す色相差分画像を生成する色相差分生成手段と、
前記輝度差分画像と前記色相差分画像とに基づいて前記第一ディジタル画像の前記注目領域に対応する領域を特定する領域特定手段と、
を備えることを特徴とする画像処理装置。
【請求項１４】
注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを同一シーンについて取得する取得手段と、
前記第一ディジタル画像の輝度のエッジを表す第一エッジ画像と前記第二ディジタル画像の輝度のエッジを表す第二エッジ画像との差分を表す輝度差分画像を生成する輝度差分生成手段と、
前記第一ディジタル画像の色相のエッジを表す第三エッジ画像と前記第二ディジタル画像の色相のエッジを表す第四エッジ画像との差分を表す色相差分画像を生成する色相差分生成手段と、
前記輝度差分画像と前記色相差分画像とに基づいて前記第一ディジタル画像の前記注目領域に対応する領域を特定する領域特定手段としてコンピュータを機能させることを特徴とする画像処理プログラム。
【請求項１５】
シーンを撮像してディジタル画像を生成する手段であって、同一シーンについて注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを生成する撮像手段と、
前記第一ディジタル画像と前記第二ディジタル画像とを互いに関連付けて出力する出力手段と、
を備えることを特徴とするディジタルカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法、システム、装置及びプログラム並びにディジタルカメラに関する。
【背景技術】
【０００２】
ディジタルカメラは、フィルムカメラのフィルムの感光部に比べてイメージセンサの感光部の面積が小さいため、フィルムカメラに比べて焦点距離が短いレンズを用いて被写体を撮像する。焦点距離が短いレンズを用いたディジタルカメラでは、奥行きのあるシーンを撮像して生成したディジタル画像でも、焦点の合っていない領域と焦点の合っている領域との鮮鋭度の差が小さくなる。
【０００３】
特許文献１には、ディジタルカメラによって奥行きを強調したディジタル画像を生成する方法が開示されている。特許文献１に開示された方法では、画角内を複数の領域に分割し、各領域毎に被写体までの距離を測定してディジタル画像を生成し、その後、注目領域までの距離と各領域までの距離との差に応じてディジタル画像の各領域をぼかすことにより、奥行きを強調する。
【０００４】
しかし、あるシーンを表すディジタル画像に基づいてそのディジタル画像を領域分割するのではなく、被写体までの距離を個別に測定される小領域に対応してディジタル画像を規則的に分割し、そのように分割された領域毎にぼけの程度を設定すると、規則的な形状の各領域の境界で鮮鋭度が不自然に変化するため、ぼけ方がブロック状になるという問題がある。
【０００５】
また、ディジタル画像から特定の被写体を抽出する処理は、画像の合成処理などの前処理として頻繁に行われる。従来の画像処理アプリケーションプログラムでは、複数のパラメータをディジタル画像の特性に応じて試行錯誤をくり返しながらきめ細かく設定する必要があったため、ディジタル画像から特定の被写体を抽出する処理をコンピュータに行わせる作業は難易度の高い作業であった。
【０００６】
【特許文献１】特開平１１−２６６３８８
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、かかる事情に鑑みて創作されたものであって、ディジタル画像から特定の被写体を抽出する作業を容易にする画像処理方法、システム、装置及びプログラム並びにディジタルカメラを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明に係る画像処理方法は、シーンを撮像してディジタル画像を生成する段階であって、同一シーンについて注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを生成する撮像段階と、前記第一ディジタル画像の輝度のエッジを表す第一エッジ画像と前記第二ディジタル画像の輝度のエッジを表す第二エッジ画像との差分を表す輝度差分画像を生成する輝度差分生成段階と、前記第一ディジタル画像の色相のエッジを表す第三エッジ画像と前記第二ディジタル画像の色相のエッジを表す第四エッジ画像との差分を表す色相差分画像を生成する色相差分生成段階と、前記輝度差分画像と前記色相差分画像とに基づいて前記第一ディジタル画像の前記注目領域に対応する領域を特定する領域特定段階と、を含む。
【０００９】
注目領域に焦点を合わせて撮像すると、その結果生成されるディジタル画像では、注目領域に対応する領域で鮮鋭度が高くなり、それ以外の領域で鮮鋭度が低くなる。また、ディジタルカメラで被写体までの距離とは無関係な特定の距離に焦点を合わせて撮像すると、偶然焦点が合った領域を除いてディジタル画像は全体に鮮鋭度が低くなる。このため、輝度のエッジを表す第一エッジ画像と輝度のエッジを表す第二エッジ画像との差分を表す輝度差分画像を生成してエッジの高さを比較すると、注目領域ではエッジの高さの差が大きく、非注目領域ではエッジの高さの差が小さくなる傾向がある。この特性は撮像するシーンによらず単純で普遍的であるため、この特性をアルゴリズムに利用すると、ディジタル画像から特定の対象物を抽出する処理に用いるパラメータの設定を簡素化できる。従って、撮像時に焦点を合わせた特定の対象物をディジタル画像から抽出する作業が容易になる。ただし、輝度差分画像はエッジが欠落し易い。逆に、色相のエッジを表す第三エッジ画像と色相のエッジを表す第四エッジ画像との差分を表す色相差分画像は不要なエッジが残り易い。このため、輝度差分画像と色相差分画像とを両方用いると、輝度差分画像だけを用いる場合に比べて注目領域に対応する領域をより確実に特定できる。
【００１０】
さらに本発明に係る画像処理方法では、前記領域特定段階において、前記輝度差分画像の画素の画素値と前記色相差分画像の対応する画素の画素値とを重み付けして加算し、加算した結果に基づいて前記第一ディジタル画像の前記注目領域に対応する領域を特定する。
さらに本発明に係る画像処理方法では、前記輝度差分画像の画素値に基づいて前記注目領域が含まれている領域を推定する推定段階を更に含み、前記色相差分生成段階において、前記第一ディジタル画像の前記推定した領域の前記第三エッジ画像と前記第二ディジタル画像の前記推定した領域の前記第四エッジ画像との差分を表す前記色相差分画像を生成する。推定した領域についてのみ色相差分画像を生成すると、全領域について生成する場合に比べて処理量を低減することができるため、注目領域に対応する領域の特定に要する時間を短縮できる。
【００１１】
さらに本発明に係る画像処理方法では、前記輝度差分生成段階において、前記第一エッジ画像と前記第二エッジ画像との差分を表す差分画像を生成し、前記差分画像の注目画素及び当該注目画素を基準に所定範囲内にある画素の画素値のばらつきを求め、求めたばらつきに基づいて前記輝度差分画像の当該注目画素に対応する画素の画素値を設定する。ばらつきに基づいて輝度差分画像を生成すると、差分画像に生じているノイズを除去することができる。このため、注目領域に対応する領域をより確実に特定できる。
【００１２】
さらに本発明に係る画像処理方法では、前記色相差分生成段階において、前記第三エッジ画像と前記第四エッジ画像との差分を表す差分画像を生成し、前記差分画像の注目画素及び当該注目画素を基準に所定範囲内にある画素の画素値のばらつきを求め、求めたばらつきに基づいて前記色相差分画像の当該注目画素に対応する画素の画素値を設定する。ばらつきに基づいて色相差分画像を生成すると、差分画像に生じているノイズを除去することができる。このため、注目領域に対応する領域をより確実に特定できる。
【００１３】
さらに本発明に係る画像処理方法では、前記輝度差分生成段階において、前記第一ディジタル画像の縮小画像に基づいて前記第一エッジ画像を生成し、前記第二ディジタル画像の縮小画像に基づいて前記第二エッジ画像を生成する。縮小画像に基づいてエッジ画像を生成すると処理量を低減でき、注目領域の特定に要する時間を短縮できる。
【００１４】
さらに本発明に係る画像処理方法では、前記色相差分生成段階において、前記第一ディジタル画像の縮小画像に基づいて前記第三エッジ画像を生成し、前記第二ディジタル画像の縮小画像に基づいて前記第四エッジ画像を生成する。縮小画像に基づいてエッジ画像を生成すると処理量を低減でき、注目領域の特定に要する時間を短縮できる。
【００１５】
さらに本発明に係る画像処理方法では、前記第二ディジタル画像を調整範囲の限界近傍に焦点を設定して撮像することにより生成する。調整範囲の限界近傍に焦点を設定して注目領域に焦点が合う可能性は低いため、画一的な処理によって高い確率で注目領域に焦点が合っていない第二ディジタル画像を生成することができる。
【００１６】
さらに本発明に係る画像処理方法では、前記第一ディジタル画像の前記注目領域に対応する領域以外の領域の画素値を均一にする段階を含む。注目領域に対応する領域以外の領域の画素値を均一にすることにより、事後的に、第一ディジタル画像の注目領域に対応する領域を他のディジタル画像に合成することが容易になる。
【００１７】
さらに本発明に係る画像処理方法では、前記第一ディジタル画像の前記注目領域に対応する領域以外の領域を透明にする段階を含む。注目領域に対応する領域以外の領域を透明にすると、注目領域だけを他のディジタル画像の上に重畳合成することができる。
さらに本発明に係る画像処理方法では、前記注目領域に対応する領域以外の領域を透明にした前記第一ディジタル画像を前記第二ディジタル画像又は他のディジタル画像の上に重畳合成する段階をさらに含む。このため、注目領域だけを重畳合成した第二ディジタル画像、又は注目領域だけを重畳合成した他のディジタル画像を得ることができる。
【００１８】
上記目的を達成するため、本発明に係る画像処理システムは、シーンを撮像してディジタル画像を生成する手段であって、同一シーンについて注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを生成する撮像手段と、前記第一ディジタル画像の輝度のエッジを表す第一エッジ画像と前記第二ディジタル画像の輝度のエッジを表す第二エッジ画像との差分を表す輝度差分画像を生成する輝度差分生成手段と、前記第一ディジタル画像の色相のエッジを表す第三エッジ画像と前記第二ディジタル画像の色相のエッジを表す第四エッジ画像との差分を表す色相差分画像を生成する色相差分生成手段と、前記輝度差分画像と前記色相差分画像とに基づいて前記第一ディジタル画像の前記注目領域に対応する領域を特定する領域特定手段と、を備える。この画像処理システムによると、撮像時に焦点を合わせた特定の対象物をディジタル画像から抽出する作業が容易な上、注目領域に対応する領域をより確実に特定できる。
【００１９】
上記目的を達成するため、本発明に係る画像処理装置は、注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを同一シーンについて取得する取得手段と、前記第一ディジタル画像の輝度のエッジを表す第一エッジ画像と前記第二ディジタル画像の輝度のエッジを表す第二エッジ画像との差分を表す輝度差分画像を生成する輝度差分生成手段と、前記第一ディジタル画像の色相のエッジを表す第三エッジ画像と前記第二ディジタル画像の色相のエッジを表す第四エッジ画像との差分を表す色相差分画像を生成する色相差分生成手段と、前記輝度差分画像と前記色相差分画像とに基づいて前記第一ディジタル画像の前記注目領域に対応する領域を特定する領域特定手段と、を備える。この画像処理装置によると、撮像時に焦点を合わせた特定の対象物をディジタル画像から抽出する作業が容易な上、注目領域に対応する領域をより確実に特定できる。
【００２０】
上記目的を達成するため、本発明に係る画像処理プログラムは、注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを同一シーンについて取得する取得手段と、前記第一ディジタル画像の輝度のエッジを表す第一エッジ画像と前記第二ディジタル画像の輝度のエッジを表す第二エッジ画像との差分を表す輝度差分画像を生成する輝度差分生成手段と、前記第一ディジタル画像の色相のエッジを表す第三エッジ画像と前記第二ディジタル画像の色相のエッジを表す第四エッジ画像との差分を表す色相差分画像を生成する色相差分生成手段と、前記輝度差分画像と前記色相差分画像とに基づいて前記第一ディジタル画像の前記注目領域に対応する領域を特定する領域特定手段としてコンピュータを機能させる。この画像処理プログラムによると、撮像時に焦点を合わせた特定の対象物をディジタル画像から抽出する作業が容易な上、注目領域に対応する領域をより確実に特定できる。
【００２１】
上記目的を達成するため、本発明に係るディジタルカメラは、シーンを撮像してディジタル画像を生成する手段であって、同一シーンについて注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを生成する撮像手段と、前記第一ディジタル画像と前記第二ディジタル画像とを互いに関連付けて出力する出力手段と、を備える。
【００２２】
尚、請求項に記載された方法の各動作の順序は、技術上の阻害要因がない限り、記載順に限定されるものではなく、どのような順番で実行されてもよく、また同時に実行されてもよい。
また、本発明に備わる複数の手段の各機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら複数の手段の各機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。
【発明を実施するための最良の形態】
【００２３】
以下、本発明を実施するための最良の形態を実施例に基づいて説明する。
（画像処理システムの構成）
図２は、本発明の一実施例に係る画像処理方法を実行するために用いる画像処理システム１の構成を示す模式図である。本発明の一実施例に係る画像処理方法は、画像処理装置とディジタルスチルカメラ（ＤＳＣ）２を用いて実行する。画像処理装置としては、パーソナルコンピュータ（以下、ＰＣという。）３、ディジタル画像（以下、画像という。）を入力するためのインタフェースを備え画像を単独で印刷可能なプリンタ４等を用いる。なお、画像処理を実行するのはＰＣに限られるものではなく、ディジタルスチルカメラや、画像処理が可能なプリンタで実行してもよい。
【００２４】
１．ＤＳＣ
図３は、本発明の一実施例によるＤＳＣ２を示すブロック図である。
レンズ１１は、所定距離離れた被写体の鮮鋭な画像がイメージセンサ１２の受光面に結像するように電動アクチュエータを駆動源とするレンズ駆動部１３によって駆動される。
【００２５】
シャッタ１４は、電動アクチュエータを駆動源とするシャッタ駆動部１５によって駆動される。
イメージセンサ１２は、２次元空間に離散的に配置された受光セルとＣＣＤ（Charge Coupled Device）等の電荷転送素子とを備えたエリアイメージセンサである。イメージセンサ１２は、センサ駆動部１６によって駆動される。イメージセンサ１２は、光電変換により得られる電荷を受光セル毎に蓄積し、受光セル毎の受光量に応じた電気信号を出力する。受光面にＣ（Cyan）、Ｍ（Magenta）、Ｙ（Yellow）及びＧ（Green）の４色の補色フィルタ、又はＲ（Red）、Ｇ（Green）及びＢ（Blue）の原色フィルタを設けることによりカラー画像を形成することが可能になる。
【００２６】
アナログディジタル変換器（ＡＤＣ）１７は、イメージセンサ１２から出力されるアナログ電気信号を量子化してディジタル信号に変換する。具体的には例えば、ＡＤＣ１７は、電気信号に含まれる雑音の低減処理、ゲイン及びオフセットの調整による電気信号のレベル調整処理、量子化処理等を行う。
ディジタル画像処理部１８は、ＡＤＣ１７から出力されたディジタル信号に対し、画像形成処理、ホワイトバランス補正、ガンマ補正、色空間変換等を施し、各画素についてＲ、Ｇ、Ｂの階調値や、Ｙ、Ｃｂ、Ｃｒの階調値などを表すディジタル画像を出力する。尚、ここでいう画像形成処理とは、受光セルから出力された一色分の階調値を近傍の受光セルの異なる色の階調値で補間することにより画素毎にＲＧＢ又はＹＣｂＣｒの３つの階調値を持つディジタル画像を出力する処理である。
【００２７】
圧縮・伸張部１９は、ディジタル画像を圧縮又は伸張する。具体的には、ディジタル画像の系列変換及びエントロピー符号化を行うことによりディジタル画像を圧縮し、それらの逆変換を施すことによりディジタル画像を伸張する。具体的には例えば離散コサイン変換、量子化、ランレングス符号化及びハフマン符号化を用いてディジタル画像を圧縮する。量子化に用いる量子化テーブルを変更することによって量子化ステップ幅を変更すると、圧縮率を変更することができる。
【００２８】
リムーバブルメモリインタフェース２０は、リムーバブルメモリ２１を脱着自在に接続可能であって、圧縮・伸張部１９によって圧縮されたディジタル画像をリムーバブルメモリ２１に格納する。また、圧縮・伸張部１９によって伸張されるディジタル画像は、リムーバブルメモリインタフェース２０によってリムーバブルメモリ２１から読み出される。ＤＳＣ２から画像処理装置に画像を伝送する媒体としては、リムーバブルメモリ２１の他に各種の電気通信回線を用いてもよい。
【００２９】
ワークメモリ２２は、ディジタル画像処理部１８及び圧縮・伸張部１９で処理されるデータを一時的に格納するためのメモリである。
制御部２３は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ及びインタフェース回路を備える。制御部２３はＲＯＭに記憶されているコンピュータプログラムを実行することにより、ＤＳＣ２の全体を制御する。ＲＯＭに記憶する各種のプログラムやデータは所定のサーバからネットワークを介してダウンロードして記憶してもよいし、リムーバブルメモリ２１等のコンピュータ読み取り可能な記憶媒体から読み出して記憶してもよい。
【００３０】
２．画像処理装置
図４は、本発明の一実施例に係る画像処理装置としてのＰＣ３のハードウェア構成を示すブロック図である。
ＰＣ３は、ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、入力装置３４、表示装置３５、及び外部記憶装置３６を備え、これらはバスで相互に接続されている。ＣＰＵ３１はＲＯＭ３２や外部記憶装置３６に記憶されたプログラムを実行してＰＣ３の全体を制御する。ＲＯＭ３２は各種のプログラムやデータを予め記憶しているメモリである。外部記憶装置３６はハードディスクなどで構成され、オペレーティングシステム（ＯＳ）、画像処理プログラムなどを記憶する。画像処理プログラムは、所定のサーバからネットワークを介してダウンロードして入力してもよいし、リムーバブルメモリ２１等のコンピュータ読み取り可能な記憶媒体から読み出して入力してもよい。ＲＡＭ３３は各種のプログラムやデータを一時的に記憶するメモリである。入力装置３４はマウス、キーボード、リムーバブルメモリインタフェース２０、通信インタフェースなどで構成され、ＤＳＣ２で生成された画像を入力するために用いられる。表示装置３５はＣＲＴやＬＣＤなどで構成されている。
【００３１】
（画像処理方法）
１．処理全体の流れ
図１は、本発明の一実施例に係る画像処理方法の処理全体の流れを示すフローチャートである。
撮像段階としてのＳ１０では、ＤＳＣ２により、注目領域に焦点を合わせた状態と注目領域から故意に焦点を外した状態で同一シーンを連続撮像し、それぞれの状態に対応した２つの画像を生成する。注目領域に焦点を合わせた状態で撮像して生成する画像が第一ディジタル画像であり、注目領域から焦点を外した状態で撮像して生成する画像が第二ディジタル画像である。尚、いずれの画像を先に生成してもよい。
【００３２】
Ｓ２０では、第一ディジタル画像と第二ディジタル画像を互いに関連付けてＰＣ３に入力するため、ＤＳＣ２で第一ディジタル画像と第二ディジタル画像を互いに関連付けてリムーバブルメモリ２１、通信回線等に出力する。
Ｓ３０では、互いに関連付けられた第一ディジタル画像及び第二ディジタル画像をリムーバブルメモリ２１、通信回線等を介してＰＣ３に入力する。尚、ＤＳＣ２とＰＣ３とを直接接続し、第一ディジタル画像と第二ディジタル画像を互いに関連付けてＤＳＣ２からＰＣ３に直接入力してもよい。
【００３３】
Ｓ４０では、ＰＣ３で実行する画像処理プログラムにより、輝度差分画像と色相差分画像とを生成し、輝度差分画像と色相差分画像とに基づいて第一ディジタル画像の注目領域に対応する領域（第一領域）を特定する。
Ｓ５０では、ＰＣ３で実行する画像処理プログラムにより、重畳合成処理の前処理として、第一ディジタル画像の注目領域に対応しない領域を透明にする。具体的には例えば、第一ディジタル画像の第二領域の画素値を０にした画像を生成する。
【００３４】
Ｓ６０では、第二領域が透明化された第一ディジタル画像と他のディジタル画像とを重畳合成する。具体的には例えば、第二ディジタル画像の上に第一ディジタル画像を重畳合成すると、注目領域に対応した領域が鮮鋭で、注目領域に対応しない領域がぼけた画像を生成することができる。このような合成画像では、注目領域に対応しない領域の鮮鋭度が第一ディジタル画像より低くなるため、画像の奥行きを強調することができる。尚、第一ディジタル画像をそれと無関係な画像の上に重畳合成してもよい。また、第一ディジタル画像、第二ディジタル画像のいずれか一方又は両方を加工した後に２つの画像を合成してもよい。例えば、第一ディジタル画像と、平滑化フィルタを施してさらにぼかした（鮮鋭度を小さくした）第二ディジタル画像とを合成することにより、より一層画像の奥行きを強調することができる。
【００３５】
２．ＤＳＣによる処理の詳細
ＤＳＣ２により第一ディジタル画像及び第二ディジタル画像を生成する処理（図１のＳ１０）の詳細について図３に基づいて説明する。
シャッタボタン２４が押されると、制御部２３は、シャッタ駆動部１５、レンズ駆動部１３、センサ駆動部１６、ディジタル画像処理部１８、ワークメモリ２２等を例えば次のように制御して第一ディジタル画像及び第二ディジタル画像を生成する。すなわち、シャッタボタン２４が押されると、焦点を調整範囲の限界またはその近傍に設定した状態でシャッタ１４を所定時間開放し、シャッタ１４の開放中にイメージセンサ１２に蓄積された電荷を読み出してＡＤＣ１７に入力し、ＡＤＣ１７から出力されるディジタル信号をディジタル画像処理部１８で処理して第二ディジタル画像を生成する。次に、被写体の注目領域に焦点を合わせた状態で再度シャッタ１４を所定時間開放し、シャッタ１４の開放中にイメージセンサ１２に蓄積された電荷を読み出してＡＤＣ１７に入力し、ＡＤＣ１７から出力されるディジタル信号をディジタル画像処理部１８で処理して第一ディジタル画像を生成する。第一ディジタル画像と第二ディジタル画像を撮像する間隔は短ければ短い程良い。被写体の注目領域に焦点を合わせる処理は、例えば画像の注目領域に対応する領域の高周波成分が最大になるようにレンズ駆動部１３をフィードバック制御することによって行う。尚、本実施例では、シャッタ１４を所定時間開放することによりイメージセンサ１２に電荷を蓄積し、イメージセンサ１２に蓄積された電荷から画像を生成することを撮像というものとする。
【００３６】
図５（Ａ）は第一ディジタル画像の一例であり、図５（Ｂ）は第二ディジタル画像の一例である。第一ディジタル画像は人物に焦点を合わせて撮像したものである。従って図５（Ａ）に示す第一ディジタル画像の注目領域は人物が写っている領域である。
第二ディジタル画像を先に生成する場合、予め調整範囲の限界またはその近傍に焦点を合わせておくことにより、シャッタボタン２４が押された直後に第二ディジタル画像を生成することができ、さらに、その後に一方向に向かって焦点を調整することができるため、シャッタボタン２４が押されてから第一ディジタル画像及び第二ディジタル画像を撮像するまでの期間を短縮することができる。レンズ１１から最短距離に焦点を合わせた場合も、レンズ１１から最長距離に焦点を合わせた場合も、そのような操作によって人物等の注目領域に焦点が合う確率は低い。したがって、焦点を調整範囲の限界またはその近傍に設定した状態で撮像して第二ディジタル画像を生成することにより、注目領域に対応する第一領域とそれ以外の第二領域とに第一ディジタル画像を分割する精度の低下を抑制しつつ、第二ディジタル画像を生成する処理を簡素化することができる。尚、第二ディジタル画像を撮像するとき、レンズ１１から最短距離に焦点を合わせてもよいし、レンズ１１から最長距離に焦点を合わせてもよい。
【００３７】
尚、被写体の注目領域に焦点を合わせた状態で撮像することにより第一ディジタル画像を生成した後に、レンズ１１を所定量移動させることにより被写体の注目領域から焦点を外し、その状態で被写体を撮像することにより第二ディジタル画像を生成してもよい。第一ディジタル画像を先に生成する場合、注目領域から焦点を確実に外した状態で第二ディジタル画像を生成することができる。また、第一ディジタル画像を先に生成する場合、手動で注目領域に焦点を合わせてから、第一ディジタル画像と第二ディジタル画像を連続的に生成することが可能になる。
【００３８】
また、第一ディジタル画像と第二ディジタル画像の鮮鋭度の差が、注目領域で大きく、注目していない領域（注目外領域）で小さくなるように、撮像するシーンに応じて調整範囲の近距離側限界又は遠距離側限界のいずれかに焦点を合わせて第二ディジタル画像を生成してもよい。また、調整範囲の近距離側限界に焦点を合わせたものと遠距離側限界に焦点を合わせたものとの両方を第二ディジタル画像としてもよい。
【００３９】
制御部２３は、圧縮・伸張部１９を制御して第一ディジタル画像及び第二ディジタル画像をそれぞれ圧縮し、圧縮された状態の第一ディジタル画像及び第二ディジタル画像を互いに関連付けてリムーバブルメモリ２１に格納する。第一ディジタル画像及び第二ディジタル画像をそれぞれ別個独立のファイルとしてリムーバブルメモリ２１に格納し、いずれか一方のファイルに他方のファイルへのパスを記録してもよいし、第一ディジタル画像及び第二ディジタル画像を１つのファイルにまとめてリムーバブルメモリ２１に格納してもよい。
【００４０】
尚、第一ディジタル画像及び第二ディジタル画像は、例えばモデムを介してインターネット等の電気通信回線に送出してもよいし、例えばＵＳＢケーブル、ブルートゥース等を介して直接ＰＣ３に入力してもよい。
【００４１】
３．ＰＣによる処理の詳細
図６は、ＰＣ３による処理（図１のＳ４０）の詳細を示すフローチャートである。
Ｓ２０５では、第一ディジタル画像の画素を例えば１つおきに間引いて縦横２分の１の縮小画像を生成し、同様に第二ディジタル画像の縮小画像を生成する。以降の説明において第一ディジタル画像とは第一ディジタル画像の縮小画像のことをいい、第二ディジタル画像とは第二ディジタル画像の縮小画像のことをいう。縮小画像を用いて後述の処理を行うと処理量を低減でき、注目領域の特定に要する時間を短縮できる。
【００４２】
輝度差分生成段階としてのＳ２１０では、第一ディジタル画像の輝度のエッジを表す第一エッジ画像と第二ディジタル画像の輝度のエッジを表す第二エッジ画像とを生成し、生成した第一エッジ画像と第二エッジ画像との差分を表す輝度差分画像を生成する。
推定段階としてのＳ２１５では、輝度差分画像に基づいて注目領域が含まれている大まかな領域を推定する。
【００４３】
色相差分生成段階としてのＳ２２０では、第一ディジタル画像の色相のエッジを表す第三エッジ画像と第二ディジタル画像の色相のエッジを表す第四エッジ画像とを生成し、生成した第三エッジ画像と第四エッジ画像との差分を表す色相差分画像を生成する。
Ｓ２２５では、輝度差分画像と色相差分画像とに基づいて第一ディジタル画像の注目領域に対応する領域を特定する。
【００４４】
次に、図６に示すＳ２１０の処理の詳細について説明する。
図７は、Ｓ２１０の処理の流れを示すフローチャートである。
Ｓ３０５では、第一ディジタル画像の輝度のエッジを表す第一エッジ画像を生成する。ここで輝度とは、第一ディジタル画像がＹＣｂＣｒ色空間で表されているとすると、Ｙ（輝度）成分の値のことをいう。第一ディジタル画像がＲＧＢ色空間で表されている場合は、ＲＧＢ値から公知の変換式を用いて輝度値を求めることができる。第一エッジ画像の生成は例えば図８に示すエッジ検出オペレータを用いて行う。注目領域のエッジは、第一ディジタル画像では注目領域に焦点が合っているため、後述する第二ディジタル画像より濃淡差の大きいエッジ、すなわち高いエッジとなる。
【００４５】
Ｓ３１０では、同様にして第二ディジタル画像の輝度のエッジを表す第二エッジ画像を生成する。第二エッジ画像では注目領域のエッジは第一エッジ画像より濃淡差の小さいエッジ、すなわち低いエッジとなる。非注目領域に写し込まれている被写体については、第一ディジタル画像でも第二ディジタル画像でも焦点が合っていないため、エッジの高さは第一ディジタル画像と第二ディジタル画像とで差は小さい。
【００４６】
Ｓ３１５では、第一エッジ画像と第二エッジ画像との差分を表す差分画像を生成する。差分画像は、第一エッジ画像をＦ１（Ｆ１＝｛ｆ１  ｉｊ｝）、第二エッジ画像をＦ２（Ｆ２＝｛ｆ２  ｉｊ｝）、それらの差分を表す差分画像をＧ（Ｇ＝｛ｇ  ｉｊ｝）としたとき、｛ｇ  ｉｊ｝＝｛ｆ１  ｉｊ｝−｛ｆ２  ｉｊ｝によって求める。
【００４７】
なお、第二ディジタル画像を撮像するためにレンズ１１を移動すると、第一ディジタル画像と第二ディジタル画像とで画角がずれ、差分画像にエッジが二重に表れてしまう場合がある。注目領域のエッジが二重に表れても問題はないが、非注目領域のエッジが二重に表れると、二重に表れた２つのエッジが一つの高いエッジとして認識されてしまい、それが注目領域のエッジとして誤認識されてしまうことがある。このため、第一エッジ画像と第二エッジ画像とを比較して位置及び形状が互いに似ているエッジを検出し、似ているとして検出された第一エッジ画像のエッジの画素値から第二エッジ画像の似ているエッジの画素値を引くことにより、画角ズレを補正した差分画像を生成するようにするとよい。
【００４８】
Ｓ３２０では、差分画像の各画素について画素値のばらつきを求め、求めたばらつきを各画素に対応させて記憶する。具体的には例えば、差分画像に対して注目画素を中心とする５×５（＝２５）画素の平均偏差を求めるフィルタを適用することにより、差分画像の注目画素及び当該注目画素を基準に所定範囲内にある画素の画素値の平均偏差を求める。求めた平均偏差を当該注目画素の平均偏差とする。
Ｓ３２５では、求めた平均偏差の最大値を特定する。
【００４９】
Ｓ３３０では、輝度差分画像の各画素に、平均偏差の最大値と各画素の平均偏差とに応じたＲＧＢ値を設定する。例えば平均偏差の最大値がＭmaxであり、差分画像のある画素の平均偏差がＭiであったとすると、輝度差分画像の画素であって当該ある画素に対応する画素の画素値を以下の数１により求める。
２５５×（１−Ｍi／Ｍmax）      ・・・  数１
ここで輝度差分画像の画素値の範囲は０（黒）〜２５５（白）までであるとする。画素値は平均偏差が大きいほど小さくなる。例えば平均偏差が最大の画素に対応する画素の画素値は（０，０，０）になる。次に、求めた画素値を当該ある画素に対応する画素のＲ、Ｇ、Ｂの値とする。Ｒ、Ｇ、Ｂの各チャンネルには全て同じ値が設定される。これを差分画像の全画素について行うことにより、輝度差分画像の全画素の画素値を設定する。これにより図９（Ａ）に示すように輝度差分画像が生成される。ただし、図９（Ａ）では輝度差分画像のうち後述する「注目領域が含まれているとして推定された領域」のみを示している。
【００５０】
一般にエッジ検出オペレータを用いて生成されたエッジ画像では、ＣＣＤのランダムなノイズによって本来エッジではない部分にエッジが生じてしまうことがある。ＣＣＤにランダムなノイズがあると、ディジタル画像上に画素値が唐突に高い画素あるいは唐突に低い画素が散らばったように表れてしまう。エッジ検出オペレータを用いて生成されたエッジ画像では、唐突に高い画素あるいは唐突に低い画素とそれに隣接する通常の画素との差がエッジとして表れてしまう。こうしたエッジは第一エッジ画像と第二エッジ画像とでランダムに生じるため、第一エッジ画像から第二エッジ画像を引いてもそのエッジは残ってしまう。この結果、差分画像に本来存在しないエッジがノイズとして混ざってしまう。平均偏差を用いて輝度差分画像を生成すると、近傍画素の画素値が加味されるためこうしたノイズを除去することができる。尚、平均偏差に替えて標準偏差や分散などを用いてもよい。
【００５１】
図１０（Ａ）は、図９（Ａ）に示す輝度差分画像を二値化した二値画像を示す図である。図示する二値画像は、図中の破線で示す丸い領域のエッジが欠落している。このように輝度差分画像は二値化するとエッジが欠落し易いという性質がある
次に、図６に示すＳ２１５の処理について説明する。
【００５２】
Ｓ２１５では、まず輝度差分画像を所定のしきい値で二値化する。ここでは画素値が大きい画素を黒（０）、画素値が小さい画素を白（１）に変換するものとする。次に、黒（０）が集中的に存在する矩形領域を特定する。特定された矩形領域が、注目領域が含まれているとして推定される領域である。図５（Ａ）に示す第一ディジタル画像では図１１に示す矩形領域が「注目領域が含まれている領域」として推定されるものとする。
【００５３】
次に、図６に示すＳ２２０の処理について説明する。
図１２は、Ｓ２２０の処理の流れを示すフローチャートである。
Ｓ４０５では、第一ディジタル画像のＳ２１５で推定された矩形領域について、色相のエッジを表す第三エッジ画像を生成する。ここで色相とは、例えばＨＳＶ色空間（またはＨＬＳ色空間）におけるＨｕｅ（色相）のことをいう。色相は、例えばＹＣｂＣｒ色空間やＲＧＢ色空間で表されているディジタル画像から公知の変換式を用いて求めることができる。色相は色相環上で赤を基準として０°〜３６０°の範囲で指定される。０°が赤、１２０°が緑、２４０°が青である。１８０°異なる色は補色となる。第三エッジ画像の生成は例えば図８に示すエッジ検出オペレータを用いて行う。Ｓ２１５で推定された矩形領域についてのみ色相のエッジを生成するのは、注目領域ではないことが明らかな領域を除外することによって処理の効率を向上させるためである。
【００５４】
Ｓ４１０では、同様に第二ディジタル画像のＳ２１５で推定された矩形領域について、色相のエッジを表す第四エッジ画像を生成する。
Ｓ４１５では、第三エッジ画像と第四エッジ画像との差分を表す差分画像を生成する。差分画像は、第三エッジ画像をＦ１（Ｆ１＝｛ｆ１  ｉｊ｝）、第四エッジ画像をＦ２（Ｆ２＝｛ｆ２  ｉｊ｝）、それらの差分を表す差分画像をＧ（Ｇ＝｛ｇ  ｉｊ｝）としたとき、｛ｇ  ｉｊ｝＝｛ｆ１  ｉｊ｝−｛ｆ２  ｉｊ｝によって求める。
【００５５】
Ｓ４２０では、輝度差分画像の場合と同様に平均偏差を利用して差分画像からノイズを除去し、色相差分画像を生成する。これにより図９（Ｂ）に示すように色相差分画像が生成される。
図１０（Ｂ）は、図９（Ｂ）に示す色相差分画像を二値化した二値画像を示す図である。図示する二値画像は、図中の破線で示す丸い領域のエッジは欠落していないが、その左上周辺に不要なエッジが存在している。このように色相差分画像は二値化すると不要なエッジが残り易いという性質がある。
【００５６】
次に、図６に示すＳ２２５の処理について説明する。
図１３は、Ｓ２２５の処理の流れを示すフローチャートである。
Ｓ５０５では、輝度差分画像の画素の画素値と色相差分画像の対応する画素の画素値とを重み付けして加算する。例えば、輝度差分画像の画素値の重みを１、色相差分画像の画素値の重みを１／５とし、両差分画像の対応する画素の画素値を重み付けに応じて合計する。次に、合計した値で輝度差分画像の画素値を更新する。すなわち、輝度差分画像を色相差分画像で補正する。ただし、ここでは色相差分画像の画素値の重みを１／５としているが、この重みは全ての場合に有効とは限らず、補正した結果を見て調整しなければならない場合もある。第一ディジタル画像や第二ディジタル画像に写し込まれている被写体の性質によっては輝度差分画像と色相差分画像とを複数の領域に分割して領域毎に重みを調整しなければならない場合もある。
【００５７】
Ｓ５１０では、補正した輝度差分画像を所定のしきい値Ａで二値化する。ここでは画素値が大きい画素を黒（０）、画素値が小さい画素を白（１）に変換するものとする。しきい値Ａは、例えば画面からユーザが入力する値でもよいし、予め設定された固定値でもよいし、後述するように領域分割の結果をフィードバックしながら自動設定する値でもよい。
【００５８】
図１４は、注目領域である女性に焦点を合わせた状態で撮像された第一ディジタル画像を表している。図１５は、注目領域である女性から焦点を外した状態で撮像された第二ディジタル画像を表している。以降の説明では図１４及び図１５に示すディジタル画像を例に説明する。図１６はそれらの輝度差分画像の二値画像を表している。二値画像では注目領域である女性に対応する領域に黒画素が集中する。
【００５９】
一般に、人物などの注目領域に対応する被写体とその背後にある被写体とでは、ＤＳＣ２までの距離に相当の差があるため、注目領域に対応する領域は、図１７の実線で示すように、まとまりのある閉じた領域として二値画像に表れる傾向が強い。二値画像は、注目領域でない領域にノイズを含むため、以後の処理では、この傾向に着目してノイズを除去する。尚、注目領域に対応する領域を特定するための以後の全ての処理は、モノクローム画像に対する処理であり、特に二値画像に対する処理であるため、カラー画像に対する処理に比べて単純である。したがって、注目領域を特定する処理の全体を通じて、画像の特性に応じて調整する必要があるパラメータは、種類が少なく、調整範囲が狭い。Ｓ５０５以降の処理において画像の特性に応じて調整する必要があるパラメータは、輝度差分画像を二値化するためのしきい値Ａと、後述する最小値フィルタの適用回数Ｂと、後述する最大値フィルタの適用回数Ｃとだけである。処理全体を見た場合はそれらに加えて輝度差分画像の画素値と色相差分画像の画素値との重み付けがパラメータとして必要なだけである。このように、画像の特性に応じて調整する必要があるパラメータの種類が少なく、また調整範囲が狭いため、ユーザは容易に適切なパラメータを設定することができる。また、画像の特性に応じて調整する必要があるパラメータの種類が少なく、また調整範囲が狭いため、適切なパラメータを自動検出することも可能である。パラメータをユーザが設定する場合も、適切なパラメータを自動検出する場合も、パラメータの設定操作が簡素化されるため、本実施例の画像処理方法によると、ディジタル画像の領域分割が容易になる。
【００６０】
Ｓ５１５では、最小値フィルタを繰り返し適用して二値画像の黒領域を膨張させることによって、近傍の黒領域同士を結合させ、外輪郭が１つの閉曲線で構成されたある程度広い領域を出現させる。最小値フィルタは、注目画素を取り巻く近傍画素中で画素値が最小のものを選択し、選択された画素の画素値を処理後の全ての近傍画素の画素値として採用するフィルタである。最小値フィルタの適用回数Ｂは、ユーザが入力する値（領域判定あまさ）でもよいし、予め設定された値でもよいし、後述するように領域分割の結果をフィードバックしながら自動設定する値でもよい。図１８及び図１９は図１６に示す画像に最小値フィルタを適用した結果を示す画像である。図１９に示す画像は図１８に示す画像よりも最小値フィルタを多く適用した結果を示している。図１９に示すように、最小値フィルタの適用回数を多くすると注目領域外のノイズが強調されるが、強調されたノイズは後続の処理で消去することができる。
【００６１】
Ｓ５２０では、最大値フィルタを繰り返し適用して黒領域を収縮させる。図２０は図１９に示す画像に最大値フィルタを適用した結果を示す画像である。最大値フィルタは、注目画素を取り巻く近傍画素中で、画素値が最大のものを選択して処理後の画素の画素値として採用するフィルタである。最大値フィルタを適用する処理では、図２５に示すように、最小値フィルタの適用によって結合した黒領域を結合したまま収縮させることができる。図２５は、ウィンドウサイズが９画素の最小値フィルタを２回適用した後にウィンドウサイズが９画素の最大値フィルタを２回適用する処理の経過を示している。最大値フィルタの適用回数Ｃは、例えば画面からユーザが入力する値（領域の痩身度）でもよいし、予め設定された固定値でもよいし、最小値フィルタの適用回数Ｂと等しい値でもよいし、後述するように領域分割の結果をフィードバックしながら自動設定する値でもよい。
【００６２】
Ｓ５２５では、以上の処理によって生成された複数の黒領域のうち、最大面積の領域以外のものを反転させる。この処理は、注目領域に対応する黒領域がノイズに相当する黒領域よりも常に広くなることを前提としている。この処理の結果、注目領域に対応する領域のみが黒領域として残り、ノイズに相当する黒領域は消滅する。図２１は図２０に示す画像に対するこの処理の結果を示している。
【００６３】
尚、複数の黒領域のうち、いずれの領域が注目領域に対応しているかをより正確に判定するために、各領域の面積を単純に比較するだけではなく、例えば中心に近い領域は周縁に近い領域よりも注目領域である可能性が高いことを勘案し、各領域の面積を位置に応じて重み付けしたものを比較してもよい。また、輝度差分画像を二値化するしきい値Ａと、最小値フィルタの適用回数Ｂと、最大値フィルタの適用回数Ｃの少なくともいずれか１つを変更して上述の処理を繰り返すときに各黒領域の面積の全体の面積に占める割合がどのように増減するかを勘案することにより、いずれの黒領域が注目領域に対応しているかを判定してもよい。
【００６４】
Ｓ５３０では、黒領域に囲まれた白領域を反転させることにより黒領域を拡張する。この処理の結果、人肌や無地の衣類のように注目領域の中で被写体自体の濃淡変化が平滑な領域（すなわち焦点が合っていても外れていてもエッジが抽出されない領域）に対応する領域（白領域）が周辺の黒領域によって侵食されて消滅する。図２２は図２１に示す画像に対するこの処理の結果を示している。
【００６５】
以上の処理によって、二値画像の黒領域が注目領域に対応する領域として二値画像上で大まかに特定され、二値画像の白領域が注目領域以外に対応する領域として二値画像上で大まかに特定される。二値画像上で注目領域に対応する領域を特定することは、第一ディジタル画像上で注目領域に対応する領域を特定することに等しい。すなわち、二値画像上で注目領域に対応する領域を特定することによって、第一ディジタル画像上で注目領域に対応する領域が特定されたことになる。尚、以上の処理に加えて、最適なパラメータを自動検出する処理、黒領域のノイズ成分である「ひげ」を除去する処理等を実施してもよい。
【００６６】
Ｓ５３５では、上述の処理の結果として二値画像に残存している黒領域が内接する最小矩形（図２３参照）の面積が二値画像全体に占める割合と、黒領域の面積がその最小矩形の面積に占める割合とが所定の範囲内にあるか否かを判定する。いずれの値も所定の範囲内にあれば処理を終了し、第一ディジタル画像において黒領域に対応する領域を注目領域に対応する領域とする。
【００６７】
Ｓ５４０では、輝度差分画像を二値化するしきい値Ａと、最小値フィルタの適用回数Ｂと、最大値フィルタの適用回数Ｃの少なくともいずれか１つを変更して上述の処理を繰り返す。このようなパラメータの判定条件を設定することにより、例えば図２４に示すように蛇行した細長い領域が注目領域に対応する領域として特定された場合には、再度パラメータを設定し直し、注目領域に対応する領域を特定する処理をやり直しすることができる。図２４に示すように蛇行した細長い領域が注目領域に対応する確率は相当低いからである。
【００６８】
Ｓ５３５とＳ５４０の処理は、輝度差分画像を二値化するしきい値Ａと、最小値フィルタの適用回数Ｂと、最大値フィルタの適用回数Ｃの３つのパラメータの最適値を自動検出する処理に対応している。
図２６（Ａ）は、図５に示す第一ディジタル画像及び第二ディジタル画像に対する上述した処理の結果を示している。図２６（Ｂ）は、図２６（Ａ）に示す黒領域によって特定される第一ディジタル画像の注目領域を示している。図２６（Ｂ）では注目領域以外の領域（第二領域）の画素値を均一にして示している。輝度差分画像を色相差分画像で補正することで図２６（Ａ）に示すように顔の左側部分が欠落しなくなり、図２６（Ｂ）に示すように人物が写っている領域が欠けることなく注目領域として特定されている。逆に人物以外の一部が注目領域に含まれてしまっているが、人物の一部が欠けることに比べれば問題は小さいといえる。
【００６９】
以上説明した本発明の一実施例に係る画像処理システム１によると、ディジタル画像から特定の対象物を抽出する処理に用いるパラメータの設定を簡素化できる。従って、撮像時に焦点を合わせた特定の対象物をディジタル画像から抽出する作業が容易になる。ただし、輝度差分画像はエッジが欠落し易い。逆に、色相のエッジを表す第三エッジ画像と色相のエッジを表す第四エッジ画像との差分を表す色相差分画像は不要なエッジが残り易い。このため、輝度差分画像と色相差分画像とを両方用いると、輝度差分画像だけを用いる場合に比べて注目領域に対応する領域をより確実に特定できる。
【００７０】
尚、上述の実施例では、最小値フィルタや最大値フィルタを用いて注目領域に対応する領域を特定しているが、注目領域の特定はこれに限られない。例えば、二値画像において黒画素が集中している領域を注目領域に対応する領域としてもよいし、集中している黒画素の周囲をベクトルラインで滑らかにつなげた領域を注目領域に対応する領域としてもよい。
【００７１】
また、上述の実施例では、重畳合成処理の前処理として、第一ディジタル画像の注目領域に対応しない領域を透明化しているが、第一ディジタル画像の注目領域に対応しない領域の画素値を均一にしてもよい。具体的には例えば第一ディジタル画像の注目領域に対応しない領域が白、黒、青などの単一色を表すように第一ディジタル画像を編集してもよい。第一ディジタル画像の注目領域に対応しない領域の画素値が均一であれば、第一ディジタル画像の注目領域に対応する領域を抽出して他の画像に合成することは容易である。
【００７２】
また、上述の実施例では、第一ディジタル画像の注目領域に対応する領域を特定する処理をＰＣ３で行っているが、例えば、ＤＳＣ２でその処理を行い、さらに第一ディジタル画像の注目領域に対応しない領域の画素値を透明又は均一にし、それをリムーバブルメモリ２１に格納してもよい。これにより、リムーバブルメモリ２１から第一ディジタル画像を入力した他の装置において第一ディジタル画像の注目領域に対応する領域を他の画像に合成することが容易になる。
また、本実施例ではディジタルカメラとしてディジタルスチルカメラを例に説明したが、ディジタルカメラ付き携帯電話やディジタルビデオカメラに本発明を適用してもよい。
【図面の簡単な説明】
【００７３】
【図１】本発明の一実施例に係る画像処理方法のフローチャート。
【図２】本発明の一実施例に係る画像処理システムの模式図。
【図３】本発明の一実施例に係るディジタルカメラのブロック図。
【図４】本発明の一実施例に係る画像処理装置のブロック図。
【図５】（Ａ）及び（Ｂ）は本発明の一実施例に係る見本画像を示す図。
【図６】本発明の一実施例に係る画像処理装置の処理のフローチャート。
【図７】図６のＳ２１０における処理の流れを示すフローチャート。
【図８】本発明の一実施例に係るフィルタの模式図。
【図９】（Ａ）及び（Ｂ）は本発明の一実施例に係る見本画像を示す図。
【図１０】（Ａ）及び（Ｂ）は本発明の一実施例に係る見本画像を示す図。
【図１１】本発明の一実施例に係る見本画像を示す図。
【図１２】図６のＳ２２０における処理の流れを示すフローチャートである。
【図１３】図６のＳ２２５における処理の流れを示すフローチャートである。
【図１４】本発明の一実施例に係る見本画像を示す図。
【図１５】本発明の一実施例に係る見本画像を示す図。
【図１６】本発明の一実施例に係る見本画像を示す図。
【図１７】本発明の一実施例に係る見本画像を示す図。
【図１８】本発明の一実施例に係る見本画像を示す図。
【図１９】本発明の一実施例に係る見本画像を示す図。
【図２０】本発明の一実施例に係る見本画像を示す図。
【図２１】本発明の一実施例に係る見本画像を示す図。
【図２２】本発明の一実施例に係る見本画像を示す図。
【図２３】本発明の一実施例に係る見本画像を示す図。
【図２４】本発明の一実施例に係る見本画像を示す図。
【図２５】本発明の一実施例に係る模式図。
【図２６】（Ａ）及び（Ｂ）は本発明の一実施例に係る見本画像を示す図。
【符号の説明】
【００７４】
１  画像処理システム、２  ディジタルスチルカメラ（ディジタルカメラ）、３  パーソナルコンピュータ（画像処理装置）
【図１】
2006173661.tif 000003
【図２】
2006173661.tif 000004
【図３】
2006173661.tif 000005
【図４】
2006173661.tif 000006
【図５】
2006173661.tif 000007
【図６】
2006173661.tif 000008
【図７】
2006173661.tif 000009
【図８】
2006173661.tif 000010
【図９】
2006173661.tif 000011
【図１０】
2006173661.tif 000012
【図１１】
2006173661.tif 000013
【図１２】
2006173661.tif 000014
【図１３】
2006173661.tif 000015
【図１４】
2006173661.tif 000016
【図１５】
2006173661.tif 000017
【図１６】
2006173661.tif 000018
【図１７】
2006173661.tif 000019
【図１８】
2006173661.tif 000020
【図１９】
2006173661.tif 000021
【図２０】
2006173661.tif 000022
【図２１】
2006173661.tif 000023
【図２２】
2006173661.tif 000024
【図２３】
2006173661.tif 000025
【図２４】
2006173661.tif 000026
【図２５】
2006173661.tif 000027
【図２６】
2006173661.tif 000028