(57)【要約】【課題】  ディジタル画像から特定の被写体を抽出する作業を容易にするとともに、より確実に被写体を抽出することを可能にするディジタルカメラ、画像処理方法、及びプログラムを提供する。【解決手段】  本発明に係るディジタルカメラは、シーンを撮像してディジタル画像を生成する手段であって、同一シーンについて注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを生成する撮像手段と、前記第一ディジタル画像と前記第二ディジタル画像との鮮鋭度の差に基づいて前記第一ディジタル画像の前記注目領域に対応する第一領域を特定する領域特定手段と、前記第一ディジタル画像全体の面積と前記第一領域の面積とに基づいて領域特定の成否を判定する判定手段と、を備える。【選択図】    図１
2006166226.tif 000002
【特許請求の範囲】
【請求項１】
シーンを撮像してディジタル画像を生成する手段であって、同一シーンについて注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを生成する撮像手段と、
前記第一ディジタル画像と前記第二ディジタル画像との鮮鋭度の差に基づいて前記第一ディジタル画像の前記注目領域に対応する第一領域を特定する領域特定手段と、
前記第一ディジタル画像全体の面積と前記第一領域の面積とに基づいて領域特定の成否を判定する判定手段と、
を備えることを特徴とするディジタルカメラ。
【請求項２】
前記判定手段は、前記第一ディジタル画像全体の面積と前記第一領域が内接する矩形領域の面積との比、及び前記矩形領域の面積と前記第一領域の面積との比に基づいて領域特定の成否を判定することを特徴とする請求項１に記載のディジタルカメラ。
【請求項３】
前記撮像手段は、前記第二ディジタル画像を調整範囲の限界近傍に焦点を設定して撮像することにより生成することを特徴とする請求項１又は２に記載のディジタルカメラ。
【請求項４】
ディジタルカメラにおける画像処理方法であって、
シーンを撮像してディジタル画像を生成する段階であって同一シーンについて注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを生成する撮像段階と、
前記第一ディジタル画像と前記第二ディジタル画像との鮮鋭度の差に基づいて前記第一ディジタル画像の前記注目領域に対応する第一領域を特定する領域特定段階と、
前記第一ディジタル画像全体の面積と前記第一領域の面積とに基づいて領域特定の成否を判定する判定段階と、
を含むことを特徴とする画像処理方法。
【請求項５】
シーンを撮像してディジタル画像を生成する手段であって、同一シーンについて注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを生成する撮像手段と、
前記第一ディジタル画像と前記第二ディジタル画像との鮮鋭度の差に基づいて前記第一ディジタル画像の前記注目領域に対応する第一領域を特定する領域特定手段と、
前記第一ディジタル画像全体の面積と前記第一領域の面積とに基づいて領域特定の成否を判定する判定手段としてディジタルカメラを機能させることを特徴とする画像処理プログラム。
【請求項６】
シーンを撮像してディジタル画像を生成する手段であって、同一シーンについて注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを生成する撮像手段と、
前記第一ディジタル画像と前記第二ディジタル画像との鮮鋭度の差に基づいて前記第一ディジタル画像の前記注目領域に対応する第一領域を特定する領域特定手段と、
前記第一ディジタル画像全体の面積と前記第一領域の面積とに基づいて領域特定の成否を判定する判定手段と、
前記判定手段で成功と判定されると、前記領域特定手段で特定された前記第一領域に基づいて前記第一ディジタル画像の前記第一領域以外の第二領域の画素値を均一にする均一手段と、
を備えることを特徴とする画像処理システム。
【請求項７】
シーンを撮像してディジタル画像を生成する手段であって、同一シーンについて注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを生成する撮像手段と、
前記第一ディジタル画像と前記第二ディジタル画像との鮮鋭度の差に基づいて前記第一ディジタル画像の前記注目領域に対応する第一領域を特定する領域特定手段と、
前記第一ディジタル画像全体の面積と前記第一領域の面積とに基づいて領域特定の成否を判定する判定手段と、
前記判定手段で成功と判定されると、前記領域特定手段で特定された前記第一領域に基づいて前記第一ディジタル画像の前記第一領域以外の第二領域を透明にする透明手段と、
前記透明手段で前記第二領域を透明にした前記第一ディジタル画像を前記第二ディジタル画像又は他のディジタル画像の上に重畳合成する手段と、
を備えることを特徴とする画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディジタルカメラ、画像処理方法及びプログラム、並びに画像処理システムに関する。
【背景技術】
【０００２】
ディジタルカメラは、フィルムカメラのフィルムの感光部に比べてイメージセンサの感光部の面積が小さいため、フィルムカメラに比べて焦点距離が短いレンズを用いて被写体を撮像する。焦点距離が短いレンズを用いたディジタルカメラでは、奥行きのあるシーンを撮像して生成したディジタル画像でも、焦点の合っていない領域と焦点の合っている領域との鮮鋭度の差が小さくなる。
【０００３】
特許文献１には、ディジタルカメラによって奥行きを強調したディジタル画像を生成する方法が開示されている。特許文献１に開示された方法では、画角内を複数の領域に分割し、各領域毎に被写体までの距離を測定してディジタル画像を生成し、その後、注目領域までの距離と各領域までの距離との差に応じてディジタル画像の各領域をぼかすことにより、奥行きを強調する。
【０００４】
しかし、あるシーンを表すディジタル画像に基づいてそのディジタル画像を領域分割するのではなく、被写体までの距離を個別に測定される小領域に対応してディジタル画像を規則的に分割し、そのように分割された領域毎にぼけの程度を設定すると、規則的な形状の各領域の境界で鮮鋭度が不自然に変化するため、ぼけ方がブロック状になるという問題がある。
【０００５】
また、ディジタル画像から特定の被写体を抽出する処理は、画像の合成処理などの前処理として頻繁に行われる。従来の画像処理アプリケーションプログラムでは、複数のパラメータをディジタル画像の特性に応じて試行錯誤を繰り返しながらきめ細かく設定する必要があったため、ディジタル画像から特定の被写体を抽出する処理をコンピュータに行わせる作業は難易度の高い作業であった。
【０００６】
【特許文献１】特開平１１−２６６３８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、かかる事情に鑑みて創作されたものであって、ディジタル画像から特定の被写体を抽出する作業を容易にするとともに、より確実に被写体を抽出することを可能にするディジタルカメラ、画像処理方法、及びプログラムを提供することを目的とする。
また、本発明の別の目的は、ディジタル画像から特定の被写体を抽出する作業が容易であるとともに、より確実に被写体を抽出する画像処理システムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明に係るディジタルカメラは、シーンを撮像してディジタル画像を生成する手段であって、同一シーンについて注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを生成する撮像手段と、前記第一ディジタル画像と前記第二ディジタル画像との鮮鋭度の差に基づいて前記第一ディジタル画像の前記注目領域に対応する第一領域を特定する領域特定手段と、前記第一ディジタル画像全体の面積と前記第一領域の面積とに基づいて領域特定の成否を判定する判定手段と、を備える。
【０００９】
注目領域に焦点を合わせて撮像すると、その結果生成されるディジタル画像では、注目領域に対応する領域（第一領域）で鮮鋭度が高くなり、それ以外の領域（第二領域）で鮮鋭度が低くなる。また、ディジタルカメラで被写体までの距離とは無関係な特定の距離に焦点を合わせて撮像すると、偶然焦点が合った領域を除いてディジタル画像は全体に鮮鋭度が低くなる。したがって、注目領域に焦点を合わせて撮像することにより生成した第一ディジタル画像と、注目領域から焦点を外して撮像することにより生成した第二ディジタル画像とを比較すると、注目領域に対応する第一領域では鮮鋭度の差が大きく、非注目領域に対応する第二領域では鮮鋭度の差が小さくなる傾向がある。この特性は撮像するシーンによらず単純で普遍的であるため、この特性をアルゴリズムに利用すると、ディジタル画像から特定の対象物を抽出する処理に用いるパラメータの設定を簡素化できる。このディジタルカメラによると、第一ディジタル画像と第二ディジタル画像とを生成するため、当該ディジタルカメラあるいは他の装置においてディジタル画像から特定の被写体を抽出する作業が容易になる。
【００１０】
また、一般に注目領域はディジタル画像全体に対してある程度の面積を占めることが多い。逆にいうと、注目領域として特定された領域がディジタル画像全体に占める割合が所定の範囲外であれば、領域の特定に失敗している可能性が高い。この特性を利用すると、注目領域に対応する領域の面積とディジタル画像全体の面積とに基づいて領域特定の成否を判定することができる。この判定をディジタルカメラで行えば、領域特定に失敗することを撮像現場で知ることができる。撮像現場で知ることができれば容易に撮像し直すことができるため、失敗した場合はその場で撮像し直すことにより、領域特定に成功する第一ディジタル画像及び第二ディジタル画像をより確実に得ることができる。従って、より確実に被写体を抽出することが可能になる。
【００１１】
さらに本発明に係るディジタルカメラでは、前記判定手段は、前記第一ディジタル画像全体の面積と前記第一領域が内接する矩形領域の面積との比、及び前記矩形領域の面積と前記第一領域の面積との比に基づいて領域特定の成否を判定する。一般に注目領域が蛇行した細長い領域である確率は相当低い。このディジタルカメラによると、そうした細長い領域が注目領域に対応する領域として特定され、その結果領域特定に成功したと誤判定されてしまうことを低減できる。
【００１２】
さらに本発明に係るディジタルカメラでは、前記撮像手段は、前記第二ディジタル画像を調整範囲の限界近傍に焦点を設定して撮像することにより生成する。調整範囲の限界近傍に焦点を設定して注目領域に焦点が合う可能性は低いため、画一的な処理によって高い確率で注目領域に焦点が合っていない第二ディジタル画像を生成することができる。
【００１３】
上記目的を達成するため、本発明に係る画像処理方法は、ディジタルカメラにおける画像処理方法であって、シーンを撮像してディジタル画像を生成する段階であって同一シーンについて注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを生成する撮像段階と、前記第一ディジタル画像と前記第二ディジタル画像との鮮鋭度の差に基づいて前記第一ディジタル画像の前記注目領域に対応する第一領域を特定する領域特定段階と、前記第一ディジタル画像全体の面積と前記第一領域の面積とに基づいて領域特定の成否を判定する判定段階と、を含む。この画像処理方法によると、当該ディジタルカメラあるいは他の装置においてディジタル画像から特定の被写体を抽出する作業が容易になるとともに、より確実に被写体を抽出することが可能になる。
【００１４】
上記目的を達成するため、本発明に係る画像処理プログラムは、シーンを撮像してディジタル画像を生成する手段であって、同一シーンについて注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを生成する撮像手段と、前記第一ディジタル画像と前記第二ディジタル画像との鮮鋭度の差に基づいて前記第一ディジタル画像の前記注目領域に対応する第一領域を特定する領域特定手段と、前記第一ディジタル画像全体の面積と前記第一領域の面積とに基づいて領域特定の成否を判定する判定手段としてディジタルカメラを機能させる。この画像処理プログラムによると、当該ディジタルカメラあるいは他の装置においてディジタル画像から特定の被写体を抽出する作業が容易になるとともに、より確実に被写体を抽出することが可能になる。
【００１５】
上記目的を達成するため、本発明に係る画像処理システムは、シーンを撮像してディジタル画像を生成する手段であって、同一シーンについて注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを生成する撮像手段と、前記第一ディジタル画像と前記第二ディジタル画像との鮮鋭度の差に基づいて前記第一ディジタル画像の前記注目領域に対応する第一領域を特定する領域特定手段と、前記第一ディジタル画像全体の面積と前記第一領域の面積とに基づいて領域特定の成否を判定する判定手段と、前記判定手段で成功と判定されると、前記領域特定手段で特定された前記第一領域に基づいて前記第一ディジタル画像の前記第一領域以外の第二領域の画素値を均一にする均一手段と、を備える。この画像処理システムによると、ディジタル画像から特定の被写体を抽出する作業が容易であるとともに、より確実に被写体を抽出できる。また、第二領域の画素値を均一にすることにより、事後的に、第一ディジタル画像の第一領域を第二ディジタル画像又は他のディジタル画像に合成することが容易になる。
【００１６】
上記目的を達成するため、本発明に係る画像処理システムは、シーンを撮像してディジタル画像を生成する手段であって、同一シーンについて注目領域に焦点が合っている第一ディジタル画像と前記注目領域から焦点が外れている第二ディジタル画像とを生成する撮像手段と、前記第一ディジタル画像と前記第二ディジタル画像との鮮鋭度の差に基づいて前記第一ディジタル画像の前記注目領域に対応する第一領域を特定する領域特定手段と、前記第一ディジタル画像全体の面積と前記第一領域の面積とに基づいて領域特定の成否を判定する判定手段と、前記判定手段で成功と判定されると、前記領域特定手段で特定された前記第一領域に基づいて前記第一ディジタル画像の前記第一領域以外の第二領域を透明にする透明手段と、前記透明手段で前記第二領域を透明にした前記第一ディジタル画像を前記第二ディジタル画像又は他のディジタル画像の上に重畳合成する手段と、を備える。この画像処理システムによると、ディジタル画像から特定の被写体を抽出する作業が容易であるとともに、より確実に被写体を抽出できる。また、注目領域だけを重畳合成した第二ディジタル画像、又は注目領域だけを重畳合成した他のディジタル画像を得ることができる。
【００１７】
尚、本発明に備わる複数の手段の各機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら複数の手段の各機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。
また、請求項に記載された方法の各動作の順序は、技術上の阻害要因がない限り、記載順に限定されるものではなく、どのような順番で実行されてもよく、また同時に実行されてもよい。
【発明を実施するための最良の形態】
【００１８】
以下、本発明を実施するための最良の形態を実施例に基づいて説明する。
（画像処理システムの構成）
図２は、本発明の一実施例に係る画像処理システム１の構成を示す模式図である。本発明の一実施例に係る画像処理システムは、ディジタルスチルカメラ（ＤＳＣ）２と画像処理装置としてのパーソナルコンピュータ（ＰＣ）３とで構成される。なお、画像処理装置はディジタル画像を入力するためのインタフェースを備えディジタル画像を単独で印刷可能なプリンタ４などでもよい。
【００１９】
１．ＤＳＣ
図３は、本発明の一実施例に係るＤＳＣ２のブロック図である。
レンズ１１は、所定距離離れた被写体の鮮鋭な画像がイメージセンサ１２の受光面に結像するように電動アクチュエータを駆動源とするレンズ駆動部１３によって駆動される。
【００２０】
シャッタ１４は、電動アクチュエータを駆動源とするシャッタ駆動部１５によって駆動される。
イメージセンサ１２は、２次元空間に離散的に配置された受光セルとＣＣＤ（Charge Coupled Device）等の電荷転送素子とを備えたエリアイメージセンサである。イメージセンサ１２は、センサ駆動部１６によって駆動される。イメージセンサ１２は、光電変換により得られる電荷を受光セル毎に蓄積し、受光セル毎の受光量に応じた電気信号を出力する。受光面にＣ（Cyan）、Ｍ（Magenta）、Ｙ（Yellow）及びＧ（Green）の４色の補色フィルタ、又はＲ（Red）、Ｇ（Green）及びＢ（Blue）の原色フィルタを設けることによりカラー画像を形成することが可能になる。
【００２１】
アナログディジタル変換器（ＡＤＣ）１７は、イメージセンサ１２から出力されるアナログ電気信号を量子化してディジタル信号に変換する。具体的には例えば、ＡＤＣ１７は、電気信号に含まれる雑音の低減処理、ゲイン及びオフセットの調整による電気信号のレベル調整処理、量子化処理等を行う。
ディジタル画像処理部１８は、ＡＤＣ１７から出力されたディジタル信号に対し、画像形成処理、ホワイトバランス補正、ガンマ補正、色空間変換等を施し、各画素についてＲ、Ｇ、Ｂの階調値や、Ｙ、Ｃｂ、Ｃｒの階調値などを表すディジタル画像を出力する。尚、ここでいう画像形成処理とは、受光セルから出力された一色分の階調値を近傍の受光セルの異なる色の階調値で補間することにより画素毎にＲＧＢ又はＹＣｂＣｒの３つの階調値を持つディジタル画像を出力する処理である。
【００２２】
圧縮・伸張部１９は、ディジタル画像を圧縮又は伸張する。具体的には、ディジタル画像の系列変換及びエントロピー符号化を行うことによりディジタル画像を圧縮し、それらの逆変換を施すことによりディジタル画像を伸張する。具体的には例えば離散コサイン変換、量子化、ランレングス符号化及びハフマン符号化を用いてディジタル画像を圧縮する。量子化に用いる量子化テーブルを変更することによって量子化ステップ幅を変更すると、圧縮率を変更することができる。
【００２３】
リムーバブルメモリインタフェース２０は、リムーバブルメモリ２１を脱着自在に接続可能であって、圧縮・伸張部１９によって圧縮されたディジタル画像をリムーバブルメモリ２１に格納する。また、圧縮・伸張部１９によって伸張されるディジタル画像は、リムーバブルメモリインタフェース２０によってリムーバブルメモリ２１から読み出される。ＤＳＣ２から画像処理装置に画像を伝送する媒体としては、リムーバブルメモリ２１の他に各種の電気通信回線を用いてもよい。
【００２４】
ワークメモリ２２は、ディジタル画像処理部１８及び圧縮・伸張部１９で処理されるデータを一時的に格納するためのメモリである。
表示部２５は、ＬＣＤ（Liquid Crystal Display）、ＬＣＤを制御するディスプレイコントローラなどを備える。表示部２５は制御部２３によって制御され、撮像モードでは電子ビューファインダとして機能し、再生モードではリムーバブルメモリ２１から読み出したディジタル画像を表示するモニタとして機能する。この他、表示部２５は種々の設定を行うための各種のメニューやメッセージなどを表示する。
【００２５】
制御部２３は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ及びインタフェース回路を備える。制御部２３はＲＯＭに記憶されているコンピュータプログラムを実行することにより、ＤＳＣ２の全体を制御する。また、制御部２３はＲＯＭに記憶されている画像処理プログラムを実行することにより、撮像手段、領域特定手段及び判定手段としても機能する。ＲＯＭに記憶する各種のプログラムやデータは所定のサーバからネットワークを介してダウンロードして記憶してもよいし、リムーバブルメモリ２１等のコンピュータ読み取り可能な記憶媒体から読み出して記憶してもよい。また、第一ディジタル画像と第二ディジタル画像とをＤＳＣ２内で処理を行い別のデータとして収納してもよい。他にも画像処理装置を持ったプリンタ側に第一ディジタル画像と第二ディジタル画像とを送り、プリンタ内で処理を行うことも可能である。
【００２６】
レンズ１１、イメージセンサ１２、シャッタ１４、ＡＤＣ１７、ディジタル画像処理部１８及び制御部２３は、特許請求の範囲に記載の「撮像手段」に相当する。また、制御部２３は、特許請求の範囲に記載の「領域特定手段」及び「判定手段」に相当する。
２．画像処理装置
【００２７】
図４は、ＰＣ３のハードウェア構成を示すブロック図である。
ＰＣ３は、ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、入力装置３４、表示装置３５、及び外部記憶装置３６を備え、これらはバスで相互に接続されている。ＣＰＵ３１はＲＯＭ３２や外部記憶装置３６に記憶されたプログラムを実行してＰＣ３の全体を制御する。ＲＯＭ３２は各種のプログラムやデータを予め記憶しているメモリである。外部記憶装置３６はハードディスクなどで構成され、オペレーティングシステム（ＯＳ）、各種のプログラムなどを記憶する。外部記憶装置３６に記憶する各種のプログラムは、所定のサーバからネットワークを介してダウンロードして入力してもよいし、リムーバブルメモリ２１等のコンピュータ読み取り可能な記憶媒体から読み出して入力してもよい。ＲＡＭ３３は各種のプログラムやデータを一時的に記憶するメモリである。入力装置３４はマウス、キーボード、リムーバブルメモリインタフェース２０、通信インタフェースなどで構成され、ＤＳＣ２で生成された画像を入力するために用いられる。表示装置３５はＣＲＴやＬＣＤなどで構成されている。
【００２８】
（画像処理方法）
図１は、画像処理システム１の処理全体の流れを示すフローチャートである。図中のＳ１０〜Ｓ５０はＤＳＣ２による処理であり、Ｓ６０〜Ｓ８０はＰＣ３による処理である。
Ｓ１０では、ＤＳＣ２により、注目領域に焦点を合わせた状態と注目領域から故意に焦点を外した状態で同一シーンを連続撮像し、それぞれの状態に対応した２つの画像を生成する。注目領域に焦点を合わせた状態で撮像して生成する画像が第一ディジタル画像であり、注目領域から焦点を外した状態で撮像して生成する画像が第二ディジタル画像である。尚、いずれの画像を先に生成してもよい。
【００２９】
Ｓ２０では、第一ディジタル画像と第二ディジタル画像との鮮鋭度の差を表す差分画像を生成する。
Ｓ３０では、差分画像に基づいて第一ディジタル画像の注目領域に対応する第一領域を特定し、第一領域の面積と第一ディジタル画像全体の面積とに基づいて領域特定の成否を判定する。失敗と判定した場合はＳ４０に進み、成功と判定した場合はＳ５０に進む。
【００３０】
Ｓ４０では、失敗を通知する。具体的には例えば領域特定に失敗した旨のメッセージをＬＣＤに表示する。ユーザは領域特定に失敗したことを撮像現場で即時に知ることができるため、その場で再撮像を行うことができる。
Ｓ５０では、第一ディジタル画像、第二ディジタル画像、及び第一領域を構成する画素を特定するための情報を互いに関連付けてＰＣ３に入力するため、ＤＳＣ２で第一ディジタル画像、第二ディジタル画像、及び第一領域を構成する画素を特定するための情報を互いに関連付けてリムーバブルメモリ２１、通信回線等に出力する。ここで「第一領域を構成する画素を特定するための情報」は、特定された第一領域に応じて生成される情報である。ＤＳＣ２は領域特定に成功すると特定した第一領域に応じて当該情報を生成する。尚、第一ディジタル画像及び第二ディジタル画像は、例えばモデムを介してインターネット等の電気通信回線に送出してもよいし、例えばＵＳＢケーブル、ブルートゥース等を介して直接ＰＣ３に入力してもよい。
【００３１】
Ｓ６０では、互いに関連付けられた第一ディジタル画像、第二ディジタル画像及び第一領域を構成する画素を特定するための情報をリムーバブルメモリ２１、通信回線等を介してＰＣ３に入力する。尚、ＤＳＣ２とＰＣ３とを直接接続し、第一ディジタル画像と第二ディジタル画像とを互いに関連付けてＤＳＣ２からＰＣ３に直接入力してもよい。
【００３２】
Ｓ７０では、ＰＣ３で実行する画像処理プログラムにより、重畳合成処理の前処理として、第一領域を構成する画素を特定するための情報に基づいて第一領域以外の領域（第二領域）を透明にする。具体的には例えば、第一ディジタル画像の第二領域の画素値を０にした画像を生成する。
Ｓ８０では、第二領域が透明化された第一ディジタル画像と他のディジタル画像とを重畳合成する。具体的には例えば、第二ディジタル画像の上に第一ディジタル画像を重畳合成すると、第一領域が鮮鋭で、第二領域がぼけた画像を生成することができる。このような合成画像では、第二領域の鮮鋭度が第一ディジタル画像より低くなるため、画像の奥行きを強調することができる。尚、第一ディジタル画像をそれと無関係な画像の上に重畳合成してもよい。また、第一ディジタル画像、第二ディジタル画像のいずれか一方又は両方を加工した後に２つの画像を合成してもよい。例えば、第一ディジタル画像と、平滑化フィルタを施してさらにぼかした（鮮鋭度を小さくした）第二ディジタル画像とを合成することにより、より一層画像の奥行きを強調することができる。
【００３３】
２．ＤＳＣによる処理の詳細
ＤＳＣ２による処理のうち、Ｓ１０、Ｓ２０及びＳ３０の処理の詳細について説明する。
始めに、Ｓ１０の処理の詳細について図３に基づいて説明する。
シャッタボタン２４が押されると、制御部２３は、シャッタ駆動部１５、レンズ駆動部１３、センサ駆動部１６、ディジタル画像処理部１８、ワークメモリ２２等を例えば次のように制御して第一ディジタル画像及び第二ディジタル画像を生成する。すなわち、シャッタボタン２４が押されると、焦点を調整範囲の限界またはその近傍に設定した状態でシャッタ１４を所定時間開放し、シャッタ１４の開放中にイメージセンサ１２に蓄積された電荷を読み出してＡＤＣ１７に入力し、ＡＤＣ１７から出力されるディジタル信号をディジタル画像処理部１８で処理して第二ディジタル画像を生成する。次に、被写体の注目領域に焦点を合わせた状態で再度シャッタ１４を所定時間開放し、シャッタ１４の開放中にイメージセンサ１２に蓄積された電荷を読み出してＡＤＣ１７に入力し、ＡＤＣ１７から出力されるディジタル信号をディジタル画像処理部１８で処理して第一ディジタル画像を生成する。第一ディジタル画像と第二ディジタル画像を撮像する間隔は短ければ短い程良い。被写体の注目領域に焦点を合わせる処理は、例えば画像の注目領域に対応する領域の高周波成分が最大になるようにレンズ駆動部１３をフィードバック制御することによって行う。尚、本実施例では、シャッタ１４を所定時間開放することによりイメージセンサ１２に電荷を蓄積し、イメージセンサ１２に蓄積された電荷から画像を生成することを撮像というものとする。
【００３４】
第二ディジタル画像を先に生成する場合、予め調整範囲の限界またはその近傍に焦点を合わせておくことにより、シャッタボタン２４が押された直後に第二ディジタル画像を生成することができ、さらに、その後に一方向に向かって焦点を調整することができるため、シャッタボタン２４が押されてから第一ディジタル画像及び第二ディジタル画像を撮像するまでの期間を短縮することができる。レンズ１１から最短距離に焦点を合わせた場合も、レンズ１１から最長距離に焦点を合わせた場合も、そのような操作によって人物等の注目領域に焦点が合う確率は低い。したがって、焦点を調整範囲の限界またはその近傍に設定した状態で撮像して第二ディジタル画像を生成することにより、注目領域に対応する第一領域とそれ以外の第二領域とに第一ディジタル画像を分割する精度の低下を抑制しつつ、第二ディジタル画像を生成する処理を簡素化することができる。尚、第二ディジタル画像を撮像するとき、レンズ１１から最短距離に焦点を合わせてもよいし、レンズ１１から最長距離に焦点を合わせてもよい。
【００３５】
尚、被写体の注目領域に焦点を合わせた状態で撮像することにより第一ディジタル画像を生成した後に、レンズ１１を所定量移動させることにより被写体の注目領域から焦点を外し、その状態で被写体を撮像することにより第二ディジタル画像を生成してもよい。第一ディジタル画像を先に生成する場合、注目領域から焦点を確実に外した状態で第二ディジタル画像を生成することができる。また、第一ディジタル画像を先に生成する場合、手動で注目領域に焦点を合わせてから、第一ディジタル画像と第二ディジタル画像を連続的に生成することが可能になる。
【００３６】
また、第一ディジタル画像と第二ディジタル画像の同一領域の鮮鋭度の差が、注目領域で大きく、注目していない領域（注目外領域）で小さくなるように、撮像するシーンに応じて調整範囲の近距離側限界又は遠距離側限界のいずれかに焦点を合わせて第二ディジタル画像を生成してもよい。また、調整範囲の近距離側限界に焦点を合わせたものと遠距離側限界に焦点を合わせたものとの両方を第二ディジタル画像としてもよい。
【００３７】
制御部２３は、圧縮・伸張部１９を制御して第一ディジタル画像及び第二ディジタル画像をそれぞれ圧縮し、圧縮された状態の第一ディジタル画像及び第二ディジタル画像を互いに関連付けてリムーバブルメモリ２１に格納する。第一ディジタル画像及び第二ディジタル画像をそれぞれ別個独立のファイルとしてリムーバブルメモリ２１に格納し、いずれか一方のファイルに他方のファイルへのパスを記録してもよいし、第一ディジタル画像及び第二ディジタル画像を１つのファイルにまとめてリムーバブルメモリ２１に格納してもよい。
【００３８】
次に、図１に示すＳ２０の処理の詳細について説明する。
図５は、Ｓ２０の詳細を示すフローチャートである。
Ｓ２０５では、第一ディジタル画像の画素を例えば１つおきに間引いて縦横２分の１の縮小画像を生成する。以降の説明において第一ディジタル画像とは第一ディジタル画像の縮小画像のことをいう。
【００３９】
Ｓ２１０では、同様に第二ディジタル画像の縮小画像を生成する。以降の説明において第二ディジタル画像とは第二ディジタル画像の縮小画像のことをいう。
Ｓ２１５では、第一ディジタル画像の輝度のエッジを表す第一エッジ画像を生成する。ここで輝度とは、第一ディジタル画像がＹＣｂＣｒ色空間で表されているとすると、Ｙ（輝度）成分の値のことをいう。第一ディジタル画像がＲＧＢ色空間で表されている場合は、ＲＧＢ値から公知の変換式を用いて輝度値を求めることができる。第一エッジ画像の生成は例えばエッジ検出オペレータを用いて行う。第一ディジタル画像は注目領域に焦点が合っているため、第一エッジ画像では注目領域のエッジは濃淡差の大きいエッジ、すなわち高いエッジとなる。尚、第一ディジタル画像の注目画素及びその近傍画素の画素値の平均偏差を求め、求めた平均偏差に基づいて第一エッジ画像の当該注目画素に対応する画素の画素値を設定することにより第一エッジ画像を生成してもよい。平均偏差はばらつきを表すものである。なお、ばらつきは標準偏差や分散などであってもよい。第一ディジタル画像においてエッジ周辺の画素は、エッジを挟んで逆側の領域にある近傍画素との画素値の差が大きい。すなわちエッジ周辺では画素値のばらつきが大きい。このため、エッジ周辺では平均偏差は大きくなる。平均偏差はエッジが明瞭であればあるほど大きくなる。逆にエッジ周辺以外の画素は、近傍画素との画素値の差が小さい。このため平均偏差は小さくなる。以上のことから明らかなように、平均偏差によって第一ディジタル画像のエッジを表すことができる。
【００４０】
Ｓ２２０では、同様にして第二ディジタル画像のエッジを表す第二エッジ画像を生成する。
Ｓ２２５では、第一エッジ画像と第二エッジ画像との差分を表す差分画像を生成する。差分画像は、第一エッジ画像をＦ１（Ｆ１＝｛ｆ１  ｉｊ｝）、第二エッジ画像をＦ２（Ｆ２＝｛ｆ２  ｉｊ｝）、それらの差分を表す差分画像をＧ（Ｇ＝｛ｇ  ｉｊ｝）としたとき、｛ｇ  ｉｊ｝＝｛ｆ１  ｉｊ｝−｛ｆ２  ｉｊ｝によって求める。
【００４１】
なお、第二ディジタル画像を撮像するためにレンズ１１を移動すると、第一ディジタル画像と第二ディジタル画像とで画角がずれ、差分画像にエッジが二重に表れてしまう場合がある。注目領域のエッジが二重に表れても問題はないが、非注目領域のエッジが二重に表れると、二重に表れた２つのエッジが一つの高いエッジとして認識されてしまい、それが注目領域のエッジとして誤認識されてしまうことがある。このため、第一エッジ画像と第二エッジ画像とを比較して位置及び形状が互いに似ているエッジを検出し、似ているとして検出された第一エッジ画像のエッジの画素値から第二エッジ画像の似ているエッジの画素値を引くことにより、画角ズレを補正した差分画像を生成するようにするとよい。
【００４２】
次に、図１に示すＳ３０の処理の詳細について説明する。
図６は、Ｓ３０の詳細を示すフローチャートである。
Ｓ３０５では、差分画像を所定のしきい値Ａで二値化する。これにより注目領域のエッジが抽出される。本実施例では、画素値が大きい画素を黒（０）、画素値が小さい画素を白（１）に変換するものとする。しきい値Ａは、例えば画面からユーザが入力する値でもよいし、予め設定された固定値でもよいし、後述するように領域分割の結果をフィードバックしながら自動設定する値でもよい。
【００４３】
図７は注目領域で人物に焦点を合わせた状態で撮像された第一ディジタル画像を表しており、図８は注目領域で人物から焦点を外した状態で撮像された第二ディジタル画像を表している。図９はそれらの差分画像の二値画像を表している。第一ディジタル画像では、注目領域である女性に焦点が合っているため、女性に対応する領域で鮮鋭度が高くなり、それ以外の領域で鮮鋭度が低くなる。したがって、第一ディジタル画像のエッジを抽出すると、女性に対応する領域でエッジが多くなり、それ以外の領域でエッジが少なくなる。一方、第二ディジタル画像では、女性から焦点が外れているものの、それ以外の被写体に焦点が合っているわけではないため、全領域で鮮鋭度が低くなる。したがって、第二ディジタル画像のエッジを抽出すると、全領域でエッジが少なくなる。このため、エッジ差分を表す二値画像では、女性に対応する領域に黒画素が集中する。
【００４４】
一般に、人物などの注目領域に対応する被写体とその背後にある被写体とでは、ＤＳＣ２までの距離に相当の差があるため、注目領域に対応する領域は、図１０の実線で示すように、まとまりのある閉じた領域として二値画像に表れる傾向が強い。二値画像は、注目領域でない領域にノイズを含むため、以後の処理では、この傾向に着目してノイズを除去する。尚、注目領域に対応する領域を特定するための以後の全ての処理は、モノクローム画像に対する処理であり、特に二値画像に対する処理であるため、カラー画像に対する処理に比べて単純である。したがって、注目領域を特定する処理の全体を通じて、画像の特性に応じて調整する必要があるパラメータは、種類が少なく、調整範囲が狭い。本実施例で画像の特性に応じて調整する必要があるパラメータは、差分画像を二値化するためのしきい値Ａと、後述する最小値フィルタの適用回数Ｂと、後述する最大値フィルタの適用回数Ｃとだけである。このように、画像の特性に応じて調整する必要があるパラメータの種類が少なく、また調整範囲が狭いため、ユーザは容易に適切なパラメータを設定することができる。また、画像の特性に応じて調整する必要があるパラメータの種類が少なく、また調整範囲が狭いため、適切なパラメータを自動検出することも可能である。パラメータをユーザが設定する場合も、適切なパラメータを自動検出する場合も、パラメータの設定操作が簡素化されるため、本実施例の画像処理方法によると、ディジタル画像の領域分割が容易になる。
【００４５】
Ｓ３１０では、最小値フィルタを繰り返し適用して二値画像の黒領域を膨張させることによって、近傍の黒領域同士を結合させ、外輪郭が１つの閉曲線で構成されたある程度広い領域を出現させる。最小値フィルタは、注目画素を取り巻く近傍画素中で画素値が最小のものを選択し、選択された画素の画素値を処理後の全ての近傍画素の画素値として採用するフィルタである。最小値フィルタの適用回数Ｂは、ユーザが入力する値（領域判定あまさ）でもよいし、予め設定された値でもよいし、後述するように領域分割の結果をフィードバックしながら自動設定する値でもよい。図１１及び図１２は図９に示す画像に最小値フィルタを適用した結果を示す画像である。図１２に示す画像は図１１に示す画像よりも最小値フィルタを多く適用した結果を示している。図１２に示すように、最小値フィルタの適用回数を多くすると注目領域外のノイズが強調されるが、強調されたノイズは後続の処理で消去することができる。
【００４６】
Ｓ３１５では、最大値フィルタを繰り返し適用して黒領域を収縮させる。図１３は図１２に示す画像に最大値フィルタを適用した結果を示す画像である。最大値フィルタは、注目画素を取り巻く近傍画素中で、画素値が最大のものを選択して処理後の画素の画素値として採用するフィルタである。最大値フィルタを適用する処理では、図１８に示すように、最小値フィルタの適用によって結合した黒領域を結合したまま収縮させることができる。図１８は、ウィンドウサイズが９画素の最小値フィルタを２回適用した後にウィンドウサイズが９画素の最大値フィルタを２回適用する処理の経過を示している。最大値フィルタの適用回数Ｃは、例えば画面からユーザが入力する値（領域の痩身度）でもよいし、予め設定された固定値でもよいし、最小値フィルタの適用回数Ｂと等しい値でもよいし、後述するように領域分割の結果をフィードバックしながら自動設定する値でもよい。
【００４７】
Ｓ３２０では、以上の処理によって生成された複数の黒領域のうち、最大面積の領域以外のものを反転させる。この処理は、注目領域に対応する黒領域がノイズに相当する黒領域よりも常に広くなることを前提としている。この処理の結果、注目領域に対応する領域のみが黒領域として残り、ノイズに相当する黒領域は消滅する。図１４は図１３に示す画像に対するこの処理の結果を示している。
【００４８】
尚、複数の黒領域のうち、いずれの領域が注目領域に対応しているかをより正確に判定するために、各領域の面積を単純に比較するだけではなく、例えば中心に近い領域は周縁に近い領域よりも注目領域である可能性が高いことを勘案し、各領域の面積を位置に応じて重み付けしたものを比較してもよい。また、差分画像を二値化するしきい値Ａと、最小値フィルタの適用回数Ｂと、最大値フィルタの適用回数Ｃの少なくともいずれか１つを変更して上述の処理を繰り返すときに各黒領域の面積の全体の面積に占める割合がどのように増減するかを勘案することにより、いずれの黒領域が注目領域に対応しているかを判定してもよい。
【００４９】
Ｓ３２５では、黒領域に囲まれた白領域を反転させることにより黒領域を拡張する。この処理の結果、人肌や無地の衣類のように注目領域の中で被写体自体の濃淡変化が平滑な領域（すなわち焦点が合っていても外れていてもエッジが抽出されない領域）に対応する領域（白領域）が周辺の黒領域によって侵食されて消滅する。図１５は図１４に示す画像に対するこの処理の結果を示している。
【００５０】
以上の処理によって、二値画像の黒領域が第一領域として二値画像上で大まかに特定され、二値画像の白領域が第二領域として二値画像上で大まかに特定される。二値画像上で第一領域を特定することは、第一ディジタル画像上で第一領域を特定することに等しい。すなわち、二値画像上で第一領域を特定することによって、第一ディジタル画像上で第一領域が特定されたことになる。尚、以上の処理に加えて、最適なパラメータを自動検出する処理、黒領域のノイズ成分である「ひげ」を除去する処理等を実施してもよい。
【００５１】
Ｓ３３０では、上述の処理の結果として二値画像に残存している黒領域が内接する最小矩形（図１６参照）の面積が二値画像全体に占める割合と、黒領域の面積がその最小矩形の面積に占める割合とが所定の範囲内にあるか否かを判定する。具体的には例えば、黒領域が内接する最小矩形の面積が二値画像全体に占める割合をｂｒ％、黒領域の面積がその最小矩形の面積に占める割合をｉｒ％とすると、以下の２つの判定条件が供に満たされれば領域特定は成功したと判定する。いずれか一方でも満たされなければＳ３３５に進む。
【００５２】
３０≦ｂｒ≦９５
５５≦ｉｒ≦７０
図１７に示すように蛇行した細長い領域が注目領域に対応する確率は相当低い。上述したような判定条件を設定すると、図１７に示すような蛇行した細長い領域の場合は領域特定に失敗したと判定される。すなわち、注目領域である可能性が低い領域が注目領域として特定され、その結果領域特定に成功したと誤判定されてしまうことを防止できる。尚、上述した判定条件に示す値はいくつかのサンプルを使用して実験的に求めた値であり、使用したサンプルではほぼ良好な判定結果が得られると判断された値である。これらの値は必要に応じて適宜設定してよい。また、本実施例では第一ディジタル画像全体の面積（二値画像全体の面積）と矩形領域の面積との比、及び矩形領域の面積と第一領域の面積（黒領域の面積）との比に基づいて領域特定の成否を判定しているが、第一ディジタル画像全体の面積と第一領域の面積との比に基づいて領域特定の成否を判定するようにしてもよい。
【００５３】
Ｓ３３５では、差分画像を二値化するしきい値Ａと、最小値フィルタの適用回数Ｂと、最大値フィルタの適用回数Ｃの少なくともいずれか１つを、予め設定されている許容範囲内で自動再設定する。
Ｓ３４０では、許容範囲内でのパラメータの自動再設定が成功したか否かを判定する。上述の処理を繰り返した結果、最終的にパラメータの許容範囲内で条件を満たすことができない場合、Ｓ３３５において許容範囲内でパラメータを自動再設定することに失敗する。パラメータの自動再設定に失敗した場合は、領域特定に失敗したと判定する。
【００５４】
以上説明した本発明の一実施例に係るＤＳＣ２によると、ＰＣ３において第一領域の特定に失敗する場合、そのことを撮像現場で事前に知ることができる。撮像現場で知ることができれば容易に撮像し直すことができるため、失敗した場合は領域特定に成功したと判定されるまでその場で撮像し直すことにより、領域特定に成功する第一ディジタル画像及び第二ディジタル画像をより確実に得ることができる。従って、より確実に被写体を抽出することが可能になる。また、ＤＳＣ２は同一シーンについて注目領域に焦点が合っている第一ディジタル画像と注目領域から焦点が外れている第二ディジタル画像とを生成するため、ＰＣ３において撮像時に焦点を合わせた特定の対象物をディジタル画像から抽出する作業が容易になる。
【００５５】
尚、上述の実施例では、最小値フィルタや最大値フィルタを用いて注目領域に対応する領域を特定しているが、注目領域の特定はこれに限られない。例えば、二値画像において黒画素が集中している領域を注目領域に対応する領域としてもよいし、集中している黒画素の周囲をベクトルラインで滑らかにつなげた領域を注目領域に対応する領域としてもよい。
【００５６】
また、上述の実施例では、重畳合成処理の前処理として、第一ディジタル画像の第二領域を透明化しているが、第一ディジタル画像の第二領域の画素値を均一にしてもよい。具体的には例えば第二領域が白、黒、青などの単一色を表すように第一ディジタル画像を編集してもよい。第二領域の画素値が均一であれば、第一領域を抽出して他の画像に合成することは容易である。
【００５７】
また、上述の実施例では、第一ディジタル画像の第一領域を特定する処理をＰＣ３で行っているが、例えば、ＤＳＣ２でその処理を行い、さらに第一ディジタル画像の第二領域の画素値を透明又は均一にし、それをリムーバブルメモリ２１に格納してもよい。すなわち、ＤＳＣ２のみで画像処理システムを構成してもよい。これにより、リムーバブルメモリ２１から第一ディジタル画像を入力したＰＣ３において第一ディジタル画像の第一領域を他の画像に合成することが容易になる。
【００５８】
また、本実施例ではＤＳＣ２からＰＣ３に第一ディジタル画像、第二ディジタル画像、及び第一領域を構成する画素を特定するための情報を出力しているが、ＤＳＣ２からＰＣ３に第一ディジタル画像、及び第二ディジタル画像だけを出力し、ＰＣ３において第一領域を特定し直すようにしてもよい。ただし、その場合は第一領域を特定する処理がＤＳＣ２とＰＣ３とで重複するため、本実施例のようにＤＳＣ２からＰＣ３に第一領域を構成する画素を特定するための情報を出力することが望ましい。
【００５９】
また、本実施例ではディジタルカメラとしてディジタルスチルカメラを例に説明したが、ディジタルカメラ付き携帯電話やディジタルビデオカメラに本発明を適用してもよい。
【図面の簡単な説明】
【００６０】
【図１】本発明の一実施例に係る画像処理システムのフローチャート。
【図２】本発明の一実施例に係る画像処理システムの構成を示す模式図。
【図３】本発明の一実施例に係るディジタルカメラのブロック図。
【図４】本発明の一実施例に係るパーソナルコンピュータのブロック図。
【図５】図１のＳ２０の詳細を示すフローチャート。
【図６】図１のＳ３０の詳細を示すフローチャート。
【図７】本発明の一実施例に係る見本画像を示す図。
【図８】本発明の一実施例に係る見本画像を示す図。
【図９】本発明の一実施例に係る見本画像を示す図。
【図１０】本発明の一実施例に係る見本画像を示す図。
【図１１】本発明の一実施例に係る見本画像を示す図。
【図１２】本発明の一実施例に係る見本画像を示す図。
【図１３】本発明の一実施例に係る見本画像を示す図。
【図１４】本発明の一実施例に係る見本画像を示す図。
【図１５】本発明の一実施例に係る見本画像を示す図。
【図１６】本発明の一実施例に係る見本画像を示す図。
【図１７】本発明の一実施例に係る見本画像を示す図。
【図１８】本発明の一実施例に係る模式図。
【符号の説明】
【００６１】
１  画像処理システム、２  ディジタルスチルカメラ（画像処理システム）、３  パーソナルコンピュータ（画像処理システム）、１１  レンズ（撮像手段）、１２  イメージセンサ（撮像手段）、１４  シャッタ（撮像手段）、１７  アナログディジタル変換器（撮像手段）、１８  ディジタル画像処理部（撮像手段）、２３  制御部（撮像手段、領域特定手段、判定手段）
【図１】
2006166226.tif 000003
【図２】
2006166226.tif 000004
【図３】
2006166226.tif 000005
【図４】
2006166226.tif 000006
【図５】
2006166226.tif 000007
【図６】
2006166226.tif 000008
【図７】
2006166226.tif 000009
【図８】
2006166226.tif 000010
【図９】
2006166226.tif 000011
【図１０】
2006166226.tif 000012
【図１１】
2006166226.tif 000013
【図１２】
2006166226.tif 000014
【図１３】
2006166226.tif 000015
【図１４】
2006166226.tif 000016
【図１５】
2006166226.tif 000017
【図１６】
2006166226.tif 000018
【図１７】
2006166226.tif 000019
【図１８】
2006166226.tif 000020