(57)【要約】【課題】  人物に特化したボケの少ない画像を生成すること。【解決手段】  フォーカス条件を変化させた複数枚の画像で、入力画像中から顔領域を自動で検出し、顔領域から顔適用領域と顔適用領域外で合成させる画像を切り替えて画像合成を行なう。【選択図】  図１
2009064157.tif 000002
【特許請求の範囲】
【請求項１】
フォーカス条件の異なる複数の静止画から１枚の静止画を合成するする画像処理装置において、フォーカス条件の異なる複数の画像データを取得する画像データ取得手段と、前記画像データ取得手段で取得した画像データから人物の顔領域を検出する顔検出手段と、前記顔検出手段で検出した顔領域付近に対して顔適用領域と顔適用領域外を設定する処理範囲設定手段と、前記処理範囲設定手段で設定した顔適用領域と顔適用領域外毎に画像を選択する画像選択手段と、前記画像選択手段で選択した前記処理範囲設定手段で設定した顔適用領域と顔適用領域外の選択された画像を合成することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、前記画像選択手段は、前記顔適用領域に対して高周波成分の多い画像を選択し、前記顔適用領域外に対して高周波成分の少ない画像を選択して、画像合成を行なうことを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、前記画像選択手段は、前記顔適用領域に対して高周波成分の多い画像を選択し、前記顔適用領域外に対しても高周波成分の多い画像を選択して、画像合成を行なうことを特徴とする画像処理装置。
【請求項４】
請求項２に記載の画像処理装置において、画像合成を行なう際に、前記顔適用領域に対して前記顔適用領域と前記顔適用領域外の境界部分では、高周波成分の多い画像と高周波成分の少ない画像に重みを付けて、画像合成を行なうことを特徴とする画像処理装置。
【請求項５】
フォーカス条件の異なる複数の静止画から１枚の静止画を合成するする画像処理方法において、フォーカス条件の異なる複数の画像データを取得する画像データ取得工程と、前記画像データ取得工程で取得した画像データから人物の顔領域を検出する顔検出工程と、前記顔検出工程で検出した顔領域付近に対して顔適用領域と顔適用領域外を設定する処理範囲設定工程と、前記処理範囲設定工程で設定した顔適用領域と顔適用領域外毎に画像を選択する画像選択工程と、前記画像選択工程で選択した前記処理範囲設定工程で設定した顔適用領域と顔適用領域外の選択された画像を合成することを特徴とする画像処理方法。
【請求項６】
請求項５に記載の画像処理方法において、前記画像選択工程は、前記顔適用領域に対して高周波成分の多い画像を選択し、前記顔適用領域外に対して高周波成分の少ない画像を選択して、画像合成を行なうことを特徴とする画像処理方法。
【請求項７】
請求項５に記載の画像処理方法において、前記画像選択工程は、前記顔適用領域に対して高周波成分の多い画像を選択し、前記顔適用領域外に対しても高周波成分の多い画像を選択して、画像合成を行なうことを特徴とする画像処理方法。
【請求項８】
請求項６に記載の画像処理方法において、画像合成を行なう際に、前記顔適用領域に対して前記顔適用領域と前記顔適用領域外の境界部分では、高周波成分の多い画像と高周波成分の少ない画像に重みを付けて、画像合成を行なうことを特徴とする画像処理方法。
【請求項９】
請求項５〜請求項８のいずれかに記載の画像処理を構成する工程を実行するためのプログラムを記憶したコンピュータ読取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の静止画から１枚の静止画を合成するする画像処理装置、画像処理方法、プログラムおよび記憶媒体に関する。
【背景技術】
【０００２】
近年、撮像素子によって画像をデジタル撮影するデジタルカメラやデジタルビデオカメラ等の撮像装置が普及しつつある。撮像装置には、露出条件を変化させた複数枚の画像を撮影する機能が備わっている。例えば、ブラケット撮影機能で、近年のデジタルカメラは、ブラケット撮影機能がついているものが大半である。
【０００３】
露出条件を変化させた複数の画像で、被写体の明るい領域は露出の低い画像から、暗い領域は露出の高い画像から合成することにより、輝度の飽和によるつぶれ等を防ぐ技術が提案されている。
【０００４】
上記の例として、下記特許文献１と特許文献２をあげることが出来る。
【特許文献１】特開平０６−１０５２２４号公報
【特許文献２】特開２００２−８４４４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
露出条件を変化させて撮影した画像を合成する方法について、従来例として以下のものがある。
【０００６】
特開平０６−１０５２２４号公報（特許文献１）は、画像入力装置のダイナミックレンジを拡大するために、１つのレンズから分光した２つの入力画像の露出を調整し、どちらか一方の入力画像で影の部分を鮮明に入力し、他方で影のない部分を鮮明に入力して、入力された画像データを合成させるという方法である。
【０００７】
特開２００２−８４４４９号公報（特許文献２）は、２種類の異なる露光量で撮像した画像を合成して１つの画像を生成する撮像装置において、輝度情報を算出し、算出された輝度情報に基づいて輝度信号の加重加算係数を算出し、加重加算係数に基づいて合成輝度信号を生成する事を特徴としている方法である。
【０００８】
しかし、上記従来技術にはフォーカスブラケット撮影のような、フォーカス条件を変えた複数枚の画像を効果的に合成する方法の記述がない。更に、特に人物領域に特化した合成方法の記述がない。一般のユーザが撮影する主な被写体は、人物の顔であることがよく知られている。従って、画像中から顔領域を抽出して、同領域に対して効果的な画像を選択し、人物の顔を綺麗に出力することが望ましいが、これまではそういった方法が提案されていなかった。
【課題を解決するための手段】
【０００９】
本発明の上述の課題は、以下に列記する手段により解決される。
【００１０】
その一手段は、フォーカス条件の異なる複数の静止画から１枚の静止画を合成するする画像処理装置において、フォーカス条件の異なる複数の画像データを取得する画像データ取得手段と、前記画像データ取得手段で取得した画像データから人物の顔領域を検出する顔検出手段と、前記顔検出手段で検出した顔領域付近に対して顔適用領域と顔適用領域外を設定する処理範囲設定手段と、前記処理範囲設定手段で設定した顔適用領域と顔適用領域外毎に画像を選択する画像選択手段と、前記画像選択手段で選択した前記処理範囲設定手段で設定した顔適用領域と顔適用領域外の選択された画像を合成することを特徴とする画像処理装置。
【００１１】
あるいは、上記の画像処理方法において、前記画像選択手段は、前記顔適用領域に対して高周波成分の多い画像を選択し、前記顔適用領域外に対して高周波成分の少ない画像を選択して、画像合成を行なうことを特徴とする画像処理装置。
【００１２】
あるいは、上記の画像処理方法において、画像合成を行なう際に、前記顔適用領域に対して前記顔適用領域と前記顔適用領域外の境界部分では、高周波成分の多い画像と高周波成分の少ない画像に重みを付けて、画像合成を行なうことを特徴とする画像処理装置。
【００１３】
本発明では、フォーカス条件を変化させた複数枚の画像で、入力画像中から顔領域を自動で検出し、顔領域から顔適用領域と顔適用領域外で合成させる画像を切り替えて画像合成を行なうことにより、人物に特化したボケの少ないまたは多い画像を生成することが可能となる。
【発明の効果】
【００１４】
以上説明したように本発明によれば、フォーカスブラケット撮影した複数の画像データに対し、顔領域の検出を行い検出結果に従ってフォーカス条件を変えて撮像された複数の画像を合成させることによって、ポートレートやスナップ用途の画像を人物領域に特化して綺麗に出力することが可能となる。
【発明を実施するための最良の形態】
【００１５】
次に、本発明の詳細を実施の形態の記述に従って説明する。
【００１６】
以下、添付の図面を参照して本発明の好適な実施形態について説明する。
【００１７】
尚、以降で説明する処理は、主として、プリンタエンジンへ出力すべき画像情報を作成するコンピュータ内のプリンタドライバソフト、もしくは、スキャナ等の光学読取り装置を動作させるためのドライバソフト、もしくはアプリケーションソフトとして内蔵することが効率的であるが、複写機、ファクシミリ、プリンタ本体等にハードウェア、及びソフトウェアとして内蔵することにも効果がある。
【００１８】
＜第１実施形態＞
（ハードウェア構成）
図１は第１実施形態による画像処理を実現するためのコンピュータにおけるハードウェア構成例を示すブロック図である。図１に示されるように、コンピュータ１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ディスプレイなどの表示装置１０４、キーボード１０７、マウス１０６などのユーザインターフェース、ハードディスクなどの２次記憶装置１０５、他のコンピュータやプリンタ１０９などと接続するためのインターフェース１０８とで構成されている。以上の構成において、ＣＰＵ１０１が２次記憶装置１０５に記憶された制御プログラムをＲＡＭ１０３へロードし、これを実行することにより以下に説明する各機能が実現される。
【００１９】
（処理の概要）
図２は、本実施形態における画像処理の機能構成を示すブロック図である。以下、図２を参照しながら本実施形態の画像処理の概要を説明する。図２に示すように、本実施形態の画像処理は、顔検出部２０１、処理範囲設定部２０２、画像合成部２０３を含む。
【００２０】
まず、入力画像が顔検出部２０１に入力される。本実施形態において、入力画像としては、デジタルカメラで撮影して得られた画像や、スキャナなどの光学読取装置で原稿を読み込んで得られた画像や、デジタルビデオカメラで撮影された動画中の１フレームを抽出して得られた画像などを想定している。なお、本明細書において、これらの「画像」は電子データ化された画像データを指すものとする。また、本実施形態において、入力画像としては、フォーカス条件の異なる設定で撮像された複数枚の画像データを指すものとする。また、本実施形態では、これらの画像は２次記憶装置１０５に格納され、顔検出部２０１によって適宜読み出されてＲＡＭ１０３に記憶され、処理に供されるものとする。また、本実施形態では、入力画像はＲＧＢ各色８ビットで構成された画像データを想定して説明を行なうが、本発明はこれに限定されるものではなく、例えばモノクロ画像に対しても容易に適用できることは言うまでもない。
【００２１】
顔検出部２０１は、フォーカス条件を変化させて撮像した複数の画像データの中で、フォーカス条件が画像データの中心位置に近い条件で撮像された画像から人物の顔および目や鼻、口などの器官位置を検出する。図３、図４、図５は端子２００から入力される入力画像データを示す。図３はフォーカス条件を画像の中心の人（３００）に合わせて撮像した画像データを想定する。図４はフォーカス条件を画像の左側の木（４００）に合わせて撮像した画像データを想定する。図５はフォーカス条件を画像の右側の車（５００）に合わせて撮像した画像データを想定する。図６はフォーカス条件を画像データの中心位置に近い条件で撮像された画像である図３の画像データに対して顔検出を行い、顔領域として点線６００で示す矩形領域を設定する。検出された顔領域情報は、後段の処理範囲設定部２０２や画像合成部２０３に入力され利用される。
【００２２】
また、本実施形態において、顔検出を行なう画像は、フォーカス条件を変化させて撮像した複数の画像データの中で、フォーカス条件を画像データの中心位置に近い条件で撮像された画像である図３の画像を選択しているが、本発明はこれに限定されるものではなく、例えば入力された順で最初の画像を選択したり、複数枚の入力画像を全て選択したり、入力される順で少なくても１つの顔検出ができるまでの画像を選択したり、ランダムに１画像を選択したり、ユーザが指定した画像を選択したり、画像データ全体の高周波成分が多い画像を選択したり、画像データ中央部の高周波成分が多い画像を選択することが容易に適用できることは言うまでもない。
【００２３】
また、本実施形態において、顔検出された箇所が１箇所として画像を選択している想定を行なっているが、これに限定されるものではなく、顔検出された箇所が複数ある場合も想定できる。例えば顔検出された箇所が複数ある場合は、顔検出を行なって設定された顔領域のサイズが最大である領域を顔領域として選択したり、複数の顔検出された領域毎でＤＣＴ（離散コサイン変換）やフーリエ変換、ウェーブレット変換などの信号変換処理で高周波成分を求め、高周波成分が多い領域を顔領域と選択することが容易に適用できることは言うまでもない。
【００２４】
また、本実施形態において、顔検出された箇所が１つの画像の中で選択している想定を行なっているが、これに限定されるものではなく、顔検出された箇所が複数枚の画像にわたり顔領域が検出される場合も想定できる。例えば顔検出された箇所が複数の画像にある場合は、顔検出を行なって設定された顔領域のサイズが最大である画像の領域を顔領域として選択したり、複数の顔検出された領域毎でＤＣＴ（離散コサイン変換）やフーリエ変換、ウェーブレット変換などの信号変換処理で高周波成分を求め、高周波成分が多い画像の領域を顔領域と選択することが容易に適用できることは言うまでもない。
【００２５】
次に、入力画像と顔検出部２０１で検出した顔領域は処理範囲設定部２０２に入力される。処理範囲設定部２０２は、顔検出部２０１で検出した顔領域周辺に対して顔領域を含む楕円矩形を顔適用領域として設定する。顔適用領域以外の背景領域は顔適用範囲外として設定する。図７は顔検出部２０１で検出された顔領域の位置情報を点線７００で示し、処理範囲設定部２０２で設定した顔適用領域の位置情報を点線７０１で示している。設定された顔適用範囲の位置情報は、後段の画像合成部２０３に入力され利用される。
【００２６】
また、本実施形態において、顔検出部２０１で検出した顔領域周辺に対して顔領域を含む楕円矩形を顔適用領域として設定しているが、これに限定されるものではなく、例えば、顔適用領域の矩形を円や長方形や正方形に設定することが容易に適用できることは言うまでもない。また、顔領域検出部２０１で検出した顔領域周辺に対して肌領域を求め、肌領域を用いて顔適用領域を設定することが容易に適用できることは言うまでもない。
【００２７】
次に、入力画像と処理範囲設定部２０２で設定された顔適用領域と顔適用範囲外の位置情報は画像合成部２０３に入力される。画像合成部２０３は、処理範囲設定部２０２で設定された顔適用領域と顔適用領域外の位置情報を利用し、顔適用領域と顔適用領域外で設定する画像を選択し合成を行なう。顔適用領域として合成させる画像は、複数の入力画像の各顔適用領域においてＤＣＴ（離散コサイン変換）を用いて高周波成分を求め、高周波成分が多い画像を選択する。顔適用領域外として合成させる画像は、複数の入力画像の各顔適用領域外においてＤＣＴ（離散コサイン変換）を用いて高周波成分を求め、高周波成分が少ない画像を選択する。合成させるため選択された顔適用領域の画像データと顔適用領域外の画像データを画像合成する。画像合成部２０３における詳細な処理の説明は後述する。
【００２８】
また、本実施形態において、高周波成分を求める際にＤＣＴ（離散コサイン変換）を使用しているが、これに限定されるものではなく、例えば、フーリエ変換やウェーブレット変換などの信号変換を使用し高周波成分を求めることを容易に適用できることは言うまでもない。
【００２９】
上記処理が施された画像データは、表示装置１０４に表示されたり、圧縮処理が施されて２次記憶装置１０５に保存されたり、インターフェース１０８を介して接続されたプリンタ１０９から出力されたりすることになる。以上が、本実施形態における処理の概要である。これより以下では、各部毎に、処理の詳細を説明してゆく。
【００３０】
（顔検出部２０１）
上述したように、本実施形態においては、まず顔検出部２０１において、入力画像中から人物の顔および目や口などの器官位置情報を検出する。顔のおよび器官位置の検出に関しては、従来より様々な方法が提案されている。
【００３１】
例えば本出願人による特開２００２−１８３７３１号公報によれば、まず、入力画像から目領域を検出し、目領域周辺を顔候補領域とする。そして、この顔候補領域に対して、画素毎の輝度勾配および輝度勾配の重みを算出し、これらを、あらかじめ設定されている理想的な顔基準画像の勾配および勾配の重みと比較する。このとき、各勾配間の平均角度が所定の閾値以下であった場合、入力画像は顔領域を有すると判定する方法が記載されている。
【００３２】
また、特開２００３−３０６６７号公報によれば、まず画像中から肌色領域を検出し、検出された領域内において人間の虹彩色画素を検出することにより、目の位置を検出することが可能であるとしている。
【００３３】
さらに、特開平８−６３５９７号公報によれば、複数の顔の形状をしたテンプレートと画像とのマッチング度を計算し、マッチング度が最も高いテンプレートを選択する。そして、最も高かったマッチング度をあらかじめ定められた閾値以上であれば、選択されたテンプレート内の領域を顔候補領域とする。また、このテンプレートを用いることで、目の位置を検出することが可能であるとしている。
【００３４】
さらに、特開２０００−１０５８２９号公報によれば、まず、鼻画像パターンをテンプレートとし、画像全体、あるいは画像中の指定された領域を走査し最もマッチする位置を鼻の位置として出力する。次に、画像の鼻の位置よりも上の領域を目が存在する領域として、目画像パターンをテンプレートとして目存在領域を走査してマッチングをとる。このマッチングにおいてある閾値よりもマッチ度が大きい画像の集合である目存在候補位置集合を求める。さらに、目存在候補位置集合に含まれる連続した領域をクラスタとして分割し、各クラスタと鼻位置との距離を算出する。そして、その距離が最も短くなるクラスタを目が存在するクラスタに決定することで、器官位置の検出が可能であるとしている。
【００３５】
その他、顔および器官位置を検出する方法としては数多くの手法が提案されており、本実施形態においてはそれらのうちどのような手法を用いても良い。また、顔および器官位置の検出法については、上記記載に限定されることはなく、その他のどのような手法を用いても構わない。なお、顔および器官位置の検出に関しては、様々な文献および特許で開示されているため、ここで詳細な説明は省略する。
【００３６】
（処理範囲設定部２０２）
上述したように、本実施形態においては、まず処理範囲設定部２０２において、顔検出部２０１で検出した顔領域周辺に対して顔領域を含む楕円矩形を顔適用領域として設定する。楕円矩形を顔適用領域として設定したが顔適用領域の設定方法に関しては、様々な方法が考えられる。
【００３７】
例えば、処理範囲設定部２０２で検出した顔領域周辺に対して、画像合成処理の対象となる楕円矩形を顔適用領域として設定することを想定する。本実施形態において、図６の矩形領域６００は、図３の入力画像に対して顔検出部２０１にて顔検出を行い１箇所の顔領域を検出した結果を想定している。なお顔領域を示す矩形領域は、少なくとも顔領域の中で、目、口、鼻を含む領域であると定義する。処理範囲設定部２０２では、図７に示すように矩形領域の点線７００を顔領域とし、該矩形領域に外接する楕円矩形の点線７０１を顔適用領域として設定する。この楕円の短軸、および長軸の長さを、図８に示すように、ｒａ、ｒｂとする。また、該短軸と長軸の比は、処理対象となる楕円領域が人物の顔領域に設定されていることを考慮し、ｒａ：ｒｂ＝２：３、もしくは、ｒａ：ｒｂ＝３：４程度として顔適用領域としている。
【００３８】
また、本実施形態において、処理対象となる楕円領域が人物の顔領域に設定されていることを考慮し、ｒａ：ｒｂ＝２：３、もしくは、ｒａ：ｒｂ＝３：４程度として適用範囲としているが、これに限定されるものではなく、例えば、図９に示すように、顔領域を示す矩形領域の点線９００を想定し、器官検出によって目と判断された右目（黒丸９０２）と左目（黒丸９０３）の距離（Ｌ）を使用し、その２倍の距離（２×Ｌ）を矩形の１辺として、顔検出部２０１で検出した顔領域を示す矩形領域の点線９００が中心にくるように顔適用領域の矩形領域９０１を設定することが容易に適用できることは言うまでもない。
【００３９】
（画像合成部２０３）
上述したように、本実施形態においては、入力画像と処理範囲設定部２０２で設定された顔適用領域と顔適用領域外の位置情報は画像合成部２０３に入力される。画像合成部２０３は、処理範囲設定部２０２で設定された顔適用領域と顔適用領域外の位置情報を利用し、顔適用領域と顔適用領域外の合成させる画像を選択し合成する。
【００４０】
本実施形態において、入力画像は、図３、図４、図５に示す画像を想定して説明する。図３は中央の人（３００）にフォーカス条件を合わせて撮像された画像を想定する。図４は、左の木（４００）にフォーカス条件を合わせて撮像された画像を想定する。図５は、右の車（５００）にフォーカス条件を合わせて撮像された画像を想定する。
【００４１】
顔適用領域として合成させる画像は、複数の入力画像の各顔適用領域においてＤＣＴ（離散コサイン変換）を用いて高周波成分を求め、高周波成分が多い画像を選択する。顔適用領域外として合成させる画像は、複数の入力画像の各顔適用領域においてＤＣＴ（離散コサイン変換）を用いて高周波成分を求め、高周波成分が少ない画像を選択する。合成させるため選択された顔適用領域の画像データと顔適用領域外の画像データを画像合成する。
【００４２】
本実施形態において、高周波成分を求める方法は下記式（１）を使用し説明する。図１０は８×８の２次元ＤＣＴの基底を示したもので、右に行く程水平周波数が高い状態を示し、下に行くほど垂直周波数が高い状態を示している。本実施形態において、高周波成分は、ｉ＞＝４、ｊ＞＝４とした範囲と想定し、高周波成分の範囲内で下記式（１）を使用し、フォーカス条件を変えて撮像した複数の入力画像の処理範囲設定部２０２で設定された顔適用領域及び顔適用領域外の電力値の二乗和（Ｐ）を求める。
【００４３】
Ｐ＝Σ（ＤＣＴ（ｉ、ｊ））２              …（１）
処理範囲設定部２０２で設定された顔適用領域の画像には、フォーカス条件を変えて撮像した複数の入力画像で、電力値の二乗和（Ｐ）が最大である画像を高周波成分が多い画像として選択する。また、処理範囲設定部２０２で設定された顔適用領域外の画像には、フォーカス条件を変えて撮像した複数の入力画像で、電力値の二乗和（Ｐ）が最小である画像を高周波成分が少ない画像として選択する。そして、顔適用領域に設定された画像データと顔適用領域外に設定された画像データを画像合成する。
【００４４】
以上説明したように、第１実施形態によれば、入力画像中から顔領域を自動で検出し、顔領域から顔適用領域と顔適用領域外で合成させる画像を切り替えて画像合成を行なう。特に重要な人物の顔をより高周波成分の多い画像を選択することにより、人物の顔部分ではボケの少ない画像を生成することが可能となる。また、人物の顔以外では高周波成分の少ない画像を選択することにより、人物以外はボケた画像を生成することが可能となる。従ってフォーカスブラケットした画像から図１１に示すような被写界深度の浅い、顔領域に特化したポートレート向きの画像を自動的に生成することが可能となる。
【００４５】
以上が、第１の実施例の説明である。
【００４６】
＜第２実施形態＞
以下、本発明にかかる第２実施形態の画像処理装置を説明する。第１実施形態によれば、入力画像中から顔領域を自動で検出し、顔領域から顔適用領域と顔適用領域外で合成させる画像を切り替えて画像合成を行なう。特に重要な人物の顔をより高周波成分の多い画像を選択することにより、人物の顔部分ではボケの少ない画像を生成することが可能となる。また、人物の顔以外では高周波成分の少ない画像を選択することにより、人物以外はボケた画像を生成することが可能となる。従ってフォーカスブラケットした画像から図１１に示すような被写界深度の浅い、顔領域に特化したポートレート向きの画像を生成することが可能となる。しかし、用途としては、ポートレート向きの画像だけとは限らない。
【００４７】
なお、第２実施形態において、第１実施例と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００４８】
（ハードウェア構成）
第1実施形態で示した構成と同様。
【００４９】
（処理の概要）
第１実施形態で示したブロック図で構成されている。露出の異なる設定で撮像された複数の入力画像が端子２００から入力され、顔領域検出部２０１に入力され、処理範囲設定部２０２に入力され、画像合成部２０３に入力されるまでは、第1実施例の処理概要と同様で、構成の詳細説明を省略する。
【００５０】
本実施形態において、画像合成部２０３は、第1実施形態と同様に入力画像と処理範囲設定部２０２で設定された顔適用領域と顔適用領域外の位置情報は画像合成部２０３に入力される。画像合成部２０３は、処理範囲設定部２０２で設定された顔適用領域と顔適用領域外の位置情報利用し、顔適用領域と顔適用領域外の合成させる画像を選択し合成する。顔適用領域として合成させる画像は、複数の入力画像の各顔適用領域においてＤＣＴ（離散コサイン変換）を用いて高周波成分を求め、高周波成分が多い画像を選択する。しかも、顔適用領域外として合成させる画像は、複数の入力画像の各顔適用領域においてＤＣＴ（離散コサイン変換）を用いて高周波成分を求め、高周波成分が多い画像を選択する。合成させるため選択された顔適用領域の画像データと顔適用領域外の画像データを画像合成する。
【００５１】
また、本実施形態において、高周波成分を求める方法については、第１実施形態と同様とする。
【００５２】
上記処理が施された画像データは、表示装置１０４に表示されたり、圧縮処理が施されて２次記憶装置１０５に保存されたり、インターフェース１０８を介して接続されたプリンタ１０９から出力されたりすることになる。以上が、本実施形態における処理の概要である。
【００５３】
以上説明したように、第２実施形態によれば、入力画像中から顔領域を自動で検出し、顔領域から顔適用領域と顔適用領域外で合成させる画像を切り替えて画像合成を行なう。特に重要な人物の顔をより高周波成分の多い画像を選択することにより、人物の顔部分ではボケの少ない画像を生成することが可能となる。また、人物の顔以外でも高周波成分の多い画像を選択することにより、人物以外でもボケの少ない画像を生成することが可能となる。従ってフォーカスブラケットした画像から図１２に示すような被写界深度の深い顔領域に特化したスナップショット向きの画像を生成することが可能となる。
【００５４】
以上が、第２の実施例の説明である。
【００５５】
＜第３実施形態＞
以下、本発明にかかる第３実施形態の画像処理装置を説明する。第１実施形態によれば、入力画像中から顔領域を自動で検出し、顔領域から顔適用領域と顔適用領域外で合成させる画像を切り替えて画像合成を行なう。特に重要な人物の顔をより高周波成分の多い画像を選択することにより、人物の顔部分ではボケの少ない画像を生成することが可能となる。また、人物の顔以外では高周波成分の少ない画像を選択することにより、人物以外はボケた画像を生成することが可能となる。従ってフォーカスブラケットした画像から図１１に示すような被写界深度の浅い、顔領域に特化したポートレート向きの画像を生成することが可能となる。しかし、第１実施形態の処理範囲設定部２０２で設定された顔適用領域及び顔適用領域外については領域毎に異なる画像を選択していて境界線部分に関して目視しやすくなってしまう場合がある。本実施例では、第１実施形態より処理範囲設定部２０２で設定された顔適用領域と顔適用領域外の境目が滑らかに合成され、より美しい画像を生成する方法である。
【００５６】
なお、第３実施形態において、第１実施例と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００５７】
（ハードウェア構成）
第１実施形態で示した構成と同様。
【００５８】
（処理の概要）
第１実施形態で示したブロック図で構成されている。露出の異なる設定で撮像された複数の入力画像が端子２００から入力され、顔領域検出部２０１に入力され、処理範囲設定部２０２に入力され、画像合成部２０３に入力されるまでは、第1実施例の処理概要と同様で、構成の詳細説明を省略する。
【００５９】
本実施形態において、画像合成部２０３は、処理範囲設定部２０２で検出した顔適用領域に関しては下記式（２）を使用して画像合成を行なう。
【００６０】
Img(x,y) = W１×Img1＋W２×Img２          …（２）
Ｉｍｇ（ｘ、ｙ）は、画像合成した結果の画素値を想定する。Ｉｍｇ１は処理範囲設定部２０２で設定した顔適用領域に使用する画像を想定する。Ｉｍｇ２は処理範囲設定部２０２で設定した顔適用領域外に使用する画像を想定する。Ｗ１、Ｗ２は図１４の処理範囲設定部２０２で検出した顔適用領域に対する重み係数を想定する。
【００６１】
また、Ｗ１、Ｗ２の関係式を下記に示す。
【００６２】
Ｗ１＋Ｗ２＝１．００
図１３は図１４の点線１４００部分を示す処理範囲設定部２０２で検出した顔適用領域付近を示した位置に、Ｘ軸方向に処理範囲設定部２０２で検出した顔適用領域の中心からの距離（Ｄ）に対する重み係数を示したグラフである。
【００６３】
図１３において、重み係数（Ｗ）と処理範囲設定部２０２で検出した顔適用領域との関係を示したグラフは、処理範囲設定部２０２で検出した顔適用領域の中心付近は重み係数が高く、中心付近より遠ざかるほど重み係数が低くなるＷ１と、処理範囲設定部２０２で検出した顔適用領域の中心付近は重み係数が低く、中心付近より遠ざかるほど重み係数が高くなるＷ２を想定する。
【００６４】
上記式と同図によれば、処理範囲設定部２０２で検出した顔適用領域の中心に近い画素については高周波成分の多い画像の重みが大きく、処理範囲設定部２０２で検出した顔適用領域の中心より遠い画素については、高周波成分の少ない画像の重みを大きくして画像合成を行なう。
【００６５】
上記処理が施された画像データは、端子２０５から出力され、表示装置１０４に表示されたり、圧縮処理が施されて２次記憶装置１０５に保存されたり、インターフェース１０８を介して接続されたプリンタ１０９から出力されたりすることになる。以上が、本実施形態における処理の概要である。
【００６６】
以上説明したように、第３実施形態によれば、入力画像中から顔領域を自動で検出し、顔領域から顔適用領域と顔適用領域外で合成させる画像を切り替えて画像合成を行なう。特に重要な人物の顔をより高周波成分の多い画像を選択することにより、人物の顔部分ではボケの少ない画像を生成することが可能となる。また、人物の顔以外では高周波成分の少ない画像を選択することにより、人物以外はボケた画像を生成することが可能となる。また、更に顔適用領域と顔適用領域外の境目が滑らかに合成され、より美しい画像を生成することができる。
【００６７】
以上が、第３の実施例の説明である。
【００６８】
（その他の実施形態）
また、本発明は、複数の機器（例えばホストコンピュータ、インターフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用しても良い。
【００６９】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７０】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００７１】
【図１】本発明を実施するためのハードウェア構成を示す図
【図２】第１実施形態、第２実施形態、第３実施形態における処理のブロック図
【図３】入力画像の例 （中央にピント）
【図４】入力画像の例 （左側にピント）
【図５】入力画像の例 （右側にピント）
【図６】入力画像に対して顔検出した顔領域を示す図
【図７】入力画像に対して顔検出した顔適用領域を示す図
【図８】顔領域から顔適用領域を設定するための図
【図９】顔領域から顔適用領域を設定するための図
【図１０】２次元ＤＣＴの基底を示す図
【図１１】第１実施形態の結果を示す図
【図１２】第２実施形態の結果を示す図
【図１３】顔適用領域からの距離に対する画像合成する際の重み係数を示すグラフ
【図１４】画像合成する際の合成比率を説明するための図
【図１】
2009064157.tif 000003
【図２】
2009064157.tif 000004
【図３】
2009064157.tif 000005
【図４】
2009064157.tif 000006
【図５】
2009064157.tif 000007
【図６】
2009064157.tif 000008
【図７】
2009064157.tif 000009
【図８】
2009064157.tif 000010
【図９】
2009064157.tif 000011
【図１０】
2009064157.tif 000012
【図１１】
2009064157.tif 000013
【図１２】
2009064157.tif 000014
【図１３】
2009064157.tif 000015
【図１４】
2009064157.tif 000016