(57)【要約】【課題】撮像された画像から背景部分を除いた人物を示す領域を容易に抽出できる画像処理装置を提供すること。【解決手段】デジタルカメラ１は、被写体を含む第１画像および第２画像を取得する撮影部２と、当該取得した第１画像および第２画像の中から、被写体の顔部分を検出する顔検出部１３と、第１画像の顔部分と第２画像の顔部分との相対変位を測定し、相対変位に基づき、第１画像を構成する画素と第２画像を構成する画素とを対応付け、対応付けられた画素同士を比較し、当該画素の画素値の差分が閾値以上である場合には、当該画素を背景部分とし、当該画素の画素値の差分が閾値未満である場合には、当該画素を非背景部分とするＣＰＵ１１と、を備える。【選択図】図２
2010028414.tif 000002
【特許請求の範囲】
【請求項１】
被写体を含む第１画像および第２画像を取得する取得手段と、
当該取得した第１画像および第２画像の中から、前記被写体の顔部分を検出する検出手段と、
前記第１画像の顔部分と前記第２画像の顔部分との相対変位を測定する変位測定手段と、
前記相対変位に基づき、前記第１画像を構成する画素と前記第２画像を構成する画素とを対応付ける対応付け手段と、
前記対応付けられた画素同士を比較し、当該画素の画素値の差分が第１の所定値以上である場合には、当該画素を背景部分とし、当該画素の画素値の差分が第１の所定値未満である場合には、当該画素を非背景部分とする判別手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記第１画像または前記第２画像のうち少なくとも一方について、前記判別手段により背景部分であると判別された画素の画素値を第２の所定値に設定する設定手段をさらに備えることを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
前記検出された顔部分の中心を決定し、当該顔部分の中心からの距離が第３の所定値以上である画素を、背景部分とし、当該顔部分の中心からの距離が第４の所定値以下である画素を、非背景部分とする第２判別手段をさらに備え、
当該第２判別手段の判別対象を除いた領域について、前記判別手段を実行することを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記第２判別手段は、前記顔部分の向きに基づいて、前記被写体の首の方向を推定し、当該推定した部分については判別対象から除外することを特徴とする画像処理装置。
【請求項５】
請求項１から４のいずれかに記載の画像処理装置において、
前記第１画像の顔部分の特徴量と前記第２画像の顔部分の特徴量とが大きく異なる場合に、警告を出力する警告手段をさらに備えることを特徴とする画像処理装置。
【請求項６】
請求項５に記載の画像処理装置において、
前記警告手段は、前記第１画像の顔部分の特徴量と前記第２画像の顔部分の特徴量とが大きく異なる場合に、前記第２画像の顔部分の特徴量に基づいて、前記第２画像の顔部分の特徴量を前記第１画像の顔部分の特徴量に近似させるための前記第２画像の顔部分の位置、大きさ、および向きのうち少なくとも１つを報知することを特徴とする画像処理装置。
【請求項７】
請求項１から６のいずれかに記載の画像処理装置において、
前記取得手段は、前記第１画像の顔部分の特徴量と前記第２画像の顔部分の特徴量とが近似しない場合、新たに画像を取得し、当該新たな画像を前記第２画像とすることを特徴とする画像処理装置。
【請求項８】
請求項１から７のいずれかに記載の画像処理装置において、
前記取得手段は、３枚以上の画像を取得し、
前記取得した画像の中から２つを抽出して、前記第１画像および前記第２画像の組合せを複数生成し、当該複数の組合せのそれぞれについて、前記顔部分の相関性が最も高い組合せを、前記第１画像および前記第２画像として決定する決定手段をさらに備えることを特徴とする画像処理装置。
【請求項９】
請求項１から８のいずれかに記載の画像処理装置において、
前記被写体の顔部分に対する合焦度を測定する測定手段をさらに備え、
前記検出手段は、前記測定手段により測定された合焦度を、前記特徴量として検出することを特徴とする画像処理装置。
【請求項１０】
請求項１から９のいずれかに記載の画像処理装置において、
前記検出した顔部分の特徴量に基づいて、前記取得した第１画像および第２画像の非背景部分を推定する推定手段をさらに備え、
前記位置合わせ手段は、前記顔部分を位置合わせすると共に、前記推定手段の推定結果に基づいて、前記第１画像の顔部分以外の非背景部分と、前記第２画像の顔部分以外の非背景部分と、を位置合わせして、当該２つの位置合わせ結果に基づいて、前記第１画像を構成する画素と前記第２画像を構成する画素とを対応付けることを特徴とする画像処理装置。
【請求項１１】
請求項１から１０のいずれかに記載の画像処理装置において、
ユーザにより前記第１画像の非背景部分または前記第２画像の非背景部分が選択されると、当該選択された画像の非背景部分を記憶する記憶手段をさらに備えることを特徴とする画像処理装置。
【請求項１２】
コンピュータを、
被写体を含む第１画像および第２画像を取得する取得手段、
当該取得した第１画像および第２画像の中から、前記被写体の顔部分を検出する検出手段、
前記第１画像の顔部分と前記第２画像の顔部分との相対変位を測定する変位測定手段、
前記相対変位に基づき、前記第１画像を構成する画素と前記第２画像を構成する画素とを対応付ける対応付け手段、
前記対応付けられた画素同士を比較し、当該画素の画素値の差分が第１の所定値以上である場合には、当該画素を背景部分とし、当該画素の画素値の差分が第１の所定値未満である場合には、当該画素を非背景部分とする判別手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔検出機能を有する画像処理装置、およびこの画像処理装置に用いられるプログラムに関する。
【背景技術】
【０００２】
従来、ＣＣＤやＣＭＯＳ型の固体撮像素子を用いて被写体を撮像するデジタルカメラやデジタルビデオカメラ等の撮像装置が知られている。
【０００３】
この撮像装置を用いて撮像された人物画像は、証明写真として利用される場合も多い。この場合には、人物の背景は無地であることが望ましいので、撮像する際に、背景が無地となる撮像場所を選ぶ必要があった。そこで、撮像場所となり得る条件を緩和するために、撮像された画像から背景部分を除いた人物を示す領域を抽出できる画像処理技術が望まれる。
【０００４】
ところで、撮像装置には、人物の顔を検出する機能を有するものが登場している。このような撮像装置は、例えば目や鼻や口等の部分を検出し、顔のおおよその位置や大きさを判別できる。しかしながら、人物の顔以外の部分や輪郭を判別することは難しいため、人物を示す領域を抽出する手段としては適さなかった。
【０００５】
このような状況にあって、例えば、特許文献１には、画像データ内の画素を明るさに基づいて数段階に量子化することにより、人物を示す領域を分離して抽出する方法が示されている。
【特許文献１】特開２００５−２２３５２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の方法は、人物を示す画素と背景を示す画素との間に明確な明るさの差異が必要であるため、明るさの差異がわずかな場合や、複雑な背景の場合等には、抽出精度が不安定となってしまう。したがって、撮像場所によっては、撮像された画像から背景部分を除いた人物を示す領域を抽出することが難しかった。
【０００７】
そこで本発明は、撮像された画像から背景部分を除いた人物を示す領域を容易に抽出できる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
請求項１に記載の発明に係る画像処理装置は、被写体を含む第１画像および第２画像を取得する取得手段と、当該取得した第１画像および第２画像の中から、前記被写体の顔部分を検出する検出手段と、前記第１画像の顔部分と前記第２画像の顔部分との相対変位を測定する変位測定手段と、前記相対変位に基づき、前記第１画像を構成する画素と前記第２画像を構成する画素とを対応付ける対応付け手段と、前記対応付けられた画素同士を比較し、当該画素の画素値の差分が第１の所定値以上である場合には、当該画素を背景部分とし、当該画素の画素値の差分が第１の所定値未満である場合には、当該画素を非背景部分とする判別手段と、を備えることを特徴とする。
【０００９】
請求項２に記載の発明に係る画像処理装置は、前記第１画像または前記第２画像のうち少なくとも一方について、前記判別手段により背景部分であると判別された画素の画素値を第２の所定値に設定する設定手段をさらに備えることを特徴とする。
【００１０】
請求項３に記載の発明に係る画像処理装置は、前記検出された顔部分の中心を決定し、当該顔部分の中心からの距離が第３の所定値以上である画素を、背景部分とし、当該顔部分の中心からの距離が第４の所定値以下である画素を、非背景部分とする第２判別手段をさらに備え、当該第２判別手段の判別対象を除いた領域について、前記判別手段を実行することを特徴とする。
【００１１】
請求項４に記載の発明に係る画像処理装置は、前記第２判別手段は、前記顔部分の向きに基づいて、前記被写体の首の方向を推定し、当該推定した部分については判別対象から除外することを特徴とする。
【００１２】
請求項５に記載の発明に係る画像処理装置は、前記第１画像の顔部分の特徴量と前記第２画像の顔部分の特徴量とが大きく異なる場合に、警告を出力する警告手段をさらに備えることを特徴とする。
【００１３】
請求項６に記載の発明に係る画像処理装置は、前記警告手段は、前記第１画像の顔部分の特徴量と前記第２画像の顔部分の特徴量とが大きく異なる場合に、前記第２画像の顔部分の特徴量に基づいて、前記第２画像の顔部分の特徴量を前記第１画像の顔部分の特徴量に近似させるための前記第２画像の顔部分の位置、大きさ、および向きのうち少なくとも１つを報知することを特徴とする。
【００１４】
請求項７に記載の発明に係る画像処理装置は、前記取得手段は、前記第１画像の顔部分の特徴量と前記第２画像の顔部分の特徴量とが近似しない場合、新たに画像を取得し、当該新たな画像を前記第２画像とすることを特徴とする。
【００１５】
請求項８に記載の発明に係る画像処理装置は、前記取得手段は、３枚以上の画像を取得し、前記取得した画像の中から２つを抽出して、前記第１画像および前記第２画像の組合せを複数生成し、当該複数の組合せのそれぞれについて、前記顔部分の相関性が最も高い組合せを、前記第１画像および前記第２画像として決定する決定手段をさらに備えることを特徴とする。
【００１６】
請求項９に記載の発明に係る画像処理装置は、前記被写体の顔部分に対する合焦度を測定する測定手段をさらに備え、前記検出手段は、前記測定手段により測定された合焦度を、前記特徴量として検出することを特徴とする。
【００１７】
請求項１０に記載の発明に係る画像処理装置は、前記検出した顔部分の特徴量に基づいて、前記取得した第１画像および第２画像の非背景部分を推定する推定手段をさらに備え、前記位置合わせ手段は、前記顔部分を位置合わせすると共に、前記推定手段の推定結果に基づいて、前記第１画像の顔部分以外の非背景部分と、前記第２画像の顔部分以外の非背景部分と、を位置合わせして、当該２つの位置合わせ結果に基づいて、前記第１画像を構成する画素と前記第２画像を構成する画素とを対応付けることを特徴とする。
【００１８】
請求項１１に記載の発明に係る画像処理装置は、ユーザにより前記第１画像の非背景部分または前記第２画像の非背景部分が選択されると、当該選択された画像の非背景部分を記憶する記憶手段をさらに備えることを特徴とする。
【００１９】
請求項１２に記載の発明に係るプログラムは、コンピュータを、被写体を含む第１画像および第２画像を取得する取得手段、当該取得した第１画像および第２画像の中から、前記被写体の顔部分を検出する検出手段、前記第１画像の顔部分と前記第２画像の顔部分との相対変位を測定する変位測定手段、前記相対変位に基づき、前記第１画像を構成する画素と前記第２画像を構成する画素とを対応付ける対応付け手段、前記対応付けられた画素同士を比較し、当該画素の画素値の差分が第１の所定値以上である場合には、当該画素を背景部分とし、当該画素の画素値の差分が第１の所定値未満である場合には、当該画素を非背景部分とする判別手段、として機能させる。
【発明の効果】
【００２０】
本発明によれば、撮像された画像から背景部分を除いた人物を示す領域を容易に抽出することができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施形態を図面に基づいて説明する。なお、以下の実施形態の説明にあたって、同一構成要件については同一符号を付し、その説明を省略もしくは簡略化する。
【００２２】
［第１実施形態］
図１は、本実施形態に係る画像処理装置としてのデジタルカメラ１の概略構成を示すブロック図である。このデジタルカメラ１は、画像データ内で人物の顔部分を検出する機能を備えたものであり、主として以下の各部を備える。
【００２３】
すなわち、デジタルカメラ１は、撮影部２、ＣＰＵ１１、キー入力部１２、顔検出部１３、フラッシュメモリ１４、表示部１５、外部メモリ１６、解像度変換部１７、ＪＰＥＧ変換部１８、およびＳＤＲＡＭ１９を備える。
【００２４】
ここで、撮影部２は、レンズを通した被写体を含む光学像をデジタル信号に変換し、ＳＤＲＡＭ１９に画像データ（第１画像、第２画像）として記憶する本発明の取得手段である。この撮影部２は、タイミングジェネレータ（ＴＧ）２１、ＣＣＤ駆動部２２、ＣＣＤ２３、およびＡ／Ｄ変換部２４を備える。
【００２５】
ＣＰＵ１１は、デジタルカメラ１の上記各部の制御、フラッシュメモリ１４、外部メモリ１６、ＳＤＲＡＭ１９等に記憶されたデータの操作、そして、本実施形態に係る画像データ内の背景部分を所定の画像に置換する処理等を行う。
【００２６】
すなわち、ＣＰＵ１１は、第１画像の顔部分と第２画像の顔部分との相対変位を測定する本発明の変位測定手段、相対変位に基づき第１画像を構成する画素と第２画像を構成する画素とを対応付ける本発明の対応付け手段、対応付けられた画素同士を比較して背景部分と非背景部分とを判別する本発明の判別手段、画素値の比較によらずに背景部分と非背景部分とを判別する本発明の第２判別手段、背景部分と判別された画素の画素値を所定の値（第２の所定値）に設定し、新たな画像を生成する本発明の設定手段、第１画像の顔部分の特徴量と第２画像の顔部分の特徴量とが大きく異なる場合に警告を出力する本発明の警告手段、およびユーザにより選択された画像の非背景部分を記憶する本発明の記憶手段である（処理の詳細は後述する）。
【００２７】
また、ＣＰＵ１１は、被写体の顔部分に対する合焦度を測定する本発明の測定手段としても機能し、さらに、顔部分の特徴量に基づいて、非背景部分を推定する本発明の推定手段としても機能する。
【００２８】
キー入力部１２は、電源キーや、デジタルカメラ１の基本の動作モードである記録モードと再生モード、あるいは本実施形態に係る証明写真モードとの切り替えを行うモード切替キー、ＭＥＮＵキー、シャッタキー等の複数キーを含む。シャッタキーは、ユーザが撮影予告を行うための半押し位置と、実際の撮影動作を指示するための全押し位置との２段階の操作が可能なハーフシャッタ機能を有する。以上のキー入力部１２の各キーの操作状態は、ＣＰＵ１１により随時スキャンされる。
【００２９】
顔検出部１３は、外部メモリ１６またはＳＤＲＡＭ１９に記憶された画像データから、人物の顔部分を検出する本発明の検出手段である。具体的には、顔検出部１３は、顔部分の位置、大きさ、向きのうち少なくとも１つを顔パラメータ（特徴量）として検出する。
【００３０】
フラッシュメモリ１４は、記憶データの書き換えが可能な不揮発性メモリであり、ＣＰＵ１１で実行される各種のプログラムや、ＣＰＵ１１での処理に必要な各種データを記憶している。また、フラッシュメモリ１４は、ユーザにより設定されたデジタルカメラ１の各種の機能に関する設定情報も記憶する。
【００３１】
表示部１５は、液晶ディスプレイおよびこの液晶ディスプレイの駆動回路からなる。記録モードでは、ＳＤＲＡＭ１９に１フレーム分の画像データが格納される毎に、この画像データは、ビデオ信号に変換されて、表示部１５においてスルー画像として表示される。そして、記録モードで撮影が実行されると、ＳＤＲＡＭ１９に一時記憶された画像データがＪＰＥＧ変換部１８においてＪＰＥＧ方式により圧縮符号化された後、例えば各種のメモリカードにより構成される外部メモリ１６に静止画ファイルとして記録される。
【００３２】
再生モードでは、上記外部メモリ１６に記録された静止画ファイルは、ユーザの選択操作に応じて適宜読み出されて、ＪＰＥＧ変換部１８において復号されてＳＤＲＡＭ１９に画像データとして展開され、表示部１５において静止画像として表示される。
【００３３】
また、証明写真モードでは、撮影動作により２枚の画像データ（第１画像および第２画像）がＳＤＲＡＭ１９に格納され、ＣＰＵ１１により、この２枚の画像データのうち少なくとも一方について、背景部分の画素の画素値を所定値（第２の所定値）に設定した新たな合成画像データが生成される。そして、生成された新たな合成画像データがＪＰＥＧ変換部１８においてＪＰＥＧ方式により圧縮符号化された後、外部メモリ１６に静止画ファイルとして記録される。
【００３４】
ここで、表示部１５は、第１画像の顔部分の特徴量と第２画像の顔部分の特徴量とが大きく異なる場合に、ＣＰＵ１１からの指令に基づいて警告を出力する本発明の警告手段である。
【００３５】
解像度変換部１７は、ＳＤＲＡＭ１９に記憶された画像データの解像度を変換する。この解像度が変換された画像データがビデオ信号に変換されることにより、表示部１５において表示される画像が拡大または縮小される。
【００３６】
タイミングジェネレータ２１は、タイミング信号を生成し、ＣＣＤ駆動部２２は、このタイミング信号に基づいて、駆動信号を生成する。ＣＣＤ２３は、ＣＣＤ駆動部２２から出力されるタイミング信号に基づいて、被写体の光学像を光電変換し撮像信号として出力する。Ａ／Ｄ変換部２４は、ＣＣＤ２から出力された撮像信号をデジタル信号に変換し、画像データとしてＳＤＲＡＭ１９に記憶する。
【００３７】
以下、ＣＰＵ１１の制御により実行されるデジタルカメラ１の処理の詳細について説明する。
【００３８】
図２は、本実施形態に係る処理の概略を示す図である。まず、デジタルカメラ１により人物の顔を含めて第１画像（ａ）および第２画像（ｂ）を撮影する。このとき、人物の背景は互いに異なる場所とし、画像上の人物の大きさや向き等は変わらないものとする。
【００３９】
ＣＰＵ１１は、この２枚の画像の双方の画像データから、顔検出部１３により検出した顔部分の顔パラメータに基づいて、第１画像（ａ）の顔部分と第２画像（ｂ）の顔部分とを位置合わせする。このことにより、ＣＰＵ１１は、２枚の画像データ間の相対変位量を算出し、第１画像を構成する画素と第２画像を構成する画素とを相対変位量により対応付ける。
【００４０】
続いてＣＰＵ１１は、このように対応付けられた画素同士を比較し、この画素の画素値の差分が所定値（第１の所定値）以上である場合に、この画素を背景部分と判別し、この画素の画素値の差分が所定値（第１の所定値）未満である場合に、この画素を非背景部分（人物部分）と判別する。つまり、背景が互いに異なる２枚の画像データを用いれば、背景部分の対応する画素間で、その値は異なり、人物部分では同一あるいは類似するので、このように対応する画素の画素値を比較することにより、背景と非背景の領域を分離することができる。
【００４１】
そして、ＣＰＵ１１は、第１画像（ａ）または第２画像（ｂ）の少なくとも一方について、背景部分であると判別された画素の画素値を所定の値（第２の所定値）に設定し、新たな画像（ｃ）を生成する。これにより、画像（ｃ）の背景部分は所定の色に塗りつぶされる。
【００４２】
図３および図４は、本実施形態に係る処理の流れを示すフローチャートである。キー入力部１２に設けられているモード切替キーが操作されて証明写真モードが設定されると、ＣＰＵ１１は、図３および図４に示すフローチャートの処理を実行するためのプログラムをフラッシュメモリ１４から読み出す。ＣＰＵ１１は、このプログラムに従って、各種処理を実行する。
【００４３】
まず、図３に示す撮影処理では、ユーザの操作に基づいて、ＣＰＵ１１の制御により、第１画像Ｐ１および第２画像Ｐ２が記録される。
【００４４】
ステップＳ１０１では、ＣＰＵ１１は、ユーザがシャッタキーを押下したことに応じて、撮影部２を制御し、第１画像Ｐ１を取得してＳＤＲＡＭ１９に記録する。
【００４５】
ステップＳ１０２では、ＣＰＵ１１は、ステップＳ１０１にて記録した第１画像Ｐ１に対して、顔検出部１３により顔部分の検出を行い、位置、大きさ、向き等の顔パラメータを取得する。
【００４６】
ステップＳ１０３では、ＣＰＵ１１は、撮影部２から入れ替わり連続的して取得される第２画像の候補であるスルー画像に対して、ステップＳ１０２と同様に、顔検出部１３により顔部分の検出を行い、顔パラメータを取得する。
【００４７】
ステップＳ１０４では、ＣＰＵ１１は、ステップＳ１０３にて取得したスルー画像の顔パラメータと、ステップＳ１０２にて取得した第１画像の顔パラメータとが大きく異なり、所定の条件よりも乖離しているか否かを判別する。この判定がＹＥＳの場合はステップＳ１０５に移り、判定がＮＯの場合はステップＳ１０６に移る。
【００４８】
ステップＳ１０５では、第１画像と第２画像の候補とで顔の位置、大きさ、向き等のいずれかが大きく異なっているので、ＣＰＵ１１は、ユーザに調整を促すために、表示部１５により、例えば「１枚目の画像と顔部分が一致しません」といった警告を出力する。さらに、ＣＰＵ１１は、第２画像の顔パラメータを第１画像の顔パラメータに近似させるために、第２画像の顔パラメータの少なくとも１つの変更点を報知する。具体的には、ＣＰＵ１１は、ステップＳ１０４における所定の条件を満たすための顔パラメータの変更点として、例えば、「顔が近すぎます」や「左を向いてください」等の警告を出力する。
【００４９】
ユーザがこれらの警告表示に従って調整することにより、顔パラメータの乖離が改善される。なお、警告出力は、表示部１５による表示出力に替えて、あるいはこの表示出力と共に、スピーカ（図示せず）による音声出力や、所定の警告内容を示すＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）の発光出力等であってよい。
【００５０】
ステップＳ１０６では、ＣＰＵ１１は、ステップＳ１０３にて取得したスルー画像の顔パラメータが、ステップＳ１０２にて取得した第１画像の顔パラメータと所定以上の類似度で近似しているか否かを判定する。この判定がＹＥＳの場合は、第１画像とスルー画像との間で顔部分の位置合わせが可能なので、ステップＳ１０７に移る。一方、この判定がＮＯの場合は、第１画像とスルー画像との間で顔部分の位置合わせが難しく、背景部分を精度良く分離することができないため、ステップＳ１０３に戻って、第２画像の候補であるスルー画像を新たに取得する。
【００５１】
ステップＳ１０７では、ＣＰＵ１１は、ステップＳ１０３にて取得したスルー画像を、第２画像Ｐ２として決定し、ＳＤＲＡＭ１９に記録する。
【００５２】
次に、図４に示す画像合成処理は、図３の撮影処理に続いて実行され、ＣＰＵ１１の制御により、人物の背景部分を所定値に設定した新たな画像を生成する。以下、図５の説明図を適宜参照して説明する。
【００５３】
ステップＳ２０１では、ＣＰＵ１１は、第１画像Ｐ１から顔検出部１３により人物（非背景部分）Ｃにおける顔部分を検出し、検出された顔部分の位置に基づいて顔部分の中心ＰＦ（ｍ，ｎ）を取得する（図５参照）。
【００５４】
ステップＳ２０２では、ＣＰＵ１１は、第２画像Ｐ２から顔検出部１３により顔部分を検出する。
【００５５】
ステップＳ２０３では、ＣＰＵ１１は、ステップＳ２０１およびステップＳ２０２の顔検出により検出された顔パラメータについて位置合わせを行うことにより、第１画像Ｐ１に対する第２画像Ｐ２の相対変位量（ａ，ｂ）を算出する。
【００５６】
ステップＳ２０４では、ＣＰＵ１１は、ステップＳ２０１にて検出された顔部分の大きさに基づいて、この顔部分の外側を示す半径Ｌ１の円と、この顔部分に含まれる半径Ｌ２の円と、を設定する（図５参照）。
【００５７】
ステップＳ２０５では、ＣＰＵ１１は、第１画像Ｐ１における座標（ｘ，ｙ）の画素値であるＤ１と、第２画像Ｐ２における座標（ｘ＋ａ，ｙ＋ｂ）の画素値であるＤ２と、を取得する。ここで、座標（ｘ＋ａ，ｙ＋ｂ）は、座標（ｘ，ｙ）からステップＳ２０３にて算出された相対変位量（ａ，ｂ）だけ変位した座標であり、第１画像Ｐ１と第２画像Ｐ２の各画素同士は、この相対変位量（ａ，ｂ）により対応付けられる。
【００５８】
ステップＳ２０６では、ＣＰＵ１１は、Ｐ１（ｘ，ｙ）が半径Ｌ１の円外か否かを判定する。具体的には、条件［（ｘ−ｍ）２＋（ｙ−ｎ）２＜Ｌ１２］を満たす場合はＹＥＳの判定となり、ステップＳ２０７に移る。一方、この条件を満たさない場合にはＮＯの判定となり、ステップＳ２０８に移る。
【００５９】
ステップＳ２０７では、Ｐ１（ｘ，ｙ）が半径Ｌ１の円内にあるので、ＣＰＵ１１は、Ｐ１（ｘ，ｙ）が半径Ｌ２の円外か否かを判定する。具体的には、条件［（ｘ−ｍ）２＋（ｙ−ｎ）２＞Ｌ２２］を満たす場合はＹＥＳの判定となり、ステップＳ２０９に移る。一方、この条件を満たさない場合にはＮＯの判定となり、領域Ｂ（図５参照）内の非背景部分と判断できるので、ステップＳ２１０に移る。
【００６０】
ステップＳ２０８では、Ｐ１（ｘ，ｙ）が半径Ｌ１の円外にあるので、ＣＰＵ１１は、Ｐ１（ｘ，ｙ）が顔の中心位置ＰＦ（ｍ，ｎ）から見て首の方向であり、かつ、所定の角度θの範囲（図５参照）内であるか否かを判定する。ここで、首の方向としては、検出された顔部分の各構成要素の配置から首が存在するであろう方向を推定する。なお、この範囲は、人物の胴体部分が含まれると想定される範囲であり、例えば、顔部分の中心から見た首方向に対する見込み角が１８０度や１２０度等の範囲として、適宜設計されてよい。この判定がＹＥＳの場合は、Ｐ１（ｘ，ｙ）が首、肩、胴体等の非背景部分の可能性があるため、ステップＳ２０９に移る。一方、この判定がＮＯの場合は、Ｐ１（ｘ，ｙ）が領域Ａ（図５参照）内にあり背景部分であると判断できるので、ステップＳ２１１に移る。
【００６１】
ステップＳ２０９では、Ｐ１（ｘ，ｙ）が領域Ａ内でも領域Ｂ内でもなく、即座に背景部分か非背景部分かを判別できない座標であるため、ＣＰＵ１１は、画素値Ｄ１とＤ２とを比較し、差分が閾値Ｒ未満であるか否かを判定する。この判定がＹＥＳの場合はステップＳ２１０に移り、判定がＮＯの場合はステップＳ２１１に移る。
【００６２】
ステップＳ２１０では、ＣＰＵ１１は、Ｐ１（ｘ，ｙ）が非背景部分であると判別し、画素値Ｄ１およびＤ２を、それぞれ合成画像１および２の画素値として、ＳＤＲＡＭ１９に記録する。
【００６３】
ステップＳ２１１では、ＣＰＵ１１は、Ｐ１（ｘ，ｙ）が背景部分であると判別し、画素値Ｄ１およびＤ２を、背景用の画素値Ｄ３に置き換え、それぞれ合成画像１および２の画素値として、ＳＤＲＡＭ１９に記録する。
【００６４】
ステップＳ２１２では、ＣＰＵ１１は、全ての画素に対して背景部分であるか非背景部分であるかの判別がなされ、合成画像１および２の画素値が記録されたか否かを判定する。なお、相対変位量（ａ，ｂ）により対応付けられなかった画素については、背景部分であると判断し、背景用の画素値Ｄ３を合成画像１または２の画素値としてよい。この判定がＹＥＳの場合はステップＳ２１３に移り、判定がＮＯの場合はステップＳ２０５に戻って他の座標に関して処理を繰り返す。
【００６５】
ステップＳ２１３では、ＣＰＵ１１は、ＳＤＲＡＭ１９に記録された合成画像１および２を表示部１５に表示し、ユーザから、いずれの合成画像の非背景部分を使用するかの選択入力を受け付ける。
【００６６】
ステップＳ２１４では、ＣＰＵ１１は、ステップＳ２１３にてユーザにより選択された合成画像１または２を、ＪＰＥＧ変換部１８によりＪＰＥＧ符号化する。
【００６７】
ステップＳ２１５では、ＣＰＵ１１は、ステップＳ２１４にてＪＰＥＧ符号化された画像データを、外部メモリ１６に記録する。これにより、第１画像Ｐ１または第２画像Ｐ２における人物の背景部分を所定値に置き換えた新たな画像データが生成され記録される。
【００６８】
以上のように、本実施形態によれば、２枚の画像における顔部分の顔パラメータを利用して位置合わせを行うので、背景の図柄によらず、背景と非背景との分離が容易となる。さらに、顔検出では、顔のおおよその形状しか知ることができないが、位置合わせを行った後の２枚の画像における対応する画素値を比較することにより、例えば髪の毛や首や肩等の顔以外の非背景部分を分離することができる。
【００６９】
また、顔の中心位置と大きさから、領域Ａおよび領域Ｂを設定し、画素値の比較を行うことなく背景と非背景の判別を行ったので、合成画像の生成に掛かる処理時間が短縮される。
【００７０】
また、顔の向きから首の方向（胴体部分）を判定し、この方向の所定の領域を領域Ａ（人物が含まれない領域）から除外したので、顔以外の胴体部分が領域Ａ内となってしまうことによる背景部分の誤検出を抑制することができる。
【００７１】
また、２枚の画像間で顔パラメータが大きく異なる場合に警告を出力したので、位置合わせができずに背景と非背景との分離ができない状況を防止することができる。
【００７２】
また、合成画像を２枚生成し、ユーザによる選択を可能とした。証明写真のように長く保存される画像を生成する場合には、ユーザはできるだけ良い表情の画像を生成したいので、本実施形態により、ユーザは、２枚のいずれか気に入った方を選択することができる。
【００７３】
なお、本実施形態では、顔検出による顔パラメータの比較により警告出力、あるいは、第２画像の決定を行ったが、これには限られない。例えば、ＣＰＵ１１は、被写体である顔部分に対する合焦度や焦点距離を測定し、この合焦度や焦点距離が乖離する場合に警告出力を行い、近似する場合に第２画像として決定してもよい。
【００７４】
また、本実施形態では、顔パラメータが類似することにより自動的に第２画像を決定したが、これには限られない。例えば、顔パラメータによる位置合わせを行った後に、背景部分（例えば領域Ａ）の画素値の差分が所定以上となり、かつ、非背景部分（例えば領域Ｂ）の画素値の差分が所定以下となった場合に、第２画像として決定して（シャッタを切って）もよい。このことにより、背景部分の画素値が乖離し、非背景部分の画素値が近似する２枚の画像データが選択されるので、精度良く背景と非背景とを分離することができる。
【００７５】
また、本実施形態では、顔パラメータによる位置合わせを行ったが、これには限られない。例えば、顔以外の非背景部分（胴体部分）の位置合わせをさらに行ってもよい。具体的には、顔検出により検出した顔部分の顔パラメータに基づいて、所定の位置関係にある領域を非背景部分と推定し、この非背景部分と推定された領域に関してブロックマッチング等の、画素同士の比較による位置合わせを行う。このように複数の位置合わせ手法を併用することにより、ＣＰＵ１１は、精度良く位置合わせを行うことができる。
【００７６】
また、本実施形態では、新たな画像データとして、合成画像を２枚生成したが、これには限られない。３枚以上の画像を取得し、合成画像を３枚以上生成してもよい。このことにより、ユーザは多くの顔画像の候補から、好みの一枚を選択することができる。
【００７７】
また、本実施形態では、画素値の差分に基づいて背景か非背景かを判別したが、これには限られず、判別結果に対して補正を行ってもよい。具体的には、背景部分と判別された画素に囲まれて、非背景部分と判別された画素の領域が所定面積以内で存在する場合に、この所定面積以内の非背景部分と判別された画素を、背景部分として補正する。また、非背景部分と判別された画素に囲まれて、背景部分と判別された画素の領域が所定面積以内で存在する場合に、この所定面積以内の背景部分と判別された画素を、非背景部分として補正する。このことにより、背景と非背景とを誤って判別した画素を補正し、精度よく合成画像を生成できる可能性がある。
【００７８】
［第２実施形態］
次に、本発明の第２実施形態を図面に基づいて説明する。本実施形態では、デジタルカメラ１の動作が、第１実施形態と異なる。すなわち、第１実施形態では、ＳＤＲＡＭ１９に記録された２枚の画像データに基づいて、新たな合成画像データを生成した。一方、本実施形態では、第１画像および第２画像のそれぞれに対して複数枚の候補画像を記録する。
【００７９】
ここで、ＣＰＵ１１は、３枚以上取得した画像の中から２枚を抽出して、第１画像および第２画像の組合せを複数生成し、当該複数の組合せのそれぞれについて、顔部分の相関性が最も高い組合せを、第１画像および第２画像として決定する決定手段として機能する。
【００８０】
図６は、本実施形態に係る撮影処理の流れを示すフローチャートである。本処理は、第１実施形態の撮影処理（図３）に替えて実行され、画像合成処理（図４）へと続く。
【００８１】
ステップＳ３０１では、ＣＰＵ１１は、ユーザによりシャッタキーが押下されたか否かを判定する。ＣＰＵ１１は、この判定がＹＥＳになるまで待機し、判定がＹＥＳになると、第１画像を取得するためステップＳ３０２に移る。
【００８２】
ステップＳ３０２では、ＣＰＵ１１は、撮影部２を制御し、第１画像の候補となる候補画像を取得してＳＤＲＡＭ１９に記録する。
【００８３】
ステップＳ３０３では、ＣＰＵ１１は、ステップＳ３０２にて記録した候補画像に対して、顔検出部１３により顔部分の検出を行い、位置、大きさ、向き等の顔パラメータを取得する。
【００８４】
ステップＳ３０４では、ＣＰＵ１１は、第１画像の候補として、所定の枚数を記録したか否かを判定する。この判定がＹＥＳの場合は、第１画像に対する候補画像の取得を終了してステップＳ３０５に移る。一方、この判定がＮＯの場合は、ステップＳ３０２に戻って次の候補画像を記録する。
【００８５】
ステップＳ３０５では、ＣＰＵ１１は、ユーザによりシャッタキーが押下されたか否かを判定する。ＣＰＵ１１は、この判定がＹＥＳになるまで待機し、判定がＹＥＳになると、第２画像を取得するためステップＳ３０６に移る。なお、ＣＰＵ１１は、ユーザに対して、２度目のシャッタキーの押下を促すため、表示部１５やＬＥＤ等の表示手段により表示出力を行ったり、スピーカにより音声出力を行ったりすることが好ましい。
【００８６】
ステップＳ３０６では、ＣＰＵ１１は、撮影部２を制御し、第２画像の候補となる候補画像を取得してＳＤＲＡＭ１９に記録する。
【００８７】
ステップＳ３０７では、ＣＰＵ１１は、ステップＳ３０６にて記録した候補画像に対して、顔検出部１３により顔部分の検出を行い、位置、大きさ、向き等の顔パラメータを取得する。
【００８８】
ステップＳ３０８では、ＣＰＵ１１は、第２画像の候補として、所定の枚数を記録したか否かを判定する。この判定がＹＥＳの場合は、第２画像に対する候補画像の取得を終了してステップＳ３０９に移る。一方、この判定がＮＯの場合は、ステップＳ３０６に戻って次の候補画像を記録する。
【００８９】
ステップＳ３０９では、ＣＰＵ１１は、第１画像の候補画像群から１枚、第２画像の候補画像群から１枚を選択する。このとき、ＣＰＵ１１は、全ての組合せに関して、顔パラメータの類似度を評価し、この類似度が最も高い組合せを、第１画像Ｐ１および第２画像Ｐ２として決定する。なお、顔パラメータの類似度には限らず、例えば、顔パラメータによる位置合わせを実行した後の、顔部分の相関性が最も高い組合せや、背景部分と推定される部分の相関性が低い組合せを、第１画像および第２画像として決定してもよい。
【００９０】
以上のように、本実施形態によれば、複数枚の候補画像から２枚の画像を自動的に選択し、背景と非背景との分離を行った。このことにより、ユーザの手を煩わせることなく、精度良く背景と非背景とが分離され得る画像を選択できるので、効率的に合成画像を生成することができる。
【００９１】
なお、本発明は第１実施形態または第２実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００９２】
例えば、第１実施形態および第２実施形態では、撮像素子をＣＣＤ２３として説明したが、ＣＭＯＳセンサ等の他の撮像素子であってもよい。また、変位測定手段、対応付け手段、判別手段、設定手段、第２判別手段、警告手段、決定手段、測定手段、推定手段、記憶手段としての機能の一部をＣＰＵ１１とは別の制御部により動作させてもよい。
【００９３】
また、本発明はデジタルカメラに限らず、例えばカメラ付きの携帯電話端末等の静止画撮像機能を有する撮像装置や、複数枚の画像から新たな画像を生成する機能を有する他の画像処理装置にも適用することができる。なお、このような画像処理装置には、所定のプログラムに基づいて動作することにより前述の機能が実現されるＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）やＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）等も含まれる。
【図面の簡単な説明】
【００９４】
【図１】第１実施形態に係るデジタルカメラの概略構成を示すブロック図である。
【図２】第１実施形態に係る処理の概略を示す図である。
【図３】第１実施形態に係る撮影処理の流れを示すフローチャートである。
【図４】第１実施形態に係る画像合成処理の流れを示すフローチャートである。
【図５】第１実施形態に係る背景部分と非背景部分とを判別する方法の説明に供する図である。
【図６】第２実施形態に係る撮影処理の流れを示すフローチャートである。
【符号の説明】
【００９５】
Ｃ    非背景部分
Ｄ１、Ｄ２  画素値
Ｄ３  背景用の画素値（第２の所定値）
Ｌ１  所定の距離（第３の所定値）
Ｌ２  所定の距離（第４の所定値）
Ｐ１  第１画像
Ｐ２  第２画像
ＰＦ  顔部分の中心
Ｒ    閾値（第１の所定値）
１    デジタルカメラ（画像処理装置）
２    撮影部（取得手段）
１１  ＣＰＵ（変位測定手段、対応付け手段、判別手段、設定手段、第２判別手段、警告手段、決定手段、測定手段、推定手段、記憶手段）
１３  顔検出部（検出手段）
１５  表示部（警告手段）
【図１】
2010028414.tif 000003
【図２】
2010028414.tif 000004
【図３】
2010028414.tif 000005
【図４】
2010028414.tif 000006
【図５】
2010028414.tif 000007
【図６】
2010028414.tif 000008