(57)【要約】【課題】顔構成部の抽出を適正に行う。【解決手段】撮像装置１００であって、元画像から第１顔構成部に対応する顔構成部領域を検出する目検出部５ｃと、検出された顔構成部領域の元画像における位置に基づいて、元画像から複数の顔構成部を抽出するための複数の抽出用モデルを元画像内で適合させる第１モデル適合部５ｄと、第１顔構成部に対応する抽出用モデルの適合結果に基づいて、第２顔構成部に対応する第２抽出用モデルを元画像内で適合させる際の適合条件を決定する適合条件決定部５ｅと、決定された適合条件に従って、第２抽出用モデルを元画像内で適合させる第２モデル適合部５ｆと、第１顔構成部に対応する第１抽出用モデルの適合結果と第２顔構成部に対応する第２抽出用モデルの適合結果とを統合して複数の抽出用モデルの適合態様とする適合結果統合部５ｇと、を備えている。【選択図】図１
2014099077.tif 000002
【特許請求の範囲】
【請求項１】
元画像を取得する取得手段と、
前記取得手段により取得された元画像から顔を構成する複数の顔構成部のうちの何れか一の第１顔構成部に対応する顔構成部領域を検出する構成部検出手段と、
前記構成部検出手段により検出された前記顔構成部領域の前記元画像における位置に基づいて、前記元画像から前記複数の顔構成部を抽出するための複数の抽出用モデルを前記元画像内で適合させる第１適合手段と、
前記第１適合手段による前記第１顔構成部に対応する抽出用モデルの適合結果に基づいて、前記複数の顔構成部のうちの前記第１顔構成部とは異なる第２顔構成部に対応する抽出用モデルを前記元画像内で適合させる際の適合条件を決定する決定手段と、
前記決定手段により決定された適合条件に従って、前記第２顔構成部に対応する抽出用モデルを前記元画像内で適合させる第２適合手段と、
前記第１適合手段による前記第１顔構成部に対応する抽出用モデルの適合結果と前記第２適合手段による前記第２顔構成部に対応する抽出用モデルの適合結果とを統合して前記複数の抽出用モデルの適合態様とする統合手段と、
を備えたことを特徴とする顔構成部抽出装置。
【請求項２】
前記適合条件は、前記第１適合手段により適合された前記第２顔構成部に対応する抽出用モデルに対する相対的な回転角度に係る条件、前記第１適合手段により適合された前記第２顔構成部に対応する前記抽出用モデルに対する相対的な大きさに係る条件のうち、少なくとも一を含むことを特徴とする請求項１に記載の顔構成部抽出装置。
【請求項３】
前記取得手段により取得された元画像から顔領域を検出する顔検出手段を更に備え、
前記構成部検出手段は、前記顔検出手段により検出された顔領域から前記第１顔構成部に対応する顔構成部領域を検出することを特徴とする請求項１又は２に記載の顔構成部抽出装置。
【請求項４】
前記第１適合手段は、更に、前記顔検出手段による顔領域の検出結果に基づいて、前記複数の抽出用モデルを前記元画像内で適合させることを特徴とする請求項３に記載の顔構成部抽出装置。
【請求項５】
前記第１顔構成部は、一対の目を含み、
前記第２顔構成部は、口を含むことを特徴とする請求項１〜４の何れか一項に記載の顔構成部抽出装置。
【請求項６】
前記統合手段による統合結果に基づいて、前記複数の顔構成部に係る顔構成部画像を生成する第１生成手段と、
前記第１生成手段により生成された顔構成部画像を用いて前記元画像の似顔絵画像を生成する第２生成手段と、を更に備えることを特徴とする請求項１〜５の何れか一項に記載の顔構成部抽出装置。
【請求項７】
顔構成部抽出装置を用いた顔構成部抽出方法であって、
元画像を取得する処理と、
取得された元画像から顔を構成する複数の顔構成部のうちの何れか一の第１顔構成部に対応する顔構成部領域を検出する処理と、
検出された前記顔構成部領域の前記元画像における位置に基づいて、前記元画像から前記複数の顔構成部を抽出するための複数の抽出用モデルを前記元画像内で適合させる処理と、
前記第１顔構成部に対応する抽出用モデルの適合結果に基づいて、前記複数の顔構成部のうちの前記第１顔構成部とは異なる第２顔構成部に対応する抽出用モデルを前記元画像内で適合させる際の適合条件を決定する処理と、
決定された適合条件に従って、前記第２顔構成部に対応する抽出用モデルを前記元画像内で適合させる処理と、
前記第１顔構成部に対応する抽出用モデルの適合結果と前記第２顔構成部に対応する抽出用モデルの適合結果とを統合して前記複数の抽出用モデルの適合態様とする処理と、
を含むことを特徴とする顔構成部抽出方法。
【請求項８】
顔構成部抽出装置のコンピュータを、
元画像を取得する取得手段、
前記取得手段により取得された元画像から顔を構成する複数の顔構成部のうちの何れか一の第１顔構成部に対応する顔構成部領域を検出する構成部検出手段、
前記構成部検出手段により検出された前記顔構成部領域の前記元画像における位置に基づいて、前記元画像から前記複数の顔構成部を抽出するための複数の抽出用モデルを前記元画像内で適合させる第１適合手段、
前記第１適合手段による前記第１顔構成部に対応する抽出用モデルの適合結果に基づいて、前記複数の顔構成部のうちの前記第１顔構成部とは異なる第２顔構成部に対応する抽出用モデルを前記元画像内で適合させる際の適合条件を決定する決定手段、
前記決定手段により決定された適合条件に従って、前記第２顔構成部に対応する抽出用モデルを前記元画像内で適合させる第２適合手段、
前記第１適合手段による前記第１顔構成部に対応する抽出用モデルの適合結果と前記第２適合手段による前記第２顔構成部に対応する抽出用モデルの適合結果とを統合して前記複数の抽出用モデルの適合態様とする統合手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔構成部抽出装置、顔構成部抽出方法及びプログラムに関する。
【背景技術】
【０００２】
従来、目、鼻、口、耳、顔の輪郭等の顔構成部の特徴点を用いて似顔絵を作成する似顔絵作成装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１４５６２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、元画像の顔領域から顔構成部を抽出する際に、目や口などの顔構成部を抽出するための抽出用モデルを当該元画像内で適合しようとしても、顔構成部の種類によっては適正に適合させることができないという問題があった。
【０００５】
そこで、本発明の課題は、顔構成部の抽出を適正に行うことができる顔構成部抽出装置、顔構成部抽出方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明に係る顔構成部抽出装置は、
元画像を取得する取得手段と、前記取得手段により取得された元画像から顔を構成する複数の顔構成部のうちの何れか一の第１顔構成部に対応する顔構成部領域を検出する構成部検出手段と、前記構成部検出手段により検出された前記顔構成部領域の前記元画像における位置に基づいて、前記元画像から前記複数の顔構成部を抽出するための複数の抽出用モデルを前記元画像内で適合させる第１適合手段と、前記第１適合手段による前記第１顔構成部に対応する抽出用モデルの適合結果に基づいて、前記複数の顔構成部のうちの前記第１顔構成部とは異なる第２顔構成部に対応する抽出用モデルを前記元画像内で適合させる際の適合条件を決定する決定手段と、前記決定手段により決定された適合条件に従って、前記第２顔構成部に対応する抽出用モデルを前記元画像内で適合させる第２適合手段と、前記第１適合手段による前記第１顔構成部に対応する抽出用モデルの適合結果と前記第２適合手段による前記第２顔構成部に対応する抽出用モデルの適合結果とを統合して前記複数の抽出用モデルの適合態様とする統合手段と、を備えたことを特徴としている。
【０００７】
また、本発明に係る顔構成部抽出方法は、
顔構成部抽出装置を用いた顔構成部抽出方法であって、元画像を取得する処理と、取得された元画像から顔を構成する複数の顔構成部のうちの何れか一の第１顔構成部に対応する顔構成部領域を検出する処理と、検出された前記顔構成部領域の前記元画像における位置に基づいて、前記元画像から前記複数の顔構成部を抽出するための複数の抽出用モデルを前記元画像内で適合させる処理と、前記第１顔構成部に対応する抽出用モデルの適合結果に基づいて、前記複数の顔構成部のうちの前記第１顔構成部とは異なる第２顔構成部に対応する抽出用モデルを前記元画像内で適合させる際の適合条件を決定する処理と、決定された適合条件に従って、前記第２顔構成部に対応する抽出用モデルを前記元画像内で適合させる処理と、前記第１顔構成部に対応する抽出用モデルの適合結果と前記第２顔構成部に対応する抽出用モデルの適合結果とを統合して前記複数の抽出用モデルの適合態様とする処理と、を含むことを特徴としている。
【０００８】
また、本発明に係るプログラムは、
顔構成部抽出装置のコンピュータを、元画像を取得する取得手段、前記取得手段により取得された元画像から顔を構成する複数の顔構成部のうちの何れか一の第１顔構成部に対応する顔構成部領域を検出する構成部検出手段、前記構成部検出手段により検出された前記顔構成部領域の前記元画像における位置に基づいて、前記元画像から前記複数の顔構成部を抽出するための複数の抽出用モデルを前記元画像内で適合させる第１適合手段、前記第１適合手段による前記第１顔構成部に対応する抽出用モデルの適合結果に基づいて、前記複数の顔構成部のうちの前記第１顔構成部とは異なる第２顔構成部に対応する抽出用モデルを前記元画像内で適合させる際の適合条件を決定する決定手段、前記決定手段により決定された適合条件に従って、前記第２顔構成部に対応する抽出用モデルを前記元画像内で適合させる第２適合手段、前記第１適合手段による前記第１顔構成部に対応する抽出用モデルの適合結果と前記第２適合手段による前記第２顔構成部に対応する抽出用モデルの適合結果とを統合して前記複数の抽出用モデルの適合態様とする統合手段、として機能させることを特徴としている。
【発明の効果】
【０００９】
本発明によれば、顔構成部の抽出を適正に行うことができる。
【図面の簡単な説明】
【００１０】
【図１】本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。
【図２】図１の撮像装置による似顔絵画像生成処理に係る動作の一例を示すフローチャートである。
【図３】図２の似顔絵画像生成処理に係る画像の一例を模式的に示す図である。
【図４】図２の似顔絵画像生成処理に係る画像の一例を模式的に示す図である。
【図５】図２の似顔絵画像生成処理に係る画像の一例を模式的に示す図である。
【発明を実施するための形態】
【００１１】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
【００１２】
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
図１に示すように、本実施形態の撮像装置１００は、具体的には、撮像部１と、撮像制御部２と、画像データ生成部３と、メモリ４と、画像処理部５と、記録媒体制御部６と、表示制御部７と、表示部８と、操作入力部９と、中央制御部１０とを備えている。
また、撮像部１、撮像制御部２、画像データ生成部３、メモリ４、画像処理部５、記録媒体制御部６、表示制御部７及び中央制御部１０は、バスライン１１を介して接続されている。
【００１３】
撮像部１は、特定の被写体を撮像してフレーム画像を生成する。
具体的には、撮像部１は、レンズ部１ａと、電子撮像部１ｂと、レンズ駆動部１ｃとを備えている。
【００１４】
レンズ部１ａは、例えば、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部１ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサ（撮像素子）から構成されている。そして、電子撮像部１ｂは、レンズ部１ａの各種レンズを通過した光学像を二次元の画像信号に変換する。
レンズ駆動部１ｃは、例えば、図示は省略するが、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えている。
なお、撮像部１は、レンズ部１ａ、電子撮像部１ｂ及びレンズ駆動部１ｃに加えて、レンズ部１ａを通過する光の量を調整する絞り（図示略）を備えても良い。
【００１５】
撮像制御部２は、撮像部１による特定の被写体の撮像を制御する。即ち、撮像制御部２は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部２は、タイミング発生器、ドライバにより電子撮像部１ｂを走査駆動して、レンズ部１ａを通過した光学像を電子撮像部１ｂにより所定周期毎に二次元の画像信号に変換させ、当該電子撮像部１ｂの撮像領域から１画面分ずつフレーム画像を読み出して画像データ生成部３に出力させる。
【００１６】
なお、撮像制御部２は、レンズ部１ａのフォーカスレンズに代えて、電子撮像部１ｂを光軸方向に移動させてレンズ部１ａの合焦位置を調整するようにしても良い。
また、撮像制御部２は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の特定の被写体を撮像する際の条件の調整制御を行っても良い。
【００１７】
画像データ生成部３は、電子撮像部１ｂから転送されたフレーム画像のアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用されるメモリ４にＤＭＡ転送される。
【００１８】
メモリ４は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、画像処理部５や中央制御部１０等によって処理されるデータ等を一時的に格納する。
【００１９】
画像処理部５は、画像取得部５ａと、顔検出部５ｂと、目検出部５ｃと、第１モデル適合部５ｄと、適合条件決定部５ｅと、第２モデル適合部５ｆと、適合結果統合部５ｇと、構成部画像生成部５ｈと、似顔絵画像生成部５ｉとを具備している。
なお、画像処理部５の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
【００２０】
画像取得部５ａは、顔構成部抽出処理の処理対象となる画像を取得する。
即ち、画像取得部（取得手段）５ａは、元画像（例えば、写真画像等）Ｐ１の画像データを取得する。具体的には、画像取得部５ａは、撮像部１及び撮像制御部２による特定の被写体（例えば、ヒトの顔）の撮像によって画像データ生成部３により生成された元画像Ｐ１の画像データ（ＲＧＢデータやＹＵＶデータ）の複製をメモリ４から取得したり、記録媒体Ｃに記録されている元画像Ｐ１の画像データの複製を取得する（図３（ａ）参照）。
なお、後述する画像処理部５による各処理は、元画像Ｐ１の画像データ自体に対して行われても良いし、必要に応じて元画像Ｐ１の画像データを所定の比率で縮小した所定サイズ（例えば、ＶＧＡサイズ等）の画像データに対して行われても良い。
また、以下の説明では、元画像Ｐ１の画像データは、各画素の画素値（例えば、輝度値）を8bit（256階調）で表した画像データとして説明する。
【００２１】
顔検出部５ｂは、元画像Ｐ１から顔領域Ｆを検出する。
即ち、顔検出部（顔検出手段）５ｂは、画像取得部５ａにより取得された元画像Ｐ１から顔領域Ｆを検出する。具体的には、顔検出部５ｂは、元画像Ｐ１に対して所定のアルゴリズムを用いた顔検出処理を施す。例えば、顔検出部５ｂは、元画像Ｐ１を処理対象として、顔領域Ｆの候補領域として所定サイズ（例えば、24×24［画素］）の検出候補領域を複数生成する。そして、顔検出部５ｂは、例えば、各検出候補領域の画像データと所定の基準画像の画像データとの類似度をadaboost（アダブースト）出力計算を用いて算出し、算出された類似度が所定の閾値以上である検出候補領域の画像データを顔領域Ｆの画像データとして特定する（図３（ｂ）参照）。
なお、顔検出部５ｂによる顔検出処理の内容は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
【００２２】
目検出部５ｃは、元画像Ｐ１から目に対応する目領域Ｅを検出する。
即ち、目検出部（構成部検出手段）５ｃは、画像取得部５ａにより取得された元画像Ｐ１から顔を構成する複数の顔構成部（例えば、目、口等）のうちの何れか一の第１顔構成部（例えば、目等）に対応する顔構成部領域（例えば、目領域Ｅ等）を検出する。具体的には、目検出部５ｃは、顔検出部５ｂにより検出された顔領域Ｆに対して、目（第１顔構成部）に対応する目領域（顔構成部領域）Ｅを検出する目検出処理を施す。
【００２３】
この目検出処理では、例えば、目検出部５ｃは、顔検出処理により検出された顔領域Ｆに対応する矩形枠部分を切り出した画像を処理対象画像として、256階調のグレースケール画像に変換する。また、目検出部５ｃは、グレースケール画像を水平（ｘ軸）及び垂直（ｙ軸）ともに所定の比率で縮小した所定サイズ（例えば、80×80、72×72、64×64、56×56、48×48画素等）の縮小画像を逐次生成する。
そして、目検出部５ｃは、所定サイズの縮小画像の各々を処理対象として、目検出用フィルタ（例えば、リング状のリングフィルタ等）を用いて目の候補点を検出する。具体的には、目検出部５ｃは、例えば、処理対象画像内で、リングフィルタの中心の輝度値が当該リングの全ての縁部分の輝度値よりも低い（即ち、暗い）場合に目の候補点の一部とみなし、該当する座標の輝度画像「リングイメージ」を出力する。そして、目検出部５ｃは、所定サイズの縮小画像の各々から出力された輝度画像「リングイメージ」を同一の所定サイズ（例えば、80×80画素等）となるように変形し、これらをまとめた一枚の合成画像を生成する。
また、目検出部５ｃは、合成画像中の複数の輝度画像「リングイメージ」の各々の重心を算出して目候補点として特定する。このとき、目検出部５ｃは、輝度画像「リングイメージ」の各々の最大輝度値も算出して、目候補点と対応付けて所定の格納手段に記憶する。
その後、目検出部５ｃは、複数の目候補点のうちの何れか２点を選択して、一対の目とみなし、目らしさを表す評価値を所定の演算式を用いて算出する。例えば、目検出部５ｃは、基準となる平均的な目の位置に対する距離が大きいほど低下し、また、目候補点に対応する最大輝度値が大きいほど高くなるような演算式に従って評価値を算出する。なお、目検出部５ｃは、目候補点が３点以上特定されている場合には、取り得る組み合わせ全てについて一対の目とみなして、それらの評価値をそれぞれ算出する。
そして、目検出部５ｃは、算出された評価値どうしを比較して、評価値が最も高い組を一対の目領域Ｅ、Ｅとする。
【００２４】
なお、目検出部５ｃによる目検出処理の内容は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
【００２５】
第１モデル適合部５ｄは、複数の抽出用モデルＭ、…を元画像Ｐ１内で適合させる。
即ち、第１モデル適合部（第１適合手段）５ｄは、目検出部５ｃにより検出された目領域（顔構成部領域）Ｅの元画像Ｐ１における位置に基づいて、元画像Ｐ１から複数の顔構成部を抽出するための複数の抽出用モデルＭ、…を元画像Ｐ１内で適合させる。このとき、第１モデル適合部５ｄは、目検出部５ｃによる目領域Ｅの検出結果に加えて、顔検出部５ｂによる顔領域Ｆの検出結果に基づいて、複数の抽出用モデルＭ、…を元画像Ｐ１内で適合させても良い。
【００２６】
具体的には、後述するように、画像処理部５は、例えば、ＡＡＭ（Active Appearance Model）を用いた微細部抽出処理により元画像Ｐ１から顔構成部を抽出し、第１モデル適合部５ｄは、当該ＡＡＭにて元画像Ｐ１の顔領域Ｆ内に配置される複数の抽出用モデルＭ、…が当該元画像Ｐ１内で合致（適合）する箇所を探索する。
ここで、ＡＡＭとは、視覚的事象のモデル化の一手法であり、任意の顔領域Ｆの画像のモデル化を行う処理である。例えば、後述するように画像処理部５の構成部画像生成部５ｈは、複数のサンプル顔画像における所定の特徴部位（例えば、目じりや鼻頭やフェイスライン等）の位置や画素値（例えば、輝度値）の統計的分析結果を所定の登録手段に登録しておく。そして、構成部画像生成部５ｈは、上記の特徴部位の位置を基準として設定された各種のモデル、即ち、顔構成部の形状を表す形状モデル（抽出用モデルＭ）や平均的な形状における「Appearance」を表すテクスチャーモデルを用いて、顔領域Ｆの画像をモデル化する。
このとき、第１モデル適合部５ｄは、複数の顔構成部に対応する複数の抽出用モデルＭ、…、即ち、一対の目や眉や鼻等に対応する第１抽出用モデルＭ１、口や顔（特に、顎）の輪郭等に対応する第２抽出用モデルＭ２の元画像Ｐ１内における初期配置を設定する。具体的には、第１モデル適合部５ｄは、目検出部５ｃにより検出された一対の目領域Ｅ、Ｅの元画像Ｐ１における位置に、一対の目を抽出するための一対の第１抽出用モデルＭ１、Ｍ１が重なるように複数の抽出用モデルＭ、…の初期配置を設定する。即ち、複数の顔構成部に対応する複数の抽出用モデルＭ、…は、基準状態にて相対的な位置関係や間隔が予め設定されているため、第１モデル適合部５ｄは、複数の抽出用モデルＭ、…を一体として相似変形させることでこれら複数の抽出用モデルＭ、…の相対的な位置関係を変化させないように一対の第１抽出用モデルＭ１、Ｍ１の位置（初期配置）を決定する。これにより、元画像Ｐ１内で他の顔構成部（例えば、口等）に対応する複数の抽出用モデルＭ、…が適合する位置（初期配置）も決定される（図３（ｃ）参照）。
そして、第１モデル適合部５ｄは、第１抽出用モデルＭ１の適合結果を適合条件決定部５ｅ及び適合結果統合部５ｇに出力する。
【００２７】
適合条件決定部５ｅは、口に対応する第２抽出用モデルＭ２を元画像Ｐ１内で適合させる際の適合条件を決定する。
即ち、適合条件決定部（決定手段）５ｅは、第１モデル適合部５ｄによる第１顔構成部（例えば、目等）に対応する第１抽出用モデルＭ１の適合結果に基づいて、複数の顔構成部のうちの第１顔構成部とは異なる第２顔構成部（例えば、口等）に対応する第２抽出用モデルＭ２を元画像Ｐ１内で適合させる際の適合条件を決定する。
【００２８】
具体的には、適合条件決定部５ｅは、後述する第２モデル適合部５ｆが元画像Ｐ１内で口に対応する第２抽出用モデルＭ２を適合させる際の幾何学的な拘束条件、即ち、第１モデル適合部５ｄにより元画像Ｐ１内で適合された第２抽出用モデルＭ２に対する相対的な回転角度に係る条件や、第１モデル適合部５ｄにより元画像Ｐ１内で適合された第２抽出用モデルＭ２に対する相対的な大きさに係る条件を決定する。
即ち、第１モデル適合部５ｄにより元画像Ｐ１内に一対の目に対応する一対の第１抽出用モデルＭ１、Ｍ１が適合されることで、適合条件決定部５ｅは、元画像Ｐ１内の顔領域Ｆの所定位置（例えば、中心等）を通る一直線（例えば、首と略平行に延在する直線等）の傾きや、元画像Ｐ１全体の画素数に占める顔領域Ｆの画素数の割合等をある程度推測することができる。そこで、適合条件決定部５ｅは、第２モデル適合部５ｆにより適合される第２抽出用モデルＭ２の適合条件を、例えば、第１モデル適合部５ｄにより元画像Ｐ１内で適合された当該第２抽出用モデルＭ２の所定位置を通る一直線に対する相対的な回転角度を±３０°程度としたり、第１モデル適合部５ｄにより元画像Ｐ１内で適合された当該第２抽出用モデルＭ２の大きさに対する拡大縮小率を０．５〜２．０倍程度とする。
なお、上記した適合条件の種類や具体的な数値等は、一例であってこれらに限られるものではなく、適宜任意に変更可能である。
【００２９】
第２モデル適合部５ｆは、口に対応する第２抽出用モデルＭ２を元画像Ｐ１内で適合させる。
即ち、第２モデル適合部（第２適合手段）５ｆは、適合条件決定部５ｅにより決定された適合条件に従って、第２顔構成部（例えば、口等）に対応する第２抽出用モデルＭ２を元画像Ｐ１内で適合させる。
具体的には、第２モデル適合部５ｆは、第２抽出用モデルＭ２の形状や大きさを変形させて当該第２抽出用モデルＭ２が最も合致する合致領域を元画像Ｐ１の顔領域Ｆ内で探索する。ここでの探索の手法としては、例えば、第２抽出用モデルＭ２と探索領域との画素値や位置座標のずれ量等を基準とする手法が挙げられるが、公知の技術であるので詳細な説明は省略する。
合致領域が探索されると、第２モデル適合部５ｆは、当該合致領域が適合条件決定部５ｅにより決定された第２抽出用モデルＭ２の適合条件、即ち、第２抽出用モデルＭ２を適合させる際の幾何学的な拘束条件の範囲を超えたか否かを判定する。そして、第２モデル適合部５ｆは、合致領域が第２抽出用モデルＭ２の適合条件の範囲を超えたと判定されると（図４（ａ）〜図４（ｃ）参照）、適合条件決定部５ｅにより決定された第２抽出用モデルＭ２の適合条件の範囲内となるように当該第２抽出用モデルＭ２の形状や大きさの変形の条件を制限する。一方、第２モデル適合部５ｆは、第２抽出用モデルＭ２の適合条件の範囲を超えていないと判定された合致領域（図４（ｄ）参照）については、その適合結果を適合結果統合部５ｇに出力する。
また、第２モデル適合部５ｆは、元画像Ｐ１内で顔（特に、顎）の輪郭を抽出するための第２抽出用モデルＭ２を適合させるようにしても良い。
【００３０】
適合結果統合部５ｇは、複数の抽出用モデルＭ、…の適合態様を特定する。
即ち、適合結果統合部（統合手段）５ｇは、第１モデル適合部５ｄによる第１顔構成部（例えば、目等）に対応する第１抽出用モデルＭ１の適合結果と第２モデル適合部５ｆによる第２顔構成部（例えば、口等）に対応する第２抽出用モデルＭ２の適合結果とを統合して、元画像Ｐ１内から複数の顔構成部を抽出するための複数の抽出用モデルＭ、…の適合態様として特定する。具体的には、適合結果統合部５ｇは、例えば、第１モデル適合部５ｄにより元画像Ｐ１内で適合された一対の目、一対の眉、鼻等の第１抽出用モデルＭ１と、第２モデル適合部５ｆにより元画像Ｐ１内で適合された口や顔の輪郭の第２抽出用モデルＭ２とを組み合わせて、最終的な配置の複数の抽出用モデルＭ、…として出力する（図５参照）。
【００３１】
構成部画像生成部５ｈは、顔の主要な顔構成部を表した顔構成部画像を生成する。
即ち、構成部画像生成部（第１生成手段）５ｈは、適合結果統合部５ｇの統合結果に基づいて、元画像Ｐ１内の顔の主要な構成部に係る顔構成部画像（図示略）を生成する。具体的には、構成部画像生成部５ｈは、例えば、適合結果統合部５ｇにより生成された複数の抽出用モデルＭ、…を用いた微細部抽出処理（ＡＡＭ）により顔領域Ｆの画像をモデル化する。そして、構成部画像生成部５ｈは、元画像Ｐ１内の主要な構成を抽出して線で表した顔微細部画像（図示略）を生成する。
また、構成部画像生成部５ｈは、顔領域Ｆ内の顔の輪郭内に存する顔構成部及び当該輪郭と接する顔構成部を線で表した顔構成部画像を生成する。具体的には、構成部画像生成部５ｈは、顔微細部画像内で顔の輪郭と接する画素を特定し、当該画素と連続する画素のうち、顔の輪郭よりも外側に存する画素集合を消去する。つまり、構成部画像生成部５ｈは、顔微細部画像のうち、顔の輪郭よりも外側に存する部分を消去するとともに、顔の輪郭よりも内側に存し、且つ、当該輪郭と接する部分を残して、例えば、目、鼻、口、眉等の主要な顔構成部のパーツ画像を含む顔構成部画像を生成する。
【００３２】
なお、微細部抽出処理として、ＡＡＭを用いた処理を例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
【００３３】
似顔絵画像生成部５ｉは、顔構成部画像を用いて似顔絵画像を生成する。
即ち、似顔絵画像生成部（第２生成手段）５ｉは、構成部画像生成部５ｈにより生成された顔構成部画像を用いて元画像Ｐ１の似顔絵画像（図示略）を生成する。具体的には、似顔絵画像生成部５ｉは、所定の髪型画像の顔の輪郭よりも内側にて、例えば、目、鼻、口、眉等の各顔構成部のパーツ画像を重畳させる位置を特定し、当該位置に各顔構成部のパーツ画像を重畳させて、元画像Ｐ１を似顔絵で表した似顔絵画像の画像データを生成する。
また、似顔絵画像生成部５ｉは、似顔絵画像の所定の部分（例えば、目、口、眉等の顔構成部等）に所定の色を付けて表した画像を生成しても良い。
【００３４】
記録媒体制御部６は、記録媒体Ｃが着脱自在に構成され、装着された記録媒体Ｃからのデータの読み出しや記録媒体Ｃに対するデータの書き込みを制御する。
即ち、記録媒体制御部６は、画像処理部５の符号化部（図示略）により所定の圧縮形式（例えば、ＪＰＥＧ形式等）で符号化された記録用の画像データを記録媒体Ｃに記録させる。
なお、記録媒体Ｃは、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
【００３５】
表示制御部７は、メモリ４に一時的に格納されている表示用の画像データを読み出して表示部８に表示させる制御を行う。
具体的には、表示制御部７は、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１０の制御下にてメモリ４から読み出されてＶＲＡＭ（図示略）に格納されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部８に出力する。
【００３６】
表示部８は、例えば、液晶表示パネルであり、表示制御部７からのビデオ信号に基づいて撮像部１により撮像された画像などを表示画面に表示する。具体的には、表示部８は、静止画撮像モードや動画撮像モードにて、撮像部１及び撮像制御部２による被写体の撮像により生成された複数のフレーム画像を所定のフレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部８は、静止画として記録される画像（レックビュー画像）を表示したり、動画として記録中の画像を表示する。
【００３７】
操作入力部９は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部９は、被写体の撮像指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等（何れも図示略）の操作部を備え、当該操作部の各ボタンの操作に応じて所定の操作信号を中央制御部１０に出力する。
【００３８】
中央制御部１０は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１０は、図示は省略するが、ＣＰＵ（Central Processing Unit）等を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。
【００３９】
次に、撮像装置１００による似顔絵画像生成処理について、図２〜図５等を参照して説明する。
図２は、似顔絵画像生成処理に係る動作の一例を示すフローチャートである。
【００４０】
似顔絵画像生成処理は、ユーザによる操作入力部９の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から似顔絵画像生成モードが選択指示された場合に、中央制御部１０の制御下にて当該撮像装置１００の各部、特に画像処理部５により実行される処理である。
また、似顔絵画像生成処理の処理対象となる元画像Ｐ１の画像データは、予め記録媒体Ｃに記録されているものとする。
【００４１】
図２に示すように、先ず、記録媒体制御部６は、記録媒体Ｃに記録されている画像データの中で、ユーザによる操作入力部９の所定操作に基づいて指定された元画像Ｐ１（図３（ａ）参照）の画像データを読み出し、画像処理部５の画像取得部５ａは、読み出された画像データを当該似顔絵画像生成処理の処理対象として取得する（ステップＳ１）。
【００４２】
次に、顔検出部５ｂは、画像取得部５ａにより取得された元画像Ｐ１の画像データに対して所定のアルゴリズム（例えば、adaboost等）を用いた顔検出処理を施し、顔領域Ｆの画像データを特定する（ステップＳ２；図３（ｂ）参照）。続けて、目検出部５ｃは、顔検出部５ｂにより検出された顔領域Ｆの画像データに対して、一対の目に対応する一対の目領域Ｅ、Ｅを検出する目検出処理を施す（ステップＳ３）。
【００４３】
次に、第１モデル適合部５ｄは、目検出部５ｃにより検出された一対の目領域Ｅ、Ｅの元画像Ｐ１における位置に基づいて、複数の顔構成部を抽出するための複数の抽出用モデルＭ、…を元画像Ｐ１の顔領域Ｆ内で適合させる（ステップＳ４；図３（ｃ）参照）。具体的には、第１モデル適合部５ｄは、第１抽出用モデルＭ１及び第２抽出用モデルＭ２を含む複数の抽出用モデルＭ、…を一体として相似変形させることでこれら複数の抽出用モデルＭ、…の相対的な位置関係を変化させないように、目検出部５ｃにより検出された一対の目領域Ｅ、Ｅの元画像Ｐ１における位置に、一対の目を抽出するための一対の第１抽出用モデルＭ１、Ｍ１が重なるように複数の抽出用モデルＭ、…の初期配置を設定する。
【００４４】
続けて、適合条件決定部５ｅは、第１モデル適合部５ｄによる第１抽出用モデルＭ１の適合結果に基づいて、口に対応する第２抽出用モデルＭ２を元画像Ｐ１内で適合させる際の適合条件を決定する（ステップＳ５）。具体的には、適合条件決定部５ｅは、第２モデル適合部５ｆにより第２抽出用モデルＭ２を元画像Ｐ１内にて適合する際の、第１モデル適合部５ｄにより元画像Ｐ１内で適合された第２抽出用モデルＭ２に対する相対的な回転角度に係る条件や、第１モデル適合部５ｄにより元画像Ｐ１内で適合された第２抽出用モデルＭ２に対する相対的な大きさに係る条件を決定する。
【００４５】
次に、第２モデル適合部５ｆは、口に対応する第２抽出用モデルＭ２の形状や大きさを変形させて当該第２抽出用モデルＭ２を元画像Ｐ１の顔領域Ｆ内で最も合致する合致領域に適合させる（ステップＳ６）。このとき、第２モデル適合部５ｆは、顔の輪郭に対応する第２抽出用モデルＭ２についても、その形状や大きさを変形させて合致領域に適合させる。
【００４６】
続けて、第２モデル適合部５ｆは、口に対応する合致領域が適合条件決定部５ｅにより決定された第２抽出用モデルＭ２の適合条件の範囲を超えたか否かを判定する（ステップＳ７）。
例えば、第１モデル適合部５ｄにより元画像Ｐ１内で適合された第２抽出用モデルＭ２の所定位置を通る一直線に対する、第２モデル適合部５ｆにより元画像Ｐ１内で適合された第２抽出用モデルＭ２の対応する一直線の回転角度（傾き）が適合条件を超えていた場合（図４（ａ）参照）や、第１モデル適合部５ｄにより元画像Ｐ１内で適合された第２抽出用モデルＭ２の画素数に対する、第２モデル適合部５ｆにより元画像Ｐ１内で適合された第２抽出用モデルＭ２の画素数の比率（拡大縮小率）が適合条件を超えていた場合（図４（ｂ）及び図４（ｃ）参照）、第２モデル適合部５ｆは、合致領域が第２抽出用モデルＭ２の適合条件の範囲を超えたと判定する。
そして、合致領域が第２抽出用モデルＭ２の適合条件の範囲を超えたと判定されると（ステップＳ７；ＹＥＳ）、第２モデル適合部５ｆは、適合条件決定部５ｅにより決定された第２抽出用モデルＭ２の適合条件の範囲内となるように当該第２抽出用モデルＭ２の形状や大きさの変形の条件を制限する（ステップＳ８）。その後、第２モデル適合部５ｆは、第２抽出用モデルＭ２の形状や大きさの変形の条件が制限された状態で、当該第２抽出用モデルＭ２が最も合致する合致領域を元画像Ｐ１の顔領域Ｆ内で探索して、その適合結果を適合結果統合部５ｇに出力する。
一方、合致領域（図４（ｄ）参照）が第２抽出用モデルＭ２の適合条件の範囲を超えていないと判定されると（ステップＳ７；ＮＯ）、第２モデル適合部５ｆは、第２モデルの適合結果を適合結果統合部５ｇに出力する。
【００４７】
次に、適合結果統合部５ｇは、第１モデル適合部５ｄにより元画像Ｐ１内で適合された一対の目、一対の眉、鼻等の第１抽出用モデルＭ１と、第２モデル適合部５ｆにより元画像Ｐ１内で適合された口や顔の輪郭の第２抽出用モデルＭ２とを組み合わせて、最終的な複数の抽出用モデルＭ、…として出力する（ステップＳ９；図５参照）。
【００４８】
そして、構成部画像生成部５ｈは、適合結果統合部５ｇにより生成された最終的な複数の抽出用モデルＭ、…を用いた微細部抽出処理（ＡＡＭ）により顔構成部（例えば、目、鼻、口、眉、髪の毛、顔の輪郭等）を線で表した顔微細部画像を生成する（ステップＳ１０）。続けて、構成部画像生成部５ｈは、微細部抽出処理により顔領域Ｆ内の顔の輪郭を特定して、顔の輪郭内に存する顔構成部及び当該輪郭と接する顔構成部、即ち、例えば、目、鼻、口、眉等の主要な顔構成部のパーツ画像を含む顔構成部画像を生成する（ステップＳ１１）。
【００４９】
その後、似顔絵画像生成部５ｉは、顔構成部画像を用いて元画像Ｐ１の似顔絵画像を生成する（ステップＳ１２）。具体的には、似顔絵画像生成部５ｉは、所定の髪型画像を取得して、当該髪型画像の顔の輪郭よりも内側にて、例えば、目、鼻、口、眉等の各顔構成部のパーツ画像を重畳させる位置を特定し、当該位置に各顔構成部のパーツ画像を重畳させて、元画像Ｐ１を似顔絵で表した似顔絵画像の画像データを生成する。
そして、記録媒体制御部６は、似顔絵画像生成部５ｉにより生成された似顔絵画像の画像データ（ＹＵＶデータ）を取得して記録する。
これにより、似顔絵画像生成処理を終了する。
【００５０】
以上のように、本実施形態の撮像装置１００によれば、第１顔構成部（例えば、一対の目等）に対応する顔構成部領域（例えば、一対の目領域Ｅ、Ｅ等）の元画像Ｐ１における位置に基づいて元画像Ｐ１内で適合させた第１顔構成部に対応する第１抽出用モデルＭ１の適合結果に基づいて、第２顔構成部（例えば、口等）に対応する第２抽出用モデルＭ２を元画像Ｐ１内で適合させる際の適合条件を決定し、決定された適合条件に従って第２抽出用モデルＭ２を元画像Ｐ１内で適合させ、第１顔構成部に対応する第１抽出用モデルＭ１の適合結果と第２顔構成部に対応する第２抽出用モデルＭ２の適合結果とを統合して複数の抽出用モデルＭ、…の適合態様とするので、第１抽出用モデルＭ１の適合結果から元画像Ｐ１内の顔領域Ｆの向きや大きさ等をある程度推測することができ、当該顔領域Ｆの向きや大きさ等を考慮して第２抽出用モデルＭ２を元画像Ｐ１内で適合させる際の適合条件を制限することができる。これにより、例えば、口などの顔領域Ｆからの抽出精度の低い第２顔構成部であっても第２抽出用モデルＭ２を元画像Ｐ１内で適正に適合させて当該第２顔構成部の抽出を適正に行うことができる。具体的には、第１モデル適合部５ｄにより適合された第２顔構成部に対応する第２抽出用モデルＭ２に対する相対的な回転角度に係る条件や、第１モデル適合部５ｄにより適合された第２顔構成部に対応する第２抽出用モデルＭ２に対する相対的な大きさに係る条件等を適合条件として決定することで、第２抽出用モデルＭ２を元画像Ｐ１内で適正に適合させて当該第２顔構成部の抽出をより適正に行うことができる。
従って、第１抽出用モデルＭ１の適合結果と第２抽出用モデルＭ２の適合結果とを統合した複数の抽出用モデルＭ、…を用いて、元画像Ｐ１から複数の顔構成部を適正に抽出することができる。
【００５１】
また、元画像Ｐ１から顔領域Ｆを検出し、検出された顔領域Ｆから第１顔構成部に対応する顔構成部領域（例えば、一対の目領域Ｅ、Ｅ等）を検出するので、顔構成部領域の検出を適正に行うことができ、当該顔構成部領域の元画像Ｐ１における位置に基づいて、元画像Ｐ１内で複数の顔構成部に対応する複数の抽出用モデルＭ、…を適正に適合させることができる。特に、顔領域Ｆの検出結果に基づいて、複数の抽出用モデルＭ、…を元画像Ｐ１内で適合させるので、顔構成部領域の元画像Ｐ１における位置だけでなく、顔領域Ｆの検出結果を考慮して、複数の抽出用モデルＭ、…の元画像Ｐ１内での適合をより適正に行うことができる。
【００５２】
さらに、複数の抽出用モデルＭ、…の統合結果に基づいて、元画像Ｐ１内の顔の主要な構成部に係る顔構成部画像を生成して、当該顔構成部画像を用いて元画像Ｐ１の似顔絵画像を生成するので、元画像Ｐ１内に適正に適合させた複数の抽出用モデルＭ、…、即ち、第１抽出用モデルＭ１の適合結果と第２抽出用モデルＭ２の適合結果とを統合した複数の抽出用モデルＭ、…を用いて複数の顔構成部を抽出して顔構成部画像を生成することができ、結果として、似顔絵画像の生成を適正に行うことができる。
【００５３】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、第１顔構成部を一対の目とし、第２顔構成部を口としたが、一例であってこれに限られるものではなく、適宜任意に変更可能であり、例えば、第１顔構成部を口とし、第２顔構成部を一対の目としても良い。
【００５４】
また、元画像Ｐ１内の顔の主要な構成部に係る顔構成部画像を生成し、当該顔構成部画像を用いて似顔絵画像を生成するようにしたが、必ずしも顔構成部画像や似顔絵画像を生成する必要はなく、当該顔構成部画像や似顔絵画像を生成するか否かは適宜任意に変更可能である。
【００５５】
また、元画像Ｐ１を記録する記録媒体制御部６を備える構成としたが、これに限られず、例えば、当該装置本体と所定の通信ネットワークを介して接続可能な所定のサーバに元画像Ｐ１を記録しておく構成とし、図示しない通信処理部から通信ネットワークを介して所定のサーバにアクセスして、画像取得部５ａは、当該サーバから元画像Ｐ１を取得する構成としても良い。
【００５６】
さらに、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。また、顔構成部抽出装置として、撮像装置１００を例示したが、これに限られるものではなく、本発明に係る顔構成部抽出処理を実行可能なものであれば如何なる構成であっても良い。
【００５７】
加えて、上記実施形態にあっては、取得手段、構成部検出手段、第１適合手段、決定手段、第２適合手段、統合手段としての機能を、中央制御部１０の制御下にて、画像取得部５ａ、目検出部５ｃ、第１モデル適合部５ｄ、適合条件決定部５ｅ、第２モデル適合部５ｆ、適合結果統合部５ｇが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１０によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、構成部検出処理ルーチン、第１適合処理ルーチン、決定処理ルーチン、第２適合処理ルーチン、統合処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１０のＣＰＵを、元画像Ｐ１を取得する手段として機能させるようにしても良い。また、構成部検出処理ルーチンにより中央制御部１０のＣＰＵを、取得された元画像Ｐ１から顔を構成する複数の顔構成部のうちの何れか一の第１顔構成部に対応する顔構成部領域を検出する手段として機能させるようにしても良い。また、第１適合処理ルーチンにより中央制御部１０のＣＰＵを、検出された顔構成部領域の元画像Ｐ１における位置に基づいて、元画像Ｐ１から複数の顔構成部を抽出するための複数の抽出用モデルＭ、…を元画像Ｐ１内で適合させる手段として機能させるようにしても良い。また、決定処理ルーチンにより中央制御部１０のＣＰＵを、第１顔構成部に対応する抽出用モデルＭの適合結果に基づいて、複数の顔構成部のうちの第１顔構成部とは異なる第２顔構成部に対応する抽出用モデルＭを元画像Ｐ１内で適合させる際の適合条件を決定する手段として機能させるようにしても良い。また、第２適合処理ルーチンにより中央制御部１０のＣＰＵを、決定された適合条件に従って、第２顔構成部に対応する抽出用モデルＭを元画像Ｐ１内で適合させる手段として機能させるようにしても良い。また、統合処理ルーチンにより中央制御部１０のＣＰＵを、第１顔構成部に対応する抽出用モデルＭの適合結果と第２顔構成部に対応する抽出用モデルＭの適合結果とを統合して複数の抽出用モデルＭ、…の適合態様とする手段として機能させるようにしても良い。
【００５８】
同様に、顔検出手段、第１生成手段、第２生成手段についても、中央制御部１０のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
【００５９】
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。
【００６０】
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
元画像を取得する取得手段と、
前記取得手段により取得された元画像から顔を構成する複数の顔構成部のうちの何れか一の第１顔構成部に対応する顔構成部領域を検出する構成部検出手段と、
前記構成部検出手段により検出された前記顔構成部領域の前記元画像における位置に基づいて、前記元画像から前記複数の顔構成部を抽出するための複数の抽出用モデルを前記元画像内で適合させる第１適合手段と、
前記第１適合手段による前記第１顔構成部に対応する抽出用モデルの適合結果に基づいて、前記複数の顔構成部のうちの前記第１顔構成部とは異なる第２顔構成部に対応する抽出用モデルを前記元画像内で適合させる際の適合条件を決定する決定手段と、
前記決定手段により決定された適合条件に従って、前記第２顔構成部に対応する抽出用モデルを前記元画像内で適合させる第２適合手段と、
前記第１適合手段による前記第１顔構成部に対応する抽出用モデルの適合結果と前記第２適合手段による前記第２顔構成部に対応する抽出用モデルの適合結果とを統合して前記複数の抽出用モデルの適合態様とする統合手段と、
を備えたことを特徴とする顔構成部抽出装置。
＜請求項２＞
前記適合条件は、前記第１適合手段により適合された前記第２顔構成部に対応する抽出用モデルに対する相対的な回転角度に係る条件、前記第１適合手段により適合された前記第２顔構成部に対応する前記抽出用モデルに対する相対的な大きさに係る条件のうち、少なくとも一を含むことを特徴とする請求項１に記載の顔構成部抽出装置。
＜請求項３＞
前記取得手段により取得された元画像から顔領域を検出する顔検出手段を更に備え、
前記構成部検出手段は、前記顔検出手段により検出された顔領域から前記第１顔構成部に対応する顔構成部領域を検出することを特徴とする請求項１又は２に記載の顔構成部抽出装置。
＜請求項４＞
前記第１適合手段は、更に、前記顔検出手段による顔領域の検出結果に基づいて、前記複数の抽出用モデルを前記元画像内で適合させることを特徴とする請求項３に記載の顔構成部抽出装置。
＜請求項５＞
前記第１顔構成部は、一対の目を含み、
前記第２顔構成部は、口を含むことを特徴とする請求項１〜４の何れか一項に記載の顔構成部抽出装置。
＜請求項６＞
前記統合手段による統合結果に基づいて、前記複数の顔構成部に係る顔構成部画像を生成する第１生成手段と、
前記第１生成手段により生成された顔構成部画像を用いて前記元画像の似顔絵画像を生成する第２生成手段と、を更に備えることを特徴とする請求項１〜５の何れか一項に記載の顔構成部抽出装置。
＜請求項７＞
顔構成部抽出装置を用いた顔構成部抽出方法であって、
元画像を取得する処理と、
取得された元画像から顔を構成する複数の顔構成部のうちの何れか一の第１顔構成部に対応する顔構成部領域を検出する処理と、
検出された前記顔構成部領域の前記元画像における位置に基づいて、前記元画像から前記複数の顔構成部を抽出するための複数の抽出用モデルを前記元画像内で適合させる処理と、
前記第１顔構成部に対応する抽出用モデルの適合結果に基づいて、前記複数の顔構成部のうちの前記第１顔構成部とは異なる第２顔構成部に対応する抽出用モデルを前記元画像内で適合させる際の適合条件を決定する処理と、
決定された適合条件に従って、前記第２顔構成部に対応する抽出用モデルを前記元画像内で適合させる処理と、
前記第１顔構成部に対応する抽出用モデルの適合結果と前記第２顔構成部に対応する抽出用モデルの適合結果とを統合して前記複数の抽出用モデルの適合態様とする処理と、
を含むことを特徴とする顔構成部抽出方法。
＜請求項８＞
顔構成部抽出装置のコンピュータを、
元画像を取得する取得手段、
前記取得手段により取得された元画像から顔を構成する複数の顔構成部のうちの何れか一の第１顔構成部に対応する顔構成部領域を検出する構成部検出手段、
前記構成部検出手段により検出された前記顔構成部領域の前記元画像における位置に基づいて、前記元画像から前記複数の顔構成部を抽出するための複数の抽出用モデルを前記元画像内で適合させる第１適合手段、
前記第１適合手段による前記第１顔構成部に対応する抽出用モデルの適合結果に基づいて、前記複数の顔構成部のうちの前記第１顔構成部とは異なる第２顔構成部に対応する抽出用モデルを前記元画像内で適合させる際の適合条件を決定する決定手段、
前記決定手段により決定された適合条件に従って、前記第２顔構成部に対応する抽出用モデルを前記元画像内で適合させる第２適合手段、
前記第１適合手段による前記第１顔構成部に対応する抽出用モデルの適合結果と前記第２適合手段による前記第２顔構成部に対応する抽出用モデルの適合結果とを統合して前記複数の抽出用モデルの適合態様とする統合手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【００６１】
１００  撮像装置
５      画像処理部
５ａ    画像取得部
５ｂ    顔検出部
５ｃ    目検出部
５ｄ    第１モデル適合部
５ｅ    適合条件決定部
５ｆ    第２モデル適合部
５ｇ    適合結果統合部
５ｈ    構成部画像生成部
５ｉ    似顔絵画像生成部
１０    中央制御部
【図１】
2014099077.tif 000003
【図２】
2014099077.tif 000004
【図３】
2014099077.tif 000005
【図４】
2014099077.tif 000006
【図５】
2014099077.tif 000007