(57)【要約】【課題】顔画像における顔向きによらず効果的な画像処理を容易に実現する。【解決手段】画像処理装置は、顔画像における顔向きを推定する顔向き推定部と、顔画像に対して推定された顔向きが目標顔向きに近づくように顔向き変更処理を行う顔向き変更部と、顔向き変更処理後の顔画像に対して画像処理を行う画像処理部と、画像処理後の顔画像に対して顔向き変更処理により変更された顔向きを元に戻す顔向き復元処理を行う顔向き復元部と、を備える。【選択図】図１７
2010245721.tif 000002
【特許請求の範囲】
【請求項１】
顔画像に対して画像処理を行う画像処理装置であって、
前記顔画像における顔向きを推定する顔向き推定部と、
前記顔画像に対して、推定された顔向きが目標顔向きに近づくように顔向き変更処理を行う顔向き変更部と、
前記顔向き変更処理後の前記顔画像に対して前記画像処理を行う画像処理部と、
前記画像処理後の前記顔画像に対して、前記顔向き変更処理により変更された顔向きを元に戻す顔向き復元処理を行う顔向き復元部と、を備える、画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記目標顔向きは、正面向きである、画像処理装置。
【請求項３】
請求項１に記載の画像処理装置であって、
前記画像処理部は、複数種類の前記画像処理を実行可能であり、
前記画像処理装置は、さらに、
前記画像処理の種類と顔向きとの対応関係を記憶する記憶部を備え、
前記顔向き変更部は、前記対応関係において、前記画像処理部により実行される前記画像処理の種類に対応付けられた顔向きを、前記目標顔向きに設定する、画像処理装置。
【請求項４】
請求項１ないし請求項３のいずれかに記載の画像処理装置であって、
前記画像処理部は、推定された顔向きが前記目標顔向きから比較的離れた第１の範囲にある場合には、前記顔向き変更処理後の前記顔画像に対して前記画像処理を行い、推定された顔向きが前記第１の範囲と比較して前記目標顔向きに近い第２の範囲にある場合には、前記顔向き変更処理が行われる前の前記顔画像に対して前記画像処理を行う、画像処理装置。
【請求項５】
請求項１ないし請求項４のいずれかに記載の画像処理装置であって、さらに、
顔の所定の特徴部位の位置により規定される顔形状を基準形状と顔向きを含む少なくとも１つの顔形状特徴量とにより表す形状モデルと、前記基準形状を有する顔画像の画素値により規定される顔テクスチャーを基準テクスチャーと少なくとも１つの顔テクスチャー特徴量とにより表すテクスチャーモデルと、を用いて、前記顔画像における前記特徴部位の位置を特定する特徴位置特定部を備え、
前記顔向き変更部は、前記形状モデルにおける顔向きを表す前記顔形状特徴量を変更することにより、前記顔向き変更処理を実行する、画像処理装置。
【請求項６】
請求項５に記載の画像処理装置であって、
前記特徴部位は、目の輪郭を含み、
前記画像処理は、前記顔画像において位置が特定された目の輪郭により規定される目領域を拡大する処理を含む、画像処理装置。
【請求項７】
請求項５に記載の画像処理装置であって、
前記特徴部位は、目の輪郭を含み、
前記画像処理は、前記顔画像において位置が特定された目の輪郭により規定される左右の目領域の大きさを互いに近づける処理を含む、画像処理装置。
【請求項８】
請求項５ないし請求項７のいずれかに記載の画像処理装置であって、
前記形状モデルと前記テクスチャーモデルとは、前記特徴部位の位置を示す特徴点の配置が既知である複数のサンプル顔画像を対象とした統計的分析に基づき設定され、
前記特徴位置特定部は、前記基準形状における前記特徴点の配置に基づき前記顔画像における前記特徴点の初期配置を決定し、前記顔画像と、前記基準形状と前記基準テクスチャーとにより規定される基準顔画像と、の比較結果に基づき前記特徴点の配置を更新することにより、前記顔画像における前記特徴部位の位置を特定する、画像処理装置。
【請求項９】
請求項８に記載の画像処理装置であって、
前記基準形状は、前記複数のサンプル顔画像における前記特徴部位の平均位置を表す平均形状であり、
前記基準テクスチャーは、前記平均形状に形状変換された前記複数のサンプル顔画像の前記特徴部位の位置における画素値の平均を表す平均テクスチャーである、画像処理装置。
【請求項１０】
顔画像に対して画像処理を行う画像処理方法であって、
（ａ）前記顔画像における顔向きを推定する工程と、
（ｂ）前記顔画像に対して、推定された顔向きが目標顔向きに近づくように顔向き変更処理を行う工程と、
（ｃ）前記顔向き変更処理後の前記顔画像に対して前記画像処理を行う工程と、
（ｄ）前記画像処理後の前記顔画像に対して、前記顔向き変更処理により変更された顔向きを元に戻す顔向き復元処理を行う工程と、を備える、画像処理方法。
【請求項１１】
顔画像に対して画像処理を行う画像処理のためのコンピュータープログラムであって、
前記顔画像における顔向きを推定する顔向き推定機能と、
前記顔画像に対して、推定された顔向きが目標顔向きに近づくように顔向き変更処理を行う顔向き変更機能と、
前記顔向き変更処理後の前記顔画像に対して前記画像処理を行う画像処理機能と、
前記画像処理後の前記顔画像に対して、前記顔向き変更処理により変更された顔向きを元に戻す顔向き復元処理を行う顔向き復元機能と、を、コンピューターに実現させる、コンピュータープログラム。
【請求項１２】
印刷装置であって、
顔画像における顔向きを推定する顔向き推定部と、
前記顔画像に対して、推定された顔向きが目標顔向きに近づくように顔向き変更処理を行う顔向き変更部と、
前記顔向き変更処理後の前記顔画像に対して画像処理を行う画像処理部と、
前記画像処理後の前記顔画像に対して、前記顔向き変更処理により変更された顔向きを元に戻す顔向き復元処理を行う顔向き復元部と、
前記顔向き復元処理後の前記顔画像を印刷する印刷部と、を備える、印刷装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像に対する画像処理を行う技術に関する。
【背景技術】
【０００２】
顔画像に対して種々の画像処理（例えば瞳の大きさを拡大する画像処理）を行う技術が知られている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３１９９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
顔画像における顔向きは様々である。従来、顔画像における顔向きによっては、顔画像に対する画像処理の結果が不自然なものとなってしまうなど、画像処理を効果的に実行できない場合があった。
【０００５】
本発明は、上記の課題を解決するためになされたものであり、顔画像における顔向きによらず効果的な画像処理を容易に実現することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題の少なくとも一部を解決するために、本発明は、以下の形態または適用例として実現することが可能である。
【０００７】
［適用例１］顔画像に対して画像処理を行う画像処理装置であって、
前記顔画像における顔向きを推定する顔向き推定部と、
前記顔画像に対して、推定された顔向きが目標顔向きに近づくように顔向き変更処理を行う顔向き変更部と、
前記顔向き変更処理後の前記顔画像に対して前記画像処理を行う画像処理部と、
前記画像処理後の前記顔画像に対して、前記顔向き変更処理により変更された顔向きを元に戻す顔向き復元処理を行う顔向き復元部と、を備える、画像処理装置。
【０００８】
この画像処理装置では、顔画像における顔向きが推定され、顔画像に対して推定された顔向きが目標顔向きに近づくように顔向き変更処理が行われ、顔向き変更処理後の顔画像に対して画像処理が行われ、画像処理後の顔画像に対して顔向き変更処理により変更された顔向きを元に戻す顔向き復元処理が行われるため、顔画像における顔向きがどのような顔向きであっても効果的な画像処理を実現することができると共に、画像処理の態様を顔向き毎に設定する必要がないため画像処理を容易に実現することができる。
【０００９】
［適用例２］適用例１に記載の画像処理装置であって、
前記目標顔向きは、正面向きである、画像処理装置。
【００１０】
この画像処理装置では、顔画像における顔向きがどのような顔向きであっても、顔向きが正面向きに近づくように顔画像に対して顔向き変更処理が行われた後、画像処理が実行されるため、正面向きの顔画像に対して実行されることが想定された画像処理を任意の顔向きの顔画像に対して実行しても良好な結果を得ることができる。
【００１１】
［適用例３］適用例１に記載の画像処理装置であって、
前記画像処理部は、複数種類の前記画像処理を実行可能であり、
前記画像処理装置は、さらに、
前記画像処理の種類と顔向きとの対応関係を記憶する記憶部を備え、
前記顔向き変更部は、前記対応関係において、前記画像処理部により実行される前記画像処理の種類に対応付けられた顔向きを、前記目標顔向きに設定する、画像処理装置。
【００１２】
この画像処理装置では、画像処理の種類と顔向きとの対応関係が記憶され、対応関係において画像処理の種類に対応付けられた顔向きが目標顔向きに設定されるため、多様な種類の画像処理を効果的にかつ容易に実現することができる。
【００１３】
［適用例４］適用例１ないし適用例３のいずれかに記載の画像処理装置であって、
前記画像処理部は、推定された顔向きが前記目標顔向きから比較的離れた第１の範囲にある場合には、前記顔向き変更処理後の前記顔画像に対して前記画像処理を行い、推定された顔向きが前記第１の範囲と比較して前記目標顔向きに近い第２の範囲にある場合には、前記顔向き変更処理が行われる前の前記顔画像に対して前記画像処理を行う、画像処理装置。
【００１４】
この画像処理装置では、推定された顔向きが目標顔向きから比較的離れた第１の範囲にある場合には顔向き変更処理後の顔画像に対して画像処理が行われる一方、推定された顔向きが第１の範囲と比較して目標顔向きに近い第２の範囲にある場合には顔向き変更処理が行われる前の顔画像に対して画像処理が行われるため、効率的な処理を実現することができる。
【００１５】
［適用例５］適用例１ないし適用例４のいずれかに記載の画像処理装置であって、さらに、
顔の所定の特徴部位の位置により規定される顔形状を基準形状と顔向きを含む少なくとも１つの顔形状特徴量とにより表す形状モデルと、前記基準形状を有する顔画像の画素値により規定される顔テクスチャーを基準テクスチャーと少なくとも１つの顔テクスチャー特徴量とにより表すテクスチャーモデルと、を用いて、前記顔画像における前記特徴部位の位置を特定する特徴位置特定部を備え、
前記顔向き変更部は、前記形状モデルにおける顔向きを表す前記顔形状特徴量を変更することにより、前記顔向き変更処理を実行する、画像処理装置。
【００１６】
この画像処理装置では、形状モデルにおける顔向きを表す顔形状特徴量を変更することにより顔向き変更処理を実現することができる。
【００１７】
［適用例６］適用例５に記載の画像処理装置であって、
前記特徴部位は、目の輪郭を含み、
前記画像処理は、前記顔画像において位置が特定された目の輪郭により規定される目領域を拡大する処理を含む、画像処理装置。
【００１８】
この画像処理装置では、目領域を拡大する画像処理を、顔画像における顔向きによらず効果的にかつ容易に実現することができる。
【００１９】
［適用例７］適用例５に記載の画像処理装置であって、
前記特徴部位は、目の輪郭を含み、
前記画像処理は、前記顔画像において位置が特定された目の輪郭により規定される左右の目領域の大きさを互いに近づける処理を含む、画像処理装置。
【００２０】
この画像処理装置では、左右の目領域の大きさを互いに近づける画像処理を、顔画像における顔向きによらず効果的にかつ容易に実現することができる。
【００２１】
［適用例８］適用例５ないし適用例７のいずれかに記載の画像処理装置であって、
前記形状モデルと前記テクスチャーモデルとは、前記特徴部位の位置を示す特徴点の配置が既知である複数のサンプル顔画像を対象とした統計的分析に基づき設定され、
前記特徴位置特定部は、前記基準形状における前記特徴点の配置に基づき前記顔画像における前記特徴点の初期配置を決定し、前記顔画像と、前記基準形状と前記基準テクスチャーとにより規定される基準顔画像と、の比較結果に基づき前記特徴点の配置を更新することにより、前記顔画像における前記特徴部位の位置を特定する、画像処理装置。
【００２２】
この画像処理装置では、特徴位置特定部による顔画像における特徴部位の位置の特定を実現することができる。
【００２３】
［適用例９］適用例８に記載の画像処理装置であって、
前記基準形状は、前記複数のサンプル顔画像における前記特徴部位の平均位置を表す平均形状であり、
前記基準テクスチャーは、前記平均形状に形状変換された前記複数のサンプル顔画像の前記特徴部位の位置における画素値の平均を表す平均テクスチャーである、画像処理装置。
【００２４】
この画像処理装置では、特徴位置特定部による顔画像における特徴部位の位置の特定を精度良く実現することができる。
【００２５】
［適用例１０］顔画像に対して画像処理を行う画像処理方法であって、
（ａ）前記顔画像における顔向きを推定する工程と、
（ｂ）前記顔画像に対して、推定された顔向きが目標顔向きに近づくように顔向き変更処理を行う工程と、
（ｃ）前記顔向き変更処理後の前記顔画像に対して前記画像処理を行う工程と、
（ｄ）前記画像処理後の前記顔画像に対して、前記顔向き変更処理により変更された顔向きを元に戻す顔向き復元処理を行う工程と、を備える、画像処理方法。
【００２６】
［適用例１１］顔画像に対して画像処理を行う画像処理のためのコンピュータープログラムであって、
前記顔画像における顔向きを推定する顔向き推定機能と、
前記顔画像に対して、推定された顔向きが目標顔向きに近づくように顔向き変更処理を行う顔向き変更機能と、
前記顔向き変更処理後の前記顔画像に対して前記画像処理を行う画像処理機能と、
前記画像処理後の前記顔画像に対して、前記顔向き変更処理により変更された顔向きを元に戻す顔向き復元処理を行う顔向き復元機能と、を、コンピューターに実現させる、コンピュータープログラム。
【００２７】
［適用例１２］印刷装置であって、
顔画像における顔向きを推定する顔向き推定部と、
前記顔画像に対して、推定された顔向きが目標顔向きに近づくように顔向き変更処理を行う顔向き変更部と、
前記顔向き変更処理後の前記顔画像に対して画像処理を行う画像処理部と、
前記画像処理後の前記顔画像に対して、前記顔向き変更処理により変更された顔向きを元に戻す顔向き復元処理を行う顔向き復元部と、
前記顔向き復元処理後の前記顔画像を印刷する印刷部と、を備える、印刷装置。
【００２８】
なお、本発明は、種々の態様で実現することが可能であり、例えば、画像処理方法および装置、画像補正方法および装置、印刷方法および装置、これらの方法または装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の実施例における画像処理装置としてのプリンター１００の構成を概略的に示す説明図である。
【図２】本実施例におけるＡＡＭ設定処理の流れを示すフローチャートである。
【図３】サンプル顔画像ＳＩの一例を示す説明図である。
【図４】サンプル顔画像ＳＩにおける特徴点ＣＰの設定方法の一例を示す説明図である。
【図５】サンプル顔画像ＳＩに設定された特徴点ＣＰの座標の一例を示す説明図である。
【図６】平均形状ｓ0の一例を示す説明図である。
【図７】サンプル顔画像ＳＩのワープＷの方法の一例を示す説明図である。
【図８】平均顔画像Ａ0（ｘ）の一例を示す説明図である。
【図９】本実施例における顔特徴位置特定処理の流れを示すフローチャートである。
【図１０】対象画像ＯＩにおける顔領域ＦＡの検出結果の一例を示す説明図である。
【図１１】本実施例における特徴点ＣＰの初期配置決定処理の流れを示すフローチャートである。
【図１２】対象画像ＯＩにおける特徴点ＣＰの仮配置の一例を示す説明図である。
【図１３】平均形状画像Ｉ（Ｗ（ｘ；ｐ））の一例を示す説明図である。
【図１４】対象画像ＯＩにおける特徴点ＣＰの初期配置の一例を示す説明図である。
【図１５】本実施例における特徴点ＣＰ配置更新処理の流れを示すフローチャートである。
【図１６】顔特徴位置特定処理の結果の一例を示す説明図である。
【図１７】本実施例における特定画像処理の流れを示すフローチャートである。
【図１８】基準顔向き情報ＳＤＩの内容の一例を示す説明図である。
【図１９】目領域の拡大方法を示す説明図である。
【発明を実施するための形態】
【００３０】
次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．実施例：
Ａ−１．画像処理装置の構成：
Ａ−２．ＡＡＭ設定処理：
Ａ−３．顔特徴位置特定処理：
Ａ−４．特定画像処理：
Ｂ．変形例：
【００３１】
Ａ．実施例：
Ａ−１．画像処理装置の構成：
図１は、本発明の実施例における画像処理装置としてのプリンター１００の構成を概略的に示す説明図である。本実施例のプリンター１００は、メモリーカードＭＣ等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したインクジェット式カラープリンターである。プリンター１００は、プリンター１００の各部を制御するＣＰＵ１１０と、ＲＯＭやＲＡＭによって構成された内部メモリー１２０と、ボタンやタッチパネルにより構成された操作部１４０と、液晶ディスプレイにより構成された表示部１５０と、プリンターエンジン１６０と、カードインターフェース（カードＩ／Ｆ）１７０と、を備えている。プリンター１００は、さらに、他の機器（例えばデジタルスチルカメラやパーソナルコンピューター）とのデータ通信を行うためのインターフェースを備えているとしてもよい。プリンター１００の各構成要素は、バスを介して互いに接続されている。
【００３２】
プリンターエンジン１６０は、印刷データに基づき印刷を行う印刷機構である。カードインターフェース１７０は、カードスロット１７２に挿入されたメモリーカードＭＣとの間でデータのやり取りを行うためのインターフェースである。なお、本実施例では、メモリーカードＭＣに画像データを含む画像ファイルが格納されている。
【００３３】
内部メモリー１２０には、画像処理部２００と、表示処理部３１０と、印刷処理部３２０と、が格納されている。画像処理部２００は、所定のオペレーティングシステムの下で、顔特徴位置特定処理や特定画像処理を実行するためのコンピュータープログラムである。本実施例の顔特徴位置特定処理は、顔画像における所定の特徴部位（例えば目尻や鼻頭やフェイスライン）の位置を特定（検出）する処理である。本実施例の特定画像処理は、選択された種類の画像処理を顔画像に対して行う処理である。顔特徴位置特定処理および特定画像処理については、後に詳述する。
【００３４】
画像処理部２００は、プログラムモジュールとして、顔特徴位置特定部２１０と、顔領域検出部２３０と、特定画像処理部２４０と、顔向き変更部２５０と、顔向き復元部２６０と、を含んでいる。顔特徴位置特定部２１０は、初期配置部２１１と、画像変換部２１２と、判定部２１３と、更新部２１４と、正規化部２１５と、を含んでいる。これら各部の機能については、後述の顔特徴位置特定処理および特定画像処理の説明において詳述する。
【００３５】
表示処理部３１０は、表示部１５０を制御して、表示部１５０上に処理メニューやメッセージ、画像等を表示させるディスプレイドライバである。印刷処理部３２０は、画像データから印刷データを生成し、プリンターエンジン１６０を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータープログラムである。ＣＰＵ１１０は、内部メモリー１２０から、これらのプログラム（画像処理部２００、表示処理部３１０、印刷処理部３２０）を読み出して実行することにより、これら各部の機能を実現する。
【００３６】
内部メモリー１２０には、また、ＡＡＭ情報ＡＭＩと、基準顔向き情報ＳＤＩと、が格納されている。ＡＡＭ情報ＡＭＩは、後述のＡＡＭ設定処理によって予め設定される情報であり、後述の顔特徴位置特定処理および特定画像処理において参照される。基準顔向き情報ＳＤＩは、複数の特定画像処理の種類のそれぞれについて基準顔向きを指定する情報であり、後述の特定画像処理において参照される。ＡＡＭ情報ＡＭＩおよび基準顔向き情報ＳＤＩの内容については、後に詳述する。
【００３７】
Ａ−２．ＡＡＭ設定処理：
図２は、本実施例におけるＡＡＭ設定処理の流れを示すフローチャートである。ＡＡＭ設定処理は、ＡＡＭ（アクティブアピアランスモデル（Ａｃｔｉｖｅ  Ａｐｐｅａｒａｎｃｅ  Ｍｏｄｅｌ））と呼ばれる画像のモデル化に用いられる形状モデルおよびテクスチャーモデルを設定する処理である。
【００３８】
ステップＳ１１０では、人物の顔を表す複数の画像がサンプル顔画像ＳＩとして設定される。図３は、サンプル顔画像ＳＩの一例を示す説明図である。図３に示すように、サンプル顔画像ＳＩは、個性、人種・性別、表情（怒り、笑い、困り、驚き等）、向き（正面向き、上向き、下向き、右向き、左向き等）といった種々の属性に関して互いに相違する画像が含まれるように設定される。サンプル顔画像ＳＩがそのように設定されれば、ＡＡＭによってあらゆる顔画像を精度良くモデル化することが可能となり、あらゆる顔画像を対象とした精度の良い顔特徴位置特定処理（後述）の実行が可能となる。なお、サンプル顔画像ＳＩは、学習顔画像とも呼ばれる。
【００３９】
ステップＳ１２０（図２）では、サンプル顔画像ＳＩのそれぞれにおいて、特徴点ＣＰが設定される。図４は、サンプル顔画像ＳＩにおける特徴点ＣＰの設定方法の一例を示す説明図である。特徴点ＣＰは、顔画像における所定の特徴部位の位置を示す点である。本実施例では、所定の特徴部位として、人物の顔における眉毛上の所定位置（例えば端点や４分割点等、以下同じ）、目の輪郭上の所定位置、鼻筋および小鼻の輪郭上の所定位置、上下唇の輪郭上の所定位置、顔の輪郭（フェイスライン）上の所定位置といった６８箇所の部位が設定されている。すなわち、本実施例では、人物の顔に共通して含まれる顔の器官（眉毛、目、鼻、口）および顔の輪郭における所定位置が、特徴部位として設定されている。図４に示すように、特徴点ＣＰは、各サンプル顔画像ＳＩにおいてオペレーターにより指定された６８個の特徴部位を表す位置に設定（配置）される。このように設定された各特徴点ＣＰは各特徴部位に対応しているため、顔画像における特徴点ＣＰの配置は顔の形状を規定していると表現することができる。
【００４０】
サンプル顔画像ＳＩにおける特徴点ＣＰの位置は、座標により特定される。図５は、サンプル顔画像ＳＩに設定された特徴点ＣＰの座標の一例を示す説明図である。図５において、ＳＩ（ｊ）（ｊ＝１，２，３・・・）は各サンプル顔画像ＳＩを示しており、ＣＰ（ｋ）（ｋ＝０，１，・・・，６７）は各特徴点ＣＰを示している。また、ＣＰ（ｋ）−Ｘは、特徴点ＣＰ（ｋ）のＸ座標を示しており、ＣＰ（ｋ）−Ｙは、特徴点ＣＰ（ｋ）のＹ座標を示している。特徴点ＣＰの座標としては、顔の大きさと顔の傾き（画像面内の傾き）と顔のＸ方向およびＹ方向の位置とのそれぞれについて正規化されたサンプル顔画像ＳＩにおける所定の基準点（例えば画像の左下の点）を原点とした座標が用いられる。また、本実施例では、１つのサンプル顔画像ＳＩに複数の人物の顔が含まれる場合が許容されており（例えばサンプル顔画像ＳＩ（２）には２人の顔が含まれている）、１つのサンプル顔画像ＳＩにおける各人物は人物ＩＤによって特定される。
【００４１】
ステップＳ１３０（図２）では、ＡＡＭの形状モデルが設定される。具体的には、各サンプル顔画像ＳＩにおける６８個の特徴点ＣＰの座標（Ｘ座標およびＹ座標）により構成される座標ベクトル（図５参照）に対する主成分分析が行われ、特徴点ＣＰの位置により特定される顔の形状ｓが下記の式（１）によりモデル化される。なお、形状モデルは、特徴点ＣＰの配置モデルとも呼ばれる。
【００４２】
【数１】
2010245721.tif 000003
【００４３】
上記式（１）において、ｓ0は平均形状である。図６は、平均形状ｓ0の一例を示す説明図である。図６（ａ）および（ｂ）に示すように、平均形状ｓ0は、サンプル顔画像ＳＩの各特徴点ＣＰについての平均位置（平均座標）により特定される平均的な顔の形状を表すモデルである。なお、本実施例では、平均形状ｓ0において、外周に位置する特徴点ＣＰ（フェイスラインおよび眉毛、眉間に対応する特徴点ＣＰ、図４参照）を結ぶ直線により囲まれた領域（図６（ｂ）においてハッチングを付して示す）を「平均形状領域ＢＳＡ」と呼ぶ。平均形状ｓ0においては、図６（ａ）に示すように、特徴点ＣＰを頂点とする複数の三角形領域ＴＡが、平均形状領域ＢＳＡをメッシュ状に分割するように設定されている。
【００４４】
形状モデルを表す上記式（１）において、ｓiは形状ベクトルであり、ｐiは形状ベクトルｓiの重みを表す形状パラメーターである。形状ベクトルｓiは、顔の形状ｓの特性を表すベクトルであり、具体的には、主成分分析により得られる第ｉ主成分に対応する固有ベクトルである。すなわち、分散のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数ｎの固有ベクトルが、形状ベクトルｓiとして採用される。本実施例では、最も分散の大きい第１主成分に対応する第１形状ベクトルｓ1は顔の左右振りにほぼ相関するベクトルとなっており、２番目に分散の大きい第２主成分に対応する第２形状ベクトルｓ2は顔の上下振りにほぼ相関するベクトルとなっている。また、３番目に分散の大きい第３主成分に対応する第３形状ベクトルｓ3は顔の形状の縦横比にほぼ相関するベクトルとなっており、４番目に分散の大きい第４主成分に対応する第４形状ベクトルｓ4は口の開きの程度にほぼ相関するベクトルとなっている。
【００４５】
上記式（１）に示すように、本実施例における形状モデルでは、特徴点ＣＰの配置を表す顔形状ｓが、平均形状ｓ0とｎ個の形状ベクトルｓiの線形結合との和としてモデル化される。形状モデルにおいて形状パラメーターｐiを適切に設定することにより、あらゆる画像における顔の形状ｓを再現することが可能である。なお、形状モデル設定ステップ（図２のステップＳ１３０）において設定された平均形状ｓ0および形状ベクトルｓiは、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納される。平均形状ｓ0は、本発明における基準形状に相当し、形状ベクトルｓiと形状パラメーターｐiとの積は、本発明における形状特徴量に相当する。
【００４６】
ステップＳ１４０（図２）では、ＡＡＭのテクスチャーモデルが設定される。具体的には、まず、各サンプル顔画像ＳＩに対して、サンプル顔画像ＳＩにおける特徴点ＣＰの配置が平均形状ｓ0における特徴点ＣＰの配置と等しくなるように、画像変換（以下、「ワープＷ」とも呼ぶ）が行われる。
【００４７】
図７は、サンプル顔画像ＳＩのワープＷの方法の一例を示す説明図である。各サンプル顔画像ＳＩにおいては、平均形状ｓ0と同様に、外周に位置する特徴点ＣＰにより囲まれた領域をメッシュ状に分割する複数の三角形領域ＴＡが設定されている。ワープＷは、複数の三角形領域ＴＡのそれぞれについてのアフィン変換の集合である。すなわち、ワープＷにおいては、サンプル顔画像ＳＩにおけるある三角形領域ＴＡの画像は、平均形状ｓ0における対応する三角形領域ＴＡの画像へとアフィン変換される。ワープＷにより、特徴点ＣＰの配置が平均形状ｓ0における特徴点ＣＰの配置と等しいサンプル顔画像ＳＩ（以下「サンプル顔画像ＳＩｗ」と表す）が生成される。
【００４８】
なお、各サンプル顔画像ＳＩｗは、平均形状領域ＢＳＡ（図７においてハッチングを付して示す）を内包する矩形枠を外周とし、平均形状領域ＢＳＡ以外の領域（以下「マスク領域ＭＡ」とも呼ぶ）がマスクされた画像として生成される。平均形状領域ＢＳＡとマスク領域ＭＡとを併せた画像領域を基準領域ＢＡと呼ぶ。また、各サンプル顔画像ＳＩｗは、例えば５６画素×５６画素のサイズの画像として正規化される。
【００４９】
次に、各サンプル顔画像ＳＩｗの画素群ｘのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析が行われ、顔のテクスチャー（「見え」とも呼ぶ）Ａ（ｘ）が下記の式（２）によりモデル化される。なお、画素群ｘは、平均形状領域ＢＳＡに位置する画素の集合である。
【００５０】
【数２】
2010245721.tif 000004
【００５１】
上記式（２）において、Ａ0（ｘ）は平均顔画像である。図８は、平均顔画像Ａ0（ｘ）の一例を示す説明図である。平均顔画像Ａ0（ｘ）は、ワープＷの後のサンプル顔画像ＳＩｗ（図７参照）の平均の画像である。すなわち、平均顔画像Ａ0（ｘ）は、サンプル顔画像ＳＩｗの平均形状領域ＢＳＡ内の画素群ｘのそれぞれについて画素値（輝度値）の平均をとることにより算出される画像である。従って、平均顔画像Ａ0（ｘ）は、平均的な顔の形状における平均的な顔のテクスチャー（見え）を表すモデルである。なお、平均顔画像Ａ0（ｘ）は、サンプル顔画像ＳＩｗと同様に、平均形状領域ＢＳＡとマスク領域ＭＡとで構成される。また、平均顔画像Ａ0（ｘ）においても、平均形状領域ＢＳＡとマスク領域ＭＡとを併せた画像領域を基準領域ＢＡと呼ぶ。
【００５２】
テクスチャーモデルを表す上記式（２）において、Ａi（ｘ）はテクスチャーベクトルであり、λiはテクスチャーベクトルＡi（ｘ）の重みを表すテクスチャーパラメーターである。テクスチャーベクトルＡi（ｘ）は、顔のテクスチャーＡ（ｘ）の特性を表すベクトルであり、具体的には、主成分分析により得られる第ｉ主成分に対応する固有ベクトルである。すなわち、分散のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数ｍの固有ベクトルが、テクスチャーベクトルＡi（ｘ）として採用される。本実施例では、最も分散の大きい第１主成分に対応する第１テクスチャーベクトルＡ1（ｘ）は、顔色の変化（性別の差とも捉えられる）にほぼ相関するベクトルとなっており、２番目に分散の大きい第２主成分に対応する第２テクスチャーベクトルＡ2（ｘ）は、影成分の変化（光源位置の変化とも捉えられる）にほぼ相関するベクトルとなっている。
【００５３】
上記式（２）に示すように、本実施例におけるテクスチャーモデルでは、顔の見えを表す顔のテクスチャーＡ（ｘ）が、平均顔画像Ａ0（ｘ）とｍ個のテクスチャーベクトルＡi（ｘ）の線形結合との和としてモデル化される。テクスチャーモデルにおいてテクスチャーパラメーターλiを適切に設定することにより、あらゆる画像における顔のテクスチャーＡ（ｘ）を再現することが可能である。なお、テクスチャーモデル設定ステップ（図２のステップＳ１４０）において設定された平均顔画像Ａ0（ｘ）およびテクスチャーベクトルＡi（ｘ）は、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納される。平均顔画像Ａ0（ｘ）は、本発明における基準テクスチャーに相当し、テクスチャーベクトルＡi（ｘ）とテクスチャーパラメーターλiとの積は、本発明におけるテクスチャー特徴量に相当する。
【００５４】
以上説明したＡＡＭ設定処理（図２）により、顔の形状をモデル化する形状モデルと、顔のテクスチャーをモデル化するテクスチャーモデルが設定される。設定された形状モデルとテクスチャーモデルとを組み合わせることにより、すなわち合成されたテクスチャーＡ（ｘ）に対して平均形状ｓ0から形状ｓへの変換（図７に示したワープＷの逆変換）を行うことにより、あらゆる顔画像の形状およびテクスチャーを再現することが可能である。
【００５５】
Ａ−３．顔特徴位置特定処理：
図９は、本実施例における顔特徴位置特定処理の流れを示すフローチャートである。本実施例における顔特徴位置特定処理は、ＡＡＭを利用して対象画像における特徴点ＣＰの配置を決定することにより、対象画像における顔の特徴部位の位置を特定する処理である。上述したように、本実施例では、ＡＡＭ設定処理（図２）において、人物の顔の器官（眉毛、目、鼻、口）および顔の輪郭における計６８箇所の所定位置が、特徴部位として設定されている（図４参照）。そのため、本実施例の顔特徴位置特定処理では、人物の顔の器官および顔の輪郭における所定位置を示す６８個の特徴点ＣＰの配置が決定される。
【００５６】
なお、顔特徴位置特定処理によって対象画像における特徴点ＣＰの配置が決定されると、対象画像における人物の顔の器官の形状・位置や顔の輪郭形状の特定が可能となる。従って、顔特徴位置特定処理の処理結果は、特定の表情（例えば笑顔や目を閉じた顔）の顔画像を検出するための表情判定や、特定の向き（例えば右向きや下向き）の顔画像を検出するための顔向き推定、顔の形状を変形する顔変形等に利用可能である。
【００５７】
ステップＳ２１０（図９）では、画像処理部２００（図１）が、顔特徴位置特定処理の対象となる対象画像を表す画像データを取得する。本実施例のプリンター１００では、カードスロット１７２にメモリーカードＭＣが挿入されると、メモリーカードＭＣに格納された画像ファイルのサムネイル画像が表示部１５０に表示される。ユーザーは、表示されたサムネイル画像を参照しつつ、操作部１４０を介して処理の対象となる１つまたは複数の画像を選択する。画像処理部２００は、選択された１つまたは複数の画像に対応する画像データを含む画像ファイルをメモリーカードＭＣより取得して内部メモリー１２０の所定の領域に格納する。なお、取得された画像データを対象画像データと呼び、対象画像データの表す画像を対象画像ＯＩと呼ぶものとする。
【００５８】
ステップＳ２２０（図９）では、顔領域検出部２３０（図１）が、対象画像ＯＩにおける顔の画像の少なくとも一部を含む画像領域を顔領域ＦＡとして検出する。顔領域ＦＡの検出は、公知の顔検出手法を用いて行うことができる。公知の顔検出手法としては、例えば、パターンマッチングによる手法や肌色領域抽出による手法、サンプル顔画像を用いた学習（例えばニューラルネットワークを用いた学習や、ブースティングを用いた学習、サポートベクターマシーンを用いた学習等）により設定される学習データを用いる手法等がある。
【００５９】
図１０は、対象画像ＯＩにおける顔領域ＦＡの検出結果の一例を示す説明図である。図１０には、対象画像ＯＩにおいて検出された顔領域ＦＡが示されている。本実施例では、おおよそ、顔の上下方向は額から顎まで、左右方向は両耳の外側まで含む矩形の領域が顔領域ＦＡとして検出されるような顔検出手法が用いられている。
【００６０】
なお、図１０に示した想定基準領域ＡＢＡは、平均顔画像Ａ0（ｘ）の全体領域である基準領域ＢＡ（図８参照）に対応すると想定される領域である。想定基準領域ＡＢＡは、検出された顔領域ＦＡに基づき、大きさ・傾き・上下および左右方向の位置のそれぞれについて顔領域ＦＡと所定の関係を有する領域に設定される。顔領域ＦＡと想定基準領域ＡＢＡとの所定の関係は、顔領域ＦＡに表された顔が平均的な顔である場合には想定基準領域ＡＢＡが基準領域ＢＡに対応することとなるように、顔領域ＦＡの検出に採用する顔検出手法の特性（どのような顔の範囲を顔領域ＦＡとして検出するか）を考慮して予め設定される。
【００６１】
なお、ステップＳ２２０（図９）において対象画像ＯＩから顔領域ＦＡが検出されなかった場合には、対象画像ＯＩに顔の画像が含まれていないとして顔特徴位置特定処理が終了されるか、あるいは顔領域ＦＡの検出処理が再度実行される。
【００６２】
ステップＳ２３０（図９）では、顔特徴位置特定部２１０（図１）が、対象画像ＯＩにおける特徴点ＣＰの初期配置を決定する。図１１は、本実施例における特徴点ＣＰの初期配置決定処理の流れを示すフローチャートである。特徴点ＣＰ初期配置決定処理のステップＳ３１０では、初期配置部２１１（図１）が、グローバルパラメーターとしての大きさ、傾き、位置（上下方向の位置および左右方向の位置）の値を種々変更して、対象画像ＯＩ上に特徴点ＣＰの仮配置を設定する。
【００６３】
図１２は、対象画像ＯＩにおける特徴点ＣＰの仮配置の一例を示す説明図である。図１２（ａ）および図１２（ｂ）には、対象画像ＯＩにおける特徴点ＣＰの仮配置をメッシュによって示している。すなわち、メッシュの各交点が特徴点ＣＰである。初期配置部２１１は、図１２（ａ）および図１２（ｂ）の中央に示すように、対象画像ＯＩの想定基準領域ＡＢＡ（図１０参照）に平均顔画像Ａ0（ｘ）（図８参照）を重ねた場合における平均顔画像Ａ0（ｘ）の特徴点ＣＰにより特定される仮配置（以下、「基準仮配置」とも呼ぶ）を設定する。
【００６４】
初期配置部２１１は、また、基準仮配置に対して、グローバルパラメーターの値を種々変更した仮配置を設定する。グローバルパラメーター（大きさ、傾き、上下方向の位置および左右方向の位置）を変更することは、特徴点ＣＰの仮配置を特定するメッシュに対して拡大・縮小、傾きの変更、並行移動を行うことに相当する。従って、初期配置部２１１は、図１２（ａ）に示すように、基準仮配置のメッシュに対して所定倍率で拡大または縮小したメッシュにより特定される仮配置（基準仮配置の下および上に示す）や、所定角度だけ時計回りまたは半時計回りに傾きを変更したメッシュにより特定される仮配置（基準仮配置の右および左に示す）を設定する。また、初期配置部２１１は、基準仮配置のメッシュに対して拡大・縮小および傾きの変更を組み合わせた変換を行ったメッシュにより特定される仮配置（基準仮配置の左上、左下、右上、右下に示す）も設定する。
【００６５】
また、図１２（ｂ）に示すように、初期配置部２１１は、基準仮配置のメッシュを所定量だけ上または下に並行移動したメッシュにより特定される仮配置（基準仮配置の上および下に示す）や、左または右に並行移動したメッシュにより特定される仮配置（基準仮配置の左および右に示す）を設定する。また、初期配置部２１１は、基準仮配置のメッシュに対して、上下および左右の並行移動を組み合わせた変換を行ったメッシュにより特定される仮配置（基準仮配置の左上、左下、右上、右下に示す）も設定する。
【００６６】
さらに、初期配置部２１１は、図１２（ａ）に示す基準仮配置以外の８つの仮配置のそれぞれにおけるメッシュに対して図１２（ｂ）に示す上下左右の並行移動が実行されたメッシュにより特定される仮配置も設定する。従って、本実施例では、基準仮配置と、基準仮配置におけるメッシュに対して４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）のそれぞれについての３段階の値の組み合わせに対応する合計８０種類（＝３×３×３×３―１）の変換を行うことにより設定される８０種類の仮配置と、の合計８１種類の仮配置が設定される。
【００６７】
なお、本実施例において、基準仮配置における平均顔画像Ａ0（ｘ）と対象画像ＯＩの想定基準領域ＡＢＡとの対応関係を「基準対応関係」と呼ぶものとする。仮配置の設定は、基準対応関係を基準として平均顔画像Ａ0（ｘ）と対象画像ＯＩとの一方に対する上述の合計８０種類の変換が行われた後の平均顔画像Ａ0（ｘ）と対象画像ＯＩとの対応関係（以下、「変換対応関係」とも呼ぶ）が設定され、基準対応関係および変換対応関係における平均顔画像Ａ0（ｘ）の特徴点ＣＰの配置を対象画像ＯＩにおける特徴点ＣＰの仮配置とすることにより実現されると表現できる。
【００６８】
ステップＳ３２０（図１１）では、画像変換部２１２（図１）が、設定された各仮配置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出する。図１３は、平均形状画像Ｉ（Ｗ（ｘ；ｐ））の一例を示す説明図である。平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、平均形状ｓ0を有する顔画像である。平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、入力画像における特徴点ＣＰの配置が平均形状ｓ0における特徴点ＣＰの配置と等しくなるような変換によって算出される。
【００６９】
平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出するための変換は、サンプル顔画像ＳＩｗ算出のための変換（図７参照）と同様に、三角形領域ＴＡ毎のアフィン変換の集合であるワープＷにより行われる。具体的には、対象画像ＯＩに配置された特徴点ＣＰ（図１２参照）によって対象画像ＯＩにおける平均形状領域ＢＳＡ（外周に位置する特徴点ＣＰにより囲まれた領域、図６参照）が特定され、平均形状領域ＢＳＡに対して三角形領域ＴＡ毎のアフィン変換が行われることにより、平均形状画像Ｉ（Ｗ（ｘ；ｐ））が算出される。本実施例では、平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、平均顔画像Ａ0（ｘ）と同様に平均形状領域ＢＳＡおよびマスク領域ＭＡにより構成され、平均顔画像Ａ0（ｘ）と同サイズの画像として算出される。図１３には、図１２（ａ）に示した９個の仮配置に対応する９個の平均形状画像Ｉ（Ｗ（ｘ；ｐ））の例を示している。
【００７０】
なお、上述したように、画素群ｘは、平均形状ｓ0における平均形状領域ＢＳＡに位置する画素の集合である。ワープＷ実行後の画像（平均形状ｓ0を有する顔画像）における画素群ｘに対応するワープＷ実行前の画像（対象画像ＯＩの平均形状領域ＢＳＡ）における画素群をＷ（ｘ；ｐ）と表す。平均形状画像は、対象画像ＯＩの平均形状領域ＢＳＡにおける画素群Ｗ（ｘ；ｐ）のそれぞれにおける輝度値により構成される画像であるため、Ｉ（Ｗ（ｘ；ｐ））と表される。
【００７１】
ステップＳ３３０（図１１）では、初期配置部２１１（図１）が、各平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ0（ｘ）との差分画像Ｉｅを算出する。特徴点ＣＰの仮配置は８１種類設定され、平均形状画像Ｉ（Ｗ（ｘ；ｐ））は８１個設定されているため、初期配置部２１１は８１個の差分画像Ｉｅを算出することとなる。
【００７２】
ステップＳ３４０（図１１）では、初期配置部２１１（図１）が、各差分画像Ｉｅのノルムを算出し、ノルムの値が最も小さい差分画像Ｉｅに対応する仮配置（以下「ノルム最小仮配置」とも呼ぶ）を、対象画像ＯＩにおける特徴点ＣＰの初期配置として設定する。ノルム最小仮配置は、平均顔画像Ａ0（ｘ）との相違の程度が最も小さい（最も近い、最も似ている）平均形状画像Ｉ（Ｗ（ｘ；ｐ））に対応する仮配置である。なお、ノルム最小仮配置を選択することは、上述した基準対応関係および８０種類の変換対応関係の中から、正規化処理後の平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ0（ｘ）との相違の程度が最も小さい対応関係を選択し、選択された対応関係における仮配置を選択することと同義である。特徴点ＣＰの初期配置処理により、対象画像ＯＩにおいて、特徴点ＣＰの配置の全体的な大きさ、傾き、位置（上下方向の位置および左右方向の位置）を規定するグローバルパラメーターの概略値が設定されたこととなる。
【００７３】
図１４は、対象画像ＯＩにおける特徴点ＣＰの初期配置の一例を示す説明図である。図１４では、対象画像ＯＩにおいて決定された特徴点ＣＰの初期配置をメッシュによって表現している。すなわち、メッシュの各交点が特徴点ＣＰである。
【００７４】
特徴点ＣＰ初期配置決定処理（図９のステップＳ２３０）が完了すると、顔特徴位置特定部２１０（図１）は、対象画像ＯＩにおける特徴点ＣＰの配置更新を行う（ステップＳ２４０）。図１５は、本実施例における特徴点ＣＰ配置更新処理の流れを示すフローチャートである。
【００７５】
特徴点ＣＰ配置更新処理（図１５）のステップＳ４１０では、画像変換部２１２（図１）が、対象画像ＯＩから平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出する。平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、平均形状ｓ0を有する顔画像である。平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、入力画像における特徴点ＣＰの配置が平均形状ｓ0における特徴点ＣＰの配置（図６参照）と等しくなるような変換によって算出される。
【００７６】
平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出するための変換は、サンプル顔画像ＳＩｗ算出のための変換（図７参照）と同様に、三角形領域ＴＡ毎のアフィン変換の集合であるワープＷにより行われる。具体的には、対象画像ＯＩに配置された特徴点ＣＰ（図１４参照）によって対象画像ＯＩにおける平均形状領域ＢＳＡ（外周に位置する特徴点ＣＰにより囲まれた領域、図６参照）が特定され、平均形状領域ＢＳＡに対して三角形領域ＴＡ毎のアフィン変換が行われることにより、平均形状画像Ｉ（Ｗ（ｘ；ｐ））が算出される。本実施例では、平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、平均顔画像Ａ0（ｘ）と同様に平均形状領域ＢＳＡおよびマスク領域ＭＡにより構成され、平均顔画像Ａ0（ｘ）と同サイズの画像として算出される。
【００７７】
ステップＳ４１２（図１５）では、正規化部２１５（図１）が、平均顔画像Ａ0（ｘ）の輝度値分布を表す指標値を参照して、平均形状画像Ｉ（Ｗ（ｘ；ｐ））を正規化する。本実施例では、平均顔画像Ａ0（ｘ）の平均形状領域ＢＳＡ（図８参照）における輝度値分布を表す指標値としての平均値および分散値を示す情報が、ＡＡＭ情報ＡＭＩに含まれている。正規化部２１５は、平均形状画像Ｉ（Ｗ（ｘ；ｐ））の平均形状領域ＢＳＡにおける輝度値の平均値および分散値を算出し、算出された平均値および分散値が平均顔画像Ａ0（ｘ）の輝度値の平均値および分散値に等しくなるように、平均形状画像Ｉ（Ｗ（ｘ；ｐ））の平均形状領域ＢＳＡに対する画像変換（正規化処理）を行う。
【００７８】
ステップＳ４２０（図１５）では、顔特徴位置特定部２１０（図１）が、正規化処理後の平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ0（ｘ）との差分画像Ｉｅを算出する。ステップＳ４３０では、判定部２１３（図１）が、差分画像Ｉｅに基づき、特徴点ＣＰの配置更新処理が収束したか否かを判定する。判定部２１３は、差分画像Ｉｅのノルムを算出し、ノルムの値が予め設定された閾値より小さい場合には収束したと判定し、ノルムの値が閾値以上の場合には未だ収束していないと判定する。差分画像Ｉｅのノルムは、平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ0（ｘ）との相違の程度を表す指標値である。
【００７９】
なお、ステップＳ４３０の収束判定において、判定部２１３は、算出された差分画像Ｉｅのノルムの値が前回のステップＳ４３０において算出された値よりも小さい場合には収束したと判定し、前回値以上である場合には未だ収束していないと判定するものとしてもよい。あるいは、判定部２１３は、閾値による判定と前回値との比較による判定とを組み合わせて収束判定を行うものとしてもよい。例えば、判定部２１３は、算出されたノルムの値が、閾値より小さく、かつ、前回値より小さい場合にのみ収束したと判定し、それ以外の場合には未だ収束していないと判定するものとしてもよい。
【００８０】
ステップＳ４３０の収束判定において未だ収束していないと判定された場合には、更新部２１４（図１）が、パラメーター更新量ΔＰを算出する（ステップＳ４４０）。パラメーター更新量ΔＰは、４個のグローバルパラメーター（全体としての大きさ、傾き、Ｘ方向位置、Ｙ方向位置）およびｎ個の形状パラメーターｐi（式（１）参照）の値の変更量を意味している。なお、特徴点ＣＰの初期配置直後においては、グローバルパラメーターは、特徴点ＣＰ初期配置決定処理（図１１）において決定された値が設定されている。また、このときの特徴点ＣＰの初期配置と平均形状ｓ0の特徴点ＣＰの配置との相違は、全体としての大きさ、傾き、位置の相違に限られるため、形状モデルにおける形状パラメーターｐiの値はすべてゼロである。
【００８１】
パラメーター更新量ΔＰは、下記の式（３）により算出される。すなわち、パラメーター更新量ΔＰは、アップデートマトリックスＲと差分画像Ｉｅとの積である。
【００８２】
【数３】
2010245721.tif 000005
【００８３】
式（３）におけるアップデートマトリックスＲは、差分画像Ｉｅに基づきパラメーター更新量ΔＰを算出するために予め学習により設定されたＭ行Ｎ列のマトリックスであり、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納されている。本実施例では、アップデートマトリックスＲの行数Ｍは、グローバルパラメーターの数（４個）と形状パラメーターｐiの数（ｎ個）との和（（４＋ｎ）個）に等しく、列数Ｎは、平均顔画像Ａ0（ｘ）（図８）の平均形状領域ＢＳＡ内の画素数に等しい。アップデートマトリックスＲは、下記の式（４）および（５）により算出される。
【００８４】
【数４】
2010245721.tif 000006
【数５】
2010245721.tif 000007
【００８５】
ステップＳ４５０（図１５）では、更新部２１４（図１）が、算出されたパラメーター更新量ΔＰに基づきパラメーター（４個のグローバルパラメーターおよびｎ個の形状パラメーターｐi）を更新する。これにより、対象画像ＯＩにおける特徴点ＣＰの配置が更新される。ステップＳ４５０のパラメーター更新の後には、再度、特徴点ＣＰの配置が更新された対象画像ＯＩからの平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出（ステップＳ４１０）、差分画像Ｉｅの算出（ステップＳ４２０）、差分画像Ｉｅに基づく収束判定（ステップＳ４３０）が行われる。再度の収束判定においても収束していないと判定された場合には、さらに、差分画像Ｉｅに基づくパラメーター更新量ΔＰの算出（ステップＳ４４０）、パラメーター更新による特徴点ＣＰの配置更新（ステップＳ４５０）が行われる。
【００８６】
図１５のステップＳ４１０からＳ４５０までの処理が繰り返し実行されると、対象画像ＯＩにおける各特徴部位に対応する特徴点ＣＰの位置は実際の特徴部位の位置（正解位置）に全体として近づいていき、ある時点で収束判定（ステップＳ４３０）において収束したと判定される。収束判定において収束したと判定されると、顔特徴位置特定処理が完了する（ステップＳ４６０）。このとき設定されているグローバルパラメーターおよび形状パラメーターｐiの値により特定される特徴点ＣＰの配置が、最終的な対象画像ＯＩにおける特徴点ＣＰの配置として決定される。
【００８７】
図１６は、顔特徴位置特定処理の結果の一例を示す説明図である。図１６には、対象画像ＯＩにおいて最終的に決定された特徴点ＣＰの配置が示されている。特徴点ＣＰの配置により、対象画像ＯＩにおける特徴部位（人物の顔の器官（眉毛、目、鼻、口）および顔の輪郭における所定位置）の位置が特定され、対象画像ＯＩにおける人物の顔の器官の形状・位置や顔の輪郭形状の特定が可能となる。
【００８８】
以上説明したように、本実施例の顔特徴位置特定処理（図９）では、対象画像ＯＩにおける特徴点ＣＰの初期配置が決定され、その後、対象画像ＯＩから算出された平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ0（ｘ）との比較結果に基づき対象画像ＯＩにおける特徴点ＣＰの配置が更新される。すなわち、特徴点ＣＰの初期配置決定処理（図１１）において、特徴点ＣＰの配置の全体的な大きさ、傾き、位置（上下方向の位置および左右方向の位置）を規定するグローバルパラメーターの概略値が決定され、その後の特徴点ＣＰ配置更新処理（図１５）において、差分画像Ｉｅに基づくパラメーター更新に伴い特徴点ＣＰの配置が更新されて、対象画像ＯＩにおける最終的な特徴点ＣＰの配置が決定される。このように、本実施例では、まず初期配置決定処理において特徴点ＣＰの配置全体の変動が大きい（分散が大きい）グローバルパラメーターの概略値を決定することにより、顔特徴位置特定処理の効率化・高速化および精度の向上（いわゆるローカルな最適解ではなくグローバルな最適解に基づく特徴点ＣＰの配置の最終決定）を実現することができる。
【００８９】
また、本実施例の特徴点ＣＰ配置更新処理（図１５）では、対象画像ＯＩから算出された平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ0（ｘ）との差分画像Ｉｅの算出（図１５のステップＳ４２０）の前に、平均形状画像Ｉ（Ｗ（ｘ；ｐ））の平均形状領域ＢＳＡと平均顔画像Ａ0（ｘ）の平均形状領域ＢＳＡとの間で輝度値の平均値および分散値が互いに等しくなるように、平均形状画像Ｉ（Ｗ（ｘ；ｐ））に対する画像変換（正規化処理）が行われる（ステップＳ４１２）。これにより、個々の対象画像ＯＩの輝度値分布の特徴が差分画像Ｉｅに与える影響が抑制され、差分画像Ｉｅに基づく収束判定（ステップＳ４３０）の精度が向上し、ひいては顔特徴位置特定処理の精度が向上する。また、収束判定において、上述したように、絶対閾値を用いた判定によっても高精度な判定が可能となる。従って、例えば差分画像Ｉｅのノルムの値について前回値と比較することにより収束判定を行う場合と比較して、処理の高速化を図ることができる。
【００９０】
Ａ−４．特定画像処理：
図１７は、本実施例における特定画像処理の流れを示すフローチャートである。本実施例における特定画像処理は、上述した顔特徴位置特定処理（図９）によって特徴点ＣＰの配置が特定された対象画像ＯＩに対して、ユーザーにより選択された種類の特定画像処理を行う処理である。
【００９１】
ステップＳ６１０（図１７）では、特定画像処理部２４０（図１）が、対象画像ＯＩに対して実行すべき特定画像処理の種類を設定する。ステップＳ６２０では、特定画像処理部２４０が、基準顔向き情報ＳＤＩを参照して、設定された特定画像処理の種類に応じた目標顔向きを設定する。
【００９２】
図１８は、基準顔向き情報ＳＤＩの内容の一例を示す説明図である。本実施例では、プリンター１００の特定画像処理部２４０が実行可能な特定画像処理の種類が複数設定されている。具体的には、特定画像処理部２４０は、目拡大処理と、目バランス調整処理と、表情変更処理と、化粧シミュレーション処理と、整形シミュレーション処理と、を実行可能である。本実施例における目拡大処理は、対象画像ＯＩにおける目の画像部分（目領域）を拡大する処理であり、具体的には、左右の目のそれぞれについて、目の輪郭を示す６つの特徴点ＣＰ（図４参照）を移動して、６つの特徴点ＣＰにより区画される領域（目領域）が拡大するような画像変形を行う処理である。目拡大処理については、後に詳述する。目バランス調整処理は、対象画像ＯＩにおける左右の目の画像部分（目領域）の大きさを互いに近づけるように調整（拡大または縮小）する処理であり、目拡大処理と同様に、目の輪郭を示す６つの特徴点ＣＰを移動して目領域が拡大または縮小するような画像変形を行う処理である。表情変更処理は、対象画像ＯＩにおける顔の表情を所定の表情（例えば笑顔）に変更する処理であり、例えば、口の輪郭を示す特徴点ＣＰを移動して口角が上に上がるような画像変形を行う処理である。化粧シミュレーション処理は、対象画像ＯＩにおける顔に所定の化粧（例えば口紅を塗ったり、頬紅をつけたりする化粧）を施した結果の予測画像を生成する処理であり、具体的には、化粧を施す部分に対応する画素の値を化粧の態様に応じた値に変更する処理である。整形シミュレーション処理は、対象画像ＯＩにおける顔に所定の整形（例えば鼻筋を通したり、あごを細くしたりする整形）を施した結果の予測画像を生成する処理であり、例えば、鼻の輪郭を示す特徴点ＣＰを移動して鼻筋が通るように画像変形を行ったり、あごのラインを示す特徴点ＣＰを移動してあごが細くなるように（いわゆる小顔になるように）画像変形を行ったりする処理である。
【００９３】
本実施例では、複数の特定画像処理の種類のそれぞれについて、基準顔向きが設定されている。基準顔向きは、特定画像処理の種類のそれぞれについて効果的な画像処理を実現するために設定された基準となる顔向きである。例えば、図１８に示すように、目拡大処理については、自然な画像処理結果が得られる目領域の拡大率や拡大の方向は顔の左右方向の傾きや上下方向の傾きに応じて異なると考えられる。そのため、本実施例では、目拡大処理の基準顔向きとして、左右方向の傾きや上下方向の傾きの無い「正面向き」が設定されている。同様に、目バランス調整処理や表情変更処理、口紅を塗る化粧シミュレーション処理についても、基準顔向きは「正面向き」と設定されている。
【００９４】
また、図１８に示すように、頬紅をつける化粧シミュレーション処理や顎を細くする整形シミュレーション処理については、化粧や整形をシミュレートする方法や程度を設定するのに適した顔向きと考えられる「左４５度向き」または「右４５度向き」の顔向きが、基準顔向きとして設定されている。また、鼻筋を通す整形シミュレーション処理については、整形をシミュレートする方法や程度を設定するのに適した顔向きと考えられる「左７５度向き」または「右７５度向き」の顔向きが、基準顔向きとして設定されている。
【００９５】
特定画像処理部２４０は、実行可能な特定画像処理の種類を示すメニュー画面を、表示処理部３１０により表示部１５０（図１）に表示させ、操作部１４０を介してユーザーにより選択された特定画像処理の種類を、対象画像ＯＩに対して実行すべき特定画像処理の種類として設定する（図１７のステップＳ６１０）。また、特定画像処理部２４０は、基準顔向き情報ＳＤＩにおいて、設定された特定画像処理種類に対応付けられた基準顔向きを、目標顔向きとして設定する（ステップＳ６２０）。以下では、主に、目拡大処理が実行すべき特定画像処理の種類として設定され、目拡大処理に対応付けられた基準顔向きである「正面向き」が目標顔向きとして設定された場合について説明を行う。
【００９６】
ステップＳ６３０（図１７）では、特定画像処理部２４０（図１）が、対象画像ＯＩにおける顔向きと目標顔向きとの近似判定を行う。近似判定は、後述の顔向き変更および顔向き復元処理（ステップＳ６４０およびＳ６６０）の実行要否を判断するために行われる。すなわち、本実施例では、顔向き変更・復元処理は、対象画像ＯＩにおける顔向きが目標顔向きにある程度近いと判定された場合には実行されず、対象画像ＯＩにおける顔向きが目標顔向きからある程度離れている（近くない）と判定された場合にのみ実行される。
【００９７】
具体的には、特定画像処理部２４０は、上述した顔特徴位置特定処理（図９）において特定された対象画像ＯＩの形状ｓ（上記式（１）参照）における形状パラメーターｐiの内、顔の左右振りにほぼ相関する第１形状ベクトルｓ1の形状パラメーターｐiの値と、顔の上下振りにほぼ相関する第２形状ベクトルｓ2の形状パラメーターｐ2の値と、に基づき、対象画像ＯＩにおける顔向きを推定する。本実施例では、第１形状ベクトルｓ1の形状パラメーターｐiの値と顔の左右振りの角度との対応関係と、第２形状ベクトルｓ2の形状パラメーターｐ2の値と顔の上下振りの角度との対応関係と、が予め設定されている。ＡＡＭ設定処理（図２）において設定された平均顔画像Ａ0（ｘ）（図８）は正面向きの顔画像であるため、形状パラメーターｐiおよび形状パラメーターｐ2の値がゼロである場合には、対象画像ＯＩの顔向きは左右振りおよび上下振りの無い「正面向き」であると推定される。また、形状パラメーターｐiの絶対値が大きいほど対象画像ＯＩの顔の左右振りの角度が大きいと推定され、形状パラメーターｐ2の絶対値が大きいほど対象画像ＯＩの顔の上下振りの角度が大きいと推定される。なお、このとき、特定画像処理部２４０は、本発明における顔向き推定部として機能する。
【００９８】
次に、特定画像処理部２４０は、左右上下のすべての方向について、目標顔向きに対する対象画像ＯＩの顔向きの振りが５度以内の場合には、対象画像ＯＩの顔向きは目標顔向きに近いと判定する。一方、特定画像処理部２４０は、左右上下の少なくとも１つの方向について、目標顔向きに対する対象画像ＯＩの顔向きの振りが５度を超える場合には、対象画像ＯＩの顔向きは目標顔向きから離れている（近くない）と判定する。
【００９９】
対象画像ＯＩの顔向きが目標顔向きから離れていると判定された場合には（ステップＳ６３０：Ｎｏ）、顔向き変更部２５０（図１）が、対象画像ＯＩにおける顔向きを目標顔向きに近づけるように顔向き変更処理を行う（ステップＳ６４０）。具体的には、顔向き変更部２５０は、対象画像ＯＩの形状ｓ（上記式（１）参照）における第１形状ベクトルｓ1の形状パラメーターｐiの値と第２形状ベクトルｓ2の形状パラメーターｐ2の値とを、目標顔向きに対応する値に変更する。例えば、ステップＳ６１０で実行すべき特定画像処理の種類として目拡大処理が設定された場合には、目標顔向きが「正面向き」に設定されるため（図１８参照）、形状パラメーターｐiの値と第２形状ベクトルｓ2の形状パラメーターｐ2の値とが、共に「正面向き」に対応する値であるゼロに変更される。パラメーター値変更後の形状ｓにより、対象画像ＯＩにおける顔向きが目標顔向きに変更された場合における、対象画像ＯＩの各特徴点ＣＰの座標が特定される。なお、本実施例における顔向き変更処理では、顔向きが変更された対象画像ＯＩ（テクスチャーを有する画像）が生成される訳ではなく、顔向きが変更された場合における対象画像ＯＩの各特徴点ＣＰの変更後の座標の特定が行われるのみである。
【０１００】
ステップＳ６５０（図１７）では、特定画像処理部２４０（図１）が、顔向き変更処理後の対象画像ＯＩに対して特定画像処理を実行する。例えば、ステップＳ６１０で実行すべき特定画像処理の種類として目拡大処理が設定された場合には、目の輪郭に対応する特徴点ＣＰの位置を変更することによる目領域の拡大が行われる。
【０１０１】
図１９は、目領域の拡大方法を示す説明図である。図１９（ａ）ないし（ｃ）のそれぞれには、左目および右目のそれぞれについて、目の輪郭を示す６つの特徴点ＣＰと、６つの特徴点ＣＰの中心点ＥＣ（ＥＣ（ｒ）およびＥＣ（ｌ））と、を示している。本実施例における目拡大処理では、図１９（ａ）に示すように、中心点ＥＣから６つの特徴点ＣＰのそれぞれへのベクトルを一定の拡大率で拡大した拡大ベクトルの先端の点を、変更特徴点ＣＰｃとして算出する。算出された６つの変更特徴点ＣＰｃにより区画される領域（破線で囲んで示す領域）が目拡大処理後の目領域となる。
【０１０２】
なお、目拡大処理において、図１９（ｂ）に示すように、左目および右目のそれぞれについて、目頭に相当する特徴点ＣＰ（ＣＰ（ｉ））の位置は変更せず、残りの５つの特徴点ＣＰのみの位置を変更するものとしてもよい。また、図１９（ｃ）に示すように、左目および右目のそれぞれについて、目頭に相当する特徴点ＣＰ（ＣＰ（ｉ））および目尻に相当する特徴点ＣＰ（ＣＰ（ｏ））の位置は変更せず、残りの４つの特徴点ＣＰのみの位置を変更するものとしてもよい。目拡大処理を図１９（ｂ）や図１９（ｃ）に示す態様によって実行することにより、例えば黒目の位置が変更されることによって処理結果が不自然なものとなることを抑制することができる。また、図１９（ａ）ないし（ｃ）のいずれの場合においても、中心点ＥＣから６つの特徴点ＣＰのそれぞれへのベクトルを、特徴点ＣＰ毎（すなわちベクトル毎）に個別に設定された拡大率で拡大した拡大ベクトルの先端の点を、変更特徴点ＣＰｃとして算出するものとしてもよい。そのようにすれば、より自然で好ましい目拡大処理を実現することができる。
【０１０３】
なお、ステップＳ６５０（図１７）においては、実際に対象画像ＯＩの目領域全体についての画素値を求める処理が実行されるわけではなく、変更特徴点ＣＰｃの座標算出と変更特徴点ＣＰｃの座標を反映した形状ｓの算出とが実行される。変更特徴点ＣＰｃの座標算出と変更特徴点ＣＰｃの座標を反映した形状ｓの算出とは、特定画像処理（の一部）である。
【０１０４】
ステップＳ６６０（図１７）では、顔向き復元部２６０（図１）が、対象画像ＯＩにおける顔向き復元処理を行う。具体的には、顔向き復元部２６０は、変更特徴点ＣＰｃの座標を反映した対象画像ＯＩの形状ｓにおける第１形状ベクトルｓ1の形状パラメーターｐiの値と第２形状ベクトルｓ2の形状パラメーターｐ2の値とを、対象画像ＯＩの元の顔向きに対応する値に復元する。パラメーター値復元後の形状ｓにより、対象画像ＯＩの当初の顔向きにおける、変更特徴点ＣＰｃを含む各特徴点ＣＰの座標が特定される。例えば、ステップＳ６１０で実行すべき特定画像処理の種類として目拡大処理が設定された場合には、顔向きが当初の顔向きであり、目に対応する特徴点ＣＰの位置変更結果が反映された対象画像ＯＩにおける各特徴点ＣＰの座標が特定される。
【０１０５】
一方、ステップＳ６３０（図１７）において、対象画像ＯＩの顔向きが目標顔向きに近いと判定された場合には（ステップＳ６３０：Ｙｅｓ）、顔向き変更処理（ステップＳ６４０）は実行されず、対象画像ＯＩに対する特定画像処理（目の輪郭に対応する特徴点ＣＰの位置の変更）が実行される（ステップＳ６７０）。ステップＳ６７０の処理内容は、ステップＳ６５０の処理内容と同じである。また、ステップＳ６７０の処理が完了すると、当然、顔向き復元処理（ステップＳ６６０）は実行されず、処理はステップＳ６８０に進む。
【０１０６】
ステップＳ６８０（図１７）では、特定画像処理部２４０（図１）が、画像処理後対象画像ＯＩｃを生成する。画像処理後対象画像ＯＩｃは、特定画像処理実行後の対象画像ＯＩである。例えば、ステップＳ６１０で実行すべき特定画像処理の種類として目拡大処理が設定された場合には、ステップＳ６７０以前の処理によって、特定画像処理実行後の特徴点ＣＰ（変更特徴点ＣＰｃを含む）の位置が特定されている。従って、ステップＳ６８０では、元の対象画像ＯＩにおいて、特定画像処理実行後の目に対応する特徴点ＣＰの位置により規定される目領域（処理後目領域）が特定され、元の対象画像ＯＩにおける目に対応する特徴点ＣＰにより特定される目領域の画像（処理前目画像）が、処理後目領域に適合する画像に変換される。この変換は、三角形領域ＴＡ（図６参照）毎のアフィン変換により実行される。
【０１０７】
なお、画像処理後対象画像ＯＩｃの生成の際には、元の対象画像ＯＩにおいて目領域を囲む三角形領域ＴＡの画像を目領域が拡大される分だけ縮小するようなアフィン変換を行ってもよい。このようにすれば、目拡大処理において、目領域を囲む三角形領域ＴＡの画像が、拡大した目領域の画像によって上書きされることがない。
【０１０８】
以上説明したように、本実施例の特定画像処理では、対象画像ＯＩにおける顔向きが推定され、推定された顔向きが目標顔向きから離れている（近くない）と判定された場合には、顔向きを目標顔向きに近づけるような顔向き変更処理が行われた後の対象画像ＯＩに対して特定画像処理（例えば目拡大処理に関する変更特徴点ＣＰｃの座標算出と変更特徴点ＣＰｃの座標を反映した形状ｓの算出）が実行され、その後、顔向きを元に戻す顔向き復元処理が実行される。目標顔向きは、特定画像処理の種類のそれぞれについて効果的な画像処理を実現するために設定された基準顔向きに基づき設定されるため、本実施例では、元の対象画像ＯＩの顔向きがどのような顔向きであっても効果的な特定画像処理を実現することができる。例えば、正面向きの顔画像に対して実行されることが想定された画像処理を任意の顔向きの顔画像に対して実行しても良好な結果を得ることができる。また、本実施例では、好ましい特定画像処理結果を得るために、特定画像処理の態様（例えば図１９に示した目領域の拡大方法や拡大程度）を顔向き毎に設定する必要はなく、１つの基準顔向きについてのみ設定すればよいため、効果的な特定画像処理を容易に実現することができる。
【０１０９】
また、本実施例では、特定画像処理の種類毎に基準顔向きが設定され、基準顔向きが目標顔向きに設定されるため、多様な種類の特定画像処理を効果的にかつ容易に実現することができる。また、本実施例では、推定された対象画像ＯＩにおける顔向きが目標顔向きに近いと判定された場合には、顔向き変更処理および顔向き復元処理が実行されることなく、当初の対象画像ＯＩに対して特定画像処理が実行されるため、効率的な処理を実現することができる。
【０１１０】
Ｂ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【０１１１】
Ｂ１．変形例１：
上記実施例では、推定された対象画像ＯＩにおける顔向きと目標顔向きとの近似判定（図１７のステップＳ６３０）において、対象画像ＯＩにおける顔向きが目標顔向きから離れている（近くない）と判定された場合にのみ顔向き変更処理および顔向き復元処理が実行されるものとしているが、近似判定を省略し、すべての場合において顔向き変更処理および顔向き復元処理が実行されるものとしてもよい。
【０１１２】
また、上記実施例の近似判定における閾値はあくまで一例であり、閾値は任意に変更可能である。また、近似判定において、対象画像ＯＩにおける顔向きが目標顔向きから相当程度離れている場合には、対象画像ＯＩは設定された特定画像処理の種類の対象としては適切ではないとして、処理が中止されるとしてもよい。
【０１１３】
また、上記実施例では、基準顔向き情報ＳＤＩ（図１８）において特定画像処理の種類に対応付けられた基準顔向きが目標顔向きに設定されるとしているが、特定画像処理の種類によらず、一律に所定の顔向き（例えば正面向き）が目標顔向きに設定されるとしてもよい。また、図１８に示した基準顔向き情報ＳＤＩの内容はあくまで一例であり、特定画像処理の種類と基準顔向きとの対応関係は変更可能である。また、特定画像処理部２４０は、図１８に示した特定画像処理の種類をすべて実行可能である必要はないし、図１８に示した以外の特定画像処理の種類を実行可能であるとしてもよい。例えば、特定画像処理部２４０は、顔領域ＦＡ（図１０参照）に基づき変形領域を設定し、変形領域を分割点を頂点とする複数の小領域に分割し、分割点を移動して小領域を変形することにより変形領域の画像変形（例えば小顔にする画像変形）を行う画像処理を実行可能であるとしてもよい。この場合にも、顔向きを推定し、顔向きを例えば正面向きに変更した後に画像処理を実行するものとすれば、画像変形を行う画像処理を効果的に実現することができる。
【０１１４】
また、上記実施例では、顔向き変更処理および顔向き復元処理を、対象画像ＯＩの形状ｓにおける左右振りにほぼ相関する第１形状ベクトルｓ1の形状パラメーターｐiの値と、上下振りにほぼ相関する第２形状ベクトルｓ2の形状パラメーターｐ2の値と、を変更することにより実行しているが、形状パラメーターｐiの値と形状パラメーターｐ2の値とのいずれか一方のみを変更することにより実行するとしてもよい。すなわち、顔向き変更処理および顔向き復元処理を、左右方向および上下方向の一方のみに対して実行するとしてもよい。また、顔向き変更処理は、対象画像ＯＩにおける顔向きを目標顔向きに近づけるように変更すればよく、必ずしも目標顔向きに一致させる必要はない。
【０１１５】
また、対象画像ＯＩにおける顔向きの推定や、顔向き変更処理および顔向き復元処理は、必ずしもＡＡＭの形状モデルを用いて実行する必要はなく、他の方法によって実行するものとしてもよい。
【０１１６】
また、図１９に示した目拡大の方法はあくまで一例であり、他の方法によって目拡大処理を行うとしてもよい。また、特定画像処理の種類として目拡大や目バランス調整が設定された場合に、対象画像ＯＩにおける目領域の大きさに基づき特定画像処理の内容を変更するものとしてもよい。例えば、特定画像処理の種類として目拡大が設定された場合に、対象画像ＯＩの目領域の大きさが所定の閾値より大きい場合には、特定画像処理としての目拡大の実行を中止するとしてもよいし、目拡大の拡大率をより小さな値に調整するとしてもよい。また、特定画像処理の種類として目バランス調整が設定された場合に、対象画像ＯＩの目領域の大きさが所定の閾値より小さい場合には、特定画像処理としての目バランス調整の実行を中止するとしてもよい。
【０１１７】
Ｂ２．変形例２：
上記実施例では、ＡＡＭを利用して顔特徴位置特定処理（図９）が実行されるとしているが、顔特徴位置特定処理は必ずしもＡＡＭを利用して実行される必要はなく、他の方法により実行されるとしてもよい。
【０１１８】
また、特徴点ＣＰ配置更新処理（図１５）において正規化処理（ステップＳ４１２）が実行されるとしているが、正規化処理は必ずしも実行される必要はない。
【０１１９】
Ｂ３．変形例３：
上記実施例では、特徴点ＣＰ初期配置決定処理（図９のステップＳ２３０）において、平均顔画像群のそれぞれと対象画像ＯＩとの差分画像Ｉｅや、平均顔画像Ａ0（ｘ）と複数の平均形状画像Ｉ（Ｗ（ｘ；ｐ））のそれぞれとの差分画像Ｉｅが算出され、差分画像Ｉｅに基づいて平特徴点ＣＰの配置全体の変動が大きい（分散が大きい）グローバルパラメーターの概略値が決定されるものとしているが、対象画像ＯＩにおける特徴点ＣＰの初期配置の決定の際には、必ずしも差分画像Ｉｅの算出やグローバルパラメーターの概略値の決定を行う必要はなく、予め定められた特徴点ＣＰの配置（例えば上述の基準対応関係における配置）を初期配置として決定するものとしてもよい。
【０１２０】
Ｂ４．変形例４：
上記実施例では、特徴点ＣＰ配置更新処理（図１５）の収束判定（ステップＳ４３０）における判定指標値として、平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ0（ｘ）との差分画像Ｉｅのノルムが用いられているが、判定指標値として、平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ0（ｘ）との相違の程度を表す他の指標値が用いられるとしてもよい。
【０１２１】
Ｂ５．変形例５：
上記実施例の特徴点ＣＰ配置更新処理（図１５）では、対象画像ＯＩに基づき平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出することにより対象画像ＯＩの特徴点ＣＰの配置を平均顔画像Ａ0（ｘ）の特徴点ＣＰの配置に整合させているが、平均顔画像Ａ0（ｘ）に対して画像変換を行うことにより両者の特徴点ＣＰの配置を整合させるものとしてもよい。
【０１２２】
Ｂ６．変形例６：
上記実施例では、顔領域ＦＡの検出が行われ、顔領域ＦＡに基づき想定基準領域ＡＢＡが設定されるとしているが、顔領域ＦＡの検出は必ずしも実行される必要はない。例えば、ユーザーによる指定に従い直接、想定基準領域ＡＢＡが設定されるとしてもよい。
【０１２３】
Ｂ７．変形例７：
上記実施例におけるサンプル顔画像ＳＩ（図３）はあくまで一例であり、サンプル顔画像ＳＩとして採用する画像の数、種類は任意に設定可能である。また、上記各実施例において、特徴点ＣＰの位置で示される顔の所定の特徴部位（図４参照）はあくまで一例であり、実施例において設定されている特徴部位の一部を省略したり、特徴部位として他の部位を採用したりしてもよい。
【０１２４】
また、上記実施例では、サンプル顔画像ＳＩｗの画素群ｘのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析によってテクスチャーモデルが設定されているが、顔画像のテクスチャー（見え）を表す輝度値以外の指標値（例えばＲＧＢ値）に対する主成分分析によってテクスチャーモデルが設定されるものとしてもよい。
【０１２５】
また、上記実施例において、平均顔画像Ａ0（ｘ）のサイズは種々のサイズであってよい。また、平均顔画像Ａ0（ｘ）は、マスク領域ＭＡ（図８）を含む必要はなく、平均形状領域ＢＳＡのみによって構成されるとしてもよい。また、平均顔画像Ａ0（ｘ）の代わりに、サンプル顔画像ＳＩの統計的分析に基づき設定される他の基準顔画像が用いられるとしてもよい。
【０１２６】
また、上記実施例では、ＡＡＭを用いた形状モデルおよびテクスチャーモデルの設定が行われているが、他のモデル化手法（例えばＭｏｒｐｈａｂｌｅ  Ｍｏｄｅｌと呼ばれる手法やＡｃｔｉｖｅ  Ｂｌｏｂと呼ばれる手法）を用いて形状モデルおよびテクスチャーモデルの設定が行われるとしてもよい。
【０１２７】
また、上記実施例では、メモリーカードＭＣに格納された画像が対象画像ＯＩに設定されているが、対象画像ＯＩは例えばネットワークを介して取得された画像であってもよい。
【０１２８】
また、上記実施例における画像処理装置としてのプリンター１００の構成はあくまで一例であり、プリンター１００の構成は種々変更可能である。また、上記実施例では、画像処理装置としてのプリンター１００による画像処理を説明したが、処理の一部または全部がパーソナルコンピューターやデジタルスチルカメラ、デジタルビデオカメラ等の他の種類の画像処理装置により実行されるものとしてもよい。また、プリンター１００はインクジェットプリンターに限らず、他の方式のプリンター、例えばレーザプリンターや昇華型プリンターであるとしてもよい。
【０１２９】
上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。
【０１３０】
また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。
【符号の説明】
【０１３１】
１００…プリンター
１１０…ＣＰＵ
１２０…内部メモリー
１４０…操作部
１５０…表示部
１６０…プリンターエンジン
１７０…カードインターフェース
１７２…カードスロット
２００…画像処理部
２１０…顔特徴位置特定部
２１１…初期配置部
２１２…画像変換部
２１３…判定部
２１４…更新部
２１５…正規化部
２３０…顔領域検出部
２４０…特定画像処理部
２５０…顔向き変更部
２６０…顔向き復元部
３１０…表示処理部
３２０…印刷処理部
【図１】
2010245721.tif 000008
【図２】
2010245721.tif 000009
【図３】
2010245721.tif 000010
【図４】
2010245721.tif 000011
【図５】
2010245721.tif 000012
【図６】
2010245721.tif 000013
【図７】
2010245721.tif 000014
【図８】
2010245721.tif 000015
【図９】
2010245721.tif 000016
【図１０】
2010245721.tif 000017
【図１１】
2010245721.tif 000018
【図１２】
2010245721.tif 000019
【図１３】
2010245721.tif 000020
【図１４】
2010245721.tif 000021
【図１５】
2010245721.tif 000022
【図１６】
2010245721.tif 000023
【図１７】
2010245721.tif 000024
【図１８】
2010245721.tif 000025
【図１９】
2010245721.tif 000026