(57)【要約】【課題】顔画像における特徴部位の位置の特定処理の精度向上を実現する。【解決手段】対象顔画像における特徴部位の位置を特定する画像処理装置は、特徴部位の位置を示す特徴点の配置が既知のサンプル顔画像を対象とした統計的分析に基づき設定された基準顔画像における特徴点の配置に基づき対象顔画像における特徴点の初期配置を決定する初期配置部と、特徴点の配置パターンが等しくなるように基準顔画像と対象顔画像との少なくとも一方に対して第１の変換を行う画像変換部と、第１の変換後に基準顔画像と対象顔画像との少なくとも一方に対して画素値分布を表す第１の指標値を近づける第１の正規化処理を行う正規化部と、第１の正規化処理後に基準顔画像と対象顔画像との比較結果に基づき対象顔画像における特徴点の配置の更新を行うかを判定する判定部と、基準顔画像と対象顔画像との比較結果に基づき特徴点の配置を更新する更新部と、を備える。【選択図】図１４
2010186216.tif 000002
【特許請求の範囲】
【請求項１】
対象顔画像における所定の特徴部位の位置を特定する画像処理装置であって、
前記特徴部位の位置を示す特徴点の配置が既知である複数のサンプル顔画像を対象とした統計的分析に基づき設定された基準顔画像における前記特徴点の配置に基づき、前記対象顔画像における前記特徴点の初期配置を決定する初期配置部と、
前記基準顔画像と前記対象顔画像とにおける前記特徴点の配置パターンが互いに等しくなるように前記基準顔画像と前記対象顔画像との少なくとも一方に対して第１の変換を行う画像変換部と、
前記第１の変換後に、前記基準顔画像と前記対象顔画像との少なくとも一方に対して前記基準顔画像と前記対象顔画像との画素値分布を表す所定の第１の指標値を互いに近づける第１の正規化処理を行う正規化部と、
前記第１の正規化処理後に、前記基準顔画像と前記対象顔画像とを比較し、比較結果に基づき前記対象顔画像における前記特徴点の配置の更新を行うか否かを判定する判定部と、
前記更新を行うと判定された場合に、前記基準顔画像と前記対象顔画像との前記比較結果に基づき前記対象顔画像における前記特徴点の配置を更新する更新部と、を備える、画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記判定部は、前記基準顔画像と前記対象顔画像との前記比較結果に基づき前記基準顔画像と前記対象顔画像との相違の程度を表す所定の第２の指標値を算出し、前記第２の指標値と所定の閾値との比較結果に基づき前記更新を行うか否かを判定する、画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置であって、
前記正規化部は、前記基準顔画像と前記対象顔画像との基準となる対応関係である基準対応関係と、前記基準対応関係を基準として前記基準顔画像と前記対象顔画像との一方に対するＮ（Ｎは１以上の整数）種類の第２の変換が行われたときの前記基準顔画像と前記対象顔画像とのＮ種類の対応関係である変換対応関係と、のそれぞれにおいて、前記基準顔画像と前記対象顔画像との少なくとも一方に対して前記基準顔画像と前記対象顔画像との前記第１の指標値を互いに近づける第２の正規化処理を行い、
前記初期配置部は、前記基準対応関係および前記変換対応関係の中から、前記第２の正規化処理後における前記基準顔画像と前記対象顔画像との相違の程度が最も小さい前記対応関係を選択し、選択された前記対応関係における前記基準顔画像の前記特徴点の配置に基づき前記対象顔画像における前記特徴点の初期配置を決定する、画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記Ｎ種類の第２の変換は、前記特徴点全体の並行移動と傾きの変更と拡大・縮小との少なくとも１つが行われるような変換である、画像処理装置。
【請求項５】
請求項１ないし請求項４のいずれかに記載の画像処理装置であって、
前記第１の指標値は、画素値の平均値と分散値との少なくとも一方を含む、画像処理装置。
【請求項６】
請求項１ないし請求項５のいずれかに記載の画像処理装置であって、
前記基準顔画像は、前記特徴点の配置が前記複数のサンプル顔画像における前記特徴点の平均位置を表す平均形状に等しくなるように変換された前記複数のサンプル顔画像の平均画像である、画像処理装置。
【請求項７】
請求項１ないし請求項６のいずれかに記載の画像処理装置であって、さらに、
前記対象顔画像における顔の画像の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出部を備え、
前記初期配置部は、前記対象顔画像における前記顔領域の位置と大きさと傾きとの少なくとも１つに基づき、前記対象顔画像における前記特徴点の初期配置を決定する、画像処理装置。
【請求項８】
請求項１ないし請求項７のいずれかに記載の画像処理装置であって、
前記第１の変換は、前記基準顔画像と前記対象顔画像とのそれぞれにおいて設定された前記特徴点を頂点とする多角形領域毎のアフィン変換である、画像処理装置。
【請求項９】
請求項１ないし請求項８のいずれかに記載の画像処理装置であって、さらに、
前記統計的分析に基づき設定された前記特徴点の配置モデルであって、前記複数のサンプル顔画像における前記特徴点の平均位置を表す平均形状と前記複数のサンプル顔画像における前記特徴点の配置の特性を表す形状ベクトルの線形結合との和による前記特徴点の前記配置モデルを特定するモデル情報を記憶する記憶部を備え、
前記更新部は、前記基準顔画像と前記対象顔画像との前記比較結果に基づき、前記対象顔画像における前記特徴点の配置を表す前記配置モデルにおける前記形状ベクトルの内の少なくとも１つの係数を変更することにより、前記対象顔画像における前記特徴点の配置を更新する、画像処理装置。
【請求項１０】
対象顔画像における所定の特徴部位の位置を特定する画像処理方法であって、
（ａ）前記特徴部位の位置を示す特徴点の配置が既知である複数のサンプル顔画像を対象とした統計的分析に基づき設定された基準顔画像における前記特徴点の配置に基づき、前記対象顔画像における前記特徴点の初期配置を決定する工程と、
（ｂ）前記基準顔画像と前記対象顔画像とにおける前記特徴点の配置パターンが互いに等しくなるように前記基準顔画像と前記対象顔画像との少なくとも一方に対して第１の変換を行う工程と、
（ｃ）前記第１の変換後に、前記基準顔画像と前記対象顔画像との少なくとも一方に対して前記基準顔画像と前記対象顔画像との画素値分布を表す所定の第１の指標値を互いに近づける第１の正規化処理を行う工程と、
（ｄ）前記第１の正規化処理後に、前記基準顔画像と前記対象顔画像とを比較し、比較結果に基づき前記対象顔画像における前記特徴点の配置の更新を行うか否かを判定する工程と、
（ｅ）前記更新を行うと判定された場合に、前記基準顔画像と前記対象顔画像との前記比較結果に基づき前記対象顔画像における前記特徴点の配置を更新する工程と、を備える、画像処理方法。
【請求項１１】
対象顔画像における所定の特徴部位の位置を特定する画像処理のためのコンピュータープログラムであって、
前記特徴部位の位置を示す特徴点の配置が既知である複数のサンプル顔画像を対象とした統計的分析に基づき設定された基準顔画像における前記特徴点の配置に基づき、前記対象顔画像における前記特徴点の初期配置を決定する初期配置機能と、
前記基準顔画像と前記対象顔画像とにおける前記特徴点の配置パターンが互いに等しくなるように前記基準顔画像と前記対象顔画像との少なくとも一方に対して第１の変換を行う画像変換機能と、
前記第１の変換後に、前記基準顔画像と前記対象顔画像との少なくとも一方に対して前記基準顔画像と前記対象顔画像との画素値分布を表す所定の第１の指標値を互いに近づける第１の正規化処理を行う正規化機能と、
前記第１の正規化処理後に、前記基準顔画像と前記対象顔画像とを比較し、比較結果に基づき前記対象顔画像における前記特徴点の配置の更新を行うか否かを判定する判定機能と、
前記更新を行うと判定された場合に、前記基準顔画像と前記対象顔画像との前記比較結果に基づき前記対象顔画像における前記特徴点の配置を更新する更新機能と、を、コンピューターに実現させる、コンピュータープログラム。
【請求項１２】
印刷装置であって、
対象顔画像における所定の特徴部位の位置を示す特徴点の配置が既知である複数のサンプル顔画像を対象とした統計的分析に基づき設定された基準顔画像における前記特徴点の配置に基づき、前記対象顔画像における前記特徴点の初期配置を決定する初期配置部と、
前記基準顔画像と前記対象顔画像とにおける前記特徴点の配置パターンが互いに等しくなるように前記基準顔画像と前記対象顔画像との少なくとも一方に対して第１の変換を行う画像変換部と、
前記第１の変換後に、前記基準顔画像と前記対象顔画像との少なくとも一方に対して前記基準顔画像と前記対象顔画像との画素値分布を表す所定の第１の指標値を互いに近づける第１の正規化処理を行う正規化部と、
前記第１の正規化処理後に、前記基準顔画像と前記対象顔画像とを比較し、比較結果に基づき前記対象顔画像における前記特徴点の配置の更新を行うか否かを判定する判定部と、
前記更新を行うと判定された場合に、前記基準顔画像と前記対象顔画像との前記比較結果に基づき前記対象顔画像における前記特徴点の配置を更新する更新部と、
前記対象顔画像を印刷する印刷部と、を備える、印刷装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像における所定の特徴部位の位置を特定する技術に関する。
【背景技術】
【０００２】
視覚的事象のモデル化手法として、アクティブアピアランスモデル（Ａｃｔｉｖｅ  Ａｐｐｅａｒａｎｃｅ  Ｍｏｄｅｌ、略して「ＡＡＭ」とも呼ばれる）が知られている。ＡＡＭでは、例えば、複数のサンプル顔画像における所定の特徴部位（例えば目尻や鼻頭やフェイスライン）の位置（座標）や画素値（例えば輝度値）の統計的分析を通じて、上記特徴部位の位置により特定される顔の形状を表す形状モデルや、平均的な形状における「見え（Ａｐｐｅａｒａｎｃｅ）」を表すテクスチャーモデルが設定され、これらのモデルを用いて顔画像がモデル化される。ＡＡＭによれば、任意の対象顔画像のモデル化（合成）が可能であり、対象顔画像における上記特徴部位の位置の特定（検出）が可能である（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１４１１０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来の技術では、顔画像における所定の特徴部位の位置の特定において、さらなる精度向上の余地があった。
【０００５】
なお、このような問題は、ＡＡＭを利用する場合に限らず、顔画像における所定の特徴部位の位置を特定する画像処理を行う際に共通の問題であった。
【０００６】
本発明は、上記の課題を解決するためになされたものであり、顔画像における所定の特徴部位の位置の特定処理の精度向上を実現することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題の少なくとも一部を解決するために、本発明は、以下の形態または適用例として実現することが可能である。
【０００８】
［適用例１］対象顔画像における所定の特徴部位の位置を特定する画像処理装置であって、
前記特徴部位の位置を示す特徴点の配置が既知である複数のサンプル顔画像を対象とした統計的分析に基づき設定された基準顔画像における前記特徴点の配置に基づき、前記対象顔画像における前記特徴点の初期配置を決定する初期配置部と、
前記基準顔画像と前記対象顔画像とにおける前記特徴点の配置パターンが互いに等しくなるように前記基準顔画像と前記対象顔画像との少なくとも一方に対して第１の変換を行う画像変換部と、
前記第１の変換後に、前記基準顔画像と前記対象顔画像との少なくとも一方に対して前記基準顔画像と前記対象顔画像との画素値分布を表す所定の第１の指標値を互いに近づける第１の正規化処理を行う正規化部と、
前記第１の正規化処理後に、前記基準顔画像と前記対象顔画像とを比較し、比較結果に基づき前記対象顔画像における前記特徴点の配置の更新を行うか否かを判定する判定部と、
前記更新を行うと判定された場合に、前記基準顔画像と前記対象顔画像との前記比較結果に基づき前記対象顔画像における前記特徴点の配置を更新する更新部と、を備える、画像処理装置。
【０００９】
この画像処理装置では、基準顔画像における特徴点の配置に基づき対象顔画像における特徴点の初期配置が決定され、基準顔画像と対象顔画像とにおける特徴点の配置パターンが互いに等しくなるように基準顔画像と対象顔画像との少なくとも一方に対して第１の変換が行われ、基準顔画像と対象顔画像との比較結果に基づき対象顔画像における特徴点の配置の更新を行うか否かが判定され、更新を行うと判定された場合に基準顔画像と対象顔画像との比較結果に基づき対象顔画像における特徴点の配置が更新される。ここで、この画像処理装置では、基準顔画像と対象顔画像との少なくとも一方に対して基準顔画像と対象顔画像との画素値分布を表す所定の第１の指標値を互いに近づける第１の正規化処理が行われた後に、基準顔画像と対象顔画像との比較結果に基づき特徴点の配置の更新を行うか否かの判定が行われるため、対象顔画像の画素値分布の特徴が比較結果に与える影響が抑制され、特徴点の配置の更新を行うか否かの判定の精度が向上すると共に、特徴点の配置の更新の精度も向上する。従って、この画像処理装置では、顔画像における所定の特徴部位の位置の特定処理の精度向上が実現される。
【００１０】
［適用例２］適用例１に記載の画像処理装置であって、
前記判定部は、前記基準顔画像と前記対象顔画像との前記比較結果に基づき前記基準顔画像と前記対象顔画像との相違の程度を表す所定の第２の指標値を算出し、前記第２の指標値と所定の閾値との比較結果に基づき前記更新を行うか否かを判定する、画像処理装置。
【００１１】
この画像処理装置では、第１の正規化処理が行われた後に、基準顔画像と対象顔画像との相違の程度を表す所定の第２の指標値が算出され、第２の指標値と所定の閾値との比較結果に基づき特徴点の配置の更新を行うか否かの判定が行われる。そのため、絶対閾値を用いた判定を実現することができ、処理の高速化および精度向上が実現される。
【００１２】
［適用例３］適用例１または適用例２に記載の画像処理装置であって、
前記正規化部は、前記基準顔画像と前記対象顔画像との基準となる対応関係である基準対応関係と、前記基準対応関係を基準として前記基準顔画像と前記対象顔画像との一方に対するＮ（Ｎは１以上の整数）種類の第２の変換が行われたときの前記基準顔画像と前記対象顔画像とのＮ種類の対応関係である変換対応関係と、のそれぞれにおいて、前記基準顔画像と前記対象顔画像との少なくとも一方に対して前記基準顔画像と前記対象顔画像との前記第１の指標値を互いに近づける第２の正規化処理を行い、
前記初期配置部は、前記基準対応関係および前記変換対応関係の中から、前記第２の正規化処理後における前記基準顔画像と前記対象顔画像との相違の程度が最も小さい前記対応関係を選択し、選択された前記対応関係における前記基準顔画像の前記特徴点の配置に基づき前記対象顔画像における前記特徴点の初期配置を決定する、画像処理装置。
【００１３】
この画像処理装置では、基準対応関係および変換対応関係の中から第２の正規化処理後における基準顔画像と対象顔画像との相違の程度が最も小さい対応関係が選択され、選択された対応関係における基準顔画像の特徴点の配置に基づき対象顔画像における特徴点の初期配置が決定されるため、対象顔画像の画素値分布の特徴が対応関係の選択に与える影響が抑制され、特徴点の初期配置の精度が向上する。従って、この画像処理装置では、顔画像における所定の特徴部位の位置の特定処理の精度向上および処理の高速化が実現される。
【００１４】
［適用例４］適用例３に記載の画像処理装置であって、
前記Ｎ種類の第２の変換は、前記特徴点全体の並行移動と傾きの変更と拡大・縮小との少なくとも１つが行われるような変換である、画像処理装置。
【００１５】
この画像処理装置では、特徴点全体の並行移動と傾きの変更と拡大・縮小との少なくとも１つが行われるような変換により変換対応関係が設定されるため、特徴点の配置全体のばらつきの大きい変換対応関係に基づいて特徴点の初期配置が決定され、顔画像における特徴部位の位置の特定処理の効率化・高速化および精度向上が実現される。
【００１６】
［適用例５］適用例１ないし適用例４のいずれかに記載の画像処理装置であって、
前記第１の指標値は、画素値の平均値と分散値との少なくとも一方を含む、画像処理装置。
【００１７】
この画像処理装置では、基準顔画像と対象顔画像との少なくとも一方に対して基準顔画像と対象顔画像との画素値の平均値と分散値との少なくとも一方を互いに近づける第１の正規化処理が行われた後に、基準顔画像と対象顔画像との比較結果に基づき特徴点の配置の更新を行うか否かの判定が行われるため、対象顔画像の画素値分布の特徴が比較結果に与える影響が抑制され、特徴点の配置の更新を行うか否かの判定の精度が向上すると共に、特徴点の配置の更新の精度も向上する。
【００１８】
［適用例６］適用例１ないし適用例５のいずれかに記載の画像処理装置であって、
前記基準顔画像は、前記特徴点の配置が前記複数のサンプル顔画像における前記特徴点の平均位置を表す平均形状に等しくなるように変換された前記複数のサンプル顔画像の平均画像である、画像処理装置。
【００１９】
この画像処理装置では、特徴点の配置が平均形状に等しくなるように変換された複数のサンプル顔画像の平均画像が基準顔画像として採用されるため、あらゆる顔画像を対象とした特徴部位の位置の特定処理の精度向上が実現される。
【００２０】
［適用例７］適用例１ないし適用例６のいずれかに記載の画像処理装置であって、さらに、
前記対象顔画像における顔の画像の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出部を備え、
前記初期配置部は、前記対象顔画像における前記顔領域の位置と大きさと傾きとの少なくとも１つに基づき、前記対象顔画像における前記特徴点の初期配置を決定する、画像処理装置。
【００２１】
この画像処理装置では、顔領域が検出され、顔領域の位置と大きさと傾きとの少なくとも１つに基づき対象顔画像における特徴点の初期配置が決定されるため、対象顔画像における特徴点の初期配置の決定を効率的にかつ精度良く実行することができる。
【００２２】
［適用例８］適用例１ないし適用例７のいずれかに記載の画像処理装置であって、
前記第１の変換は、前記基準顔画像と前記対象顔画像とのそれぞれにおいて設定された前記特徴点を頂点とする多角形領域毎のアフィン変換である、画像処理装置。
【００２３】
この画像処理装置では、基準顔画像と対象顔画像とにおける特徴点の配置パターンが互いに等しくなるような第１の変換を実行することができる。
【００２４】
［適用例９］適用例１ないし適用例８のいずれかに記載の画像処理装置であって、さらに、
前記統計的分析に基づき設定された前記特徴点の配置モデルであって、前記複数のサンプル顔画像における前記特徴点の平均位置を表す平均形状と前記複数のサンプル顔画像における前記特徴点の配置の特性を表す形状ベクトルの線形結合との和による前記特徴点の前記配置モデルを特定するモデル情報を記憶する記憶部を備え、
前記更新部は、前記基準顔画像と前記対象顔画像との前記比較結果に基づき、前記対象顔画像における前記特徴点の配置を表す前記配置モデルにおける前記形状ベクトルの内の少なくとも１つの係数を変更することにより、前記対象顔画像における前記特徴点の配置を更新する、画像処理装置。
【００２５】
この画像処理装置では、基準顔画像と対象顔画像との比較結果に基づき、対象顔画像における特徴点の配置を表す配置モデルにおける形状ベクトルの内の少なくとも１つの係数が変更されることにより、対象顔画像における特徴点の配置が更新されるため、顔画像における特徴部位の位置の特定処理の効率化・高速化および精度向上が実現される。
【００２６】
なお、本発明は、種々の態様で実現することが可能であり、例えば、画像処理方法および装置、特徴位置特定方法および装置、表情判定方法および装置、印刷方法および装置、これらの方法または装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の第１実施例における画像処理装置としてのプリンター１００の構成を概略的に示す説明図である。
【図２】第１実施例におけるＡＡＭ設定処理の流れを示すフローチャートである。
【図３】サンプル顔画像ＳＩの一例を示す説明図である。
【図４】サンプル顔画像ＳＩにおける特徴点ＣＰの設定方法の一例を示す説明図である。
【図５】サンプル顔画像ＳＩに設定された特徴点ＣＰの座標の一例を示す説明図である。
【図６】平均形状ｓ0の一例を示す説明図である。
【図７】サンプル顔画像ＳＩのワープＷの方法の一例を示す説明図である。
【図８】平均顔画像Ａ0（ｘ）の一例を示す説明図である。
【図９】第１実施例における顔特徴位置特定処理の流れを示すフローチャートである。
【図１０】対象画像ＯＩにおける顔領域ＦＡの検出結果の一例を示す説明図である。
【図１１】第１実施例における特徴点ＣＰの初期配置決定処理の流れを示すフローチャートである。
【図１２】変換平均顔画像ｔＡ0（ｘ）の一例を示す説明図である。
【図１３】対象画像ＯＩにおける特徴点ＣＰの初期配置の一例を示す説明図である。
【図１４】第１実施例における特徴点ＣＰ配置更新処理の流れを示すフローチャートである。
【図１５】顔特徴位置特定処理の結果の一例を示す説明図である。
【図１６】第２実施例における特徴点ＣＰの初期配置決定処理の流れを示すフローチャートである。
【図１７】対象画像ＯＩにおける特徴点ＣＰの仮配置の一例を示す説明図である。
【図１８】平均形状画像Ｉ（Ｗ（ｘ；ｐ））の一例を示す説明図である。
【発明を実施するための形態】
【００２８】
次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１実施例：
Ａ−１．画像処理装置の構成：
Ａ−２．ＡＡＭ設定処理：
Ａ−３．顔特徴位置特定処理：
Ｂ．第２実施例：
Ｃ．変形例：
【００２９】
Ａ．第１実施例：
Ａ−１．画像処理装置の構成：
図１は、本発明の第１実施例における画像処理装置としてのプリンター１００の構成を概略的に示す説明図である。本実施例のプリンター１００は、メモリーカードＭＣ等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したインクジェット式カラープリンターである。プリンター１００は、プリンター１００の各部を制御するＣＰＵ１１０と、ＲＯＭやＲＡＭによって構成された内部メモリー１２０と、ボタンやタッチパネルにより構成された操作部１４０と、液晶ディスプレイにより構成された表示部１５０と、プリンターエンジン１６０と、カードインターフェース（カードＩ／Ｆ）１７０と、を備えている。プリンター１００は、さらに、他の機器（例えばデジタルスチルカメラやパーソナルコンピューター）とのデータ通信を行うためのインターフェースを備えているとしてもよい。プリンター１００の各構成要素は、バスを介して互いに接続されている。
【００３０】
プリンターエンジン１６０は、印刷データに基づき印刷を行う印刷機構である。カードインターフェース１７０は、カードスロット１７２に挿入されたメモリーカードＭＣとの間でデータのやり取りを行うためのインターフェースである。なお、本実施例では、メモリーカードＭＣに画像データを含む画像ファイルが格納されている。
【００３１】
内部メモリー１２０には、画像処理部２００と、表示処理部３１０と、印刷処理部３２０と、が格納されている。画像処理部２００は、所定のオペレーティングシステムの下で、顔特徴位置特定処理を実行するためのコンピュータープログラムである。顔特徴位置特定処理は、顔画像における所定の特徴部位（例えば目尻や鼻頭やフェイスライン）の位置を特定（検出）する処理である。顔特徴位置特定処理については、後に詳述する。
【００３２】
画像処理部２００は、プログラムモジュールとして、顔特徴位置特定部２１０と、顔領域検出部２３０と、を含んでいる。顔特徴位置特定部２１０は、初期配置部２１１と、画像変換部２１２と、判定部２１３と、更新部２１４と、正規化部２１５と、を含んでいる。これら各部の機能については、後述の顔特徴位置特定処理の説明において詳述する。
【００３３】
表示処理部３１０は、表示部１５０を制御して、表示部１５０上に処理メニューやメッセージ、画像等を表示させるディスプレイドライバである。印刷処理部３２０は、画像データから印刷データを生成し、プリンターエンジン１６０を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータープログラムである。ＣＰＵ１１０は、内部メモリー１２０から、これらのプログラム（画像処理部２００、表示処理部３１０、印刷処理部３２０）を読み出して実行することにより、これら各部の機能を実現する。
【００３４】
内部メモリー１２０には、また、ＡＡＭ情報ＡＭＩが格納されている。ＡＡＭ情報ＡＭＩは、後述のＡＡＭ設定処理によって予め設定される情報であり、後述の顔特徴位置特定処理において参照される。ＡＡＭ情報ＡＭＩの内容については、後述のＡＡＭ設定処理の説明において詳述する。
【００３５】
Ａ−２．ＡＡＭ設定処理：
図２は、第１実施例におけるＡＡＭ設定処理の流れを示すフローチャートである。ＡＡＭ設定処理は、ＡＡＭ（アクティブアピアランスモデル（Ａｃｔｉｖｅ  Ａｐｐｅａｒａｎｃｅ  Ｍｏｄｅｌ））と呼ばれる画像のモデル化に用いられる形状モデルおよびテクスチャーモデルを設定する処理である。
【００３６】
ステップＳ１１０では、人物の顔を表す複数の画像がサンプル顔画像ＳＩとして設定される。図３は、サンプル顔画像ＳＩの一例を示す説明図である。図３に示すように、サンプル顔画像ＳＩは、個性、人種・性別、表情（怒り、笑い、困り、驚き等）、向き（正面向き、上向き、下向き、右向き、左向き等）といった種々の属性に関して互いに相違する画像が含まれるように設定される。サンプル顔画像ＳＩがそのように設定されれば、ＡＡＭによってあらゆる顔画像を精度良くモデル化することが可能となり、あらゆる顔画像を対象とした精度の良い顔特徴位置特定処理（後述）の実行が可能となる。なお、サンプル顔画像ＳＩは、学習顔画像とも呼ばれる。
【００３７】
ステップＳ１２０（図２）では、サンプル顔画像ＳＩのそれぞれにおいて、特徴点ＣＰが設定される。図４は、サンプル顔画像ＳＩにおける特徴点ＣＰの設定方法の一例を示す説明図である。特徴点ＣＰは、顔画像における所定の特徴部位の位置を示す点である。本実施例では、所定の特徴部位として、人物の顔における眉毛上の所定位置（例えば端点や４分割点等、以下同じ）、目の輪郭上の所定位置、鼻筋および小鼻の輪郭上の所定位置、上下唇の輪郭上の所定位置、顔の輪郭（フェイスライン）上の所定位置といった６８箇所の部位が設定されている。すなわち、本実施例では、人物の顔に共通して含まれる顔の器官（眉毛、目、鼻、口）および顔の輪郭における所定位置が、特徴部位として設定されている。図４に示すように、特徴点ＣＰは、各サンプル顔画像ＳＩにおいてオペレーターにより指定された６８個の特徴部位を表す位置に設定（配置）される。このように設定された各特徴点ＣＰは各特徴部位に対応しているため、顔画像における特徴点ＣＰの配置は顔の形状を特定していると表現することができる。
【００３８】
サンプル顔画像ＳＩにおける特徴点ＣＰの位置は、座標により特定される。図５は、サンプル顔画像ＳＩに設定された特徴点ＣＰの座標の一例を示す説明図である。図５において、ＳＩ（ｊ）（ｊ＝１，２，３・・・）は各サンプル顔画像ＳＩを示しており、ＣＰ（ｋ）（ｋ＝０，１，・・・，６７）は各特徴点ＣＰを示している。また、ＣＰ（ｋ）−Ｘは、特徴点ＣＰ（ｋ）のＸ座標を示しており、ＣＰ（ｋ）−Ｙは、特徴点ＣＰ（ｋ）のＹ座標を示している。特徴点ＣＰの座標としては、顔の大きさと顔の傾き（画像面内の傾き）と顔のＸ方向およびＹ方向の位置とのそれぞれについて正規化されたサンプル顔画像ＳＩにおける所定の基準点（例えば画像の左下の点）を原点とした座標が用いられる。また、本実施例では、１つのサンプル顔画像ＳＩに複数の人物の顔が含まれる場合が許容されており（例えばサンプル顔画像ＳＩ（２）には２人の顔が含まれている）、１つのサンプル顔画像ＳＩにおける各人物は人物ＩＤによって特定される。
【００３９】
ステップＳ１３０（図２）では、ＡＡＭの形状モデルが設定される。具体的には、各サンプル顔画像ＳＩにおける６８個の特徴点ＣＰの座標（Ｘ座標およびＹ座標）により構成される座標ベクトル（図５参照）に対する主成分分析が行われ、特徴点ＣＰの位置により特定される顔の形状ｓが下記の式（１）によりモデル化される。なお、形状モデルは、特徴点ＣＰの配置モデルとも呼ぶ。
【００４０】
【数１】
2010186216.tif 000003
【００４１】
上記式（１）において、ｓ0は平均形状である。図６は、平均形状ｓ0の一例を示す説明図である。図６（ａ）および（ｂ）に示すように、平均形状ｓ0は、サンプル顔画像ＳＩの各特徴点ＣＰについての平均位置（平均座標）により特定される平均的な顔の形状を表すモデルである。なお、本実施例では、平均形状ｓ0において、外周に位置する特徴点ＣＰ（フェイスラインおよび眉毛、眉間に対応する特徴点ＣＰ、図４参照）を結ぶ直線により囲まれた領域（図６（ｂ）においてハッチングを付して示す）を「平均形状領域ＢＳＡ」と呼ぶ。平均形状ｓ0においては、図６（ａ）に示すように、特徴点ＣＰを頂点とする複数の三角形領域ＴＡが、平均形状領域ＢＳＡをメッシュ状に分割するように設定されている。また、平均形状ｓ0において、特徴点ＣＰおよび三角形領域ＴＡの輪郭線により構成されるメッシュを「平均形状メッシュＢＳＭ」と呼ぶものとする。
【００４２】
形状モデルを表す上記式（１）において、ｓiは形状ベクトルであり、ｐiは形状ベクトルｓiの重みを表す形状パラメーターである。形状ベクトルｓiは、顔の形状ｓの特性を表すベクトルであり、具体的には、主成分分析により得られる第ｉ主成分に対応する固有ベクトルである。すなわち、分散のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数ｎの固有ベクトルが、形状ベクトルｓiとして採用される。本実施例では、最も分散の大きい第１主成分に対応する第１形状ベクトルｓ1は顔の左右振りにほぼ相関するベクトルとなっており、２番目に分散の大きい第２主成分に対応する第２形状ベクトルｓ2は顔の上下振りにほぼ相関するベクトルとなっている。また、３番目に分散の大きい第３主成分に対応する第３形状ベクトルｓ3は顔の形状の縦横比にほぼ相関するベクトルとなっており、４番目に分散の大きい第４主成分に対応する第４形状ベクトルｓ4は口の開きの程度にほぼ相関するベクトルとなっている。
【００４３】
上記式（１）に示すように、本実施例における形状モデルでは、特徴点ＣＰの配置を表す顔形状ｓが、平均形状ｓ0とｎ個の形状ベクトルｓiの線形結合との和としてモデル化される。形状モデルにおいて形状パラメーターｐiを適切に設定することにより、あらゆる画像における顔の形状ｓを再現することが可能である。なお、形状モデル設定ステップ（図２のステップＳ１３０）において設定された平均形状ｓ0および形状ベクトルｓiは、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納される。ＡＡＭ情報ＡＭＩとしての平均形状ｓ0および形状ベクトルｓiは、本発明におけるモデル情報に相当する。
【００４４】
ステップＳ１４０（図２）では、ＡＡＭのテクスチャーモデルが設定される。具体的には、まず、各サンプル顔画像ＳＩに対して、サンプル顔画像ＳＩにおける特徴点ＣＰの配置が平均形状ｓ0における特徴点ＣＰの配置と等しくなるように、画像変換（以下、「ワープＷ」とも呼ぶ）が行われる。
【００４５】
図７は、サンプル顔画像ＳＩのワープＷの方法の一例を示す説明図である。各サンプル顔画像ＳＩにおいては、平均形状ｓ0と同様に、外周に位置する特徴点ＣＰにより囲まれた領域をメッシュ状に分割する複数の三角形領域ＴＡが設定されている。ワープＷは、複数の三角形領域ＴＡのそれぞれについてのアフィン変換の集合である。すなわち、ワープＷにおいては、サンプル顔画像ＳＩにおけるある三角形領域ＴＡの画像は、平均形状ｓ0における対応する三角形領域ＴＡの画像へとアフィン変換される。ワープＷにより、特徴点ＣＰの配置が平均形状ｓ0における特徴点ＣＰの配置と等しいサンプル顔画像ＳＩ（以下「サンプル顔画像ＳＩｗ」と表す）が生成される。
【００４６】
なお、各サンプル顔画像ＳＩｗは、平均形状領域ＢＳＡ（図７においてハッチングを付して示す）を内包する矩形枠を外周とし、平均形状領域ＢＳＡ以外の領域（以下「マスク領域ＭＡ」とも呼ぶ）がマスクされた画像として生成される。平均形状領域ＢＳＡとマスク領域ＭＡとを併せた画像領域を基準領域ＢＡと呼ぶ。また、各サンプル顔画像ＳＩｗは、例えば５６画素×５６画素のサイズの画像として正規化される。
【００４７】
次に、各サンプル顔画像ＳＩｗの画素群ｘのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析が行われ、顔のテクスチャー（「見え」とも呼ぶ）Ａ（ｘ）が下記の式（２）によりモデル化される。なお、画素群ｘは、平均形状領域ＢＳＡに位置する画素の集合である。
【００４８】
【数２】
2010186216.tif 000004
【００４９】
上記式（２）において、Ａ0（ｘ）は平均顔画像である。図８は、平均顔画像Ａ0（ｘ）の一例を示す説明図である。平均顔画像Ａ0（ｘ）は、ワープＷの後のサンプル顔画像ＳＩｗ（図７参照）の平均の画像である。すなわち、平均顔画像Ａ0（ｘ）は、サンプル顔画像ＳＩｗの平均形状領域ＢＳＡ内の画素群ｘのそれぞれについて画素値（輝度値）の平均をとることにより算出される画像である。従って、平均顔画像Ａ0（ｘ）は、平均的な顔の形状における平均的な顔のテクスチャー（見え）を表すモデルである。なお、平均顔画像Ａ0（ｘ）は、サンプル顔画像ＳＩｗと同様に、平均形状領域ＢＳＡとマスク領域ＭＡとで構成され、例えば５６画素×５６画素のサイズの画像として算出される。また、平均顔画像Ａ0（ｘ）においても、平均形状領域ＢＳＡとマスク領域ＭＡとを併せた画像領域を基準領域ＢＡと呼ぶ。平均顔画像Ａ0（ｘ）は、本発明における基準顔画像に相当する。
【００５０】
テクスチャーモデルを表す上記式（２）において、Ａi（ｘ）はテクスチャーベクトルであり、λiはテクスチャーベクトルＡi（ｘ）の重みを表すテクスチャーパラメーターである。テクスチャーベクトルＡi（ｘ）は、顔のテクスチャーＡ（ｘ）の特性を表すベクトルであり、具体的には、主成分分析により得られる第ｉ主成分に対応する固有ベクトルである。すなわち、分散のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数ｍの固有ベクトルが、テクスチャーベクトルＡi（ｘ）として採用される。本実施例では、最も分散の大きい第１主成分に対応する第１テクスチャーベクトルＡ1（ｘ）は、顔色の変化（性別の差とも捉えられる）にほぼ相関するベクトルとなっている。
【００５１】
上記式（２）に示すように、本実施例におけるテクスチャーモデルでは、顔の見えを表す顔のテクスチャーＡ（ｘ）が、平均顔画像Ａ0（ｘ）とｍ個のテクスチャーベクトルＡi（ｘ）の線形結合との和としてモデル化される。テクスチャーモデルにおいてテクスチャーパラメーターλiを適切に設定することにより、あらゆる画像における顔のテクスチャーＡ（ｘ）を再現することが可能である。なお、テクスチャーモデル設定ステップ（図２のステップＳ１４０）において設定された平均顔画像Ａ0（ｘ）およびテクスチャーベクトルＡi（ｘ）は、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納される。
【００５２】
以上説明したＡＡＭ設定処理（図２）により、顔の形状をモデル化する形状モデルと、顔のテクスチャーをモデル化するテクスチャーモデルが設定される。設定された形状モデルとテクスチャーモデルとを組み合わせることにより、すなわち合成されたテクスチャーＡ（ｘ）に対して平均形状ｓ0から形状ｓへの変換（図７に示したワープＷの逆変換）を行うことにより、あらゆる顔画像の形状およびテクスチャーを再現することが可能である。
【００５３】
Ａ−３．顔特徴位置特定処理：
図９は、第１実施例における顔特徴位置特定処理の流れを示すフローチャートである。本実施例における顔特徴位置特定処理は、ＡＡＭを利用して対象画像における特徴点ＣＰの配置を決定することにより、対象画像における顔の特徴部位の位置を特定する処理である。上述したように、本実施例では、ＡＡＭ設定処理（図２）において、人物の顔の器官（眉毛、目、鼻、口）および顔の輪郭における計６８箇所の所定位置が、特徴部位として設定されている（図４参照）。そのため、本実施例の顔特徴位置特定処理では、人物の顔の器官および顔の輪郭における所定位置を示す６８個の特徴点ＣＰの配置が決定される。
【００５４】
なお、顔特徴位置特定処理によって対象画像における特徴点ＣＰの配置が決定されると、対象画像における人物の顔の器官の形状・位置や顔の輪郭形状の特定が可能となる。従って、顔特徴位置特定処理の処理結果は、特定の表情（例えば笑顔や目を閉じた顔）の顔画像を検出するための表情判定や、特定の向き（例えば右向きや下向き）の顔画像を検出するための顔向き判定、顔の形状を変形する顔変形等の画像処理に利用可能である。また、特徴点ＣＰの配置が示された対象画像を印刷したり、顔特徴位置特定処理の処理結果に基づき実行された画像処理後の画像を印刷したりすることができる。
【００５５】
ステップＳ２１０（図９）では、画像処理部２００（図１）が、顔特徴位置特定処理の対象となる対象画像を表す画像データを取得する。本実施例のプリンター１００では、カードスロット１７２にメモリーカードＭＣが挿入されると、メモリーカードＭＣに格納された画像ファイルのサムネイル画像が表示部１５０に表示される。ユーザは、表示されたサムネイル画像を参照しつつ、操作部１４０を介して処理の対象となる１つまたは複数の画像を選択する。画像処理部２００は、選択された１つまたは複数の画像に対応する画像データを含む画像ファイルをメモリーカードＭＣより取得して内部メモリー１２０の所定の領域に格納する。なお、取得された画像データを対象画像データと呼び、対象画像データの表す画像を対象画像ＯＩと呼ぶものとする。
【００５６】
ステップＳ２２０（図９）では、顔領域検出部２３０（図１）が、対象画像ＯＩにおける顔の画像の少なくとも一部を含む画像領域を顔領域ＦＡとして検出する。顔領域ＦＡの検出は、公知の顔検出手法を用いて行うことができる。公知の顔検出手法としては、例えば、パターンマッチングによる手法や肌色領域抽出による手法、サンプル顔画像を用いた学習（例えばニューラルネットワークを用いた学習や、ブースティングを用いた学習、サポートベクターマシーンを用いた学習等）により設定される学習データを用いる手法等がある。
【００５７】
図１０は、対象画像ＯＩにおける顔領域ＦＡの検出結果の一例を示す説明図である。図１０には、対象画像ＯＩにおいて検出された顔領域ＦＡが示されている。本実施例では、おおよそ、顔の上下方向は額から顎まで、左右方向は両耳の外側まで含む矩形の領域が顔領域ＦＡとして検出されるような顔検出手法が用いられている。
【００５８】
なお、図１０に示した想定基準領域ＡＢＡは、平均顔画像Ａ0（ｘ）の全体領域である基準領域ＢＡ（図８参照）に対応すると想定される領域である。想定基準領域ＡＢＡは、検出された顔領域ＦＡに基づき、大きさ・傾き・上下および左右方向の位置のそれぞれについて顔領域ＦＡと所定の関係を有する領域に設定される。顔領域ＦＡと想定基準領域ＡＢＡとの所定の関係は、顔領域ＦＡに表された顔が平均的な顔である場合には想定基準領域ＡＢＡが基準領域ＢＡに対応することとなるように、顔領域ＦＡの検出に採用する顔検出手法の特性（どのような顔の範囲を顔領域ＦＡとして検出するか）を考慮して予め設定される。また、想定基準領域ＡＢＡ内には、想定平均形状領域ＡＢＳＡが設定される。想定平均形状領域ＡＢＳＡは、平均顔画像Ａ0（ｘ）の平均形状領域ＢＳＡ（図８参照）に対応すると想定される領域である。想定基準領域ＡＢＡと想定平均形状領域ＡＢＳＡとの関係は、基準領域ＢＡと平均形状領域ＢＳＡとの関係と同じである。
【００５９】
なお、ステップＳ２２０（図９）において対象画像ＯＩから顔領域ＦＡが検出されなかった場合には、対象画像ＯＩに顔の画像が含まれていないとして顔特徴位置特定処理が終了されるか、あるいは顔領域ＦＡの検出処理が再度実行される。
【００６０】
ステップＳ２３０（図９）では、顔特徴位置特定部２１０（図１）が、対象画像ＯＩにおける特徴点ＣＰの初期配置を決定する。図１１は、第１実施例における特徴点ＣＰの初期配置決定処理の流れを示すフローチャートである。本実施例では、上述した平均顔画像Ａ0（ｘ）（図８参照）に対してグローバルパラメーターを変更するような変換により生成される変換平均顔画像ｔＡ0（ｘ）が予め設定され、平均顔画像Ａ0（ｘ）と共にＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納されている。
【００６１】
図１２は、変換平均顔画像ｔＡ0（ｘ）の一例を示す説明図である。変換平均顔画像ｔＡ0（ｘ）は、平均顔画像Ａ0（ｘ）に対して、グローバルパラメーターとしての大きさ、傾き、位置（上下方向の位置および左右方向の位置）の少なくとも１つを変更する変換を行った画像である。具体的には、図１２（ａ）に示すように、変換平均顔画像ｔＡ0（ｘ）は、中央に示す平均顔画像Ａ0（ｘ）の平均形状領域ＢＳＡ（図８参照）内の画像を所定倍率で拡大または縮小した画像（平均顔画像Ａ0（ｘ）の上および下に示す画像）や、所定角度だけ時計回りまたは半時計回りに傾きを変更した画像（平均顔画像Ａ0（ｘ）の左および右に示す画像）を含む。また、変換平均顔画像ｔＡ0（ｘ）は、平均顔画像Ａ0（ｘ）の平均形状領域ＢＳＡ内の画像に対して、拡大・縮小および傾きの変更を組み合わせた変換を行った画像（平均顔画像Ａ0（ｘ）の左上、左下、右上、右下に示す画像）をも含む。なお、図１２に示すように、変換平均顔画像ｔＡ0（ｘ）は、平均顔画像Ａ0（ｘ）と同サイズであり、かつ、平均顔画像Ａ0（ｘ）と同じく平均形状領域ＢＳＡおよびマスク領域ＭＡ（図８参照））の２つの領域から構成される画像である。変換平均顔画像ｔＡ0（ｘ）における平均形状領域ＢＳＡおよびマスク領域ＭＡの形状は、平均顔画像Ａ0（ｘ）における平均形状領域ＢＳＡおよびマスク領域ＭＡの形状と同じである。
【００６２】
また、図１２（ｂ）に示すように、変換平均顔画像ｔＡ0（ｘ）は、平均顔画像Ａ0（ｘ）の平均形状領域ＢＳＡ（図８参照）内の画像を所定量だけ上または下に並行移動した画像（平均顔画像Ａ0（ｘ）の下および上に示す画像）や、左または右に並行移動した画像（平均顔画像Ａ0（ｘ）の右および左に示す画像）を含む。また、変換平均顔画像ｔＡ0（ｘ）は、平均顔画像Ａ0（ｘ）の平均形状領域ＢＳＡ内の画像に対して、上下および左右の並行移動を組み合わせた変換を行った画像（平均顔画像Ａ0（ｘ）の左上、左下、右上、右下に示す画像）をも含む。
【００６３】
さらに、変換平均顔画像ｔＡ0（ｘ）は、図１２（ａ）に示す８つの変換平均顔画像ｔＡ0（ｘ）のそれぞれに対して図１２（ｂ）に示す上下左右の並行移動が実行された画像をも含む。従って、本実施例では、平均顔画像Ａ0（ｘ）に対して、４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）のそれぞれについての３段階の値の組み合わせに対応する合計８０種類（＝３×３×３×３―１）の変換を行うことにより、合計８０種類の変換平均顔画像ｔＡ0（ｘ）が生成・設定されている。なお、合計８０種類の変換は、本発明におけるＮ種類の第２の変換に相当する。また、８０種類の変換平均顔画像ｔＡ0（ｘ）は、本発明におけるＮ種類の第２の変換が行われた基準顔画像に相当する。また、平均顔画像Ａ0（ｘ）自身は、４つのグローバルパラメーターのすべてについて調整量がゼロの変換が行われた画像であると捉えることもでき、そのように捉えた場合には、合計８１種類（＝３×３×３×３）の変換により合計８１種類の変換平均顔画像ｔＡ0（ｘ）が設定されるとも表現できる。
【００６４】
また、変換平均顔画像ｔＡ0（ｘ）における特徴点ＣＰの配置は、変換平均顔画像ｔＡ0（ｘ）を生成するために平均顔画像Ａ0（ｘ）に対して実行される変換によって一義的に定まる。それぞれの変換平均顔画像ｔＡ0（ｘ）における特徴点ＣＰの配置を示す情報は、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納されている。
【００６５】
なお、平均顔画像Ａ0（ｘ）と変換平均顔画像ｔＡ0（ｘ）とにより構成される画像群（８１種類の画像により構成される画像群）を「平均顔画像群」と呼ぶものとする。平均顔画像群のそれぞれは、後述の差分画像Ｉｅ算出ステップ（図１１のステップＳ３２０）において、対象画像ＯＩの想定基準領域ＡＢＡ（図１０）と対応付けられる。この対応において、平均顔画像Ａ0（ｘ）と対象画像ＯＩの想定基準領域ＡＢＡとが対応付けられる対応関係を「基準対応関係」と呼ぶものとする。このとき、各変換平均顔画像ｔＡ0（ｘ）と対象画像ＯＩの想定基準領域ＡＢＡとが対応付けられる対応関係は、基準対応関係を基準として平均顔画像Ａ0（ｘ）と対象画像ＯＩとの一方に対する上述の合計８０種類の変換が行われた後の平均顔画像Ａ0（ｘ）と対象画像ＯＩの想定基準領域ＡＢＡとの対応関係（以下、「変換対応関係」とも呼ぶ）に相当する。
【００６６】
特徴点ＣＰの初期配置決定処理（図１１）のステップＳ３１０では、初期配置部２１１（図１）が、ＡＡＭ情報ＡＭＩとして格納された平均顔画像Ａ0（ｘ）および変換平均顔画像ｔＡ0（ｘ）を読み出す。
【００６７】
ステップＳ３１２（図１１）では、正規化部２１５（図１）が、平均顔画像群のそれぞれの輝度値分布を表す指標値を参照して、対象画像ＯＩを正規化する。本実施例では、平均顔画像群のそれぞれについて、平均形状領域ＢＳＡ（図８参照）における輝度値分布を表す指標値としての平均値および分散値を示す情報が、ＡＡＭ情報ＡＭＩに含まれている。正規化部２１５は、対象画像ＯＩの想定平均形状領域ＡＢＳＡ（図１０参照）における輝度値の平均値および分散値を算出し、算出された平均値および分散値が平均顔画像群のそれぞれの輝度値の平均値および分散値に等しくなるように、対象画像ＯＩの想定平均形状領域ＡＢＳＡに対して画像変換（正規化処理）を行う。平均顔画像群は、８１種類の画像（平均顔画像Ａ0（ｘ）と８０種類の変換平均顔画像ｔＡ0（ｘ））により構成されるため、画像変換は８１回実行される。なお、輝度値の平均値および分散値は、本発明における画素値分布を表す所定の第１の指標値に相当する。また、この画像変換（正規化処理）は、本発明における第２の正規化処理に相当する。この第２の正規化処理は、上述した基準対応関係と８０種類の変換対応関係とのそれぞれにおいて実行されると表現できる。
【００６８】
ステップＳ３２０（図１１）では、初期配置部２１１（図１）が、対象画像ＯＩの想定平均形状領域ＡＢＳＡ（図１０参照）と、平均顔画像群のそれぞれの平均形状領域ＢＳＡ（図８参照）と、の差分画像Ｉｅを算出する。差分画像Ｉｅの算出は、平均顔画像群を構成する画像のそれぞれと、当該画像の輝度値分布を参照して正規化された対象画像ＯＩと、の組み合わせにおいて実行される。平均顔画像群を構成する画像（平均顔画像Ａ0（ｘ）および変換平均顔画像ｔＡ0（ｘ））は８１個であるため、初期配置部２１１は、８１個の差分画像Ｉｅを算出することとなる。
【００６９】
ステップＳ３３０（図１１）では、初期配置部２１１（図１）が、各差分画像Ｉｅのノルムを算出し、平均顔画像群（平均顔画像Ａ0（ｘ）および変換平均顔画像ｔＡ0（ｘ））の中から、ノルムの値が最も小さい差分画像Ｉｅに対応する画像（以下「ノルム最小画像」とも呼ぶ）を選択し、ノルム最小画像における特徴点ＣＰの配置に基づき、対象画像ＯＩにおける特徴点ＣＰの初期配置を決定する。ノルム最小画像は、その平均形状領域ＢＳＡと対象画像ＯＩの想定平均形状領域ＡＢＳＡ（図１０）との相違の程度が最も小さい（最も近い、最も似ている）画像である。なお、ノルム最小画像を選択することは、上述した基準対応関係および８０種類の変換対応関係の中から、正規化処理後の平均顔画像群（の平均形状領域ＢＳＡ）と対象画像ＯＩ（の想定平均形状領域ＡＢＳＡ）との相違の程度が最も小さい対応関係を選択し、選択された対応関係における平均顔画像Ａ0（ｘ）または変換平均顔画像ｔＡ0（ｘ）を選択することと同義である。初期配置部２１１は、ノルム最小画像を対象画像ＯＩの想定基準領域ＡＢＡに重ねたときのノルム最小画像における特徴点ＣＰの配置を、対象画像ＯＩにおける特徴点ＣＰの初期配置として決定する。特徴点ＣＰの初期配置処理により、対象画像ＯＩにおいて、特徴点ＣＰの配置の全体的な大きさ、傾き、位置（上下方向の位置および左右方向の位置）を規定するグローバルパラメーターの概略値が設定されたこととなる。
【００７０】
図１３は、対象画像ＯＩにおける特徴点ＣＰの初期配置の一例を示す説明図である。図１３では、対象画像ＯＩにおいて決定された特徴点ＣＰの初期配置をメッシュによって表現している。すなわち、メッシュの各交点が特徴点ＣＰである。なお、このメッシュは、平均形状ｓ0における平均形状メッシュＢＳＭと相似の関係にある。
【００７１】
特徴点ＣＰ初期配置決定処理（図９のステップＳ２３０）が完了すると、顔特徴位置特定部２１０（図１）は、対象画像ＯＩにおける特徴点ＣＰの配置更新を行う（ステップＳ２４０）。図１４は、第１実施例における特徴点ＣＰ配置更新処理の流れを示すフローチャートである。
【００７２】
ステップＳ４１０では、画像変換部２１２（図１）が、対象画像ＯＩから平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出する。平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、平均形状ｓ0を有する顔画像である。平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、入力画像における特徴点ＣＰの配置が平均形状ｓ0における特徴点ＣＰの配置（図６参照）と等しくなるような変換によって算出される。
【００７３】
平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出するための変換は、サンプル顔画像ＳＩｗ算出のための変換（図７参照）と同様に、三角形領域ＴＡ毎のアフィン変換の集合であるワープＷにより行われる。具体的には、対象画像ＯＩに配置された特徴点ＣＰ（図１３参照）によって対象画像ＯＩにおける平均形状領域ＢＳＡ（外周に位置する特徴点ＣＰにより囲まれた領域）が特定され、平均形状領域ＢＳＡに対して三角形領域ＴＡ毎のアフィン変換が行われることにより、平均形状画像Ｉ（Ｗ（ｘ；ｐ））が算出される。本実施例では、平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、平均顔画像Ａ0（ｘ）と同様に平均形状領域ＢＳＡおよびマスク領域ＭＡにより構成され、平均顔画像Ａ0（ｘ）と同サイズの画像として算出される。なお、平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出するための変換は、本発明における第１の変換に相当する。また、平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、第１の変換が行われた対象画像ＯＩ（の平均形状領域ＢＳＡ）に相当する。
【００７４】
なお、上述したように、画素群ｘは、平均形状ｓ0における平均形状領域ＢＳＡに位置する画素の集合である。ワープＷ実行後の画像（平均形状ｓ0を有する顔画像）における画素群ｘに対応するワープＷ実行前の画像（対象画像ＯＩの平均形状領域ＢＳＡ）における画素群をＷ（ｘ；ｐ）と表す。平均形状画像は、対象画像ＯＩの平均形状領域ＢＳＡにおける画素群Ｗ（ｘ；ｐ）のそれぞれにおける輝度値により構成される画像であるため、Ｉ（Ｗ（ｘ；ｐ））と表される。
【００７５】
ステップＳ４１２（図１４）では、正規化部２１５（図１）が、平均顔画像Ａ0（ｘ）の輝度値分布を表す指標値を参照して、平均形状画像Ｉ（Ｗ（ｘ；ｐ））を正規化する。上述したように、本実施例では、平均顔画像Ａ0（ｘ）の平均形状領域ＢＳＡ（図８参照）における輝度値分布を表す指標値としての平均値および分散値を示す情報が、ＡＡＭ情報ＡＭＩに含まれている。正規化部２１５は、平均形状画像Ｉ（Ｗ（ｘ；ｐ））の平均形状領域ＢＳＡにおける輝度値の平均値および分散値を算出し、算出された平均値および分散値が平均顔画像Ａ0（ｘ）の輝度値の平均値および分散値に等しくなるように、平均形状画像Ｉ（Ｗ（ｘ；ｐ））の平均形状領域ＢＳＡに対する画像変換（正規化処理）を行う。なお、輝度値の平均値および分散値は、本発明における画素値分布を表す所定の第１の指標値に相当する。また、この画像変換（正規化処理）は、本発明における第１の正規化処理に相当する。
【００７６】
ステップＳ４２０（図１４）では、顔特徴位置特定部２１０（図１）が、正規化処理後の平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ0（ｘ）との差分画像Ｉｅを算出する。ステップＳ４３０では、判定部２１３（図１）が、差分画像Ｉｅに基づき、特徴点ＣＰの配置更新処理が収束したか否かを判定する。判定部２１３は、差分画像Ｉｅのノルムを算出し、ノルムの値が予め設定された閾値より小さい場合には収束したと判定し、ノルムの値が閾値以上の場合には未だ収束していないと判定する。差分画像Ｉｅのノルムは、平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ0（ｘ）との相違の程度を表す指標値であり、本発明における第２の指標値に相当する。
【００７７】
なお、ステップＳ４３０の収束判定において、判定部２１３は、算出された差分画像Ｉｅのノルムの値が前回のステップＳ４３０において算出された値よりも小さい場合には収束したと判定し、前回値以上である場合には未だ収束していないと判定するものとしてもよい。あるいは、判定部２１３は、閾値による判定と前回値との比較による判定とを組み合わせて収束判定を行うものとしてもよい。例えば、判定部２１３は、算出されたノルムの値が、閾値より小さく、かつ、前回値より小さい場合にのみ収束したと判定し、それ以外の場合には未だ収束していないと判定するものとしてもよい。
【００７８】
ステップＳ４３０の収束判定において未だ収束していないと判定された場合には、更新部２１４（図１）が、パラメーター更新量ΔＰを算出する（ステップＳ４４０）。パラメーター更新量ΔＰは、４個のグローバルパラメーター（全体としての大きさ、傾き、Ｘ方向位置、Ｙ方向位置）およびｎ個の形状パラメーターｐi（式（１）参照）の値の変更量を意味している。なお、特徴点ＣＰの初期配置直後においては、グローバルパラメーターは、特徴点ＣＰ初期配置決定処理（図１１）において決定された値が設定されている。また、このときの特徴点ＣＰの初期配置と平均形状ｓ0の特徴点ＣＰの配置との相違は、全体としての大きさ、傾き、位置の相違に限られるため、形状モデルにおける形状パラメーターｐiの値はすべてゼロである。
【００７９】
パラメーター更新量ΔＰは、下記の式（３）により算出される。すなわち、パラメーター更新量ΔＰは、アップデートマトリックスＲと差分画像Ｉｅとの積である。
【００８０】
【数３】
2010186216.tif 000005
【００８１】
式（３）におけるアップデートマトリックスＲは、差分画像Ｉｅに基づきパラメーター更新量ΔＰを算出するために予め学習により設定されたＭ行Ｎ列のマトリックスであり、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納されている。本実施例では、アップデートマトリックスＲの行数Ｍは、グローバルパラメーターの数（４個）と形状パラメーターｐiの数（ｎ個）との和（（４＋ｎ）個）に等しく、列数Ｎは、平均顔画像Ａ0（ｘ）（図６）の平均形状領域ＢＳＡ内の画素数（５６画素×５６画素−マスク領域ＭＡの画素数）に等しい。アップデートマトリックスＲは、下記の式（４）および（５）により算出される。
【００８２】
【数４】
2010186216.tif 000006
【数５】
2010186216.tif 000007
【００８３】
ステップＳ４５０（図１４）では、更新部２１４（図１）が、算出されたパラメーター更新量ΔＰに基づきパラメーター（４個のグローバルパラメーターおよびｎ個の形状パラメーターｐi）を更新する。これにより、対象画像ＯＩにおける特徴点ＣＰの配置が更新される。ステップＳ４５０のパラメーター更新の後には、再度、特徴点ＣＰの配置が更新された対象画像ＯＩからの平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出（ステップＳ４１０）、差分画像Ｉｅの算出（ステップＳ４２０）、差分画像Ｉｅに基づく収束判定（ステップＳ４３０）が行われる。再度の収束判定においても収束していないと判定された場合には、さらに、差分画像Ｉｅに基づくパラメーター更新量ΔＰの算出（ステップＳ４４０）、パラメーター更新による特徴点ＣＰの配置更新（ステップＳ４５０）が行われる。
【００８４】
図１４のステップＳ４１０からＳ４５０までの処理が繰り返し実行されると、対象画像ＯＩにおける各特徴部位に対応する特徴点ＣＰの位置は実際の特徴部位の位置（正解位置）に全体として近づいていき、ある時点で収束判定（ステップＳ４３０）において収束したと判定される。収束判定において収束したと判定されると、顔特徴位置特定処理が完了する（ステップＳ４６０）。このとき設定されているグローバルパラメーターおよび形状パラメーターｐiの値により特定される特徴点ＣＰの配置が、最終的な対象画像ＯＩにおける特徴点ＣＰの配置として決定される。
【００８５】
図１５は、顔特徴位置特定処理の結果の一例を示す説明図である。図１５には、対象画像ＯＩにおいて最終的に決定された特徴点ＣＰの配置が示されている。特徴点ＣＰの配置により、対象画像ＯＩにおける特徴部位（人物の顔の器官（眉毛、目、鼻、口）および顔の輪郭における所定位置）の位置が特定され、対象画像ＯＩにおける人物の顔の器官の形状・位置や顔の輪郭形状の特定が可能となる。
【００８６】
以上説明したように、本実施例の顔特徴位置特定処理（図９）では、平均顔画像Ａ0（ｘ）および変換平均顔画像ｔＡ0（ｘ）の中から対象画像ＯＩの想定基準領域ＡＢＡ（図１０）に最も近い画像が選択され、選択された平均顔画像Ａ0（ｘ）または変換平均顔画像ｔＡ0（ｘ）における特徴点ＣＰの配置に基づき対象画像ＯＩにおける特徴点ＣＰの初期配置が決定される。その後、対象画像ＯＩから算出された平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ0（ｘ）との比較結果に基づき対象画像ＯＩにおける特徴点ＣＰの配置が更新される。すなわち、特徴点ＣＰの初期配置決定処理（図１１）において、特徴点ＣＰの配置の全体的な大きさ、傾き、位置（上下方向の位置および左右方向の位置）を規定するグローバルパラメーターの概略値が決定され、その後の特徴点ＣＰ配置更新処理（図１４）において、差分画像Ｉｅに基づくパラメーター更新に伴い特徴点ＣＰの配置が更新されて、対象画像ＯＩにおける最終的な特徴点ＣＰの配置が決定される。このように、本実施例では、まず初期配置決定処理において特徴点ＣＰの配置全体の変動が大きい（分散が大きい）グローバルパラメーターの概略値を決定することにより、顔特徴位置特定処理の効率化・高速化および精度の向上（いわゆるローカルな最適解ではなくグローバルな最適解に基づく特徴点ＣＰの配置の最終決定）を実現することができる。
【００８７】
また、本実施例の特徴点ＣＰ配置更新処理（図１４）では、対象画像ＯＩから算出された平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ0（ｘ）との差分画像Ｉｅの算出（図１４のステップＳ４２０）の前に、平均形状画像Ｉ（Ｗ（ｘ；ｐ））の平均形状領域ＢＳＡと平均顔画像Ａ0（ｘ）の平均形状領域ＢＳＡとの間で輝度値の平均値および分散値が互いに等しくなるように、平均形状画像Ｉ（Ｗ（ｘ；ｐ））に対する画像変換（正規化処理）が行われる（ステップＳ４１２）。これにより、個々の対象画像ＯＩの輝度値分布の特徴が差分画像Ｉｅに与える影響が抑制され、差分画像Ｉｅに基づく収束判定（ステップＳ４３０）の精度が向上し、ひいては顔特徴位置特定処理の精度が向上する。また、収束判定において、上述したように、絶対閾値を用いた判定によっても高精度な判定が可能となる。従って、例えば差分画像Ｉｅのノルムの値について前回値と比較することにより収束判定を行う場合と比較して、処理の高速化を図ることができる。
【００８８】
また、同様に、本実施例の特徴点ＣＰ初期配置決定処理（図１１）では、対象画像ＯＩと平均顔画像群との差分画像Ｉｅの算出（図１１のステップＳ３２０）の前に、対象画像ＯＩの想定平均形状領域ＡＢＳＡと平均顔画像群のそれぞれの平均形状領域ＢＳＡとの間で輝度値の平均値および分散値が互いに等しくなるように、対象画像ＯＩに対する画像変換（正規化処理）が行われる（ステップＳ３１２）。これにより、個々の対象画像ＯＩの輝度値分布の特徴が差分画像Ｉｅに与える影響が抑制され、差分画像Ｉｅに基づく特徴点ＣＰの初期配置決定の精度が向上し、顔特徴位置特定処理の精度向上および高速化を図ることができる。
【００８９】
Ｂ．第２実施例：
図１６は、第２実施例における特徴点ＣＰの初期配置決定処理の流れを示すフローチャートである。ステップＳ５１０では、初期配置部２１１（図１）が、グローバルパラメーターとしての大きさ、傾き、位置（上下方向の位置および左右方向の位置）の値を種々変更して、対象画像ＯＩ上に特徴点ＣＰの仮配置を設定する。
【００９０】
図１７は、対象画像ＯＩにおける特徴点ＣＰの仮配置の一例を示す説明図である。図１７（ａ）および図１７（ｂ）には、対象画像ＯＩにおける特徴点ＣＰの仮配置をメッシュによって示している。すなわち、メッシュの各交点が特徴点ＣＰである。初期配置部２１１は、図１７（ａ）および図１７（ｂ）の中央に示すように、対象画像ＯＩの想定基準領域ＡＢＡ（図１０参照）に平均顔画像Ａ0（ｘ）（図８）を重ねた場合における平均顔画像Ａ0（ｘ）の特徴点ＣＰにより特定される仮配置（以下、「基準仮配置」とも呼ぶ）を設定する。
【００９１】
初期配置部２１１は、また、基準仮配置に対して、グローバルパラメーターの値を種々変更した仮配置を設定する。グローバルパラメーター（大きさ、傾き、上下方向の位置および左右方向の位置）を変更することは、特徴点ＣＰの仮配置を特定するメッシュに対して拡大・縮小、傾きの変更、並行移動を行うことに相当する。従って、初期配置部２１１は、図１７（ａ）に示すように、基準仮配置のメッシュに対して所定倍率で拡大または縮小したメッシュにより特定される仮配置（基準仮配置の下および上に示す）や、所定角度だけ時計回りまたは半時計回りに傾きを変更したメッシュにより特定される仮配置（基準仮配置の右および左に示す）を設定する。また、初期配置部２１１は、基準仮配置のメッシュに対して拡大・縮小および傾きの変更を組み合わせた変換を行ったメッシュにより特定される仮配置（基準仮配置の左上、左下、右上、右下に示す）も設定する。
【００９２】
また、図１２（ｂ）に示すように、初期配置部２１１は、基準仮配置のメッシュを所定量だけ上または下に並行移動したメッシュにより特定される仮配置（基準仮配置の上および下に示す）や、左または右に並行移動したメッシュにより特定される仮配置（基準仮配置の左および右に示す）を設定する。また、初期配置部２１１は、基準仮配置のメッシュに対して、上下および左右の並行移動を組み合わせた変換を行ったメッシュにより特定される仮配置（基準仮配置の左上、左下、右上、右下に示す）も設定する。
【００９３】
さらに、初期配置部２１１は、図１７（ａ）に示す基準仮配置以外の８つの仮配置のそれぞれにおけるメッシュに対して図１７（ｂ）に示す上下左右の並行移動が実行されたメッシュにより特定される仮配置も設定する。従って、第２実施例では、基準仮配置と、基準仮配置におけるメッシュに対して４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）のそれぞれについての３段階の値の組み合わせに対応する合計８０種類（＝３×３×３×３―１）の変換を行うことにより設定される８０種類の仮配置と、の合計８１種類の仮配置が設定される。
【００９４】
なお、本実施例において、基準仮配置における平均顔画像Ａ0（ｘ）と対象画像ＯＩの想定基準領域ＡＢＡとの対応関係を「基準対応関係」と呼ぶものとする。仮配置の設定は、基準対応関係を基準として平均顔画像Ａ0（ｘ）と対象画像ＯＩとの一方に対する上述の合計８０種類の変換が行われた後の平均顔画像Ａ0（ｘ）と対象画像ＯＩとの対応関係（以下、「変換対応関係」とも呼ぶ）が設定され、基準対応関係および変換対応関係における平均顔画像Ａ0（ｘ）の特徴点ＣＰの配置を対象画像ＯＩにおける特徴点ＣＰの仮配置とすることにより実現されると表現できる。また、合計８０種類の変換は、本発明におけるＮ種類の第２の変換に相当する。
【００９５】
ステップＳ５２０（図１６）では、画像変換部２１２（図１）が、設定された各仮配置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出する。図１８は、平均形状画像Ｉ（Ｗ（ｘ；ｐ））の一例を示す説明図である。平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出方法は、上述した第１実施例の特徴点ＣＰ配置更新処理（図１４）における平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出方法（ステップＳ４１０）と同じである。すなわち、対象画像ＯＩにおける特徴点ＣＰの仮配置によって平均形状領域ＢＳＡ（外周に位置する特徴点ＣＰにより囲まれた領域）が特定され、対象画像ＯＩにおける平均形状領域ＢＳＡに対して三角形領域ＴＡ毎のアフィン変換が行われることにより、平均形状画像Ｉ（Ｗ（ｘ；ｐ））が算出される。平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、平均顔画像Ａ0（ｘ）と同様に平均形状領域ＢＳＡおよびマスク領域ＭＡにより構成され、平均顔画像Ａ0（ｘ）と同サイズの画像として算出される。図１８には、図１７（ａ）に示した９個の仮配置に対応する９個の平均形状画像Ｉ（Ｗ（ｘ；ｐ））を示している。
【００９６】
ステップＳ５２２（図１６）では、正規化部２１５（図１）が、平均顔画像Ａ0（ｘ）の輝度値分布を表す指標値を参照して、平均形状画像Ｉ（Ｗ（ｘ；ｐ））を正規化する。第２実施例においても、平均顔画像Ａ0（ｘ）の平均形状領域ＢＳＡ（図８参照）における輝度値分布を表す指標値としての平均値および分散値を示す情報が、ＡＡＭ情報ＡＭＩに含まれている。正規化部２１５は、各平均形状画像Ｉ（Ｗ（ｘ；ｐ））の平均形状領域ＢＳＡにおける輝度値の平均値および分散値を算出し、算出された平均値および分散値が平均顔画像Ａ0（ｘ）の輝度値の平均値および分散値に等しくなるように画像変換（正規化処理）を行う。なお、輝度値の平均値および分散値は、本発明における画素値分布を表す所定の第１の指標値に相当する。また、この画像変換（正規化処理）は、本発明における第１の正規化処理に相当する。
【００９７】
ステップＳ５３０（図１６）では、初期配置部２１１（図１）が、正規化処理後の各平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ0（ｘ）との差分画像Ｉｅを算出する。特徴点ＣＰの仮配置は８１種類設定され、平均形状画像Ｉ（Ｗ（ｘ；ｐ））は８１個設定されているため、初期配置部２１１は８１個の差分画像Ｉｅを算出することとなる。
【００９８】
ステップＳ５４０（図１６）では、初期配置部２１１（図１）が、各差分画像Ｉｅのノルムを算出し、ノルムの値が最も小さい差分画像Ｉｅに対応する仮配置（以下「ノルム最小仮配置」とも呼ぶ）を、対象画像ＯＩにおける特徴点ＣＰの初期配置として設定する。ノルム最小仮配置は、平均顔画像Ａ0（ｘ）との相違の程度が最も小さい（最も近い、最も似ている）平均形状画像Ｉ（Ｗ（ｘ；ｐ））に対応する仮配置である。なお、ノルム最小仮配置を選択することは、上述した基準対応関係および８０種類の変換対応関係の中から、正規化処理後の平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ0（ｘ）との相違の程度が最も小さい対応関係を選択し、選択された対応関係における仮配置を選択することと同義である。特徴点ＣＰの初期配置処理により、対象画像ＯＩにおいて、特徴点ＣＰの配置の全体的な大きさ、傾き、位置（上下方向の位置および左右方向の位置）を規定するグローバルパラメーターの概略値が設定されたこととなる。
【００９９】
以上説明したように、第２実施例の特徴点ＣＰ初期配置決定処理（図１６）においても、対象画像ＯＩから算出された平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ0（ｘ）との差分画像Ｉｅの算出（図１６のステップＳ５３０）の前に、平均形状画像Ｉ（Ｗ（ｘ；ｐ））の平均形状領域ＢＳＡと平均顔画像Ａ0（ｘ）の平均形状領域ＢＳＡとの間で輝度値の平均値および分散値が互いに等しくなるように、平均形状画像Ｉ（Ｗ（ｘ；ｐ））に対する画像変換（正規化処理）が行われる（ステップＳ５２２）。これにより、個々の対象画像ＯＩの輝度値分布の特徴が差分画像Ｉｅに与える影響が抑制され、差分画像Ｉｅに基づく特徴点ＣＰの初期配置決定の精度が向上し、顔特徴位置特定処理の精度向上および高速化を図ることができる。
【０１００】
Ｃ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【０１０１】
Ｃ１．変形例１：
上記各実施例では、特徴点ＣＰ配置更新処理（図１４）における差分画像Ｉｅの算出（図１４のステップＳ４２０）の前に平均形状画像Ｉ（Ｗ（ｘ；ｐ））に対する正規化処理（図１４のステップＳ４１２）が行われると共に、特徴点ＣＰ初期配置決定処理（図１１，１６）における差分画像Ｉｅの算出（図１１のステップＳ３２０、図１６のステップＳ５３０）の前にも対象画像ＯＩまたは平均形状画像Ｉ（Ｗ（ｘ；ｐ））に対する正規化処理（図１１のステップＳ３１２、図１６のステップＳ５２２）が行われるものとしているが、正規化処理は特徴点ＣＰ配置更新処理または特徴点ＣＰ初期配置決定処理のいずれか一方のみにおいて実行されるものとしてもよい。
【０１０２】
また、特徴点ＣＰ配置更新処理（図１４）における正規化処理は、平均形状画像Ｉ（Ｗ（ｘ；ｐ））に対して実行されるとしているが、平均形状画像Ｉ（Ｗ（ｘ；ｐ））の輝度値の平均値および分散値が平均顔画像Ａ0（ｘ）の輝度値の平均値および分散値に等しくなるような正規化処理であれば、平均顔画像Ａ0（ｘ）に対して実行されるものとしてもよいし、平均形状画像Ｉ（Ｗ（ｘ；ｐ）および平均顔画像Ａ0（ｘ）の両者に対して実行されるものとしてもよい。
【０１０３】
同様に、第１実施例の特徴点ＣＰ初期配置決定処理（図１１）における正規化処理は、対象画像ＯＩに対して実行されるとしているが、対象画像ＯＩの想定平均形状領域ＡＢＳＡの輝度値の平均値および分散値が平均顔画像群の平均形状領域ＢＳＡの輝度値の平均値および分散値に等しくなるような正規化処理であれば、平均顔画像群に対して実行されるものとしてもよいし、対象画像ＯＩおよび平均顔画像群の両者に対して実行されるものとしてもよい。また、第２実施例の特徴点ＣＰ初期配置決定処理（図１６）における正規化処理は、平均形状画像Ｉ（Ｗ（ｘ；ｐ））に対して実行されるとしているが、平均形状画像Ｉ（Ｗ（ｘ；ｐ））の輝度値の平均値および分散値が平均顔画像Ａ0（ｘ）の輝度値の平均値および分散値に等しくなるような正規化処理であれば、平均顔画像Ａ0（ｘ）に対して実行されるものとしてもよいし、平均形状画像Ｉ（Ｗ（ｘ；ｐ））および平均顔画像Ａ0（ｘ）の両者に対して実行されるものとしてもよい。
【０１０４】
また、上記各実施例の特徴点ＣＰ配置更新処理（図１４）および特徴点ＣＰ初期配置決定処理（図１１，１６）における正規化処理では、２つの画像の輝度値の平均値および分散値が互いに等しくなるように実行されるとしているが、正規化処理は、２つの画像の輝度値の平均値および分散値が等しくはならないが、互いに近づくように実行されるものとしてもよい。
【０１０５】
また、上記各実施例の特徴点ＣＰ配置更新処理（図１４）および特徴点ＣＰ初期配置決定処理（図１１，１６）における正規化処理では、画像の画素値分布を表す指標値として、輝度値の平均値および分散値が用いられているが、例えば輝度値の標準偏差や、ＲＧＢ値の平均値および分散値といった他の指標値が用いられるとしてもよい。
【０１０６】
Ｃ２．変形例２：
上記各実施例では、特徴点ＣＰ初期配置決定処理（図９のステップＳ２３０）において、平均顔画像群のそれぞれと対象画像ＯＩとの差分画像Ｉｅや、平均顔画像Ａ0（ｘ）と複数の平均形状画像Ｉ（Ｗ（ｘ；ｐ））のそれぞれとの差分画像Ｉｅが算出され、差分画像Ｉｅに基づいて平特徴点ＣＰの配置全体の変動が大きい（分散が大きい）グローバルパラメーターの概略値が決定されるものとしているが、対象画像ＯＩにおける特徴点ＣＰの初期配置の決定の際には、必ずしも差分画像Ｉｅの算出やグローバルパラメーターの概略値の決定を行う必要はなく、予め定められた特徴点ＣＰの配置（例えば上述の基準対応関係における配置）を初期配置として決定するものとしてもよい。
【０１０７】
Ｃ３．変形例３：
上記各実施例では、特徴点ＣＰ配置更新処理（図１４）の収束判定（ステップＳ４３０）における判定指標値として、平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ0（ｘ）との差分画像Ｉｅのノルムが用いられているが、判定指標値として、平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ0（ｘ）との相違の程度を表す他の指標値が用いられるとしてもよい。
【０１０８】
Ｃ４．変形例４：
上記各実施例では、平均顔画像Ａ0（ｘ）に対して、４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）のそれぞれについての３段階の値の組み合わせに対応する合計８０種類（＝３×３×３×３―１）の変換により合計８０種類の変換平均顔画像ｔＡ0（ｘ）が予め設定されているが、変換平均顔画像ｔＡ0（ｘ）の設定に用いるパラメーターの種類および数やパラメーター値の段階数は変更可能である。例えば、４つのグローバルパラメーターの内の一部のみが変換平均顔画像ｔＡ0（ｘ）の設定に用いられるとしてもよいし、グローバルパラメーターの少なくとも一部と所定数の形状パラメーターｐiとが変換平均顔画像ｔＡ0（ｘ）の設定に用いられるとしてもよい。また、用いられるパラメーターのそれぞれについて、５段階の値の組み合わせに対応する変換により変換平均顔画像ｔＡ0（ｘ）が設定されるものとしてもよい。
【０１０９】
Ｃ５．変形例５：
上記各実施例の特徴点ＣＰ配置更新処理（図１４）では、対象画像ＯＩに基づき平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出することにより対象画像ＯＩの特徴点ＣＰの配置を平均顔画像Ａ0（ｘ）の特徴点ＣＰの配置に整合させているが、平均顔画像Ａ0（ｘ）に対して画像変換を行うことにより両者の特徴点ＣＰの配置を整合させるものとしてもよい。
【０１１０】
Ｃ６．変形例６：
上記各実施例では、顔領域ＦＡの検出が行われ、顔領域ＦＡに基づき想定基準領域ＡＢＡが設定されるとしているが、顔領域ＦＡの検出は必ずしも実行される必要はない。例えば、ユーザによる指定に従い直接、想定基準領域ＡＢＡが設定されるとしてもよい。
【０１１１】
Ｃ７．変形例７：
上記各実施例におけるサンプル顔画像ＳＩ（図３）はあくまで一例であり、サンプル顔画像ＳＩとして採用する画像の数、種類は任意に設定可能である。また、上記各実施例において、特徴点ＣＰの位置で示される顔の所定の特徴部位（図４参照）はあくまで一例であり、実施例において設定されている特徴部位の一部を省略したり、特徴部位として他の部位を採用したりしてもよい。
【０１１２】
また、上記各実施例では、サンプル顔画像ＳＩｗの画素群ｘのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析によってテクスチャーモデルが設定されているが、顔画像のテクスチャー（見え）を表す輝度値以外の指標値（例えばＲＧＢ値）に対する主成分分析によってテクスチャーモデルが設定されるものとしてもよい。
【０１１３】
また、上記各実施例において、平均顔画像Ａ0（ｘ）のサイズは５６画素×５６画素に限られず他のサイズであってもよい。また、平均顔画像Ａ0（ｘ）は、マスク領域ＭＡ（図８）を含む必要はなく、平均形状領域ＢＳＡのみによって構成されるとしてもよい。また、平均顔画像Ａ0（ｘ）の代わりに、サンプル顔画像ＳＩの統計的分析に基づき設定される他の基準顔画像が用いられるとしてもよい。
【０１１４】
また、上記各実施例では、ＡＡＭを用いた形状モデルおよびテクスチャーモデルの設定が行われているが、他のモデル化手法（例えばＭｏｒｐｈａｂｌｅ  Ｍｏｄｅｌと呼ばれる手法やＡｃｔｉｖｅ  Ｂｌｏｂと呼ばれる手法）を用いて形状モデルおよびテクスチャーモデルの設定が行われるとしてもよい。
【０１１５】
また、上記各実施例では、メモリーカードＭＣに格納された画像が対象画像ＯＩに設定されているが、対象画像ＯＩは例えばネットワークを介して取得された画像であってもよい。
【０１１６】
また、上記各実施例では、画像処理装置としてのプリンター１００による画像処理を説明したが、処理の一部または全部がパーソナルコンピューターやデジタルスチルカメラ、デジタルビデオカメラ等の他の種類の画像処理装置により実行されるものとしてもよい。また、プリンター１００はインクジェットプリンターに限らず、他の方式のプリンター、例えばレーザプリンターや昇華型プリンターであるとしてもよい。
【０１１７】
上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。
【０１１８】
また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。
【符号の説明】
【０１１９】
１００…プリンター
１１０…ＣＰＵ
１２０…内部メモリー
１４０…操作部
１５０…表示部
１６０…プリンターエンジン
１７０…カードインターフェース
１７２…カードスロット
２００…画像処理部
２１０…顔特徴位置特定部
２１１…初期配置部
２１２…画像変換部
２１３…判定部
２１４…更新部
２１５…正規化部
２３０…顔領域検出部
３１０…表示処理部
３２０…印刷処理部
【図１】
2010186216.tif 000008
【図２】
2010186216.tif 000009
【図３】
2010186216.tif 000010
【図４】
2010186216.tif 000011
【図５】
2010186216.tif 000012
【図６】
2010186216.tif 000013
【図７】
2010186216.tif 000014
【図８】
2010186216.tif 000015
【図９】
2010186216.tif 000016
【図１０】
2010186216.tif 000017
【図１１】
2010186216.tif 000018
【図１２】
2010186216.tif 000019
【図１３】
2010186216.tif 000020
【図１４】
2010186216.tif 000021
【図１５】
2010186216.tif 000022
【図１６】
2010186216.tif 000023
【図１７】
2010186216.tif 000024
【図１８】
2010186216.tif 000025