(57)【要約】【課題】本発明は、複数の表情を精度よく判別することを目的とする。【解決手段】注目画像に含まれる顔の表情を判定するにあたり、前記注目画像から顔画像の少なくとも一部を含む画像領域を顔領域として検出し、複数の特徴量に基づいて少なくとも顔の特徴部位の位置を再現する顔モデルを設定し、前記顔モデルによって再現される前記特徴部位の位置が、前記顔領域に近似するように前記特徴量を補正し、前記補正された前記特徴量に基づいて複数の表情ごとに判定値を算出し、各表情についての判定値を総合して顔の表情を判定する。【選択図】図１
2010271956.tif 000002
【特許請求の範囲】
【請求項１】
注目画像に含まれる顔の表情を判定する画像処理装置であって、
前記注目画像から顔画像の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出部と、
複数の特徴量に基づいて少なくとも顔の特徴部位の位置を再現する顔モデルを設定する設定部と、
前記顔モデルによって再現される前記特徴部位の位置が、前記顔領域に近似するように前記特徴量を補正する補正部と、
前記補正された前記特徴量に基づいて複数の表情ごとにその表情らしさを示す判定値を算出し、各表情についての判定値を総合して顔の表情を判定する判定部と、を備える画像処理装置。
【請求項２】
前記判定部は、表情らしさを最も強く示す前記判定値に対応する表情を前記顔領域が有すると判定する請求項１に記載の画像処理装置。
【請求項３】
前記特徴量の少なくとも一つは、複数のサンプル画像の前記特徴部位の位置を主成分分析して得られる各主成分の固有ベクトルの係数である請求項１または請求項２のいずれかに記載の画像処理装置。
【請求項４】
前記特徴量の少なくとも一つは、複数のサンプル画像の画素の色彩値を主成分分析して得られる各主成分の固有ベクトルの係数を含む請求項１から請求項３のいずれか一項に記載の画像処理装置。
【請求項５】
異なる時刻に対応付けられた複数の前記注目画像に含まれる顔の複数の表情を順次判定していくにあたり、
前記注目画像について、ある表情を有すると判定された場合、
それより後の時刻に対応付けられた前記注目画素に含まれる当該顔について、当該表情であると判定されなくなるまで、他の表情についての前記判定値の算出および該判定値に基づく判定を行わない請求項１から請求項４のいずれか一項に記載の画像処理装置。
【請求項６】
前記判定部は、前記補正された前記特徴量の少なくとも２つを線形結合した前記判定値と閾値とを比較することにより表情の判定をする請求項１から請求項５のいずれか一項に記載の画像処理装置。
【請求項７】
注目画像に含まれる顔の表情を判定する画像処理方法であって、
前記注目画像から顔画像の少なくとも一部を含む画像領域を顔領域として検出し、
複数の特徴量に基づいて少なくとも顔の特徴部位の位置を再現する顔モデルを設定し、
前記顔モデルによって再現される前記特徴部位の位置が、前記顔領域に近似するように前記特徴量を補正し、
前記補正された前記特徴量に基づいて複数の表情ごとに判定値を算出し、各表情についての判定値を総合して顔の表情を判定する画像処理方法。
【請求項８】
注目画像に含まれる顔の表情を判定する画像処理のための画像処理プログラムであって、
前記注目画像から顔画像の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出機能と、
複数の特徴量に基づいて少なくとも顔の特徴部位の位置を再現する顔モデルを設定する設定機能と、
前記顔モデルによって再現される前記特徴部位の位置が、前記顔領域に近似するように前記特徴量を補正する補正機能と、
前記補正された前記特徴量に基づいて複数の表情ごとに判定値を算出し、各表情についての判定値を総合して顔の表情を判定する判定機能と、をコンピューターに実現させる画像処理プログラム。
【請求項９】
注目画像から顔画像の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出部と、
複数の特徴量に基づいて少なくとも顔の特徴部位の位置を再現する顔モデルを設定する設定部と、
前記顔モデルによって再現される前記特徴部位の位置が、前記顔領域に近似するように前記特徴量を補正する補正部と、
前記補正された前記特徴量に基づいて複数の表情ごとに判定値を算出し、各表情についての判定値を総合して顔の表情を判定する判定部と、
前記注目画像のうち所定の表情であると判定された顔画像を含む前記注目画像を印刷する印刷部とを備える印刷装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に含まれる顔の表情を判定する画像処理装置、画像処理方法、画像処理プログラム、および、印刷装置に関する。
【背景技術】
【０００２】
顔画像の表情を目や鼻や口や髪型や色彩などについての位置や大きさや比率などの顔特徴情報に基づいて推定する印刷装置が開示されている（特許文献１、段落００３１、参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２０６９２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、単一の顔画像に複数の表情が混在するような場合（例えば、驚いている笑顔等。）には、いずれの表情であるかを判定するのが困難であった。
本発明は、前記の課題を解決するためになされたものであり、複数の表情を精度よく判別することが可能な画像処理装置、画像処理方法、画像処理プログラム、および、印刷装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
前記課題の少なくとも一部を解決するために本願発明は以下の態様を採る。すなわち、顔領域検出部を備え、該顔領域検出部は前記注目画像から顔画像の少なくとも一部を含む画像領域を顔領域として検出する。設定部は、複数の特徴量に基づいて顔の特徴部位の位置を再現する顔モデルを設定する。さらに、補正部は、前記顔モデルによって再現される前記特徴部位の位置が、前記顔領域に近似するように前記特徴量を補正する。そして、判定部は、前記補正された前記特徴量に基づいて複数の表情ごとにその表情らしさを示す判定値を算出し、各表情についての判定値を総合して顔の表情を判定する。
【０００６】
このように、複数の表情のそれぞれについて、表情らしさを示す判定値を算出することにより、各表情の表情らしさを精度よく評価することができる。また、各表情についての判定値を総合的に判断することにより、いずれの表情を有するかを判定するため、複数の表情が混在するような場合でも、最も適切な表情を判定することができる。例えば、表情らしさを最も強く示す前記判定値に対応する表情を前記顔領域が有すると判定することにより、複数の表情が混在する場合でも、もっともそれらしい表情だけを判定することができる。なお、本発明は、単一の表情を有すると判定するものに限られず、例えば複数の表情の判定値が所定の閾値を超えた場合に、複数の表情を有する旨を判定するようにしてもよい。また、前記補正された前記特徴量の少なくとも２つを線形結合した前記判定値と閾値との比較することより表情の判定をしてもよい。このようにすることにより、複数の前記特徴量を総合的に考慮して判定値を算出することができる。
【０００７】
別の態様に係る画像処理装置では、前記特徴量の少なくとも一つを、複数のサンプル画像の特徴部位の位置を主成分分析して得られる各主成分の固有ベクトルの係数とする。すなわち、顔モデルを主成分分析を利用して用意するとともに、前記特徴量を各主成分の固有ベクトルの係数とする。さらに、前記特徴量の少なくとも一つを、複数のサンプル画像の画素の色彩値を主成分分析して得られる各主成分の固有ベクトルの係数とすることにより、顔の見えをモデル化することができる。
【０００８】
別の態様に係る画像処理装置では、異なる時刻に対応付けられた複数の前記注目画像に含まれる顔の複数の表情を順次判定していくにあたり、前記注目画像について、ある表情を有すると判定された場合、それより後の時刻に対応付けられた前記注目画素に含まれる当該顔について、当該表情であると判定されなくなるまで、他の表情についての前記判定値の算出および該判定値に基づく判定を行わないこととする。このようにすることにより、異なる時刻に対応付けられた動画等の各フレームに対する表情判定を効率よく実行させることができる。
【０００９】
なお、本発明は、種々の態様で実現することが可能であり、例えば、画像処理方法および装置、特徴部位の位置検出方法および装置、表情判定方法および装置、これらの方法または装置の機能を実現するための画像処理プログラム、その画像処理プログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の前記実施例における画像処理装置としてのプリンター１００の構成を概略的に示す説明図である。
【図２】前記実施例におけるＡＡＭ設定処理の流れを示すフローチャートである。
【図３】サンプル画像ＳＩの一例を示す説明図である。
【図４】サンプル画像ＳＩにおける特徴点ＣＰの設定方法の一例を示す説明図である。
【図５】サンプル画像ＳＩに設定された特徴点ＣＰの座標の一例を示す説明図である。
【図６】平均形状ｓ０の一例を示す説明図である。
【図７】形状ベクトルｓiおよび形状パラメーターｐiと顔の形状ｓとの関係を例示した説明図である。
【図８】サンプル画像ＳＩのワープＷの方法の一例を示す説明図である。
【図９】平均顔画像Ａ0（ｘ）の一例を示す説明図である。
【図１０】前記実施例における顔特徴検出処理の流れを示すフローチャートである。
【図１１】注目画像ＯＩにおける顔領域ＦＡの検出結果の一例を示す説明図である。
【図１２】前記実施例における特徴点ＣＰの初期位置設定処理の流れを示すフローチャートである。
【図１３】グローバルパラメーターの値を変更することによる特徴点ＣＰの仮設定位置の一例を示す説明図である。
【図１４】平均形状画像Ｉ（Ｗ（ｘ；ｐ））の一例を示す説明図である。
【図１５】前記実施例における特徴点ＣＰ設定位置補正処理の流れを示すフローチャートである。
【図１６】ＣＰ設定位置補正処理の結果の一例を示す説明図である。
【図１７】テクスチャー検出処理の流れを示すフローチャートである。
【図１８】表情判定処理の流れを示すフローチャートである。
【図１９】判定値を示すグラフである。
【図２０】判定値設定処理の流れを示すフローチャートである。
【図２１】特徴量と喜顔であるか否かの相関を説明するグラフである。
【図２２】変形例にかかる表情判定処理の流れを示すフローチャートである。
【図２３】変形例にかかる表情判定処理の流れを示すフローチャートである。
【図２４】変形例において表情パラメーターを設定する処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明に係る画像処理装置の一態様であるプリンターについて、図面を参照しつつ、実施例に基づいて説明する。
【００１２】
Ａ．本実施例：
Ａ１．画像処理装置の構成：
図１は、本発明の本実施例における画像処理装置としてのプリンター１００の構成を概略的に示す説明図である。本実施例のプリンター１００は、メモリーカードＭＣ等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したインクジェット式カラープリンターである。プリンター１００は、プリンター１００の各部を制御するＣＰＵ１１０と、ＲＯＭやＲＡＭによって構成された内部メモリー１２０と、ボタンやタッチパネルにより構成された操作部１４０と、液晶ディスプレイにより構成された表示部１５０と、印刷機構１６０と、カードインターフェース（カードＩ／Ｆ）１７０と、を備えている。プリンター１００は、さらに、他の機器（例えばデジタルスチルカメラやパーソナルコンピューター）とのデータ通信をおこなうためのインターフェースを備えていてもよい。プリンター１００の各構成要素は、バスを介して双方向通信可能に接続されている。
【００１３】
印刷機構１６０は、印刷データに基づき印刷をおこなう。カードインターフェース１７０は、カードスロット１７２に挿入されたメモリーカードＭＣとの間でデータのやり取りをおこなうためのインターフェースである。なお、本実施例では、メモリーカードＭＣに画像データを含む画像ファイルが格納されている。
【００１４】
内部メモリー１２０には、画像処理部２００と、表示処理部３１０と、印刷処理部３２０と、が格納されている。画像処理部２００は、コンピュータープログラムであり、所定のオペレーティングシステムの下で、ＣＰＵ１１０により実行されることで顔特徴検出処理や表情判定処理をおこなう。顔特徴検出処理は、顔画像における所定の特徴部位（例えば目尻や鼻頭やフェイスライン）の位置を検出する処理である。顔特徴検出処理については、後に詳述する。表示処理部３１０、および、印刷処理部３２０についてもＣＰＵ１１０により実行されることでぞれぞれの機能を実現する。
【００１５】
画像処理部２００は、プログラムモジュールとして、設定部２１０と、特徴位置検出部２２０と、顔領域検出部２３０と、テクスチャー検出部２４０と、表情判定部２５０と、を含んでいる。特徴位置検出部２２０とテクスチャー検出部２４０は、それぞれ生成部２２２，２４２と、算出部２２４，２４４と、補正部２２６，２４６と、を含んでいる。表情判定部２５０は、選択部２５２と、判定値算出部２５４と、判定部２５６と、を含んでいる。これら各部の機能については、後述の顔特徴検出処理の説明において詳述する。
【００１６】
表示処理部３１０は、表示部１５０を制御して、表示部１５０上に処理メニューやメッセージ、画像等を表示させるディスプレイドライバーである。印刷処理部３２０は、画像データから印刷データを生成し、印刷機構１６０を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータープログラムである。ＣＰＵ１１０は、内部メモリー１２０から、これらのプログラム（画像処理部２００、表示処理部３１０、印刷処理部３２０）を読み出して実行することにより、これら各部の機能を実現する。
【００１７】
内部メモリー１２０には、また、ＡＡＭ情報ＡＭＩが格納されている。ＡＡＭ情報ＡＭＩは、後述のＡＡＭ設定処理によって予め設定される情報であり、後述の顔特徴検出処理において参照される。ＡＡＭ情報ＡＭＩの内容については、後述のＡＡＭ設定処理の説明において詳述する。
【００１８】
Ａ２．ＡＡＭ設定処理：
図２は、本実施例におけるＡＡＭ設定処理の流れを示すフローチャートである。ＡＡＭ設定処理は、ＡＡＭ（アクティブアピアランスモデル（Ａｃｔｉｖｅ  Ａｐｐｅａｒａｎｃｅ  Ｍｏｄｅｌ））と呼ばれる画像のモデル化に用いられる形状モデルおよびテクスチャーモデルを設定する処理である。形状モデルおよびテクスチャーモデルは、特許請求の範囲の「顔モデル」に相当する。本実施例において、ＡＡＭ設定処理は、オペレーターがコンピューターを使用することによりおこなわれる。コンピューターは、ＣＰＵとＲＡＭとＲＯＭとＨＤＤとディスプレイと入力装置等を有しており、これらがバスによって接続されている。ＣＰＵはＨＤＤに記録されたプログラムを読み出し、該プログラムにしたがった演算処理を実行することにより、コンピューターが後述する各処理を実行させる。なお、形状モデルおよびテクスチャーモデルを設定するコンピューターは特許請求の範囲の「設定部」に相当する。
【００１９】
はじめに、オペレーターは、人物の顔を含んだ複数の画像をサンプル画像ＳＩとして用意する（ステップＳ１１０）。図３は、サンプル画像ＳＩの一例を示す説明図である。図３に示すように、サンプル画像ＳＩは、個性・人種・性別、表情（喜顔、悲顔、驚顔、怒顔）、向き（正面向き、上向き、下向き、右向き、左向き等）といった種々の属性に関して互いに相違する顔画像が含まれるように用意される。サンプル画像ＳＩがそのように用意されれば、ＡＡＭによってあらゆる顔画像を精度良くモデル化することが可能となり、あらゆる顔画像を対象とした精度の良い顔特徴検出処理（後述）の実行が可能となる。なお、サンプル画像ＳＩは、学習用画像とも呼ばれる。
【００２０】
それぞれのサンプル画像ＳＩに含まれる顔画像に、特徴点ＣＰを設定する（ステップＳ１２０）。図４は、サンプル画像ＳＩにおける特徴点ＣＰの設定方法の一例を示す説明図である。特徴点ＣＰは、顔画像における所定の特徴部位の位置を示す点である。本実施例では、所定の特徴部位として、人物の顔における眉毛上の所定位置（例えば端点や４分割点等、以下同じ）、目の輪郭上の所定位置、鼻筋および小鼻の輪郭上の所定位置、上下唇の輪郭上の所定位置、顔の輪郭（フェイスライン）上の所定位置といった６８箇所の部位が設定されている。すなわち、本実施例では、人物の顔に共通して含まれる顔の器官（眉毛、目、鼻、口）および顔の輪郭における所定位置を、特徴部位として設定する。図４に示すように、特徴点ＣＰは、各サンプル画像ＳＩにおいてオペレーターにより指定された６８個の特徴部位を表す位置に設定（配置）される。このように設定された各特徴点ＣＰは各特徴部位に対応しているため、顔画像における特徴点ＣＰの配置は顔の形状を特定していると表現することができる。
【００２１】
サンプル画像ＳＩにおける特徴点ＣＰの位置は、座標により特定される。図５は、サンプル画像ＳＩに設定された特徴点ＣＰの座標の一例を示す説明図である。図５において、ＳＩ（ｇ）（ｇ＝１，２，３・・・）は各サンプル画像ＳＩを示しており、ＣＰ（ｋ）（ｋ＝０，１，・・・，６７）は各特徴点ＣＰを示している。また、ＣＰ（ｋ）−Ｘは、特徴点ＣＰ（ｋ）のＸ座標を示しており、ＣＰ（ｋ）−Ｙは、特徴点ＣＰ（ｋ）のＹ座標を示している。特徴点ＣＰの座標としては、顔の大きさと顔の傾き（画像面内の傾き）と顔のＸ方向およびＹ方向の位置とのそれぞれについて正規化されたサンプル画像ＳＩにおける所定の基準点（例えば画像の左下の点）を原点とした座標が用いられる。また、本実施例では、１つのサンプル画像ＳＩに複数の人物の顔画像が含まれる場合が許容されており（例えばサンプル画像ＳＩ（２）には２人の顔画像が含まれている）、１つのサンプル画像ＳＩにおける各人物は人物ＩＤによって特定される。各サンプル画像ＳＩと、各特徴点ＣＰの座標と、人物ＩＤとは、コンピューターに入力される。
【００２２】
つづいて、オペレーターは、ＡＡＭの形状モデルの設定をおこなう（ステップＳ１３０）。具体的には、各サンプル画像ＳＩにおける６８個の特徴点ＣＰの座標（Ｘ座標およびＹ座標）により構成される座標ベクトル（図５参照）に対する主成分分析をコンピューターがおこない、さらにコンピューターが特徴点ＣＰの位置により特定される顔の形状ｓを下記の式（１）によりモデル化する。なお、形状モデルは、特徴点ＣＰの配置モデルとも呼ぶ。
【００２３】
【数１】
2010271956.tif 000003
【００２４】
前記式（１）において、ｓ0は平均形状である。図６は、平均形状ｓ0の一例を示す説明図である。図６（ａ）および（ｂ）に示すように、平均形状ｓ0は、サンプル画像ＳＩの各特徴点ＣＰについての平均位置（平均座標）により特定される平均的な顔の形状を表すモデルである。なお、本実施例では、平均形状ｓ0において、外周に位置する特徴点ＣＰ（フェイスラインおよび眉毛、眉間に対応する特徴点ＣＰ、図４参照）を結ぶ直線により囲まれた領域（図６（ｂ）においてハッチングを付して示す）を「平均形状領域ＢＳＡ」と呼ぶ。コンピューターは、平均形状ｓ0に対して、図６（ａ）に示すように、特徴点ＣＰを頂点とする複数の三角形領域ＴＡを、平均形状領域ＢＳＡをメッシュ状に分割するように設定する。
【００２５】
形状モデルを表す前記式（１）において、ｓiは形状ベクトルであり、ｐiは形状ベクトルｓiの重みを表す形状パラメーターである。形状ベクトルｓiは、顔の形状ｓの特性を表すベクトルであり、主成分分析により得られる第ｉ主成分に対応する固有ベクトルである。前記式（１）に示すように、本実施例における形状モデルでは、特徴点ＣＰの配置を表す顔形状ｓが、平均形状ｓ0とｎ個の形状ベクトルｓiの線形結合との和としてモデル化される。前記式（１ａ）が示すように、形状モデルにおいて形状パラメーターｐiを適切に設定することにより、あらゆる画像における顔の形状ｓを再現することが可能である。また、前記式（１ｂ）が示すように、形状モデルにおいて形状パラメーターｐiを適切に設定することにより、あらゆる形状ｓから平均形状ｓ0へと逆変換することができる。
【００２６】
図７は、形状ベクトルｓiおよび形状パラメーターｐiと、顔の形状ｓとの関係を例示した説明図である。図７（ａ）に示すように、コンピューターは、顔の形状ｓを特定するために、寄与率のより大きい主成分に対応する固有ベクトルから順に、累積寄与率の高い順に選択された個数ｎ（図７ではｎ個の主成分のうち累積寄与率が上位４個を図示。）の固有ベクトルを、形状ベクトルｓiとして採用する。形状ベクトルｓiのそれぞれは、図７（ａ）の矢印に示すように、各特徴点ＣＰの移動方向・移動量と対応している。本実施例では、最も寄与率の大きい第１主成分に対応する第１形状ベクトルｓ1は顔の左右振りにほぼ相関するベクトルとなっており、形状パラメーターｐ1を大小することにより、図７（ｂ）に示すように、顔の形状ｓの横方向の顔向きが変化する。２番目に寄与率の大きい第２主成分に対応する第２形状ベクトルｓ2は顔の上下振りにほぼ相関するベクトルとなっており、形状パラメーターｐ2を大小することにより、図７（ｃ）に示すように、顔の形状ｓの縦方向の顔向きが変化する。また、３番目に寄与率の大きい第３主成分に対応する第３形状ベクトルｓ3は顔の形状の縦横比にほぼ相関するベクトルとなっており、４番目に寄与率の大きい第４主成分に対応する第４形状ベクトルｓ4は口の開きの程度にほぼ相関するベクトルとなっている。このように、形状パラメーターの値は、顔の表情や、顔向きなど顔画像の特徴を表す。本実施例における「形状パラメーター」は特許請求の範囲における「特徴量」に該当する。
【００２７】
なお、形状モデル設定ステップ（ステップＳ１３０）においてコンピューターが設定した平均形状ｓ0および形状ベクトルｓiは、ＡＡＭ情報ＡＭＩ（図１）としてプリンター１００の内部メモリー１２０に格納される。つづいて、コンピューターはＡＡＭのテクスチャーモデルの設定をおこなう（ステップＳ１４０）。具体的には、まず、各サンプル画像ＳＩに対して、サンプル画像ＳＩにおける特徴点ＣＰの設定位置が平均形状ｓ0における特徴点ＣＰの設定位置と等しくなるように、画像変換（以下、「ワープＷ」とも呼ぶ）をおこなう。
【００２８】
図８は、サンプル画像ＳＩのワープＷの方法の一例を示す説明図である。コンピューターは、各サンプル画像ＳＩにおいて、平均形状ｓ0と同様に、外周に位置する特徴点ＣＰにより囲まれた領域をメッシュ状に分割する複数の三角形領域ＴＡを設定する。ワープＷは、複数の三角形領域ＴＡのそれぞれについてのアフィン変換の集合である。すなわち、ワープＷにおいては、サンプル画像ＳＩにおけるある三角形領域ＴＡの画像は、平均形状ｓ0における対応する三角形領域ＴＡの画像へとアフィン変換される。コンピューターは、ワープＷにより、特徴点ＣＰの設定位置が平均形状ｓ0における特徴点ＣＰの設定位置と等しいサンプル画像ＳＩ（以下「サンプル画像ＳＩｗ」と表す）を生成する。
【００２９】
なお、各サンプル画像ＳＩｗは、平均形状領域ＢＳＡ（図８においてハッチングを付して示す）を内包する矩形枠を外周とし、平均形状領域ＢＳＡ以外の領域（以下「マスク領域ＭＡ」とも呼ぶ）がマスクされた画像として生成される。平均形状領域ＢＳＡとマスク領域ＭＡとを併せた画像領域を基準領域ＢＡと呼ぶ。また、コンピューターは、各サンプル画像ＳＩｗを、例えば５６画素×５６画素のサイズの画像として正規化する。
【００３０】
次に、コンピューターは、各サンプル画像ＳＩｗの画素群ｘのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析を行い、顔のテクスチャー（「見え」とも呼ぶ）Ａ（ｘ）を下記の式（２）によりモデル化する。なお、画素群ｘは、平均形状領域ＢＳＡに位置する画素の集合である。
【数２】
2010271956.tif 000004
【００３１】
前記式（２）において、Ａ0（ｘ）は平均顔画像である。図９は、平均顔画像Ａ0（ｘ）の一例を示す説明図である。平均顔画像Ａ0（ｘ）は、ワープＷの後のサンプル画像ＳＩｗ（図８参照）の平均の顔が表された画像である。すなわち、平均顔画像Ａ0（ｘ）は、サンプル画像ＳＩｗの平均形状領域ＢＳＡ内の画素群ｘの画素値（輝度値）の平均をとることにより算出される画像である。従って、平均顔画像Ａ0（ｘ）は、平均的な顔の形状における平均的な顔のテクスチャー（見え）を表すモデルである。なお、平均顔画像Ａ0（ｘ）は、サンプル画像ＳＩｗと同様に、平均形状領域ＢＳＡとマスク領域ＭＡとで構成され、例えば５６画素×５６画素のサイズの画像として算出される。
【００３２】
テクスチャーモデルを表す前記式（２）において、ａk（ｘ）はテクスチャーベクトルであり、λkはテクスチャーベクトルａk（ｘ）の重みを表すテクスチャーパラメーターである。テクスチャーベクトルａk（ｘ）は、顔のテクスチャーＡ（ｘ）の特性を表すベクトルであり、具体的には、主成分分析により得られる第ｊ主成分に対応する固有ベクトルである。すなわち、寄与率のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数ｍの固有ベクトルが、テクスチャーベクトルａk（ｘ）として採用される。本実施例では、最も寄与率の大きい第１主成分に対応する第１テクスチャーベクトルＡ1（ｘ）は、顔色の変化（性別の差とも捉えられる）にほぼ相関するベクトルとなっている。
【００３３】
前記式（２）に示すように、本実施例におけるテクスチャーモデルでは、顔の見えを表す顔のテクスチャーＡ（ｘ）が、平均顔画像Ａ0（ｘ）とｍ個のテクスチャーベクトルａk（ｘ）の線形結合との和としてモデル化される。前記式（２ａ）に示すように、テクスチャーモデルにおいてテクスチャーパラメーターλkを適切に設定することにより、あらゆる画像における顔のテクスチャーＡ（ｘ）を再現することが可能である。逆に、前記式（２ｂ）に示すように、テクスチャーモデルにおいてテクスチャーパラメーターλkを適切に設定することにより、あらゆる画像における顔のテクスチャーＡ（ｘ）から平均顔画像Ａ0（ｘ）へと逆変換することができる。
【００３４】
なお、テクスチャーモデル設定ステップ（図２のステップＳ１４０）において設定された平均顔画像Ａ0（ｘ）およびテクスチャーベクトルａk（ｘ）は、ＡＡＭ情報ＡＭＩ（図１）としてプリンター１００の内部メモリー１２０に格納される。コンピューターはＡＡＭ情報ＡＭＩをいずれかの記録媒体に記録しておき、プリンター１００の製造時において該記録媒体から読み出したＡＡＭ情報ＡＭＩを記録した内部メモリー１２０をプリンター１００に組み込むか、プリンター１００に組み込むまれた内部メモリー１２０に対して該記録媒体から読み出したＡＡＭ情報ＡＭＩを記録させる。
【００３５】
ここまでの処理により、顔の形状をモデル化する形状モデルと、顔のテクスチャーをモデル化するテクスチャーモデルが設定される。設定された形状モデルとテクスチャーモデルとを組み合わせることにより、すなわち合成されたテクスチャーＡ（ｘ）に対して平均形状ｓ0から形状ｓへの変換（図８に示したワープＷの逆変換）をおこなうことにより、あらゆる顔画像の形状およびテクスチャーを再現することが可能である。
【００３６】
Ａ３．顔特徴検出処理：
図１０は、実施例における顔特徴検出処理の流れを示すフローチャートである。本実施例における顔特徴検出処理は、ＡＡＭを利用して注目画像に含まれる顔画像における特徴点ＣＰの配置を決定する特徴点ＣＰ設定位置補正処理（ステップＳ２５０）により、顔画像における特徴部位の位置を検出し、さらにテクスチャー検出処理（ステップＳ２６０）により顔のテクスチャーを検出する処理である。上述したように、本実施例では、ＡＡＭ設定処理（図２）において、人物の顔の器官（眉毛、目、鼻、口）および顔の輪郭における計６８箇所の所定位置が、特徴部位として設定されている（図４参照）。そのため、本実施例の顔特徴検出処理では、人物の顔の器官および顔の輪郭における所定位置を示す６８個の特徴点ＣＰの配置が決定される。
【００３７】
なお、顔特徴検出処理によって顔画像における特徴点ＣＰの配置が決定されると、顔画像についての形状パラメーターｐiの値が特定される。従って、顔特徴検出処理の処理結果は特定の向き（例えば右向きや下向き）の顔画像を検出するための顔向き判定、顔の形状を変形する顔変形、顔の陰影補正等に利用可能である。
【００３８】
はじめに、画像処理部２００（図１）は、顔特徴検出処理の対象となる注目画像を表す画像データを取得する（ステップＳ２１０）。本実施例のプリンター１００では、カードスロット１７２にメモリーカードＭＣが挿入されると、メモリーカードＭＣに格納された画像ファイルのサムネイル画像が表示部１５０に表示される。処理の対象となる１つまたは複数の画像は、操作部１４０を介してユーザーにより選択される。画像処理部２００は、選択された１つまたは複数の画像に対応する画像データを含む画像ファイルをメモリーカードＭＣより取得して内部メモリー１２０の所定の領域に格納する。なお、取得された画像データを注目画像データと呼び、注目画像データの表す画像を注目画像ＯＩと呼ぶものとする。
【００３９】
顔領域検出部２３０（図１）は、注目画像ＯＩに含まれる顔画像の少なくとも一部を含む画像領域を顔領域ＦＡとして検出する（ステップＳ２３０）。顔領域ＦＡの検出は、公知の顔検出手法を用いておこなうことができる。公知の顔検出手法としては、例えば、パターンマッチングによる手法や肌色領域抽出による手法、サンプル画像を用いた学習（例えばニューラルネットワークを用いた学習や、ブースティングを用いた学習、サポートベクターマシーンを用いた学習等）により設定される学習データを用いる手法等がある。
【００４０】
図１１は、注目画像ＯＩにおける顔領域ＦＡの検出結果の一例を示す説明図である。図１１には、注目画像ＯＩにおいて検出された顔領域ＦＡが示されている。本実施例では、おおよそ、顔の上下方向は額から顎まで、左右方向は両耳の外側まで含む矩形の領域が顔領域ＦＡとして検出されるような顔検出手法が用いられている。
【００４１】
設定部２１０（図１）は、注目画像ＯＩにおける特徴点ＣＰの初期位置を設定する（ステップＳ２４０）。図１２は、本実施例における特徴点ＣＰの初期位置設定処理の流れを示すフローチャートである。本実施例では、設定部２１０は、顔領域ＦＡに対する顔画像の大きさ、傾き、位置（上下方向の位置および左右方向の位置）を表すグローバルパラメーターの値を種々変更して、特徴点ＣＰを注目画像ＯＩ上の仮設定位置に設定する（ステップＳ３１０）。
【００４２】
図１３は、グローバルパラメーターの値を変更することによる特徴点ＣＰの仮設定位置の一例を示す説明図である。図１３（ａ）および図１３（ｂ）には、注目画像ＯＩにおける特徴点ＣＰおよび特徴点ＣＰをつないで形成されるメッシュが示されている。設定部２１０は、図１３（ａ）および図１３（ｂ）の中央に示すように、顔領域ＦＡの中央部に平均形状ｓ0が形成されるような特徴点ＣＰの仮設定位置（以下、「基準仮設定位置」とも呼ぶ）を設定する。
【００４３】
設定部２１０は、また、基準仮設定位置に対して、グローバルパラメーターの値を種々変更させた複数の仮設定位置を設定する。グローバルパラメーター（大きさ、傾き、上下方向の位置および左右方向の位置）を変更することは、注目画像ＯＩにおいて特徴点ＣＰにより形成されるメッシュが拡大・縮小、傾きを変更、並行移動することに相当する。従って、設定部２１０は、図１３（ａ）に示すように、基準仮設定位置のメッシュを所定倍率で拡大または縮小したメッシュを形成するような仮設定位置（基準仮設定位置の図の下および上に示す）や、所定角度だけ時計回りまたは半時計回りに傾きを変更したメッシュを形成するような仮設定位置（基準仮設定位置の図の右および左に示す）を設定する。また、設定部２１０は、基準仮設定位置のメッシュに対して、拡大・縮小および傾きの変更を組み合わせた変換を行ったメッシュを形成するような仮設定位置（基準仮設定位置の図の左上、左下、右上、右下に示す）も設定する。
【００４４】
また、図１３（ｂ）に示すように、設定部２１０は、基準仮設定位置のメッシュを所定量だけ上または下に並行移動したメッシュを形成するような仮設定位置（基準仮設定位置の図の上および下に示す）や、左または右に並行移動したメッシュを形成するような仮設定位置（基準仮設定位置の図の左および右に示す）を設定する。また、設定部２１０は、基準仮設定位置のメッシュに対して、上下および左右の並行移動を組み合わせた変換を行ったメッシュを形成するような仮設定位置（基準仮設定位置の図の左上、左下、右上、右下に示す）も設定する。
【００４５】
設定部２１０は、図１３（ａ）に示す基準仮設定位置以外の８つの仮設定位置のそれぞれにおけるメッシュに対して図１３（ｂ）に示す上下左右の並行移動が実行される仮設定位置も設定する。従って、本実施例では、４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）をそれぞれ既知の３段階の値として組み合わせにより設定される８０通り（＝３×３×３×３−１）の仮設定位置と、基準仮設定位置の合計８１通りの仮設定位置が設定される。
【００４６】
生成部２２２（図１）は、設定された各仮設定位置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））を生成する（ステップＳ３２０）。図１４は、平均形状画像Ｉ（Ｗ（ｘ；ｐ））の一例を示す説明図である。平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、入力画像における特徴点ＣＰの配置が平均形状ｓ0における特徴点ＣＰの配置と等しくなるような変換によって算出される。
【００４７】
平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出するための変換は、サンプル画像ＳＩｗ算出のための変換（図８参照）と同様に、三角形領域ＴＡ毎のアフィン変換の集合であるワープＷにより行われる。具体的には、注目画像ＯＩに配置された特徴点ＣＰ（図１３参照）によって平均形状領域ＢＳＡ（外周に位置する特徴点ＣＰにより囲まれた領域）が特定され、注目画像ＯＩにおける平均形状領域ＢＳＡに対して三角形領域ＴＡ毎のアフィン変換が行われることにより、平均形状画像Ｉ（Ｗ（ｘ；ｐ））が算出される。本実施例では、平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、平均顔画像Ａ0（ｘ）と同様に平均形状領域ＢＳＡおよびマスク領域ＭＡにより構成され、平均顔画像Ａ0（ｘ）と同サイズの画像として算出される。
【００４８】
なお、上述したように、画素群ｘは、平均形状ｓ0における平均形状領域ＢＳＡに位置する画素の集合である。ワープＷ実行後の画像（平均形状ｓ0を有する顔画像）における画素群ｘに対応するワープＷ実行前の画像（注目画像ＯＩの平均形状領域ＢＳＡ）における画素群をＷ（ｘ；ｐ）と表す。平均形状画像は、注目画像ＯＩの平均形状領域ＢＳＡにおける画素群Ｗ（ｘ；ｐ）のそれぞれにおける輝度値により構成される画像であるため、Ｉ（Ｗ（ｘ；ｐ））と表される。図１４には、図１３（ａ）に示した９個の仮設定位置に対応する９個の平均形状画像Ｉ（Ｗ（ｘ；ｐ））を示している。
【００４９】
算出部２２４（図１）は、各仮設定位置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））と、特許請求の範囲の「比較顔画像」としての平均顔画像Ａ0（ｘ）との差分画像Ｉｅを算出する（ステップＳ３３０）。特徴点ＣＰの仮設定位置は８１種類設定されているため、算出部２２４（図１）は、８１個の差分画像Ｉｅを算出することとなる。
【００５０】
設定部２１０は、各差分画像Ｉｅの画素値からノルムを算出し、ノルムの値が最も小さい差分画像Ｉｅに対応する仮設置位置（以下「ノルム最小仮設定位置」とも呼ぶ）を、注目画像ＯＩにおける特徴点ＣＰの初期位置として設定する（ステップＳ３４０）。ノルムを算出するための画素値は輝度値であってもよいしＲＧＢ値であってもよい。以上により特徴点ＣＰ初期位置設定処理が完了する。なお、ノルムの値が小さいほど平均形状画像Ｉ（Ｗ（ｘ；ｐ））と、平均顔画像Ａ0（ｘ）との差が小さくなる（両者が近似する）。
【００５１】
Ａ３−１．特徴点ＣＰ設定位置補正処理：
特徴点ＣＰ初期位置設定処理が完了すると、特徴位置検出部２２０（図１）は、注目画像ＯＩにおける特徴点ＣＰの設定位置の補正をおこなう（ステップＳ２５０）。図１５は、本実施例における特徴点ＣＰ設定位置補正処理の流れを示すフローチャートである。
【００５２】
生成部２２２（図１）は、注目画像ＯＩから平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出する（ステップＳ４１０）。平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出方法は、特徴点ＣＰ初期位置設定処理におけるステップＳ３２０と同様である。
【００５３】
特徴位置検出部２２０は、平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ0（ｘ）との差分画像Ｉｅを算出する（ステップＳ４２０）。特徴位置検出部２２０は、差分画像Ｉｅに基づき、特徴点ＣＰの設定位置補正処理が収束したか否かを判定する（ステップＳ４３０）。特徴位置検出部２２０は、差分画像Ｉｅのノルムを算出し、ノルムの値が予め設定された閾値より小さい場合には収束したと判定し、ノルムの値が閾値以上の場合には未だ収束していないと判定する。なお、特徴位置検出部２２０は、算出された差分画像Ｉｅのノルムの値が前回のステップＳ４３０において算出された値よりも小さい場合には収束したと判定し、前回値以上である場合には未だ収束していないと判定するものとしてもよい。あるいは、特徴位置検出部２２０は、閾値による判定と前回値との比較による判定とを組み合わせて収束判定をおこなうものとしてもよい。例えば、特徴位置検出部２２０は、算出されたノルムの値が、閾値より小さく、かつ、前回値より小さい場合にのみ収束したと判定し、それ以外の場合には未だ収束していないと判定するものとしてもよい。
【００５４】
前記のステップＳ４３０の収束判定において未だ収束していないと判定された場合には、補正部２２６（図１）がパラメーター更新量ΔＰを算出する（ステップＳ４５０）。パラメーター更新量ΔＰは、４個のグローバルパラメーター（全体としての大きさ、傾き、Ｘ方向位置、Ｙ方向位置）、および、特徴量であるｎ個の形状パラメーターｐi（ｉ＝１〜ｎの整数。）の値の変更量を意味している。なお、特徴点ＣＰを初期位置に設定した直後においては、グローバルパラメーターは、特徴点ＣＰ初期位置設定処理（図１２）において決定された値が設定されている。また、このときの特徴点ＣＰの初期位置と平均形状ｓ0の特徴点ＣＰの設定位置との相違は、全体としての大きさ、傾き、位置の相違に限られるため、形状モデルにおける形状パラメーターｐiの値およびテクスチャーモデルにおけるテクスチャーパラメーターλkはすべてゼロである。
【００５５】
パラメーター更新量ΔＰは、下記の式（３）により算出される。すなわち、パラメーター更新量ΔＰは、アップデートマトリックスＲと差分画像Ｉｅとの積である。
【００５６】
【数３】
2010271956.tif 000005
【００５７】
式（３）におけるアップデートマトリックスＲは、差分画像Ｉｅに基づきパラメーター更新量ΔＰを算出するために予め学習により設定されたＭ行Ｎ列のマトリックスであり、
ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納されている。本実施例では、アップデートマトリックスＲの行数Ｍは、グローバルパラメーターの数（４個）と、形状パラメーターｐiの数（ｎ個）との和（（４＋ｎ）個）に等しく、列数Ｎは、平均顔画像Ａ0（ｘ）の平均形状領域ＢＳＡ内の画素数（５６画素×５６画素−マスク領域ＭＡの画素数）に等しい。アップデートマトリックスＲは、下記の式（４）および（５）により算出される。
【００５８】
【数４】
2010271956.tif 000006
【数５】
2010271956.tif 000007
【００５９】
補正部２２６（図１）は、算出されたパラメーター更新量ΔＰに基づきパラメーター（４個のグローバルパラメーターとｎ個の形状パラメーターｐi）を更新する（ステップＳ４６０）。これにより、注目画像ＯＩにおける特徴点ＣＰの設定位置が補正される。補正部２２６は、差分画像Ｉｅのノルムが小さくなるように補正する。パラメーターの更新の後には、再度、特徴点ＣＰの設置位置が補正された注目画像ＯＩからの平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出（ステップＳ４１０）、差分画像Ｉｅの算出（ステップＳ４２０）、差分画像Ｉｅに基づく収束判定（ステップＳ４３０）が行われる。なお、平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、形状パラメーターｐiの更新（変化）に応じて変化するものであり、特許請求の範囲の「顔領域」に相当する。再度の収束判定においても収束していないと判定された場合には、さらに、差分画像Ｉｅに基づくパラメーター更新量ΔＰの算出（ステップＳ４５０）、パラメーターの更新による特徴点ＣＰの設定位置補正（ステップＳ４６０）が行われる。
【００６０】
図１５のステップＳ４１０からＳ４６０までの処理が繰り返し実行されると、注目画像ＯＩにおける各特徴部位に対応する特徴点ＣＰの位置、実際の特徴部位の位置に全体として近づいていき、ある時点で収束判定（ステップＳ４３０）において収束したと判定される。収束判定において収束したと判定されると、顔特徴検出処理が完了する（ステップＳ４７０）。このとき設定されているグローバルパラメーターおよび形状パラメーターｐiの値により特定される特徴点ＣＰの設定位置が、最終的な注目画像ＯＩにおける特徴点ＣＰの設定位置として特定される。
【００６１】
図１６は、特徴点ＣＰ設定位置補正処理の結果の一例を示す説明図である。図１６には、注目画像ＯＩにおいて最終的に特定された特徴点ＣＰの設定位置が示されている。特徴点ＣＰの設定位置により、注目画像ＯＩに含まれる顔の特徴部位（人物の顔の器官（眉毛、目、鼻、口）および顔の輪郭における所定位置）の位置が特定されるため、注目画像ＯＩにおける人物の顔の器官の形状・位置や顔の輪郭形状の検出が可能となる。
【００６２】
特徴点ＣＰ設定位置補正処理が完了すると、テクスチャー検出部２４０（図１）は、注目画像ＯＩにおいて設定される平均形状画像Ｉ（Ｗ（ｘ；ｐ））のテクスチャー（見え）の補正（検出）をおこなう（ステップＳ２６０）。
【００６３】
Ａ３−２．テクスチャー検出処理：
図１７は、テクスチャー検出処理の流れを示すフローチャートである。生成部２４２（図１）は、注目画像ＯＩから平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出する（ステップＳ５１０）。平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出方法は、特徴点ＣＰ初期位置設定処理におけるステップＳ３２０、および、特徴点ＣＰ設定位置補正処理におけるステップＳ４１０と同様であるが、特徴点ＣＰ設定位置補正処理完了時のグローバルパラメーターおよび形状パラメーターｐiの値を使用して平均形状画像Ｉ（Ｗ（ｘ；ｐ））が算出される。
【００６４】
さらに、テクスチャー検出部２４０の生成部２４２は、平均形状画像Ｉ（Ｗ（ｘ；ｐ））に基づく平均テクスチャー画像Ｊ（Ｔ（ｘ；λ））を算出する（ステップＳ５１５）。平均テクスチャー画像Ｊ（Ｔ（ｘ；λ））は、以下の（６）式によって算出される。
【数６】
2010271956.tif 000008
前記式（６）は、前記式（２ｂ）における顔のテクスチャーＡ（ｘ）にＷ（ｘ；ｐ）を代入したものであり、テクスチャーパラメーターλkが適切に設定されれば、Ｔ（ｘ；λ）が平均顔画像Ａ0（ｘ）と等しくなる。
【００６５】
そして、算出部２４４は、平均テクスチャー画像Ｊ（Ｔ（ｘ；λ））と平均顔画像Ａ0（ｘ）との差分画像Ｉｅを算出する（ステップＳ５２０）。テクスチャー検出部２４０は、差分画像Ｉｅに基づき、テクスチャー検出処理が収束したか否かを判定する（ステップＳ５３０）。テクスチャー検出部２４０は、差分画像Ｉｅのノルムを算出し、ノルムの値が予め設定された閾値より小さい場合には収束したと判定し、ノルムの値が閾値以上の場合には未だ収束していないと判定する。なお、テクスチャー検出部２４０は、算出された差分画像Ｉｅのノルムの値が前回のステップＳ５３０において算出された値よりも小さい場合には収束したと判定し、前回値以上である場合には未だ収束していないと判定するものとしてもよい。ここにおける収束の判定は、特徴点ＣＰ設定位置補正処理におけるステップＳ４３０と同様の手法によりおこなうことができる。
【００６６】
前記のステップＳ５３０の収束判定において未だ収束していないと判定された場合には、補正部２４６（図１）がパラメーター更新量Δλを算出する（ステップＳ５５０）。パラメーター更新量ΔΛは、特徴量であるｍ個のテクスチャーパラメーターλk（ｋ＝１〜ｍの整数。）の値の変更量を意味している。パラメーター更新量ΔΛは、下記の式（７）により算出される。すなわち、パラメーター更新量ΔΛは、アップデートマトリックスＵと差分画像Ｉｅとの積である。
【００６７】
【数７】
2010271956.tif 000009
【００６８】
式（７）におけるアップデートマトリックスＵは、差分画像Ｉｅに基づきパラメーター更新量ΔΛを算出するために予め学習により設定されたＭ行Ｎ列のマトリックスであり、
ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納されている。本実施例では、アップデートマトリックスＵの行数Ｍは、テクスチャーパラメーターλk（ｍ個）に等しく、列数Ｎは、平均形状領域ＢＳＡ内の画素数（５６画素×５６画素−マスク領域ＭＡの画素数）に等しい。アップデートマトリックスＵは、下記の式（８），（９）により算出される。
【数８】
2010271956.tif 000010
【数９】
2010271956.tif 000011
【００６９】
補正部２４６（図１）は、算出されたパラメーター更新量ΔΛに基づきテクスチャーパラメーターλkを更新する（ステップＳ５６０）。これにより、顔のテクスチャーＡ（ｘ）が補正される。すなわち、補正部２４６は、差分画像Ｉｅのノルムが小さくなるように補正する。パラメーターの更新の後には、再度、補正されたテクスチャーパラメーターλkに基づいて平均テクスチャー画像Ｊ（Ｔ（ｘ；λ））の算出（ステップＳ５１５）、差分画像Ｉｅの算出（ステップＳ５２０）、差分画像Ｉｅに基づく収束判定（ステップＳ５３０）が行われる。再度の収束判定においても収束していないと判定された場合には、さらに、差分画像Ｉｅに基づくパラメーター更新量ΔΛの算出（ステップＳ５５０）、パラメーターの更新によるテクスチャーの補正（ステップＳ５６０）が行われる。
【００７０】
図１７のステップＳ５１０からＳ５６０までの処理が繰り返し実行されると、顔のテクスチャーＡ（ｘ）の各画素の輝度値（色彩値）が、実際の顔画像の輝度値に全体として近づいていき、ある時点で収束判定（ステップＳ５３０）において収束したと判定される。収束判定において収束したと判定されると、テクスチャー検出処理が完了する（ステップＳ５７０）。このとき設定されているテクスチャーパラメーターλkの値により特定される顔のテクスチャーＡ（ｘ）が最終的な顔の見えとして特定される。顔のテクスチャーＡ（ｘ）に基づいて、顔色補正等をおこなうことができる。以上のようにして、注目画像ＯＩにおける顔領域ＦＡについての形状パラメーターｐiとテクスチャーパラメーターλkが特定できると、次に表情判定処理を実行する。
【００７１】
Ａ４．表情判定処理：
図１８は、表情判定処理の流れを示すフローチャートである。表情判定部２５０は、判定対象の表情を選択する（ステップＳ６１０）。本実施例では、４種類の表情（喜顔、悲顔、驚顔、怒顔）を判定対象とし、喜顔→悲顔→驚顔→怒顔の順で判定対象を選択することとする。選択部２５２は、ｎ個の形状パラメーターｐiとｍ個のテクスチャーパラメーターλkのなかから、選択した表情の表情らしさを示す判定値Ｅを算出するために使用するｈ個の表情パラメーターｑl（ｌ＝１〜ｈの整数。）を選択する（ステップＳ６２０）。判定値算出部２５４は、表情パラメーターｑlを下記式（１０）に代入することにより、判定値Ｅを算出する（ステップＳ６３０）。
【数１０】
2010271956.tif 000012
【００７２】
前記式（１０）において、αlは各表情パラメーターｑlについて設定された重み係数を示し、ｋｎは正規化のための係数を示している。すなわち、判定値Ｅは、表情パラメーターｑlを重み係数αlに基づく重みによって線形結合した値である。判定値Ｅが算出されると、表情判定部２５０はすべての表情の選択を完了したか否かを判定し（ステップＳ６４０）、完了していない場合にはステップＳ６１０に戻り次の表情を選択する。これにより、喜顔の判定値Ｅと、悲顔の判定値Ｅと、驚顔の判定値Ｅと、怒顔の判定値Ｅを順に算出していくことができる。なお、各表情にごとに、ｎ個の形状パラメーターｐiとｍ個のテクスチャーパラメーターλkのなかから選択されるｈ個の表情パラメーターｑlは異なっており、表情パラメーターｑlに対応する重み係数αlも各表情に対応して用意されている。例えば、口角が上がる傾向にある喜顔と、口角が下がる傾向にある悲顔とでは、口角に関する表情パラメーターｑlに対する重み係数αlの符号が反転することとなる。従って、各表情ごとに異なる計算式に基づいて判定値Ｅが算出されることとなる。このように、形状パラメーターｐiとテクスチャーパラメーターλkのうち各表情と相関の高いｈ個の表情パラメーターｑlを使用して判定値Ｅを算出するため、形状的および色彩（輝度）的な観点に基づいて表情を精度よく判定することができる。
【００７３】
各表情に対応して選択される表情パラメーターｑlは、形状パラメーターｐiとテクスチャーパラメーターλkのうち各表情と相関の高いベクトル要素であり、後述する判定値設定処理によって設定され、予め表情判定情報ＥＭＩ（図１）として内部メモリー１２０に格納されている。各表情について判定値Ｅが算出できると、各表情について判定値Ｅを総合して判定部２５６が表情の判定を行う。具体的には、判定部２５６が最も判定値Ｅの大きい表情を検出する（ステップＳ６５０）。次に、判定部２５６は、最も大きい判定値Ｅが所定の閾値よりも大きいか否かを判定し（ステップＳ６６０）、閾値よりも大きければ当該判定値Ｅの表情を有していると判定する（ステップＳ６７０）。一方、最も大きい判定値Ｅ以下であれば、いずれの表情も有していないと判定する（ステップＳ６８０）。本実施例では、注目画像ＯＩに各表情を識別するタグ情報を添付した後、注目画像ＯＩに喜顔が含まれる場合には、印刷機構１６０に注目画像ＯＩを出力し、印刷を実行させる（ステップＳ６９０）。
【００７４】
図１９（ａ）〜（ｄ）は、各表情の判定値Ｅを比較するグラフである。図１９（ａ）のようにいずれの表情の判定値Ｅも閾値を超えていない場合には、いずれの表情も有していないと判定する（ステップＳ６８０）。図１９（ｂ）のように、いずれか１つの表情の判定値Ｅが閾値を超えている場合には、判定値Ｅが閾値を超えている表情であると判定する。図１９（ｃ），（ｄ）のように、いずれか２以上の表情の判定値Ｅが閾値を超えている場合には、判定値Ｅが閾値を超えている表情のうち判定値Ｅが最大の表情であると判定する。このように、各表情ごとに判定値Ｅを算出することにより、各表情であるか否かを精度よく判定することができる。また、もっとも大きい判定値Ｅに対応する表情を有していると判定するため、もっともそれらしい表情を特定することができる。
【００７５】
Ａ５．判定値設定処理：
図２０は、判定値設定処理の流れを示すフローチャートである。判定値設定処理もＡＡＭ設定処理と同様にプリンター１００の製造に先立って、コンピューターによって実行される処理である。まず、喜顔であるか否か、悲顔であるか否か、驚顔であるか否か、怒顔であるか否かが既知のサンプル画像ＳＩを用意する（ステップＳ７１０）。例えば、各サンプル画像ＳＩがどの表情を有するかをオペレーターが判断し、その結果を各サンプル画像ＳＩに対応付け、コンピューターに入力させておく。次に、コンピューターは、各サンプル画像ＳＩを注目画像ＯＩとして、上述した特徴点ＣＰ初期位置設定処理と特徴点ＣＰ設定位置補正処理とテクスチャー検出処理と同様の処理を順次実行することにより、各サンプル画像ＳＩについて形状パラメーターｐiとテクスチャーパラメーターλkを算出する（ステップＳ７２０）。形状パラメーターｐiとテクスチャーパラメーターλkとが得られたら、コンピューターは、表情パラメーターｑlの設定対象とする表情を選択する（ステップＳ７３０）。ここでも、喜顔→悲顔→驚顔→怒顔の順で判定対象を選択することとする。表情が選択できたら、コンピューターは、形状パラメーターｐiとテクスチャーパラメーターλkのそれぞれの要素について、選択した表情であるか否かとの相関係数を算出する（ステップＳ７４０）。
【００７６】
図２１は、喜顔であるか否かの相関を説明するグラフである。同図の横軸と縦軸は、形状パラメーターｐiの例として、形状パラメーターｐ8，ｐ9の値（０〜１００％）を示している。グラフにおいて、各サンプル画像ＳＩの形状パラメーターｐ8，ｐ9をプロットしており、喜顔であるものは○で示し、喜顔でないものは●で示している。図に示すように、形状パラメーターｐ8の値が小さくなるほど、喜顔であるものの多く分布している。従って、喜顔であるか否かは形状パラメーターｐ8に対して負の相関を有することとなる。一方、形状パラメーターｐ9に関しては、喜顔であるものと、喜顔でないものがほぼ均等に分布しており、相関を有していない。なお、一例として、形状パラメーターｐ8，ｐ9を挙げているに過ぎず、他のすべての形状パラメーターｐiとテクスチャーパラメーターλkについても同様に表情との相関性の調査を行う。
【００７７】
ここでは、コンピューターは、公知の計算式により、相関係数を算出し、その絶対値が所定の閾値（例えば、０．５等。）を超えている形状パラメーターｐiとテクスチャーパラメーターλkを表情パラメーターｑlとする（ステップＳ７５０）。従って、表情パラメーターｑlの要素の個数（ｈ個）は、各表情によって同じとなるとは限らない。むろん、表情パラメーターｑlの要素の個数（ｈ個）を予め設定しておき、相関係数の絶対値が上位ｈ個の形状パラメーターｐiとテクスチャーパラメーターλkを表情パラメーターｑlとして設定するようにしてもよい。さらに、表情パラメーターｑlの要素の個数（ｈ個）のうち、形状パラメーターｐiとテクスチャーパラメーターλkの要素の個数の比率が規定されてもよい。例えば、形状パラメーターｐiとテクスチャーパラメーターλkの要素の個数が１：１となるように制限を加えれば、形状的および色彩（輝度）的な観点をバランスよく評価することができる。ここでは、相関係数が高い形状パラメーターｐiとテクスチャーパラメーターλkが表情パラメーターｑlとして設定されるが、例えば喜顔の場合には目尻の角度や口角に関する形状パラメーターｐiや笑いじわに関するテクスチャーパラメーターλkが表情パラメーターｑlとして設定されことが予測される。
【００７８】
次に、コンピューターは、算出された相関係数に比例する値を重み係数αlとして設定する（ステップＳ７６０）。従って、正の相関を有する表情パラメーターｑlについては正の重み係数αlが設定され、負の相関を有する表情パラメーターｑlについては負の重み係数αlが設定されることとなる。選択した表情についての重み係数αlが設定できると、コンピューターは、すべての表情の選択が完了したか否かを判定し（ステップＳ７７０）、完了していない場合にはステップＳ７３０に戻る。以上のようにして、すべての表情について、表情パラメーターｑlと重み係数αlが設定できると、コンピューターは、前記式（１０）によって算出される判定値Ｅの値の最大値が各表情間で一致するように、各表情についての係数ｋｎを設定する（ステップＳ７８０）。以上により前記式（１０）で使用される情報はすべて設定されたこととなり、これらの情報を表情判定情報ＥＭＩとしてプリンター１００の製造時において内部メモリー１２０に格納する（ステップＳ７９０）。
【００７９】
Ｂ．変形例：
なお、この発明は前記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【００８０】
Ｂ１．変形例１：
前記実施例では、サンプル画像ＳＩを、個性・人種・性別、表情（喜顔、悲顔、驚顔、怒顔）、向きといった種々の属性に関して互いに相違する顔画像が含まれるように用意したが、表情（喜顔、悲顔、驚顔、怒顔）の属性が相違するサンプル画像ＳＩの構成比率を高めるようにしてもよい。表情の属性が相違するサンプル画像ＳＩの構成比率を高めることにより、喜顔、悲顔、驚顔、怒顔の属性の寄与率が、他の個性・人種・性別・向きといった他の属性に対して相対的に高くなるため、主成分分析において喜顔、悲顔、驚顔、怒顔である程度を示す主成分が表れることとなる。すなわち、形状パラメーターｐiまたはテクスチャーパラメーターλkのいずれかの要素が、そのまま喜顔であるか否か、悲顔であるか否か、驚顔であるか否か、怒顔であるか否かの程度を示すようにすることができる。
【００８１】
前記実施例と同様に判定値設定処理を行った場合には、表情の属性が相違するサンプル画像ＳＩの構成比率を高めるほど、形状パラメーターｐiまたはテクスチャーパラメーターλkのいずれかの要素と、各表情との相関係数が高くなる。形状パラメーターｐiまたはテクスチャーパラメーターλkのいずれかの要素と、各表情との相関係数が１または−１に極めて近いとき（例えば、絶対値が０．９以上となるとき等。）には、当該要素の値を閾値と比較することにより、各表情の判定をおこなうことができる。例えば、第１主成分に対応する形状パラメーターｐ1と閾値を比較することにより喜顔であるか否かを判定し、一方、第２主成分に対応する形状パラメーターｐ2と閾値を比較することにより悲顔であるか否かを判定することができる。なお、種々の顔について特徴点の検出をする必要があるため、ある程度は個性・人種・性別・向きの属性が相違するサンプル画像ＳＩも含めておくことが望ましい。また、特徴点の検出の検出を別途おこなうのであれば、表情（喜顔、悲顔、驚顔、怒顔）の属性が相違するサンプル画像ＳＩのみを使用してＡＡＭ情報ＡＭＩを設定することも可能である。
【００８２】
Ｂ２．変形例２：
前記実施例では、単一の静止画像を注目画像ＯＩとするものを例示したが、時系列的に連続して画像入力された動画やデジタルスチルカメラの連写機能によって撮影した一連の静止画像を、順次、注目画像ＯＩとするようにしてもよい。例えば、動画の各フレームのなかから各表情が顕著なフレームを検出し、該フレームを印刷機構１６０において印刷するようにしてもよい。各フレームについて、前記実施例と同様の顔特徴検出処理と表情判定処理を実行するようにしてもよいが、本変形例では以下に説明する表情判定処理を実行する。
【００８３】
図２２は、本変形例にかかる表情判定処理の流れを示すフローチャートである。表情判定部２５０は、判定対象の表情を選択するにあたり、直前のフレームに存在する顔がいずれかの表情であると判定されたか否かを判定する（ステップＳ６０２）。なお、各フレームには単一の顔のみが存在するものとして説明する。直前のフレームに存在する顔がいずれの表情であるとも判定されていなかった場合には、前記実施例と同様に、喜顔→悲顔→驚顔→怒顔の順で選択し、判定値Ｅが最も大きく、かつ、閾値よりも大きい表情を判定する（前記実施例と同様のステップＳ６１０〜Ｓ６９０）。一方、直前のフレームに存在する顔がいずれかの表情であると判定されていた場合には、該表情を選択する（ステップＳ６０４）。
【００８４】
そして、該表情について、ｈ個の表情パラメーターｑlを選択し（ステップＳ６２２）。表情パラメーターｑlを上記式（１０）に代入することにより、判定値Ｅを算出する（ステップＳ６３２）。該判定値Ｅが閾値（前記実施例と同じもの）より大きい場合には（ステップＳ６６２）、ステップＳ６０４にて選択した表情であると判定する（ステップＳ６７２）。一方、該判定値Ｅが閾値以下の場合には、ステップＳ６１０を実行し、前記実施例と同様のステップＳ６１０〜Ｓ６８０を順次実行する。ただし、直前のフレームの表情についてはすでに判定値Ｅの判定が完了しているため、ステップＳ６１０では直前のフレームの表情は選択しないこととする。
【００８５】
極めて短時間の間に画像入力された動画の各フレームでは、直前のフレームと同じ表情の顔が存在する可能性が高いと考えることができる。本変形例のフローとすることにより、同じ表情が継続している限り、その表情についての判定値Ｅの算出と、閾値の判定のみが行われることとなる。直前の表情であると判定されなくなった時点で、すべての表情についての判定値Ｅの算出が行われるため、効率的な表情判定を動画に対しておこなうことができる。むろん、連写機能によって極めて短時間の間に撮影された静止画像であっても同様の効果を得ることができる。さらに、単一の注目画像ＯＩにおいて複数の顔が含まれる場合には、それぞれが同一の表情を有していると推定することができる。従って、先に表情判定をおこなった顔について判定された表情に関する判定を、次の顔に対して最初に行うようにしてもよい。
【００８６】
Ｂ３．変形例３：
前記実施例においては、形状パラメーターｐiとテクスチャーパラメーターλkのいずれの要素も各表情との相関が高ければ判定値Ｅを算出に使用するようにしたが、例えば形状パラメーターｐiのみを使用して判定値Ｅを算出するようにしてもよい。さらに、状況に応じて、形状パラメーターｐiのみを使用して判定値Ｅを算出するのか、形状パラメーターｐiとテクスチャーパラメーターλkの双方を使用して判定値Ｅを算出するのか切り換えるようにしてもよい。
【００８７】
図２３は、本変形例にかかる表情判定処理の流れを示すフローチャートである。本変形例においては、肌色補正を実行する肌色補正モードがユーザーによって指定可能（不図示）である。肌色補正モードにおいて注目画像ＯＩに存在する顔の肌色画素の色彩値を予め指定された肌色の記憶色の色彩値に補正する処理が印刷の際に実行される。前記実施例と同様に判定対象の表情を選択すると（ステップＳ６１０）、肌色補正モードが選択されているか否かを判定する（ステップＳ６１５）。肌色補正モードが選択されていない場合には、前記実施例と同様にステップＳ６２０〜Ｓ６８０を順次実行する。すなわち、形状パラメーターｐiとテクスチャーパラメーターλkの双方を使用して判定値Ｅを算出し、各表情の判定を行っていく。
【００８８】
一方、肌色補正モードが選択されている場合には、形状パラメーターｐiのみを選択する（ステップＳ６２５）。そして、前記実施例と同様にステップＳ６３０〜Ｓ６８０を順次実行する。すなわち、形状パラメーターｐiのみを使用して判定値Ｅを算出し、各表情の判定を行っていく。形状パラメーターｐiのみを使用して判定値Ｅすることができるように、判定値設定処理においては形状パラメーターｐiのみから表情パラメーターｑlを選択するようにしておけばよい。相関係数の絶対値が所定の閾値よりも大きい形状パラメーターｐiのみを選択する場合には、形状パラメーターｐiとテクスチャーパラメーターλkの双方から表情パラメーターｑlを選択する場合よりも表情パラメーターｑlの要素数は減少することとなる。そして、前記実施例と同様に形状パラメーターｐiとテクスチャーパラメーターλkの双方を使用して前記式（１０）の計算をおこなうために必要な情報と、形状パラメーターｐiのみを使用して前記式（１０）の計算をおこなうために必要な情報とを表情判定情報ＥＭＩとして内部メモリー１２０に格納しておけばよい。
【００８９】
本変形例で肌色補正モードが指定されている場合には、テクスチャーパラメーターλkを使用することなく表情の判定が行われることとなる。肌色補正モードにおいては、補正前の顔の画素の色彩値が理想的な肌色に補正されるため、補正前の顔の画素の色彩値が表情に相関する色を有していても、印刷結果における表情の印象に与える影響は少ないと考えることができる。そのため、テクスチャーパラメーターλkを使用することなく表情判定を行っても、印刷結果における表情の印象と、判定された表情との相違が生じる可能性は低い。上述したように、テクスチャーパラメーターλkを使用することなく表情判定をおこなう場合、表情パラメーターｑlの要素数は減少するため前記式（１０）の計算を高速化することができる。
【００９０】
Ｂ４．変形例４：
前記実施例においては、判定値Ｅと比較する閾値を一定としたが、該閾値を状況に応じて変動させるようにしてもよい。例えば、ある形状パラメーターｐiやテクスチャーパラメーターλkの値が所定の基準値よりも大きいか否かによって、判定値Ｅと比較する閾値を切り換えるようにしてもよい。例えば、第１形状ベクトルｓ1が顔を大きく左または右に振っていることを示している場合には、顔を大きく左または右に振っていない場合よりも判定値Ｅを下方修正するようにしてもよい。顔を大きく左または右に振っている場合には、各表情の特徴が通常よりも顕著でなくなる場合（例えば表情の変動による口角の変動が、顔振りによって曖昧になる等）には、判定値Ｅを緩和することが望ましい。
【００９１】
Ｂ５．変形例５：
前記実施例の判定値設定処理においては、各表情との相関係数が上位の形状パラメーターｐiとテクスチャーパラメーターλkの要素を表情パラメーターｑlの要素として設定することとしたが、見た目の感覚に基づいて表情パラメーターｑlの要素を選択するようにしてもよい。
【００９２】
図２４は、本変形例において表情パラメーターｑlを選択する処理の流れを示すフローチャートである。まず、コンピューターは、形状パラメーターｐiとテクスチャーパラメーターλkのうちいずれか１つを選択する（ステップＳ８１０）。ここでは、形状パラメーターｐ1が選択されたものとして以下説明する。次に、コンピューターは、選択した形状パラメーターｐ1をレンジにおける下限値に設定する（ステップＳ８２０）。次に、コンピューターは、選択されなかった形状パラメーターｐiとテクスチャーパラメーターλkの各値を０とする（ステップＳ８３０）。以上のように設定された形状パラメーターｐiとテクスチャーパラメーターλkを、前記式（１ａ），（２ａ）に適用しつつアフィン変換を行うことにより、コンピューターは、顔のテクスチャーＡ（ｘ）を算出する（ステップＳ８４０）。
【００９３】
そして、コンピューターは、テクスチャーＡ（ｘ）をディスプレイに表示させる（ステップＳ８５０）。次に、コンピューターは、選択した形状パラメーターｐ1がレンジにおける上限値に達していているか否かを判定し（ステップＳ８６０）、達していない場合には選択した形状パラメーターｐ1の現在の値にレンジの幅の５％を加算して（ステップＳ８６５）、ステップＳ８４０に戻る。このような処理を繰り返して実行することにより、選択した形状パラメーターｐ1をレンジの下限値から５％ずつ増加させ、それに応じて変動する顔のテクスチャーＡ（ｘ）を順次ディスプレイに表示させていくことができる。選択した形状パラメーターｐ1は顔の振りに対応する特徴量であるため、形状パラメーターｐ1の変動とともに表示部１５０に表示される顔の振り角度が変動することとなる。
【００９４】
選択した形状パラメーターｐ1がレンジにおける上限値に達していている場合には、コンピューターは、選択した形状パラメーターｐ1を表情パラメーターｑlとして採用するか否かを問い合わせる表示をディスプレイにて表示させ、入力装置にてオペレーターの操作を受け付ける（ステップＳ８７０）。ここで、採用する旨の操作が受け付けられた場合には、選択した形状パラメーターｐ1が表情パラメーターｑlとして採用される（Ｓ８８０）。次に、すべての形状パラメーターｐiとテクスチャーパラメーターλkを選択したか否かを判定し（ステップＳ８９０）、すべて選択していない場合には、ステップＳ８１０にて次の形状パラメーターｐiまたはテクスチャーパラメーターλkを選択する。
【００９５】
以上の処理を実行することにより、オペレーターは形状パラメーターｐiとテクスチャーパラメーターλkのそれぞれを個別に変動させた場合の、顔のテクスチャーＡ（ｘ）の変動をディスプレイにて観察することができ、どれが表情と相関しているかを把握することができる。そして、相関していると感じれば、現在選択されている形状パラメーターｐiまたはテクスチャーパラメーターλkの一を表情パラメーターｑlとして採用することができる。さらに、オペレーターが相関すると感じた程度を指定する操作を入力装置にて受け付けるようにし、該程度に基づいて重み係数αlを設定するようにしてもよい。
【００９６】
Ｂ６．変形例６：
前記実施例においては、もっとも大きい判定値Ｅに対応する表情を有していると判定するようにしたが、図１９（ｃ）のように喜顔と驚顔の判定値Ｅが双方とも閾値を超え、かつ、双方の判定値Ｅが近い値である場合には、双方の表情を有していると判定するようにしてもよい。すなわち、図１９（ｃ）のように、２番目に大きい判定値Ｅと、最大の判定値Ｅとの差が所定の基準範囲（例えば、最大の判定値Ｅの１０％等。）内であれば、２つの表情が混在していると判定するようにしてもよい。
【００９７】
Ｂ７．変形例７：
前記実施例では、特徴点ＣＰ初期位置設定処理において、４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）のそれぞれについての３段階の値の組み合わせに対応する合計８０種類（＝３×３×３×３−１）の仮設定位置が予め設定されているが、仮設定位置の設定に用いるパラメーターの種類および数やパラメーター値の段階数は変更可能である。例えば、４つのグローバルパラメーターの内の一部のみが仮設定位置の設定に用いられるとしてもよいし、用いられるパラメーターのそれぞれについて、５段階の値の組み合わせにより仮設置位置が設定されるものとしてもよい。
【００９８】
Ｂ８．変形例８：
前記実施例の特徴点ＣＰ設定位置補正処理では、注目画像ＯＩに基づき平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出することにより注目画像ＯＩの特徴点ＣＰの設置位置を平均顔画像Ａ0（ｘ）の特徴点ＣＰの設置位置に整合させているが、平均顔画像Ａ0（ｘ）に対して画像変換をおこなうことにより両者の特徴点ＣＰの配置を整合させるものとしてもよい。すなわち、前記実施例では、「顔領域」としての平均形状画像Ｉ（Ｗ（ｘ；ｐ））を変化させることとしたが、平均顔画像Ａ0（ｘ）を形状パラメーターｐiやテクスチャーパラメーターλkの変化に応じて変化させてもよい。いずれにしても、注目画像ＯＩに含まれる「顔領域」と、顔モデルによって再現される顔の画像との差を小さくさせる形状パラメーターｐiやテクスチャーパラメーターλkに補正されることとなる。
【００９９】
Ｂ９．変形例９：
前記実施例におけるサンプル画像ＳＩ（図３）はあくまで一例であり、サンプル画像ＳＩとして採用する画像の数、種類は任意に設定可能である。また、前記実施例において、特徴点ＣＰの位置で示される顔の所定の特徴部位（図４参照）はあくまで一例であり、実施例において設定されている特徴部位の一部を省略したり、特徴部位として他の部位を採用したりしてもよい。
【０１００】
また、前記実施例では、サンプル画像ＳＩｗの画素群ｘのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析によってテクスチャーモデルが設定されているが、顔画像のテクスチャー（見え）を表す輝度値以外の指標値（例えばＲＧＢ値）に対する主成分分析によってテクスチャーモデルが設定されるものとしてもよい。
【０１０１】
また、前記実施例において、平均顔画像Ａ0（ｘ）のサイズは５６画素×５６画素に限られず他のサイズであってもよい。また、平均顔画像Ａ0（ｘ）は、マスク領域ＭＡ（図８）を含む必要はなく、平均形状領域ＢＳＡのみによって構成されるとしてもよい。また、平均顔画像Ａ0（ｘ）の代わりに、サンプル画像ＳＩの統計的分析に基づき設定される他の基準顔画像が用いられるとしてもよい。
【０１０２】
また、判定対象の表情は、喜顔と悲顔と驚顔と怒顔に限られるものではなく、困顔や寝顔や焦顔等の表情を判定するようにしてもよい。むろん、前記実施例や変形例において、喜顔と悲顔と驚顔と怒顔のすべてを判定するのではなく、例えば喜顔であるか否かのみを判定するようにしてもよい。
【０１０３】
また、前記実施例では、ＡＡＭを用いた形状モデルおよびテクスチャーモデルの設定が行われているが、他のモデル化手法（例えばＭｏｒｐｈａｂｌｅ  Ｍｏｄｅｌと呼ばれる手法やＡｃｔｉｖｅ  Ｂｌｏｂと呼ばれる手法）を用いて形状モデルおよびテクスチャーモデルの設定が行われるとしてもよい。
【０１０４】
また、前記実施例では、メモリーカードＭＣに格納された画像が注目画像ＯＩに設定されているが、注目画像ＯＩは例えばネットワークを介して取得された画像であってもよい。また、前記実施例では、画像処理装置としてのプリンター１００による画像処理を説明したが、処理の一部または全部がパーソナルコンピューターやデジタルスチルカメラ、デジタルビデオカメラ等の他の種類の画像処理装置により実行されるものとしてもよい。また、プリンター１００はインクジェットプリンターに限らず、他の方式のプリンター、例えばレーザプリンターや昇華型プリンターであるとしてもよい。
【０１０５】
前記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。
【０１０６】
また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。
【符号の説明】
【０１０７】
１００…プリンター、１１０…ＣＰＵ、１２０…内部メモリー、１４０…操作部、１５０…表示部、１６０…印刷機構、１７０…カードインターフェース、１７２…カードスロット、２００…画像処理部、２１０…設定部、２２０…特徴位置検出部、２２２，２４２…生成部、２２４，２４４…算出部、２２６，２４６…補正部、２３０…顔領域検出部、２４０…テクスチャー検出部、２５０…表情判定部、３１０…表示処理部、３２０…印刷処理部。
【図１】
2010271956.tif 000013
【図２】
2010271956.tif 000014
【図３】
2010271956.tif 000015
【図４】
2010271956.tif 000016
【図５】
2010271956.tif 000017
【図６】
2010271956.tif 000018
【図７】
2010271956.tif 000019
【図８】
2010271956.tif 000020
【図９】
2010271956.tif 000021
【図１０】
2010271956.tif 000022
【図１１】
2010271956.tif 000023
【図１２】
2010271956.tif 000024
【図１３】
2010271956.tif 000025
【図１４】
2010271956.tif 000026
【図１５】
2010271956.tif 000027
【図１６】
2010271956.tif 000028
【図１７】
2010271956.tif 000029
【図１８】
2010271956.tif 000030
【図１９】
2010271956.tif 000031
【図２０】
2010271956.tif 000032
【図２１】
2010271956.tif 000033
【図２２】
2010271956.tif 000034
【図２３】
2010271956.tif 000035
【図２４】
2010271956.tif 000036