(57)【要約】【課題】本発明は、画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることを目的とする。【解決手段】注目画像に含まれる顔の特徴部位の座標位置を検出する画像処理装置は、注目画像から顔画像の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出部と、予め用意された、顔領域に対する顔画像の大きさ、角度、位置に関する少なくとも１以上のパラメーターと、顔画像の特徴を表す１以上の特徴量と、を用いて、特徴部位の座標位置を検出するために注目画像に設定される特徴点の初期位置を設定する初期位置設定部と、初期位置に設定された特徴点の設定位置を特徴部位の座標位置に近づけるように補正し、補正された前記設定位置を特徴部位の座標位置として検出する特徴位置検出部と、を備える。【選択図】図１
2010176314.tif 000002
【特許請求の範囲】
【請求項１】
注目画像に含まれる顔の特徴部位の座標位置を検出する画像処理装置であって、
前記注目画像から顔画像の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出部と、
予め用意された、顔領域に対する顔画像の大きさ、角度、位置に関する少なくとも１以上のパラメーターと、顔画像の特徴を表す１以上の特徴量と、を用いて、前記特徴部位の座標位置を検出するために前記注目画像に設定される特徴点の初期位置を設定する初期位置設定部と、
前記初期位置に設定された前記特徴点の設定位置を前記特徴部位の座標位置に近づけるように補正し、補正された前記設定位置を前記特徴部位の座標位置として検出する特徴位置検出部と、を備える画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記初期位置設定部は、
前記パラメーターおよび前記特徴量を所定値として予め設定された複数の前記設定位置のうちの１つを前記初期位置として設定する画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記初期位置設定部は、
前記設定位置に設定された前記特徴点に基づいて、前記注目画像の一部を変換した画像である平均形状画像を生成する生成部と、
前記平均形状画像と、前記特徴部位の座標位置が既知の顔画像を含む複数のサンプル画像に基づいて生成された画像である平均顔画像と、の差分値を算出する算出部と、を備えるとともに、
前記複数の設定位置のうち、前記差分値が最小となる前記設定位置を前記初期位置として設定する画像処理装置。
【請求項４】
請求項１ないし請求項３のいずれかに記載の画像処理装置において、
前記特徴量は、前記複数のサンプル画像に含まれる前記特徴部位の座標ベクトルを主成分分析して得られる形状ベクトルの係数であり、
前記初期位置設定部は、前記形状ベクトルのうち、顔画像の特徴に対する寄与率の高い順から１以上の形状ベクトルの係数を用いて、前記初期位置を設定する画像処理装置。
【請求項５】
請求項１ないし請求項４のいずれかに記載の画像処理装置において、
前記初期位置設定部は、顔画像の横方向の顔向きを表す特徴量を用いて、前記初期位置を設定する画像処理装置。
【請求項６】
請求項１ないし請求項５のいずれかに記載の画像処理装置において、
前記初期位置設定部は、顔画像の縦方向の顔向きを表す特徴量を用いて、前記初期位置を設定する画像処理装置。
【請求項７】
請求項３ないし請求項６のいずれかに記載の画像処理装置において、
前記特徴位置検出部は、
前記初期位置に対応する平均形状画像と、前記平均顔画像と、の差分値に基づいて、前記差分値が小さくなるように前記設定位置を補正する補正部を備えるとともに、
前記差分値が所定となる前記設定位置を前記座標位置として検出する画像処理装置。
【請求項８】
請求項１ないし請求項７のいずれかに記載の画像処理装置において、
前記特徴部位は、眉毛と目と鼻と口とフェイスラインとの一部である画像処理装置。
【請求項９】
注目画像に含まれる顔の特徴部位の座標位置を検出するプリンターであって、
前記注目画像から顔画像の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出部と、
予め用意された、顔領域に対する顔画像の大きさ、角度、位置に関する少なくとも１以上のパラメーターと、顔画像の特徴を表す１以上の特徴量と、を用いて、前記特徴部位の座標位置を検出するために前記注目画像に設定される特徴点の初期位置を設定する初期位置設定部と、
前記初期位置に設定された前記特徴点の設定位置を前記特徴部位の座標位置に補正することにより前記座標位置を検出する特徴位置検出部と、
前記座標位置が検出された前記注目画像を印刷するための印刷部と、を備えるプリンター。
【請求項１０】
注目画像に含まれる顔の特徴部位の座標位置を検出する画像処理方法であって、
前記注目画像から顔画像の少なくとも一部を含む画像領域を顔領域として検出する工程と、
予め用意された、顔領域に対する顔画像の大きさ、角度、位置に関する少なくとも１以上のパラメーターと、顔画像の特徴を表す１以上の特徴量と、を用いて、前記特徴部位の座標位置を検出するために前記注目画像に設定される特徴点の初期位置を設定する工程と、
前記初期位置に設定された前記特徴点の設定位置を前記特徴部位の座標位置に補正することにより前記座標位置を検出する工程と、を備える画像処理方法。
【請求項１１】
注目画像に含まれる顔の特徴部位の座標位置を検出する画像処理のためのコンピュータープログラムであって、
前記注目画像から顔画像の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出機能と、
予め用意された、顔領域に対する顔画像の大きさ、角度、位置に関する少なくとも１以上おパラメーターと、顔画像の特徴を表す１以上の特徴量と、を用いて、前記特徴部位の座標位置を検出するために前記注目画像に設定される特徴点の初期位置を設定する初期位置設定機能と、
前記初期位置に設定された前記特徴点の設定位置を前記特徴部位の座標位置に補正することにより前記座標位置を検出する特徴位置検出機能と、をコンピューターに実現させるコンピュータープログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、注目画像に含まれる顔の特徴部位の座標位置を検出する画像処理装置に関する。
【背景技術】
【０００２】
視覚的事象のモデル化手法として、アクティブアピアランスモデル（Ａｃｔｉｖｅ  Ａｐｐｅａｒａｎｃｅ  Ｍｏｄｅｌ、略して「ＡＡＭ」とも呼ばれる）が知られている。ＡＡＭでは、例えば、複数のサンプル画像に含まれる顔の特徴部位（例えば目尻や鼻頭やフェイスライン）の位置（座標）や画素値（例えば輝度値）の統計的分析を通じて、上記特徴部位の位置により特定される顔の形状を表す形状モデルや、平均的な形状における「見え（Ａｐｐｅａｒａｎｃｅ）」を表すテクスチャーモデルが設定され、これらのモデルを用いて顔画像がモデル化される。ＡＡＭによれば、任意の顔画像のモデル化（合成）が可能であり、また、画像に含まれる顔の特徴部位の位置の検出が可能である（特許文献１）。
【０００３】
【特許文献１】特開２００７−１４１１０７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上記従来の技術には、画像に含まれる顔の特徴部位の位置の検出に関して、さらなる効率化・高速化の余地があった。
【０００５】
なお、このような問題は、ＡＡＭを利用する場合に限らず、画像に含まれる顔の特徴部位の位置を検出する画像処理に共通の問題であった。
【０００６】
本発明は、上記の課題を解決するためになされたものであり、画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることを目的とする。
【課題を解決するための手段】
【０００７】
上記課題の少なくとも一部を解決するために本願発明は以下の態様を採る。
【０００８】
第１の態様は、注目画像に含まれる顔の特徴部位の座標位置を検出する画像処理装置を提供する。本発明の第１の態様に係る画像処理装置は、前記注目画像から顔画像の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出部と、予め用意された、顔領域に対する顔画像の大きさ、角度、位置に関する少なくとも１以上のパラメーターと、顔画像の特徴を表す１以上の特徴量と、を用いて、前記特徴部位の座標位置を検出するために前記注目画像に設定される特徴点の初期位置を設定する初期位置設定部と、前記初期位置に設定された前記特徴点の設定位置を前記特徴部位の座標位置に近づけるように補正し、補正された前記設定位置を前記特徴部位の座標位置として検出する特徴位置検出部と、を備える。
【０００９】
第１の態様に係る画像処理装置によれば、予め用意された、顔領域に対する顔画像の大きさ、角度、位置に関する少なくとも１以上のパラメーターと、顔画像の特徴を表す１以上の特徴量と、を用いて特徴点の初期位置を設定するため、初期位置を良好な位置に設定することができる。これにより、注目画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。
【００１０】
第１の態様に係る画像処理装置において、前記初期位置設定部は、前記パラメーターおよび前記特徴量を所定値として予め設定された複数の前記設定位置のうちの１つを前記初期位置として設定してもよい。この場合、予め設定された特徴点の複数の設定位置のうちの１つを初期位置として設定するため、注目画像に含まれる顔の特徴部位の位置を効率的かつ高速に検出することができる。
【００１１】
第１の態様に係る画像処理装置において、前記初期位置設定部は、前記設定位置に設定された前記特徴点に基づいて、前記注目画像の一部を変換した画像である平均形状画像を生成する生成部と、前記平均形状画像と、前記特徴部位の座標位置が既知の顔画像を含む複数のサンプル画像に基づいて生成された画像である平均顔画像と、の差分値を算出する算出部と、を備えるとともに、前記複数の設定位置のうち、前記差分値が最小となる前記設定位置を前記初期位置として設定してもよい。この場合、差分値が最小となる設定位置を初期位置とすることにより、注目画像に含まれる顔の特徴部位の位置を効率的かつ高速に検出することができる。
【００１２】
第１の態様に係る画像処理装置において、前記特徴量は、前記複数のサンプル画像に含まれる前記特徴部位の座標ベクトルを主成分分析して得られる形状ベクトルの係数であり、前記初期位置設定部は、前記形状ベクトルのうち、顔画像の特徴に対する寄与率の高い順から１以上の形状ベクトルの係数を用いて、前記初期位置を設定してもよい。この場合、特徴点の初期位置の設定に、寄与率の高い１以上の形状ベクトルの係数を用いることで、注目画像に含まれる顔の特徴部位の位置を効率的かつ高速に検出することができる。
【００１３】
第１の態様に係る画像処理装置において、前記初期位置設定部は、顔画像の横方向の顔向きを表す特徴量を用いて、前記初期位置を設定してもよい。この場合、特徴点の初期位置の設定に、顔画像の横方向の顔向きを表す特徴量を用いることで、注目画像に含まれる顔の特徴部位の位置を効率的かつ高速に検出することができる。
【００１４】
第１の態様に係る画像処理装置において、前記初期位置設定部は、顔画像の縦方向の顔向きを表す特徴量を用いて、前記初期位置を設定してもよい。この場合、特徴点の初期位置の設定に、顔画像の縦方向の顔向きを表す特徴量を用いることで、注目画像に含まれる顔の特徴部位の位置を効率的かつ高速に検出することができる。
【００１５】
第１の態様に係る画像処理装置において、前記特徴位置検出部は、前記初期位置に対応する平均形状画像と、前記平均顔画像と、の差分値に基づいて、前記差分値が小さくなるように前記設定位置を補正する補正部を備えるとともに、前記差分値が所定となる前記設定位置を前記座標位置として検出してもよい。この場合、初期位置に対応する平均形状画像と、平均顔画像と、の差分値に基づいて、差分値が所定となるように設定位置を補正することにより特徴部位の座標位置を検出するため、注目画像に含まれる顔の特徴部位の位置を効率的かつ高速に検出することができる。
【００１６】
第１の態様に係る画像処理装置において、前記特徴部位は、眉毛と目と鼻と口とフェイスラインとの一部であってもよい。この場合、眉毛と目と鼻と口とフェイスラインと一部について良好に座標位置を検出することができる。
【００１７】
なお、本発明は、種々の態様で実現することが可能であり、例えば、プリンター、デジタルスチルカメラ、パーソナルコンピューター、デジタルビデオカメラ等で実現することができる。また、画像処理方法および装置、特徴部位の位置検出方法および装置、表情判定方法および装置、これらの方法または装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明に係る画像処理装置の一態様であるプリンターについて、図面を参照しつつ、実施例に基づいて説明する。
【００１９】
Ａ．第１実施例：
Ａ１．画像処理装置の構成：
図１は、本発明の第１実施例における画像処理装置としてのプリンター１００の構成を概略的に示す説明図である。本実施例のプリンター１００は、メモリーカードＭＣ等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したインクジェット式カラープリンターである。プリンター１００は、プリンター１００の各部を制御するＣＰＵ１１０と、ＲＯＭやＲＡＭによって構成された内部メモリー１２０と、ボタンやタッチパネルにより構成された操作部１４０と、液晶ディスプレイにより構成された表示部１５０と、印刷機構１６０と、カードインターフェース（カードＩ／Ｆ）１７０と、を備えている。プリンター１００は、さらに、他の機器（例えばデジタルスチルカメラやパーソナルコンピューター）とのデータ通信を行うためのインターフェースを備えていてもよい。プリンター１００の各構成要素は、バスを介して双方向通信可能に接続されている。
【００２０】
印刷機構１６０は、印刷データに基づき印刷を行う。カードインターフェース１７０は、カードスロット１７２に挿入されたメモリーカードＭＣとの間でデータのやり取りを行うためのインターフェースである。なお、本実施例では、メモリーカードＭＣに画像データを含む画像ファイルが格納されている。
【００２１】
内部メモリー１２０には、画像処理部２００と、表示処理部３１０と、印刷処理部３２０と、が格納されている。画像処理部２００は、コンピュータープログラムであり、所定のオペレーティングシステムの下で、ＣＰＵ１１０により実行されることで顔特徴位置検出処理をおこなう。顔特徴位置検出処理は、顔画像における所定の特徴部位（例えば目尻や鼻頭やフェイスライン）の位置を検出する処理である。顔特徴位置検出処理については、後に詳述する。表示処理部３１０、および、印刷処理部３２０についてもＣＰＵ１１０により実行されることでぞれぞれの機能を実現する。
【００２２】
画像処理部２００は、プログラムモジュールとして、初期位置設定部２１０と、特徴位置検出部２２０と、顔領域検出部２３０と、を含んでいる。初期位置設定部２１０は、生成部２１２と、算出部２１４と、を含んでいる。特徴位置検出部２２０は、補正部２２２を含んでいる。これら各部の機能については、後述の顔特徴位置検出処理の説明において詳述する。
【００２３】
表示処理部３１０は、表示部１５０を制御して、表示部１５０上に処理メニューやメッセージ、画像等を表示させるディスプレイドライバである。印刷処理部３２０は、画像データから印刷データを生成し、印刷機構１６０を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータープログラムである。ＣＰＵ１１０は、内部メモリー１２０から、これらのプログラム（画像処理部２００、表示処理部３１０、印刷処理部３２０）を読み出して実行することにより、これら各部の機能を実現する。
【００２４】
内部メモリー１２０には、また、ＡＡＭ情報ＡＭＩが格納されている。ＡＡＭ情報ＡＭＩは、後述のＡＡＭ設定処理によって予め設定される情報であり、後述の顔特徴位置検出処理において参照される。ＡＡＭ情報ＡＭＩの内容については、後述のＡＡＭ設定処理の説明において詳述する。
【００２５】
Ａ２．ＡＡＭ設定処理：
図２は、第１実施例におけるＡＡＭ設定処理の流れを示すフローチャートである。ＡＡＭ設定処理は、ＡＡＭ（アクティブアピアランスモデル（Ａｃｔｉｖｅ  Ａｐｐｅａｒａｎｃｅ  Ｍｏｄｅｌ））と呼ばれる画像のモデル化に用いられる形状モデルおよびテクスチャーモデルを設定する処理である。本実施例において、ＡＡＭ設定処理は、ユーザによりおこなわれる。
【００２６】
はじめに、ユーザは、人物の顔を含んだ複数の画像をサンプル画像ＳＩとして用意する（ステップＳ１１０）。図３は、サンプル画像ＳＩの一例を示す説明図である。図３に示すように、サンプル画像ＳＩは、個性、人種・性別、表情（怒り、笑い、困り、驚き等）、向き（正面向き、上向き、下向き、右向き、左向き等）といった種々の属性に関して互いに相違する顔画像が含まれるように用意される。サンプル画像ＳＩがそのように用意されれば、ＡＡＭによってあらゆる顔画像を精度良くモデル化することが可能となり、あらゆる顔画像を対象とした精度の良い顔特徴位置検出処理（後述）の実行が可能となる。なお、サンプル画像ＳＩは、学習用画像とも呼ばれる。
【００２７】
それぞれのサンプル画像ＳＩに含まれる顔画像に、特徴点ＣＰを設定する（ステップＳ１２０）。図４は、サンプル画像ＳＩにおける特徴点ＣＰの設定方法の一例を示す説明図である。特徴点ＣＰは、顔画像における所定の特徴部位の位置を示す点である。本実施例では、所定の特徴部位として、人物の顔における眉毛上の所定位置（例えば端点や４分割点等、以下同じ）、目の輪郭上の所定位置、鼻筋および小鼻の輪郭上の所定位置、上下唇の輪郭上の所定位置、顔の輪郭（フェイスライン）上の所定位置といった６８箇所の部位が設定されている。すなわち、本実施例では、人物の顔に共通して含まれる顔の器官（眉毛、目、鼻、口）および顔の輪郭における所定位置を、特徴部位として設定する。図４に示すように、特徴点ＣＰは、各サンプル画像ＳＩにおいてオペレーターにより指定された６８個の特徴部位を表す位置に設定（配置）される。このように設定された各特徴点ＣＰは各特徴部位に対応しているため、顔画像における特徴点ＣＰの配置は顔の形状を特定していると表現することができる。
【００２８】
サンプル画像ＳＩにおける特徴点ＣＰの位置は、座標により特定される。図５は、サンプル画像ＳＩに設定された特徴点ＣＰの座標の一例を示す説明図である。図５において、ＳＩ（ｊ）（ｊ＝１，２，３・・・）は各サンプル画像ＳＩを示しており、ＣＰ（ｋ）（ｋ＝０，１，・・・，６７）は各特徴点ＣＰを示している。また、ＣＰ（ｋ）−Ｘは、特徴点ＣＰ（ｋ）のＸ座標を示しており、ＣＰ（ｋ）−Ｙは、特徴点ＣＰ（ｋ）のＹ座標を示している。特徴点ＣＰの座標としては、顔の大きさと顔の傾き（画像面内の傾き）と顔のＸ方向およびＹ方向の位置とのそれぞれについて正規化されたサンプル画像ＳＩにおける所定の基準点（例えば画像の左下の点）を原点とした座標が用いられる。また、本実施例では、１つのサンプル画像ＳＩに複数の人物の顔画像が含まれる場合が許容されており（例えばサンプル画像ＳＩ（２）には２人の顔画像が含まれている）、１つのサンプル画像ＳＩにおける各人物は人物ＩＤによって特定される。
【００２９】
つづいて、ユーザは、ＡＡＭの形状モデルの設定をおこなう（ステップＳ１３０）。具体的には、各サンプル画像ＳＩにおける６８個の特徴点ＣＰの座標（Ｘ座標およびＹ座標）により構成される座標ベクトル（図５参照）に対する主成分分析をおこない、特徴点ＣＰの位置により特定される顔の形状ｓが下記の式（１）によりモデル化する。なお、形状モデルは、特徴点ＣＰの配置モデルとも呼ぶ。
【００３０】
【数１】
2010176314.tif 000003
【００３１】
上記式（１）において、ｓ0は平均形状である。図６は、平均形状ｓ0の一例を示す説明図である。図６（ａ）および（ｂ）に示すように、平均形状ｓ0は、サンプル画像ＳＩの各特徴点ＣＰについての平均位置（平均座標）により特定される平均的な顔の形状を表すモデルである。なお、本実施例では、平均形状ｓ0において、外周に位置する特徴点ＣＰ（フェイスラインおよび眉毛、眉間に対応する特徴点ＣＰ、図４参照）を結ぶ直線により囲まれた領域（図６（ｂ）においてハッチングを付して示す）を「平均形状領域ＢＳＡ」と呼ぶ。平均形状ｓ0においては、図６（ａ）に示すように、特徴点ＣＰを頂点とする複数の三角形領域ＴＡが、平均形状領域ＢＳＡをメッシュ状に分割するように設定される。
【００３２】
形状モデルを表す上記式（１）において、ｓiは形状ベクトルであり、ｐiは形状ベクトルｓiの重みを表す形状パラメーターである。形状ベクトルｓiは、顔の形状ｓの特性を表すベクトルであり、主成分分析により得られる第ｉ主成分に対応する固有ベクトルである。上記式（１）に示すように、本実施例における形状モデルでは、特徴点ＣＰの配置を表す顔形状ｓが、平均形状ｓ0とｎ個の形状ベクトルｓiの線形結合との和としてモデル化される。形状モデルにおいて形状パラメーターｐiを適切に設定することにより、あらゆる画像における顔の形状ｓを再現することが可能である。
【００３３】
図７は、形状ベクトルｓiおよび形状パラメーターｐiと、顔の形状ｓとの関係を例示した説明図である。図７（ａ）に示すように、顔の形状ｓを特定するために、寄与率のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数ｎ（図７ではn＝４）の固有ベクトルが、形状ベクトルｓiとして採用される。形状ベクトルｓiのそれぞれは、図７（ａ）の矢印に示すように、各特徴点ＣＰの移動方向・移動量と対応している。本実施例では、最も寄与率の大きい第１主成分に対応する第１形状ベクトルｓ1は顔の左右振りにほぼ相関するベクトルとなっており、形状パラメーターｐ1を大小することにより、図７（ｂ）に示すように、顔の形状ｓの横方向の顔向きが変化する。２番目に寄与率の大きい第２主成分に対応する第２形状ベクトルｓ2は顔の上下振りにほぼ相関するベクトルとなっており、形状パラメーターｐ2を大小することにより、図７（ｃ）に示すように、顔の形状ｓの縦方向の顔向きが変化する。また、３番目に寄与率の大きい第３主成分に対応する第３形状ベクトルｓ3は顔の形状の縦横比にほぼ相関するベクトルとなっており、４番目に寄与率の大きい第４主成分に対応する第４形状ベクトルｓ4は口の開きの程度にほぼ相関するベクトルとなっている。このように、形状パラメーターの値は、顔の表情や、顔向きなど顔画像の特徴を表す。本実施例における「形状パラメーター」は特許請求の範囲における特徴量に該当する。
【００３４】
なお、形状モデル設定ステップ（ステップＳ１３０）において設定された平均形状ｓ0および形状ベクトルｓiは、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納される。
【００３５】
つづいて、ＡＡＭのテクスチャーモデルの設定をおこなう（ステップＳ１４０）。具体的には、まず、各サンプル画像ＳＩに対して、サンプル画像ＳＩにおける特徴点ＣＰの設定位置が平均形状ｓ0における特徴点ＣＰの設定位置と等しくなるように、画像変換（以下、「ワープＷ」とも呼ぶ）を行う。
【００３６】
図８は、サンプル画像ＳＩのワープＷの方法の一例を示す説明図である。各サンプル画像ＳＩにおいては、平均形状ｓ0と同様に、外周に位置する特徴点ＣＰにより囲まれた領域をメッシュ状に分割する複数の三角形領域ＴＡが設定される。ワープＷは、複数の三角形領域ＴＡのそれぞれについてのアフィン変換の集合である。すなわち、ワープＷにおいては、サンプル画像ＳＩにおけるある三角形領域ＴＡの画像は、平均形状ｓ0における対応する三角形領域ＴＡの画像へとアフィン変換される。ワープＷにより、特徴点ＣＰの設定位置が平均形状ｓ0における特徴点ＣＰの設定位置と等しいサンプル画像ＳＩ（以下「サンプル画像ＳＩｗ」と表す）が生成される。
【００３７】
なお、各サンプル画像ＳＩｗは、平均形状領域ＢＳＡ（図８においてハッチングを付して示す）を内包する矩形枠を外周とし、平均形状領域ＢＳＡ以外の領域（以下「マスク領域ＭＡ」とも呼ぶ）がマスクされた画像として生成される。平均形状領域ＢＳＡとマスク領域ＭＡとを併せた画像領域を基準領域ＢＡと呼ぶ。また、各サンプル画像ＳＩｗは、例えば５６画素×５６画素のサイズの画像として正規化される。
【００３８】
次に、各サンプル画像ＳＩｗの画素群ｘのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析が行われ、顔のテクスチャー（「見え」とも呼ぶ）Ａ（ｘ）が下記の式（２）によりモデル化される。なお、画素群ｘは、平均形状領域ＢＳＡに位置する画素の集合である。
【００３９】
【数２】
2010176314.tif 000004
【００４０】
上記式（２）において、Ａ0（ｘ）は平均顔画像である。図９は、平均顔画像Ａ0（ｘ）の一例を示す説明図である。平均顔画像Ａ0（ｘ）は、ワープＷの後のサンプル画像ＳＩｗ（図８参照）の平均の顔が表された画像である。すなわち、平均顔画像Ａ0（ｘ）は、サンプル画像ＳＩｗの平均形状領域ＢＳＡ内の画素群ｘの画素値（輝度値）の平均をとることにより算出される画像である。従って、平均顔画像Ａ0（ｘ）は、平均的な顔の形状における平均的な顔のテクスチャー（見え）を表すモデルである。なお、平均顔画像Ａ0（ｘ）は、サンプル画像ＳＩｗと同様に、平均形状領域ＢＳＡとマスク領域ＭＡとで構成され、例えば５６画素×５６画素のサイズの画像として算出される。
【００４１】
テクスチャーモデルを表す上記式（２）において、Ａi（ｘ）はテクスチャーベクトルであり、λiはテクスチャーベクトルＡi（ｘ）の重みを表すテクスチャーパラメーターである。テクスチャーベクトルＡi（ｘ）は、顔のテクスチャーＡ（ｘ）の特性を表すベクトルであり、具体的には、主成分分析により得られる第ｉ主成分に対応する固有ベクトルである。すなわち、寄与率のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数ｍの固有ベクトルが、テクスチャーベクトルＡi（ｘ）として採用される。本実施例では、最も寄与率の大きい第１主成分に対応する第１テクスチャーベクトルＡ1（ｘ）は、顔色の変化（性別の差とも捉えられる）にほぼ相関するベクトルとなっている。
【００４２】
上記式（２）に示すように、本実施例におけるテクスチャーモデルでは、顔の見えを表す顔のテクスチャーＡ（ｘ）が、平均顔画像Ａ0（ｘ）とｍ個のテクスチャーベクトルＡi（ｘ）の線形結合との和としてモデル化される。テクスチャーモデルにおいてテクスチャーパラメーターλiを適切に設定することにより、あらゆる画像における顔のテクスチャーＡ（ｘ）を再現することが可能である。なお、テクスチャーモデル設定ステップ（図２のステップＳ１４０）において設定された平均顔画像Ａ0（ｘ）およびテクスチャーベクトルＡi（ｘ）は、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納される。
【００４３】
以上説明したＡＡＭ設定処理（図２）により、顔の形状をモデル化する形状モデルと、顔のテクスチャーをモデル化するテクスチャーモデルが設定される。設定された形状モデルとテクスチャーモデルとを組み合わせることにより、すなわち合成されたテクスチャーＡ（ｘ）に対して平均形状ｓ0から形状ｓへの変換（図８に示したワープＷの逆変換）を行うことにより、あらゆる顔画像の形状およびテクスチャーを再現することが可能である。
【００４４】
Ａ３．顔特徴位置検出処理：
図１０は、第１実施例における顔特徴位置検出処理の流れを示すフローチャートである。本実施例における顔特徴位置検出処理は、ＡＡＭを利用して注目画像に含まれる顔画像における特徴点ＣＰの配置を決定することにより、顔画像における特徴部位の位置を検出する処理である。上述したように、本実施例では、ＡＡＭ設定処理（図２）において、人物の顔の器官（眉毛、目、鼻、口）および顔の輪郭における計６８箇所の所定位置が、特徴部位として設定されている（図４参照）。そのため、本実施例の顔特徴位置検出処理では、人物の顔の器官および顔の輪郭における所定位置を示す６８個の特徴点ＣＰの配置が決定される。
【００４５】
なお、顔特徴位置検出処理によって顔画像における特徴点ＣＰの配置が決定されると、顔画像についての形状パラメーターｐiや、テクスチャーパラメーターλiの値が特定される。従って、顔特徴位置検出処理の処理結果は、特定の表情（例えば笑顔や目を閉じた顔）の顔画像を検出するための表情判定や、特定の向き（例えば右向きや下向き）の顔画像を検出するための顔向き判定、顔の形状を変形する顔変形、顔の陰影補正等に利用可能である。
【００４６】
はじめに、画像処理部２００（図１）は、顔特徴位置検出処理の対象となる注目画像を表す画像データを取得する（ステップＳ２１０）。本実施例のプリンター１００では、カードスロット１７２にメモリーカードＭＣが挿入されると、メモリーカードＭＣに格納された画像ファイルのサムネイル画像が表示部１５０に表示される。処理の対象となる１つまたは複数の画像は、操作部１４０を介してユーザにより選択される。画像処理部２００は、選択された１つまたは複数の画像に対応する画像データを含む画像ファイルをメモリーカードＭＣより取得して内部メモリー１２０の所定の領域に格納する。なお、取得された画像データを注目画像データと呼び、注目画像データの表す画像を注目画像ＯＩと呼ぶものとする。
【００４７】
顔領域検出部２３０（図１）は、注目画像ＯＩに含まれる顔画像の少なくとも一部を含む画像領域を顔領域ＦＡとして検出する（ステップＳ２２０）。顔領域ＦＡの検出は、公知の顔検出手法を用いて行うことができる。公知の顔検出手法としては、例えば、パターンマッチングによる手法や肌色領域抽出による手法、サンプル画像を用いた学習（例えばニューラルネットワークを用いた学習や、ブースティングを用いた学習、サポートベクターマシーンを用いた学習等）により設定される学習データを用いる手法等がある。
【００４８】
図１１は、注目画像ＯＩにおける顔領域ＦＡの検出結果の一例を示す説明図である。図１１には、注目画像ＯＩにおいて検出された顔領域ＦＡが示されている。本実施例では、おおよそ、顔の上下方向は額から顎まで、左右方向は両耳の外側まで含む矩形の領域が顔領域ＦＡとして検出されるような顔検出手法が用いられている。
【００４９】
初期位置設定部２１０（図１）は、注目画像ＯＩにおける特徴点ＣＰの初期位置を設定する（ステップＳ２３０）。図１２は、第１実施例における特徴点ＣＰの初期位置設定処理の流れを示すフローチャートである。本実施例では、初期位置設定部２１０は、顔領域ＦＡに対する顔画像の大きさ、傾き、位置（上下方向の位置および左右方向の位置）を表すグローバルパラメーターの値と、特徴量である形状パラメーターｐ1および形状パラメーターｐ2の値と、を種々変更して、特徴点ＣＰを注目画像ＯＩ上の仮設定位置に設定する（ステップＳ３１０）。
【００５０】
図１３は、グローバルパラメーターの値を変更することによる特徴点ＣＰの仮設定位置の一例を示す説明図である。図１３（ａ）および図１３（ｂ）には、注目画像ＯＩにおける特徴点ＣＰおよび特徴点ＣＰをつないで形成されるメッシュが示されている。初期位置設定部２１０は、図１３（ａ）および図１３（ｂ）の中央に示すように、顔領域ＦＡの中央部に平均形状ｓ0が形成されるような特徴点ＣＰの仮設定位置（以下、「基準仮設定位置」とも呼ぶ）を設定する。
【００５１】
初期位置設定部２１０は、また、基準仮設定位置に対して、グローバルパラメーターの値を種々変更させた複数の仮設定位置を設定する。グローバルパラメーター（大きさ、傾き、上下方向の位置および左右方向の位置）を変更することは、注目画像ＯＩにおいて特徴点ＣＰにより形成されるメッシュが拡大・縮小、傾きの変更、並行移動することに相当する。従って、初期位置設定部２１０は、図１３（ａ）に示すように、基準仮設定位置のメッシュを所定倍率で拡大または縮小したメッシュを形成するような仮設定位置（基準仮設定位置の図の下および上に示す）や、所定角度だけ時計回りまたは半時計回りに傾きを変更したメッシュを形成するような仮設定位置（基準仮設定位置の図の右および左に示す）を設定する。また、初期位置設定部２１０は、基準仮設定位置のメッシュに対して、拡大・縮小および傾きの変更を組み合わせた変換を行ったメッシュを形成するような仮設定位置（基準仮設定位置の図の左上、左下、右上、右下に示す）も設定する。
【００５２】
また、図１３（ｂ）に示すように、初期位置設定部２１０は、基準仮設定位置のメッシュを所定量だけ上または下に並行移動したメッシュを形成するような仮設定位置（基準仮設定位置の図の上および下に示す）や、左または右に並行移動したメッシュを形成するような仮設定位置（基準仮設定位置の図の左および右に示す）を設定する。また、初期位置設定部２１０は、基準仮設定位置のメッシュに対して、上下および左右の並行移動を組み合わせた変換を行ったメッシュを形成するような仮設定位置（基準仮設定位置の図の左上、左下、右上、右下に示す）も設定する。
【００５３】
初期位置設定部２１０は、図１３（ａ）に示す基準仮設定位置以外の８つの仮設定位置のそれぞれにおけるメッシュに対して図１３（ｂ）に示す上下左右の並行移動が実行される仮設定位置も設定する。従って、本実施例では、４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）をそれぞれ既知の３段階の値として組み合わせにより設定される８０通り（＝３×３×３×３−１）の仮設定位置と、基準仮設定位置の合計８１通りの仮設定位置が設定される。
【００５４】
生成部２１２（図１）は、設定された各仮設定位置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））を生成する（ステップＳ３２０）。図１４は、平均形状画像Ｉ（Ｗ（ｘ；ｐ））の一例を示す説明図である。平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、入力画像における特徴点ＣＰの配置が平均形状ｓ0における特徴点ＣＰの配置と等しくなるような変換によって算出される。
【００５５】
平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出するための変換は、サンプル画像ＳＩｗ算出のための変換（図８参照）と同様に、三角形領域ＴＡ毎のアフィン変換の集合であるワープＷにより行われる。具体的には、注目画像ＯＩに配置された特徴点ＣＰ（図１３参照）によって平均形状領域ＢＳＡ（外周に位置する特徴点ＣＰにより囲まれた領域）が特定され、注目画像ＯＩにおける平均形状領域ＢＳＡに対して三角形領域ＴＡ毎のアフィン変換が行われることにより、平均形状画像Ｉ（Ｗ（ｘ；ｐ））が算出される。本実施例では、平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、平均顔画像Ａ0（ｘ）と同様に平均形状領域ＢＳＡおよびマスク領域ＭＡにより構成され、平均顔画像Ａ0（ｘ）と同サイズの画像として算出される。
【００５６】
なお、上述したように、画素群ｘは、平均形状ｓ0における平均形状領域ＢＳＡに位置する画素の集合である。ワープＷ実行後の画像（平均形状ｓ0を有する顔画像）における画素群ｘに対応するワープＷ実行前の画像（注目画像ＯＩの平均形状領域ＢＳＡ）における画素群をＷ（ｘ；ｐ）と表す。平均形状画像は、注目画像ＯＩの平均形状領域ＢＳＡにおける画素群Ｗ（ｘ；ｐ）のそれぞれにおける輝度値により構成される画像であるため、Ｉ（Ｗ（ｘ；ｐ））と表される。図１４には、図１３（ａ）に示した９個の仮設定位置に対応する９個の平均形状画像Ｉ（Ｗ（ｘ；ｐ））を示している。
【００５７】
算出部２１４（図１）は、各仮設定位置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ0（ｘ）との差分画像Ｉｅを算出する（ステップＳ３３０）。特徴点ＣＰの仮設定位置は８１種類設定されているため、算出部２１４（図１）は、８１個の差分画像Ｉｅを算出することとなる。
【００５８】
初期位置設定部２１０は、各差分画像Ｉｅの画素値からノルムを算出し、ノルムの値が最も小さい差分画像Ｉｅに対応する仮設置位置（以下「ノルム最小仮設定位置」とも呼ぶ）を、注目画像ＯＩにおける特徴点ＣＰの基準仮初期位置として設定する（ステップＳ３４０）。ノルムを算出するための画素値は輝度値であってもよいしＲＧＢ値であってもよい。
【００５９】
初期位置設定部２１０は、基準仮初期位置に対して、特徴量である形状パラメーターｐ1および形状パラメーターｐ2の値を種々変更した複数の仮初期位置を設定する（ステップＳ３５０）。図１５は、特徴量の値を変更することによる特徴点ＣＰの仮初期位置の一例を示す説明図である。形状パラメーターｐ1および形状パラメーターｐ2の値を変更することは、特徴点ＣＰにより形成されるメッシュが図７（ａ）に示すような縦振り、図７（ｂ）に示すような横振りした仮初期位置が設定されることに相当する。従って、初期位置設定部２１０は、図１５に示すように、基準仮初期位置のメッシュを所定角度だけ横振りしたメッシュを形成するような仮初期位置（基準仮初期位置の図の右および左に示す）や、所定角度だけ縦振りしたメッシュを形成するような仮初期位置（基準仮初期位置の図の上および下に示す）を設定する。また、初期位置設定部２１０は、基準仮初期位置のメッシュに対して、横振りおよび縦振りを組み合わせたメッシュを形成するような仮初期位置（基準仮初期位置の図の左上、左下、右上、右下に示す）も設定する。
【００６０】
初期位置設定部２１０は、図１５に示す基準仮初期位置以外の８つの仮初期位置を設定する。すなわち、２つの特徴量（縦振り、横振り）をそれぞれ既知の３段階の値として組み合わせにより設定される８通り（＝３×３−１）の仮初期位置と、基準仮初期位置の合計９通りの仮初期位置が設定される。
【００６１】
生成部２１２（図１）は、設定された各仮初期位置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））を生成する。また、算出部２１４（図１）は、各仮初期位置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ0（ｘ）との差分画像Ｉｅを算出する。初期位置設定部２１０は、各差分画像Ｉｅのノルムを算出し、ノルムの値が最も小さい差分画像Ｉｅに対応する仮初期位置を、注目画像ＯＩにおける特徴点ＣＰの初期位置として設定する（ステップＳ３６０）。以上により特徴点ＣＰ初期位置設定処理が完了する。
【００６２】
特徴点ＣＰ初期位置設定処理が完了すると、特徴位置検出部２２０（図１）は、注目画像ＯＩにおける特徴点ＣＰの設定位置の補正を行う（ステップＳ２４０）。図１６は、第１実施例における特徴点ＣＰ設定位置補正処理の流れを示すフローチャートである。
【００６３】
生成部２１２（図１）は、注目画像ＯＩから平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出する（ステップＳ４１０）。平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出方法は、特徴点ＣＰ初期位置設定処理におけるステップＳ３２０と同様である。
【００６４】
特徴位置検出部２２０は、平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ0（ｘ）との差分画像Ｉｅを算出する（ステップＳ４２０）。特徴位置検出部２２０は、差分画像Ｉｅに基づき、特徴点ＣＰの設定位置補正処理が収束したか否かを判定する（ステップＳ４３０）。特徴位置検出部２２０は、差分画像Ｉｅのノルムを算出し、ノルムの値が予め設定された閾値より小さい場合には収束したと判定し、ノルムの値が閾値以上の場合には未だ収束していないと判定する。なお、特徴位置検出部２２０は、算出された差分画像Ｉｅのノルムの値が前回のステップＳ４３０において算出された値よりも小さい場合には収束したと判定し、前回値以上である場合には未だ収束していないと判定するものとしてもよい。あるいは、特徴位置検出部２２０は、閾値による判定と前回値との比較による判定とを組み合わせて収束判定を行うものとしてもよい。例えば、特徴位置検出部２２０は、算出されたノルムの値が、閾値より小さく、かつ、前回値より小さい場合にのみ収束したと判定し、それ以外の場合には未だ収束していないと判定するものとしてもよい。
【００６５】
上記のステップＳ４３０の収束判定において未だ収束していないと判定された場合には、補正部２２２（図１）は、パラメーター更新量ΔＰを算出する（ステップＳ４４０）。パラメーター更新量ΔＰは、４個のグローバルパラメーター（全体としての大きさ、傾き、Ｘ方向位置、Ｙ方向位置）および特徴量であるｎ個の形状パラメーターｐi（式（１）参照）の値の変更量を意味している。なお、特徴点ＣＰを初期位置に設定した直後においては、グローバルパラメーターは、特徴点ＣＰ初期位置設定処理（図１２）において決定された値が設定されている。また、このときの特徴点ＣＰの初期位置と平均形状ｓ0の特徴点ＣＰの設定位置との相違は、全体としての大きさ、傾き、位置の相違に限られるため、形状モデルにおける形状パラメーターｐiの値はすべてゼロである。
【００６６】
パラメーター更新量ΔＰは、下記の式（３）により算出される。すなわち、パラメーター更新量ΔＰは、アップデートマトリックスＲと差分画像Ｉｅとの積である。
【００６７】
【数３】
2010176314.tif 000005
【００６８】
式（３）におけるアップデートマトリックスＲは、差分画像Ｉｅに基づきパラメーター更新量ΔＰを算出するために予め学習により設定されたＭ行Ｎ列のマトリックスであり、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納されている。本実施例では、アップデートマトリックスＲの行数Ｍは、グローバルパラメーターの数（４個）と形状パラメーターｐiの数（ｎ個）との和（（４＋ｎ）個）に等しく、列数Ｎは、平均顔画像Ａ0（ｘ）（図６）の平均形状領域ＢＳＡ内の画素数（５６画素×５６画素−マスク領域ＭＡの画素数）に等しい。アップデートマトリックスＲは、下記の式（４）および（５）により算出される。
【００６９】
【数４】
2010176314.tif 000006
【数５】
2010176314.tif 000007
【００７０】
補正部２２２（図１）は、算出されたパラメーター更新量ΔＰに基づきパラメーター（４個のグローバルパラメーターおよびｎ個の形状パラメーターｐi）を更新する（ステップＳ４５０）。これにより、注目画像ＯＩにおける特徴点ＣＰの設定位置が補正される。補正部２２２は、差分画像Ｉｅのノルムが小さくなるように補正する。パラメーターの更新の後には、再度、特徴点ＣＰの設置位置が補正された注目画像ＯＩからの平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出（ステップＳ４１０）、差分画像Ｉｅの算出（ステップＳ４２０）、差分画像Ｉｅに基づく収束判定（ステップＳ４３０）が行われる。再度の収束判定においても収束していないと判定された場合には、さらに、差分画像Ｉｅに基づくパラメーター更新量ΔＰの算出（ステップＳ４４０）、パラメーターの更新による特徴点ＣＰの設定位置補正（ステップＳ４５０）が行われる。
【００７１】
図１６のステップＳ４１０からＳ４５０までの処理が繰り返し実行されると、注目画像ＯＩにおける各特徴部位に対応する特徴点ＣＰの位置は実際の特徴部位の位置に全体として近づいていき、ある時点で収束判定（ステップＳ４３０）において収束したと判定される。収束判定において収束したと判定されると、顔特徴位置検出処理が完了する（ステップＳ４６０）。このとき設定されているグローバルパラメーターおよび形状パラメーターｐiの値により特定される特徴点ＣＰの設定位置が、最終的な注目画像ＯＩにおける特徴点ＣＰの設定位置として特定される。
【００７２】
図１７は、顔特徴位置検出処理の結果の一例を示す説明図である。図１７には、注目画像ＯＩにおいて最終的に特定された特徴点ＣＰの設定位置が示されている。特徴点ＣＰの設定位置により、注目画像ＯＩに含まれる顔の特徴部位（人物の顔の器官（眉毛、目、鼻、口）および顔の輪郭における所定位置）の位置が特定されるため、注目画像ＯＩにおける人物の顔の器官の形状・位置や顔の輪郭形状の検出が可能となる。
【００７３】
印刷処理部３２０は、顔の器官の形状・位置や顔の輪郭形状の検出がなされた注目画像ＯＩについての印刷データを生成する。具体的には、印刷処理部３２０は、注目画像ＯＩについて、各画素の画素値をプリンター１００が用いるインクに合わせるための色変換処理や、色変換処理後の画素の階調をドットの分布によって表すためのハーフトーン処理や、ハーフトーン処理された画像データのデータ並びをプリンター１００に転送すべき順序に並び替えるためのラスタライズ処理等を実施して印刷データを生成する。印刷機構１６０は、印刷処理部３２０により生成された印刷データに基づいて、顔の器官の形状・位置や顔の輪郭形状の検出がなされた注目画像ＯＩの印刷をおこなう。なお、印刷処理部３２０は、注目画像ＯＩについての印刷データに限らず、検出された顔の器官の形状・位置や顔の輪郭形状に基づいて、顔変形や、顔の陰影補正など所定の処理が施された画像の印刷データについても生成することができる。また、印刷機構１６０は、印刷処理部３２０により生成された印刷データに基づいて、顔変形や、顔の陰影補正などの処理が施された画像の印刷をおこなうこともできる。
【００７４】
以上説明したように、第１の実施例に係る画像処理装置によれば、特徴点ＣＰ初期位置設定処理において、グローバルパラメーターと、特徴量と、を用いて特徴点ＣＰの初期位置を設定するため、注目画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。
【００７５】
具体的には、本実施例では、４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）と、２つの特徴量（縦振り、横振り）の値をそれぞれ変更させて、種々のメッシュを形成する特徴点ＣＰの仮設定位置を予め複数用意し、ノルムの値が最も小さい差分画像Ｉｅに対応する仮設定位置を初期位置としている。これにより、注目画像ＯＩにおける特徴点ＣＰの初期位置を顔の特徴部位の位置のより近くに設定することができる。よって、特徴点ＣＰ設定位置補正処理において、補正部２２２による補正が容易となるため、顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。
【００７６】
第１の実施例に係る画像処理装置によれば、特徴点ＣＰ初期位置設定処理において、初期位置設定部２１０は、形状パラメーターｐ1および形状パラメーターｐ2の値を種々変更して特徴点ＣＰの初期位置を設定するため、注目画像に含まれる顔の特徴部位の位置を効率的かつ高速に検出することができる。具体的には、形状パラメーターｐ1は、最も顔の特徴に対する寄与率の大きい第１主成分である顔の左右振りにほぼ相関する第１形状ベクトルｓ1の係数である。また、形状パラメーターｐ2は、顔の特徴に対する寄与率が２番目に大きい第２主成分である顔の上下振りにほぼ相関する第２形状ベクトルｓ2の係数である。そのため、形状パラメーターｐ1および形状パラメーターｐ2の値を種々変更することにより、種々の顔の特徴に対応する特徴点ＣＰの設定位置を設定することができる。これにより、注目画像ＯＩにおける特徴点ＣＰの初期位置を顔の特徴部位の位置のより近くに設定することができる。
【００７７】
第１の実施例に係るプリンター１００によれば、顔の器官の形状・位置や顔の輪郭形状の検出がなされた注目画像ＯＩについての印刷をおこなうことができる。これにより、特定の表情（例えば笑顔や目を閉じた顔）の顔画像を検出するための表情判定や、特定の向き（例えば右向きや下向き）の顔画像を検出するための顔向き判定をおこなった後に、判定結果に基づいて任意の画像を選択して印刷をおこなうことができる。また、検出された顔の器官の形状・位置や顔の輪郭形状に基づいて、顔変形や、顔の陰影補正など所定の処理が施された画像の印刷をおこなうことができる。これにより、特定の顔画像について、顔変形や、顔の陰影補正等をおこなった後に印刷をおこなうことができる。
【００７８】
Ｂ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【００７９】
Ｂ１．変形例１：
本実施例における初期位置設定部２１０は、グローバルパラメーターの値を種々変更して設定される仮設定位置のうち、各差分画像Ｉｅのノルムが最も小さい基準仮初期位置を特定し、基準仮初期位置の特徴量を種々変更することにより仮初期位置を設定しているが、
図１３（ａ）に示す基準仮設定位置以外の８つの仮設定位置のそれぞれにおけるメッシュに対して図１３（ｂ）に示す上下左右の並行移動、および、図１４に示す縦振り横振りが実行された仮設定位置を設定し、合計７２９通り（＝３×３×３×３×３×３）の仮設定位置から初期位置を設定してもよい。この場合であっても、注目画像ＯＩにおける特徴点ＣＰの初期位置を顔の特徴部位の位置のより近くに設定することができ、顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。
【００８０】
Ｂ２．変形例２：
本実施例では、特徴点ＣＰ初期位置設定処理において、４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）のそれぞれについての３段階の値の組み合わせに対応する合計８０種類（＝３×３×３×３−１）の仮設定位置が予め設定されているが、仮設定位置の設定に用いるパラメーターの種類および数やパラメーター値の段階数は変更可能である。例えば、４つのグローバルパラメーターの内の一部のみが仮設定位置の設定に用いられるとしてもよいし、用いられるパラメーターのそれぞれについて、５段階の値の組み合わせにより仮設置位置が設定されるものとしてもよい。
【００８１】
Ｂ３．変形例３：
本実施例では、特徴点ＣＰ初期位置設定処理において、寄与率の高い順から２つの主成分に対応する形状パラメーターｐ1およびｐ2の３段階の値の組み合わせにより仮初期位置が設定されているが、用いられる形状パラメーターｐiの数やパラメーター値の段階数は変更可能である。例えば、最も寄与率の大きい１つの主成分に対応する形状パラメーターｐiのみが用いられてもよいし、寄与率の大きい方から３つ以上の主成分に対応する形状パラメーターｐiが用いられてもよい。また、例えば、パラメーター値の段階数は５段階であるとしてもよい。
【００８２】
Ｂ４．変形例４：
本実施例の特徴点ＣＰ設定位置補正処理では、注目画像ＯＩに基づき平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出することにより注目画像ＯＩの特徴点ＣＰの設置位置を平均顔画像Ａ0（ｘ）の特徴点ＣＰの設置位置に整合させているが、平均顔画像Ａ0（ｘ）に対して画像変換を行うことにより両者の特徴点ＣＰの配置を整合させるものとしてもよい。
【００８３】
Ｂ５．変形例５：
本実施例におけるサンプル画像ＳＩ（図３）はあくまで一例であり、サンプル画像ＳＩとして採用する画像の数、種類は任意に設定可能である。また、本実施例において、特徴点ＣＰの位置で示される顔の所定の特徴部位（図４参照）はあくまで一例であり、実施例において設定されている特徴部位の一部を省略したり、特徴部位として他の部位を採用したりしてもよい。
【００８４】
また、本実施例では、サンプル画像ＳＩｗの画素群ｘのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析によってテクスチャーモデルが設定されているが、顔画像のテクスチャー（見え）を表す輝度値以外の指標値（例えばＲＧＢ値）に対する主成分分析によってテクスチャーモデルが設定されるものとしてもよい。
【００８５】
また、本実施例において、平均顔画像Ａ0（ｘ）のサイズは５６画素×５６画素に限られず他のサイズであってもよい。また、平均顔画像Ａ0（ｘ）は、マスク領域ＭＡ（図８）を含む必要はなく、平均形状領域ＢＳＡのみによって構成されるとしてもよい。また、平均顔画像Ａ0（ｘ）の代わりに、サンプル画像ＳＩの統計的分析に基づき設定される他の基準顔画像が用いられるとしてもよい。
【００８６】
また、本実施例では、ＡＡＭを用いた形状モデルおよびテクスチャーモデルの設定が行われているが、他のモデル化手法（例えばＭｏｒｐｈａｂｌｅ  Ｍｏｄｅｌと呼ばれる手法やＡｃｔｉｖｅ  Ｂｌｏｂと呼ばれる手法）を用いて形状モデルおよびテクスチャーモデルの設定が行われるとしてもよい。
【００８７】
また、本実施例では、メモリーカードＭＣに格納された画像が注目画像ＯＩに設定されているが、注目画像ＯＩは例えばネットワークを介して取得された画像であってもよい。
【００８８】
また、本実施例では、画像処理装置としてのプリンター１００による画像処理を説明したが、処理の一部または全部がパーソナルコンピューターやデジタルスチルカメラ、デジタルビデオカメラ等の他の種類の画像処理装置により実行されるものとしてもよい。また、プリンター１００はインクジェットプリンターに限らず、他の方式のプリンター、例えばレーザプリンターや昇華型プリンターであるとしてもよい。
【００８９】
本実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。
【００９０】
また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。
【図面の簡単な説明】
【００９１】
【図１】本発明の第１実施例における画像処理装置としてのプリンター１００の構成を概略的に示す説明図である。
【図２】第１実施例におけるＡＡＭ設定処理の流れを示すフローチャートである。
【図３】サンプル画像ＳＩの一例を示す説明図である。
【図４】サンプル画像ＳＩにおける特徴点ＣＰの設定方法の一例を示す説明図である。
【図５】サンプル画像ＳＩに設定された特徴点ＣＰの座標の一例を示す説明図である。
【図６】平均形状ｓ0の一例を示す説明図である。
【図７】形状ベクトルｓiおよび形状パラメーターｐiと顔の形状ｓとの関係を例示した説明図である。
【図８】サンプル画像ＳＩのワープＷの方法の一例を示す説明図である。
【図９】平均顔画像Ａ0（ｘ）の一例を示す説明図である。
【図１０】第１実施例における顔特徴位置検出処理の流れを示すフローチャートである。
【図１１】注目画像ＯＩにおける顔領域ＦＡの検出結果の一例を示す説明図である。
【図１２】第１実施例における特徴点ＣＰの初期位置設定処理の流れを示すフローチャートである。
【図１３】グローバルパラメーターの値を変更することによる特徴点ＣＰの仮設定位置の一例を示す説明図である。
【図１４】平均形状画像Ｉ（Ｗ（ｘ；ｐ））の一例を示す説明図である。
【図１５】特徴量の値を変更することによる特徴点ＣＰの仮初期位置の一例を示す説明図である。
【図１６】第１実施例における特徴点ＣＰ設定位置補正処理の流れを示すフローチャートである。
【図１７】顔特徴位置検出処理の結果の一例を示す説明図である。
【符号の説明】
【００９２】
１００…プリンター
１１０…ＣＰＵ
１２０…内部メモリー
１４０…操作部
１５０…表示部
１６０…印刷機構
１７０…カードインターフェース
１７２…カードスロット
２００…画像処理部
２１０…初期位置設定部
２１２…生成部
２１４…算出部
２２０…特徴位置検出部
２２２…補正部
２３０…顔領域検出部
３１０…表示処理部
３２０…印刷処理部
【図１】
2010176314.tif 000008
【図２】
2010176314.tif 000009
【図３】
2010176314.tif 000010
【図４】
2010176314.tif 000011
【図５】
2010176314.tif 000012
【図６】
2010176314.tif 000013
【図７】
2010176314.tif 000014
【図８】
2010176314.tif 000015
【図９】
2010176314.tif 000016
【図１０】
2010176314.tif 000017
【図１１】
2010176314.tif 000018
【図１２】
2010176314.tif 000019
【図１３】
2010176314.tif 000020
【図１４】
2010176314.tif 000021
【図１５】
2010176314.tif 000022
【図１６】
2010176314.tif 000023
【図１７】
2010176314.tif 000024