(57)【要約】【課題】本発明は、画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることを目的とする。【解決手段】注目画像に含まれる顔の特徴部位の座標位置を検出する画像処理装置は、注目画像から顔画像の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出部と、顔領域に基づいて、注目画像に対して特徴部位の座標位置を検出するための特徴点を設定する設定部と、特徴部位の座標位置が既知の顔画像を含む複数のサンプル画像に基づいて算出される複数の特徴量から、特徴点の設定位置を補正するために用いる特徴量を選択する選択部と、選択された特徴量を用いて、特徴点の設定位置を特徴部位の座標位置に近づけるように補正し、補正された前記設定位置を前記座標位置として検出する特徴位置検出部と、を備える。【選択図】図１
2010182150.tif 000002
【特許請求の範囲】
【請求項１】
注目画像に含まれる顔の特徴部位の座標位置を検出する画像処理装置であって、
前記注目画像から顔画像の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出部と、
前記顔領域に基づいて、前記注目画像に対して前記特徴部位の座標位置を検出するための特徴点を設定する設定部と、
前記特徴部位の座標位置が既知の顔画像を含む複数のサンプル画像に基づいて算出される複数の特徴量から、前記特徴点の設定位置を補正するために用いる特徴量を選択する選択部と、
選択された前記特徴量を用いて、前記特徴点の設定位置を前記特徴部位の座標位置に近づけるように補正し、補正された前記設定位置を前記座標位置として検出する特徴位置検出部と、を備える画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記選択部は、検出の用途もしくは目的に関する情報を含む検出モード情報に基づいて前記特徴量を選択する画像処理装置。
【請求項３】
請求項２に記載の画像処理装置はさらに、
前記検出モード情報を入力するための入力部を備える画像処理装置。
【請求項４】
請求項１ないし請求項３のいずれかに記載の画像処理装置において、
前記特徴量は、前記複数のサンプル画像に含まれる前記特徴部位の座標ベクトルを主成分分析して得られる形状ベクトルの係数であり、
前記選択部は、前記主成分分析により得られる複数の前記係数から、前記特徴点の設定位置を補正するために用いる特徴量を選択する画像処理装置。
【請求項５】
請求項１ないし請求項４のいずれかに記載の画像処理装置において、
前記特徴位置検出部は、少なくとも顔画像の横方向の顔向きを表す特徴量を用いて、前記特徴点の設定位置を補正する画像処理装置。
【請求項６】
請求項１ないし請求項５のいずれかに記載の画像処理装置において、
前記特徴位置検出部は、少なくとも顔画像の縦方向の顔向きを表す特徴量を用いて、前記特徴点の設定位置を補正する画像処理装置。
【請求項７】
請求項１ないし請求項６のいずれかに記載の画像処理装置において、
前記設定部は、顔領域に対する顔画像の大きさ、角度、位置に関する少なくとも１以上のパラメーターを用いて、前記特徴点を設定する画像処理装置。
【請求項８】
請求項１ないし請求項７のいずれかに記載の画像処理装置において、
前記特徴位置検出部は、
前記注目画像に設定された前記特徴点に基づいて、前記注目画像の一部を変換した画像である平均形状画像を生成する生成部と、
前記平均形状画像と、前記複数のサンプル画像に基づいて生成された画像である平均顔画像と、の差分値を算出する算出部と、
算出された前記差分値に基づいて、前記差分値が小さくなるように前記設定位置を補正する補正部と、を備えるとともに、
前記差分値が所定となる前記設定位置を前記座標位置として検出する画像処理装置。
【請求項９】
請求項１ないし請求項８のいずれかに記載の画像処理装置において、
前記特徴部位は、眉毛と目と鼻と口とフェイスラインとの一部である画像処理装置。
【請求項１０】
注目画像に含まれる顔の特徴部位の座標位置を検出するプリンターであって、
前記注目画像から顔画像の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出部と、
前記顔領域に基づいて、前記注目画像に対して前記特徴部位の座標位置を検出するための特徴点を設定する設定部と、
前記特徴部位の座標位置が既知の顔画像を含む複数のサンプル画像に基づいて算出される複数の特徴量から、前記特徴点の設定位置を補正するために用いる特徴量を選択する選択部と、
選択された前記特徴量を用いて、前記特徴点の設定位置を前記特徴部位の座標位置に近づけるように補正し、補正された前記設定位置を前記座標位置として検出する特徴位置検出部と、
前記座標位置が検出された前記注目画像を印刷するための印刷部と、を備えるプリンター。
【請求項１１】
注目画像に含まれる顔の特徴部位の座標位置を検出する画像処理方法であって、
前記注目画像から顔画像の少なくとも一部を含む画像領域を顔領域として検出する工程と、
前記前記顔領域に基づいて、前記注目画像に対して前記特徴部位の座標位置を検出するための特徴点を設定する工程と、
特徴部位の座標位置が既知の顔画像を含む複数のサンプル画像に基づいて算出される複数の特徴量から、前記特徴点の設定位置を補正するために用いる特徴量を選択する工程と、
選択された前記特徴量を用いて、前記特徴点の設定位置を前記特徴部位の座標位置に近づけるように補正し、補正された前記設定位置を前記座標位置として検出する工程と、を備える画像処理方法。
【請求項１２】
注目画像に含まれる顔の特徴部位の座標位置を検出する画像処理のためのコンピュータープログラムであって、
前記注目画像から顔画像の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出機能と、
前記顔領域に基づいて、前記注目画像に対して前記特徴部位の座標位置を検出するための特徴点を設定する設定機能と、
前記特徴部位の座標位置が既知の顔画像を含む複数のサンプル画像に基づいて算出される複数の特徴量から、前記特徴点の設定位置を補正するために用いる特徴量を選択する選択機能と、
選択された前記特徴量を用いて、前記特徴点の設定位置を前記特徴部位の座標位置に近づけるように補正し、補正された前記設定位置を前記座標位置として検出する特徴位置検出機能と、をコンピューターに実現させるコンピュータープログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、注目画像に含まれる顔の特徴部位の座標位置を検出する画像処理装置に関する。
【背景技術】
【０００２】
視覚的事象のモデル化手法として、アクティブアピアランスモデル（Ａｃｔｉｖｅ  Ａｐｐｅａｒａｎｃｅ  Ｍｏｄｅｌ、略して「ＡＡＭ」とも呼ばれる）が知られている。ＡＡＭでは、例えば、複数のサンプル画像に含まれる顔の特徴部位（例えば目尻や鼻頭やフェイスライン）の位置（座標）や画素値（例えば輝度値）の統計的分析を通じて、上記特徴部位の位置により特定される顔の形状を表す形状モデルや、平均的な形状における「見え（Ａｐｐｅａｒａｎｃｅ）」を表すテクスチャーモデルが設定され、これらのモデルを用いて顔画像がモデル化される。ＡＡＭによれば、任意の顔画像のモデル化（合成）が可能であり、また、画像に含まれる顔の特徴部位の位置の検出が可能である（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１４１１０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記従来の技術には、画像に含まれる顔の特徴部位の位置の検出に関して、さらなる効率化・高速化の余地があった。
【０００５】
なお、このような問題は、ＡＡＭを利用する場合に限らず、画像に含まれる顔の特徴部位の位置を検出する画像処理に共通の問題であった。
【０００６】
本発明は、上記の課題を解決するためになされたものであり、画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることを目的とする。
【課題を解決するための手段】
【０００７】
上記課題の少なくとも一部を解決するために本願発明は以下の態様を採る。
【０００８】
第１の態様は、注目画像に含まれる顔の特徴部位の座標位置を検出する画像処理装置を提供する。本発明の第１の態様に係る画像処理装置は、前記注目画像から顔画像の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出部と、前記顔領域に基づいて、前記注目画像に対して前記特徴部位の座標位置を検出するための特徴点を設定する設定部と、前記特徴部位の座標位置が既知の顔画像を含む複数のサンプル画像に基づいて算出される複数の特徴量から、前記特徴点の設定位置を補正するために用いる特徴量を選択する選択部と、選択された前記特徴量を用いて、前記特徴点の設定位置を前記特徴部位の座標位置に近づけるように補正し、補正された前記設定位置を前記座標位置として検出する特徴位置検出部と、を備える。
【０００９】
第１の態様に係る画像処理装置によれば、選択部により選択された特徴量を用いて、注目画像に設定された特徴点の設定位置を特徴部位の座標位置に近づけるように補正するため、設定位置の補正を良好におこなうことができる。これにより、注目画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。
【００１０】
第１の態様に係る画像処理装置において、前記選択部は、検出の用途もしくは目的に関する情報を含む検出モード情報に基づいて前記特徴量を選択してもよい。この場合、検出モード情報に基づいて選択された特徴量を用いて特徴点の設定位置を補正するため、注目画像に含まれる顔の特徴部位の位置を効率的かつ高速に検出することができる。
【００１１】
第１の態様に係る画像処理装置はさらに、前記検出モード情報を入力する入力部を備えていてもよい。この場合、入力部により入力された検出モード情報を用いて特徴量を選択するため、注目画像に含まれる顔の特徴部位の位置を効率的かつ高速に検出することができる。
【００１２】
第１の態様に係る画像処理装置において、前記特徴量は、前記複数のサンプル画像に含まれる前記特徴部位の座標ベクトルを主成分分析して得られる形状ベクトルの係数であり、前記選択部は、前記主成分分析により得られる複数の前記係数から、前記特徴点の設定位置を補正するために用いる特徴量を選択してもよい。この場合、選択された形状ベクトルの係数を用いて特徴点の設定位置を補正するため、注目画像に含まれる顔の特徴部位の位置を良好に検出することができる。
【００１３】
第１の態様に係る画像処理装置において、前記特徴位置検出部は、少なくとも顔画像の横方向の顔向きを表す特徴量を用いて、前記特徴点の設定位置を補正してもよい。この場合、特徴点の設定位置の補正に、顔画像の横方向の顔向きを表す特徴量を用いることで、注目画像に含まれる顔の特徴部位の位置を効率的かつ高速に検出することができる。
【００１４】
第１の態様に係る画像処理装置において、前記特徴位置検出部は、するなくとも顔画像の縦方向の顔向きを表す特徴量を用いて、前記特徴点の設定位置を補正してもよい。この場合、特徴点の設定位置の補正に、顔画像の縦方向の顔向きを表す特徴量を用いることで、注目画像に含まれる顔の特徴部位の位置を効率的かつ高速に検出することができる。
【００１５】
第１の態様に係る画像処理装置において、前記設定部は、顔領域に対する顔画像の大きさ、角度、位置に関する少なくとも１以上のパラメーターを用いて、前記特徴点を設定してもよい。この場合、顔領域に対する顔画像の大きさ、角度、位置に関する少なくとも１以上のパラメーターを用いることにより特徴点を良好に設定することができる。これにより、注目画像に含まれる顔の特徴部位の位置を良好に検出することができる。
【００１６】
第１の態様に係る画像処理装置において、前記特徴位置検出部は、前記注目画像に設定された前記特徴点に基づいて、前記注目画像の一部を変換した画像である平均形状画像を生成する生成部と、前記平均形状画像と、前記複数のサンプル画像に基づいて生成された画像である平均顔画像と、の差分値を算出する算出部と、算出された前記差分値に基づいて、前記差分値が小さくなるように前記設定位置を補正する補正部と、を備えるとともに、前記差分値が所定となる前記設定位置を前記座標位置として検出してもよい。この場合、平均形状画像と平均顔画像との差分値に基づいて設定位置を補正して、特徴部位の座標位置を検出するため、注目画像に含まれる顔の特徴部位の位置を良好に検出することができる。
【００１７】
第１の態様に係る画像処理装置において、前記特徴部位は、眉毛と目と鼻と口とフェイスラインとの一部であってもよい。この場合、眉毛と目と鼻と口とフェイスラインと一部について良好に座標位置を検出することができる。
【００１８】
なお、本発明は、種々の態様で実現することが可能であり、例えば、プリンター、デジタルスチルカメラ、パーソナルコンピューター、デジタルビデオカメラ等で実現することができる。また、画像処理方法および装置、特徴部位の位置検出方法および装置、表情判定方法および装置、これらの方法または装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１実施例における画像処理装置としてのプリンター１００の構成を概略的に示す説明図である。
【図２】第１実施例におけるＡＡＭ設定処理の流れを示すフローチャートである。
【図３】サンプル画像ＳＩの一例を示す説明図である。
【図４】サンプル画像ＳＩにおける特徴点ＣＰの設定方法の一例を示す説明図である。
【図５】サンプル画像ＳＩに設定された特徴点ＣＰの座標の一例を示す説明図である。
【図６】平均形状ｓ0の一例を示す説明図である。
【図７】形状ベクトルｓiおよび形状パラメーターｐiと顔の形状ｓとの関係を例示した説明図である。
【図８】サンプル画像ＳＩのワープＷの方法の一例を示す説明図である。
【図９】平均顔画像Ａ0（ｘ）の一例を示す説明図である。
【図１０】第１実施例における顔特徴位置検出処理の流れを示すフローチャートである。
【図１１】注目画像ＯＩにおける顔領域ＦＡの検出結果の一例を示す説明図である。
【図１２】第１実施例における特徴点ＣＰの初期位置設定処理の流れを示すフローチャートである。
【図１３】グローバルパラメーターの値を変更することによる特徴点ＣＰの仮設定位置の一例を示す説明図である。
【図１４】平均形状画像Ｉ（Ｗ（ｘ；ｐ））の一例を示す説明図である。
【図１５】第１実施例における特徴点ＣＰ設定位置補正処理の流れを示すフローチャートである。
【図１６】選択部による特徴量の選択を説明するための説明図である。
【図１７】顔特徴位置検出処理の結果の一例を示す説明図である。
【図１８】第２実施例における特徴点ＣＰの初期配置決定処理の流れを示すフローチャートである。
【図１９】特徴量の値を変更することによる特徴点ＣＰの仮初期位置の一例を示す説明図である。
【発明を実施するための形態】
【００２０】
以下、本発明に係る画像処理装置の一態様であるプリンターについて、図面を参照しつつ、実施例に基づいて説明する。
【００２１】
Ａ．第１実施例：
Ａ１．画像処理装置の構成：
図１は、本発明の第１実施例における画像処理装置としてのプリンター１００の構成を概略的に示す説明図である。本実施例のプリンター１００は、メモリーカードＭＣ等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したインクジェット式カラープリンターである。プリンター１００は、プリンター１００の各部を制御するＣＰＵ１１０と、ＲＯＭやＲＡＭによって構成された内部メモリー１２０と、ボタンやタッチパネルにより構成された操作部１４０と、液晶ディスプレイにより構成された表示部１５０と、印刷機構１６０と、カードインターフェース（カードＩ／Ｆ）１７０と、を備えている。プリンター１００は、さらに、他の機器（例えばデジタルスチルカメラやパーソナルコンピューター）とのデータ通信を行うためのインターフェースを備えていてもよい。プリンター１００の各構成要素は、バスを介して双方向通信可能に接続されている。
【００２２】
印刷機構１６０は、印刷データに基づき印刷を行う。カードインターフェース１７０は、カードスロット１７２に挿入されたメモリーカードＭＣとの間でデータのやり取りを行うためのインターフェースである。なお、本実施例では、メモリーカードＭＣに画像データを含む画像ファイルが格納されている。
【００２３】
内部メモリー１２０には、画像処理部２００と、表示処理部３１０と、印刷処理部３２０と、が格納されている。画像処理部２００は、コンピュータープログラムであり、所定のオペレーティングシステムの下で、ＣＰＵ１１０により実行されることで顔特徴位置検出処理をおこなう。顔特徴位置検出処理は、顔画像における所定の特徴部位（例えば目尻や鼻頭やフェイスライン）の位置を検出する処理である。顔特徴位置検出処理については、後に詳述する。表示処理部３１０、および、印刷処理部３２０についてもＣＰＵ１１０により実行されることでぞれぞれの機能を実現する。
【００２４】
画像処理部２００は、プログラムモジュールとして、設定部２１０と、特徴位置検出部２２０と、顔領域検出部２３０と、選択部２４０と、を含んでいる。特徴位置検出部２２０は、生成部２２２と、算出部２２４と、補正部２２６と、を含んでいる。これら各部の機能については、後述の顔特徴位置検出処理の説明において詳述する。
【００２５】
表示処理部３１０は、表示部１５０を制御して、表示部１５０上に処理メニューやメッセージ、画像等を表示させるディスプレイドライバである。印刷処理部３２０は、画像データから印刷データを生成し、印刷機構１６０を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータープログラムである。ＣＰＵ１１０は、内部メモリー１２０から、これらのプログラム（画像処理部２００、表示処理部３１０、印刷処理部３２０）を読み出して実行することにより、これら各部の機能を実現する。
【００２６】
内部メモリー１２０には、また、ＡＡＭ情報ＡＭＩが格納されている。ＡＡＭ情報ＡＭＩは、後述のＡＡＭ設定処理によって予め設定される情報であり、後述の顔特徴位置検出処理において参照される。ＡＡＭ情報ＡＭＩの内容については、後述のＡＡＭ設定処理の説明において詳述する。
【００２７】
Ａ２．ＡＡＭ設定処理：
図２は、第１実施例におけるＡＡＭ設定処理の流れを示すフローチャートである。ＡＡＭ設定処理は、ＡＡＭ（アクティブアピアランスモデル（Ａｃｔｉｖｅ  Ａｐｐｅａｒａｎｃｅ  Ｍｏｄｅｌ））と呼ばれる画像のモデル化に用いられる形状モデルおよびテクスチャーモデルを設定する処理である。本実施例において、ＡＡＭ設定処理は、ユーザによりおこなわれる。
【００２８】
はじめに、ユーザは、人物の顔を含んだ複数の画像をサンプル画像ＳＩとして用意する（ステップＳ１１０）。図３は、サンプル画像ＳＩの一例を示す説明図である。図３に示すように、サンプル画像ＳＩは、個性、人種・性別、表情（怒り、笑い、困り、驚き等）、向き（正面向き、上向き、下向き、右向き、左向き等）といった種々の属性に関して互いに相違する顔画像が含まれるように用意される。サンプル画像ＳＩがそのように用意されれば、ＡＡＭによってあらゆる顔画像を精度良くモデル化することが可能となり、あらゆる顔画像を対象とした精度の良い顔特徴位置検出処理（後述）の実行が可能となる。なお、サンプル画像ＳＩは、学習用画像とも呼ばれる。
【００２９】
それぞれのサンプル画像ＳＩに含まれる顔画像に、特徴点ＣＰを設定する（ステップＳ１２０）。図４は、サンプル画像ＳＩにおける特徴点ＣＰの設定方法の一例を示す説明図である。特徴点ＣＰは、顔画像における所定の特徴部位の位置を示す点である。本実施例では、所定の特徴部位として、人物の顔における眉毛上の所定位置（例えば端点や４分割点等、以下同じ）、目の輪郭上の所定位置、鼻筋および小鼻の輪郭上の所定位置、上下唇の輪郭上の所定位置、顔の輪郭（フェイスライン）上の所定位置といった６８箇所の部位が設定されている。すなわち、本実施例では、人物の顔に共通して含まれる顔の器官（眉毛、目、鼻、口）および顔の輪郭における所定位置を、特徴部位として設定する。図４に示すように、特徴点ＣＰは、各サンプル画像ＳＩにおいてオペレーターにより指定された６８個の特徴部位を表す位置に設定（配置）される。このように設定された各特徴点ＣＰは各特徴部位に対応しているため、顔画像における特徴点ＣＰの配置は顔の形状を特定していると表現することができる。
【００３０】
サンプル画像ＳＩにおける特徴点ＣＰの位置は、座標により特定される。図５は、サンプル画像ＳＩに設定された特徴点ＣＰの座標の一例を示す説明図である。図５において、ＳＩ（ｊ）（ｊ＝１，２，３・・・）は各サンプル画像ＳＩを示しており、ＣＰ（ｋ）（ｋ＝０，１，・・・，６７）は各特徴点ＣＰを示している。また、ＣＰ（ｋ）−Ｘは、特徴点ＣＰ（ｋ）のＸ座標を示しており、ＣＰ（ｋ）−Ｙは、特徴点ＣＰ（ｋ）のＹ座標を示している。特徴点ＣＰの座標としては、顔の大きさと顔の傾き（画像面内の傾き）と顔のＸ方向およびＹ方向の位置とのそれぞれについて正規化されたサンプル画像ＳＩにおける所定の基準点（例えば画像の左下の点）を原点とした座標が用いられる。また、本実施例では、１つのサンプル画像ＳＩに複数の人物の顔画像が含まれる場合が許容されており（例えばサンプル画像ＳＩ（２）には２人の顔画像が含まれている）、１つのサンプル画像ＳＩにおける各人物は人物ＩＤによって特定される。
【００３１】
つづいて、ユーザは、ＡＡＭの形状モデルの設定をおこなう（ステップＳ１３０）。具体的には、各サンプル画像ＳＩにおける６８個の特徴点ＣＰの座標（Ｘ座標およびＹ座標）により構成される座標ベクトル（図５参照）に対する主成分分析をおこない、特徴点ＣＰの位置により特定される顔の形状ｓが下記の式（１）によりモデル化する。なお、形状モデルは、特徴点ＣＰの配置モデルとも呼ぶ。
【００３２】
【数１】
2010182150.tif 000003
【００３３】
上記式（１）において、ｓ0は平均形状である。図６は、平均形状ｓ0の一例を示す説明図である。図６（ａ）および（ｂ）に示すように、平均形状ｓ0は、サンプル画像ＳＩの各特徴点ＣＰについての平均位置（平均座標）により特定される平均的な顔の形状を表すモデルである。なお、本実施例では、平均形状ｓ0において、外周に位置する特徴点ＣＰ（フェイスラインおよび眉毛、眉間に対応する特徴点ＣＰ、図４参照）を結ぶ直線により囲まれた領域（図６（ｂ）においてハッチングを付して示す）を「平均形状領域ＢＳＡ」と呼ぶ。平均形状ｓ0においては、図６（ａ）に示すように、特徴点ＣＰを頂点とする複数の三角形領域ＴＡが、平均形状領域ＢＳＡをメッシュ状に分割するように設定される。
【００３４】
形状モデルを表す上記式（１）において、ｓiは形状ベクトルであり、ｐiは形状ベクトルｓiの重みを表す形状パラメーターである。形状ベクトルｓiは、顔の形状ｓの特性を表すベクトルであり、主成分分析により得られる第ｉ主成分に対応する固有ベクトルである。上記式（１）に示すように、本実施例における形状モデルでは、特徴点ＣＰの配置を表す顔形状ｓが、平均形状ｓ0とｎ個の形状ベクトルｓiの線形結合との和としてモデル化される。形状モデルにおいて形状パラメーターｐiを適切に設定することにより、あらゆる画像における顔の形状ｓを再現することが可能である。
【００３５】
図７は、形状ベクトルｓiおよび形状パラメーターｐiと、顔の形状ｓとの関係を例示した説明図である。図７（ａ）に示すように、顔の形状ｓを特定するために、寄与率のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数ｎ（図７ではn＝４）の固有ベクトルが、形状ベクトルｓiとして採用される。形状ベクトルｓiのそれぞれは、図７（ａ）の矢印に示すように、各特徴点ＣＰの移動方向・移動量と対応している。本実施例では、最も寄与率の大きい第１主成分に対応する第１形状ベクトルｓ1は顔の左右振りにほぼ相関するベクトルとなっており、形状パラメーターｐ1を大小することにより、図７（ｂ）に示すように、顔の形状ｓの横方向の顔向きが変化する。２番目に寄与率の大きい第２主成分に対応する第２形状ベクトルｓ2は顔の上下振りにほぼ相関するベクトルとなっており、形状パラメーターｐ2を大小することにより、図７（ｃ）に示すように、顔の形状ｓの縦方向の顔向きが変化する。また、３番目に寄与率の大きい第３主成分に対応する第３形状ベクトルｓ3は顔の形状の縦横比にほぼ相関するベクトルとなっており、４番目に寄与率の大きい第４主成分に対応する第４形状ベクトルｓ4は口の開きの程度にほぼ相関するベクトルとなっている。このように、形状パラメーターの値は、顔の表情や、顔向きなど顔画像の特徴を表す。本実施例における「形状パラメーター」は特許請求の範囲における「特徴量」に該当する。
【００３６】
なお、形状モデル設定ステップ（ステップＳ１３０）において設定された平均形状ｓ0および形状ベクトルｓiは、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納される。
【００３７】
つづいて、ＡＡＭのテクスチャーモデルの設定をおこなう（ステップＳ１４０）。具体的には、まず、各サンプル画像ＳＩに対して、サンプル画像ＳＩにおける特徴点ＣＰの設定位置が平均形状ｓ0における特徴点ＣＰの設定位置と等しくなるように、画像変換（以下、「ワープＷ」とも呼ぶ）を行う。
【００３８】
図８は、サンプル画像ＳＩのワープＷの方法の一例を示す説明図である。各サンプル画像ＳＩにおいては、平均形状ｓ0と同様に、外周に位置する特徴点ＣＰにより囲まれた領域をメッシュ状に分割する複数の三角形領域ＴＡが設定される。ワープＷは、複数の三角形領域ＴＡのそれぞれについてのアフィン変換の集合である。すなわち、ワープＷにおいては、サンプル画像ＳＩにおけるある三角形領域ＴＡの画像は、平均形状ｓ0における対応する三角形領域ＴＡの画像へとアフィン変換される。ワープＷにより、特徴点ＣＰの設定位置が平均形状ｓ0における特徴点ＣＰの設定位置と等しいサンプル画像ＳＩ（以下「サンプル画像ＳＩｗ」と表す）が生成される。
【００３９】
なお、各サンプル画像ＳＩｗは、平均形状領域ＢＳＡ（図８においてハッチングを付して示す）を内包する矩形枠を外周とし、平均形状領域ＢＳＡ以外の領域（以下「マスク領域ＭＡ」とも呼ぶ）がマスクされた画像として生成される。平均形状領域ＢＳＡとマスク領域ＭＡとを併せた画像領域を基準領域ＢＡと呼ぶ。また、各サンプル画像ＳＩｗは、例えば５６画素×５６画素のサイズの画像として正規化される。
【００４０】
次に、各サンプル画像ＳＩｗの画素群ｘのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析が行われ、顔のテクスチャー（「見え」とも呼ぶ）Ａ（ｘ）が下記の式（２）によりモデル化される。なお、画素群ｘは、平均形状領域ＢＳＡに位置する画素の集合である。
【００４１】
【数２】
2010182150.tif 000004
【００４２】
上記式（２）において、Ａ0（ｘ）は平均顔画像である。図９は、平均顔画像Ａ0（ｘ）の一例を示す説明図である。平均顔画像Ａ0（ｘ）は、ワープＷの後のサンプル画像ＳＩｗ（図８参照）の平均の顔が表された画像である。すなわち、平均顔画像Ａ0（ｘ）は、サンプル画像ＳＩｗの平均形状領域ＢＳＡ内の画素群ｘの画素値（輝度値）の平均をとることにより算出される画像である。従って、平均顔画像Ａ0（ｘ）は、平均的な顔の形状における平均的な顔のテクスチャー（見え）を表すモデルである。なお、平均顔画像Ａ0（ｘ）は、サンプル画像ＳＩｗと同様に、平均形状領域ＢＳＡとマスク領域ＭＡとで構成され、例えば５６画素×５６画素のサイズの画像として算出される。
【００４３】
テクスチャーモデルを表す上記式（２）において、Ａi（ｘ）はテクスチャーベクトルであり、λiはテクスチャーベクトルＡi（ｘ）の重みを表すテクスチャーパラメーターである。テクスチャーベクトルＡi（ｘ）は、顔のテクスチャーＡ（ｘ）の特性を表すベクトルであり、具体的には、主成分分析により得られる第ｉ主成分に対応する固有ベクトルである。すなわち、寄与率のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数ｍの固有ベクトルが、テクスチャーベクトルＡi（ｘ）として採用される。本実施例では、最も寄与率の大きい第１主成分に対応する第１テクスチャーベクトルＡ1（ｘ）は、顔色の変化（性別の差とも捉えられる）にほぼ相関するベクトルとなっている。
【００４４】
上記式（２）に示すように、本実施例におけるテクスチャーモデルでは、顔の見えを表す顔のテクスチャーＡ（ｘ）が、平均顔画像Ａ0（ｘ）とｍ個のテクスチャーベクトルＡi（ｘ）の線形結合との和としてモデル化される。テクスチャーモデルにおいてテクスチャーパラメーターλiを適切に設定することにより、あらゆる画像における顔のテクスチャーＡ（ｘ）を再現することが可能である。なお、テクスチャーモデル設定ステップ（図２のステップＳ１４０）において設定された平均顔画像Ａ0（ｘ）およびテクスチャーベクトルＡi（ｘ）は、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納される。
【００４５】
以上説明したＡＡＭ設定処理（図２）により、顔の形状をモデル化する形状モデルと、顔のテクスチャーをモデル化するテクスチャーモデルが設定される。設定された形状モデルとテクスチャーモデルとを組み合わせることにより、すなわち合成されたテクスチャーＡ（ｘ）に対して平均形状ｓ0から形状ｓへの変換（図８に示したワープＷの逆変換）を行うことにより、あらゆる顔画像の形状およびテクスチャーを再現することが可能である。
【００４６】
Ａ３．顔特徴位置検出処理：
図１０は、第１実施例における顔特徴位置検出処理の流れを示すフローチャートである。本実施例における顔特徴位置検出処理は、ＡＡＭを利用して注目画像に含まれる顔画像における特徴点ＣＰの配置を決定することにより、顔画像における特徴部位の位置を検出する処理である。上述したように、本実施例では、ＡＡＭ設定処理（図２）において、人物の顔の器官（眉毛、目、鼻、口）および顔の輪郭における計６８箇所の所定位置が、特徴部位として設定されている（図４参照）。そのため、本実施例の顔特徴位置検出処理では、人物の顔の器官および顔の輪郭における所定位置を示す６８個の特徴点ＣＰの配置が決定される。
【００４７】
なお、顔特徴位置検出処理によって顔画像における特徴点ＣＰの配置が決定されると、顔画像についての形状パラメーターｐiや、テクスチャーパラメーターλiの値が特定される。従って、顔特徴位置検出処理の処理結果は、特定の表情（例えば笑顔や目を閉じた顔）の顔画像を検出するための表情判定や、特定の向き（例えば右向きや下向き）の顔画像を検出するための顔向き判定、顔の形状を変形する顔変形、顔の陰影補正等に利用可能である。
【００４８】
はじめに、画像処理部２００（図１）は、顔特徴位置検出処理の対象となる注目画像を表す画像データを取得する（ステップＳ２１０）。本実施例のプリンター１００では、カードスロット１７２にメモリーカードＭＣが挿入されると、メモリーカードＭＣに格納された画像ファイルのサムネイル画像が表示部１５０に表示される。処理の対象となる１つまたは複数の画像は、操作部１４０を介してユーザにより選択される。画像処理部２００は、選択された１つまたは複数の画像に対応する画像データを含む画像ファイルをメモリーカードＭＣより取得して内部メモリー１２０の所定の領域に格納する。なお、取得された画像データを注目画像データと呼び、注目画像データの表す画像を注目画像ＯＩと呼ぶものとする。
【００４９】
画像処理部２００（図１）は、検出モード情報を取得する（ステップＳ２２０）。検出モード情報は、検出の用途や目的に応じて、検出の精度や特性を変化させるための情報である。具体的には、検出モード情報は、検出をおこなうにあたり、検出精度より処理速度を重視するのか、反対に検出精度を重視するのかに関する情報や、検出により、顔画像の表情判定、顔画像の顔向き判定、顔画像の変形をおこなうか否かに関する情報を含んでいる。検出モード情報は、表示部１５０の表示内容に基づき、操作部１４０を介してユーザにより入力される。本実施例における「操作部１４０」は、特許請求の範囲における「入力部」に該当する。
【００５０】
顔領域検出部２３０（図１）は、注目画像ＯＩに含まれる顔画像の少なくとも一部を含む画像領域を顔領域ＦＡとして検出する（ステップＳ２３０）。顔領域ＦＡの検出は、公知の顔検出手法を用いて行うことができる。公知の顔検出手法としては、例えば、パターンマッチングによる手法や肌色領域抽出による手法、サンプル画像を用いた学習（例えばニューラルネットワークを用いた学習や、ブースティングを用いた学習、サポートベクターマシーンを用いた学習等）により設定される学習データを用いる手法等がある。
【００５１】
図１１は、注目画像ＯＩにおける顔領域ＦＡの検出結果の一例を示す説明図である。図１１には、注目画像ＯＩにおいて検出された顔領域ＦＡが示されている。本実施例では、おおよそ、顔の上下方向は額から顎まで、左右方向は両耳の外側まで含む矩形の領域が顔領域ＦＡとして検出されるような顔検出手法が用いられている。
【００５２】
設定部２１０（図１）は、注目画像ＯＩにおける特徴点ＣＰの初期位置を設定する（ステップＳ２４０）。図１２は、第１実施例における特徴点ＣＰの初期位置設定処理の流れを示すフローチャートである。本実施例では、設定部２１０は、顔領域ＦＡに対する顔画像の大きさ、傾き、位置（上下方向の位置および左右方向の位置）を表すグローバルパラメーターの値を種々変更して、特徴点ＣＰを注目画像ＯＩ上の仮設定位置に設定する（ステップＳ３１０）。
【００５３】
図１３は、グローバルパラメーターの値を変更することによる特徴点ＣＰの仮設定位置の一例を示す説明図である。図１３（ａ）および図１３（ｂ）には、注目画像ＯＩにおける特徴点ＣＰおよび特徴点ＣＰをつないで形成されるメッシュが示されている。設定部２１０は、図１３（ａ）および図１３（ｂ）の中央に示すように、顔領域ＦＡの中央部に平均形状ｓ0が形成されるような特徴点ＣＰの仮設定位置（以下、「基準仮設定位置」とも呼ぶ）を設定する。
【００５４】
設定部２１０は、また、基準仮設定位置に対して、グローバルパラメーターの値を種々変更させた複数の仮設定位置を設定する。グローバルパラメーター（大きさ、傾き、上下方向の位置および左右方向の位置）を変更することは、注目画像ＯＩにおいて特徴点ＣＰにより形成されるメッシュが拡大・縮小、傾きを変更、並行移動することに相当する。従って、設定部２１０は、図１３（ａ）に示すように、基準仮設定位置のメッシュを所定倍率で拡大または縮小したメッシュを形成するような仮設定位置（基準仮設定位置の図の下および上に示す）や、所定角度だけ時計回りまたは半時計回りに傾きを変更したメッシュを形成するような仮設定位置（基準仮設定位置の図の右および左に示す）を設定する。また、設定部２１０は、基準仮設定位置のメッシュに対して、拡大・縮小および傾きの変更を組み合わせた変換を行ったメッシュを形成するような仮設定位置（基準仮設定位置の図の左上、左下、右上、右下に示す）も設定する。
【００５５】
また、図１３（ｂ）に示すように、設定部２１０は、基準仮設定位置のメッシュを所定量だけ上または下に並行移動したメッシュを形成するような仮設定位置（基準仮設定位置の図の上および下に示す）や、左または右に並行移動したメッシュを形成するような仮設定位置（基準仮設定位置の図の左および右に示す）を設定する。また、設定部２１０は、基準仮設定位置のメッシュに対して、上下および左右の並行移動を組み合わせた変換を行ったメッシュを形成するような仮設定位置（基準仮設定位置の図の左上、左下、右上、右下に示す）も設定する。
【００５６】
設定部２１０は、図１３（ａ）に示す基準仮設定位置以外の８つの仮設定位置のそれぞれにおけるメッシュに対して図１３（ｂ）に示す上下左右の並行移動が実行される仮設定位置も設定する。従って、本実施例では、４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）をそれぞれ既知の３段階の値として組み合わせにより設定される８０通り（＝３×３×３×３−１）の仮設定位置と、基準仮設定位置の合計８１通りの仮設定位置が設定される。
【００５７】
生成部２２２（図１）は、設定された各仮設定位置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））を生成する（ステップＳ３２０）。図１４は、平均形状画像Ｉ（Ｗ（ｘ；ｐ））の一例を示す説明図である。平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、入力画像における特徴点ＣＰの配置が平均形状ｓ0における特徴点ＣＰの配置と等しくなるような変換によって算出される。
【００５８】
平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出するための変換は、サンプル画像ＳＩｗ算出のための変換（図８参照）と同様に、三角形領域ＴＡ毎のアフィン変換の集合であるワープＷにより行われる。具体的には、注目画像ＯＩに配置された特徴点ＣＰ（図１３参照）によって平均形状領域ＢＳＡ（外周に位置する特徴点ＣＰにより囲まれた領域）が特定され、注目画像ＯＩにおける平均形状領域ＢＳＡに対して三角形領域ＴＡ毎のアフィン変換が行われることにより、平均形状画像Ｉ（Ｗ（ｘ；ｐ））が算出される。本実施例では、平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、平均顔画像Ａ0（ｘ）と同様に平均形状領域ＢＳＡおよびマスク領域ＭＡにより構成され、平均顔画像Ａ0（ｘ）と同サイズの画像として算出される。
【００５９】
なお、上述したように、画素群ｘは、平均形状ｓ0における平均形状領域ＢＳＡに位置する画素の集合である。ワープＷ実行後の画像（平均形状ｓ0を有する顔画像）における画素群ｘに対応するワープＷ実行前の画像（注目画像ＯＩの平均形状領域ＢＳＡ）における画素群をＷ（ｘ；ｐ）と表す。平均形状画像は、注目画像ＯＩの平均形状領域ＢＳＡにおける画素群Ｗ（ｘ；ｐ）のそれぞれにおける輝度値により構成される画像であるため、Ｉ（Ｗ（ｘ；ｐ））と表される。図１４には、図１３（ａ）に示した９個の仮設定位置に対応する９個の平均形状画像Ｉ（Ｗ（ｘ；ｐ））を示している。
【００６０】
算出部２２４（図１）は、各仮設定位置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ0（ｘ）との差分画像Ｉｅを算出する（ステップＳ３３０）。特徴点ＣＰの仮設定位置は８１種類設定されているため、算出部２２４（図１）は、８１個の差分画像Ｉｅを算出することとなる。
【００６１】
設定部２１０は、各差分画像Ｉｅの画素値からノルムを算出し、ノルムの値が最も小さい差分画像Ｉｅに対応する仮設置位置（以下「ノルム最小仮設定位置」とも呼ぶ）を、注目画像ＯＩにおける特徴点ＣＰの初期位置として設定する（ステップＳ３４０）。ノルムを算出するための画素値は輝度値であってもよいしＲＧＢ値であってもよい。以上により特徴点ＣＰ初期位置設定処理が完了する。
【００６２】
特徴点ＣＰ初期位置設定処理が完了すると、特徴位置検出部２２０（図１）は、注目画像ＯＩにおける特徴点ＣＰの設定位置の補正を行う（ステップＳ２５０）。図１５は、第１実施例における特徴点ＣＰ設定位置補正処理の流れを示すフローチャートである。
【００６３】
生成部２２２（図１）は、注目画像ＯＩから平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出する（ステップＳ４１０）。平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出方法は、特徴点ＣＰ初期位置設定処理におけるステップＳ３２０と同様である。
【００６４】
特徴位置検出部２２０は、平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ0（ｘ）との差分画像Ｉｅを算出する（ステップＳ４２０）。特徴位置検出部２２０は、差分画像Ｉｅに基づき、特徴点ＣＰの設定位置補正処理が収束したか否かを判定する（ステップＳ４３０）。特徴位置検出部２２０は、差分画像Ｉｅのノルムを算出し、ノルムの値が予め設定された閾値より小さい場合には収束したと判定し、ノルムの値が閾値以上の場合には未だ収束していないと判定する。なお、特徴位置検出部２２０は、算出された差分画像Ｉｅのノルムの値が前回のステップＳ４３０において算出された値よりも小さい場合には収束したと判定し、前回値以上である場合には未だ収束していないと判定するものとしてもよい。あるいは、特徴位置検出部２２０は、閾値による判定と前回値との比較による判定とを組み合わせて収束判定を行うものとしてもよい。例えば、特徴位置検出部２２０は、算出されたノルムの値が、閾値より小さく、かつ、前回値より小さい場合にのみ収束したと判定し、それ以外の場合には未だ収束していないと判定するものとしてもよい。
【００６５】
上記のステップＳ４３０の収束判定において未だ収束していないと判定された場合には、選択部２４０（図１）は、検出モード情報に基づいて、特徴量の選択をおこなう（ステップＳ４４０）。図１６は、選択部による特徴量の選択を説明するための説明図である。選択部２４０（図１）は、後述するように、補正部２２６が特徴点ＣＰの設定位置の補正に用いる形状パラメーターをステップＳ２２０で取得した検出モード情報に基づいて選択する。
【００６６】
具体的には、選択部２４０（図１）は、検出モード情報に検出精度より処理速度を重視する情報が含まれていると、図１６に示すように、最も寄与率の大きい第１主成分の形状パラメーターｐ1と、２番目に寄与率の大きい第２主成分の形状パラメーターｐ2の２つの特徴量を選択する。特徴点ＣＰの設定位置の補正に用いる形状パラメーターの数を減らすことで、処理の高速化を図ることができる。また、寄与率の大きい、第１主成分と第２主成分の形状パラメーターを用いることにより、検出精度の低下を抑制することができる。反対に、選択部２４０（図１）は、検出モード情報に検出精度を重視する情報が含まれていると、累積寄与率に基づき設定されたｎ個すべての形状パラメーターｐiを選択する。これにより、ｎ個すべての形状パラメーターｐiを用いて精度良く検出をおこなうことができる。選択部２４０（図１）により選択される特徴量には、第１主成分と第２主成分の形状パラメーターが含まれる。
【００６７】
また、検出モード情報に顔画像の表情判定、顔画像の顔向き判定が含まれている場合には、選択部２４０（図１）は、顔の表情や顔向きの違いに対する寄与の大きい特徴量の選択をおこなう。具体的は、例えば、笑顔についての表情判定をおこなう場合には、選択部２４０（図１）は、寄与率の大きい形状パラメーターｐ1と形状パラメーターｐ2のほか、口の開きの程度にほぼ相関する第４形状ベクトルｓ4の係数である第４形状パラメーターｐ4や、他に笑顔の程度と関連のある形状パラメーターを選択する。これにより、後述する顔特徴位置検出処理の結果、選択した特徴量の値から笑顔の程度を判別することができる。同様に、目瞑りについての表情判定をおこなう場合には、選択部２４０（図１）は、形状パラメーターｐ1と形状パラメーターｐ2のほかに、目の形状と関連のある形状パラメーターを選択する。これにより、顔画像が目瞑りをしているか否かを判定することができる。
【００６８】
顔画像の顔向き判定をおこなう場合には、選択部２４０（図１）は、少なくとも、顔の横方向の顔向きが変化する形状パラメーターｐ1と、顔の上下方向の顔向きが変化する形状パラメーターｐ2の２つの特徴量を選択する。これにより、それぞれの形状パラメーターの値から縦方向横方向の顔向きの程度を判別することができる。顔画像の変形をおこなう場合には、選択部２４０（図１）は、寄与率の大きい形状パラメーターｐ1と形状パラメーターｐ2のほかに、顔の形状の縦横比にほぼ相関する第３形状ベクトルｓ3の係数である形状パラメーターｐ3や、顔の変形に寄与する形状パラメーターを選択することにより、顔の形状を良好に変形することができる。
【００６９】
補正部２２６（図１）は、パラメーター更新量ΔＰを算出する（ステップＳ４５０）。パラメーター更新量ΔＰは、４個のグローバルパラメーター（全体としての大きさ、傾き、Ｘ方向位置、Ｙ方向位置）、および、ステップＳ４４０において選択部２４０（図１）により選択された特徴量であるｍ個の形状パラメーターの値の変更量を意味している。なお、特徴点ＣＰを初期位置に設定した直後においては、グローバルパラメーターは、特徴点ＣＰ初期位置設定処理（図１２）において決定された値が設定されている。また、このときの特徴点ＣＰの初期位置と平均形状ｓ0の特徴点ＣＰの設定位置との相違は、全体としての大きさ、傾き、位置の相違に限られるため、形状モデルにおける形状パラメーターｐiの値はすべてゼロである。
【００７０】
パラメーター更新量ΔＰは、下記の式（３）により算出される。すなわち、パラメーター更新量ΔＰは、アップデートマトリックスＲと差分画像Ｉｅとの積である。
【００７１】
【数３】
2010182150.tif 000005
【００７２】
式（３）におけるアップデートマトリックスＲは、差分画像Ｉｅに基づきパラメーター更新量ΔＰを算出するために予め学習により設定されたＭ行Ｎ列のマトリックスであり、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納されている。本実施例では、アップデートマトリックスＲの行数Ｍは、グローバルパラメーターの数（４個）と、選択部２４０（図１）により選択された形状パラメーターの数（ｍ個）との和（（４＋ｍ）個）に等しく、列数Ｎは、平均顔画像Ａ0（ｘ）の平均形状領域ＢＳＡ内の画素数（５６画素×５６画素−マスク領域ＭＡの画素数）に等しい。アップデートマトリックスＲは、下記の式（４）および（５）により算出される。
【００７３】
【数４】
2010182150.tif 000006
【数５】
2010182150.tif 000007
【００７４】
補正部２２６（図１）は、算出されたパラメーター更新量ΔＰに基づきパラメーター（４個のグローバルパラメーターおよび選択されたｍ個の形状パラメーター）を更新する（ステップＳ４６０）。これにより、注目画像ＯＩにおける特徴点ＣＰの設定位置が補正される。補正部２２６は、差分画像Ｉｅのノルムが小さくなるように補正する。このとき、選択されたｍ個の形状パラメーター以外の形状パラメーターの値はゼロのままとなる。パラメーターの更新の後には、再度、特徴点ＣＰの設置位置が補正された注目画像ＯＩからの平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出（ステップＳ４１０）、差分画像Ｉｅの算出（ステップＳ４２０）、差分画像Ｉｅに基づく収束判定（ステップＳ４３０）が行われる。再度の収束判定においても収束していないと判定された場合には、さらに、差分画像Ｉｅに基づくパラメーター更新量ΔＰの算出（ステップＳ４５０）、パラメーターの更新による特徴点ＣＰの設定位置補正（ステップＳ４６０）が行われる。
【００７５】
図１５のステップＳ４１０からＳ４６０までの処理が繰り返し実行されると、注目画像ＯＩにおける各特徴部位に対応する特徴点ＣＰの位置は実際の特徴部位の位置に全体として近づいていき、ある時点で収束判定（ステップＳ４３０）において収束したと判定される。収束判定において収束したと判定されると、顔特徴位置検出処理が完了する（ステップＳ４７０）。このとき設定されているグローバルパラメーターおよび形状パラメーターの値により特定される特徴点ＣＰの設定位置が、最終的な注目画像ＯＩにおける特徴点ＣＰの設定位置として特定される。
【００７６】
図１７は、顔特徴位置検出処理の結果の一例を示す説明図である。図１７には、注目画像ＯＩにおいて最終的に特定された特徴点ＣＰの設定位置が示されている。特徴点ＣＰの設定位置により、注目画像ＯＩに含まれる顔の特徴部位（人物の顔の器官（眉毛、目、鼻、口）および顔の輪郭における所定位置）の位置が特定されるため、注目画像ＯＩにおける人物の顔の器官の形状・位置や顔の輪郭形状の検出が可能となる。また、表情判定や顔向き判定をおこなう場合には、顔特徴位置検出処理が完了した際の選択されたｍ個の形状パラメーターの値と、閾値とを比較することで表情や顔向きを判定することができる。また、顔画像の変形をおこなう場合には、顔特徴位置検出処理が完了した際の選択されたｍ個の形状パラメーターの値を変更することにより顔の形状を良好に変形することができる。
【００７７】
印刷処理部３２０は、顔の器官の形状・位置や顔の輪郭形状の検出がなされた注目画像ＯＩについての印刷データを生成する。具体的には、印刷処理部３２０は、注目画像ＯＩについて、各画素の画素値をプリンター１００が用いるインクに合わせるための色変換処理や、色変換処理後の画素の階調をドットの分布によって表すためのハーフトーン処理や、ハーフトーン処理された画像データのデータ並びをプリンター１００に転送すべき順序に並び替えるためのラスタライズ処理等を実施して印刷データを生成する。印刷機構１６０は、印刷処理部３２０により生成された印刷データに基づいて、顔の器官の形状・位置や顔の輪郭形状の検出がなされた注目画像ＯＩの印刷をおこなう。なお、印刷処理部３２０は、注目画像ＯＩについての印刷データに限らず、検出された顔の器官の形状・位置や顔の輪郭形状に基づいて、顔変形や、顔の陰影補正など所定の処理が施された画像の印刷データについても生成することができる。また、印刷機構１６０は、印刷処理部３２０により生成された印刷データに基づいて、顔変形や、顔の陰影補正などの処理が施された画像の印刷をおこなうこともできる。
【００７８】
以上説明したように、第１の実施例に係る画像処理装置によれば、予め設定された複数の特徴量のうち、選択部２４０により選択された特徴量を用いて、注目画像ＯＩに設定された特徴点ＣＰの設定位置を補正するため、注目画像ＯＩに含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。
【００７９】
具体的には、本実施例では、補正部２２６は、４個のグローバルパラメーター（全体としての大きさ、傾き、Ｘ方向位置、Ｙ方向位置）と、選択部２４０により選択された特徴量であるｍ個の形状パラメーターを用いてパラメーター更新量ΔＰを算出する。そのため、４個のグローバルパラメーターと、累積寄与率に基づき設定されたｎ個（ｎ≧ｍ）すべての形状パラメーターを用いてパラメーター更新量ΔＰを算出する場合に比べ、計算量を抑制することができる。これにより、検出処理の高速化を図ることができる。また、パラメーター更新量ΔＰの算出に寄与率の大きい形状パラメーターを用いることで検出精度の低下を抑制して効率的に特徴部位の位置を検出することができる。
【００８０】
第１の実施例に係る画像処理装置によれば、ユーザにより操作部１４０からの入力された検出モード情報に基づいて選択された特徴量を用いて特徴点ＣＰの設定位置を補正するため、注目画像に含まれる顔の特徴部位の位置を効率的かつ高速に検出することができる。具体的には、検出モード情報に基づくことで、ユーザの求める検出の用途や目的に応じた特徴量の選択ができるため、例えば、処理速度を重視する場合には、選択する特徴量の数を減らすことにより処理速度を向上させることができる。また、顔画像の表情判定、顔向き判定、変形をおこなう場合には、これらの目的・用途に寄与する特徴量を用いることで、効率的に特徴部位の位置を検出することができる。
【００８１】
第１の実施例に係る画像処理装置によれば、特徴位置検出部２２０は、顔の横方向の顔向きが変化する形状パラメーターｐ1を用いて特徴点ＣＰの設定位置を補正するため、顔の特徴部位の位置を効率的かつ高速に検出することができる。具体的には、形状パラメーターｐ1は最も寄与率の大きい第１主成分の第１形状ベクトルｓ1の係数であることから、形状パラメーターｐ1の値を変化させることで特徴点ＣＰの設定位置を効果的に特徴部位の位置に補正することができる。そのため、補正に用いる形状パラメーターの数を抑制でき、顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。顔の上下方向の顔向きが変化する形状パラメーターｐ2についても２番目に寄与率の大きい第２主成分の形状パラメーターｐ2の係数であることから、同様に処理の効率化・高速化を図ることができる。
【００８２】
第１の実施例に係る画像処理装置によれば、設定部２１０は、グローバルパラメーター用いて、特徴点ＣＰを設定するため、注目画像ＯＩに含まれる顔の特徴部位の位置を効率的かつ高速に検出することができる。具体的には、４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）の値をそれぞれ変更させて、種々のメッシュを形成する特徴点ＣＰの仮設定位置を予め複数用意し、ノルムの値が最も小さい差分画像Ｉｅに対応する仮設定位置を初期位置としている。これにより、注目画像ＯＩにおける特徴点ＣＰの初期位置を顔の特徴部位の位置のより近くに設定することができる。よって、特徴点ＣＰ設定位置補正処理において、補正部２２６による補正が容易となるため、顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。
【００８３】
第１の実施例に係るプリンター１００によれば、顔の器官の形状・位置や顔の輪郭形状の検出がなされた注目画像ＯＩについての印刷をおこなうことができる。これにより、特定の表情（例えば笑顔や目を閉じた顔）の顔画像を検出するための表情判定や、特定の向き（例えば右向きや下向き）の顔画像を検出するための顔向き判定をおこなった後に、判定結果に基づいて任意の画像を選択して印刷をおこなうことができる。また、検出された顔の器官の形状・位置や顔の輪郭形状に基づいて、顔変形や、顔の陰影補正など所定の処理が施された画像の印刷をおこなうことができる。これにより、特定の顔画像について、顔変形や、顔の陰影補正等をおこなった後に印刷をおこなうことができる。
【００８４】
Ｂ．第２実施例：
図１８は、第２実施例における特徴点ＣＰの初期配置決定処理の流れを示すフローチャートである。特徴点ＣＰ初期位置設定処理において、第１実施例では、設定部２１０は、グローバルパラメーターの値を変更して設定された特徴点ＣＰの仮設定位置から初期位置を決定しているが、第２実施例では、さらに、選択部２４０により選択された形状パラメーターを用いて初期位置を決定する。図１８のステップＳ５１０〜ステップＳ５４０までは、第１実施例における図１２のステップＳ３１０〜ステップＳ３４０と同様であるため、説明を省略する。ただし、第２実施例では、ステップＳ３４０で特定されたノルム最小仮設定位置を「基準仮初期位置」と呼ぶ。
【００８５】
選択部２４０（図１）は、検出モード情報に基づいて、特徴量の選択をおこなう（ステップＳ５５０）。特徴量の選択については、第１実施例と同様であるため、説明を省略する。本実施例では、選択部２４０（図１）は、形状パラメーターｐ1および形状パラメーターｐ2を選択する。
【００８６】
設定部２１０は、基準仮初期位置に対して、形状パラメーターｐ1および形状パラメーターｐ2の値を種々変更した複数の仮初期位置を設定する（ステップＳ５６０）。図１９は、特徴量の値を変更することによる特徴点ＣＰの仮初期位置の一例を示す説明図である。形状パラメーターｐ1および形状パラメーターｐ2の値を変更することは、特徴点ＣＰにより形成されるメッシュが図７（ａ）に示すような縦振り、図７（ｂ）に示すような横振りした仮初期位置が設定されることに相当する。従って、設定部２１０は、図１９に示すように、基準仮初期位置のメッシュを所定角度だけ横振りしたメッシュを形成するような仮初期位置（基準仮初期位置の図の右および左に示す）や、所定角度だけ縦振りしたメッシュを形成するような仮初期位置（基準仮初期位置の図の上および下に示す）を設定する。また、設定部２１０は、基準仮初期位置のメッシュに対して、横振りおよび縦振りを組み合わせたメッシュを形成するような仮初期位置（基準仮初期位置の図の左上、左下、右上、右下に示す）も設定する。
【００８７】
設定部２１０は、図１９に示す基準仮初期位置以外の８つの仮初期位置を設定する。すなわち、２つの特徴量（縦振り、横振り）をそれぞれ既知の３段階の値として組み合わせにより設定される８通り（＝３×３−１）の仮初期位置と、基準仮初期位置の合計９通りの仮初期位置が設定される。
【００８８】
生成部２２２（図１）は、設定された各仮初期位置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））を生成する。また、算出部２２４（図１）は、各仮初期位置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ0（ｘ）との差分画像Ｉｅを算出する。設定部２１０は、各差分画像Ｉｅのノルムを算出し、ノルムの値が最も小さい差分画像Ｉｅに対応する仮初期位置を、注目画像ＯＩにおける特徴点ＣＰの初期位置として設定する（ステップＳ５７０）。以上により第２実施例に係る特徴点ＣＰ初期位置設定処理が完了する。
【００８９】
第２実施例によれば、特徴点ＣＰ初期位置設定処理において、グローバルパラメーターと、選択部２４０により選択された特徴量と、を用いて特徴点ＣＰの初期位置を設定するため、注目画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。具体的には、本実施例では、４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）と、２つの特徴量（縦振り、横振り）の値をそれぞれ変更させて、種々のメッシュを形成する特徴点ＣＰの仮設定位置を予め複数用意し、ノルムの値が最も小さい差分画像Ｉｅに対応する仮設定位置を初期位置としている。これにより、注目画像ＯＩにおける特徴点ＣＰの初期位置を顔の特徴部位の位置のより近くに設定することができる。よって、特徴点ＣＰ設定位置補正処理において、補正部２２６による補正が容易となるため、顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。
【００９０】
Ｃ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【００９１】
Ｃ１．変形例１：
第１実施例では、選択部２４０による特徴量の選択は、特徴位置検出部２２０による差分画像Ｉｅの収束判定（ステップＳ４３０）の後におこなわれているが、選択部２４０による特徴量の選択時期には特に限定はなく、収束判定の前におこなわれてもよい。第２実施例についても同様に、設定部２１０により基準仮初期位置が設定（ステップＳ５４０）
された後に限られず、選択部２４０は、任意の時期に特徴量を選択するものとしてよい。
【００９２】
Ｃ２．変形例２：
本実施例では、検出モード情報は、検出精度より処理速度を重視するのか、反対に検出精度を重視するのかに関する情報と、検出により、顔画像の表情判定、顔画像の顔向き判定、顔画像の変形をおこなうか否かに関する情報を含んでいるとしたが、これら以外の情報を含んでいてもよいし、これらの情報の一部を備えていなくてもよい。また、選択部２４０は、検出モード情報に処理速度を重視する情報が含まれていると、形状パラメーターｐ1と形状パラメーターｐ2の２つの特徴量を選択するとしたが、これ以外の形状パラメーターを選択してもよい。反対に、選択部２４０は、検出モード情報に検出精度を重視する情報が含まれていると、累積寄与率に基づき設定されたｎ個すべての形状パラメーターｐiを選択するとしたが、これらの一部の形状パラメーターを選択しない態様としてもよい。また、顔画像の表情判定、顔画像の顔向き判定、顔画像の顔向き判定、および、顔画像の変形をおこなう場合に選択部２４０が選択する形状パラメーターについては、上述に限られず、任意に設定することができる。
【００９３】
Ｃ３．変形例３：
本実施例では、特徴点ＣＰ初期位置設定処理において、４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）のそれぞれについての３段階の値の組み合わせに対応する合計８０種類（＝３×３×３×３−１）の仮設定位置が予め設定されているが、仮設定位置の設定に用いるパラメーターの種類および数やパラメーター値の段階数は変更可能である。例えば、４つのグローバルパラメーターの内の一部のみが仮設定位置の設定に用いられるとしてもよいし、用いられるパラメーターのそれぞれについて、５段階の値の組み合わせにより仮設置位置が設定されるものとしてもよい。
【００９４】
Ｃ４．変形例４：
本実施例の特徴点ＣＰ設定位置補正処理では、注目画像ＯＩに基づき平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出することにより注目画像ＯＩの特徴点ＣＰの設置位置を平均顔画像Ａ0（ｘ）の特徴点ＣＰの設置位置に整合させているが、平均顔画像Ａ0（ｘ）に対して画像変換を行うことにより両者の特徴点ＣＰの配置を整合させるものとしてもよい。
【００９５】
Ｃ５．変形例５：
本実施例におけるサンプル画像ＳＩ（図３）はあくまで一例であり、サンプル画像ＳＩとして採用する画像の数、種類は任意に設定可能である。また、本実施例において、特徴点ＣＰの位置で示される顔の所定の特徴部位（図４参照）はあくまで一例であり、実施例において設定されている特徴部位の一部を省略したり、特徴部位として他の部位を採用したりしてもよい。
【００９６】
また、本実施例では、サンプル画像ＳＩｗの画素群ｘのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析によってテクスチャーモデルが設定されているが、顔画像のテクスチャー（見え）を表す輝度値以外の指標値（例えばＲＧＢ値）に対する主成分分析によってテクスチャーモデルが設定されるものとしてもよい。
【００９７】
また、本実施例において、平均顔画像Ａ0（ｘ）のサイズは５６画素×５６画素に限られず他のサイズであってもよい。また、平均顔画像Ａ0（ｘ）は、マスク領域ＭＡ（図８）を含む必要はなく、平均形状領域ＢＳＡのみによって構成されるとしてもよい。また、平均顔画像Ａ0（ｘ）の代わりに、サンプル画像ＳＩの統計的分析に基づき設定される他の基準顔画像が用いられるとしてもよい。
【００９８】
また、本実施例では、ＡＡＭを用いた形状モデルおよびテクスチャーモデルの設定が行われているが、他のモデル化手法（例えばＭｏｒｐｈａｂｌｅ  Ｍｏｄｅｌと呼ばれる手法やＡｃｔｉｖｅ  Ｂｌｏｂと呼ばれる手法）を用いて形状モデルおよびテクスチャーモデルの設定が行われるとしてもよい。
【００９９】
また、本実施例では、メモリーカードＭＣに格納された画像が注目画像ＯＩに設定されているが、注目画像ＯＩは例えばネットワークを介して取得された画像であってもよい。また、検出モード情報についても、ネットワークを介して取得されてもよい。
【０１００】
また、本実施例では、画像処理装置としてのプリンター１００による画像処理を説明したが、処理の一部または全部がパーソナルコンピューターやデジタルスチルカメラ、デジタルビデオカメラ等の他の種類の画像処理装置により実行されるものとしてもよい。また、プリンター１００はインクジェットプリンターに限らず、他の方式のプリンター、例えばレーザプリンターや昇華型プリンターであるとしてもよい。
【０１０１】
本実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。
【０１０２】
また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。
【符号の説明】
【０１０３】
１００…プリンター
１１０…ＣＰＵ
１２０…内部メモリー
１４０…操作部
１５０…表示部
１６０…印刷機構
１７０…カードインターフェース
１７２…カードスロット
２００…画像処理部
２１０…設定部
２２０…特徴位置検出部
２２２…生成部
２２４…算出部
２２６…補正部
２３０…顔領域検出部
２４０…選択部
３１０…表示処理部
３２０…印刷処理部
【図１】
2010182150.tif 000008
【図２】
2010182150.tif 000009
【図３】
2010182150.tif 000010
【図４】
2010182150.tif 000011
【図５】
2010182150.tif 000012
【図６】
2010182150.tif 000013
【図７】
2010182150.tif 000014
【図８】
2010182150.tif 000015
【図９】
2010182150.tif 000016
【図１０】
2010182150.tif 000017
【図１１】
2010182150.tif 000018
【図１２】
2010182150.tif 000019
【図１３】
2010182150.tif 000020
【図１４】
2010182150.tif 000021
【図１５】
2010182150.tif 000022
【図１６】
2010182150.tif 000023
【図１７】
2010182150.tif 000024
【図１８】
2010182150.tif 000025
【図１９】
2010182150.tif 000026