(57)【要約】【課題】特定種類の被写体の画像に対応する画像領域を容易に検出することを可能とする。【解決手段】画像処理装置は、検出すべき被写体の種類を設定する検出被写体設定部と、対象画像上に判定対象画像領域を設定する判定対象設定部と、被写体の種類毎に設定された、判定対象画像領域が被写体の種類の画像に対応する画像領域であることの確からしさを表す評価値を算出するための評価用データを記憶する記憶部と、検出すべき被写体の種類に対応する評価用データと判定対象画像領域に対応する画像データとに基づき評価値を算出する評価値算出部と、評価値と判定対象画像領域の位置およびサイズとに基づき被写体領域を設定する領域設定部とを備える。【選択図】図３
2009230473.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置であって、
対象画像から検出すべき被写体の種類を設定する検出被写体設定部と、
前記対象画像上における画像領域である判定対象画像領域を設定する判定対象設定部と、
被写体の種類毎に設定された評価用データであって、前記判定対象画像領域が前記評価用データに対応する被写体の種類の画像に対応する画像領域であることの確からしさを表す評価値を算出するための評価用データを記憶する記憶部と、
前記検出すべき被写体の種類に対応する前記評価用データと前記判定対象画像領域に対応する画像データとに基づき、前記評価値を算出する評価値算出部と、
前記評価値と前記判定対象画像領域の位置およびサイズとに基づき、前記検出すべき被写体の種類に対応する被写体領域を設定する領域設定部と、を備える、画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記検出被写体設定部は、ユーザによる前記検出すべき被写体の種類の指定を取得する指定取得部を含む、画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置であって、
前記評価用データは、前記被写体の種類と前記対象画像面内における被写体の傾きとの組み合わせ毎に設定された、前記判定対象画像領域が当該被写体の種類の当該傾きを有する画像に対応する画像領域であることの確からしさを表す評価値を算出するためのデータである、画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記被写体の種類は、特定の種類の被写体である全体被写体と、前記全体被写体の一部を構成する被写体の種類である部分被写体と、を含み、
前記部分被写体に対応する前記被写体領域の設定は、前記全体被写体に対応する前記被写体領域を前記対象画像として実行される、画像処理装置。
【請求項５】
請求項４に記載の画像処理装置であって、
前記部分被写体に対応する前記評価値の算出に用いられる前記評価用データは、前記全体被写体に対応する前記評価値の算出に用いられた前記評価用データに対応する前記被写体の傾きと同一の傾きに対応する前記評価用データである、画像処理装置。
【請求項６】
請求項４または請求項５に記載の画像処理装置であって、
前記全体被写体は、人物の顔であり、
前記部分被写体は、人物の顔の器官である、画像処理装置。
【請求項７】
請求項６に記載の画像処理装置であって、
前記人物の顔の器官は、右目と左目と口との少なくとも１つである、画像処理装置。
【請求項８】
請求項１ないし請求項７のいずれかに記載の画像処理装置であって、
前記顔領域設定部は、前記評価値に基づき前記判定対象画像領域が前記検出すべき被写体の種類の画像に対応する画像領域であるか否かを判定し、前記検出すべき被写体の種類の画像に対応する画像領域であると判定された前記判定対象画像領域の位置およびサイズに基づき前記被写体領域を設定する、画像処理装置。
【請求項９】
画像処理方法であって、
（ａ）対象画像から検出すべき被写体の種類を設定する工程と、
（ｂ）前記対象画像上における画像領域である判定対象画像領域を設定する工程と、
（ｃ）被写体の種類毎に設定された評価用データであって、前記判定対象画像領域が前記評価用データに対応する被写体の種類の画像に対応する画像領域であることの確からしさを表す評価値を算出するための評価用データを記憶する工程と、
（ｄ）前記検出すべき被写体の種類に対応する前記評価用データと前記判定対象画像領域に対応する画像データとに基づき、前記評価値を算出する工程と、
（ｅ）前記評価値に基づき、前記判定対象画像領域が前記検出すべき被写体の種類の画像に対応する画像領域であるか否かを判定する工程と、
（ｆ）前記検出すべき被写体の種類の画像に対応する画像領域であると判定された前記判定対象画像領域の位置およびサイズに基づき、前記検出すべき被写体の種類に対応する被写体領域を設定する工程と、を備える、画像処理方法。
【請求項１０】
画像処理のためのコンピュータプログラムであって、
対象画像から検出すべき被写体の種類を設定する検出被写体設定機能と、
前記対象画像上における画像領域である判定対象画像領域を設定する判定対象設定機能と、
被写体の種類毎に設定された評価用データであって、前記判定対象画像領域が前記評価用データに対応する被写体の種類の画像に対応する画像領域であることの確からしさを表す評価値を算出するための評価用データを記憶する記憶機能と、
前記検出すべき被写体の種類に対応する前記評価用データと前記判定対象画像領域に対応する画像データとに基づき、前記評価値を算出する評価値算出機能と、
前記評価値に基づき、前記判定対象画像領域が前記検出すべき被写体の種類の画像に対応する画像領域であるか否かを判定する判定機能と、
前記検出すべき被写体の種類の画像に対応する画像領域であると判定された前記判定対象画像領域の位置およびサイズに基づき、前記検出すべき被写体の種類に対応する被写体領域を設定する領域設定機能と、を、コンピュータに実現させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象画像からの特定種類の被写体の画像に対応する画像領域の検出に関する。
【背景技術】
【０００２】
画像データの表す画像中から部分画像を順次切り出し、切り出した部分画像が顔に対応する画像であるか否かを判定することにより、画像中から顔の画像に対応する顔領域を検出する技術が知られている（例えば特許文献１ないし３）。
【０００３】
【特許文献１】特開２００３−２５６８３４号公報
【特許文献２】特開２００３−２８１５３９号公報
【特許文献３】特開２００６−０６５６４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
対象画像からの画像領域の検出においては、顔の画像に対応する顔領域だけではなく、他の種類の被写体の画像に対応する画像領域が容易に検出可能であることが有用である。
【０００５】
本発明は、上記の課題を解決するためになされたものであり、対象画像から特定種類の被写体の画像に対応する画像領域を容易に検出することを可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題の少なくとも一部を解決するために、本発明は、以下の形態または適用例として実現することが可能である。
【０００７】
［適用例１］画像処理装置であって、
対象画像から検出すべき被写体の種類を設定する検出被写体設定部と、
前記対象画像上における画像領域である判定対象画像領域を設定する判定対象設定部と、
被写体の種類毎に設定された評価用データであって、前記判定対象画像領域が前記評価用データに対応する被写体の種類の画像に対応する画像領域であることの確からしさを表す評価値を算出するための評価用データを記憶する記憶部と、
前記検出すべき被写体の種類に対応する前記評価用データと前記判定対象画像領域に対応する画像データとに基づき、前記評価値を算出する評価値算出部と、
前記評価値と前記判定対象画像領域の位置およびサイズとに基づき、前記検出すべき被写体の種類に対応する被写体領域を設定する領域設定部と、を備える、画像処理装置。
【０００８】
この画像処理装置では、対象画像から検出すべき被写体の種類が設定され、設定された検出すべき被写体の種類に対応する評価用データと判定対象画像領域に対応する画像データとに基づき判定対象画像領域が当該被写体の種類の画像に対応する画像領域であることの確からしさを表す評価値が算出される。算出された評価値と判定対象画像領域の位置およびサイズとに基づき検出すべき被写体の種類に対応する被写体領域が設定される。そのため、この画像処理装置では、対象画像から特定種類の被写体の画像に対応する画像領域を容易に検出することができる。
【０００９】
［適用例２］適用例１に記載の画像処理装置であって、
前記検出被写体設定部は、ユーザによる前記検出すべき被写体の種類の指定を取得する指定取得部を含む、画像処理装置。
【００１０】
この画像処理装置では、検出すべき被写体の種類としてユーザが所望する被写体の種類の画像に対応する画像領域を容易に検出することができる。
【００１１】
［適用例３］適用例１または適用例２に記載の画像処理装置であって、
前記評価用データは、前記被写体の種類と前記対象画像面内における被写体の傾きとの組み合わせ毎に設定された、前記判定対象画像領域が当該被写体の種類の当該傾きを有する画像に対応する画像領域であることの確からしさを表す評価値を算出するためのデータである、画像処理装置。
【００１２】
この画像処理装置では、対象画像から特定種類の被写体の特定の傾きを有する画像に対応する画像領域を容易に検出することができる。
【００１３】
［適用例４］適用例３に記載の画像処理装置であって、
前記被写体の種類は、特定の種類の被写体である全体被写体と、前記全体被写体の一部を構成する被写体の種類である部分被写体と、を含み、
前記部分被写体に対応する前記被写体領域の設定は、前記全体被写体に対応する前記被写体領域を前記対象画像として実行される、画像処理装置。
【００１４】
この画像処理装置では、対象画像から全体被写体の画像に対応する画像領域と部分被写体の画像に対応する画像領域とを容易に検出することができる。
【００１５】
［適用例５］適用例４に記載の画像処理装置であって、
前記部分被写体に対応する前記評価値の算出に用いられる前記評価用データは、前記全体被写体に対応する前記評価値の算出に用いられた前記評価用データに対応する前記被写体の傾きと同一の傾きに対応する前記評価用データである、画像処理装置。
【００１６】
この画像処理装置では、部分被写体の画像に対応する画像領域の検出の高速化を図ることができる。
【００１７】
［適用例６］適用例４または適用例５に記載の画像処理装置であって、
前記全体被写体は、人物の顔であり、
前記部分被写体は、人物の顔の器官である、画像処理装置。
【００１８】
この画像処理装置では、対象画像から人物の顔の画像に対応する画像領域と人物の顔の器官の画像に対応する画像領域とを容易に検出することができる。
【００１９】
［適用例７］適用例６に記載の画像処理装置であって、
前記人物の顔の器官は、右目と左目と口との少なくとも１つである、画像処理装置。
【００２０】
この画像処理装置では、対象画像から人物の顔の画像に対応する画像領域と人物の顔の右目と左目と口との少なくとも１つの画像に対応する画像領域とを容易に検出することができる。
【００２１】
［適用例８］適用例１ないし適用例７のいずれかに記載の画像処理装置であって、
前記顔領域設定部は、前記評価値に基づき前記判定対象画像領域が前記検出すべき被写体の種類の画像に対応する画像領域であるか否かを判定し、前記検出すべき被写体の種類の画像に対応する画像領域であると判定された前記判定対象画像領域の位置およびサイズに基づき前記被写体領域を設定する、画像処理装置。
【００２２】
この画像処理装置では、検出すべき被写体の種類の画像に対応する画像領域であると判定された判定対象画像領域の位置およびサイズに基づき被写体領域を設定することができる。
【００２３】
なお、本発明は、種々の態様で実現することが可能であり、例えば、画像処理方法および装置、被写体領域検出方法および装置、これらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。
【発明を実施するための最良の形態】
【００２４】
次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．実施例：
Ａ−１．画像処理装置の構成：
Ａ−２．領域検出処理：
Ｂ．変形例：
【００２５】
Ａ．実施例：
Ａ−１．画像処理装置の構成：
図１は、本発明の実施例における画像処理装置としてのプリンタ１００の構成を概略的に示す説明図である。本実施例のプリンタ１００は、メモリカードＭＣ等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したインクジェット式カラープリンタである。プリンタ１００は、プリンタ１００の各部を制御するＣＰＵ１１０と、ＲＯＭやＲＡＭによって構成された内部メモリ１２０と、ボタンやタッチパネルにより構成された操作部１４０と、液晶ディスプレイにより構成された表示部１５０と、プリンタエンジン１６０と、カードインターフェース（カードＩ／Ｆ）１７０と、を備えている。プリンタ１００は、さらに、他の機器（例えばデジタルスチルカメラやパーソナルコンピュータ）とのデータ通信を行うためのインターフェースを備えているとしてもよい。プリンタ１００の各構成要素は、バスを介して互いに接続されている。
【００２６】
プリンタエンジン１６０は、印刷データに基づき印刷を行う印刷機構である。カードインターフェース１７０は、カードスロット１７２に挿入されたメモリカードＭＣとの間でデータのやり取りを行うためのインターフェースである。なお、本実施例では、メモリカードＭＣに画像データを含む画像ファイルが格納されている。
【００２７】
内部メモリ１２０には、画像処理部２００と、表示処理部３１０と、印刷処理部３２０と、が格納されている。画像処理部２００は、所定のオペレーティングシステムの下で、後述する領域検出処理等を実行するためのコンピュータプログラムである。表示処理部３１０は、表示部１５０を制御して、表示部１５０上に処理メニューやメッセージ、画像等を表示させるディスプレイドライバである。印刷処理部３２０は、画像データから印刷データを生成し、プリンタエンジン１６０を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータプログラムである。ＣＰＵ１１０は、内部メモリ１２０から、これらのプログラムを読み出して実行することにより、これら各部の機能を実現する。
【００２８】
画像処理部２００は、プログラムモジュールとして、領域検出部２１０と、情報付加部２３０と、を含んでいる。領域検出部２１０は、対象画像データの表す対象画像における特定の種類の被写体の画像（例えば顔の画像や顔の器官の画像）に対応する画像領域の検出を行う。領域検出部２１０は、判定対象設定部２１２と、評価値算出部２１４と、判定部２１６と、領域設定部２１８と、検出被写体設定部２２０と、を含んでいる。検出被写体設定部２２０は、指定取得部２２２を含んでいる。これら各部の機能については、後述の領域検出処理の説明において詳述する。また、情報付加部２３０は、画像データを含む画像ファイルに所定の情報（例えば顔領域および器官領域の位置を示す情報）を付加する。
【００２９】
内部メモリ１２０には、また、予め設定された、領域検出部２１０による領域検出に用いられる複数の顔学習データＦＬＤおよび複数の顔器官学習データＯＬＤが格納されている。図２は、顔学習データＦＬＤおよび顔器官学習データＯＬＤの種類を示す説明図である。図２には、顔学習データＦＬＤまたは顔器官学習データＯＬＤの種類と、当該種類の顔学習データＦＬＤまたは顔器官学習データＯＬＤを用いて検出される画像領域の例と、を示している。
【００３０】
顔学習データＦＬＤの内容については後述の領域検出処理の説明において詳述するが、顔学習データＦＬＤは、顔傾きと顔向きとの組み合わせに対応付けられて設定されている。ここで、顔傾きとは、画像面内（インプレーン）における顔の画像の回転角度を意味している。本実施例では、顔傾きを、画像の上下方向に沿って顔の画像が位置している状態（頭頂が上方向を向き顎が下方向を向いた状態）を基準顔傾き（顔傾き＝０度）とした場合における顔の画像の時計回りの角度で表す。また、顔向きとは、画像面外（アウトプレーン）における顔の画像の向きを意味している。本実施例では、デジタルスチルカメラ等の画像生成装置の撮像面に正対した顔の画像の顔向きを「正面向き」と呼び、撮像面に向かって右を向いた顔の画像（画像の観賞者からみて左を向いた顔の画像）の顔向きを「右向き」と、撮像面に向かって左を向いた顔の画像（画像の観賞者からみて右を向いた顔の画像）の顔向きを「左向き」と呼ぶものとしている。
【００３１】
内部メモリ１２０には、図２（ａ）ないし図２（ｄ）に示す４つの顔学習データＦＬＤ、すなわち、図２（ａ）に示す正面向きの顔向きと０度の顔傾きとの組み合わせに対応する顔学習データＦＬＤと、図２（ｂ）に示す正面向きの顔向きと３０度の顔傾きとの組み合わせに対応する顔学習データＦＬＤと、図２（ｃ）に示す右向きの顔向きと０度の顔傾きとの組み合わせに対応する顔学習データＦＬＤと、図２（ｄ）に示す右向きの顔向きと３０度の顔傾きとの組み合わせに対応する顔学習データＦＬＤと、が格納されている。なお、正面向きの顔と右向き（または左向き）の顔とは、別の種類の被写体と解釈することも可能であり、このように解釈した場合には、顔学習データＦＬＤは被写体の種類と被写体の傾きとの組み合わせに対応して設定されていると表現することも可能である。
【００３２】
後述するように、ある顔傾きに対応する顔学習データＦＬＤは、当該顔傾きを中心に顔傾きの値がプラスマイナス１５度の範囲の顔の画像を検出可能なように学習によって設定されている。また、人物の顔は実質的に左右対称である。そのため、正面向きの顔向きについては、０度の顔傾きに対応する顔学習データＦＬＤ（図２（ａ））と３０度の顔傾きに対応する顔学習データＦＬＤ（図２（ｂ））との２つが予め準備されれば、これら２つの顔学習データＦＬＤを９０度単位で回転させることにより、あらゆる顔傾きの顔の画像を検出可能な顔学習データＦＬＤを得ることができる。右向きの顔向きについても同様に、０度の顔傾きに対応する顔学習データＦＬＤ（図２（ｃ））と３０度の顔傾きに対応する顔学習データＦＬＤ（図２（ｄ））との２つが予め準備されれば、あらゆる顔傾きの顔の画像を検出可能な顔学習データＦＬＤを得ることができる。また、左向きの顔向きについては、右向きの顔向きに対応する顔学習データＦＬＤを反転させることにより、あらゆる顔傾きの顔の画像を検出可能な顔学習データＦＬＤを得ることができる。
【００３３】
顔器官学習データＯＬＤは、顔の器官の種類と器官傾きとの組み合わせに対応付けられて設定されている。本実施例では、顔の器官とは目（右目および左目）と口とを意味している。また、器官傾きとは、上述の顔傾きと同様に、画像面内（インプレーン）における顔の器官の画像の回転角度を意味している。器官傾きは、顔傾きと同様に、画像の上下方向に沿って顔の器官の画像が位置している状態を基準器官傾き（器官傾き＝０度）とした場合における顔の器官の画像の時計回りの角度で表す。
【００３４】
内部メモリ１２０には、図２（ｅ）ないし図２（ｈ）に示す４つの顔器官学習データＯＬＤ、すなわち、図２（ｅ）に示す目と０度の器官傾きとの組み合わせに対応する顔器官学習データＯＬＤと、図２（ｆ）に示す目と３０度の器官傾きとの組み合わせに対応する顔器官学習データＯＬＤと、図２（ｇ）に示す口と０度の器官傾きとの組み合わせに対応する顔器官学習データＯＬＤと、図２（ｈ）に示す口と３０度の器官傾きとの組み合わせに対応する顔器官学習データＯＬＤと、が格納されている。目と口とは別の種類の被写体であるため、顔器官学習データＯＬＤは被写体の種類と被写体の傾きとの組み合わせに対応して設定されていると表現できる。
【００３５】
顔学習データＦＬＤと同様に、ある器官傾きに対応する顔器官学習データＯＬＤは、当該器官傾きを中心に器官傾きの値がプラスマイナス１５度の範囲の器官の画像を検出可能なように学習によって設定されている。また、人物の目や口は実質的に左右対称である。そのため、目については、０度の器官傾きに対応する顔器官学習データＯＬＤ（図２（ｅ））と３０度の器官傾きに対応する顔器官学習データＯＬＤ（図２（ｆ））との２つが予め準備されれば、これら２つの顔器官学習データＯＬＤを９０度単位で回転させることにより、あらゆる器官傾きの目の画像を検出可能な顔器官学習データＯＬＤを得ることができる。口についても同様に、０度の器官傾きに対応する顔器官学習データＯＬＤ（図２（ｇ））と３０度の器官傾きに対応する顔器官学習データＯＬＤであることを（図２（ｈ））との２つが予め準備されれば、あらゆる器官傾きの口の画像を検出可能な顔器官学習データＯＬＤを得ることができる。なお、本実施例では、右目と左目とは同じ種類の被写体であるとし、右目の画像に対応する右目領域と左目の画像に対応する左目領域とを共通の顔器官学習データＯＬＤを用いて検出するものとしているが、右目と左目とは異なる種類の被写体であるとして、右目領域検出用と左目領域検出用とにそれぞれ専用の顔器官学習データＯＬＤを準備するものとしてもよい。
【００３６】
Ａ−２．領域検出処理：
図３は、領域検出処理の流れを示すフローチャートである。本実施例における領域検出処理は、対象画像データの表す対象画像において、検出被写体として設定された被写体の種類の画像に対応する画像領域を検出する処理である。
【００３７】
ステップＳ１１０では、画像処理部２００（図１）が、領域検出処理の対象となる画像を表す画像データを取得する。本実施例のプリンタ１００では、カードスロット１７２にメモリカードＭＣが挿入されると、メモリカードＭＣに格納された画像ファイルのサムネイル画像が表示部１５０に表示される。ユーザは、表示されたサムネイル画像を参照しつつ、操作部１４０を介して処理の対象となる１つまたは複数の画像を選択する。画像処理部２００は、選択された１つまたは複数の画像に対応する画像データを含む画像ファイルをメモリカードＭＣより取得して内部メモリ１２０の所定の領域に格納する。なお、取得された画像データを原画像データと呼び、原画像データの表す画像を原画像ＯＩｍｇと呼ぶものとする。
【００３８】
ステップＳ１２０（図３）では、検出被写体設定部２２０（図１）が、検出被写体を設定する。検出被写体は、対象画像から検出すべき被写体の種類である。指定取得部２２２は、操作部１４０（図１）を介したユーザによる検出すべき被写体の種類の指定を取得する。検出被写体設定部２２０は、指定された被写体の種類を検出被写体として設定する。本実施例の領域検出処理では、検出被写体として、人物の顔と人物の顔の器官（目と口）とが指定・設定されたものとする。なお、本実施例において指定・設定された検出被写体は、人物の顔という特定の被写体の種類（「全体被写体」とも呼ぶ）と、当該特定の被写体の種類の一部を構成する人物の顔の器官という被写体の種類（「部分被写体」とも呼ぶ）と、を含んでいる。
【００３９】
ステップＳ１３０（図３）では、領域検出部２１０（図１）が、使用する学習データを設定する。本実施例では、まず、全体被写体である人物の顔を検出するために、顔学習データＦＬＤ（図２（ａ）ないし図２（ｄ）参照）が、使用学習データとして設定される。
【００４０】
ステップＳ１４０（図３）では、領域検出部２１０（図１）が、原画像ＯＩｍｇにおける顔の画像に対応する画像領域である顔領域ＦＡの検出を行う。図４は、顔領域検出処理の流れを示すフローチャートである。また、図５は、顔領域検出処理の概要を示す説明図である。図５の最上段には原画像ＯＩｍｇの一例を示している。
【００４１】
顔領域検出処理（図４）におけるステップＳ３１０では、領域検出部２１０（図１）が、原画像ＯＩｍｇを表す原画像データから顔検出用画像ＦＤＩｍｇを表す顔検出用画像データを生成する。本実施例では、図５に示すように、顔検出用画像ＦＤＩｍｇは横３２０画素×縦２４０画素のサイズの画像である。領域検出部２１０は、必要により原画像データの解像度変換を行うことにより、顔検出用画像ＦＤＩｍｇを表す顔検出用画像データを生成する。なお、本実施例における顔検出用画像ＦＤＩｍｇは、本発明における対象画像に相当する。
【００４２】
ステップＳ３２０（図４）では、判定対象設定部２１２（図１）が、判定対象画像領域（後述）の設定に用いるウィンドウＳＷのサイズを初期値に設定する。ステップＳ３３０では、判定対象設定部２１２が、ウィンドウＳＷを顔検出用画像ＦＤＩｍｇ上の初期位置に配置する。ステップＳ３４０では、判定対象設定部２１２が、顔検出用画像ＦＤＩｍｇ上に配置されたウィンドウＳＷにより規定される画像領域を、顔の画像に対応する画像領域であるか否かの判定（以下「顔判定」とも呼ぶ）の対象となる判定対象画像領域ＪＩＡに設定する。図５の中段には、顔検出用画像ＦＤＩｍｇ上に初期値のサイズのウィンドウＳＷが初期位置に配置され、ウィンドウＳＷにより規定される画像領域が判定対象画像領域ＪＩＡに設定される様子を示している。本実施例では、後述するように、正方形形状のウィンドウＳＷのサイズおよび位置が変更されつつ判定対象画像領域ＪＩＡの設定が順に行われるが、ウィンドウＳＷのサイズの初期値は最大サイズである横２４０画素×縦２４０画素であり、ウィンドウＳＷの初期位置はウィンドウＳＷの左上の頂点が顔検出用画像ＦＤＩｍｇの左上の頂点に重なるような位置である。
【００４３】
ステップＳ３５０（図４）では、評価値算出部２１４（図１）が、判定対象画像領域ＪＩＡについて、顔判定に用いる累計評価値Ｔｖを算出する。なお、本実施例では、顔判定は予め設定された特定顔傾きと特定顔向きとの組み合わせ毎に実行される。すなわち、特定顔傾きと特定顔向きとの組み合わせ毎に、判定対象画像領域ＪＩＡが当該特定顔傾きと特定顔向きとを有する顔の画像に対応する画像領域であるか否かの判定が行われる。そのため、累計評価値Ｔｖも特定顔傾きと特定顔向きとの組み合わせ毎に算出される。ここで、特定顔傾きとは、所定の顔傾きであり、本実施例では、基準顔傾き（顔傾き＝０度）と基準顔傾きから顔傾きを３０度ずつ増加させた顔傾きとの計１２個の顔傾き（０度、３０度、６０度、・・・、３３０度）が、特定顔傾きとして設定されている。また、特定顔向きとは、所定の顔向きであり、本実施例では、正面向きと右向きと左向きとの計３個の顔向きが特定顔向きとして設定されている。
【００４４】
図６は、顔判定に用いる累計評価値Ｔｖの算出方法の概要を示す説明図である。本実施例では、累計評価値Ｔｖの算出にＮ個のフィルタ（フィルタ１〜フィルタＮ）が用いられる。各フィルタの外形はウィンドウＳＷと同じアスペクト比を有しており（すなわち正方形形状であり）、各フィルタにはプラス領域ｐａとマイナス領域ｍａとが設定されている。評価値算出部２１４は、判定対象画像領域ＪＩＡにフィルタＸ（Ｘ＝１，２，・・・，Ｎ）を順に適用して評価値ｖＸ（すなわちｖ１〜ｖＮ）を算出する。具体的には、評価値ｖＸは、フィルタＸのプラス領域ｐａに対応する判定対象画像領域ＪＩＡ上の領域内に位置する画素の輝度値の合計から、マイナス領域ｍａに対応する判定対象画像領域ＪＩＡ上の領域内に位置する画素の輝度値の合計を差し引いた値である。
【００４５】
算出された評価値ｖＸは、各評価値ｖＸに対応して設定された閾値ｔｈＸ（すなわちｔｈ１〜ｔｈＮ）と比較される。本実施例では、評価値ｖＸが閾値ｔｈＸ以上である場合には、フィルタＸに関しては判定対象画像領域ＪＩＡが顔の画像に対応する画像領域であると判定され、フィルタＸの出力値として値「１」が設定される。一方、評価値ｖＸが閾値ｔｈＸより小さい場合には、フィルタＸに関しては判定対象画像領域ＪＩＡが顔の画像に対応する画像領域ではないと判定され、フィルタＸの出力値として値「０」が設定される。各フィルタＸには重み係数ＷｅＸ（すなわちＷｅ１〜ＷｅＮ）が設定されており、すべてのフィルタについての出力値と重み係数ＷｅＸとの積の合計が、累計評価値Ｔｖとして算出される。
【００４６】
なお、顔判定に用いられるフィルタＸの態様や閾値ｔｈＸ、重み係数ＷｅＸ、後述の閾値ＴＨは、顔学習データＦＬＤとして予め規定されている。すなわち、例えば、正面向きの顔向きと０度の顔傾きとの組み合わせに対応する累計評価値Ｔｖの算出や顔判定には、正面向きの顔向きと０度の顔傾きとの組み合わせに対応する顔学習データＦＬＤ（図２（ａ）参照）に規定されたフィルタＸの態様、閾値ｔｈＸ、重み係数ＷｅＸ、閾値ＴＨが用いられる。同様に、正面向きの顔向きと３０度の顔傾きとの組み合わせに対応する累計評価値Ｔｖの算出や顔判定には、正面向きの顔向きと３０度の顔傾きとの組み合わせに対応する顔学習データＦＬＤ（図２（ｂ）参照）が用いられる。また、正面向きの顔向きと他の特定顔傾きとの組み合わせに対応する累計評価値Ｔｖの算出や顔判定の際には、正面向きの顔向きと０度の顔傾きとの組み合わせに対応する顔学習データＦＬＤ（図２（ａ））と正面向きの顔向きと３０度の顔傾きとの組み合わせに対応する顔学習データＦＬＤ（図２（ｂ））とに基づき、正面向きの顔向きと当該他の特定顔傾きとの組み合わせに対応する顔学習データＦＬＤが評価値算出部２１４により生成され、使用される。右向きや左向きの顔向きについても同様に、内部メモリ１２０に予め格納された顔学習データＦＬＤに基づき必要な顔学習データＦＬＤが生成され、使用される。なお、本実施例における顔学習データＦＬＤは、判定対象画像領域ＪＩＡが顔の画像に対応する画像領域であることの確からしさを表す評価値を算出するためのデータであるため、本発明における評価用データに相当する。
【００４７】
なお、顔学習データＦＬＤは、サンプル画像を用いた学習によって設定される。図７は、正面向きの顔に対応する顔学習データＦＬＤの設定のための学習に用いられるサンプル画像の一例を示す説明図である。学習には、正面向きの顔に対応する画像であることが予めわかっている複数の顔サンプル画像によって構成された顔サンプル画像群と、正面向きの顔に対応する画像ではないことが予めわかっている複数の非顔サンプル画像によって構成された非顔サンプル画像群と、が用いられる。
【００４８】
学習による正面向きの顔に対応する顔学習データＦＬＤの設定は特定顔傾き毎に実行されるため、図７に示すように、顔サンプル画像群は、１２個の特定顔傾きのそれぞれに対応するものが準備される。例えば０度の特定顔傾きについての顔学習データＦＬＤの設定は、０度の特定顔傾きに対応する顔サンプル画像群と非顔サンプル画像群とを用いて実行され、３０度の特定顔傾きについての顔学習データＦＬＤの設定は、３０度の特定顔傾きに対応する顔サンプル画像群と非顔サンプル画像群とを用いて実行される。
【００４９】
各特定顔傾きに対応する顔サンプル画像群は、画像サイズに対する顔の画像の大きさの比が所定の値の範囲内であると共に顔の画像の傾きが特定顔傾きに等しい複数の顔サンプル画像（以下、「基本顔サンプル画像」とも呼ぶ）を含む。また、顔サンプル画像群は、少なくとも１つの基本サンプル画像について、基本サンプル画像を１．２倍から０．８倍までの範囲の所定の倍率で拡大および縮小した画像（例えば図７おける画像ＦＩａおよびＦＩｂ）や、基本顔サンプル画像の顔傾きをプラスマイナス１５度の範囲で変化させた画像（例えば図７における画像ＦＩｃおよびＦＩｄ）をも含む。
【００５０】
サンプル画像を用いた学習は、例えばニューラルネットワークを用いた方法や、ブースティング（例えばアダブースティング）を用いた方法、サポートベクターマシーンを用いた方法等により実行される。例えば学習がニューラルネットワークを用いた方法により実行される場合には、各フィルタＸ（すなわちフィルタ１〜フィルタＮ、図６参照）について、ある特定顔傾きに対応する顔サンプル画像群と非顔サンプル画像群とに含まれるすべてのサンプル画像を用いて評価値ｖＸ（すなわちｖ１〜ｖＮ）が算出され、所定の顔検出率を達成する閾値ｔｈＸ（すなわちｔｈ１〜ｔｈＮ）が設定される。ここで、顔検出率とは、顔サンプル画像群を構成する顔サンプル画像の総数に対する、評価値ｖＸによる閾値判定によって顔の画像に対応する画像であると判定される顔サンプル画像の数の割合を意味している。
【００５１】
次に、各フィルタＸに設定された重み係数ＷｅＸ（すなわちＷｅ１〜ＷｅＮ）が初期値に設定され、顔サンプル画像群および非顔サンプル画像群の中から選択された１つのサンプル画像についての累計評価値Ｔｖが算出される。後述するように、顔判定においては、ある画像について算出された累計評価値Ｔｖが所定の閾値ＴＨ以上の場合には、当該画像は顔の画像に対応する画像であると判定される。学習においては、選択されたサンプル画像（顔サンプル画像または非顔サンプル画像）について算出された累計評価値Ｔｖによる閾値判定結果の正誤に基づき、各フィルタＸに設定された重み係数ＷｅＸの値が修正される。以降、サンプル画像の選択と、選択されたサンプル画像について算出された累計評価値Ｔｖによる閾値判定、および判定結果の正誤に基づく重み係数ＷｅＸの値の修正が、顔サンプル画像群および非顔サンプル画像群に含まれるすべてのサンプル画像について繰り返し実行される。このような処理によって、正面向きの顔向きと特定顔傾きとの組み合わせに対応する顔学習データＦＬＤが設定される。
【００５２】
なお、他の特定顔向き（右向きおよび左向き）に対応する顔学習データＦＬＤも同様に、右向き（または左向き）の顔に対応する画像であることが予めわかっている複数の顔サンプル画像によって構成された顔サンプル画像群と、右向き（または左向き）の顔に対応する画像ではないことが予めわかっている複数の非顔サンプル画像によって構成された非顔サンプル画像群とを用いた学習によって設定される。
【００５３】
判定対象画像領域ＪＩＡについて特定顔傾きと特定顔向きとの組み合わせ毎に累計評価値Ｔｖが算出されると（図４のステップＳ３５０）、判定部２１６（図１）は、累計評価値Ｔｖを特定顔傾きと特定顔向きとの組み合わせ毎に設定された閾値ＴＨと比較する（ステップＳ３６０）。ある特定顔傾きと特定顔向きとの組み合わせについて累計評価値Ｔｖが閾値ＴＨ以上である場合には、領域検出部２１０が、判定対象画像領域ＪＩＡは当該特定顔傾きと当該特定顔向きとを有する顔の画像に対応する画像領域であるとして、判定対象画像領域ＪＩＡの位置、すなわち現在設定されているウィンドウＳＷの座標と、当該特定顔傾きおよび当該特定顔向きと、を記憶する（ステップＳ３７０）。一方、いずれの特定顔傾きと特定顔向きとの組み合わせについても累計評価値Ｔｖが閾値ＴＨより小さい場合には、ステップＳ３７０の処理はスキップされる。
【００５４】
ステップＳ３８０（図４）では、領域検出部２１０（図１）が、現在設定されているサイズのウィンドウＳＷにより顔検出用画像ＦＤＩｍｇ全体がスキャンされたか否かを判定する。未だ顔検出用画像ＦＤＩｍｇ全体がスキャンされていないと判定された場合には、判定対象設定部２１２（図１）が、ウィンドウＳＷを所定の方向に所定の移動量だけ移動する（ステップＳ３９０）。図５の下段には、ウィンドウＳＷが移動した様子を示している。本実施例では、ステップＳ３９０において、ウィンドウＳＷがウィンドウＳＷの水平方向の大きさの２割分の移動量で右方向に移動するものとしている。また、ウィンドウＳＷがさらに右方向には移動できない位置に配置されている場合には、ステップＳ３９０において、ウィンドウＳＷが顔検出用画像ＦＤＩｍｇの左端まで戻ると共に、ウィンドウＳＷの垂直方向の大きさの２割分の移動量で下方向に移動するものとしている。ウィンドウＳＷがさらに下方向には移動できない位置に配置されている場合には、顔検出用画像ＦＤＩｍｇ全体がスキャンされたこととなる。ウィンドウＳＷの移動（ステップＳ３９０）の後には、移動後のウィンドウＳＷについて、上述のステップＳ３４０以降の処理が実行される。
【００５５】
ステップＳ３８０（図４）において現在設定されているサイズのウィンドウＳＷにより顔検出用画像ＦＤＩｍｇ全体がスキャンされたと判定された場合には、ウィンドウＳＷの所定のサイズがすべて使用されたか否かが判定される（ステップＳ４００）。本実施例では、ウィンドウＳＷのサイズとして、初期値（最大サイズ）である横２４０画素×縦２４０画素の他に、横２１３画素×縦２１３画素、横１７８画素×縦１７８画素、横１４９画素×縦１４９画素、横１２４画素×縦１２４画素、横１０３画素×縦１０３画素、横８６画素×縦８６画素、横７２画素×縦７２画素、横６０画素×縦６０画素、横５０画素×縦５０画素、横４１画素×縦４１画素、横３５画素×縦３５画素、横２９画素×縦２９画素、横２４画素×縦２４画素、横２０画素×縦２０画素（最小サイズ）、の合計１５個のサイズが設定されている。未だ使用されていないウィンドウＳＷのサイズがあると判定された場合には、判定対象設定部２１２（図１）が、ウィンドウＳＷのサイズを現在設定されているサイズの次に小さいサイズに変更する（ステップＳ４１０）。すなわち、ウィンドウＳＷのサイズは、最初に最大サイズに設定され、その後、順に小さいサイズに変更されていく。ウィンドウＳＷのサイズの変更（ステップＳ４１０）の後には、変更後のサイズのウィンドウＳＷについて、上述のステップＳ３３０以降の処理が実行される。
【００５６】
ステップＳ４００（図４）においてウィンドウＳＷの所定のサイズがすべて使用されたと判定された場合には、領域設定部２１８（図１）が、顔領域設定処理を実行する（ステップＳ４２０）。図８および図９は、顔領域設定処理の概要を示す説明図である。領域設定部２１８は、図４のステップＳ３６０において累計評価値Ｔｖが閾値ＴＨ以上であると判定され、ステップＳ３７０において記憶されたウィンドウＳＷの座標と特定顔傾きとに基づき、顔の画像に対応する画像領域としての顔領域ＦＡを設定する。具体的には、記憶された特定顔傾きが０度である場合には、ウィンドウＳＷにより規定される画像領域（すなわち判定対象画像領域ＪＩＡ（図５参照））が、そのまま顔領域ＦＡとして設定される。一方、記憶された特定顔傾きが０度以外である場合には、ウィンドウＳＷにより規定される画像領域（判定対象画像領域ＪＩＡ）を所定の点（例えばウィンドウＳＷの重心）を中心として時計回りに当該特定顔傾き分だけ回転させた画像領域が顔領域ＦＡとして設定される。例えば図８（ａ）に示すように、３０度の特定顔傾きについて累計評価値Ｔｖが閾値ＴＨ以上であると判定された場合には、図８（ｂ）に示すように、ウィンドウＳＷにより規定される画像領域をウィンドウＳＷの重心を中心として時計回りに３０度回転させた画像領域が顔領域ＦＡとして設定される。
【００５７】
また、ステップＳ３７０（図４）においてある特定顔傾きについて互いに一部が重複する複数のウィンドウＳＷが記憶された場合には、領域設定部２１８（図１）は、各ウィンドウＳＷにおける所定の点（例えばウィンドウＳＷの重心）の座標の平均の座標を重心とし、各ウィンドウＳＷのサイズの平均のサイズを有する１つの新たなウィンドウ（以下、「平均ウィンドウＡＷ」とも呼ぶ）を設定する。例えば図９（ａ）に示すように、互いに一部が重複する４つのウィンドウＳＷ（ＳＷ１〜ＳＷ４）が記憶された場合には、図９（ｂ）に示すように、４つのウィンドウＳＷのそれぞれの重心の座標の平均の座標を重心とし、４つのウィンドウＳＷのそれぞれのサイズの平均のサイズを有する１つの平均ウィンドウＡＷが定義される。このとき、上述したのと同様に、記憶された特定顔傾きが０度である場合には、平均ウィンドウＡＷにより規定される画像領域がそのまま顔領域ＦＡとして設定される。一方、記憶された特定顔傾きが０度以外である場合には、平均ウィンドウＡＷにより規定される画像領域を所定の点（例えば平均ウィンドウＡＷの重心）を中心として時計回りに当該特定顔傾き分だけ回転させた画像領域が顔領域ＦＡとして設定される（図９（ｃ）参照）。
【００５８】
なお、図８に示したように、他のウィンドウＳＷと重複しない１つのウィンドウＳＷが記憶された場合にも、図９に示した互いに一部が重複する複数のウィンドウＳＷが記憶された場合と同様に、１つのウィンドウＳＷ自身が平均ウィンドウＡＷであると解釈することも可能である。
【００５９】
本実施例では、学習の際に用いられる顔サンプル画像群（図７参照）に、基本顔サンプル画像を１．２倍から０．８倍までの範囲の所定の倍率で拡大および縮小した画像（例えば図７における画像ＦＩａおよびＦＩｂ）が含まれているため、ウィンドウＳＷの大きさに対する顔の画像の大きさが基本サンプル画像と比べてわずかに大きかったり小さかったりする場合にも、顔領域ＦＡが検出されうる。従って、本実施例では、ウィンドウＳＷのサイズとして上述した１５個の離散的なサイズのみが設定されているが、あらゆる大きさの顔の画像について顔領域ＦＡが検出されうる。同様に、本実施例では、学習の際に用いられる顔サンプル画像群に、基本顔サンプル画像の顔傾きをプラスマイナス１５度の範囲で変化させた画像（例えば図７における画像ＦＩｃおよびＦＩｄ）が含まれているため、ウィンドウＳＷに対する顔の画像の傾きが基本サンプル画像とはわずかに異なっている場合にも、顔領域ＦＡが検出されうる。従って、本実施例では、特定顔傾きとして上述した１２個の離散的な角度のみが設定されているが、あらゆる角度の顔の画像について顔領域ＦＡが検出されうる。
【００６０】
顔領域検出処理（図３のステップＳ１４０）において、顔領域ＦＡが検出されなかった場合には（ステップＳ１５０：Ｎｏ）、領域検出処理は終了する。一方、少なくとも１つの顔領域ＦＡが検出された場合には（ステップＳ１５０：Ｙｅｓ）、領域検出部２１０（図１）が、検出された顔領域ＦＡの１つを選択する（ステップＳ１６０）。ステップＳ１７０では、領域検出部２１０が、使用する学習データを設定する。ステップＳ１７０においては、人物の顔という全体被写体に対する部分被写体である人物の顔の器官を検出するために、顔器官学習データＯＬＤ（図２（ｅ）ないし図２（ｈ）参照）が、使用学習データとして設定される。より詳細には、選択された顔領域ＦＡについて記憶された特定顔傾きと同じ特定顔傾きに対応する顔器官学習データＯＬＤが、使用学習データとして設定される。例えば、選択された顔領域ＦＡについて記憶された特定顔傾きが３０度である場合には、３０度の特定顔傾きに対応する顔器官学習データＯＬＤ（図２（ｆ）および図２（ｈ）参照）が使用学習データとなる。これは、一般に、顔の傾きと顔の器官の傾きとは実質的に一致するからである。このように、本実施例では、検出された顔領域ＦＡの顔傾きと同じ傾きの顔器官学習データＯＬＤのみを用いて器官領域検出を行うことにより、処理の高速化を図っている。
【００６１】
ステップＳ１８０では、領域検出部２１０が、選択された顔領域ＦＡにおける顔の器官の画像に対応する画像領域である器官領域の検出を行う。上述したように、本実施例では、顔の器官とは、右目と左目と口との３つの器官を意味しており、右目の画像に対応する右目領域ＥＡ（ｒ）と、左目の画像に対応する左目領域ＥＡ（ｌ）と、口の画像に対応する口領域ＭＡと、が器官領域として検出される。
【００６２】
図１０は、器官領域検出処理の流れを示すフローチャートである。また、図１１は、器官領域検出処理の概要を示す説明図である。図１１の最上段には、顔検出処理に用いられた顔検出用画像ＦＤＩｍｇ（図５参照）の一例を示している。
【００６３】
顔検出用画像ＦＤＩｍｇからの器官領域の検出は、上述した顔領域ＦＡの検出と同様に行われる。すなわち、図１１に示すように、矩形形状のウィンドウＳＷがそのサイズおよび位置が変更されつつ顔検出用画像ＦＤＩｍｇ上に配置され（図１０のステップＳ５２０，Ｓ５３０，Ｓ５８０〜Ｓ６１０）、配置されたウィンドウＳＷにより規定される画像領域が顔の器官の画像に対応する器官領域であるか否かの判定（以下「器官判定」とも呼ぶ）の対象となる判定対象画像領域ＪＩＡとして設定される（図１０のステップＳ５４０）。なお、ウィンドウＳＷの取り得るサイズおよび位置は、選択された顔領域ＦＡのサイズおよび位置に基づき決定される。例えば、ウィンドウＳＷの横方向の長さとして取り得る値は、顔領域ＦＡの横方向の長さを所定数倍して得られる最大サイズから最小サイズまでの間の所定数段階の値に設定される。また、例えば、ウィンドウＳＷの取り得る位置は、ウィンドウＳＷの中心が顔領域ＦＡ内に位置するような範囲に設定される。
【００６４】
判定対象画像領域ＪＩＡが設定されると、使用学習データとして設定された顔器官学習データＯＬＤを用いて、器官（右目、左目、口）毎に、器官判定に用いられる累計評価値Ｔｖが算出される（図１０のステップＳ５５０）。累計評価値Ｔｖの算出や器官判定に用いられるフィルタＸの態様や閾値ｔｈＸ、重み係数ＷｅＸ、閾値ＴＨ（図６参照）は、顔器官学習データＯＬＤに規定されている。なお、顔器官学習データＯＬＤの設定のための学習は、顔学習データＦＬＤの設定のための学習と同様に、顔の器官に対応する画像であることが予めわかっている複数の器官サンプル画像によって構成された器官サンプル画像群と、顔の器官に対応する画像ではないことが予めわかっている複数の非器官サンプル画像によって構成された非器官サンプル画像群と、を用いて実行される。本実施例における顔器官学習データＯＬＤは、判定対象画像領域ＪＩＡが顔の器官の画像に対応する画像領域であることの確からしさを表す評価値を算出するためのデータであるため、本発明における評価用データに相当する。
【００６５】
なお、顔領域検出処理（図４）においては、累計評価値Ｔｖの算出および顔判定が、すべての特定顔傾きについて実行されるのに対し、器官領域検出処理（図１０）では、累計評価値Ｔｖの算出および器官判定が、選択された顔領域ＦＡの特定顔傾きと同一の器官傾きについてのみ実行される。ただし、器官領域検出処理においても、累計評価値Ｔｖの算出および器官判定が、すべての特定器官傾きについて実行されるものとしてもよい。また、顔領域検出処理においては、特定顔向き毎に設定された顔学習データＦＬＤを用いて、特定顔向き毎に累計評価値Ｔｖの算出および顔判定が実行されるが、器官領域検出処理では、画像面外（アウトプレーン）における器官の画像の向きは考慮されない。ただし、器官領域検出処理においても、器官の画像の向き毎に顔器官学習データＯＬＤが設定され、器官の画像の向き毎に累計評価値Ｔｖの算出および器官判定が実行されるものとしてもよい。
【００６６】
算出された累計評価値Ｔｖが所定の閾値ＴＨ以上である場合には、判定対象画像領域ＪＩＡは顔の当該器官の画像に対応する画像領域であるとして、判定対象画像領域ＪＩＡの位置、すなわち現在設定されているウィンドウＳＷの座標が記憶される（図１０のステップＳ５７０）。一方、累計評価値Ｔｖが閾値ＴＨより小さい場合には、ステップＳ５７０の処理はスキップされる。
【００６７】
ウィンドウＳＷの所定のサイズのすべてについて、ウィンドウＳＷの位置し得る範囲全体がスキャンされた後に、領域設定部２１８による器官領域設定処理が実行される（図１０のステップＳ６２０）。図１２は、器官領域設定処理の概要を示す説明図である。器官領域設定処理は、顔領域設定処理（図８および９参照）と同様の処理である。領域設定部２１８は、図１０のステップＳ５６０において累計評価値Ｔｖが閾値ＴＨ以上であると判定され、ステップＳ５７０において記憶されたウィンドウＳＷの座標と、顔領域ＦＡに対応する特定顔傾きと、に基づき、顔の器官の画像に対応する画像領域としての器官領域を設定する。具体的には、特定顔傾きが０度である場合には、ウィンドウＳＷにより規定される画像領域（すなわち判定対象画像領域ＪＩＡ）が、そのまま器官領域として設定される。一方、特定顔傾きが０度以外である場合には、ウィンドウＳＷにより規定される画像領域（判定対象画像領域ＪＩＡ）を所定の点（例えばウィンドウＳＷの重心）を中心として時計回りに当該特定顔傾き分だけ回転させた画像領域が器官領域として設定される。例えば図１２（ａ）に示すように、３０度の特定顔傾きについて、右目に対応するウィンドウＳＷ（ｅｒ）と左目に対応するウィンドウＳＷ（ｅｌ）と口に対応するウィンドウＳＷ（ｍ）とにおいて累計評価値Ｔｖが閾値ＴＨ以上であると判定された場合には、図１２（ｂ）に示すように、各ウィンドウＳＷにより規定される画像領域をウィンドウＳＷの重心を中心として時計回りに３０度回転させた画像領域が器官領域（右目領域ＥＡ（ｒ）、左目領域ＥＡ（ｌ）、口領域ＭＡ）として設定される。
【００６８】
また、顔領域設定処理と同様に、互いに一部が重複する複数のウィンドウＳＷが記憶された場合には、各ウィンドウＳＷにおける所定の点（例えばウィンドウＳＷの重心）の座標の平均の座標を重心とし、各ウィンドウＳＷのサイズの平均のサイズを有する１つの新たなウィンドウ（平均ウィンドウＡＷ）が設定され、特定顔傾きが０度である場合には、平均ウィンドウＡＷにより規定される画像領域がそのまま器官領域として設定され、特定顔傾きが０度以外である場合には、平均ウィンドウＡＷにより規定される画像領域を所定の点（例えば平均ウィンドウＡＷの重心）を中心として時計回りに当該特定顔傾き分だけ回転させた画像領域が器官領域として設定される。
【００６９】
ステップＳ１６０（図３）において選択された顔領域ＦＡについての器官領域検出処理（ステップＳ１８０）の完了後、ステップＳ１４０において検出された顔領域ＦＡであってステップＳ１６０における選択が未だなされていない顔領域ＦＡが存在するか否かが判定される（ステップＳ１９０）。未だ選択されていない顔領域ＦＡが存在すると判定された場合には（ステップＳ１９０：Ｎｏ）、ステップＳ１６０に戻って未選択の顔領域ＦＡの１つが選択され、ステップＳ１７０以降の処理が実行される。一方、検出されたすべての顔領域ＦＡが選択されたと判定された場合には（ステップＳ２１９０：Ｙｅｓ）、処理はステップＳ２００に進む。
【００７０】
ステップＳ２００（図３）では、情報付加部２３０（図１）が、検出された顔領域ＦＡおよび器官領域（右目領域ＥＡ（ｒ）、左目領域ＥＡ（ｌ）、口領域ＭＡ）の位置（座標）を示す情報を、原画像データを含む画像ファイルに付属情報として付加する。これにより、原画像データと、原画像ＯＩｍｇにおける顔領域および器官領域の位置（座標）を示す情報と、が含まれた画像ファイルが生成される。
【００７１】
生成された画像ファイルに含まれる種々の情報は、種々の用途に利用可能である。例えば、顔領域ＦＡ、あるいは顔領域ＦＡに基づき設定された画像領域を対象画像領域として、所定の補正処理を行うことができる。所定の補正処理としては、例えば、対象画像領域内の画像の変形や肌色補正が挙げられる。
【００７２】
以上説明したように、本実施例のプリンタ１００による領域検出処理では、検出すべき被写体の種類である検出被写体が設定され、設定された検出被写体に基づき使用学習データが設定され、使用学習データを用いて顔領域検出処理（図４）や器官領域検出処理（図１０）が実行される。ここで、顔領域検出処理や器官領域検出処理は、使用学習データは異なるものの、ウィンドウＳＷの配置による判定対象画像領域ＪＩＡの設定、累計評価値Ｔｖの算出、累計評価値Ｔｖに基づく判定といった同様の処理を通じて実行される。すなわち、検出被写体に関わらず、設定された検出被写体に対応する画像領域を同様の処理を通じて検出可能である。従って、本実施例のプリンタ１００による領域検出処理では、対象画像から特定種類の被写体の画像に対応する画像領域を容易に検出することができる。
【００７３】
また、本実施例のプリンタ１００による領域検出処理では、ユーザによる検出被写体の指定が取得され、指定に従って検出被写体が設定されるため、対象画像からユーザにより指定された特定種類の被写体の画像に対応する画像領域を容易に検出することができる。
【００７４】
Ｂ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【００７５】
Ｂ１．変形例１：
上記実施例では、検出被写体として、人物の顔と人物の顔の器官とが設定されているが、予め学習データが準備されている被写体であれば他の被写体が検出被写体として設定されてもよい。例えば、動物や植物、建物や乗り物が検出被写体として設定されてもよい。この場合にも、これらの検出被写体に対応する画像領域を検出するための学習データを用いた実施例と同様の領域検出処理により、これらの検出被写体に対応する画像領域を検出することができる。すなわち、領域検出部２１０（図１）はあらゆる検出被写体に対応する画像領域を、同一の処理（アルゴリズム）を通じて検出することができる。
【００７６】
Ｂ２．変形例２：
上記実施例では、ユーザによる指定に従い検出被写体が設定されるものとしているが、検出被写体の設定は、必ずしもユーザによる指定に従って行われなくともよく、例えば予め設定された被写体の種類が自動的に検出被写体として設定されるものとしてもよい。
【００７７】
Ｂ３．変形例３：
上記実施例では、顔学習データＦＬＤが、正面向きに対応するもの（図２（ａ）および図２（ｂ）参照）以外に右向きに対応するもの（図２（ｃ）および図２（ｄ）参照）が準備され、右向きに対応する顔学習データＦＬＤを用いて右向きまたは左向きの顔の画像に対応する顔領域ＦＡの検出も行われているが、必ずしも右向きまたは左向きの顔の画像に対応する顔領域ＦＡの検出を行う必要はない。反対に、上記実施例では、顔器官学習データＯＬＤは正面向きに対応するもののみが準備されているが、顔学習データＦＬＤと同様に、右向きや左向きの顔の器官に対応する顔器官学習データＯＬＤが準備され、右向きや左向きの顔の器官の画像に対応する器官領域の検出が行われるものとしてもよい。
【００７８】
Ｂ４．変形例４：
上記実施例における顔領域検出処理（図４）や器官領域検出処理（図１０）の態様はあくまで一例であり、種々変更可能である。例えば顔検出用画像ＦＤＩｍｇ（図５参照）のサイズは３２０画素×２４０画素に限られず、他のサイズであってもよいし、原画像ＯＩｍｇそのものを顔検出用画像ＦＤＩｍｇとして用いることも可能である。また、使用されるウィンドウＳＷのサイズやウィンドウＳＷの移動方向および移動量（移動ピッチ）は上述したものに限られない。また、上記実施例では、顔検出用画像ＦＤＩｍｇのサイズが固定され、複数種類のサイズのウィンドウＳＷが顔検出用画像ＦＤＩｍｇ上に配置されることにより複数サイズの判定対象画像領域ＪＩＡが設定されているが、複数種類のサイズの顔検出用画像ＦＤＩｍｇが生成され、固定サイズのウィンドウＳＷが顔検出用画像ＦＤＩｍｇ上に配置されることにより複数サイズの判定対象画像領域ＪＩＡが設定されるものとしてもよい。
【００７９】
また、上記実施例では、累計評価値Ｔｖを閾値ＴＨと比較することにより顔判定および器官判定を行っているが（図６参照）、顔判定および器官判定を複数の判別器を用いた判別等の他の方法によって行ってもよい。顔判定および器官判定の方法に応じて、顔学習データＦＬＤおよび顔器官学習データＯＬＤの設定に用いられる学習方法も変更される。また、顔判定および器官判定は、必ずしも学習を用いた判別方法により行われる必要はなく、パターンマッチング等の他の方法により行われるとしてもよい。
【００８０】
また、上記実施例では、３０度刻みの１２種類の特定顔傾き（図７参照）が設定されているが、より多くの種類の特定顔傾きが設定されてもよいし、より少ない種類の特定顔傾きが設定されてもよい。また、必ずしも特定顔傾きが設定される必要はなく、０度の顔傾きについての顔判定が行われるとしてもよい。また、上記実施例では、顔サンプル画像群に基本サンプル画像を拡大・縮小した画像や回転させた画像が含まれるとしているが、顔サンプル画像群に必ずしもこのような画像が含まれる必要はない。
【００８１】
上記実施例において、あるサイズのウィンドウＳＷにより規定される判定対象画像領域ＪＩＡについての顔判定（または器官判定）で顔の画像（または顔の器官の画像）に対応する画像領域であると判定された場合には、当該サイズより所定の比率以上小さいサイズのウィンドウＳＷを配置する場合には、顔の画像に対応する画像領域であると判定された判定対象画像領域ＪＩＡを避けて配置するものとしてもよい。このようにすれば、処理の高速化を図ることができる。
【００８２】
上記実施例では、メモリカードＭＣに格納された画像データが原画像データに設定されているが、原画像データはメモリカードＭＣに格納された画像データに限らず、例えばネットワークを介して取得された画像データであってもよい。
【００８３】
上記実施例では、顔の器官として、右目と左目と口とが設定されており、器官領域として、右目領域ＥＡ（ｒ）と左目領域ＥＡ（ｌ）と口領域ＭＡとの検出が行われるが、顔の器官として顔のどの器官を設定するかは変更可能である。例えば、顔の器官として、右目と左目と口とのいずれか１つまたは２つのみが設定されるとしてもよい。また、顔の器官として、右目と左目と口とに加えて、または右目と左目と口との少なくとも１つに代わり、顔のその他の器官（例えば鼻や眉）が設定され、器官領域としてこのような器官の画像に対応する領域が検出されるとしてもよい。
【００８４】
上記実施例では、顔領域ＦＡおよび器官領域は矩形の領域であるが、顔領域ＦＡおよび器官領域は矩形以外の形状の領域であってもよい。
【００８５】
上記実施例では、画像処理装置としてのプリンタ１００による領域検出処理を説明したが、処理の一部または全部がパーソナルコンピュータやデジタルスチルカメラ、デジタルビデオカメラ等の他の種類の画像処理装置により実行されるものとしてもよい。また、プリンタ１００はインクジェットプリンタに限らず、他の方式のプリンタ、例えばレーザプリンタや昇華型プリンタであるとしてもよい。
【００８６】
上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。
【００８７】
また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータプログラム）は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。
【図面の簡単な説明】
【００８８】
【図１】本発明の実施例における画像処理装置としてのプリンタ１００の構成を概略的に示す説明図である。
【図２】顔学習データＦＬＤおよび顔器官学習データＯＬＤの種類を示す説明図である。
【図３】領域検出処理の流れを示すフローチャートである。
【図４】顔領域検出処理の流れを示すフローチャートである。
【図５】顔領域検出処理の概要を示す説明図である。
【図６】顔判定に用いる累計評価値Ｔｖの算出方法の概要を示す説明図である。
【図７】正面向きの顔に対応する顔学習データＦＬＤの設定のための学習に用いられるサンプル画像の一例を示す説明図である。
【図８】顔領域設定処理の概要を示す説明図である。
【図９】顔領域設定処理の概要を示す説明図である。
【図１０】器官領域検出処理の流れを示すフローチャートである。
【図１１】器官領域検出処理の概要を示す説明図である。
【図１２】器官領域設定処理の概要を示す説明図である。
【符号の説明】
【００８９】
１００…プリンタ
１１０…ＣＰＵ
１２０…内部メモリ
１４０…操作部
１５０…表示部
１６０…プリンタエンジン
１７０…カードインターフェース
１７２…カードスロット
２００…画像処理部
２１０…領域検出部
２１２…判定対象設定部
２１４…評価値算出部
２１６…判定部
２１８…領域設定部
２２０…検出被写体設定部
２２２…指定取得部
２３０…情報付加部
３１０…表示処理部
３２０…印刷処理部
【図１】
2009230473.tif 000003
【図２】
2009230473.tif 000004
【図３】
2009230473.tif 000005
【図４】
2009230473.tif 000006
【図５】
2009230473.tif 000007
【図６】
2009230473.tif 000008
【図７】
2009230473.tif 000009
【図８】
2009230473.tif 000010
【図９】
2009230473.tif 000011
【図１０】
2009230473.tif 000012
【図１１】
2009230473.tif 000013
【図１２】
2009230473.tif 000014