(57)【要約】【課題】ユーザの操作を介さずに顔画像の特徴を捉えた変形画像を生成することができるようにする。【解決手段】顔検出部１２は、対象画像から顔領域を検出し、特徴点検出部１３は、検出された顔領域の特徴点を検出し、パーツ領域抽出部３１は、検出された顔領域内の顔画像から、目、眉、鼻、口などのパーツを含んでいるパーツ領域を抽出し、類似度判定部３２は、Kクラス判別器３２から出力されるK次元スコアベクトに基づいて、最も類似したモデル画像を判定し、イラスト画像選択部３４は、判定結果に応じたイラスト画像を選択する。描画生成部１７は、検出された特徴点から得られる土台画像に対して、選択されたイラスト画像を配置して似顔絵画像を生成し、表示装置２の画面に描画する。本発明は、顔画像を含む対象画像から似顔絵画像を生成する似顔絵画像生成装置に適用することができる。【選択図】図１
2011090466.tif 000002
【特許請求の範囲】
【請求項１】
対象画像から変形画像を生成する情報処理装置において、
前記対象画像から顔領域を検出する第１の検出手段と、
検出された前記顔領域の特徴点を検出する第２の検出手段と、
検出された前記顔領域内の顔画像から、所定のパーツを含んでいるパーツ領域を抽出する抽出手段と、
前記パーツを変形させて表した変形パーツ画像に対応付けられたモデル画像の中から、抽出された前記パーツ領域内のパーツ画像と類似する前記モデル画像を判定する判定手段と、
判定結果に応じて、前記モデル画像に対応付けられた前記変形パーツ画像を選択する選択手段と、
検出された前記特徴点から得られる顔の輪郭の画像に対して、選択された前記変形パーツ画像を配置し、前記変形画像を生成する生成手段と
を備える情報処理装置。
【請求項２】
前記モデル画像は、複数のサンプル画像の画像特徴量を用いたAdaBoostECOC（Error Correct Output Coding）学習により生成される多クラス判別器から出力される入力画像に対する多次元スコアベクトルに基づいて、前記入力画像のパーツ画像を複数のプロトタイプに分類し、各プロトタイプに属するパーツ画像群の平均画像を求めることで生成される
請求項１に記載の情報処理装置。
【請求項３】
前記画像特徴量は、ピクセル差分特徴である
請求項２に記載の情報処理装置。
【請求項４】
前記変形パーツ画像は、前記パーツを絵により表したイラスト画像であり、
前記イラスト画像は、所定の画像処理により得られる前記モデル画像との類似度、あるいはユーザからの指示に基づいて、前記モデル画像と対応付けられている
請求項２に記載の情報処理装置。
【請求項５】
前記イラスト画像は、前記顔の輪郭の画像上の複数のパーツ点に対応するアンカー点を有しており、
前記生成手段は、前記アンカー点の間隔が前記パーツ点の間隔よりも狭く設定されている場合には前記イラスト画像を拡大してから配置し、前記アンカー点の間隔が前記パーツ点の間隔よりも広く設定されている場合には前記イラスト画像を縮小してから配置する
請求項４に記載の情報処理装置。
【請求項６】
前記対象画像は、撮像された撮像画像であり、
前記変形画像は、抽出された顔領域内の顔画像を絵により表した似顔絵画像である
請求項４に記載の情報処理装置。
【請求項７】
生成された前記変形画像を表示する表示手段をさらに備える
請求項１に記載の情報処理装置。
【請求項８】
対象画像から変形画像を生成する情報処理装置の情報処理方法において、
前記対象画像から顔領域を検出し、
検出された前記顔領域の特徴点を検出し、
検出された前記顔領域内の顔画像から、所定のパーツを含んでいるパーツ領域を抽出し、
前記パーツを変形させて表した変形パーツ画像に対応付けられたモデル画像の中から、抽出された前記パーツ領域内のパーツ画像と類似する前記モデル画像を判定し、
判定結果に応じて、前記モデル画像に対応付けられた前記変形パーツ画像を選択し、
検出された前記特徴点から得られる顔の輪郭の画像に対して、選択された前記変形パーツ画像を配置し、前記変形画像を生成する
ステップを含む情報処理方法。
【請求項９】
対象画像から変形画像を生成する機器を制御するコンピュータに実行させるプログラムであって、
前記対象画像から顔領域を検出し、
検出された前記顔領域の特徴点を検出し、
検出された前記顔領域内の顔画像から、所定のパーツを含んでいるパーツ領域を抽出し、
前記パーツを変形させて表した変形パーツ画像に対応付けられたモデル画像の中から、抽出された前記パーツ領域内のパーツ画像と類似する前記モデル画像を判定し、
判定結果に応じて、前記モデル画像に対応付けられた前記変形パーツ画像を選択し、
検出された前記特徴点から得られる顔の輪郭の画像に対して、選択された前記変形パーツ画像を配置し、前記変形画像を生成する
ステップを含むプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及び方法、並びにプログラムに関し、特に、ユーザの操作を介さずに顔画像の特徴を捉えた変形画像を生成することができるようにした情報処理装置及び方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年の顔画像認識技術の発達により、写真等の撮像画像に含まれる顔画像から似顔絵画像を生成する技術がより現実的なものとなってきている。
【０００３】
このような似顔絵画像を生成する手法としては、撮像画像のうちの顔画像に対してエッジ抽出処理などを施して得られる、目、眉、鼻、口などのパーツの輪郭画像から抽出した顔の各パーツ領域の位置関係、大きさや比率などを用いる手法によって、似顔絵画像を生成するものが一般的である。
【０００４】
特許文献１には、顔画像の形状及び配置に関する特徴量（目の大きさや形、傾きの形状などの特徴量）に基づいて顔の各顔部品データを選択して配置するに際して、その配置位置を変更パラメータにより制御するものが開示されている。
【０００５】
また、特許文献２には、表情などの項目がユーザにより選択された場合、目、眉、鼻、口や輪郭などの顔パーツ画像が組み合わされた顔画像と、その顔画像に応じた表示形態を有する背景画像が表示されるものが開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１０−２５５０１７号公報
【特許文献２】特開平８−３０５８３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の技術であると、顔画像を構成するパーツ画像の幾何学的な大きさや比率により似顔絵用の変形パーツ画像を選択していたために、顔画像の特徴を十分に捉えきれているとは言えず、さらに、似顔絵画像を生成するに際して、ユーザの操作を要する場合があった。そのため、ユーザの操作を介さずに、顔画像の特徴を捉えた似顔絵画像を生成するための技術が求められていた。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、ユーザの操作を介さずに顔画像の特徴を捉えた似顔絵画像などの変形画像を生成することができるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の一側面の情報処理装置は、対象画像から変形画像を生成する情報処理装置において、前記対象画像から顔領域を検出する第１の検出手段と、検出された前記顔領域の特徴点を検出する第２の検出手段と、検出された前記顔領域内の顔画像から、所定のパーツを含んでいるパーツ領域を抽出する抽出手段と、前記パーツを変形させて表した変形パーツ画像に対応付けられたモデル画像の中から、抽出された前記パーツ領域内のパーツ画像と類似する前記モデル画像を判定する判定手段と、判定結果に応じて、前記モデル画像に対応付けられた前記変形パーツ画像を選択する選択手段と、検出された前記特徴点から得られる顔の輪郭の画像に対して、選択された前記変形パーツ画像を配置し、前記変形画像を生成する生成手段とを備える。
【００１０】
前記モデル画像は、複数のサンプル画像の画像特徴量を用いたAdaBoostECOC（Error Correct Output Coding）学習により生成される多クラス判別器から出力される入力画像に対する多次元スコアベクトルに基づいて、前記入力画像のパーツ画像を複数のプロトタイプに分類し、各プロトタイプに属するパーツ画像群の平均画像を求めることで生成される。
【００１１】
前記画像特徴量は、ピクセル差分特徴である。
【００１２】
前記変形パーツ画像は、前記パーツを絵により表したイラスト画像であり、前記イラスト画像は、所定の画像処理により得られる前記モデル画像との類似度、あるいはユーザからの指示に基づいて、前記モデル画像と対応付けられている。
【００１３】
前記イラスト画像は、前記顔の輪郭の画像上の複数のパーツ点に対応するアンカー点を有しており、前記生成手段は、前記アンカー点の間隔が前記パーツ点の間隔よりも狭く設定されている場合には前記イラスト画像を拡大してから配置し、前記アンカー点の間隔が前記パーツ点の間隔よりも広く設定されている場合には前記イラスト画像を縮小してから配置する。
【００１４】
前記対象画像は、撮像された撮像画像であり、前記変形画像は、抽出された顔領域内の顔画像を絵により表した似顔絵画像である。
【００１５】
生成された前記変形画像を表示する表示手段をさらに備える。
【００１６】
本発明の一側面の情報処理方法は、対象画像から変形画像を生成する情報処理装置の情報処理方法において、前記対象画像から顔領域を検出し、検出された前記顔領域の特徴点を検出し、検出された前記顔領域内の顔画像から、所定のパーツを含んでいるパーツ領域を抽出し、前記パーツを変形させて表した変形パーツ画像に対応付けられたモデル画像の中から、抽出された前記パーツ領域内のパーツ画像と類似する前記モデル画像を判定し、判定結果に応じて、前記モデル画像に対応付けられた前記変形パーツ画像を選択し、検出された前記特徴点から得られる顔の輪郭の画像に対して、選択された前記変形パーツ画像を配置し、前記変形画像を生成するステップを含む。
【００１７】
本発明の一側面のプログラムは、対象画像から変形画像を生成する機器を制御するコンピュータに実行させるプログラムであって、前記対象画像から顔領域を検出し、検出された前記顔領域の特徴点を検出し、検出された前記顔領域内の顔画像から、所定のパーツを含んでいるパーツ領域を抽出し、前記パーツを変形させて表した変形パーツ画像に対応付けられたモデル画像の中から、抽出された前記パーツ領域内のパーツ画像と類似する前記モデル画像を判定し、判定結果に応じて、前記モデル画像に対応付けられた前記変形パーツ画像を選択し、検出された前記特徴点から得られる顔の輪郭の画像に対して、選択された前記変形パーツ画像を配置し、前記変形画像を生成するステップを含む。
【００１８】
本発明の一側面によれば、対象画像から顔領域が検出され、検出された顔領域の特徴点が検出され、検出された顔領域内の顔画像から、所定のパーツを含んでいるパーツ領域が抽出され、パーツを変形させて表した変形パーツ画像に対応付けられたモデル画像の中から、抽出されたパーツ領域内のパーツ画像と類似するモデル画像が判定され、判定結果に応じて、モデル画像に対応付けられた変形パーツ画像が選択され、検出された特徴点から得られる顔の輪郭の画像に対して、選択された変形パーツ画像が配置され、変形画像が生成される。
【発明の効果】
【００１９】
以上のように、本発明の一側面によれば、ユーザの操作を介さずに顔画像の特徴を捉えた変形画像を生成することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明を適用した似顔絵画像生成装置の一実施の形態の構成を示す図である。
【図２】似顔絵画像生成処理を説明するフローチャートである。
【図３】似顔絵画像生成処理の全体の流れを示す図である。
【図４】髪領域抽出処理の詳細について説明する図である。
【図５】描画処理の詳細について説明する図である。
【図６】イラスト画像選択処理の詳細について説明するフローチャートである。
【図７】パーツ領域定義情報の例を示す図である。
【図８】イラスト画像選択処理の詳細について説明する図である。
【図９】イラスト画像描画処理の詳細について説明する図である。
【図１０】似顔絵画像の例を示す図である。
【図１１】前処理装置の構成の例を示す図である。
【図１２】前処理を説明するフローチャートである。
【図１３】学習処理を説明するフローチャートである。
【図１４】Kクラス判別器の詳細について説明する図である。
【図１５】K次元スコアベクトルの算出手順の詳細を説明する図である。
【図１６】生成処理を説明するフローチャートである。
【図１７】目のモデル画像の例を示す図である。
【図１８】設定処理を説明するフローチャートである。
【図１９】目のイラスト画像の例を示す図である。
【図２０】目のモデル画像とイラスト画像の対応例を示す図である。
【図２１】イラスト画像を拡張して描画する場合の例について説明する図である。
【図２２】眉のモデル画像とイラスト画像の対応例を示す図である。
【図２３】鼻のモデル画像とイラスト画像の対応例を示す図である。
【図２４】口のモデル画像とイラスト画像の対応例を示す図である。
【図２５】コンピュータの構成を示す図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照しながら本発明の実施の形態について説明する。
【００２２】
［似顔絵画像生成装置の構成例］
図１は、本発明を適用した似顔絵画像生成装置の一実施の形態の構成を示す図である。
【００２３】
図１の似顔絵画像生成装置１は、顔画像を含む対象画像から似顔絵画像などの変形画像を生成し、LCD（Liquid Crystal Display）などの表示装置２の画面に表示させる。
【００２４】
似顔絵画像生成装置１は、図１に示すように、対象画像取得部１１、顔検出部１２、特徴点検出部１３、属性判別部１４、輪郭領域抽出部１５、髪領域抽出部１６、描画生成部１７、及びイラスト画像選択処理部１８から構成される。
【００２５】
対象画像取得部１１は、対象画像を取得し、顔検出部１２及び輪郭領域抽出部１５に供給する。
【００２６】
対象画像は、例えば、対象画像取得部１１がレンズやCCD（Charge Coupled Devices）等の撮像素子などから構成されるカメラ部である場合には、このカメラ部により撮像される撮像画像となる。また、対象画像は、メモリカード等の記録媒体に記録された画像データを読み出して取得したもの、あるいは、インターネット等のネットワークに接続された機器から、ネットワークを介して取得したものなどであってもよい。すなわち、対象画像は顔画像を含んでいる画像であればよく、その取得方法は任意である。
【００２７】
顔検出部１２は、対象画像取得部１１から供給される対象画像に対し、顔領域を検出するための所定の画像処理を施して、それにより得られる顔領域内の顔画像に関する情報を、特徴点抽出部１３、輪郭領域抽出部１５、髪領域抽出部１６、及びイラスト画像選択処理部１８に供給する。
【００２８】
特徴点検出部１３は、顔検出部１２から供給される顔領域内の顔画像に対して、目、眉、鼻、口などの器官（パーツ）や輪郭を特定するための特徴点を検出するための所定の画像処理を施して、それにより得られる特徴点に関する情報を、属性判別部１４及び輪郭領域抽出部１５に供給する。
【００２９】
属性判別部１４は、特徴点検出部１３から供給される特徴点により顔領域を位置決めして得られる顔画像パターンに対して、所定の属性を判別するための所定の画像処理を施して、例えば顔領域内の顔画像に含まれる眼鏡の有無を判別する。この属性の判別結果は、描画生成部１７に供給される。
【００３０】
輪郭領域抽出部１５には、対象画像取得部１１からの対象画像、顔検出部１２からの顔領域内の顔画像に関する情報、及び特徴点検出部１３からの特徴点に関する情報が供給される。輪郭領域抽出部１５は、対象画像から、顔領域を中心として所定の倍率だけ拡大した領域を切り出して、生成する似顔絵画像の画像サイズに合わせてリサイズする処理を行う。
【００３１】
また、このリサイズ処理に際して、輪郭領域抽出部１５は、特徴点検出部１３により検出された特徴点の位置（x，y）を、切り出された領域内での位置（x，y）に変換する処理を行う。これらの輪郭領域抽出部１５により求められた輪郭に関する情報は、描画生成部１７に供給される。
【００３２】
髪領域抽出部１６は、顔検出部１２から供給される顔領域内の顔画像（あるいは対象画像）に対して、髪領域を抽出するための所定の画像処理を施して、それにより得られる髪領域に関する情報を、描画生成部１７に供給する。
【００３３】
イラスト画像選択処理部１８は、顔領域内の目、眉、鼻、口などの所定のパーツに対応するイラスト画像を選択する処理を行う。
【００３４】
イラスト画像選択処理部１８は、パーツ領域抽出部３１、Kクラス判別器３２、類似度判定部３３、イラスト画像選択部３４、及びデータベース３５から構成される。
【００３５】
パーツ領域抽出部３１は、パーツ領域定義情報に基づいて、顔検出部１２から供給される顔領域内の顔画像から、所定のパーツを含んでいるパーツ領域を抽出し、Kクラス判別器３２に供給する。なお、パーツ領域定義情報は、例えば、データベース３５などにあらかじめ登録されており、そこから、パーツ領域抽出部３１によって取得される。
【００３６】
Kクラス判別器３２は、パーツ領域抽出部３１から供給されるパーツ領域内のパーツ画像についてのK次元のスコア（以下、K次元スコアベクトルという）を求めて、類似度判定部３３に供給する。
【００３７】
なお、このKクラス判別器３２は、各パーツ毎に用意されるものであって、後述する図１１の前処理装置１０１により求められるものであり、その詳細な説明は後述する。
【００３８】
類似度判定部３３は、データベース３５に登録されているパーツ対応情報により対応付けられたモデル画像のK次元スコアベクトルのうち、Kクラス判別器３２から供給されるK次元スコアベクトルに最も類似しているK次元スコアベクトルを特定して、最も類似したモデル画像を判定し、その判定結果をイラスト画像選択部３４に供給する。
【００３９】
なお、パーツ対応情報とは、イラスト画像と、モデル画像とを対応付けた情報であって、データベース３５に登録されている。このイラスト画像は、各パーツを変形させて表した変形パーツ画像の一例であって、各パーツを絵（イラスト）により表した画像である。また、モデル画像は、複数のサンプル画像の画像特徴量を用いたAdaBoostECOC（Error Correct Output Coding）学習により生成される多クラス判別器（後述する図１１のKクラス判別器３２）から出力される入力画像に対する多次元スコアベクトルに基づいて、入力画像のパーツ画像を複数のプロトタイプに分類し、各プロトタイプに属するパーツ画像群の平均画像を求めることで生成される画像である。
【００４０】
このパーツ対応情報についても、図１１の前処理装置１０１により求められるものであるため、その詳細な説明は後述する。
【００４１】
イラスト画像選択部３４は、類似度判定部３３から供給された判定結果に基づいて、データベース３５に登録されているパーツ対応情報の中から、最も類似していると判定されたモデル画像に対応付けられたイラスト画像を選択し、描画生成部１７に供給する。
【００４２】
データベース３５は、先に述べたパーツ領域定義情報とパーツ対応情報の他、アンカー点定義情報などの似顔絵画像を生成する上で必要となる各種の情報を保持する。なお、アンカー点定義情報は、対象画像に含まれる顔画像から検出される各パーツの位置（以下、パーツ点という）に対応付けられたイラスト画像上の点（以下、アンカー点という）を定義している。このアンカー点定義情報についても、図１１の前処理装置１０１により求められるものであるため、その詳細な説明は後述する。
【００４３】
描画生成部１７には、属性判別部１４からの判別結果、輪郭領域抽出部１５からの輪郭に関する情報、髪領域抽出部１６からの髪領域に関する情報、イラスト画像選択部３４からのイラスト画像、及びデータベース３５からのアンカー点定義情報が供給される。
【００４４】
描画生成部１７は、輪郭と髪領域に関する情報に基づいて、輪郭領域と髪領域の和集合の領域内を所定の肌の色で塗りつぶし、さらにその上から、髪領域内を所定の髪の色で塗りつぶして、肌領域と髪領域だけからなる画像（以下、土台画像という）を描画する。その後、描画生成部１７は、イラスト画像に対して、アンカー点定義情報により定義されたアンカー点とパーツ点とが一致するように回転や拡大縮小（リサイズ）などの所定の画像処理を施し、それにより得られたイラスト画像を土台画像に描画して配置し、似顔絵画像を生成する。
【００４５】
また、描画生成部１７は、属性判別部１４からの判別結果が、眼鏡が有ることを示している場合、アンカー点定義情報に従って、眼鏡の画像をさらに配置する。
【００４６】
このようにして生成された似顔絵画像は、描画生成部１７によって、表示装置２に表示される。
【００４７】
以上のようにして、似顔絵画像生成装置１は構成される。
【００４８】
［似顔絵画像生成処理の説明］
次に、図２のフローチャートを参照して、図１の似顔絵画像生成装置１により実行される、似顔絵画像を生成する処理（似顔絵画像生成処理）について説明する。
【００４９】
なお、図２の説明では、各ステップで実行される処理を分かり易くするため、図３の全体の流れ図を随時適宜参照しながら説明する。
【００５０】
ステップＳ１１において、対象画像取得部１１は、撮像画像などの顔画像を含んだ対象画像を取得する。例えば、対象画像取得部１１には、図３Ａの顔画像を含んでいる対象画像が入力される。
【００５１】
ステップＳ１２において、顔検出部１２は、対象画像取得部１１から供給される対象画像中の顔パターンをスキャンすることで、対象画像における顔領域の位置（x，y，w，h）を検出する。例えば、顔検出部１２では、図３Ｂの顔に重畳された直方体で示す領域が、顔領域として検出される。
【００５２】
ステップＳ１３において、特徴点検出部１３は、顔検出部１２により検出された顔領域内の顔画像の各特徴点のパターンをスキャンすることで、特徴点の位置（x，y）を検出する。この特徴点によって、パーツと輪郭が特定される。例えば、特徴点検出部１３では、図３Ｃの顔に重畳された点で示す特徴点が検出される。
【００５３】
ステップＳ１４において、属性判別部１４は、特徴点検出部１３により検出された目などの特徴点で位置決めして得られる顔画像パターンに対して属性の判別をし、眼鏡の有無を判別する。例えば、属性判別部１４では、図３Ｄに示すように、顔画像パターンから眼鏡属性が判別され、この例の場合には、眼鏡が有ると判別される。
【００５４】
ステップＳ１５において、輪郭領域抽出部１５は、対象画像から、顔検出部１２により検出された顔領域を中心として拡大した領域を切り出し、生成する似顔絵画像の画像サイズに合わせてリサイズする処理を行う。このリサイズの大きさとしては、顔検出部１２により検出される顔領域では顔全体が少しはみ出すくらいの領域を抽出するので、例えば、この領域を中心として大きさ1.6倍くらいの領域が対象画像から切り出される。
【００５５】
この際、例えば、求めたい似顔絵画像の画像サイズを300×300画素とすると、検出された顔領域内の顔画像が、この画像サイズにリサイズされることになる。またこのとき、輪郭領域抽出部１５は、特徴点検出部１３により検出された顔領域の特徴点の位置を、切り出された画像での位置に変換して、描画生成部１７に供給する。
【００５６】
ステップＳ１６において、髪領域抽出部１６は、顔検出部１２により検出された顔領域（あるいは対象画像）内の顔画像の上半分の領域（頭頂部側の領域）の画像から得られるRGB値に対し、例えばk-meansアルゴリズムを用いてクラスタリングして、所定の領域を髪領域として抽出する。
【００５７】
図４は、髪領域抽出部１６により実行される髪領域抽出処理の詳細について説明する図である。
【００５８】
髪領域抽出処理としては、図４Ａに示すように、まず、顔領域内の上半分の顔上部領域ＡUが抽出される。そして、この顔上部領域ＡU内の全ての画素（r，g，b）を、k-meansアルゴリズムを用いて３色にクラスタリングすると、全ての画素は、３つのクラスのうちのどれかに属することになる。次に、隣り合う画素のラベルが一致するか否かが判定され、領域分割が行われると、図４Ｂに示すように、背景、髪、肌の３つの領域に分割される。
【００５９】
なお、この分割処理では、３つ以上の領域に分割されることもあるが、髪領域抽出部１６は、図４Ｃに示すように、例えば黒色に最も近い領域の中で、面積が最大となる領域を髪領域として抽出するようにすればよい。
【００６０】
図２のフローチャートに戻り、ステップＳ１７において、描画生成部１７は、輪郭領域と髪領域の和集合の領域内を所定の肌の色で塗りつぶし、さらにその上から、髪領域内を所定の髪の色で塗りつぶして、顔の土台画像を描画する。すなわち、図３Ｅに示すように、まず、抽出された輪郭領域が描画され、その後、図３Ｆに示すように、抽出された髪領域が描画されることで、土台画像が描画される。
【００６１】
図５は、描画生成部１７により実行される土台画像の描画処理の詳細について説明する図である。
【００６２】
図５Ａに示すように、検出された輪郭の特徴点が、スプライン曲線補間などの所定の補間処理により繋がれて、曲線により囲まれた領域が求められると、図５Ｂに示すような輪郭領域となる。そして、図５Ｃに示すように、この輪郭領域と、髪領域抽出部１６により抽出された髪領域の内側を肌色で塗りつぶした後、さらに、髪領域だけを黒色（髪の色）で塗りつぶすことで、図５Ｄの土台画像が得られる。
【００６３】
図２のフローチャートに戻り、ステップＳ１８において、イラスト画像選択処理部１８は、イラスト画像選択処理を実行する。このイラスト画像選択処理は、図３Ｇのイラスト画像選択に相当する処理である。
【００６４】
ここで、図６のフローチャートを参照して、図２のステップＳ１８のイラスト画像選択処理の詳細について説明する。なお、ここでは、説明を分かり易くするため、目、眉、鼻、口などのパーツのうちの、目のイラスト画像を選択する例を中心に説明する。
【００６５】
イラスト画像選択処理部１８では、ステップＳ３１において、対象画像の顔領域が所定の画像サイズにリサイズされ、パーツ領域抽出部３１によって、所定の画像サイズとなった顔領域から、パーツ領域定義情報に従ったパーツ領域が切り出される。
【００６６】
図７は、パーツ領域定義情報の例を示す図である。
【００６７】
図７に示すように、64×64画素の大きさにリサイズされた顔領域から各パーツ領域を切り出す場合、顔領域上の任意の位置である点（x1，y1）と点（x2，y2）を対角とする四角形の領域を抽出することになる。例えば、目パーツ領域は、点（10，23）と点（55，30）を対角とする四角形の領域となるので、パーツ領域抽出部３１によって、その領域が目パーツ領域として切り出される。
【００６８】
図６のフローチャートに戻り、ステップＳ３３において、目パーツ領域用のKクラス判別器３２は、目パーツ領域内のパーツ画像に対応するK次元スコアベクトルを求める。
【００６９】
ステップＳ３４において、類似度判定部３３は、データベース３５に登録されているパーツ対応情報によりイラスト画像と対応付けられたモデル画像のK次元スコアベクトルのうち、目パーツ領域用のKクラス判別器３２により演算された目パーツ領域内のパーツ画像から得られるK次元スコアベクトルに最も類似しているK次元スコアベクトルを特定して、最も類似したモデル画像を判定する。なお、このK次元スコアベクトルどうしの類似度には、例えば、ユークリット距離が採用される。
【００７０】
ステップＳ３５において、イラスト画像選択部３４は、類似度判定部３３の判定結果に基づいて、データベース３５に登録されているパーツ対応情報の中から、最も類似していると判定されたモデル画像に対応付けられたイラスト画像を選択する。
【００７１】
図８は、イラスト画像選択処理の詳細について説明する図である。
【００７２】
図８に示すように、パーツ領域抽出部３１によって、対象画像の顔領域から目パーツ領域内のパーツ画像が抽出された場合、類似度判定部３３は、Kクラス判別器３２の演算結果から、そのパーツ画像と、複数のモデル画像との類似度を判定し、最も類似度の高いモデル画像を判定する。パーツ対応情報では、モデル画像とイラスト画像とがあらかじめ対応付けられているので、イラスト画像選択部３４は、最も類似度の高いモデル画像と紐付けられた１つのイラスト画像を選択することが可能となる。
【００７３】
これにより、あらかじめ用意された複数のイラスト画像の中から、顔領域から抽出された目パーツ領域内のパーツ画像に最も類似するモデル画像に紐付けられた１つのイラスト画像が選択され、処理は、図２のステップＳ１８の処理に戻る。
【００７４】
ステップＳ１９において、描画生成部１７は、イラスト画像選択部３４により選択されたイラスト画像に対して、アンカー点定義情報により定義されたアンカー点と対応するパーツ点とが一致するように回転や拡大縮小などの画像処理を施し、それにより得られたイラスト画像を、ステップＳ１７の処理により得られた土台画像に描画する。
【００７５】
図９は、イラスト画像描画処理の詳細について説明する図である。
【００７６】
図９に示すように、イラスト画像選択部３４により選択された目のイラスト画像のアンカー点ＰAと、特徴点検出部１３により検出された顔領域の特徴点に対応する似顔絵画像（土台画像）上のパーツ点ＰPとが、アンカー点定義情報によって対応付けられていることは、先に述べた通りである。
【００７７】
すなわち、図９Ａに示すように、一方のアンカー点ＰA1とパーツ点Ｐp1とが対応し、他方のアンカー点ＰA2とパーツ点Ｐp2とが対応しているので、描画生成部１７は、それらの点をそれぞれ一致させて目のイラスト画像を土台画像上に描画できるように、イラスト画像に対して回転や拡大縮小などの画像処理を施してから、対応するアンカー点ＰAとパーツ点ＰPとのそれぞれが一致するように描画する。このようにして描画すると、図９Ｂに示すように、右目のイラスト画像が土台画像上に描画される。
【００７８】
なお、このとき、土台画像として、既に肌領域は描画されているので、イラスト画像に対応する画素だけが上書きされることになる。また、パーツ点ＰPは、検出された特徴点と一致する点であってもよいし、この特徴点とは別に設定された点であってもよい。
【００７９】
図２のフローチャートに戻り、ステップＳ２０において、イラスト画像選択処理部１８は、土台画像に対して、目、眉、鼻、口、額などの全てのイラスト画像を描画したか否かを判定する。
【００８０】
ステップＳ２０において、全てのイラスト画像を描画していないと判定された場合、ステップＳ１８に戻り、上述したステップＳ１８ないしＳ２０のイラスト画像の選択描画処理が繰り返される。
【００８１】
すなわち、このイラスト画像の選択描画処理が繰り返されることで、図７のパーツ領域定義情報に定義された目パーツ領域以外の、眉パーツ領域（点（8，15）−点（57，22））、鼻パーツ領域（点（21，31）−点（44，45））、口パーツ領域（点（18，46）−点（47，59））、額パーツ領域（点（1，1）−点（64，14））がそれぞれ抽出され、それらのパーツ領域毎に用意されたKクラス判別器３２を用いてモデル画像との類似度が判定され、最も類似度の高いモデル画像に対応したイラスト画像がそれぞれ選択される。そして、選択されたイラスト画像は、アンカー点定義情報に従って画像処理が施された後、土台画像上の所定の位置に描画され、配置される。
【００８２】
一方、全てのイラスト画像の描画が終了したと判定された場合、処理は、ステップＳ２１に進む。ステップＳ２１において、描画生成部１７は、属性判別部１４からの眼鏡属性の判別結果が、眼鏡が有ることを示している場合、アンカー点定義情報に従って、眼鏡のフレーム部分の画像を、土台画像上の所定の位置に描画する。これにより、例えば、図３Ｈの似顔絵画像が生成される。
【００８３】
以上のようにして生成される似顔絵画像を例示すると、次のようになる。すなわち、図１０は、描画生成部１７により生成された似顔絵画像（変形画像）を、表示装置２の画面に表示した例を示す図である。
【００８４】
図１０Ａないし図１０Ｆのそれぞれの対象画像（左側）と似顔絵画像（右側）との組み合わせで示すように、上記の似顔絵画像生成処理を実行することで、左側の対象画像に含まれる顔画像の各パーツ領域に対応するイラスト画像がそれぞれ個別に選択され、それらの選択されたイラスト画像が土台画像上に描画されて、右側の似顔絵画像がそれぞれ生成される。
【００８５】
すなわち、この似顔絵画像は、各パーツ領域内のパーツ画像とイラスト画像との類似度ではなく、パーツ画像とモデル画像との類似度に基づいて選択されたイラスト画像から生成されたものとなるので、対象画像の各パーツ画像に最も似ているモデル画像に紐付けられたイラスト画像を顔画像の見えから直接的に選択して、顔画像の特徴を捉えた似顔絵画像を生成することができる。つまり、直接的にパーツ画像とイラスト画像との類似度を求めることは困難であるが、本実施の形態では、あらかじめモデル画像とイラスト画像とを紐付けしておき、パーツ画像とモデル画像との類似度を計算して、パーツ画像に最も類似しているモデル画像に紐付けられたイラスト画像を選択するようにしている。
【００８６】
以上のようにして、似顔絵画像生成処理が実行される。
【００８７】
［前処理装置の構成例］
次に、図１の似顔絵画像生成装置１が似顔絵画像生成処理を実行する上で必要となる事前の前処理として、Kクラス判定器３２を生成するための学習処理、モデル画像を生成するための生成処理、及びパーツ対応情報やアンカー点定義情報などの各種情報を設定するための設定処理について説明する。これらの前処理は、前処理装置により実行される。
【００８８】
図１１は、前処理装置の構成の例を示す図である。
【００８９】
図１１に示すように、前処理装置１０１は、学習処理を行う学習系１１１と、生成処理を行う生成系１１２と、設定処理を行う設定系１１３から構成される。
【００９０】
学習系１１１には、学習サンプル取得部１２１、前画像処理部１２２、学習部１２３、及びKクラス判別器３２が属する。生成系１１２には、生成用画像取得部１２４、前画像処理部１２５、Kクラス判別器３２、生成部１２６、及びデータベース３５が属する。設定系１１３には、イラスト画像取得部１２７、設定部１２８、及びデータベース３５が属する。
【００９１】
なお、図１１において、図１と対応する箇所には同一の符号が付してあり、その説明は適宜省略する。すなわち、図１１には、図１と同様のKクラス判別器３２とデータベース３５が記述されているが、前処理装置１０１においては、似顔絵画像生成装置１を構成するKクラス判別器３２を生成し、さらに、各種情報を設定してデータベース３５に登録するための処理が行われることになる。
【００９２】
まず、学習系１１１について説明する。
【００９３】
学習サンプル取得部１２１は、K人（K=1,2,・・・,K）のサンプル人物についてそれぞれ様々なバリエーションで用意されている顔画像（以下、サンプル画像という）を取得し、前画像処理部１２２に供給する。
【００９４】
前画像処理部１２２は、学習サンプル取得部１２１から供給されるサンプル画像から顔領域を検出し、所定の画像サイズにリサイズする処理を行う。このリサイズ処理では、先に述べたパーツ領域定義情報（図７）に定義された画像サイズに合わせた大きさにリサイズされる。そして、前画像処理部１２２は、リサイズ後の顔領域から、パーツ領域定義情報に従ったパーツ領域を切り出し、学習部１２３に供給する。
【００９５】
学習部１２３は、前画像処理部１２２から供給されるパーツ領域内のパーツ画像の画像特徴量を求めて、AdaBoostECOC（Error Correct Output Coding）により複数の弱判別器を学習し、これら複数の弱判別器からなるKクラス判別器３２を生成する。
【００９６】
次に、生成系１１２について説明する。
【００９７】
生成用画像取得部１２４は、モデル画像を生成するために無作為に抽出した多数の顔画像（以下、生成用画像という）を取得し、前画像処理部１２５に供給する。
【００９８】
前画像処理部１２５は、前画像処理部１２２においてサンプル画像をリサイズする処理と同様に、生成用画像取得部１２４からの生成用画像をリサイズしてパーツ領域を切り出し、Kクラス判別器３２に供給する。
【００９９】
Kクラス判別器３２は、前画像処理部１２５から供給されるパーツ領域内のパーツ画像に対応するK次元スコアベクトルを求めて、生成部１２６に供給する。
【０１００】
生成部１２６は、Kクラス判別器３２から供給されるK次元スコアベクトルに基づいて、パーツ画像をN個（N=1,2,・・・,N）のプロトタイプに分類して、各プロトタイプに属するパーツ画像群の平均画像を求めることでモデル画像を生成する。このモデル画像は、データベース３５に登録される。
【０１０１】
次に、設定系１１３について説明する。
【０１０２】
イラスト画像取得部１２７は、各パーツのイラスト画像を取得し、設定部１２８に供給する。
【０１０３】
設定部１２８は、イラスト画像取得部１２７から供給されるイラスト画像と、データベース３５に登録されているモデル画像とを対応付けることでパーツ対応情報を設定して、データベースに登録する。また、設定部１２８は、アンカー点定義情報を設定して、データベース３５に登録する。
【０１０４】
以上のようにして、前処理装置１０１は構成される。
【０１０５】
［前処理の説明］
次に、図１２のフローチャートを参照して、図１１の前処理装置１０１により実行される前処理について説明する。
【０１０６】
ステップＳ５１において、前処理装置１０１の学習系１１１は、学習処理を実行することにより、Kクラス判別器３２を生成する。
【０１０７】
ステップＳ５２において、前処理装置１０１の生成系１１２は、生成処理を実行することのより、モデル画像を生成し、データベース３５に登録する。
【０１０８】
ステップＳ５３において、前処理装置１０１の設定系１１３は、設定処理を実行することにより、パーツ対応情報及びアンカー点定義情報をそれぞれ設定し、データベース３５に登録する。
【０１０９】
以下、上述した図１２のステップＳ５１ないしＳ５３の詳細について説明する。
【０１１０】
［学習処理を詳細］
図１３は、学習処理を詳細に説明するフローチャートである。
【０１１１】
ステップＳ７１において、学習サンプル取得部１２１は、K人のサンプル人物についてそれぞれ様々なバリエーションで用意されているサンプル画像を取得する。
【０１１２】
前画像処理部１２２は、ステップＳ７２において、学習サンプル取得部１２１により取得されたサンプル画像から顔領域を検出した後、パーツ領域定義情報に基づいて、検出した顔領域を所定の画像サイズにリサイズし（ステップＳ７３の処理）、リサイズ後の顔領域からパーツ領域を切り出す（ステップＳ７４の処理）。
【０１１３】
このリサイズ処理では、先に述べた、図７のパーツ領域定義情報に定義された画像サイズに合わせて、例えば64×64画素の大きさにリサイズされ、例えば目パーツ領域（点（10，23）−点（55，30））が切り出される。
【０１１４】
そして、学習部１２３では、ステップＳ７５において、パーツ画像の画像特徴量が求められ、ステップＳ７６において、AdaBoostECOCにより複数の弱判別器が学習されることで、Kクラス判別器３２が生成される。
【０１１５】
なお、各クラスに属するか否か判別する複数の弱判別器では、判別の基準としてサンプル画像（パーツ画像）の画像特徴量を用いる。画像特徴量としては、例えば、本発明者が既に提案しているピクセル差分特徴（PixDif Feature）を用いることができる。
【０１１６】
このピクセル差分特徴については、“佐部、日台、「ピクセル差分特徴を用いた実時間任意姿勢顔検出器の学習」、第10回画像センシングシンポジウム予稿集、pp.547-552．2004”、特開２００５−１５７６７９号公報などに開示されている。
【０１１７】
図１４は、学習部１２３により生成されるKクラス判別器３２の詳細について説明する図である。
【０１１８】
図１４に示すように、“Aさん”、“Bさん”、“Cさん”、・・・などのK人のサンプル人物についてそれぞれ様々なバリエーションでサンプル画像が取得され、それらの顔領域がリサイズされた後、そこから各パーツ領域が切り出されるのは、図１３のステップＳ７１ないしＳ７４の処理の説明で述べた通りである。
【０１１９】
学習部１２３においては、このようにして得られたK人のサンプル人物の顔画像の各パーツ画像についての画像特徴量がピクセル差分特徴により求められ、その画像特徴量を用いたAdaBoostECOCにより複数の弱判別器が学習され、多クラス判別器としてのKクラス判別器３２が生成される。
【０１２０】
以上のように生成されるKクラス判別器３２では、入力される顔画像が各サンプル人物Kにどの程度似ているかを示すスコアが算出される。なお、このスコアの値が大きいほどよく似ているものとする。したがって、先に述べた通り、このKクラス判別器３２は、K次元のスコアであるK次元スコアベクトルを出力することになる。
【０１２１】
このように、各パーツ毎にK次元からなるスコア空間が得られることになり、例えば、入力されるパーツ画像が同一人物のものであれば、K次元スコア空間での距離は近いものとなる。そして、入力される顔画像が未知顔の人物“Xさん”である場合には、その“Xさん”の各パーツが、サンプル人物“Aさん”、“Bさん”、“Cさん”、・・・の各パーツのそれぞれに対してどの程度似ているかを数値化して表すことができる。これにより、パーツ毎のK次元スコア空間での距離によって、各パーツの類似度を判定することが可能となる。
【０１２２】
より具体的には、図１５に示す処理が行われる。すなわち、顔画像（Face image A）上の２画素の画素値（輝度値）I1，I2の差分（I1−I2）を算出することで、ピクセル差分特徴（PixDif Feature）が得られる。２画素の組み合わせにそれぞれ対応する２値判別弱判別器h（x）では、次式（１）に示すように、このピクセル差分特徴（I1−I2）と、閾値Thによって、真（+1）又は偽（-1）が判別される。
【０１２３】
h(x)＝-1      if I1−I2≦Th
h(x)＝+1      if I1−I2＞Th          ・・・（１）
【０１２４】
式（１）より得られたh(x)と、各クラス毎に定義されたECOCビット（1行K列のECOCテーブル（ECOC table）に格納されるK列の値（+1又は-1））とを比較して、その判定結果がECOCビットと一致する場合、そのクラスのスコアは信頼度α分だけ上昇し、逆に、判定結果がECOCビットと不一致である場合、スコアは信頼度α分だけ減少する。
【０１２５】
この処理を画像特徴量の数だけ繰り返すことで、K次元スコアベクトル（Score of K-Class）として、H(1)，H(2)，H(3)，H(4)，H(5)，・・・を求めることができる。
【０１２６】
図１３のフローチャートに戻り、ステップＳ７７において、学習部１２３は、全てのパーツについて、Kクラス判別器３２の生成が終了したか否かを判定する。
【０１２７】
ステップＳ７７において、全てのパーツのKクラス判別器３２の生成が終了していないと判定された場合、ステップＳ７４に戻り、上述した、生成処理（ステップＳ７４ないしＳ７７の処理）が繰り返される。
【０１２８】
すなわち、それらの生成処理が繰り返されることで、図７のパーツ領域定義情報に従って、リサイズ後の顔領域から、目パーツ領域、眉パーツ領域、鼻パーツ領域、口パーツ領域、及び額パーツ領域などの各パーツ領域がそれぞれ抽出され、それらのパーツ領域毎に、各Kクラス判別器３２がそれぞれ個別に生成される。
【０１２９】
そして、図７のパーツ領域定義情報により定義されたパーツ領域毎のKクラス判別器３２を得て、学習処理は終了される。
【０１３０】
以上のように生成された各パーツ毎のKクラス判別器３２によれば、入力される顔画像（パーツ画像）の画像特徴量をK次元スコアベクトルにより表現できる。すなわち、例えば、サンプル人物を、“Aさん”、“Bさん”、“Cさん”、・・・とすれば、未知顔の人物“Xさん”の各パーツがサンプル人物“Aさん”、“Bさん”、“Cさん”、・・・の各パーツのそれぞれに対してどの程度似ているかを数値化して表すことができる。
【０１３１】
［生成処理の詳細］
図１６は、生成処理を詳細に説明するフローチャートである。
【０１３２】
ステップＳ９１ないしＳ９４においては、図１３のステップＳ７１ないしＳ７４と同様にして、前画像処理部１２５によって、生成用画像取得部１２４により取得された生成用画像から顔領域が検出され、リサイズ後の顔領域からパーツ領域が切り出される。なお、生成用画像としては、例えば10000枚の無作為に抽出された顔画像を含む画像が用いられる。
【０１３３】
このようにして得られたパーツ画像は、各パーツ毎のKクラス判別器３２に入力される。Kクラス判別器３２では、ステップＳ９５において、入力されたパーツ画像のピクセル差分特徴が閾値判別され、クラス毎に定義されたECOCビットと比較されることで、K次元スコアベクトルが求められる。
【０１３４】
ステップＳ９６において、生成部１２６は、Kクラス判別器３２により演算されたパーツ画像に対応するK次元スコアベクトルの集合を、そのK次元スコア空間上で、例えばk-meansアルゴリズムを用いてクラスタリングしてN個の部分集合に分割する。これにより、パーツ画像がN個のプロトタイプに分類されるので、生成部１２６は、分類した各プロトタイプに属するパーツ画像群の平均画像を求めることで、モデル画像を生成し、データベース３５に登録する。
【０１３５】
図１７は、目のモデル画像の例を示す図である。
【０１３６】
図１７に示すように、例えば、目のクラスタとして、目のパーツ画像を24個のプロトタイプに分類した場合において、各プロトタイプに属するパーツ画像群の平均をとったものが、目のモデル画像となる。図１７の例では、各プロトタイプのモデル画像毎に、特に、目の形状だけが異なっていることが分かる。
【０１３７】
図１６のフローチャートに戻り、ステップＳ９７において、生成部１２６は、全てのパーツについて、モデル画像の生成が終了したか否かを判定する。
【０１３８】
ステップＳ９７において、全てのパーツのモデル画像の生成が終了していないと判定された場合、ステップＳ９４に戻り、上述した、生成処理（ステップＳ９４ないしＳ９７の処理）が繰り返される。
【０１３９】
すなわち、それらの生成処理が繰り返されることで、図７のパーツ領域定義情報に従って、リサイズ後の顔領域から、先に述べた目パーツ領域以外の眉パーツ領域、鼻パーツ領域、口パーツ領域、及び額パーツ領域などの各パーツ領域がそれぞれ抽出され、それらのパーツ領域毎に、N枚のモデル画像がそれぞれ個別に生成され、データベース３５に登録される。
【０１４０】
そして、図７のパーツ領域定義情報により定義されたパーツ領域毎のN枚のモデル画像を得て（各パーツ領域毎のモデル画像の枚数は、同数である必要はない）、生成処理は終了される。
【０１４１】
［設定処理］
図１８は、設定処理を詳細に説明するフローチャートである。
【０１４２】
ステップＳ１０１において、イラスト画像取得部１２７は、各パーツのイラスト画像を取得する。例えば目のイラスト画像を設定する場合、イラスト画像として、図１９ａないし１９ｌで示すような、似顔絵画像を構成するためのパーツのうちの、目の形状を示した様々なバリエーションからなるイラスト画像をあらかじめ用意しておくことになる。
【０１４３】
ステップＳ１０２において、設定部１２８は、データベース３５に登録されているモデル画像を取得する。このモデル画像は、生成系１１２により生成され、データベース３５に登録されたものであって（図１６の生成処理）、例えば目のイラスト画像の設定を行う場合、パーツ領域毎に生成されてデータベース３５に登録されているモデル画像のうち、図１７の目のモデル画像が取得される。
【０１４４】
ステップＳ１０３において、設定部１２８は、取得したイラスト画像とモデル画像とを対応付けることで、パーツ対応情報を設定して、データベース３５に登録する。
【０１４５】
この対応付けの方法としては、第１に、あるモデル画像に対して、候補のイラスト画像群の中から最も類似するイラスト画像を紐付けるための画像処理を実行することで対応付けを行う方法、第２に、ユーザが目視でモデル画像を確認して、そのモデル画像に似ていると感じたイラスト画像を候補のイラスト画像群の中から選択して指示することで対応付けを行う方法の２つがある。
【０１４６】
これらの方法のいずれかで対応付けが行われると、例えば、イラスト画像（図１９）とモデル画像（図１７）は、図２０に示すように対応付けされる。図２０の例では、6×4のモデル画像に対して、それらの目の見えに応じた6×4のイラスト画像がそれぞれ対応付けられている。これにより、パーツの幾何学的な大きさや比率ではなく、パーツ画像とモデル画像との見えのパターンから類似度を算出することができ、より人間の主観とあった類似度を定義することができる。
【０１４７】
なお、ユーザが目視により対応付けを行う場合には、設定部１２８は、例えば、図２１Ａに示すように、口に特徴があるモデル画像に対して、特徴的な口のイラスト画像を意図的に対応付けることができる。また、設定部１２８は、ユーザからの指示に基づいて、図２１Ｂに示すように、目に特徴があるモデル画像に対しては、特徴的な目のイラスト画像を意図的に対応付けることもできる。
【０１４８】
このように、パーツ対応情報の設定時において、モデル画像に対して、実際の見えよりも誇張した表現のイラスト画像を割り当てておくことで、似顔絵画像の生成時には、人間の主観とあった顔の特徴を有する似顔絵画像（顔の特徴がより強調された似顔絵画像）を生成することができる。
【０１４９】
図１８のフローチャートに戻り、ステップＳ１０４において、設定部１２８は、例えばユーザからの指示に基づいて、各イラスト画像毎のアンカー点定義情報を設定して、データベース３５に登録する。
【０１５０】
このアンカー点定義情報については、図９などを参照して先に述べたが、アンカー点ＰA1，ＰA2のそれぞれの位置をより内側に設定して、それらの点の間隔をパーツ点Ｐp1，Ｐp2の間隔よりも狭くすることで、対応するパーツ点Ｐp1，Ｐp2に配置したときに、例えば目のイラスト画像であれば拡大されてから描画されるので、同じイラスト画像でも、より大きな目を表現することができる。一方、アンカー点ＰA1，ＰA2のそれぞれの位置をより外側に設定すると、それらの点の間隔は逆にパーツ点Ｐp1，Ｐp2の間隔よりも広がるので、例えば目のイラスト画像であれば縮小されてから描画されるので、同じイラスト画像でも、より小さな目を表現することができる。
【０１５１】
このように、同じイラスト画像であっても、アンカー点の位置を変更するだけで、様々な表示形態でパーツを表すことができるので、用意するイラスト画像を少なくできるとともに、各パーツの特徴を捉えた変形パーツ画像を提供できる。
【０１５２】
なお、アンカー点は、２点に限らず、対応するパーツ点の数に合わせて設定することができる。
【０１５３】
ステップＳ１０５において、設定部１２８は、全てのパーツのパーツ対応情報とアンカー点定義情報の設定が終了したか否かを判定する。
【０１５４】
ステップＳ１０５において、全てのパーツのパーツ対応情報とアンカー点定義情報の設定が終了していないと判定された場合、ステップＳ１０１に戻り、上述した、設定処理（ステップＳ１０１ないしＳ１０５の処理）が繰り返される。
【０１５５】
すなわち、それらの設定処理が繰り返されることで、パーツ領域毎に生成されたモデル画像に対してイラスト画像がそれぞれ個別に紐付けられ、さらにそれらのイラスト画像のアンカー点もそれぞれ個別に設定される。
【０１５６】
図２２ないし図２４は、モデル画像とイラスト画像の対応例をそれぞれ示しており、図２２は眉、図２３は鼻、図２４は口の対応例を示す。
【０１５７】
図２２に示すように、眉のクラスタとして、眉のパーツ画像を12個のプロトタイプに分類して、各プロトタイプに属するパーツ画像群の平均をとったものが、図中上側の眉のモデル画像となる。図２２の例では、各プロトタイプのモデル画像毎に、特に、眉の形状だけが異なっていることが分かる。設定処理により、それらの眉のモデル画像に対して、図中下側の眉のイラスト画像がそれぞれ個別に対応付けられる。
【０１５８】
図２３及び図２４においては、図２１の眉の場合と同様に、図２３の鼻のモデル画像に対して鼻のイラスト画像がそれぞれ個別に対応付けられ、図２４の口のモデル画像に対して口のイラスト画像がそれぞれ個別に対応付けられる。
【０１５９】
これらの設定処理により対応付けられた情報は、パーツ対応情報としてデータベース３５に登録される。そして、全てのパーツのパーツ対応情報とアンカー点定義情報を設定して、設定処理は終了される。
【０１６０】
このように、前処理装置１０１において、各パーツ毎のKクラス判別器３２を生成し、さらに、パーツ対応情報とアンカー点定義情報を設定してデータベース３５にあらかじめ登録しておくことで、それらのKクラス判別器３２とデータベース３５を用いる似顔絵画像生成装置１においては、ユーザの操作を介さずに、顔画像を含む対象画像から似顔絵画像を生成することができる。
【０１６１】
［クラス分けの他の例］
ここまでは、パーツ対応情報によって、単にモデル画像とイラスト画像とを対応付けていたが、サンプル人物の属性情報をクラスラベルとしてサンプル画像に付与し、それぞれについてKクラス判別器３２に学習させるようにしてもよい。サンプル人物の属性情報としては、例えば、人種、年齢区分、性別、眼鏡の有無などの同一のサンプル人物であれば、同じ属性に属するものが挙げられる。
【０１６２】
各属性情報をクラスラベルとして学習したKクラス判別器３２を使用することで、単にパーツ画像とモデル画像との類似度を求めていた場合と比較し、パーツ画像とモデル画像をより詳細に特徴付けることができる。よって、パーツ画像とモデル画像の類似度をより正確に求めることができ、正確なイラスト画像を選択することが可能となる。
【０１６３】
なお、本実施の形態では、図１の似顔絵画像生成装置１と、図１１の前処理装置１０１とは別の装置であるとして説明したが、図１の似顔絵画像生成装置１に対応する一処理部としての似顔絵画像生成部と、図１１の前処理装置１０１に対応する一処理部としての前処理部とからなる１つの装置として捉えることもできる。この場合、それらの装置で共通な構成となる、Kクラス判別器３２とデータベース３５は、前処理部により生成（設定）され、似顔絵画像生成部による似顔絵画像生成処理で用いられる。
【０１６４】
また、本実施の形態では、図１の似顔絵画像生成装置１と、表示装置２とは別の装置であるとして説明したが、表示装置２に対応する一処理部としての表示部が、似顔絵画像生成装置１内に設けられると捉えることもできる。この場合、描画生成部１７は、表示部の画面に対して生成した似顔絵画像を表示させることになる。
【０１６５】
さらに、描画生成部１７により生成される似顔絵画像は、表示装置２の画面に表示させるだけでなく、JPEG方式などの所定の圧縮方式により圧縮し、ファイルとして所定の記録媒体に保存することもできる。
【０１６６】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
【０１６７】
図２５は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示す図である。CPU（Central Processing Unit）２１１は、ROM（Read Only Memory）２１２、または記録部２１８に記録されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２１３には、CPU２１１が実行するプログラムやデータ等が適宜記憶される。これらのCPU２１１、ROM２１２、及びRAM２１３は、バス２１４により相互に接続されている。
【０１６８】
CPU２１１にはまた、バス２１４を介して入出力インターフェース２１５が接続されている。入出力インターフェース２１５には、マイクロホン等よりなる入力部２１６、ディスプレイ、スピーカ等よりなる出力部２１７が接続されている。CPU２１１は、入力部２１６から入力される指令に対応して各種の処理を実行する。そして、CPU２１１は、処理の結果を出力部２１７に出力する。
【０１６９】
入出力インターフェース２１５に接続されている記録部２１８は、例えばハードディスクからなり、CPU２１１が実行するプログラムや各種のデータを記録する。通信部２１９は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
【０１７０】
また、通信部２１９を介してプログラムを取得し、記録部２１８に記録してもよい。
【０１７１】
入出力インターフェース２１５に接続されているドライブ２２０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア２２１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記録部２１８に転送され、記録される。
【０１７２】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図２５に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア２２１、または、プログラムが一時的もしくは永続的に格納されるROM２１２や、記録部２１８を構成するハードディスク等により構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデム等のインターフェースである通信部２１９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０１７３】
なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１７４】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１７５】
１  似顔絵画像生成装置，  ２  表示装置，  １１  対象画像取得部，  １２  顔検出部，  １３  特徴点検出部，  １４  属性判別部，  １５  輪郭領域抽出部，  １６  髪領域抽出部，  １７  描画生成部，  １８  イラスト画像選択処理部，  ３１  パーツ領域抽出部，  ３２  Kクラス判別器，  ３３  類似度判定部，  ３４  イラスト画像選択部，  ３５  データベース，  １０１  前処理装置，  １１１  学習系，  １１２  生成系，  １１３  設定系，  １２１  学習サンプル取得部，  １２２  前画像処理部，  １２３  学習部，  １２４  生成用画像入力部，  １２５  前画像処理部，  １２６  生成部，  １２７  イラスト画像取得部，  １２８  設定部
【図１】
2011090466.tif 000003
【図２】
2011090466.tif 000004
【図３】
2011090466.tif 000005
【図４】
2011090466.tif 000006
【図５】
2011090466.tif 000007
【図６】
2011090466.tif 000008
【図７】
2011090466.tif 000009
【図８】
2011090466.tif 000010
【図９】
2011090466.tif 000011
【図１０】
2011090466.tif 000012
【図１１】
2011090466.tif 000013
【図１２】
2011090466.tif 000014
【図１３】
2011090466.tif 000015
【図１４】
2011090466.tif 000016
【図１５】
2011090466.tif 000017
【図１６】
2011090466.tif 000018
【図１７】
2011090466.tif 000019
【図１８】
2011090466.tif 000020
【図１９】
2011090466.tif 000021
【図２０】
2011090466.tif 000022
【図２１】
2011090466.tif 000023
【図２２】
2011090466.tif 000024
【図２３】
2011090466.tif 000025
【図２４】
2011090466.tif 000026
【図２５】
2011090466.tif 000027