(57)【特許請求の範囲】
【請求項１】
入力画像から新たな画像を作成する特徴変化画像作成方法であって、
コンピュータの記憶装置に格納された複数の画像のそれぞれに関する複数のデータが複数のカテゴリに分類されたデータベースを用いて、
前記複数のカテゴリのうち指定されたカテゴリに属するデータに基づいて、前記入力画像に最も類似する画像を選択画像として決定することと、
前記選択画像と前記入力画像との中間画像を生成することと
を具備する方法をコンピュータに実行させる
特徴変化画像作成方法。
【請求項２】
前記データベースにおいて前記複数の画像が前記複数のカテゴリに分類して格納され、
前記決定することにおいて、前記指定されたカテゴリに属する画像から、前記入力画像に最も類似する画像が前記選択画像として決定される
請求項１に記載の特徴変化画像作成方法。
【請求項３】
前記データベースにおいて前記複数の画像の構成成分が前記複数のカテゴリに分類して格納され、
前記決定することは、
前記指定されたカテゴリに属する前記構成成分を用いることによって、前記入力画像に最も類似する画像が得られる前記構成成分の組み合わせを決定することと、
前記決定された組み合わせに基づいて、前記入力画像に最も類似する画像を前記選択画像として作成することと
を含む
請求項１記載の特徴変化画像作成方法。
【請求項４】
前記データベースにおいて前記複数の画像が前記複数のカテゴリに分類して格納され、前記複数のカテゴリのそれぞれは、同一の対象について属性が漸次的に変化した複数の画像を含み、
前記決定することは、
前記複数のカテゴリのうち前記入力画像が有する属性に対応したカテゴリに属する画像から、前記入力画像に最も類似する画像を類似画像として選択することと、
前記指定されたカテゴリに属する画像から、前記類似画像と同一の対象に関する画像を前記選択画像として決定することと
を含む
請求項１記載の特徴変化画像作成方法。
【請求項５】
前記データベースにおいて前記複数の画像の構成成分が前記複数のカテゴリに分類して格納され、前記複数のカテゴリのそれぞれは、同一の対象について属性が漸次的に変化した複数の画像の構成成分を含み、
前記決定することは、
前記複数のカテゴリのうち前記入力画像が有する属性に対応したカテゴリに属する前記構成成分を用いることによって、前記入力画像に最も類似する画像が得られる前記構成成分の組み合わせを選択することと、
前記選択された組み合わせに対する成分係数を、前記指定されたカテゴリに対する成分係数である変換後係数に変換することと、
前記変換後係数と前記指定されたカテゴリに属する前記構成成分を用いることによって、前記選択画像を作成することと
を含む
請求項１記載の特徴変化画像作成方法。
【請求項６】
前記複数の画像の各々は、人物の顔画像であり、
前記複数のカテゴリは、年齢に基づいて区分された
請求項１乃至５のいずれかに記載の特徴変化画像作成方法。
【請求項７】
前記入力画像における人物の年齢が、ユーザにより指示された年齢より小さい場合、前記複数のカテゴリのうち前記指示された年齢よりも上の年齢に対応するカテゴリが、前記指定されたカテゴリとして選択される
請求項６記載の特徴変化画像作成方法。
【請求項８】
前記入力画像における人物の年齢が、ユーザにより指示された年齢より大きい場合、前記複数のカテゴリのうち前記指示された年齢よりも下の年齢に対応するカテゴリが、前記指定されたカテゴリとして選択される
請求項６記載の特徴変化画像作成方法。
【請求項９】
入力画像に漸次的に特徴変化を与える特徴変化付与方法であって、
コンピュータの記憶装置に格納された複数の画像の構成成分が複数のカテゴリに分類されたデータベースを用いて実行され、
前記複数のカテゴリのそれぞれは、同一の対象について属性が漸次的に変化した複数の画像の構成成分を含み、
前記複数のカテゴリのうち前記入力画像が有する属性に対応したカテゴリに属する前記構成成分を用いることによって、前記入力画像に最も類似する画像が得られるｎ個（ｎは整数）の前記構成成分の組み合わせを選択することと、
前記選択された組み合わせに対する成分係数を、指定されたカテゴリに対する成分係数である変換後係数に変換することとを具備する方法をコンピュータに実行させる方法であり、
前記データベースには、前記入力画像が有する属性に対応したカテゴリと前記指定されたカテゴリとに、少なくともｎ個の対象の構成成分が共通して含まれ、
前記変換することは、前記共通して含まれる前記少なくともｎ個の対象の構成成分に基づいて実行される
特徴変化付与方法。
【請求項１０】
前記複数の画像の各々は、人物の顔画像であり、
前記複数のカテゴリは、年齢に基づいて区分された
請求項９記載の特徴変化付与方法。
【請求項１１】
入力画像から新たな画像を作成する特徴変化画像作成装置であって、
複数の画像のそれぞれに関する複数のデータが複数のカテゴリに分類されて格納される記憶部と、
前記複数のカテゴリのうち指定されたカテゴリに属するデータに基づいて、前記入力画像に最も類似する画像を選択画像として決定する画像決定部と、
前記選択画像と前記入力画像との中間画像を生成する合成部と
を具備する
特徴変化画像作成装置。
【請求項１２】
前記記憶部には、前記複数の画像が前記複数のカテゴリに分類されて格納され、
前記画像決定部は、前記指定されたカテゴリに属する画像から、前記入力画像に最も類似する画像を前記選択画像として決定する
請求項１１に記載の特徴変化画像作成装置。
【請求項１３】
前記記憶部には、前記複数の画像の構成成分が前記複数のカテゴリに分類されて格納され、
前記画像決定部は、前記指定されたカテゴリに属する前記構成成分を用いることによって、前記入力画像に最も類似する画像が得られる前記構成成分の組み合わせを決定し、前記決定された組み合わせに基づいて、前記入力画像に最も類似する画像を前記選択画像として作成する
請求項１１記載の特徴変化画像作成装置。
【請求項１４】
前記記憶部には、前記複数の画像が前記複数のカテゴリに分類されて格納され、前記複数のカテゴリのそれぞれは、同一の対象について属性が漸次的に変化した複数の画像を含み、
前記画像決定部は、前記複数のカテゴリのうち前記入力画像が有する属性に対応したカテゴリに属する画像から、前記入力画像に最も類似する画像を類似画像として選択し、前記指定されたカテゴリに属する画像から、前記類似画像と同一の対象に関する画像を前記選択画像として決定する
請求項１１記載の特徴変化画像作成装置。
【請求項１５】
前記記憶部には、前記複数の画像の構成成分が前記複数のカテゴリに分類されて格納され、前記複数のカテゴリのそれぞれは、同一の対象について属性が漸次的に変化した複数の画像の構成成分を含み、
前記画像決定部は、前記複数のカテゴリのうち前記入力画像が有する属性に対応したカテゴリに属する前記構成成分を用いることによって、前記入力画像に最も類似する画像が得られる前記構成成分の組み合わせを選択し、前記選択された組み合わせに対する成分係数を、前記指定されたカテゴリに対する成分係数である変換後係数に変換し、前記変換後係数と前記指定されたカテゴリに属する前記構成成分を用いることによって、前記選択画像を作成する
請求項１１記載の特徴変化画像作成装置。
【請求項１６】
前記複数の画像の各々は、人物の顔画像であり、
前記複数のカテゴリは、年齢に基づいて区分された
請求項１１乃至１５のいずれかに記載の特徴変化画像作成装置。
【請求項１７】
選択部を更に具備し、
前記入力画像における人物の年齢がユーザにより指示された年齢より小さい場合、前記選択部は、前記複数のカテゴリのうち前記指示された年齢よりも上の年齢に対応するカテゴリを、前記指定されたカテゴリとして選択する
請求項１６記載の特徴変化画像作成装置。
【請求項１８】
選択部を更に具備し、
前記入力画像における人物の年齢がユーザにより指示された年齢より大きい場合、前記選択部は、前記複数のカテゴリのうち前記指示された年齢よりも下の年齢に対応するカテゴリを、前記指定されたカテゴリとして選択する
請求項１６記載の特徴変化画像作成装置。
【請求項１９】
入力画像に漸次的に特徴変化を与える特徴変化付与装置であって、
複数の画像の構成成分が複数のカテゴリに分類されたデータベースが格納される記憶部と、
成分係数変換部と
を具備し、
前記複数のカテゴリのそれぞれは、同一の対象について属性が漸次的に変化した複数の画像の構成成分を含み、
前記成分係数変換部は、前記複数のカテゴリのうち前記入力画像が有する属性に対応したカテゴリに属する前記構成成分を用いることによって、前記入力画像に最も類似する画像が得られる前記構成成分の組み合わせを選択し、前記選択された組み合わせに対する成分係数を、指定されたカテゴリに対する成分係数に変換し、
前記データベースには、前記入力画像が有する属性に対応したカテゴリと前記指定されたカテゴリとに、少なくともｎ個の対象の構成成分が共通して含まれ、
前記成分係数変換部は、前記共通して含まれる前記少なくともｎ個の対象の構成成分に基づいて前記変換を実行する
特徴変化付与装置。
【請求項２０】
前記複数の画像の各々は、人物の顔画像であり、
前記複数のカテゴリは、年齢に基づいて区分された
請求項１９記載の特徴変化付与装置。
【請求項２１】
コンピュータにより実行され、入力画像から新たな画像を作成するための特徴変化画像作成プログラムであって、
前記コンピュータは、複数の画像のそれぞれに関する複数のデータが複数のカテゴリに分類されて格納された記憶装置を有し、
前記特徴変化画像作成プログラムは、
前記複数のカテゴリのうち指定されたカテゴリに属するデータに基づいて、前記入力画像に最も類似する画像を選択画像として決定することと、
前記選択画像と前記入力画像との中間画像を生成することと
を前記コンピュータに実行させる
特徴変化画像作成プログラム。
【請求項２２】
前記記憶装置には、前記複数の画像が前記複数のカテゴリに分類されて格納され、
前記特徴変化画像作成プログラムは、前記指定されたカテゴリに属する画像から、前記入力画像に最も類似する画像を前記選択画像として決定すること
を前記コンピュータに実行させる
請求項２１に記載の特徴変化画像作成プログラム。
【請求項２３】
前記記憶装置には、前記複数の画像の構成成分が前記複数のカテゴリに分類されて格納され、
前記特徴変化画像作成プログラムは、
前記指定されたカテゴリに属する前記構成成分を用いることによって、前記入力画像に最も類似する画像が得られる前記構成成分の組み合わせを決定することと、
前記決定された組み合わせに基づいて、前記入力画像に最も類似する画像を前記選択画像として作成することと
を前記コンピュータに実行させる
請求項２１記載の特徴変化画像作成プログラム。
【請求項２４】
前記記憶装置には、前記複数の画像が前記複数のカテゴリに分類されて格納され、前記複数のカテゴリのそれぞれは、同一の対象について属性が漸次的に変化した複数の画像を含み、
前記特徴変化画像作成プログラムは、
前記複数のカテゴリのうち前記入力画像が有する属性に対応したカテゴリに属する画像から、前記入力画像に最も類似する画像を類似画像として選択することと、
前記指定されたカテゴリに属する画像から、前記類似画像と同一の対象に関する画像を前記選択画像として決定することと
を前記コンピュータに実行させる
請求項２１記載の特徴変化画像作成プログラム。
【請求項２５】
前記記憶装置には、前記複数の画像の構成成分が前記複数のカテゴリに分類されて格納され、前記複数のカテゴリのそれぞれは、同一の対象について属性が漸次的に変化した複数の画像の構成成分を含み、
前記特徴変化画像作成プログラムは、
前記複数のカテゴリのうち前記入力画像が有する属性に対応したカテゴリに属する前記構成成分を用いることによって、前記入力画像に最も類似する画像が得られる前記構成成分の組み合わせを選択することと、
前記選択された組み合わせに対する成分係数を、前記指定されたカテゴリに対する成分係数である変換後係数に変換することと、
前記変換後係数と前記指定されたカテゴリに属する前記構成成分を用いることによって、前記選択画像を作成することと
を前記コンピュータに実行させる
請求項２１記載の特徴変化画像作成プログラム。
【請求項２６】
コンピュータにより実行され、入力画像に漸次的な特徴変化を与える特徴変化付与プログラムであって、
前記コンピュータは、複数の画像の構成成分が複数のカテゴリに分類されたデータベースが格納された記憶装置を有し、前記複数のカテゴリのそれぞれは、同一の対象について属性が漸次的に変化した複数の画像の構成成分を含み、
前記特徴変化付与プログラムは、
前記複数のカテゴリのうち前記入力画像が有する属性に対応したカテゴリに属する前記構成成分を用いることによって、前記入力画像に最も類似する画像が得られる前記構成成分の組み合わせを選択することと、
前記選択された組み合わせに対する成分係数を、指定されたカテゴリに対する成分係数である変換後係数に変換することとを前記コンピュータに実行させるプログラムであり、
前記データベースには、前記入力画像が有する属性に対応したカテゴリと前記指定されたカテゴリとに、少なくともｎ個の対象の構成成分が共通して含まれ、
前記変換することは、前記共通して含まれる前記少なくともｎ個の対象の構成成分に基づいて実行される
特徴変化付与プログラム。
【請求項２７】
入力画像から新たな画像を作成する特徴変化画像作成方法であって、
コンピュータの記憶装置に格納された複数の画像のそれぞれに関する複数のデータが複数のカテゴリに分類されたデータベースを用いて、
前記複数のカテゴリのうち指定されたカテゴリに属するデータに基づいて、前記入力画像に最も類似する画像を選択画像として決定することと、
前記選択画像と前記入力画像とを合成することと
を具備する方法をコンピュータに実行させる方法であり、
前記データベースにおいて前記複数の画像の構成成分が前記複数のカテゴリに分類して格納され、前記複数のカテゴリのそれぞれは、同一の対象について属性が漸次的に変化した複数の画像の構成成分を含み、
前記決定することは、
前記複数のカテゴリのうち前記入力画像が有する属性に対応したカテゴリに属する前記構成成分を用いることによって、前記入力画像に最も類似する画像が得られる前記構成成分の組み合わせを選択することと、
前記選択された組み合わせに対する成分係数を、前記指定されたカテゴリに対する成分係数である変換後係数に変換することと、
前記変換後係数と前記指定されたカテゴリに属する前記構成成分を用いることによって、前記選択画像を作成することとを含む
特徴変化画像作成方法。
【請求項２８】
入力画像から新たな画像を作成する特徴変化画像作成装置であって、
複数の画像のそれぞれに関する複数のデータが複数のカテゴリに分類されて格納される記憶部と、
前記複数のカテゴリのうち指定されたカテゴリに属するデータに基づいて、前記入力画像に最も類似する画像を選択画像として決定する画像決定部と、
前記選択画像と前記入力画像とを合成する合成部とを具備し、
前記記憶部には、前記複数の画像の構成成分が前記複数のカテゴリに分類されて格納され、前記複数のカテゴリのそれぞれは、同一の対象について属性が漸次的に変化した複数の画像の構成成分を含み、
前記画像決定部は、前記複数のカテゴリのうち前記入力画像が有する属性に対応したカテゴリに属する前記構成成分を用いることによって、前記入力画像に最も類似する画像が得られる前記構成成分の組み合わせを選択し、前記選択された組み合わせに対する成分係数を、前記指定されたカテゴリに対する成分係数である変換後係数に変換し、前記変換後係数と前記指定されたカテゴリに属する前記構成成分を用いることによって、前記選択画像を作成する
特徴変化画像作成装置。
【請求項２９】
コンピュータにより実行され、入力画像から新たな画像を作成するための特徴変化画像作成プログラムであって、
前記コンピュータは、複数の画像のそれぞれに関する複数のデータが複数のカテゴリに分類されて格納された記憶装置を有し、
前記特徴変化画像作成プログラムは、
前記複数のカテゴリのうち指定されたカテゴリに属するデータに基づいて、前記入力画像に最も類似する画像を選択画像として決定することと、
前記選択画像と前記入力画像とを合成することとを前記コンピュータに実行させるプログラムであり、
前記記憶装置には、前記複数の画像の構成成分が前記複数のカテゴリに分類されて格納され、前記複数のカテゴリのそれぞれは、同一の対象について属性が漸次的に変化した複数の画像の構成成分を含み、
前記特徴変化画像作成プログラムは、
前記複数のカテゴリのうち前記入力画像が有する属性に対応したカテゴリに属する前記構成成分を用いることによって、前記入力画像に最も類似する画像が得られる前記構成成分の組み合わせを選択することと、
前記選択された組み合わせに対する成分係数を、前記指定されたカテゴリに対する成分係数である変換後係数に変換することと、
前記変換後係数と前記指定されたカテゴリに属する前記構成成分を用いることによって、前記選択画像を作成することとを前記コンピュータに実行させる
特徴変化画像作成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の特徴の一部を変化させたり、他の特徴を付加して新たな画像を作成する技術に関する。特に、本発明は、人物の顔画像に経年変化による特徴を付与して新たな顔画像を作成する特徴変化画像作成方法、特徴変化画像作成装置および特徴変化画像作成プログラムに関する。
【背景技術】
【０００２】
画像にある特徴を付与することにより、元の特徴を有しつつ他の特徴が加えられた新たな画像を作成する場合がある。代表的な場合として、加齢により若年時の特徴が失せ加齢時の特徴が現れた同一人物の経年変化時の顔画像が考えられる。ある人物の若年時の顔画像に対して、若年時の特徴を減少させ加齢時の特徴を付加する処理を施すことにより、同一人物の経年変化後の顔画像が作成される。【０００３】
若年時の顔画像から加齢時の顔画像を作成する方法として、コンピュータグラフィックス（ＣＧ）を用いて、若年時の顔画像に皺などの加齢時の特徴を書き込む方法がある。【０００４】
この場合、皺などの加齢時の特徴は顔の構造に依存する。よって、作成される顔画像に“自然さ”を与えるためには、手動による作業、または半自動処理が必要となる。また、一部の特徴に関しては、書き込むこと自体が困難である。比較的明確な特徴が生じやすい口皺とは異なり、例えば、目の周辺の老け具合や顔の肌つやは各人各様である。それらの特徴をどのように画像に書き込むかを決定することは困難である。【０００５】
ＵＳ６５５６１９６Ｂ１号公報には、不明確な特徴も画像に付加することができる画像処理方法が開示されている。この画像処理方法によれば、３次元モデルを用いることによって、加齢時の特徴（経年特徴）の画像への付加処理が洗練される。より具体的には、データベースに格納された３次元の顔データから、変形可能な顔の一般的なモデル（雛形）が作成される。そして、その作成されたモデルに照会顔画像が貼り付けられる。そして、経年変化を含めた特徴変化を与えるために、モデラを用いてそのモデルが変形される。この方法によれば、あらかじめ用意された雛型が用いられるので、誰の顔画像を処理する場合であっても、同じ部分に同じ経年特徴が生じてしまう。従って、顔画像に不自然な経年特徴が生じてしまう場合がある。【０００６】
特開２００３−４４８６６号公報には、１つの特定の画像から目的とする画像を作成することができる画像処理方法が開示されている。この方法によれば、現在の特定個人の顔画像と現在の年齢に相当する平均顔の画像とを用いることにより、外挿によって誇張顔の画像が作成される。そして、目的の年代に近い平均顔の画像と誇張顔の画像とを用いることにより、内挿によって目的の年代の顔画像が作成される。この方法によれば、平均顔の画像が用いられるので、顔の構造の個人差に起因する経年変化の差は考慮されない。従って、顔画像に不自然な経年特徴が生じてしまう場合がある。【０００７】
特開平６−３３３００５号公報に開示された顔画像作成装置は、パーツパターン記憶手段と、顔特徴データ記憶手段と、指定手段と、顔画像作成手段を備える。パーツパターン記憶手段は、顔画像を表す各パーツ毎のパーツパタンを記憶する。顔特徴データ記憶手段は、年齢に応じた顔特徴データを記憶する。指定手段により年齢に関するデータが指定されると、顔画像作成手段は、そのデータに応じた顔特徴データを顔特徴データ記憶手段から読み出す。そして、顔画像作成手段は、その顔特徴データに応じて、パーツパターン記憶手段から対応する各パーツ毎のパーツパターンをよみだす。そして、顔画像作成手段は、パーツパターンを組み合わせて顔画像を作成する。【０００８】
特開平１０−２８９３２０号公報には、パターン認識における候補カテゴリ集合の算出を高速化することを目的とした技術が開示されている。テーブル記憶手段内の候補テーブルは、パターンの特徴ベクトルから計算される参照特徴ベクトルの値を入力とし、候補カテゴリ集合を出力とする写像を保持する。候補カテゴリ計算手段は、候補テーブルの写像を用いて、与えられた参照特徴ベクトルの値に対応する候補カテゴリ集合を求める。【０００９】
特開２００２−１２３８３７号公報に開示された顔表情変換方法は、（１）第１人物の第１顔表情集合を定義しているデータを治めているコードブックを定義するステップと、（２）第一人物とは異なる第２人物のトレーニング表情集合を与える第２顔表情集合を定義しているデータを用意するステップと、（３）トレーニング表情集合と、第１表情集合からの対応する表情とから変換関数を導き出すステップと、（４）変換関数を第１表情集合に適用して合成表情集合を得るステップを有する。【００１０】
特開２００３−６９８４６号公報には、適切な画像補正を自動的に行う画像補正プログラムが開示されている。この画像処理プログラムは、補正処理前段部と、統計情報算出部と、補正処理後段部を備える。補正処理前段部は、入力画像に対してレンジやトーン等の補正を実施する。統計情報算出部は、補正処理前段部の出力と手動補正画像とを用いて、オペレータの好みを表すデータである彩度基準値及び輪郭基準値を生成する。補正処理後段部は、彩度基準値を用いて彩度補正処理を行い、輪郭基準値を用いて輪郭強調処理を実施する。
【発明の開示】
【００１１】
本発明の目的は、元の画像の主要な特徴を残しつつ、他の特徴を、自然な印象を与えるように画像に付与することができる特徴変化画像作成方法、特徴変化画像作成装置および特徴変化画像作成プログラムを提供することにある。
【００１２】
本発明の他の目的は、個人差を考慮した経年変化時の顔画像を作成できる特徴変化画像作成方法、特徴変化画像作成装置および特徴変化画像作成プログラムを提供することにある。
【００１３】
本発明の更に他の目的は、入力された顔画像に各年齢ごとの一般的な経年変化を与えることができる特徴変化画像作成方法、特徴変化画像作成装置および特徴変化画像作成プログラムを提供することにある。
【００１４】
本発明の更に他の目的は、入力された顔画像に経年変化と個人の特徴とを付加する際に、配分比を調節することができる特徴変化画像作成方法、特徴変化画像作成装置および特徴変化画像作成プログラムを提供することにある。
【００１５】
本発明のある観点において、入力画像から新たな画像を作成する特徴変化画像作成方法は、（Ａ）複数の画像のそれぞれに関する複数のデータが複数のカテゴリに分類されたデータベースを提供するステップと、（Ｂ）複数のカテゴリのうち指定されたカテゴリに属するデータに基づいて、入力画像に最も類似する画像を選択画像として決定するステップと、（Ｃ）選択画像と入力画像とを合成するステップとを備える。
【００１６】
上記（Ａ）ステップにおいて、複数の画像（画像データ）が複数のカテゴリに分類されたデータベースが提供されてもよい。この場合、上記（Ｂ）ステップにおいて、指定されたカテゴリに属する画像から、入力画像に最も類似する画像が選択画像として決定される。
【００１７】
上記（Ａ）ステップにおいて、複数の画像の構成成分が複数のカテゴリに分類されたデータベースが提供されてもよい。この場合、上記（Ｂ）ステップは、（ｂ１）指定されたカテゴリに属する構成成分を用いることによって、入力画像に最も類似する画像が得られる構成成分の組み合わせを決定することと、（ｂ２）決定された組み合わせに基づいて、入力画像に最も類似する画像を選択画像として作成することとを含む。
【００１８】
上記（Ａ）ステップにおいて、複数の画像が複数のカテゴリに分類されたデータベースが提供され、複数のカテゴリのそれぞれは、同一の対象について属性（例えば、年齢）が漸次的に変化した複数の画像を含んでもよい。この場合、上記（Ｂ）ステップは、（ｂ１）複数のカテゴリのうち入力画像が有する属性に対応したカテゴリに属する画像から、入力画像に最も類似する画像を類似画像として選択することと、（ｂ２）指定されたカテゴリに属する画像から、類似画像と同一の対象に関する画像を選択画像として決定することとを含む。
【００１９】
上記（Ａ）ステップにおいて、複数の画像の構成成分が複数のカテゴリに分類されたデータベースが提供され、複数のカテゴリのそれぞれは、同一の対象について属性（例えば、年齢）が漸次的に変化した複数の画像の構成成分を含んでもよい。この場合、上記（Ｂ）ステップは、（ｂ１）複数のカテゴリのうち入力画像が有する属性に対応したカテゴリに属する構成成分を用いることによって、入力画像に最も類似する画像が得られる構成成分の組み合わせを選択することと、（ｂ２）選択された組み合わせに対する成分係数を、指定されたカテゴリに対する成分係数である変換後係数に変換することと、（ｂ３）変換後係数と指定されたカテゴリに属する構成成分を用いることによって、選択画像を作成することとを含む。
【００２０】
この特徴変化画像作成方法において、複数の画像の各々は、人物の顔画像であってもよい。また、複数のカテゴリは、年齢に基づいて区分されてもよい。
【００２１】
入力画像における人物の年齢が、ユーザにより指示された年齢より小さい場合、複数のカテゴリのうち指示された年齢よりも上の年齢に対応するカテゴリが、上述の指定されたカテゴリとして選択されてもよい。
【００２２】
入力画像における人物の年齢が、ユーザにより指示された年齢より大きい場合、複数のカテゴリのうち指示された年齢よりも下の年齢に対応するカテゴリが、上述の指定されたカテゴリとして選択されてもよい。
【００２３】
本発明の他の観点において、入力画像に漸次的に特徴変化を与える特徴変化付与方法は、（Ａ）複数の画像の構成成分が複数のカテゴリに分類されたデータベースを提供するステップと、ここで、複数のカテゴリのそれぞれは、同一の対象について属性が漸次的に変化した複数の画像の構成成分を含み、（Ｂ）複数のカテゴリのうち入力画像が有する属性に対応したカテゴリに属する構成成分を用いることによって、入力画像に最も類似する画像が得られる構成成分の組み合わせを選択するステップと、（Ｃ）選択された組み合わせに対する成分係数を、指定されたカテゴリに対する成分係数である変換後係数に変換するステップとを備える。
【００２４】
この特徴変化画像作成方法において、複数の画像の各々は、人物の顔画像であってもよい。また、複数のカテゴリは、年齢に基づいて区分されてもよい。
【００２５】
本発明の更に他の観点において、特徴変化画像作成装置は、上記特徴変化画像作成方法を実現するための装置であり、上記各ステップを実現する構成要素を含む。特徴変化画像作成装置は、記憶部と、画像決定部と、合成部とを備える。上記データベースは、記憶部に構築される。画像決定部は、上記（Ｂ）ステップを実行する。合成部は、上記（Ｃ）ステップを実行する。
【００２６】
本発明の更に他の観点において、特徴変化付与装置は、上記特徴変化付与方法を実現するための装置であり、上記各ステップを実現する構成要素を含む。特徴変化付与装置は、記憶部と、成分係数変換部とを備える。上記データベースは、記憶部に構築される。成分係数変換部は、上記（Ｂ）ステップ及び（Ｃ）ステップを実行する。
【００２７】
本発明の更に他の観点において、特徴変化画像作成プログラムおよび特徴変化付与プログラムのそれぞれは、上記の特徴変化画像作成方法および特徴変化付与方法を実現するためのプログラムである。特徴変化画像作成プログラムおよび特徴変化付与プログラムのそれぞれは、上記各ステップをコンピュータに実行させる。
【００２８】
本発明によれば、入力画像に最も類似した画像が選定され、入力画像と選定された画像とが合成される。従って、入力画像の元の特徴を残しつつ、入力画像に他の特徴を付加することが可能となる。また、入力画像は最も類似した画像と合成されるので、自然な印象を与えるように入力画像に他の特徴を付加することが可能となる。
【図面の簡単な説明】
【００２９】
【図１】図１は、特徴変化画像作成装置の第１の実施の形態を示すブロック図である。
【図２】図２は、第１の実施の形態における特徴変化画像作成方法を示すフローチャートである。
【図３】図３は、最高スコア画像と入力画像とを線形合成する処理例を示す説明図である。
【図４】図４は、特徴変化画像作成装置の第２の実施の形態を示すブロック図である。
【図５】図５は、第２の実施の形態における特徴変化画像作成方法を示すフローチャートである。
【図６】図６は、第２の実施の形態の変形例を示すブロック図である。
【図７】図７は、第２の実施の形態の変形例における特徴変化画像作成方法を示すフローチャートである。
【図８】図８は、特徴変化画像作成装置の第３の実施の形態を示すブロック図である。
【図９】図９は、第３の実施の形態における特徴変化画像作成方法を示すフローチャートである。
【図１０】図１０は、特徴変化画像作成装置の第４の実施の形態を示すブロック図である。
【図１１】図１１は、第４の実施の形態における特徴変化画像作成方法を示すフローチャートである。
【図１２】図１２は、特徴変化画像作成装置の第５の実施の形態を示すブロック図である。
【図１３】図１３は、第５の実施の形態における特徴変化画像作成方法を示すフローチャートである。
【図１４】図１４は、第５の実施の形態の変形例を示すブロック図である。
【図１５】図１５は、第５の実施の形態の変形例における特徴変化画像作成方法を示すフローチャートである。
【発明を実施するための最良の形態】
【００３０】
（第１の実施の形態）
以下、本発明の第１の実施の形態を図面を参照して説明する。ここでは、人物の顔の画像（顔画像）に経年変化を与える場合が説明される。【００３１】
図１は、本発明による特徴変化画像作成装置の構成例を示すブロック図である。図１に示されるように、特徴変化画像作成装置は、データベースである画像蓄積部１０１、画像を照合する照合部１０２、及び画像を合成する合成部１０３を含む。画像蓄積部１０１は、例えば、磁気ディスク装置によって実現される。照合部１０２と合成部１０３は、例えば、コンピュータにおける演算処理装置及びその演算処理装置が実行するプログラムによって実現される。なお、本実施の形態において、複数の画像に関する情報を記憶する記憶部は、画像蓄積部１０１に対応する。また、入力画像に最も類似する画像を決定する画像決定部は、照合部１０２に対応する。【００３２】
画像蓄積部１０１は、多数の顔画像が蓄積されたデータベースである。画像蓄積部１０１においては、多数の顔画像が、年齢や性別（属性）に応じてカテゴリ１１１１（第１カテゴリ），・・・，１１１ｉ（第ｉカテゴリ），・・・，１１１ｎ（第ｎカテゴリ）に分類されている。カテゴリ１１１１〜１１１ｎは、例えば、「１０歳代の男性」、「２０歳代の女性」など年齢や性別で分類されたカテゴリである。以下、カテゴリ１１１１〜１１１ｎが包括的に表現される場合、または、いずれかのカテゴリが表現される場合、単にカテゴリ１１１と参照される。【００３３】
図２は、図１に示された特徴変化画像作成装置による特徴変化画像作成方法を示すフローチャートである。ユーザが入力カテゴリ１１（年齢や性別）を指定すると、照合部１０２は、指定された入力カテゴリ１１に対応するカテゴリ１１１を、画像蓄積部１０１から選択する（ステップＳ１１）。例えば、１０歳代の男性の顔画像を入力してその男性の２０歳代の顔を想定した顔画像を作成したい場合には、ユーザは、入力カテゴリ１１として「２０歳代」，「男性」を入力する。すると、照合部１０２は、「２０歳代の男性」のカテゴリ１１１を選択する。なお、ユーザは、年代ではなく年齢そのものを入力してもよい。その場合には、照合部１０２は、入力された年齢を含む年代に対応するカテゴリ１１１を選択する。【００３４】
また、照合部１０２は、必ずしも入力カテゴリ１１で指定された年齢帯のカテゴリ１１１を選択するのでなく、他のカテゴリ１１１を選択してもよい。例えば、後述されるように、合成部１０３は、経年変化を線形変化として顔画像を合成する場合がある。この場合、照合部１０２には、入力カテゴリ１１で指定された年齢（ターゲット年齢）に関する情報だけでなく、入力画像１２中の人物の年齢（入力人物年齢）に関する情報も入力される。ターゲット年齢が入力人物年齢より上の場合、照合部１０２は、ターゲット年齢より更に上の年齢帯のカテゴリ１１１を選択してもよい。また、ターゲット年齢が入力人物年齢より下の場合、照合部１０２は、ターゲット年齢より更に下の年齢帯のカテゴリ１１１を選択してもよい。【００３５】
例えば、入力画像１２中の人物の年齢が２０歳代であり、入力カテゴリ１１で指定された年齢帯が３０歳代である場合、照合部１０２は、４０歳代のカテゴリ１１１を選択してもよい。そのようにすれば、２０歳代の入力画像１２と４０歳代の顔画像とを線形合成することによって、３０歳代の顔画像を作成することができる。また、入力画像１２中の人物の年齢が４０歳代であり、入力カテゴリ１１で指定された年齢が３０歳代である場合、照合部１０２は、２０歳代のカテゴリ１１１を選択してもよい。そのようにすれば、４０歳代の入力画像１２と２０歳代の顔画像とを線形合成することによって、３０歳代の顔画像を作成することができる。【００３６】
照合部１０２には、入力画像１２が入力される（ステップＳ１２）。続いて、照合部１０２は、入力画像１２と選択されたカテゴリに属する顔画像群との照合を行う（ステップＳ１３）。照合部１０２は、顔認識処理に用いられる一般的なアルゴリズムに基づいて、顔画像群の照合を実行する。すなわち、照合部１０２は、選択されたカテゴリ１１１に含まれる顔画像と入力画像１２との間で顔特徴量（facial feature）の比較を行うことによって、各顔画像と入力画像１２との類似度を求める。顔特徴量として、目、鼻、口の位置や形状、及び顔全体の形状が例示される。また、求められた類似度は、スコアとして各顔画像に対応づけられる。【００３７】
照合部１０２は、選択されたカテゴリに属する顔画像群のうち、最も高いスコアを有する顔画像（最高スコア画像）を、入力画像１２中の顔に最も類似した顔画像として選択する（ステップＳ１４）。つまり、照合部１０２は、選択されたカテゴリに含まれる顔画像群のうち、入力画像１２と目、口や顔の形状など顔の主要部が最も類似した顔画像を選択することができる。なお、類似度が大きくなるに従ってスコアが小さくなるように決定される場合、照合部１０２は、最も小さいスコアを有する顔画像を選択する。照合部１０２は、入力画像１２に最も類似した顔画像を、選択顔画像として合成部１０３に出力する。【００３８】
合成部１０３は、入力画像１２と選択顔画像を合成することによって合成画像１４を作成する（ステップＳ１５）。合成部１０３は、作成された合成画像１４を出力する。【００３９】
合成部１０３は、例えば、「線形合成手法」によって顔画像を合成する。例えば、合成部１０３は、選択顔画像中の目、鼻、口（特徴部）が入力画像１２中の同部位と同じ位置になるように、選択顔画像を正規化し、正規化顔画像を作成する。そして、合成部１０３は、入力画像１２と正規化顔画像との対応する部分における画素データを加重平均することによって、合成画像１４を作成する。なお、合成部１０３が顔画像を合成する方法は、線形合成手法に限られない。【００４０】
図３は、選択顔画像と入力画像１２とを用いた線形合成処理の一例を示している。ここでは、入力画像１２中の人物が２０歳代で、入力カテゴリ１１によって指定された年齢帯が３０歳代であり、照合部１０２が４０歳代に対応付けられたカテゴリ１１１を選択した場合が例として説明される。【００４１】
図３において、第１顔画像が入力画像１２であり、第２顔画像が選択顔画像であるとする。あるパラメータαを用いることによって、第１顔画像と第２顔画像の合成比をα：（１−α）で表すことが可能である。ここで、パラメータαは０以上１以下の数である。この例の場合、合成画像１４における人物の年齢として３０歳代が要求されているので、パラメータαは０．５に設定される、すなわち合成比は１：１に設定される。合成部１０３は、αを０．５に設定し、入力画像１２と正規化顔画像との加重平均をすることによって、図３に示されるように、合成画像（合成顔画像）１４を算出する。【００４２】
なお、合成部１０３は、画像の合成処理を行う際に、合成比を変化させながら入力画像１２と選択顔画像とを合成してもよい。この場合、合成比が段階的に調節されるので、入力画像１２中の人物の年齢から指定された年齢までの経年変化を段階的に確認することが可能となる。【００４３】
また、本実施の形態においては、顔画像は、年齢や性別に基づいて複数のカテゴリに分類され、画像蓄積部１０１に格納されていた。但し、顔画像を分類する方法は、本実施の形態で示された例に限られない。例えば、カテゴリが作成される基準として、年代の代わりにアイドルグループなどの集団が用いられてもよい。この場合、第１カテゴリに、アイドルグループＡ１のメンバーの顔画像が格納され、第２カテゴリに、アイドルグループＡ２のメンバーの顔画像が格納される。そして、指定されたアイドルグループの中で最も似ている人物の顔画像と入力顔画像１２とが合成され、合成画像１４が作成される。このように、本発明をアミューズメントに適用することも可能である。【００４４】
以上に示されたように、本実施の形態によれば、分類された複数の顔画像集合から指定された顔画像集合が選択され、選択された顔画像集合のなかで入力画像１２に最も類似した顔画像が抽出され、入力画像１２と抽出された顔画像との合成処理が実行される。そのため、入力画像１２の元の特徴を残しつつ、入力画像１２に他の特徴を付加することが可能となる。また、入力画像１２は最も類似した顔画像と合成されるので、自然な印象を与えるように入力画像１２に他の特徴を付加することが可能となる。従って、元の顔画像の主要な特徴を残しつつ副次的な属性の特徴を与えることができるとともに、自然な印象を与えるように副次的な属性の特徴を顔画像に付与することが可能となる。【００４５】
すなわち、目、口や顔の形状など顔の主要部が入力画像１２と最も類似した選択顔画像が、入力画像１２と合成される。よって、その人物を認識するための要素である主要な特徴を残しつつ、副次的な属性の特徴を自然な印象を与えるように顔画像に付与することがきる。ここで、副次的な属性とは、皺やえくぼといった、その人物の認識に影響を与えない属性のことである。【００４６】
また、本実施の形態によれば、照合部１０２が入力画像１２に類似した経年変化時の顔画像を選択するので、入力画像１２中の人物の顔の構造に応じた特有の経年特徴を、容易に入力画像１２に付加することができる。また、目や鼻など顔の部位（顔のパーツ）ごとの経年特徴を考慮する必要がなく、容易に合成顔画像を作成することが可能となる。【００４７】
また、本実施の形態によれば、画像蓄積部１０１が顔画像を年齢で分類して記憶するので、具体的な年齢を指定して顔画像を作成することができる。また、加齢する方向だけでなく、若くなる方向に特徴を変化させた顔画像を作成することもできる。【００４８】
また、本実施の形態によれば、合成部１０３が合成処理を行う際に、入力画像１２と選択顔画像との合成比を変化させることができる。合成処理時の合成比を調節できるので、入力画像１２中からの経年変化を段階的に確認することが可能となる。さらに、本実施の形態によれば、既存の認識システムを利用することができるので、容易にシステムの組み立てや変更を行うことが可能である。【００４９】
（第２の実施の形態）
次に、本発明の第２の実施の形態を図面を参照して説明する。図４は、第２の実施の形態の特徴変化画像作成装置の構成例を示すブロック図である。図４に示されるように、特徴変化画像作成装置は、画像成分蓄積部１０１ｂ、画像の成分分析を行う成分分析部１０２ｂ、及び画像を合成する合成部１０３を含む。画像成分蓄積部１０１ｂは、例えば、磁気ディスク装置によって実現される。成分分析部１０２ｂと合成部１０３は、例えば、コンピュータにおける演算処理装置及びその演算処理装置が実行するプログラムによって実現される。【００５０】
なお、本実施の形態において、複数の画像に関する情報を記憶する記憶部は、画像成分蓄積部１０１ｂに対応する。また、入力画像に最も類似する画像を決定する画像決定部は、成分分析部１０２ｂに対応する。【００５１】
画像成分蓄積部１０１ｂは、複数の顔画像に関する情報が蓄積されたデータベースである。画像成分蓄積部１０１ｂは、顔画像そのものを記憶するのではなく、顔画像を成分分析することによって得られる複数の構成成分を記憶する。成分分析としては、主成分分析が例示される。【００５２】
具体的には、複数の顔画像は年齢や性別などに応じて複数のカテゴリーに分類される。各顔画像を成分分析することによって得られる構成成分は、画像成分蓄積部１０１ｂ中の各カテゴリに対応付けられて格納される。例えば、各顔画像の各画素をならべることによって一つのベクトルが得られ、そのベクトルを特異値分解することによって得られる構成成分が記憶される。従って、画像成分蓄積部１０１ｂにおいては、各顔画像の構成成分が、年齢や性別などに応じてカテゴリ１１２１（第１カテゴリ），・・・，１１２ｉ（第ｉカテゴリ），・・・，１１２ｎ（第ｎカテゴリ）に分類されている。カテゴリ１１２１〜１１２ｎは、例えば、「１０歳代の男性」，「２０歳代の女性」など年齢や性別で分類されたカテゴリである。以下、カテゴリ１１２１〜１１２ｎが包括的に表現される場合、または、いずれかのカテゴリが表現される場合、単にカテゴリ１１２と参照される。【００５３】
図５は、図４に示された特徴変化画像作成装置による特徴変化画像作成方法を示すフローチャートである。ユーザが入力カテゴリ１１（年齢や性別）を指定すると、成分分析部１０２ｂは、指定された入力カテゴリ１１に対応するカテゴリ１１２を、画像成分蓄積部１０１ｂから選択する（ステップＳ２１）。【００５４】
なお、成分分析部１０２ｂは、必ずしも入力カテゴリ１１で指定された年齢帯のカテゴリ１１２を選択するのでなく、他のカテゴリ１１２を選択してもよい。例えば、後述されるように、合成部１０３は、経年変化を線形変化として顔画像を合成する場合がある。この場合、成分分析部１０２ｂには、入力カテゴリ１１で指定された年齢（ターゲット年齢）に関する情報だけでなく、入力画像１２中の人物の年齢（入力人物年齢）に関する情報も入力される。ターゲット年齢が入力人物年齢より上の場合、成分分析部１０２ｂは、ターゲット年齢より更に上の年齢帯のカテゴリ１１２を選択してもよい。また、ターゲット年齢が入力人物年齢より下の場合、成分分析部１０２ｂは、ターゲット年齢より更に下の年齢帯のカテゴリ１１２を選択してもよい。【００５５】
例えば、入力された人物の年齢が２０歳代であり、入力カテゴリ１１で指定された年齢が３０歳代である場合、成分分析部１０２ｂは、４０歳代のカテゴリ１１２を選択してもよい。また、入力された人物の年齢が４０歳代であり、入力カテゴリ１１で指定された年齢が３０歳代である場合、成分分析部１０２ｂは、２０歳代のカテゴリ１１２を選択してもよい。【００５６】
この成分分析部１０２ｂは、画像成分蓄積部１０１ｂに格納された構成成分を用いて、入力画像１２に最も類似した顔画像である「最小誤差再構成画像」を作成する。本実施の形態においては、成分分析部１０２ｂが構成成分を用いて入力画像１２に類似した顔画像を作成する処理は、入力画像１２の再構成と参照される。【００５７】
成分分析部１０２ｂは、入力画像１２が入力されると（ステップＳ２２）、選択されたカテゴリに対応する構成成分を用いて入力画像１２を再構成する（ステップＳ２３）。成分分析部１０２ｂは、作成される顔画像と入力画像１２との誤差が最小になるように最構成を行う。つまり、成分分析部１０２ｂは、入力画像１２と作成される顔画像との類似度が最も大きくなるように再構成を行う。【００５８】
例えば、主成分分析のように線形な成分分析が用いられる場合、作成される顔画像は、以下の式（１）のように表される。つまり、作成される顔画像ＩＰは、係数ｃｉ（実数）と主成分分析によって得られる主成分Ｐｉとを用いて、主成分（構成成分）の線形結合として表される。なお、式（１）において、主成分Ｐｉは、顔画像の画素の総数と同じ数の要素をもつ実数ベクトルである。【００５９】
Ｉｐ＝ｃ１Ｐ１＋ｃ２Ｐ２＋・・・＋ｃｍＰｍ      ・・・（１）【００６０】
成分分析部１０２ｂは、選択されたカテゴリの構成成分を用いて、式（１）にもとづいて、入力画像１２として入力された顔画像Ｉ０との誤差が最も小さくなるような構成成分の組み合わせ（具体的には各係数の値）を決定する。そして、成分分析部１０２ｂは、決定された構成成分の組み合わせにより顔画像を作成する。そして、成分分析部１０２ｂは、作成された顔画像を最小誤差再構成画像として出力する。【００６１】
合成部１０３は、入力画像１２と最小誤差再構成画像とを合成して合成画像１４を作成し、作成された合成画像１４を出力する（ステップＳ２４）。合成部１０３が顔画像を合成する方法は、第１の実施の形態の場合と同様である。【００６２】
以上に示されたように、本実施の形態によれば、分類された複数の構成成分集合から指定された構成成分集合が選択され、選択された構成成分集合を用いることによって入力画像１２に最も類似した最小誤差再構成画像が作成され、その最小誤差再構成画像と入力画像１２との合成処理が実行される。そのため、入力画像１２の元の特徴を残しつつ、入力画像１２に他の特徴を付加することが可能となる。また、入力画像１２は最も類似した最小誤差再構成画像と合成されるので、自然な印象を与えるように入力画像１２に他の特徴を付加することが可能となる。従って、元の顔画像の主要な特徴を残しつつ副次的な属性の特徴を与えることができるとともに、自然な印象を与えるように副次的な属性の特徴を顔画像に付与することが可能となる。【００６３】
すなわち、目、口や顔の形状など顔の主要部が入力画像１２と最も類似した画像が再構成により得られ、その画像が入力画像１２と合成される。よって、主要な特徴を残しつつ、副次的な属性の特徴を自然な印象を与えるように顔画像に付与することがきる。ここで、副次的な属性とは、皺やえくぼといった、その人物の認識に影響を与えない属性のことである。【００６４】
また、本実施の形態によれば、成分分析部１０２ｂが入力画像１２に類似した経年変化時の顔画像を再構成するので、入力画像１２中の人物の顔の構造に応じた特有の経年特徴を、容易に入力画像１２に付加することができる。また、目や鼻など顔の部位（顔のパーツ）ごとの経年特徴を考慮する必要がなく、容易に合成顔画像を作成することが可能となる。【００６５】
また、本実施の形態によれば、画像成分蓄積部１０１ｂが構成成分を年齢で分類して記憶するので、具体的な年齢を指定して顔画像を作成することができる。また、加齢する方向だけでなく、若くなる方向に特徴を変化させた顔画像を作成することもできる。【００６６】
なお、入力画像１２に十分類似した最小誤差再構成画像を一回で作成できない場合には、再構成の処理を繰り返し実行してもよい。図６は、図４に示される特徴変化画像作成装置の構成が一部変更された変形例を示すブロック図である。図７は、図６に示された特徴変化画像作成装置による特徴変化画像作成方法を示すフローチャートである。なお、図７において、ステップＳ２１からステップＳ２３までの処理は、図５に示されたステップＳ２１からステップＳ２３までの処理と同様である。【００６７】
図６に示された変形例では、合成部１０３は、入力画像１２と最小誤差再構成画像との類似度が所定値以下である場合には（ステップＳ２４ａ；Ｙｅｓ）、入力画像１２と最小誤差再構成画像とを合成し、合成画像を成分分析部１０２ｂに出力する（ステップＳ２４ｂ）。すなわち、合成部１０３は、合成画像を成分分析部１０２ｂにフィードバックする。【００６８】
合成画像が入力されると、成分分析部１０２ｂは、入力された合成画像にもとづいて、ステップＳ２３の処理と同様の処理によって再構成を行い、最小誤差再構成画像を再度作成する（ステップＳ２５）。そして、成分分析部１０２ｂは、その最小誤差再構成画像を合成部１０３に出力する。合成部１０３は、先ほどフィードバックされた合成画像と、成分分析部１０２ｂから再度入力された最小誤差再構成画像とを合成して合成画像１４を作成し出力する（ステップＳ２６）。なお、図７には、１回のフィードバックしかなされない場合が例示されているが、ステップＳ２５において作成された最小誤差再構成画像と入力画像１２との類似度が所定値以下である場合には、再度、ステップＳ２４ｂおよびＳ２５の処理が実行される。【００６９】
このように、再構成の処理を繰り返し行うことによって、入力画像１２とカテゴリ１１２にある画像空間とがかけ離れている場合であっても、入力画像１２と調和した再構成画像を作成することができる。つまり、入力画像１２との類似度が絶対的には低くても、相対的に類似度の高い再構成画像を得ることが可能となる。【００７０】
なお、本実施の形態においては、顔画像に基づく構成成分は、年齢や性別に基づいて複数のカテゴリに分類され、画像成分蓄積部１０１ｂに格納されていた。但し、顔画像を分類する方法は、本実施の形態で示された例に限られない。例えば、カテゴリが作成される基準として、年代の代わりにアイドルグループなどの集団が用いられてもよい。この場合、第１カテゴリに、アイドルグループＡ１のメンバーの顔画像に対応する構成成分が格納され、第２カテゴリに、アイドルグループＡ２のメンバーの顔画像に対応する構成成分が格納される。そして、指定されたアイドルグループの中で最も似ている人物の顔画像と入力顔画像１２とが合成され、合成画像１４が作成される。このように、本発明をアミューズメントに適用することも可能である。【００７１】
（第３の実施の形態）
次に、本発明の第３の実施の形態を図面を参照して説明する。図８は、第３の実施の形態の特徴変化画像作成装置の構成例を示すブロック図である。図８に示されるように、特徴変化画像作成装置は、経年変化画像蓄積部１０１ｃ、画像を照合する照合部１０２、及び画像を合成する合成部１０３を含む。経年変化画像蓄積部１０１ｃは、例えば、磁気ディスク装置によって実現される。【００７２】
なお、本実施の形態において、複数の画像に関する情報を記憶する記憶部は、経年変化画像蓄積部１０１ｃに対応する。また、照合部１０２および合成部１０３は、第１の実施の形態と同様の動作を行う。【００７３】
経年変化画像蓄積部１０１ｃは、多数の人物（例えば人物Ａ〜人物Ｘ）のそれぞれについて、年を経るごとに特徴が変化した顔画像を年齢ごとに蓄積するデータベースである。すなわち、経年変化画像蓄積部１０１ｃは、年を経るごとに漸次的に変化するある人物の各顔画像を、年齢に応じて、カテゴリ１１３１（第１カテゴリ１）〜１１３ｎ（第ｎカテゴリ）に分類して記憶する。以下、カテゴリ１１３１〜１１３ｎが包括的に表現される場合、または、いずれかのカテゴリが表現される場合、単にカテゴリ１１３と参照される。【００７４】
図９は、図８に示される特徴変化画像作成装置による特徴変化画像作成方法を示すフローチャートである。本実施の形態では、照合部１０２は、入力画像１２中の人物の年齢１５を指定する情報をユーザから受け取り（ステップＳ３１）、また、入力画像１２を受け取る（ステップＳ３２）。照合部１０２は、経年変化画像蓄積部１０１ｃ中の複数のカテゴリ１１３の中から、人物の年齢１５に対応するカテゴリ１１３を選択する。そして、照合部１０２は、選択されたカテゴリ１１３に含まれる全ての顔画像に対して、入力画像１２との照合処理を行う。そして、照合部１０２は、選択されたカテゴリ１１３に含まれる顔画像のうち、入力画像１２との類似度が最も大きい顔画像を決定する（ステップＳ３３）。ここでは、人物Ｂの顔画像が決定されたとする。また、ステップＳ３３において、カテゴリ１１３ｉが選択されたとする。【００７５】
ユーザから入力カテゴリ（指定年齢）１１が指定されると、照合部１０２は、その指定年齢に対応するカテゴリ１１３（例えば、カテゴリ１１３ｎ）に含まれる顔画像のうち、ステップＳ３３で決定された画像における人物と同人物の顔画像（この例では、人物Ｂの顔画像）を選択する（ステップＳ３４）。そして、照合部１０２は、選択された顔画像を選択顔画像として合成部１０３に出力する。合成部１０３は、入力画像１２と選択顔画像とを合成して合成画像１４を作成し、作成された合成画像１４を出力する（ステップＳ３５）。【００７６】
以上に示されたように、本実施の形態によれば、入力画像１２に最も類似した画像における人物の指定年齢の顔画像が抽出され、入力画像１２と抽出された顔画像とが合成される。そのため、入力画像１２の元の特徴を残しつつ、入力画像１２に他の特徴を付加することが可能となる。また、自然な印象を与えるように入力画像１２に他の特徴を付加することが可能となる。従って、元の顔画像の主要な特徴を残しつつ副次的な属性の特徴を与えることができるとともに、自然な印象を与えるように副次的な属性の特徴を顔画像に付与することが可能となる。【００７７】
また、本実施の形態によれば、照合部１０２が入力画像１２に類似した画像における人物の経年変化時の顔画像を選択するので、入力画像１２中の人物の顔の構造に応じた特有の経年特徴を、容易に入力画像１２に付加することができる。また、目や鼻など顔の部位（顔のパーツ）ごとの経年特徴を考慮する必要がなく、容易に合成顔画像を作成することが可能となる。【００７８】
（第４の実施の形態）
次に、本発明の第４の実施の形態を図面を参照して説明する。図１０は、第４の実施の形態の特徴変化画像作成装置の構成例を示すブロック図である。図１０に示されるように、特徴変化画像作成装置は、経年変化画像成分蓄積部１０１ｄ、画像の成分分析を行う成分分析部１０２ｂ、及び成分係数の変換処理を行う成分係数変換部１０４を含む。成分分析部１０２ｂは、第２の実施の形態と同様の動作を行う。経年変化画像成分蓄積部１０１ｄは、例えば、磁気ディスク装置によって実現される。成分係数変換部１０４は、例えば、コンピュータにおける演算処理装置及びその演算処理装置が実行するプログラムによって実現される。なお、本実施の形態において、複数の画像に関する情報を記憶する記憶部は、経年変化画像成分蓄積部１０１ｄに対応する。【００７９】
経年変化画像成分蓄積部１０１ｄは、複数の人物に関する情報が蓄積されたデータベースである。経年変化画像成分蓄積部１０１ｄは、顔画像そのものを記憶するのではなく、顔画像を成分分析することによって得られる複数の構成成分を記憶する。成分分析としては、主成分分析が例示される。具体的には、複数の顔画像は年齢や性別などに応じて複数のカテゴリーに分類される。各顔画像を成分分析することによって得られる構成成分は、経年変化画像成分蓄積部１０１ｄ中の各カテゴリに対応付けられて格納される。すなわち、経年変化画像成分蓄積部１０１ｄにおいては、構成成分が、１０歳代、２０歳代などの年齢帯に応じて、カテゴリ１１４１（第１カテゴリ）〜１１４ｎ（第ｎカテゴリ）に分類されている。以下、カテゴリ１１４１〜１１４ｎが包括的に表現する場合、または、いずれかのカテゴリが表現される場合、単にカテゴリ１１４と参照される。なお、成分分析前のカテゴリでは、いずれの２つのカテゴリにおいても共通人物の顔が両カテゴリに含まれている。【００８０】
成分係数変換部１０４は、各カテゴリ１１４に含れる構成成分の成分分析時の係数を変換する。本実施の形態では、第２の実施の形態と同様に、成分分析として主成分分析を用いる場合が例示される。【００８１】
成分係数変換部１０４が行う係数変換について説明する。成分分析に用いられる２つのカテゴリ１１４を、それぞれカテゴリＡおよびカテゴリＢとする。また、カテゴリＡおよびカテゴリＢに含まれる主成分（構成成分）を、それぞれＰｉ（ｉ＝１，・・・，ｎ）およびＱｉ（ｉ＝１，・・・，ｍ）とする。また、各主成分Ｐｉ，Ｑｉに対応する係数を、それぞれｃｉ（ｉ＝１，・・・，ｎ）およびｄｉ（ｉ＝１，・・・，ｍ）とする。以下では、係数ｃｉから係数ｄｉに変換する場合が説明される。【００８２】
カテゴリＡおよびカテゴリＢに含まれる構成成分を用いて作成される同一人物の経年変化前後の顔画像をそれぞれＩｐおよびＪｐとする。この時、顔画像ＩｐおよびＪｐは、それぞれ式（２）および式（３）を用いて表される。【００８３】
Ｉｐ＝ｃ１Ｐ１＋ｃ２Ｐ２＋・・・＋ｃｎＰｎ      ・・・（２）【００８４】
Ｊｐ＝ｄ１Ｑ１＋ｄ２Ｑ２＋・・・＋ｄｍＱｍ      ・・・（３）【００８５】
従って、係数ｄｉは、以下の式（４）を用いて、係数ｃｉを線形変換することによって求められる。【００８６】
【数１】
0004721052.tif 000002
【００８７】
式（４）において、行列Ａ＝｛ａｉｊ｝は、一般化逆行列の計算を行うことによって求められる。従って、式（４）の計算を行うためには、カテゴリＡとカテゴリＢとの両方のカテゴリ１１４に、少なくともｎ人以上の同一人物の構成成分が共通して含まれている必要がある。行列Ａの要素ａｉｊは、年齢間の構成成分を変換するための年齢間変換係数である。【００８８】
図１１は、図１０に示す特徴変化画像作成装置による特徴変化画像作成方法を示すフローチャートである。ユーザによって入力画像１２中の人物の年齢１５が入力されると、成分分析部１０２ｂは、人物の年齢１５を含む年齢帯に対応するカテゴリ１１４を選択する（ステップＳ４１）。入力画像１２が入力されると（ステップＳ４２）、成分分析部１０２ｂは、選択されたカテゴリ１１４に含まれる構成成分を用いて入力画像１２を再構成する（ステップＳ４３）。成分分析部１０２ｂは、作成される顔画像と入力画像１２との誤差が最小になるように再構成を実行する。つまり、成分分析部１０２ｂは、入力画像１２と作成される顔画像との類似度が最も大きくなるように再構成を実行する。【００８９】
ユーザによって入力カテゴリ（指定年齢）１１ｂが入力されると、成分分析部１０２ｂは、指定年齢に対応するカテゴリ１１４を選択する（ステップＳ４４）。成分係数変換部１０４は、再構成時に用いた各係数を、式（４）を用いて、指定年齢に対応するカテゴリ１１４の係数に変換する（ステップＳ４５）。【００９０】
そして、成分分析部１０２ｂは、変換後の係数と指定年齢に対応するカテゴリ１１４の構成成分とを用いて、式（３）に基づいて、最小誤差再構成画像１３ｂを作成して出力する（ステップＳ４６）。【００９１】
以上に示されたように、本実施の形態によれば、カテゴリ１１４は、いずれの２つのカテゴリも共通人物の顔に関する構成成分を含むように形成される。人物の年齢１５に対応するカテゴリ１１４の構成成分を用いて、入力画像１２が再構成される。再構成時の係数が、指定年齢に対応するカテゴリ１１４の係数に変換される。そして、変換後の係数を用いることによって最小誤差再構成画像１３ｂが作成される。従って、入力画像１２における顔の経年変化時の副次的特徴をよく表す画像を得ることが可能となる。【００９２】
（第５の実施の形態）
次に、本発明の第５の実施の形態を図面を参照して説明する。図１２は、第５の実施の形態の特徴変化画像作成装置の構成例を示すブロック図である。図１２に示す特徴変化画像作成装置は、第４の実施の形態で示した構成に加えて、入力画像と最小誤差再構成画像とを合成する合成部１０３を含む。【００９３】
図１３は、図１２に示す特徴変化画像作成装置による特徴変化画像作成方法を示すフローチャートである。図１３において、ステップＳ４１からステップＳ４６までの処理は、図１１に示されるステップＳ４１〜ステップＳ４６までの処理と同様である。【００９４】
合成部（画像合成部）１０３は、第２の実施の形態と同様に、成分分析部１０２ｂから最小誤差再構成画像が入力されると、入力画像１２と最小誤差再構成画像とを合成して合成画像１４を作成する。そして、合成部１０３は、作成された合成画像１４を出力する（ステップＳ５７）。【００９５】
なお、入力画像１２に十分類似した最小誤差再構成画像を作成できない場合には、再構成処理が繰り返し実行されてもよい。図１４は、図１２に示される特徴変化画像作成装置の構成が一部変更された変形例を示すブロック図である。また、図１５は、図１４に示す特徴変化画像作成装置による特徴変化画像作成方法を示すフローチャートである。【００９６】
図１４に示される変形例では、図６に示された変形例と同様に、合成部１０３は、入力画像１２と最小誤差再構成画像との類似度が所定値以下である場合には（ステップＳ５７ａ）、入力画像１２と最小誤差再構成画像とが合成された画像を成分分析部１０２ｂに出力する（ステップＳ５７ｂ）。すなわち、合成部１０３は、合成画像を成分分析部１０２ｂにフィードバックする。【００９７】
合成画像が入力されると、成分分析部１０２ｂは、入力された合成画像にもとづいて、顔画像の再構成の処理を行う（ステップＳ５８）。また、成分係数変換部１０４は、再構成された顔画像の各係数を、指定年齢に応じたカテゴリにおける係数に変換する（ステップＳ５９）。成分分析部１０２ｂは、変換後の係数と指定年齢に応じたカテゴリの構成成分とを用いて、最小誤差再構成画像を再度作成する。成分分析部１０２ｂは、その作成された最小誤差再構成画像を合成部１０３に出力する（ステップＳ６０）。【００９８】
そして、合成部１０３は、先ほどフィードバックされた合成画像と、成分分析部１０２ｂから再度入力された最小誤差再構成画像とを合成して合成画像１４を作成し出力する（ステップＳ６１）。なお、図１５には、１回のフィードバックしかなされない場合が例示されているが、ステップＳ６０において作成された最小誤差再構成画像と入力画像１２との類似度が所定値以下である場合には、再度、ステップＳ５７ｂ以降のの処理が実行される。【００９９】
再構成処理が繰り返し行われることによって、入力画像１２とカテゴリ１１４にある画像空間とがかけ離れている場合であっても、入力画像１２と再構成画像とを調和させることが可能となる。【０１００】
なお、上記の各実施の形態では、主として、人物の顔画像に経年変化を与える特徴変化画像作成装置が例示された。しかしながら、本発明は、顔画像に特徴を付加する場合に限らず、顔画像以外の画像に特徴を付加する場合にも適用可能である。【０１０１】
また、上記の各実施の形態の特徴変化画像作成装置は、コンピュータによって実現可能である。すなわち、上記の照合部１０２、合成部１０３、成分分析部１０２ｂ、成分係数変換部１０４の機能を実現するプログラムが提供され、コンピュータの記憶部に格納されてもよい。コンピュータの演算処理装置が、それらプログラムに従って処理を実行することによって、上記の各実施の形態における特徴変化画像作成処理を実現することができる。【０１０２】
本発明を、経年変化時のモンタージュ写真を作成する用途に適用できる。若年時の顔画像しかない場合であっても、経年変化後が想定された顔画像を作成することができる。また、本発明を、カメラ付き携帯電話やゲームセンタなどで利用されるアミュースメントアプリケーションに適用することも可能である。
【図１】
0004721052.tif 000003
【図２】
0004721052.tif 000004
【図３】
0004721052.tif 000005
【図４】
0004721052.tif 000006
【図５】
0004721052.tif 000007
【図６】
0004721052.tif 000008
【図７】
0004721052.tif 000009
【図８】
0004721052.tif 000010
【図９】
0004721052.tif 000011
【図１０】
0004721052.tif 000012
【図１１】
0004721052.tif 000013
【図１２】
0004721052.tif 000014
【図１３】
0004721052.tif 000015
【図１４】
0004721052.tif 000016
【図１５】
0004721052.tif 000017