(57)【特許請求の範囲】
【請求項１】
対象者の顔画像から指定された年齢または年齢層の顔画像を合成する顔画像合成装置であって、
予め複数人の顔画像を記憶する記憶手段と、
前記記憶手段に記憶された複数人の顔画像から複数人のしみまたはしわを検出する検出手段と、
前記記憶手段に記憶された複数人の顔画像から年齢または年齢層に対応する平均顔形状である年齢形状特徴を生成する生成手段と、
前記検出手段により検出された複数人のしみまたはしわから年齢または年齢層に対応するしみモデルまたはしわモデルを作成する作成手段と、
対象者の顔画像からしみまたはしわを有しない顔形状を抽出する抽出手段と、
前記生成手段により生成された年齢形状特徴のうち指定された年齢または年齢層に対応する年齢形状特徴に基づいて前記抽出手段により抽出された対象者の顔形状を変形させる変形手段と、
前記作成手段により作成された年齢または年齢層に対応するしみモデルまたはしわモデルのうち指定された年齢または年齢層に対応するしみモデルまたはしわモデルを前記変形手段により変形された対象者の顔形状に合致するよう変形した後、変形後のしみモデルまたはしわモデルを前記対象者の顔画像に適用することにより指定された年齢または年齢層に対応する顔画像を合成する適用手段とを備え、
前記作成手段は、顔画像の複数に分割された領域ごとに複数人からしみの数または面積を抽出し、抽出された前記領域ごとのしみの数または面積を前記領域ごとに昇順または降順に並べた場合に、略中央に位置する前記しみの数または面積を有する顔画像の領域を選択し、選択された領域のしみを結合したものをしみモデルとして作成し、複数人の顔画像のしわ成分を前記生成手段により生成された年齢形状特徴に合成し、しわ成分の重なり度合いが最も大きくなるようにしわ成分の位置をずらし、ずらした後のしわ成分の輝度を積算し、積算されたしわ成分の輝度を人数で割り、得られた輝度が基準値を超える領域をしわモデルのしわとして設定することを特徴とする顔画像合成装置。
【請求項２】
前記検出手段は、前記記憶手段に記憶された各顔画像において各画素の輝度と周辺領域の輝度との差に基づいて小塊を抽出し、抽出された前記小塊からしみまたはしわを検出することを特徴とする請求項１記載の顔画像合成装置。
【請求項３】
対象者の顔画像から指定された年齢または年齢層の顔画像を合成する顔画像合成方法であって、
予め複数人の顔画像を記憶するステップと、
前記記憶された複数人の顔画像から複数人のしみまたはしわを検出するステップと、
前記記憶された複数人の顔画像から年齢または年齢層に対応する平均顔形状である年齢形状特徴を生成するステップと、
前記検出された複数人のしみまたはしわから年齢または年齢層に対応するしみモデルまたはしわモデルを作成するステップと、
対象者の顔画像からしみまたはしわを有しない顔形状を抽出するステップと、
前記生成された年齢形状特徴のうち指定された年齢または年齢層に対応する年齢形状特徴に基づいて前記抽出された対象者の顔形状を変形させるステップと、
前記作成された年齢または年齢層に対応するしみモデルまたはしわモデルのうち指定された年齢または年齢層に対応するしみモデルまたはしわモデルを前記変形された対象者の顔形状に合致するよう変形した後、変形後のしみモデルまたはしわモデルを前記対象者の顔画像に適用することにより指定された年齢または年齢層に対応する顔画像を合成するステップと、
前記作成するステップは、顔画像の複数に分割された領域ごとに複数人からしみの数または面積を抽出し、抽出された前記領域ごとのしみの数または面積を前記領域ごとに昇順または降順に並べた場合に、略中央に位置する前記しみの数または面積を有する顔画像の領域を選択し、選択された領域のしみを結合したものをしみモデルとして作成し、複数人の顔画像のしわ成分を前記生成された年齢形状特徴に合成し、しわ成分の重なり度合いが最も大きくなるようにしわ成分の位置をずらし、ずらした後のしわ成分の輝度を積算し、積算されたしわ成分の輝度を人数で割り、得られた輝度が基準値を超える領域をしわモデルのしわとして設定することを含むことを特徴とする顔画像合成方法。
【請求項４】
コンピュータにより実行可能で、対象者の顔画像から指定された年齢または年齢層の顔画像を合成する顔画像合成プログラムであって、
予め複数人の顔画像を記憶する処理と、
前記記憶された複数人の顔画像から複数人のしみまたはしわを検出する処理と、
前記記憶された複数人の顔画像から年齢または年齢層に対応する平均顔形状である年齢形状特徴を生成する処理と、
前記検出された複数人のしみまたはしわから年齢または年齢層に対応するしみモデルまたはしわモデルを作成する処理と、
対象者の顔画像からしみまたはしわを有しない顔形状を抽出する処理と、
前記生成された年齢形状特徴のうち指定された年齢または年齢層に対応する年齢形状特徴に基づいて前記抽出された対象者の顔形状を変形させる処理と、
前記作成された年齢または年齢層に対応するしみモデルまたはしわモデルのうち指定された年齢または年齢層に対応するしみモデルまたはしわモデルを前記変形された対象者の顔形状に合致するよう変形した後、変形後のしみモデルまたはしわモデルを前記対象者の顔画像に適用することにより指定された年齢または年齢層に対応する顔画像を合成する処理とを、前記コンピュータに実行させ、
前記作成する処理は、顔画像の複数に分割された領域ごとに複数人からしみの数または面積を抽出し、抽出された前記領域ごとのしみの数または面積を前記領域ごとに昇順または降順に並べた場合に、略中央に位置する前記しみの数または面積を有する顔画像の領域を選択し、選択された領域のしみを結合したものをしみモデルとして作成し、複数人の顔画像のしわ成分を前記生成された年齢形状特徴に合成し、しわ成分の重なり度合いが最も大きくなるようにしわ成分の位置をずらし、ずらした後のしわ成分の輝度を積算し、積算されたしわ成分の輝度を人数で割り、得られた輝度が基準値を超える領域をしわモデルのしわとして設定することを含むことを特徴とする顔画像合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像合成装置、顔画像合成方法および顔画像合成プログラムに関する。
【背景技術】
【０００２】
従来から、顔画像におけるしみおよびしわを操作することにより、顔画像の年齢印象を変化させること（加齢処理）が可能な顔画像合成装置およびその方法が提案されている（例えば、特許文献１参照）。
【０００３】
このような顔画像合成装置においては、例えば目、鼻、口等の顔パーツ（顔部品）の形状を操作することにより年齢印象の異なる顔画像が合成される。
【０００４】
従来、第１の方法としてコンピュータグラフィックス（ＣＧ）によるしみおよびしわを顔画像に合成する方法と、第２の方法としてしみおよびしわを有する顔画像からしみおよびしわを抽出し、抽出したしみおよびしわを操作する方法とがある。
【特許文献１】特開２００５−９２３４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来のコンピュータグラフィックス（ＣＧ）によるしみおよびしわを顔画像に合成した場合、合成後の顔画像には不自然さが残る。
【０００６】
また、しみおよびしわがほとんどない若年者から、しみおよびしわを抽出することが非常に困難である。その結果、若年者を対象とした加齢処理を行うことができない。
【０００７】
本発明の目的は、若年者の顔画像を年齢操作することが可能で、かつ年齢操作後の顔画像に不自然さを残さない顔画像合成装置、顔画像合成方法および顔画像合成プログラムを提供することである。
【課題を解決するための手段】
【０００８】
第１の発明に係る顔画像合成装置は、対象者の顔画像から指定された年齢または年齢層の顔画像を合成する顔画像合成装置であって、予め複数人の顔画像を記憶する記憶手段と、記憶手段に記憶された複数人の顔画像から複数人のしみまたはしわを検出する検出手段と、記憶手段に記憶された複数人の顔画像から年齢または年齢層に対応する平均顔形状である年齢形状特徴を生成する生成手段と、検出手段により検出された複数人のしみまたはしわから年齢または年齢層に対応するしみモデルまたはしわモデルを作成する作成手段と、対象者の顔画像からしみまたはしわを有しない顔形状を抽出する抽出手段と、生成手段により生成された年齢形状特徴のうち指定された年齢または年齢層に対応する年齢形状特徴に基づいて抽出手段により抽出された対象者の顔形状を変形させる変形手段と、作成手段により作成された年齢または年齢層に対応するしみモデルまたはしわモデルのうち指定された年齢または年齢層に対応するしみモデルまたはしわモデルを変形手段により変形された対象者の顔形状に合致するよう変形した後、変形後のしみモデルまたはしわモデルを対象者の顔画像に適用することにより指定された年齢または年齢層に対応する顔画像を合成する適用手段とを備え、作成手段は、顔画像の複数に分割された領域ごとに複数人からしみの数または面積を抽出し、抽出された領域ごとのしみの数または面積を領域ごとに昇順または降順に並べた場合に、略中央に位置するしみの数または面積を有する顔画像の領域を選択し、選択された領域のしみを結合したものをしみモデルとして作成し、複数人の顔画像のしわ成分を生成手段により生成された年齢形状特徴に合成し、しわ成分の重なり度合いが最も大きくなるようにしわ成分の位置をずらし、ずらした後のしわ成分の輝度を積算し、積算されたしわ成分の輝度を人数で割り、得られた輝度が基準値を超える領域をしわモデルのしわとして設定するものである。
【０００９】
本発明に係る顔画像合成装置においては、記憶手段により予め複数人の顔画像が記憶され、検出手段によりそれらの顔画像から複数人のしみまたはしわが検出される。また、記憶手段に記憶された複数人の顔画像から年齢または年齢層に対応する平均顔形状である年齢形状特徴が生成手段により生成される。さらに、検出手段により検出された複数人のしみまたはしわから年齢または年齢層に対応するしみモデルまたはしわモデルが作成手段により作成される。
【００１０】
一方、抽出手段により対象者の顔画像からしみまたはしわを有しない顔形状が抽出される。さらに、生成手段により生成された年齢形状特徴のうち指定された年齢または年齢層に対応する年齢形状特徴に基づいて抽出手段により抽出された対象者の顔形状が変形手段により変形される。それにより、対象者の顔形状を指定された年齢または年齢層に対応する顔形状に年齢操作することができる。また、作成手段により作成されたしみモデルまたはしわモデルのうち指定された年齢または年齢層に対応するしみモデルまたはしわモデルが、変形手段により変形された対象者の顔形状に合致するよう変形された後、変形後のしみモデルまたはしわモデルが対象者の顔画像に適用手段により適用される。それにより、指定された年齢または年齢層に対応する対象者の顔画像が合成される。
【００１１】
このように、指定された年齢または年齢層に対応するしみモデルまたはしわモデルが対象者の顔画像に適用されることによって、従来のコンピュータグラフィックス（ＣＧ）によるしみおよびしわのモデルを顔画像に合成した場合のような合成後の顔画像に残る不自然さの発生を防止することができる。それにより、対象者の顔画像を所望の年齢または年齢層に対応する自然な顔画像に年齢操作することができる。
【００１２】
また、作成手段により作成されたしみモデルまたはしわモデルを用いることにより、しみおよびしわがほとんどない若年者の顔画像に対しても年齢操作を容易に行うことが可能となる。
しみの位置は人ごとに異なるが、しみの数および面積は同じ年齢または年齢層の人に共通している。したがって、顔画像の複数に分割された領域ごとに、その領域ごとで略中央に位置される標準的なしみの数または面積を有する対象者の領域が選択され、選択された領域のしみが結合されたものをしみモデルとして用いることにより、しみモデルの信頼性を向上することができる。また、複数人のしわのうち共通する領域をしわモデルとすることにより、所望の年齢または年齢層に相応の自然な顔画像を得ることができる。
【００１９】
検出手段は、記憶手段に記憶された各顔画像において各画素の輝度と周辺領域の輝度との差に基づいて小塊を抽出し、抽出された小塊からしみまたはしわを検出してもよい。
【００２０】
この場合、記憶手段に記憶された各顔画像において各画素の輝度と周辺領域の輝度との差に基づいて小塊が検出手段により検出され、検出された小塊からしみまたはしわが検出手段により検出される。ここで、小塊とは、顔画像内で周辺領域の輝度に比べてより低いまたは高い輝度を有する画素が連結した領域をいう。
【００２１】
しみは皮膚表面の色の異なる部分であるため、各画素の輝度と周辺領域の輝度との差に基づいてしみに相当する小塊を検出することができる。また、しわは皮膚表面の凹凸により構成される陰影であるため、各画素の輝度と周辺領域の輝度との差に基づいてしわに相当する小塊を検出することができる。このように検出された小塊を用いることで、しみおよびしわを容易に検出することが可能となる。
【００２２】
第２の発明に係る顔画像合成方法は、対象者の顔画像から指定された年齢または年齢層の顔画像を合成する顔画像合成方法であって、予め複数人の顔画像を記憶するステップと、記憶された複数人の顔画像から複数人のしみまたはしわを検出するステップと、記憶された複数人の顔画像から年齢または年齢層に対応する平均顔形状である年齢形状特徴を生成するステップと、検出された複数人のしみまたはしわから年齢または年齢層に対応するしみモデルまたはしわモデルを作成するステップと、対象者の顔画像からしみまたはしわを有しない顔形状を抽出するステップと、生成された年齢形状特徴のうち指定された年齢または年齢層に対応する年齢形状特徴に基づいて抽出された対象者の顔形状を変形させるステップと、作成された年齢または年齢層に対応するしみモデルまたはしわモデルのうち指定された年齢または年齢層に対応するしみモデルまたはしわモデルを変形された対象者の顔形状に合致するよう変形した後、変形後のしみモデルまたはしわモデルを対象者の顔画像に適用することにより指定された年齢または年齢層に対応する顔画像を合成するステップと、作成するステップは、顔画像の複数に分割された領域ごとに複数人からしみの数または面積を抽出し、抽出された領域ごとのしみの数または面積を領域ごとに昇順または降順に並べた場合に、略中央に位置するしみの数または面積を有する顔画像の領域を選択し、選択された領域のしみを結合したものをしみモデルとして作成し、複数人の顔画像のしわ成分を生成された年齢形状特徴に合成し、しわ成分の重なり度合いが最も大きくなるようにしわ成分の位置をずらし、ずらした後のしわ成分の輝度を積算し、積算されたしわ成分の輝度を人数で割り、得られた輝度が基準値を超える領域をしわモデルのしわとして設定することを含むものである。
【００２３】
本発明に係る顔画像合成方法においては、予め複数人の顔画像が記憶され、それらの顔画像から複数人のしみまたはしわが検出される。また、記憶された複数人の顔画像から年齢または年齢層に対応する平均顔形状である年齢形状特徴が生成される。さらに、検出された複数人のしみまたはしわから年齢または年齢層に対応するしみモデルまたはしわモデルが作成される。
【００２４】
一方、対象者の顔画像からしみまたはしわを有しない顔形状が抽出される。さらに、生成された年齢形状特徴のうち指定された年齢または年齢層に対応する年齢形状特徴に基づいて抽出された対象者の顔形状が変形される。それにより、対象者の顔形状を指定された年齢または年齢層に対応する顔形状に年齢操作することができる。また、作成されたしみモデルまたはしわモデルのうち指定された年齢または年齢層に対応するしみモデルまたはしわモデルが、変形された対象者の顔形状に合致するよう変形された後、変形後のしみモデルまたはしわモデルが対象者の顔画像に適用される。それにより、指定された年齢または年齢層に対応する対象者の顔画像が合成される。
【００２５】
このように、指定された年齢または年齢層に対応するしみモデルまたはしわモデルが対象者の顔画像に適用されることによって、従来のコンピュータグラフィックス（ＣＧ）によるしみおよびしわのモデルを顔画像に合成した場合のような合成後の顔画像に残る不自然さの発生を防止することができる。それにより、対象者の顔画像を所望の年齢または年齢層に対応する自然な顔画像に年齢操作することができる。
【００２６】
また、作成されたしみモデルまたはしわモデルを用いることにより、しみおよびしわがほとんどない若年者の顔画像に対しても年齢操作を容易に行うことが可能となる。
しみの位置は人ごとに異なるが、しみの数および面積は同じ年齢または年齢層の人に共通している。したがって、顔画像の複数に分割された領域ごとに、その領域ごとで略中央に位置される標準的なしみの数または面積を有する対象者の領域が選択され、選択された領域のしみが結合されたものをしみモデルとして用いることにより、しみモデルの信頼性を向上することができる。また、複数人のしわのうち共通する領域をしわモデルとすることにより、所望の年齢または年齢層に相応の自然な顔画像を得ることができる。
【００２７】
第３の発明に係る顔画像合成プログラムは、コンピュータにより実行可能で、対象者の顔画像から指定された年齢または年齢層の顔画像を合成する顔画像合成プログラムであって、予め複数人の顔画像を記憶する処理と、記憶された複数人の顔画像から複数人のしみまたはしわを検出する処理と、記憶された複数人の顔画像から年齢または年齢層に対応する平均顔形状である年齢形状特徴を生成する処理と、検出された複数人のしみまたはしわから年齢または年齢層に対応するしみモデルまたはしわモデルを作成する処理と、対象者の顔画像からしみまたはしわを有しない顔形状を抽出する処理と、生成された年齢形状特徴のうち指定された年齢または年齢層に対応する年齢形状特徴に基づいて抽出された対象者の顔形状を変形させる処理と、作成された年齢または年齢層に対応するしみモデルまたはしわモデルのうち指定された年齢または年齢層に対応するしみモデルまたはしわモデルを変形された対象者の顔形状に合致するよう変形した後、変形後のしみモデルまたはしわモデルを対象者の顔画像に適用することにより指定された年齢または年齢層に対応する顔画像を合成する処理とを、コンピュータに実行させ、作成する処理は、顔画像の複数に分割された領域ごとに複数人からしみの数または面積を抽出し、抽出された領域ごとのしみの数または面積を領域ごとに昇順または降順に並べた場合に、略中央に位置するしみの数または面積を有する顔画像の領域を選択し、選択された領域のしみを結合したものをしみモデルとして作成し、複数人の顔画像のしわ成分を生成された年齢形状特徴に合成し、しわ成分の重なり度合いが最も大きくなるようにしわ成分の位置をずらし、ずらした後のしわ成分の輝度を積算し、積算されたしわ成分の輝度を人数で割り、得られた輝度が基準値を超える領域をしわモデルのしわとして設定することを含むものである。
【００２８】
本発明に係る顔画像合成プログラムにおいては、予め複数人の顔画像が記憶され、それらの顔画像から複数人のしみまたはしわが検出される。また、記憶された複数人の顔画像から年齢または年齢層に対応する平均顔形状である年齢形状特徴が生成される。さらに、検出された複数人のしみまたはしわから年齢または年齢層に対応するしみモデルまたはしわモデルが作成される。
【００２９】
一方、対象者の顔画像からしみまたはしわを有しない顔形状が抽出される。さらに、生成された年齢形状特徴のうち指定された年齢または年齢層に対応する年齢形状特徴に基づいて抽出された対象者の顔形状が変形される。それにより、対象者の顔形状を指定された年齢または年齢層に対応する顔形状に年齢操作することができる。また、作成されたしみモデルまたはしわモデルのうち指定された年齢または年齢層に対応するしみモデルまたはしわモデルが、変形された対象者の顔形状に合致するよう変形された後、変形後のしみモデルまたはしわモデルが対象者の顔画像に適用される。それにより、指定された年齢または年齢層に対応する対象者の顔画像が合成される。
【００３０】
このように、指定された年齢または年齢層に対応するしみモデルまたはしわモデルが対象者の顔画像に適用されることによって、従来のコンピュータグラフィックス（ＣＧ）によるしみおよびしわのモデルを顔画像に合成した場合のような合成後の顔画像に残る不自然さの発生を防止することができる。それにより、対象者の顔画像を所望の年齢または年齢層に対応する自然な顔画像に年齢操作することができる。
【００３１】
また、作成されたしみモデルまたはしわモデルを用いることにより、しみおよびしわがほとんどない若年者の顔画像に対しても年齢操作を容易に行うことが可能となる。
しみの位置は人ごとに異なるが、しみの数および面積は同じ年齢または年齢層の人に共通している。したがって、顔画像の複数に分割された領域ごとに、その領域ごとで略中央に位置される標準的なしみの数または面積を有する対象者の領域が選択され、選択された領域のしみが結合されたものをしみモデルとして用いることにより、しみモデルの信頼性を向上することができる。また、複数人のしわのうち共通する領域をしわモデルとすることにより、所望の年齢または年齢層に相応の自然な顔画像を得ることができる。
【発明の効果】
【００３２】
本発明によれば、コンピュータグラフィックス（ＣＧ）によるしみおよびしわのモデルを顔画像に合成した場合のような合成後の顔画像に残る不自然さの発生を防止することができる。それにより、対象者の顔画像を所望の年齢または年齢層に対応する自然な顔画像に年齢操作することができる。また、しみおよびしわがほとんどない若年者の顔画像に対しても年齢操作を容易に行うことが可能となる。
【発明を実施するための最良の形態】
【００３３】
（１）基本思想
最初に、本発明に係る顔画像合成装置および顔画像合成方法の基本思想について説明する。
【００３４】
しみおよびしわは、人が生きて行く過程で外界から受ける様々な影響から皮膚が変化し、蓄積されたものである。しみは、皮膚内部の組織が変化し、色素が沈着したものである。一方、しわは、皮膚が曲がることを繰り返し、固定化された皮膚上の溝である。
【００３５】
このような理由で、しみは皮膚の凹凸でできた陰影ではなく、画像上において皮膚表面の色の異なる部分として存在する。しわは皮膚上の溝であるから、画像上において皮膚表面上の凹凸により構成される陰影である。
【００３６】
（２）顔画像合成装置の構成
次に、図１のブロック図を用いて本実施の形態の顔画像合成方法を実行するための顔画像合成装置の構成を説明する。
【００３７】
画像処理装置５０は、ＣＰＵ（中央演算処理装置）５０１、ＲＯＭ（リードオンリメモリ）５０２、ＲＡＭ（ランダムアクセスメモリ）５０３、入力装置５０４、表示装置５０５、外部記憶装置５０６、記録媒体駆動装置５０７および印刷装置５０８を含む。
【００３８】
入力装置５０４は、キーボード、マウス、スキャナ、デジタルカメラ等からなり、各種指令、データおよび画像を入力するために用いられる。ＲＯＭ５０２にはシステムプログラムが記憶される。記録媒体駆動装置５０７は、ＣＤ（コンパクトディスク）ドライブ、ＤＶＤ（デジタルバーサタイルディスク）ドライブ、ＦＤ（フレキシブルディスク）ドライブ等からなり、ＣＤ、ＤＶＤ、ＦＤ等の記録媒体５０９に対してデータの読み書きを行う。
【００３９】
記録媒体５０９には、顔画像合成プログラムが記録されている。この顔画像合成プログラムは、各種画像処理プログラムを含む。
【００４０】
外部記憶装置５０６は、ハードディスク装置等からなり、記録媒体駆動装置５０７を介して記録媒体５０９から読み込まれた顔画像合成プログラムおよび各種データを記憶する。ＣＰＵ５０１は、外部記憶装置５０６に記憶された顔画像合成プログラムをＲＡＭ５０３上で実行する。
【００４１】
表示装置５０５は、液晶表示パネル、ＣＲＴ（陰極線管）等からなり、各種画像等を表示する。印刷装置５０８は、各種画像等を印刷する。
【００４２】
なお、顔画像合成プログラムを記録する記録媒体５０９として、ＲＯＭ等の半導体メモリ、ハードディスク等の種々の記録媒体を用いることができる。また、顔画像合成プログラムを通信回線等の通信媒体を介して外部記憶装置５０６にダウンロードし、ＲＡＭ５０３上で実行してもよい。
【００４３】
（３）しみ／しわモデル作成処理
以下、図２のフローチャートを参照しながら、図１の顔画像合成装置によるしみ／しわモデル作成処理について説明する。
【００４４】
ここでは、各年齢または各年齢層の複数の対象者の顔画像に基づいて各年齢または各年齢層のしみ／しわモデルを作成する処理について説明する。この場合、デジタルカメラ等により得られた対象者の顔画像（以下、原画像と称する）が画像データとして外部記憶装置５０６に記憶されているものとする。
【００４５】
画像データは、赤色画像データ、緑色画像データおよび青色画像データからなる。後述するしみおよびしわの検出は、緑色画像データを用いて行われる。この場合、赤色画像データは肌の色に近いため、肌の色と異なる緑色画像データを用いることにより、しみおよびしわを正確に検出することができる。
【００４６】
また、原画像における顔パーツ（目、鼻、口等）の位置を示す位置情報も予め取得され、外部記憶装置５０６に記憶されているものとする。顔パーツの位置情報は、人の入力操作により取得されてもよく、原画像から自動的に取得されてもよい。
【００４７】
最初に、ＣＰＵ５０１は、対象者の人数Ｍおよび年齢Ｎを取得する（ステップＳ１）。なお、ＣＰＵ５０１は、上記年齢Ｎの代わりに対象者の年齢層を取得してもよい。例えば取得された年齢層が２０歳台の場合には、上記対象者の年齢が２０歳〜２９歳に限定される。
【００４８】
次に、ＣＰＵ５０１は、外部記憶装置５０６から原画像を取得する（ステップＳ２）。取得された原画像は、ＲＡＭ５０３の第１のバッファ領域に記憶される。
【００４９】
続いて、ＣＰＵ５０１は、取得した原画像から明領域を検出し、２値化された明領域画像を作成する（ステップＳ３）。ここで、明領域とは、原画像において平均輝度よりも高い輝度を有する領域をいう。明領域画像の作成処理の詳細については後述する。明領域画像は、ＲＡＭ５０３の第２のバッファ領域に画像データとして記憶される。
【００５０】
さらに、ＣＰＵ５０１は、原画像から暗領域を検出し、２値化された暗領域画像を作成する（ステップＳ４）。ここで、暗領域とは、原画像において平均輝度よりも低い輝度を有する領域をいう。暗領域画像の作成処理の詳細については後述する。暗領域画像は、ＲＡＭ５０３の第３のバッファ領域に画像データとして記憶される。
【００５１】
次いで、ＣＰＵ５０１は、明領域画像および暗領域画像の各々において、ブロッブ（小塊）の抽出およびラベリングを行う（ステップＳ５）。なお、ブロッブとは、明領域画像または暗領域画像において“１”の値を有する画素が連結する小さな塊の領域をいう。ここで、値が“１”の注目画素の周辺（８個の近傍）に値が“１”の画素がある場合に、値が“１”の周辺の画素と注目画素とを連結領域とみなす。そして、複数のブロッブにそれぞれラベルが付される（ラベリング）。ブロッブの抽出およびラベリングの詳細については後述する。ラベリングされた明領域画像および暗領域画像は、ＲＡＭ５０３の第４および第５のバッファ領域にそれぞれ画像データとして記憶される。
【００５２】
次に、しみおよびしわを検出し、しみ成分およびしわ成分を生成する（ステップＳ６）。この場合、ブロッブの形状および大きさからしみおよびしわをそれ以外の領域（例えば顔パーツ）から区別することができる。例えば、しみは、顔の大きさに比べて小さく、かつ円に近いかまたは多少歪んだ形状を有する。しわは、線状または細長い形状を有するが、顔の大きさと比較して著しく長くなることはない。しみとして検出されたブロッブに基づいてしみ成分が生成され、しわとして検出されたブロッブに基づいてしわ成分が生成される。しみおよびしわの検出ならびにしみ成分およびしわ成分の生成処理の詳細については後述する。しみ成分およびしわ成分は、ＲＡＭ５０３の第６および第７のバッファ領域にそれぞれ画像データとして記憶される。
【００５３】
続いて、ＣＰＵ５０１は対象者の顔形状を抽出する（ステップＳ７）。そして、ＣＰＵ５０１は、対象者の人数Ｍから１を減算（ステップＳ８）した後、上記人数Ｍが０となったか否かを判別する（ステップＳ９）。人数Ｍが０となっていない場合、ＣＰＵ５０１は、ステップＳ２の処理に戻り、ステップＳ２〜Ｓ８の処理を繰り返す。
【００５４】
上記ステップＳ９の処理において、人数Ｍが０となった場合、つまり全ての対象者について上記ステップＳ２〜Ｓ８の処理が終了した場合には、ＣＰＵ５０１は、これらの対象者の年齢形状特徴（平均顔形状）を作成する（ステップＳ１０）。
【００５５】
次に、ＣＰＵ５０１は、しわモデル作成処理（ステップＳ１１）およびしみモデル作成処理（ステップＳ１２）を行う。なお、しみモデル作成処理が終了すれば、しみ／しわモデル作成処理が終了することとなる。
【００５６】
（４）しわモデル作成処理
図３は、しわモデル作成処理を示すフローチャートである。しわモデル作成処理で用いられるしわ成分は複数の階調を有する多値画像である。
【００５７】
図３に示すように、最初に、ＣＰＵ５０１は、各対象者のしわ成分を、上記ステップＳ１０の処理で作成した年齢形状特徴に合成する（ステップＳ２１）。
【００５８】
次に、ＣＰＵ５０１は、マッチング係数Ｐの最大値を検出する（ステップＳ２２）。ここで、マッチング係数Ｐについて説明する。図４は、マッチング係数Ｐを説明するための説明図である。なお、図４（ａ），（ｂ）および後述の図４（ｃ）においては、年齢形状特徴は図示されていない。
【００５９】
年齢形状特徴に図４（ａ）に示す一方の対象者のしわ成分を合成する（上述のステップＳ２１）。この一方の対象者のしわ成分の面積をＡとする。
【００６０】
同様に、一方の対象者のしわ成分が合成された年齢形状特徴に、図４（ｂ）に示す他方の対象者のしわ成分を合成する（上述のステップＳ２１）。この他方の対象者のしわ成分の面積をＢとする。
【００６１】
ここで、上記一方および他方の対象者の各しわ成分が年齢形状特徴のほぼ同じ位置にあるものとして、一方の対象者のしわ成分が合成された年齢形状特徴に、他方の対象者のしわ成分を合成すると、図４（ｃ）に示すように、面積Ａを有する一方の対象者のしわ成分と面積Ｂを有する他方の対象者のしわ成分とが重なり合う。この重なり合ってできたしわ成分（以下、重なりしわ成分と呼ぶ：図４（ｃ）において黒色の領域）の面積をＣとする。
【００６２】
このように算出された重なりしわ成分の面積Ｃを用いて、ＣＰＵ５０１はマッチング係数Ｐを下記式に基づいて算出する。
【００６３】
Ｐ＝Ｃ／Ａ＋Ｃ／Ｂ  ・・・（１）
次に、ＣＰＵ５０１は、一方の対象者のしわ成分または他方の対象者のしわ成分の位置をずらすことにより、重なりの度合いが最も大きくなる位置を検出し、その位置おける上記マッチング係数Ｐを当該マッチング係数Ｐの最大値として検出する（上述のステップＳ２２）。なお、しわ成分の位置をずらす処理は、例えば９画素×９画素の領域上で行われる。
【００６４】
次に、ＣＰＵ５０１は、マッチング係数Ｐの最大値が所定値（例えば、０．５）以上であるか否かを判別する（図３のステップＳ２３）。マッチング係数Ｐの最大値が所定値以上である場合に、ＣＰＵ５０１は、ずらした後のしわ成分の輝度を積算する（ステップＳ２４）。
【００６５】
次に、上記ステップＳ２４の処理後、および上記ステップＳ２３においてマッチング係数Ｐの最大値が所定値未満である場合に、ＣＰＵ５０１は、全てのしわ成分について処理が終了したか否かを判別する（ステップＳ２５）。全てのしわ成分について処理が終了した場合、ＣＰＵ５０１は、全ての対象者の処理が終了したか否かを判別する（ステップＳ２６）。
【００６６】
上記ステップＳ２６の処理において全ての対象者の処理が終了した場合、ＣＰＵ５０１は、積算されたしわ成分の輝度を対象者の人数で割った後（ステップＳ２７）、所定の基準値（例えば、輝度が３）以下のしわ成分の領域を消去する（ステップＳ２８）。これにより、輝度が基準値を超える領域がしわモデルのしわ成分として設定される。
【００６７】
一方、上記ステップＳ２５の処理において全てのしわ成分について処理が終了していない場合、ＣＰＵ５０１はステップＳ２２の処理に戻り、ステップＳ２２〜Ｓ２５の処理を繰り返す。
【００６８】
また、上記ステップＳ２６の処理において全ての対象者の処理が終了していない場合、ＣＰＵ５０１はステップＳ２２の処理に戻り、ステップＳ２２〜Ｓ２６の処理を繰り返す。これにより、複数の対象者のしわ成分の輝度がマッチング係数Ｐを最大とする状態で積算される。
【００６９】
次に、上記ステップＳ２８の処理の後、ＣＰＵ５０１は、上記のように作成されたしわモデルを外部記憶装置５０６に記憶させる（ステップＳ２９）。なお、しわモデル作成処理では、重なりしわ成分の領域を除く領域のうち基準値を超えない領域も、しわモデルのしわ成分の一部として設定してもよい。
【００７０】
（５）しみモデル作成処理
以下、しみモデル作成処理（ステップＳ１２）について図面を参照しながら説明する。
【００７１】
図５は、対象者の原画像を簡略化した模式図である。
【００７２】
図５の対象者の原画像を複数の領域に区画する。例えば、頭の先端部から目の中心までの範囲を領域Ｆ１とし、目の中心から口の中心までの範囲を領域Ｆ２とし、口の中心からあごの先端部までの範囲を領域Ｆ３とする。
【００７３】
例えば、対象者Ａ、対象者Ｂ、対象者Ｃ、対象者Ｄおよび対象者Ｅがいる場合において、領域Ｆ１における対象者Ａのしみの数を１２個、対象者Ｂのしみの数を２０個、対象者Ｃのしみの数を５個、対象者Ｄのしみの数を１０個、対象者Ｅのしみの数を８個とする。領域Ｆ１において対象者Ａ〜Ｅが有するしみの数を多い順（または少ない順）に並べた場合に、１０個のしみを有する対象者Ｄが中間に位置する。
【００７４】
このような結果に基づいて、領域Ｆ１では対象者Ｄのしみをしみモデルのしみ成分として設定する。領域Ｆ２および領域Ｆ３においても同様に、各対象者が有するしみの数を多い順（または少ない順）に並べた場合に、中間に位置する対象者のしみをしみモデルのしみ成分としてそれぞれ設定する。なお、上記の例では、しみの数に基づいてしみモデルを設定したが、これに限定されるものではなく、しみの面積（総面積）に基づいてしみモデルを設定してもよい。
【００７５】
しみの位置は人ごとに異なるが、しみの数および面積は同じ年齢または年齢層の人に共通している。したがって、本実施の形態の方法を用いることにより、信頼性が向上されたしみモデルを作成することができる。
【００７６】
上記の例では、説明の簡略化のため対象者の人数を５名（対象者Ａ〜Ｅ）としたが、実際には１００名以上を対象者とすることが好ましい。また、対象者の数が偶数の場合には、上記中間に位置する対象者として複数人（例えば２人）のしみをしみモデルのしみ成分として設定してもよい。
【００７７】
しみ／しわモデル作成処理により作成されたしわモデルおよびしみモデルを、それぞれ図６（ａ）および図６（ｂ）に示す。
【００７８】
（６）モデル適用処理
次に、しみモデルおよびしわモデルを、ある対象者の原画像に適用するためのモデル適用処理について説明する。
【００７９】
図７は、モデル適用処理を示すフローチャートである。
【００８０】
図７に示すように、ＣＰＵ５０１は、対象者の原画像を取得する（ステップＳ３１）。本例の場合、ＣＰＵ５０１は、図８（ａ）に示す２０歳の女性の原画像を取得するものとする。
【００８１】
次に、ＣＰＵ５０１は年齢操作後の年齢を取得する（ステップＳ３２）。この場合、作業者が画像処理装置５０の入力装置５０４を操作することにより、年齢操作後の年齢が決定される。例えば、作業者は年齢操作後の年齢として４０歳代、５０歳代、６０歳代および７０歳代を選択することができる。
【００８２】
続いて、ＣＰＵ５０１は、対応する年齢形状特徴、しみモデルおよびしわモデルを選択（ステップＳ３３）した後、上記年齢形状特徴に基づいて原画像の顔形状を変形する（ステップＳ３４）。
【００８３】
次に、ＣＰＵ５０１は、しみモデルおよびしわモデルを変形された顔形状に合致するよう変形する（ステップＳ３５）。
【００８４】
その後、ＣＰＵ５０１は、原画像に変形されたしみモデルおよびしわモデルを適用する（ステップＳ３６）。
【００８５】
４０歳代のしみモデルおよびしわモデルを原画像に適用した結果を図８（ｂ）に示し、７０歳代のしみモデルおよびしわモデルを原画像に適用した結果を図８（ｃ）に示す。
【００８６】
（７）本実施の形態における効果
このように、本実施の形態においては、しみ／しわモデル作成処理によりしみモデルおよびしわモデルを作成し、これらを対象者の原画像に適用することによって、コンピュータグラフィックス（ＣＧ）によるしみおよびしわを顔画像に合成した場合のような合成後の顔画像に残る不自然さの発生を防止することができる。それにより、年齢操作後の結果における信頼性を向上することができる。
【００８７】
また、しみ／しわモデル作成処理により作成したしみモデルおよびしわモデルを用いることにより、しみおよびしわがほとんどない若年者の原画像に対しても年齢操作を容易に行うことが可能となる。
【００８８】
（８）明領域画像および暗領域画像の作成
次に、図２のしみ／しわモデル作成処理における明領域画像の作成（ステップＳ３）および暗領域画像の作成（ステップＳ４）について説明する。
【００８９】
図９は、注目画素および周辺画素の一例を示す図である。また、図１０および図１１は、明領域画像の作成処理を示すフローチャートである。さらに、図１２および図１３は、暗領域画像の作成処理を示すフローチャートである。
【００９０】
図９に示すように、原画像１００の水平方向をＸ方向とし、垂直方向をＹ方向とする。図９の例では、原画像１００のＸ方向の画素数は５１２であり、Ｙ方向の画素数も５１２である。注目画素３００の周囲の１０画素×１０画素の領域を周辺領域２００と呼ぶ。
【００９１】
明領域画像の作成処理および暗領域画像の作成処理では、注目画素３００を１画素ずつシフトさせながら、周辺領域２００内の輝度の平均値に基づいて注目画素３００の値を決定する。
【００９２】
図１０および図１１の明領域画像作成処理においては、まず、ＣＰＵ５０１は、注目画素３００および周辺領域２００を設定する（ステップＳ４１）。
【００９３】
次に、周辺領域２００内の画素の輝度の平均値を算出する（ステップＳ４２）。そして、注目画素３００の輝度値と平均値との差を算出する（ステップＳ４３）。
【００９４】
次いで、注目画素３００の輝度値と平均値との差が正の所定値以上か否かを判別する（ステップＳ４４）。
【００９５】
注目画素３００の輝度値と平均値との差が正の所定値以上の場合には、“１”を注目画素３００の画素値に設定する（ステップＳ４５）。注目画素３００の輝度値と平均値との差が正の所定値より低い場合には、“０”を注目画素３００の画素値に設定する（ステップＳ４６）。
【００９６】
その後、注目画素３００がＸ方向の最後の画素か否かを判別する（図１１のステップＳ４７）。注目画素３００がＸ方向の最後の画素でない場合は、注目画素３００および周辺領域２００をＸ方向に１画素分シフトする（ステップＳ４８）。そして、ステップＳ４２に戻り、ステップＳ４２〜Ｓ４７の処理を繰り返す。
【００９７】
ステップＳ４７において注目画素３００がＸ方向の最後の画素の場合には、注目画素３００がＹ方向の最後の画素か否かを判別する（ステップＳ４９）。注目画素３００がＹ方向の最後の画素でない場合は、注目画素３００をＸ方向の最初の画素に戻し、注目画素３００および周辺領域２００をＹ方向に１画素分シフトする（ステップＳ５０）。そして、ステップＳ４２に戻り、ステップＳ４２〜Ｓ４９の処理を繰り返す。
【００９８】
ステップＳ４９において注目画素３００がＹ方向の最後の画素の場合には、明領域画像作成処理を終了する。
【００９９】
このようにして、原画像１００において平均輝度よりも高い輝度を有する明領域を示す明領域画像が作成される。
【０１００】
次に、図１２および図１３の暗領域画像作成処理においては、まず、ＣＰＵ５０１は、注目画素３００および周辺領域２００を設定する（ステップＳ５１）。
【０１０１】
次に、周辺領域２００内の画素の輝度の平均値を算出する（ステップＳ５２）。そして、注目画素３００の輝度値と平均値との差を算出する（ステップＳ５３）。
【０１０２】
次いで、注目画素３００の輝度値と平均値との差が負の所定値以下か否かを判別する（ステップＳ５４）。
【０１０３】
注目画素３００の輝度値と平均値との差が負の所定値以下の場合には、“１”を注目画素３００の画素値に設定する（ステップＳ５５）。注目画素３００の輝度値と平均値との差が負の所定値よりも高い場合には、“０”を注目画素３００の画素値に設定する（ステップＳ５６）。
【０１０４】
その後、注目画素３００がＸ方向の最後の画素か否かを判別する（図１３のステップＳ５７）。注目画素３００がＸ方向の最後の画素でない場合は、注目画素３００および周辺領域２００をＸ方向に１画素分シフトする（ステップＳ５８）。そして、ステップＳ５２に戻り、ステップＳ５２〜Ｓ５７の処理を繰り返す。
【０１０５】
ステップＳ５７において注目画素３００がＸ方向の最後の画素の場合には、注目画素３００がＹ方向の最後の画素か否かを判別する（ステップＳ５９）。注目画素３００がＹ方向の最後の画素でない場合は、注目画素３００をＸ方向の最初の画素に戻し、注目画素３００および周辺領域２００をＹ方向に１画素分シフトする（ステップＳ６０）。そして、ステップＳ５２に戻り、ステップＳ５２〜Ｓ５９の処理を繰り返す。
【０１０６】
ステップＳ５９において注目画素３００がＹ方向の最後の画素の場合には、暗領域画像作成処理を終了する。
【０１０７】
このようにして、原画像１００において平均輝度よりも低い輝度を有する暗領域を示す暗領域画像が作成される。
【０１０８】
図１４は、原画像の一例を示す図であり、図１５は、明領域画像の一例を示す図である。上記の明領域画像の作成処理により、図１４の原画像１００から図１５の明領域画像６００が作成される。なお、図１４中の各数字は輝度を示す。
【０１０９】
（９）ブロッブの抽出およびラベリング
次に、ブロッブの抽出およびラベリングについて説明する。図１６および図１７は、ブロッブの抽出およびラベリングを説明するための図である。
【０１１０】
ここで、ブロッブの抽出とは、明領域画像または暗領域画像において値が“１”の画素の連結領域をブロッブとして抽出することをいう。また、ラベリングとは、個々のブロッブを識別するために各ブロッブにラベルを付すことをいう。
【０１１１】
図１５に示した明領域画像６００において、注目画素をＸ方向に１画素分シフトしつつ、注目画素の左側、左斜め上、上側または右斜め上に値が“１”の画素が存在するか否かを調べる。最初に注目画素の値が“１”となったときに、その注目画素にラベル“Ａ”を付す。次に、注目画素の値が“１”であり、左側、左斜め上、上側または右斜め上に値が“１”の画素が存在する場合に、注目画素に値が“１”の画素と同じラベル“Ａ”を付す。注目画素の値が“１”であり、左側、左斜め上、上側または右斜め上に値が“１”の画素が存在しない場合には、注目画素に別のラベル“Ｂ”を付す。
【０１１２】
注目画素をＸ方向の最後の画素までシフトした後、注目画素をＸ方向の最初の画素に戻しかつＹ方向に１画素分シフトし、上記の処理を行う。注目画素がＸ方向およびＹ方向の最後の画素になるまで上記の処理を繰り返す。
【０１１３】
上記の処理により、図１６に示すように、明領域画像６００のブロッブ６０１にラベル“Ａ”および“Ｂ”が付され、ブロッブ６０２にラベル“Ｃ”が付されている。
【０１１４】
次に、図１６の明領域画像６００において、注目画素をＸ方向およびＹ方向の最初の画素に戻し、注目画素をＸ方向に１画素分シフトしつつ、注目画素の左側、左斜め上、上側または右斜め上にラベルが付された画素が存在するか否かを調べる。注目画素にラベルが付されており、かつ左側、左斜め上、上側または右斜め上に異なるラベルが付された画素が存在する場合には、注目画素のラベルと同じラベルを持つ画素を全て左側、左斜め上、上側または右斜め上の画素と同じラベルに変更する。
【０１１５】
注目画素をＸ方向の最後の画素までシフトした後、注目画素をＸ方向の最初の画素に戻しかつＹ方向に１画素分シフトし、上記の処理を行う。注目画素がＸ方向およびＹ方向の最後の画素になるまで上記の処理を繰り返す。
【０１１６】
その結果、図１７に示すように、ブロッブ６０１内のラベル“Ｂ”がラベル“Ａ”に変更される。
【０１１７】
このようにして、値が“１”の画素の連結領域をブロッブとして抽出することができるとともに、ラベルにより個々のブロッブを識別することができる。
【０１１８】
図１７の明領域画像６００では、ラベル“Ａ”によりブロッブ６０１が識別され、ラベル“Ｃ”によりブロッブ６０２が識別される。
【０１１９】
暗領域画像についても、同様にしてブロッブの抽出およびラベリングが行われる。
【０１２０】
（１０）しみ成分およびしわ成分の生成
次に、ラベリングされたブロッブからしみおよびしわを検出する処理ならびにしみ成分およびしわ成分を生成する処理について説明する。
【０１２１】
（ａ）しみの検出
一般的な顔の知識より、しみは顔に対して大きな領域を占めるものではなく、十分に小さい。しかし、著しく小さいブロッブは観察者が知覚できないであろうことから、しみとはしない。また、しみの形状は、円に近いか、または円から多少歪んだ形状である。
【０１２２】
ここで、しみとして検出されなかったブロッブはすべて除去する（画素値を０とする）。
【０１２３】
（ｂ）しわの検出
一般的な顔の知識より、しわは顔の大きさと比較して著しく長いものではない。また、しわの形状は、直線状または曲線状である。一方、顔パーツの輪郭線も同様な形状を示している場合がある。しかし、人が顔を観察する場合にもこれらの局所的な画像のみからはしわと顔パーツの輪郭線とを識別することが難しいことがしばしばある。人は、このような場合に、顔という知識を利用していると考えられる。そこで、ブロッブに、顔パーツの一部が含まれていれば、そのブロッブは顔パーツの輪郭線とみなす。
【０１２４】
ここで、しわとして検出されなかったブロッブはすべて除去する（画素値を０とする）。
【０１２５】
図１８は原画像の基準長さを説明するための図である。図１９はしみおよびしわの検出処理を示すフローチャートである。図２０はブロッブの例を示す図である。
【０１２６】
しみおよびしわの検出処理では、図１８に示すように、原画像の両眼の中心間の水平方向の距離Ｌ１と、両眼の間の中点と口との間の垂直方向の距離Ｌ２に係数を乗算した値とを比較し、それらのうち長い方の距離を基準長さとし、抽出されたブロッブの寸法を規格化する。
【０１２７】
ここでは、図２０（ａ）〜（ｈ）のブロッブＢ１〜Ｂ８からしみおよびしわを検出するものとする。図２０において、各ブロッブＢ１〜Ｂ８が内接する長方形の領域を処理領域７００と呼ぶ。
【０１２８】
各ブロッブＢ１〜Ｂ８の横の長さｗは、ブロッブＢ１〜Ｂ８のＸ方向の最大座標と最小座標との差であり、処理領域７００の横の長さに相当する。また、各ブロッブＢ１〜Ｂ８の縦の長さｈは、ブロッブＢ１〜Ｂ８のＹ方向の最大座標と最小座標との差であり、処理領域７００の縦の長さに相当する。
【０１２９】
まず、ＣＰＵ５０１は、ブロッブの画素数が所定値Ｐ１以上であるか否かを判別する（ステップＳ７１）。ブロッブの画素数が所定値Ｐ１よりも少ない場合には、そのブロッブを排除する（ステップＳ７９）。それにより、小さすぎるブロッブが排除される。
【０１３０】
ブロッブの画素数が所定値Ｐ１以上の場合には、ＣＰＵ５０１は、ブロッブの縦横比と密度との関係値ｆａが所定値Ｋ以上であるか否かを判別する（ステップＳ７２）。所定値Ｋは０よりも大きく１よりも小さい値に設定される。
【０１３１】
ここで、関係値ｆａは次式により求められる。
【０１３２】
ｆａ＝α［１−｜（４／π）｛ｔａｎ-1（ｗ／ｈ）−（π／４）｝｜］＋（１−α）（βｓ／ｗｈ）  …（２）
上式（２）において、ｗはブロッブの横の長さ、ｈはブロッブの縦の長さ、ｓはブロックの画素数、αおよびβはそれぞれ所定の係数である。
【０１３３】
上式（２）の第１項の［１−｜（４／π）・｛ｔａｎ−１（ｗ／ｈ）−（π／４）｝｜］において、ｔａｎ−１（ｗ／ｈ）の値はＸ方向に対して処理領域７００の対角線がなす角度を表す。ブロッブの縦横比ｗ／ｈが１の場合には、対角線の角度が４５度となり、第１項の上記の値は１となる。ブロッブの縦横比ｗ／ｈが０または∞に近い場合には、対角線の角度が９０度または０度に近くなり、第１項の上記の値は約０となる。
【０１３４】
例えば、図２０（ａ），（ｂ），（ｃ）のブロッブＢ１，Ｂ２，Ｂ３では、第１項の上記の値は１となり、図２０（ｄ）のブロッブＢ４では、第１項の上記の値は０となる。
【０１３５】
また、上式（２）の第２項において、ｓ／ｗｈの値は、処理領域７００内のブロッブの密度を表す。
【０１３６】
例えば、図２０（ａ），（ｄ）のブロッブＢ１，Ｂ４では、第２項の上記の値は１に近くなり、図２０（ｂ），（ｇ），（ｈ）のブロッブＢ２，Ｂ７，Ｂ８では、第２項の上記の値は０に近くなる。
【０１３７】
係数αは、縦横比および密度の重みを調整するために用いられ、０＜α＜１となるように設定される。したがって、形状が正方形または円形に近くかつ密度が高い場合には、関係値ｆａは１に近くなる。
【０１３８】
例えば、図２０（ａ）のブロッブＢ１では、関係値ｆａが１に近くなる。
【０１３９】
ブロッブの縦横比と密度との関係値ｆａが所定値Ｋ以上の場合には、ＣＰＵ５０１は、ブロッブの画素数が所定値Ｐ２以下であるか否かを判別する（ステップＳ７７）。所定値Ｐ２は所定値Ｐ１よりも大きい値に設定される。
【０１４０】
ブロッブの画素数が所定値Ｐ２以下でない場合、すなわち所定値Ｐ２よりも大きい場合には、ＣＰＵ５０１はそのブロッブを排除する。それにより、大きすぎるブロッブが排除される。
【０１４１】
ステップＳ７７においてブロッブの画素数が所定値Ｐ２以下の場合には、ＣＰＵ５０１は、そのブロッブをしみと判定する（ステップＳ７８）。この場合、図２０（ａ）のブロッブＢ１がしみと判定される。
【０１４２】
それにより、画素数が所定値Ｐ１以上所定値Ｐ２以下であり、かつ縦横比と密度との関係値ｆａが所定値Ｋ以上のブロッブがしみと判定される。例えば、図２０（ａ）のブロッブＢ１は、画素数が所定値Ｐ１以上所定値Ｐ２以下の場合にしみと判定され、画素数が所定値Ｐ１よりも小さいかまたは所定値Ｐ２よりも大きい場合に排除される。
【０１４３】
ステップＳ７２において縦横比と密度との関係値ｆａが所定値Ｋよりも小さい場合には、ＣＰＵ５０１は、ブロッブの大きさと密度との関係値ｆｂが所定値Ｌ以上であるか否かを判別する（ステップＳ７３）。所定値Ｌは０よりも大きく１よりも小さい値に設定される。
【０１４４】
ここで、関係値ｆｂは次式により求められる。
【０１４５】
ｆｂ＝ｍａｘ（ｗ，ｈ）／ｓ  …（３）
上式（３）において、ｍａｘ（ｗ，ｈ）はブロッブの横の長さｗおよび縦の長さｈのうち長い方の値を示す。また、ｓはブロッブの画素数である。
【０１４６】
細い線では、関係値ｆｂは１に近くなり、太い線では、関係値ｆｂは０に近くなる。
【０１４７】
ブロッブの大きさと密度との関係値ｆｂが所定値Ｌ以上でない場合、すなわち
所定値Ｌよりも小さい場合には、ＣＰＵ５０１はそのブロッブを排除する（ステップＳ７６）。
【０１４８】
例えば、図２０（ｃ）のブロッブＢ３では、関係値ｆｂが０に近くなる。したがって、ブロッブＢ３は排除される。
【０１４９】
ステップＳ７３においてブロッブの大きさと密度との関係値ｆｂが所定値Ｌ以上の場合には、ＣＰＵ５０１はブロッブのばらつきの度合いｆｃが所定値Ｍ以上であるか否かを判別する（ステップＳ７４）。所定値Ｍは０よりも大きく１よりも小さい値に設定される。例えば、所定値Ｍは０．１２である。
【０１５０】
この場合、ブロッブのばらつきの度合いｆｃは、ブロッブ内の画素のうちブロッブの重心からの距離が標準偏差σの２倍よりも長い画素の割合で定義される。ばらつきの度合いｆｃは次式により求められる。
【０１５１】
ｆｃ＝ｕ／ｓ  …（４）
上式（４）において、ｓはブロッブの画素数である。また、ｕは、ブロッブの重心Ｗ０を中心とする円Ｃ外の画素の数である。
【０１５２】
ブロッブのばらつきの度合いｆｃが所定値Ｍよりも小さい場合には、ＣＰＵ５０１はそのブロッブを排除する。
【０１５３】
例えば、図２０（ｅ），（ｆ），（ｈ）のブロッブＢ５，Ｂ６，Ｂ８では、ばらつきの度合いｆｃの値が小さくなる。したがって、ブロッブＢ５，Ｂ６，Ｂ８は排除される。
【０１５４】
ステップＳ７４においてブロッブのばらつきの度合いｆｃが所定値Ｍ以上の場合には、ＣＰＵ５０１は、ブロッブをしわと判定する（ステップＳ７５）。
【０１５５】
それにより、画素数が所定値Ｐ１以上であり、縦横比と密度との関係値ｆａが所定値Ｋよりも小さく、大きさと密度との関係値ｆｂが所定値Ｌ以上であり、かつばらつきの度合いｆｃが所定値Ｍ以上であるブロッブがしわと判定される。
【０１５６】
例えば、図２０（ｂ），（ｄ），（ｇ）のブロッブＢ２，Ｂ４，Ｂ７では、ばらつきの度合いｆｃが大きくなる。したがって、ブロッブＢ２，Ｂ４，Ｂ７はしわと判定される。
【０１５７】
上記のようにしてしみまたはしわとして検出されたブロッブについて、原画像に基づいてしみ成分またはしわ成分を生成する。
【０１５８】
まず、しみとして検出されたブロッブと、しわとして検出されたブロッブとを振り分ける。
【０１５９】
しみ成分の生成では、しみとして検出されたブロッブ外の画素の値を“０”とする。ブロッブ内の各画素について、その画素を中心に含む１０画素×１０画素の周辺領域内の画素の輝度の中央値を算出し、原画像の輝度値と中央値との差の絶対値を算出し、差の絶対値をしみ成分の画素の値とする。しみ成分の生成では、暗領域画像に対応するしみ成分が生成される。
【０１６０】
同様に、しわ成分の生成では、しわとして検出されたブロッブ外の画素の値を“０”とする。ブロッブ内の各画素について、その画素を中心に含む１０画素×１０画素の周辺領域内の画素の輝度の中央値を算出し、原画像の輝度値と中央値との差の絶対値を算出し、差の絶対値をしわ成分の画素の値とする。しわ成分の生成では、暗領域画像に対応するしわ成分および明領域画像に対応するしわ成分が生成される。
【０１６１】
図２１はしみ成分またはしわ成分の一例を示す図である。ブロッブ６０１Ａ，６０２Ａ外の画素の値は“０”とされる。ブロッブ６０１Ａ，６０２Ａ内の各画素の値は、原画像において、その画素を中心に含む１０画素×１０画素の周辺領域内の画素の輝度の中央値を算出し、原画像の輝度値と中央値との差の絶対値を算出することにより得られる。
【０１６２】
（１１）顔画像の形状の操作
次に、対象者の原画像の顔画像に対して年齢が異なる顔画像を合成する方法について説明する。この方法を用いて顔画像の形状を操作することにより、「ある顔画像の人物が若く見られるならばこんな感じ」、「老けて見られるならばこんな感じ」という印象を得ることができる。なお、上記方法を実施するための画像処理装置の構成は図１の画像処理装置５０の構成と同じである。
【０１６３】
以下では、画像が個人の顔画像であり、複数の形態的特徴が目、口等の顔パーツ（顔部品）の形状特徴を構成するＬ個の特徴点（ｘ，ｙ）の２次元座標であり、属性が年齢である場合を説明する。ここで、Ｌは、２以上の整数であり、ｘは顔画像におけるｘ座標、ｙは顔画像におけるｙ座標である。
【０１６４】
本実施の形態では、まず、個人の顔画像を表す特徴ベクトル（形状特徴ベクトル）として、Ｌ個の特徴点（ｘ，ｙ）の２次元座標だけでなく、画像には直接関係はないが、年齢特徴に強く影響を与える既知の属性値（年齢属性値）に重みを加えたものを変量ａとして加え、以下に示すように、主成分分析（ＰＣＡ）による次元圧縮を行う。
【０１６５】
具体的には以下の手順で行う。個人の顔画像の形状特徴ベクトルは、次式のように、２Ｌ＋１次元のベクトルＦｉ  （ｉ＝１，２，・・・，Ｍ）として表す。Ｍは主成分分析に用いる個人の顔画像の数である。
【０１６６】
Ｆｉ＝［ｘ１，ｙ１，ｘ２，ｙ２，ｘ３，ｙ３，…，ｘＬ，ｙＬ，ａ］Ｔ  …（５）
上式（５）において、Ｔは転置を示す。すべての顔画像の形状特徴ベクトルの平均値が形状特徴ベクトル空間の中心に配置されるように各要素（変量）から平均ＦＡＶを引く。
【０１６７】
ΔＦｉ＝Ｆｉ−ＦＡＶ  …（６）
次に、上式（６）を用いて新たに顔特徴空間Ｇを次式（７）により定義する。
【０１６８】
Ｇ＝［ΔＦ１，ΔＦ２…，ΔＦＭ］  …（７）
そして、次式（８）により顔特徴空間Ｇの共分散行列Ｓを求める。
【０１６９】
Ｓ＝ＧＧＴ  …（８）
上式（８）より求められた共分散行列Ｓに対して次式（９）により特異値分解を行うことにより、各固有ベクトルを顔特徴空間Ｇの主成分として求めることができる。
【０１７０】
Ｓ＝ＵＤＵＴ  …（９）
Ｕはユニタリ行列であり、各列が固有ベクトルとなる。すなわち、ユニタリ行列Ｕの第１列には第１番目〜第Ｍ番目の顔画像における第１主成分の主成分得点が順に並び、第２列には第１番目〜第Ｍ番目の顔画像における第２主成分の主成分得点が順に並び、第３列には第１番目〜第Ｍ番目の顔画像における第３主成分の主成分得点が順に並ぶ。同様に、ユニタリ行列Ｕの第Ｍ列には第１番目〜第Ｍ番目の顔画像における第（２Ｌ＋１）主成分の主成分得点が並ぶ。Ｄは対角行列であり、対角成分が各主成分の固有値である。すなわち、対角行列Ｄの対角成分は、第１主成分〜第（２Ｌ＋１）主成分の固有値λ１  〜λ２Ｌ＋１である。
【０１７１】
ここで得られた第１主成分は、後述するように、属性値として加えた成分（年齢）の影響を強く受けており、第１主成分の主成分得点の値は、年齢属性値を強く反映したものになる。
【０１７２】
ここで、第１主成分の標準偏差をσ１  とし、その３倍を形状特徴の変化範囲とする。主成分の固有値は主成分の分散であることから、第１主成分の標準偏差σ１  は、第１主成分の固有値λ１  より次式（１０）のようになる。
【０１７３】
σ１２＝λ１  …（１０）
第１主成分の標準偏差σ１  の３倍の範囲、すなわち−（３／２）σ１  から＋（３／２）σ１  の範囲を顔形状（形状特徴）の変化範囲とする。この変化範囲にすべての顔画像のうち９０％以上が属する。＋（３／２）σ１  を第１主成分の主成分得点とし、他の主成分の主成分得点を０とする主成分特徴ベクトルをＰｍａｘ  とする。また、−（３／２）σ１  を第１主成分の主成分得点とし、他の主成分の主成分得点を０とする主成分特徴ベクトルをＰｍｉｎ  とする。主成分特徴ベクトルＰｍａｘ  はＭ個の顔画像より求められる平均顔画像において最年長（または最年少）の顔画像に対応し、主成分特徴ベクトルＰｍｉｎ  はＭ個の顔画像により求められる平均顔画像において最年少（または最年長）の顔画像に対応する。
【０１７４】
Ｐｍａｘ＝［＋（３／２）σ１，０，０，…，０］Ｔ  …（１１）
Ｐｍｉｎ＝［−（３／２）σ１，０，０，…，０］Ｔ  …（１２）
上式（１１），（１２）の主成分特徴ベクトルＰｍａｘ  ，Ｐｍｉｎ  より顔形状ベクトルＦｍａｘ  ，Ｆｍｉｎ  を再構成する。顔形状ベクトルＦｍａｘ  は最年長（または最年少）の平均顔画像を表し、顔形状ベクトルＦｍｉｎ  は最年少（または最年長）の平均顔画像を表す。そして、次式のように、顔形状ベクトルＦｍａｘ  と顔形状ベクトルＦｍｉｎ  との差を年齢特徴を表す特徴ベクトル（年齢特徴ベクトル）Ｆとして抽出する。
【０１７５】
Ｆ＝Ｆｍａｘ−Ｆｍｉｎ  …（１３）
ただし、年齢特徴ベクトルＦには属性値は必要ないため、年齢特徴ベクトルＦは年齢属性値を削除した２Ｌ次元のベクトルとする。
【０１７６】
Ｆ＝［ｘ１，ｙ１，ｘ２，ｙ２，…，ｘ２Ｌ，ｙ２Ｌ］Ｔ  …（１４）
上式（１４）の年齢特徴ベクトルＦは、最年長の平均顔画像と最年少の平均顔画像との間での各特徴点の移動量を表している。例えば、変量ｘ１  は１番目の特徴点のｘ座標の移動量を表し、変量ｙ１  は１番目の特徴点のｙ座標の移動量を表す。
【０１７７】
上式（１４）の年齢特徴ベクトルＦを用いて次のようにして特定の個人のオリジナル顔画像からその個人の異なる年齢の顔画像を合成することができる。
【０１７８】
まず、特定の個人のオリジナル顔画像の形状特徴ベクトルＦＩを次式のように構成する。
【０１７９】
ＦＩ＝［ｘ１，ｙ１，ｘ２，ｙ２，…，ｘ２Ｌ，ｙ２Ｌ］Ｔ  …（１５）
上式（１５）の変量ｘ１，ｙ１，ｘ２，ｙ２，…，ｘ２Ｌ，ｙ２Ｌはオリジナル顔画像のＬ個の特徴点のｘ座標およびｙ座標である。
【０１８０】
次に、上式（１４）の年齢特徴ベクトルＦの各変量ｘ１  ，ｙ１  ，ｘ２  ，ｙ２  ，…，ｘ２Ｌ，ｙ２Ｌに合成割合ｂを乗算し、次式の修正ベクトルＦ’を算出する。
【０１８１】
Ｆ’＝［ｂｘ１，ｂｙ１，ｂｘ２，ｂｙ２，…，ｂｘ２Ｌ，ｂｙ２Ｌ］Ｔ  …（１６）
上式（１５）のオリジナル顔画像の形状特徴ベクトルＦＩ  に上式（１６）の修正ベクトルＦ’を次式のように加算または減算し、年齢特徴をマッピングした形状特徴ベクトルＦＳ  を作成する。
【０１８２】
ＦＳ＝ＦＩ±Ｆ’  …（１７）
上式（１７）の形状特徴ベクトルＦＳ  から顔画像を再構成することによりオリジナル顔画像に対して年齢が異なる顔画像を合成することができる。この場合、上式（１６）における合成割合ｂの値を任意に設定することにより、任意の年齢の顔画像を合成することが可能となる。
【０１８３】
図２２および図２３は図１の画像処理装置において実行される画像処理プログラムの処理を示すフローチャートである。ここでは、ある年齢の個人のオリジナル顔画像からその個人の他の年齢の顔画像を合成する方法の例を示す。
【０１８４】
まず、ＣＰＵ５０１は、入力装置５０４により入力された複数の個人の顔画像を画像データとして外部記憶装置５０６に記憶する（ステップＳ９１）。この場合、予めデータベースに記憶された複数の個人の顔画像の画像データを用いてもよい。
【０１８５】
次に、ＣＰＵ５０１は、外部記憶装置５０６に記憶された画像データに基づいて各顔画像の複数の特徴点の座標値を抽出する（ステップＳ９２）。本実施の形態では、各特徴点のｘ座標およびｙ座標を抽出する。
【０１８６】
次に、ＣＰＵ５０１は、各顔画像の年齢属性値を取得する（ステップＳ９３）。年齢属性値は、各顔画像ごとに入力装置５０４により入力してもよく、あるいは各顔画像ごとに予めデータベースに記憶された年齢属性値を用いてもよい。本実施の形態では、後述する年齢知覚実験により得られた見かけの年齢を年齢属性値として用いる。
【０１８７】
さらに、ＣＰＵ５０１は、各顔画像ごとに抽出された複数の特徴点の座標値および年齢属性値を用いて各顔画像の形状特徴ベクトルＦｉ  （式（５）参照）を構成する（ステップＳ９４）。
【０１８８】
次いで、ＣＰＵ５０１は、複数の顔画像の形状特徴ベクトルＦｉ  から式（６）〜（１０）に従って主成分分析により第１主成分の固有値σ１  を算出する（ステップＳ９５）。また、ＣＰＵ５０１は、第１主成分の固有値σ１  を用いて式（１１）の第１主成分の主成分特徴ベクトルＰｍａｘ  ，Ｐｍｉｎ  を構成する（図２３のステップＳ９６）。
【０１８９】
次に、ＣＰＵ５０１は、第１主成分の固有値σ１を用いて式（１１）の第１主成分の顔形状ベクトルＦｍａｘ  ，Ｆｍｉｎ  を再構成し（ステップＳ９７）、式（１２）の年齢特徴を表す年齢特徴ベクトルＦを抽出する（ステップＳ９８）。
【０１９０】
次いで、ＣＰＵ５０１は、年齢特徴ベクトルＦを用いて特定の個人のオリジナル顔画像から所望の年齢の顔画像を合成する（ステップＳ９９）。
【０１９１】
このようにして、画像処理プログラムを画像処理装置において実行することにより複数の個人の顔画像を用いて年齢特徴に密接に関連する顔形状の特徴を年齢特徴ベクトルＦとして抽出することができ、さらに抽出した顔形状の特徴を用いて特定の個人のオリジナル顔画像から所望の年齢の顔画像を合成することができる。
【０１９２】
上記のように、本実施の形態の画像処理装置、画像処理方法および画像処理プログラムにより未知の顔画像を合成することができるので、それらを犯罪捜査等に利用することができる。
【０１９３】
なお、上記実施の形態では、画像の形態的特徴として顔形状の特徴を表す複数の特徴点の座標値を用いているが、画像の形態的特徴として肌の色合い、しみ、しわ等のテクスチャ（肌合い）を用いることもできる。また、年齢の知覚は、顔内部の形状だけではなく、髪型等を考慮してもよい。
【０１９４】
さらに、上記実施の形態では、属性として見かけの年齢を用いているが、属性として見かけの年齢の代わりに実年齢を用いてもよい。また、属性として表情、人種、性別、体形等の他の属性を用いてもよい。
【０１９５】
属性が実年齢の場合、上記実施の形態の画像処理方法を適用することにより、複数の個人の顔画像を用いて実年齢の特徴に密接に関連する顔形状の特徴を抽出することができ、さらに抽出した顔形状の特徴を用いて特定の個人のオリジナル顔画像から実年齢の異なる顔画像を合成することができる。
【０１９６】
属性が表情の場合、喜怒哀楽等の表情をそれぞれ異なる値で表し、上記実施の形態の画像処理方法を適用することにより、複数の個人の顔画像を用いて表情の特徴に密接に関連する顔形状の特徴を抽出することができ、さらに抽出した顔形状の特徴を用いて特定の個人のオリジナル顔画像から表情の異なる顔画像を合成することができる。
【０１９７】
属性が人種の場合、異なる複数の人種をそれぞれ異なる値で表し、上記実施の形態の画像処理方法を適用することにより、複数の個人の顔画像を用いて人種の特徴に密接に関連する顔形状の特徴を抽出することができ、さらに抽出した顔形状の特徴を用いて特定の個人のオリジナル顔画像から人種の異なる顔画像を合成することができる。
【０１９８】
属性が性別の場合、男女の性別を異なる値で表し、上記実施の形態の画像処理方法を適用することにより、複数の個人の顔画像を用いて性別の特徴に密接に関連する顔形状の特徴を抽出することができ、さらに抽出した顔形状の特徴を用いて特定の個人のオリジナル顔画像から性別の異なる顔画像を合成することができる。
【０１９９】
属性が体形の場合、異なる体形を異なる値で表し、上記実施の形態の画像処理方法を適用することにより、複数の個人の顔画像を用いて体形の特徴に密接に関連する顔形状の特徴を抽出することができ、さらに抽出した顔形状の特徴を用いて特定の個人のオリジナル顔画像から体形の異なる顔画像を合成することができる。
【０２００】
また、上記実施の形態では、画像が個人の顔画像である場合を説明したが、これに限定されない。例えば、画像が動物の画像であってもよい。
【０２０１】
（１２）請求項の各構成要素と実施の形態の各部との対応関係
本実施の形態においては、外部記憶装置５０６が記憶手段に相当し、ＣＰＵ５０１が検出手段、作成手段、抽出手段、適用手段、生成手段、変形手段およびコンピュータに相当する。
【実施例】
【０２０２】
１．予備実験
個人の顔の経年変化に関わる形状特徴について考える場合、主成分分析の変量に与える属性値として、実年齢を利用すればよい。しかし、顔の経年変化では、形状とともに、しみやしわ、肌のきめ等も変化することは経験的にも明らかである。本実施例では、経年変化により変化する顔の形状特徴ではなく、みかけの年齢、つまり若く見える顔や、老けて見える顔の形状の特徴について検討した。そして、見かけの年齢の属性値として、実年齢を与えたのでは不十分であるため、見かけの年齢の属性値を求めるために年齢知覚実験（年齢評定実験）を行った。
【０２０３】
１−１．手続
年齢知覚実験における実験刺激には、本願出願人が収集して作成した表情顔画像データベースから、日本人男女各１４２名の無表情、正面向き、実年齢が１０代後半から３０代後半の顔画像を用いた。また、顔画像は５１２×５１２ピクセルのカラー画像であり、顔が枠内に十分入る大きさであった。被験者は大学生（１８才〜２２才）の男性２５名および女性２２名であった。
【０２０４】
実験は、次の手順で行われた。被験者は、モニタに表示される顔画像の年齢を推定し、表１に示す年齢評定カテゴリの中で最も適するカテゴリを選択するよう求められた。
【０２０５】
【表１】
0004682373.tif 000002
【０２０６】
表１に示すように、年齢を８つのカテゴリに分類し、それらのカテゴリに年齢の若い順に０〜７の評定値を与えた。
【０２０７】
１−２．結果
顔画像ごとに評定値の平均および標準偏差を求めた。図２４は顔画像ごとの評定置の平均を降順に並び替えてプロットした図である。図２４の横軸は、１４２名の顔画像を示し、縦軸は、各顔画像の評定値の平均を示す。三角印および丸印はそれぞれ男性および女性の顔画像の評定値の平均を表す。
【０２０８】
個々の顔画像より得られた標準偏差から顔画像の性別ごとに平均を求めた。標準偏差の平均は、男性の顔画像では０．８５、女性の顔画像では０．８９であった。つまり、男女の顔とも±５才程度の誤差で年齢が推定されたことになる。
【０２０９】
なお、男女で顔画像は異なり、顔画像間に関連もないため、顔画像間の比較には意味がない。
【０２１０】
２．年齢特徴抽出実験
次に、上記の年齢知覚実験により得られた見かけの年齢属性値を用いて顔年齢特徴抽出実験を行った。顔情報に見かけの年齢属性値を付加する場合（以下、属性値付加条件と呼ぶ）と、顔情報に見かけの年齢属性値を付加しない場合（以下、属性値なし条件と呼ぶ）とで、抽出される形状特徴の比較を行った。
【０２１１】
２−１．手続き
顔画像の形状特徴には、本願出願人が開発した顔画像合成システム（ＦＵＴＯＮ）（蒲池みゆき，向田茂，吉川左紀子，加藤隆，尾田正臣，赤松茂，“顔・表情認知に関する心理実験のための顔画像合成システム−ＦＵＴＯＮ  Ｓｙｓｔｅｍ−，”信学技法，ＨＩＰ９７−３９，ｐｐ．７３−８０，Ｊａｎ．１９９８および向田茂，蒲池みゆき，赤松茂，“顔画像合成システム（ＦＵＴＯＮ  ｓｙｓｔｅｍ）におけるマニュアルサンプリングの評価，”信学技法，ＨＩＰ９９−４９，ｐｐ．１３−１８，Ｎｏｖ．１９９９参照）のデフォルト特徴点８３点の座標値を用いた。
【０２１２】
図２５は顔特徴ベクトルの変量として用いた特徴点を示す図である。図２５において、８３点の特徴点を黒丸で示し、各特徴点を識別するために符号を付している。
【０２１３】
顔画像としては、予備実験で用いた男女の各１４２枚の顔画像を用いた。ただし、顔幅（特徴点Ｆｒ３，Ｆｌ３間の長さ）が２３０ピクセルになるように、また両目の瞳を結ぶ直線が水平になるように正規化した。
【０２１４】
男女の顔画像ごとに、属性値なし条件および属性値付加条件のそれぞれにおいて主成分分析による次元圧縮を行った。
・属性値なし条件
従来手法の属性値なし条件では、顔情報（形状特徴ベクトルの変量）として、８３点の特徴点の座標値のみを用いた。１枚の顔画像を１６６次元の形状特徴ベクトルＦＮ  として表した。
【０２１５】
ＦＮ＝（ｘ１，ｙ１，ｘ２，ｙ２，ｘ３，ｙ３，…，ｘ８３，ｙ８３）Ｔ
・属性値付加条件
属性値付加条件では、顔情報として（形状特徴ベクトルの変量）、８３点の特徴点の座標値に加え，予備実験で得られた各顔画像の評定値の平均値を１００倍した値を、見かけの年齢属性値ａとして用いた。そして、１枚の顔画像を１６７次元の形状特徴ベクトルＦＡ  として表した。
【０２１６】
ＦＡ＝（ｘ１，ｙ１，ｘ２，ｙ２，ｘ３，ｙ３，…，ｘ８３，ｙ８３，ａ）Ｔ
得られた主成分ごとの固有値から、その主成分の変化量を決定し、主成分ごとに形状特徴ベクトルを再構成後、視覚的にその差を比較した。
【０２１７】
２−３．結果
男女それぞれの顔画像について、属性値なし条件および属性値付加条件から得られた各主成分における主成分得点を分析した。もし、主成分が年齢変化に強く関与しているのであれば、顔画像を年齢順に並べたとき、主成分上の各顔画像の主成分得点は昇順あるいは降順に並んでいるはずである。そこで、男女の顔画像での各条件で得られた主成分のうち第１主成分から第３主成分までの主成分得点をプロットした。
【０２１８】
図２６（ａ）は男性の顔画像において属性値なし条件で得られた上位主成分の主成分得点を示す図、図２６（ｂ）は女性の顔画像において属性値なし条件で得られた上位主成分の主成分得点を示す図である。また、図２７（ａ）は男性の顔画像において属性値付加条件で得られた上位主成分の主成分得点を示す図、図２７（ｂ）は女性の顔画像において属性値付加条件で得られた上位主成分の主成分得点を示す図である。図２６および図２７の横軸は見かけの年齢（評定値）の高い順に並べた顔画像を示し、縦軸は主成分得点（PC score）を示す。四角印は第１主成分の主成分得点を示し、丸印は第２主成分の主成分得点を示し、三角印は第３主成分の主成分得点を示す。
【０２１９】
図２６（ａ），（ｂ）に示すように、属性値なし条件では、男性の顔画像および女性の顔画像とも、年齢順に並べられた顔画像の主成分得点がほぼ昇順あるいは降順に並ぶ主成分を見つけることができなかった。
【０２２０】
一方、図２７（ａ），（ｂ）に示すように、属性値付加条件では、男性の顔画像および女性の顔画像とも、第１主成分の主成分得点がほぼ順に並んだ形で示された。
【０２２１】
これらの結果から、属性値付加条件で得られた第１主成分が顔画像の見かけの年齢に影響を与える特徴と密接に関係していることがわかった。
【０２２２】
次に、各主成分がどのような形状変化に関わっているのかを視覚的に確認するために、確認する主成分の固有値から得られた変化範囲を用いて、それぞれ顔パーツの特徴点の座標を再構成した。以下に示すように、属性値付加条件での主成分の顔形状への影響を調べた。
【０２２３】
図２８、図２９、図３０および図３１は男性の顔画像において属性値付加条件で得られた第１主成分、第２主成分、第３主成分および第４主成分をそれぞれ用いて再構成した顔形状を示す図である。また、図３２、図３３、図３４および図３５は女性の顔画像において属性値付加条件で得られた第１主成分、第２主成分、第３主成分および第４主成分をそれぞれ用いて再構成した顔形状を示す図である。図２８〜図３５において、（ａ）および（ｂ）は見かけの年齢が両極端の顔形状を示している。
【０２２４】
再構成した顔画像から各主成分の２枚の顔形状を比較した。各主成分が形状的な特徴の変化とどのように関係しているかを、主観的な印象として挙げると次のようになる。男性の顔画像について属性値付加条件で得られた第１主成分では、眉の内側が上下に変化、外側は内側とは逆向きに上下に変化する。鼻と口は上下に変化し、口の幅は若干狭まったり、広がったり、そしてあごがやや大きくなったり、小さくなったりする。第２主成分では、額が拡大縮小し、眉の外側が水平方向へ変化し（眉の大きさが変わる）、両目の間隔もやや広くなったり、狭くなったりし、そして、鼻、口およびあごが大きく上下に変化する。第３主成分では、眉の内側が上下に変化し、外側は若干水平方向に変化する。鼻と口は大きく上下に変化し、あごは四角くややえらの張ったような形や、少し小さく、とがった形に変化する。第４主成分では、額の大きさが急激に変化し、眉の内側が大きく上下に変化する。そして、鼻および口の左側が若干水平方向に変化し、あごの左側がごくわずか変化する。
【０２２５】
一方、属性値なし条件では、第１主成分は属性値付加条件の第２主成分とほぼ同じ変化を示し、第２主成分は属性値付加条件の第３主成分とほぼ同じ変化を示した。以降の主成分についても同様であった。
【０２２６】
女性の顔画像について属性値付加条件で得られた第１主成分では、口が上下に変化し、幅が広くなったり狭くなったりする。そして、あごがやや大きくなったり、小さくなったりする。第２主成分では、男性の顔画像について属性値付加条件で得られた第２主成分とほぼ同様であった。第３主成分では、額が拡大縮小し、眉の内側は若干上下に変化し、そして鼻と口は若干左側で水平方向に変化し、あごはややえらの張ったような形や、少し小さく、とがった形になる。第４主成分では、顔輪郭、鼻、口が若干右側で変化する。そして、顔輪郭については横幅が変化する。
【０２２７】
一方、属性値なし条件では、男性の顔画像と同様に、第１主成分は属性値付加条件の第２主成分とほぼ同じ変化を示し、第２主成分は属性値付加条件の第３主成分とほぼ同じ変化を示した。以降の主成分についても同様であった。
【０２２８】
２−３．考察
各主成分における主成分得点の分布から見ると、属性値なし条件と、属性値付加条件の第２主成分以降では、顔画像を見かけの年齢順に並べたときに、主成分得点が全く昇順あるいは降順になっていなかったことから、これらの主成分は見かけの年齢に影響を与える特徴と密接に関係しているとは言えない。一方、属性値付加条件の第１主成分では、見かけの年齢順に顔画像を並べたとき、男女の顔画像とも、主成分得点はほぼ順に並んでいたこと、さらには年齢知覚実験（年齢評定実験）で得られたデータ（評定値）の分布と第１主成分のデータ（主成分得点）の分布はよく似た分布を示していることから、属性値付加条件で得られた第１主成分は、見かけの年齢に影響を与える形状特徴と密接に関係していると言える。
【０２２９】
各主成分の主成分得点の値を変え、顔パーツの特徴点座標に再構成させた特徴点の座標の変化についても、属性値付加条件の第１主成分は、解剖学的な知見による青年期の加齢変化とほぼ合っているように見える。
【０２３０】
本発明に係る画像処理方法では、顔の形状情報である特徴点の座標値だけでなく、直接顔画像の構成には関係のない見かけの年齢という属性値を加えて主成分分析を行うことにより、第１主成分の主成分得点が定量的にも年齢変化との関係を示していること、第１主成分から再構成した顔形状において定性的にも妥当な変形を観察できたことから、見かけの年齢に密接に関係する形状特徴を得られることを示している。
【０２３１】
３−１．個人の顔画像へのマッピング
年齢特徴抽出実験により得られた見かけの年齢特徴を個人の顔画像へマッピングした。
【０２３２】
図３６は対象者の顔画像に年齢形状特徴をマッピングすることにより年齢の異なる顔画像を合成した結果を示す図である。
【０２３３】
図３６（ａ）は２０歳の対象者の原画像を示し、図３６（ｂ）は年齢が４０歳に見えるように合成した顔画像を示し、図３６（ｃ）は年齢が７０歳に見えるように合成した顔画像を示す。合成割合は、いずれも年齢特徴抽出実験の属性値付加条件の第１主成分の変化量の±５０％とした。
【０２３４】
合成の手順は次の通りである。対象者の顔画像から、ＦＵＴＯＮで用いる８３点の特徴点を取得し、オリジナル顔画像の形状特徴ベクトルＦＩ  を特徴点の座標値を用いて、１６６次元のベクトルＦＩとする。
ＦＩ＝（ｘ１，ｙ１，ｘ２，ｘ３，…，ｘ１６６，ｙ１６６）Ｔ  …（１５）
オリジナル顔画像の形状特徴ベクトルＦＩと、見かけの年齢特徴ベクトルＦの各要素に合成割合０．５を乗じた修正ベクトルＦ’を加算あるいは減算し、年齢特徴をマッピングした顔形状ベクトルＦＳを作成した。
【０２３５】
Ｆ’＝（０．５ｘ１，０．５ｙ１，０．５ｘ２，０．５ｙ２…，０．５ｘ８３，０．５ｙ８３）Ｔ  …（１６）
ＦＳ＝ＦＩ±Ｆ’  …（１７）
そして、顔形状がＦＩ  からＦＳ  へと変化する形状モーフィング（顔合成技術）をＦＵＴＯＮで行った。
【０２３６】
以上のように、上記実施例では、顔画像の形状特徴ベクトルに画像とは直接関係のない見かけの年齢という属性値を変量として加え、主成分分析を行うことにより、見かけの年齢変化に密接に関与する形状特徴を抽出することが可能であることが示された。
【産業上の利用可能性】
【０２３７】
本発明は、原画像から異なる年齢印象を有する顔画像を合成するために利用することができ、犯罪捜査、尋ね人の捜索およびスキンケアのシュミレーション等の種々の目的に利用するこができる。
【図面の簡単な説明】
【０２３８】
【図１】本実施の形態の顔画像合成方法を実行するための顔画像合成装置の構成を示すブロック図である。
【図２】顔画像合成装置によるしみ／しわモデル作成処理を示すフローチャートである。
【図３】しわモデル作成処理を示すフローチャートである。
【図４】マッチング係数Ｐを説明するための説明図である。
【図５】対象者の原画像を簡略化した模式図である。
【図６】しみ／しわモデル作成処理により作成されたしわモデルおよびしみモデルを示す図である。
【図７】モデル適用処理を示すフローチャートである。
【図８】（ａ）は２０歳の女性の原画像の写真であり、（ｂ）は４０歳代のしみモデルおよびしわモデルを原画像に適用した結果の写真であり、（ｃ）は７０歳代のしみモデルおよびしわモデルを原画像に適用した結果の写真である。
【図９】注目画素および周辺画素の一例を示す図である。
【図１０】明領域画像の作成処理を示すフローチャートである。
【図１１】明領域画像の作成処理を示すフローチャートである。
【図１２】暗領域画像の作成処理を示すフローチャートである。
【図１３】暗領域画像の作成処理を示すフローチャートである。
【図１４】原画像の一例を示す図である。
【図１５】明領域画像の一例を示す図である。
【図１６】ブロッブの抽出およびラベリングを説明するための図である。
【図１７】ブロッブの抽出およびラベリングを説明するための図である。
【図１８】原画像の基準長さを説明するための図である。
【図１９】しみおよびしわの検出処理を示すフローチャートである。
【図２０】ブロッブの例を示す図である。
【図２１】しみ成分またはしわ成分の一例を示す図である。
【図２２】図１の画像処理装置において実行される画像処理プログラムの処理を示すフローチャートである。
【図２３】図１の画像処理装置において実行される画像処理プログラムの処理を示すフローチャートである。
【図２４】顔画像ごとの評定置の平均を降順に並び替えてプロットした図である。
【図２５】顔特徴ベクトルの変量として用いた特徴点を示す図である。
【図２６】（ａ）は男性の顔画像において属性値なし条件で得られた上位主成分の主成分得点を示す図であり、（ｂ）は女性の顔画像において属性値なし条件で得られた上位主成分の主成分得点を示す図である。
【図２７】（ａ）は男性の顔画像において属性値付加条件で得られた上位主成分の主成分得点を示す図であり、（ｂ）は女性の顔画像において属性値付加条件で得られた上位主成分の主成分得点を示す図である。
【図２８】男性の顔画像において属性値付加条件で得られた第１主成分を用いて再構成した顔形状を示す図である。
【図２９】男性の顔画像において属性値付加条件で得られた第２主成分を用いて再構成した顔形状を示す図である。
【図３０】男性の顔画像において属性値付加条件で得られた第３主成分を用いて再構成した顔形状を示す図である。
【図３１】男性の顔画像において属性値付加条件で得られた第４主成分を用いて再構成した顔形状を示す図である。
【図３２】女性の顔画像において属性値付加条件で得られた第１主成分を用いて再構成した顔形状を示す図である。
【図３３】女性の顔画像において属性値付加条件で得られた第２主成分を用いて再構成した顔形状を示す図である。
【図３４】女性の顔画像において属性値付加条件で得られた第３主成分を用いて再構成した顔形状を示す図である。
【図３５】女性の顔画像において属性値付加条件で得られた第４主成分を用いて再構成した顔形状を示す図である。
【図３６】対象者の顔画像に年齢形状特徴をマッピングすることにより年齢の異なる顔画像を合成した結果を示す図である。
【符号の説明】
【０２３９】
５０  画像処理装置
１００  原画像
２００  周辺領域
３００  注目画素
５０１  ＣＰＵ
５０２  ＲＯＭ
５０３  ＲＡＭ
５０４  入力装置
５０５  表示装置
５０６  外部記憶装置
５０７  記録媒体駆動装置
５０８  印刷装置
５０９  記録媒体
６０１，６０２，６０１Ａ，６０２Ａ，Ｂ１，Ｂ２，Ｂ３，Ｂ４，Ｂ５，Ｂ６，Ｂ７  ブロッブ
７００  処理領域
【図１】
0004682373.tif 000003
【図２】
0004682373.tif 000004
【図３】
0004682373.tif 000005
【図４】
0004682373.tif 000006
【図５】
0004682373.tif 000007
【図６】
0004682373.tif 000008
【図７】
0004682373.tif 000009
【図８】
0004682373.tif 000010
【図９】
0004682373.tif 000011
【図１０】
0004682373.tif 000012
【図１１】
0004682373.tif 000013
【図１２】
0004682373.tif 000014
【図１３】
0004682373.tif 000015
【図１４】
0004682373.tif 000016
【図１５】
0004682373.tif 000017
【図１６】
0004682373.tif 000018
【図１７】
0004682373.tif 000019
【図１８】
0004682373.tif 000020
【図１９】
0004682373.tif 000021
【図２０】
0004682373.tif 000022
【図２１】
0004682373.tif 000023
【図２２】
0004682373.tif 000024
【図２３】
0004682373.tif 000025
【図２４】
0004682373.tif 000026
【図２５】
0004682373.tif 000027
【図２６】
0004682373.tif 000028
【図２７】
0004682373.tif 000029
【図２８】
0004682373.tif 000030
【図２９】
0004682373.tif 000031
【図３０】
0004682373.tif 000032
【図３１】
0004682373.tif 000033
【図３２】
0004682373.tif 000034
【図３３】
0004682373.tif 000035
【図３４】
0004682373.tif 000036
【図３５】
0004682373.tif 000037
【図３６】
0004682373.tif 000038