(57)【要約】【課題】画像の所定の属性の特徴を主観によらずに抽出することができる画像処理装置、画像処理方法および画像処理プログラムを提供することである。【解決手段】複数の個人の顔画像を記憶する。記憶された各顔画像の複数の特徴点の座標値を抽出する。各顔画像の年齢属性値を取得する。各顔画像ごとに取得された複数の特徴点の座標値および年齢属性値を用いて各顔画像の形状特徴ベクトルＦｉを構成する。複数の顔画像の形状特徴ベクトルＦｉから主成分分析により第１主成分の固有値σ１を算出する。第１主成分の固有値σ１を用いて第１主成分の主成分特徴ベクトルＰｍａｘ，Ｐｍｉｎを構成する。第１主成分の固有値σ１を用いて第１主成分の顔形状ベクトルＦｍａｘ，Ｆｍｉｎを再構成し、年齢属性特徴を表す年齢特徴ベクトルＦを抽出する。年齢特徴ベクトルＦを用いて特定の個人のオリジナル顔画像から所望の年齢の顔画像を合成する。【選択図】　　　　図２
2004102359.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶された各画像の複数の形態的特徴を抽出する特徴抽出手段と、
形態的特徴とは異なる各画像の属性を取得する属性取得手段と、
前記特徴抽出手段により抽出された各画像の複数の形態的特徴および前記属性取得手段により取得された各画像の属性を変量とする各画像ごとの形態特徴ベクトルを構成する形態特徴ベクトル構成手段と、
前記形態特徴ベクトル構成手段により構成された複数の画像の形態特徴ベクトルから主成分分析により第１主成分を算出する主成分分析手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記主成分分析手段により算出された第１主成分の固有値を用いて第１主成分の変化範囲を決定する変化範囲決定手段と、
前記変化範囲決定手段により決定された第１主成分の変化範囲での前記複数の形態的特徴の変化量を変量として用いて属性の特徴を示す属性特徴ベクトルを再構成する属性特徴ベクトル再構成手段とをさらに備えたことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記属性特徴ベクトル再構成手段により得られた属性特徴ベクトルを用いて特定の画像から前記属性が異なる他の画像を合成する画像合成手段をさらに備えたことを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記画像合成手段は、前記特定の画像の前記複数の形態的特徴を変量とする形態特徴ベクトルを構成し、その形態特徴ベクトルの各変量を前記属性特徴ベクトルの対応する変量に基づいて修正し、修正された変量を有する形態特徴ベクトルから前記他の画像を合成することを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記複数の画像は、複数の顔画像であり、
前記属性は、見かけの年齢、実年齢、性別、人種、表情または体形であることを特徴とする請求項１〜４のいずれかに記載の画像処理装置。
【請求項６】
前記複数の形態的特徴は、予め定められた複数の特徴点の座標値を含むことを特徴とする請求項１〜５のいずれかに記載の画像処理装置。
【請求項７】
複数の画像を記憶するステップと、
前記記憶された各画像の複数の形態的特徴を抽出するステップと、
形態的特徴とは異なる各画像の属性を取得するステップと、
前記抽出された各画像の複数の形態的特徴および前記取得された各画像の属性を変量とする各画像ごとの形態特徴ベクトルを構成するステップと、
前記構成された複数の画像の形態特徴ベクトルから主成分分析により第１主成分を算出するステップとを備えたことを特徴とする画像処理方法。
【請求項８】
コンピュータ読み取り可能な画像処理プログラムであって、
複数の画像を記憶する処理と、
前記記憶された各画像の複数の形態的特徴を抽出する処理と、
形態的特徴とは異なる各画像の属性を取得する処理と、
前記抽出された各画像の複数の形態的特徴および前記取得された各画像の属性を変量とする各画像ごとの形態特徴ベクトルを構成する処理と、
前記構成された複数の画像の形態特徴ベクトルから主成分分析により第１主成分を算出する処理とを、
前記コンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像の所定の属性の特徴を抽出する画像処理装置、画像処理方法および画像処理プログラムに関する。
【０００２】
【従来の技術】
コミュニケーションにおいて、顔は重要な役割を果たしている。特に、顔からは、年齢、人種、性別、表情等の様々な情報を得ることができる。経験的には、相手の年齢から言葉遣いや態度を決めることもしばしばあり、年齢はコミュニケーションのための重要な要素の一つと言える。
【０００３】
顔の年齢変化を操作する顔画像合成手法には、顔の経年変化の骨格モデルから形状変化の特徴的な部分を変形パラメータとして用いることにより顔画像を合成する方法や、複数の顔画像を元に生成した異なる世代の平均顔の差分情報を用いて顔画像を合成する方法等が提案されている（例えば、非特許文献１、非特許文献２参照）。骨格モデルから変形パラメータを用いる方法では、人為的に設定した限られた変形パラメータのみを用いているため、経年変化に影響する特徴を的確に操作できているとは言いきれない。一方、異なる世代の平均顔の差分情報を用いる方法では、各世代の平均顔を作成する際に、十分な数のオリジナル顔画像を用いる必要がある。オリジナル顔画像の数が十分でないと、抽出した差分情報には年齢要素だけではなく、オリジナル顔画像のもつ個人特徴の要素の差が含まれてしまいかねない。
【０００４】
【非特許文献１】
中川雅通，宋續敏彦，角義恭，前原文雄，千原國宏，“骨格モデルを用いた顔画像の年齢変化シミュレーション，”信学論（Ａ），Ｖｏｌ．Ｊ８０−Ａ，Ｎｏ．８，ｐｐ．１３１２−１３１５，Ａｕｇ．　１９９７．
【非特許文献２】
Ｄ．Ａ．Ｒｏｗｌａｎｄ，　Ｄ．Ｉ．Ｐｅｒｒｅｔｔ，　“Ｍａｎｉｐｕｌａｔｉｎｇ　Ｆａｃｉａｌ　Ａｐｐｅａｒａｎｃｅ　ｔｈｒｏｕｇｈ　Ｓｈａｐｅ　ａｎｄ　Ｃｏｌｏｒ，　”　ＩＥＥＥ　Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ　ａｎｄ　Ａｐｐｌｉｃａｔｉｏｎｓ，　Ｖｏｌ．１５，　Ｎｏ．５，　ｐｐ．７０−７６，　Ｓｅｐ．１９９５．
【０００５】
【発明が解決しようとする課題】
近年、主成分分析（Ｐｒｉｎｃｉｐａｌ　Ｃｏｍｐｏｎｅｎｔ　Ａｎａｌｙｓｉｓ：ＰＣＡ）を用いた年齢特徴抽出が試みられている。ＰＣＡは、複数の変量（変数）により構成される多次元空間（特徴ベクトル）を、できる限り少ない次元数の特徴ベクトルとして表現しようとする多変量解析手法である。
【０００６】
ＰＣＡを用いた顔画像合成も行われているが、従来手法の特徴抽出では、年齢や表情に関する主成分を指示および抽出することは難しい。年齢の異なる複数の顔画像をデータとして投入し分析する場合、ＰＣＡの性質から上位の主成分には年齢変化に関与する成分を含んだ結果が得られることは十分に考えられる。しかし、得られた結果から、年齢変化に強く関与する主成分を取得するには、主成分ごとにデータを復元し、もっともらしい主成分を主観で選択するという方法が取られてきた。したがって、主成分を選択する人により得られる結果が異なることになる。
【０００７】
本発明の目的は、画像の所定の属性の特徴を主観によらずに抽出することができる画像処理装置、画像処理方法および画像処理プログラムに関する。
【０００８】
【課題を解決するための手段および発明の効果】
第１の発明に係る画像処理装置は、複数の画像を記憶する画像記憶手段と、画像記憶手段に記憶された各画像の複数の形態的特徴を抽出する特徴抽出手段と、形態的特徴とは異なる各画像の属性を取得する属性取得手段と、特徴抽出手段により抽出された各画像の複数の形態的特徴および属性取得手段により取得された各画像の属性を変量とする各画像ごとの形態特徴ベクトルを構成する形態特徴ベクトル構成手段と、形態特徴ベクトル構成手段により構成された複数の画像の形態特徴ベクトルから主成分分析により第１主成分を算出する主成分分析手段とを備えたものである。
【０００９】
本発明に係る画像処理装置においては、複数の画像が画像記憶手段により記憶され、記憶された各画像の複数の形態的特徴が特徴抽出手段により抽出される。また、形態的特徴とは異なる各画像の属性が属性取得手段により取得される。抽出された各画像の複数の形態的特徴および取得された各画像の属性を変量とする各画像ごとの形態特徴ベクトルが形態特徴ベクトル構成手段により構成される。構成された複数の画像の形態特徴ベクトルから主成分分析により第１主成分が主成分分析手段により算出される。
【００１０】
このようにして得られた第１主成分は、形態特徴ベクトルに変量として加えられた属性と密接に関与している。したがって、第１主成分に基づいて画像の所定の特徴を主観によらずに確実に抽出することができる。
【００１１】
第２の発明に係る画像処理装置は、第１の発明に係る画像処理装置の構成において、主成分分析手段により算出された第１主成分の固有値を用いて第１主成分の変化範囲を決定する変化範囲決定手段と、変化範囲決定手段により決定された第１主成分の変化範囲での複数の形態的特徴の変化量を変量として用いて属性の特徴を示す属性特徴ベクトルを再構成する属性特徴ベクトル再構成手段とをさらに備えたことを特徴とする。
【００１２】
この場合、主成分分析手段により算出された第１主成分の固有値を用いて第１主成分の変化範囲が変化範囲決定手段により決定される。また、決定された第１主成分の変化範囲での複数の形態的特徴の変化量を変量として用いて属性の特徴を示す属性特徴ベクトルが属性特徴ベクトル再構成手段により再構成される。
【００１３】
このようにして得られた属性特徴ベクトルの各変量は、属性の変化による各形態的特徴の変化量を示している。したがって、画像の属性の特徴を各形態的特徴の変化量として抽出することができる。
【００１４】
第３の発明に係る画像処理装置は、第２の発明に係る画像処理装置の構成において、属性特徴ベクトル再構成手段により得られた属性特徴ベクトルを用いて特定の画像から属性が異なる他の画像を合成する画像合成手段をさらに備えたことを特徴とする。
【００１５】
この場合、属性特徴ベクトルの各変量が画像の属性の変化による各形態的特徴の変化量を示しているので、属性特徴ベクトルを用いて特定の画像から属性が異なる他の画像を合成することができる。
【００１６】
第４の発明に係る画像処理装置は、第３の発明に係る画像処理装置の構成において、画像合成手段は、特定の画像の複数の形態的特徴を変量とする形態特徴ベクトルを構成し、その形態特徴ベクトルの各変量を属性特徴ベクトルの対応する変量に基づいて修正し、修正された変量を有する形態特徴ベクトルから他の画像を合成することを特徴とする。
【００１７】
この場合、特定の画像の複数の形態的特徴を変量とする形態特徴ベクトルが構成され、その形態特徴ベクトルの各変量が属性特徴ベクトルの対応する変量に基づいて修正され、修正された変量を有する形態特徴ベクトルから他の画像が合成される。このようにして、属性特徴ベクトルを用いて特定の画像から属性が異なる他の画像を合成することができる。
【００１８】
第５の発明に係る画像処理装置は、第１〜第４のいずれかの発明に係る画像処理装置の構成において、複数の画像は、複数の顔画像であり、属性は、見かけの年齢、実年齢、性別、人種、表情または体形であることを特徴とする。
【００１９】
属性が見かけの年齢の場合、形態特徴ベクトルに見かけの年齢を変量として加えることにより、主成分分析により得られた第１主成分は見かけの年齢と密接に関与している。したがって、第１主成分に基づいて顔画像の見かけの年齢の特徴を主観によらずに確実に抽出することができる。属性が実年齢の場合、形態特徴ベクトルに実年齢を変量として加えることにより、主成分分析により得られた第１主成分は実年齢と密接に関与している。したがって、第１主成分に基づいて顔画像の実年齢の特徴を主観によらずに確実に抽出することができる。属性が性別の場合、形態特徴ベクトルに性別を変量として加えることにより、主成分分析により得られた第１主成分は性別と密接に関与している。したがって、第１主成分に基づいて顔画像の性別の特徴を主観によらずに確実に抽出することができる。属性が人種の場合、形態特徴ベクトルに人種を変量として加えることにより、主成分分析により得られた第１主成分は人種と密接に関与している。したがって、第１主成分に基づいて顔画像の人種の特徴を主観によらずに確実に抽出することができる。属性が表情の場合、形態特徴ベクトルに表情を変量として加えることにより、主成分分析により得られた第１主成分は表情と密接に関与している。したがって、第１主成分に基づいて顔画像の表情の特徴を主観によらずに確実に抽出することができる。属性が体形の場合、形態特徴ベクトルに体形を変量として加えることにより、主成分分析により得られた第１主成分は体形と密接に関与している。したがって、第１主成分に基づいて顔画像の体形の特徴を主観によらずに確実に抽出することができる。
【００２０】
第６の発明に係る画像処理装置は、第１〜第５のいずれかの発明に係る画像処理装置の構成において、複数の形態的特徴は、予め定められた複数の特徴点の座標値を含むことを特徴とする。
【００２１】
この場合、複数の形態的特徴が複数の特徴点の座標値により表される。したがって、第１主成分により画像の形状における属性の特徴を主観によらずに確実に抽出することができる。
【００２２】
第７の発明に係る画像処理方法は、複数の画像を記憶するステップと、記憶された各画像の複数の形態的特徴を抽出するステップと、形態的特徴とは異なる各画像の属性を取得するステップと、抽出された各画像の複数の形態的特徴および取得された各画像の属性を変量とする各画像ごとの形態特徴ベクトルを構成するステップと、構成された複数の画像の形態特徴ベクトルから主成分分析により第１主成分を算出するステップとを備えたものである。
【００２３】
本発明に係る画像処理方法においては、複数の画像が記憶され、記憶された各画像の複数の形態的特徴が抽出される。また、形態的特徴とは異なる各画像の属性が取得される。抽出された各画像の複数の形態的特徴および取得された各画像の属性を変量とする各画像ごとの形態特徴ベクトルが構成される。構成された複数の画像の形態特徴ベクトルから主成分分析により第１主成分が算出される。
【００２４】
このようにして得られた第１主成分は、形態特徴ベクトルに変量として加えられた属性と密接に関与している。したがって、第１主成分に基づいて画像の所定の特徴を主観によらずに確実に抽出することができる。
【００２５】
第８の発明に係る画像処理プログラムは、コンピュータ読み取り可能な画像処理プログラムであって、コンピュータ読み取り可能な画像処理プログラムであって、複数の画像を記憶する処理と、記憶された各画像の複数の形態的特徴を抽出する処理と、形態的特徴とは異なる各画像の属性を取得する処理と、抽出された各画像の複数の形態的特徴および取得された各画像の属性を変量とする各画像ごとの形態特徴ベクトルを構成する処理と、構成された複数の画像の形態特徴ベクトルから主成分分析により第１主成分を算出する処理とを、コンピュータに実行させるものである。
【００２６】
本発明に係る画像処理プログラムによれば、複数の画像が記憶され、記憶された各画像の複数の形態的特徴が抽出される。また、形態的特徴とは異なる各画像の属性が取得される。抽出された各画像の複数の形態的特徴および取得された各画像の属性を変量とする各画像ごとの形態特徴ベクトルが構成される。構成された複数の画像の形態特徴ベクトルから主成分分析により第１主成分が算出される。
【００２７】
このようにして得られた第１主成分は、形態特徴ベクトルに変量として加えられた属性と密接に関与している。したがって、第１主成分に基づいて画像の所定の特徴を主観によらずに確実に抽出することができる。
【００２８】
【発明の実施の形態】
以下、本発明の一実施の形態における画像処理方法の概念を説明する。ここでは、画像が個人の顔画像であり、複数の形態的特徴が目、口等の顔パーツ（顔部品）の形状特徴を構成するＬ個の特徴点（ｘ，ｙ）の２次元座標であり、属性が年齢である場合を説明する。ここで、Ｌは、２以上の整数であり、ｘは顔画像におけるｘ座標、ｙは顔画像におけるｙ座標である。
【００２９】
本実施の形態では、まず、個人の顔画像を表す特徴ベクトル（形状特徴ベクトル）として、Ｌ個の特徴点（ｘ，ｙ）の２次元座標だけでなく、画像には直接関係はないが、年齢特徴に強く影響を与える既知の属性値（年齢属性値）に重みを加えたものを変量ａとして加え、以下に示すように、主成分分析（ＰＣＡ）による次元圧縮を行う。
【００３０】
具体的には以下の手順で行う。個人の顔画像の形状特徴ベクトルは、次式のように、２Ｌ＋１次元のベクトルＦｉ（ｉ＝１，２，・・・，Ｍ）として表す。ＭはＰＣＡに用いる個人の顔画像の数である。
【００３１】
Ｆｉ＝［ｘ１，ｙ１，ｘ２，ｙ２，ｘ３，ｙ３，…，ｘＬ，ｙＬ，ａ］Ｔ　…（１）
上式（１）において、Ｔは転置を示す。すべての顔画像の形状特徴ベクトルの平均値が形状特徴ベクトル空間の中心に配置されるように各要素（変量）から平均ＦＡＶを引く。
【００３２】
ΔＦｉ＝Ｆｉ−ＦＡＶ　…（２）
次に、上式（２）を用いて新たに顔特徴空間Ｇを次式（３）により定義する。
【００３３】
Ｇ＝［ΔＦ１，ΔＦ２…，ΔＦＭ］　…（３）
そして、次式（４）により顔特徴空間Ｇの共分散行列Ｓを求める。
【００３４】
Ｓ＝ＧＧＴ　…（４）
上式（４）より求められた共分散行列Ｓに対して次式（５）により特異値分解を行うことにより、各固有ベクトルを顔特徴空間Ｇの主成分として求めることができる。
【００３５】
Ｓ＝ＵＤＵＴ　…（５）
Ｕはユニタリ行列であり、各列が固有ベクトルとなる。すなわち、ユニタリ行列Ｕの第１列には第１番目〜第Ｍ番目の顔画像における第１主成分の主成分得点が順に並び、第２列には第１番目〜第Ｍ番目の顔画像における第２主成分の主成分得点が順に並び、第３列には第１番目〜第Ｍ番目の顔画像における第３主成分の主成分得点が順に並ぶ。同様に、ユニタリ行列Ｕの第Ｍ列には第１番目〜第Ｍ番目の顔画像における第（２Ｌ＋１）主成分の主成分得点が並ぶ。Ｄは対角行列であり、対角成分が各主成分の固有値である。すなわち、対角行列Ｄの対角成分は、第１主成分〜第（２Ｌ＋１）主成分の固有値λ１〜λ２Ｌ＋１である。
【００３６】
ここで得られた第１主成分は、後述するように、属性値として加えた成分（年齢）の影響を強く受けており、第１主成分の主成分得点の値は、年齢属性値を強く反映したものになる。
【００３７】
ここで、第１主成分の標準偏差をσ１とし、その３倍を形状特徴の変化範囲とする。主成分の固有値は主成分の分散であることから、第１主成分の標準偏差σ１は、第１主成分の固有値λ１より次式（６）のようになる。
【００３８】
σ１２＝λ１　…（６）
第１主成分の標準偏差σ１の３倍の範囲、すなわち−（３／２）σ１から＋（３／２）σ１の範囲を顔形状（形状特徴）の変化範囲とする。この変化範囲にすべての顔画像のうち９０％以上が属する。＋（３／２）σ１を第１主成分の主成分得点とし、他の主成分の主成分得点を０とする主成分特徴ベクトルをＰｍａｘとする。また、−（３／２）σ１を第１主成分の主成分得点とし、他の主成分の主成分得点を０とする主成分特徴ベクトルをＰｍｉｎとする。主成分特徴ベクトルＰｍａｘはＭ個の顔画像より求められる平均顔画像において最年長（または最年少）の顔画像に対応し、主成分特徴ベクトルＰｍｉｎはＭ個の顔画像により求められる平均顔画像において最年少（または最年長）の顔画像に対応する。
【００３９】
Ｐｍａｘ＝［＋（３／２）σ１，０，０，…，０］Ｔ　…（７）
Ｐｍｉｎ＝［−（３／２）σ１，０，０，…，０］Ｔ　…（８）
上式（７），（８）の主成分特徴ベクトルＰｍａｘ，Ｐｍｉｎより顔形状ベクトルＦｍａｘ，Ｆｍｉｎを再構成する。顔形状ベクトルＦｍａｘは最年長（または最年少）の平均顔画像を表し、顔形状ベクトルＦｍｉｎは最年少（または最年長）の平均顔画像を表す。そして、次式のように、顔形状ベクトルＦｍａｘと顔形状ベクトルＦｍｉｎとの差を年齢特徴を表す特徴ベクトル（年齢特徴ベクトル）Ｆとして抽出する。
【００４０】
Ｆ＝Ｆｍａｘ−Ｆｍｉｎ　…（９）
ただし、年齢特徴ベクトルＦには属性値は必要ないため、年齢特徴ベクトルＦは年齢属性値を削除した２Ｌ次元のベクトルとする。
【００４１】
Ｆ＝［ｘ１，ｙ１，ｘ２，ｙ２，…，ｘ２Ｌ，ｙ２Ｌ］Ｔ　…（１０）
上式（１０）の年齢特徴ベクトルＦは、最年長の平均顔画像と最年少の平均顔画像との間での各特徴点の移動量を表している。例えば、変量ｘ１は１番目の特徴点のｘ座標の移動量を表し、変量ｙ１は１番目の特徴点のｙ座標の移動量を表す。
【００４２】
上式（１０）の年齢特徴ベクトルＦを用いて次のようにして特定の個人のオリジナル顔画像からその個人の異なる年齢の顔画像を合成することができる。
【００４３】
まず、特定の個人のオリジナル顔画像の形状特徴ベクトルＦＩを次式のように構成する。
【００４４】
ＦＩ＝［ｘ１，ｙ１，ｘ２，ｙ２，…，ｘ２Ｌ，ｙ２Ｌ］Ｔ　…（１１）
上式（１１）の変量ｘ１，ｙ１，ｘ２，ｙ２，…，ｘ２Ｌ，ｙ２Ｌはオリジナル顔画像のＬ個の特徴点のｘ座標およびｙ座標である。
【００４５】
次に、上式（１０）の年齢特徴ベクトルＦの各変量ｘ１，ｙ１，ｘ２，ｙ２，…，ｘ２Ｌ，ｙ２Ｌに合成割合ｂを乗算し、次式の修正ベクトルＦ’を算出する。
【００４６】
Ｆ’＝［ｂｘ１，ｂｙ１，ｂｘ２，ｂｙ２，…，ｂｘ２Ｌ，ｂｙ２Ｌ］Ｔ　…（１２）
上式（１１）のオリジナル顔画像の形状特徴ベクトルＦＩに上式（１２）の修正ベクトルＦ’を次式のように加算または減算し、年齢特徴をマッピングした形状特徴ベクトルＦＳを作成する。
【００４７】
ＦＳ＝ＦＩ±Ｆ’　…（１３）
上式（１３）の形状特徴ベクトルＦＳから顔画像を再構成することによりオリジナル顔画像に対して年齢が異なる顔画像を合成することができる。この場合、上式（１２）における合成割合ｂの値を任意に設定することにより、任意の年齢の顔画像を合成することが可能となる。
【００４８】
次に、図１を用いて本実施の形態の画像処理方法を実行するための画像処理装置の構成を説明する。図１は本実施の形態の画像処理方法を実施するための画像処理装置の構成を示すブロック図である。
【００４９】
画像処理装置５０は、ＣＰＵ（中央演算処理装置）５０１、ＲＯＭ（リードオンリメモリ）５０２、ＲＡＭ（ランダムアクセスメモリ）５０３、入力装置５０４、表示装置５０５、外部記憶装置５０６、記録媒体駆動装置５０７および印刷装置５０８を含む。
【００５０】
入力装置５０４は、キーボード、マウス、スキャナ、デジタルカメラ等からなり、各種指令、データおよび画像を入力するために用いられる。ＲＯＭ５０２にはシステムプログラムが記憶される。記録媒体駆動装置５０７は、ＣＤ−ＲＯＭドライブ、フロッピィディスクドライブ等からなり、ＣＤ−ＲＯＭ、フロッピィディスク等の記録媒体５０９に対してデータの読み書きを行う。記録媒体５０９には、画像処理プログラムが記憶されている。外部記憶装置５０６は、ハードディスク装置等からなり、記録媒体駆動装置５０７を介して記録媒体５０９から読み込まれた画像処理プログラムおよび各種データを記憶する。ＣＰＵ５０１は、外部記憶装置５０６に記憶された画像処理プログラムをＲＡＭ５０３上で実行する。
【００５１】
表示装置５０５は、液晶表示パネル、ＣＲＴ（陰極線管）等からなり、各種画像等を表示する。印刷装置５０８は、各種画像等を印刷する。
【００５２】
なお、画像処理プログラムを記録する記録媒体５０９として、ＲＯＭ等の半導体メモリ、ハードディスク等の種々の記録媒体を用いることができる。また、画像処理プログラムを通信回線等の通信媒体を介して外部記憶装置５０６にダウンロードし、ＲＡＭ５０３上で実行してもよい。
【００５３】
本実施の形態では、外部記憶装置５０６が画像記憶手段に相当し、ＣＰＵ５０１が特徴抽出手段、属性取得手段、形態特徴ベクトル構成手段、主成分分析手段、変化範囲決定手段、属性特徴ベクトル再構成手段および画像合成手段に相当する。
【００５４】
図２は図１の画像処理装置において実行される画像処理プログラムの処理を示すフローチャートである。ここでは、ある年齢の個人のオリジナル顔画像からその個人の他の年齢の顔画像を合成する方法の例を示す。
【００５５】
まず、ＣＰＵ５０１は、入力装置５０４により入力された複数の個人の顔画像を画像データとして外部記憶装置５０６に記憶する（ステップＳ１）。この場合、予めデータベースに記憶された複数の個人の顔画像の画像データを用いてもよい。
【００５６】
次に、ＣＰＵ５０１は、外部記憶装置５０６に記憶された画像データに基づいて各顔画像の複数の特徴点の座標値を抽出する（ステップＳ２）。本実施の形態では、各特徴点のｘ座標およびｙ座標を抽出する。
【００５７】
次に、ＣＰＵ５０１は、各顔画像の年齢属性値を取得する（ステップＳ３）。年齢属性値は、各顔画像ごとに入力装置５０４により入力してもよく、あるいは各顔画像ごとに予めデータベースに記憶された年齢属性値を用いてもよい。本実施の形態では、後述する年齢知覚実験により得られた見かけの年齢を年齢属性値として用いる。
【００５８】
さらに、ＣＰＵ５０１は、各顔画像ごとに抽出された複数の特徴点の座標値および年齢属性値を用いて各顔画像の形状特徴ベクトルＦｉ（式（１）参照）を構成する（ステップＳ４）。
【００５９】
次いで、ＣＰＵ５０１は、複数の顔画像の形状特徴ベクトルＦｉから式（２）〜（６）に従って主成分分析により第１主成分の固有値σ１を算出する（ステップＳ５）。また、ＣＰＵ５０１は、第１主成分の固有値σ１を用いて式（７）の第１主成分の主成分特徴ベクトルＰｍａｘ，Ｐｍｉｎを構成する（ステップＳ６）。
【００６０】
次に、ＣＰＵ５０１は、第１主成分の固有値σ１を用いて式（７）の第１主成分の顔形状ベクトルＦｍａｘ，Ｆｍｉｎを再構成し（ステップＳ７）、式（８）の年齢特徴を表す年齢特徴ベクトルＦを抽出する（ステップＳ８）。
【００６１】
次いで、ＣＰＵ５０１は、年齢特徴ベクトルＦを用いて特定の個人のオリジナル顔画像から所望の年齢の顔画像を合成する（ステップＳ９）。
【００６２】
このようにして、画像処理プログラムを画像処理装置において実行することにより複数の個人の顔画像を用いて年齢特徴に密接に関連する顔形状の特徴を年齢特徴ベクトルＦとして抽出することができ、さらに抽出した顔形状の特徴を用いて特定の個人のオリジナル顔画像から所望の年齢の顔画像を合成することができる。
【００６３】
上記のように、本実施の形態の画像処理装置、画像処理方法および画像処理プログラムにより未知の顔画像を合成することができるので、それらを犯罪捜査等に利用することができる。
【００６４】
なお、上記実施の形態では、画像の形態的特徴として顔形状の特徴を表す複数の特徴点の座標値を用いているが、画像の形態的特徴として肌の色合い、しみ、しわ等のテクスチャ（肌合い）を用いることもできる。また、年齢の知覚は、顔内部の形状だけではなく、髪型等を考慮してもよい。
【００６５】
さらに、上記実施の形態では、属性として見かけの年齢を用いているが、属性として見かけの年齢の代わりに実年齢を用いてもよい。また、属性として表情、人種、性別、体形等の他の属性を用いてもよい。
【００６６】
属性が実年齢の場合、上記実施の形態の画像処理方法を適用することにより、複数の個人の顔画像を用いて実年齢の特徴に密接に関連する顔形状の特徴を抽出することができ、さらに抽出した顔形状の特徴を用いて特定の個人のオリジナル顔画像から実年齢の異なる顔画像を合成することができる。
【００６７】
属性が表情の場合、喜怒哀楽等の表情をそれぞれ異なる値で表し、上記実施の形態の画像処理方法を適用することにより、複数の個人の顔画像を用いて表情の特徴に密接に関連する顔形状の特徴を抽出することができ、さらに抽出した顔形状の特徴を用いて特定の個人のオリジナル顔画像から表情の異なる顔画像を合成することができる。
【００６８】
属性が人種の場合、異なる複数の人種をそれぞれ異なる値で表し、上記実施の形態の画像処理方法を適用することにより、複数の個人の顔画像を用いて人種の特徴に密接に関連する顔形状の特徴を抽出することができ、さらに抽出した顔形状の特徴を用いて特定の個人のオリジナル顔画像から人種の異なる顔画像を合成することができる。
【００６９】
属性が性別の場合、男女の性別を異なる値で表し、上記実施の形態の画像処理方法を適用することにより、複数の個人の顔画像を用いて性別の特徴に密接に関連する顔形状の特徴を抽出することができ、さらに抽出した顔形状の特徴を用いて特定の個人のオリジナル顔画像から性別の異なる顔画像を合成することができる。
【００７０】
属性が体形の場合、異なる体形を異なる値で表し、上記実施の形態の画像処理方法を適用することにより、複数の個人の顔画像を用いて体形の特徴に密接に関連する顔形状の特徴を抽出することができ、さらに抽出した顔形状の特徴を用いて特定の個人のオリジナル顔画像から体形の異なる顔画像を合成することができる。
【００７１】
また、上記実施の形態では、画像が個人の顔画像である場合を説明したが、これに限定されない。例えば、画像が動物の画像であってもよい。
【００７２】
【実施例】
１．予備実験
個人の顔の経年変化に関わる形状特徴について考える場合、ＰＣＡの変量に与える属性値として、実年齢を利用すればよい。しかし、顔の経年変化では、形状とともに、しみやしわ、肌のきめ等も変化することは経験的にも明らかである。本実施例では、経年変化により変化する顔の形状特徴ではなく、みかけの年齢、つまり若く見える顔や、老けて見える顔の形状の特徴について検討した。そして、見かけの年齢の属性値として、実年齢を与えたのでは不十分であるため、見かけの年齢の属性値を求めるために年齢知覚実験（年齢評定実験）を行った。
【００７３】
１−１．手続
年齢知覚実験における実験刺激には、ＡＴＲ（株式会社国際電気通信基礎技術研究所）の表情顔画像データベースから、日本人男女各１４２名の無表情、正面向き、実年齢が１０代後半から３０代後半の顔画像を用いた。また、顔画像は５１２×５１２ピクセルのカラー画像であり、顔が枠内に十分入る大きさであった。被験者は大学生（１８才〜２２才）の男性２５名および女性２２名であった。
【００７４】
実験は、次の手順で行われた。被験者は、モニタに表示される顔画像の年齢を推定し、表１に示す年齢評定カテゴリの中で最も適するカテゴリを選択するよう求められた。
【００７５】
【表１】
2004102359.tif 000003
【００７６】
表１に示すように、年齢を８つのカテゴリに分類し、それらのカテゴリに年齢の若い順に０〜７の評定値を与えた。
【００７７】
１−２．結果
顔画像ごとに評定値の平均および標準偏差を求めた。図４は顔画像ごとの評定置の平均を降順に並び替えてプロットした図である。図４の横軸は、１４２名の顔画像を示し、縦軸は、各顔画像の評定値の平均を示す。三角印および丸印はそれぞれ男性および女性の顔画像の評定値の平均を表す。
【００７８】
個々の顔画像より得られた標準偏差から顔画像の性別ごとに平均を求めた。標準偏差の平均は、男性の顔画像では０．８５、女性の顔画像では０．８９であった。つまり、男女の顔とも±５才程度の誤差で年齢が推定されたことになる。
【００７９】
なお、男女で顔画像は異なり、顔画像間に関連もないため、顔画像間の比較には意味がない。
【００８０】
２．年齢特徴抽出実験
次に、上記の年齢知覚実験により得られた見かけの年齢属性値を用いて顔年齢特徴抽出実験を行った。顔情報に見かけの年齢属性値を付加する場合（以下、属性値付加条件と呼ぶ）と、顔情報に見かけの年齢属性値を付加しない場合（以下、属性値なし条件と呼ぶ）とで、抽出される形状特徴の比較を行った。
【００８１】
２−１．手続き
顔画像の形状特徴には、ＡＴＲの顔画像合成システム（ＦＵＴＯＮ）（蒲池みゆき，向田茂，吉川左紀子，加藤隆，尾田正臣，赤松茂，“顔・表情認知に関する心理実験のための顔画像合成システム−ＦＵＴＯＮ　Ｓｙｓｔｅｍ−，”信学技法，ＨＩＰ９７−３９，ｐｐ．７３−８０，Ｊａｎ．１９９８および向田茂，蒲池みゆき，赤松茂，“顔画像合成システム（ＦＵＴＯＮ　ｓｙｓｔｅｍ）におけるマニュアルサンプリングの評価，”信学技法，ＨＩＰ９９−４９，ｐｐ．１３−１８，Ｎｏｖ．１９９９参照）のデフォルト特徴点８３点の座標値を用いた。図５は顔特徴ベクトルの変量として用いた特徴点を示す図である。図５において、８３点の特徴点を黒丸で示し、各特徴点を識別するために符号を付している。
【００８２】
顔画像としては、予備実験で用いた男女の各１４２枚の顔画像を用いた。ただし、顔幅（特徴点Ｆｒ３，Ｆｌ３間の長さ）が２３０ピクセルになるように、また両目の瞳を結ぶ直線が水平になるように正規化した。
【００８３】
男女の顔画像ごとに、属性値なし条件および属性値付加条件のそれぞれにおいてＰＣＡによる次元圧縮を行った。
・属性値なし条件
従来手法の属性値なし条件では、顔情報（形状特徴ベクトルの変量）として、８３点の特徴点の座標値のみを用いた。１枚の顔画像を１６６次元の形状特徴ベクトルＦＮとして表した。
【００８４】
ＦＮ＝（ｘ１，ｙ１，ｘ２，ｙ２，ｘ３，ｙ３，…，ｘ８３，ｙ８３）Ｔ
・属性値付加条件
属性値付加条件では、顔情報として（形状特徴ベクトルの変量）、８３点の特徴点の座標値に加え，予備実験で得られた各顔画像の評定値の平均値を１００倍した値を、見かけの年齢属性値ａとして用いた。そして、１枚の顔画像を１６７次元の形状特徴ベクトルＦＡとして表した。
【００８５】
ＦＡ＝（ｘ１，ｙ１，ｘ２，ｙ２，ｘ３，ｙ３，…，ｘ８３，ｙ８３，ａ）Ｔ
得られた主成分ごとの固有値から、その主成分の変化量を決定し、主成分ごとに形状特徴ベクトルを再構成後、視覚的にその差を比較した。
【００８６】
２−３．結果
男女それぞれの顔画像について、属性値なし条件および属性値付加条件から得られた各主成分における主成分得点を分析した。もし、主成分が年齢変化に強く関与しているのであれば、顔画像を年齢順に並べたとき、主成分上の各顔画像の主成分得点は昇順あるいは降順に並んでいるはずである。そこで、男女の顔画像での各条件で得られた主成分のうち第１主成分から第３主成分までの主成分得点をプロットした。
【００８７】
図６（ａ）は男性の顔画像において属性値なし条件で得られた上位主成分の主成分得点を示す図、図６（ｂ）は女性の顔画像において属性値なし条件で得られた上位主成分の主成分得点を示す図である。また、図７（ａ）は男性の顔画像において属性値付加条件で得られた上位主成分の主成分得点を示す図、図７（ｂ）は女性の顔画像において属性値付加条件で得られた上位主成分の主成分得点を示す図である。図６および図７の横軸は見かけの年齢（評定値）の高い順に並べた顔画像を示し、縦軸は主成分得点（ＰＣ　ｓｃｏｒｅ）を示す。四角印は第１主成分の主成分得点を示し、丸印は第２主成分の主成分得点を示し、三角印は第３主成分の主成分得点を示す。
【００８８】
図６（ａ），（ｂ）に示すように、属性値なし条件では、男性の顔画像および女性の顔画像とも、年齢順に並べられた顔画像の主成分得点がほぼ昇順あるいは降順に並ぶ主成分を見つけることができなかった。
【００８９】
図７（ａ），（ｂ）に示すように、属性値付加条件では、男性の顔画像および女性の顔画像とも、第１主成分の主成分得点がほぼ順に並んだ形で示された。
【００９０】
これらの結果から、属性値付加条件で得られた第１主成分が顔画像の見かけの年齢に影響を与える特徴と密接に関係していることがわかった。
【００９１】
次に、各主成分がどのような形状変化に関わっているのかを視覚的に確認するために、確認する主成分の固有値から得られた変化範囲を用いて、それぞれ顔パーツの特徴点の座標を再構成した。以下に示すように、属性値付加条件での主成分の顔形状への影響を調べた。
【００９２】
図８、図９、図１０および図１１は男性の顔画像において属性値付加条件で得られた第１主成分、第２主成分、第３主成分および第４主成分をそれぞれ用いて再構成した顔形状を示す図である。また、図１２、図１３、図１４および図１５は女性の顔画像において属性値付加条件で得られた第１主成分、第２主成分、第３主成分および第４主成分をそれぞれ用いて再構成した顔形状を示す図である。図８〜図１１において、（ａ）および（ｂ）は見かけの年齢が両極端の顔形状を示している。
【００９３】
再構成した顔画像から各主成分の２枚の顔形状を比較した。各主成分が形状的な特徴の変化とどのように関係しているかを、主観的な印象として挙げると次のようになる。男性の顔画像について属性値付加条件で得られた第１主成分では、眉の内側が上下に変化、外側は内側とは逆向きに上下に変化する。鼻と口は上下に変化し、口の幅は若干狭まったり、広がったり、そしてあごがやや大きくなったり、小さくなったりする。第２主成分では、額が拡大縮小し、眉の外側が水平方向へ変化し（眉の大きさが変わる）、両目の間隔もやや広くなったり、狭くなったりし、そして、鼻、口およびあごが大きく上下に変化する。第３主成分では、眉の内側が上下に変化し、外側は若干水平方向に変化する。鼻と口は大きく上下に変化し、あごは四角くややえらの張ったような形や、少し小さく、とがった形に変化する。第４主成分では、額の大きさが急激に変化し、眉の内側が大きく上下に変化する。そして、鼻および口の左側が若干水平方向に変化し、あごの左側がごくわずか変化する。
【００９４】
一方、属性値なし条件では、第１主成分は属性値付加条件の第２主成分とほぼ同じ変化を示し、第２主成分は属性値付加条件の第３主成分とほぼ同じ変化を示した。以降の主成分についても同様であった。
【００９５】
女性の顔画像について属性値付加条件で得られた第１主成分では、口が上下に変化し、幅が広くなったり狭くなったりする。そして、あごがやや大きくなったり、小さくなったりする。第２主成分では、男性の顔画像について属性値付加条件で得られた第２主成分とほぼ同様であった。第３主成分では、額が拡大縮小し、眉の内側は若干上下に変化し、そして鼻と口は若干左側で水平方向に変化し、あごはややえらの張ったような形や、少し小さく、とがった形になる。第４主成分では、顔輪郭、鼻、口が若干右側で変化する。そして、顔輪郭については横幅が変化する。
【００９６】
一方、属性値なし条件では、男性の顔画像と同様に、第１主成分は属性値付加条件の第２主成分とほぼ同じ変化を示し、第２主成分は属性値付加条件の第３主成分とほぼ同じ変化を示した。以降の主成分についても同様であった。
【００９７】
２−３．考察
各主成分における主成分得点の分布から見ると、属性値なし条件と、属性値付加条件の第２主成分以降では、顔画像を見かけの年齢順に並べたときに、主成分得点が全く昇順あるいは降順になっていなかったことから、これらの主成分は見かけの年齢に影響を与える特徴と密接に関係しているとは言えない。一方、属性値付加条件の第１主成分では、見かけの年齢順に顔画像を並べたとき、男女の顔画像とも、主成分得点はほぼ順に並んでいたこと、さらには年齢知覚実験（年齢評定実験）で得られたデータ（評定値）の分布と第１主成分のデータ（主成分得点）の分布はよく似た分布を示していることから、属性値付加条件で得られた第１主成分は、見かけの年齢に影響を与える形状特徴と密接に関係していると言える。
【００９８】
各主成分の主成分得点の値を変え、顔パーツの特徴点座標に再構成させた特徴点の座標の変化についても、属性値付加条件の第１主成分は、解剖学的な知見による青年期の加齢変化とほぼ合っているように見える。
【００９９】
本発明に係る画像処理方法では、顔の形状情報である特徴点の座標値だけでなく、直接顔画像の構成には関係のない見かけの年齢という属性値を加えてＰＣＡを行うことにより、第１主成分の主成分得点が定量的にも年齢変化との関係を示していること、第１主成分から再構成した顔形状において定性的にも妥当な変形を観察できたことから、見かけの年齢に密接に関係する形状特徴を得られることを示している。
【０１００】
３−１．個人の顔画像へのマッピング
年齢特徴抽出実験により得られた見かけの年齢特徴を個人の顔画像へマッピングした。
【０１０１】
図１６〜図１９は４人のオリジナルの顔画像に年齢形状特徴をマッピングすることにより年齢の異なる顔画像を合成した結果を示す図である。各図において、３枚の顔画像のうち、中央がオリジナル顔画像、左側が若く見えるように合成した顔画像、右側が老けて見えるように合成した画像である。合成割合は、いずれも年齢特徴抽出実験の属性値付加条件の第１主成分の変化量の±５０％とした。
【０１０２】
合成の手順は次の通りである。個人のオリジナル顔画像から、ＦＵＴＯＮで用いる８３点の特徴点を取得し、オリジナル顔画像の形状特徴ベクトルＦＩを特徴点の座標値を用いて、１６６次元のベクトルＦＩとする。
ＦＩ＝（ｘ１，ｙ１，ｘ２，ｘ３，…，ｘ１６６，ｙ１６６）Ｔ　…（１１）
オリジナル顔画像の形状特徴ベクトルＦＩと、見かけの年齢特徴ベクトルＦの各要素に合成割合０．５を乗じた修正ベクトルＦ’を加算あるいは減算し、年齢特徴をマッピングした顔形状ベクトルＦＳを作成した。
【０１０３】
Ｆ’＝（０．５ｘ１，０．５ｙ１，０．５ｘ２，０．５ｙ２…，０．５ｘ８３，０．５ｙ８３）Ｔ　…（１２）
ＦＳ＝ＦＩ±Ｆ’　…（１３）
そして、顔形状がＦＩからＦＳへと変化する形状モーフィング（顔合成技術）をＦＵＴＯＮで行った。
【０１０４】
ここで、抽出した見かけの年齢特徴は形状のみであったため、顔形状のみの合成となった。合成結果は、「オリジナル顔画像の人物が若く見られるならばこんな感じ」、「老けて見られるならばこんな感じ」という印象の顔画像となった。
【０１０５】
以上のように、上記実施例では、顔画像の形状特徴ベクトルに画像とは直接関係のない見かけの年齢という属性値を変量として加え、ＰＣＡを行うことにより、見かけの年齢変化に密接に関与する形状特徴を抽出することが可能であることが示された。
【図面の簡単な説明】
【図１】本発明の一実施の形態における画像処理方法を実施するための画像処理装置の構成を示すブロック図である。
【図２】図１の画像処理装置において実行される画像処理プログラムの処理を示すフローチャートである。
【図３】図１の画像処理装置において実行される画像処理プログラムの処理を示すフローチャートである。
【図４】顔画像ごとの評定置の平均を降順に並び替えてプロットした図である
【図５】形状特徴ベクトルの変量として用いた特徴点を示す図である。
【図６】男性および女性の顔画像において属性値なし条件で得られた上位主成分の主成分得点を示す図である。
【図７】男性および女性の顔画像において属性値付加条件で得られた上位主成分の主成分得点を示す図である。
【図８】男性の顔画像において属性付加条件で得られた第１主成分をそれぞれ用いて再構成した顔形状を示す図である。
【図９】男性の顔画像において属性付加条件で得られた第２主成分をそれぞれ用いて再構成した顔形状を示す図である。
【図１０】男性の顔画像において属性付加条件で得られた第３主成分をそれぞれ用いて再構成した顔形状を示す図である。
【図１１】男性の顔画像において属性付加条件で得られた第４主成分をそれぞれ用いて再構成した顔形状を示す図である。
【図１２】女性の顔画像において属性付加条件で得られた第１主成分をそれぞれ用いて再構成した顔形状を示す図である。
【図１３】女性の顔画像において属性付加条件で得られた第２主成分をそれぞれ用いて再構成した顔形状を示す図である。
【図１４】女性の顔画像において属性付加条件で得られた第３主成分をそれぞれ用いて再構成した顔形状を示す図である。
【図１５】女性の顔画像において属性付加条件で得られた第４主成分をそれぞれ用いて再構成した顔形状を示す図である。
【図１６】オリジナルの顔画像に年齢形状特徴をマッピングすることにより年齢の異なる顔画像を合成した結果を示す図である。
【図１７】オリジナルの顔画像に年齢形状特徴をマッピングすることにより年齢の異なる顔画像を合成した結果を示す図である。
【図１８】オリジナルの顔画像に年齢形状特徴をマッピングすることにより年齢の異なる顔画像を合成した結果を示す図である。
【図１９】オリジナルの顔画像に年齢形状特徴をマッピングすることにより年齢の異なる顔画像を合成した結果を示す図である。
【符号の説明】
５０　画像処理装置
５０１　ＣＰＵ
５０２　ＲＯＭ
５０３　ＲＡＭ
５０４　入力装置
５０５　表示装置
５０６　外部記憶装置
５０７　記録媒体駆動装置
５０８　印刷装置
５０９　記録媒体
【図１】
2004102359.tif 000004
【図２】
2004102359.tif 000005
【図３】
2004102359.tif 000006
【図４】
2004102359.tif 000007
【図５】
2004102359.tif 000008
【図６】
2004102359.tif 000009
【図７】
2004102359.tif 000010
【図８】
2004102359.tif 000011
【図９】
2004102359.tif 000012
【図１０】
2004102359.tif 000013
【図１１】
2004102359.tif 000014
【図１２】
2004102359.tif 000015
【図１３】
2004102359.tif 000016
【図１４】
2004102359.tif 000017
【図１５】
2004102359.tif 000018
【図１６】
2004102359.tif 000019
【図１７】
2004102359.tif 000020
【図１８】
2004102359.tif 000021
【図１９】
2004102359.tif 000022