(57)【要約】【課題】  顔映像の類似度の算出方法及び装置と、これを利用した顔映像の検索方法及び装置、並びに顔合成方法を提供する。【解決手段】  顔映像の全体特徴による顔映像の全体的な類似度と顔映像の局部特徴による顔映像の局部的な類似度とをそれぞれ別途に計算し、計算された類似度結果を加重値によって合算して対応する顔映像の類似度を計算することによって、顔の全体的な特徴と局部的な特徴とがいずれも考慮された顔類似度計算結果を得ることができ、顔映像類似度計算の信頼性を向上させることができ、複雑性を低減させることできる顔映像の類似度の算出方法。【選択図】      図２
2008152789.tif 000002
【特許請求の範囲】
【請求項１】
（ａ）トレーニング顔映像セットから抽出された顔全体領域に対する第１ベーシスに入力顔映像を投影して、入力顔映像の全体特徴ベクトルを生成するステップと、
（ｂ）前記トレーニング顔映像セットから抽出された顔局部領域に対する第２ベーシスに前記入力顔映像を投影して、入力顔映像の局部特徴ベクトルを生成するステップと、
（ｃ）前記トレーニング顔映像セットから選択されたいずれか一つのトレーニング顔映像による全体特徴ベクトル及び局部特徴ベクトルと、前記（ａ）ステップと（ｂ）ステップとを通じて生成された全体特徴ベクトル及び局部特徴ベクトルとを利用して、前記選択されたトレーニング顔映像と入力顔映像との類似度を算出するステップと、を含む顔映像の類似度の算出方法。
【請求項２】
前記（ｃ）ステップは、
（ｃ１）前記トレーニング顔映像セットから選択されたいずれか一つのトレーニング顔映像による全体特徴ベクトルと前記入力顔映像による全体特徴ベクトルとの類似度を計算するステップと、
（ｃ２）前記選択されたトレーニング顔映像による局部特徴ベクトルと前記入力顔映像による局部特徴ベクトルとの類似度を計算するステップと、
（ｃ３）前記（ｃ１）及び（ｃ２）で計算された類似度に所定の加重値を付与し、前記選択されたトレーニング顔映像と入力顔映像との類似度を算出するステップと、を含むことを特徴とする請求項１に記載の顔映像の類似度の算出方法。
【請求項３】
前記第１ベーシスは、前記トレーニング顔映像セットに対するＰＣＡを行って生成することを特徴とする請求項１に記載の顔映像の類似度の算出方法。
【請求項４】
前記第２ベーシスは、トレーニング顔映像セットに対してＬＦＡを行って生成することを特徴とする請求項１に記載の顔映像の類似度の算出方法。
【請求項５】
前記ＰＣＡを行うことは、
前記トレーニング顔映像セットによる顔映像平均ベクトルを計算するステップと、
前記トレーニング顔映像セットに属するそれぞれのトレーニング顔映像ベクトルと前記顔映像平均ベクトルとの差による行列を生成するステップと、
前記生成された行列の共分散行列を生成するステップと、
前記生成された共分散行列に対する固有分析を行って固有ベクトル行列を生成するステップと、を含み、
前記第１ベーシスは、前記固有ベクトル行列であることを特徴とする請求項３に記載の顔映像の類似度の算出方法。
【請求項６】
前記ＬＦＡを行うことは、
前記生成された共分散行列に対する固有値をさらに生成するステップと、
前記生成された固有値を利用して第１局部領域による低域通過行列を生成するステップと、
前記生成された低域通過行列と前記第１ベーシスベクトルとを利用して第２ベーシスを生成するステップと、を含むことを特徴とする請求項５に記載の顔映像の類似度の算出方法。
【請求項７】
前記低域通過行列及び前記第２ベーシスは、下記の数式によって生成することを特徴とする請求項６に記載の顔映像の類似度の算出方法：
【数１】
2008152789.tif 000037
ここで、
【数２】
2008152789.tif 000038
は、低域通過行列であり、
【数３】
2008152789.tif 000039
であり、
【数４】
2008152789.tif 000040
は、前記共分散行列による固有値であり、ｎは、低域通過フィルタの幅定数であり、Ｕは、前記第１ベーシス行列であり、
【数５】
2008152789.tif 000041
は、第２ベーシス行列である。
【請求項８】
前記生成された固有値を利用して前記所定の局部領域と同一でない第２局部領域による低域通過行列を生成し、前記生成された低域通過行列及び前記第１ベーシスを利用して第３ベーシスを生成するステップをさらに含み、
前記（ｂ）ステップは、前記第３ベーシスに前記入力顔映像を投影して入力顔映像の局部特徴ベクトルを生成するステップをさらに含み、
前記（ｃ）ステップで前記トレーニング顔映像と入力顔映像との類似度を算出することは、前記第３ベーシスに前記入力顔映像を投影することによって生成された局部特徴ベクトルと、前記第３ベーシスに前記選択されたトレーニング顔映像を投影することによって生成された局部特徴ベクトルとをさらに利用して算出することを特徴とする請求項１に記載の顔映像類似度の算出方法。
【請求項９】
前記第２ベーシスは、２つ以上の局部領域に対する複数の局部ベーシスで形成され、
前記（ｃ２）ステップは、前記局部領域による所定の加重値をさらに考慮して局部特徴ベクトルの類似度を計算することを特徴とする請求項２に記載の顔映像類似度の算出方法。
【請求項１０】
前記入力顔映像及び前記選択されたトレーニング顔映像は、
ガウス低域通過フィルタを利用して顔映像をフィルタリングするステップと、
前記フィルタリングされた顔イメージで眼領域を探すステップと、
前記眼領域を基準として顔映像を正規化させるステップと、
照明の分散を除去するために照明を変化させるステップと、を通じて正規化されたことを特徴とする請求項４に記載の顔映像類似度の算出方法。
【請求項１１】
請求項１ないし１０のうちいずれか一項に記載の顔映像類似度の算出方法を実行できるプログラムが記録されたコンピュータで読み取り可能な記録媒体。
【請求項１２】
（ａ）トレーニング顔映像セットから顔全体領域に対する第１ベーシスを抽出するステップと、
（ｂ）前記トレーニング顔映像セットから顔局部領域に対する第２ベーシスを抽出するステップと、
（ｃ）入力顔映像を前記第１ベーシスに投影して入力顔映像の全体特徴ベクトルを生成するステップと、
（ｄ）前記入力顔映像を前記第２ベーシスに投影して入力顔映像の局部特徴ベクトルを生成するステップと、
（ｅ）前記トレーニング顔映像セットから選択されたいずれか一つのトレーニング顔映像を前記第１ベーシスに投影して、前記選択されたトレーニング顔映像の全体特徴ベクトルを生成するステップと、
（ｆ）前記選択されたトレーニング顔映像を前記第２ベーシスに投影して、前記選択されたトレーニング顔映像の局部特徴ベクトルを生成するステップと、
（ｇ）前記入力顔映像と前記選択されたトレーニング顔映像との全体特徴ベクトルを比較するステップと、
（ｈ）前記入力顔映像と前記選択されたトレーニング顔映像との局部特徴ベクトルを比較するステップと、
（ｉ）前記比較結果を利用して、前記入力顔映像と前記選択されたトレーニング顔映像との類似度を算出するステップと、を含む顔映像類似度の算出方法。
【請求項１３】
入力顔映像を受信する受信部と、
トレーニング顔映像セットから抽出された顔全体領域に対する第１ベーシスに入力顔映像を投影して、入力顔映像の全体特徴ベクトルを生成する全体特徴生成部と、
前記トレーニング顔映像セットから抽出された顔局部領域に対する第２ベーシスに入力顔映像を投影して、入力顔局部特徴ベクトルを生成する局部特徴生成部と、
前記トレーニング顔映像セットから選択されたいずれか一つのトレーニング顔映像による全体特徴ベクトル及び局部特徴ベクトルと、前記入力顔映像による全体特徴ベクトル及び局部特徴ベクトルとを利用して、前記選択されたトレーニング顔映像と入力顔映像との類似度を算出する類似度算出部と、を備える顔映像の類似度の算出装置。
【請求項１４】
前記トレーニング顔映像セットに対するＰＣＡを行って前記第１ベーシスを生成するＰＣＡベーシス生成部をさらに備えることを特徴とする請求項１３に記載の顔映像類似度の算出装置。
【請求項１５】
前記トレーニング顔映像セットに対するＬＦＡを行って前記第２ベーシスを生成するＬＦＡベーシス生成部をさらに備えることを特徴とする請求項１３に記載の顔映像類似度の算出装置。
【請求項１６】
前記類似度算出部は、
前記選択されたトレーニング顔映像による全体特徴ベクトルと前記入力顔映像による全体特徴ベクトルとの類似度を計算する第１類似度計算部と、
前記選択されたトレーニング顔映像による局部特徴ベクトルと前記入力顔映像による局部特徴ベクトルとの類似度を計算する第２類似度計算部と、をさらに備え、
前記類似度算出部は、前記第１及び第２類似度計算部を通じて計算されたそれぞれの類似度値を利用して、前記選択されたトレーニング顔映像と入力顔映像との類似度を算出することを特徴とする請求項１３に記載の顔類似度の算出装置。
【請求項１７】
顔映像の検索方法において、
（ａ）トレーニング顔映像セットから抽出された顔全体領域に対する第１ベーシスに入力顔映像を投影して、入力顔映像の全体特徴ベクトルを生成するステップと、
（ｂ）前記トレーニング顔映像セットから抽出された顔局部領域に対する第２ベーシスに前記入力顔映像を投影して、入力顔映像の局部特徴ベクトルを生成するステップと、
（ｃ）前記（ａ）ステップ及び（ｂ）ステップを通じて生成された全体特徴ベクトル及び局部特徴ベクトルを利用して、前記入力顔映像と所定の類似度を持つ顔映像を前記トレーニング顔映像セットで検索するステップと、を含むことを特徴とする顔映像の検索方法。
【請求項１８】
入力顔映像を受信する受信部と、
トレーニング顔映像セットから抽出された顔全体領域に対する第１ベーシスに入力顔映像を投影して、入力顔映像の全体特徴ベクトルを生成する全体特徴生成部と、
前記トレーニング顔映像セットから抽出された顔局部領域に対する第２ベーシスに前記入力顔映像を投影して、入力顔映像の局部特徴ベクトルを生成する局部特徴生成部と、
前記入力顔映像による全体特徴ベクトルと局部映像ベクトルとを利用して、前記入力顔映像と所定の類似度を持つ顔映像を前記トレーニング顔映像セットで検索する検索部と、を備えることを特徴とする顔映像検索装置。
【請求項１９】
（ａ）顔合成のための２つ以上の顔映像を選択するステップと、
（ｂ）前記選択されたそれぞれの顔映像から全体特徴ベクトル及び局部特徴ベクトルを抽出するステップと、
（ｃ）前記選択されたそれぞれの顔映像から抽出された全体特徴ベクトルを利用して、全体特徴による顔映像ベクトルを復元するステップと、
（ｄ）前記選択されたそれぞれの顔映像から抽出された局部特徴ベクトルを利用して、局部特徴による顔映像ベクトルを復元するステップと、
（ｅ）前記（ｃ）ステップ及び（ｄ）ステップを通じて復元された顔映像ベクトルを合成するステップと、を含むことを特徴とする顔映像の合成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔映像類似度の算出方法及び装置とこれを利用した顔映像の検索方法及び装置、並びに顔合成方法に係り、特に、顔映像から全体特徴ベクトル及び局部特徴ベクトルを抽出して顔映像間の類似度を算出する方法及び装置に関する。本発明の顔映像類似度の算出方法及び装置は、顔映像間の類似程度を計算する顔類似度計算システムと顔映像検索システムなどに使われる。
【背景技術】
【０００２】
近来、テロや情報盗難事件が頻繁に発生するにつれて、これを抑制するための一つの手段である顔認識システムの重要性はさらに高まりつつある。顔映像間の類似度を計算する効率的なアルゴリズムは、顔認識システムにおいて最も重要な問題のうち一つである。
【０００３】
顔類似度を計算するための従来の方法としては、重要成分分析（Ｐｒｉｎｃｉｐａｌ  Ｃｏｍｐｏｎｅｎｔｓ  Ａｎａｌｙｓｉｓ：ＰＣＡ）技法がある。ＰＣＡ技法は、顔全体特徴を利用して顔全体の類似度を比較する方法である。ＰＣＡ技法を利用する場合、類似度計算結果がヘアスタイルや顔の輪郭によって変わるという限界があった。
【０００４】
線形判別分析技法は、集団間の特性差を極大化させうる変数の線形結合を導出し、このような線形結合により新たな変数上に集団がどのように配列されるかを考慮して、各変数に付与された加重値を再調整することによって２つまたは２つ以上のクラスを最もよく分類できる特徴の組み合わせを探す方法である。このような線形判別分析を利用して顔映像間の類似度を計算する場合、線形判別分析方法の特性上、異種のクラスに属する顔映像間の類似度値は非常に低い値に集中した分布を持つために、他のクラスに属する顔映像間の類似程度を把握するために活用し難いという問題がある。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする技術的課題は、顔映像の全体的な特徴と局部的な特徴とが類似度結果にいずれも反映されることによって、顔映像類似度計算の信頼性を向上させ、複雑性を低める顔映像類似度の判断方法及び装置と、これを利用した顔映像の検索方法及び装置、並びに顔映像の合成方法を提供するところにある。
【課題を解決するための手段】
【０００６】
前記技術的課題を達成するための本発明による顔類似度の算出方法は、トレーニング顔映像セットから抽出された顔全体領域に対する第１ベーシスに入力顔映像を投影して、入力顔映像の全体特徴ベクトルを生成するステップと、前記トレーニング顔映像セットから抽出された顔局部領域に対する第２ベーシスに前記入力顔映像を投影して、入力顔映像の局部特徴ベクトルを生成するステップと、前記トレーニング顔映像セットから選択されたいずれか一つのトレーニング顔映像による全体特徴ベクトル及び局部特徴ベクトルと、前記入力顔映像の全体特徴ベクトル及び局部特徴ベクトルとを利用して、前記選択されたトレーニング顔映像と入力顔映像との類似度を算出するステップとを含む。
【０００７】
前記他の技術的課題を達成するための本発明による顔類似度の算出方法は、トレーニング顔映像セットから顔全体領域に対する第１ベーシスを抽出するステップと、前記トレーニング顔映像セットから顔局部領域に対する第２ベーシスを抽出するステップと、入力顔映像を前記第１ベーシスに投影して入力顔映像の全体特徴ベクトルを生成するステップと、前記入力顔映像を前記第２ベーシスに投影して入力顔映像の局部特徴ベクトルを生成するステップと、前記トレーニング顔映像セットから選択されたいずれか一つのトレーニング顔映像を前記第１ベーシスに投影して、前記選択されたトレーニング顔映像の全体特徴ベクトルを生成するステップと、前記選択されたトレーニング顔映像を前記第２ベーシスに投影して、前記選択されたトレーニング顔映像の局部特徴ベクトルを生成するステップと、前記入力顔映像と前記選択されたトレーニング顔映像との全体特徴ベクトルを比較するステップと、前記入力顔映像と前記選択されたトレーニング顔映像との局部特徴ベクトルを比較するステップと、前記比較結果を利用して前記入力顔映像と前記選択されたトレーニング顔映像との類似度を算出するステップとを含む。
【０００８】
前記技術的課題を達成するために本発明は、本発明の顔映像類似度の算出方法を実行できるプログラムが記録されたコンピュータで読み取り可能な記録媒体を提供する。
【０００９】
前記技術的課題を解決するための本発明による顔映像の類似度の算出装置は、入力顔映像を受信する受信部と、トレーニング顔映像セットから抽出された顔全体領域に対する第１ベーシスに入力顔映像を投影して、入力顔映像の全体特徴ベクトルを生成する全体特徴生成部と、前記トレーニング顔映像セットから抽出された顔局部領域に対する第２ベーシスに入力顔映像を投影して、入力顔局部特徴ベクトルを生成する局部特徴生成部と、前記トレーニング顔映像セットから選択されたいずれか一つのトレーニング顔映像による全体特徴ベクトル及び局部特徴ベクトルと、前記入力顔映像による全体特徴ベクトル及び局部特徴ベクトルとを利用して、前記選択されたトレーニング顔映像と入力顔映像との類似度を算出する類似度算出部とを備える。
【００１０】
前記技術的課題を解決するための本発明による顔映像の検索方法は、トレーニング顔映像セットから抽出された顔全体領域に対する第１ベーシスに入力顔映像を投影して入力顔映像の全体特徴ベクトルを生成するステップと、前記トレーニング顔映像セットから抽出された顔局部領域に対する第２ベーシスに前記入力顔映像を投影して入力顔映像の局部特徴ベクトルを生成するステップと、前記生成された全体特徴ベクトル及び局部特徴ベクトルを利用して、前記入力顔映像と所定の類似度を持つ顔映像を前記トレーニング顔映像セットで検索するステップとを含む。
【００１１】
前記技術的課題を解決するための本発明による顔映像検索装置は、入力顔映像を受信する受信部と、トレーニング顔映像セットから抽出された顔全体領域に対する第１ベーシスに入力顔映像を投影して入力顔映像の全体特徴ベクトルを生成する全体特徴生成部と、前記トレーニング顔映像セットから抽出された顔局部領域に対する第２ベーシスに前記入力顔映像を投影して、入力顔映像の局部特徴ベクトルを生成する局部特徴生成部と、前記入力顔映像による全体特徴ベクトルと局部映像ベクトルとを利用して、前記入力顔映像と所定の類似度を持つ顔映像を前記トレーニング顔映像セットで検索する検索部とを備える。
【００１２】
前記技術的課題を解決するための本発明による顔映像の合成方法は、顔合成のための２つ以上の顔映像を選択するステップと、前記選択されたそれぞれの顔映像から全体特徴ベクトル及び局部特徴ベクトルを抽出するステップと、前記選択されたそれぞれの顔映像から抽出された全体特徴ベクトルを利用して全体特徴による顔映像ベクトルを復元するステップと、前記選択されたそれぞれの顔映像から抽出された局部特徴ベクトルを利用して局部特徴による顔映像ベクトルを復元するステップと、前記復元された顔映像ベクトルを合成するステップとを含む。
【発明の効果】
【００１３】
本発明によれば、顔映像の全体特徴による顔映像の全体的な類似度と顔映像の局部特徴による顔映像の局部的な類似度とをそれぞれ別途に計算し、計算された類似度結果を加重値によって合算して、対比される顔映像の類似度を計算することによって、顔の全体的な特徴と局部的な特徴とがいずれも考慮された顔類似度計算結果を得ることができ、顔映像類似度計算の信頼性を向上させることができ、複雑性を低減させることできる。
【発明を実施するための最良の形態】
【００１４】
以下では、本発明の図面及び実施形態を参照して、本発明の顔映像類似度の算出方法及び装置について詳細に説明する。
【００１５】
図１は、本発明の一実施形態による顔映像の類似度の算出装置１を示すブロック図である。本実施形態による顔映像の類似度の算出装置は、受信部１０、トレーニング顔映像保存部２０、全体特徴ベクトル生成部３０、局部特徴ベクトル生成部４０、全体特徴類似度計算部５０、局部特徴類似度計算部６０、加重値選択部７０及び最終類似度算出部８０を備える。
【００１６】
受信部１０は、顔映像の類似度算出のための入力顔映像を受信する。前記受信された入力顔映像は、顔映像を獲得できるカメラ、カムコーダなどの映像獲得装置を通じて獲得できる。
【００１７】
受信部１０を通じて獲得された入力顔映像は所定の前処理部（図示せず）を通じて正規化することが望ましい。入力顔映像に対する正規化プロセスは、入力された顔映像から背景映像を除去し、ガウス低域通過フィルタを通じて顔イメージをフィルタリングした後、フィルタリングされたイメージから眼領域を探して眼の位置を基準としてイメージを正規化させ、照明を変化させて照明の分散を除去するステップを含む。
【００１８】
トレーニング顔映像保存部２０は、トレーニング顔映像セットについての情報を保存する。前記トレーニング顔映像セットは複数のトレーニング顔映像で形成される。本実施形態は、後述する全体特徴ベクトル生成部３０及び局部特徴ベクトル生成部４０を通じてトレーニング顔映像に対する全体特徴ベクトル及び局部特徴ベクトルを抽出する例を開示する。本実施形態とは異なって、トレーニング顔映像に対するＰＣＡと局部特徴分析（Ｌｏｃａｌ  Ｆｅａｔｕｒｅ  Ａｎａｌｙｓｉｓ：ＬＦＡ）とを事前に行うことによって、これを通じて抽出されたそれぞれのトレーニング顔映像による全体特徴ベクトル及び局部特徴ベクトルのデータベースをあらかじめ構築することで、トレーニング顔映像らから特徴ベクトルを抽出するプロセスが不要になるようにシステムを構成することもできる。
【００１９】
全体特徴ベクトル生成部３０は、入力顔映像とトレーニング顔映像とをそれぞれＰＣＡベーシス（第１ベーシス）に投影して、顔全体特徴に対する全体特徴ベクトルをそれぞれ生成する。
【００２０】
ここでＰＣＡベーシスは、顔全体領域に対する固有ベクトルであり、トレーニング顔映像に対してＰＣＡを行うことによって生成される。ＰＣＡを行う方法とＰＣＡベーシスを得る方法については後述する。
【００２１】
局部特徴ベクトル生成部４０は、入力顔映像とトレーニング顔映像とをそれぞれＬＦＡベーシス（第２ベーシス）に投影して顔局部特徴（ｌｏｃａｌ  ｆａｃｉａｌ  ｆｅａｔｕｒｅｓ）に対する局部特徴ベクトルをそれぞれ生成する。ここでＬＦＡベーシスは、トレーニング顔映像に対してＬＦＡを行うことによって生成される。ＬＦＡベーシスは、顔局部領域による特徴を抽出するためのベクトルであり、ＬＦＡを行う方法及びＬＦＡベーシスを得る方法については後述する。
【００２２】
局部特徴ベクトル生成部４０を通じて生成される局部特徴ベクトルは、顔の特定領域による特徴を反映する特徴ベクトルである。本実施形態で顔の局部領域は、眼を中心とする領域、鼻を中心とする領域、口を中心とする領域を意味する。ここで局部特徴ベクトルは、眼、鼻、口のように選択された特定領域に相対的に大きい加重値を付与して、顔全体領域から抽出される特徴ベクトルを意味するものであり、選択された特定領域のみから抽出された特徴ベクトルを意味するものではない。
【００２３】
局部特徴ベクトル生成部４０は、第１局部特徴ベクトル生成部４１、第２局部特徴ベクトル生成部４２及び第３局部特徴ベクトル生成部４３を備える。
【００２４】
第１局部特徴ベクトル生成部４１は、眼領域から特徴ベクトル抽出のためのＬＦＡ基底ベクトルに入力顔映像を投影することによって、眼領域の特徴を主に反映する第１局部特徴ベクトルを生成する。第２局部特徴ベクトル生成部４２は、鼻領域を中心とする第２局部特徴ベクトルを生成し、第３局部特徴ベクトル生成部４３は口の領域を中心とする第３局部特徴ベクトルを生成する。
【００２５】
全体特徴類似度計算部５０は、全体特徴ベクトル生成部３０で生成された入力顔映像の全体特徴ベクトルと、トレーニング顔映像保存部２０に保存されたトレーニング顔映像の全体特徴ベクトルとの類似度を計算する。
【００２６】
局部特徴類似度計算部６０は、局部特徴ベクトル生成部４０で生成された入力顔映像の局部特徴ベクトルと、トレーニング顔映像保存部２０に保存されたトレーニング顔映像の局部特徴ベクトルとの類似度を計算する。
【００２７】
第１局部特徴類似度計算部６１は、第１局部ベクトル特徴生成部４１で生成された入力顔映像の第１局部特徴ベクトルと、トレーニング顔映像の第１局部特徴ベクトルとの類似度を計算する。同様に、第２局部特徴類似度計算部６２及び第３局部特徴類似度計算部６３は、第２局部特徴ベクトル間の類似度と第３局部特徴ベクトル間の類似度とをそれぞれ計算する。
【００２８】
局部特徴類似度合算部６４は、第１ないし第３局部特徴類似度計算部を通じて計算された類似度値を、加重値選択部７０を通じて特定された加重値によって合算して統合された部分類似度値を計算する。
【００２９】
加重値選択部７０は、顔領域を特定領域に分割し、分割された領域にそれぞれ異なる加重値を付与する。例えば、眼、鼻、口の領域による局部特徴ベクトル間の類似度を計算し、前記計算されたそれぞれの類似度を合算するときに、眼領域にさらに大きい加重値を付与することによって、統合された類似度を得ることができる。顔の局部領域による加重値はユーザインターフェースを通じて容易に特定でき、顔映像間の類似程度を把握しようとするユーザの志向を反映でき、多角的な観点での類似程度測定ができるという長所がある。
【００３０】
また、加重値選択部７０は、全体特徴類似度計算部５０を通じて計算された類似度及び局部特徴類似度計算部６０を通じて計算された類似度値を最終類似度結果に反映するための所定の加重値を付与する。全体特徴ベクトル間の類似度値に加重値が大きく付与される場合、最終類似度計算において局部特徴ベクトル間の相異の比重は相対的に低くなる。
【００３１】
最終類似度算出部８０は、全体特徴類似度計算部５０及び局部特徴類似度計算部６０を通じて計算された全体特徴類似度値と局部特徴類似度値とを、加重値選択部７０を通じて特定された加重値によって合算し、合算された結果をディスプレイまたは音声送出などの方式を利用して出力する。
【００３２】
図２は、本発明の一実施形態による顔映像類似度の算出方法を示すフローチャートである。本実施形態による顔映像類似度の算出方法は、顔映像類似度の算出装置１で時系列的に処理される次のようなステップを含む。
【００３３】
１１０ステップで受信部１０は、顔映像の類似度算出のための入力顔映像を受信する。
【００３４】
１２０ステップで全体特徴ベクトル生成部３０は、受信された入力顔映像を第１ベーシス（ＰＣＡベーシス）に投影して入力顔映像の全体特徴ベクトルを生成し、トレーニング顔映像セットから選択された一つのトレーニング顔映像を第１ベーシスに投影して、前記選択されたトレーニング顔映像の全体特徴ベクトルを生成する。
【００３５】
図３は、図２に示す１２０ステップについての詳細フローチャートである。図３は、ＰＣＡベーシスを計算する方法、入力顔映像及びトレーニング顔映像から全体特徴ベクトルを生成する方法についての詳細図である。本実施形態とは異なって、トレーニング顔映像セットに含まれているあらゆるトレーニング顔映像に対してＰＣＡ学習をあらかじめ行った場合には、ＰＣＡベーシスを計算するステップが別途に必要ない。
【００３６】
１２１ステップでベーシス生成部（図示せず）は、トレーニング顔映像が保存されたトレーニング顔映像セットに保存されたＭ個のトレーニング顔映像
【００３７】
【数６】
2008152789.tif 000003
の平均値を下記式（１）によって計算する。
【００３８】
【数７】
2008152789.tif 000004
ここで、
【００３９】
【数８】
2008152789.tif 000005
は、それぞれのトレーニング顔映像ベクトルを表し、Ｍは、トレーニング顔映像の数を表す。
【００４０】
１２２ステップでベーシス生成部（図示せず）は、トレーニング顔映像と平均値との差ｘｉを下記の式（２）によって計算する。
【００４１】
【数９】
2008152789.tif 000006
１２３ステップでベーシス生成部は、行列
【００４２】
【数１０】
2008152789.tif 000007
を利用して下記式（３）によって共分散行列を計算する。
【００４３】
【数１１】
2008152789.tif 000008
１２４ステップでベーシス生成部は、下記式（４）を利用して固有ベクトル行列Ｕと固有値行列Λとを計算する。
【００４４】
【数１２】
2008152789.tif 000009
前記式（４）を通じて計算された固有ベクトル行列Ｕは、本実施形態で顔類似度計算のためのＰＣＡベーシスとして使われる。
【００４５】
図４は、図３によるＰＣＡベーシスの例を示すものである。図４で左側上段の固有顔は分散度が最も大きく、右側または下側へ行くほど固有顔の分散度は小さくなる。
【００４６】
１２５ステップでベーシス生成部（図示せず）は、１２４ステップを通じて生成された固有ベクトル行列Ｕ、すなわち、ＰＣＡベーシスと１２１ステップを通じて生成された平均ベクトルｍとを利用して、下記式（５）によってＰＣＡプロジェクションを行う。
【００４７】
【数１３】
2008152789.tif 000010
ここで
【００４８】
【数１４】
2008152789.tif 000011
は、入力顔映像ベクトルであり、ｙＰは、入力顔映像の全体特徴ベクトルである。これと同様に、トレーニング顔映像の全体特徴ベクトルは、トレーニング顔映像ベクトルを
【００４９】
【数１５】
2008152789.tif 000012
に代入させることによって計算できる。
【００５０】
１３０ステップで全体特徴類似度計算部５０は、入力顔映像とトレーニング顔映像との全体特徴ベクトル間の類似度を計算する。全体特徴ベクトル間の類似度はそれぞれの全体特徴ベクトル間のコサイン距離、ユークリッド距離、マハラノビス距離などを利用して計算できる。例えば、加重値基盤ユークリッド距離（Ｗｅｉｇｈｔｅｄ  Ｅｕｃｌｉｄｅａｎ  Ｄｉｓｔａｎｃｅ）を利用した類似度は、下記式（６）によって計算できる。
【００５１】
【数１６】
2008152789.tif 000013
ここで、
【００５２】
【数１７】
2008152789.tif 000014
とはそれぞれ比較しようとする顔映像による全体特徴ベクトルであり、ｋは、ＰＣＡベーシスのうち固有分散度が高い順に選択されたｎ個を意味し、
【００５３】
【数１８】
2008152789.tif 000015
は、顔類似度計算のために既設定の全体特徴ベクトルによる加重値である。
【００５４】
１４０ステップで局部特徴ベクトル生成部４０は、受信された入力顔映像を第２ベーシス（ＬＦＡベーシス）に投影して、入力顔映像の局部特徴ベクトルを生成する。また、局部特徴ベクトル生成部４０は、トレーニング顔映像セットから選択された一つのトレーニング顔映像を第２ベーシスに投影して、前記選択されたトレーニング顔映像の局部特徴ベクトルを生成する。他の局部領域による局部特徴ベクトルを追加で生成しようとする場合、１４０ステップは、前記他の局部領域による第３ベーシスに前記それぞれの顔映像を投影するステップをさらに含む。
【００５５】
図５は、図２に示す１４０ステップについての詳細フローチャートである。図３は、ＬＦＡベーシスを計算するステップを含み、入力顔映像とトレーニング顔映像とから全体特徴ベクトルを生成する方法についての詳細図である。図２には、ＬＦＡベーシス（第２ベーシス）を生成するステップが図示されていない。トレーニング顔映像セットに含まれているあらゆるトレーニング顔映像についてＬＦＡ学習をあらかじめ行った場合、ＬＦＡベーシスを計算するステップは必要ない。
【００５６】
１４１ステップでベーシス生成部（図示せず）は、１２４ステップを通じて計算された固有値行列ΛからＬＦＡ固有値行列を下記式（７）または（８）によって計算する。
【００５７】
【数１９】
2008152789.tif 000016
ここで
【００５８】
【数２０】
2008152789.tif 000017
は、固有値行列Λを構成する各固有値成分であり、ｄｉａｇ（）は、対角行列関数である。
【００５９】
【数２１】
2008152789.tif 000018
ここで、
【００６０】
【数２２】
2008152789.tif 000019
であり、ｎは、ノイズ除去のために設定された一種のＬｏｗ−Ｐａｓｓ  Ｆｉｌｔｅｒ（Ｆｉ）のパラメータである。
【００６１】
１４２ステップで、１２４ステップを通じて生成された固有ベクトル行列Ｕと１４１ステップを通じて生成された固有値行列
【００６２】
【数２３】
2008152789.tif 000020
とを利用して、下記の式（９）によってカーネル行列
【００６３】
【数２４】
2008152789.tif 000021
を計算する。
【００６４】
【数２５】
2008152789.tif 000022
前記カーネル行列は、本実施形態で顔映像の局部特徴による類似度を計算するためのＬＦＡベーシスとして使われる。
【００６５】
図６は、図５によるＬＦＡベーシスの例を示すものである。暗い部分は、類似度計算において比重の低い領域を表し、明るい部分は、比重の高い領域を表す。
【００６６】
１４３ステップでベーシス生成部（図示せず）は、１４２ステップを通じて生成されたカーネル行列、すなわち、ＬＦＡベーシスと１２１ステップを通じて生成された平均ベクトルｍとを利用して、下記式（１０）によってＬＦＡプロジェクションを行う。
【００６７】
【数２６】
2008152789.tif 000023
ここで、
【００６８】
【数２７】
2008152789.tif 000024
は、入力顔映像ベクトルであり、ｙＬは、入力顔映像の局部特徴ベクトルである。これと同様に、トレーニング顔映像の局部特徴ベクトルは、トレーニング顔映像ベクトルを
【００６９】
【数２８】
2008152789.tif 000025
に代入させることによって計算できる。
【００７０】
１５０ステップで局部特徴類似度計算部６０は、入力顔映像とトレーニング顔映像との局部特徴ベクトル間の類似度を計算する。顔映像から複数の局部特徴ベクトルを抽出した場合、例えば眼、鼻、口によるそれぞれの局部特徴ベクトルを抽出した場合、局部特徴類似度はそれぞれの領域によって別途に計算され、加重値選択部７０によって付与された所定の加重値によって合算される。
【００７１】
局部領域、すなわち、眼、鼻、口の領域から抽出された局部特徴ベクトル間の類似度は、下記式（１１）のユークリッド距離関数を利用して計算できる。
【００７２】
【数２９】
2008152789.tif 000026
ここで、（ｉ，ｊ）は、所定の領域（ｒｅｇｉｏｎ）に属する映像座標を表す。
【００７３】
図７Ａは、顔領域のうち眼領域を局部領域として選択する一例を示し、図７Ｂは、各ピクセルによる加重値の例を示す。図７Ａで、ボックス領域は眼に対する局部領域であり、式（１１）で（ｉ，ｊ）は、ボックス領域に属する映像座標を表す。局部特徴ベクトルの類似度は、各映像座標による局部領域特徴値である
【００７４】
【数３０】
2008152789.tif 000027
とのユークリッド距離で表すことができる。このような局部映像の類似度を求める時にあらかじめ設定された領域加重値を使用できるが、この値は式（１２）を通じて得ることができる。
【００７５】
【数３１】
2008152789.tif 000028
式（１２）は、同一人の顔変化による分散の和、すなわち、それぞれのクラスに属する顔映像の変化による分散の和を各ピクセル別に計算したものである。
【００７６】
ここで、
【００７７】
【数３２】
2008152789.tif 000029
は、ｊ番目人物のｉ番目映像を意味し、
【００７８】
【数３３】
2008152789.tif 000030
はｊ番目人物の平均顔映像を意味する。このように求められた人物の各ピクセル分散度は図７Ｂの通りである。図７Ｂは、局部領域による加重値の例示であり、この時に明るい色は同一人の映像で分散度が低いことを意味し、黒い色は分散度が高いことを意味する。分散度が高いという意味は、同一人の写真でも表情やポーズ変化によってピクセル値の変化が大きいという意味となる。結局、加重値
【００７９】
【数３４】
2008152789.tif 000031
と同じ意味となる。
【００８０】
下記の式（１３）は、局部領域別加重値を考慮して局部特徴類似度を統合するための関数である。
【００８１】
【数３５】
2008152789.tif 000032
ここで、
【００８２】
【数３６】
2008152789.tif 000033
は局部領域
【００８３】
【数３７】
2008152789.tif 000034
による最終加重値である。この値は、ユーザの意図や応用プログラムによって異なる値が設定される。
【００８４】
１６０ステップで最終類似度算出部８０は、１３０ステップを通じて計算された全体特徴ベクトルの類似度値と１５０ステップを通じて計算された局部特徴ベクトルの類似度値とを合算するが、加重値選択部７０によって付与された所定の加重値によって類似度値を合算することによって最終類似度を計算する。
【００８５】
【数３８】
2008152789.tif 000035
ここで、ｗＨは、全体特徴ベクトル間の類似度に対する加重値であり、ｗＬは、局部特徴ベクトルの類似度に対する加重値である。
【００８６】
以下では、本発明の図面及び実施形態を参照して本発明の顔映像検索装置及び方法について詳細に説明する。
【００８７】
図８は、本発明の一実施形態による顔映像検索装置を示すブロック図である。
【００８８】
本実施形態による顔映像検索装置２００は、受信部２１０、トレーニング顔映像保存部２２０、全体特徴ベクトル生成部２３０、局部特徴ベクトル生成部２４０、全体特徴類似度計算部２５０、局部特徴類似度計算部２６０、第１比較部２７０、加重値選択部２８０、最終類似度算出部２９０及び第２比較部２９５を備える。本実施形態の顔映像検索装置２００は、図１に示す顔映像類似度の算出装置１と多くの構成要素が共通するので、以下、共通の説明は省略する。
【００８９】
受信部２１０は、検索しようとする顔映像についての情報を受信する。
【００９０】
トレーニング顔映像保存部２２０は、複数のトレーニング顔映像を保存する。顔映像の検索は、トレーニング顔映像保存部２２０に保存されたトレーニング顔映像に対して行われる。
【００９１】
全体特徴ベクトル生成部２３０は、入力顔映像とトレーニング顔映像とをそれぞれＰＣＡベーシスに投影し、それぞれの顔映像による全体特徴ベクトルを生成する。全体特徴類似度計算部２５０は、全体特徴ベクトル生成部２３０を通じて生成された全体特徴ベクトルの類似度を計算する。
【００９２】
第１比較部２７０は、前記類似度と所定の基準値とを比較する。比較結果、前記類似度が所定の基準値より大きい場合、局部特徴ベクトル生成部２４０は、入力顔映像とトレーニング顔映像とによる局部特徴ベクトルを生成する。前記類似度が所定の基準値より小さな場合、現在のトレーニング顔映像は入力顔映像と非類似度が大きいことを意味し、この場合、現在のトレーニング顔映像に対する局部特徴ベクトルが不要である。この場合、第１比較部２７０の判断結果によってトレーニング顔映像保存部２２０は、さらに一つのトレーニング顔映像についてのデータを全体特徴ベクトル生成部２３０に伝達し、全体特徴ベクトル生成部２３０は、新たなトレーニング顔映像に対する全体特徴ベクトルを生成し、類似度を計算し、所定の基準値と比較するプロセスを行う。本実施形態で全体特徴ベクトル生成部２３０、全体特徴類似度計算部２５０、第１比較部２７０は、トレーニング顔映像保存部に保存されたあらゆるトレーニング顔映像に対して、それぞれの類似如何を判断するまで前記プロセスを反復して行う。
【００９３】
局部特徴ベクトル生成部２４０は、入力顔映像とトレーニング顔映像とをＬＦＡベーシスに投影してそれぞれの顔映像による局部特徴ベクトルを生成する。第１局部特徴ベクトル生成部２４１は、眼を中心とする領域から第１局部特徴ベクトルを抽出し、第２局部特徴ベクトル生成部２４２は、鼻を中心とする領域から第２局部特徴ベクトルを抽出し、第３局部特徴ベクトル生成部２４３は、口を中心とする領域から第３局部特徴ベクトルを抽出する。
【００９４】
第１ないし第３局部特徴類似度計算部２６１〜２６３は、第１ないし第３局部特徴ベクトル生成部２４１〜２４３で生成された入力顔映像とトレーニング顔映像とから抽出された局部特徴ベクトル間の類似度をそれぞれ計算する。
【００９５】
局部特徴類似度合算部２６４は、加重値選択部２８０を通じて特定される所定の加重値によって前記計算された類似度値を合算する。
【００９６】
最終類似度算出部２９０は、全体特徴と部分特徴との類似度値を所定の加重値によって合算する。
【００９７】
第２比較部２９５は、最終類似度値を所定の基準値と比較して、最終類似度値が基準値より大きい場合、現在のトレーニング顔映像を検索結果として出力する。
【００９８】
図９Ａ及び図９Ｂは、本発明の一実施形態による顔映像の検索方法を示すフローチャートである。本実施形態の顔映像の検索方法は、顔映像検索装置２００で時系列的に処理される次のステップを含む。
【００９９】
３１０ステップは、入力顔映像を受信して、受信された入力顔映像とトレーニング顔映像保存部２２０に保存されたトレーニング顔映像との全体類似度を計算するステップであって、３１１ないし３１４ステップを含む。
【０１００】
３１１ステップで受信部２１０は、検索しようとする入力顔映像情報を受信する。
【０１０１】
３１２ステップで全体特徴ベクトル生成部２３０は、受信された入力顔映像をＰＣＡベーシスに投影して入力顔映像の全体特徴ベクトルを生成する。
【０１０２】
３１３ステップで全体特徴ベクトル生成部２３０は、トレーニング顔映像をＰＣＡベーシスに投影して、（ｎ番目）トレーニング顔映像の全体特徴ベクトルを生成する。ここで（ｎ番目）トレーニング顔映像は、トレーニング顔映像セットから選択された一つのトレーニング顔映像であって、現在ステップで入力顔映像と類似しているかどうかを判断している現在のトレーニング顔映像を意味する。
【０１０３】
３１４ステップで全体特徴類似度計算部２５０は、入力顔映像とトレーニング顔映像との類似度を計算する。
【０１０４】
３１５ステップで第１比較部２７０は、全体特徴ベクトルの類似度値が所定の基準値より大きいかどうかを判断する。本ステップの判断結果、類似度値が所定の基準値より大きい場合には以後のステップが行われ、所定の基準値より小さな場合には、次の（ｎ＋１番目）トレーニング顔映像をトレーニング顔映像保存部２２０からフェッチするステップ（３６０ステップ）が行われる。全体特徴生成部２３０は、３６０ステップを通じてフェッチしたトレーニング顔映像をＰＣＡベクトルベーシスに投影して、全体特徴ベクトルを生成する。
【０１０５】
３２０ステップは、受信された入力顔映像とトレーニング顔映像保存部２２０に保存されたトレーニング顔映像との局部的な類似度を計算するステップであり、３２１ないし３２３ステップを含む。
【０１０６】
３２１ステップで局部特徴ベクトル生成部２４０は、入力顔映像をＬＦＡベーシスに投影して、入力顔映像の局部特徴ベクトルを生成する。本実施形態の局部特徴ベクトル生成部２４０は、第１ないし第３局部特徴生成部２４１〜２４３を備え、図１に示す局部特徴生成部と同様に眼、鼻、口の領域から局部特徴ベクトルを生成する。
【０１０７】
３２２ステップで局部特徴ベクトル生成部２４０は、トレーニング顔映像をＬＦＡベーシスに投影してトレーニング顔映像の局部特徴ベクトルを生成する。
【０１０８】
３２３ステップで局部特徴類似度計算部２６０は、入力顔映像とトレーニング顔映像とから抽出された局部特徴ベクトルの類似度を計算する。本実施形態の局部特徴類似度計算部２６０は第１ないし第３局部特徴類似度計算部２６１〜２６３を備え、加重値選択部２８０により特定された加重値によって、それぞれの局部特徴による類似度値を合算する局部特徴類似度合算部２６４を備える。
【０１０９】
３３０ステップは、最終類似度を計算し、計算された最終類似度を所定の基準値と比較するステップであり、３３１ステップと３３２ステップとを含む。
【０１１０】
３３１ステップで最終類似度算出部２９０は、３１５ステップで計算された全体特徴ベクトルの類似度と３２３ステップで計算された局部特徴ベクトルの類似度とを、加重値選択部２８０による加重値によって合算する。
【０１１１】
３３２ステップで第２比較部２９５は、最終類似度値と所定の基準値とを比較する。本ステップの判断結果、類似度値が所定の基準値より大きい場合には、現在のトレーニング顔映像を検索結果として出力する。
【０１１２】
３４０ステップで結果出力部（図示せず）は、ユーザに現在のトレーニング顔映像と類似度結果についての情報とを検索結果として示す。
【０１１３】
３５０ステップで第２比較部２９５は、あらゆるトレーニング顔映像について類似度を判断したかどうかを判断する。類似度を判断していないトレーニング顔映像がそれ以上ない場合には、本プロセスは終了する。
【０１１４】
３６０ステップで全体特徴ベクトル生成部２３０は、他のトレーニング顔映像（ｎ＋１番目トレーニング顔映像）についてのデータをトレーニング顔映像保存部２２０から読み出す。３１３ステップないし３５０ステップは再び行われ、あらゆるトレーニング顔映像と入力顔映像との類似度計算を行うまで反復される。
【０１１５】
以下では、本発明の図面及び実施形態を参照して、本発明の顔映像合成装置及び方法について詳細に説明する。
【０１１６】
図１０は、本発明の一実施形態による顔映像合成装置を示すブロック図である。本実施形態の顔映像合成装置４００は、第１顔映像選択部４１１、第２顔映像選択部４１２、全体特徴ベクトル抽出部４２１、４２３、局部特徴ベクトル抽出部４２２、４２４、第１加重値選択部４３１、第２加重値選択部４３２、全体特徴ベクトル生成部４４１、局部特徴ベクトル選択部４４２、全体特徴ベクトルによる顔映像復元部４５１、局部特徴ベクトルによる顔映像復元部４５２及び顔映像合成部４６０を備える。
【０１１７】
第１顔映像選択部４１１及び２顔映像選択部４１２は、ユーザインターフェースを通じて２個の顔映像についての情報を受信する。
【０１１８】
全体特徴ベクトル抽出部４２１は第１顔映像から全体特徴ベクトルを抽出し、局部特徴ベクトル抽出部４２２は、第１顔映像から局部特徴ベクトルを抽出する。本実施形態は選択された顔映像に対する特徴ベクトル抽出部を備えるが、トレーニング顔映像に対するＰＣＡ、ＬＦＡ学習をあらかじめ行って、これをデータベースとして構築した場合、別途の特徴ベクトル抽出部は不要である。
【０１１９】
第１加重値選択部４３１は、全体特徴ベクトル抽出部４２１、４２３から抽出された全体特徴ベクトルに所定の加重値を付与する。ここで所定の加重値は、最終結果物である合成された顔映像で第１顔映像及び第２顔映像が占める比重を反映するものであり、ユーザの好みによって多様に調節できる。
【０１２０】
全体特徴ベクトル生成部４４１は、前記加重値によって第１顔映像と第２顔映像との全体特徴ベクトルを合算する。
【０１２１】
全体特徴ベクトルによる顔映像復元部４５１は、合算された全体特徴ベクトル値と式（６）とを利用して顔映像ベクトルを復元する。
【０１２２】
同様に、第２加重値選択部４３２は、局部特徴ベクトル抽出部４２２、４２４から抽出された局部特徴ベクトルに所定の加重値を付与する。局部特徴ベクトル選択部４４２は、前記加重値によって第１顔映像と第２顔映像との局部特徴ベクトルを合算する。局部特徴ベクトルによる顔映像復元部４５２は、合算された局部特徴ベクトル値と式（１０）を利用して顔映像ベクトル
【０１２３】
【数３９】
2008152789.tif 000036
を復元する。
【０１２４】
顔映像合成部４６０は、顔映像復元部４５１、４５２を通じて復元されたそれぞれの顔映像ベクトルを合算する。
【０１２５】
図１０に図示されていないが、顔映像合成部４６０を通じて合算された顔映像ベクトルは、ユーザが視覚的に認識できる信号の形態に変更され、別途のディスプレイ部（図示せず）を通じてディスプレイされるように備えられる。
【０１２６】
図１１は、本発明の一実施形態による顔映像の合成方法を示すフローチャートである。本実施形態の顔映像の合成方法は、顔映像合成装置４００で時系列的に処理される次のステップを含む。
【０１２７】
５１０ステップで第１顔映像選択部４１１及び第２顔映像選択部４１２は、顔映像合成のための２個の顔映像を選択する。
【０１２８】
５２０ステップは、第１顔映像と第２顔映像との組み合わせによる全体特徴ベクトルを生成するステップである。５２１ステップは、第１顔映像と第２顔映像から全体特徴ベクトルを抽出するステップで、５２２ステップは、それぞれの全体特徴ベクトルに加重値を付与するステップであり、５２３ステップは、所定の加重値によって全体特徴ベクトルを合算して、新たな全体特徴ベクトルを生成するステップである。
【０１２９】
５３０ステップは、第１顔映像と第２顔映像との組み合わせによる局部特徴ベクトルを生成するステップである。５３１ステップは、第１顔映像と第２顔映像から局部特徴ベクトルを抽出するステップで、５３２ステップは、それぞれの局部特徴ベクトルに加重値を付与するステップであり、５３３ステップは、所定の加重値によって局部特徴ベクトルを合算して、新たな局部特徴ベクトルを生成するステップである。
【０１３０】
５４０ステップで顔映像復元部４５１、４５２は、５２０ステップ及び５３０ステップを通じて生成された全体特徴ベクトル及び局部特徴ベクトルを利用して、顔映像ベクトルを復元する。
【０１３１】
最後に、５５０ステップで顔映像合成部４６０は、顔映像復元部４５１、４５２を通じて復元されたそれぞれの顔映像ベクトルを合算する。図１０には図示されていないが、前記合算された顔映像ベクトルをユーザが視覚的に認識するように、ディスプレイするステップをさらに含むことができる。
【０１３２】
本発明の図面には図示されていないが、本発明による顔映像の類似度の算出方法、類似映像の検索方法及び顔映像の合成方法は複雑性が低いために、モバイル端末を通じて具現できる。特に、トレーニング顔映像についての事前学習を通じて抽出された全体特徴ベクトル及び局部特徴ベクトルについてのデータベースをあらかじめ構築することで、顔映像の類似度計算速度を向上させることができる。
【０１３３】
また、本発明は、入力顔映像の受信または加重値入力のみ行うモバイル端末、顔映像の類似度判断サービスを提供する別途のサーバ、前記サーバ側に構築されているトレーニング顔映像についてのデータベースを含む類似した顔を検索するシステムの形態で使われうる。
【０１３４】
本発明はコンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードで具現できる。コンピュータで読み取り可能な記録媒体はコンピュータシステムによって読み取られるデータが保存されるあらゆる種類の記録装置を含む。
【０１３５】
コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、またキャリアウェーブ（例えば、インターネットを通じた伝送）の形態で具現するものを含む。また、コンピュータで読み取り可能な記録媒体はネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードが保存されて実行される。そして、本発明を具現するための機能的なプログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマーによって容易に推論される。
【０１３６】
これまで本発明について望ましい実施形態を中心に説明した。当業者ならば本発明の本質的な特性から逸脱しない範囲で変形された形態で本発明を具現できるということを理解できるであろう。したがって、前記開示された実施形態は限定的な観点ではなく説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく特許請求の範囲に現れており、それと同等な範囲内にあるあらゆる差異点は本発明に含まれていると解釈されねばならない。
【産業上の利用可能性】
【０１３７】
本発明の顔映像類似度の算出方法及び装置は、セキュリティー関連の技術分野に好適に適用可能である。
【図面の簡単な説明】
【０１３８】
【図１】本発明の一実施形態による顔映像類似度の算出装置を示すブロック図である。
【図２】本発明の一実施形態による顔映像類似度の算出方法を示すフローチャートである。
【図３】図２に示す１２０ステップに対する詳細フローチャートである。
【図４】図３の固有ベクトル行列による映像の例を示す写真である。
【図５】図２に示す１４０ステップについての詳細フローチャートである。
【図６】図５のカーネル行列による映像の例を示す図である。
【図７Ａ】顔領域のうち、眼領域を局部領域として選択する一例を示す写真である。
【図７Ｂ】顔領域のうち、各ピクセルによる加重値の例を示す写真である。
【図８】本発明の一実施形態による顔映像検索装置を示すブロック図である。
【図９Ａ】本発明の一実施形態による顔映像の検索方法を示すフローチャートである。
【図９Ｂ】本発明の一実施形態による顔映像の検索方法を示すフローチャートである。
【図１０】本発明の一実施形態による顔映像合成装置を示すブロック図である。
【図１１】本発明の一実施形態による顔映像の合成方法を示すフローチャートである。
【符号の説明】
【０１３９】
１  顔映像類似度の算出装置
１０、２１０  受信部
２０、２２０  トレーニング顔映像保存部
３０、２３０  全体特徴ベクトル生成部
４０、２４０  局部特徴ベクトル生成部
４１、２４１  第１局部特徴ベクトル生成部
４２、２４２  第２局部特徴ベクトル生成部
４３、２４３  第３局部特徴ベクトル生成部
５０、２５０  全体特徴類似度計算部
６０、２６０  局部特徴類似度計算部
６１、２６１  第１局部特徴類似度計算部
６２、２６２  第２局部特徴類似度計算部
６３、２６３  第３局部特徴類似度計算部
６４、２６４  局部特徴類似度合算部
７０、２８０  加重値選択部
８０、２９０  最終類似度算出部
２７０  第１比較部
２９５  第２比較部
４００  顔映像合成装置
４１１  第１顔映像選択部
４１２  第２顔映像選択部
４２１、４２３  全体特徴ベクトル抽出部
４２２、４２４  局部特徴ベクトル抽出部
４３１  第１加重値選択部
４３２  第２加重値選択部
４４１  全体特徴ベクトル生成部
４４２  局部特徴ベクトル選択部
４５１  全体特徴ベクトルによる顔映像復元部
４５２  局部特徴ベクトルによる顔映像復元部
４６０  顔映像合成部
【図１】
2008152789.tif 000042
【図２】
2008152789.tif 000043
【図３】
2008152789.tif 000044
【図５】
2008152789.tif 000045
【図８】
2008152789.tif 000046
【図９Ａ】
2008152789.tif 000047
【図９Ｂ】
2008152789.tif 000048
【図１０】
2008152789.tif 000049
【図１１】
2008152789.tif 000050
【図４】
2008152789.tif 000051
【図６】
2008152789.tif 000052
【図７Ａ】
2008152789.tif 000053
【図７Ｂ】
2008152789.tif 000054