(57)【特許請求の範囲】
【請求項１】
同じ対象が撮影された複数の入力画像と予め登録された辞書データとを照合し認識結果を出力する画像認識システムであって、
前記入力画像から得られた複数の入力特徴データの平均ベクトルである入力代表ベクトルと、前記入力特徴データを主成分分析して得られる、前記入力特徴データによって張られる入力部分空間の基底であるK個の入力主成分ベクトルと、予め登録された辞書特徴データの平均ベクトルである辞書代表ベクトルと、前記辞書特徴データを主成分分析してえられる、前記辞書特徴データによって張られる辞書部分空間の基底であるL個の辞書主成分ベクトルとを用いて、前記入力部分空間と前記辞書部分空間との距離値を算出する距離算出手段と、
前記距離値に基づいて前記認識結果を出力する識別を行う識別手段と、
前記距離算出手段は、
前記Ｌ個の辞書主成分ベクトルで形成される空間と前記入力代表ベクトルとの第１の距離を算出する入力投影距離算出手段と、
前記Ｋ個の入力主成分ベクトルで形成される空間と前記辞書代表ベクトルとの第２の距離を算出する辞書投影距離算出手段と、
前記第１および第２の距離の重み付き加算によって前記入力部分空間と前記辞書部分空間との前記距離値を算出する統合手段と
を備えたことを特徴とする画像認識システム。
【請求項２】
同じ対象が撮影された複数の入力画像と予め登録された辞書データとを照合し認識結果を出力する画像認識システムであって、
前記入力画像から得られた複数の入力特徴データの平均ベクトルである入力代表ベクトルと、前記入力特徴データと入力代表ベクトルとの第１の差分ベクトルを主成分分析して得られる、前記第１の差分ベクトルによって張られる入力部分空間の基底であるK個の入力主成分ベクトルと、予め登録された辞書特徴データの平均ベクトルである辞書代表ベクトルと、前記辞書特徴データと前記辞書代表ベクトルとの第２の差分ベクトルを主成分分析して得られる、前記第２の差分ベクトルによって張られる辞書部分空間の基底であるL個の辞書主成分ベクトルとを用いて、前記入力部分空間と前記辞書部分空間との距離値を算出する距離算出手段と、
前記距離値に基づいて前記認識結果を出力する識別を行う識別手段とを備え、
前記距離算出手段は、
前記Ｌ個の辞書主成分ベクトルで形成される空間と前記入力代表ベクトルとの第１の距離を算出する入力投影距離算出手段と、
前記Ｋ個の入力主成分ベクトルで形成される空間と前記辞書代表ベクトルとの第２の距離を算出する辞書投影距離算出手段と、
前記第１および第２の距離の重み付き加算によって前記入力部分空間と前記辞書部分空間との前記距離値を算出する統合手段と
を備えたことを特徴とする画像認識システム。
【請求項３】
請求項２に記載された画像認識システムにおいて、
前記入力主成分ベクトルおよび前記辞書主成分ベクトルは、直交基底であることを特徴とする画像認識システム。
【請求項４】
請求項２または３に記載された画像認識システムにおいて、
前記入力代表ベクトルは、前記入力特徴データの平均ベクトルであり、
前記入力主成分ベクトルは、前記入力特徴データから前記入力代表ベクトルを減算した成分のうち、固有値が大きい方からＫ個の固有ベクトルであり、
前記辞書代表ベクトルは、前記辞書特徴データの平均ベクトルであり、
前記辞書主成分ベクトルは、前記辞書特徴データから前記辞書代表ベクトルを減算した成分のうち、固有値が大きい方からＬ個の固有ベクトルであることを特徴とする画像認識システム。
【請求項５】
請求項１乃至４のいずれか1項に記載された画像認識システムにおいて、
前記入力代表ベクトルをＶ1、前記辞書代表ベクトルをＶ2、前記入力主成分ベクトルをΨi（ｉ＝１，…，Ｋ）、前記辞書主成分ベクトルをΦj（ｊ＝１，…，Ｌ）とすると、
前記入力投影距離算出手段は、式（Ａ）により前記第１の距離ｄ1を算出し、
前記辞書投影距離算出手段は、式（Ｂ）により前記第２の距離ｄ2を算出することを特徴とする画像認識システム。
【数１】
0004099981.tif 000011
【請求項６】
請求項1乃至４のいずれか1項に記載された画像認識システムにおいて、
前記距離算出手段は、前記入力主成分ベクトルのそれぞれに対応するＫ個の重みと、前記辞書主成分ベクトルのそれぞれに対応するＬ個の重みとを用いることを特徴とする画像認識システム。
【請求項７】
請求項６に記載された画像認識システムにおいて、
前記入力主成分ベクトルに対応する重みは、前記入力主成分ベクトルとなる前記固有ベクトルのＫ個の固有値であり、
前記辞書主成分ベクトルに対応する重みは、前記辞書主成分ベクトルとなる前記固有ベクトルのＬ個の固有値である
ことを特徴とする画像認識システム。
【請求項８】
請求項７に記載された画像認識システムにおいて、
前記入力代表ベクトルをＶ1、前記辞書代表ベクトルをＶ2、前記入力主成分ベクトルをΨi（ｉ＝１，…，Ｋ）、前記入力主成分ベクトルに対応する前記重みをμi（ｉ＝１，…，Ｋ）、前記辞書主成分ベクトルをΦj（ｊ＝１，…，Ｌ）、前記辞書主成分ベクトルに対応する前記重みをλj（ｊ＝１，…，Ｌ）とすると、
前記入力投影距離算出手段は、式（Ｃ）により前記第１の距離ｄ1を算出し、
前記辞書投影距離算出手段は、式（Ｄ）により前記第２の距離ｄ2を算出することを特徴とする画像認識システム。
【数２】
0004099981.tif 000012
（ただし、σは任意の定数）
【請求項９】
請求項1乃至４、５または８のいずれか1項に記載された画像認識システムにおいて、
前記統合手段は、前記第１の距離ｄ1および前記第２の距離ｄ2から式（Ｅ）により前記入力部分空間と前記辞書部分空間との前記距離値Ｄを算出することを特徴とする画像認識システム。
Ｄ＝αｄ1＋βｄ2                  ・・・（Ｅ）
（ただし、α，βは定数）
【請求項１０】
請求項1乃至４、５または８のいずれかに記載された画像認識システムにおいて、
前記統合手段は、前記第１の距離ｄ1および前記第２の距離ｄ2から式（Ｆ）により前記入力部分空間と前記辞書部分空間との前記距離値Ｄを算出することを特徴とする画像認識システム。
Ｄ＝αｄ1・ｄ2／（ｄ1＋ｄ2）      ・・・（Ｆ）
（ただし、αは定数）
【請求項１１】
請求項１乃至１０のいずれか1項に記載された画像認識システムにおいて、
前記複数の入力特徴データから前記入力代表ベクトルを生成する入力代表ベクトル生成手段と、
前記入力特徴データから前記入力主成分ベクトルを生成する入力主成分データ生成手段とをさらに備えたことを特徴とする画像認識システム。
【請求項１２】
請求項１乃至１０のいずれか1項に記載された画像認識システムにおいて、
前記辞書代表ベクトルを生成する辞書代表ベクトル生成手段と、
前記辞書主成分ベクトルを生成し、前記辞書代表ベクトルおよび前記辞書主成分ベクトルを格納する辞書格納手段に出力する辞書主成分データ生成手段とをさらに備えたことを特徴とする画像認識システム。
【請求項１３】
請求項１乃至１２のいずれか1項に記載された画像認識システムにおいて、
認識対象が人間の顔画像であることを特徴とする画像認識システム。
【請求項１４】
同じ対象が撮影された複数の入力画像と予め登録された辞書データとを照合し認識結果を出力する画像認識方法であって、
前記入力画像から得られた複数の入力特徴データの平均ベクトルである入力代表ベクトルと、前記入力特徴データを主成分分析して得られる、前記入力特徴データによって張られる入力部分空間の基底であるK個の入力主成分ベクトルと、予め登録された辞書特徴データの平均ベクトルである辞書代表ベクトルと、前記辞書特徴データを主成分分析して得られる、前記辞書特徴データによって張られる辞書部分空間の基底であるL個の辞書主成分ベクトルとを用いて、前記入力部分空間と前記辞書部分空間との距離値を算出する距離算出ステップと、
前記距離値に基づいて前記認識結果を出力する識別を行う識別ステップとを含み、
前記距離算出ステップは、
前記Ｌ個の辞書主成分ベクトルで形成される空間と前記入力代表ベクトルとの第１の距離を算出する入力投影距離算出ステップと、
前記Ｋ個の入力主成分ベクトルで形成される空間と前記辞書代表ベクトルとの第２の距離を算出する辞書投影距離算出ステップと、
前記第１および第２の距離の重み付き加算によって前記入力部分空間と前記辞書部分空間との前記距離値を算出する統合ステップと
を含むことを特徴とする画像認識方法。
【請求項１５】
同じ対象が撮影された複数の入力画像と予め登録された辞書データとを照合し認識結果を出力する画像認識方法であって、
前記入力画像から得られた複数の入力特徴データの平均ベクトルである入力代表ベクトルと、前記入力特徴データと入力代表ベクトルとの第１の差分ベクトルを主成分分析して得られる、前記第１の差分ベクトルによって張られる入力部分空間の基底であるK個の入力主成分ベクトルと、予め登録された辞書特徴データの平均ベクトルである辞書代表ベクトルと、前記辞書特徴データと前記辞書代表ベクトルとの第2の差分ベクトルを主成分分析して得られる、前記第２の差分ベクトルによって張られる辞書部分空間の基底であるL個の辞書主成分ベクトルとを用いて、前記入力部分空間と前記辞書部分空間との距離値を算出する距離算出ステップと、
前記距離値に基づいて前記認識結果を出力する識別を行う識別ステップと含み、
前記距離算出ステップは、
前記Ｌ個の辞書主成分ベクトルで形成される空間と前記入力代表ベクトルとの第１の距離を算出する入力投影距離算出ステップと、
前記Ｋ個の入力主成分ベクトルで形成される空間と前記辞書代表ベクトルとの第２の距離を算出する辞書投影距離算出ステップと、
前記第１および第２の距離の重み付き加算によって前記入力部分空間と前記辞書部分空間との前記距離値を算出する統合ステップと
を含むことを特徴とする画像認識方法。
【請求項１６】
請求項１５に記載された画像認識方法において、
前記入力主成分ベクトルおよび前記辞書主成分ベクトルは、直交基底であることを特徴とする画像認識方法。
【請求項１７】
請求項１５または１６に記載された画像認識方法において、
前記入力代表ベクトルは、前記入力特徴データの平均ベクトルであり、
前記入力主成分ベクトルは、前記入力特徴データから前記入力代表ベクトルを減算した成分のうち、固有値が大きい方からＫ個の固有ベクトルであり、
前記辞書代表ベクトルは、前記辞書特徴データの平均ベクトルであり、
前記辞書主成分ベクトルは、前記辞書特徴データから前記辞書代表ベクトルを減算した成分のうち、固有値が大きい方からＬ個の固有ベクトルであることを特徴とする画像認識方法。
【請求項１８】
請求項14乃至１７のいずれか1項に記載された画像認識方法において、
前記入力代表ベクトルをＶ1、前記辞書代表ベクトルをＶ2、前記入力主成分ベクトルをΨi（ｉ＝１，…，Ｋ）、前記辞書主成分ベクトルをΦj（ｊ＝１，…，Ｌ）とすると、
前記入力投影距離算出ステップは、式（Ｇ）により前記第１の距離ｄ1を算出し、
前記辞書投影距離算出ステップは、式（Ｈ）により前記第２の距離ｄ2を算出することを特徴とする画像認識方法。
【数３】
0004099981.tif 000013
【請求項１９】
請求項14乃至１７のいずれか1項に記載された画像認識方法において、
前記距離算出ステップは、前記入力主成分ベクトルのそれぞれに対応するＫ個の重みと、前記辞書主成分ベクトルのそれぞれに対応するＬ個の重みとを用いることを特徴とする画像認識方法。
【請求項２０】
請求項１９に記載された画像認識方法において、
前記入力主成分ベクトルに対応する重みは、前記入力主成分ベクトルとなる前記固有ベクトルのＫ個の固有値であり、
前記辞書主成分ベクトルに対応する重みは、前記辞書主成分ベクトルとなる前記固有ベクトルのＬ個の固有値である
ことを特徴とする画像認識方法。
【請求項２１】
請求項２０に記載された画像認識方法において、
前記入力代表ベクトルをＶ1、前記辞書代表ベクトルをＶ2、前記入力主成分ベクトルをΨi（ｉ＝１，…，Ｋ）、前記入力主成分ベクトルに対応する前記重みをμi（ｉ＝１，…，Ｋ）、前記辞書主成分ベクトルをΦj（ｊ＝１，…，Ｌ）、前記辞書主成分ベクトルに対応する前記重みをλj（ｊ＝１，…，Ｌ）とすると、
前記入力投影距離算出ステップは、式（Ｉ）により前記第１の距離ｄ1を算出し、
前記辞書投影距離算出ステップは、式（Ｊ）により前記第２の距離ｄ2を算出することを特徴とする画像認識方法。
【数４】
0004099981.tif 000014
（ただし、σは任意の定数）
【請求項２２】
請求項14乃至１７、１８または２１のいずれか1項に記載された画像認識方法において、
前記統合ステップは、前記第１の距離ｄ1および前記第２の距離ｄ2から式（Ｋ）により前記入力部分空間と前記辞書部分空間との前記距離値Ｄを算出することを特徴とする画像認識方法。
Ｄ＝αｄ1＋βｄ2                  ・・・（Ｋ）
（ただし、α，βは定数）
【請求項２３】
請求項14乃至１７、１８または２１のいずれか1項に記載された画像認識方法において、
前記統合ステップは、前記第１の距離ｄ1および前記第２の距離ｄ2から式（Ｌ）により前記入力部分空間と前記辞書部分空間との前記距離値Ｄを算出することを特徴とする画像認識方法。
Ｄ＝αｄ1・ｄ2／（ｄ1＋ｄ2）      ・・・（Ｌ）
（ただし、αは定数）
【請求項２４】
請求項１４乃至２３のいずれか1項に記載された画像認識方法において、
前記複数の入力特徴データから前記入力代表ベクトルを生成する入力代表ベクトル生成ステップと、
前記入力特徴データから前記入力主成分ベクトルを生成する入力主成分データ生成ステップとをさらに備えたことを特徴とする画像認識方法。
【請求項２５】
請求項１４乃至２３のいずれか1項に記載された画像認識方法において、
前記辞書代表ベクトルを生成する辞書代表ベクトル生成ステップと、
前記辞書主成分ベクトルを生成し、前記辞書代表ベクトルおよび前記辞書主成分ベクトルを格納する辞書格納手段に出力する辞書主成分データ生成ステップとをさらに備えたことを特徴とする画像認識方法。
【請求項２６】
請求項１４乃至２３のいずれか1項に記載された画像認識方法において、
認識対象が人間の顔画像であることを特徴とする画像認識方法。
【請求項２７】
同じ対象が撮影された複数の入力画像と予め登録された辞書データとを照合し認識結果を出力する処理をコンピュータに実行させるための画像認識プログラムであって、
前記入力画像から得られた複数の入力特徴データの平均ベクトルである入力代表ベクトルと、前記入力特徴データを主成分分析して得られる、前記入力特徴データによって張られる入力部分空間の基底であるK個の入力主成分ベクトルと、予め登録された辞書特徴データの平均ベクトルである辞書代表ベクトルと、前記辞書特徴データを主成分分析して得られる、前記辞書特徴データによって張られる辞書部分空間の基底であるL個の辞書主成分ベクトルとを用いて、前記入力部分空間と前記辞書部分空間との距離値を算出する距離算出ステップと、
前記距離値に基づいて前記認識結果を出力する識別を行う識別ステップとを含み、
前記距離算出ステップは、
前記Ｌ個の辞書主成分ベクトルで形成される空間と前記入力代表ベクトルとの第１の距離を算出する入力投影距離算出ステップと、
前記Ｋ個の入力主成分ベクトルで形成される空間と前記辞書代表ベクトルとの第２の距離を算出する辞書投影距離算出ステップと、
前記第１および第２の距離の重み付き加算によって前記入力部分空間と前記辞書部分空間との前記距離値を算出する統合ステップとをコンピュータに実行させるための画像認識プログラム。
【請求項２８】
同じ対象が撮影された複数の入力画像と予め登録された辞書データとを照合し認識結果を出力する処理をコンピュータに実行させるための画像認識プログラムであって、
前記入力画像から得られた複数の入力特徴データの平均ベクトルである入力代表ベクトルと、前記入力特徴データと入力代表ベクトルとの第１の差分ベクトルを主成分分析して得られる、第１の差分ベクトルによって張られる入力部分空間の基底であるK個の入力主成分ベクトルと、予め登録された辞書特徴データの平均ベクトルである辞書代表ベクトルと、前記辞書特徴データと前記辞書代表ベクトルとの第２の差分ベクトルを主成分分析して得られる、第２の差分ベクトルによって張られる辞書部分空間の基底であるL個の辞書主成分ベクトルとを用いて、
前記入力部分空間と前記辞書部分空間との距離値を算出する距離算出ステップと、
前記距離値に基づいて前記認識結果を出力する識別を行う識別ステップとを含み
前記距離算出ステップは、
前記Ｌ個の辞書主成分ベクトルで形成される空間と前記入力代表ベクトルとの第１の距離を算出する入力投影距離算出ステップと、
前記Ｋ個の入力主成分ベクトルで形成される空間と前記辞書代表ベクトルとの第２の距離を算出する辞書投影距離算出ステップと、
前記第１および第２の距離の重み付き加算によって前記入力部分空間と前記辞書部分空間との前記距離値を算出する統合ステップとをコンピュータに実行させるための画像認識プログラム。
【請求項２９】
請求項２８に記載された画像認識プログラムにおいて、
前記入力主成分ベクトルおよび前記辞書主成分ベクトルは、直交基底であることを特徴とする画像認識プログラム。
【請求項３０】
請求項２６または３０に記載された画像認識プログラムにおいて、
前記入力代表ベクトルは、前記入力特徴データの平均ベクトルであり、
前記入力主成分ベクトルは、前記入力特徴データから前記入力代表ベクトルを減算した成分のうち、固有値が大きい方からＫ個の固有ベクトルであり、
前記辞書代表ベクトルは、前記辞書特徴データの平均ベクトルであり、
前記辞書主成分ベクトルは、前記辞書特徴データから前記辞書代表ベクトルを減算した成分のうち、固有値が大きい方からＬ個の固有ベクトルであることを特徴とする画像認識プログラム。
【請求項３１】
請求項２７乃至３０のいずれか１項に記載された画像認識プログラムにおいて、
前記入力代表ベクトルをＶ1、前記辞書代表ベクトルをＶ2、前記入力主成分ベクトルをΨi（ｉ＝１，…，Ｋ）、前記辞書主成分ベクトルをΦj（ｊ＝１，…，Ｌ）とすると、
前記入力投影距離算出ステップは、式（Ｍ）により前記第１の距離ｄ1を算出し、
前記辞書投影距離算出ステップは、式（Ｎ）により前記第２の距離ｄ2を算出することを特徴とする画像認識プログラム。
【数５】
0004099981.tif 000015
【請求項３２】
請求項２７乃至３０のいずれか１項に記載された画像認識プログラムにおいて、
前記距離算出ステップは、前記入力主成分ベクトルのそれぞれに対応するＫ個の重みと、前記辞書主成分ベクトルのそれぞれに対応するＬ個の重みとを用いることを特徴とする画像認識プログラム。
【請求項３３】
請求項３２に記載された画像認識プログラムにおいて、
前記入力主成分ベクトルに対応する重みは、前記入力主成分ベクトルとなる前記固有ベクトルのＫ個の固有値であり、
前記辞書主成分ベクトルに対応する重みは、前記辞書主成分ベクトルとなる前記固有ベクトルのＬ個の固有値である
ことを特徴とする画像認識プログラム。
【請求項３４】
請求項３３に記載された画像認識プログラムにおいて、
前記入力代表ベクトルをＶ1、前記辞書代表ベクトルをＶ2、前記入力主成分ベクトルをΨi（ｉ＝１，…，Ｋ）、前記入力主成分ベクトルに対応する前記重みをμi（ｉ＝１，…，Ｋ）、前記辞書主成分ベクトルをΦj（ｊ＝１，…，Ｌ）、前記辞書主成分ベクトルに対応する前記重みをλj（ｊ＝１，…，Ｌ）とすると、
前記入力投影距離算出ステップは、式（Ｏ）により前記第１の距離ｄ1を算出し、
前記辞書投影距離算出ステップは、式（Ｐ）により前記第２の距離ｄ2を算出することを特徴とする画像認識プログラム。
【数６】
0004099981.tif 000016
（ただし、σは任意の定数）
【請求項３５】
請求項２７乃至３０、３１および３４のいずれか1項に記載された画像認識プログラムにおいて、
前記統合ステップは、前記第１の距離ｄ1および前記第２の距離ｄ2から式（Ｑ）により前記入力部分空間と前記辞書部分空間との前記距離値Ｄを算出することを特徴とする画像認識プログラム。
Ｄ＝αｄ1＋βｄ2                  ・・・（Ｑ）
（ただし、α，βは定数）
【請求項３６】
請求項２７乃至３０、３１および３４のいずれか1項に記載された画像認識プログラムにおいて、
前記統合ステップは、前記第１の距離ｄ1および前記第２の距離ｄ2から式（Ｒ）により前記入力部分空間と前記辞書部分空間との前記距離値Ｄを算出することを特徴とする画像認識プログラム。
Ｄ＝αｄ1・ｄ2／（ｄ1＋ｄ2）      ・・・（Ｒ）
（ただし、αは定数）
【請求項３７】
請求項２７乃至３６のいずれか1項に記載された画像認識プログラムにおいて、
前記複数の入力特徴データから前記入力代表ベクトルを生成する入力代表ベクトル生成ステップと、
前記入力特徴データから前記入力主成分ベクトルを生成する入力主成分データ生成ステップとをさらに備えたことを特徴とする画像認識プログラム。
【請求項３８】
請求項２７乃至３６のいずれか1項に記載された画像認識プログラムにおいて、
前記辞書代表ベクトルを生成する辞書代表ベクトル生成ステップと、
前記辞書主成分ベクトルを生成し、前記辞書代表ベクトルおよび前記辞書主成分ベクトルを格納する辞書格納手段に出力する辞書主成分データ生成ステップとをさらに備えたことを特徴とする画像認識プログラム。
【請求項３９】
請求項２７乃至３６のいずれか1項に記載された画像認識プログラムにおいて、
認識対象が人間の顔画像であることを特徴とする画像認識プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像認識システム、画像認識方法および画像認識プログラムに関し、特に、画像として撮影された対象物体が、辞書に登録された物体かどうかを識別する、または辞書に登録された複数のカテゴリ中の一つに分類する画像認識システム、画像認識方法および画像認識プログラムに関する。
【０００２】
【従来の技術】
従来の画像認識システムの一例が、特開平１１−２６５４５２号公報（物体認識装置および物体認識方法）に記載されている。図１３は、この従来の画像認識システムの構成を示すブロック図である。この図に示すように、従来の画像認識画像認識システムは、画像入力部５０１と、辞書記憶部５０２と、部分空間間の角度計算部５０３と、認識部５０４とから構成されている。
【０００３】
画像入力部５０１は、複数方向から撮影された複数の画像を獲得する。辞書記憶部５０２には、あらかじめＭ次元の部分空間で表現された辞書データが、カテゴリごとに用意されている。部分空間間の角度計算部５０３は、まず画像入力部５０１によって獲得された入力画像群をＮ次元部分空間で表現する。具体的には、入力画像を１次元特徴データとみなして主成分分析し、Ｎ個の固有ベクトルを抽出し、このＮ個の固有ベクトルでＮ次元部分空間を規定する。部分空間間の角度計算部５０３は、さらに入力画像のＮ次元部分空間（以下、入力部分空間という）と辞書のＭ次元部分空間（以下、辞書部分空間という）との角度Θを、辞書のカテゴリごとに計算する。認識部５０４は、部分空間間の角度計算部５０３において算出された角度Θを比較し、角度Θが最も小さいカテゴリを認識結果として出力する。
【０００４】
図１４を参照して、より具体的に説明する。図１４において、５１１は入力画像から抽出された特徴データが分布する入力特徴分布、５１２は入力特徴分布５１１を含む入力部分空間、５２１は辞書データのあるカテゴリの作成に用いた特徴データが分布する辞書特徴分布、５２２は辞書特徴分布５２１を含む辞書部分空間である。
入力部分空間５１２の基底ベクトルをΨn（ｎ＝１，２，…，Ｎ）、辞書部分空間５２２の基底ベクトルをΦm（ｍ＝１，２，…，Ｍ）とすると、部分空間間の角度計算部５０３で、式（１）または式（２）のｘijを要素にもつ行列Ｘを計算する。
【０００５】
【数７】
0004099981.tif 000002
【０００６】
行列Ｘの最大固有値として、部分空間５１２，５２２間の角度Θの余弦の二乗が求められる。角度Θの余弦の二乗が大きい（または、小さい）とき、角度Θは小さく（または、大きく）なり、また角度Θが小さい（または、大きい）とき、部分空間５１２，５２２間の類似度が大きく（または、小さく）なる。したがって、行列Ｘの最大固有値を、部分空間５１２，５２２間の類似度と言い換えることができる。
よって、部分空間間の角度計算部５０３で、各カテゴリに対し行列Ｘの最大固有値を求めて類似度とし、認識部５０４で、類似度が最大のカテゴリに入力画像を分類する。
【０００７】
【発明が解決しようとする課題】
図１５は、従来の画像認識システムの問題点を示す概念図である。
この図に示すように、同じ入力部分空間５１２内の異なる位置に３つの入力特徴分布５１１Ａ，５１１Ｂ，５１１Ｃが存在する場合には、３つの入力特徴分布５１１Ａ〜５１１Ｃは互いに離れた位置にあり、辞書部分空間５２２内の辞書特徴分布５２１との隔たりも明らかに異なるので、本来は異なる類似度が算出されなければならない。
【０００８】
しかし、従来の画像認識システムでは、入力部分空間５１２と辞書部分空間５２２との角度Θの余弦の二乗と等価な行列Ｘの最大固有値を類似度として用いているので、同じ入力部分空間５１２内に存在する３つの入力特徴分布５１１Ａ〜５１１Ｃと辞書部分空間５２２との類似度がすべて同じになってしまう。
このように、従来の画像認識システムでは、同じ入力部分空間５１２内の異なる位置に入力特徴分布がある場合には、辞書部分空間５２２との類似度がすべて同じとなり、判別できないという問題があった。
【０００９】
本発明はこのような課題を解決するためになされたものであり、その目的は、入力部分空間と辞書部分空間との角度に依存せず、入力画像群を正しく判別することができる画像認識システム、画像認識方法および画像認識プログラムを提供することにある。
【００１０】
【課題を解決するための手段】
このような目的を達成するために、本発明の画像認識システムは、同じ対象が撮影された複数の入力画像と予め登録された辞書データとを照合し認識結果を出力する画像認識システムであって、前記入力画像から得られた複数の入力特徴データの分布範囲に属する任意の一ベクトルである入力代表ベクトルと、前記入力特徴データによって張られる入力部分空間の基底である入力主成分ベクトルと、予め登録された辞書特徴データの分布範囲に属する任意の一ベクトルである辞書代表ベクトルと、前記辞書特徴データによって張られる辞書部分空間の基底である辞書主成分ベクトルとを用いて、前記入力部分空間と前記辞書部分空間との距離値を算出する距離算出手段と、前記距離値に基づいて前記認識結果を出力する識別を行う識別手段とを備えたことを特徴とする。
【００１１】
より具体的には、前記入力画像から得られた複数の入力特徴データの分布範囲に属する任意の一ベクトルである入力代表ベクトルと、前記入力特徴データと入力代表ベクトルとの差分ベクトルによって張られる入力部分空間の基底である入力主成分ベクトルと、予め登録された辞書特徴データの分布範囲に属する任意の一ベクトルである辞書代表ベクトルと、前記辞書特徴データによって張られる辞書部分空間の基底である辞書主成分ベクトルとを用いて、前記入力部分空間と前記辞書部分空間との距離値を算出する距離算出手段と、前記距離値に基づいて前記認識結果を出力する識別を行う識別手段とを備えてもよい。これにより、複数の入力特徴分布が同じ入力部分空間内に存在する場合でも、各入力特徴分布の配置が異なれば距離値も異なるので、入力画像群を正しく判別することができる。
【００１２】
この画像認識システムにおいて、入力主成分ベクトルおよび辞書主成分ベクトルが、直交基底であってもよい。直交基底である主成分ベクトルを用いて距離値の計算を行うことにより、直交基底でない場合と比較して、短時間で高精度の照合結果を得ることができ、認識率を向上させることができる。
また、入力代表ベクトルが、入力特徴データの平均ベクトルであり、入力主成分ベクトルが、入力特徴データから入力代表ベクトルを減算した成分のうち固有値が大きい方からＫ個の固有ベクトルであり、辞書代表ベクトルが、辞書特徴データの平均ベクトルであり、辞書主成分ベクトルが、辞書特徴データから辞書代表ベクトルを減算した成分のうち固有値が大きい方からＬ個の固有ベクトルであってもよい。
【００１３】
また、距離算出手段は、Ｌ個の辞書主成分ベクトルで形成される空間と入力代表ベクトルとの第１の距離を算出する入力投影距離算出手段と、Ｋ個の入力主成分ベクトルで形成される空間と辞書代表ベクトルとの第２の距離を算出する辞書投影距離算出手段と、第１および第２の距離から入力部分空間と辞書部分空間との距離値を算出する統合手段とを備えるものであってもよい。このように入力画像および辞書データから得られた多くのデータを有効に利用して距離値を算出し、この距離値を照合に用いるので、照合性能が向上し、高い認識率が得られる。
【００１４】
ここで、入力代表ベクトルをＶ1、辞書代表ベクトルをＶ2、入力主成分ベクトルをΨi（ｉ＝１，…，Ｋ）、辞書主成分ベクトルをΦj（ｊ＝１，…，Ｌ）とすると、入力投影距離算出手段は、式（３）により第１の距離ｄ1を算出し、辞書投影距離算出手段は、式（４）により第２の距離ｄ2を算出するものであってもよい。
【００１５】
【数８】
0004099981.tif 000003
【００１６】
また、上述した画像認識システムにおいて、前記距離算出手段は、前記入力主成分ベクトルのそれぞれに対応するＫ個の重みと、前記辞書主成分ベクトルのそれぞれに対応するＬ個の重みとを用いるものであってもよい。
ここで、入力主成分ベクトルに対応する重みが、入力主成分ベクトルとなる固有ベクトルのＫ個の固有値であり、辞書主成分ベクトルに対応する重みが、辞書主成分ベクトルとなる固有ベクトルのＬ個の固有値であってもよい。
【００１７】
また、入力代表ベクトルをＶ1、辞書代表ベクトルをＶ2、入力主成分ベクトルをΨi（ｉ＝１，…，Ｋ）、入力主成分ベクトルに対応する重みをμi（ｉ＝１，…，Ｋ）、辞書主成分ベクトルをΦj（ｊ＝１，…，Ｌ）、辞書主成分ベクトルに対応する重みをλj（ｊ＝１，…，Ｌ）とすると、入力投影距離算出手段は、式（５）により第１の距離ｄ1を算出し、辞書投影距離算出手段は、式（６）により第２の距離ｄ2を算出するものであってもよい（ただし、σは任意の定数）。
【００１８】
【数９】
0004099981.tif 000004
【００１９】
また、上述した画像認識システムにおいて、統合手段は、第１の距離ｄ1および第２の距離ｄ2から式（７）により入力部分空間と辞書部分空間との距離値Ｄを算出するものであってもよい。
Ｄ＝αｄ1＋βｄ2                  ・・・（７）
（ただし、α，βは定数）
あるいは、統合手段は、第１の距離ｄ1および第２の距離ｄ2から式（８）により入力部分空間と辞書部分空間との距離値Ｄを算出するものであってもよい。
Ｄ＝αｄ1・ｄ2／（ｄ1＋ｄ2）      ・・・（８）
（ただし、αは定数）
【００２０】
また、上述した画像認識システムにおいて、前記複数の入力特徴データから前記入力代表ベクトルを生成する入力代表ベクトル生成手段と、前記入力特徴データから前記入力主成分ベクトルを生成する入力主成分データ生成手段とをさらに備えていてもよい。
【００２１】
また、上述した画像認識システムにおいて、前記辞書代表ベクトルを生成する辞書代表ベクトル生成手段と、前記辞書主成分ベクトルを生成し、前記辞書代表ベクトルおよび前記辞書主成分ベクトルを格納する辞書格納手段に出力する辞書主成分データ生成手段とをさらに備えていてもよい。
また、上述した画像認識システムは、認識対象が人間の顔画像である。これにより、人間の顔画像を用いて画像中の人物を同定するシステムを構成することができる。
【００２２】
また、本発明の画像認識方法は、同じ対象が撮影された複数の入力画像と予め登録された辞書データとを照合し認識結果を出力する画像認識方法であって、前記入力画像から得られた複数の入力特徴データの分布範囲に属する任意の一ベクトルである入力代表ベクトルと、前記入力特徴データによって張られる入力部分空間の基底である入力主成分ベクトルと、予め登録された辞書特徴データの分布範囲に属する任意の一ベクトルである辞書代表ベクトルと、前記辞書特徴データによって張られる辞書部分空間の基底である辞書主成分ベクトルとを用いて、前記入力部分空間と前記辞書部分空間との距離値を算出する距離算出ステップと、前記距離値に基づいて前記認識結果を出力する識別を行う識別ステップとを備えたことを特徴とする。
【００２３】
より具体的には、前記入力画像から得られた複数の入力特徴データの分布範囲に属する任意の一ベクトルである入力代表ベクトルと、前記入力特徴データと入力代表ベクトルとの差分ベクトルによって張られる入力部分空間の基底である入力主成分ベクトルと、予め登録された辞書特徴データの分布範囲に属する任意の一ベクトルである辞書代表ベクトルと、前記辞書特徴データによって張られる辞書部分空間の基底である辞書主成分ベクトルとを用いて、前記入力部分空間と前記辞書部分空間との距離値を算出する距離算出ステップと、前記距離値に基づいて前記認識結果を出力する識別を行う識別ステップとを備えていてもよい。
この画像認識方法において、入力主成分ベクトルおよび辞書主成分ベクトルが、直交基底であってもよい。
【００２４】
また、前記入力代表ベクトルは、前記入力特徴データの平均ベクトルであり、前記入力主成分ベクトルは、前記入力特徴データから前記入力代表ベクトルを減算した成分のうち、固有値が大きい方からＫ個の固有ベクトルであり、前記辞書代表ベクトルは、前記辞書特徴データの平均ベクトルであり、前記辞書主成分ベクトルは、前記辞書特徴データから前記辞書代表ベクトルを減算した成分のうち、固有値が大きい方からＬ個の固有ベクトルであってもよい。
【００２５】
また、前記距離算出ステップは、前記Ｌ個の辞書主成分ベクトルで形成される空間と前記入力代表ベクトルとの第１の距離を算出する入力投影距離算出ステップと、前記Ｋ個の入力主成分ベクトルで形成される空間と前記辞書代表ベクトルとの第２の距離を算出する辞書投影距離算出ステップと、前記第１および第２の距離から前記入力部分空間と前記辞書部分空間との前記距離値を算出する統合ステップとからなるものであってもよい。
【００２７】
また、前記入力代表ベクトルをＶ1、前記辞書代表ベクトルをＶ2、前記入力主成分ベクトルをΨi（ｉ＝１，…，Ｋ）、前記辞書主成分ベクトルをΦj（ｊ＝１，…，Ｌ）とすると、前記入力投影距離算出ステップは、式（９）により前記第１の距離ｄ1を算出し、前記辞書投影距離算出ステップは、式（１０）により前記第２の距離ｄ2を算出するものであってもよい。
【００２８】
【数１０】
0004099981.tif 000005
【００２９】
また、前記距離算出ステップは、前記入力主成分ベクトルのそれぞれに対応するＫ個の重みと、前記辞書主成分ベクトルのそれぞれに対応するＬ個の重みとを用いるものであってもよい。
ここで、前記入力主成分ベクトルに対応する重みは、前記入力主成分ベクトルとなる前記固有ベクトルのＫ個の固有値であり、前記辞書主成分ベクトルに対応する重みは、前記辞書主成分ベクトルとなる前記固有ベクトルのＬ個の固有値であってもよい。
【００３０】
また、前記入力代表ベクトルをＶ1、前記辞書代表ベクトルをＶ2、前記入力主成分ベクトルをΨi（ｉ＝１，…，Ｋ）、前記入力主成分ベクトルに対応する前記重みをμi（ｉ＝１，…，Ｋ）、前記辞書主成分ベクトルをΦj（ｊ＝１，…，Ｌ）、前記辞書主成分ベクトルに対応する前記重みをλj（ｊ＝１，…，Ｌ）とすると、前記入力投影距離算出ステップは、式（１１）により前記第１の距離ｄ1を算出し、前記辞書投影距離算出ステップは、式（１２）により前記第２の距離ｄ2を算出するものであってもよい（ただし、σは任意の定数）。
【００３１】
【数１１】
0004099981.tif 000006
【００３２】
また、前記統合ステップは、前記第１の距離ｄ1および前記第２の距離ｄ2から式（１３）により前記入力部分空間と前記辞書部分空間との前記距離値Ｄを算出するものであってもよい。
Ｄ＝αｄ1＋βｄ2                  ・・・（１３）
（ただし、α，βは定数）
あるいは、前記統合ステップは、前記第１の距離ｄ1および前記第２の距離ｄ2から式（１４）により前記入力部分空間と前記辞書部分空間との前記距離値Ｄを算出するものであってもよい。
Ｄ＝αｄ1・ｄ2／（ｄ1＋ｄ2）      ・・・（１４）
（ただし、αは定数）
【００３３】
また、上述した画像認識方法は、前記複数の入力特徴データから前記入力代表ベクトルを生成する入力代表ベクトル生成ステップと、前記入力特徴データから前記入力主成分ベクトルを生成する入力主成分データ生成ステップとをさらに備えていてもよい。
また、上述した画像認識方法は、前記辞書代表ベクトルを生成する辞書代表ベクトル生成ステップと、前記辞書主成分ベクトルを生成し、前記辞書代表ベクトルおよび前記辞書主成分ベクトルを格納する辞書格納手段に出力する辞書主成分データ生成ステップとをさらに備えていてもよい。
また、上述した画像認識方法は、認識対象が人間の顔画像である。
【００３４】
【発明の実施の形態】
次に、本発明の実施の形態について、図面を参照して詳細に説明する。
【００３５】
（第１の実施の形態）
図１は、本発明の第１の実施の形態である画像認識システムの構成を示すブロック図である。図２は、図１に示す画像認識システムによる処理を概念的に示す図である。
図１に示す画像認識システムは、同じ対象を撮影して得られた複数の学習画像データからなる学習画像群を獲得する学習画像群入力部１と、この学習画像群入力部１より入力される学習画像群から辞書データを生成する学習部２と、この学習部２で生成される辞書データを撮影対象毎にカテゴリに分けて格納する辞書格納部３と、同じ対象を撮影して得られた複数の入力画像データからなる入力画像群を獲得する識別対象画像群入力部４と、辞書格納部３に格納されている辞書データを用いて識別対象画像群入力部４より入力される入力画像群から撮影対象を認識する照合部５とから構成されている。
【００３６】
学習画像群入力部１は、辞書として登録するためビデオカメラ等によって同一対象物体を撮影して得られたＭ個（Ｍは自然数）の静止画像を獲得し、これらを学習画像データ１ＡとしてカテゴリＩＤ１Ｂとともに学習部２に出力する。Ｍ個の学習画像データ１Ａは、カテゴリＩＤ１Ｂによって指定されたカテゴリに属するものとする。
学習部２は更に、学習画像特徴抽出部２１と、辞書代表ベクトル生成部２２と、辞書主成分データ生成部（辞書部分空間生成手段）２３とから構成されている。
【００３７】
学習画像特徴抽出部２１は、学習画像群入力部１より入力されるＭ個の学習画像データ１Ａから、認識に用いるＭ個の辞書特徴データ２１Ａを特徴抽出し、辞書代表ベクトル生成部２２および辞書主成分データ生成部２３に出力する。Ｍ個の辞書特徴データ２１Ａからなる辞書特徴データ群は、図２（ａ）に示す辞書特徴分布２１Ｂに分布しているものとする。
学習画像特徴抽出部２１の一例として、元の画像データに１次微分、２次微分フィルタを作用させた出力を、ラスタースキャンして１次元特徴データとして出力するものがある。また、辞書画像特徴抽出部２１の他の例として、元の画像データをラスタースキャンして１次元特徴データとし、その平均を０、分散を１．０とするように、平均と分散を一定値に正規化するものがある。これにより、輪郭強調や雑音除去などが施された辞書特徴データ２１Ａが得られる。
なお、学習画像特徴抽出部２１は、仮に識別対象画像群入力部４から出力される入力画像データ４Ａが入力されたとしたら、照合部５の入力画像特徴抽出部５１と同じ特徴データを抽出するものである必要がある。
【００３８】
辞書代表ベクトル生成部２２は、Ｍ個の入力特徴データ２１Ａからなる辞書特徴データ群を基に、この辞書特徴データ群を代表する１つのベクトルである辞書代表ベクトル２２Ａを生成し、辞書主成分データ生成部２３および辞書格納部３に出力する。辞書代表ベクトル２２Ａは、辞書特徴分布２１Ｂを含む辞書部分空間に属する任意のベクトルであり、原点Ｏを始点とし、辞書部分空間上のＰ点を終点とする。辞書代表ベクトル２２Ａの一例として、辞書特徴データ群の平均値（平均ベクトル）や中央値（中央ベクトル）などが挙げられる。
【００３９】
辞書主成分データ生成部２３は、Ｍ個の辞書特徴データ２１Ａのそれぞれから辞書代表ベクトル２２Ａを除いた後の成分を代表するＬ個のベクトルである辞書主成分ベクトル（Φj（ｊ＝１，・・・，Ｌ））２３Ａと、辞書主成分ベクトル（Φi）のそれぞれに対応する重み値（λj（ｊ＝１，・・・，Ｌ））２３Ｂを抽出し、辞書格納部３に出力する。辞書特徴データ２１Ａの特徴次元数をＤとすると、Ｌは１より大きく、ｍｉｎ（Ｍ，Ｄ）以下の自然数である。ｍｉｎ（Ｍ，Ｄ）は、ＭとＤの小さい方の数を表す。辞書主成分ベクトル２３Ａは、辞書特徴分布２１Ｂを含む辞書部分空間を表すベクトルである。
【００４０】
辞書特徴データ２１Ａから辞書代表ベクトル２２Ａを除く方法としては、辞書特徴データ２１Ａから辞書代表ベクトル２２Ａを減算する方法や、辞書特徴データ２１Ａの辞書代表ベクトル２２Ａに垂直な成分を計算する方法がある。
その後、Ｌ個の辞書主成分ベクトル２３Ａおよび重み値２３Ｂを抽出する方法としては、Ｍ個の辞書特徴データ２１Ａのそれぞれから辞書代表ベクトル２２Ａを除いた後の成分を主成分分析し、固有値が大きい方からＬ個の固有ベクトルを辞書主成分ベクトル２３Ａとして選択し、選択された辞書主成分ベクトル２３Ａに対応する固有値を重み値２３Ｂとして採用する方法がある。固有値および固有ベクトルの求め方は、一般的な多変量解析の文献に述べられており、例えば文献１（田中、脇本著、「多変量統計解析法」、現代数学社、pp.71-79, 1983）がある。
【００４１】
辞書格納部３は、例えば図３に示すように、Ｃ個（Ｃは自然数）のレコード記憶部３１，３２，・・・，３Ｃを有し、各レコード記憶部３１〜３Ｃは、それぞれレコード番号６１、辞書代表ベクトル６２、辞書主成分データ６３、カテゴリＩＤ６４を記憶することができる。辞書代表ベクトル６２として、辞書代表ベクトル生成部２２で生成された辞書代表ベクトル２２Ａを、辞書主成分データ６３として、辞書主成分データ生成部２３で生成されたＬ個の辞書主成分ベクトル２３Ａおよび重み値２３Ｂを、カテゴリＩＤ６４として、カテゴリＩＤ１Ｂを記憶する。このように辞書格納部３は、辞書代表ベクトル６２および辞書主成分データ６３を辞書データとしてカテゴリＩＤ６４にしたがって格納する。なお、同じカテゴリＩＤをもつ複数の辞書データを格納することも可能である。
【００４２】
識別対象画像群入力部４は、ビデオカメラ等によって同一対象物体を撮影して得られたＮ個（Ｎは自然数）の静止画像を獲得し、これらを入力画像データ４Ａとして照合部５に出力する。
照合部５は更に、入力画像特徴抽出部５１と、入力代表ベクトル生成部５２と、入力主成分データ生成部（入力部分空間生成手段）５３と、距離算出部５４と、識別部５５とから構成されている。
【００４３】
入力画像特徴抽出部５１は、識別対象画像群入力部４より入力されるＮ個の入力画像データ４Ａから、認識に用いるＮ個の入力特徴データ５１Ａを特徴抽出し、入力代表ベクトル生成部５２および入力主成分データ生成部５３に出力する。Ｎ個の入力特徴データ５１Ａからなる入力特徴データ群は、図２（ａ）に示す入力特徴分布５１Ｂに分布しているものとする。
入力画像特徴抽出部５１の一例として、元の画像データに１次微分、２次微分フィルタを作用させた出力を、ラスタースキャンして１次元特徴データとして出力するものがある。また入力画像特徴抽出部５１の他の例として、元の画像データをラスタースキャンして１次元特徴データとし、その平均を０、分散を１．０とするように、平均と分散を一定値に正規化するものがある。これにより、輪郭強調や雑音除去などが施された入力特徴データ５１Ａが得られる。
【００４４】
入力代表ベクトル生成部５２は、Ｎ個の入力特徴データ５１Ａからなる入力特徴データ群を基に、この入力特徴データ群を代表する１つのベクトルである入力代表ベクトル５２Ａを生成し、入力主成分データ生成部５３および距離算出部５４に出力する。入力代表ベクトル５２Ａは、入力特徴分布５１Ｂを含む入力部分空間に属する任意のベクトルであり、原点Ｏを始点とし、入力部分空間上のＱ点を終点とする。入力代表ベクトル５２Ａの一例として、入力特徴データ群の平均値（平均ベクトル）や中央値（中央ベクトル）などが挙げられる。
【００４５】
入力主成分データ生成部５３は、Ｎ個の入力特徴データ５１Ａのそれぞれから入力代表ベクトル５２Ａを除いた後の成分を代表するＫ個のベクトルである入力主成分ベクトル（Ψi（ｉ＝１，・・・，Ｋ））５３Ａと、入力主成分ベクトル（Ψj）のそれぞれに対応する重み値（μi（ｉ＝１，・・・，Ｋ））５３Ｃを抽出し、距離算出部５４に出力する。入力特徴データ５１Ａの特徴次元数をＤとすると、Ｋは１より大きく、ｍｉｎ（Ｎ，Ｄ）以下の自然数である。入力主成分ベクトル５３Ａは、入力特徴分布５１Ｂを含む入力部分空間を表すベクトルである。
【００４６】
入力特徴データ５１Ａから入力代表ベクトル５２Ａを除く方法としては、入力特徴データ５１Ａから入力代表ベクトル５２Ａを減算する方法や、入力特徴データ５１Ａの入力代表ベクトル５２Ａに垂直な成分を計算する方法がある。
Ｋ個の入力主成分ベクトル５３Ａおよび重み値５３Ｃを抽出する方法としては、Ｎ個の入力特徴データ５１Ａのそれぞれから入力代表ベクトル５２Ａを除いた後の成分を主成分分析し、固有値が大きい方からＫ個の固有ベクトルを入力主成分ベクトル５３Ａとして選択し、選択された入力主成分ベクトル５３Ａに対応する固有値を重み値５３Ｃとして採用する方法がある。
【００４７】
距離算出部５４は、入力代表ベクトル５２Ａ、入力主成分ベクトル５３Ａおよび重み値５３Ｃを用いて、辞書格納部３に格納されているＣ個のカテゴリに属する辞書データとの距離値を算出する。より具体的には、辞書格納部３のレコード記憶部３１〜３Ｃのそれぞれから、辞書代表ベクトル６２と、辞書主成分データ６３として記憶されているＬ個の辞書主成分ベクトル６３Ａおよび重み値６３Ｂとを読み出し、入力代表ベクトル５２Ａ、入力主成分ベクトル５３Ａおよび重み値５３Ｃを用いて、図２（ｂ）に示す入力特徴分布５１Ｂを含む入力部分空間と各カテゴリの辞書特徴分布２１ＢＢを含む辞書部分空間との間の距離の値Ｄを算出し、距離値５４Ａとして識別部５５に順次出力する。
【００４８】
識別部５５は、Ｃ個のカテゴリとの距離値５４Ａに基づいて、入力画像データ４Ａに対する認識結果５Ａを出力する。この識別部５５は、例えば図４に示すように、最小値算出部７１と、閾値処理部７２とから構成される。最小値算出部７１は、Ｃ個のカテゴリとの距離値５４Ａの最小値を求める。閾値処理部７２は、最小値算出部７１によって求められた最小値を、あらかじめ決められた閾値と比較し、閾値より小さければ、最小値が得られたカテゴリを認識結果５Ａとして出力する。逆に、閾値以上であれば、入力画像データ４Ａは辞書には存在しないパターンであるという認識結果５Ａを出力する。
【００４９】
次に、図５および図６を参照し、距離算出部５４の構成および動作について詳述する。図５は、距離算出部５４の一構成例を示すブロック図である。図６は、距離算出部５４の動作を説明する概念図である。
図５に示すように、距離算出部５４は、入力投影距離算出部８１と、辞書投影距離算出部８２と、統合部８３とから構成される。
入力投影距離算出部８１は、図６に示す入力代表ベクトル５２Ａの終点Ｑと、Ｌ個の辞書主成分ベクトル６３Ａで形成される辞書部分空間６３Ｃとの距離を表す入力投影距離値（第１の距離）ｄ1を算出する。入力代表ベクトル５２ＡをＶ1、辞書代表ベクトル６２をＶ2、σを任意の定数とすると、距離値ｄ1を例えば式（１５）によって算出することができる。
【００５０】
【数１２】
0004099981.tif 000007
【００５１】
計算の高速化のため、定数σ＝０とし、式（１６）のように簡略化してもよい。
【００５２】
【数１３】
0004099981.tif 000008
【００５３】
式（１５）および式（１６）において、ベクトル（Ｖ2−Ｖ1）は、ベクトルＱＰであり、入力投影距離値ｄ1は、入力代表ベクトル５２Ａの終点Ｑと、辞書部分空間６３Ｃとの距離値を表している。
辞書投影距離算出部８２は、図６に示す辞書代表ベクトル６２の終点Ｐと、Ｋ個の入力主成分ベクトル５３Ａで形成される入力部分空間５３Ｃとの辞書投影距離値（第２の距離）ｄ2を算出する。同様に、距離値ｄ2を例えば式（１７）によって算出することができる。
【００５４】
【数１４】
0004099981.tif 000009
【００５５】
計算の高速化のため、定数σ＝０とし、式（１８）のように簡略化してもよい。
【００５６】
【数１５】
0004099981.tif 000010
【００５７】
式（１７）および式（１８）において、ベクトル（Ｖ1−Ｖ2）は、ベクトルＰＱであり、辞書投影距離値ｄ2は、辞書代表ベクトル６２の終点Ｐと、入力部分空間５３Ｃとの距離値を表している。
統合部８３は、入力投影距離値ｄ1および辞書投影距離値ｄ2の両方を用いて、距離値Ｄを算出する。例えば、式（１９）を用いて距離値Ｄを算出することができる。
Ｄ＝αｄ1＋βｄ2                  ・・・（１９）
ただし、α，βは定数である。
また、式（２０）を用いてもよい。
Ｄ＝αｄ1・ｄ2／（ｄ1＋ｄ2）      ・・・（２０）
ただし、αは定数である。
【００５８】
図２（ｂ）において、入力特徴分布５１Ｂと辞書特徴分布２１ＢＢとの間の距離値Ｄは、ベクトルＰＱのノルムを計算することによっても得られるが、この方法では入力代表ベクトル５２Ａおよび辞書代表ベクトル６２の２個のデータしか用いないので、得られた距離値Ｄを実際の照合に用いても、照合性能が低く、高い認識率は得られない。これに対し、入力代表ベクトル５２Ａと辞書部分空間６３Ｃとの投影距離値ｄ1と、辞書代表ベクトル６２と入力部分空間５３Ｃとの投影距離値ｄ2とを統合することによって得られた距離値Ｄは、入力代表ベクトル５２Ａ、辞書代表ベクトル６２に加えて、Ｋ個の入力主成分ベクトル５３Ａ（および重み値５３Ｂ）と、Ｌ個の辞書主成分ベクトル６３Ａ（および重み値６３Ｂ）という、より多くのデータを利用して得られたものであるから、上述した方法と比較して、照合性能がはるかに高く、高い認識率が得られる。
【００５９】
また、入力部分空間５３Ｃと辞書部分空間６３Ｃとの角度ではなく、代表ベクトルおよび主成分ベクトルを用いて算出した分布間の距離値Ｄを照合に用いるので、図１５に示したような分布配置の場合でも、正確な照合が可能となる。
また、入力画像として複数の画像データ４Ａを用いるので、１つの入力画像データを用いて認識するシステムに比べると、照合性能がはるかに高い。
なお、距離値Ｄの計算に用いる辞書主成分ベクトル６３Ａおよび入力主成分ベクトル５３Ａは、ともに直交基底であることが好ましい。直交基底である主成分ベクトル６３Ａ，５３Ａを用いて距離値の計算を行うことにより、直交基底でない場合と比較して、短時間で高精度の照合結果を得ることができ、認識率を向上させることができるからである。
【００６０】
次に、図１に示した画像認識システムの辞書データ学習の動作について説明する。図７は、この辞書データ学習の動作の流れを示すフローチャートである。また、図８は、辞書学習に用いる学習画像の一例を示す図である。
まず、辞書学習に用いる学習画像群と、この学習画像群に対応するカテゴリＩＤを入力する（図７のステップＳ１）。この学習画像群は、例えば図８に示すように、カテゴリ１の学習画像データ９１、カテゴリ２の学習画像データ９２、カテゴリ３の学習画像データ９３のように、特定のカテゴリに属する複数（Ｍ個）の画像データからなる。
【００６１】
つぎに、入力されたＭ個の学習画像データのそれぞれに対して特徴抽出を行い、Ｍ個の辞書特徴データを得る（図７のステップＳ２）。つぎに、得られた辞書特徴データ群を代表する１つのベクトルを生成し、辞書代表ベクトルとする（図７のステップＳ３）。つぎに、辞書特徴データ群から辞書代表ベクトルを除いた成分について、その分布を代表するＬ個の辞書主成分ベクトルを含む辞書主成分データを生成する（図７のステップＳ４）。こうして得られた辞書代表ベクトルおよび辞書主成分データを辞書データとして、カテゴリＩＤによって分類し辞書格納部３に格納する（図７のステップＳ５）。
他のカテゴリについて学習するかどうかを判断し（図７のステップＳ６）、学習する場合には学習画像群の入力（図７のステップＳ１）から作業を繰り返す。作成が終了したら学習動作を終了する。
【００６２】
次に、図１に示した画像認識システムの認識動作について説明する。図９は、この認識動作の流れを示すフローチャートである。また、図１０は、認識対象の入力画像の一例を示す図である。
まず、認識対象の画像群を入力する（図９のステップＳ１１）。この入力画像群は、例えば図１０に示すように、同じ対象物体を撮影して得られた複数（Ｎ個）の画像データ９０からなる。
【００６３】
つぎに、入力されたＮ個の入力画像データのそれぞれに対して特徴抽出を行い、Ｎ個の入力特徴データを得る（図９のステップＳ１２）。つぎに、得られた入力特徴データ群を代表する１つのベクトルを生成し、入力代表ベクトルとする（図９のステップＳ１３）。つぎに、入力特徴データ群から入力代表ベクトルを除いた成分について、その分布を代表するＫ個の入力主成分ベクトルを含む入力主成分データを生成する（図９のステップＳ１４）。
【００６４】
つぎに、辞書格納部３にカテゴリ毎に格納されている辞書データを読み出し、入力代表ベクトルおよび入力主成分データを用いて、辞書データとの距離値をカテゴリ毎に計算する（図９のステップＳ１５）。そして、これらの中で最小の距離値を求める（図９のステップＳ１６）。
つぎに、最小距離値が閾値よりも小さいかどうかを判断する（図９のステップＳ１７）。最小距離値が閾値よりも小さいときは、最小距離となったカテゴリを認識結果として出力して終了する（図９のステップＳ１８）。逆に、最小距離値が閾値以上であるときは、該当クラスなしを出力して終了する（図９のステップＳ１９）。ここでは、最小距離値が閾値と等しい場合、ステップＳ１９に移行することとしたが、ステップＳ１８に移行するようにしてもよいことは言うまでもない。
【００６５】
（第２の実施の形態）
図１１は、本発明の第２の実施の形態である顔画像認識システムの構成を示すブロック図である。この顔画像認識システムは、顔画像検出部１００と、学習部１０２と、顔辞書格納部１０３と、照合部１０５とから構成されている。
顔画像検出部１００は、ビデオ映像などの画像シーケンスの各フレームから人間の顔が映っている顔画像データを選択する。辞書データ学習動作の際には、選択された顔画像データを学習部１０２に出力し、認識動作の際には、照合部１０５に出力する。顔画像データを選択する方法としては、人間の肌の色に近い色の領域の面積、動きのある領域の面積がある閾値以上になったときに顔があると判断する方法がある。また、人間が手動で顔が撮影された画像群を画面で見ながら選択する方法もある。
【００６６】
学習部１０２の動作は、図１における学習部２の動作と同じである。顔辞書格納部１０３の動作は、レコードとして人間の顔画像を対象とした辞書データが格納されることを除き、図１における辞書格納部３の動作と同じである。照合部１０５の動作は、図１における照合部５の動作と同じである。
図８に示す顔画像認識システムは、人間の顔を対象とし、入力された画像に映る人物が誰なのかを認識することができ、セキュリティ、監視、ヒューマンインターフェース等に利用することができる。
【００６７】
（第３の実施の形態）
図１２は、本発明の画像認識システムである第３の実施の形態の構成を示すブロック図である。この画像認識システムは、プログラム制御により動作するコンピュータ１１０と、識別対象画像及び学習画像を取り込みコンピュータ１１０に出力するカメラ１２１と、コンピュータ１１０に対してオペレータが認識の指示及び学習の指示を与えるための操作卓１２２と、コンピュータ１１０から出力された認識結果を表示する表示装置１２３とから構成されている。コンピュータ１１０は、演算処理部１１１と記憶部１１２とインタフェース部（以下、Ｉ／Ｆ部という）１１３1 〜１１３4 とがバス１１４に接続された構成となっている。Ｉ／Ｆ部１１３1 〜１１３3 は、コンピュータ１１０の外部装置であるカメラ１２１、操作卓１２２、表示装置１２３とインタフェースをとる。
【００６８】
コンピュータ１１０の動作を制御する画像認識プログラムは、磁気ディスク、半導体メモリその他の記録媒体１２４に記録された状態で提供される。この記録媒体１２４をＩ／Ｆ部１１３4 に接続すると、演算処理部１１１は記録媒体１２４に書き込まれた画像認識プログラムを読み出し、記憶部１１２に格納する。その後、操作卓１２２からの指示に基づき、演算処理部１１１が記憶部１１２に格納された画像認識プログラムを実行し、図１に示した学習部２と、辞書格納部３と、照合部５とを実現する。
なお、画像認識プログラムは、インターネットなどの電気通信回線を介して提供されてもよい。
【００６９】
コンピュータ１１０は、図７および図９のフローチャートに示す動作を行う。すなわち、操作卓１２２より学習の指示があり、カメラ１２１から学習画像データ群が入力されるとともに操作卓から対応するカテゴリＩＤが入力されると、学習画像データ群の特徴抽出を行い、得られた辞書特徴データ群を基に辞書代表ベクトルおよび辞書主成分データを生成し、この辞書代表ベクトルおよび辞書主成分データをカテゴリＩＤによって分類し、記憶部１１２によって構成される辞書格納部に辞書データとして格納する。つぎに、他のカテゴリについて学習するかどうかを判断し、学習する場合には学習画像データの入力から作業を繰り返す。作成が終了したら学習動作を終了する。
【００７０】
また、操作卓１２２より認識の指示があり、カメラ１２１から識別対象の画像データ群が入力されると、特徴抽出を行い、得られた入力特徴データ群を基に入力代表ベクトルおよび入力主成分データを生成する。つぎに、辞書格納部にカテゴリ毎に格納されている辞書データを読み出し、入力代表ベクトルおよび入力主成分データを用いて、辞書データとの距離値をカテゴリ毎に計算する。そして、これらの中で最小の距離値を求め、最小距離値が閾値よりも小さいかどうかを判断する。最小距離が閾値よりも小さいときは、最小距離となったカテゴリを認識結果として表示装置１２３に表示し、逆に最小距離が閾値以上であるときは、該当クラスがない旨を表示装置１２３に表示し、認識動作を終了する。
なお、演算処理部１１１が画像認識プログラムを実行することにより、図１１に示した顔画像検出部１００と、学習部１０２と、顔辞書格納部１０３と、照合部１０５とを実現させることもできる。
【００７１】
【発明の効果】
以上説明したように、本発明では、Ｋ個の入力主成分ベクトル、入力代表ベクトル、Ｌ個の辞書主成分ベクトルおよび辞書代表ベクトルを用いて入力部分空間と辞書部分空間との距離値を算出し、算出された距離値を照合に用いる。これにより、複数の入力特徴分布が同じ入力部分空間内に存在する場合でも、各入力特徴分布の配置が異なれば距離値も異なるので、入力画像群を正しく判別することができる。
また、本発明では、複数の入力画像を用い、しかも複数の入力画像から得られた多くのデータを有効に利用して距離値を算出し、この距離値を照合に用いるので、１つの入力画像を用いて認識を行なう場合と比較して、照合性能がはるかに高く、高い認識率が得られる。
したがって、同一物体の照明による変動、向きによる変動、変形などを吸収し、頑強な認識システムおよび方法を構築することが可能となる。
【００７２】
また、直交基底である主成分ベクトルを用いて距離値の計算を行うことにより、直交基底でない場合と比較して、短時間で高精度の照合結果を得ることができ、認識率を向上させることができる。
また、辞書主成分ベクトルおよび辞書代表ベクトルを生成する手段を設けることにより、または、かかる処理を行うことにより、辞書データの内容を随時更新し、急激な内容変化に対応することができる。
また、入力される画像シーケンスから顔画像データを選択する手段を設けることにより、または、かかる処理を行なうことにより、人間の顔画像を用いて画像中の人物を同定するシステムを構築することができる。
【図面の簡単な説明】
【図１】  本発明の第１の実施の形態である画像認識システムの構成を示すブロック図である。
【図２】  図１に示す画像認識システムによる処理を概念的に示す図である。
【図３】  辞書格納部の一構成例を示すブロック図である。
【図４】  識別部の一構成例を示すブロック図である。
【図５】  距離算出部の一構成例を示すブロック図である。
【図６】  距離算出部の動作を説明する概念図である。
【図７】  図１に示す画像認識システムの辞書データ学習の動作の流れを示すフローチャートである。
【図８】  辞書学習に用いる学習画像の一例を示す図である。
【図９】  図１に示す画像認識システムの認識動作の流れを示すフローチャートである。
【図１０】  認識対象の入力画像の一例を示す図である。
【図１１】  本発明の第２の実施の形態である顔画像認識システムの構成を示すブロック図である。
【図１２】  本発明の画像認識システムである第３の実施の形態の構成を示すブロック図である。
【図１３】  従来の画像認識システムの構成を示すブロック図である。
【図１４】  従来の画像認識システムで用いられる類似度を示す概念図である。
【図１５】  従来の画像認識システムの問題点を示す概念図である。
【符号の説明】
１…学習画像群入力部、１Ａ…学習画像データ１Ａ、１Ｂ…カテゴリＩＤ、２…学習部、３…辞書格納部、４…識別対象画像群入力部、５…照合部、５Ａ…認識結果、２１…学習画像特徴抽出部、２１Ａ…辞書特徴データ、２１Ｂ，２１Ｂ′…辞書特徴分布、２２…辞書代表ベクトル生成部、２２Ａ…辞書代表ベクトル、２３…辞書主成分データ生成部、２３Ａ…辞書主成分ベクトル、２３Ｂ…重み値、３１〜３Ｃ…レコード記憶部、５１…入力画像特徴抽出部、５１Ａ…入力特徴データ、５１Ｂ…入力特徴分布、５２…入力代表ベクトル生成部、５２Ａ…入力代表ベクトル、５３…入力主成分データ生成部、５３Ａ…入力主成分ベクトル、５３Ｂ…重み値、５３Ｃ…入力部分空間、５４…距離算出部、５４Ａ…距離値、５５…識別部、６１…レコード番号、６２…辞書代表ベクトル、６３…辞書主成分データ、６３Ａ…辞書主成分ベクトル、６３Ｃ…辞書部分空間、６４…カテゴリＩＤ、７１…最小値算出部、７２…閾値処理部、８１…入力投影距離算出部、８２…辞書投影距離算出部、８３…統合部、９０…識別対象の入力画像データ、９１〜９３…学習画像データ、１００…顔画像検出部、１０２…学習部、１０３…顔辞書格納部、１０５…照合部、１１０…コンピュータ、１１１…演算処理部、１１２…記憶部、１１３…インタフェース部、１１４…バス、１２１…カメラ、１２２…操作卓、１２３…表示装置、１２４…記憶媒体、５０１…画像入力部、５０２…辞書記憶部、５０３…部分空間間の角度計算部、５０４…認識部、５１１，５１１Ａ〜５１１Ｃ…入力特徴分布、５１２…入力部分空間、５２１…辞書特徴分布、５２２…辞書部分空間、Ｄ，ｄ1，ｄ2…距離値、Ｏ…座標系の原点、Ｐ…辞書代表ベクトルの終点、Ｑ…入力代表ベクトルの終点、Ｓ１〜Ｓ６…学習動作のステップ、Ｓ１１〜Ｓ１９…認識動作のステップ、Ｖ1…入力代表ベクトル、Ｖ2…辞書代表ベクトル、Θ…角度。
【図１】
0004099981.tif 000017
【図２】
0004099981.tif 000018
【図３】
0004099981.tif 000019
【図４】
0004099981.tif 000020
【図５】
0004099981.tif 000021
【図６】
0004099981.tif 000022
【図７】
0004099981.tif 000023
【図８】
0004099981.tif 000024
【図９】
0004099981.tif 000025
【図１０】
0004099981.tif 000026
【図１１】
0004099981.tif 000027
【図１２】
0004099981.tif 000028
【図１３】
0004099981.tif 000029
【図１４】
0004099981.tif 000030
【図１５】
0004099981.tif 000031