(57)【要約】外れ値が存在する場合にも、正確にパターンを識別することのできる、パターン識別方法、パターン識別装置、及びパターン識別プログラムを提供する。識別対象である入力パターンと、予め用意された学習パターンとを、データとして読み込むステップと、仮想的に発生させた仮想パターンが前記入力パターンと前記学習パターンとの間に入る確率を、第１確率として計算するステップと、前記第１確率に基づいて、前記入力パターンの前記学習パターンに対する非類似度を計算するステップと、前記非類似度の大きさに基づいて、前記入力パターンが前記学習パターンに一致するか否かを識別するステップとを具備する。【特許請求の範囲】
【請求項１】
識別対象である入力パターンと、予め用意された学習パターンとを、データとして読み込むステップと、
仮想的に発生させた仮想パターンが前記入力パターンと前記学習パターンとの間に入る確率を、第１確率として計算するステップと、
前記第１確率に基づいて、前記入力パターンの前記学習パターンに対する非類似度を計算するステップと、
前記非類似度の大きさに基づいて、前記入力パターンが前記学習パターンに一致するか否かを識別するステップと、
を具備する
パターン識別方法。
【請求項２】
請求の範囲１に記載されたパターン識別方法であって、
前記非類似度を計算するステップは、前記第１確率の対数を、前記非類似度として計算するステップを含んでいる
パターン識別方法。
【請求項３】
請求の範囲１に記載されたパターン識別方法であって、
前記非類似度を計算するステップは、前記第１確率そのものを前記非類似度に決定するステップを含んでいる
パターン識別方法。
【請求項４】
請求の範囲１乃至３のいずれかに記載されたパターン識別方法であって、
前記入力パターン、前記学習パターン、及び前記仮想パターンのそれぞれは、複数の成分を含む多次元パターンであり、
前記第１確率として計算するステップは、
前記複数の成分のそれぞれについて、前記仮想パターンが前記入力パターンと前記学習パターンとの間に入る確率を、確率要素として計算するステップと、
前記複数の成分における前記確率要素の積を、前記第１確率として計算するステップとを含み、
前記確率要素として計算するステップは、前記複数の成分のうちのｉ番目の成分において前記入力パターン又は前記学習パターンが欠損していた場合に、前記ｉ番目の成分に対応する前記確率要素を１に決定するステップを含んでいる
パターン識別方法。
【請求項５】
請求の範囲４に記載されたパターン識別方法であって、
前記確率要素として計算するステップは、予め前記複数の成分の各々について用意された確率密度関数に基づいて、前記確率要素を計算するステップを含んでいる
パターン識別方法。
【請求項６】
請求の範囲５に記載されたパターン識別方法であって、
前記確率密度関数は、ランダムで発生させたデータが存在する確率を示す関数である
パターン識別方法。
【請求項７】
請求の範囲５に記載されたパターン識別方法であって、
前記確率密度関数は、一様に分布するように発生させたデータが存在する確率を示す関数である
パターン識別方法。
【請求項８】
識別対象である入力パターンと、予め用意された学習パターンとを、データとして読み込むステップと、
仮想的に発生させた仮想パターンが前記入力パターンと前記学習パターンとの間に入る確率を、第１確率として計算するステップと、
前記第１確率に基づいて、非類似度を計算するステップと、
前記非類似度の大きさに基づいて、前記入力パターンが前記学習パターンに一致するか否かを識別するステップと、
をコンピュータに実行させる為のパターン識別プログラム。
【請求項９】
請求の範囲８に記載されたパターン識別プログラムであって、
前記非類似度を計算するステップは、前記第１確率の対数を、前記非類似度として計算するステップを含んでいる
パターン識別プログラム。
【請求項１０】
請求の範囲８に記載されたパターン識別プログラムであって、
前記非類似度を計算するステップは、前記第１確率そのものを前記非類似度に決定するステップを含んでいる
パターン識別プログラム。
【請求項１１】
請求の範囲８乃至１０のいずれかに記載されたパターン識別プログラムであって、
前記入力パターン、前記学習パターン、及び前記仮想パターンは、複数の成分を含む多次元パターンであり、
前記第１確率として計算するステップは、
前記複数の成分のそれぞれについて、前記仮想パターンが前記入力パターンと前記学習パターンとの間に入る確率を、確率要素として計算するステップと、
前記複数の成分における前記確率要素の積を、前記第１確率として計算するステップとを含み、
前記確率要素として計算するステップは、前記複数の成分のうちのｉ番目の成分において、前記入力パターン又は前記学習パターンが欠損していた場合に、前記ｉ番目の成分に対応する前記確率要素を１に決定するステップを含んでいる
パターン識別プログラム。
【請求項１２】
請求の範囲１１に記載されたパターン識別プログラムであって、
前記確率要素として計算するステップは、前記複数の成分の各々について予め用意された確率密度関数に基づいて、前記確率要素を計算するステップを含んでいる
パターン識別プログラム。
【請求項１３】
請求の範囲１２に記載されたパターン識別プログラムであって、
前記確率密度関数は、ランダムに発生させたデータが存在する確率を示す関数である
パターン識別プログラム。
【請求項１４】
請求の範囲１２に記載されたパターン識別プログラムであって、
前記確率密度関数は、一様に分布するように発生させたデータが存在する確率を示す関数である
パターン識別プログラム。
【請求項１５】
識別対象である入力パターンと、予め用意された学習パターンとを、データとして読み込むデータ入力手段と、
仮想的に発生させた仮想パターンが前記入力パターンと前記学習パターンとの間に入る確率を、第１確率として計算する第１確率計算手段と、
前記第１確率に基づいて、非類似度を計算する非類似度計算手段と、
前記非類似度の大きさに基づいて、前記入力パターンが前記学習パターンに一致するか
否かを識別する識別手段と、
を具備する
パターン識別装置。
【請求項１６】
請求の範囲１５に記載されたパターン識別装置であって、
前記非類似度計算手段は、前記第１確率の対数を、前記非類似度として計算する
パターン識別装置。
【請求項１７】
請求の範囲１５に記載されたパターン識別装置であって、
前記非類似度計算手段は、前記第１確率を前記非類似度に決定する
パターン識別装置。
【請求項１８】
請求の範囲１５乃至１７のいずれかに記載されたパターン識別装置であって、
前記データ入力手段は、前記入力パターン、前記学習パターン、及び前記仮想パターンのそれぞれとして、複数の成分を含む多次元パターンを読み込み、
前記第１確率計算手段は、
前記複数の成分のそれぞれについて、前記仮想パターンが前記入力パターンと前記学習パターンとの間に入る確率を確率要素として計算する、確率要素計算手段と、
前記複数の成分における前記確率要素の積を、前記第１確率として計算する、積算手段とを含み、
前記確率要素計算手段は、前記複数の成分のうちのｉ番目の成分において、前記入力パターン又は前記学習パターンが欠損していた場合に、前記ｉ番目の成分に対応する前記確率要素を１に決定する
パターン識別装置。
【請求項１９】
請求の範囲１８に記載されたパターン識別装置であって、
更に、
前記確率要素計算手段は、前記複数の成分の各々について予め用意された確率密度関数に基づいて、前記仮想パターンが前記入力パターンと前記学習パターンとの間に入る確率を計算する
パターン識別装置。
【請求項２０】
請求の範囲１９に記載されたパターン識別装置であって、
前記確率密度関数は、ランダムに発生させたデータが存在する確率を示す関数である
パターン識別装置。
【請求項２１】
請求の範囲２０に記載されたパターン識別装置であって、
前記確率密度関数は、一様に分布するように発生させたデータが存在する確率を示す関数である
パターン識別装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パターンを識別するパターン識別方法、パターン識別装置、及びパターン識別プログラムに関する。
【背景技術】
【０００２】
パターンの識別に関する技術は、画像認識・音声認識・データマイニングなどの幅広い分野に応用される。パターンを識別する際には、識別対象のパターン（以下、入力パターンと記載される）が、予め用意されたパターン（以下、学習パターン）と比較され、入力パターンが学習パターンに一致しているか否かが判断される。【０００３】
パターンの識別技術に対して、識別精度を向上させることが望まれている。しかしながら、入力パターンは、常に完全な状態で与えられるとは限らない。入力パターンの一部の成分が、本来の値とは関係のない値（外れ値）であることがある。例えば画像認識の場合、入力パターンにオクルージョンが存在することがある。オクルージョンは、本来比較すべき対象ではない部分の画像であり、外れ値の原因となる。また、音声認識の場合、突発的な短時間ノイズが識別対象の音声に重畳することがある。このような短時間ノイズも外れ値の原因になり易い。【０００４】
入力パターンに対しては、通常、前処理としてノイズ除去が施される。しかし、ノイズ除去だけで外れ値に対処することは非常に困難である。従って、より正確に、パターンの識別を行うことのできる技術が望まれている。すなわち、識別のロバスト性を高めることが望まれている。【０００５】
識別のロバスト性を高める手法の一つとして、入力パターンと学習パターンとの類似度あるいは非類似度を用いることにより、識別性能の向上を図る手法が提案されている。特許文献１（特開２００６−３９６５８号公報）には、部分画像間の非類似度に相当する順序関係を用いて、識別を行うことが記載されている。また、特許文献２（特開２００４−３４１９３０号公報）には、同じカテゴリー間の類似度として、距離の逆数を用いる投票法により、外れ値に対処する手法が示されている。また、非特許文献３には、Ｌ１／ｋノルム（ｋは２以上の整数）をＤ次元空間における距離尺度として用いることが記載されている。これにより、ノイズに対するロバスト性が向上する旨が記載されている。【０００６】
一方で、パターン識別に関しては、パターンの次元に関する課題も存在する。パターンの識別に関する技術を画像認識や音声認識などに応用する場合、成分の数が増えることが多い。すなわち、入力パターンの次元が高くなることが多い。入力パターンの次元が高くなると、球面集中現象により、パターンの識別精度が低下することが知られている（例えば、非特許文献１、２参照）。【０００７】
入力パターンが高次元であっても精度良くパターンを識別する為に、入力パターンの次元を削減する手法が採用される。次元削減の手法としては、例えば、主成分分析や多次元尺度法などが知られている。また、非特許文献２には、効率的に次元削減を行うための代表的な方法が記載されている。【０００８】
その他、発明者が知りえた関連技術として、特許文献３（特開２０００−６７２９４号公報）及び特許文献４（特表平１１−５１３１５２号公報）が挙げられる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００６−３９６５８号公報
【特許文献２】特開２００４−３４１９３０号公報
【特許文献３】特開２０００−６７２９４号公報
【特許文献４】特表平１１−５１３１５２号公報
【非特許文献】
【００１０】
【非特許文献１】Ｋ．Ｂｅｙｅｒ，  Ｊ．Ｇｏｌｄｓｔｅｉｎ，  Ｒ．Ｒａｍａｋｒｉｓｈｎａｎ，  Ｕ．Ｓｈａｆｔ；Ｗｈｅｎ  Ｉｓ  “Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｒ”Ｍｅａｎｉｎｇｆｕｌ？，ｉｎ  Ｐｒｏｃｅｅｄｉｎｇ  ｏｆ  ｔｈｅ  ７ｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｄａｔａｂａｓｅ  Ｔｈｅｏｒｙ，  Ｌｅｃｔｕｒｅ  Ｎｏｔｅｓ  Ｉｎ  Ｃｏｍｐｕｔｅｒ  Ｓｃｉｅｎｃｅ，  ｖｏｌ．１５４０，  ｐｐ．２１７−２３５，  Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ，  Ｌｏｎｄｏｎ，  １９９９．
【非特許文献２】神嶌：  データマイニング分野のクラスタリング手法（２）−大規模データへの挑戦と次元の呪いの克服−，人工知能学会誌，１８，Ｎｏ．２，ｐｐ．１７０−１７６，２００３．
【非特許文献３】Ｃ．Ｃ．Ａｇｇａｒｗａｌ，  Ａ．Ｈｉｎｎｅｂｕｒｇ，  Ｄ．Ａ．Ｋｅｉｍ；Ｏｎ  ｔｈｅ  Ｓｕｒｐｒｉｓｉｎｇ  Ｂｅｈａｖｉｏｒ  ｏｆ  Ｄｉｓｔａｎｃｅ  Ｍｅｔｒｉｃｓ  ｉｎ  Ｈｉｇｈ  Ｄｉｍｅｎｓｉｏｎａｌ  Ｓｐａｃｅ，  Ｌｅｃｔｕｒｅ  Ｎｏｔｅｓ  ｉｎ  Ｃｏｍｐｕｔｅｒ  Ｓｃｉｅｎｃｅ，  Ｖｏｌ．１９７３，  Ｓｐｒｉｎｇｅｒ，  ２００１．
【発明の概要】
【００１１】
高次元（Ｄ次元）の入力パターンＸ（１）＝（ｘ（１）１、・・・、ｘ（１）Ｄ）と学習パターンＸ（２）＝（ｘ（２）１、・・・、ｘ（２）Ｄ）と非類似度（類似度）を算出するために、入力パターンＸ（１）と学習パターンＸ（２）との間の距離を用いることが考えられる。すなわち、距離が大きいほど、類似度が低い（非類似度が高い）と考えられる。
【００１２】
入力パターンＸ（１）と学習パターンＸ（２）との間の距離ｄ２（Ｄ）（Ｘ（１）、Ｘ（２））として、下記数式１で示されるＬ２ノルムを用いることが考えられる。
【００１３】
[数１]
2009151002.tif 000002
【００１４】
しかし、Ｌ２ノルムを用いた場合、Ｄ次元パターンの各成分のうち、距離が小さい成分が非類似度に与える影響度が、距離が大きい成分が与える影響と比べて、はるかに小さくなる。入力パターンと学習パターンのいずれかに、外れ値が含まれているものとする。このとき、外れ値を有する成分では、入力パターンと学習パターン間の距離が大きくなり易い。従って、外れ値を有する成分ほど、非類似度へ与える影響度が大きくなり、正確な識別が難しくなる。また、次元Ｄが大きくなると、外れ値が現れる確率が高くなる。そのため、高次元パターンでは、パターンを識別することが一層困難になる。
【００１５】
外れ値の影響を少なくする為の手法として、下記数式２で示されるＬ１／ｋノルム（ｋは２以上の整数）を、Ｄ次元の入力パターンＸ（１）＝（ｘ（１）１、・・・、ｘ（１）Ｄ）と学習パターンＸ（２）＝（ｘ（２）１、・・・、ｘ（２）Ｄ）間の距離ｄ１／ｋ（Ｄ）（Ｘ（１）、Ｘ（２））として用いることが考えられる。
【００１６】
[数２]
2009151002.tif 000003
【００１７】
距離として、Ｌαノルム（αは正の実数）が用いられる場合、αが小さいほど識別時のロバスト性が高くなる。これは、αが小さくなるに従って、距離が大きい成分の影響が小さくなり、外れ値の影響が相対的に小さくなるためである。Ｌ１／ｋノルムを距離として用いることにより、外れ値の非類似度に対する影響が少なくなり、高次元パターンにおいてもパターンを正確に識別し易くなると考えられる。
【００１８】
しかし、Ｌ１／ｋノルムを用いた場合でも、依然として、外れ値の影響を完全に無くすことは困難であった。
【００１９】
従って、本発明の目的は、外れ値が存在する場合にも、正確にパターンを識別することのできる、パターン識別方法、パターン識別装置、及びパターン識別プログラムを提供することにある。
【００２０】
本発明に係るパターン識別方法は、識別対象である入力パターンと、予め用意された学習パターンとを、データとして読み込むステップと、仮想的に発生させた仮想パターンが前記入力パターンと前記学習パターンとの間に入る確率を、第１確率として計算するステップと、前記第１確率に基づいて、前記入力パターンの前記学習パターンに対する非類似度を計算するステップと、前記非類似度の大きさに基づいて、前記入力パターンが前記学習パターンに一致するか否かを識別するステップとを具備する。
【００２１】
本発明に係るパターン識別プログラムは、識別対象である入力パターンと、予め用意された学習パターンとを、データとして読み込むステップと、仮想的に発生させた仮想パターンが前記入力パターンと前記学習パターンとの間に入る確率を、第１確率として計算するステップと、前記第１確率に基づいて、非類似度を計算するステップと、前記非類似度の大きさに基づいて、前記入力パターンが前記学習パターンに一致するか否かを識別するステップとをコンピュータに実行させるためのプログラムである。
【００２２】
本発明に係るパターン識別装置は、識別対象である入力パターンと、予め用意された学習パターンとを、データとして読み込むデータ入力手段と、仮想的に発生させた仮想パターンが前記入力パターンと前記学習パターンとの間に入る確率を、第１確率として計算する第１確率計算手段と、前記第１確率に基づいて、非類似度を計算する非類似度計算手段と、前記非類似度の大きさに基づいて、前記入力パターンが前記学習パターンに一致するか否かを識別する識別手段とを具備する。
【００２３】
本発明によれば、外れ値が存在する場合にも、正確にパターンを識別することのできる、パターン識別方法、パターン識別装置、及びパターン識別プログラムが提供される。
【図面の簡単な説明】
【００２４】
【図１】第１の実施形態に係るパターン識別装置を示す概略ブロック図である。
【図２】第１の実施形態に係るパターン識別方法を示すフローチャートである。
【図３】第１の実施形態に係るパターン識別方法を示すフローチャートである。
【図４】第２の実施形態に係るパターン識別装置を示す概略ブロック図である。
【発明を実施するための形態】
【００２５】
（第１の実施形態）
図１は、本実施形態に係るパターン識別システムを示す概略ブロック図である。このパターン識別システムは、パターン識別装置１０と、外部記憶装置２０と、出力装置３０とを備えている。
【００２６】
外部記憶装置２０には、入力データと学習データ群とがデータとして格納されている。入力データは識別対象となるパターンを与えるデータである。学習データ群は、学習パターンを与えるデータ群である。学習パターン群は、識別の基準として入力パターンと比較されるパターンである。学習データ群は、学習データをリストとして複数含んでいる。外部記憶装置２０は、例えば、ハードディスクなどにより構成される。
【００２７】
パターン識別装置１０は、入力パターンがどの学習パターンに一致するかを識別する装置である。パターン識別装置１０は、入力装置１３と、検索装置１４と、非類似度計算装置１１と、各種データを格納するメモリ１５と、識別装置１２とを備えている。入力装置１３、検索装置１４、非類似度計算装置１１、及び識別装置１２は、例えば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等に格納されたパターン識別プログラムにより実現される。
【００２８】
入力装置１３は、入力パターンを読み込む為の装置である。入力装置１３は、入力データに基づいて、複数の特徴（成分）を抽出する。そして、各成分の特徴量ｘを求め、入力パターンＸ（１）＝（ｘ（１）１、・・・、ｘ（１）Ｄ）を生成する。生成された入力パターンＸ（１）は、パターン識別装置１０内に読み込まれる。入力パターンＸ（１）＝（ｘ（１）１、・・・、ｘ（１）Ｄ）において、ｘ（１）ｎ（ｎは正の整数）は、ｎ番目の成分の特徴量ｘを示している。Ｄは成分の数を示しており、すなわち入力パターンＸ（１）の次元がＤ次元であることを示している。
【００２９】
検索装置１４は、学習パターン群から学習パターンを読み込むための装置である。検索装置１４は、学習データ群から学習データを検索する。そして、該当した学習データに基づいて、入力装置１３と同様に、複数の特徴（成分）を抽出する。そして、各成分の特徴量を求め、Ｄ次元の学習パターンＸ（２）＝（ｘ（２）１、・・・、ｘ（２）Ｄ）を生成する。生成された学習パターンＸ（２）は、パターン識別装置１０内に読み込まれる。
【００３０】
非類似度計算装置１１は、入力パターンＸ（１）と学習パターンＸ（２）との非類似度を計算する装置である。非類似度計算装置１１は、第１確率計算部１６及び非類似度計算部１７を備えている。第１確率計算部１６は、確率要素計算部１８及び積算部１９を備えている。
【００３１】
識別装置１２は、非類似度に基づいて入力パターンＸ（１）が学習パターンＸ（２）に一致するか否かを識別する装置である。
【００３２】
メモリ１５には、確率密度関数データ１５−１と、識別用の閾値１５−２とが予め格納されている。
【００３３】
確率密度関数データ１５−１は、確率密度関数ｑ（ｘ）を与えるデータである。その確率密度関数ｑ（ｘ）は、特徴量ｘの関数であり、定義域内でランダムにデータを発生させたときにそのデータが存在する確率を示す。確率密度関数データ１５−１は、Ｄ個の成分のそれぞれについて、確率密度関数を与える。すなわち、確率密度関数データ１５−１は、Ｄ個の成分について、それぞれ、確率密度関数ｑ１（ｘ１）、・・・、ｑｄ（ＸＤ）を与える。
【００３４】
識別用の閾値１５−２は、入力パターンが学習パターンに一致するか否かを識別する際の基準として用いられる値を示すデータである。
【００３５】
出力装置３０は、表示画面を備える表示装置などに例示される。パターン識別装置１０により識別された結果は、出力装置３０に出力される。
【００３６】
続いて、本実施形態に係るパターン識別方法について説明する。
【００３７】
図２は、本実施形態に係るパターン識別方法を示すフローチャートである。
【００３８】
ステップＳ１０；入力パターンの読み込み
まず、外部記憶装置２０に格納された入力データが、入力装置１３を介して、パターン識別装置１０内に読み込まれる。入力装置１３は、入力データに基づいて、複数（Ｄ個）の特徴（成分）を抽出する。そして、各成分の特徴量ｘを求め、入力パターンＸ（１）＝（ｘ（１）１、・・・ｘ（１）Ｄ）を生成する。生成された入力パターンＸ（１）は、パターン識別装置１０内に読み込まれる。
【００３９】
ステップＳ２０；学習パターンの読み込み
次に、検索装置１４が、外部記憶装置２０に格納された学習データ群から、学習パターンをパターン識別装置１０内に読み込む。検索装置１４は、入力装置１４と同様に、学習データに基づいて複数（Ｄ個）の成分を抽出する。そして、各成分の特徴量を求め、学習パターンＸ（２）＝（ｘ（２）１、・・・ｘ（２）Ｄ）を生成する。生成された学習パターンＸ（２）は、パターン識別装置１０に読み込まれる。
【００４０】
ステップＳ３０；非類似度の計算
続いて、非類似度計算装置１１が、入力パターンＸ（１）と学習パターンＸ（２）間の非類似度を計算する。本ステップにおける処理については後に詳述する。
【００４１】
ステップＳ４０；データ対は一致したか？
続いて、識別装置１２が、非類似度をメモリ１５に格納された識別用の閾値１５−２と比較する。識別装置１２は、比較結果に基づいて、入力パターンが学習パターンに一致するか否かを識別する。
【００４２】
ステップＳ５０；識別結果の出力
ステップＳ４０において、入力パターンが学習パターンに一致する場合、識別装置１２は出力装置３０を介して入力パターンがその学習パターンに一致する旨を出力する。
【００４３】
ステップＳ６０；全ての学習パターンについて処理したか？
一方、ステップＳ４０において、入力パターンが学習パターンに一致しない場合には、検索装置１４により、外部記憶装置２０の学習データ群から次の学習パターンが読み込まれ、ステップＳ２０以降の処理が繰り返される。学習データ群の全ての学習データについて処理がなされていた場合には、識別装置１２が、一致する学習パターンが存在しなかった旨を出力装置３０を介して出力する。
【００４４】
以上の一連の処理により、入力パターンがどの学習パターンに一致するかが識別される。
【００４５】
本実施形態では、非類似度の計算を行うステップ（ステップＳ３０）の処理が工夫されている。
【００４６】
図３は、ステップＳ３０の動作を詳細に示すフローチャートである。ステップＳ３０では、第１確率計算部１６が、仮想的に発生させたパターンＸ（３）＝（ｘ（３）１、・・・、ｘ（３）Ｄ）（以下、仮想パターン）が入力パターンＸ（１）と学習パターンＸ（２）との間に入る確率を、第１確率として計算する（ステップＳ３１、３２）。そして、非類似度計算部１７が、第１確率の対数を非類似度として計算する（ステップＳ３３）。以下に、各ステップの処理を更に詳細に説明する。
【００４７】
ステップＳ３１；確率要素の計算
まず、確率要素計算部１８が、Ｄ次元の成分のそれぞれについて、仮想パターンＸ（３）が入力パターンＸ（１）と学習パターンＸ（２）との間に入る確率を、確率要素ｐ（ｘ（１）ｉ、ｘ（２）ｉ）として計算する。この確率要素ｐ（ｘ（１）ｉ、ｘ（２）ｉ）は、確率密度関数ｑｉ（ｘｉ）を利用して、計算される。すなわち、ｉ番目の成分ｘｉに関して、確率要素ｐ（ｘ（１）ｉ、ｘ（２）ｉ）は、下記数式３によって求められる。
【００４８】
[数３]
2009151002.tif 000004
【００４９】
ステップＳ３２；積の算出
続いて、積算出部１９が、仮想パターンＸ（３）におけるＤ個の成分の全てが入力パターンＸ（１）と学習パターンＸ（２）との間に入る確率を、第１確率Ｐ（Ｘ（１）、Ｘ（２））として計算する。この第１確率Ｐ（Ｘ（１）、Ｘ（２））は、ステップＳ３１で求めた確率要素ｐ（ｘ（１）ｉ、ｘ（２）ｉ）の積を求めることにより、計算できる。すなわち、第１確率Ｐ（Ｘ（１）、Ｘ（２））は、下記数式４により、計算される。
【００５０】
[数４]
2009151002.tif 000005
【００５１】
求められた第１確率Ｐ（Ｘ（１）、Ｘ（２））は、入力パターンＸ（１）の定義域内にランダムに与えられた仮想パターンＸ（３）が、偶然に入力パターンＸ（１）と学習パターンＸ（２）の間に入る確率を示している。したがって、この第１確率Ｐが小さいほど、入力パターンＸ（１）と学習パターンＸ（２）の間の相違が小さいといえる。この場合、入力パターンＸ（１）と学習パターン（２）とが類似したパターンであるということになる。
【００５２】
ステップＳ３３；非類似度の計算
次に、非類似度計算部１７が、第１確率Ｐ（Ｘ（１）、Ｘ（２））の対数を、非類似度Ｅ（Ｄ）（Ｘ（１）、Ｘ（２））として計算する。すなわち、非類似度計算部１７は、下記数式５により、非類似度Ｅ（Ｄ）（Ｘ（１）、Ｘ（２））を計算する。
【００５３】
[数５]
2009151002.tif 000006
【００５４】
以上説明したステップＳ３１〜Ｓ３３の処理により、入力パターンＸ（１）と学習パターンＸ（２）との非類似度Ｅ（Ｄ）（Ｘ（１）、Ｘ（２））が計算される。計算された非類似度は、確率の対数であるので、非正の値になる。また、第１確率Ｐ（Ｘ（１）、Ｘ（２））が大きいほど、非類似度Ｅ（Ｄ）（Ｘ（１）、Ｘ（２））も大きくなり、非類似度が大きい（類似度が小さい）ことが表現される。
【００５５】
続いて、本実施形態における作用について説明する。
【００５６】
本実施形態で求められる非類似度Ｅ（Ｄ）（Ｘ（１）、Ｘ（２））は、入力パターンＸ（１）と学習パターンＸ（２）の距離が小さいほど、小さい値をとる。この点については、入力パターンと学習パターンとの間の距離Ｌ１／ｋノルム（数式２参照）に基づいて、非類似度を算出する場合と同様である。
【００５７】
しかし、Ｌ１／ｋノルムは非負の値をとるのに対し、本実施形態の非類似度は非正の値をとる。Ｌ１／ｋノルムを非類似度として用いる場合、外れ値などの距離が遠い成分は、類似度に対するペナルティが課される。すなわち、ｋが大きく設定されれば、ｋが小さく設定された場合よりも、外れ値である成分が類似度（非類似度）に与える影響が小さくなる。しかし、Ｄ個の成分の中では、外れ値の成分が非類似度に与える影響は、依然として大きい。
【００５８】
これに対して、本実施形態では、値が近い成分に対して類似度が加点されることになる。そのため、Ｄ個の成分の中では、外れ値である成分が非類似度に与える影響が、最も小さくなり易い。この点について以下に説明する。
【００５９】
ｉ番目の成分の確率要素ｐ（ｘ（１）ｉ、ｘ（２）ｉ）が非類似度へ与える寄与を、Ｅｉ（Ｘ（１），Ｘ（２））として定義する。また、非類似度Ｅ（Ｄ）（Ｘ（１）、Ｘ（２））は、全ての成分の寄与Ｅｉ（Ｘ（１），Ｘ（２））の合計としてあたえられるものとする。すなわち、非類似度Ｅ（Ｄ）（Ｘ（１）、Ｘ（２））と寄与Ｅｉ（Ｘ（１），Ｘ（２））との間には、下記数式６が成り立つものとする。
【００６０】
[数６]
2009151002.tif 000007
【００６１】
ここで、数式４乃至６より、下記数式７が成り立つ。
[数７]
2009151002.tif 000008
【００６２】
数式７より、ｉ番目の成分の寄与Ｅｉ（Ｘ（１）、Ｘ（２））は、下記数式８によって表される。
【００６３】
[数８]
2009151002.tif 000009
【００６４】
数式８を参照すれば、ｉ番目の成分の寄与Ｅｉ（Ｘ（１）、Ｘ（２））は、確率の対数であるので、常に、０または負の値をとることが分かる。すなわち、下記数式９が成り立つことが分かる。
【００６５】
[数９]
2009151002.tif 000010
【００６６】
外れ値である成分では、入力パターンＸ（１）と学習パターンＸ（２）との間で特徴量の差が大きくなる。従って、確率要素ｐ（ｘ（１）ｉ、ｘ（２）ｉ）が大きくなる。これにより、外れ値である成分の寄与Ｅｉ（Ｘ（１）、Ｘ（２））は、大きくなる。しかし、寄与Ｅｉ（Ｘ（１）、Ｘ（２））は、０又は負の数（非正の数）であり、Ｅｉ（Ｘ（１）、Ｘ（２））の絶対値は小さくなる。寄与Ｅｉ（Ｘ（１）、Ｘ（２））の絶対値が小さいということは、非類似度の計算結果に与える影響が少ないということである。すなわち、外れ値である成分が非類似度に与える影響は、全ての成分の中で最も小さくなり易い。逆に、類似した成分では、確率要素ｐ（ｘ（１）ｉ、ｘ（２）ｉ）が小さくなり、寄与Ｅｉ（Ｘ（１）、Ｘ（２））の絶対値が大きくなり易い。すなわち、非類似度の計算結果に与える影響が大きくなり易い。
【００６７】
このように、本実施形態では、Ｄ個の成分のなかで、外れ値である成分ほど、非類似度に与える影響が小さくなる。これにより、高次元パターンでも、パターンを正確に識別することができる。この性質によって、例えばオクルージョンがある場合の画像認識においても、本来比較すべき対象ではないオクルージョン部分の寄与を小さくすることが可能となる。
【００６８】
（第２の実施形態）
続いて、本発明の第２の実施形態について説明する。図４は、本実施形態に係るパターン識別装置の構成を示す概略ブロック図である。本実施形態では、第１の実施形態と比較して、非類似度計算部が削除されている。その他の点については、第１の実施形態と同様とすることができるので、詳細な説明は省略する。
【００６９】
本実施形態では、第１の実施形態に対して、非類似度の計算を行うステップ（ステップＳ３０）の処理が変更されている。すなわち、本実施形態では、第１確率そのものが、非類似度として扱われる。
【００７０】
本実施形態のように、第１確率そのものを用いても、非類似度に、入力パターンＸ（１）と学習パターン（３）とがどれだけ類似（非類似）しているかを反映させることができる。
【００７１】
非類似度として第１確率そのものを用いた場合、識別用しきい値は、本来は入力パターンがその学習パターンに一致していないにも関わらず、入力パターンが学習パターンに一致すると判定されてしまう確率を示しているともいえる。従って、識別用しきい値を決定する際に、期待するエラー率そのものを用いることができる。例えば、エラー率として０．０１％程度の値を期待する場合、識別用しきい値を０．０１％に設定すればよい。このように、本実施形態によれば、パターン識別装置におけるパラメータ設定を行い易くなる。
【００７２】
（第３の実施形態）
続いて、本発明の第３の実施形態について説明する。本実施形態では、既述の実施形態に対して、非類似度計算装置１１の処理（非類似度を計算するステップＳ３０の処理）が更に工夫されている。その他の点については、既述の実施形態と同様とすることができるので、詳細な説明は省略する。
【００７３】
指紋認識などでは、入力パターンにおいて、一部の特徴（成分）のデータが欠損していることが多い。データが欠損している場合、非類似度の算出が困難になることがある。
【００７４】
例えば、既述のＬ１／ｋノルムを用いる手法（数式２参照）は、欠損値を含むパターンの識別には適さない。Ｌ１／ｋノルムを用いて、Ｄ次元の入力パターンＸ（１）＝（ｘ（１）１、・・・、ｘ（１）Ｄ）と学習パターンＸ（２）＝（ｘ（２）１、・・・、ｘ（２）Ｄ）間の距離ｄ１／ｋ（Ｄ）（Ｘ（１）、Ｘ（２））を求めたとする。また、Ｄ次元の入力パターンのうちからｄ個の成分が欠損値として除かれたＤ−ｄ次元の入力パターンＸ（１）について、学習パターンＸ（２）との間の距離ｄ１／ｋ（Ｄ−ｄ）（Ｘ（１）’、Ｘ（２）’）を求めたとする。そして、距離ｄ１／ｋ（Ｄ）（Ｘ（１）、Ｘ（２））と距離ｄ１／ｋ（Ｄ−ｄ）（Ｘ（１）’、Ｘ（２）’）とを比較したとする。比較の結果は、ｄ１／ｋ（Ｄ−ｄ）（Ｘ（１）、Ｘ（２）’）≦ｄ１／ｋ（Ｄ）（Ｘ（１）、Ｘ（２））となる。すなわち、データ欠損がある場合のほうが、入力パターンと学習パターン間の距離が小さくなり、入力パターンと学習パターンとが類似していると判断されてしまう。
【００７５】
そのため、本実施形態では、欠損値に対処する為の工夫が施されている。
【００７６】
本実施形態では、入力パターンＸ（１）又は学習パターンＸ（２）においてある成分の値が欠損値であった場合に、確率要素計算部１８が、その成分の確率要素ｐ（ｘ（１）ｉ、ｘ（２）ｉ）を１として計算する（下記数式１０参照）。
【００７７】
[数１０]
2009151002.tif 000011
【００７８】
これにより、欠損値である成分の確率要素が非類似度へ与える寄与は、ゼロとなる（下記数式１１参照）。
【００７９】
[数１１]
2009151002.tif 000012
【００８０】
したがって、欠損値を含まない二つのＤ次元パターンＸ（１）とＸ（２）の非類似度Ｅ（Ｄ）（Ｘ（１）、Ｘ（２））は、ｄ個の成分を欠損値として除いた（Ｄ−ｄ）次元パターンＸ（１）’とＸ（２）’間の非類似度Ｅ（Ｄ−ｄ）（Ｘ（１）’、Ｘ（２）’）よりも、必ず小さくなる。従って、欠損値が存在する場合のほうが、類似度が小さくなる。これにより、Ｌ１／ｋノルムを用いたときと異なり、非類似度に、Ｅ（Ｄ−ｄ）（Ｘ（１）’、Ｘ（２）’）≧Ｅ（Ｄ）（Ｘ（１）、Ｘ（２））という性質を持たせることができる。例えば指紋識別など、入力パターンの一部の特徴量が欠損していることが考えられる場合にも、データ欠損がない方が類似していると判定することが可能となる。
【００８１】
（第４の実施形態）
続いて、本発明の第４の実施形態について説明する。本実施形態では、既述の実施形態に対して、確率密度関数データ１５−１が変更されている。既述の実施形態では、確率密度関数として、定義域内にランダムに発生させたデータが存在する確率を示す関数が与えられる。これに対して、本実施形態における確率密度関数は、定義域内に一様に分布するように与えたデータが存在する確率を示す関数である。
【００８２】
本実施形態のように、確率密度関数として、一様分布関数を用いても、既述の実施形態と同様の作用を奏することができる。
【００８３】
この出願は、２００８年６月１１日に出願された特許出願番号２００８−１５２９５２号の日本特許出願に基づいており、その出願による優先権の利益を主張し、その出願の開示は、引用することにより、そっくりそのままここに組み込まれている。
【図１】
2009151002.tif 000013
【図２】
2009151002.tif 000014
【図３】
2009151002.tif 000015
【図４】
2009151002.tif 000016