(57)【要約】【課題】  この発明は、ベクトル空間でのベクトル集合の分布やクラス境界を基底関数に基づいて近似するものにおいて、複雑なベクトル集合の分布やクラス境界に対して、従来より少ない基底ベクトル数で近似が可能である。【解決手段】  この発明は、ベクトル空間でのベクトル集合の分布やクラス境界を基底関数に基づいて近似するパターン認識方法において、２つの基底ベクトルの間に方向性のある（全方位に対称でない）基底関数を定義し、それらの線形結合で近似するものである。複雑なベクトル集合の分布やクラス境界に対して、従来より少ない基底ベクトル数で近似が可能である。【選択図】      図１
2007257295.tif 000002
【特許請求の範囲】
【請求項１】
ベクトル空間でのベクトル集合の分布やクラス境界を基底関数に基づいて近似するパターン認識方法において、
２つの基底ベクトルの間に方向性のある基底関数を定義し、それらの線形結合で近似することを特徴とするパターン認識方法。
【請求項２】
２つの基底ベクトル位置にピークをもち、両者間をその距離に応じた大きさの非線形な曲面で結ぶ特性をもつ基底関数を用いることを特徴とする請求項１に記載のパターン認識方法。
【請求項３】
２つの基底ベクトルを結ぶ線分にピークをもち、かつそれを芯として鉛直方向に広がる、両者間の距離に応じた大きさの円筒形の特性をもつ基底関数を用いることを特徴とする請求項１に記載のパターン認識方法。
【請求項４】
サンプルを入力しながら基底関数のパラメータを誤差最小基準で逐次的に更新していくことを特徴とする請求項１に記載のパターン認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ベクトル空間でのベクトル集合の分布や２つ以上のベクトル集合（クラス）間の境界を基底関数の線形結合で近似するパターン認識方法に関する。
【背景技術】
【０００２】
従来、Ｒａｄｉａｌ  Ｂａｓｉｓ  Ｆｕｎｃｔｉｏｎ（日本語では球状基底関数、動径基底関数、放射状基底関数など）と呼ばれる基底関数を用いる方法があった（以下、球状基底関数と呼ぶ）。球状基底関数は、いくつかの研究グループによって独立に提案されたものであり、一例として非特許文献１が挙げられる。球状基底関数は、中心にピークをもち、全方位に対称な関数である。中でも最もよく用いられるのがガウス型と呼ばれるものであり、下式のように表される。
【数１】
2007257295.tif 000003
【０００３】
ただし、ｘは入力されたパターンに対応するベクトル、ξｉはｉ番目の基底ベクトル（ガウス分布の位置を表すパラメータ）、σｉはｉ番目の標準偏差（ガウス分布の広がりを表すパラメータ）である。ｉ番目のガウス型基底関数の値ｏｉ（ｘ）は、非負であり、ｘがξｉに近いほど大きく、ｘ＝ξｉのときに最大値１となる。十分な数の基底関数を用意すれば、下式のような重み付き線形結合によって、任意のベクトル集合の分布を任意の精度で近似できる。
【数２】
2007257295.tif 000004
【０００４】
ただし、ｌはそのベクトル集合のクラス番号、ｗｌｉはｉ番目の基底関数のクラスｌへの寄与率（重みパラメータ）、Ｈ‘は基底関数の数である。この式は、未知の入力パターンがそのクラスにどれだけ類似しているかの度合い（類似度）を示すことにもなるので、クラス分類に用いることができる。例えば、
【数３】
2007257295.tif 000005
【０００５】
とすれば、基底関数がつくるクラス境界にしたがって入力パターンのクラスを決定できる。ただし、ａｒｇｍａｘ  ｌ［・］は類似度の最大値をもたらすクラスの番号である。
【０００６】
球状基底関数を用いるパターン認識方法は、一般的なシグモイド関数に基づくフィードフォワード型ニューラルネットと同様にパラメータを学習によって最適化できる上、一般的なニューラルネットと異なり個々の基底関数の類似度への寄与率が直観的で分かりやすいという利点をもつ。
【非特許文献１】論文「Ｊ．Ｅ．Ｍｏｏｄｙ  ａｎｄ  Ｃ．  Ｄａｒｋｅｎ，”Ｆａｓｔ  ｌｅａｒｎｉｎｇ  ｉｎ  ｎｅｔｗｏｒｋｓｏｆ  ｌｏｃａｌｌｙ−ｔｕｎｅｄ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔｓ，”Ｎｅｕｒａｌ  Ｃｏｍｐｕｔａｔｉｏｎ  １，ｐｐ．２８１−２９４，１９８９．」
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、一般に実世界から観測されたパターンに対応するベクトルの分布は複雑であることが多く、そのような分布の高精度な近似のためには多くの基底関数を用意しなければならなかった。また逆に、得られたサンプルが少ない場合、基底関数による近似が本来あるべき分布（母分布）より複雑になりすぎる状態（過学習）を引き起こすおそれがあった。
【０００８】
そこで、本発明では、ベクトル空間でのベクトル集合の分布やクラス境界を基底関数に基づいて近似するパターン認識方法において、２つの基底ベクトルの間に方向性のある（全方位に対称でない）基底関数を定義し、それらの線形結合でベクトル集合の分布やクラス境界を近似するパターン認識方法を提供するものである。
【課題を解決するための手段】
【０００９】
この発明は、ベクトル空間でのベクトル集合の分布やクラス境界を基底関数に基づいて近似するパターン認識方法において、２つの基底ベクトルの間に方向性のある基底関数を定義し、それらの線形結合で近似するものである。
【発明の効果】
【００１０】
この発明では、ベクトル空間でのベクトル集合の分布やクラス境界を基底関数に基づいて近似するパターン認識方法において、２つの基底ベクトルの間に方向性のある（全方位に対称でない）基底関数を定義し、それらの線形結合でベクトル集合の分布やクラス境界を近似するパターン認識方法を提供できる。
【発明を実施するための最良の形態】
【００１１】
以下、この発明の第１の実施形態について図面を参照して説明する。
【００１２】
図１は、本実施形態の処理動作のフローチャートを示したものである。図２は入力されたパターンに対応するベクトルと基底関数とベクトル集合の分布を示したものである。
【００１３】
まず、パターンを入力する（ＳＴ１）。ここでパターンとは、デジタル画像のピクセル値や特徴量の並びなど計算機で扱える数値の列のことを意味する。パターンは、それらの数値を要素とするベクトルとみなすことができる（ＳＴ２、３）。そこで、入力されたパターンに対応するベクトルを下式のようにｘと表す。
【数４】
2007257295.tif 000006
【００１４】
次に、基底関数の値を算出する（ＳＴ４から６）。本発明では２つの基底ベクトルの間に基底関数を定義するので、基底ベクトルの数をＨとすると、基底関数の数はＨ２となる。本実施形態では、２つの基底ベクトル位置にピークをもち、両者を結ぶ線分を中心に高い特性をもつ、下式のような基底関数ｏｉｊ（ｘ）を提案する。
【数５】
2007257295.tif 000007
【００１５】
ただし、ｘは入力されたパターンに対応するベクトル、ξｉはｉ番目の基底ベクトル、ξｊはｊ番目の基底ベクトル、σｉｊはｉ番目とｊ番目の基底ベクトルの間に定義された基底関数の標準偏差である。
【００１６】
この基底関数は、基底ベクトルを中心として見たときに全方位に対称でない（別の基底ベクトルの方向により高い特性をもつ）ことが従来の球状基底関数と本質的に異なる点である。図３は、本実施形態の基底関数の例を示したものである。本発明は「線形補間の仮説」、すなわち、「２つの基底ベクトルの間には、その距離が近いほど強い線形補間の関係がある」という仮説にしたがっている。図３では、基底ベクトル間の距離が遠・中・近の３通りの場合の基底関数の形を比較している。
【００１７】
球状基底関数と同様ｏｉｊ（ｘ）の値は、非負であり、ｘがξｉまたはξｊに近いほど大きく、ｘ＝ξｉまたはｘ＝ξｊのときに最大値１となる。さらに同様に、下式のような重み付き線形結合によって、ベクトル集合の分布ｙｌ（ｘ）を近似できる。（ＳＴ７、８）
【数６】
2007257295.tif 000008
【００１８】
ただし、ｌはそのベクトル集合のクラス番号、ｗｌｉｊはｉ番目とｊ番目の基底ベクトルの間に定義された基底関数のクラスｌへの寄与率、Ｈは基底関数の数である。
【００１９】
最後に、入力されたパターンがそのクラスにどれだけ類似しているかの度合いＣ（ｘ）（類似度）を下式により算出する。
【数７】
2007257295.tif 000009
【００２０】
ただし、ａｒｇｍａｘ  ｌ［・］は類似度の最大値をもたらすクラスの番号である。
【００２１】
本実施形態による基底関数は、従来の球状基底関数と同様、パラメータの学習が可能であり、類似度への寄与率が直観的で分かりやすいという利点をもつが、さらに、従来方法の問題点をも克服している。すなわち、複雑なベクトルの分布に対して、従来より少ない基底ベクトル数で近似が可能である。図４は、本実施形態によるパターン分布の近似を模式的に表したものである。本実施形態による基底関数は、図の実線で示すように楕円ないし円筒状の広がり（非対称性）をもつ特性なので、従来の円状（対称性）の広がりをもつ特性に比べて表現力が高い。
【００２２】
図５は、図４と同じパターン分布を従来の球状基底関数で近似した場合の模式図である。図５では、本実施形態の基底ベクトル数（３個）に対して従来はより多くの数の基底ベクトルを必要としていたことを模式的に示している。
【００２３】
一般に、複雑であっても局所的にみれば連続的（とくに線形）なパターン分布であれば、本発明による基底関数の補間能力によって基底ベクトル数を少なくできる。最悪の場合、すなわち補間がパターン分布の近似に全く貢献できない場合でも、従来の球状基底関数と同等である。
【００２４】
また、得られたサンプルが少ない場合でも、基底関数による近似が母分布より複雑になりすぎることなく、より母分布に近い近似が可能である。図６、図７は、得られたサンプルが少ない場合の本実施例によるパターン分布の近似を模式的に表したものである。本実施例による基底関数は、基底ベクトル間の補間という数学的モデルに基づき入力パターンの局所的な変動を予測するという意味をもつ。
【００２５】
図８は、図７と同じパターン分布を従来の球状基底関数で近似した場合の模式図である。図８では、従来の球状基底関数が得られた少量サンプルの周りだけに位置し、母分布とかなり異なった近似になっていることを模擬的に示している。
【００２６】
一般に、実世界から観測されたパターンの変動は局所的には連続しているため、本発明による基底関数の補間能力によって少ないサンプルから母分布をより正確に近似できる。
【００２７】
なお、本発明はこれに限定されず、２つの基底ベクトルの間に方向性のある（全方位に対称でない）基底関数を定義するものであれば、上記第１の実施形態とは独立に種々実施可能である。例えば、第２の実施形態として、下式のような基底関数を提案する。
【数８】
2007257295.tif 000010
【００２８】
ただし、ｘは入力されたパターンに対応するベクトル、ｈｉｊはｘからｉ番目とｊ番目の基底ベクトルを結ぶ線分におろした垂線の足、ξｉはｉ番目の基底ベクトル、ξｊはｊ番目の基底ベクトル、σｉｊはｉ番目とｊ番目の基底ベクトルの間に定義された基底関数の標準偏差である。
【００２９】
この基底関数は、２つの基底ベクトルを結ぶ線分を芯として、その鉛直方向に広がる円筒形の特性をもつ。ｈｉｊは実際にはｘ、ξｉ、ξｊを用いた式で表されるので、パラメータの数は第１の実施形態と同じである。第２の実施形態は、図４で非線形な曲面で示した第１の実施形態と異なり、２つの基底ベクトル間をその距離に応じた大きさの一定値で結ぶ特性をもつ。
【００３０】
第３の実施形態は、パラメータの学習に関するものである。本発明の基底関数にはｗｌｉｊ、ξｉ、ξｊ、σｉｊというパラメータがある。対象とするパターンの分布が既知であればその分布をもとにパラメータを定めればよいが、一般に実世界から得られるパターンの分布は未知であることが多い。
【００３１】
そこで、サンプルを学習することでパラメータを定める方法を提案する。図９は、本実施形態のフローチャートを示したものである。まず、パラメータを適当な値で初期化する（ＳＴ１１）。次に、得られたサンプルにつき、下式にしたがってパラメータを更新する（ＳＴ１２から１４）。
【数９】
2007257295.tif 000011
【００３２】
また、αは学習定数であり、正の定数である。このような更新を逐次行い、ε（ｘ，ｙ）が十分に小さくなった（あるいは学習が一定の回数を超えた）ときに学習を停止する。パラメータの学習は、上記第１の実施形態や第２の実施形態によるパターン認識処理とは独立に実施可能である。
【００３３】
上記したように、ベクトル空間でのベクトル集合の分布やクラス境界を基底関数に基づいて近似するパターン認識方法において、２つの基底ベクトルの間に方向性のある（全方位に対称でない）基底関数を定義し、それらの線形結合で近似することで、複雑なベクトル集合の分布やクラス境界に対して、従来より少ない基底ベクトル数で近似が可能である。また、得られたサンプルが少ない場合でも、基底関数による近似が従来のように母分布より複雑になりすぎることなく、より母分布に近い近似が可能である。
【００３４】
とくに、２つの基底ベクトル位置にピークをもち、両者間をその距離に応じた大きさの非線形な曲面で結ぶ特性をもつ基底関数を用いることで、距離が近いほど強い補間の関係があることをモデル化したベクトル集合の分布やクラス境界の近似が可能である。
【００３５】
また同じく、２つの基底ベクトルを結ぶ線分にピークをもち、かつそれを芯として鉛直方向に広がる、両者間の距離に応じた大きさの円筒形の特性をもつ基底関数を用いることで、距離が近いほど強い補間の関係があることをモデル化したベクトル集合の分布やクラス境界の近似が可能である。
【００３６】
さらに、サンプルを入力しながら基底関数のパラメータを誤差最小基準で逐次的に更新していくことで、対象とするパターンの分布が未知の場合でもパラメータを得ることができる。
【図面の簡単な説明】
【００３７】
【図１】この発明の一実施形態の処理動作を説明するためのフローチャート。
【図２】入力されたパターンに対応するベクトルと基底関数とベクトル集合の分布を示す図。
【図３】基底関数とベクトル集合の分布を示す図。
【図４】基底関数とベクトル集合の分布を示す図。
【図５】基底関数とベクトル集合の分布を示す図。
【図６】基底関数とベクトル集合の分布を示す図。
【図７】基底関数とベクトル集合の分布を示す図。
【図８】基底関数とベクトル集合の分布を示す図。
【図９】処理動作を説明するためのフローチャート。
【符号の説明】
【００３８】
ｘ…ベクトル、  Ｈ…基底ベクトルの数  ｏｉｊ（ｘ）…基底関数
【図１】
2007257295.tif 000012
【図２】
2007257295.tif 000013
【図３】
2007257295.tif 000014
【図４】
2007257295.tif 000015
【図５】
2007257295.tif 000016
【図６】
2007257295.tif 000017
【図７】
2007257295.tif 000018
【図８】
2007257295.tif 000019
【図９】
2007257295.tif 000020