(57)【要約】【課題】分類問題において、サポートベクターマシンでの学習結果における新たな指標を導入することによって、少ない学習パターン数においても特徴セットの有効性を評価することを可能にする。【解決手段】本発明は、学習パラメータ記憶手段から読み出した学習パラメータを用いて評価対象学習パターンについて学習し、学習結果からサポートベクターの数を取得し、サポートベクター数、既存の方法により求めた特徴セット評価指標を利用して特徴セットの評価値を求め、特徴セットの評価値の最も高いものを最適特徴セットとする。【選択図】図１
2008129657.tif 000002
【特許請求の範囲】
【請求項１】
パターン分類を行う際に、特徴セットが分類において有効か否かを評価する特徴評価装置における特徴評価方法であって、
サポートベクターマシン学習手段が、学習パラメータ記憶手段から読み出した学習パラメータを用いて評価対象学習パターンについて学習するサポートベクターマシン学習手順と、
サポートベクター数取得手段が、前記サポートベクターマシン学習手順による学習結果からサポートベクターの数を取得するサポートベクター数取得手順と、
特徴セット評価値算出手段が、前記サポートベクター数、既存の方法により求めた特徴セット評価指標を利用して特徴セットの評価値を求める特徴セット評価値算出手順と、
特徴決定手段が、前記特徴セットの評価値の最も高いものを最適特徴セットとする特徴決定手順と
を行うことを特徴とする特徴評価方法。
【請求項２】
前記特徴セット評価値算出手順において、
前記サポートベクターの数が多いほど評価値を下げる
請求項１記載の特徴評価方法。
【請求項３】
特徴次元数取得手段が、評価対象特徴セットの次元数を取得する特徴次元数取得手順を更に行い、
前記特徴セット評価値算出手順において、
前記評価対象特徴セットの次元数も含めて前記特徴セットの評価値を求める、
請求項１記載の特徴評価方法。
【請求項４】
前記特徴セット評価値算出手順において、
前記特徴セットの次元数が少ないほど前記特徴セットの評価値を下げる
請求項３記載の特徴評価方法。
【請求項５】
前記特徴セット評価値算出手順において、
前記サポートベクター数取得手順で求められた前記サポートベクターの数を除算として評価式に加える
請求項３記載の特徴評価方法。
【請求項６】
前記特徴セット評価値算出手順において、
前記特徴次元数取得手順で取得した前記特徴セットの次元数を、対数をとった後に乗算する形で評価式に加える
請求項５記載の特徴評価方法。
【請求項７】
前記特徴セット評価値算出手順において、
前記既存の方法により求めた特徴セット評価指標として、前記サポートベクターマシン学習手段における学習結果から取得したマージン幅を用いる
請求項１乃至６の何れか１項記載の特徴評価方法。
【請求項８】
前記特徴セット評価値算出手順において、既存の方法により求めた特徴セット評価指標として、前記サポートベクターマシン学習手順による学習結果から取得したConfident（Ｃ）、前記評価対象特徴次元数取得手順により得られたＹ（Feature）、前記サポートベクター数取得手順で得られた（Ｎ（ＳＶ））、前記マージン幅取得ステップで得られた（Ｍ）を用いて、評価式
E(Feature)=C・M・log(Y(Feature)+a))/(b・N(SV)) 
但し、ａ、ｂは予め設定された定数
により前記特徴セットの評価値を求める
請求項１乃至７記載の特徴評価方法。
【請求項９】
パターン分類を行う際に、特徴セットが分類において有効か否かを評価する特徴評価装置であって、
学習パラメータを格納した学習パラメータ記憶手段と、
前記学習パラメータ記憶手段から読み出した学習パラメータを用いて評価対象学習パターンについて学習するサポートベクターマシン学習手段と、
前記サポートベクターマシン学習手段による学習結果からサポートベクターの数を取得するサポートベクター数取得手段と、
前記サポートベクター数、既存の方法により求めた特徴セット評価指標を利用して特徴セットの評価値を求める特徴セット評価値算出手段と、
前記特徴セットの評価値の最も高いものを最適特徴セットとする特徴決定手段と
を有することを特徴とする特徴評価装置。
【請求項１０】
コンピュータに、
請求項９記載の特徴評価装置の各手段を実行させることを特徴とする特徴評価プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パターン分類において、ある特徴セットが分類に有効であるか否かを評価する特徴評価方法及び装置及びプログラムに係り、特に、適合フィードバックなどに代表される、学習データが少ない状況においても分類に有効な特徴セットであるか否かを精度よく評価するための特徴評価方法及び装置及びプログラムに関する。
【背景技術】
【０００２】
Ｎ次元の特徴量からなるパターンの集合を２つのクラス（例えば、必要なパターンと不要なパターン、など）に分類する際に、速度の向上、記憶容量の削減、精度の向上などを目的として、分類に有効なｎ次元からなる特徴セット（n＜Ｎ）を選択したいという要求がある。
【０００３】
これに対し、入力された未知パターンのベクトルで表現された特徴から選択基準に沿って有効なものを選択し、これを低次元化して未知パターンの属するクラスを決定する技術（例えば、特許文献１参照）や、各特徴セットに対してConfident Margin（CM）という評価値を用いながらＳＢＳアルゴリズムを適用する、最適な特徴セットを求める技術（例えば、非特許文献１参照）がある。
【特許文献１】特許公報（Ｂ２）特許第３１３１８６２号
【非特許文献１】電子情報通信学会論文誌D-II Vol. 88-D-II No. 12 PP.2291-2300 Confident Marginを用いたＳＶＭのための特徴選択手法
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の技術では、特徴を主成分分析してしまうため、現在の分類要求に対して特徴が有効であるか否かの判断は行われないという問題がある。一方、非特許文献１では、分類にあたって、Confident Marginと呼ばれる評価尺度を用いて、サポートベクトルマシンで用いた特徴が有効なものであるか否かを推定する。しかしながら、Confident Marginは学習サンプル数が少ない場合などに推定精度が不安定で、大量の学習パターンを収集することが困難である場合や、適合フィードバックに代表されるような、ユーザの操作をもとに分類を行うため大量の学習パターンを収集することが困難な場合には、正しく有効な特徴の推定が行えないという問題がある。
【０００５】
本発明は、上記の点に鑑みなされたもので、分類問題において、サポートベクターマシンでの学習結果における、Margin幅とサポートベクターの数、特徴量の数を用いた新たな指標を導入することによって、少ない学習パターン数においても特徴セットの有効性を評価することが可能な特徴評価方法及び装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
図１は、本発明の原理を説明するための図である。
【０００７】
本発明（請求項１）は、パターン分類を行う際に、特徴セットが分類において有効か否かを評価する特徴評価装置における特徴評価方法であって、
サポートベクターマシン学習手段が、学習パラメータ記憶手段から読み出した学習パラメータを用いて評価対象学習パターンについて学習するサポートベクターマシン学習手順（ステップ１）と、
サポートベクター数取得手段が、サポートベクターマシン学習手順による学習結果からサポートベクターの数を取得するサポートベクター数取得手順（ステップ２）と、
特徴セット評価値算出手段が、サポートベクター数、既存の方法により求めた特徴セット評価指標を利用して特徴セットの評価値を求める特徴セット評価値算出手順（ステップ３）と、
特徴決定手段が、特徴セットの評価値の最も高いものを最適特徴セットとする特徴決定手順（ステップ４）とを行う。
【０００８】
また、本発明（請求項２）は、特徴セット評価値算出手順（ステップ３）において、
サポートベクターの数が多いほど評価値を下げる。
【０００９】
また、本発明（請求項３）は、特徴次元数取得手段が、評価対象特徴セットの次元数を取得する特徴次元数取得手順を更に行い、
特徴セット評価値算出手順（ステップ３）において、
評価対象特徴セットの次元数も含めて特徴セットの評価値を求める。
【００１０】
また、本発明（請求項４）は、特徴セット評価値算出手順（ステップ３）において、
特徴セットの次元数が少ないほど特徴セットの評価値を下げる。
【００１１】
また、本発明（請求項５）は、特徴セット評価値算出手順（ステップ３）において、
サポートベクター数取得手順で求められたサポートベクターの数を除算として評価式に加える。
【００１２】
また、本発明（請求項６）は、特徴セット評価値算出手順（ステップ３）において、
特徴次元数取得手順で取得した特徴セットの次元数を、対数をとった後に乗算する形で評価式に加える。
【００１３】
また、本発明（請求項７）は、特徴セット評価値算出手順（ステップ３）において、
既存の方法により求めた特徴セット評価指標として、サポートベクターマシン学習手段における学習結果から取得したマージン幅を用いる。
【００１４】
また、本発明（請求項８）は、特徴セット評価値算出手順（ステップ３）において、既存の方法により求めた特徴セット評価指標として、サポートベクターマシン学習手順による学習結果から取得したConfident（Ｃ）、評価対象特徴次元数取得手順により得られたＹ（Feature）、サポートベクター数取得手順（ステップ２）で得られた（Ｎ（ＳＶ））、マージン幅取得ステップで得られた（Ｍ）を用いて、評価式
E(Feature)=C・M・log(Y(Feature)+a))/(b・N(SV)) 
（但し、ａ、ｂは予め設定された定数）
により特徴セットの評価値を求める。
【００１５】
図２は、本発明の原理構成図である。
【００１６】
本発明（請求項９）は、パターン分類を行う際に、特徴セットが分類において有効か否かを評価する特徴評価装置であって、
学習パラメータを格納した学習パラメータ記憶手段４と、
学習パラメータ記憶手段４から読み出した学習パラメータを用いて評価対象学習パターンについて学習するサポートベクターマシン学習手段５と、
サポートベクターマシン学習手段５による学習結果からサポートベクターの数を取得するサポートベクター数取得手段７と、
サポートベクター数、既存の方法により求めた特徴セット評価指標を利用して特徴セットの評価値を求める特徴セット評価値算出手段１０と、
特徴セットの評価値の最も高いものを最適特徴セットとする特徴決定手段１２と
を有する。
【００１７】
本発明（請求項１０）は、コンピュータに、請求項９記載の特徴評価装置の各手段を実行させる特徴評価プログラムである。
【発明の効果】
【００１８】
本発明によれば、少ない学習サンプルの場合において有効な特徴セット評価指標を与えることができる。
【発明を実施するための最良の形態】
【００１９】
以下、図面と共に本発明の実施の形態を説明する。
【００２０】
図３は、本発明の一実施の形態における特徴評価装置の構成を示す。
【００２１】
同図に示す特徴評価装置は、学習パターン蓄積部１、評価対象特徴セット入力部２、評価値対象学習パターン生成部３、学習パラメータ記憶部４、サポートベクターマシン学習部５、評価対象学習パターン特徴次元数取得部６、サポートベクター数取得部７、Margin幅取得部８、Confident取得部９、特徴セット評価値算出部１０、特徴セット評価記憶部１１、特徴決定部１２、暫定特徴選択部１３から構成される。
【００２２】
学習パターン蓄積部１は、学習パターン（Ｌｉｊ、但し、ｉ={１，…，ｍ，…，Ｍ}でＭは学習パターンの数を表し、ｊ＝｛１，…，Ｎ｝でＮは各パターンの特徴次元数を表すものとする）を蓄積する。
【００２３】
評価対象特徴セット入力部２が、評価対象の特徴セット（Feature）を評価対象学習パターン生成部３に入力する。
【００２４】
評価対象学習パターン生成部３は、学習パターン蓄積部１から取得した学習パターンと評価対象特徴セット入力部２から入力された評価対象の特徴セット（Feature）の部分を取り出して、評価対象学習パターンを生成する。
【００２５】
学習パラメータ記憶部４は、サポートベクターマシン学習部５で用いるパラメータを記憶する。
【００２６】
サポートベクターマシン学習部５は、カーネルの種類及びカーネルの種類に応じた学習パラメータを学習パラメータ記憶部４から読み出して、評価対象学習パターンをサポートベクターマシン（SVM）を用いて学習し、その結果をサポートベクター数取得部７、Margin幅取得部８、Confident取得部９に出力する。
【００２７】
評価対象学習パターン特徴次元数取得部６は、評価対象特徴セット入力部２から得られた特徴セット（Feature）を取得し、Featureが含む特徴次元量をＹ（Feature）とする。
【００２８】
サポートベクター数取得部７は、サポートベクターマシン学習部５の学習結果からサポートベクターの数を取得して、サポートベクター数Ｎ（ＳＶ）とする。
【００２９】
Margin幅取得部８は、サポートベクターマシン学習部５の学習結果からMargin幅を取得し、Ｍとする。
【００３０】
confident取得部９は、学習結果からサポートベクターマシン（SVM）の指標であるConfidentを算出し、Ｃとする。
【００３１】
特徴セット評価値算出部１０は、評価対象学習パターン特徴次元数取得部６で取得した特徴次元数（Ｙ（Feature））、サポートベクター数取得部７で取得したサポートベクター数（Ｎ（ＳＶ））、Margin幅取得部８で取得したMargin幅（Ｍ），Confident取得部９で取得したConfident（Ｃ）から特徴セット（Feature）を評価し、特徴セット評価記憶部１１に格納する。
【００３２】
特徴決定部１２は、特徴セット評価記憶部１１に格納されている特徴セットのうち、最も評価値が高い特徴セットを最適特徴セットとする。
【００３３】
暫定特徴選択部１３は、評価対象となる暫定的な特徴セット（Feature）を決定し、評価値対象特徴セット入力部２に出力する。
【００３４】
以下に、上記の構成における動作を説明する。
【００３５】
図４は、本発明一実施の形態における特徴評価装置の動作のフローチャートである。
【００３６】
ステップ１０１）  評価対象学習パターン生成手順では、評価対象学習パターン生成部３が、学習パターン蓄積部１に蓄積されている学習パターン（Ｌｉｊ、但し、ｉ＝｛１，…，ｍ，…Ｍ｝でＭは学習パターンの数を表し、ｊ｛１，…，Ｎ｝でＮは各パターンの特徴次元数を表すものとする）のうち、評価対象特徴セット入力部２から得られる評価対象の特徴セット（Feature）の部分を取り出し、評価対象学習パターン（ｘｋｓ，ｋ＝｛１，…，Ｍ｝，ｓ＝｛１，…，ｎ｝であり、任意のｓはＮに含まれる）を生成する。また、各学習パターンＬｍは教師信号として＋１もしくは−１のラベルが付与されており、該ラベルはｒ（）により参照可能であり、参照は学習パターンＬｍでも、評価対象学習パターンｘｍからも可能である。なお、当該手順については図５において詳述する。
【００３７】
ステップ１０２）  サポートベクターマシン学習手順では、サポートベクターマシン学習部５において、学習パラメータ記憶部４に格納されているサポートベクターマシンで学習する際のパラメータである、カーネルの種類及びカーネルの種類に応じた学習パラメータを読み出し、評価対象学習パターンｘｋｓを、サポートベクターマシンにより学習する。
【００３８】
ステップ１０３）  評価対象特徴次元数取得手順では、評価対象学習パターン特徴次元数取得部６において、評価対象特徴セット入力部２から得られた特徴セット（Feature）を受け取り、Featureが含む特徴次元数を取得し、Y(Feature)とする。
【００３９】
ステップ１０４）  サポートベクター数取得手順では、サポートベクター数取得部７において、サポートベクターマシン学習部５の学習結果からサポートベクターの数を取得し、Ｎ（ＳＶ）とする。
【００４０】
ステップ１０５）  Margin幅取得手段では、Margin幅取得部８において、サポートベクターマシン学習部５の学習結果からMargin幅を取得し、これをＭとする。
【００４１】
ステップ１０６）  Confident取得手順では、Confident取得部９において、サポートベクターマシン学習部５の学習結果からConfidentを算出し、これをＣとする。
【００４２】
ステップ１０７）  特徴評価手順では、特徴セット評価値算出部１０において、評価対象特徴次元数取得手順（ステップ１０３）で取得した特徴セットの特徴次元数（Y(Feature)）、サポートベクター数取得手順（ステップ１０４）により得られたサポートベクター数（Ｎ（ＳＶ））、Margin幅取得手順（ステップ１０５）により得られたMarginの幅（Ｍ）、及び、Confident算出手順（ステップ１０６）により得られたConfidentの値（Ｃ）を用いて特徴セット（Feature）を評価する。
【００４３】
次に、上記のフローチャートの各動作を詳細に説明する。
【００４４】
（１）評価対象学習パターン生成手順（ステップ１０１）
図５は、本発明の一実施の形態における評価対象学習パターン生成手順の詳細な動作のフローチャートである。
【００４５】
ステップ３０１）  評価対象学習パターン生成部３は、学習パターン記憶部１から学習パターンを読み込む。ここで、学習パターンＬｉｊ（但し、ｉ＝｛１，…，ｍ，…Ｍ｝でＭは学習パターンの数を表し、ｊ｛１，…，Ｎ｝でＮは各パターンの特徴次元数を表すものとする）とする。
【００４６】
ステップ３０２）  評価対象特徴セット（Feature）を、評価対象特徴セット入力部２から読み込む。このとき、評価対象特徴セット入力部２からの入力は、どのような形態でも構わない。例えば、オペレータによる入力、ファイルあるいはデータベースなどから読み込むことが考えられる。また、特徴セット（Feature）の表記は、学習パターンのうちどの次元を評価対象とするかが分かればよい。例えば、Feature＝｛１，２，…，Ｉ｝と表記することで、第１次元、第２次元、及び第Ｉ次元を評価対象としてもよい。また、Feature＝｛０１００１０…０｝と０と１のビットで表すことで、第２次元、第５次元を評価対象としてもよい。
【００４７】
ステップ３０３）  FeatureとＬｉｊを用いることで、評価対象学習パターン（ｘｋｓ，ｋ＝１，…，Ｍ），ｓ＝｛１，…，ｎ｝であり、任意のｓはＮに含まれる）を生成する。例えば、ｘｋｓ＝Ｌｉｊ・FeatureT（但し、Featureは上記のビット表記であり、Ｔは行列の転置を表す）などで作成が可能である。
【００４８】
学習パターンＬｉｊの例を図６に、評価対象学習パターンの例を図７に示す。この例におけるFeatureはFeature＝｛１，２，Ｉ｝である。
【００４９】
（２）サポートベクター学習手順（ステップ１０２）
サポートベクターマシン学習手順では、サポートベクターマシン学習部５が、学習対象学習パターンを学習パラメータ記憶部４から読み込んだパラメータによりサポートベクターマシンで学習する。学習パラメータ、及びサポートベクターマシンでの学習は共に一般的なものであるため、ここでは詳細については記述しない。
【００５０】
（３）評価対象特徴次元数取得手順（ステップ１０３）・サポートベクター数取得手順（ステップ１０４）・Margin幅取得手順（ステップ１０５）
評価対象特徴次元数、サポートベクター数及びMargin幅はサポートベクターマシン（SVM）の学習結果として一般的に得られるものであるので、これらについては詳述しない。
【００５１】
（４）Confident算出手順（ステップ１０６）
Confident取得部９において、サポートベクターマシン学習部５の学習結果からConfidentを算出する。Confident（Ｃ）は非特許文献１で用いられている指標のひとつであり、
Ｃ＝Σｉ（ｒ（ｘｊ）・ｆ（ｘｉ））
但し、ｒ（ｘｉ）は学習パターンｘｉのラベルを返す関数である。
【００５２】
（５）特徴評価手順（ステップ１０７）
特徴評価手順では、特徴セット評価値算出部１０において、評価対象特徴次元数取得手順（ステップ１０３）から得られたＹ（Feature）、サポートベクター数取得手順（ステップ１０４）で得られた（Ｎ（ＳＶ））、Margin幅取得手順（ステップ１０５）、Confident算出手順（ステップ１０６）で得られた（Ｃ）を用いて特徴セットFeatureの評価値を算出する。
【００５３】
例えば、以下の式１などが考えられる。
【００５４】
E(Feature)=C・M・log(Y(Feature)+a))/(b・N(SV))        （式１）
但し、ＣはConfident値、Ｍはマージンの大きさ、Ｙ（Feature）は利用している特徴の時限数、Ｎ（ＳＶ）は学習結果におけるサポートベクターの数、ａ，ｂは予め設定する定数である。
【００５５】
この評価値（E(Feature)）は、大きいほど特徴セットFeatureが良いことを示す指標である。
【００５６】
上記の式１において、"C・M"に加えて、特徴量の少なさに対して評価値を下げる働き"（log(Y(Feature)+a) "、さらに、サポートベクターマシン学習結果の複雑さに対しての評価値を下げる働き"（１/(b・N(SV)) "を加えることで、滑らかな識別面を持ちながら識別性能を維持する学習が行われた特徴セットに対してよい評価が与えられる指標となり、特に学習サンプルが少ない場面で良い指標を得ることができるようになる。しかし、特徴量の少なさに対して必ずしも評価値を下げる必要はなく、評価に利用しなくても構わない。さらに、評価値を下げる場合にも、上記の式１の方法でなくても構わない。
【００５７】
また、サポートベクターマシン学習結果の複雑さに対して評価値を下げる場合も、式１の除算による方法でなくても構わない。
【実施例】
【００５８】
以下、本発明の実施例を示す。
【００５９】
[第１の実施例]
本発明は、特徴セットに対して、分類における有効性の指標を与えるものであり、本発明を既存の探索手法と組み合わせることにより、特徴選択手法とすることが可能である。
【００６０】
本実施例では、蓄積済みの学習サンプルに対して特徴を選択する手法を説明する。
【００６１】
図８は、本発明の第１の実施例の動作のフローチャートである。
【００６２】
ステップ６０１）暫定特徴決定手順：
暫定特徴決定手順では、暫定特徴選択部１３において、評価対象となる特徴セット（Feature）を決定する。つまり、評価対象特徴セット入力部２への入力に相当する。以下に、暫定特徴決定手順について説明する。
【００６３】
図９は、本発明の第１の実施例の暫定特徴決定手順の動作のフローチャートである。
【００６４】
ステップ７０１）  暫定特徴選択部１３は、暫定特徴セットが既に評価値を持っているか判断を行い、評価値を持っていない場合は、ステップ７０２に移行し、そうでない場合はステップ７０３に移行する。
【００６５】
ステップ７０２）  暫定特徴として、全ての特徴量（N次元）を利用する場合と、N−１次元の特徴を利用する場合（N通り）を暫定特徴セットとして評価対象特徴セット入力部２に登録する。
【００６６】
ステップ７０３）  既に評価値を持つ暫定特徴セット中、最も高い評価値を持つケース（L次元を利用しているとする）に対し、当該ケースにおいて利用している特徴がさらに１次元だけ利用をやめるケース（L種類）を暫定特徴セットとして評価対象特徴セット入力部２に登録する。
【００６７】
これは、SBSアルゴリズムと呼ばれる方法である。
【００６８】
ステップ６０２）  評価対象学習パターン生成手順：
評価対象学習パターン生成手順では、評価対象学習パターン生成部３が学習パターン蓄積部１から読み込んだ学習パターンＬｉｊ（但し、ｉ＝｛１，…，ｍ，…，Ｍ｝でＭは学習パターンの数を表し、ｊ＝｛１，…，Ｎ｝ではＮは各パターンの特徴次元数を表すものとする）と、評価対象特徴セット入力部２から得られる特徴セット（Feature）を用いて、評価対象学習パターンｘｋｓ（ｋ＝｛１，…，Ｍ｝，ｓ＝｛１，…，ｎ｝）であり、任意のｓはＮに含まれる）を生成する。また各学習パターンＬｍは教師信号として＋１もしくは−１のラベルが付与されており、ｒ（）により参照可能であり、参照は学習パターンＬｍでも、評価対象学習パターンｘｍからも可能である。
【００６９】
ステップ６０３）サポートベクターマシン学習手順：
サポートベクターマシン学習手順では、サポートベクターマシン学習部５において、学習パラメータ記憶部４から学習に必要なパラメータを取得し、サポートベクターマシン（SVM）により学習する。
【００７０】
ステップ６０４）評価対象特徴次元数取得手順：
評価対象特徴次元数取得手順では、評価対象学習パターン特徴次元数取得部６において、評価対象特徴セット入力部２から得られる評価対象特徴セット（Feature）の次元数を取得し、Ｙ（Feature）とする。
【００７１】
ステップ６０５）サポートベクター数取得手順：
サポートベクター数取得手順では、サポートベクター数取得部７において、サポートベクター数をサポートベクターマシン学習部５の学習結果から取得し、N(SV)とする。
【００７２】
ステップ６０６）Margin幅取得手順：
Margin幅取得手順では、Margin幅取得部８において、サポートベクターマシン学習結果からMarginの幅を取得し、Ｍとする。
【００７３】
ステップ６０７）Confident取得手順：
Confident取得手順では、Confident取得部９において、サポートベクターマシン学習結果からConfidentを算出し、Ｃとする。
【００７４】
ステップ６０８）特徴評価手順：
特徴評価手順では、特徴セット評価値算出部１０において、前述の式１により特徴セット（Feature）に対する評価値を決定し、特徴セット評価記憶部１１に格納する。
【００７５】
ステップ６０９）  終了判定手順：
終了判定手順では、終了するか否かの判定を行う。ＳＢＳアルゴリズムを用いているため、Y(Feature)=１であれば、ステップ６１０へ移行し、そうでない場合は、ステップ６０１に移行する。
【００７６】
ステップ６１０）  特徴決定手順：
特徴決定手順では、特徴決定部１２において、特徴セット評価記憶部１１に記憶されている特長セットの中から最も評価値のよい特徴セットを求め、最適特徴セットとする。
【００７７】
［第２の実施例］
本実施例では、暫定特徴選択手順において、遺伝的アルゴリズムを利用する。
【００７８】
遺伝的アルゴリズムは広い探索空間から高速に準最適解を求める手法である。遺伝的アルゴリズムを利用するためには、遺伝子表現する必要があり、本実施例では、各特徴量を利用するか否かを１，０で表現し、それを並べることで遺伝子表現とする。つまり、遺伝子のｎビット目が１であることは、ｎ次元目の特徴量を利用することを意味する。そして、最適な１，０の配列、すなわち特徴セットを探索する。
【００７９】
以下に、本実施例の暫定特徴選択手順を説明する。
【００８０】
図１０は、本発明の第２の実施例の暫定特徴決定手順のフローチャートである。
【００８１】
ステップ８０１）  暫定特選択部１３において、暫定特徴セットが既に評価値を持っているかの判断を行い、評価値を持っていない場合には、ステップ８０２に移行し、そうでない場合はステップ８０３に移行する。
【００８２】
ステップ８０２）  ランダムに発生した１，０の値を用いて、Ｎ次元（特徴次元数）の遺伝子を持つ、Ｍ個の個体を作成し、暫定特徴セットとする。
【００８３】
ステップ８０３）  既に評価値を持つ暫定特徴セットの評価値を利用して、遺伝的アルゴリズムによる選択、交叉、突然変異を施し、新たな暫定特徴セットとする。
【００８４】
その他の手順の動作は全て第１の実施例と同様である。
【００８５】
なお、本発明は、上記の図３に示す特徴評価装置の動作をプログラムとして構築し、特徴評価装置として利用されるコンピュータにインストールして実行させることが可能である。
【００８６】
また、構築されたプログラムをハードディスクやフレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールするまたは、配布することが可能である。
【００８７】
以下に、本発明と従来技術の比較実験結果を示す。
【００８８】
図１１〜図１４は、学習パターンの数を横軸にとり、非特許文献１の手法であるConfident Margin（上段）と本発明による評価値（下段）の推移の様子を示したものであり、どちらの指標も大きい値ほど良い評価であるが、Confident Marginによる従来手法も、本発明も特徴セットに与えられる評価値の相対的な値が意味を持つものであり、絶対的な値は意味を持たない。
【００８９】
但し、１つの学習パターンＸｉは１００次元の実数から構成されており、
Ｘ０＝｛Ｘ０，０，Ｘ０，１，…，Ｘ０，９９｝
Ｘ１＝｛Ｘ１，０，Ｘ１，１，…，Ｘ１，９９｝
：
Ｘｉ＝｛Ｘｉ，０，Ｘｉ，１，…，Ｘｉ，９９｝
：
とする。また、学習パターン（Ｘｉ）に付与されるラベルｒ（Ｘｉ）は以下のルールによる決定した。
【００９０】
図１１では、（Ｘｉ，１＜Ｘｉ，０かつＸｉ，１＞１−Ｘｉ，０）または、（Ｘｉ，１＞Ｘｉ，０かつＸｉ，１＜１−Ｘｉ，０）を＋１、それ以外は−１である。
【００９１】
図１２では、０．４＜Ｘｉ，０，Ｘｉ，１，Ｘｉ，２，Ｘｉ，３＜０．５を＋１、それ以外は−１である。
【００９２】
図１３では、Ｘｉ，０＋Ｘｉ，１＋Ｘｉ，２＋Ｘｉ，３＜３を＋１、それ以外は−１である。
【００９３】
図１４では、（Ｘｉ，０２＋Ｘｉ，１２＜０．１または（Ｘｉ，０−１）２＋（Ｘｉ，１−１）２＜０．１）を＋１、それ以外は−１である。すなわち、図１１の例では第０次元、第１次元以外のデータは分類において意味がない。同様に図１２の例では、第０次元から第３次元までのみが分類に有効であり他は意味をなさない。
【００９４】
図１１から図１４において"ｆｕｌｌ"と表記している線が、学習パターン作成時のルールに鑑みて最適な特徴セットを評価した結果である（図１１の例では、第０次元、第１次元）。その他の線は括弧内部の数値を１桁に分割した次元を評価した結果である。図１１では、"ｆｕｌｌ"の後に、第１次元と第５次元を特徴セットとした場合、第０次元のみを特徴セットとした場合、第１次元のみを特徴セットとした場合が続いている。Confident Margin及び本発明での指標が適切であるか否かを示すためには本来であれば、１００次元全ての特徴についての組み合わせを検討する必要があるが、２１００−１通り全ての組み合わせについて評価を行うことは非現実的であるため、評価値が高くなる可能性が高いと思われる組み合わせを取り上げて表示している。以上から、"Ｆｕｌｌ"の結果が他の特徴セットを評価した結果よりも学習パターン数が少ない段階で最も良い結果となることが良い結果である。
【００９５】
非特許文献１の手法では、図１２の例のように学習サンプル数を増やしても"ｆｕｌｌ"とそれ以外の評価値が変わらない場合や、図１１や図１３の例のように、学習サンプル数３５０個程度まで、"ｆｕｌｌ"とそれ以外が拮抗してしまう場合が見受けられる。それに対し、本発明の手法では、どの例においても少ない学習サンプル数で"ｆｕｌｌ"の指標が最も良い評価値になっていることが見て取れる。
【００９６】
以上の結果から本発明の特徴セット評価指標を利用することで、学習パターンが少ない場合においても有効な特徴セットか否かを高い精度で推定することが可能となり、高い精度の特徴セット選択が可能となる。
【００９７】
なお、本発明は、上記の実施の形態及び実施例に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００９８】
本発明は、パターン認識等においてパターン分類を行う技術に適用可能である。
【図面の簡単な説明】
【００９９】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の一実施の形態における特徴評価装置の構成図である。
【図４】本発明の一実施の形態における特徴評価装置の動作のフローチャートである。
【図５】本発明の一実施の形態における評価対象学習パターン生成手順の詳細な動作のフローチャートである。
【図６】本発明の一実施の形態における学習パターンＬｉｊの例である。
【図７】本発明の一実施の形態における評価対象学習パターンの例である。
【図８】本発明の第１の実施例の動作のフローチャートである。
【図９】本発明の第１の実施例の暫定特徴決定手順のフローチャートである。
【図１０】本発明の第２の実施例の暫定特徴決定手順のフローチャートである。
【図１１】従来技術と本発明の評価値の推移を示す図（その１）である。
【図１２】従来技術と本発明の評価値の推移を示す図（その２）である。
【図１３】従来技術と本発明の評価値の推移を示す図（その３）である。
【図１４】従来技術と本発明の評価値の推移を示す図（その４）である。
【符号の説明】
【０１００】
１  学習パターン蓄積部
２  評価対象特徴セット入力部
３  評価対象学習パターン生成部
４  学習パラメータ記憶手段、学習パラメータ記憶部
５  サポートベクターマシン学習手段、サポートベクターマシン学習部
６  評価対象学習パターン特徴次元数取得部
７  サポートベクター数取得手段、サポートベクター数取得部
８  Margin幅取得部
９  Confident取得部
１０  特徴セット評価値算出手段、特徴セット評価値算出部
１１  特徴セット評価記憶部
１２  特徴決定手段、特徴決定部
１３  暫定特徴選択部
【図１】
2008129657.tif 000003
【図２】
2008129657.tif 000004
【図３】
2008129657.tif 000005
【図４】
2008129657.tif 000006
【図５】
2008129657.tif 000007
【図６】
2008129657.tif 000008
【図７】
2008129657.tif 000009
【図８】
2008129657.tif 000010
【図９】
2008129657.tif 000011
【図１０】
2008129657.tif 000012
【図１１】
2008129657.tif 000013
【図１２】
2008129657.tif 000014
【図１３】
2008129657.tif 000015
【図１４】
2008129657.tif 000016