"遺伝的アルゴリズムを用いて、サンプルの特徴を選択することによりパターン認識の識別精度を向上させる特徴選択装置であって、カテゴリ間の決定境界である超平面からのすべての学習用のサンプルの距離を算出する距離算出手段と、すべての学習用サンプルの中の1個を選んで基準サンプルとし、決定境界の両側の前記基準サンプルと決定境界の距離の位置それぞれに2つの超平面を設定するマージン設定手段と、前記設定された2つの超平面からはみ出した学習用のサンプルに対して、前記2つの超平面からはみ出した長さに応じたペナルティ値を計算するペナルティ計算手段と、前記2つの超平面の間隔と、前記ペナルティ値とに基づいて、ロバスト性の評価尺度を算出し、該評価尺度の値を前記基準サンプルの評価値とする基準サンプル評価手段と、前記基準サンプル評価手段を用いてすべての学習用のサンプル毎に、それらを基準サンプルとして用いた時の評価値を算出し、その中の最小値を選択された特徴の評価値として出力する評価手段とを備えたことを特徴とする特徴選択装置。遺伝的アルゴリズムを用いて、サンプルの特徴を選択することによりパターン認識の識別精度を向上させるために、距離算出手段と、マージン設定手段と、ペナルティ計算手段と、基準サンプル評価手段と、評価手段とを備えた特徴選択装置における特徴選択方法であって、前記距離算出手段が、カテゴリ間の決定境界である超平面からのすべての学習用のサンプルの距離を算出する距離算出ステップと、前記マージン設定手段が、すべての学習用サンプルの中の1個を選んで基準サンプルとし、決定境界の両側の前記基準サンプルと決定境界の距離の位置それぞれに2つの超平面を設定するマージン設定ステップと、前記ペナルティ計算手段が、前記設定された2つの超平面からはみ出した学習用のサンプルに対して、前記2つの超平面からはみ出した長さに応じたペナルティ値を計算するペナルティ計算ステップと、前記基準サンプル評価手段が、前記2つの超平面の間隔と、前記ペナルティ値とに基づいて、ロバスト性の評価尺度を算出し、該評価尺度の値を前記基準サンプルの評価値とする基準サンプル評価ステップと前記評価手段が、前記基準サンプル評価手段を用いてすべての学習用のサンプル毎に、それらを基準サンプルとして用いた時の評価値を算出し、その中の最小値を選択された特徴の評価値として出力する評価ステップとを有することを特徴とする特徴選択方法。遺伝的アルゴリズムを用いて、サンプルの特徴を選択することによりパターン認識の識別精度を向上させる特徴選択装置上のコンピュータに特徴選択処理を行わせる特徴選択プログラムであって、カテゴリ間の決定境界である超平面からのすべての学習用のサンプルの距離を算出する距離算出ステップと、すべての学習用サンプルの中の1個を選んで基準サンプルとし、決定境界の両側の前記基準サンプルと決定境界の距離の位置それぞれに2つの超平面を設定するマージン設定ステップと、前記設定された2つの超平面からはみ出した学習用のサンプルに対して、前記2つの超平面からはみ出した長さに応じたペナルティ値を計算するペナルティ計算ステップと、前記2つの超平面の間隔と、前記ペナルティ値とに基づいて、ロバスト性の評価尺度を算出し、該評価尺度の値を前記基準サンプルの評価値とする基準サンプル評価ステップと前記基準サンプル評価ステップにより、すべての学習用のサンプル毎に、それらを基準サンプルとして用いた時の評価値を算出し、その中の最小値を選択された特徴の評価値として出力する評価ステップとを前記コンピュータに行わせることを特徴とする特徴選択プログラム。従来の特徴選択の技術では、汎化能力を高めることができなかった。識別における汎化能力とは、学習サンプルだけに対してだけでなく未知のサンプルに対しても高い識別率で識別できる能力であり、実用上非常に重要な特性である。汎化能力を重視した識別器である線形SVMの考え方によれば、決定境界と近接した学習サンプルとのユークリッド距離であるマージンをできる限り高めることが識別器の汎化能力を高めるのに有効であるとされているが、このような考え方に基づく特徴選択の技術はこれまでなかった。本発明は、このような事情に鑑みてなされたもので、汎化能力を高める特徴選択の技術を実現することができる特徴選択装置、特徴選択方法及び特徴選択プログラムを提供することを目的とする。本発明は、遺伝的アルゴリズムを用いて、サンプルの特徴を選択することによりパターン認識の識別精度を向上させる特徴選択装置であって、カテゴリ間の決定境界である超平面からのすべての学習用のサンプルの距離を算出する距離算出手段と、すべての学習用サンプルの中の1個を選んで基準サンプルとし、決定境界の両側の前記基準サンプルと決定境界の距離の位置それぞれに2つの超平面を設定するマージン設定手段と、前記設定された2つの超平面からはみ出した学習用のサンプルに対して、前記2つの超平面からはみ出した長さに応じたペナルティ値を計算するペナルティ計算手段と、前記2つの超平面の間隔と、前記ペナルティ値とに基づいて、ロバスト性の評価尺度を算出し、該評価尺度の値を前記基準サンプルの評価値とする基準サンプル評価手段と、前記基準サンプル評価手段を用いてすべての学習用のサンプル毎に、それらを基準サンプルとして用いた時の評価値を算出し、その中の最小値を選択された特徴の評価値として出力する評価手段とを備えたことを特徴とする。本発明は、遺伝的アルゴリズムを用いて、サンプルの特徴を選択することによりパターン認識の識別精度を向上させるために、距離算出手段と、マージン設定手段と、ペナルティ計算手段と、基準サンプル評価手段と、評価手段とを備えた特徴選択装置における特徴選択方法であって、前記距離算出手段が、カテゴリ間の決定境界である超平面からのすべての学習用のサンプルの距離を算出する距離算出ステップと、前記マージン設定手段が、すべての学習用サンプルの中の1個を選んで基準サンプルとし、決定境界の両側の前記基準サンプルと決定境界の距離の位置それぞれに2つの超平面を設定するマージン設定ステップと、前記ペナルティ計算手段が、前記設定された2つの超平面からはみ出した学習用のサンプルに対して、前記2つの超平面からはみ出した長さに応じたペナルティ値を計算するペナルティ計算ステップと、前記基準サンプル評価手段が、前記2つの超平面の間隔と、前記ペナルティ値とに基づいて、ロバスト性の評価尺度を算出し、該評価尺度の値を前記基準サンプルの評価値とする基準サンプル評価ステップと前記評価手段が、前記基準サンプル評価手段を用いてすべての学習用のサンプル毎に、それらを基準サンプルとして用いた時の評価値を算出し、その中の最小値を選択された特徴の評価値として出力する評価ステップとを有することを特徴とする。本発明は、遺伝的アルゴリズムを用いて、サンプルの特徴を選択することによりパターン認識の識別精度を向上させる特徴選択装置上のコンピュータに特徴選択処理を行わせる特徴選択プログラムであって、カテゴリ間の決定境界である超平面からのすべての学習用のサンプルの距離を算出する距離算出ステップと、すべての学習用サンプルの中の1個を選んで基準サンプルとし、決定境界の両側の前記基準サンプルと決定境界の距離の位置それぞれに2つの超平面を設定するマージン設定ステップと、前記設定された2つの超平面からはみ出した学習用のサンプルに対して、前記2つの超平面からはみ出した長さに応じたペナルティ値を計算するペナルティ計算ステップと、前記2つの超平面の間隔と、前記ペナルティ値とに基づいて、ロバスト性の評価尺度を算出し、該評価尺度の値を前記基準サンプルの評価値とする基準サンプル評価ステップと前記基準サンプル評価ステップにより、すべての学習用のサンプル毎に、それらを基準サンプルとして用いた時の評価値を算出し、その中の最小値を選択された特徴の評価値として出力する評価ステップとを前記コンピュータに行わせることを特徴とする。本発明によれば、遺伝的アルゴリズムを用いた特徴選択において、染色体の適応度として線形SVMのソフトマージンをベースとする評価尺度を用いたため、線形SVMと同様に汎化能力の高い特徴選択を行うことができるという効果が得られる。以下、図面を参照して、本発明の一実施形態による特徴選択装置を説明する。図1は同実施形態の構成を示すブロック図である。この図において、符号1は、コンピュータ装置によって構成する特徴選択装置である。符号2は、装置全体を統括して動作を制御する全体制御手段である。符号3は、初期の染色体集合を作成する初期染色体集合作成手段である。符号4は、全世代の染色体集合を格納する全世代染色体集合格納手段である。符号5は、選択確率値を算出する選択確率値算出手段である。符号6は、世代数をカウントする世代数カウンタである。符号7は、個別世代実行部である。符号71は、交叉処理を行う交叉実行手段である。符号72は、突然変異処理を行う突然変異実行手段である。符号73は、複製処理を実行する複製実行手段である。符号74は、染色体集合の並べ替えを行う染色体集合並べ替え手段である。符号8は、染色体の評価を行う染色体評価手段である。まず、識別手法について説明する。識別手法には種々の方法があるが、本実施形態では、入力パターンと各カテゴリーの標準パターンとのユークリッド距離の中で最小値をとる標準パターンに対応するカテゴリーを識別結果とする最小距離識別を用いることとする。最小距離識別では2カテゴリー問題の場合、決定境界は2つの標準パターンを結ぶ線分を二等分する超平面となる。標準パターンは、学習サンプルの平均とする。次に、図2を参照して、染色体の構造について説明する。図2は染色体の構造を示す図である。原特徴の次元数をLとして、L次元の中で選択する次元を表現するベクトルを想定し、これを特徴選択ベクトルλと呼ぶ。この特徴選択ベクトルを、本実施形態ではそのままGAにおける染色体として用いる。λが選択する特徴の個数をKで表し、図2に示すように特徴選択ベクトルを構成する。このベクトルは個別の要素が対応する特徴の使用の有無を表し、1が使用する、0が使用しないを表す。図2では、各々の次元の1で示された破線の枠で使用するの適用範囲を表している。個々の要素の値を、λ1,λ2,,λLで表す。次に、図3を参照して、図1に示す染色体評価手段8の構成を説明する。図3は、図1に示す染色体評価手段8の構成を示すブロック図である。学習サンプルの原特徴の集合をΨ、学習サンプルの数をN、Ψの個別の要素をXii=1,2,,N、Xiが属するカテゴリの情報をyiで表し、カテゴリ1をyi=1、カテゴリ2をyi=-1で表す。このyiを教師信号と呼ぶ。識別対象とするカテゴリの個数を2、個々のカテゴリをカテゴリ1およびカテゴリ2とし、原特徴の次元数をLとする。学習サンプル集合の格納手段81には、学習サンプルの原特徴の集合をΨおよびすべての教師信号が事前に格納される。原特徴空間における標準パターンの作成手段82は、特徴選択装置1が起動した際に最初に動作する。全体制御手段2の動作の開始は、原特徴空間における標準パターンの作成手段の処理が完了した後で開始される。原特徴空間における標準パターンの作成手段82は、原特徴空間における標準パターンを以下のように作成し、教師信号を用いてX1,X2,,XNの要素をカテゴリ1とカテゴリ2に分け、各々について平均を算出し、それらを原特徴空間におけるカテゴリ1と2の標準パターンとしてM1,M2で表す。サンプルとカテゴリ間の距離算出手段85は、決定境界からのサンプルの距離の算出手段84から入力されたサンプルとカテゴリkk=1、2との、λの適用を前提とした距離を以下のように算出する。まず、λの適用を前提とした基本的なベクトル間の距離は以下の通りである。原特徴空間中の2つのベクトルXA,XBと特徴選択ベクトルλが与えられたとする。XA=XA1,XA2,,XAL、XB=XB1,XB2,,XBLとする。この時、ベクトルXAの要素XAi1≦i≦Lの中から、対応するλiが1に等しい要素だけを抽出し、それらをまとめてK次元のベクトル~XA=~XA1,~XA2,,~XAK~は、Xの頭に付く、以下同様を作成する。XBからも同様の方法でK次元のベクトル~XB=~XB1,~XB2,,~XBKを作成する。この2つを用いて、λを前提としたXAとXBの距離を1式の関数fDにより算出する。1式は、fdが特徴選択ベクトルλで選択された特徴だけを用いて算出したユークリッド距離であることを表す。次に、カテゴリ1とカテゴリ2の標準パターンの間の距離を基準として、それがλが変わっても常に一定値1となるように特徴空間の座標系をスケール変換する方法を説明する。まず、任意のサンプルの原特徴をXとし、これからλで選択された特徴でベクトルを作成し、これを~X~は、Xの頭に付くとする。また、原特徴の標準パターンMkk=1,2からλで選択された特徴でベクトルを作成し、これを~Mkk=1,2~は、Mの頭に付く、以下同様とする。この~Mkk=1,2を用いて、~Xは2式の変換を受け、K次元のベクトルxに変換される。2式と同じ変換がカテゴリkk=1、2の標準パターンに対しても3式により行われる。3式におけるWkは正規化後の標準パターンであり、これもK次元のベクトルである。3式により、ここではλが変わるごとに標準パターンが新たに作成されることになる。サンプルとカテゴリ間の距離算出手段85では、任意のサンプルとカテゴリkk=1、2との距離を、fdx,Wkにより算出して出力する。次に、図3を参照して、染色体評価手段8による染色体λの評価を行う動作を説明する。染色体評価手段8は、染色体λが入力されると、決定境界からのサンプルの距離の算出手段84、ロバスト性の評価手段86の順番に動作してそれを評価し、スコアを出力する。このスコアを適応度と呼ぶ。決定境界からのサンプルの距離の算出手段84は、まず学習サンプルの集合Ψの各要素を2式によって変換した集合を作成し、これを{x1,x2,,xN}とし、ψで表わす。カテゴリ1とカテゴリ2の標準パターンの間の距離が1になるようにスケール変換を行なった特徴空間において、学習サンプルの集合をψ、標準パターンをW1,W2とすると選択された特徴空間におけるψの分布の模式図を図4に示す。図4において、黒丸がカテゴリ1のサンプル、白丸がカテゴリ2のサンプルを表す。またH0はカテゴリ間の決定境界の超平面を表す。次に、決定境界からのサンプルの距離の算出手段84は、決定境界H0からxii=1,2,,Nまでのユークリッド距離hxii=1,2,,Nを算出する。具体的には、サンプルとカテゴリ間の距離算出手段を起動して、カテゴリ1、2との距離fDxi,W1、fDxi,W2を算出し、算出結果を用いて4式によりhxiを算出する。特徴空間における標準パターンと決定境界、サンプルの位置関係の概念図を図5に示す。4式で算出されるhxiには正負の符号がついており、xiがH0から見てカテゴリ1の側にあるときはhxi>0、カテゴリ2の側にあるときはhxi<0となる。また教師信号yiとの積の符号によって識別結果の正誤を判断でき、hxiyi>0であれば正しい識別結果、hxiyi<0であれば誤った識別結果を意味する。次に、ロバスト性の評価手段86は、個別のxiについてhxiyiの符号を調べ、hxiyi>0であれば以下に述べる1~3によってxiにおけるロバスト性の評価尺度Siを算出し、hxiyi<0であれば1~3で算出される値の範囲よりも十分大きい正値の定数をSiとする。そして、すべてのxiについてSiの算出を行った後、Siの集合から最小値を算出し、その値を染色体λの適応度として出力する。1マージンの設定H0の両側の距離|hxi|の位置に超平面H1,H2を設定する。H1,H2のいずれかにxiは含まれる。そして、H1とH2の間隔2|hxi|を算出し、これを2/ωiで表す。すなわち、このxiは線形SVMのサポートベクトルに相当し、ここではサポートポイントと呼ぶ。また、2/ωiは線形SVMと同じくマージンを意味する。2ペナルティの計算上記1により設定されたマージンからはみ出したサンプルに対するペナルティを計算する。H1により特徴空間はH0の側の領域とその反対側の領域に二分割され、前者の領域に含まれているカテゴリ1のサンプルは分布の分離の度合いを低下させるとみなしてH1からの距離に比例するペナルティを与えるものとする。同様の処理をカテゴリ2のサンプルに対してもH2を用いて行う。これを定式化したものが5式である。5式においてξijがψの個別要素xjに与えられるペナルティである。5式は、xjがマージンからはみ出した場合にはすなわちhxj>1/ωiの場合、はみ出した長さである1/ωi-yjhxjの、1/ωiに対する比率である1-yjhxjωiをペナルティとして与え、はみ出さない場合には0を与えることを意味する。そして、全体としてのペナルティとしてそれらの合計値ΣNj=1ξijを算出する。3最終的なSiの計算1で算出したマージンの値2/ωiと、2で算出したペナルティの値ΣNj=1ξijを用いて、Siを以下の6式で計算する。6式において、第1項はマージンを大きくとるための項であり、第2項はマージンからはみだしたサンプルに対するペナルティの項である。そしてCは第1項と第2項のバランスをとるための定数であり、実験的に決定する。Siは低いほど良い値であるので、7式によって最小値を選択する。次に、図6を参照して、図1に示す特徴選択装置1の処理動作を説明する。図6は、図1に示す特徴選択装置1の処理動作を示すフローチャートである。特徴選択装置1は遺伝的アルゴリズムGAに基づいて動作することを基本とする。GAにおける世代の番号世代数をGNとする。全体制御手段2は、まずGN=1とし、この値を世代数カウンタ6にセットするステップS1。続いて、全体制御手段2は初期染色体集合作成手段3に対して動作開始を指示する。ここで、全世代染色体集合格納手段4の構成を説明する。図7aは全世代染色体集合格納手段4の構成例であり、GNmax個の染色体集合が個別の染色体集合格納部に格納される。全世代染色体集合格納手段4における個別の染色体集合格納部は各世代番号GNに対応しており、GNの染色体集合格納手段をAGNで表わす。個別の染色体集合格納部は、図7bに示すように、1個の染色体格納部は染色体を格納する領域、適応度を格納する領域、選択される確率を格納する領域とから構成する。染色体集合格納手段には最大Kβ個の染色体格納部を格納できる。個別の染色体集合格納部はすべて、特徴選択装置1が起動時は空である。初期染色体集合作成手段3は、以下のようにA1を設定する。K個の染色体の各個体の特徴選択ビット列の各ビットの値を一定確率Pf0で0に、1-Pf0で1に設定する。続いて、各個体のサンプル選択ビット列の各ビットの値を一定確率Pp0で0に、1-Pp0で1に設定し、それらの個体をすべてA1の要素とする。A1の各個体における学習サンプルの識別率Pαを適応度とし、その降順にA1の個体を並び替えるステップS2。そして、各順位の染色体が選択される確率を選択確率値算出手段5により算出し、全世代染色体集合格納手段4の選択確率を格納する領域に書き込む。ここで、選択確率値算出手段5の動作を説明する。選択確率値算出手段5は、第r位の染色体が選択される確率値PSrを8式で算出する。上式においてMaxは2変数の中の最大値を出力する関数である。次に、初期染色体集合作成手段3の動作完了後、個別世代実行部7の動作に移る。全体制御手段2は、まず世代数カウンタ6に格納されたGNの値に1を加算するステップS3。そして、全体制御手段2は交叉実行手段71に実行を指示する。交叉実行手段71は、AGN-1から個別の染色体格納部の選択確率の領域に書かれた確率値によりランダムに個別の染色体格納部のペアを選び、それらから2つの染色体を複製し、複製した染色体のペアを用いて交叉を行って新たに2つの染色体を生成し、それらを染色体評価手段8に送って各々の適応度ψを算出させ、適応度の値とともに染色体をAGNに追加する。この処理をK1/2回繰り返すことでK1個の個体が生成されAGNの要素とするステップS4。交叉は二点交叉とし、染色体のサンプル選択ビット列と特徴選択ビット列のそれぞれに対して独立に行なう。これは、染色体全体に単純に交叉を適用すると、両ビット列の一方のみに交叉が施され、両者の同時選択が実行できない恐れがあるからである。次に、全体制御手段2は突然変異実行手段72に実行を指示する。突然変異実行手段72は、AGN-1から個別の染色体格納部の選択確率の領域に書かれた確率値によりランダムに1個の染色体格納部を選んで複製を行い、複製した染色体に対して一定確率で染色体のビット列を反転しAGNの要素とするステップS5。この処理をK2回繰り返すことで、AGNにはK2個の個体が追加される。特徴選択ビット列とサンプル選択ビット列のビットを反転させる確率はそれぞれPfm,Ppmとする。次に、全体制御手段2は、複製実行手段73に実行を指示する。複製実行手段73は、AGN-1から個別の染色体格納部の選択確率の領域に書かれた確率値によりランダムにK3個の染色体格納部を選び、各々の染色体と適応度をAGNに追加するステップS6。以上の中で、K1、K2、K3の合計はkβに等しい値とする。最後に、全体制御手段2は染色体集合並べ替え手段74に実行を指示する。染色体集合並べ替え手段74は、AGNの各個体を適応度の大きさの降順に並べ替えるステップS7。以上が1つの世代のGAの処理である。そして、GN=GNmaxであるか否かを判定しステップS8、GN=GNmaxであればそこで動作を完了して、AGNmaxの第1位の染色体格納手段の染色体を取り出して最終結果として出力する。GN=GNmaxでなければ、ステップS3に戻って処理を繰り返す。以上説明したように、GAを用いた特徴選択において、染色体の適応度として線形SVMのソフトマージンをベースとする評価尺度を用いているため、線形SVMと同様に汎化能力の高い特徴選択を行うことができる。なお、図1における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより特徴選択処理を行ってもよい。なお、ここでいうコンピュータシステムとは、OSや周辺機器等のハードウェアを含むものとする。また、コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらにコンピュータ読み取り可能な記録媒体とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリRAMのように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する伝送媒体は、インターネット等のネットワーク通信網や電話回線等の通信回線通信線のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル差分プログラムであってもよい。"