"入力パターンをJ個のクラスCjjは1~Jの整数のいずれかに分類する分類器の学習装置であって、各々が入力パターンとその属するクラスとを含むN個Nは正の整数の学習標本を記憶するための学習標本記憶手段と、前記分類器の学習パラメータΛを予め定めた設定方法により初期化するための初期化手段とを含み、クラスCyに属する学習標本の入力パターンxが他のクラスに誤分類される度合いを測る誤分類尺度値DyxΛが以下により定義され、ただしψは正の実数であり、gyx;Λは前記J個のクラスCyの各々に対して、学習標本の入力パターンxが当該クラスに属するか否かの度合いを判別するための、任意の形の判別関数であり、前記J個のクラスCyの各々について、当該クラスCyに属する学習標本の各々に関する前記誤分類尺度値を求め、当該クラスに属する標本を生成した誤分類尺度空間における真の確率分布を、誤分類尺度空間における各誤分類尺度値を中心とする、Parzen窓幅hyのParzen分布として、交差確認型最尤推定により推定するためのParzen分布推定手段を含み、当該Parzen分布推定手段は、前記交差確認型最尤推定において、前記Parzen窓幅hyの関数としてParzen分布の尤度を評価し、前記J個のクラスCyの各々について、前記Parzen分布推定手段による前記交差確認型最尤推定において最尤となるParzen分布を与えるParzen窓幅hyに対し、以下の関数によって、前記分類器のクラスCyに対する損失平滑度の最適値αyを算出するための最適損失平滑度算出手段と、前記最適損失平滑度算出手段により算出された最適値αyの関数である経験的平均損失を最小化するように前記学習パラメータΛを調整するための学習パラメータ調整手段と、前記Parzen分布推定手段、前記最適損失平滑度算出手段、及び前記学習パラメータ調整手段とを、予め定める終了条件が成立するまで繰返し動作させ、前記終了条件が成立したときの前記学習パラメータΛを出力するための繰返し制御手段とを含む、分類器の学習装置。請求項1に記載の学習装置であって、前記学習パラメータ調整手段は、前記学習標本集合から学習標本を1つずつ取り出し、分類誤り数リスクを最小化するよう、前記学習パラメータΛを逐次的に調整するための逐次的学習パラメータ調整手段を含む、分類器の学習装置。請求項2に記載の学習装置であって、さらに、前記逐次的学習パラメータ調整手段による前記学習パラメータΛの調整の前に、前記学習標本の並び順をシャッフルするためのシャッフル手段を含む、分類器の学習装置。請求項1に記載の学習装置であって、前記学習パラメータ調整手段は、前記最適損失平滑度算出手段により算出された最適値αyの関数である経験的平均損失をバッチ的処理により最小化するよう、前記学習パラメータΛを調整するためのバッチ的学習パラメータ調整手段を含む、分類器の学習装置。請求項1~請求項4のいずれかに記載の学習装置であって、前記繰返し制御手段は、前記Parzen分布推定手段、前記最適損失平滑度算出手段、及び前記学習パラメータ調整手段のうち、前記Parzen分布推定手段、及び前記最適損失平滑度算出手段の動作を定期的に省略する、分類器の学習装置。請求項1~請求項5のいずれかに記載の学習装置であって、前記Parzen分布を構成するParzen窓がガウス型関数であり、前記Parzen分布推定手段は、クラスCyに属する標本から1個の標本を取り除き、残りの標本でParzen推定分布を構成するためのParzen推定分布構成手段と、前記Parzen推定分布構成手段を規定する式を、混合重み係数が1/Ny-1NyはクラスCyに属する標本の個数である混合数Ny-1の混合ガウス分布確率密度関数と見なし、EMアルゴリズムにより当該混合ガウス分布確率密度関数に基づく尤度を最大化するParzen分布窓幅hyを算出するための窓幅算出手段とを含む、分類器の学習装置。請求項6に記載の学習装置であって、前記窓幅算出手段は、前記EMアルゴリズムにおいて、パラメータの初期値を、学習標本についての最近傍法により決定する、分類器の学習装置。請求項6に記載の学習装置であって、前記窓幅算出手段は、前記EMアルゴリズムにおいて、パラメータの初期値を、学習標本の標準偏差及び四分位範囲に基づき、未知分布とParzen推定分布との間に定義される誤差を最小化する窓幅として決定する、分類器の学習装置。入力パターンをJ個のクラスCjjは1~Jの整数のいずれかに分類するために、コンピュータを、各々が入力パターンとその属するクラスとを含むN個Nは正の整数の学習標本を記憶するための学習標本記憶手段と、前記分類器の学習パラメータΛを予め定めた設定方法により初期化するための初期化手段として機能させるコンピュータプログラムであって、クラスCyに属する学習標本の入力パターンxが他のクラスに誤分類される度合いを測る誤分類尺度値DyxΛが以下により定義され、ただしψは正の実数であり、gyx;Λは前記J個のクラスCyの各々に対して、学習標本の入力パターンxが当該クラスに属するか否かの度合いを判別するための、任意の形の判別関数であり、前記コンピュータプログラムは、前記コンピュータをさらに、前記J個のクラスCyの各々について、当該クラスCyに属する学習標本の各々に関する前記誤分類尺度値を求め、当該クラスに属する標本を生成した誤分類尺度空間における真の確率分布を、誤分類尺度空間における各誤分類尺度値を中心とする、Parzen窓幅hyのParzen分布として、交差確認型最尤推定により推定するためのParzen分布推定手段として機能させ、当該Parzen分布推定手段は、前記交差確認型最尤推定において、前記Parzen窓幅hyの関数としてParzen分布の尤度を評価し、前記コンピュータプログラムは、前記コンピュータをさらに、前記J個のクラスCyの各々について、前記Parzen分布推定手段による前記交差確認型最尤推定において最尤となるParzen分布を与えるParzen窓幅hyに対し、以下の関数によって、前記分類器のクラスCyに対する損失平滑度の最適値αyを算出するための最適損失平滑度算出手段と、前記最適損失平滑度算出手段により算出された最適値αyの関数である経験的平均損失を最小化するように前記学習パラメータΛを調整するための学習パラメータ調整手段と、前記Parzen分布推定手段、前記最適損失平滑度算出手段、及び前記学習パラメータ調整手段とを、予め定める終了条件が成立するまで繰返し動作させ、前記終了条件が成立したときの前記学習パラメータΛを出力するための繰返し制御手段として機能させる、コンピュータプログラム。MCE学習法と同様、LGM‐MCE学習法においても、上記した損失平滑度αyを決めるための具体的な設定指針が与えられていない。そのため、損失平滑度αyはアドホックに設定せざるを得ない。そのようにして得られた損失平滑度αyは、学習データに対しては有効ではあるものの、未知のデータに対して高い認識が得られる可能性が低いという問題がある。すなわち、従来の学習装置では、得られる分類器の汎化能力を高くすることが難しい。したがって本発明の目的は、LGM‐MCE学習によるパターン分類器の学習装置において、得られる分類器の汎化能力を高くすることができる学習装置を提供することである。本発明の他の目的は、LGM‐MCE学習によるパターン分類器の学習装置において、汎化能力を高めることができる損失平滑度を具体的な設定指針によって算出することができる学習装置を提供することである。本発明の第1の局面に係る学習装置は、入力パターンをJ個のクラスCjjは1~Jの整数のいずれかに分類する分類器の学習装置であって、各々が入力パターンとその属するクラスとを含むN個Nは正の整数の学習標本を記憶するための学習標本記憶手段と、分類器の学習パラメータΛを予め定めた設定方法により初期化するための初期化手段とを含む。クラスCyに属する学習標本の入力パターンxが他のクラスに誤分類される度合いを測る誤分類尺度値Dyx;Λが以下により定義される。ただしψは正の実数であり、gyx;ΛはJ個のクラスCyの各々に対して、学習標本の入力パターンxが当該クラスに属するか否かの度合いを判別するための、任意の形の判別関数である。この学習装置はさらに、J個のクラスCyの各々について、当該クラスCyに属する学習標本の各々に関する誤分類尺度値を求め、当該クラスに属する標本を生成した誤分類尺度空間における真の確率分布を、誤分類尺度空間における各誤分類尺度値を中心とする、Parzen窓幅hyのParzen分布として、交差確認型最尤推定により推定するためのParzen分布推定手段を含む。Parzen分布推定手段は、交差確認型最尤推定において、Parzen窓幅hyの関数としてParzen分布の尤度を評価する。学習装置はさらに、J個のクラスCyの各々について、Parzen分布推定手段による交差確認型最尤推定において最尤となるParzen分布を与えるParzen窓幅hyに対し、以下の関数によって、分類器のクラスCyに対する損失平滑度の最適値αyを算出するための最適損失平滑度算出手段と、最適損失平滑度算出手段により算出された最適値αyの関数である経験的平均損失を最小化するように学習パラメータΛを調整するための学習パラメータ調整手段と、Parzen分布推定手段、最適損失平滑度算出手段、及び学習パラメータ調整手段を、予め定める終了条件が成立するまで繰返し動作させ、終了条件が成立したときの学習パラメータΛを出力するための繰返し制御手段とを含む。好ましくは、学習パラメータ調整手段は、学習標本集合から学習標本を1つずつ取出し、分類誤り数リスクを最小化するよう、学習パラメータΛを逐次的に調整するための逐次的学習パラメータ調整手段を含む。好ましくは、学習装置はさらに、学習パラメータ調整手段による学習パラメータΛの調整の前に、学習標本の並び順を例えば乱数にしたがってシャッフルするためのシャッフル手段を含む。より好ましくは、学習パラメータ調整手段は、最適損失平滑度算出手段により算出された最適値αyの関数である経験的平均損失をバッチ的処理により最小化するよう、学習パラメータΛを調整するためのバッチ的学習パラメータ調整手段を含む。さらに好ましくは、繰返し制御手段は、Parzen分布推定手段、最適損失平滑度算出手段、及び学習パラメータ調整手段のうち、Parzen分布推定手段、及び最適損失平滑度算出手段の動作を定期的に省略する。Parzen分布を構成するParzen窓がガウス型関数であり、Parzen分布推定手段は、クラスCyに属する標本から1個の標本を取除き、残りの標本でParzen推定分布を構成するためのParzen推定分布構成手段と、Parzen推定分布構成手段を規定する式を、混合重み係数が1/Ny-1NyはクラスCyに属する標本の個数である混合数Ny-1の混合ガウス分布確率密度関数と見なし、EMアルゴリズムにより当該混合ガウス分布確率密度関数に基づく尤度を最大化するParzen分布窓幅hyを算出するための窓幅算出手段とを含んでも良い。窓幅算出手段は、前記EMアルゴリズムにおいて、パラメータの初期値を、学習標本についての最近傍法により決定してもよいし、学習標本の標準偏差及び四分位範囲に基づき、未知分布とParzen推定分布との間に定義される誤差を最小化する窓幅として決定してもよい。本発明の第2の局面に係るコンピュータプログラムは、入力パターンをJ個のクラスCjjは1~Jの整数のいずれかに分類するために、コンピュータを、各々が入力パターンとその属するクラスとを含むN個Nは正の整数の学習標本を記憶するための学習標本記憶手段と、分類器の学習パラメータΛを予め定めた設定方法により初期化するための初期化手段として機能させるコンピュータプログラムである。クラスCyに属する学習標本の入力パターンxが他のクラスに誤分類される度合いを測る誤分類尺度値Dyx;Λが以下により定義される。ただしψは正の実数であり、gyx;ΛはJ個のクラスCyの各々に対して、学習標本の入力パターンxが当該クラスに属するか否かの度合いを判別するための、任意の形の判別関数である。このコンピュータプログラムは、コンピュータをさらに、J個のクラスCyの各々について、当該クラスCyに属する学習標本の各々に関する前記誤分類尺度値を求め、当該クラスに属する標本を生成した誤分類尺度空間における真の確率分布を、誤分類尺度空間における各誤分類尺度値を中心とする、Parzen窓幅hyのParzen分布として、交差確認型最尤推定により推定するためのParzen分布推定手段として機能させる。当該Parzen分布推定手段は、交差確認型最尤推定において、Parzen窓幅hyの関数としてParzen分布の尤度を評価する。このコンピュータプログラムは、コンピュータをさらに、J個のクラスCyの各々について、Parzen分布推定手段による交差確認型最尤推定において最尤となるParzen分布を与えるParzen窓幅hyに対し、上記した式C2によって、分類器のクラスCyに対する損失平滑度の最適値αyを算出するための最適損失平滑度算出手段と、最適損失平滑度算出手段により算出された最適値αyの関数である経験的平均損失を最小化するように学習パラメータΛを調整するための学習パラメータ調整手段と、Parzen分布推定手段、最適損失平滑度算出手段、及び学習パラメータ調整手段とを、予め定める終了条件が成立するまで繰返し動作させ、終了条件が成立したときの学習パラメータΛを出力するための繰返し制御手段として機能させる。以下、本発明の実施の形態を説明する。以下の説明及び図面において、同一の部品には同一の参照番号を付してある。それらの名称及び機能も同一である。したがって、それらについての詳細な説明は繰返さない。以下、非パラメトリック確率密度推定法の1つであるParzen推定を誤分類尺度の領域における分類誤り確率の推定に適用する、LGM‐MCE学習の再定式化について述べる。このParzen推定による定式化は、もともと、MCE学習についてなされた非特許文献3ものであるが、ここではLGM‐MCE学習法に対して定式化を行なう。本実施の形態では、既に述べたように、また後述するように、クラス毎に損失平滑度αyの自動制御が行なわれるので、損失平滑度αyは各クラス個別に設定されるものとする。Parzen推定に基づくLGM‐MCE学習の再定式化初めに、分類誤り数リスクを表す式12における、パターン空間全体を積分範囲とした積分を、その部分集合全体を積分範囲とした積分に置換える。ここでΧyΛはDyx;Λ>0となるxの集合である。次に式16のΧyΛを積分範囲とした入力パターン空間上での積分を、次式のように、誤分類尺度の値が正となる領域を積分範囲とした、誤分類尺度空間での積分に置換える。ここでpΛt|Cyは、クラスCyであるという条件の下での誤分類尺度Dyx;Λの出現確率を表現する確率密度関数である。tは誤分類尺度上のデータ点を表わす。Dyx;ΛがΛに依存するため、この確率密度関数もΛに依存する。確率密度関数pΛt|Cyのモデル化が分類誤り数リスクRΛの推定のアプローチとなることから、各クラスCyにおいて、このクラスに属する有限個の学習標本{xky}k=1Nyを用いてpΛt|Cyを近似するための次式のParzen推定分布を導入する図5。ここでxkyはクラスCyに属するk番目の学習標本、NyはクラスCyに属する学習標本の総数である。は誤分類尺度領域に変換されたデータ点Dyxky;Λを中心とした幅hyのParzen窓50である図6。図5において、横軸は誤分類尺度、縦軸はその出現確率分布確率密度を表している。xkyはy番目のクラスCyに属するk番目の学習パターン全部でNy個、Dyxky;Λはその誤分類尺度値である。Λは前述の通り、認識器の学習パラメータ集合を表す。図中に示すParzen窓群40は、各々がDyxky;Λを中心とする多数のParzen窓k=1,...,Nyを含む。y番目のクラスCyに属する全ての学習パターンに対してこのParzen窓の相加平均をとることにより、クラスCyにおける誤分類尺度分布の近似近似分布42が得られる。さらに、この近似分布42を正の領域で積分したもの図中のハッチング部分は、正解クラスがCyであるパターンをCy以外のクラスに誤分類する確率の近似値となる。図6を参照して、通常、Parzen窓50は、データ点に対して左右対称で、その値が正の単峰性の関数である。式17のpΛt|CyをParzen推定分布^pΛt|Cyで近似し、更にPCyをNy/Nで近似することにより、分類誤り数リスクの有限学習標本集合ΩNに基づく推定値が次式で表現されることとなる。ここで重要なことに、次式20のように、損失関数_lyDyx;Λを各々のParzen窓の正領域の積分として新たに定義することにより、式19のRNΛが式14の経験的平均損失LΛ、すなわちLGM‐MCE学習の評価基準と一致する。ガウス関数型の窓関数を採用した場合、式20の_lyDyx;Λは式13のロジスティックシグモイド関数に似た損失関数となる。実際、と設定した場合、式13と式20とは極めて近いものとなる図7及び図8。ただし両者が厳密には異なることには注意する必要がある。図7と図8とを比較すると明らかなように、幅hyが広いParzen窓60の方が、幅hyの狭いParzen窓70より損失関数が滑らかとなる。つまり、Parzen窓の窓幅hyが損失関数の平滑度を表現する。個々のParzen窓60又はParzen窓70を正の領域で積分したもの図7及び図8の左側のハッチング部分は、式13の平滑化分類誤り数損失関数のデータ点Dyxky;Λにおける値図7及び図8の右側にほぼ等しい。上述のParzen推定の枠組みにより、元来のLGM‐MCE定式化に対して新しい損失平滑化制御のメカニズムがもたらされる。式22を介して、Parzen窓幅hyが損失平滑度αyを決定し、これが未知標本に対する耐性と強く関係する。式18のParzen推定分布が未知の確率分布pΛt|Cyを正確に近似すればするほど、式19又は式14の経験的平均損失が、式17すなわち式12の分類誤り数リスクのより良い近似となる。言い換えれば、式18が未知分布の良い近似となるべく窓幅hyを推定すれば、有限個の学習標本で構成されるLGM‐MCE学習の評価基準が未知標本も含む全パターン空間に対する分類誤り確率に近づく。そしてこのとき、LGM‐MCE学習の評価基準の最小状態が全パターン空間に対する分類誤り確率の最小状態に近づくこととなり、LGM‐MCE学習の耐性汎化能力が向上する。交差確認型最尤推定に基づくParzen推定Parzen推定分布が真の分布を良好に近似するような窓幅hyを決定するために、最尤推定法により窓幅hyを推定することを考える。ただし、平均又は分散等の特性値を用いて分布モデルを構成するパラメトリック推定法と違い、非パラメトリック推定であるParzen推定は全ての標本を用いて推定分布を構成するため、分布の構成に用いた標本と同じ標本を推定分布に代入して尤度関数の最大化を行なうことができない窓幅が0になってしまう。そこで非特許文献4では、1個の標本を取除いた標本集合でParzen推定分布を構成し、取除いた標本を推定分布に代入することによる、交差確認型最尤推定が定式化されている。LGM‐MCE法におけるこの方法の概要を以下で説明する。図9を参照して、与えられたNy個の標本誤分類尺度領域におけるデータ点Dyxky;Λから、n番目の標本Dyxny;Λを取除き、残りの標本でParzen推定分布82を構成する。図9において破線で表されたParzen窓80が、取除かれた標本Dyxny;Λに対応する。取除いた標本Dyxny;Λを上式に代入し、全ての標本に対してこれの積をとった尤度関数を定める。そして上式のLhを最大化するh=hyを求める。以上が交差確認型最尤推定の概要である。EMアルゴリズムに基づくParzen窓幅決定法以下、本実施の形態の構成について説明する。式24のParzen窓幅hによる最大化は多くの計算量を要する。本実施の形態に係る損失平滑度の自動設定を伴うLGM‐MCE学習次節において説明する。はParzen窓幅hの最大化を多数回行なうため、この最大化を少ない計算量で実行するのが望ましい。そこで本実施の形態では、式21のガウス型Parzen窓関数φをLGM‐MCE学習法に適用する場合において、EMアルゴリズムによりParzen窓幅hの最大化を効率的に行なう。以下、図10に示すフローチャートを参照しながら、このEMアルゴリズムについて説明する。式23を次式のように変形する。φが式21のガウス型関数である場合、式26中の次の項は平均wmn及び分散h2のガウス分布確率密度関数と見なすこともできる。したがって、p-nt|hは、混合重み係数を均一の1/Ny-1に固定した混合数Ny-1の混合ガウス分布確率密度関数と形式的に見なされる。このとき、mを潜在変数と考えることもできるので、潜在変数を含む確率モデルの最尤推定に対する効率的な繰返し計算型アルゴリズムであるEMアルゴリズム例えば、非特許文献5の第9章を、式24のParzen窓幅hによる最大化に適用できる。繰返し計算の直前のステップにおいてParzen窓幅hの推定値^hが得られていると仮定する。EMアルゴリズムで用いられる負担率は次式となる。ただしzn=Dyxny;Λとおいている。EMアルゴリズムで定義される補助関数Q関数は次式となる。ただしConst.はhに無関係の項を表す。上式をsに関して微分し、これが0となるsを求めることにより、上式の補助関数を最小にするParzen窓幅hの平方h2が以下で与えられる。更にここで、q ́m,nn=1,...,Ny;m=1,...,Ny;m≠nを以下で定める。このときq ́m,n及び補助関数を最小にするh2は以下となる。アルゴリズム表記の煩雑さを避けるため、再びq ́m,nをqm,nと置きなおす。結局、Parzen窓幅の交差確認型最尤推定に対するEMアルゴリズムは以下でまとめられる。1初期値h0>0を与える。_l=0と設定する。図10のステップ2202次式のqm,nを計算するn=1,...,Ny;m=1,...,Ny,m≠n。ただしzn=Dyxny;Λn=1,...,Ny図10のステップ222、224及び226。3以下のようにパラメータの再推定をする。ステップ2284hが収束条件を満たしていればステップ230でYESステップ234でhy=h_l1を出力して終了、さもなくばステップ230でNO、_l←_l1としてステップ232、ステップ222に戻る。収束条件としては、種々考えられる。本実施の形態では、予め繰返し回数の上限Iを設定しておき、繰返し回数_lがIに達したと判断された時点で終了するという条件を採用する。又は、繰返し回数_lがIに達したか又は次式の対数尤度が収束したと判断されたとき、繰返しを終了させても良い。<EMアルゴリズムにおける窓幅hの初期化法>図10のステップ220において、初期値h0は、合理的な設定法であればどのような手法で設定しても良い。例えば以下の2つのアルゴリズムを適用できる。1最近傍法a各標本znn=1,...,Nyに対して、自身以外で最も近いデータを割当てる。b以下のようにパラメータの初期値を与える。2四分位範囲IQR:InterquartileRange法aznn=1,...,Nyに対する標準偏差σy及び四分位範囲Ryを算出する。b以下のようにパラメータの初期値を与える。四分位範囲とは、データを昇順に並べたとき、小さい方から1/4の場所の値Q1と、小さい方から3/4の場所の値Q3との差である。四分位範囲法を用いると、はずれ値及び異常値の影響を受けにくいという特徴がある。なお、上式は、ガウス分布と仮定した未知の分布とParzen推定分布との2乗誤差を最小にする窓幅を求めることで得られる。損失平滑度の自動設定を伴うLGM‐MCE学習前節で説明したEMアルゴリズムに基づくParzen窓幅決定法を、誤分類尺度空間上のParzen推定に適用することにより、損失平滑度の自動設定を伴うLGM‐MCE学習アルゴリズムが定形化できる。具体的には、適応的学習法によるアルゴリズムと、バッチ的手法によるアルゴリズムとの2種を示す。最初に、適応的学習によるアルゴリズムについて図11を参照しながら説明する。適応的学習法によるアルゴリズム1分類器学習パラメータΛの初期値Λ0を設定する。エポック回数eの上限値Eを設定する。ステップ1402e=0,1,...,Eに対して、以下のステップ180の処理を実行する。ステップ142ステップ180は以下のサブステップa、b及びcを含む。a全てのクラスy=1,...,Jに対して以下のサブステップa1~a4を含むステップ150を繰返す。a1y番目クラスに属する学習標本xkyを学習標本集合ΩNから取出し、判別関数値gjxky;Λeを計算するj=1,...,J;k=1,...,Ny。ステップ144,146及び148a2誤分類尺度値Dyxky;Λeを計算するk=1,...,Ny。ステップ152a3Dyxky;Λek=1,...,Nyについて、既に述べたEMアルゴリズムに基づくParzen窓幅決定法を実行し、最適窓幅hyを得る。ステップ156a4式22を実行して、損失平滑度パラメータの最適値αyを得る。ステップ158b学習標本集合ΩNから、学習標本xn,ynを取出してステップ162、式15による分類器パラメータΛの調整を行なうステップ164。これを各々の学習標本に対して順番に1回ずつ実行するステップ160。全標本に対する調整が終了した時点で、新たな分類器パラメータΛe1を得る。ステップ166cΩNにおける学習標本の並び順を例えば乱数によりシャッフルする。ステップ168上記アルゴリズムにおけるサブステップ2aは、毎エポックeにおいて実行しても良いが、実行間隔E ́を設定して、エポックeが間隔E ́の整数倍であるときのみ実行するようにしても良い。バッチ的手法によるアルゴリズム以下、バッチ的手法について図12を参照しながら説明する。1分類器学習パラメータΛの初期値Λ0を設定する。また繰返し変数iを0に設定し、自然数E ́を設定する。ステップ1902繰返し変数iについて、imodE ́=0か否かを判定するステップ192。判定が肯定なら以下のステップ194を実行する。判定が否定ならステップ194をスキップして後述するステップ196に制御を移す。3ステップ194は、図11に示すものと同じステップ150を各クラスy=1,...,Jに対して実行するステップ143を含む。ステップ194の処理が完了するとステップ196に制御を移す。4ステップ196では、以下の式によりパラメータΛを更新する。5終了条件が満たされているか否かを判定するステップ198。終了条件が満たされていれば処理を終了する。さもなければステップ200で繰返し変数iをインクリメントし、ステップ192に戻る。ここでも終了条件は一意に限定されるわけではない。例えば繰返し変数iの値が所定の値を超えたとき、又は勾配の大きさ∇ΛLΛiが所定の小さな正数以下となったとき、等の終了条件が考えられる。本実施の形態の効果以上により、LGM‐MCE学習において、学習標本を用いて損失関数の平滑度の最適値を自動的に設定できる。認識装置の設計の手間が省けるとともに、未知標本を高い精度で分類することが可能になる。また前述のように、損失平滑度の適度な設定は学習標本の仮想的な増加の効果をもたらす。この実施の形態に係る学習法は、誤分類尺度空間における仮想標本の生成を介して、入力パターン空間における仮想標本の生成を分析する手段としても利用できる。以下に一例を挙げる。再び、クラスCyに属するk番目の学習標本xkyを考える。ただしxkyは正しく分類されるとする。それを誤分類尺度空間すなわちtの空間へ変換したデータ点Dyxky;Λを中心とした窓幅hyの1個のParzen窓は、窓関数として式21のガウス型関数を採用する場合、誤分類尺度空間における、平均Dyxky;Λ及び標準偏差hyの1変量ガウス分布確率密度関数とも見なすことができる図13。すなわち、データ点Dyxky;Λに対して窓幅hyのガウス型Parzen窓関数を当てはめることは、tの空間において、Dyxky;Λを中心とした幅2hyの範囲に仮想的データ点を与えたことと近似的に等価となる。次にこれを元のパターン空間Xで眺めてみる図14。LGM‐MCE法が採用する誤分類尺度が幾何マージンの正負反転であることから、元のパターン空間において、xkyから分類決定境界への垂線の方向がtの正方向となる。つまり、tの空間において窓幅hyのガウス型Parzen窓関数を当てはめることは、元のパターン空間においては、学習標本xkyから分類境界へ垂直な方向に長さ2hyの範囲で仮想標本が存在することを意味する。xkyと境界との距離が|Dyxky;Λ|に等しい正分類の入力パターンが全てtの空間においてDyxky;Λに写像される。このことから、パターン空間上での仮想標本の存在範囲は図14における斜線部分300で示されることとなる。以上の議論は誤分類される学習標本に対しても同様である。実験結果上記実施の形態による、EMアルゴリズムに基づくParzen窓幅決定法を用いた装置を用い、以下のような実験を行なった。本実施の形態に係る損失平滑度の自動設定を伴うLGM‐MCE学習法の有用性を検証するため、平滑度を経験的に設定する従来の方法と、自動的に設定する本実施の形態に係る方法との比較を行なった。本実施の形態に係る技術は、元来、多様な判別関数に対して適用可能であるが、ここでは一例として、プロトタイプベクトルとのユークリッド距離を判別関数とする分類器を用いた実験を行なった。距離と確率との近縁性より、この分類器は汎用性が高く、音声認識等で多用される隠れマルコフモデルHMM等の確率尺度型の判別関数に容易に適用可能である。クラスCjにおける判別関数は次式で与えられる。ここでpjはCjに属するプロトタイプベクトルの中でxに最も近いものである。Λは全てのプロトタイプの集合である。クラスCyに属する学習標本xが与えられたとする。係数ψを∞にした式4の誤分類尺度は、xに対するbest‐incorrectクラス正解ではないが、正解に最も近い誤りクラスをCiとしてとなる。また式11の幾何マージンに基づく誤分類尺度Dyx;Λは以下の式で与えられる。本実験では、各クラスのプロトタイプ数をクラス共通で5とした。パラメータの学習は、適応的学習法により行なった。そして、Parzen窓幅推定のためのEMアルゴリズムの初期化として、四分位範囲法を用いた。実験にはUCIMachineLearningRepositoryhttparchiveicsuciedumlが提供するLetterRecognitionデータセットを用いた。このデータセットは、英語アルファベットのフォント文字画像から特徴抽出された20,000個のデータで構成される、26クラス、16次元のデータセットである。このデータは標本数が多いため、評価方法としてデータセットを分割するHoldout法を用いた。限られた標本数である現実的な状況を考慮して、20,000個の標本集合のうち1,000個を学習用標本集合、他の1,000個を検証validation用標本集合、そして残りの18,000個を未知標本集合とした。学習用標本集合はパラメータΛの学習に用いられる。検証用標本集合は、仮想的な未知標本集合として学習のハイパーパラメータを経験的に設定するために用いられるものである。以下、学習用標本集合による評価、検証用標本集合による評価、及び未知標本集合による評価をそれぞれClosedTest、ValidationTest及びOpenTestと呼ぶ。テーブル1は、損失平滑度を経験的に設定する従来のLGM‐MCE学習法に対する認識率の結果である。この方法では、式13の平滑化分類誤り損失の平滑化パラメータαyを予め定められた値各クラス共通の値αに固定してLGM‐MCE学習が行なわれる。すなわち、上記した適応的学習法によるアルゴリズムにおいて、α1=...=αJ=αが固定値に固定されるとともに、サブステップ2aが省略される。テーブル1では、複数種類の固定値αに対する認識率が記されている。OpenTest認識率は、αの違いにより大きく変動しており、αを経験的に設定することが難しく多大な労力を要することがわかる。なお、ValidationTestのときに最も高い認識率83.00を生み出している平滑度α=2.5の場合に、OpenTest認識率が80.99となっている。テーブル2は、αyを本実施の形態の技術により自動的に設定するLGM‐MCE学習法に対する認識率の結果である。テーブル2では、適応的学習法によるアルゴリズムにおける複数種類のE′αyの再推定を行なう実行間隔に対する認識率が記されている。OpenTest認識率は、E′の違いによる変動が小さく、しかもいずれのE′の場合においても、従来型のLGM‐MCE学習法における最高性能80.99と遜色のない値が得られている。したがって、E′の設定にそれほど労力をかけなくて済むとともに、本実施の形態における損失平滑度の自動設定が、従来の経験的設定による最高性能に匹敵する認識率を生み出していることがわかる。なお、ValidationTestのときに最も高い認識率84.80を生み出している実行間隔E′=40の場合に、OpenTest認識率が80.02となっている。[コンピュータによる実現]以上に説明した実施の形態に係るパターン分類器の学習装置は、汎用コンピュータ及びその上で実行されるコンピュータプログラムにより実現することができる。図15はこの実施の形態で用いられるコンピュータシステム550の外観を示し、図16はコンピュータシステム550のブロック図である。ここで示すコンピュータシステム550は単なる例であって、他の構成も利用可能である。このコンピュータプログラムのうち、コアとなる部分は、図10~図12のフローチャートにより示される制御構造を有する。図15を参照して、コンピュータシステム550は、コンピュータ560と、全てコンピュータ560に接続された、モニタ562と、キーボード566と、マウス568と、スピーカ558と、マイクロフォン590と、を含む。さらに、コンピュータ560はDVD-ROMDigitalVersatileDiskRead-Only-Memory:ディジタル多用途ディスク読出専用メモリドライブ570と、半導体メモリドライブ572とを含む。図16を参照して、コンピュータ560はさらに、DVD-ROMドライブ570と半導体メモリドライブ572とに接続されたバス586と、全てバス586に接続された、CPU576と、コンピュータ560のブートアッププログラムを記憶するROM578と、CPU576によって使用される作業領域を提供するとともにCPU576によって実行されるプログラムのための記憶領域となるRAM580と、観測値データ学習データ等を記憶するためのハードディスクドライブ574と、ネットワーク552への接続を提供するネットワークインターフェイス596とを含む。上述の実施の形態のシステムを実現するソフトウェアは、DVD-ROM582又は半導体メモリ584等のコンピュータ読取可能な記録媒体に記録されたオブジェクトコード、スクリプト、又はソースプログラムの形で流通し、DVD-ROMドライブ570又は半導体メモリドライブ572等の読出装置を介してコンピュータ560に提供され、ハードディスクドライブ574に記憶される。ソースプログラムでコンピュータ560に導入されるときには、所定のコンパイラでコンパイルしてオブジェクトコードを生成する必要がある。CPU576がプログラムを実行する際には、オブジェクトプログラム又はスクリプトはハードディスクドライブ574から読出されてRAM580に記憶される。図示しないプログラムカウンタによって指定されたアドレスから命令がフェッチされ、その命令が実行される。CPU576はハードディスクドライブ574から処理すべきデータを読出し、処理の結果をこれもまたハードディスクドライブ574に記憶する。スピーカ558とマイクロフォン590とは、直接に本発明とは関係ないが、スピーカ558は音声の再生時に必要である。音声についての学習データを収集するときには、発話データの収録にマイクロフォン590が必要となる。学習用データは、予め収集され、入力パターンとそのパターンの属するクラスとの組を多数含む。学習用データは、ハードディスクドライブ574に記憶される。上記した処理により算出されるクラス分類用のパラメータセットΛは、一旦はハードディスクドライブ574等に記憶され、さらにネットワークを介して、又はUSBメモリを介して、分類器にコピーされる。分類器はこれらクラス分類用のパラメータセットΛを用いて入力パターンをいずれかのクラスに分類する。コンピュータシステム550の一般的動作は周知であるので、詳細な説明はここでは繰返さない。ソフトウェアの流通の方法に関して、ソフトウェアは必ずしも記憶媒体上に固定されたものでなくても良い。例えば、ソフトウェアはネットワークに接続された別のコンピュータから分配されても良い。ソフトウェアの一部がハードディスクドライブ574に記憶され、ソフトウェアの残りの部分をネットワーク上からハードディスクドライブ574に取込み、実行の際に統合する様にしても良い。典型的には、現代のコンピュータはコンピュータのオペレーティングシステムOSによって提供される一般的な機能を利用し、所望の目的にしたがって制御された態様で機能を達成する。したがって、OS又はサードパーティから提供されうる一般的な機能を含まず、一般的な機能の実行順序の組合せのみを指定したプログラムであっても、そのプログラムが全体として所望の目的を達成する制御構造を有する限り、そのプログラムがこの発明の範囲に包含されることは明らかである。今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。"