"入力パターンをJ個のクラスCjjは1~Jの整数のいずれかに分類する分類器の学習装置であって、N個Nは正の整数の教師付の入力パターンを含む学習標本集合を記憶するための学習標本記憶手段と、前記分類器の学習パラメータ集合Λを予め定めた設定方法により初期化するための初期化手段とを含み、クラスCyに属する学習標本集合内の入力パターンxが他のクラスに誤分類される度合いを測る幾何マージン型誤分類尺度値Dyが以下により定義され、ただしψは正の実数であり、gyは前記J個のクラスCyの各々に対して、学習標本集合内の入力パターンxが当該クラスに属するか否かの度合いを判別するための、xと学習パラメータ集合Λとについて2階微分可能な任意の形の判別関数であり、dyは関数マージン型誤分類尺度と呼ばれ、前記学習パラメータ集合Λに含まれるk個の変数を並べたベクトルλ=[λ1...λk]について、誤分類尺度値Dyのベクトルλによる偏微分は、関数dyの勾配ベクトル∇xdyを用いて以下の式により与えられ、ただし上付きのTは行列の転置を表し、さらに、前記学習パラメータ集合Λに関する所定の最小化目標関数LΛの値が、前記学習標本集合に対して最小となるように、前記誤分類尺度値Dyの偏微分を用いて、前記学習パラメータ集合Λに含まれる各パラメータの値を適応的に調整するパラメータ調整手段を含む、分類器の学習装置。クラスCjj=1,...,Jに対する判別関数が、クラスCjに属するM個のプロトタイプをpj1pjM、各プロトタイプに対応する正定値行列をAj1,...,AjMとして、次式で与えられ、ただし、pj及びAjは、クラスCjに属するプロトタイプの中で、入力パターンxとの間に次式で定められる距離Distanceが最小となるプロトタイプの指標をmとして、pjpjm、及びAjAjmであり、関数マージン型誤分類尺度dyは、次式で与えられ幾何マージン型誤分類尺度Dy及びその偏微分は以下の式で与えられる、請求項1に記載の分類器の学習装置。前記正定値行列Aj1,...,AjMは以下のような、正の対角成分を持つ対角行列であり、パラメータaj1ajDは前記学習パラメータ集合Λに含まれ前記幾何マージン型誤分類尺度Dyの、パラメータayd及びaidd1Dに関する偏微分は以下の式により表される、請求項2に記載の分類器の学習装置。クラスCjj1Jに対する判別関数が以下で与えられ、ただしpj1pjMはクラスCjに属するM個のプロトタイプであり、wjmm1Mは、m番目のプロトタイプとのユークリッド距離に対する重みであり、前記学習パラメータ集合Λ及び関数マージン型誤分類尺度dyは以下の式で与えられただしクラスCy及びCiはそれぞれxの正解クラス及びbestincorrectクラスであり、前記幾何マージン型誤分類尺度及びその偏微分は以下の式により表される、請求項1に記載の分類器の学習装置。前記分類器は、入力層、中間層及び出力層からなる3層フィードフォワード型ニューラルネットワーク分類器であり、前記入力層はD1個のユニットを含み、前記中間層はM1個のユニットを含み、前記中間層のm番目m1Mのユニットは前記入力層からの出力の重み付け総和に対して非線形関数fmを施して出力し、前記出力層は、J個のユニットを含み、各j番目ユニットj1Jは、中間層からの出力の重み付け総和をクラスCjの判別関数gjとして出力するものであり、クラスCjj1Jに対する判別関数は以下で与えられ、ここでwmdm1Md01Dは、入力層のd番目のユニットから中間層のm番目のユニットへの結合に対する重み付け係数、vjmj1Jm01Mは中間層のm番目のユニットから出力層のj番目のユニットへの結合に対する重み付け係数であり、前記学習パラメータ集合Λは、前記重み付け係数wmdm1Md01D及びvjmj1Jm01Mを含み、前記幾何マージン型誤分類尺度及びその偏微分は以下の式である、請求項1に記載の分類器の学習装置。コンピュータを、請求項1~請求項5のいずれかに記載の分類器の学習装置の各手段として機能させる、コンピュータプログラム。従来実装されているLGM‐MCE学習法における各クラスの間の境界は、線形関数により与えられる。すなわち、各クラスの間の境界は、2次元空間の場合には直線で、3次元の場合には平面で、4次元以上の場合にはその次元-1の超平面により規定される。これは、判別関数として線形関数を用いているためである。実際に、線形関数を用いることにより学習のための処理は比較的単純であるという効果がある。しかし逆に、そのためにLGM-MCE学習法は限定された分野にしか適用が難しいという問題がある。さらに、線形の判別関数を用いたLGM-MCE学習法では、分類の精度を高めることが難しいという問題がある。したがって本発明の目的は、LGM‐MCE学習によるパターン分類器の学習装置において、得られる分類器の精度をより高くすることができる学習装置を提供することである。本発明の第1の局面に係る分類器の学習装置は、入力パターンをJ個のクラスCjjは1~Jの整数のいずれかに分類する分類器の学習装置である。この装置は、N個Nは正の整数の教師付の入力パターンを含む学習標本集合を記憶するための学習標本記憶手段と、分類器の学習パラメータ集合Λを予め定めた設定方法により初期化するための初期化手段とを含む。クラスCyに属する学習標本集合内の入力パターンxが他のクラスに誤分類される度合いを測る幾何マージン型誤分類尺度値Dyが以下により定義される。ただしψは正の実数であり、gyはJ個のクラスCyの各々に対して、学習標本集合内の入力パターンxが当該クラスに属するか否かの度合いを判別するための、xと学習パラメータ集合Λとについて2階微分可能な任意の形の判別関数であり、dyは関数マージン型誤分類尺度と呼ばれる。学習パラメータ集合Λに含まれるk個の変数を並べたベクトルλ=[λ1...λk]について、誤分類尺度値Dyのベクトルλによる偏微分は、関数dyの勾配ベクトル∇xdyを用いて以下の式により与えられ、ただし上付きのTは行列の転置を表す。この学習装置はさらに、学習パラメータ集合Λに関する所定の最小化目標関数LΛの値が、学習標本集合に対して最小となるように、誤分類尺度値Dyの偏微分を用いて、学習パラメータ集合Λに含まれる各パラメータの値を適応的に調整するパラメータ調整手段を含む。好ましくは、クラスCjj=1,...,Jに対する判別関数が、クラスCjに属するM個のプロトタイプをpj1pjM、各プロトタイプに対応する正定値行列をAj1,...,AjMとして、次式で与えられる。ただし、pj及びAjは、クラスCjに属するプロトタイプの中で、入力パターンxとの間に次式で定められる距離Distanceが最小となるプロトタイプの指標をmとして、pjpjm、及びAjAjmである。関数マージン型誤分類尺度dyは、次式で与えられる。幾何マージン型誤分類尺度Dy及びその偏微分は以下の式で与えられる。より好ましくは、正定値行列Aj1,...,AjMは以下のような、正の対角成分を持つ対角行列である。そして、パラメータaj1ajDは学習パラメータ集合Λに含まれ、幾何マージン型誤分類尺度Dyの、パラメータayd及びaidd1Dに関する偏微分は以下の式により表される。より好ましくは、クラスCjj1Jに対する判別関数が以下で与えられてもよい。ただしpj1pjMはクラスCjに属するM個のプロトタイプであり、wjmm1Mは、m番目のプロトタイプとのユークリッド距離に対する重みである。学習パラメータ集合Λ及び関数マージン型誤分類尺度dyは以下の式で与えられてもよい。ただしクラスCy及びCiはそれぞれxの正解クラス及びbestincorrectクラスである。幾何マージン型誤分類尺度Dy及びその偏微分は以下の式により表される。さらに好ましくは、分類器は、入力層、中間層及び出力層からなる3層フィードフォワード型ニューラルネットワーク分類器である。入力層はD1個のユニットを含む。中間層はM1個のユニットを含む。中間層のm番目m1Mのユニットは入力層からの出力の重み付け総和に対して非線形関数fmを施して出力する。出力層は、J個のユニットを含む。各j番目ユニットj1Jは、中間層からの出力の重み付け総和をクラスCjの判別関数gjとして出力する。クラスCjj1Jに対する判別関数は以下で与えられる。ここでwmdm1Md01Dは、入力層のd番目のユニットから中間層のm番目のユニットへの結合に対する重み付け係数、vjmj1Jm01Mは中間層のm番目のユニットから出力層のj番目のユニットへの結合に対する重み付け係数である。学習パラメータ集合Λは、重み付け係数wmdm1Md01D及びvjmj1Jm01Mを含む。幾何マージン型誤分類尺度Dy及びその偏微分は以下の式である。本発明の第2の局面に係るコンピュータプログラムは、コンピュータを、上記したいずれかの分類器の学習装置の各手段として機能させる。以下、本発明の実施の形態を説明する。以下の説明及び図面において、同一の構成要素には同一の参照番号を付してある。それらの名称及び機能も同一である。したがって、それらについての詳細な説明は繰返さない。以下の実施の形態では、判別関数として非線形関数を用いる。非線形関数を用いることにより、概念的には、4次元以上の標本空間では分類境界が超曲面となり、分類精度をより高めることが期待できる。[偏微分計算]上記したように判別関数として非線形関数を採用する場合、特に多次元空間の場合には偏微分計算が難しいという問題がある。以下、非線形の判別関数に対する幾何マージン型誤分類尺度Dyの偏微分計算について一般的に論じる。一般形の判別関数に対するLGM-MCE学習を式9に従って実行するために、クラスCyに属するD次元入力パターンをx=[x1...xD]Tとして、式9に含まれる非線形の幾何マージン型誤分類尺度Dyの変微分∇ΛDyを以下で導出する。ただし、上付きTは行列の転置を表す。まずA=∇xdy2とおく。このとき、1/∇xdy=A12。Λに含まれるある1変数λでDyを偏微分すると、以下となる。さらにAをλで偏微分すると以下となる。これを式10に代入して以下を得る。またΛに含まれるk個の変数を並べたベクトルλ=[λ1...λk]Tに関しては、式11より、偏微分ベクトルは以下の式により表される。なお、式14の左辺は勾配ベクトル∇xdyのヤコビ行列である。結局、式10及び13から、幾何マージン型誤分類尺度Dyのベクトル値変数に対する偏微分は以下で与えられる。[LGM-MCE学習法の2次判別関数型分類器への適用]《判別関数及び幾何マージン型誤分類尺度の偏微分》クラスCjj1...Jに対する判別関数は、クラスCjに属するM個のプロトタイプをpj1,...,pjM、各プロトタイプに対応する正定値行列をAji,...,AjMとして、次式で与えられる。式16におけるpj及びAjは、クラスCjに属するプロトタイプの中でxに対する次式の意味での距離Distanceの最小値を与えるプロトタイプの指標をmとして、pjpjm及びAjAjmとしている。また、Aj1...AjMAjとしてもよい。Ajmの具体的な形は問わないが、例えばクラスCjにおけるm番目クラスタKmeans法等で求められる。に属する学習標本集合の共分散行列の逆行列として与えればよく、あるいは、Ajmは、同じクラスタに属する学習標本集合の対角型共分散行列の逆行列として与えればよい。関数マージン型誤分類尺度は次式で与えられる。ただしCy及びCiはそれぞれxの正解クラス及びbestincorrectクラスである。このとき、関数マージン型誤分類尺度の微分は以下のとおりとなる。幾何マージン型誤分類尺度Dy及びその偏微分は式15より次式となる。《第1の実施の形態:システムの構成》図3を参照して、本実施の形態に係る分類器を用いた一例としての文字認識システム40は、教師付標本データによる学習を行なうことにより、文字画像データを文字カテゴリに分類するための分類器80と、教師文字カテゴリが付されたデジタルの文字データを使用した学習により、分類器80の学習を行なうための学習ユニット50と、文字画像を入力するタッチパネル52と、タッチパネル52の出力する信号を、学習ユニット50による学習が行なわれた分類器80を用いて文字カテゴリ56として出力する文字認識ユニット54とを含む。学習ユニット50は、教師文字カテゴリ付の文字画像データを記憶する記憶部70と、記憶部70から、所定の文字特徴量位置情報、統計的モーメント、エッジカウントなどを計算により抽出するための文字特徴量抽出モジュール74と、文字特徴量抽出モジュール74の出力する教師データを学習用標本データとして記憶する学習データ記憶部76と、学習データ記憶部76に記憶された学習用標本データを用い、後述する学習方法により分類器80の学習を行なう学習モジュール78とを含む。なお、以下の説明では、文字特徴量はベクトルで表されるものとする。すなわち、文字特徴量ベクトルをx、教師データとしての文字カテゴリをyとすると、標本データの各々はxyという形式で表すことができる。文字認識ユニット54は、タッチパネル52の出力信号をデジタル信号に変換する2値化処理部90と、2値化処理部90の出力する信号について、文字特徴量抽出モジュール74と同じ方法により文字特徴量を抽出して出力する文字特徴量抽出モジュール94と、文字特徴量抽出モジュール94の出力する一連の文字特徴量に対して分類器80を適用し、出力文字カテゴリ56を出力するデコーダ96とを含む。《学習アルゴリズム》以下、本実施の形態においてパラメータの学習を行なうためのアルゴリズムについて、図4を参照して説明する。図4を参照して、このアルゴリズムを実現するプログラムは、以下のステップを含む。1.初期化ステップ120。ここでは、プロトタイプpjmの初期値pjm及び正定値行列Ajmを設定するj1Jm1M。またエポック回数eの上限値Eを設定する。2.エポック回数e01Eに対して、以下の各サブステップa~cを含む処理124を実行するステップ122。aサブステップ140。ここでは、必要ならば、損失平滑度パラメータの最適値αyy1Jを得る。損失平滑度パラメータαyの値としては、経験的に求めたものでもよいが、本願発明者が先に出願した特願2010-184334号に記載した、損失関数平滑度自動設定法を用いて決定した損失平滑度パラメータαyを用いるとより好ましい。bサブステップ142。ここでは、学習標本集合ΩNから、教師付学習標本xyを取出し、各学習標本に対して以下のサブステップ160~174を含む処理144を実行する。b1以下の手順にしたがい、判別関数値gjを計算するj1Jサブステップ160。b2xに対するbestincorrectクラスの指標iを求めるサブステップ162。b3関数マージン型誤分類尺度をdygygiによって計算するサブステップ164。b4関数マージン型誤分類尺度の入力パターンに対する勾配ベクトルを計算するステップ166。b5勾配ベクトルのノルム∇xdyを計算するサブステップ168。b6幾何マージン型誤分類尺度DyをDydy∇xdyにより計算するサブステップ170。b7幾何マージン型誤分類尺度Dyの偏微分を以下により計算するサブステップ172。b8以下の式によりパラメータ更新を行なうサブステップ174。以上のサブステップb1~b8が処理144の内容である。処理144を各学習標本に対して順番に1回ずつ実行し、全標本に対する調整が終了した時点で、新たなプロトタイプpjmj1Jm1Mを得る。cステップ146。ここでは、学習標本集合ΩNにおける学習標本の並び順をシャッフルする。以上のステップa~cが処理124の内容である。エポックeに対して処理124を行なった後、エポックを1進めee1、同じ処理を繰返す。こうして、エポック数が予定した上限値Eに達して処理124が終了すると、分類器80の学習後のパラメータ集合Λが得られる。《第1の実施の形態の変形例》さらに、プロトタイプ{pjm}のみならず、Ajを対角行列として、その正の対角成分を学習してもよい。ここではとして、ajdd1Dを調整する。関数マージン型誤分類尺度の各ayd、aidd1Dに関する偏微分は以下のようになる。ただしpjpj1...pjDTとしている。dyの2階変微分はとなる。ただしδij1ifij、0ifi≠j。幾何マージン型誤分類尺度Dyの各ayd、aidd1Dに関する偏微分は、式12より次式となる。なお、式9における学習係数εに関して、pjmの修正に対するεとajdの修正に対するεとは互いに異なる値であってもよい。《変形例の学習プログラム》図5を参照して、上記第1の実施の形態の変形例のアルゴリズムを実現するプログラムは以下のようなステップを含む。1.初期化ステップ220。ここでは、プロトタイプpjmの初期値pjmj1Jm1M及び正定値行列Ajに対応する変数の初期値ajdj1Jd1Dを設定する。またエポック回数eの上限値Eを設定する。2.エポック回数e01Eに対して、以下の各サブステップa~cを含む処理224を実行するステップ222。aサブステップ240。ここでは、必要ならば、損失平滑度パラメータの最適値αyy1Jを得る。bサブステップ242。ここでは、学習標本集合ΩNから、教師付学習標本xyを取出し、各学習標本に対して以下のサブステップ260~274を含む処理244を実行する。なお、変数の右肩のeは、エポック番号を表す。b1以下の手順にしたがい、判別関数値gjを計算するj1Jサブステップ260。b2xに対するbestincorrectクラスの指標iを求めるサブステップ262。b3関数マージン型誤分類尺度をdygygiによって計算するサブステップ264。b4関数マージン型誤分類尺度の入力パターンに対する勾配ベクトルを計算するステップ266。b5勾配ベクトルのノルム∇xdyを計算するサブステップ268。b6幾何マージン型誤分類尺度DyをDydy∇xdyにより計算するサブステップ270。b7幾何マージン型誤分類尺度Dyの偏微分を以下により計算するサブステップ272。b8以下の式によりパラメータ更新を行なうサブステップ274。以上のサブステップb1~b8が処理244の内容である。処理244を各学習標本に対して順番に1回ずつ実行し、全標本に対する調整が終了した時点で、新たなプロトタイプpjmj1Jm1M及び行列パラメータajdj1Jd1Dを得る。cステップ246。ここでは、学習標本集合ΩNにおける学習標本の並び順をシャッフルする。以上のステップa~cが処理224の内容である。エポックeに対して処理224を行なった後、エポックを1進めee1、同じ処理を繰返す。こうして、エポック数が予定した上限値Eに達して処理224が終了すると、この変形例に係る分類器80の学習後のパラメータ集合Λが得られる。[第2の実施の形態:重み付きプロトタイプ型分類器]非線形の判別関数を用いた例として、重み付きプロトタイプ型の分類器を考える。この場合も第1の実施の形態と同様、以下のようにして分類器の学習を行なうことができる。《判別関数及び幾何マージン型分類尺度の偏微分》クラスCjj1Jに対する判別関数は次式で与えられる。ここでpj1pjMはクラスCjに属するM個のプロトタイプであり、wjmm1Mはm番目のプロトタイプとのユークリッド距離に対する重みである。学習パラメータ集合Λ及び関数マージン型誤分類尺度は以下で与えられる。ただし、クラスCy及びCiはそれぞれxの正解クラス及びbestincorrectクラスである。このとき、となりただしIは単位行列、幾何マージン型誤分類尺度Dy及びその偏微分は式15より次式となる。なお、式9における学習係数εに関して、pjmの修正に対するεとwjmの修正に対するεとは互いに異なる値であってもよい。《第2の実施の形態の学習プログラム》図6を参照して、上記第2の実施の形態のアルゴリズムを実現するプログラムは以下のようなステップを含む。1.初期化ステップ320。ここでは、プロトタイプpjmの初期値pjmj1Jm1M及び重み係数wjmの初期値wjmj1Jm1Mを設定する。またエポック回数eの上限値Eを設定する。2.ステップ322。ここでは、エポック回数e01Eに対して、以下の各サブステップa~cを含む処理324を実行する。以下は処理324を構成する各サブステップである。aサブステップ340。ここでは、必要ならば、損失平滑度パラメータの最適値αyy1Jを得る。bサブステップ342。ここでは、学習標本集合ΩNから、教師付学習標本xyを取出し、各学習標本に対して以下のサブステップ360~374を含む処理344を実行する。なお、変数の右肩のeは、エポック番号を表す。以下のb1~b8は処理344を構成するサブステップである。b1判別関数値gjを計算するj1Jサブステップ360。b2xに対するbestincorrectクラスの指標iを求めるサブステップ362。b3関数マージン型誤分類尺度をdygygiによって計算するサブステップ364。b4関数マージン型誤分類尺度の入力パターンに対する勾配ベクトルを計算するステップ366。b5勾配ベクトルのノルム∇xdyを計算するサブステップ368。b6幾何マージン型誤分類尺度DyをDydy∇xdyにより計算するサブステップ370。b7幾何マージン型誤分類尺度Dyの偏微分を以下により計算するm1Mサブステップ372。b8以下の式によりパラメータ更新を行なうm1Mサブステップ374。以上のサブステップb1~b8が処理344の内容である。処理344を各学習標本に対して順番に1回ずつ実行し、全標本に対する調整が終了した時点で、新たなプロトタイプpjmj1Jm1M及び重み係数wjmj1Jm1Mを得る。cステップ346。ここでは、学習標本集合ΩNにおける学習標本の並び順をシャッフルする。以上が処理324の内容である。エポックeに対して処理324を行なった後、エポックを1進めee1、同じ処理を繰返す。こうして、エポック数が予定した上限値Eに達して処理324が終了すると、この第2の実施の形態に係る分類器80の学習後のパラメータ集合Λが得られる。[第3の実施の形態:3層フィードフォワード型ニューラルネットワーク分類器]非線形の判別関数を用いた例として、フィードフォワード型のニューラルネットワークからなる分類器を考える。この場合も第1及び第2の実施の形態と同様、以下のようにして分類器の学習を行なうことができる。《判別関数及び幾何マージン型分類尺度の偏微分》3層フィードフォワード型ニューラルネットワーク分類器400を図7に示す。このニューラルネットワーク分類器400は、入力層412と、中間層414と、出力層416とを含む。入力層412は、D1個のユニットd01Dを含む。0番目ユニットは値1を、それ以外のユニットはD次元入力パターンxの各成分を受取り、そのまま出力する。中間層414は、M1個のユニットm01Mを含む。0番目ユニットは入力に何も受けず、値1を出力する。それ以外のm番目ユニットは、入力層412からの出力の重み付け総和に対して非線形関数fmを施し、その結果を出力する。出力層416はJ個のユニットj1Jを含む。各j番目のユニットj1Jは、中間層414からの出力の重み付け総和をクラスCjの判別関数gjとして出力する。なお、MCE学習に基づく実装では、出力層のユニットには非線形関数処理は施されない。クラスCjj1Jに対する判別関数は次の式で与えられる。ここでwmdm1Md01Dは入力層412から中間層414への結合に対する重み係数であり、vjmj1Jm01Mは中間層414から出力層416への結合に対する重み係数である。学習パラメータ集合Λは上記すべての重み係数の集合である。非線形関数fmは任意の微分可能な関数でよいが、ここでは次式のシグモイド関数を採用する。k番目クラスCkk1Jの判別関数の各重み係数に関する偏微分は次式となる。またk番目クラスk1Jの判別関数の第p次元目の入力に関する偏微分は次式となる。さらに、k番目クラスk1Jの判別関数に対する2階微分が次式で与えられる。ここで式51のシグモイド非線形関数の場合、その1階及び2階の導関数はそれぞれ次式となる。以上に基づき、関数マージン型誤分類尺度dygygiの1階及び2階の偏微分は次式で与えられることとなる。ただしクラスCy及びクラスCiはそれぞれ、ベクトルxの正解クラス及びbestincorrectクラスである。そして幾何マージン型誤分類尺度Dy及びその偏微分は式12より次式となる。なお、式9における学習係数εに関して、vjmの修正に対するεとwmdの修正に対するεとは互いに異なる値であってもよい。《第3の実施の形態の学習プログラム》図8を参照して、上記第3の実施の形態のアルゴリズムを実現するプログラムは以下のようなステップを含む。1.初期化ステップ440。重み係数{vjm}j1Jm0M、{wmd}m1Md0Dの初期値{vjm}j1Jm0M、{wmd}m1Md0Dを設定する。またエポック回数eの上限値Eを設定する。2.ステップ442。ここでは、エポック回数e01Eに対して、以下の各サブステップを含む処理444を実行する。以下は処理444を構成する各サブステップである。aサブステップ460。ここでは、必要ならば、損失平滑度パラメータの最適値αyy1Jを得る。bサブステップ462。ここでは、学習標本集合ΩNから、教師付学習標本xyを取出し、各学習標本に対して以下のサブステップ480~502を含む処理464を実行する。なお、変数の右肩のeは、エポック番号を表す。以下のb1~b12は処理464を構成するサブステップである。b1中間層414への入力値を計算するm1Mステップ480。b2判別関数値gjを計算するj1Jサブステップ482。ただしfmは例えば式51で与えられる。b3xに対するbestincorrectクラスの指標iを求めるサブステップ484。b4判別関数の偏微分を計算するkyiサブステップ486。ただしf’mは例えば式61で与えられる。b5判別関数の入力に関する偏微分を計算するkyiステップ488。b6判別関数に対する2階偏微分を計算するkyiステップ490。ただしf’’mは例えば式62で与えられる。b7関数マージン型誤分類尺度をdygygiにより計算するステップ492。b8関数マージン型誤分類尺度の1階及び2階偏微分を次式で計算するサブステップ494。b9勾配ベクトルのノルム∇xdyを計算するサブステップ496。b10幾何マージン型誤分類尺度DyをDydy∇xdyにより計算するサブステップ498。b11幾何マージン型誤分類尺度Dyの偏微分を以下により計算するサブステップ500。b12以下の式によりパラメータ更新を行なうサブステップ502。以上のサブステップb1~b12が処理464の内容である。処理464を各学習標本に対して順番に1回ずつ実行し、全標本に対する調整が終了した時点で、新たな{vjm}j1Jm0M、{wmd}m1Md0Dを得る。cステップ466。ここでは、学習標本集合ΩNにおける学習標本の並び順をシャッフルする。以上が処理444の内容である。エポックeに対して処理444を行なった後、エポックを1進めee1、同じ処理を繰返す。こうして、エポック数が予定した上限値Eに達して処理444が終了すると、この第3の実施の形態に係る分類器80の学習後のパラメータ集合Λが得られる。[実験結果]上記実施の形態に係るLGM-MCE学習法による非線形判別関数分類器の有用性を検証するため、非線形判別関数として2次判別関数を採用し、関数マージン型誤分類尺度を用いる従来のMCE学習法と幾何マージン型誤分類尺度を用いるLGM-MCE法との比較を行なった。クラスCjにおける2次判別関数は式16で与えられ、本実験ではAj1=...=AjM=Ajとし、行列AjとしてクラスCjに属する学習標本集合の対角共分散行列の逆行列に固定した。FM-MCE及びLGM-MCE両法で学習されるのはプロトタイプ{pjm}j1Jm1Mであり、これらの初期化としてKmeans法を用いた。更に、ユークリッド距離判別関数型の分類器にFM-MCE及びLGM-MCE両法を適用した実験も行なった。ユークリッド距離判別関数は区分的線形判別関数の代表例であり、式16においてAjを単位行列に固定したものとして与えられる。実験にはUCIMachineLearningRepositoryhttparchiveicsuciedumlが提供するLetterRecognitionデータセットを用いた。このデータセットは、英語アルファベットのフォント文字画像から特徴抽出された20000個のデータで構成される、26クラス、16次元のデータセットである。このデータは標本数が多いため、評価方法としてデータセットを分割するHoldout法を用いた。20000個の標本集合のうち1000個を学習用標本集合、他の19000個を未知標本集合とした。テーブル1は、各判別関数及び各学習手法の未知分類標本率を示したものである。カッコ内は学習標本分類率である。プロトタイプ数が1の場合、FM-MCE及びLGM-MCE両法とも、2次判別関数型分類器の方がユークリッド距離型より分類率が高く、更に2次判別関数型分類器において、LGM-MCE法がFM-MCE法より高い分類率を与えている。プロトタイプ数が3の場合は、未知標本分類率において、FM-MCE及びLGM-MCE両法とも、2次判別関数型分類器の方がユークリッド距離型より分類率が高く、更に2次判別関数型分類器において、LGM-MCE法がFM-MCE法より高い分類率を与えている。以上により、線形判別関数のみならず2次判別関数においても、LGM-MCE学習法が従来のFM-MCE法より高い分類精度を与えることが確認された。[コンピュータによる実現]以上に説明した実施の形態に係る分類器の学習装置は、汎用コンピュータ及びその上で実行されるコンピュータプログラムにより実現することができる。図9は上記実施の形態で用いられるコンピュータシステム550の外観を示し、図10はコンピュータシステム550のブロック図である。ここで示すコンピュータシステム550は単なる例であって、他の構成も利用可能である。このコンピュータプログラムのうち、コアとなる部分は、図4~図6及び図8のフローチャートにより示される制御構造を有する。図9を参照して、コンピュータシステム550は、コンピュータ560と、全てコンピュータ560に接続された、モニタ562と、キーボード566と、マウス568と、スピーカ558と、マイクロフォン590と、を含む。さらに、コンピュータ560はDVD-ROMDigitalVersatileDiskRead-Only-Memory:デジタル多用途ディスク読出専用メモリドライブ570と、半導体メモリポート572とを含む。図10を参照して、コンピュータ560はさらに、DVD-ROMドライブ570と半導体メモリドライブ572とに接続されたバス586と、全てバス586に接続された、CPU576と、コンピュータ560のブートアッププログラムを記憶するROM578と、CPU576によって使用される作業領域を提供するとともにCPU576によって実行されるプログラムのための記憶領域となるRAM580と、学習データ等を記憶するためのハードディスクドライブ574と、ネットワーク552への接続を提供するネットワークインターフェイス596とを含む。上述の実施の形態のシステムを実現するソフトウェアは、DVD-ROM582又は半導体メモリ584等のコンピュータ読取可能な記録媒体に記録されたオブジェクトコード、スクリプト、又はソースプログラムの形で流通し、DVD-ROMドライブ570又は半導体メモリポート572等の読出装置を介してコンピュータ560に提供され、ハードディスクドライブ574に記憶される。ソースプログラムでコンピュータ560に導入されるときには、所定のコンパイラでコンパイルしてオブジェクトコードを生成する必要がある。CPU576がプログラムを実行する際には、オブジェクトプログラム又はスクリプトはハードディスクドライブ574から読出されてRAM580に記憶される。図示しないプログラムカウンタによって指定されたアドレスから命令がフェッチされ、その命令が実行される。CPU576はハードディスクドライブ574又はRAM580から処理すべきデータを読出し、処理の結果をこれもまたハードディスクドライブ574又はRAM580に記憶する。スピーカ558及びマイクロフォン590は、本実施の形態では用いられないが、本発明は音声認識及び話者認識にも適用可能であり、そうした場合にはこれらは音声についての学習データを準備するときに必要となる。マイクロフォン590はまた、このコンピュータ上で音声認識を行なうときには、処理対象の音声を入力するための入力装置としても機能する。学習用データは、予め収集され、入力パターンとそのパターンの属するクラスとの組を多数含む。これは、図3に示すシステムでは、各文字画像から抽出した文字特徴量と、その文字画像に対応する文字カテゴリである。学習用データは、ハードディスクドライブ574図3に示す記憶部70及び学習データ記憶部76に記憶される。上記した処理により算出される分類用のパラメータセットΛ等は、一旦はハードディスクドライブ574等に記憶され、さらにネットワークを介して、又はUSBメモリを介して、分類器にコピーされる。分類器はこれらクラス分類用のパラメータセットΛを用いて入力パターンをいずれかのクラスに分類する。コンピュータシステム550の一般的動作は周知であるので、詳細な説明はここでは繰返さない。ソフトウェアの流通の方法に関して、ソフトウェアは必ずしも記憶媒体上に固定されたものでなくても良い。例えば、ソフトウェアはネットワークに接続された別のコンピュータから分配されても良い。ソフトウェアの一部がハードディスクドライブ574に記憶され、ソフトウェアの残りの部分をネットワーク上からハードディスクドライブ574に取込み、実行の際に統合する様にしても良い。典型的には、現代のコンピュータはコンピュータのオペレーティングシステムOSによって提供される一般的な機能、及びスクリプト言語を使用する場合にはスクリプト言語の実行系により提供される一般的又は特定の目的に沿った機能を利用し、所望の目的にしたがって制御された態様で機能を達成する。したがって、OS又はサードパーティから提供されうる一般的な機能を含まず、そのように他のシステムにより提供される機能の実行順序の組合せを指定したプログラムであっても、そのプログラムが全体として所望の目的を達成する制御構造を有する限り、そのプログラムがこの発明の範囲に包含されることは明らかである。今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。"