(57)【特許請求の範囲】
【請求項１】
入力パターンをＪ個のクラスＣｊ（ｊは１〜Ｊの整数）のいずれかに分類する分類器の学習装置であって、
Ｎ個（Ｎは正の整数）の教師付の入力パターンを含む学習標本集合を記憶するための学習標本記憶手段と、
前記分類器の学習パラメータ集合Λを予め定めた設定方法により初期化するための初期化手段とを含み、
クラスＣｙに属する学習標本集合内の入力パターンｘが他のクラスに誤分類される度合いを測る幾何マージン型誤分類尺度値Dy(x;Λ)が以下により定義され、
【数１】
0005834287.tif 000074
ただしψは正の実数であり、gy(x;Λ)は前記Ｊ個のクラスＣｙの各々に対して、学習標本集合内の入力パターンｘが当該クラスに属するか否かの度合いを判別するための、ｘと学習パラメータ集合Λとについて２階微分可能な任意の形の判別関数であり、dy(x;Λ)は関数マージン型誤分類尺度と呼ばれ、
前記学習パラメータ集合Λに含まれるｋ個の変数を並べたベクトルλ＝［λ1…λk］について、誤分類尺度値Dy(x;Λ)のベクトルλによる偏微分は、関数dy(x;Λ)の勾配ベクトル∇xdyを用いて以下の式により与えられ、ただし上付きのＴは行列の転置を表し、
【数２】
0005834287.tif 000075
さらに、前記学習パラメータ集合Λに関する所定の最小化目標関数Ｌ（Λ）の値が、前記学習標本集合に対して最小となるように、前記誤分類尺度値Dy (x;Λ)の偏微分を用いて、前記学習パラメータ集合Λに含まれる各パラメータの値を適応的に調整するパラメータ調整手段を含む、分類器の学習装置。
【請求項２】
クラスＣj（ｊ＝１，…，Ｊ）に対する判別関数が、クラスＣjに属するＭ個のプロトタイプをpj,1,...,pj,M、各プロトタイプに対応する正定値行列をＡj,1，…，Ａj,Mとして、次式で与えられ、
【数３】
0005834287.tif 000076
ただし、pj及びＡjは、クラスＣjに属するプロトタイプの中で、入力パターンｘとの間に次式で定められる距離Ｄｉｓｔａｎｃｅ
【数４】
0005834287.tif 000077
が最小となるプロトタイプの指標をm(j)として、pj=pj,m(j)、及びＡj=Ａj,m(j)であり、
関数マージン型誤分類尺度dy(x;Λ)は、次式で与えられ
【数５】
0005834287.tif 000078
幾何マージン型誤分類尺度Dy (x;Λ)及びその偏微分は以下の式で与えられる、請求項１に記載の分類器の学習装置。
【数６】
0005834287.tif 000079
【請求項３】
前記正定値行列Ａj,1，…，Ａj,Mは以下のような、正の対角成分を持つ対角行列であり、
【数７】
0005834287.tif 000080
パラメータaj,1,...,aj,Dは前記学習パラメータ集合Λに含まれ
前記幾何マージン型誤分類尺度Dy(x;Λ)の、パラメータay,d及びai,d（d=1,...,D）に関する偏微分は以下の式により表される、請求項２に記載の分類器の学習装置。
【数８】
0005834287.tif 000081
【請求項４】
クラスＣj（j=1,...,J）に対する判別関数が以下で与えられ、
【数９】
0005834287.tif 000082
ただしpj,1,...,pj,MはクラスＣjに属するＭ個のプロトタイプであり、wj,m（m=1,...,M）は、ｍ番目のプロトタイプとのユークリッド距離に対する重みであり、
前記学習パラメータ集合Λ及び関数マージン型誤分類尺度dy(x;Λ)は以下の式で与えられ
【数１０】
0005834287.tif 000083
ただしクラスＣy及びＣiはそれぞれｘの正解クラス及びbest-incorrectクラスであり、
前記幾何マージン型誤分類尺度及びその偏微分は以下の式により表される、請求項１に記載の分類器の学習装置。
【数１１】
0005834287.tif 000084
【請求項５】
前記分類器は、入力層、中間層及び出力層からなる３層フィードフォワード型ニューラルネットワーク分類器であり、
前記入力層はＤ＋１個のユニットを含み、
前記中間層はＭ＋１個のユニットを含み、前記中間層のｍ番目（m=1,...,M）のユニットは前記入力層からの出力の重み付け総和に対して非線形関数ｆｍを施して出力し、
前記出力層は、Ｊ個のユニットを含み、
各ｊ番目ユニット（j=1,...,J）は、中間層からの出力の重み付け総和をクラスＣjの判別関数gjとして出力するものであり、
クラスＣj（j=1,...,J）に対する判別関数は以下で与えられ、
【数１２】
0005834287.tif 000085
ここでwm,d（m=1,...,M;  d=0,1,...,D）は、入力層のｄ番目のユニットから中間層のｍ番目のユニットへの結合に対する重み付け係数、vj,m（j=1,...,J;  m=0,1,...,M）は中間層のｍ番目のユニットから出力層のｊ番目のユニットへの結合に対する重み付け係数であり、
前記学習パラメータ集合Λは、前記重み付け係数wm,d（m=1,...,M;  d=0,1,...,D）及びvj,m（j=1,...,J;  m=0,1,...,M）を含み、
前記幾何マージン型誤分類尺度及びその偏微分は以下の式である、請求項１に記載の分類器の学習装置。
【数１３】
0005834287.tif 000086
【請求項６】
コンピュータを、請求項１〜請求項５のいずれかに記載の分類器の学習装置の各手段として機能させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、何らかの測定データを所定のクラスのいずれかに分類するパターン分類の学習装置に関し、特に、ＬＧＭ‐ＭＣＥ（大幾何マージン最小分類誤り）学習を用い、より分類精度が高くなることが期待できる学習が行なえる学習装置に関する。
【背景技術】
【０００２】
［パターン認識と学習］
人間と機械との間のインターフェイスにおいて、パターン認識は重要な技術である。パターン認識技術は、話者の識別、発話内容の認識、顔画像による人物の識別、及び文字認識等、様々な局面で使用される。パターン認識は、端的にいえば、何らかの物理現象を観測することにより得られる観測値のパターンを、複数個のクラスのいずれかに分類する作業である。こうした作業は人間には比較的簡単であるが、機械にさせるのは容易ではない。そうした作業を行なう装置は、包括的に呼べばパターン認識装置ということになる。パターン認識装置にパターン認識を行なわせるためには、学習データを統計的に処理することにより、分類に必要なパラメータを得る、学習と呼ばれる予備的な作業が必要とされる。
【０００３】
こうしたパターン分類のための学習方法として、非特許文献１に開示されたＬＧＭ−ＭＣＥ法と、非特許文献２に開示されたＭＣＥ法とがある。いずれの方法も、判別関数に基づく分類決定則を採用する。以下、それらについて説明する。
【０００４】
入力パターン（観測値）ｘ∈ΧをＪ個のクラス（類）Ｃ1、…、ＣJのいずれか１つに割当てる分類タスクを考える。ここで、Χは全入力パターン空間を表す。ＬＧＭ−ＭＣＥ法（非特許文献１）は初期のＭＣＥ法（非特許文献２）と同様、判別関数に基づく以下の分類決定則を採用する。
【０００５】
【数１】
0005834287.tif 000002
ここでgj(x;Λ)はクラスＣjに対する判別関数であり、ｘがクラスＣjに帰属する程度を表わす。Λは分類器の学習パラメータ（調整パラメータ）を表し、gj(x;Λ)（j=1、…、J）はxとΛとに関して2階微分可能であるとする。
【０００６】
次に、上式の分類決定則により形成される分類決定境界に着目し、xを正しく分類される境界付近の学習標本として、xと境界とのユークリッド距離rを考える。このrは幾何マージンに他ならず、この値を大きくとることで、誤分類されやすい未知パターンの正確な分類の可能性が高まる。x∈Ｃyであるとして、非特許文献１の結果より、幾何マージンは次式で（一般には近似的に）表される。
【０００７】
【数２】
0005834287.tif 000003
ここでdy(x;Λ)は初期のＭＣＥ法で定義される次式の誤分類尺度である（ψ＞０）。
【０００８】
【数３】
0005834287.tif 000004
なおψ→∞とすれば、dy(x;Λ)は次式となる。
【０００９】
【数４】
0005834287.tif 000005
ここでＣiはｘに対するbest-incorrectクラスである。すなわち幾何マージンは、誤分類尺度の正負反転（関数マージンと呼ばれる。）をその勾配のノルムで正規化したものに近似的に等しい。
【００１０】
ＬＧＭ−ＭＣＥ学習法は、この幾何マージンの正負反転に対応する以下のＤy(x;Λ)を新たな誤分類尺度として採用する。
【００１１】
【数５】
0005834287.tif 000006
Dy(x;Λ)の正値は誤分類、負値は正分類に対応する。この性質は初期のＭＣＥ法における誤分類尺度dy(x;Λ)と共通である。以降、従来の誤分類尺度dy(x;Λ)及び新しい誤分類尺度Dy(x;Λ)をそれぞれ、関数マージン型誤分類尺度及び幾何マージン型誤分類尺度とよぶ。
【００１２】
Λの理想状態は、無限個の標本から成る次式の分類誤り数リスク（すべてのパターンに対する分類誤り確率）を最小にするものである。
【００１３】
【数６】
0005834287.tif 000007
ただしpは確率密度関数を表し、1（Ａ）は命題Ａが真なら1、偽ならOを返す指示関数である。したがって1(Dy(x;Λ)>0)は誤分類ならば1、正分類ならばOを返す分類誤り数損失を表す。この関数を図１のグラフ２２により示す。しかし分類誤り数損失はΛに関して微分不可能である。しかも現実的には有限個の学習用標本しか利用できない。そこでＬＧＭ−ＭＣＥ法は（初期のＭＣＥ法と同様に）、分類誤り数損失を平滑な（Λに関して微分可能な）ロジスティック関数に置き換え、有限学習標本に対するこの平均の最小化を行なう。ロジスティック関数を図２のグラフ３２により示す。x∈Ｃyに対する平滑化分類誤り数損失は次式で定義される(αy＞０)。
【００１４】
【数７】
0005834287.tif 000008
ＬＧＭ−ＭＣＥ学習法が目指す最小化目標関数は、ΩN＝｛xn, yn｝n=1NをＮ個の標本からなる教師付学習標本集合として、以下の式で示される経験的平均損失Ｌ（Λ）である。
【００１５】
【数８】
0005834287.tif 000009
上式のL(Λ)の最小化は、有限学習標本に対する分類誤り数の最小化を直接的に目指すだけでなく、図２に示されるように、損失_ly(Dy)（文字の直前に付加されたアンダースコア”_“は、その文字が式中ではイタリック体で描かれていることを示す。）がDyの単調増加関数であるが故に、Dyを負方向に大きく増加させる。これにより、Dyの正負反転、すなわち幾何マージン（図２におけるr）が増大することとなる。
【００１６】
有限個の学習標本のみから構成される上式のL(Λ)は、当然ながら、学習標本集合に含まれない全ての未知パターンをも含む分類誤り数リスクR(Λ)の近似にすぎず、L(Λ)を最小にするΛは一般にR(Λ)を最小にはしない。しかし、適度な有限値のαy（式（７）を参照）を設定することにより、評価基準L(Λ)が平滑な関数となり、学習標本集合に含まれない未知パターンに対する学習耐性を向上させる。すなわち、この平滑化により、与えられた学習標本のみならずその近傍に対しても損失が敏感となり、学習標本数を増やす効果が得られる。
【００１７】
L(Λ)の最小化に関して、最急降下法などのバッチ的手法だけではなく、ΩNから１個の標本(x,y)を抽出する度にΛを調整する適応的な学習方法も広く用いられている。その方法におけるΛの調整機構は次式で与えられる。ただし_l’yは損失関数_lyの導関数であり、学習係数εは各繰返しステップで可変とする。
【００１８】
【数９】
0005834287.tif 000010
以上がＬＧＭ−ＭＣＥ法の概要である。
【先行技術文献】
【非特許文献】
【００１９】
【非特許文献１】Ｈ．ワタナベ他、「幾何マージン制御を伴う最小誤り分類」、ＩＥＥＥ  ＩＣＡＳＳＰ予稿集、ｐｐ．２１７０−２１７３、２０１０年３月（H.  Watanabe  et  al.、  Minimum  error  classification  with  geometric  margin  control.”  in  Proc.  IEEE  ICASSP、  pp.  2170-2173  Mar.  2010）
【非特許文献２】Ｂ．‐Ｈ．ジュアン及びＳ．カタギリ、「最小誤り分類のための識別学習」  ＩＥＥＥ  信号処理トランザクション、第４０巻、第１２号、ｐｐ．３０４３‐３０５４、１９９２年１２月（B.‐H.  Juang  and  S.  Katagiri、  “Discriminative  learning  for  minimum  error  classification、”  IEEE  Trans.  Signal  Processing、  vol.40、  no.12、  pp.3043‐3054、  Dec.  1992.）
【発明の概要】
【発明が解決しようとする課題】
【００２０】
従来実装されているＬＧＭ‐ＭＣＥ学習法における各クラスの間の境界は、線形関数により与えられる。すなわち、各クラスの間の境界は、２次元空間の場合には直線で、３次元の場合には平面で、４次元以上の場合にはその次元−１の超平面により規定される。
【００２１】
これは、判別関数として線形関数を用いているためである。実際に、線形関数を用いることにより学習のための処理は比較的単純であるという効果がある。しかし逆に、そのためにＬＧＭ−ＭＣＥ学習法は限定された分野にしか適用が難しいという問題がある。さらに、線形の判別関数を用いたＬＧＭ−ＭＣＥ学習法では、分類の精度を高めることが難しいという問題がある。
【００２２】
したがって本発明の目的は、ＬＧＭ‐ＭＣＥ学習によるパターン分類器の学習装置において、得られる分類器の精度をより高くすることができる学習装置を提供することである。
【課題を解決するための手段】
【００２３】
本発明の第１の局面に係る分類器の学習装置は、入力パターンをＪ個のクラスＣｊ（ｊは１〜Ｊの整数）のいずれかに分類する分類器の学習装置である。この装置は、Ｎ個（Ｎは正の整数）の教師付の入力パターンを含む学習標本集合を記憶するための学習標本記憶手段と、分類器の学習パラメータ集合Λを予め定めた設定方法により初期化するための初期化手段とを含む。クラスＣｙに属する学習標本集合内の入力パターンｘが他のクラスに誤分類される度合いを測る幾何マージン型誤分類尺度値Dy(x;Λ)が以下により定義される。
【００２４】
【数１０】
0005834287.tif 000011
ただしψは正の実数であり、gy(x;Λ)はＪ個のクラスＣｙの各々に対して、学習標本集合内の入力パターンｘが当該クラスに属するか否かの度合いを判別するための、ｘと学習パラメータ集合Λとについて２階微分可能な任意の形の判別関数であり、dy(x;Λ)は関数マージン型誤分類尺度と呼ばれる。
【００２５】
学習パラメータ集合Λに含まれるｋ個の変数を並べたベクトルλ＝［λ1…λk］について、誤分類尺度値Dy(x;Λ)のベクトルλによる偏微分は、関数dy(x;Λ)の勾配ベクトル∇xdyを用いて以下の式により与えられ、ただし上付きのＴは行列の転置を表す。
【００２６】
【数１１】
0005834287.tif 000012
この学習装置はさらに、学習パラメータ集合Λに関する所定の最小化目標関数Ｌ（Λ）の値が、学習標本集合に対して最小となるように、誤分類尺度値Dy(x;Λ)の偏微分を用いて、学習パラメータ集合Λに含まれる各パラメータの値を適応的に調整するパラメータ調整手段を含む。
【００２７】
好ましくは、クラスＣj（ｊ＝１，…，Ｊ）に対する判別関数が、クラスＣjに属するＭ個のプロトタイプをpj,1,...,pj,M、各プロトタイプに対応する正定値行列をＡj,1，…，Ａj,Mとして、次式で与えられる。
【００２８】
【数１２】
0005834287.tif 000013
ただし、pj及びＡjは、クラスＣjに属するプロトタイプの中で、入力パターンｘとの間に次式で定められる距離Ｄｉｓｔａｎｃｅ
【００２９】
【数１３】
0005834287.tif 000014
が最小となるプロトタイプの指標をm(j)として、pj=pj,m(j)、及びＡj=Ａj,m(j)である。関数マージン型誤分類尺度dy(x;Λ)は、次式で与えられる。
【００３０】
【数１４】
0005834287.tif 000015
幾何マージン型誤分類尺度Dy(x;Λ)及びその偏微分は以下の式で与えられる。
【００３１】
【数１５】
0005834287.tif 000016
より好ましくは、正定値行列Ａj,1，…，Ａj,Mは以下のような、正の対角成分を持つ対角行列である。
【００３２】
【数１６】
0005834287.tif 000017
そして、パラメータaj,1,...,aj,Dは学習パラメータ集合Λに含まれ、幾何マージン型誤分類尺度Dy(x;Λ)の、パラメータay,d及びai,d（d=1,...,D）に関する偏微分は以下の式により表される。
【００３３】
【数１７】
0005834287.tif 000018
より好ましくは、クラスＣj（j=1,...,J）に対する判別関数が以下で与えられてもよい。
【００３４】
【数１８】
0005834287.tif 000019
ただしpj,1,...,pj,MはクラスＣjに属するＭ個のプロトタイプであり、wj,m（m=1,...,M）は、ｍ番目のプロトタイプとのユークリッド距離に対する重みである。学習パラメータ集合Λ及び関数マージン型誤分類尺度dy(x;Λ)は以下の式で与えられてもよい。
【００３５】
【数１９】
0005834287.tif 000020
ただしクラスＣy及びＣiはそれぞれｘの正解クラス及びbest-incorrectクラスである。幾何マージン型誤分類尺度Dy(x;Λ)及びその偏微分は以下の式により表される。
【００３６】
【数２０】
0005834287.tif 000021
さらに好ましくは、分類器は、入力層、中間層及び出力層からなる３層フィードフォワード型ニューラルネットワーク分類器である。入力層はＤ＋１個のユニットを含む。中間層はＭ＋１個のユニットを含む。中間層のｍ番目（m=1,...,M）のユニットは入力層からの出力の重み付け総和に対して非線形関数ｆmを施して出力する。出力層は、Ｊ個のユニットを含む。各ｊ番目ユニット（j=1,...,J）は、中間層からの出力の重み付け総和をクラスＣjの判別関数gjとして出力する。クラスＣj（j=1,...,J）に対する判別関数は以下で与えられる。
【００３７】
【数２１】
0005834287.tif 000022
ここでwm,d（m=1,...,M;  d=0,1,...,D）は、入力層のｄ番目のユニットから中間層のｍ番目のユニットへの結合に対する重み付け係数、vj,m（j=1,...,J;  m=0,1,...,M）は中間層のｍ番目のユニットから出力層のｊ番目のユニットへの結合に対する重み付け係数である。学習パラメータ集合Λは、重み付け係数wm,d（m=1,...,M;  d=0,1,...,D）及びvj,m（j=1,...,J;  m=0,1,...,M）を含む。幾何マージン型誤分類尺度Dy(x;Λ)及びその偏微分は以下の式である。
【００３８】
【数２２】
0005834287.tif 000023
【００３９】
本発明の第２の局面に係るコンピュータプログラムは、コンピュータを、上記したいずれかの分類器の学習装置の各手段として機能させる。
【図面の簡単な説明】
【００４０】
【図１】ＬＧＭ‐ＭＣＥ学習法における分類誤り数損失関数のグラフである。
【図２】ＬＧＭ‐ＭＣＥ学習法におけるロジスティックシグモイド関数による平滑化分類誤り数損失関数のグラフである。
【図３】本発明の１実施の形態に係る分類器を用いる文字認識システムのブロック図である。
【図４】本発明の第１の実施の形態により分類器の学習を行なうためのプログラムのフローチャートである。
【図５】本発明の第１の実施の形態の変形例により分類器の学習を行なうためのプログラムのフローチャートである。
【図６】本発明の第２の実施の形態により分類器の学習を行なうためのプログラムのフローチャートである。
【図７】本発明の第３の実施の形態のシステムで用いられるニューラルネットワークの構成を模式的に示す図である。
【図８】本発明の第３の実施の形態により分類器の学習を行なうためのプログラムのフローチャートである。
【図９】本発明の実施の形態を実現する汎用のコンピュータシステムのハードウェア外観を示す図である。
【図１０】図９に示すコンピュータシステムの内部構造のブロック図である。
【発明を実施するための形態】
【００４１】
以下、本発明の実施の形態を説明する。以下の説明及び図面において、同一の構成要素には同一の参照番号を付してある。それらの名称及び機能も同一である。したがって、それらについての詳細な説明は繰返さない。
【００４２】
以下の実施の形態では、判別関数として非線形関数を用いる。非線形関数を用いることにより、概念的には、４次元以上の標本空間では分類境界が超曲面となり、分類精度をより高めることが期待できる。
【００４３】
［偏微分計算］
上記したように判別関数として非線形関数を採用する場合、特に多次元空間の場合には偏微分計算が難しいという問題がある。以下、非線形の判別関数に対する幾何マージン型誤分類尺度Dy(x;Λ)の偏微分計算について一般的に論じる。
【００４４】
一般形の判別関数に対するＬＧＭ−ＭＣＥ学習を式（９）に従って実行するために、クラスＣyに属するＤ次元入力パターンを
ｘ＝［ｘ１…ｘＤ］Ｔ
として、式（９）に含まれる非線形の幾何マージン型誤分類尺度Dy(x;Λ)の変微分∇ΛDy(x;Λ)を以下で導出する。ただし、上付きＴは行列の転置を表す。
【００４５】
まずＡ＝||∇xdy(x;Λ)||2とおく。このとき、１／||∇xdy(x;Λ)||＝Ａ-1/2。Λに含まれるある１変数λでDy(x;Λ)を偏微分すると、以下となる。
【００４６】
【数２３】
0005834287.tif 000024
さらにＡをλで偏微分すると以下となる。
【００４７】
【数２４】
0005834287.tif 000025
これを式（１０）に代入して以下を得る。
【００４８】
【数２５】
0005834287.tif 000026
またΛに含まれるｋ個の変数を並べたベクトルλ＝［λ1…λk］Tに関しては、式（１１）より、偏微分ベクトルは以下の式により表される。
【００４９】
【数２６】
0005834287.tif 000027
なお、式（１４）の左辺は勾配ベクトル∇xdyのヤコビ行列である。
【００５０】
結局、式（１０）及び（１３）から、幾何マージン型誤分類尺度Dy(x;Λ)のベクトル値変数に対する偏微分は以下で与えられる。
【００５１】
【数２７】
0005834287.tif 000028
【００５２】
［ＬＧＭ−ＭＣＥ学習法の２次判別関数型分類器への適用］
《判別関数及び幾何マージン型誤分類尺度の偏微分》
クラスＣj（j=1,…,J）に対する判別関数は、クラスＣjに属するＭ個のプロトタイプをpj,1，…，pj,M、各プロトタイプに対応する正定値行列をＡj,i，…，Ａj,Mとして、次式で与えられる。
【００５３】
【数２８】
0005834287.tif 000029
式（１６）におけるpj及びＡjは、クラスＣjに属するプロトタイプの中でxに対する次式の意味での距離Distanceの最小値を与えるプロトタイプの指標をm(j)として、pj=pj,m(j)及びＡj=Ａj,m(j)としている。
【００５４】
【数２９】
0005834287.tif 000030
また、Ａj,1=…=Ａj,M=Ａjとしてもよい。Ａj,mの具体的な形は問わないが、例えばクラスＣjにおけるｍ番目クラスタ（K-means法等で求められる。）に属する学習標本集合の共分散行列の逆行列として与えればよく、あるいは、Ａj,mは、同じクラスタに属する学習標本集合の対角型共分散行列の逆行列として与えればよい。関数マージン型誤分類尺度は次式で与えられる。
【００５５】
【数３０】
0005834287.tif 000031
ただしＣy及びＣiはそれぞれｘの正解クラス及びbest-incorrectクラスである。このとき、関数マージン型誤分類尺度の微分は以下のとおりとなる。
【００５６】
【数３１】
0005834287.tif 000032
幾何マージン型誤分類尺度Dy(x;Λ)及びその偏微分は式（１５）より次式となる。
【００５７】
【数３２】
0005834287.tif 000033
【００５８】
《第１の実施の形態：システムの構成》
図３を参照して、本実施の形態に係る分類器を用いた一例としての文字認識システム４０は、教師付標本データによる学習を行なうことにより、文字画像データを文字カテゴリに分類するための分類器８０と、教師文字カテゴリが付されたデジタルの文字データを使用した学習により、分類器８０の学習を行なうための学習ユニット５０と、文字画像を入力するタッチパネル５２と、タッチパネル５２の出力する信号を、学習ユニット５０による学習が行なわれた分類器８０を用いて文字カテゴリ５６として出力する文字認識ユニット５４とを含む。
【００５９】
学習ユニット５０は、教師文字カテゴリ付の文字画像データを記憶する記憶部７０と、記憶部７０から、所定の文字特徴量（位置情報、統計的モーメント、エッジカウントなど）を計算により抽出するための文字特徴量抽出モジュール７４と、文字特徴量抽出モジュール７４の出力する教師データを学習用標本データとして記憶する学習データ記憶部７６と、学習データ記憶部７６に記憶された学習用標本データを用い、後述する学習方法により分類器８０の学習を行なう学習モジュール７８とを含む。なお、以下の説明では、文字特徴量はベクトルで表されるものとする。すなわち、文字特徴量ベクトルをｘ、教師データとしての文字カテゴリをｙとすると、標本データの各々は（x,y）という形式で表すことができる。
【００６０】
文字認識ユニット５４は、タッチパネル５２の出力信号をデジタル信号に変換する２値化処理部９０と、２値化処理部９０の出力する信号について、文字特徴量抽出モジュール７４と同じ方法により文字特徴量を抽出して出力する文字特徴量抽出モジュール９４と、文字特徴量抽出モジュール９４の出力する一連の文字特徴量に対して分類器８０を適用し、出力文字カテゴリ５６を出力するデコーダ９６とを含む。
【００６１】
《学習アルゴリズム》
以下、本実施の形態においてパラメータの学習を行なうためのアルゴリズムについて、図４を参照して説明する。図４を参照して、このアルゴリズムを実現するプログラムは、以下のステップを含む。
【００６２】
１．初期化ステップ１２０。ここでは、プロトタイプpj,mの初期値pj,m(0)及び正定値行列Ａj,mを設定する（j=1,...,J;  m=1,...,M）。またエポック回数eの上限値Eを設定する。
【００６３】
２．エポック回数e=0,1,...,Eに対して、以下の各サブステップ（ａ）〜（ｃ）を含む処理１２４を実行するステップ１２２。
【００６４】
（ａ）サブステップ１４０。ここでは、必要ならば、損失平滑度パラメータの最適値αy（y=1,...,J）を得る。損失平滑度パラメータαyの値としては、経験的に求めたものでもよいが、本願発明者が先に出願した特願２０１０−１８４３３４号に記載した、損失関数平滑度自動設定法を用いて決定した損失平滑度パラメータαyを用いるとより好ましい。
【００６５】
（ｂ）サブステップ１４２。ここでは、学習標本集合ΩNから、教師付学習標本（x,y）を取出し、各学習標本に対して以下のサブステップ１６０〜１７４を含む処理１４４を実行する。
【００６６】
（ｂ１）以下の手順にしたがい、判別関数値gjを計算する（j=1,...,J）（サブステップ１６０）。
【００６７】
【数３３】
0005834287.tif 000034
（ｂ２）ｘに対するbest-incorrectクラスの指標iを求める（サブステップ１６２）。
【００６８】
（ｂ３）関数マージン型誤分類尺度をdy=-gy+giによって計算する（サブステップ１６４）。
【００６９】
（ｂ４）関数マージン型誤分類尺度の入力パターンに対する勾配ベクトルを計算する（ステップ１６６）。
【００７０】
【数３４】
0005834287.tif 000035
（ｂ５）勾配ベクトルのノルム||∇xdy||を計算する（サブステップ１６８）。
【００７１】
（ｂ６）幾何マージン型誤分類尺度Dy(x;Λ)をDy=dy/||∇xdy||により計算する（サブステップ１７０）。
【００７２】
（ｂ７）幾何マージン型誤分類尺度Dy(x;Λ)の偏微分を以下により計算する（サブステップ１７２）。
【００７３】
【数３５】
0005834287.tif 000036
（ｂ８）以下の式によりパラメータ更新を行なう（サブステップ１７４）。
【００７４】
【数３６】
0005834287.tif 000037
以上のサブステップ（ｂ１）〜（ｂ８）が処理１４４の内容である。処理１４４を各学習標本に対して順番に１回ずつ実行し、全標本に対する調整が終了した時点で、新たなプロトタイプpj,m(e+1)（j=1,...,J; m=1,...,M）を得る。
【００７５】
（ｃ）ステップ１４６。ここでは、学習標本集合ΩNにおける学習標本の並び順をシャッフルする。
【００７６】
以上のステップ（ａ）〜（ｃ）が処理１２４の内容である。エポックeに対して処理１２４を行なった後、エポックを１進め（e=e+1）、同じ処理を繰返す。
【００７７】
こうして、エポック数が予定した上限値Ｅに達して処理１２４が終了すると、分類器８０の学習後のパラメータ集合Λが得られる。
【００７８】
《第１の実施の形態の変形例》
さらに、プロトタイプ｛pj,m｝のみならず、Ａjを対角行列として、その正の対角成分を学習してもよい。ここでは
【００７９】
【数３７】
0005834287.tif 000038
として、aj,d（d=1,...,D）を調整する。関数マージン型誤分類尺度の各ay,d、ai,d（d=1,...,D）に関する偏微分は以下のようになる。
【００８０】
【数３８】
0005834287.tif 000039
ただしpj=[pj,1…pj,D]Tとしている。dyの２階変微分は
【００８１】
【数３９】
0005834287.tif 000040
となる。ただしδi,j=１（if i=j）、０（if i≠j）。幾何マージン型誤分類尺度Dyの各ay,d、ai,d（d=1,...,D）に関する偏微分は、式（１２）より次式となる。
【００８２】
【数４０】
0005834287.tif 000041
なお、式（９）における学習係数εに関して、pj,mの修正に対するεとaj,dの修正に対するεとは互いに異なる値であってもよい。
【００８３】
《変形例の学習プログラム》
図５を参照して、上記第１の実施の形態の変形例のアルゴリズムを実現するプログラムは以下のようなステップを含む。
【００８４】
１．初期化ステップ２２０。ここでは、プロトタイプpj,mの初期値pj,m(0)（j=1,...,J;  m=1,...,M）及び正定値行列Ａjに対応する変数の初期値aj,d(0)（j=1,...,J;  d=1,...,D）を設定する。またエポック回数eの上限値Eを設定する。
【００８５】
２．エポック回数e=0,1,...,Eに対して、以下の各サブステップ（ａ）〜（ｃ）を含む処理２２４を実行するステップ２２２。
【００８６】
（ａ）サブステップ２４０。ここでは、必要ならば、損失平滑度パラメータの最適値αy（y=1,...,J）を得る。
【００８７】
（ｂ）サブステップ２４２。ここでは、学習標本集合ΩNから、教師付学習標本（x,y）を取出し、各学習標本に対して以下のサブステップ２６０〜２７４を含む処理２４４を実行する。なお、変数の右肩の「（e）」は、エポック番号を表す。
【００８８】
（ｂ１）以下の手順にしたがい、判別関数値gjを計算する（j=1,...,J）（サブステップ２６０）。
【００８９】
【数４１】
0005834287.tif 000042
（ｂ２）ｘに対するbest-incorrectクラスの指標iを求める（サブステップ２６２）。
【００９０】
（ｂ３）関数マージン型誤分類尺度をdy=-gy+giによって計算する（サブステップ２６４）。
【００９１】
（ｂ４）関数マージン型誤分類尺度の入力パターンに対する勾配ベクトルを計算する（ステップ２６６）。
【００９２】
【数４２】
0005834287.tif 000043
（ｂ５）勾配ベクトルのノルム||∇xdy||を計算する（サブステップ２６８）。
【００９３】
（ｂ６）幾何マージン型誤分類尺度Dy(x;Λ)をDy=dy/||∇xdy||により計算する（サブステップ２７０）。
【００９４】
（ｂ７）幾何マージン型誤分類尺度Dy(x;Λ)の偏微分を以下により計算する（サブステップ２７２）。
【００９５】
【数４３】
0005834287.tif 000044
（ｂ８）以下の式によりパラメータ更新を行なう（サブステップ２７４）。
【００９６】
【数４４】
0005834287.tif 000045
以上のサブステップ（ｂ１）〜（ｂ８）が処理２４４の内容である。処理２４４を各学習標本に対して順番に１回ずつ実行し、全標本に対する調整が終了した時点で、新たなプロトタイプpj,m(e+1)（j=1,...,J; m=1,...,M）及び行列パラメータaj,d(e+1)（j=1,...,J;  d=1,...,D）を得る。
【００９７】
（ｃ）ステップ２４６。ここでは、学習標本集合ΩNにおける学習標本の並び順をシャッフルする。
【００９８】
以上のステップ（ａ）〜（ｃ）が処理２２４の内容である。エポックeに対して処理２２４を行なった後、エポックを１進め（e=e+1）、同じ処理を繰返す。
【００９９】
こうして、エポック数が予定した上限値Ｅに達して処理２２４が終了すると、この変形例に係る分類器８０の学習後のパラメータ集合Λが得られる。
【０１００】
［第２の実施の形態：重み付きプロトタイプ型分類器］
非線形の判別関数を用いた例として、重み付きプロトタイプ型の分類器を考える。この場合も第１の実施の形態と同様、以下のようにして分類器の学習を行なうことができる。
【０１０１】
《判別関数及び幾何マージン型分類尺度の偏微分》
クラスＣj（j=1,...,J）に対する判別関数は次式で与えられる。
【０１０２】
【数４５】
0005834287.tif 000046
ここでpj,1,...,pj,MはクラスＣjに属するＭ個のプロトタイプであり、wj,m（m=1,...,M）はｍ番目のプロトタイプとのユークリッド距離に対する重みである。学習パラメータ集合Λ及び関数マージン型誤分類尺度は以下で与えられる。
【０１０３】
【数４６】
0005834287.tif 000047
ただし、クラスＣy及びＣiはそれぞれｘの正解クラス及びbest-incorrectクラスである。このとき、
【０１０４】
【数４７】
0005834287.tif 000048
【０１０５】
【数４８】
0005834287.tif 000049
となり（ただしＩは単位行列）、幾何マージン型誤分類尺度Dy(x;Λ)及びその偏微分は式（１５）より次式となる。
【０１０６】
【数４９】
0005834287.tif 000050
【０１０７】
【数５０】
0005834287.tif 000051
なお、式（９）における学習係数εに関して、pj,mの修正に対するεとwj,mの修正に対するεとは互いに異なる値であってもよい。
【０１０８】
《第２の実施の形態の学習プログラム》
図６を参照して、上記第２の実施の形態のアルゴリズムを実現するプログラムは以下のようなステップを含む。
【０１０９】
１．初期化ステップ３２０。ここでは、プロトタイプpj,mの初期値pj,m(0)（j=1,...,J;  m=1,...,M）及び重み係数wj,mの初期値wj,m(0)（j=1,...,J;  m=1,...,M）を設定する。またエポック回数eの上限値Eを設定する。
【０１１０】
２．ステップ３２２。ここでは、エポック回数e=0,1,...,Eに対して、以下の各サブステップ（ａ）〜（ｃ）を含む処理３２４を実行する。以下は処理３２４を構成する各サブステップである。
【０１１１】
（ａ）サブステップ３４０。ここでは、必要ならば、損失平滑度パラメータの最適値αy（y=1,...,J）を得る。
【０１１２】
（ｂ）サブステップ３４２。ここでは、学習標本集合ΩNから、教師付学習標本（x,y）を取出し、各学習標本に対して以下のサブステップ３６０〜３７４を含む処理３４４を実行する。なお、変数の右肩の「（e）」は、エポック番号を表す。以下の（ｂ１）〜（ｂ８）は処理３４４を構成するサブステップである。
【０１１３】
（ｂ１）判別関数値gjを計算する（j=1,...,J）（サブステップ３６０）。
【０１１４】
【数５１】
0005834287.tif 000052
（ｂ２）ｘに対するbest-incorrectクラスの指標iを求める（サブステップ３６２）。
【０１１５】
（ｂ３）関数マージン型誤分類尺度をdy=-gy+giによって計算する（サブステップ３６４）。
【０１１６】
（ｂ４）関数マージン型誤分類尺度の入力パターンに対する勾配ベクトルを計算する（ステップ３６６）。
【０１１７】
【数５２】
0005834287.tif 000053
（ｂ５）勾配ベクトルのノルム||∇xdy||を計算する（サブステップ３６８）。
【０１１８】
（ｂ６）幾何マージン型誤分類尺度Dy(x;Λ)をDy=dy/||∇xdy||により計算する（サブステップ３７０）。
【０１１９】
（ｂ７）幾何マージン型誤分類尺度Dy(x;Λ)の偏微分を以下により計算する（m=1,...,M）（サブステップ３７２）。
【０１２０】
【数５３】
0005834287.tif 000054
（ｂ８）以下の式によりパラメータ更新を行なう（m=1,...,M）（サブステップ３７４）。
【０１２１】
【数５４】
0005834287.tif 000055
以上のサブステップ（ｂ１）〜（ｂ８）が処理３４４の内容である。処理３４４を各学習標本に対して順番に１回ずつ実行し、全標本に対する調整が終了した時点で、新たなプロトタイプpj,m(e+1)（j=1,...,J; m=1,...,M）及び重み係数wj,m(e+1)（j=1,...,J;  m=1,...,M）を得る。
【０１２２】
（ｃ）ステップ３４６。ここでは、学習標本集合ΩNにおける学習標本の並び順をシャッフルする。
【０１２３】
以上が処理３２４の内容である。エポックeに対して処理３２４を行なった後、エポックを１進め（e=e+1）、同じ処理を繰返す。
【０１２４】
こうして、エポック数が予定した上限値Ｅに達して処理３２４が終了すると、この第２の実施の形態に係る分類器８０の学習後のパラメータ集合Λが得られる。
【０１２５】
［第３の実施の形態：３層フィードフォワード型ニューラルネットワーク分類器］
非線形の判別関数を用いた例として、フィードフォワード型のニューラルネットワークからなる分類器を考える。この場合も第１及び第２の実施の形態と同様、以下のようにして分類器の学習を行なうことができる。
【０１２６】
《判別関数及び幾何マージン型分類尺度の偏微分》
３層フィードフォワード型ニューラルネットワーク分類器４００を図７に示す。このニューラルネットワーク分類器４００は、入力層４１２と、中間層４１４と、出力層４１６とを含む。
【０１２７】
入力層４１２は、Ｄ＋１個のユニット（d=0,1,...,D）を含む。０番目ユニットは値１を、それ以外のユニットはＤ次元入力パターンｘの各成分を受取り、そのまま出力する。
【０１２８】
中間層４１４は、Ｍ＋１個のユニット（m=0,1,...,M）を含む。０番目ユニットは入力に何も受けず、値１を出力する。それ以外のｍ番目ユニット(m=1,...,M)は、入力層４１２からの出力の重み付け総和に対して非線形関数ｆｍを施し、その結果を出力する。
【０１２９】
出力層４１６はＪ個のユニット（j=1,...,J）を含む。各j番目のユニット（j=1,...,J）は、中間層４１４からの出力の重み付け総和をクラスＣjの判別関数gjとして出力する。
【０１３０】
なお、ＭＣＥ学習に基づく実装では、出力層のユニットには非線形関数処理は施されない。
【０１３１】
クラスＣj（j=1,...,J）に対する判別関数は次の式で与えられる。
【０１３２】
【数５５】
0005834287.tif 000056
ここでwm,d（m=1,...,M;  d=0,1,...,D）は入力層４１２から中間層４１４への結合に対する重み係数であり、vj,m（j=1,...,J;  m=0,1,...M）は中間層４１４から出力層４１６への結合に対する重み係数である。学習パラメータ集合Λは上記すべての重み係数の集合である。非線形関数ｆｍは任意の微分可能な関数でよいが、ここでは次式のシグモイド関数を採用する。
【０１３３】
【数５６】
0005834287.tif 000057
ｋ番目クラスＣk（k=1,...,J）の判別関数の各重み係数に関する偏微分は次式となる。
【０１３４】
【数５７】
0005834287.tif 000058
またｋ番目クラス（k=1,...,J）の判別関数の第ｐ次元目の入力に関する偏微分は次式となる。
【０１３５】
【数５８】
0005834287.tif 000059
さらに、ｋ番目クラス（k=1,...,J）の判別関数に対する２階微分が次式で与えられる。
【０１３６】
【数５９】
0005834287.tif 000060
ここで式（５１）のシグモイド非線形関数の場合、その１階及び２階の導関数はそれぞれ次式となる。
【０１３７】
【数６０】
0005834287.tif 000061
以上に基づき、関数マージン型誤分類尺度dy=-gy+giの１階及び２階の偏微分は次式で与えられることとなる。ただしクラスＣy及びクラスＣiはそれぞれ、ベクトルｘの正解クラス及びbest-incorrectクラスである。
【０１３８】
【数６１】
0005834287.tif 000062
【０１３９】
【数６２】
0005834287.tif 000063
そして幾何マージン型誤分類尺度Dy(x;Λ)及びその偏微分は式（１２）より次式となる。
【０１４０】
【数６３】
0005834287.tif 000064
なお、式（９）における学習係数εに関して、vj,mの修正に対するεとwm,dの修正に対するεとは互いに異なる値であってもよい。
【０１４１】
《第３の実施の形態の学習プログラム》
図８を参照して、上記第３の実施の形態のアルゴリズムを実現するプログラムは以下のようなステップを含む。
【０１４２】
１．初期化ステップ４４０。重み係数｛vj,m｝j=1Ｊm=0M、｛wm,d｝m=1Md=0Dの初期値｛vj,m(0)｝j=1Ｊm=0M、｛wm,d(0)｝m=1Md=0Dを設定する。またエポック回数eの上限値Eを設定する。
【０１４３】
２．ステップ４４２。ここでは、エポック回数e=0,1,...,Eに対して、以下の各サブステップを含む処理４４４を実行する。以下は処理４４４を構成する各サブステップである。
【０１４４】
（ａ）サブステップ４６０。ここでは、必要ならば、損失平滑度パラメータの最適値αy（y=1,...,J）を得る。
【０１４５】
（ｂ）サブステップ４６２。ここでは、学習標本集合ΩNから、教師付学習標本（x,y）を取出し、各学習標本に対して以下のサブステップ４８０〜５０２を含む処理４６４を実行する。なお、変数の右肩の「（e）」は、エポック番号を表す。以下の（ｂ１）〜（ｂ１２）は処理４６４を構成するサブステップである。
【０１４６】
（ｂ１）中間層４１４への入力値を計算する（m=1,...,M）（ステップ４８０）。
【０１４７】
【数６４】
0005834287.tif 000065
（ｂ２）判別関数値gjを計算する（j=1,...,J）（サブステップ４８２）。
【０１４８】
【数６５】
0005834287.tif 000066
ただしfmは例えば式（５１）で与えられる。
【０１４９】
（ｂ３）ｘに対するbest-incorrectクラスの指標iを求める（サブステップ４８４）。
【０１５０】
（ｂ４）判別関数の偏微分を計算する（k=y,i）（サブステップ４８６）。
【０１５１】
【数６６】
0005834287.tif 000067
ただしf’mは例えば式（６１）で与えられる。
【０１５２】
（ｂ５）判別関数の入力に関する偏微分を計算する（k=y,i）（ステップ４８８）。
【０１５３】
【数６７】
0005834287.tif 000068
（ｂ６）判別関数に対する２階偏微分を計算する（k=y,i）（ステップ４９０）。
【０１５４】
【数６８】
0005834287.tif 000069
ただしf’’mは例えば式（６２）で与えられる。
【０１５５】
（ｂ７）関数マージン型誤分類尺度をdy=-gy+giにより計算する（ステップ４９２）。
【０１５６】
（ｂ８）関数マージン型誤分類尺度の１階及び２階偏微分を次式で計算する（サブステップ４９４）。
【０１５７】
【数６９】
0005834287.tif 000070
（ｂ９）勾配ベクトルのノルム||∇xdy||を計算する（サブステップ４９６）。
【０１５８】
（ｂ１０）幾何マージン型誤分類尺度Dy(x;Λ)をDy=dy/||∇xdy||により計算する（サブステップ４９８）。
【０１５９】
（ｂ１１）幾何マージン型誤分類尺度Dy(x;Λ)の偏微分を以下により計算する（サブステップ５００）。
【０１６０】
【数７０】
0005834287.tif 000071
（ｂ１２）以下の式によりパラメータ更新を行なう（サブステップ５０２）。
【０１６１】
【数７１】
0005834287.tif 000072
以上のサブステップ（ｂ１）〜（ｂ１２）が処理４６４の内容である。処理４６４を各学習標本に対して順番に１回ずつ実行し、全標本に対する調整が終了した時点で、新たな｛vj,m(e+1)｝j=1Ｊm=0M、｛wm,d(e+1)｝m=1Md=0Dを得る。
【０１６２】
（ｃ）ステップ４６６。ここでは、学習標本集合ΩNにおける学習標本の並び順をシャッフルする。
【０１６３】
以上が処理４４４の内容である。エポックeに対して処理４４４を行なった後、エポックを１進め（e=e+1）、同じ処理を繰返す。
【０１６４】
こうして、エポック数が予定した上限値Ｅに達して処理４４４が終了すると、この第３の実施の形態に係る分類器８０の学習後のパラメータ集合Λが得られる。
【０１６５】
［実験結果］
上記実施の形態に係るＬＧＭ−ＭＣＥ学習法による非線形判別関数分類器の有用性を検証するため、非線形判別関数として2次判別関数を採用し、関数マージン型誤分類尺度を用いる従来のＭＣＥ学習法(ＦＭ−ＭＣＥ法)と幾何マージン型誤分類尺度を用いるＬＧＭ−ＭＣＥ法との比較を行なった。
【０１６６】
クラスＣjにおける２次判別関数は式（１６）で与えられ、本実験ではＡj,1＝…＝Ａj,M＝Ａjとし、行列ＡjとしてクラスＣjに属する学習標本集合の対角共分散行列の逆行列に固定した。ＦＭ−ＭＣＥ及びＬＧＭ−ＭＣＥ両法で学習されるのはプロトタイプ｛pj,m｝j=1Jm=1Mであり、これらの初期化としてK-means法を用いた。更に、ユークリッド距離判別関数型の分類器にＦＭ−ＭＣＥ及びＬＧＭ−ＭＣＥ両法を適用した実験も行なった。ユークリッド距離判別関数は（区分的）線形判別関数の代表例であり、式（１６）においてＡjを単位行列に固定したものとして与えられる。
【０１６７】
実験にはUCI  Machine  Learning  Repository（http://archive.ics.uci.edu/ml/）が提供するLetter  Recognitionデータセットを用いた。このデータセットは、英語アルファベットのフォント文字画像から特徴抽出された20,000個のデータで構成される、26クラス、16次元のデータセットである。このデータは標本数が多いため、評価方法としてデータセットを分割するHoldout法を用いた。20,000個の標本集合のうち1,000個を学習用標本集合、他の19,000個を未知標本集合とした。
【０１６８】
【表１】
0005834287.tif 000073
【０１６９】
テーブル１は、各判別関数及び各学習手法の未知分類標本率（％）を示したものである。カッコ内は学習標本分類率である。プロトタイプ数が1の場合、ＦＭ−ＭＣＥ及びＬＧＭ−ＭＣＥ両法とも、２次判別関数型分類器の方がユークリッド距離型より分類率が高く、更に２次判別関数型分類器において、ＬＧＭ−ＭＣＥ法がＦＭ−ＭＣＥ法より高い分類率を与えている。プロトタイプ数が３の場合は、未知標本分類率において、ＦＭ−ＭＣＥ及びＬＧＭ−ＭＣＥ両法とも、２次判別関数型分類器の方がユークリッド距離型より分類率が高く、更に２次判別関数型分類器において、ＬＧＭ−ＭＣＥ法がＦＭ−ＭＣＥ法より高い分類率を与えている。以上により、線形判別関数のみならず２次判別関数においても、ＬＧＭ−ＭＣＥ学習法が従来のＦＭ−ＭＣＥ法より高い分類精度を与えることが確認された。
【０１７０】
［コンピュータによる実現］
以上に説明した実施の形態に係る分類器の学習装置は、汎用コンピュータ及びその上で実行されるコンピュータプログラムにより実現することができる。図９は上記実施の形態で用いられるコンピュータシステム５５０の外観を示し、図１０はコンピュータシステム５５０のブロック図である。ここで示すコンピュータシステム５５０は単なる例であって、他の構成も利用可能である。このコンピュータプログラムのうち、コアとなる部分は、図４〜図６及び図８のフローチャートにより示される制御構造を有する。
【０１７１】
図９を参照して、コンピュータシステム５５０は、コンピュータ５６０と、全てコンピュータ５６０に接続された、モニタ５６２と、キーボード５６６と、マウス５６８と、スピーカ５５８と、マイクロフォン５９０と、を含む。さらに、コンピュータ５６０はＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ  Ｒｅａｄ−Ｏｎｌｙ−Ｍｅｍｏｒｙ：デジタル多用途ディスク読出専用メモリ）ドライブ５７０と、半導体メモリポート５７２とを含む。
【０１７２】
図１０を参照して、コンピュータ５６０はさらに、ＤＶＤ−ＲＯＭドライブ５７０と半導体メモリドライブ５７２とに接続されたバス５８６と、全てバス５８６に接続された、ＣＰＵ５７６と、コンピュータ５６０のブートアッププログラムを記憶するＲＯＭ５７８と、ＣＰＵ５７６によって使用される作業領域を提供するとともにＣＰＵ５７６によって実行されるプログラムのための記憶領域となるＲＡＭ５８０と、学習データ等を記憶するためのハードディスクドライブ５７４と、ネットワーク５５２への接続を提供するネットワークインターフェイス５９６とを含む。
【０１７３】
上述の実施の形態のシステムを実現するソフトウェアは、ＤＶＤ−ＲＯＭ５８２又は半導体メモリ５８４等のコンピュータ読取可能な記録媒体に記録されたオブジェクトコード、スクリプト、又はソースプログラムの形で流通し、ＤＶＤ−ＲＯＭドライブ５７０又は半導体メモリポート５７２等の読出装置を介してコンピュータ５６０に提供され、ハードディスクドライブ５７４に記憶される。ソースプログラムでコンピュータ５６０に導入されるときには、所定のコンパイラでコンパイルしてオブジェクトコードを生成する必要がある。ＣＰＵ５７６がプログラムを実行する際には、オブジェクトプログラム（又はスクリプト）はハードディスクドライブ５７４から読出されてＲＡＭ５８０に記憶される。図示しないプログラムカウンタによって指定されたアドレスから命令がフェッチされ、その命令が実行される。ＣＰＵ５７６はハードディスクドライブ５７４又はＲＡＭ５８０から処理すべきデータを読出し、処理の結果をこれもまたハードディスクドライブ５７４又はＲＡＭ５８０に記憶する。スピーカ５５８及びマイクロフォン５９０は、本実施の形態では用いられないが、本発明は音声認識及び話者認識にも適用可能であり、そうした場合にはこれらは音声についての学習データを準備するときに必要となる。マイクロフォン５９０はまた、このコンピュータ上で音声認識を行なうときには、処理対象の音声を入力するための入力装置としても機能する。
【０１７４】
学習用データは、予め収集され、入力パターンとそのパターンの属するクラスとの組を多数含む。これは、図３に示すシステムでは、各文字画像から抽出した文字特徴量と、その文字画像に対応する文字カテゴリである。学習用データは、ハードディスクドライブ５７４（図３に示す記憶部７０及び学習データ記憶部７６）に記憶される。上記した処理により算出される分類用のパラメータセットΛ等は、一旦はハードディスクドライブ５７４等に記憶され、さらにネットワークを介して、又はＵＳＢメモリを介して、分類器にコピーされる。分類器はこれらクラス分類用のパラメータセットΛを用いて入力パターンをいずれかのクラスに分類する。
【０１７５】
コンピュータシステム５５０の一般的動作は周知であるので、詳細な説明はここでは繰返さない。
【０１７６】
ソフトウェアの流通の方法に関して、ソフトウェアは必ずしも記憶媒体上に固定されたものでなくても良い。例えば、ソフトウェアはネットワークに接続された別のコンピュータから分配されても良い。ソフトウェアの一部がハードディスクドライブ５７４に記憶され、ソフトウェアの残りの部分をネットワーク上からハードディスクドライブ５７４に取込み、実行の際に統合する様にしても良い。
【０１７７】
典型的には、現代のコンピュータはコンピュータのオペレーティングシステム（ＯＳ）によって提供される一般的な機能、及びスクリプト言語を使用する場合にはスクリプト言語の実行系により提供される一般的又は特定の目的に沿った機能を利用し、所望の目的にしたがって制御された態様で機能を達成する。したがって、ＯＳ又はサードパーティから提供されうる一般的な機能を含まず、そのように他のシステムにより提供される機能の実行順序の組合せを指定したプログラムであっても、そのプログラムが全体として所望の目的を達成する制御構造を有する限り、そのプログラムがこの発明の範囲に包含されることは明らかである。
【０１７８】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。
【符号の説明】
【０１７９】
４０  文字認識システム
５０  学習ユニット
５４  文字認識ユニット
５６  出力文字カテゴリ
７６  学習データ記憶部
７８  学習モジュール
８０  分類器
９６  デコーダ
４００  ニューラルネットワーク分類器
４１２  入力層
４１４  中間層
４１６  出力層
５５０  コンピュータシステム
５６０  コンピュータ
【図１】
0005834287.tif 000087
【図２】
0005834287.tif 000088
【図３】
0005834287.tif 000089
【図４】
0005834287.tif 000090
【図５】
0005834287.tif 000091
【図６】
0005834287.tif 000092
【図７】
0005834287.tif 000093
【図８】
0005834287.tif 000094
【図９】
0005834287.tif 000095
【図１０】
0005834287.tif 000096