(57)【特許請求の範囲】
【請求項１】
入力パターンをＪ個のクラスＣｊ（ｊは１〜Ｊの整数）のいずれかに分類する分類器の学習装置であって、
各々が入力パターンとその属するクラスとを含むＮ個（Ｎは正の整数）の学習標本を記憶するための学習標本記憶手段と、
前記分類器の学習パラメータΛを予め定めた設定方法により初期化するための初期化手段とを含み、
クラスＣｙに属する学習標本の入力パターンｘが他のクラスに誤分類される度合いを測る誤分類測度値ｄｙ（ｘ，Λ）が以下により定義され、
【数１】
0005527728.tif 000045
ただしψは正の実数であり、ｇｙ（ｘ、Λ）は前記Ｊ個のクラスＣｙの各々に対して、学習標本の入力パターンｘが当該クラスに属するか否かの度合いを判別するための、任意の形の判別関数であり、
前記Ｊ個のクラスＣｙの各々について、当該クラスＣｙに属する学習標本の各々に関する前記誤分類測度値を求め、当該クラスに属する標本を生成した真の確率分布を、誤分類測度空間における各誤分類測度値を中心とする、Ｐａｒｚｅｎ窓幅ｈｙのＰａｒｚｅｎ分布であって、かつ前記誤分類測度値の関数として、交差確認型最尤推定により推定するためのＰａｒｚｅｎ分布推定手段を含み、
当該Ｐａｒｚｅｎ分布推定手段は、前記交差確認型最尤推定において、前記Ｐａｒｚｅｎ窓幅ｈｙの関数としてＰａｒｚｅｎ分布の尤度を評価し、
前記Ｊ個のクラスＣｙの各々について、前記Ｐａｒｚｅｎ分布推定手段による前記交差確認型最尤推定において最尤となるＰａｒｚｅｎ分布を与えるＰａｒｚｅｎ窓幅ｈｙに対し、以下の関数
【数２】
0005527728.tif 000046
によって、前記分類器のクラスＣｙに対する損失平滑度の最適値αｙを算出するための最適損失平滑度算出手段と、
前記学習標本集合から学習標本を１つずつ取り出し、分類誤りリスクを最小化するよう、前記学習パラメータΛを逐次的に調整するための学習パラメータ調整手段と、
前記Ｐａｒｚｅｎ分布推定手段、前記最適損失平滑度算出手段、及び前記学習パラメータ調整手段とを、予め定める終了条件が成立するまで繰返し動作させ、前記終了条件が成立したときの前記学習パラメータΛを出力するための繰返し制御手段とを含む、分類器の学習装置。
【請求項２】
請求項１に記載の学習装置であって、さらに、前記繰返し制御手段による繰返しの前、かつ前記学習パラメータ調整手段による前記学習パラメータΛの調整の前に、前記学習標本の並び順をシャッフルするためのシャッフル手段を含む、学習装置。
【請求項３】
請求項１又は請求項２に記載の学習装置であって、前記予め定める終了条件は、前記Ｐａｒｚｅｎ分布推定手段、前記最適損失平滑度算出手段、及び前記学習パラメータ調整手段による動作が所定回数完了したこと、という条件である、学習装置。
【請求項４】
請求項１〜請求項３のいずれかに記載の学習装置であって、前記繰返し制御手段は、前記Ｐａｒｚｅｎ分布推定手段、前記最適損失平滑度算出手段、及び前記学習パラメータ調整手段のうち、前記Ｐａｒｚｅｎ分布推定手段、及び前記最適損失平滑度算出手段の動作を定期的に省略する、学習装置。
【請求項５】
請求項１〜請求項４のいずれかに記載の学習装置であって、
前記Ｐａｒｚｅｎ分布を構成するＰａｒｚｅｎ窓がガウス型関数であり、
前記Ｐａｒｚｅｎ分布推定手段は、クラスＣｙに属する標本から１個の標本を取り除き、残りの標本でＰａｒｚｅｎ推定分布を構成するためのＰａｒｚｅｎ推定分布構成手段と、
前記Ｐａｒｚｅｎ推定分布構成手段を規定する式を、混合重み係数が１／（Ｎ´−１）（Ｎ´はクラスＣｙに属する標本の個数）であるＮ´−１個の混合ガウス分布確率密度関数と見なし、ＥＭアルゴリズムにより当該混合ガウス分布確率密度関数を最大化するＰａｒｚｅｎ分布窓幅ｈｙを算出するための窓幅算出手段とを含む、学習装置。
【請求項６】
入力パターンをＪ個のクラスＣｊ（ｊは１〜Ｊの整数）のいずれかに分類するために、コンピュータを、
各々が入力パターンとその属するクラスとを含むＮ個（Ｎは正の整数）の学習標本を記憶するための学習標本記憶手段と、
前記分類器の学習パラメータΛを予め定めた設定方法により初期化するための初期化手段として機能させるコンピュータプログラムであって、
クラスＣｙに属する学習標本の入力パターンｘが他のクラスに誤分類される誤分類測度値ｄｙ（ｘ，Λ）が以下により定義され、
【数３】
0005527728.tif 000047
ただしψは正の実数であり、ｇｙ（ｘ、Λ）は前記Ｊ個のクラスＣｙの各々に対して、学習標本の入力パターンｘが当該クラスに属するか否かの度合いを判別するための、任意の形の判別関数であり、
前記コンピュータプログラムは、前記コンピュータをさらに、
前記Ｊ個のクラスＣｙの各々について、当該クラスＣｙに属する学習標本の各々に関する前記誤分類測度値を求め、当該クラスに属する標本を生成した真の確率分布を、誤分類測度空間における各誤分類測度値を中心とする、Ｐａｒｚｅｎ窓幅ｈｙのＰａｒｚｅｎ分布であって、かつ前記誤分類測度値の関数として、交差確認型最尤推定により推定するためのＰａｒｚｅｎ分布推定手段として機能させ、
当該Ｐａｒｚｅｎ分布推定手段は、前記交差確認型最尤推定において、前記Ｐａｒｚｅｎ窓幅ｈｙの関数としてＰａｒｚｅｎ分布の尤度を評価し、
前記コンピュータプログラムは、前記コンピュータをさらに、
前記Ｊ個のクラスＣｙの各々について、前記Ｐａｒｚｅｎ分布推定手段による前記交差確認型最尤推定において最尤となるＰａｒｚｅｎ分布を与えるＰａｒｚｅｎ窓幅ｈｙに対し、以下の関数
【数４】
0005527728.tif 000048
によって、前記分類器のクラスＣｙに対する損失平滑度の最適値αｙを算出するための最適損失平滑度算出手段と、
前記学習標本集合から学習標本を１つずつ取り出し、分類誤りリスクを最小化するよう、前記学習パラメータΛを逐次的に調整するための学習パラメータ調整手段と、
前記Ｐａｒｚｅｎ分布推定手段、前記最適損失平滑度算出手段、及び前記学習パラメータ調整手段とを、予め定める終了条件が成立するまで繰返し動作させ、前記終了条件が成立したときの前記学習パラメータΛを出力するための繰返し制御手段として機能させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は何らかの測定データを所定のクラスのいずれかに分類するパターン分類の学習装置に関し、特に、ＭＣＥ（最小分類誤り学習）を用い、効率的に学習が行なえる学習装置に関する。
【背景技術】
【０００２】
［パターン認識と学習］
人間と機械との間のインターフェイスにおいて、パターン認識は重要な技術である。パターン認識技術は、話者の識別、発話内容の認識、顔画像による人物の識別、及び文字認識など、様々な局面で使用される。パターン認識は、端的にいえば、何らかの物理現象を観測することにより得られる観測値のパターンを、複数個のクラスに分類する作業であるということができる。こうした作業は人間には比較的簡単であるが、これを機械にさせるのは容易ではない。そうした作業を行なう装置は、包括的に呼べばパターン認識装置ということになるが、パターン認識装置にパターン認識を行なわせるためには、学習データを統計的に処理することにより、分類に必要なパラメータを得る、学習と呼ばれる予備的な作業が必要とされる。
【０００３】
入力パターン（観測値）ｘ∈ΧをＪ個のクラス（類）Ｃ１，…，ＣＪのいずれか１つに割当てる分類タスクを考える。ここで、Χは全入力パターン空間を表す。
【０００４】
分類器の学習のための統計的アプローチは、分類リスクの最小化の概念に基づく。分類リスクとは、個々の入力パターンを分類する際に課せられる損失の、全パターン空間に対する期待値である。最も自然で基本的な損失は分類誤り数損失（０‐１損失）である。この損失は、誤分類に対して値１を、正分類に対して値０を、それぞれ課す損失である。この損失は次式で定義される。
【０００５】
【数１】
0005527728.tif 000002
ここで＿ｌ（Ｃｊ｜Ｃｙ）（「＿」は直後の文字が筆記体であることを表す。）は、クラスＣｙに属するパターンをクラスＣｊに分類する際に課せられる分類誤り数損失である。
【０００６】
分類器学習の究極の目標は、次式の分類誤り数リスクＲを最小にする分類決定則ｃ：Χ→｛Ｃｊ｝ｊ＝１Ｊの実現である。
【０００７】
【数２】
0005527728.tif 000003
ただしｐは確率密度関数を表す。Ｒは全入力空間Χに対する分類誤り確率に等しい。
【０００８】
以下、本発明に特に関連する最小分類誤り（ＭＣＥ）学習（非特許文献１）について説明する。
【０００９】
［ＭＣＥ学習］
〈判別関数に基づく分類決定則〉
ＭＣＥ学習法は、判別関数を用いた次式の実際的な分類決定則を採用しＲの直接的最小化を目指す。 
【００１０】
【数３】
0005527728.tif 000004
ここでｇｊ（ｘ、Λ）はクラスＣｊに対する判別関数であり、任意の関数形において、ｘがＣｊに帰属する度合いを測る。Λは分類器の学習パラメータ（調整パラメータ）セットを表す。ｇｊ（ｘ、Λ）はΛに関して微分可能であるとする。 
〈誤分類測度〉
式（３）の決定則は全ての判別関数値の計算とそれらの比較演算とからなる。比較を含む演算は、学習段階で要求されるパラメータ最適化のような数値演算には適さない。したがって、式（３）を、数値演算に適した形式に置換えなければならない。ＭＣＥ学習は、Ｌｐノルム形式の平滑な誤分類測度を学習パターンに適用することでそのような置換を実現する。クラスＣｙに属するパターンｘに対する誤分類測度は次式で定義される。
【００１１】
【数４】
0005527728.tif 000005
ここでψは正の実数である。またｌｏｇを自然対数とする。ψ→∞とすることにより
【００１２】
【数５】
0005527728.tif 000006
となることから確認できるように、十分大きいψにおいて、ｄｙの正値は誤分類を、ｄｙの負値は正分類を表す。ｄｙの絶対値は分類決定の確信度を表す。加えて、ｄｙはΛに関して微分可能であり、最も基本的な勾配探索型の最適化手法を学習に適用することが可能となる。
【００１３】
ＭＣＥ学習は誤分類測度を駆使して式（１）の分類誤り数損失および式（２）のリスクを再定式化し、効率的な最適化手法の適用を可能にする。誤分類測度の定義に基づき、分類誤り数損失は次の式のように書換えられる。
【００１４】
【数６】
0005527728.tif 000007
この関数のグラフ２０を図１に示す。ここで関数１（Ｐ）は、命題Ｐが真ならば１を、偽ならば０を、それぞれ返す指示関数である。リスクは次式のようなΛの関数として再定義される。
【００１５】
【数７】
0005527728.tif 000008
〈平滑化分類誤り数損失〉
分類誤り数損失ｌ（ｄｙ（ｘ，Λ）＞０）はΛに関して微分不可能である。この計算上の問題を克服するために、ＭＣＥ学習は微分可能な平滑化分類誤り数損失を定義して、これに式（１）を置換える。クラスＣｙに属するパターンｘに対する平滑化分類誤り数損失として、ＭＣＥ学習では一般に、次式のロジスティックシグモイド関数が用いられる。
【００１６】
【数８】
0005527728.tif 000009
式（７）により表わされる関数のグラフ３０を図２に示す。ここで損失平滑度αｙは正の実数である。この＿ｌｙ（ｄｙ（ｘ，Λ））は誤分類測度ｄｙ（ｘ，Λ）の単調増加関数であり、損失平滑度αｙが大きくなるにつれて傾きが大きく（急に）なり、損失平滑度αｙ→∞の極限で１（ｄｙ（ｘ，Λ）＞０）に一致する。すなわち、平滑化分類誤り数損失は、誤分類カウントと直接的に結びついているだけでなく、Λに関して微分可能である。ＭＣＥ学習の最終的な学習目的は、式（６）における１（ｄｙ（ｘ，Λ）＞０）を＿ｌｙ（ｄｙ（ｘ，Λ））に置換えた次式の期待損失を最小にするΛを求めることである。
【００１７】
【数９】
0005527728.tif 000010
損失平滑度αｙ→∞において、式（８）は式（６）と一致する。
【００１８】
式（８）は無限個の入力パターンに関する積分を含む。しかし現実的には、有限個（Ｎ個）の標本からなる学習標本集合ΩＮ＝｛（ｘｎ，ｙｎ）｝ｎ＝１Ｎを使ってΛを推定することしかできない。ここでｘｎ∈Χはｎ番目の学習パターン、すなわち学習標本でありｙｎ（＝１，…，Ｊ）は標本ｘｎが属するクラスの指標である。したがって、現実的なＭＣＥ学習の評価基準は、式（８）を有限の学習標本集合ΩＮで近似する次式の経験的平均損失となる。 
【００１９】
【数１０】
0005527728.tif 000011
ＭＣＥ学習では、この経験的平均損失＾Ｌ（Λ）（記号「＾」は、式中では直後の文字の直上に記載されている。）を最小にするようなパラメータΛを求める。有限個の学習標本のみから構成される上式の＾Ｌ（Λ）は、当然ながら、学習標本集合に含まれない全ての未知パターンをも含む分類誤り数リスク（分類誤り確率）Ｒ（Λ）の近似にすぎず、＾Ｌ（Λ）を最小にするΛがＲ（Λ）を最小にする保証はない。しかし、適度な有限値の損失平滑度αｙを設定することにより、評価基準＾Ｌ（Λ）が平滑な関数となり、学習標本集合に含まれない未知パターンに対する学習耐性を向上させる。すなわちこの平滑化により、与えられた学習標本のみならずその近傍に対しても損失が敏感となり、学習標本数を増やす効果が得られる。したがって適切な損失平滑度αｙを設定することが、汎化能力向上に対して極めて重要である。
【先行技術文献】
【非特許文献】
【００２０】
【非特許文献１】Ｂ．‐Ｈ．ジュアン及びＳ．カタギリ，「最小誤り分類のための識別学習」  ＩＥＥＥ  信号処理トランザクション、第４０巻、第１２号，ｐｐ．３０４３‐３０５４，１９９２年１２月（B.‐H.  Juang  and  S.  Katagiri,  “Discriminative  learning  for  minimum  error  classification,”  IEEE  Trans.  Signal  Processing,  vol.40,  no.12,  pp.3043‐3054,  Dec.  1992.）
【非特許文献２】Ｅ．マクダーマット及びＳ．カタギリ，「Ｐａｒｚｅｎ推定を用いた、理論的分類リスクからの最小分類誤りの導出」、コンピュータ・スピーチ及び言語、第１８巻、ｐｐ．１０７‐１２２，２００４年４月（E.  McDermott  and  S.  Katagiri,  “A  derivation  of  minimum  classification  error  from  the  theoretical  classification  risk  using  Parzen  estimation,”  Computer  Speech  and  Language,  vol.18,  pp.107‐122,  April  2004.）
【非特許文献３】Ｒ．Ｐ．Ｗ．デュイン，「確率密度関数のＰａｒｚｅｎ推定のための平滑化関数の選択について」、ＩＥＥＥ  トランザクション・オブ・コンピュータ、第Ｃ−２５巻、ｐｐ．１１７５‐１１７９，１９７６年１１月（R.P.W.  Duin,  “On  the  choice  of  smoothing  parameters  for  Parzen  estimators  of  probability  density  functions,”  IEEE  Trans.  Comput.,  vol.C‐25,  pp.1175‐1179,  Nov.  1976.）
【非特許文献４】Ｃ．Ｍ．ビショップ（元田浩、栗田多喜夫、樋口知之、松本裕治、村田昇監訳）,パターン認識と機械学習  下、シュプリンガー・ジャパン、東京、２００７年.
【発明の概要】
【発明が解決しようとする課題】
【００２１】
従来、上記した損失平滑度αｙを決めるための具体的な設定指針が与えられていない。そのため、損失平滑度αｙはアドホックに設定せざるを得ないという問題がある。そのようにして得られた損失平滑度αｙは、学習データに対しては有効ではあるものの、未知のデータに対して高い認識が得られる可能性が低いという問題がある。すなわち、従来の学習装置では、得られる分類器の汎化能力を高くすることが難しいという問題がある。
【００２２】
したがって本発明の目的は、ＭＣＥ学習によるパターン分類器の学習装置において、得られる分類器の汎化能力を高くすることができる学習装置を提供することである。
【００２３】
本発明の他の目的は、ＭＣＥ学習によるパターン分類器の学習装置において、汎化能力を高めることができる損失平滑度を具体的な設定指針によって算出することができる学習装置を提供することである。
【課題を解決するための手段】
【００２４】
本発明の第１の局面に係る学習装置は、入力パターンをＪ個のクラスＣｊ（ｊは１〜Ｊの整数）のいずれかに分類する分類器の学習装置であって、各々が入力パターンとその属するクラスとを含むＮ個（Ｎは正の整数）の学習標本を記憶するための学習標本記憶手段と、分類器の学習パラメータΛを予め定めた設定方法により初期化するための初期化手段とを含む。クラスＣｙに属する学習標本の入力パターンｘが他のクラスに誤分類される誤分類測度値ｄｙ（ｘ，Λ）が以下により定義される。
【００２５】
【数１１】
0005527728.tif 000012
ただしψは正の実数であり、ｇｙ（ｘ、Λ）はＪ個のクラスＣｙの各々に対して、学習標本の入力パターンｘが当該クラスに属するか否かの度合いを判別するための、任意の形の判別関数である。この学習装置はさらに、Ｊ個のクラスＣｙの各々について、当該クラスＣｙに属する学習標本の各々に関する前記誤分類測度値を求め、当該クラスに属する標本を生成した真の確率分布を、誤分類測度空間における各誤分類測度値を中心とする、Ｐａｒｚｅｎ窓幅ｈｙのＰａｒｚｅｎ分布であって、かつ誤分類測度値の関数として、交差確認型最尤推定により推定するためのＰａｒｚｅｎ分布推定手段を含む。
Ｐａｒｚｅｎ分布推定手段は、交差確認型最尤推定において、Ｐａｒｚｅｎ窓幅ｈｙの関数としてＰａｒｚｅｎ分布の尤度を評価する。学習装置はさらに、Ｊ個のクラスＣｙの各々について、Ｐａｒｚｅｎ分布推定手段による交差確認型最尤推定において最尤となるＰａｒｚｅｎ分布を与えるＰａｒｚｅｎ窓幅ｈｙに対し、以下の関数
【００２６】
【数１２】
0005527728.tif 000013
によって、分類器のクラスＣｙに対する損失平滑度の最適値αｙを算出するための最適損失平滑度算出手段と、学習標本集合から学習標本を１つずつ取出し、分類誤りリスクを最小化するよう、学習パラメータΛを逐次的に調整するための学習パラメータ調整手段と、Ｐａｒｚｅｎ分布推定手段、最適損失平滑度算出手段、及び学習パラメータ調整手段を、予め定める終了条件が成立するまで繰返し動作させ、終了条件が成立したときの学習パラメータΛを出力するための繰返し制御手段とを含む。
【００２７】
好ましくは、学習装置はさらに、繰返し制御手段による繰返しの前、かつ学習パラメータ調整手段による学習パラメータΛの調整の前に、学習標本の並び順を乱数にしたがってシャッフルするためのシャッフル手段を含む。
【００２８】
より好ましくは、予め定める終了条件は、Ｐａｒｚｅｎ分布推定手段、最適損失平滑度算出手段、及び学習パラメータ調整手段による動作が所定回数完了したこと、という条件である。
【００２９】
さらに好ましくは、繰返し制御手段は、Ｐａｒｚｅｎ分布推定手段、最適損失平滑度算出手段、及び学習パラメータ調整手段のうち、Ｐａｒｚｅｎ分布推定手段、及び最適損失平滑度算出手段の動作を定期的に省略する。
【００３０】
Ｐａｒｚｅｎ分布を構成するＰａｒｚｅｎ窓がガウス型関数であり、Ｐａｒｚｅｎ分布推定手段は、クラスＣｙに属する標本から１個の標本を取除き、残りの標本でＰａｒｚｅｎ推定分布を構成するためのＰａｒｚｅｎ推定分布構成手段と、Ｐａｒｚｅｎ推定分布構成手段を規定する式を、混合重み係数が１／（Ｎ´−１）（Ｎ´はクラスＣｙに属する標本の個数）であるＮ´−１個の混合ガウス分布確率密度関数と見なし、ＥＭアルゴリズムにより当該混合ガウス分布確率密度関数を最大化するＰａｒｚｅｎ分布窓幅ｈｙを算出するための窓幅算出手段とを含んでも良い。
【００３１】
本発明の第２の局面に係るコンピュータプログラムは、入力パターンをＪ個のクラスＣｊ（ｊは１〜Ｊの整数）のいずれかに分類するために、コンピュータを、各々が入力パターンとその属するクラスとを含むＮ個（Ｎは正の整数）の学習標本を記憶するための学習標本記憶手段と、分類器の学習パラメータΛを予め定めた設定方法により初期化するための初期化手段として機能させるコンピュータプログラムである。クラスＣｙに属する学習標本の入力パターンｘが他のクラスに誤分類される誤分類測度値ｄｙ（ｘ，Λ）が以下により定義される。
【００３２】
【数１３】
0005527728.tif 000014
ただしψは正の実数であり、ｇｙ（ｘ、Λ）はＪ個のクラスＣｙの各々に対して、学習標本の入力パターンｘが当該クラスに属するか否かの度合いを判別するための、任意の形の判別関数である。このコンピュータプログラムは、コンピュータをさらに、Ｊ個のクラスＣｙの各々について、当該クラスＣｙに属する学習標本の各々に関する前記誤分類測度値を求め、当該クラスに属する標本を生成した真の確率分布を、誤分類測度空間における各誤分類測度値を中心とする、Ｐａｒｚｅｎ窓幅ｈｙのＰａｒｚｅｎ分布であって、かつ誤分類測度値の関数として、交差確認型最尤推定により推定するためのＰａｒｚｅｎ分布推定手段として機能させる。
当該Ｐａｒｚｅｎ分布推定手段は、交差確認型最尤推定において、Ｐａｒｚｅｎ窓幅ｈｙの関数としてＰａｒｚｅｎ分布の尤度を評価する。このコンピュータプログラムは、コンピュータをさらに、Ｊ個のクラスＣｙの各々について、Ｐａｒｚｅｎ分布推定手段による交差確認型最尤推定において最尤となるＰａｒｚｅｎ分布を与えるＰａｒｚｅｎ窓幅ｈｙに対し、以下の関数
【００３３】
【数１４】
0005527728.tif 000015
によって、分類器のクラスＣｙに対する損失平滑度の最適値αｙを算出するための最適損失平滑度算出手段と、学習標本集合から学習標本を１つずつ取出し、分類誤りリスクを最小化するよう、学習パラメータΛを逐次的に調整するための学習パラメータ調整手段と、Ｐａｒｚｅｎ分布推定手段、最適損失平滑度算出手段、及び学習パラメータ調整手段とを、予め定める終了条件が成立するまで繰返し動作させ、終了条件が成立したときの学習パラメータΛを出力するための繰返し制御手段として機能させる。
【図面の簡単な説明】
【００３４】
【図１】分類誤り数損失関数のグラフである。
【図２】ロジスティックシグモイド関数による平滑化分類誤り数損失関数のグラフである。
【図３】誤分類測度上の確率密度関数のＰａｒｚｅｎ推定を説明するための模式的グラフである。
【図４】ｄｙ（ｘｙｋ，Λ）を中心とした幅ｈｙのＰａｒｚｅｎ窓を示すグラフである。
【図５】ｄｙ（ｘｙｋ，Λ）を中心としたガウス関数型Ｐａｒｚｅｎ窓の正領域に対する積分値が、ロジスティックシグモイド関数型の平滑化分類誤り数損失関数のｄｙ（ｘｙｋ，Λ）における値に近似的に等しいことを模式的に示す図である。
【図６】Ｐａｒｚｅｎ窓の窓幅と、平滑化分類誤り数損失関数の滑らかさとの関係を説明するための図である。
【図７】１個の標本ｘｎを取除いた残りの標本で構成されるＰａｒｚｅｎ推定分布を示す図である。
【図８】第１の実施の形態において、誤分類測度空間上のＰａｒｚｅｎ推定に適用することにより得られる、損失平滑度の自動制御を伴うＭＣＥ学習を実現するプログラムの制御構造を示すフローチャートである。
【図９】図８のステップ１５６で実行される、ＥＭアルゴリズムにより最適なＰａｒｚｅｎ窓幅を得るプログラムの制御構造を示すフローチャートである。
【図１０】本発明の１実施の形態を実現する汎用のコンピュータシステムのハードウェア外観を示す図である。
【図１１】図１０に示すコンピュータシステムの内部構造のブロック図である。
【図１２】本発明の第２の実施の形態において、損失平滑度の自動制御を伴うＭＣＥ学習を実現するプログラムの制御構造を示すフローチャートである。
【発明を実施するための形態】
【００３５】
以下、本発明の実施の形態を説明する。いかの説明及び図面において、同一の部品には同一の参照番号を付してある。それらの名称及び機能も同一である。したがって、それらについての詳細な説明は繰返さない。なお、＾Ｌ（Λ）の最小化に関して、最急降下法などのバッチ的手法だけではなく、ΩＮから１個の標本（ｘｎ，ｙｎ）を抽出する度にΛを調整する適応的な学習方法も広く用いられている。その方法におけるΛの調整機構は次式で与えられる。
【００３６】
【数１５】
0005527728.tif 000016
以下の実施の形態では、この適応的学習方法を採用することとする。
多くのＭＣＥ学習の実装において、式（７）に関し、全てのクラスＣｙ（ｙ＝１，…，Ｊ）に対して共通の損失平滑度αｙが設定される。しかし本実施の形態では、後述するようにクラス毎に損失平滑度αｙの自動制御が行われるので、損失平滑度αｙは各クラス個別に設定されるものとする。
【００３７】
〈Ｐａｒｚｅｎ推定に基づくＭＣＥ学習の再定式化〉
ＭＣＥ学習法は、元々は前節で述べたような ０‐１損失を用いた分類誤り数カウントという考え方で定式化された。それとは別に、分類誤り確率を直接推定する定式化もなされている（非特許文献２）。その分類誤り確率の推定は、非パラメトリックな確率密度推定法の一つであるＰａｒｚｅｎ推定を、誤分類測度の空間上で適用することによって実現している。この定式化によって、与えられた学習標本集合だけを対象とするのではなく、それらの近傍に存在していることが予測される未知のパターンをも考慮した最適化をＭＣＥ学習は行なっていると捉えることができる。以下ではこの定式化の手順を説明する。
【００３８】
初めに、分類誤り数リスクを表す式（６）における、パターン空間全体を積分範囲とした積分を、その部分集合全体を積分範囲とした積分に置換える。 
【００３９】
【数１６】
0005527728.tif 000017
ここでΧｙ（Λ）は以下の式で表される。
【００４０】
【数１７】
0005527728.tif 000018
Χｙ（Λ）は判別関数｛ｇｊ（ｘ，Λ）｝ｊ＝１Ｊによる分類結果が誤分類となるようなクラスＣｙに属するパターンの集合である。
【００４１】
次に式（１１）のΧｙ（Λ）を積分範囲とした入力パターン空間上での積分を、誤分類測度の値が正となる領域を積分範囲とした誤分類測度空間での積分に置換える。ここで、ｘと｛ｇｊ（ｘ，Λ）｝ｊ＝１Ｊが連続確率変数と見なせることから、誤分類測度ｄｙ（ｘ，Λ）も連続確率変数である。すると式（１１）における積分は、各クラスＣｙにおいて、以下のように置換えることができる。 
【００４２】
【数１８】
0005527728.tif 000019
ここでｐΛ（ｔ｜Ｃｙ）は、連続確率変数と考えた誤分類測度ｄｙ（ｘ，Λ）の出現確率を表現する確率密度関数である。ｄｙ（ｘ，Λ）がΛに依存するため、この確率密度関数もΛに依存する。このような置き換えを行った積分を用いた分類誤り数リスクは、以下のようになる。
【００４３】
【数１９】
0005527728.tif 000020
注目すべき点は、積分が普段高次元となる元々のパターン空間ではなく１次元の誤分類測度の空間上で行われることと、１次元空間上の条件付確率密度ｐΛ（ｔ｜Ｃｙ）のモデル化がパラメータ学習の新たなアプローチを示唆していることである。
【００４４】
この知見に基づき、新しいＭＣＥ学習の定式化は、各クラスＣｙにおいて、有限個の学習標本｛ｘｙｋ｝ｋ＝１Ｎｙを用いてｐΛ（ｔ｜Ｃｙ）を近似するための次式のＰａｒｚｅｎ推定分布を導入する（図３）。
【００４５】
【数２０】
0005527728.tif 000021
ここでｘｋｙはクラスＣｙに属する学習標本のうち、ｋ番目の学習標本、ＮｙはクラスＣｙに属する学習標本の総数である。
【００４６】
【数２１】
0005527728.tif 000022
は誤分類測度空間上に変換されたデータ点ｄｙ（ｘｋｙ，Λ）を中心とした幅ｈｙのＰａｒｚｅｎ窓５０である（図４）。
【００４７】
図３において、横軸は誤分類測度、縦軸はその出現確率分布（確率密度）を表している。ｘｋｙはｙ番目のクラスＣｙに属するｋ番目の学習パターン（全部でＮｙ個）、ｄｙ（ｘｋｙ，Λ）はその誤分類測度値である。Λは前述の通り、認識器の学習パラメータ集合を表す。図中に示すＰａｒｚｅｎ窓群４０は、各々がｄｙ（ｘｋｙ，Λ）を中心とする多数のＰａｒｚｅｎ窓（ｋ＝１，…，Ｎｙ）を含む。ｙ番目のクラスＣｙに属する全ての学習パターンに対してこのＰａｒｚｅｎ窓の相加平均をとることにより、クラスＣｙにおける誤分類測度分布の近似（近似分布４２）が得られる。さらに、この近似分布４２を正の領域で積分したもの（図中のハッチング部分）は、正解クラスがＣｙであるパターンをＣｙ以外のクラスに誤分類する確率の近似値となる。
【００４８】
図４を参照して、通常、Ｐａｒｚｅｎ窓５０は、データ点に対して左右対称で、その値が正の単峰性の関数である。式（１３）のｐΛ（ｔ｜Ｃｙ）をＰａｒｚｅｎ推定分布＾ｐΛ（ｔ｜Ｃｙ）で近似し、更にＰ（Ｃｙ）をＮｙ／Ｎで近似することにより、分類誤り数リスクの有限学習標本集合ΩＮに基づく推定値が次式で表現されることとなる。
【００４９】
【数２２】
0005527728.tif 000023
ここで重要なことに、次式（１６）のように、損失関数＿ｌｙ（ｄｙ（ｘ，Λ））を各々のＰａｒｚｅｎ窓の正領域の積分として新たに定義することにより、式（１５）のＲＮ（Λ）が式（９）の経験的平均損失＾Ｌ（Λ）、すなわちＭＣＥ学習の評価基準と一致する。 
【００５０】
【数２３】
0005527728.tif 000024
興味深いことに、重要な損失関数が馴染み深い窓関数から導かれる。例えば、ガウス関数型の窓関数 
【００５１】
【数２４】
0005527728.tif 000025
を採用した場合、式（１６）の＿ｌｙ（ｄｙ（ｘ，Λ））は式（７）のロジスティックシグモイド関数に似た損失関数となる。実際、
【００５２】
【数２５】
0005527728.tif 000026
と設定した場合、式（７）と式（１６）とは極めて近いものとなる（図５）。ただし両者が厳密には異なることには注意する必要がある。
【００５３】
図５と図６とを比較すると明らかなように、幅ｈｙが広いＰａｒｚｅｎ窓６０の方が、幅ｈｙの狭いＰａｒｚｅｎ窓７０より損失関数が滑らかとなる。つまり、Ｐａｒｚｅｎ窓の窓幅ｈが損失関数の平滑度を表現する。個々のＰａｒｚｅｎ窓６０又はＰａｒｚｅｎ窓７０を正の領域で積分したもの（図５及び図６の左側のハッチング部分）は、ＭＣＥで用いられる平滑化分類誤り損失に対応する（図５の曲線６２及び図６の曲線７２）。これらの相加平均は、誤分類確率の近似値となると同時に、ＭＣＥ学習における最小化対象の評価基準ともなる。
【００５４】
上述のＰａｒｚｅｎ推定の枠組みにより、元来のＭＣＥ定式化に対して新しい損失平滑化制御のメカニズムがもたらされる。式（１４）のＰａｒｚｅｎ推定分布が真の確率分布ｐΛ（ｔ｜Ｃｙ）を正確に近似すればするほど、式（１５）または式（９）の経験的平均損失が、式（１３）または式（６）の分類誤り数リスクのより良い近似となる。言い換えれば、式（１４）のＰａｒｚｅｎ推定分布が真の分布の良好な近似となるように、窓幅ｈｙを推定すれば、有限個の学習標本で構成されるＭＣＥ学習の評価基準が未知標本も含む全パターン空間に対する分類誤り確率に近づく。そしてこのとき、ＭＣＥ学習の評価基準の最小状態が全パターン空間に対する分類誤り確率の最小状態に近づくこととなり、ＭＣＥ学習の汎化能力が向上する。
【００５５】
〈交差確認型最尤推定に基づくＰａｒｚｅｎ推定〉
本節と次節では、ＭＣＥ学習における損失平滑度制御に限定されない一般的なＰａｒｚｅｎ推定の議論を展開するので、与えられた（Ｎ´個の）標本をｘｋ（ｋ＝１，２，…，Ｎ´）、Ｐａｒｚｅｎ窓幅をｈとし、｛ｘｋ｝ｋ＝１Ｎ´を生成した真の確率分布のＰａｒｚｅｎ推定という一般的な問題を扱う。ＭＣＥ学習における損失平滑度制御に対しては、Ｎ´＝Ｎｙおよびｘｋ＝ｄｙ（ｘｙｋ，Λ）（ｋ＝１，２，…，Ｎｙ）として以下を適用する。これを各クラスＣｙ（ｙ＝１，２，…，Ｊ）に対して行なう。
【００５６】
Ｐａｒｚｅｎ推定分布が真の分布を良好に近似するような窓幅ｈを決定するために、最尤推定法によりｈを推定することを考える。ただし、平均または分散などの特性値を用いて分布モデルを構成するパラメトリック推定法と違い、非パラメトリック推定であるＰａｒｚｅｎ推定は全ての標本を用いて推定分布を構成するため、同じ標本を推定分布に代入して尤度関数の最大化を行なうことができない（窓幅が０になってしまう）。そこで非特許文献３では、１個の標本を取除いた標本集合でＰａｒｚｅｎ推定分布を構成し、取除いた標本を推定分布に代入することによる、交差確認型最尤推定が定式化されている。以下でこの概要を説明する。
【００５７】
図７を参照して、与えられた Ｎ´個の標本ｘｋ(ｋ＝１，２，…，Ｎ´)から、ｎ番目の標本ｘｎを取除き、残りの標本でＰａｒｚｅｎ推定分布８２を構成する。図７において破線で表されたＰａｒｚｅｎ窓８０が、取除かれた標本ｘｎに対応する。
【００５８】
【数２６】
0005527728.tif 000027
取除いた標本ｘｎを上式に代入し、全ての標本に対してこれの積をとった尤度関数を定める。
【００５９】
【数２７】
0005527728.tif 000028
そして上式のＬ（ｈ）を最大化するｈを求める。以上が交差確認型最尤推定の概要である。 
〈ＥＭアルゴリズムに基づくＰａｒｚｅｎ窓幅決定法＞
以下、本実施の形態の構成について説明する。式（２０）のＰａｒｚｅｎ窓幅ｈによる最大化は、一般的には多くの計算量を要する。本実施の形態に係る損失平滑度自動制御型ＭＣＥ学習（次節において説明する。）はＰａｒｚｅｎ窓幅ｈの最適化を多数回行なうため、この最適化を少ない計算量で実行するのが望ましい。そこで本実施の形態では、Ｐａｒｚｅｎ窓φが式（１７）のガウス型関数である場合において、ＥＭアルゴリズムによりＰａｒｚｅｎ窓幅ｈの最大化を効率的に行なう。以下、図９に示すフローチャートを参照しながら、このＥＭアルゴリズムについて説明する。
【００６０】
式（１９）を次式のように変形する。 
【００６１】
【数２８】
0005527728.tif 000029
φが式（１７）のガウス型関数である場合、式（２２）中の次の項
【００６２】
【数２９】
0005527728.tif 000030
は平均ｙｍ（ｎ）および分散ｈ２のガウス分布確率密度関数と見なすこともできる。したがって、ｐ−ｎ（ｔ｜ｈ）は、混合重み係数を均一の１／（Ｎ´−１）に固定した混合数Ｎ´−１の混合ガウス分布確率密度関数と形式的に見なされる。このとき、ｍを潜在変数と考えることもできるので、潜在変数を含む確率モデルの最尤推定に対する効率的な繰返し計算型アルゴリズムであるＥＭアルゴリズム（例えば、非特許文献４の第９章）を、式（２０）のＰａｒｚｅｎ窓幅ｈによる最大化に適用できる。
【００６３】
繰返し計算の直前のステップにおいてＰａｒｚｅｎ窓幅ｈの推定値＾ｈが得られていると仮定する。ＥＭアルゴリズムで用いられる負担率は次式となる。
【００６４】
【数３０】
0005527728.tif 000031
ＥＭアルゴリズムで定義される補助関数（Ｑ関数）は次式となる。 
【００６５】
【数３１】
0005527728.tif 000032
ただし“Ｃｏｎｓｔ．”はｈに無関係の項を表す。上式をｓに関して微分し、更にこれが０となるｓを求めることにより、上式の補助関数を最小にするＰａｒｚｅｎ窓幅ｈの平方（ｈ２）が以下で与えられる。
【００６６】
【数３２】
0005527728.tif 000033
更にここで、ｑ´ｍ，ｎ（ｍ＝１，…，Ｎ´；ｍ≠ｎ）を以下で定める。
【００６７】
【数３３】
0005527728.tif 000034
このときｑ´ｍ，ｎおよび補助関数を最小にするｈ２は以下となる。
【００６８】
【数３４】
0005527728.tif 000035
アルゴリズム表記の煩雑さを避けるため、再びｑ´ｍ，ｎをｑｍ，ｎと置きなおす。結局、Ｐａｒｚｅｎ窓幅の最尤推定に対するＥＭアルゴリズムは以下でまとめられる。
【００６９】
（１）初期値ｈ（０）＞０を与える。＿ｌ＝０と設定。（図９のステップ２２０）
（２）次式のｑｍ，ｎを計算する（ｎ＝１，…，Ｎ´；ｍ＝１，…，Ｎ´，ｍ≠ｎ）。（図９のステップ２２２、２２４及び２２６）
【００７０】
【数３５】
0005527728.tif 000036
（３）以下のようにパラメータの再推定をする。（ステップ２２８）
【００７１】
【数３６】
0005527728.tif 000037
（４）ｈが収束条件を満たしていれば（ステップ２３０でＹＥＳ）終了、さもなくば（ステップ２３０でＮＯ）、＿ｌ←＿ｌ＋１として（ステップ２３２）、（２）へ。収束条件としては、本実施の形態では、次式の対数尤度の収束を採用する。
【００７２】
【数３７】
0005527728.tif 000038
または、予め繰返し回数の上限Ｉを設定しておき、繰返し回数＿ｌがＩに達したかまたは上式の対数尤度が収束したと判断されたとき、繰返しを終了させても良い。初期値ｈ（０）は、合理的な設定法であればどのような手法で設定しても良い。例えば以下のアルゴリズムを適用できる。 
（１）各標本ｘｎ（ｎ＝１，…，Ｎ´）に対して、自身以外で最も近いデータを割当てる。
【００７３】
【数３８】
0005527728.tif 000039
（２）以下のようにパラメータの初期値を与える。
【００７４】
【数３９】
0005527728.tif 000040
〈損失平滑度自動制御型ＭＣＥ学習〉
［第１の実施の形態］
前節で説明したＥＭアルゴリズムに基づくＰａｒｚｅｎ窓幅決定法を、誤分類測度空間上のＰａｒｚｅｎ推定に適用することにより、損失平滑度の自動制御を伴うＭＣＥ学習アルゴリズムが定型化できる。具体的には、以下のアルゴリズムとなる。図８を参照しながら説明する。
【００７５】
（１）分類器学習パラメータΛの初期値Λ（０）を設定する。エポック回数ｅの上限値Ｅを設定し、ｅ＝０に設定する。（ステップ１４０）
（２）ｅ＝０，１，…，Ｅに対して、以下のステップ１８０の処理を実行する。（ステップ１４２）ステップ１８０は以下のサブステップ（ａ）、（ｂ）及び（ｃ）を含む。
【００７６】
（ａ）全てのクラスｙ＝１，…，Ｊに対して以下のサブステップａ１〜ａ３を含むステップ１５０を繰返す。
（ａ１）全てのクラスｊ（ｊ＝１…，Ｊ）に対する、クラスｙに属する全ての学習標本（この個数をＮｙ個とする。）の判別関数値ｇｊ（ｘｋｙ，Λ（ｅ））を計算する（ｊ＝１，…，Ｊ；ｋ＝１，…，Ｎｙ）。（ステップ１４４，１４６及び１４８）
（ａ２）クラスｙに対して、以下のステップｉ〜ｉｉｉを実行する。（ステップ１５２〜ステップ１５８）
ｉ．誤分類測度値ｄｙ（ｘｋｙ，Λ（ｅ））を計算する（ｋ＝１，…，Ｎｙ）。（ステップ１５２）
ｉｉ．Ｎ´＝Ｎｙおよびｘｋ＝ｄｙ（ｘｋｙ，Λ（ｅ））（ｋ＝１，…，Ｎｙ）として（ステップ１５４）、前節のＥＭアルゴリズムに基づくＰａｒｚｅｎ窓幅決定法を実行し、最適窓幅ｈｙを得る。（ステップ１５６）
ｉｉｉ．式（１８）を実行して、最適な損失平滑度αｙを得る。（ステップ１５８）
（ｂ）学習標本集合ΩＮから、学習標本（ｘｎ，ｙｎ）を取出して（ステップ１６２）、式（１０）による分類器パラメータΛの調整を行なう（ステップ１６４）。これを各々の学習標本に対して順番に１回ずつ実行する（ステップ１６０）。全標本に対する調整が終了した時点で、新たな分類器パラメータΛ（ｅ＋１）を得る。（ステップ１６６）
（ｃ）ΩＮにおける学習標本の並び順をシャッフルする。（ステップ１６８）
上記アルゴリズムにおけるサブステップ２ａは、毎エポックｅにおいて実行しても良いが、実行間隔Ｅ´を設定して、エポックｅが間隔Ｅ´の整数倍であるときのみ実行するようにしても良い。
【００７７】
〈実験結果〉
上記実施の形態体による、ＥＭアルゴリズムに基づくＰａｒｚｅｎ窓幅決定法を用いた装置を用い、以下のような実験を行なった。
【００７８】
上記実施の形態に係る装置は、元来、多様な判別関数に対して適用可能である。ここでは、１例として、プロトタイプ・ベクトル（「プロトタイプ」と省略する。）とのユークリッド距離を判別関数とする分類器を用いた実験を行なった。「プロトタイプ・ベクトル」とは、各クラスを代表するベクトルのことをいう。プロトタイプは１クラスあたり複数個設けることができる。本実験では、各クラスのプロトタイプ数をクラス共通で８とした。距離と確率との近縁性より、この分類器は汎用性が高く、音声認識などで多用される隠れマルコフモデルなどの確率測度型の判別関数に容易に適用可能である。
【００７９】
クラスＣｊにおける判別関数は次式で与えられる。
【００８０】
【数４０】
0005527728.tif 000041
ここでｐｊはＣｊに属するプロトタイプの中でｘに最も近いものである。Λはすべてのプロトタイプの集合である。クラスＣｙに属する学習標本ｘが与えられたとする。係数ψを∞にした式（５）の誤分類測度は、ｘに対するｂｅｓｔ‐ｉｎｃｏｒｒｅｃｔクラス（正解ではないが、正解に最も近い誤りクラス）をＣｉとして
【００８１】
【数４１】
0005527728.tif 000042
となる。
【００８２】
実験にはＵＣＩ  Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ  Ｒｅｐｏｓｉｔｏｒｙが提供するＧｌａｓｓ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎデータセットを用いた。このデータセットは６クラス２１４個のガラス標本パターンで構成されており、各ガラス標本の中に含まれる９種類の酸化物の含有量が、９次元ベクトル入力パターンとして与えられている。
データセットからある１つのパターンを認識対象として取除き、残りのパターンを用いて分類器を学習した後に、取除いたパターンを認識させるという処理を、２１４個全てのパターンに対して行なって認識率（オープン・データ認識率）を計算した (Leave‐One‐Out法)。また、取除いた一つのパターンを認識対象とするオープン・データ認識率計算に加えて、学習に用いた２１３個のパターンを対象にした認識率（クローズド・データ認識率）も計算した。クローズド・データ認識率の計算は２１４回行われるので、それらを平均したものを最終的なクローズド・データ認識率とした。
【００８３】
テーブル１は従来型のＭＣＥ学習法に対する認識率の結果である。この方法では、式（７）の平滑化分類誤り損失の損失平滑度αｙを予め定められた値（各クラス共通の損失平滑度α）に固定してＭＣＥ学習が行われる。すなわち、前節のアルゴリズムにおいて、α１＝…＝αＪ＝αが固定値に固定されるとともに、サブステップ２ａが省略される。表では、複数種類の固定値である損失平滑度αに対する認識率が記されている。オープン・データ認識率の最高値は、α＝１．０のときに得られている（７５．２３％）。
【００８４】
【表１】
0005527728.tif 000043
テーブル２は、損失平滑度αｙを本発明技術により自動的に設定する新しいＭＣＥ学習法に対する認識率の結果である。
【００８５】
【表２】
0005527728.tif 000044
オープン・データ認識率は、７４．３０％と、従来型のＭＣＥ学習法とほぼ同等の値が得られている。この値は、若干であるが、従来型のＭＣＥ学習法でのオープン・データ認識率の最大値より小さい。しかし、従来型のＭＣＥ学習法では、オープン・データ認識率を最大にする平滑化パラメータ（本実験では１．０）をアドホックに設定しなければならず、パターン認識器の学習に多大な労力を要することとなる。一方新しいＭＣＥ学習法では、平滑化パラメータがデータから自動的に算出され、学習の手間が大幅に削減されるとともに、従来型ＭＣＥ（の最大性能）と同等のオープン・データ認識率が得られている。
【００８６】
［コンピュータによる実現］
以上に説明した第１の実施の形態に係るパターン分類器の学習装置は、汎用コンピュータ及びその上で実行されるコンピュータプログラムにより実現することができる。図１０はこの実施の形態で用いられるコンピュータシステム５５０の外観を示し、図１１はコンピュータシステム５５０のブロック図である。ここで示すコンピュータシステム５５０は単なる例であって、他の構成も利用可能である。このコンピュータプログラムのうち、コアとなる部分は、図８及び図９のフローチャートにより示される制御構造を有する。
【００８７】
図１０を参照して、コンピュータシステム５５０は、コンピュータ５６０と、全てコンピュータ５６０に接続された、モニタ５６２と、キーボード５６６と、マウス５６８と、スピーカ５５８と、マイクロフォン５９０と、を含む。さらに、コンピュータ５６０はＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ  Ｒｅａｄ−Ｏｎｌｙ−Ｍｅｍｏｒｙ：ディジタル多用途ディスク読出専用メモリ）ドライブ５７０と、半導体メモリドライブ５７２とを含む。
【００８８】
図１１を参照して、コンピュータ５６０はさらに、ＤＶＤ−ＲＯＭドライブ５７０と半導体メモリドライブ５７２とに接続されたバス５８６と、全てバス５８６に接続された、ＣＰＵ５７６と、コンピュータ５６０のブートアッププログラムを記憶するＲＯＭ５７８と、ＣＰＵ５７６によって使用される作業領域を提供するとともにＣＰＵ５７６によって実行されるプログラムのための記憶領域となるＲＡＭ５８０と、観測値データ（学習データ）などを記憶するためのハードディスクドライブ５７４と、ネットワーク５５２への接続を提供するネットワークインターフェイス５９６とを含む。
【００８９】
上述の実施の形態のシステムを実現するソフトウェアは、ＤＶＤ−ＲＯＭ５８２又は半導体メモリ５８４等のコンピュータ読取可能な記録媒体に記録されたオブジェクトコード、スクリプト、又はソースプログラムの形で流通し、ＤＶＤ−ＲＯＭドライブ５７０又は半導体メモリドライブ５７２等の読出装置を介してコンピュータ５６０に提供され、ハードディスクドライブ５７４に記憶される。ソースプログラムでコンピュータ５６０に導入されるときには、所定のコンパイラでコンパイルしてオブジェクトコードを生成する必要がある。ＣＰＵ５７６がプログラムを実行する際には、オブジェクトプログラム（又はスクリプト）はハードディスクドライブ５７４から読出されてＲＡＭ５８０に記憶される。図示しないプログラムカウンタによって指定されたアドレスから命令がフェッチされ、その命令が実行される。ＣＰＵ５７６はハードディスクドライブ５７４から処理すべきデータを読出し、処理の結果をこれもまたハードディスクドライブ５７４に記憶する。スピーカ５５８とマイクロフォン５９０とは、直接に本発明とは関係ないが、スピーカ５５８は音声の再生時に必要である。音声についての学習データを収集するときには、発話データの収録にマイクロフォン５９０が必要となる。
【００９０】
学習用データは、予め収集され、入力パターンとそのパターンの属するクラスとの組を多数含む。学習用データは、ハードディスクドライブ５７４に記憶される。上記した処理により算出されるクラス分類用のパラメータセットΛは、一旦はハードディスクドライブ５７４などに記憶され、さらにネットワークを介して、又はＵＳＢメモリを介して、分類器にコピーされる。分類器はこれらクラス分類用のパラメータセットΛを用いて入力パターンをいずれかのクラスに分類する。
【００９１】
コンピュータシステム５５０の一般的動作は周知であるので、詳細な説明はここでは繰返さない。
【００９２】
ソフトウェアの流通の方法に関して、ソフトウェアは必ずしも記憶媒体上に固定されたものでなくても良い。例えば、ソフトウェアはネットワークに接続された別のコンピュータから分配されても良い。ソフトウェアの一部がハードディスクドライブ５７４に記憶され、ソフトウェアの残りの部分をネットワーク上からハードディスクドライブ５７４に取込み、実行の際に統合する様にしても良い。
【００９３】
典型的には、現代のコンピュータはコンピュータのオペレーティングシステム（ＯＳ）によって提供される一般的な機能を利用し、所望の目的に従って制御された態様で機能を達成する。従って、ＯＳ又はサードパーティから提供されうる一般的な機能を含まず、一般的な機能の実行順序の組合せのみを指定したプログラムであっても、そのプログラムが全体として所望の目的を達成する制御構造を有する限り、そのプログラムがこの発明の範囲に包含されることは明らかである。
［第２の実施の形態］
上記第１の実施の形態の図８に示すアルゴリズムにより得られる結果と同等の結果を、異なるアルゴリズムで得ることもできる。そうしたアルゴリズムを実現するプログラムのフローチャートを図１２に示す。
図１２を参照して、第２の実施の形態に係る、損失平滑度の自動制御を伴うＭＣＥ学習を実現するプログラムは、図８に示すものと同様のステップ１４０及び１４２を含む。ただし、ステップ１４２では、図８のステップ１８０に代えて、ステップ６００をすべてのエポックｅ＝０，…，Ｅに対して繰返す。
ステップ６００は、以下の処理ステップを含む。
（ａ）全ての学習標本および全てのクラスに対する判別関数値ｇｊ（ｘｎ，Λ（ｅ））を計算する（ｊ＝１，…，Ｊ；ｎ＝１，…，Ｎ）。（ステップ６１０，６１２及び６１４）
（ｂ）各クラスｙ＝１，…，Ｊに対して、以下のステップｉ〜ｉｉｉからなるステップ６２０を実行する。（ステップ６１６）
ｉ．誤分類測度値ｄｙ（ｘｋｙ，Λ（ｅ））を計算する（ｋ＝１，…，Ｎｙ）。（ステップ１５２）
ｉｉ．Ｎ´＝Ｎｙおよびｘｋ＝ｄｙ（ｘｋｙ，Λ（ｅ））（ｋ＝１，…，Ｎｙ）として（ステップ１５４）、第１の実施の形態と同じＥＭアルゴリズムに基づくＰａｒｚｅｎ窓幅決定法を実行し、最適窓幅ｈｙを得る。（ステップ１５６）
ｉｉｉ．式（１８）を実行して、最適な損失平滑度αｙを得る。（ステップ１５８）
ステップ６２０を全てのクラスｙ＝１，…，Ｊに対して実行すると、制御はステップ１６０に移る。ステップ１６０以下の処理は、図８に示したものと同様である。
この図１２に示すアルゴリズムを用いても、図８に示した第１の実施の形態によるものと同様の結果を得ることができる。
【００９４】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。
【符号の説明】
【００９５】
２０，３０  グラフ
４０  Ｐａｒｚｅｎ窓群
４２，８２  分類誤り数リスクの推定値の関数
５０，６０，７０，８０  Ｐａｒｚｅｎ窓
【図１】
0005527728.tif 000049
【図２】
0005527728.tif 000050
【図３】
0005527728.tif 000051
【図４】
0005527728.tif 000052
【図５】
0005527728.tif 000053
【図６】
0005527728.tif 000054
【図７】
0005527728.tif 000055
【図８】
0005527728.tif 000056
【図９】
0005527728.tif 000057
【図１０】
0005527728.tif 000058
【図１１】
0005527728.tif 000059
【図１２】
0005527728.tif 000060