(57)【特許請求の範囲】
【請求項１】
サンプル集合Ｓとクラス集合Ｃを入力として、サンプルｓとクラスｃの全ての組み合わせについて、素性変換ルールに基づいて素性ベクトルＦを生成し、素性ベクトルＦの要素ｆｋに対応する重要度ｑｋに、上記素性ベクトルＦの要素ｆｋの二乗値ｆｋ2を加算して、重要度ｑｋを更新する素性値加算部と、
上記重要度ｑｋと外部から入力されるモデルパラメータＡの要素ａｋを入力として、当該重要度ｑｋに、対応するモデルパラメータＡの要素ａｋの二乗値ａｋ2を乗じた値をモ
デルパラメータの要素の重要度とし、その重要度の大きさの順番にモデルパラメータを並べ替えたソート済みモデルパラメータＡ＋を出力するモデルパラメータ乗算部と、
上記ソート済みモデルパラメータＡ＋を入力として、その上位ｍ個のモデルパラメータを出力するモデル縮減部と、
を具備するモデル縮減装置。
【請求項２】
サンプル集合Ｓとクラス集合Ｃを入力として、サンプルｓとクラスｃの全ての組み合わせについて、素性変換ルールに基づいて素性ベクトルＦを生成し、素性ベクトルＦの要素ｆｋに対応する重要度ｑｋに、上記素性ベクトルＦの要素ｆｋの二乗値ｆｋ2を加算して、重要度ｑｋを更新する素性値加算部と、
上記重要度ｑｋと外部から入力されるモデルパラメータＡの要素ａｋを入力として、当該重要度ｑｋに、対応するモデルパラメータＡの要素ａｋの二乗値ａｋ2を乗じた値をモ
デルパラメータの要素の重要度とし、その重要度の大きさの順番にモデルパラメータを並べ替えたソート済みモデルパラメータＡ＋と、上記重要度を大きさの順番に並べたソート済み重要度Ｑ＋を出力するモデルパラメータ乗算部と、
上記ソート済みモデルパラメータＡ＋と上記ソート済み重要度Ｑ＋を入力として、上位から１〜ｍ番目のｍ個のモデルパラメータａ1〜ａmを、ｍ＋１番目の重要度ｑ＋ｍ＋１とｉ番目の重要度ｑ＋ｉの比で補正して出力するモデル縮減部と、
を具備するモデル縮減装置。
【請求項３】
サンプル集合Ｓとクラス集合Ｃを入力として、サンプルｓとクラスｃの全ての組み合わせについて、素性変換ルールに基づいて素性ベクトルＦを生成し、素性ベクトルＦの要素ｆｋに対応する重要度ｑｋに、上記素性ベクトルＦの要素ｆｋの二乗値ｆｋ2を加算して、重要度ｑｋを更新する素性値加算過程と、
上記重要度ｑｋと外部から入力されるモデルパラメータＡの要素ａｋを入力として、当該重要度ｑｋに、対応するモデルパラメータＡの要素ａｋの二乗値ａｋ2を乗じた値をモ
デルパラメータの要素の重要度とし、その重要度の大きさの順番にモデルパラメータを並べ替えたソート済みモデルパラメータＡ＋を出力するモデルパラメータ乗算過程と、
上記ソート済みモデルパラメータＡ＋を入力として、その上位ｍ個のモデルパラメータを出力するモデル縮減過程と、
を備えるモデル縮減方法。
【請求項４】
サンプル集合Ｓとクラス集合Ｃを入力として、サンプルｓとクラスｃの全ての組み合わせについて、素性変換ルールに基づいて素性ベクトルＦを生成し、素性ベクトルＦの要素ｆｋに対応する重要度ｑｋに、上記素性ベクトルＦの要素ｆｋの二乗値ｆｋ2を加算して、重要度ｑｋを更新する素性値加算過程と、
上記重要度ｑｋと外部から入力されるモデルパラメータＡの要素ａｋを入力として、当該重要度ｑｋに、対応するモデルパラメータＡの要素ａｋの二乗値ａｋ2を乗じた値をモ
デルパラメータの要素の重要度とし、その重要度の大きさの順番にモデルパラメータを並べ替えたソート済みモデルパラメータＡ＋と、上記重要度を大きさの順番に並べたソート済み重要度Ｑ＋を出力するモデルパラメータ乗算過程と、
上記ソート済みモデルパラメータＡ＋と上記ソート済み重要度Ｑ＋を入力として、上位から１〜ｍ番目のｍ個のモデルパラメータａ1〜ａmを、ｍ＋１番目の重要度ｑ＋ｍ＋１とｉ番目の重要度ｑ＋ｉの比で補正して出力するモデル縮減過程と、
を備えるモデル縮減方法。
【請求項５】
請求項１又は２に記載したモデル縮減装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音声認識、機械翻訳、発話分類などの自然言語処理を含む統計的機械学習の分野において用いられるモデルのモデルパラメータの数を縮減するモデル縮減装置とその方法と、プログラムに関する。
【背景技術】
【０００２】
例えば、自然言語処理において分類問題やランキング問題は極めて重要な問題である。分類問題は、ある単語列（サンプル）が事前に定義された有限個のクラスのうち、どれに分類されるかを推定する問題である。例えば、発話内容を、挨拶、質問、回答などにクラス分けする発話分類はこれに相当する。ランキング問題は、有限個のサンプルからなる集合が与えられた時に、各サンプルに対して、ある観点における順位を与える問題である。音声信号を単語列に変換する技術である音声認識や、機械翻訳はこれに相当するものと見なすことが出来る。
【０００３】
一般に、分類問題では、サンプルとクラスに応じたスコアが付与され、スコアの大きさに基づいて分類されるクラスを推定する。ランキング問題では、サンプルごとにスコアが付与され、スコアの大きさに基づいて順位が決定する。
【０００４】
スコアを付与するには、サンプルとクラスの組を、素性表現するための変換ルールが事前に定義されている必要がある。また、事前にモデルを用意しておく必要がある。
【０００５】
モデルとは、例えば音声認識であれば言語モデルであり、素性表現された入力（単語列、サンプル）に対して、スコアを返す関数のことである。ここでモデルを用意するとは、関数の型を決めた上で、そのパラメータの具体的な値を事前に決定しておくことである。統計的手法では、大量に集めた学習データを利用してモデルパラメータの値を決定する。
【０００６】
通常、モデルパラメータの値を決定するプロセス、つまり学習は簡単ではない。対称とする分野の専門的な知識や、大規模な計算システム、大量の学習データなどが必要である。そのため、分類やランキングを行う専門的な知識を持たない一般ユーザが、使用環境に合わせてモデルを学習することは現実的ではない。
【０００７】
専門家が汎用性の高いモデルを用意した場合、モデルパラメータ数が大きくなる場合がある。その場合、一般ユーザは、それに応じた規模の計算機を用意することを余儀なくされる。例えば、言語モデルは、隣り合う単語の組ごとに対応したパラメータをもつ。そのため、様々な語彙をサポートした汎用性の高い言語モデルを構築しようと考えた場合、パラメータの数は非常に大きくなる。つまり、モデルパラメータの数を縮減する装置や方法は、従来存在しなかった。
【０００８】
そのパラメータの数を減らす方法としては、非特許文献１に開示されたものが知られている。非特許文献１の方法は、ある観点において最適な、素性ベクトルの部分ベクトルを見つけることを目的としたものである。つまり新たにモデルパラメータの値を学習する必要がある。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】北内敬、宇津呂武仁、松本裕二、「誤り駆動型の素性選択による日本語形態素解析の確率モデル学習」情報処理学会論文誌、Vol.40 No.5 May 1999
【発明の概要】
【発明が解決しようとする課題】
【００１０】
言語モデルを始めとする一部のモデルのパラメータ数は極めて大きい。しかし、これまで、例えば認識結果が極力変わらないように、既存のモデルパラメータを、任意のサイズにモデルパラメータを縮減する方法は知られていない。ここでの縮減とは、モデルパラメータを任意の数に削減することを意味する。
【００１１】
この発明は、このような課題に鑑みてなされたものであり、モデルパラメータ数の縮減を実現することで、ユーザが計算機の規模等に合わせて柔軟にモデルパラメータ数を変更可能なように、モデルパラメータ数を縮減するモデル縮減装置とその方法とプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
この発明のモデル縮減装置は、素性値加算部と、モデルパラメータ乗算部と、モデル縮減部と、を具備する。素性値加算部は、サンプル集合Ｓとクラス集合Ｃを入力として、サンプルｓとクラスｃの全ての組み合わせについて、素性変換ルールに基づいて素性ベクトルを生成し、素性ベクトルの要素ｆｋに対応する重要度ｑｋを、当該重要度ｑｋに上記素性ベクトルの要素ｆｋの二乗値ｆｋ2を加えた値として算出する。モデルパラメータ乗算部は、重要度ｑｋと外部から入力されるモデルパラメータＡの要素ａｋを入力として、当該重要度ｑｋに、対応するモデルパラメータＡの要素の二乗値ａｋ2を乗じた値をモデルパラメータの要素の重要度とし、その重要度の大きさの順番にモデルパラメータを並べ替えたソート済みモデルパラメータＡ＋を出力する。モデル縮減部は、ソート済みモデルパラメータＡ＋を入力として、その上位ｍ個のモデルパラメータを出力する。ここでｍはユーザが指定したモデルパラメータ数である。
【発明の効果】
【００１３】
この発明のモデル縮減装置は、モデルを素性変換ルールに基づいて素性ペクトルに分解し、素性ベクトルに対応する重要度の大きなモデルパラメータのみを用いる。このモデル縮減装置によれば、例えば音声認識用の言語モデル等のモデルの数を、任意のサイズに縮減することが出来ると共に、モデル縮減による認識結果の変化を小さくすることができる。また、予め、単純な統計量を得ておくだけでモデルの縮減が可能であり、サンプルに対して正解ラベル（分類問題であればどのクラスｃが正解クラスであるか示す情報、ランキング問題であればサンプルの順位であり、一般に人手で付与する必要がある。）などを与えておく必要がない。
【図面の簡単な説明】
【００１４】
【図１】この発明のモデル縮減装置１００の機能構成例を示す図。
【図２】モデル縮減装置１００の動作フローを示す図。
【図３】素性値加算部１０の機能構成例を示す図。
【図４】素性値加算部１０の動作フローを示す図。
【図５】モデルパラメータ乗算部２０の機能構成例を示す図。
【図６】モデル縮減部３０の動作フローを示す図。
【図７】この発明のモデル縮減装置２００の機能構成例を示す図。
【図８】データ（ａ１）を利用してモデル縮減を行いデータ（ａ３）で評価するEval-A評価実験結果を示す図。
【図９】データ（ａ２）を利用してモデル縮減を行いデータ（ａ３）で評価するEval-B評価実験結果を示す図。
【図１０】データ（ａ１）を利用してモデル縮減を行いデータ（ｏ２）で評価するEval-C評価実験結果を示す図。
【図１１】データ（ａ２）を利用してモデル縮減を行いデータ（ｏ２）で評価するEval-D評価実験結果を示す図。
【図１２】データ（ｏ１）を利用してモデル縮減を行いデータ（ｏ２）で評価するEval-E評価実験結果を示す図。
【発明を実施するための形態】
【００１５】
以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。実施例の説明の前に、この発明の基本的な考えを説明する。
【００１６】
〔この発明の基本的な考え〕
この発明のモデル縮減方法は、線形モデルに特化した手法である。ます、始めに線形モデルについて定義する。
【００１７】
素性ベクトルＦとモデルパラメータＡが与えられたとき、両者の内積（式（１））によりスコアを与えるモデルを線形モデルと称する。
【００１８】
【数１】
0005780516.tif 000002
【００１９】
素性ベクトルＦは、分類問題の場合、サンプルsとクラスcが与えられたとき、事前に定められたルールに基づいて生成される。ランキング問題では、サンプルsが与えられたときに事前に定められたルールに基づいて生成される。
【００２０】
分類問題は、有限個のクラスcからなる集合Ｃが与えられたとき、式（２）を全てのクラスc（ｃ∈Ｃ）について算出し、一般には最大の値を取るクラスを分類結果とする。
【００２１】
【数２】
0005780516.tif 000003
【００２２】
ランキング問題では、サンプルの集合Ｓが与えられたとき、式（３）を全てのサンプルs（s∈Ｓ）について算出し、その値の大きい順番に並べ替えて順位とする。
【００２３】
【数３】
0005780516.tif 000004
【００２４】
また、二値分類といわれる２クラスの分類問題においては、あるサンプルsが与えられたとき、式（３）の計算結果の符合によって２クラスの推定を行うこともある。
【００２５】
今、モデルパラメータＡ及び素性ベクトルＦの要素をそれぞれａｋ，ｆｋ（k=1,2,…,n）としたとき、直積値（式（４））をスコアとする場合であっても、モデルパラメータの要素ａｋ＞０の場合、対数に変換することで大小関係は保たれ、かつ、線形モデルの型となることから、これも線形モデルとみなす。
【００２６】
【数４】
0005780516.tif 000005
【００２７】
２つの異なるサンプル間のスコアを比較する場合に、式（５）の関係は式（６）で現せる。
【００２８】
【数５】
0005780516.tif 000006
【００２９】
ここで、log(ａｋ)をａｋと見なせば、直積値（式（４））は線形モデルに変換できる。
【００３０】
式（１）をＡ＋ＢＦで現す。つまり、モデルをＢＡにより変換することを仮定する。モデルパラメータ数をｎとすると、Ｂはｎ×ｎの対角行列である、すなわち式（７）である。
【００３１】
【数６】
0005780516.tif 000007
【００３２】
今、モデルパラメータＡの要素ａｋを変換する変換係数ｂｋにスパース性があると仮定する。つまり、多くの要素がゼロを持つならば、ＢＡにより多くのモデルパラメータ値がゼロに変換される。値ゼロのモデルパラメータを不要物と見なすことで、モデルを縮減することが出来る。
【００３３】
モデルの縮減前後で、クラス分類やランキング問題の結果があまり変わらない制約を与えるため、最小二乗誤差法を導入する。
【００３４】
スコア差（式（８））を最小化するＢを考える。
【００３５】
【数７】
0005780516.tif 000008
【００３６】
ここでＦｉはサンプル若しくはクラスが与えられた下で表現される素性ベクトルである。最小値を与えるＢは明らかに単位行列であるため、Ｂがスパースになる制約を加えた最小化問題を考える。ここでは、Ｂがスパースになる制約としてＬ１正規化を用いて目的関数Ｚを設ける。
【００３７】
【数８】
0005780516.tif 000009
【００３８】
ここでｗは非負の定数であり、Ｂのスパース性の度合いを決定するパラメータである。ｗの値の決定方法は後述する。
【００３９】
この最小化問題の解となる変換係数ｂｋの値は解析的に得られない。そこで近似を導入する（式（１０））。
【００４０】
【数９】
0005780516.tif 000010
【００４１】
ここでｆｉ，ｋはＦｉのｋ番目の要素である。Ｆが十分スパースであるとすると、第２項のｆｉ，ｋｆｉ，ｋ′は凡そゼロと見なすことが出来る。そこで、近似的に次式の最小化問題に置き換える。
【００４２】
【数１０】
0005780516.tif 000011
【００４３】
この近似から、素性ベクトルＦｉが十分スパースに分布するとき、この発明は効果的に機能することが予想される。Ｚ′の最小化問題の解析解は各ｋについて式（１２）で与えられる。
【００４４】
【数１１】
0005780516.tif 000012
【００４５】
さて、ｗは非負の定数であることから０≦ｂｋ≦１である。ｗが大きい値を取るとき、多くの要素の変換係数ｂｋがｂｋ＝０となるので、最終的に得られるモデルパラメータ値ａｋｂｋも０となる。なお、縮減後のモデルサイズｍとｗが同期している必然性はない。非同期とする場合、ｗの値を決定するための他の手段が必要である。その場合は、別途開発用のデータを用意して決定する。
【００４６】
縮減後のモデルサイズｍとｗを同期させる場合、つまり、ｍ＋１番目以降のモデルパラメータ値を０とする場合、素性ベクトルＦの要素に対応する重みｑｋを式（１３）に示すように予め得ておき、ｍ＋１番目に大きな値を持つ要素の重みｑ＋ｍ＋１を用いてｗを式（１４）で求めると良い。
【００４７】
【数１２】
0005780516.tif 000013
【００４８】
ｑｋは、各要素の重要度を現していると見なすことができる。最終的に変換係数ｂｋは式（１５）で与えられる。
【００４９】
【数１３】
0005780516.tif 000014
【００５０】
この変換係数ｂｋを、モデルパラメータａｋに乗じて補正する。
【００５１】
重要度ｑｋの大きなモデルパラメータのみを用いることで、例えば音声認識精度を落とすことなく、モデルパラメータの数を減らすことが可能である。上記の考えに基づけば、そのモデルパラメータ値をａｋ・ｂｋにより変換することが基本である。しかし、実際にはこの値の変換の処理を省略することも可能である。
【実施例１】
【００５２】
図１に、この発明のモデル縮減装置１００の機能構成例を示す。その動作フローを図２に示す。モデル縮減装置１００は、素性値加算部１０と、モデルパラメータ乗算部２０と、モデル縮減部３０と、制御部４０と、を具備する。モデル縮減装置１００の各部の機能は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。
【００５３】
素性値加算部１０は、サンプルＳとクラス集合Ｃを入力として、サンプルＳとクラス集合Ｃの全ての組み合わせについて、素性変換ルールに基づいて素性ベクトルを生成し、素性ベクトルに対応する重要度ｑｋを、当該重要度ｑｋに上記素性ベクトルの二乗値を加えた値として算出する（ステップＳ１０）。
【００５４】
モデルパラメータ乗算部２０は、重要度ｑｋと外部から入力されるモデルパラメータＡの要素ａｋを入力として、当該重要度ｑｋに、対応するモデルパラメータＡの要素の二乗値ａｋ2を乗じた値をモデルパラメータの要素の重要度とし、その重要度の大きさの順番にモデルパラメータを並べ替えたソート済みモデルパラメータＡ＋を出力する（ステップＳ２０）。
【００５５】
モデル縮減部３０は、ソート済みモデルパラメータＡ＋を入力として、その上位ｍ個のモデルパラメータを出力する（ステップＳ３０）。制御部４０は、上記した各部間の時系列的な動作等を制御するものである。
【００５６】
以上の作用により、例えば音声認識用の言語モデル等のモデルの数を、任意のサイズに縮減することができる。以降、モデル縮減装置１００の各部の動作をより詳しく説明する。
【００５７】
図３に、素性値加算部１０の機能構成例を示す。その動作フローを図４に示す。素性値加算部１０は、サンプル・クラス取得手段１１と、素性表現化手段１２と、二乗値加算手段１３と、を備える。
【００５８】
素性値加算部１０が動作を開始すると、まず制御部４０が、モデルパラメータの要素数分の記憶容量を確保し、記憶領域を全てゼロに初期化する（ステップＳ４０）。例えば、外部から入力されるモデルパラメータの要素ａｋに対応する重要度ｑｋを記憶する記憶領域をＱ＝（qk:q1,q2,…，qn）と表記する。
【００５９】
サンプル・クラス取得手段１１は、サンプル集合Ｓとクラス集合Ｃを入力として、サンプル集合Ｓとクラス集合Ｃの全ての組み合わせについて、それらの集合からサンプルｓとクラスｃを取得して素性表現化手段１２に出力する（ステップＳ１１０〜Ｓ１１３）。
【００６０】
素性表現化手段１２は、サンプルｓとクラスｃの全ての組み合わせについてそれぞれ、素性変換ルール１２ａに基づいて素性ベクトルＦ（ｓ，ｃ）＝(fk:f1,f2,…,fn)を生成する(ステップＳ１２)。
【００６１】
二乗値加算手段１３は、記憶された重要度Ｑの要素ｑｋに、素性ベクトルの要素ｆｋの二乗値を加算して重要度Ｑを更新する（ステップＳ１３）。この重要度Ｑの更新は、サンプルｓとクラスｃの全ての組み合わせについて行われる。
【００６２】
【数１４】
0005780516.tif 000015
【００６３】
図５に、モデルパラメータ乗算部２０の機能構成例を示す。モデルパラメータ乗算部２０は、モデルパラメータ値乗算手段２１と、ソート手段２２を、備える。モデルパラメータ値乗算手段２１は、モデルパラメータの要素の重要度ｑｋに、外部から入力されるモデルパラメータＡの要素ａｋの二乗値を乗じて重要度ｑｋとする計算（式（１７））を行う。
【００６４】
【数１５】
0005780516.tif 000016
【００６５】
この計算は全てのｋについて行われ、重要度ｑｋはソート手段２２に出力される。ソート手段２２は、重要度ｑｋを降順に並べ替え、ソート済みの重要度Ｑ＋を生成する。そして、ソート済みの重要度Ｑ＋とｋの対応が取れるようにモデルパラメータの要素ａｋを並べ替え、ソート済みのモデルパラメータＡ＋をモデル縮減部３０に出力する。
【００６６】
図６に、モデル縮減部３０の動作フローを示す。モデル縮減部３０は、縮減後のサイズｍの数分のソート済みのモデルパラメータＡ＋の上位ｍ個のモデルパラメータを出力する（ステップＳ３０３）。
【００６７】
【数１６】
0005780516.tif 000017
【００６８】
縮減後のサイズｍは、予めモデル縮減部３０に設定されていても良いし、破線で示すように外部から設定するようにしても良い。図６のｉは、要素番号を現す変数であり、ソート前の順番ｋと区別する目的でｉとしている。
【実施例２】
【００６９】
図７に、この発明のモデル縮減装置２００の機能構成例を示す。モデル縮減装置２００は、モデル縮減装置１００（図１）と、モデルパラメータ乗算部２２と、モデル縮減部３２とが異なる。モデルパラメータ乗算部２２は、ソート済みの重要度Ｑ＋をソート済みのモデルパラメータＡ＋と共に、モデル縮減部３２に出力する点のみが、モデル縮減装置１００と異なる。
【００７０】
モデル縮減部３２は、ソート済みモデルパラメータＡ＋とソート済み重要度Ｑ＋を入力として、並べ替えられた上位から１〜ｍ番目のｍ個のモデルパラメータａ＋１〜ａ＋ｍを、ｍ＋１番目の重要度ｑ＋ｍ＋１とｉ番目の重要度ｑ＋ｉの比で補正して出力する点で、上位からｍ個のモデルパラメータを選択するだけのモデル縮減部３０と異なる。
【００７１】
【数１７】
0005780516.tif 000018
【００７２】
〔評価実験〕
この発明のモデル縮減方法の効果を確認する目的で、日本語話言葉コーパス（ＣＳＪ）を用いて評価実験を行った。ＣＳＪは、講演音声とその書き起こしからなるコーパスである。ＣＳＪには、学会講演と模擬講演が含まれる。模擬講演は「私の街」、「生涯で最も幸せな出来事」等といったテーマの講演形式のスピーチが収録されている。
【００７３】
音声認識の誤り訂正言語モデルを構築し、そのモデルを縮減することでモデルサイズと精度との関係を評価した。音声認識システムは、一般に複数の認識候補となる単語列を出力することが出来る。各認識候補単語列にはスコアが与えられており、最も高いスコアを持つ単語列が通常の認識結果である。誤り訂正言語モデルは、認識候補単語列に補正スコアを加えることで、認識結果の再ランキングを行うモデルである。今、認識候補単語列の集合をＳとおくと、最終的な認識結果ｓ＊は式（２０）で与えられる。
【００７４】
【数１８】
0005780516.tif 000019
【００７５】
ここでｆ０（ｓ）は音声認識システムが付与した認識候補単語列ｓに対応するスコアである。また、ａ０はスケーリングを調整する定数であり、誤り訂正言語モデルのモデルパラメータＡを推定する際に、開発データなどを利用して決定する。
【００７６】
表１に、誤り訂正言語モデルの学習・評価に用いたデータの内訳を示す。
【００７７】
【表１】
0005780516.tif 000020
【００７８】
データ（ａ１）〜（ａ３）は、学会講演であり、データ（ｏ１）と（ｏ２）は模擬講演である。各発話に対し音声認識システムを適用し、5000個の認識候補単語列を生成した。
【００７９】
データ（ａ１）を使って誤り訂正言語モデルの学習を行った。つまり、モデルパラメータＡの学習を行った。なお、モデルパラメータＡの要素数は凡そ1000万個である。素性には、（ａ１）に出現した全ての単語1-gram,2-gram,3-gram及び品詞1-gram,2-gram,3-gramの頻度を利用した。n-gramとはn個のトークン（単語又は品詞）の並びである。
【００８０】
モデルパラメータＡの学習には、ラウンドロビン対比学習法(Round-robin duel discrimination）を使用した。スケーリングを調整する定数ａ０の値は、データ（ａ２）を開発セットとして用いて、その単語誤り率（ＷＥＲ）が最小になるように決定した。
【００８１】
モデル縮減の評価として５つの環境を用意した。データ（ａ１）を利用してモデル縮減を行いデータ（ａ３）で評価する場合をEval-Aと記載する。同様にデータ（ａ２）を利用してモデル縮減を行いデータ（ａ３）で評価する場合をEval-B、データ（ａ１）を利用してモデル縮減を行いデータ（ｏ２）で評価する場合をEval-Cとする。同様に、データ（ａ２）とデータ（ｏ２）の組をEval-D、データ（ｏ１）とデータ（ｏ２）の組をEval-Eとする。誤り訂正言語モデルは、学会講演で学習しているためEval-CからEval-Eはアウトオブドメインとなるタスクでの評価となる。
【００８２】
Eval-Aは、誤り訂正言語モデルの学習データと、モデル縮減のためのデータが一致しており、評価データのドメインも一致する場合の例である。Eval-Bではドメインは一致するが、モデル縮減のためのデータが極少量しかない場合を模擬している。Eval-C,DはEval-A,Bのそれぞれにおいて、評価セットだけがアウトオブドメインである場合に相当する。Eval-Eはモデル縮減のためのデータにも、誤り訂正言語モデルの学習データと異なるドメインを利用した場合である。
【００８３】
それぞれの結果を図８〜１２に示す。横軸はモデル縮減後のモデルサイズｍであり対数スケールである。縦軸は誤り訂正言語モデル適用後の認識結果のＷＥＲである。図中に、破線で示す特性は従来手法であり、単純にモデルパラメータＡの要素ａｋの絶対値の大きな順に上位ｍ個のモデルパラメータを利用する方法である。一点鎖線で示す特性は、この発明の実施例１（図１）のモデル縮減装置１００によって縮減されたモデルを使用した結果を示す。実線で示す特性は、実施例２（図７）のモデル縮減装置２００によって縮減されたモデルを使用した結果を示す。
【００８４】
従来手法で性能が大きく劣化し始める100ｋ以下のモデルサイズで比較する。何れの条件でも、従来手法の単語誤り率を示す破線（＋）よりも単語誤り率の上昇を抑制させながら大きくモデルを縮減することに成功している。
【００８５】
このように、この発明のモデル縮減方法によれば認識結果の変化を小さく抑制しつつ、モデル数を大幅に縮減することが可能である。なお、評価実験結果は、音声認識を例に説明を行ったが、この発明のモデル縮減方法は、線形モデルを使用する限りにおいて、他に機械翻訳や、発話分類をはじめ、画像認識、自然言語処理の分野でも利用することが可能である。
【００８６】
上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。
【００８７】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）/ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００８８】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００８９】
また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
0005780516.tif 000021
【図２】
0005780516.tif 000022
【図３】
0005780516.tif 000023
【図４】
0005780516.tif 000024
【図５】
0005780516.tif 000025
【図６】
0005780516.tif 000026
【図７】
0005780516.tif 000027
【図８】
0005780516.tif 000028
【図９】
0005780516.tif 000029
【図１０】
0005780516.tif 000030
【図１１】
0005780516.tif 000031
【図１２】
0005780516.tif 000032