(57)【要約】【課題】既存のモデルパラメータへの影響を少なくしたままで、追加データに適応したモデルパラメータを推定することができる。【解決手段】追加学習データ受付部４０により、正解クラスが予め付与されたデータを、追加の学習データとして受け付け、素性抽出部４１により、受け付けた追加の学習データのデータから、各素性を抽出して、抽出された各素性と、ベースモデルで用いられる素性ベクトルの各素性とを併せた各素性からなる素性ベクトルを抽出し、追加素性抽出部４２により、抽出された素性ベクトルの各素性から、記憶されたモデルパラメータベクトルの各モデルパラメータに対応する各素性とは異なる追加の素性を抽出し、追加モデルパラメータ推定部４６は、追加の学習データに付与された正解クラスの事後確率と、第１正則化項と、第２正則化項とを含んで表される損失関数を最小にするように、モデルパラメータベクトルｗを最適化する。【選択図】図２
2015038709.tif 000002
【特許請求の範囲】
【請求項１】
データから抽出された各素性からなる素性ベクトルに基づいてクラス分類を行うためのベースモデルで用いられる前記素性ベクトルの各素性に対応する各モデルパラメータからなるモデルパラメータベクトルを記憶したモデルデータベースと、入力手段と、素性抽出手段と、追加素性抽出手段と、推定手段とを含むモデルパラメータ推定装置におけるモデルパラメータ推定方法であって、
前記入力手段は、正解クラスが予め付与された前記データを、追加の学習データとして受け付け、
前記素性抽出手段は、前記受け付けた追加の学習データの前記データから、各素性を抽出して、抽出された各素性と、前記ベースモデルで用いられる素性ベクトルの各素性とを併せた各素性からなる素性ベクトルを抽出し、
前記追加素性抽出手段は、前記素性抽出手段によって前記追加の学習データの前記データから抽出された前記素性ベクトルの各素性から、前記モデルデータベースに記憶されたモデルパラメータベクトルの各モデルパラメータに対応する各素性とは異なる追加の素性を抽出し、
前記推定手段は、前記素性抽出手段によって前記追加の学習データの前記データから抽出された前記素性ベクトルと、前記追加素性抽出手段によって抽出された前記追加の素性と、前記モデルデータベースに記憶された前記モデルパラメータベクトル−ｗＢＡと、前記追加の学習データに予め付与された正解クラスとに基づいて、前記モデルデータベースに記憶された前記モデルパラメータベクトル−ｗＢＡ及び前記追加の素性の各々に対応する各モデルパラメータからなる追加モデルパラメータベクトルｗＡＤを組み合わせたモデルパラメータベクトルｗを用いて計算される、前記素性抽出手段によって前記追加の学習データの前記データから前記素性ベクトルに対する、前記追加の学習データに付与された前記正解クラスの事後確率と、前記モデルデータベースに記憶された前記モデルパラメータベクトル−ｗＢＡ、及び最適化後のモデルパラメータベクトルｗのうちのモデルパラメータベクトルｗＢＡの差分を用いて計算される第１正則化項と、前記最適化後のモデルパラメータベクトルｗのうちの前記追加モデルパラメータベクトルｗＡＤを用いて計算される第２正則化項とを含んで表される損失関数を最小にするように、前記モデルパラメータベクトルｗを最適化する
モデルパラメータ推定方法。
【請求項２】
前記損失関数
【数１】
2015038709.tif 000009
は、以下の式で表わされる請求項１記載のモデルパラメータ推定方法。
【数２】
2015038709.tif 000010
ただし、
【数３】
2015038709.tif 000011
は、ＮＡＤ個の前記追加の学習データｉの各々について抽出された前記素性ベクトルｘｉ及び前記予め付与された正解クラスｙｉのペアであり、ｐｗ（ｙ｜ｘ）は、前記モデルパラメータベクトルｗを用いて計算される、素性ベクトルｘに対する前記クラスｙの事後確率であり、ＣＢＡ、ＣＡＤはハイパーパラメータである。
【請求項３】
前記ハイパーパラメータＣＡＤの値を、前記ハイパーパラメータＣＢＡの値よりも大きくした請求項２記載のモデルパラメータ推定方法。
【請求項４】
データから抽出された各素性からなる素性ベクトルに基づいてクラス分類を行うためのベースモデルで用いられる前記素性ベクトルの各素性に対応する各モデルパラメータからなるモデルパラメータベクトルを記憶したモデルデータベースと、
正解クラスが予め付与された前記データを、追加の学習データとして受け付ける入力手段と、
前記受け付けた追加の学習データの前記データから、各素性を抽出して、抽出された各素性と、前記ベースモデルで用いられる素性ベクトルの各素性とを併せた各素性からなる素性ベクトルを抽出する素性抽出手段と、
前記素性抽出手段によって前記追加の学習データの前記データから抽出された前記素性ベクトルの各素性から、前記モデルデータベースに記憶されたモデルパラメータベクトルの各モデルパラメータに対応する各素性とは異なる追加の素性を抽出する追加素性抽出手段と、
前記素性抽出手段によって前記追加の学習データの前記データから抽出された前記素性ベクトルと、前記追加素性抽出手段によって抽出された前記追加の素性と、前記モデルデータベースに記憶された前記モデルパラメータベクトル−ｗＢＡと、前記追加の学習データに予め付与された正解クラスとに基づいて、前記モデルデータベースに記憶された前記モデルパラメータベクトル−ｗＢＡ及び前記追加の素性の各々に対応する各モデルパラメータからなる追加モデルパラメータベクトルｗＡＤを組み合わせたモデルパラメータベクトルｗを用いて計算される、前記素性抽出手段によって前記追加の学習データの前記データから前記素性ベクトルに対する、前記追加の学習データに付与された前記正解クラスの事後確率と、前記モデルデータベースに記憶された前記各モデルパラメータベクトル−ｗＢＡ、及び最適化後のモデルパラメータベクトルｗのうちのモデルパラメータベクトルｗＢＡの差分を用いて計算される第１正則化項と、前記最適化後のモデルパラメータベクトルｗのうちの前記追加モデルパラメータベクトルｗＡＤを用いて計算される第２正則化項とを含んで表される損失関数を最小にするように、前記モデルパラメータベクトルｗを最適化する推定手段と、
を含む、モデルパラメータ推定装置。
【請求項５】
前記損失関数
【数４】
2015038709.tif 000012
は、以下の式で表わされる請求項４記載のモデルパラメータ推定装置。
【数５】
2015038709.tif 000013
ただし、
【数６】
2015038709.tif 000014
は、ＮＡＤ個の前記追加の学習データｉの各々について抽出された前記素性ベクトルｘｉ及び前記予め付与された正解クラスｙｉのペアであり、ｐｗ（ｙ｜ｘ）は、前記モデルパラメータベクトルｗを用いて計算される、素性ベクトルｘに対する前記クラスｙの事後確率であり、ＣＢＡ、ＣＡＤはハイパーパラメータである。
【請求項６】
前記ハイパーパラメータＣＡＤの値を、前記ハイパーパラメータＣＢＡの値よりも大きくした請求項５記載のモデルパラメータ推定装置。
【請求項７】
コンピュータを、請求項４〜６の何れか１項記載のモデルパラメータ推定装置を構成する各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、追加された新たな学習データに対応するモデルパラメータを推定するモデルパラメータ推定方法、装置、及びプログラムに関する。
【背景技術】
【０００２】
機械学習における分類問題とは、入力された素性ベクトル（以後、ｘとする。）に対して、予め定義されたクラス（以後、ｙとする。）に自動分類するものである。
【０００３】
具体的なタスクとしては、例えば、新聞記事のカテゴリ推定がある。新聞記事は、「国際」「スポーツ」「１面」など、掲載面に応じたカテゴリが予め定まっている。新聞記事のカテゴリ分類は、各記事を入力として、そのカテゴリを自動推定する。この場合、クラスｙは記事のカテゴリとなる。素性ベクトルには、様々なものが利用可能であるが、例えば記事のタイトルと、記事本文に出現した単語そのものを二値素性とみなして、素性ベクトルを構成することができる。
【０００４】
分類問題を解く方法として、図７に示すように、教師あり機械学習が多く用いられている。これは、予め正解クラスがわかっている学習データ（素性ベクトルと正解クラスの組（＜ｘｉ，ｙｉ＞））を多数用意して、正解クラスを最もよく予測するモデルを学習する。テスト時には、クラス不明の未知データｘから、モデルを用いてクラスｙを予測する。
【０００５】
例えば、最大エントロピー法による教師あり学習を用いる場合、テスト時には、分類器は下記（１）式によって事後確率が最大のクラス＾ｙを出力する。
【０００６】
【数１】
2015038709.tif 000003
【０００７】
ただし、ｐｗ（ｙ｜ｘ）は、入力の素性ベクトルがｘのときのクラスｙの事後確率で、予め学習されたモデルパラメータｗに基づいて、上記（２）式を用いて計算する。上記（２）式のφ（ｘ，ｙ）は素性関数と呼ばれ、入力ｘとクラスｙに依存した実数値、又は０若しくは１の二値を返す関数である。なお、モデルパラメータｗは、素性関数に対応する重みを表し、素性ベクトルの次元数をＤ、クラスの種類数をＹとしたとき、Ｄ×Ｙ次元のベクトルとなる。モデルパラメータｗはベースモデルに格納されている。
【０００８】
モデルパラメータｗは、Ｌ２正則化を用いる場合、下記（４）式の損失関数ｌ（・）を最小にするように、下記（３）式を用いて学習する。最適なｗは、Ｌ−ＢＦＧＳ法などを用いることで推定し、ベースモデルに格納する（非特許文献１）。
【０００９】
【数２】
2015038709.tif 000004
【００１０】
ただし、ｘｉとｙｉはそれぞれｉ番目の学習データの素性ベクトル、正解のクラスである。学習データは全部でＮ個あり、＜ｘｉ，ｙｉ＞Ｎ１が学習データ全体を表している。
【００１１】
上記（４）式の第２項は正則化項によって、モデルパラメータｗが大きくなり過ぎないように調整している。Ｃは調整のためのハイパーパラメータで、大きく設定すると学習データにできるだけ適合するように学習される。一般的には、学習データと実際に分類したい未知データは異なるため、Ｃを大きくしすぎると、逆に未知データにおける分類精度が低下することがある（過適応）。そのため、Ｃは実際に分類したいデータに合わせて、設定する。
【００１２】
また、図８に示すように、未知データになるべく近い学習データを追加学習データとして作成し現在のベースモデルに追加する形で学習する方法もある。例えば、新聞記事のカテゴリ分類では、２００６年の記事の分類精度を向上させるために、２００５年の記事を追加学習データとする。
【００１３】
正則化適応（regularized adaptation）は、ベースモデルを追加学習データに適応させる方法の一つで、追加学習データに近い未知データの分類精度を向上させることができる（非特許文献２）。正則化適応を用いて場合、上記（４）式の損失関数は、下記（５）式に置き換える。
【００１４】
【数３】
2015038709.tif 000005
【００１５】
ただし、追加学習データはＮＡＤ個の入力素性ベクトルと正解クラスの組で、−ｗＢＡは、ベースモデルの学習済みパラメータである。上記（５）式の第１項によって、追加学習データの正解クラスの事後確率を１．０に近づけるとともに、第２項によって、ベースモデルのパラメータと、追加モデルのパラメータの差分が少なくなるようにする。
【００１６】
図９に示す従来技術の正則化適応を用いた、追加モデルの学習手順について説明すると、まず、ベースモデルのパラメータ−ｗＢＡと追加学習データ
【００１７】
【数４】
2015038709.tif 000006
【００１８】
から、学習すべきモデルパラメータｗの初期化を行う。具体的には、ベースモデルの素性に対応するモデルパラメータ−ｗＢＡをｗにコピーし、追加学習データに初めて現れた素性に対応するパラメータを０に設定する。その結果、ｗの次元数は、追加学習データに初めて現れた素性に対応するパラメータ数だけ大きくなる（増加分を｜ＡＤ｜と表記する）。次に、通常の教師あり学習と同様に、Ｌ−ＢＦＧＳ法などを用いてｗを最適化し、追加モデルに出力する。ただし、最適化時の損失関数ｌ（・）としては、上記（５）式を用いる。
【先行技術文献】
【非特許文献】
【００１９】
【非特許文献１】Liu, D. C. and Nocedal, J. (1989). “On the limited memory BFGS method for large scale optimization." Math. Program., 45 (3), pp. 503-528.
【非特許文献２】Xiao, L. and Bilmes, J. (2006). “Regularized Adaptation of Discriminative Classifiers." In ICASSP, IEEE International Conference on Acoustics, Speech and Signal Processing Volume I, pp. 237-240.
【発明の概要】
【発明が解決しようとする課題】
【００２０】
しかし、非特許文献１の方法において学習されたモデルを用いると、学習データと未知データが同じ傾向を持つ場合に高い精度に分類できる一方、学習データと未知データの傾向が異なることも多く、その場合には分類精度が悪化するという問題がある。
【００２１】
例えば、図１０は、新聞記事のカテゴリ分類タスクにおける精度の経年変化の例を示す。図１０のグラフは、１９９５年の新聞記事を学習データとしてモデルを学習し、１９９６年から２００７年までの新聞記事のカテゴリを推定した時の精度（正解率）の変化を表している。学習データと未知データの間の時間間隔が長くなるに従い、精度が悪化する傾向がある。
【００２２】
また、非特許文献２の方法における正則化適応は、上記（５）式の第２項によって、ベースモデルで正しく分類できていた未知データの分類結果が変化する可能性を小さくしている一方、ベースモデルと追加モデルのパラメータは同じではないため、今まで正しく分類できていた未知データが、不正解に変化してしまうことも多いという問題がある。
【００２３】
本発明は、上記問題点を解決するために成されたものであり、既存のモデルパラメータへの影響を少なくしたままで、追加データに適応できるモデルパラメータを推定することができる学習モデル学習方法、装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２４】
上記目的を達成するために、第１の発明のモデルパラメータ推定方法は、データから抽出された各素性からなる素性ベクトルに基づいてクラス分類を行うためのベースモデルで用いられる前記素性ベクトルの各素性に対応する各モデルパラメータからなるモデルパラメータベクトルを記憶したモデルデータベースと、入力手段と、素性抽出手段と、追加素性抽出手段と、推定手段とを含むモデルパラメータ推定装置におけるモデルパラメータ推定方法であって、前記入力手段は、正解クラスが予め付与された前記データを、追加の学習データとして受け付け、前記素性抽出手段は、前記受け付けた追加の学習データの前記データから、各素性を抽出して、抽出された各素性と、前記ベースモデルで用いられる素性ベクトルの各素性とを併せた各素性からなる素性ベクトルを抽出し、前記追加素性抽出手段は、前記素性抽出手段によって前記追加の学習データの前記データから抽出された前記素性ベクトルの各素性から、前記モデルデータベースに記憶されたモデルパラメータベクトルの各モデルパラメータに対応する各素性とは異なる追加の素性を抽出し、前記推定手段は、前記素性抽出手段によって前記追加の学習データの前記データから抽出された前記素性ベクトルと、前記追加素性抽出手段によって抽出された前記追加の素性と、前記モデルデータベースに記憶された前記モデルパラメータベクトル−ｗＢＡと、前記追加の学習データに予め付与された正解クラスとに基づいて、前記モデルデータベースに記憶された前記モデルパラメータベクトル−ｗＢＡ及び前記追加の素性の各々に対応する各モデルパラメータからなる追加モデルパラメータベクトルｗＡＤを組み合わせたモデルパラメータベクトルｗを用いて計算される、前記素性抽出手段によって前記追加の学習データの前記データから前記素性ベクトルに対する、前記追加の学習データに付与された前記正解クラスの事後確率と、前記モデルデータベースに記憶された前記モデルパラメータベクトル−ｗＢＡ、及び最適化後のモデルパラメータベクトルｗのうちのモデルパラメータベクトルｗＢＡの差分を用いて計算される第１正則化項と、前記最適化後のモデルパラメータベクトルｗのうちの前記追加モデルパラメータベクトルｗＡＤを用いて計算される第２正則化項とを含んで表される損失関数を最小にするように、前記モデルパラメータベクトルｗを最適化する。
【００２５】
第２の発明のモデルパラメータ推定装置は、データから抽出された各素性からなる素性ベクトルに基づいてクラス分類を行うためのベースモデルで用いられる前記素性ベクトルの各素性に対応する各モデルパラメータからなるモデルパラメータベクトルを記憶したモデルデータベースと、正解クラスが予め付与された前記データを、追加の学習データとして受け付ける入力手段と、前記受け付けた追加の学習データの前記データから、各素性を抽出して、抽出された各素性と、前記ベースモデルで用いられる素性ベクトルの各素性とを併せた各素性からなる素性ベクトルを抽出する素性抽出手段と、前記素性抽出手段によって前記追加の学習データの前記データから抽出された前記素性ベクトルの各素性から、前記モデルデータベースに記憶されたモデルパラメータベクトルの各モデルパラメータに対応する各素性とは異なる追加の素性を抽出する追加素性抽出手段と、前記素性抽出手段によって前記追加の学習データの前記データから抽出された前記素性ベクトルと、前記追加素性抽出手段によって抽出された前記追加の素性と、前記モデルデータベースに記憶された前記モデルパラメータベクトル−ｗＢＡと、前記追加の学習データに予め付与された正解クラスとに基づいて、前記モデルデータベースに記憶された前記モデルパラメータベクトル−ｗＢＡ及び前記追加の素性の各々に対応する各モデルパラメータからなる追加モデルパラメータベクトルｗＡＤを組み合わせたモデルパラメータベクトルｗを用いて計算される、前記素性抽出手段によって前記追加の学習データの前記データから前記素性ベクトルに対する、前記追加の学習データに付与された前記正解クラスの事後確率と、前記モデルデータベースに記憶された前記各モデルパラメータベクトル−ｗＢＡ、及び最適化後のモデルパラメータベクトルｗのうちのモデルパラメータベクトルｗＢＡの差分を用いて計算される第１正則化項と、前記最適化後のモデルパラメータベクトルｗのうちの前記追加モデルパラメータベクトルｗＡＤを用いて計算される第２正則化項とを含んで表される損失関数を最小にするように、前記モデルパラメータベクトルｗを最適化する推定手段と、を含んで構成されている。
【００２６】
第１の発明及び第２の発明によれば、正解クラスが予め付与されたデータを、追加の学習データとして受け付け、受け付けた追加の学習データのデータから、各素性を抽出して、抽出された各素性と、ベースモデルで用いられる素性ベクトルの各素性とを併せた各素性からなる素性ベクトルを抽出し、抽出された素性ベクトルの各素性から、モデルパラメータベクトルの各モデルパラメータに対応する各素性とは異なる追加の素性を抽出し、追加の学習データに付与された正解クラスの事後確率と、第１正則化項と、第２正則化項とを含んで表される損失関数を最小にするように、モデルパラメータベクトルｗを最適化する。
【００２７】
また、本発明のプログラムは、コンピュータに、上記のモデルパラメータ推定装置を構成する各手段を実行させるためのプログラムである。
【発明の効果】
【００２８】
以上説明したように、モデルパラメータ推定方法、装置、及びプログラムによれば、既存のモデルパラメータへの影響を少なくしたままで、追加データに適応したモデルパラメータを推定することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の実施の形態における追加モデルの学習手順の例を示す図である。
【図２】本発明の実施の形態に係るモデルパラメータ推定装置の機能的構成を示すブロック図である。
【図３】本発明の実施の形態に係る分類装置の機能的構成を示すブロック図である。
【図４】本発明の実施の形態に係るモデルパラメータ推定装置におけるモデルパラメータ推定処理ルーチンを示すフローチャートである。
【図５】本発明の実施の形態に係る分類装置における判定処理ルーチンを示すフローチャートである。
【図６】異なるモデルで分類したテストセットの精度の例を示す図である。
【図７】教師あり学習による分類の構成の例を示す図である。
【図８】追加データの学習の構成の例を示す図である。
【図９】従来法による追加モデルの学習手順の例を示す図である。
【図１０】１９９５年のデータで学習されたモデルの経年変化の例を示す図である。
【発明を実施するための形態】
【００３０】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００３１】
＜発明の原理＞
ベースモデルと未知データの傾向が異なるために精度が悪化する原因は、（ａ）学習データと未知データの素性の分布が異なり、適切なモデルパラメータになっていない、（ｂ）学習データに出現しない素性が未知データに含まれており、分類に寄与していない、という２つに分類することが出来る。
【００３２】
例えば、新聞記事のカテゴリ分類の例で考えると、上記の原因（ａ）は、以下の例に対応する。
【００３３】
１９９６年の記事と２００６年の記事では、同じ単語であっても出現回数は異なっている。そのため、１９９５年の記事で学習されたベースモデルのパラメータでは、１９９６年の記事の分類は正解するが、２００６年の記事では不正解になることが多くなる。
【００３４】
上記の原因（ｂ）は、２００５年の記事で初めて出現した単語は、対応する素性が存在しないため、もし、分類の手がかりとして有効であっても、分類に寄与できないことに値対応する。
【００３５】
正則化適応は、原因（ｂ）に対応する追加学習データに初めて出現した素性を加えて、素性ベクトルとモデルパラメータの次元を拡張したうえで学習している（非特許文献２）。しかし、新素性及びモデルパラメータと、ベースモデルに存在した素性及びモデルパラメータとを同等に扱っているため、追加学習データに適合させる際にベースモデルのモデルパラメータも変更してしまい、従来分類できていた未知データの分類結果が変わってしまう。
【００３６】
そこで、本実施の形態では、ベースモデルに存在する素性及びモデルパラメータと、新素性のモデルパラメータを明確に区別する。新素性に対応するモデルパラメータは、どんな値になっても、今までの分類結果に変化はない。一方、ベースモデルに存在するモデルパラメータを変更すると、今までの分類結果が変化する。そこで、新素性に対応するモデルパラメータは大きな変更を許容するが、ベースモデルに存在するモデルパラメータの変更を最小限にとどめることにより、追加学習データに適合し、かつベースモデルの分類結果との食い違いを最小限にとどめるモデルパラメータを学習する。
【００３７】
本発明による追加モデルの学習手順を図１に示す。まず、ベースモデルのパラメータ−ｗＢＡと追加学習データ
【００３８】
【数５】
2015038709.tif 000007
【００３９】
から、学習すべきモデルパラメータｗの初期化を行う。このとき、モデルパラメータｗを、ベースモデルの素性に対応するモデルパラメータｗＢＡと、追加学習データに初めて現れた素性に対応するモデルパラメータｗＡＤとに分割する。ｗＢＡを、−ｗＢＡで初期化し、ｗＡＤをゼロベクトルで初期化する。なお、−ｗＢＡとｗＢＡは学習の結果異なる値となる。
【００４０】
次に、２つのハイパーパラメータＣＢＡとＣＡＤ（ただし、ＣＢＡ＜ＣＡＤと設定する）を受け取り、上記（３）式を満たす最適なモデルパラメータｗを推定する。この際、損失関数は下記（６）式に示すものを使用する。
【００４１】
【数６】
2015038709.tif 000008
【００４２】
上記（５）式では、正則化項は１つであるが、上記（６）式では、第２項及び第３項が正則化項であり、それぞれｗＢＡとｗＡＤに対応している。ハイパーパラメータＣＢＡとＣＡＤでその影響を調整する。ただし、ＣＢＡ＜ＣＡＤとする。
【００４３】
ＣＢＡに小さな値を設定することにより、ｗＡＤは大きな変更を許容するがｗＢＡは殆ど変化がないモデルが学習される。
【００４４】
＜本実施の形態に係るモデルパラメータ推定装置の構成＞
まず、本発明の実施の形態に係るモデルパラメータ推定装置の構成について説明する。図２に示すように、本発明の実施の形態に係るモデルパラメータ推定装置１００は、ＣＰＵと、ＲＡＭと、後述するモデルパラメータ推定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することができる。このモデルパラメータ推定装置１００は、機能的には図２に示すように入力部１０と、演算部２０と、出力部５０とを備えている。なお、本実施の形態においては、新聞記事のカテゴリ推定について説明する。
【００４５】
入力部１０は、キーボードなどの入力装置から正解カテゴリの情報が付与されたＮ個の新聞記事を受け付け、学習データ記憶部２２に記憶する。また、入力部１０は、正解カテゴリの情報が付与されたＮＡＤ個の追加の新聞記事を受け付ける。また、入力部１０は、ハイパーパラメータＣ、ＣＢＡ、及びＣＡＤを受け付ける。なお、入力部１０は、ネットワーク等を介して外部から入力されたものを受け付けるようにしてもよい。また、ＣＢＡ＜ＣＡＤである。
【００４６】
演算部２０は、学習データ記憶部２２、素性抽出部２４、モデルパラメータ生成部２６、モデルパラメータ推定部２８、モデルパラメータ記憶部３０、追加学習データ受付部４０、素性抽出部４１、追加素性抽出部４２、追加モデルパラメータ生成部４４、及び追加モデルパラメータ推定部４６を含んで構成されている。
【００４７】
学習データ記憶部２２は、入力部１０において受け付けた正解カテゴリの情報が付与されたＮ個の新聞記事を記憶している。なお、正解カテゴリの情報が付与されたＮ個の新聞記事に基づいて学習されるモデルをベースモデルとする。
【００４８】
素性抽出部２４は、学習データ記憶部２２に記憶されている正解カテゴリの情報が付与されたＮ個の新聞記事の各々について、当該新聞記事に存在する素性である単語の各々を抽出し、抽出された素性の種類数の次元からなる素性ベクトルを、Ｎ個の新聞記事の各々について生成し、モデルパラメータ記憶部３０に記憶する。なお、素性抽出部２４において抽出された素性をベースモデルの素性とする。
【００４９】
モデルパラメータ生成部２６は、素性抽出部２４で生成された素性ベクトルと同じ次元数のモデルパラメータベクトルを生成し、モデルパラメータ記憶部３０に記憶する。なお、モデルパラメータベクトルはゼロベクトルで初期化する。なお、モデルパラメータ生成部２６において生成されたモデルパラメータベクトルは、ベースモデルのモデルパラメータベクトルとする。
【００５０】
モデルパラメータ推定部２８は、学習データ記憶部２２に記憶されている正解カテゴリの情報が付与されたＮ個の新聞記事の各々について、素性抽出部２４において抽出された当該新聞記事の素性ベクトルと、モデルパラメータ生成部２６において生成したモデルパラメータベクトルと、入力部１０において受け付けたハイパーパラメータＣとに基づいて、上記（３）式及び上記（４）式に従って、最適化されたモデルパラメータベクトル−ｗＢＡを推定し、モデルパラメータ記憶部３０に記憶する。なお、−ｗＢＡはベースモデルのモデルパラメータベクトルとする。
【００５１】
モデルパラメータ記憶部３０は、ベースモデルの素性ベクトルと、ベースモデルのモデルパラメータベクトル−ｗＢＡとを記憶している。
【００５２】
追加学習データ受付部４０は、入力部１０において受け付けた正解カテゴリの情報が付与されたＮＡＤ個の新聞記事を、追加学習データとして受け付ける。
【００５３】
素性抽出部４１は、素性抽出部２４と同様に追加学習データ受付部４０において受け付けた正解カテゴリの情報が付与されたＮＡＤ個の新聞記事の各々について、当該新聞記事に存在する素性である単語の各々を抽出し、抽出された素性とベースモデルの素性ベクトルの各素性とを併せた素性の種類数の次元からなる素性ベクトルを、ＮＡＤ個の新聞記事の各々について生成する。生成された素性ベクトルは、モデルパラメータ記憶部３０に記憶される。
【００５４】
追加素性抽出部４２は、モデルパラメータ記憶部３０に記憶されているベースモデルの素性ベクトルと、素性抽出部４１において抽出された素性ベクトルとを比較して、ベースモデルの素性に存在しない追加素性の各々を抽出する。
【００５５】
追加モデルパラメータ生成部４４は、素性抽出部４１で生成された素性ベクトルと同じ次元数のモデルパラメータベクトルを生成する。また、追加モデルパラメータ生成部４４は、追加素性抽出部４２で抽出された各素性に対応する各モデルパラメータからなる追加モデルパラメータベクトルｗＡＤを生成する。なお、モデルパラメータベクトル及び追加モデルパラメータベクトルｗＡＤをゼロベクトルで初期化する。また、追加モデルパラメータ生成部４４によって生成されるモデルパラメータベクトルを、追加モデルのモデルパラメータベクトルとする。なお、追加モデルのモデルパラメータベクトルｗは、モデルパラメータベクトルｗＢＡと追加モデルパラメータベクトルｗＡＤとを組み合わせたものである。
【００５６】
追加モデルパラメータ推定部４６は、追加学習データ受付部４０において受け付けた正解カテゴリの情報が付与されたＮＡＤ個の新聞記事の各々について素性抽出部４１において抽出された素性ベクトルと、追加モデルパラメータ生成部４４において生成された追加モデルのモデルパラメータベクトル及び追加モデルパラメータベクトルｗＡＤと、入力部１０において受け付けたハイパーパラメータＣＢＡ及びＣＡＤと、モデルパラメータ記憶部３０に記憶されているベースモデルのモデルパラメータベクトル−ｗＢＡとに基づいて、上記（３）式及び上記（６）式に従って、追加モデルのモデルパラメータベクトルｗを推定し、モデルパラメータ記憶部３０に記憶すると共に、出力部５０に出力する。モデルパラメータ記憶部３０に記憶されているモデルパラメータベクトルｗＢＡは、推定された追加モデルのモデルパラメータベクトルｗに更新される。また、モデルパラメータ記憶部３０に記憶されているベースモデルの素性ベクトルは、新たに生成された素性ベクトルに更新される。これにより、追加の学習データを更に受け付けた場合であっても、上記と同様に、追加モデルのモデルパラメータベクトルｗを推定することができる。
【００５７】
＜実施の形態に係る分類装置の構成＞
次に、本発明の実施の形態に係る分類装置の構成について説明する。図３に示すように、本発明の実施の形態に係る分類装置２００は、ＣＰＵとＲＡＭと後述する判定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することができる。この分類装置２００は、機能的には図３に示すように入力部１１０と、演算部１２０と、出力部１５０とを備えている。なお、本実施の形態においては、新聞記事のカテゴリ分類について説明する。
【００５８】
入力部１１０は、キーボードなどの入力装置から新聞記事を受け付ける。なお、入力部１１０は、ネットワーク等を介して外部から入力されたものを受け付けるようにしてもよい。
【００５９】
演算部１２０は、素性抽出部１２４、判定部１２６、及びモデルパラメータ記憶部１３０を含んで構成されている。
【００６０】
素性抽出部１２４は、素性抽出部４１と同様に入力部１０において受け付けた新聞記事について、当該新聞記事に存在する素性である単語の各々を抽出し、素性抽出部４１と同様に素性ベクトルを生成する。
【００６１】
判定部１２６は、モデルパラメータ記憶部１３０に記憶されているモデルパラメータ推定装置１００において学習された追加モデルのパラメータベクトルｗと、素性抽出部１２４において生成された素性ベクトルとに基づいて、上記（１）式及び上記（２）式に従って、当該新聞記事のカテゴリを分類し、分類結果を出力部１５０に出力する。
【００６２】
＜実施の形態に係るモデルパラメータ推定装置の作用＞
次に、本発明の実施の形態に係るモデルパラメータ推定装置１００の作用について説明する。図４に示すモデルパラメータ推定処理ルーチンを実行する前に、入力部１０により正解カテゴリ情報が付与されたＮ個の新聞記事を受け付け学習データ記憶部２２に記憶する。次に、ベースモデルのモデルパラメータベクトル−ｗＢＡを推定し、モデルパラメータ記憶部３０に記憶する。そして、入力部１０により追加学習データである正解カテゴリ情報が付与されたＮＡＤ個の新聞記事と、ハイパーパラメータＣＢＡ及びＣＡＤとが入力されると、モデルパラメータ推定装置１００は、図４に示すモデルパラメータ推定処理ルーチンを実行する。
【００６３】
まず、ステップＳ１００では、入力部１０により入力された追加学習データである正解カテゴリの情報が付与されたＮＡＤ個の新聞記事の各々を受け付ける。
【００６４】
次に、ステップＳ１０１では、入力部１０により入力されたハイパーパラメータＣＢＡ及びＣＡＤを受け付ける
【００６５】
次に、ステップＳ１０２では、モデルパラメータ記憶部３０に記憶されているベースモデルの素性ベクトルを読み込む。
【００６６】
次に、ステップＳ１０４では、モデルパラメータ記憶部３０に記憶されているベースモデルのモデルパラメータベクトル−ｗＢＡを読み込む。
【００６７】
次に、ステップＳ１０６では、ステップＳ１００において取得したＮＡＤ個の新聞記事の各々について、当該新聞記事に存在する素性である単語を各々抽出し、抽出された素性とベースモデルの素性ベクトルの各素性とを併せた素性の種類数の次元からなる素性ベクトルを、ＮＡＤ個の新聞記事の各々について生成する。
【００６８】
次に、ステップＳ１０８では、ステップＳ１０２において取得したベースモデルの素性ベクトルと、ステップＳ１０６において取得した素性ベクトルとに基づいて、ベースモデルの素性に含まれない各素性に対応するモデルパラメータからなる追加モデルパラメータベクトルを生成する。
【００６９】
次に、ステップＳ１１０では、ステップＳ１０６において取得した素性ベクトルと同じ次元数のモデルパラメータベクトルを生成する。
【００７０】
次に、ステップＳ１１２では、ステップＳ１００において受け付けたＮＡＤ個の新聞記事の各々についてステップＳ１０６において生成した素性ベクトルと、ステップＳ１１０において取得したモデルパラメータベクトルと、ステップＳ１０８において生成した追加モデルパラメータベクトルｗＡＤと、ステップＳ１０１において受け付けたハイパーパラメータＣＢＡ及びＣＡＤと、ステップＳ１０４において取得したベースモデルのモデルパラメータベクトル−ｗＢＡとに基づいて、追加モデルのモデルパラメータベクトルｗを推定し、モデルパラメータ記憶部３０に記憶すると共に、出力部５０に出力して処理を終了する。モデルパラメータ記憶部３０に記憶されているモデルパラメータベクトルｗＢＡは、推定された追加モデルのモデルパラメータベクトルｗに更新される。また、モデルパラメータ記憶部３０に記憶されているベースモデルの素性ベクトルは、新たに生成された素性ベクトルに更新される。
【００７１】
そして、追加学習データである正解カテゴリ情報が付与されたＮＡＤ個の新聞記事が更に入力された場合には、上記のモデルパラメータ推定処理ルーチンが再度実行される。
【００７２】
＜実施の形態に係る分類装置の作用＞
次に、本発明の実施の形態に係る分類装置２００の作用について説明する。入力部１１０により新聞記事を受け付けると、分類装置２００は、図５に示す判定処理ルーチンを実行する。
【００７３】
まず、ステップＳ２００では、入力部１１０において受け付けた新聞記事を受け付ける。
【００７４】
次に、ステップＳ２０１では、モデルパラメータ記憶部１３０に記憶されているモデルパラメータベクトルｗを読み込む。
【００７５】
次に、ステップＳ２０２では、ステップＳ２００において取得した新聞記事に存在する素性である単語の各々を抽出し、素性ベクトルを生成する。
【００７６】
次に、ステップＳ２０４では、ステップＳ２０１において取得したモデルパラメータベクトルｗと、ステップＳ２０２において生成した素性ベクトルとに基づいて、ステップＳ２００において取得した新聞記事のカテゴリを分類する。
【００７７】
次に、ステップＳ２０６では、ステップＳ２０４において取得した分類結果を出力部１５０へ出力して処理を終了する。
【００７８】
＜実施例＞
図６に示す新聞記事のカテゴリ分類における精度を示す。１９９５年の新聞記事をベース学習データとしてベースモデルを構築、２００５年の新聞記事を追加学習データとして従来の正則化適応と、本実施の形態による方法で追加モデルを構築し、１９９６年と２００６年の新聞記事（それぞれ、テスト１９９６、テスト２００６と呼ぶ）における精度を測定した結果、ベースモデルにおける精度と比較すると、従来法は、追加学習データに近いテスト２００６では高い精度となるが、テスト１９９６では大幅に悪化する。一方、本実施形態による方法は、テスト１９９６の精度をほとんど変化させることなく、テスト２００６の精度を向上させることができる。
【００７９】
以上説明したように、本実施の形態に係るモデルパラメータ推定装置によれば、既存のモデルパラメータへの影響を少なくしたままで、追加データに適応したモデルパラメータを推定することができる。
【００８０】
また、追加学習データに初めて出現した素性に対応するモデルパラメータは大きな変更を許し、ベースモデルに対応するモデルパラメータの変更を最小限にとどめることができ、追加学習データに適合し、かつベースモデルの分類結果との食い違いを最小限にとどめるモデルパラメータを学習することができる。
【００８１】
また、ベースモデルに対応するモデルパラメータの変化を最小限にとどめたまま追加学習データに適応したモデルが学習されることにより、新聞記事のカテゴリ分類の場合、新しい未知文書の分類精度が向上すると共に、今まで正しく分類できた未知文書の変化を最小限にすることができる。
【００８２】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００８３】
具体的には、本実施の形態においては、新聞記事のカテゴリ推定を例として説明したがこの限りではなく、他の分類問題に用いてもよい。
【符号の説明】
【００８４】
１０   入力部
２０   演算部
２２   学習データ記憶部
２４   素性抽出部
２６   モデルパラメータ生成部
２８   モデルパラメータ推定部
３０   モデルパラメータ記憶部
４０   追加学習データ受付部
４１   素性抽出部
４２   追加素性抽出部
４４   追加モデルパラメータ生成部
４６   追加モデルパラメータ推定部
５０   出力部
１００ モデルパラメータ推定装置
１１０ 入力部
１２０ 演算部
１２４ 素性抽出部
１２６ 判定部
１３０ モデルパラメータ記憶部
１５０ 出力部
２００ 分類装置
【図２】
2015038709.tif 000015
【図３】
2015038709.tif 000016
【図４】
2015038709.tif 000017
【図５】
2015038709.tif 000018
【図１】
2015038709.tif 000019
【図６】
2015038709.tif 000020
【図７】
2015038709.tif 000021
【図８】
2015038709.tif 000022
【図９】
2015038709.tif 000023
【図１０】
2015038709.tif 000024