"入力に対する正解が既知の正解データから学習して構築されたベースモデルに、入力に対する正解が未知の複数の未解析データを入力した際の該ベースモデルの最尤出力に対して、前記複数の未解析データから抽出された該未解決データの特徴を表す複数の原素性各々が与える影響を示す重要度を、前記複数の原素性各々について計算する計算手段と、前記計算手段により計算された複数の原素性各々の重要度に基づいて、前記複数の未解析データから抽出された複数の原素性から、前記ベースモデルの最尤出力に対して影響を与える原素性を選択する選択手段と、前記原素性各々の重要度に基づいて、前記選択手段により選択された原素性の集合から、1つ以上の原素性をまとめた縮約素性の集合を生成する生成手段と、を含む縮約素性生成装置。前記計算手段は、前記複数の未解析データを複数の部分集合に分割し、分割した複数の部分集合毎に前記重要度を計算するためのパラメータを算出し、該部分集合各々から抽出された複数の原素性各々と前記パラメータとのペアを生成し、前記ペアに基づいて、前記原素性毎に前記パラメータの値を集計して求めて、前記重要度を計算する請求項1記載の縮約素性生成装置。前記生成手段は、前記縮約素性各々に含まれる原素性の重要度に関する素性を生成し、前記縮約素性の集合に追加する請求項1または請求項2記載の縮約素性生成装置。請求項1~請求項3のいずれか1項記載の縮約素性生成装置と、前記正解データから学習して前記ベースモデルを構築する構築手段と、前記縮約素性生成装置により生成された縮約素性の集合から学習して最終モデルを再構築する再構築手段と、を含むモデル構築装置。計算手段と、選択手段と、生成手段とを含む縮約素性生成装置における縮約素性生成方法であって、前記計算手段は、入力に対する正解が既知の正解データから学習して構築されたベースモデルに、入力に対する正解が未知の複数の未解析データを入力した際の該ベースモデルの最尤出力に対して、前記複数の未解析データから抽出された該未解決データの特徴を表す複数の原素性各々が与える影響を示す重要度を、前記複数の原素性各々について計算し、前記選択手段は、前記計算手段により計算された複数の原素性各々の重要度に基づいて、前記複数の未解析データから抽出された複数の原素性から、前記ベースモデルの最尤出力に対して影響を与える原素性を選択し、前記生成手段は、前記原素性各々の重要度に基づいて、前記選択手段により選択された原素性の集合から、1つ以上の原素性をまとめた縮約素性の集合を生成する縮約素性生成方法。請求項1~請求項3のいずれか1項記載の縮約素性生成装置と、構築手段と、再構築手段とを含むモデル構築装置におけるモデル構築方法であって、前記構築手段は、入力に対する正解が既知の正解データから学習してベースモデルを構築し、前記縮約素性生成装置は、前記縮約素性の集合を生成し、前記再構築手段は、前記縮約素性生成装置により生成された縮約素性の集合から学習して最終モデルを再構築するモデル構築方法。コンピュータを、請求項1~請求項3のいずれか1項記載の縮約素性生成装置を構成する各手段として機能させるための縮約素性生成プログラム。しかしながら、非特許文献1及び2の方法は、特定の問題では効果を発揮する場合も考えられるが、実際に現在これらの方法が、ほとんど用いられていないことを考慮すると、一般的にはそれほど効果は期待できない。また、自然言語処理やバイオインフォマティクスの問題では、前述のようにデータx素性の行列が疎行列になるという観点から、行列分解による方法や、最近傍法に基づくクラスタリング法等は、効果が得られないことが一般的に知られている。つまり、高次元かつ疎な素性空間であるが故に、統計や機械学習の観点でうまく素性を縮約することが困難であり、また、精度向上という効果を得ることが困難である、という問題がある。これは、非特許文献1及び2のような方法の枠組みは、素性数を削減して、全素性を用いる場合と同等の精度を達成するためのものだからである。前述のクラスタリングや素性の次元削減法以外にも、素性選択という観点で様々な取り組みがなされている。ただし、これらの方法は、本来不要な素性をうまく選択して削除することにより、素性集合を縮小することを目的としている。つまり、仮に、不要な素性が存在しなければ、素性の削減には結びつかない方法と言える。これら素性選択の技術も、基本的には、素性数を減らして元と同じ精度を達成することを目的としているため、精度を向上させることは困難な枠組みである、という問題がある。本発明は、上記問題を解決するためになされたもので、一般的な教師あり学習に用いられる素性よりも、コンパクトかつ高精度の縮約素性を生成することができる縮約素性生成装置、方法、及びプログラムを提供することを目的とする。また、学習時の過適合を低減することができるモデル構築装置及び方法を提供することを目的とする。上記目的を達成するために、第1の発明の縮約素性生成装置は、入力に対する正解が既知の正解データから学習して構築されたベースモデルに、入力に対する正解が未知の複数の未解析データを入力した際の該ベースモデルの最尤出力に対して、前記複数の未解析データから抽出された該未解決データの特徴を表す複数の原素性各々が与える影響を示す重要度を、前記複数の原素性各々について計算する計算手段と、前記計算手段により計算された複数の原素性各々の重要度に基づいて、前記複数の未解析データから抽出された複数の原素性から、前記ベースモデルの最尤出力に対して影響を与える原素性を選択する選択手段と、前記原素性各々の重要度に基づいて、前記選択手段により選択された原素性の集合から、1つ以上の原素性をまとめた縮約素性の集合を生成する生成手段と、を含んで構成されている。第1の発明の縮約素性生成装置は、計算手段が、入力に対する正解が既知の正解データから学習して構築されたベースモデルに、入力に対する正解が未知の複数の未解析データを入力した際の該ベースモデルの最尤出力に対して、複数の未解析データから抽出された該未解決データの特徴を表す複数の原素性各々が与える影響を示す重要度を、複数の原素性各々について計算する。そして、選択手段が、計算手段により計算された複数の原素性各々の重要度に基づいて、複数の未解析データから抽出された複数の原素性から、ベースモデルの最尤出力に対して影響を与える原素性を選択し、生成手段が、原素性各々の重要度に基づいて、選択手段により選択された原素性の集合から、1つ以上の原素性をまとめた縮約素性の集合を生成する。このように、原素性がベースモデルの最尤出力に与える影響を示す重要度を原素性毎に計算し、この重要度に基づいて選択された原素性から縮約素性を生成するため、コンパクトかつ精度良く縮約された縮約素性を生成することができる。また、前記計算手段は、前記複数の未解析データを複数の部分集合に分割し、分割した複数の部分集合毎に前記重要度を計算するためのパラメータを算出し、該部分集合各々から抽出された複数の原素性各々と前記パラメータとのペアを生成し、前記ペアに基づいて、前記原素性毎に前記パラメータの値を集計して求めて、前記重要度を計算することができる。これにより、未解決データの量が多い場合でも、効率的に重要度を計算することができる。また、前記生成手段は、前記縮約素性各々に含まれる原素性の重要度に関する素性を生成し、前記縮約素性の集合に追加することができる。原素性自体のみならず、原素性の重要度に関する情報も非常に有用な情報であるため、縮約素性の集合に追加することで、縮約素性の集合の精度がより向上する。また、第2の発明のモデル構築装置は、第1の発明の縮約素性生成装置と、前記正解データから学習して前記ベースモデルを構築する構築手段と、前記縮約素性生成装置により生成された縮約素性の集合から学習して最終モデルを再構築する再構築手段と、を含んで構成されている。このように、コンパクトかつ高精度に生成された縮約素性を用いて最終モデルを再構築することにより、学習時の過適合を低減することができる。また、第3の発明の縮約素性生成方法は、計算手段と、選択手段と、生成手段とを含む縮約素性生成装置における縮約素性生成方法であって、前記計算手段は、入力に対する正解が既知の正解データから学習して構築されたベースモデルに、入力に対する正解が未知の複数の未解析データを入力した際の該ベースモデルの最尤出力に対して、前記複数の未解析データから抽出された該未解決データの特徴を表す複数の原素性各々が与える影響を示す重要度を、前記複数の原素性各々について計算し、前記選択手段は、前記計算手段により計算された複数の原素性各々の重要度に基づいて、前記複数の未解析データから抽出された複数の原素性から、前記ベースモデルの最尤出力に対して影響を与える原素性を選択し、前記生成手段は、前記原素性各々の重要度に基づいて、前記選択手段により選択された原素性の集合から、1つ以上の原素性をまとめた縮約素性の集合を生成する方法である。また、第4の発明のモデル構築方法は、第1の発明の縮約素性生成装置と、構築手段と、再構築手段とを含むモデル構築装置におけるモデル構築方法であって、前記構築手段は、入力に対する正解が既知の正解データから学習してベースモデルを構築し、前記縮約素性生成装置は、前記縮約素性の集合を生成し、前記再構築手段は、前記縮約素性生成装置により生成された縮約素性の集合から学習して最終モデルを再構築する方法である。また、第5の発明の縮約素性生成プログラムは、コンピュータを、第1の発明の縮約素性生成装置を構成する各手段として機能させるためのプログラムである。以上説明したように、本発明の縮約素性生成装置、方法、及びプログラムによれば、原素性がベースモデルの最尤出力に与える影響を示す重要度を原素性毎に計算し、この重要度に基づいて選択された原素性から縮約素性を生成するため、一般的な教師あり学習に用いられる素性よりも、コンパクトかつ高精度の縮約素性を生成することができる、という効果が得られる。また、本発明のモデル構築装置及び方法によれば、コンパクトかつ高精度に生成された縮約素性を用いて最終モデルを再構築することにより、学習時の過適合を低減することができる、という効果が得られる。以下、図面を参照して本発明の実施の形態を詳細に説明する。<概要>まず、本実施の形態の概要について説明する。ここでは、正解の解析結果が付与されていないデータを、正解の解析結果が付与されている正解データと対比した呼び方で、未解析データと呼ぶ。本実施の形態は、大規模な未解析データを利用することを前提とした技術である。自然言語処理やバイオインフォマティクスといった分野の問題では、大規模な未解析データを比較的容易に獲得することができる。例えば、自然言語処理の場合は、近年では、電子化された文書をweb等から容易に獲得することができる。本実施の形態の概要としては、まず、大規模未解析データ上で各素性の重要度を計算する。これは、素性の重要度を計算するという観点では、解きたい問題の正解は不要であるため、限定された量の正解データではなく、比較的容易に獲得可能な大規模な未解析データを用いることで、次元の呪いの影響が軽減された状態で統計量重要度を推定できる。次に、大規模なデータから得られた比較的信頼性の高い統計量重要度を用いて素性空間を再構築する。具体的には、重要度に基づいて素性のクラスタリング及び削除を行い、更に、重要度の値自身を素性の値として活用する。このように再構築された素性空間は、大規模なデータから導出されているため、解きたい問題全体をコンパクトにかつ精度良く表現できている可能性が高い。最後に、再構築した素性空間を使って、通常の正解データを使った教師あり学習によりモデルを学習する。これにより、図1aに示す従来のモデルよりもコンパクトなモデル同図bを構築することができる。<本実施の形態の原理>次に、本実施の形態の原理について説明する。まず、以下の説明で用いる記号について、下記のように定義する。X:可能な全ての入力の集合Y:可能な全ての出力の集合x:任意の一つの入力、つまり、x∈Xの関係が成り立つ。y:任意の一つの出力、つまり、y∈Yの関係が成り立つ。Yx:ある一つのxが与えられた際に得られる可能性のある出力の集合、ただし、Yx⊆Yの関係が成り立つ。fnx、y:学習用素性定義で定義されたn番目の原素性関数。戻り値は実数スカラーである。N:学習用素性定義で定義された原素性または原素性関数の総数wn:n番目のパラメータ。線形モデルの場合には基本的にn番目の素性関数に対する重みに相当する。よってn∈{1,,N}である。hnx、y:m番目の縮約素性関数。戻り値は実数スカラーである。hmx、y=Σfn∈Smfnx、yM:生成される縮約素性または縮約素性関数の総数なお、本実施の形態では、大規模な未解析データ上で各素性の重要度を計算し、重要度に基づいて素性のクラスタリング及び削除を行うことにより、解きたい問題全体をコンパクトにかつ精度良く表現できる素性空間を再構築する。この再構築された素性空間を構成する素性を縮約素性と呼ぶ。ここで、本実施の形態で用いる縮約素性を以下のように定義する。まず、説明を簡単にするため、従来一般的に教師あり学習で用いる素性を、原素性と呼ぶ。学習に利用する際には、複数の素性を利用することから、学習に利用する全ての縮約素性をまとめて縮約素性集合と呼び、また、学習に利用する全ての原素性をまとめて原素性集合と呼ぶ。このとき、縮約素性とは、原素性集合内の一つ以上の原素性で構成される素性とする。形式的には以下のような定義となる。縮約素性集合をH、原素性集合をFとする。また、縮約素性集合内の素性数をM、原素性集合内の素性数をNとする。この時、定義からM≦Nが成り立ち、多くの場合M≪Nとなるように構成する。次に、縮約素性集合内の任意の一つの縮約素性hm∈Hは、原素性集合F内の一つ以上の集合で構成されるとする。つまり、hm=Sm、ただし、Sm⊆Fの関係が成り立つ。ここで、原素性集合内の任意の一つの原素性fn∈Fは、高々一つの縮約素性hmの構成要素にしかならないと仮定する。この仮定は、任意の二つの縮約素性の構成要素に同じ原素性が存在することは決してない事を保証し、かつ、いくつかの原素性はどの縮約素性の構成要素にもならない場合があることを意味している。つまり、任意のmとm’、ただし、m≠m’の時に、Sm∩Sm’=O空集合、及び∪m=1MSm⊆Fが成り立つことを意味する。図2に原素性と縮約素性との関係を示す。次に、縮約素性を利用して生成される縮約素性関数を定義する。一般的に素性関数とは、定義した素性に基づいて定義される関数であり、入力xと出力yとにより値が決定する関数である。素性関数は、一般的にfx,yのような形で表される。この素性関数fx,yの戻り値はスカラー実数である。ここで、原素性に従って定義される素性関数を原素性関数と呼ぶ。また、入力xと出力yとにより値が決定するn番目の原素性に対する原素性関数をfnx,yとする。fnx,yは、入力xと出力yとが与えられたとき、n番目の原素性の値または、n番目の原素性が成立するか否かを表す値を返す関数である。ただし、原素性は全部でN個であるので、n∈{1,,N}である。同様に、入力xと出力yとにより値が決定するm番目の縮約素性に対する縮約素性関数をhmx,yとする。ただし、縮約素性は全部でM個であるので、m∈{1,,M}である。このとき、縮約素性関数の戻り値は、対象となる縮約素性の構成要素となった全ての原素性関数の戻り値の総和と定義する。従って、縮約素性関数hmx,yは、下記1式で表すことができる。このことから、縮約素性関数の値は、原素性関数の値に従って自動的に定義されることを意味し、縮約素性関数用に新たに計算式を定義する必要はないことを意味する。次に、ベースモデルについて定義する。本実施の形態では、学習に用いるモデルは対数線形モデルであると仮定する。線形モデルの判別関数g入力xに対する出力yの尤もらしさを返す関数は、下記2式で定義することができる。ここで、wnはn番目の原素性関数fnx,yに対するモデルパラメータ重みである。つまり、線形モデルでは、入力xが与えられた場合に、出力yの尤もらしさは、全ての原素性関数fnx,yの重み付き和によって評価されることを意味している。また、入力xが与えられた際の最尤出力^yを決定する方法は、判別関数gを用いて、下記3式で表される最大化問題を解くことに帰着する。線形モデルは、分類問題等で用いられる最も簡潔なモデルである一方、多くの実問題で十分な精度が得られることが多く、多くの場面で利用されているモデルである。また、計算が単純な加算及び乗算で行えることから、速度面でも複雑なモデルに対して優位性がある場合が多い。本実施の形態では、ある縮約素性関数を自動的に生成するために、後述する原素性の重要度を計算する。この原素性の重要度の計算に際して、事前に通常の教師あり学習により構築されたモデルを利用する。このモデルを、ここではベースモデルと呼ぶ。ここで述べたように、ベースモデルも対数線形モデルであると仮定する。次に、本実施の形態において、ある縮約素性関数を自動構築する際に計算する原素性の重要度の定義を述べる。まず、関数rx,yを定義する。ある入力xが与えられたときのベースモデルによる最尤出力を^yとする。このとき、関数rx,yは、与られたyがベースモデルによる最尤出力^yと同じ場合、つまり、y=^yの場合には1を返し、それ以外の場合には-1を返す関数とする。つまり、関数rx,yは、ベースモデルに従って戻り値が決定される関数である。次に、-rxを、関数rx,yのxにおける平均とする下記4式。また、rdx,yを、平均-rxからの実際の値rx,yの偏りを表すとする下記5式。次に、下記6式及び7式に示すように、VDfn及びVD-fnを定義する。また、Dを未解析データの集合とする。このとき、各原素性関数fnの重要度を下記9式で定義する。ここで、VDfnは、ある入力xが与えられた際にベースモデルが選択した最尤出力^yに対し原素性関数fnx,yの値がどの程度貢献しているかを未解析データD内の全ての入力データで評価した値を意味する。同様に、VD-fnはベースモデルが選択しなかった出力に対して原素性関数fnx,yの値がどの程度貢献しているかを未解析データD内の全ての入力データで評価した値を意味する。つまり、原素性重要度VDfnの意味は、以下のように解釈できる。|VDfn|が相対的に大きい値の場合には、原素性関数fnx,yは、ベースモデルの最尤出力の決定の際に大きな影響を与えているとみなすことができる。よって、原素性fnは、重要な素性であると推定できる。逆に、|VDfn|が相対的に小さい値の場合には、原素性関数fnx,yは、ベースモデルが最尤出力を決定する際にほとんど影響を与えないとみなすことができる。よって、原素性fnは、ほぼ意味のない素性であると推定できる。このような視点から、VDfnは原素性の重要度を表現していると言える。次に、精度の良い縮約素性を生成するために、原素性重要度を計算する際に、信頼性の低い値の正則化、及び、重要度の離散化という二つの要素を取り入れる。まず一つ目の正則化に関しては、下記10式に示すように、VDfnをVDfnに変更することで実施する。ここで、Cは正の実数であり、正則化パラメータとする。この時の注意点として、VDfn=VDfn-VD-fn=Rn/Fnが成り立つ点である。つまり、VDfnとの違いは、単にCを導入しただけであり、C=0のときVDfn=VD’fnとなる。正則化パラメータにより、Rnが小さいときには大きく値が0方向に圧縮される操作となる。特に、|Rn|≦Cの時、VD’fn=0となる。次に、原素性重要度の離散化について述べる。まず、下記12式に示す補助関数を定義する。次に、整数空間をNN={,-2,-1,0,1,2,}を考える。また、δを正の実数とし、整数空間Nに対して、各整数をスケーリングする値として導入する。ここでは、離散空間N/δを、整数空間の各整数をδによってスケーリングした離散空間として定義する。つまり、N/δ={,-2/δ,-1/δ,0,1/δ,2/δ,}である。このとき、実数値VD’fnの離散空間N/δ内で最も近い上限及び下限の値を、下記14式に示すように定義する。そして、最終的に下記15式を用いて原素性の重要度を離散化する。つまり、最終的にunがn番目の原素性の重要度の値となる。なお、本実施の形態の原素性重要度計算は、下記16式に示す最適化問題を解くことと等価である。ここで、nは、16式に対するunの最適解を表す。また、u={un}n=1Nとする。この式から、解空間がN/δで定義される離散空間であるという条件下で、各素性毎に、未解析データD上でのrdとunとの間の最小二乗誤差を最小化する問題と解釈できる。ここで、制約である各パラメータの制約であるun∈N/δを考えない場合は、16式は、凸最適化問題となる。凸最適化問題では、勾配が0になる点が大域的最適解となることが保証される。ここでは、下記17式に示す最小化したい目的関数に対して、unの偏微分は下記18式となる。ここで、∂Uu|D/∂un=0とおけば、VD’fnが解となることがわかる。また、離散化制約を満たす解は、10式により得られる。つまり16式の解は、15式により得ることができる。<システム構成>次に、本発明の縮約組成生成装置を適用したモデル構築装置を例にして、本実施の形態を説明する。本実施の形態のモデル構築装置10は、CPUCentralProcessingUnitと、RAMRandomAccessMemoryと、後述する縮約組成関数集合生成処理ルーチンを含むモデル構築処理ルーチンを実行するためのプログラムを記憶したROMReadOnlyMemoryとを備えたコンピュータで構成されている。このコンピュータは、機能的には、図3に示すように、ベースモデル構築部12と、縮約素性関数集合生成部14と、モデル再構築部16とを含んだ構成で表すことができる。ベースモデル構築部12は、正解データ20を入力として、周知の教師あり学習により対象とする問題のベースモデル22を構築学習する。ここで、入力される正解データ20は、対象とする問題に応じて人手により定義したモデル定義及び原素性関数集合定義である。具体的には、ベースモデル構築部12は、従来の教師あり学習によるモデル構築処理を実施する。教師あり学習の方法としては、解きたい問題に合わせて様々な方法を用いることができる。例えば、スパムフィルタのように、スパムかそうでないかという二つのクラスに分類したいような問題では、SupportVectorMachine参考文献:VVapnikTheNatureofStatisticalLearningTheorySpringVerlagNewYork1995参照等の二クラス分類器用の学習法を用いることができる。また、分類したいクラスの種類が二つ以上の場合は、多クラスロジスティック回帰モデル等を用いて教師あり学習が行われる。自然言語処理分野の係り受け解析等では、条件付確率場参考文献:JLaffertyAMcCallumandFPereiraConditionalRandomFieldsProbabilisticModelsforSegmentingandLabelingSequenceDataInProcofICML2001pages282-2892001といった構造予測器用のモデルを用いて学習することができる。ベースモデル構築部12により学習されたベースモデル22は、モデル定義及び原素性関数集合定義を含む。縮約素性関数集合生成部14は、大量の未解析データ24と、ベースモデル構築部12の出力であるベースモデル22とを用いて、縮約素性関数集合の定義縮約素性関数集合定義26を生成する。この縮約素性関数集合生成部14が、本発明の縮約素性生成装置の一例である。モデル再構築部16は、正解データ20と、縮約素性関数集合生成部14で生成した縮約素性関数集合定義26とを用いて、周知の教師あり学習アルゴリズムを用いた教師あり学習により、対象とする問題のモデルを再構築する。なお、ここで再構築されるモデルを、ベースモデルと区別して、最終モデルと呼ぶ。ここで、縮約素性関数集合生成部14で得られる縮約素性関数集合定義26は、原素性関数群定義から無駄を省いた縮約形を自動で生成したものに相当するため、性質としては、原素性関数集合定義と同じとなる。よってモデル再構築部16の処理は、本質的にベースモデル構築部12と同様に、従来の教師あり学習によるモデル構築の処理に相当する。つまり、ベースモデル構築部12及びモデル再構築部16の処理は、従来技術をそのまま用いることができる。すなわち、本実施の形態の主要部は、本発明の縮約素性生成装置を適用した縮約素性関数集合生成部14にある。つまり、縮約素性関数集合生成部14は、教師あり学習で一般的に用いる原素性集合から、教師あり学習に適した縮約素性関数集合定義26を生成する。以下、縮約素性関数集合生成部14について、より具体的に説明する。図4に示すように、縮約素性関数集合生成部14は、原素性重要度計算部141と、原素性選択部142と、原素性融合部143と、原素性重要度追加部144とを含んだ構成で表すことができる。なお、原素性融合部143及び原素性重要度追加部144が、本発明の生成手段の一例である。原素性重要度計算部141は、入力されたベースモデル22に含まれる各原素性関数について、原素性重要度unを計算する。未解析データ24の量が少ない場合には、各未解析データ24毎に15式により、原素性重要度unを直接計算することができる。ただし、一般的に未解析データ24の量は非常に多くなることから、本実施の形態では、分散並列計算モデルによる効率的な計算方法について説明する。ここでは、MapReduceモデル参考文献:JDeanandSGhemawat2008MapReduceSimplifiedDataProcessingonLargeClustersCommunACM51107-113を応用した計算方法を示す。原素性重要度計算部141は、図5に示すように、未解析データ分割部141aと、Key-valueペア生成部141b-1~Pと、Key-valueペア集計部141c-1~Rと、原素性重要度出力部141dとを含んだ構成で表すことができる。なお、Key-valueペア生成部141b-1~Pの各々、及びKey-valueペア集計部141c-1~Rの各々をそれぞれ区別することなく説明する場合には、単に、Key-valueペア生成部141b、及びKey-valueペア集計部141cと表記する。未解析データ分割部141aは、未解析データ24をP個の部分集合に分割し、分割した未解析データ24の部分集合を、P個のKey-valueペア生成部141b-1~Pへそれぞれ出力する。Key-valueペア生成部141bは、受け取った未解析データ24の部分集合に対し、ベースモデル22を用いて、Tn,Rn,Fnを計算する。ここで、Tnは13式に示す値であり、12式に用いられている原素性重要度を離散化する際に計算する補助関数の値である。また、Rnは11式、Fnは8式に示す値であり、10式で用いられている原素性重要度そのものを計算するための値である。そして、各原素性をkey、各未解析データの部分集合により計算されたTn,Rn,Fnをvalueとするkey-valueペアの系列を生成し、生成したkey-valueペアの系列を、R個のKey-valueペア集計部141c-1~Rへ出力する。Key-valueペア集計部141cは、P個のKey-valueペア生成部141bから取得したkey-valueペアを用いて、原素性key毎にvalueの値を集計し、原素性毎のTn,Rn,Fn値を求める。そして、15式を用いて、原素性fnに対する離散化かつ正則化された原素性重要度unを計算する。ここで、C及びδの値は、予め設定しておくものとする。原素性重要度出力部141dは、Key-valueペア集計部141cで計算された原素性重要度unを出力する。原素性選択部142は、原素性重要度計算部141で計算された原素性重要度unに基づいて、不必要と考えられる原素性を排除する。具体的には、15式により重要度を離散化した値unに対して、un=0を除いた重要度を離散化した値の集合を出力する。これは、un=0となった原素性fnを不必要と判定し、原素性の集合から排除することに相当する。原素性選択部142の処理は、原素性の重要度が0ということは、その原素性はモデルの出力決定に影響を与えないであろうと推定されたことを意味するので、これらの素性を縮約素性に含めないための処理である。原素性融合部143は、原素性選択部142で求めた不必要な原素性を排除した原素性の重要度を離散化した値unの集合を用いて、複数の原素性を一つの縮約素性として融合する。簡単な処理の例として、計算した重要度unに基づき、同じ重要度となった原素性を一つの縮約素性としてまとめ上げることができる。各unは離散値であるため、いくつか同じ値である場合が想定される。よって、値の集合の要素数は必ずN以下となる。ここでは、値の集合の要素数をMとする。次に、Smを、m番目の原素性重要度の値となった原素性fnの集合とする。このとき、m番目の縮約素性関数hmx,yを、Sm内の原素性関数fnx,yの総和、すなわち、1式により計算する。原素性重要度追加部144は、原素性融合部143で求めた縮約素性に素性重要度unに関する情報を追加する。計算した素性重要度unの値自体も非常に有効な情報源であるため、縮約素性に利用するものである。ここでは、M1番目の縮約素性として、下記20式で定義される素性φx,yを追加する。ただし、umは、m番目に対応つけられた原素性重要度である。ここでは、原素性融合部143において、原素性重要度が同じ値の原素性を融合して縮約素性としているため、必然的にm番目に対応つけられた原素性重要度は一つの値となる。これは、全ての縮約素性を重要度の重み付きで総和を取ったものである。よって、縮約素性関数の集合は、{h1x,y,,hMx,y,φx,y}となる。ただし、φx,yの計算量は無視できる。φx,yを一つの素性として線形モデルで用いる際には、線形モデルの判別関数gx,yは、下記21式で計算することができる。ここで、学習が終わった後には、{wm}m=1M1は固定した値となるため、wm‘は事前に計算することができる。この結果、22式に示すように、φが消えて、hmのみに依存した線形モデルと同じ形式で表現することができる。つまり、φを取り入れても、取り入れなくても、変数の数はMとして計算できるため、φを導入しても計算時間は増大しない。<モデル構築装置の作用>次に、本実施の形態に係るモデル構築装置10の作用について説明する。正解データとして、対象とする問題に応じて人手により定義したモデル定義及び原素性関数集合定義が所定の記憶領域に記憶され、モデル構築装置10において、図6に示すモデル学習処理ルーチンが実行される。ステップ100で、正解データ20を入力として、周知の教師あり学習により対象とする問題のベースモデル22を構築学習する。次に、ステップ200で、後述する縮約素性関数集合生成処理ルーチンを実行して、縮約素性関数集合定義26を生成する。次に、ステップ300で、正解データ20と、上記ステップ200で生成した縮約素性関数集合定義26とを用いて、周知の教師あり学習アルゴリズムを用いた教師あり学習により、対象とする問題の最終モデル28を再構築して、処理を終了する。次に、図7及び図8を参照して、縮約素性関数生成処理ルーチンについて説明する。ステップ202で、MapReduceモデルを用いて、入力されたベースモデル22に含まれる各原素性関数について、原素性重要度unを計算する。具体的には、図9に示すように、未解析データ24をP個の部分集合に分割し、分割した未解析データ24の部分集合に対し、ベースモデル22を用いて、13式、11式、及び8式により、Tn,Rn,Fnを計算する。そして、各原素性をkey、各未解析データの部分集合により計算されたTn,Rn,Fnをvalueとするkey-valueペアの系列を生成する。そして、生成したkey-valueペアを用いて、原素性key毎にvalueの値を集計し、原素性毎のTn,Rn,Fn値を求め、15式を用いて、原素性fnに対する離散化かつ正則化された原素性重要度unを計算する。次に、ステップ204で、上記ステップ202で計算された原素性重要度unに基づいて、un=0となった原素性fnを不必要と判定し、原素性の集合から排除し、un≠0となった原素性fnを、縮約素性に含める原素性として選択する。次に、ステップ206で、上記ステップ204で選択した原素性の重要度を離散化した値unの集合を用いて、計算した重要度unに基づき、同じ重要度となった原素性を一つの縮約素性として融合し、縮約素性の集合のm番目の縮約素性関数hmx,yを1式により計算する。次に、ステップ208で、上記ステップ206で計算した縮約素性に、20式に示す原素性重要度unに関する素性φx,yを、M1番目の縮約素性として追加し、縮約素性関数の集合{h1x,y,,hMx,y,φx,y}を出力して、リターンする。以上の処理により、原素性の定義から、縮約素性関数の定義が自動的に構築される。縮約素性関数の定義とは、原素性関数の定義からどのようにして縮約素性を構成するかの情報全てを意味し、縮約素性の個数、各縮約素性を構成する原素性集合Smの定義、及び各縮約素性対応する原素性の重要度umとなる。以上説明したように、本実施の形態のモデル構築装置によれば、原素性がベースモデルの最尤出力に与える影響に基づいて、原素性毎の重要度を計算し、この重要度に基づいて選択された原素性を融合して縮約素性を生成するため、正解データを用いて教師あり学習する際に一般的に用いる素性集合よりもコンパクトかつ高精度の縮約素性集合を生成することができる。これにより、教師あり学習時に、過適合の起こる可能性を大幅に削減することができる。また、構築するモデルとして線形分類器を用いる場合には、パラメータ数は素性数と一致するため、パラメータ数も大幅に削減することができ、結果として必要な主記憶メモリ量も大幅に削減することができる。更に、メモリ量が削減できるということは、実行速度も向上可能である。また、大規模未解析データ上でしか観測されない素性を間接的に利用することが可能となり、汎化性能も大幅に向上させることができる。このように、一般的には、トレードオフの関係にある、速度-精度や、速度-メモリ量といった要素を同時に向上させることができる。実際に、自然言語処理分野の固有表現抽出及び係り受け解析に本実施の形態のモデル構築装置を適用した場合の効果を図10及び図11に示す。また、本発明は、自然言語処理やバイオインフォマティクスの研究分野の分類問題に属する問題で教師あり学習を行うような設定で特に高い効果が得られることを意図して考案された発明である。具体的な利用例として、文書を分類する文書分類問題、文文書に対して言語的な構造を解析する問題、DNA塩基配列に遺伝子領域とアミノ酸対応を示すラベルを付与する問題、たんぱく質の2次構造予測問題等が考えられる図12及び図13。また、上述のモデル構築装置は、内部にコンピュータシステムを有しているが、コンピュータシステムは、WWWシステムを利用している場合であれば、ホームページ提供環境あるいは表示環境も含むものとする。また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。本発明を自然言語処理分野での文書分類問題に適用した実施例について説明する。まず、計算機による自動文書分類システムを想定する。自動文書分類システムでは、入力が文書、出力が文書に付与すべきクラスとなる。出力である文書に付与すべきクラスとは、例えば、カテゴリへの分類問題を想定すると、書籍の体系のように科学経済政治スポーツといったものがクラスとなる。また、スパム分類のような文書分類問題を想定すると、出力クラスは、スパム文書か通常の文書の二クラスになる。それ以外にも、任意の商品に対するアンケートからの評判分析をするような文書分類問題を想定する場合には、例えば、出力クラスは5段階の非常に良い良い普通悪い非常に悪いのようなものになる。図14に典型的な自動文書分類システムの例を示す。次に、このような文書分類システムを構築する方法について述べる。近年では、このような問題は正解データを準備し、そこから教師あり学習により分類モデルを構築する方法が主流である。このとき、正解データとは、構築したい自動文書分類システムの入力と出力とのペアに相当するデータである。教師あり学習とは、この正解データから、演繹的に自動分類モデルを学習する方法である。次に、文書分類問題を教師あり学習によりモデル構築する際に用いる素性関数について述べる。文書分類問題の例では、文書中に出現する単語を原素性として用いる方法が一般的である。これは、文書を構成する要素が単語であること、及びそれぞれの単語が問題を説明する大きな要素となるからである。ただし、この場合、原素性の数は、単語数となるため、例えば、数万や数百万といった非常に大きな数となる。ここで、単語が{F1,,FN}とN個存在する場合、n番目の素性関数、例えば、下記24式に示すようなものが考えられる。また、下記25式に示すように、単純に単語が出現したか否かを0と1とで表現する二値素性関数としてもよい。ここでは、この素性関数を例として以下の説明を述べる。文書分類システムとしては、入力としてある文書xが与えられた場合に、推定した出力クラスyを選択する。ここでは、自動文書分類システムのモデルとして、2式で示した線形分類モデルを用いる。つまり、定義した素性関数及びその重みの線形和が最も大きくなるクラスが出力として選択される。線形モデルを教師あり学習により構築することは、線形モデルのモデルパラメータであるwnの値を決定することに相当する。これには、正解データを利用する教師あり学習により値を決定する。また、学習法としては、例えば、確率モデル対数線形モデルによる尤度最大化や、線形モデルによるマージン最大化に基づくモデルパラメータ推定法を用いる。学習が終わり、モデルパラメータが決定したあと、縮約素性関数の定義を生成する。文書分類で、素性に単語を利用している場合には、単語のクラスタリングをすることに近い処理になる。つまり、重要度が同じぐらいになる単語を一つに融合する処理である。図14及び15に原素性関数と縮約素性関数とを用いた際の処理の違いを示す。最後に、生成された縮約素性関数定義に従って素性関数を生成し、それを用いて通常の教師あり学習アルゴリズムを用いてモデルパラメータを再推定する。"