(57)【要約】【課題】  学習データから不要なデータを取り除いて精度を向上させる。【解決手段】  素性取得部２は、学習データ保持部１に保持されるデータや、システムに投入される評価データから、機械学習を行なう際に用いる素性情報を抽出する。機械学習部３は、学習データ保持部１に保持されている各学習データの評価と、素性取得部２から得られた各データの素性情報を基に、素性とその評価の間の対応関係を学習する。データ選択部４は、機械学習部３から得られる学習結果に基づいて、学習データ保持部１に保持されている学習データの候補の中から機械学習に不適切な学習データを削除する。【選択図】  図１
2005181928.tif 000002
【特許請求の範囲】
【請求項１】
データの評価があらかじめ付与されている教師ありの機械学習を行なう機械学習システムであって、
機械学習を行なうための学習データの候補を評価とともに保持する学習データ保持部と、
前記学習データ保持部に保持されるデータから、機械学習を行なう際に用いる素性情報を抽出する素性取得部と、
前記学習データ保持部に保持されている各学習データの評価と、前記素性取得部から得られた各データの素性情報を基に、素性とその評価の間の対応関係を学習する機械学習部と、
前記機械学習部から得られる学習結果に基づいて、前記学習データ保持部に保持されている学習データの候補の中から機械学習に不適切な学習データを削除する学習データ選択部と、
を具備することを特徴とする機械学習システム。
【請求項２】
前記学習データ保持部は、自然言語文からなるテキスト・データを保持し、
前記素性取得部は、形態素解析処理又は構文解析処理により学習データから素性情報を取得する、
ことを特徴とする請求項１に記載の機械学習システム。
【請求項３】
前記機械学習部は、ベクトル空間法に基づいてテキスト・データの素性と評価の間の対応規則を計算し、
前記学習データ選択部は、ベクトル間の内積の値に基づいて不適切なデータを削除する、
ことを特徴とする請求項２に記載の機械学習システム。
【請求項４】
前記機械学習部は、Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅに基づいてテキスト・データの素性と評価の間の対応規則を計算し、
前記学習データ選択部は、Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅの出力するベクトル評価値に基づいて不適切なデータを削除する、
ことを特徴とする請求項２に記載の機械学習システム。
【請求項５】
前記機械学習部が出力する複数の結果に対して、複数の結果を提示及び選択し、機械学習結果として用いる、
ことを特徴とする請求項１に記載の機械学習システム。
【請求項６】
あらかじめ評価とともに保持されている学習データの候補を用いて教師ありの機械学習を行なう機械学習方法であって、
学習データから機械学習を行なう際に用いる素性情報を抽出する素性取得ステップと、
各学習データの評価と、前記素性取得ステップにおいて得られた各データの素性情報を基に、素性とその評価の間の対応関係を学習する機械学習ステップと、
前記機械学習ステップにおいて得られる学習結果に基づいて、学習データの候補の中から機械学習に不適切な学習データを削除する学習データ選択ステップと、
選択された学習データを用いて評価データの評価を行なう評価ステップと、
を具備することを特徴とする機械学習方法。
【請求項７】
前記学習データは自然言語文からなるテキスト・データであり、
前記素性取得ステップでは、形態素解析処理又は構文解析処理により学習データから素性情報を取得する、
ことを特徴とする請求項６に記載の機械学習方法。
【請求項８】
前記機械学習ステップでは、ベクトル空間法に基づいてテキスト・データの素性と評価の間の対応規則を計算し、
前記学習データ選択ステップでは、ベクトル間の内積の値に基づいて不適切なデータを削除する、
ことを特徴とする請求項７に記載の機械学習方法。
【請求項９】
前記機械学習ステップでは、Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅに基づいてテキスト・データの素性と評価の間の対応規則を計算し、
前記学習データ選択ステップでは、Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅの出力するベクトル評価値に基づいて不適切なデータを削除する、
ことを特徴とする請求項７に記載の機械学習方法。
【請求項１０】
前記機械学習ステップにおいて複数の結果に対して、複数の結果を提示及び選択し、機械学習結果として用いる、
ことを特徴とする請求項６に記載の機械学習方法。
【請求項１１】
あらかじめ評価とともに保持されている学習データの候補を用いて教師ありの機械学習を行なうための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
学習データから機械学習を行なう際に用いる素性情報を抽出する素性取得ステップと、
各学習データの評価と、前記素性取得ステップにおいて得られた各データの素性情報を基に、素性とその評価の間の対応関係を学習する機械学習ステップと、
前記機械学習ステップにおいて得られる学習結果に基づいて、学習データの候補の中から機械学習に不適切な学習データを削除する学習データ選択ステップと、
選択された学習データを用いて評価データの評価を行なう評価ステップと、
を具備することを特徴とするコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、学習データを入力とし、統計処理手法を用いることによって、データの特徴を説明するための規則を出力する機械学習システム及び機械学習方法、並びにコンピュータ・プログラムに係り、特に、学習データ中の各データに、データの評価があらかじめ（人手によって）付与されている教師ありの機械学習を行なう機械学習システム及び機械学習方法、並びにコンピュータ・プログラムに関する。
【０００２】
さらに詳しくは、本発明は、教師あり機械学習において、学習データから不要なデータを取り除くことによって精度を向上させる機械学習システム及び機械学習方法、並びにコンピュータ・プログラムに係り、特に、人手を介さずに、評価の付与された学習データから学習に不適切なデータを削除する機械学習システム及び機械学習方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００３】
昨今の情報処理技術の発展と普及とも相俟って、産業活動や日常生活におけるさまざまな処理や作業の自動化が進められている。ここで、機械を自動化するには、さまざまなパラメータを決定する必要がある。このようなパラメータを機械自身で決定するために、いわゆる「機械学習」が導入されている。
【０００４】
機械学習では、学習データを入力とし、統計処理手法を用いることによって、データの特徴を説明するための規則を出力する。例えば、機械自身がある動作を行なったときに得られた結果を学習データとして入力してこれを統計的に評価し、その評価を自分自身の行動決定パラメータに反映させる。
【０００５】
機械自身が自分で評価できない場合には、「教師あり学習」と呼ばれる方法により、人間が期待する解を機械に与え、その解に至るように学習のパラメータを調整する。これに対し、自分で評価することを「教師なし学習」と呼ぶ。教師あり学習として、ニューラル・ネットワークなどを利用した処理方法が挙げられる。また、教師なし学習として、ＥＭ（ｅｘｐｅｃｔａｔｉｏｎ  ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムなどを利用した処理方法が挙げられる。
【０００６】
前者の教師あり機械学習では、学習データ中の各データに、データの評価があらかじめ（人手によって）付与されている。学習データ中の各データの特徴（以下、「素性」とも呼ぶ）とその評価の間の対応関係（対応規則）を学習することによって、非学習データ（テスト・データ）が与えられたときにその評価を予測することが可能となる。
【０００７】
現在、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ（ＳＶＭ）や、Ｍａｘｉｍｕｍ Ｅｎｔｏｒｐｙ（ＭＥ）などさまざまな教師あり機械学習手法が提案され、自然言語処理や生物情報学などのさまざまな分野で実用的に使用されている（例えば、非特許文献１を参照のこと）。
【０００８】
ここで、教師あり機械学習において、学習データから不要なデータを取り除くことによって精度を向上させることが知られている。例えば、異常（不正）であるか否かがわかっていないデータ（教師なしデータ）を基に、異常データを特徴付けるルールを生成し、さらに得られたルールを用いて効率よく異常なデータを検出することができる（例えば、特許文献１を参照のこと）。すなわち、データ集合内にある異常なデータを特徴付けるルールを生成する外れ値検出するために、異常であることの度合いを示す外れ値度を算出し、かつ外れ値度に基づいてサンプリングすることにより、異常なデータであるか否かを示すラベルを付与した各データの集合に基づく教師あり学習により、異常なデータを特徴付けるルールを生成する教師あり学習部を備え、効率よく異常なデータを検出することができる。
【０００９】
【特許文献１】特開２００３−５９７０号公報
【非特許文献１】Ｆａｂｒｉｚｉｏ Ｓｅｂａｓｔｉａｎｉ著“Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ ｉｎ Ａｕｔｏｍａｔｅｄ Ｔｅｘｔ Ｃａｔｅｇｏｒｉｚａｔｉｏｎ”（ＡＣＭ Ｃｏｍｐｕｒｔｉｎｇ Ｓｕｒｖｅｙｓ Ｖｏｌ．３４， Ｎｏ．１，ｐｐ．１−４７，２００２）
【発明の開示】
【発明が解決しようとする課題】
【００１０】
従来の教師あり機械学習では、学習データを絶対の存在として捉えていた。すなわち、学習データ中の各データが持つ評価は、人手によって与えられたものであるため間違いがなく、完全に信頼できるものであると仮定されている。
【００１１】
しかしながら、実際には、（１）人手による評価の付与の際に人為的なミスが生じる可能性は十分にある。また、（２）評価の判断が難しく、人（評価者）によって異なる評価を学習データに付与してしまうことも多い。さらに、評価の判断が容易な場合であっても、（３）その学習データの特徴（素性）がたまたま評価と食い違う性質を持っている場合には、データの特徴とその評価の間の対応関係を学習するためのデータとして不適切なものが学習データに紛れ込んでしまうことになる。
【００１２】
上記（１）並びに（２）の問題点に関しては、通常、複数の評価者が同じ学習データにそれぞれ評価を付与しそれらを比較することによって、ミスをチェックし評価の判断の揺らぎを最小化するという方法をとる。しかしながら、複数の評価者による評価付与は、学習データが大きくなればなるほど多大な工数を必要とする作業となり、また、上記（３）の問題点を解決するものでもない。
【００１３】
また、特許文献１は、教師あり機械学習を用いて外れ値データを取り除く技術であるが、素性と評価の間の齟齬に関する上記（２）及び（３）の問題を解決するものではない。
【００１４】
本発明は、上述したような技術的課題を勘案したものであり、その主な目的は、学習データ中の各データに、データの評価があらかじめ（人手によって）付与されている教師ありの機械学習を好適に行なうことができる、優れた機械学習システム及び機械学習方法、並びにコンピュータ・プログラムを提供することにある。
【００１５】
本発明のさらなる目的は、教師あり機械学習において、学習データから不要なデータを取り除くことによって精度を向上させることができる、優れた機械学習システム及び機械学習方法、並びにコンピュータ・プログラムを提供することにある。
【００１６】
本発明のさらなる目的は、人手を介さずに、評価の付与された学習データから学習に不適切なデータを削除することができる、優れた機械学習システム及び機械学習方法、並びにコンピュータ・プログラムを提供することにある。
【課題を解決するための手段】
【００１７】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、データの評価があらかじめ付与されている教師ありの機械学習を行なう機械学習システムであって、機械学習を行なうための学習データの候補を評価とともに保持する学習データ保持部と、前記学習データ保持部に保持されるデータから機械学習を行なう際に用いる素性情報を抽出する素性取得部と、前記学習データ保持部に保持されている各学習データの評価と前記素性取得部から得られた各データの素性情報を基に素性とその評価の間の対応関係を学習する機械学習部と、前記機械学習部から得られる学習結果に基づいて前記学習データ保持部に保持されている学習データの候補の中から機械学習に不適切な学習データを削除する学習データ選択部とを具備することを特徴とする機械学習システムである。
【００１８】
本発明に係る機械学習システムでは、一旦すべての学習データを用いて機械学習を実施し、得られた学習結果と矛盾するデータを学習データ中から削除する。これによって、人手を介さずに学習データを精査することが可能となり、上記の（１）、（２）、並びに（３）の各技術的課題を解決することができる。
【００１９】
図１には、本発明に係る機械学習システムの機能構成を模式的に示している。図示の機械学習システムは、学習データ保持部１と、素性取得部２と、機械学習部３と、データ選択部４を備えている。
【００２０】
学習データ保持部１は、機械学習を行なうための学習データの候補を評価とともに保持している。
【００２１】
素性取得部２は、学習データ保持部１に保持されるデータや、システムに投入される評価データから、機械学習を行なう際に用いる素性情報を抽出する。
【００２２】
ここで、学習データや評価データは、例えば、自然言語文からなるテキスト・データで構成される。この場合、素性取得部２は、形態素解析処理又は構文解析処理により学習データから素性情報を取得する。
【００２３】
また、機械学習部３は、学習データ保持部１に保持されている各学習データの評価と、素性取得部２から得られた各データの素性情報を基に、素性とその評価の間の対応関係を学習する。
【００２４】
データ選択部４は、機械学習部３から得られる学習結果に基づいて、学習データ保持部１に保持されている学習データの候補の中から機械学習に不適切な学習データを削除する。
【００２５】
ここで、機械学習部３は、ベクトル空間法に基づいてテキスト・データの素性と評価の間の対応規則を計算し、学習データ選択部１は、ベクトル間の内積の値に基づいて不適切なデータを削除するようにしてもよい。
【００２６】
ここで言うベクトル空間法とは、全テキスト・データに含まれる全単語のうち出現頻度の多い所定数のものを「特徴表現語」として抽出し、各単語と特徴表現語が共起（同じテキスト・データで出現）する回数を共起行列として表した単語ベクトルを生成し、次いで、対象とするテキスト・データに含まれる全単語の単語ベクトルの総和を正規化した文書ベクトルを生成し、評価対象となるテキスト・データについても同様の評価文書ベクトルを生成し、各分類の文書ベクトルと評価文書ベクトルとの内積により、評価対象のテキスト・データを分類することができる。
【００２７】
あるいは、機械学習部３は、Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅに基づいてテキスト・データの素性と評価の間の対応規則を計算し、学習データ選択部４は、Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅの出力するベクトル評価値に基づいて不適切なデータを削除するようにしてもよい。Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅは、ノンパラメトリックなパターン分類器の１つであり、学習の最適解として求められた分離超平面による線形識別を行ない、学習資料を線形分離することが不適切な場合には学習資料を元のパターン空間からより高次のパターン空間に非線形写像し高次元空間で分離超平面を構築し線形識別を行なうことができる。
【００２８】
このようにして、すべての学習データを用いて機械学習を実施し、得られた学習結果と矛盾するデータを学習データ中から削除した後、評価データがシステムに投入されると、素性取得部２は、形態素解析や構文解析などの処理を施し、評価データから機械学習を行なう際に用いる素性情報を抽出する。そして、機械学習部３は、評価データから抽出された素性とその評価の間の対応関係に基づいて、評価データの評価を行なう。
【００２９】
また、本発明の第２の側面は、あらかじめ評価とともに保持されている学習データの候補を用いて教師ありの機械学習を行なうための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
学習データから機械学習を行なう際に用いる素性情報を抽出する素性取得ステップと、
各学習データの評価と、前記素性取得ステップにおいて得られた各データの素性情報を基に、素性とその評価の間の対応関係を学習する機械学習ステップと、
前記機械学習ステップにおいて得られる学習結果に基づいて、学習データの候補の中から機械学習に不適切な学習データを削除する学習データ選択ステップと、
選択された学習データを用いて評価データの評価を行なう評価ステップと、
を具備することを特徴とするコンピュータ・プログラムである。
【００３０】
本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第３の側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１の側面に係る機械学習システムと同様の作用効果を得ることができる。
【発明の効果】
【００３１】
本発明によれば、学習データ中の各データに、データの評価があらかじめ（人手によって）付与されている教師ありの機械学習を好適に行なうことができる、優れた機械学習システム及び機械学習方法、並びにコンピュータ・プログラムを提供することができる。
【００３２】
また、本発明によれば、教師あり機械学習において、学習データから不要なデータを取り除くことによって精度を向上させることができる、優れた機械学習システム及び機械学習方法、並びにコンピュータ・プログラムを提供することができる。
【００３３】
また、本発明によれば、人手を介さずに、評価の付与された学習データから学習に不適切なデータを削除することができる、優れた機械学習システム及び機械学習方法、並びにコンピュータ・プログラムを提供することができる。
【００３４】
本発明によれば、学習データ中の、人為的評価ミスによる悪性データや、素性と評価の間の対応規則を得るために不適切なデータを削除することができる。人手、あるいは、辞書知識などのいかなる補助も必要せずに、機械学習で用いる学習データの質を向上させることが可能であり、より精度の高い機械学習を実現することができる。
【００３５】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【発明を実施するための最良の形態】
【００３６】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００３７】
図２には、本発明の一実施形態に係る機械学習システムの機能構成を模式的に示している。図示の機械学習システムは、学習コーパス保持部１１と、形態素解析部１２と、単語ベクトル生成部１３と、文書ベクトル生成部１４と、データ選択部１５で構成され、機械学習手段としてベクトル空間法を採用する。この機械学習システムは、実際には、パーソナル・コンピュータのような一般的な計算機システムに所定の機械学習アプリケーションを実行するという形態で実現される。
【００３８】
なお、以下に説明する本発明の実施形態は、機械学習手法を新聞記事の分類（「政治経済」分野の記事であるか「スポーツ」分野の記事であるか）などの文書分類システムに応用する場合を例に挙げているが、統計処理に基づく教師あり機械学習手法を用いるものであれば、アンケート分類及び質問応答など分類を要するあらゆる分野への応用であっても同様の効果を得ることが可能である。その他、テキスト分類のみならず数値データを含む分類や画像の分類など、いかなる機械学習手法を用いるものであっても、同様の効果を得ることが可能である。
【００３９】
学習コーパス保持部１１は、学習コーパスとしての複数の新聞記事を、記事毎に「政治経済」分野に属するか「スポーツ」分野に属するかを人手で判断した評価結果とともに、コンピュータ内部に保持する。
【００４０】
形態素解析部１２は、学習コーパス保持部１１に保持されているすべての新聞記事テキスト、並びにシステムに評価データとして入力される単一の新聞記事テキストに対してそれぞれ形態素解析処理を施し、これらの新聞記事テキストを単語へと分割し、素性情報としての形態素解析結果を取得する。
【００４１】
ここで、形態素とは、言語学において、単語や接辞など、文法上、最小の単位となる要素のことである。したがって、形態素解析では、形態素の文法的属性（品詞や活用など）を同定するために、単語を分割して品詞付けを行なう。本実施形態では、形態素解析により得られる入力テキストの品詞情報を、機械学習における素性情報に用いる。
【００４２】
単語ベクトル生成部１３及び文書ベクトル生成部１４は、機械学習手段に相当し、ベクトル空間法に基づいてテキスト・データの素性と評価の間の対応規則を計算する。単語ベクトル生成部１３における単語ベクトルの生成手順について以下に説明する。
【００４３】
ステップ１：
形態素解析部１２で得られた全単語のうち、出現頻度の多いものから順にｎ個の単語を選択する。ここで得られたｎ個の単語のことを、以下では「特徴表現語」と呼ぶことにする。ｎの値は、数千のオーダーとすることが望ましい。
【００４４】
但し、通常、新聞記事のキーワードとなりにくく且つ文に含まれる単語数の多い「は」又は「が」などの助詞については、ストップ・ワードとして、特徴表現語としてカウントしない場合もある。
【００４５】
ステップ２：
形態素解析部１２から得られた全単語を行とし、ステップ１で得られた特徴表現語を列として構成される行列を作成する。例えば、形態素解析部１２から得られた全単語の総異なり語数が１０万であれば、ｎの値は２万となり、１０万行×２万列の行列ができることになる。
【００４６】
この行列の各要素には、その要素の行に対応する単語と列に対応する特徴表現語が、新聞記事中で何度共起（すなわち、同じ新聞記事中に同時に出現している)しているかを記録する。こうして得られた行列のことを「共起行列」と呼ぶことにする。このようにして、新聞記事中の全単語をそれぞれｎ次元（２万次元）のベクトルで表現する共起行列を作成することができる。このベクトルは、各単語が学習コーパス選択部１５によって選択された新聞記事中で、どのようなコンテキストで出現し易い傾向にあるかを示すベクトルであると言える。
【００４７】
ステップ３：
ステップ２で得られたｎ次元のベクトルは次元数が大きいため、後に必要となる処理で計算時間が膨大なものになってしまう。そこで、計算処理を実時間の範囲に抑えるために、元のｎ次元のベクトルを行列の次元圧縮手法によって、ｎ'次元（数百次元）のベクトルへと圧縮する（ｎ'＜ｎ）。次元圧縮手法にはさまざまなものが存在するが、例えばＢｅｒｒｙ，Ｍ．、Ｄｏ，Ｔ．、Ｏ’Ｂｒｉｅｎ，Ｇ．、Ｋｒｉｓｈｎａ，Ｖ．及びＶａｒａｄｈａｎ，Ｓ．共著“ＳＶＤＰＡＣＫＣ ＵＳＥＲ’Ｓ ＧＵＩＤＥ”（Ｔｅｃｈ．Ｒｅｐ．ＣＳ−９３−１９４．Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｎｎｅｓｓｅｅ，Ｋｎｏｘｖｉｌｌｅ，ＴＮ（１９９３））で詳細な説明がなされているＳｉｎｇｕｌａｒ Ｖａｌｕｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ（特異値分解）を利用する手法がその代表例である。このようにして新聞記事中のすべての単語に対して得られたｎ'次元のベクトルのことを「単語ベクトル」と呼ぶことにする。
【００４８】
文書ベクトル生成部１４は、単語ベクトル生成部１３で得られた単語ベクトルを用いて、学習コーパス保持部１１中の各新聞記事についての文書ベクトルを計算する。ここで言う文書ベクトルとは、対象とする新聞記事に含まれる全単語に対応する単語ベクトルの総和を正規化した（ベクトルの長さを１とした）ベクトルのことである。このようにして得られた文書ベクトルは、学習コーパス保持部１１中の新聞記事集合を学習データとし、新聞記事に含まれる特徴表現語を各記事の素性とした場合に得られる機械学習の結果であると言える。
【００４９】
次に、「政治経済」分野に属するすべての文書ベクトルに対して、「政治経済文書ベクトル」との間の類似度すなわち内積の値（Ｓｐ）、及び、「スポーツ文書ベクトル」との間の類似度（Ｓｓ）をそれぞれ計算する。
【００５０】
そして、データ選択部１５は、Ｓｐの値及びＳｓの値が以下の式を満たす文書ベクトルに対応する新聞記事を、学習データ保持部１１から削除する。Ｔ１及びＴ２は、あらかじめ設定された閾値（０＜Ｔ１＜１, ０＜Ｔ２＜１）である。
【００５１】
Ｓｐ  ＜  Ｔ１
Ｓｓ  ＞  Ｔ２
【００５２】
同様に、「スポーツ」分野に属するすべての文書ベクトルに対して、「政治経済文書ベクトル」との間の類似度すなわち内積の値（Ｓｐ）、及び、「スポーツ文書ベクトル」との間の類似度（Ｓｓ）をそれぞれ計算する。そして、データ選択部１５は、Ｓｐの値及びＳｓの値が以下の式を満たす文書ベクトルに対応する新聞記事を学習データ保持部１１から削除する。
【００５３】
Ｓｐ  ＞  Ｔ１
Ｓｓ  ＜  Ｔ２
【００５４】
このようにして、人手では「スポーツ」分野に分類されていても実際には「政治経済」の分野に当てはまる可能性の高い（「政治経済文書ベクトル」と類似度の高いベクトルを持つ）記事（あるいはその逆の場合の記事）を、学習コーパス保持部１１から削除することが可能となる。このような記事は、単に人手による分類ミスである可能性があり、また、人手による分類が正しい場合であっても記事の特徴(素性)からみれば機械学習にとって適切な学習データでない（不適切な対応規則を学習してしまう）ものであると言える。
【００５５】
上述したように、新規な新聞記事に対して形態素解析処理を施すことによって単語へと分割し、各単語に対応する単語ベクトルの総和を計算し正規化すれば、その新聞記事に対応する文書ベクトルを得ることができる。（但し、対応する単語ベクトルが存在しない単語は無視する。） 次に、この文書ベクトルと「政治経済文書ベクトル」との間の類似度（内積の値）を計算し、同様に「スポーツ文書ベクトル」との間の内積を計算する。該新聞記事は、内積の値が大きい方の分野と内容的に近いと判断することが可能であり、与えられた新聞記事を「政治経済」か「スポーツ」のいずれかに分類することが可能である。
【００５６】
但し、出力された機械学習の結果である文書ベクトルの計算結果が同値並びに近似（０＜ａ＜１と閾値を設ける）であった場合には、複数の機械学習結果を人手で判定することも可能である。つまり、内積の値が同値並びに近似によって判別できない場合、当該結果をすべて提示し、人手によって当該結果を判定させ、当該結果を機械学習結果とし、学習データ選択手段に還元し、文書ベクトルを再計算することによって、再分類することも可能である。
【００５７】
また、上述した実施形態では、ベクトル空間法により、素性として形態素解析結果から得られる単語の出現頻度を用いているが、本発明の要旨はこれに限定されるものではない。機械学習においては、テキストの特徴を表現し得るものであれば、いかなるものであっても素性となる得る。
【００５８】
例えば、形態素解析の代わりに構文解析を施し、新聞記事中で、係り受け関係を有する単語のペアの出現頻度を素性とすることも可能である。構文解析では、文法規則などを基に句構造などの文の構造を解析する。文法規則が木構造であることから、構文解析結果は一般に個々の形態素が係り受け関係などを基にして接合された木構造となる。Ｌｅｘｉｃａｌ Ｆｕｎｃｔｉｏｎａｌ Ｇｒａｍｍａｒ（ＬＦＧ）文法理論に基づく構文解析を利用することができる。ＬＦＧでは、ネイティブ・スピーカの言語知識すなわち文法ルールを、コンピュータ処理や、コンピュータの処理動作に影響を及ぼすその他の非文法的な処理パラメータとは切り離したコンポーネントとして構成しており、単語や形態素などからなる文章の句構造を木構造として表した“ｃ−ｓｔｒｕｃｔｕｒｅ（ｃｏｎｓｔｉｔｕｅｎｔ ｓｔｒｕｃｔｕｒｅ）”と、主語、目的語などの格構造に基づいて入力文を疑問文、過去形、丁寧文など意味的・機能的に解析した結果として“ｆ−ｓｔｒｕｃｔｕｒｅ（ｆｕｎｃｔｉｏｎａｌ ｓｔｒｕｃｔｕｒｅ）”を出力する。なお、ＬＦＧの詳細に関しては、例えばＲ．Ｍ．Ｋａｐｌａｎ及びＪ．Ｂｒｅｓｎａｎ共著の論文“Ｌｅｘｉｃａｌ−Ｆｕｎｃｔｉｏｎａｌ  Ｇｒａｍｍａｒ： Ａ Ｆｏｒｍａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｇｒａｍｍａｔｉｃａｌ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ”（Ｔｈｅ ＭＩＴ Ｐｒｅｓｓ，Ｃａｍｂｒｉｄｇｅ  （１９８２）． Ｒｅｐｒｉｎｔｅｄ ｉｎ Ｆｏｒｍａｌ Ｉｓｓｕｅｓ ｉｎ Ｌｅｘｉｃａｌ−Ｆｕｎｃｔｉｏｎａｌ Ｇｒａｍｍａｒ，ｐｐ．２９−１３０．ＣＳＬＩ ｐｕｂｌｉｃａｔｉｏｎｓ，Ｓｔａｎｆｏｒｄ Ｕｎｉｖｅｒｓｉｔｙ（１９９５）．）、Ｄａｌｒｙｍｐｌｅ，  Ｍ．著“Ｓｙｎｔａｘ ａｎｄ Ｓｅｍａｎｔｉｃｓ −Ｌｅｘｉｃａｌ Ｆｕｎｃｔｉｏｎａｌ Ｇｒａｍｍａｒ”（Ａｃａｄｅｍｉｃ Ｐｒｅｓｓ，２００１）及び当該論文中の引用文献などに記述されている。また、日本語ＬＦＧによる意味解析処理については、増市博、大熊智子共著「Ｌｅｘｉｃａｌ Ｆｕｎｃｔｉｏｎａｌ Ｇｒａｍｍａｒに基づく実用的な日本語解析システムの構築」（自然言語処理，Ｖｏｌ．１０，Ｎｏ．２，ｐｐ．７９−１０９，言語処理学会，２００３）などに記載されている。
【００５９】
また、上述した実施形態では、ベクトル空間法に基づく機械学習手法を用いたが、これをＳｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅのような他の手法で置き換えることも可能である。ここで、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅは、ノンパラメトリックなパターン分類器の１つであり、学習の最適解として求められた分離超平面による線形識別を行ない、学習資料を線形分離することが不適切な場合には学習資料を元のパターン空間からより高次のパターン空間に非線形写像し高次元空間で分離超平面を構築し線形識別を行なう。ＳＶＭは、テキスト分類などの分類予測精度が高いとされている機械学習手法であるため、本実施形態の機械学習手段に用いることが可能である。Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅの学習結果に基づく分類処理の詳細については、例えば、Ｆａｂｒｉｚｉｏ Ｓｅｂａｓｔｉａｎｉ著“ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ ｉｎ Ａｕｔｏｍａｔｅｄ Ｔｅｘｔ Ｃａｔｅｇｏｒｉｚａｔｉｏｎ”（ＡＣＭ Ｃｏｍｐｕｒｔｉｎｇ Ｓｕｒｖｅｙｓ Ｖｏｌ．３４，Ｎｏ．１，ｐｐ．１−４７，２００２）などに記載されている。
【００６０】
Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅを用いた機械学習では、素性情報は、図３で示すようなデータ集合となる。同図に示す例では、単語Ｗ１という素性が入力されており、文Ｓ１内の単語Ｗ１の個数（１個）がカウントされていることを示している。
【００６１】
図４には、Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅを機械学習に適用した場合の機械学習システムの機能構成を模式的に示している。図示の機械学習システムは、学習コーパス保持部１１と、形態素解析部１２と、単語素性生成部１６と、文書素性生成部１７と、データ選択部１８で構成される。この機械学習システムは、実際には、パーソナル・コンピュータのような一般的な計算機システムに所定の機械学習アプリケーションを実行するという形態で実現される。以下では、機械学習手法を新聞記事の分類（「政治経済」分野の記事であるか「スポーツ」分野の記事であるか）などの文書分類システムに応用する場合を例に説明する（同上）。
【００６２】
学習コーパス保持部１１は、学習コーパスとしての複数の新聞記事を、記事毎に分野を人手で判断した評価結果とともに、コンピュータ内部に保持する。
【００６３】
形態素解析部１２は、学習コーパス保持部１１に保持されているすべての新聞記事テキスト、並びにシステムに評価データとして入力される単一の新聞記事テキストに対してそれぞれ形態素解析処理を施し、これらの新聞記事テキストを単語へと分割し、素性情報としての形態素解析結果を取得する。
【００６４】
単語素性生成部１６は、形態素解析部１２から得られるすべての単語に対して、対応する素性情報（集合）を生成する。以下、素性情報を生成するアルゴリズムについて説明する。
【００６５】
ステップ１：
形態素解析部１２から得られた全単語に対する表を作成する。但し、通常、新聞記事のキーワードとなりにくく且つ文に含まれる単語数の多い「は」又は「が」などの助詞については、ストップ・ワードとして、表に入力しないことにする。
【００６６】
ステップ２：
形態素解析部１２から得られた単語をカウントし、ステップ１で得られた表に対して単語の個数を入力する。
【００６７】
文書素性生成部１７は、単語素性生成部１６で得られた素性情報を用いて、学習コーパス保持部１１中に保持されているすべての新聞記事に対応する素性情報を生成する。学習コーパス保持部１１は、複数の新聞記事を、記事毎に「政治経済」分野に属するか「スポーツ」分野に属するかを人手で判断した評価結果が入力されているが、データ形式は、上述した素性情報を生成するアルゴリズムと同等の方法で作成されている。ステップ２で得られた表を基に、学習コーパス保持部１１が保持する評価結果と比較して、文書素性情報を生成する。
【００６８】
例えば、学習コーパス保持部１１が保持する「政治経済」分野と「スポーツ」分野からすべての単語を抽出し、「政治経済」分野と「スポーツ」分野毎に得られた単語の表をそれぞれ作成する。「政治経済」分野と「スポーツ」分野から抽出された単語と一致するステップ２で得られた表に入力された単語のみ、これに対応する単語数を各分野の表に入力していく。これによって、「政治経済」分野と「スポーツ」分野の文書素性情報が生成される。カウントされなかった単語は、削除せず単語数０とする。
【００６９】
このようにして得られた文書素性は、学習コーパス保持部１１中の新聞記事集合を学習データとし、新聞記事に含まれる特徴表現語（ここでは「政治経済」分野と「スポーツ」分野の単語）を各記事の素性とした場合に得られる素性情報であると言える。
【００７０】
次に、「政治経済」分野と「スポーツ」分野の文書素性情報を、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅを用いた機械学習法を用いて計算させ、「政治経済」分野と「スポーツ」分野のいずれかに分類することが可能である。学習データ選択部１５は、Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅの出力するベクトル評価値に基づいて不適切なデータを学習データコーパス保持部１１から削除する。
【００７１】
このようにＳｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅを用いた機械学習手法においても、前述した空間ベクトル法と同等の効果を得ることが可能である。
【産業上の利用可能性】
【００７２】
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【００７３】
本明細書では、本発明に係る機械学習手法を新聞記事の分類（「政治経済」分野の記事であるか「スポーツ」分野の記事であるかの）などの文書分類システムに応用する場合を例にとって本発明について説明しているが、本発明の要旨はこれに限定されるものではない。すなわち、統計処理に基づく教師あり機械学習手法を用いるものであれば、アンケート分類及び質問応答など分類を要するあらゆる分野への応用であっても、同様に本発明を適用することが可能である。その他、テキスト分類のみならず数値データを含む分類や画像の分類など、いかなる機械学習手法を用いるものであっても、同様に本発明の効果を得ることが可能である。
【００７４】
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【図面の簡単な説明】
【００７５】
【図１】図１は、本発明に係る機械学習システムの機能構成を模式的に示した図である。
【図２】図２は、本発明の一実施形態に係る機械学習システムの機能構成を模式的に示した図である。
【図３】図３は、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅを用いた機械学習における素性情報を示した図である。
【図４】図４は、Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅを機械学習に適用した場合の機械学習システムの機能構成を模式的に示した図である。
【符号の説明】
【００７６】
１…学習データ保持部
２…素性取得部
３…機械学習部
４…データ選択部
１１…学習コーパス保持部
１２…形態素解析部
１３…単語ベクトル生成部
１４…文書ベクトル生成部
１５…データ選択部
１６…単語素性生成部
１７…文書素性生成部
【図１】
2005181928.tif 000003
【図２】
2005181928.tif 000004
【図３】
2005181928.tif 000005
【図４】
2005181928.tif 000006