(57)【要約】【課題】既にある機械学習のための正解データから、新たな正解事例を作り出すことによって、正解事例のバリエーションを増やし機械学習の精度を上げることを目的としている。【解決手段】本発明の文書分類プログラムは、正解データに基づき機械学習を行うことにより分類する従来の文書分類プログラムに、正解データから、新たな事例を作り出すための元となる正解事例を、機械学習の方式に応じて選択し、所定のルールに基づいて、選択された正解事例から新たな正解事例を作り出し、前記機械学習用の正解事例の全部、または一部に追加して機械学習用の正解データを作成するようにしたものであり、既にある機械学習のための正解事例から、新たな事例を作り出すことによって、事例のバリエーションを増やし機械学習の精度を上げることが可能となる。【選択図】      図１
2004287776.tif 000002
【特許請求の範囲】
【請求項１】
入力された文書を、正解データに基づき機械学習を行うことにより分類する文書分類方法であって、
正解データから、新たな事例を作り出すための元となる正解事例を、機械学習の方式に応じて選択するステップと、
所定のルールに基づいて、選択された正解事例から新たな正解事例を作り出し、前記機械学習用の正解事例の全部、または一部に追加して機械学習用の正解データを作成するステップとを有することを特徴とする文書分類方法。
【請求項２】
入力された文書を、正解データに基づき機械学習を行うことにより分類する文書分類装置であって、
正解データから、新たな事例を作り出すための元となる正解事例を、機械学習の方式に応じて選択する事例選択手段と、
所定のルールに基づいて、選択された正解事例から新たな正解事例を作り出し、前記機械学習用の正解事例の全部、または一部に追加して機械学習用の正解データを作成する事例作成手段とを有することを特徴とする文書分類装置。
【請求項３】
入力された文書を、正解データに基づき機械学習を行うことにより分類する文書分類プログラムであって、
正解データから、新たな事例を作り出すための元となる正解事例を、機械学習の方式に応じて選択する事例選択手段と、
所定のルールに基づいて、選択された正解事例から新たな正解事例を作り出し、前記機械学習用の正解事例の全部、または一部に追加して機械学習用の正解データを作成する事例作成手段としてコンピュータを機能させる文書分類プログラム。
【請求項４】
前記事例作成手段は、テキストデータから構成される機械学習用の事例の一部を削除することで新たな事例を作り出す、請求項３記載の文書分類プログラム。
【請求項５】
前記事例作成手段は、テキストデータから構成される機械学習用の事例に対して、前記正解事例と同じカテゴリを持つ他の事例の一部を複写したものを付加することによって新たな事例を作り出す、請求項３記載の文書分類プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、文書分類に関し、特に既にある機械学習のための正解データから、新たな正解事例を作り出すことによって、正解事例のバリエーションを増やし機械学習の精度を上げる技術に関する。
【０００２】
【従来の技術】
インターネットが普及してきた現代においては、コンテンツは膨大かつ多様化してきており、これらの情報から必要なものを抽出するために、テキスト情報を自動的に分類する技術が重要になってきている。例えば、これらの技術は、暴力など、好ましくないサイトへのＷｅｂアクセスを防止したり、個人の趣味に合わせた情報を抽出したり、また、電子メールにおいても、不特定多数に一方的に送りつけられる広告や勧誘などと通常のメールとを分類するためなどに応用される。
【０００３】
テキスト情報を自動的に分類するための文書分類装置（プログラム）を作成するためには、大きく二つの方法に分けられる。一つは人手で分類ルールを作る方法、もう一つは何らかの機械学習を用いてルールを得る方法に分けることができる。機械学習（ｍａｃｈｉｎｅ  ｌｅａｒｎｉｎｇ）  を用いる方法では、事例（  文書）  とラベル（  それが属するカテゴリ）  のペアを集めた正解事例の集合である正解データを用意する必要がある。なお、本発明は、特に後者に関するものである。
【０００４】
機械学習を用いる方法には、Ｎａｉｖｅ  Ｂａｙｅｓ  法（例えば、非特許文献１参照。）や決定木（例えば、非特許文献２参照。）、サポートベクトルマシン（例えば、非特許文献３参照。）を使う方法などがある。
Ｎａｉｖｅ  Ｂａｙｅｓ  法とは、Ｐ（Ａ）をＡ  の確率とし、Ｐ（Ａ，Ｂ）をＡ  であると同時にＢ  でもある確率としＰ（Ａ  ｜Ｂ）をＢ  であることが分かっているときにそれがＡ  である確率とした場合、  Ｐ（Ａ｜Ｂ）  ＝  Ｐ（Ａ，Ｂ）／Ｐ（Ｂ）  ＝｛Ｐ（Ｂ  ｜Ａ）Ｐ（Ａ）｝／Ｐ（Ｂ）  となるが、この時の  Ｐ（Ａ｜Ｂ）  ＝｛Ｐ（Ｂ  ｜Ａ）Ｐ（Ａ）｝／Ｐ（Ｂ）  の部分をベイズの定理といい、この定理を利用したものである。
【０００５】
決定木とは、いくつかの特徴（  条件）  に基づき、その特徴から答え（  その特徴のものはどのクラスに属するか、または、ある特定のクラスに属する確率）  を導く木である。ここでいう木とは二分木とか探索木といわれる木であり、木の根から節点ごとにどの条件ならどちらにたどるべきかが分かるようにしてあって、葉にたどり着くと答えが得られることを利用したものである。
【０００６】
サポートベクトルマシンとは、訓練データを正例と負例とに分け、かつ、正負例間のマージンが最大となるような超平面を求める学習機である。この超平面は構造的リスク最小化という概念のもとで最適解が得られることを利用したものである。
【０００７】
【非特許文献１】
Ｔｏｍ  Ｍｉｔｃｈｅｌｌ著、「  Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ  」、（  米国  ）、ＭｃＧｒａｗ  Ｈｉｌｌ  Ｃｏｌｌｅｇｅ  Ｄｉｖ  、１９９７年３  月  １日
【０００８】
【非特許文献２】
Ｊ．  Ｒｏｓｓ  Ｑｕｉｎｌａｎ  著、「  Ｃ４．５：  Ｐｒｏｇｒａｍｓ  ｆｏｒ  Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ」（  米国  ）、Ｍｏｒｇａｎ  Ｋａｕｆｍａｎｎ  Ｐｕｂ  、１９９３年１２月  １日
【０００９】
【非特許文献３】
Ｎｅｌｌｏ  Ｃｒｉｓｔｉａｎｉｎｉ  ａｎｄ  Ｊｏｈｎ  Ｓｈａｗｅ−Ｔａｙｌｏｒ  著、「  Ａｎ  Ｉｎｔｒｏｄｕｃｔｉｏｎ  ｔｏ  Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅｓ：  Ａｎｄ  ｏｔｈｅｒ  Ｋｅｒｎｅｌ−Ｂａｓｅｄ  Ｌｅａｒｎｉｎｇ  Ｍｅｔｈｏｄｓ    」、（  米国  ）、２０００年  ３月２３日
【００１０】
【発明が解決しようとする課題】
機械学習を用いる文書分類装置では、機械学習のための正解データのバリエーションが多ければ多いほど精度を上げることが可能となる。しかしながら、欲しい精度を得るための十分な量の正解データのバリエーションを得るのにはコストがかかるという問題が発生する。
【００１１】
本発明は、上記のような事情に鑑みて提案されたものであり、既にある機械学習のための正解データから、新たな正解事例を作り出すことによって、正解事例のバリエーションを増やし機械学習の精度を上げることを目的としている。
【００１２】
【課題を解決するための手段】
図１は、本発明の実施の形態１の全体構成図を示すものである。本発明の文書分類プログラム１０は文書分類装置１として振る舞うコンピュータ上で実行され、入力された文書を、正解データに基づき機械学習を行うことにより分類する従来の文書分類プログラムに、正解データから、新たな事例を作り出すための元となる正解事例を、機械学習の方式に応じて選択する事例選択手段１１と、所定のルールに基づいて、選択された正解事例から新たな正解事例を作り出し、前記機械学習用の正解事例の全部、または一部に追加して機械学習用の正解データを作成する事例作成手段１２を追加したものであり、既にある機械学習のための正解事例から、新たな事例を作り出すことによって、事例のバリエーションを増やし機械学習の精度を上げることが可能となる。
【００１３】
また、選択された正解事例から新たな正解事例を作り出すためには、「文書の長さが極端に短い場合を除いて、文書のある部分を少量削除しても、文書に付けられるカテゴリはかわらない。」という実験結果に基づいて、事例作成手段１２は、テキストデータから構成される事例の一部を削除することで新たな事例を作り出したり、「文書の長さが極端に短い場合を除いて、文書に少量の文章を追加しても、文書に付けられるカテゴリは変わらない。」という実験結果に基づいて、事例作成手段１２は、テキストデータから構成される事例に対して、前記正解事例と同じカテゴリを持つ他の正解事例に含まれる事例の一部を複写したものを付加することによって新たな正解事例を作り出すことが可能となる。
【００１４】
【発明の実施の形態】
図１は本発明の実施の形態１の全体構成図が示してある。本発明の文書分類プログラム１０は文書分類装置１として振る舞うコンピュータ上で実行されるプログラムである。事例選択手段１１は、外部記憶装置２にある正解事例ＤＢに格納されている正解データから、新たな事例を作り出すための元となる正解事例を、機械学習の方式に応じて選択し、事例作成手段１２は、所定のルールに基づいて、事例選択手段１１によって選択された正解事例から新たな正解事例を作り出し、機械学習用の正解事例の全部、または一部に追加して機械学習用の正解データを作成し、正解事例ＤＢに格納し、従来からある文書分類手段１３は、入出力装置３から入力された文書や、入出力装置３から指示された文書を、既にある機械学習のための正解事例から、新たに作り出された事例が付加された正解データを使用することによって機械学習の精度を上げることを可能とさせたものである。
【００１５】
本発明では、事例とは一つの事例を指し、具体的には文書を指す。正解事例とは事例＋ラベルを指し、具体的にはラベルは、カテゴリを指す。また、正解デーとは、正解事例の集合を指す。
図２は、文書分類処理の流れを示すフローチャートが示してある。予め蓄積された正解事例の集合である正解データを正解事例ＤＢ２１に格納しておく。先ず、事例選択手段１１は正解事例ＤＢ２１から、新たに作り出す正解事例の元となる正解事例を機械学習の方式に応じて選ぶ（Ｓ２０１）。次に、事例選択手段１１が選んだ正解事例から新たな正解事例を作り出し（Ｓ２０２）、そしてそれらをまた正解事例ＤＢ２１に格納する（Ｓ２０３）。文書分類手段１３は、正解事例ＤＢ２１に格納されている正解データを用いて機械学習を行い、文書分類処理を行う（Ｓ２０４）。
【００１６】
事例選択手段１１は、各正解事例を新たな正解事例の元となる正解事例、削除する正解事例、そのまま正解事例ＤＢ２１に戻す正解事例、新たな正解事例の元となりかつ無変更のものも正解事例ＤＢ２１に戻す正解事例のいずれかを決定することもできる。また、図示してはいないが、事例作成手段１２は新たな正解事例を作り出すときに他の正解事例を参照することも可能である（正解事例ＤＢ２を参照する）  。新たに正解事例を作る方法には以下のように種々のものが考えられる。
１．文書の先頭から数行（  数単語）  を削除する。
２．文書の末尾から数行（  数単語）  を削除する。
３．文書中のランダムな場所から数行（  数単語）  を削除する。
４．ランダムな場所から数単語から数十単語を削除する。
５．ある文書Ｄに、文書Ｄと同じカテゴリを持つ別の文書Ｅから数行（  数単語）
を選び、文書Ｄに付加する。
６．ある文書Ｄと、文書Ｄと同じカテゴリを持つ別の文書Ｅ  と結合する。
７．ある文書Ｄから文書Ｄの単語数の５０％  に相当する文を抜き出し、文書Ｄと同じカテゴリを持つ別の文書Ｅから文書Ｅの単語数の５０％  に相当する文を抜き出し、それらを結合する。
【００１７】
また、事例選択手段１１の正解事例の選択方法としては、いくつかの方法が考えられる。一つは、新たに作り出す正解事例の数を決めておき、その数だけランダムに選択させる方法がある（  新たに作り出す正解事例の数はｃｒｏｓｓ−ｖａ１ｉｄａｔｉｏｎなどで決める）  。事例選択手段１１が、各正解事例が新たな正解事例の元とする場合、削除する場合、そのまま正解事例ＤＢ２１に戻す場合、新たな正解事例の元となりなかつ無変更のものも正解事例ＤＢ２１に戻す場合の何れを決定するときも、その割合はｃｒｏｓｓ−ｖａ１ｉｄａｔｉｏｎなどで決めることができる。
【００１８】
ｃｒｏｓｓ−ｖａ１ｉｄａｔｉｏｎの説明は、例えば以下にある。
Ｔｒｅｖｏｒ  Ｈａｓｔｉｅ，  Ｒｏｂｅｒｔ  Ｔｉｂｓｈｉｒａｎｉ，  ａｎｄ  Ｊｅｒｏｍｅ  Ｆｒｉｅｄｍａｎ  著、「  Ｔｈｅ  Ｅｌｅｍｅｎｔｓ  ｏｆ  Ｓｔａｔｉｓｔｉｃａｌ  Ｌｅａｒｎｉｎｇ  」（  米国  ）、  Ｓｐｒｉｎｇｅｒ  Ｖｅｒｌａｇ、Ｃａｍｂｒｉｄｇｅ  Ｕｎｉｖ  Ｐｒ  、２００１年１０月  １日
元になる正解事例１つから、１つ以上新たな事例を作り出すことも可能である。例えば、前述の方法３では、ランダムな場所から数行（  数単語）  削除するため、一つの元になる正解事例に方法３を２回適用すると、乱数を使っているため、異なる事例が２つ作り出される。
【００１９】
特にサポートベクトルマシンを機械学習の方式とした場合、事例選択手段１１が正解事例ＤＢ２１から一部の正解事例を選ぶ方法として、サポートベクトルとなっている正解事例のみを選ぶ方法がある。与えられた正解事例の集合から一旦通常の学習を行い、サポートベクトルとなる事例を求める。その後、サポートベクトルになっている正解事例からのみ新たな正解事例を作る。新たな学習用の正解事例データとしては、「元の正解事例＋新たな正解事例」や、「サポートベクトルとなる正解事例＋新たな正解事例」などが考えられる。
【００２０】
図３は、文書の先頭から数行を削除した例が示してある。これは、対象文書をメールとした場合の例である。今、システム商談の文書か否かを分類したいと仮定する。文書データＡから、先頭の各行を削除すると、文書データＡ’ができる。仮に、機械学習に使える文書が３００あったとする。「先頭４行を削除する」ことにより、３００文書が新たに作成することができ、合計６００文書が学習時に利用できるようになる。メールを対象とした場合に、「先頭４行を削除する」ことを行なったときには、挨拶や宛名が削除される可能性が高い。削除により、挨拶や宛名が悪影響を与える可能性を減らすことができる。例えば、「こんにちは」という表現が「システム商談」というカテゴリにしか現れなければ、「こんにちは」という表現が「システム商談」のカテゴリを表すキーワードとして採用されるという悪影響が出る（  本来、挨拶の表現は「システム商談」か否かとは全く関係ないものである）  。
【００２１】
図４は、文書の末尾から数行を削除した例が示してある。文書データＡから、末尾の４  行を削除するとＡ”ができる。ここで、数行あるいは数単語と書いたが、文宇数で削除しても構わない。新たに正解事例を作る方法のパーセンテージも変更可能である。
また、機械学習を使う文書分類装置では、一つの文書を図５で示すように単語ベクトルで表すことがよく行なわれる。新たに正解事例を作るために、一且各文書を単語ベクトルに変換してからでもよい。例えば、ある文書が１５０種類の単語で書かれており、それがベクトル表現されているとする。そのときは、そのベクトルを表している単語を数個削るなどの方法が考えられる。
【００２２】
図５は、文書を単語ベクトルで表現した例である。文書に現れる単語を一つの要素としてベクトル化したものである。このように単語ベクトル化すると、単語の削除や追加を行う際に、ベクトルを表している単語を対象にすることが可能となる。
【００２３】
【発明の効果】
本発明によれば、既にある機械学習のための正解データから、新たな正解事例を作り出すことによって、正解事例のバリエーションを増やし、それにより機械学習を使う文書分類装置の精度を上げることが可能となる。
【図面の簡単な説明】
【図１】実施の形態１の全体構成図
【図２】文書分類処理の流れ
【図３】文書の先頭から数行を削除した例
【図４】文書の末尾から数行削除した例
【図５】文書を単語ベクトルで表現した例
【符号の説明】
１  文書分類装置
２  外部記憶装置
３  入出力装置
１０  文書分類プログラム
１１  事例選択手段
１２  事例作成手段
１３  文書分類手段
２１  正解事例ＤＢ
【図１】
2004287776.tif 000003
【図２】
2004287776.tif 000004
【図３】
2004287776.tif 000005
【図４】
2004287776.tif 000006
【図５】
2004287776.tif 000007