(57)【要約】【課題】学習データを用いた機械学習によって文書識別モデルを作成する際に、学習データの作成負担を軽減し、文書識別精度を向上する。【解決手段】学習データ作成方法であって、予め学習データサンプルとして与えられた該当文書又は非該当文書に付与された一つ以上の見出し語を含む学習セットを作成する手順と、学習セットに含まれる見出し語が付与された文書データを学習することによって文書識別モデルを作成し、作成した文書識別モデルを使用して所定の評価データを識別することによって評価値を作成する手順と、評価値に基づいて、学習セットに含まれる各見出し語を学習データの作成に使用するか否かを判定する手順と、学習データの作成に使用すると判定された見出し語が付された文書データを追加することによって学習データを作成する手順と、を含む。【選択図】図２
2019204246.tif 000002
【特許請求の範囲】
【請求項１】
プロセッサと、記憶部と、を有する計算機システムが実行する学習データ作成方法であって、
前記記憶部は、各々に一つ以上の見出し語が付与された複数の文書データを保持し、
前記複数の文書データの一部は、文書識別モデルの生成に使用する学習データとして予め与えられた学習データサンプルであり、
前記記憶部は、前記学習データサンプルに含まれる各文書データが前記文書識別モデルによる識別の対象である該当文書のデータ、又は、識別の対象でない非該当文書のデータのいずれであるかを示す情報を保持し、
前記学習データ作成方法は、
前記プロセッサが、前記該当文書に付与された見出し語及び前記非該当文書に付与された見出し語のうち一つ以上を、学習に使用する文書を抽出するための見出し語として含む学習セットを作成する第１手順と、
前記プロセッサが、前記学習データサンプル以外の複数の文書データのうち、前記学習セットに含まれる見出し語が付与された文書データを学習することによって文書識別モデルを作成する第２手順と、
前記プロセッサが、作成した前記文書識別モデルを使用して、予め前記該当文書又は前記非該当文書のいずれであるかを示す情報が付与された複数の文書データを含む評価データを識別することによって、前記作成した文書識別モデルの評価値を作成する第３手順と、
前記プロセッサが、前記評価値に基づいて、前記学習セットに含まれる各見出し語を学習データの作成に使用するか否かを判定する第４手順と、
前記プロセッサが、前記学習データサンプル以外の複数の文書データのうち、前記学習データの作成に使用すると判定された該当文書の見出し語が付された文書データを、前記該当文書のデータとして前記学習データに追加し、学習データの作成に使用すると判定された非該当文書の見出し語が付された文書データを、前記非該当文書のデータとして前記学習データに追加することによって、前記学習データを作成する第５手順と、を含むことを特徴とする学習データ作成方法。
【請求項２】
請求項１に記載の学習データ作成方法であって、
前記第１手順において、前記プロセッサは、複数の前記学習セットを作成し、
前記第２手順において、前記プロセッサは、前記複数の学習セットの各々について前記文書識別モデルを作成し、
前記第３手順において、前記プロセッサは、前記作成した各文書識別モデルの評価値を作成し、
前記第４手順において、前記プロセッサは、前記評価値が所定の基準より高い前記文書識別モデルを作成するために使用された学習セットにおける前記各見出し語の出現回数を計算し、前記出現回数が多い見出し語を前記学習データの作成に使用すると判定することを特徴とする学習データ作成方法。
【請求項３】
請求項２に記載の学習データ作成方法であって、
前記第４手順において、前記プロセッサは、前記出現回数が多い順に、前記見出し語が付された文書データを前記学習データに追加して、前記学習データを用いて前記文書識別モデルを作成し、作成した前記文書識別モデルの評価値が改善しない場合に、当該見出し語を前記学習データの作成に使用しないと判定することを特徴とする学習データ作成方法。
【請求項４】
請求項１に記載の学習データ作成方法であって、
前記第４手順において、前記プロセッサは、前記評価値が所定の基準より高い前記文書識別モデルを作成するために使用された学習セットに含まれる前記一つ以上の見出し語を前記学習データの作成に使用すると判定することを特徴とする学習データ作成方法。
【請求項５】
請求項１に記載の学習データ作成方法であって、
前記第４手順において、前記プロセッサは、前記評価値が所定の基準より高い場合に前記学習セットに含まれる各見出し語を学習データの作成に使用すると判定し、
前記所定の基準は、前記学習データサンプルを学習することによって作成された文書識別モデルの前記評価値であることを特徴とする学習データ作成方法。
【請求項６】
請求項１に記載の学習データ作成方法であって、
前記評価値は、Ｆ値、再現率、精度及び正解率の少なくとも一つを含むことを特徴とする学習データ作成方法。
【請求項７】
請求項１に記載の学習データ作成方法であって、
前記第１手順において、前記プロセッサは、前記該当文書に付与された見出し語及び前記非該当文書に付与された見出し語からランダムに抽出した一つ以上の見出し語を含む前記学習セットを作成することを特徴とする学習データ作成方法。
【請求項８】
請求項１に記載の学習データ作成方法であって、
前記第１手順において、前記プロセッサは、前記該当文書及び前記非該当文書の両方に付与された見出し語を含まないように前記学習セットを作成することを特徴とする学習データ作成方法。
【請求項９】
請求項１に記載の学習データ作成方法であって、
前記プロセッサが、前記第５手順において作成された前記学習データを学習することによって、入力された文書が前記該当文書であるかを識別するための文書識別モデルを作成する手順をさらに含むことを特徴とする学習データ作成方法。
【請求項１０】
プロセッサと、記憶部と、を有する学習データ作成装置であって、
前記記憶部は、各々に一つ以上の見出し語が付与された複数の文書データを保持し、
前記複数の文書データの一部は、文書識別モデルの生成に使用する学習データとして予め与えられた学習データサンプルであり、
前記記憶部は、前記学習データサンプルに含まれる各文書データが前記文書識別モデルによる識別の対象である該当文書のデータ、又は、識別の対象でない非該当文書のデータのいずれであるかを示す情報を保持し、
前記プロセッサは、
前記該当文書に付与された見出し語及び前記非該当文書に付与された見出し語のうち一つ以上を、学習に使用する文書を抽出するための見出し語として含む学習セットを作成し、
前記学習データサンプル以外の複数の文書データのうち、前記学習セットに含まれる見出し語が付与された文書データを学習することによって文書識別モデルを作成し、
作成した前記文書識別モデルを使用して、予め前記該当文書又は前記非該当文書のいずれであるかを示す情報が付与された複数の文書データを含む評価データを識別することによって、前記作成した文書識別モデルの評価値を作成し、
前記評価値に基づいて、前記学習セットに含まれる各見出し語を学習データの作成に使用するか否かを判定し、
前記学習データサンプル以外の複数の文書データのうち、前記学習データの作成に使用すると判定された該当文書の見出し語が付された文書データを、前記該当文書のデータとして前記学習データに追加し、学習データの作成に使用すると判定された非該当文書の見出し語が付された文書データを、前記非該当文書のデータとして前記学習データに追加することによって、前記学習データを作成することを特徴とする学習データ作成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は機械学習を用いた文書識別を行うための学習データ作成方法及び装置に関する。
【背景技術】
【０００２】
新聞、特許及び論文など、電子化された文書が増加しており、それらから有益な情報を取り出すことが望まれている。このようなニーズに対応するために、膨大な文書に対して機械学習を使用し有用な情報が含まれる文書を識別する。有用な情報が含まれるかどうか文書を識別する問題では、識別を行いたい母集団となる文書群から、有用な情報を含む文書群と含まない文書群に分けた学習データを作成し、機械学習を行う。
【０００３】
機械学習では、学習データのバリエーションが多いほど汎化性能が高く、高精度な結果が得られることから、精度向上のためには豊富な学習データを作ることが重要となる。しかし、人が関与して学習データを作成するのはコストが高く、バリエーション豊富にデータを揃えるには困難が伴う。そこで、少量の学習データサンプルからデータを拡張することが検討されている。
【０００４】
特開２００６−４３９９（特許文献１）は、機械学習による文書の識別ではなく、情報抽出に関して学習データのバリエーションを機械的に増やす技術を開示している。具体的には、情報抽出規則を、学習サンプルデータから作成し、許容できる語順の入れ替え、修飾語の一部変更、及び構文表現変換を行うことによってデータの拡張を行っている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−４３９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
文書識別という課題において、情報抽出と同様に情報抽出規則をあらかじめ準備することは容易ではない。規則を準備したとしてもデータ拡張では、情報抽出と同様に語順の入れ替え、修飾語の一部変更、及び構文表現変換などによって、データのバリエーションを増やすことが、もともとの学習サンプルデータの特徴を捉えつつ、文書識別のためのバリエーションを揃えた学習データを準備することにはつながらない。
【０００７】
本発明は、上述の課題を解決するためになされたものである。すなわち、本発明は文書識別において学習データの作成のコストを抑えながら、より精度よく文書識別するための学習データ拡張技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明は、プロセッサと、記憶部と、を有する計算機システムが実行する学習データ作成方法であって、前記記憶部は、各々に一つ以上の見出し語が付与された複数の文書データを保持し、前記複数の文書データの一部は、文書識別モデルの生成に使用する学習データとして予め与えられた学習データサンプルであり、前記記憶部は、前記学習データサンプルに含まれる各文書データが前記文書識別モデルによる識別の対象である該当文書のデータ、又は、識別の対象でない非該当文書のデータのいずれであるかを示す情報を保持し、前記学習データ作成方法は、前記プロセッサが、前記該当文書に付与された見出し語及び前記非該当文書に付与された見出し語のうち一つ以上を、学習に使用する文書を抽出するための見出し語として含む学習セットを作成する第１手順と、前記プロセッサが、前記学習データサンプル以外の複数の文書データのうち、前記学習セットに含まれる見出し語が付与された文書データを学習することによって文書識別モデルを作成する第２手順と、前記プロセッサが、作成した前記文書識別モデルを使用して、予め前記該当文書又は前記非該当文書のいずれであるかを示す情報が付与された複数の文書データを含む評価データを識別することによって、前記作成した文書識別モデルの評価値を作成する第３手順と、前記プロセッサが、前記評価値に基づいて、前記学習セットに含まれる各見出し語を学習データの作成に使用するか否かを判定する第４手順と、前記プロセッサが、前記学習データサンプル以外の複数の文書データのうち、前記学習データの作成に使用すると判定された該当文書の見出し語が付された文書データを、前記該当文書のデータとして前記学習データに追加し、学習データの作成に使用すると判定された非該当文書の見出し語が付された文書データを、前記非該当文書のデータとして前記学習データに追加することによって、前記学習データを作成する第５手順と、を含むことを特徴とする。
【発明の効果】
【０００９】
本発明の一態様によれば、機械的に人が作成した学習サンプルの特徴を捉えた学習データを、膨大な学習データに拡張することが可能となる。人がどの見出し語を採用すべきかを決定するならば、評価データに対してフィットするように学習データを作成するには手間が必要だが、機械的に学習データを様々な組合せで試すことで、探索範囲が広がり、より学習サンプルデータの分布に近い学習データを作成できる。
【００１０】
上記した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施例に係る文書識別システム及び文書識別のための学習データ拡張装置の構成を示すブロック図である。
【図２】本発明の実施例に係る学習データ拡張装置が実行する処理を示すフローチャートである。
【図３】本発明の実施例に係る学習データ拡張装置が、学習セットごとに学習する処理を示すフローチャートである。
【図４】本発明の実施例に係る学習データ拡張装置が、活用する見出し語を決定する処理を示すフローチャートである。
【図５】本発明の実施例に係る学習データ拡張装置が保持する学習データサンプルの構成例を示す説明図である。
【図６】本発明の実施例に係る学習データ拡張装置が保持する見出し語関連文書群データの構成例を示す説明図である。
【図７】本発明の実施例に係る学習データ拡張装置が保持する学習セットデータの構成例を示す説明図である。
【図８】本発明の実施例に係る学習データ拡張装置が保持する学習セット別評価値データの構成例を示す説明図である。
【発明を実施するための形態】
【００１２】
最初に、本実施例の概要を説明する。上述したように、有用な情報が含まれる文書を識別する問題では、識別を行いたい母集団となる文書群から、有用な情報を含む文書群と含まない文書群に分けた学習データを作成し、機械学習を行う。そこでまず、機械学習のために有用な情報を含む文書群と含まない文書群に分けた学習データのサンプルを準備しておく。本発明は、この学習データサンプルを拡張する手段に関する。
【００１３】
学習データサンプルの特徴をとらえデータを拡張するために、各々の文書に付与された見出し語を用いる。
【００１４】
見出し語とは、文書の内容を要約するキーワードであり、人が付与する場合もあれば機械的に付与する場合もある。論文及び特許などには見出し語が付与されている。見出し語を使って文書の検索をすると、見出し語に関連する内容をもつ文書が効率よく集まる。
【００１５】
学習データサンプルとして得られたおのおのの文書にも、各文書に対応する見出し語が付与されている。そこで、学習データサンプルに対応する見出し語を、有用な情報を含むテキスト群（以後、該当文書群と呼ぶ）だけで集計したり、有用な情報を含まないテキスト群（以後、非該当文書群と呼ぶ）だけで集計したりすると、該当文書群、非該当文書群によって共通する見出し語もあるが、通常は、それぞれの文書群に固有の見出し語が含まれている。
【００１６】
該当文書群に固有の見出し語を取り出し、その見出し語に対応する文書を検索し、検索された文書を該当文書群の学習データとし、一方、非該当文書群に固有の見出し語を取り出し、その見出し語に対応する文書を検索し、検索された文書を非該当文書群の学習データとすれば、学習データサンプルの特徴を踏まえつつ、拡張したデータセットが得られる。
【００１７】
ただ、ある見出し語が該当文書又は非該当文書のいずれに固有のものであるかを人が判断することは簡単ではない。もし、見出し語が、該当文書に対応するか、非該当文書に対応するかを判断できれば、その見出し語が付与されている文書群を学習データとして採用し、該当文書又は非該当文書の学習データを作成することができる。
【００１８】
まず、該当文書として判断された学習データサンプルに対応する見出し語のリストと、非該当文書として判断された学習データサンプルに対応する見出し語のリストを作成し、該当文書及び非該当文書で共通する見出し語を削除し、該当文書及び非該当文書のそれぞれについて、学習データに取り入れる候補となる見出し語リストを作成する。
【００１９】
次に、候補の見出し語リストから該当文書・非該当文書の見出し語の組合せをランダムに生成する。所定の個数、組合せを作成し、学習セットリストを作成する。
【００２０】
見出し語の組合せを格納した学習セットリストの１セットを取得し、リスト中に記載された見出し語に関連する文書群を取得し、学習データを作成する。
【００２１】
作成された学習データで文書の識別器を作成し、評価データで評価を行う。
【００２２】
このような評価を繰り返し、あらかじめ準備したベースラインの評価値を上回ったときに使用していた見出し語を、学習データに使用する見出し語として採用し、採用された学習データから最終的な学習データを作成し、文書の識別を行う。
【００２３】
以下、図面を用いて実施例を説明する。
【００２４】
図１は、本発明の実施例に係る文書識別システム及び文書識別のための学習データ拡張装置の構成を示すブロック図である。
【００２５】
本実施例の文書識別システムは、ネットワーク１３０を介して接続された学習データ拡張装置１００及び文書管理サーバ１２０によって構成される。
【００２６】
学習データ拡張装置１００は、制御部１０１と、それぞれ制御部１０１に接続される記憶部１０２、入出力部１０３及び通信部１０４とからなる。後述するように、学習データ拡張装置は、与えられた学習データサンプルに、該当文書及び非該当文書を識別するための学習データとして利用できる文書を追加することで、学習データを拡張する（言い換えると拡張された学習データを作成する）装置である。
【００２７】
制御部１０１は、記憶部１０２に格納されたプログラム（図示省略）に従って種々の処理を実行するプロセッサ（Central Processing Unit、ＣＰＵ）である。本実施例の制御部１０１は、文書見出し語取得部１０５、候補見出し語リスト作成部１０６、テキスト取得部１０７、学習セット作成部１０８、学習部１０９及び活用見出し語決定部１１０を有する。以下の説明において上記の各処理部が実行する処理は、実際には制御部１０１が記憶部１０２に格納されたプログラムに従って実行する。
【００２８】
記憶部１０２は、制御部１０１の処理を実現するためのプログラム、及び、制御部１０１の処理において参照されるデータ等を格納する記憶装置であり、例えば半導体メモリ等の主記憶装置及びハードディスクドライブ等の外部記憶装置を含んでもよい。本実施例の記憶部１０２は、上記のプログラム（図示省略）のほか、見出し語関連文書群データ１１１、学習セットデータ１１２、学習セット別評価値データ１１３及び活用見出し語データ１１４を格納する。
【００２９】
入出力部１０３は、例えばキーボード又はポインティングデバイス等の入力装置と、例えば画像表示装置等の出力装置とを有する。通信部１０４は、ネットワーク１３０を介して文書管理サーバ１２０とデータを通信するインターフェースである。
【００３０】
文書管理サーバ１２０は、制御部１２１と、それぞれ制御部１２１に接続される記憶部１２２、入出力部１２３及び通信部１２４とからなる。
【００３１】
制御部１２１は、記憶部１２２に格納されたプログラム（図示省略）に従って種々の処理を実行するプロセッサである。本実施例の制御部１２１は、テキスト検索部１２５及びテキスト出力部１２６を有する。以下の説明において上記の各処理部が実行する処理は、実際には制御部１２１が記憶部１２２に格納されたプログラムに従って実行する。
【００３２】
記憶部１２２は、制御部１２１の処理を実現するためのプログラム、及び、制御部１２１の処理において参照されるデータ等を格納する記憶装置であり、例えば半導体メモリ等の主記憶装置及びハードディスクドライブ等の外部記憶装置を含んでもよい。本実施例の記憶部１２２は、上記のプログラム（図示省略）のほか、テキスト格納テーブル１２７を格納する。文書管理サーバ１２０のテキスト格納テーブル１２７には、多数の文書（例えば文献等）と、それぞれの文書に付与された一つ以上の見出し語とが格納されている。
【００３３】
入出力部１２３は、例えばキーボード又はポインティングデバイス等の入力装置と、例えば画像表示装置等の出力装置とを有する。通信部１２４は、ネットワーク１３０を介して学習データ拡張装置１００とデータを通信するインターフェースである。
【００３４】
図１の例では、学習データ拡張装置１００と文書管理サーバ１２０とがそれぞれ一つの計算機によって実現されるが、学習データ拡張装置１００及び文書管理サーバ１２０の機能が一つの計算機に集約されてもよいし、三つ以上の計算機に分散されてもよい。
【００３５】
入出力部１０３は、学習データサンプルを読み込む。学習データサンプルとは、文書識別モデルを作成するための学習データとして予め与えられた文書群であり、それぞれの文書が該当文書又は非該当文書のいずれであるかを示す情報を含んでいる（詳細は図５参照）。例えば、学習データサンプルに含まれるべき文書データの識別子と、それぞれの文書データが該当文書又は非該当文書のいずれであるかを示す情報とが入出力部１０３に入力され、入力された識別子に対応する文書データが通信部１０４を介して文書管理サーバ１２０から取得され、それらの情報が記憶部１０２に格納されてもよい。
【００３６】
ここで、該当文書とは、作成しようとする文書識別モデルによる識別の対象となる文書（言い換えると、当該文書識別モデルを用いた識別の結果として取得したい文書）であり、非該当文書はそれ以外の文書である。例えば、多数の文書（例えば文献等）の中から、ある薬品の治験に関連する情報を含む文書を取得するための文書識別モデルを作成しようとする場合、当該薬品の治験に関連する情報を含む文書が該当文書であり、それ以外の文書が非該当文書である。
【００３７】
文書見出し語取得部１０５は、学習データサンプルの識別子を文書管理サーバ１２０の入出力部１２３を介してテキスト検索部１２５に送ることによって、当該学習データサンプルに対応する文書見出し語を取得する。候補見出し語リスト作成部１０６は、文書別に取得した見出し語を集計し、該当文書と非該当文書とを比較することによって、学習データを作成する対象となる見出し語の候補リストを作成する。
【００３８】
テキスト取得部１０７は、見出し語を検索クエリとして見出し語が付与されている文書を文書管理サーバ１２０のテキスト検索部１２５を介してテキスト格納テーブル１２７から検索し、テキスト出力部１２６を介してテキストを取得する。取得したテキストは記憶部１０２の見出し語関連文書群データ１１１として格納される。学習セット作成部１０８は、候補見出し語リストの見出し語を所定の個数だけ（例えばランダムに）取得したデータを学習セットとして作成する。作成した学習セットは記憶部１０２の学習セットデータ１１２として格納される。
【００３９】
学習部１０９は、学習セットに含まれる見出し語に関連する文書群を、テキスト取得部１０７を介して取得し、学習を行う。制御部１０１は、学習した結果として得られる文書識別器によって、学習サンプルを識別し、その結果を集計し、記憶部１０２の学習セット別評価値データ１１３へ格納する。活用見出し語決定部１１０は、学習セットを評価した結果が所定の閾値を上回る学習セットから活用見出し語を決定する。決定された活用見出し語データは、文書識別を行うための学習データ作成時に用いられる。
【００４０】
図２は、本発明の実施例に係る学習データ拡張装置１００が実行する処理を示すフローチャートである。このフローチャートに基づく各ステップの処理は以下のとおりである。
【００４１】
ステップＳ２０１：文書見出し語取得部１０５は、入出力部１０３を介して得られた学習データサンプルの識別子を読み込むことによって、学習データサンプル別に対応する見出し語を取得する。例えば、文書例として医学生物学文献ＰｕｂＭｅｄを例に取ると、ＰｕｂＭｅｄの識別子であるＰＭＩＤをＰｕｂＭｅｄが提供するＡＰＩへ渡すことによって、ＰＭＩＤに対応するＭｅｓｈ  Ｔｅｒｍと呼ばれる見出し語が得られる。これによって一文書当たり２０程度の見出し語が得られる。図５に学習データのサンプルを示している。文書の識別子を渡すことによって、図６に示すような、文書別の見出し語を得ることができる。図６によると、例えば文書の識別子Ｌ０００１が入力された場合、見出し語“Ｍａｌｅ”が取得でき、その見出し語の識別子がＩ０００１となっている。図５及び図６の詳細は後述する。
【００４２】
ステップＳ２０２：候補見出し語リスト作成部１０６は、文書の見出し語を該当文書群及び非該当文書群のそれぞれに含まれる文書ごとに集計し、見出し語別に、当該見出し語が何回文書に現れたか（すなわち出現回数）を示す見出し語リストを作成する。
【００４３】
ステップＳ２０３：候補見出し語リスト作成部１０６は、該当文書群及び非該当文書群のそれぞれに固有な見出し語を得るため、ステップＳ２０２で作成した見出し語リストから、該当文書及び非該当文書に共通する見出し語を削除し、該当文書、非該当文書別に候補見出し語リストを作成する。これによって、後述する学習セットには、該当文書及び非該当文書の両方に共通して付与されている見出し語が含まれないこととなる。この処理において、候補見出し語リスト作成部１０６は、出現回数が所定の値より小さい見出し語（例えば１回しか出現しない見出し語）を見出し語リストから除いても良い。
【００４４】
また、候補見出し語リスト作成部１０６は、各見出し語について、該当文書出現割合（＝該当文書群における当該見出し語の出現頻度を該当文書群に属する文書数で割った数）と、非該当文書出現割合（＝非該当文書群における当該見出し語の出現頻度を非該当文書群に属する文書数で割った数）とを生成し、該当文書出現割合と非該当文書出現割合との比を取り、その比が異なる見出し語を各文書群において固有な見出し語として各文書群の候補見出し語リストに追加しても良い。例えばある見出し語について、該当文書出現割合が非該当文書出現割合より大きい場合に、当該見出し語を該当文書の候補見出し語リストに追加してもよい。
【００４５】
ステップＳ２０４：テキスト取得部１０７は、候補見出し語リストに含まれる見出し語に対応する文書を文書管理サーバ１２０から取得し、取得した文書を含む見出し語関連文書群データ１１１を作成する。
【００４６】
ステップＳ２０５：学習セット作成部１０８は、候補見出し語リストから学習データに用いる一つ以上の見出し語をランダムに抽出し、所定の数の学習セットを作成する。学習セットは、例えば図７（後述）のようなデータとして記録される。
【００４７】
ステップＳ２０６：学習部１０９は、学習セット別に文書識別モデルを作成し、評価データに対する当該文書識別モデルの識別の性能を示す評価値を得る。図３に詳細なフローを記載する（後述）。評価値は例えば、図８のような学習セット別評価値データ１１３に記憶される。
【００４８】
ステップＳ２０７：活用見出し語決定部１１０は、ベースライン評価値を設定しその評価値を上回る学習セットを利用して、学習データの作成に活用する見出し語を決定する。図４に詳細なフローを記載する（後述）。
【００４９】
ステップＳ２０８：制御部１０１は、決定された活用見出し語に関連する文書群を統合し、学習データを作成する。
【００５０】
ステップＳ２０９：制御部１０１は、ステップＳ２０８で作成された学習データを学習することによって、文書識別モデルを作成する。上記のように、評価値に基づいて決定された活用見出し語に関連する文書分を統合した学習データを使用するため、学習データサンプルのみを使用する場合と比較して、より性能のよい文書識別モデルを作成することが可能になる。
【００５１】
図３は、本発明の実施例に係る学習データ拡張装置１００が、学習セットごとに学習する処理を示すフローチャートである。
【００５２】
本処理は、様々な見出し語の組合せを生成し、その組合せで評価データによる評価を行い、評価の結果を示す評価値がベースラインの評価値を上回るかどうかを試し、その結果に従って学習データとして採用すべき見出し語を決めるための、処理の一部となっている。学習セットによる学習処理のフローチャートに基づく処理は以下のとおりである。
【００５３】
ステップＳ３０１：学習部１０９は、学習データに含める文書の見出し語の組合せを表す学習セットリストを取得する。例えば図７の学習セットデータのようなデータが取得される。
【００５４】
ステップＳ３０２：学習部１０９は、ステップ３０４からステップ３０７の処理を学習セットデータに含まれる全ての学習セットを対象として繰り返し実行する。このため、ステップＳ３０２において、学習部１０９は、ステップ３０４からステップ３０７の処理を学習セット数分繰り返したかどうかを判定する。学習セット数はパラメータとして与えられる。図７の学習セットデータには、学習セットの識別子の異なり数（すなわち、学習セットに出現するユニークな識別子の数）の分だけ学習セットが含まれる。学習部１０９は、順次学習セットの識別子を読み込み、読み込んだ識別子によって識別される学習セットを対象としてステップＳ３０３からステップＳ３０７の処理を実行する。全て読み込んだ（すなわち読み込むべき識別子が残っていない）時点で、学習部１０９は、ステップ３０４からステップ３０７の処理を学習セット数分繰り返したと判定し（Ｓ３０２：ＹＥＳ）、処理が終了する。
【００５５】
ステップＳ３０３：学習部１０９は、ステップＳ３０２で読み込んだ識別子によって識別される一つの学習セットを取得する。
【００５６】
ステップＳ３０４：学習セットには、見出し語別にその見出し語を使用するかどうかを示すフラグ（UseFlag７０３）がある。学習部１０９は、そのフラグが“使用”となっている場合の見出し語のデータを取得する。図７を例に取ると、識別子“Ｔ００１”によって識別される学習セットにおいては、識別子、“Ｉ０００１”、“Ｉ０００４”、“Ｉ０００５”によって識別される見出し語がUseFlag＝１となっている。このため、学習部１０９は、文書管理サーバ１２０に格納された文書から、“Ｉ０００１”、“Ｉ０００４”、“Ｉ０００５”の見出し語に関連する文書群（すなわちそれらの見出し語が付与された文書の集合）を取得することになる。
【００５７】
さらに、学習部１０９は、図６の見出し語関連文書群データ１１１を参照し、見出し語の識別子“Ｉ０００１”、“Ｉ０００４”、“Ｉ０００５”と関連する文書のタイトル、アブストラクト及び本文を得る。学習セットには、見出し語ごとに、非該当文書の学習データとして採用するか、該当文書の学習データとして採用するかを示すフラグ（Ｆｌａｇ７０４）が含まれている。図７の例では、Ｆｌａｇ７０４として“１”が付された見出し語に関連する文書が該当文書の学習データとして採用され、Ｆｌａｇ７０４として“０”が付された見出し語に関連する文書が非該当文書の学習データとして採用される。
【００５８】
ステップＳ３０５：学習部１０９は、学習セットデータに含まれる、該当文書の学習データとして採用するかを示すフラグを元に、非該当文書と該当文書のそれぞれについて見出し語関連文書群を統合し学習データを作成する。なお、ここで作成される学習データは、図２のステップＳ２０８において作成される最終的な学習データは異なり、各見出し語を最終的な学習データの作成に活用するか否かを判断する処理のために一時的に作成されるものである。
【００５９】
ステップＳ３０６：学習部１０９は、作成した学習データを使用した学習を行うことによって文書識別モデルを作成する。文書識別モデルの作成には、いかなる方法を使用してもよいが、例えば、Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ（ＳＶＭ）を使用しても良い。これは、文書のテキスト中から名詞や動詞語幹などの特徴語を検索し、該文書中にそれらの特徴語が含まれるか否かを０／１で表現し、又は該文書のテキスト中の特徴語が全語句に占める比をベクトルで表現し、文書群にあたる多次元の特徴ベクトル群を超平面の境界で区切ることによって二つのカテゴリに識別する手法である。その他、Bag of Tricks for Efficient Text Classification（https://arxiv.org/abs/1607.01759）に示されるような深層学習による文書識別手法を用いても良い。
【００６０】
ステップＳ３０７：学習部１０９は、あらかじめ作成しておいた評価データによって、文書識別モデルを評価し、その評価結果を学習セット別評価値データ１１３へ出力する。出力される学習セット別評価値データ１１３の例については、図８を参照して後述する。
【００６１】
ここで、評価データとは、作成された文書識別モデルを評価するために予め作成されるデータであり、最初に使用された学習データサンプルと同様に、それぞれ該当文書か非該当文書かを示す情報が付与された複数の文書を含む。例えば評価データは学習データサンプルと同一の文書群であってもよいが、学習データサンプルとは異なる文書群であることが望ましい。
【００６２】
図４は、本発明の実施例に係る学習データ拡張装置１００が、活用する見出し語を決定する処理を示すフローチャートである。
【００６３】
このフローチャートに基づく処理は以下のとおりである。これは、図２のステップＳ２０７の処理を詳細化したものである。
【００６４】
ステップＳ４０１：活用見出し語決定部１１０は、人が非該当文書の見出し語であると確実に判断できる見出し語、及び、該当文書の見出し語であると確実に判断できる見出し語を複数選択し、それらに基づく学習データを作成し、文書識別モデルを作成する。このとき、活用見出し語決定部１１０は、学習データサンプルとして用意された文書データを使用して文書識別モデルを作成してもよい。活用見出し語決定部１１０は、このモデルを評価データで評価し結果を得る。具体的には、活用見出し語決定部１１０は、上記のように作成された文書識別モデルを用いて評価データに含まれる各文書が該当文書又は非該当文書のいずれであるか識別し、識別の結果を所定の方法で評価することによって、評価の結果（評価値）を得る。この結果をベースラインの評価値とする。このようにして得られた評価値をベースラインとして使用することによって、確実に評価値が改善される学習データを作成することが可能になる。
【００６５】
ステップＳ４０２：活用見出し語決定部１１０は、記憶部１０２から、学習セット別評価値データ１１３を得る。このデータは、図３に示す処理によって作成されたデータである。
【００６６】
ステップＳ４０３：活用見出し語決定部１１０は、次のステップ４０４からステップ４０６までの処理を学習セット数の分だけ繰り返す。ステップＳ４０３において、活用見出し語決定部１１０は、ステップ４０４からステップ４０６までの処理を学習セット数の分だけ繰り返していない場合には（ステップＳ４０３：ＮＯ）、まだ処理を行っていないいずれかの学習セットを対象として次のステップ４０４からステップ４０６までの処理を実行する。一方、ステップ４０４からステップ４０６までの処理を学習セット数の分だけ繰り返した場合には（ステップＳ４０３：ＹＥＳ）、処理を終了する。
【００６７】
ステップＳ４０４：活用見出し語決定部１１０は、学習セットの評価値データとベースラインの評価値とを比較する。例えば、評価値としてＦ１の値を使用する場合において、ベースラインの評価値がＦ１＝０．７２とすると、図８の学習セット別の評価値データによると、学習セットの識別子“Ｔ００１”のＦ１＝０．７４３４はベースラインを上回り、学習セットの識別子“Ｔ００２”のＦ１＝０．７１３２はベースラインを下回っている。
【００６８】
ステップＳ４０５：学習セットの評価値がベースラインを上回っていることは、その学習セットに基づいて抽出された該当文書及び非該当文書を学習データに追加することで、精度の高い文書識別モデルが作成されることを意味している。すなわち、評価値がベースラインを上回ったときに使用されていた見出し語を採用し、学習データを作成することが望ましいと言える。このため、活用見出し語決定部１１０は、ステップＳ４０４の比較の結果、学習セットの評価値がベースラインの評価値を上回ったかを判断し、上回った場合の学習セットで使用されている（すなわちUseFlag＝１である）見出し語を得る。
【００６９】
ステップＳ４０６：活用見出し語決定部１１０は、Ｓ４０５で得られた学習セットの見出し語の出現回数を加算（＋１）し、評価値が上回ったときによく使用されている見出し語を得る。
【００７０】
活用見出し語決定部１１０は、最終的な学習データを作成するために、Ｓ４０６で得られた全ての見出し語（すなわちＳ４０５で評価値がベースラインの評価値を上回ったと判定された全ての学習セットに含まれる全ての見出し語）を活用すると決定しても良い。
【００７１】
あるいは、活用見出し語決定部１１０は、Ｓ４０６で得られた見出し語をベースラインの見出し語に追加していき再度評価を行い、評価値が上がるときだけ見出し語を活用すると決定しても良い。具体的には、例えば、活用見出し語決定部１１０は、出現回数が多い順に、その見出し語が付与された文書データを、学習データサンプルを含む学習データに追加して、その学習データを学習することによって文書識別モデルを作成し、その評価値を計算する。これによって評価値が改善しない（例えば計算された評価値がベースラインの評価値を下回る、又は、前回計算された評価値を下回る）場合に、当該見出し語を学習データの作成に活用しないと決定してもよい。評価値が改善される場合には、当該見出し語を学習データの作成に活用すると決定し、当該見出し語が付与された文書データが追加された学習データに対して、さらに、出現回数が次に多い見出し語が付与された文書データを追加して、上記と同様の処理を繰り返してもよい。
【００７２】
活用見出し語決定部１１０は、活用すると決定した見出し語を活用見出し語データ１１４へ書き出す。
【００７３】
あるいは、活用見出し語決定部１１０は、出現回数が所定の条件を満たす見出し語（例えば出現回数が所定の基準値を超える見出し語、又は、出現回数が上位のいくつかの見出し語）を、学習データの作成に活用すると決定してもよい。
【００７４】
あるいは、活用見出し語決定部１１０は、評価値が上回った学習データによって文書識別モデルを作成し、そのモデルによる識別結果をアンサンブルし、最終的な識別結果を出力しても良い。
【００７５】
上記の方法で学習データを作成することによって、人の作業負担を増やさずに、所望の文書を識別するためのモデルの作成に有用な、十分な量の学習データを作成することができる。
【００７６】
図５は、本発明の実施例に係る学習データ拡張装置１００が保持する学習データサンプルの構成例を示す説明図である。
【００７７】
学習データサンプルには、文書の識別子５０１、文書内容であるタイトル５０２、アブストラクト５０３、及び、各文書が該当文書かどうかを判断したフラグが含まれている。このデータを元に図２に示す方法でデータの拡張を行う。
【００７８】
図６は、本発明の実施例に係る学習データ拡張装置１００が保持する見出し語関連文書群データ１１１の構成例を示す説明図である。
【００７９】
見出し語関連文書群データ１１１には、見出し語の識別子６０１、見出し語６０２、当該見出し語が付与されている文書の識別子６０３、文書の内容を表すタイトル６０４、及びアブストラクト６０５などが含まれる。
【００８０】
図７は、本発明の実施例に係る学習データ拡張装置１００が保持する学習セットデータ１１２の構成例を示す説明図である。
【００８１】
学習セットデータ１１２には、学習セットの識別子７０１、見出し語の識別子７０２、当該見出し語を学習セットに含めるかどうかを示す使用フラグ７０３、及び、当該見出し語が付与された文書を該当文書として扱うか非該当文書として扱うかを示すフラグ７０４が含まれる。このデータは、図２のステップＳ２０５の処理の結果、生成されるデータである。また、ステップＳ２０６においても学習データを作成するために使用される。
【００８２】
図７には、学習データサンプルからそれぞれ識別子“Ｉ０００１”〜“Ｉ０００５”で識別される５個の見出し語が抽出され、それらに基づいて、それぞれ識別子“Ｔ００１”及び“Ｔ００２”で識別される２個の学習セットが作成された例を示している。フラグ７０４の値が示すように、見出し語“Ｉ０００１”及び“Ｉ０００２”は非該当文書に付与された見出し語であり、見出し語“Ｉ０００３”〜“Ｉ０００５”は該当文書に付与された見出し語である。
【００８３】
図７の例では、学習セット“Ｔ００１”において、見出し語“Ｉ０００２”及び“Ｉ０００３”の使用フラグ７０３の値は“０”であり、見出し語“Ｉ０００１”、“Ｉ０００４”及び“Ｉ０００５”の使用フラグの値は“１”である。これは、学習セット“Ｔ００１”が、学習データとして使用する文書データを抽出するための見出し語として見出し語“Ｉ０００１”、“Ｉ０００４”及び“Ｉ０００５”を含むことを意味している。
【００８４】
一方、学習セット“Ｔ００２”において、見出し語“Ｉ０００１”〜“Ｉ０００３”の使用フラグ７０３の値は“１”であり、見出し語“ “Ｉ０００４”及び“Ｉ０００５”の使用フラグの値は“０”である。これは、学習セット“Ｔ００２”が、学習データとして使用する文書データを抽出するための見出し語として見出し語“Ｉ０００１”〜“Ｉ０００３”を含むことを意味している。
【００８５】
これらの学習セットは、図２のステップＳ２０５で作成される。図２の例では、各学習セットが学習データとして使用する文書データを抽出するための見出し語としてどの見出し語を含むかがランダムに決定される。これによって、種々の見出し語の組合せが生成され、その中から有用な見出し語を選択することが可能になる。ただし、このような決定方法は一例であり、例えばランダムではなく何らかの規則に基づいてそれぞれの学習データに含まれる見出し語が決定されてもよい。
【００８６】
図３のステップＳ３０３で上記の学習セット“Ｔ００１”が取得された場合、学習データサンプル以外の文書データのうち、見出し語“Ｉ０００１”、“Ｉ０００４”又は“Ｉ０００５”の少なくともいずれかが見出し語として付与された文書データからなる文書群が取得される（ステップＳ３０４）。そして、それらの文書データのうち、見出し語“Ｉ０００１”が付与された文書データを非該当文書として含み、“Ｉ０００４”又は“Ｉ０００５”が付与された文書データを該当文書として含む学習データが作成される（ステップ３０５）。
【００８７】
そして、作成された学習データを学習することによって文書識別モデルが生成され（ステップＳ３０６）、生成された文書識別モデルの評価値が計算される（ステップＳ３０７）。
【００８８】
例えば、計算された評価値に基づいて、見出し語“Ｉ０００１”及び“Ｉ０００３”を学習セットの作成に活用すると決定された場合（図２のステップＳ２０７）、文書管理サーバ１２０が保持している学習データサンプル以外の文書データのうち、見出し語“Ｉ０００１”が付与された文書データが、非該当文書のデータとして学習データに追加され、見出し語“Ｉ０００３”が付与された文書データが、該当文書のデータとして学習データに追加される（Ｓ２０８）。
【００８９】
図８は、本発明の実施例に係る学習データ拡張装置１００が保持する学習セット別評価値データ１１３の構成例を示す説明図である。
【００９０】
学習データ拡張装置１００には、どの学習セットを使用したかを示す学習セットの識別子８０１、どの評価データを使用した結果かを示す評価データの識別子８０２、及び、評価の結果を示す一つ以上の評価値が含まれる。図８の例では、評価値として、Ｆ値（Ｆ１）８０３、再現率（Recall）８０４、精度（Precision）８０５及び正解率（Accuracy）８０６が含まれる。これらの評価値は一例であり、これらの一部のみ、又はこれら以外の評価値が含まれてもよい。このような評価値を用いることによって、所望の性能を有する文書識別モデルの作成に寄与する学習データを作成することができる。
【００９１】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明のより良い理解のために詳細に説明したのであり、必ずしも説明の全ての構成を備えるものに限定されものではない。
【００９２】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によってハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによってソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、不揮発性半導体メモリ、ハードディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等の記憶デバイス、または、ＩＣカード、ＳＤカード、ＤＶＤ等の計算機読み取り可能な非一時的データ記憶媒体に格納することができる。
【００９３】
また、制御線及び情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線及び情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【００９４】
１００  学習データ拡張装置
１０１、１２１  制御部
１０２、１２２  記憶部
１０３、１２３  入出力部
１０４、１２４  通信部
１２０  文書管理サーバ
１３０  ネットワーク
【図１】
2019204246.tif 000003
【図２】
2019204246.tif 000004
【図３】
2019204246.tif 000005
【図４】
2019204246.tif 000006
【図５】
2019204246.tif 000007
【図６】
2019204246.tif 000008
【図７】
2019204246.tif 000009
【図８】
2019204246.tif 000010