(57)【特許請求の範囲】
【請求項１】
コンピュータを、
複数の学習モデルをそれぞれ評価する評価手段と、
前記評価手段の評価結果を表示手段に表示し、該表示された複数の学習モデルから第１の学習モデルの選択を受け付ける選択手段と、
前記第１の学習モデルに基づき文書情報に付与する属性情報を推定する推定手段と、
前記推定手段によって前記属性情報が付与された前記文書情報を入力として前記複数の学習モデルの少なくとも１つを用いて学習する学習手段として機能させるための情報処理プログラム。
【請求項２】
前記評価手段は、前記学習手段により学習された前記複数の学習モデルを評価し、
前記表示手段は、前記学習手段により学習された前記複数の学習モデルを前記評価手段の評価結果とともに表示し、
前記選択手段は、前記表示手段が表示する前記複数の学習モデルから前記推定手段が用いる第２の学習モデルを選択する請求項１に記載の情報処理プログラム。
【請求項３】
前記推定手段は、前記選択手段によって選択された前記第２の学習モデルに基づいて、入力される質問としての文書情報に付与するべき属性情報を推定し、
前記コンピュータを、
前記推定手段が推定した属性情報に基づいて回答としての回答情報を選択し、前記質問の質問元へ回答する回答手段としてさらに機能させる請求項２に記載の情報処理プログラム。
【請求項４】
前記表示手段は、前記評価手段の評価結果に基づいて前記複数の学習モデルの表示順を変更する請求項１−３のいずれか１項に記載の情報処理プログラム。
【請求項５】
前記評価手段は、前記評価結果と、前記属性情報の内容及び前記複数の学習モデルが生成された観点を含む他のパラメータとの相関を評価し、
前記表示手段は、前記評価手段の評価する前記相関に基づいて前記複数の学習モデルの表示順を変更する請求項１−３のいずれか１項に記載の情報処理プログラム。
【請求項６】
複数の学習モデルをそれぞれ評価する評価手段と、
前記評価手段の評価結果を表示手段に表示し、該表示された複数の学習モデルから第１の学習モデルの選択を受け付ける選択手段と、
前記第１の学習モデルに基づき文書情報に付与する属性情報を推定する推定手段と、
前記推定手段によって前記属性情報が付与された前記文書情報を入力として前記複数の学習モデルの少なくとも１つを用いて学習する学習手段とを有する情報処理装置。
【請求項７】
コンピュータを、
複数の学習モデルをそれぞれ評価する評価手段と、
前記複数の学習モデルから所定の条件を満たす評価結果に対応する学習モデルを第１の学習モデルとして選択する選択手段と、
前記第１の学習モデルに基づき文書情報に付与する属性情報を推定する推定手段と、
前記推定手段によって前記属性情報が付与された前記文書情報を入力として前記複数の学習モデルの少なくとも１つを用いて学習する学習手段として機能させるための情報処理プログラム。
【請求項８】
複数の学習モデルをそれぞれ評価する評価手段と、
前記複数の学習モデルから所定の条件を満たす評価結果に対応する学習モデルを第１の学習モデルとして選択する選択手段と、
前記第１の学習モデルに基づき文書情報に付与する属性情報を推定する推定手段と、
前記推定手段によって前記属性情報が付与された前記文書情報を入力として前記複数の学習モデルの少なくとも１つを用いて学習する学習手段とを有する情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理プログラム及び情報処理装置に関する。
【背景技術】
【０００２】
従来の技術として、学習モデルのパラメータ調整により学習モデルによる文書情報の分類の精度を向上する情報処理装置が提案されている（例えば、特許文献１参照）。
【０００３】
特許文献１に開示された情報処理装置は、学習モデルの複数の所定のパラメータに基づいて文書情報を複数の属性に分類する分類手段と、複数の所定のパラメータを変化させて、分類済みの文書情報を分類手段に入力して分類のシミュレーションを行い、当該シミュレーションの結果を管理者に通知するシミュレーション手段と、当該通知を参照して管理者から入力されるパラメータに基づいて学習モデルのパラメータを調整するパラメータ調整手段とを有し、シミュレーションの結果が良好なパラメータを分類手段に適用することで文書情報の分類の精度を向上する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１４０３１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、複数の学習モデルを用いて、文書情報の内容に応じた属性情報を付与する学習モデルを生成する情報処理プログラム及び情報処理装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一態様は、上記目的を達成するため、以下の情報処理プログラム及び情報処理装置を提供する。
【０００７】
［１］コンピュータを、
複数の学習モデルをそれぞれ評価する評価手段と、
前記評価手段の評価結果を表示手段に表示し、該表示された複数の学習モデルから第１の学習モデルの選択を受け付ける選択手段と、
前記第１の学習モデルに基づき文書情報に付与する属性情報を推定する推定手段と、
前記推定手段によって前記属性情報が付与された前記文書情報を入力として前記複数の学習モデルの少なくとも１つを用いて学習する学習手段として機能させるための情報処理プログラム。
【０００８】
［２］前記評価手段は、前記学習手段により学習された前記複数の学習モデルを評価し、
前記表示手段は、前記学習手段により学習された前記複数の学習モデルを前記評価手段の評価結果とともに表示し、
前記選択手段は、前記表示手段が表示する前記複数の学習モデルから前記推定手段が用いる第２の学習モデルを選択する前記［１］に記載の情報処理プログラム。
【０００９】
［３］前記推定手段は、前記選択手段によって選択された前記第２の学習モデルに基づいて、入力される質問としての文書情報に付与するべき属性情報を推定し、
前記コンピュータを、
前記推定手段が推定した属性情報に基づいて回答としての回答情報を選択し、前記質問の質問元へ回答する回答手段としてさらに機能させる前記［２］に記載の情報処理プログラム。
【００１０】
［４］前記表示手段は、前記評価手段の評価結果に基づいて前記複数の学習モデルの表示順を変更する前記［１］−［３］のいずれかに記載の情報処理プログラム。
【００１１】
［５］前記評価手段は、前記評価結果と、前記属性情報の内容及び前記複数の学習モデルが生成された観点を含む他のパラメータとの相関を評価し、
前記表示手段は、前記評価手段の評価する前記相関に基づいて前記複数の学習モデルの表示順を変更する前記［１］−［３］のいずれかに記載の情報処理プログラム。
【００１２】
［６］複数の学習モデルをそれぞれ評価する評価手段と、
前記評価手段の評価結果を表示手段に表示し、該表示された複数の学習モデルから第１の学習モデルの選択を受け付ける選択手段と、
前記第１の学習モデルに基づき文書情報に付与する属性情報を推定する推定手段と、
前記推定手段によって前記属性情報が付与された前記文書情報を入力として前記複数の学習モデルの少なくとも１つを用いて学習する学習手段とを有する情報処理装置。
【００１３】
［７］コンピュータを、
複数の学習モデルをそれぞれ評価する評価手段と、
前記評価手段の評価結果に基づき、前記複数の学習モデルから所定の条件を満たす評価結果に対応する学習モデルを第１の学習モデルとして選択する選択手段と、
前記第１の学習モデルに基づき文書情報に付与する属性情報を推定する推定手段と、
前記推定手段によって前記属性情報が付与された前記文書情報を入力として前記複数の学習モデルの少なくとも１つを用いて学習する学習手段として機能させるための情報処理プログラム。
【００１４】
［８］複数の学習モデルをそれぞれ評価する評価手段と、
前記評価手段の評価結果に基づき、前記複数の学習モデルから所定の条件を満たす評価結果に対応する学習モデルを第１の学習モデルとして選択する選択手段と、
前記第１の学習モデルに基づき文書情報に付与する属性情報を推定する推定手段と、
前記推定手段によって前記属性情報が付与された前記文書情報を入力として前記複数の学習モデルの少なくとも１つを用いて学習する学習手段とを有する情報処理装置。
【発明の効果】
【００１５】
請求項１又は６−８に係る発明によれば、複数の学習モデルを用いて、文書情報の内容に応じた属性情報を付与する学習モデルを生成することができる。
【００１６】
請求項２に係る発明によれば、学習後に、文書情報の内容に応じて適切な学習モデルを選択するための判断材料となる情報を表示することができる。
【００１７】
請求項３に係る発明によれば、質問の回答に用いる学習モデルについて、文書情報の内容に応じて適切な学習モデルを選択するための判断材料となる情報を表示することができる。
【００１８】
請求項４に係る発明によれば、評価結果に基づいて複数の学習モデルの表示順を変更することができる。
【００１９】
請求項５に係る発明によれば、相関に基づいて複数の学習モデルの表示順を変更することができる。
【図面の簡単な説明】
【００２０】
【図１】図１は、本発明の実施の形態に係る情報処理装置の構成の一例を示すブロック図である。
【図２】図２は、実施の形態に係る情報処理装置の構成の一例を示すブロック図である。
【図３】図３は、学習モデル生成動作の一例を説明するための概略図である。
【図４】図４は、属性名の入力を受け付ける属性情報入力画面の構成の一例を示す概略図である。
【図５】図５は、学習の開始を受け付ける分類画面の構成の一例を示す概略図である。
【図６】図６は、学習結果の評価情報の内容を示す学習結果表示画面の構成の一例を示す概略図である。
【図７】図７は、再学習動作の一例を説明するための概略図である。
【図８】図８は、学習モデル選択画面の構成の一例を示す概略図である。
【図９】図９は、属性情報推定画面の構成の一例を示す概略図である。
【図１０】図１０は、学習モデル選択画面の構成の一例を示す概略図である。
【図１１】図１１は、再学習前の学習モデル分析画面の構成の一例を示す概略図である。
【図１２】図１２は、再学習後の学習モデル分析画面の構成の一例を示す概略図である。
【図１３】図１３は、回答動作の一例を説明するための概略図である。
【図１４】図１４は、質問入力画面の構成の一例を示す概略図である。
【図１５】図１５は、回答表示画面の構成の一例を示す概略図である。
【発明を実施するための形態】
【００２１】
［実施の形態］
（情報処理システムの構成）
図１は、本発明の実施の形態に係る情報処理システムの構成の一例を示す概略図である。
【００２２】
この情報処理システム７は、情報処理装置１、端末２と、端末３とをネットワーク６によって互いに通信可能に接続することで構成される。なお、端末２及び端末３は、１台を図示しているが、複数台接続されるものであってもよい。
【００２３】
情報処理装置１は、情報を処理するための機能を有するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）や情報を記憶するための機能を有するＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）又はフラッシュメモリ等の電子部品を備える。
【００２４】
情報処理装置１は、端末２から質問として文書情報を受け付けると、当該文書情報を複数の属性に分類し、当該分類結果として付与された属性に基づいて質問に対する回答として回答情報を選択し、端末２に送信するものであって、端末３によって管理されるものである。ここで、文書情報とは、例えば、電子メール、チャット等の情報通信で送信されるテキスト情報や、音声情報をテキスト化した情報、紙文書等を光学走査して得られた情報等を用いることができる。
【００２５】
また、情報処理装置１は、質問に対する回答を端末２に送信せずに管理者５の利用する端末３に送信するものであってもよく、端末３に表示された複数の回答情報から管理者５に選択された回答情報を端末２に送信する構成としてもよい。
【００２６】
さらに、端末２から情報処理装置１に質問を送信せずに、端末３に送信し、管理者５が端末３を用いて情報処理装置１に質問を送信して、情報処理装置１から得られた回答を端末３から端末２に送信するものであってもよい。
【００２７】
また、情報処理装置１は、複数の学習モデルを用いるものであり、複数の学習モデルから管理者５によって選択された学習モデルを用いて文書情報の分類を行う他、当該複数の学習モデルの生成及び当該複数の学習モデルの再学習を行うものである。また、情報処理装置１は、複数の学習モデルから管理者５によって学習モデルを選択する際に、選択の判断材料となる情報（評価情報１１４）を利用者に提示する。
【００２８】
端末２は、パーソナルコンピュータや携帯電話、タブレット型端末等の情報処理装置であって、情報を処理するための機能を有するＣＰＵや情報を記憶するための機能を有するフラッシュメモリ等の電子部品を備え、質問者４によって操作される。また、端末２は、質問者４によって質問が入力されると、当該質問を文書情報として情報処理装置１に送信する。また、端末２は質問を端末３に送信するものであってもよい。
【００２９】
端末３は、パーソナルコンピュータや携帯電話、タブレット型端末等の情報処理装置であって、情報を処理するための機能を有するＣＰＵや情報を記憶するための機能を有するフラッシュメモリ等の電子部品を備え、管理者５によって操作され、情報処理装置１を管理する。また、端末３は、端末２から質問を受け付けると、又は管理者５によって質問が入力されると、当該質問を文書情報として情報処理装置１に送信する。
【００３０】
ネットワーク６は、高速通信が可能な通信ネットワークであり、例えば、イントラネットやＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等の私設の通信網又はインターネット等の公衆の通信網であり、有線、無線は問わない。
【００３１】
なお、上記において情報処理装置１に質問を送信するいくつかのパターンを例示したが、以下においては説明を簡略化するため、端末２から送信された質問を情報処理装置１が受信し、当該質問に対する回答を情報処理装置１から端末２に対して送信する場合について代表して説明する。
【００３２】
（情報処理装置の構成）
図２は、実施の形態に係る情報処理装置１の構成の一例を示すブロック図である。
【００３３】
この情報処理装置１は、ＣＰＵ等から構成され各部を制御するとともに各種のプログラムを実行する制御部１０と、ＨＤＤやフラッシュメモリ等の記録媒体から構成され情報を記憶する記憶装置の一例としての記憶部１１と、外部の端末とネットワーク６を介して通信する通信部１２とを備える。
【００３４】
なお、情報処理装置１は、通信部１２及びネットワークを介して接続された端末２、３から要求を受け付けて動作し、要求に対する応答を端末２、３に送信するものである。
【００３５】
制御部１０は、後述する情報処理プログラム１１０を実行することで、文書情報受付手段１００、属性情報付与手段１０１、学習手段１０２、属性情報推定手段１０３、学習結果評価手段１０４、学習結果表示手段１０５、学習モデル選択手段１０６及び質問回答手段１０７等として機能する。
【００３６】
文書情報受付手段１００は、端末２から質問として文書情報１１１を受け付け、記憶部１１に格納する。なお、文書情報受付手段１００は、学習用の文書情報１１１を図示しない外部装置から受け付けてもよい。
【００３７】
属性情報付与手段１０１は、端末３の操作に基づき、文書情報１１１に対して属性情報１１２を付与する。つまり、端末３を介した管理者５の手動によって文書情報１１１が分類される。
【００３８】
学習手段１０２は、管理者５により手動で属性情報１１２が付与された文書情報１１１を入力として学習し、学習モデル１１３を生成する。また、学習手段１０２は、後述する属性情報推定手段１０３により自動で属性情報１１２が付与された文書情報１１１を入力として学習モデル１１３を再学習する。なお、学習モデルとは、学習データとしてある属性情報１１２が付与された複数の文書情報１１１に共通する類似性を見つけて、学習データでない属性情報１１２が未だ付与されていない文書情報１１１に対し属性情報を付与するために以下に説明する属性情報推定手段１０３によって用いられるものである。
【００３９】
属性情報推定手段１０３は、学習モデル１１３に基づき入力される文書情報１１１に対し属性情報１１２を推定して付与する。
【００４０】
学習結果評価手段１０４は、学習手段１０２により生成された学習モデル１１３又は再学習された学習モデル１１３の学習結果を評価して評価情報１１４を生成する。評価方法については後述する。
【００４１】
学習結果表示手段１０５は、学習結果評価手段１０４が生成した評価情報１１４を端末３の表示部に表示可能な情報として端末３に出力する。
【００４２】
学習モデル選択手段１０６は、管理者５の端末３に対する操作に基づいて、属性情報推定手段１０３で用いる学習モデルを複数の学習モデル１１３の中から選択する。
【００４３】
なお、学習モデル選択手段１０６は、学習結果評価手段１０４が生成した評価情報１１４を用いて、予め定めた条件に基づき自動で学習モデルを選択するものであってもよい。予め定めた条件としては、評価情報１１４としての交差検定精度（後述）が一定の値以上である学習モデルを抽出してもよいし、最も交差検定精度が高い学習モデルを選択するようなもの等が考えられる。なお、交差検定精度を必ずしも採用する必要はなく、他のパラメータを用いてもよい。また、評価情報１１４に含まれる複数のパラメータ（例えば、交差検定精度と業種）を用いてもよい。なお、この場合、評価情報１１４の内容を表示する学習結果表示手段１０５は省略してもよい。
【００４４】
質問回答手段１０７は、属性情報推定手段１０３によって推定された当該文書情報１１１に付与される属性情報１１２に基づいて、質問としての文書情報１１１に対し、回答としての回答情報１１５を選択し、端末２に出力する。
【００４５】
記憶部１１は、情報処理プログラム１１０、文書情報１１１、属性情報１１２、学習モデル１１３、評価情報１１４及び回答情報１１５等を格納する。
【００４６】
情報処理プログラム１１０は、制御部１０を上記した各手段１００〜１０７として動作させるプログラムである。
【００４７】
なお、情報処理装置１は、例えば、サーバ又はパーソナルコンピュータであり、その他に携帯電話機、タブレット端末等を用いることもできる。
【００４８】
また、情報処理装置１は、さらに操作部及び表示部を有して、外部の端末を用いずに単独で動作するように構成してもよい。
【００４９】
（情報処理装置の動作）
次に、本実施の形態の作用を、（１）学習モデル生成動作、（２）再学習動作、（３）回答動作に分けて説明する。
【００５０】
まず、動作の概要について説明する。最初に、「（１）学習モデル生成動作」において、管理者５によって属性情報が付与された文書情報を用いて学習を実行し、学習モデルを生成する。なお、当該学習モデルは「（１）学習モデル生成動作」を繰り返して複数生成されるものである。
【００５１】
なお、学習モデルは、例えば、種別（回答、質問など）、カテゴリ（税金、年金問題など）、業種（製造業、サービス業なお）、時間的要素（季節毎、月毎など）、地理的要素、法律の改正等の観点で生成してもよい。これらの観点はあくまでも例示であり、種々の観点で学習モデルを生成することができる。
【００５２】
また、学習モデルは、後述する「（２）再学習動作」で再学習することでも新たに生成される。つまり、再学習前の学習モデルと再学習後の学習モデルとは別個に存在するように生成する。なお、再学習によって再学習前の学習モデルと別個に新たに学習モデルを生成せず、一の学習モデルを更新する構成としてもよい。
【００５３】
次に、「（２）再学習動作」において、属性情報の付与されていない新たな文書情報に対し「（１）学習モデル生成動作」で生成した学習モデルで属性情報を付与するとともに、属性情報が付与された文書情報を用いて前記学習モデルについて再学習を行う。当該再学習の結果も含めて評価情報は、すべての学習モデルについて管理者５に提示され、管理者５は適切な学習モデルを「（３）回答動作」で用いる学習モデルとして選択する。なお、「（２）再学習動作」は定期的に実施されるものであってもよい。
【００５４】
再学習動作のタイミングとしては、属性情報の関連付けされる状況に応じて実施するものとする。例えば、質問者から受け付けた文書情報に対して、既存の学習モデルを用いて属性情報を付与した場合に、当該文書情報に関連付けられる特定の属性情報の件数に変化が生じたタイミングで再学習を行ってもよい。具体的な例としては、税金に関する法律が改正されると、文書情報に関連付けらる属性情報（「税金」等）の件数が変化（増加、減少等）する場合があるため、このような場合に学習モデルを再学習することが好ましい。また、他の例として、季節、月などの時期的（時間的も含む）なタイミングで再学習を行ってもよい。
【００５５】
また、「（２）再学習動作」において用いる属性情報が付与された文書情報は、必ずしも「（１）学習モデル生成動作」で生成した学習モデルで属性情報を付与したものでなくてもよい。つまり、属性情報が付与された文書情報が用意され、当該文書情報を用いて学習モデルが再学習をした結果及び評価情報が管理者５に提示され、当該評価情報等に基づいて「（３）回答動作」で用いる学習モデルが選択されればよい。
【００５６】
次に、「（３）回答動作」において、「（２）再学習動作」で最終的に選択した学習モデルを用いて、質問者４から送信される質問としての文書情報に対し、属性情報を推定し、推定した当該属性情報に適した回答としての回答情報を質問者４に送信する。以下、各動作の詳細について述べる。
【００５７】
（１）学習モデル生成動作
図３は、学習モデル生成動作の一例を説明するための概略図である。
【００５８】
図３に示すように、まず、管理者５は、文書情報１１１ａ１−１１１ａｎに属性情報１１２ａ１−１１２ａｎを付与するために、端末３の操作部を操作する。なお、一の文書に対して、複数の属性情報を付与してもよい。また、ある文書情報に付与した属性情報と他の文書に付与した属性情報が同一でもよい。本実施形態においては、図３以降に示すように、属性情報を「ｔａｇ」で表現している。属性情報１１２ａ１−１１２ａｎには、種別、カテゴリ、業種等が用意されている。
【００５９】
端末３は、属性名付与要求を情報処理装置１に送信する。
【００６０】
情報処理装置１の属性情報付与手段１０１は、端末３からの要求に応じて、属性情報入力画面を端末３の表示部に表示して種別やカテゴリ等の属性情報の入力を受け付ける。
【００６１】
図４は、属性情報の入力を受け付ける属性情報入力画面の構成の一例を示す概略図である。
【００６２】
属性情報入力画面１０１ａは、文書情報１１１ａ１−１１１ａｎの内容を示す質問内容参照部１０１ａ１と、属性情報１１２ａ１−１１２ａｎの内容を示す属性内容参照・入力部１０１ａ２とを有する。
【００６３】
管理者５は、質問内容１０１ａ１１、１０１ａ１２、…において文書情報１１１ａ１−１１１ａｎの内容を確認し、属性内容１０１ａ２１、１０１ａ２２…のそれぞれに「質問」等の種別や、「税金」等のカテゴリを入力する。
【００６４】
なお、属性情報１１２ａ１−１１２ａｎの内容としては、種別、カテゴリに限らず、業種、地域等の別な観点を入力してもよい。例えば、業種の内容としてサービス業、製造業、農業…があり、地域の内容として東京都、神奈川県…等が挙げられる。
【００６５】
また、属性情報１１２ａ１−１１２ａｎの内容には、複数の情報を入力可能であり、回答として「税金」、業種として「製造業」、地域として「神奈川県」の様に入力してよい。
【００６６】
次に、属性情報付与手段１０１は、属性内容１０１ａ２に種別やカテゴリ等が入力されると、入力された情報を複数の文書情報１１１ａ１−１１１ａｎのそれぞれに付与して属性情報１１２ａ１−１１２ａｎとして記憶部１１に保存する。
【００６７】
次に、管理者５は、属性情報１１２ａ１−１１２ａｎが付与された文書情報１１１ａ１−１１１ａｎを用いて学習モデル１１３ａを生成するべく端末３の操作部を操作する。
【００６８】
端末３は、学習モデル生成要求を情報処理装置１に送信する。
【００６９】
情報処理装置１の学習手段１０２は、端末３からの要求に応じて分類画面を端末３の表示部に表示して学習の開始を受け付ける。
【００７０】
図５は、学習の開始を受け付ける分類画面の構成の一例を示す概略図である。
【００７１】
分類画面１０２ａは、学習の開始を要求する学習開始ボタン１０２ａ１と、学習の対象となる属性情報１１２ａ１−１１２ａｎが付与された文書情報１１１ａ１−１１１ａｎに含まれる属性情報の一例としてカテゴリ１０２ａ２とを有する。
【００７２】
管理者５は、学習開始ボタン１０２ａ１を操作して学習モデルの生成を要求する。端末３は、情報処理装置１に要求を送信する。
【００７３】
情報処理装置１の学習手段１０２は、学習モデルの生成要求に応じて、図３に示すように、属性情報１１２ａ１−１１２ａｎがそれぞれ付与された文書情報１１１ａ１−１１１ａｎを用いて学習モデル１１３ａを生成する。
【００７４】
また、学習結果評価手段１０４は、生成された学習モデル１１３ａについて、一例として、交差検定を行うことにより交差検定精度を算出して学習結果を評価するための評価情報１１４を生成し、学習結果表示手段１０５は当該学習結果の評価情報１１４を端末３の表示部に表示する。
【００７５】
なお、交差検定とは、属性情報１１２が付与された文書情報１１１が複数ある場合に、当該複数の文書情報１１１をｎ個のデータセットに分割し、分割された１のデータを評価用のデータ、残りのｎ−１個のデータを訓練用のデータとして評価指標値を算出し、これをすべてのデータについてｎ回繰り返すことで得られたｎ個の評価指標値の平均値を交差検定精度として求めることをいう。
【００７６】
また、評価情報１１４は、交差検定精度以外に、後述する図６の「モデル詳細」に示すように、業種等の他の評価値を含み、さらに種別等の他のパラメータを含んでもよい。
【００７７】
図６は、学習結果の評価情報の内容を示す学習結果表示画面の構成の一例を示す概略図である。
【００７８】
学習結果表示画面１０５ａは、学習モデルを選択するための選択ボタン、学習モデルを識別するモデルＩＤ、当該学習モデルの詳細を示すモデル詳細及び学習モデルを作成した作成者等を示す作成情報を有する学習結果１０５ａ１を表示する。
【００７９】
モデル詳細は、学習モデルの生成に用いた文書情報に関連付けられている属性の数を示す属性数、学習モデルの生成に用いた文書の数を示す文書数、学習モデルを生成した観点の一例としての業種内容を示す業種、前述した交差検定精度、学習モデルを生成に用いたパラメータを示す学習パラメータ等を表示する。また、モデル詳細は、種別等の他のパラメータをさらに含んでもよい。
【００８０】
また、作成情報は、学習モデルを作成した作成者を示す作成者、学習モデルを作成した日時を示す作成日時、学習モデルを作成した観点等のコメントを示すコメントを表示する。
【００８１】
管理者５は、上記した動作を繰り返して、複数の学習モデルを生成する。
【００８２】
（２）再学習動作
図７は、再学習動作の一例を説明するための概略図である。
【００８３】
図７に示すように、まず、管理者５は、「（１）学習モデル生成動作」で生成された複数の学習モデル１１３ａ‐１１３ｃの再学習を行うために、端末３の操作部を操作する。なお、学習モデル１１３ａ‐１１３ｃは、他のシステムで生成された学習モデルを用いてもよい。
【００８４】
端末３は、再学習要求を情報処理装置１に送信する。
【００８５】
情報処理装置１の文書情報受付手段１００は、端末３からの要求に応じて、まず再学習に用いる学習用データである文書情報１１１ｂ１−１１１ｂｎを受け付ける。
【００８６】
次に、学習モデル選択手段１０６は、端末３の表示部に学習モデル選択画面を表示することで、文書情報１１１ｂ１−１１１ｂｎに付与する属性情報を推定するための学習モデル１１３ａ‐１１３ｃのいずれかの学習モデル（第１の学習モデル）の選択を受け付ける。
【００８７】
図８は、学習モデル選択画面の構成の一例を示す概略図である。
【００８８】
学習モデル選択画面１０６ａは、選択候補を決定する選択適用ボタン１０６ａ１と、学習モデルの候補を表示する学習モデル候補１０６ａ２とを有する。なお、学習モデル候補１０６ａ２には、評価情報１１４に基づき、正確度を示す値の一例として「交差検定精度」を含め複数の評価値がモデル詳細の欄に記載されており、管理者５は評価値の中から、代表例として、「交差検定精度」を参照していずれの候補を選択するか判断する。
【００８９】
管理者５は、学習モデル選択画面１０６ａにおいて、学習モデル候補１０６ａ２に用意された選択ボタンのいずれかをクリックすることで選択状態とし、選択適用ボタン１０６ａ１をクリックすることで選択が決定される。図８に示す例では、図７に示す学習モデル１１３ａ‐１１３ｃに対応した３つの候補（モデルＩＤ「１」−「３」）のいずれかから選択する。
【００９０】
次に、属性情報推定手段１０３は、端末３の表示部に属性情報推定画面１０３ｂを表示する。
【００９１】
図９は、属性情報推定画面の構成の一例を示す概略図である。
【００９２】
属性情報推定画面１０３ｂは、属性情報の推定開始を要求する推定開始ボタン１０３ｂ１と、図７に示す文書情報１１１ｂ１−１１１ｂｎに対応する文書情報１０３ｂ２１−１０３ｂ２ｎの内容を示す質問内容参照部１０３ｂ２と、文書情報１０３ｂ２１−１０３ｂ２ｎに付与された属性情報１０３ｂ３１−１０３ｂ３ｎの内容を示す属性内容参照部１０３ｂ３とを有する。
【００９３】
管理者５は、属性情報推定画面１０３ｂにおいて、推定開始ボタン１０３ｂ１をクリックすることで、学習モデル選択画面１０３ａにおいて図７に示す学習モデル１１３ａ‐１１３ｃのうちから選択された第１の学習モデルを用いて文書情報１１１ｂ１−１１１ｂｎに付与される属性情報の推定を要求する。
【００９４】
属性情報推定手段１０３は、図７に示す学習モデル１１３ａ‐１１３ｃのうちから選択された第１の学習モデルを用いて文書情報１１１ｂ１−１１１ｂｎに属性情報１１２ｂ１−１１２ｂｎを付与する。
【００９５】
次に、学習手段１０２は、図７に示す属性情報１１２ｂ１−１１２ｂｎが付与された文書情報１１１ｂ１−１１１ｂｎを入力として、学習モデル１１３ａ‐１１３ｃのそれぞれについて学習を実行する。
【００９６】
また、学習結果評価手段１０４は、生成された学習モデル１１３ａ‐１１３ｃについて交差検定を行うことにより学習結果を評価して評価情報１１４を生成し、学習結果表示手段１０５は当該学習結果の評価情報１１４を端末３の表示部に表示する。
【００９７】
図１０は、学習モデル選択画面の構成の一例を示す概略図である。
【００９８】
学習モデル選択画面１０６ｂは、選択候補を決定する選択適用ボタン１０６ｂ１と、学習モデルの候補を表示する学習モデル候補１０６ｂ２とを有する。なお、学習モデル候補１０６ｂ２には、評価情報１１４に基づき、正確度を示す値の一例として「交差検定精度」を含め複数の評価値がモデル詳細の欄に記載されており、管理者５は評価値の中から、代表例として、「交差検定精度」を参照していずれの候補を選択するか判断するための第１の基準とする。なお、複数の評価値を第１の基準としてもよい。
【００９９】
なお、学習結果表示手段１０５は、学習モデル候補１０６ｂ２において、一例として、正確度を示す「交差検定精度」の高い順に学習モデルを表示し、管理者５に提示する。しかし、「交差検定精度」は学習モデルの評価を示す１つの統計値に過ぎないため、モデル詳細に示されていない他の統計値を以下の方法で管理者５に示す。
【０１００】
つまり、管理者５は、さらに、学習モデル候補１０６ｂ２を選択して後述する評価情報１１４の詳細の表示を要求することができ、管理者５は評価情報１１４の詳細を第２の基準とする。
【０１０１】
管理者５は、学習モデル選択画面１０６ｂにおいて、学習モデル候補１０６ｂ２に用意された選択ボタンをクリックすることで選択状態とし、選択適用ボタン１０６ｂ１をクリックすることで評価情報１１４の詳細を表示する学習モデルの選択が決定される。図１０に示す例では候補はｎ個であるが、本来は図７に示す学習モデル１１３ａ‐１１３ｃに対応した３つの候補のいずれかから選択する。
【０１０２】
学習結果表示手段１０５は当該学習結果の評価情報１１４の詳細を端末３の表示部に表示する。
【０１０３】
学習結果評価手段１０４は、評価情報１１４の詳細として、以下に示すように、複数種類の属性情報のそれぞれについての評価値を提示する。なお、評価情報１１４の詳細は、再学習の前であっても表示することができ、一例として、再学習の前の評価情報１１４の詳細（図１１）と、再学習後の評価情報１１４の詳細（図１２）とを示す。
【０１０４】
なお、評価情報１１４の詳細は、予め属性情報が付与されているテスト用の文書情報について属性情報推定手段１０３が付与される属性情報１１２を推定し、学習結果評価手段１０４が属性情報推定手段１０３によって推定された属性情報と予め付与されている属性情報とを比較して評価することで生成される。
【０１０５】
図１１は、再学習前の学習モデル分析画面の構成の一例を示す概略図である。
【０１０６】
学習モデル分析画面１０５ｂは、再学習前の評価情報１１４の詳細を示す画面であり、各属性情報「Ｌａｂｅｌ」に対するＦ値「Ｆ−Ｓｃｏｒｅ」、適合率「Ｐｒｅｃｉｓｉｏｎ」、再現率「Ｒｅｃａｌｌ」等の統計値を示す詳細情報１０５ｂ１と、各属性情報の数の全体に対する割合を示す円グラフ１０５ｂ２と、各属性情報の統計値を示した棒グラフ１０５ｂ３とを有する。
【０１０７】
なお、適合率とは、正解としての属性情報１１２が付与されている文書情報１１１を評価用の情報として用意した場合に、正解と予測した情報のうち実際に正解であるものの割合であり、具体的には、属性情報推定手段１０３が正しく属性情報１１２を付与したと認識する文書情報１１１の数に対し、属性情報推定手段１０３が実際に正しく属性情報１１２を付与した文書情報１１１の数の割合である。
【０１０８】
また、再現率とは、実際に正解である情報のうち正解であると予測されたものの割合であり、具体的には、正解の属性情報が付与された文書情報１１１の数に対し、属性情報推定手段１０３が正しく属性情報を付与した文書情報１１１の数の割合である。
【０１０９】
また、Ｆ値とは、上記した適合率と再現率の調和平均から得られる値である。
【０１１０】
図１２は、再学習後の学習モデル分析画面の構成の一例を示す概略図である。
【０１１１】
学習モデル分析画面１０５ｃは、再学習後の評価情報１１４の詳細を示す画面である。図１１に示す学習モデル分析画面１０５ｂに比べて、「税金」の適合率が「５０」から「８７」に向上しており、学習モデルの再学習が成功している。なお、図１２では図１１に比べて全ての統計値が向上しているが、いずれかの統計値が向上していれば、学習モデルの再学習が成功しているといえる場合もある。
【０１１２】
なお、学習結果表示手段１０５は、評価情報１１４として統計値を管理者５に示すだけでなく、属性情報の属性名、季節、地域、業種等のパラメータと統計値との相関等を監視してもよく、当該相関が予め定めた閾値超えた学習モデルについて、管理者５に提示するようにしてもよい。
【０１１３】
（３）回答動作
図１３は、回答動作の一例を説明するための概略図である。
【０１１４】
管理者５が「（２）再学習動作」で評価情報１１４の詳細を確認し、回答動作に用いる学習モデル（第２の学習モデル）として、例えば、学習モデル１１３ｃを選択した場合について以下説明する。
【０１１５】
まず、質問者４は、端末２を介して情報処理装置１に質問の入力を要求する。
【０１１６】
情報処理装置１の文書情報受付手段１００は、要求に応じて端末２の表示部に質問入力画面を表示する。
【０１１７】
図１４は、質問入力画面の構成の一例を示す概略図である。
【０１１８】
質問入力画面１００ａは、質問者４が質問を入力する質問入力欄１００ａ１と、質問入力欄１００ａ１に入力された内容で質問を文書情報として情報処理装置１に送信するよう要求するための質問要求ボタン１００ａ２と、質問入力欄１００ａ１に入力した内容をリセットするためのリセットボタン１００ａ３とを有する。
【０１１９】
質問者４は、質問入力欄１００ａ１に質問を入力し、質問要求ボタン１００ａ２をクリックする。
【０１２０】
端末２は、質問者４の操作に応じて、質問入力欄１００ａ１に入力された内容を文書情報として情報処理装置１に送信する。
【０１２１】
情報処理装置１の文書情報受付手段１００は、質問者４からの質問として端末２から文書情報１１１ｃを受け付ける。
【０１２２】
次に、属性情報推定手段１０３は、管理者５に選択された第２の学習モデル１１３ｃを用いて、文書情報１１１ｃに対し、属性情報１１２ｃを推定する。
【０１２３】
次に、質問回答手段１０７は、属性情報推定手段１０３が推定した属性情報に対応した回答情報１１５ｃを回答情報１１５から選択し、選択した回答情報１１５ｃを端末２へ送信する。
【０１２４】
端末２は、情報処理装置１から受信した回答情報１１５ｃに基づいて回答表示画面を表示する。
【０１２５】
図１５は、回答表示画面の構成の一例を示す概略図である。
【０１２６】
回答表示画面１０７ａは、質問入力欄１００ａ１に入力された質問の内容を表示する入力内容確認１０７ａ１と、質問に対する回答の内容を表示する回答表示１０７ａ２と、情報処理装置１が質問を受け付けてから回答を送信するまでに要した時間等の詳細情報を表示する詳細表示１０７ａ３と、質問者４が回答の内容に満足できない場合に問い合わせ等を行うための追加問い合わせ表示１０７ａ４と、回答内容１０７ａ２に表示した回答の他の回答候補を表示する回答候補表示１０７ａ５とを有する。
【０１２７】
質問者４は、回答表示画面１０７ａの内容を確認し、必要があれば追加問い合わせ表示１０７ａ４に基づいてさらに質問をする。
【０１２８】
（実施の形態の効果）
上記した実施の形態によると、「（２）再学習動作」で、学習モデルの評価情報を表示して、学習用データである文書情報に対する属性の推定に用いる学習モデル（第１の学習モデル）を選択できるようにしたため、学習用データとして精度のよく属性情報が付与された文書情報を用いて、学習モデルの学習をすることができる。なお、学習用データが季節や年代等で、経時的、地理的に内容が変化するものであった場合に、特に上記効果が顕著となる。
【０１２９】
また、「（３）回答動作」で質問の文書情報に対する属性の推定に用いる学習モデル（第２の学習モデル）を選択できるようにしたため、質問である文書情報に適した学習モデルを選択し、回答を送信することができる。なお、質問の文書情報が季節や年代等で、経時的、地理的に内容が変化するものであった場合に、特に上記効果が顕著となる。
【０１３０】
また、文書情報の内容が経時的に変化したことで、当初想定してた属性情報では対応できないこととなった場合にも、評価情報を管理者５に提示するため、管理者５は評価情報を参照することで当初想定してた属性情報では対応できない事態に気づくことができ、新たな属性情報を追加する等して対応することができる。
【０１３１】
［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。例えば、以下に説明するようにしてもよい。
【０１３２】
上記実施の形態では制御部１０内の各手段１００−１０７の機能をプログラムで実現したが、各手段の全て又は一部をＡＳＩＣ等のハードウエアによって実現してもよい。また、上記実施の形態で用いたプログラムをＣＤ−ＲＯＭ等の記録媒体に記憶して提供することもできる。また、上記実施の形態で説明した上記ステップの入れ替え、削除、追加等は本発明の要旨を変更しない範囲内で可能である。
【符号の説明】
【０１３３】
１     情報処理装置
２     端末
３     端末
４     質問者
５     管理者
６     ネットワーク
７     情報処理システム
１０   制御部
１１   記憶部
１２   通信部
１００ 文書情報受付手段
１００ａ      質問入力画面
１０１ 属性情報付与手段
１０１ａ      属性情報入力画面
１０２ 学習手段
１０２ａ      分類画面
１０３ 属性情報推定手段
１０３ａ      学習モデル選択画面
１０３ｂ      属性情報推定画面
１０４ 学習結果評価手段
１０５ 学習結果表示手段
１０５ａ      学習結果表示画面
１０５ｂ      学習モデル分析画面
１０５ｃ      学習モデル分析画面
１０６ 学習モデル選択手段
１０６ａ      学習モデル選択画面
１０６ｂ      学習モデル選択画面
１０７ 質問回答手段
１０７ａ      回答表示画面
１１０ 情報処理プログラム
１１１ 文書情報
１１２ 属性情報
１１３ 学習モデル
１１３ａ      学習モデル
１１３ｃ      学習モデル
１１４ 評価情報
１１５ 回答情報
１１５ｃ      回答情報
【要約】
【課題】複数の学習モデルを用いて、文書情報の内容に応じた属性情報を付与する学習モデルを生成する情報処理プログラム及び情報処理装置を提供する。
【解決手段】情報処理装置１は、複数の学習モデル１１３をそれぞれ評価する学習結果評価手段１０４と、複数の学習モデル１１３を学習結果評価手段１０４の評価情報１１４とともに表示する学習結果表示手段１０５と、学習表示手段１０５が表示する複数の学習モデル１１３から第１の学習モデルを選択する学習モデル選択手段１０６と、学習モデル選択手段１０６によって選択された第１の学習モデルに基づいて文書情報１１１に付与するべき属性情報１１２を推定する属性情報推定手段１０３と、属性情報推定手段１０３によって属性情報１１２が付与された文書情報１１１を入力として複数の学習モデル１１３のそれぞれに基づいて学習する学習手段１０２とを有する。
【選択図】図２【図１】
0005408380.tif 000002
【図２】
0005408380.tif 000003
【図３】
0005408380.tif 000004
【図４】
0005408380.tif 000005
【図５】
0005408380.tif 000006
【図６】
0005408380.tif 000007
【図７】
0005408380.tif 000008
【図８】
0005408380.tif 000009
【図９】
0005408380.tif 000010
【図１０】
0005408380.tif 000011
【図１３】
0005408380.tif 000012
【図１４】
0005408380.tif 000013
【図１５】
0005408380.tif 000014
【図１１】
0005408380.tif 000015
【図１２】
0005408380.tif 000016