(57)【要約】【課題】誤ったラベルを付与することによって機械学習の精度が低下してしまうことを防止する情報処理装置を提供する。【解決手段】情報処理装置の第１のラベル決定手段は、電子メール内の情報から、第１のラベルを決定し、第２のラベル決定手段は、ユーザーが前記電子メールに対して行った応答の結果から、第２のラベルを決定し、第３のラベル決定手段は、前記第１のラベルと前記第２のラベルとが対応しない場合、前記電子メールに付与する機械学習用の負例としての第３のラベルを決定する。【選択図】図１
2019061419.tif 000002
【特許請求の範囲】
【請求項１】
電子メール内の情報から、第１のラベルを決定する第１のラベル決定手段と、
ユーザーが前記電子メールに対して行った応答の結果から、第２のラベルを決定する第２のラベル決定手段と、
前記第１のラベルと前記第２のラベルとが対応しない場合、前記電子メールに付与する機械学習用の負例としての第３のラベルを決定する第３のラベル決定手段
を有する情報処理装置。
【請求項２】
前記第３のラベル決定手段は、前記第１のラベルと前記第２のラベルが対応しない場合は、前記第３のラベルとして該第１のラベル又は該第２のラベルのいずれかを採用する、
請求項１に記載の情報処理装置。
【請求項３】
前記第３のラベル決定手段は、前記第１のラベルと前記第２のラベルのいずれかがラベルなしである場合は、前記第３のラベルとしてラベルなしではない該第１のラベル又は該第２のラベルのいずれかを採用する、
請求項２に記載の情報処理装置。
【請求項４】
電子メール内の情報から、第１のラベルを決定する第１のラベル決定手段と、
ユーザーが前記電子メールに対して行った応答の結果から、第２のラベルを決定する第２のラベル決定手段と、
前記第１のラベルと前記第２のラベルとが対応する場合、前記電子メールに付与する機械学習用の正例としての第３のラベルを決定する第３のラベル決定手段
を有する情報処理装置。
【請求項５】
前記第３のラベル決定手段は、前記第１のラベルと前記第２のラベルとが対応する場合は、前記第３のラベルとして該第１のラベル又は該第２のラベルを採用する、
請求項４に記載の情報処理装置。
【請求項６】
電子メール内の情報から、第１のラベルを決定する第１のラベル決定手段と、
ユーザーが前記電子メールに対して行った応答の結果から、第２のラベルを決定する第２のラベル決定手段と、
前記第１のラベルと前記第２のラベルの両方ともラベルなしである場合、前記電子メールに付与する機械学習用のラベルなしと決定する第３のラベル決定手段
を有する情報処理装置。
【請求項７】
電子メール内の情報から、第１のラベルを決定する第１のラベル決定手段と、
ユーザーが前記電子メールに対して行った応答の結果から、第２のラベルを決定する第２のラベル決定手段と、
前記第１のラベルと前記第２のラベルのいずれか一方がラベルなしである場合、前記電子メールに付与する機械学習用のラベルなしと決定する第３のラベル決定手段
を有する情報処理装置。
【請求項８】
コンピュータを、
電子メール内の情報から、第１のラベルを決定する第１のラベル決定手段と、
ユーザーが前記電子メールに対して行った応答の結果から、第２のラベルを決定する第２のラベル決定手段と、
前記第１のラベルと前記第２のラベルとが対応しない場合、前記電子メールに付与する機械学習用の負例としての第３のラベルを決定する第３のラベル決定手段
として機能させるための情報処理プログラム。
【請求項９】
コンピュータを、
電子メール内の情報から、第１のラベルを決定する第１のラベル決定手段と、
ユーザーが前記電子メールに対して行った応答の結果から、第２のラベルを決定する第２のラベル決定手段と、
前記第１のラベルと前記第２のラベルとが対応する場合、前記電子メールに付与する機械学習用の正例としての第３のラベルを決定する第３のラベル決定手段
として機能させるための情報処理プログラム。
【請求項１０】
コンピュータを、
電子メール内の情報から、第１のラベルを決定する第１のラベル決定手段と、
ユーザーが前記電子メールに対して行った応答の結果から、第２のラベルを決定する第２のラベル決定手段と、
前記第１のラベルと前記第２のラベルの両方ともラベルなしである場合、前記電子メールに付与する機械学習用のラベルなしと決定する第３のラベル決定手段
として機能させるための情報処理プログラム。
【請求項１１】
コンピュータを、
電子メール内の情報から、第１のラベルを決定する第１のラベル決定手段と、
ユーザーが前記電子メールに対して行った応答の結果から、第２のラベルを決定する第２のラベル決定手段と、
前記第１のラベルと前記第２のラベルのいずれか一方がラベルなしである場合、前記電子メールに付与する機械学習用のラベルなしと決定する第３のラベル決定手段
として機能させるための情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及び情報処理プログラムに関する。
【背景技術】
【０００２】
特許文献１には、メール作成者が件名入力を省略した場合にも自動的に件名を生成して補うことを課題とし、メール作成者が件名入力を省略した場合にも、メール作成装置は、メール本文の内容に基づいて件名要素を自動的に生成し、その際、同じメール本文の内容であっても作成時によって異なる件名要素を生成し、そのためには、例えばキーワードとこれに対応する複数の件名要素とを対応づけたテーブルを有し、本文中に当該キーワードが検出されたとき、前記テーブルで当該キーワードに対応づけられた複数の件名要素の中から所定の条件にしたがって１つの件名要素を選択してメールの件名欄に挿入し、このような件名の自動生成は、受信端末またはメールサーバで行うことも可能であることが開示されている。
【０００３】
特許文献２には、ユーザの関心にあったコンテンツ・サービス推薦をより自然に行うことを課題とし、関心抽出装置は、閲覧中の文書のＵＲＬが閲覧情報入力部によって受けて、本文情報から文書の主題キーワードを主題キーワード抽出部で抽出し、抽出された主題キーワードとからユーザの現在の関心を表すキーワードである関心キーワードを関心キーワード抽出部抽出して関心キーワード履歴格納部に格納し、関心キーワードに応じて、連鎖ルール格納部に格納する連鎖ルールを用いて、検索クエリを連鎖ルール適用部で生成し、連鎖ルール適用部によって生成された検索クエリを用いて次に推薦するコンテンツの候補を推薦情報取得で検索して、推薦情報提示部に提示することが開示されている。
【０００４】
特許文献３には、構造化文書において、見出しを示す見出しテキストと当該見出しの本文を示す本文テキストとの関係を用いて、判定対象となるそれぞれのテキストの含意関係の有無の判定を実施する技術を提供することを課題とし、制御部は、構造化文書データベースに記憶される構造化文書中から見出しテキストと本文テキストとの対を取得し、対に含まれる本文テキストの特徴量を、当該対に含まれる見出しテキスト中のテキストを教師データとして機械学習し、制御部は、第１のテキストの特徴量と、機械学習結果と、に基づいて第１のテキストの種別を示すラベルを決定し、当該ラベルに基づいて、第１のテキストと、第２のテキストと、の間の含意関係の有無を判定することが開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−２８８１１１号公報
【特許文献２】特開２０１０−２０４７３５号公報
【特許文献３】特開２０１３−０５０８５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
電子メールを教師データとした機械学習が行われている。例えば、電子メール内の見出し語をラベルとする教師データを作成した場合、その見出し語が必ずしもその電子メールの内容を表しているとは限らない場合がある。その結果、機械学習の精度が低下してしまうことになる。
本発明は、誤ったラベルを付与することによって機械学習の精度が低下してしまうことを防止する情報処理装置及び情報処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、電子メール内の情報から、第１のラベルを決定する第１のラベル決定手段と、ユーザーが前記電子メールに対して行った応答の結果から、第２のラベルを決定する第２のラベル決定手段と、前記第１のラベルと前記第２のラベルとが対応しない場合、前記電子メールに付与する機械学習用の負例としての第３のラベルを決定する第３のラベル決定手段を有する情報処理装置である。
【０００８】
請求項２の発明は、前記第３のラベル決定手段は、前記第１のラベルと前記第２のラベルが対応しない場合は、前記第３のラベルとして該第１のラベル又は該第２のラベルのいずれかを採用する、請求項１に記載の情報処理装置である。
【０００９】
請求項３の発明は、前記第３のラベル決定手段は、前記第１のラベルと前記第２のラベルのいずれかがラベルなしである場合は、前記第３のラベルとしてラベルなしではない該第１のラベル又は該第２のラベルのいずれかを採用する、請求項２に記載の情報処理装置である。
【００１０】
請求項４の発明は、電子メール内の情報から、第１のラベルを決定する第１のラベル決定手段と、ユーザーが前記電子メールに対して行った応答の結果から、第２のラベルを決定する第２のラベル決定手段と、前記第１のラベルと前記第２のラベルとが対応する場合、前記電子メールに付与する機械学習用の正例としての第３のラベルを決定する第３のラベル決定手段を有する情報処理装置である。
【００１１】
請求項５の発明は、前記第３のラベル決定手段は、前記第１のラベルと前記第２のラベルとが対応する場合は、前記第３のラベルとして該第１のラベル又は該第２のラベルを採用する、請求項４に記載の情報処理装置である。
【００１２】
請求項６の発明は、電子メール内の情報から、第１のラベルを決定する第１のラベル決定手段と、ユーザーが前記電子メールに対して行った応答の結果から、第２のラベルを決定する第２のラベル決定手段と、前記第１のラベルと前記第２のラベルの両方ともラベルなしである場合、前記電子メールに付与する機械学習用のラベルなしと決定する第３のラベル決定手段を有する情報処理装置である。
【００１３】
請求項７の発明は、電子メール内の情報から、第１のラベルを決定する第１のラベル決定手段と、ユーザーが前記電子メールに対して行った応答の結果から、第２のラベルを決定する第２のラベル決定手段と、前記第１のラベルと前記第２のラベルのいずれか一方がラベルなしである場合、前記電子メールに付与する機械学習用のラベルなしと決定する第３のラベル決定手段を有する情報処理装置である。
【００１４】
請求項８の発明は、コンピュータを、電子メール内の情報から、第１のラベルを決定する第１のラベル決定手段と、ユーザーが前記電子メールに対して行った応答の結果から、第２のラベルを決定する第２のラベル決定手段と、前記第１のラベルと前記第２のラベルとが対応しない場合、前記電子メールに付与する機械学習用の負例としての第３のラベルを決定する第３のラベル決定手段として機能させるための情報処理プログラムである。
【００１５】
請求項９の発明は、コンピュータを、電子メール内の情報から、第１のラベルを決定する第１のラベル決定手段と、ユーザーが前記電子メールに対して行った応答の結果から、第２のラベルを決定する第２のラベル決定手段と、前記第１のラベルと前記第２のラベルとが対応する場合、前記電子メールに付与する機械学習用の正例としての第３のラベルを決定する第３のラベル決定手段として機能させるための情報処理プログラムである。
【００１６】
請求項１０の発明は、コンピュータを、電子メール内の情報から、第１のラベルを決定する第１のラベル決定手段と、ユーザーが前記電子メールに対して行った応答の結果から、第２のラベルを決定する第２のラベル決定手段と、前記第１のラベルと前記第２のラベルの両方ともラベルなしである場合、前記電子メールに付与する機械学習用のラベルなしと決定する第３のラベル決定手段として機能させるための情報処理プログラムである。
【００１７】
請求項１１の発明は、コンピュータを、電子メール内の情報から、第１のラベルを決定する第１のラベル決定手段と、ユーザーが前記電子メールに対して行った応答の結果から、第２のラベルを決定する第２のラベル決定手段と、前記第１のラベルと前記第２のラベルのいずれか一方がラベルなしである場合、前記電子メールに付与する機械学習用のラベルなしと決定する第３のラベル決定手段として機能させるための情報処理プログラムである。
【発明の効果】
【００１８】
請求項１の情報処理装置によれば、誤ったラベルを付与することによって機械学習の精度が低下してしまうことを防止することができる。
【００１９】
請求項２の情報処理装置によれば、第１のラベルと第２のラベルが対応しない場合は、第３のラベルとして第１のラベル又は第２のラベルのいずれかを負例として採用することができる。
【００２０】
請求項３の情報処理装置によれば、第１のラベルと第２のラベルのいずれかがラベルなしである場合であっても、第３のラベルを決定することができる。
【００２１】
請求項４の情報処理装置によれば、誤ったラベルを付与することによって機械学習の精度が低下してしまうことを防止することができる。
【００２２】
請求項５の情報処理装置によれば、第１のラベルと第２のラベルが対応する場合は、第３のラベルとして第１のラベル又は第２のラベルのいずれかを正例として採用することができる。
【００２３】
請求項６の情報処理装置によれば、第１のラベルと第２のラベルの両方ともラベルなしである場合、電子メールに付与する機械学習用のラベルなしとすることができる。
【００２４】
請求項７の情報処理装置によれば、第１のラベルと第２のラベルのいずれか一方がラベルなしである場合、電子メールに付与する機械学習用のラベルなしとすることができる。
【００２５】
請求項８の情報処理プログラムによれば、誤ったラベルを付与することによって機械学習の精度が低下してしまうことを防止することができる。
【００２６】
請求項９の情報処理プログラムによれば、誤ったラベルを付与することによって機械学習の精度が低下してしまうことを防止することができる。
【００２７】
請求項１０の情報処理プログラムによれば、第１のラベルと第２のラベルの両方ともラベルなしである場合、電子メールに付与する機械学習用のラベルなしとすることができる。
【００２８】
請求項１１の情報処理プログラムによれば、第１のラベルと第２のラベルのいずれか一方がラベルなしである場合、電子メールに付与する機械学習用のラベルなしとすることができる。
【図面の簡単な説明】
【００２９】
【図１】本実施の形態の構成例についての概念的なモジュール構成図である。
【図２】本実施の形態を利用したシステム構成例を示す説明図である。
【図３】本実施の形態による処理例を示すフローチャートである。
【図４】メール情報テーブルのデータ構造例を示す説明図である。
【図５】メタ情報ラベル付けルールテーブルのデータ構造例を示す説明図である。
【図６】アクション履歴情報テーブルのデータ構造例を示す説明図である。
【図７】アクション履歴ラベル付けルールテーブルのデータ構造例を示す説明図である。
【図８】学習データテーブルのデータ構造例を示す説明図である。
【図９】学習データテーブルのデータ構造例を示す説明図である。
【図１０】学習データテーブルのデータ構造例を示す説明図である。
【図１１】学習データテーブルのデータ構造例を示す説明図である。
【図１２】本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【００３０】
以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図１は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するという意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係、ログイン等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態にしたがって、又はそれまでの状況・状態にしたがって定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、２以上の値（もちろんのことながら、全ての値も含む）が同じであってもよい。また、「Ａである場合、Ｂをする」という記載は、「Ａであるか否かを判断し、Ａであると判断した場合はＢをする」の意味で用いる。ただし、Ａであるか否かの判断が不要である場合を除く。また、「Ａ、Ｂ、Ｃ」等のように事物を列挙した場合は、断りがない限り例示列挙であり、その１つのみを選んでいる場合（例えば、Ａのみ）を含む。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）内のレジスタ等を含んでいてもよい。
【００３１】
本実施の形態である情報処理装置１００は、電子メールを用いた機械学習用の教師データを生成するものであって、図１の例に示すように、メタ情報処理モジュール１０５、アクション履歴処理モジュール１３０、ラベル決定モジュール１５５、学習データデータベース１６０を有している。例えば、情報処理装置１００は、電子メールの件名とアクションを手がかりとして、教師データを生成するものである。
電子メールは双方向コミュニケーション用のツールであり、送信者側の意図と受信者側の意図がある。このうち、送信者側の意図は、電子メールの内容に反映されているが、受信者側の意図は、受け取った電子メールによって起こされた行動に反映されていることが多い。この場合に、電子メールの内容だけでラベル付与を行った場合は、受信者側の意図が反映されないラベル付けとなってしまう。
また、送信者側の意図と受信者側の意図は、必ずしも一致するとは限らない。送信者側の意図と受信者側の意図が異なった場合は、教師データとして負例の意味を有するとして扱った方が機械学習の精度を高めることになる場合がある。
【００３２】
メタ情報処理モジュール１０５は、メールデータベース１１０、メール取得モジュール１１５、メタ情報ラベル付けルール記憶モジュール１２０、メタ情報ラベル決定モジュール１２５を有している。メタ情報処理モジュール１０５は、メタ情報に基づくラベル付与処理を行う。ここでのメタ情報は、電子メール内の情報から生成したものであり、例えば、電子メールの件名（タイトル）から、予め定められた文字列を抽出したものであってもよい。
メールデータベース１１０は、メール取得モジュール１１５と接続されている。メールデータベース１１０は、対象となるメールを記憶している。
メール取得モジュール１１５は、メールデータベース１１０、メタ情報ラベル決定モジュール１２５と接続されている。メール取得モジュール１１５は、メールデータベース１１０から電子メールの情報（例えば、電子メールの識別情報（電子メールＩＤ：ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）、タイトル、本文、宛先情報（ＴＯ）、送信元情報（ＦＲＯＭ）等）を取得し、メタ情報ラベル決定モジュール１２５に渡す。
メタ情報ラベル付けルール記憶モジュール１２０は、メタ情報ラベル決定モジュール１２５と接続されている。メタ情報ラベル付けルール記憶モジュール１２０は、ラベルとラベル付けルール（例えば、キーワード、正規表現等）を記憶している。
【００３３】
メタ情報ラベル決定モジュール１２５は、メール取得モジュール１１５、メタ情報ラベル付けルール記憶モジュール１２０、ラベル決定モジュール１５５と接続されている。メタ情報ラベル決定モジュール１２５は、メール取得モジュール１１５から渡された電子メール内の情報から、第１のラベル（以下、メタ情報ラベルともいう）を決定する。
「電子メール内の情報」として、電子メールのタイトル、本文（人間が可読な情報）の他に、電子メールを送受信するために必要な情報を含めてもよい。送受信するために必要な情報として、例えば、電子メールＩＤ、宛先情報、送信元情報等がある。
第１のラベル決定方法として、具体的には、「第１のラベル」と「電子メール内の情報を対象として、その第１のラベルを決定するための規則」を対応させたメタ情報ラベル付けルール記憶モジュール１２０内の第１の規則にしたがって、第１のラベルを決定する。
【００３４】
アクション履歴処理モジュール１３０は、アクション履歴データベース１３５、アクション履歴取得モジュール１４０、アクション履歴ラベル付けルール記憶モジュール１４５、アクション履歴ラベル決定モジュール１５０を有している。アクション履歴処理モジュール１３０は、電子メールに関して、ユーザーが行ったアクションの履歴に基づくラベル付与処理を行う。
アクション履歴データベース１３５は、アクション履歴取得モジュール１４０と接続されている。アクション履歴データベース１３５は、電子メールに対して行われたユーザーのアクションの履歴を記憶している。
アクション履歴取得モジュール１４０は、アクション履歴データベース１３５、アクション履歴ラベル決定モジュール１５０と接続されている。アクション履歴取得モジュール１４０は、アクション履歴データベース１３５からメールＩＤをキーとしてアクション（例えば、返信、転送等）の履歴を取得し、アクション履歴ラベル決定モジュール１５０に渡す。
アクション履歴ラベル付けルール記憶モジュール１４５は、アクション履歴ラベル決定モジュール１５０と接続されている。アクション履歴ラベル付けルール記憶モジュール１４５は、ラベルとラベル付けルール（例えば、アクションの名称等）を記憶する。
【００３５】
アクション履歴ラベル決定モジュール１５０は、アクション履歴取得モジュール１４０、アクション履歴ラベル付けルール記憶モジュール１４５、ラベル決定モジュール１５５と接続されている。アクション履歴ラベル決定モジュール１５０は、アクション履歴取得モジュール１４０から渡された電子メールの履歴から、第２のラベル（以下、アクション履歴ラベルともいう）を決定する。もちろんのことながら、アクション履歴ラベル決定モジュール１５０が対象としている電子メールとメタ情報ラベル決定モジュール１２５が対象としている電子メールは、同じもの（つまり、電子メールＩＤが同じ）である。
「電子メールの履歴」として、電子メールそのものの履歴の他に、電子メール内の情報を用いてユーザー（操作者、受信者等）が行った操作履歴を含む。操作履歴として、例えば、電子メールの返信、転送等の操作の他に、電子メール内の情報を他のアプリケーション（例えば、スケジュール管理アプリケーション等）にコピーする操作等がある。
第２のラベル決定方法として、具体的には、「第２のラベル」と「電子メールの履歴を対象として、その第２のラベルを決定するための規則」を対応させたアクション履歴ラベル付けルール記憶モジュール１４５内の第２の規則にしたがって、第２のラベルを決定する。
例えば、アクション履歴ラベル決定モジュール１５０は、ユーザーが電子メールに対して行った応答の結果から、第２のラベルを決定する。
【００３６】
ラベル決定モジュール１５５は、メタ情報処理モジュール１０５のメタ情報ラベル決定モジュール１２５、アクション履歴処理モジュール１３０のアクション履歴ラベル決定モジュール１５０、学習データデータベース１６０と接続されている。
ラベル決定モジュール１５５は、メタ情報ラベル決定モジュール１２５によって決定された第１のラベルとアクション履歴ラベル決定モジュール１５０によって決定された第２のラベルに基づいて、最終的なラベルである第３のラベルを決定する。
例えば、ラベル決定モジュール１５５は、メタ情報ラベル決定モジュール１２５によって決定された第１のラベルとアクション履歴ラベル決定モジュール１５０によって決定された第２のラベルとが対応しない場合、電子メールに付与する機械学習用の負例としての第３のラベルを決定する。
そして、ラベル決定モジュール１５５は、第１のラベルと第２のラベルが対応しない場合は、第３のラベルとしてその第１のラベル又はその第２のラベルのいずれかを採用するようにしてもよい。
また、ラベル決定モジュール１５５は、第１のラベルと第２のラベルのいずれかがラベルなしである場合は、第３のラベルとしてラベルなしではない、その第１のラベル又はその第２のラベルのいずれかを採用するようにしてもよい。
【００３７】
また、ラベル決定モジュール１５５は、メタ情報ラベル決定モジュール１２５によって決定された第１のラベルとアクション履歴ラベル決定モジュール１５０によって決定された第２のラベルとが対応する場合、電子メールに付与する機械学習用の正例としての第３のラベルを決定する。
そして、ラベル決定モジュール１５５は、第１のラベルと第２のラベルとが対応する場合は、第３のラベルとして、その第１のラベル又はその第２のラベルを採用するようにしてもよい。ここで「第１のラベルと第２のラベルとが対応する場合」として、第１のラベルと第２のラベルとが同じである場合が該当する。
【００３８】
また、ラベル決定モジュール１５５は、メタ情報ラベル決定モジュール１２５によって決定された第１のラベルとアクション履歴ラベル決定モジュール１５０によって決定された第２のラベルの両方ともラベルなしである場合、電子メールに付与する機械学習用のラベルなしと決定するようにしてもよい。第１のラベルと第２のラベルのいずれか一方がラベルなしであるときに、電子メールに付与する機械学習用のラベルなしと決定する場合に比べて、ラベルなしとすると決定することを減少させることができる。
【００３９】
また、ラベル決定モジュール１５５は、メタ情報ラベル決定モジュール１２５によって決定された第１のラベルとアクション履歴ラベル決定モジュール１５０によって決定された第２のラベルのいずれか一方がラベルなしである場合、電子メールに付与する機械学習用のラベルなしと決定するようにしてもよい。第１のラベルと第２のラベルの両方ともラベルなしであるときに、電子メールに付与する機械学習用のラベルなしと決定する場合に比べて、精度の低いラベルを付与することを減少させることができる。
【００４０】
また、ラベル決定モジュール１５５は、以下のような処理を行ってもよい。
ラベル決定モジュール１５５は、メタ情報ラベル決定モジュール１２５によって決定された第１のラベルとアクション履歴ラベル決定モジュール１５０によって決定された第２のラベルから、電子メールに付与する機械学習用の第３のラベルを決定する。
第３のラベル決定方法として、具体的には、「第１のラベル」と「第２のラベル」の組と「第３のラベル」を対応させた第３の規則にしたがって、ラベルを決定する。そして、その第３のラベルが、教師データとして正例であるか、負例であるかを示す情報を付加してもよい。
また、ラベル決定モジュール１５５は、第１のラベルと第２のラベルが同じである場合は、第３のラベルとして、その第１のラベル又はその第２のラベルを採用するようにしてもよい。
そして、ラベル決定モジュール１５５は、第１のラベルと第２のラベルの両方がラベルなしである場合は、第３のラベルはラベルなしとしてもよい。「ラベルなし」となるのは、メタ情報ラベル付けルール記憶モジュール１２０内の第１の規則、アクション履歴ラベル付けルール記憶モジュール１４５内の第２の規則に該当しない場合である。
また、ラベル決定モジュール１５５は、第１のラベルと第２のラベルが異なる場合は、第３のラベルとして、その第１のラベル又はその第２のラベルのいずれかを採用するようにしてもよい。
また、ラベル決定モジュール１５５は、第１のラベルと第２のラベルが異なる場合は、第３のラベルとして、その第２のラベルを採用するようにしてもよい。これは、受信者によるアクションを重視した判断である。
また、ラベル決定モジュール１５５は、第１のラベルと第２のラベルのいずれかがラベルなしである場合（一方がラベルなしであり、他方がラベルなしではない（何らかのラベルあり）場合）は、第３のラベルとしてラベルなしではない、その第１のラベル又はその第２のラベルのいずれか（何らかのラベルがある他方のラベル）を採用するようにしてもよい。
【００４１】
また、ラベル決定モジュール１５５は、第３のラベルが教師情報として正例であるか負例であるかを決定するようにしてもよい。
ラベル決定モジュール１５５は、第１のラベルと第２のラベルの両方が同じである場合は、第３のラベルは正例であることを決定するようにしてもよい。
そして、ラベル決定モジュール１５５は、第１のラベルと第２のラベルが異なる場合は、第３のラベルは負例であることを決定するようにしてもよい。
また、ラベル決定モジュール１５５における決定処理として、第１のラベルと第２のラベルが異なる場合として、その第１のラベルとその第２のラベルのいずれか一方がラベルなしである場合を含むようにしてもよい。
【００４２】
そして、ラベル決定モジュール１５５は、第１のラベルと第２のラベルの両方がラベルなしである場合は、第３のラベルは正例ではないことを決定するようにしてもよい。ここで「正例ではない」とは、ラベルなしとしてもよいし、対象としているラベルにおける負例としてもよい。なお、ここでの「対象としているラベル」とは、予め定められたラベルであって、そのラベルはメタ情報ラベル決定モジュール１２５、アクション履歴ラベル決定モジュール１５０では抽出できなかったので、負例のラベルとして抽出するものである。例えば、対象としているラベルとして「重要」であるが、タイトルに「重要」は含まれておらず、返信、転送のアクションも行われなかったため、メタ情報ラベル決定モジュール１２５とアクション履歴ラベル決定モジュール１５０では「ラベルなし」とされる。しかし、ラベル決定モジュール１５５では、その電子メールを「重要」の負例として、教師データとして、学習データデータベース１６０に登録されることになる。
【００４３】
学習データデータベース１６０は、ラベル決定モジュール１５５と接続されている。学習データデータベース１６０は、ラベル決定モジュール１５５によって決定された第３のラベルと電子メールとを対応させた教師データを記憶している。
【００４４】
図２は、本実施の形態を利用したシステム構成例を示す説明図である。
情報処理装置１００、ユーザー端末２１０Ａ、ユーザー端末２１０Ｂ、ユーザー端末２１０Ｃ、メール処理装置２２０、機械学習装置２３０は、通信回線２９０を介してそれぞれ接続されている。通信回線２９０は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのインターネット、イントラネット等であってもよい。また、情報処理装置１００、メール処理装置２２０、機械学習装置２３０による機能は、クラウドサービスとして実現してもよい。
メール処理装置２２０は、電子メールの転送にかかわる処理を行う。例えば、ＰＯＰサーバー、ＳＭＴＰサーバー、ＷＥＢメールサーバー等がある。メール処理装置２２０が、電子メールを収集する場合、メールデータベース１１０は、情報処理装置１００内ではなく、メール処理装置２２０内にあってもよい。
メール処理装置２２０又は情報処理装置１００が、メール処理装置２２０、各ユーザー端末２１０から電子メールに対する処理の履歴を収集し、アクション履歴データベース１３５に記憶させる。
機械学習装置２３０は、情報処理装置１００の学習データデータベース１６０内の教師データを用いて機械学習を行う。学習データデータベース１６０は、情報処理装置１００内ではなく、機械学習装置２３０内にあってもよい。機械学習として、例えば、ニューラル・ネットワーク、決定木、サポートベクタマシン等の識別器を用いるようにしてもよい。
【００４５】
情報処理装置１００は、例えば、以下のような処理を行う。特に、この説明（本段落番号内の説明）は、本実施の形態の理解を容易にすることを目的とするものであり、この説明を用いて限定解釈することは意図していない。そして、この説明部分のみを用いて、特許を受けようとする発明が発明の詳細な説明に記載したものであること（特許法第３６条第６項第１号）の判断を行うべきではないことは当然である。
一般的に、教師データ作成のコストは大きい。例えば、人手で教師データを作成すると、コストが大きくなってしまう。また、見出し語を利用して自動的に教師データを作成する手法では、見出し語が必ずしも本文テキストの内容を表しているとは限らず、アノテーションの品質が悪い。例えば、電子メールのような双方向コミュニケーションでは、書き手（送信者）がつけた件名（見出し語）と受け手（受信者）が認識する件名は異なる場合もある。具体的には、［重要］と書かれた電子メールの全てが受信者にとって重要とは限らない。
情報処理装置１００は、教師データの作成コストを抑えながらも、教師データの品質を向上させる。
情報処理装置１００は、電子メールに対するアクション（例えば、返信、転送、タスク付与、共有、スケジュール登録等）やメタ情報（受信者数、添付ファイルの有無等）を加えて考慮することで、教師データの品質を向上させる。
例えば、電子メールにおいて、件名にラベルに関連したキーワード（表現）を含むものである場合、その電子メールは正例である可能性が高い。具体的には、件名が「［重要］○○」、「［要返信］△△」等である場合は、前者は「重要」な電子メールである場合が高く、後者は「要返信」な電子メールである場合が高い。
そして、ラベルに関連したアクションを実施した電子メールは、正例である可能性がさらに高い。例えば、「要返信」の電子メール（第３のラベルとして「要返信」が付与されるべき電子メール）である場合、その電子メールに対してのアクションとして「返信」が行われ、「重要」な電子メール（第３のラベルとして「重要」が付与されるべき電子メール）である場合、その電子メールに対してのアクションとして「返信」、「転送」、「タスク付与」が行われ、「日程調整」の電子メール（第３のラベルとして「日程調整」が付与されるべき電子メール）である場合、その電子メールに対してのアクションとして「返信」、「カレンダー登録」が行われる可能性が高い。
そこで、情報処理装置１００は、電子メール内の情報から第１のラベルを決定し、その電子メールに対するアクションから第２のラベルを決定し、第１のラベルと第２のラベルの両方を用いて、その電子メールに付与すべきラベル（第３のラベル）を決定している。
【００４６】
図３は、本実施の形態による処理例を示すフローチャートである。
ステップＳ３０２では、メール取得モジュール１１５は、メールデータベース１１０から電子メールを取得する。例えば、メールデータベース１１０内にメール情報テーブル４００が記憶されており、いずれかの行（電子メール）を選択する。
図４は、メール情報テーブル４００のデータ構造例を示す説明図である。メール情報テーブル４００は、メールＩＤ欄４１０、タイトル欄４２０、送信者欄４３０、受信者欄４４０、添付ファイル欄４５０を有している。メールＩＤ欄４１０は、本実施の形態において、電子メールを一意に識別するための情報（メールＩＤ）を記憶している。タイトル欄４２０は、そのメールのタイトルを記憶している。送信者欄４３０は、その電子メールの送信者を記憶している。受信者欄４４０は、その電子メールの受信者を記憶している。添付ファイル欄４５０は、そのメールの添付ファイルを記憶している。
例えば、図４では、メール１の電子メールは、タイトル：「［重要］○○の仕様変更」であり、送信者：「ユーザーＡ」、受信者：「ユーザーＢ、Ｃ、Ｄ」、添付ファイル：「仕様書．ｐｄｆ」であり、メール２の電子メールは、タイトル：「［重要］セミナーのご案内」であり、送信者：「ユーザーＡ」、受信者：「ユーザーＢ、Ｃ、Ｄ」、添付ファイル：「セミナー資料．ｐｐｔｘ」であり、メール３の電子メールは、タイトル：「３／２１週報」であり、送信者：「ユーザーＡ」、受信者：「ユーザーＤ、Ｅ、Ｆ」、添付ファイル：「なし」である。
【００４７】
ステップＳ３０４では、メタ情報ラベル決定モジュール１２５は、メタ情報ラベル付けルール記憶モジュール１２０にしたがって、対象としている電子メールのメタ情報ラベル（第１のラベル）を決定する。例えば、メタ情報ラベル付けルール記憶モジュール１２０内のメタ情報ラベル付けルールテーブル５００を用いる。
図５は、メタ情報ラベル付けルールテーブル５００のデータ構造例を示す説明図である。メタ情報ラベル付けルールテーブル５００は、ルールＩＤ欄５１０、ラベル欄５２０、ルール欄５３０を有している。ルールＩＤ欄５１０は、本実施の形態において、ルールを一意に識別するための情報（ルールＩＤ）を記憶している。ラベル欄５２０は、そのルールが適合した場合のラベルを記憶している。ルール欄５３０は、ルールを記憶している。
例えば、図５では、ルール１は、第１のラベル：「重要」と決定するのに、「タイトルに“［重要］”，“［緊急］”を含み、添付ファイルが存在する」に適合することを条件としている。ルール２は、第１のラベル：「日程調整」と決定するのに、「タイトルに“［確定］”と日付表現を含む」に適合することを条件としている。ルール３は、第１のラベル：「要返信」と決定するのに、「タイトルに“［要返信］”又は“［返信希望］”を含む」に適合することを条件としている。
【００４８】
図４の例に示したメール情報テーブル４００に対して、図５の例に示したメタ情報ラベル付けルールテーブル５００を適用した場合、以下のように第１のラベルが決定される。
メール１：ルール１に適合するため、“重要”ラベルが付与される。
メール２：ルール１に適合するため、“重要”ラベルが付与される。
メール３：ルール１、２いずれにも適合せず、“ラベルなし”が付与される。
【００４９】
ステップＳ３０６では、アクション履歴取得モジュール１４０は、アクション履歴データベース１３５から電子メールに関するアクション履歴を取得する。例えば、アクション履歴データベース１３５内にアクション履歴情報テーブル６００が記憶されており、ステップＳ３０２で取得した電子メールの行（電子メールに対するアクション）を選択する。
図６は、アクション履歴情報テーブル６００のデータ構造例を示す説明図である。アクション履歴情報テーブル６００は、メールＩＤ欄６１０、操作者欄６２０、アクション欄６３０を有している。メールＩＤ欄６１０は、メールＩＤを記憶している。操作者欄６２０は、そのメールに対する操作者（一般的には、受信者）を記憶している。アクション欄６３０は、そのメールに対するアクションを記憶している。
例えば、図６では、メール１に対して、操作者：「ユーザーＢ」によって、アクション：「返信」が行われ、メール１に対して、操作者：「ユーザーＣ」によって、アクション：「転送」が行われ、メール２に対して、操作者：「ユーザーＤ」によって、アクション：「返信」が行われ、メール３に対して、操作者：「ユーザーＦ」によって、アクション：「返信」が行われたことを示している。
【００５０】
ステップＳ３０８では、アクション履歴ラベル決定モジュール１５０は、アクション履歴ラベル付けルール記憶モジュール１４５にしたがって、対象としている電子メールのアクション履歴ラベル（第２のラベル）を決定する。例えば、アクション履歴ラベル付けルール記憶モジュール１４５内のアクション履歴ラベル付けルールテーブル７００を用いる。
図７は、アクション履歴ラベル付けルールテーブル７００のデータ構造例を示す説明図である。アクション履歴ラベル付けルールテーブル７００は、ルールＩＤ欄７１０、ラベル欄７２０、ルール欄７３０を有している。ルールＩＤ欄７１０は、ルールＩＤを記憶している。ラベル欄７２０は、そのルールが適合した場合のラベルを記憶している。ルール欄７３０は、ルールを記憶している。
例えば、図７では、ルールＡ１は、第２のラベル：「重要」と決定するのに、「返信・転送を行った受信者が半数以上である」に適合することを条件としている。ルールＡ２は、第２のラベル：「日程調整」と決定するのに、「受信者がカレンダーに登録」に適合することを条件としている。また、この他に、例えば、第２のラベル：「要返信」と決定するのに、「返信を行った受信者が半数以上である」に適合することを条件としているルールを付加してもよい。
【００５１】
図６の例に示したアクション履歴情報テーブル６００に対して、図７の例に示したアクション履歴ラベル付けルールテーブル７００を適用した場合、以下のように第２のラベルが決定される。
メール１：ルールＡ１に適合するため、“重要”ラベルが付与される。
メール２：ルールＡ１、Ａ２いずれにも適合せず、“ラベルなし”が付与される。
メール３：ルールＡ１、Ａ２いずれにも適合せず、“ラベルなし”が付与される。
【００５２】
ステップＳ３１０では、ラベル決定モジュール１５５は、対象としている電子メールのラベル（第３のラベル）を決定する。以下に４例（Ｘ１、Ｘ２、Ｘ３、Ｘ４）を示す。
（Ｘ１）  例えば、（１）メタ情報に基づくラベルとアクション履歴に基づくラベルが同じである場合は、最終的なラベルとして、そのメタ情報に基づくラベル又はそのアクション履歴に基づくラベル（両者は同じであるので、いずれを採用しても同じである）を採用し、（２）メタ情報に基づくラベルとアクション履歴に基づくラベルの両方がラベルなしである場合は、最終的なラベルはラベルなしとし、（３）メタ情報に基づくラベルとアクション履歴に基づくラベルのいずれかがラベルなしである場合は、最終的なラベルとしてラベルなしではない、そのメタ情報に基づくラベル又はそのアクション履歴に基づくラベルのいずれかを採用するルールを適用した場合の処理結果として、学習データテーブル８００を生成する。
図８は、学習データテーブル８００のデータ構造例を示す説明図である。学習データテーブル８００は、メールＩＤ欄８１０、メタ情報に基づくラベル欄８２０、アクション履歴に基づくラベル欄８３０、最終的なラベル欄８４０を有している。メールＩＤ欄８１０は、メールＩＤを記憶している。メタ情報に基づくラベル欄８２０は、メタ情報に基づくラベル（第１のラベル）を記憶している。アクション履歴に基づくラベル欄８３０は、アクション履歴に基づくラベル（第２のラベル）を記憶している。最終的なラベル欄８４０は、最終的なラベル（第３のラベル）を記憶している。
例えば、メール１は、メタ情報に基づくラベル：「重要」、アクション履歴に基づくラベル：「重要」、最終的なラベル：「重要」であり、メール２は、メタ情報に基づくラベル：「重要」、アクション履歴に基づくラベル：「ラベルなし」、最終的なラベル：「重要」であり、メール３は、メタ情報に基づくラベル：「ラベルなし」、アクション履歴に基づくラベル：「ラベルなし」、最終的なラベル：「ラベルなし」である。
つまり、以下のようになっている。
メール１：いずれも“重要”ラベルが付与されているため、“重要”ラベルを付与する。
メール２：メタ情報に基づいたラベルが“重要”となっているため、“重要”ラベルを付与する。
メール３：いずれも“ラベルなし”が付与されているため、“ラベルなし”（学習データに用いない）を付与する。
【００５３】
（Ｘ２）  また、例えば、（１）メタ情報に基づくラベルとアクション履歴に基づくラベルが同じである場合は、最終的なラベルとして、そのメタ情報に基づくラベル又はそのアクション履歴に基づくラベル（両者は同じであるので、いずれを採用しても同じである）を採用し、（２）メタ情報に基づくラベルとアクション履歴に基づくラベルの両方がラベルなしである場合は、最終的なラベルはラベルなしとし、（３）メタ情報に基づくラベルとアクション履歴に基づくラベルが異なる場合は、最終的なラベルとしてアクション履歴に基づくラベルを採用するルールを適用した場合の処理結果として、学習データテーブル９００を生成する。
図９は、学習データテーブル９００のデータ構造例を示す説明図である。
学習データテーブル９００は、メールＩＤ欄９１０、メタ情報に基づくラベル欄９２０、アクション履歴に基づくラベル欄９３０、最終的なラベル欄９４０を有している。メールＩＤ欄９１０は、ルールＩＤを記憶している。メタ情報に基づくラベル欄９２０は、メタ情報に基づくラベル（第１のラベル）を記憶している。アクション履歴に基づくラベル欄９３０は、アクション履歴に基づくラベル（第２のラベル）を記憶している。最終的なラベル欄９４０は、最終的なラベル（第３のラベル）を記憶している。
例えば、メール１は、メタ情報に基づくラベル：「重要」、アクション履歴に基づくラベル：「重要」、最終的なラベル：「重要」であり、メール２は、メタ情報に基づくラベル：「重要」、アクション履歴に基づくラベル：「ラベルなし」、最終的なラベル：「ラベルなし」であり、メール３は、メタ情報に基づくラベル：「ラベルなし」、アクション履歴に基づくラベル：「ラベルなし」、最終的なラベル：「重要」である。
つまり、以下のようになっている。
メール１：いずれも“重要”ラベルが付与されているため、“重要”ラベルを付与する。
メール２：異なっており、アクション履歴に基づくラベルが“ラベルなし”となっているため、“ラベルなし”（学習データに用いない）を付与する。
メール３：いずれも“ラベルなし”が付与されているため、“ラベルなし”（学習データに用いない）を付与する。
【００５４】
（Ｘ３）  また、最終的なラベルが教師情報として正例であるか負例であるかを含む場合として、以下のようにしてもよい。
例えば、（１）メタ情報に基づくラベルとアクション履歴に基づくラベルが同じである場合は、最終的なラベルとして、そのメタ情報に基づくラベル又はそのアクション履歴に基づくラベル（両者は同じであるので、いずれを採用しても同じである）を採用し、（２）メタ情報に基づくラベルとアクション履歴に基づくラベルの両方がラベルなしである場合は、最終的なラベルはラベルなしとし、（３）メタ情報に基づくラベルとアクション履歴に基づくラベルのいずれかがラベルなしである場合は、最終的なラベルとしてラベルなしではない、そのメタ情報に基づくラベル又はそのアクション履歴に基づくラベルのいずれかを採用し、（４）メタ情報に基づくラベルとアクション履歴に基づくラベルの両方が同じである場合は、最終的なラベルは正例とし、（５）メタ情報に基づくラベルとアクション履歴に基づくラベルが異なる場合（一方がラベルなしを含む）は、最終的なラベルは負例とするルールを適用した場合の処理結果として、学習データテーブル１０００を生成する。
図１０は、学習データテーブル１０００のデータ構造例を示す説明図である。学習データテーブル１０００は、メールＩＤ欄１０１０、メタ情報に基づくラベル欄１０２０、アクション履歴に基づくラベル欄１０３０、最終的なラベル欄１０４０、正例／負例欄１０５０を有している。メールＩＤ欄１０１０は、ルールＩＤを記憶している。メタ情報に基づくラベル欄１０２０は、メタ情報に基づくラベル（第１のラベル）を記憶している。アクション履歴に基づくラベル欄１０３０は、アクション履歴に基づくラベル（第２のラベル）を記憶している。最終的なラベル欄１０４０は、最終的なラベル（第３のラベル）を記憶している。正例／負例欄１０５０は、正例又は負例のどちらであるかを記憶している。
例えば、メール１は、メタ情報に基づくラベル：「重要」、アクション履歴に基づくラベル：「重要」、最終的なラベル：「重要」、正例／負例：「正例」であり、メール２は、メタ情報に基づくラベル：「重要」、アクション履歴に基づくラベル：「ラベルなし」、最終的なラベル：「重要」、正例／負例：「負例」であり、メール３は、メタ情報に基づくラベル：「ラベルなし」、アクション履歴に基づくラベル：「ラベルなし」、最終的なラベル：「ラベルなし」、正例／負例：「−（ヌル）」である。
つまり、以下のようになっている。
メール１：いずれも“重要”ラベルが付与されているため、正例の“重要”ラベルを付与する。
メール２：メタ情報に基づいたラベルが“重要”となっており、アクション履歴に基づくラベルが“ラベルなし”となっているため、負例の“重要”を付与する。
メール３：いずれも“ラベルなし”が付与されているため、“ラベルなし”（学習データに用いない）を付与する。
機械学習では学習データに正例と近い負例（ニアミス事例）があると高い精度を達成しやすいため、メール３を負例とするよりもメール２を負例とした方が精度が高まる可能性が高い。
【００５５】
（Ｘ４）  また、例えば、（１）メタ情報に基づくラベルとアクション履歴に基づくラベルが同じである場合は、最終的なラベルとして、そのメタ情報に基づくラベル又はそのアクション履歴に基づくラベル（両者は同じであるので、いずれを採用しても同じである）を採用し、（２）メタ情報に基づくラベルとアクション履歴に基づくラベルの両方がラベルなしである場合は、対象としているラベルを採用し、そのラベルは負例とし、（３）メタ情報に基づくラベルとアクション履歴に基づくラベルが異なる場合は、最終的なラベルとしてアクション履歴に基づくラベルを採用し、（４）メタ情報に基づくラベルとアクション履歴に基づくラベルの両方が同じである場合は、最終的なラベルは正例とするルールを適用した場合の処理結果として、学習データテーブル１１００を生成する。なお、図１１の例での「対象としているラベル」は、予め定められた「重要」である。
図１１は、学習データテーブル１１００のデータ構造例を示す説明図である。学習データテーブル１１００は、メールＩＤ欄１１１０、メタ情報に基づくラベル欄１１２０、アクション履歴に基づくラベル欄１１３０、最終的なラベル欄１１４０、正例／負例欄１１５０を有している。メールＩＤ欄１１１０は、ルールＩＤを記憶している。メタ情報に基づくラベル欄１１２０は、メタ情報に基づくラベル（第１のラベル）を記憶している。アクション履歴に基づくラベル欄１１３０は、アクション履歴に基づくラベル（第２のラベル）を記憶している。最終的なラベル欄１１４０は、最終的なラベル（第３のラベル）を記憶している。正例／負例欄１１５０は、正例又は負例のどちらであるかを記憶している。
例えば、メール１は、メタ情報に基づくラベル：「重要」、アクション履歴に基づくラベル：「重要」、最終的なラベル：「重要」、正例／負例：「正例」であり、メール２は、メタ情報に基づくラベル：「重要」、アクション履歴に基づくラベル：「ラベルなし」、最終的なラベル：「ラベルなし」、正例／負例：「−（ヌル）」であり、メール３は、メタ情報に基づくラベル：「ラベルなし」、アクション履歴に基づくラベル：「ラベルなし」、最終的なラベル：「重要」、正例／負例：「負例」である。
つまり、以下のようになっている。
メール１：いずれも“重要”ラベルが付与されているため、正例の“重要”ラベルを付与する。
メール２：異なっており、アクション履歴に基づくラベルが“ラベルなし”となっているため、“ラベルなし”（学習データに用いない）を付与する。
メール３：いずれも“ラベルなし”が付与されているため、対象としているラベルの“重要”（負例）を付与する。
【００５６】
ステップＳ３１２では、ラベル決定モジュール１５５は、学習データデータベース１６０に学習データを記憶させる。具体的には、図８〜図１１の例に示した学習データテーブル８００、学習データテーブル９００、情報処理装置１００、学習データテーブル１１００を、学習データデータベース１６０に記憶させる。なお、学習データテーブル８００、学習データテーブル９００については、メールＩＤ欄と最終的なラベル欄だけで構成された学習データであってもよいし、学習データテーブル１０００、学習データテーブル１１００については、メールＩＤ欄と最終的なラベル欄と正例／負例欄だけで構成された学習データであってもよい
また、（１）ステップＳ３０２とステップＳ３０４の処理、（２）ステップＳ３０６とステップＳ３０８の処理については、いずれを先に行ってもよいし、並列して行ってもよい。
【００５７】
なお、本実施の形態としてのプログラムが実行されるコンピュータのハードウェア構成は、図１２に例示するように、一般的なコンピュータであり、具体的にはパーソナルコンピュータ、サーバーとなり得るコンピュータ等である。つまり、具体例として、処理部（演算部）としてＣＰＵ１２０１を用い、記憶装置としてＲＡＭ１２０２、ＲＯＭ１２０３、ＨＤ１２０４を用いている。ＨＤ１２０４として、例えばハードディスク、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）を用いてもよい。メール取得モジュール１１５、メタ情報ラベル決定モジュール１２５、アクション履歴取得モジュール１４０、アクション履歴ラベル決定モジュール１５０、ラベル決定モジュール１５５等のプログラムを実行するＣＰＵ１２０１と、そのプログラムやデータを記憶するＲＡＭ１２０２と、本コンピュータを起動するためのプログラム等が格納されているＲＯＭ１２０３と、メールデータベース１１０、メタ情報ラベル付けルール記憶モジュール１２０、アクション履歴データベース１３５、アクション履歴ラベル付けルール記憶モジュール１４５、学習データデータベース１６０としての機能を有する補助記憶装置（フラッシュ・メモリ等であってもよい）であるＨＤ１２０４と、キーボード、マウス、タッチスクリーン、マイク、カメラ（視線検知カメラ等を含む）等に対する利用者の操作（動作、音声、視線等を含む）に基づいてデータを受け付ける受付装置１２０６と、ＣＲＴ、液晶ディスプレイ、スピーカー等の出力装置１２０５と、ネットワークインタフェースカード等の通信ネットワークと接続するための通信回線インタフェース１２０７、そして、それらをつないでデータのやりとりをするためのバス１２０８により構成されている。これらのコンピュータが複数台互いにネットワークによって接続されていてもよい。
【００５８】
前述の実施の形態のうち、コンピュータ・プログラムによるものについては、本ハードウェア構成のシステムにソフトウェアであるコンピュータ・プログラムを読み込ませ、ソフトウェアとハードウェア資源とが協働して、前述の実施の形態が実現される。
なお、図１２に示すハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図１２に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続している形態でもよく、さらに図１２に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、携帯情報通信機器（携帯電話、スマートフォン、モバイル機器、ウェアラブルコンピュータ等を含む）、情報家電、ロボット、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。
【００５９】
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ＳＤ（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ）メモリーカード等が含まれる。
そして、前記のプログラムの全体又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分若しくは全部であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
【符号の説明】
【００６０】
１００…情報処理装置
１０５…メタ情報処理モジュール
１１０…メールデータベース
１１５…メール取得モジュール
１２０…メタ情報ラベル付けルール記憶モジュール
１２５…メタ情報ラベル決定モジュール
１３０…アクション履歴処理モジュール
１３５…アクション履歴データベース
１４０…アクション履歴取得モジュール
１４５…アクション履歴ラベル付けルール記憶モジュール
１５０…アクション履歴ラベル決定モジュール
１５５…ラベル決定モジュール
１６０…学習データデータベース
２１０…ユーザー端末
２２０…メール処理装置
２３０…機械学習装置
２９０…通信回線
【図１】
2019061419.tif 000003
【図２】
2019061419.tif 000004
【図３】
2019061419.tif 000005
【図４】
2019061419.tif 000006
【図５】
2019061419.tif 000007
【図６】
2019061419.tif 000008
【図７】
2019061419.tif 000009
【図８】
2019061419.tif 000010
【図９】
2019061419.tif 000011
【図１０】
2019061419.tif 000012
【図１１】
2019061419.tif 000013
【図１２】
2019061419.tif 000014