(57)【要約】      （修正有）【課題】質問に対して、違和感を低減した自然な文面の回答を生成する。【解決手段】情報処理装置１は、機械学習された学習結果に基づいて、入力質問文に対する回答文を生成する回答生成部１３４を備える。学習結果は、質問文を単語ごとに変換された特徴ベクトルを双方向の単語の並び順に基づいて生成した質問特徴ベクトル群に基づいて学習して生成された質問中間ベクトルと、複数の部分項目それぞれに対応し、正解文を単語ごとに変換された特徴ベクトルを双方向の単語の並び順に基づいて生成した正解特徴ベクトル群に基づいて学習して生成された正解中間ベクトルと、複数の部分項目それぞれに対応し、不正解文を単語ごとに変換された特徴ベクトルを双方向の単語の並び順に基づいて生成した不正解特徴ベクトル群に基づいて学習して生成された不正解中間ベクトルとの複数の部分項目の組合せに基づいて算出される損失関数により最適化されて学習される。【選択図】図１
2018060273.tif 000002
【特許請求の範囲】
【請求項１】
入力された入力質問文を取得する質問取得部と、
質問文と、回答文において、予め定められた文章の筋道により分割される複数の部分項目それぞれに対応する正解文及び不正解文との組を複数有する学習情報に基づいて、機械学習された学習結果に基づいて、前記質問取得部によって取得された前記入力質問文に対する回答文を生成する回答生成部と
を備え、
前記学習結果は、
前記質問文を単語ごとに変換された特徴ベクトルを時系列の順方向及び逆方向の双方向の前記単語の並び順に基づいて生成した質問特徴ベクトル群に基づいて、前記単語の並びを前記双方向に学習して生成された質問中間ベクトルと、
前記複数の部分項目それぞれに対応した正解中間ベクトルであって、前記正解文を単語ごとに変換された特徴ベクトルを前記双方向の前記単語の並び順に基づいて生成した正解特徴ベクトル群に基づいて、前記単語の並びを前記双方向に学習して生成された正解中間ベクトルと、
前記複数の部分項目それぞれに対応した不正解中間ベクトルであって、前記不正解文を単語ごとに変換された特徴ベクトルを前記双方向の前記単語の並び順に基づいて生成した不正解特徴ベクトル群に基づいて、前記単語の並びを前記双方向に学習して生成された不正解中間ベクトルと
の前記複数の部分項目の組合せに基づいて算出される損失関数により最適化されて学習される
ことを特徴とする情報処理装置。
【請求項２】
前記学習結果は、
前記質問文に含まれる単語の特徴ベクトルと、前記質問文に関連する用語の特徴ベクトルとを平均化して学習された追加ベクトルに基づいて生成された、前記質問中間ベクトル、前記正解中間ベクトル、及び不正解中間ベクトルに基づいて学習される
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記質問特徴ベクトル群は、前記質問文と前記追加ベクトルとに基づいて変換され、
前記正解特徴ベクトル群は、前記正解文と前記追加ベクトルとに基づいて変換され、
前記不正解特徴ベクトル群は、前記不正解文と前記追加ベクトルとに基づいて変換される
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記学習結果は、
前記複数の部分項目のうちの第１の部分項目に対応する前記正解中間ベクトル及び前記不正解中間ベクトルに基づいて、前記第１の部分項目と異なる第２の部分項目に対応する正解特徴ベクトル群及び不正解特徴ベクトル群が更新されて学習される
ことを特徴とする請求項１から請求項３のいずれか一項に記載の情報処理装置。
【請求項５】
前記学習情報に基づいて機械学習し、前記学習結果を生成する学習処理部を備える
ことを特徴とする請求項１から請求項４のいずれか一項に記載の情報処理装置。
【請求項６】
質問取得部が、入力された入力質問文を取得する質問取得ステップと、
回答生成部が、質問文と、回答文において、予め定められた文章の筋道により分割される複数の部分項目それぞれに対応する正解文及び不正解文との組を複数有する学習情報に基づいて、機械学習された学習結果に基づいて、前記質問取得ステップによって取得された前記入力質問文に対する回答文を生成する回答生成ステップと
を含み、
前記学習結果は、
前記質問文を単語ごとに変換された特徴ベクトルを時系列の順方向及び逆方向の双方向の前記単語の並び順に基づいて生成した質問特徴ベクトル群に基づいて、前記単語の並びを前記双方向に学習して生成された質問中間ベクトルと、
前記複数の部分項目それぞれに対応した正解中間ベクトルであって、前記正解文を単語ごとに変換された特徴ベクトルを前記双方向の前記単語の並び順に基づいて生成した正解特徴ベクトル群に基づいて、前記単語の並びを前記双方向に学習して生成された正解中間ベクトルと、
前記複数の部分項目それぞれに対応した不正解中間ベクトルであって、前記不正解文を単語ごとに変換された特徴ベクトルを前記双方向の前記単語の並び順に基づいて生成した不正解特徴ベクトル群に基づいて、前記単語の並びを前記双方向に学習して生成された不正解中間ベクトルと
の前記複数の部分項目の組合せに基づいて算出される損失関数により最適化されて学習される
ことを特徴とする情報処理方法。
【請求項７】
コンピュータに、
質問取得部が、入力された入力質問文を取得する質問取得ステップと、
回答生成部が、質問文と、回答文において、予め定められた文章の筋道により分割される複数の部分項目それぞれに対応する正解文及び不正解文との組を複数有する学習情報に基づいて、機械学習された学習結果に基づいて、前記質問取得ステップによって取得された前記入力質問文に対する回答文を生成する回答生成ステップと
を実行させるためのプログラムであり、
前記学習結果は、
前記質問文を単語ごとに変換された特徴ベクトルを時系列の順方向及び逆方向の双方向の前記単語の並び順に基づいて生成した質問特徴ベクトル群に基づいて、前記単語の並びを前記双方向に学習して生成された質問中間ベクトルと、
前記複数の部分項目それぞれに対応した正解中間ベクトルであって、前記正解文を単語ごとに変換された特徴ベクトルを前記双方向の前記単語の並び順に基づいて生成した正解特徴ベクトル群に基づいて、前記単語の並びを前記双方向に学習して生成された正解中間ベクトルと、
前記複数の部分項目それぞれに対応した不正解中間ベクトルであって、前記不正解文を単語ごとに変換された特徴ベクトルを前記双方向の前記単語の並び順に基づいて生成した不正解特徴ベクトル群に基づいて、前記単語の並びを前記双方向に学習して生成された不正解中間ベクトルと
の前記複数の部分項目の組合せに基づいて算出される損失関数により最適化されて学習される
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、機械学習（例えば、深層学習（Deep Learning）手法）を利用して、入力された質問に対して、回答を出力する技術が知られている（例えば、非特許文献１を参照）。このような従来技術を用いた情報処理装置では、例えば、過去に蓄積された回答などの予め用意された既存の回答のうちから、適切であると推定された回答が選択されて出力される。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Tan M, Xiang B, Zhou B, “LSTM-BASED DEEP LEARNING MODELS FOR NONFACTOID ANSWER SELECTION”1511.04108v1, 12 Nov 2015
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来の情報処理装置では、例えば、質問が理由や事象の説明に基づく回答を求めるNon-Factoid型質問である場合に、回答が複雑な長文になるが、質問に対して、予め用意された既存の回答が出力されるため、新たな回答を生成することは困難である。そのため、上述した従来の情報処理装置では、質問に対して、文面に違和感のある不自然な回答が出力される場合があった。
【０００５】
本発明は、上記問題を解決すべくなされたもので、その目的は、質問に対して、違和感を低減した自然な文面の回答を生成することができる情報処理装置、情報処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記問題を解決するために、本発明の一態様は、入力された入力質問文を取得する質問取得部と、質問文と、回答文において、予め定められた文章の筋道により分割される複数の部分項目それぞれに対応する正解文及び不正解文との組を複数有する学習情報に基づいて、機械学習された学習結果に基づいて、前記質問取得部によって取得された前記入力質問文に対する回答文を生成する回答生成部とを備え、前記学習結果は、前記質問文を単語ごとに変換された特徴ベクトルを時系列の順方向及び逆方向の双方向の前記単語の並び順に基づいて生成した質問特徴ベクトル群に基づいて、前記単語の並びを前記双方向に学習して生成された質問中間ベクトルと、前記複数の部分項目それぞれに対応した正解中間ベクトルであって、前記正解文を単語ごとに変換された特徴ベクトルを前記双方向の前記単語の並び順に基づいて生成した正解特徴ベクトル群に基づいて、前記単語の並びを前記双方向に学習して生成された正解中間ベクトルと、前記複数の部分項目それぞれに対応した不正解中間ベクトルであって、前記不正解文を単語ごとに変換された特徴ベクトルを前記双方向の前記単語の並び順に基づいて生成した不正解特徴ベクトル群に基づいて、前記単語の並びを前記双方向に学習して生成された不正解中間ベクトルとの前記複数の部分項目の組合せに基づいて算出される損失関数により最適化されて学習されることを特徴とする情報処理装置である。
【０００７】
また、本発明の一態様は、上記の情報処理装置において、前記学習結果は、前記質問文に含まれる単語の特徴ベクトルと、前記質問文に関連する用語の特徴ベクトルとを平均化して学習された追加ベクトルに基づいて生成された、前記質問中間ベクトル、前記正解中間ベクトル、及び不正解中間ベクトルに基づいて学習されることを特徴とする。
【０００８】
また、本発明の一態様は、上記の情報処理装置において、前記質問特徴ベクトル群は、前記質問文と前記追加ベクトルとに基づいて変換され、前記正解特徴ベクトル群は、前記正解文と前記追加ベクトルとに基づいて変換され、前記不正解特徴ベクトル群は、前記不正解文と前記追加ベクトルとに基づいて変換されることを特徴とする。
【０００９】
また、本発明の一態様は、上記の情報処理装置において、前記学習結果は、前記複数の部分項目のうちの第１の部分項目に対応する前記正解中間ベクトル及び前記不正解中間ベクトルに基づいて、前記第１の部分項目と異なる第２の部分項目に対応する正解特徴ベクトル群及び不正解特徴ベクトル群が更新されて学習されることを特徴とする。
【００１０】
また、本発明の一態様は、上記の情報処理装置において、前記学習情報に基づいて機械学習し、前記学習結果を生成する学習処理部を備えることを特徴とする。
【００１１】
また、本発明の一態様は、質問取得部が、入力された入力質問文を取得する質問取得ステップと、回答生成部が、質問文と、回答文において、予め定められた文章の筋道により分割される複数の部分項目それぞれに対応する正解文及び不正解文との組を複数有する学習情報に基づいて、機械学習された学習結果に基づいて、前記質問取得ステップによって取得された前記入力質問文に対する回答文を生成する回答生成ステップとを含み、前記学習結果は、前記質問文を単語ごとに変換された特徴ベクトルを時系列の順方向及び逆方向の双方向の前記単語の並び順に基づいて生成した質問特徴ベクトル群に基づいて、前記単語の並びを前記双方向に学習して生成された質問中間ベクトルと、前記複数の部分項目それぞれに対応した正解中間ベクトルであって、前記正解文を単語ごとに変換された特徴ベクトルを前記双方向の前記単語の並び順に基づいて生成した正解特徴ベクトル群に基づいて、前記単語の並びを前記双方向に学習して生成された正解中間ベクトルと、前記複数の部分項目それぞれに対応した不正解中間ベクトルであって、前記不正解文を単語ごとに変換された特徴ベクトルを前記双方向の前記単語の並び順に基づいて生成した不正解特徴ベクトル群に基づいて、前記単語の並びを前記双方向に学習して生成された不正解中間ベクトルとの前記複数の部分項目の組合せに基づいて算出される損失関数により最適化されて学習されることを特徴とする情報処理方法である。
【００１２】
また、本発明の一態様は、コンピュータに、質問取得部が、入力された入力質問文を取得する質問取得ステップと、回答生成部が、質問文と、回答文において、予め定められた文章の筋道により分割される複数の部分項目それぞれに対応する正解文及び不正解文との組を複数有する学習情報に基づいて、機械学習された学習結果に基づいて、前記質問取得ステップによって取得された前記入力質問文に対する回答文を生成する回答生成ステップとを実行させるためのプログラムであり、前記学習結果は、前記質問文を単語ごとに変換された特徴ベクトルを時系列の順方向及び逆方向の双方向の前記単語の並び順に基づいて生成した質問特徴ベクトル群に基づいて、前記単語の並びを前記双方向に学習して生成された質問中間ベクトルと、前記複数の部分項目それぞれに対応した正解中間ベクトルであって、前記正解文を単語ごとに変換された特徴ベクトルを前記双方向の前記単語の並び順に基づいて生成した正解特徴ベクトル群に基づいて、前記単語の並びを前記双方向に学習して生成された正解中間ベクトルと、前記複数の部分項目それぞれに対応した不正解中間ベクトルであって、前記不正解文を単語ごとに変換された特徴ベクトルを前記双方向の前記単語の並び順に基づいて生成した不正解特徴ベクトル群に基づいて、前記単語の並びを前記双方向に学習して生成された不正解中間ベクトルとの前記複数の部分項目の組合せに基づいて算出される損失関数により最適化されて学習されることを特徴とするプログラムである。
【発明の効果】
【００１３】
本発明によれば、質問に対して、違和感を低減した自然な文面の回答を生成することができる。
【図面の簡単な説明】
【００１４】
【図１】本実施形態による情報処理システムの一例を示す機能ブロック図である。
【図２】本実施形態における学習処理部及び学習処理の一例を説明する図である。
【図３】本実施形態におけるセマンティクスでバイアスをかけた単語ベクトルの学習手法の一例を説明する図である。
【図４】本実施形態における情報処理装置の質問文から回答文を生成する処理の一例を示すフローチャートである。
【図５】本実施形態における回答文の生成の概念の一例を説明する図である。
【図６】本実施形態における回答生成方式と、従来技術との比較を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の一実施形態による情報処理装置について図面を参照して説明する。
【００１６】
図１は、本実施形態による情報処理システム１００の一例を示す概略ブロック図である。
図１に示すように、情報処理システム１００は、情報処理装置１と、端末装置２とを備えている。情報処理装置１と、端末装置２とは、ネットワークＮＷ１を介して接続されている。
情報処理システム１００は、例えば、情報処理装置１に接続した端末装置２に、投稿された質問及び回答を表示して、ユーザ間で情報共有するＱ＆Ａサービスなどの情報サービスを提供する。
【００１７】
端末装置２は、情報処理システム１００が提供する情報サービスを利用するために、ユーザが使用するクライアント端末である。なお、図１に示す例では、説明を簡略化するため、情報処理装置１に１台の端末装置２が接続されている例を示しているが、複数の端末装置２が、情報処理装置１に接続されてもよい。
【００１８】
情報処理装置１は、例えば、Ｑ＆Ａサービスなどの情報サービスを提供するサーバ装置である。情報処理装置１は、例えば、端末装置２を介してユーザから受け付けた質問文を、Ｑ＆Ａサービスに登録して閲覧可能にするとともに、端末装置２を介して他のユーザから受け付けた回答文を登録して閲覧可能にする。また、情報処理装置１は、機械学習を利用して、登録された質問文に対する回答文を生成し、当該回答文をＱ＆Ａサービスに登録して閲覧可能にする。また、情報処理装置１は、ＮＷ（ネットワーク）通信部１１と、記憶部１２と、制御部１３とを備えている。
【００１９】
ＮＷ通信部１１は、例えば、インターネットなどを利用してネットワークＮＷ１に接続し、ネットワークＮＷ１を介して各種情報の通信を行う。ＮＷ通信部１１は、例えば、ネットワークＮＷ１を介して、接続要求のあった端末装置２に接続し、各種情報の通信を行う。
【００２０】
記憶部１２は、情報処理装置１が実行する各種処理に利用される情報を記憶する。記憶部１２は、例えば、サービス記憶部１２１と、学習結果記憶部１２２とを備えている。
サービス記憶部１２１は、例えば、ユーザによって端末装置２からＱ＆Ａサービスに投稿された質問文及び回答文などの投稿情報を記憶する。
学習結果記憶部１２２は、後述する学習処理部１３２によって、機械学習された学習結果を記憶する。なお、学習結果の詳細については後述する。
【００２１】
制御部１３は、例えば、ＣＰＵ（Central Processing Unit）などを含むプロセッサであり、情報処理装置１を統括的に制御する。制御部１３は、例えば、上述したＱ＆Ａサービスなどの情報サービスを提供する処理や、学習結果記憶部１２２が記憶する学習結果の生成処理、情報処理装置１がＮＷ通信部１１を介して取得した質問文に対する回答文の瀬市営処理などの各種処理を実行する。また、制御部１３は、サービス提供部１３１と、学習処理部１３２と、質問取得部１３３と、回答生成部１３４とを備えている。
【００２２】
サービス提供部１３１は、情報処理装置１が提供する情報サービスに関する処理を実行する。サービス提供部１３１は、例えば、端末装置２からＮＷ通信部１１を介して、受け付けた質問文及び回答文を投稿情報として、サービス記憶部１２１に記憶させる。また、サービス提供部１３１は、例えば、Ｑ＆Ａサービスの閲覧を希望する端末装置２に対して、サービス記憶部１２１に記憶されている投稿情報を、ＮＷ通信部１１を介して端末装置２に出力し、端末装置２に表示させる。また、サービス提供部１３１は、後述する回答生成部１３４が生成した回答文を、サービス記憶部１２１に記憶させる。なお、サービス提供部１３１は、Ｑ＆Ａサービスにおいて、例えば、「恋愛」、「家族」、「料理」など、カテゴリ（分類）ごとに分かれて、情報をユーザに提供するものとする。
【００２３】
学習処理部１３２は、質問文と、回答文において、予め定められた文章の筋道（シナリオ）により分割される複数の部分項目それぞれに対応する正解文及び不正解文との組を複数有する学習情報に基づいて、機械学習を実行して学習結果を生成する。ここで、例えば、回答文の文章の筋道（シナリオ）を、「結論」、「補足」の順に定めた場合には、部分項目は、「結論」及び「補足」であり、回答文の文章の筋道（シナリオ）を、「雑談」、「事例」、「結論」の順番に定めた場合には、部分項目は、「雑談」、「事例」、及び「結論」である。
なお、以下の説明では、複数の部分項目の一例として、「結論」及び「補足」である場合について説明する。
【００２４】
また、学習処理部１３２は、例えば、サービス記憶部１２１が記憶するＱ＆Ａサービスの投稿情報（質問文及び回答文）を入力情報として、深層学習（デープラーニング）技術を利用して、学習結果を生成する。学習処理部１３２は、学習処理の入力情報（学習情報）として、質問文と、正解の回答文、及び正解以外の回答文の中から任意に抽出した不正解文の組を学習情報として使用する。学習処理部１３２は、生成した学習結果を学習結果記憶部１２２に記憶させる。ここで、図２を参照して、本実施形態における学習処理部１３２の構成及び学習処理について説明する。
【００２５】
図２は、本実施形態における学習処理部１３２及び学習処理の一例を説明する図である。
図２に示すように、学習処理部１３２は、ベクトル変換部１０と、ＱＡ−ＬＳＴＭ（Question Answering-Long Short-Term Memory）部（２０−１、２０−２）と、損失関数生成部３０とを備えている。
【００２６】
ベクトル変換部１０は、学習情報の組に含まれる、質問文、正解文、及び不正解文をそれぞれ特徴ベクトルに変換する。なお、正解文及び不正解文は、例えば、「結論」と「補足」の部分項目のそれぞれに分けて特徴ベクトルを生成する。また、ベクトル変換部１０は、例えば、サービス記憶部１２１が記憶する学習情報に基づいて、セマンティクスでバイアスをかけて単語ベクトルを事前学習する。例えば、「恋愛」のカテゴリのＱ＆Ａサービスにおいて、「距離」、「好き」、「恋人」などの単語（トークン）が含まれる可能性が高く、これらをより強調するように、バイアスをかける学習を行う。具体的には、ベクトル変換部１０は、例えば、図３に示すような学習手法を用いて、事前学習を行う。
【００２７】
図３は、本実施形態におけるセマンティクスでバイアスをかけた単語ベクトルの学習手法の一例を説明する図である。
図３に示す例は、「単語Ａ」、「単語Ｂ」、・・・「単語Ｆ」、「単語Ｇ」の順番に並ぶ対象文があった場合に、ベクトル変換部１０は、例えば、当該対象文（例えば、質問文）のカテゴリトークン及びタイトルトークンと、「単語Ａ」、「単語Ｂ」、・・・「単語Ｆ」とのそれぞれを単語ベクトルに変換して平均化し、与えられた文脈において以下の言葉「単語Ｇ」を予測する学習を行う。ここで、カテゴリトークンは、当該対象文のカテゴリ（分類）を示す単語（用語）であり、例えば、上述したＱ＆Ａサービスのカテゴリである「恋愛」、「家族」などである。また、タイトルトークンは、当該対象文（例えば、質問文）に割り当てられたタイトルから抽出される名詞により定義され、例えば、上述した「距離」、「好き」、「恋人」などである。１つのカテゴリトークンが、例えば、質問文に割り当てられる間に、複数のタイトルトークンが、タイトルから抽出されてもよい。
【００２８】
ベクトル変換部１０は、単語ベクトルだけでなく、カテゴリトークンのカテゴリベクトル及びカテゴリトークンのタイトルベクトルを学習する。これらの追加ベクトルは、セマンティクスのバイアスとして機能する。このように、ベクトル変換部１０は、例えば、質問文に含まれる単語の特徴ベクトルと、質問文に関連する用語の特徴ベクトルとを平均化して、追加ベクトル（例えば、カテゴリベクトル及びタイトルベクトル）を事前学習し、当該追加ベクトルに基づいて、学習情報の組に含まれる、質問文、正解文、及び不正解文をそれぞれに対して、単語ごとに特徴ベクトルに変換する。なお、ベクトル変換部１０は、事前学習した学習結果を学習結果記憶部１２２に記憶させる。
【００２９】
例えば、図２に示す例では、ベクトル変換部１０は、質問文を、特徴ベクトルの集合である特徴ベクトル列Ｗｑに変換する。また、ベクトル変換部１０は、「結論」の正解文を、特徴ベクトルの集合である特徴ベクトル列Ｗａｃ＋に変換し、「結論」の不正解文を、特徴ベクトルの集合である特徴ベクトル列Ｗａｃ−に変換する。また、ベクトル変換部１０は、「補足」の正解文を、特徴ベクトルの集合である特徴ベクトル列Ｗａｓ＋に変換し、「補足」の不正解文を、特徴ベクトルの集合である特徴ベクトル列Ｗａｓ−に変換する。
【００３０】
ＱＡ−ＬＳＴＭ部（２０−１、２０−２）は、双方向に学習するニューラルネットワークであるｂｉＬＳＴＭ（bidirectional Long Short-Term Memory）である。ＱＡ−ＬＳＴＭ部２０−１は、「結論」用のｂｉＬＳＴＭであり、ＱＡ−ＬＳＴＭ部２０−２は、「補足」用のｂｉＬＳＴＭである。なお、本実施形態において、ＱＡ−ＬＳＴＭ部２０−１と、ＱＡ−ＬＳＴＭ部２０−２とは、同様の構成であり、学習処理部１３２が備える任意のＱＡ−ＬＳＴＭ部を示す場合、又は特に区別しない場合には、ＱＡ−ＬＳＴＭ部２０として説明する。
【００３１】
ＱＡ−ＬＳＴＭ部２０は、質問埋め込みベクトル生成部２１と、正解埋め込みベクトル生成部２２と、不正解埋め込みベクトル生成部２３とを備えている。
質問埋め込みベクトル生成部２１は、質問文を単語ごとに変換された特徴ベクトルを時系列の順方向及び逆方向の双方向の単語の並び順に基づいて生成した双方向ベクトル列２４（質問特徴ベクトル群）に基づいて、単語の並びを双方向に学習して、質問埋め込みベクトルＯｑを生成する。質問埋め込みベクトル生成部２１は、例えば、質問文の特徴ベクトル列Ｗｑから双方向ベクトル列２４を生成し、当該双方向ベクトル列２４の各要素の最大値を抽出して蓄積するマックスプーリング（Ｍａｘ  ｐｏｏｌｉｎｇ）処理により質問埋め込みベクトルＯｑ（質問中間ベクトル）を生成する。
【００３２】
正解埋め込みベクトル生成部２２は、正解文を単語ごとに変換された特徴ベクトルを時系列の順方向及び逆方向の双方向の単語の並び順に基づいて生成した双方向ベクトル列２５（正解特徴ベクトル群）に基づいて、単語の並びを双方向に学習して、正解埋め込みベクトルＯａ＋を生成する。正解埋め込みベクトル生成部２２は、例えば、正解文の特徴ベクトル列Ｗａ＋から双方向ベクトル列２５を生成し、当該双方向ベクトル列２５の各要素の最大値を抽出して蓄積するマックスプーリング処理により正解埋め込みベクトルＯａ＋（正解中間ベクトル）を生成する。
【００３３】
不正解埋め込みベクトル生成部２３は、不正解文を単語ごとに変換された特徴ベクトルを時系列の順方向及び逆方向の双方向の単語の並び順に基づいて生成した双方向ベクトル列２６（不正解特徴ベクトル群）に基づいて、単語の並びを双方向に学習して、正解埋め込みベクトルＯａ−を生成する。不正解埋め込みベクトル生成部２３は、例えば、不正解文の特徴ベクトル列Ｗａ−から双方向ベクトル列２６を生成し、当該双方向ベクトル列２６の各要素の最大値を抽出して蓄積するマックスプーリング処理により不正解埋め込みベクトルＯａ−（不正解中間ベクトル）を生成する。
【００３４】
なお、ＱＡ−ＬＳＴＭ部２０の基本となるＬＳＴＭについては、非特許文献１に開示されている。基本的なＬＳＴＭでは、学習する際に、入力される時系列の入力Ｘ＝｛ｘ（１），ｘ（２），・・・，ｘ（Ｎ）｝とし、ｘ（ｔ）をｔ番目の単語の特徴ベクトルとした場合に、双方向ベクトル列（２４、２５、２６）の内部のベクトルである各双方向ベクトルｈ（ｔ）が、ｔ時間ごとに以下の式（１）により更新される。
【００３５】
【数１】
2018060273.tif 000003
【００３６】
ここで、基本的なＬＳＴＭのアーキテクチャにおいて、３つのゲート（ｉｎｐｕｔ  ｉｔ，ｆｏｒｇｅｔ  ｆｔ，ｏｕｔｐｕｔ  ｏｔ）と、セルメモリーベクトルｃｔとがある。また、しσ（）はシグモイド関数である。また、Ｗｉ、Ｗｆ、Ｗｏ、Ｗｃ、Ｕｉ、Ｕｆ，Ｕｏ、Ｕｃ、ｂｉ、ｂｆ，ｂｏ、ｂｃは学習されるネットワークパラメータである。
【００３７】
ＱＡ−ＬＳＴＭ部２０−１は、「結論」用のｂｉＬＳＴＭであり、特徴ベクトル列（Ｗｑ、Ｗａｃ＋、Ｗａｃ−）に基づいて、質問埋め込みベクトルＯｑｃ、正解埋め込みベクトルＯａｃ＋、及び不正解埋め込みベクトルＯａｃ−を生成する。ＱＡ−ＬＳＴＭ部２０−１は、質問埋め込みベクトル生成部２１−１と、正解埋め込みベクトル生成部２２−１と、不正解埋め込みベクトル生成部２３−１とを備えている。質問埋め込みベクトル生成部２１−１は、特徴ベクトル列Ｗｑから双方向ベクトル列２４−１を生成し、マックスプーリング処理により質問埋め込みベクトルＯｑｃを生成する。また、正解埋め込みベクトル生成部２２−１は、特徴ベクトル列Ｗａｃ＋から双方向ベクトル列２５−１を生成し、マックスプーリング処理により正解埋め込みベクトルＯａｃ＋を生成する。また、不正解埋め込みベクトル生成部２３−１は、特徴ベクトル列Ｗａｃ−から双方向ベクトル列２６−１を生成し、マックスプーリング処理により正解埋め込みベクトルＯａｃ−を生成する。
【００３８】
ＱＡ−ＬＳＴＭ部２０−２は、「補足」用のｂｉＬＳＴＭであり、特徴ベクトル列（Ｗｑ、Ｗａｓ＋、Ｗａｓ−）に基づいて、質問埋め込みベクトルＯｑｓ、正解埋め込みベクトルＯａｓ＋、及び不正解埋め込みベクトルＯａｓ−を生成する。ＱＡ−ＬＳＴＭ部２０−２は、質問埋め込みベクトル生成部２１−２と、正解埋め込みベクトル生成部２２−２と、不正解埋め込みベクトル生成部２３−２とを備えている。質問埋め込みベクトル生成部２１−２は、特徴ベクトル列Ｗｑから双方向ベクトル列２４−２を生成し、マックスプーリング処理により質問埋め込みベクトルＯｑｓを生成する。また、正解埋め込みベクトル生成部２２−２は、特徴ベクトル列Ｗａｓ＋から双方向ベクトル列２５−２を生成し、マックスプーリング処理により正解埋め込みベクトルＯａｓ＋を生成する。また、不正解埋め込みベクトル生成部２３−２は、特徴ベクトル列Ｗａｓ−から双方向ベクトル列２６−２を生成し、マックスプーリング処理により不正解埋め込みベクトルＯａｓ−を生成する。
【００３９】
また、ＱＡ−ＬＳＴＭ部２０−２は、学習する際に、アテンションメカニズムを利用して、双方向ベクトル列２５−２及び双方向ベクトル列２６−２を更新する。ＱＡ−ＬＳＴＭ部２０−２は、例えば、ＱＡ−ＬＳＴＭ部２０−１が生成した「結論」に対応する正解埋め込みベクトルＯａｓ＋及び不正解埋め込みベクトルＯａｓ−ルに基づいて、「補足」に対応する双方向ベクトル列２５−２（正解特徴ベクトル群）及び双方向ベクトル列２６−２（不正解特徴ベクトル群）を更新する。具体的に、ＱＡ−ＬＳＴＭ部２０−２は、以下の式（２）により、双方向ベクトル列２５−２及び双方向ベクトル列２６−２の内部ベクトルである双方向ベクトルｈｓ（ｔ）を更新する。
【００４０】
【数２】
2018060273.tif 000004
【００４１】
ここで、ｔは、時間のステップであり、Ｗｓｍ、Ｗｃｍ、及びｗｍｂは、アテンションパラメータである。また、〜ｈｓ（ｔ）は、更新後の双方向ベクトルを示す。なお、本文中の上付の〜は文字の真上に付けられた記号を表すものとする。
【００４２】
損失関数生成部３０は、ＱＡ−ＬＳＴＭ部２０−１が生成した質問埋め込みベクトルＯｑｃ、正解埋め込みベクトルＯａｃ＋、及び不正解埋め込みベクトルＯａｃ−と、ＱＡ−ＬＳＴＭ部２０−２が生成した質問埋め込みベクトルＯｑｓ、正解埋め込みベクトルＯａｓ＋、及び不正解埋め込みベクトルＯａｓ−とに基づいて、コサイン類似度を利用した損失関数Ｌを生成する。損失関数生成部３０は、「結論」と、「補足」と、「正解」、「不正解」との組み合わせに基づいて、損失関数Ｌを生成する。損失関数生成部３０は、例えば、以下の式（３）により、損失関数Ｌを算出する。なお、損失関数Ｌは、学習中の質問と回答との各組合せにおけるコサイン値が最大になるように設定されている。
【００４３】
【数３】
2018060273.tif 000005
【００４４】
ここで、［ｙ，ｚ］は、ベクトルｙとベクトルｚとの結合を示す。Ｏｑは、［Ｏｑｃ，Ｏｑｓ］である。また、Ｍは、定数を示し、ｋ（０＜ｋ＜１）は、マージンをコントロールするパラメータである。
学習処理部１３２は、上述のような構成を用いて算出された損失関数Ｌによって最適化して学習結果を生成し、生成した学習結果を学習結果記憶部１２２に記憶させる。学習処理部１３２は、上述した式（１）の「結論」用のパラメータセット｛Ｗｉ、Ｗｆ、Ｗｏ、Ｗｃ、Ｕｉ、Ｕｆ，Ｕｏ、Ｕｃ、ｂｉ、ｂｆ，ｂｏ、ｂｃ｝ｃと、「補足」用のパラメータセット｛Ｗｉ、Ｗｆ、Ｗｏ、Ｗｃ、Ｕｉ、Ｕｆ，Ｕｏ、Ｕｃ、ｂｉ、ｂｆ，ｂｏ、ｂｃ｝ｓと、アテンションパラメータ｛Ｗｓｍ、Ｗｃｍ、ｗｍｂ｝とを含む学習結果を生成する。
【００４５】
なお、上述した例では、回答文のシナリオを「結論」及び「補足」の２つの部分項目により構成する例を説明したが、２つ以上の部分項目により構成するようにしてもよい。その場合、学習処理部１３２によって学習される学習結果は、質問文から生成された質問埋め込みベクトルＯｑと、複数の部分項目それぞれに対応した正解埋め込みベクトルＯａ＋と、複数の部分項目それぞれに対応した不正解中間ベクトルＯａ−との複数の部分項目の組合せに基づいて算出される損失関数Ｌにより最適化されて学習される。
【００４６】
図１に説明に戻り、質問取得部１３３は、情報処理装置１に入力された入力質問文を取得する。質問取得部１３３は、例えば、サービス記憶部１２１が記憶している質問文の中から、入力質問文を取得する。
【００４７】
回答生成部１３４は、上述した学習処理部１３２によって学習された学習結果に基づいて、質問取得部１３３によって取得された入力質問文に対する回答文を生成する。ここで、学習結果は、上述したように、質問文と、回答文において、予め定められた文章の筋道により分割される複数の部分項目それぞれに対応する正解文及び不正解文との組を複数有する学習情報に基づいて、機械学習された結果であり、学習結果記憶部１２２に記憶されている。すなわち、回答生成部１３４は、学習結果記憶部１２２が記憶する学習結果に基づいて、複数の部分項目を結合して生成された回答文を生成する。また、回答生成部１３４は、生成した回答文をサービス提供部１３１に供給して、当該回答文を、入力質問文の回答の投稿として、サービス記憶部１２１に記憶させる。
【００４８】
次に、図面を参照して、本実施形態による情報処理装置１の動作について説明する。
＜学習処理＞
ます、情報処理装置１における学習処理部１３２の学習処理について、図２を参照して説明する。
【００４９】
学習処理部１３２は、以下の（１）〜（６）の手順をＮ回繰り返して、学習処理を実行する。
【００５０】
（１）学習処理部１３２は、まず、学習情報のそれぞれの組情報（質問文ｑ、「結論」の正解文ａｃ＋、「結論」の不正解文ａｃ−、「補足」の正解文ａｓ＋、「補足」の不正解文ａｓ−）を取得する。学習処理部１３２のベクトル変換部１０が、当該組情報を特徴ベクトル列（Ｗｑ、Ｗａｃ＋、Ｗａｃ−、Ｗａｓ＋、Ｗａｓ−）に変換する。
【００５１】
（２）次に、ＱＡ−ＬＳＴＭ部２０−１は、特徴ベクトル列（Ｗｑ、Ｗａｃ＋、Ｗａｃ−）に基づいて、質問埋め込みベクトルＯｑｃ、正解埋め込みベクトルＯａｃ＋、及び不正解埋め込みベクトルＯａｃ−を生成する。ＱＡ−ＬＳＴＭ部２０−１は、双方向ベクトル列（２４−１、２５−１、２６−１）のｔ番目の各双方向ベクトル（ｈｑｃ（ｔ）、ｈａｃ＋（ｔ）、ｈａｃ−（ｔ））をそれぞれマックスプーリング処理して、質問埋め込みベクトルＯｑｃ、正解埋め込みベクトルＯａｃ＋、及び不正解埋め込みベクトルＯａｃ−を生成する。
【００５２】
（３）次に、ＱＡ−ＬＳＴＭ部２０−２は、まず、質問埋め込みベクトルＯｑｓを生成する。ＱＡ−ＬＳＴＭ部２０−２は、双方向ベクトル列２４−２のｔ番目の各双方向ベクトルｈｑｓ（ｔ）をマックスプーリング処理して、質問埋め込みベクトルＯｑｓを生成する。
【００５３】
（４）次に、ＱＡ−ＬＳＴＭ部２０−２は、双方向ベクトル列（２５−２、２６−２）のｔ番目の各双方向ベクトル（ｈａｓ＋（ｔ）、ｈａｓ−（ｔ））を、正解埋め込みベクトルＯａｃ＋、及び不正解埋め込みベクトルＯａｃ−を用いて更新する。すなわち、ＱＡ−ＬＳＴＭ部２０−２は、上述した式（２）を用いて、各双方向ベクトル（ｈａｓ＋（ｔ）、ｈａｓ−（ｔ））を更新して、更新ベクトル（〜ｈａｓ＋（ｔ）、〜ｈａｓ−（ｔ））を生成する。
【００５４】
（５）次に、ＱＡ−ＬＳＴＭ部２０−２は、更新ベクトル（〜ｈａｓ＋（ｔ）、〜ｈａｓ−（ｔ））をそれぞれマックスプーリング処理して、正解埋め込みベクトルＯａｓ＋、及び不正解埋め込みベクトルＯａｓ−を生成する。
【００５５】
（６）次に、学習処理部１３２は、生成した各埋め込みベクトル（Ｏｑｃ、Ｏａｃ＋、Ｏａｃ−、Ｏｑｓ、Ｏａｓ＋、Ｏａｓ−）の組合せにより、損失関数Ｌを算出する。学習処理部１３２の損失関数生成部３０が、例えば、上述した式（３）を用いて、損失関数Ｌを算出する。そして、学習処理部１３２は、算出した損失関数Ｌにより、各パラメータを最適化する。学習処理部１３２は、例えば、「結論」用のパラメータセット｛Ｗｉ、Ｗｆ、Ｗｏ、Ｗｃ、Ｕｉ、Ｕｆ，Ｕｏ、Ｕｃ、ｂｉ、ｂｆ，ｂｏ、ｂｃ｝ｃと、「補足」用のパラメータセット｛Ｗｉ、Ｗｆ、Ｗｏ、Ｗｃ、Ｕｉ、Ｕｆ，Ｕｏ、Ｕｃ、ｂｉ、ｂｆ，ｂｏ、ｂｃ｝ｓと、アテンションパラメータ｛Ｗｓｍ、Ｗｃｍ、ｗｍｂ｝とを最適化する。
【００５６】
学習処理部１３２は、上述した（１）〜（６）の手順をＮ回繰り返してして学習し、当該学習結果を学習結果記憶部１２２に記憶させる。
【００５７】
＜回答文の生成処理＞
次に、図面を参照して、本実施形態における情報処理装置１の質問文から回答文を生成する処理について説明する。
図４は、本実施形態における情報処理装置１の質問文から回答文を生成する処理の一例を示すフローチャートである。
【００５８】
図４に示すように、情報処理装置１は、まず、質問文をサービス記憶部１２１から取得する（ステップＳ１０１）。情報処理装置１の質問取得部１３３は、サービス記憶部１２１が記憶している質問文の中から、入力質問文を取得する。
【００５９】
次に、情報処理装置１の回答生成部１３４は、質問文と、学習結果記憶部１２２が記憶する学習結果とに基づいて、回答文を生成する（ステップＳ１０２）。回答生成部１３４は、例えば、図２及び図３示す学習処理により学習されたが学習結果に基づいて、質問文から回答文を生成する。
【００６０】
なお、回答生成部１３４は、既存の回答文を単に選択するのではなく、文章の筋道を考慮した部分項目を適切に組み合わせて新たな回答文を生成する。例えば、図５に示す例は、部分項目を、「雑談」、「事例」、及び「結論」とした場合の回答文の生成例である。
【００６１】
図５において、回答生成部１３４は、学習結果に基づいて、「雑談」、「事例」、及び「結論」の組合せの適正（部分項目のつながりの適正）を考慮して、例えば、「雑談」として、“いろいろありますね。”を選択し、「事例」として、“人は出会いと別れを繰り返すから。”を選択する。また、回答生成部１３４は、「結論」として、“時間が解決する。”を選択する。そして、回答生成部１３４は、“いろいろありますね。人は出会いと別れを繰り返すから。時間が解決する。”という回答文を生成する。なお、回答生成部１３４は、学習結果が部分項目のつながりの適正を考慮しているため、部分項目の各項目の単体として最適なものが選択されるのではなく、違和感のない回答文が生成されるように、部分項目の各項目を選択して、回答文を生成する。
【００６２】
次に、情報処理装置１の回答生成部１３４は、サービス記憶部１２１に回答文を記憶させる（ステップＳ１０３）。すなわち、回答生成部１３４は、生成した回答文をサービス提供部１３１に供給して、当該回答文を、入力質問文の回答の投稿として、サービス記憶部１２１に記憶させる。これにより、情報処理装置１にネットワークＮＷ１を介して接続し端末装置２から、質問文に対して、回答生成部１３４が生成した回答文を閲覧可能になる。ステップＳ１０３の処理後に、情報処理装置１は、回答文を生成する処理を終了する。
【００６３】
次に、図６を参照して、本実施形態による情報処理装置１が生成した回答文の評価結果について説明する。
【００６４】
図６は、本実施形態における回答生成方式と、従来技術との比較を示す図である。
図６において、「ＱＡ−ＬＳＴＭ」は、比較のために、非特許文献１に記載の技術を使用した場合の評価結果を示している。なお、「ＱＡ−ＬＳＴＭ」では、本実施形態のように回答文の生成を実行しないため、選択された部分項目を単純に結合して評価している。
また、「Ｓｅｍａｔｉｃ−ＬＳＴＭ」は、本実施形態によるセマンティクスでバイアスを「ＱＡ−ＬＳＴＭ」に適用した場合の評価結果である。なお、この場合も「ＱＡ−ＬＳＴＭ」と同様に、回答文の生成を実行しないため、選択された部分項目を単純に結合して評価している。
【００６５】
また、「本実施形態の回答生成方式」は、学習処理部１３２の方式であり、上述した式（２）のアテンションメカニズムを利用しない場合「アテンションなし」と、アテンションメカニズムを利用する場合「アテンションあり」との評価結果である。なお、「本実施形態の回答生成方式」では、上述した本実施形態によるセマンティクスでバイアスをかける処理を適用している。
【００６６】
また、評価結果は、トップＫに対する平均適合率ＡＰを示している、なお、平均適合率ＡＰは、以下の式（４）により算出される。
【００６７】
【数４】
2018060273.tif 000006
【００６８】
ここで、Ｎｊは、ランクがＫ番目である場合に、トップｊのうちの正しい回答の数を示し、Ｄは、（質問とペアにされる）全ての正しい回答の数を示している。
【００６９】
また、評価の際に使用した学習情報は、Ｑ＆Ａサービス「教えてｇｏｏ」において、「恋愛相談」、「旅行」、「医療」などを含む１６個のカテゴリに蓄積された質問文及び回答文を使用している。また、部分項目は、「結論」及び「補足」の２つの場合である。
【００７０】
図６に示すように、本実施形態による手法を使用した「Ｓｅｍａｔｉｃ−ＬＳＴＭ」、及び「本実施形態の回答生成方式」（「アテンションなし」、「アテンションあり」）のいずれの場合も、従来技術の「ＱＡ−ＬＳＴＭ」よりも平均適合率ＡＰが高い。例えば、「本実施形態の回答生成方式」（「アテンションあり」）の平均適合率ＡＰ（Ｋ＝１）の値は、“０．３９０１”であり、「ＱＡ−ＬＳＴＭ」の平均適合率ＡＰ（Ｋ＝１）の値である“０．３２６２”よりも約２０％高い値である。
また、上述したＱ＆Ａサービス「教えてｇｏｏ」の恋愛相談において、１２３個に質問に対して、本実施形態による情報処理装置１により生成した回答文を適用した場合に、１２３個のうち、２１個の回答文がベストアンサー（最適回答）に質問者によって選ばれた。
【００７１】
以上説明したように、本実施形態による情報処理装置１は、質問取得部１３３と、回答生成部１３４とを備える。質問取得部１３３は、入力された入力質問文を取得する。回答生成部１３４は、質問文と、回答文において、予め定められた文章の筋道により分割される複数の部分項目それぞれに対応する正解文及び不正解文との組を複数有する学習情報に基づいて、機械学習された学習結果に基づいて、質問取得部１３３によって取得された入力質問文に対する回答文を生成する。ここで、学習結果は、質問埋め込みベクトルＯｑ（質問中間ベクトル）と、複数の部分項目それぞれに対応した正解埋め込みベクトル（Ｏａｃ＋、Ｏａｓ＋）（正解中間ベクトル）と、複数の部分項目それぞれに対応した不正解埋め込みベクトル（Ｏａｃ−、Ｏａｓ−）（不正解中間ベクトル）と、の複数の部分項目の組合せに基づいて算出される損失関数Ｌにより最適化されて学習される。質問埋め込みベクトルＯｑは、質問文を単語ごとに変換された特徴ベクトルを時系列の順方向及び逆方向の双方向の単語の並び順に基づいて生成した双方向ベクトル列２４（質問特徴ベクトル群）に基づいて、単語の並びを双方向に学習して生成される。正解埋め込みベクトル（Ｏａｃ＋、Ｏａｓ＋）は、正解文を単語ごとに変換された特徴ベクトルを双方向の単語の並び順に基づいて生成した双方向ベクトル列２５（正解特徴ベクトル群）に基づいて、単語の並びを双方向に学習して生成される。不正解埋め込みベクトル（Ｏａｃ−、Ｏａｓ−）は、不正解文を単語ごとに変換された特徴ベクトルを双方向の単語の並び順に基づいて生成した双方向ベクトル列２６（不正解特徴ベクトル群）に基づいて、単語の並びを双方向に学習して生成される。
【００７２】
これにより、本実施形態による情報処理装置１は、学習結果に基づいて、各部分項目の回答のつながりを最適化して選択された各部分項目の回答文が結合されて、新たな回答文を作成することができる。よって、本実施形態による情報処理装置１は、質問に対して、違和感を低減した自然な文面の回答を生成することができる。
【００７３】
また、本実施形態では、例えば、上記の式（３）に基づいて、損失関数Ｌが算出される。損失関数Ｌは、各部分項目の組み合わせを同時に最適化するため、本実施形態による情報処理装置１は、回答文を生成するのに適切な部分項目を選択することができる。
【００７４】
また、本実施形態では、学習結果は、学習処理部１３２によって、質問文に含まれる単語の特徴ベクトルと、質問文に関連する用語の特徴ベクトルとを平均化して学習された追加ベクトル（例えば、カテゴリベクトル及びタイトルベクトル）に基づいて生成された、質問埋め込みベクトルＯｑ、正解埋め込みベクトル（Ｏａｃ＋、Ｏａｓ＋）、及び不正解埋め込みベクトル（Ｏａｃ−、Ｏａｓ−）に基づいて学習される。例えば、双方向ベクトル列２４は、質問文と追加ベクトルとに基づいて変換され、双方向ベクトル列２５は、正解文と追加ベクトルとに基づいて変換され、双方向ベクトル列２６は、不正解文と追加ベクトルとに基づいて変換される。すなわち、学習結果は、学習処理部１３２によって、カテゴリによるセマンティクスでバイアスをかけて学習される。
これにより、本実施形態による情報処理装置１は、質問に対して、例えば、カテゴリに特化した回答を生成することができる。よって、本実施形態による情報処理装置１は、質問に対して、さらに最適な回答文を生成することができる。
【００７５】
また、本実施形態では、学習結果は、学習処理部１３２によって、複数の部分項目のうちの第１の部分項目（例えば、「結論」）に対応する正解埋め込みベクトル（Ｏａｃ＋）及び不正解埋め込みベクトル（Ｏａｃ−）に基づいて、第１の部分項目と異なる第２の部分項目（例えば、「補正」）に対応する双方向ベクトル列２５−２及び双方向ベクトル列２６−２が更新されて学習される。すなわち、学習処理部１３２は、上述した式（２）を用いたアテンションメカニズムにより、双方向ベクトル列２５−２及び双方向ベクトル列２６−２の各双方向ベクトル（ｈ（ｔ））を更新させて学習する。
これにより、本実施形態による情報処理装置１は、部分項目の間の関連（例えば、部分項目のつながり）を最適化した学習を行うことができる。そのため、本実施形態による情報処理装置１は、部分項目を組み合わせて、より自然な回答文を生成することができる。
【００７６】
また、本実施形態による情報処理装置１は、学習情報に基づいて機械学習し、学習結果を生成する学習処理部１３２を備える。
これにより、本実施形態による情報処理装置１は、自装置で学習して学習結果を生成することができる。また、本実施形態による情報処理装置１は、例えば、再学習して、質問に対する回答を改善することができる。
【００７７】
なお、学習処理部１３２は、所定の条件（例えば、定期的、あるいは、平均適合率ＡＰが所定の値以下に低下した、など）に基づいて、学習結果を再学習してもよい。
これにより、本実施形態による情報処理装置１は、時間の変化に対応して、質問に対する回答を改善することができる。
【００７８】
また、本実施形態による情報処理方法は、質問取得ステップと、回答生成ステップとを含む。質問取得ステップにおいて、質問取得部１３３が、入力された入力質問文を取得する。回答生成ステップにおいて、回答生成部１３４が、質問文と、回答文において、予め定められた文章の筋道により分割される複数の部分項目それぞれに対応する正解文及び不正解文との組を複数有する学習情報に基づいて、機械学習された上述した学習結果に基づいて、質問取得ステップによって取得された入力質問文に対する回答文を生成する。
これにより、本実施形態による情報処理方法は、上述した情報処理装置１と同様の効果を奏し、質問に対して、違和感を低減した自然な文面の回答を生成することができる。
【００７９】
なお、本発明は、上記の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上記の実施形態において、情報処理装置１は、学習処理部１３２を備える例を説明したが、これに限定されるものではなく、学習結果を取得できる状態であれば、学習処理部１３２を備えなくてもよい。
【００８０】
また、情報処理装置１は、サービス記憶部１２１と、学習結果記憶部１２２とを備える例を説明したが、サービス記憶部１２１と、学習結果記憶部１２２とのいずれか一方又は両方を、例えば、外部のサーバ装置が備えるようにしてもよい。また、情報処理装置１は、制御部１３が備える機能部の一部を外部のサーバ装置が備えるようにしてもよい。
なお、上記の実施形態において、情報処理装置１は、１台のサーバ装置により構成される例を説明したが、複数の装置により構成されてもよい。
【００８１】
また、上記の実施形態において、情報処理装置１は、回答文を「結論」及び「補足」の２つの部分項目により構成する場合の一例を説明したが、これに限定されるものではなく、３つ以上の部分項目に対応させてもよい。
また、上記の実施形態において、情報処理装置１は、部分項目ごとにＱＡ−ＬＳＴＭ部２０を備える手法と、カテゴリによるセマンティクスでバイアスをかけて学習される手法と、アテンションメカニズムによる手法とを適用する例を説明したが、これに限定されるものではない。情報処理装置１は、例えば、これらの手法の一部を適用しない形態であってもよいし、これらの手法のうちの１つを適用形態であってもよい。
【００８２】
なお、上述した情報処理装置１が備える各構成は、内部に、コンピュータシステムを有している。そして、上述した情報処理装置１が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述した情報処理装置１が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ−ＲＯＭ等の非一過性の記録媒体であってもよい。
【００８３】
また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に情報処理装置１が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００８４】
また、上述した機能の一部又は全部を、ＬＳＩ（Large Scale Integration）等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
【符号の説明】
【００８５】
１  情報処理装置
２  端末装置
１０  ベクトル変換部
１１  ＮＷ通信部
１２  記憶部
１３  制御部
２０、２０−１、２０−２  ＱＡ−ＬＳＴＭ部
２１、２１−１、２１−２  質問埋め込みベクトル生成部
２２、２２−１、２２−２  正解埋め込みベクトル生成部
２３、２３−１、２３−２  不正解埋め込みベクトル生成部
２４、２４−１、２４−２、２５、２５−１、２５−２、２６、２６−１、２６−２  双方向ベクトル列
３０  損失関数生成部
１００  情報処理システム
１２１  サービス記憶部
１２２  学習結果記憶部
１３１  サービス提供部
１３２  学習処理部
１３３  質問取得部
１３４  回答生成部
ＮＷ１  ネットワーク
【図１】
2018060273.tif 000007
【図２】
2018060273.tif 000008
【図３】
2018060273.tif 000009
【図４】
2018060273.tif 000010
【図５】
2018060273.tif 000011
【図６】
2018060273.tif 000012