(57)【要約】【課題】語釈を考慮した文ペアの関係性に関するクラスを求める。【解決手段】畳み込み部２３８は、ニューラルネットの各レイヤーにおいて、単語ベクトル化部３２が出力した特徴行列Ｆj、文ペアアテンション部３２が出力した特徴行列Ｆj(i)'、及び語釈拡張文ペアアテンション部３６が出力した特徴行列Ｆj(i)''に対して畳み込み処理を行って得られる特徴行列Ｆj(i+1)を、レイヤーｉの出力として、文ペアの文の各々に対して出力する。クラス分類部２４０は、文ペア集合に含まれる文ペアの各々に対し、ニューラルネットの最後のレイヤーＢにより出力された、文ペアの各々に対する特徴行列Ｆ１及びＦ２に基づいて、文ペアの関係性に関するクラスに分類する。【選択図】図６
2018185771.tif 000002
【特許請求の範囲】
【請求項１】
文ペアの文の各々を単語の系列に分割する単語分割部と、
前記文ペアの前記文の各々に対し、前記分割された単語の各々を、各単語のベクトルを記憶する単語ベクトル記憶部に基づいてベクトル化して得られる、前記文の各々の単語に関する特徴行列を出力する単語ベクトル化部と、
ニューラルネットの各レイヤーにおいて、前記文ペアの前記文の各々に対する前記単語の各々に関する特徴行列、又は前記文ペアの前記文の各々に対する、一つ前のレイヤーにより出力された特徴行列のマッチングに関する特徴行列を、前記文ペアの前記文の各々に対して出力する文ペアアテンション部と、
ニューラルネットの各レイヤーにおいて、前記レイヤーに対応する単語数だけ前記単語を連結したチャンクについて、チャンクに対する語釈文を記憶する語釈文記憶部を検索して得られる、前記文ペアの一方の文に含まれる前記チャンクに関する語釈文に含まれる単語の各々に関する特徴行列と、前記文ペアの他方の文の単語の各々に関する特徴行列とのマッチングに関する特徴行列を、前記文ペアの前記文の各々に対して出力する語釈拡張文ペアアテンション部と、
ニューラルネットの各レイヤーにおいて、前記単語ベクトル化部が出力した前記特徴行列、前記文ペアアテンション部が出力した前記特徴行列、及び前記語釈拡張文ペアアテンション部が出力した前記特徴行列に対して畳み込み処理を行って得られる特徴行列を、前記レイヤーの出力として、前記文ペアの前記文の各々に対して出力する畳み込み部と、
前記ニューラルネットの最後のレイヤーにより出力された、前記文ペアの各々に対する前記特徴行列に基づいて、前記文ペアの関係性に関するクラスを分類するクラス分類部と、
を含む文ペア分類装置。
【請求項２】
前記単語ベクトル化部、前記文ペアアテンション部、前記語釈拡張文ペアアテンション部、及び前記畳み込み部では、予め学習されたパラメータ行列を用いて特徴行列を求める請求項１に記載の文ペア分類装置。
【請求項３】
文ペアの関係性に関するクラスを示す正解ラベルが付与された文ペアの各々を含む文ペア集合に含まれる前記文ペアの各々に対し、前記文ペアの文の各々を単語の系列に分割する単語分割部と、
前記文ペア集合に含まれる前記文ペアの前記文の各々に対し、前記分割された単語の各々を、各単語のベクトルを記憶する単語ベクトル記憶部に基づいてベクトル化して得られる、前記文の各々の単語に関する特徴行列を出力する単語ベクトル化部と、
ニューラルネットの各レイヤーにおいて、前記文ペアの前記文の各々に対する前記単語の各々に関する特徴行列、又は前記文ペアの前記文の各々に対する、一つ前のレイヤーにより出力された特徴行列のマッチングに関する特徴行列を、前記文ペアの前記文の各々に対して出力する文ペアアテンション部と、
ニューラルネットの各レイヤーにおいて、前記レイヤーに対応する単語数だけ前記単語を連結したチャンクについて、チャンクに対する語釈文を記憶する語釈文記憶部を検索して得られる、前記文ペアの一方の文に含まれる前記チャンクに関する語釈文に含まれる単語の各々に関する特徴行列と、前記文ペアの他方の文の単語の各々に関する特徴行列とのマッチングに関する特徴行列を、前記文ペアの前記文の各々に対して出力する語釈拡張文ペアアテンション部と、
ニューラルネットの各レイヤーにおいて、前記単語ベクトル化部が出力した前記特徴行列、前記文ペアアテンション部が出力した前記特徴行列、及び前記語釈拡張文ペアアテンション部が出力した前記特徴行列に対して畳み込み処理を行って得られる特徴行列を、前記レイヤーの出力として、前記文ペアの前記文の各々に対して出力する畳み込み部と、
前記文ペア集合に含まれる前記文ペアの各々に対し、前記ニューラルネットの最後のレイヤーにより出力された、前記文ペアの各々に対する前記特徴行列に基づいて、前記文ペアの関係性に関するクラスを分類し、分類結果と前記正解ラベルとに基づいて前記分類結果に関する損失を算出するクラス分類部と、
前記文ペア集合に含まれる前記文ペアの各々に対して算出された、前記分類結果に関する損失に基づいて、前記文ペアアテンション部、前記語釈拡張文ペアアテンション部、及び前記畳み込み部において特徴行列を求めるためのパラメータ行列を学習する学習部と、
を含む文ペア分類学習装置。
【請求項４】
単語分割部が、文ペアの文の各々を単語の系列に分割するステップと、
単語ベクトル化部が、前記文ペアの前記文の各々に対し、前記分割された単語の各々を、各単語のベクトルを記憶する単語ベクトル記憶部に基づいてベクトル化して得られる、前記文の各々の単語に関する特徴行列を出力するステップと、
文ペアアテンション部が、ニューラルネットの各レイヤーにおいて、前記文ペアの前記文の各々に対する前記単語の各々に関する特徴行列、又は前記文ペアの前記文の各々に対する、一つ前のレイヤーにより出力された特徴行列のマッチングに関する特徴行列を、前記文ペアの前記文の各々に対して出力するステップと、
語釈拡張文ペアアテンション部が、ニューラルネットの各レイヤーにおいて、前記レイヤーに対応する単語数だけ前記単語を連結したチャンクについて、チャンクに対する語釈文を記憶する語釈文記憶部を検索して得られる、前記文ペアの一方の文に含まれる前記チャンクに関する語釈文に含まれる単語の各々に関する特徴行列と、前記文ペアの他方の文の単語の各々に関する特徴行列とのマッチングに関する特徴行列を、前記文ペアの前記文の各々に対して出力するステップと、
畳み込み部が、ニューラルネットの各レイヤーにおいて、前記単語ベクトル化部が出力した前記特徴行列、前記文ペアアテンション部が出力した前記特徴行列、及び前記語釈拡張文ペアアテンション部が出力した前記特徴行列に対して畳み込み処理を行って得られる特徴行列を、前記レイヤーの出力として、前記文ペアの前記文の各々に対して出力するステップと、
クラス分類部が、前記ニューラルネットの最後のレイヤーにより出力された、前記文ペアの各々に対する前記特徴行列に基づいて、前記文ペアの関係性に関するクラスを分類するステップと、
を含む文ペア分類方法。
【請求項５】
前記単語ベクトル化部、前記文ペアアテンション部、前記語釈拡張文ペアアテンション部、及び前記畳み込み部では、予め学習されたパラメータ行列を用いて特徴行列を求める請求項４に記載の文ペア分類方法。
【請求項６】
単語分割部が、文ペアの関係性に関するクラスを示す正解ラベルが付与された文ペアの各々を含む文ペア集合に含まれる前記文ペアの各々に対し、前記文ペアの文の各々を単語の系列に分割するステップと、
単語ベクトル化部が、前記文ペア集合に含まれる前記文ペアの前記文の各々に対し、前記分割された単語の各々を、各単語のベクトルを記憶する単語ベクトル記憶部に基づいてベクトル化して得られる、前記文の各々の単語に関する特徴行列を出力するステップと、
文ペアアテンション部が、ニューラルネットの各レイヤーにおいて、前記文ペアの前記文の各々に対する前記単語の各々に関する特徴行列、又は前記文ペアの前記文の各々に対する、一つ前のレイヤーにより出力された特徴行列のマッチングに関する特徴行列を、前記文ペアの前記文の各々に対して出力するステップと、
語釈拡張文ペアアテンション部が、ニューラルネットの各レイヤーにおいて、前記レイヤーに対応する単語数だけ前記単語を連結したチャンクについて、チャンクに対する語釈文を記憶する語釈文記憶部を検索して得られる、前記文ペアの一方の文に含まれる前記チャンクに関する語釈文に含まれる単語の各々に関する特徴行列と、前記文ペアの他方の文の単語の各々に関する特徴行列とのマッチングに関する特徴行列を、前記文ペアの前記文の各々に対して出力するステップと、
畳み込み部が、ニューラルネットの各レイヤーにおいて、前記単語ベクトル化部が出力した前記特徴行列、前記文ペアアテンション部が出力した前記特徴行列、及び前記語釈拡張文ペアアテンション部が出力した前記特徴行列に対して畳み込み処理を行って得られる特徴行列を、前記レイヤーの出力として、前記文ペアの前記文の各々に対して出力するステップと、
クラス分類部が、前記文ペア集合に含まれる前記文ペアの各々に対し、前記ニューラルネットの最後のレイヤーにより出力された、前記文ペアの各々に対する前記特徴行列に基づいて、前記文ペアの関係性に関するクラスを分類し、分類結果と前記正解ラベルとに基づいて前記分類結果に関する損失を算出するステップと、
学習部が、前記文ペア集合に含まれる前記文ペアの各々に対して算出された、前記分類結果に関する損失に基づいて、前記文ペアアテンション部、前記語釈拡張文ペアアテンション部、及び前記畳み込み部において特徴行列を求めるためのパラメータ行列を学習するステップと、
を含む文ペア分類学習方法。
【請求項７】
コンピュータを、請求項１若しくは請求項２に記載の文ペア分類装置、又は請求項３に記載の文ペア分類学習装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文ペア分類装置、文ペア分類学習装置、方法、及びプログラムに係り、特に、２つ以上の文の文ペアをクラスに分類するための文ペア分類装置、文ペア分類学習装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
質問文に対して回答となる文であるかの判定（回答文選択）や、２つの文が同じ意味を持つかの判定（換言同定）、文１から文２が推論可能かの判定（含意認識）など、文ペアの関係性クラスの分類を人工知能により正確に実施することができれば、情報検索や質問応答や知的エージェント対話など幅広いサービスに応用することができる。
【０００３】
文ペアクラス分類を行うための従来手法として、非特許文献１などの手法がこれまで提案されている。
【０００４】
非特許文献１などの従来手法では、各文に含まれる単語毎のベクトル類似度行列を計算し、この類似度行列に基づいて、２つの文の関係性クラスを分類している。単語のベクトルについては、非特許文献２に記載のword2vecなどの手法により、大規模な文書コーパスから学習可能である。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Wenpeng Yin, Hinrich Schutze, Bing Xiang, Bowen Zhou: ABCNN: Attention-Based Convolutional Neural Network for Modeling Sentence Pairs. Transactions of the Association for Computational Linguistics, Volume 4: 259-272 (2016)
【非特許文献２】Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeffrey Dean. Distributed Representations of Words and Phrases and their Compositionality. In Proceedings of NIPS, 2013.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来手法では、単語をベクトル化して扱うことにより、例えば「野球のチケットはどこで買えますか？」と「野球の入場券の売り場はどこですか？」の２文が同じ意味（言い換え）を持つことを判定するタスクにおいて、「チケット」と「入場券」の単語ベクトルの類似度が高い事を利用して、正しく判定することが可能になっている。
【０００７】
しかし、「クーリングオフはいつまでできますか？」と「無条件で契約を解除できる期間は？」という言い換え判定においては、「クーリングオフ」という単語と、「無」「条件」「契約」「解除」の各単語の類似度は低くなるため、言い換え判定の精度を下げる要因となる。回答文選択や含意認識のタスクに置いても同様の問題が生じる。
【０００８】
本発明は、上記問題点を解決するために成されたものであり、語釈を考慮した文ペアの関係性に関するクラスを求めることができる文ペア分類装置、方法、及びプログラムを提供することを目的とする。
【０００９】
また、語釈を考慮した文ペアの関係性に関するクラスを求めるためのパラメータを学習することができる文ペア分類学習装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、第１の発明に係る文ペア分類装置は、文ペアの文の各々を単語の系列に分割する単語分割部と、前記文ペアの前記文の各々に対し、前記分割された単語の各々を、各単語のベクトルを記憶する単語ベクトル記憶部に基づいてベクトル化して得られる、前記文の各々の単語に関する特徴行列を出力する単語ベクトル化部と、ニューラルネットの各レイヤーにおいて、前記文ペアの前記文の各々に対する前記単語の各々に関する特徴行列、又は前記文ペアの前記文の各々に対する、一つ前のレイヤーにより出力された特徴行列のマッチングに関する特徴行列を、前記文ペアの前記文の各々に対して出力する文ペアアテンション部と、ニューラルネットの各レイヤーにおいて、前記レイヤーに対応する単語数だけ前記単語を連結したチャンクについて、チャンクに対する語釈文を記憶する語釈文記憶部を検索して得られる、前記文ペアの一方の文に含まれる前記チャンクに関する語釈文に含まれる単語の各々に関する特徴行列と、前記文ペアの他方の文の単語の各々に関する特徴行列とのマッチングに関する特徴行列を、前記文ペアの前記文の各々に対して出力する語釈拡張文ペアアテンション部と、ニューラルネットの各レイヤーにおいて、前記単語ベクトル化部が出力した前記特徴行列、前記文ペアアテンション部が出力した前記特徴行列、及び前記語釈拡張文ペアアテンション部が出力した前記特徴行列に対して畳み込み処理を行って得られる特徴行列を、前記レイヤーの出力として、前記文ペアの前記文の各々に対して出力する畳み込み部と、前記ニューラルネットの最後のレイヤーにより出力された、前記文ペアの各々に対する前記特徴行列に基づいて、前記文ペアの関係性に関するクラスを分類するクラス分類部と、を含んで構成されている。
【００１１】
また、第１の発明に係る文ペア分類装置において、前記単語ベクトル化部、前記文ペアアテンション部、前記語釈拡張文ペアアテンション部、及び前記畳み込み部では、予め学習されたパラメータ行列を用いて特徴行列を求めるようにしてもよい。
【００１２】
また、第２の発明に係る文ペア分類学習装置は、文ペアの関係性に関するクラスを示す正解ラベルが付与された文ペアの各々を含む文ペア集合に含まれる前記文ペアの各々に対し、前記文ペアの文の各々を単語の系列に分割する単語分割部と、前記文ペア集合に含まれる前記文ペアの前記文の各々に対し、前記分割された単語の各々を、各単語のベクトルを記憶する単語ベクトル記憶部に基づいてベクトル化して得られる、前記文の各々の単語に関する特徴行列を出力する単語ベクトル化部と、ニューラルネットの各レイヤーにおいて、前記文ペアの前記文の各々に対する前記単語の各々に関する特徴行列、又は前記文ペアの前記文の各々に対する、一つ前のレイヤーにより出力された特徴行列のマッチングに関する特徴行列を、前記文ペアの前記文の各々に対して出力する文ペアアテンション部と、ニューラルネットの各レイヤーにおいて、前記レイヤーに対応する単語数だけ前記単語を連結したチャンクについて、チャンクに対する語釈文を記憶する語釈文記憶部を検索して得られる、前記文ペアの一方の文に含まれる前記チャンクに関する語釈文に含まれる単語の各々に関する特徴行列と、前記文ペアの他方の文の単語の各々に関する特徴行列とのマッチングに関する特徴行列を、前記文ペアの前記文の各々に対して出力する語釈拡張文ペアアテンション部と、ニューラルネットの各レイヤーにおいて、前記単語ベクトル化部が出力した前記特徴行列、前記文ペアアテンション部が出力した前記特徴行列、及び前記語釈拡張文ペアアテンション部が出力した前記特徴行列に対して畳み込み処理を行って得られる特徴行列を、前記レイヤーの出力として、前記文ペアの前記文の各々に対して出力する畳み込み部と、前記文ペア集合に含まれる前記文ペアの各々に対し、前記ニューラルネットの最後のレイヤーにより出力された、前記文ペアの各々に対する前記特徴行列に基づいて、前記文ペアの関係性に関するクラスを分類し、分類結果と前記正解ラベルとに基づいて前記分類結果に関する損失を算出するクラス分類部と、前記文ペア集合に含まれる前記文ペアの各々に対して算出された、前記分類結果に関する損失に基づいて、前記文ペアアテンション部、前記語釈拡張文ペアアテンション部、及び前記畳み込み部において特徴行列を求めるためのパラメータ行列を学習する学習部と、を含んで構成されている。
【００１３】
第３の発明に係る文ペア分類方法は、単語分割部が、文ペアの文の各々を単語の系列に分割するステップと、単語ベクトル化部が、前記文ペアの前記文の各々に対し、前記分割された単語の各々を、各単語のベクトルを記憶する単語ベクトル記憶部に基づいてベクトル化して得られる、前記文の各々の単語に関する特徴行列を出力するステップと、文ペアアテンション部が、ニューラルネットの各レイヤーにおいて、前記文ペアの前記文の各々に対する前記単語の各々に関する特徴行列、又は前記文ペアの前記文の各々に対する、一つ前のレイヤーにより出力された特徴行列のマッチングに関する特徴行列を、前記文ペアの前記文の各々に対して出力するステップと、語釈拡張文ペアアテンション部が、ニューラルネットの各レイヤーにおいて、前記レイヤーに対応する単語数だけ前記単語を連結したチャンクについて、チャンクに対する語釈文を記憶する語釈文記憶部を検索して得られる、前記文ペアの一方の文に含まれる前記チャンクに関する語釈文に含まれる単語の各々に関する特徴行列と、前記文ペアの他方の文の単語の各々に関する特徴行列とのマッチングに関する特徴行列を、前記文ペアの前記文の各々に対して出力するステップと、畳み込み部が、ニューラルネットの各レイヤーにおいて、前記単語ベクトル化部が出力した前記特徴行列、前記文ペアアテンション部が出力した前記特徴行列、及び前記語釈拡張文ペアアテンション部が出力した前記特徴行列に対して畳み込み処理を行って得られる特徴行列を、前記レイヤーの出力として、前記文ペアの前記文の各々に対して出力するステップと、クラス分類部が、前記ニューラルネットの最後のレイヤーにより出力された、前記文ペアの各々に対する前記特徴行列に基づいて、前記文ペアの関係性に関するクラスを分類するステップと、を含んで実行することを特徴とする。
【００１４】
また、第３の発明に係る文ペア分類方法において、前記単語ベクトル化部、前記文ペアアテンション部、前記語釈拡張文ペアアテンション部、及び前記畳み込み部では、予め学習されたパラメータ行列を用いて特徴行列を求めるようにしてもよい。
【００１５】
また、第４の発明に係る文ペア分類学習方法は、単語分割部が、文ペアの関係性に関するクラスを示す正解ラベルが付与された文ペアの各々を含む文ペア集合に含まれる前記文ペアの各々に対し、前記文ペアの文の各々を単語の系列に分割するステップと、単語ベクトル化部が、前記文ペア集合に含まれる前記文ペアの前記文の各々に対し、前記分割された単語の各々を、各単語のベクトルを記憶する単語ベクトル記憶部に基づいてベクトル化して得られる、前記文の各々の単語に関する特徴行列を出力するステップと、文ペアアテンション部が、ニューラルネットの各レイヤーにおいて、前記文ペアの前記文の各々に対する前記単語の各々に関する特徴行列、又は前記文ペアの前記文の各々に対する、一つ前のレイヤーにより出力された特徴行列のマッチングに関する特徴行列を、前記文ペアの前記文の各々に対して出力するステップと、語釈拡張文ペアアテンション部が、ニューラルネットの各レイヤーにおいて、前記レイヤーに対応する単語数だけ前記単語を連結したチャンクについて、チャンクに対する語釈文を記憶する語釈文記憶部を検索して得られる、前記文ペアの一方の文に含まれる前記チャンクに関する語釈文に含まれる単語の各々に関する特徴行列と、前記文ペアの他方の文の単語の各々に関する特徴行列とのマッチングに関する特徴行列を、前記文ペアの前記文の各々に対して出力するステップと、畳み込み部が、ニューラルネットの各レイヤーにおいて、前記単語ベクトル化部が出力した前記特徴行列、前記文ペアアテンション部が出力した前記特徴行列、及び前記語釈拡張文ペアアテンション部が出力した前記特徴行列に対して畳み込み処理を行って得られる特徴行列を、前記レイヤーの出力として、前記文ペアの前記文の各々に対して出力するステップと、クラス分類部が、前記文ペア集合に含まれる前記文ペアの各々に対し、前記ニューラルネットの最後のレイヤーにより出力された、前記文ペアの各々に対する前記特徴行列に基づいて、前記文ペアの関係性に関するクラスを分類し、分類結果と前記正解ラベルとに基づいて前記分類結果に関する損失を算出するステップと、学習部が、前記文ペア集合に含まれる前記文ペアの各々に対して算出された、前記分類結果に関する損失に基づいて、前記文ペアアテンション部、前記語釈拡張文ペアアテンション部、及び前記畳み込み部において特徴行列を求めるためのパラメータ行列を学習するステップと、を含んで実行することを特徴とする。
【００１６】
また、第５の発明に係るプログラムは、コンピュータを、第１の発明に係る文ペア分類装置、又は第２の発明に係る文ペア分類学習装置の各部として機能させるためのプログラムである。
【発明の効果】
【００１７】
本発明の文ペア分類装置、方法、及びプログラムによれば、ニューラルネットの各レイヤーにおいて、単語ベクトル化部が出力した特徴行列、文ペアアテンション部が出力した特徴行列、及び語釈拡張文ペアアテンション部が出力した特徴行列に対して畳み込み処理を行って得られる特徴行列を、レイヤーの出力として、文ペアの文の各々に対して出力し、クラス分類部は、文ペア集合に含まれる文ペアの各々に対し、ニューラルネットの最後のレイヤーにより出力された、文ペアの各々に対する特徴行列に基づいて、文ペアの関係性に関するクラスに分類することにより、語釈を考慮した文ペアの関係性に関するクラスを求めることができる、という効果が得られる。
【００１８】
本発明の文ペア分類学習装置、方法、及びプログラムによれば、ニューラルネットの各レイヤーにおいて、単語ベクトル化部が出力した特徴行列、文ペアアテンション部が出力した特徴行列、及び語釈拡張文ペアアテンション部が出力した特徴行列に対して畳み込み処理を行って得られる特徴行列を、レイヤーの出力として、文ペアの文の各々に対して出力し、クラス分類部は、文ペア集合に含まれる文ペアの各々に対し、ニューラルネットの最後のレイヤーにより出力された、文ペアの各々に対する特徴行列に基づいて、文ペアの関係性に関するクラスを分類し、分類結果と正解ラベルとに基づいて分類結果に関する損失を算出し、学習部は、文ペア集合に含まれる文ペアの各々に対して算出された、分類結果に関する損失に基づいて、特徴行列を求めるためのパラメータ行列を学習することにより、語釈を考慮した文ペアの関係性に関するクラスを求めるためのパラメータを学習することができる、という効果が得られる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施の形態に係る文ペア分類学習装置の構成を示すブロック図である。
【図２】単語ベクトル記憶部の一例を示す図である。
【図３】語釈文記憶部の一例を示すである。
【図４】本発明の実施の形態に係る文ペア分類学習装置における文ペア分類学習処理ルーチンを示すフローチャートである。
【図５】本発明の実施の形態に係る文ペア分類学習装置における文ペア分類学習処理ルーチンを示すフローチャートである。
【図６】本発明の実施の形態に係る文ペア分類装置の構成を示すブロック図である。
【図７】本発明の実施の形態に係る文ペア分類装置における文ペア分類処理ルーチンを示すフローチャートである。
【図８】本発明の実施の形態に係る文ペア分類装置における文ペア分類処理ルーチンを示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２１】
＜本発明の実施の形態に係る概要＞
【００２２】
まず、本発明の実施の形態における概要を説明する。
【００２３】
本発明の実施の形態では、上記従来技術の問題点に鑑みて、入力された文に出現する各単語の語釈文を利用する。例えば、クーリングオフの語釈文である「一定の契約に限り、一定期間、説明不要で無条件で申込みの撤回または契約を解除できる法制度」と「無条件で契約を解除できる期間は？」の間で単語の類似度行列を計算して文ペアクラス分類に利用することで、単語ベクトルの精度に強く依存せず、高精度に文ペアクラスを分類することを可能にする。
【００２４】
＜本発明の実施の形態に係る文ペア分類学習装置の構成＞
【００２５】
次に、本発明の実施の形態に係る文ペア分類学習装置の構成について説明する。図１に示すように、本発明の実施の形態に係る文ペア分類学習装置１００は、ＣＰＵと、ＲＡＭと、後述する文ペア分類学習処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この文ペア分類学習装置１００は、機能的には図１に示すように入力部１０と、演算部２０とを備えている。
【００２６】
入力部１０は、文ペアの関係性に関するクラスを示す正解ラベルが付与された文ペアの各々を含む文ペア集合を受け付ける。
【００２７】
演算部２０は、単語ベクトル記憶部２２と、語釈文記憶部２４と、パラメータ行列記憶部２６と、単語分割部３０と、単語ベクトル化部３２と、文ペアアテンション部３４と、語釈拡張文ペアアテンション部３６と、畳み込み部３８と、クラス分類部４０と、学習部４２とを含んで構成されている。各処理部の処理の詳細については、作用の説明において詳しく説明する。
【００２８】
単語ベクトル記憶部２２には、図２に示すように、単語ｘ、及び単語ベクトルｅの組が格納されており、ｅの次元数はＥ(1)次元である。
【００２９】
語釈文記憶部２４には、少なくとも１つの単語を連結したチャンク文字列と、チャンク文字列に対応する語釈文が格納されている。例えば、図３に示すように“クーリングオフ”のチャンク文字列に対応する語釈文が格納されている。
【００３０】
パラメータ行列記憶部２６には、文ペアアテンション部３４で用いるＷａ(i)、語釈拡張文ペアアテンション部３６で用いるＷｂ(i)、畳み込み部３８で用いるＷｃ(i)、ｂｃ(i)、クラス分類部４０で用いるＷｄ、ｂｄの各パラメータ行列（ｉ＝１,...,Ｂ）が格納される。
【００３１】
単語分割部３０は、入力部１０で受け付けた文ペア集合に含まれる文ペアの各々に対し、文ペアの文の各々を単語の系列に分割する。
【００３２】
単語ベクトル化部３２は、文ペア集合に含まれる文ペアの文の各々に対し、分割された単語の各々を、各単語のベクトルを記憶する単語ベクトル記憶部２２に基づいてベクトル化して得られる、文の各々の単語に関する特徴行列Ｆjを出力する。
【００３３】
文ペアアテンション部３４は、ニューラルネットの各レイヤー（ｉ＝１,...,Ｂ）において、パラメータ行列Ｗａ(i)を用いて、文ペアの文の各々に対する単語の各々に関する特徴行列Ｆj、又は文ペアの文の各々に対する、一つ前のレイヤーにより出力された特徴行列Ｆj(i)のマッチングに関する特徴行列Ｆj(i)'を求め、文ペアの文の各々に対して出力する。
【００３４】
語釈拡張文ペアアテンション部３６は、ニューラルネットの各レイヤーにおいて、パラメータ行列Ｗｂ(i)を用いて、レイヤーに対応する単語数ｉだけ単語を連結したチャンクについて、チャンクに対する語釈文を記憶する語釈文記憶部２４を検索して得られる、文ペアの一方の文に含まれるチャンクに関する語釈文に含まれる単語の各々に関する特徴行列Ｇｋと、文ペアの他方の文の単語の各々に関する特徴行列Ｆｈとのマッチングに関する特徴行列Ｆj(i)''を求め、文ペアの文の各々に対して出力する。
【００３５】
畳み込み部３８は、ニューラルネットの各レイヤーにおいて、パラメータ行列Ｗｃ(i)、ｂｃ(i)を用いて、単語ベクトル化部３２が出力した特徴行列Ｆj、文ペアアテンション部３４が出力した特徴行列Ｆj(i)'、及び語釈拡張文ペアアテンション部３６が出力した特徴行列Ｆj(i)''に対して畳み込み処理を行って得られる特徴行列Ｆj(i+1)を、レイヤーｉの出力として、文ペアの文の各々に対して出力する。
【００３６】
クラス分類部４０は、文ペア集合に含まれる文ペアの各々に対し、ニューラルネットの最後のレイヤーＢにより出力された、文ペアの各々に対する特徴行列Ｆ１及びＦ２と、パラメータ行列Ｗｄ、ｂｄとに基づいて、文ペアの関係性に関するクラスを分類し、分類結果と正解ラベルとに基づいて分類結果に関する損失Ｌを算出する。
【００３７】
学習部４２は、文ペア集合に含まれる文ペアの各々に対して算出された、分類結果に関する損失に基づいて、文ペアアテンション部３４、語釈拡張文ペアアテンション部３６、及び畳み込み部３８において特徴行列を求めるためのパラメータ行列Ｗａ(i)、Ｗｂ(i)、Ｗｃ(i)、ｂｃ(i)、Ｗｄ、ｂｄを学習する。
【００３８】
＜本発明の実施の形態に係る文ペア分類学習装置の作用＞
【００３９】
次に、本発明の実施の形態に係る文ペア分類学習装置１００の作用について説明する。入力部１０において文ペアの関係性に関するクラスを示す正解ラベルが付与された文ペアの各々を含む文ペア集合を受け付けると、パラメータ行列Ｗａ(i)、Ｗｂ(i)、Ｗｃ(i)、ｂｃ(i)、Ｗｄ、ｂｄを初期化してパラメータ行列記憶部２６に記憶し、文ペア分類学習装置１００は、図４及び図５に示す文ペア分類学習処理ルーチンを実行する。
【００４０】
ステップＳ１００では、エポック数をｎ＝１に初期化する。
【００４１】
ステップＳ１０２では、学習データ（正解ラベル（クラスタ）付の文ペアからなる文ペア集合）を、ランダムに定めたＭ個の文ペアが含まれるミニバッチの各々に分割する。ミニバッチに含まれる文ペアの数Ｍの最大値は、本実施の形態ではＭｍａｘ＝５０とする。
【００４２】
ステップＳ１０４では、ミニバッチを選択する。
【００４３】
ステップＳ１０６では、ミニバッチの文ペアの番号を表すｍをｍ＝１に設定する。
【００４４】
ステップＳ１０８では、単語分割部３０は、ｍ番目の文ペアの各文（文ｊ；ｊ＝１あるいは２）に関して、ニューラルネットのレイヤーを表すブロックのインデクスを表す変数ｉをｉ＝１にセットする。
【００４５】
ステップＳ１１０では、単語分割部３０は、文ペアの文ｊを単語の系列に分割する。たとえば、「投資信託ではクーリングオフはいつまでできる」という文について、「投資信託」「では」「クーリング」「オフ」「は」「いつ」「まで」「できる」のような系列に分割する。単語分割部３０は、分割された単語の個数がT個より多い場合は、先頭からＴ個のトークンのみを出力する。また、Ｔ個よりも少ない場合は、特殊な単語「ＰＡＤ」を系列の末尾に追加して出力する。本実施形態では、Ｔ＝１００とする。
【００４６】
ステップＳ１１２では、単語ベクトル化部３２は、単語分割部３０が出力した文の単語の系列（ｘ1,ｘ2,..,ｘr）に含まれる各単語について単語ベクトル記憶部２２を検索し、文ペアの各文ｊについて、以下（１）式の文ｊの単語の各々に関する特徴行列に変換する。
【００４７】
【数１】
2018185771.tif 000003
・・・（１）
【００４８】
Ｆj(1)の行列のサイズはＥ(1)×Ｔである。本実施形態では、Ｅ(1)＝１００とする。
【００４９】
なお、単語ベクトル記憶部２２に含まれない単語および特殊単語「ＰＡＤ」の場合は、単語ベクトルはＥ(1)次元の零ベクトルとする。
【００５０】
次に、ステップＳ２００では、ニューラルネットのレイヤーを表すブロック数Ｂ（ｉ＝１,..,Ｂ）を設定する。本実施形態では、Ｂ＝２とする。
【００５１】
ステップＳ３００では、文ペアアテンション部３４は、上記ステップＳ１１２で求められた文１及び文２の特徴行列Ｆj、又は後述するステップＳ５０２において前のレイヤーの畳み込み処理で求められた文１及び文２の特徴行列Ｆj(i)から、以下（２）式のＡn,mを要素とするアテンション行列Ａを作成する。
【００５２】
【数２】
2018185771.tif 000004
・・・（２）
【００５３】
ここで、関数ｍａｔｃｈは、単語（あるいはチャンク）のマッチングスコアを出力するために、ベクトルｘとｙを受け取ってスカラ値を出力する関数で、１／(１＋｜ｘ−ｙ｜)とする。[:,ｎ]は列方向を考慮せずｎ行目のベクトルを取り出す操作、[:,ｍ]は列方向を考慮せずｍ行目のベクトルを取り出す操作である。また、コサイン類似度などをｍａｔｃｈ関数として使用しても良い。アテンション行列ＡのサイズはＴ×Ｔである。
【００５４】
次に、ステップＳ３０２では、アテンション行列Ａを以下（３）式の文１及び文２の文同士のマッチングに関する特徴行列Ｆ1(i)'、Ｆ2(i)'に変換する。
【００５５】
【数３】
2018185771.tif 000005
2018185771.tif 000006
・・・（３）
【００５６】
ここで、Ｗa(i)はパラメータ行列であり、Ｅ(i)×Ｔの行列である。Ａｔは行列Ａの転置行列を表す。本実施形態では、Ｅ(2)＝１００、Ｅ（３）＝１００とする。
【００５７】
ステップ４００では、語釈拡張文ペアアテンション部３６は、文ペアの各文ｊについて、レイヤーのインデクスｉの値と、該文ｊの単語系列（ｘ1,ｘ2,..,ｘr）から、単語数ｉの単語を連結したチャンクの系列を作成する。ｉ＝１のとき、単語系列とチャンク系列は同じものである。ｉ＝２のとき、チャンク系列は（（ｘ1,ｘ2,..,ｘr）ＰＡＤ）となる。チャンク系列の長さは常にＴである。チャンク系列の末尾には、ｉ−１個の「ＰＡＤ」単語が追加される。なお、Ｂが３以上のときは、例えばｉ＝３のときチャンク系列は（（ｘ1,ｘ2,..,ｘr）ＰＡＤ，ＰＡＤ）となる。
【００５８】
ステップ４０２では、語釈拡張文ペアアテンション部３６は、チャンク系列の要素ｋ（k=１、２、…）を選択する。
【００５９】
ステップＳ４０４では、語釈拡張文ペアアテンション部３６は、文ペアの各文ｊについて、ステップＳ４０２で選択した要素ｋに含まれる単語文字列を連結した文字列（チャンク文字列；例えば、（ｘ1,ｘ2）＝「クーリング」、「オフ」の場合”クーリングオフ”）で語釈文記憶部２４を検索し、チャンク文字列に対応する語釈文が格納されている場合は、以下（４）式に示す語釈文についての単語の各々に関する特徴行列Ｇkを獲得する。獲得方法は、上記ステップＳ１１２の処理と同様である。
【００６０】
【数４】
2018185771.tif 000007
・・・（４）
【００６１】
ステップＳ４０６では、語釈拡張文ペアアテンション部３６は、文ペアの各文ｊについて、ｈ＝３−ｊとしたとき、文ｈとチャンク要素ｋに対応する語釈文の特徴行列Ｇｋから、以下（５）式のアテンション行列Ａを作成する。
【００６２】
【数５】
2018185771.tif 000008
・・・（５）
【００６３】
ステップＳ４０８では、語釈拡張文ペアアテンション部３６は、文ペアの各文ｊについて、ステップＳ４０６で作成されたアテンション行列Ａを以下（６）式の語釈に関する特徴行列Ｆj(i)''に変換する。
【００６４】
【数６】
2018185771.tif 000009
・・・（６）
【００６５】
ここで、ｗａｌｌ＿ｐｏｏｌｉｎｇは各行について、列方向の非ゼロの値について平均を取った値（列方向の最大値としてもよい）である。Ｗb(i)はパラメータ行列であり、Ｅ(i)×Ｔの行列である。
【００６６】
ステップ４１０では、語釈拡張文ペアアテンション部３６は、文ペアの各文ｊについて、チャンク系列の要素ｋのチャンク文字列に該当するものが語釈文記憶部２４に存在しない場合、特徴行列Ｆｊ(i)''の該当部分に零ベクトルを代入する。
【００６７】
【数７】
2018185771.tif 000010
・・・（７）
【００６８】
ステップＳ４１２では、語釈拡張文ペアアテンション部３６は、全ての要素ｋについて処理を終了したかを判定し、終了していればステップＳ５００に移行し終了していなければステップＳ４０２に戻って次の要素ｋを選択して処理を繰り返す。
【００６９】
ステップＳ５００では、畳み込み部３８は、文ペアの各文（文ｊ；ｊ＝１あるいは２）について、畳み込み処理を行う。各特徴行列Ｆｊ(i),Ｆｊ(i)',Ｆｊ(i)''はそれぞれＥ(i)×Ｔの行列である。これらの行列から、３×Ｅ（ｉ）×Ｔの３階テンソルＦに変換し、フィルタサイズ３×２、パディング幅の行方向０、列方向１、ストライド幅１、入力チャネル数Ｅ(i)、出力チャネル数Ｅ(i+1)の畳み込み処理を行い以下（８）式にてＨを出力する。
【００７０】
【数８】
2018185771.tif 000011
・・・（８）
【００７１】
ここで、Ｈは１×Ｔ×Ｅ(i)のテンソルとなる。σはシグモイド関数、＊は畳み込み処理を表す。Ｗc(i)、ｂc（i）はパラメータ行列である。
【００７２】
ステップＳ５０２では、畳み込み部３８は、文ペアの各文ｊについて、ステップＳ５００の畳み込み処理で得られたＨを下記プーリング処理にてｉ＋１の特徴行列Ｆj(i+1)に変換する。
【００７３】
【数９】
2018185771.tif 000012
・・・（９）
【００７４】
ここで、ｗ２＿ｐｏｏｌｉｎｇは各行について、ウィンドウサイズ２で列方向の非ゼロの値について平均を取った値（列方向の最大値としてもよい）である。
【００７５】
なお、レイヤーの最終ブロック（ｉ＝Ｂ）では、ｗ２＿ｐｏｏｌｉｎｇの代わりにｗａｌｌ＿ｐｏｏｌｉｎｇを利用する。最終層が出力するＦのサイズは、１×Ｅ(B+1)である。
【００７６】
ステップＳ５０４では、ｉ＝Ｂか否かを判定し、ｉ＝ＢであればステップＳ６００に移行し、ｉ＝ＢでなければステップＳ５０６に移行し、ｉ＝ｉ＋１として、ステップＳ３００に戻って処理を繰り返す。
【００７７】
ステップＳ６００では、クラス分類部４０は、ニューラルネットの最終ブロックが出力したＦ1、Ｆ2をそれぞれベクトルに変換して連結したベクトルｖを入力として、文ペアについて文関係のクラス分類（クラス数＝Ｃ）を行う。
【００７８】
【数１０】
2018185771.tif 000013
・・・（１０）
【００７９】
ここで、ＷdのサイズはＣ×２Ｅ(B+1)次元の行列、ｂｄはＣ次元のベクトルであり、ｓｏｆｔｍａｘはソフトマックス関数である。ｙはＣ次元のベクトルである。
【００８０】
ステップ６０２では、クラス分類部４０は、出力ｙに関する損失を計算する。正解クラスのインデクスをｔ∈{１,...,Ｃ}、クラスｔに関する出力をｙｔとしたとき、正解クラスｔの損失Ｌを下記（１１）式にて計算する。
【００８１】
【数１１】
2018185771.tif 000014
・・・（１１）
【００８２】
ステップＳ７００では、学習部４２は、ｍ＝Ｍか否かを判定し、ｍ＝ＭであればステップＳ７０４に移行し、ｍ＝ＭでなければステップＳ７０２でｍ＝ｍ＋１としてステップＳ１０８に戻って処理を繰り返す。
【００８３】
ステップＳ７０４では、学習部４２は、ステップ１０８〜ステップ７００で算出された文ペアの各々に対する正解クラスｔの損失Ｌを該ミニバッチについて合計し、確率的勾配降下法により文ペアアテンション部３４のＷa(i)、語釈拡張文ペアアテンション部３６のＷb(i)、畳み込み部３８のＷc(i)、ｂc(i)クラス分類部４０のＷd、ｂdの各パラメータ行列（ｉ＝１,...,Ｂ）について最適化を行う。なお、最適化の方法は確率的勾配降下法に限らず、他の最適化法を利用しても良い。
【００８４】
ステップＳ７０６では、全てのミニバッチについて処理を終了したかを判定し、処理を終了していればステップＳ７０８に移行し、処理を終了していなければステップＳ１０４に戻って次のミニバッチを選択して処理を繰り返す。
【００８５】
ステップＳ７０８では、ｎ＝Ｎ（Ｎ＝１００）か否かを判定し、ｎ＝Ｎであれば処理を終了し、ｎ＝ＮでなければステップＳ７１０でｎ＝ｎ＋１としてステップＳ１０２に戻って処理を繰り返す。
【００８６】
以上説明したように、本発明の実施の形態に係る文ペア分類学習装置によれば、ニューラルネットの各レイヤーにおいて、単語ベクトル化部３２が出力した特徴行列Ｆj、文ペアアテンション部３４が出力した特徴行列Ｆj(i)'、及び語釈拡張文ペアアテンション部３６が出力した特徴行列Ｆj(i)''に対して畳み込み処理を行って得られる特徴行列Ｆj(i+1)を、レイヤーｉの出力として、文ペアの文の各々に対して出力し、クラス分類部４０は、文ペア集合に含まれる文ペアの各々に対し、ニューラルネットの最後のレイヤーＢにより出力された、文ペアの各々に対する特徴行列Ｆ１及びＦ２に基づいて、文ペアの関係性に関するクラスを分類し、分類結果と正解ラベルとに基づいて分類結果に関する損失Ｌを算出し、学習部４２は、文ペア集合に含まれる文ペアの各々に対して算出された、分類結果に関する損失に基づいて、特徴行列を求めるためのパラメータ行列を学習することにより、語釈を考慮した文ペアの関係性に関するクラスを求めるためのパラメータを学習することができる。
【００８７】
＜本発明の実施の形態に係る文ペア分類装置の構成＞
【００８８】
次に、本発明の実施の形態に係る文ペア分類装置の構成について説明する。図６に示すように、本発明の実施の形態に係る文ペア分類装置２００は、ＣＰＵと、ＲＡＭと、後述する文ペア分類処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この文ペア分類装置２００は、機能的には図６に示すように入力部２１０と、演算部２２０と、出力部２５０とを備えている。
【００８９】
入力部２１０は、テストデータとして、クラスを求める対象とする文ペアを受け付ける。
【００９０】
演算部２２０は、単語ベクトル記憶部２２２と、語釈文記憶部２２４と、パラメータ行列記憶部２２６と、単語分割部２３０と、単語ベクトル化部２３２と、文ペアアテンション部２３４と、語釈拡張文ペアアテンション部２３６と、畳み込み部２３８と、クラス分類部２４０とを含んで構成されている。各処理部の処理の詳細については、作用の説明において詳しく説明する。
【００９１】
単語ベクトル記憶部２２２には、上記図２の単語ベクトル記憶部２２と同じものが格納されている。
【００９２】
語釈文記憶部２２４には、上記図３の語釈文記憶部２４と同じものが格納されている。  パラメータ行列記憶部２２６には、上記文ペア分類学習装置１００で学習された、文ペアアテンション部２３４で用いるＷa(i)、語釈拡張文ペアアテンション部２３６で用いるＷb(i)、畳み込み部２３８で用いるＷc(i)、ｂc(i)クラス分類部２４０で用いるＷd、ｂdの各パラメータ行列（ｉ＝１,...,Ｂ）が格納されている。
【００９３】
単語分割部２３０は、入力部１０で受け付けた文ペアの各々に対し、文ペアの文の各々を単語の系列に分割する。
【００９４】
単語ベクトル化部２３２は、文ペアの文の各々に対し、分割された単語の各々を、各単語のベクトルを記憶する単語ベクトル記憶部２２２に基づいてベクトル化して得られる、文の各々の単語に関する特徴行列Ｆjを出力する。
【００９５】
文ペアアテンション部２３４は、ニューラルネットの各レイヤー（ｉ＝１,...,Ｂ）において、パラメータ行列Ｗa(i)を用いて、文ペアの文の各々に対する単語の各々に関する特徴行列Ｆj、又は文ペアの文の各々に対する、一つ前のレイヤーにより出力された特徴行列Ｆj(i)のマッチングに関する特徴行列Ｆj(i)'を求め、文ペアの文の各々に対して出力する。
【００９６】
語釈拡張文ペアアテンション部２３６は、ニューラルネットの各レイヤーにおいて、パラメータ行列Ｗb(i)を用いて、レイヤーｉに対応する単語数ｉだけ単語を連結したチャンクについて、チャンクに対する語釈文を記憶する語釈文記憶部２２４を検索して得られる、文ペアの一方の文に含まれるチャンクに関する語釈文に含まれる単語の各々に関する特徴行列Ｇｋと、文ペアの他方の文の単語の各々に関する特徴行列Ｆｈとのマッチングに関する特徴行列Ｆj(i)''を求め、文ペアの文の各々に対して出力する。
【００９７】
畳み込み部２３８は、ニューラルネットの各レイヤーにおいて、パラメータ行列Ｗｃ(i)、ｂc(i)を用いて、単語ベクトル化部２３２が出力した特徴行列Ｆj、文ペアアテンション部２３４が出力した特徴行列Ｆj(i)'、及び語釈拡張文ペアアテンション部２３６が出力した特徴行列Ｆj(i)''に対して畳み込み処理を行って得られる特徴行列Ｆj(i+1)を求め、レイヤーｉの出力として、文ペアの文の各々に対して出力する。
【００９８】
クラス分類部２４０は、文ペア集合に含まれる文ペアの各々に対し、ニューラルネットの最後のレイヤーＢにより出力された、文ペアの各々に対する特徴行列Ｆ1及びＦ2と、パラメータ行列Ｗd、ｂdとに基づいて、文ペアをクラスに分類し、分類結果を出力部２５０に出力する。
【００９９】
＜本発明の実施の形態に係る文ペア分類装置の作用＞
【０１００】
次に、本発明の実施の形態に係る文ペア分類装置２００の作用について説明する。入力部２１０においてテストデータとして文ペアを受け付けると、文ペア分類装置２００は、図７及び図８に示す文ペア分類処理ルーチンを実行する。なお、複数の文ペアをテストデートする場合には、ステップＳ８００〜８０２を文ペア文ごとに行えばよい。
【０１０１】
ステップＳ８００では、テストデータを１個の文ペアが含まれるミニバッチに分割する。
【０１０２】
次にステップＳ８００で分割した文ペアについて、上記図４及び図５に示すステップＳ１０８〜Ｓ６００と同様の処理を行って、各クラスについてのＣ次元のベクトルｙを求める。
【０１０３】
ステップＳ８０２では、ステップＳ６００で求められたＣ次元のベクトルｙの要素の中で最も値が大きいｔ番目の要素に対応するクラスを文ペアの分類結果として出力部２５０に出力する。
【０１０４】
以上説明したように、本発明の実施の形態に係る文ペア分類装置によれば、ニューラルネットの各レイヤーにおいて、単語ベクトル化部３２が出力した特徴行列Ｆj、文ペアアテンション部３４が出力した特徴行列Ｆj(i)'、及び語釈拡張文ペアアテンション部３６が出力した特徴行列Ｆj(i)''に対して畳み込み処理を行って得られる特徴行列Ｆj(i+1)を、レイヤーｉの出力として、文ペアの文の各々に対して出力し、クラス分類部４０は、文ペア集合に含まれる文ペアの各々に対し、ニューラルネットの最後のレイヤーＢにより出力された、文ペアの各々に対する特徴行列Ｆ1及びＦ2に基づいて、文ペアの関係性に関するクラスに分類することで、語釈を考慮した文ペアの関係性に関するクラスを求めることができる。
【０１０５】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【符号の説明】
【０１０６】
１０   入力部
２０   演算部
２２   単語ベクトル記憶部
２４   語釈文記憶部
２６   パラメータ行列記憶部
３０   単語分割部
３２   単語ベクトル化部
３４   文ペアアテンション部
３６   語釈拡張文ペアアテンション部
３８   畳み込み部
４０   クラス分類部
４２   学習部
１００ 文ペア分類学習装置
２００ 文ペア分類装置
２１０ 入力部
２２０ 演算部
２２２ 単語ベクトル記憶部
２２４ 語釈文記憶部
２２６ パラメータ行列記憶部
２３０ 単語分割部
２３２ 単語ベクトル化部
２３４ 文ペアアテンション部
２３６ 語釈拡張文ペアアテンション部
２４０ クラス分類部
２５０ 出力部
【図１】
2018185771.tif 000015
【図２】
2018185771.tif 000016
【図３】
2018185771.tif 000017
【図４】
2018185771.tif 000018
【図５】
2018185771.tif 000019
【図６】
2018185771.tif 000020
【図７】
2018185771.tif 000021
【図８】
2018185771.tif 000022