(57)【要約】【課題】入力された文の構成要素について、指定された焦点に応じた重要度を評価可能とすること。【解決手段】文生成装置は、第１の文と、前記第１の文に基づいて生成される第２の文の生成に関する焦点とを入力として、学習済みモデルにより、前記第１の文を構成する各単語の重要度を推定する推定部と、前記重要度に基づいて前記第２の文を生成する生成部と、を有する。【選択図】図２
2020140629.tif 000002
【特許請求の範囲】
【請求項１】
第１の文と、前記第１の文に基づいて生成される第２の文の生成に関する焦点とを入力として、学習済みモデルにより、前記第１の文を構成する各単語の重要度を推定する推定部と、
前記重要度に基づいて前記第２の文を生成する生成部と、
を有することを特徴とする文生成装置。
【請求項２】
前記学習済みモデルは、入力文、出力文、前記焦点、及び入力文に含まれる各単語が前記出力文に含まれるか否かを示すラベルを含む学習データに基づいて学習されたモデルである、
ことを特徴とする請求項１記載の文生成装置。
【請求項３】
第１の文と、前記第１の文に基づいて生成される第２の文の生成に関する焦点とを入力として、学習済みモデルにより、前記第１の文を構成する各単語の重要度を推定する推定手順と、
前記重要度に基づいて前記第２の文を生成する生成手順と、
をコンピュータが実行することを特徴とする文生成方法。
【請求項４】
第１の文と前記第１の文に基づいて生成される第２の文の生成に関する焦点とを入力として、機械学習モデルにより、前記第１の文を構成する各単語の重要度を推定する推定部と、
前記重要度に基づいて前記第２の文を生成する生成部と、
推定した単語の重要度と、該単語が正解である出力文に含まれるか否かを示すラベルとの誤差、及び、生成した第２の文と、正解である出力文との誤差を用いて、前記機械学習モデルのパラメータを学習する学習部と、
を有することを特徴とする文生成学習装置。
【請求項５】
第１の文と前記第１の文に基づいて生成される第２の文の生成に関する焦点とを入力として、機械学習モデルにより、前記第１の文を構成する各単語の重要度を推定する推定手順と、
前記重要度に基づいて前記第２の文を生成する生成手順と、
推定した単語の重要度と、該単語が正解である出力文に含まれるか否かを示すラベルとの誤差、及び、生成した第２の文と、正解である出力文との誤差を用いて、前記機械学習モデルのパラメータを学習する学習手順と、
をコンピュータが実行することを特徴とする文生成学習方法。
【請求項６】
請求項１若しくは２記載の文生成装置、又は請求項４記載の文生成学習装置としてコンピュータを機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文生成装置、文生成方法、文生成学習装置、文生成学習方法及びプログラムに関する。
【背景技術】
【０００２】
ニューラルネットに基づく文の要約技術は進展している。当該要約技術は、テキストを入力として、予め学習済みのニューラルネットワークモデルに基づき、所定の目的の文（例えば要約文）を生成する技術である。
【０００３】
例えば、単語レベルでソース単語が要約に含まれるか否かの１／０モデルを推定し、ソース単語のコピー確率を重み付けることによって要約の精度が向上することが報告されている（例えば、非特許文献１）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】S. Gehrmann, Y. Deng, and A. Rush. Bottom-up abstractive summarization. In EMNLP, pages 4098{4109, 2018.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術では、入力された文（ソーステキスト）について、要約される際の各文または各単語の重要度を評価する際に、出力される文の生成に関する着目点（以降、焦点ともいう）を考慮できないという問題が有る。
【０００６】
本発明は、上記の点に鑑みてなされたものであって、入力された文の構成要素について、指定された焦点に応じた重要度を評価可能とすることを目的とする。
【課題を解決するための手段】
【０００７】
そこで上記課題を解決するため、文生成装置は、第１の文と、前記第１の文に基づいて生成される第２の文の生成に関する焦点とを入力として、学習済みモデルにより、前記第１の文を構成する各単語の重要度を推定する推定部と、前記重要度に基づいて前記第２の文を生成する生成部と、を有する。
【発明の効果】
【０００８】
入力された文の構成要素について、指定された焦点に応じた重要度を評価可能とすることができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施の形態における文生成装置１０のハードウェア構成例を示す図である。
【図２】第１の実施の形態における文生成装置１０の機能構成例を示す図である。
【図３】第１の実施の形態における文生成装置１０が実行する処理手順の一例を説明するためのフローチャートである。
【図４】各単語に対する重要度の推定を説明するための図である。
【図５】各文に対する重要度の推定を説明するための図である。
【図６】学習時における文生成装置１０の機能構成例を示す図である。
【図７】第２の実施の形態における文生成装置１０の機能構成例を示す図である。
【図８】第２の実施の形態における文生成装置１０が実行する処理手順の一例を説明するためのフローチャートである。
【図９】第３の実施の形態における文生成装置１０の機能構成例を示す図である。
【図１０】第３の実施の形態における文生成装置１０が実行する処理手順の一例を説明するためのフローチャートである。
【発明を実施するための形態】
【００１０】
以下、図面に基づいて本発明の実施の形態を説明する。まず、本実施の形態で取り組む問題について次のように定義する。
［問題１  クエリ非依存要約］
ソーステキストＸＣ、出力長Ｌを受け取り、出力長Ｌを考慮した要約ＹＬを生成する。
［問題２  クエリ依存要約］
クエリＸＱ、ソーステキストＸＣ、出力長Ｌを受け取り、出力長Ｌを考慮したクエリ依存要約ＹＬを生成する。なお、クエリとは、ターゲットテキスト（出力文）の生成に関する着目点（焦点）を示す文字列をいう。本実施の形態では、要約の焦点がクエリとなる。
【００１１】
なお、ＸＣ、ＸＱ、ＹＬ、Ｙは、それぞれ単語列であり、ＸＣ＝ｘＣ１，...，ｘＣｎ、ＸＱ＝ｘＱ１，...，ｘＱｍ、ＹＬ＝ｙＬ１，...，ｙＬｋ、Ｙ＝ｙ１，...，ｙｋ'とする。なお、ｎは、ソーステキストＸＣに含まれる単語の数（単語列の長さ）である。ｍは、クエリＸＱに含まれる単語の数（単語列の長さ）である。ｋは、要約ＹＬに含まれる単語の数（単語列の長さ）である。ｋ'は、出力長を考慮しない場合の要約Ｙに含まれる単語の数（単語列の長さ）である。
【００１２】
［１．１  本実施の形態の全体像］
本実施の形態において開示されるモデルは大きく２つの構成要素（内容選択モデル、生成モデル）からなる。内容選択モデルは、要約に含めるべき単語を予測するモデルであり、生成モデルは内容選択モデルの予測値を考慮しながら単語を生成する。本実施の形態の枠組みは、内容選択モデルを差し替えるだけでクエリ依存／非依存の双方に対応可能な構成となっている。
【００１３】
［１．２  内容選択モデル］
内容選択モデルは、ソーステキストの各単語ｘＣ１，...，ｘＣｎに対して要約文に含まれるか否かの確率ｐｅｘｔ１，...，ｐｅｘｔｎ∈［０，１］を予測する。ｐｅｘｔｔが１に近いほどｔ番目の単語ｘＣｔが要約文に含まれやすいことを表す。同様の問題設定は既存研究でも提案されており、本実施の形態では、クエリ非依存の場合は、非特許文献１、クエリ依存の場合は「Y. Wang, K. Liu, J. Liu, W. He, Y. Lyu, H. Wu, S. Li,and H. Wang. Multi-passage machine reading comprehensionwith cross-passage answer verication. In ACL (1), pages 1918-1927, 2018.」（以下、「参考文献１」という。）を参考とする。但し、非特許文献１以外又は参考文献１以外において開示されている公知技術が参考とされてもよい。
【００１４】
［１．２．１  クエリ依存］
まず、ソーステキスト単語列ＸＣとクエリ単語列ＸＱの単語ｅｍｂｅｄｄｉｎｇ系列ｅＣ１，...，ｅＣｎおよびｅＱ１，...，ｅＱｍを隠れ状態ｄ次元のＢｉＧＲＵを用いてエンコードする。
【００１５】
【数１】
2020140629.tif 000003
次に、上記の情報を用いてクエリとソーステキストのマッチングを行う。この際、マッチングには「M. Hu, Y. Peng, Z. Huang, X. Qiu, F. Wei, and M. Zhou. Reinforced mnemonic reader for machine reading comprehension. In IJCAI, pages 4099-4106, 2018.」（以下、「参考文献２」という。）のモデルを用いる。参考文献２のモデルでは、主にＩｎｔｅｒａｃｔｉｖｅ  ａｌｉｇｎｍｅｎｔ、Ｓｅｌｆ  ａｌｉｇｎｍｅｎｔ、Ｅｖｉｄｅｎｃｅ  ｃｏｌｌｅｃｔｉｏｎの３つのモジュールを用いてマッチングを表現している。
【００１６】
＜Ｉｎｔｅｒａｃｔｉｖｅ  ａｌｉｇｎｍｅｎｔ＞
本モジュールは、入力として
【００１７】
【数２】
2020140629.tif 000004
を受け取り（ｎ，ｍは、それぞれソーステキストとクエリの文長（単語がいくつ並んでいるか）、
【００１８】
【数３】
2020140629.tif 000005
を出力する。
【００１９】
説明を簡易にするため、以下、入力を（Ａ，Ｂ）とする。本モジュールは、ａｔｔｅｎｔｉｏｎ  ｍａｔｃｈとｓｅｍａｎｔｉｃ  ｆｕｓｉｏｎの２つのサブモジュールで構成される。まず、ａｔｔｅｎｔｉｏｎ  ｍａｔｃｈ（Ａ，Ｂ）は、それぞれのベクトルのａｔｔｅｎｔｉｏｎを用いて、各位置ｔでの重みつきベクトル
【００２０】
【数４】
2020140629.tif 000006
を求める。
【００２１】
【数５】
2020140629.tif 000007
次に、ｓｅｍａｎｔｉｃ  ｆｕｓｉｏｎ（Ａｔ，ｈｔ）は、Ａｔ，ｈｔの相互作用を考慮したベクトル
【００２２】
【数６】
2020140629.tif 000008
を計算する。
【００２３】
【数７】
2020140629.tif 000009
σはシグモイド関数を表す。ｆはＲｅＬＵを表す。
【００２４】
【数８】
2020140629.tif 000010
は学習パラメータである。［；］はベクトル連結の演算子を表す。
【００２５】
＜Ｓｅｌｆ  ａｌｉｇｎｍｅｎｔ＞
モデル構造はＩｎｔｅｒａｃｔｉｖｅ  ａｌｉｇｎｍｅｎｔと共通である。つまり、Ｉｎｔｅｒａｃｔｉｖｅ  ａｌｉｇｎｍｅｎｔは、（ｕＣ，ｕＱ）の代わりに、（ｏ，ｏ）を入力（Ａ'，Ｂ'）として、Ｉｎｔｅｒａｃｔｉｖｅ  ａｌｉｇｎｍｅｎｔと同様の処理を行い、出力ｏ'を得る。
【００２６】
＜Ｅｖｉｄｅｎｃｅ  ｃｏｌｌｅｃｔｉｏｎ＞
本モジュールはＳｅｌｆ  ａｌｉｇｎｍｅｎｔの出力ｏ'にＢｉＧＲＵにより
【００２７】
【数９】
2020140629.tif 000011
を得る。
【００２８】
【数１０】
2020140629.tif 000012
最後に、２層のフィードフォワードネットワークを作用させ、ソーステキストの各単語ごとに１次元の単語選択スコア（重要度）を出力する。
【００２９】
【数１１】
2020140629.tif 000013
ここで、
【００３０】
【数１２】
2020140629.tif 000014
は学習パラメータである。
【００３１】
［１．２．２  クエリ非依存］
クエリ非依存の場合はクエリが存在しないが、ソーステキスト全体に対して重要な単語を選択する必要があるため、ソーステキスト全体の情報を考慮して各単語ごとのラベル予測を行う。まず、ソーステキストをＢｉＬＳＴＭを用いてエンコードする。
【００３２】
【数１３】
2020140629.tif 000015
クエリ依存におけるａｔｔｅｎｔｉｏｎ  ｍａｔｃｈの代わりに、ｕＣｔを用いて文書レベルのベクトルｕＣｄｔを求める。
【００３３】
【数１４】
2020140629.tif 000016
ここで
【００３４】
【数１５】
2020140629.tif 000017
は学習パラメータである。次に、入力（Ａ，Ｂ）＝（ｕＣｔ，ｕＣｄｔ）をｓｅｍａｎｔｉｃ  ｆｕｓｉｏｎへ作用させる。以降、式（８）を作用させず、ｖｔ＝ｏｔとする点を除きクエリ依存の場合と同様の処理を行う。
【００３５】
クエリ依存の場合はクエリとソーステキストの相互関係を考慮しながらモデル化を行っているのに対し、クエリ非依存の場合は文書レベルのベクトルと単語レベルのベクトルの双方を考慮しながらモデル化する。
【００３６】
［１．２．３  出力長を考慮するモデル］
出力長を制御することを考えるとき、内容選択の出力そのものが長さに依存して変化することが望ましい。例えば、１０単語出力するときと３０単語出力するときでは内容選択モデルの出力分布自体を変化させたいため、出力単語数に依存したモデル化を行う。具体的には、式（２）の入力ベクトルｅＣに、出力長Ｌに対応するｅｍｂｅｄｄｉｎｇとしてｅＬを次のように連結する。
【００３７】
【数１６】
2020140629.tif 000018
このとき与える正解の出力長情報としては、参照要約の長さを与える。ｅＬは学習パラメータであり、スカラーで出力長を指定したものを、所定次元数（一般的には１００次元等が用いられる）のベクトルに変換したものである。変換の際のパラメタは、学習により取得される。
【００３８】
すなわち、出力長を考慮するモデルにおいて、クエリ依存の場合には、式（２）が式（１３）に置き換わり、クエリ非依存の場合には、式（１０）が式（１３）に置き換わる。
【００３９】
［１．２．４  学習データの作成］
内容選択モデルに関しては正解データが存在しないため、既存研究（非特許文献１や「W.-T. Hsu, C.-K. Lin, M.-Y. Lee, K. Min, J. Tang, and M. Sun. A unified model for extractive and abstractive summarization using inconsistency loss. In ACL (1), pages 132-141, 2018.」（以下、「参考文献３」という。）に類似した方法で疑似的な正解データを自動生成する。
【００４０】
具体的には、まず参考文献３と同様に文レベルのＲｏｕｇｅ−ＬのＲｅｃａｌｌスコアを用いて疑似的な文正解ラベルをソーステキストの各文に付与する。そして、文ラベルが１となった文集合を疑似ソーステキストとして、参照要約と疑似ソーステキスト間でＤＰマッチングを用いて単語アライメントを計算し、単語が一致した場合には１、それ以外の単語は０の単語選択ラベルを付与する。内容選択モデルの学習時には、単語選択ラベルを正解ラベルｒとして学習を行えばよい。
【００４１】
［１．３  内容選択モデルと生成モデルの結合］
本実施の形態では、「A. See, P. J. Liu, and C. D. Manning. Get to the point: Summarization with pointer-generator networks. In ACL (1), pages 1073-1083, 2017.」のベースモデルのａｔｔｅｎｔｉｏｎ確率を、内容選択モデルの出力ｐｅｘｔｔにて重み付けするｃｏｍｂｉｎｅｄ  ａｔｔｅｎｔｉｏｎ（参考文献３）を用いる。さらに、生成モデルでも出力長の制御を行う。
【００４２】
［４．３．１  生成モデル］
生成モデルのベースモデルとして、多くの要約モデルで用いられているｐｏｉｎｔｅｒ−ｇｅｎｅｒａｔｏｒモデル（参考文献３）を用いる。但し、ｐｏｉｎｔｅｒ−ｇｅｎｅｒａｔｏｒモデル以外の公知のモデルがベースモデルとして利用されてもよい。
【００４３】
ｐｏｉｎｔｅｒ−ｇｅｎｅｒａｔｏｒモデルでは、要約Ｙ＝ｙ１，...，ｙｋの生成確率を次のように定義する。
【００４４】
【数１７】
2020140629.tif 000019
ここで、ｐ（ｚ）はｙｊがソーステキストからコピーされるか否かの確率を表す。また、ｚ＝１のｙｊがコピーされる場合の確率ｐ（ｙｊ｜ｚｊ＝１，ｙ１：ｊ−１，ｘ）を時刻ｊのａｔｔｅｎｔｉｏｎ分布ａｊに基づき、
【００４５】
【数１８】
2020140629.tif 000020
と定義する。時刻ｊのデコーダ状態をｓｊとしたとき、
【００４６】
【数１９】
2020140629.tif 000021
である。
【００４７】
【数２０】
2020140629.tif 000022
は学習パラメータである。
【００４８】
［１．３．２  Ｃｏｍｂｉｎｅｄ  Ａｔｔｅｎｔｉｏｎ］
Ｃｏｍｂｉｎｅｄ  Ａｔｔｅｎｔｉｏｎは、式（１５）を以下の式（１７）に置き換えて、式（１４）に代入されるアテンション分布を計算する。
【００４９】
【数２１】
2020140629.tif 000023
［１．３．３  出力長を考慮するモデル］
デコーダ側で出力長を考慮するモデルは、既存研究でも扱われているように、長さｅｍｂｅｄｄｉｎｇを用いて定式化する。本実施の形態では、出力すべき残存長さｅｍｂｅｄｄｉｎｇをデコーダの各入力に連結する方法を用いる。具体的には、デコーダのＬＳＴＭの入力に下記の様に長さｅｍｂｅｄｄｉｎｇベクトル
【００５０】
【数２２】
2020140629.tif 000024
を結合する。
【００５１】
【数２３】
2020140629.tif 000025
ここで、ｌ＝ｍａｘ（（Ｌ−ｔ），０）とする。なお、
【００５２】
【数２４】
2020140629.tif 000026
は内容選択で用いるｅＬとは別の学習パラメータである。
【００５３】
［１．４  学習］
［１．４．１  事前学習とｆｉｎｅ  ｔｕｎｉｎｇ］
内容選択モデルとベースモデル（生成モデル）は、事前にそれぞれの目的関数で事前学習を行う。その後、内容選択モデルを固定し、式（１５）を式（１７）で置き換えた生成モデルを学習する。学習時における各モデルには、ソーステキストＸＣ、ソーステキストＸＣに含まれる各単語の正解ラベルｒ（単語がターゲットテキスト（出力文）に含まれるか否かを示すラベル）、ターゲットテキストＹ又はＹＬ（出力長Ｌを考慮する場合）、出力長を考慮する場合は出力長Ｌ、クエリを考慮する場合はクエリＸＱが学習データとして入力される。
【００５４】
［１．４．２  目的関数］
内容選択モデル、生成モデルの目的関数をそれぞれＬｅｘｔ、Ｌｇｅｎとする。内容選択モデルは各単語に対する二値識別問題であるためバイナリクロスエントロピー関数とし、生成モデルは一般的な言語モデルと同様に定義する。
【００５５】
【数２５】
2020140629.tif 000027
［２  文生成装置１０］
次に、上記した内容選択モデル及び生成部を実現する文生成装置１０について説明する。図１は、第１の実施の形態における文生成装置１０のハードウェア構成例を示す図である。図１の文生成装置１０は、それぞれバスで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、及びインタフェース装置１０５等を有する。
【００５６】
文生成装置１０での処理を実現するプログラムは、ＣＤ−ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
【００５７】
メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従って文生成装置１０に係る機能を実行する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。
【００５８】
図２は、第１の実施の形態における文生成装置１０の機能構成例を示す図である。図２に示されるように、文生成装置１０は、内容選択部１１ａ及び生成部１２を有する。これら各モデルは、文生成装置１０にインストールされた１以上のプログラムが、ＣＰＵ１０４に実行させる処理により実現される。
【００５９】
第１の実施の形態において、文生成装置１０に対する入力は、ソーステキストＸＣ及び出力長Ｌであり、文生成装置１０からの出力は、出力長Ｌを考慮した要約ＹＬである。すなわち、第１の実施の形態の文生成装置１０は、出力長Ｌが指定されたクエリ非依存要約を実現する。
【００６０】
内容選択部１１ａは、［１．４  学習］に記載された方法にて学習済みの内容選択モデル（ニューラルネットワーク）を用いて、入力文（ソーステキストＸＣ）の各構成要素（各文又は各単語）の重要度を推定する。
【００６１】
生成部１２は、［１．４  学習］に記載された方法にて学習済みの生成モデル（ニューラルネットワーク）を用いて、内容選択部１１ａによる推定結果に基づいてターゲットテキスト（要約文ＹＬ）を生成する。
【００６２】
図３は、第１の実施の形態における文生成装置１０が実行する処理手順の一例を説明するためのフローチャートである。
【００６３】
ステップＳ１０１ａにおいて、内容選択部１１ａは、ソーステキストＸＣを構成する各文又は各単語について、入力された出力長Ｌに応じた重要度を推定する。
【００６４】
図４は、各単語に対する重要度の推定を説明するための図である。図４では、ソーステキストＸＣにｎ個の単語が含まれている例が示されている。この場合、内容選択部１１ａは、ｎ個の単語のそれぞれの重要度ｐｅｘｔｔを、［１．２．３  出力長を考慮するモデル］及び［１．２．２  クエリ非依存］にて説明した方法で計算する。
【００６５】
図５は、各文に対する重要度の推定を説明するための図である。図５では、ソーステキストＸＣにｋ個の文が含まれている例が示されている。この場合、内容選択部１１ａは、ｋ個の文のそれぞれの重要度αを計算する。この際、文単位の場合のソーステキストＸＣの入力方法は、単語単位の場合と同じ（［１．２．３  出力長を考慮するモデル］）でよい。参考文献３には、ソーステキストを入力として、文単位の重要度を出力する内容選択モデルが開示されている。すなわち、参考文献３のＦｉｇｕｒｅ  ３においてSentence-Level Attentionとして出力されている数値が、文の重要度に該当する。したがって、参考文献３の内容選択モデルのソーステキストのＥｍｂｅｄｄｉｎｇ又は隠れベクトルに、出力長ＬのＥｍｂｅｄｄｉｎｇ（ｅＬ）を結合する（例えば、式（１３）のｕＣｔ−１の代わりに、参考文献１のＳｅｎｔｅｎｃｅ−ｌｅｖｅｌ  ＲＮＮであるＧＲＵの出力を用いる）ことで、出力長Ｌを考慮した上で、文単位の重要度を推定することが可能となる。
【００６６】
続いて、生成部１２は、内容選択部１１ａからの出力である各文又は各単語の重要度、ソーステキストＸＣのベクトル系列（式（８）のｖ）に基づいて、［１．３  内容選択モデルと生成モデルの結合］に記載された処理を実行し、出力長Ｌに応じたテキスト（要約ＹＬ）を生成する（Ｓ１０２）。
【００６７】
続いて、学習時について説明する。図６は、学習時における文生成装置１０の機能構成例を示す図である。図６中、図５と同一部分には同一符号を付し、その説明は省略する。
【００６８】
学習時において、文生成装置１０は、更に、パラメータ学習部１３を有する。パラメータ学習部１３は、内容選択部１１ａが推定した単語の重要度と、該単語が正解である出力文に含まれるか否かを示す学習データのラベル（０又は１）との誤差、及び、生成部１２が生成した出力文と、正解である（学習データの）ターゲットテキストとの誤差を用いて、機械学習モデル（内容選択モデル及び生成モデル）のパラメータを学習する。なお、学習の詳細については、［１．４  学習］において述べた通りである。
【００６９】
上述したように、第１の実施の形態によれば、入力された文の構成要素について、指定された出力長に応じた重要度を評価可能とすることができる。
【００７０】
次に、第２の実施の形態について説明する。第２の実施の形態では第１の実施の形態と異なる点について説明する。第２の実施の形態において特に言及されない点については、第１の実施の形態と同様でもよい。
【００７１】
図７は、第２の実施の形態における文生成装置１０の機能構成例を示す図である。図７中、図２と同一部分には同一符号を付し、その説明は省略する。
【００７２】
図７において、文生成装置１０は、内容選択部１１ａの代わりに内容選択部１１ｂを有する。内容選択部１１ｂは、文生成装置１０にインストールされた１以上のプログラムが、ＣＰＵ１０４に実行させる処理により実現される。
【００７３】
第２の実施の形態において、文生成装置１０に対する入力は、ソーステキストＸＣ及びクエリＸＱであり、文生成装置１０からの出力は、クエリＸＱを考慮した要約ＹＬである。すなわち、第２の実施の形態の文生成装置１０は、出力長Ｌが指定されないクエリ依存要約を実現する。
【００７４】
図８は、第２の実施の形態における文生成装置１０が実行する処理手順の一例を説明するためのフローチャートである。図８中、図３と同一ステップには同一ステップ番号を付し、その説明は省略する。
【００７５】
ステップＳ１０１ｂにおいて、内容選択部１１ｂは、［１．２．１  クエリ依存］に記載した処理を実行することにより、ソーステキストＸＣを構成する各文又は各単語について、入力されたクエリＸＱに応じた重要度を推定する。
【００７６】
なお、第２の実施の形態において、学習時の機能構成は、図６に示したものと同様でよい。但し、学習データは、出力長の代わりにクエリを含む。したがって、学習には、出力長の代わりにクエリが利用される。
【００７７】
上述したように、第２の実施の形態によれば、入力された文に対して、指定されたクエリに応じた文を生成することができる。
【００７８】
次に、第３の実施の形態について説明する。第３の実施の形態では第１の実施の形態と異なる点について説明する。第３の実施の形態において特に言及されない点については、第１の実施の形態と同様でもよい。
【００７９】
図９は、第３の実施の形態における文生成装置１０の機能構成例を示す図である。図９中、図２又は図７と同一部分には同一符号を付し、その説明は省略する。
【００８０】
図９において、文生成装置１０は、内容選択部１１ａの代わりに内容選択部１１ｃを有する。内容選択部１１ｃは、文生成装置１０にインストールされた１以上のプログラムが、ＣＰＵ１０４に実行させる処理により実現される。
【００８１】
第３の実施の形態において、文生成装置１０に対する入力は、ソーステキストＸＣ、出力長Ｌ、クエリＸＱであり、文生成装置１０からの出力は、クエリＸＱを考慮した要約ＹＬである。すなわち、第３の実施の形態の文生成装置１０は、出力長Ｌが指定されるクエリ依存要約を実現する。
【００８２】
図１０は、第３の実施の形態における文生成装置１０が実行する処理手順の一例を説明するためのフローチャートである。図１０中、図３と同一ステップには同一ステップ番号を付し、その説明は省略する。
【００８３】
ステップＳ１０１ｃにおいて、内容選択部１１ｃは、［１．２．３  出力長を考慮するモデル］及び［１．２．１  クエリ依存］に記載した処理を実行することにより、ソーステキストＸＣを構成する各文又は各単語について、入力された出力長Ｌ及びクエリＸＱに応じた重要度を推定する。
【００８４】
なお、第３の実施の形態において、学習時の機能構成は、図６に示したものと同様でよい。但し、学習データは、更に、クエリを含む。
【００８５】
上述したように、第３の実施の形態によれば、入力された文に対して、指定された出力長及びクエリに応じた文を生成することができる。
［３  評価実験］
［３．１  実験データ］
クエリ非依存データとして要約タスクで標準的に用いられるＣＮＮ／ＤＭを用いた。クエリ依存データとしては大規模なデータが存在しないためＭＳ−ＭＡＲＣＯ３．１（「P. Bajaj, D. Campos, N. Craswell, L. Deng, J. Gao, X. Liu, R. Majumder, A. McNamara, B. Mitra, T. Nguyen, M. Rosenberg, X. Song, A. Stoica, S. Tiwary, and T. Wang. MS MARCO: A human generated machine reading comprehension dataset. CoRR, abs/1611.09268v3, 2018.」（以下、「参考文献４」という。））のＱ＆Ａタスクデータを用いた。Ｑ＆Ａタスクデータは、クエリに対して対象となるソーステキスト（Ｂｉｎｇの検索結果１０件）をベースに回答を人手で作成したデータである。回答中の単語の多くがソーステキストからの抽出で構成されているため、クエリ依存要約の設定と考えることが出来る。本実験では上記１０件のテキストを連結したものを要約の対象とする。ＭＳ−ＭＡＲＣＯは、オリジナルのデータは大規模であるため、今回の実験では学習データとして３０万件、評価データとして１万件をそれぞれランダムサンプリングして用いた。各データの概要を表１に示す。
【００８６】
【表１】
2020140629.tif 000028
［３．２  実験設定］
クエリ非依存データに関しては、要約の従来手法と同様に、学習時はソーステキストの長さを４００単語、要約テキストの長さを１００単語にｔｒｕｎｃａｔｅして学習を行った。テスト時の単語数上限は１２０とした。クエリ依存データに関しては学習時のソーステキストの最大長を８００単語とした。最適化手法はＡｄａｇｒａｄを用い、事前学習時の初期学習率は０．１５、ｆｉｎｅ  ｔｕｎｉｎｇ時の初期学習率は０．０５に設定した。またｉｎｉｔｉａｌ  ａｃｃｕｍｕｌａｔｏｒ  ｖａｌｕｅは既存研究と同様に０．１とした。ｗｏｒｄ  ｅｍｂｅｄｄｉｎｇはｇｌｏｖｅの１００次元ベクトルを用い固定した。ＧＲＵ、ＬＳＴＭの隠れ層は２５６に設定した。長さｅｍｂｅｄｄｉｎｇのｅＬ、
【００８７】
【数２６】
2020140629.tif 000029
は１００次元とした。また、ｄｒｏｐｏｕｔは０．３とした。
【００８８】
［３．３  評価方法］
本実施の形態は、内容選択モデルにおけるクエリ依存性および出力長の制御を行う点に特長がある。まず、３．４．１節にて、これらの制御を行った場合の内容選択と生成モデルを結合した際の精度についてＲｏｕｇｅ−Ｌにより評価する。次に、３．４．２節にて、便宜上、クエリ依存要約に絞って出力長制御の分析結果を示す。
【００８９】
［３．４  結果と考察］
３．４．１  出力長を制御した要約精度に関する評価］
「内容選択＋生成モデルは指定した出力長に応じて重要な情報を要約出来ているか？」
表２に提案モデル（内容選択＋生成）全体の出力長を制御した場合のＲｏｕｇｅ−Ｌスコアを示す。
【００９０】
【表２】
2020140629.tif 000030
まず、クエリ依存／非依存のいずれの場合も出力長を短くすると識別率が上昇し、長くすると再現率が上昇していることから、より重要な情報を要約に含められていることが分かる。この結果より、クエリ依存の設定においても内容選択と長さのコントロールが有効に機能していることがわかる。また、ＣＮＮ／ＤＭの場合は出力長が長くなるほどＲｏｕｇｅのＦ値が向上している。一方でＭＳ−ＭＡＲＣＯの場合は出力長制約が２０の場合に最もＦ値が高くなっている。これは、元々のデータの要約文の長さに起因しており、ＣＮＮ／ＤＭの場合は要約の平均長が長く、ＭＳ−ＭＡＲＣＯの場合は要約の平均長が短いため、このような挙動となっている。
【００９１】
「内容選択モデルでの出力長制御は有効か？」
表３に、クエリ非依存要約（ＣＮＮ／ＤＭ）において、生成モデルに加えて内容選択モデルでも出力長の制御（ｇｏｌｄ条件）を考慮する場合としない場合の結果を示す。
【００９２】
【表３】
2020140629.tif 000031
内容選択モデルで出力長の制御を行うことでＲｏｕｇｅスコアが改善していることが分かる。
【００９３】
［３．４．２クエリ依存要約の出力長制御に関する分析］
「文生成装置１０は指定した出力長に沿って要約を出力しているか？」
表４に、指定した出力長と実際の出力長を示す。
【００９４】
【表４】
2020140629.tif 000032
文生成装置１０は、指定された出力長付近の長さを出力出来ていることがわかり、クエリ依存の設定でも適切に出力長を制御出来ることがわかった。特に、ＭＳ−ＭＡＲＣＯは１文程度の短い出力が多いため、短い長さのバリエーションが多く出力長情報をうまく学習出来たと考えられる。
【００９５】
なお、上記各本実施の形態ではクエリに対して内容選択モデルを定義したが、本実施の形態のクエリ依存の内容選択モデルは、クエリ以外のキーワードや対話的な文脈など、ターゲットテキスト（出力文）に対する焦点に関する様々な条件付きの内容選択モデルに拡張可能である。
【００９６】
なお、本実施の形態において、内容選択部１１ｂ及び内容選択部１１ｃは、推定部の一例である。ソーステキストは、第１の文の一例である。ターゲットテキストは、第２の文の一例である。パラメータ学習部１３は、学習部の一例である。文生成装置１０は、文生成装置及び文生成学習装置の一例である。
【００９７】
以上、本発明の実施の形態について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００９８】
１０          文生成装置
１１ａ        内容選択部
１１ｂ        内容選択部
１１ｃ        内容選択部
１２          生成部
１３          パラメータ学習部
１００        ドライブ装置
１０１        記録媒体
１０２        補助記憶装置
１０３        メモリ装置
１０４        ＣＰＵ
１０５        インタフェース装置
【図１】
2020140629.tif 000033
【図２】
2020140629.tif 000034
【図３】
2020140629.tif 000035
【図４】
2020140629.tif 000036
【図５】
2020140629.tif 000037
【図６】
2020140629.tif 000038
【図７】
2020140629.tif 000039
【図８】
2020140629.tif 000040
【図９】
2020140629.tif 000041
【図１０】
2020140629.tif 000042