(57)【要約】【課題】文法や意味的な制約を破らないように要約を生成することができる。【解決手段】変換部３０が、入力テキストを、意味構造を表す有向非循環グラフに変換し、入力テキストの単語系列を表す系列構造を結合する。整列部３２が、有向非循環グラフの各ノードを順序付ける。符号器構築部３４が、各ノードの順序付けに沿って、符号化ユニットを接続した符号器を構築する。符号器計算部３６が、各ノードの順序付けに沿って、各ノードのラベルを、符号器の符号化ユニットに入力して順次計算して、有向非循環グラフの符号を出力する。復号器計算部３８が、有向非循環グラフの符号を、復号化ユニットの系列である系列復号器に入力して、順次計算して、単語の系列を、入力テキストの要約として出力する。【選択図】図２
2018067199.tif 000002
【特許請求の範囲】
【請求項１】
入力テキストを、前記入力テキストの文法的又は意味的な構成である意味構造を表し、かつ、各ノードにラベルが付与された有向非循環グラフに変換し、前記入力テキストの単語系列を表す各ノードを含む系列構造を、前記有向非循環グラフに結合する変換部と、
前記変換部により得られた前記有向非循環グラフの各エッジの向きに基づいて、前記有向非循環グラフの各ノードを順序付ける整列部と、
前記整列部による各ノードの順序付けに沿って、各ノードに対応する、前記ノードのラベルを符号化する符号化ユニットを接続した符号器であって、かつ、前記符号化ユニットは、前段の少なくとも一つの前記符号化ユニットの出力と前記ノードのラベルとを入力とする前記符号器を構築する符号器構築部と、
前記整列部による各ノードの順序付けに沿って、各ノードのラベルを、前記符号器構築部によって構築された符号器の、対応する符号化ユニットに入力して順次計算して、前記有向非循環グラフの符号を出力する符号器計算部と、
前記符号器計算部から出力された前記有向非循環グラフの符号を、単語に復号する復号化ユニットの系列である系列復号器であって、かつ、前記復号化ユニットは、前段の前記復号化ユニットの出力を入力とする前記系列復号器に入力して、順次計算して、単語の系列を、前記入力テキストの要約として出力する復号器計算部と、
を含む要約生成装置。
【請求項２】
入力テキストを、前記入力テキストの文法的又は意味的な構成である意味構造を表し、かつ、各ノードにラベルが付与された有向非循環グラフに変換し、前記入力テキストの単語系列を表す各ノードを含む系列構造を、前記有向非循環グラフに結合する変換部と、
前記変換部により得られた前記有向非循環グラフの各エッジの向きに基づいて、前記有向非循環グラフの各ノードを順序付ける整列部と、
前記整列部による各ノードの順序付けに沿って、各ノードに対応する、前記ノードのラベルを符号化する符号化ユニットを接続した符号器であって、かつ、前記符号化ユニットは、前段の少なくとも一つの前記符号化ユニットの出力と前記ノードのラベルとを入力とする前記符号器を構築する符号器構築部と、
前記整列部による各ノードの順序付けに沿って、各ノードのラベルを、前記符号器構築部によって構築された符号器の、対応する符号化ユニットに入力して順次計算して、前記有向非循環グラフの符号を出力する符号器計算部と、
前記符号器計算部から出力された前記有向非循環グラフの符号を、単語に復号する復号化ユニットの系列である系列復号器であって、かつ、前記復号化ユニットは、前段の前記復号化ユニットの出力を入力とする前記系列復号器に入力して、順次計算して、単語の系列を、変換後テキストとして出力する復号器計算部と、
を含むテキスト変換装置。
【請求項３】
変換部が、入力テキストを、前記入力テキストの文法的又は意味的な構成である意味構造を表し、かつ、各ノードにラベルが付与された有向非循環グラフに変換し、前記入力テキストの単語系列を表す各ノードを含む系列構造を、前記有向非循環グラフに結合し、
整列部が、前記変換部により得られた前記有向非循環グラフの各エッジの向きに基づいて、前記有向非循環グラフの各ノードを順序付け、
符号器構築部が、前記整列部による各ノードの順序付けに沿って、各ノードに対応する、前記ノードのラベルを符号化する符号化ユニットを接続した符号器であって、かつ、前記符号化ユニットは、前段の少なくとも一つの前記符号化ユニットの出力と前記ノードのラベルとを入力とする前記符号器を構築し、
符号器計算部が、前記整列部による各ノードの順序付けに沿って、各ノードのラベルを、前記符号器構築部によって構築された符号器の、対応する符号化ユニットに入力して順次計算して、前記有向非循環グラフの符号を出力し、
復号器計算部が、前記符号器計算部から出力された前記有向非循環グラフの符号を、単語に復号する復号化ユニットの系列である系列復号器であって、かつ、前記復号化ユニットは、前段の前記復号化ユニットの出力を入力とする前記系列復号器に入力して、順次計算して、単語の系列を、前記入力テキストの要約として出力する
要約生成方法。
【請求項４】
変換部が、入力テキストを、前記入力テキストの文法的又は意味的な構成である意味構造を表し、かつ、各ノードにラベルが付与された有向非循環グラフに変換し、前記入力テキストの単語系列を表す各ノードを含む系列構造を、前記有向非循環グラフに結合し、
整列部が、前記変換部により得られた前記有向非循環グラフの各エッジの向きに基づいて、前記有向非循環グラフの各ノードを順序付け、
符号器構築部が、前記整列部による各ノードの順序付けに沿って、各ノードに対応する、前記ノードのラベルを符号化する符号化ユニットを接続した符号器であって、かつ、前記符号化ユニットは、前段の少なくとも一つの前記符号化ユニットの出力と前記ノードのラベルとを入力とする前記符号器を構築し、
符号器計算部が、前記整列部による各ノードの順序付けに沿って、各ノードのラベルを、前記符号器構築部によって構築された符号器の、対応する符号化ユニットに入力して順次計算して、前記有向非循環グラフの符号を出力し、
復号器計算部が、前記符号器計算部から出力された前記有向非循環グラフの符号を、単語に復号する復号化ユニットの系列である系列復号器であって、かつ、前記復号化ユニットは、前段の前記復号化ユニットの出力を入力とする前記系列復号器に入力して、順次計算して、単語の系列を、変換後テキストとして出力する
テキスト変換方法。
【請求項５】
コンピュータを、請求項１に記載の要約生成装置、又は請求項２に記載のテキスト変換装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、要約生成装置、テキスト変換装置、方法、及びプログラムに係り、特に、入力テキストの要約を生成する要約文生成装置、入力テキストを変換するテキスト変換装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
文章の内容をなるべく保持して作成された要約文は、短時間で当該文章の大まかな内容を把握する目的に対して有効な手段である。しかし、あらゆる文章に人手で要約文を作成するのは、時間や費用の面で極めてコストが高くなり、実現するのは非現実的である。そこで、計算機により、与えられた文章の要約文を自動で作成する技術は、あらゆる（長い）文章の概要を短時間で把握する目的に極めて有効な手段となる（図９参照）。
【０００３】
従来は、与えられた元の文章から、内容を保持する上で最も重要な文や節（あるいは句）と、文法的に自然な文を壊さない程度の内容を残して、それ以外の不要な語、節、文を削除するという方法で、要約文を生成していた（例えば、非特許文献１）。このような、いわゆる原文からの抽出型のアプローチは、文の統語情報などが崩れにくいため、可読性の観点からはよい方法と言える。
【０００４】
一方、近年では、元の文章に含まれない語や言い回しを許容したニューラルネットに基づく生成型のアプローチも見られるようになっている。この方法は、抽出型では達成できない短い要約文を作成することが可能になるという利点がある（図１０参照）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Tsutomu Hirao, Yasuhisa Yoshida, Masaaki Nishino, Norihito Yasuda, and Masaaki Nagata, Single-Document Summarization as a Tree Knapsack Problem. Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, 2013.
【非特許文献２】Thang Luong, and Hieu Pham, and Christopher D. Manning, Effective Approaches to Attention-based Neural Machine Translation. Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前述の通り、ニューラルネットに基づく生成型の自動要約システムは、原文章に出現しない語を用いて要約文を生成するため、非常に高い圧縮率を達成できる可能性が高い。一方で、原文章に出現しない語も活用することから、自然言語が持つ文法や意味的な制約を満たさない可読性が低い文を生成してしまう場合がある(図１１参照)。
【０００７】
これは、現在のニューラルネットをベースとした生成型の自動要約システムが、生成された文全体に対する文法や意味的な制約を満たしているかを判断することが方法論上困難であることに起因する。
【０００８】
本発明は、上記の事情を鑑みて成されたものであり、文法や意味的な制約を破らないような可読性の高い要約を生成することができる要約生成装置、方法、及びプログラムを提供することを目的とする。
【０００９】
また、文法や意味的な制約を破らないようにテキストを変換し、可読性の高い文章を生成できるテキスト変換装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明に係る要約生成装置は、入力テキストを、前記入力テキストの文法的又は意味的な構成である意味構造を表し、かつ、各ノードにラベルが付与された有向非循環グラフに変換し、前記入力テキストの単語系列を表す各ノードを含む系列構造を、前記有向非循環グラフに結合する変換部と、前記変換部により得られた前記有向非循環グラフの各エッジの向きに基づいて、前記有向非循環グラフの各ノードを順序付ける整列部と、前記整列部による各ノードの順序付けに沿って、各ノードに対応する、前記ノードのラベルを符号化する符号化ユニットを接続した符号器であって、かつ、前記符号化ユニットは、前段の少なくとも一つの前記符号化ユニットの出力と前記ノードのラベルとを入力とする前記符号器を構築する符号器構築部と、前記整列部による各ノードの順序付けに沿って、各ノードのラベルを、前記符号器構築部によって構築された符号器の、対応する符号化ユニットに入力して順次計算して、前記有向非循環グラフの符号を出力する符号器計算部と、前記符号器計算部から出力された前記有向非循環グラフの符号を、単語に復号する復号化ユニットの系列である系列復号器であって、かつ、前記復号化ユニットは、前段の前記復号化ユニットの出力を入力とする前記系列復号器に入力して、順次計算して、単語の系列を、前記入力テキストの要約として出力する復号器計算部と、を含んで構成されている。
【００１１】
また、本発明に係る要約生成方法は、変換部が、入力テキストを、前記入力テキストの文法的又は意味的な構成である意味構造を表し、かつ、各ノードにラベルが付与された有向非循環グラフに変換し、前記入力テキストの単語系列を表す各ノードを含む系列構造を、前記有向非循環グラフに結合し、整列部が、前記変換部により得られた前記有向非循環グラフの各エッジの向きに基づいて、前記有向非循環グラフの各ノードを順序付け、符号器構築部が、前記整列部による各ノードの順序付けに沿って、各ノードに対応する、前記ノードのラベルを符号化する符号化ユニットを接続した符号器であって、かつ、前記符号化ユニットは、前段の少なくとも一つの前記符号化ユニットの出力と前記ノードのラベルとを入力とする前記符号器を構築し、符号器計算部が、前記整列部による各ノードの順序付けに沿って、各ノードのラベルを、前記符号器構築部によって構築された符号器の、対応する符号化ユニットに入力して順次計算して、前記有向非循環グラフの符号を出力し、復号器計算部が、前記符号器計算部から出力された前記有向非循環グラフの符号を、単語に復号する復号化ユニットの系列である系列復号器であって、かつ、前記復号化ユニットは、前段の前記復号化ユニットの出力を入力とする前記系列復号器に入力して、順次計算して、単語の系列を、前記入力テキストの要約として出力する。
【００１２】
また、本発明に係るテキスト変換装置は、入力テキストを、前記入力テキストの文法的又は意味的な構成である意味構造を表し、かつ、各ノードにラベルが付与された有向非循環グラフに変換し、前記入力テキストの単語系列を表す各ノードを含む系列構造を、前記有向非循環グラフに結合する変換部と、前記変換部により得られた前記有向非循環グラフの各エッジの向きに基づいて、前記有向非循環グラフの各ノードを順序付ける整列部と、前記整列部による各ノードの順序付けに沿って、各ノードに対応する、前記ノードのラベルを符号化する符号化ユニットを接続した符号器であって、かつ、前記符号化ユニットは、前段の少なくとも一つの前記符号化ユニットの出力と前記ノードのラベルとを入力とする前記符号器を構築する符号器構築部と、前記整列部による各ノードの順序付けに沿って、各ノードのラベルを、前記符号器構築部によって構築された符号器の、対応する符号化ユニットに入力して順次計算して、前記有向非循環グラフの符号を出力する符号器計算部と、前記符号器計算部から出力された前記有向非循環グラフの符号を、単語に復号する復号化ユニットの系列である系列復号器であって、かつ、前記復号化ユニットは、前段の前記復号化ユニットの出力を入力とする前記系列復号器に入力して、順次計算して、単語の系列を、変換後テキストとして出力する復号器計算部と、を含んで構成されている。
【００１３】
本発明に係るテキスト変換方法は、変換部が、入力テキストを、前記入力テキストの文法的又は意味的な構成である意味構造を表し、かつ、各ノードにラベルが付与された有向非循環グラフに変換し、前記入力テキストの単語系列を表す各ノードを含む系列構造を、前記有向非循環グラフに結合し、整列部が、前記変換部により得られた前記有向非循環グラフの各エッジの向きに基づいて、前記有向非循環グラフの各ノードを順序付け、符号器構築部が、前記整列部による各ノードの順序付けに沿って、各ノードに対応する、前記ノードのラベルを符号化する符号化ユニットを接続した符号器であって、かつ、前記符号化ユニットは、前段の少なくとも一つの前記符号化ユニットの出力と前記ノードのラベルとを入力とする前記符号器を構築し、符号器計算部が、前記整列部による各ノードの順序付けに沿って、各ノードのラベルを、前記符号器構築部によって構築された符号器の、対応する符号化ユニットに入力して順次計算して、前記有向非循環グラフの符号を出力し、復号器計算部が、前記符号器計算部から出力された前記有向非循環グラフの符号を、単語に復号する復号化ユニットの系列である系列復号器であって、かつ、前記復号化ユニットは、前段の前記復号化ユニットの出力を入力とする前記系列復号器に入力して、順次計算して、単語の系列を、変換後テキストとして出力する。
【００１４】
また、本発明に係るプログラムは、コンピュータを、上記の要約生成装置、又は上記のテキスト変換装置の各部として機能させるためのプログラムである。
【発明の効果】
【００１５】
本発明の要約生成装置、方法、及びプログラムによれば、入力テキストの意味構造を表す有向非循環グラフに、入力テキストの単語の系列構造を結合し、各ノードの順序付けに沿って、符号化ユニットを接続した符号器を構築して順次計算し、有向非循環グラフの符号を出力し、復号化ユニットの系列である系列復号器に入力して、順次計算して、単語の系列を、要約として出力することにより、文法や意味的な制約を破らないような可読性の高い要約を生成することができる、という効果が得られる。
【００１６】
また、本発明のテキスト変換装置、方法、及びプログラムによれば、入力テキストの意味構造を表す有向非循環グラフに、入力テキストの単語の系列構造を結合し、各ノードの順序付けに沿って、符号化ユニットを接続した符号器を構築して順次計算し、有向非循環グラフの符号を出力し、復号化ユニットの系列である系列復号器に入力して、順次計算して、単語の系列を、変換後のテキストとして出力することにより、文法や意味的な制約を破らないようにテキストを変換し、可読性の高い文章を生成できる、という効果が得られる。
【図面の簡単な説明】
【００１７】
【図１】テキスト、意味表現、及び要約の一例を示す図である。
【図２】本発明の実施の形態に係る要約生成装置の構成を示すブロック図である。
【図３】有向非循環グラフの一例を示す図である。
【図４】単語の系列構造を結合した有向非循環グラフの一例を示す図である。
【図５】符号器の一例を示す図である。
【図６】符号器の一例を示す図である。
【図７】単語を選択する方法を説明するための図である。
【図８】本発明の実施の形態に係る要約生成装置における要約生成処理ルーチンを示すフローチャートである。
【図９】自然言語処理における要約文を生成する例を示す図である。
【図１０】従来技術における符号器による符号化と、復号器による復号化の例を示す図である。
【図１１】従来技術における符号器による符号化と、復号器による復号化の例を示す図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１９】
＜本発明の実施の形態に係る概要＞
まず、本発明の実施の形態における概要を説明する。
【００２０】
本発明の実施の形態では、第一段階として入力テキストを自動解析し、文法あるいは意味的な構成をグラフ構造により表現する。次に第二段階として、第一段階で得られた文法的な構成および意味的な構成を表すグラフ構造の情報を利用して要約文を生成する（図１参照）。
【００２１】
＜処理概要＞
次に本発明の実施の形態に係る処理の概要について説明する。
【００２２】
文の文法的構成や意味構成要素のグラフ表現として、構文木、意味役割構造、中間意味表現、談話構造など、様々な方法論が存在する。ここでは、取り扱う文法的または意味的な構成要素の表現は、必ず有向非循環グラフ (DAG)により記述できることを前提とする。また、表記上の都合で、以降は「文法的または意味的な構成要素を表現」を単に「意味表現」と記載する。
【００２３】
ここでは、図２に意味表現の例をあげ、これを用いて本発明の最良執行形式を述べる。
【００２４】
処理の手順は以下のようになる。
【００２５】
（入力）
要約文を生成したいテキストを受け付ける。
【００２６】
（処理１）
意味表現解析器を用いて入力されたテキストを意味表現（有向非循環グラフ形式）に変換する。
【００２７】
（処理２）
変換された意味表現に対し、有向非循環グラフの性質に則ってノードの順序付けを行う。
【００２８】
（処理３）
処理２で決定したノードの順序に従って符号器を構築し、意味表現の有向非循環グラフ上の各ノードの符号（固定長ベクトル）を計算 する。
【００２９】
（処理４）
処理３で得た意味表現の有向非循環グラフ上の各ノードの符号（固定長ベクトル）を用いて、系列復号器から文を生成する。
【００３０】
（出力）
系列復号器により生成された文章を出力する。
【００３１】
＜各符号化ユニットおよび復号化ユニットのパラメタ学習＞
符号化ユニットと復号化ユニット内のパラメタは、学習用データを使って決定する。学習後、パラメタは固定される。このパラメタが符号化の精度を決定する。
【００３２】
パラメタ学習法は、学習用データを一つ選択し、それを入力として現在のパラメタで自動的に要約文を生成する。その際に、仮に正解データと同じ出力が得られれば、現在のパラメタはうまく調節ができていると言える。一方、正解データと同じでない場合は、正解が出力されるようにパラメタを調整する。このパラメタ調整を学習データ全体で最も間違いが少なくなるように少しずつ調整を行い、最終的に、学習用データすべて正解ができるような方向にパラメタ探索することでパラメタを調整する。
【００３３】
＜本発明の実施の形態に係る要約生成装置の構成＞
次に、本発明の実施の形態に係る要約生成装置の構成について説明する。図３に示すように、本発明の実施の形態に係る要約生成装置１００は、ＣＰＵと、ＲＡＭと、後述する要約生成処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この要約生成装置１００は、機能的には図３に示すように入力部１０と、演算部２０と、出力部５０とを備えている。
【００３４】
入力部１０は、要約を行いたい入力テキストを受け付ける。
【００３５】
演算部２０は、変換部３０と、整列部３２と、符号器構築部３４と、符号器計算部３６と、復号器計算部３８とを含んで構成されている。
【００３６】
変換部３０は、入力部１０で受け付けた入力テキストを、入力テキストの文法的又は意味的な構成である意味構造を表し、かつ、各ノード及び各エッジにラベルが付与された有向非循環グラフに変換する。また、変換部３０は、入力テキストの単語系列を表す各ノード及び各エッジを含む系列構造を、変換した有向非循環グラフに結合する（図４参照）。
【００３７】
この場合でも、系列構造と有向非循環グラフの合成なので、合成されたグラフは同様に有向非循環グラフ形式になることは容易に保証できる。
【００３８】
整列部３２は、変換部３０により得られた有向非循環グラフの各エッジの向きに基づいて、有向非循環グラフの各ノードを順序付ける。
【００３９】
ここで、有向非循環グラフの各ノードの順序付けについて説明する。一般的に有向非循環グラフの場合は、ノードを有向エッジに従ってトポロジカルソートにより半順序で整列させることができる。本発明の実施の形態では、上述した処理３以降でノードの半順序の順番で処理を行うこととなるため、ここで、ノードの順序関係を定義する。また、半順序関係によるノード順序未定義の関係に対しては、どのような順番で並べても処理結果には影響を与えないものとする。よって、順序関係が未定義の関係にあるノードの順番は適当（ランダム）に選択すれば良く、この選択により得られる結果が変わることはない。
【００４０】
本発明の実施の形態では、整列部３２は、変換部３０により得られた有向非循環グラフについて、トポロジカルソートの逆順でノードを整列する。ノード集合をＶとする。また、エッジ集合をＥで表す。ノード集合Ｖ内の任意の２つのノードをｖｊ，ｖｋとする。このとき、ノードｖｊからノードｖｋに向かって有向エッジが存在する場合、有向エッジをｅｊ，ｋと表記する。ここでは、有向エッジｅｊ，ｋが存在する場合に、この二つのノード間の大小関係をｖｊ＞ｖｋと定義する。よって、ランダムに任意のノードｖｊを選択し、そのノードから有向エッジで辿れるノードをｖｋとすると、ｖｊ＞ｖｋの関係が成り立つ。よって、ノードを半順序で昇順に整列させる場合は、ｖｊから幅優先探索で出現したノードと逆順に並べることで、昇順に整列できる。ただし、重複して探索しないように一度探索したノードは探索空間から削除しながら探索を行う。辿れなかったノード集合に対して、また起点となるノードをランダムに選択し、同様の操作を繰り返すことで、ノードを半順序の昇順に整列できる。
【００４１】
変換部３０により得られた有向非循環グラフ内のノードがＫ個あると仮定すると、整列部３２は、最終的に、有向非循環グラフ内の各ノードに１からＫまでの番号を付与することと等価である。
【００４２】
符号器構築部３４は、整列部３２による各ノードの順序付けと、有向非循環グラフの各エッジとに沿って、各ノードに対応する、ノードのラベルを符号化するノード用の符号化ユニットと、各エッジに対応する、エッジのラベルを符号化するエッジ用の符号化ユニットとを接続した符号器を構築する。また、符号器は、ノード用の符号化ユニットは、前段の少なくとも一つのエッジ用の符号化ユニットの出力と当該ノードのラベルとを入力とし、エッジ用の符号化ユニットは、前段のノード用の符号化ユニットの出力と当該エッジのラベルとを入力とする。
【００４３】
ここで、符号器の構築の原理を説明する。整列部３２で付与したノードの番号に従って、符号化ユニットを連結することで、有向非循環グラフに対する符号器を構築し、符号器を計算することにより、各ノードに符号（固定長ベクトル）を付与する。符号化ユニット内部は様々な構成が考えられるが、ここでは例として、非特許文献３に記載の手法に従って、リカレントニューラルネット（ＲＮＮ）により構成する場合と、長短期記憶メモリ（ＬＳＴＭ）により構築する場合の例をあげる。
【００４４】
［非特許文献３］：Kai Sheng Tai, Richard Socher and Christopher D. Manning. Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks. Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing, 2015.
【００４５】
ここで、σ１（・）は、ベクトルｘを入力で受け取り、入力されたベクトルｘの各要素ｘiに対してシグモイド関数
【００４６】
【数１】
2018067199.tif 000003
【００４７】
を計算し、新たなベクトルとして返す処理を行う関数とする。同様に、σ２（・）は、入力ベクトルの各要素ｘに対してｔａｎｈ関数
【００４８】
【数２】
2018067199.tif 000004
【００４９】
を計算し、新たなベクトルとして返す処理を行う関数とする。
【００５０】
2018067199.tif 000005
は、有向非循環グラフ中のｋ番目のノードに向かって有向エッジを持つノード番号の集合とする。このとき、有向非循環グラフ中のｋ番目のノードの符号（固定長ベクトル）は以下の計算式により計算される。
【００５１】
以下に符号化ユニットをＲＮＮにより構築する場合と、ＬＳＴＭにより構築する場合の計算式を下記（１）式、（２）式に示す。
【００５２】
【数３】
2018067199.tif 000006
【００５３】
【数４】
2018067199.tif 000007
【００５４】
なお、これら以外にも様々な符号化ユニットの亜種が考えられる。符号化ユニットの入力がベクトルｘと前段の符号化ユニットの出力ｚｉｎであり、出力がｚｏｕｔの形式で書ける符号化ユニットであれば、基本的に何を用いてもよい。
【００５５】
具体的には、符号器構築部３４では、ノード・エッジラベル付きの有向非循環グラフを符号化するために、各ノードに付与されたノードラベルの情報を上記（１）式又は（２）式に従って符号化するノード用の符号化ユニットと、各エッジに付与されたエッジラベルの情報を上記（１）式又は（２）式に従って符号化するエッジ用の符号化ユニットの二種類の符号化ユニットを定義する。このとき、ノード用とエッジ用の符号化ユニットは、符号化ユニット内のパラメタは共有せず、ノード用またはエッジ用で別々であるとする。例えば、前述の通り、ノードラベルに割り当てられたベクトルがＤ１次元、エッジラベルに割り当てられたベクトルがＤ２次元、出力ｚのベクトルがＤ３次元だとすると、ノード用の符号化ユニット内のパラメタＷは、Ｄ１×Ｄ３行列であり、エッジ用の符号化ユニット内のパラメタＷは、Ｄ２×Ｄ３行列となる。また、符号化ユニット内のパラメタＷは、上述した方法により学習データから予め学習されているものとする。
【００５６】
そして、符号器構築部３４は、整列部３２で整列したノードとノード間のエッジの構造に従って、ノード用とエッジ用の符号化ユニットを配置するように、それぞれのユニットを接続する。よって、本実施の形態での符号器の中身は、基本的に二層の作りになっており、一つはノード用の符号化ユニットの層、もう一つは、エッジ用の符号化ユニットの層である。また、ノード用の符号化ユニットとエッジ用の符号化ユニットは必ず交互に接続される形になる（図５参照）。
【００５７】
符号器計算部３６は、整列部３２による各ノードの順序付けに沿って、各ノードのラベル及び各エッジのラベルを、符号器構築部３４によって構築された符号器の、対応する符号化ユニットに入力して順次計算して、有向非循環グラフの符号を出力する。なお、単語の系列構造では、エッジにラベルが付与されていないため、仮のラベルが付与されているものとして、符号化ユニットの入力とすればよい。
【００５８】
ここで、符号器計算部３６における処理は、符号器構築部３４で構築した符号器を使って、有向非循環グラフを固定長ベクトルへ符号化する処理に相当する。整列部３２で順序付けたノード昇順に各符号化ユニットを計算し、最終的に、有向非循環グラフの各ノードに、符号（固定長ベクトル）houtkが一つずつ付与される。つまり、有向非循環グラフ中の頂点数分の符号（固定長ベクトル）が生成されることになる。例えば、有向非循環グラフ中の頂点数がＫの場合は、(hout1,...,houtK)が生成される。
【００５９】
復号器計算部３８は、符号器計算部３６で出力された有向非循環グラフの各ノードの符号を、単語に復号する復号化ユニットの系列である系列復号器に入力して、順次計算して、単語の系列を、入力テキストの要約として出力する。また、系列復号器の復号化ユニットは、前段の復号化ユニットの出力であるｙi-1から選択された単語をベクトル化したもの、前段の復号化ユニットの出力であるｚi-1、及び符号器計算部３６で出力された有向非循環グラフの各ノードの符号houtkを入力とする（図６参照）。
【００６０】
本実施の形態では、復号器計算部３８は、符号器計算部３６で出力された有向非循環グラフの各ノードの符号（固定長ベクトル）を利用して、系列復号器を用いて文を生成する。この処理は、生成する要約文の先頭から単語を一つずつ出力し文（文章）を生成する処理に相当する。
【００６１】
この系列復号器内の個々の復号化ユニットは基本的に従来法と同じである。以下に、非特許文献２で利用されている復号化ユニットにおける計算例を挙げる。
【００６２】
【数５】
2018067199.tif 000008
【００６３】
上記（３）式では、要約文のｉ番目の単語を出力する際に、ｉ−１番目に出力した単語に対応する単語ベクトルをｘiとして入力する。また、入力テキストから得られた意味表現の有向非循環グラフ中の各ノードに付与された符号（固定長ベクトル）hkも合わせて利用する。ただし、ここでは、有向非循環グラフ中のノード数をＫとする。
【００６４】
また、f(hk,zi)はhkとziの類似度を計算するための関数である。これは類似度を計算する関数であればなんでもよいが、例えば、単純に内積を利用する。
【００６５】
【数６】
2018067199.tif 000009
【００６６】
また、符号化ユニットで上記（１）式を用いている場合、上記（１）式と同じ式に従って出力ｚiが計算される。一方、符号化ユニットで上記（２）式を用いている場合、上記（２）式と同じ式に従って出力ｚiが計算される。
【００６７】
また、復号化ユニットが出力するｙiに対して、最も値の高い要素番号に対応する単語を単語リスト中から選択し、それをｉ番目の最終的な出力として得る（図７参照）。
【００６８】
上記の復号化ユニットの計算を必要回数分繰り返し、復号化ユニットが一つずつ出力するｙiから得られる単語を出力順に並べて、最終的に要約文（要約された文章）を得る。
【００６９】
＜本発明の実施の形態に係る要約生成装置の作用＞
次に、本発明の実施の形態に係る要約生成装置１００の作用について説明する。入力部１０において入力テキストを受け付けると、要約生成装置１００は、図８に示す要約生成処理ルーチンを実行する。
【００７０】
まず、ステップＳ１００では、入力部１０において受け付けた入力テキストを、当該入力テキストの意味構造を表し、かつ、各ノード及び各エッジにラベルが付与された有向非循環グラフに変換する。
【００７１】
ステップＳ１０２では、入力テキストの単語の系列構造を、上記ステップＳ１００で得られた有向非循環グラフに結合する。
【００７２】
次に、ステップＳ１０４では、ステップＳ１０４で得られた有向非循環グラフの各エッジの向きに基づいて、有向非循環グラフの各ノードを順序付ける。
【００７３】
ステップＳ１０６では、ステップＳ１０４により得られた各ノードの順序付けと、有向非循環グラフの各エッジとに沿って、各ノードに対応する、ノードのラベルを符号化するノード用の符号化ユニットと、各エッジに対応する、エッジのラベルを符号化するエッジ用の符号化ユニットとを接続した符号器を構築する。
【００７４】
ステップＳ１０８では、ステップＳ１０４で得られた各ノードの順序付けに沿って、各ノードのラベル及び各エッジのラベルを、ステップＳ１０６で構築された符号器の、対応する符号化ユニットに入力して順次計算して、有向非循環グラフの各ノードの符号を出力する。
【００７５】
次のステップＳ１１０では、ステップＳ１０８で出力された有向非循環グラフの各ノードの符号を復号化ユニットの系列である系列復号器に入力して、順次計算して、入力テキストの要約を生成する。
【００７６】
以上説明したように、本発明の実施の形態に係る要約生成装置によれば、入力テキストの意味表現を表す有向非循環グラフに変換して、単語の系列構造を結合し、有向非循環グラフの各エッジの向きに基づいて、有向非循環グラフの各ノードを順序付け、各ノードの順序付けと、有向非循環グラフの各エッジとに沿って、ノード用の符号化ユニットと、エッジ用の符号化ユニットとを接続した符号器を構築し、各ノードの順序付けに沿って、各ノードのラベル及び各エッジのラベルを、構築された符号器の、対応する符号化ユニットに入力して順次計算して、有向非循環グラフの各ノードの符号を出力し、系列復号器に入力して、順次計算することにより、文法や意味的な制約を破らないように入力テキストの要約を生成することができる。
【００７７】
また、本発明の実施の形態に係る手法を用いることにより、入力テキストを文法・意味的な解析を行った結果を加味して文生成が可能となる。つまり、追加で利用する文法・意味的な構造情報により、より文法や意味的な制約を破らないような要約文の生成が可能となる。
【００７８】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００７９】
例えば、上述した実施の形態では、要約生成装置に本発明を適用する場合を例に説明したが、これに限定されるものではなく、入力テキストを変換するテキスト変換装置に本発明を適用してもよい。例えば、入力テキストに対する翻訳文を生成したり、入力テキストに対応する応答文を生成したりするテキスト変換装置に本発明を適用してもよい。
【００８０】
また、ノード用の符号化ユニットと、エッジ用の符号化ユニットとを接続した符号器を構築する場合を例に説明したが、これに限定されるものではない。例えば、エッジ用の符号化ユニットを用いずに、ノード用の符号化ユニットを接続した符号器を構築するようにしてもよい。
【００８１】
また、意味表現を表す有向非循環グラフを用いる場合を例に説明したが、これに限定されるものではなく、入力テキストの複数の意味表現を表す有向非循環グラフを用いるようにしてもよい。この場合には、複数の意味表現を表す複数の有向非循環グラフを合成すればよい。これにより、様々な文法的また意味的な解析結果を活用して要約文の生成が可能となる。
【００８２】
また、有向非循環グラフは一般に木構造や系列構造を含むグラフのクラスであるため、入力が木構造や系列構造であってもよい。
【符号の説明】
【００８３】
１０ 入力部
２０ 演算部
３０ 変換部
３２ 整列部
３４ 符号器構築部
３６ 符号器計算部
３８ 復号器計算部
５０ 出力部
１００ 要約生成装置
【図１】
2018067199.tif 000010
【図２】
2018067199.tif 000011
【図３】
2018067199.tif 000012
【図４】
2018067199.tif 000013
【図５】
2018067199.tif 000014
【図６】
2018067199.tif 000015
【図７】
2018067199.tif 000016
【図８】
2018067199.tif 000017
【図９】
2018067199.tif 000018
【図１０】
2018067199.tif 000019
【図１１】
2018067199.tif 000020