(57)【要約】【課題】精度良くシステム要約を評価することができる。【解決手段】タプル抽出部が、要約対象の文書について予め求められた複数の参照要約と、要約対象の文書についてシステムにより生成されたシステム要約との各々について、かかり受け関係にある、かかり先単語及びかかり受け単語からなる単語ペア、及びかかり受け関係を表すラベルの組であるタプルを抽出し、抽出されたタプルの各々について、タプルの単語ペアのかかり先単語、及びかかり受け単語の各々を、単語について予め定められたクラスに置き換える。スコア計算部が、クラスに置き換えられた、複数の参照要約の全体についてのタプルの集合と、システム要約のタプルの集合とに基づいて、システム要約のスコアを計算する。【選択図】図１
2019148933.tif 000002
【特許請求の範囲】
【請求項１】
要約対象の文書について予め求められた複数の参照要約と、前記要約対象の文書についてシステムにより生成されたシステム要約との各々について、かかり受け関係にある、かかり先単語及びかかり受け単語からなる単語ペア、及び前記かかり受け関係を表すラベルの組であるタプルを抽出し、抽出されたタプルの各々について、前記タプルの前記単語ペアのかかり先単語、及びかかり受け単語の各々を、単語について予め定められたクラスに置き換えるタプル抽出部と、
前記クラスに置き換えられた、前記複数の参照要約の全体についてのタプルの集合と、前記システム要約のタプルの集合とに基づいて、前記システム要約のスコアを計算するスコア計算部と、
を含む要約評価装置。
【請求項２】
前記単語のクラスは、単語の意味ベクトルを用いたクラスタリングにより定められたクラスである請求項１記載の要約評価装置。
【請求項３】
前記スコア計算部は、前記クラスに置き換えられた、前記複数の参照要約の全体についてのタプルの集合と、前記システム要約のタプルの集合との重複度合いに応じた前記スコアを計算する請求項１又は２記載の要約評価装置。
【請求項４】
タプル抽出部が、要約対象の文書について予め求められた複数の参照要約と、前記要約対象の文書についてシステムにより生成されたシステム要約との各々について、かかり受け関係にある、かかり先単語及びかかり受け単語からなる単語ペア、及び前記かかり受け関係を表すラベルの組であるタプルを抽出し、抽出されたタプルの各々について、前記タプルの前記単語ペアのかかり先単語、及びかかり受け単語の各々を、単語について予め定められたクラスに置き換えるステップと、
スコア計算部が、前記クラスに置き換えられた、前記複数の参照要約の全体についてのタプルの集合と、前記システム要約のタプルの集合とに基づいて、前記システム要約のスコアを計算するステップと、
を含む要約評価方法。
【請求項５】
前記単語のクラスは、単語の意味ベクトルを用いたクラスタリングにより定められたクラスである請求項４に記載の要約評価方法。
【請求項６】
前記スコア計算部が計算するステップは、前記クラスに置き換えられた、前記複数の参照要約の全体についてのタプルの集合と、前記システム要約のタプルの集合との重複度合いに応じた前記スコアを計算する請求項４又は請求項５に記載の要約評価方法。
【請求項７】
コンピュータを、請求項１〜３の何れか１項に記載の要約評価装置の各部として機能させるためのプログラム。
【請求項８】
コンピュータを、請求項１〜３の何れか１項に記載の要約評価装置の各部として機能させるためのプログラムを格納する記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、要約評価装置、方法、プログラム、及び記憶媒体に係り、特に、システム要約を評価するための要約評価装置、方法、プログラム、及び記憶媒体に関する。
【背景技術】
【０００２】
従来より、計算機を用いて自動的に言語を処理する自然言語処理分野において、人間が作成した正解の要約（以降、参照要約）が与えられた際にそれを用いてシステム要約を自動的に採点する技術がある。
【０００３】
要約の自動評価法として、参照要約と候補要約との間で共通するかかり受け関係にある単語ペアとその関係のタプルｔ＝<h,m,rel>に基づき決定されるBasic Elementsスコアがある．h,m,relはそれぞれ、かかり先単語、かかり元単語、及びかかり受け関係である。たとえば、"The dog likes eating sausage."という文からは、<dog,The,det>,<likes,dog,nsubj>,<likes,eating,xcomp>,<eating,sausage,dobj>というタプル集合が得られる。
【０００４】
いま、参照要約の集合
2019148933.tif 000003
が与えられ、ｉ番目の参照要約から得たタプル集合をＴｉとし、参照要約全体でのタプル集合を
2019148933.tif 000004
とする。このとき、システム要約ＳのＢＥスコアは以下（１）式で計算される。
【０００５】
【数１】
2019148933.tif 000005
・・・（１）
【０００６】
Ｎ(ｔｊ,Ｒｉ)はｊ番目のタプルのｉ番目の参照要約における頻度、Ｎ(ｔｊ,Ｓ)はｊ番目のタプルのシステム要約における頻度を表す。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Hovy, E., Lin, C.Y. Zhou, L. and Fukumoto, J. "Automated Summarization Evaluation with Basic Elements". In Proceedings of the 5th International Conference on Language Resource and Evaluation(LREC), 2006
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記（１）式より明らかであるが、ＢＥスコアは複数の参照要約にまたがって出現するタプルに対して高いスコアを与える。つまり、複数の参照要約に出現するタプルと１つの参照要約にしか出現しないタプルでは、タプルが獲得するスコアに大きな格差がある。たとえば、要約の主題となるような名詞は冠詞を伴って多くの参照要約に出現するため、こうしたタプルをシステムが含むとその要約は高いスコアを獲得する傾向にある。いま、<dog,The,det> というタプルがK個の参照要約に出現し、"dog"が動詞"likes"の主語であるという重要な文脈情報をあらわす<likes,dog,nsubj>というタプルはある１つの参照要約に１回しか出現していないとする。この場合、システム要約が<dog,The,det>をどのような文脈であれ１回でも含むと最低でもＫ点を得る。一方、<likes,dog,nsubj>しか含まないシステム要約は１点しか得ることができず両者の得点の差は最低でもＫ−１点となり、非常に大きい。一般的に、冠詞＋名詞というタプルはそれ自体が文脈情報を含むようなものではないので、これがあるだけで高得点を獲得するということは問題である。また、システム要約のタプルと参照要約のタプルの一致は文字列の完全一致により行われる。よって、<John,killed,nsubjpass>,<John,murdered,nsubjpass>という意味的にはほぼおなじタプルを同一視することができない。
【０００９】
本発明は、上記問題点を解決するために成されたものであり、精度良くシステム要約を評価することができる要約評価装置、方法、プログラム、及び記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、第１の発明に係る要約評価装置は、要約対象の文書について予め求められた複数の参照要約と、前記要約対象の文書についてシステムにより生成されたシステム要約との各々について、かかり受け関係にある、かかり先単語及びかかり受け単語からなる単語ペア、及び前記かかり受け関係を表すラベルの組であるタプルを抽出し、抽出されたタプルの各々について、前記タプルの前記単語ペアのかかり先単語、及びかかり受け単語の各々を、単語について予め定められたクラスに置き換えるタプル抽出部と、前記クラスに置き換えられた、前記複数の参照要約の全体についてのタプルの集合と、前記システム要約のタプルの集合とに基づいて、前記システム要約のスコアを計算するスコア計算部と、を含んで構成されている。
【００１１】
第２の発明に係る要約評価方法は、タプル抽出部が、要約対象の文書について予め求められた複数の参照要約と、前記要約対象の文書についてシステムにより生成されたシステム要約との各々について、かかり受け関係にある、かかり先単語及びかかり受け単語からなる単語ペア、及び前記かかり受け関係を表すラベルの組であるタプルを抽出し、抽出されたタプルの各々について、前記タプルの前記単語ペアのかかり先単語、及びかかり受け単語の各々を、単語について予め定められたクラスに置き換えるステップと、スコア計算部が、前記クラスに置き換えられた、前記複数の参照要約の全体についてのタプルの集合と、前記システム要約のタプルの集合とに基づいて、前記システム要約のスコアを計算するステップと、を含んで実行することを特徴とする。
【００１２】
第３の発明に係るプログラムは、コンピュータを、第１の発明に係る要約評価装置の各部として機能させるためのプログラムである。
【００１３】
第４の発明に係る記憶媒体は、コンピュータを、第１の発明に係る要約評価装置の各部として機能させるためのプログラムを格納する記憶媒体である。
【発明の効果】
【００１４】
本発明の要約評価装置、方法、プログラム、及び記憶媒体によれば、要約対象の文書について予め求められた複数の参照要約と、要約対象の文書についてシステムにより生成されたシステム要約との各々について、かかり受け関係にある、かかり先単語及びかかり受け単語からなる単語ペア、及びかかり受け関係を表すラベルの組であるタプルを抽出し、抽出されたタプルの各々について、タプルの単語ペアのかかり先単語、及びかかり受け単語の各々を、単語について予め定められたクラスに置き換え、クラスに置き換えられた、複数の参照要約の全体についてのタプルの集合と、システム要約のタプルの集合とに基づいて、システム要約のスコアを計算することにより、精度良くシステム要約を評価することができる、という効果が得られる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施の形態に係る要約評価装置の構成を示すブロック図である。
【図２】依存構造解析を行ってタプルを抽出する一例を示す図である。
【図３】タプル中の単語をクラスＩＤに置き換える一例を示す図である。
【図４】本発明の実施の形態に係る要約評価装置における要約評価処理ルーチンを示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１７】
＜本発明の実施の形態に係る概要＞
【００１８】
本発明の実施の形態では、上記の２つの課題に対し、（１）スコア計算時にタプルの頻度を考慮せず、（２）タプルのマッチングにおいて単語の意味クラスを考慮する、という手法によって解決する。具体的には以下（２）式でシステム要約を評価する。
【００１９】
【数２】
2019148933.tif 000006
・・・（２）
【００２０】
ＴＳはシステム要約から得たタプル集合である。なお、
2019148933.tif 000007
に含まれるタプルの単語は単語に対応するクラスのクラスＩＤに置き換えられているものとする。単語からクラスＩＤへの変換は単語ベクトルをもとにK-means法、階層クラスタリング法などを用いて単語をクラスタリングし、クラスタＩＤにより単語のクラスＩＤを決定すればよい。
【００２１】
＜本発明の実施の形態に係る要約評価装置の構成＞
【００２２】
次に、本発明の実施の形態に係る要約評価装置の構成について説明する。図１に示すように、本発明の実施の形態に係る要約評価装置１００は、ＣＰＵと、ＲＡＭと、後述する要約評価処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この要約評価装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部５０とを備えている。
【００２３】
入力部１０は、要約対象の文書について予め求められたＫ個の参照要約と、要約対象の文書についてシステムにより生成されたシステム要約との各々を受け付ける。
【００２４】
演算部２０は、文分割部３０と、単語クラスタリング部３２と、タプル抽出部３４と、スコア計算部３６とを含んで構成されている。
【００２５】
文分割部３０は、入力部１０受け付けたＫ個の参照要約、及びシステム要約を１文ごとに分割する。文の分割は、既存の文分割ツールを用いても良いし、句読点のような情報を参考に分割ルールを作成し、分割器を実装しても良い。
【００２６】
単語クラスタリング部３２は、文分割部３０で分割されたＫ個の参照要約、及びシステム要約に含まれる単語を、単語の意味ベクトルを用いてクラスタリングする。単語のクラスタリングは単語をｎ次元ベクトルとして表現し、ベクトル間のコサイン類似度に基づきK-means法、階層クラスタリング法などを用いれば実現できる。単語をｎ次元ベクトルとして表現するためには、word2vecのようなツールを利用すれば良い。
【００２７】
タプル抽出部３４は、文分割部３０で分割されたＫ個の参照要約と、システム要約との各々について、かかり受け関係にある、かかり先単語及びかかり受け単語からなる単語ペア、及びかかり受け関係を表すラベルの組であるタプルを抽出する。例えば、図２に示すような依存構造解析を行うことでタプルを抽出する。次に、タプル抽出部３４は、抽出されたタプルの各々について、タプルの単語ペアのかかり先単語、及びかかり受け単語の各々を、単語クラスタリング部３２の単語についてのクラスタリング結果のクラスに置き換える。例えば、図３に示すように、タプル中の単語をクラスタのインデックスへと置き換えて、単語が属するクラスタのクラスＩＤとする。
【００２８】
スコア計算部３６は、タプル抽出部３４でクラスに置き換えられた、Ｋ個の参照要約の全体についてのタプルの集合と、システム要約のタプルの集合との重複度合いに応じたスコアを以下（３）式に従って計算し、出力部５０に出力する。
【００２９】
【数３】
2019148933.tif 000008
・・・（３）
【００３０】
以上のように、参照要約、及びシステム要約とも依存構造から得られるタプルの集合としてとらえ、それぞれのタプルがもとの要約における頻度を考慮しないスコア計算式を導入することにより、一部の単語が高得点を獲得できてしまう状況を抑制できる。また、タプルを構成する単語を単語クラスタのクラスＩＤで置き換えることにより、意味的に類似したタプルを同一のものとみなす。これにより、単語の意味クラスを考慮して要約を評価できる。
【００３１】
＜本発明の実施の形態に係る要約評価装置の作用＞
【００３２】
次に、本発明の実施の形態に係る要約評価装置１００の作用について説明する。入力部１０において要約対象の文書について予め求められたＫ個の参照要約と、要約対象の文書についてシステムにより生成されたシステム要約との各々を受け付けると、要約評価装置１００は、図４に示す要約評価処理ルーチンを実行する。
【００３３】
まず、ステップＳ１００では、入力部１０受け付けたＫ個の参照要約、及びシステム要約を１文ごとに分割する。
【００３４】
次に、ステップＳ１０２では、ステップＳ１００で分割されたＫ個の参照要約、及びシステム要約に含まれる単語を、単語の意味ベクトルを用いてクラスタリングする。
【００３５】
ステップＳ１０４では、ステップＳ１００で分割されたＫ個の参照要約と、システム要約との各々について、かかり受け関係にある、かかり先単語及びかかり受け単語からなる単語ペア、及びかかり受け関係を表すラベルの組であるタプルを抽出する。
【００３６】
ステップＳ１０６では、ステップＳ１０４で抽出されたタプルの各々について、タプルの単語ペアのかかり先単語、及びかかり受け単語の各々を、ステップＳ１０２の単語についてのクラスタリング結果のクラスに置き換える。
【００３７】
ステップＳ１０８では、タプル抽出部３４でクラスに置き換えられた、Ｋ個の参照要約の全体についてのタプルの集合と、システム要約のタプルの集合との重複度合いに応じたスコアを上記（３）式に従って計算し、出力部５０に出力する。
【００３８】
以上説明したように、本発明の実施の形態に係る要約評価装置によれば、要約対象の文書について予め求められた複数の参照要約と、要約対象の文書についてシステムにより生成されたシステム要約との各々について、かかり受け関係にある、かかり先単語及びかかり受け単語からなる単語ペア、及びかかり受け関係を表すラベルの組であるタプルを抽出し、抽出されたタプルの各々について、タプルの単語ペアのかかり先単語、及びかかり受け単語の各々を、単語について予め定められたクラスに置き換え、クラスに置き換えられた、複数の参照要約の全体についてのタプルの集合と、システム要約のタプルの集合とに基づいて、システム要約のスコアを計算することにより、精度良くシステム要約を評価することができる。
【００３９】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００４０】
例えば、上述した実施の形態では、かかり先単語、及びかかり受け単語をクラスＩＤに置き換える場合を例に説明したが、これに限定されるものではなく、単語が属するクラスタに対応する値などに置き換えるようにしてもよい。
【００４１】
例えば、上述した実施の形態では、文分割部３０により分割し、単語クラスタリング部３２によりクラスタリングする場合を例に説明したが、これに限定されるものではなく、文分割部３０、及び単語クラスタリング部３２を設けずに、予め分割した参照要約、及びシステム要約と、クラスタリング結果とを受け付けるようにしてもよい。
【００４２】
また、上述した実施の形態では、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記憶媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。
【符号の説明】
【００４３】
１０   入力部
２０   演算部
３０   文分割部
３２   単語クラスタリング部
３４   タプル抽出部
３６   スコア計算部
５０   出力部
１００ 要約評価装置
【図１】
2019148933.tif 000009
【図２】
2019148933.tif 000010
【図３】
2019148933.tif 000011
【図４】
2019148933.tif 000012