(57)【要約】【課題】要約に求められる条件が厳しい場合にも適切な要約を生成することができる文書要約装置を提供する。【解決手段】本発明の文書要約装置は、原文に含まれる文のうち所定の融合条件を満足する２文を融合して融合文を生成する文融合手段と、文のうち所定の分割条件を満足するものを分割して分割文を生成する文分割手段と、文と融合文と分割文から成る圧縮前候補文を所定の圧縮制約の下で圧縮して要約候補文を生成する文圧縮手段と、容認度に基づいて所定の要約長を満足するように要約候補文を選択して要約を生成する文選択手段とを備える。【選択図】図３
2017151863.tif 000002
【特許請求の範囲】
【請求項１】
原文に含まれる文のうち所定の融合条件を満足する２文を融合して融合文を生成する文融合手段と、
前記文のうち所定の分割条件を満足するものを分割して分割文を生成する文分割手段と、
前記文と前記融合文と前記分割文から成る圧縮前候補文を所定の圧縮制約の下で圧縮して要約候補文を生成する文圧縮手段と、
容認度に基づいて所定の要約長を満足するように前記要約候補文を選択して要約を生成する文選択手段とを備える文書要約装置。
【請求項２】
前記融合条件は、２文の文字長合計が所定の数以下である、という条件を含むことを特徴とする請求項１に記載の文書要約装置。
【請求項３】
前記融合条件は、２文の文末の述語の主語が一致している、という条件を含むことを特徴とする請求項１に記載の文書要約装置。
【請求項４】
前記分割条件は、分割点直前の文節を除く前方の文節が後方の文節に係らず、かつ、分割点直前の文節が従属節分類Ａに該当せず、かつ、分割点直前の文節が格助詞に相当する句を含んでいない、という条件を含み、前記文分割手段は連用節の直後を分割点として分割を行うことを特徴とする請求項１ないし請求項３のいずれか１項に記載の文書要約装置。
【請求項５】
前記分割条件は、前記文が所定の句を含む、という条件を含み、前記文分割手段は、前記所定の句が含まれる文節の直後を分割点として分割を行うことを特徴とする請求項１ないし請求項４に記載の文書要約装置。
【請求項６】
前記圧縮制約は、前記圧縮候補文中に一対の記号または一対の文字列が含まれる場合、前記一対の記号または前記一対の文字列が前記要約候補文に含まれなければならない、という制約を含むことを特徴とする請求項１ないし請求項５のいずれか１項に記載の文書要約装置。
【請求項７】
前記圧縮制約は、要約候補文の文長が所定の文字数の範囲内であるという制約を含むことを特徴とする請求項１ないし請求項６のいずれか１項に記載の文書要約装置。
【請求項８】
前記圧縮制約は、細かい範囲の時間を表す語が要約候補文中に含まれ、かつ、該要約候補文の元となった前記文に広い範囲の時間を表す語が含まれる場合は、前記広い範囲の時間を表す語が要約候補文に含まれていなければならない、という制約を含むことを特徴とする請求項１ないし請求項７のいずれか１項に記載の文書要約装置。
【請求項９】
前記圧縮制約は、前記圧縮前候補文に含まれる用言とその直前格は同時に前記要約候補文に含める、という制約を含むことを特徴とする請求項１ないし請求項８のいずれか１項に記載の文書要約装置。
【請求項１０】
前記圧縮制約は、前記圧縮前候補文に含まれる体言とその直前格は同時に前記要約候補文に含める、という制約を含むことを特徴とする請求項１ないし請求項９のいずれか１項に記載の文書要約装置。
【請求項１１】
前記文選択手段は、文の容認度を文法性スコアにより判定して選択を行うことを特徴とする請求項１ないし請求項１０のいずれか１項に記載の文書要約装置。
【請求項１２】
前記文選択手段は、一つの圧縮前候補文からは１文しか要約に採用できない、という制約の下で文選択を行うことを特徴とする請求項１１に記載の文書要約装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は与えられた原文に基づいて要約を自動的に生成する文書要約装置に関する。
【背景技術】
【０００２】
従来から使われてきた新聞やテレビなどを介したニュース配信に加え、インターネットを介したニュース配信が増加しており、スマートデバイス等の普及なども相まって、表示領域に制限のあるデバイスでニュースを閲覧する機会が増えている。図８は、そのようなニュース配信サービスにおける画面の一例である。画面１００の上部には、見出し１０１、画像１０２とともにニュース記事の原文１０３が表示され、下部には要約１０４が表示されている。この例では、要約１０４は人手により作成したものである。また、原文１０３中の円で囲った数字は文番号を示すもので、説明のために加えたものである。
【０００３】
与えられた原文から要約を自動的に生成する方法が種々提案されている。一般に広く用いられる要約手法として、文選択と文圧縮を組み合わせたものがある（たとえば、非特許文献１、２、３）。
【０００４】
特許文献１には、要約の最大長、単語の各々の重要度、修辞構造木、係り受け木に基づいて、予め定めた条件を満たすように係り受け木の各々から多くとも一つの部分木を抽出して文書の要約を生成する文書要約装置が記載されている。
【０００５】
非特許文献４は、ドイツ語及び英語を対象としたものであるが、複数文書要約において係り受け木を拡張することによって文融合を行う方法が記載されている。
【０００６】
非特許文献５には、要約者がニュース記事の要約を容易に行えるように、日本語のニュース記事のリード文に対して、記事中の関連した文を融合することを目的に、係り受け木を元にした文融合手法が記載されている。
【０００７】
非特許文献６は、日本語を対象とした文分割に関するもので、従属節の独立性に着目することによって文分割が可能となる点（分割点）を決定することが記載されている。
【０００８】
非特許文献７は、ニュース番組の字幕生成を行う目的での文分割に関するもので、分割後の接続詞の補完や言い換えを含め多くの規則を用いて分割を行うことが記載されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１５−１７０２２４号公報
【非特許文献】
【００１０】
【非特許文献１】K. Filippova and M. Strube, Dependency tree based sentence compression, In INLG, pp.25-32, 2008
【非特許文献２】H. Morita, R. Sasano, H.Takamura, and M. Okumura, Subtree extractive summarization via submodular maximization, In ACL, pp.1023-1032, 2013
【非特許文献３】三上真、増山繁、中川聖一、ニュース番組における字幕生成のための文内短縮による要約、自然言語処理、Vol. 6, No 6, pp. 65-81, 1999
【非特許文献４】K. Filippova and M. Strube, Sentence fusion via dependency graph compression, In EMNLP, pp.177-185, 2008
【非特許文献５】田中英輝、美野秀弥、宮崎勝、小早川健、熊野正、後藤淳、加藤直人、文融合法に基づいた放送ニュースリード文の具体化、情報処理学会研究報告、NL-194、pp.1-6, 2007
【非特許文献６】武石英二、林良彦、接続構造解析に基づく日本語複文の分割、情報処理学会論文誌、Vol. 33, No. 5, pp. 652-663, 1992
【非特許文献７】江原暉将、福島孝博、和田裕二、白井克彦、聴覚障害者向け字幕放送のためのニュース文自動短文分割、情報処理学会研究報告、NL-138, pp. 17-22, 2000
【発明の概要】
【発明が解決しようとする課題】
【００１１】
上記の、文の選択と圧縮を中心とした手法では、特に、要約に求められる条件が厳しい、すなわち、合計の文字数、各文の文字数、文数等に強い制約のある場合に、適切な要約を生成することができなかった。たとえば、図８の本文１０３の第５文、第６文のように短文であるが重要な情報を含む文が複数あると、文数への強い制約の下で要約を生成するとこれらのうちいくつかが選択されず、適切な要約を生成できないことがあった。
【００１２】
そこで、本発明は要約に求められる条件が厳しい場合にも適切な要約を生成することができる文書要約装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の文書要約装置は、原文に含まれる文のうち所定の融合条件を満足する２文を融合して融合文を生成する文融合手段と、文のうち所定の分割条件を満足するものを分割して分割文を生成する文分割手段と、文と融合文と分割文から成る圧縮前候補文を所定の圧縮制約の下で圧縮して要約候補文を生成する文圧縮手段と、容認度に基づいて所定の要約長を満足するように要約候補文を選択して要約を生成する文選択手段とを備える。
【発明の効果】
【００１４】
本発明によれば、要約に求められる条件が厳しい場合にも適切な要約を生成することができる文書要約装置を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】文書要約装置のハードウェア構成を示す図である。
【図２】文書要約装置の使用例を示す図である。
【図３】文書要約装置の機能ブロック図である。
【図４】文書要約装置の動作の概要を示すフローチャートである。
【図５】文書要約装置の動作の詳細を説明する図である。
【図６】トレードオフパラメータαと選択率の関係を示す図である。
【図７】本発明の手法と比較手法のスコアを示す図である。
【図８】要約を含むニュース提供サービスの例を示す図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照しながら本発明の実施形態について詳細に説明する。図１は、本発明の一実施形態である文書要約装置１０のハードウェア構成を示す図である。文書要約装置１０は、制御・演算を行うＣＰＵ１１、ＣＰＵ１１が実行するプログラムを格納する主記憶装置１２、入力された原文データ、生成した要約等を記憶する外部記憶装置１３、ネットワークに接続し他の機器との間で通信を行う通信装置１４、ユーザが操作し文書要約装置１０に対して入力を行う入力装置１５、ユーザインターフェース等を表示し、たとえば液晶ディスプレイ装置により構成される表示装置１６を備えたコンピュータである。
【００１７】
図２は、文書要約装置１０の使用例を示す図である。文書要約装置１０は、インターネット等のネットワーク３を介して文書要約装置１０と通信可能なユーザ装置２とともにニュース提供システム１を構成する。クライアント装置２は、たとえばパーソナルコンピュータやスマートフォン等のユーザが使用する機器で、文書要約装置１０から提供される要約されたニュース速報を、たとえばウェブブラウザによって表示する。
【００１８】
図３は、文書要約装置１０の機能ブロック図である。文融合手段２１は、原文データ３１に含まれる複数の文のうち、所定の条件を満足するものに対して文融合処理を行い、融合文３２ｂを生成する。
【００１９】
文分割手段２２は、原文データ３１に含まれる複数の文のうち、所定の条件を満足するものに対して文分割処理を行い、分割文３２ｃを生成する。
【００２０】
文圧縮手段２３は、原文に含まれる文のままで融合・分割がされていない未処理文３２ａ、文融合手段２１が生成した融合文３２ｂ、文分割手段２２が生成した分割文３２ｃからなる圧縮前候補文３２に含まれる各文のうち所定の条件を満足するものに対して圧縮処理を行い、要約候補文３３を生成する。
【００２１】
文選択手段２４は、文の容認度に基づいて、要約候補文３３に含まれる文の中から所定の要約長を満足するように文を選択し、要約３４を生成する。
【００２２】
上記の各手段は、図１のＣＰＵ１１がコンピュータプログラムを実行し、図１の各ハードウェアを制御することにより実現される。
【００２３】
文書要約装置１０は、複数のコンピュータにより構成することもできる。たとえば、文融合手段２１、文分割手段２２、文圧縮手段２３として機能するコンピュータと文選択手段２４として機能するコンピュータの２台のコンピュータにより構成することができる。
【００２４】
記憶部３０には、原文データ３１、圧縮前候補文３２、要約候補文３３、要約３４が記憶される。原文データ３１は、任意の言語の文字データであるが、ここでは、日本語によるニュース記事を例に説明する。
【００２５】
記憶部３０は、文書要約装置１０が備える主記憶装置１２、外部記憶装置１３により構成するほか、文書要約装置１０がアクセス可能な他のコンピュータの記憶装置やクラウド上の記憶領域により構成することもできる。
【００２６】
次に、文書要約装置１０の動作について説明する。図４は文書要約装置１０の動作の概要を示すフローチャート、図５は文書要約装置１０の動作の詳細を説明する図である。
【００２７】
文融合手段２１は、表１に示した文融合１、文融合２、文融合３の３つの条件について判定を行い、いずれかの条件を満たす２文を融合して、融合文を生成する（図４のステップＳＴ１）。
【００２８】
【表１】
2017151863.tif 000003
【００２９】
文融合１
記事（原文データ）中で連続する２文であり（条件１−１）、かつ、２文の合計文字長が所定の文字数（たとえば、４０字）以下であり（条件１−２）、かつ、２文とも文末がインタビュー内容等の発話文で終わっていない（条件１−３）場合、２文の係り受け木を結合し融合文を生成する。この際、自然な融合文を生成するため、第１文の文末が用言である場合には、文末を連用形に変換し読点を付加し、第２文の文末に係るように係り受け木を生成する。たとえば、図５の文Ｓ２「男は大阪市内の中学校に侵入し、校庭を走り回った後逃走」と文Ｓ３「生徒や教員に怪我はなかった」は、条件１−１、１−２、１−３のいずれも満たすので、融合文３２ｂ−１「男は大阪市内の中学校に侵入し、校庭を走り回った後逃走、生徒や教員に怪我はなかった」を生成する。ここで、「第１文」は原文データ３１中で先に表れる文、「第２文」は原文データ３１中で後に表れる文である。
【００３０】
文融合２
２文の文末の文節が一致し（条件２−１）、かつ、文末の述語の主語が２文で一致している（条件２−２）場合、２文の係り受け木を結合して融合文を生成する。具体的には、文末から係り受け木をたどり、文末から枝がつながっている状態でどこまで２文が一致するかを調べる。そして、２文で一致する文節を融合し、拡張された係り受け木を得る。この処理により、たとえば、「海中からナイフが見つかった」と「犯行に使ったナイフが見つかった」という２文から「海中から犯行に使ったナイフが見つかった」という融合文が生成される。
【００３１】
文融合３
これは、連体修飾化が可能な条件であり、記事中で連続している２文であり（条件３−１）」、かつ、文末の主語が２文で一致している（条件３−２）場合に、文融合を行う。具体的には、第１文の主格を連体形に変換し、主格に係る文節を含め、第２文の文末に係るように係り受け木を生成し、融合文を得る。たとえば、「ナイフが見つかった」と「ナイフは犯行に使ったとみられる」という２文から「見つかったナイフは犯行に使ったとみられる」という融合文が生成される。
【００３２】
なお、文融合の条件は、上記の文融合１、文融合２、文融合３のうち一つまたは二つを省略することもできる。また、上記の文融合１、文融合２、文融合３に加えて、またはこれらに代えて他の条件を用いることもできる。
【００３３】
文分割手段２２は、原文データ３１に含まれる文に含まれる連用節が、表１に示す条件のうち文分割を満足する場合、すなわち、分割点直前の文節を除く前方の文節が後方の文節に係らず（条件４-１）、かつ、分割点直前の文節が従属節分類Ａに該当せず（条件４-２）、かつ、分割点直前の文節が格助詞に相当する句を含んでいない（条件４-３）場合に、その連用節の直後を分割点として文分割を行い分割文３２ｂを生成する（図４のステップＳＴ２）。ここで、分割後の文のペアにおいて、文中の語が入力文の前半に出現するものを「前方」、後半に出現するものを「後方」と呼ぶこととする。また、従属節分類Ａとは、「現代日本語の構造」（南不二男、大修館書店、第１４表、ｐｐ．１２８−１２９、１９７４年）によるもので、「〜ナガラ（継続）」、「〜ツツ」、「〜テ」、連用形反復、「〜連用形（形容詞・形容動詞）」のいずれかの形の従属節である。
【００３４】
文分割を行う条件は、上記の条件４−１、条件４−２、条件４−３の組み合わせ以外の条件も用いることができる。
【００３５】
また、人手で要約を作成する場合、文の末尾を「事件」、「問題」などといった体言で終わらせる場合がある。このような形式は要約において非常に有効であると考えられることから、この実施形態では、分割点として連用節の直後に加え、「事件」または「問題」という句が含まれる文節の直後も対象とする。たとえば、図５の原文データ３１に含まれる文Ｓ１「先月２４日に大阪市の中学校に刃物を持った男が侵入し逃走した事件で、大阪府淀川署は４５歳の無職の男を住居侵入の容疑で逮捕したと発表した」を、「事件」の後で分割し、分割文３２ｃ−１「先月２４日に大阪市の中学校に刃物を持った男が侵入し逃走した事件」と分割文３２ｃ−２「大阪府淀川署は４５歳の無職の男を住居侵入の容疑で逮捕したと発表した」を生成する。分割点を決めるための基準とする語は「事件」、「問題」以外の語も用いることができる。
【００３６】
なお、図４のステップＳＴ１とステップＳＴ２の実行順序は逆にしても良い。
【００３７】
文圧縮手段２３は、圧縮前候補文３２に含まれる各文に対し、各文の係り受け木に基づいて文圧縮を行う。具体的には、係り受け木の根を含む部分木のうち、制約を満たす文をすべて要約候補文として列挙する。これらの制約は、高い文法性の確保と、文選択のコスト低減のために導入している。圧縮後の文に対する制約を表２の制約５−１〜５−６に示す。文圧縮手段２３は、制約５−１〜５−６をすべて満たすように文圧縮を行う。
【００３８】
制約５−１は、始めかぎ括弧（「）と終わりかぎ括弧（」）の一方だけが圧縮文（要約候補文中）に存在しない、という制約である。
【００３９】
制約５−２は、圧縮後の要約候補文の文長が所定の範囲内（たとえば、２０文字以上４０文字以下）という制約である。下限の文字数と上限の文字数は、要約を表示用する表示領域の大きさ等を勘案して適宜設定する。
【００４０】
制約５−３は、原文中に、「ＡからＢ」という内容が含まれる場合、ＡとＢの一方だけが要約候補文に存在しない、という制約である。ここで、ＡとＢは数値の上限と下限（たとえば、１０から２０）、時間の始まりと終わり（たとえば、３時から５時）、起点と終点となる場所（たとえば、東京から大阪）、二つの属性や状態（たとえば、子供から大人）など、「から」により結ばれる任意の２語である。
【００４１】
制約５−４は、細かい範囲の時間を表す語が要約候補文中に含まれ、かつ、原文に広い範囲の時間を表す語が含まれる場合は、広い範囲の時間を表す語が要約候補文に含まれていなければならない、という制約である。ここで、細かい範囲の時間を表す語群としては、たとえば、｛「朝」、「未明」、「夕」、「深夜」、「下旬」、「上旬」、「中旬」、「分」、「午前」、「午後」｝、広い範囲の時間を表す語群としては、たとえば、｛「日」、「時」、「月」、「年」、「今朝」、「同日」、「同月」、「同年」｝を用いることができる。制約５−１や制約５−４のように、圧縮候補文中に一対の記号または対になる一対の文字列が含まれる場合、それらの一対の記号または一対の文字列が要約候補文に含まれなければならない、という制約を用いることができる。
【００４２】
制約５−５は、圧縮前候補文に含まれる用言とその直前格は同時に要約候補文に含める、という制約である。
【００４３】
制約５−６は、圧縮前候補文に含まれる体言とその直前格は同時に要約候補文に含める、という制約である。
【００４４】
この制約も上記の制約５-１から５-６の組以外のものを用いることもできる。また、上記の制約５−１から５−６を必ずしもすべて用いる必要はない。
【００４５】
たとえば、図５の圧縮前候補文３２ａ−１「先月２４日に大阪市の中学校に刃物を持った男が侵入し逃走した事件で、大阪府淀川署は４５歳の無職の男を住居侵入の容疑で逮捕したと発表した」からは、「事件で、大阪府淀川署は住居侵入の容疑で逮捕したと発表した」、「大阪府淀川署は住居侵入の容疑で逮捕したと発表した」、「先月２４日に男が侵入し逃走した事件で、住居侵入の容疑で逮捕したと発表した」等の複数の要約候補文が生成される。他の圧縮前候補文からも同様に、複数の要約候補文が生成される。なお、圧縮前候補文のうち文長が２０文字以下のものに対しては文圧縮が行われず、そのような圧縮前候補文からは要約候補文は生成されない。
【００４６】
【表２】
2017151863.tif 000004
【００４７】
文選択手段２４は、文の容認度に基づいて要約候補文３３から所定の要約長を満足するように文を選択して要約３４を生成する（図４のステップＳＴ４）。この際、選択した要約候補文を元となっている文の原文中の出現順序に従って並べる。また、選択した要約候補文が融合文に由来する場合は、融合文の元となった２文のうち原文中の出現順が早いほうの文を基準として取り扱う。たとえば、選択された要約候補文が原文中の第３文と第５文を融合した融合文に由来する場合、第３文として並べる順を決める。
【００４８】
この実施形態では、要約に含める単語の重要度と文の容認度を考慮した最大被覆問題の拡張として以下のように定式化する。ここで、文の容認度を言語モデルの生起確率から求める文法性のスコアにより判定するが、他の指標を用いて判定しても良い。
【００４９】
【数１】
2017151863.tif 000005
【００５０】
式（１）でｘｉは要約候補文のｉ番目の文を要約に採用する場合に１となる二値変数、ｚjは単語ｊが要約に採用される場合に１となる二値変数である。目的関数中のｗｊは単語ｊの重み定数であり、ｇｉは要約候補文ｉに対する容認度の値である。目的関数の第一項は、要約に含める単語の重みの総和であり、第二項は、要約に含める要約候補文に対する容認度の総和である。また、αはトレードオフパラメータである。式（２）は要約候補文から選ぶ文の数（たとえば、３文）に関する制約、式（３）は要約の文字長を所定の文字数（たとえば、１００文字）以内とする制約である。ａｉｊは要約候補文ｉ中に単語ｊが含まれる場合に１となる定数であり、式（４）は要約候補文と単語の整合性を保つための制約である。ｌｉは要約候補文ｉの文字数である。また、より精度の高い要約を生成するため、式（２）から（４）の制約式に加え、一つの圧縮前候補文から生成された要約候補文は１文しか要約に採用できないという制約を課している。
【００５１】
図５の例では、圧縮前候補文３２ａ−２から生成された要約候補文「先月２４に大阪市の中学校に刃物を持った男が侵入し逃走した事件」、圧縮前候補文３２ｃ−１から生成された要約候補文「大阪府淀川署は４５歳の無職の男を住居侵入の容疑で逮捕したと発表した」、圧縮前候補文３２ｂ−１から生成された要約候補文「男は中学校に侵入し、校庭を走り回った後逃走、生徒や教員に怪我はなかった」が選ばれ、この順で並べられ要約３４が生成されている。
【００５２】
なお、この実施形態では、要約候補文から選ぶ文の数を３、要約の最大文字長を１００としたが、それぞれ他の数値とすることもできる。
【００５３】
文書要約装置１０によれば、文融合手段２１が原文データ３１に含まれる文のうち所定の融合条件を満足する２文を融合して融合文３２ｂを生成し、文分割手段２２が文のうち所定の分割条件を満足するものを分割して分割文３２ｃを生成する。文圧縮手段２３は、未処理文３２ａと融合文３２ｂと分割文３２ｃから成る圧縮前候補文３２を所定の圧縮制約の下で圧縮して要約候補文３３を生成する。文選択手段３４は、容認度に基づいて所定の要約長を満足するように前記要約候補文を選択して要約を生成する。そのため、要約に求められる条件が厳しい場合にも適切な要約を生成することができる。特に、融合条件、分割条件、圧縮条件、選択条件をたとえば上述のように適切に定めることによってスマートフォンやタブレット端末等の表示領域の小さいデバイスに適した要約を生成することができる。
【００５４】
本発明は、文書要約装置のほか、上記の各手段としてコンピュータを動作させる方法、上記の各手段としてコンピュータを動作させるコンピュータプログラム、このようなコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体としても実施することができる。
【００５５】
また、上記の実施形態では、原文データ３１が日本語で記述されたものである例について説明したが、文融合の条件と文分割の条件を適切に設定すれば、本発明は英語等の他の言語にも適用することができる。
【実施例１】
【００５６】
次に本発明の実施例について説明する。実験に用いるデータとして、ニュース要約サイト「livedoorNEWS（http://news.livedoor.com/）」より収集した１０，６０７記事をデータセットとして用いた。このデータセットののうち、８，４８７記事を訓練データ、１，０６０記事を開発データ、１，０６０記事を評価データとして使用した。
【００５７】
また、形態素解析器としてJUMAN7.0を、係り受け解析器としてKNP4.15を用いた。形態素解析の際に用いる辞書には、ニュース記事に含まれる多くの新語を解析できるようにする目的で、Wikipedia（https://ja.wikipedia.org/）の見出し語を追加した。本実験では、要約作成のための整数計画ソルバとして、ILOG CPLEXを用いた。
【００５８】
単語の重みｗｉは、Yihらの手法（W.-T.Yih, J. Goodman, L. Vanderwende, and H. Suzuki, Multi-document summarization by maximizing informative content-words, In IJCAI, pp. 1776-1782, 2007）の中で単一文書要約に用いることのできる素性に加え、ニュース記事要約に特化した素性として、入力記事１文目に出現する単語かどうかの二値素性と、ニュースタイトルに出現する単語かどうかを示す二値素性を用いて、対数線型モデルにより算出した。対数線型モデルの学習にはLIBLINEARバージョン１．９６を用い、L2正則化項を付加、ハイパーパラメータはC=1とした。また、容認度はLauらの研究(J.-H. Lau, A. Clark, and S. Lappin, Unsupervised prediction of acceptability judgements, In ACL, pp. 1618-1628,2015)に基づき、式（５）で求めた。
【００５９】
【数２】
2017151863.tif 000006
【００６０】
式（５）中のｓｉは、ｉ番目の要約候補文である。Ｐｍ（ｓｉ）は、言語モデルによって出力される文ｓｉの生起確率で、Ｐｕ（ｓｉ）は、文ｓｉに含まれる単語の生起確率の総和であり、ｇｉは、文の生起確率から全単語の生起確率の和を引いたものを単語数で割り正規化したものとなっている。この実施例ではLauらに倣い、言語モデルとしてRecurrent Neural Network Language Modelを用いた。言語モデルの学習にはインターネット上から無作為に収集した５００万文を使用した。なお、収集したデータにおいて出現頻度が１回の単語に関しては未知語とすることによってスムージングを行った。
【００６１】
まず、文選択の際に用いるトレードオフパラメータαを決定するために、クラウドソーシングサービスを用いてパラメータチューニングを行った。各記事に対して、ニュース記事本文と、ステップ幅を０．１とした１１通りのパラメータから生成された要約記事を３つ提示した。被験者はニュース本文に目を通した上で、文法性や内容の充実度を総合的に判断し、３人以上が良いと答えたパラメータを正しいとし、パラメータの選ばれる割合を計算し、評価に使用するパラメータを決定した。図６に異なるαによる選択率の変化を示す。選択率はα＝０．８がピークとなっている。これは、文圧縮など原文に対する改変操作により生じうる文法性の低下に対し、容認度が有効に働くことを示している。パラメータチューニングの結果から、この実施例ではα=０．８を使用した。
【００６２】
最終的な要約記事の評価はクラウドソーシングを用いて行った。文融合及び文分割、文圧縮をすべて用いた方法をAllと呼び、表３に示す５つの手法と比較することにより、本発明の手法の有効性を確認した。
【００６３】
【表３】
2017151863.tif 000007
【００６４】
評価データ１，０６０記事の中からランダムに選択した２００記事を対象に、比較手法のそれぞれにおける要約記事をアノテータに示し、DUCにおけるQuality Questionを参考にした５つの観点から評価を行った。評価項目を表４に示す。各評価観点に対して、それぞれ、良い（５点）・やや良い（４点）・普通（３点）・やや悪い（２点）・悪い（１点）で評価した。また、有意差検定として並べ替え検定を行った。
【００６５】
【表４】
2017151863.tif 000008
【００６６】
評価実験の結果を図７、表５に示す。また、参考のためROUGE-2のスコアをR2として示す。実験の結果、HUMANはすべての評価項目において高いスコアを出していることが分かった。HUMAN以外の結果は、内容の良さの観点に関してはALLが他の手法を有意に上回った。文法性に関しては-F、-D、冗長性の少なさに関しては-Dと比べ、ALLのスコアが下回る結果となったが、統計的に有意な差ではなかった。総合の観点においては、ALLが最も高いスコアであったものの、有意な差は出なかった。なお、表５中「＊」を付したものは、ALLとHUMANを除く比較手法のスコアにおいて、検定の結果ｐ値が０．０５以下である項目を示している。
【００６７】
【表５】
2017151863.tif 000009
【００６８】
本発明の手法における文融合、文分割、文圧縮制約の有用性の差をより詳しく調査するため、-F、-D、-Cの３つの比較手法に対し追加の比較実験を行った。具体的には、比較手法のそれぞれに対し、本発明の手法（ALL)の出力と比較手法の出力のペアを被験者に提示し、文法性および内容の充実度の２つの観点を総合的に考え、どちらの手法による要約記事が良いかを選択してもらった。有意差検定としてマクネマー検定を行った。比較実験の結果を表６に示す。
【００６９】
【表６】
2017151863.tif 000010
【００７０】
ALLと-Fの比較では、統計的な差は確認できなかった。特に融合２では、拡張された係り受け木から文を生成する場合に非文が生成されてしまう場合が多いなどの問題があった。ALLと−Dの比較では、ALLが選ばれた回数が１２２回で-Dが選ばれた回数が７８回、p値が０．００２３となり、ALLの有用性が示された。この理由としては、「事件」や「問題」で分割を行うことなどで、箇条書きとしての要約記事の読みやすさが向上したことなどが考えられる。ALLと-Cの比較では、ALLが有意に良い要約を出力していることが分かった。
【００７１】
この実験の結果、文分割や文圧縮制約を用いることによって限られた表示領域の中で要点をつかんだ要約生成を行うことが可能であることを確認できた。
【符号の説明】
【００７２】
１  ニュース速報提供システム、２  ユーザ装置、３  ネットワーク、１０  文書要約装置、１１  ＣＰＵ、１２  外部記憶装置、１４  通信装置、１５  入力装置、１６  表示装置、２１  文融合手段、２２  文分割手段、２３  文圧縮手段、２４  文選択手段、３１  原文データ、３２  圧縮前候補文、３２ａ  未処理文、３２ｂ  融合文、３２ｃ  分割文、３３  要約候補文、３４  要約
【図１】
2017151863.tif 000011
【図２】
2017151863.tif 000012
【図３】
2017151863.tif 000013
【図４】
2017151863.tif 000014
【図５】
2017151863.tif 000015
【図６】
2017151863.tif 000016
【図７】
2017151863.tif 000017
【図８】
2017151863.tif 000018