(57)【要約】【課題】複数の説明段落から過不足ない単一の説明情報を自動生成することができる複数文書の要約作成方法を提供する。【解決手段】複数のＷｅｂページから抽出した説明段落から、要約処理の最小単位としての単文を検出し分割する単文特定処理と、この特定処理によって抽出された単文を照合して、同一の観点に対応する類似した単文同士を同一グループに分類する照合処理と、この照合処理で構成されたグループから代表的な単文を１つ以上選出する選出処理と、この選出処理で各グループから選出された代表文をグループ（観点）名とともに箇条書きで表示する生成・提示処理とを施し、複数のＷｅｂページから抽出した説明段落を統合・要約して、対象の用語について過不足ない簡潔な説明情報をコンピュータにより自動生成する。【選択図】図１
2005196572.tif 000002
【特許請求の範囲】
【請求項１】
（ａ）複数の文書から抽出した説明情報から、要約処理の最小単位としての単文を検出し分割する単文特定処理と、
（ｂ）該特定処理によって抽出された単文を照合して、同一の観点に対応する類似した単文同士を同一グループに分類する照合処理と、
（ｃ）該照合処理で構成されたグループから代表的な単文を１つ以上選出する選出処理と、
（ｄ）該選出処理で各グループから選出された代表文をグループ（観点）名とともに箇条書きで表示する生成・提示処理とを施し、
（ｅ）複数の文書から抽出した説明情報を統合・要約して、対象の用語について過不足ない簡潔な説明情報をコンピュータにより自動生成することを特徴とする複数文書の要約作成方法。
【請求項２】
請求項１記載の複数文書の要約作成方法において、前記特定処理において重文を複数の単文に分割した場合、分割された２つ目以降の単文の文頭には先頭文の主語を補完することを特徴とする複数文書の要約作成方法。
【請求項３】
請求項１記載の複数文書の要約作成方法において、前記照合処理において、前記単文を観点に基づいて分類するために、それぞれの観点に固有の定型表現を予め作成し、該定型表現を含む文を対応するグループに分類することを特徴とする複数文書の要約作成方法。
【請求項４】
請求項１記載の複数文書の要約作成方法において、前記観点が定義、略語、例示、目的、同義語、書籍、製品、利点、欠点、歴史、要素、機能であることを特徴とする複数文書の要約作成方法。
【請求項５】
請求項１記載の複数文書の要約作成方法において、前記照合処理において、分類されなかった単文を既に分類された単文グループと比較し、類似度が高い単文が属する観点に分類することを特徴とする複数文書の要約作成方法。
【請求項６】
請求項５記載の複数文書の要約作成方法において、前記定義、略語、例示、目的、同義語、書籍、製品、利点、欠点、歴史、要素、機能の観点に当てはまらず、かつ既に分類されたどの単文グループとも類似度が低い単文を「その他」として分類することを特徴とする複数文書の要約作成方法。
【請求項７】
請求項５記載の複数文書の要約作成方法において、前記類似度の計算には語の重複度を用いることを特徴とする複数文書の要約作成方法。
【請求項８】
請求項１記載の複数文書の要約作成方法において、前記選出処理において、グループ全体の傾向を反映しつつ、かつ良質な文を選択することを特徴とする複数文書の要約作成方法。
【請求項９】
請求項８記載の複数文書の要約作成方法において、基準を定量化し、それらを結合したスコアに基づいて代表文を選出することを特徴とする複数文書の要約作成方法。
【請求項１０】
請求項８記載の複数文書の要約作成方法において、前記代表文の選出を、
（ａ）単文の抽出元の説明段落の尤度の順位の高さを考慮し、
（ｂ）前記グループに含まれる単文に共通して現れる語を多く含む文を代表文の候補とし、
（ｃ）該代表文の候補のうち、目的に適した文字数の文を代表文として選ぶことを特徴とする複数文書の要約作成方法。
【請求項１１】
請求項８記載の複数文書の要約作成方法において、前記基準が単文が抽出された元の説明段落の順位を考慮するものであることを特徴とする複数文書の要約作成方法。
【請求項１２】
請求項８記載の複数文書の要約作成方法において、前記基準がグループに含まれる単文に共通して現れる語を多く含む文とするものであることを特徴とする複数文書の要約作成方法。
【請求項１３】
請求項８記載の複数文書の要約方作成法において、前記基準が説明の文字数を考慮するものであることを特徴とする複数文書の要約作成方法。
【請求項１４】
請求項５記載の複数文書の要約作成方法において、前記「その他」からは他の前記観点から既に選択された単文との語の重複がなるべく少ない単文を優先的に選択することを特徴とする複数文書の要約作成方法。
【請求項１５】
請求項５記載の複数文書の要約作成方法において、前記「その他」から複数の単文を選択する場合には、まず、最初の１件を選択し、既に選択された単文との語の重複が少ない単文を次に選択し、この処理を再帰的に行うことで多様な単文を選択することを特徴とする複数文書の要約作成方法。
【請求項１６】
請求項１記載の複数文書の要約作成方法において、前記生成・提示処理は、各グループから選択された代表文をグループ（観点）名とともに箇条書きで表示することを特徴とする複数文書の要約作成方法。
【請求項１７】
請求項１６記載の複数文書の要約作成方法において、前記生成処理では単文特定処理で抽出された単文の文末表現を置換することで、文字数を少なくしたり、文末らしい表現に修正することを特徴とする複数文書の要約作成方法。
【請求項１８】
請求項１６記載の複数文書の要約作成方法において、前記提示処理ではそのグループに属する他の説明文や抽出元の説明段落にリンクをはり、ユーザが選択した観点だけに絞り込むことを特徴とする複数文書の要約作成方法。
【請求項１９】
請求項１６記載の複数文書の要約作成方法において、選択処理におけるスコアが高い代表文から順番に提示することを特徴とする複数文書の要約作成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数文書の要約作成方法に関するものである。
【背景技術】
【０００２】
近年、Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ上の検索エンジンを用いて様々な調べ物をすることが日常的な知的情報活動になっている。Ｗｅｂを国語辞典や百科事典のように使って、知らない言葉や事柄について調べることは、そのような知的情報活動の主な例である。これは、既存の辞典や事典には新語や専門用語が収録されていないことが多いのに対して、Ｗｅｂには新しい情報や専門性が高い情報が多く流通しているというＷｅｂの特性のためである。
【０００３】
Ｗｅｂが普及し始めた当初に比べれば検索エンジンの性能は向上し、目的の情報が簡単に見つかることも多くなった。しかし、検索要求内容によっては依然として何をキーワードとして入力してよいのか分からない場合や、膨大な検索結果から欲しい情報をどうやって選択すればよいか分からない場合がある。また、Ｗｅｂには統制がないため、誤字、誤解、虚偽といった低品質の情報を排除する必要がある。
【０００４】
上記の問題を解決するために、本願発明者らはＷｅｂを事典的に利用することを目的とした検索サイト「Ｃｙｃｌｏｎｅ」（下記非特許文献１、２、１１、１２、１３、特許文献１参照）を構築し、継続的に評価実験や問題点の改善を行っている。Ｃｙｃｌｏｎｅには、見出し語とその説明情報をＷｅｂページ群から抽出してコンテンツを自動構築する機能と、その構築されたコンテンツを利用するための検索機能がある。
【０００５】
図６は、新型肺炎「ＳＡＲＳ」を入力した場合の従来のＣｙｃｌｏｎｅの検索結果例である。
【０００６】
画面の下半分には、複数のＷｅｂページから個別に抽出（抜粋）された説明段落が、抽出元のページタイトルと一緒に３件提示されている。説明段落は専門分野に基づいて分類され、さらに説明としての尤度に基づいて上から順位付けされて表示されている。また、見出し語（検索語）を入力するボックスの下には、検索結果を絞り込むための分野名や関連語、複合語が提示されている。
【０００７】
そこで、提示された説明段落を順番に読んだり、分野名や関連語を利用して必要な情報に絞り込むことで、既存の検索エンジンよりも効率的に入力キーワードに関する希望の説明情報を取得することができる。
【０００８】
しかし、一般的に人間が編纂する辞典や事典は、一つの見出し語に関して多面的な観点から過不足のない簡潔な説明を記述するようにしている。例えば、岩波情報科学辞典（下記非特許文献９参照）では、本質的な特徴を表す内包的定義、例示による外延的定義、同義語などの観点を必須項目とし、必要に応じて任意の観点を記述している。
【０００９】
それに対して、図６に示された複数の説明は異なるＷｅｂページから個別に抜粋された情報であるため、相互に関連性がない。すなわち、一方の説明に含まれる情報が他の説明に存在しなかったり、逆に同じような情報が複数の説明に含まれていたりする。そこで、多面的な観点から説明情報を取得するためには、複数の説明段落を横断的に閲覧する必要があり、その結果、同じような内容の説明を何度も読むといった無駄が生じてしまう。
【００１０】
また、ページをスクロールしたり何度もクリックして次のページを見ないと欲しい情報が手に入らない場合、ユーザは検索サイトの利用を中断する可能性もある。従って、最初のページに簡潔に概要を示してユーザの興味を引くためにも、説明情報を要約して提示することは有効な手段である。
【００１１】
そこで、本発明では、一つの見出し語に関する複数の説明段落を統合し、過不足ない説明情報を生成するための要約手法を提供する。具体的には複数文書要約（下記非特許文献４、５、７参照）に相当する処理である。その結果、携帯端末など一度に表示できる文字数が制限される環境においても利便性を向上させることができる。
【特許文献１】特開２００３−０８５１８１号公報
【非特許文献１】Ａｔｓｕｓｈｉ  Ｆｕｊｉｉ  ａｎｄ  Ｔｅｔｓｕｙａ  Ｉｓｈｉｋａｗａ．Ｕｔｉｌｉｚｉｎｇ  ｔｈｅ  Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ  ａｓ  ａｎ  ｅｎｃｙｃｌｏｐｅｄｉａ：Ｅｘｔｒａｃｔｉｎｇ  ｔｅｒｍ  ｄｅｓｃｒｉｐｔｉｏｎｓ  ｆｒｏｍ  ｓｅｍｉ−ｓｔｒｕｃｔｕｒｅｄ  ｔｅｘｔｓ．Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ３８ｔｈ  Ａｎｎｕａｌ  Ｍｅｅｔｉｎｇ  ｏｆ  ｔｈｅ  Ａｓｓｏｃｉａｔｉｏｎ  ｆｏｒ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｌｉｎｇｕｉｓｔｉｃｓ，ｐｐ．４８８−４９５，２０００．
【非特許文献２】Ａｔｓｕｓｈｉ  Ｆｕｊｉｉ  ａｎｄ  Ｔｅｔｓｕｙａ  Ｉｓｈｉｋａｗａ．Ｏｒｇａｎｉｚｉｎｇ  ｅｎｃｙｃｌｏｐｅｄｉｃ  ｋｎｏｗｌｅｄｇｅ  ｂａｓｅｄ  ｏｎ  ｔｈｅ  Ｗｅｂ  ａｎｄ  ｉｔｓ  ａｐｐｌｉｃａｔｉｏｎ  ｔｏ  ｑｕｅｓｔｉｏｎ  ａｎｓｗｅｒｉｎｇ．Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ３９ｔｈ  Ａｎｎｕａｌ  Ｍｅｅｔｉｎｇ  ｏｆ  ｔｈｅ  Ａｓｓｏｃｉａｔｉｏｎ  ｆｏｒ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｌｉｎｇｕｉｓｔｉｃｓ，ｐｐ．１９６−２０３，２００１．
【非特許文献３】Ｔａｋａｈｉｒｏ  Ｆｕｋｕｓｈｉｍａ，Ｈｉｄｅｔｓｕｇｕ  Ｎａｎｂａ，ａｎｄ  Ｍａｎａｂｕ  Ｏｋｕｍｕｒａ．Ｔｅｘｔ  ｓｕｍｍａｒｉｚａｔｉｏｎ  ｃｈａｌｌｅｎｇｅ  ２：Ｔｅｘｔ  ｓｕｍｍａｒｉｚａｔｉｏｎ  ｅｖａｌｕａｔｉｏｎ  ａｔ  ＮＴＣＩＲ  ｗｏｒｋｓｈｏｐ  ３．Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  Ｔｈｉｒｄ  ＮＴＣＩＲ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｒｅｓｅａｒｃｈ  ｉｎ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｒｅｔｒｉｅｖａｌ，Ａｕｔｏｍａｔｉｃ  Ｔｅｘｔ  Ｓｕｍｍａｒｉｚａｔｉｏｎ  ａｎｄ  Ｑｕｅｓｔｉｏｎ  Ａｎｓｗｅｒｉｎｇ，２００３．
【非特許文献４】Ｉｎｄｅｒｊｅｅｔ  Ｍａｎｉ．Ａｕｔｏｍａｔｉｃ  Ｓｕｍｍａｒｉｚａｔｉｏｎ，ｃｈａｐｔｅｒ  ７，ｐｐ．１６９−２０８．Ｊｏｈｎ  Ｂｅｎｊａｍｉｎｓ，２００１．
【非特許文献５】Ｄｒａｇｏｍｉｒ  Ｒ．Ｒａｄｅｖ  ａｎｄ  Ｋａｔｈｌｅｅｎ  Ｒ．ＭｃＫｅｏｗｎ．Ｇｅｎｅｒａｔｉｎｇ  ｎａｔｕｒａｌ  ｌａｎｇｕａｇｅ  ｓｕｍｍａｒｉｅｓ  ｆｒｏｍ  ｍｕｌｔｉｐｌｅ  ｏｎ−ｌｉｎｅ  ｓｏｕｒｃｅｓ．  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｌｉｎｇｕｉｓｔｉｃｓ，Ｖｏｌ．２４，Ｎｏ．３，ｐ．４６９−５００，１９９８．
【非特許文献６】武石英二，林良彦．接続構造解析に基づく日本語複文の分割．情報処理学会論文誌，Ｖｏｌ．３３，Ｎｏ．５，ｐｐ．６５２−６６３，１９９２．
【非特許文献７】奥村学，難波英嗣．テキスト自動要約に関する最近の話題．自然言語処理，Ｖｏｌ．９，Ｎｏ．４，ｐｐ．９７−１１６，２００２．
【非特許文献８】江原暉将，金淵培．確率モデルによるゼロ主語の補完．自然言語処理，Ｖｏｌ．３，Ｎｏ．４，ｐｐ．６７−８６，１９９６．
【非特許文献９】長尾真．辞典形式での専門分野の知識の体系的構築法．人工知能学会誌，Ｖｏｌ．７，Ｎｏ．２，ｐｐ．３２０−３２８，１９９２．
【非特許文献１０】工藤拓，松本裕治．チャンキングの段階適用による日本語係り受け解析．情報処理学会論文誌，Ｖｏｌ．４３，Ｎｏ．６，ｐｐ．１８３４−１８４２，２００２．
【非特許文献１１】藤井敦，伊藤克亘，石川徹也．ＷＷＷは百科事典として使えるか？−大規模コーパスの構築−．情報処理学会研究報告，２００２−ＮＬ−１４９，ｐｐ．７−１４，２００２．
【非特許文献１２】藤井敦．Ｗｅｂ情報を用いた事典検索サイトの構築．情報の科学と技術，Ｖｏｌ．５３，Ｎｏ．４，ｐｐ．２０１−２０４，２００３．
【非特許文献１３】藤井敦，石川徹也．Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂを用いた事典知識情報の抽出と組織化．電子情報通信学会論文誌，Ｖｏｌ．Ｊ８５−Ｄ−ＩＩ，Ｎｏ．２，ｐｐ．３００−３０７，２００２．
【発明の開示】
【発明が解決しようとする課題】
【００１２】
本願発明者らが構築した検索サイト「Ｃｙｃｌｏｎｅ」は、Ｗｅｂから言葉や事柄に関する良質な説明段落を抽出することで、入力キーワードに関する事典的な情報を効率的に提示することができる。この時、現状では複数のＷｅｂページから個別に抽出された説明段落の一覧が提示される。
【００１３】
しかしながら、上述したように提示される説明段落の間には関連性がないため、入力キーワードに関して十分な説明を取得するためには、複数の段落を読む必要があり、その結果、同じような内容を何度も読まなければならない場合がある。
【００１４】
また、単一文書を対象にした要約に比べると、複数文書の要約に関する研究は新しく、一般的なモデルが確率されていない。
【００１５】
そこで、本発明では、上記した検索サイト「Ｃｙｃｌｏｎｅ」の既存機能に加えて、新たに「要約」機能を導入した。
【００１６】
ここでは、一つの見出し語について（各分野ごとに）複数の説明段落を統合する。原理的にオフライン、オンラインどちらの段階でも要約機能を適用することができる。本発明の実施例では、応答時間を考慮し、オフラインで事前に要約を生成する。
【００１７】
オンライン検索を行う場合、ユーザが入力したキーワードや質問文が見出し語になかった場合に、文字列が部分的に一致する見出し語や概念的に類似する見出し語を提示することで、ユーザを必要な情報に自然に誘導することができる。しかし、本発明の焦点からは外れるためこの誘導の詳細は割愛する。
【００１８】
本発明は、上記に鑑みて、複数の説明段落から過不足ない単一の説明情報を自動生成することができる複数文書の要約作成方法を提供することを目的とする。
【００１９】
ここでは、ある入力キーワードに関する複数の説明段落を「定義」や「目的」といった説明の観点に基づいて解析し、観点ごとに代表的な説明文を選択し統合することで最終的な説明情報を構築する。
【００２０】
また、評価実験によって提案手法の有効性を示す。
【課題を解決するための手段】
【００２１】
本発明は、上記目的を達成するために、
〔１〕複数の文書から抽出した説明情報から、要約処理の最小単位としての単文を検出し分割する単文特定処理と、この特定処理によって抽出された単文を照合して、同一の観点に対応する類似した単文同士を同一グループに分類する照合処理と、この照合処理で構成されたグループから代表的な単文を１つ以上選出する選出処理と、この選出処理で各グループから選出された代表文をグループ（観点）名とともに箇条書きで表示する生成・提示処理とを施し、複数の文書から抽出した説明情報を統合・要約して、対象の用語について過不足ない簡潔な説明情報をコンピュータにより自動生成することを特徴とする。
【００２２】
〔２〕上記〔１〕記載の複数文書の要約作成方法において、前記特定処理において重文を複数の単文に分割した場合、分割された２つ目以降の単文の文頭には先頭文の主語を補完することを特徴とする。
【００２３】
〔３〕上記〔１〕記載の複数文書の要約作成方法において、前記照合処理において、前記単文を観点に基づいて分類するために、それぞれの観点に固有の定型表現を予め作成し、この定型表現を含む文を対応するグループに分類することを特徴とする。
【００２４】
〔４〕上記〔１〕記載の複数文書の要約作成方法において、前記観点が定義、略語、例示、目的、同義語、書籍、製品、利点、欠点、歴史、要素、機能であることを特徴とする。
【００２５】
〔５〕上記〔１〕記載の複数文書の要約作成方法において、前記照合処理において、分類されなかった単文を既に分類された単文グループと比較し、類似度が高い単文が属する観点に分類することを特徴とする。
【００２６】
〔６〕上記〔５〕記載の複数文書の要約作成方法において、前記定義、略語、例示、目的、同義語、書籍、製品、利点、欠点、歴史、要素、機能の観点に当てはまらず、かつ既に分類されたどの単文グループとも類似度が低い単文を「その他」として分類することを特徴とする。
【００２７】
〔７〕上記〔５〕記載の複数文書の要約作成方法において、前記類似度の計算には語の重複度を用いることを特徴とする。
【００２８】
〔８〕上記〔１〕記載の複数文書の要約作成方法において、前記選出処理において、グループ全体の傾向を反映しつつ、かつ良質な文を選択することを特徴とする。
【００２９】
〔９〕上記〔８〕記載の複数文書の要約作成方法において、基準を定量化し、それらを結合したスコアに基づいて代表文を選出することを特徴とする。
【００３０】
〔１０〕上記〔８〕記載の複数文書の要約作成方法において、前記代表文を選出を、
（ａ）単文の抽出元の説明段落の尤度の順位の高さを考慮し、
（ｂ）前記グループに含まれる単文に共通して現れる語を多く含む文を代表文の候補とし、
（ｃ）この代表文の候補のうち、目的に適した文字数の文を代表文として選ぶことを特徴とする。
【００３１】
〔１１〕上記〔８〕記載の複数文書の要約作成方法において、前記基準が単文が抽出された元の説明段落の順位を考慮するものであることを特徴とする。
【００３２】
〔１２〕上記〔８〕記載の複数文書の要約作成方法において、前記基準がグループに含まれる単文に共通して現れる語を多く含む文とするものであることを特徴とする。
【００３３】
〔１３〕上記〔８〕記載の複数文書の要約方作成法において、前記基準が説明の文字数を考慮するものであることを特徴とする。
【００３４】
〔１４〕上記〔５〕記載の複数文書の要約作成方法において、前記「その他」からは他の前記観点から既に選択された単文との語の重複がなるべく少ない単文を優先的に選択することを特徴とする。
【００３５】
〔１５〕上記〔５〕記載の複数文書の要約作成方法において、前記「その他」から複数の単文を選択する場合には、まず、最初の１件を選択し、既に選択された単文との語の重複が少ない単文を次に選択し、この処理を再帰的に行うことで多様な単文を選択することを特徴とする。
【００３６】
〔１６〕上記〔１〕記載の複数文書の要約作成方法において、前記生成・提示処理は、各グループから選択された代表文をグループ（観点）名とともに箇条書きで表示することを特徴とする。
【００３７】
〔１７〕上記〔１６〕記載の複数文書の要約作成方法において、前記生成処理では単文特定処理で抽出された単文の文末表現を置換することで、文字数を少なくしたり、文末らしい表現に修正することを特徴とする。
【００３８】
〔１８〕上記〔１６〕記載の複数文書の要約作成方法において、前記提示処理ではそのグループに属する他の説明文や抽出元の説明段落にリンクをはり、ユーザが選択した観点だけに絞り込むことを特徴とする。
【００３９】
〔１９〕上記〔１６〕記載の複数文書の要約作成方法において、選択処理におけるスコアが高い代表文から順番に提示することを特徴とする。
【発明の効果】
【００４０】
Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ上の莫大な情報から要領よく必要な知識を抽出する技術への需要は高い。本発明は用語の説明を過不足なく生成するものであり、検索のみならず、コンテンツの作成にも応用できるなど利用範囲が広く、商業的な価値も高い。
【発明を実施するための最良の形態】
【００４１】
Ｗｅｂを辞典や事典のように使って言葉や事柄について調べ物をすることを目的とし、複数のＷｅｂページから抽出した説明文や文章を統合さらに要約して、対象の用語について過不足ない簡潔な説明情報を自動生成する方法を提案する。本発明によって既存のＷｅｂ検索エンジンを用いる場合よりも対象の用語に関する説明を効率的に取得することが可能になる。
【実施例】
【００４２】
ここでは、本発明の複数文書の要約作成方法について説明する。
【００４３】
なお、既存の単一文書の要約作成方法については、非特許文献４に開示されている。
【００４４】
本発明では、上記の手順に基づいて説明情報を対象にした複数文書要約のモデルを作成した。すなわち、上述した検索サイトＣｙｃｌｏｎｅの組織化処理によって、得られた複数の説明段落を入力とし、説明段落中の単文（ユニット）を説明の「観点」に対応するグループに分類する。そして、各グループを代表する単文（ユニット）を統合して最終的な説明情報を生成し、ユーザに提示する。
【００４５】
ただし、用意すべき観点は、見出し語の種別によって変化する。例えば、専門用語と動植物では説明の観点が異なる。現行のＣｙｃｌｏｎｅには、専門用語、事柄、人名、動植物など様々な種別の見出し語が約６０万語収録されている。ここでは、専門用語を対象にモデルの実装と評価を行った。
【００４６】
既存の複数文書要約モデルは新聞記事などを対象としているため、記事の内容やジャンルによっては観点をあらかじめ用意することが困難な場合がある。それに対して、本発明のような専門用語説明の場合は人手によって観点をある程度列挙することが可能である。
【００４７】
以下、本発明を適用した検索サイトＣｙｃｌｏｎｅの概要について説明する。
【００４８】
図１は本発明にかかる事典的検索サイトＣｙｃｌｏｎｅの概要を示す図、図２はそのシステム構成図、図３は本発明の要約作成ステップを示す図である。
【００４９】
図２において、１はＷｅｂ、２は新語検出部、３は見出し語の候補収集部、４はＷｅｂ１上の見出し語を含むページを検索する検索処理部、５はＨＴＭＬタグを用いて検索されたページから見出し語に関する説明を段落単位で抽出する抽出処理部、６は組織化処理部（機能は後述）、７は要約作成部、８は見出し語抽出部、９は事典コンテンツ、１０はコンピュータ、１１はサーバ、１２はブラウザである。
【００５０】
図１〜図３に基づいて本発明を適用した検索サイトＣｙｃｌｏｎｅの機能について説明する。事典コンテンツ９を構築するオフライン処理と、ユーザがコンテンツを検索するオンライン処理に分かれるが、ここでは、本発明の複数文書要約作成方法にかかるオフライン処理についてのみ説明する。
【００５１】
そこで、事典コンテンツ９を構築するオフライン処理では、まず、新語検出部２で「新語検出」を行い、次に、見出し語の候補収集部３で新しい見出し語の候補をＷｅｂ１から自動的に収集する。次に、各見出し語の候補に対して検索処理部４、抽出処理部５、組織化処理部６により、「検索処理」「抽出処理」「組織化処理」を順番に実行し、目的の用語の説明を専門分野ごとに分類する。これを行うことで、「パイプライン（処理／油送管）」のように、同じ見出し語でも分野によって意味が異なる多義語の説明を区別することができる。
【００５２】
ここで、上記した検索処理では、Ｗｅｂ１上の見出し語を含むページを検索する。次いで、抽出処理では、検索されたページからＨＴＭＬタグを用いて見出し語に関する説明を段落単位で抽出する。次いで、組織化処理では、（ａ）特定分野への関連度、（ｂ）「説明らしい」言語表現を含むかどうか、（ｃ）「説明らしい」ＨＴＭＬレイアウトかどうか、（ｄ）ページの信頼度という４つの尺度を統合したスコアを計算して、その値に基づいて段落を分野に分類し、尤度に基づき順位付けする。  ここまでの処理で見出し語に関する複数の説明段落の抽出がなされる。
【００５３】
最後に、関連語抽出部８による「関連語抽出処理」によって、見出し語を特徴付ける語を取得する。これらの語は、オンライン検索時にユーザの情報要求を絞り込むために利用する。
【００５４】
関連語抽出処理の基本原理は、各見出し語の組織化処理後の説明段落に頻出する語を検出することである。ここで、適切な語を検出する処理と検出した語を評価する尺度が必要になる。そこで、まず段落を日本語形態素解析器「茶筌」で形態素解析して、品詞情報に基づいて（複合）語を構成し、関連語の候補とする。具体的には、名詞、動詞連用形、未知語、記号の連続を語として抽出する。さらに、段落における出現頻度と抽出元の段落に対する組織化処理で得たスコアを統合して関連語としてソートし、上位の値を示す関連語から優先的に提示する。すなわち、特定分野に関連が高く、信頼度も高い良質の説明段落によく現れる語が優先的に提示され、ユーザの情報検索時に有効に活用される。
【００５５】
本発明では、このようにして得られた見出し語の複数の説明段落を基に、要約作成部７で複数文書要約を行い、事典コンテンツ９に説明段落を１つに統合して過不足のない簡潔な説明情報を自動生成する。
【００５６】
以下、本発明にかかる複数文書の要約手順について図３を参照しながら詳述する。
（１）特定処理（ステップＳ１）
特定処理では、要約処理に利用する最小単位を検出する。本発明では、後述の照合処理において「観点」に対応するグループを構成するため、この「観点」に対応する単位を説明段落から抽出する必要がある。
【００５７】
本発明では、単文が一つの観点に対応する最小単位であると仮定している。そこで、特定処理の中核は、説明段落を単文に分割することである。
【００５８】
通常、文章には重文や複文が多く用いられので、これらをコンピュータにより単文に分割することは依然として困難な問題である。本発明では、「ＣａｂｏＣｈａ」（上記非特許文献１０参照）を用いて説明段落中の各文を係り受け解析し、文構造に基づく規則（上記非特許文献６参照）を適用することで、単文抽出を行う。
【００５９】
ただし、単文に分割しただけでは、後方の文には主語が欠落してしまう。例えば、以下の重文を２つの単文に分割した場合、２つ目の文頭には「ＸＭＬとは、」を補完しなければならない。
【００６０】
「ＸＭＬとは、ｅＸｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅの略であり、マークアップ言語の一種である。」
これを単文に分割すると、
「ＸＭＬとは、ｅＸｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅの略であり、」
「（ＸＭＬとは、）マークアップ言語の一種である。」
しかし、どのような文でも常に先頭文の主語を後続の文頭に補完すればよい訳ではない。どの要素をどのような場合に補完すればよいかを決定することは難しい。このような問題に対しては、単文分割におけるゼロ主語補完の手法（上記非特許文献１０参照）が適用可能である。
（２）照合処理（ステップＳ２）
上記特定処理によって抽出された単文は、単一の観点に対応すると仮定する。また、照合処理によって類似する単文同士が同一のグループにまとめられる。そこで、照合処理で構成されるグループもまた単一の観点に対応する。
【００６１】
現在、以下に示す１２種類の観点を用意している。
【００６２】
定義、略語、例示、目的、同義語、書籍、製品、利点、欠点、歴史、要素、機能
単文をこのような観点に基づいて分類するために、２つの異なる方法を併用した。まず、それぞれの観点に固有の定型表現を予め作成しておき、その定型表現を含む文を対応するグループに自動的に分類する。ここでの定型表現は観点「定義」における「○○（見出し語）とは」や観点「例示」における「例えば」などの頻出表現のことをさす。これらの表現を用いて単文の初期分類を行う。
【００６３】
しかし、予め用意されたこの定型表現を含まない（もしくは若干異なる表現が使われた）単文も存在する。そこで、次の段階では定型表現による分類では対応できなたった未分類の単文を既に分類された単文グループと比較し、類似度が高い単文が属するグループに分類する。類似度の計算には語の重複度を用いた。そこで、未分類の単文は、初期分類で構成されたグループの中で、最も多くの語を共有するグループに分類される。具体的にはＤｉｃｅ係数準拠の計算によって文の長さによる正規化を行う。しかし、全ての語を使うのではなく、形態素解析によって助詞などの機能語を削除する。
【００６４】
見出し語「ＸＭＬ」に関する具体例を以下に示す。
（ａ）ＸＭＬとは、拡張可能なマーク付け言語のことです。
【００６５】
→定義
（ｂ）ｅＸｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅの略
→略語
（ｃ）１９９８年にＷ３Ｃにより標準化勧告され、
→歴史
（ｄ）ＸＭＬとは、Ｅｘｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅの略称です。
【００６６】
→略語
（ｅ）このＸＭＬの標準化は、Ｗ３Ｃで勧告された。
【００６７】
→？？？
この例では、初期分類によって（ａ）〜（ｄ）の単文が、下線を施した語や表現が定型表現に相当し、これによって該当する観点グループに分類されたことを示している。しかし、（ｅ）は観点グループ固有の定型表現を含まないため分類できなかった。そこで、語の分布に基づいて、既に分類された単文との類似度を計算する。その結果、（ｅ）は（ｃ）と最も類似度が高いため「歴史」に分類された。
【００６８】
また、上記の処理を行ってもいずれの観点にも分類されない単文は「その他」に分類する。
（３）選出処理（ステップＳ３）
上記選出処理では、上記照合処理で構成されたグループから代表的な文を１つ以上選出する。ここでは、グループ全体の傾向を反映しつつ、かつ良質な文を選択することが重要である。
【００６９】
具体的には、以下に示す種々の基準をそれぞれ定量化し、それらを結合したスコアに基づいて代表文を選択する。
【００７０】
（ａ）尤度に基づき順位付されて表示されるＣｙｃｌｏｎｅの検索結果においては上位の説明ほど良質である可能性が高いため、単文が抽出された元の説明段落の順位を考慮する。
【００７１】
（ｂ）そのグループに含まれる単文に共通して現れる語を多く含む文を代表とする。これにより、説明段落や単文の抽出誤りによって生じた少数派の語（ノイズ）を最終的な要約から排除することができる。
【００７２】
（ｃ）説明の文字数を考慮する。携帯端末などの利用環境によっては、表示文字数が最も強い制約になる場合がある。従って、なるべく短い文を代表文として選ぶ。
【００７３】
以上３つの基準は互いに異なる範囲を取るため、経験的に重みを調整した上で結合している。
【００７４】
「その他」には、対応する観点が判別不能な単文が多数混在しているか、もしくは説明文としてふさわしくないノイズが含まれる。冗長な要約になることを避けるために、「その他」からは一般（「その他」以外）の観点から既に選択された単文との語の重複がなるべく少ない単文を優先的に選択する。
【００７５】
「その他」から複数の単文を選択する場合には、まず、最初の１件を選出し、既に選出された単文との語の重複が少ない単文を次に選出する。この処理を再帰的に行うことで多様な単文を選出する。
（４）生成・提示処理（ステップＳ４）
生成・提示処理では、各グループから選出された代表文をグループ（観点）名とともに箇条書きで表示する。ここでは、選択処理におけるスコアが高い代表文から順番に提示する。図４と図５は、それぞれ、見出し語「ＸＭＬ」に関するコンピュータ分野の説明段落とそれらを要約した結果である。この例では、３９７文字という少ない文字数で多面的な観点から見出し語について概観できる要約が生成された。
【００７６】
生成処理には更に工夫の余地がある。例えば、単文特定処理で抽出された単文の文末表現〔例えば、前述の（ｃ）の「〜標準化勧告され、」〕を置換することで、文字数を少なくしたり、文末らしい表現に修正することができる。しかし、単なる抜粋の範囲を逸脱して説明内容を改変することは、ページの著作権を侵害する可能性がある。研究目的として許容される範囲とＷｅｂ上で実際に運用する場合の制約について注意しなければならない。
【００７７】
また、提示処理における工夫として「定義」や「目的」等の観点名から、そのグループに属する他の説明文や抽出元の説明段落にリンクをはり、ユーザが選択した観点だけに絞り込むといった誘導の手法がある。例えば、図５の「書籍」の説明は、ＸＭＬに関する書籍の販売情報のページから抽出されたものである。この説明を手掛かりにして書籍の販売情報を素早く取得することができる。
【００７８】
次に、その評価実験について説明する。
【００７９】
要約手法の評価は判定者の主観に依存する部分が大きいため工学的に評価することが困難である。一方、新聞記事などを対象にした評価用テストコレクション（上記非特許文献３参照）は存在する。また、要約手法そのものの評価ではなく、別のタスク（情報検索における適合文書の選択など）に応用した場合の性能向上度によって、間接的かつ客観的に要約手法を評価する方法も存在する。
【００８０】
しかし、本発明で対象にしている用語説明に関する要約はあまり前例がないため、評価手法の問題点を洗い出すことも念頭に置いて、小規模ながら独自にテストデータを作成して評価に利用した。また、要約手法そのものに関する評価実験だけを行った。
【００８１】
評価の基準や尺度には複数の選択肢がある。例えば「自動生成された要約が既存の用語辞典の説明にどの程度近づいたか」という基準がある。しかし、本発明の要約手法の入力としてＣｙｃｌｏｎｅの検索結果を用いるため、既存の辞典にしかない、もしくは既存の辞典にはない観点が存在した場合にはこの基準では評価が難しくなる。
【００８２】
そこで、本発明では判定者による人手判定と本発明による要約結果を基に以下の２種類の尺度を用いて評価実験を行った。この２種類の尺度はトレードオフの関係にあり、同時に改善することが難しい尺度である。
【００８３】
（１）要約率
Ｃｙｃｌｏｎｅの検索結果（説明段落）をどれだけ短縮することができたか。
【００８４】
（２）網羅率
Ｃｙｃｌｏｎｅの検索結果（説明段落）に含まれる説明の観点のうち、幾つの観点を要約に含めることができたか。
【００８５】
評価実験に用いた見出し語とその実験結果を表１に示す。
【００８６】
【表１】
2005196572.tif 000003
各見出し語について、Ｃｙｃｌｏｎｅの検索結果のうちコンピュータ分野の説明段落５０件を要約処理の入力とした。５０件に限定したのは判定者による人手判定のコストを増やさないことがその理由である。
【００８７】
判定者は、本発明による要約処理の結果を見ずに、Ｃｙｃｌｏｎｅの検索結果上位５０件だけを吟味して単文単位に観点を付与した。判定者に付与を依頼した３０種類の観点を以下に示す。
【００８８】
定義、例示、上位概念、下位概念、要素、性質、属性、機能、目的、歴史、現在、予測、原因、結果、同義語、反意語、略語、訳語、間接的説明、比較、比喩、製品、書籍、別の意味（多義語の場合）、読み、入手方法、利点、欠点、語源、その他
判定者が虚偽の説明に対して観点を付与することがないよう、上記既存の辞典に掲載された説明等を見せることで対象の用語に関する知識を与え、１つの単文に対して１つ以上の観点を付与するようにした。対象見出し語が多義語で上記既存の用語辞典以外の意味で使われている説明には観点「別の意味」を付与し、事実上、評価の対象外とした。
【００８９】
判定者に示した観点の中には、本発明の照合処理において必要となる典型表現を予め設定できなかったために、Ｃｙｃｌｏｎｅがそもそも出力できないものも含まれる。これらの観点は、Ｃｙｃｌｏｎｅによる要約処理の結果には決して含まれないため、網羅率を下げる要因となった。
【００９０】
その結果と考察について説明する。
【００９１】
表１に実験結果として要約率と網羅率を示す。各観点のグループから出力する代表文の件数（Ｎ）を１，２，３と変化させた。ただし「その他」からは常に代表文を５件選出した。要約率は式（１）で計算した。要約率が小さいほど良い結果であることを示す。
【００９２】
自動要約の文字数／要約しない場合にユーザが読む文字数        …（１）
ここで、「要約しない場合にユーザが読む文字数」は、Ｃｙｃｌｏｎｅの検索結果をユーザが上から順番に読んだ場合に、本発明による自動要約に含まれる観点に対応する文を全て読むまでの文字数である。その場合、自動要約に含まれる観点を全て読めば、説明段落を５０読む前でも閲覧を終了すると仮定した。また、観点が同じであれば、要約に含まれる文と同一である必要はない。
【００９３】
網羅率は式（２）で計算した。網羅率が大きいほど良い結果であることを示す。
【００９４】
要約に含まれた観点数／判定者が付与した観点数                …（２）
なお、提案する要約手法の網羅率を以下の２通りの方法で評価した。
【００９５】
（１）Ａ：要約に含まれた観点数として判定者が付与した観点が含まれ、かつ観点名も正しかった場合のみ正解と見なした。
【００９６】
（２）Ｂ：観点名の適否は考慮しない（要約に含まれた観点数として判定者が付与した観点がいくつ含まれたか）。
【００９７】
更に、上記Ｂと比較するための基準値として、以下の単純な要約手法による網羅率も計算した。
【００９８】
（３）Ｃ：Ｃｙｃｌｏｎｅ検索結果の上位から、提案する要約手法の結果と同じ文字数を抜粋する（ただし、抜粋する点が文中の場合は文末まで出力する）。
【００９９】
上記Ｃは単一文書の要約における「リード法」（文書の先頭から一定文字数を抜粋する単純な手法）に相当する。また、上記Ｃの手法は観点名を付与するとができないため、上記Ｂと同様に観点名の適否は考慮しない。
【０１００】
表１の結果について考察する。まず、Ｎの値を増やすことによって、要約率は大きくなり、逆に網羅率は高くなったことが分かる。
【０１０１】
要約率はＮによって変動するものの、およそ１０％前後となり、元の情報をかなり短縮できたことが分かる。つまり、同じ量の情報を取得するために、ユーザは１０分の１程度の労力を使うだけでよいということになる。他方で、上記方法Ａの網羅率は平均して２０％代という低い値となった。しかし、観点名の適否を考慮しない上記方法Ｂでは、上記方法Ａに比べて網羅率が２倍以上になった。
【０１０２】
上記方法Ｂと上記方法Ｃを比較すると、総じて本発明の方法の網羅率が高く、本発明の方法が同じ文字数でユーザにより多くの情報を与えることが分かった。両者の差異はまだ小さいものの、要素技術を改善していくことで、この差は今後広がる可能性がある。
【０１０３】
さらに、網羅率を観点ごとに分析した。ここでは、Ｃｙｃｌｏｎｅの検索結果で６つ以上の見出し語に含まれた観点を対象に、上記方法ＢにおいてＮ＝１とした場合のみを以下に示す。
【０１０４】
定義（７／７）、例示（４／４）、同義語（１／６）、性質（３／７）、機能（１／７）、目的（３／６）、歴史（４／６）、間接的説明（５／７）、比較（１／７）、書籍（５／６）
この結果より、「例示」や「同義語」など、既存の辞典に含まれやすい観点を中心に網羅率を改善する必要がある。
【０１０５】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形が可能であり、これらを本発明の範囲から排除するものではない。
【産業上の利用可能性】
【０１０６】
本発明は、Ｗｅｂから事典的なコンテンツを検索するサイトにおいて、複数文書から効率よく、過不足のない簡潔な用語説明に関する要約の作製に適している。
【図面の簡単な説明】
【０１０７】
【図１】本発明にかかる事典的検索サイトＣｙｃｌｏｎｅの概要を示す図である。
【図２】本発明にかかる事典的検索サイトＣｙｃｌｏｎｅのシステム構成図である。
【図３】本発明にかかる要約作成フローチャートである。
【図４】検索サイトＣｙｃｌｏｎｅの「ＸＭＬ」のコンピュータ分野に関する説明段落を示す図である。
【図５】本発明にかかる検索サイトＣｙｃｌｏｎｅの「ＸＭＬ」のコンピュータ分野に関する説明段落を要約した結果を示す図である。
【図６】新型肺炎「ＳＡＲＳ」を入力した場合の従来のＣｙｃｌｏｎｅの検索結果例である。
【符号の説明】
【０１０８】
１    Ｗｅｂ
２    新語検出部
３    見出し語の候補収集部
４    検索処理部
５    抽出処理部
６    組織化処理部
７    要約作成部
８    見出し語抽出部
９    事典コンテンツ
１０    コンピュータ
１１    サーバ
１２    ブラウザ
【図１】
2005196572.tif 000004
【図２】
2005196572.tif 000005
【図３】
2005196572.tif 000006
【図４】
2005196572.tif 000007
【図５】
2005196572.tif 000008
【図６】
2005196572.tif 000009