(57)【要約】【課題】電子化された各種のテキスト文書から重要文を抽出する個所を特定することのできるテキスト処理システム、情報処理装置、テキストおよび情報の処理方法ならびに処理プログラムを得る。【解決手段】テキスト処理システム１０は、テキストデータをセグメントに分割したセグメントデータから、所定の規則によって選出され、それぞれの文の意図を端的に表現する用語としての行為用語のいずれかに一致するテキスト情報を、各セグメントについて抽出する行為用語抽出手段１１と、抽出したセグメントごとのセグメント別行為用語と、全セグメントを統合した統合行為用語とを比較する行為用語比較手段１２と、この比較結果から統合行為用語に最も似通ったセグメント別行為用語を抽出したセグメントを１編の文書のテキストデータについての要部となるセグメントと判別するセグメント判別手段１３とを備えている。【選択図】図１
2010122823.tif 000002
【特許請求の範囲】
【請求項１】
１編の文書を構成するテキストデータを一まとまりの文章の範囲としてのセグメントに分割してなるセグメントデータから、予め定められた所定の規則によって選出され、それぞれの文の意図を端的に表現する用語としての行為用語のいずれかに一致するテキスト情報を、各セグメントについて抽出する行為用語抽出手段と、
この行為用語抽出手段で抽出したそれぞれのセグメントごとの行為用語としてのセグメント別行為用語と、前記１編の文書を構成するテキストデータについての全セグメントを統合した行為用語としての統合行為用語とを比較する行為用語比較手段と、
この行為用語比較手段の比較結果から前記統合行為用語に最も似通ったセグメント別行為用語を抽出したセグメントを前記１編の文書のテキストデータについての要部となるセグメントと判別するセグメント判別手段
とを具備することを特徴とするテキスト処理システム。
【請求項２】
前記行為用語抽出手段が処理対象とする一つの文から抽出した行為用語の候補が複数存在するときその文の最後尾に位置する候補をセグメント別行為用語とすることを特徴とする請求項１記載のテキスト処理システム。
【請求項３】
前記行為用語抽出手段は、処理対象とする一つの文を形態素解析する形態素解析手段を備え、この形態素解析手段で形態素解析したもののうち前記一つの文の最後尾に位置する特定の動詞または特定の名詞を前記セグメント別行為用語とすることを特徴とする請求項２記載のテキスト処理システム。
【請求項４】
前記特定の動詞は、行いが不明瞭とされる予め定めた特定の自立動詞を除く自立動詞であり、特定の名詞は一般名詞、サ変接続名詞および形容動詞の語幹になる名詞としての形容動詞語幹名詞であることを特徴とする請求項３記載のテキスト処理システム。
【請求項５】
それぞれのセグメントにおける前記文の意図を端的に表現する内容を単語ベクトルとしての行為ベクトルで表わし、各セグメントの行為ベクトルの和を前記１編の文書を構成するテキストデータ全体を端的に表現する内容とすることを特徴とする請求項１〜請求項４いずれかに記載のテキスト処理システム。
【請求項６】
各セグメントの前記行為ベクトルの頻度情報を正規化してからこれら行為ベクトルの和で前記１編の文書を構成するテキストデータ全体の端的な内容である統合ベクトルを作成する手段を具備することを特徴とする請求項５記載のテキスト処理システム。
【請求項７】
各セグメントの前記行為ベクトルと前記１編の文書を構成するテキストデータについての統合ベクトルの類似度を計算することで核となるセグメントとしての核セグメントを判定する核セグメント判定手段を具備することを特徴とする請求項６記載のテキスト処理システム。
【請求項８】
前記核セグメント判定手段は、類似度の計算にコサイン尺度を用いることを特徴とする請求項７記載のテキスト処理システム。
【請求項９】
前記核セグメント判定手段は、テキスト文書全体の単語ベクトルの用語の各セグメントの単語ベクトルにおける出現頻度を計算することで前記核セグメントを判定することを特徴とする請求項７記載のテキスト処理システム。
【請求項１０】
前記核セグメント判定手段は、前記出現頻度の計算に出現確率を用いることを特徴とする請求項９記載のテキスト処理システム。
【請求項１１】
前記核セグメント判定手段は、前記類似度または前記出現頻度が最大となるセグメントを前記核セグメントと判定することを特徴とする請求項７〜請求項１０いずれかに記載のテキスト処理システム。
【請求項１２】
前記核セグメント判定手段は、前記類似度または前記出現頻度が予め設定した閾値以上であるセグメントを前記核セグメントと判定することを特徴とする請求項７〜請求項１０いずれかに記載のテキスト処理システム。
【請求項１３】
前記閾値以上であるセグメントのうちの最大であるセグメントを前記核セグメントと判定することを特徴とする請求項１２に記載のテキスト処理システム。
【請求項１４】
前記閾値以上であるセグメントのうちで前記１編の文書を構成するテキストデータ全体における出現位置が最前方または最後方であるセグメントを前記核セグメントと判定することを特徴とする請求項１２に記載のテキスト処理システム。
【請求項１５】
前記類似度または前記出現頻度が前記予め設定した閾値以上であるセグメントが存在しない場合に、隣接する１つ以上のセグメントを結合した行為ベクトルとしての和ベクトルを、前記１編の文書を構成するテキストデータ全体における着目する各位置のセグメントに対して求める和ベクトル算出手段と、この和ベクトル算出手段によって算出したそれぞれの和ベクトルを前記類似度または前記出現頻度と比較して前記予め設定した閾値以上である和ベクトルが存在するかを判別する和ベクトル比較手段と、この和ベクトル比較手段で閾値以上である和ベクトルが存在したときそのいずれかに対応するセグメント同士を核セグメントとすることを特徴とする請求項１２記載のテキスト処理システム。
【請求項１６】
１編の文書を構成するテキストデータを一まとまりの文章の範囲としてのセグメントに分割するセグメント分割手段と、
前記請求項１〜請求項１５いずれかに記載のテキスト処理システム
とを具備することを特徴とする情報処理装置。
【請求項１７】
前記テキスト処理システムの少なくとも一部と前記セグメント分割手段は、通信ネットワークによって接続されていることを特徴とする請求項１６記載の情報処理装置。
【請求項１８】
１編の文書を構成するテキストデータを一まとまりの文章の範囲としてのセグメントに分割してなるセグメントデータから、予め定められた所定の規則によって選出され、それぞれの文の意図を端的に表現する用語としての行為用語のいずれかに一致するテキスト情報を、各セグメントについて抽出する行為用語抽出ステップと、
この行為用語抽出ステップで抽出したそれぞれのセグメントごとの行為用語としてのセグメント別行為用語と、前記１編の文書を構成するテキストデータについての全セグメントを統合した行為用語としての統合行為用語とを比較する行為用語比較ステップと、
この行為用語比較ステップの比較結果から前記統合行為用語に最も似通ったセグメント別行為用語を抽出したセグメントを前記１編の文書のテキストデータについての要部となるセグメントと判別するセグメント判別ステップ
とを具備することを特徴とするテキスト処理方法。
【請求項１９】
１編の文書を構成するテキストデータを一まとまりの文章の範囲としてのセグメントに分割するセグメント分割ステップと、
このセグメント分割ステップによってセグメントに分割してなるセグメントデータから、予め定められた所定の規則によって選出され、それぞれの文の意図を端的に表現する用語としての行為用語のいずれかに一致するテキスト情報を、各セグメントについて抽出する行為用語抽出ステップと、
この行為用語抽出ステップで抽出したそれぞれのセグメントごとの行為用語としてのセグメント別行為用語と、前記１編の文書を構成するテキストデータについての全セグメントを統合した行為用語としての統合行為用語とを比較する行為用語比較ステップと、
この行為用語比較ステップの比較結果から前記統合行為用語に最も似通ったセグメント別行為用語を抽出したセグメントを前記１編の文書のテキストデータについての要部となるセグメントと判別するセグメント判別ステップ
とを具備することを特徴とする情報処理方法。
【請求項２０】
コンピュータに、
１編の文書を構成するテキストデータを一まとまりの文章の範囲としてのセグメントに分割してなるセグメントデータから、予め定められた所定の規則によって選出され、それぞれの文の意図を端的に表現する用語としての行為用語のいずれかに一致するテキスト情報を、各セグメントについて抽出する行為用語抽出処理と、
この行為用語抽出処理で抽出したそれぞれのセグメントごとの行為用語としてのセグメント別行為用語と、前記１編の文書を構成するテキストデータについての全セグメントを統合した行為用語としての統合行為用語とを比較する行為用語比較処理と、
この行為用語比較処理の比較結果から前記統合行為用語に最も似通ったセグメント別行為用語を抽出したセグメントを前記１編の文書のテキストデータについての要部となるセグメントと判別するセグメント判別処理
とを実行させることを特徴とするテキスト処理プログラム。
【請求項２１】
コンピュータに、
１編の文書を構成するテキストデータを一まとまりの文章の範囲としてのセグメントに分割するセグメント分割処理と、
このセグメント分割ステップによってセグメントに分割してなるセグメントデータから、予め定められた所定の規則によって選出され、それぞれの文の意図を端的に表現する用語としての行為用語のいずれかに一致するテキスト情報を、各セグメントについて抽出する行為用語抽出処理と、
この行為用語抽出処理で抽出したそれぞれのセグメントごとの行為用語としてのセグメント別行為用語と、前記１編の文書を構成するテキストデータについての全セグメントを統合した行為用語としての統合行為用語とを比較する行為用語比較処理と、
この行為用語比較処理による比較結果から前記統合行為用語に最も似通ったセグメント別行為用語を抽出したセグメントを前記１編の文書のテキストデータについての要部となるセグメントと判別するセグメント判別処理
とを実行させることを特徴とする情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子化されたテキスト文書やテキスト文章等の文書からその要約や、その文書で主張する個所としての部分テキストを抽出するテキスト処理システム、前記した文書から前記した部分テキストを抽出する情報処理装置、これら部分テキストを抽出するテキスト処理方法および情報処理方法ならびにこれら部分テキストを抽出するテキスト処理プログラムおよび情報処理プログラムに関する。
【背景技術】
【０００２】
人が日常的に使っている言語を自然言語という。自然言語は、プログラミング言語のような人工的に定義された形式言語と比較すると、多様性に富んでいる。自然言語によって記述されたテキスト文章またはテキスト文書は、コンピュータ等の情報処理装置を使用して、数多くの人が日々、大量に作成している。そこで、これらの自然言語によって記述された大量なテキスト文章またはテキスト文書（以下、単に文書と略称する。）から、各人の要求する必要な文書を探し出すテキスト処理が要請されている。
【０００３】
このような要請を実現するために、文書から要約やその文書の主張箇所の文章を生成するテキスト処理システムが注目されている。テキスト処理システムで、文書から要約文章を自動的に生成することを自動テキスト要約という。文書の主張箇所を表わした文書は、テキスト要約と厳密な意味では異なる。しかしながら、本明細書ではこれも広義の要約文書として扱うことにする。
【０００４】
ところで、自動テキスト要約を生成する技術としては、文書から要約文章を構成するであろう重要文を抽出して、これら重要文を連結して、文章として自然になるように整形することが主流となっている。要約文章の元となる重要文の抽出方法としては、形態素解析を用いる手法が主流である。ここで形態素解析とは、文章を構成する最小の意味単位である形態素に分解する処理をいう。
【０００５】
重要文の抽出には、まず、文書中の各文を形態素解析して、品詞が特定の名詞である用語を抽出する。本明細書で「用語」とは、単語や複合語、句等の総称である。文書から用語を抽出したら、それらの出現頻度から重要用語を特定する。そして、それらの重要用語を含む文を重要文とする。このように出現頻度を用いて重要用語を特定して重要文を抽出する手法は、本発明に関連する第１の関連技術として提案されている（たとえば特許文献１参照）。
【０００６】
また、出現頻度を単に使用する第１関連技術と異なり、単語の出現密度を求めて重要文を抽出する手法が本発明の第２の関連技術として提案されている（たとえば特許文献２参照）。この第２の関連技術では、まず文書を形態素解析し、要約の種別に応じて要約の手がかりとして必要な単語の集合を文書から抽出する。そして、文書を複数の意味的なまとまりに分割して、単語の集合に含まれる単語の出現密度の高い重要部分を算出する。この算出した重要部分から所与の要約率に応じて文を抽出する。
【０００７】
更に、文書の種類に応じた要約文章のシナリオを用意しておいて、文書からシナリオに応じた述語を含む文を重要文とすることが、本発明の第３の関連技術として提案されている（たとえば特許文献３参照）。この第３の関連技術では、抄録等の重要文を作成する論文等の文章について、当該分野の代表的なシナリオを投射し、このシナリオの投射によって筆者が本来いわんとする粗筋や構想であるプロットのみを抽出して重要文を自動的に作成するようにしている。
【０００８】
ところで、比較的長い文書には、要約文章や、それと同等な抄録が付加されていることが多い。そこで本発明の第４の関連技術として、「概要」等の要約文章に関連する小見出しが付いた節を要約文章の一部とすることを提案している（たとえば特許文献４参照）。この第４の関連技術では、たとえば「あらまし」等のように要約処理を施す必要のない部分は、原文書のまま要約結果に反映させることにしている。
【０００９】
更に、重要なパラグラフを特定するための辞書を用いて、要約文章の候補の一部とすることが本発明の第５の関連技術として提案されている（たとえば特許文献５参照）。この第５の関連技術では、重要なパラグラフを抽出するために利用する見出し語を登録している見出し語辞書をテキストデータとパターンマッチングすることで重要なパラグラフを特定する。そして、重要パラグラフ内から仮要約を特定し、不要個所を削除して要約を自動的に作成する。
【特許文献１】特開２００２−２９７６３５号公報（第００９段落、図２）
【特許文献２】特開２００２−２５９３７１号公報（第００８段落、図１）
【特許文献３】特開平０７−０１３９６７号公報（第００１０段落、図１）
【特許文献４】特開平０６−０１２４４７号公報（第００２１段落、第０１０１段落、図１２）
【特許文献５】特開平０６−２５９４２３号公報（第０００７段落、図１）
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、第１〜第３の関連技術に示されるように、文書から用語を手掛かりにして文を抽出して重要文を作成する手法では、文書から断片的な文が抽出されることになる。このため、人手により作成される要約文章等の重要文と比べると品質が十分とはいえない。
【００１１】
また、第４あるいは第５の関連技術に示されるように、文書に存在する要約相当の節やパラグラフを特定する手法では、予め専用の辞書やルールを準備しておく必要がある。あるいは、文書から重要文を作成する個所を特定するための小見出しが、文書を構成する節やパラグラフに付与されている必要がある。このため、重要文を作成する際の対応できる文書が限定されることになるという問題があった。
【００１２】
そこで本発明の目的は、電子化された各種のテキスト文書から重要文を抽出する個所を特定することのできるテキスト処理システム、情報処理装置、テキストおよび情報の処理方法ならびに処理プログラムを提供することにある。
【課題を解決するための手段】
【００１３】
本発明では、（イ）１編の文書を構成するテキストデータを一まとまりの文章の範囲としてのセグメントに分割してなるセグメントデータから、予め定められた所定の規則によって選出され、それぞれの文の意図を端的に表現する用語としての行為用語のいずれかに一致するテキスト情報を、各セグメントについて抽出する行為用語抽出手段と、（ロ）この行為用語抽出手段で抽出したそれぞれのセグメントごとの行為用語としてのセグメント別行為用語と、前記した１編の文書を構成するテキストデータについての全セグメントを統合した行為用語としての統合行為用語とを比較する行為用語比較手段と、（ハ）この行為用語比較手段の比較結果から前記した統合行為用語に最も似通ったセグメント別行為用語を抽出したセグメントを前記した１編の文書のテキストデータについての要部となるセグメントと判別するセグメント判別手段とをテキスト処理システムが具備する。
【００１４】
また、本発明では、（イ）１編の文書を構成するテキストデータを一まとまりの文章の範囲としてのセグメントに分割するセグメント分割手段と、（ロ）前記した請求項１〜請求項１５いずれかに記載のテキスト処理システムとを情報処理装置が具備する。
【００１５】
更に本発明では、（イ）１編の文書を構成するテキストデータを一まとまりの文章の範囲としてのセグメントに分割してなるセグメントデータから、予め定められた所定の規則によって選出され、それぞれの文の意図を端的に表現する用語としての行為用語のいずれかに一致するテキスト情報を、各セグメントについて抽出する行為用語抽出ステップと、（ロ）この行為用語抽出ステップで抽出したそれぞれのセグメントごとの行為用語としてのセグメント別行為用語と、前記した１編の文書を構成するテキストデータについての全セグメントを統合した行為用語としての統合行為用語とを比較する行為用語比較ステップと、（ハ）この行為用語比較ステップの比較結果から前記した統合行為用語に最も似通ったセグメント別行為用語を抽出したセグメントを前記した１編の文書のテキストデータについての要部となるセグメントと判別するセグメント判別ステップとをテキスト処理方法が具備する。
【００１６】
更にまた、本発明では、（イ）１編の文書を構成するテキストデータを一まとまりの文章の範囲としてのセグメントに分割するセグメント分割ステップと、（ロ）このセグメント分割ステップによってセグメントに分割してなるセグメントデータから、予め定められた所定の規則によって選出され、それぞれの文の意図を端的に表現する用語としての行為用語のいずれかに一致するテキスト情報を、各セグメントについて抽出する行為用語抽出ステップと、（ハ）この行為用語抽出ステップで抽出したそれぞれのセグメントごとの行為用語としてのセグメント別行為用語と、前記した１編の文書を構成するテキストデータについての全セグメントを統合した行為用語としての統合行為用語とを比較する行為用語比較ステップと、（ニ）この行為用語比較ステップの比較結果から前記した統合行為用語に最も似通ったセグメント別行為用語を抽出したセグメントを前記した１編の文書のテキストデータについての要部となるセグメントと判別するセグメント判別ステップとを情報処理方法が具備する。
【００１７】
また、本発明では、コンピュータに、テキスト処理プログラムとして、（イ）１編の文書を構成するテキストデータを一まとまりの文章の範囲としてのセグメントに分割してなるセグメントデータから、予め定められた所定の規則によって選出され、それぞれの文の意図を端的に表現する用語としての行為用語のいずれかに一致するテキスト情報を、各セグメントについて抽出する行為用語抽出処理と、（ロ）この行為用語抽出処理で抽出したそれぞれのセグメントごとの行為用語としてのセグメント別行為用語と、前記した１編の文書を構成するテキストデータについての全セグメントを統合した行為用語としての統合行為用語とを比較する行為用語比較処理と、（ハ）この行為用語比較処理の比較結果から前記した統合行為用語に最も似通ったセグメント別行為用語を抽出したセグメントを前記した１編の文書のテキストデータについての要部となるセグメントと判別するセグメント判別処理とを実行させる。
【００１８】
更に、本発明では、コンピュータに、情報処理プログラムとして、（イ）１編の文書を構成するテキストデータを一まとまりの文章の範囲としてのセグメントに分割するセグメント分割処理と、（ロ）このセグメント分割ステップによってセグメントに分割してなるセグメントデータから、予め定められた所定の規則によって選出され、それぞれの文の意図を端的に表現する用語としての行為用語のいずれかに一致するテキスト情報を、各セグメントについて抽出する行為用語抽出処理と、（ハ）この行為用語抽出処理で抽出したそれぞれのセグメントごとの行為用語としてのセグメント別行為用語と、前記した１編の文書を構成するテキストデータについての全セグメントを統合した行為用語としての統合行為用語とを比較する行為用語比較処理と、（ニ）この行為用語比較処理による比較結果から前記した統合行為用語に最も似通ったセグメント別行為用語を抽出したセグメントを前記した１編の文書のテキストデータについての要部となるセグメントと判別するセグメント判別処理とを実行させる。
【発明の効果】
【００１９】
以上説明したように本発明によれば、さまざまな文書の電子化されたテストデータから、その文書の要部となり得る部分テキストを文章としての品質を高く保った状態で抽出することができる。
【発明を実施するための最良の形態】
【００２０】
図１は、本発明のテキスト処理システムのクレーム対応図を示したものである。本発明のテキスト処理システム１０は、１編の文書を構成するテキストデータを一まとまりの文章の範囲としてのセグメントに分割してなるセグメントデータから、予め定められた所定の規則によって選出され、それぞれの文の意図を端的に表現する用語としての行為用語のいずれかに一致するテキスト情報を、各セグメントについて抽出する行為用語抽出手段１１と、この行為用語抽出手段１１で抽出したそれぞれのセグメントごとの行為用語としてのセグメント別行為用語と、前記した１編の文書を構成するテキストデータについての全セグメントを統合した行為用語としての統合行為用語とを比較する行為用語比較手段１２と、この行為用語比較手段１２の比較結果から前記した統合行為用語に最も似通ったセグメント別行為用語を抽出したセグメントを前記した１編の文書のテキストデータについての要部となるセグメントと判別するセグメント判別手段１３とを備えている。
【００２１】
図２は、本発明の情報処理装置のクレーム対応図を示したものである。本発明の情報処理装置２０は、１編の文書を構成するテキストデータを一まとまりの文章の範囲としてのセグメントに分割するセグメント分割手段２１と、前記した請求項１〜請求項１５いずれかに記載のテキスト処理システム２２とを備えている。
【００２２】
図３は、本発明のテキスト処理方法のクレーム対応図を示したものである。本発明のテキスト処理方法３０は、１編の文書を構成するテキストデータを一まとまりの文章の範囲としてのセグメントに分割してなるセグメントデータから、予め定められた所定の規則によって選出され、それぞれの文の意図を端的に表現する用語としての行為用語のいずれかに一致するテキスト情報を、各セグメントについて抽出する行為用語抽出ステップ３１と、この行為用語抽出ステップ３１で抽出したそれぞれのセグメントごとの行為用語としてのセグメント別行為用語と、前記した１編の文書を構成するテキストデータについての全セグメントを統合した行為用語としての統合行為用語とを比較する行為用語比較ステップ３２と、この行為用語比較ステップ３２の比較結果から前記した統合行為用語に最も似通ったセグメント別行為用語を抽出したセグメントを前記した１編の文書のテキストデータについての要部となるセグメントと判別するセグメント判別ステップ３３とを備えている。
【００２３】
図４は、本発明の情報処理方法のクレーム対応図を示したものである。本発明の情報処理方法４０は、１編の文書を構成するテキストデータを一まとまりの文章の範囲としてのセグメントに分割するセグメント分割ステップ４１と、このセグメント分割ステップ４１によってセグメントに分割してなるセグメントデータから、予め定められた所定の規則によって選出され、それぞれの文の意図を端的に表現する用語としての行為用語のいずれかに一致するテキスト情報を、各セグメントについて抽出する行為用語抽出ステップ４２と、この行為用語抽出ステップ４２で抽出したそれぞれのセグメントごとの行為用語としてのセグメント別行為用語と、前記した１編の文書を構成するテキストデータについての全セグメントを統合した行為用語としての統合行為用語とを比較する行為用語比較ステップ４３と、この行為用語比較ステップ４３の比較結果から前記した統合行為用語に最も似通ったセグメント別行為用語を抽出したセグメントを前記した１編の文書のテキストデータについての要部となるセグメントと判別するセグメント判別ステップ４４とを備えている。
【００２４】
図５は、本発明のテキスト処理プログラムのクレーム対応図を示したものである。本発明のテキスト処理プログラム５０は、コンピュータに、１編の文書を構成するテキストデータを一まとまりの文章の範囲としてのセグメントに分割してなるセグメントデータから、予め定められた所定の規則によって選出され、それぞれの文の意図を端的に表現する用語としての行為用語のいずれかに一致するテキスト情報を、各セグメントについて抽出する行為用語抽出処理５１と、この行為用語抽出処理５１で抽出したそれぞれのセグメントごとの行為用語としてのセグメント別行為用語と、前記した１編の文書を構成するテキストデータについての全セグメントを統合した行為用語としての統合行為用語とを比較する行為用語比較処理５２と、この行為用語比較処理５２の比較結果から前記した統合行為用語に最も似通ったセグメント別行為用語を抽出したセグメントを前記した１編の文書のテキストデータについての要部となるセグメントと判別するセグメント判別処理５３とを実行させる。
【００２５】
図６は、本発明の情報処理プログラムのクレーム対応図を示したものである。本発明の情報処理プログラム６０は、コンピュータに、１編の文書を構成するテキストデータを一まとまりの文章の範囲としてのセグメントに分割するセグメント分割処理６１と、このセグメント分割処理６１によってセグメントに分割してなるセグメントデータから、予め定められた所定の規則によって選出され、それぞれの文の意図を端的に表現する用語としての行為用語のいずれかに一致するテキスト情報を、各セグメントについて抽出する行為用語抽出処理６２と、この行為用語抽出処理６２で抽出したそれぞれのセグメントごとの行為用語としてのセグメント別行為用語と、前記した１編の文書を構成するテキストデータについての全セグメントを統合した行為用語としての統合行為用語とを比較する行為用語比較処理６３と、この行為用語比較処理６３による比較結果から前記した統合行為用語に最も似通ったセグメント別行為用語を抽出したセグメントを前記した１編の文書のテキストデータについての要部となるセグメントと判別するセグメント判別処理６４とを実行させる。
【００２６】
＜発明の第１の実施の形態＞
【００２７】
次に本発明の第１の実施の形態を説明する。
【００２８】
図７は、本発明の第１の実施の形態によるテキスト処理システムを使用した情報処理装置の構成を表わしたものである。この情報処理装置１００は、ＣＰＵ（Central Processing Unit）１０１および制御プログラムをその少なくとも一部に格納するメモリ１０２を備えた制御部１０３を有している。制御部１０３は、テキスト処理システム１１０を構成する次に説明する各部の制御を行うようになっている。
【００２９】
文書集合部１０５は、所定数の文書データを電子的なデータとして蓄積する。セグメント化部１０６は文書集合部１０５から読み出した所望の文書のテキストデータである文書データ１０７を節やパラグラフ等の一まとまりの文章の範囲としてのセグメントに分割し、これらのテキストデータをセグメントデータ１０８として、テキスト処理システム１１０に入力するようになっている。テキスト処理システム１１０は、最適なセグメントとしての核セグメント１１１を出力部１１２に供給して外部に送出する。ここで核セグメント１１１とは、処理の対象となる文書全体とたとえば類似度が最も高い値を持つセグメントをいう。出力部１１２は核セグメント１１１を外部に出力するようになっている。
【００３０】
ここで本実施の形態のテキスト処理システム１１０は、入力されたセグメントデータ１０８から行為用語を抽出する行為用語抽出部１２１を備えている。本明細書で「行為用語」とは、セグメントに分かれたそれぞれのセグメントデータ１０８が表わす端的な意味をいう。行為用語抽出部１２１の抽出した行為用語１２２は、行為ベクトル生成部１２３に供給される。行為ベクトル生成部１２３は、各セグメントごとに抽出した行為用語のベクトルと全セグメントのベクトルを総和した統合ベクトル１２４を生成するようになっている。
【００３１】
行為ベクトル生成部１２３で生成された統合ベクトル１２４と各セグメントの行為ベクトル１２５は、行為ベクトル記憶部１２６に供給されて格納される。核セグメント判定部１２８は、行為ベクトル記憶部１２６内に格納された各セグメントの行為ベクトルと統合ベクトルを比較データ１２９として比較して、最適なセグメントを特定し、核セグメント１１１として出力するようになっている。
【００３２】
このようなテキスト処理システム１１０内の行為用語抽出部１２１等の各構成部の少なくとも一部は、メモリ１０２に格納された制御プログラムをＣＰＵ１０１が実行することによってソフトウェア的なデバイスとして実現することができる。また、本実施の形態ではテキスト処理システム１１０を情報処理装置１００の一部として構成しているが、これ以外の構成であってもよい。たとえば文書集合部１０５、セグメント化部１０６および出力部１１２が図示しない通信ネットワークを介して他の図示しない情報処理装置側に存在するものであってもよい。更に、文書集合部１０５は１つのデータベースとして構成されている必要性はなく、複数のデータベースに分散して存在していても構わない。
【００３３】
次に、本実施の形態の情報処理装置１００の動作について、テキスト処理システム１１０を中心に説明する。
【００３４】
文書集合部１０５には、人が作成した電子化された文書またはそれらのコピーが蓄積されている。処理の対象となる電子化された文書は、それぞれ１つずつの話題について記述されたものであることが望ましい。これは文書集合部１０５に格納する文書の種類を強く制限する制約ではない。１つの文書が、全く異なる話題について書かれた複数の文書を結合したものは、テキスト処理システム１１０の処理の対象とする文書として好ましくない、という程度の制約である。
【００３５】
また、文書集合部１０５に蓄積されている文書は、どのような文書作成アプリケーションソフトウェアで作成され、また、どのようなアプリケーション形式で電子化されているかは問題とされない。文書集合部１０５から文書のテキストを文書データ１０７として取り出す際には、該当するアプリケーション形式からテキストを抜き出す既存の技術を用いることができるからである。
【００３６】
本実施の形態では、処理の対象となる文書が学術論文である場合を例に挙げて説明する。学術論文はテキスト処理システム１１０の処理できる文書の一例であることは当然である。
【００３７】
セグメント化部１０６は、文書集合部１０５に蓄積されている文書またはこれらの文書から抜き出されたテキストデータを文書データ１０７として入力し、セグメントに分割する。ここでセグメントとは、パラグラフや節等の「部分」あるいは「断片」をいう。特殊な例としては、プレゼンテーションソフトウェアの文書におけるスライドもセグメントの１つとなる。セグメントは、いずれの単位のものでも構わないが、対象文書の種類に応じて、「単位」を変化させることも可能である。本実施の形態では、一例としてセグメント化部１０６が文書データ１０７を「節」に分割するものとして説明を行う。
【００３８】
図８は、セグメント化部で分割する前の文書とセグメント化した文書を表わしたものである。ここで同図（Ａ）は図７に示した文書集合部１０５に蓄積されている所定の文書（元の文書）１３１を示している。同図（Ｂ）は、文書１３１のテキストデータとしての文書データ１０７を表わしている。この文書データ１０７は、この例で、破線で囲んだ第１〜第５のセグメント１３２1〜１３２5に分割される。このようにして分割された第１〜第５のセグメント１３２1〜１３２5は、図７に示したセグメントデータ１０８として、図７に示したテキスト処理システム１１０に入力される。
【００３９】
テキスト処理システム１１０では、図７に示した文書集合部１０５に含まれるすべての文書を順に処理してもよいし、必要な文書のみを順に処理してもよい。また、本テキスト処理システムの利用者が指定する文書のみを順に処理してもよい。
【００４０】
テキスト処理システム１１０の初段に配置された行為用語抽出部１２１は、文書の各セグメントを表わすセグメントデータ１０８から、これらのセグメントがそれぞれ表わす端的な意味を持った用語を抽出する。ここで、端的な意味を表わす用語とは、対象となる文書の言語が日本語の場合、文の最後尾に位置する特定の動詞または特定の名詞である。
【００４１】
特定の動詞の例としては、「ある」や「する」等の特定の例外の自立動詞を除いた自立動詞がある。また、特定の名詞の例としては、一般名詞およびサ変接続名詞および形容動詞の語幹になる名詞（形容動詞語幹名詞）がある。対象となる文書の言語が日本語の場合、文の最後尾に位置する特定の動詞または特定の名詞を、行為用語と呼ぶ。図８に示した行為用語は単なる一例である。行為用語は、判定する核セグメントの種類に応じて変更してもよい。ここで、「核セグメント」は、類似度または出現頻度が予め設定した閾値以上であるセグメントをいう。本実施の形態では、説明の煩雑化を防ぐため、一つの行為用語を抽出する場合について説明するが、複数個の行為用語を抽出してもよい。
【００４２】
行為ベクトル生成部１２３は、行為用語抽出部１２１によってセグメントごとに抽出された行為用語１２２を用いて各セグメントの行為用語のベクトルを生成する。また、すべてのセグメントのベクトルを生成したら、これらのベクトルの総和のベクトルである統合ベクトルを生成する。統合ベクトルを生成する際には、各セグメントのベクトルの大きさを１に正規化した上で総和を求めてもよい。
【００４３】
行為ベクトル記憶部１２６は、行為ベクトル生成部１２３によって生成された統合ベクトル１２４と各セグメントの行為ベクトル１２５を記憶する。
【００４４】
核セグメント判定部１２８は、行為ベクトル記憶部１２６に記憶されている各セグメントの行為ベクトルと統合ベクトルを順に比較データ１２９として比較して最適なセグメントを核セグメント１１１とする。ここで、最適なセグメントを核セグメント１１１として特定する手法には各種の方式を採用することができる。たとえば、統合ベクトル１２４と最もベクトルが近い行為ベクトル１２５を選択する類似度方式や、統合ベクトル１２４での頻度の高い行為用語をたくさん含む行為ベクトル１２５を選択する頻度方式がある。類似度方式では、各セグメントの行為ベクトル１２５と統合ベクトル１２４の間の類似度計算にコサイン尺度を用いればよい。頻度方式では、統合ベクトル１２４での頻度が上位の行為用語が各セグメントの行為ベクトル１２５に含まれている確率を用いればよい。
【００４５】
以上のようにしてテキスト処理システム１１０が文書集合部１０５内の該当する文書すべてについての処理を完了したら、出力部１１２がこれらの文書について供給された核セグメント１１１を結果として出力することになる。テキスト処理システム１１０が文書集合部１０５内のすべての文書を指定して処理し、出力部１１２がこれら文書全体の結果を出力してもよい。
【００４６】
このような本実施の形態のテキスト処理システム１１０によれば、さまざまな文書から、これらの文書の要約となりうる文章として品質の高い部分テキストを抽出することができるという効果がある。文章としての品質が高い理由は、文書中のセグメントを選択するためである。また、本実施の形態で使用するセグメントは文の間のつながりが自然であり、また、それぞれのセグメントはそれぞれ単一のトピックについて記述されていることが多く、文章としてまとまっている傾向があるからである。本実施の形態のテキスト処理システム１１０がさまざまな文書に対応できる理由は、辞書やルールといった手法を必要としない手法であるためである。また、文書の要部の抽出に小見出しを使わず、文書全体で用いられる行為用語と類似した行為用語を用いているセグメントまたは文書全体で頻度の高い行為用語を多く使っているセグメントを選択するようにしているからである。
【実施例１】
【００４７】
図９は、本発明の第１の実施例におけるテキスト処理システムを使用した情報処理装置の構成を表わしたものである。この図９に示した本実施例の情報処理装置１００Ａにおけるテキスト処理システム１１０Ａで、図７と同一部分には同一の符号を付しており、これらの説明を適宜省略する。
【００４８】
第１の実施例のテキスト処理システム１１０Ａは、行為用語抽出部１２１Ａが第１〜第Ｍの行為用語リスト１４１1〜１４１Mを備えている。ここで符号Ｍは、１つのセグメントとしての文章に含まれる可能性のある文の総数として予想される値の上限値あるいはこれよりも大きな整数である。また、第１の実施例のテキスト処理システム１１０Ａの行為ベクトル生成部１２３Ａは、第１〜第Ｍの行為ベクトル１４２1〜１４２Mと、文書全体の統合ベクトル１４３を生成するようになっている。制御部１０３Ａ内のメモリ１０２Ａには、第１の実施例における情報処理装置１０１Ａの制御を行う制御プログラムが格納されている。第１〜第Ｍの行為用語リスト１４１1〜１４１M、第１〜第Ｍの行為ベクトル１４２1〜１４２Mおよび統合ベクトル１４３については、後に説明する。
【００４９】
この第１の実施例で文書集合部１０５には、文書１３１の一例として図８（Ａ）に示すような学術論文が、１編だけ、同図（Ｂ）に示すテキストデータとしての文書データ１０７として蓄積されているものとする。既に説明したように、任意のセグメントに分割できる自然言語で書かれた一まとまりの電子化された文書データ１３１であれば、学術論文以外の文書もテキスト処理システム１１０の対象となる。
【００５０】
セグメント化部１０６は、図８（Ｂ）に示すように文書データ１０７を破線で囲んだ第１〜第５のセグメント１３２1〜１３２5に分割する。このようなセグメント化部１０６の分割処理は、節番号を基にしたり、２行以上の改行によって文書をセグメントに分割する既存の方法を用いることができる。本実施例では、第１〜第５のセグメント１３２1〜１３２5をそれぞれ破線で囲んで示しているが、実際にはＸＭＬ（Extensible Markup Language）等の構造化言語を用いて、それぞれのセグメントの範囲を示すことができる。
【００５１】
テキスト処理システム１１０は、セグメント化部１０６を介して文書集合部１０５から学術論文を１編ずつ取り出して以降の処理を行う。本実施例では図８（Ａ）に示す文書データ１３１についてそのセグメントデータ１０８がテキスト処理システム１１０に取り込まれる。文書集合部１０５に複数の文書１３１についての文書データ１０７が格納されている場合には、１編ずつ処理が繰り返されて、これら複数の文書を処理すればよい。
【００５２】
本実施例で取り扱う文書１３１は、一例を挙げると、マイクロソフトワード（登録商標）に代表されるワープロソフトによる保存形式であってもよい。また、アドビシステムズ社の開発したビューアーソフトであるアクロバットリーダ（登録商標）に適用されるＰＤＦ（Portable Document Format）という保存形式であってもよい。文書１３１は他の保存形式のものであってもよいことはもちろんである。
【００５３】
図９には示していないが、各種の保存形式で保存した文書データ１０７を文書集合部１０５から取り出す際には、各種の保存形式で格納された文書からテキスト情報を抜き出す既存の技術を用いることができる。
【００５４】
図１０は、本実施例のテキスト処理システムにおける行為用語抽出部の処理の様子を表わしたものである。図１０に示す処理は、図９に示したメモリ１０２Ａに格納された制御プログラムをＣＰＵ１０１が実行することによって実現する。図８および図９と共に説明する。
【００５５】
まず、行為用語抽出部１２１Ａはセグメント化部１０６から１編の文書データ１０７が第１〜第５のセグメント１３２1〜１３２5に分割された場合におけるその文書全体を読み込む（ステップＳ２０１）。そして処理の対象となるセグメント１３２が未処理で残っているか、すなわちセグメントデータ１０８が未処理状態で残っているかどうかをチェックする（ステップＳ２０２）。行為用語抽出部１２１Ａが第１〜第５のセグメント１３２1〜１３２5について何らの処理も行っていない現在の状態では（Ｙ）、今回処理の対象となる第１のセグメント１３２1を構成する文章を文に分割する（ステップＳ２０３）。文章を文という単位で分割するためには、第１のセグメント１３２1のセグメントデータ１０８としてのテキストデータの中から読点やピリオドを探し出し、その個所で文を分割する従来の方法を使えばよい。
【００５６】
第１のセグメント１３２1を構成する文章から先頭の１つの文（のテキストデータ）を分割によって取り出すと、この１つの文（のテキストデータ）から行為用語を特定する（ステップＳ２０４）。行為用語の特定方法は後に説明する。本実施例では一文から抽出する行為用語を一単語とするが、二単語以上でも構わない。また抽出する行為用語は単語ではなく複合語や句でも構わない。行為用語を特定すると、これを第１のセグメント１３２1について用意された第１の行為用語リスト１４１1に記入する（ステップＳ２０５）。
【００５７】
このようにして第１のセグメント１３２1の第１の文についての行為用語を第１のセグメント１３２1について用意された第１の行為用語リスト１４１1に格納したら、行為用語抽出部１２１Ａは第１のセグメント１３２1に残りの文が存在するかをチェックする（ステップＳ２０６）。残りの文がある場合には（Ｙ）、ステップＳ２０３に戻って、第１のセグメント１３２1における残りの文章から第２の文を抽出（分割）する。そして、この第２の文を基にして行為用語を特定し（ステップＳ２０４）、第１のセグメント１３２1について用意された第１の行為用語リスト１４１1にこの第２の文の行為用語を追加して格納する（ステップＳ２０５）。
【００５８】
以下、同様にして、たとえば第１のセグメント１３２1のセグメントデータ１０８に４つの文のテキストデータが存在していた場合には、これら４つの文のテキストデータそれぞれから行為用語が特定されて第１のセグメント１３２1について用意された第１の行為用語リスト１４１1にこれらが格納される（ステップＳ２０５）。この後、ステップＳ２０６に進むと、第１のセグメント１３２1には文が残っていないことが判明する（Ｎ）。そこで、この場合には、処理がステップＳ２０２に進む。
【００５９】
ステップＳ２０２では、セグメントデータ１０８について未処理のセグメントが存在するかのチェックが行われる。本実施例ではセグメントデータ１０８が第１〜第５のセグメント１３２1〜１３２5を有している。今、第１のセグメント１３２1の処理が終了したので、まだ第２のセグメント１３２2以降のセグメントが残っている（Ｙ）。そこで、今度は第２のセグメント１３２2について第１の文が分割される（ステップＳ２０３）。そして、この第１の文について行為用語が特定される（ステップＳ２０４）。この行為用語は、第２のセグメント１３２1について用意された第２の行為用語リスト１４１2に格納される（ステップＳ２０５）。
【００６０】
以下、同様にして第２のセグメント１３２2についても、その中の全部の文について１つずつ行為用語が特定され（ステップＳ２０４）、第２のセグメント１３２2について用意された第２の行為用語リスト１４１2にこれらが格納される（ステップＳ２０５）。この後、ステップＳ２０６に進むと、第２のセグメント１３２2には文が残っていないことが判明する（Ｎ）。そこで、この場合には、処理がステップＳ２０２に進む。
【００６１】
このようにして第５のセグメント１３２5まで同様の処理が終了すると、第１〜第５のセグメント１３２1〜１３２5のそれぞれについて用意された第１〜第５の行為用語リスト１４１1〜１４１5には、該当するセグメントごとの行為用語がリストアップされることになる。この時点で、処理はステップＳ２０２に戻るが、この例ではセグメントデータ１０８の後に続く残りのセグメントが存在しない（Ｎ）。そこで、この時点で行為用語抽出部１２１Ａの処理が終了する（エンド）。
【００６２】
図１１は、図１０のステップＳ２０４で示した行為用語を特定する処理の様子を表わしたものである。図１１に示す処理は、図９に示したメモリ１０２Ａに格納された制御プログラムをＣＰＵ１０１が実行することによって実現する。図８〜図１０と共に説明する。
【００６３】
一つの文から行為用語を特定するために、行為用語抽出部１２１Ａは、まず対象の一つの文を形態素解析する（ステップＳ２２１）。形態素解析は既知の技術を用いればよい。たとえば、その一つの文が「テキスト文書から自動的に要約や主張箇所の文章を作成することへの要求が高まっている。」という記述だとする。
【００６４】
図１２は、形態素解析の結果を示したものである。この形態素解析の結果を示した表で、表層語とは、対象文の中での活用済みの部分文字列であり、基本形とは表層語の活用基本形である。行為用語抽出部１２１Ａは、形態素解析結果の形態素数をカウンタｉに代入する（図１１ステップＳ２２２）。
【００６５】
この図１２で特定しようとする行為用語は、処理の対象となる文における端的な意味を表わす用語である。この分の対象となる文書の言語が日本語の場合、行為用語は、文の最後尾に位置する特定の動詞または特定の名詞となる。このような行為用語を迅速に特定するため、最後尾の形態素から順に品詞をチェックする。形態素とは、これ以上に細かくすると意味がなくなってしまう最小の文字列である。このチェックのために、カウンタｉは最後尾の形態素を示す番号となっている。
【００６６】
図１１に戻って説明する。カウンタｉは１ずつ減少することになるが、まず、現在の値「ｉ」が値「０」よりも大きいかのチェックが行われる（ステップＳ２２３）。これは、その一つの文の先頭までの処理が終了したかを判別するためである。最初は現在の値「ｉ」が値「０」よりも大きい（Ｙ）。そこで行為用語抽出部１２１Ａは、このｉ番目の品詞が行為用語となる条件に合致しているかチェックする（ステップＳ２２４）。合致していれば（Ｙ）、そのｉ番目の品詞の基本形を行為用語と特定して（ステップＳ２２５）、一連の処理を終了する（エンド）。
【００６７】
この最後尾の形態素が行為用語としての条件に合致していなかった場合には（ステップＳ２２４：Ｎ）、現在の値「ｉ」を「１」だけ減算して、その文の中で注目する形態素を先頭方向に１つだけ移動させる（ステップＳ２２６）。そして、ステップＳ２２３に戻って、現在の値「ｉ」が値「０」よりも大きいかチェックする。このようにして、現在の値「ｉ」が値「０」よりも大きい間は、ステップＳ２２４でｉ番目の品詞の基本形を行為用語と特定されるまで、同様の処理が繰り返されることになる。ステップＳ２２３で現在の値「ｉ」が値「０」以下となった場合には（Ｎ）、その一つの文には行為用語が見当たらなかったことになる（ステップＳ２２７）。そこで、この場合には該当する行為用語が「なし」ということで一連の処理が終了する（エンド）。
【００６８】
ところで、ステップＳ２０４で行為用語と判断する条件は、現在チェックしている形態素（ｉ番目）の品詞が特定の動詞または特定の名詞であることである。本実施例では、特定の動詞の例として、「ある」や「する」等の特定の例外の自立動詞を除く自立動詞とし、特定の名詞の例として、一般名詞およびサ変接続名詞および形容動詞語幹名詞とする。例外とする自立動詞には、「ある」や「する」の他に、たとえば「いる」、「でる」、「なる」、「よる」、「みる」、「やる」、「できる」、「いう」、「行なう」、「言う」、「つく」がある。図１２に示す形態素解析結果で示すと、ステップＳ２２４で行為用語としての条件に合致するものは、番号「１」、「２」、「４」、「６」、「８」、「９」、「１１」、「１３」、「１８」および「２０」の各形態素となる。
【００６９】
ところで、図１２に示した処理を実行した場合、文ごとに行為用語を形態素の最後尾から順にチェックすることにしている。このため、この例で最初に見つかる条件に合致する用語は番号「２０」のものであり、この形態素の品詞は「自立動詞」である。
【００７０】
ステップＳ２２５では、番号「２０」の表層語が「高まっ」となっているために、これが基本形の「高まる」に変更されて、行為用語は「高まる」となる。
【００７１】
以上のようにして行為用語抽出部１２１Ａによる行為用語の抽出が終了すると、行為ベクトル生成部１２３Ａに処理が移る。
【００７２】
図１３は、行為用語抽出部と行為ベクトル生成部の処理の様子を表わしたものである。ここでは、図９に示す数値Ｍが「３」であるとして、１編の文書データ１０７が第１〜第３のセグメント１３２1〜１３２3に分割されたものとして、説明を簡略化する。
【００７３】
既に説明したように、行為用語抽出部１２１Ａによって第１〜第３のセグメント１３２1〜１３２3から第１〜第３の行為用語リスト１４１1〜１４１3が抽出される。たとえば、第１のセグメント１３２1には５文があり、行為用語抽出部１２１Ａによって第１の行為用語のリスト１４１1が抽出される。次に行為ベクトル生成部１２３Ａは、第１の行為用語のリスト１４１1から第１の行為ベクトル１４２1というベクトルを生成する。
【００７４】
数学の世界でベクトルは、成分とその値の組の集合で表わされる。コンピュータによる処理では値が「０」の組は意味がない。このため、図１３に示すような値が「０」以外の組のみを持つハッシュテーブルで表わすことが一般的である。図１３の行為ベクトルでは、成分を「見出し語」とし、値を「頻度」としている。ハッシュテーブルは配列とは異なり、見出し語数に関わらず一定時間で見出し語の値（この場合は頻度）を参照することができるので、ベクトルを表現するのに適している。
【００７５】
行為ベクトル生成部１２３Ａは、第１〜第３の行為用語リスト１４１1〜１４１3に含まれる用語を順にハッシュテーブルとしての第１〜第３の行為ベクトル１４２1〜１４２3に登録する。未登録の用語（見出し語）の場合は頻度を「１」とし、既に登録済みの用語の場合は頻度を「１」だけ加算する。このようにして第１〜第３の行為用語リスト１４１1〜１４１3のそれぞれについて第１〜第３の行為ベクトル１４２1〜１４２3を生成する。
【００７６】
第１〜第３の行為ベクトル１４２1〜１４２3を生成したら、これら第１〜第３の行為ベクトル１４２1〜１４２3の和を求めて、文書全体の統合ベクトル１４３を生成する。このような処理過程で文書全体の統合ベクトル１４３を生成する代わりに、処理の最初から空の統合ベクトル１４３を用意しておき、第１〜第３の行為ベクトル１４２1〜１４２3のそれぞれを作成する際に第１〜第３の行為ベクトル１４２1〜１４２3の「頻度」をそのまま合算するようにしてもよい。あるいは、第１〜第３のセグメント１３２1〜１３２3の頻度を「１」と解釈して統合ベクトル１４３を作成してもよい。
【００７７】
行為ベクトル生成部１２３Ａは、以上のようにして第１〜第３の行為ベクトル１４２1〜１４２3とこれらの統合ベクトル１４３を作成したら、これらを図９に示した行為ベクトル記憶部１２６に記憶させる。行為ベクトル生成部１２３Ａから行為ベクトル記憶部１２６への第１〜第３の行為ベクトル１４２1〜１４２3の記憶は、統合ベクトル１４３を作成した段階で統合ベクトル１４３と共に一括して行ってもよいし、第１〜第３の行為ベクトル１４２1〜１４２3の記憶を個々に行い、統合ベクトル１４３の記憶をその後に行うようにしてもよい。
【００７８】
図９に示した核セグメント判定部１２８は、行為ベクトル記憶部１２６に記憶されている第１〜第Ｍのセグメント１３２1〜１３２Mの第１〜第Ｍの行為ベクトル１４２1〜１４２Mと統合ベクトル１４３を順に比較して類似度を計算する。そして、最も類似度の高いセグメントを核セグメント１１１とする。
【００７９】
第１〜第Ｍの行為ベクトル１４２1〜１４２Mと統合ベクトル１４３との類似度計算は、コサイン尺度を用いる。コサイン尺度とは、次の式（１）で表わされるベクトル間の類似度を計算する一般的な指標である。
【００８０】
【数１】
2010122823.tif 000003
【００８１】
図１４は、コサイン尺度を用いて各セグメントの行為ベクトルと統合ベクトルの類似度を計算した例を示したものである。この図１４では、図９に示す数値Ｍが「４」であるとして、すなわち１編の文書データが４つのセグメントに分割されるものとして、説明を簡略化する。
【００８２】
統合ベクトル１４３は、第１〜第４の行為ベクトル１４２1〜１４２4における「頻度」をそのまま合算している。この図１４には類似度（ｃｏｓ（Ｓｉ，Ｖ））も示している。ここで、「Ｓｉ」は、第ｉの行為ベクトル１４２iを表わしており、「Ｖ」は統合ベクトル１４３を表わしている。第１の行為ベクトル１４２1と統合ベクトル１４３の類似度ｃｏｓ（Ｓ１，Ｖ）は「０．４７」であり、第２の行為ベクトル１４２1と統合ベクトル１４３の類似度ｃｏｓ（Ｓ２，Ｖ）は「０．６７」である。また、第３の行為ベクトル１４２1と統合ベクトル１４３の類似度ｃｏｓ（Ｓ３，Ｖ）は「０．５６」であり、第４の行為ベクトル１４２4と統合ベクトル１４３の類似度ｃｏｓ（Ｓ４，Ｖ）は「０．６２」である。
【００８３】
このように図１４に示した例では、第２の行為ベクトル１４２1と統合ベクトル１４３の類似度ｃｏｓ（Ｓ２，Ｖ）が最高の「０．６７」という値になっている。したがって、図９に示した核セグメント判定部１２８は、第２の行為ベクトル１４２1に係わる第２のセグメント１３２2を核セグメント１１１Ａと判断する。
【００８４】
核セグメント判定部１２８によって文書の核セグメント１１１Ａが特定されると、出力部１１２によって該当する文書の核セグメントが出力される。核セグメントの出力形式は、セグメントの番号でも構わないし、セグメントそのものでも構わない。
【００８５】
なお、第１の実施例では核セグメント判定部１２８が第１〜第４の行為ベクトル１４２1〜１４２Mと統合ベクトル１４３の類似度を判別し、最も高い値を持つセグメント１３２を核セグメント１１１Ａとしたが、これに限るものではない。たとえば最も類似度が高くかつ予め設定した閾値以上のセグメントを核セグメント１１１Ａとしてもよい。また、予め定めた閾値以上の類似度を持つセグメントの中から、文書中のセグメントの位置がもっとも前方（あるいは後方）に位置するセグメントを核セグメント１１１Ａとしてもよい。
【００８６】
また、第１の実施例では文書の言語が日本語の場合を例として挙げ、行為用語は、文の最後尾に位置する特定の動詞または特定の名詞となるものとしたが、これに限るものではない。たとえば英語の場合には、文の最初に出てくる動詞を行為用語とすることができる。たとえば、「This paper proposes a novel approach to accurately searching Web pages for relevant information in problem solving.」という英文があったとする。この場合には、最初の動詞「proposes」を抽出し、その原形である「propose」を行為用語とすることができる。
【００８７】
このように第１の実施例によれば、言語の種類に応じてそれぞれの文の最後尾や文頭から順にチェックすることにしたので、文章構造を利用して、行為用語を簡単に抽出することができる。
【実施例２】
【００８８】
図１５は、本発明の第２の実施例におけるテキスト処理システムを使用した情報処理装置の構成を表わしたものである。この図１５に示した本実施例の情報処理装置１００Ｂにおけるテキスト処理システム１１０Ｂで、図９と同一部分には同一の符号を付しており、これらの説明を適宜省略する。
【００８９】
第２の実施例のテキスト処理システム１１０Ｂでは、第１の実施例の場合と同一の行為用語抽出部１２１Ａおよび行為ベクトル生成部１２３Ａを使用しており、核セグメント判定部１２８Ｂのみの構成が異なっている。また、制御部１０３Ｂのメモリ１０２Ｂは、第２の実施例に応じた制御プログラムを格納している。そこで、以下の説明では核セグメント判定部１２８Ｂの構成とその動作を中心として説明を行う。
【００９０】
第２の実施例の核セグメント判定部１２８Ｂは、行為ベクトル記憶部１２６に記憶されている統合ベクトルから頻度の高い行為用語を選択する。そして、各セグメントの行為ベクトルでの該当する行為用語の出現確率を計算して、最も確率の高いセグメントを核セグメントとするようになっている。
【００９１】
次の式（２）は、出現確率を示したものである。ただし、式（２）は出現確率を求める数式の一例であり、これに限るものではない。
【００９２】
【数２】
2010122823.tif 000004
【００９３】
図１６は、この第２の実施例における各セグメントの行為ベクトルと統合ベクトルの類似度を計算した例を示したものである。この図１６では、図１５に示す数値Ｍが「４」であるとして、すなわち１編の文書データが４つのセグメントに分割されるものとして、説明を簡略化する。
【００９４】
統合ベクトル１４３は、第１〜第４の行為ベクトル１４２1〜１４２4における「頻度」をそのまま合算している。この図１６には出現確率（ｐ（Ｓｉ，Ｖ））も示している。ここで、「Ｓｉ」は、第ｉの行為ベクトル１４２iを表わしており、「Ｖ」は統合ベクトル１４３を表わしている。
第１の行為ベクトル１４２1と統合ベクトル１４３の出現確率（ｐ（Ｓ１，Ｖ））は「０．２」であり、第２の行為ベクトル１４２1と統合ベクトル１４３の出現確率（ｐ（Ｓ２，Ｖ））は「０．６」である。また、第３の行為ベクトル１４２1と統合ベクトル１４３の出現確率（ｐ（Ｓ３，Ｖ））は「０．５」であり、第４の行為ベクトル１４２4と統合ベクトル１４３の出現確率（ｐ（Ｓ４，Ｖ））は「０．５」である。
【００９５】
このように図１６に示した例では、第２の行為ベクトル１４２1と統合ベクトル１４３の出現確率（ｐ（Ｓ２，Ｖ））が最高の「０．６」という値になっている。したがって、図１５に示した核セグメント判定部１２８Ｂは、第２の行為ベクトル１４２1に係わる第２のセグメント１３２2を核セグメント１１１Ｂと判断する。
【００９６】
核セグメント判定部１２８によって文書の核セグメント１１１Ｂが特定されると、出力部１１２によって該当する文書の核セグメントが出力される。核セグメントの出力形式は、セグメントの番号でも構わないし、セグメントそのものでも構わない。
【００９７】
なお、第２の実施例では核セグメント判定部１２８Ｂが第１〜第４の行為ベクトル１４２1〜１４２Mと統合ベクトル１４３の出現確率を判別し、最も高い値を持つセグメント１３２を核セグメント１１１Ｂとしたが、これに限るものではない。たとえば最も出現確率が高くかつ予め設定した閾値以上のセグメントを核セグメント１１１としてもよい。また、予め定めた閾値以上の出現確率を持つセグメントの中から、文書中のセグメントの位置が最も前方（あるいは後方）に位置するセグメントを核セグメント１１１Ｂとしてもよい。
【００９８】
＜発明の第２の実施の形態＞
【００９９】
次に本発明の第２の実施の形態を説明する。
【０１００】
図１７は、本発明の第２の実施の形態によるテキスト処理システムを使用した情報処理装置の構成を表わしたものである。図１７で第１の実施の形態の図７と同一部分には同一の符号を付しており、これらの説明を適宜省略する。
【０１０１】
第２の実施の形態の情報処理装置１００Ｃは、ＣＰＵ１０１および制御プログラムをその少なくとも一部に格納するメモリ１０２Ｃを備えた制御部１０３Ｃを有している。制御部１０３Ｃは、テキスト処理システム１１０Ｃを構成する各部の制御を行うようになっている。
【０１０２】
テキスト処理システム１１０Ｃは、行為用語抽出部１２１と、行為ベクトル生成部１２３と、行為ベクトル記憶部１２６および核セグメント決定部３０１から構成されている。すなわち、第２の実施の形態の情報処理装置１００Ｃは第１の実施の形態の情報処理装置１００と比較すると、核セグメント判定部１２８（図７）の代わりに核セグメント決定部３０１が配置された構成となっている。核セグメント決定部３０１は、行為ベクトル記憶部１２６に格納された統合ベクトル１２４と各セグメントの行為ベクトル１２５を比較して、最適なセグメントである核セグメントを決定するようになっている。核セグメント決定部３０１から出力される核セグメント１１１Ｃは、出力部１１２に供給されることになる。
【０１０３】
このように、第２の実施の形態ではテキスト処理システム１１０Ｃで、文書の各セグメントの各文からこれらの文が表わす端的な意味を行為用語として抽出する行為用語抽出部１２１と、各セグメントごとに抽出した行為用語のベクトルと全セグメントのベクトルを総和した統合ベクトルを生成する行為ベクトル生成部１２３の動作は第１の実施の形態のテキスト処理システム１１０と異ならない。そこで、核セグメント決定部３０１を中心に第２の実施の形態のテキスト処理システム１１０Ｃを説明する。
【０１０４】
核セグメント決定部３０１は、図７に示した第１の実施の形態における核セグメント判定部１２８と同様に、まず、行為ベクトル記憶部１２６に記憶されている統合ベクトル１２４と各セグメントの行為ベクトル１２５を順に比較して最適なセグメントを判定する。この比較は、第１の実施の形態の第１の実施例の場合の核セグメント判定部１２８と同様に、第１〜第Ｍの行為ベクトル１４２1〜１４２Mと統合ベクトル１４３を順に比較して「類似度」を計算してもよい。あるいは第１の実施の形態の第２の実施例の場合の核セグメント判定部１２８と同様に、第１〜第Ｍの行為ベクトル１４２1〜１４２Mにおける「頻度」をそのまま合算するようにしてもよい。
【０１０５】
このような統合ベクトル１２４と各セグメントの行為ベクトル１２５の比較によっては最適なセグメントが判定できなかったとする。この場合、第２の実施の形態の核セグメント決定部３０１は、隣接する複数のセグメントの行為ベクトルの和ベクトルを求める。そして、これらの和ベクトルと統合ベクトルを順に比較して得られた比較データ１２９Ｃによって最適なセグメントを判定する。
【０１０６】
図１８は、核セグメント判定部における隣接する複数のセグメントの行為ベクトルの和ベクトルを求める様子の一例を表わしたものである。図１７と共に説明する。この図１８では、１編の文書データが４つのセグメントに分割されるものとして、説明を簡略化する。
【０１０７】
核セグメント判定部３０１は、まず第１の行為ベクトル１４２1と第２の行為ベクトル１４２2を結合した行為ベクトルとしての第１＋第２の行為ベクトルの和ベクトル３１１1+2を算出する（ステップＳ４０１）。次に、第２の行為ベクトル１４２2と第３の行為ベクトル１４２3を結合した行為ベクトルとしての第２＋第３の行為ベクトルの和ベクトル３１１2+3を算出する（ステップＳ４０２）。更に、第３の行為ベクトル１４２3と第４の行為ベクトル１４２4を結合した行為ベクトルとしての第３＋第４の行為ベクトルの和ベクトル３１１3+4を算出する（ステップＳ４０３）。
【０１０８】
このようにして算出された第１＋第２の行為ベクトルの和ベクトル３１１1+2、第２＋第３の行為ベクトルの和ベクトル３１１2+3および第３＋第４の行為ベクトルの和ベクトル３１１3+4と、統合ベクトル１２４（図１６参照）との類似度が、それぞれ「０．７６」、「０．８７」、「０．７６」であったとする。この例の場合、核セグメント判定部３０１は、第２＋第３の行為ベクトルの和ベクトル３１１2+3である第２のセグメント１３２2および第３のセグメント１３２3の組み合わされたものを核セグメント１１１Ｃとして決定し、出力部１１２に供給することになる。
【０１０９】
以上説明したように本発明の第２の実施の形態では、さまざまな文書から該文書の要約となりうる文章として品質の高い部分テキストを抽出することができる、という効果がある。文章として品質の高い部分テキストを抽出できるという理由は、文書中のセグメントまたは隣接するセグメントを選択するためであり、セグメントまたは隣接するセグメントは文間のつながりが自然であり、一つのトピックについて書かれているため文章としてまとまっているからである。また、さまざまな文書に対応できるという理由は、小見出しを使わず、文書全体で用いられる行為用語と類似した行為用語を用いている１つ以上の隣接するセグメントまたは文書全体で頻度の高い行為用語を多く使っている１つ以上の隣接するセグメントを選択するという手法を用いるため、辞書やルールを必要としないからである。
【実施例３】
【０１１０】
図１９は、本発明の第２の実施の形態におけるテキスト処理システムを使用した情報処理装置の構成の具体例を、第３の実施例として表わしたものである。この図１９に示した第３の実施例の情報処理装置１００Ｄにおけるテキスト処理システム１１０Ｄで、図９あるいは図１７と同一部分には同一の符号を付しており、これらの説明を適宜省略する。また、図１９でも、１編の文書データが４つのセグメントに分割されるものとして、説明を簡略化する。
【０１１１】
第３の実施例のテキスト処理システム１１０Ｃでは、図９に示した第１の実施例の場合と同一の行為用語抽出部１２１Ａおよび行為ベクトル生成部１２３Ａを使用している。また、図１７に示した核セグメント決定部３０１を使用している。また、制御部１０３Ｄのメモリ１０２Ｄは、このような構成の第３の実施例に応じた制御プログラムを格納している。そこで、以下の説明では核セグメント決定部３０１の動作を中心として説明を行う。
【０１１２】
核セグメント決定部３０１は、行為ベクトル記憶部１２６に記憶されている第１〜第４の行為ベクトル１４２1〜１４２Mと統合ベクトル１４３を順に比較して類似度を算出する。算出された類似度には、該当するセグメントが核セグメントとして決定されるための閾値が設定されている。第３の実施例では、この閾値を「０．７」とするものとする。
【０１１３】
第１〜第４の行為ベクトル１４２1〜１４２Mと統合ベクトル１４３の類似度計算は、第１の実施例と同様にコサイン尺度を用いるものとする。コサイン尺度を用いて各セグメントの行為ベクトルと統合ベクトルの類似度を計算した例は第１の実施例と同様に図１４のようになる。すなわち、第１の行為ベクトル１４２1と統合ベクトル１４３の類似度ｃｏｓ（Ｓ１，Ｖ）は「０．４７」であり、第２の行為ベクトル１４２1と統合ベクトル１４３の類似度ｃｏｓ（Ｓ２，Ｖ）は「０．６７」である。また、第３の行為ベクトル１４２1と統合ベクトル１４３の類似度ｃｏｓ（Ｓ３，Ｖ）は「０．５６」であり、第４の行為ベクトル１４２4と統合ベクトル１４３の類似度ｃｏｓ（Ｓ４，Ｖ）は「０．６２」である。
【０１１４】
第１の実施例では、第２の行為ベクトル１４２1と統合ベクトル１４３の類似度ｃｏｓ（Ｓ２，Ｖ）が最高の「０．６７」となっており、図９に示した核セグメント判定部１２８が、第２の行為ベクトル１４２1に係わる第２のセグメント１３２2を核セグメント１１１Ａと判断するようにした。第３の実施例では、いずれの行為ベクトルの類似度も閾値である「０．７」未満である。このため、核セグメント判定部３０１は、隣接するセグメントを結合して、新たな行為ベクトルとして、第１＋第２の行為ベクトルの和ベクトル３１１1+2、第２＋第３の行為ベクトルの和ベクトル３１１2+3および第３＋第４の行為ベクトルの和ベクトル３１１3+4を生成する。そして、これら第１＋第２の行為ベクトルの和ベクトル３１１1+2、第２＋第３の行為ベクトルの和ベクトル３１１2+3および第３＋第４の行為ベクトルの和ベクトル３１１3+4と、統合ベクトル１２４との類似度を再計算する。
【０１１５】
これら類似度の再計算の様子は、先の第２の実施の形態における図１８に示した例と同様になる。再計算の結果として、第２＋第３の行為ベクトルの和ベクトル３１１2+3と統合ベクトル１２４との類似度が「０．８７」となる。算出された類似度「０．８７」は、閾値「０．７」以上となっている。したがって、核セグメント決定部３０１は、第２＋第３の行為ベクトルの和ベクトル３１１2+3に対応する第２のセグメント１３２2および第３のセグメント１３２3を結合セグメントの核セグメント１１１Ｄと決定する。
【０１１６】
以上説明した第３の実施例では、類似度が最も高い値を持つ結合セグメントを核セグメントとしたが、これに限定するものではない。たとえば、閾値以上の類似度の結合セグメントのうち、文書中の結合セグメントの位置が最も前方（あるいは後方）に位置する結合セグメントを核セグメントとするようにしてもよい。
【０１１７】
また、第３の実施例では、隣り合った１つずつのセグメントを結合して結合セグメントを生成する場合について説明したが、これに限定するものではない。すなわち、合計２つのセグメントからなる結合セグメントと統合ベクトル１２４の間で類似度の大小を比較しても核セグメント１１１Ｄが決定できない場合があり、このような場合に、閾値以上の類似度を持つ結合セグメントが出てくるまで順に結合するセグメントを増加してもよい。また、このような結合セグメントのセグメント数を順に増加させる手順を踏まずに、最初から所定数以上のセグメントを結合してもよい。
【０１１８】
以上詳細に説明したように、本発明を用いることで、さまざまな文書の要約や主張となる部分テキストを高精度に抽出することが可能となる。これによって、情報検索におけるインデックスやスニペット（snippet）にこの部分テキストを用いることで高精度な検索が可能となり、業務効率の改善が見込むことができる。また、情報調査を行う場合には、調査の結果得られた文書のすべての箇所を閲読する必要がなくなり、調査の高速化による業務効率の改善を見込むことができる。また、本発明は作成した文書の要点の見直しや文書の校正にも利用することが可能となり、業務効率の改善を図ることができる。
【図面の簡単な説明】
【０１１９】
【図１】本発明のテキスト処理システムのクレーム対応図である。
【図２】本発明の情報処理装置のクレーム対応図である。
【図３】本発明のテキスト処理方法のクレーム対応図である。
【図４】本発明の文書処理方法のクレーム対応図である。
【図５】本発明のテキスト処理プログラムのクレーム対応図である。
【図６】本発明の情報処理プログラムのクレーム対応図である。
【図７】本発明の一実施の形態によるテキスト処理システムを使用した情報処理装置の構成を表わしたブロック図である。
【図８】本実施の形態でセグメント化部で分割する前の文書とセグメント化した文書を表わした平面図である。
【図９】本発明の第１の実施例におけるテキスト処理システムを使用した情報処理装置の構成を表わしたブロック図である。
【図１０】第１の実施例のテキスト処理システムにおける行為用語抽出部の処理の様子を表わした流れ図である。
【図１１】図１０のステップＳ２０４で示した行為用語を特定する処理を表わした流れ図である。
【図１２】第１の実施例における形態素解析の結果を示した説明図である。
【図１３】第１の実施例で行為用語抽出部と行為ベクトル生成部の処理の様子を表わした説明図である。
【図１４】第１の実施例でコサイン尺度を用いて各セグメントの行為ベクトルと統合ベクトルの類似度を計算した例を示す説明図である。
【図１５】本発明の第２の実施例におけるテキスト処理システムを使用した情報処理装置の構成を表わしたブロック図である。
【図１６】第２の実施例における各セグメントの行為ベクトルと統合ベクトルの類似度を計算した例を示した説明図である。
【図１７】本発明の第２の実施の形態によるテキスト処理システムを使用した情報処理装置の構成を表わしたブロック図である。
【図１８】本実施の形態で核セグメント判定部における隣接する複数のセグメントの行為ベクトルの和ベクトルを求める様子の一例を表わした説明図である。
【図１９】本発明の第２の実施の形態におけるテキスト処理システムを使用した情報処理装置の構成の具体例を、第３の実施例として表わしたブロック図である。
【符号の説明】
【０１２０】
１０、２２、１１０、１１０Ａ、１１０Ｂ、１１０Ｃ、１１０Ｄ  テキスト処理システム
１１  行為用語抽出手段
１２  行為用語比較手段
１３  セグメント判別手段
２０、１００、１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ  情報処理装置
２１  セグメント分割手段
３０  テキスト処理方法
３１、４２  行為用語抽出ステップ
３２、４３  行為用語比較ステップ
３３、４４  セグメント判別ステップ
４０  情報処理方法
４１  セグメント分割ステップ
５０  テキスト処理プログラム
５１、６２  行為用語抽出処理
５２、６３  行為用語比較処理
５３、６４  セグメント判別処理
６０  情報処理プログラム
６１  セグメント分割処理
１０１  ＣＰＵ
１０２、１０２Ａ、１０２Ｂ、１０２Ｃ、１０２Ｄ  メモリ
１０３、１０３Ａ、１０３Ｂ、１０３Ｃ、１０３Ｄ  制御部
１０５  文書集合部
１０７  文書データ
１０８  セグメントデータ
１１１、１１１Ａ、１１１Ｃ、１１１Ｄ  核セグメント
１１２  出力部
１２１、１２１Ａ  行為用語抽出部
１２３、１２３Ａ  行為ベクトル生成部
１２５、１４２  行為ベクトル
１２６  行為ベクトル記憶部
１２８  核セグメント判定部
１４１  行為用語リスト
１４３  統合ベクトル
３０１  核セグメント決定部
３１１  和ベクトル
【図１】
2010122823.tif 000005
【図２】
2010122823.tif 000006
【図３】
2010122823.tif 000007
【図４】
2010122823.tif 000008
【図５】
2010122823.tif 000009
【図６】
2010122823.tif 000010
【図７】
2010122823.tif 000011
【図８】
2010122823.tif 000012
【図９】
2010122823.tif 000013
【図１０】
2010122823.tif 000014
【図１１】
2010122823.tif 000015
【図１２】
2010122823.tif 000016
【図１３】
2010122823.tif 000017
【図１４】
2010122823.tif 000018
【図１５】
2010122823.tif 000019
【図１６】
2010122823.tif 000020
【図１７】
2010122823.tif 000021
【図１８】
2010122823.tif 000022
【図１９】
2010122823.tif 000023