(57)【特許請求の範囲】
【請求項１】
重要語句の抽出対象である文書の目次情報である章節構造を初期設定するとともに、ｎ次の重要語句を抽出する際の手掛り情報として０次の重要語句を初期設定する初期設定手段と、上記文書に含まれているテキストのレイアウトを解析するとともに、上記テキストを文節単位に分解し、文節毎のレイアウト情報を含む文節解析結果を出力する文書解析手段と、上記文書から重要語句が未だ抽出されていない段階では、上記初期設定手段により初期設定された０次の重要語句から１次の自立語を抽出し、上記文書から重要語句が既に抽出されている段階では、前回抽出されたｎ−１次の重要語句からｎ次の自立語を抽出する自立語抽出手段と、上記初期設定手段により初期設定された章節構造及び上記自立語抽出手段により抽出されたｎ次の自立語を用いて、上記文書解析手段より出力された文節解析結果からｎ次の重要語句を抽出する重要語句抽出手段と、上記重要語句抽出手段により抽出された重要語句の評価値を算出し、上記評価値を上記重要語句に付加して出力する重要語句評価手段とを備えた重要語句抽出装置。
【請求項２】
重要語句の抽出対象である文書に含まれているテキストのレイアウトを解析するとともに、上記テキストを文節単位に分解し、文節毎のレイアウトを含む文節解析結果を出力する文書解析手段と、上記文書解析手段より出力された文節解析結果から文書の目次情報である章節構造を抽出するとともに、ｎ次の重要語句を抽出する際の手掛り情報として０次の重要語句を抽出する手掛り情報抽出手段と、上記文書から重要語句が未だ抽出されていない段階では、上記手掛り情報抽出手段により抽出された０次の重要語句から１次の自立語を抽出し、上記文書から重要語句が既に抽出されている段階では、前回抽出されたｎ−１次の重要語句からｎ次の自立語を抽出する自立語抽出手段と、上記手掛り情報抽出手段により抽出された章節構造及び上記自立語抽出手段により抽出されたｎ次の自立語を用いて、上記文書解析手段より出力された文節解析結果からｎ次の重要語句を抽出する重要語句抽出手段と、上記重要語句抽出手段により抽出された重要語句の評価値を算出し、上記評価値を上記重要語句に付加して出力する重要語句評価手段とを備えた重要語句抽出装置。
【請求項３】
重要語句評価手段は、重要語句抽出手段により抽出された重要語句の評価値を算出したのち、他の章節における上記重要語句の使用状況及び他の重要語句との関連性を考慮して上記評価値を更新することを特徴とする請求項１または請求項２記載の重要語句抽出装置。
【請求項４】
重要語句の抽出対象である構造化文書に含まれているテキストのレイアウトを解析するとともに、上記テキストを文節単位に分解し、文節毎のレイアウトを含む文節解析結果を出力する文書解析手段と、上記文書解析手段より出力された文節解析結果から構造化文書の目次情報である章節構造を抽出するとともに、ｎ次の重要語句を抽出する際の手掛り情報として０次の重要語句を抽出する手掛り情報抽出手段と、上記構造化文書から重要語句が未だ抽出されていない段階では、上記手掛り情報抽出手段により抽出された０次の重要語句から１次の自立語を抽出し、上記構造化文書から重要語句が既に抽出されている段階では、前回抽出されたｎ−１次の重要語句からｎ次の自立語を抽出する自立語抽出手段と、上記手掛り情報抽出手段により抽出された章節構造及び上記自立語抽出手段により抽出されたｎ次の自立語を用いて、上記文書解析手段より出力された文節解析結果からｎ次の重要語句を抽出する重要語句抽出手段と、上記重要語句抽出手段により抽出された重要語句の評価値を算出し、上記評価値を上記重要語句に付加して出力する重要語句評価手段とを備えた重要語句抽出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、文書から所望の情報を検索する際に使用される検索キーワードとして役立つ重要語句を抽出する重要語句抽出装置に関するものである。
【背景技術】
【０００２】
インターネットが普及し、多様な情報がＷｅｂを通じて入手できるようになっている。
しかし、大量かつ多様な情報が入手可能となる一方で、入手できる情報が多すぎるために所望の情報になかなか辿り着けないという問題も発生している。
そこで、所望の情報を入手し易くするための検索機能として、ユーザのキーワード入力を補完し、検索結果を絞り込むための関連キーワードを提示する入力サジェスト機能が提案されている。
【０００３】
ただし、関連キーワードを提示することができるようにするためには、検索対象文書からキーワードや、キーワード間の関連性を抽出する必要がある。
文書から重要語句を取得する技術が、例えば、以下の特許文献１，２に開示されている。
即ち、特許文献１には、タイトル、本文、表などの文書構造を解析し、文書中での出現位置及び単語の係り受け関係で、単語の重要度を定義している重要単語定義テーブルを用いて、重要な単語（要約語）を抽出する技術が開示されている。
また、特許文献２には、ＨＴＭＬやＸＭＬなどの構造化文書中の強調属性（例えば、太字、斜め文字、下線、背景色）を用いて、単語の重要度を計算し、重要度の高い語を分類軸候補単語として抽出する技術が開示されている。
【０００４】
【特許文献１】特開２００１−５２０３２号公報（段落番号［０００９］、図１）
【特許文献２】特開２００３−１９６２９４号公報（段落番号［００３４］から［００４０］、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来の重要語句抽出装置は以上のように構成されているので、重要単語定義テーブルを用いて、重要な単語（要約語）を抽出する場合、重要単語定義テーブルを手作業で作成する必要があり、多くの手間を要する課題があった。
また、構造化文書中の強調属性を用いて、単語の重要度を計算する場合、強調属性が付与されていない語句については抽出することができない課題があった。
【０００６】
この発明は上記のような課題を解決するためになされたもので、複雑な重要単語定義テーブルを手作業で作成することなく、強調属性が付与されていない重要語句についても抽出することができる重要語句抽出装置を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る重要語句抽出装置は、文書から重要語句が未だ抽出されていない段階では、初期設定手段により初期設定された０次の重要語句から１次の自立語を抽出し、文書から重要語句が既に抽出されている段階では、前回抽出されたｎ−１次の重要語句からｎ次の自立語を抽出する自立語抽出手段と、初期設定手段により初期設定された章節構造及び自立語抽出手段により抽出されたｎ次の自立語を用いて、文書解析手段より出力された文節解析結果からｎ次の重要語句を抽出する重要語句抽出手段とを設け、重要語句評価手段が重要語句抽出手段により抽出された重要語句の評価値を算出し、その評価値を重要語句に付加して出力するようにしたものである。
【発明の効果】
【０００８】
この発明によれば、文書から重要語句が未だ抽出されていない段階では、初期設定手段により初期設定された０次の重要語句から１次の自立語を抽出し、文書から重要語句が既に抽出されている段階では、前回抽出されたｎ−１次の重要語句からｎ次の自立語を抽出する自立語抽出手段と、初期設定手段により初期設定された章節構造及び自立語抽出手段により抽出されたｎ次の自立語を用いて、文書解析手段より出力された文節解析結果からｎ次の重要語句を抽出する重要語句抽出手段とを設け、重要語句評価手段が重要語句抽出手段により抽出された重要語句の評価値を算出し、その評価値を重要語句に付加して出力するように構成したので、複雑な重要単語定義テーブルを手作業で作成することなく、強調属性が付与されていない重要語句についても抽出することができる効果がある。
【発明を実施するための最良の形態】
【０００９】
実施の形態１．
図１はこの発明の実施の形態１による重要語句抽出装置を示す構成図であり、図において、初期設定部１は例えばキーボードやマウスなどから構成されているマンマシンインタフェースであり、重要語句の抽出対象である文書の目次情報である章節構造の初期設定を受け付けるとともに、ｎ次重要語句を抽出する際の手掛り情報として０次重要語句の初期設定を受け付ける処理を実施する。
ここで、０次重要語句は、ブートストラップ処理における初期値として使用する各章節の重要語句である。
また、章節構造は、ブートストラップ処理によって重要語句を抽出する範囲を定義している目次情報である。
なお、初期設定部１は初期設定手段を構成している。
【００１０】
文書データ格納メモリ２は重要語句の抽出対象である文書の文書データを格納しているメモリである。
レイアウト解析部３は文書データ格納メモリ２に格納されている文書データを解析して、文書に含まれているテキストに係るブロック番号（同一フォントからなる一群の文章に対応して付与される連番）、ページ番号（文書中で、当該テキストが記載されているページを示す番号）、位置情報（ページ内における当該テキストの記載位置を示す２次元座標値）、フォント名（当該テキストを表している文字の書体）、フォントサイズ（当該テキストを表している文字の大きさ）及びテキスト情報（当該テキストの内容）などを含むレイアウト情報を抽出する処理を実施する。
テキスト解析部４はレイアウト解析部３により抽出されたレイアウト情報に含まれているテキスト情報を解析して、テキストを文節単位に分解し、文節毎のレイアウト情報を含む文節解析結果を出力する処理を実施する。
なお、レイアウト解析部３及びテキスト解析部４から文書解析手段が構成されている。
【００１１】
自立語抽出部５は文書から重要語句が未だ抽出されていない段階では、初期設定部１により初期設定が受け付けられた０次重要語句から１次自立語を抽出し、文書から重要語句が既に抽出されている段階では、前回抽出されたｎ−１次重要語句からｎ次自立語（ｎ＝２，３，・・・）を抽出する処理を実施する。
なお、自立語抽出部５は自立語抽出手段を構成している。
【００１２】
重要語句抽出部６は初期設定部１により初期設定が受け付けられた章節構造及び自立語抽出部５により抽出されたｎ次自立語（ｎ＝１，２，・・・）を用いて、テキスト解析部４より出力された文節解析結果からｎ次重要語句（ｎ＝１，２，・・・）を抽出し、そのｎ次重要語句を重要語句評価部７に出力するとともに、そのｎ次重要語句をｎ−１次重要語句として自立語抽出部５に出力する処理を実施する。
なお、重要語句抽出部６は重要語句抽出手段を構成している。
【００１３】
重要語句評価部７はレイアウト解析部３により抽出されたレイアウト情報を参照して、重要語句抽出部６により抽出された重要語句の評価値を算出し、その評価値であるスコアを重要語句に付加し、スコア付き重要語句として出力する処理を実施する。
なお、重要語句評価部７は重要語句評価手段を構成している。
スコア付き重要語句メモリ８は重要語句評価部７から出力されたスコア付き重要語句を格納するメモリである。
図２はこの発明の実施の形態１による重要語句抽出装置の処理内容を示すフローチャートである。
【００１４】
次に動作について説明する。
この実施の形態１では、例えば、図３に示すような文書（カーナビの説明書）の文書データが文書データ格納メモリ２に格納されているものとする。
【００１５】
まず、ユーザが初期設定部１を操作して、重要語句の抽出対象である文書の目次情報である章節構造を初期設定し、また、ｎ次重要語句を抽出する際の手掛り情報として０次重要語句を初期設定する（ステップＳＴ１）。
ここで、図４は章節構造の一例を示す説明図である。
図４では、「章節構造」が章番号、節番号、見出し、開始ページ及び終了ページから構成されている例を示している。
なお、「章番号」は章の番号を示し、「節番号」は節の番号を示している。
「見出し」は各章節の見出し情報であり、各章節の見出し情報を０次重要語句として使用することが可能である。
また、「開始ページ」は各章節が始まるページを示し、「終了ページ」は各章節が終わるページを示している。
図４では、説明の簡単化のため、節を１階層で示しているが、例えば、「１．２．３．４節」のように節が階層構造になっている場合は、節１の欄のほかに、節２、節３、節４の欄を増やすことで対応することができる。
また、目次中の全ての節見出しのうち、０次重要語句として適切な節見出しを、チェックボックスへの入力などにより選択して指定することもできる。
【００１６】
レイアウト解析部３は、文書データ格納メモリ２に格納されている文書データを解析して、文書に含まれているテキストに係るブロック番号、ページ番号、位置情報、フォント名、フォントサイズ及びテキスト情報などを含むレイアウト情報を抽出する（ステップＳＴ２）。
図５は図３の文書から抽出されたレイアウト情報を示す説明図であり、例えば、図３の文書における「５．２節  観光地のルートを設定する」は、ブロック番号が「５０１」、ページ番号が「１０５」、位置情報が「（１０，１５）」、フォント名が「ＦＮゴシック」、フォントサイズが「１６」、テキスト情報が「５．２節  観光地のルートを設定する」として抽出されていることを示している。
なお、レイアウト解析部３によるレイアウト解析処理は、公開されている文書フォーマット情報に基づく公知の手段を用いることができるので、詳細な説明は割愛する。
【００１７】
テキスト解析部４は、レイアウト解析部３がレイアウト情報を抽出すると、公知の形態素解析技術や複合語解析技術を利用して、そのレイアウト情報に含まれているテキスト情報を解析することにより、テキストを文節単位に分解し、文節毎のレイアウト情報を含む文節解析結果を出力する（ステップＳＴ３）。
図６はテキスト解析部４による文節解析結果例を示す説明図である。
図６において、ブロック番号、ページ番号、位置情報、フォント名、フォントサイズについては、図５のレイアウト情報におけるブロック番号、ページ番号、位置情報、フォント名、フォントサイズと同一の値を有する。
「形態素解析区切り」は形態素分割情報であり、文節内のより細かな単位である形態素の分割情報を示し、半角スラッシュ（／）で区切り位置を示している。
「自立語見出し」は文節中の自立語部分の見出しを示し、「品詞」は文節中の自立語の品詞を示している。
【００１８】
自立語抽出部５は、図３の文書から重要語句が未だ抽出されていない段階では、初期設定部１により初期設定が受け付けられた０次重要語句から１次自立語を抽出し、文書から重要語句が既に抽出されている段階では、前回抽出されたｎ−１次重要語句からｎ次自立語（ｎ＝２，３，・・・）を抽出する（ステップＳＴ４）。
即ち、自立語抽出部５は、後述する重要語句抽出部６が１次重要語句を抽出していない初期段階では、重要語句抽出部６からｎ−１次重要語句（０次重要語句）が得られないので、初期設定部１により初期設定が受け付けられた０次重要語句から１次自立語を抽出する。
図１では説明の簡単化のため省略しているが、初期設定部１により初期設定が受け付けられた０次重要語句についても、テキスト解析部４により文節単位に分割されているものとする。
自立語抽出部５は、後述する重要語句抽出部６が既にｎ次重要語句（ｎ＝１，２，・・・）を抽出している段階では、重要語句抽出部６により前回抽出されたｎ−１次重要語句（ｎ＝２，３，・・・）からｎ次自立語（ｎ＝２，３，・・・）を抽出する。
具体的には、図６の「自立語見出し」欄から自立語を抽出するが、ｎ次重要語句から、０次〜ｎ−１次の自立語に含まれていない自立語のみを抽出する。
【００１９】
重要語句抽出部６は、自立語抽出部５がｎ次自立語（ｎ＝１，２，・・・）を抽出すると、そのｎ次自立語と初期設定部１により初期設定が受け付けられた章節構造を用いて、テキスト解析部４より出力された文節解析結果からｎ次重要語句（ｎ＝１，２，・・・）を抽出する（ステップＳＴ５）。
即ち、重要語句抽出部６は、章節毎に、図６の文節解析結果からｎ次自立語を含み、かつ、０次〜ｎ−１次の重要語句に含まれていない語句をｎ次重要語句として抽出する。
この実施の形態１では、説明の便宜上、同一のブロック番号を有する１個〜Ｎ個の連続文節を抽出するものとする。Ｎは所与の値であり、Ｎ＝４として説明する。
重要語句抽出部６は、ｎ次重要語句（ｎ＝１，２，・・・）を抽出すると、そのｎ次重要語句を重要語句評価部７に出力するとともに、そのｎ次重要語句をｎ−１次重要語句として自立語抽出部５に出力する。
【００２０】
図７はｎ次重要語句の展開例を示す説明図である。
図７の例では、「５．２節」の見出しである「観光地のルートを設定する」を０次重要語句として、文節解析結果から１次自立語「観光地」「ルート」「設定」が抽出されたのち、文節解析結果から「５．２節」の範囲（１０５ページから１０６ページの範囲）で、１次自立語「観光地」を含む「各都道府県の観光地」「各都道府県の観光地をまわる」「各都道府県の観光地をまわるルート」などの語句が、１次重要語句として、抽出されている。
図７では省略しているが、「ルート」や「設定」を含む語句についても１次重要語句として抽出される。
【００２１】
続いて、１次重要語句から２次自立語として「各都道府県」「文字情報」などが抽出されたのち、２次重要語句として「文字情報」「写真・文字情報」「写真・文字情報のみかた」などが抽出される。
以下、同様にして、３次以降のｎ次重要語句が順次抽出される。
このように、ｎ−１次の重要語句を手掛りにして、章節内の関連する語句を順次に抽出することにより、強調表現されていない語句であっても、０次重要語句に関連する語句として抽出することができる。よって、複雑な重要単語定義テーブル（抽出ルール）を記述する手間をかけることなく簡便に抽出することができる。
【００２２】
重要語句評価部７は、重要語句抽出部６がｎ次重要語句（ｎ＝１，２，・・・）を抽出すると、ｎ次重要語句（ｎ＝１，２，・・・）の評価値を算出して、その評価値であるスコアをｎ次重要語句に付加し、スコア付き重要語句としてスコア付き重要語句メモリ８に格納する（ステップＳＴ６）。
図９はスコア付き重要語句の一例を示す説明図であり、図９では、重要語句の見出しにスコアが付加されている。
【００２３】
図８は重要語句評価部７による重要語句スコア計算の一例を示す説明図である。
図８では、フォントサイズ、表層格情報、文字数、禁止語句の４つを基準にして計算する例を示している。
図８において、「ＳＳａ」はフォントサイズに基づく重要度計算であって、各語句のフォントサイズにより重要度を計算するものであり、フォントサイズが大きい語句は重要な語句であると判定される。
ここでは、文書中に出現する全語句のフォントサイズから最大フォントサイズＳＺｍａｘをあらかじめ求めておき、評価対象語句のフォントサイズＳＺを最大フォントサイズＳＺｍａｘで除算した値をフォントサイズスコアＳＳａとしている。
フォントサイズＳＺが大きければ、重要であるという判定がなされれば、この以外の手法で、フォントサイズスコアＳＳａを求めるようにしてもよい。
【００２４】
「ＳＳｂ」は表層格情報に基づく重要度計算であり、各語句の前後関係との構文的な接続関係により重要度を計算するものである。各語句の表層格情報は図６の文節解析結果の形態素解析区切りを参照して抽出する。
直前の語句が「を」格や「が」格で終わっており、かつ、該当語句が用言である場合には、後者は意味的に完結していない語句である可能性が高いので、重要ではないと判定する。
例えば、「まわる」という語句（単語）は、「観光地を」という「を」格の文節が直前にあり、意味的な完結性が低いので重要ではないと判定する。
また、１個前よりも、２個以上前の語句が「を」格である場合は、該当語句が意味的に完結している可能性がやや増すので、上記のような１個前の文節が「を」格である場合よりも、重要性を増すように重要度の式を設定している。
例えば、ｎ個前の文節が「を」格や「が」格である用言で始まる語句には（１−０．９n）という値を与え、それ以外の語句には“１．０”という値を与えるようにしている。
【００２５】
「ＳＳｃ」は文字数に基づく重要度計算であり、各語句の文字数により重要度を計算するものである。
この実施の形態１では、検索結果を絞り込むための関連キーワードを提示する入力サジェスト機能で用いることを想定しており、文字数が多過ぎもせず、少な過ぎもしない適切な長さの語句を重要と判断する。
そのための基準として、文字数による重要語句らしさをχ２乗分布により近似した関数Ｆｃｈｉ（Ｘ）を用いる。
評価対象語句の文字数ＮＣを上記の関数Ｆｃｈｉ（Ｘ）に入力して得られた値Ｆｃｈｉ（ＮＣ）を「ＳＳｃ」として使用する。
なお、ここでは、下限文字数を２文字、上限文字数を３０文字とし、これ以外の文字数からなる語句については「ＳＳｃ」を０とする。
また、該当語句が括弧表現を含む場合には、括弧部分を除いた文字数が支配的となるような重み付けをした文字数計算を行うことにより、括弧表現を含む語句を重要語句として抽出し易くすることもできる。
【００２６】
「ＳＳｄ」は禁止語句に基づく重要度計算であり、事前に登録した禁止語句を含むか否かにより重要度を計算するものである。
禁止語句として、例えば、「上記」「左図」「下表」などの参照の表現を登録しておき、これらを含む語句は重要ではないと判定するようにしている。
ここでは、禁止語句を含む語句には“０．１”という値を与え、それ以外の語句には“１．０”という値を与えるようにしている。
また、「以上」「以下」などの数量表現中にも、出現し得る参照表現については、数量表現であるか否かをあわせて判定し、数量表現以外の場合に重要ではないと判定するようにしている。
【００２７】
重要語句評価部７は、上記のようにして、ＳＳａ，ＳＳｂ，ＳＳｃ，ＳＳｄを計算すると、ｎ次の重みとして、１未満の実数である減衰率Ｋ（例えば、Ｋ＝０．９）を用いて、そのＳＳａ，ＳＳｂ，ＳＳｃ，ＳＳｄから重要語句のスコアを下式により計算する。
重要語句スコア  ＝  Ｋn×（ＳＳａ×ＳＳｂ×ＳＳｃ×ＳＳｄ）
重要語句評価部７は、重要語句のスコアを計算すると、そのスコアを重要語句に付加し、スコア付き重要語句としてスコア付き重要語句メモリ８に格納する。
【００２８】
以上で明らかなように、この実施の形態１によれば、文書から重要語句が未だ抽出されていない段階では、初期設定部１により初期設定された０次の重要語句から１次の自立語を抽出し、文書から重要語句が既に抽出されている段階では、前回抽出されたｎ−１次の重要語句からｎ次の自立語を抽出する自立語抽出部５と、初期設定部１により初期設定された章節構造及び自立語抽出部５により抽出されたｎ次の自立語を用いて、テキスト解析部４より出力された文節解析結果からｎ次の重要語句を抽出する重要語句抽出部６とを設け、重要語句評価部７が重要語句抽出部６により抽出された重要語句の評価値を算出し、その評価値を重要語句に付加して出力するように構成したので、複雑な重要単語定義テーブルを手作業で作成することなく、強調属性が付与されていない重要語句についても抽出することができる効果を奏する。
即ち、章節毎に０次重要語句を手掛りとして、テキスト情報及びレイアウト情報を用いてｎ次重要語句を取得できるよう構成したので、強調表現されていない語句でも０次重要語句に関連する語句として抽出することができるようになり、複雑な重要単語定義テーブルを記述する手間をかけることなく、簡便に抽出することができる効果を奏する。
【００２９】
実施の形態２．
図１０はこの発明の実施の形態２による重要語句抽出装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
章節構造抽出部９はテキスト解析部４の文節解析結果から文書の目次情報である章節構造を抽出するとともに、ｎ次の重要語句を抽出する際の手掛り情報として０次の重要語句を抽出する処理を実施する。
なお、章節構造抽出部９は手掛り情報抽出手段を構成している。
図１１はこの発明の実施の形態２による重要語句抽出装置の処理内容を示すフローチャートである。
また、図１２は章節構造抽出部９における章節構造の抽出処理を示すフローチャートである。
【００３０】
次に動作について説明する。
上記実施の形態１と比べて、初期設定部１の代わりに、章節構造抽出部９が設けられている以外は同じであるため、この実施の形態２では、章節構造抽出部９の処理内容についてのみ説明する。
【００３１】
章節構造抽出部９は、上記実施の形態１と同様に、テキスト解析部４がテキストを文節単位に分解して、文節毎のレイアウト情報を含む文節解析結果を出力すると、その文節解析結果から文書の目次情報である章節構造を抽出するとともに、節のタイトル文字列から０次重要語句を抽出する（ステップＳＴ１１）。
以下、章節構造抽出部９における章節構造の抽出処理を具体的に説明する。
【００３２】
章節構造抽出部９は、テキスト解析部４から文節解析結果を受けると、その文節解析結果のフォントサイズ欄を参照して、フォントサイズを適切な区間に分割する。例えば、最大フォントサイズと最小フォントサイズの間を１００分割する。
そして、章節構造抽出部９は、ブロック番号毎にフォントサイズを参照し、各区間に属する語句数をカウントして一覧表を作成する（ステップＳＴ２１）。
【００３３】
次に、章節構造抽出部９は、一覧表を参照して、フォントサイズが大きい順に語句を整列する。続けて、事前に定義した比率（例えば、章は１％〜２％、節は２％〜５％）にしたがって、章節の見出しとしてフォントサイズ上位の語句を抽出する（ステップＳＴ２２）。
最後に、章節構造抽出部９は、抽出した章節の見出しを階層的に整理し、各章節の開始ページ及び終了ページとあわせて、当該章節の見出しを章節構造（図４を参照）として重要語句抽出部６に出力する（ステップＳＴ２３）。
なお、章節構造抽出部９は、節のタイトル文字列から０次重要語句を抽出して、その０次重要語句を自立語抽出部５に出力する。図３の文書例では、０次重要語句として、「観光地のルートを設定する」を抽出する。
【００３４】
以上で明らかなように、この実施の形態２によれば、章節構造抽出部９がテキスト解析部４の文節解析結果から文書の目次情報である章節構造を抽出するとともに、ｎ次の重要語句を抽出する際の手掛り情報として０次の重要語句を抽出するように構成したので、ユーザが初期設定部１を操作して、０次重要語句や章節構造を初期設定する手間をかけることなく、自動的に０次重要語句や章節構造が得られる効果を奏する。
【００３５】
実施の形態３．
図１３はこの発明の実施の形態３による重要語句抽出装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
重要語句選択部１１は重要語句評価部７により評価値が算出された重要語句が、他の章節でどのように使用されているかに基づくスコア計算を実施して、スコアが所定の閾値以上の重要語句を選択する処理を実施する。
重要語句再評価部１２は重要語句選択部１１により選択された重要語句の評価値であるスコアを更新するとともに、その重要語句と関連する重要語句のスコアを更新する処理を実施する。
再計算済スコア付き重要語句メモリ１３は重要語句再評価部１２によりスコアが更新されたスコア付き重要語句を格納するメモリである。
なお、重要語句評価部７、重要語句選択部１１及び重要語句再評価部１２から重要語句評価手段が構成されている。
【００３６】
図１４はこの発明の実施の形態３による重要語句抽出装置の処理内容を示すフローチャートである。
また、図１５は重要語句再評価部１２における重要語句の再評価処理を示すフローチャートである。
【００３７】
次に動作について説明する。
上記実施の形態１と比べて、重要語句選択部１１及び重要語句再評価部１２を設けている点以外は同じであるため、この実施の形態３では、重要語句選択部１１及び重要語句再評価部１２の処理内容のみを説明する。
なお、図１３は図１（実施の形態１）に適用する例を示しているが、図１０（実施の形態２）に適用するようにしてもよい。
【００３８】
重要語句選択部１１は、上記実施の形態１，２と同様に、重要語句評価部７が重要語句の評価値を算出すると、その重要語句が他の章節でどのように使用されているかに基づくスコア計算を実施し、スコアが所定の閾値以上の重要語句は、特に重要な語句であると判定して選択する（ステップＳＴ３１）。
具体的には、他の章や節において、ゴシック体フォントで強調表示されている語句や、他の章や節のタイトルと部分一致する文字を有する語句については、重要であると判定する。
スコア付けの例として、他の章節で強調表示されている頻度Ｆｅと、他の章や節と部分一致する文字数Ｎｔの積をスコアとする方法がある。
このスコアにより語句を整列し、スコアが大きな語句を所定の比率（例えば、文書全体の５％）で抽出し、章節毎に整理して、重要語句の選択結果とする。
【００３９】
重要語句再評価部１２は、重要語句選択部１１が重要語句を選択すると、その重要語句のスコアを更新するとともに、その重要語句と関連する重要語句のスコアを更新する（ステップＳＴ３２）。
以下、重要語句再評価部１２における重要語句の再評価処理を具体的に説明する。
【００４０】
重要語句再評価部１２は、重要語句選択部１１が重要語句を選択すると、重要語句抽出部６による重要語句の抽出結果を示すネットワーク構造（図７を参照）を参照して、ネットワーク構造上のすべての重要語句間のリンク重みを計算する（ステップＳＴ４１）。
例えば、重要語句１と重要語句２の間のリンク重みは、下式に示すように、各重要語句間で共有する自立語の数と、各重要語句内の自立語の数とを用いて計算する。
リンク重み
＝（（共通自立語数）×２）／（重要語句１の自立語数＋重要語句２の自立語数）
例えば、２語の自立語からなる語句「観光地の文字情報」と、３語の自立語からなる語句「観光地のルートを設定する」の間のリンク重みは、（１×２）／（２＋３）＝０．４となる。
【００４１】
重要語句再評価部１２は、重要語句間のリンク重みを計算すると、重要語句間のリンク重みにしたがって、重要語句選択部１１により選択された重要語句のスコアと、その重要語句と関連する重要語句のスコアとを更新する（ステップＳＴ４２）。
具体的には、まず、重要語句選択部１１により選択された重要語句のスコアを“１”に更新する。
次に、重要語句選択部１１により選択された重要語句と関連する重要語句のスコア、即ち、図７のネットワーク構造上で繋がりがある重要語句のスコアを下式に示すように、それぞれのリンク重みと、現時点での各重要語句のスコアとを用いて更新する。
更新スコア
＝更新前のスコア×（１−リンク重み）＋伝播元の重要語句のスコア×リンク重み
例えば、更新前のスコアが“０．５”、リンク重みが“０．４”、伝播元の重要語句のスコアが“１．０”である場合、更新後のスコアは、（０．５×（１−０．４））＋（１．０×０．４）＝０．７となる。
【００４２】
重要語句再評価部１２は、重要語句選択部１１により選択された全ての重要語句について、ステップＳＴ４２の処理を繰り返すことにより、スコアの更新を行う。
なお、重要語句再評価部１２は、更新前後のスコアの差異の最大値が所定の閾値ＴＨｓ（例えば、ＴＨｓ＝０．０１）以下となった場合に、スコアの更新処理を停止し（ステップＳＴ４３）、更新後のスコア付き重要語句を再計算済スコア付き重要語句メモリ１３に格納する。
【００４３】
以上で明らかなように、この実施の形態３によれば、重要語句抽出部６により抽出された重要語句の評価値を算出したのち、他の章節における上記重要語句の使用状況及び他の重要語句との関連性を考慮して上記評価値を更新するように構成したので、より精度の高い重要語句の抽出結果が得られる効果を奏する。
【００４４】
実施の形態４．
図１６はこの発明の実施の形態４による重要語句抽出装置を示す構成図であり、図において、図１０と同一符号は同一または相当部分を示すので説明を省略する。
構造化文書データ格納メモリ２１は重要語句の抽出対象である構造化文書の文書データ（以下、「構造化文書データ」という）を格納しているメモリである。
この実施の形態４では、図３のカーナビの説明書がパソコンなどで参照できるようにするため、図１８に示すように、ＨＴＭＬ形式で記述されている文書データが構造化文書データ格納メモリ２１に格納されているものとする。
【００４５】
構造化文書属性解析部２２は構造化文書データ格納メモリ２１に格納されている構造化文書データのタグ情報を解析して、構造化文書に含まれているテキストに係るページ番号（構造化文書のファイル毎に一意に付与される番号）、位置情報（構造化文書の文書構造タグのタグ名と、該当テキストが出現する文書構造タグ内の文字位置からなる情報）、表示属性（該当テキストに付与されたタグに応じて設定される情報であり、例えば、Ｔｉｔｌｅタグが付与されたテキストに対しては「タイトル」、Ｓｔｒｏｎｇタグが付与されたテキストには「強調」という値が設定される）、フォントサイズ（ｆｏｎｔタグ内の属性ｓｉｚｅの値）及びテキスト情報（文書構造にしたがって段落や箇条書きなどの単位で表示される文字列）などを含む構造化文書属性情報を抽出する処理を実施する。
構造化文書テキスト解析部２３は構造化文書属性解析部２２により抽出された構造化文書属性情報に含まれているテキスト情報を解析して、テキストを文節単位に分解し、文節毎の構造化文書属性情報を含む構造化文書文節解析結果を出力する処理を実施する。
なお、構造化文書属性解析部２２及び構造化文書テキスト解析部２３から文書解析手段が構成されている。
【００４６】
構造化文書章節構造抽出部２４は構造化文書テキスト解析部２３の構造化文書文節解析結果から文書の目次情報である章節構造を抽出するとともに、ｎ次重要語句を抽出する際の手掛り情報として０次重要語句を抽出する処理を実施する。なお、構造化文書章節構造抽出部２４は手掛り情報抽出手段を構成している。
構造化文書重要語句評価部２５は構造化文書属性解析部２２により抽出された構造化文書属性情報を参照して、重要語句抽出部６により抽出された重要語句の評価値を算出し、その評価値であるスコアを重要語句に付加し、スコア付き重要語句として出力する処理を実施する。
なお、構造化文書重要語句評価部２５は重要語句評価手段を構成している。
図１７はこの発明の実施の形態４による重要語句抽出装置の処理内容を示すフローチャートである。
【００４７】
次に動作について説明する。
構造化文書属性解析部２２は、構造化文書データ格納メモリ２１に格納されている構造化文書データのタグ情報を解析して、構造化文書に含まれているテキストに係るページ番号、位置情報、表示属性、フォントサイズ及びテキスト情報などを含む構造化文書属性情報を抽出する（ステップＳＴ５１）。
図１９は図１８の構造化文書から抽出された構造化文書属性情報を示す説明図であり、例えば、図１８の構造化文書の＜ｔｉｔｌｅ＞タグにおける「５．２節  観光地のルートを設定する」は、ページ番号が「１０５」、位置情報が「（ｈｅａｄ，０）」、表示属性が「タイトル」、フォントサイズが「−」、テキスト情報が「５．２節  観光地のルートを設定する」として抽出されていることを示している。
【００４８】
構造化文書テキスト解析部２３は、構造化文書属性解析部２２が構造化文書属性情報を抽出すると、公知の形態素解析技術や複合語解析技術を利用して、その構造化文書属性情報に含まれているテキスト情報を解析することにより、テキストを文節単位に分解し、文節毎の構造化文書属性情報を含む構造化文書文節解析結果を出力する（ステップＳＴ５２）。
図２０は構造化文書テキスト解析部２３による構造化文書文節解析結果例を示す説明図である。
図２０において、ページ番号、位置情報、表示属性、フォントサイズについては、図１９の構造化文書属性情報におけるページ番号、位置情報、表示属性、フォントサイズと同一の値を有する。
「形態素解析区切り」は形態素分割情報であり、文節内のより細かな単位である形態素の分割情報を示し、半角スラッシュ（／）で区切り位置を示している。
「自立語見出し」は文節中の自立語部分の見出しを示し、「品詞」は文節中の自立語の品詞を示している。
【００４９】
構造化文書章節構造抽出部２４は、構造化文書テキスト解析部２３から構造化文書文節解析結果を受けると、その構造化文書文節解析結果から文書の目次情報である章節構造を抽出するとともに、節のタイトル文字列から０次の重要語句を抽出する（ステップＳＴ５３）。
具体的には、ＨＴＭＬ文書ファイルのそれぞれを節相当の単位とみなし、構造化文書文節解析結果の表示属性欄が「タイトル」である文字列を章節の見出し、即ち、０次重要語句として抽出する。
また、ＨＴＭＬ文書のハイパーリンクを解析して、ＨＴＭＬ文書間の階層構造を抽出し、この階層構造の纏まりを章と考えて章節構造を抽出する。ただし、ＨＴＭＬ文書間のハイパーリンクが階層構造になっていない場合（例えば、ネットワーク構造になっている場合）は、章節として階層的に纏めることはせず、重要語句の抽出対象とするＨＴＭＬ文書の全てがそれぞれ節と考えて章節構造を抽出する。
ここでは、タイトルタグが付与されたテキストを０次重要語句として抽出するものについて示したが、メタタグ、箇条書きタグ、ＡＬＴタグなどを手掛りとして、０次重要語句を抽出するようにしてもよい。
【００５０】
自立語抽出部５は、上記実施の形態２と同様に、図１８の構造化文書から重要語句が未だ抽出されていない段階では、構造化文書章節構造抽出部２４により抽出された０次重要語句から１次自立語を抽出し、構造化文書から重要語句が既に抽出されている段階では、前回抽出されたｎ−１次重要語句からｎ次自立語（ｎ＝２，３，・・・）を抽出する（ステップＳＴ５３）。
即ち、自立語抽出部５は、後述する重要語句抽出部６が１次重要語句を抽出していない初期段階では、重要語句抽出部６からｎ−１次重要語句（０次重要語句）が得られないので、構造化文書章節構造抽出部２４により抽出された０次重要語句から１次自立語を抽出する。
図１６では説明の簡単化のため省略しているが、構造化文書章節構造抽出部２４により抽出された０次重要語句についても、構造化文書テキスト解析部２３により文節単位に分割されているものとする。
自立語抽出部５は、重要語句抽出部６が既にｎ次重要語句（ｎ＝１，２，・・・）している段階では、重要語句抽出部６により前回抽出されたｎ−１次重要語句（ｎ＝２，３，・・・）からｎ次自立語（ｎ＝２，３，・・・）を抽出する。
具体的には、図２０の「自立語見出し」欄から自立語を抽出するが、ｎ次重要語句のうち、０次〜ｎ−１次の自立語に含まれていない自立語のみを抽出する。
【００５１】
重要語句抽出部６は、自立語抽出部５がｎ次自立語（ｎ＝１，２，・・・）を抽出すると、上記実施の形態２と同様に、そのｎ次自立語と構造化文書章節構造抽出部２４により抽出された章節構造を用いて、構造化文書テキスト解析部２３より出力された構造化文書文節解析結果からｎ次重要語句（ｎ＝１，２，・・・）を抽出する（ステップＳＴ５５）。
即ち、重要語句抽出部６は、章節毎に、図２０の構造化文書文節解析結果からｎ次自立語を含み、かつ、０次〜ｎ−１次の重要語句に含まれていない語句をｎ次重要語句として抽出する。
重要語句抽出部６は、ｎ次重要語句（ｎ＝１，２，・・・）を抽出すると、そのｎ次重要語句を構造化文書重要語句評価部２５に出力するとともに、そのｎ次重要語句をｎ−１次重要語句として自立語抽出部５に出力する。
【００５２】
構造化文書重要語句評価部２５は、重要語句抽出部６がｎ次重要語句（ｎ＝１，２，・・・）を抽出すると、構造化文書属性解析部２２により抽出された構造化文書属性情報を参照して、ｎ次重要語句（ｎ＝１，２，・・・）の評価値を算出し、その評価値であるスコアをｎ次重要語句に付加し、スコア付き重要語句としてスコア付き重要語句メモリ８に格納する（ステップＳＴ５６）。
【００５３】
図２１は構造化文書重要語句評価部２５による重要語句スコア計算の一例を示す説明図である。
図２１では、フォントサイズ、表層格情報、文字数、禁止語句の４つを基準にして計算する例を示している。
図２１において、「ＳＳａ」はフォントサイズに基づく重要度計算であって、各語句のフォントサイズにより重要度を計算するものであり、フォントサイズが大きい語句は重要な語句であると判定される。
ここでは、閾値ＴＨｆ以上のフォントサイズを有する語句には“０．９”という値を与え、それ以外の語句には“０．１”という値を与えるようにしている。
閾値ＴＨｆは、抽出対象の文章にあわせて事前に定義されているものとする。例えば、ＴＨｆ＝３などに定義される。
【００５４】
「ＳＳｂ」は表層格情報に基づく重要度計算であり、各語句の前後関係との構文的な接続関係により重要度を計算するものである。各語句の表層格情報は図２０の構造化文書文節解析結果の形態素解析区切りを参照して抽出する。
直前の語句が「を」格や「が」格で終わっており、かつ、該当語句が用言である場合には、後者は意味的に完結していない語句である可能性が高いので、重要ではないと判定する。
例えば、「まわる」という語句（単語）は、「観光地を」という「を」格の文節が直前にあり、意味的な完結性が低いので重要ではないと判定する。
また、１個前よりも、２個以上前の語句が「を」格である場合は、該当語句が意味的に完結している可能性がやや増すので、上記のような１個前の文節が「を」格である場合よりも、重要性を増すように重要度の式を設定している。
例えば、ｎ個前の文節が「を」格や「が」格である用言で始まる語句には（１−０．９n）という値を与え、それ以外の語句には“１．０”という値を与えるようにしている。
【００５５】
「ＳＳｃ」は文字数に基づく重要度計算であり、各語句の文字数により重要度を計算するものである。
この実施の形態４では、検索結果を絞り込むための関連キーワードを提示する入力サジェスト機能で用いることを想定しており、文字数が多過ぎもせず、少な過ぎもしない適切な長さの語句を重要と判断する。
そのための基準として、文字数による重要語句らしさをχ２乗分布により近似した関数Ｆｃｈｉ（Ｘ）を用いる。
評価対象語句の文字数ＮＣを上記の関数Ｆｃｈｉ（Ｘ）に入力して得られた値Ｆｃｈｉ（ＮＣ）を「ＳＳｃ」として使用する。
なお、ここでは、下限文字数を２文字、上限文字数を３０文字とし、これ以外の文字数からなる語句については「ＳＳｃ」を０とする。
また、該当語句が括弧表現を含む場合には、括弧部分を除いた文字数が支配的となるような重み付けをした文字数計算を行うことにより、括弧表現を含む語句を重要語句として抽出し易くすることもできる。
【００５６】
「ＳＳｄ」は禁止語句に基づく重要度計算であり、事前に登録した禁止語句を含むか否かにより重要度を計算するものである。
禁止語句として、例えば、「上記」「左図」「下表」などの参照の表現を登録しておき、これらを含む語句は重要ではないと判定するようにしている。
ここでは、禁止語句を含む語句には“０．１”という値を与え、それ以外の語句には“１．０”という値を与えるようにしている。
また、「以上」「以下」などの数量表現中にも、出現し得る参照表現については、数量表現であるか否かをあわせて判定し、数量表現以外の場合に重要ではないと判定するようにしている。
【００５７】
構造化文書重要語句評価部２５は、上記のようにして、ＳＳａ，ＳＳｂ，ＳＳｃ，ＳＳｄを計算すると、ｎ次の重みとして、１未満の実数である減衰率Ｋ（例えば、Ｋ＝０．９）を用いて、そのＳＳａ，ＳＳｂ，ＳＳｃ，ＳＳｄから重要語句のスコアを計算する。
重要語句スコア  ＝  Ｋn×（ＳＳａ×ＳＳｂ×ＳＳｃ×ＳＳｄ）
構造化文書重要語句評価部２５は、重要語句のスコアを計算すると、そのスコアを重要語句に付加し、スコア付き重要語句としてスコア付き重要語句メモリ８に格納する。
【００５８】
以上で明らかなように、この実施の形態４によれば、ＨＴＭＬ文書などの構造化文書から重要語句が未だ抽出されていない段階では、構造化文書章節構造抽出部２４により抽出された０次の重要語句から１次の自立語を抽出し、構造化文書から重要語句が既に抽出されている段階では、前回抽出されたｎ−１次の重要語句からｎ次の自立語を抽出する自立語抽出部５と、構造化文書章節構造抽出部２４により抽出された章節構造及び自立語抽出部５により抽出されたｎ次の自立語を用いて、構造化文書テキスト解析部２３より出力された構造化文書文節解析結果からｎ次の重要語句を抽出する重要語句抽出部６とを設け、構造化文書重要語句評価部２５が重要語句抽出部６により抽出された重要語句の評価値を算出し、その評価値を重要語句に付加して出力するように構成したので、複雑な重要単語定義テーブルを手作業で作成することなく、強調属性が付与されていない重要語句についても抽出することができる効果を奏する。
また、ＨＴＭＬ文書などの構造化文書を重要語句の抽出対象としているので、インターネット上のニュース記事などを重要語句の抽出対象とすることができるようになり、製品動向や技術動向を把握するための情報を簡単に取得することができる効果を奏する。
【図面の簡単な説明】
【００５９】
【図１】この発明の実施の形態１による重要語句抽出装置を示す構成図である。
【図２】この発明の実施の形態１による重要語句抽出装置の処理内容を示すフローチャートである。
【図３】重要語句の抽出対象である文書の一例を示す説明図である。
【図４】章節構造の一例を示す説明図である。
【図５】図３の文書から抽出されたレイアウト情報を示す説明図である。
【図６】テキスト解析部４による文節解析結果例を示す説明図である。
【図７】ｎ次重要語句の展開例を示す説明図である。
【図８】重要語句評価部７による重要語句スコア計算の一例を示す説明図である。
【図９】スコア付き重要語句の一例を示す説明図である。
【図１０】この発明の実施の形態２による重要語句抽出装置を示す構成図である。
【図１１】この発明の実施の形態２による重要語句抽出装置の処理内容を示すフローチャートである。
【図１２】章節構造抽出部９における章節構造の抽出処理を示すフローチャートである。
【図１３】この発明の実施の形態３による重要語句抽出装置を示す構成図である。
【図１４】この発明の実施の形態３による重要語句抽出装置の処理内容を示すフローチャートである。
【図１５】重要語句再評価部１２における重要語句の再評価処理を示すフローチャートである。
【図１６】この発明の実施の形態４による重要語句抽出装置を示す構成図である。
【図１７】この発明の実施の形態４による重要語句抽出装置の処理内容を示すフローチャートである。
【図１８】重要語句の抽出対象である構造化文書の一例を示す説明図である。
【図１９】図１８の構造化文書から抽出された構造化文書属性情報を示す説明図である。
【図２０】構造化文書テキスト解析部２３による構造化文書文節解析結果例を示す説明図である。
【図２１】構造化文書重要語句評価部２５による重要語句スコア計算の一例を示す説明図である。
【符号の説明】
【００６０】
１  初期設定部（初期設定手段）、２  文書データ格納メモリ、３  レイアウト解析部（文書解析手段）、４  テキスト解析部（文書解析手段）、５  自立語抽出部（自立語抽出手段）、６  重要語句抽出部（重要語句抽出手段）、７  重要語句評価部（重要語句評価手段）、８  スコア付き重要語句メモリ、９  章節構造抽出部（手掛り情報抽出手段）、１１  重要語句選択部（重要語句評価手段）、１２  重要語句再評価部（重要語句評価手段）、１３  再計算済スコア付き重要語句メモリ、２１  構造化文書データ格納メモリ、２２  構造化文書属性解析部（文書解析手段）、２３  構造化文書テキスト解析部（文書解析手段）、２４  構造化文書章節構造抽出部（手掛り情報抽出手段）、２５  構造化文書重要語句評価部（重要語句評価手段）。
【図１】
0005072651.tif 000002
【図２】
0005072651.tif 000003
【図３】
0005072651.tif 000004
【図４】
0005072651.tif 000005
【図５】
0005072651.tif 000006
【図６】
0005072651.tif 000007
【図７】
0005072651.tif 000008
【図８】
0005072651.tif 000009
【図９】
0005072651.tif 000010
【図１０】
0005072651.tif 000011
【図１１】
0005072651.tif 000012
【図１２】
0005072651.tif 000013
【図１３】
0005072651.tif 000014
【図１４】
0005072651.tif 000015
【図１５】
0005072651.tif 000016
【図１６】
0005072651.tif 000017
【図１７】
0005072651.tif 000018
【図１８】
0005072651.tif 000019
【図１９】
0005072651.tif 000020
【図２０】
0005072651.tif 000021
【図２１】
0005072651.tif 000022