(57)【要約】【課題】  テキストデータの中から本文を抽出する。【解決手段】  コンピュータにより構成可能な本文抽出装置１と、この本文抽出装置１に接続されてＨＤＤやメモリなどの記憶装置から構成可能なテキストデータＤＢ２と、およびＨＤＤやメモリなどの記憶装置から構成可能な本文テキストデータＤＢ３を備える。さらに本文抽出装置１には、プレインテキスト変換部７と、まとめあげ部８と、統計量計算部９と、本文抽出部１０と、プレインテキストデータＤＢ４と、グループ化テキストデータＤＢ５と、統計量データＤＢ６を備えてテキストデータの中から本文を抽出する。【選択図】      図１
2006338364.tif 000002
【特許請求の範囲】
【請求項１】
外部より入力されたテキストデータの本文を抽出するための本文抽出装置であって、
外部からテキストデータを入力するインタフェイスを有し入力されたテキストデータを記憶するためのテキストデータデータベースと、
テキストデータデータベースに記憶されたテキストデータを文字列ごとに単位として計算し統計量を算出するための統計量計算手段と、
統計量計算手段が算出した統計量に基づいてテキストデータにおける本文の位置を推定して抽出する本文抽出手段と、
本文抽出手段が抽出した位置の本文を記憶するための本文データベースと、
を有することを特徴とする本文抽出装置。
【請求項２】
前記本文抽出手段は、
少数のテキストデータにのみ出現する文字列が存在する位置と、特定のテキストデータに偏って出現する文字列が存在する位置と、のうちのいずれか一方または両方の位置を本文の位置として推定することを特徴とする請求項１に記載の本文抽出装置。
【請求項３】
前記本文抽出手段は、
テキストデータにおける任意の行および／または任意の文字列を単位とすることを特徴とする請求項１または２のいずれかに記載の本文抽出装置。
【請求項４】
前記本文抽出手段は、
テキストデータの任意の行を単位として本文の位置を推定し、該推定した前記行について任意の文字列を単位としてさらに本文の位置を推定することを特徴とする請求項１または２のいずれかに記載の本文抽出装置。
【請求項５】
前記本文抽出手段は、
推定した本文の位置情報から本文に該当する文字列の文字列長がその前後の本文に該当しない文字列の文字列長より短い場合に、前記本文に該当する文字列の位置情報を本文でないものに変更する補正を実行し、
また、本文に該当しない文字列の文字列長がその前後の本文に該当する文字列の文字列長より短い場合に、前記本文に該当する文字列の位置情報を本文のものに変更する補正を実行する
ことを特徴とする請求項３または４のいずれかに記載の本文抽出装置。
【請求項６】
前記テキストデータデータベースは、
テキストデータがタグ付きテキストデータである場合にプレインテキストデータへ変換して記憶することを特徴とする請求項１に記載の本文抽出装置。
【請求項７】
前記テキストデータデータベースは、
入力されるテキストデータがＷｅｂサイトである場合においてＷｅｂサイト内のテキストデータ同士や、あるいは相互に類似するテキストデータ同士でもってグループに分類し、
前記本文抽出手段においてグループごとにそれぞれ本文の位置を推定して抽出することを特徴とする請求項１に記載の本文抽出装置。
【請求項８】
外部より入力されたテキストデータの本文を抽出するための本文抽出方法であって、
外部からテキストデータを入力するインタフェイスを有するテキストデータデータベースによって、入力されたテキストデータを記憶するステップと、
統計量計算手段によって、テキストデータデータベースに記憶されたテキストデータを文字列ごとに単位として計算し統計量を算出するステップと、
本文抽出手段によって、統計量計算手段が算出した統計量に基づいてテキストデータにおける本文の位置を推定して抽出するステップと、
本文データベースによって、本文抽出手段が抽出した位置の本文を記憶するステップと、
を有することを特徴とする本文抽出方法。
【請求項９】
前記本文抽出手段は、
少数のテキストデータにのみ出現する文字列が存在する位置と、特定のテキストデータに偏って出現する文字列が存在する位置と、のうちのいずれか一方または両方の位置を本文の位置として推定するステップ
を有することを特徴とする請求項８に記載の本文抽出方法。
【請求項１０】
前記本文抽出手段は、
テキストデータにおける任意の行および／または任意の文字列を単位とするステップ
を有することを特徴とする請求項８または９のいずれかに記載の本文抽出方法。
【請求項１１】
前記本文抽出手段は、
テキストデータの任意の行を単位として本文の位置を推定し、該推定した前記行について任意の文字列を単位としてさらに本文の位置を推定するステップ
を有することを特徴とする請求項８または９のいずれかに記載の本文抽出方法。
【請求項１２】
前記本文抽出手段は、
推定した本文の位置情報から本文に該当する文字列の文字列長がその前後の本文に該当しない文字列の文字列長より短い場合に、前記本文に該当する文字列の位置情報を本文でないものに変更する補正を実行し、
また、本文に該当しない文字列の文字列長がその前後の本文に該当する文字列の文字列長より短い場合に、前記本文に該当する文字列の位置情報を本文のものに変更する補正を実行するステップ
を有することを特徴とする請求項１０または１１のいずれかに記載の本文抽出方法。
【請求項１３】
前記テキストデータデータベースは、
テキストデータがタグ付きテキストデータである場合に、プレインテキストデータへ変換して記憶するステップを有することを特徴とする請求項８に記載の本文抽出方法。
【請求項１４】
前記テキストデータデータベースは、
入力されるテキストデータがＷｅｂサイトである場合においてＷｅｂサイト内のテキストデータ同士や、あるいは相互に類似するテキストデータ同士でもってグループに分類し、
前記本文抽出手段においてグループごとにそれぞれ本文の位置を推定して抽出するステップを有することを特徴とする請求項８に記載の本文抽出方法。
【請求項１５】
外部より入力されたテキストデータの本文を抽出するための本文抽出プログラムであって、
外部からテキストデータを入力するインタフェイスを有するテキストデータデータベースによって、入力されたテキストデータを記憶するステップと、
統計量計算手段によって、テキストデータデータベースに記憶されたテキストデータを文字列ごとに単位として計算し統計量を算出するステップと、
本文抽出手段によって、統計量計算手段が算出した統計量に基づいてテキストデータにおける本文の位置を推定して抽出するステップと、
本文データベースによって、本文抽出手段が抽出した位置の本文を記憶するステップと、
を有することを特徴とする本文抽出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テキストデータに含まれる本文を抽出する装置および方法に関するものである。
【背景技術】
【０００２】
現在、インターネット上には多数のテキスト（Ｗｅｂページ）が存在する。しかし、Ｗｅｂページには本文のほかに、本文とは無関係の情報も記載されている場合がある。例えば、ニュースサイトのＷｅｂページには本文記事とともに、各ジャンルのトップページへのリンクや最新記事へのリンクなどを説明する文字列が含まれている。
【０００３】
そこで、情報収集などの目的としてインターネットから主要な情報を得たい場合には、Ｗｅｂページから本文を抽出するフィルタが必要となる。ただし、対象となるサイトが異なればページ内の構成や表現も変わるので、多くのサイトを網羅するにはサイトごとのフィルタを準備する必要がある。しかし、これを人手で行うのは大変労力がかかる。
【０００４】
こうした労力を軽減するための技術として、従来はインターネット上のＷｅｂページをプレインテキスト化し、各行の特徴からＷｅｂページのタイトルや本文といったクラスの確率を事前学習した結果から計算し、プレインテキストの先頭から末尾まで、クラスの最適な状態遷移を求めることで、本文と推定された行を抽出するものがある（非特許文献１）。
【非特許文献１】新納ら、Ｗｅｂページ内の目的部分の自動抽出、情報処理学会自然言語処理研究会、２００４−ＮＬ−１６２（６），ｐｐ．３３−４０
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術では、どのサイトでも適用できるよう、各行のクラスの決定に使う特徴や状態遷移に汎用的なものを用いているが、汎用的な特徴では包含しきれない局所的な特徴を持つサイトや、あるいは汎用的な状態遷移では対処（包含）できないサイトについて、これらから漏れなく目的とする本文を抽出することは難しかった。
【０００６】
また、より幅広い種類のサイトに対して精度良く目的とする本文を抽出するために、その本文を構成する各行のクラスの決定に用いる特徴を細かく定めたり、あるいはサイトごとにクラスの状態遷移を準備することも考えられるが、それら特徴の決定や状態遷移の準備のために人手による対象ページの分析が必要となるので、やはり人手で抽出用フィルタを作成するのと同程度の労力を要していた。
【０００７】
本発明はこのような問題に鑑みてなされたもので、その目的とするところは、テキストデータの中から本文を抽出することにある。
【課題を解決するための手段】
【０００８】
請求項１に記載の本発明は、外部より入力されたテキストデータの本文を抽出するための本文抽出装置であって、外部からテキストデータを入力するインタフェイスを有し入力されたテキストデータを記憶するためのテキストデータデータベースと、テキストデータデータベースに記憶されたテキストデータを文字列ごとに単位として計算し統計量を算出するための統計量計算手段と、統計量計算手段が算出した統計量に基づいてテキストデータにおける本文の位置を推定して抽出する本文抽出手段と、本文抽出手段が抽出した位置の本文を記憶するための本文データベースと、を有する。
【０００９】
このような請求項１では、テキストデータデータベースに記憶したテキストデータの中から本文の位置を抽出するために、テキストデータを構成する文字列ごとを単位として統計量計算を行って統計量を算出し、この算出結果に基づいて本文の位置を抽出している。
【００１０】
また、請求項２に記載の本発明は、請求項１において、前記本文抽出手段は、少数のテキストデータにのみ出現する文字列が存在する位置と、特定のテキストデータに偏って出現する文字列が存在する位置と、のうちのいずれか一方または両方の位置を本文の位置として推定する。
【００１１】
このような請求項２では、文字列の出現文書数が多いものを除外したり、文字列の出現文書数が中程度で、どの文書にもまんべんなく出現するものを除外するために出現文書数や出現文書の偏りを用いている。
【００１２】
また、請求項３に記載の本発明は、請求項１または２のいずれかにおいて、前記本文抽出手段は、テキストデータにおける任意の行および／または任意の文字列を単位とする。
【００１３】
このような請求項３では、行単位は大まかに本文抽出をし、文字列単位はより細かい位置を本文抽出している。
【００１４】
また、請求項４に記載の本発明は、請求項１または２のいずれかにおいて、前記本文抽出手段は、テキストデータの任意の行を単位として本文の位置を推定し、該推定した前記行について任意の文字列を単位としてさらに本文の位置を推定する。
【００１５】
このような請求項４では、行単位でもって本文の位置を推定した後に文字列単位でもって本文の位置をさらに推定することにより、テキストデータの全体を文字列単位だけで本文抽出することに比して事前に行単位で絞込みを行い効率を向上させている。
【００１６】
また、請求項５に記載の本発明は、請求項３または４のいずれかにおいて、前記本文抽出手段は、推定した本文の位置情報から本文に該当する文字列の文字列長がその前後の本文に該当しない文字列の文字列長より短い場合に、前記本文に該当する文字列の位置情報を本文でないものに変更する補正を実行し、また、本文に該当しない文字列の文字列長がその前後の本文に該当する文字列の文字列長より短い場合に、前記本文に該当する文字列の位置情報を本文のものに変更する補正を実行する。
【００１７】
このような請求項５では、文字列単位の場合、本文抽出の位置とそうでない位置が細切れになりやすいので、あまりに小さな文字列の位置を抽出しないようにその位置の前後にあるより大きな位置に含まれるよう変更する補正を行っている。
【００１８】
また、請求項６に記載の本発明は、請求項１において、前記テキストデータデータベースは、テキストデータがタグ付きテキストデータである場合にプレインテキストデータへ変換して記憶する。
【００１９】
このような請求項６では、テキストデータにタグがついているデータ（例えばＨＴＭＬ）でも本文の位置の抽出を可能にしている。
【００２０】
また、請求項７に記載の本発明は、請求項１において、前記テキストデータデータベースは、入力されるテキストデータがＷｅｂサイトである場合においてＷｅｂサイト内のテキストデータ同士や、あるいは相互に類似するテキストデータ同士でもってグループに分類し、前記本文抽出手段においてグループごとにそれぞれ本文の位置を推定して抽出する。
【００２１】
このような請求項７では、同じＷｅｂサイトやグループ同士でのテキストデータを纏めてグループ化し、本文でない文字列が本文である文字列よりも重複して出現しやすい状況にして、本文の位置の抽出確度を向上させている。
【００２２】
また、請求項８に記載の本発明は、外部より入力されたテキストデータの本文を抽出するための本文抽出方法であって、外部からテキストデータを入力するインタフェイスを有するテキストデータデータベースによって、入力されたテキストデータを記憶するステップと、統計量計算手段によって、テキストデータデータベースに記憶されたテキストデータを文字列ごとに単位として計算し統計量を算出するステップと、本文抽出手段によって、統計量計算手段が算出した統計量に基づいてテキストデータにおける本文の位置を推定して抽出するステップと、本文データベースによって、本文抽出手段が抽出した位置の本文を記憶するステップと、を有する。
【００２３】
また、請求項９に記載の本発明は、請求項８において、前記本文抽出手段は、少数のテキストデータにのみ出現する文字列が存在する位置と、特定のテキストデータに偏って出現する文字列が存在する位置と、のうちのいずれか一方または両方の位置を本文の位置として推定するステップを有する。
【００２４】
また、請求項１０に記載の本発明は、請求項８または９のいずれかにおいて、前記本文抽出手段は、テキストデータにおける任意の行および／または任意の文字列を単位とするステップを有する。
【００２５】
また、請求項１１に記載の本発明は、請求項８または９のいずれかにおいて、前記本文抽出手段は、テキストデータの任意の行を単位として本文の位置を推定し、該推定した前記行について任意の文字列を単位としてさらに本文の位置を推定するステップを有する。
【００２６】
また、請求項１２に記載の本発明は、請求項１０または１１のいずれかにおいて、前記本文抽出手段は、推定した本文の位置情報から本文に該当する文字列の文字列長がその前後の本文に該当しない文字列の文字列長より短い場合に、前記本文に該当する文字列の位置情報を本文でないものに変更する補正を実行し、また、本文に該当しない文字列の文字列長がその前後の本文に該当する文字列の文字列長より短い場合に、前記本文に該当する文字列の位置情報を本文のものに変更する補正を実行するステップを有する。
【００２７】
また、請求項１３に記載の本発明は、請求項８において、前記テキストデータデータベースは、テキストデータがタグ付きテキストデータである場合に、プレインテキストデータへ変換して記憶するステップを有する。
【００２８】
また、請求項１４に記載の本発明は、請求項８において、前記テキストデータデータベースは、入力されるテキストデータがＷｅｂサイトである場合においてＷｅｂサイト内のテキストデータ同士や、あるいは相互に類似するテキストデータ同士でもってグループに分類し、前記本文抽出手段においてグループごとにそれぞれ本文の位置を推定して抽出するステップを有する。
【００２９】
また、請求項１５に記載の本発明は、外部より入力されたテキストデータの本文を抽出するための本文抽出プログラムであって、外部からテキストデータを入力するインタフェイスを有するテキストデータデータベースによって、入力されたテキストデータを記憶するステップと、統計量計算手段によって、テキストデータデータベースに記憶されたテキストデータを文字列ごとに単位として計算し統計量を算出するステップと、本文抽出手段によって、統計量計算手段が算出した統計量に基づいてテキストデータにおける本文の位置を推定して抽出するステップと、本文データベースによって、本文抽出手段が抽出した位置の本文を記憶するステップと、を有する。
【発明の効果】
【００３０】
本発明の本文抽出装置及び方法、そのプログラムによれば、テキストデータの中から本文を抽出することができる。
【００３１】
また、本発明の別の効果は、テキストデータの中の文字列の出現文書数が中程度のものを除外することができる。
【００３２】
また、本発明の別の効果は、テキストデータの中の行単位で大まかに本文を抽出でき、文字列単位でより細かい位置で本文の抽出をすることができる。
【００３３】
また、本発明の別の効果は、テキストデータの全体を文字列単位だけで本文抽出する前に行単位で絞込みを行って位置抽出の作業効率を向上させることができる。
【００３４】
また、本発明の別の効果は、文字列単位の場合に本文抽出の位置とそうでない位置が細切れになりやすくなることを防止することができる。
【００３５】
また、本発明の別の効果は、テキストデータにタグがついているデータでも本文の位置を抽出することが可能となる。
【００３６】
また、本発明の別の効果は、同じＷｅｂサイトやグループ同士でのテキストデータを纏めてグループ化でき、本文でない文字列が本文である文字列よりも重複して出現しやすい状況にして、本文の位置を抽出する確度を向上させることができる。
【発明を実施するための最良の形態】
【００３７】
＜実施の形態の概要＞
図１は、文章データ抽出装置の実施の形態の概略を説明するための構成図を示している。
【００３８】
この図１には、コンピュータにより構成可能な本文抽出装置１と、この本文抽出装置１に接続されてＨＤＤやメモリなどの記憶装置から構成可能なテキストデータＤＢ２と、およびＨＤＤやメモリなどの記憶装置から構成可能な本文テキストデータＤＢ３が示されている。さらに本文抽出装置１には、プレインテキスト変換部７と、まとめあげ部８と、統計量計算部９と、本文抽出部１０と、プレインテキストデータＤＢ４と、グループ化テキストデータＤＢ５と、統計量データＤＢ６を備えている。
【００３９】
このような構成の本文抽出装置１においては、まずインターネット上や種々の情報を記憶したデータベース（ＤＢ）上、あるいは記憶媒体に記憶されたテキスト情報などの様々なデータ形式によるテキストデータを受け入れるための図示しないインタフェイスを構成し、このようなインタフェイスを備えたテキストデータＤＢ２よりテキストデータが入力される（後述の図２におけるステップ１）。またテキストデータにＨＴＭＬファイルのようにタグが付与されている場合は、プレインテキストに変換した後にプレインテキストデータＤＢ４へ出力するプレインテキスト変換部７（後述の図２におけるステップ７）を有する。なお、入力したテキストデータがプレインテキストの場合は、テキストデータＤＢ２に記憶されたテキストデータがそのままプレインテキストデータ４に記憶される。
【００４０】
また、プレインテキストデータＤＢ４からプレインテキストを入力し、プレインテキストが同じサイトでない場合やプレインテキストを構成する表現が類似していない場合は、複数のプレインテキストをグループ化した結果をグループ化テキストデータＤＢ５へ出力するための、まとめあげ部８（後述の図２におけるステップ８）を有する。なお、プレインテキストが同じサイトかプレインテキストを構成する表現が類似している場合は、プレインテキストデータＤＢ４の内容がそのままグループ化テキストデータＤＢ５の記憶内容となる。
【００４１】
また、あらかじめ、統計量データＤＢ６に統計量が記憶されていない場合は、グループ化テキストデータＤＢ５に記憶されている内容を入力し、グループごとに文字列の統計量を計算して統計量データＤＢ６へ出力する統計量計算部９（後述の図２におけるステップ９）を有する。
【００４２】
また、グループ化テキストデータＤＢ５からグループ化されたテキストデータを、統計量データＤＢ５からグループに対応した文字列の統計量を入力し、文字列の統計量を基にグループごとに本文の位置を推定し（後述の図２におけるステップ５）、各プレインテキストの本文を本文テキストデータＤＢ３へ出力する（後述の図２におけるステップ６）本文抽出部１０を有する。なお、図中の二重線の矢印は処理順序を一重線の矢印はデータの流れを示す。
【００４３】
次の図２は、文章データ抽出装置及び方法の実施の形態における処理手順の概要を説明するためのフローチャートを示している。
【００４４】
まず、処理の開始と共にテキストデータの入力が実行される（ステップ１）。次に、入力されたテキストデータがタグ付きのテキストデータであるか否かの判断が実行される（ステップ２）。このステップ２における判断の結果、テキストデータがＨＴＭＬファイルのようにタグが付与されている場合は、プレインテキストに変換される（ステップ７）。あるいはタグ付きテキストではなくプレインテキストである場合は、次にグループ化の処理が実行されているか否かの判断が実行される（ステップ３）。
【００４５】
ステップ３の判断結果において、グループ化されておらず、同じサイトでない場合やテキストを構成する表現が類似していない場合はプレインテキストをグループ化する（ステップ８）。あるいはグループ化されている場合は、次に文字列の統計量データがあるか否かの判断が実行される（ステップ４）。
【００４６】
ステップ４の判断結果において、文字列の統計量データがない場合はグループごとにテキスト中の文字列の統計量を計算する（ステップ９）。あるいは文字列の統計量データがある場合には、次に各グループのテキストについて、グループに対応した文字列の統計量を基に本文を抽出し（ステップ５）、抽出した本文テキストのデータを出力した後に終了する（ステップ６）。
【００４７】
次の図３は、統計量計算部９の構成に係るブロック図を示している。
【００４８】
統計量計算部９は、グループ化テキストデータＤＢ５からグループごとにテキストデータを入力し、行単位の統計量を計算した結果を統計量データＤＢ６へ出力する行単位統計量計算部２０と、グループ化テキストデータＤＢ５からグループごとにテキストデータを入力し、文字列単位の統計量を計算した結果を統計量データ６へ出力する文字列単位統計量計算部２１を有する。
【００４９】
次の図４は、本文抽出部１０の構成を表すブロック図を示している。
【００５０】
本文抽出部１０は、グループ化テキストデータＤＢ５からグループごとのテキストデータを取得する。さらに統計量データＤＢ６からはグループに対応した文字列の統計量を取得する。そして、グループごとのテキストデータに対して、行単位の統計量を用いて本文の位置を推定し、結果を行単位本文推定データＤＢ２４へ出力する行単位本文推定部２２と、行単位本文推定データＤＢ２４から推定された行を、統計量データ６から文字列の統計量を入力し、文字列単位の統計量を用いて、推定された行における本文の位置を推定し、各プレインテキストの本文を本文テキストデータ３へ出力する文字列単位本文推定部２３を有する。なお、二重線の矢印は処理順序を一重線の矢印はデータの流れを示している。
【００５１】
次の図５は、行単位本文推定部２２の構成を表すブロック図を示す。
【００５２】
行単位本文推定部２２は、グループ化テキストデータ５からグループごとのテキストを、統計量データ６からグループに対応した文字列の統計量を入力し、グループごとのテキストデータに対して、行単位で文書頻度を調べ、ある文書頻度以下のものを本文の位置として推定して、本文の位置を行単位文書頻度本文推定データ２７へ出力する行単位文書頻度本文推定部２５を有する。
【００５３】
また、行単位文書頻度本文推定データＤＢ２７からグループごとのテキストデータから行単位の文書頻度を基に本文の位置を推定したテキストデータを入力し、統計量データＤＢ６からグループに対応した文字列の統計量を入力し、グループごとのテキストデータに対して、行単位で文書の出現の偏り度を調べ、ある度合い以上のものを本文の位置として推定して、本文の位置を行単位本文推定データＤＢ２４へ出力する行単位文書偏り度本文推定部２６を有する。なお、二重線の矢印は処理順序を一重線の矢印はテキストデータの流れを示している。
【００５４】
図６は、文字列単位本文推定部２３の構成を表すブロック図である。
【００５５】
文字列単位本文推定部２３は、行単位本文推定データＤＢ２４からグループごとのテキストデータから行単位で本文推定したテキストデータを、統計量データＤＢ６からグループに対応した文字列の統計量を入力し、グループごとのテキストデータから行単位で本文推定したテキストデータに対して、文字列単位で文書頻度を調べ、ある文書頻度以下のものを本文の位置として推定して、その本文の位置を文字列単位文書頻度本文推定データＤＢ３０へ出力する文字列単位文書頻度本文推定部２８を有する。
【００５６】
また、文字列単位文書頻度本文推定データＤＢ３０からグループごとのテキストデータから文字列単位の文書頻度を基に本文の位置を推定したテキストデータを入力し、統計量データＤＢ６からグループに対応した文字列の統計量を入力し、グループごとのテキストデータに対して、文字列単位で文書の出現の偏り度を調べ、ある度合い以上のものを本文の位置として推定して、その本文の位置を本文テキストデータＤＢ３へ出力する文字列単位文書偏り度本文推定部２９を有する。なお、二重線の矢印は処理順序を一重線の矢印はデータの流れを示している。
【００５７】
＜実施の形態＞
上述の実施の形態の概要に基づいて更に詳細に説明する。
【００５８】
まず、図１に示す本文抽出装置１に基づいて説明する。
【００５９】
図１のプレインテキスト変換部７では、テキストデータＤＢ２からテキストデータが入力され（ステップ１）、テキストデータがＨＴＭＬファイルのようにタグが付与されている場合は、プレインテキストに変換してプレインテキストデータＤＢ４へ出力する。
【００６０】
例えば、テキストデータＤＢ２に、図８に示す（ａ）や（ｂ）のようなページのＨＴＭＬファイルがある場合、図９に示す（ａ）や（ｂ）のプレインテキストに変換され、プレインテキストデータＤＢ４へ出力される。
【００６１】
なお、図８のＨＴＭＬファイルや図９のプレインテキストは、便宜上、一部の文字を記号に置き換えている。
【００６２】
2006338364.tif 000003
以外は同じ文字ごとに特定の記号に置き換えたものとする。一方、
2006338364.tif 000004
の各並びは、先頭から末尾までを範囲とする任意の文字列を置き換えたものとする（図１０の本文テキストや図７の統計量データも同様）。
【００６３】
次に、図１のまとめあげ部８では、プレインテキストデータＤＢ４からプレインテキストを入力し、プレインテキストが同じサイトもしくはプレインテキストを構成する表現が類似していない場合は、複数のプレインテキストをグループ化した結果をグループ化テキストデータＤＢ５へ出力する。
【００６４】
例えば、図８のＨＴＭＬファイルは、（ａ）のＵＲＬが、http://news.xxx.xxx/20050101/0001.htmlであり、（ｂ）のＵＲＬが、http://news.xxx.xxx/20050101/0002.htmlであり、http://news.xxx.xxx/が同じサイトである。この情報は、図９の（ａ）、（ｂ）にも受け継がれるので、図９の（ａ）と（ｂ）は同じグループとなる。
【００６５】
次に、図１の統計量計算部９では、あらかじめ、統計量データＤＢ６がない場合は、グループ化テキストデータＤＢ５に記憶されている内容を入力し、グループごとに文字列の統計量を計算して統計量データＤＢ６へ出力する。
【００６６】
以下では、図３の統計量計算部９に基づいて、より詳しく説明する。
【００６７】
まず、行単位統計量計算部２０では、グループ化テキストデータ５からグループごとにテキストデータを入力し、行単位の統計量を計算した結果を統計量データＤＢ６へ出力する。例えば、図７（ａ）のように、行単位で統計量（出現頻度、出現文書数）が計算される。
【００６８】
一方、文字列単位統計量計算部２１では、グループ化テキストデータＤＢ５からグループごとにテキストデータを入力し、文字列単位の統計量を計算した結果を統計量データＤＢ６へ出力する。
【００６９】
例えば、図７（ｂ）のように、文字列単位で統計量（出現頻度、出現文書数）が計算される。
【００７０】
なお、図７は行単位、文字列単位の統計量の一部を表している。
【００７１】
以上で、図３の統計量計算部９に基づく説明を終える。
【００７２】
次に、図１の本文抽出部１０では、グループ化テキストデータＤＢ５からテキストデータを、統計量データＤＢ６から各文字列の統計量を入力し、各テキストデータに対して文字列の統計量を基に本文の位置を推定し、各テキストデータの本文を本文テキストデータとして本文テキストデータＤＢ３へ出力する。
【００７３】
以下では、図４の本文抽出部１０の行単位本文推定部２２を図５に基づいて、文字列単位本文推定部２３を図６に基づいて、より詳しく説明する。
【００７４】
まず、図４の行単位本文推定部２２は、図５の行単位文書頻度本文推定部２５で、グループ化テキストデータＤＢ５からテキストデータを、統計量データＤＢ６から各文字列の統計量を入力し、グループごとのテキストデータにおいて、ほとんど全てのテキストデータに出現する行は本文の可能性が低い文字列であることから、各行の出現文書数が閾値以下であれば本文候補として選定し、行単位文書頻度本文推定データＤＢ２７へ出力する。各行の出現文書数の閾値は、あるグループのテキストデータの総文書数をＤとすると、各行の出現文書数は１〜Ｄの範囲なので、閾値をＤ×Ｔ１（Ｔ１は０〜１の数値）で定数値Ｔ１を高くしておけばよい。なお、閾値の定め方はこれに限定されない。例えば閾値の定め方のバリエーションとしては、あらかじめ人手で閾値を指定してもよい。また、出現文書数に関する閾値を総文書数の％（割合）で指定してもよい。また、以下に述べるいずれの閾値の指定についても同様である。
【００７５】
例えば、あるグループのテキストデータの総文書数Ｄ＝１００、定数Ｔ１＝０．８とした場合、閾値は８０となるので、各行の出現文書数が８０以下であれば本文として選定する。図９の（ａ）のテキストデータにおいて各行を調べると、図７（ａ）から、本文ではない“社会｜国際｜芸能”の出現文書数は１００で閾値を超えるので、本文候補として選定されない。一方、本文の一部である“△□で震度２（○×新聞）”の出現文書数は２で閾値以下なので、本文候補として選定される。ただし、本文ではない
2006338364.tif 000005
の出現文書数は６０で閾値以下なので、ここでは本文候補として選定されている。
【００７６】
次に、図５の行単位文書偏り度本文推定部２６では、行単位文書頻度本文推定データＤＢ２７からテキストデータについて行単位で文書頻度を基に推定した本文の位置を、統計量データＤＢ６から各文字列の統計量を入力し、グループごとのテキストデータにおいて、ある程度の文書に幅広く出現する行は、本文の可能性が低い文字列であることから、各行の出現文書数が閾値を越え、かつ特定の文書の偏り度を表わす統計値が閾値未満であれば本文候補とせず、残った本文候補は行単位本文推定データＤＢ２４へ出力される。各行の出現文書数の閾値はＴ２（Ｔ２は数値）として定めることができる。なお、閾値の定め方はこれに限定されない。
【００７７】
また、特定の文書の偏り度はＩＤＦやＴＦＩＤＦや残差ＩＤＦ（ＲＩＤＦ（文献：北ら、「情報検索アルゴリズム」、共立出版、２００２年１月１日初版、Ｐ．３７，４３−４５））によって求めることができる。ＩＤＦは出現文書数の逆数なので、多くの文書に出現するほど値が小さく、少数の特定の文書にしか出現しないと大きくなる。またＴＦＩＤＦは、ＩＤＦに単語出現数ＴＦをかけたもので、ＩＤＦの特徴に出現頻度を加味したものである。また、ＲＩＤＦは実際のＩＤＦからポアソン分布から推定されるＩＤＦを引いたもので、ＩＤＦの特徴に加え、内容に関連する文字列では大きく、一般的な文字列では小さくなる特徴がある。計算方法に応じて特定の文書の偏り度を表わす統計値の閾値Ｔ３（Ｔ３は数値）を定めることができる。なお、偏り度の計算はこれに限定されず、同等の特徴を持つ統計量であればそれを用いて構わない。
【００７８】
例えば、Ｔ２＝３０、偏り度をＲＩＤＦで計算し、ＲＩＤＦの閾値Ｔ３＝０とした場合、図５の行単位文書頻度本文推定データ２７から、本文の一部として推定された“△□で震度２（○×新聞）”を入力し、その出現文書数は２で閾値Ｔ２以下なので、本文候補として選定される。また、本文ではない
2006338364.tif 000006
の出現文書数は６０で閾値Ｔ２を越え、ＲＩＤＦが−０．４１でＴ３未満であるので、本文候補として選定されない。なお、ＲＩＤＦは統計量計算部９で事前に計算しておいても構わない。
【００７９】
ところで、行単位本文推定部２２では、まず、行単位文書頻度本文推定部２５によって、入力したテキストデータのほとんど全てのテキストデータに出現する本文の可能性が低い行が除かれ、さらに残った行に対し、行単位文書偏り度本文推定部２６により、中程度の数のテキストデータに出現する本文の可能性が低い行が除かれるので、単独に行うのと比べて高精度で本文を抽出することができる。
【００８０】
ただし、処理速度などの都合上、行単位文書頻度本文推定部２５または行単位文書偏り度本文推定部２６のみでも構わない。また、他の推定方法があればそれを追加したり、処理の順番を組み合わせるなど様々な場合を排除しない。
【００８１】
以上で、図４の本文抽出部１０の行単位本文推定部２２の図５に基づく説明を終える。
【００８２】
次に、図４の文字列単位本文推定部２３を、図６に基づいて説明する。
【００８３】
まず、図４の文字列単位本文推定部２３は、図６の文字列単位文書頻度本文推定部２８で、各テキストデータの各行の本文推定（図５の行単位文書頻度本文推定部２５）と同様な方法で、各行の文字列に関して本文の位置かどうかを推定する。
【００８４】
文字列単位文書頻度本文推定部２８では、行単位本文推定データＤＢ２４からテキストデータに対し行単位で本文推定したテキストデータを、統計量データＤＢ６から各文字列の統計量を入力し、グループごとのテキストデータにおいて、ほとんど全てのテキストデータに出現する文字列は本文の可能性が低い文字列であることから、各行の文字列の出現文書数が閾値以下であれば本文候補として選定し、文字列単位文書頻度本文推定データＤＢ３０へ出力する。
【００８５】
各行の文字列の出現文書数の閾値は、あるグループのテキストデータの総文書数をＤとすると、各行の出現文書数は１〜Ｄの範囲なので、閾値をＤ×Ｔ４（Ｔ４は０〜１の数値）で定数値Ｔ４を高くしておけばよい。なお、閾値の定め方はこれに限定されない。
【００８６】
また、説明では各行の文字列は、処理時間を考慮して２文字の文字列に関して説明するが、任意の文字列であっても構わない。また、事前に形態素解析や構文解析などを使用し、単語や句や節などを単位として文字列を処理しても構わない。
【００８７】
例えば、あるグループのテキストデータの総文書数Ｄ＝１００、定数Ｔ４＝０．８とした場合、閾値は８０となり、各文字列の出現文書数が８０以下であれば本文の位置として選定する。まず、行単位本文推定部２２で本文候補となった行を調べると、本文の一部である“△□で震度２（○×新聞）”があるので、これについて任意の２文字からなる文字列を調べる（図７（ｂ））と、“新聞”、“聞）”が閾値の８０を超えるため、対象外となる。
【００８８】
次に、図６の文字列単位文書偏り度本文推定部２９で、各テキストデータの各行の本文推定を図５の行単位文書偏り度本文推定部２６と同様な方法で、各文字列に関して本文の位置かどうかを推定する。
【００８９】
文字列単位文書偏り度本文推定部２９では、文字列単位文書頻度本文推定データＤＢ３０からテキストデータについて文字列単位で文書頻度を基に推定した本文の位置を、統計量データＤＢ６から各文字列の統計量を入力し、グループごとのテキストデータにおいて、ある程度の文書に幅広く出現する文字列は、本文の可能性が低い文字列であることから、各文字列の出現文書数が閾値を越え、かつ特定の文書の偏り度を表わす統計値が閾値未満であれば本文候補とせず、残った本文の位置を本文テキストデータＤＢ３へ出力する。各文字列の出現文書数の閾値はＴ５（Ｔ５は数値）として定めることができる。なお、閾値の定め方はこれに限定されない。
【００９０】
また、特定の文書の偏り度は行単位文書偏り度本文推定部２６と同様にＩＤＦやＴＦＩＤＦや残差ＩＤＦ（ＲＩＤＦ）によって求めることができる。計算方法に応じて特定の文書の偏り度を表わす統計値の閾値Ｔ６（Ｔ６は数値）を定めることができる。なお、出現する度合いの統計量の計算はこれに限定されず、同等の特徴を持つ統計量であればそれを用いて構わない。
【００９１】
例えば、Ｔ５＝３０、偏り度をＲＩＤＦで計算し、ＲＩＤＦの閾値Ｔ６＝０とした場合、文字列単位文書頻度本文推定データ３０の２文字からなる文字列を調べる（図７（ｂ））と、“△□”、“□で”、“で震”、“震度”、“度２”“２（”が出現文書数が閾値Ｔ５以下で、ＲＩＤＦの閾値がＴ６以上なので、本文の位置の候補として選定される。なお、ＲＩＤＦは統計量計算部９で事前に計算しておいても構わない。
【００９２】
そして、残った文字列の基の出現位置から、“△□で震度２（”が本文候補となる。なお、文字をチェックして、本来、あるべきではない位置に文字がある場合（例えば、末尾に“（”）、その文字は除いて、“△□で震度２”としても構わない。また、各行の文字列に対して本文である（もしくは、そうでない）文字列の塊が細かい場合は、前後の長い塊となる本文ではない文字列（もしくは、本文の文字列）の本文推定結果に合わせて補正を行っても構わない。例えば、図９（ａ）の「１日午後１２時ごろ、日本海を震源とする地震があった。」が行単位本文推定部２２で本文として推定され、文字列単位本文推定部２３において、“１２”が本文ではない文字列“１日午後”と“時ごろ、日本海を震源とする地震があった。”が本文である文字列となった場合、本文ではない文字列“１２”の長さよりも周りの文字列の長さが長いので、“１２”も本文である文字列とするように補正する。そして最終的には、図８の（ａ）や（ｂ）から図１０（ａ）や（ｂ）のように正確に本文の位置が抽出される。以上で、図４の文字列単位本文推定部２３の図６に基づく説明を終える。
【００９３】
なお、以上説明した実施の形態の構成をもって、例えば、定期的にテキスト群を抽出し、テキスト群に含まれている単語について統計量(例えば、頻度や単語を含む文書数)を計算し、ある単語について前回と今回の統計量を比較して、今回のテキスト群に特徴的に出現する単語(話題語)のリストを表示するといった活用をすることができる。
【００９４】
さらに以上説明した実施の形態によれば、テキストデータの中から本文を抽出することができる。
【００９５】
また、テキストデータの中の文字列の出現文書数が中程度のものを除外することができる。
【００９６】
また、テキストデータの中の行単位で大まかに本文を抽出でき、文字列単位でより細かい位置で本文の抽出をすることができる。
【００９７】
また、テキストデータの全体を文字列単位だけで本文抽出する前に行単位で絞込みを行って位置抽出の作業効率を向上させることができる。
【００９８】
また、文字列単位の場合に本文抽出の位置とそうでない位置が細切れになりやすくなることを防止することができる。
【００９９】
また、テキストデータにタグがついているデータ（例えばＨＴＭＬ）でも本文の位置を抽出することが可能となる。
【０１００】
また、同じＷｅｂサイトやグループ同士でのテキストデータを纏めてグループ化でき、本文でない文字列が本文である文字列よりも重複して出現しやすい状況にして、本文の位置を抽出する確度を向上させることができる。
【図面の簡単な説明】
【０１０１】
【図１】実施の形態に係る本文抽出装置の構成図を示す。
【図２】実施の形態に係る処理手順の概要を表すフローチャートを示す。
【図３】実施の形態に係る統計量計算部の構成を示すブロック図を示す。
【図４】実施の形態に係る本文抽出部の構成を示すブロック図を示す。
【図５】実施の形態に係る行単位本文推定部の構成を示すブロック図を示す。
【図６】実施の形態に係る文字列単位本文推定部の構成を示すブロック図を示す。
【図７】実施の形態に係る統計量データの一例を示す。
【図８】実施の形態に係るタグ付きテキスト（ページ）データの一例を示す。
【図９】実施の形態に係るプレインテキストデータの一例を示す。
【図１０】実施の形態に係る本文テキストデータの一例を示す。
【符号の説明】
【０１０２】
１  本文抽出装置
２  テキストデータＤＢ（データベース）
３  本文テキストデータＤＢ
４  プレインテキストデータＤＢ
５  グループ化テキストデータＤＢ
６  統計量データＤＢ
７  プレインテキスト変換部
８  まとめあげ部
９  統計量計算部
１０  本文抽出部
【図１】
2006338364.tif 000007
【図２】
2006338364.tif 000008
【図３】
2006338364.tif 000009
【図４】
2006338364.tif 000010
【図５】
2006338364.tif 000011
【図６】
2006338364.tif 000012
【図７】
2006338364.tif 000013
【図８】
2006338364.tif 000014
【図９】
2006338364.tif 000015
【図１０】
2006338364.tif 000016