(57)【要約】【課題】記事群から自動で項目表現と固有表現の対を抽出する情報抽出装置、情報抽出方法及び情報抽出プログラムを提供する。【解決手段】主要表現抽出部１１が、関連記事ＤＢ１４に格納された記事群から、１又は複数の項目表現と１又は複数の固有表現の種類とを主要表現として抽出し、情報対抽出部１２が、上記記事群から上記主要表現が同時に出現している箇所を特定し、該特定された箇所に記載されている項目表現と固有表現との対を情報対として抽出する。【選択図】図１
2008287388.tif 000002
【特許請求の範囲】
【請求項１】
情報抽出装置であって、
記事群から項目表現と固有表現の種類とを主要表現として抽出する主要表現抽出手段と、
前記記事群から前記主要表現が同時に出現している箇所を特定し、該特定された箇所に記載されている項目表現と固有表現との対を情報対として抽出する情報対抽出手段とを備える
ことを特徴とする情報抽出装置。
【請求項２】
請求項１に記載の情報抽出装置において、
前記主要表現抽出手段が、前記記事群から項目表現と固有表現の種類と単位表現とを主要表現として抽出し、
前記情報対抽出手段が、項目表現と固有表現と前記単位表現に関連する数値表現との対を情報対として抽出する
ことを特徴とする情報抽出装置。
【請求項３】
請求項１又は請求項２に記載の情報抽出装置において、
前記主要表現抽出手段が、更に、前記抽出された固有表現の種類の前または後に予め決められた単語が付随するか否かに基づいて前記固有表現の種類を分類し、該分類された各々の固有表現の種類を前記主要表現とする
ことを特徴とする情報抽出装置。
【請求項４】
情報抽出装置であって、
記事群から項目表現と単位表現とを主要表現として抽出する主要表現抽出手段と、
前記記事群から前記主要表現が同時に出現している箇所を特定し、該特定された箇所に記載されている項目表現と前記単位表現に関連する数値表現との対を情報対として抽出する情報対抽出手段とを備え、
前記主要表現抽出手段が、前記抽出された単位表現に関連する数値表現の前又は後に予め決められた単語が付随するか否かに基づいて前記数値表現を分類し、該分類された各々の数値表現に関連する単位表現を前記主要表現とする
ことを特徴とする情報抽出装置。
【請求項５】
請求項１又は請求項２に記載の情報抽出装置において、
前記主要表現抽出手段が、更に、前記抽出された固有表現の種類の前又は後に付随する単語を抽出し、該抽出された単語から選択された単語が付随する固有表現の種類を前記主要表現とする
ことを特徴とする情報抽出装置。
【請求項６】
情報抽出装置であって、
記事群から項目表現と単位表現とを主要表現として抽出する主要表現抽出手段と、
前記記事群から前記主要表現が同時に出現している箇所を特定し、該特定された箇所に記載されている項目表現と前記単位表現に関連する数値表現との対を情報対として抽出する情報対抽出手段とを備え、
前記主要表現抽出手段が、更に、前記抽出された単位表現に関連する数値表現の前又は後に付随する単語を抽出し、該抽出された単語から選択された単語が付随する数値表現に関連する単位表現を前記主要表現とする
ことを特徴とする情報抽出装置。
【請求項７】
請求項１又は請求項２に記載の情報抽出装置において、
前記主要表現抽出手段が、更に、主要表現に付随する場合と付随しない場合とにおける主要表現の区分けの度合いが高くなる単語を決定し、該決定された単語が付随する主要表現と該単語が付随しない主要表現とを主要表現として抽出する
ことを特徴とする情報抽出装置。
【請求項８】
情報抽出装置であって、
記事群から項目表現と単位表現とを主要表現として抽出する主要表現抽出手段と、
前記記事群から前記主要表現が同時に出現している箇所を特定し、該特定された箇所に記載されている項目表現と前記単位表現に関連する数値表現との対を情報対として抽出する情報対抽出手段とを備え、
前記主要表現抽出手段が、更に、主要表現に付随する場合と付随しない場合とにおける主要表現の区分けの度合いが高くなる単語を決定し、該決定された単語が付随する主要表現と該単語が付随しない主要表現とを主要表現として抽出する
ことを特徴とする情報抽出装置。
【請求項９】
請求項２又は請求項８に記載の情報抽出装置において、
前記主要表現抽出手段が、更に、前記抽出された単位表現に関連する数値表現の前又は後に付随する単語を抽出し、該抽出された単語が付随する数値表現の正規分布と該抽出された単語が付随しない数値表現の正規分布とを求め、求めた正規分布同士が重なっている割合が最も小さい場合の単語が付随する数値表現に関連する単位表現と該単語が付随しない数値表現に関連する単位表現とを前記主要表現とする
ことを特徴とする情報抽出装置。
【請求項１０】
請求項１、請求項２、又は請求項７に記載の情報抽出装置において、
前記主要表現抽出手段が、更に、前記抽出された固有表現の種類の前又は後に付随する単語を抽出し、前記抽出された固有表現の種類に属する固有表現同士の類似度を求め、前記求まった固有表現同士の類似度と各々の固有表現に前記抽出された単語が付随するか否かを示す情報とに基づいて決まるスコア値に基づいて、固有表現に付随した場合と付随しない場合とにおける前記固有表現の区分けの度合いが高くなる単語を決定し、該決定された単語が付随する固有表現の種類と該単語が付随しない前記固有表現の種類とを前記主要表現とする
ことを特徴とする情報抽出装置。
【請求項１１】
請求項１、請求項２、又は請求項８に記載の情報抽出装置において、
前記主要表現抽出手段が、更に、前記抽出された単位表現の前又は後に付随する単語を抽出し、前記抽出された単位表現に関連する数値表現同士の類似度を求め、前記求まった数値表現同士の類似度と各々の数値表現に前記抽出された単語が付随するか否かを示す情報とに基づいて決まるスコア値に基づいて、単位表現に付随した場合と付随しない場合とにおける前記単位表現の区分けの度合いが高くなる単語を決定し、該決定された単語が付随する単位表現と該単語が付随しない単位表現とを前記主要表現とする
ことを特徴とする情報抽出装置。
【請求項１２】
請求項１乃至１１のいずれか１項に記載の情報抽出装置において、
前記主要表現抽出手段が、更に、前記抽出された主要表現の前記記事群における頻度に基づき所定の算出式に従って算出されるスコア値に基づいて、最終的に抽出対象とする主要表現を決定する
ことを特徴とする情報抽出装置。
【請求項１３】
請求項１乃至３、請求項５、請求項７、又は請求項１０のいずれか１項に記載の情報抽出装置において、
前記主要表現抽出手段が、更に、前記記事群から、該記事群中の単語が属するクラスターを抽出して、該抽出された各クラスターを前記固有表現の種類とする
ことを特徴とする情報抽出装置。
【請求項１４】
請求項１乃至１３のいずれか１項に記載の情報抽出装置において、
前記情報対抽出手段が、更に、前記主要表現抽出手段によって抽出された主要表現のうち、ユーザの指定入力に基づいて特定の主要表現を選択し、前記選択された特定の主要表現に基づいて、前記記事群から情報対を抽出する
ことを特徴とする情報抽出装置。
【請求項１５】
請求項１乃至１４のいずれか１項に記載の情報抽出装置において、
前記情報対抽出手段が、更に、機械学習の手法を用いて、前記情報対を抽出する
ことを特徴とする情報抽出装置。
【請求項１６】
請求項１乃至１５のいずれか１項に記載の情報抽出装置において、
前記情報対抽出手段が、更に、抽出した情報対の中から、所定の評価値算出式に基づいて算出される評価値に基づいて情報対を選択する
ことを特徴とする情報抽出装置。
【請求項１７】
請求項１乃至１６に記載の情報抽出装置が、更に、
前記情報対抽出手段によって抽出された情報対について相関分析を行う手段を備える
ことを特徴とする情報抽出装置。
【請求項１８】
請求項１乃至１７に記載の情報抽出装置において、
前記情報対抽出手段によって抽出された情報対をグラフ化して表示する表示手段を備える
ことを特徴とする情報抽出装置。
【請求項１９】
情報抽出方法であって、
記事群から項目表現と固有表現の種類とを主要表現として抽出し、
前記記事群から前記主要表現が同時に出現している箇所を特定し、該特定された箇所に記載されている項目表現と固有表現との対を情報対として抽出する
ことを特徴とする情報抽出方法。
【請求項２０】
情報抽出プログラムであって、
コンピュータに、
記事群から項目表現と固有表現の種類とを主要表現として抽出する処理と、
前記記事群から前記主要表現が同時に出現している箇所を特定し、該特定された箇所に記載されている項目表現と固有表現との対を情報対として抽出する処理とを実行させる
ことを特徴とする情報抽出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報抽出技術に関し、特に、記事群から項目表現と固有表現とを情報対として抽出する情報抽出装置、情報抽出方法及び情報抽出プログラムに関する。
【背景技術】
【０００２】
従来の情報抽出技術として、例えば、下記の非特許文献１は、文間関係を利用して、文間関係が推移か更新かを判断し、その情報を利用して動向情報を抽出する技術に関して記載している。
【非特許文献１】難波，国政，福島，相沢，奥村：“文書横断文間関係を考慮した動向情報の抽出と可視化”，情報処理学会自然言語処理研究会，2005-NL-168 ， pp.67−74 (2005).
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、上記従来技術は、記事群に含まれる項目表現と固有表現の対を自動的に抽出することは行っていない。また、従来技術は、抽出した上記項目表現と固有表現の対をグラフ表示することは行っていない。従って、従来技術によっては、記事群に含まれる項目表現と固有表現の対を一目で把握できるように表示することはできず、ユーザが、記事群の情報を素早く理解することは困難である。
【０００４】
本発明は、上記従来技術の問題点を解決し、記事群から自動で項目表現と固有表現の対を抽出する情報抽出装置、情報抽出方法及び情報抽出プログラムの提供を目的とする。
【課題を解決するための手段】
【０００５】
本発明の情報抽出装置は、情報抽出装置であって、記事群から項目表現と固有表現の種類とを主要表現として抽出する主要表現抽出手段と、前記記事群から前記主要表現が同時に出現している箇所を特定し、該特定された箇所に記載されている項目表現と固有表現との対を情報対として抽出する情報対抽出手段とを備える。
【０００６】
好ましくは、本発明の情報抽出装置において、前記主要表現抽出手段が、前記記事群から項目表現と固有表現の種類と単位表現とを主要表現として抽出し、前記情報対抽出手段が、項目表現と固有表現と前記単位表現に関連する数値表現との対を情報対として抽出する。
【０００７】
好ましくは、本発明の情報抽出装置において、前記主要表現抽出手段が、更に、前記抽出された固有表現の種類の前または後に予め決められた単語が付随するか否かに基づいて前記固有表現の種類を分類し、該分類された各々の固有表現の種類を前記主要表現とする。
【０００８】
また、本発明の情報抽出装置は、情報抽出装置であって、記事群から項目表現と単位表現とを主要表現として抽出する主要表現抽出手段と、前記記事群から前記主要表現が同時に出現している箇所を特定し、該特定された箇所に記載されている項目表現と前記単位表現に関連する数値表現との対を情報対として抽出する情報対抽出手段とを備え、前記主要表現抽出手段が、前記抽出された単位表現に関連する数値表現の前又は後に予め決められた単語が付随するか否かに基づいて前記数値表現を分類し、該分類された各々の数値表現に関連する単位表現を前記主要表現とする。
【０００９】
好ましくは、本発明の情報抽出装置において、前記主要表現抽出手段が、更に、前記抽出された固有表現の種類の前又は後に付随する単語を抽出し、該抽出された単語から選択された単語が付随する固有表現の種類を前記主要表現とする。
【００１０】
また、本発明の情報抽出装置は、情報抽出装置であって、記事群から項目表現と単位表現とを主要表現として抽出する主要表現抽出手段と、前記記事群から前記主要表現が同時に出現している箇所を特定し、該特定された箇所に記載されている項目表現と前記単位表現に関連する数値表現との対を情報対として抽出する情報対抽出手段とを備え、前記主要表現抽出手段が、更に、前記抽出された単位表現に関連する数値表現の前又は後に付随する単語を抽出し、該抽出された単語から選択された単語が付随する数値表現に関連する単位表現を前記主要表現とする。
【００１１】
好ましくは、本発明の情報抽出装置において、前記主要表現抽出手段が、更に、主要表現に付随する場合と付随しない場合とにおける主要表現の区分けの度合いが高くなる単語を決定し、該決定された単語が付随する主要表現と該単語が付随しない主要表現とを主要表現として抽出する。
【００１２】
また、本発明の情報抽出装置は、情報抽出装置であって、記事群から項目表現と単位表現とを主要表現として抽出する主要表現抽出手段と、前記記事群から前記主要表現が同時に出現している箇所を特定し、該特定された箇所に記載されている項目表現と前記単位表現に関連する数値表現との対を情報対として抽出する情報対抽出手段とを備え、前記主要表現抽出手段が、更に、主要表現に付随する場合と付随しない場合とにおける主要表現の区分けの度合いが高くなる単語を決定し、該決定された単語が付随する主要表現と該単語が付随しない主要表現とを主要表現として抽出する。
【００１３】
好ましくは、本発明の情報抽出装置において、前記主要表現抽出手段が、更に、前記抽出された単位表現に関連する数値表現の前又は後に付随する単語を抽出し、該抽出された単語が付随する数値表現の正規分布と該抽出された単語が付随しない数値表現の正規分布とを求め、求めた正規分布同士が重なっている割合が最も小さい場合の単語が付随する数値表現に関連する単位表現と該単語が付随しない数値表現に関連する単位表現とを前記主要表現とする。
【００１４】
好ましくは、本発明の情報抽出装置において、前記主要表現抽出手段が、更に、前記抽出された固有表現の種類の前又は後に付随する単語を抽出し、前記抽出された固有表現の種類に属する固有表現同士の類似度を求め、前記求まった固有表現同士の類似度と各々の固有表現に前記抽出された単語が付随するか否かを示す情報とに基づいて決まるスコア値に基づいて、固有表現に付随した場合と付随しない場合とにおける前記固有表現の区分けの度合いが高くなる単語を決定し、該決定された単語が付随する固有表現の種類と該単語が付随しない前記固有表現の種類とを前記主要表現とする。
【００１５】
好ましくは、本発明の情報抽出装置において、前記主要表現抽出手段が、更に、前記抽出された単位表現の前又は後に付随する単語を抽出し、前記抽出された単位表現に関連する数値表現同士の類似度を求め、前記求まった数値表現同士の類似度と各々の数値表現に前記抽出された単語が付随するか否かを示す情報とに基づいて決まるスコア値に基づいて、単位表現に付随した場合と付随しない場合とにおける前記単位表現の区分けの度合いが高くなる単語を決定し、該決定された単語が付随する単位表現と該単語が付随しない単位表現とを前記主要表現とする。
【００１６】
好ましくは、本発明の情報抽出装置において、前記主要表現抽出手段が、更に、前記抽出された主要表現の前記記事群における頻度に基づき所定の算出式に従って算出されるスコア値に基づいて、最終的に抽出対象とする主要表現を決定する。
【００１７】
好ましくは、本発明の情報抽出装置において、前記主要表現抽出手段が、更に、前記記事群から、該記事群中の単語が属するクラスターを抽出して、該抽出された各クラスターを前記固有表現の種類とする。
【００１８】
好ましくは、本発明の情報抽出装置において、前記情報対抽出手段が、更に、前記主要表現抽出手段によって抽出された主要表現のうち、ユーザの指定入力に基づいて特定の主要表現を選択し、前記選択された特定の主要表現に基づいて、前記記事群から情報対を抽出する。
【００１９】
好ましくは、本発明の情報抽出装置において、前記情報対抽出手段が、更に、機械学習の手法を用いて、前記情報対を抽出する。
【００２０】
好ましくは、本発明の情報抽出装置において、前記情報対抽出手段が、更に、抽出した情報対の中から、所定の評価値算出式に基づいて算出される評価値に基づいて情報対を選択する。
【００２１】
好ましくは、本発明の情報抽出装置が、更に、前記情報対抽出手段によって抽出された情報対について相関分析を行う手段を備える。
【００２２】
好ましくは、本発明の情報抽出装置において、前記情報対抽出手段によって抽出された情報対をグラフ化して表示する表示手段を備える。
【００２３】
また、本発明の情報抽出方法は、情報抽出方法であって、記事群から項目表現と固有表現の種類とを主要表現として抽出し、前記記事群から前記主要表現が同時に出現している箇所を特定し、該特定された箇所に記載されている項目表現と固有表現との対を情報対として抽出する。
【００２４】
また、本発明の情報抽出プログラムは、情報抽出プログラムであって、コンピュータに、記事群から項目表現と固有表現の種類とを主要表現として抽出する処理と、前記記事群から前記主要表現が同時に出現している箇所を特定し、該特定された箇所に記載されている項目表現と固有表現との対を情報対として抽出する処理とを実行させる。
【発明の効果】
【００２５】
本発明の情報抽出装置、情報抽出方法および情報抽出プログラムによれば、例えば、記事群に含まれる項目表現と固有表現との対を抽出することができる。また、抽出した項目表現と固有表現との対を一目で把握できるように表示することができる。その結果、ユーザが、記事群の情報を素早く理解することが可能となる。
【発明を実施するための最良の形態】
【００２６】
以下に、図を用いて、本発明の実施の形態について説明する。図１は、本発明のシステム構成の一例を示す図である。情報抽出装置１は、記事群から、複数の情報の対を情報対として抽出する処理装置である。情報抽出装置１は、例えば、後述する関連記事データベース（ＤＢ）１４に格納された記事群から、１又は複数の項目表現と１又は複数の固有表現の対を情報対として抽出する。また、情報抽出装置１は、上記関連記事ＤＢ１４に格納された記事群から、１又は複数の項目表現と１又は複数の固有表現と１又は複数の数値表現の対を情報対として抽出する。
【００２７】
情報抽出装置１は、主要表現抽出部１１、情報対抽出部１２、表示部１３、関連記事データベース（ＤＢ）１４を備える。主要表現抽出部１１は、後述する関連記事ＤＢ１４に格納された記事群から、主要表現を抽出する。主要表現抽出部１１は、例えば、１又は複数の項目表現と１又は複数の固有表現の種類を主要表現として抽出する。また、例えば、主要表現抽出部１１は、１又は複数の項目表現と１又は複数の固有表現の種類と１又は複数の単位表現とを主要表現として抽出する。主要表現は、後述する情報対抽出部１２において情報対を抽出する際に用いられる。主要表現を抽出する際には、例えば、対象の記事群全体に万遍なく高頻度に出現する該当表現を抽出する。
【００２８】
主要表現抽出部１１は、主要単位表現抽出部１１１と主要項目表現抽出部１１２と主要固有表現抽出部１１３とを備える。主要単位表現抽出部１１１は、情報対を抽出、整理する際に必要となる単位表現（主要単位表現）を抽出する。例えば、映画に関する記事群から、興行収入「５億円」における「円」や，観客動員数「３０万人」における「人」を主要単位表現として抽出する。
【００２９】
主要項目表現抽出部１１２は、情報対を抽出、整理する際に必要となる項目表現（主要項目表現）を抽出する。例えば、映画に関する記事群から、「興行収入」や「観客動員数」などを主要項目表現として抽出する。
【００３０】
主要固有表現抽出部１１３は、情報対を抽出、整理する際に必要となる固有表現の種類（主要固有表現の種類）を抽出する。例えば、映画に関する記事群から、人物を示す固有表現の種類「ＰＥＲＳＯＮ」や場所を示す固有表現の種類「ＬＯＣＡＴＩＯＮ」などを主要固有表現の種類として抽出する。
【００３１】
情報対抽出部１２は、主要表現抽出部１１によって抽出された主要表現に基づいて、関連記事ＤＢ１４中の記事群を構成する記事から複数の情報の対（例えば、１又は複数の項目表現と１又は複数の固有表現との対や、１又は複数の項目表現と１又は複数の数値表現と１又は複数の固有表現との対）を情報対として抽出する。上記固有表現は、上記固有表現の種類に属する固有表現であり、例えば、固有表現の種類「ＬＯＣＡＴＩＯＮ」に属する「日本」、「アメリカ」等が該当する。固有表現の種類に属する固有表現は、後述する固有表現抽出技術を用いて抽出される。
【００３２】
情報対抽出部１２は、例えば、関連記事ＤＢ１４に格納された記事群において、主要表現抽出部１１によって抽出された主要表現（例えば、項目表現と固有表現の種類）が同時に出現している箇所を特定し、その箇所に記載されている固有表現と項目表現との対を情報対とする。また、例えば、情報対抽出部１２は、関連記事ＤＢ１４に格納された記事群において、主要表現（例えば、項目表現と固有表現の種類と単位表現）が同時に出現している箇所を特定し、その箇所に記載されている項目表現と固有表現（固有表現の種類に属する固有表現）と数値表現との対を情報対とする。上記数値表現は、主要表現としての単位表現に関連する数値表現である。
【００３３】
すなわち、上記主要表現のうちの単位表現については、情報対抽出部１２は、当該単位表現に関連する数値（例えば、単位表現に隣接して記事中に出現している数値）も同時に抽出し、数値と単位表現とをあわせて数値表現として抽出する。
【００３４】
例えば、映画の記事の場合、情報対抽出部１２は、「項目表現：台風」「数値表現：４号」「ＬＯＣＡＴＩＯＮ：南大東島」という情報対を抽出する。
【００３５】
表示部１３は、情報対抽出部１２によって抽出された情報対を整理して表示（例えばグラフ化して表示）する。
【００３６】
関連記事ＤＢ１４には記事群が蓄積されている。
【００３７】
本発明の一実施形態によれば、主要表現抽出部１１が、更に、上記抽出された固有表現の種類の前又は後に予め決められた単語が付随するか否かに基づいて上記固有表現の種類を分類し、該分類された各々の固有表現の種類を上記主要表現とするようにしてもよい。
【００３８】
本発明の一実施形態によれば、主要表現抽出部１１が、関連記事ＤＢ１４に格納された記事群から項目表現と単位表現とを主要表現として抽出し、情報対抽出部１２が、上記記事群から上記主要表現が同時に出現している箇所を特定し、該特定された箇所に記載されている項目表現と上記単位表現に関連する数値表現との対を情報対として抽出し、上記主要表現抽出部１１が、上記抽出された単位表現に関連する数値表現の前又は後に予め決められた単語が付随するか否かに基づいて上記数値表現を分類し、該分類された各々の数値表現に関連する単位表現を上記主要表現とするようにしてもよい。
【００３９】
ここで、上記「単語が付随する」とは、必ずしも該単語が固有表現の種類や数値表現に連接して出現することのみを意味するものではなく、例えば該単語が固有表現の種類や数値表現が出現する文と同一の文に出現することをも意味する。また、固有表現の種類や数値表現とかかりうけ関係にある単語も該固有表現の種類や数値表現に付随する単語に含まれる。
【００４０】
また、本発明の一実施形態によれば、主要表現抽出部１１が、更に、上記抽出された固有表現の種類の前又は後、又は、上記抽出された単位表現に関連する数値表現の前又は後に付随する単語を抽出し、該抽出された単語から選択された単語が付随する固有表現の種類、又は該抽出された単語から選択された単語が付随する数値表現に関連する単位表現を上記主要表現とするようにしてもよい。
【００４１】
また、本発明の一実施形態によれば、主要表現抽出部１１が、関連記事ＤＢ１４に格納された記事群から項目表現と単位表現とを主要表現として抽出し、情報対抽出部１２が、上記記事群から上記主要表現が同時に出現している箇所を特定し、該特定された箇所に記載されている項目表現と上記単位表現に関連する数値表現との対を情報対として抽出し、上記主要表現抽出部１１が、更に、上記抽出された単位表現に関連する数値表現の前又は後に付随する単語を抽出し、該抽出された単語から選択された単語が付随する数値表現に関連する単位表現を上記主要表現とするようにしてもよい。
【００４２】
また、本発明の一実施形態によれば、主要表現抽出部１１が、更に、主要表現に付随する場合と付随しない場合とにおける主要表現の区分けの度合いが高くなる単語を決定し、該決定された単語が付随する主要表現と該単語が付随しない主要表現とを主要表現として抽出するようにしてもよい。
【００４３】
また、本発明の一実施形態によれば、主要表現抽出部１１が、記事群から項目表現と単位表現とを主要表現として抽出し、情報対抽出部１２が、上記記事群から上記主要表現が同時に出現している箇所を特定し、該特定された箇所に記載されている項目表現と前記単位表現に関連する数値表現との対を情報対として抽出し、上記主要表現抽出部１１が、更に、主要表現に付随する場合と付随しない場合とにおける主要表現の区分けの度合いが高くなる単語を決定し、該決定された単語が付随する主要表現と該単語が付随しない主要表現とを主要表現として抽出するようにしてもよい。
【００４４】
また、本発明の一実施形態によれば、上記主要表現抽出部１１が、更に、上記抽出された単位表現に関連する数値表現の前又は後に付随する単語を抽出し、該抽出された単語が付随する数値表現の正規分布と該抽出された単語が付随しない数値表現の正規分布とを求め、求めた正規分布同士が重なっている割合が最も小さい場合の単語が付随する数値表現に関連する単位表現と該単語が付随しない数値表現に関連する単位表現とを上記主要表現とするようにしてもよい。
【００４５】
また、本発明の一実施形態によれば、上記主要表現抽出部１１が、更に、上記抽出された固有表現の種類の前又は後に付随する単語を抽出し、上記抽出された固有表現の種類に属する固有表現同士の類似度を求め、求まった固有表現同士の類似度と各々の固有表現に前記抽出された単語が付随するか否かを示す情報とに基づいて決まるスコア値に基づいて、固有表現に付随した場合と付随しない場合とにおける固有表現の区分けの度合いが高くなる単語を決定し、該決定された単語が付随する上記固有表現の種類と該単語が付随しない固有表現の種類とを前記主要表現とするようにしてもよい。
【００４６】
また、本発明の一実施形態によれば、上記主要表現抽出部１１が、更に、上記抽出された単位表現の前又は後に付随する単語を抽出し、上記抽出された単位表現に関連する数値表現同士の類似度を求め、上記求まった数値表現同士の類似度と各々の数値表現に上記抽出された単語が付随するか否かを示す情報とに基づいて決まるスコア値に基づいて、単位表現に付随した場合と付随しない場合とにおける上記単位表現の区分けの度合いが高くなる単語を決定し、該決定された単語が付随する単位表現と該単語が付随しない単位表現とを上記主要表現とするようにしてもよい。
【００４７】
また、本発明の一実施形態によれば、上記主要表現抽出部１１が、更に、上記抽出された主要表現の上記関連記事ＤＢ１４に格納された記事群における頻度に基づき所定の算出式に従って算出されるスコア値に基づいて、最終的に抽出対象とする主要表現を決定するようにしてもよい。
【００４８】
また、本発明の一実施形態によれば、上記主要表現抽出部１１が、更に、上記関連記事ＤＢ１４から、該関連記事ＤＢ１４の記事群中の単語が属するクラスターを抽出して、該抽出された各クラスターを上記固有表現の種類とするようにしてもよい。
【００４９】
また、本発明の一実施形態によれば、予め図示を省略する記憶手段内に、人手で作成した固有表現の辞書（例えば、駅名、映画名、スペースシャトル名等と単語との対応情報）を記憶しておき、主要表現抽出部１１が、上記固有表現の辞書を参照して、上記関連記事ＤＢ１４の記事群中の単語が対応する固有表現を決定し、該決定された固有表現が属する固有表現の種類を主要表現として抽出するようにしてもよい。
【００５０】
また、本発明の一実施形態によれば、情報対抽出部１２が、更に、主要表現抽出部１１によって抽出された主要表現のうち、ユーザの指定入力に基づいて特定の主要表現を選択し、選択された特定の主要表現に基づいて、上記記事群を構成する記事から情報対を抽出するようにしてもよい。
【００５１】
また、本発明の一実施形態によれば、情報対抽出部１２が、更に、予め（ユーザの指定入力に従って）指定された固有表現の種類を固有表現の種類として抽出し、関連記事ＤＢ１４において主要表現抽出部１１によって抽出された項目表現と該抽出された固有表現の種類とが同時に出現している箇所に記載されている項目表現と固有表現との対を情報対として抽出するようにしてもよい。
【００５２】
また、本発明の一実施形態によれば、情報対抽出部１２が、更に、機械学習の手法を用いて、上記情報対を抽出するようにしてもよい。
【００５３】
以下に、本発明の実施の形態に係る情報抽出装置１の各構成要素の詳細な例について説明する。
（主要表現抽出部１１）
主要表現抽出部１１は、情報対を抽出、整理する際に必要となる主要表現を抽出する。主要表現抽出部１１は、例えば、項目表現と固有表現の種類とを主要表現として抽出する。また、主要表現抽出部１１は、例えば、項目表現と固有表現の種類と単位表現とを主要表現として抽出する。
【００５４】
主要表現抽出部１１は、例えば、ＣｈａＳｅｎ（下記の参考文献（１）参照）を利用して、項目表現と単位表現とを抽出する。
【００５５】
参考文献（１）： Y. Matsumoto, A. Kitauchi, T. Yamashita,Y. Hirano, H. Matsuda and M. Asahara: Japanese morphological analysis system ChaSen version 2.0 manual 2nd edition ”(1999). 
ＣｈａＳｅｎの出力において、品詞の情報を利用して、各表現の抽出を行う。単位表現については、数値の前方または後方に接続する名詞連続を取り出す。項目表現は、例えば名詞連続を取り出す。また、例えば、単位表現として得られた表現のうち、時間に関する表現（例：「年」、「月」、「日」）を含む表現を取り除くようにしてもよい。
【００５６】
また、主要表現抽出部１１は、例えば、以下に述べる固有表現抽出技術によって、固有表現の種類を抽出する。該固有表現の種類の抽出の際に、該固有表現の種類に属する固有表現が抽出される。
【００５７】
固有表現とは、人名、地名、組織名などの固有名詞、金額などの数値表現といった、特定の事物・数量を意味する言語表現のことである。例えば、固有表現の種類として、組織を示す「ＯＲＧＡＮＩＺＡＴＩＯＮ」、人物を示す「ＰＥＲＳＯＮ」、場所を示す「ＬＯＣＡＴＩＯＮ」、人工物を示す「ＡＲＴＩＦＡＣＴ」、日付を示す「ＤＡＴＥ」、時間を示す「ＴＩＭＥ」、金額を示す「ＭＯＮＥＹ」、割合を示す「ＰＥＲＣＥＮＴ」がある。
【００５８】
固有表現抽出技術とは、上記のような固有表現の種類と該固有表現に属する固有表現を文章中から計算機で自動で抽出する技術である。例えば、「日本の首相は小泉純一郎である」という文に対して固有表現抽出を行なうと、固有表現の種類（例えば、「ＰＥＲＳＯＮ」、「ＬＯＣＡＴＩＯＮ」）と該固有表現の種類に属する固有表現（例えば、「ＰＥＲＳＯＮ」に属する固有表現「小泉純一郎」、「ＬＯＣＡＴＩＯＮ」に属する固有表現「日本」）とが抽出される。
【００５９】
以下に、固有表現抽出の一般的な手法の例について説明する。
（１）機械学習を用いる手法
機械学習を用いて固有表現を抽出する手法がある（例えば、以下の参考文献（２）参照）。
【００６０】
参考文献（２）：浅原正幸，松本裕治，日本語固有表現抽出における冗長的な形態素解析の利用情報処理学会自然言語処理研究会 NL153-7 2002 
まず、例えば、「日本の首相は小泉さんです。」という文を、各文字に分割し、分割した文字について、以下のように、 B−LOCATION、 I−LOCATION等の正解タグを付与することによって、正解を設定する。以下の一列目は、分割された各文字であり、各文字の正解タグは二列目である。
日 B−LOCATION
本 I−LOCATION
の O
首 O
相 O
は O
小 B−PERSON
泉 I−PERSON
さ O
ん O
で O
す O
。 O
上記において、B −？？？は、ハイフン以下の固有表現の種類の始まりを意味するタグである。例えば、 B−LOCATIONは、場所を示す固有表現の始まりを意味しており、 B−PERSONは、人名を示す固有表現の始まりを意味している。また、I −？？？は、ハイフン以下の固有表現の種類の始まり以外を意味するタグであり、O はこれら以外である。従って、例えば、文字「日」は、場所を示す固有表現の始まりに該当する文字であり、文字「本」までが場所を示す固有表現である。
【００６１】
このように、各文字の正解を設定しておき、このようなデータから学習し、新しいデータでこの正解を推定し、この正解のタグから、各固有表現の始まりと、どこまでがその固有表現かを認識して、固有表現を推定する。
【００６２】
この各文字に設定された正解のデータから学習するときには、システムによってさまざまな情報を素性という形で利用する。例えば、
日 B−LOCATION
の部分は、
日本−B 名詞−B 
などの情報を用いる。日本−B は、日本という単語の先頭を意味し、名詞−B は、名詞の先頭を意味する。単語や品詞の認定には、例えば前述したChaSenによる形態素解析を用いる。ChaSenを用いれば、入力された日本語を単語に分割することができる。例えば、ChaSenは、前述したように、日本語文を分割し、さらに、各単語の品詞も推定してくれる。例えば、「学校へ行く」を入力すると以下の結果を得ることができる。
【００６３】
学校    ガッコウ    学校    名詞−一般
へ      ヘ          へ      助詞−格助詞−一般
行く    イク        行く    動詞−自立    五段・カ行促音便    基本形
ＥＯＳ
このように各行に一個の単語が入るように分割され、各単語に読みや品詞の情報が付与される。
【００６４】
なお、例えば、上記の参考文献（２）では、素性として、入力文を構成する文字の、文字自体（例えば、「小」という文字）、字種（例えば、ひらがなやカタカナ等）、品詞情報、タグ情報（例えば、「 B−PERSON」等）を利用している。
【００６５】
これら素性を利用して学習する。タグを推定する文字やその周辺の文字にどういう素性が出現するかを調べ、どういう素性が出現しているときにどういうタグになりやすいかを学習し、その学習結果を利用して新しいデータでのタグの推定を行なう。機械学習には、例えばサポートベクトルマシンを用いる。
【００６６】
固有表現抽出には、上記の手法の他にも種々の手法がある。例えば、最大エントロピーモデルと書き換え規則を用いて固有表現を抽出する手法がある（参考文献（３）参照）。
【００６７】
参考文献（３）：内元清貴，馬青，村田真樹，小作浩美，内山将夫，井佐原均，最大エントロピーモデルと書き換え規則に基づく固有表現抽出，言語処理学会誌, Vol.7, No.2, 2000 
また、例えば、以下の参考文献（４）に、サポートベクトルマシンを用いて日本語固有表現抽出を行う手法について記載されている。
【００６８】
参考文献（４）：山田寛康，工藤拓，松本裕治，Support Vector Machineを用いた日本語固有表現抽出，情報処理学会論文誌, Vol.43, No.1", 2002 
（２）作成したルールを用いる手法
人手でルールを作って固有表現を取り出すという方法もある。
【００６９】
例えば、
名詞＋「さん」だと人名とする
名詞＋「首相」だと人名とする
名詞＋「町」だと場所とする
名詞＋「市」だと場所とする
などである。
【００７０】
また、本発明の一実施形態によれば、主要表現抽出部１１が、抽出された主要表現からユーザの指定入力に従って特定の主要表現を選択するようにしてもよい。
【００７１】
主要表現抽出部１１は、今扱っている記事群で主たる役割を果たす主要な項目表現、固有表現の種類、単位表現を主要表現として抽出する。例えば、対象の記事群全体に万遍なく高頻度に出現する該当表現を主要表現として抽出する。
【００７２】
具体的には、主要表現の抽出には、以下の式（１）〜式（３）に示すようなＳｃｏｒｅ（スコア）の値を用い、スコアの値が大きいものを主要表現として抽出する。
（１）ＯｋａｐｉのＴＦ項の式
【００７３】
【数１】
2008287388.tif 000003
【００７４】
（２）総頻度
【００７５】
【数２】
2008287388.tif 000004
【００７６】
（３）総出現記事数
【００７７】
【数３】
2008287388.tif 000005
【００７８】
ただし、ｉは記事の番号、Ｄｏｃｓは記事の番号の集合、ＴＦi は記事ｉでの表現の出現回数、ｌi は記事ｉの長さ、Δは記事群Ｄｏｃｓにおける記事の平均の長さを意味する。ＯｋａｐｉのＴＦ項の式は、複数の記事に万遍なく出現しなおかつ頻度が大きい表現のスコアを大きくする効果がある。なお、記事の長さとは、例えば、記事に含まれる単語数や文字数である。また、固有表現の種類については、上記ＴＦi は、記事ｉでの該固有表現の種類に属する固有表現の出現回数である。
【００７９】
項目表現については、長い文字列を優先して取ってくることができるように、ＴＦi を記事ｉでの表現の出現回数とせずに、例えば記事ｉでの表現の出現回数とその表現の文字列長の積とする方法も利用する。
【００８０】
また、本発明の実施の形態においては、式（１）の値にＩＤＦすなわちｌｏｇＮ／ＤＦを乗じた値、式（２）の値に上記ＩＤＦを乗じた値、式（３）の値に上記ＩＤＦを乗じた値を各スコアの値としてもよい。ここで、Ｎは図示しない大規模コーパス中の全記事数、ＤＦは、例えば当該大規模コーパス中において当該表現が出現した記事数を意味する。
【００８１】
本発明の実施の形態においては、主要表現抽出部１１は、例えば、算出されたスコア値が最も高い表現を主要表現として抽出する。主要表現抽出部１１は、例えば、算出されたスコア値が所定の閾値以上の表現を主要表現として抽出してもよい。また、主要表現抽出部１１は、例えば、算出されたスコア値が高いものから所定の個数の表現を主要表現として抽出してもよい。
【００８２】
本発明の一実施形態によれば、主要表現抽出部１１が、更に、抽出された固有表現の種類の前または後に予め決められた単語が付随するか否かに基づいて上記固有表現の種類を分類し、該分類された各々の固有表現の種類を上記主要表現とするようにしてもよい。例えば、主要表現抽出部１１は、抽出された固有表現の種類「ＯＲＧＡＮＩＺＡＴＩＯＮ」の後に単語「警」が付随するか否かに基づいて、該固有表現の種類を分類し、該単語「警」が付随する「ＯＲＧＡＮＩＺＡＴＩＯＮ」、該単語「警」が付随しない「ＯＲＧＡＮＩＺＡＴＩＯＮ」のそれぞれを主要表現とするようにしてもよい。
【００８３】
また、本発明の一実施形態によれば、主要表現抽出部１１が、更に、上記抽出された固有表現の種類の前又は後に付随する単語を抽出し、該抽出された単語から選択された単語が付随する固有表現の種類を上記主要表現とするようにしてもよい。例えば、主要表現抽出部１１は、抽出された固有表現の種類「ＯＲＧＡＮＩＺＡＴＩＯＮ」の前又は後に付随する単語の全てを抽出して、各々の単語を関連記事ＤＢ１４中に出現する頻度に基づいてソートして表示し、該表示された単語からユーザの指定入力に従って選択された単語が付随する固有表現の種類を上記主要表現とする。抽出された固有表現の種類の前又は後に付随する単語を抽出する代わりに、抽出された固有表現の種類の前又は後に付随する文字列を抽出するようにしてもよい。
【００８４】
また、本発明の一実施形態によれば、上記主要表現抽出部１１が、更に、抽出された単位表現に関連する数値表現の前又は後に付随する単語を抽出し、該抽出された単語が付随する数値表現の正規分布と該抽出された単語が付随しない数値表現の正規分布とを求め、求めた正規分布同士が重なっている割合が最も小さい場合の単語が付随する数値表現に関連する単位表現と該単語が付随しない数値表現に関連する単位表現とを上記主要表現とするようにしてもよい。抽出された単位表現に関連する数値表現の前又は後に付随する単語を抽出する代わりに、抽出された単位表現に関連する数値表現の前又は後に付随する文字列を抽出するようにしてもよい。
【００８５】
すなわち、例えば、主要表現抽出部１１は、上記数値表現の前後に出現する単語又は文字列を関連記事ＤＢ１４から抽出する。ここでは、説明の便宜上、該単語又は文字列を「パターン」と呼ぶ。なお、数値表現の前後に隣接して出現するパターンの代わりに、同一文に出現するパターンを抽出するようにしてもよい。そして、主要表現抽出部１１は、例えば、抽出されたパターンから、関連記事ＤＢ１４に出現する頻度に基づいて所定の数のパターンを選択し、選択されたパターンをパターンの候補とする。
【００８６】
次に、主要表現抽出部１１は、各パターンの候補について、以下の計算をする。まず、主要表現抽出部１１は、パターンが前後に付随する数値表現の平均と、分散を求める。そして、求まった平均と分散とから正規分布（第１の正規分布）を求める。また、主要表現抽出部１１は、パターンが前後に付随しない数値表現の平均と、分散を求める。そして、求まった平均と分散とから正規分布（第２の正規分布）を求める。そして、主要表現抽出部１１は、上記求めた第１の正規分布と第２の正規分布同士が重なっている割合を求める。上記正規分布同士の重なっている割合が小さいときのパターンほど、数値表現同士を区分けする度合い（分解能力）が高いパターンとなる。主要表現抽出部１１は、上記求まった割合が最も小さい場合のパターンの候補を最終的なパターンとして決定し、該決定された最終的なパターンが付随する数値表現に関連する単位表現と該パターンが付随しない数値表現に関連する単位表現とを主要表現とする。例えば、主要表現抽出部１１は、「時速」という単語を最終的なパターンとして決定し、該単語「時速」が付随する数値表現に関連する単位表現と「時速」が付随しない数値表現に関連する単位表現とを主要表現とする。
【００８７】
本発明の一実施形態によれば、後述する情報対抽出部１２が、上記決定された最終的なパターンが付随する数値表現を含む情報対を抽出するようにしてもよい。
【００８８】
本発明の一実施形態によれば、主要表現抽出部１１が、上記パターンの候補のそれぞれについて、上記正規分布同士の重なっている割合の少ない順に所定の数選択し、該選択されたパターンの候補が付随する数値表現に関連する単位表現と該パターンの候補が付随しない数値表現に関連する単位表現とを主要表現とするようにしてもよい。
【００８９】
また、本発明の一実施形態によれば、主要表現抽出部１１が、上記パターンの候補のそれぞれについて、上記正規分布同士の重なっている割合の少ない順に所定の数選択してリストとして表示し、該リストとして表示されたパターンの候補からユーザの指定入力に従って指定したパターンの候補が付随する数値表現に関連する単位表現と該パターンの候補が付随しない数値表現に関連する単位表現とを主要表現とするようにしてもよい。
【００９０】
なお、本発明においては、上述した方法以外の、最終的なパターンの決定方法を用いるようにしてもよい。
【００９１】
また、本発明の一実施形態によれば、上記主要表現抽出部１１が、更に、上記抽出された固有表現の種類の前又は後に付随する単語を抽出し、上記抽出された固有表現の種類に属する固有表現同士の類似度を求め、求まった固有表現同士の類似度と各々の固有表現に前記抽出された単語が付随するか否かを示す情報とに基づいて決まるスコア値に基づいて、固有表現に付随した場合と付随しない場合とにおける固有表現の区分けの度合いが高くなる単語を決定し、該決定された単語が付随する上記固有表現の種類と該単語が付随しない固有表現の種類とを前記主要表現とするようにしてもよい。
【００９２】
すなわち、例えば、主要表現抽出部１１は、上記固有表現の種類の前後に出現する単語又は文字列を関連記事ＤＢ１４から抽出する。前述したように、説明の便宜上、該単語又は文字列を「パターン」と呼ぶ。なお、数値表現の前後に隣接して出現するパターンの代わりに、同一文に出現するパターンを抽出するようにしてもよい。そして、主要表現抽出部１１は、例えば、抽出されたパターンから、関連記事ＤＢ１４に出現する頻度に基づいて所定の数のパターンを選択し、選択されたパターンをパターンの候補とする。
【００９３】
次に、主要表現抽出部１１は、各パターンの候補について、以下の計算をする。例えば、主要表現抽出部１１は、予め記憶手段に記憶された、分類語彙表などの、単語を分類した辞書を用いて、当該辞書の記述において、近い意味とされた単語ほど類似度を高く設定しておくことによって、単語同士の類似度を予め決定する。
【００９４】
辞書を利用する代わりに、以下の方法で単語同士の類似度を決定するようにしてもよい。すなわち、主要表現抽出部１１が、予め記憶された大規模言語コーパスから、ある単語と、該単語とよく共起する単語（例えば、同一文に共起して出現する頻度が高い単語）を取得する。そして、該共起する単語をベクトルの次元、該共起する単語の共起した回数（頻度）をベクトルの要素とするベクトルを、単語毎に作成する。単語同士の類似度を、単語のベクトル同士の角度（又はｃｏｓ）と定義して、この角度（又はｃｏｓ）が小さい（又は大きい）ほど、類似度が高いと定義する。
【００９５】
上記のようにして単語同士の類似度を決定した後、主要表現抽出部１１は、上記各パターンの候補について、以下の計算式に従って、ｓｃｏｒｅ（スコア値）を算出する。
【００９６】
ｓｃｏｒｅ＝Σ２つの固有表現の類似度×ｆ（第１の固有表現，第２の固有表現）
但し、上記式において、Σは、関連記事ＤＢ１４において出現する、上記固有表現の種類に属する固有表現のあらゆる２つの組合せ毎に加算する処理である。また、２つの固有表現の類似度は、上述した単語同士の類似度の決定方法に従って決まる、上記固有表現同士の類似度である。第１の固有表現，第２の固有表現は、上記固有表現の種類に属する固有表現に含まれる固有表現のうちの２つの固有表現である。また、ｆ（第１の固有表現，第２の固有表現）は、第１の固有表現と第２の固有表現とで共にパターンの候補が出現した（付随する）場合、又は共にパターンの候補が出現しなかった場合は１、どちらか一方のみに上記パターンの候補が出現した場合は−１である関数である。
【００９７】
上記ｓｃｏｒｅを各々のパターンの候補毎に計算し、ｓｃｏｒｅの値を求める。求まったｓｃｏｒｅの値が高いときのパターンの候補ほど、固有表現に付随した場合と付随しない場合とにおける固有表現の区分けの度合い（分解能力）が高くなるパターンの候補である。
【００９８】
主要表現抽出部１１は、例えば、最も高いｓｃｏｒｅの値のときのパターンの候補が付随する上記固有表現の種類と該パターンの候補が付随しない固有表現の種類とを主要表現とする。
【００９９】
本発明の一実施形態によれば、後述する情報対抽出部１２が、上記最も高いｓｃｏｒｅの値のときのパターンの候補が付随する固有表現を含む情報対を抽出するようにしてもよい。
【０１００】
また、本発明の一実施形態によれば、上記ｓｃｏｒｅの値の高い順にパターンの候補を所定の数選択し、該選択されたパターンの候補それぞれが付随する上記固有表現の種類と該パターンの候補それぞれが付随しない上記固有表現の種類とを主要表現とするようにしてもよい。
【０１０１】
また、本発明の一実施形態によれば、主要表現抽出部１１が、上記ｓｃｏｒｅの値の高い順にパターンの候補を所定の数選択し、該選択されたパターンの候補をリストとして表示し、該リストとして表示されたパターンの候補からユーザの指定入力に従って指定したパターンの候補が付随する固有表現の種類と該パターンの候補が付随しない固有表現の種類とを主要表現とするようにしてもよい。
【０１０２】
なお、本発明においては、上述した方法以外の、主要表現の決定方法を用いるようにしてもよい。
【０１０３】
本発明の一実施形態によれば、上記ｓｃｏｒｅの値を利用する方法で、前述した数値表現に付随する最終的なパターンを決定するようにしてもよい。この場合は、例えば、上記ｓｃｏｒｅの値を利用する方法において、固有表現の種類を単位表現、固有表現を数値表現（数値、数値データ）として、数値表現同士の類似度を、数値の近さを示すものとして定義すればよい。例えば、数値表現同士の差を、数値表現同士の差の最大値で割った値を求め、１から該求まった値を引いたものを、数値表現同士の類似度とする。このようにして定義される数値表現同士の類似度と、各々の数値表現に前記抽出された単語が付随するか否かを示す情報とに基づいて決まるスコア値（ｓｃｏｒｅ＝Σ２つの数値表現の類似度×ｆ（第１の数値表現，第２の数値表現）に基づいて、例えば、最も高いｓｃｏｒｅの値のときのパターンの候補が付随する単位表現と該パターンの候補が付随しない単位表現とを主要表現とする。
【０１０４】
但し、上記スコア値を示す式において、Σは、関連記事ＤＢ１４において出現する、数値表現のあらゆる２つの組合せ毎に加算する処理である。ｆ（第１の数値表現，第２の数値表現）は、第１の数値表現と第２の数値表現とで共にパターンの候補が出現した（付随する）場合、又は共にパターンの候補が出現しなかった場合は１、どちらか一方のみに上記パターンの候補が出現した場合は−１である関数である。
【０１０５】
なお、本発明の一実施形態によれば、上記数値表現同士の類似度を、値が大きい方の数値表現を値が小さい方の数値表現で除算した値と定義するようにしてもよい。
【０１０６】
また、本発明の一実施形態によれば、上記主要表現抽出部１１が、更に、以下に示すクラスタリングの方法を用いて、上記関連記事ＤＢ１４から、該関連記事ＤＢ１４の記事群中の単語が属するクラスターを抽出して、該抽出された各クラスターを、主要表現としての固有表現の種類とするようにしてもよい。
【０１０７】
以下に、クラスタリングの方法の例について説明する。
（階層クラスタリングによる方法）
クラスターの成員のうち、距離が最も近い成員同士を結合していき、クラスターを作る。そして、距離が最も近いクラスター同士を結合する。クラスター間の距離の定義は様々ある。例えば、クラスターＡとクラスターＢとの距離を、クラスターＡの成員（すなわち、クラスターＡに属する単語）とクラスターＢの成員（すなわち、クラスターＢに属する単語）との距離の中で最も小さいものとしてもよい。ここで、ある成員と他の成員との距離とは、ある成員の位置ベクトルと他の成員の位置ベクトルとの間の距離である。位置ベクトルとは、ベクトル空間上における成員の位置を示すベクトルである。また、例えば、クラスターＡとクラスターＢとの距離を、クラスターＡの成員とクラスターＢの成員との距離の中で最も大きいものとしてもよい。また、例えば、クラスターＡとクラスターＢとの距離を、全てのクラスターＡの成員とクラスターＢの成員との距離の平均としてもよい。また、全てのクラスターＡの成員の位置の平均をクラスターＡの位置とし、全てのクラスターＢの成員の位置の平均をクラスターＢの位置とし、当該クラスターＡの位置とクラスターＢの位置との距離をクラスターＡとクラスターＢとの距離としてもよい。
（ウォード法による方法）
以下に示すＷを定義する。
Ｗ  ＝  ΣΣ（ｘ（ｉ，ｊ）−ａｖｅ＿ｘ（ｉ））＾２
＾は指数を意味する。例えば、上記の式における１つ目のΣは、ｉ＝１からｉ＝ｇまでの加算、２つ目のΣは、ｊ＝１からｊ＝ｎｉまでの加算を意味する。また、ｘ（ｉ，ｊ）は、ｉ番目のクラスターのｊ番目の成員の位置、ａｖｅ＿ｘ（ｉ）は、ｉ番目のクラスターの全ての成員の位置の平均を意味する。クラスター同士を結合していくと、Ｗの値が増加するが、ウォード法では、Ｗの値がなるべく大きくならないようにクラスター同士を結合していく。
【０１０８】
（クラスタリングの終了条件）
予めクラスターの個数を決めておいて、クラスターの個数が当該予め決められた数になったときに、クラスター同士を結合するのをやめるようにしてもよい。また、予め距離の閾値を決めておいて、その閾値以上離れているクラスター同士を結合するのをやめるようにしてもよい。
【０１０９】
（各成員の位置）
各成員（単語）の位置は、各成員に関する種々の情報（例えば、各成員の属性情報）を用いて求める。各成員の属性情報としては、例えば、各成員（単語）に含まれる文字の種類（例えば、ひらがな、カタカナ、漢字、それ以外が、それぞれあるかないか) 、単語の長さ、単語の語義等を用いる。
【０１１０】
本発明の一実施形態によれば、例えば、主要表現抽出部１１が、関連記事ＤＢ１４内の記事群に含まれる記事、又は、該記事のタイトルや記事の先頭文から、公知のキーワード抽出技術を用いて単語を抽出する。そして、各単語（成員）の位置をベクトル（位置ベクトル）で表現する。成員の位置を示す位置ベクトルの要素の値は、例えば、各単語の出現頻度や、当該単語のＯｋａｐｉの式（例えば上述した式（１）で示される値）、当該単語のｔｆｉｄｆ（前述した式（１）の値にｌｏｇＮ／ＤＦを乗じた値）等としてもよい。なお、例えば、位置ベクトルの次元を単位表現や時間表現の個数分増やして、当該記事において単位表現、時間表現に隣接して記事中に出現している数値を成員の位置ベクトルの要素の値としてもよい。
【０１１１】
主要表現抽出部１１が、複数の記事中の単語（成員）の位置を位置ベクトルで表現し、記事間の距離を、それぞれの記事の成員同士の距離の中で最も小さいものとして、距離が最も近い記事同士を結合して、クラスターを作ってもよい。
【０１１２】
次にトップダウンのクラスタリング（非階層クラスタリング）の方法を説明する。
（最大距離アルゴリズムによるクラスタリング）
ある成員と、当該成員と距離が最も離れた成員を求め、これらの成員をそれぞれのクラスターの中心とする。次に、それぞれのクラスターの中心と各成員との距離の最小値を各成員の距離とし、その距離が最も大きい成員を新たなクラスターの中心とする。当該クラスターの中心を求める処理を繰り返す。例えば、予め定めた数のクラスターになったときに、当該クラスターの中心を求める処理の繰り返しをやめる。また、例えば、クラスター間の距離が予め定めた数以下になったときに、当該クラスターの中心を求める処理の繰り返しをやめる。
【０１１３】
また、クラスターの良さを例えばＡＩＣ情報量基準などで評価して、評価によって求まった値と予め定めた閾値との比較結果に基づいて、当該クラスターの中心を求める処理の繰り返しをやめるようにしてもよい。上記の最大距離アルゴリズムによるクラスタリングによれば、各成員は、各成員と最も近いクラスター中心を持つクラスターの成員となる。
（ｋ平均法）
例えば、以下に示すｋ平均法によって、予め定めた個数（ｋ個）にクラスタリングする。まず、ｋ個の成員をランダムに選択し、選択されたｋ個の成員をクラスターの中心とする。そして、各成員を、当該各成員に最も近いクラスター中心を持つクラスターの成員とする。
【０１１４】
次に、クラスター内の各成員の平均の位置に最も近い成員を、それぞれのクラスターの中心とする。そして、各成員を、当該各成員に最も近いクラスター中心を持つクラスターの成員とする。また、クラスター内の各成員の平均の位置に最も近い成員をそれぞれのクラスターの中心とする。上記のクラスターの中心を求める処理を繰り返し、クラスターの中心が移動しなくなったときに、クラスターの中心を求める処理の繰り返しをやめる。本発明の一実施形態によれば、予め定めた回数だけクラスターの中心を求める処理を繰り返してやめるようにしてもよい。そして、最終的なクラスター中心を持つクラスターを決定する。そして、各成員を、当該各成員が最も近いクラスター中心を持つクラスターの成員とする。上記の手法によって、成員のクラスタリングをする。本発明において用いるクラスタリングの方法は、上述した方法に限定されるものではない。
【０１１５】
本発明に係る情報抽出装置１は、上述したクラスタリングの方法以外の様々な方法を用いて、クラスタリングをするようにしてもよい。例えば、予め情報抽出装置１内の記憶手段（図示を省略）内に、単語と単語が属するクラスター（例えば、当該単語を含む記事の文）との対応情報を予め記憶させておき、主要表現抽出部１１が、関連記事ＤＢ１４中の記事群から特定の単語を選択し、当該記憶手段内の、当該選択された単語と当該選択された単語が属するクラスター（例えば、当該単語を含む記事の文）との対応情報に基づいて、上記選択された単語が属するクラスターを決定し、該決定されたクラスターを、主要表現としての固有表現の種類としてもよい。
【０１１６】
また、本発明の一実施形態によれば、主要表現抽出部１１が、ユーザの指定入力に従って、項目表現を入力し、入力された項目表現と共起して出現する単位表現を関連記事ＤＢ１４中の記事群または予め記憶手段に記憶された書誌データから抽出し、上記項目表現と抽出した単位表現を主要表現とするようにしてもよい。そして、情報対抽出部１２が、上記主要表現に基づいて、当該記事群を構成する記事から上記単位表現に関連する数値表現と当該項目表現との対を情報対として抽出し、表示部１３が、上記主要表現に基づいて抽出された情報対をグラフ表示する際に、項目表現を、当該項目表現と偏って共起して出現する単位表現と対応付けてグラフ表示するようにしてもよい。
【０１１７】
また、本発明の一実施形態によれば、主要表現抽出部１１が、ユーザの指定入力に従って、項目表現を入力し、入力された項目表現と共起して出現する単位表現を関連記事ＤＢ１４中の記事群または予め記憶手段に記憶された書誌データから抽出し、上記項目表現と抽出した単位表現を主要表現とするようにしてもよい。そして、情報対抽出部１２が、上記主要表現に基づいて、当該記事群を構成する記事から上記単位表現に関連する数値表現と当該項目表現との対を情報対として抽出するようにしてもよい。
【０１１８】
また、本発明の一実施形態によれば、主要表現抽出部１１が、ユーザの指定入力に従って、項目表現を入力し、入力された項目表現と共起して出現する固有表現を関連記事ＤＢ１４中の記事群または予め記憶手段に記憶された書誌データから抽出し、上記項目表現と抽出した固有表現が属する固有表現の種類とを主要表現とするようにしてもよい。そして、情報対抽出部１２が、上記主要表現に基づいて、当該記事群を構成する記事から固有表現と項目表現との対を情報対として抽出するようにしてもよい。
【０１１９】
ここで、一般に、表現Ｂと偏って共起して出現する単語Ａの抽出方法（共起語抽出方法）について説明する。当該共起語抽出方法を用いれば、例えば、項目表現「観客動員数」から単位表現「人」を求めることができる。また、逆に、単位表現「人」から項目表現「観客動員数」などを求めることができる。また、当該共起語抽出方法を用いれば、例えば、項目表現「選手」から固有表現「北島康介」を求めることができる。また、逆に、固有表現「北島康介」から項目表現「選手」などを求めることができる。
【０１２０】
例えば、項目表現「観客動員数」から単位表現「人」を求める場合は、単位表現の候補を取り出し，それぞれをＡとして以下の計算をする。単位表現「人」から項目表現「観客動員数」などを求める場合は、項目表現の候補を取り出し、それぞれをＡとして以下の計算をする。また、例えば、項目表現「選手」から固有表現「北島康介」を求める場合は、固有表現の候補を取り出し，それぞれをＡとして以下の計算をする。固有表現「北島康介」から項目表現「選手」などを求める場合は、項目表現の候補を取り出し、それぞれをＡとして以下の計算をする。
【０１２１】
Ｃ中のＡの出現率、Ｂ中のＡの出現率を求める。ここで、
Ｃ中のＡの出現率＝Ｃ中のＡの出現回数／Ｃ中の単語総数
Ｂ中のＡの出現率＝Ｂ中のＡの出現回数／Ｂ中の単語総数
である。そして、Ｂ中のＡの出現率／Ｃ中のＡの出現率を求めて、この値が大きいものほど、単語Ａを、表現Ｂに偏って共起して出現する単語とする。
【０１２２】
Ｂ中のＡの出現率とは、ＢとＡが共起している場合のＡの出現率という意味であり、Ｃ中のＡの出現率とは、予め記憶手段に記憶された書誌データにおけるＡの出現率または出現回数という意味である。
【０１２３】
本発明の他の実施形態によれば、Ｂ中のＡの出現率とは、関連記事ＤＢ１４中の記事群における、ＢとＡが共起している場合のＡの出現率という意味であり、Ｃ中のＡの出現率とは、関連記事ＤＢ１４中の記事群におけるＡの出現率または出現回数という意味としてもよい。
【０１２４】
なお、本発明の一実施形態によれば、例えば、複数の選手名から項目表現「選手」を求めるようにしてもよい。例えば、各選手名毎に、よく偏って多く出現する表現Ｆを偏り度合いとともに求め、全ての選手について表現Ｆ毎に偏り度合いを加算したものや、乗じたもの（ゼロのものの場合はゼロを乗じずに例えば０．０００００１等の微小値を乗じる）をスコアとして、該スコアの最も大きい表現Ｆを項目表現とするようにしてもよい。偏り度合いは、例えば、よく共起するものを算出する時に使った値等を用いる。
【０１２５】
表現Ｂと偏って共起して出現する単語Ａの抽出方法として、以下のように、有意差検定を利用する方法を用いてもよい。
（二項検定の場合）
ＡのＣでの出現数をＮ、ＡのＢでの出現数をＮ１、Ｎ２＝Ｎ−Ｎ１とする。ＡがＣに現れたときに、それがＢ中に現れる確率を０．５と仮定して、Ｎの総出現のうち、Ｎ２回以下、ＡがＣに出現してＢに出現しなかった確率を求める。
【０１２６】
この確率は、Ｐ１＝ΣＣ（Ｎ１＋Ｎ２，ｘ）＊０．５(x) ＊０．５(N1+N2-x) 
である。ただし、上記式において、Σは、ｘ＝０〜ｘ＝Ｎ２の和であり、Ｃ（Ｎ１＋Ｎ２，ｘ）は、Ｎ１＋Ｎ２個の異なったものからｘ個のものを取り出す場合の数を示す。
【０１２７】
上記の式で示される確率の値が十分小さければ、Ｎ１とＮ２は等価な確率でない、すなわち、Ｎ１がＮ２に比べて有意に大きいことと判断できる。５％検定なら、Ｐ１が５％よりも小さいこと、１０％検定なら、Ｐ１が１０％よりも小さいことが、有意に大きいかどうかの判断基準になる。
【０１２８】
例えば、Ｎ１がＮ２に比べて有意に大きいと判断されたものを、表現Ｂに偏ってよく共起して出現する単語とする。また、Ｐ１が小さいものほど、表現Ｂに偏ってよく共起して出現する単語とする。
（カイ二乗検定の場合）
Ｂ中のＡの出現回数をＮ１、Ｂ中の単語の総出現数をＦ１、ＣにあってＢにない、Ａの出現回数をＮ２、ＣにあってＢにない、単語の総出現数をＦ２とする。Ｒ１＝Ｆ１／Ｎ１、Ｒ２＝Ｆ２／Ｎ２とする。
【０１２９】
ここで、Ｎ＝Ｎ１＋Ｎ２として、
カイ二乗値＝（Ｎ＊（Ｆ１＊（Ｎ２−Ｆ２）−（Ｎ１−Ｆ１）＊Ｆ２）2 ）／（（Ｆ１＋Ｆ２）＊（Ｎ−（Ｆ１＋Ｆ２））＊Ｎ１＊Ｎ２）
を求める。
【０１３０】
そして、求めたカイ二乗値が大きいほど、Ｒ１とＲ２は有意差があると言え、カイ二乗値が３．８４よりも大きいとき、危険率５％の有意差があると言え、カイ二乗値が６．６３よりも大きいとき、危険率１％の有意差があると言える。
【０１３１】
例えば、Ｎ１＞Ｎ２でかつカイ二乗値が大きいものほど、表現Ｂに偏ってよく共起して出現する単語とする。
（比の検定（比率の差の検定））
ｐ＝（Ｆ１＋Ｆ２）／（Ｎ１＋Ｎ２）、ｐ１＝Ｒ１、ｐ２＝Ｒ２として、
Ｚ＝｜ｐ１−ｐ２｜／ｓｑｒｔ（ｐ＊（１−ｐ）＊（１／Ｎ１＋１／Ｎ２））
を求める。ｓｑｒｔは、ルートを意味する。
【０１３２】
そして、Ｚが大きいほど、Ｒ１とＲ２は有意差があると言え、Ｚが１．９６よりも大きいとき、危険率５％の有意差があると言え、Ｚが２．５８よりも大きいとき、危険率１％の有意差があると言える。
【０１３３】
例えば、Ｎ１＞Ｎ２でかつＺが大きいものほど、表現Ｂに偏ってよく共起して出現する単語とする。
【０１３４】
上記の３つの検定の方法と、前述した、単純にＢ中のＡの出現率／Ｃ中のＡの出現率を求めて判定する方法を組み合わせてもよい。例えば、危険率５％以上有意差があるもののうち、Ｂ中のＡの出現率／Ｃ中のＡの出現率の値が大きいものほど表現Ｂに偏ってよく共起して出現する単語とする。
（情報対抽出部１２）
情報対抽出部１２は、関連記事ＤＢ１４に格納された記事群において、主要表現抽出部１１によって抽出された表現（例えば項目表現と固有表現の種類）が例えば同時に出現している箇所を特定し、例えば、その箇所に記載されている項目表現と固有表現との対を情報対とする。上記情報対に含まれる固有表現は、固有表現の種類に属する固有表現である。当該固有表現は、上述した固有表現抽出技術を用いて抽出される。
【０１３５】
また、例えば、情報対抽出部１２は、主要表現抽出部１１によって抽出された表現（例えば項目表現と固有表現の種類と単位表現）が例えば同時に出現している箇所を特定し、例えば、その箇所に記載されている項目表現と固有表現と上記単位表現に関連する数値表現との対を情報対とする。上記単位表現に関連する数値表現とは、例えば、単位表現に隣接して記事中に出現している数値と単位表現とをあわせて得られる表現である。
【０１３６】
本発明の実施の形態においては、例えば、句点、改行、文書の切れ目を示す特殊記号を切れ目とし、これらをはさまずに同時に主要表現が出現した箇所を、同時に出現した箇所とする。
【０１３７】
本発明の一実施形態によれば、情報対抽出部１２が、更に、主要表現抽出部１１によって抽出された主要表現のうち、特定の主要表現を選択し、上記選択された特定の主要表現に基づいて、前記記事群から情報対を抽出するようにしてもよい。
【０１３８】
本発明の一実施例によれば、情報対抽出部１２が、ユーザによって予め指定された固有表現の種類（例えば、ＬＯＣＡＴＩＯＮ）に基づいて、（上述した固有表現抽出技術を用いて）関連記事ＤＢ１４から該固有表現の種類に属する固有表現を抽出し、関連記事ＤＢ１４において主要表現抽出部１１によって抽出された項目表現と該抽出された固有表現とが同時に出現している箇所に記載されている項目表現と固有表現との対を情報対として抽出するようにしてもよい。
【０１３９】
本発明の一実施形態によれば、情報対抽出部１２が、更に、機械学習の手法を用いて、上記情報対を抽出するようにしてもよい。
【０１４０】
また、本発明の一実施形態によれば、情報対抽出部１２が、主要表現抽出部１１において抽出された複数の主要表現に基づいて情報対抽出部１２が抽出した複数種類の情報対から、各主要表現についての所定の評価値に基づいて、主要な情報対を選択（例えば、評価値が最も大きい情報対を選択）するようにしてもよい。
【０１４１】
図２は、本発明の実施の形態において、機械学習の手法を用いて情報対を抽出する構成を採る場合の、情報対抽出部１２の構成例を示す図である。情報対抽出部１２は、教師データ記憶手段１２１、解−素性対抽出手段１２２、機械学習手段１２３、学習結果記憶手段１２４、表現対抽出手段１２５、素性抽出手段１２６、解推定手段１２７、情報対抽出手段１２８を備える。
【０１４２】
教師データ記憶手段１２１は、機械学習処理において使用される教師データとなるテキストデータを記憶する。例えば、項目表現をａｉ（ｉ＝１，２，３，．．．）、固有表現の種類に属する固有表現をｂｉ（ｉ＝１，２，３，．．．）、単位表現に関連する数値表現をｃｉ（ｉ＝１，２，３，．．．）とすると、教師データとして、テキストデータの文中に出現しているａｉ、ｂｉ、ｃｉの対（表現対）を問題、情報対として抽出するべき表現対であるか否かの情報を解とする事例を記憶する。具体的には、テキストデータ中に現れるあらゆるａｉ、ｂｉ、ｃｉの対について、情報対として抽出すべき表現対（正例）であるか、抽出するべきでない表現対（負例）かのいずれかの解を示すタグを人手によって付与する。
【０１４３】
すなわち、本発明の実施の形態においては、例えば、
（ａ１，ｂ１，ｃ１）−解  「正例」
（ａ１，ｂ２，ｃ１）−解  「負例」
・
・
・
（ａ２，ｂ２，ｃ２）−解  「負例」
といった、表現対と解との組を生成する。
【０１４４】
解−素性対抽出手段１２２は、教師データ記憶手段１２１内に記憶されているテキストデータの事例から、解と素性の集合との組を抽出する。素性は、機械学習処理で使用する情報である。解−素性対抽出手段１２２は、素性として、例えば、あるテキストデータ中の、解が付与された各表現対についての、ａｉとｂｉ、ｂｉとｃｉ、ａｉとｃｉの間の距離（文字または単語数等）や、テキストデータ中におけるａｉとｂｉとｃｉの表現対を含む範囲や、ａｉ、ｂｉ、ｃｉそれぞれの前後の文字列、単語、品詞情報等を用いる。また、解−素性対抽出手段１２２は、例えば、ａｉ，ｂｉ，ｃｉがテキストデータのタイトルに含まれるか等の情報や、ａｉとｂｉ、ｂｉとｃｉ、ａｉとｃｉの間に出現する品詞の情報等を素性としてもよい。また、本発明の実施の形態においては、記事中におけるａｉ、ｂｉ、ｃｉそれぞれの位置情報を素性としてもよい。例えば、新聞等の記事においては、最初に出現する主要表現が重要となることが多いからである。
【０１４５】
機械学習手段１２３は、解−素性対抽出手段１２２によって抽出された解と素性の集合との組から、どのような素性のときにどのような解になりやすいかを、教師あり機械学習法により学習する。その学習結果は、学習結果記憶手段１２４内に記憶される。
【０１４６】
表現対抽出手段１２５は、主要表現抽出部１１によって抽出された主要表現（例えば、項目表現、固有表現の種類、単位表現）を用いて、関連記事ＤＢ１４中の各記事に含まれるａｉ（項目表現）、ｂｉ（固有表現の種類に属する固有表現）、ｃｉ（単位表現に関連する数値表現）という３種類の表現のあらゆる組み合わせ（表現対）を抽出する。なお、単位表現と連接して記事中に出現する数値と当該単位表現との組み合わせを数値表現とする。
【０１４７】
素性抽出手段１２６は、解−素性対抽出手段１２２と同様の処理によって、表現対抽出手段１２５によって抽出された各表現対について、素性を抽出する。
【０１４８】
解推定手段１２７は、学習結果記憶手段１２４の学習結果を参照して、各表現対について、その素性の集合の場合に、どのような解（分類先）になりやすいかの度合いを推定する。
【０１４９】
情報対抽出手段１２８は、解推定手段１２７の推定結果に基づいて、情報対として抽出すべき表現対（正例）となる度合いが高いと推定されたものを、情報対として抽出する。
【０１５０】
ここで、機械学習手段１２３による機械学習の手法について説明する。機械学習の手法は、問題−解の組のセットを多く用意し、それで学習を行ない、どういう問題のときにどういう解になるかを学習し、その学習結果を利用して、新しい問題のときも解を推測できるようにする方法である（例えば、下記の参考文献（５）〜参考文献（７）参照）。
【０１５１】
参考文献（５）：村田真樹，機械学習に基づく言語処理，龍谷大学理工学部．招待講演．2004. http://www2.nict.go.jp/jt/a132/members/murata/ps/rk1-siryou.pdf 
参考文献（６）：サポートベクトルマシンを用いたテンス・アスペクト・モダリティの日英翻訳，村田真樹，馬青，内元清貴，井佐原均，電子情報通信学会言語理解とコミュニケーション研究会 NLC2000-78 ，2001年．
参考文献（７）：SENSEVAL2J辞書タスクでのＣＲＬの取り組み，村田真樹，内山将夫，内元清貴，馬青，井佐原均，電子情報通信学会言語理解とコミュニケーション研究会 NLC2001-40 ，2001年．
どういう問題のときに、という、問題の状況を機械に伝える際に、素性（解析に用いる情報で問題を構成する各要素）というものが必要になる。問題を素性によって表現するのである。例えば、日本語文末表現の時制の推定の問題において、問題：「彼が話す。」−−−解「現在」が与えられた場合に、素性の一例は、「彼が話す。」「が話す。」「話す。」「す」「。」となる。
【０１５２】
すなわち、機械学習の手法は、素性の集合−解の組のセットを多く用意し、それで学習を行ない、どういう素性の集合のときにどういう解になるかを学習し、その学習結果を利用して、新しい問題のときもその問題から素性の集合を取り出し、その素性の場合の解を推測する方法である。
【０１５３】
機械学習手段１２３は、機械学習の手法として、例えば、ｋ近傍法、シンプルベイズ法、決定リスト法、最大エントロピー法、サポートベクトルマシン法などの手法を用いる。
【０１５４】
ｋ近傍法は、最も類似する一つの事例のかわりに、最も類似するｋ個の事例を用いて、このｋ個の事例での多数決によって分類先（解）を求める手法である。ｋは、あらかじめ定める整数の数字であって、一般的に、１から９の間の奇数を用いる。
【０１５５】
シンプルベイズ法は、ベイズの定理にもとづいて各分類になる確率を推定し、その確率値が最も大きい分類を求める分類先とする方法である。
【０１５６】
シンプルベイズ法において、文脈ｂで分類ａを出力する確率は、以下の式（４）で与えられる。
【０１５７】
【数４】
2008287388.tif 000006
【０１５８】
ただし、ここで文脈ｂは、あらかじめ設定しておいた素性ｆj （∈Ｆ，１≦ｊ≦ｋ）の集合である。ｐ（ｂ）は、文脈ｂの出現確率である。ここで、分類ａに非依存であって定数のために計算しない。Ｐ（ａ）（ここでＰはｐの上部にチルダ）とＰ（ｆi ｜ａ）は、それぞれ教師データから推定された確率であって、分類ａの出現確率、分類ａのときに素性ｆi を持つ確率を意味する。Ｐ（ｆi ｜ａ）として最尤推定を行って求めた値を用いると、しばしば値がゼロとなり、式（５）の値がゼロで分類先を決定することが困難な場合が生じる。そのため、スームージングを行う。ここでは、以下の式（６）を用いてスームージングを行ったものを用いる。
【０１５９】
【数５】
2008287388.tif 000007
【０１６０】
ただし、ｆｒｅｑ（ｆi ，ａ）は、素性ｆi を持ちかつ分類がａである事例の個数、ｆｒｅｑ（ａ）は、分類がａである事例の個数を意味する。
【０１６１】
決定リスト法は、素性と分類先の組とを規則とし、それらをあらかじめ定めた優先順序でリストに蓄えおき、検出する対象となる入力が与えられたときに、リストで優先順位の高いところから入力のデータと規則の素性とを比較し、素性が一致した規則の分類先をその入力の分類先とする方法である。
【０１６２】
決定リスト方法では、あらかじめ設定しておいた素性ｆj ( ∈Ｆ，１≦ｊ≦ｋ）のうち、いずれか一つの素性のみを文脈として各分類の確率値を求める。ある文脈ｂで分類ａを出力する確率は以下の式によって与えられる。
【０１６３】
ｐ（ａ｜ｂ）＝ｐ（ａ｜ｆmax ）        式（７）
ただし、ｆmax は以下の式によって与えられる。
【０１６４】
【数６】
2008287388.tif 000008
【０１６５】
また、Ｐ（ａi ｜ｆj ）（ここでＰはｐの上部にチルダ）は、素性ｆj を文脈に持つ場合の分類ａi の出現の割合である。
【０１６６】
最大エントロピー法は、あらかじめ設定しておいた素性ｆj （１≦ｊ≦ｋ）の集合をＦとするとき、以下所定の条件式（式（９））を満足しながらエントロピーを意味する式（１０）を最大にするときの確率分布ｐ（ａ，ｂ）を求め、その確率分布にしたがって求まる各分類の確率のうち、最も大きい確率値を持つ分類を求める分類先とする方法である。
【０１６７】
【数７】
2008287388.tif 000009
【０１６８】
ただし、Ａ、Ｂは分類と文脈の集合を意味し、ｇj （ａ，ｂ）は文脈ｂに素性ｆj があって、なおかつ分類がａの場合１となり、それ以外で０となる関数を意味する。また、Ｐ（ａi ｜ｆj ）（ここでＰはｐの上部にチルダ）は、既知データでの（ａ，ｂ）の出現の割合を意味する。
【０１６９】
式（９）は、確率ｐと出力と素性の組の出現を意味する関数ｇをかけることで出力と素性の組の頻度の期待値を求めることになっており、右辺の既知データにおける期待値と、左辺の求める確率分布に基づいて計算される期待値が等しいことを制約として、エントロピー最大化（確率分布の平滑化) を行なって、出力と文脈の確率分布を求めるものとなっている。最大エントロピー法の詳細については、以下の参考文献（８）および参考文献（９）に記載されている。
【０１７０】
参考文献（８）：Eric Sven Ristad, Maximum Entropy Modeling for Natural Language,(ACL/EACL Tutorial Program, Madrid, 1997
参考文献（９）：Eric Sven Ristad, Maximum Entropy Modeling Toolkit, Release 1.6beta, (http://www.mnemonic.com/software/memt,1998) ）
サポートベクトルマシン法は、空間を超平面で分割することにより、二つの分類からなるデータを分類する手法である。
【０１７１】
図３にサポートベクトルマシン法のマージン最大化の概念を示す。図３において、白丸は正例、黒丸は負例を意味し、実線は空間を分割する超平面を意味し、破線はマージン領域の境界を表す面を意味する。図３（Ａ）は、正例と負例の間隔が狭い場合（スモールマージン）の概念図、図３（Ｂ）は、正例と負例の間隔が広い場合（ラージマージン）の概念図である。
【０１７２】
このとき、二つの分類が正例と負例からなるものとすると、学習データにおける正例と負例の間隔（マージン) が大きいものほどオープンデータで誤った分類をする可能性が低いと考えられ、図３（Ｂ）に示すように、このマージンを最大にする超平面を求めそれを用いて分類を行なう。
【０１７３】
基本的には上記のとおりであるが、通常、学習データにおいてマージンの内部領域に少数の事例が含まれてもよいとする手法の拡張や、超平面の線形の部分を非線型にする拡張（カーネル関数の導入) がなされたものが用いられる。
【０１７４】
この拡張された方法は、以下の識別関数を用いて分類することと等価であり、その識別関数の出力値が正か負かによって二つの分類を判別することができる。
【０１７５】
【数８】
2008287388.tif 000010
【０１７６】
ただし、ｘは識別したい事例の文脈（素性の集合) を、ｘi とｙj （ｉ＝１，…，ｌ，ｙj ∈｛１，−１｝）は学習データの文脈と分類先を意味し、関数ｓｇｎは、
ｓｇｎ（ｘ）＝１（ｘ≧０）
−１（otherwise ）
であり、また、各αi は式（１３）と式（１４）の制約のもと式（１２）を最大にする場合のものである。
【０１７７】
【数９】
2008287388.tif 000011
【０１７８】
また、関数Ｋはカーネル関数と呼ばれ、様々なものが用いられるが、本形態では以下の多項式のものを用いる。
【０１７９】
Ｋ（ｘ，ｙ）＝（ｘ・ｙ＋１）ｄ              式（１５）
Ｃ、ｄは実験的に設定される定数である。例えば、Ｃはすべての処理を通して１に固定した。また、ｄは、１と２の二種類を試している。ここで、αi ＞０となるｘi は、サポートベクトルと呼ばれ、通常、式（１１）の和をとっている部分は、この事例のみを用いて計算される。つまり、実際の解析には学習データのうちサポートベクトルと呼ばれる事例のみしか用いられない。
【０１８０】
なお、拡張されたサポートベクトルマシン法の詳細については、以下の参考文献（１０）および参考文献（１１）に記載されている。
【０１８１】
参考文献（１０）：Nello Cristianini and John Shawe-Taylor, An Introduction to Support Vector Machines and other kernel-based learning methods,(Cambridge University Press,2000) 
参考文献（１１）：Taku Kudoh, Tinysvm:Support Vector machines,(http://cl.aist-nara.ac.jp/taku-ku//software/Tiny SVM/index.html,2000)
サポートベクトルマシン法は、分類の数が２個のデータを扱うものである。したがって、分類の数が３個以上の事例を扱う場合には、通常、これにペアワイズ法またはワンＶＳレスト法などの手法を組み合わせて用いることになる。
【０１８２】
ペアワイズ法は、ｎ個の分類を持つデータの場合に、異なる二つの分類先のあらゆるペア（ｎ（ｎ−１）／２個）を生成し、各ペアごとにどちらがよいかを二値分類器、すなわちサポートベクトルマシン法処理モジュールで求めて、最終的に、ｎ（ｎ−１）／２個の二値分類による分類先の多数決によって、分類先を求める方法である。
【０１８３】
ワンＶＳレスト法は、例えば、ａ、ｂ、ｃという三つの分類先があるときは、分類先ａとその他、分類先ｂとその他、分類先ｃとその他、という三つの組を生成し、それぞれの組についてサポートベクトルマシン法で学習処理する。そして、学習結果による推定処理において、その三つの組のサポートベクトルマシンの学習結果を利用する。推定するべき候補が、その三つのサポートベクトルマシンではどのように推定されるかを見て、その三つのサポートベクトルマシンのうち、その他でないほうの分類先であって、かつサポートベクトルマシンの分離平面から最も離れた場合のものの分類先を求める解とする方法である。例えば、ある候補が、「分類先ａとその他」の組の学習処理で作成したサポートベクトルマシンにおいて分離平面から最も離れた場合には、その候補の分類先は、a と推定する。
【０１８４】
解推定手段１２７が推定する、各表現対についての、どのような解（分類先）になりやすいかの度合いの求め方は、機械学習手段１２３が機械学習の手法として用いる様々な方法によって異なる。
【０１８５】
例えば、本発明の実施の形態において、機械学習手段１２３が、機械学習の手法としてｋ近傍法を用いる場合、機械学習手段１２３は、教師データの事例同士で、その事例から抽出された素性の集合のうち重複する素性の割合（同じ素性をいくつ持っているかの割合）にもとづく事例同士の類似度を定義して、前記定義した類似度と事例とを学習結果情報として学習結果記憶手段１２４に記憶しておく。
【０１８６】
そして、解推定手段１２７は、表現対抽出手段１２５によって新しい表現対（の候補）が抽出されたときに、学習結果記憶手段１２４において定義された類似度と事例を参照して、表現対抽出手段１２５によって抽出された表現対の候補について、その候補の類似度が高い順にｋ個の事例を学習結果記憶手段１２４の事例から選択し、選択したｋ個の事例での多数決によって決まった分類先を、表現対の候補の分類先（解）として推定する。すなわち、解推定手段１２７では、各表現対についての、どのような解（分類先）になりやすいかの度合いを、選択したｋ個の事例での多数決の票数、ここでは「抽出するべき」という分類が獲得した票数とする。
【０１８７】
また、機械学習手法として、シンプルベイズ法を用いる場合には、機械学習手段１２３は、教師データの事例について、前記事例の解と素性の集合との組を学習結果情報として学習結果記憶手段１２４に記憶する。そして、解推定手段１２７は、表現対抽出手段１２５によって新しい表現対（の候補）が抽出されたときに、学習結果記憶手段１２４の学習結果情報の解と素性の集合との組をもとに、ベイズの定理にもとづいて素性抽出手段１２６で取得した表現対の候補の素性の集合の場合の各分類になる確率を算出して、その確率の値が最も大きい分類を、その表現対の候補の素性の分類（解）と推定する。すなわち、解推定手段１２７では、表現対の候補の素性の集合の場合にある解となりやすさの度合いを、各分類になる確率、ここでは「抽出するべき」という分類になる確率とする。
【０１８８】
また、機械学習手法として決定リスト法を用いる場合には、機械学習手段１２３は、教師データの事例について、素性と分類先との規則を所定の優先順序で並べたリストを学習結果記憶手段１２４に記憶する。そして、表現対抽出手段１２５によって新しい表現対（の候補）が抽出されたときに、解推定手段１２７は、学習結果記憶手段１２４のリストの優先順位の高い順に、抽出された表現対の候補の素性と規則の素性とを比較し、素性が一致した規則の分類先をその候補の分類先（解）として推定する。すなわち、解推定手段１２７では、表現対の候補の素性の集合の場合にある解となりやすさの度合いを、所定の優先順位またはそれに相当する数値、尺度、ここでは「抽出するべき」という分類になる確率のリストにおける優先順位とする。
【０１８９】
また、機械学習手法として最大エントロピー法を使用する場合には、機械学習手段１２３は、教師データの事例から解となりうる分類を特定し、所定の条件式を満足しかつエントロピーを示す式を最大にするときの素性の集合と解となりうる分類の二項からなる確率分布を求めて学習結果記憶手段１２４に記憶する。そして、表現対抽出手段１２５によって新しい表現対（の候補）が抽出されたときに、解推定手段１２７は、学習結果記憶手段１２４の確率分布を利用して、抽出された表現対の候補の素性の集合についてその解となりうる分類の確率を求めて、最も大きい確率値を持つ解となりうる分類を特定し、その特定した分類をその候補の解と推定する。すなわち、解推定手段１２７では、表現対の候補の素性の集合の場合にある解となりやすさの度合いを、各分類になる確率、ここでは「抽出するべき」という分類になる確率とする。
【０１９０】
また、機械学習手法としてサポートベクトルマシン法を使用する場合には、機械学習手段１２３は、教師データの事例から解となりうる分類を特定し、分類を正例と負例に分割して、カーネル関数を用いた所定の実行関数にしたがって事例の素性の集合を次元とする空間上で、その事例の正例と負例の間隔を最大にし、かつ正例と負例を超平面で分割する超平面を求めて学習結果記憶手段１２４に記憶する。そして表現対抽出手段１２５によって新しい表現対（の候補）が抽出されたときに、解推定手段１２７は、学習結果記憶手段１２４の超平面を利用して、抽出された表現対の候補の素性の集合が超平面で分割された空間において正例側か負例側のどちらにあるかを特定し、その特定された結果にもとづいて定まる分類を、その候補の解と推定する。すなわち、解推定手段１２７では、表現対の候補の素性の集合の場合にある解となりやすさの度合いを、分離平面からの正例（抽出するべき表現対）の空間への距離の大きさとする。より詳しくは、抽出するべき表現対を正例、抽出するべきではない表現対を負例とする場合に、分離平面に対して正例側の空間に位置する事例が「抽出するべき事例」と判断され、その事例の分離平面からの距離をその事例の度合いとする。なお、上記では、情報対抽出部１２が、主要表現としての項目表現、固有表現の種類、単位表現を用いて、機械学習の手法によって情報対を抽出する例を説明したが、上記と同様の機械学習の手法を用いて、情報対抽出部１２が、主要表現としての項目表現、固有表現の種類を用いて情報対を抽出するようにしてもよい。
【０１９１】
本発明の一実施形態によれば、情報対抽出部１２が、更に、抽出された情報対のうち、最終的に抽出対象とする情報対を正例、最終的に抽出対象としない情報対を負例として決定し、該決定された正例及び負例とを教師データとして、上述した機械学習の手法を用いて上記抽出された情報対について機械学習して、最終的に抽出対象とする情報対を決定するようにしてもよい。
【０１９２】
例えば、情報対抽出部１２が、１００個の情報対を抽出した後、ユーザの指定入力に従って、該１００個の情報対に含まれる６個の情報対のうちの３個を、最終的に抽出対象とする情報対（正例）とし、残りの３個を、最終的に抽出対象としない情報対（負例）として決定する。そして、上記正例又は負例として決定された６個の情報対を教師データとして、上述した機械学習を行い、その学習結果を用いて、残りの９４個の情報対を正例又は負例に分類する。そして、上記ユーザの指定入力に従って正例とされた３個の情報対と、上記正例に分類された情報対とを最終的に抽出対象とする情報対として決定する。
（表示部１３）
表示部１３は、情報対抽出部１２によって抽出された情報対を整理して、例えばグラフ化して表示する。
【０１９３】
本発明の一実施形態によれば、例えば、主要表現抽出部１１において抽出された複数の主要表現に基づいて情報対抽出部１２が抽出した複数種類の情報対から、表示部１３が、各主要表現についての所定の評価値に基づいて、主要な情報対を選択（例えば、評価値が最も大きい情報対を選択）した上で、選択した主要な情報対をグラフ化する構成を採ってもよい。
【０１９４】
上記評価値の算出方法としては、例えば、以下の評価値の４種類の算出式のうちのいずれか１つを用いる。ここでは、主要表現抽出部１１によって抽出された主要表現が１つの項目表現と２つの固有表現の種類と１つの単位表現である場合を例にとって説明する。
（方法１）：数値表現の頻度と主要表現のスコアを用いる。
【０１９５】
評価値Ｍ＝Ｆｒｅｑ×Ｓ１×Ｓ２×Ｓ２’×Ｓ３
（方法２）：数値表現の頻度と主要表現のスコアを用いる。
【０１９６】
評価値Ｍ＝Ｆｒｅｑ×（Ｓ１×Ｓ２×Ｓ２’×Ｓ３）
（方法３）：数値表現の頻度を用いる。
【０１９７】
評価値Ｍ＝Ｆｒｅｑ
（方法４）：主要表現のスコアを用いる。
【０１９８】
評価値Ｍ＝Ｓ１×Ｓ２×Ｓ２’×Ｓ３
ここで、Ｆｒｅｑは、当該主要表現に基づいて情報対抽出部１２によって抽出された数値表現の数、Ｓ１は、項目表現についての前述した式（１）〜式（３）に示すようなスコアの値、Ｓ２、Ｓ２’は、２つの固有表現の種類のそれぞれについての前述した式（１）〜式（３）に示すようなスコアの値、Ｓ３は、単位表現についての前述した式（１）〜式（３）に示すようなスコアの値である。
【０１９９】
本発明の一実施形態によれば、例えば、主要表現抽出部１１が、項目表現、固有表現の種類、単位表現について、それぞれ、前述したスコアの値が高いものから所定の数ずつ選択する。そして、表示部１３が、上記選択された項目表現、固有表現の種類、単位表現の中から、例えば項目表現を１つ、固有表現の種類を２つ、単位表現を１つ選択し、その全ての組み合わせに対して上記の評価値Ｍの計算をして得られる評価値Ｍが大きいものほど有用なグラフと判断し、情報対抽出部１２によって抽出された情報対のうち、例えば、評価値Ｍが最も大きい１つの項目表現と１つの固有表現の種類と１つの単位表現とに基づいて抽出された情報対をグラフ表示する。
【０２００】
なお、本発明の一実施形態によれば、情報抽出装置１が、更に、情報対抽出部１２によって抽出された情報対について相関分析を行う手段（図１では図示を省略）を備えるようにしてもよい。また、表示部１３が、上記相関分析を行い、該相関分析結果を表示するようにしてもよい。
【０２０１】
図４は、本発明の実施の形態における情報抽出処理フローの一例を示す図である。まず、情報抽出装置１は、関連記事ＤＢ１４中の記事群から主要表現を抽出する（ステップＳ１）。次に、情報抽出装置１は、抽出された主要表現を用いて、情報対を抽出する（ステップＳ２）。そして、情報抽出装置１は、抽出された情報対を表示する（ステップＳ３）。
【０２０２】
図５乃至１４は、表示部による表示例を示す図である。図５に示す表示例は、主要表現としての項目表現が「末端価格」、固有表現の種類が「ＬＯＣＡＴＩＯＮ」と「ＯＲＧＡＮＩＺＡＴＩＯＮ」、単位表現が「キロ」と「円」である場合の情報対の表示例を示している。図５に示す表中の「文」という項目は、各々の情報対が同時に出現した文を示している。
【０２０３】
図６に示す表示例は、主要表現としての項目表現が「弾道ミサイル」、固有表現の種類が「ＡＲＴＩＦＡＣＴ」と「ＬＯＣＡＴＩＯＮ」である場合の情報対の表示例を示している。図６に示す表中の「文」という項目は、各々の情報対が同時に出現した文を示している。
【０２０４】
図７に示す表示例は、主要表現としての項目表現が「毎日新聞社主催」、固有表現の種類が「ＤＡＴＥ」と「ＬＯＣＡＴＩＯＮ」と「ＯＲＧＡＮＩＺＡＴＩＯＮ」と「ＰＥＲＳＯＮ」と「ＴＩＭＥ」である場合の情報対の表示例を示している。図７に示す表中の「文」という項目は、各々の情報対が同時に出現した文を示している。
【０２０５】
図８に示す表示例は、主要表現としての項目表現が「台風」、固有表現の種類が「ＬＯＣＡＴＩＯＮ」、単位表現が「号」と「キロ」である場合の情報対の表示例を示している。図８に示す表中の「文」という項目は、各々の情報対が同時に出現した文を示している。
【０２０６】
図９に示す表示例は、主要表現としての項目表現が「中前打」、固有表現の種類が「ＯＲＧＡＮＩＺＡＴＩＯＮ」と「ＰＥＲＳＯＮ」、単位表現が「回」と「点」である場合の情報対の表示例を示している。図９に示す表中の「文」という項目は、各々の情報対が同時に出現した文を示している。
【０２０７】
図１０に示す表示例は、主要表現としての項目表現が「無職」、固有表現の種類が「ＰＥＲＳＯＮ」と「ＴＩＭＥ」、単位表現が「階」と「階建て」である場合の情報対の表示例を示している。図１０に示す表中の「文」という項目は、各々の情報対が同時に出現した文を示している。
【０２０８】
図１１に示す表示例は、主要表現としての項目表現が「男子」、固有表現の種類が「ＬＯＣＡＴＩＯＮ」と「ＯＲＧＡＮＩＺＡＴＩＯＮ」と「ＰＥＲＳＯＮ」、単位表現が「位」と「メートル」である場合の情報対の表示例を示している。図１１に示す表中の「文」という項目は、各々の情報対が同時に出現した文を示している。
【０２０９】
図１２に示す表示例は、主要表現としての項目表現が「収賄罪」、固有表現の種類が「ＤＡＴＥ」と「ＬＯＣＡＴＩＯＮ」と「ＭＯＮＥＹ」と「ＰＥＲＳＯＮ」、単位表現が「人」と「円」である場合の情報対の表示例を示している。図１２に示す表中の「文」という項目は、各々の情報対が同時に出現した文を示している。
【０２１０】
図１３に示す表示例は、主要表現としての項目表現が「台風」、固有表現の種類が「ＬＯＣＡＴＩＯＮ」、単位表現が「号」と「キロ」である場合の、情報対のグラフ表示例を示している。図１３には、上記図８に示す表示例における第１行目の情報対（４号−２１０キロ−南大東島）のグラフ表示例が示される。図１３を示す表示例を参照すると、台風４号が南大東島から２１０キロの地点にあることがわかる。
【０２１１】
図１４は、主要表現としての項目表現が「末端価格」、固有表現の種類が「ＬＯＣＡＴＩＯＮ」と「ＯＲＧＡＮＩＺＡＴＩＯＮ」、単位表現が「キロ」と「円」である場合の情報対のグラフ表示例を示している。図１４に示す表示例は、大阪税関伏木税関支署が、ロシア船籍の船から末端価格７４０，０００円の覚醒剤を９．３キロ押収したことを示している。
【０２１２】
本発明の変形例について説明する。本発明の変形例においては、情報対抽出部１２が、情報対が抽出された記事群を構成する各記事を各記事が属するクラスターにクラスタリングする。そして、表示部１３が、各クラスターに属する記事から抽出された情報対について、クラスター毎に相関分析を行い、当該相関分析の結果に基づいて、各クラスターに属する記事から抽出された情報対をクラスター毎にグラフ化して表示する。相関分析とは、例えば、２つのデータの相関を分析することをいう。例えば、本発明において、ｘ軸、ｙ軸の２軸のグラフ上に情報対のプロットが並んでいる場合において、ｘ軸に対応するデータ（例えば数値表現）とｙ軸に対応するデータ（例えば数値表現）とに相関があるかといった相関分析を行う。また、例えば、本発明において、ｘ軸、ｙ軸の２軸のグラフ上に情報対のプロットが並んでいる場合において、ｘ軸に対応するデータ（例えばＤＡＴＥという固有表現の種類に属する固有表現）とｙ軸に対応するデータ（例えば数値表現）とに相関があるかといった相関分析を行う。
【０２１３】
グラフのプロットの並びが直線に近くなっていれば相関があると言える。表示部１３は、例えば、グラフのプロットについて相関分析を行う際に、２つのデータが、どの程度直線的な関係にあるかを示す相関係数を算出してもよい。
【０２１４】
表示部１３は、各クラスターに属する記事から抽出された情報対に基づいて生成するクラスター毎のグラフデータにおいて、ｘ軸に対応する数値表現とｙ軸に対応する数値表現とに相関があるかを分析し、当該分析の結果、相関があるとされたグラフデータ、又は、相関係数が所定の値以上のグラフデータのみをグラフ化して表示するようにしてもよい。
【０２１５】
また、表示部１３は、各クラスターに属する記事から抽出された情報対に基づいて生成するクラスター毎のグラフデータにおいて、ｘ軸に対応する固有表現とｙ軸に対応する数値表現とに相関があるかを分析し、当該分析の結果、相関があるとされたグラフデータ、又は、相関係数が所定の値以上のグラフデータのみをグラフ化して表示するようにしてもよい。
【０２１６】
なお、表示部１３は、当該相関分析の結果、相関があるとされたグラフデータ、又は、相関係数が所定の値以上のグラフデータを、当該グラフデータに対応する情報対の前述した評価値Ｍが大きい順にソートし、各グラフデータをグラフとして表示するようにしてもよい。
【０２１７】
また、本発明の一実施形態によれば、表示部１３が、情報対抽出部１２によって抽出された情報対について相関分析を行い、相関分析の結果に基づいて、上記情報対をグラフ化して表示するようにしてもよい。例えば、表示部１３は、５種類の数値表現と５種類の項目表現との組合せの数（２５個）だけの種類の情報対について前述した相関分析を行い、当該相関分析の結果、相関があるとされた情報対、又は、相関係数が所定の値以上である情報対のみをグラフ化して表示するようにしてもよい。また、例えば、表示部１３は、５種類の固有表現と５種類の項目表現との組合せの数（２５個）だけの種類の情報対について前述した相関分析を行い、当該相関分析の結果、相関があるとされた情報対、又は、相関係数が所定の値以上である情報対のみをグラフ化して表示するようにしてもよい。
【０２１８】
なお、固有表現をグラフのｘ軸などに表示する場合、表示部１３は、固有表現の表示の順番を決定した上でグラフ上に表示する。表示の順番の決め方には以下の（１）〜（５）までの５通りがある。
（１）予め人手で表示の順番を決めておき、該表示の順番を表形式のデータとして記憶手段に記憶しておく。該記憶手段に記憶された表形式のデータを参照して順番を決める。
（２）固有表現と、それと共起する単語( 例えば、大規模コーパスでその固有表現と同一文にある単語）を抽出し、その共起回数を求め、この結果を以下のような表形式にまとめる。
【０２１９】
単語１  単語２  単語３
固有表現１            ２      ０      １
固有表現２            ３      ２      １
固有表現３            １      ０      ０
上記表形式のデータに対して、主成分分析や、双対尺度法などの数値解析を実行する。（例えば、参考文献（１２）：「図解でわかる多変量解析」（日本実業出版社）、参考文献（１３）：「実践ワークショップＥｘｃｅｌ  徹底活用多変量解析」（秀和システム）参照）。
【０２２０】
第一固有値に対応するそれぞれの値の順に、固有表現を並べ替えて、それを固有表現の順番とする。
（３）固有表現と、それと共起する単語（例えば、大規模コーパスでその固有表現と同一文にある単語）を抽出し、その共起回数を求める。この結果を以下のような表形式にまとめる。
【０２２１】
単語１  単語２  単語３
固有表現１            ２      ０      １
固有表現２            ３      ２      １
固有表現３            １      ０      ０
共起する単語の種類をベクトルの次元、共起する単語の共起した回数をベクトルの要素とするベクトルを固有表現ごとに作成する。２つのベクトル（例えばｖ１とｖ２）の内積又はＣｏｓ（ｖ１，ｖ２）を固有表現同士の類似度とする。類似度が大きい固有表現同士を順につなげていく。ただし、一つの固有表現は、多くても二つの固有表現としかつながらないようにする。全ての固有表現がつながったら、それを一直線に伸ばして、その端から順に、固有表現の並び順を固有表現の順番とする。
（４）固有表現の表示の順番を５０音順とする。
（５）各固有表現を文字列長の長い順に並べ、該並んだ順番を固有表現の表示の順番とする。
【０２２２】
図１５乃至２４は、本発明を用いて抽出された情報対の評価例を示している。図１５は、情報対の評価数を示す図である。図１５に示す表に記述されている数の情報対だけ人手で評価する。ＮＥｘ（ｘ＝１〜８）は、ｘ個の固有表現と１個の項目表現を示す。また、記事数Ｘは、Ｘ個の記事数を持つ記事群を示す。すなわち、記事数Ｘが記述されている列とＮＥｘが記述されている行とが交差するセルに記述されている数は、記事数がＸ個の記事群から抽出されたｘ個の固有表現と１個の項目表現とからなる情報対の数を示している。
【０２２３】
図１６（Ａ）、（Ｂ）、図１７（Ａ）、（Ｂ）は、図１５に示す表に記述されている数の情報対についての評価結果の一例を示す図である。図１６（Ａ）は、本発明を用いて抽出された情報対が７５％以上正しい（例えば、情報対が記事中に同時に出現する）場合の、当該情報対の数を示し、図１６（Ｂ）は、図１６（Ａ）に示す評価結果に示す情報対の数を前述した図１５に示す対応する情報対の評価数で除算した結果を示す。
【０２２４】
また、図１７（Ａ）は、本発明を用いて抽出された情報対が５０％以上正しい（例えば、情報対が記事中に同時に出現する）場合の、当該情報対の数を示し、図１７（Ｂ）は、図１７（Ａ）に示す評価結果に示す情報対の数を前述した図１５に示す対応する情報対の評価数で除算した結果を示す。なお、図１８は、上記図１６（Ｂ）に示す評価結果を示すグラフであり、図１９は、上記図１７（Ｂ）に示す評価結果を示すグラフである。
【０２２５】
図２０は、情報対の評価数を示す図である。図２０に示す表に記述されている数の情報対だけ人手で評価する。ＮＥｘ（ｘ＝１〜８）は、ｘ個の固有表現と１個の項目表現と２個の数値表現（単位表現に関連する数値表現）を示す。また、記事数Ｘは、Ｘ個の記事数を持つ記事群を示す。すなわち、記事数Ｘが記述されている列とＮＥｘが記述されている行とが交差するセルに記述されている数は、記事数がＸ個の記事群から抽出されたｘ個の固有表現と１個の項目表現と２個の数値表現からなる情報対の数を示している。
【０２２６】
図２１（Ａ）、（Ｂ）、図２２（Ａ）、（Ｂ）は、図２０に示す表に記述されている数の情報対についての評価結果の一例を示す図である。図２１（Ａ）は、本発明を用いて抽出された情報対が７５％以上正しい（例えば、情報対が記事中に同時に出現する）場合の、当該情報対の数を示し、図２１（Ｂ）は、図２１（Ａ）に示す評価結果に示す情報対の数を前述した図２０に示す対応する情報対の評価数で除算した結果を示す。
【０２２７】
また、図２２（Ａ）は、本発明を用いて抽出された情報対が５０％以上正しい（例えば、情報対が記事中に同時に出現する）場合の、当該情報対の数を示し、図２２（Ｂ）は、図２２（Ａ）に示す評価結果に示す情報対の数を前述した図２０に示す対応する情報対の評価数で除算した結果を示す。なお、図２３は、上記図２１（Ｂ）に示す評価結果を示すグラフであり、図２４は、上記図２２（Ｂ）に示す評価結果を示すグラフである。
【０２２８】
本発明における実験について更に述べる。本発明の情報抽出装置により、主要表現として項目表現と固有表現の種類を用いた場合の情報対の抽出実験を行った。ここでは、１９９８年と１９９９年の２年分の毎日新聞の記事群（２２０，０７８記事）を利用した。この実験では、抽出された情報対全体を実験対象とし、評価はそのうちいくつかを選んで人手で評価した。評価結果を図２５乃至２８に示す。図２５、図２６は、固有表現のみを主要表現として用いた場合の、情報対の評価結果であり（図２５は、精度、図２６は抽出総数を示す）、図２７、図２８は、１〜６個の固有表現と１個の単位（数値）表現を主要表現として用いた場合の、情報対の評価結果である（図２７は、精度、図２８は、抽出総数を示す）。図２５乃至２８中のＮＥｘは、ｘ個の固有表現を用いる場合を意味する。評価は、抽出記事数（主要表現が同時に出現した１文を持つ記事の数）がちょうど１０，３０，５０，７０，９０であったデータからそれぞれ１０個ずつランダムに取り出し、それが正解かどうかを人手で調べた。「評価Ａ」は、抽出記事数個取り出した数値・固有表現の情報対のうち７５％がある一つのトピックについて正しい情報を示す場合にそのデータを正しいと判断し、その正しいとされたデータの割合を意味する。「評価Ｂ」は、抽出記事数個取り出した数値・固有表現の情報対のうち、５０％がある一つのトピックについて正しい情報を示す場合にそのデータを正しいと判断し、その正しいとされたデータの割合を意味する。但し、同一文に複数の同種の固有表現が出現した場合はそのどれかが正解として解釈できるものであれば正解とした。図２７では評価Ｂの結果のみ示す。評価Ａでは全体データで固有表現情報のみの場合０．０８４、数値・固有表現情報の場合０．０１８であった。図２６と図２７にはデータの抽出総数を示す。
【０２２９】
評価Ａで取り出せたデータの個数は、固有表現のみを用いた場合、数値・固有表現を用いた場合の両方を合わせて２４個であった。また、評価Ｂの全体データでの精度は固有表現のみを用いた場合０．２８で数値・固有表現の情報を用いた場合０．２６であった。また、抽出総数と精度をかけあわせて合計どのくらい有用なデータを抽出できるかを見積もった。これは、例えば２１〜４０の記事数のＮＥ２の抽出総数と記事数３０の精度の積を１〜４０の記事数のＮＥ２の場合の抽出できる有用データとする手順で求めた。この見積もりでは抽出可能な評価Ａのデータは固有表現のみを用いた場合、数値・固有表現を用いた場合の両方を合わせて約２万個であった。
【０２３０】
本発明の情報抽出装置１により抽出したデータ（情報対）を図２９、図３０に示す。図２９には固有表現と項目表現を主要表現とした場合に得られた情報対を示す。図２９（Ａ）は、項目表現「スライダー」、人名と組織名の固有表現の種類を主要表現セットとした場合の情報対である。図２９（Ａ）から、当時スライダーを投げていた選手とそのチーム名がわかる。図２９（Ｂ）は、項目表現「弾道ミサイル」、人工物名と地名の固有表現の種類を主要表現とした場合の情報対である。図２９（Ｂ）から、当時の弾道ミサイルに関係するミサイル名とそのミサイルの保有国がわかる。その他、囲碁将棋などの毎日新聞社主催行事の開催時期・場所・主催団体・棋士名のデータ、家宅捜索を受けた組織・日付・場所・人・金額・関連する法律のデータなど多様なデータが得られる。
【０２３１】
図３０は、固有表現と項目表現を主要表現とした場合に得られた情報対の表示例である。項目表現「収賄罪」、単位表現「人」、「円」、人名と地名の固有表現の種類を主要表現とした場合のものである。図３０の横軸は、収賄罪をおかした人数、縦軸は収賄罪の金額を示す。各プロットには人名と関連する場所を記載した。但し、人名はシステムではとれているがここでは匿名で表示している。その他、何階建ての何階で火事が起きたかとその住民の氏名と時間、スポーツ競技の順位とその競技のメートル数・選手・組織・場所などを示す多様なグラフを得た。
【０２３２】
本発明の他の変形例を説明する。この例では、表示部１３が、情報対抽出部１２が抽出した情報対を含む文を関連記事ＤＢ１４中の記事群から抽出し、当該抽出した文において、情報対を強調表示する。
【０２３３】
例えば、情報対抽出部１２が抽出した情報対（数値表現、固有表現、項目表現の対）が、「○号」、「○日」、「台風」であるとすると、表示部１３は、この三つの表現が同時に出現している文を抽出し、該抽出された文において、該三つの表現を強調表示する。同一文において複数の表現がある場合は、例えば最初に出現しているものを二重線でそれ以外を一重線で強調表示する。その結果を図３１に示す。上記三つの表現を適宜色分けして表示する構成を採ってもよい。
【０２３４】
抽出した文は、そのときの台風の様子を端的に示しており、要約の研究における重要文抽出と同等の効果を持つ文を抽出できていると思われる。すなわち、台風が通った地名、また場合によって被害状況も記述されており、その台風に関する重要な記述が抽出した文に含まれている。
【０２３５】
また、図中の７個目のデータには、台風７号と台風８号の複数のデータが含まれるが、抽出した情報以外に、現在着目している主要表現があればそれも一重の下線で強調表示することで、その複数データがそのデータにあることがすぐにわかる。また、取り出すべき情報対の組をシステムが誤る場合があるが、この強調表示はその誤りを早く見つけることにも役に立つ。ここでは、抽出した文のみで強調表示を行ったが、記事中に抽出すべき文が残っている可能性もある。記事全体で同様の強調表示を行えば、そういう漏れも抽出できる可能性がある。そこで、元の記事全体で強調表示をする構成を採ってもよい。
【０２３６】
次に、本発明の一実施形態において、主要表現抽出部１１が、前述したように、抽出された固有表現の種類の前又は後、又は、上記抽出された単位表現に関連する数値表現の前又は後に付随する単語を抽出し、該抽出された単語から選択された単語が付随する固有表現の種類、又は該抽出された単語から選択された単語が付随する数値表現に関連する単位表現を上記主要表現とする処理を行う場合において、どのようにして上記単語が選択されるかについて説明する。
【０２３７】
図３２及び図３３は、抽出された固有表現の種類の前又は後に付随する単語、抽出された単位表現に関連する数値表現の前又は後に付随する単語を出現頻度に並べた表を示す図である。図３２及び図３３に示す例では、固有表現の種類又は数値表現の前後３文字までの単語を出現頻度順に並べた結果を示している。
【０２３８】
例えば、図３２中の「キロ」という単位表現に関連する数値表現「９．３キロ｜９．３キロ｜１２０キロ｜・・・」の後ろ３文字として付随する単語は「（末端」であり、「ＡＲＴＩＦＡＣＴ」という固有表現の種類に属する固有表現「玉丸｜シテロワテ・・・」の前１文字として付随する単語は「船」である。主要表現抽出部１１は、例えば、上記図３２に示すような表を作成して表示し、該表示を見たユーザの指定入力に従って、「船」という単語を選択する。
【０２３９】
また、図３３を参照すると、例えば、「キロ」という単位表現に関連する数値表現「４号｜５号｜６号｜・・・」の前２文字として付随する単語は「台風」であり、「キロ」という単位表現に関連する数値表現「１５キロ｜２５キロ｜７５キロ」の前２文字として付随する単語は「時速」である。主要表現抽出部１１は、例えば、上記図３３に示すような表を作成して表示し、該表示を見たユーザの指定入力に従って、「時速」という単語を選択する。
【０２４０】
次に、本発明の情報抽出装置１による情報対の抽出結果を、情報抽出装置１が相関分析した実験について説明する。データの相関を表す指標としては、一般に、相関係数が用いられる。データｘｉ、ｙｉ（ｉ＝１，２，３，・・・ｎ）が与えられたとき、ｘとｙの相関係数ｒは、
【０２４１】
【数１０】
2008287388.tif 000012
【０２４２】
となる。
ここで、
【０２４３】
【数１１】
2008287388.tif 000013
【０２４４】
である。
【０２４５】
ｒは常に−１と１の間の値をとり、１（あるいは−１）に近いとき、強い相関があり、０に近いとき相関がないといえる。相関係数が正の値のときは正の相関があり、ｘが増加するとｙも増加する。相関係数が負の値のときは負の相関あり、ｘが増加するとｙが減少する。相関の有無の判定は、例えばｔ検定等の検定を用いて行う。
【０２４６】
例えば、情報抽出装置１が、新聞２年分などの大規模データから複数セット（マラソン、台風、収賄など様々な分野のセット）に関連する情報対を抽出し、該抽出された情報対について相関分析し、情報抽出装置１が情報対の抽出結果について相関分析する。
【０２４７】
例えば図３４に示すような相関分析結果が得られる。図３４に示すデータにおける相関係数は、単位表現に関連する数値表現の間の相関係数である。検定で相関ありとされたデータについては、フラグ「１」を立てている。
【０２４８】
例えば、図３４中の第６番目のデータ（項目表現が「間」、単位表現が「区」と「キロ」、固有表現の種類が「ＯＲＧＡＮＩＺＡＴＩＯＮ」であるデータ）の元データ（相関分析の対象とした元のデータ）である情報対の抽出結果を図３５に示す。
【０２４９】
図３６は、図３５中に示す単位表現「区」に関連する数値表現と、単位表現「キロ」に関連する数値表現とについての相関分析結果を示すグラフである。単位表現「区」に関連する数値表現と、単位表現「キロ」に関連する数値表現との間の相関係数は正（約０．７８３）である。また、図３６に示すグラフから、例えば、どういう「区」の数値が増加すると「キロ」の数値（例えば駅伝の走行距離）が伸びるかということがわかる。
【０２５０】
情報抽出装置１による相関分析処理によれば、相関を有している一連のデータを簡単に抽出することができる。
【０２５１】
なお、本発明の一実施形態によれば、情報抽出装置１が、一つの分野（例えば台風という分野）のデータから、複数種類の主要表現のセットを抽出し、相関分析に基づいて、該抽出された主要表現のセットから最終的に抽出対象とする主要表現を決定するようにしてもよい。
【０２５２】
次に、本発明の情報抽出装置１を用いた他の実験について説明する。図３７は、前又は後にパターンの候補（単語又は文字列）が付随する固有表現毎のｓｃｏｒｅを示す図である。ここで、パターンの候補とは、記事群中において固有表現の種類の前又は後に出現する単語又は文字列をいう。
【０２５３】
すなわち、図３７は、項目表現を「末端価格」、単位表現を「キロ」と「円」、固有表現の種類を「ＬＯＣＡＴＩＯＮ」と「ＯＲＧＡＮＩＺＡＴＩＯＮ」としたときの情報抽出装置１による情報対の抽出結果に基づいて、固有表現の種類「ＬＯＣＡＴＩＯＮ（地名）」について、前又は後にパターンの候補が付随する固有表現毎のｓｃｏｒｅを示している。図３７中では、ｓｃｏｒｅの大きい順にデータを表示している。
【０２５４】
図３７中において、「表現」という項目は、前又は後にパターンの候補が付随する固有表現、「ｓｃｏｒｅ」という項目は該固有表現毎のｓｃｏｒｅ、「例」という項目は該固有表現の具体例を示している。
【０２５５】
例えば、図３７中の第１番目のデータは、単語「人」が後ろ１文字として付随する固有表現のｓｃｏｒｅが７９８であることを示すとともに、該固有表現の具体例がブータン｜ブータン｜コロンビア｜コロンビア｜中国｜・・・であることを示している。
【０２５６】
上記ｓｃｏｒｅは、前述した、以下に示す式
ｓｃｏｒｅ＝Σ２つの固有表現の類似度×ｆ（第１の固有表現，第２の固有表現）
に基づいて算出する。
【０２５７】
上記「２つの固有表現の類似度」は、図３７中に示す「例」の項目に表示された固有表現から得られる各々の２つの固有表現（第１の固有表現と第２の固有表現）の類似度である。例えば、固有表現同士が両方とも国名、又は両方とも国名以外なら当該固有表現同士の類似度を１、固有表現同士の一方が国名で他方が国名以外なら当該固有表現同士の類似度を−１とする。
【０２５８】
本発明の一実施形態によれば、固有表現同士の類似度を所定の変換式を用いて変換し、変換された類似度を用いてｓｃｏｒｅを算出するようにしてもよい。例えば、２つの固有表現同士の類似度を、所定のベクトル生成手法によって決まる固有表現に応じたベクトル同士の角度（またはｃｏｓ）とする場合、０から１の類似度を持つので、例えば、該ｃｏｓの値を２倍して１を減じる等して求まる値を２つの固有表現同士の類似度とするようにしてもよい。本発明においては、他の任意の類似度の変換手法を用いるようにしてもよい。
【０２５９】
また、ｆ（第１の固有表現，第２の固有表現）は、第１の固有表現と第２の固有表現とで共にパターンの候補が出現した（付随する）場合、又は共にパターンの候補が出現しなかった場合は１、どちらか一方のみに上記パターンの候補が出現した場合は−１である関数である。
【０２６０】
図３７において、同一の「表現」に対応する２行分のデータは、上の行がパターンの候補が出現した固有表現についてのデータ、下の行がパターンの候補が出現した固有表現についてのデータである。
【０２６１】
例えば、図３７中の第１番目のデータ中の「例」の項目に表示されている固有表現「ブータン｜ブータン｜コロンビア｜コロンビア｜中国｜・・・」は、パターンの候補「人」が後ろ１文字として付随する固有表現の具体例を示し、第２番目のデータ中の「例」の項目に表示されている固有表現「ロシア｜伏木港｜ロシア｜成田空港｜・・・」は、パターンの候補「人」が後ろ１文字として付随しない固有表現の具体例を示している。
【０２６２】
図３７に表示されたデータを見れば、情報対として抽出される固有表現を分ける（グループ分けする）のに役立つパターン（例えば「人」や「国籍」など）を自動で取得することができていることがわかる。
【０２６３】
本発明は、コンピュータにより読み取られ実行されるプログラムとして実施することもできる。本発明を実現するプログラムは、コンピュータが読み取り可能な、可搬媒体メモリ、半導体メモリ、ハードディスクなどの適当な記録媒体に格納することができ、これらの記録媒体に記録して提供され、または、通信インタフェースを介してネットワークを利用した送受信により提供されるものである。
【図面の簡単な説明】
【０２６４】
【図１】本発明のシステム構成の一例を示す図である。
【図２】情報対抽出部の構成例を示す図である。
【図３】サポートベクトルマシン法のマージン最大化の概念を示す図である。
【図４】情報抽出処理フローの一例を示す図である。
【図５】表示部による表示例を示す図である。
【図６】表示部による表示例を示す図である。
【図７】表示部による表示例を示す図である。
【図８】表示部による表示例を示す図である。
【図９】表示部による表示例を示す図である。
【図１０】表示部による表示例を示す図である。
【図１１】表示部による表示例を示す図である。
【図１２】表示部による表示例を示す図である。
【図１３】表示部による表示例を示す図である。
【図１４】表示部による表示例を示す図である。
【図１５】情報対の評価数を示す図である。
【図１６】情報対についての評価結果の一例を示す図である。
【図１７】情報対についての評価結果の一例を示す図である。
【図１８】情報対についての評価結果の一例を示すグラフである。
【図１９】情報対についての評価結果の一例を示すグラフである。
【図２０】情報対の評価数を示す図である。
【図２１】情報対についての評価結果の一例を示す図である。
【図２２】情報対についての評価結果の一例を示す図である。
【図２３】情報対についての評価結果の一例を示すグラフである。
【図２４】情報対についての評価結果の一例を示すグラフである。
【図２５】情報対についての評価結果の一例を示す図である。
【図２６】情報対についての評価結果の一例を示す図である。
【図２７】情報対についての評価結果の一例を示す図である。
【図２８】情報対についての評価結果の一例を示す図である。
【図２９】情報対を示す図である。
【図３０】情報対を示す図である。
【図３１】情報対の強調表示の例を示す図である。
【図３２】抽出された固有表現の種類の前又は後に付随する単語、抽出された単位表現に関連する数値表現の前又は後に付随する単語を出現頻度に並べた表を示す図である。
【図３３】抽出された固有表現の種類の前又は後に付随する単語、抽出された単位表現に関連する数値表現の前又は後に付随する単語を出現頻度に並べた表を示す図である。
【図３４】相関分析結果を示す図である。
【図３５】情報対の抽出結果を示す図である。
【図３６】相関分析結果を示すグラフである。
【図３７】前又は後にパターンの候補が付随する固有表現毎のｓｃｏｒｅを示す図である。
【符号の説明】
【０２６５】
１  情報抽出装置
１１  主要表現抽出部
１２  情報対抽出部
１３  表示部
１４  関連記事ＤＢ
１１１  主要単位表現抽出部
１１２  主要項目表現抽出部
１１３  主要固有表現抽出部
１２１  教師データ記憶手段
１２２  解−素性対抽出手段
１２３  機械学習手段
１２４  学習結果記憶手段
１２５  表現対抽出手段
１２６  素性抽出手段
１２７  解推定手段
１２８  情報対抽出手段
【図１】
2008287388.tif 000014
【図２】
2008287388.tif 000015
【図３】
2008287388.tif 000016
【図４】
2008287388.tif 000017
【図５】
2008287388.tif 000018
【図６】
2008287388.tif 000019
【図７】
2008287388.tif 000020
【図８】
2008287388.tif 000021
【図９】
2008287388.tif 000022
【図１０】
2008287388.tif 000023
【図１１】
2008287388.tif 000024
【図１２】
2008287388.tif 000025
【図１３】
2008287388.tif 000026
【図１４】
2008287388.tif 000027
【図１５】
2008287388.tif 000028
【図１６】
2008287388.tif 000029
【図１７】
2008287388.tif 000030
【図１８】
2008287388.tif 000031
【図１９】
2008287388.tif 000032
【図２０】
2008287388.tif 000033
【図２１】
2008287388.tif 000034
【図２２】
2008287388.tif 000035
【図２３】
2008287388.tif 000036
【図２４】
2008287388.tif 000037
【図２５】
2008287388.tif 000038
【図２６】
2008287388.tif 000039
【図２７】
2008287388.tif 000040
【図２８】
2008287388.tif 000041
【図２９】
2008287388.tif 000042
【図３０】
2008287388.tif 000043
【図３１】
2008287388.tif 000044
【図３２】
2008287388.tif 000045
【図３３】
2008287388.tif 000046
【図３４】
2008287388.tif 000047
【図３５】
2008287388.tif 000048
【図３６】
2008287388.tif 000049
【図３７】
2008287388.tif 000050