(57)【要約】【課題】検索情報が必要な情報であるか否かを判定して情報の抽出を行うことができる情報抽出装置を提供する。【解決手段】情報抽出装置１は、インターネットに接続し、項目に対応する項目情報を項目に関連付けて列単位に項目を設定した表形式で記憶する完成表記憶部２０を備えている。そして、ユーザの指示を受けて、検索条件抽出部２１は、完成表記億部２０から行単位に項目情報を読出し検索条件を抽出する。文書検索部２２は、当該検索条件に基づいて、インターネットからウェブページを検索する。表抽出部２４は、検索したウェブページからＨＴＭＬのテーブルタグで示される表情報を抽出する。情報照合部２５及び表抽出辞書学習部２６は、表情報に対して所定の演算を行い、項目情報ごとの重み付け値を算出する。そして、抽出表判定部２８は、重み付け値を参照して、ウェブページから抽出した表情報が情報抽出対象として必要であるか不要であるかを判定する。【選択図】    図１
2005352547.tif 000002
【特許請求の範囲】
【請求項１】
表情報から構成される文書情報を記憶する文書データベースに接続し、前記文書データベースの前記文書情報から情報を抽出する情報抽出装置において、
予め列単位に設定された項目に対応する項目情報を前記項目に関連付けて表形式で記憶する完成表記憶部と、
ユーザの指示を受けて、前記完成表記億部から行単位に前記項目情報を読出し、読み出した行に存在する前記項目情報を組み合わせて検索条件を抽出する検索条件抽出手段と、
前記検索条件生成手段によって抽出された前記検索条件に基づいて、前記文書データベースから該当する前記文書情報を検索する文書検索手段と、
前記文書検索手段によって検索された前記文書情報から、前記検索条件に該当する前記表情報を抽出する表抽出手段と、
前記表抽出手段から前記表情報を受信し、前記検索条件を構成する前記項目情報に一致する情報を検出し、検出結果に基づいて第１の所定の演算を行い、算出した前記表情報ごとの結果値から前記表情報が情報抽出対象として必要か不要かを照合する情報照合手段と、
前記情報照合手段によって必要または不要と照合された両方の前記表情報に対して第２の所定の演算を行い、前記表情報に含まれている前記項目情報ごとの重み付け値を算出する表抽出辞書学習手段と、
前記表抽出辞書学習手段によって算出された前記重み付け値を前記項目情報ごとに辞書記憶部へ記憶する表抽出辞書記憶手段と、
前記表抽出手段から前記表情報を受信し、前記表情報に含まれている前記項目情報の重み付け値を前記辞書記憶部から読み出し、前記重み付け値に対して第３の所定の演算を行って前記表情報の判定値を算出し、前記表情報が情報抽出対象として必要か不要かを判定する抽出表判定手段と、
前記抽出表判定手段によって必要であると判定された前記表情報から前記項目情報を読み出して該当する前記完成表記億部の箇所に記憶する項目情報記憶手段と、
を備えたことを特徴とする情報抽出装置。
【請求項２】
前記表抽出手段は、
前記検索条件抽出手段が、前記完成表記憶部から行単位で読み出した際に、全ての前記項目に前記項目情報が設定されている場合は、抽出した前記表情報を前記情報照合手段にのみ送信し、
全ての前記項目に前記項目情報が設定されていない場合は、抽出した前記表情報を前記抽出表判定手段に送信することを特徴とする請求項１に記載の情報抽出装置。
【請求項３】
前記文書データベースは、インターネットに接続されているサーバ装置のデータベースであり、
前記文書情報は、ウェブページであり、
前記表情報は、ＨＴＭＬ規約に従って記載されている前記ウェブページのテーブルタグによって示される情報であり、
前記文書検索手段は、前記インターネットに接続し、前記サーバ装置のデータベースから前記ウェブページの検索を行うことを特徴とする請求項１または２に記載の情報抽出装置。
【請求項４】
表情報から構成される文書情報を記憶する文書データベースに接続し、前記文書データベースの前記文書情報から情報を抽出し、予め列単位に設定された項目に対応する項目情報を前記項目に関連付けて表形式で記憶する完成表記憶部を備えた情報抽出装置のコンピュータを、
ユーザの指示を受けて、前記完成表記億部から行単位に前記項目情報を読出し、読み出した行に存在する前記項目情報を組み合わせて検索条件を抽出する検索条件抽出手段、
前記検索条件生成手段によって抽出された前記検索条件に基づいて、前記文書データベースから該当する前記文書情報を検索する文書検索手段、
前記文書検索手段によって検索された前記文書情報から、前記検索条件に該当する前記表情報を抽出する表抽出手段、
前記表抽出手段から前記表情報を受信し、前記検索条件を構成する前記項目情報に一致する情報を検出し、検出結果に基づいて第１の所定の演算を行い、算出した前記表情報ごとの結果値から前記表情報が情報抽出対象として必要か不要かを照合する情報照合手段、
前記情報照合手段によって必要または不要と照合された両方の前記表情報に対して第２の所定の演算を行い、前記表情報に含まれている前記項目情報ごとの重み付け値を算出する表抽出辞書学習手段、
前記表抽出辞書学習手段によって算出された前記重み付け値を前記項目情報ごとに辞書記憶部へ記憶する表抽出辞書記憶手段、
前記表抽出手段から前記表情報を受信し、前記表情報に含まれている前記項目情報の重み付け値を前記辞書記憶部から読み出し、前記重み付け値に対して第３の所定の演算を行って前記表情報の判定値を算出し、前記表情報が情報抽出対象として必要か不要かを判定する抽出表判定手段、
前記抽出表判定手段によって必要であると判定された前記表情報から前記項目情報を読み出して該当する前記完成表記億部の箇所に記憶する項目情報記憶手段、
として機能させることを特徴とする情報抽出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、主にインターネット等から検索した情報のうち必要な情報を抽出する情報抽出装置及び情報抽出プログラムに関する。
【背景技術】
【０００２】
従来の技術において、大量のテキストデータからの知識発見を支援することを目的としたテキストマイニングという技術は既に知られており、企業等で利用されている。また、テキストデータだけでなく、文書データから予め設定した抽出規則に基づいて表や図等の情報を抽出する手段等も提案されている。文書データから表を自動抽出する手段としては、表中に登場する文字列について、あらかじめ文字列と点数が対応付けられた辞書を作成する。辞書は、抽出が必要な表の集合と抽出が不要な表の集合を人が作成し、２つの表の集合での登場頻度を用いて文字列を点数付けすることにより作成する。そして、当該辞書を参照し、表中の文字列に与えられている点数の合計があらかじめ決められた点数以上になれば、その表を抽出するという手段がある（例えば、特許文献１、２、３参照）。
【特許文献１】特開２００３−３４６１６１号公報
【特許文献２】特開２００３−３４６１４６号公報
【特許文献３】特開平７−２１１６０号公報
【特許文献４】特開２００１−３２５２８４号公報
【非特許文献１】林  晃司、嶋田  和孝、遠藤  勉、“ＷＷＷからの性能表抽出のためのキーワード獲得と重み付け”、電子情報通信学会、思考と言語研究会、信学技報、２００３年３月
【非特許文献２】中島  浩之、“類似学習例の除去とRocchioフィードバックを弱学習アルゴリズムとするＡｄａＢｏｏｓｔによるレレバンフィードバックの精度向上”、自然言語処理(言語処理学会）、平成15年1月、Ｖｏｌ．１０、Ｎｏ．１、ｐｐ４７−６１
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の辞書作成手法では、辞書作成の前提となる表の集合を作成時に、抽出が必要な表の集合と抽出が不要な表の集合について人が判定作業を行う必要があり、多くの工程が必要となる問題がある。
【０００４】
本発明は、上記問題を解決すべくなされたもので、その目的は、事前に完成すべき表の一部をサンプルのデータで埋めた表を与えることで、人手を介さずに抽出が必要な表の集合と不要な表の集合を判定し辞書を作成することができる情報抽出装置、情報抽出プログラムを提供することにある。
【課題を解決するための手段】
【０００５】
上述した問題を解決するために、本発明は、表情報から構成される文書情報を記憶する文書データベース（例えば、文書データベース２３）に接続し、前記文書データベースの前記文書情報から情報を抽出する情報抽出装置（例えば、情報抽出装置１）において、予め列単位に設定された項目に対応する項目情報を前記項目に関連付けて表形式で記憶する完成表記憶部（完成表記憶部２０）と、ユーザの指示を受けて、前記完成表記億部から行単位に前記項目情報を読出し、読み出した行に存在する前記項目情報を組み合わせて検索条件を抽出する検索条件抽出手段（検索条件抽出部２１）と、前記検索条件生成手段によって抽出された前記検索条件に基づいて、前記文書データベースから該当する前記文書情報を検索する文書検索手段（文書検索部２２）と、前記文書検索手段によって検索された前記文書情報から、前記検索条件に該当する前記表情報を抽出する表抽出手段（表抽出部２４）と、前記表抽出手段から前記表情報を受信し、前記検索条件を構成する前記項目情報に一致する情報を検出し、検出結果に基づいて第１の所定の演算を行い、算出した前記表情報ごとの結果値から前記表情報が情報抽出対象として必要か不要かを照合する情報照合手段（情報照合部２５）と、前記情報照合手段によって必要または不要と照合された両方の前記表情報に対して第２の所定の演算を行い、前記表情報に含まれている前記項目情報ごとの重み付け値を算出する表抽出辞書学習手段（表抽出辞書学習部２６）と、前記表抽出辞書学習手段によって算出された前記重み付け値を前記項目情報ごとに辞書記憶部（表抽出辞書データベース２７）へ記憶する表抽出辞書記憶手段（表抽出辞書学習部２６）と、前記表抽出手段から前記表情報を受信し、前記表情報に含まれている前記項目情報の重み付け値を前記辞書記憶部から読み出し、前記重み付け値に対して第３の所定の演算を行って前記表情報の判定値を算出し、前記表情報が情報抽出対象として必要か不要かを判定する抽出表判定手段（抽出表判定部２８）と、前記抽出表判定手段によって必要であると判定された前記表情報から前記項目情報を読み出して該当する前記完成表記億部の箇所に記憶する項目情報記憶手段と、を備えたことを特徴とする情報抽出装置である。
【０００６】
本発明は、上記の発明において、前記表抽出手段は、前記検索条件抽出手段が、前記完成表記憶部から行単位で読み出した際に、全ての前記項目に前記項目情報が設定されている場合は、抽出した前記表情報を前記情報照合手段にのみ送信し、全ての前記項目に前記項目情報が設定されていない場合は、抽出した前記表情報を前記抽出表判定手段に送信することを特徴とする。
【０００７】
本発明は、上記の発明において、前記文書データベースは、インターネットに接続されているサーバ装置のデータベースであり、前記文書情報は、ウェブページであり、前記表情報は、ＨＴＭＬ規約に従って記載されている前記ウェブページのテーブルタグによって示される情報であり、前記文書検索手段は、前記インターネットに接続し、前記サーバ装置のデータベースから前記ウェブページの検索を行うことを特徴とする。
【０００８】
本発明は、表情報から構成される文書情報を記憶する文書データベースに接続し、前記文書データベースの前記文書情報から情報を抽出し、予め列単位に設定された項目に対応する項目情報を前記項目に関連付けて表形式で記憶する完成表記憶部を備えた情報抽出装置のコンピュータを、ユーザの指示を受けて、前記完成表記億部から行単位に前記項目情報を読出し、読み出した行に存在する前記項目情報を組み合わせて検索条件を抽出する検索条件抽出手段、前記検索条件生成手段によって抽出された前記検索条件に基づいて、前記文書データベースから該当する前記文書情報を検索する文書検索手段、前記文書検索手段によって検索された前記文書情報から、前記検索条件に該当する前記表情報を抽出する表抽出手段、前記表抽出手段から前記表情報を受信し、前記検索条件を構成する前記項目情報に一致する情報を検出し、検出結果に基づいて第１の所定の演算を行い、算出した前記表情報ごとの結果値から前記表情報が情報抽出対象として必要か不要かを照合する情報照合手段、前記情報照合手段によって必要または不要と照合された両方の前記表情報に対して第２の所定の演算を行い、前記表情報に含まれている前記項目情報ごとの重み付け値を算出する表抽出辞書学習手段、前記表抽出辞書学習手段によって算出された前記重み付け値を前記項目情報ごとに辞書記憶部へ記憶する表抽出辞書記憶手段、前記表抽出手段から前記表情報を受信し、前記表情報に含まれている前記項目情報の重み付け値を前記辞書記憶部から読み出し、前記重み付け値に対して第３の所定の演算を行って前記表情報の判定値を算出し、前記表情報が情報抽出対象として必要か不要かを判定する抽出表判定手段、前記抽出表判定手段によって必要であると判定された前記表情報から前記項目情報を読み出して該当する前記完成表記億部の箇所に記憶する項目情報記憶手段、として機能させることを特徴とする情報抽出プログラムである。
【発明の効果】
【０００９】
この発明によれば、情報抽出装置は、表情報から構成される文書情報を記憶する文書データベースに接続し、予め列単位に設定された項目に対応する項目情報を項目に関連付けて表形式で記憶する完成表記憶部を備えている。そして、ユーザの指示を受けて、完成表記億部から行単位に項目情報を読出し、読み出した行に存在する項目情報を組み合わせて検索条件を抽出する。抽出した検索条件に基づいて文書データベースから該当する文書情報を検索し、文書情報から検索条件に該当する表情報を抽出する。抽出した表情報から検索条件を構成する項目情報に一致する情報を検出し、検出結果に基づいて第１の所定の演算を行い、算出した表情報ごとの結果値から表情報が情報抽出対象として必要か不要かを照合する。必要または不要と照合された両方の表情報に対して第２の所定の演算を行い、表情報に含まれている項目情報ごとの重み付け値を算出して項目情報ごとに辞書記憶部へ記憶する。また、抽出した表情報を受信し、表情報に含まれている項目情報の重み付け値を辞書記憶部から読み出して第３の所定の演算を行い、表情報の判定値を算出する。そして、表情報が情報抽出対象として必要であるか不要であるかを判定し、必要であると判定された表情報から項目情報を読み出して該当する完成表記億部の箇所に記憶する構成となっている。そのため、項目に対して予めサンプルとして設定した一部の項目情報から取得した情報が必要か不要かを判定する指標となる表抽出辞書を作成することができる。それによって、抽出が必要な表の集合と不要な表の集合を判定する作業を、抽出したい情報のサンプルを準備することで人手を介さずに行うことを可能とし、大規模なサンプルを用いた辞書自動構築の工期を短縮することができる。また、人手を介さずに判定作業を行うことを可能にしたことで、作業に関わる人を最小限に留めることができ、機密性の高い調査業務において機密漏洩の危険性を低下させることができる。
【００１０】
また、本発明によれば、情報抽出装置は、インターネットに接続し、インターネットに接続されたサーバ装置からウェブページを検索する構成となっているため、インターネットに公開されているウェブページから情報を抽出することができる。それによって、インターネットにおいて日々更新されている新しい情報から情報抽出することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の一実施形態による情報抽出装置を図面を参照して説明する。
本実施形態において、情報抽出処理を行う際の基本的な考え方について最初に説明する。インターネット等から検索して得られたウェブページ等には様々な情報が含まれているが、例えば、分野を企業情報に限定することによって、企業情報を説明するために用いられる項目はある程度決まったものとなる。つまり、そのような項目の名称を多く含んでいるウェブページ等に企業情報が多く含まれているとみなすことができ、情報抽出の対象にすることができる可能性が高いという考え方に基づいている。
図１は、本実施形態による情報抽出装置１を示す概略ブロック図である。
情報抽出装置１には、大きく次の２つの処理手順がある。最初に、完成表１０のサンプル値を用いて表抽出辞書２７を作成する処理（辞書作成処理）、次に完成表１０のうち情報を抽出したい項目の情報をインターネットから検索して得られた表を当該表抽出辞書ＤＢ２７を用いて判定する処理である（情報抽出処理）。
同図において、完成表データベース２０は、情報抽出したい項目を列挙した完成表１０を記憶する。完成表１０に設定する情報としては、例えば、情報抽出の対象が企業である場合には、項目として社名、業種、従業員数などを設定し、情報抽出したい企業の名称を「社名」の項目に対応する項目情報として予め設定する。完成表１０は、インターネット等から検索して得られた情報を設定するための表であり、本実施形態においては、完成表１０の項目情報のうち予め把握している情報をサンプル値として設定しておく。当該サンプル値は、表抽出辞書ＤＢ２７を作成するための必要表、不要表の作成に用いられるものである。検索条件抽出部２１は、ユーザの指示を受けて、完成表データベース２０から完成表１０を読出し、さらに、完成表１０から設定されている項目情報を行ごとに読み出す。読み出した項目情報を組み合わせて検索条件を抽出する。文書データベース２３は、インターネットに接続されているサーバ装置のデータベースを示しており、文書検索部２２は、検索条件抽出部２１によって抽出された検索条件に従ってインターネットから情報を検索する検索エンジンである。表抽出部２４は、文書検索部２２が検索した検索結果から表の情報（以下、表情報と呼ぶ。）を抽出する。抽出する表情報は、行と列によって一意にセルを特定できる情報であればよく、具体的にはインターネットから検索したＨＴＭＬ（Ｈｙｐｅｒ  Ｔｅｘｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）で記述されたウェブページのテーブルタグ（＜ＴＡＢＬＥ＞）で囲まれた領域が該当する。なお、本実施形態では、一例としてＨＴＭＬのテーブルタグ（＜ＴＡＢＬＥ＞）を用いたが、文章中から表を特定できるほかの識別方法を適用することもできる。そして、検索条件抽出部２１が完成表１０から行単位で読み出した項目情報が、項目全てにおいて設定されている場合には、当該抽出した表情報を情報判定部２５に送信し、単一の項目にしか項目情報が設定されていないのであれば抽出表判定部２８に送信する。
情報照合部２５は、表抽出部２４から表情報を受信し、検索条件抽出部２１が抽出した検索条件に設定されている項目情報と抽出された表情報を照合して当該表情報が必要なものか否かを判定する。表抽出辞書学習部２６は、情報照合部２５が判定した結果を利用して表抽出辞書を作成し表抽出辞書データベース２７に記憶する。
抽出表判定部２８は、表抽出部２４から表情報を受信し、表抽出辞書データベース２７を参照して、受信した表情報が必要なものであるか否かを判定する。そして、特許文献４に記載されている情報統合手段により、必要と判定された表情報から得られた項目情報を抽出して完成表１０に登録して、完成表１０を完成させ、完成表データベース２０に保存する。
【００１２】
図２は、完成表１０を読み出してアプリケーションで表示した画面を示した図である。
同図においても、情報検索対象は上述した企業情報としており、項目の最初は「社名」を設定しており、続いて「業種」、「資本金」、「売上高」、「営業利益」、「従業員数」等の項目を設定している。「社名」には、情報を抽出したい企業の名称を予め設定する。また、幾つかの企業に関しては予め把握している全ての項目の項目情報を設定しており、これらの項目情報を利用して以下に説明する処理によって表抽出辞書を生成する。そして、「社名」の項目のみが設定されている残りの行は情報抽出の対象である。
【００１３】
次に、図３から図１８を参照して、本実施形態における情報抽出の処理について説明する。
最初に検索条件抽出部２１が完成表データベース２０から完成表１０を読み出し、読み出した完成表１０から複数のセルが記述されている行を検出する。例えば、同図では社名が「データ企画」と「データ通信」の情報が存在するが、複数設定されている「データ企画」の行を検出する（Ｓｔｅｐ１）。
次に、検出した「データ企画」の行のデータ、即ち「社長名」の項目に対応する「データ太郎」、「電話番号」の項目に対応する「０３−１２３４−５６７８」から検索条件を生成する。例えば、同図に示すように「Ｑｕｅｒｙ＝“データ企画  ＯＲ  データ太郎  
ＯＲ  ０３−１２３４−５６７８」を検索条件として抽出する（Ｓｔｅｐ２）。
検索条件抽出部２１は、抽出した検索条件を文書検索部２２に送信し、文書検索部２２は、インターネットに接続して検索条件に基づいて情報を検索する（Ｓｔｅｐ３）。
表抽出部２４は、文書検索部２２が検出したウェブページからＨＴＭＬの＜ＴＡＢＬＥ＞タグで記載された表の部分を抽出する（Ｓｔｅｐ４）。
【００１４】
図４はあるウェブページの＜ＴＡＢＬＥ＞タグで囲まれた領域を示す図である。ウェブページ３０は幾つかの＜ＴＡＢＬＥ＞タグで囲まれた領域３１〜３９（以下、領域を上述した表情報と呼ぶ）から構成されている。
【００１５】
次に、図５及び図６に示す処理では、情報照合部２５が図４で示した表情報３１〜３９と検索条件に含まれる項目情報である「データ企画」、「データ太郎」、「０３−１２３４−５６７８」を対比して、各表情報に項目情報に一致するものが存在するか否かを照合する（Ｓｔｅｐ５）。そして、予め項目ごとに設定されている点数、例えば、「社名」に１点、「社長名」に２点、「電話番号」に１０点が設定し、一致するセルの項目ごとに点数を加算する（Ｓｔｅｐ６）。そして、表情報ごとに得られた合計点数が予め設定された閾値以上の場合には必要表として判定し、閾値未満の場合を不要表とする。図６では、「データ企画」と「電話番号」を含む表には１１点が加算され、「データ企画」と「データ太郎」を含む表には３点が加算され、「データ企画」のみを含む表には１点が加算されている。そして、閾値を２とした場合に、１１点と３点の表は必要表として判定され、１点のものは不要表として判定される（Ｓｔｅｐ７）。
次に、必要表及び不要表の両方の各表情報からセルに設定されたセル情報を抽出し、当該表情報に各セル情報が含まれている個数を大きさとして設定し、セル情報の内容を次元とした表情報のベクトルを生成する（Ｓｔｅｐ８）。
【００１６】
図７は、上記したＳｔｅｐ８の具体的なデータの例を示した図である。必要表に含まれているセル情報に重複はないため各セル情報には全て１が設定されてベクトルが構成される。また、不要表には、「データ開発」のセル情報が重複しており、同図に示すようなベクトルとなる（Ｓｔｅｐ８−１）。
【００１７】
図８に示す処理では、表抽出辞書学習部２６が情報照合部２５によって生成された必要表のベクトルの集合と不要表のベクトルの集合を比較して、各情報に対する重み付け値の組み合わせを生成する。この組み合わせが表抽出辞書となる。生成の手段としては非特許文献２に示すＲｏｃｃｈｉｏやＲｏｃｃｈｉｏＢｏｏｓｔ方式、非特許文献１に示すベイズ方式を利用して行うことができる（Ｓｔｅｐ９）。
【００１８】
図９から図１１に示す処理は、Ｓｔｅｐ９において、Ｒｏｃｃｈｉｏ、ＲｏｃｃｈｉｏＢｏｏｓｔ方式を用いた重み付け値の算出する処理である。
最初に必要表から作成したベクトルと不要表から作成したベクトルの両方について、各セル情報の値の総和が１になるように正規化する（Ｓｔｅｐ９−１）。
次に、正規化された必要表から作成したベクトル集合のセル情報ごとのベクトルを加算して平均を求める。また、正規化された不要表から作成したベクトル集合についても同様の処理を行う（Ｓｔｅｐ９−２）。
必要表のベクトル集合から得られたベクトルをベクトルＡ、不要表のベクトル集合から得られたベクトルをベクトルＢとした場合に、ベクトルＡとベクトルＢにおいて共通する項目についてベクトルＡからベクトルＢを減算し、減算した結果を表抽出辞書とする（Ｓｔｅｐ９−３）。
【００１９】
次に、図１２において、表抽出学習部２６は、作成した表抽出辞書を表抽出辞書データベース２７に記憶する（Ｓｔｅｐ１０）。
表抽出辞書が生成された後に、今度は、検索条件抽出部２１は、単一のセルのみが設定されている行を検出する。同図では、社名が「データ通信」となっている行を検出する（Ｓｔｅｐ１１）。そして、文書検索部２２は、検出されたセルの情報を基に検索条件を生成し、インターネットに接続して検索条件に基づいて検索を行う（Ｓｔｅｐ１２）。
【００２０】
次に、図１３において、表抽出部２４が文書検索部２２によって検出されたウェブページからＨＴＭＬの＜ＴＡＢＬＥ＞タグで記載された表情報を抽出する（Ｓｔｅｐ１３）。そして、抽出表判定部２８は表抽出部２４から受信した表情報のセル情報ごとに上述した手順によって値を設定して表情報をベクトル化し、表抽出辞書データベース２７から読み出した表抽出辞書と比較する（Ｓｔｅｐ１４）。
【００２１】
図１４から図１６は、上述したＳｔｅｐ１４の処理の詳細を説明するための図である。判定対象表Ａと判定対象表Ｂは、表抽出部２４が抽出した表情報である。最初に、上述したベクトル化の手順と同じく、表情報にセル情報が含まれている個数に基づいて表情報のベクトル化を行う（Ｓｔｅｐ１４−１）。次に、図１５に示すように、各表情報のベクトルの総和が１になるように正規化を行う（Ｓｔｅｐ１４−２）。そして、図１６に示すように、表抽出辞書に登録されている情報を基にベクトル間で内積を計算する。例えば、判定対象表Ａの「所在地」の値は０．１６７であり、表抽出辞書の「所在地」の値は０．０５５であるため、０．１６７に０．０５５を乗算して０．００９１２８５を算出する。また、判定対象表Ｂについては、「登録／ログイン」が０．１２５であり、表抽出辞書の「登録／ログイン」は−０．０３０である。また、判定対象表Ｂには「利用規約」も存在しておりその値は０．１２５であり、表抽出辞書の「利用規約」の値は−０．０１７である。よって０．１２５に−０．０３０を乗算した値と０．１２５に−０．０１７を乗算した値を加えて、内積として−０．０５８７５を算出する（Ｓｔｅｐ１４−３）。
【００２２】
図１７と図１８に示す処理は、抽出表判定部２８が、表情報を必要表と不要表に振り分ける処理である（Ｓｔｅｐ１５）。具体的には、図１８に示すように、上述した内積値に基づいて、内積値と閾値を比較し、閾値以上であれば必要表と判定し、閾値未満であれば不要表と判定する。図１８では、閾値を０としているため判定対象表Ａは必要表と判定し、判定対象表Ｂは不要表と判定する。
【００２３】
図１９は、抽出された表のデータ形式を示した図であり、図４で示したウェブページのテーブル領域３９の内容が完成表１０に設定した項目ごとに抽出されている。抽出された情報を完成表１０の該当するセルに登録することで完成表１０を完成することができる。
【００２４】
図２０は、実際にインターネット上で５１０社、５１００ウェブページについて辞書の学習を行い、５０社、５００ウェブページについて評価した結果を示したグラフである。
５６００ウェブページ中の全部のテーブルタグ３２５６９個のうち５１９個のみが企業情報を掲載しており、同図に示すグラフは、正解率９７％、再現率７０％、即ち漏れ率３０％で実施することができたことを示している。
【００２５】
なお、上述した実施形態では、文書データベース２３は、インターネットに接続しているサーバ装置のデータベースであるとしたが、企業が企業内で利用している文書データベースサーバなどであってもよい。そのときは、文書検索部２２は当該文書データベースサーバに接続することになる。
また、上述した実施形態では、複数の項目に項目情報が設定されている行については予め全ての情報が設定されているものとして、表抽出辞書を作成する際にのみ利用する手順について説明しているが、本発明はそのような形態に限られるものではない。例えば、ある行の複数の項目に項目情報が設定されているが全ての項目に設定されていない場合には、最初に表抽出辞書の作成に当該行の情報を利用する。その後、いずれかの項目が設定されていない行に対して、上述の単一の項目情報しか設定されていない行に対する情報抽出処理と同様の情報処理を行うことで、設定されていない項目についての情報が記述された表を得ることができ、完成表１０の全ての行について情報を設定することが可能となるようにしてもよい。
さらに、また、情報抽出のために取得した表情報を情報抽出対象として利用した後に、表抽出辞書の作成に利用するようにしてもよい。
【００２６】
上述の情報抽出装置１は内部に、コンピュータシステムを有している。そして、上述した情報抽出の処理過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【図面の簡単な説明】
【００２７】
【図１】本実施形態による情報抽出装置を示すブロック図である。
【図２】同実施形態における完成表の構成を説明するための図である。
【図３】同実施形態における情報抽出処理を説明するための図（その１）である。
【図４】同実施形態における情報抽出処理を説明するための図（その２）である。
【図５】同実施形態における情報抽出処理を説明するための図（その３）である。
【図６】同実施形態における情報抽出処理を説明するための図（その４）である。
【図７】同実施形態における情報抽出処理を説明するための図（その５）である。
【図８】同実施形態における情報抽出処理を説明するための図（その６）である。
【図９】同実施形態における情報抽出処理を説明するための図（その７）である。
【図１０】同実施形態における情報抽出処理を説明するための図（その８）である。
【図１１】同実施形態における情報抽出処理を説明するための図（その９）である。
【図１２】同実施形態における情報抽出処理を説明するための図（その１０）である。
【図１３】同実施形態における情報抽出処理を説明するための図（その１１）である。
【図１４】同実施形態における情報抽出処理を説明するための図（その１２）である。
【図１５】同実施形態における情報抽出処理を説明するための図（その１３）である。
【図１６】同実施形態における情報抽出処理を説明するための図（その１４）である。
【図１７】同実施形態における情報抽出処理を説明するための図（その１５）である。
【図１８】同実施形態における情報抽出処理を説明するための図（その１６）である。
【図１９】同実施形態における抽出した情報の構成を説明するための図である。
【図２０】同実施形態における抽出した情報の精度を示すための図である。
【符号の説明】
【００２８】
１    情報抽出装置
１０  完成表
２０  完成表記億部
２１  検索条件抽出部
２２  文書検索部
２４  表抽出部
２５  情報照合部
２６  表抽出辞書学習部
２８  抽出表判定部
【図１】
2005352547.tif 000003
【図２】
2005352547.tif 000004
【図３】
2005352547.tif 000005
【図４】
2005352547.tif 000006
【図５】
2005352547.tif 000007
【図６】
2005352547.tif 000008
【図７】
2005352547.tif 000009
【図８】
2005352547.tif 000010
【図９】
2005352547.tif 000011
【図１０】
2005352547.tif 000012
【図１１】
2005352547.tif 000013
【図１２】
2005352547.tif 000014
【図１３】
2005352547.tif 000015
【図１４】
2005352547.tif 000016
【図１５】
2005352547.tif 000017
【図１６】
2005352547.tif 000018
【図１７】
2005352547.tif 000019
【図１８】
2005352547.tif 000020
【図１９】
2005352547.tif 000021
【図２０】
2005352547.tif 000022