(57)【特許請求の範囲】
【請求項１】
演算処理をするプロセッサと、前記プロセッサに接続される記憶装置とを備え、前記プロセッサが文書を解析する計算機システムであって、
前記文書は、各々が複数の単語を含み、文章を構成する複数の要素を含み、
前記複数の要素は、文又は段落を含み、
前記プロセッサは、
複数の第１の前記文書と、前記第１の文書への参照を含む参照文書と、重要箇所の判定を行う対象となる第２の前記文書とを入力され、
前記各第１の文書から前記要素を抽出するとともに、前記参照文書中から前記第１の文書への参照箇所を参照情報として抽出し、
前記各第１の文書から抽出された要素と前記参照情報とによって算出される類似度に基づいて、前記各第１の文書から抽出された要素と前記参照情報との間で類似する要素を重要箇所であるとして第１の前記要素に、前記各第１の文書から抽出された要素と前記参照情報との間で類似しない箇所を非重要箇所として第２の前記要素に、前記各第１の文書から抽出された要素を分割し、
前記分割された第１の要素及び第２の要素に含まれる前記複数の単語に基づいて、前記各文書の第１の特徴量を取得し、
前記取得された第１の特徴量に基づいて、前記重要箇所を含むか否かを判定するための判定ルールを生成し、
前記第２の文書から前記要素を抽出し、
前記第２の文書から抽出した要素に含まれる前記複数の単語に基づいて、第２の特徴量を取得し、
前記生成された判定ルールと、前記取得された第２の特徴量とを比較することによって、前記第２の文書から抽出した要素を、重要箇所と非重要箇所に分類することを特徴とする計算機システム。
【請求項２】
前記複数の単語は、前記文書に含まれる単語が示す対象の属性を表す属性名と、前記属性名に対応する属性の値である属性値とを、単語として含み、
前記計算機システムは、前記属性名と前記属性値とを抽出するための抽出情報を保持し、
前記プロセッサは、
前記抽出情報に一致する箇所を抽出することによって、前記第１の要素及び前記第２の要素から、前記属性名及び属性値を示す全ての単語を各々抽出し、
前記抽出された属性名を示す全ての単語が、前記第１の要素及び前記第２の要素の各々に含まれるか否かを示す情報と、前記抽出された属性値を示す全ての単語に対応し、前記第１の要素及び前記第２の要素の各々に含まれる前記属性値から算出される値と、を含む前記第１の特徴量を取得し、
前記抽出された属性名を示す全ての単語が、前記第２の文書に含まれるか否かを示す情報と、前記抽出された属性値を示す全ての単語に対応し、前記第２の文書に含まれる前記属性値から算出される値と、を含む前記第２の特徴量を取得することを特徴とする請求項１に記載の計算機システム。
【請求項３】
前記複数の単語は、前記文書に含まれる単語が示す対象の属性を表す属性名と、前記属性名に対応する属性の値である属性値と、前記属性名に対応する属性が備わる物品名とを、単語として含み、
前記計算機システムは、前記属性名、前記属性値及び前記物品名を抽出するための抽出情報を保持し、
前記プロセッサは、
前記抽出情報に一致する箇所を抽出することによって、前記第１の要素及び前記第２の要素から、前記属性名、前記属性値、及び物品名を示す全ての単語を抽出し、
前記抽出された属性名及び物品名を示す全ての単語が、前記第１の要素又は前記第２の要素の各々に含まれるか否かを示す情報と、前記抽出された属性値を示す全ての単語に対応し、前記第１の要素及び前記第２の要素の各々に含まれる前記属性値から算出される値と、を含む前記第１の特徴量を取得し、
前記抽出された属性名及び物品名を示す全ての単語が、前記第２の文書に含まれるか否かを示す情報と、前記抽出された属性値を示す全ての単語に対応し、前記第２の文書に含まれる前記属性値から算出される値と、を含む前記第２の特徴量を取得することを特徴とする請求項１に記載の計算機システム。
【請求項４】
前記プロセッサは、
前記第１の特徴量及び前記第２の特徴量を、ベクトル形式によって表現される教師データとして取得し、
前記第１の特徴量から、サポートベクターマシンを用いて前記判定ルールを生成することを特徴とする請求項２に記載の計算機システム。
【請求項５】
前記プロセッサは、
前記複数の単語と意味が類似する前記単語を取得し、
前記属性名は、類似する前記単語を含むことを特徴とする請求項２に記載の計算機システム。
【請求項６】
前記計算機システムは、前記複数の要素と意味が関連する他の複数の要素を示す情報を保持し、
前記プロセッサは、前記他の複数の要素を示す情報に基づいて前記他の複数の要素が含まれる箇所を前記文書において特定し、
前記特定された箇所から、前記他の複数の要素、又は、前記他の複数の要素及び当該他の複数の要素と意味が関連する前記複数の要素を抽出することによって、前記文書を前記意味が関連する複数の要素のまとまりに分割し、
前記第１の要素は、前記重要箇所を含む前記複数の要素のまとまりを含み、
前記第２の要素は、前記重要箇所を含まない前記複数の要素のまとまりを含むことを特徴とする請求項１に記載の計算機システム。
【請求項７】
前記複数の単語は、前記文書に含まれる単語が示す対象の属性を表す属性名と、前記属性名に対応する属性の値である属性値とを、単語として含み、
前記計算機システムは、前記属性名と前記属性値とを抽出するための抽出情報を保持し、
前記プロセッサは、
前記抽出情報に一致する箇所を抽出することによって、前記各第１の要素を、前記属性名及び属性値を含まない第３の前記要素と、前記属性名及び属性値を含む第４の前記要素とに分割し、
前記抽出情報に一致する箇所を抽出することによって、前記各第２の要素を、前記属性名及び属性値を含まない第５の前記要素と、前記属性名及び属性値を含む第６の前記要素とに分割し、
前記第３の要素及び前記第５の要素に基づいて、前記第３の要素の特徴量及び前記第５の要素の特徴量を含む第３の特徴量を取得し、
前記取得された第３の特徴量に基づいて、前記属性名及び属性値を含まない文書が、前記重要箇所を含むか否かを判定するための第１の前記判定ルールを生成し、
前記第４の要素及び前記第６の要素に基づいて、前記第４の要素の特徴量及び前記第６の要素の特徴量を含む第４の特徴量を取得し、
前記取得された第４の特徴量に基づいて、前記属性名及び属性値を含む文書が、前記重要箇所を含むか否かを判定するための第２の前記判定ルールを生成し、
前記第２の文書から前記要素を抽出し、
前記第２の文章から抽出した要素を、前記属性名及び属性値を含まない複数の第７の前記要素と、前記属性名及び属性値を含む複数の第８の前記要素とに分割し、
前記第７の要素に基づいて、前記第５の特徴量を取得し、
前記第８の要素に基づいて、前記第６の特徴量を取得し、
前記生成された第１の判定ルールと、前記取得された第５の特徴量とを比較し、
前記生成された第２の判定ルールと、前記取得された第６の特徴量とを比較し、
前記第１の判定ルール及び前記第５の特徴量の比較結果と、前記第２の判定ルール及び前記第６の特徴量の比較結果との双方を用いることによって、前記第２の文書から抽出した要素を、前記重要箇所と非重要箇所に分類することを特徴とする請求項１に記載の計算機システム。
【請求項８】
前記プロセッサは、
出力装置と接続され、
前記第２の文書から抽出された要素を重要箇所と非重要箇所に分類した結果を、前記出力装置に出力し、
前記第２の文書から抽出された分類結果の修正を取得し、
前記第２の文書を分類した結果と前記修正に従って、前記第２の文書から抽出した要素を前記第１の要素あるいは前記第２の要素に追加し、前記判定ルールを生成することを特徴とする請求項１に記載の計算機システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、計算機システムに関し、特に、文書から情報を抽出する計算機システムに関する。
【背景技術】
【０００２】
文書中の内容が重要であるか否かを判定し、重要箇所を抽出する技術は、あらかじめ設定された判定ルールに従って文書の内容を判定する技術の一つであり、従来から提案されている（例えば、特許文献１及び特許文献２参照）。
【０００３】
特許文献１は、利用者によって入力された提示条件と照合条件とを、有向グラフによって表現される知識ルールに変換し、この知識ルールを判定ルールとして利用する。判定の条件である照合条件は、トピックスに該当する単語とエレメントに該当する単語との関係によって記述される。また、判定する対象である文書と知識ルールとの照合において、特許文献１の装置は、該当する単語の出現位置が、有向グラフの向き及び階層構造とマッチしており、かつリンクの長さがより短い単語の組み合わせを対象の文書中から求める。
【０００４】
また、特許文献２は、あらかじめ重要文（正例）または非重要文（負例）のラベルがついた訓練データから特徴ベクトルを抽出し、統計的な方法であるサポートベクターマシンを用いた分類器によって、特徴ベクトルを正例と負例とに分類する分離平面を生成する。特許文献２の技術において、分離平面は判定ルールに相当する。新たな文書についても特徴ベクトルを抽出し、上記生成された分離平面と比較することによって、重要文か非重要文かを判定する。訓練データ及び新たな文書から抽出する特徴量、すなわち特徴ベクトルの各要素としては、文の長さ、文の出現位置、又は、文に出現するキーワードの有無などが用いられる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１９３５００号公報
【特許文献２】特開２００３−０３６２６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１及び特許文献２に挙げられたような文書の内容を判定する技術は、判定するための基準を作成する際に、基になる訓練データ、又は、提示条件及び照合条件が、あらかじめ十分準備できれば、精度のよい重要文抽出が可能である。しかし特許文献１において、提示条件及び照合条件は、人手による入力が前提である。
【０００７】
また特許文献２において、訓練データの作成方法は特に開示されていないが、通常、訓練データの作成は人手による作成が前提とされている場合が多い。このため、特許文献２においても、訓練データは、同様に人手による作成が前提であると言える。
【０００８】
特許文献１で開示される技術のように、利用者があらかじめ判定基準を明示的にシステムに登録する方法は、少数の判定ルールによって対応可能な場合には、精度良く判定できることが期待できる。しかし、判定対象となる文書の規模が大きくなり、多数かつ複雑な判定基準が必要な場合、提示条件及び照合条件を人手によって入力することは困難である。さらにこのように多数かつ複雑な判定基準が必要な場合、矛盾の無い、一貫性のある判定ルールを作成し、さらに維持することも困難になるという問題が生じる。
【０００９】
一方、特許文献２に開示される技術は、重要文であるか非重要文であるかのラベル付けが行われた訓練データを統計的に処理することによって、判定ルールに該当する分離平面を求める。これによって、特許文献１と比較して、一貫性のある判定ルールを容易に構築できることが期待される。
【００１０】
しかし、統計的な方法によって精度の高い判定ルールを構築するためには、大量のデータを集めると共に、集めたデータに重要文であるか非重要文であるかを示すラベルを付与する必要がある。小規模なデータであれば、人手によって容易にラベルを付与することができるが、データが大量になると人手による作業では時間を要するため、その利用自体が困難になるという問題が生じる。
【００１１】
また、特許文献１に示すシステムは、判定対象の文書と判定ルールとを照合する際、判定対象の文書中の単語と判定ルール中の単語とが一致するか否かに基づいて照合する。さらに、特許文献１に示すシステムは、同義語辞書を用いるため、照合の対象となる単語の表記のゆれにも対応できる。
【００１２】
一方、特許文献２においては、判定対象となる文書中の単語について、その単語の有無に関する情報を特徴ベクトルの要素として使用する。しかし、通常、文書中には数値に関する記述も多数含まれており、数値に関しては、その数値の一致又は不一致ではなく、「〜以上」、「〜以下」又は「〜から〜まで」といった、数値の大きさ、又は数値の範囲に基づく照合が必要であり、それらに対応した数値用の判定ルールを構築する必要がある。
【００１３】
特許文献２の技術は、単語の表記すなわち単語を示す文字列の一致又は不一致に基づく判定ルールの構築に対応しているが、数値の大きさ又は数値の範囲を考慮した判定ルールの構築には対応していない。このため、数値の大きさ又は数値の範囲を考慮する必要がある場合、判定精度が低下するという問題がある。
【００１４】
判定ルールを数値に対応させること、及び、その数値に対応した判定ルールを人手によって構築することは技術的に容易であるが、大規模な文書を対象とする場合、前述の通り、一貫性のある精度の高い判定ルールを効率的に構築することが困難になる。
【００１５】
本発明の目的は、文書中から重要と判断される箇所を抽出するシステムにおいて使用される判定ルールを、大量の文書から効率的に生成するとともに、数値の大きさ及び数値の範囲を考慮した判定精度の高い判定ルールを、容易に生成するシステムの提供である。
【課題を解決するための手段】
【００１６】
本発明の代表的な一例を示せば以下の通りである。すなわち、演算処理をするプロセッサと、前記プロセッサに接続される記憶装置とを備え、前記プロセッサが文書を解析する計算機システムであって、前記文書は、各々が複数の単語を含み、文章を構成する複数の要素を含み、前記複数の要素は、文又は段落を含み、前記プロセッサは、複数の第１の前記文書と、前記第１の文書への参照を含む参照文書と、重要箇所の判定を行う対象となる第２の前記文書とを入力され、前記各第１の文書から前記要素を抽出するとともに、前記参照文書中から前記第１の文書への参照箇所を参照情報として抽出し、前記各第１の文書から抽出された要素と前記参照情報とによって算出される類似度に基づいて、前記各第１の文書から抽出された要素と前記参照情報との間で類似する要素を重要箇所であるとして第１の前記要素に、前記各第１の文書から抽出された要素と前記参照情報との間で類似しない箇所を非重要箇所として第２の前記要素に、前記各第１の文書から抽出された要素を分割し、前記分割された第１の要素及び第２の要素に含まれる前記複数の単語に基づいて、前記各文書の第１の特徴量を取得し、前記取得された第１の特徴量に基づいて、前記重要箇所を含むか否かを判定するための判定ルールを生成し、前記第２の文書から前記要素を抽出し、前記第２の文書から抽出した要素に含まれる前記複数の単語に基づいて、第２の特徴量を取得し、前記生成された判定ルールと、前記取得された第２の特徴量とを比較することによって、前記第２の文書から抽出した要素を、重要箇所と非重要箇所に分類する。
【発明の効果】
【００１７】
本発明の一実施形態によると、文書中から重要と判断される箇所を抽出するための判定ルールを、効率的に生成する。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１の実施形態による重要箇所判定システムの構成を示すブロック図である。
【図２】本発明の第１の実施形態の文書分類部の詳細な構成を示すブロック図である。
【図３】本発明の第１の実施形態の文書分割ルールの例を示す説明図である。
【図４】本発明の第１の実施形態の教師データ生成部の詳細な構成を示すブロック図である。
【図５Ａ】本発明の第１の実施形態の属性抽出ルールに含まれる属性名及び単位の例を示す説明図である。
【図５Ｂ】本発明の第１の実施形態の属性抽出ルールに含まれるパターンの例を示す説明図である。
【図６】本発明の第１の実施形態の教師データ生成部の別の構成を示すブロック図である。
【図７】本発明の第１の実施形態の判定データ生成部の詳細を示すブロック図である。
【図８】本発明の第１の実施形態の重要箇所判定システムを、計算機に実装した場合の構成図を示す。
【図９】本発明の第２の実施形態の重要箇所判定システムの構成を示すブロック図である。
【図１０】本発明の第２の実施形態の教師データ生成部の詳細な構成を示すブロック図である。
【図１１】本発明の第２の実施形態の判定ルール生成部の詳細を示すブロック図である。
【図１２】本発明の第２の実施形態の判定データ生成部の詳細を示すブロック図である。
【図１３】本発明の第２の実施形態の判定処理部の詳細を示すブロック図である。
【図１４】本発明の第３の実施形態の重要箇所判定システムの構成を示すブロック図である。
【図１５】本発明の第３の実施形態の判定結果の表示例を示す説明図である。
【図１６】本発明の第３の実施形態の判定結果の別の表示例を示す説明図である。
【発明を実施するための形態】
【００１９】
（第１の実施形態）
本発明の第１の実施形態を図１から図８を用いて説明する。
【００２０】
図１は、本発明の第１の実施形態による重要箇所判定システムの構成を示すブロック図である。
【００２１】
本発明の重要箇所判定システムは、事例文書１０１、参照情報記載文書１０２、文書分類部１０３、教師データ生成部１０４、判定ルール生成部１０５、判定ルール１０６、判定対象文書１０７、文書分割部１０８、文書分類ルール１０９、判定データ生成部１１０、及び、判定処理部１１１を備える。事例文書１０１、参照情報記載文書１０２、判定ルール１０６、判定対象文書１０７、及び、文書分類ルール１０９は、データの集合である。また、文書分類部１０３、教師データ生成部１０４、判定ルール生成部１０５、文書分割部１０８、判定データ生成部１１０、及び、判定処理部１１１は、プログラムである。
【００２２】
事例文書１０１は、重要な箇所を判定する対象となる文書（判定対象文書１０７）に類似した文書、判定対象文書１０７と同じ分野の文書、及び、判定対象文書１０７に関連する内容を含む文書など、過去の文書を事例として保持する。例えば、判定対象文書１０７に類似した文書のうち、過去に蓄積された文書が事例文書１０１に蓄積される。
【００２３】
参照情報記載文書１０２は、事例文書１０１中の特定の箇所を参照するための記述が含まれる文書を保持する。例えば、事例文書１０１の中の特定の属性が重要であることを、ユーザによって指示された文書などが、参照情報記載文書１０２に蓄積される。
【００２４】
参照情報記載文書１０２の事例文書１０１を参照するための記述には、該当する事例文書１０１の文書名、章番号、見出し、ページ数、段落番号、カラム番号、行番号、及び、該当箇所の文章の全体又は一部などを適宜組み合わせた情報が含まれる。
【００２５】
文書分類部１０３では、重要な箇所を判定する単位（事例文書要素）に事例文書１０１を分割する。また、分割された事例文書要素を、参照情報記載文書１０２から参照される箇所であり、重要な箇所である重要要素、又は、それ以外の非重要要素に分類する。
【００２６】
教師データ生成部１０４は、文書分類部１０３によって分類された重要要素及び非重要要素を教師データに変換する。教師データは、判定ルール１０６を生成するために用いられる。
【００２７】
判定ルール生成部１０５は、教師データ生成部１０４によって生成された教師データに基づいて、一般的に利用される機械学習の技術を用いることによって、判定ルール１０６を生成する。
【００２８】
判定対象文書１０７は、判定ルール１０６を用いて重要な箇所を判定する対象となる文書を保持する。文書分割部１０８は、文書分割ルール１０９を用いて、判定する単位（判定文書要素）に判定対象文書１０７を分割する。文書分割ルール１０９には、章若しくは段落、又は、表の形式など、文章の構造に関する情報が保持される。
【００２９】
判定データ生成部１１０は、判定処理部１１１によって利用できるデータ形式に、各判定文書要素を変換することによって、判定データを生成する。一般的に、判定ルール１０６を生成するために用いられる機械学習の技術と、判定処理において用いられる技術とは対になっているため、判定データ生成部１１０において出力されるデータ形式は、教師データ生成部１０４において生成されるデータ形式と同じである。
【００３０】
判定処理部１１１は、判定データに判定ルール１０６を適用し、各判定データが重要要素であるか非重要要素であるかを判定し、その結果を判定結果１１２として出力する。
【００３１】
図２は、本発明の第１の実施形態の文書分類部１０３の詳細な構成を示すブロック図である。
【００３２】
文書分類部１０３は、文書分割部２０１、参照情報抽出部２０３、マッチング部２０５、分類処理部２０６、文書分類ルール２０２及び参照情報抽出ルール２０４を備える。文書分割部２０１、参照情報抽出部２０３、マッチング部２０５及び分類処理部２０６は、プログラムであり、文書分類ルール２０２及び参照情報抽出ルール２０４は、データベースなどの記憶領域である。
【００３３】
図２に示す文書分割部２０１は、文書分割ルール２０２を用いて、判定処理を行う単位（事例文書要素）に事例文書を分割する。この文書分割部２０１は図１に示す文書分割部１０８と同じでもよく、文書分割ルール２０２は図１に示す文書分割ルール１０９と同じでもよい。文書分割ルール２０２には、章の見出し若しくは段落、又は、表の形式などの文章の構造に関する情報が保持される。
【００３４】
ここで、文書分割ルール２０２の例を以下に示す。
【００３５】
図３は、本発明の第１の実施形態の文書分割ルール２０２の例を示す説明図である。
【００３６】
図３に示す文書分割ルール２０２は、章の見出し又は表のタイトルを含むパターンによって、文章の構造に関する情報を示す。文書分割ルール２０２は、パターン３０１、階層レベル３０２、及び、内容３０３を含む。また、図３に示す文書分割ルール２０２は、各行にエントリー３０４〜エントリー３０７を含む。
【００３７】
パターン３０１は、文書中に記述される、章の見出し又は表のタイトルのパターンを示す。階層レベル３０２は、パターン３０１に示される記述が、章の見出しのように、第１章、第２節、などといった階層構造である場合、階層構造の深さを示す。階層レベル３０２は、数値が大きい程、階層が深いことを示す。
【００３８】
内容３０３は、パターン３０１に示される項目の内容を示す。内容３０３は、パターン３０１の管理を容易にするための情報であり、文書分割部２０１による処理において特に利用されるものではない。
【００３９】
また、図３に示すパターン３０１の欄において、「Ｎ」には任意の数字が記述されることを、「Ａ」には任意のアルファベット等の文字が記述されることを、さらに「＊」は任意の文字列が記述されることを、それぞれ示す。文書分類部１０３は、パターン３０１と各事例文書１０１の内容とを比較することによって、パターン３０１にマッチする箇所を抽出する。
【００４０】
例えば文書分類部１０３は、エントリー３０４のパターン３０１によって、事例文書１０１から、「第１章  総論」、「第２章  構成」などの文字列を抽出し、エントリー３０５のパターン３０１によって、「１．１  概要」、「２．１  仕様」などの文字列を抽出する。また、エントリー３０６のパターン３０１によって「（ａ）  メモリ容量は５ＭＢ」、「（ｂ）  ハードディスクは１ＴＢ」などの文字列を抽出し、エントリー３０７のパターン３０１によって「・  メモリスロットは２つ」などの文字列を抽出する。
【００４１】
事例文書１０１中で文書分割ルール２０２にマッチする箇所を抽出した後、抽出された箇所の直後に本文が存在する場合、文書分割部２０１は、抽出された箇所及び直後の本文を一つのまとまった事例文書要素として、事例文書１０１を分割する。また、抽出された箇所の次に本文が存在しない場合、文書分割部２０１は、抽出された箇所を事例文書要素として、事例文書１０１を分割する。
【００４２】
抽出された箇所及び直後の本文を、一つのまとまった事例文書要素として、事例文書１０１を分割する際、分割された事例文書要素が、章の見出しなどによって示される階層構造のうち下位の階層を含む場合、文書分割部２０１は、階層レベル３０２が格納されるパターン３０１にマッチした上位の階層の章の見出しなどを文脈情報として取得し、また、下位の階層の章の見出しなどを事例文書要素として取得する。そして、取得された事例文書要素に取得された文脈情報を付加する。
【００４３】
例えば、事例文書１０１が、以下のような階層構造を含む場合を示す。
【００４４】
「第２章  構成
…
２．２  仕様
（ａ）メモリ容量は５ＭＢ
（ｂ）ハードディスクは１ＴＢ
…                                」  ・・・事例文書１０１
前述の事例文書１０１の例に、図３に示す文書分割ルール２０２を適用した場合、全ての行の項目が、パターン３０１に該当すると判定され、また、全ての行の項目に、判定された箇所の直後に本文が存在しないと判定されるため、以下の二つの事例文書要素が生成される。
【００４５】
「第２章  構成                          ・・・文脈情報
２．２  仕様                        ・・・文脈情報
（ａ）メモリ容量は５ＭＢ  」      ・・・事例文書要素
「第２章  構成                          ・・・文脈情報
２．２  仕様                        ・・・文脈情報
（ｂ）ハードディスクは１ＴＢ  」  ・・・事例文書要素
前述の二つの文書が、事例文書要素として抽出される。ここで、「第２章  構成」及び「２．２  仕様」は、該当するパターン３０１の階層レベル３０２に値が格納されているため、文脈情報として付加された項目である。文脈情報には、章の見出しなどのほか、文書名、ページ数、段落番号、又は、行番号などを含めてもよい。
【００４６】
また、抽出された事例文書要素の直後の本文が複数の段落に分割される場合、段落毎に、文脈情報、直前に抽出された箇所、及び、段落を組として事例文書要素が生成されてもよい。さらに、本文中の各文を単位として事例文書要素が生成されてもよい。
【００４７】
また、文書分割ルール２０２のパターン３０１は、文字列のほか、使用されるフォントの種類、文字の大きさ、下線の有無、又は、字下げの有無など、事例文書１０１に記述される形式に関するルールであれば、どのようなルールでも格納されてよい。
【００４８】
図２に示す参照情報抽出部２０３は、参照情報抽出ルール２０４の内容に基づいて、参照情報記載文書１０２から、事例文書１０１中の特定箇所を参照するための記述を抽出する。参照情報抽出ルール２０４には、文書分割ルール２０２と同様に、参照箇所の記述にあてはまる固有のパターンが図３に示すパターン３０１と同様に格納される。
【００４９】
参照情報抽出部２０３は、それらのパターンがマッチする箇所を参照情報記載文書１０２から検索することによって、参照情報記載文書１０２から参照情報を抽出する。すなわち、参照情報抽出部２０３によって抽出される参照情報は、参照情報記載文書１０２に保持されていた文書を、文書分割部２０１によって生成された事例文書要素と比較可能な形式に変更した情報である。
【００５０】
参照情報抽出部２０３によって抽出される参照情報は、該当する事例文書１０１の文書名、章番号、章の見出し、ページ数、段落番号、カラム番号、行番号、若しくは、該当箇所の文章の全体又は一部などの組み合わせを含む。参照情報にいずれの項目が含まれるかは、参照情報記載文書１０２の内容に依存する。
【００５１】
マッチング部２０５は、文書分割部２０１によって抽出された各事例文書要素と、参照情報抽出部２０３によって抽出された各参照情報とをマッチングする。マッチング部２０５は、該当する項目が存在するか否か、及び、該当する項目の内容が一致するか否かに基づいてマッチングする。
【００５２】
なお、該当箇所の文章の一部のみが参照情報に含まれる場合、マッチング部２０５は、動的計画法による符号のマッチング技術（例えば、特開２００２−２２１９８４号公報参照）を用いることによって、参照情報中の内容と事例文書要素中の該当する文章とを柔軟にマッチングすることができる。
【００５３】
次に、マッチング部２０５は、マッチングの結果に基づいて、参照情報と事例文書要素との一致度を算出する。一致度は、マッチングした参照情報と事例文書要素とのうち、一致した数によって算出される。
【００５４】
また、動的計画法による技術を用いた場合、マッチング部２０５は、参照情報と事例文書要素との距離を算出できる。このため、算出された距離の逆数を求めることによって、距離が小さいほど大きい値が得られる関数を求め、この関数によって算出された値を一致度としてもよい。
【００５５】
分類処理部２０６は、マッチングの結果、各参照情報に対して最も一致度が高い事例文書要素を重要箇所である事例文書要素（重要要素）として分類し、どの参照情報にも対応せず、一致度が低い事例文書要素を、重要箇所ではない事例文書要素（非重要要素）として分類する。そして、分類された重要要素及び非重要要素（分類結果）を、教師データ生成部１０４に送る。
【００５６】
図４は、本発明の第１の実施形態の教師データ生成部１０４の詳細な構成を示すブロック図である。
【００５７】
教師データ生成部１０４は、単語分割部４０１、属性情報抽出部４０２、属性抽出ルール４０３、単語集計部４０４、単語リスト４０５及びデータ変換部４０６を備える。単語分割部４０１、属性情報抽出部４０２、単語集計部４０４及びデータ変換部４０６は、プログラムである。属性抽出ルール４０３及び単語リスト４０５は、データベースなどの記憶領域である。
【００５８】
なお、本実施形態において、判定ルール生成部１０５における処理及び判定処理には、サポートベクターマシン（例えば、特開２００３−３６２６２号参照）を用いるが、数値データを教師データとして利用する機械学習技術であれば、特に制限無く、いずれの機械学習技術でも用いてよい。
【００５９】
図４における単語分割部４０１は、文書分類部１０３から入力される重要要素及び非重要要素に含まれる文章を、単語に分割する。文章を単語に分割する技術には、自然言語処理又は機械翻訳の分野において一般的に用いられる形態素解析技術（例えば、「岩波講座ソフトウェア科学（１５）自然言語処理」、岩波書店、１９９６年）を用いてもよい。
【００６０】
また、対象文書が英語などの言語によって記述され、あらかじめ付された空白によって対象文書の中の単語を区切ることができる場合、単語分割部４０１は、文章中から空白を抽出することによって、文章を単語に分割してもよい。
【００６１】
単語に分割された重要要素及び非重要要素中を含む文書は、単語集計部４０４に送られると共に、属性情報抽出部４０２に送られる。属性情報抽出部４０２は、属性抽出ルール４０３に格納されるルールに基づいて、属性名及び属性値を含む属性情報を、重要要素及び非重要要素から抽出する。
【００６２】
属性抽出ルール４０３の内容を図５Ａ及び図５Ｂを用いて説明する。図５Ａ及び図５Ｂは、属性抽出ルール４０３に含まれるルールを示す。
【００６３】
図５Ａは、本発明の第１の実施形態の属性抽出ルール４０３に含まれる属性名５０１及び単位５０２の例を示す説明図である。
【００６４】
属性抽出ルール４０３は、重要要素及び非重要要素から属性情報を抽出するために、属性情報抽出部４０２によって用いられるルールである。属性抽出ルール４０３は、属性名５０１、単位５０２及びパターン５０４を含む。属性名５０１は、各文書における属性名の表記を示し、単位５０２は、属性値と共に記述される属性値の単位の表記を示す。
【００６５】
なお、属性抽出ルール４０３は、事例文書１０１等に含まれる属性名、単位及びパターンに基づいて、あらかじめ生成されている。
【００６６】
図５Ａにおいて、属性名５０１の欄には、重要要素又は非重要要素（以下、文書と記載）に含まれると想定される属性名の表記が格納され、単位５０２には各属性名５０１に対応する属性値と共に記述される単位の表記が格納される。エントリー５０３−１は、属性名５０１が「メモリサイズ」であり、単位５０２が「Ｇバイト」又は「ＧＢ」などである表記が、文書に記述されることを示す。エントリー５０３−２及びエントリー５０３−３も同様に、どのような表記が文書に記述されるかを示す。
【００６７】
図５Ｂは、本発明の第１の実施形態の属性抽出ルール４０３に含まれるパターン５０４の例を示す説明図である。図５Ｂに示すパターン５０４は、文書中において属性情報が表記されるパターンを示す。
【００６８】
図５Ｂに示すパターン５０４によれば、＜属性名＞に図５Ａに示す属性名５０１が記述され、＜単位＞に図５Ａに示す単位５０２が記述されるパターンを、文書が含んだ場合、属性情報抽出部４０２は、そのパターンを含んだ文書が属性抽出ルール４０３と一致すると判定する。また、図５Ｂに示す「Ｎ」は、任意の数値が記述されるパターンを示す。
【００６９】
例えば、文書中に「メモリサイズ  は  １  ＧＢ」という記述がある場合、その記述は属性抽出ルール４０３のパターン５０４−１と一致するため、属性情報抽出部４０２は、文書中から「メモリサイズ  は  １  ＧＢ」を属性情報として抽出する。
【００７０】
また例えば、文書中に「動作電圧  １００  Ｖ  の」という記述がある場合、その記述は属性抽出ルール４０３のパターン５０４−２と一致するため、属性情報抽出部４０２は、文書中から「動作電圧  １００  Ｖ  の」を属性情報として抽出する。
【００７１】
なお、図５Ｂに示す属性抽出ルール４０３において、「Ｎ」などの符号によって示された数値の範囲を示すルールを追加してもよい。また属性情報抽出部４０２は、属性名５０１と単位５０２が示す属性値とのみでなく、属性名５０１が示す属性を有する事物名（品物名）も合わせて属性情報として抽出してもよい。
【００７２】
属性名５０１が示す属性を有する事物名も合わせて抽出する場合、図５Ｂにおける属性抽出ルール４０３に、「＜事物名＞  の  ＜属性名＞  は  Ｎ＜単位＞」を追加し、＜事物名＞の箇所に該当する単語を検索することによって、容易に事物名を抽出し、抽出された事物名を属性情報に含めてもよい。
【００７３】
さらに、属性抽出ルール４０３は、図５Ａに示す属性名５０１及び単位５０２のように、あらかじめ想定される事物名の一覧を含んでもよい。また、前述のような属性抽出ルール４０３に合致する任意の単語又はフレーズ（連続した単語の集合）を重要要素又は非重要要素から、事物名として抽出してもよい。
【００７４】
図４に示す単語集計部４０４は、単語分割部４０１から送られた重要要素及び非重要要素に含まれる全ての単語と、属性情報抽出部４０２によって抽出された全ての属性名５０１とを集計し、重複する単語及び属性名５０１をマージする。そして、マージされた単語及び属性名５０１を単語リスト４０５に格納する。
【００７５】
さらにデータ変換部４０６は、重要要素及び非重要要素の内容、属性情報抽出部４０２によって抽出された属性情報、及び、単語リスト４０５の内容に基づいて、判定ルール１０６を生成するために必要となる教師データを生成する。本実施形態では、判定ルール生成の処理及び判定処理に、サポートベクターマシンを使用するため、データ変換部４０６は、重要要素及び非重要要素の内容を多次元ベクトルに変換する。教師データは、多次元ベクトルによって表現される。
【００７６】
具体的には、まずデータ変換部４０６は、単語リスト４０５中の各単語及び属性名５０１を多次元ベクトルの各要素に割り当てる。またデータ変換部４０６は、属性情報中に事物名が含まれる場合、事物名と属性名５０１との組に、対応する多次元ベクトルの一つの要素を割り当てる。
【００７７】
次に、データ変換部４０６は、各重要要素及び非重要要素に含まれる単語に対応する要素に「１」を、それ以外の要素には「０」を格納する。ただし、該当する単語が属性情報として抽出されている場合、単語に対応する要素には「０」を割り当てると共に、数字文字列で表記されている属性値を数値データに変換し、属性名５０１に対応する要素の値として格納する。
【００７８】
以下に、各重要要素及び非重要要素を、多次元ベクトルに変換する例を示す。
【００７９】
単語リスト４０５に、以下の単語及び属性名５０１が格納されているものとする。
【００８０】
単語：ＰＣ、ＣＰＵ、メモリ、メモリサイズ、動作電圧
属性名５０１：メモリサイズ、動作電圧
単語リスト４０５に、上記の単語及び属性名５０１が格納されている場合、求める多次元ベクトルは以下の７次元のベクトルである。
【００８１】
多次元ベクトル：（＜ＰＣ＞、＜ＣＰＵ＞、＜メモリ＞、＜メモリサイズ＞、＜動作電圧＞、［メモリサイズ］、［動作電圧］）
Ｘに該当する単語が存在する場合、＜Ｘ＞は「１」を示し、Ｘに該当する単語が存在しない場合、＜Ｘ＞は「０」を示す。また、Ｙに該当する属性名５０１に対応する属性値が設定される場合、［Ｙ］は「１」を示し、Ｙに該当する属性名５０１に対応する属性値が設定されていない場合、［Ｙ］は「０」を示す。
【００８２】
ここで、単語分割部４０１から単語集計部４０４を経由して送られた重要要素又は非重要要素に、以下の文字列が含まれるものとする。
【００８３】
「ＰＣ  は  ＣＰＵ  及び  メモリ  を  有する  」
重要要素又は非重要要素に上記のような文字列が含まれる場合、求める多次元ベクトルは、該当する単語に対応する要素に「１」をセットすることによって、以下のように示される。
【００８４】
多次元ベクトル：（１、１、１、０、０、０、０）
すなわち、多次元ベクトルは、対象となる重要要素又は非重要要素に、「ＰＣ」、「ＣＰＵ」及び「メモリ」の単語が存在し、「メモリサイズ」及び「動作電圧」の単語が存在しないことを示す。
【００８５】
また、単語分割部４０１から単語集計部４０４を経由して送られた重要要素又は非重要要素に、以下の文字列が含まれるものとする。
【００８６】
「ＰＣ  の  動作電圧  は  １００  Ｖ」
重要要素又は非重要要素が上記のような文字列であった場合、図５Ａ及び図５Ｂに示す属性抽出ルール４０３を適用することによって、以下の文字列が抽出される。
【００８７】
属性名：動作電圧
属性値：１００Ｖ
このため、得られる多次元ベクトルは、以下のとおりである。
【００８８】
（１、０、０、０、０、０、１００）
すなわち、対象となる重要要素又は非重要要素には、「ＰＣ」の単語が存在し、他の単語は存在しないことを示す。また、対象となる重要要素又は非重要要素には、動作電圧が「１００（Ｖ）」である記述が存在することを示す。「動作電圧」という単語は、属性情報として抽出されるため、その有無を示す要素（左から５番目の要素）には０が格納され、属性値に関する要素（一番右の要素）のみに値が格納される。
【００８９】
なお、「動作電圧」という単語が重要要素又は非重要要素に単独で記述されている場合、ベクトルの左から５番目の要素に１が格納され、属性値に関する要素には０が格納される。また、前述の例において、単語リスト４０５中に含まれない単語を、データ変換部４０６はすべて無視する。
【００９０】
さらに、データ変換部４０６は、前述の例において、属性値を示す数値データをそのまま対応する多次元ベクトルの要素に格納したが、属性名毎にあらかじめ定められた数値を乗じることによって大きさを変更した値を多次元ベクトルの要素に格納してもよい。また、属性値を示す数値データを０〜１の間に正規化し、得られた値を、多次元ベクトルの要素に格納してもよい。
【００９１】
さらに前述の例において、全ての単語一つ一つにベクトルの要素に割り当てられていたが、データ変換部４０６は、類似する意味を示す単語は一つのベクトルの要素に割り当ててもよい。
【００９２】
図６は、本発明の第１の実施形態の教師データ生成部１０４の別の例を示すブロック図である。
【００９３】
データ変換部４０６によって類似する意味を示す単語が一つのベクトルの要素に割り当てられる場合、データ変換部４０６は、類似した単語の一覧を格納した同義語辞書４０７に接続される。そして、同義語辞書４０７の内容を検索することによって、単語リスト４０５の中で同義語と判断される単語を、多次元ベクトルにおける同一のベクトルの要素に割り当てる。
【００９４】
例えば、前述の例において、「メモリ」と「メモリサイズ」とが類似である場合、同義語辞書４０７には「メモリ」と「メモリサイズ」との組が保持される。そして、データ変換部４０６は、同義語辞書４０７に保持される組を参照し、「メモリ」と「メモリサイズ」との属性名５０２を、一つのベクトルの要素に割り当てる。
【００９５】
以上のように生成された多次元ベクトルは、教師データを示す。データ変換部４０６は、生成された教師データを、判定ルール生成部１０５に送る。
【００９６】
判定ルール生成部１０５は、送られた教師データを用いて、判定ルール１０６を生成する。前述したように、本実施形態における判定ルール生成部１０５は、サポートベクターマシンを使用することを想定しており、重要要素及び非重要要素ごとに分類された多次元ベクトルにサポートベクターマシンを適用し、判定ルール１０６を生成する。
【００９７】
サポートベクターマシンによって、判定ルール生成部１０５は、多次元ベクトルにおける分離面を生成する。これによって、判定ルール１０６は、重要要素及び非重要要素に含まれる属性名５０１と、その属性名５０１に対応する属性値とがとりうる値の範囲（または分布）を示す情報を保持する。
【００９８】
判定処理部１１１は、判定ルール１０６によって、重要な属性名５０１とその属性名５０１に対応する属性値がとりうる値とを取得することができる。
【００９９】
一方、図１に示す判定対象文書１０７の内容に、重要要素であるか否かを判定する処理を以下に示す。判定対象文書１０７は、前述のとおり、重要要素を抽出される対象の文書である。
【０１００】
まず、文書分割部１０８は、判定する単位である判定文書要素に判定対象文書１０７を分割する。文書分割部１０８によって行われる処理は、文書分類部１０３における文書分割部２０１と同じであり、また、その際使用される文書分割ルール１０９も、文書分割部２０１において用いられた文書分割ルール２０２と同じものを使用することができる。
【０１０１】
すなわち判定対象文書１０７は、文書分割部１０８によって、章ごと、又は、段落ごとなどに分割され、判定データ生成部１１０に送られる。
【０１０２】
次に、判定データ生成部１１０は、文書分割部１０８によって分割された各判定文書要素を、判定処理部１１１において利用できるデータ形式に変換する。判定処理部１１１に判定ルール生成部１０５と同様にサポートベクターマシンを使用する場合、教師データと判定データの形式とは同一であるため、判定データ生成部１１０の処理は、教師データ生成部１０４と同じ処理である。
【０１０３】
すなわち判定データ生成部１１０は、文書分割部１０８によって送られた各判定文書要素を、単語に分割し、さらに多次元ベクトルに変換する。これによって、判定処理部１１１は、判定ルール１０６と、判定文書要素から変換された多次元ベクトルとを比較することができる。
【０１０４】
図７は、本発明の第１の実施形態の判定データ生成部１１０の詳細を示すブロック図である。
【０１０５】
判定データ生成部１１０は、単語分割部７０１、属性情報抽出部７０２、属性抽出ルール７０３、単語リスト７０４、及び、データ変換部７０５を備える。単語分割部７０１、属性情報抽出部７０２、及び、データ変換部７０５は、プログラムである。属性抽出ルール７０３、及び、単語リスト７０４は、データベースなどの記憶領域である。
【０１０６】
単語分割部７０１、属性情報抽出部７０２、属性抽出ルール７０３及びデータ変換部７０５は、教師データ生成部１０４における単語分割部４０１、属性情報抽出部４０２、属性抽出ルール４０３及びデータ変換部４０６とそれぞれ同じである。
【０１０７】
教師データ生成部１０４と判定データ生成部１１０との違いは、教師データ生成部１０４における単語集計部４０４が判定データ生成部１１０にはなく、データ変換部７０５において使用される単語リスト７０４は、教師データ生成部１０４において単語集計部４０４によって作成された単語リストを利用することである。これによって判定文書要素は、事例文書中に含まれる単語及び属性名５０１に基づいて、多次元ベクトルに変換される。
【０１０８】
なお、教師データ生成部１０４が同義語辞書４０７を備える場合、判定データ生成部１１０も同義語辞書４０７を備える。そしてデータ変換部７０５は、同義語辞書４０７に接続され、属性名５０１のうち類似する属性名５０１を、多次元ベクトルにおける同一のベクトルの要素に割り当てる。
【０１０９】
判定データ生成部１１０は、変換された多次元ベクトル（判定データ）を、判定処理部１１１に送る。
【０１１０】
判定処理部１１１は、判定データ生成部１１０から送られた判定データに、サポートベクターマシンを使用して判定ルール１０６と比較することによって、各判定データが重要要素であるか非重要要素であるかを判定し、結果を判定結果１１２として出力する。
【０１１１】
具体的には判定処理部１１１は、判定データに含まれる多次元ベクトルによって、判定ルール１０６を検索し、判定データに含まれる属性名５０１に対応する属性が、重要要素であるか、非重要要素であるかを取得する。
【０１１２】
さらに判定処理部１１１は、判定データの多次元ベクトルが示す属性名５０１と属性値とを、判定ルール１０６において検索することによって、判定データに含まれる属性値と、判定ルール１０６に含まれる属性値との距離が離れていることを取得することができる。すなわち判定処理部１１１は、判定データを判定ルール１０６において検索することによって、事例文書１０１に含まれる属性値が、判定対象文書１０７に含まれる属性値と、どの程度離れているかを取得することができる。
【０１１３】
図８は、本発明の第１の実施形態の重要箇所判定システムを、計算機１００に実装した場合の構成図を示す。
【０１１４】
計算機１００は、情報処理装置８０１、入力装置８０２、表示装置８０３、記憶装置８０４、事例文書８１４、参照情報記載文書８１５、判定対象文書８１６、文書分割ルール８１７、参照情報抽出ルール８１８、属性抽出ルール８１９、単語リスト８２０、及び、判定ルール８２１を備える。
【０１１５】
情報処理装置８０１は、重要箇所判定処理に必要な各種のプログラムを実行するためのＣＰＵなどの演算装置である。入力装置８０２は、システム利用者がシステムを操作するための装置であり、一般的に用いられるキーボード又はマウスなどの装置である。表示装置８０３は、判定結果１１２を出力するための装置であり、一般的に用いられるモニタ又はスピーカなどの装置である。
【０１１６】
記憶装置８０４には、重要箇所判定処理に必要な各種のプログラムや処理の途中経過に関する情報が格納される。記憶装置８０４には、文書分割プログラム８０５、参照情報抽出プログラム８０６、マッチングプログラム８０７、分類処理プログラム８０８、単語分割プログラム８０９、属性情報抽出プログラム８１０、単語集計プログラム８１１、データ交換プログラム８１２、及び、判定処理プログラム８１３が格納される。
【０１１７】
文書分割プログラム８０５は、文書分類部１０３に含まれる文書分割部２０１及び文書分割部１０８に対応する処理を行う。参照情報抽出８０６は、文書分類部１０３に含まれる参照情報抽出部２０３に対応する処理を行う。マッチングプログラム８０７は、文書分類部１０３に含まれるマッチング部２０５に対応する処理を行う。
【０１１８】
分類処理プログラム８０８は、文書分類部１０３に含まれる分類処理部２０６に対応する処理を行う。単語分割プログラム８０９は、教師データ生成部１０４に含まれる単語分割部４０１及び判定データ生成部１１０に含まれる単語分割部７０１に対応する処理を行う。
【０１１９】
属性情報抽出プログラム８１０は、教師データ生成部１０４に含まれる属性抽出部４０２及び判定データ生成部１１０に含まれる属性抽出部７０２に対応する処理を行う。単語集計プログラム８１１は、教師データ生成部に含まれる単語集計部４０４に対応する処理を行う。
【０１２０】
データ交換プログラム８１２は、教師データ生成部に含まれるデータ変換部４０６及び判定データ生成部１１０に含まれるデータ変換部７０５に対応する処理を行う。判定処理プログラム８１３は、判定処理部１１１に対応する処理を行う。
【０１２１】
また事例文書８１４には、図１に示す事例文書１０１が格納され、参照情報記載文書８１５には、図１に示す参照情報記載文書１０２が格納される。判定対象文書８１６には、図１に示す判定対象文書１０７が格納され、文書分割ルール８１７には、図２に示す文書分割ルール２０２及び図１に示す文書分割ルール１０９が格納される。
【０１２２】
参照情報抽出ルール８１８には、図２に示す参照情報抽出ルール２０４が格納され、属性抽出ルール８１９には、図４に示す属性抽出ルール４０３及び図７に示す属性抽出ルール７０３が格納される。単語リスト８２０には、図４に示す単語リスト４０５及び図７に示す単語リスト７０４が格納され、判定ルール８２１には、図１に示す判定ルール１０６が格納される。
【０１２３】
本発明の第１の実施形態によれば、事例文書１０１と参照情報記載文書１０２との対応関係を求めることによって、文書中の重要要素を判定するための判定ルール１０６を生成するために必要となる教師データを効率的に構築することができるようになると共に、事例文書１０１から属性情報を抽出し、数値データに変換した属性値を教師データに埋め込むことによって、「〜以上」又は「〜から〜まで」のような数値の大きさや範囲に基づく判定ルールを容易に構築し、精度の良い重要箇所判定システムを構成することが可能となる。
【０１２４】
例えば、計算機システムを設計する際に提示される膨大な要求仕様書の中から、特に重要なシステムの情報（ＣＰＵ性能、又は、メモリサイズ等）を抽出したい時、第１の実施形態によれば、過去に蓄積された設計書などの事例文書と、ユーザからの要望などが記述された参照情報とに基づいて、判定ルール１０６を生成する。これによって、要求仕様書から効率的にシステムの情報を抽出することができる。また、判定ルール１０６に含まれる属性値によって、要求仕様書に示された数値が、過去の設計書に示された数値から離れている場合も、抽出することができる。
【０１２５】
（第２の実施形態）
本発明の第２の実施形態を図９から図１３を用いて説明する。
【０１２６】
第１の実施形態では、事例文書から抽出した属性情報から得られた数値データを、教師データ中に埋め込むことによって、一種類の判定ルール１０６を生成し、さらに生成された一種類の判定ルール１０６によって、精度のよい重要箇所判定を行うことができる。一方、第２の実施形態では、属性情報を除いた事例文書要素を判定するルールと、属性情報に関する判定を行うルールとを分離することに特徴を有する。
【０１２７】
図９は、本発明の第２の実施形態の重要箇所判定システムの構成を示すブロック図である。
【０１２８】
図１に示す構成と図９に示す構成との違いは、図１では一種類であった判定ルール１０６が、図９において、属性情報を含まない事例文書要素を判定するための文書要素判定ルール９０３と、属性情報に関する判定のみを行う属性値判定ルール９０４の二種類になっている点である。
【０１２９】
また、教師データ生成部９０１、判定ルール生成部９０２、判定データ生成部９０５及び判定処理部９０６の構成及び機能は、図１に示す教師データ生成部１０４、判定ルール生成部１０５、判定データ生成部１１０、及び、判定処理部１１１と同様であるが、その処理の詳細は異なる。
【０１３０】
また、第１の実施形態の事例文書１０１、参照情報記載文書１０２、文書分類部１０３、判定対象文書１０７、文書分割部２０１、及び、文書分割ルール２０２を、第２の実施形態の重要箇所判定システムも備える。
【０１３１】
図１０は、本発明の第２の実施形態の教師データ生成部９０１の詳細な構成を示すブロック図である。
【０１３２】
図１０に示す教師データ生成部９０１と図４に示す教師データ生成部１０４とは、データ変換部における処理及び出力される教師データに違いがある。第２の実施形態において、データ変換部１００１が出力する教師データは、文書要素教師データ１００２及び属性値教師データ１００３である。
【０１３３】
文書要素教師データ１００２は、第１の実施形態における教師データから属性情報を含まない事例文書要素に、判定ルールを生成するための教師データである。属性値教師データ１００３は、属性情報を含む事例文書要素に、判定ルールを生成するための教師データである。
【０１３４】
第１の実施形態と同様に、第２の実施形態においても、事例文書要素からの判定ルール生成及び判定対象文書要素の判定にサポートベクターマシンを利用する。第２の実施形態のデータ変換部１００１は、単語リスト１００４中の各単語に多次元ベクトルの要素を割り当て、各事例文書要素に、事例文書要素中の単語に対応する多次元ベクトルの要素に１を、それ以外に０を設定することによって、教師データを生成する。
【０１３５】
この際、データ変換部１００１は、あらかじめ、属性情報抽出部１００５において属性情報として抽出された箇所に該当する事例文書要素中の単語を除いておく。または、属性名の単語を除くと共に属性値に該当する単語を、単語の内容に依存せず、かつ、他の意味を持つ単語として現れることが無い特定の文字列に置き換える。例えば、属性値に該当する単語を、「ＮＮＮ」などに置き換えるようにしてもよい。
【０１３６】
このようにして生成された多次元ベクトルを、データ変換部１００１は、文書要素教師データ１００２として出力する。文書要素教師データ１００２から文書要素判定ルール９０３を生成するための技術には、サポートベクターマシン以外にも、一般的に用いられている機械学習の技術を用いることができるため、文書要素教師データ１００２には、使用する機械学習に適した形式を用いて、文書要素判定ルール９０３を生成すればよい。
【０１３７】
また、属性情報抽出部１００５は、属性名５０２と数値データに変換された属性値とを抽出することによって取得された属性情報の一覧を、属性値教師データ１００３として出力する。属性情報抽出部１００５は、第１の実施形態と同じく、該当する属性を有する事物名も属性情報と合わせて抽出し、属性値教師データ１００３に含めて出力してもよい。
【０１３８】
なお、文書要素教師データ１００２及び属性値教師データ１００３における各教師データには、重要要素から生成された教師データであるか、非重要要素から生成された教師データであるかに関する識別子が、各々付加される。
【０１３９】
図１１は、本発明の第２の実施形態の判定ルール生成部９０２の詳細を示すブロック図である。
【０１４０】
第１の実施形態の判定ルール生成部１０５は、一種類の機械学習によって判定ルール１０６を生成することを前提としたが、第２の実施形態の判定ルール生成部９０２は、文書要素判定ルール９０３及び属性値判定ルール９０４の二種類の判定ルールを生成するため、それぞれに文書要素判定ルール生成部１１０１及び属性値判定ルール生成部１１０２を備える。
【０１４１】
判定ルール生成部９０２は、教師データの形式に合わせた、それぞれに適した技術を用いて判定ルールを生成してよい。例えば、文書要素判定ルール９０３を生成する方法には、前述のように教師データが多次元ベクトルによって与えられる場合、サポートベクターマシンを用いることが可能である。これによって、第１の実施形態と同じく、判定ルールを容易に生成することができる。
【０１４２】
一方、属性値判定ルール９０４の場合、教師データは属性名と数値データとに変換された属性値の組であることから、判定ルール生成部９０２は、例えば、属性名毎に重要要素の属性値の平均と分散とを求め、それによって決定される範囲に属性値が存在しているか否かによって判定するルールを生成する。また、非重要要素の平均と分散とを加えることによって、重要要素である確率を算出する判定ルールを生成する。当然ながら、属性情報に関する判定ルールの生成においても、一般的に使用される機械学習の技術を使用してもよい。
【０１４３】
図１２は、本発明の第２の実施形態の判定データ生成部９０５の詳細を示すブロック図である。
【０１４４】
図７に示す判定データ生成部１０４と図１２に示す判定データ生成部９０５との違いは、データ変換部１２０１における処理と、出力する判定データとである。図１２に示す判定データ生成部９０５は、属性情報を除いた文書要素判定データ１２０２及び属性情報に関する属性値判定データ１２０３の二種類を出力する。
【０１４５】
第２の実施形態における単語分割部７０１、属性抽出ルール７０３、及び、単語リスト７０４は、第１の実施形態と同じである。
【０１４６】
判定ルール生成部９０２及び判定処理部９０６にサポートベクターマシンを用いる場合、データ変換部１２０１は、前述した文書要素教師データと同じく、属性情報に該当する箇所を除いた判定文書要素の内容に基づいた多次元ベクトルを、文書要素判定データ１２０２として生成する。又は、属性名の単語を除くと共に属性値に該当する単語を、その内容に依存せず、且つ、単語として現れることが無い特定の文字列に置き換えてもよい。例えば、「ＮＮＮ」などに置き換えてもよい。
【０１４７】
データ変換部１２０１によって生成される文書要素判定データの形式には、文書要素判定ルール生成及び後述の文書要素判定処理部１３０１において使用される技術に適した形式を選択すればよい。さらに、判定データ生成部９０５は、教師データ生成部９０１と同様の処理をする。すなわち、属性情報抽出部１２０４は、属性名及び数値データに変換された属性情報を、属性値から抽出し、抽出された属性情報を属性値判定データ１２０３として出力する。抽出された属性情報は、該当する属性を有する事物名も合わせて付加され、属性値教師データ１２０３として出力されてもよい。
【０１４８】
図１３は、本発明の第２の実施形態の判定処理部９０６の詳細を示すブロック図である。
【０１４９】
判定処理部９０６は、文書要素判定処理部１３０１と、属性値判定処理部１３０２とを備える。文書要素判定処理部１３０１は、文書要素判定ルール９０３及び文書要素判定データ１２０２に基づく判定処理を行う。属性値判定処理部１３０２は、属性値判定ルール９０４及び属性値判定データ１２０３に基づく判定処理を行う。それぞれの判定処理に用いる技術は、判定ルールを生成するために用いた技術に、適した方法を選択することができる。
【０１５０】
例えば、文書要素判定ルール９０３が、前述の例のようにサポートベクターマシンを使用して生成される場合、同様にサポートベクターマシンを文書要素判定処理部１３０１に使用すればよい。また、属性値判定ルール９０４が、例えば、事例文書から得られた属性値の平均値と分散値とによって与えられるような場合、広く知られた正規分布の計算式を用いて確率的に判定する方法などを使用すればよい。
【０１５１】
結果統合部１３０３では、文書要素判定処理部１３０１における判定結果と属性値判定処理部１３０２における判定結果を統合し、最終的な判定結果を出力する。統合の方法は、例えば、判定対象となっている判定文書要素から属性情報が抽出されている場合は、属性値判定処理部１３０２の結果のみを使用して判定結果とする方法でもよい。
【０１５２】
また結果統合部１３０３は、例えば、文書要素判定処理部１３０１からの判定結果及び属性値判定処理部１３０２からの判定結果が、重要要素である確率値など、重要要素又は非重要要素として判定される程度を示す連続値によって出力される場合、両者の判定結果の加重平均又は相加平均など、両者の値から一つの連続値を算出する関数を用いることによって、両者の結果を統合してもよい。
【０１５３】
文書要素判定処理部１３０１及び属性値判定処理部１３０２それぞれからの結果が、重要要素であるか非重要要素であるかという判定のみが行われた結果である場合、結果統合部１３０３は、重要要素の場合を１、非重要要素の場合を０と定義することによって、加重平均又は相加平均などの関数を用いて両者の結果を統合してもよい。
【０１５４】
結果統合部１３０３によって出力される判定結果は、前述の方法によって求めた値を出力するほか、それらの値とあらかじめ定めた閾値とに基づいて、重要要素であるか非重要要素であるかを判定した結果を出力するようにしてもよい。
【０１５５】
以上のように、本発明の第２の実施形態によれば、事例文書と参照情報記載文書の対応関係を求めることによって、文書中の重要要素を判定するための判定ルールを生成するために必要となる教師データを効率的に構築することができるようになると共に、文書中で文字列が重要となる箇所と属性値のような数値が重要となる箇所を分離し、それぞれに適した判定ルール生成技術及び判定処理技術を適用した柔軟で精度の高い重要箇所判定システムを構成することが可能となる。
【０１５６】
（第３の実施形態）
本発明の第３の実施形態を図１４から図１６を用いて説明する。
【０１５７】
図１４は、本発明の第３の実施形態の重要箇所判定システムの構成を示すブロック図である。
【０１５８】
図１４における構成要素において、判定結果訂正部１４０１及び分類済事例文書１４０２は、第１の実施形態の重要箇所判定システムと異なる。他の構成要素は、第１の実施形態の構成要素と同じである。
【０１５９】
第３の実施形態では、文書分類部１０３からの出力を、分類済事例文書１４０２に格納する。教師データ生成部１０４は、分類済事例文書１４０２の内容を参照し、教師データを生成する。また、第３の実施形態では、判定対象文書に判定結果の一覧をシステム利用者に提示し、システム利用者が判定結果を確認すると共に、誤った判定結果を訂正する手段を提供することが特徴である。さらに、システム利用者が訂正を行った後、判定対象文書と判定結果とを新たな事例として、判定ルールの生成に利用する手段を設けたことが特徴である。
【０１６０】
図１４に示す判定結果訂正部１４０１は、判定処理部１１１から受信した判定結果の一覧をシステム利用者に提示すると共に、システム利用者が判定結果を訂正する手段をシステム利用者に提供する。具体的には、判定する単位に判定対象文章を分割した結果である判定文書要素とそれに対する判定結果を対にしてモニタ画面上に表示し、キーボード又はマウスを操作することによって、画面上で、判定結果を訂正できるようにする。
【０１６１】
図１５は、本発明の第３の実施形態の判定結果の表示例を示す説明図である。
【０１６２】
図１５に示す判定結果一覧には、判定対象文書１５０１、判定結果１５０２、訂正ボタン１５０３、「事例に追加」ボタン１５０６、及び、終了ボタン１５０７が含まれる。
【０１６３】
判定対象文書１５０１には、各判定文書要素の内容が表示される。判定対処文書１５０１には、該当する判定文書要素の内容のみを表示してもよいし、文脈情報と合わせて表示してもよい。また、表示される内容を切り替えるための操作手段としてボタンなどが画面上に配置され、このボタンへの操作によって、表示される内容が切り替えられてもよい。
【０１６４】
判定結果１５０２には、各判定対象文書１５０１が示す判定文書要素に対する判定結果が表示される。図１５の判定結果１５０２にフラグを示す値が格納されている場合、該当する行は重要要素に判定されたことを示し、空白は、非重要要素に判定されたことを示す。すなわち、図１５に示す表示例は、行１５０４及び行１５０５の判定対象文書１５０１に記述された判定文書要素のみが重要要素であると、判定されたことを示す。
【０１６５】
判定文書要素が重要要素と判定されたか、非重要要素と判定されたかを表示する方法には、両者を区別する方法であれば、いずれの方法でもよい。例えば、異なる色によって表示してもよく、または、異なる文字によって表示してもよい。
【０１６６】
訂正ボタン１５０３のうち、「訂正」と記述されている箇所は、各判定対象文書１５０１の判定文書要素の判定結果を訂正するためのボタンである。システム利用者がこのボタンをキーボード又はマウスなどによって操作すると、操作する毎に、判定結果に表示される内容が、重要要素の表示と非重要要素の表示が切り替わって表示される。
【０１６７】
例えば、行１５０４の判定結果１５０２には、重要要素であるとの判定結果が表示されている。この状態において、システム利用者が訂正ボタン１５０３を一回操作すると、判定結果１５０２が非重要要素の表示に切り替わり、行１５０４における判定結果１５０２の欄は空白となる。再度、システム利用者が訂正ボタン１５０３を操作すると、行１５０４における判定結果１５０２は、再び重要要素の表示に切り替わり、フラグを示す値が表示される。
【０１６８】
訂正ボタン１５０３には、判定結果１５０２を訂正するために、前述のようなボタンによる方法の他、システム利用者が判定結果の欄に重要要素か非重要要素かを示す内容を直接入力する表示方法を用いてもよい。図１４に示す判定結果訂正部１４０１は、前述のように、システムによる判定結果１５０２をシステム利用者が訂正した判定対象文書１５０１の箇所を全て記録する。
【０１６９】
システム利用者が、「事例に追加」ボタン１５０６をキーボード又はマウスによって操作すると、判定結果訂正部１４０１は、判定結果を、重要要素又は／及び非重要要素に訂正された判定対象要素を分類済事例文書１４０２に追加する。判定結果訂正部１４０１から送られる内容は、文書分類部１０３から送られる内容（重要要素に分類された事例文書要素及び非重要要素に分類された事例文書要素）と同じである。このため、分類済事例文書１４０２に単純に追加されることによって、判定結果訂正部１４０１から送られた事例文書要素は、教師データ生成部１０４において利用することができる。
【０１７０】
また、判定処理部１１１から、判定ルール生成部１０５において処理が可能な形式の内容を取得することも可能であり、その場合、教師データ生成部１０４から出力される内容を格納する記憶領域を設け、その記憶領域に判定結果訂正部１４０１から出力される内容を追加してもよい。なお、この場合は教師データ生成部１０４における単語リストの生成処理が省略されるため、判定対象文書内に含まれる単語は全て、事例文書中に含まれていることが望ましい。
【０１７１】
さらに、判定結果訂正部１４０１から分類済事例文書１４０２等に送られる判定対象要素は、全ての判定対象要素と判定結果の組に関する情報でもよく、システム利用者が訂正を行った判定対象要素に関する情報のみを送ってもよい。または、システムが重要要素と判定した判定対象要素とシステム利用者が訂正を行った判定対象要素のみ、といった組み合わせを、分類済事例文書１４０２に送ってもよい。さらには、それらをシステム利用者が選択することができるようにしてもよい。
【０１７２】
図１５に示す「終了」ボタン１５０７をシステム利用者が操作すると、判定対象要素を分類済事例文書１４０２に追加することなく、判定結果の表示を終了する。さらに終了する際、別途、判定結果及びシステム利用者が行った訂正に関する情報を格納するようにしてもよい。
【０１７３】
さらに、判定結果を表示する方法には、図１５に示すように、判定対象となる単位である判定文書要素毎に表示する方法の他、判定対象文書の内容をそのまま表示し、重要要素と判定された箇所を判定対象文書の上で識別可能な形で表示する、という方法を採ってもよい。この場合の表示方法の一例を図１６に示す。
【０１７４】
図１６は、本発明の第３の実施形態の判定結果の別の表示例を示す説明図である。
【０１７５】
図１６に示す判定結果は、結果表示画面１６０１、「事例に追加」ボタン１６０２、及び、「終了」ボタン１６０３を含む。
【０１７６】
結果表示画面１６０１は、判定対象文書の内容を表示する。文書分割部１０８における処理結果を利用することによって、各判定文書要素に対応する判定文書上の文脈情報を取得できるため、各判定文書要素に対する判定結果を判定文書の文脈情報の中に反映する。そして、図１６に示す結果表示画面１６０１は、重要要素と判定された判定文書要素に対応する行１６０２及び行１６０３の箇所を、他と背景色を変えて表示する。
【０１７７】
図１６における重要要素の表示方法は、背景色を変える方法の他、非重要要素との違いが容易に識別できる方法であれば、どのような方法でもよい。例えば、文字の色を変える、下線を引く、枠をつけるなどによって表示してもよい。
【０１７８】
さらに、図１６に示す表示方法において判定結果を訂正する方法には、訂正する判定文書要素に対応する行において、マウスのダブルクリックを行う毎に、該当箇所が重要要素であるか非重要要素であるかを示す表示が切り替わるようにする、という方法を使用することができる。または、図１５に示す訂正ボタン１５０３のような手段を用意し、訂正を行う箇所をキーボード又はマウスによって選択した後、ボタンを操作することによって訂正してもよい。また図１６に示す「事例に追加」ボタン１６０４及び「終了」ボタン１６０５は、図１５に示す「事例に追加」ボタン１５０６及び「終了」ボタン１５０７と、それぞれ同じ機能を持つ。
【０１７９】
以上のように、本発明の第３の実施形態によれば、システムによる判定結果をシステム利用者が確認すると共に、判定結果を容易に訂正できる手段を提供し、その結果を新たな事例文書として追加することによって、システムを利用する中で判定精度の高い判定ルールを構築していくことが可能となる。
【符号の説明】
【０１８０】
１０１  事例文書
１０２  参照情報記載文書
１０３  文書分類部
１０４  教師データ生成部
１０５  判定ルール生成部
１０６  判定ルール
１０７  判定対象文書
１０８  文書分割部
１０９  文書分割ルール
１１０  判定データ生成部
１１１  判定処理部
１１２  判定結果
２０３  参照情報抽出部
２０５  マッチング部
２０６  分類処理部
４０１  単語分割部
４０２  属性情報抽出部
４０４  単語集計部
４０６  データ変換部
１４０１  判定結果訂正部
【図１】
0005577546.tif 000002
【図２】
0005577546.tif 000003
【図３】
0005577546.tif 000004
【図４】
0005577546.tif 000005
【図５Ａ】
0005577546.tif 000006
【図５Ｂ】
0005577546.tif 000007
【図６】
0005577546.tif 000008
【図７】
0005577546.tif 000009
【図８】
0005577546.tif 000010
【図９】
0005577546.tif 000011
【図１０】
0005577546.tif 000012
【図１１】
0005577546.tif 000013
【図１２】
0005577546.tif 000014
【図１３】
0005577546.tif 000015
【図１４】
0005577546.tif 000016
【図１５】
0005577546.tif 000017
【図１６】
0005577546.tif 000018