(57)【特許請求の範囲】
【請求項１】
収集された非定型テキストの言語解析を行って事象キーワード及び事象が発生した時間情報若しくは空間情報を取り出し、前記事象キーワードに前記時間情報若しくは空間情報をマッピングさせて抽出知識候補を生成する非定型データ処理部と、
時空間連携定型データを用いて前記非定型データ処理部で生成された抽出知識候補のうちから妥当ではない抽出知識候補を除去することによって前記抽出知識候補の有効性を判断するフィルタ部と、を備え、
前記時空間連携定型データは、
時系列定型データ及び通常の定型データのうち、過去に観測されて整理された情報から非正常的な特定値を除去することによって前記時系列定型データ及び通常の定型データを標準化させ、前記標準化された時系列定型データ及び通常の定型データが予め定義された標準座標と一致しない場合、一致しないデータに対する時空間座標平面上の値を実際に測定された時空間座標平面上の値で誤り訂正を行い、前記誤り訂正が行われた時系列定型データ及び通常の定型データを非定型データから抽出された抽出知識候補と連携させるために時空間座標上の全ての地点に関するデータに拡張して生成されたデータであり、
前記時系列定型データは、時間によって変化する数値データであり、
前記通常の定型データは、時間によって変化しない数値データであることを特徴とする非定型テキストの抽出性能の向上のためのシステム。
【請求項２】
定型データを収集し、過去に観測されて整理された情報から非正常的な特定値を除去することによって前記収集された定型データを標準化させて前記時空間連携定型データを生成する定型データ処理部を更に備えることを特徴とする請求項１に記載の非定型テキストの抽出性能の向上のためのシステム。
【請求項３】
前記定型データ処理部は、
前記時系列定型データ及び通常の定型データを収集する収集モジュールと、
前記時系列定型データ及び通常の定型データを標準化させるフィルタモジュールと、
前記標準化された時系列定型データ及び通常の定型データが予め定義された標準座標と一致しない場合、一致しないデータに対する時空間座標平面上の値を実際に測定された時空間座標平面上の値で誤り訂正を行う推定モジュールと、
前記誤り訂正が行われた時系列定型データ及び通常の定型データを非定型データから抽出された抽出知識候補と連携させるために時空間座標上の全ての地点に関するデータに拡張する拡張モジュールと、
前記拡張モジュールで拡張されたデータを複製して複数箇所に分散並列格納する格納モジュールと、を備えることを特徴とする請求項２に記載の非定型テキストの抽出性能の向上のためのシステム。
【請求項４】
前記非定型データ処理部は、
情報源から非定型テキストを収集する収集モジュールと、
前記収集された非定型テキストの言語解析を行って、事象キーワード及び事象が発生した時間情報若しくは空間情報を取り出す抽出モジュールと、
情報源に非定型テキストが掲示された時間又は位置情報を用いて、前記取り出された時間情報若しくは空間情報をそれぞれ絶対的な時間情報又は事象が発生した位置情報に具体化させる解析モジュールと、
前記事象キーワードに前記具体化された時間情報若しくは空間情報をマッピングさせて前記抽出知識候補を生成する連携モジュールと、を備えることを特徴とする請求項１に記載の非定型テキストの抽出性能の向上のためのシステム。
【請求項５】
前記収集モジュールが前記情報源に非定型テキストが掲示された時間又は位置情報を含む収集状況メタデータを収集した場合、  前記解析モジュールは、
前記収集状況メタデータに含まれている時間情報を用いて前記取り出された時間情報を絶対的な時間情報に変換する時間情報解析モジュールと、
前記収集状況メタデータに含まれている空間情報を用いて前記取り出された空間情報を事象が発生した位置情報に具体化させる空間情報解析モジュールと、を備えることを特徴とする請求項４に記載の非定型テキストの抽出性能の向上のためのシステム。
【請求項６】
前記フィルタ部は、前記抽出知識候補に合う前提条件モデルを用いて、前記抽出知識候補の有効性を判断するフィルタモジュールと、を備え、
前記前提条件モデルは、対象となる個体の種類及び要請される特性に応じて、単語自体が有する意味を特定の意味に限定することに活用される個体前提条件モデル、又は関連する情報を活用して特別の事象状況を把握する事象前提条件モデルであり、
前記フィルタ部は、個体及び事象の前提条件モデルを機械学習方法により学習し、学習されたモデルを用いて不適切な抽出知識候補を除去することによって有効性を判断することを特徴とする請求項１に記載の非定型テキストの抽出性能の向上のためのシステム。
【請求項７】
時空間連携定型データ及び過去履歴情報を学習データとして用い、抽出知識候補の対象である前記個体及び事象の前提条件モデルを機械学習方法により学習する条件モデル学習モジュールを更に備えることを特徴とする請求項６に記載の非定型テキストの抽出性能の向上のためのシステム。
【請求項８】
非定型テキストの抽出性能の向上のためのシステムによる非定型テキストの抽出性能の向上のための方法であって、
（ａ）非定型テキストを収集するステップと、
（ｂ）前記収集された非定型テキストの言語解析を行って事象キーワード及び事象が発生した時間情報若しくは空間情報を取り出すステップと、
（ｃ）前記事象キーワードに前記時間情報若しくは空間情報をマッピングさせて抽出知識候補を生成するステップと、
（ｄ）時空間連携定型データを用いて、前記生成された抽出知識候補のうちから妥当ではない抽出知識候補を除去することによって前記抽出知識候補の有効性を判断するステップと、を有し、
前記時空間連携定型データは、
時系列定型データ及び通常の定型データのうち、過去に観測されて整理された情報から非正常的な特定値を除去することによって前記時系列定型データ及び通常の定型データを標準化させ、前記標準化された時系列定型データ及び通常の定型データが予め定義された標準座標と一致しない場合、一致しないデータに対する時空間座標平面上の値を実際に測定された時空間座標平面上の値で誤り訂正を行い、前記誤り訂正が行われた時系列定型データ及び通常の定型データを非定型データから抽出された抽出知識候補と連携させるために時空間座標上の全ての地点に関するデータに拡張して生成されたデータであり、
前記時系列定型データは、時間によって変化する数値データであり、
前記通常の定型データは、時間によって変化しない数値データであることを特徴とする非定型テキストの抽出性能の向上のための方法。
【請求項９】
前記ステップ（ａ）において非定型テキスト及びその非定型テキストが掲示された時間又は位置情報を含む収集状況メタデータを収集した場合、  前記ステップ（ｃ）は、
前記収集状況メタデータに含まれている時間情報を用いて前記取り出された時間情報を絶対的な時間情報に変換し、前記収集状況メタデータに含まれている空間情報を用いて前記取り出された空間情報を事象が発生した位置情報に具体化させるステップと、  前記事象キーワードに前記絶対化された時間情報若しくは具体化された空間情報をマッピングさせて前記抽出知識候補を生成するステップと、を含むことを特徴とする請求項８に記載の非定型テキストの抽出性能の向上のための方法。
【請求項１０】
前記ステップ（ｄ）は、
既に構築された前提条件モデルのうちから前記抽出知識候補の有効性の判断のための前提条件モデルを学習するステップと、
前記学習された前提条件モデルを用いて、前記抽出知識候補のうちから妥当ではない抽出知識候補を除去することによって有効性を判断するステップと、を含み、
前記前提条件モデルは、対象となる個体の種類及び要請される特性に応じて、単語自体が有する意味を特定の意味に限定することに活用される個体前提条件モデル、又は関連する情報を活用して特別の事象状況を把握する事象前提条件モデルであることを特徴とする請求項８に記載の非定型テキストの抽出性能の向上のための方法。
【請求項１１】
前記学習された前提条件モデルは、時空間連携定型データ及び過去履歴情報を学習データとして用い、抽出知識候補の対象である個体及び事象の前提条件モデルを機械学習方法により学習して生成されることを特徴とする請求項１０に記載の非定型テキストの抽出性能の向上のための方法。
【請求項１２】
コンピュータに、請求項８乃至１１のいずれか一項に記載の非定型テキストの抽出性能の向上のための方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、非定型テキストの抽出性能の向上のためのシステム及び方法に係り、更に詳しくは、実際に発生する現象を示す時間情報若しくは空間情報を用いて、テキスト情報の抽出結果を検証する非定型テキストの抽出性能の向上のためのシステム及び方法に関する。
【背景技術】
【０００２】
近来、ウェブニュースなどの非定型テキストから情報を取り出して主題を要約したり、核心的な事件若しくは事象を取り出したりする研究が盛んに行われている。
ここで、一般的な意味の「事象」とは、問題視されるか、或いは、関心を引くべき事件のことをいうのに対し、デジタル情報処理のための情報抽出（Ｉｎｆｏｒｍａｔｉｏｎ  Ｅｘｔｒａｃｔｉｏｎ）の観点からみた「事象」とは、与えられた文書において言及する核心事件や主題を示す情報であり、情報の抽出対象のことをいう。
【０００３】
一方、自然言語に関するテキスト情報の抽出は、自然言語により作成された文書の集まりから所望の情報を選んで構造化された表現として生成する上で用いられる技術であり、最近、ウェブ環境やソーシャルネットワークと結ばれてその重要性が益々高まりつつある。
【０００４】
しかしながら、自然言語の様々な表現、人間が使用する様々な隱喩又は比喩的な表現により、たとえ効果的なテキスト情報抽出技術があるとしても、実際の現象と連携される事実を取り出すことは依然として難しい問題として残っている。
また、テキスト情報抽出技術がテキストそれ自体に含まれている情報の解析にのみ依存するが故に、取り出された結果に対する検証や信頼度の測定が行い難いという欠点もあった。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は上記問題点に鑑みてなされたものであって、本発明の目的は、実際に発生する現象を示す時間情報若しくは空間情報を用いて、テキスト情報の抽出結果を検証する非定型テキストの抽出性能の向上のためのシステム及び方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一側面によれば、収集された非定型テキストの言語解析を行って、事象キーワード及び事象が発生した時間情報若しくは空間情報を取り出し、前記事象キーワードに時間情報若しくは空間情報をマッピングさせて抽出知識候補を生成する非定型データ処理部と、時空間連携定型データを用いて前記非定型データ処理部において生成された抽出知識候補の有効性を判断するフィルタ部と、を備える非定型テキストの抽出性能の向上のためのシステムが提供される。
【０００７】
好ましくは、前記非定型テキストの抽出性能の向上のためのシステムは、定型データを収集し、収集された定型データを標準化させて時空間連携定型データを生成する定型データ処理部を更に備える。
【０００８】
また、好ましくは、前記定型データ処理部は、時系列定型データ及び通常の定型データを収集する収集モジュールと、前記時系列定型データ及び通常の定型データを標準化させるフィルタモジュールと、前記標準化された時系列定型データ及び通常の定型データに対して実測の時空間座標平面上の値により誤り訂正を行う推定モジュールと、前記誤り訂正の行われた時系列定型データ及び通常の定型データを時空間座標上の全ての点に関するデータに拡張する拡張モジュールと、前記拡張モジュールにおいて拡張されたデータを分散並列格納する格納モジュールと、を備える。
【０００９】
更に、好ましくは、前記非定型データ処理部は、情報源から非定型テキストを収集する収集モジュールと、前記収集された非定型テキストの言語解析を行って、事象キーワード及び事象が発生した時間情報若しくは空間情報を取り出す抽出モジュールと、前記取り出された時間情報若しくは空間情報を具体化させる解析モジュールと、前記事象キーワードに前記具体化された時間情報若しくは空間情報をマッピングさせて抽出知識候補を生成する連携モジュールと、を備える。
【００１０】
更にまた、好ましくは、前記収集モジュールが非定型テキストの収集状況データを収集した場合、前記解析モジュールは、前記収集状況メタデータに含まれている時間情報を用いて、前記取り出された時間情報を絶対的な時間情報に変換する時間情報解析モジュールと、前記収集状況メタデータに含まれている空間情報を用いて、前記取り出された空間情報を具体化させる空間情報解析モジュールと、を備える。
【００１１】
更にまた、好ましくは、前記フィルタ部は、前記抽出知識候補に合う前提条件モデルを用いて、抽出知識候補の有効性を判断するフィルタモジュールを備える。
【００１２】
更にまた、好ましくは、前記フィルタ部は、時空間連携定型データ及び過去履歴情報を用いて、前提条件を決定する条件モデル学習モジュールを更に備える。
【００１３】
本発明の他の側面によれば、（ａ）非定型テキストを収集するステップと、（ｂ）前記収集された非定型テキストの言語解析を行って、事象キーワード及び事象が発生した時間情報若しくは空間情報を取り出すステップと、（ｃ）前記事象キーワードに時間情報若しくは空間情報をマッピングさせて抽出知識候補を生成するステップと、（ｄ）時空間連携定型データを用いて、前記生成された抽出知識候補の有効性を判断するステップと、を含む非定型テキストの抽出性能の向上のための方法が提供される。
【００１４】
好ましくは、前記ステップ（ａ）において非定型テキスト及びその非定型テキストの収集状況データを収集した場合、前記ステップ（ｃ）は、前記収集状況メタデータに含まれている時間情報を用いて、前記取り出された時間情報を絶対的な時間情報に変換し、前記収集状況メタデータに含まれている空間情報を用いて、前記取り出された空間情報を具体化させるステップと、前記事象キーワードに前記絶対化された時間情報若しくは具体化された空間情報をマッピングさせて抽出知識候補を生成するステップと、を含む。
【００１５】
また、好ましくは、前記時空間連携定型データは、時系列定型データ及び通常の定型データを標準化させ、前記標準化された時系列定型データ及び通常の定型データに対して実測の時空間座標平面上の値により誤り訂正を行い、前記誤り訂正の行われた時系列定型データ及び通常の定型データを時空間座標上の全ての点に関するデータに拡張して生成する。
【００１６】
更に、好ましくは、前記ステップ（ｄ）は、既に構築された前提条件モデルの内から前記抽出知識候補の有効性の判断のための前提条件モデルを決定するステップと、前記決定された前提条件モデルを用いて、前記抽出知識候補の有効性を判断し、有効ではない抽出知識候補を除去するステップと、を含む。
【００１７】
更にまた、好ましくは、前記前提条件モデルは、時空間連携定型データ及び過去履歴情報を用いた機械学習方法を活用して生成する。
【発明の効果】
【００１８】
本発明によれば、実際に発生する現象を示す時間情報若しくは空間情報を用いて、テキスト情報の抽出結果を検証することができる。
また、不適切に用いられるテキストやソーシャルデータを除去し、実際の状況に合う事象のみを抽出することができる。
一方、本発明の効果は、上述した効果に何ら限定されるものではなく、後述する内容から通常の技術者にとって自明な範囲内において種々の効果が含まれる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態による非定型テキストの抽出性能の向上のためのシステムを説明するためのブロック図である。
【図２】図１に示す非定型データ処理部の構成を具体的に示すブロック図である。
【図３】図１に示すフィルタ部の構成を具体的に示すブロック図である。
【図４】図１に示す定型データ処理部の構成を具体的に示すブロック図である。
【図５】本発明の実施形態による非定型テキストの抽出性能の向上のための方法を説明するためのフロー図である。
【図６】本発明の実施形態による時空間連携定型データを生成する方法を説明するためのフロー図である。
【発明を実施するための形態】
【００２０】
以下、添付図面に基づき、本発明による「非定型テキストの抽出性能の向上のためのシステム及び方法」について、その実施形態を詳細に説明する。説明する実施形態は、本発明の技術思想を当業者が理解し易いように提供されるものであり、これらにより本発明が限定されることはない。
なお、添付図面に示す事項は、本発明の実施形態をより容易に説明するために図式化されたものであるため、実際に実現される形態とは異なる。
【００２１】
一方、後述する各構成部は、単にハードウェア又はソフトウェアの構成のみにより実現されるが、同じ機能を行う様々なハードウェア及びソフトウェアの構成の組み合わせにより実現されてもよい。なお、一つのハードウェア又はソフトウェアにより２以上の構成部が一緒に実現されることもある。
また、ある構成要素を「備える」という表現は、「開放型」の表現であり、当該構成要素が存在することを単に指し示すだけであり、さらなる構成要素を排除するものと理解されてはならない。
【００２２】
図１は、本発明の実施形態による非定型テキストの抽出性能の向上のためのシステム１００を説明するためのブロック図であり、図２は、図１に示す非定型データ処理部１１０の構成を具体的に示すブロック図であり、図３は、図１に示すフィルタ部１２０の構成を具体的に示すブロック図であり、図４は、図１に示す定型データ処理部１４０の構成を具体的に示すブロック図である。
【００２３】
図１を参照すると、非定型テキストの抽出性能の向上のためのシステム１００は、非定型データ処理部１１０及びフィルタ部１２０を備える。
非定型データ処理部１１０は、非定型データを収集し、収集された非定型データに対して言語解析を行って、事象が発生した時間情報若しくは空間情報を取り出し、事象キーワードに時間情報若しくは空間情報をマッピングさせて抽出知識候補を生成する。
このとき、非定型データ処理部１１０は、非定型データ及びその非定型データの収集状況データを収集する。この場合、非定型データ処理部１１０は、非定型データが収集された収集状況メタデータを考慮して、前記取り出された時間情報若しくは空間情報を具体化させ、事象キーワードに前記具体化された時間情報若しくは空間情報をマッピングさせて抽出知識候補を生成する。
【００２４】
図２は、非定型データ処理部１１０の構成の詳細を示すブロック図である。
非定型データ処理部１１０は、収集モジュール１１１と、抽出モジュール１１２と、時間情報解析モジュール１１３と、空間情報解析モジュール１１４及び連携モジュール１１５を備える。
収集モジュール１１１は、非定型テキスト又は非定型データとその非定型データの収集状況メタデータを収集する。
すなわち、収集モジュール１１１は、様々な情報源からテキスト形式の文書データを非定型テキストとして収集する。このとき、収集モジュール１１１は、様々な情報源（例えば、ニュース、ブログ、ツイータ及びフェースブック（登録商標））などのソーシャルネットワーキングサービス（ＳＮＳ：Ｓｏｃｉａｌ  Ｎｅｔｗｏｒｋｉｎｇ  Ｓｅｒｖｉｃｅ）などをはじめとするソーシャルウェブメディアから非定型テキストを収集する。
また、収集モジュール１１１は、情報源に非定型テキストが掲示された時間、位置情報などをはじめとする収集状況メタデータを収集する。
【００２５】
抽出モジュール１１２は、収集モジュール１１１において収集された非定型テキストの言語解析を行って、事象キーワード及び事象が発生した時間情報若しくは空間情報を取り出す。
抽出モジュール１１２は、形態解析（Ｍｏｒｐｈｏｌｏｇｙ  Ａｎａｌｙｓｉｓ）及び固有表現抽出（ＮＥＲ：Ｎａｍｅｄ  Ｅｎｔｉｔｙ  Ｒｅｃｏｇｎｉｔｉｏｎ）のうちの少なくとも一方を行って文書データの言語解析（Ｌｉｎｇｕｉｓｔｉｃ  Ａｎａｌｙｓｉｓ）を行う。このとき、抽出モジュール１１２は、形態解析及び固有表現抽出を行う前に、誤記、分別書法の誤り、同義語処理などの前処理を行う。
【００２６】
しかる後、抽出モジュール１１２は、言語解析の行われた文書データから事象キーワードを取り出す。事象キーワードは名詞であり、抽出モジュール１１２は、形態解析及び固有表現抽出の結果を用いて、文章から事象キーワードを取り出す。
このとき、事象キーワードとしては、自然災害（例えば、地震、山火事など）、疾病（例えば、口蹄疫、新種フルなど）、事件／事故（例えば、飛行機の墜落など）などが挙げられる。
なお、事象キーワードは、文書データ及び文章における事象の主体（主語）又は客体に事件又は事故が発生した場合になる。
【００２７】
抽出モジュール１１２は、事象キーワードが取り出されると、事象文章から事象時間情報を取り出す。例えば、抽出モジュール１１２は、言語解析の行われた文書データから日付けを示す語彙を認識して事象時間情報を取り出す。
具体的に、抽出モジュール１１２は、言語解析の行われた文章から＜ＤＴ＿ＤＡＹ＞、＜ＤＴ＿ＯＴＨＥＲＳ＞、＜ＴＩ＿ＤＵＲＡＴＩＯＮ＞などの時間固有表現がタグ付けされた語彙（例えば、０月０日、００日、明々後日、明後日）、すなわち、年、月、日、時、期間など日付けや期間を表わす語彙を認識して事象時間情報を取り出す。
このために、日付け及び時間を示す語彙情報（タグ付け情報）は、予め格納されている。
【００２８】
抽出モジュール１１２は、事象文章から事象時間情報が取り出されると、取り出された事象時間情報の正規化を行う。例えば、抽出モジュール１１２は、取り出された事象時間情報である２０１０年１１月３０日を２０１０−１１−３０などの形式に正規化させる。ここで、正規化の形式は、予め設定されており、ＹＹＹＹ−ＭＭ−ＤＤ、ＹＹ−ＭＭ−ＤＤ及びＭＭ−ＤＤ−ＹＹなどの様々な形式のうちの一つに既に設定されている。
また、抽出モジュール１１２は、事象キーワードが取り出されると、事象文章から事象位置情報を取り出す。
具体的に、抽出モジュール１１２は、言語解析の行われた文書データから地域を示す語彙を認識して事象位置情報を取り出す。例えば、抽出モジュール１１２は、言語解析の行われた事象文章から＜ＬＣＰ＿ＰＲＯＶＩＮＣＥ＞、＜ＬＣＰ＿ＣＩＴＹ＞、＜ＬＣＰ＿ＣＯＵＮＴＹ＞など場所に関わる固有表現語彙を対象として、主として道、市／郡、洞／面／邑、里の地域名称を有する語彙を認識して事象位置情報を取り出す。このために、地域及び位置を示す情報（地域語彙情報）は、予め格納されている。
【００２９】
抽出モジュール１１２は、事象文章から事象位置情報が取り出されると、取り出された事象位置情報の正規化を行う。例えば、抽出モジュール１１２は、取り出された事象位置情報であるソウル／江南区／大峙洞を、地域コード又はＧＰＳ座標のうちの少なくとも一方の形式に正規化させる。
このとき、地域コードは、道／市／面の区分により割り当てられた数字の組み合わせであり、ＧＰＳ座標は、Ｘ、Ｙ形態の絶対的な座標である。この地域コード及びＧＰＳ座標に関する情報は、既に格納されて事象位置情報の正規化が行われるときに用いられる。
【００３０】
時間情報解析モジュール１１３は、収集モジュール１１１により収集された収集状況メタデータに含まれている時間情報を用いて、抽出モジュール１１２により取り出された時間情報を絶対的な時間情報に変換する。
すなわち、抽出モジュール１１２により取り出された事象時間情報だけでは時間が不明である虞があるが、これを解消するために、時間情報解析モジュール１１３は、当該文書データが掲示された時間メタ情報を用いて、事象が発生した時間情報を絶対的な時間情報に変換する。
例えば、事象文章において日付けを示す語彙は３０日であるが、何年度の何月の３０日であるかは不明である。このとき、時間情報解析モジュール１１３は、事象文章が含まれている文書データがメディアに掲示された日付け情報（記事の報道日）である２０１６年１月５日を考慮して、事象文章において意味する３０日は２０１６年１月３０日であることを類推して、事象時間情報を絶対的な時間情報に変換する。
【００３１】
空間情報解析モジュール１１４は、収集状況メタデータに含まれている空間メタ情報を用いて、抽出モジュール１１２により取り出された位置情報を具体化させる。すなわち、抽出モジュール１１２により取り出された位置情報だけでは、事象が発生した位置が不明である虞があるが、これを解消するために、空間情報解析モジュール１１４は、当該文書データが掲示された空間メタ情報を用いて、事象が発生した位置情報を具体化させる。
【００３２】
連携モジュール１１５は、抽出モジュール１１２により取り出された事象キーワードに時間情報解析モジュール１１３から得られた絶対的な時間情報若しくは空間情報解析モジュール１１４において具体化された位置情報をマッピングさせて抽出知識候補を生成する。
【００３３】
フィルタ部１２０は、時空間連携定型データを用いて、非定型データ処理部１１０において生成された抽出知識候補の有効性を判断し、その判断結果に基づいて抽出知識をフィルタリングしてデータベース１３０に格納する。すなわち、フィルタ部１２０は、時空間連携定型データを用いて、非定型データから取り出された抽出知識候補の妥当性を検証し、妥当ではない抽出知識候補を除去する。
【００３４】
図３は、フィルタ部１２０の構成の詳細を示すブロック図である。
フィルタ部１２０は、非定型データ処理部１１０において生成された抽出知識候補に合う前提条件モデルを用いて、抽出知識候補の有効性を判断するフィルタモジュール１２２を備える。ここで、前提条件モデルは、抽出知識候補の妥当性を検証するために、時空間連携定型データ及び過去履歴情報に基づいて学習されたモデルである。
このために、フィルタ部１２０は、前提条件モデルを学習する条件モデル学習モジュール１２１を更に備える。
【００３５】
条件モデル学習モジュール１２１は、時空間連携定型データ及び過去履歴情報を用いて、前提条件モデルを学習する。このとき、条件モデル学習モジュール１２１は、専門家の知識を活用して前提条件モデルを学習するか、或いは、過去履歴情報を用いた機械学習方法を活用して前提条件モデルを学習する。
「Ａ地域は地帯が低いため５０ｍｍの雨が降っても河川が溢れて洪水になる」及び「Ｂ地域は山岳地域であり、且つ、水源が無いため、どんなに雨が降っても洪水にならない」の場合を例として挙げると、前提条件モデルを学習する方法について以下に説明する。
【００３６】
まず、専門家の知識を活用する場合について説明する。
この場合、条件モデル学習モジュール１２１は、専門家の知識をそのまま規則として生成する。すなわち、定型データにおいて地形情報及び降水量情報を活用すると、「Ａ地域は５０ｍｍ以上であるときに洪水になる」を前提条件として設定することができる。
【００３７】
次いで、過去履歴情報を用いた機械学習方法を活用する場合について説明する。
この場合、条件モデル学習モジュール１２１は、機械学習を用いて時空間連携定型データ及び過去履歴情報を地域別に学習し、その学習された結果を活用して前提条件を決定する。
Ａ地域特性情報は、「海抜５０ｍ、貯水池からの平均距離１ｋｍ以内、幅１０ｍ以上の河川との距離３００ｍ内外」、Ｂ地域の特性情報は、「海抜８００ｍ、近くの１０ｋｍ以内に水源なし、幅５ｍ以上の河川なし」に設定されており、Ａ地域の過去履歴情報は、「５０〜１００ｍｍの降雨量で三日間雨が降ったときに二日目から洪水、１５０ｍｍの降雨量で１時間雨が降ったときに洪水」として説明する。
この場合、条件モデル学習モジュール１２１は、時系列定型情報（１分当たりの降水量の推移、河川の水位の変化など）及び位置特性情報（各位置別の幅５ｍ以上の河川との距離、水量１ｔ以上の貯水池との距離など）を定型情報として入力し、決定木などの規則を学習する方法を用いて前提条件を決定する。
【００３８】
このような条件モデル学習モジュール１２１は、個体前提条件モデル及び事象前提条件モデルを学習する。
個体前提条件モデルとは、対象となる個体の種類及び要請される特性に応じて、単語それ自体が有する意味を特定の意味に限定するのに活用されるモデルのことをいう。個体は、人間、地名、組織名などの具体的な対象を指し示す。
【００３９】
例えば、「山崩れが発生した牛眠山だけではなく、近くの九龍山、清溪山などの整備も至急求められる」という文章があるとき、従来のテキスト処理には、「牛眠山」、「九龍山」、「清溪山」が取り出されると正解であり、その処理が終わるが、実際に整備が至急求められるところを探すためにはその物理的な位置が必要である。牛眠山は１個所であるが、清溪山は全国に４個所、九龍山は６個所存在する。
このとき、文章には、「近くの」という地域に関わる情報が含まれているため、距離からみて、牛眠山、九龍山、清溪山の３つが近くに存在しなければならない。専門家の知識からみて、前提条件が＜近く、近所などが山という対象に対しては半径１０ｋｍ内外＞と定義されていると、これにより、清溪山、九龍山はいずれもソウル特別市瑞草区の近くに存在する山に決定される。
このように、個体前提条件モデルは、対象となる個体の種類及び要請される特性に応じて単語それ自体が有する意味を特定の意味に限定する上で活用されるモデルである。
【００４０】
事象前提条件モデルは、関連する情報を活用して特別の事象状況を把握するモデルである。
特定の事象、例えば、「洪水」という状況があれば、洪水が発生するための最小限の条件、例えば、降雨量１００ｍｍ以上、江の水位ｘｘｍなどの内容を定型データから把握して、「大田の実家に洪水が発生したよ」としたとき、「洪水」は、「大田」という状況からみたとき、「大田」に「洪水」が発生したわけではなく、個人的な事象であることが推測される。
このように関連する情報を活用して特別の事象状況を把握するモデルが事象前提条件モデルである。
このように、フィルタ部１２０は、過去に観測されてまとめられた情報を学習データとして用いて、抽出知識候補の対象である個体及び事象の前提条件モデルを、機械学習方法を用いて学習し、学習されたモデルを用いて不適切な抽出知識候補を除去する。
【００４１】
このような構成を有する非定型テキストの抽出性能の向上のためのシステム１００は、時空間連携定型データを生成するための定型データ処理部１４０を更に備える。
定型データ処理部１４０は、定型データを収集し、収集された定型データを標準化させて時空間連携定型データを生成する。
【００４２】
図４は、定型データ処理部１４０の構成の詳細を示すブロック図である。定型データ処理部１４０は、収集モジュール１４１と、フィルタモジュール１４２と、推定モジュール１４３と、拡張モジュール１４４及び格納モジュール１４５を備える。
収集モジュール１４１は、時系列定型データ及び通常の定型データを収集する。ここで、時系列定型データは、経時的に変化する数値データであり、例えば、降雨量、風速、流動人工数などが挙げられる。時系列定型データは、経時的に変化するため、収集モジュール１４１は、一定の時間間隔をおいて時系列定型データを収集する。
【００４３】
通常の定型データは、頻繁に変動されない数値データであり、例えば、建物の位置、道路の経路などが挙げられる。収集モジュール１４１は、既に設定された一定の周期にて通常の定型データの変動有無を検査し、変動があるときに更新のために収集する。
収集モジュール１４１は、社会／公共機関（例えば、気象庁、保健福祉部など）の公開されたデータベース（気象ＤＢ、疾病関係のＤＢ、自然災害ＤＢ）から定型データを収集する。
【００４４】
フィルタモジュール１４２は、時系列定型データ及び通常の定型データを標準化させる。
すなわち、フィルタモジュール１４２は、時系列定型データ及び通常の定型データの日正常的な部分を除去し、様々な単位及び基準を標準化させる。例えば、時系列定型データにおける特定の値が非正常的に高い場合、フィルタモジュール１４２は、その特定の値を除去する。
【００４５】
推定モジュール１４３は、フィルタモジュール１４２において標準化された時系列定型データ及び通常の定型データに対して、実測の時空間座標平面上の値により誤り訂正を行う。
すなわち、フィルタモジュール１４２において標準化された時系列定型データ及び通常の定型データが既に定義された標準座標と一致しなければ、一致しないデータに対する時空間座標平面上の値を推定して誤り訂正を行う。
【００４６】
拡張モジュール１４４は、推定モジュール１４３において誤り訂正の行われた時系列定型データ及び通常の定型データを時空間座標上の全ての点に関するデータに拡張する。
時系列定型データ及び通常の定型データは、全ての位置及び全ての時間に対して所要の情報を全て提供することはできないため、拡張モジュール１４４は、非定型データから取り出された抽出知識候補と連携させるために時空間座標上の全ての点に関するデータに拡張する。
【００４７】
格納モジュール１４５は、拡張モジュール１４４において時空間に拡張された時空間連携定型データを分散並列格納する。
一方、非定型データ処理部１１０と、フィルタ部１２０及び定型データ処理部１４０のそれぞれは、コンピューティング装置上においてプログラムを起動するために必要なプロセッサなどによりそれぞれ実現される。
このように、非定型データ処理部１１０と、フィルタ部１２０及び定型データ処理部１４０は、物理的に独立しているそれぞれの構成により実現され、一つのプロセッサ内において機能的に区別されるように実現される。
【００４８】
図５は、本発明の実施形態による非定型テキストの抽出性能の向上のための方法を説明するためのフロー図である。
図５を参照すると、システムは、情報源から非定型テキスト及び収集状況メタデータを収集する（Ｓ５０２）。
システムは、収集された非定型データの言語解析を行って（Ｓ５０４）、事象キーワード及び事象が発生した時間情報若しくは空間情報を取り出す（Ｓ５０６）。すなわち、システムは、形態解析及び固有表現抽出を行って文書データの言語解析を行い、言語解析の行われた文書データから事象キーワード及び事象が発生した時間情報若しくは空間情報を取り出す。
【００４９】
しかる後、システムは、非定型データが収集された収集状況メタデータを考慮して、取り出された時間情報若しくは空間情報を具体化させる（Ｓ５０８）。すなわち、システムは、言語解析の行われた文書データから取り出された時間情報の不明瞭さを解消するために、収集状況メタデータに含まれている時間メタ情報を用いて、取り出された時間情報を絶対的な時間情報に変換する。
なお、システムは、言語解析の行われた文書データから取り出された空間情報の不明瞭さを解消するために、収集状況メタデータに含まれている空間メタ情報を用いて取り出された空間情報を具体化させる。
【００５０】
次いで、システムは、事象キーワードに前記具体化された時間情報若しくは空間情報をマッピングさせて抽出知識候補を生成する（Ｓ５１０）。
しかる後、システムは、時空間連携定型データを用いて、抽出知識候補の有効性を判断し（Ｓ５１２）、その判断結果に基づいて、抽出知識をフィルタリングする（Ｓ５１４）。
【００５１】
図６は、本発明の実施形態による時空間連携定型データを生成する方法を説明するためのフロー図である。
図６を参照すると、システムは、時系列定型データ及び通常の定型データを収集する（Ｓ６０２）。すなわち、システムは、経時的に変化する時系列定型データ及び頻繁に変動しない通常の定型データを既に定義されたデータベースから収集する。
しかる後、システムは、時系列定型データ及び通常の定型データを標準化させ（Ｓ６０４）、標準化された時系列定型データ及び通常の定型データが既に定義された標準座標と一致しなければ、実測の時空間座標平面上の値により誤り訂正を行う（Ｓ６０６）。
その後、システムは、誤り訂正の行われた時系列定型データ及び通常の定型データを時空間座標上の全ての点に関するデータに拡張し（Ｓ６０８）、時空間に拡張された時空間連携定型データを分散並列格納する（Ｓ６１０）。
【００５２】
このような非定型テキストの抽出性能の向上のための方法は、プログラムとして作成可能であり、プログラムを構成するコード及びコードセグメントは、当該分野におけるプログラマにより容易に推論される。
なお、非定型テキストの抽出性能の向上のための方法に関するプログラムは、電子装置により読み取り可能な情報記録媒体に格納され、電子装置により読み込まれて起動される。
【００５３】
本明細書において記述した技術的な特徴及びこれを実行する実現物は、デジタル電子回路により実現されるか、本明細書において記述する構造及びその構造的な等価物などを含むコンピュータソフトウェア、ファームウェア又はハードウェアにより実現されるか、或いは、これらのうちの一つ以上の組み合わせにより実現される。
なお、本明細書において記述した技術的な特徴を実行する実現物は、コンピュータプログラム製品、換言すると、処理システムの動作を制御するために、又はこれによる実行のために有形のプログラム格納媒体上に符号化されたコンピュータプログラム指令語に関するモジュールとして実現される。
【００５４】
コンピュータにて読み取り可能な媒体は、機械にて読み取り可能な格納装置、機械にて読み取り可能な格納基板、メモリ装置、機械にて読み取り可能な電波型信号に影響を及ぼす物質の組成物又はこれらのうちのいずれか一つ以上の組み合わせである。
また、本明細書において記述した「コンピュータにて読み取り可能な媒体」は、プログラムの起動のために指令語をプロセッサに提供するのに寄与するあらゆる記録媒体を網羅する。具体的に、データ格納装置、光ディスク、磁気ディスクなど不揮発性媒体、動的メモリなどの揮発性媒体及びデータを転送する同軸ケーブル、銅ワイヤ、光ファイバなどの転送媒体が挙げられるが、これらに限定されない。
【００５５】
このように、本発明が属する技術分野において通常の知識を有する者であれば、本発明がその技術的な思想や必須的な特徴を変更することなく他の具体的な実施形態により実施可能であるということが認知できる筈である。なお、添付のフロー図は、本発明を実施するに当たって例示する手順に過ぎず、他の追加的なステップが提供されてもよく、或いは、一部のステップが削除されてもよいということはいうまでもない。
よって、上述した実施形態は単なる例示的なものに過ぎず、その範囲を制限しておいた限定的なものではないと理解されるべきである。
【符号の説明】
【００５６】
１００：非定型テキストの抽出性能の向上のためのシステム
１１０：非定型データ処理部
１１１：収集モジュール
１１２：抽出モジュール
１１３：時間情報解析モジュール
１１４：空間情報解析モジュール
１１５：連携モジュール
１２０：フィルタ部
１２１：条件モデル学習モジュール
１２２：フィルタモジュール
１３０：データベース
１４０：定型データ処理部
１４１：収集モジュール
１４２：フィルタモジュール
１４３：推定モジュール
１４４：拡張モジュール
１４５：格納モジュール
【図１】
0006300889.tif 000002
【図２】
0006300889.tif 000003
【図３】
0006300889.tif 000004
【図４】
0006300889.tif 000005
【図５】
0006300889.tif 000006
【図６】
0006300889.tif 000007