(57)【要約】  自然言語文書を含む文書のデジタル表現から、人間の管理人による見直しのためのデータを抽出するための自動情報抽出装置であって、自動情報抽出装置は、自動情報抽出装置が人間の管理人による見直しのための異なるデータを抽出するように動作可能な、複数の選択可能な動作モードを有する。異なる動作モードにおいて、情報抽出装置は、再現率と精度とのバランスを変えてデータを抽出し得る。
2011501258.tif 000002
【特許請求の範囲】
【請求項１】
自然言語文書を含む文書のデジタル表現から、人間の管理人による見直しのためのデータを抽出するための自動情報抽出装置であって、
前記自動情報抽出装置は、前記自動情報抽出装置が人間の管理人による見直しのための異なるデータを抽出するように動作可能な、複数の選択可能な動作モードを有する、自動情報抽出装置。
【請求項２】
前記複数の選択可能な動作モードのうち少なくとも２つにおいて、前記自動情報抽出装置は、精度と再現率とのバランスを変えてデータを抽出するように動作可能である、請求項１に記載の自動情報抽出装置。
【請求項３】
前記自動情報抽出装置は、見直すための異なるデータが抽出されるように動作可能な複数の代替情報抽出モジュールを備える、請求項１または２に記載の自動情報抽出装置。
【請求項４】
代替情報抽出モジュールは、同じコンピュータプログラムモジュールを備えるが、前記コンピュータプログラムモジュールの機能性を特定する異なるパラメータデータを備える、請求項３に記載の自動情報抽出装置。
【請求項５】
前記代替情報抽出モジュールは、固有表現認識モジュールである、請求項３または４に記載の自動情報抽出装置。
【請求項６】
代替固有表現認識モジュールは、固有表現認識アルゴリズムを実現する同じソフトウェアモジュール、および前記固有表現認識アルゴリズムの機能を決定する異なるパラメータデータを備える、請求項５に記載の自動情報抽出装置。
【請求項７】
前記自動情報抽出装置は、文書のデジタル表現におけるエンティティの個別のインスタンスを識別するように動作可能である、いずれか１つの先行する請求項に記載の自動情報抽出装置。
【請求項８】
前記自動情報抽出装置は、エンティティとして識別される文字列の各個別インスタンスは文書の同じデジタル表現内で同じエンティティとして一貫して識別されることを確実なものにするように動作可能である、請求項７に記載の自動情報抽出装置。
【請求項９】
前記自動情報抽出装置は、特定の種類のエンティティとして識別される文字列の各個別インスタンスは文書の同じデジタル表現内でそれぞれ同じ種類のエンティティとして一貫して識別されることを確実なものにするように動作可能である、請求項７または８に記載の自動情報抽出装置。
【請求項１０】
異なるアルゴリズムを適用して、２つの異なる情報抽出モードにおいて文書内で同一文字列によって表現されるエンティティに関するデータの一貫した抽出を強制するように動作可能である、いずれか１つの先行する請求項に記載の自動情報抽出装置。
【請求項１１】
前記自動情報抽出装置は、文書の特定のデジタル表現から抽出されたデータを見直す人間の管理人に関するデータ、または文書の特定のデジタル表現から抽出されたデータを見直す人間の管理人に関連付けられた好みを受けるように、かつ文書の当該特定のデジタル表現からデータを抽出するために複数の前記動作モードの中から動作モードを選択するように動作可能である、いずれか１つの先行する請求項に記載の自動情報抽出装置。
【請求項１２】
いずれか１つの先行する請求項に記載の自動情報抽出装置と、見直しおよび場合によっては修正のために人間の管理人に抽出データを提示するように動作可能なキュレーションコンピュータ−ユーザインターフェイスとを備える、情報抽出およびキュレーション装置。
【請求項１３】
特定の人間の管理人による後の情報抽出に動作モードを割当てるために１人以上の人間の管理人と前記キュレーションコンピュータ−ユーザインターフェイスとの相互作用を分析するように、または後の情報抽出のための情報抽出モードを変更するように、または情報抽出モードの性能を測定するように動作可能である、請求項１２に記載の情報抽出およびキュレーション装置。
【請求項１４】
管理人のスピードに関する１つ以上の測定基準を測定するように動作可能である、請求項１２または１３に記載の情報抽出およびキュレーション装置。
【請求項１５】
前記キュレーションコンピュータ−ユーザインターフェイスは、識別されたエンティティおよび／または関係が文書の表示デジタル表現においてハイライトされた状態で、文書の前記デジタル表現をユーザに表示するように動作可能である、請求項１２から１４のいずれか１つに記載の情報抽出およびキュレーション装置。
【請求項１６】
自然言語文書を含む文書のデジタル表現から、人間の管理人による見直しのためのデータを抽出する方法であって、
請求項１から１１のいずれか１つに係る自動情報抽出装置ならびに請求項１２から１５のいずれか１つに係る情報抽出およびキュレーション装置を提供するステップと、
複数の前記動作モードの中から動作モードを選択するステップと、
選択された前記動作モードで前記自動情報抽出装置を機能させて、人間の管理人による見直しのためのデータを抽出するステップとを備える方法。
【請求項１７】
前記動作モードは、抽出された前記データを見直すことになる、人間の管理人のグループ内の前記人間の管理人に依存して選択される、請求項１６に記載のデータを抽出する方法。
【請求項１８】
複数の動作モードで情報抽出を実行して、複数の人間の管理人による見直しのためのデータを抽出するステップを備える、請求項１７に記載のデータを抽出する方法。
【請求項１９】
文書のデジタル表現の特定的なバッチからデータを抽出するために採用すべき情報抽出モードに関する指示を受けるステップと、
その後、特定的な情報抽出モジュールを用いて文書のデジタル表現の特定された前記バッチからデータを抽出するステップとを備える、請求項１６から１８のいずれか１つに記載のデータを抽出する方法。
【請求項２０】
自然言語文書を含む文書のデジタル表現から、人間の管理人による見直しのためのデータを抽出するように動作可能な自動情報抽出装置を最適化する方法であって、
（ｉ）  情報抽出モジュールを用いて、自然言語文書を含む文書の少なくとも１つのデジタル表現からデータを抽出するステップと、
（ii）  抽出された前記データを見直しのために人間の管理人に提示し、かつ前記人間の管理人とコンピュータ−ユーザインターフェイスとの相互作用を分析するコンピュータ−ユーザインターフェイスを提供するステップと、
（iii）  前記情報抽出モジュールおよびコンピュータ−ユーザインターフェイスを用いて抽出データを見直す前記人間の管理人の後の作業の改良を容易にするために、分析された前記相互作用に応じて前記情報抽出モジュールを変更するステップとを備える、方法。
【請求項２１】
前記人間の管理人と前記コンピュータ−ユーザインターフェイスとの前記相互作用の分析は、管理人のスピードに関する１つ以上の測定基準を測定するステップを備える、請求項２０に記載の方法。
【請求項２２】
前記人間の管理人と前記コンピュータ−ユーザインターフェイスとの前記相互作用の分析は、抽出されたデータを発見、編集または確認するように動作可能なサーチエンジンを用いて、管理人によってなされたサーチの数に関する測定基準を測定するステップを備える、請求項２０または２１に記載の方法。
【請求項２３】
前記情報抽出モジュールは、文書のデジタル表現内のエンティティおよび／または関係を識別するように動作可能であり、前記コンピュータ−ユーザインターフェイスは、識別されたエンティティおよび／または関係が文書内にハイライトされた状態で前記文書のデジタル表現の少なくとも一部を表示するように動作可能である、請求項２０から２２のいずれか１つに記載の方法。
【請求項２４】
前記情報抽出モジュールに対する変更は、前記情報抽出モジュールの精度と再現率とのバランスを変える最適化などの変更を含む、請求項２０から２３のいずれか１つに記載の方法。
【請求項２５】
演算装置上で実行されると、前記演算装置を請求項１から１１のいずれか１つに記載の自動情報抽出装置もしくは請求項１２から１５のいずれか１つに記載の情報抽出およびキュレーション装置のように機能させるか、または前記演算装置に請求項１７から２４のいずれか１つに記載の方法を実行させる、コンピュータプログラム指示を格納するコンピュータ読取可能担体。
【発明の詳細な説明】
【技術分野】
【０００１】
発明の分野
本発明は情報抽出に関する。特に、本発明は、見直しのために人間の管理人に提示するために、自然言語文書を含むか自然言語文書からなる文書のデジタル表現から情報を自動的に抽出するための装置および方法に関する。
【背景技術】
【０００２】
発明の背景
データベースに包含する記録を準備する際の人間の労力を減らすために情報抽出手順を用いることが提案されてきた。たとえば、同時係属中の国際特許出願番号ＰＣＴ／ＧＢ２００７／００１１７０は、自然言語文書を含む文書のデジタル表現において、エンティティおよびエンティティ同士の関係に関する注釈データの形式の自動的に抽出されたデータの人間の管理人による見直しを容易にするコンピュータ−ユーザインターフェイスを利用する、情報抽出手順を開示している。文書のデジタル表現は、自動的に識別されたエンティティおよび関係の個別のインスタンスが文書内のそれぞれの場所でハイライトされた状態でユーザに表示される。注釈データは管理人によって編集され得るか、または選択された注釈データを用いて、管理人による見直しおよび編集のために仮の記録内の欄に予め投入され得る。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
自動化された情報抽出方法を用いて、見直しのために人間の管理人に提示される仮データを抽出することによって、自然言語文書を含む文書に関する情報のデータベースを作成する処理が迅速化することがわかっている。しかし、これまでの研究によると、従来の情報抽出手順は変更を加えなくともこのタスクに好適であり、人間の管理人は同じように情報に反応すると想定されている。本発明は、自然言語文書から得られる情報に関するデータベースの準備を容易にするために、改良された情報抽出手順を提供することを目的とする。
【０００４】
説明のため、本発明は、生物医学化学文献を分析する分野から取った例を用いてさらに説明される。しかし、本発明は、自然言語文書を含む如何なる他の種類の文書の分析にも適用可能である。
【課題を解決するための手段】
【０００５】
発明の要約
本発明の第１の局面によると、自然言語文書を含む文書のデジタル表現から、人間の管理人による見直しのためのデータを抽出するための自動情報抽出装置が提供され、自動情報抽出装置は、自動情報抽出装置が人間の管理人による見直しのための異なるデータを抽出するように動作可能な、複数の選択可能な動作モードを有する。
【０００６】
驚くべきことに、異なる人間の管理人は、抽出され、かつ見直しのために自身に提示されるデータに関する好みが異なり、かつ／または選択されたデータが異なると、より優れた作業を行う。
【０００７】
好ましくは、複数の選択可能な動作モードのうち少なくとも２つにおいて、自動情報抽出装置は、精度と再現率とのバランスを変えてデータを抽出する。我々の提案では、管理人の中には、精度よりも再現率を優先する情報抽出手順による抽出データを見直すことをより好む、および／またはその時により優れた作業を行う者もあれば、再現率よりも精度を優先する情報抽出手順によるデータを見直すことをより好む、および／またはその時により優れた作業を行う者もある。
【０００８】
この違いは、自動情報抽出装置が、文書の分析されたデジタル表現内で言及されたエンティティおよび／または関係のインスタンスを識別し、管理人が、識別されたエンティティおよび／または関係が文書内のそれぞれの場所でハイライトされた文書のデジタル表現を表示するコンピュータ−ユーザインターフェイスを用いてエンティティおよび／または関係の識別されたインスタンスに関するデータを見直す際に、特に当てはまる。再現率よりも精度を優先する情報抽出手順を用いると、精度よりも再現率を優先する情報抽出手順よりも、エンティティおよび／または関係の誤ったインスタンスがハイライトされることが少なくなるが、識別されるべきであったエンティティおよび／または関係のインスタンスが省略されてしまう。
【０００９】
これは、異なる管理人の異なる読むスタイルに起因し得る。たとえば、文書をざっと読む管理人は、管理人が除去または無視しなければならないエラーが発生するとしても、精度よりも再現率を優先する情報抽出をより好み得る。たとえば、文書を丹念に読む管理人は、正確な情報抽出によって自身による抽出データの見直しが迅速化されるため、再現率よりも精度を優先する情報抽出をより好み得る。この好みの違いは、識別されたエンティティおよび／または関係が文書のデジタル表現の提示される部分全体にわたってハイライトされた状態で、文書のデジタル表現の少なくとも実質的な部分、典型的にすべてがユーザに提示される、たとえば１，０００語よりも多い比較的大きい文書のデジタル表現を分析する際に、より大きくなり得る。
【００１０】
「自動情報抽出装置が見直しための異なるデータを抽出するように動作可能な選択可能な動作モード」とは、自然言語文書を含む文書のデジタル表現の大きなコーパスからデータの異なる組合せが抽出される選択可能な動作モードを意味するが、自動情報抽出装置は場合によっては、２つ以上の動作モードにおいて、文書の特定のデジタル表現から同じデータを、または文書のデジタル表現の特定のセクションを選択し得る。
【００１１】
「精度」とは、管理人の要求に関連する抽出データの割合を意味する。「再現率」とは、抽出される、管理人の要求に関連するデータの割合を意味する。「管理人の要求に関連する」とは、完全な管理人が見直しても修正しないデータを意味する。
【００１２】
本明細書および添付の請求項では、情報抽出手順は、Ｆ１点数を最大化するように最適化されていれば精度と再現率とのバランスが取れており、Ｆ１は、再現率と精度との調和平均であり、
Ｆ１＝２×精度×再現率／（精度＋再現率）
と定義される。
【００１３】
別の方法では、情報抽出手順は適宜、精度よりも再現率を優先するか、または再現率よりも精度を優先する。典型的に、情報抽出手順は、再現率または精度に対する予め定められた重み付けを持って機能するように最適化されるか、またはＦ１点数を最大化するように最適化され、その後、再現率もしくは精度を優先するように変更される。
【００１４】
しかし、情報抽出装置が異なる動作モードで異なるデータを抽出するように機能する方法において他の相違点があり得る。たとえば、情報抽出装置は、文書内で同一の文字列によって表現されるエンティティに関するデータの一貫した抽出を強制するための異なるアルゴリズムを含み得るか、または第１の動作モードでは文書内で同一の文字列によって表現されるエンティティに関するデータの一貫した抽出を強制するが第２の動作モードでは強制しない異なるアルゴリズムを含み得る。
【００１５】
複数の選択可能な動作モードを実現するために、自動情報抽出装置は、見直すための異なるデータが抽出されるように動作可能な複数の代替情報抽出モジュール、たとえば再現率と精度とのバランスを変えてデータを抽出するように動作可能な代替情報抽出モジュールを含み得る。代替情報抽出モジュールは、異なるコンピュータプログラムモジュールを含み得る。代替情報抽出モジュールは、同じコンピュータプログラムモジュールを含み得るが、コンピュータプログラムモジュールの機能性を特定する異なるデータセット（たとえば異なるパラメータデータ）を含み得る。
【００１６】
典型的に、自動情報抽出装置は、情報抽出手順における連続的な段階を実現する複数のソフトウェアモジュールを含む。この場合、代替情報抽出モジュールは、情報抽出手順における１つ以上の個別の段階を実行するための代替モジュールであり得、情報抽出手順の少なくともいくつかの段階が、複数の選択可能な動作モードにおいて同じソフトウェアモジュールによって実行される。
【００１７】
たとえば、代替情報抽出モジュールは、代替固有表現認識モジュールであり得る。好ましくは、代替情報抽出モジュールは、固有表現認識アルゴリズム（たとえば最大エントロピーマルコフモデル固有表現認識アルゴリズム）の機能を決定する異なるパラメータデータ（たとえば先行ファイル）を用いて固有表現認識アルゴリズムを実現する同じソフトウェアモジュールを含む。
【００１８】
たとえば、代替情報抽出モジュールは、Ｆ１点数用に最適化された第１の固有表現認識モジュールと、再現率よりも精度を優先するように最適化された第２の固有表現認識モジュールとを含み得る。
【００１９】
代替情報抽出モジュールは、情報抽出手順の１つよりも多い段階について提供され得、情報抽出手順の２つ以上の段階の各々について提供される代替情報抽出モジュールは、各々が、人間の管理人による見直しの異なるデータを抽出するように動作可能である。
【００２０】
しかし、代替情報抽出モジュールは、文境界検出、トークン化、チャンキング、品詞タグ付け、レマタイゼーション（lemmatisation）、用語識別または関係抽出モジュールなどの、情報抽出手順の他のステップを実行するように適合された代替モジュールであってもよい。
【００２１】
自動情報抽出装置は、１つ以上の特定的な種類のエンティティおよび／もしくは関係、または１つ以上の特定的なプロパティを有するエンティティおよび／もしくは関係についてのみ、複数の異なる動作モードの各々において、人間の管理人による見直しの異なるデータを抽出し得る。１つ以上の特定的な種類のエンティティおよび／もしくは関係、または１つ以上の特定的なプロパティを有するエンティティおよび／もしくは関係のインスタンスのみについて異なるように、用語識別などの情報抽出手順の１つ以上の段階を実行するように動作可能な代替情報抽出モジュールが提供され得る。たとえば、代替情報抽出モジュールは、いくつかの種類のエンティティおよび／または関係のみについて精度と再現率とのバランスを変えてエンティティおよび／または関係を識別する用語識別モジュールを含み得る。たとえば、精度と再現率とのバランスを変えて１つ以上の種類のエンティティ（たとえばタンパク質）を識別するが、精度と再現率とのバランスが等しいように１つ以上の種類のエンティティを識別する代替用語識別モジュールが提供され得る。代替の第１および第２の用語識別モジュールが提供され得、第１の用語識別モジュールは、精度と再現率との第１のバランスで第１の種類のエンティティおよび／または関係を識別し、かつ精度と再現率とのバランスが等しいように第２の種類のエンティティおよび／または関係を識別するように動作可能であり、第２の用語識別モジュールは、精度と再現率とのバランスを変えて第１および第２の種類のエンティティおよび／または関係を識別するように動作可能である。たとえば、第２の用語識別モジュールは、再現率よりも精度を優先するタンパク質と、精度よりも再現率を優先する組織とを識別し得る。
【００２２】
当業者であれば、固有表現認識モジュールなどの、情報抽出手順の１つ以上のステップを実行するためのモジュールは、モジュールに適切な異なる方法で精度と再現率とのバランスを変更するようにカスタム化され得ることを認識するであろう。たとえば、既存の学習逐次分類器を微調整することによって精度と再現率とのバランスを変える固有表現認識モジュールの修正は、E. Minkov et al.(Proceedings of the Human Language Technology Conference of the North American Chapter of the ACL, pages 93-96, New York, June 2006)に開示された。
【００２３】
管理人は、異なるグループの文書（たとえば、ある種類の書類、ある主題に関する文書、または特定的なサーチ基準に従って選択された文書のデジタル表現）ごとに異なる情報抽出モードで抽出されたデータを見直すと、より優れた作業を行い得る。したがって、情報抽出装置は、文書のデジタル表現の特定的なバッチからデータを抽出するために用いられる、複数の情報抽出モードの中から選択される情報抽出モードについての指示を受けるように動作可能であり得る。したがって、情報抽出モードは、特定的なトピックに関する文書のデジタル表現のバッチ、またはサーチ条件の特定的なセットに従って検索されたバッチなどの、文書のデジタル表現の特定のバッチについて選択される。
【００２４】
自動情報抽出装置は典型的に、文書のデジタル表現におけるエンティティの個別のインスタンスを識別するように動作可能であり、さらに、エンティティの識別された個別のインスタンスに関する付加的なデータ（プロパティなど）も抽出し得る。自動情報抽出装置は、エンティティとして識別されるか、または特定のカテゴリのエンティティ（たとえば生物医学文書の分析の場合はタンパク質や遺伝子など）として識別される文字列の各個別のインスタンスは文書の同じデジタル表現内で同じエンティティとして一貫して識別されることを確実なものにするように動作可能であり得る。我々は、管理人の中にはこれをより好むものがいることを見出した。識別されたエンティティが細胞内エンティティ（たとえばタンパク質、遺伝子および／または細胞小器官）である場合、同じ文字列を有するエンティティの各個別のインスタンスは、同じ種に関連するとして一貫して識別され得る。ある文字列の第１のインスタンスが特定のエンティティを表現しているとして識別され得、その後、文書のデジタル表現内の同じ文字列のすべてのその後のインスタンスが同じエンティティを表現しているとして自動的に識別され得る。代替的に、あるエンティティを文書のデジタル表現内の１つよりも多い場所で表現しているとして識別される各文字列について、情報抽出装置は、その文字が表現しているとして最も頻繁に識別されたエンティティを決定し、かつ文字列の各言及の識別を最も頻繁に識別されたエンティティに修正するように動作可能であり得る。
【００２５】
本明細書および添付の請求項中では、「文字列」という用語は、文字、数字および／または他の句読記号の列を含み、たとえば上付きまたは下付きの文字などの、１つよりも多いスタイルの文字、数字および／または他の句読記号を任意に含み得る。文字列は典型的に、ＡＳＣＩＩ、１５０６４６、またはＩＳＯ／ＩＥＣ  １０６４６（ユニコード）などの，広く認められた国際文字レパートリに従った文字を含む。２つの文字列が同一であるか否かを判断する際には、各文字列内の各文字のスタイルが同一であるか否かが考慮され得る（または考慮され得ない）。
【００２６】
自動情報抽出装置は、文書の特定のデジタル表現から抽出されたデータを見直す人間の管理人に関するデータ（識別子、または格納された好みもしくはオプションなど）を受け、かつ文書のその特定のデジタル表現からデータを抽出するために複数の動作モードの中から動作モードを選択するように動作可能であり得る。
【００２７】
本発明は第２の局面では、本発明の第１の局面に係る自動情報抽出装置と、見直しおよび場合によっては修正のために人間の管理人に抽出データを提示するように動作可能なキュレーションコンピュータ−ユーザインターフェイスとを含む、情報抽出およびキュレーション装置に及ぶ。
【００２８】
情報抽出およびキュレーション装置は、特定の人間の管理人による後の情報抽出に動作モードを割当てるために１人以上の人間の管理人とキュレーションコンピュータ−ユーザインターフェイスとの相互作用を分析するように、または後の情報抽出のための情報抽出モードを変更するように、または特定の動作モードにおける情報抽出装置の性能を測定するように動作可能であり得る。情報抽出およびキュレーション装置は、たとえば、抽出データの見直しおよび編集に必要なマウスクリックもしくはキーを押す回数、関連データを発見するために実行するサーチの数、データをキュレーションするのにかかる時間、またはデータのキュレーションの速度などの、管理人のスピードに関する１つ以上の測定基準を測定するように動作可能であり得る。測定基準は、エンティティを表現しているがエンティティとして認識されていない、または誤ったエンティティとして誤認された文書のデジタル表現内の文字列の識別子を突き止めるために、エンティティ（たとえば、タンパク質または遺伝子などの細胞内エンティティ）に関する情報のデータベースをサーチするように動作可能なサーチエンジンなどの、抽出データを見つけ、編集し、または確認するように動作可能なサーチエンジンを用いて管理人が実行するサーチの数に関連し得る。
【００２９】
キュレーションコンピュータ−ユーザインターフェイスは、識別されたエンティティおよび／または関係が文書の表示されたデジタル表現においてハイライトされた状態で、文書のデジタル表現をユーザに表示するように動作可能であり得る。この場合、異なる人間の管理人は、各自の読むスタイルに依存して精度と再現率とのバランスが異なる情報抽出モードで抽出されたデータを見直すことをより好み得る、またはその時により優れた作業を行い得る。
【００３０】
自動情報抽出装置、ならびに情報抽出およびキュレーション装置は典型的に、プログラムコードを実行する１つ以上のコンピュータの形式で実現される。
【００３１】
本発明の第３の局面によると、自然言語文書を含む文書のデジタル表現から、人間の管理人による見直しのためのデータを抽出する方法が提供され、この方法は、本発明の第１の局面に係る自動情報抽出装置または本発明の第２の局面に係る情報抽出およびキュレーション装置を提供するステップと、複数の動作モードの中から動作モードを選択するステップと、選択された動作モードで自動情報抽出装置を機能させて、人間の管理人による見直しのためのデータを抽出するステップとを含む。
【００３２】
動作モードは、抽出データを見直すことになる、人間の管理人のグループ内の人間の管理人に依存して選択され得る。自動情報抽出装置は、同時にまたは連続的に複数の動作モードで情報抽出を実行して、複数の人間の管理人による見直しのためのデータを抽出し得る。したがって、自動情報抽出装置は好ましくは、同時にまたは連続的に複数の動作モードで情報抽出を実行して人間の管理人のグループによる見直しのためのデータを抽出し、その後、結果として得られた抽出データを、見直しおよび場合によっては修正のために人間の管理人のグループ内の個別の人間の管理人に提示し、人間の管理人のグループ内の人間の管理人の何人かには、第１の情報抽出モードで抽出されたデータが提示され、人間の管理人のグループ内の何人かの人間の管理人には、第２の情報抽出モードで抽出されたデータが提示される。
【００３３】
自動情報抽出装置は、文書の同じデジタル表現に対して、複数の動作モードで情報抽出を実行し得る。人間の管理人にはその後、結果として抽出されたデータのどれを見直すかについてのオプションが提示され得る。
【００３４】
この方法は、文書のデジタル表現の特定的なバッチからデータを抽出するために採用すべき情報抽出モードに関する指示を受けるステップと、その後、特定的な情報抽出モジュールを用いて文書のデジタル表現の特定されたバッチからデータを抽出するステップとを含み得る。
【００３５】
本発明の第４の局面によると、自然言語文書を含む文書のデジタル表現から、人間の管理人による見直しのためのデータを抽出するように動作可能な自動情報抽出装置を最適化する方法が提供され、この方法は、
（ｉ）  情報抽出モジュールを用いて、自然言語文書を含む文書の少なくとも１つのデジタル表現からデータを抽出するステップと、
（ii）  抽出されたデータを見直しのために人間の管理人に提示し、かつ人間の管理人とコンピュータ−ユーザインターフェイスとの相互作用を分析するコンピュータ−ユーザインターフェイスを提供するステップと、
（iii）  情報抽出モジュールおよびコンピュータ−ユーザインターフェイスを用いて抽出データを見直す人間の管理人の後の作業の変更を容易にするために、分析された相互作用に応じて情報抽出モジュールを変更するステップとを含む。
【００３６】
人間の管理人の作業は、抽出データを見直すのに必要な時間が短くなるか、または抽出データをより正確に見直した場合に向上すると考えることができる。人間の管理人とコンピュータ−ユーザインターフェイスとの相互作用の分析は、たとえば、抽出データの見直しおよび編集に必要なマウスクリックもしくはキーを押す回数、関連データを発見するために実行するサーチの数、データをキュレーションするのにかかる時間、またはデータのキュレーションの速度などの、管理人のスピードに関する１つ以上の測定基準の測定を含み得る。
【００３７】
情報抽出モジュールは、文書のデジタル表現内のエンティティおよび／または関係を識別するように動作可能であり得、コンピュータ−ユーザインターフェイスは、識別されたエンティティおよび／または関係が文書内にハイライトされた状態で文書のデジタル表現の少なくとも一部を表示するように動作可能であり得る。情報抽出モジュールは、文書のデジタル表現からエンティティおよび／または関係のプロパティを抽出するように動作可能であり得る。
【００３８】
好ましくは、情報抽出モジュールに対する変更は、情報抽出モジュールの精度と再現率とのバランスを変える最適化などの変更を含む。より好ましくは、情報抽出モジュールに対する変更は、アルゴリズムの性能を決定するパラメータデータ（たとえば固有表現認識アルゴリズムの性能を決定する先行データ）を変更することによって、かつ、演算装置上で実行されると、当該演算装置にアルゴリズムの性能を決定するデータを参照してアルゴリズムを実行させるプログラムコードを変更することなく、情報抽出モジュールの精度と再現率とのバランスを変える最適化などの変更を含む。変更は、特定のトークンが、エンティティを表現するチャンクの始まり（ＢＩＯ符号化方法では「Ｂ」とタグ付けされる）を構成している、またはエンティティを表現するチャンクの内部（ＢＩＯ符号化方法では「Ｉ」とタグ付けされる）である、またはエンティティを表現するいずれかのチャンクの外部（ＢＩＯ符号化方法では「Ｏ」とタグ付けされる）であると固有表現認識モジュールが見なすか否かに関する決定境界に影響を与えるパラメータを変化させるステップを含み得る。たとえば、変更は、トークンがエンティティの始まりを含んでいる、エンティティのその後の部分を含んでいる、またはエンティティの一部ではないという尤度に関して、最大エントロピーマルコフモデル固有表現タグ付けプログラムの事前信念（prior belief）を変更するステップを含み得る。
【００３９】
図面を参照して説明される本発明の実施例は、コンピュータ装置および演算装置によって実行される方法を含むが、本発明は、本発明の処理を実行するように、または本発明のコンピュータ装置のようにコンピュータを実行させるように適合されたプログラム指令、特に担体上または担体内のプログラム指令にも及ぶ。プログラムは、部分的にコンパイルされた形式、または本発明に係る処理の実現において用いるのに好適ないずれかの他の形式などのソースコード、オブジェクトコード、中間コードの形式であり得る。担体は、プログラム指令を搬送可能ないずれのエンティティまたは装置であり得る。
【００４０】
たとえば、担体は、たとえばＣＤ  ＲＯＭもしくは半導体ＲＯＭなどのＲＯＭである格納媒体、またはたとえばフロッピー（登録商標）ディスクもしくはハードディスクなどの磁気記録媒体を含み得る。さらに、担体は、電気もしくは光ケーブルを介して、または無線もしくは他の手段によって搬送され得る電気または光信号などの伝送可能な担体であり得る。プログラムが、ケーブルによって直接的に搬送され得る信号内で具体化される場合、担体はそのようなケーブルまたは他の装置もしくは手段によって構成され得る。
【００４１】
以下の図面を参照して、本発明を例示的にのみさらに説明する。
【図面の簡単な説明】
【００４２】
【図１】本発明に係るシステム内の情報の主な流れの概略図である。
【図２】システムの主要なコンポーネントの概略図である。
【図３】システムアーキテクチャ内部のレイヤの概略図である。
【図４】文書ファイルの検索および情報抽出の前のそれらのフィルタリングに伴うステップの流れ図である。
【図５】情報抽出に伴うステップの流れ図である。
【図６】システムによる分析に好適な例示的なテキストの図である。
【図７】情報抽出前の例示的なテキストに関するＸＭＬファイルの図である。
【図８Ａ】情報抽出後の例示的なテキストに関するＸＭＬファイルの連続する部分の一部の図である。
【図８Ｂ】情報抽出後の例示的なテキストに関するＸＭＬファイルの連続する部分の一部の図である。
【図８Ｃ】情報抽出後の例示的なテキストに関するＸＭＬファイルの連続する部分の一部の図である。
【図８Ｄ】情報抽出後の例示的なテキストに関するＸＭＬファイルの連続する部分の一部の図である。
【図９】識別されたエンティティに下線が引かれ、識別された関係がラベル付けされた状態の、図６のテキストの図である。
【図１０】キュレーションコンピュータ−ユーザインターフェイスの概略図である。
【発明を実施するための形態】
【００４３】
例示的な実施例の詳細な説明
導入として、図１は、本発明に係る情報抽出システム内の情報の主な流れの概略図である。この例示的なシステムは、自然言語文書を含む生物医学テキスト文書のデジタル表現からデータを抽出し、その結果得られた抽出データを見直しのために人間の管理人に提示する。この例示的なシステムは、文書の多数のデジタル表現の分析用に設計され、抽出されたデータが人間の管理人のチームによってキュレーションされる。
【００４４】
ソース文書２は、文書ソースから取出される４。システムは文書のデジタル表現を分析するので、ソース文書は典型的に、たとえばフルテキスト学術論文またはMedline Abstract（Medlineはメリーランド州ベセスダの国立医学図書館の商標である）などの、文書のデジタル表現であるが、文書は印刷された形式で取出されてスキャンされてもよい。文書ファイル（文書のデジタル表現を構成する）は次に分類されフィルタリングされ６、次に自然言語処理（ＮＬＰ）方法を用いる情報抽出手順８を受け、次にコンピュータ−ユーザインターフェイスを用いる人間の管理人によってキュレーションされる１０。キュレーションステップの後、データはターゲットデータベース１４にエクスポートされる１２。システム内の情報の流れを、以下により詳細に説明する。
【００４５】
図２は、システムの主要なコンポーネントの概略図である。アプリケーションサーバ１６上で実行されるアプリケーションロジックが、Spring Frameworkコンテナ（Spring Frameworkはwww.springframework.orgに記述されるオープンソースプロジェクトである）を用いるＪ２ＥＥアプリケーションサーバ（Ｊ２ＥＥはSun Microsystemsの商標である）で実行されるコアサービスのセットを介してシステムを制御する。文書ファイル（文書のデジタル表現を構成する）などの関連データは、リレーショナルデータベース管理システム１８によってＸＭＬファイルの形式で検索可能に格納される。情報抽出エンジン２２は、単一のプロセッサまたは並行して動作する１つ以上のプロセッサによって実現される。ウェブブラウザ２４は、システムへの管理アクセス、およびキュレーション処理の制御を提供する。キュレーションツール２６は、その各々がディスプレイ、キーボード、およびマウスなどのポインティングデバイスを有するコンピュータ上のコンピュータ−ユーザインターフェイスを実現する。個別のコンポーネントはネットワークを介して接続され得る。アプリケーションサーバは典型的に、インターネットプロトコルネットワークを介してＳＯＡＰおよびＨＴＴＰによってウェブブラウザおよびキュレーションツールと通信することになる。当業者であれば、システムのいくつかのコンポーネントが単一のコンピュータ上で実現され得るか、または個別のコンポーネントが単一のコンピュータもしくはコンピュータ群上で実現され得ることを認識するであろう。
【００４６】
システムを構成するソフトウェアコンポーネントは、図３に概略的に示されるレイヤの形式で説明することができる。提示ロジックはアプリケーションレイヤ３０内にカプセル化されており、ウェブブラウザ３２を介してシステムの制御を可能にする。ウェブサービスコンポーネント３４は、Java（登録商標） Web Startを用いてJava（登録商標）アプリケーションとしてウェブブラウザに配信される１つ以上のキュレーションツール２６と通信する（Java（登録商標）およびJava（登録商標） Web StartはSun Microsystemsの商標である）。
【００４７】
アプリケーションロジックの主要なアスペクトは４つの主要なサービス内にカプセル化されている。すなわち、ターゲットデータベース１４との双方向通信に関する制御ロジックを含み、ターゲットデータベースに投入するための出力データのエクスポートに関するロジックを含むターゲットサービス３６；集められて格納された文書ファイルの収集に対してＡＰＩとして作用して、システムの他のコンポーネントに要約および制御された態様でデータへの読出／書込アクセスを許可する文書サービス３８；システム内で用いられるオントロジの永続的な提示を管理し、かつ情報抽出エンジンが用いるのに好適な形式のオントロジデータのエクスポートおよびターゲットデータベースからのオントロジデータのインポートを管理するオントロジサービス４０；キュレーションジョブの開始および監視を許可するように適合されたコンピュータ−ユーザインターフェイスを提供するウェブ層、およびキュレーションジョブを処理するためのコア機能性をカプセル化するサービスレイヤを含むパイプラインマネージャサービス４２。データベース永続レイヤ４４は制御ロジックを提供して、Hibernateオブジェクト／リレーショナル永続およびクエリサービスまたはＪＤＢＣを介してカスタム化ＳＱＬを用いて、データがリレーショナルデータベース管理システム１８に対して均一に永続されることを可能にする（ＪＤＢＣはSun Microsystems, Incの商標であり、Hibernateはwww.hibernate.orgに記述されるオープンソースプロジェクトである）。情報抽出は、ＪＭＳキュー４５を介して切離され、自然言語処理（ＮＬＰ）パイプライン４８とインターフェイスする情報抽出エンジン４６によって管理される。システムの別の重要な部分は、ターゲットサービスからターゲットデータベースへの出力データをマッピングする、ターゲットマッピング制御モジュール５０である。
【００４８】
文書検索
使用時、文書ファイルは、パイプラインマネージャサービスの制御下で外部ソースから取出される。図４は、文書ファイルの検索および情報抽出の前のそれらのフィルタリングに伴うステップの流れ図である。文書ファイル１００は、１つ以上の遠隔ソースから取出され１０２、キャッシュされる１０４。文書ファイルは、特定のサーチクエリを満たす文書ファイルが取りだされ得るか、または予め定められた基準に従って取出され得る。たとえば、一定の基準を満たす文書は、PubMed（www.ncbi.nlm.nih.gov/entrez/query.fcgi）から周期的に自動的に取出され得る。
【００４９】
文書ファイルは次に、必要であれば異なる形式に変換される１０５。文書ファイルは、マークアップが全くない、または比較的少ないプレーンテキストを含むＸＭＬファイルに変換される。ポータブルドキュメント形式（ＰＤＦ）の文書ファイルをＸＭＬに変換するためのソフトウェアモジュールが提供される。これらの文書ファイルは、単にＸＭＬマークアップが除去されただけのＸＭＬマークアップファイルではないことが重要である。なぜなら、マークアップされたＸＭＬソースからマークアップを除去することによって得られるテキストは、当初のプレーンテキストソースから直接的に得られるものと同じであるとは限らないからである。たとえば、ＸＭＬマークアップ文書は、特定のフラグメントを識別するために下付きまたは上付きを用いてタンパク質フラグメントに注釈を付けている可能性がある。たとえば、テキストフラグメントＡＢＣ12-37を指すＸＭＬマークアップからＸＭＬマークアップを除去した場合、その結果得られるプレーンテキストはＡＢＣ１２−３７であろう。しかし、当初のプレーンテキストソースからの同じ文書は、これをＡＢＣ１２−３７またはＡＢＣ  １２−３７またはＡＢＣ（１２−３７）またはＡＢＣ［１２−３７］とマークアップしている可能性がある。
【００５０】
変換された文書ファイルは格納され１０６、当初の取出された文書ファイルおよび変換された文書ファイルの両方が格納されて保存される。文書ファイル（必要であれば変換済み）は任意にフィルタリングされて１０８、最も関連するファイルが決定される。
【００５１】
情報抽出
図５は、その後の情報抽出手順に伴うステップの流れ図である。トークン化ソフトウェアモジュール１１０は、キャッシュされたＸＭＬ形式の文書ファイルを入力として受付け、トークン化マークアップを含む修正されたＸＭＬファイル１１２を出力する。固有表現認識ソフトウェアモジュール１１４は、修正されたＸＭＬファイル１１２を入力として受取り、エンティティの個別のインスタンスが認識およびマークアップされた、さらに修正されたＸＭＬファイル１１６を出力する。固有表現認識ソフトウェアモジュール１１４は、トレーニングデータ１１８について予めトレーニングされている。固有表現認識ソフトウェアモジュールは、固有表現認識ソフトウェアモジュールの性能を決定するデータとして機能する、複数の異なる先行ファイルを含む。精度と再現率との異なるバランスを提供するように修正された異なる先行ファイル１１５が、異なる管理人による見直しのためのデータを抽出する際に用いるために提供されている。トレーニングデータ１１８を以下にさらに説明する。修正されたＸＭＬファイル１１６は次に、用語正規化ソフトウェアモジュール１２０によって処理され、ソフトウェアモジュール１２０はオントロジデータ１２２を入力として受取り、オントロジデータに格納されるエンティティの正規形を参照してエンティティの個別のインスタンスがラベル付けされた、さらに修正されたＸＭＬファイル１２４を出力する。修正されたＸＭＬファイル１２４は次に、関係抽出ソフトウェアモジュール１２６によって処理され、文書ファイル内で識別された関係に関するデータを含む注釈付きＸＭＬファイル１２８を出力する。
【００５２】
トークン化、固有表現認識、用語正規化および関係抽出は、各々が継続中の研究の重要な領域であり、これらの段階の各々を実行するためのソフトウェアは、自然言語処理の分野における当業者にとって周知である。例示的な情報抽出パイプラインでは、ｐｄｆおよびプレーンテキスト、ならびにＮＣＰＩ／ＮＬＭアーカイビングおよび交換ＤＴＤなどのＸＭＬ形式などのさまざまな形式の入力文書が単純なＸＭＬ形式に変換され、このＸＭＬ形式は、タンパク質および他の生物医学的エンティティの名前で重要であり得る、上付きおよび下付きに関する情報などの文書構造および形式化情報のいくつかの有用な要素を保存する。文書は、＜ｐ＞要素によってＸＭＬで表現されるパラグラフに分割されると仮定される。ＬＵＣＥＮＥプロジェクト（アパッチソフトウェア財団（the Apache Software Foundation）、Apache Lucene, 2005）からのデフォルトトークナイザおよび文境界検出を用いたトークン化の後、パラグラフ内のテキストは、＜ｗ＞（単語）要素を含む＜ｓ＞（文）要素からなる。この形式はパイプライン全体を通じて永続する。処理時に追加される付加的な情報および注釈データは一般的に、単語（たとえば品詞タグ）に属性を追加することによって、またはスタンドオフマークアップによって記録される。スタンドオフマークアップは、ＩＤおよびＩＤＲＥＦ属性によって他の要素を指す要素からなる。これによって、テキストの重複部分を参照することが可能となり、スタンドオフ要素は、当初テキストにおいて隣接しているとは限らない他のスタンドオフ要素を参照することができる。固有表現は、エンティティの開始単語および終了単語を指摘する＜ｅｎｔ＞要素によって表現される。関係は＜relation＞要素によって表現され、＜argument＞子が、関係に加わっている＜ｅｎｔ＞要素を指摘している。スタンドオフマークアップはデータと同じファイルに格納されるため、１つの単位としてパイプラインを容易に通過することができるが、当業者であれば、マークアップは他の文書に格納され得ることを認識するであろう。
【００５３】
入力文書は次に、ＬＴ−ＴＴＴ２ツール（Grover, C., Tobin, R. and Matthews, M., Tools to Address the Interdependence between Tokenisation and Standoff Annotation, in Proceedings of NLPXML2-2006 (Multi-dimensional Markup in Natural Language Processing), pages 19-26. Trento, Italy, 2006）を用いて実現される一連のルールベース前処理ステップによって分析され、各段階の出力がＸＭＬマークアップに符号化される。トークン化および文分割の最初のステップの後、MedPostデータ（Smith, L., Rindflesch, T. and Wilbur, W. J., MedPost: a part-of-speech tagger for biomedical text. Bioinformatics, 20(14):2320-2321,2004）についてトレーニングされた、Ｃ＆Ｃ品詞タグ付けプログラム（Curran, J. R. and Clark, S., Investigating GIS and smoothing for maximum entropy taggers, in Proceedings of the 11th Meeting of the European Chapter of the Association for Computational Linguistics (EACL-03), pages 91-98, Budapest, Hungary, 2003）を用いて、品詞タグ付けが行なわれる。
【００５４】
レマタイザ（lemmatiser）モジュールは、Morphaレマタイザ（Minnen, G., Carroll, J. and Pearce, D., Robust, applied morphological generation, in Processing of 1st International Natural Language Generation Conference (NLG '2000), 2000）を用いて、語形変化した名詞および動詞の語幹に関する情報を得る。省略形およびそれらの長い形（たとえばＢ細胞リンカタンパク質（ＢＬＮＫ））に関する情報は、SchwartzおよびHearstのExtractAbbrevプログラム（Schwartz, A. S. and Hearst, M. A. Identifying abbreviation definitions in biomedical text, in Pacific Symposium on Biocomputing, pages 451-462, 2003）を呼出すステップで演算される。ルックアップステップはオントロジ情報を用いて、用語識別コンポーネントの下流で用いるための種の一般的な英語名を識別する。最終ステップはＬＴ−ＴＴＴ２ルールベースチャンカを用いて、名詞および動詞群ならびにそれらの先頭（head）をマークアップする（Grover, C. and Tobin, R., Rule-Based Chunking and Reusability, in Proceedings of the Fifth International Conference on Language Resources and Evaluation (LREC, 2006), Genoa, Italy, 2006.）。
【００５５】
固有表現認識モジュールを用いてタンパク質を認識するが、当業者であれば、タンパク質複合体、フラグメント、突然変異体および融合、遺伝子、方法、薬物処理、細胞株などの他のエンティティも同様の方法で認識され得ることを認識するであろう。固有表現認識モジュールは、CoNLL-2003共有タスク（Tiong Kim Sang, E. F. and De Mulder, F., Introduction to the CoNLL-2003 shared task: Language-independent named entity recognition, in Walter Daelemans and Miles Osborne, editors, Proceedings of CoNLL-2003, pages 142-147, Edmonton, Canada, 2003）についての、CurranおよびClark（以下”Ｃ＆Ｃタグ付けプログラム”と称する；Curran, J. R. and Clark, S., Language independent NER using a maximum entropy tagger, in Walter Daelemans and Miles Osborne, editors, Proceedings of CoNLL-2003, pages 164-167, Edmonton Canada, 2003）によって開発された最大エントロピーマルコフモデル（ＭＥＭＭ）タグ付けプログラムの変更版であった。
【００５６】
バニラＣ＆Ｃタグ付けプログラムは、CoNLL-2003などのニュースワイヤ固有表現認識タスクに対する性能について最適化されるため、タンパク質認識タスクに対する当該性能を向上させるように変更されたタグ付けプログラムが用いられる。生物医学テキスト用に特別に設計された追加の特徴が含められ、可能性のあるタンパク質名を含む地名辞典が組込まれ、省略形再タグ付けプログラムが省略形との一貫性を確実なものにし、統計モデルのパラメータは最適化されている。Ｃ＆Ｃ実験特徴オプションを用いて追加された追加特徴は以下のとおりである。CHARACTER：典型的なタンパク質名と一致する通常の表現の集まり；WORDSHAPE：Ｃ＆Ｃ「単語種類（wordtype）」表記特徴の拡張版；HEADWORD：現在の名詞句の先頭の語（head word）；ABBREVIATION：本文書内で地名辞典用語の省略形として識別されるいずれかの用語と一致する；TITLE：文書タイトル中の名詞句中に見られるいずれかの用語；WORDCOUNTER：文書内の最もよく登場する１０語の中のいずれかのノンストップの単語と一致する；VERB：文中の各名詞句トークンに追加される動詞レンマ（lemma）情報；FONT：当初の文書形式に含まれるイタリック体および下付きのテキスト；NOLAST：Ｃ＆Ｃタグ付けプログラムの最後の（メモリ）特徴が除去された。変更されたＣ＆Ｃタグ付けプログラムもまた、前処理されて一般的な英単語が除去され、かつパイプラインによって課されるトークン化と一致するようにトークン化された、RefSeq（http://www.ncbi.nlm.nih.gov/RefSeq/）から得られるタンパク質のリストの形式の地名辞典を用いて拡張されている。地名辞典を用いて、文書内のタンパク質にタグ付けし、その後、このタグ付けに対応するバイオタグ、およびＣ＆Ｃ実験特徴のような以前のおよび現在のバイオタグの二重字を、各単語に追加する。カスケード化が、エンティティのグループ（たとえば全エンティティに対して１つのモデル、特定的なエンティティ種類に対して１つ、および組合せ）に対して実行される。カスケード内のその後のモデルは、ＧＵＥＳＳ特徴を介して以前のモデルの推測へのアクセスを有する。Ｃ＆Ｃタグ付けプログラムは、その内容がこの引用によって本明細書中に援用される、B. Alex, B. Haddow, and C. Grover, Recognising nested named entities in biomedical text, in Proceedings of BioNLP 2007, p. 65-72, Prague, 2007に記載されるものに対応する。
【００５７】
使用時、Ｃ＆Ｃタグ付けプログラムは、タグ付けプログラムの機能に影響を与えるパラメータを規定する先行ファイルを利用する。精度と再現率とのバランスを変えて固有表現認識を実行できるようにするために複数の異なる先行ファイルが提供されるため、人間の管理人による後の見直しのために異なるデータが抽出される複数の異なる動作モードで情報抽出を行うことが可能となる。バイオタグの各々に関連してエンティティ決定閾値を調整し、したがって再現率よりも精度を優先するか精度よりも再現率を優先するように決定境界を修正するために、各先行ファイル中の「タグ先行」パラメータが選択される。
【００５８】
省略形再タグ付けプログラムが後処理ステップとして実現され、このステップではＣ＆Ｃタグ付けプログラムの出力が、SchwarzおよびHearst省略形識別子が予測する省略形と一貫していることを確実にするように再タグ付けされた。省略形の先行詞がタンパク質としてタグ付けされた場合、同じ文書内でその後に発生するこの省略形はすべて、再タグ付けプログラムによってタンパク質としてタグ付けされる。
【００５９】
種同士の間の明確化が可能な用語識別モジュールを提供するために、手動で種タグ付けされた注釈付きデータについてトレーニングされた種タグ付けプログラムが用いられる。用語識別モジュールは、文書内のすべてのタンパク質言及にエンティティ識別子が割当てられるまで、以下の３つのステップをすべてのタンパク質言及に適用する。まず第１に、オントロジにおいて近似サーチを実行することによって識別子候補が各タンパク質言及に割当てられ、オントロジは、タンパク質の同意語を含み、タンパク質エントリの表記変形をオントロジに挿入することによって予め拡張されており、表記変形は、列同士の間のスペースまたはハイフンを削除／追加（たとえば“ＴＥＧ２７”＝＞“ＴＥＧ２７”）し、列同士の間のスペースをハイフンで置換える（たとえば“ＴＥＧ２７”＝＞“ＴＥＧ−２７”）ことなどによって得られる列を含む。近似サーチは、タンパク質言及の小文字化、用語の省略形／長文式パートナーによる置換、接頭辞を表わすタンパク質言及の種の除去（たとえば“ｈＴＡＫ１”＝＞“ＴＡＫ１”）、およびオントロジ内の変形列のサーチなど、ルールに従ってタンパク質言及の変形を生成する。単一の識別子候補が戻された場合、タンパク質言及は単義であり、単一の識別子候補が割当てられる。
【００６０】
別の方法では、第２のステップにおいて、個別のタンパク質言及の最も尤度の高い種が、手動で注釈付けされたデータについてトレーニングされた種タグ付けプログラムを用いて識別される。種タグ付けプログラムは、Support Vector Machinesアルゴリズム(www.cs.waikato.ac.nz/~ml/weka, Witten, I.H. and Frank, E. (2005), Data Mining: Practical machine learning tools and techniques, second edition, Morgan Kaufmann, San Francisco, 2005)のweka実現である。各トレーニングインスタンスは、特徴−値の対として表現されており、特徴は、サイズ５０の文脈ウインドウ内のタンパク質言及と同時発生するＴＦ−ＩＤＦ重み付け単語レンマであった。値は、人間の注釈者によってタンパク質言及に割当てられた種である。タンパク質言及に割当てられた種と一致しないタンパク質の識別子候補は放棄される。単一の識別子候補しか残されていない場合、これがタンパク質言及に割当てられる。
【００６１】
別の方法では、第３のステップにおいて、ヒューリスティックルールを適用して残りの識別子候補をランク付けし、上位にランク付けられた識別子が個別のタンパク質言及に割当てられる。ヒューリスティックルールは、数値が最も低い識別子を優先する。我々は、これによって、識別子がCognia Molecularデータベース内のタンパク質の受入れ番号である場合には用語識別が向上することを見出し、またCognia MolecularはRefSeqの旧バージョンから当初得られたため、識別がRefSeq内のタンパク質の受入れ番号である場合には対応する結果を予期するであろう。
【００６２】
用語識別の後、関係抽出モジュールは単純な文脈特徴を用いて、文書のデジタル表現内のタンパク質同士の間の２用語関係（タンパク質−タンパク質相互作用）を検出する。文中のタンパク質のすべての対合について関係候補が作成され、その関連特徴が抽出される。最大エントロピー分類器（homepages.inf.ed.ac.uk/s0450736/maxent_toolkit.htmlから入手可能）を用いて各インスタンスに確率が割当てられ、閾値を超える確率を有するそれらのインスタンスが関係として受付られる。用いられる特徴は、相互作用のタンパク質言及のインデックスの組合せ″Ｐ１−位置：Ｐ２−位置″；相互作用のタンパク質言及の語彙形式の組合せ″Ｐ１：Ｐ２″；タンパク質言及の周りの３語文脈における語彙形式、ステミング／レマタイゼーション、品詞タグおよびチャンキング情報；２つのタンパク質言及同士の間のトークンでの距離；２つのタンパク質言及同士の間の他の識別されたタンパク質言及の数；タンパク質言及同士の間に否定構造の連携があるか否か；文書が抄録であるか完全な書類であるか；タンパク質言及の正規形；タンパク質同士の間の単語の連結（concatenation）、および同様に品詞タグを用いた別の特徴；単語集合（bag-of-words）方法におけるタンパク質同士の間およびその直前／直後の単語；タンパク質言及の周りの二重字および三重字である。関係抽出モジュールは、以下の情報も用いる：付加的なトレーニングデータとしてBioCreAtlvE task 1Aから得られるタンパク質／遺伝子相互作用コーパス（Plake, C., Hakenberg, J. and Leser, U., Optimizing syntax-patterns for discovering protein-protein-interactions, in Proc ACM Symposium on Applied Computing, SAC, Bioinformatics Track, volume 1, pages 195-201, Santa Fe, USA, March 2005に記載）；相互作用、結合、抑止、リン酸化などのタンパク質−タンパク質相互作用がいつ起こるかの情報であると決定された「相互作用語」のリストがいくつかの特徴について用いられた；Plake et al.で用いられる２２個の構文パターンの各々が、通常の式形式：“P1単語｛0,n｝l動詞  単語｛0,m｝P2”においてブールの特徴として用いられる。以下の特徴のすべてが、タンパク質言及の各対の前、間および後に発見された最近隣相互作用語について抽出される：相互作用語が１５個のトークンのウインドウ内に存在するか否か；相互作用語とそれに最も近いタンパク質と間の距離；相互作用語の語彙形式および品詞タグ；相互作用語が先頭動詞か名詞か；ならびに文中にいくつの相互作用語があるか。
【００６３】
例示的な文書
図６は、システムによる処理に好適な文書の例である。図７は、タイトルに含まれる同じ文書のＸＭＬファイル、およびシステムによる処理に好適なＸＭＬファイルの本体タグである。テキストの本体は、本体タグ内にプレーンテキスト形式で与えられる。図８Ａ、図８Ｂ、図８Ｃおよび図８Ｄは、上記の手順による情報抽出後の例示的な文書に関する注釈付きＸＭＬファイルの連続部分である。
【００６４】
注釈付きＸＭＬファイルは、エンティティ２００（注釈エンティティデータを構成する）のインスタンスに関するタグを含む。各タグは、エンティティのインスタンスについての参照番号（たとえばend id="e4"）、エンティティの種類（たとえばtype="protein"）、パーセンテージとしての用語正規化の信頼度（たとえばconf="100"）、およびＵＲＩ形式でのそのエンティティに関するオントロジデータの参照番号（たとえばnorm=http://www.cognia.com/txm/biomedical/#protein_P00502885）を特定する。（そのエンティティに関するオントロジデータの参照番号は、オントロジデータの参照番号であるエンティティのインスタンスの識別子を構成する。）エンティティの各インスタンスに関するタグは、そのデータが関連する単語（＜ｗ＞接頭辞および＜／ｗ＞接尾辞を有する）の直前にＸＭＬファイル内にインラインに含まれる（それによって、エンティティの識別されたインスタンスの、文書のデジタル表現内の場所を特定するデータを構成する。）
注釈付きＸＭＬファイルは、文書識別子２０２、および文書ファイルが表現する２０４文書のソースを特定するデータ、および元の文書ファイル２０６を取出すために実行されるサーチのパラメータに関する情報も含む。
【００６５】
テキスト内で識別された関係は、注釈付きＸＭＬファイルの終わりにスタンドオフ注釈として記録される（図８Ｃおよび図８Ｄ）。関係２２０のインスタンスに関する注釈データ（注釈関係データを構成する）は、関係のそのインスタンスについての参照番号２２２、パーセンテージとしての関係抽出の信頼度２２４、関係が関連する２２６エンティティの正規形、エンティティ２２８の種類（たとえば種類＝″ｐｐｉ″はタンパク質−タンパク質相互作用を指す）、および関係が関連するエンティティの参照番号２３０、２３２を含む。
【００６６】
図９は、図８Ａから図８ＤのＸＭＬファイル内で注釈付けされたエンティティに下線が引かれ、図８Ａから図８ＤのＸＭＬファイル内で注釈付けされた関係が示される、図６の文書の図である。情報抽出手順は一般的に信頼できる結果を生成するが、エラーもある。特に、式Ｒ６は誤りであり、さらなる関係２５０が示されていない。
【００６７】
情報抽出の後、注釈付きＸＭＬファイルはリレーショナルデータベース管理システムに格納される。その後の段階で、注釈付きＸＭＬファイルはキュレーションツールコンピュータ−ユーザインターフェイスを介してキュレーションされて、人間の管理人が注釈データを追加、削除および修正することを可能にする。たとえば、図９に示される注釈付き文書の場合、人間の管理人は式Ｒ６を削除または修正し、さらなる関係２５０を手動で追加することができる。人間の管理人がキュレーションデータを追加、削除および修正することを可能にすることに加え、キュレーションツールコンピュータ−ユーザインターフェイスは、人間の管理人がターゲットデータベースに出力するデータを選択することも可能にする。
【００６８】
キュレーション
キュレーションツールコンピュータ−ユーザインターフェイスは、Java（登録商標）アプリケーション、およびキュレーションされる文書に関する注釈付きＸＭＬファイルを実行するコンピュータに当該アプリケーションを配信するウェブサービスコンポーネントによって実現される。ユーザは、コンピュータのモニタ、ならびにキーボードおよびコンピュータマウスなどの入力周辺装置を介してインターフェイスと相互作用する。
【００６９】
図１０は、キュレーションコンピュータ−ユーザインターフェイス３００の画面ショットである。コンピュータ−ユーザインターフェイスは、文書３０４を示す文書ディスプレイウインドウ３０２を表示する。エンティティ３０６の個別のインスタンスは、注釈データによって特定される文書内の場所で（すなわちＸＭＬファイル内のエンティティの当該インスタンスに関するタグの場所によって）ハイライトされる。この例では、エンティティの各インスタンスは太字でハイライトされる。明確にするために、エンティティのすべてのインスタンスがラベル付けされているわけではない。エンティティは、ユーザからの要求（たとえばメニューオプションを選択することによって）に応じてのみハイライトされ得るか、または常時ハイライトされ得る。したがって、文書ディスプレイウインドウ内に見える文書の一部は、自然言語処理パイプラインによって識別されたエンティティをハイライトするための注釈（太字テキスト）を含む。文書ディスプレイウインドウ内で、関係３０８は、関係を記述するテキストの周りのボックスによってハイライトされることによって注釈付けされる。このボックスは、たとえば色付きであり得る。文書ディスプレイウインドウはさらに、ユーザが文書をスクロールすることを可能にする標準的なウインドウスクロールバー３１０を含む。
【００７０】
キュレーションコンピュータ−ユーザインターフェイスはさらに、第１の細長いバー３１２の形式のナビゲーションツールを含み、バー３１２は、文書内の場所に比例するカラーバー３１４または細長いバーの中の位置における他の視覚インジケータで表現することによって自動的に識別された文書の特徴を示す。タンパク質言及もしくは他の固有表現、識別された関係、または自動的に識別されたセクションの先頭（heading）（たとえば「初めに」、「材料および方法」など）などの異なる種類の特徴が、異なる色付きバーまたは視覚インジケータを用いて表示される。第２の細長いバー３１４は、文書ディスプレイウインドウ内に現在表示される文書のセクション内に見える、第１の細長いバー内に示される特徴の拡張表現である。たとえば、識別された各関係の横に色付きバー３１５が提供される。第２の細長いバーは、表示される文書のセクションがスクロールバーまたは他のコンピュータ−ユーザインターフェイス特徴を用いて変更されると、動的に更新される。文書中のそれぞれ識別された場所におけるエンティティおよび関係を表現する注釈によって、管理人による詳細な検討を必要とする文書の関連セクションの識別が容易になる。
【００７１】
ユーザ−インターフェイスはさらに、選択された関係に関する自動的に識別された注釈データからどの仮の修正済み注釈データが準備されるかに応じて、マウスまたは別のコンピュータ−ユーザインターフェイス特徴などのポインティングデバイスを用いて自動的に識別された関係を選択する手段をユーザに提供する。仮の修正済み注釈データは次に、注釈修正ウインドウ３１６内に表現される。注釈修正ウインドウは第１のセクション３１８を含み、第１のセクション３１８は、エンティティ３２０の種類（たとえばタンパク質）の詳細、および自然言語情報抽出手順時に自動的に識別されたエンティティの識別子３２２を含む、関係の第１のコンポーネントであるエンティティに関するデータを表現する。オントロジによって得られるエンティティ３２４の名前の正規化形式も表示される。対応する情報が、関係が関連する第２のエンティティに関して注釈修正ウインドウの第２のセクション３２６内に与えられる。
【００７２】
管理人は、仮の修正済み注釈データを、関係を正確に表現しているとして受付け、ユーザ−インターフェイス特徴（ボタンまたはメニュー選択など）を用いて、仮の修正済み注釈データが正確であり、ターゲットデータベースにエクスポートするための出力データを作成するために用いるべきであることを示す。しかし、管理人は仮の修正済み注釈データを修正することもでき、たとえば、ボタン３２８などのユーザ−インターフェイス特徴を選択して、チェックボックス３３０、テキストボックス、ドロップダウンメニュー３３２、リストなどの一般的なユーザ−インターフェイス特徴を用いて、識別されたエンティティの一方または両方に関するデータを編集することができる。したがって、管理人は、たとえばエンティティの不正確な識別などの誤った注釈データを修正することができ、または情報抽出手順によって省略された注釈データ（たとえば省略されたエンティティ）を追加することができる。追加される注釈データは、情報抽出手順が抽出不可能なデータを含み得る。たとえば、情報抽出手順がエンティティは識別できるがエンティティのプロパティは識別不可能である場合、このデータはユーザによって入力可能であるため、情報抽出手順から得られるデータしか出力できないという不都合なしで、情報抽出手順のユーザから効率の利点を得ることができる。管理人はまた、完全に新しし仮の修正済み注釈データ記録を作成することもできる。たとえば、管理人は、情報抽出手順によって識別されなかった関係に関する仮の修正済み注釈データを作成し、その後、仮の修正済み注釈データを編集することができる。
【００７３】
閲覧および／または編集可能なエンティティに関する注釈データの例は、エンティティの種類、エンティティの識別子、エンティティの正規化形式、エンティティのプロパティ（たとえばエンティティが修正されているか否か、およびどのように修正されているか）を含む。閲覧および／または編集可能な関係に関する関係データの例は、関係が関連するエンティティの識別子、関係および関係のプロパティの記述、たとえば関係に至る実験方法（たとえば親和性精製）、相互作用の方法（たとえばリン酸化）、ならびに関係が相互作用に関するか否かを含む。
【００７４】
エンティティに関する仮の注釈データ（仮の注釈エンティティデータ）または関係に関する仮の注釈データ（仮の注釈関係データ）が編集されると、その結果得られるデータはキュレーションされると見なされ（すなわち管理人によって承認され）、ターゲットデータベースにエクスポートするために全体または一部が出力データとして格納される。本質的に、仮の注釈データを構成する１つ以上の記録が、情報抽出手順によって準備された注釈データを用いて予め投入されており、次に編集されてから、ターゲットデータベースにエクスポートするために選択される。
【００７５】
エクスポートのために格納され得る注釈関係データの例は、以下のとおりである。
「″Medline Abstract″収集から得られ、かつPubMed  ＩＤ４５６を有する文書ＩＤ１２３の文字オフセット１００と文字オフセット２００との間で、′ｐ１９′（タンパク質ｐ１９、オントロジＩＤ１３５）および′ＡＤＰリボシル化因子′（タンパク質Arf、オントロジＩＤ６８０）が相互作用されると言われる。」
したがって、注釈関係データは、特定の関係（′文字オフセット１００′および′文字オフセット２００′）を参照するテキストの断片の開始場所および終了場所の参照番号と、文書識別子（内部文書識別子、′文書ＩＤ１２３′、および対応する外部文書識別子、′PubMed  ＩＤ４５６′を含む）と、文書のソース（″Medline Abstract″収集）の識別子と、文書内で発見された状態（′ｐ１９′、′ＡＤＰリボシル化因子）および正規形で発見された状態（′ｐ１９′および′Arf′）の両方の関係エンティティを指すテキストを含み得る。注釈関係データはさらに、エンティティの種類（′タンパク質′）、オントロジデータ内のそれらのＩＤ（′オントロジＩＤ６８０′および′オントロジＩＤ１３５′）、ならびに関係の性質の詳細（′相互作用すると言われる′）も含み得る。
【００７６】
当業者であれば、上記の注釈関係データは多くの異なる方法で格納され得ることを認識するであろう。注釈関係データのいくつかまたはすべては、ターゲットデータベースにエクスポートされ得る。
【００７７】
上記の例では、入力ＸＭＬファイル内の注釈データは修正されない。代替実施例では、仮の注釈データを編集して、編集済み文書に関するＸＭＬファイルとは別の修正済み注釈データを形成する代わりに、情報抽出手順によって最初に生成されたＸＭＬファイル内の注釈データが修正される。たとえば、注釈データを含むＸＭＬファイルの形式で文書を受取る場合、キュレーション手順は、修正済みの注釈データを含むＸＭＬファイルを出力することによって終了し得る。状況によってはこれは望ましくないことがある。なぜなら、ＸＭＬファイルに含まれる注釈データを修正する付加的な演算ステップなしでキュレーションされた仮の注釈データを単に出力する場合と比較して、注釈データ内の変更を反映するためにＸＭＬファイルを編集するための付加的な処理が必要となるからである。しかし、特にシステムを用いて機械学習ベースの情報抽出モジュールのトレーニングに用いるためのトレーニングデータを準備するときなど、状況によっては基礎となる注釈データを修正することが有利であり得る。
【００７８】
任意に、入力ＸＭＬファイル内の、または当該ファイルに関連する注釈データのシステムメモリ内のローカルコピーは、編集手順時に修正され得、注釈付きの文書のディスプレイを動的に更新するために用いられ得る。
【００７９】
エクスポート
周期的に、ターゲットサービスは、キュレーションされたデータをターゲットデータベースにエクスポートする。ターゲットサービスは次に、エクスポートされるデータの中を系統的に進み、当該データがターゲットデータベース内で既に発見されたか否かを確認する。発見されない場合、データは、ターゲットデータベースのＡＰＩを呼出すか、またはＳＱＬ挿入／更新を生成することによって、ターゲットデータベースに挿入される。データをターゲットデータベース用の適切な形式に翻訳することが必要であり得る。ターゲットデータベースが異なるオントロジデータを有する場合、これらの参照番号を翻訳することが必要である。この手順は繰返されるか、または同時に実行されて、１つよりも多いターゲットターゲットベースに投入し得る。
【００８０】
カスタマイズ
使用時、情報抽出手順は、入手可能な先行ファイルの中から選択された先行ファイルを用いて固有表現認識を実行することによって、複数の動作モードのうちの１つに従って機能する。固有表現認識ソフトウェアおよび特定の先行ファイルは、選択可能な代替情報抽出モジュールのグループから選択される情報抽出モジュールとしてともに機能する。
【００８１】
固有表現認識モジュールによって用いられる先行ファイルは個別に選択されて、トークンがエンティティの始まりを含んでいる、エンティティのその後の部分を含んでいる、またはエンティティの一部ではないという尤度についての固有表現タグ付けプログラムの事前信念を手動で変更することによって、精度と再現率との異なるバランスを表示する。これによって、管理人のグループ内の異なる管理人がデータの異なるセットを見直すことが可能となり、たとえば、何人かの管理人は、精度を優先する情報抽出処理を用いて抽出されたデータを見直し、他の管理人は、精度よりも再現率を優先する情報抽出手順を用いて抽出されたデータ見直すことができる。代替的に、または上記と並行して、管理人のグループの全員が、再現率よりも精度を優先する情報抽出手順、または精度よりも再現率を優先する情報抽出手順を用いて抽出されたデータを見直すことができる。しかし、グループ内の異なる管理人は、再現率よりも精度を優先する、または精度よりも再現率を優先するそれぞれのデータを異なる程度まで見直すことができる。したがって、データは、典型的に精度と再現率との異なるバランスを有する少なくとも２つの情報抽出動作モードを用いて文書の多くのデジタル表現から抽出され得、人間の管理人のチームの各メンバーは、異なる情報抽出動作モードで抽出されたデータを見直し得る。
【００８２】
情報抽出は、抽出データを見直す特定の管理人に対して、または特定の動作モードをより好むことが知られている管理人のグループに対して、適切な動作モードで実行され得る。いくつかの実施例では、情報抽出は２つ以上の動作モードで同じ文書に対して実行され、その後、どの抽出データを特定の管理人に提示するかについての選択がなされる。
【００８３】
この例では、固有表現認識モジュールのみが精度と再現率との異なるバランスを有する異なる動作モードを有するが、情報抽出パイプラインのいずれかの段階、または情報抽出パイプラインの段階の組合せは、精度と再現率との異なるバランスに最適化することができる。考えられるところでは、情報抽出手順の段階のいくつかは再現率よりも精度を優先するように最適化され得、情報抽出手順の段階のいくつかは、精度よりも再現率を優先するように最適化され得る。
【００８４】
フィードバック
管理人の成果を表わす好適な測定基準は、その特定の管理人または一般のいずれか一方に対して、情報抽出パイプラインを最適化するために監視され得る。これを用いて、情報抽出パイプラインの個別の段階を実現する代替モジュールを実験するか、または情報抽出パイプラインの個別の段階を実現するモジュールを最適化することができる。
【００８５】
好適な測定基準の例は、特定されたデータを管理人が見直すのにかかる時間、管理人によるキュレーションの速度、究極の判断基準と比較した管理人によるエラーの割合、特定されたデータを見直す管理人によるマウスクリックもしくはキーを押す回数、または、キュレーション時に省略されたか誤って抽出されたデータを導入または修正する際に必要であり得るデータを取出すために管理人によって動作可能なサーチエンジンを管理人が使用する回数を含む。
【００８６】
たとえば、好適な測定基準は、管理人がサーチエンジンを用いる回数に関する測定値であり得る。管理人は、自動情報抽出装置が、文書のデジタル表現内のエンティティの言及のインスタンスを識別しなかった、または誤って識別した場合に、サーチエンジンを用い得る。サーチエンジンは、RefSeqまたはMeSH辞書において動作可能なサーチであり得る。
【００８７】
これらの測定基準を用いて、どの情報抽出動作モードが個別の管理人による最良の成果に至るかを決定することもできる。
【００８８】
一貫性
情報抽出パイプラインは、エンティティの個別の言及に関するデータを抽出し、エンティティの各個別の言及の文脈から、それらに識別子を割当てる。これは、特定の文字列によって示されるエンティティの異なるインスタンスに、文書のデジタル表現における異なる場所で異なる識別子が割当てられ得るという効果を有する。これはときによっては正確であるが、常に正確であるとは限らない。
【００８９】
代替実施例では、固有表現認識モジュールは、同じ文字列を有するすべてのチャンクに同じエンティティ種類（たとえばタンパク質、遺伝子）が割当てられるよう強制するように変更される。同じ文字列を有するすべてのチャンクに同じエンティティ種類が割当てられるよう強制する１つの方法は、特定の種類のエンティティを表わしているとして識別される各文字列について、同じ文字列を有する文書内の各チャンクに同じ種類を伝搬することである。文書のデジタル表現は典型的に始まりから終わりまで分析されるため、文字列の第１のインスタンスに割当てられた識別子は、それによって同じ文字列のすべてのその後のインスタンスに割当てられることになる。同じ文字列を有するすべての固有表現に同じ識別子が割当てられるよう強制する第２の方法は、文書のデジタル表現に対して固有表現認識を実行し、２回以上固有表現として認識されたすべての文字列について、その文字列の各インスタンスに、当初の固有表現認識ステップにおいてその文字列の最も頻繁に割当てられた識別子の識別子を割当てることである。同一文字列の一貫した解釈を強制する異なる方法が、異なる情報抽出動作モードで実現され得る。
【００９０】
上記に引用した文書は、参照によって本願に援用される。
本明細書中に開示された本発明の範囲内で、さらなる変更および変形がなされ得る。
【図１】
2011501258.tif 000003
【図２】
2011501258.tif 000004
【図３】
2011501258.tif 000005
【図４】
2011501258.tif 000006
【図５】
2011501258.tif 000007
【図６】
2011501258.tif 000008
【図７】
2011501258.tif 000009
【図８Ａ】
2011501258.tif 000010
【図８Ｂ】
2011501258.tif 000011
【図８Ｃ】
2011501258.tif 000012
【図８Ｄ】
2011501258.tif 000013
【図９】
2011501258.tif 000014
【図１０】
2011501258.tif 000015
【手続補正書】
【提出日】平成21年9月18日(2009.9.18)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
データベースに包含する記録を準備する際の人間の労力を減らすために情報抽出手順を用いることが提案されてきた。たとえば、同時係属中の国際特許出願番号ＰＣＴ／ＧＢ２００７／００１１７０は、自然言語文書を含む文書のデジタル表現において、エンティティおよびエンティティ同士の関係に関する注釈データの形式の自動的に抽出されたデータの人間の管理人による見直しを容易にするコンピュータ−ユーザインターフェイスを利用する、情報抽出手順を開示している。文書のデジタル表現は、自動的に識別されたエンティティおよび関係の個別のインスタンスが文書内のそれぞれの場所でハイライトされた状態でユーザに表示される。注釈データは管理人によって編集され得るか、または選択された注釈データを用いて、管理人による見直しおよび編集のために仮の記録内の欄に予め投入され得る。
ＵＳ２００６／００５３１７０は、エクスポート制約条件のセットを１つ以上の主オントロジに適用することによって１つ以上のマルチリレーショナルオントロジをパースおよび／またはエクスポートするためのシステムを開示している。これは、非構造化データソースがテキストマイニングおよびキュレーションされるシステムの例である。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
発明の要約
本発明の第１の局面によると、自然言語文書を含む文書のデジタル表現から、人間の管理人による見直しのためのデータを抽出するための自動情報抽出装置が提供され、自動情報抽出装置は、自動情報抽出装置が人間の管理人による見直しのための異なるデータを抽出するように動作可能な、複数の選択可能な動作モードを有し、自動情報抽出装置は、精度と再現度とのバランスを変えてデータを抽出するように動作可能である。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
驚くべきことに、異なる人間の管理人は、見直しのために抽出および提示されるデータに関する優先権が異なり、かつ／または選択されたデータが異なると、より優れた作業を行う。我々の提案では、管理人の中には、精度よりも再現率を優先する情報抽出手順による抽出データを見直すほうが優れた作業を行う者もあれば、再現率よりも精度を優先する情報抽出手順によるデータを見直すほうが優れた作業を行う者もある。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
本発明の第４の局面によると、自然言語文書を含む文書のデジタル表現から、人間の管理人による見直しのためのデータを抽出するように動作可能な自動情報抽出装置を最適化する方法が提供され、この方法は、
（ｉ）  情報抽出モジュールを用いて、自然言語文書を含む文書の少なくとも１つのデジタル表現からデータを抽出するステップと、
（ii）  抽出されたデータを見直しのために人間の管理人に提示し、かつ人間の管理人とコンピュータ−ユーザインターフェイスとの相互作用を分析するコンピュータ−ユーザインターフェイスを提供するステップと、
（iii）  情報抽出モジュールおよびコンピュータ−ユーザインターフェイスを用いて抽出データを見直す人間の管理人の後の作業の改良を容易にするために、分析された相互作用に応じて情報抽出モジュールを変更するステップとを含み、情報抽出モジュールは、情報抽出モジュールの精度と再現率とのバランスを変えるように変更される。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
好ましくは、情報抽出モジュールに対する変更は、最適化を含む。より好ましくは、情報抽出モジュールに対する変更は、アルゴリズムの性能を決定するパラメータデータ（たとえば固有表現認識アルゴリズムの性能を決定する先行データ）を変更することによって、かつ、演算装置上で実行されると、当該演算装置にアルゴリズムの性能を決定するデータを参照してアルゴリズムを実行させるプログラムコードを変更することなく、情報抽出モジュールの精度と再現率とのバランスを変える。変更は、特定のトークンが、エンティティを表現するチャンクの始まり（ＢＩＯ符号化方法では「Ｂ」とタグ付けされる）を構成している、またはエンティティを表現するチャンクの内部（ＢＩＯ符号化方法では「Ｉ」とタグ付けされる）である、またはエンティティを表現するいずれかのチャンクの外部（ＢＩＯ符号化方法では「Ｏ」とタグ付けされる）であると固有表現認識モジュールが見なすか否かに関する決定境界に影響を与えるパラメータを変化させるステップを含み得る。たとえば、変更は、トークがエンティティの始まりを含んでいる、エンティティのその後の部分を含んでいる、またはエンティティの一部ではないという尤度に関して、最大エントロピーマルコフモデル固有表現タグ付けプログラムの事前信念を変更するステップを含み得る。
【手続補正７】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
自然言語文書を含む文書のデジタル表現から、人間の管理人による見直しのためのデータを抽出するための自動情報抽出装置であって、
前記自動情報抽出装置は、前記自動情報抽出装置が人間の管理人による見直しのための異なるデータを抽出するように動作可能な、複数の選択可能な動作モードを有し、
前記自動情報抽出装置は、精度と再現度とのバランスを変えてデータを抽出するように動作可能である、自動情報抽出装置。
【請求項２】
前記自動情報抽出装置は、見直すための異なるデータが抽出されるように動作可能な複数の代替情報抽出モジュールを備える、請求項１に記載の自動情報抽出装置。
【請求項３】
代替情報抽出モジュールは、同じコンピュータプログラムモジュールを備えるが、前記コンピュータプログラムモジュールの機能性を特定する異なるパラメータデータを備える、請求項２に記載の自動情報抽出装置。
【請求項４】
前記代替情報抽出モジュールは、固有表現認識モジュールである、請求項２または３に記載の自動情報抽出装置。
【請求項５】
代替固有表現認識モジュールは、固有表現認識アルゴリズムを実現する同じソフトウェアモジュール、および前記固有表現認識アルゴリズムの機能を決定する異なるパラメータデータを備える、請求項４に記載の自動情報抽出装置。
【請求項６】
前記自動情報抽出装置は、文書のデジタル表現におけるエンティティの個別のインスタンスを識別するように動作可能である、いずれか１つの先行する請求項に記載の自動情報抽出装置。
【請求項７】
前記自動情報抽出装置は、エンティティとして識別される文字列の各個別インスタンスは文書の同じデジタル表現内で同じエンティティとして一貫して識別されることを確実なものにするように動作可能である、請求項６に記載の自動情報抽出装置。
【請求項８】
前記自動情報抽出装置は、特定の種類のエンティティとして識別される文字列の各個別インスタンスは文書の同じデジタル表現内でそれぞれ同じ種類のエンティティとして一貫して識別されることを確実なものにするように動作可能である、請求項６または７に記載の自動情報抽出装置。
【請求項９】
異なるアルゴリズムを適用して、２つの異なる情報抽出モードにおいて文書内で同一文字列によって表現されるエンティティに関するデータの一貫した抽出を強制するように動作可能である、いずれか１つの先行する請求項に記載の自動情報抽出装置。
【請求項１０】
前記自動情報抽出装置は、文書の特定のデジタル表現から抽出されたデータを見直す人間の管理人に関するデータ、または文書の特定のデジタル表現から抽出されたデータを見直す人間の管理人に関連付けられた好みを受けるように、かつ文書の当該特定のデジタル表現からデータを抽出するために複数の前記動作モードの中から動作モードを選択するように動作可能である、いずれか１つの先行する請求項に記載の自動情報抽出装置。
【請求項１１】
いずれか１つの先行する請求項に記載の自動情報抽出装置と、見直しおよび場合によっては修正のために人間の管理人に抽出データを提示するように動作可能なキュレーションコンピュータ−ユーザインターフェイスとを備える、情報抽出およびキュレーション装置。
【請求項１２】
特定の人間の管理人による後の情報抽出に動作モードを割当てるために１人以上の人間の管理人と前記キュレーションコンピュータ−ユーザインターフェイスとの相互作用を分析するように、または後の情報抽出のための情報抽出モードを変更するように、または情報抽出モードの性能を測定するように動作可能である、請求項１１に記載の情報抽出およびキュレーション装置。
【請求項１３】
管理人のスピードに関する１つ以上の測定基準を測定するように動作可能である、請求項１１または１２に記載の情報抽出およびキュレーション装置。
【請求項１４】
前記キュレーションコンピュータ−ユーザインターフェイスは、識別されたエンティティおよび／または関係が文書の表示デジタル表現においてハイライトされた状態で、文書の前記デジタル表現をユーザに表示するように動作可能である、請求項１１から１３のいずれか１つに記載の情報抽出およびキュレーション装置。
【請求項１５】
自然言語文書を含む文書のデジタル表現から、人間の管理人による見直しのためのデータを抽出する方法であって、
請求項１から１０のいずれか１つに係る自動情報抽出装置ならびに請求項１１から１４のいずれか１つに係る情報抽出およびキュレーション装置を提供するステップと、
複数の前記動作モードの中から動作モードを選択するステップと、
選択された前記動作モードで前記自動情報抽出装置を機能させて、人間の管理人による見直しのためのデータを抽出するステップとを備える方法。
【請求項１６】
前記動作モードは、抽出された前記データを見直すことになる、人間の管理人のグループ内の前記人間の管理人に依存して選択される、請求項１５に記載のデータを抽出する方法。
【請求項１７】
複数の動作モードで情報抽出を実行して、複数の人間の管理人による見直しのためのデータを抽出するステップを備える、請求項１６に記載のデータを抽出する方法。
【請求項１８】
文書のデジタル表現の特定的なバッチからデータを抽出するために採用すべき情報抽出モードに関する指示を受けるステップと、
その後、特定的な情報抽出モジュールを用いて文書のデジタル表現の特定された前記バッチからデータを抽出するステップとを備える、請求項１５から１７のいずれか１つに記載のデータを抽出する方法。
【請求項１９】
自然言語文書を含む文書のデジタル表現から、人間の管理人による見直しのためのデータを抽出するように動作可能な自動情報抽出装置を最適化する方法であって、
（ｉ）  情報抽出モジュールを用いて、自然言語文書を含む文書の少なくとも１つのデジタル表現からデータを抽出するステップと、
（ii）  抽出された前記データを見直しのために人間の管理人に提示し、かつ前記人間の管理人とコンピュータ−ユーザインターフェイスとの相互作用を分析するコンピュータ−ユーザインターフェイスを提供するステップと、
（iii）  前記情報抽出モジュールおよびコンピュータ−ユーザインターフェイスを用いて抽出データを見直す前記人間の管理人の後の作業の改良を容易にするために、分析された前記相互作用に応じて前記情報抽出モジュールを変更するステップとを備え、前記情報抽出モジュールは、前記情報抽出モジュールの精度と再現率とのバランスを変得るように変更される、方法。
【請求項２０】
前記人間の管理人と前記コンピュータ−ユーザインターフェイスとの前記相互作用の分析は、管理人のスピードに関する１つ以上の測定基準を測定するステップを備える、請求項１９に記載の方法。
【請求項２１】
前記人間の管理人と前記コンピュータ−ユーザインターフェイスとの前記相互作用の分析は、抽出されたデータを発見、編集または確認するように動作可能なサーチエンジンを用いて、管理人によってなされたサーチの数に関する測定基準を測定するステップを備える、請求項１９または２０に記載の方法。
【請求項２２】
前記情報抽出モジュールは、文書のデジタル表現内のエンティティおよび／または関係を識別するように動作可能であり、前記コンピュータ−ユーザインターフェイスは、識別されたエンティティおよび／または関係が文書内にハイライトされた状態で前記文書のデジタル表現の少なくとも一部を表示するように動作可能である、請求項１９から２１のいずれか１つに記載の方法。
【請求項２３】
前記情報抽出モジュールに対する変更は、最適化である、請求項１９から２２のいずれか１つに記載の方法。
【請求項２４】
演算装置上で実行されると、前記演算装置を請求項１から１０のいずれか１つに記載の自動情報抽出装置もしくは請求項１１から１４のいずれか１つに記載の情報抽出およびキュレーション装置のように機能させるか、または前記演算装置に請求項１５から２３のいずれか１つに記載の方法を実行させる、コンピュータプログラム指示を格納するコンピュータ読取可能担体。
【国際調査報告】
2011501258.tif 000016
2011501258.tif 000017
2011501258.tif 000018