"抽出対象の文字列である正例エンティティの集合から選択した第1正例エンティティと前記正例エンティティの属性を表す文字列である正例属性の集合から選択した第1正例属性との組である第1正例エンティティ-正例属性ペアを生成し、テキストデータの集合から、前記第1正例エンティティと前記第1正例属性との組を含む文字列を選択し、選択した当該文字列に対する前記第1正例エンティティ-正例属性ペアの特徴を表す情報を当該第1正例エンティティ-正例属性ペアの素性の少なくとも一部とする属性識別用素性抽出部と、前記第1正例エンティティ-正例属性ペアの素性を教師あり学習データとした学習処理によって、任意の文字列であるエンティティと当該エンティティの属性との組であるエンティティ-属性ペアの素性を入力として当該エンティティ-属性ペアが正例エンティティ-正例属性ペアであるかを識別するための情報を出力する関数である第1識別モデルを生成する属性識別学習部と、前記テキストデータの集合から何れかの前記テキストデータを選択し、選択した当該テキストデータが含む文字列を第1対象エンティティとして選択し、選択した当該テキストデータから当該第1対象エンティティと異なる文字列を第1対象属性として選択し、前記第1対象エンティティと前記第1対象属性との組を第1対象エンティティ-対象属性ペアとし、選択した当該テキストデータ内での前記第1対象エンティティ-対象属性ペアの特徴を表す情報を当該第1対象エンティティ-対象属性ペアの素性の少なくとも一部とし、当該第1対象エンティティ-対象属性ペアの素性を前記第1識別モデルに入力して当該第1対象エンティティ-対象属性ペアが正例エンティティ-正例属性ペアであるかを識別するための情報を得る属性識別部と、前記第1対象エンティティ-対象属性ペアが含む前記第1対象属性の集合の部分集合を、属性修正候補の集合として選択する属性修正候補選択部と、前記属性修正候補の集合を出力する属性修正候補提示部と、前記属性修正候補の集合の何れかの要素を特定する属性修正情報が入力される属性修正情報取得部と、前記第1対象属性の集合から前記属性修正情報で特定される要素を除いた補集合に含まれる要素を、前記正例属性の集合の要素とする属性修正情報反映部と、を有するデータ抽出装置。請求項1のデータ抽出装置であって、前記属性修正候補選択部は、前記第1対象エンティティ-対象属性ペアの集合が含む特定の要素に対する素性についての関連性の強さが第1基準を満たす他の要素の個数に対応する情報を、当該特定の要素である第1対象エンティティ-対象属性ペアの影響度とし、当該影響度に対応するスコアが第2基準を満たす第1対象エンティティ-対象属性ペアが含む前記第1対象属性の集合を前記属性修正候補の集合とする、ことを特徴とするデータ抽出装置。請求項2のデータ抽出装置であって、前記属性修正情報反映部は、少なくとも、前記属性修正情報で特定される属性修正候補と、当該属性修正情報で特定される属性修正候補を含む第1対象エンティティ-対象属性ペアとの間での素性についての関連性の強さが第3基準を満たす他の第1対象エンティティ-対象属性ペアが含む属性修正候補とを除く、前記属性修正候補の集合の要素を、前記正例属性の集合に追加する、ことを特徴とするデータ抽出装置。請求項2又は3のデータ抽出装置であって、前記素性についての関連性の強さは、前記素性の類似度の大きさである、ことを特徴とするデータ抽出装置。請求項2又は3のデータ抽出装置であって、前記第1対象エンティティ-対象属性ペアの素性は複数の値の集合であり、前記第1対象エンティティ-対象属性ペアの集合が含む特定の要素と他の要素との間での前記素性についての関連性の強さは、当該他の要素の素性を前記第1識別モデルに入力して得られる情報と、当該他の要素の素性から当該特定の要素の素性と共通するものを除いたものを前記第1識別モデルに入力して得られる情報との違いの大きさである、ことを特徴とするデータ抽出装置。請求項2から5の何れかのデータ抽出装置であって、前記エンティティ-属性ペアが正例エンティティ-正例属性ペアであるかを識別するための情報は、前記エンティティ-属性ペアが正例エンティティ-正例属性ペアである確率を表す信頼度であり、前記スコアは、さらに前記属性識別部で得られる前記信頼度に対応する、ことを特徴とするデータ抽出装置。請求項2から6の何れかのデータ抽出装置であって、前記属性識別学習部は、前記第1正例エンティティ-正例属性ペアの集合を前記第1正例エンティティ-正例属性ペアの部分集合ごとに区分し、当該部分集合に属する前記第1正例エンティティ-正例属性ペアの素性を入力として当該部分集合にそれぞれ対応する前記第1識別モデルを生成し、前記属性識別部は、前記第1対象エンティティ-対象属性ペアの素性を前記部分集合にそれぞれ対応する前記第1識別モデルに入力し、前記部分集合ごとに当該第1対象エンティティ-対象属性ペアが正例エンティティ-正例属性ペアである確率を表す信頼度を得、前記スコアは、さらに前記部分集合ごとの前記信頼度に対応する情報のばらつきの大きさを表す情報に対応する、ことを特徴とするデータ抽出装置。請求項1から7の何れかのデータ抽出装置であって、前記属性修正候補提示部から出力された前記属性修正候補の集合のうち、正例属性として不適切な要素を基準個数以上特定する前記属性修正情報が前記属性修正情報取得部に入力された場合に、前記属性修正候補選択部でより多くの要素からなる属性修正候補の集合を再び選択して前記属性修正候補提示部の処理と前記属性修正情報取得部の処理とをやり直し、前記属性修正候補提示部から出力された前記属性修正候補の集合のうち、正例属性として不適切な要素を前記基準個数以上特定しない前記属性修正情報が前記属性修正情報取得部に入力された場合に、前記属性修正情報反映部の処理を行う、ことを特徴とするデータ抽出装置。請求項1から8の何れかのデータ抽出装置であって、前記正例エンティティの集合から選択した第2正例エンティティと前記正例属性の集合から選択した第2正例属性との組である第2正例エンティティ-正例属性ペアを生成し、前記テキストデータの集合から、前記第2正例エンティティと前記第2正例属性との組を含む文字列を選択し、選択した当該文字列に対する前記第2正例エンティティ-正例属性ペアの特徴を表す情報を当該第2正例エンティティ-正例属性ペアの素性の少なくとも一部とするエンティティ識別用素性抽出部と、前記第2正例エンティティ-正例属性ペアの素性を教師あり学習データとした学習処理によって、任意の文字列であるエンティティと当該エンティティの属性との組であるエンティティ-属性ペアの素性を入力として当該エンティティ-属性ペアが正例エンティティ-正例属性ペアであるかを識別するための情報を出力する関数である第2識別モデルを生成するエンティティ識別学習部と、前記テキストデータの集合から何れかの前記テキストデータを選択し、選択した当該テキストデータが含む文字列を第2対象エンティティとして選択し、選択した当該テキストデータから当該第2対象エンティティと異なる文字列を第2対象属性として選択し、前記第2対象エンティティと前記第2対象属性との組を第2対象エンティティ-対象属性ペアとし、選択した当該テキストデータ内での前記第2対象エンティティ-対象属性ペアの特徴を表す情報を当該第2対象エンティティ-対象属性ペアの素性の少なくとも一部とし、当該第2対象エンティティ-対象属性ペアの素性を前記第2識別モデルに入力して当該第2対象エンティティ-対象属性ペアが正例エンティティ-正例属性ペアであるかを識別するための情報を得るエンティティ識別部と、前記第2対象エンティティ-対象属性ペアが含む前記第2対象エンティティの集合の部分集合を、エンティティ修正候補の集合として選択するエンティティ修正候補選択部と、前記エンティティ修正候補の集合を出力するエンティティ修正候補提示部と、前記エンティティ修正候補の集合の何れかの要素を特定するエンティティ修正情報が入力される属性修正情報取得部と、前記エンティティ修正候補の集合から前記エンティティ情報で特定される要素を除いた補集合に含まれる要素を、前記正例エンティティの集合に追加するエンティティ修正情報反映部と、を有するデータ抽出装置。請求項9のデータ抽出装置であって、前記第2正例エンティティ-正例属性ペアの素性は、前記第2正例エンティティ及び前記第2正例属性を含む文字列であって当該第2正例エンティティ及び当該第2正例属性を含むテキストデータに含まれるものと当該第2正例エンティティ及び当該第2正例属性との関係を表す情報を含み、前記第2対象エンティティ-対象属性ペアの素性は、前記第2対象エンティティ及び前記第2対象属性を含む文字列であって当該第2対象エンティティ及び当該第2対象属性を含むテキストデータに含まれるものと当該第2対象エンティティ及び当該第2対象属性との関係を表す情報を含む、ことを特徴とするデータ抽出装置。請求項1から10の何れかデータ抽出装置であって、前記第1正例エンティティ-正例属性ペアの素性は、前記第1正例エンティティ及び前記第1正例属性を含む文字列であって当該第1正例エンティティ及び当該第1正例属性を含むテキストデータに含まれるものと当該第1正例エンティティ及び当該第1正例属性との関係を表す情報を含み、前記第1対象エンティティ-対象属性ペアの素性は、前記第1対象エンティティ及び前記第1対象属性を含む文字列であって当該第1対象エンティティ及び当該第1対象属性を含むテキストデータに含まれるものと当該第1対象エンティティ及び当該第1対象属性との関係を表す情報を含む、ことを特徴とするデータ抽出装置。請求項1から11の何れかのデータ抽出装置であって、前記正例エンティティを含むテキストデータの集合から当該正例エンティティ以外の何れかの文字列を正例属性候補として選択し、前記正例エンティティを含む文字列の集合内に当該正例属性候補が含まれる頻度とすべてのテキストデータからなる集合内に当該正例属性候補が含まれる頻度との違いの大きさを表す指標が大きいものから所定数の正例属性候補を前記正例属性の初期値とする初期属性集合生成部をさらに有する、ことを特徴とするデータ抽出装置。請求項1から12の何れかのデータ抽出装置であって、前記属性識別部は、前記属性識別学習部で前記教師あり学習データとして用いられた前記第1正例エンティティ-正例属性ペアの素性のうち、それらから生成された前記第1識別モデルへの影響度の大きさを表す指標が特定の基準よりも大きな素性を選択し、選択した素性に対応する文字列を含む前記テキストデータを選択し、当該選択したテキストデータが含む文字列を前記第1対象エンティティ及び前記第1対象属性とする、ことを特徴とするデータ抽出装置。抽出対象の文字列である正例エンティティの集合から選択した第1正例エンティティと前記正例エンティティの属性を表す文字列である正例属性の集合から選択した第1正例属性との組である第1正例エンティティ-正例属性ペアを生成し、テキストデータの集合から、前記第1正例エンティティと前記第1正例属性との組を含む文字列を選択し、選択した当該文字列に対する前記第1正例エンティティ-正例属性ペアの特徴を表す情報を当該第1正例エンティティ-正例属性ペアの素性の少なくとも一部とする属性識別用素性抽出ステップと、前記第1正例エンティティ-正例属性ペアの素性を教師あり学習データとした学習処理によって、任意の文字列であるエンティティと当該エンティティの属性との組であるエンティティ-属性ペアの素性を入力として当該エンティティ-属性ペアが正例エンティティ-正例属性ペアであるかを識別するための情報を出力する関数である第1識別モデルを生成する属性識別学習ステップと、前記テキストデータの集合から何れかの前記テキストデータを選択し、選択した当該テキストデータが含む文字列を第1対象エンティティとして選択し、選択した当該テキストデータから当該第1対象エンティティと異なる文字列を第1対象属性として選択し、前記第1対象エンティティと前記第1対象属性との組を第1対象エンティティ-対象属性ペアとし、選択した当該テキストデータ内での前記第1対象エンティティ-対象属性ペアの特徴を表す情報を当該第1対象エンティティ-対象属性ペアの素性の少なくとも一部とし、当該第1対象エンティティ-対象属性ペアの素性を前記第1識別モデルに入力して当該第1対象エンティティ-対象属性ペアが正例エンティティ-正例属性ペアであるかを識別するための情報を得る属性識別ステップと、前記第1対象エンティティ-対象属性ペアが含む前記第1対象属性の集合の部分集合を、属性修正候補の集合として選択する属性修正候補選択ステップと、前記属性修正候補の集合を出力する属性修正候補提示ステップと、前記属性修正候補の集合の何れかの要素を特定する属性修正情報が入力される属性修正情報取得ステップと、前記第1対象属性の集合から前記属性修正情報で特定される要素を除いた補集合に含まれる要素を、前記正例属性の集合の要素とする属性修正情報反映ステップと、を有するデータ抽出方法。請求項1から13の何れかのデータ抽出装置の各部としてコンピュータを機能させるためのプログラム。従来のsetexpansionにはセマンティックドリフトという課題が存在する。例えば球団名を表すという正例シードエンティティに対して、従来のsetexpansionにより正例エンティティが獲得できたとする。は飲料名でもあるので、を新たに正例エンティティに追加することで次のイテレーションでは等の飲料系のエンティティが正例エンティティとして獲得されるようになり、獲得される正例エンティティの話題がシフトしていく可能性がある。このように獲得される正例エンティティの話題がシフトしていく現象をセマンティックドリフトと呼ぶ。非特許文献2で述べられている手法は、セマンティックドリフトを抑制する手段として効果的である。しかしながら、非特許文献2では、ユーザによって修正されたエンティティをどのように用いるのかが効果的かという点に着目されており、どのような情報をユーザに確認させるのが効果的かという点については提案されていない。本発明はこのような点に鑑みてなされたものであり、人手による修正コストを小さくし、かつ、セマンティックドリフトを効率的に軽減する技術を提供することを目的とする。抽出対象の文字列である正例エンティティの集合から選択した第1正例エンティティと正例エンティティの属性を表す文字列である正例属性の集合から選択した第1正例属性との組である第1正例エンティティ-正例属性ペアを生成し、テキストデータの集合から、第1正例エンティティと第1正例属性との組を含む文字列を選択し、選択した当該文字列に対する第1正例エンティティ-正例属性ペアの特徴を表す情報を当該第1正例エンティティ-正例属性ペアの素性の少なくとも一部とする。第1正例エンティティ-正例属性ペアの素性を教師あり学習データとした学習処理によって、任意の文字列であるエンティティと当該エンティティの属性との組であるエンティティ-属性ペアの素性を入力として当該エンティティ-属性ペアが正例エンティティ-正例属性ペアであるかを識別するための情報を出力する関数である第1識別モデルを生成する。テキストデータの集合から何れかのテキストデータを選択し、選択した当該テキストデータが含む文字列を第1対象エンティティとして選択し、選択した当該テキストデータから当該第1対象エンティティと異なる文字列を第1対象属性として選択し、第1対象エンティティと第1対象属性との組を第1対象エンティティ-対象属性ペアとし、選択した当該テキストデータ内での第1対象エンティティ-対象属性ペアの特徴を表す情報を当該第1対象エンティティ-対象属性ペアの素性の少なくとも一部とし、当該第1対象エンティティ-対象属性ペアの素性を第1識別モデルに入力して当該第1対象エンティティ-対象属性ペアが正例エンティティ-正例属性ペアであるかを識別するための情報を得る。第1対象エンティティ-対象属性ペアが含む第1対象属性の集合の部分集合を、属性修正候補の集合として選択し、属性修正候補の集合を出力する。属性修正候補の集合の何れかの要素を特定する属性修正情報が入力され、第1対象属性の集合から属性修正情報で特定される要素を除いた補集合に含まれる要素を、正例属性の集合の要素とする。本発明では、属性修正候補の集合を出力し、その何れかの要素を特定する属性修正情報が入力され、属性修正情報を用いて正例属性の集合の要素とする属性を定める。これによって正例属性の集合の要素を人手によって処理できるが、属性は一以上のエンティティに対応する場合が多く、人手による属性の処理コストは人手による個々のエンティティの処理コストよりも小さい。本発明では、このように人手によって処理された正例属性の集合がエンティティの識別に反映されるため、セマンティックドリフトを効率的に軽減できる。以下、図面を参照して本発明の実施形態を説明する。第1実施形態<構成>図1に例示するように、第1実施形態のデータ抽出装置1は、記憶部101-105、制御部106、初期属性集合生成部107、属性識別用素性抽出部108、属性識別学習部109、属性識別部110、属性修正候補選択部111、属性修正候補提示部112、属性修正情報取得部113、基準更新部114、属性修正情報反映部115、エンティティ識別用素性抽出部116、エンティティ識別学習部117、エンティティ識別部118、収束判定部119、及び出力部120を有し、制御部106の制御のもと各処理を実行する。なお、データ抽出装置1は、例えば、CPU、RAM及びROM等を含む公知又は専用のコンピュータに特別なプログラムが読み込まれて構成される特別な装置である。記憶部101-105は、例えば、ハードディスクや半導体メモリなどであり、制御部106、初期属性集合生成部107、属性識別用素性抽出部108、属性識別学習部109、属性識別部110、属性修正候補選択部111、基準更新部114、属性修正情報反映部115、エンティティ識別用素性抽出部116、エンティティ識別学習部117、エンティティ識別部118、収束判定部119、及び出力部120は、例えば、特別なプログラムが読み込まれたCPUなどである。これらの少なくとも一部が集積回路などによって構成されてもよい。属性修正候補提示部112は、例えば、情報をユーザに提示するディスプレイなどのユーザインタフェース、又はそのようなユーザインタフェースに情報を出力する出力ポートなどである。属性修正情報取得部113は、例えば、ユーザからの情報の入力を受け付けるキーボード、マウスなどのユーザインタフェース、又はそのようなユーザインタフェースからの情報が入力される入力ポートなどである。また、図1に表記された矢印は情報の流れを表すが、表記の都合上一部の矢印が省略されている以降に述べる他のブロック図も同様。<前提>記憶部101にテキストデータの集合Dが格納される。テキストデータとは、文字テキストを含むデータを意味する。テキストデータの例は、文書データ、クエリ、語句を含む図表データ、フレーズデータ、単語列データなどである。本形態では、形態素解析、固有表現抽出、係り受け解析、文境界同定などの前処理を行った後の文書データをテキストデータとした例を示す。図4はこのようなテキストデータの集合Dを例示した図である。図4のテキストデータの集合Dでは、このような前処理を行った後の文書データであるテキストデータと当該テキストデータのIDとが対応付けられている。なお、本形態ではテキストデータが含む文字列をエンティティと呼び、抽出対象のエンティティを正例エンティティと呼び、抽出しない抽出対象としないエンティティを負例エンティティと呼ぶ。また、最初に入力されるエンティティをシードエンティティと呼び、正例のシードエンティティを正例シードエンティティと呼び、負例のシードエンティティを負例シードエンティティと呼ぶ。また、エンティティの特徴を表すテキストデータ中の文字列を属性と呼ぶ。このような文字列の例は、名詞、単語、単語列、フレーズ、文などである。属性の具体例はエンティティの前後W単語以内に存在する名詞である。なお、Wはウィンドウサイズを表す1以上の整数である。例えば阪神の試合速報というテキストデータ中のがエンティティであり、ウィンドウサイズをW3とした場合、とがエンティティの属性の候補とされる。互いに関連のある複数のエンティティには同一の属性が対応する。例えば、球団名であるエンティティと同じく球団名であるエンティティとは、同じやなどの属性が対応する。そのため、属性は探索対象となるエンティティが満たすべき制約条件となる。例えば、正例シードエンティティを球団名であるとし、同じく球団名であるというエンティティを獲得することを狙っていると仮定する。この場合、これらのエンティティに共通する属性はやなどであり、例えば、正例シードエンティティとその属性との組を用いてエンティティの識別が行われる。ここで、球団名であるは正例エンティティであるが、には飲料名としての意味もある。よってはセマンティックドリフトが起こりやすいエンティティである。しかしながら、飲料名であるエンティティの属性はやなどではなくやなどである。エンティティとその属性との組を用いることでエンティティがどのような意味を指すかを特定でき、セマンティックドリフトを軽減できる。さらに本形態では、人手によって属性を検証し、その結果を用いて正例属性の集合の要素を定める。人手による属性の処理コストは人手による個々のエンティティの処理コストよりも小さいため、セマンティックドリフトを効率的にさらに軽減できる。<データ抽出処理>図2及び3に例示するように、本形態では、エンティティと属性の更新を交互に行うcotraining方式を用いる。すなわち、ステップS103-S111では正例及び負例エンティティの更新は行われず、正例及び負例属性の更新のみが行われる。一方ステップS112-S114では正例及び負例属性の更新は行われず、正例及び負例エンティティの更新のみが行われる。以下、図2及び3を用いてデータ抽出装置1のデータ抽出処理を例示する。《初期化:ステップS101》制御部106がjの値をj1に初期化する。《初期属性集合生成:ステップS102》ユーザが欲するエンティティの例が正例シードエンティティRPe0として初期属性集合生成部107に入力される。例えば、などが正例シードエンティティとして入力される。また、負例シードエンティティRNe0が初期属性集合生成部107に入力される。例えば、などが負例シードエンティティとして入力される。正例シードエンティティRPe0は、ユーザによって選択されたものである。負例シードエンティティRNe0は、ユーザによって選択されたものであってもよいし、テキストデータの集合Dから半自動で生成されたものであってもよい。以下に負例シードエンティティRNe0を半自動で生成する方法を例示する。負例シードエンティティRNe0の半自動生成方法の例負例シードエンティティ生成部図示せずが、テキストデータの集合Dから、何れの正例シードエンティティRPe0も後述する正例属性RPa0も含まないテキストデータを所定個数抽出し、抽出した各テキストデータから1つずつランダムに名詞を選択し、それらを負例エンティティ候補として出力する。表示部図示せずはこれらの負例エンティティ候補を表示し、これらから負例シードエンティティを選択するようにユーザに促す表示を行う。ユーザによる選択内容は負例シードエンティティ生成部に入力され、負例シードエンティティ生成部は、選択された負例エンティティ候補を正例シードエンティティRPe0として出力する負例シードエンティティRNe0の半自動生成方法の例の説明終わり。初期属性集合生成部107は、入力された正例シードエンティティRPe0と負例シードエンティティRNe0と記憶部101に格納されたテキストデータの集合Dとを用い、正例シードエンティティRPe0の属性を表す文字列である正例属性RPa0の集合と、負例シードエンティティRNe0の属性を表す文字列である負例属性RNa0の集合とを生成する。Aまず初期属性集合生成部107が、正例シードエンティティRPe0を含むテキストデータの集合から当該正例エンティティRPe0以外の何れかの文字列を正例属性候補として選択する。例えば、初期属性集合生成部107は、記憶部101から正例シードエンティティRPe0を含む正例テキストを所定数取得し、各正例テキストにおいて正例シードエンティティRPe0と直接又は1文節を挟む係り受け関係にある単語のみを正例属性候補として抽出する。B次に初期属性集合生成部107は、正例シードエンティティRPe0を含む文字列の集合内に当該正例属性候補が含まれる頻度とすべてのテキストデータからなる集合D内に当該正例属性候補が含まれる頻度との違いの大きさを表す指標統計量を求め、当該指標が大きいものから所定数の正例属性候補、つまり、これらの頻度の違いが大きい当該正例属性候補を正例属性RPa0正例属性の初期値とする。これらの頻度の違いが大きい正例属性候補ほど正例シードエンティティRPe0との関連が強く、正例シードエンティティRPe0の正例属性RPa0にふさわしいといえる。以下にこのような指標を例示するが、その他の統計量を用いてもかまわない。指標の例指標の例1:指標の例1では、以下のχ2値を指標として用いる。χ2値が高い正例属性候補αほど、正例シードエンティティRPe0と関係の深い、即ち属性としてふさわしいといえる。よって、この例の初期属性集合生成部107は、χ2値が高い正例属性候補αを正例属性RPa0として抽出する。例えば、χ2値が基準値以上となる正例属性候補αを正例属性RPa0とする。指標の例2:指標の例2では、正例シードエンティティRPe0と正例属性候補αとの2項における以下のPMIを指標として用いる。ここでRPe0αは正例シードエンティティRPe0の集合と正例属性候補αとの組の出現頻度を表す。また、はRPe0又はαのワイルドカードを表す。PMI値が大きい正例属性候補αほど、正例シードエンティティRPe0と関係の深い、即ち属性としてふさわしいといえる。よって、この例の初期属性集合生成部107は、PMI値が大きな正例属性候補αを正例属性RPa0として抽出する。例えば、PMI値が基準値以上となる正例属性候補αを正例属性RPa0とする指標の例の説明終わり。この方法では、まずAで構文情報を用いて正例属性候補を粗く絞り込むため、Bでの計算時間を大幅に削減することができる。また、上記ABにより正例属性RPa0正例属性の初期値を抽出した後、適切な属性が選択されているか否かを人手によりチェックし、最終的な正例属性RPa0を決定してもよい。初期属性集合生成部107は、負例シードエンティティRNe0についても同様の処理を行い、負例属性RNa0を抽出する。すなわち、初期属性集合生成部107は、負例シードエンティティRNe0を含むテキストデータの集合から当該負例シードエンティティRNe0以外の何れかの文字列を負例属性候補として選択し、負例シードエンティティRNe0を含む文字列の集合内に当該負例属性候補が含まれる頻度とすべてのテキストデータからなる集合D内に当該負例属性候補が含まれる頻度との違いの大きさを表す指標が条件を満たす負例属性候補、つまり、これらの頻度の違いが大きな当該負例属性候補を負例属性RNa0負例属性の初期値とする。また、上述した方法の代わりに、初期属性集合生成部107が、負例シードエンティティRNe0とそれに対応する負例属性RNa0とを半自動で選択してもよい。例えば、初期属性集合生成部107は、テキストデータの集合Dから、何れの正例シードエンティティRPe0も正例属性RPa0も含まないテキストデータを所定個数抽出し、抽出した各テキストデータから2つずつランダムに名詞を選択し、一方を負例エンティティ候補、他方を負例属性候補として出力する。表示部図示せずはこれらを表示し、これらから負例シードエンティティRNe0とそれに対応する負例属性RNa0とを選択するようにユーザに促す表示を行う。ユーザによる選択内容は初期属性集合生成部107に入力され、初期属性集合生成部107は選択された負例シードエンティティRNe0及び負例属性RNa0の集合を出力する。初期属性集合生成部107は、正例シードエンティティRPe0の集合、負例シードエンティティRNe0の集合、抽出した正例属性RPa0の集合、及び負例属性RNa0の集合を出力する。例えば、初期属性集合生成部107は、図4のテキストデータの中から、正例シードエンティティRPe0を含むテキストとしてT1,T2,T10に対応するものを取得し、上記の処理によってT1T2に対応するテキストが含む正例属性RPa0の集合,,を抽出して出力する。同様に初期属性集合生成部107は、例えば、負例シードエンティティRNe0を含むテキストとしてT7に対応するものを取得し、負例属性RNa0の集合Rを抽出して出力する。《属性識別用素性抽出:ステップS103》正例エンティティRPej1の集合、負例エンティティRNej1の集合、正例属性RPaj1の集合、及び負例属性RNaj1の集合が、属性識別用素性抽出部108に入力される。属性識別用素性抽出部108は、正例エンティティRPej1の集合から選択した第1正例エンティティと正例属性RPaj1の集合から選択した第1正例属性との組である第1正例エンティティ-正例属性ペアPP1RPej1RPaj1と、負例エンティティRNej1の集合から選択した第1負例エンティティと負例属性RNaj1の集合から選択した第1負例属性との組である第1負例エンティティ-負例属性ペアPN1RNej1RNaj1とを生成する。PP1RPej1RPaj1やPN1RNej1RNaj1は、RPej1とRPaj1やRNej1とRNaj1の採り得るすべての組み合わせについて生成されてもよいし、それらの一部の組み合わせのみについて生成されてもよい。次に属性識別用素性抽出部108は、記憶部101に格納されたテキストデータの集合Dから、PP1RPej1RPaj1の正例エンティティRPej1と正例属性RPaj1との組を含む文字列である第1正例テキストを選択する。第1正例テキストの例は、テキストデータが含む文、フレーズ、単語列などである。第1正例テキストは、第1正例エンティティ-正例属性ペアPP1RPej1RPaj1とテキストデータとの組に対して1個以上抽出される。属性識別用素性抽出部108は、第1正例テキストに対する第1正例エンティティ-正例属性ペアPP1RPej1RPaj1の特徴を表す情報を当該第1正例エンティティ-正例属性ペアPP1RPej1RPaj1の素性fPajとする。この例では、第1正例テキストごとにPP1RPej1RPaj1の素性fPajが抽出される。PP1RPej1RPaj1の素性fPajの例は、第1正例テキスト正例エンティティRPej1及び正例属性RPaj1を含む文字列であってテキストデータに含まれるものと当該第1正例エンティティRPej1及び第1正例属性RPaj1との関係を表す情報である。このような情報であればどのようなものを素性として用いてもよい。例えば、何れかの正例エンティティRPej1及び正例属性RPaj1を含むテキストデータ内における当該正例属性RPaj1に一致する文字列一致属性から前後所定単語数以内第1正例テキスト内に位置する単語周辺単語の表記と当該一致属性に対する当該周辺単語の相対位置を表す情報との組表層素性、一致属性又は周辺単語の品詞情報品詞素性や固有名詞情報固有名詞素性や構文情報構文素性、テキストデータ内での一致属性の出現回数やテキストデータの集合D内での一致属性の出現回数出現回数素性のうち、少なくとも一つに対応する情報を素性fPajとすることができる。例えば、正例エンティティRPej1がexであり、正例属性RPaj1がeyであり、第1正例テキストが阪神は投手陣が好調であるとすると、抽出される素性fPajの例は以下のようになる。ここでは素性抽出の範囲をエンティティ及び属性の前後2単語以内と仮定している。表層素性:ex1はex2eyey-2ex,ey-1は,ey1陣,ey2が品詞素性:ex1助詞ey-1助詞,ey1名詞,ey1助詞固有名詞素性:exORGey-2ORG構文素性:exの階層eyの階層同様に、属性識別用素性抽出部108は、記憶部101に格納されたテキストデータの集合Dから、PN1RNej1RNaj1の負例エンティティRNej1と負例属性RNaj1との組を含む文字列である第1負例テキストを選択する。第1負例テキストの例は、テキストデータが含む文、フレーズ、単語列などである。第1負例テキストは、第1負例エンティティ-負例属性ペアPN1RNej1RNaj1とテキストデータとの組に対して1個以上抽出される。属性識別用素性抽出部108は、第1負例テキストに対する第1負例エンティティ-負例属性ペアPN1RNej1RNaj1の特徴を表す情報を当該第1負例エンティティ-負例属性ペアPN1RNej1RNaj1の素性fNajとする。この例では、第1負例テキストごとにPN1RNej1RNaj1の素性fNajが抽出される。PN1RNej1RNaj1の素性fNajの例は、第1負例テキスト負例エンティティRNej1及び負例属性RNaj1を含む文字列であってテキストデータに含まれるものと当該第1負例エンティティRNej1及び第1負例属性RNaj1との関係を表す情報である。その具体例は、上述した正例に対応するPP1RPej1RPaj1の素性fPajの場合と同様である。属性識別用素性抽出部108は、PP1RPej1RPaj1の素性fPajと正例を表すラベルとの組、及び、PN1RNej1RNaj1の素性fNajと負例を表すラベルとの組を出力する。図5Aは、属性識別用素性抽出部108が出力する組及び組を例示した図である。この例では、エンティティと属性の前後2単語の表記を素性としている。《属性識別学習:ステップS104》PP1RPej1RPaj1の素性fPajと正例を表すラベルとの組、及び、PN1RNej1RNaj1の素性fNajと負例を表すラベルとの組が属性識別学習部109に入力される。属性識別学習部109は、PP1RPej1RPaj1の素性fPajとPN1RNej1RNaj1の素性fNajとを教師あり学習データとした学習処理によって、第1識別モデルMEajを生成する。この第1識別モデルMEajは、任意の文字列であるエンティティと当該エンティティの属性との組であるエンティティ-属性ペアの素性を入力として当該ペアが正例エンティティ-正例属性ペアか負例エンティティ-負例属性ペアかを識別するための情報を出力する関数である。このような識別モデルMEajであればどのようなモデルであってもよい。識別モデルMEajの例は、正則化項付き最大エントロピーモデル参考文献1BergerALPietraVJDandPietraAmaximumentropyapproachtonaturallanguageprocessingSAD1996、正則化項付きの条件付きランダム場などである。各例の識別モデルMEajの学習では、教師あり学習データとして用いられたPP1RPej1RPaj1の素性fPajとPN1RNej1RNaj1の素性fNajとに対し、当該識別モデルMEajへの影響度の大きさを表す指標素性に対する重みが付され、これらが識別モデルMEajを特定するパラメータとなる。特に参考文献1-3で例示したようなモデルは、すべての素性に対して重みが付されるモデル例えば正則化項のない最大エントロピーモデルではなく、識別に有効と判断された素性のみについて重みが付される。以下、正則化項付き最大エントロピーモデルの具体例を示す。正則化項付き最大エントロピーモデルが用いられる場合、属性識別学習部109は、∈を学習データとして用い、条件付確率に対するエントロピーを最大化する各重みパラメータλqに対応するPλであるPを識別モデルMEajとする。ただし、であり、qは各学習データの組にそれぞれ対応するラベルであり、pは学習データにおけるxの出現頻度であり、fqはqに対応する素性関数である。ここで、各重みλqはqに対応する学習データの素性fPaj又はfNajの識別モデルMEajへの影響度の大きさを表す指標となる。また、正則化項付き最大エントロピーモデルの例では、すべての学習データの素性fPaj又はfNajに対して重みλqが付されるわけではなく、重要度の低い素性に対応する重みλqは付されない。すなわち、重要度の低い素性に対応する重みλqは0とされる。学習処理によって生成された第1識別モデルMEajは記憶部102に格納される。例えば、学習処理によって生成された第1識別モデルMEajのパラメータが記憶部102に格納される。《属性識別:ステップS105》属性識別部110は、記憶部101に格納されたテキストデータの集合Dから何れかのテキストデータを選択し、選択した当該テキストデータが含む文字列を第1対象エンティティRDejとして選択する。また属性識別部110は、選択した当該テキストデータから当該第1対象エンティティRDejと異なる文字列を第1対象属性RDajとして選択する。そして属性識別部110は、第1対象エンティティRDejと第1対象属性RDajとの組を第1対象エンティティ-対象属性ペアPD1RDejRDajとする。なお、テキストデータの集合Dからすべてのテキストデータが選択されてもよいが、すべてのテキストデータを対象とすることは計算効率上好ましくない。そのため、特定の方法で対象を限定して選択を行うことが望ましい。以下にその具体例を示す。選択方法の例第1条件:属性識別部110は、何れかの正例エンティティRPj1e又は負例エンティティRNj1eを含み、かつ当該エンティティRPj1e又RNj1eから任意のウィンドウサイズ内ここでは3単語とするに名詞を含むテキストデータを選択し、当該ウィンドウサイズ内の名詞を属性候補とする。第2条件:第1条件だけでは対象の数が膨大になる場合があるため、属性識別部110は、属性識別学習部109で教師あり学習データとして用いられたPP1RPej1RPaj1の素性fPajとPN1RNej1RNaj1の素性fNajのうち、それらから生成された第1識別モデルMEajへの影響度の大きさを表す指標例えば前述の重みλqが特定の基準を満たす素性、つまり、当該第1識別モデルMEajへの影響度が大きな素性fPaj及び/又はfNajを選択する。例えば、属性識別部110は、前述の重みλqの絶対値が閾値よりも大きな素性fPaj及び/又はfNajを選択する。属性識別部110は、選択した素性fPaj及び/又はfNajに対応する文字列を含むテキストデータを、第1条件で選択されたテキストデータの集合から選択する。属性識別部110は、当該選択したテキストデータが含む文字列を第1対象エンティティRDej及び第1対象属性RDajとする。例えば、属性識別部110は、選択した素性fPaj及び/又はfNajから表層素性の単語を抽出し、当該表層素性の単語を含むテキストデータを第1条件で選択されたテキストデータの集合から選択し、当該選択したテキストデータが含む文字列を第1対象エンティティRDej及び第1対象属性RDajとする。一例を挙げると、選択された素性がエンティティexの前2単語が表層素性と品詞素性の組み合わせで成り立つ素性FNCであった場合、属性識別部110は、選択した素性FNCから表層素性の単語VSを抽出し、第1条件で選択されたテキストデータの集合から、単語VSを含むテキストデータを選択する選択方法の例の説明終わり。属性識別用素性抽出部108は、記憶部101に格納されたテキストデータの集合Dから、第1対象エンティティRDejと第1対象属性RDajとの組を含む文字列である第1対象テキストを選択する。第1対象テキストの例は、テキストデータが含む文、フレーズ、単語列などである。第1対象テキストは、第1対象エンティティ-対象属性ペアPD1RDejRDajとテキストデータとの組に対して1個以上抽出される。属性識別用素性抽出部108は、第1対象テキストに対する第1対象エンティティ-対象属性ペアPD1RDejRDajの特徴を表す情報を当該第1対象エンティティ-対象属性ペアPD1RDejRDajの素性fDajとする。この例では、第1対象テキストごとにPD1RDejRDajの素性fDajが抽出される。PD1RDejRDajの素性fDajの例は、第1対象テキスト第1対象エンティティRDej及び第1対象属性RDaj1を含む文字列であってテキストデータに含まれるものと第1対象エンティティRDej及び第1対象属性RDaj1との関係を表す情報である。その具体例は、上述した正例に対応するPP1RPej1RPaj1の素性fPajの場合と同様である。第1対象テキストに対応するPD1RDejRDajの素性fDajは、属性識別部110に入力される。属性識別部110は、PD1RDejRDajの素性fDajを記憶部102から読み出した第1識別モデルMEajに入力し、PD1RDejRDajが正例エンティティ-正例属性ペアかを識別するための情報CPaj、及び/又は、PD1RDejRDajが負例エンティティ-負例属性ペアかを識別するための情報CNajを得る。CPajの例はPD1RDejRDajが正例エンティティ-正例属性ペアである確率を表す信頼度であり、CNajの例はPD1RDejRDajが負例エンティティ-負例属性ペアである確率を表す信頼度に対応する情報CNajである。識別モデルMEajとして正則化項付き最大エントロピーモデルが用いられる場合には、例えば、xfDajを識別モデルMEajであるPに代入して得られる条件付確率P及び/又はPがCPajP及び/又はCNajPとされる。その他、例えばPの広義単調増加関数値がCPajとされ、及び/又は、Pの広義単調増加関数値がCNajとされてもよい。次の属性識別部110の処理はどのようなCPaj,CNajを用いるかによって相違する。以下、それぞれのケースについて説明する。[正例側に対するCPajと負例側に対するCPajとの正負符号が反転する場合]負例側のCPajの正負符号が正例側のCPajと反対になる場合例えば、負例側のCPajが常に負となる場合等、属性識別部110は、PD1RDejRDajと当該PD1RDejRDajの素性fDaj及びCPajとを属性修正候補選択部111に送る。[正例側に対するCPajと負例側に対するCPajとの正負符号が反転するとは限らない場合]属性識別部110は、PD1RDejRDajに対応するCPaj及び/又はCNajを用い、PD1RDejRDajが負例エンティティ-負例属性ペアかを識別する。属性識別部110は、所定の閾値とCPaj及び/又はCNajとを比較してこの識別を行う。以下に識別方法を例示する。例1:属性識別部110は、CPajが第1閾値以下例えば0以下である場合に、当該CPajに対応するPD1RDejRDajが負例エンティティ-負例属性ペアであると判定する。例2:属性識別部110は、CNajが第2閾値以上である場合に、当該CNajに対応するPD1RDejRDajが負例エンティティ-負例属性ペアであると判定する。例3:属性識別部110は、CNajが第2閾値以上であり、かつ、CPajが第1閾値以下である場合に、当該CNaj及びCPajに対応するPD1RDejRDajが負例エンティティ-負例属性ペアであると判定する。属性識別部110は、負例エンティティ-負例属性ペアであると判定したPD1RDejRDajの第1対象属性RDajを負例属性RNajとして記憶部103に格納し、負例属性RNajの集合に追加する。さらに属性識別部110は、負例エンティティ-負例属性ペアであると判定されなかったPD1RDejRDajと当該PD1RDejRDajの素性fDaj及びCPajとを属性修正候補選択部111に送る。《属性修正候補選択:ステップS106》属性修正候補選択部111は、入力されたPD1RDejRDajが含む第1対象属性RDajの集合の部分集合を属性修正候補CRPajの集合として選択する。属性修正候補CRPajの集合の要素は正例属性の候補としてユーザに提示され、人手によるラベル修正正例から負例への修正、又は正例からラベルなしへの修正の候補とされる。入力されたPD1RDejRDajが含む第1対象属性RDajの集合が属性修正候補CRPajの集合とされてもよいし、当該第1対象属性RDajの集合の一部が属性修正候補CRPajの集合とされてもよい。ただ、人手による修正コストをできるだけ小さくし、かつ、セマンティックドリフトをより効率的に軽減するためには、それに適した基準で属性修正候補CRPajの集合が選択されることが望ましい。基本的には、人手によるラベル修正によって得られる情報量の多い第1対象属性RDajや、正例属性であることの信頼度がデータ抽出装置1にとって低い第1対象属性RDajが、属性修正候補CRPajの集合として有益である。有益な第1対象属性RDajを選んで属性修正候補CRPajの集合としてユーザに提示できれば、ユーザが検討するデータの数を減らすことができユーザの負荷を減らし、かつ、学習処理に有益な正例属性RPajを効率よく得ることができる。以下、有益な第1対象属性RDajの集合を属性修正候補CRPajの集合として選択するための基準を例示する。[属性修正候補の集合を選択する基準の例示]属性修正候補選択部111は、例えば、第1対象属性RDajに対応するスコアSpを何らかの基準第2基準と比較し、その基準を満たす第1対象属性RDajの集合を属性修正候補CRPajの集合とする。例えば、スコアSpが閾値THp以上又は閾値THpを超えることとなる第1対象属性RDajを属性修正候補CRPajの集合の要素としてもよいし、スコアSpの大きい順に選択された上位M個Mは正整数の第1対象属性RDajを属性修正候補CRPajの集合の要素としてもよい。スコアSpは、人手によるラベル修正によって得られる情報量が多い影響度が大きいほど大きくなるものであってもよいし、正例属性であることの信頼度がデータ抽出装置1にとって低いほど大きくなるものであってもよいし、それらの両方の特徴を備えたものであってもよい。以下、スコアSpの例を示す。[影響度に対応するスコアの例]この例では、属性修正候補選択部111に入力されたPD1RDejRDajの集合が含む特定の要素に対する素性についての関連性の強さが何らかの基準第1基準を満たす他の要素の個数に対応する情報を、当該特定の要素である第1対象エンティティ-対象属性ペアの影響度Ppとし、影響度Ppに対応するスコアSpが用いられる。属性修正候補選択部111は、影響度Ppに対応するスコアSpが第2基準を満たすPD1RDejRDajが含む第1対象属性RDajの集合を属性修正候補CRPajの集合とする。影響度PpがそのままスコアSpとされてもよいし、影響度Ppに対する広義単調増加関数値がスコアSpとされてもよい。影響度Ppは、後述するステップS111でSIMやFMMなどに基づくアクティブラーニング法が用いられる場合に、人手によるラベル修正によって得られる情報量の大きさを表わす。すなわち、SIMやFMMに基づくアクティブラーニング法では、人手で修正された情報と素性について関連性が強い情報を自動的に修正する。よって、人手で修正された要素に対する素性について関連性の強さが何らかの基準を満たす他の要素の個数に対応する影響度Ppは、人手での修正に伴って自動的に修正される要素の個数に対応する。そのため、影響度Ppは人手によるラベル修正によって得られる情報量の大きさを表わす。人手での修正に伴って自動的に修正される要素の個数が影響度Ppとされてもよいし、人手での修正に伴って自動的に修正される要素の個数の広義単調増加関数値などが影響度Ppとされてもよい。以下に影響度Ppの具体例を示す。影響度Ppの具体例1:影響度Ppの具体例1は、後述するステップS111でSIM又はそれに類似の処理が用いられる場合に特に有効なものである。この例では、上述の素性についての関連性の強さが素性の類似度の大きさとされる。すなわち、属性修正候補選択部111に入力されたPD1RDejRDajの集合が含む特定の要素に対する素性の類似度の大きさが何らかの基準を満たすような他の要素の個数に対応する情報を、当該特定の要素である第1対象エンティティ-対象属性ペアの影響度Ppとする。言い換えると、当該特定の要素の素性と類似する類似度が何らかの基準を満たす素性を持つ要素の個数に対応する情報を当該特定の要素の影響度Ppとする。例えば、当該特定の要素の素性との類似度が基準値以上となる素性を持つ他の要素の個数がそのまま影響度Ppとされてもよいし、この要素の個数の広義単調増加関数値などが影響度Ppとされてもよい。類似度としてどのような尺度を用いるかについての限定はないが、コサイン類似度や、PMIで重み付けされた素性のコサイン類似度などを例示できる例えば、非特許文献2参照。例えば、PD1RDejRDajの集合が含む特定の要素xに対応するPMIで重み付けされた素性と、PD1RDejRDajの集合が含む他の要素yに対応するPMIで重み付けされた素性とコサイン類似度cosineは、以下のように表わされる。ただし、fiは素性を表し、iは各素性fiの正整数インデックスを表す。φは要素xの素性がfiを含むときに1を与える素性関数であり、であり、xfiはテキストデータの集合Dにおいてxとfiが同時に出現する頻度を表し、はfi又はxのワイルドカードを表す。影響度Ppの具体例2:影響度Ppの具体例2は、後述するステップS111でFMM又はそれに類似の処理が用いられる場合に特に有効なものである。PD1RDejRDajの素性がそれぞれ複数の値の集合であることを前提とする。この例でのPD1RDejRDajの集合の特定の要素と他の要素との間での素性についての関連性の強さは、当該他の要素の素性を第1識別モデルに入力して得られる情報と、当該他の要素の素性から当該特定の要素の素性と共通するものを除いたものを第1識別モデルに入力して得られる情報と、の違いの大きさ変動量である。例えば、PD1RDejRDajの集合の特定の要素と他の要素との間での素性についての関連性の強さは、当該他の要素の素性を第1識別モデルに入力して得られる信頼度正例であることの信頼度と、当該他の要素の素性から当該特定の要素の素性と共通するものを除いたものすなわちこれらの素性のインターセクションを除去したものを第1識別モデルに入力して得られる信頼度正例であることの信頼度との変動量特定の要素の素性を基準とした変動量である。例えば、PD1RDejRDajの集合が含む特定の要素の素性がf1f2f3であり、他の要素の素性がf2f3f4f5であり、素性f2f3f4f5を第1識別モデルに入力して得られる信頼度がPAであり、素性f2f3f4f5から素性f1f2f3と共通するものを除いた素性f4f5を第1識別モデルに入力して得られる信頼度がPBであるとする。この例の場合、PAとPBとの間の変動量が当該特定の要素と当該他の要素との間での素性についての関連性の強さとなる。このような変動量が大きい当該他の要素ほど、当該特定の要素との間での素性についての関連性が強いといえる。具体例2では、当該変動量が何らかの基準を満たすような他の要素の個数に対応する情報を、当該特定の要素である第1対象エンティティ-対象属性ペアの影響度Ppとする。例えば、このような変動量が基準値以上となる素性を持つ他の要素の個数がそのまま影響度Ppとされてもよいし、この要素の個数の広義単調増加関数値などが影響度Ppとされてもよい。[信頼度に対応するスコアの例]この例では、PD1RDejRDajが正例エンティティ-正例属性ペアである確率を表す信頼度に対応するスコアSpを用いる。信頼度が低いPD1RDejRDajが含む第1対象属性RDajほど人手による修正が効果的であると考えられるため、信頼度に対応するスコアSpを用いることは有効である。この例では、信頼度が小さいほど大きくなるスコアSpを用いる。例えば、属性修正候補選択部111に入力されるPD1RDejRDajに対応するCPajが当該PD1RDejRDajが正例エンティティ-正例属性ペアである確率を表す信頼度であるとし、CPajの逆数がスコアSpとされてもよいし、CPajの広義単調減少関数値がSpとされてもよい。[影響度及び信頼度に対応するスコアの例]この例では、上述の影響度及び信頼度に対応するスコアSpが用いられる。この例では、上述の影響度が大きいほど大きくなり、かつ、上述の信頼度が大きくなるほど小さくなるスコアSpが用いられる。例えば、SpPpCPajとされてもよいし、PpCPajの広義単調増加関数値がスコアSpとされてもよい。《属性修正候補提示:ステップS107》属性修正候補選択部111で選択された属性修正候補CRPajの集合は属性修正候補提示部112に送られる。属性修正候補提示部112は、属性修正候補CRPajの集合を出力する。例えば、属性修正候補提示部112は、属性修正候補CRPajの集合をリストとして表示する。この際、例えば、各属性修正候補CRPajに対応する第1対象エンティティRDejやスコアSpなどの情報も併せて属性修正候補提示部112に送られ、表示されてもよい。ユーザはこのように表示された属性修正候補CRPajの集合を閲覧する。《属性修正情報取得:ステップS108》属性修正候補CRPajの集合を閲覧したユーザはそれらの要素が本当に正例であるか否かを検証し、属性修正候補CRPajの集合から正例属性として適切ではない要素を選択する。ユーザはその選択結果に基づき、属性修正候補CRPajの集合の何れかの要素を特定する属性修正情報を属性修正情報取得部113に入力する。属性修正情報は、ユーザが正例属性として適切ではないと判断した要素を特定可能な情報である。例えば、ユーザが正例属性として適切ではないと判断した属性修正候補CRPajを示す情報が属性修正情報とされてもよいし、逆にユーザが正例属性として適切であると判断した属性修正候補CRPajを示す情報が属性修正情報とされてもよい。このように属性修正情報取得部113に入力された属性修正情報は、基準更新部114及び属性修正情報反映部115に送られる。《条件判定:ステップS109,S110》基準更新部114は、属性修正候補提示部112から出力された属性修正候補CRPajの集合のうち、正例属性として不適切な要素を基準個数以上特定する属性修正情報が属性修正情報取得部113に入力されたかを判定する。基準個数は、属性修正候補提示部112から出力されたすべての属性修正候補CRPajの個数であってもよいし、それ以下の個数であってもよい。すなわち、属性修正候補提示部112から出力されたすべての属性修正候補CRPajが正例属性として不適切とされたかが判定されてもよいし、属性修正候補提示部112から出力された属性修正候補CRPajのうち閾値以上の属性修正候補が正例属性として不適切とされたかが判定されてもよいステップS109。ここで、正例属性として不適切な要素を基準個数以上特定する属性修正情報が属性修正情報取得部113に入力されたと判定された場合、基準更新部114はステップS106で属性修正候補CRPajの集合として選択される要素が増加するように、属性修正候補選択部111での基準第2基準を更新する。例えば、ステップS106において、スコアSpが閾値THp以上となる第1対象属性RDajを属性修正候補CRPajの集合の要素とされるのであれば閾値THpを低くする。例えば、ステップS106において、スコアSpの大きい順に選択された上位M個の第1対象属性RDajを属性修正候補CRPajの集合の要素とされるのであればMの値を大きくする。閾値THpや値Mなどの初期値や更新のステップ幅は自由に設定することができるステップS110。その後ステップS106に戻る。これにより、属性修正候補選択部111でより多くの要素からなる属性修正候補の集合が再び選択され、属性修正候補提示部112の処理と属性修正情報取得部113の処理とがやり直される。一方、正例属性として不適切な要素を基準個数以上特定しない属性修正情報が属性修正情報取得部113に入力されたと判定された場合、以下の属性修正情報反映部115の処理が実行される。《属性修正情報反映:ステップS111》ステップS105で負例エンティティ-負例属性ペアであると判定されなかったPD1RDejRDajの集合と、属性修正情報取得部113に入力された属性修正情報とが属性修正情報反映部115に入力される。属性修正情報反映部115は、入力されたPD1RDejRDajが含む第1対象属性RDajの集合から属性修正情報で特定される要素を除いた補集合に含まれる要素を、正例属性RPajの集合の要素とする。以下にこの処理を例示する。[処理例1]この例の属性修正情報反映部115は、少なくとも、属性修正情報で特定される属性修正候補CRPajと、当該属性修正情報で特定される属性修正候補CRPajを含む第1対象エンティティ-対象属性ペアとの間での素性についての関連性の強さが何らかの基準第3基準を満たす他の第1対象エンティティ-対象属性ペアが含む属性修正候補CRPajとを除く、属性修正候補の集合の要素を、正例属性RPajの集合に追加する。ここで、素性についての関連性の強さは、例えば、前述の影響度Ppの具体例1で説明した素性の類似度の大きさであってもよいし、前述の影響度Ppの具体例2で説明した変動量であってもよい。素性についての関連性の強さが素性の類似度の大きさである場合例えばSIMの処理、属性修正情報反映部115は、入力されたPD1RDejRDajが含む第1対象属性RDajの集合から、以下SIM削除12を除外したものを正例属性RPajの集合として記憶部103に格納し、当該除外した要素SIM削除12を負例属性RNajの集合として記憶部103に格納する。SIM削除1:属性修正情報によって特定された第1対象属性RDaj正例属性として適切ではないと判断された要素。SIM削除2:SIM削除1で除外された要素を含むPD1RDejRDajの素性と類似する類似度が何らかの基準を満たす素性を持つ他のPD1RDejRDajが含む第1対象属性RDaj。なお、類似度の尺度は、例えば、前述の影響度Ppの具体例1で説明したものと同様である。類似度が何らかの基準を満たすとは、例えば、類似度が基準値以上となることである。この基準値は前述の影響度Ppを定めるために用いたものと同一であってもよいし、異なるものであってもよい。一方、素性についての関連性の強さが前述の影響度Ppの具体例2で説明した変動量である場合例えばFMMの処理、属性修正情報反映部115は、入力されたPD1RDejRDajが含む第1対象属性RDajの集合から以下FMM削除12を除外したものを正例属性RPajの集合として記憶部103に格納し、FMM削除1で除外された要素を負例属性RNajの集合として記憶部103に格納する。FMM削除2で除外された要素のラベル付け正例負例判定は行われない。FMM削除1:属性修正情報によって特定された第1対象属性RDaj正例属性として適切ではないと判断された要素。FMM削除2:FMM削除1で除外された第1対象属性RDajを含むPD1RDejRDajの素性を基準とした変動量が大きい何らかの基準を満たす他のPD1RDejRDajが含む第1対象属性RDaj。[処理例2]この例の属性修正情報反映部115は、入力されたPD1RDejRDajが含む第1対象属性RDajの集合から属性修正情報で特定される第1対象属性RDaj正例属性として適切ではないと判断された要素を除いたものを正例属性RPajの集合として記憶部103に格納する。属性修正情報で特定される第1対象属性RDajは負例属性RNajの集合として記憶部103に格納される。《エンティティ識別用素性抽出:ステップS112》正例エンティティRPej1の集合、負例エンティティRNej1の集合、上記のように更新された正例属性RPajの集合及び負例属性RNajの集合がエンティティ識別用素性抽出部116に入力される。エンティティ識別用素性抽出部116は、正例エンティティRPej1の集合から選択した第2正例エンティティと正例属性RPajの集合から選択した第2正例属性との組である第2正例エンティティ-正例属性ペアPP2RPej1RPajと、負例エンティティRNej1の集合から選択した第2負例エンティティと負例属性RNajの集合から選択した第2負例属性との組である第2負例エンティティ-負例属性ペアPN2RNej1RNajとを生成する。PP2RPej1RPajやPN2RNej1RNajは、RPej1とRPajやRNej1とRNajの採り得るすべての組み合わせについて生成されてもよいし、それらの一部の組み合わせのみについて生成されてもよい。次にエンティティ識別用素性抽出部116は、記憶部101に格納されたテキストデータの集合Dから、PP2RPej1RPajの正例エンティティRPej1と正例属性RPajとの組を含む文字列である第2正例テキストを選択する。第2正例テキストの例は、テキストデータが含む文、フレーズ、単語列などである。第2正例テキストは、第2正例エンティティ-正例属性ペアPP2RPej1RPajとテキストデータとの組に対して1個以上抽出される。エンティティ識別用素性抽出部116は、第2正例テキストに対する第2正例エンティティ-正例属性ペアPP2RPej1RPajの特徴を表す情報を当該第2正例エンティティ-正例属性ペアPP2RPej1RPajの素性fPejとする。この例では、第2正例テキストごとにPP2RPej1RPajの素性fPejが抽出される。PP2RPej1RPajの素性fPejの例は、第2正例テキスト正例エンティティRPej1及び正例属性RPajを含む文字列であってテキストデータに含まれるものと当該第2正例エンティティRPej1及び第2正例属性RPajとの関係を表す情報である。その具体例は、前述ステップS103したPP1RPej1RPaj1の素性fPajの場合と同様である。同様に、エンティティ識別用素性抽出部116は、記憶部101に格納されたテキストデータの集合Dから、何れかの負例エンティティRNej1と負例属性RNajとの組を含む文字列である第2負例テキストを選択する。第2負例テキストの例は、テキストデータが含む文、フレーズ、単語列などである。第2負例テキストは、第2負例エンティティ-負例属性ペアPN2RNej1RNajとテキストデータとの組に対して1個以上抽出される。エンティティ識別用素性抽出部116は、第2負例テキストに対する第2負例エンティティ-負例属性ペアPN2RNej1RNajの特徴を表す情報を当該第2負例エンティティ-負例属性ペアPN2RNej1RNajの素性fNejとする。この例では、第2負例テキストごとにPN2RNej1RNajの素性fNejが抽出される。PN2RNej1RNajの素性fNejの例は、第2負例テキスト負例エンティティRNej1及び負例属性RNajを含む文字列であってテキストデータに含まれるものと当該第2負例エンティティRNej1及び第2負例属性RNajとの関係を表す情報である。その具体例は、前述ステップS103したPP1RPej1RPaj1の素性fPajの場合と同様である。エンティティ識別用素性抽出部116は、PP2RPej1RPajの素性fPejと正例を表すラベルとの組、及び、PN2RNej1RNajの素性fNejと負例を表すラベルとの組を出力する。図5Bは、エンティティ識別用素性抽出部116が出力する組及び組を例示した図である。この例では、エンティティと属性の前後2単語の表記を素性としている。《エンティティ識別学習:ステップS113》PP2RPej1RPajの素性fPejと正例を表すラベルとの組、及び、PN2RNej1RNajの素性fNejと負例を表すラベルとの組がエンティティ識別学習部117に入力される。エンティティ識別学習部117は、PP2RPej1RPajの素性fPejとPN2RNej1RNajの素性fNejとを教師あり学習データとした学習処理によって、第2識別モデルMEejを生成する。この第2識別モデルMEejは、任意の文字列であるエンティティと当該エンティティの属性との組であるエンティティ-属性ペアの素性を入力として当該ペアが正例エンティティ-正例属性ペアか負例エンティティ-負例属性ペアかを識別するための情報を出力する関数である。このような第2識別モデルMEejであればどのようなモデルであってもよい。例えば、前述の識別モデルMEejと同様に第2識別モデルMEejを生成すればよい。学習処理によって生成された第2識別モデルMEejは記憶部104に格納される。例えば、学習処理によって生成された第2識別モデルMEejのパラメータが記憶部104に格納される。《エンティティ識別:ステップS114》エンティティ識別部118は、記憶部101に格納されたテキストデータの集合Dから何れかのテキストデータを選択し、選択した当該テキストデータが含む文字列を第2対象エンティティRDejとして選択する。またエンティティ識別部118は、選択した当該テキストデータから当該第2対象エンティティRDejと異なる文字列を第2対象属性RDajとして選択する。そしてエンティティ識別部118は、第2対象エンティティRDejと第2対象属性RDajとの組を第2対象エンティティ-対象属性ペアPD2RDejRDajとする。なお、テキストデータの集合Dからすべてのテキストデータが選択されてもよいが、すべてのテキストデータを対象とすることは計算効率上好ましくない。そのため、特定の方法で対象を限定して選択を行うことが望ましい。以下にその具体例を示す。選択方法の例第1条件:エンティティ識別部118は、何れかの正例属性RPja又は負例属性RNjaを含み、かつ当該属性RPja又RNjaから任意のウィンドウサイズ内ここでは3単語とするに名詞を含むテキストデータを抽出し、ウィンドウサイズ内の名詞をエンティティ候補とする。第2条件:第1条件だけでは対象の数が膨大になる場合があるため、エンティティ識別部118は、エンティティ識別学習部117で教師あり学習データとして用いられたPP2RPej1RPajの素性fPejとPN2RNej1RNajの素性fNejのうち、それらから生成された第2識別モデルMEejへの影響度の大きさを表す指標例えば前述の重みλqが特定の基準を満たす素性、つまり、当該第2識別モデルMEejへの影響度が大きな素性fPej及び/又はfNejを選択する。例えば、エンティティ識別部118は、前述の重みλqの絶対値が閾値よりも大きな素性fPej及び/又はfNejを選択する。エンティティ識別部118は、選択した素性fPej及び/又はfNejに対応する文字列を含むテキストデータを、第1条件で選択されたテキストデータの集合から選択する。エンティティ識別部118は、当該選択したテキストデータが含む文字列を第2対象エンティティRDej及び第2対象属性RDajとする。例えば、エンティティ識別部118は、選択した素性fPej及び/又はfNejから表層素性の単語を抽出し、当該表層素性の単語を含むテキストデータを第1条件で選択されたテキストデータの集合から選択する。選択方法の例の説明終わり。エンティティ識別用素性抽出部116は、記憶部101に格納されたテキストデータの集合Dから、第2対象エンティティRDejと第2対象属性RDajとの組を含む文字列である第2対象テキストを選択する。第2対象テキストの例は、テキストデータが含む文、フレーズ、単語列などである。第2対象テキストは、第2対象エンティティ-対象属性ペアPD2RDejRDajとテキストデータとの組に対して1個以上抽出される。エンティティ識別用素性抽出部116は、第2対象テキストに対する第2対象エンティティ-対象属性ペアPD2RDejRDajの特徴を表す情報を当該第2対象エンティティ-対象属性ペアPD2RDejRDajの素性fDejとする。この例では、第2対象テキストごとにPD2RDejRDajの素性fDejが抽出される。PD2RDejRDajの素性fDejの例は、第2対象テキスト第2対象エンティティRDej及び第2対象属性RDaj1を含む文字列であってテキストデータに含まれるものと第2対象エンティティRDej及び第2対象属性RDaj1との関係を表す情報である。その具体例は、前述ステップS103したPP1RPej1RPaj1の素性fPajの場合と同様である。第2対象テキストに対応するPD2RDejRDajの素性fDejは、エンティティ識別部118に入力される。エンティティ識別部118は、PD2RDejRDajの素性fDejを記憶部104から読み出した第2識別モデルMEejに入力し、PD2RDejRDajが正例エンティティ-正例属性ペアか負例エンティティ-負例属性ペアかを識別する。ここで、エンティティ識別部118は、PD2RDejRDajを正例エンティティ-正例属性ペアであると識別した場合、当該PD2RDejRDajの第2対象エンティティRDejを正例エンティティRPejとして記憶部105に格納し、正例エンティティRPejの集合に追加する。また、エンティティ識別部118は、PD2RDejRDajが負例エンティティ-負例属性ペアであると識別した場合、当該PD2RDejRDajの第2対象エンティティRDejを負例エンティティRNejとして記憶部105に格納し、負例エンティティRNejの集合に追加する。すなわち、ステップS112-S114では正例及び負例属性の更新は行われず、正例及び負例エンティティの更新のみが行われる。《収束判定:ステップS115-S117》収束判定部119は、収束条件を満たしたかを判定する。以下に収束条件を例示する。収束条件の例収束条件の例1:この例の収束判定部119は、正例エンティティRPejに新たに割り当てられる対象エンティティRDejが存在しない場合に、収束条件を満たしたと判断する。収束条件の例2:この例の収束判定部119は、ステップS103からS114のイテレーションを基準回数以上繰り返しても新たに割り当てられる対象エンティティRDej1が存在しない場合に、収束条件を満たしたと判断する。収束条件の例3:この例の収束判定部119は、jの値が基準値以上となった場合に収束条件を満たしたと判断する収束条件の例の説明終わり/ステップS115。収束判定部119が収束条件を満たしたと判断した場合、ステップS103からS114のイテレーションが終了し、出力部120が記憶部105に格納されているすべての正例エンティティRPjeを出力して処理を終了するステップS117。それ以外の場合は、制御部19がj1を新たなjの値としステップS116、記憶部105に格納されている正例エンティティRPje及び負例エンティティRNje、記憶部103に格納されている正例属性RPja及び負例属性RNjaを属性識別用素性抽出部108に入力し、ステップS103からS114のイテレーションが実行される。<第1実施形態の特徴>本形態では、抽出対象となるエンティティよりも少ない情報量で特徴を表し得る属性のラベル正例か負例かを表すラベルを人手によって修正可能とする。これにより、エンティティのラベルのみを人手によって修正する場合に比べ、少ないコストでエンティティの識別精度を向上させることができる。基本的には、1つの属性を修正する場合と1つのエンティティを修正する場合とを比べると、前者によるエンティティの識別精度の向上効果の方が大きい。例えば、球団のエンティティを獲得したい場合に、ゴールが正例属性の候補として得られた場合にそれを修正することで得られる効果は、ヴェルディが正例エンティティの候補として得られた場合にそれを修正することで得られる効果よりも大きい。よって、本形態では、人手による修正コストを小さくし、セマンティックドリフトを効率的に抑制することができる。また、本形態では、エンティティとその属性との組を用いて識別を行うこととしたため、セマンティックドリフトを抑制することができる。例えばエンティティには曖昧性があり、エンティティの素性のみでは、エンティティが鉄道名と球団名のどちらを指すか識別できない。しかし、やの属性を付加した-や-を制約条件とすれば、それぞれのが異なる意味で用いられていることを識別できる。また、本形態では、cotraining方式を用いるため、精度の高い識別が可能となる。なお、上記では正例及び負例属性の更新ステップS103-S111を行った後に、正例及び負例エンティティの更新S112-S114を行う例を示した。しかし、正例及び負例エンティティの更新を行った後に正例及び負例属性の更新を行ってもよい。その他、本形態の方法はリソースであるテキストデータの種類によらず利用でき、適用範囲が広い。第2実施形態第1実施形態では属性のラベルのみを人手による修正対象としたが、第2実施形態ではさらにエンティティのラベルについても人手による修正対象とする。以下では第1実施形態との相違点を中心に説明し、第1実施形態と共通する事項については説明を省略する。<構成>図6は、第2実施形態のデータ抽出装置2の機能構成を例示するためのブロック図である。図6に例示するように、データ抽出装置2は、記憶部101-105、制御部106、初期属性集合生成部107、属性識別用素性抽出部108、属性識別学習部109、属性識別部110、属性修正候補選択部111、属性修正候補提示部112、属性修正情報取得部113、基準更新部114、属性修正情報反映部115、エンティティ識別用素性抽出部116、エンティティ識別学習部117、エンティティ識別部218、エンティティ修正候補選択部211、エンティティ修正候補提示部212、エンティティ修正情報取得部213、基準更新部214、エンティティ修正情報反映部215、収束判定部119、及び出力部120を有し、制御部106の制御のもと各処理を実行する。なお、データ抽出装置2は、例えば、CPU、RAM及びROM等を含む公知又は専用のコンピュータに特別なプログラムが読み込まれて構成される特別な装置である。<前提>第1実施形態と同じである。<データ抽出処理>図2及び7に例示するように、本形態でも、エンティティと属性の更新を交互に行うcotraining方式を用いる。すなわち、ステップS103-S111では正例及び負例エンティティの更新は行われず、正例及び負例属性の更新のみが行われる。一方ステップS112-S211では正例及び負例属性の更新は行われず、正例及び負例エンティティの更新のみが行われる。以下、図2及び7を用いてデータ抽出装置2のデータ抽出処理を例示する。《ステップS101-S113》ステップS101-S113の処理は第1実施形態と同一である。ステップS113の後、以下のステップS214の処理が実行される。《エンティティ識別:ステップS214》エンティティ識別部218は、記憶部101に格納されたテキストデータの集合Dから何れかのテキストデータを選択し、選択した当該テキストデータが含む文字列を第2対象エンティティRDejとして選択する。またエンティティ識別部218は、選択した当該テキストデータから当該第2対象エンティティRDejと異なる文字列を第2対象属性RDajとして選択する。そしてエンティティ識別部218は、第2対象エンティティRDejと第2対象属性RDajとの組を第2対象エンティティ-対象属性ペアPD2RDejRDajとする。テキストデータの集合Dからすべてのテキストデータが選択されてもよいが、すべてのテキストデータを対象とすることは計算効率上好ましくない。そのため、第1実施形態のステップS114で説明したような特定の方法で対象を限定して選択を行うことが望ましい。エンティティ識別用素性抽出部116は、第1実施形態と同様に、記憶部101に格納されたテキストデータの集合Dから、第2対象エンティティRDejと第2対象属性RDajとの組を含む文字列である第2対象テキストを選択する。エンティティ識別用素性抽出部116は、第1実施形態と同様に、第2対象テキストに対する第2対象エンティティ-対象属性ペアPD2RDejRDajの特徴を表す情報を当該第2対象エンティティ-対象属性ペアPD2RDejRDajの素性fDejとする。第2対象テキストに対応するPD2RDejRDajの素性fDejは、エンティティ識別部218に入力される。エンティティ識別部218は、PD2RDejRDajの素性fDejを記憶部104から読み出した第2識別モデルMEejに入力し、PD2RDejRDajが正例エンティティ-正例属性ペアかを識別するための情報CPej、及び/又は、PD2RDejRDajが負例エンティティ-負例属性ペアかを識別するための情報CNejを得る。CPejの例はPD2RDejRDajが正例エンティティ-正例属性ペアである確率を表す信頼度であり、CNejの例はPD2RDejRDajが負例エンティティ-負例属性ペアである確率を表す信頼度に対応する情報CNejである。識別モデルMEejとして正則化項付き最大エントロピーモデルが用いられる場合には、例えば、xfDejを識別モデルMEejであるPに代入して得られる条件付確率P及びPがCPejP及びCNejPとされる。その他、例えばPの広義単調増加関数値がCPejとされ、Pの広義単調増加関数値がCNejとされてもよい。次のエンティティ識別部218の処理はどのようなCPej,CNejを用いるかによって相違する。以下、それぞれのケースについて説明する。[正例側に対するCPejと負例側に対するCPejとの正負符号が反転する場合]負例側のCPejの正負符号が正例側のCPejと反対になる場合例えば、負例側のCPejが常に負となる場合等、エンティティ識別部218は、PD2RDejRDajと当該PD2RDejRDajの素性fDej及びCPejとを属性修正候補選択部211に送る。[正例側に対するCPejと負例側に対するCPejとの正負符号が反転するとは限らない場合]エンティティ識別部218は、PD2RDejRDajに対応するCPej及び/又はCNejを用い、PD2RDejRDajが負例エンティティ-負例属性ペアかを識別する。エンティティ識別部218は、所定の閾値とCPej及び/又はCNejとを比較してこの識別を行う。以下に識別方法を例示する。例1:エンティティ識別部218は、CPejが第1閾値以下例えば0以下である場合に、当該CPejに対応するPD2RDejRDajが負例エンティティ-負例属性ペアであると判定する。例2:エンティティ識別部218は、CNejが第2閾値以上である場合に、当該CNejに対応するPD2RDejRDajが負例エンティティ-負例属性ペアであると判定する。例3:エンティティ識別部218は、CNejが第2閾値以上であり、かつ、CPejが第1閾値以下である場合に、当該CNej及びCPejに対応するPD2RDejRDajが負例エンティティ-負例属性ペアであると判定する。エンティティ識別部218は、負例エンティティ-負例属性ペアであると判定したPD2RDejRDajの第2対象エンティティRDejを負例エンティティRNejとして記憶部105に格納し、負例エンティティRNejの集合に追加する。さらにエンティティ識別部218は、負例エンティティ-負例属性ペアであると判定されなかったPD2RDejRDajと当該PD2RDejRDajの素性fDej及びCPejとをエンティティ修正候補選択部211に送る。《エンティティ修正候補選択:ステップS206》エンティティ修正候補選択部211は、入力されたPD2RDejRDajが含む第2対象エンティティRDejの集合の部分集合を、エンティティ修正候補CRPejの集合として選択する。エンティティ修正候補CRPejの集合の要素は正例エンティティの候補としてユーザに提示され、人手によるラベル修正正例から負例への修正、又は正例からラベルなしへの修正の候補とされる。入力されたPD2RDejRDajが含む第2対象エンティティRDejの集合がエンティティ修正候補CRPejの集合とされてもよいし、当該第2対象エンティティRDejの集合の一部がエンティティ修正候補CRPejの集合とされてもよい。ただ、人手による修正コストをできるだけ小さくし、かつ、セマンティックドリフトをより効率的に軽減するためには、それに適した基準でエンティティ修正候補CRPejの集合が選択されることが望ましい。基本的には、人手によるラベル修正によって得られる情報量の多い第2対象エンティティRDejや、正例エンティティであることの信頼度がデータ抽出装置2にとって低い第2対象エンティティRDejが、エンティティ修正候補CRPejの集合として有益である。有益な第2対象エンティティRDejを選んでエンティティ修正候補CRPejの集合としてユーザに提示できれば、ユーザが検討するデータの数を減らすことができユーザの負荷を減らし、かつ、学習処理に有益な正例エンティティRPejを効率よく得ることができる。以下、有益な第2対象エンティティRDejの集合をエンティティ修正候補CRPejの集合として選択するための基準を例示する。[エンティティ修正候補の集合を選択する基準の例示]エンティティ修正候補選択部211は、例えば、第2対象エンティティRDejに対応するスコアSpを何らかの基準と比較し、その基準を満たす第2対象エンティティRDejの集合をエンティティ修正候補CRPejの集合とする。例えば、スコアSpが閾値THp以上又は閾値THpを超えることとなる第2対象エンティティRDejをエンティティ修正候補CRPejの集合の要素としてもよいし、スコアSpの大きい順に選択された上位M個Mは正整数の第2対象エンティティRDejをエンティティ修正候補CRPejの集合の要素としてもよい。スコアSpは、人手によるラベル修正によって得られる情報量が多い影響度が大きいほど大きくなるものであってもよいし、正例エンティティであることの信頼度がデータ抽出装置2にとって低いほど大きくなるものであってもよいし、それらの両方の特徴を備えたものであってもよい。スコアSpは、前述したスコアSpについて属性をエンティティに置き換えたものでよい。以下、スコアSpの例を具体的に示す。[影響度に対応するスコアの例]この例では、エンティティ修正候補選択部211に入力されたPD2RDejRDajの集合が含む特定の要素に対する素性についての関連性の強さが何らかの基準を満たす他の要素の個数に対応する情報を、当該特定の要素である第2対象エンティティ-対象属性ペアの影響度Ppとし、影響度Ppに対応するスコアSpが用いられる。エンティティ修正候補選択部211は、影響度Ppに対応するスコアSpが何らかの基準を満たすPD2RDejRDajが含む第2対象エンティティRDejの集合をエンティティ修正候補CRPejの集合とする。影響度PpがそのままスコアSpとされてもよいし、影響度Ppに対する広義単調増加関数値がスコアSpとされてもよい。影響度Ppは、後述するステップS211でSIMやFMMなどに基づくアクティブラーニング法が用いられる場合に、人手によるラベル修正によって得られる情報量の大きさを表わす。人手での修正に伴って自動的に修正される要素の個数が影響度Ppとされてもよいし、人手での修正に伴って自動的に修正される要素の個数の広義単調増加関数値などが影響度Ppとされてもよい。以下に影響度Ppの具体例を示す。影響度Ppの具体例1:影響度Ppの具体例1は、後述するステップS211でSIM又はそれに類似の処理が用いられる場合に特に有効なものである。この例では、上述の素性についての関連性の強さが素性の類似度の大きさとされる。すなわち、エンティティ修正候補選択部211に入力されたPD2RDejRDajの集合が含む特定の要素に対する素性の類似度の大きさが何らかの基準を満たすような他の要素の個数に対応する情報を、当該特定の要素である第2対象エンティティ-対象属性ペアの影響度Ppとする。言い換えると、当該特定の要素の素性と類似する類似度が何らかの基準を満たす素性を持つ要素の個数に対応する情報を当該特定の要素の影響度Ppとする。例えば、当該特定の要素の素性との類似度が基準値以上となる素性を持つ他の要素の個数がそのまま影響度Ppとされてもよいし、この要素の個数の広義単調増加関数値などが影響度Ppとされてもよい。第1実施形態と同様、類似度としてどのような尺度を用いるかについての限定はないが、コサイン類似度や、PMIで重み付けされた素性のコサイン類似度などを例示できる例えば、非特許文献2参照。影響度Ppの具体例2:影響度Ppの具体例2は、後述するステップS211でFMM又はそれに類似の処理が用いられる場合に特に有効なものである。PD2RDejRDajの素性がそれぞれ複数の値の集合であることを前提とする。この例でのPD2RDejRDajの集合の特定の要素と他の要素との間での素性についての関連性の強さは、当該他の要素の素性を第2識別モデルに入力して得られる情報と、当該他の要素の素性から当該特定の要素の素性と共通するものを除いたものを第2識別モデルに入力して得られる情報と、の違いの大きさ変動量である。具体例2では、当該変動量が何らかの基準を満たすような他の要素の個数に対応する情報を、当該特定の要素である第2対象エンティティ-対象属性ペアの影響度Ppとする。例えば、このような変動量が基準値以上となる素性を持つ他の要素の個数がそのまま影響度Ppとされてもよいし、この要素の個数の広義単調増加関数値などが影響度Ppとされてもよい。[信頼度に対応するスコアの例]この例では、PD2RDejRDajが正例エンティティ-正例属性ペアである確率を表す信頼度に対応するスコアSpを用いる。この例では、信頼度が小さいほど大きくなるスコアSpを用いる。例えば、エンティティ修正候補選択部211に入力されるPD2RDejRDajに対応するCPejが、当該PD2RDejRDajが正例エンティティ-正例属性ペアである確率を表す信頼度であるとし、CPejの逆数がスコアSpとされてもよいし、CPejの広義単調減少関数値がSpとされてもよい。[影響度及び信頼度に対応するスコアの例]この例では、上述の影響度及び信頼度に対応するスコアSpが用いられる。この例では、上述の影響度が大きいほど大きくなり、かつ、上述の信頼度が大きくなるほど小さくなるスコアSpが用いられる。例えば、SpPpCPejとされてもよいし、PpCPejの広義単調増加関数値がスコアSpとされてもよい。《エンティティ修正候補提示:ステップS207》エンティティ修正候補選択部211で選択されたエンティティ修正候補CRPejの集合はエンティティ修正候補提示部212に送られる。エンティティ修正候補提示部212は、エンティティ修正候補CRPejの集合を出力する。例えば、エンティティ修正候補提示部212は、エンティティ修正候補CRPejの集合をリストとして表示する。この際、例えば、各エンティティ修正候補CRPejに対応する第2対象エンティティRDejやスコアSpなどの情報も併せてエンティティ修正候補提示部212に送られ、表示されてもよい。ユーザはこのように表示されたエンティティ修正候補CRPejの集合を閲覧する。《エンティティ修正情報取得:ステップS208》エンティティ修正候補CRPejの集合を閲覧したユーザはそれらの要素が本当に正例であるか否かを検証し、エンティティ修正候補CRPejの集合から正例エンティティとして適切ではない要素を選択する。ユーザはその選択結果に基づき、エンティティ修正候補CRPejの集合の何れかの要素を特定するエンティティ修正情報をエンティティ修正情報取得部213に入力する。エンティティ修正情報は、ユーザが正例エンティティとして適切ではないと判断した要素を特定可能な情報である。例えば、ユーザが正例エンティティとして適切ではないと判断したエンティティ修正候補CRPejを示す情報がエンティティ修正情報とされてもよいし、逆にユーザが正例エンティティとして適切であると判断したエンティティ修正候補CRPejを示す情報がエンティティ修正情報とされてもよい。このようにエンティティ修正情報取得部213に入力されたエンティティ修正情報は、基準更新部214及びエンティティ修正情報反映部215に送られる。《条件判定:ステップS209,S210》基準更新部214は、エンティティ修正候補提示部212から出力されたエンティティ修正候補CRPejの集合のうち、正例エンティティとして不適切な要素を基準個数以上特定するエンティティ修正情報がエンティティ修正情報取得部213に入力されたかを判定する。前述した属性の場合と同様、基準個数は、エンティティ修正候補提示部212から出力されたすべてのエンティティ修正候補CRPejの個数であってもよいし、それ以下の個数であってもよいステップS209。ここで、正例エンティティとして不適切な要素を基準個数以上特定するエンティティ修正情報がエンティティ修正情報取得部213に入力されたと判定された場合、基準更新部214はステップS206でエンティティ修正候補CRPejの集合として選択される要素が増加するように、エンティティ修正候補選択部211での基準を更新する。例えば、ステップS206において、スコアSpが閾値THp以上となる第2対象エンティティRDejをエンティティ修正候補CRPejの集合の要素とされるのであれば閾値THpを低くする。例えば、ステップS206において、スコアSpの大きい順に選択された上位M個の第2対象エンティティRDejをエンティティ修正候補CRPejの集合の要素とされるのであればMの値を大きくする。閾値THpや値Mなどの初期値や更新のステップ幅は自由に設定することができるステップS210。その後ステップS206に戻る。これにより、エンティティ修正候補選択部211でより多くの要素からなるエンティティ修正候補CRPejの集合が再び選択され、エンティティ修正候補提示部212の処理とエンティティ修正情報取得部213の処理とがやり直される。一方、正例エンティティとして不適切な要素を基準個数以上特定しないエンティティ修正情報がエンティティ修正情報取得部213に入力されたと判定された場合、以下のエンティティ修正情報反映部215の処理が実行される。《エンティティ修正情報反映:ステップS211》ステップS214で負例エンティティ-負例属性ペアであると判定されなかったPD2RDejRDajの集合と、エンティティ修正情報取得部213に入力されたエンティティ修正情報とがエンティティ修正情報反映部215に入力される。エンティティ修正情報反映部215は、入力されたPD2RDejRDajが含む第2対象エンティティRDejの集合からエンティティ修正情報で特定される要素を除いた補集合に含まれる要素を、正例エンティティRPajの集合の要素とする。この処理は、ステップS111の処理での属性をエンティティに置き換えたものでよい。以下にこの処理を例示する。[処理例1]この例のエンティティ修正情報反映部215は、少なくとも、エンティティ修正情報で特定されるエンティティ修正候補CRPejと、当該エンティティ修正情報で特定されるエンティティ修正候補CRPejを含む第2対象エンティティ-対象属性ペアとの間での素性についての関連性の強さが何らかの基準を満たす他の第2対象エンティティ-対象属性ペアが含むエンティティ修正候補CRPejとを除く、エンティティ修正候補CRPejの集合の要素を、正例エンティティRPejの集合として記憶部105に格納する。ここで、素性についての関連性の強さは、例えば、前述の影響度Ppの具体例1で説明した素性の類似度の大きさであってもよいし、前述の影響度Ppの具体例2で説明した変動量であってもよい。この処理は、例えばステップS111と同様にSIMやFMMに基づいて行われる。SIMの場合、正例の集合から除外されたエンティティ修正候補CRPejは負例エンティティRNejの集合として記憶部105に格納される。FMMの場合、正例の集合から除外されたエンティティ修正候補CRPejのラベル付けは行われない。[処理例2]この例のエンティティ修正情報反映部215は、入力されたPD2RDejRDajが含む第2対象エンティティRDejの集合からエンティティ修正情報で特定される第2対象エンティティRDej正例エンティティとして適切ではないと判断された要素を除いたものを正例エンティティRPejの集合として記憶部105に格納する。エンティティ修正情報で特定される第2対象エンティティRDejは負例エンティティRNejの集合として記憶部105に格納される。《収束判定:ステップS115-S117》収束判定部119は、収束条件を満たしたかを判定するステップS115。収束判定部119が収束条件を満たしたと判断した場合、ステップS103からS211のイテレーションが終了し、出力部120が記憶部105に格納されているすべての正例エンティティRPjeを出力して処理を終了するステップS117。それ以外の場合は、制御部19がj1を新たなjの値としステップS116、記憶部105に格納されている正例エンティティRPje及び負例エンティティRNje、記憶部103に格納されている正例属性RPja及び負例属性RNjaを属性識別用素性抽出部108に入力し、ステップS103からS211のイテレーションが実行される。<第2実施形態の特徴>本形態では、属性だけではなく、エンティティについても、人手によるラベル修正が可能となった。これにより、エンティティの識別精度を向上させることができる。また、本形態でも、エンティティとその属性との組を用いて識別を行うこととしたため、セマンティックドリフトを抑制することができ、cotraining方式を用いるため、精度の高い識別が可能となる。その他、本形態の方法はリソースであるテキストデータの種類によらず利用でき、適用範囲が広い。第1及び2実施形態の変形例参考文献4AndrewKMcCallumKamalNigamEmployingEMandPoolBasedActiveLearningforTextClassificationICML981998などで用いられているQBCを適用してもよい。すなわち、第1及び2実施形態では、第1識別モデルMEajで得られたPD1RDejRDajが正例エンティティ-正例属性ペアである確率を表す信頼度をCPajとして用いステップS106、第2識別モデルMEejで得られたPD2RDejRDajが正例エンティティ-正例属性ペアである確率を表す信頼度をCPejとして用いる例を示したステップS206。しかしながら、第1識別モデルMEajや第2識別モデルMEejで得られた信頼度ではなく、QBCから得られたスコアをCPajやCPejとしてもよい。以下にこの変形例を説明する。まず、QBCの説明の前にEMアルゴリズムの半教師あり学習への拡張について説明する。半教師あり学習とは、少量の教師ありデータと大量の教師なしデータとの両方を学習データとして用いて行う識別モデルの学習方法である。半教師あり学習では、教師ありデータだけを用いた識別モデルに比べ、高い性能を持つ識別モデルを得ることができる。ここでは、正例負例の2値分類を行う識別モデルを考える。まず、既に正例又は負例にラベル付けされているテキストデータのラベルをUM参考文献4等参照における各隠れ変数zに割り当てる。即ち、正例負例を各隠れ変数zとして持つ2混合のUMを想定する。この場合のUMは以下の形で定義される。ここでdはテキストデータの集合Dに属するテキストデータd∈Dを表し、pはテキストデータの集合Dにおけるテキストデータdの出現確率を表す。z∈Zは隠れ変数であり、各zがテキストデータdが正例z1であるか負例z0であるかに対応する。Zは隠れ変数zの集合を表す。pは隠れ変数zに対する確率であり、を満たす。vは文字列を表し、Vは文字列vの集合を表す。pは隠れ変数zにおける文字列vの生成確率隠れ変数zが与えられたときの文字列vの事後確率であり、を満たす。ndvはテキストデータd中に文字列vが出現した回数である。教師ありデータとして与えられた正例又は負例のテキストデータdのラベルに従い、UMの各事後確率ppに0又は1が付与される。これらの事後確率が固定されたままで、教師なしデータに対しEMアルゴリズムが適用され、モデル学習が行われる。次に、上記半教師あり学習に拡張したEMアルゴリズムをアクティブラーニングに拡張した手法であるQBCについて説明する。まず、これまでのイテレーションで得られている正例負例の属性及びエンティティをG個のグループに分ける。例えば、これまでに正例負例エンティティが各20個得られており、正例負例属性が各10個得られているとする。各20個の正例負例エンティティからなる集合をそれぞれPEpreNEpreとし、各10個の正例負例属性からなる集合をそれぞれPApreNApreとする。グループ数Gを2とすると、とされる。この時必ず各グループには正例負例が両方含まれるようにする。それぞれのグループ部分集合g∈1...Gごとにデータをまとめ、グループgに対応するデータをCgとする。例えばグループ数Gが2の場合、C1PEpre1NEpre1PApre1NApre1C2PEpre2NEpre2PApre2NApre2とされる。以下では各Cgについて同じ処理が行われるが、ここでは具体的にC1の処理を追っていく。C1における正例の集合と負例の集合を用いて、各エンティティと属性のペアをすべての組み合わせについて作成し、これらのペアを含む各テキストデータから定まる前述の素性を正例側及び負例側の学習データCD1とする。学習データCD1に対して半教師あり学習に拡張したEMアルゴリズムを用いてUMモデルを学習するが、この際、隠れ変数zの事後確率pを各学習データCD1のラベルに合わせて1または0とする。学習の結果得られたUMモデルをM1とする。これを各グループg∈1...Gについて同様に行い、UMモデルMgを得る。次に、新たなエンティティと属性のペアに正例か負例かのラベル付けを行う状況を考える。ラベルが未知のエンティティと属性とのペアを含むテキストデータから定まる素性に対して各UMモデルMgを適用することで、各UMモデルMgに対する事後確率pを得ることができる。QBCでは、ラベルzに対する事後確率pの揺れがMg間で大きいものが有益なデータとみなされる。このスコアは以下で定義される。ここで、z1はzが正例であることを表し、Dはカルバックライブラ距離を表し、である。次に、上記のQBCを識別モデルに適用した例を示す。以下の式でスコアを定義する。ここでω∈10正例,負例はzと同じ値域を持つが、隠れ変数ではないために新たに確率変数を与えている。また、Mg’は教師ありの学習データCDgを用いて学習された識別モデルを表し、である。この点が元のQBCと異なる。すなわち、学習データCDgを用いてEMアルゴリズムによってUMが生成されるのではなく、識別モデルが構築される。識別モデルには、最大エントロピーモデルやサポートベクタマシンなど一般的に用いられる識別モデルを適用できる。QBCはシステムの信頼度が低いことを統計的に判断することができる。具体的には、式のスコアは、グループ部分集合gごとの信頼度事後確率pに対応する情報のばらつきを表す。式のスコアが高いエンティティと属性とのペアほど信頼度が低く、ユーザに提示してラベルの的確性を評価させることが望ましいといえる。そのため、前述のPD1RDejRDajに対する式のスコアの広義単調減少関数値式のスコアの逆数などをCPajとし、前述のPD2RDejRDajに対する式のスコアの広義単調減少関数値式のスコアの逆数などをCPejとすることができる。つまり、例えば、前述の属性識別学習部109が第1正例エンティティ-正例属性ペアの集合を第1正例エンティティ-正例属性ペアの部分集合グループgごとに区分し、当該部分集合に属する第1正例エンティティ-正例属性ペアの素性を入力として当該部分集合にそれぞれ対応する第1識別モデルを生成し、属性識別部110が、第1対象エンティティ-対象属性ペアの素性を部分集合にそれぞれ対応する第1識別モデルに入力し、部分集合ごとに当該第1対象エンティティ-対象属性ペアが正例エンティティ-正例属性ペアである確率を表す信頼度を得、スコアSpが、さらに部分集合ごとの信頼度に対応する情報のばらつきの大きさを表す情報式のスコアに対応することにしてもよい。例えば、前述のエンティティ識別学習部117が第2正例エンティティ-正例属性ペアの集合を第2正例エンティティ-正例属性ペアの部分集合ごとに区分し、当該部分集合に属する第2正例エンティティ-正例属性ペアの素性を入力として当該部分集合にそれぞれ対応する第2識別モデルを生成し、エンティティ識別部218が、第2対象エンティティ-対象属性ペアの素性を部分集合にそれぞれ対応する第2識別モデルに入力し、部分集合ごとに当該第2対象エンティティ-対象属性ペアが正例エンティティ-正例属性ペアである確率を表す信頼度を得、スコアSpが、さらに部分集合ごとの信頼度に対応する情報のばらつきの大きさを表す情報式のスコアに対応することにしてもよい。その他の変形例等なお、本発明は上述の実施の形態に限定されるものではない。例えば、上記の各実施形態では、正例側の属性やエンティティ例えば、識別モデルで負例と判定されなかった対象エンティティ-対象属性ペアが含む属性やエンティティを人手による修正候補としたステップS106,S206。一般的に負例数は正例数に比べて圧倒的に多いため、負例側の属性やエンティティを人手によって修正することは効率的ではない。しかしながら、負例側の属性やエンティティも人手による修正候補としてもよい。この場合には、正例を負例に置き換えたステップS106-S111の処理やステップS206-S211の処理や上述の変形例の処理が、さらに実行される。例えば、負例側のCPajやCPejの正負符号が正例側のCPajやCPejと反対になる場合例えば、負例側のCPajやCPejが常に負となる場合等には、SpPpCPajやそのの広義単調増加関数値が負例側のスコアSpとする。また、この場合、負例側に対する式は以下のようになる。これにより、正例候補だけではなく負例候補についても、人手による修正候補とすることができる。また、負例を用いないこととしてもよく、第1識別モデルMEajや第2識別モデルMEejが、任意の文字列であるエンティティと当該エンティティの属性との組であるエンティティ-属性ペアの素性を入力として当該ペアが正例エンティティ-正例属性ペアかを識別するための情報を出力する関数であってもよい。また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。また、上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体は、非一時的なnontransitory記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASPApplicationServiceProvider型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるものコンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等を含むものとする。また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。"