"抽出対象の文字列である正例エンティティの集合から選択した正例エンティティを含むテキストデータに対応するトピックを表す正例トピック情報を前記正例エンティティの素性の少なくとも一部とし、抽出対象ではない文字列である負例エンティティの集合から選択した負例エンティティを含むテキストデータに対応するトピックを表す負例トピック情報を前記負例エンティティの素性の少なくとも一部とするトピック情報抽出部と、前記正例エンティティの素性と前記負例エンティティの素性とを教師あり学習データとした学習処理によって、任意のエンティティの素性を入力として当該エンティティが正例エンティティか負例エンティティかを識別するための情報を出力する関数である識別モデルを生成する識別学習部と、トピックを表すトピック情報に対応するテキストデータの集合から選択したテキストデータが含む文字列であるエンティティを対象エンティティとし、当該選択した前記テキストデータに対応するトピックを表すトピック情報を当該対象エンティティの素性の少なくとも一部とし、当該対象エンティティの素性を前記識別モデルに入力して前記対象エンティティが正例エンティティか負例エンティティかを識別し、前記対象エンティティが正例エンティティであると識別した場合に前記対象エンティティを前記正例エンティティの集合の要素とし、前記対象エンティティが負例エンティティであると識別した場合に前記対象エンティティを前記負例エンティティの集合の要素とするエンティティ識別部と、前記正例トピック情報の集合の部分集合をトピック修正候補の集合として選択するトピック修正候補選択部と、前記トピック修正候補の集合を出力するトピック修正候補提示部と、前記トピック修正候補の集合が含む要素のうち、不適切な正例トピック情報を特定する修正情報の入力を受け付ける修正情報取得部と、を有するデータ抽出装置。請求項1のデータ抽出装置であって、前記トピック修正候補選択部は、前記正例トピック情報が表すトピックそれぞれに対応するテキストデータの数に対応する値を当該トピックそれぞれの影響度とし、当該影響度に対応する値が第1基準を満たすトピックを表す正例トピック情報の集合を前記トピック修正候補の集合とする、ことを特徴とするデータ抽出装置。請求項1又は2のデータ抽出装置であって、前記トピック修正候補選択部は、前記正例トピック情報が表すトピックに対応するテキストデータが含む文字列の確率分布と前記正例エンティティを含むテキストデータが含む文字列の確率分布との距離に対応する値を当該正例トピック情報それぞれの第1信頼度とし、当該第1信頼度に対応する値が第2基準を満たす正例トピック情報の集合を前記トピック修正候補の集合とする、ことを特徴とするデータ抽出装置。請求項1から3の何れかのデータ抽出装置であって、前記トピック修正候補選択部は、対象のトピックを表す前記負例トピック情報それぞれに対応するテキストデータの数と当該対象のトピックを表す前記正例トピック情報それぞれに対応するテキストデータの数との比に対応する値を当該対象のトピックを表す前記正例トピック情報の第2信頼度とし、当該第2信頼度に対応する値が第3基準を満たす当該正例トピック情報の集合を前記トピック修正候補の集合とする、ことを特徴とするデータ抽出装置。請求項1から4の何れかのデータ抽出装置であって、前記修正情報によって特定される前記要素が表すトピックと同じトピックに対応するテキストデータが含む正例エンティティを、前記正例エンティティの集合から除外する更新部をさらに有する、ことを特徴とするデータ抽出装置。請求項1から5の何れかのデータ抽出装置であって、前記エンティティ識別部は、前記修正情報によって特定された前記要素が表すトピックと同じトピックに対応するテキストデータを除く前記テキストデータが含む文字列であるエンティティを前記対象エンティティとする、ことを特徴とするデータ抽出装置。請求項1から6の何れかのデータ抽出装置であって、前記修正情報は、前記トピック修正候補の集合が含む要素のうち、前記正例エンティティを含むテキストデータに対応するトピックと前記負例エンティティを含むテキストデータに対応するトピックとの両方に対応する要素である更新対象トピック情報を特定する情報であり、前記更新部は、前記更新対象トピック情報と同じ前記トピック情報を新たなトピック情報に更新する、ことを特徴とするデータ抽出装置。抽出対象の文字列である正例エンティティの集合から選択した正例エンティティを含むテキストデータに対応するトピックを表す正例トピック情報を前記正例エンティティの素性の少なくとも一部とし、抽出対象ではない文字列である負例エンティティの集合から選択した負例エンティティを含むテキストデータに対応するトピックを表す負例トピック情報を前記負例エンティティの素性の少なくとも一部とするトピック情報抽出ステップと、前記正例エンティティの素性と前記負例エンティティの素性とを教師あり学習データとした学習処理によって、任意のエンティティの素性を入力として当該エンティティが正例エンティティか負例エンティティかを識別するための情報を出力する関数である識別モデルを生成する識別学習ステップと、トピックを表すトピック情報に対応するテキストデータの集合から選択したテキストデータが含む文字列であるエンティティを対象エンティティとし、当該選択した前記テキストデータに対応するトピックを表すトピック情報を当該対象エンティティの素性の少なくとも一部とし、当該対象エンティティの素性を前記識別モデルに入力して前記対象エンティティが正例エンティティか負例エンティティかを識別し、前記対象エンティティが正例エンティティであると識別した場合に前記対象エンティティを前記正例エンティティの集合の要素とし、前記対象エンティティが負例エンティティであると識別した場合に前記対象エンティティを前記負例エンティティの集合の要素とするエンティティ識別ステップと、前記正例トピック情報の集合の部分集合をトピック修正候補の集合として選択するトピック修正候補選択ステップと、前記トピック修正候補の集合を出力するトピック修正候補提示ステップと、前記トピック修正候補の集合が含む要素のうち、不適切な正例トピック情報を特定する修正情報の入力を受け付ける修正情報取得ステップと、を有するデータ抽出方法。請求項1から7の何れかのデータ抽出装置の各部としてコンピュータを機能させるためのプログラム。従来のsetexpansionにはセマンティックドリフトという課題が存在する。例えば球団名を表すという正例シードエンティティに対して、従来のsetexpansionにより正例エンティティが獲得できたとする。は飲料名でもあるので、を新たに正例エンティティに追加することで次のイテレーションでは等の飲料系のエンティティが正例エンティティとして獲得されるようになり、獲得される正例エンティティの話題がシフトしていく可能性がある。このように獲得される正例エンティティの話題がシフトしていく現象をセマンティックドリフトと呼ぶ。非特許文献2で述べられている手法は、セマンティックドリフトを抑制する手段として効果的である。しかしながら、非特許文献2では、ユーザによって修正されたエンティティをどのように用いるのかが効果的かという点に着目されており、どのような情報をユーザに確認させるのが効果的かという点については提案されていない。本発明はこのような点に鑑みてなされたものであり、人手による修正コストを小さくし、かつ、セマンティックドリフトを効率的に軽減する技術を提供することを目的とする。抽出対象の文字列である正例エンティティの集合から選択した正例エンティティを含むテキストデータに対応するトピックを表す正例トピック情報を正例エンティティの素性の少なくとも一部とし、抽出対象ではない文字列である負例エンティティの集合から選択した負例エンティティを含むテキストデータに対応するトピックを表す負例トピック情報を負例エンティティの素性の少なくとも一部とし、正例エンティティの素性と負例エンティティの素性とを教師あり学習データとした学習処理によって、任意のエンティティの素性を入力として当該エンティティが正例エンティティか負例エンティティかを識別するための情報を出力する関数である識別モデルを生成する。トピックを表すトピック情報に対応するテキストデータの集合から選択したテキストデータが含む文字列であるエンティティを対象エンティティとし、当該選択したテキストデータに対応するトピックを表すトピック情報を当該対象エンティティの素性の少なくとも一部とし、当該対象エンティティの素性を識別モデルに入力して対象エンティティが正例エンティティか負例エンティティかを識別し、対象エンティティが正例エンティティであると識別した場合に対象エンティティを正例エンティティの集合の要素とし、対象エンティティが負例エンティティであると識別した場合に対象エンティティを負例エンティティの集合の要素とする。正例トピック情報の集合の部分集合をトピック修正候補の集合として選択し、トピック修正候補の集合を出力し、トピック修正候補の集合が含む要素のうち、不適切な正例トピック情報を特定する修正情報の入力を受け付ける。本発明では、人手によって与えられた修正情報を用いてトピック情報を修正できるが、トピック情報は一以上のエンティティに対応する場合が多く、人手によるトピック情報の処理コストは人手による個々のエンティティの処理コストよりも小さい。これにより、人手による修正コストを小さくし、かつ、セマンティックドリフトを効率的に軽減することができる。以下、図面を参照して本発明の実施形態を説明する。第1実施形態<構成>図1に例示するように、第1実施形態のデータ抽出装置1は、記憶部101-105、制御部106、トピック付与部107、素性抽出部108、トピック情報抽出部109、トピック修正候補選択部111、トピック修正候補提示部112、修正情報取得部113、更新部115、識別学習部117、エンティティ識別部118、収束判定部119、及び出力部120を有し、制御部106の制御のもと各処理を実行する。なお、データ抽出装置1は、例えば、CPU、RAM及びROM等を含む公知又は専用のコンピュータに特別なプログラムが読み込まれて構成される特別な装置である。例えば、記憶部101-105は、ハードディスクや半導体メモリなどであり、制御部106、トピック付与部107、素性抽出部108、トピック情報抽出部109、トピック修正候補選択部111、更新部115、識別学習部117、エンティティ識別部118、収束判定部119、及び出力部120は、特別なプログラムが読み込まれたCPUなどである。また、これらの少なくとも一部が集積回路などによって構成されてもよい。トピック修正候補提示部112は、例えば、情報をユーザに提示するディスプレイなどのユーザインタフェース、又はそのようなユーザインタフェースに情報を出力する出力ポートなどである。修正情報取得部113は、例えば、ユーザからの情報の入力を受け付けるキーボード、マウスなどのユーザインタフェース、又はそのようなユーザインタフェースからの情報が入力される入力ポートなどである。図1に表記された矢印は情報の流れを表すが、表記の都合上一部の矢印が省略されている。<事前処理>事前処理として、記憶部101にテキストデータの集合Dが格納され、記憶部102にトピックモデルTM0が格納される。テキストデータとは、文字テキストを含むデータを意味する。テキストデータの例は、文書データ、クエリ、語句を含む図表データ、フレーズデータ、単語列データなどである。本形態では、形態素解析、固有表現抽出、係り受け解析、文境界同定などの前処理を行った後の文書データをテキストデータとした例を示す。トピックモデルTM0とは、テキストデータに対応するトピックに対応するトピック情報とそのテキストデータが含む文字列との関係を記述するモデル関数、数式を意味する。文字列の具体例は、単語、単語列、フレーズ、文、文字、記号などである。テキストデータに対応するトピックとは、テキストデータのトピック題目、話題、事柄、出来事、論題、分類などを意味する。トピック情報は、テキストデータに対応するトピックに対応する情報であればどのようなものであってもよい。例えば、テキストデータに対応するトピックの候補例えばやなどごとに、当該テキストデータに対する各トピックの候補の適切さを表す指標例えば、確率、重み係数、確率や重み係数の関数値であるスコアなどが与えられ、それらの指標の少なくとも一部が当該テキストデータのトピック情報とされてもよい。トピックモデルは、事前に教師なし学習データトピック情報との関係が特定されていないテキストデータから得られる学習データから獲得しておく。例えば、WEB上の100万個の文書データから所望のエンティティを獲得したい場合には、これら100万個の文書データから得られた学習データを用いてトピックモデルを学習しておく。トピックモデルTM0の具体例は、UM参考文献1AndrewKMcCallumKamalNigamEmployingEMandPoolBasedActiveLearningforTextClassificationICML981998等参照、LDA、DMなどである。以下にトピックモデルTM0としてUMを用いる例を示す。この場合のトピックモデルTM0は以下の形で定義される。ここでdはテキストデータの集合Dに属するテキストデータd∈Dを表し、pはテキストデータの集合Dにおけるテキストデータdの出現確率を表す。z∈Zは隠れ変数であり、各zが1つのトピックの候補に対応する。Zは隠れ変数zの集合を表す。以下ではzを1以上Z以下の自然数とし、Zを隠れ変数の総数トピックの候補の総数とする。pは隠れ変数zに対する確率であり、を満たす。vは文字列を表し、Vは文字列vの集合を表す。pは隠れ変数zにおける文字列vの生成確率隠れ変数zが与えられたときの文字列vの事後確率であり、を満たす。ndvはテキストデータd中に文字列vが出現した回数である。トピックモデルTM0の学習は繰り返し最適化手法の1種であるEMアルゴリズムを用いて行われ、学習によってパラメータppが得られる。得られた各パラメータppはトピックモデルTM0を特定する情報として記憶部102に格納される。これはトピックモデルTM0が記憶部102に格納されることと同等である。なお、本形態ではテキストデータが含む文字列をエンティティと呼び、抽出対象のエンティティを正例エンティティと呼び、抽出しない抽出対象としないエンティティを負例エンティティと呼ぶ。また、最初に入力されるエンティティをシードエンティティと呼び、正例のシードエンティティを正例シードエンティティと呼び、負例のシードエンティティを負例シードエンティティと呼ぶ。<データ抽出処理>以下、図2を用いてデータ抽出装置1のデータ抽出処理を例示する。《初期化:ステップS101》制御部106がjの値をj1に初期化する。《トピック付与:ステップS102》トピック付与部107が、記憶部102に格納されたトピックモデルTM0を用い、記憶部101に格納されたテキストデータの集合Dが含む各テキストデータのトピックに対応するトピック情報をそれぞれ生成する。トピック付与部107は、生成した各トピック情報をそれに対応する各テキストデータに対応付け、テキストデータとトピック情報とを含むトピック情報付きテキストデータを生成する。生成されたトピック情報付きテキストデータの集合Dは記憶部103に格納される。なお、各テキストデータのトピックに対応する情報であれば、どのような情報をトピック情報としてもよい。以下に、UMをトピックモデルTM0として生成されるトピック情報を例示する。トピック情報の例トピック付与部107は、記憶部102に格納されたトピックモデルTM0のパラメータppとテキストデータd及び文字列vから得られるndvを用い、式に従って、記憶部101に格納されたテキストデータの集合Dに属するテキストデータdに対応するpを計算できる。また、確率の乗法定理より、トピック付与部107は、ppを用い、zvについての同時確率pを以下のように求めることができる。ppp...また、トピック付与部107は、p及びndvを用い、zdについての同時確率pを以下のように求めることができる。さらに、確率の乗法定理より、トピック付与部107は、p及びpを用い、隠れ変数zが与えられたときのテキストデータdの事後確率pを、以下のように求めることができる。ppp...またさらに、ベイズの定理より、トピック付与部107は、得られたpp及びpを用い、テキストデータdが与えられたときの隠れ変数zの事後確率pを以下のように求めることができる。pppp...すなわち、トピック付与部107は、記憶部102に格納されたトピックモデルTM0のパラメータppを用い、任意のテキストデータdに対する隠れ変数zの事後確率pを計算できる。なお、事後確率pの計算手順は上記のものに限定されない。最終的にpが得られるのであればどのような計算手順で事後確率pが計算されてもよい。事後確率pはトピックの候補の適切さを表す指標であり、これらをトピック情報とすることができる。以下、このようなトピック情報を例示する。トピック情報の例1:各トピックの候補に対応する各隠れ変数znに対応する各事後確率pのうち、事後確率の大きな上位N個の隠れ変数znとそれらにそれぞれ対応する事後確率p又は当該事後確率pの写像との組をテキストデータdのトピック情報とする。なお、Nは1以上Z以下の自然数定数である。例えば、N1であり、p095が最大の事後確率である場合、隠れ変数z5と事後確率p095との組をテキストデータdのトピック情報とする。トピック情報の例2:各トピックの候補に対応する各隠れ変数znに対応する各事後確率pのうち、事後確率の大きな上位N個の隠れ変数zn又は当該隠れ変数znの写像をテキストデータdのトピック情報とする。例えば、N1であり、p095が最大の事後確率である場合、隠れ変数z5をテキストデータdのトピック情報とする。トピック情報の例3:各トピックの候補に対応する各隠れ変数znに対応する各事後確率pのうち、上位N個の事後確率p又は当該事後確率pの写像をそれぞれn次元目の要素とし、他のZN個の要素を0としたZ次元ベクトルをテキストデータdのトピック情報とする。例えばN1であり、p095が最大の事後確率である場合、Z次元ベクトルをテキストデータdのトピック情報とする。トピック情報の例4:各トピックの候補に対応する各隠れ変数znに対応する各事後確率pのうち、上位N個の事後確率pにそれぞれ対応するn次元目の要素を第1定数例えば1とし、他のZN個の要素を第2定数例えば0としたZ次元ベクトルをテキストデータdのトピック情報とする。例えばN1であり、p095が最大の事後確率である場合、Z次元ベクトルをテキストデータdのトピック情報とする。トピック情報の例5:トピック情報の例1又は2において、事後確率の大きな上位N個の隠れ変数znを事後確率が閾値以上となる隠れ変数znに置換した方法でテキストデータdのトピック情報を定める。トピック情報の例6:トピック情報の例3又は4において、上位N個の事後確率pを閾値以上の事後確率pに置換した方法でテキストデータdのトピック情報を定める。図3に例示したテキストデータの集合Dは、前処理を行った後の文書データであるテキストデータと当該テキストデータのIDとが対応付けされたデータである。また、図4Aに例示したトピック情報付きテキストデータの集合Dは、テキストデータと、当該テキストデータのIDと、当該テキストデータに対してトピック情報の例1によって生成されたトピック情報とが対応付けされたデータである。このように、トピック情報はテキストデータごとに付与されており、同じテキストデータ内に表れるエンティティには同じトピック情報が対応する。なお、予めテキストデータにトピック情報が付与されている場合には、そのトピック情報を用いればよい。また、事前にトピック情報付きテキストデータの集合Dが生成されている場合にはステップS102の処理を実行しなくてもよいトピック情報の例の説明終わり。《素性抽出:ステップS103》ユーザが欲するエンティティの例が正例シードエンティティRPe0として素性抽出部108に入力される。例えば、などが正例シードエンティティとして入力される。また、負例シードエンティティRNe0が素性抽出部108に入力される。例えば、などが負例シードエンティティとして入力される。正例シードエンティティRPe0は、ユーザによって選択されたものである。負例シードエンティティRNe0は、ユーザによって選択されたものであってもよいし、テキストデータの集合Dから半自動で生成されたものであってもよい。以下に負例シードエンティティRNe0を半自動で生成する方法を例示する。負例シードエンティティRNe0の半自動生成方法の例負例シードエンティティ生成部図示せずが、テキストデータの集合Dから、何れの正例シードエンティティRPe0も含まないテキストデータを所定個数抽出し、抽出した各テキストデータから1つずつランダムに名詞を選択し、それらを負例エンティティ候補として出力する。表示部図示せずはこれらの負例エンティティ候補を表示し、これらから負例シードエンティティを選択するようにユーザに促す表示を行う。ユーザによる選択内容は負例シードエンティティ生成部に入力され、負例シードエンティティ生成部は、選択された負例エンティティ候補を正例シードエンティティRPe0として出力する負例シードエンティティRNe0の半自動生成方法の例の説明終わり。素性抽出部108は、記憶部101に格納されたテキストデータの集合Dから、何れかの正例エンティティRPej1初期の正例エンティティRPe0は正例シードエンティティRPe0を含む文字列である正例テキストを抽出する。正例テキストの例は、テキストデータが含む文、フレーズ、単語列などである。正例テキストは、正例エンティティRPej1とテキストデータとの組に対して1個以上抽出される。素性抽出部108は、抽出した正例テキストとの関係で定まる正例エンティティRPej1の特徴を表す素性fPejを抽出する。この例では、正例エンティティRPej1を含む正例テキストごとに当該正例エンティティRPej1の素性fPejが抽出される。以下に、正例エンティティRPej1の素性fPejを例示する。正例エンティティRPej1の素性fPejの例正例エンティティRPej1の素性fPejは、正例テキスト正例エンティティRPej1を含む文字列であってテキストデータが含むものに対応し、正例テキストと当該正例エンティティRPej1との関係を表す情報を含む。このような情報であればどのようなものを素性として用いてもよい。例えば、何れかの正例エンティティRPej1を含むテキストデータ内における当該正例エンティティRPej1に一致するエンティティ一致エンティティから前後所定単語数以内正例テキスト内に位置する単語周辺単語の表記と当該一致エンティティに対する当該周辺単語の相対位置を表す情報との組表層素性、一致エンティティ又は周辺単語の品詞情報品詞素性や固有名詞情報固有名詞素性や構文情報構文素性、テキストデータ内での正例エンティティRPej1の出現回数やテキストデータの集合D内での正例エンティティRPej1の出現回数出現回数素性のうち、少なくとも一つに対応する情報を素性fPejとすることができる。表層素性の例はex1はex1でなどであり、これらは周辺単語前者の例でははと一致エンティティに対する周辺単語の相対位置前者の例ではex1を表す情報との組を特定する情報である。exは一致エンティティを表し、exβは一致エンティティexのβ単語後の単語を表し、exβは一致エンティティexのβ単語前の単語を表す。品詞素性の例はex1POS:助詞exPOS:名詞などであり、これらは一致エンティティに対する周辺単語の相対位置前者の例ではex1、後者の例ではexと一致エンティティ又は周辺単語の品詞との組を特定する情報である。固有名詞素性の例はexORGex1ORGなどであり、これらは一致エンティティに対する周辺単語の相対位置と一致エンティティ又は周辺単語の固有名詞との組を特定する情報である。構文素性の例は、正例テキスト内での一致エンティティの係り受けの階層を表す情報である。出現回数素性の例は、テキストデータやテキストデータの集合Dが含む正例エンティティRPej1の個数である正例エンティティRPej1の素性fPejの例の説明終わり。同様に、素性抽出部108は、記憶部101に格納されたテキストデータの集合Dから、何れかの負例エンティティRNej1初期の負例エンティティRNe0は負例シードエンティティRNe0を含む文字列である負例テキストを抽出する。負例テキストの例は、テキストデータが含む文、フレーズ、単語列などである。負例テキストは、負例エンティティRNej1とテキストデータとの組に対して一つ以上抽出される。素性抽出部108は、抽出した負例テキストとの関係で定まる負例エンティティRNej1の特徴を表す素性fNejを抽出する。負例エンティティRNej1の素性fNejは、負例テキスト負例エンティティRNej1を含む文字列であってテキストデータが含むものに対応し、負例テキストと当該負例エンティティRNej1との関係を表す情報を含む。この例では、負例エンティティRNej1を含む負例テキストごとに当該負例エンティティRNej1の素性fNejが抽出される。負例エンティティRNej1の素性fNejの具体例は、上述した正例エンティティRPej1の素性fPejの場合と同様である。例えば、上述した正例エンティティRPej1の素性fPejの具体例の正例が負例にRPej1がRNej1にfPej1がfNej1にそれぞれ置換されたものである。素性抽出部108は、正例エンティティRPej1の素性fPejと正例を表すラベルとの組、及び、負例エンティティRNej1の素性fNejと負例を表すラベルとの組を出力する。《トピック情報抽出:ステップS104》正例エンティティRPej1、負例エンティティRNej1、正例エンティティRPej1の素性fPejと正例を表すラベルとの組、及び、負例エンティティRNej1の素性fNejと負例を表すラベルとの組がトピック情報抽出部109に入力される。トピック情報抽出部109は、記憶部103に格納されたトピック情報付きテキストデータの集合Dから、正例エンティティRPej1を含むテキストデータを含むトピック情報付きテキストデータが含むトピック情報正例エンティティRPej1を含むテキストデータに対応するトピック情報を選択する。このように選択されたトピック情報を、正例エンティティRPej1とテキストデータとの組に対応する正例トピック情報と呼ぶことにする。なお、トピック情報はテキストデータごとに与えられているため、同一のテキストデータが含む各正例テキストには、同じ正例トピック情報が対応する。トピック情報抽出部109は、正例エンティティRPej1とテキストデータとの組に対応する正例トピック情報を、当該テキストデータが含む各正例テキストに対応する各正例エンティティRPej1の素性fPejに加え、各正例テキストに対応する各正例エンティティRPej1の素性をfPejに更新する。すなわち、正例テキストに対応する正例エンティティRPej1の素性fPejは、当該正例テキストに対応する正例エンティティRPej1の素性fPejと正例トピック情報とを含む。このように正例トピック情報は素性fPejの一部とされる。同様に、トピック情報抽出部109は、記憶部103に格納されたトピック情報付きテキストデータの集合Dから、負例エンティティRNej1を含むテキストデータを含むトピック情報付きテキストデータが含むトピック情報負例エンティティRNej1を含むテキストデータに対応するトピック情報を選択する。このように選択されたトピック情報を、負例エンティティRNej1とテキストデータとの組に対応する負例トピック情報と呼ぶことにする。なお、トピック情報はテキストデータごとに与えられているため、同一のテキストデータが含む各負例テキストには、同じ負例トピック情報が対応する。トピック情報抽出部109は、負例エンティティRNej1とテキストデータとの組に対応する負例トピック情報を、当該テキストデータが含む各負例テキストに対応する各負例エンティティRNej1の素性fNejに加え、各負例テキストに対応する各負例エンティティRNej1の素性をfNejに更新する。すなわち、負例テキストに対応する負例エンティティRNej1の素性fNejは、負例テキストに対応する負例エンティティRNej1の素性fNejと負例トピック情報とを含む。このように負例トピック情報は素性fNejの一部とされる。なお、トピック情報付きテキストデータの集合Dが含むすべての正例テキストや負例テキストに対応する素性fPejfNejが生成されてもよいし、一部の正例テキストや負例テキストに対応する素性fPejfNejのみが生成されてもよい。以下に、一部の正例テキストや負例テキストに対応する素性fPejfNejのみが生成される例を示す。一部の正例テキストや負例テキストに対応する素性のみが生成される例多義的な正例エンティティRPej1が素性抽出部108に入力される場合がある。例えばのような正例エンティティRPej1は、球団名として用いられる場合もあれば、企業名として用いられる場合もある。この例では、トピック情報付きテキストデータの集合Dにおいて正例エンティティRPej1がどのような意味で使用されることが多いのかを推定し、当該推定された意味で正例エンティティRPej1が使用されていると推定される文字列正例テキスト及び負例テキストのみを対象として正例トピック情報及び負例トピック情報を選択し、正例エンティティRPej1の素性fPejや負例エンティティRNej1の素性fNejを生成する。これにより、後述する識別学習部117での学習精度やエンティティ識別部118での識別精度の向上が見込まれる。まず、トピック情報付きテキストデータの集合Dにおいて正例エンティティRPej1がどのような意味で使用されているかを推定するために、素性抽出部108は、トピック情報付きテキストデータの集合Dが含む各テキストデータが含む文字列正例テキスト及び負例テキストに、当該文字列のトピックの候補と、当該トピックの候補それぞれの当該文字列に対する適切さを表すトピック候補スコアとを与える。トピック候補スコアは、例えば、前述のトピックモデルTM0を用いて計算されるか、前述のステップS102の過程で得られた情報から計算され、記憶部103に格納される。以下に、各トピックの候補に対応するznとテキストデータが含む文字列vとに対応するトピック候補スコアsを例示する。spppp...なお、ppは、zznでのトピックモデルTM0のパラメータとして得られ、pは、zznでの式の同時確率pとパラメータpΣzppとから得られる。また、以下のトピック候補スコアsを用いてもよい。その他、式の写像をトピック候補スコアsとしてもよい。次に素性抽出部108は、正例テキストに対応する同一のトピックの候補に対応するトピック候補スコアを集計し、当該トピックの候補ごとの集計結果を当該トピックの候補それぞれの正例トピックスコアとする。例えば、素性抽出部108は、式に従ってトピックの候補のそれぞれに対応する各正例トピックスコアSを計算し、記憶部103に格納する。なお、Vpは正例テキストの集合を表す。その他、トピック候補スコアsの単調増加関数値を各正例トピックスコアSとするなど、その他の集計方法で正例トピックスコアSが計算されてもよい。次に素性抽出部108は、各正例トピックスコアSが特定の基準を満たすトピックの候補を選択し、それを正例基準トピックSeとして記憶部103に格納する。選択される正例基準トピックSeの個数は1個であってもよいし2個以上であってもよい。例えば、最も値の大きな正例トピックスコアSに対応するトピックの候補が正例基準トピックSeとされてもよいし、値の大きな順に選択された所定個の正例トピックスコアSにそれぞれ対応するトピックの候補が正例基準トピックSeとされてもよいし、基準値以上の正例トピックスコアSに対応するトピックの候補が正例基準トピックSeとされてもよい。同様に、各負例トピックスコアSが特定の基準を満たすトピックの候補を選択し、それを負例基準トピックSeが記憶部103に格納されてもよい。負例トピックスコア及び負例基準トピックは、上述の正例トピックスコア及び正例基準トピックの定義中の正例がそれぞれ負例に置換されたものである。素性抽出部108は、例えば、正例基準トピックSeの何れかと同一のトピックの候補に対応する正例テキストテキストデータが含む文字列であり、なおかつ、当該同一のトピックの候補に対応するトピック候補スコアが特定の基準を満たす正例テキストに対応する正例エンティティRPej1の素性fPejを生成するが、それ以外の正例テキストに対応する正例エンティティの素性を生成しない。また、素性抽出部108は、例えば、負例基準トピックSeの何れかと同一のトピックの候補に対応する負例テキストテキストデータが含む文字列であり、なおかつ、当該同一のトピックの候補に対応するトピック候補スコアが特定の基準を満たす負例テキストに対応する負例エンティティRNej1の素性fNejを生成するが、それ以外の負例テキストに対応する負例エンティティの素性を生成しない。以下に具体的な素性生成例を示す。素性生成例1:素性抽出部108は、正例基準トピックSeの何れかと同一のトピックの候補に対応する正例テキストであり、なおかつ、当該同一のトピックの候補に対応するトピック候補スコアが当該正例テキストに対応するトピック候補スコアの中で最大となる正例テキストに対応する正例エンティティRPej1の素性fPejを生成するが、それ以外の正例テキストに対応する正例エンティティの素性を生成しない。また、例えば、素性抽出部108は、負例基準トピックSeの何れかと同一のトピックの候補に対応する負例テキストであり、なおかつ、当該同一のトピックの候補に対応するトピック候補スコアが当該負例テキストに対応するトピック候補スコアの中で最大となる負例テキストに対応する負例エンティティRNej1の素性fNejを生成するが、それ以外の負例テキストに対応する負例エンティティの素性を生成しない。素性生成例2:素性抽出部108は、正例基準トピックSeの何れかと同一のトピックの候補に対応する正例テキストであり、なおかつ、当該同一のトピックの候補に対応するトピック候補スコアが基準値以上となる正例テキストに対応する正例エンティティRPej1の素性fPejを生成するが、それ以外の正例テキストに対応する正例エンティティの素性を生成しない。また、例えば、素性抽出部108は、負例基準トピックSeの何れかと同一のトピックの候補に対応する負例テキストであり、なおかつ、当該同一のトピックの候補に対応するトピック候補スコアが基準値以上となる負例テキストに対応する負例エンティティRNej1の素性fNejを生成するが、それ以外の負例テキストに対応する負例エンティティの素性を生成しない。素性生成例3:素性抽出部108は、正例基準トピックSeの何れかと同一のトピックの候補に対応する正例テキストであり、なおかつ、当該同一のトピックの候補に対応するトピック候補スコアが当該正例テキストに対応するトピック候補スコアの中で最大となる正例テキストに対応する正例エンティティRPej1の素性fPejを生成するが、それ以外の正例テキストに対応する正例エンティティの素性を生成しない。一方、負例エンティティRNej1の素性fNejについては、すべての負例テキストに対応する負例エンティティRNej1の素性fNejが生成される。素性生成例4:素性抽出部108は、正例基準トピックSeの何れかと同一のトピックの候補に対応する正例テキストであり、なおかつ、当該同一のトピックの候補に対応するトピック候補スコアが基準値以上となる正例テキストに対応する正例エンティティRPej1の素性fPejを生成するが、それ以外の正例テキストに対応する正例エンティティの素性を生成しない。一方、負例エンティティRNej1の素性fNejについては、すべての負例テキストに対応する負例エンティティRNej1の素性fNejが生成される一部の正例テキストや負例テキストに対応する素性のみが生成される例の説明終わり。トピック情報抽出部109は、正例エンティティRPej1の素性fPejと正例を表すラベルとの組、及び、負例エンティティRNej1の素性fNejと負例を表すラベルとの組を出力する。図4Bは、トピック情報抽出部109が出力する組及び組を例示した図である。なお、POSは品詞素性を表し、BOSは対応する位置に単語が存在しないことを表す。例えば、テキストデータが含む正例テキストに対応する正例エンティティexの素性はfPejex2ヤクルトex2POS:名詞ex1VSex1POS:名詞ex1のex1POS:助詞ex2ヤクルトex2POS:助詞トピック情報である。《識別学習:ステップS105》正例エンティティRPej1の素性fPejと正例を表すラベルとの組、及び、負例エンティティRNej1の素性fNejと負例を表すラベルとの組は識別学習部117に入力される。正例エンティティRPej1の素性fPejは正例に対する教師あり学習データとして利用でき、負例エンティティRNej1の素性fNejは負例に対する教師あり学習データとして利用できる。識別学習部117は、正例エンティティRPej1の素性fPejと負例エンティティRNej1の素性fNejとを教師あり学習データとした学習処理によって、識別モデルMEejを生成する。この識別モデルMEejは、任意のエンティティの素性を入力として当該エンティティが正例エンティティか負例エンティティかを識別するための情報を出力する関数である。このような識別モデルMEejであればどのようなモデルであってもよい。識別モデルMEejの例は、正則化項付き最大エントロピーモデル参考文献2BergerALPietraVJDandPietraAmaximumentropyapproachtonaturallanguageprocessingSAD1996、正則化項付きの条件付きランダム場などである。各例の識別モデルMEejの学習では、教師あり学習データとして用いられた正例エンティティRPej1の素性fPej及び負例エンティティRNej1の素性fNejに対し、当該識別モデルMEejへの影響度の大きさを表す指標素性に対する重みが付され、これらが識別モデルMEejを特定するパラメータとなる。特に参考文献2-4で例示したようなモデルは、すべての素性に対して重みが付されるモデル例えば正則化項のない最大エントロピーモデルではなく、識別に有効と判断された素性のみについて重みが付される。以下、正則化項付き最大エントロピーモデルの具体例を示す。正則化項付き最大エントロピーモデルが用いられる場合、識別学習部117は、∈を学習データとして用い、条件付確率に対するエントロピーを最大化する各重みパラメータλqに対応するPλであるPを識別モデルMEejとする。ただし、であり、qは各学習データの組にそれぞれ対応するラベルであり、pは学習データにおけるxの出現頻度であり、fqはqに対応する素性関数である。ここで、各重みλqはqに対応する学習データの素性fPej又はfNejの識別モデルMEejへの影響度の大きさを表す指標となる。また、正則化項付き最大エントロピーモデルの例では、すべての学習データの素性fPej又はfNejに対して重みλqが付されるわけではなく、重要度の低い素性に対応する重みλqは付されない。すなわち、重要度の低い素性に対応する重みλqは0とされる。また、ステップS104で一部の正例テキストや負例テキストに対応する素性fPejfNejのみが生成されていた場合には、一部の正例テキストや負例テキストに対応する素性fPejfNejに対応する∈のみが学習データとされる。例えば、前述した一部の正例テキストや負例テキストに対応する素性のみが生成される例のように素性fPejfNejが生成された場合には、前述した正例基準トピックの何れかと同一のトピック候補に対応する正例テキストテキストデータが含む文字列であり、なおかつ、当該同一のトピック候補のトピック候補スコアが特定の基準を満たす正例テキストに対応する正例エンティティ及び/又は負例エンティティの素性のみが教師あり学習データとされる。学習処理によって生成された識別モデルMEejは記憶部104に格納される。例えば、学習処理によって生成された識別モデルMEejのパラメータが記憶部104に格納される。《エンティティ識別:ステップS106》エンティティ識別部118は、記憶部103に格納されたトピック情報付きテキストデータの集合Dから何れかのトピック情報付きテキストデータを選択し、選択したトピック情報付きテキストデータが含むテキストデータが含む文字列であるエンティティを対象エンティティRDejとする。なお、トピック情報付きテキストデータの集合Dからすべてのトピック情報付きテキストデータが選択されてもよいが、すべてのテキストデータを識別対象とすることは計算効率上好ましくない。そのため、特定の方法で識別対象を限定して選択を行うことが望ましい。以下にその具体例を示す。選択方法の例選択方法の例1:選択方法の例1では、エンティティ識別部118は、識別学習部117で教師あり学習データとして用いられた正例エンティティRPej1の素性fPej及び負例エンティティRNej1の素性fNejのうち、それらから生成された識別モデルMEejへの影響度の大きさを表す指標例えば前述の重みλqが特定の基準を満たす素性、つまり、当該識別モデルMEejへの影響度が大きな素性fPej及び/又はfNejを選択する。例えば、エンティティ識別部118は、前述の重みλqの絶対値が閾値よりも大きな素性fPej及び/又はfNejを選択する。また、エンティティ識別部118は、選択した素性fPej及び/又はfNejに対応する文字列を含むテキストデータを含むトピック情報付きテキストデータを選択し、当該選択したトピック情報付きテキストデータが含むテキストデータが含む文字列であるエンティティを対象エンティティRDejとする。例えば、エンティティ識別部118は、選択した素性fPej及び/又はfNejから表層素性の単語を抽出し、当該表層素性の単語を含むテキストデータを含むトピック情報付きテキストデータを選択する。一例を挙げると、選択された素性がエンティティexの前2単語が表層素性と品詞素性の組み合わせで成り立つ素性FNCFNCは関数であった場合、エンティティ識別部118は、選択した素性FNCから表層素性の単語でを抽出し、単語でを含むテキストデータを含むトピック情報付きテキストデータを選択する。選択方法の例2:選択方法の例2では、エンティティ識別部118は、前述した正例基準トピックSeの何れかと同一のトピック候補に対応する正例テキストテキストデータが含む文字列であり、なおかつ、当該同一のトピック候補のトピック候補スコアが特定の基準を満たす正例テキストが含むエンティティを対象エンティティRDejとする。例えば、エンティティ識別部118は、正例基準トピックSeの何れかと同一のトピックの候補に対応する正例テキストであり、なおかつ、当該同一のトピックの候補に対応するトピック候補スコアが当該正例テキストに対応するトピック候補スコアの中で最大となる正例テキストが含むエンティティを対象エンティティRDejとする。或いは、例えば、エンティティ識別部118は、正例基準トピックSeの何れかと同一のトピックの候補に対応する正例テキストであり、なおかつ、当該同一のトピックの候補に対応するトピック候補スコアが基準値以上となる正例テキストが含むエンティティを対象エンティティRDejとする選択方法の例の説明終わり。素性抽出部108は、記憶部101に格納されたテキストデータの集合Dから、対象エンティティRDejを含む文字列である対象テキストを抽出する。対象テキストの例は、テキストデータが含む文、フレーズ、単語列などである。対象テキストは、対象エンティティRDejとテキストデータとの組に対して1個以上抽出される。素性抽出部108は、抽出した対象テキストとの関係で定まる対象エンティティRDejの特徴を表す素性fDejを抽出する。対象エンティティRDejの素性fDejは、対象テキスト対象エンティティRDejを含む文字列であってテキストデータに含まれるものに対応し、対象テキストと当該対象エンティティRDejとの関係を表す情報を含む。具体的な処理は、前述した正例エンティティRPej1の素性fPejを抽出する場合と同様である。例えば、正例エンティティRPejが対象エンティティRDejに素性fPejが素性fDejに正例テキストが対象テキストに置換される以外は、前述した正例エンティティRPej1の素性fPejを抽出する処理と同じである。対象テキストに対応する対象エンティティRDejの素性fDejは、トピック情報抽出部109に入力される。トピック情報抽出部109は、記憶部103から、対象テキストを含むトピック情報付きテキストデータが含むトピック情報対象テキストに対応するトピック情報を選択する。このように選択されたトピック情報を、対象エンティティRDejとテキストデータとの組に対応する対象トピック情報と呼ぶことにする。なお、トピック情報はテキストデータごとに与えられているため、同一のテキストデータが含む各対象テキストには、同じ対象トピック情報が対応する。トピック情報抽出部109は、対象エンティティRDejとテキストデータとの組に対応する対象トピック情報を、当該テキストデータが含む各対象テキストに対応する各対象エンティティRDejの素性fDejに加え、各対象テキストに対応する各対象エンティティRDejの素性をfDejに更新する。すなわち、対象テキストに対応する対象エンティティRDejの素性fDejは、当該対象テキストに対応する対象エンティティRDejの素性fDejと対象トピック情報とを含む。このように対象トピック情報は素性fDejの一部とされる。対象エンティティRDejの素性fDejは、エンティティ識別部118に入力される。エンティティ識別部118は、対象エンティティRDejの素性fDejを記憶部104から読み出した識別モデルMEejに入力し、対象エンティティRDejが正例エンティティか負例エンティティかを識別する。例えば、識別モデルMEejとして正則化項付き最大エントロピーモデルが用いられる場合には、xfDejを識別モデルMEejであるPに代入してPとPとを求め、それらに対応する指標信頼度などと閾値とを比較することで、対象エンティティRDejが正例エンティティか負例エンティティかを識別する。ここで、対象エンティティが正例エンティティであると識別された場合、エンティティ識別部118は、対象エンティティRDejを新たな正例エンティティRPejとして記憶部105に格納する。一方、対象エンティティが負例エンティティであると識別された場合、エンティティ識別部118は、対象エンティティRDejを新たな負例エンティティRNejして記憶部105に格納する。《トピック修正候補選択:ステップS107》トピック修正候補選択部111は、記憶部103に格納されたトピック情報付きテキストデータの集合Dから、正例エンティティRPejを含むテキストデータに対応するトピック情報正例トピック情報の集合の部分集合をトピック修正候補の集合として選択する。トピック修正候補の集合の要素は、正例エンティティRPejに対応するものとしてユーザに提示され、人手による検証対象とされる。正例エンティティRPejを含むテキストデータに対応する正例トピック情報の集合のすべてがトピック修正候補の集合とされてもよいし、当該正例トピック情報の集合の一部の要素がトピック修正候補の集合とされてもよい。ただ、人手による修正コストをできるだけ小さくし、かつ、セマンティックドリフトをより効率的に軽減するためには、それに適した基準でトピック修正候補の集合が選択されることが望ましい。基本的には、人手による修正によって得られる情報量の多い正例トピック情報や、正例エンティティRPejに対応することの信頼度がデータ抽出装置1にとって低い正例トピック情報が、トピック修正候補の集合として有益である。有益な正例トピック情報を選んでトピック修正候補の集合としてユーザに提示できれば、ユーザが検討するデータの数を減らすことができユーザの負荷を減らし、かつ、学習処理に有益な正例トピック情報を効率よく得ることができる。このように有益な正例トピック情報を選択する基準であればどのようなものを用いてもかまわない。以下では、有益な正例トピック情報の集合をトピック修正候補の集合として選択するための基準を例示する。[トピック修正候補の集合を選択する基準の例示]トピック修正候補選択部111は、正例トピック情報に対応するスコアSpを何らかの基準と比較し、その基準を満たす正例トピック情報の集合をトピック修正候補の集合とする。例えば、スコアSpが閾値THp以上又は閾値THpを超えることとなる正例トピック情報をトピック修正候補の集合の要素としてもよいし、スコアSpの大きい順に選択された上位M個Mは正整数の正例トピック情報をトピック修正候補の集合の要素としてもよい。スコアSpは、例えば、人手による修正によって得られる情報量が多い影響度が大きいほど大きくなるものであってもよいし、正例エンティティRPejに対応することの信頼度がデータ抽出装置1にとって低いほど大きくなるものであってもよいし、それらの両方の特徴を備えたものであってもよい。以下、スコアSpの例を示す。[影響度に対応するスコアの例]この例では、正例トピック情報が表すトピックpzn’それぞれに対応するテキストデータdの数Dpzn’に対応する値が当該トピックpzn’それぞれの影響度とされ、当該影響度に対応する値が当該トピックpzn’を表す各正例トピック情報に対応するスコアSpとされる。例えば図4Aの例のようにN1の場合のトピック情報の例1によってトピック情報が生成された場合、と事後確率pとの組がテキストデータdに対応するトピック情報される。なお、argmaxαβはβを最大化するαを意味する。図4Aの例でIDT1T2T4T8T10T11のテキストデータdのそれぞれが何れかの正例エンティティRPejを含み、IDT7のテキストデータdが正例エンティティRPejを含まないとする。この場合、IDT1T2T4T8T10T11のテキストデータdに対応する各トピック情報がトピックpzn’z2を表す正例トピック情報であり、Dpzn’6である。Dpzn’がそのまま影響度とされてもよいし、Dpzn’の広義単調増加関数値が影響度とされてもよい。影響度がそのままスコアSpとされてもよいし、影響度の広義単調増加関数値がスコアSpとされてもよい。[信頼度1に対応するスコアの例]この例では、正例トピック情報が表すトピックpzn’に対応するテキストデータdが含む文字列vの確率分布pと正例エンティティRPejを含むテキストデータdが含む文字列vの確率分布pω∈10正例,負例との距離に対応する値が当該正例トピック情報それぞれの第1信頼度とされ、当該第1信頼度に対応する値が当該正例トピック情報それぞれに対応するスコアSpとされる。どのような尺度の距離を用いるかには限定はないが、例えば、距離としてKLダイバージェンスKullbackLeiblerdivergence例えば参考文献1参照を用いることができる。確率分布pと確率分布pとのKLダイバージェンスは、例えば以下のようになる。確率分布pと確率分布pとの距離がそのまま第1信頼度とされてもよいし、当該距離の広義単調増加関数値が第1信頼度とされてもよい第1信頼度が高いほど信頼性が低い。この例では信頼性が低いほど大きな値をとるスコアSpが用いられる。例えば、第1信頼度がそのままスコアSpとされてもよいし、第1信頼度の広義単調増加関数値がスコアSpとされてもよい。[信頼度2に対応するスコアの例]この例では、トピックzn’を表す負例トピック情報それぞれに対応するテキストデータの数Dnzn’と当該同じトピックzn’を表す正例トピック情報それぞれに対応するテキストデータの数Dpzn’との比に対応する値が、当該トピックzn’を表す正例トピック情報の第2信頼度とされ、当該第2信頼度に対応する値が当該正例トピック情報それぞれに対応するスコアSpとされる。例えば、図4Aの例でIDT1T2T4T8T10T11のテキストデータdのそれぞれが何れかの正例エンティティRPejを含み、IDT7のテキストデータdが正例エンティティRPejを含まないとする。この場合、トピックzn’z2を表す負例トピック情報それぞれに対応するテキストデータの数はDnzn’1であり、トピックzn’z2を表す正例トピック情報それぞれに対応するテキストデータの数Dpzn’6である。例えば、Dnzn’Dpzn’が第2信頼度とされる場合第2信頼度が高いほど信頼性が低い、第2信頼度は16となる。この例では信頼性が低いほど大きな値をとるスコアSpが用いられる。例えば、Dnzn’Dpzn’がスコアSpとされてもよいし、Dnzn’Dpzn’の広義単調増加関数値がスコアSpとされてもよい。[組合せの例]上述の影響度に対応するスコアの例、信頼度1,2に対応するスコアの例を組み合わせたスコアであってもよい。例えば、影響度×信頼度1や、影響度×信頼度2や、影響度×信頼度1×信頼度2や、信頼度1×信頼度2などがスコアSpとされてもよい。《トピック修正候補提示:ステップS108》トピック修正候補選択部111で選択されたトピック修正候補の集合はトピック修正候補提示部112に送られる。トピック修正候補提示部112は、トピック修正候補の集合を出力する。例えば、トピック修正候補提示部112は、トピック修正候補の集合をリストとして表示する。この際、例えば、各トピック修正候補の集合の要素にそれぞれ対応するテキストデータD、正例エンティティRPej、スコアSpなどの情報も併せてトピック修正候補提示部112に送られ、表示されてもよい。ユーザはこのように表示されたトピック修正候補の集合を閲覧する。《修正情報取得:ステップS109》ユーザは表示されたトピック修正候補の集合が含む要素のうち、不適切な正例トピック情報を特定する。以下に不適切な正例トピック情報の例を示す。[不適切な正例トピック情報の例1]不適切な正例トピック情報の例1は、正例エンティティに対応するトピックとして適切でないものを表す正例トピック情報である。例えば、ユーザが欲する内容に即していないトピックを表すトピック情報や、負例エンティティに対応するトピックとして適切なものを表すトピック情報や、そもそもトピックとしてふさわしくないものを表すトピック情報などを例示できる。[不適切な正例トピック情報の例2]不適切な正例トピック情報の例2は、正例エンティティに対応し、なおかつ、負例エンティティにも対応するトピックを表す正例トピック情報である。例えば、例えば球団名を表わすエンティティを獲得したい状況において、ステップS106で正例エンティティRPejであると識別されたエンティティ巨人ライオンズヴェルディがそれぞれある共通のトピックzn’に対応するとする。しかし、実際にはトピックzn’は巨人とライオンズに対して適切であるが、ヴェルディに対しては適切でないとする。このようなトピックzn’に対応するトピック情報も不適切な正例トピック情報である適切な正例トピック情報の例の説明終わり。不適切な正例トピック情報を特定する修正情報hjが修正情報取得部113に入力される。不適切な正例トピック情報を特定する情報であればどのような情報が修正情報hjとされてもよい。以下に修正情報hjを例示する。[修正情報の例1]この例では、トピック修正候補の集合の各要素に対し、それぞれ本当に正例に対応するか否かを表す情報ω∈10正例,負例が入力され、それらの情報の集合が修正情報hjとされる。この場合にはトピック修正候補の集合が含む正例トピック情報の単位で修正が可能である。以下は、5つのトピック修正候補の集合Topic1Topic2Topic3Topic4Topic5のうち、Topic1Topic2Topic5が適切であり、Topic3Topic4が不適切であるとユーザが判断した例である。この場合には、例えば、Topic1Topic2Topic3Topic4Topic5にそれぞれ対応する11001が修正情報hjとされる。或いは、同様な場合に不適切なトピック修正候補Topic3Topic4が修正情報hjとされてもよい。[修正情報の例2]この例では、トピック修正候補の集合の各要素とそれらにそれぞれ対応するテキストデータdが含む正例エンティティRPejとの組ごとに、それぞれ本当に正例に対応するか否かを表す情報ω∈10正例,負例が入力され、それらの情報の集合が修正情報hjとされる。この例の修正情報hjは、トピック修正候補の集合が含む要素のうち、正例エンティティRPejを含むテキストデータdに対応するトピックと負例エンティティRNejを含むテキストデータdに対応するトピックとの両方に対応する要素である更新対象トピック情報を特定する情報である。この場合にはトピック情報の集合が含むトピック情報とそれに対応するエンティティとの組の単位で修正が可能である。以下は、トピック修正候補正例エンティティRPejTopic1乳酸菌Topic2ヤクルトTopic2広島Topic2人口Topic2投手Topic3ヴェルディTopic3株価の組のうち、Topic2人口及びTopic3株価が不適切であり、その他が適切であるとユーザが判断した例である。この場合には、例えば、Topic1乳酸菌Topic2ヤクルトTopic2広島Topic2人口Topic2投手Topic3ヴェルディTopic3株価にそれぞれ対応する1110110が修正情報hjとされる。或いは、同様な場合に不適切な組Topic2人口及びTopic3株価が修正情報hjとされてもよい。以下の例の更新対象トピック情報はTopic2及びTopic3である。《更新:ステップS110》修正情報hjは更新部115に送られる。更新部115は修正情報hjで特定される不適切なトピック情報に関する情報を修正する。以下に更新部115による修正処理を例示する。[修正処理の例1]この例は、上述の修正情報の例1又は修正情報の例2で例示した何れの修正情報hjが更新部115に送られた場合に実行可能なものであるが、修正情報の例1の修正情報hjが更新部115に送られた場合にのみ実行されてもよい。この例の更新部115は、修正情報hjによって不適切であると特定されるトピック修正候補が表すトピックと同じトピックに対応するテキストデータdが含む正例エンティティRPejを、記憶部105に格納された正例エンティティの集合から除外する。この場合、正例エンティティの集合から除外された正例エンティティRPejが、負例エンティティRNejとして負例エンティティの集合に追加されてもよい。[修正処理の例2]この例は、上述の修正情報の例1又は修正情報の例2で例示した修正情報hjが更新部115に送られた場合に実行可能なものであるが、修正情報の例1の修正情報hjが更新部115に送られた場合にのみ実行されてもよい。また、修正処理の例2の処理は、修正処理の例1の処理とともに行われてもよいし、修正処理の例1の処理が行われることなく行われてもよい。この例の更新部115は、記憶部103に格納されたトピック情報付きテキストデータの集合Dから、修正情報hjによって不適切であると特定されたトピック修正候補が表すトピックと同じトピックに対応するテキストデータdを削除する。これにより、j1回目以降のステップS106の処理では、エンティティ識別部118は、修正情報hjによって不適切であると特定されたトピック修正候補が表すトピックと同じトピックに対応するテキストデータから対象エンティティを選択しない。すなわち、j1回目以降のイテレーションのステップS106では、修正情報hjによって不適切であると特定されたトピック修正候補が表すトピックと同じトピックに対応するテキストデータを除く、テキストデータdが含む文字列であるエンティティが対象エンティティとされる。[修正処理の例3]この例は、上述の修正情報の例2で例示した修正情報hjが更新部115に送られた場合に実行可能なものである。修正処理の例3処理は、修正処理の例1及び/又は修正処理の例2の処理とともに行われてもよいし、修正処理の例1及び/又は修正処理の例2の処理が行われることなく行われてもよい。この例の更新部115は、更新対象トピック情報正例にも負例にも対応するトピック情報と同じトピック情報を新たなトピック情報に更新する。すなわち、更新対象トピック情報が表す包括的なトピックを、正例に対応する下位のトピックと負例に対応する下位のトピックとに分割するトピック分割。更新部115は、分割して得られた新たなトピックを用いて新たなトピックモデルTMjを生成し、それを用いて記憶部103に格納されたトピック情報付きテキストデータの集合D’のトピック情報を更新する。新たなトピックモデルTMjは、分割して得られた新たなトピックを表すトピック情報に対応するテキストデータdのみについて生成されればよい。記憶部103には、テキストデータdとそれに対応するトピック情報とが対応付けられているため図4A参照、トピックモデルTMj1の更新対象となるテキストデータdを特定することは容易である。ただ、その他のテキストデータdについてもトピックモデルTMj1が更新されてもよい。新たなトピックモデルTMjの生成は、例えば、周知技術である半教師あり学習によって行われる。半教師あり学習とは、少量の教師ありデータと大量の教師なしデータの両方用いて学習を行うことで、教師ありデータだけを用いる場合よりも高い性能を持つモデルを生成できる学習方法である。ここではトピックモデルTMjとしてUMを用い式1、EMアルゴリズムを用いて半教師あり学習を行う場合を説明する例えば、参考文献1参照。この例の教師ありデータは、分割して得られた正例に対応する新たなトピックに対応するテキストデータd修正情報hjが特定する正例エンティティRPejを含むものに限るが与えられた場合の当該新たなトピックに対応する隠れ変数zpzの事後確率pzpzd1、当該テキストデータdが与えられた場合の当該新たなトピックに対応するpz以外の隠れ変数z≠pzの事後確率pz≠pzd0、分割して得られた負例に対応する新たなトピックに対応するテキストデータd修正情報hjが特定する正例エンティティRPejを含むものに限るが与えられた場合の当該新たなトピックに対応する隠れ変数znzの事後確率pznzd1、及び、当該テキストデータdが与えられた場合の当該新たなトピックに対応するnz以外の隠れ変数z≠pzの事後確率pz≠nzd0である。これらの教師ありデータは修正情報hjによって正例負例が特定できるもの、すなわち人手によって入力された情報によって正例負例が特定されたものである。上記の新たなトピックに対応しても、修正情報hjによって正例負例が特定されていないテキストデータdも存在する。トピックモデルTMjを以下のように表現する。ただし、βzvは隠れ変数zに対応するテキストデータdが含む文字列vの多項分布ユニグラム確率パラメータであり、ηzは隠れ変数zに対する多項分布パラメータを表し、Σzηz1を満たす。更新部115は、このトピックモデルTMjを生成するEMアルゴリズムは、以下のEステップとMステップとを収束条件を満たすまで繰り返す。Eステップ:Eステップの処理は以下のようになる。ただし、tはEMアルゴリズムの繰り返し回数イテレーション数を表す整数であり、βzvηzはt回目のイテレーションの多項分布パラメータβzvηzを表す。初期値βzvηzは、更新前のトピック情報付きテキストデータの集合Dが含むテキストデータdに対応するトピック情報が示す事後確率pzdを用いて後述の式によって求められてもよいし、任意に定めてもよい。Eステップでは、上述した教師ありデータである事後確率は固定される。すなわち、修正情報hjが特定する正例エンティティRPejを含むテキストデータdについては、教師ありデータである事後確率pzpzd1、pz≠pzd0、pznzd1、及びpz≠nzd0が式の算出結果として出力される。その他のテキストデータdについては式の計算が実際に行われ、それによって得られた事後確率が出力される。Mステップ:Mステップでは、Eステップで出力された事後確率pzdηzβzvに対し、ラグランジュの未定係数法を用いて以下のような更新式を計算する。ただし、|D|はテキストデータdの総数である。更新部115は、収束条件を満たした際の式13の事後確率をテキストデータdが与えられたときの隠れ変数zの事後確率pとし、前述したトピック情報の例1-6などのようにテキストデータdのトピック情報を定め、それによって記憶部103に格納されたトピック情報付きテキストデータの集合Dを更新する。なお、収束条件の例は、イテレーションごとの式13の事後確率の変化量が閾値以下となったこと、イテレーション数が閾値以上となったことなどである。[修正処理の例4]更新部115が、上述した修正処理の例1-3の少なくとも一部を組み合わせた更新処理を実行してもよい。《収束判定:ステップS111-S113》収束判定部119は、収束条件を満たしたかを判定する。以下に収束条件を例示する。収束条件の例収束条件の例1:この例の収束判定部119は、正例エンティティRPejに新たに割り当てられる対象エンティティRDejが存在しない場合に、収束条件を満たしたと判断する。収束条件の例2:この例の収束判定部119は、ステップS103からS111のイテレーションを基準回数以上繰り返しても新たに割り当てられる対象エンティティRDej1が存在しない場合に、収束条件を満たしたと判断する。収束条件の例3:この例の収束判定部119は、jの値が基準値以上となった場合に収束条件を満たしたと判断する収束条件の例の説明終わり/ステップS111。収束判定部119が収束条件を満たしたと判断した場合、ステップS103からS111のイテレーションが終了し、出力部120が記憶部105に格納されているすべての正例エンティティRPjeを出力して処理を終了するステップS113。それ以外の場合は、制御部106がj1を新たなjの値としステップS112、記憶部105に格納されている正例エンティティRPje及び負例エンティティRNjeを素性抽出部108に入力し、ステップS103からS111のイテレーションが実行される。<第1実施形態の特徴>本形態では、抽出対象となるエンティティよりも少ない情報量で特徴を表し得るトピック情報に関する情報を人手によって修正可能とする。これにより、エンティティのラベルのみを人手によって修正する場合に比べ、少ないコストでエンティティの識別精度を向上させることができる。また、本形態の方法ではトピック情報を素性の少なくとも一部として用いたため、セマンティックドリフトを抑制することができる。さらに、本形態の方法はリソースであるテキストデータの種類によらず利用でき、適用範囲が広い。第2実施形態第2実施形態は第1実施形態の変形例であり、一部のトピック情報に関する修正を人手なしに行う点が第1実施形態と相違する。以下では第1実施形態とん相違点を中心に説明する。<構成>図1に例示するように、第2実施形態のデータ抽出装置2は、記憶部101-105、制御部106、トピック付与部107、素性抽出部108、トピック情報抽出部109、トピック修正候補選択部211、トピック修正候補提示部112、修正情報取得部113、更新部115、識別学習部117、エンティティ識別部118、収束判定部119、及び出力部120を有し、制御部106の制御のもと各処理を実行する。なお、データ抽出装置2は、例えば、公知又は専用のコンピュータに特別なプログラムが読み込まれて構成される特別な装置である。<事前処理>第1実施形態と同じであるため説明を省略する。<データ抽出処理>以下、図2を用いてデータ抽出装置2のデータ抽出処理を例示する。ステップS107の処理が以下のステップS207の処理に置換される以外、第1実施形態のデータ抽出処理と同一である。以下では、相違点であるステップS207の処理を中心に説明する。トピック修正候補選択部211は、第1実施形態で説明した正例トピック情報が表すトピックpzn’に対応するテキストデータdが含む文字列vの確率分布pと正例エンティティRPejを含むテキストデータdが含む文字列vの確率分布pω∈10正例,負例との距離KLダイバージェンスなどに対応する値を当該正例トピック情報それぞれの第1信頼度とする。ここでは、第1信頼度が距離又はその広義単調増加関数値である場合を例示する。トピック修正候補選択部211は、第1信頼度が閾値THよりも小さい場合、トピックpzn’が正例集合をうまく捉えているとし、第1信頼度に対応するトピックpzn’に関連する情報の更新を行わない。一方、第1信頼度が閾値THTHTHよりも大きい場合、トピック修正候補選択部211は、第1信頼度に対応する正例トピック情報を不適切な正例トピック情報として特定した前述の修正情報hjを更新部115に送る。さらにトピック修正候補選択部211は、第1信頼度が閾値TH以上閾値TH以下である正例トピック情報の集合の部分集合を、第1実施形態と同様にトピック修正候補の集合人手による修正対象として選択する。その後の処理は第1実施形態と同様である。<第2実施形態の特徴>本形態では、KLダイバージェンスなどの第1信頼度を用い、自動的にトピックに対応する情報の修正を行うか否かを判定するため、人手による処理コストを削減できる。その他の効果は第1実施形態と同様である。変形例等なお、本発明は上述の実施の形態に限定されるものではない。例えば、第1実施形態においてステップS103を実行せず、トピック情報のみを素性としてもよい。また、トピックモデルや学習モデルが上述した具体例に限定されないのは上述の通りである。また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。また、上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体は、非一時的nontransitoryな記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASPApplicationServiceProvider型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるものコンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等を含むものとする。また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。"