"評価対象の特徴を表す特徴データと前記評価対象の識別情報とを含む評価対象データの集合の部分集合に該当する各評価対象データに対して複数の評価者が行った評価の評価結果に基づいて、前記部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定する総合評価結果判定手段と、評価対象データの集合のうち前記複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが前記未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定する類似データ判定手段と、未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度を算出する総合評価結果導出度算出手段とを備えることを特徴とする評価者決定支援装置。総合評価結果導出度算出手段は、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を、前記各評価対象データに対して算出された類似度による重み付けを行って算出する請求項1に記載の評価者決定支援装置。特徴データと評価結果との関係を表すモデルを作成し、未評価の評価対象データ毎に、評価が行われることで前記モデルの精度向上に寄与する度合を表す評価意義度を導出する評価意義度導出手段と、未評価の評価対象データ毎に、評価意義度を用いて、総合評価結果導出度を補正する総合評価結果導出度補正手段とを備える請求項1または請求項2に記載の評価者決定支援装置。未評価の評価対象データ毎に、各評価者の総合評価結果導出度の最大値を特定し、当該最大値が予め定められた閾値を越えることを条件に、前記最大値となる総合評価結果導出度に対応する評価者に未評価データを評価させると判定する評価者決定手段を備える請求項1から請求項3のうちのいずれか1項に記載の評価者決定支援装置。評価者決定手段は、各評価者の総合評価結果導出度がいずれも閾値以下である未評価データを各評価者に評価させると決定する請求項4に記載の評価者決定支援装置。評価者決定手段は、類似する評価対象データがないと類似データ判定手段によって判定された未評価データを各評価者に評価させると決定する請求項4または請求項5に記載の評価者決定支援装置。類似データ判定手段は、未評価の評価対象データとの間で特徴データ同士の類似度が閾値以上となっている評価対象データを、特徴データが前記未評価の評価対象データ内の特徴データと類似する評価対象データであると判定する請求項1から請求項6のうちのいずれか1項に記載の評価者決定支援装置。総合評価結果判定手段は、評価対象データの集合の部分集合に該当する評価対象データ毎に、最も多くの評価者によって導かれた評価結果を総合評価結果と判定する請求項1から請求項7のうちのいずれか1項に記載の評価者決定支援装置。評価対象の特徴を表す特徴データと前記評価対象の識別情報とを含む評価対象データの集合の部分集合に該当する各評価対象データに対して複数の評価者が行った評価の評価結果に基づいて、前記部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定し、評価対象データの集合のうち前記複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが前記未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定し、未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度を算出することを特徴とする評価者決定支援方法。コンピュータに、評価対象の特徴を表す特徴データと前記評価対象の識別情報とを含む評価対象データの集合の部分集合に該当する各評価対象データに対して複数の評価者が行った評価の評価結果に基づいて、前記部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定する総合評価結果判定処理、評価対象データの集合のうち前記複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが前記未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定する類似データ判定処理、および、未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度を算出する総合評価結果導出度算出処理を実行させるための評価者決定支援プログラム。前述のように、アプリケーションに活用する評価済みデータの有効性は、その評価の精度に大きく依存する。よって、データを評価する評価者を選抜することが非常に重要な作業となる。このとき、評価対象に関心がない評価者や、評価対象に関する知識の少ない評価者を選抜してしまう可能性もあり、そのような評価者を選抜した場合、そのような者に評価を依頼すること自体が無駄となる可能性がある。特許文献1や特許文献2に記載された技術によれば、評価対象に関心がない者や、評価対象に関する知識が少ない者を評価者として選択してしまうことを防止することができる。しかし、特許文献1や特許文献2に記載された技術では、総合的な評価を行える評価者を特定できるわけではない。ここで、複数の評価者が同一の評価対象を評価した場合に、その評者者の集合に属する多くの評価者によって不同意とされなかった評価結果を、総合的な評価結果と記す。なお、省略して、総合評価結果と記す場合もある。そして、総合的な評価結果を導くことを、総合的な評価を行う等と記す。総合的な評価結果すなわち、多くの評価者によって不同意とされなかった評価結果の一態様として、例えば、多くの評価者の間で共通している評価結果が挙げられる。多くの評価者の間で共通している評価結果の具体例として、例えば、多数決を基準として定めた評価結果が挙げられる。ただし、これは、総合的な評価結果の一例であり、総合的な評価結果の態様は上記の態様に限定されない。一般に、評価基準は人それぞれの暗黙値であるが、ある複数の評価者の間で、同一の評価対象に対する評価結果が一致する場合、その複数の評価者は、その評価対象に対する評価基準を共有していると捉えることができる。複数の人に評価を求めるシーンの例として、評価対象に対する評価基準が曖昧である場合が挙げられる。例えば、顧客との対話履歴から顧客の要望を抽出するのに用いるモデルを機械学習するための学習データを構築することを考える。この場合、何を顧客の要望とみなすかについて客観的な基準を定義することは困難である。そのため、複数人で総合的な評価を行うことが望ましい。また、例えば、動画投稿サイトにおける動画へのタグ付けに関しても、適切なタグを定義することが困難な場合が多い。そのため、一般的には、複数のユーザによるタグの付与および削除を可能とすることで、動画の評価を総合的な評価に収束させるようにしている。同一の評価対象に対する評価者が増えれば、総合的な評価を行えるので、評価精度が高まると期待できる。しかし、総合的な評価結果とは異なる評価結果を導いた人の評価作業は、総合的な評価を求める観点からは、結果的に無駄になっていることになる。また、全ての人が同じ評価をするような評価対象に関して、多数の人に評価を依頼すると、少人数の人に聞けば分かる評価を、多人数から得ることになる。この場合、統計上有意な新しい情報が得られることはなく、多くの評価者の労力を無駄にしていることになる。また、各評価者が個々の基準で別々の未評価データを評価してしまうと、それらの未評価データについては、総合的な評価結果が得られていない可能性が高い。特許文献1,2に記載された技術は、評価対象を評価する評価者を割り当てる技術である。しかし、特許文献1,2に記載された技術は、評価者に、過去に評価した評価対象に近いものを評価させることを重視しており、特許文献1,2に記載された方法で選択された評価者が、必ずしも総合的な評価を行えるわけではない。特許文献1に記載された方法では、ブログ中に含まれる評価に関する文言の多さを評価者の選定基準に取り入れているが、このような選定基準は、総合的な評価を行える評価者を選定できるという保証にはならない。また、特許文献2に記載された方法では、評価対象にどの程度関心を持っているかを重視して評価者を選定するが、このような基準も、総合的な評価を行える評価者を選定できるという保証にはならない。このように、特許文献1,2に記載された方法では、評価対象に対する関心の高い評価者を選定することはできるが、その評価者が、他の評価者と共通する基準で、他の評価者と共通する総合的な評価結果を導けるわけではない。そこで、本発明は、多くの評価者が評価対象の評価を行った場合における総合的な評価結果と同様の評価を行える評価者の決定をしやすくすることを目的とする。換言すれば、本発明は、多人数に依らなくても総合的な評価結果を導き出せる評価者の決定を支援することができる評価者決定支援装置、評価者決定支援方法および評価者決定支援プログラムを提供することを目的とする。本発明による評価者決定支援装置は、評価対象の特徴を表す特徴データとその評価対象の識別情報とを含む評価対象データの集合の部分集合に該当する各評価対象データに対して複数の評価者が行った評価の評価結果に基づいて、部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定する総合評価結果判定手段と、評価対象データの集合のうち複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定する類似データ判定手段と、未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度を算出する総合評価結果導出度算出手段とを備えることを特徴とする。また、本発明による評価者決定支援方法は、評価対象の特徴を表す特徴データとその評価対象の識別情報とを含む評価対象データの集合の部分集合に該当する各評価対象データに対して複数の評価者が行った評価の評価結果に基づいて、部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定し、評価対象データの集合のうち複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定し、未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度を算出することを特徴とする。また、本発明による評価者決定支援プログラムは、コンピュータに、評価対象の特徴を表す特徴データとその評価対象の識別情報とを含む評価対象データの集合の部分集合に該当する各評価対象データに対して複数の評価者が行った評価の評価結果に基づいて、部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定する総合評価結果判定処理、評価対象データの集合のうち複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定する類似データ判定処理、および、未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度を算出する総合評価結果導出度算出処理を実行させることを特徴とする。本発明によれば、多人数に依らなくても総合的な評価結果を導き出せる評価者の決定を支援することができる。以下、本発明の実施形態を図面を参照して説明する。本発明では、ある特徴を有する評価対象に関して、総合的な評価結果と一致する評価を行いやすい評価者が存在する。という前提に基づく。評価が行われていない各評価対象に関して、総合的な評価結果を導出した者と同様の評価基準を有する評価者を特定できれば、例えば、そのような評価者に未評価の評価対象の評価を一任する等して、評価作業に必要な作業コストを抑えながら、総合的な評価結果に近い評価結果を得ることができる。実施形態1.図1は、本発明の第1の実施形態の評価者決定支援装置の例を示すブロック図である。本実施形態の評価者決定支援装置10は、総合評価部12と、類似データ特定部14と、評価者重要度算出部16とを備える。評価者決定支援装置10は、各自評価結果50と、データ集合52とを入力情報として、評価者毎に、評価に適している度合を示した評価者重要度をまとめた重要評価者情報54を出力する。評価者毎の評価者重要度は、未評価の評価対象毎に算出される。また、ある未評価の評価対象に着目すると、評価者重要度が高い評価者ほど、その評価対象を評価するのに適しており、評価者重要度が低い評価者ほど、その評価対象を評価するのに適していない。評価者重要度は、評価者が未評価の評価対象について、総合的な評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度であると言うことができる。まず、データ集合52について説明する。データ集合52は、個々の評価対象における、その評価対象の特徴を表す特徴データと、その評価対象のID識別情報との組の集合である。データ集合52は、例えば、記憶装置に記憶される。特徴データとIDとが対応付けられていれば、データ集合52の記憶態様は特に限定されない。特徴データとIDとをフィールドとするデータベースをデータ集合52として記憶していてもよい。データ集合52を記憶する記憶装置データ集合記憶部。図示略。を評価者決定支援装置10が備えていてもよい。以下、データ集合52に含まれる特徴データとIDの組をレコードと記す。また、IDの値がx番であるレコードをIDx番のレコードと記す場合がある。なお、データ集合52に含まれる特徴データとIDの組は、評価対象に関する評価対象データと称することもできる。図2は、データ集合52の一例を示す説明図である。図2は、自然言語処理に関わる特許の特許文献を要素技術別に分類するタスクを想定した場合のデータ集合の一例を表している。図2に示す各レコードは、それぞれ1つの特許文献に対応している。特許文献には、その文献を識別するためのIDが付与されている。ここでは、説明を簡単にするために、IDを1,2,3,という番号で表している。また、図2に示す例では、データ集合は、評価対象特許文献の特徴を表す特徴データとして、個々の特許文献に含まれている特徴語を含んでいる。次に、各自評価結果50について説明する。各自評価結果50は、データ集合52のサブセット部分集合に対する複数の評価者の評価結果である。例えば、この複数の評価者によって評価されるデータ集合52のサブセットは予め定められ、そのサブセットに対して、複数の評価者が評価を行うことにより各自評価結果50を作成すればよい。各自評価結果50を作成するために複数の評価者によって評価されるデータ集合52のサブセットを共同評価用データと記す。各自評価結果50は、例えば、記憶装置に記憶される。各自評価結果50を記憶する記憶装置各自評価結果記憶部。図示略。を評価者決定支援装置10が備えていてもよい。ここでは、事前に複数の評価者に共同評価用データを評価させ、各評価者の評価結果を各自評価結果50として各自評価結果記憶部図示略に記憶させているものとする。各自評価結果50に含まれる評価結果は、どの評価者がどの共同評価用データを評価した結果であるのかが分かるように、データのIDおよび評価者のIDに対応付けて記憶されているものとする。図3は、各自評価結果50の一例を示す説明図である。データ集合52のサブセットである共同評価用データに対する3人の評価者A,B,Cの特許分類結果を表している。この特許分類結果は、特徴語特徴データに基づいて特許文献がどの分野に分類されるかを評価した評価結果である。図3において、IDとして示した値は特許文献のIDであり、図2に示すIDの値に対応する。図3に示すA,B,Cはそれぞれ評価者のIDである。図3に示す例では、評価者のIDの列と、特許文献のIDの行とが交差するセルに、その特許文献に対する評価者の分類結果すなわち、評価結果を示している。また、図3に示す例では、各特許文献が、自然言語処理の分野のうち、文書分類技術、文書検索技術、文脈解析技術、辞書構築技術のどの分野に属するかを評価した結果を示している。また、本例では、図2に示すデータ集合52のうち、IDの値が1~10に該当するレコードを共同評価用データとしている。従って、図2に示すID11番以降のレコードに対する評価結果は、図3に示す各自評価結果50に含まれていない。総合評価部12は、各自評価結果50を入力として、個々の共同評価用データに関する総合的な評価結果を決定する。以下、総合的な評価結果を単に総合評価結果と記す。総合評価部12は、個々の共同評価用データについて総合評価結果を決定すると、共同評価用データ毎に、共同評価用データに対応するIDと総合評価結果とを対応付けたデータを、類似データ特定部14に入力する。図4は、総合評価結果の一例を示す説明図である。図4では、図3に示す各自評価結50に対して、最も多くの評価者によって導かれた評価結果を総合評価結果とする。という基準を用いてすなわち、多数決を基準として、総合評価結果を決定した場合の例を示している。図4において、IDとして示した値は特許文献のIDであり、図3に示すIDの値に対応する。例えば、ID2番に対する評価者A~Cの評価結果は、それぞれ、文書分離、辞書構築、文書分類であり、総合評価部12は、文書分類をID2番の総合評価結果と決定する図3および図4参照。なお、多数決を基準とした場合に、複数の評価結果が同点で多数派となっているならば、総合評価部12は、その複数の評価結果を全て総合評価結果としてよい。また、総合評価結果を決定する基準は、多数決以外の基準であってもよい。例えば、動画投稿サイトにおいて、投稿された動画に対してタグキーワードを付与する場合を例にする。動画の場合には、投稿者が投稿時に動画に付与したコメントやタイトル等の文字列情報、動画の視聴者が書き込んだメッセージの文字列情報、および動画の音声や画像の特徴を数値化した特徴量等が特徴データとなる。そして、動画投稿サイトに投稿された動画を評価対象とする場合、その動画投稿サイトの視聴者が主たる評価者であり、その評価者が動画に付与するタグが、動画に対する評価結果に該当する。タグは動画を検索するために利用されることが多い。そのため、タグは、動画の内容や種類を適切に表していることが好ましい。また、多くの動画投稿サイトでは、タグの付与だけでなくタグの削除も視聴者が自由にできるインタフェースが実現されている。視聴者が自由にタグを付与できることから、最初は、でたらめなタグも多く付与され得るが、タグの削除も可能としていることにより、時間経過とともに適切なタグが残るようになる。ある動画において、時間経過とともにタグが追加されたり、あるいは削除されたりすることにより、タグの更新が行われる。このような更新が収束した時に残っているタグは、削除しようとする者が少ないタグであるということが言えるため、その動画に対する総合評価結果とみなすことができる。更新が収束した時のタグを総合評価結果として判定するときの基準を以下に例示する。図5は、動画投稿サイトにおける各動画を評価対象とした場合における、各動画の特徴データおよび各自評価結果を1つの表にまとめた図である。図5に示すIDは、動画の識別情報である。また、評価者A,B,Cは、動画の評価を行う評価者である。図5では、特徴データを映像特徴量、作者ID、コメント情報と簡略化して記載している。評価者のIDの列と、動画のIDの行とが交差するセルに、その評価者がその動画に対して行った評価すなわち、動画に対して付与したタグを示している。図5では、図を単純にするため、ID1番から8番の動画に対して、評価者A,B,Cが全てタグを付与した状態を示している。換言すれば、タグが密に定められている状態を示している。実際には、ある動画に対しては一部の評価者がタグを付与しない状態、すなわちタグがスパースsparseに定められた状態となっていてもよい。なお、本例において、評価の際に評価者は、一般的ではないがインターネット上で用いられることがある特殊な用語または記号を用いて評価を行ってもよい。例えば、期待していたものが登場したという文言の代わりに、ktkr等の記号で評価を行ってもよい。ktkrは、動画投稿サイト等で、期待していたものが登場したという意味で用いられることがある記号である。図6は、図5に示す各自評価結果すなわち、評価者A~Cの評価結果に対する総合評価結果の例を示す。本例では、タグの付与および削除によるタグの更新が収束した時に残っているタグを、総合評価結果とする。例えば、総合評価部12は、画像毎に、1日単位あるいは1時間単位等でタグの付与および削除の回数を集計し、その回数が所定期間以上閾値を上回ることがなければ、その時点で、タグの更新が収束したと判定し、その時点で残っているタグを総合評価結果であると決定すればよい。上記の閾値は予め設定しておけばよい。また、動画に付与されたタグを総合評価結果として決定する基準として他の基準を採用してもよい。例えば、総合評価部12は、動画にタグが付与されてからの経過時間を計測し、所定期間以上、削除されずに残ったタグを、その動画に対する総合評価結果であると決定してもよい。また、総合評価部12は、動画にタグが付与されてから、その動画の閲覧回数が所定回数を上回った時点で、そのタグが削除されずに残っている場合に、そのタグを、その動画に対する総合評価結果であると決定してもよい。また、例えば、総合評価部12は、ある動画に対してタグを付与した評価者のうち、所定の割合以上の評価者によって付与された共通のタグを、その動画に対する総合評価結果であると決定してもよい。なお、タグの更新が収束した時のタグを総合評価結果として決定した結果、前述のような一般的ではないがインターネット上で用いられることがある特殊な用語または記号が総合評価結果とされてもよい。類似データ特定部14は、データ集合52内の未評価データの特徴データ、および、共同評価用データの特徴データを用いて、個々の未評価データ毎に、その未評価データとそれぞれの共同評価用データとの間の特徴データの類似の程度を表す値以下、類似度と記す。を算出する。類似度の値が大きいほど、2つのデータの特徴データ同士の類似性が高く、類似度の値が小さいほど、2つのデータの特徴データ同士の類似性は低い。そして、類似データ特定部14は、類似度に基づいて、その未評価データと類似している共同評価用データを判定する。そして、類似データ特定部14は、その判定結果を評価者重要度算出部16に入力する。なお、未評価データであるか共同評価用データであるかは、各自評価結果50が得られているか否かにより判別すればよい。すなわち、データ集合52に含まれる各レコードのうち、各自評価結果50が得られていないレコードは未評価データであり、各自評価結果50が得られているレコードは共同評価用データである。類似データ特定部14が、未評価データの特徴データと、共同評価用データの特徴データとを用いて、未評価データと共同評価用データの類似度を算出し、その類似度に基づいて、未評価データに類似する共同評価用データを判定する処理の一例を以下に示す。以下に示す例では、未評価データの特徴データおよび共同評価用データの特徴データを数値化し、数値化した特徴データにより類似度を算出する場合を示す。図2に示すように、データ集合52内の各レコードにおいて、評価対象となる文献内の特徴語が特徴データになっているとする。また、1つのレコードに含まれる特徴語は1つとは限らない図2参照。さらに、本例では、1つのレコード内で、同一の特徴語が重複して複数個含まれていてもよいものとする。例えば、ID1番のレコードで、ドメインという特徴語が複数含まれていてもよい。類似データ特定部14は、データ集合52内の各レコードを参照して、データ集合52に含まれる全種類の特徴語を重複無く抽出する。そして、類似データ特定部14は、その特徴語に対応する要素を含むベクトル以下、特徴ベクトルと記す。を、それぞれの未評価データおよび共同評価用データに関して定める。データ集合52に含まれる特徴語の種類がn種類あるとすると、特徴ベクトルとしてn個の要素を含むベクトルを定めればよい。特量ベクトルを要素1,要素2,,要素nとする。例えば、要素1は、図2に示す特徴語固有表現に対応し、要素2は、図2に示す特徴語辞書に対応するものとする。また、他の要素も各特徴語に対応している。類似データ特定部14は、データ集合52内の個々の未評価データおよび共同評価用データに関して、特徴ベクトルを定める場合、特徴ベクトルの要素毎に、その要素に対応する特徴語が特徴データとして何個存在するかをカウントし、そのカウント結果を要素の値とすればよい。例えば、図2に示すID1番の特徴データ内に、固有表現という特徴語が2個含まれているとする。この場合、類似データ特定部14は、ID1番の特徴ベクトルの要素1の値を2にする。同様に、類似データ特定部14は、ID1番の特徴データ内に含まれる辞書という特徴語の数をカウントし、そのカウント結果を、ID1番の特徴ベクトルの要素2の値とする。類似データ特定部14は、他の要素の値に関しても同様に定める。ある要素に対応する特徴語のカウント結果が0であれば、その要素の値を0とすればよい。この結果、ID1番の特徴データを数値化した特徴ベクトルが得られる。ここでは、ID1番に関する特徴ベクトルを求める場合を示した。本例では、ID1番から10番までを共同評価用データとする。従って、類似データ特定部14は、ID1番から10番までの共同評価用データに関してそれぞれ、上記と同様の方法で特徴ベクトルを定めればよい。また、類似データ特定部14は、ID11番以降の未評価データに関しても、上記と同様の方法で特徴ベクトルを定めればよい。特徴ベクトルを定める方法は、未評価データと共同評価用データとで共通である。類似データ特定部14は、2つのデータの類似度として、例えば、上記のように算出した特徴ベクトルのコサイン類似度を算出すればよい。例えば、ある未評価データと共同評価用データの類似度として、その未評価データの特徴ベクトルと、その共同評価用データの特徴ベクトルのコサイン類似度を算出すればよい。そして、類似データ特定部14は、着目している未評価データと、各共同評価用データとの類似度を求めた後、類似度が閾値以上になっている共同評価用データを選択し、その共同評価用データを、着目している未評価データに類似するデータであると判定すればよい。この閾値は予め定めておけばよい。なお、類似度が閾値以上になっている共同評価用データが存在しない場合、類似データ特定部14は、着目している未評価データに類似する共同評価用データは存在しないと判定すればよい。ここでは、閾値を用いる場合を例示したが、類似データ特定部14は、1つの未評価データに着目して、各共同評価用データとの類似度を求めた後、類似度の大きい順に所定個ここではk個とする。の共同評価用データを選択し、そのk個の共同評価用データを、着目している未評価データに類似するデータであると判定してもよい。類似データ特定部14は、上記のように、データ集合52内の未評価データ毎に、類似している共同評価用データを判定する。なお、類似度と比較する閾値、あるいは、上記のkの値は、評価者決定支援装置を運用する前に事前にテストを行い、適切な値を設定しておけばよい。また、特徴ベクトルを定める方法は、上記の例に限定されない。例えば、類似データ特定部14は、データ集合52内の個々の未評価データおよび共同評価用データに関して、特徴ベクトルを定める場合、特徴ベクトルの要素毎に、その要素に対応する特徴語が特徴データに含まれているかを判定し、含まれている場合にはその要素の値を1とし、含まれていない場合にはその要素の値を0としてもよい。例えば、図2に示すID1番の特徴データ内に固有表現という特徴語が含まれているので、類似データ特定部14は、ID1番の特徴ベクトルの要素1の値を1にする。また、特徴ベクトルの要素mに対応する特徴語がID1番の特徴データに含まれていなければ、要素mの値を0にすればよい。類似データ特定部14は、各要素について同様に1または0の値を定めることで、特徴ベクトルを定めてもよい。上記の例では、データ集合52に含まれる個々の未評価データおよび共同評価用データの特徴データを特徴ベクトルとして表すことにより数値化し、特徴ベクトルの演算例えば、コサイン類似度の算出により類似度を求める場合を示した。個々の未評価データおよび共同評価用データの特徴データを数値化する際に、類似データ特定部14は、特徴ベクトル以外のデータにしてもよい。また、類似データ特定部14は、個々の未評価データおよび共同評価用データの特徴データを数値化せずに類似度を算出してもよい。以下、この場合の類似度算出方法の例を示す。本例では、説明を簡単にするため、1つのレコード内で、同一の特徴語が含まれていないものとする。ただし、互いに異なるレコードは、共通の特徴語を含んでもよい。ここでは、IDi番の未評価データとIDj番の共同評価用データの類似度を算出する場合を例にする。IDi番の未評価データの特徴語の集合をWiとする。また、IDj番の共同評価用データの特徴語の集合をWjとする。類似データ特定部14は、集合Wi,Wjの和集合Wi∪Wjの要素数に対する、集合Wi,Wjの積集合Wi∩Wjの要素数の割合を算出し、その割合をIDi番の未評価データとIDj番の共同評価用データの類似度としてもよい。あるいは、類似データ特定部14は、データ集合52内の全ての未評価データおよび共同評価用データの和集合の要素数に対する、集合Wi,Wjの積集合Wi∩Wjの要素数の割合を算出し、その割合をIDi番の未評価データとIDj番の共同評価用データの類似度としてもよい。上記のように類似度を算出する場合においても、類似データ特定部14は、着目している未評価データと、各共同評価用データとの類似度を求めた後、類似度が閾値以上になっている共同評価用データを選択し、その共同評価用データを、着目している未評価データに類似するデータであると判定すればよい。あるいは、類似度の大きい順に所定個ここではk個とする。の共同評価用データを選択し、そのk個の共同評価用データを、着目している未評価データに類似するデータであると判定してもよい。評価者重要度算出部16は、各自評価結果50、総合評価部12の処理結果すなわち、共同評価用データと総合評価結果とを対応付けた情報。図4参照。、および類似データ特定部14の処理結果すなわち、未評価データに類似すると判定された共同評価用データとを用いて、未評価データ毎に、各評価者の評価者重要度を算出する。なお、評価者重要度算出部16は、各自評価結果50を直接読み込んでもよい。あるいは、総合評価部12から入力されてもよく、また、総合評価部12から類似データ特定部14を介して入力されてもよい。また、評価者重要度算出部16は、総合評価部12の処理結果を、総合評価部12から直接入力されてもよく、あるいは、総合評価部12から類似データ特定部14を介して入力されてもよい。評価者重要度算出部16は、類似データ特定部14の処理結果と、図4に例示する情報総合評価部12の処理結果とを参照して、未評価データ毎に、その未評価データに類似する各共同評価用データの総合評価結果を特定する。さらに、評価者重要度算出部16は、各自評価結果50を参照して、その共同評価用データの総合評価結果と、その共同評価用データに対する各評価者の評価結果が一致しているか否かを判定する。さらに、評価者重要度算出部16は、未評価データ毎に、評価者の評価結果が、未評価データに類似する各共同評価用データの総合評価結果と一致している割合を算出する。この割合は、総合評価結果と評価者の評価結果との一致の度合であるということができる。本例では、この割合の算出結果を評価者重要度とする場合を例にして説明する。1つの未評価データに着目した場合、評価者重要度算出部16は、その未評価データに類似する各共同評価用データの数に対する、総合評価結果に一致している評価者の評価結果の数の割合を、評価者毎に算出する。この結果、1つの未評価データに関して、各評価者の評価者重要度が得られる。評価者重要度算出部16は、他の未評価データに関しても、同様に各評価者の評価者重要度を算出する。評価者重要度算出部16は、上記のように未評価データ毎に、各評価者の評価者重要度を算出する。ここで、評価者重要度の意味を説明する。未評価データに類似している共同評価用データの特徴データは、未評価データの特徴データに近い。そして、未評価データに類似している共同評価用データに対する評価者の評価は、評価者の評価事例となる。このとき、評価者がその共同評価用データに対して、総合評価結果と同一の評価を下していれば、その評価者は、共同評価用データと特徴データが類似している未評価データに関しても、総合評価結果と同様の評価を下せることが期待できる。評価者重要度は、未評価データに類似する各共同評価用データに対して、評価者がどの程度総合評価と一致する評価を行っていたかを定量化した値である。従って、評価者重要度の値が大きいほど、評価者が未評価データに対して、総合評価結果と同様の評価を下せる可能性が高いと言える。図7および図8は、上記の処理の結果の例を示す説明図である。図7は、図2に示すID11番の未評価データに類似する共同評価用データとしてID2番、ID3番、ID4番、ID5番およびID8番の5個の共同評価用データが選択された場合を示している。また、図8は、図2に示すID12番の未評価データに類似する共同評価用データとしてID1番、ID5番、ID6番、ID9番およびID10番の5個の共同評価用データが選択された場合を示している。図7を例に説明する。評価者重要度算出部16は、ID11番の未評価データに類似する各共同評価用データの総合評価結果を特定する。例えば、ID2番の共同評価用データの総合評価結果は、文書分類である図4参照。また、ID2番の共同評価用データに対する各評価者A,B,Cの評価結果はそれぞれ文書分類、辞書構築、文書分類である図3参照。従って、評価者重要度算出部16は、ID2番の共同評価用データの総合評価結果は、評価者A,Cの評価結果と一致し、評価者Bの評価結果とは一致しないと判定する図7参照。図7および図8において、○は、総合評価結果と評価者の評価結果が一致していることを意味し、×は、総合評価結果と評価者の評価結果が一致していないことを意味する。評価者重要度算出部16は、ID11番の未評価データに類似する他の共同評価用データID3番、ID4番、ID5番、ID8番に関しても、同様の判定を行う。ID11番の未評価データに類似する共同評価用データの数は5個である。また、共同評価用データの総合評価結果と一致する評価者Aの評価結果の数は5個である図7参照。従って、評価者重要度算出部16は、ID11番の未評価データに関する評価者Aの評価者重要度を、5/5=1.0と算出する。また、共同評価用データの総合評価結果と一致する評価者Bの評価結果の数は2個である。従って、評価者重要度算出部16は、ID11番の未評価データに関する評価者Bの評価者重要度を、2/5=0.4と算出する。また、共同評価用データの総合評価結果と一致する評価者Cの評価結果の数は3個である。従って、評価者重要度算出部16は、ID11番の未評価データに関する評価者Cの評価者重要度を、3/5=0.6と算出する。ID11番の未評価データに関しては、評価者Aの評価者重要度が一番高い。このことは、ID11番の未評価データに関しては、評価者Aに評価を行わせれば、総合評価結果に最も近い評価結果が得られることを意味する。すなわち、複数の評価者がID11番の未評価データを評価しなくても、評価者Aが評価を行うことで、総合評価結果に近い評価結果が得られることを意味する。図8を例に説明する。評価者重要度算出部16は、ID12番の未評価データに類似する各共同評価用データの総合評価結果を特定する。例えば、ID1番の共同評価用データの総合評価結果は、辞書構築である図4参照。また、ID1番の共同評価用データに対する各評価者A,B,Cの評価結果はいずれも辞書構築である。従って、評価者重要度算出部16は、ID1番の共同評価用データの総合評価結果は各評価者A,B,Cの評価結果と一致すると判定する図8参照。評価者重要度算出部16は、ID11番の未評価データに類似する他の共同評価用データID5番、ID6番、ID9番、ID10番に関しても、同様の判定を行う。ID12番の未評価データに類似する共同評価用データの数は5個である。また、共同評価用データの総合評価結果と一致する評価者Aの評価結果の数は3個である図8参照。従って、評価者重要度算出部16は、ID12番の未評価データに関する評価者Aの評価者重要度を、3/5=0.6と算出する。また、共同評価用データの総合評価結果と一致する評価者Bの評価結果の数は4個である。従って、評価者重要度算出部16は、ID12番の未評価データに関する評価者Bの評価者重要度を、4/5=0.8と算出する。また、共同評価用データの総合評価結果と一致する評価者Cの評価結果の数は5個である。従って、評価者重要度算出部16は、ID12番の未評価データに関する評価者Cの評価者重要度を、5/5=1.0と算出する。ID12番の未評価データに関しては、評価者Cの評価者重要度が一番高い。このことは、ID12番の未評価データに関しては、評価者Cに評価を行わせれば、総合評価結果に最も近い評価結果が得られることを意味する。すなわち、複数の評価者がID12番の未評価データを評価しなくても、評価者Cが評価を行うことで、総合評価結果に近い評価結果が得られることを意味する。上記の評価者重要度の算出方法は、総合評価結果と評価者の評価結果との一致の度合を、未評価データに類似する共同評価用データの類似度によって重み付けを行うことによって算出する方法であるということができる。なお、総合評価結果として、複数種類の特徴データ特徴語が得られている場合、そのいずれかの特徴語と、評価者の評価結果とが一致していれば、評価者重要度算出部16は、総合評価結果と評価者の評価結果とが一致していると判定してよい。上記の例では、ID11番およびID12番の未評価データについて、各評価者A,B,Cの評価者重要度を算出する場合を示したが、評価者重要度算出部16は、他の未評価データに関してもそれぞれ、評価者毎に評価者重要度を算出する。図9は、ID11番以降の未評価データ毎に算出した評価者毎に評価者重要度の例である。評価者重要度算出部16は、未評価データ毎に算出した各評価者の評価者重要度を、重要評価者情報54として出力する。例えば、評価者重要度算出部16は、図9に示すように、各未評価データのIDと、各評価者の評価者重要度とを対応付けた情報を、重要評価者情報54として出力すればよい。なお、類似データ特定部14が、未評価データに類似する共同評価用データが存在しないと判定する場合もあり得る。この場合、評価者重要度算出部16は、類似する共同評価用データが存在しない未評価データには、評価者重要度を算出しなくてよい。そして、評価者重要度算出部16は、その未評価データに関しては、評価者重要度を算出しなかった旨を出力すればよい。重要評価者情報54には、例えば、図9に例示にするように、未評価データのID毎に、各評価者の評価者重要度が示されている。従って、重要評価者情報54を参照することにより、どの未評価データをどの評価者に評価させることによって、効率的に総合評価結果に近い評価結果を得られるかを判断することができる。具体的には、個々の未評価データ毎に、評価者重要度の値が最も大きい評価者、あるいは、評価者重要度の値が閾値以上である評価者を、未評価データの評価者として決定すればよい。その評価者に未評価データを評価させることで、多人数でその未評価データを評価しなくても総合評価結果に近い評価結果を得ることができる。なお、上記の閾値は予め定めておけばよい。なお、評価者の決定は、人間が行っても、情報処理装置が行ってもよい。また、評価者決定支援装置10が評価者の決定までの処理を行ってもよい。また、未評価データに類似する共同評価用データが存在しなかったために、評価者重要度が算出されていない未評価データに関しては、一般的な総合評価結果の導出方法と同様に、複数の評価者にその未評価データを評価させ、例えば、多数決等の所定の基準で、総合評価結果を導出すればよい。総合評価部12、類似データ特定部14および評価者重要度算出部16は、例えば、プログラムに従って動作するコンピュータのCPUによって実現される。この場合、コンピュータのプログラム記憶装置図示略が評価者決定支援プログラムを記憶し、CPUがそのプログラムを読み込み、そのプログラムに従って、総合評価部12、類似データ特定部14および評価者重要度算出部16として動作すればよい。また、総合評価部12、類似データ特定部14および評価者重要度算出部16がそれぞれ別々のユニットで実現されていてもよい。次に、本実施形態の処理経過について説明する。なお、総合評価部12、類似データ特定部14および評価者重要度算出部16の個々の要素の動作の詳細については既に説明したので、適宜省略する。図10は、本実施形態の処理経過の例を示すフローチャートである。データ集合52内において予め共同評価用データとして定められたレコードに対して、複数の評価者が評価を行うことによって、各自評価結果50例えば、図3に例示する情報が得られているものとする。総合評価部12は、各自評価結果50を入力データとして、共同評価用データ毎に総合評価結果を決定するステップS1。総合評価部12が総合評価結果を決定する方法として、例えば、複数の評価者の評価結果に対して多数決を適用する方法等が挙げられるが、他の方法で総合評価結果を決定してもよい。次に、類似データ特定部14は、データ集合52内の個々の未評価データ毎に、その未評価データとそれぞれの共同評価用データとの間の特徴データの類似度を算出し、類似度に基づいて、特徴データが未評価データの特徴データと類似している共同評価用データを特定するステップS2。ステップS2では、類似データ特定部14は、例えば、未評価データを1つずつ順次選択し、選択した未評価データと共同評価用データとの間の特徴データの類似度を算出し、選択した未評価データと特徴データが類似している共同評価用データを特定すればよい。ステップS2において、類似度の算出方法の一例として、未評価データの特徴データおよび共同評価用データの特徴データを特徴ベクトルとして表現し、特徴ベクトル同士のコサイン類似度を算出する方法がある。また、類似度に基づいて、特徴データが未評価データの特徴データと類似している共同評価用データを特定する方法として、例えば、未評価データとの類似度が閾値以上になっている共同評価用データを特定する方法や、類似度の大きい順に所定個の共同評価用データを特定する方法が挙げられる。これらの方法は、例示であり、他の方法で、類似度を算出したり、未評価データと類似している共同評価用データを特定したりしてもよい。評価者重要度算出部16は、未評価データ毎に、その未評価データに類似する各共同評価用データの総合評価結果を特定する。例えば、未評価データを1つずつ順次選択し、選択した未評価データに類似する各共同評価用データの総合評価結果を特定すればよい。そして、評価者重要度算出部16は、各自評価結果50を参照して、その共同評価用データの総合評価結果と、その共同評価用データに対する各評価者の評価結果が一致しているか否かを判定する。さらに、評価者重要度算出部16は、評価者毎に、評価者の評価結果が選択した未評価データに類似する各共同評価用データの総合評価結果と一致している割合評価者重要度を算出するステップS3。ステップS3では、選択した未評価データ毎に同様の処理を行う。また、評価者重要度算出部16は、ステップS3において、重要評価者情報54を出力する。評価者重要度算出部16は、例えば、図9に示すように、各未評価データのIDと、各評価者の評価者重要度とを対応付けた情報を、重要評価者情報54として出力すればよい。前述のように、重要評価者情報54を参照することにより、どの未評価データをどの評価者に評価させることによって、効率的に総合評価結果に近い評価結果を得られるかを判断することができる。具体的には、個々の未評価データに関して、評価者重要度の値が最も大きい評価者、あるいは、評価者重要度の値が閾値以上である評価者が、未評価データに対して総合評価結果と同様の評価結果を導ける評価者であると判断することができる。未評価データ毎に、評価者重要度の値が最も大きい評価者、あるいは、評価者重要度の値が閾値以上である評価者を決定し、その評価者に未評価データを評価させることで、効率的に総合評価結果と同様の評価結果を導ける。例えば、評価対象が特許文献であり、その特許文献の技術分野を評価する場合、多人数の評価者にその評価を行わせなくても、評価者重要度に基づいて決定された評価者が総合評価結果と同様の技術分野を評価することができる。このように本発明によれば、多人数に依らずに総合的な評価結果を導き出せる評価者を容易に決定できるようにすることができる。また、例えば、動画サイトにおいて、視聴者が新しい動画を見たとする。そして、その動画に関して、その視聴者の評価者重要度が算出されていて、その評価者重要度が閾値以上であることが分かれば、その視聴者の端末に、動画に対する評価を促すコメントを表示させたり、他の視聴者のコメントを表示させて評価を促したりすることができる。このような視聴者によって、他者に削除されにくい評価を新しい動画に対していち早く付与することができる。その結果、その動画に対する潜在的な視聴者からのアクセス効率を高める効果が期待できる。また、評価者重要度の算出方法は前述の方法に限定されない。評価者重要度の他の算出方法の例について説明する。評価者重要度算出部16は、未評価データと共同用評価用データとの類似度を反映させた評価者重要度を算出してもよい。図11は、類似度を用いた評価者重要度の算出例を示すための説明図である。図11は、図7と同様に、ID11番の未評価データに類似する共同評価用データID2番、ID3番、ID4番、ID5番およびID8番のIDと、その共同評価用データに対する総合評価結果と各評価者の評価結果とが一致しているか否かに関する情報とを示している。さらに、共同評価用データ毎に、着目している未評価データID11番との類似度もそれぞれ示している。本例では、ID11番の未評価データと各共同評価用データとの類似度が、図11に示す値になっているとする。評価者重要度算出部16は、着目している未評価データと、その未評価データに類似する各共同評価用データとの類似度の合計を計算する。図11に示す例では、類似度の合計として、0.90.60.60.70.8=3.6を算出する。この類似度の合計をS1とする。そして、評価者重要度算出部16は、評価データに類似する各共同評価用データのうち、総合評価結果と評価者自身の評価結果とが一致している共同評価用データを特定し、その共同評価用データについて求められた類似度の合計を、評価者毎に計算する。個々の評価者に関して求めた上記の類似度の合計をS2とする。評価者重要度算出部16は、評価者毎に、S1に対するS2の割合を算出し、その割合を評価者重要度としてもよい。例えば、評価者Aに着目すると、総合評価結果と評価者A自身の評価結果とが一致している共同評価用データは、ID2番、ID3番、ID4番、ID5番およびID8番である図11参照。評価者重要度算出部16が、ID11番の未評価データとこれらの各共同評価用データの類似度の合計S2を算出すると、S2=0.90.60.60.70.8=3.6となる。よって、評価者重要度算出部16は、評価者Aの評価者重要度を、3.6/3.6=1.0と算出する。また、例えば、評価者Bに着目すると、総合評価結果と評価者B自身の評価結果とが一致している共同評価用データは、ID3番およびID4番である図11参照。従って、評価者重要度算出部16は、S2の値を0.60.6=1.2と算出する。よって、評価者重要度算出部16は、評価者Bの評価者重要度を、1.2/3.6=0.33と算出する。また、例えば、評価者Cに着目すると、総合評価結果と評価者C自身の評価結果とが一致している共同評価用データは、ID2番、ID5番およびID8番である図11参照。従って、評価者重要度算出部16は、S2の値を0.90.70.8=2.4と算出する。よって、評価者重要度算出部16は、評価者Cの評価者重要度を、2.4/3.6=0.66と算出する。ここでは、ID11番の未評価データに関して、各評価者の評価者重要度を算出する場合を示したが、評価者重要度算出部16は、他の未評価データに関しても同様に評価者毎の評価者重要度を算出すればよい。上記のように類似度を用いて評価者重要度を算出することで、未評価データに類似する共同評価用データの中でも、より未評価データに類似している共同評価用データについて総合評価結果と同一の評価を下している評価者と、そうでない評価者との評価者重要度の差を大きくすることができる。その結果、より未評価データに類似している共同評価用データについて総合評価結果と同一の評価を下している評価者を重視することができる。例えば、上記のように類似度を用いて計算した評価者Bの評価者重要度は0.33であり、類似度を用いずに算出したID11番における評価者Bの評価者重要度0.4図9参照よりも低くなっている。このように、類似度を用いて計算した評価者重要度によれば、評価者BがID11番の評価に向いていないことを、より推定しやすくなる。実施形態2.図12は、本発明の第2の実施形態の評価者決定支援装置の例を示すブロック図である。第1の実施形態と同様の要素については、図1と同一の符号を付し、説明を省略する。本実施形態の評価者決定支援装置は、総合評価部12と、類似データ特定部14と、評価者重要度算出部16と、アクティブラーニング部18と、評価者重要度補正部20と、評価結果入力部22とを備える。総合評価部12、類似データ特定部14および評価者重要度算出部16は、第1の実施形態と同様であり、説明を省略する。なお、本実施形態では、評価者重要度算出部16は、重要評価者情報54を評価者重要度補正部20に入力する。第2の実施形態では、評価者決定支援装置にアクティブラーニングを適用することで、総合的な評価基準で分類や回帰が可能なモデルを効率的に構築することを可能としている。アクティブラーニングとは、判定が困難な未評価データを評価者に提示し、評価結果に基づいて再度、モデルを強化する枠組みである。本実施形態において、モデルは、特徴データと評価結果との関係を表す情報である。モデルの一例として、特徴データに基づいてどの評価結果に該当するのかを分類するための分類器が挙げられる。また、モデルは数理モデルであっても、他のモデルであってもよい。本実施形態の評価者決定支援装置は、未評価結果に対する評価が行われ、評価結果が増加するにつれ、モデルを強化するすなわち、モデルの精度を向上させる。。本実施形態では、モデルの精度を高めるのに寄与する未評価データを選択する指標となる値後述の評価意義度を算出する。そして、総合評価結果と同様の評価をすることが可能な評価者に、モデルの精度を高めるのに寄与する未評価データを提示し、その評価者にその未評価データを評価させる。この評価が行われたデータ評価済みデータ58を用いて、モデルが強化される。第1の実施形態と同様に、総合評価結果と同様の評価をすることが可能な評価者に未評価データの評価を行わせることができるので、評価回数を減らして、効率的に、総合評価結果と同様の評価結果を得ることができる。さらに、特徴データと評価結果との関係を表すモデルの精度を効率的に高めることができる。以下に示す例においても、特許文献に対する評価を行って特許文献を分類する場合を例にして説明する。ただし、本例では、説明を簡単にするために、特許文献を重要であるまたは重要でないのいずれかに分類するものとする。従って、本例では、特許文献に対する評価は、重要であるまたは重要でないの2種類である。また、これに合わせて、本例では、モデルが2値の分類器である場合を例にする。アクティブラーニング部18は、評価済みデータ58と、データ集合52とを入力情報として、特徴データと評価結果との関係を学習し、モデルを作成する。評価済みデータ58は、評価者によって評価が行われたデータであり、評価結果を含む。なお、評価済みデータ58を記憶する記憶装置評価済みデータ記憶部。図示略。を評価者決定支援装置が備えていてもよい。初期状態では、アクティブラーニング部18は、各自評価結果50または、各自評価結果50から得られた総合評価結果を評価済みデータ58として用いることによって、モデルを作成すればよい。また、アクティブラーニング部18は、データ集合52内の未評価データ毎に、評価が行われることで次回のモデル作成時にモデルの精度向上にどの程度寄与するかを定量化する。この定量化した値を評価意義度と記す。評価意義度が高いほど、次回のモデル作成時にモデルの精度向上に寄与する程度が大きく、評価意義度が低いほど、モデルの精度向上に寄与する程度が小さい。アクティブラーニング部18は、未評価データ毎に導出した評価意義度を評価者重要度補正部20に入力する。評価意義度は、評価者重要度の補正に用いられ、補正後の評価者重要度によって、評価者に評価させるべき未評価データが選択される。従って、評価意義度は、評価者に評価させるべき未評価データを選択するために用いられているということができる。また、選択された未評価データは、その評価結果とともに、評価済みデータ58として次回のモデルの作成の際に用いられる。なお、評価者重要度の補正は、評価者重要度補正部20が行う。また、評価者に評価させるべき未評価データの選択や、その未評価データに対する評価結果の入力の受け付けは、評価結果入力部22が行う。アクティブラーニング部18は、例えば、公知の方法で評価意義度を導出すればよい。評価意義度を導出する方法の一例が以下の参考文献に記載されている。アクティブラーニング部18は、以下の参考文献に記載された方法で評価意義度を導出してもよい。[参考文献]SanjoyDasguptaAdamTaumanKalaiClaireMonteleoniAnalysisofPerceptronBasedActiveLearningTheJournalofMachineLearningResearchVol10pp2812992009年図13は、評価意義度の導出を模式的に示す説明図である。図13内に示す個々の○は、評価対象となる特許文献を表す。そして、または-の記号とともに表された○は評価済みの特許文献を表す。は、重要であるという評価結果を意味し、-は、重要でないという評価結果を意味する。および-の何れも付加されていない○は未評価の特許文献未評価データである。識別境界70は、モデル本例では2値の分類器によって定められる。評価者による人手の評価ではなく、モデルを用いて分類する場合には、未評価データが識別境界のどちら側に該当するかにより、重要であるか重要でないかに分類される。図13に示す状況では、識別境界70を基準として、重要であると評価された特許文献と同じ側の未評価データは重要であると判定され、重要でないと評価された特許文献と同じ側の未評価データは重要でないと判定される。ここでは、説明を簡単にするために、未評価データ71,72に着目する。未評価データ71は、モデルにより重要でないと判定されることになるが、識別境界70が少しずれると、重要であると判定されることになる。また、未評価データ72は、識別境界70が少しずれても、モデルによる判定結果は変化しないと考えられる。そのため、より精度の高い識別境界を定めるには、未評価データ71について、実際に評価者が人手で評価を行い、その評価結果に基づいて、モデルを再度作成することが好ましい。すなわち、未評価データ71,72の比較では、識別境界70に近い未評価データ71を実際に評価した方が、モデルの精度の向上に寄与すると考えられる。上記の例では、未評価データ71,72を参照して説明したが、アクティブラーニング部18は以下のように評価意義度を導出すればよい。すなわち、アクティブラーニング部18は、個々の未評価データについて、未評価データと識別境界70との距離の近さを定量化し、未評価データと識別境界70との距離が近いほど評価意義度の値を大きく定め、未評価データと識別境界70との距離が遠いほど評価意義度の値を小さく定めればよい。アクティブラーニング部18は、初期状態では、各自評価結果50または、各自評価結果50から得られた総合評価結果を評価済みデータ58として用いることによって、モデルを作成すればよい。ここで、モデルの作成には2つの方法がある。モデルを作成する第1の方法は、各自評価結果50から得られた総合評価結果を評価済みデータ58とみなして、学習データとして利用する方法である。この方法により、アクティブラーニング部18は、総合評価結果に対する一つのモデルを作成できる。なお、未評価データの特徴データをこのモデルに入力することによって、総合評価結果を推定することができるが、モデルによる総合評価結果の推定は、本発明の特徴的事項でないので、説明を省略する。また、第1の方法を用いる場合、アクティブラーニング部18は、未評価データ毎に1つの評価意義度を導出する。図14は、未評価データ毎に1つの評価意義度を導出した場合の評価意義度の例を示す。図14においてIDとして示した値は特許文献のIDであり、図2に示すIDの値に対応する。図14に示す例では、ID11番以降の未評価データに対してそれぞれ1つの評価意義度を導出している。モデルを作成する第2の方法は、各々の評価者の各自評価結果を評価済みデータ58とみなして、学習データとして利用する方法である。この方法では、アクティブラーニング部18は、評価者の人数分のモデル群を作成する。このように評価者の人数分のモデル群を作成した場合には、未評価データの特徴データをそれぞれのモデルに入力して得られた各評価結果の推定値から総合評価結果を推定することができるが、前述のように、モデルによる総合評価結果の推定は、本発明の特徴的事項でないので、説明を省略する。また、第2の方法を用いる場合、アクティブラーニング部18は、未評価データ毎に、評価者の人数分の評価意義度を導出する。図15は、未評価データ毎に、評価者の人数分の評価意義度を導出した場合の評価意義度の例を示す。図15に示すIDの値は図14と同様であり、図15に示す例では、ID11番以降の未評価データに対してそれぞれ評価者毎の評価意義度を導出している。また、図15に示すA,B,Cは、図9に示す評価者のIDと対応しているものとする。評価者重要度補正部20は、アクティブラーニング部18から入力される評価意義度に基づいて、評価者重要度算出部16が算出した評価者重要度の値を補正する。すなわち、評価者重要度算出部16から入力される重要評価者情報54に含まれる評価者重要度の値を、評価意義度に基づいて補正する。評価者重要度の値を補正した重要評価者情報54を、補正後重要評価者情報56と記す。評価者重要度補正部20は、補正の結果得た補正後重要評価者情報56を評価結果入力部22に入力する。重要評価者情報54には、各未評価データにおける評価者重要度が評価者毎に含まれている。評価者重要度は、ある評価者がある未評価データをどれだけ総合的な評価基準で評価できるかを定量化したものである。また、アクティブラーニング部18が導出する評価意義度は、どの未評価データが次のモデル作成の際にモデルの精度向上に寄与するかを定量化したものである。そのため、未評価データ毎に、評価者重要度および評価意義度がそれぞれ高ければ評価者重要度をより高くする演算を行うことで、総合評価結果と同様の評価結果を下すことができる評価者に、モデルの精度向上に寄与する未評価データを提示する指標として用いることができる。具体的には、評価者重要度補正部20は、例えば、各々の未評価データにおける評価者重要度と評価意義度との相加平均または相乗平均を補正後の評価者重要度としてもよい。また、評価者重要度>0.6かつ評価意義度>0.8という条件が成立しているならば、評価者重要度に0.2を加算する等のルールに従って、評価者重要度を補正してもよい。なお、個々で示したルールや、ルール内の数値は例示であり、他のルールによって評価者重要度を補正してもよい。また、評価者重要度補正部20による補正の態様は、未評価データ毎に評価意義度が1つずつ導出されているか、あるいは、未評価データ毎に評価者の人数分導出されているかによって異なる。まず、未評価データ毎に評価意義度が1つずつ導出されている場合の補正態様について説明する。ここでは、評価者重要度として図9に示す値が算出されており、また、評価意義度として、図14に示す値が求められているものとする。また、評価者重要度補正部20が評価者重要度と評価意義度との平均値を、補正後の評価者重要度とする場合を例にする。評価者重要度補正部20は、未評価データを1つずつ順に選択し、選択した評価データに関して求められた各評価者の評価者重要度と、評価意義度を特定する。そして、評価者重要度補正部20は、選択した評価データに関して、各評価者の評価者重要度毎に、評価者重要度と評価意義度との平均値を計算し、その平均値を補正後の評価者重要度とする。例えば、評価意義度と評価者Aの評価者重要度との平均値を、評価者Aの補正後の評価者重要度とする。評価者B,Cの評価者重要度についても同様に補正する。評価者重要度補正部20は、各未評価データを順次選択し、同様の処理を行う。そして、評価者重要度を補正して得た補正後重要評価者情報56を評価結果入力部22に入力する。図16は、この場合の補正後重要評価者情報56の例を示す。例えば、ID11番に着目すると、評価者Aの補正後の評価者重要度0.65は、評価者Aの補正前の評価者重要度1.0図9参照と、ID11番に対応する評価意義度0.3図14参照との平均値である。他の補正後の評価者重要度に関しても同様である。本補正によって、評価意義度が高いほど、評価者重要度が他の評価者重要度に比べて相対的に高くなるように補正できる。次に、未評価データ毎に評価者の人数分導出されている場合の補正態様について説明する。ここでは、評価者重要度として図9に示す値が算出されており、また、評価意義度として、図15に示す値が求められているものとする。本例でも、評価者重要度補正部20が評価者重要度と評価意義度との平均値を補正後の評価者重要度とする場合を例にする。評価者重要度補正部20は、未評価データを1つずつ順に選択し、選択した評価データに関して求められた各評価者の評価者重要度と、各評価者に対応する評価意義度を特定する。そして、評価者重要度補正部20は、選択した評価データについて、共通の評価者に関する評価者重要度と評価意義度との平均値を計算し、その平均値をその評価者の補正後の評価者重要度とする。例えば、評価者Aの評価者重要度と評価者Aの評価意義度との平均値を、評価者Aの補正後の評価者重要度とする。評価者B,Cの評価者重要度についても同様に補正する。評価者重要度補正部20は、各未評価データを順次選択し、同様の処理を行う。そして、評価者重要度を補正して得た補正後重要評価者情報56を評価結果入力部22に入力する。図17は、この場合補正後重要評価者情報56の例を示す。例えば、ID11番に着目すると、評価者Aの補正後の評価者重要度0.75は、評価者Aの補正前の評価者重要度1.0図9参照と、評価者Aに対応する評価意義度0.5図15参照との平均値である。他の補正後の評価者重要度に関しても同様である。本補正によって、評価意義度が高いほど、評価者重要度が他の評価者重要度に比べて相対的に高くなるように補正できる。評価結果入力部22は、補正後重要評価者情報56に基づいて、どの評価者に対してどの未評価データを提示するかを決定し、その決定に従って未評価データを評価者に提示する。評価結果入力部22は、特定の評価者に評価させる未評価データを以下のように決定すればよい。評価結果入力部22は、補正後重要評価者情報56から、未評価データのIDを、1つずつ順に選択する。そして、評価結果入力部22は、選択した未評価データのIDに対応付けられた各評価者の評価者重要度のうち、最大の評価者重要度と特定し、その評価者重要度が予め定められた閾値より大きい値であるか否かを判定する。評価結果入力部22は、選択したIDに対応する評価者重要度の最大値が閾値よりも大きければ、そのIDの未評価データを、その最大の評価者重要度に対応する評価者に評価させると決定する。評価意義度が高いほど、相対的に高くなるように補正された評価者重要度が、閾値より高いと言うことは、選択したIDの未評価データは、次回のモデル作成時にモデルの精度向上に寄与すると言える。また、選択したIDに関して、評価者重要度が最大となっている評価者に評価させるので、そのような未評価データに対して、総合評価結果と同様の評価が行われることが期待できる。選択した未評価データのIDに対応付けられた各評価者の評価者重要度のうち、最大の評価者重要度が予め定められた閾値以下である場合、評価結果入力部22は、その未評価データの評価者への提示を保留する。評価意義度が高いほど、相対的に高くなるように補正された評価者重要度が、閾値以下である場合、その未評価データは、モデルの精度向上への寄与の程度が低いと言える。なお、最大の評価者重要度が閾値以下であるということは、そのIDに対応付けられた各評価者の評価者重要度がいずれも閾値以下であるということである。ただし、特定の評価者に提示すると決定した未評価データが存在しない場合には、評価結果入力部22は、提示を保留とした未評価データを複数の評価者各評価者に提示すると決定する。各評価者重要度が閾値以下である未評価データについては、評価者が総合評価結果と同様の評価をしない可能性もあり得る。よって、本実施形態では、評価結果入力部22は、そのような未評価データについては、各評価者に提示すると決定する。また、評価結果入力部22は、類似する共同評価用データが存在しないと類似データ特定部14によって判定され、評価者重要度算出部16によって各評価者の評価者重要度が算出されなかった未評価データについても、複数の評価者各評価者に提示すると決定してもよい。評価結果入力部22によって未評価データを提示された評価者は、その未評価データを評価者自身の基準で評価する。本例では、未評価データ特許文献の特徴語に基づいて、その特許文献が重要であるか否かを評価する。そして、評価結果入力部22は、評価者による評価結果を入力され、表示した未評価データと、入力された評価結果とを対応付けて、例えば、評価済みデータ記憶部図示略に記憶させる。評価の行われた未評価データとその評価結果は、評価済みデータ58として用いられる。評価結果入力部22が評価者に未評価データを提示し、評価結果を得る態様の一例を説明する。評価結果入力部22は、未評価データを提示する評価者を決定した場合、その評価者の端末に、その未評価データの評価を依頼する電子メールを送信すればよい。なお、各評価者のメールアドレスは、予め記憶装置図示略に記憶させておければよい。また、評価結果入力部22は、電子メールを送信した評価者からのログインを受け付けたときに、その評価者の端末に、評価を依頼した未評価データを表示するとともに、その評価結果を入力するインタフェースを含むWebページの画面情報を送信してもよい。そして、評価結果入力部22は、そのWebページに入力された評価結果を、評価者の端末から通信ネットワークを介して受信してもよい。本例は、評価結果入力部22が評価者に未評価データを提示し、評価結果を得る態様の一例であり、評価結果入力部22が評価者に未評価データを提示し、評価結果を得る態様は、上記の例に限定されない。また、評価結果入力部22は、評価の行われた未評価データその評価結果との組を新たに評価済みデータ記憶部図示略に記憶させた数をカウントし、そのカウント結果が、予め定めた閾値以上になったとき、すなわち、新たに発生した評価済みデータ58の数が閾値以上になったときに、アクティブラーニング部18に、評価済みデータ58を用いて、モデルを作成させ、残っている未評価データの評価意義度を再度算出させる。総合評価部12、類似データ特定部14、評価者重要度算出部16、アクティブラーニング部18、評価者重要度補正部20および評価者入力部22は、例えば、プログラムに従って動作するコンピュータのCPUによって実現される。この場合、コンピュータのプログラム記憶装置図示略が評価者決定支援プログラムを記憶し、CPUがそのプログラムを読み込み、そのプログラムに従って、総合評価部12、類似データ特定部14、評価者重要度算出部16、アクティブラーニング部18、評価者重要度補正部20および評価者入力部22として動作すればよい。また、これらの要素がそれぞれ別々のユニットで実現されていてもよい。次に、本実施形態の処理経過について説明する。図18は、本実施形態の処理経過の例を示すフローチャートである。第1の実施形態と同様の処理については、図10に示すフローチャートと同様の符号を付し、説明を省略する。また、アクティブラーニング部18、評価者重要度補正部20、評価結果入力部22の個々の動作の詳細についても既に説明したので、適宜省略する。ステップS1~S3の処理は、第1の実施形態と同様である。また、アクティブラーニング部18は、評価済みデータ58とデータ集合52とを参照して、特徴データと評価結果との関係を表すモデルを作成し、未評価データの評価意義度を求めるステップS4。なお、初期状態では、アクティブラーニング部18は、各自評価結果50または、各自評価結果50から得られた総合評価結果を評価済みデータ58として用いてモデルを作成する。そして、ステップS3,S4がそれぞれ終了した後、アクティブラーニング部18から入力される評価意義度に基づいて、評価者重要度算出部16が算出した評価者重要度の値を補正するステップS5。ステップS5では、例えば、評価意義度が高いほど、評価者重要度が相対的に高くなるように、評価者重要度を補正する。次に、評価結果入力部22は、補正後重要評価者情報56に基づいて、どの評価者に対してどの未評価データを提示するかを決定し、その決定に従って未評価データを評価者に提示するステップS6。評価者は提示された未評価データに対する評価を行い、その評価結果を入力する。評価結果入力部22は、評価結果が入力されると、提示した未評価データとその評価結果との組を評価済みデータ58として記録するステップS7。そして、評価済みデータ58の数が閾値以上になると、アクティブラーニング部18に、その評価済みデータ58を用いてモデルを作成させ、また、残っている未評価データの評価意義度を求めさせる。この結果、アクティブラーニング部18、評価者重要度候補部20および評価結果入力部22は、ステップS4~S7のループ処理を繰り返す。本実施形態によれば、第1の実施形態と同様に、多人数に依らずに総合的な評価結果を導き出せる評価者を容易に決定できるようにすることができる。また、本実施形態では、アクティブラーニング部18が、未評価データ毎に、評価が行われることで次回のモデル作成時にモデルの精度向上にどの程度寄与するかを示す評価意義度を求める。そして、評価者重要度補正部20が評価意義度により評価者重要度を補正し、評価結果入力部22が、どの評価者に対してどの未評価データを提示するかを決定する。従って、特徴データと評価結果との関係を表すモデルの精度向上に寄与する新たな評価結果を得ることができ、モデルの精度を向上させることができる。なお、第1の実施形態の評価者決定支援装置図1参照。が、評価結果入力部22を備え、評価結果入力部22が、どの評価者に対してどの未評価データを提示するかを決定し、その決定に従って未評価データを評価者に提示してもよい。この場合、評価結果入力部22は、評価者重要度算出部16が算出した評価者重要度を参照して、どの評価者に対してどの未評価データを提示するかを決定すればよい。評価意義度による補正が行われていない評価者重要度を参照するという点以外は、第2の実施形態と同様である。すなわち、評価結果入力部22は、未評価データのIDを、1つずつ順に選択する。そして、評価結果入力部22は、選択した未評価データのIDに対応付けられた各評価者の評価者重要度のうち、最大の評価者重要度と特定し、その評価者重要度が予め定められた閾値より大きい値であるか否かを判定する。評価結果入力部22は、選択したIDに対応する評価者重要度の最大値が閾値よりも大きければ、そのIDの未評価データを、その最大の評価者重要度に対応する評価者に評価させると決定する。また、選択した未評価データのIDに対応付けられた各評価者の評価者重要度のうち、最大の評価者重要度が予め定められた閾値以下である場合、評価結果入力部22は、その未評価データの評価者への提示を保留する。ただし、特定の評価者に提示すると決定した未評価データが存在しない場合には、評価結果入力部22は、提示を保留とした未評価データを複数の評価者各評価者に提示すると決定する。また、類似する共同評価用データが存在せず、各評価者の評価者重要度が算出されなかった未評価データについても、複数の評価者各評価者に提示すると決定してもよい。次に、本発明の最小構成について説明する。図19は、本発明の評価者決定支援装置の最小構成の例を示すブロック図である。本発明の評価者決定支援装置は、総合評価結果判定手段91と、類似データ判定手段92と、総合評価結果導出度算出手段93とを備える。総合評価結果判定手段91例えば、総合評価部12は、評価対象の特徴を表す特徴データとその評価対象の識別情報とを含む評価対象データの集合例えば、データ集合52の部分集合に該当する各評価対象データ例えば、共同評価用データに対して複数の評価者が行った評価の評価結果に基づいて、部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定する。類似データ判定手段92例えば、類似データ特定部14は、評価対象データの集合のうち複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定する。総合評価結果導出度算出手段93例えば、評価者重要度算出部16は、未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度例えば、評価者重要度を算出する。そのような構成により、多人数に依らなくても総合的な評価結果を導き出せる評価者の決定を支援することができる。上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、以下に限定されるわけではない。付記1評価対象の特徴を表す特徴データと前記評価対象の識別情報とを含む評価対象データの集合例えば、データ集合52の部分集合に該当する各評価対象データ例えば、共同評価用データに対して複数の評価者が行った評価の評価結果に基づいて、前記部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定する総合評価結果判定手段例えば、総合評価部12と、評価対象データの集合のうち前記複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが前記未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定する類似データ判定手段例えば、類似データ特定部14と、未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度例えば、評価者重要度を算出する総合評価結果導出度算出手段例えば、評価者重要度算出部16とを備えることを特徴とする評価者決定支援装置。付記2総合評価結果導出度算出手段は、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を、前記各評価対象データに対して算出された類似度による重み付けを行って算出する付記1に記載の評価者決定支援装置。付記3特徴データと評価結果との関係を表すモデルを作成し、未評価の評価対象データ毎に、評価が行われることで前記モデルの精度向上に寄与する度合を表す評価意義度を導出する評価意義度導出手段例えば、アクティブラーニング部18と、未評価の評価対象データ毎に、評価意義度を用いて、総合評価結果導出度を補正する総合評価結果導出度補正手段例えば、評価者重要度補正部20とを備える付記1または付記2に記載の評価者決定支援装置。付記4未評価の評価対象データ毎に、各評価者の総合評価結果導出度の最大値を特定し、当該最大値が予め定められた閾値を越えることを条件に、前記最大値となる総合評価結果導出度に対応する評価者に未評価データを評価させると判定する評価者決定手段例えば、評価結果入力部22を備える付記1から付記3のうちのいずれかに記載の評価者決定支援装置。付記5評価者決定手段は、各評価者の総合評価結果導出度がいずれも閾値以下である未評価データを各評価者に評価させると決定する付記4に記載の評価者決定支援装置。付記6評価者決定手段は、類似する評価対象データがないと類似データ判定手段によって判定された未評価データを各評価者に評価させると決定する付記4または付記5に記載の評価者決定支援装置。付記7類似データ判定手段は、未評価の評価対象データとの間で特徴データ同士の類似度が閾値以上となっている評価対象データを、特徴データが前記未評価の評価対象データ内の特徴データと類似する評価対象データであると判定する付記1から付記6のうちのいずれかに記載の評価者決定支援装置。付記8総合評価結果判定手段は、評価対象データの集合の部分集合に該当する評価対象データ毎に、最も多くの評価者によって導かれた評価結果を総合評価結果と判定する付記1から付記7のうちのいずれかに記載の評価者決定支援装置。付記9総合評価結果判定手段は、評価対象データの集合の部分集合に該当する評価対象データ毎に、一の評価者が評価した評価結果が、所定の期間が経過しても他の評価者によって不同意とされていない例えば、削除されていないと判定した場合に、前記一の評価者の評価結果を総合評価結果と判定する付記1から付記7のうちのいずれかに記載の評価者決定支援装置。付記10評価対象の特徴を表す特徴データと前記評価対象の識別情報とを含む評価対象データの集合の部分集合に該当する各評価対象データに対して複数の評価者が行った評価の評価結果に基づいて、前記部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定し、評価対象データの集合のうち前記複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが前記未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定し、未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度を算出することを特徴とする評価者決定支援方法。付記11コンピュータに、評価対象の特徴を表す特徴データと前記評価対象の識別情報とを含む評価対象データの集合の部分集合に該当する各評価対象データに対して複数の評価者が行った評価の評価結果に基づいて、前記部分集合に該当する評価対象データ毎に、多くの評価者によって不同意とされなかった評価結果である総合評価結果を、所定の基準により判定する総合評価結果判定処理、評価対象データの集合のうち前記複数の評価者によって評価が行われてない未評価の評価対象データ毎に、未評価の評価対象データ内の特徴データと、評価が行われた各評価対象データ内の特徴データとの類似度をそれぞれ導出し、評価が行われた各評価対象データのうち、特徴データが前記未評価の評価対象データ内の特徴データと類似する評価対象データを類似度に基づいて判定する類似データ判定処理、および、未評価の評価対象データ毎に、個々の評価者に関して、特徴データが未評価の評価対象データ内の特徴データと類似する各評価対象データの総合評価結果と、当該各評価対象データに対する評価者の評価結果との一致の度合を基に、当該評価者が未評価の評価対象データについて総合評価結果と同じ評価結果を導出する可能性の高さを表す総合評価結果導出度を算出する総合評価結果導出度算出処理を実行させるための評価者決定支援プログラム。"