"コンピュータ内に存在するメモリデバイスと;前記メモリデバイスと通信するよう配置されたプロセッサと、を含むシステムであって前記プロセッサは:候補者がテーマに基づいた問題を作成することを要求し;前記候補者から前記問題を受信し;少なくとも1人の評価者から前記問題と前記テーマとの評価を要求し;各評価者から問題スコアを受信し、前記問題スコアは前記問題と前記テーマとの評価の客観的指標であり;各評価者に対する格付けを受信し;そして、各評価者からの前記問題スコアと前記各評価者に対する格付けとに基づいて、前記候補者に対する格付けを計算するように構成される、システム。前記問題の目的はテスト受験者が前記テーマにおいて有するスキルや経験のレベルを判定することである、請求項1記載のシステム。前記問題を受信するため、前記プロセッサはさらに:前記問題を保存し;前記テーマを保存し;そして、前記候補者と前記問題と前記テーマとを関連づけるように構成される、請求項1記載のシステム。前記問題と前記テーマとの評価には、前記問題が前記テーマに適切であるかどうかを判定する前記少なくとも1人の評価者を含む、請求項1記載のシステム。前記問題スコアを受信するため、前記プロセッサはさらに:前記問題スコアを保存し;そして、前記評価者と前記問題と前記問題スコアとを関連づけるように構成される、請求項1記載のシステム。前記問題スコアは数字、パーセンテージ、文字、及びランク値のうちの少なくとも1つである、請求項1記載のシステム。各評価者に対する前記格付けは数字、文字、及びランク値のうちの少なくとも1つである、請求項1記載のシステム。各評価者に対する前記格付けは、少なくとも1つの評価に基づき、その評価は少なくとも1人の他の評価者によってなされ、その評価は前記評価者からの少なくとも1つの他の問題スコアである、請求項1記載のシステム。前記候補者に対する前記格付けは数字、文字、及びランク値のうちの少なくとも1つである、請求項1記載のシステム。前記プロセッサはさらに:少なくとも1人の他の評価者から前記問題スコアの評価を要求し;そして、他の評価者の各々から評価スコアを受信し、前記評価スコアは前記問題スコアの評価の客観的指標であり;そして、他の評価者の各々からの前記評価スコアに基づいて各評価者に対する前記格付けを計算するように構成される、請求項1記載のシステム。前記問題スコアの前記評価には、前記問題スコアが正確であるかどうかを判定する前記少なくとも1人の他の評価者を含む、請求項10記載のシステム。前記評価スコアを受信するため、前記プロセッサはさらに:前記評価スコアを保存し;そして、前記他の評価者と前記評価者と前記評価スコアとを関連づけるよう構成される、請求項10記載のシステム。前記評価スコアは数字、文字、及びランク値のうちの少なくとも1つである、請求項10記載のシステム。前記候補者は評価者である、請求項1記載のシステム。前記評価者は候補者である、請求項1記載のシステム。非一時的なコンピュータ可読記憶媒体であって、コンピュータ実行可能な命令を含み、コンピュータデバイス上で実行されると次のステップを実行する:候補者が或るテーマに基づいた問題を作成することを要求するステップと;前記候補者から前記問題を受信するステップと;少なくとも1人の評価者からの前記問題と前記テーマとを評価することを要求するステップと;各評価者から問題スコアを受信するステップであって、前記問題スコアは前記問題と前記テーマとの評価の客観的指標である、ステップと;各評価者に対する格付けを受信するステップと;各評価者からの前記問題スコア及び各評価者に対する格付けに基づいて、前記候補者に対する格付けを計算するステップと、を有する、コンピュータ可読記憶媒体。前記問題の目的はテスト受験者が前記テーマにおいて有するスキルや経験のレベルを判定することである、請求項16記載の非一時的なコンピュータ可読記憶媒体。前記問題を受信するステップはさらに:前記問題を保存するステップと;前記テーマを保存するステップと;前記候補者と前記問題と前記テーマとを関連づけるステップと、を含む、請求項16記載の非一時的なコンピュータ可読記憶媒体。前記問題と前記テーマとの評価には、前記問題が前記テーマに適切であるかどうかを判定する前記少なくとも1人の評価者を含む、請求項16記載の非一時的なコンピュータ可読記憶媒体。前記問題スコアを受信するステップには、さらに:前記問題スコアを保存するステップと;前記評価者と前記質問と前記問題スコアとを関連づけるステップと、を含む、請求項16記載の非一時的なコンピュータ可読記憶媒体。前記問題スコアは、数字、パーセンテージ、文字、及びランク値のうちの少なくとも1つである、請求項16記載の非一時的なコンピュータ可読記憶媒体。各評価者に対する前記格付けは、数字、文字、及びランク値のうちの少なくとも1つである、請求項16記載の非一時的なコンピュータ可読記憶媒体。各評価者に対する前記格付けは、少なくとも1つの評価に基づき、その評価は少なくとも1人の他の評価者によってなされ、その評価は前記評価者からの少なくとも1つの他の問題スコアである、請求項16記載の非一時的なコンピュータ可読記憶媒体。前記候補者に対する前記格付けは、数字、文字、及びランク値のうち少なくとも1つである、請求項16記載の非一時的なコンピュータ可読記憶媒体。少なくとも1人の他の評価者から前記問題スコアの評価を要求するステップと;各他の評価者から評価スコアを受信するステップであって、前記評価スコアは前記問題スコアの評価の客観的指標である、ステップと;各他の評価者からの前記評価スコアに基づいて、各評価者に対する前記格付けを計算するステップと、をさらに含む、請求項16記載の非一時的なコンピュータ可読記憶媒体。前記問題スコアの評価には、前記問題スコアが正確であるかどうかを判定する前記少なくとも1人の他の評価者を含む、請求項25記載の非一時的なコンピュータ可読記憶媒体。前記評価スコアを受信するステップには、さらに:前記評価スコアを保存するステップと、前記他の評価者と前記評価者と前記評価スコアとを関連づけるステップと、を含む、請求項25記載の非一時的なコンピュータ可読記憶媒体。前記評価スコアは、数字、文字、及びランク値のうちの少なくとも1つである、請求項25記載の非一時的なコンピュータ可読記憶媒体。前記候補者は評価者である、請求項16記載の非一時的なコンピュータ可読記憶媒体。前記評価者は候補者である、請求項16記載の非一時的なコンピュータ可読記憶媒体。コンピュータ内に存在するメモリデバイスと;前記メモリデバイスと通信するよう配置されたプロセッサと、を含むシステムであって前記プロセッサは:候補者がテーマに基づいた問題に対して解答を準備することを要求し;前記候補者から前記解答を受信し;少なくとも1人の評価者からの前記解答と前記問題との評価を要求し;各評価者から解答スコアを受信し、前記解答スコアは前記解答と前記問題との評価の客観的指標であり;各評価者に対する格付けを受信し;そして、各評価者からの前記解答スコアと各評価者に対する格付けとに基づいて、前記候補者に対する格付けを計算するように構成される、システム。前記問題の目的はテスト受験者が前記テーマにおいて有するスキルや経験のレベルを判定することである、請求項31記載のシステム。前記解答を受信するために、前記プロセッサはさらに:前記解答を保存し;前記問題を保存し;そして、前記候補者と前記解答と前記問題とを関連づけるように構成される、請求項31記載のシステム。前記解答と前記問題との評価には、前記解答が前記問題に対して正しい解答であるかどうかを判定する前記少なくとも1人の評価者を含む、請求項31記載のシステム。前記解答スコアを受信するために、前記プロセッサはさらに:前記解答スコアを受信し;そして、前記評価者と前記解答と前記解答スコアとを関連づけるように構成される、請求項31記載のシステム。前記解答スコアは、数字、パーセンテージ、文字、及びランク値のうち少なくとも1つである、請求項31記載のシステム。各評価者に対する前記格付けは、数字、文字、及びランク値のうち少なくとも1つである、請求項31記載のシステム。各評価者に対する前記格付けは、少なくとも1つの評価に基づき、その評価は少なくとも1人の他の評価者によるもので、その評価は前記評価者からの少なくとも1つの解答スコアである、請求項31記載のシステム。前記候補者に対する前記格付けは、数字、文字、及びランク値のうち少なくとも1つである、請求項31記載のシステム。前記プロセッサは、さらに:少なくとも1人の他の評価者から前記解答スコアの評価を要求し;そして、各他の評価者から評価スコアを受信し、前記評価スコアは前記解答スコアの前記評価の客観的指標であり;そして、各他の評価者からの前記評価スコアに基づいて、各評価者に対する前記格付けを計算するように構成される、請求項31記載のシステム。前記解答スコアの前記評価には、前記解答スコアが正しいかどうかを判定する前記少なくとも1人の評価者を含む、請求項40記載のシステム。前記評価スコアを受信するために、前記プロセッサはさらに:前記評価スコアを保存し;そして、前記他の評価者と前記評価者と前記評価スコアとを関連づけるように構成される、請求項40記載のシステム。前記評価スコアは、数字、文字、及びランク値のうち少なくとも1つである、請求項40記載のシステム。前記候補者は評価者である、請求項31記載のシステム。前記評価者は候補者である、請求項31記載のシステム。非一時的なコンピュータ可読記憶媒体であって、コンピュータ実行可能な命令を含み、コンピュータデバイス上で実行されると次のステップを実行する:候補者が或るテーマに基づいた問題に対して解答を準備することを要求するステップと;前記候補者から前記解答を受信するステップと;少なくとも1人の評価者からの前記解答と前記問題とを評価することを要求するステップと;各評価者から解答スコアを受信するステップであって、前記解答スコアは前記解答と前記問題との評価の客観的指標である、ステップと;各評価者に対する格付けを受信するステップと;各評価者からの前記解答スコア及び各評価者に対する格付けに基づいて、前記候補者に対する格付けを計算するステップと、を有する、コンピュータ可読記憶媒体。前記問題の目的はテスト受験者が前記テーマにおいて有するスキルや経験のレベルを判定することである、請求項46記載のコンピュータ可読記憶媒体。前記解答を受信するステップは、さらに:前記解答を保存するステップと;前記問題を保存するステップと;前記候補者と前記解答と前記問題とを関連づけるステップと、を含む、請求項46記載のコンピュータ可読記憶媒体。前記解答と前記問題との評価には、前記解答が前記問題に対して正しいかどうかを判定する前記少なくとも1人の評価者を含む、請求項46記載のコンピュータ可読記憶媒体。前記解答スコアを受信するステップは、さらに:前記解答スコアを保存するステップと;前記評価者と前記解答と前記解答スコアとを関連づけるステップと、を含む、請求項46記載のコンピュータ可読記憶媒体。前記解答スコアは、数字、パーセンテージ、文字、及びランク値のうち少なくとも1つである、請求項46記載のコンピュータ可読記憶媒体。各評価者に対する前記格付けは、数字、文字、及びランク値のうち少なくとも1つである、請求項46記載のコンピュータ可読記憶媒体。各評価者に対する前記格付けは、少なくとも1つの評価に基づき、その評価は少なくとも1人の他の評価者によるもので、その評価は前記評価者からの少なくとも1つの他の解答スコアである、請求項46記載のコンピュータ可読記憶媒体。前記候補者に対する前記格付けは、数字、文字、及びランク値のうち少なくとも1つである、請求項46記載のコンピュータ可読記憶媒体。少なくとも1人の他の評価者から前記解答スコアの評価を要求するステップと;各他の評価者から評価スコアを受信するステップであって、前記評価スコアは前記解答スコアの評価の客観的指標である、ステップと;各他の評価者からの前記評価スコアに基づいて、各評価者に対して前記格付けを計算するステップと、を更に含む、請求項46記載のコンピュータ可読記憶媒体。前記解答スコアの前記評価には、前記解答スコアが正確であるかどうかを判定する前記少なくとも1人の他の評価者を含む、請求項55記載のコンピュータ可読記憶媒体。前記評価スコアを受信するステップには、さらに:前記評価スコアを保存するステップと;前記他の評価者と前記評価者と前記評価スコアとを関連付けるステップと、を含む、請求項55記載のコンピュータ可読記憶媒体。前記評価スコアは、数字、文字、及びランク値のうち少なくとも1つである、請求項55記載のコンピュータ可読記憶媒体。前記候補者は評価者である、請求項46記載のコンピュータ可読記憶媒体。前記評価者は候補者である、請求項46記載のコンピュータ可読記憶媒体。評定及び評価ツールとして有用ではあるが、こうしたテストは多くの不利な点を有する。第一に、新たな技術、ツール、及び、スキルの導入による影響を受けて発展するマーケットに対してはテストは急速に古くなり、求められる従業員が経験を有することが必要とされるようなシステム、ツール、プロセスの最新バージョンやトレンドには適用できなくなりつつある。第二に、テストは、各問題に対する解答又はその一部の絶対的な正解又は不正解を想定していることである。第三に、テストを最新に維持する業務は費用がかかるだけでなく、一定の関係者だけが認知された専門家であり、そのテストを開発することができ、又は、そのテストの正しさと有効性とを保障することができるため、複雑であることである。従って、認知的に要求されるスキルや経験のための候補者をテストする開示のシステム及び方法は、新しいプロセスであって、既存のテストシステムに固有のこうした問題を有しない。本発明の側面によれば、評価者による評価に基づいて、候補者を格付けするシステム及び方法を供給する。その評価者は、その候補者が作成した問題、及び、その候補者が答えた解答を評価する。各評価者はその評価の客観的指標として問題スコア又は解答スコアを与える。本方法は各評価者に対する格付けを検索し、そして、その問題スコア又は解答スコアに基づいて、その候補者に対する格付けと各評価者に対する格付けとを計算する。本方法は、他の評価者による評価に基づいて、各評価者を格付けする。他の評価者は、問題スコア、又は、解答スコアを評価し、そして、評価の客観的指標として評価スコアを供給する。本方法は、他の評価者による評価に基づいて、各評価者を格付けする。本方法は、他の各評価者に対する格付けを検索し、そして、その評価スコア及び他の評価者の夫々の格付けに基づいてその評価者の格付けを計算する。図1は先行技術の従来のテスト方法を表すフローチャートである。現在は、この先行技術の従来のテストプロセス100は、クライアントサーバーネットワークシステム上で典型的には実行される。図1で示されるように、先行技術の従来のテストプロセス100は、反復プロセスであって、開発130、テスト140、格付け150、及び、改定160のプロセスを含む。開発130のプロセスの間、テスト開発者はテスト又は複数のテストを作成し、或るテーマサブジェクトの候補者の知識と能力を評価するステップ131。そのテストは多数の問題と、テスト開発者が作成し正しいと認定する正しい解答とを含む。テストの開発が終了すると、テスト140のプロセスが開始され、テスト管理者がそのテストを候補者に送信するステップ141。候補者はテストを受信しステップ142、各問題に対して解答を行なうことによりテストを受け集団で、候補者が解答するステップ143、そして、その候補者の解答をテスト管理者に送信するステップ144。格付け150のプロセスは、テスト管理者によって開始され、候補者の解答を正しい解答と比較することにより行なうステップ151。テスト管理者はその比較に基づいて候補者に対する格付けを計算するステップ152。その格付けは、典型的には、候補者による正解の数のパーセンテージである。改定160のプロセスは、格付け150のプロセスが完了した後、おそらくは、テスト140と格付け150の多数のプロセスの後に開始される。その改定160のプロセスは、テスト開発者にテストの問題と正解とを見直す機会を提供しステップ161、テストを最新の状態にし、変更点や候補者によって指摘されたコメントを組み込む。テストを改定修正するステップは、テストが価値を喪失せず、時を経ても適用できなくならないようにするために必要である。改定160のプロセスが完了すると、先行技術の従来のテストプロセス100は、テスト140と格付け150とのプロセスの反復を続ける。図2は、本発明を実行するシステムのハードウェアコンポーネントの一実施形態を表すネットワーク図である。図2に示されるアーキテクチャはネットワーク200を利用し、そのネットワークは、多数のクライアントコンピュータ230と単独のサーバーコンピュータ220とに接続し、本発明の方法を実行する。他の実施形態では、本発明は、多数のサーバーコンピュータの中にあるサーバーコンピュータ220によって実行されるプロセスを分配する。更に別の実施形態では、本発明は、サーバーコンピュータと多数の汎用コンピュータとの組み合わせの中にあるサーバーコンピュータ220によって実行されるプロセスを分配する。一実施形態において図2に示されるネットワーク200は、クライアントコンピュータ230とサーバーコンピュータ220との間に接続され、データ転送を可能にするパブリック通信ネットワークである。本発明は類似のネットワークアーキテクチャの使用も意図する。類似のネットワークアーキテクチャはパブリックスイッチドテレフォンネットワークPSTN、データ及びボイスパケットを運ぶパブリックパケットスイッチドネットワーク、ワイヤレスネットワーク、及び、プライベートネットワークを含む。ワイヤレスネットワークは、携帯電話ネットワーク例えば、時分割多重アクセスTDMA又は符号分割多重アクセスCDMAネットワーク、サテライトネットワーク、及び、ワイヤレスローカルエリアネットワークLAN例えばWi-Fiを含む。プライベートネットワークは、LAN、ブルートゥースネットワークのようなパーソナルエリアネットワークPAN、ワイヤレスLAN、バーチャルプライベートネットワークVPN、イントラネット、又は、エクストラネットを含む。イントラネットはプライベート通信ネットワークであって、会社のような組織に安全な手段を供給し、その組織の信頼されたメンバーが、その組織のネットワーク上のリソースにアクセスするようにする。対照的に、エクストラネットはプライベート通信ネットワークであって、会社のような組織に安全な手段を供給し、その組織のメンバーでない者がその組織のネットワーク上の一定のリソースにアクセスするのを許容する。本システムは、イーサーネット、トークンリング、システムネットワークアーキテクチャ、インターネットプロトコル、トランスミッションコントロールプロトコル、ユーザーデータグラムプロトコル、非同期転送モード、及び、インターネットプロトコルに類似する固有ネットワークプロトコルも意図している。図2に示されるように、管理者210はサーバーコンピュータ220を操作し、ネットワーク200にアクセスしてクライアントコンピュータ230に接続する。管理者210は、多数のテーマに関連する問題の知識データ即ち、データストア、又は、データベースの作成と維持とを調整する責任を有し、その知識ベースの中の問題のサブセットを含むテストの管理に責任を有する。同様に、候補者240又は評価者250は、クライアントコンピュータ230を操作し、ネットワーク200にアクセスし、サーバーコンピュータ220に接続する。候補者240は、その知識ベースのための問題サブセットを作成する即ち、開発する、作成する、又は、準備する要求を満たす責任を有し、その知識ベースの中の他の問題に解答することによりテストを受ける。評価者250は候補者240によって作成された問題を評価する責任を有し、候補者240によって準備された問題への解答、他の評価者250による問題と解答との評価に責任を有する。一実施形態では、評価者250は候補者240でもあり、その候補者は他の候補者240によって開発された問題を評価する責任を有する。図3は、図2に示されるハードウェアコンポーネントの一実施形態を詳細に表すブロック図である。特に、図3は、サーバーコンピュータ220とクライアントコンピュータ230とを含むハードウェア及びソフトウェアコンポーネント群を詳細に表す。図3に示されるサーバーコンピュータ220は汎用コンピュータであって、ファイルサービス、ウェッブページサービス、及び類似のものを含むサーバー機能を供給する。バス300は通信媒体であって、プロセッサ305、データ保存デバイス310、通信インターフェース315、入力デバイス320、出力デバイス325、知識ベース330、及び、メモリ340に接続する。一実施形態では、プロセッサ315は中央処理ユニットCPUである。通信インターフェース315はネットワーク200にも接続し、サーバーコンピュータ220とネットワーク200との間のネットワークトラフィックの通過を容易にするメカニズムである。図3は、データ保存デバイス310と知識ベース330とを、サーバーコンピュータ220の分離したコンポーネントとして表している;しかし、本発明は知識ベースをデータ保存デバイス310と組み合わせることも意図しており、そして、知識ベースを通信インターフェース315を介してサーバーコンピュータ220に接続された外部デバイスと組み合わせることも意図している。一実施形態では、知識ベース330は問題を含むデータの集合であり、そこでは、各問題は或るテーマを有し、問題に答える責任のある候補者240と関連付けられ、多数の評価又はスコアを有する。一実施形態では、知識ベース330は解答を含むデータの集合であり、そこでは、各解答は或るテーマに関する問題を有し、解答を準備する責任のある候補者240と関連づけられ、多数の評価又はスコアを有する。更に他の実施形態では、知識ベース330は、データベースマネージメントシステムが知識ベース330からデータを、迅速に保存し、修正し、及び、抽出することができるように組織化され、データベースマネージメントシステムは、相関的な、フラットな、階層的な、オブジェクト指向のアーキテクチャ、及び類似のものを採用する。プロセッサ305は操作命令のシーケンスを実行することにより開示の方法を実行するし、その操作命令はメモリ340の中に存在するか、又は、その上で動作可能な各コンピュータプログラムを含む。当業者は、メモリ340は、このアプリケーションにおいて開示されるプログラムをサポートするオペレーティングシステム、管理プログラム、及び、データベースプログラムも含むことを理解すべきである。一実施形態では、サーバーコンピュータ220のメモリ340の構成はテストプログラム341とウェッブサーバー345とを含む。そのテストプログラム341は、問題開発プログラム342、テスト管理プログラム343、及び、格付けプログラム344を含む。ウェッブサーバープログラム345はエンジン346とウェッブページ347とを含む。これらのコンピュータプログラムは、メモリ340、知識ベース330、又は、データ保存デバイス310の中に中間的な結果を保存する。また、これらのプログラムは、入力デバイス320を介して管理者210から入力を受信し、知識ベース330にアクセスし、そして、出力デバイス325を介して管理者210にその結果を表示する。また、これらのプログラムは入力デバイス320を介して管理者210から入力を受信し、知識ベース330にアクセスし、そして、出力デバイス325を介して管理者210へ結果を表示する。他の実施形態では、メモリ340はこれらのプログラム、又は、その部分を、必要に応じてメモリ340の中と外にスワップしてもよく、そして、常にこれらのプログラムの全てよりも少ないものを含んでもよい。ウェッブサーバープログラム345のエンジン346は、ハイパーテキストトランスファープロトコルHTTPリクエストのようなリクエストをクライアントコンピュータ230から受信し、それに応じてユニフォームリソースロケイターURLアドレスによって特定されるウェッブページ347にアクセスする。そのリクエストは、サーバーコンピュータ220に問題開発プログラム342を実行させるようにトリガーする問題開発リクエストと、サーバーコンピュータ220にテスト開発プログラム343を実行させるようにトリガーするテスト管理リクエストと、サーバーコンピュータ220に格付けプログラム344を実行させるようにトリガーする格付けリクエストとを含む。図3に示されるように、クライアントコンピュータ230は汎用コンピュータである。バス350は通信媒体であって、プロセッサ355、データ保存デバイス360、通信インターフェース365、入力デバイス370、出力デバイス375、及び、メモリ380に接続する。プロセッサ355は、一実施形態では、中央処理ユニットCPUである。また、通信インターフェース365はネットワーク200に接続し、そして、クライアントコンピュータ230とネットワーク200との間のネットワークトラフィックの通過を容易にするメカニズムである。プロセッサ355は、メモリ380の中に存在するか、又は、その上で動作する各コンピュータプログラムを含む操作命令のシーケンスを実行することにより、開示の方法を実行する。当業者は、メモリ380が、このアプリケーションにおいて開示されるプログラムをサポートする、オペレーティングシステム、管理プログラム、及び、データベースプログラムを含んでもよいことを理解すべきである。一実施形態では、クライアントコンピュータ230のメモリ380の構成は、ウェブブラウザ381プログラムと識別子382とを含む。一実施形態では、識別子382はクッキーとして言及されるファイルの中に保存される。サーバーコンピュータ220は、クライアントコンピュータ230が最初にサーバーコンピュータ220と通信すると、その識別子382をクライアントコンピュータ230に割り当て、送信する。それ以降、クライアントコンピュータ230は、サーバーコンピュータ220に送信された全てのメッセージを有する識別子382を含み、そうして、そのサーバーコンピュータ220はそのメッセージのソースを特定することができる。これらのコンピュータプログラムはメモリ380、又は、データ保存デバイス360の中に中間結果を保存する。他の実施形態では、メモリ380は、これらのプログラム、又は、その部分を、必要に応じてメモリ380の中と外にスワップしてもよく、そして、常にこれらのプログラムの全てよりも少ないものを含んでもよい。図4は本発明の様々な実施形態に従った方法を表すフローチャートである。詳しくは、図4は、管理者210がサーバーコンピュータ220を操作し、候補者240又は評価者250の何れか一方がクライアントコンピュータ230を操作するとき、問題開発プログラム342、テスト管理プログラム343、及び、格付けプログラム344によって実行されるプロセスを表す。図4に示される問題開発プログラム342は、管理者210がサーバーコンピュータ220を操作し、或るテーマに関する問題のリクエストを、クライアントコンピュータ230を操作する候補者240に送信するステップ410ときに始まる。クライアントコンピュータ230はそのリクエストを受信し、そして、その候補者240はそのテーマに関する多数の問題を作成するステップ411。管理者210は、候補者240がそのテーマの公表された専門家であるので、その候補者240から問題をリクエストする。しかし、管理者210は様々な候補者240から問題をリクエストするので、各候補者240が開発する問題は異なることがある。他の実施形態では、問題に対するリクエストを受信することなく、候補者240はクライアントコンピュータ230を操作し、そのテーマに関する多数の問題を作成するステップ411。候補者240が問題の開発を完了したとき、候補者240はクライアントコンピュータ230を操作してその問題をサーバーコンピュータ220に提出するステップ412。サーバーコンピュータ220は提出された問題を受信し、その問題を知識ベース330に加えるステップ413。一実施形態では、知識ベース330は各問題、その問題が扱うテーマ、及び、その問題を開発する責任を有する候補者240の識別番号identificationを保存する。図4に示されるテスト管理プログラム343は、候補者240がクライアントコンピュータ230を操作してテストのリクエストを送信するときに始まるステップ420。サーバーコンピュータ220は、リクエストを受信し、知識ベース330の中の問題を識別アイデンティファイし、そうして候補者240のためのテストの中に含めるステップ421。他の実施形態では、テストのためのリクエストを受信することなく、サーバーコンピュータ220は知識ベース330の中の問題を識別し、そうして候補者240のためのテストの中に含めるステップ421。一実施形態では、候補者240のために識別される問題は知識ベース330の中の問題のサブセットである。他の実施形態では、候補者240に対して識別される問題は、知識ベース330の中の問題のサブセットであり、その候補者240が開発した如何なる問題も除外する。サーバーコンピュータ220はテストの中の問題をクライアントコンピュータ230に送信するステップ422。候補者240は、テストの中の問題を受信し、そのテストの中の問題に対する解答を準備しステップ423、そして、その解答をサーバーコンピュータ220に送信するステップ424。サーバーコンピュータ220はその解答を受信しステップ425、更なる処理のためにその解答を知識ベース330の中に保存する。一実施形態では、知識ベース330は、各解答と、その解答が扱う問題と、その解答を準備する責任を有する候補者240に関連づけられた識別子identifierとを記憶保存する。テストの問題に解答するステップに加えて、候補者240は、テストの中の問題の評価即ち、アセスメントを準備しステップ426、そして、テストの中の問題の評価をサーバーコンピュータ220に送信するステップ427ことにより、評価者250の役割を果たす。一実施形態では、評価者250による各問題の評価は、その問題がそのテーマに適切であるかどうかを判定するステップと、その問題を開発した候補者240に対する格付けを計算するのに使用されるスコアを各問題に関連付けるステップとを含む。問題の正しさや適用性についての普遍的な評価は存在せず、問題を判断する認定された専門家は存在しないので、他の実施形態では、評価者250による各問題の評価は、問題の有効性、安定性、正しさ、適切性、適用性、又は、価値の判断を含んでもよい。様々な実施形態では、各問題に対するスコアは各問題の評価の客観的指標であり、例えば、数、パーセンテージ、文字、ランク値、又は類似するものである。サーバーコンピュータ220はテストの中の問題の評価を受信しステップ428、更なる処理のためにテストの問題の評価を保存する。一実施形態では、サーバーコンピュータ220は、知識ベース330の中のテストの問題の評価を保存する。図4に示される格付けプログラム344は、サーバーコンピュータ220がテストの中の問題と、候補者240により準備された解答とを或る評価者250に送信するときに始まるステップ430。一実施形態では、評価者250は、テストの中の問題に対して解答を準備した候補者240以外の候補者240である。他の実施形態では、評価者250は、テストの中の問題を開発した候補者240である。クライアントコンピュータ230はテストの中の問題と解答とを受信し、そして、評価者250は解答の評価を準備するためクライアントコンピュータ230を操作するステップ431。一実施形態では、評価者250による各解答の評価は、その解答が正しいかどうかを判断するステップを含み、そして、その解答を準備した候補者240に対して格付けを計算するために使用されるスコアを関連づけるステップを含む。解答の正しさ、又は、適用性の普遍的な評価は存在せず、その解答を判断する認定された専門家は存在しないので、他の実施形態では、評価者250による各解答の評価は、その解答が正しいか、部分的に正しいか、又は、正しくないかどうかを判断するステップを含む。様々な実施形態では、各解答に対するスコアは各解答の評価の客観的指標であり、例えば、数字、パーセンテージ、文字、ランク値、又はそれに類似するものである。評価者250は、クライアントコンピュータ230を操作して、解答の評価をサーバーコンピュータ220に送信するステップ432。サーバーコンピュータ220は解答の評価を受信し、そして、候補者240が作成した各問題に対するスコアと、候補者240がテストの中の問題に対して準備した各解答に対するスコアとに基づいて、候補者240に対する格付けを計算するステップ433。一実施形態では、候補者240に対する格付けは2つのコンポーネントを有する。候補者240に対する格付けの第1コンポーネントは、テストの問題に対して候補者240によって準備された解答の評価である。一実施形態では、この第1評価は評価者250による各問題に対する評価の平均であり、その評価を与えた評価者250に対する格付けに基づいて第1コンポーネントファクタによって乗算される。例えば、候補者240がテストの4つの問題に対する解答を準備する場合であって、評価者250が50、100、50、及び、100とそれぞれ評価するとき、評価者250によるその解答の評価の平均は75であり、評価者250に対する格付けが50であるときは、その候補者240に対する75という格付けは、その評価者250に対する格付けが低いので、低下するだろう。候補者240に対する格付けの第2コンポーネントは、候補者240により作成された問題の評価である。一実施形態では、この第2評価は評価者250による各問題に対する評価の平均であり、その評価を与えた評価者250に対する格付けに基づいて第2コンポーネントファクタにより乗算される。例えば、或るテストが他の候補者240によって作成された4つの問題を有する場合、或る評価者250が25、100、75、及び、100とそれぞれ評価するとき、問題の評価の平均は75であり、そして、その評価者250の格付けが100である場合は、その候補者240に対する75の格付けは、その評価者250に対する格付けが高いので、変化しない。一実施形態では、また、評価者250に対する格付けは2つのコンポーネントを含む。評価者250に対する格付けの第1コンポーネントは、テストの問題への解答に対して評価者250が与えた評価の評価である。評価者250に対する格付けの第2コンポーネントは、候補者240によって作成された問題に対して評価者250が与えた評価の評価である。これらのコンポーネントの両方は、評価者250による評価の他の評価者250による評価である即ち、再評価。従来技術のテスト方法に対する本発明の有利な点は、本発明では、候補者240がテストに対して問題の展開を永続化することである。従来技術のテスト方法は、フィードバックループを含み、テスト開発者がそのテストを改定し更新することを可能にする。本発明では、格付けプロセスは、問題と解答が継続的に進化しているので、テストの問題を本質的に改定し更新する。加えて、候補者240に対する格付けは、より多くの候補者240がテストに参加するのに従って、そして、その問題に対する解答が正しい解答と思われるものに収束するのに従って進化する。本発明は正しさを民主的なプロセスとして定義し、そのプロセスでは、候補者240の人数によって、どの解答が優勢になるか、及び、どの解答が優勢ではないかが判断される。解答の評価は、問題を受信してフィードバックを与えた全応答者に対する推奨される応答者の割合に依存する。図5は本発明の様々な実施形態に従った方法を表すメッセージフローチャートである。詳しくは、図5はプロセス500を表し、そのプロセスは問題を開発し、その問題を評価し、そして、候補者240と評価者250-1とを格付けする。管理者210はサーバーコンピュータ220を操作し、或るテーマに対する問題を開発するよう候補者240にリクエストを送信するステップ505。候補者240はクラインとコンピュータ230を操作し、その問題に回答しステップ510、そして、サーバーコンピュータ220に応じて、その質問を提出するステップ515。サーバーコンピュータ220は、その問題とそのテーマとを、問題の評価に対するリクエストと共に評価者250-1に送信するステップ520。評価者250-1はクライアントコンピュータ230を操作し、その問題とそのテーマとを評価しステップ525、その問題とそのテーマとの評価の客観的指標を提出するステップ530。一実施形態では、その評価は、その問題がそのテーマに適切かどうかの、評価者250-1による判断即ち、見解である。他の実施形態では、その評価の客観的指標は問題スコアであり、例えば数字即ち、1,2,3等、パーセンテージ、文字例えば、A,B,C等、又はランク値である。サーバーコンピュータ220は、評価者250-1に対する格付けを検索しステップ535、そして、その候補者240に対する格付けを更新、又は、計算するステップ540。サーバーコンピュータ220は、問題スコア、問題、及び、テーマを、他の評価者250-2に、問題スコアの評価に対するリクエストと共に送信するステップ545。他の評価者250-2はクライアントコンピュータ230を操作し、問題スコアを評価しステップ550、そして、その問題スコアの評価の客観的指標を提出するステップ555。一実施形態では、その評価は、他の評価者250-2による、その問題スコアが正しいかどうかの判断即ち、見解である。他の実施形態では、その評価の客観的指標は評価スコアであり、例えば、数字即ち、1,2,3等、パーセンテージ、文字即ち、A,B,C等、又はランク値である。サーバーコンピュータ220は、他の評価者250-2に対する格付けを検索しステップ560、そして、評価者250-1に対する格付けを更新、又は、計算するステップ565。一実施形態では、候補者240に対する格付けの基礎は、評価者250-1からの少なくとも1つの問題スコアであり、そして、評価者250に対する格付けの基礎は、他の評価者250-2からの少なくとも1つの評価スコアである。他の実施形態では、図5に示されるプロセス500の反復は、候補者240に対する多数の問題スコアを開発し、その問題スコアは、サーバーコンピュータ220が候補者240に対する格付けを計算するために使用され、そして、評価者250-1に対する多数の評価スコアを開発し、その評価スコアは、サーバーコンピュータ220が評価者250-1に対する格付けを計算するために使用される。一実施形態では、候補者240に対する格付けは数学的関数における問題スコアの組み合わせを含み、例えば、平均、中央値、又は、標準偏差等であり、そして、評価者250-1に対する格付けは数学的関数における評価スコアの組み合わせを含み、例えば、平均、中央値、又は、標準偏差等である。図6は本発明の様々な実施形態に従った方法を表すメッセージフローチャートである。詳しくは、図6はプロセス600を示し、そのプロセスは、問題に対する解答を準備し、その解答を評価し、そして、候補者240と評価者250-1とを格付けする。管理者210は、サーバーコンピュータ220を操作し、テストの問題への解答を準備するように候補者240へリクエストを送信するステップ605。候補者240はクライアントコンピュータ230を操作して解答を準備しステップ610、そして、サーバーコンピュータ220に応答して解答を提出するステップ615。サーバーコンピュータ220は解答と問題とをその解答の評価のリクエストと共に評価者250-1に送信するステップ620。評価者250-1はクライアントコンピュータ230を操作してその解答とその問題を評価しステップ625、そして、その解答とその問題との評価の客観的指標を提出するステップ630。一実施形態では、その評価は、その解答が正しいかどうかの、評価者250-1による判断即ち、見解である。他の実施形態では、評価の客観的指標は、解答スコアであり、例えば、数字即ち、1,2,3等、パーセンテージ、文字即ち、A,B,C等、又は、ランク値である。サーバーコンピュータ220は、評価者250-1に対する格付けを検索しステップ635、候補者240に対する格付けを更新、又は、計算するステップ640。サーバーコンピュータ220は解答スコア、解答、及び、問題を、その解答スコアの評価のリクエストと共に、他の評価者250-2に送信するステップ645。他の評価者250-2はクライアントコンピュータ230を操作して解答スコアを評価しステップ650、そして、その解答スコアの評価の客観的指標を提出するステップ655。一実施形態では、その評価は、その解答スコアが正しいかどうかの、他の評価者250-2による判断即ち、見解である。他の実施形態では、その評価の客観的指標は評価スコアであり、例えば、数字即ち、1,2,3等、パーセンテージ、文字即ち、A,B,C等、又は、ランク値である。サーバーコンピュータ220は他の評価者250-2に対する格付けを検索しステップ660、そして、評価者250-1に対する格付けを更新又は計算するステップ665。一実施形態では、候補者240に対する格付けの基礎は、評価者250-1からの少なくとも1つの解答スコアであり、そして、評価者250に対する格付けの基礎は、他の評価者250-2からの少なくとも1つの評価スコアである。図6に示されるプロセス600の反復は、候補者240に対する多数の解答スコアを開発し、その解答スコアは、候補者240に対する格付けを計算するようにサーバーコンピュータが使用し、そして、評価者250-1に対する多数の評価スコアを開発し、その評価スコアは、評価者250-1に対する格付けを計算するようにサーバーコンピュータ220が使用する。一実施形態では、候補者240に対する格付けは、数学的関数における解答スコアの組み合わせを含み、例えば、平均、中央値、又は、標準偏差であり、そして、評価者250-1に対する格付けは、数学的関数における評価スコアの組み合わせを含み、例えば、平均、中央値、又は、標準偏差である。開示の実施形態は、認知的に要求されるスキルと経験に対して完全に機能するテスト方法について説明するが、読者は他の均等な実施形態が存在することを理解すべきである。多数の修正や変形が本明細書を読む者には理解されるだろうから、認知的に要求されるスキルと経験のためのこの民主的なプロセスとテスト方法とは、例示され開示された正確な構造や操作に制限されない。従って、本明細書は、特許請求の範囲の適用範囲内に含まれる全ての適切な変形例と均等物とを意図している。"