(57)【特許請求の範囲】
【請求項１】
サーバが、ネットワークを介して管理者端末から評価セッション開始の指示を受信するステップと、
サーバが、評価セッション開始の指示に応じて、評価対象に関する情報を評価対象情報記憶部から抽出すると共に、少なくとも一つの評価軸に基づく選択式評価入力部、及び少なくとも一つの記述式コメント入力部を含む評価入力のための第一書式データを第一書式データ記憶部から抽出し、当該評価対象に関する情報及び第一書式データを、ネットワークを介して評価セッションの複数の評価者端末のそれぞれに送信するステップと、
サーバが、選択式評価入力部及び記述式コメント入力部に各評価者によって入力された評価対象に対する評価を含む評価データを、各評価者端末からネットワークを介して受信するステップと、
サーバが、受信した評価対象に対する評価を含む評価データにそれぞれ識別子を付与し、当該評価データを送信した各評価者の識別子と関連付けて当該評価データを評価データ記憶部に格納するステップと、
サーバが、評価データ記憶部に格納されているそれぞれの評価データ中の評価者の説得力を判定すべき判定者を評価者の中から決定するステップと、
サーバが、評価者の説得力を判定すべき判定者を決定するステップの結果に従い、各判定者が判定すべき評価を含む評価データを評価データ記憶部から抽出すると共に、選択式判定入力部を含む、説得力の大きさに関する判定を評価軸毎に入力するための第二書式データを第二書式データ記憶部から抽出し、当該評価データ及び当該第二書式データを、当該評価を入力した評価者を判定者が特定できない態様で、ネットワークを介して対応する判定者端末に送信するステップと、
サーバが、選択式判定入力部に各判定者によって入力された評価者の説得力の判定を含む判定データを、各判定者端末からネットワークを介して受信するステップと、
サーバが、受信した判定データにそれぞれ識別子を付与し、判定データを送信した判定者の識別子、及び判定を受けた評価データの識別子と関連付けて前記判定データを判定データ記憶部に格納するステップと、
サーバが、判定データ記憶部に格納されている判定データ中の、選択式判定入力部に各判定者によって入力された評価者の説得力の大きさに関する判定に基づいて、判定を受けた各評価者の説得力の大きさを評価軸毎に格付けし、各評価者の識別子と関連付けて評価者の説得力の大きさに関する格付けデータとして評価者格付けデータ記憶部に格納するステップと、
サーバが、説得力の大きさに関する格付けが上位の評価者による評価ほど、評価に大きな重み付けを付与することを条件に、評価データ記憶部に格納されている評価データ中の、選択式評価入力部に各評価者によって入力された評価、及び、評価者格付けデータ記憶部に格納されている各評価者の説得力の大きさに関する格付けに基づいて、評価対象に対する重み付け後評価分布を評価軸毎に算出し、当該評価分布を評価軸毎に評価分析データ記憶部に格納するステップと、
サーバが、評価分析データ記憶部に格納されている、重み付け後評価分布自体及び／又は当該評価分布に基づいて算出される統計量を含む評価分析データを抽出し、当該評価分析データをネットワークを介して管理者端末に送信するステップと、
を含むオンライン評価方法。
【請求項２】
サーバが、判定データ記憶部に格納されている判定データ中の、選択式判定入力部に各判定者によって入力された評価者の説得力の大きさに関する判定に基づいて、判定を受けた各評価者の説得力の大きさを評価軸毎に格付けし、各評価者の識別子と関連付けて評価者の説得力の大きさに関する格付けデータとして評価者格付けデータ記憶部に格納するステップは、
サーバが、選択式判定入力部に各判定者によって入力された評価者の説得力の大きさに関する判定に基づいて、判定を受けた各評価者の第一の説得力の大きさを評価軸毎に格付けし、各評価者の識別子と関連付けて評価者の説得力の大きさに関する第一の格付けデータとして評価者格付けデータ記憶部に格納するステップを実施した後、
サーバが、第一の説得力の大きさに関する格付けが上位の評価者による判定ほど、判定に大きな重み付けを付与することを条件に、選択式判定入力部に各判定者によって入力された評価者の説得力の大きさに関する判定、及び、評価者格付けデータ記憶部に格納されている第一の格付けデータに基づいて、判定を受けた各評価者の第二の説得力の大きさを評価軸毎に格付けし、各評価者の識別子と関連付けて評価者の説得力の大きさに関する第二の格付けデータとして評価者格付けデータ記憶部に格納するステップを少なくとも一回行うことを含む、
請求項１に記載のオンライン評価方法。
【請求項３】
サーバが、評価データ記憶部に格納されている評価データ中の、選択式評価入力部に各評価者によって入力された評価に基づいて、評価対象に対する重み付け前評価分布を評価軸毎に算出し、重み付け前評価分布を評価軸毎に評価分析データ記憶部に格納するステップと、
サーバが、評価分析データ記憶部に格納されている、重み付け前評価分布自体及び／又は当該評価分布に基づいて算出される統計量を含む評価分析データを抽出し、当該評価分析データをネットワークを介して管理者端末に送信するステップと、
を含む請求項１又は２に記載のオンライン評価方法。
【請求項４】
サーバが、評価データ記憶部に格納されている評価データ中の、選択式評価入力部に各評価者によって入力された評価に基づいて、評価対象に対する評価の第一集計スコアを評価軸毎に算出し、第一集計スコアを評価軸毎に評価分析データ記憶部に格納するステップと、
サーバが、説得力の大きさに関する格付けが高い評価者による評価ほど、評価に大きな重み付けを付与することを条件に、評価データ記憶部に格納されている評価データ中の、選択式評価入力部に各評価者によって入力された評価、及び、評価者格付けデータ記憶部に格納されている各評価者の説得力の大きさに関する格付けに基づいて、評価対象に対する評価の第二集計スコアを評価軸毎に算出し、第二集計スコアを評価軸毎に評価分析データ記憶部に格納するステップと、
サーバが、評価分析データ記憶部に格納されている、第一集計スコア及び第二集計スコアを含む評価分析データを抽出し、当該評価分析データをネットワークを介して管理者端末に送信するステップと、
を含む請求項１〜３の何れか一項に記載のオンライン評価方法。
【請求項５】
サーバが、評価データ記憶部に格納されている評価データ中の、選択式評価入力部に各評価者によって入力された評価と評価分析データ記憶部に格納されている評価分析データ中の第二集計スコアとの違いの大きさ、及び、評価者格付けデータ記憶部に格納されている各評価者の説得力の大きさに関する格付けに基づいて、スコア変動リスクを評価軸毎に集計し、評価分析データ記憶部に格納するステップであって、説得力の大きさに関する格付けが高い評価者による評価ほど、スコア変動リスクを集計する際に大きな重み付けを付与するステップと、
サーバが、評価分析データ記憶部に格納されている、スコア変動リスクを含む評価分析データを抽出し、当該評価分析データをネットワークを介して管理者端末に送信するステップを含む請求項４に記載のオンライン評価方法。
【請求項６】
サーバが、評価データ記憶部に格納されている評価データ中の、選択式評価入力部に各評価者によって入力された評価と、評価分析データ記憶部に格納されている評価分析データ中の第二集計スコアとを対比し、両者の近似性が高いほど格付けが上位になるという条件で、各評価者の目利き力の大きさを評価軸毎に格付けし、各評価者の識別子と関連付けて評価者の目利き力の大きさに関する格付けデータとして評価者格付けデータ記憶部に格納するステップと、
サーバが、評価者格付けデータ記憶部に格納されている評価者の目利き力の大きさに関する格付けデータを評価者毎に抽出し、当該格付けデータをネットワークを介して管理者端末に送信するステップを含む請求項４又は５に記載のオンライン評価方法。
【請求項７】
サーバが、評価分析データ記憶部に格納されている評価分析データ中の、評価軸毎の第一集計スコアに基づき、評価対象の第一総合評価スコアを算出し、第一総合評価スコアを評価分析データ記憶部に格納するステップと、
サーバが、評価分析データ記憶部に格納されている評価分析データ中の、評価軸毎の第二集計スコアに基づき、評価対象の第二総合評価スコアを算出し、第二総合評価スコアを評価分析データ記憶部に格納するステップと、
サーバが、評価分析データ記憶部に格納されている、第一総合評価スコア及び第二総合評価スコアを含む評価分析データを抽出し、当該評価分析データをネットワークを介して管理者端末に送信するステップと、
を含む請求項４〜６の何れか一項に記載のオンライン評価方法。
【請求項８】
サーバが、ネットワークを介して管理者端末から、各評価軸の集計スコアが総合評価スコアに与える影響度を変更する指示を受信するステップと、
サーバが、前記影響度を変更する指示に応じて第一集計スコアが第一総合評価スコアにそれぞれ与える影響度を評価軸毎に変更したうえで、評価分析データ記憶部に格納されている評価分析データ中の、各評価軸の第一集計スコアに基づき、評価対象の補正された第一総合評価スコアを算出し、補正された第一総合評価スコアを評価分析データ記憶部に格納するステップと、
サーバが、前記影響度を変更する指示に応じて第二集計スコアが第二総合評価スコアにそれぞれ与える影響度を評価軸毎に変更したうえで、評価分析データ記憶部に格納されている評価分析データ中の、各評価軸の第二集計スコアに基づき、評価対象の補正された第二総合評価スコアを算出し、補正された第二総合評価スコアを評価分析データ記憶部に格納するステップと、
サーバが、評価分析データ記憶部に格納されている、補正された第一総合評価スコア及び補正された第二総合評価スコアを、ネットワークを介して管理者端末に送信するステップと、
を含む請求項７に記載のオンライン評価方法。
【請求項９】
前記少なくとも一つの評価軸が、評価対象の成長性、評価対象の安定性、及び評価対象の社会貢献性よりなる群から選択される少なくとも一つを含む請求項１〜８の何れか一項に記載のオンライン評価方法。
【請求項１０】
前記少なくとも一つの評価軸が、二つ以上の評価軸を含む請求項１〜９の何れか一項に記載のオンライン評価方法。
【請求項１１】
サーバが、評価者格付けデータ記憶部に格納されている評価者の説得力の大きさに関する格付けデータを評価者毎に抽出し、当該格付けデータをネットワークを介して管理者端末に送信するステップを含む請求項１〜１０の何れか一項に記載のオンライン評価方法。
【請求項１２】
評価者の説得力の大きさに関する格付けデータは、説得力の大きさに関する評価者間の相対的スコアを含む請求項１〜１１の何れか一項に記載のオンライン評価方法。
【請求項１３】
サーバが、判定データ記憶部に格納されている判定データ中の、選択式判定入力部に各判定者によって入力された評価者の説得力の大きさに関する判定と、評価データ記憶部に格納されている評価データ中の、当該判定者によって入力された評価対象に対する評価及び当該判定者から判定を受けた評価者によって入力された評価対象に対する評価の違いの大きさとに基づいて、当該説得力が大きいほど且つ当該評価の違いが大きいほど格付けが上位になるという条件で、判定を受けた各評価者の説明力の大きさを評価軸毎に格付けし、各評価者の識別子と関連付けて評価者の説明力の大きさに関する格付けデータとして評価者格付けデータ記憶部に格納するステップと、
サーバが、評価者格付けデータ記憶部に格納されている評価者の説明力の大きさに関する格付けデータを評価者毎に抽出し、当該格付けデータをネットワークを介して管理者端末に送信するステップを含む請求項１〜１２の何れか一項に記載のオンライン評価方法。
【請求項１４】
サーバが、選択式評価入力部及び記述式コメント入力部に各評価者によって入力された評価を含む評価データを評価者毎に抽出し、当該評価データをネットワークを介して管理者端末に送信するステップを含む請求項１〜１３の何れか一項に記載のオンライン評価方法。
【請求項１５】
サーバが、判定データ記憶部に格納されている判定データ中の、選択式判定入力部に各判定者によって入力された評価者の説得力の大きさに関する判定と、評価者格付けデータ記憶部に格納されている当該評価者の説得力の大きさに関する格付けとを対比し、両者の近似性が高いほど格付けが上位になるという条件で、各判定者の目利き力の大きさを評価軸毎に格付けし、各判定者の識別子と関連付けて判定者の目利き力の大きさに関する格付けデータとして判定者格付けデータ記憶部に格納するステップと、
サーバが、判定者格付けデータ記憶部に格納されている判定者の目利き力の大きさに関する格付けデータを判定者毎に抽出し、当該格付けデータをネットワークを介して管理者端末に送信するステップを含む請求項１〜１４の何れか一項に記載のオンライン評価方法。
【請求項１６】
第二書式データは、評価対象に対する再評価を評価軸毎に入力するための選択式評価再入力部を更に含み、判定データは、選択式評価再入力部に各判定者によって入力された評価対象に対する再評価を含む再評価データを更に含む請求項１〜１５の何れか一項に記載のオンライン評価方法。
【請求項１７】
サーバによる、判定を受けた各評価者の説得力の大きさの評価軸毎の格付けは、判定データ記憶部に格納されている判定データ中の、選択式判定入力部に各判定者によって入力された評価者の説得力の大きさに関する判定と、選択式評価再入力部に各判定者によって入力された評価対象に対する再評価とに基づいて行われる請求項１６に記載のオンライン評価方法。
【請求項１８】
送受信部、制御部、及び記憶部を備え、
前記記憶部は、
評価対象に関する情報を記憶するための評価対象情報記憶部と、
少なくとも一つの評価軸に基づく選択式評価入力部、及び少なくとも一つの記述式コメント入力部を含む評価入力のための第一書式データを記憶するための第一書式データ記憶部と、
送受信部で受信した、選択式評価入力部及び記述式コメント入力部に各評価者によって入力された評価対象に対する評価を含む評価データを、当該評価データの識別子と共に当該評価データを送信した各評価者の識別子と関連付けて格納するための評価データ記憶部と、
選択式判定入力部を含む、説得力の大きさに関する判定を評価軸毎に入力するための第二書式データを格納するための第二書式データ記憶部と、
送受信部で受信した、選択式判定入力部に各判定者によって入力された評価者の説得力の判定を含む判定データを、当該判定データの識別子と共に当該判定データを送信した判定者の識別子、及び判定を受けた評価データの識別子と関連付けて格納するための判定データ記憶部と、
評価対象に対する重み付け後評価分布を評価軸毎に格納するための評価分析データ記憶部と、
各評価者の識別子と関連付けて評価者の説得力の大きさに関する格付けデータを格納するための評価者格付けデータ記憶部とを有し、
前記制御部は、評価入力用データ抽出部、判定入力用データ抽出部、データ登録部、判定者決定部、評価分析部、及び評価分析データ抽出部を有し、
評価入力用データ抽出部は、管理者端末からの評価セッション開始の指示をネットワークを介して送受信部が受信すると、評価対象に関する情報を評価対象情報記憶部から抽出すると共に、少なくとも一つの評価軸に基づく選択式評価入力部、及び少なくとも一つの記述式コメント入力部を含む評価入力のための第一書式データを第一書式データ記憶部から抽出し、当該評価対象に関する情報及び第一書式データを、送受信部からネットワークを介して評価セッションの複数の評価者端末のそれぞれに送信することができ、
データ登録部は、送受信部で受信した評価データにそれぞれ識別子を付与し、当該評価データを送信した各評価者の識別子と関連付けて当該評価データを評価データ記憶部に格納すること、及び、送受信部で受信した判定データにそれぞれ識別子を付与し、判定データを送信した判定者の識別子、及び判定を受けた評価データの識別子と関連付けて前記判定データを判定データ記憶部に格納することができ、
判定者決定部は、評価データ記憶部に格納されているそれぞれの評価データ中の評価者の説得力を判定すべき判定者を評価者の中から決定することができ、
判定入力用データ抽出部は、判定者決定部による、評価者の説得力を判定すべき判定者の決定に従い、各判定者が判定すべき評価を含む評価データを評価データ記憶部から抽出すると共に、選択式判定入力部を含む説得力の大きさに関する判定を評価軸毎に入力するための第二書式データを第二書式データ記憶部から抽出し、当該評価データ及び当該第二書式データを、当該評価を入力した評価者を判定者が特定できない態様で、送受信部からネットワークを介して対応する判定者端末に送信することができ、
評価分析部は、
・判定データ記憶部に格納されている判定データ中の、選択式判定入力部に各判定者によって入力された評価者の説得力の大きさに関する判定に基づいて、判定を受けた各評価者の説得力の大きさを評価軸毎に格付けし、各評価者の識別子と関連付けて評価者の説得力の大きさに関する格付けデータとして評価者格付けデータ記憶部に格納することができ、
・説得力の大きさに関する格付けが上位の評価者による評価ほど、評価に大きな重み付けを付与することを条件に、評価データ記憶部に格納されている評価データ中の、選択式評価入力部に各評価者によって入力された評価、及び、評価者格付けデータ記憶部に格納されている各評価者の説得力の大きさに関する格付けに基づいて、評価対象に対する重み付け後評価分布を評価軸毎に算出し、重み付け後評価分布を評価軸毎に評価分析データ記憶部に格納することができ、
評価分析データ抽出部は、評価分析データ記憶部に格納されている、重み付け後評価分布自体及び／又は当該評価分布に基づいて算出される統計量を含む評価分析データを抽出し、当該評価分析データを送受信部からネットワークを介して管理者端末に送信することができる、
評価用オンラインサーバ。
【請求項１９】
評価分析部は、
判定データ記憶部に格納されている判定データ中の、選択式判定入力部に各判定者によって入力された評価者の説得力の大きさに関する判定に基づいて、判定を受けた各評価者の説得力の大きさを評価軸毎に格付けし、各評価者の識別子と関連付けて評価者の説得力の大きさに関する格付けデータとして評価者格付けデータ記憶部に格納する際に、
選択式判定入力部に各判定者によって入力された評価者の説得力の大きさに関する判定に基づいて、判定を受けた各評価者の第一の説得力の大きさを評価軸毎に格付けし、各評価者の識別子と関連付けて評価者の説得力の大きさに関する第一の格付けデータとして評価者格付けデータ記憶部に格納するステップを実施した後、
第一の説得力の大きさに関する格付けが上位の評価者による判定ほど、判定に大きな重み付けを付与することを条件に、選択式判定入力部に各判定者によって入力された評価者の説得力の大きさに関する判定、及び、評価者格付けデータ記憶部に格納されている第一の格付けデータに基づいて、判定を受けた各評価者の第二の説得力の大きさを評価軸毎に格付けし、各評価者の識別子と関連付けて評価者の説得力の大きさに関する第二の格付けデータとして評価者格付けデータ記憶部に格納するステップを少なくとも一回行うことができる、
請求項１８に記載の評価用オンラインサーバ。
【請求項２０】
評価分析データ記憶部は、
・評価対象に対する重み付け前評価分布を格納することができ、
評価分析部は、
・評価データ記憶部に格納されている評価データ中の、選択式評価入力部に各評価者によって入力された評価に基づいて、評価対象に対する重み付け前評価分布を評価軸毎に算出し、重み付け前評価分布を評価軸毎に評価分析データ記憶部に格納することができ、
評価分析データ抽出部は、
・評価分析データ記憶部に格納されている、重み付け前評価分布自体及び／又は当該評価分布に基づいて算出される統計量を含む評価分析データを抽出し、当該評価分析データを送受信部からネットワークを介して管理者端末に送信することができる、
請求項１８又は１９に記載の評価用オンラインサーバ。
【請求項２１】
評価分析部は、
・評価データ記憶部に格納されている評価データ中の、選択式評価入力部に各評価者によって入力された評価に基づいて、評価対象に対する評価の第一集計スコアを評価軸毎に算出し、第一集計スコアを評価軸毎に評価分析データ記憶部に格納することができ、
・説得力の大きさに関する格付けが高い評価者による評価ほど、評価に大きな重み付けを付与することを条件に、評価データ記憶部に格納されている評価データ中の、選択式評価入力部に各評価者によって入力された評価、及び、評価者格付けデータ記憶部に格納されている各評価者の説得力の大きさに関する格付けに基づいて、評価対象に対する評価の第二集計スコアを評価軸毎に算出し、第二集計スコアを評価軸毎に評価分析データ記憶部に格納することができ、
評価分析データ抽出部は、
・評価分析データ記憶部に格納されている、第一集計スコア及び第二集計スコアを含む評価分析データを評価軸毎に抽出し、当該評価分析データを送受信部からネットワークを介して管理者端末に送信することができる、
請求項１８〜２０の何れか一項に記載の評価用オンラインサーバ。
【請求項２２】
評価分析部は、
・説得力の大きさに関する格付けが高い評価者による評価ほど、スコア変動リスクを集計する際に大きな重み付けを付与することを条件に、評価データ記憶部に格納されている評価データ中の、選択式評価入力部に各評価者によって入力された評価と評価分析データ記憶部に格納されている評価分析データ中の第二集計スコアとの違いの大きさ、及び、評価者格付けデータ記憶部に格納されている各評価者の説得力の大きさに関する格付けに基づいて、スコア変動リスクを評価軸毎に集計し、評価分析データ記憶部に格納することができ、
評価分析データ抽出部は、
・評価分析データ記憶部に格納されている、スコア変動リスクを含む評価分析データを抽出し、当該評価分析データを送受信部からネットワークを介して管理者端末に送信することができる、
請求項２１に記載の評価用オンラインサーバ。
【請求項２３】
評価分析部は、
・評価データ記憶部に格納されている評価データ中の、選択式評価入力部に各評価者によって入力された評価と、評価分析データ記憶部に格納されている評価分析データ中の第二集計スコアとを対比し、両者の近似性が高いほど格付けが上位になるという条件で、各評価者の目利き力の大きさを評価軸毎に格付けし、各評価者の識別子と関連付けて評価者の目利き力の大きさに関する格付けデータとして評価者格付けデータ記憶部に格納することができ、
評価分析データ抽出部は、
・評価者格付けデータ記憶部に格納されている評価者の目利き力の大きさに関する格付けデータを評価者毎に抽出し、当該格付けデータを送受信部からネットワークを介して管理者端末に送信することができる、
請求項２１又は２２に記載の評価用オンラインサーバ。
【請求項２４】
評価分析部は、
・評価分析データ記憶部に格納されている評価分析データ中の、評価軸毎の第一集計スコアに基づき、評価対象の第一総合評価スコアを算出し、第一総合評価スコアを評価分析データ記憶部に格納することができ、
・評価分析データ記憶部に格納されている評価分析データ中の、評価軸毎の第二集計スコアに基づき、評価対象の第二総合評価スコアを算出し、第二総合評価スコアを評価分析データ記憶部に格納することができ、
評価分析データ抽出部は、
・評価分析データ記憶部に格納されている、第一総合評価スコア及び第二総合評価スコアを含む評価分析データを抽出し、当該評価分析データを送受信部からネットワークを介して管理者端末に送信することができる、
請求項２１〜２３の何れか一項に記載の評価用オンラインサーバ。
【請求項２５】
ネットワークを介して管理者端末から、各評価軸の集計スコアが総合評価スコアに与える影響度を変更する指示を送受信部が受信すると、
評価分析部は、
・前記影響度を変更する指示に応じて第一集計スコアが第一総合評価スコアにそれぞれ与える影響度を評価軸毎に変更したうえで、評価分析データ記憶部に格納されている評価分析データ中の、各評価軸の第一集計スコアに基づき、評価対象の補正された第一総合評価スコアを算出し、補正された第一総合評価スコアを評価分析データ記憶部に格納することができ、
・前記影響度を変更する指示に応じて第二集計スコアが第二総合評価スコアにそれぞれ与える影響度を評価軸毎に変更したうえで、評価分析データ記憶部に格納されている評価分析データ中の、各評価軸の第二集計スコアに基づき、評価対象の補正された第二総合評価スコアを算出し、補正された第二総合評価スコアを評価分析データ記憶部に格納することができ、
評価分析データ抽出部は、
・補正された第一総合評価スコア及び補正された第二総合評価スコアを、送受信部からネットワークを介して管理者端末に送信することができる、
請求項２４の何れか一項に記載のオンラインサーバ。
【請求項２６】
前記少なくとも一つの評価軸が、評価対象の成長性、評価対象の安定性、及び評価対象の社会貢献性よりなる群から選択される少なくとも一つを含む請求項１８〜２５の何れか一項に記載の評価用オンラインサーバ。
【請求項２７】
前記少なくとも一つの評価軸が、二つ以上の評価軸を含む請求項１８〜２６の何れか一項に記載の評価用オンラインサーバ。
【請求項２８】
評価分析データ抽出部は、評価者格付けデータ記憶部に格納されている評価者の説得力の大きさに関する格付けデータを評価者毎に抽出し、当該格付けデータを送受信部からネットワークを介して管理者端末に送信することができる請求項１８〜２７の何れか一項に記載の評価用オンラインサーバ。
【請求項２９】
評価者の説得力の大きさに関する格付けデータは、説得力の大きさに関する評価者間の相対的スコアを含む請求項１８〜２８の何れか一項に記載の評価用オンラインサーバ。
【請求項３０】
評価分析部は、
・判定データ記憶部に格納されている判定データ中の、選択式判定入力部に各判定者によって入力された評価者の説得力の大きさに関する判定と、評価データ記憶部に格納されている評価データ中の、当該判定者によって入力された評価対象に対する評価及び当該判定者から判定を受けた評価者によって入力された評価対象に対する評価の違いの大きさとに基づいて、当該説得力が大きいほど且つ当該評価の違いが大きいほど格付けが上位になるという条件で、判定を受けた各評価者の説明力の大きさを評価軸毎に格付けし、各評価者の識別子と関連付けて評価者の説明力の大きさに関する格付けデータとして評価者格付けデータ記憶部に格納することができ、
評価分析データ抽出部は、
・評価者格付けデータ記憶部に格納されている評価者の説明力の大きさに関する格付けデータを評価者毎に抽出し、当該格付けデータを送受信部からネットワークを介して管理者端末に送信することができる、
請求項１８〜２９の何れか一項に記載の評価用オンラインサーバ。
【請求項３１】
評価分析データ抽出部は、評価データ記憶部に格納されている、選択式評価入力部及び記述式コメント入力部に各評価者によって入力された評価を含む評価データを評価者毎に抽出し、当該評価データを送受信部からネットワークを介して管理者端末に送信することができる請求項１８〜３０の何れか一項に記載の評価用オンラインサーバ。
【請求項３２】
前記記憶部は、各判定者の識別子と関連付けて判定者の目利き力の大きさに関する格付けデータを格納するための判定者格付けデータ記憶部を有し、
評価分析部は、判定データ記憶部に格納されている判定データ中の、選択式判定入力部に各判定者によって入力された評価者の説得力の大きさに関する判定と、評価者格付けデータ記憶部に格納されている当該評価者の説得力の大きさに関する格付けとを対比し、両者の近似性が高いほど格付けが上位になるという条件で、各判定者の目利き力の大きさを評価軸毎に格付けし、各判定者の識別子と関連付けて判定者の目利き力の大きさに関する格付けデータとして判定者格付けデータ記憶部に格納することができ、
評価分析データ抽出部は、判定者格付けデータ記憶部に格納されている判定者の目利き力の大きさに関する格付けデータを判定者毎に抽出し、当該格付けデータを送受信部からネットワークを介して管理者端末に送信することができる、
請求項１８〜３１の何れか一項に記載の評価用オンラインサーバ。
【請求項３３】
第二書式データは、評価対象に対する再評価を評価軸毎に入力するための選択式評価再入力部を更に含み、判定データは、選択式評価再入力部に各判定者によって入力された評価対象に対する再評価を含む再評価データを更に含む請求項１８〜３２の何れか一項に記載の評価用オンラインサーバ。
【請求項３４】
評価分析部による、判定を受けた各評価者の説得力の大きさの評価軸毎の格付けは、判定データ記憶部に格納されている判定データ中の、選択式判定入力部に各判定者によって入力された評価者の説得力の大きさに関する判定と、選択式評価再入力部に各判定者によって入力された再評価とに基づいて行われる請求項３３に記載の評価用オンラインサーバ。
【請求項３５】
請求項１〜１７の何れか一項に記載の評価方法をコンピュータに実行させるためのプログラム。
【請求項３６】
請求項３５に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はオンラインで行う評価方法に関する。また、本発明は、評価をオンラインで行うためのサーバに関する。
【背景技術】
【０００２】
世の中には事物を評価し、その評価結果に応じて何らかの意思決定をする場面が多い。身近な例で言えば、企業価値を評価する場合がある。その企業の成長力が高いと判断されれば、投資先として有望であろう。その他にも評価対象は無数に存在し、政治、経済、社会、産業、科学、環境等の種々の分野において様々な評価対象が存在する。また、企業内においても、人事、労務、教育、経理、法務、経営企画、技術開発、保安、情報管理、マーケティング及び営業といった種々の部門で様々な評価対象が存在する。
【０００３】
事物を評価する場合、一人の評価だけではなく、複数人の評価を総合して評価することが、評価の客観性を高める上で有効である。また、インターネット技術の進展により、オンラインで多数の評価者の評価を集めることも可能である。
【０００４】
例えば、模範解答のない問題に対して、受験者間で相互に評価させるという方法が特表２０１４−５００５３２号公報にて提案されている。当該公報においては、コンピュータ内に存在するメモリデバイスと；前記メモリデバイスと通信するよう配置されたプロセッサと、を含むシステムであって前記プロセッサは：候補者がテーマに基づいた問題を作成することを要求し；前記候補者から前記問題を受信し；少なくとも１人の評価者から前記問題と前記テーマとの評価を要求し；各評価者から問題スコアを受信し、前記問題スコアは前記問題と前記テーマとの評価の客観的指標であり；各評価者に対する格付けを受信し；そして、各評価者からの前記問題スコアと前記各評価者に対する格付けとに基づいて、前記候補者に対する格付けを計算するように構成されるシステムが開示されている。
【０００５】
また、国際公開第２０１７／１４５７６５号においては、各受験者における目利き力を判定し、その結果を各受験者の評価に反映させることで、各受験者のアイデア創造力を簡易的且つ客観的に測定することを可能としたオンラインテスト方法が開示されている。具体的には、多数の受験者に対して、５Ｗ１Ｈに関する状況設定を選択肢から選ばせ、それによるアイデアを記述させるという作業を制限時間内になるべく多く繰り返させる試験をオンライン上で行い、これに対する受験者からの回答に対して所定の基準に従って重み付けを付与して合計スコアを算出することで、評価の高いアイデアを多く創出する能力、評価の高いアイデアを幅広く創出する能力、又は、希少で評価の高いアイデアを創出する能力といったイノベーション能力を評価するオンラインテスト方法が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特表２０１４−５００５３２号公報
【特許文献２】国際公開第２０１７／１４５７６５号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
事物を評価する際の尺度は評価者によって異なる。また、評価者の経験、知識、環境及び性格等によっても異なる評価がなされ得る。このため、同一の事物に対する評価結果は評価者によって異なることが起こり得る。評価者間の意見が割れたときには、評価者間で協議を行い、評価結果をまとめて結論を出すのが通常である。しかしながら、評価者間の人間関係、序列及び力関係等によっては、バイアスが生じて特定の評価者の意見に同調せざるを得ない状況が生まれる。また、押しの強い評価者の意見が評価結果に反映されやすいという状況も発生し得る。事物を客観的な立場から適正に評価しようとする場合、評価者間のパワーバランスに基づく影響をできるだけ排除できることが望ましい。
【０００８】
本発明は上記事情に鑑みて創作されたものであり、一実施態様において、評価者間のパワーバランスに左右されない客観性の高い事物のオンライン評価方法を提供することを課題とする。また、本発明は別の一実施態様において、事物の評価をオンラインで効率的に行うためのサーバを提供することを課題とする。
【課題を解決するための手段】
【０００９】
本発明者は上記課題を解決するために鋭意検討を行ったところ、評価対象に対する評価を複数の評価者間で共有しながら匿名で行うことのできる以下のオンライン評価方法及びサーバが有効であることを見出した。
【００１０】
［１］
サーバが、ネットワークを介して管理者端末から評価セッション開始の指示を受信するステップと、
サーバが、評価セッション開始の指示に応じて、評価対象に関する情報を評価対象情報記憶部から抽出すると共に、少なくとも一つの評価軸に基づく選択式評価入力部、及び少なくとも一つの記述式コメント入力部を含む評価入力のための第一書式データを第一書式データ記憶部から抽出し、当該評価対象に関する情報及び第一書式データを、ネットワークを介して評価セッションの複数の評価者端末のそれぞれに送信するステップと、
サーバが、選択式評価入力部及び記述式コメント入力部に各評価者によって入力された評価対象に対する評価を含む評価データを、各評価者端末からネットワークを介して受信するステップと、
サーバが、受信した評価対象に対する評価を含む評価データにそれぞれ識別子を付与し、当該評価データを送信した各評価者の識別子と関連付けて当該評価データを評価データ記憶部に格納するステップと、
サーバが、評価データ記憶部に格納されているそれぞれの評価データ中の評価者の説得力を判定すべき判定者を評価者の中から決定するステップと、
サーバが、評価者の説得力を判定すべき判定者を決定するステップの結果に従い、各判定者が判定すべき評価を含む評価データを評価データ記憶部から抽出すると共に、選択式判定入力部を含む、説得力の大きさに関する判定を評価軸毎に入力するための第二書式データを第二書式データ記憶部から抽出し、当該評価データ及び当該第二書式データを、当該評価を入力した評価者を判定者が特定できない態様で、ネットワークを介して対応する判定者端末に送信するステップと、
サーバが、選択式判定入力部に各判定者によって入力された評価者の説得力の判定を含む判定データを、各判定者端末からネットワークを介して受信するステップと、
サーバが、受信した判定データにそれぞれ識別子を付与し、判定データを送信した判定者の識別子、及び判定を受けた評価データの識別子と関連付けて前記判定データを判定データ記憶部に格納するステップと、
サーバが、判定データ記憶部に格納されている判定データ中の、選択式判定入力部に各判定者によって入力された評価者の説得力の大きさに関する判定に基づいて、判定を受けた各評価者の説得力の大きさを評価軸毎に格付けし、各評価者の識別子と関連付けて評価者の説得力の大きさに関する格付けデータとして評価者格付けデータ記憶部に格納するステップと、
サーバが、説得力の大きさに関する格付けが上位の評価者による評価ほど、評価に大きな重み付けを付与することを条件に、評価データ記憶部に格納されている評価データ中の、選択式評価入力部に各評価者によって入力された評価、及び、評価者格付けデータ記憶部に格納されている各評価者の説得力の大きさに関する格付けに基づいて、評価対象に対する重み付け後評価分布を評価軸毎に算出し、当該評価分布を評価軸毎に評価分析データ記憶部に格納するステップと、
サーバが、評価分析データ記憶部に格納されている、重み付け後評価分布自体及び／又は当該評価分布に基づいて算出される統計量を含む評価分析データを抽出し、当該評価分析データをネットワークを介して管理者端末に送信するステップと、
を含むオンライン評価方法。
［２］
サーバが、判定データ記憶部に格納されている判定データ中の、選択式判定入力部に各判定者によって入力された評価者の説得力の大きさに関する判定に基づいて、判定を受けた各評価者の説得力の大きさを評価軸毎に格付けし、各評価者の識別子と関連付けて評価者の説得力の大きさに関する格付けデータとして評価者格付けデータ記憶部に格納するステップは、
サーバが、選択式判定入力部に各判定者によって入力された評価者の説得力の大きさに関する判定に基づいて、判定を受けた各評価者の第一の説得力の大きさを評価軸毎に格付けし、各評価者の識別子と関連付けて評価者の説得力の大きさに関する第一の格付けデータとして評価者格付けデータ記憶部に格納するステップを実施した後、
サーバが、第一の説得力の大きさに関する格付けが上位の評価者による判定ほど、判定に大きな重み付けを付与することを条件に、選択式判定入力部に各判定者によって入力された評価者の説得力の大きさに関する判定、及び、評価者格付けデータ記憶部に格納されている第一の格付けデータに基づいて、判定を受けた各評価者の第二の説得力の大きさを評価軸毎に格付けし、各評価者の識別子と関連付けて評価者の説得力の大きさに関する第二の格付けデータとして評価者格付けデータ記憶部に格納するステップを少なくとも一回行うことを含む、
［１］に記載のオンライン評価方法。
［３］
サーバが、評価データ記憶部に格納されている評価データ中の、選択式評価入力部に各評価者によって入力された評価に基づいて、評価対象に対する重み付け前評価分布を評価軸毎に算出し、重み付け前評価分布を評価軸毎に評価分析データ記憶部に格納するステップと、
サーバが、評価分析データ記憶部に格納されている、重み付け前評価分布自体及び／又は当該評価分布に基づいて算出される統計量を含む評価分析データを抽出し、当該評価分析データをネットワークを介して管理者端末に送信するステップと、
を含む［１］又は［２］に記載のオンライン評価方法。
［４］
サーバが、評価データ記憶部に格納されている評価データ中の、選択式評価入力部に各評価者によって入力された評価に基づいて、評価対象に対する評価の第一集計スコアを評価軸毎に算出し、第一集計スコアを評価軸毎に評価分析データ記憶部に格納するステップと、
サーバが、説得力の大きさに関する格付けが高い評価者による評価ほど、評価に大きな重み付けを付与することを条件に、評価データ記憶部に格納されている評価データ中の、選択式評価入力部に各評価者によって入力された評価、及び、評価者格付けデータ記憶部に格納されている各評価者の説得力の大きさに関する格付けに基づいて、評価対象に対する評価の第二集計スコアを評価軸毎に算出し、第二集計スコアを評価軸毎に評価分析データ記憶部に格納するステップと、
サーバが、評価分析データ記憶部に格納されている、第一集計スコア及び第二集計スコアを含む評価分析データを抽出し、当該評価分析データをネットワークを介して管理者端末に送信するステップと、
を含む［１］〜［３］の何れか一項に記載のオンライン評価方法。
［５］
サーバが、評価データ記憶部に格納されている評価データ中の、選択式評価入力部に各評価者によって入力された評価と評価分析データ記憶部に格納されている評価分析データ中の第二集計スコアとの違いの大きさ、及び、評価者格付けデータ記憶部に格納されている各評価者の説得力の大きさに関する格付けに基づいて、スコア変動リスクを評価軸毎に集計し、評価分析データ記憶部に格納するステップであって、説得力の大きさに関する格付けが高い評価者による評価ほど、スコア変動リスクを集計する際に大きな重み付けを付与するステップと、
サーバが、評価分析データ記憶部に格納されている、スコア変動リスクを含む評価分析データを抽出し、当該評価分析データをネットワークを介して管理者端末に送信するステップを含む［４］に記載のオンライン評価方法。
［６］
サーバが、評価データ記憶部に格納されている評価データ中の、選択式評価入力部に各評価者によって入力された評価と、評価分析データ記憶部に格納されている評価分析データ中の第二集計スコアとを対比し、両者の近似性が高いほど格付けが上位になるという条件で、各評価者の目利き力の大きさを評価軸毎に格付けし、各評価者の識別子と関連付けて評価者の目利き力の大きさに関する格付けデータとして評価者格付けデータ記憶部に格納するステップと、
サーバが、評価者格付けデータ記憶部に格納されている評価者の目利き力の大きさに関する格付けデータを評価者毎に抽出し、当該格付けデータをネットワークを介して管理者端末に送信するステップを含む［４］又は［５］に記載のオンライン評価方法。
［７］
サーバが、評価分析データ記憶部に格納されている評価分析データ中の、評価軸毎の第一集計スコアに基づき、評価対象の第一総合評価スコアを算出し、第一総合評価スコアを評価分析データ記憶部に格納するステップと、
サーバが、評価分析データ記憶部に格納されている評価分析データ中の、評価軸毎の第二集計スコアに基づき、評価対象の第二総合評価スコアを算出し、第二総合評価スコアを評価分析データ記憶部に格納するステップと、
サーバが、評価分析データ記憶部に格納されている、第一総合評価スコア及び第二総合評価スコアを含む評価分析データを抽出し、当該評価分析データをネットワークを介して管理者端末に送信するステップと、
を含む［４］〜［６］の何れか一項に記載のオンライン評価方法。
［８］
サーバが、ネットワークを介して管理者端末から、各評価軸の集計スコアが総合評価スコアに与える影響度を変更する指示を受信するステップと、
サーバが、前記影響度を変更する指示に応じて第一集計スコアが第一総合評価スコアにそれぞれ与える影響度を評価軸毎に変更したうえで、評価分析データ記憶部に格納されている評価分析データ中の、各評価軸の第一集計スコアに基づき、評価対象の補正された第一総合評価スコアを算出し、補正された第一総合評価スコアを評価分析データ記憶部に格納するステップと、
サーバが、前記影響度を変更する指示に応じて第二集計スコアが第二総合評価スコアにそれぞれ与える影響度を評価軸毎に変更したうえで、評価分析データ記憶部に格納されている評価分析データ中の、各評価軸の第二集計スコアに基づき、評価対象の補正された第二総合評価スコアを算出し、補正された第二総合評価スコアを評価分析データ記憶部に格納するステップと、
サーバが、評価分析データ記憶部に格納されている、補正された第一総合評価スコア及び補正された第二総合評価スコアを、ネットワークを介して管理者端末に送信するステップと、
を含む［７］に記載のオンライン評価方法。
［９］
前記少なくとも一つの評価軸が、評価対象の成長性、評価対象の安定性、及び評価対象の社会貢献性よりなる群から選択される少なくとも一つを含む［１］〜［８］の何れか一項に記載のオンライン評価方法。
［１０］
前記少なくとも一つの評価軸が、二つ以上の評価軸を含む［１］〜［９］の何れか一項に記載のオンライン評価方法。
［１１］
サーバが、評価者格付けデータ記憶部に格納されている評価者の説得力の大きさに関する格付けデータを評価者毎に抽出し、当該格付けデータをネットワークを介して管理者端末に送信するステップを含む［１］〜［１０］の何れか一項に記載のオンライン評価方法。
［１２］
評価者の説得力の大きさに関する格付けデータは、説得力の大きさに関する評価者間の相対的スコアを含む［１］〜［１１］の何れか一項に記載のオンライン評価方法。
［１３］
サーバが、判定データ記憶部に格納されている判定データ中の、選択式判定入力部に各判定者によって入力された評価者の説得力の大きさに関する判定と、評価データ記憶部に格納されている評価データ中の、当該判定者によって入力された評価対象に対する評価及び当該判定者から判定を受けた評価者によって入力された評価対象に対する評価の違いの大きさとに基づいて、当該説得力が大きいほど且つ当該評価の違いが大きいほど格付けが上位になるという条件で、判定を受けた各評価者の説明力の大きさを評価軸毎に格付けし、各評価者の識別子と関連付けて評価者の説明力の大きさに関する格付けデータとして評価者格付けデータ記憶部に格納するステップと、
サーバが、評価者格付けデータ記憶部に格納されている評価者の説明力の大きさに関する格付けデータを評価者毎に抽出し、当該格付けデータをネットワークを介して管理者端末に送信するステップを含む［１］〜［１２］の何れか一項に記載のオンライン評価方法。
［１４］
サーバが、選択式評価入力部及び記述式コメント入力部に各評価者によって入力された評価を含む評価データを評価者毎に抽出し、当該評価データをネットワークを介して管理者端末に送信するステップを含む［１］〜［１３］の何れか一項に記載のオンライン評価方法。
［１５］
サーバが、判定データ記憶部に格納されている判定データ中の、選択式判定入力部に各判定者によって入力された評価者の説得力の大きさに関する判定と、評価者格付けデータ記憶部に格納されている当該評価者の説得力の大きさに関する格付けとを対比し、両者の近似性が高いほど格付けが上位になるという条件で、各判定者の目利き力の大きさを評価軸毎に格付けし、各判定者の識別子と関連付けて判定者の目利き力の大きさに関する格付けデータとして判定者格付けデータ記憶部に格納するステップと、
サーバが、判定者格付けデータ記憶部に格納されている判定者の目利き力の大きさに関する格付けデータを判定者毎に抽出し、当該格付けデータをネットワークを介して管理者端末に送信するステップを含む［１］〜［１４］の何れか一項に記載のオンライン評価方法。
［１６］
第二書式データは、評価対象に対する再評価を評価軸毎に入力するための選択式評価再入力部を更に含み、判定データは、選択式評価再入力部に各判定者によって入力された評価対象に対する再評価を含む再評価データを更に含む［１］〜［１５］の何れか一項に記載のオンライン評価方法。
［１７］
サーバによる、判定を受けた各評価者の説得力の大きさの評価軸毎の格付けは、判定データ記憶部に格納されている判定データ中の、選択式判定入力部に各判定者によって入力された評価者の説得力の大きさに関する判定と、選択式評価再入力部に各判定者によって入力された評価対象に対する再評価とに基づいて行われる［１６］に記載のオンライン評価方法。
［１８］
送受信部、制御部、及び記憶部を備え、
前記記憶部は、
評価対象に関する情報を記憶するための評価対象情報記憶部と、
少なくとも一つの評価軸に基づく選択式評価入力部、及び少なくとも一つの記述式コメント入力部を含む評価入力のための第一書式データを記憶するための第一書式データ記憶部と、
送受信部で受信した、選択式評価入力部及び記述式コメント入力部に各評価者によって入力された評価対象に対する評価を含む評価データを、当該評価データの識別子と共に当該評価データを送信した各評価者の識別子と関連付けて格納するための評価データ記憶部と、
選択式判定入力部を含む、説得力の大きさに関する判定を評価軸毎に入力するための第二書式データを格納するための第二書式データ記憶部と、
送受信部で受信した、選択式判定入力部に各判定者によって入力された評価者の説得力の判定を含む判定データを、当該判定データの識別子と共に当該判定データを送信した判定者の識別子、及び判定を受けた評価データの識別子と関連付けて格納するための判定データ記憶部と、
評価対象に対する重み付け後評価分布を評価軸毎に格納するための評価分析データ記憶部と、
各評価者の識別子と関連付けて評価者の説得力の大きさに関する格付けデータを格納するための評価者格付けデータ記憶部とを有し、
前記制御部は、評価入力用データ抽出部、判定入力用データ抽出部、データ登録部、判定者決定部、評価分析部、及び評価分析データ抽出部を有し、
評価入力用データ抽出部は、管理者端末からの評価セッション開始の指示をネットワークを介して送受信部が受信すると、評価対象に関する情報を評価対象情報記憶部から抽出すると共に、少なくとも一つの評価軸に基づく選択式評価入力部、及び少なくとも一つの記述式コメント入力部を含む評価入力のための第一書式データを第一書式データ記憶部から抽出し、当該評価対象に関する情報及び第一書式データを、送受信部からネットワークを介して評価セッションの複数の評価者端末のそれぞれに送信することができ、
データ登録部は、送受信部で受信した評価データにそれぞれ識別子を付与し、当該評価データを送信した各評価者の識別子と関連付けて当該評価データを評価データ記憶部に格納すること、及び、送受信部で受信した判定データにそれぞれ識別子を付与し、判定データを送信した判定者の識別子、及び判定を受けた評価データの識別子と関連付けて前記判定データを判定データ記憶部に格納することができ、
判定者決定部は、評価データ記憶部に格納されているそれぞれの評価データ中の評価者の説得力を判定すべき判定者を評価者の中から決定することができ、
判定入力用データ抽出部は、判定者決定部による、評価者の説得力を判定すべき判定者の決定に従い、各判定者が判定すべき評価を含む評価データを評価データ記憶部から抽出すると共に、選択式判定入力部を含む説得力の大きさに関する判定を評価軸毎に入力するための第二書式データを第二書式データ記憶部から抽出し、当該評価データ及び当該第二書式データを、当該評価を入力した評価者を判定者が特定できない態様で、送受信部からネットワークを介して対応する判定者端末に送信することができ、
評価分析部は、
・判定データ記憶部に格納されている判定データ中の、選択式判定入力部に各判定者によって入力された評価者の説得力の大きさに関する判定に基づいて、判定を受けた各評価者の説得力の大きさを評価軸毎に格付けし、各評価者の識別子と関連付けて評価者の説得力の大きさに関する格付けデータとして評価者格付けデータ記憶部に格納することができ、
・説得力の大きさに関する格付けが上位の評価者による評価ほど、評価に大きな重み付けを付与することを条件に、評価データ記憶部に格納されている評価データ中の、選択式評価入力部に各評価者によって入力された評価、及び、評価者格付けデータ記憶部に格納されている各評価者の説得力の大きさに関する格付けに基づいて、評価対象に対する重み付け後評価分布を評価軸毎に算出し、重み付け後評価分布を評価軸毎に評価分析データ記憶部に格納することができ、
評価分析データ抽出部は、評価分析データ記憶部に格納されている、重み付け後評価分布自体及び／又は当該評価分布に基づいて算出される統計量を含む評価分析データを抽出し、当該評価分析データを送受信部からネットワークを介して管理者端末に送信することができる、
評価用オンラインサーバ。
［１９］
評価分析部は、
判定データ記憶部に格納されている判定データ中の、選択式判定入力部に各判定者によって入力された評価者の説得力の大きさに関する判定に基づいて、判定を受けた各評価者の説得力の大きさを評価軸毎に格付けし、各評価者の識別子と関連付けて評価者の説得力の大きさに関する格付けデータとして評価者格付けデータ記憶部に格納する際に、
選択式判定入力部に各判定者によって入力された評価者の説得力の大きさに関する判定に基づいて、判定を受けた各評価者の第一の説得力の大きさを評価軸毎に格付けし、各評価者の識別子と関連付けて評価者の説得力の大きさに関する第一の格付けデータとして評価者格付けデータ記憶部に格納するステップを実施した後、
第一の説得力の大きさに関する格付けが上位の評価者による判定ほど、判定に大きな重み付けを付与することを条件に、選択式判定入力部に各判定者によって入力された評価者の説得力の大きさに関する判定、及び、評価者格付けデータ記憶部に格納されている第一の格付けデータに基づいて、判定を受けた各評価者の第二の説得力の大きさを評価軸毎に格付けし、各評価者の識別子と関連付けて評価者の説得力の大きさに関する第二の格付けデータとして評価者格付けデータ記憶部に格納するステップを少なくとも一回行うことができる、
［１８］に記載の評価用オンラインサーバ。
［２０］
評価分析データ記憶部は、
・評価対象に対する重み付け前評価分布を格納することができ、
評価分析部は、
・評価データ記憶部に格納されている評価データ中の、選択式評価入力部に各評価者によって入力された評価に基づいて、評価対象に対する重み付け前評価分布を評価軸毎に算出し、重み付け前評価分布を評価軸毎に評価分析データ記憶部に格納することができ、
評価分析データ抽出部は、
・評価分析データ記憶部に格納されている、重み付け前評価分布自体及び／又は当該評価分布に基づいて算出される統計量を含む評価分析データを抽出し、当該評価分析データを送受信部からネットワークを介して管理者端末に送信することができる、
［１８］又は［１９］に記載の評価用オンラインサーバ。
［２１］
評価分析部は、
・評価データ記憶部に格納されている評価データ中の、選択式評価入力部に各評価者によって入力された評価に基づいて、評価対象に対する評価の第一集計スコアを評価軸毎に算出し、第一集計スコアを評価軸毎に評価分析データ記憶部に格納することができ、
・説得力の大きさに関する格付けが高い評価者による評価ほど、評価に大きな重み付けを付与することを条件に、評価データ記憶部に格納されている評価データ中の、選択式評価入力部に各評価者によって入力された評価、及び、評価者格付けデータ記憶部に格納されている各評価者の説得力の大きさに関する格付けに基づいて、評価対象に対する評価の第二集計スコアを評価軸毎に算出し、第二集計スコアを評価軸毎に評価分析データ記憶部に格納することができ、
評価分析データ抽出部は、
・評価分析データ記憶部に格納されている、第一集計スコア及び第二集計スコアを含む評価分析データを評価軸毎に抽出し、当該評価分析データを送受信部からネットワークを介して管理者端末に送信することができる、
［１８］〜［２０］の何れか一項に記載の評価用オンラインサーバ。
［２２］
評価分析部は、
・説得力の大きさに関する格付けが高い評価者による評価ほど、スコア変動リスクを集計する際に大きな重み付けを付与することを条件に、評価データ記憶部に格納されている評価データ中の、選択式評価入力部に各評価者によって入力された評価と評価分析データ記憶部に格納されている評価分析データ中の第二集計スコアとの違いの大きさ、及び、評価者格付けデータ記憶部に格納されている各評価者の説得力の大きさに関する格付けに基づいて、スコア変動リスクを評価軸毎に集計し、評価分析データ記憶部に格納することができ、
評価分析データ抽出部は、
・評価分析データ記憶部に格納されている、スコア変動リスクを含む評価分析データを抽出し、当該評価分析データを送受信部からネットワークを介して管理者端末に送信することができる、
［２１］に記載の評価用オンラインサーバ。
［２３］
評価分析部は、
・評価データ記憶部に格納されている評価データ中の、選択式評価入力部に各評価者によって入力された評価と、評価分析データ記憶部に格納されている評価分析データ中の第二集計スコアとを対比し、両者の近似性が高いほど格付けが上位になるという条件で、各評価者の目利き力の大きさを評価軸毎に格付けし、各評価者の識別子と関連付けて評価者の目利き力の大きさに関する格付けデータとして評価者格付けデータ記憶部に格納することができ、
評価分析データ抽出部は、
・評価者格付けデータ記憶部に格納されている評価者の目利き力の大きさに関する格付けデータを評価者毎に抽出し、当該格付けデータを送受信部からネットワークを介して管理者端末に送信することができる、
［２１］又は［２２］に記載の評価用オンラインサーバ。
［２４］
評価分析部は、
・評価分析データ記憶部に格納されている評価分析データ中の、評価軸毎の第一集計スコアに基づき、評価対象の第一総合評価スコアを算出し、第一総合評価スコアを評価分析データ記憶部に格納することができ、
・評価分析データ記憶部に格納されている評価分析データ中の、評価軸毎の第二集計スコアに基づき、評価対象の第二総合評価スコアを算出し、第二総合評価スコアを評価分析データ記憶部に格納することができ、
評価分析データ抽出部は、
・評価分析データ記憶部に格納されている、第一総合評価スコア及び第二総合評価スコアを含む評価分析データを抽出し、当該評価分析データを送受信部からネットワークを介して管理者端末に送信することができる、
［２１］〜［２３］の何れか一項に記載の評価用オンラインサーバ。
［２５］
ネットワークを介して管理者端末から、各評価軸の集計スコアが総合評価スコアに与える影響度を変更する指示を送受信部が受信すると、
評価分析部は、
・前記影響度を変更する指示に応じて第一集計スコアが第一総合評価スコアにそれぞれ与える影響度を評価軸毎に変更したうえで、評価分析データ記憶部に格納されている評価分析データ中の、各評価軸の第一集計スコアに基づき、評価対象の補正された第一総合評価スコアを算出し、補正された第一総合評価スコアを評価分析データ記憶部に格納することができ、
・前記影響度を変更する指示に応じて第二集計スコアが第二総合評価スコアにそれぞれ与える影響度を評価軸毎に変更したうえで、評価分析データ記憶部に格納されている評価分析データ中の、各評価軸の第二集計スコアに基づき、評価対象の補正された第二総合評価スコアを算出し、補正された第二総合評価スコアを評価分析データ記憶部に格納することができ、
評価分析データ抽出部は、
・補正された第一総合評価スコア及び補正された第二総合評価スコアを、送受信部からネットワークを介して管理者端末に送信することができる、
［２４］の何れか一項に記載のオンラインサーバ。
［２６］
前記少なくとも一つの評価軸が、評価対象の成長性、評価対象の安定性、及び評価対象の社会貢献性よりなる群から選択される少なくとも一つを含む［１８］〜［２５］の何れか一項に記載の評価用オンラインサーバ。
［２７］
前記少なくとも一つの評価軸が、二つ以上の評価軸を含む［１８］〜［２６］の何れか一項に記載の評価用オンラインサーバ。
［２８］
評価分析データ抽出部は、評価者格付けデータ記憶部に格納されている評価者の説得力の大きさに関する格付けデータを評価者毎に抽出し、当該格付けデータを送受信部からネットワークを介して管理者端末に送信することができる［１８］〜［２７］の何れか一項に記載の評価用オンラインサーバ。
［２９］
評価者の説得力の大きさに関する格付けデータは、説得力の大きさに関する評価者間の相対的スコアを含む［１８］〜［２８］の何れか一項に記載の評価用オンラインサーバ。
［３０］
評価分析部は、
・判定データ記憶部に格納されている判定データ中の、選択式判定入力部に各判定者によって入力された評価者の説得力の大きさに関する判定と、評価データ記憶部に格納されている評価データ中の、当該判定者によって入力された評価対象に対する評価及び当該判定者から判定を受けた評価者によって入力された評価対象に対する評価の違いの大きさとに基づいて、当該説得力が大きいほど且つ当該評価の違いが大きいほど格付けが上位になるという条件で、判定を受けた各評価者の説明力の大きさを評価軸毎に格付けし、各評価者の識別子と関連付けて評価者の説明力の大きさに関する格付けデータとして評価者格付けデータ記憶部に格納することができ、
評価分析データ抽出部は、
・評価者格付けデータ記憶部に格納されている評価者の説明力の大きさに関する格付けデータを評価者毎に抽出し、当該格付けデータを送受信部からネットワークを介して管理者端末に送信することができる、
［１８］〜［２９］の何れか一項に記載の評価用オンラインサーバ。
［３１］
評価分析データ抽出部は、評価データ記憶部に格納されている、選択式評価入力部及び記述式コメント入力部に各評価者によって入力された評価を含む評価データを評価者毎に抽出し、当該評価データを送受信部からネットワークを介して管理者端末に送信することができる［１８］〜［３０］の何れか一項に記載の評価用オンラインサーバ。
［３２］
前記記憶部は、各判定者の識別子と関連付けて判定者の目利き力の大きさに関する格付けデータを格納するための判定者格付けデータ記憶部を有し、
評価分析部は、判定データ記憶部に格納されている判定データ中の、選択式判定入力部に各判定者によって入力された評価者の説得力の大きさに関する判定と、評価者格付けデータ記憶部に格納されている当該評価者の説得力の大きさに関する格付けとを対比し、両者の近似性が高いほど格付けが上位になるという条件で、各判定者の目利き力の大きさを評価軸毎に格付けし、各判定者の識別子と関連付けて判定者の目利き力の大きさに関する格付けデータとして判定者格付けデータ記憶部に格納することができ、
評価分析データ抽出部は、判定者格付けデータ記憶部に格納されている判定者の目利き力の大きさに関する格付けデータを判定者毎に抽出し、当該格付けデータを送受信部からネットワークを介して管理者端末に送信することができる、
［１８］〜［３１］の何れか一項に記載の評価用オンラインサーバ。
［３３］
第二書式データは、評価対象に対する再評価を評価軸毎に入力するための選択式評価再入力部を更に含み、判定データは、選択式評価再入力部に各判定者によって入力された評価対象に対する再評価を含む再評価データを更に含む［１８］〜［３２］の何れか一項に記載の評価用オンラインサーバ。
［３４］
評価分析部による、判定を受けた各評価者の説得力の大きさの評価軸毎の格付けは、判定データ記憶部に格納されている判定データ中の、選択式判定入力部に各判定者によって入力された評価者の説得力の大きさに関する判定と、選択式評価再入力部に各判定者によって入力された再評価とに基づいて行われる［３３］に記載の評価用オンラインサーバ。
［３５］
［１］〜［１７］の何れか一項に記載の評価方法をコンピュータに実行させるためのプログラム。
［３６］
［３５］に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の効果】
【００１１】
本発明の一実施態様によれば、各評価者は、評価対象に対して評価を実施する際、評価主体ではなく評価の内容そのものに基づいて説得力の高い評価者を判定するプロセスを経る。このため、評価者間のパワーバランスに左右されることなく、評価対象に対して客観性の高い評価を行うことができる。
【００１２】
本発明の一実施態様によれば、評価対象に対する評価が選択式評価と記述式評価の組み合わせで行われる。選択式評価によって評価対象に対する評価データが統計学的に分析しやすくなる。また、記述式評価によって評価者の考え方や評価の根拠を理解することができる。このため、記述式で評価することによって、評価者の説得力に関する格付けを容易に行うことができる。他人の考え方や評価根拠を知ることは、評価者間の情報の非対称性を排除する上でも有効である。そして、評価者による記述式評価は、説得力の大きさを格付けするための有用な情報となるところ、説得力の大きさが判定者によって選択式で判定される結果、説得力の大きさに関する格付けデータの統計学的な分析が容易となる。
【００１３】
上記の評価対象に対する評価データと説得力の大きさに関する格付けデータを組み合わせることで、客観的に説得力の高い評価者の評価が反映された、評価対象に対する全体評価を、統計学的に分析が容易な状態で得ることが可能となる。
【００１４】
本発明の一実施態様によれば、評価対象が複数の評価軸で評価されるので、評価対象に対する評価を評価軸毎に集計することができる。また、複数の評価軸の評価をまとめた総合評価を行うこともできる。
【００１５】
本発明の一実施態様によれば、総合評価を行う際、各評価軸のスコアが総合評価スコアに与える影響度を変更させることができる。このため、事案や評価目的に応じて柔軟な評価結果を得ることが可能である。
【００１６】
本発明の一実施態様によれば、説得力の大きさに関する格付けの高い評価者による評価対象に対する評価を、全体評価と比較することが可能になるので、評価対象に対する評価が変動するリスクを分析することができる。
【００１７】
本発明の一実施態様によれば、各評価者による評価対象に対する評価を、全体評価と比較することが可能になるので、目利き力の高い評価者を分析することができる。
【００１８】
本発明の一実施態様によれば、説得力の大きな評価者を簡単に把握することができ、また、その評価者が評価対象に対してどのような評価を行ったのかを簡単に把握することができる。
【００１９】
本発明の一実施態様によれば、説得力の大きさを判定する判定者の目利き力を測定することも可能である。
【００２０】
本発明の一実施態様によれば、他の評価者による評価対象に対する評価を確認した後に、評価対象を再評価することができる。そのため、評価対象に対する自己の評価が他の評価者による評価によって変化した場合に、他の評価者の説得力が高いことを示す根拠として利用できる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施態様に係るオンライン評価システムの全体構成の例を示す。
【図２】サーバ、投票者（評価者、判定者）端末、管理者端末、及びサーバ管理者端末の基本的なハードウェア構成例を示す。
【図３】サーバの機能ブロック図の一例を示す。
【図４】投票者端末に表示されるログイン画面の一例である。
【図５】投票者端末に表示される投票者用ページのメニュー画面の一例である。
【図６】管理者端末に表示される管理者用ページのメニュー画面の一例である。
【図７】管理者端末に表示される管理者用ページの評価セッションの条件設定画面の一例である。
【図８−１】投票者端末に表示される評価者用ページの評価セッションの画面の一例である。
【図８−２】投票者端末に表示される評価者用ページの評価セッションの画面の別例である。
【図９−１】投票者端末に表示される判定者用ページの判定セッションの画面の一例である。
【図９−２】投票者端末に表示される判定者用ページの判定セッションの画面の別例である。
【図１０】管理者端末で表示される評価分析データの一例である。
【図１１】管理者端末で表示される評価分析データの別例である。
【図１２】管理者端末で表示される評価分析データの更なる別例である。
【図１３】管理者端末で表示される評価分析データの更なる別例である。
【図１４】管理者端末で表示される評価分析データの更なる別例である。
【図１５】管理者端末で表示される評価分析データの更なる別例である。
【図１６】管理者端末で表示される評価分析データの更なる別例である。
【図１７】サーバ管理者端末に表示されるサーバ管理者用ページの管理者のアカウント情報入力画面の一例である。
【図１８】管理者がサーバへアクセスして評価者登録及び評価条件入力を行うところから、評価入力用画面が評価者端末に表示されるまでの処理の流れがフローチャートである。
【図１９】評価セッションの開始から終了までの処理の流れがフローチャートである。
【図２０】判定セッションの開始から終了までの処理の流れがフローチャートである。
【図２１】判定セッションの終了後、サーバ１１によって評価対象の評価分析を行い、その結果を管理者端末に送信するまでの処理の流れがフローチャートである。
【図２２】投票者アカウントファイルに含まれる一人の投票者のアカウント情報が記憶されたテーブルの例である。
【図２３】評価条件情報ファイル中の評価条件に関する情報が記憶されたテーブルの例である。
【図２４】評価データファイルに含まれる一つのテーブルの例である。
【図２５】判定データファイルに含まれる一つのテーブルの例である。
【図２６】評価者格付けデータファイルに含まれる一つのテーブルの例である。
【図２７】評価分析データファイルに含まれる一つのテーブルの例である。
【図２８】判定者格付けデータファイルに含まれる一つのテーブルの例である。
【図２９】管理者アカウントファイル中の管理者アカウント情報が記憶されたテーブルの例である。
【図３０】サーバ管理者アカウントファイル中の管理者アカウント情報が記憶されたテーブルの例である。
【図３１】判定進捗管理ファイルに含まれる進捗状況が記憶されたテーブルの例である。
【発明を実施するための形態】
【００２２】
以下、本発明に係るオンライン評価方法及び評価用オンラインサーバの実施形態について図面を参照しながら詳細に説明するが、本発明はこれらの実施形態に限定されるものではない。以下の説明において、評価対象を評価する者を「評価者」と呼び、評価者の説得力を判定する者を「判定者」と呼ぶ。評価者及び判定者を合わせて投票者と呼ぶ。オンライン評価に参加する投票者は評価セッションを行う際は評価者と呼ばれ、判定セッションを行う際は判定者と呼ばれる。「評価者端末」とは、評価セッションを行う際の評価者としての投票者の端末を指し、「判定者端末」とは、判定セッションを行う際の判定者としての投票者の端末を指す。
【００２３】
＜１．システム構成＞
図１に本実施形態に係るオンライン評価方法を行うためのシステムの全体構成を示す。本システムは、サーバ１１と、１番目からｎ番目までの複数の投票者（評価者、判定者）端末１２と、管理者端末１３と、サーバ管理者端末１５とを備え、投票者（評価者、判定者）端末１２、管理者端末１３及びサーバ管理者端末１５は、インターネット、専用回線又は公衆網といったコンピュータネットワーク１４を通じてサーバ１１と相互通信可能に接続されている。サーバ管理者端末１５は必ずしもサーバ１１と独立した端末として必要ではなく、サーバ管理者端末１５の機能はサーバ１１が担うこともできる。
【００２４】
［ネットワーク］
コンピュータネットワーク１４は限定的ではないが、例えば、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）やＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）など有線ネットワークとすることができ、ＭＩＭＯ（Ｍｕｌｔｉｐｌｅ−Ｉｎｐｕｔ  Ｍｕｌｔｉｐｌｅ−Ｏｕｔｐｕｔ）を用いたＷＬＡＮ（Ｗｉｒｅｌｅｓｓ  Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などの無線ネットワークとすることができる。又は、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）などの通信プロトコルを用いたインターネット（Ｉｎｔｅｒｎｅｔ）、又は、いわゆる無線ＬＡＮアクセスポイント（Ｗｉｒｅｌｅｓｓ  ＬＡＮ  Ａｃｃｅｓｓ  Ｐｏｉｎｔ）としての役割を果たす基地局（図示せず）などを介すものであってもよい。
【００２５】
サーバとはサーバ・コンピュータを意味し、１台又は複数台のコンピュータの協働により構成することができる。投票者端末１２及び管理者端末１３はブラウザを搭載したパーソナルコンピュータにより実現できるが、それに限られるものではなく、スマートフォン、タブレット、携帯電話、モバイル及びＰＤＡといった携帯型の端末、更にはデジタルテレビなどのコンピュータネットワークによる通信が可能な機器や装置類で構成することができる。
【００２６】
サーバ１１、投票者端末１２、管理者端末１３及びサーバ管理者端末１５の基本的なハードウェア構成は共通しており、図２に示すように、演算装置２０１、記憶装置２０２、出力装置２０３、入力装置２０４及び通信装置２０５を有するコンピュータ２００により実現可能である。また、必要に応じて乱数発生装置２０６及びタイマー２０７を備えてもよい。
【００２７】
演算装置２０１はコンピュータの全体を制御し、入力装置２０４で入力された命令、指示及びデータや、記憶装置２０２に格納されたデータ等を基にプログラムに従って演算処理を実行する装置及び回路等のことを指す。演算装置２０１としては例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等を採用することができる。
記憶装置２０２は各種データ、オペレーティングシステム（ＯＳ）、ネットワークアプリケーション（例：サーバ１１側のウェブサーバソフトウェア、投票者端末１２、管理者端末１３及びサーバ管理者端末１５のブラウザ）及び各種の演算処理を実行するためのプログラム等を記憶する装置、回路等のことを指し、例えば、主に半導体メモリが用いられる一次記憶装置、主にハードディスクドライブや半導体ディスクが用いられる二次記憶装置（補助記憶装置）、主にＣＤ−ＲＯＭドライブ等のリムーバブルメディアドライブが用いられるオフラインストレージ、テープライブラリ等、公知の記憶装置等を用いることができる。より具体的には、ハードディスクドライブ、フロッピー（登録商標）ディスクドライブ、ＺＩＰドライブ、テープストレージ等の磁気記録媒体を用いる磁気記憶装置の他に、レジスタ、キャッシュメモリ、ＲＯＭ、ＲＡＭ、フラッシュメモリ（例えばＵＳＢメモリやソリッドステートドライブ）、半導体ディスク（例えばＲＡＭディスク、仮想ディスク）などの半導体メモリを利用する記憶回路又は記憶装置や、ＣＤ、ＤＶＤ等の光学記録媒体、ＭＯ等の光磁気ディスクを利用する光学記憶装置、その他紙テープやパンチカード等を利用する記憶装置、ＰＲＡＭ（ｐｈａｓｅ  ｃｈａｎｇｅ  ＲＡＭ、相変化メモリ）と呼ばれる相変化記録技術を用いた記憶装置、ホログラフィックメモリ、３次元光メモリを用いた記憶装置、電荷の蓄積を分子レベルで行い情報を記憶する分子メモリを用いた記憶装置等を採用することができる。
出力装置２０３はデータ又は命令の出力を実現する装置、回路等のインターフェースであり、ＬＣＤや有機ＥＬ等のディスプレイの他、プリンター、スピーカ等を採用可能である。
入力装置２０４はデータ又は命令を演算装置２０１に与えるためのインターフェースであり、キーボード、テンキー、マウス等のポインティングデバイス、タッチパネル、リーダー（ＯＣＲ）、入力画面、マイク等の音声入力インターフェース等を採用可能である。
通信装置２０５は装置外部とのデータの送受信を実現する装置、回路であり、例えばＬＡＮポート、モデム、無線ＬＡＮ、ルーター等のネットワークに接続するためのインターフェースである。演算装置２０１の処理結果や記憶装置２０２に記憶する情報をコンピュータネットワーク１４を介して送受信することが可能である。
乱数発生装置２０６は乱数を提供することができる装置である。
タイマー２０７は時間を計測及び通知することができる装置である。
【００２８】
［サーバ］
サーバ１１の機能ブロック図の一例を図３に示す。サーバ１１は送受信部３１０と、制御部３２０と、記憶部３４０とを備える。
【００２９】
＜記憶部＞
サーバ１１の記憶部３４０には、投票者アカウントファイル３４１、評価条件情報ファイル３４２、評価データファイル３４４、判定データファイル３４５、評価者格付けデータファイル３４６、評価分析データファイル３４７、判定者格付けデータファイル３４８、管理者アカウントファイル３４９、サーバ管理者アカウントファイル３５０、判定進捗管理ファイル３５１を格納可能である。これらのファイルはデータの種類に応じて個別に用意してもよいし、複数種類のファイルをまとめて一つのファイルに格納してもよい。
【００３０】
また、サーバ１１の記憶部３４０には、少なくとも一つの評価軸に基づく選択式評価入力部、及び少なくとも一つの記述式コメント入力部を含む評価入力のための第一書式データを記憶するための第一書式データファイル３５２と、選択式判定入力部を含む、評価者の説得力の大きさに関する判定を評価軸毎に入力するための第二書式データを格納するための第二書式データファイル３５３とを格納可能である。これらのファイルはデータの種類に応じて個別に用意してもよいし、複数種類のデータをまとめて一つのファイルに格納してもよい。
【００３１】
（投票者アカウントファイル）
投票者アカウントファイル３４１には評価対象を評価する各投票者のアカウント情報を検索可能な状態で格納することができる。投票者アカウントファイル３４１に含まれる一人の投票者のアカウント情報が記憶されたテーブルの例を図２２に示す。当該テーブルには投票者の個人ＩＤ、投票者ＩＤ、当該投票者が所属する団体の団体ＩＤ、社員番号等の当該団体内でのＩＤ、氏名、氏名の送り仮名、メールアドレス、部署名、生年月日、郵便番号、住所、アカウント開設日時、ログインＰＷ、ステータスなどを記憶させることができる。ステータスとしては未評価、評価中、評価セッション終了などの評価の進捗状況に関する情報が挙げられる。
【００３２】
（評価条件情報ファイル）
評価条件情報ファイル３４２には、評価対象に評価を行う際の条件に関する情報を検索可能な状態で格納することができる。評価条件情報ファイル３４２中の評価条件に関する情報が記憶されたテーブルの例を図２３に示す。評価案件ＩＤ、評価セッション開始日時、評価セッション終了日時、評価対象に関する情報、評価の入力条件、評価制限時間、記述式評価の文字数制限、評価時の選択肢の数、ファイル添付可否、判定入力条件、判定時の選択肢の数、投票者への結果開示要否、一つの評価に対する判定者数、判定制限時間、評価軸１〜ｎ（ｎは１以上の整数）等の試験条件を記憶させることができる。一つの評価に対する判定者数は多い方が多くの判定者からの評価を集めることができるので客観性が高くなることから、複数であることが好ましく、５人以上であることがより好ましく、１０人以上であることが更により好ましいが、試験時間や判定者数を考慮して現実的な人数（例えば５〜２０人の範囲）を設定すればよい。
【００３３】
評価条件情報ファイル３４２には評価対象に関する情報を検索可能な状態で格納することができる。評価対象に関する情報は、評価対象を特定するのに足りる情報であれば特に制限はない。例えば企業価値を評価する場合、企業名、事業企画名、投資先名等が挙げられる。限定的ではないが、評価対象としては、その他、金融商品、ファッション及び音楽等が挙げられる。
【００３４】
評価の入力条件としては、限定的ではないが、例えば、文字数制限、言語、文字コード、ファイル添付の可否、記述式評価コメントの記載方法等が挙げられる。
【００３５】
評価軸は少なくとも一つ必要である。多方面から評価するため、評価軸は二つ以上とすることが好ましく、三つ以上とすることがより好ましい。評価軸としては、例えば企業価値を評価する場合、評価対象企業の成長性、評価対象企業の安定性、及び評価対象企業の社会貢献性よりなる群から選択される少なくとも一つを含むことができ、二つ以上を含むことが好ましく、三つすべてを含むことがより好ましい。また、個別項目を評価する評価軸に加えて、総合評価という評価軸を設けてもよい。これにより、評価者全員の個別項目の評価と総合評価の関係を重回帰分析することで、一般的に「どの評価軸が総合評価に最も影響を与えるのか」を可視化することも可能になる。但し、総合評価は後述するように、各評価軸における評価結果から算出することも可能である。
【００３６】
（評価データファイル）
評価データファイル３４４には評価者が送信した評価データを検索可能な状態で格納することができる。評価データファイル３４４に含まれる一つのテーブルの例を図２４に示す。当該テーブルには、評価データの識別子である評価ＩＤ、当該評価データを送信した評価者の識別子である投票者ＩＤ、選択式評価の内容、記述式評価の内容等を記憶させることができる。選択式評価の内容及び記述式評価の内容は評価軸毎に記憶させることができる。
【００３７】
評価対象に対する評価が、選択式評価及び記述式評価の両者を組み合わせて行われることで、選択式評価によって評価対象に対する評価データが統計学的に分析しやすくなると同時に、記述式評価によって評価者の考え方や評価の根拠を理解することができる。また、記述式評価が格納されていることによって、後段で実施する評価者の説得力に関する格付けを容易に行うことができる。選択式評価には、限定的ではないが、予め表示されている選択肢の一つを選択する方式、評価の大きさに関わる数値を入力する方式等が挙げられる。
【００３８】
（判定データファイル）
判定データファイル３４５には、判定者によって入力された評価者の説得力に対する判定を含む判定データを検索可能な状態で格納することができる。判定データファイル３４５に含まれる一つのテーブルの例を図２５に示す。当該テーブルには、当該判定データの識別子である判定ＩＤ、判定対象となる評価データの識別子である評価ＩＤ、判定者の投票者ＩＤ、及び判定者による判定値を記憶させることができる。例えば、判定値は「あまり納得できない」、「納得できる」、「非常に納得できる」といった三択式でもよく、「納得できる」又は「納得できないといった」二択式でもよく、所定の範囲内の点数で表現してもよい。判定値は先述した評価軸毎に格納することができる。
【００３９】
判定データは、選択式評価再入力部に各判定者によって入力された評価対象に対する再評価を含む再評価データを更に含んでもよい。
【００４０】
（評価者格付けデータファイル）
評価者格付けデータファイル３４６には評価者の説得力の大きさに関する格付けデータを検索可能な状態で格納することができる。評価者格付けデータファイル３４６に含まれる一つのテーブルの例を図２６に示す。当該テーブルには、評価者の識別子である投票者ＩＤ、評価者の説得力に関する格付けを格納することができる。格付けは、限定的ではないが、判定データファイルに格納されている判定データ中の、選択式判定入力部に各判定者によって入力された評価者の説得力の大きさに関する判定に基づいて、行われる。本明細書において、「格付け」という言葉は段階的及び連続的な格付けの両方を含む。例えば、他の判定者からの判定の重み付き平均を評価者毎に計算して、その割合の高い順に評価者を格付けする方法が挙げられる。重み付き平均としては、例えば、各判定者の評価者としての説得力スコアを算出の上、判定者全員の説得力スコアの和で除算し、総和が１になるように規格化したものを「重み」として、この「重み」で判定者の判定を重み付けして平均を算出する方法が挙げられる。また、説得力に関するスコアを選択肢毎に付与し、その合計スコア又は算術平均スコアを評価者毎に計算して、合計スコア又は算術平均スコアの高い順に評価者を格付けする方法が挙げられる。
【００４１】
（評価分析データファイル）
評価分析データファイル３４７には、評価対象に対する重み付け前評価分布自体及び／又は当該評価分布に基づいて算出される統計量、並びに、重み付け後評価分布自体及び／又は当該評価分布に基づいて算出される統計量を評価軸毎に検索可能な状態で格納することができる。重み付け前評価分布は、評価データファイルに格納されている評価データ中の、選択式評価入力部に各評価者によって入力された評価に基づいて算出可能である。重み付け後評価分布も、評価データファイルに格納されている評価データ中の、選択式評価入力部に各評価者によって入力された評価に基づいて算出される。但し、重み付け後評価分布は、説得力の大きさに関する格付けが上位の評価者による評価ほど、評価に大きな重み付けを付与することを条件に、評価者格付けデータファイルに格納されている各評価者の説得力の大きさに関する格付けを加味して、算出される。これにより、説得力が高いと判定された評価者の意向を適切に反映することができる。
【００４２】
評価者の説得力を評価結果に反映させるのではなく、評価者同士で相互に説得力を判定した後に、評価対象に対して再評価し、その結果を評価結果として提示する方法も考えられる。しかしながら、各評価者はプライドがあるため、他の評価者が自分より一枚上手であることを認めて自分の評価を変えることを躊躇する傾向にあることが経験的に分かっている。このため、本発明においては“説得力”というパラメータを使用することで、他の評価者による評価内容が優れている場合に、各評価者が他の評価者に素直に同調しやすい状況を作り出している。
【００４３】
評価分析データファイル３４７に含まれる一つのテーブルの例を図２７に示す。当該テーブルの重み付け前評価分布の欄には、選択式評価入力部に各評価者によって入力された評価値毎の評価者の人数を格納することができる。当該テーブルの重み付け後評価分布の欄には、説得力の大きさに関する格付けが上位の評価者による評価ほど、評価に大きな重み付けを付与した後の、選択式評価入力部に各評価者によって入力された評価値毎の評価者の人数を格納することができる。重み付けの具体例については後述する。重み付け前評価分布及び重み付け後評価分布は評価軸毎に格納することができる。
【００４４】
（判定者格付けデータファイル）
判定者格付けデータファイル３４８には、判定者の目利き力の大きさに関する格付けデータを検索可能な状態で格納することができる。判定者の目利き力というのは、判定者が他の評価者の説得力の大きさに関する判定を行う際の正確性を意味し、判定データファイルに格納されている判定データ中の、選択式判定入力部に各判定者によって入力された評価者の説得力の大きさに関する判定と、評価者格付けデータファイルに格納されている当該評価者の説得力の大きさに関する格付けとを対比し、両者の近似性が高いほど目利き力が上位に格付けされる。
【００４５】
判定者格付けデータファイル３４８に含まれる一つのテーブルの例を図２８に示す。当該テーブルには、判定者の識別子である投票者ＩＤ、他の評価者の説得力を判定する判定者としての目利き力の格付けを評価軸毎に格納することができる。
【００４６】
（管理者アカウントファイル）
管理者アカウントファイル３４９には管理者、例えば投票者が所属する企業等の団体のアカウント情報を検索可能な状態で格納することができる。管理者アカウントファイル３４９中の管理者アカウント情報が記憶されたテーブルの例を図２９に示す。管理者が企業等の団体の場合、当該テーブルには団体ＩＤ、団体名、団体名の送り仮名、団体の郵便番号及び住所、担当部署名、担当者の送り仮名、電話番号及びメールアドレス、アカウント開設日時、ログインＰＷ、ステータスなどを記憶させることができる。ステータスとしては「閉鎖済みアカウント」などの管理者アカウントの存続に関する情報が挙げられる。
【００４７】
（サーバ管理者アカウントファイル）
サーバ管理者アカウントファイル３５０にはサーバ管理者のアカウント情報を検索可能な状態で格納することができる。サーバ管理者アカウントファイル中の管理者アカウント情報が記憶されたテーブルの例を図３０に示す。当該テーブルにはサーバ管理者ＩＤ、パスワード、アカウント作成日時、権限レベルなどを記憶させることができる。
【００４８】
（判定進捗管理ファイル）
判定進捗管理ファイル３５１には、評価者の説得力を判定するセッションの進捗に関する情報を格納することができる。判定進捗管理ファイル３５１に含まれる進捗状況が記憶されたテーブルの例を図３１に示す。判定者の投票者ＩＤ、当該判定者が判定すべき評価ＩＤ、必要判定数、判定済み数等を記憶させることができる。
【００４９】
上記データファイルのテーブルにおいて、各フィールドに対してｉｎｔ（整数型）、ｔｅｘｔ（文字列型）、ｆｌｏａｔ（浮動小数点型）、ｃｒｙｐｔ（暗号化文字列型）及びｄａｔｅ（日付け時刻型）等のデータ型を採用しているが、データ型は図示の態様に限定されるものではなく、必要に応じて適宜変更することができる。
【００５０】
（第一書式データファイル）
第一書式データファイル３５２には、少なくとも一つの評価軸に基づく選択式評価入力部、及び少なくとも一つの記述式コメント入力部を含む評価入力のための第一書式データを格納することができる。先述したように、選択式評価によって評価対象に対する評価データが統計学的に分析しやすくなる。また、記述式評価があることで記述の自由度が高まるので、評価者の考え方や評価の根拠を深く理解することができる。このため、記述式で評価することによって、評価者の説得力に関する格付けを容易に行うことができる。他人の考え方や評価根拠を知ることは、評価者間の情報の非対称性を排除する上でも有効である。図８−１及び図８−２に、評価条件情報ファイルに格納されている評価対象に関する情報と、評価入力のための第一書式データに基づいて表示される画面の例を示す。図８−１は、評価対象企業の「質」を評価する場合の画面例である。図８−２は、評価対象企業の「価格」を評価する場合の画面例である。
【００５１】
（第二書式データファイル）
第二書式データファイル３５３には、選択式判定入力部を含む、説得力の大きさに関する判定を評価軸毎に入力するための第二書式データを格納することができる。先述したように、評価者による記述式評価は、説得力の大きさを格付けするための有用な情報となるところ、説得力の大きさが判定者によって選択式で判定される結果、説得力の大きさに関する格付けデータの統計学的な分析が容易となる。つまり、ここでは記述式の情報が、判定者による判定を経て、選択式の情報に変換される結果、統計学的な情報分析が容易となる。
【００５２】
第二書式データは、評価対象に対する再評価を評価軸毎に入力するための選択式評価再入力部を更に含んでもよい。他の評価者の評価及びコメントを読むことで、評価対象に対する自己の評価が変わる場合がある。この場合、他の評価者の説得力が大きかったことを意味するため、評価者の説得力の大きさを格付けする上で役立つ情報となる。
【００５３】
図９−１及び図９−２に、説得力の大きさに関する判定を評価軸毎に入力するための第二書式データに基づいて表示される画面の例を示す。図９−１は、評価対象企業の「質」を評価する場合の画面例である。図９−２は、評価対象企業の「価格」を評価する場合の画面例である。何れの場合も、選択式評価入力部及び記述式コメント入力部に評価者によって入力された評価対象に対する評価は伝えられるものの（ここでは、５段階評価及びコメント欄が表示される）、その評価がどの評価者によるものかは判定者には伝えられない。評価者の匿名性が確保されるため、判定者は評価に対して客観的な判定結果を下すことができる。
【００５４】
＜送受信部＞
サーバ１１は送受信部３１０を通じて、投票者（評価者、判定者）端末１２、管理者端末１３及びサーバ管理者端末１５とコンピュータネットワーク１４を介して種々のデータのやり取りを行うことができる。
例えば、送受信部３１０は、
管理者端末１３から評価セッション開始の指示を受信することができ、
評価対象に関する情報及び第一書式データを表示可能な形態で評価セッションの複数の評価者端末１２のそれぞれに送信することができ、
選択式評価入力部及び記述式コメント入力部に各評価者によって入力された評価対象に対する評価を含む評価データを、各評価者端末１２から受信することができ、
各判定者が判定すべき評価を含む評価データ及び第二書式データを表示可能な形態で、且つ、当該評価を入力した評価者を判定者が特定できない態様で、対応する判定者端末１２に送信することができ、
選択式判定入力部に各判定者によって入力された評価者の説得力の判定を含む判定データを、各判定者端末１２から受信することができ、
評価対象に対する種々の評価分析データを表示可能な形態で管理者端末１３に送信することができ、
評価者の目利き力の大きさに関する格付けデータを表示可能な態様で管理者端末１３に送信することができ、
評価者の説得力の大きさに関する格付けデータを表示可能な態様で管理者端末１３に送信することができ、
評価者の説明力の大きさに関する格付けデータを表示可能な態様で管理者端末１３に送信することができ、
選択式評価入力部及び記述式コメント入力部に各評価者によって入力された評価を含む評価データを表示可能な態様で管理者端末１３に送信することができる。
【００５５】
＜制御部＞
サーバ１１の制御部３２０は、認証処理部３２１、データ登録部３２２、評価入力用データ抽出部３２３ａ、判定入力用データ抽出部３２３ｂ、制限時間判断部３２４、判定者決定部３２５、評価分析部３２８、評価分析データ抽出部３３０、及び判定数判断部３３４を有しており、各部はそれぞれプログラムに基づいて所期の演算を行うことができる。
【００５６】
（認証処理部）
認証処理部３２１は、投票者端末１２からのアクセス要求に基づいて、投票者ＩＤ及びパスワードを認証することができる。例えば、投票者端末１２からのアクセス要求は、図４に示すような投票者端末１２のトップページの画面上に表示されている投票者ＩＤ及びパスワードを入力し、画面上の「Ｌｏｇ  Ｉｎ」ボタンをクリックすることで実行することができる。投票者の投票者ＩＤ及びパスワードはサーバ管理者から予め付与されたものを使用することができる。認証処理は、認証処理部３２１が、投票者アカウントファイル３４１を参照して、入力された投票者ＩＤ及びパスワードが、投票者アカウントファイル３４１内に記憶されているデータと一致するか否かを判別することで行うことができる。入力された投票者ＩＤ及びパスワードが記憶されているデータと一致する場合には、投票者用ページの画面データ（例えば図５に示すメニュー画面）を送受信部３１０から当該投票者端末１２に送信することができる。一致しない場合には、エラーメッセージを送信することができる。
【００５７】
また、認証処理部３２１は管理者端末１３からのアクセス要求に基づいて、団体ＩＤ及びパスワードを認証することができる。団体ＩＤ及びパスワードはサーバ管理者から予め付与されたものを使用することができる。認証処理は、認証処理部３２１が管理者アカウントファイル３４９を参照して、入力された団体ＩＤ及びパスワードが、管理者アカウントファイル３４９内に記憶されているデータと一致するか否かを判別することで行うことができる。入力された団体ＩＤ及びパスワードが記憶されているデータと一致する場合には、図６に示すような管理者用ページの画面データを、送受信部３１０から当該管理者端末１３に送信することができる。一致しない場合には、エラーメッセージを送信することができる。
【００５８】
また、認証処理部３２１はサーバ管理者端末１５からのアクセス要求に基づいて、サーバ管理者ＩＤ及びパスワードを認証することができる。サーバ管理者ＩＤ及びパスワードは自身で予め設定したものを使用することができる。認証処理は、認証処理部３２１がサーバ管理者アカウントファイル３５０を参照して、入力されたサーバ管理者ＩＤ及びパスワードが、サーバ管理者アカウントファイル３５０内に記憶されているデータと一致するか否かを判別することで行うことができる。入力されたサーバ管理者ＩＤ及びパスワードが記憶されているデータと一致する場合には、サーバ管理者用ページの画面データ（例えば図１７に記載の管理画面）を送受信部３１０から当該サーバ管理者端末１５に送信することができる。一致しない場合には、エラーメッセージを送信することができる。
【００５９】
（データ登録部）
データ登録部３２２は、投票者の登録を行うことができる。例えば、前記手順によって投票者が所属する企業等の管理者が管理者端末１３を利用してログインすると、管理者端末１３には図６に示すような管理者画面が表示される。管理者が、「投票者一括追加」又は「投票者個別追加」のボタンをクリックすると、図示しないが、管理者端末１３には投票者のアカウント情報を入力する画面が表示され、当該画面上で、投票者の個人ＩＤ、投票者ＩＤ、投票者ＩＤ当該評価者が所属する団体の団体ＩＤ、社員番号等の投票者アカウントファイル３４１に格納すべき所定の投票者アカウント情報を入力することができる。入力終了後、当該画面上で「保存」又は「確定」等の所定のボタンをクリックすることで、投票者アカウント情報をサーバ１１に送信することができる。別法として、管理者が、「ＣＳＶ  ｕｐｌｏａｄ一括」又は「ＣＳＶ  ｕｐｌｏａｄ個別」のボタンをクリックすると、管理者端末１３等に格納されているファイルを選択する画面が表示されるので、投票者アカウント情報が記憶されている所望のファイルを選択して「送信」等の所定のボタンをクリックすることで、投票者アカウント情報をサーバ１１に送信することができる。このようにして、サーバ１１に送信されてきた投票者のアカウント情報はサーバ１１の送受信部３１０で受信され、データ登録部３２２は受信した情報を投票者アカウントファイル３４１に格納することができる。
【００６０】
また、データ登録部３２２は、評価条件の登録を行うことができる。例えば、管理者が図６に示すような管理者画面上で、「評価条件設定」のボタンをクリックすると、図７に示すような評価セッションの条件設定画面に切り替わる。管理者は、当該画面上で、評価対象に関する情報、評価の入力条件に関する情報、評価セッションの日時、評価制限時間、記述的評価の文字数制限、評価時の選択肢の数、ファイル添付可否各評価軸の内容等の評価条件情報ファイル３４２に格納すべき情報を入力することができる。評価条件はあらかじめ用意されたテンプレートから選択できるようにしてもよい。入力終了後、管理者が「評価条件送信」のボタンをクリックすることで、評価条件をサーバ１１に送信することができる。このようにして、サーバ１１に送信されてきた評価条件情報はサーバ１１の送受信部３１０で受信され、データ登録部３２２は受信した情報を評価案件ＩＤと共に評価条件情報ファイル３４２に格納することができる。評価案件ＩＤはサーバ管理者が個別に手作業で付与してもよいし、サーバ１１が評価条件情報をデータ登録部３２２に格納するときに予め定めた規則に従って自動的に割り振ってもよい。管理者は、図示しない管理画面上で、判定入力条件、判定時の選択肢の数、判定制限時間等の判定セッションにおける条件設定も行うことが可能である。
【００６１】
また、データ登録部３２２は、管理者の登録を行うことができる。サーバ管理者（換言すれば、オンライン評価システム提供者）が、前記手順によってサーバ管理者端末１５を利用してログインすると、サーバ管理者端末１５には図１７の左側に示すようなサーバ管理者画面が表示される。サーバ管理者が設定したい項目に応じた「詳細」のボタンをクリックすると、サーバ管理者端末１５には図１７の右側に示すような団体の管理者のアカウント情報を入力する画面が表示され、当該画面上で、団体ＩＤ、担当者、連絡先等の管理者アカウントファイル３４９に格納すべき所定の管理者アカウント情報を入力することができる。入力終了後、「保存」のボタンをクリックすることで、管理者アカウント情報をサーバ１１に送信することができる。このようにして、サーバ１１に送信されてきた管理者のアカウント情報はサーバ１１の送受信部３１０で受信され、データ登録部３２２は受信した情報を管理者アカウントファイル３４９に格納することができる。
【００６２】
また、データ登録部３２２は、評価者による評価対象に対する評価を登録することができる。例えば、評価者端末１２に、図８−１又は図８−２に示すような評価セッションにおける評価者用画面が表示されているときに、評価者が選択式評価及び記述式評価を入力し、「送信」のボタンをクリックすると、当該評価者からの評価データがコンピュータネットワーク１４を介してサーバ１１に送信される。データ登録部３２２は、送受信部３１０で受信した評価データが、制限時間判断部３２４により制限時間内に受信したと判断された場合、当該評価データに評価ＩＤを付与し、当該評価データを送信した評価者の投票者ＩＤ等と関連付けて当該評価データを評価データファイル３４４に格納することができる。
【００６３】
また、データ登録部３２２は、判定者による判定の登録を行うことができる。例えば、判定者端末１２に、図９−１又は図９−２に示すような判定セッションにおける判定者用画面が表示されているときに、判定者が評価者に対する説得力の判定を評価軸毎に選択的に入力（例えば、判定者の納得度を示す「あまり納得できない」、「納得できる」、「非常に納得できる」の何れかのボタンをクリック）し、「送信」のボタンをクリックすると、当該判定者からの判定データがコンピュータネットワーク１４を介してサーバ１１に送信される。データ登録部３２２は、判定データを送受信部３１０が受信すると、当該判定データに判定ＩＤを付与し、当該判定データを送信した判定者の投票者ＩＤ及び評価ＩＤ等と関連付けて当該判定データを判定データファイル３４５に格納することができる。判定セッションにおいても、評価セッションと同様に、制限時間判断部３２４により制限時間内に受信したと判断された場合のみ、判定データを判定データファイル３４５に格納するようにしてもよい。
【００６４】
（評価入力用データ抽出部）
評価入力用データ抽出部３２３ａは、管理者端末１３から送信される評価セッション開始の指示を送受信部３１０が受信すると、第一書式データファイル３５２に格納されている第一書式データを、送受信部３１０からコンピュータネットワーク１４を介して表示可能な形態で各評価者端末１２に一斉又は個別に送信することができる。この際、評価入力用データ抽出部３２３ａは、評価条件情報ファイル３４２内の評価対象に関する情報等の所定の評価条件を第一書式データと共に表示可能な形態で送信することができる。更に、評価入力用データ抽出部３２３ａは、管理者端末１３から送信される評価セッション開始の指示を受信すると、投票者アカウントファイル３４１等においてステータスを評価セッションが開始したことを示すステータスに変更して格納することができる。
【００６５】
（制限時間判断部）
制限時間判断部３２４は、例えば評価セッションにおいて、評価者端末１２から送信された評価データを送受信部３１０で受信した時点が、サーバ１１に内蔵されたタイマー２０７を利用し、評価条件情報ファイル３４２に記憶されている評価案件ＩＤ、評価セッションの開始日時、評価セッションの終了日時、及び評価制限時間などの時間情報に基づいて、制限時間内にあるか否かを判断することができる。
【００６６】
判断の結果、制限時間内と判断した場合は、当該評価データに評価ＩＤを付与し、当該評価データを送信した評価者の投票者ＩＤ等と関連付けて評価データファイル３４４に格納するように、データ登録部３２２に指示することができる。
【００６７】
一方、判断の結果、制限時間を過ぎたと判断した場合は評価データの評価者端末１２からの送信又はサーバ１１での受信を拒否することができる。また、制限時間判断部３２４は評価者端末１２からの評価データの受信の有無にかかわらず、所定の制限時間を過ぎたと判断したときには、評価セッション終了の旨を表示可能な形態で送受信部３１０から評価者端末１２及び管理者端末１３に送信することができ、制限時間を超えて評価データを受信することを拒否することができる。また、評価セッションが終了した旨を記録するために、サーバ１１の制限時間判断部３２４は投票者アカウントファイル３４１等におけるステータスを「評価セッション終了」に変更することができる。また、制限時間判断部３２４は判定者決定部３２５に対して評価セッションが終了した旨を送信してもよい。
【００６８】
（判定者決定部）
投票者アカウントファイル３４１等におけるステータスが評価者全員で「評価セッション終了」になる、又は、制限時間判断部３２４から評価セッションが終了した旨を受信するなどによって、評価セッションが終了したことが確認された後、判定者決定部３２５は、管理者端末１３から送信される判定セッション開始の指示を送受信部３１０が受信すると、評価データファイル３４４に格納されている各評価データ中の評価者の説得力を判定すべき判定者を決定することができる。別法として、投票者アカウントファイル３４１等におけるステータスが評価者全員で「評価セッション終了」になる、又は、制限時間判断部３２４から評価セッションが終了した旨を受信するなどによって、評価セッションが終了したことが確認されると、判定者決定部３２５は管理者端末１３から送信される判定セッション開始の指示を待つことなく、自動的に評価データファイル３４４に格納されている各評価データ中の評価者の説得力を評価すべき判定者を決定することができるようにしてもよい。これにより、評価時間を節約することが可能となる。
【００６９】
判定者の決定方法については、予め定めた方法により行えばよく、特に制限はないが、例示的には、評価者全員が自分以外の評価者全員の説得力を判定するようにしてもよい（総当たり相互評価）。評価者の人数が多い場合は、評価者を複数のグループに分けて、グループごとに総当たりで相互評価してもよい。また、評価者の人数が多い場合は、各評価者の相互評価負担を抑えるため、サーバ１１に内蔵された乱数発生装置２０６より発生した乱数を取得し、当該乱数を用いて評価データファイル３４４に格納されている各評価データ中の評価者の説得力を判定すべき判定者を決定してもよい（ランダムシャッフル相互評価）。ランダムシャッフル相互評価を行う場合、判定者決定部３２５が各評価ＩＤに対して、評価者全員分の投票者ＩＤの中から乱数を利用して判定者の投票者ＩＤを判定に必要な人数分だけ割り当てることで、どの判定者がどの評価者の説得力を判定するかの決定を行うことができる。
【００７０】
各評価者の説得力を判定すべき判定者が決定されると、判定者決定部３２５は、判定者による判定の進捗状況を管理するための判定進捗管理ファイル３５１に、判定者毎に、判定ＩＤ、説得力を判定すべき評価ＩＤ、必要判定数、及び評価済み数などを関連付けて格納することができる。
【００７１】
判定者決定部３２５による判定者決定手順の一例を説明する。判定者決定部３２５は、評価者全員分の評価データの総数をカウントし、以下の式によって判定者一人当たりに配分される評価データの最大配分数を求めることができる。算出結果は繰り上げて整数にすることができる。
最大配分数＝（評価の総数）×（一つの評価に対する判定人数）／（全評価者数）
一つの評価に対して判定すべき判定者の人数は、評価条件情報ファイル３４２に記憶されている「一つの評価に対して割り当てる判定者の人数」に従うことができる。
【００７２】
判定者決定部３２５は、評価データファイル３４４を参照し、ある評価を送信した評価者の投票者ＩＤと、乱数によって選定された当該投票者による評価を判定すべき判定者の投票者ＩＤが一致した場合は、選定を取り消して乱数による選定を再度実施することが好ましい。また、判定者決定部３２５は、特定の投票者ＩＤを有する判定者が上記で求めた最大配分数を超えた回数選定された場合も、当該選定を取り消して乱数による選定を再度実施することが好ましい。判定者数が十分にいる場合、このようにして判定者を選定することにより、配分を一回又は複数回繰り返すことによって、全ての判定者が（最大配分数）個又は（最大配分数−１）個だけ判定すべき評価を配分されることが可能となる。
【００７３】
更に、判定者決定部３２５は、管理者端末１３から送信される判定セッション開始の指示を受信する等の適当なタイミングで、投票者アカウントファイル３４１等においてステータスを判定セッションが開始したことを示すステータスに変更して格納するように構成してもよい。
【００７４】
（判定入力用データ抽出部）
判定入力用データ抽出部３２３ｂは、判定者決定部３２５による、評価者の説得力を判定すべき判定者の決定に従い、各判定者が判定すべき評価を含む評価データを、判定進捗管理ファイル３５１に記憶されている評価ＩＤと判定者の投票者ＩＤに基づいて抽出すると共に、選択式判定入力部を含む説得力の大きさに関する判定を評価軸毎に入力するための第二書式データを第二書式データファイル３５３から抽出し、当該評価データ及び当該第二書式データを表示可能な形態で、しかしながら、当該評価を入力した評価者を判定者が特定できない態様で、送受信部からコンピュータネットワーク１４を介して対応する判定者端末１２に送信することができる。評価データの送信は各判定者が判定すべき分すべてを一斉に送信してもよく、分割して送信してもよい。
【００７５】
当該評価を入力した評価者を判定者が特定できない態様というのは、例えば、評価者の名前及び投票者ＩＤといった評価者の主体を特定可能な情報は判定者端末に送信されないという態様が挙げられる。
【００７６】
（判定数判断部）
サーバ１１の判定数判断部３３４は、判定者から評価者の説得力の大きさに関する判定データをサーバ１１が受信すると、判定進捗管理ファイル３５１に、当該判定を送信した判定者の投票者ＩＤと関連付けて判定済み数を一つ増やす。判定数判断部３３４は判定済み数と必要判定数を比較することで、当該判定者の判定セッションの進捗状況を把握可能である。評価データを分割して各判定者に送信する場合、判定数判断部３３４は、当該判定者が前記決定に従った必要判定数に達したか否かを判断し、必要判定数に達していないと判断した場合には、判定数判断部３３４は未判定分の評価データを、送受信部３１０からコンピュータネットワーク１４を介して第二書式データと共に表示可能な形態で、しかしながら、当該評価を入力した評価者を判定者が特定できない態様で、対応する各判定者端末１２に送信するよう指示することができる。判定数判断部３３４は、ある判定者の判定済み数が必要判定数に達したと判断した場合、判定セッション終了画面及び／又は判定セッションが終了したとの進捗情報を送受信部３１０から当該判定者の判定者端末１２及び管理者端末１３に送信することができる。この際、判定セッションが終了した旨を記録するために、判定数判断部３３４は投票者アカウントファイル３４１等におけるステータスを「判定セッション終了」に変更することができる。
【００７７】
（評価分析部）
＜重み付け前評価分布の算出＞
評価分析部３２８は、評価データファイル３４４に格納されている評価データ中の、選択式評価入力部に各評価者によって入力された評価に基づいて、評価対象に対する重み付け前評価分布を評価軸毎に算出し、重み付け前評価分布を評価軸毎に評価分析データファイル３４７に格納することができる。例えば、図２７に示すように、評価分析部３２８は、評価対象に対する評価の選択肢毎の投票数を計算し、評価分析データファイル３４７に格納することができる。更に、評価分析部３２８は、高評価になるほど大きな点数を付与することを条件として、各選択肢に予め定めた点数を与え、重み付け前評価分布に基づき、各種の統計量（例えば、算術平均値、合計値、変動係数、標準偏差等）を計算し、評価分析データファイル３４７に格納してもよい。一実施態様において、統計量に第一集計スコアを含めることができる。集計スコアとしては、算術平均値等の代表値が挙げられる。
【００７８】
＜説得力の大きさの算出＞
また、評価分析部３２８は、判定データファイル３４５に格納されている判定データ中の、選択式判定入力部に各判定者によって入力された評価者の説得力の大きさに関する判定に基づいて、判定を受けた各評価者の説得力の大きさを評価軸毎に格付けし、各評価者の投票者ＩＤと関連付けて評価者の説得力の大きさに関する格付けデータとして評価者格付けデータファイル３４６に格納することができる。
【００７９】
格付けの方法としては、例えば、図２６に示すように、評価分析部３２８は、評価者毎に、判定に関する選択肢毎の投票数を計算し、説得力が大きいほど大きな点数を付与することを条件として、各選択肢に予め定めた点数を与える。例えば、「あまり納得できない」、「納得できる」、「非常に納得できる」の三択とした場合、あまり納得できない＝１点、納得できる＝２点、非常に納得できる＝３点を付与することができる。評価分析部３２８は、また、説得力に関する点数の合計値又は算術平均値等の代表値に関する統計量を計算し、これを説得力に関する判定値として、各評価者の投票者ＩＤと関連付けて評価者格付けデータファイル３４６に格納することができる。また、評価分析部３２８は、説得力に関する判定値を評価者間で比較し、説得力に関する判定値が高い評価者ほど格付けが上位になることを条件に、各評価者の説得力に関する順位（格付け）を計算し、各評価者の投票者ＩＤと関連付けて評価者格付けデータファイル３４６に格納することができる。
【００８０】
評価者に対する格付けは各判定者の目利き力が分からない中で算出される。そのため、説得力の大きな評価者であったとしても、目利き力のある判定者と目利き力のない判定者によって説得力の大きさに関する判定結果が分かれる可能性がある。このため、すべての判定者からの判定を平等に扱うのではなく、判定に重み付けを与えることが好ましい。判定に重み付けを与える方法としては、評価分析部３２８が、選択式判定入力部に各判定者によって入力された評価者の説得力の大きさに関する判定に基づいて、判定を受けた各評価者の第一の説得力の大きさを評価軸毎に格付けし、各評価者の投票者ＩＤと関連付けて評価者の説得力の大きさに関する第一の格付けデータとして評価者格付けデータファイル３４６に格納するステップを実施した後、第一の説得力の大きさに関する格付けが上位の評価者による判定ほど、判定に大きな重み付けを付与することを条件に、選択式判定入力部に各判定者によって入力された評価者の説得力の大きさに関する判定、及び、評価者格付けデータファイル３４６に格納されている第一の格付けデータに基づいて、判定を受けた各評価者の第二の説得力の大きさを評価軸毎に格付けし、各評価者の投票者ＩＤと関連付けて評価者の説得力の大きさに関する第二の格付けデータとして評価者格付けデータファイル３４６に格納するステップを少なくとも一回行う方法が挙げられる。当該ステップを複数回繰り返す際、第ｎ回目の当該ステップにおいて、「第一の説得力」及び「第一の格付けデータ」とあるのは「第ｎの説得力」及び「第ｎの格付けデータ」と読み替えられ、「第二の説得力」及び「第二の格付けデータ」とあるのは「第ｎ＋１の説得力」及び「第ｎ＋１の格付けデータ」と読み替えられる（ここで、ｎは自然数）。判定に重み付けを付与する方法は、限定的ではないが、例えば、後述する「評価に重み付けを付与する方法」と同様の方法を採用することができる。
【００８１】
これは、説得力が大きいと判定された評価者は、判定者としての目利き力も高いとの仮定に基づく方法である。このようにして判定に重み付けを与えて説得力の大きさに対する判定を評価分析部３２８にて行い、得られた格付けに基づいて再び各評価者の説得力に関する順位（格付け）の補正を行うことを１回以上、好ましくは５回以上、より好ましくは１０回以上繰り返すことで、目利き力が高いと思われる判定者による判定を、各評価者の説得力に関する順位（格付け）に大きく反映させることができる。
【００８２】
また、評価分析部３２８は、判定を受けた各評価者の説得力の大きさの評価軸毎の格付けを、判定データファイル３４５に格納されている判定データ中の、選択式判定入力部に各判定者によって入力された評価者の説得力の大きさに関する判定に加えて、選択式評価再入力部に各判定者によって入力された評価対象に対する再評価を考慮して行ってもよい。例えば、判定者による評価対象に対する再評価が、当該判定者による評価対象に対する元の評価よりも判定対象の評価者による評価に近づいた場合に、当該評価者の説得力に関する点数を所定の点数だけ加算することができる。加算する点数は当該評価者に共感して評価を変えた判定者の人数に応じて変化させてもよい。
【００８３】
＜重み付け後評価分布の算出＞
また、評価分析部３２８は、説得力の大きさに関する格付けが上位の評価者による評価ほど、評価に大きな重み付けを付与することを条件に、評価データファイル３４４に格納されている評価データ中の、選択式評価入力部に各評価者によって入力された評価、及び、評価者格付けデータファイル３４６に格納されている各評価者の説得力の大きさに関する格付けに基づいて、評価対象に対する重み付け後評価分布を評価軸毎に算出し、重み付け後評価分布を評価軸毎に評価分析データファイル３４７に格納することができる。
【００８４】
評価に重み付けを付与する方法の一例を説明する。評価分析部３２８は、各評価軸について、評価者全体の説得力に関する点数の算術平均値に対する各評価者の説得力に関する点数の算術平均値の比を計算し、当該比に基づいて各評価者の重み付け係数（ｗｅｉｇｈｔ）を与える。当該比自体を重み付け係数とすることもできる。この場合、評価者全体の説得力に関する点数の算術平均値よりも説得力に関する点数の算術平均値が高い評価者は重み付けによって、一票の価値が大きくなる。一方、評価者全体の説得力に関する点数の算術平均値よりも説得力に関する点数の算術平均値が低い評価者は重み付けにより、一票の価値が小さくなる。各評価者に付与された重み付け係数は、例えば各評価者の投票者ＩＤと関連付けて評価者格付けデータファイル３４６に格納することができる。
【００８５】
評価に重み付けを付与する方法の別例を説明する。評価分析部３２８は、各評価軸について評価者全体をＮ人とすると、説得力に関する順位がｋ位（ｋ＝１〜Ｎ）の評価者による評価を以下の式で重み付ける。
ｗｅｉｇｈｔ＝１＋ｓｉｎ{（１−２×（ｋ−１）／（Ｎ−１））×ｐｉ／２}
このように重み付けることで、各評価軸について評価者毎に重み付け係数（ｗｅｉｇｈｔ）を付与することができる。この場合、当初、各評価者による評価は平等に一票分の投票価値を有していたが、最上位の評価者による評価は２票分の投票価値を有するように変化し、最下位の評価者による評価は０票分の投票価値を有するように変化する。上記とは異なる方法で重み付けしてもよい。
【００８６】
重み付け後、評価分析データファイル３４７に格納されている選択肢毎の投票数を重み付けの算出結果に従って修正することで、重み付け後評価分布を得る。例示的に、重み付け後の各選択肢の投票数は、当該選択肢に投票した評価者の重み合計Σ（ｗｅｉｇｈｔ）で表すことができる。重み合計というのは、当該選択肢に投票した評価者に付与された重み付け係数の合計である。
【００８７】
評価分析部３２８は、重み付け後評価分布に基づき、各種の統計量（例えば、算術平均値、合計値、変動係数、標準偏差等）を計算し、評価分析データファイル３４７に格納してもよい。例えば、評価分析部３２８は、第二集計スコア（例：算術平均値のような代表値）を計算し、評価分析データファイル３４７に格納してもよい。また、評価分析部３２８は、評価軸毎に、重み付け前の投票数に対する重み付け後の投票数の比（ここでは、「信頼スコア」と呼ぶ。）を計算し、評価分析データファイル３４７に格納してもよい。信頼スコアは、説得力が高いと判定されている評価者が評価対象に対して高い評価をしている場合に、高くなる。
【００８８】
＜スコア変動リスクの算出＞
評価分析部３２８は、説得力の大きさに関する格付けが高い評価者による評価ほど、スコア変動リスクを集計する際に大きな重み付けを付与することを条件に、評価データファイル３４４に格納されている評価データ中の、選択式評価入力部に各評価者によって入力された評価と評価分析データファイル３４７に格納されている評価分析データ中の第二集計スコアとの違いの大きさ、及び、評価者格付けデータファイル３４６に格納されている各評価者の説得力の大きさに関する格付けに基づいて、スコア変動リスクを評価軸毎に集計し、評価分析データファイル３４７に格納することができる。
【００８９】
スコア変動リスクが高いということは、評価対象に対する評価の乖離が、説得力の大きさに関する格付けが高い評価者と、評価者全体との間で大きいことを意味する。このため、再度評価対象に対する評価を実施すると、評価対象に対する評価が変わる可能性が高いといえる。
【００９０】
＜評価者としての目利き力の算出＞
評価分析部３２８は、評価データファイル３４４に格納されている評価データ中の、選択式評価入力部に各評価者によって入力された評価と、評価分析データファイル３４７に格納されている評価分析データ中の第二集計スコアとを対比し、両者の近似性が高いほど格付けが上位になるという条件で、各評価者の目利き力の大きさを評価軸毎に格付けし、各評価者の投票者ＩＤと関連付けて評価者の目利き力の大きさに関する格付けデータとして評価者格付けデータファイル３４６に格納することができる。評価分析部３２８が当該機能を有していることにより、評価対象を適正に評価する能力の高い人材を発掘することが可能となる。
【００９１】
＜総合評価スコアの算出＞
評価分析部３２８は、評価分析データファイル３４７に格納されている評価分析データ中の、評価軸毎の第一集計スコアに基づき、評価対象の第一総合評価スコアを算出し、第一総合評価スコアを評価分析データファイル３４７に格納することができる。例えば、第一総合評価スコアは評価軸毎の第一集計スコアの算術平均値又はこれに基づいた値とすることができ、評価軸毎の第一集計スコアの合計値又はこれに基づいた値とすることもできる。
【００９２】
また、評価分析部３２８は、評価分析データファイル３４７に格納されている評価分析データ中の、評価軸毎の第二集計スコアに基づき、評価対象の第二総合評価スコアを算出し、第二総合評価スコアを評価分析データファイルに格納することができる。例えば、第二総合評価スコアは評価軸毎の第二集計スコアの算術平均値又はこれに基づいた値とすることができ、評価軸毎の第二集計スコアの合計値又はこれに基づいた値とすることもできる。
【００９３】
総合評価スコアを算出する際、評価分析部３２８は、コンピュータネットワーク１４を介して管理者端末１３から、各評価軸の集計スコアが総合評価スコアに与える影響度を変更する指示を送受信部が受信すると、各評価軸の第一集計スコア及び第二集計スコアが総合評価スコアに与える影響を変更するように構成してもよい。各評価軸の集計スコアが総合評価スコアに与える影響は一定ではなく、事案や評価目的に応じて変動し得るところ、評価分析部３２８が当該機能を有することで、柔軟に評価対象に対する総合評価スコアを算出することができる。
【００９４】
例えば、評価分析部３２８は、
・前記影響度を変更する指示に応じて第一集計スコアが第一総合評価スコアにそれぞれ与える影響度を評価軸毎に変更したうえで、評価分析データファイル３４７に格納されている評価分析データ中の、各評価軸の第一集計スコアに基づき、評価対象の補正された第一総合評価スコアを算出し、補正された第一総合評価スコアを評価分析データファイル３４７に格納することができ、
・前記影響度を変更する指示に応じて第二集計スコアが第二総合評価スコアにそれぞれ与える影響度を評価軸毎に変更したうえで、評価分析データファイル３４７に格納されている評価分析データ中の、各評価軸の第二集計スコアに基づき、評価対象の補正された第二総合評価スコアを算出し、補正された第二総合評価スコアを評価分析データファイル３４７に格納することができる。
【００９５】
影響度は、例えば各評価軸に０％〜１００％の影響度を付与し、デフォルトはすべての評価軸の影響度を平等（例：１００％）にしておく。この場合、デフォルトの第一（第二）総合評価スコアは、例えば評価軸が三つで、評価軸毎の第一（第二）集計スコアをそれぞれＥ１、Ｅ２、Ｅ３とすると、算術平均値である（Ｅ１＋Ｅ２＋Ｅ３）／３とすることができる。これに対して、例えば三つの評価軸の影響度をそれぞれｘ％、ｙ％、ｚ％に変更すると、補正後の第一（第二）総合評価スコアは、（Ｅ１×ｘ％＋Ｅ２×ｙ％＋Ｅ３×ｚ％）／３とすることができる。
【００９６】
＜評価者の説明力の大きさの格付け＞
評価分析部３２８は、
（１）判定データファイル３４５に格納されている判定データ中の、選択式判定入力部に各判定者によって入力された評価者の説得力の大きさに関する判定、並びに
（２）評価データファイル３４４に格納されている評価データ中の、当該判定者によって入力された評価対象に対する評価及び当該判定者から判定を受けた評価者によって入力された評価対象に対する評価の違いの大きさ、
に基づいて、当該説得力が大きいほど且つ当該評価の違いが大きいほど格付けが上位になるという条件で、判定を受けた各評価者の説明力の大きさを評価軸毎に格付けし、各評価者の投票者ＩＤと関連付けて評価者の説明力の大きさに関する格付けデータとして評価者格付けデータファイル３４６に格納することができる。評価分析部３２８が当該機能を有していることにより、他者を共感させるコメントを書いたり、意見の異なる他者に気づきを与えたりするような説明力の大きい人材（インフルエンサー）を発掘することが可能となる。
【００９７】
評価者の他者への説明力の大きさを算出する方法の具体例を説明する。一実施態様において、評価者の他者への説明力の大きさは、評価軸毎に、（評価者の説得力スコア）×（判定者による評価対象に対する評価スコアと当該判定者から判定を受けた評価者によって入力された評価対象に対する評価スコアの差分）の加重平均で定義することができる。
【００９８】
＜判定者としての目利き力の算出＞
評価分析部３２８は、判定データファイル３４５に格納されている判定データ中の、選択式判定入力部に各判定者によって入力された評価者の説得力の大きさに関する判定と、評価者格付けデータファイル３４６に格納されている当該評価者の説得力の大きさに関する格付けとを対比し、両者の近似性が高いほど格付けが上位になるという条件で、各判定者の目利き力の大きさを評価軸毎に格付けし、各判定者の投票者ＩＤと関連付けて判定者の目利き力の大きさに関する格付けデータとして判定者格付けデータファイル３４８に格納することができる。評価分析部３２８が当該機能を有していることにより、他の評価者の説得力を適正に判定する能力の高い人材を発掘することが可能となる。
【００９９】
判定者としての目利き力を算出する方法の具体例を説明する。評価分析部３２８は、判定データファイル３４５に格納されている判定データ中の、選択式判定入力部に一人の判定者によって入力された評価者の説得力の大きさに関する判定（例えば、３段階評価の場合は１〜３の何れか）と、評価者格付けデータファイル３４６に格納されている当該評価者の説得力の大きさに関する格付け（例えば、第二の説得力の平均値）とを評価軸ｎについて対比し、その差を算出する。同様の方法で、評価分析部３２８は、当該判定者によって入力された評価者の説得力の大きさに関する判定すべてについて、対応する評価者の説得力の大きさに関する格付けとの差を評価軸ｎについて算出する。評価分析部３２８は、このようにして算出した差の和又は差の平均値を算出し、当該判定者の評価軸ｎについての目利き力の大きさを格付けするための基礎データを得る。評価分析部３２８は、他の判定者についても、同様の方法で、評価軸ｎについての目利き力の大きさを格付けするための基礎データを得る。
【０１００】
評価分析部３２８は、このようにして得られた差の和又は差の平均値が小さい判定者ほど格付けが上位になるという条件で、評価軸ｎについての各判定者の目利き力の大きさを格付けし、各判定者の投票者ＩＤと関連付けて判定者の目利き力の大きさに関する格付けデータとして判定者格付けデータファイル３４８に格納する。格付けは順位でもよいし、算出された差の和又は差の平均値自体、或いは、差の和又は差の平均値に基づいて算出されるパラメータによって表してもよい。
【０１０１】
（評価分析データ抽出部）
評価分析データ抽出部３３０は、評価分析データファイル３４７に格納されている、種々の評価分析データを抽出し、当該評価分析データを送受信部３１０からコンピュータネットワーク１４を介して表示可能な形態で管理者端末１３に送信することができる。評価分析データとしては、例示的には以下の一つ以上が挙げられる。
・重み付け前評価分布及び重み付け後評価分布
・第一集計スコア及び第二集計スコア
・スコア変動リスク
・信頼スコア
・第一総合評価スコア及び第二総合評価スコア
・補正された第一総合評価スコア及び補正された第二総合評価スコア
【０１０２】
図１０に、管理者端末１３で表示される評価分析データの一例を示す。評価対象を五段階評価で評価したときの、特定の評価軸についての各選択肢への投票数及び信頼スコアが示されている。図中、「案件名」とあるのは評価対象を意味する。案件が複数ある場合、「案件」をクリックすることで、プルダウンメニューが表示されるので、所望の案件を選択することができる。「多数決評価」とあるのは第一集計スコアを指し、「ＣＩ評価」とあるのは第二集計スコアを指す。「ＣＩ指数」とあるのは、（ＣＩ評価−多数決評価）／（評価分布の標準偏差）×１００（％）を意味する。ＣＩ指数は、評価者間で相互評価したことによる学習効果や投資収益率の指数として活用可能である。「投票数（信頼度調整前）」とあるのは、重み付け前評価分布を指す。「投票数（信頼度調整後）」とあるのは、重み付け後評価分布を指す。なお、ＣＩは「Ｃｏｎｓｅｎｓｕｓ  Ｉｎｔｅｌｌｉｇｅｎｃｅ」の略称である。
【０１０３】
図１１に、管理者端末１３で表示される評価分析データの別の例を示す。評価対象を三つの評価軸に基づき五段階評価したときの、総合評価についての各選択肢への投票数及び信頼スコアが示されている。「投票数（信頼度調整前）」とあるのは、三つの評価軸への単純合計投票数を表している。「投票数（信頼度調整後）」とあるのは、重み付け後評価分布に基づいた、三つの評価軸への合計投票数を表している。更に、画面上のスライダーを動かすことで、各評価軸が総合評価に与える影響度を調整することができるように構成されており、投票数（信頼度調整後）への影響をグラフ上でシミュレーション出来る。
【０１０４】
図１２に、管理者端末１３で表示される評価分析データの更に別の例を示す。二つの評価対象に対して、三つの評価軸に基づき五段階評価したときの、ＣＩ評価及びＣＲ（クリティカルリスク）が同一画面上に示されている。これにより、評価対象の比較が容易となる。なお、「ＣＲ（クリティカルリスク）」とは、スコア変動リスクを指す。
【０１０５】
図１３に、管理者端末１３で表示される評価分析データの更に別の例を示す。図１３には、各評価者による評価対象に対する記述式評価の内容（以下、「コメント」という。）の複数の評価軸の説得力を元に、各評価者によるコメントを視覚的に重ならないように分離できる新たな二軸に集約して、各評価者によるコメントをマッピングした例である。
【０１０６】
図１３のマップが示すことのできる情報の一例について説明する。図１３のマップには、３種類の塗りつぶし方法で表示されている×印がある。これは３人の評価者によるコメントのそれぞれの位置である。また、×印とそれぞれ同一種類の塗りつぶし方法で表示されている〇印がある。これはそれぞれの×印で表されているコメントに対する判定者による判定の位置である。同一種類の×印と〇印が近いほど、判定者の評価者としての説得力と評価者によるコメントの説得力が近いことを表している。また、〇印の大きさは、各判定者の評価者としての説得力の大きさを表しており、〇印の大きさが大きいほど判定者は評価者としての説得力が高いことを意味する。〇印同士の距離は、判定者同士の説得力の近さを表している。×印から離れている大きな〇印があるときは、大きなＣＲの存在が示唆される。
【０１０７】
図１３のマップが示すことのできる情報の別の一例について説明する。図１３のマップには、３種類の塗りつぶし方法で表示されている×印がある。これは３人の判定者の評価者としての説得力のそれぞれの位置である。また、×印とそれぞれ同一種類の塗りつぶし方法で表示されている〇印がある。これはそれぞれの×印で表されている判定者が判定した評価コメントの位置である。同一種類の×印と〇印が近いほど、ＣＲが小さいことを表している。また、〇印の大きさは、評価者によるコメントの説得力の大きさを表しており、〇印の大きさが大きいほど説得力が高いことを意味する。〇印同士の距離は、説得力の近さを表している。×印から離れている大きな〇印があるときは、大きなＣＲの存在が示唆される。
【０１０８】
また、評価分析データ抽出部３３０は、評価者格付けデータファイル３４６に格納されている種々の格付けデータを評価者毎に抽出し、当該格付けデータを送受信部３１０からコンピュータネットワーク１４を介して表示可能な形態で管理者端末１３に送信することができる。評価者格付けデータとしては、例示的には以下が挙げられる。
・評価者の説得力の大きさに関する格付けデータ
・評価者の他者への説明力の大きさに関する格付けデータ
・評価者の目利き力の大きさに関する格付けデータ
【０１０９】
評価者の説得力の大きさに関する格付けデータとしては、評価軸毎の説得力の大きさに関する評価者間の相対的スコア（説得力平均値、説得力の順位、重み付け係数など）が挙げられる。
【０１１０】
また、評価分析データ抽出部３３０は、判定者格付けデータファイル３４８に格納されている判定者の目利き力の大きさに関する格付けデータを判定者毎に抽出し、当該格付けデータを送受信部３１０からコンピュータネットワーク１４を介して表示可能な形態で管理者端末１３に送信することができる。
【０１１１】
また、評価分析データ抽出部３３０は、評価データファイル３４４に格納されている、選択式評価入力部及び記述式コメント入力部に各評価者によって入力された評価を含む評価データを評価者毎に抽出し、当該評価データを送受信部３１０からコンピュータネットワーク１４を介して表示可能な形態で管理者端末１３に送信することができる。
【０１１２】
図１４には、特定の案件についての特定の一人の評価者の、評価データ（「自分の評価」、「コメント」）、評価分析データ（「ＣＩ評価」）、評価者の説得力の大きさに関する格付けデータ（「説得力スコア」）、評価者の説明力の大きさに関する格付けデータ（「説明力スコア」）、及び評価者の目利き力の大きさに関する格付けデータ（「目利きスコア」）が、評価軸毎に、管理者端末１３の画面に同時に表示されている様子を示している。
【０１１３】
図１４においては、上記の種々のデータが一覧表形式で表示されているが、画面上の「グラフ」をクリックすることで、グラフ形式での表示に切り替えることが可能である。図１５には、グラフ形式に切り替えたときの画面例が示されている。また、図１６に示すように、同一の評価対象に対して複数回の評価を行った結果を同時にグラフ表示させてもよい。これにより、評価者の認知変化及び／又は外的要因変化による評価の変化を、時間という軸で見ることができる。
【０１１４】
［投票者（評価者、判定者）端末］
投票者端末１２も先述したコンピュータ２００のハードウェア構成を有することができる。投票者端末１２の記憶装置２０２には、ウェブブラウザ等のプログラムの他、ブラウザデータ、サーバ１１と送受信するデータ、例えば書式データ、評価データ、判定データ、評価者格付けデータ、判定者格付けデータ等のデータを一時的に又は非一時的に格納することができる。投票者端末１２は入力装置２０４により、ログイン情報の入力、評価の入力、判定の入力等を行うことができる。投票者端末１２は出力装置２０３により、ログイン画面、評価入力画面、判定入力画面、評価分析結果、格付け結果等を表示させることができる。投票者端末１２は通信装置２０５により、コンピュータネットワーク１４を介してサーバ１１と通信を行うことができる。例えば、サーバ１１からログイン画面、評価対象に関する情報、評価入力のための書式データ、判定入力のための書式データ及び評価分析データ等を受信することが可能であり、サーバ１１にログイン情報、評価データ、判定データ等を送信することが可能である。
【０１１５】
［管理者端末］
管理者端末１３も先述したコンピュータ２００のハードウェア構成を有することができる。管理者端末１３の記憶装置２０２には、ウェブブラウザ等のプログラムの他、ブラウザデータ、サーバ１１と送受信するデータ、例えば評価者アカウントデータ、評価の進捗データ、判定の進捗データ、評価条件データ、書式データ、評価データ、判定データ、評価者格付けデータ、判定者格付けデータ、評価分析データ等のデータを一時的に又は非一時的に格納することができる。管理者端末１３は入力装置２０４により、評価者アカウントデータの入力、ログイン情報の入力、評価開始の指示等を行うことができる。管理者端末１３は出力装置２０３により、評価者アカウントデータ、ログイン画面、評価条件入力画面、評価入力画面、判定入力画面、評価分析結果、格付け結果等を表示させることができる。管理者端末１３は通信装置２０５により、コンピュータネットワーク１４を介してサーバ１１と通信を行うことができる。管理者端末１３は、例えば、サーバ１１からログイン画面、評価者アカウントデータ、評価データ、判定データ、評価分析データ、格付けデータ、評価の進捗データ、判定の進捗データ等を受信することが可能であり、サーバ１１に評価条件データ（評価開始指示を含む）、投票者アカウントデータ及びログインデータを送信することが可能である。
【０１１６】
［サーバ管理者端末］
サーバ管理者端末１５も先述したコンピュータ２００のハードウェア構成を有することができる。サーバ管理者端末１５の記憶装置２０２には、ウェブブラウザ等のプログラムの他、ブラウザデータ、サーバ１１と送受信するデータ、例えば、サーバ管理者アカウントデータ、管理者アカウントデータ、投票者アカウントデータ、評価の進捗データ、判定の進捗データ、評価データ、判定データ、評価分析データ、格付けデータ等のデータを一時的に又は非一時的に格納することができる。サーバ管理者端末１５は入力装置２０４により、サーバ管理者アカウントデータの入力、管理者アカウントデータの入力、ログイン情報の入力、評価条件の入力等を行うことができる。サーバ管理者端末１５は出力装置２０３により、サーバ管理者アカウントデータ、管理者アカウントデータ、ログイン画面、投票者アカウントデータ、ログイン画面、評価条件入力画面、評価入力画面、判定入力画面、評価分析結果、格付け結果等を表示させることができる。サーバ管理者端末１５は通信装置２０５により、コンピュータネットワーク１４を介してサーバ１１と通信を行うことができる。例えば、サーバ１１からログイン画面、サーバ管理者アカウントデータ、管理者アカウントデータ、投票者アカウントデータ、評価データ、判定データ、評価分析データ、格付けデータ、評価の進捗データ、判定の進捗データ等を受信することが可能であり、サーバ１１にサーバ管理者アカウントデータ、管理者アカウントデータ、投票者アカウントデータ及びログイン情報を送信することが可能である。
【０１１７】
＜２．オンライン評価のフロー＞
次に、上述のシステムによるオンライン評価方法の手順についてフローチャートを参照しながら例示的に説明する。
【０１１８】
（２−１  評価セッション）
２−１−１  評価条件の設定から評価セッション開始まで
図１８には管理者がサーバへアクセスして投票者登録及び評価条件入力を行うところから、評価入力用画面が投票者端末１２に表示されるまでの処理の流れがフローチャートで記載されている。管理者が管理者端末１３から所定のＵＲＬを入力してサーバ１１にアクセスすると、サーバ１１はログイン画面を管理者端末１３に送信する（Ｓ１０１Ａ）。次いで、管理者が管理者端末１３にＩＤ及びパスワードを入力し、ログインボタンを押すと（Ｓ１０２Ａ）、サーバ１１の認証処理部３２１は、入力された団体ＩＤ及びパスワードが、管理者アカウントファイル３４９内に記憶されているデータと一致するか否かを判別し（Ｓ１０３Ａ）、一致する場合には、管理者用の管理画面を管理者端末１３に送信し（Ｓ１０４Ａ）、一致しない場合には、エラーメッセージを送信する（Ｓ１０５Ａ）。
【０１１９】
ログインが成功すると、管理者端末１３には管理画面（例：図６、図７）が表示される。管理者は管理画面上で、投票者情報及び評価条件を入力し、サーバ１１に送信する（Ｓ１０６Ａ）。サーバ１１は投票者情報及び評価条件に関するデータを受信すると、データ登録部３２２によって、当該データが投票者アカウントファイル３４１及び評価条件情報ファイル３４２にそれぞれ格納される（Ｓ１０７Ａ）。
【０１２０】
次いで、サーバ１１は登録された投票者情報及び評価条件を伝える管理画面を管理者端末１３に送信する（Ｓ１０８Ａ）。管理者は当該登録された情報を管理画面上で確認した上で、図６に示すような管理画面上で「評価セッション開始」のボタンをクリックすると、評価セッションの開始指示がサーバ１１に送信される（Ｓ１０９Ａ）。サーバ１１の評価入力用データ抽出部３２３ａは、管理者端末１３から送信される評価セッション開始の指示を受信すると、投票者アカウントファイル３４１等においてステータスを評価セッションが開始したことを示すステータスに変更して格納する（Ｓ１１０Ａ）。その他、投票者アカウントファイル３４１等に評価セッションの開始時刻を格納してもよい。投票者アカウントファイル３４１及び評価条件情報ファイル３４２など他のファイルにおいてもステータスのフィールドがあるときは、同様にステータスを変更する。
【０１２１】
なお、管理者からの評価セッション開始の指示は「評価セッション開始」のボタンをクリックするだけではなく、予め評価セッション開始日時を設定してサーバ１１に登録しておくことも含まれる。この場合、設定された日時にサーバ１１が自動的にＳ１１０Ａを実行する。
【０１２２】
次いで、サーバ１１の評価入力用データ抽出部３２３ａは、評価対象に関する情報等の評価条件を評価条件情報ファイル３４２から抽出すると共に、評価入力のための第一書式データを第一書式データファイル３５２から抽出し、各評価者端末１２に送信する（Ｓ１１１Ａ）。これにより、評価者端末１２には図８−１又は図８−２に示すような評価入力用画面が表示される（Ｓ１１２Ａ）。なお、フローチャートによる説明を省くが、評価者端末１２において評価入力用画面が表示されるためには、評価者端末１２も管理者端末１３と同様の手順で、ＩＤ及びパスワードの認証を受けてログインされている必要がある。
【０１２３】
２−１−２  評価セッションの開始から終了まで
図１９には評価セッションの開始から終了までの処理の流れがフローチャートで記載されている。先述した手順によって評価入力用画面が評価者端末１２で表示された後、評価者が当該画面上で評価条件に従って評価を入力し、「送信」のボタンをクリックする。すると、当該評価者端末１２から評価データがサーバ１１に送信される（Ｓ１１３Ａ）。サーバ１１が評価データを受信すると、評価データを制限時間内に受信したか否かが制限時間判断部３２４によって判断される（Ｓ１１４Ａ）。
【０１２４】
制限時間内であると判断された場合、サーバ１１のデータ登録部３２２は、当該評価データに評価ＩＤを付与し、当該評価データを送信した評価者の投票者ＩＤ等と関連付けて評価データファイル３４４に格納する（Ｓ１１５Ａ）。
【０１２５】
一方、サーバ１１の制限時間判断部３２４は、評価データを受信した場合、又は、評価者端末１２からの評価データの受信の有無にかかわらず制限時間を過ぎたと判断した場合、評価セッションが終了した旨を記録するために、投票者アカウントファイル３４１等におけるステータスを「評価セッション終了」に変更する（Ｓ１１６Ａ）。また、評価セッション終了画面又は評価セッションが終了したとの進捗情報を評価者端末１２及び管理者端末１３に送信する（Ｓ１１７Ａ）。これにより、評価者端末１２には評価セッションが終了した旨の画面が表示され（Ｓ１１８Ａ）、管理者端末１３には、例えば図６に示すような評価セッションが終了した旨の進捗情報が表示される（Ｓ１１９Ａ）。
【０１２６】
２−１−３  判定セッションの開始から終了まで
図２０には判定セッションの開始から終了までの処理の流れがフローチャートで記載されている。先述した手順によって評価セッションが終了した後、管理者は図６に示すような管理画面上で「判定セッション開始」のボタンをクリックすると、判定セッションの開始指示がサーバ１１に送信される（Ｓ２０１Ａ）。サーバ１１の判定者決定部３２５は、判定セッション開始の指示を受信すると、評価データファイル３４４に格納されている各評価データ中の評価者の説得力を判定すべき判定者を決定する（Ｓ２０２Ａ）。そして、判定者決定部３２５は、判定者による各判定の進捗状況を管理するための判定進捗管理ファイル３５１に、判定者毎に、判定者の投票者ＩＤ、判定すべき評価ＩＤ、及び必要判定数などを関連付けて格納する（Ｓ２０２Ａ）。
【０１２７】
なお、判定者決定部３２５による当該決定プロセスは、管理者端末１３からの判定セッション開始の指示に限られるものではなく、判定者決定プロセスを開始するための何らかの指示によって開始すればよい。例えば、当該決定プロセスは判定者を決定するためだけの指示を管理者端末１３から受信することで実行されてもよいし、その他の指示に合わせて実行されてもよいし、ステータスが評価セッション終了へと変更されることがトリガーとなって実行されてもよい。
【０１２８】
サーバ１１の判定入力用データ抽出部３２３ｂは、各判定者が説得力を判定すべき評価を含む評価データを、判定進捗管理ファイル３５１に格納されている評価ＩＤと判定者の投票者ＩＤとに基づいて抽出すると共に、選択式判定入力部を含む説得力の大きさに関する判定を評価軸毎に入力するための第二書式データを第二書式データファイル３５３から抽出し、対応する判定者端末１２に送信する（Ｓ２０３Ａ）。
【０１２９】
これにより、判定者端末１２では図９−１又は図９−２に記載されるような、説得力を判定すべき評価者による評価が、当該評価を入力した評価者を判定者が特定できない態様で、画面上に表示される（Ｓ２０４Ａ）。判定者は当該画面上で評価者の説得力に対する判定（例：「あまり納得できない」、「納得できる」、「非常に納得できる」）のボタンをクリックし、「送信」のボタンをクリックする。すると、当該判定者端末１２から判定データがサーバ１１に送信される（Ｓ２０５Ａ）。サーバ１１が判定データを受信すると、データ登録部３２２が当該判定データに判定ＩＤを付与し、当該判定データを送信した判定者の投票者ＩＤ及び評価ＩＤ等と関連付けて判定データファイル３４５に格納する（Ｓ２０６Ａ）。
【０１３０】
次いで、サーバ１１の判定数判断部３３４は判定者端末１２から一つの評価に対する判定を受信する度に、当該判定者の投票者ＩＤに対応した判定進捗管理ファイル３５１における判定済み数を一つ増やすとともに、当該評価者が前記決定に従った必要判定数に達したか否かを判断する（Ｓ２０７Ａ）。その結果、必要判定数に達していないと判断した場合には、判定入力用データ抽出部３２３ｂは、未判定分の判定データを、当該判定者が次に判定すべき評価を含む評価データを、判定進捗管理ファイル３５１に格納されている評価ＩＤと判定者の投票者ＩＤとに基づいて抽出すると共に、選択式判定入力部を含む説得力の大きさに関する判定を評価軸毎に入力するための第二書式データを第二書式データファイル３５３から抽出し、対応する各判定者端末１２に送信する（Ｓ２０３Ａ）。このようにして、必要判定数に達するまで説得力を判定すべき評価データは繰り返し判定者端末１２に送信される。
【０１３１】
別法として、サーバ１１はＳ２０３Ａにおいて、説得力を判定すべき評価データをまとめて各判定者端末１２に送信してもよい。また、判定者端末１２はＳ２０５Ａにおいて判定データをまとめてサーバ１１に送信可能にしてもよい。この場合、サーバ１１は当該判定者からのすべての判定データを一度に受信することができ、Ｓ２０３Ａを繰り返し行う必要はない。
【０１３２】
一方、サーバ１１の判定数判断部３３４は、必要判定数に達したと判断した場合、当該判定者の判定セッションが終了した旨を記録するために、投票者アカウントファイル３４１等におけるステータスを「判定セッション終了」に変更する（Ｓ２０８Ａ）。また、判定数判断部３３４は判定セッション終了画面又は判定セッションが終了したとの進捗情報を判定者端末１２及び管理者端末１３に送信する（Ｓ２０９Ａ）。判定者端末１２及び管理者端末１３において、当該画面又は進捗情報を受信すると、判定者端末１２には判定セッションが終了した旨の画面が表示され（Ｓ２１０Ａ）、管理者端末１３にも判定セッションが終了した旨の進捗情報が表示される（Ｓ２１１Ａ）。
【０１３３】
２−１−４  評価分析
図２１には判定セッションの終了後、サーバ１１によって評価対象の評価分析を行い、その結果を管理者端末１３に送信するまでの処理の流れがフローチャートで記載されている。先述した手順によって判定セッションが終了した後、管理者は管理者端末１３から評価分析開始の指示を、例えば管理者が図６に示すような管理画面上で「評価分析開始」のボタンをクリックすることにより、サーバ１１に送信する（Ｓ３０１Ａ）。なお、「評価分析開始」のボタンは判定セッション終了後に管理者の管理画面上に現れるようにしてもよい。次いで、当該指示をサーバ１１が受信すると、サーバ１１の評価分析部３２８は、評価データファイル３４４に格納されている評価データ、及び判定データファイル３４５に格納されている判定データ等に基づき、例えば以下のような評価分析データを生成する（Ｓ３０２Ａ）。
・重み付け前評価分布及び重み付け後評価分布
・第一集計スコア及び第二集計スコア
・スコア変動リスク
・信頼スコア
・第一総合評価スコア及び第二総合評価スコア
・補正された第一総合評価スコア及び補正された第二総合評価スコア
・評価者の説得力の大きさに関する格付けデータ
・評価者の他者への説明力の大きさに関する格付けデータ
・評価者の目利き力の大きさに関する格付けデータ
【０１３４】
評価対象に対する評価分析結果を含む評価分析データは、評価分析データファイル３４７、評価者格付けデータファイル３４６、判定者格付けデータファイル３４８にデータの種類に応じて格納される（Ｓ３０３Ａ）。サーバ１１の評価分析データ抽出部３３０は評価分析データを抽出し、管理者端末１３に送信する（Ｓ３０４Ａ）。評価分析データは、管理者端末１３に加えて、投票者端末１２に送信してもよい。投票者端末１２に送信する評価分析データは、管理者が予め設定することができる。評価分析データを受信すると、管理者端末１３の画面上には、評価分析データが表示される（Ｓ３０５Ａ）。
【符号の説明】
【０１３５】
１１  サーバ
１２  投票者（評価者、判定者）端末
１３  管理者端末
１４  コンピュータネットワーク
１５  サーバ管理者端末
２０５  通信装置
２００  コンピュータ
２０１  演算装置
２０２  記憶装置
２０３  出力装置
２０４  入力装置
２０５  通信装置
２０６  乱数発生装置
２０７  タイマー
３１０  送受信部
３２０  制御部
３２１  認証処理部
３２２  データ登録部
３２３ａ  評価入力用データ抽出部
３２３ｂ  判定入力用データ抽出部
３２４  制限時間判断部
３２５  判定者決定部
３２８  評価分析部
３３０  評価分析データ抽出部
３３４  判定数判断部
３４０  記憶部
３４１  投票者アカウントファイル
３４２  評価条件情報ファイル
３４４  評価データファイル
３４５  判定データファイル
３４６  評価者格付けデータファイル
３４７  評価分析データファイル
３４８  判定者格付けデータファイル
３４９  管理者アカウントファイル
３５０  サーバ管理者アカウントファイル
３５１  判定進捗管理ファイル
３５２  第一書式データファイル
３５３  第二書式データファイル
【要約】
【課題】評価者間のパワーバランスに左右されない客観性の高い事物のオンライン評価方法を提供する。
【解決手段】評価対象に対する評価者による評価をネットワークを介して実施し、得られた評価データを識別子を用いてサーバ内に格納する。各評価者の説得力の大きさに関する判定者による判定を、ネットワークを介して評価者が特定できない態様で実施し、得られた判定データを識別子を用いてサーバ内に格納する。判定データに基づいて評価者の説得力の大きさを格付けし、識別子を用いてサーバ内に格納する。説得力の大きさに関する格付けが上位の評価者による評価ほど、評価に大きな重み付けを付与することを条件に、サーバに格納されている各評価者による評価、及び、各評価者の説得力の大きさに関する格付けに基づいて、評価対象に対する重み付け後評価分布を算出し、サーバ内に格納する。
【選択図】図３【図１】
0006856800.tif 000002
【図２】
0006856800.tif 000003
【図３】
0006856800.tif 000004
【図４】
0006856800.tif 000005
【図５】
0006856800.tif 000006
【図６】
0006856800.tif 000007
【図７】
0006856800.tif 000008
【図８−１】
0006856800.tif 000009
【図８−２】
0006856800.tif 000010
【図９−１】
0006856800.tif 000011
【図９−２】
0006856800.tif 000012
【図１０】
0006856800.tif 000013
【図１１】
0006856800.tif 000014
【図１２】
0006856800.tif 000015
【図１３】
0006856800.tif 000016
【図１４】
0006856800.tif 000017
【図１５】
0006856800.tif 000018
【図１６】
0006856800.tif 000019
【図１７】
0006856800.tif 000020
【図１８】
0006856800.tif 000021
【図１９】
0006856800.tif 000022
【図２０】
0006856800.tif 000023
【図２１】
0006856800.tif 000024
【図２２】
0006856800.tif 000025
【図２３】
0006856800.tif 000026
【図２４】
0006856800.tif 000027
【図２５】
0006856800.tif 000028
【図２６】
0006856800.tif 000029
【図２７】
0006856800.tif 000030
【図２８】
0006856800.tif 000031
【図２９】
0006856800.tif 000032
【図３０】
0006856800.tif 000033
【図３１】
0006856800.tif 000034