(57)【特許請求の範囲】
【請求項１】
ネットワーク環境でコンテンツ評価サーバを用いたコンテンツ評価方法において、
（ａ）端末から、コンテンツと、評価等級情報を含む評価者選択情報を含むコンテンツタグとを受信して格納するステップと、
（ｂ）評価等級情報による評価者等級情報を含む、評価者の評価者タグと前記コンテンツタグとを互いに比較し、前記評価者選択情報に対応する前記評価者等級情報を有する評価者を選択するステップと、
（ｃ）選択された前記評価者によって評価された前記コンテンツの評価結果を評価者端末から受信するステップと、
（ｄ）前記コンテンツの前記評価結果を用いて前記コンテンツが選択されたか否かを決定するステップと、
（ｅ）前記（ｄ）ステップにおいて、前記コンテンツが選択された場合、選択された前記評価者の前記評価等級情報の前記評価等級よりも次上位評価者等級が存在するかを判断するステップと、
（ｆ）前記次上位評価者等級が存在する場合、選択された前記コンテンツの前記評価等級情報を前記次上位評価者等級に対応するように修正し、前記（ｂ）ステップから前記（ｅ）ステップまで再び行うステップと、
を含む、コンテンツ評価方法。
【請求項２】
前記（ｄ）ステップにおいて、前記コンテンツが選択されていない場合、又は前記（ｅ）ステップにおいて、前記次上位評価者等級が存在しない場合には前記コンテンツの評価を終了する、請求項１に記載のコンテンツ評価方法。
【請求項３】
前記（ａ）ステップにおいて、前記評価者選択情報は、評価者選択のための少なくとも１つの追加的な特徴情報をさらに含み、前記（ｂ）ステップにおいて、前記評価者の選択は、前記少なくとも１つの特徴情報を用いて行われる、請求項１に記載のコンテンツ評価方法。
【請求項４】
前記（ａ）ステップにおいて、前記評価者選択情報は、評価者選択のための少なくとも１つの特徴情報をさらに含み、前記（ｂ）ステップにおいて、前記評価者の選択は前記評価者タグと前記少なくとも１つの特徴情報を比較し、前記評価者タグと前記少なくとも１つの特徴情報との間のマッチング率を算出し、前記マッチング率に基づいて前記評価者を選択することによって行われる、請求項１に記載のコンテンツ評価方法。
【請求項５】
前記評価者等級は、前記評価者の評価回数及び評価品質のいずれか１つ以上を用いて算出された評価者点数によって変更される、請求項１に記載のコンテンツ評価方法。
【請求項６】
前記（ｄ）ステップにおいて、前記選択は、前記評価結果と前記コンテンツの再生回数、前記コンテンツの好感度情報及び前記コンテンツを評価した評価者数のうち少なくともいずれか１つによって行われる、請求項１に記載のコンテンツ評価方法。
【請求項７】
前記（ｄ）ステップにおいて、前記選択は、前記評価結果が閾値又は順位によって決定された基準を満足するか否かを評価することによって行われる、請求項１に記載のコンテンツ評価方法。
【請求項８】
前記評価者等級は地域等級に区分される、請求項１に記載のコンテンツ評価方法。
【請求項９】
前記コンテンツは、複数のコンテンツを含む及び／又は前記評価者は複数の評価者を含む、請求項１に記載のコンテンツ評価方法。
【請求項１０】
ネットワーク環境でコンテンツ評価を行うためのコンテンツ評価サーバにおいて、
（ｉ）コンテンツの評価手続により、評価等級情報を含む評価者選択情報を含むコンテンツタグと、評価者等級情報を含む評価者タグとを比較し、前記評価者選択情報に対応する前記評価者等級情報を有する評価者を選択し、（ｉｉ）選択された前記評価者によって評価された前記コンテンツの評価結果を用いて前記コンテンツが選択されたか否かを判断するための評価運営部と、
端末から前記コンテンツ及び前記コンテンツタグを受信して格納すること、前記評価者タグを格納すること、及び前記評価者から実行された前記評価結果を受信して格納することのうち少なくとも１つ以上を行うためのコンテンツ評価ＤＢと、
を含み、
前記評価運営部は、
（ｉｉｉ）前記（ｉｉ）ステップで前記コンテンツが選択された場合、前記評価者等級の次上位評価者等級が存在するかを判断し、
（ｉｖ）前記次上位評価者等級が存在する場合、選択された前記コンテンツの前記評価等級情報を前記次上位評価者等級に対応するように修正し、次上位評価等級のために前記（ｉ）ステップから前記（ｉｉ）ステップを繰り返す、
コンテンツ評価サーバ。
【請求項１１】
前記評価結果を用いて前記評価者の評価品質を算出し、算出された前記評価品質を用いて前記評価者の等級を変更するための評価管理部をさらに含む、請求項１０に記載のコンテンツ評価サーバ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワーク環境におけるコンテンツ評価サーバ及びこれを用いたコンテンツ評価方法に関する。
【背景技術】
【０００２】
以前から大衆に人気のある歌手又は俳優になるために一般人の努力が続いてきた。このような歌手又は俳優になるためには、ドラマ、映画などの製造会社で主管しているオーディションに参加することによって機会が与えられる。
【０００３】
従来のオーディション評価は、少数の特定人あるいは専門家によって行われてきた。
【０００４】
最近になって、複数の一般人たちが歌手又は俳優になるためのオーディションのサポートが盛んになっている。このような大衆文化の成長によって、ＴＶなどの媒体を介してオーディション関連の番組が人気を得て、オーディション番組により歌手又は俳優などにデビューする事例が多く発生している。
【０００５】
さらに、従来のＴＶオーディション番組などは、評価ステップごとにコンテンツを新しく製造し、各評価ステップに新しいコンテンツを提供して審査されることから、数個のコンテンツを製造しなければならない時間的、費用的な問題があった。
【０００６】
従来のＴＶオーディション番組は、一般人が制限的にコンテンツ評価に参加して、これにより一般人が行った評価結果も制限的に適用される。
【０００７】
韓国公開特許公報第１０−２０００−００５４６６２号（２０００．０９．０５）は、「インターネット及びカラオケを通したオーディション及びその管理方法」に関するものである。従来のカラオケを加盟店としてカラオケで実行されたオーディション映像をインターネットウェブサイトが受け付けると、一般のネットユーザと専門審査委員から構成された評価者を介してオーディション評価が実行され、実行されたオーディションにより芸能企画の会社などのスカウターがオーディション評価により該当のオーディション参加者をスカウトすることのできる技術である。
【０００８】
しかし、従来技術の最終目的は専門芸能人のスカウトであり、そのために専門審査委員を構成しなければならない問題がある。また、オーディション審査のための専門審査委員は、該当のオーディション遂行機関の基準により選別されており、専門審査委員の専門性、客観性が多少欠如する問題があった。
【０００９】
従来におけるオンラインオーディション番組は、一般のネットユーザも評価に参加するが、コンテンツに対応して選択された評価者ではない不特定ネットユーザが別途の選択基準なしで不特定ネットユーザが評価者として参加するというレベルであった。
【００１０】
また、最近の動画共有サイトであるユーチューブ（ＹｏｕＴｕｂｅ）を介して様々な特技を有する一般人が自身の特技を撮影した動画であるＵＣＣ（User Created Contents：ユーザ制作コンテンツ）を公開しているが、該当サイトは動画を公開及び共有するだけであり、選別的に選択されたネットユーザが掲載された動画を評価することはない。
【発明の概要】
【発明が解決しようとする課題】
【００１１】
上記のような従来技術の問題点を解決するために案出された本発明は、ネットワーク環境でコンテンツ評価サーバを用いたコンテンツ評価方法を提供することを目的とする。
【００１２】
また、本発明は、ネットワーク環境でコンテンツ評価を行うためのコンテンツ評価サーバを提供することを他の目的とする。
【課題を解決するための手段】
【００１３】
本発明の前記目的は、ネットワーク環境でコンテンツ評価サーバを用いたコンテンツ評価方法において、（ａ）端末からコンテンツ及びコンテンツタグ（前記コンテンツタグは評価等級情報を含む評価者選択情報を含む）を受信して格納するステップと、（ｂ）評価者の評価者タグ（評価等級情報による評価者等級情報を含む）と前記コンテンツタグとを互いに比較し、前記評価者選択情報に対応する前記評価者等級情報を有する評価者を選択するステップと、（ｃ）選択された前記評価者によって評価された前記コンテンツの評価結果を評価者端末から受信するステップと、（ｄ）前記コンテンツの前記評価結果を用いて前記コンテンツが選択されたかを決定するステップと、を含んで行われるコンテンツ評価方法によって達成される。
【００１４】
本発明の前記他の目的は、ネットワーク環境でコンテンツ評価を行うためのコンテンツ評価サーバにおいて、（ｉ）コンテンツの評価手続によりコンテンツタグ（評価者選択情報を含む）と評価者タグ（評価者等級情報を含む）とを比較し、前記評価者選択情報に対応する評価者等級の評価者を選択し（前記評価者選択情報は評価等級情報を含む）、（ｉｉ）選択された評価者による前記コンテンツの評価結果を用いて前記コンテンツの選択可否を判断するための評価運営部と、端末からコンテンツ及びコンテンツタグを受信して格納したり、前記評価者タグを格納したり、又は前記評価者から実行された前記評価結果を受信して格納したりすることのうち少なくともいずれか１つ以上を行うためのコンテンツ評価ＤＢとを含むコンテンツ評価サーバによって達成される。
【発明の効果】
【００１５】
本発明のネットワーク環境におけるコンテンツ評価サーバ及びこれを用いたコンテンツ評価方法は、一般人が生成したコンテンツをインターネットに公開し、これを一般人が該当コンテンツの評価を実行可能にするコンテンツ評価サーバを提供することで、申込者と評価者が互いに楽しみや面白さなどを感じる効果がある。
【００１６】
また、本発明は、コンテンツ評価を申し込む申込者のコンテンツタグとコンテンツを評価する評価者タグとを互いに比較し、コンテンツタグに対応する評価者がコンテンツの評価を行うことで、コンテンツが互いに関連のある評価者に評価を受けることができ、より信頼性のある評価が行われるという他の効果がある。
【００１７】
また、本発明は、コンテンツタグと評価者タグとの比較によって対応する評価者のうちマッチング度（マッチング率、マッチング順位など）によって評価者を選択できる範囲を調整して評価に参加する評価者数を調整できる更なる効果がある。
【００１８】
また、本発明は、最初生成された同一のコンテンツを用いて各評価ステップで評価が実行されるため、コンテンツを複数生成しなければならない時間的、費用的な問題を解決できる更なる効果がある。
【００１９】
また、本発明は、各評価ステップにより異なる評価者が評価を行うことができる。ここで、評価者による同一コンテンツの反復的な評価を防止することで、評価の客観性を向上させ得る更なる効果がある。
【００２０】
また、本発明は、専門家ではない一般人から構成された評価者がコンテンツを評価した評価回数、又は評価品質などのコンテンツ評価経験を評価者等級の分類基準にすることによって、コンテンツ評価の公正性及び客観性を向上させ得る更なる効果がある。
【００２１】
また、本発明は、評価者がコンテンツを評価することによって生成される評価者スコア（評価品質、評価回数など）を基準として評価者等級を上方調整するため、評価者が評価者等級の向上のためにより自発的に公正にコンテンツを評価できる更なる効果がある。
【００２２】
また、本発明は、評価者等級内で評価者を複数のグループに分類する。ここで、コンテンツがグループごとに分配される効果がある。また、各グループごとに評価者が評価すべきコンテンツ数が限定されているため、評価がより効率かつ迅速に行われる更なる効果がある。
【００２３】
また、本発明は、様々な職業、特技、専攻などを保有している一般人の評価者が参加するため、いずれのジャンルのコンテンツでも評価できる更なる効果がある。
【図面の簡単な説明】
【００２４】
【図１】本発明に係るコンテンツ評価システムを示すための全体構成図である。
【図２】本発明に係るコンテンツ評価サーバを示すための構成図である。
【図３】本発明の第１実施形態によりコンテンツ評価を行うフローチャートである。
【図４】本発明の第１実施形態による評価者等級を示すための例示図である。
【図５】本発明の第１実施形態によるコンテンツ選択を示すための例示図である。
【発明を実施するための形態】
【００２５】
本明細書及び請求の範囲に使用される用語や単語は、通常的かつ辞典的な意味に限定して解釈されることなく、発明者は自身の発明を最善の方法で説明するために用語の概念を適切に定義するという原則に立って、本発明の技術的な思想に適する意味と概念として解釈されなければならない。
【００２６】
したがって、本明細書に記載された実施形態及び図面に示す構成は、本発明の最も好ましい一実施形態に過ぎず、本発明の技術的な思想を全て代弁するものではないため、本出願の時点でこれらに代替可能な様々な均等物及び変形例があり得ることを理解しなければならない。
【００２７】
また、明細書の全体である部分がある構成要素を「含む」とするとき、これは特に反対となる記載がない限り他の構成要素を除くのではなく、他の構成要素をさらに含むことを意味する。また、明細書に記載された「〜部材」、「〜部」、「〜サーバ」、「〜システム」などの用語は少なくとも１つの機能や動作を処理する単位を意味し、これはハードウェアやソフトウェア又はハードウェア及びソフトウェアの結合で実現されてもよく、１つの装置又はそれぞれ異なる装置に含まれてもよい。
【００２８】
以下、添付の本発明の好適な実施形態について詳細に説明する。
【００２９】
図１は、本発明に係るコンテンツ評価システムを示すための全体構成図である。図２は、本発明に係るコンテンツ評価サーバを示すための構成図である。図１に示すように、コンテンツ評価システムは、コンテンツ評価を行うためのコンテンツ評価サーバ１００、コンテンツ評価を申し込むための申込者端末２００、コンテンツ評価サーバ１００のウェブサイトに掲載された評価対象コンテンツを評価するための評価者端末３００、及び申込者の要求によってコンテンツを生成するためのスタジオ端末４００を含む。
【００３０】
コンテンツ評価サーバ１００は、図２に示すように、コンテンツの評価手続によりコンテンツ評価を向上する評価運営部１１０、評価者及び評価結果を管理する評価管理部１２０、及びコンテンツ及びコンテンツタグなどを格納するためのコンテンツ評価ＤＢ１３０を含む。
【００３１】
評価運営部１１０は、インターネットに接続されてコンテンツを掲載する空間であるウェブサイトを管理するためのウェブサイト管理部１１１と、掲載されたコンテンツを評価した評価者端末３００で送信される評価結果を用いて統合評価結果を算出するための評価結果算出部１１２と、申込者端末２００及びスタジオ端末４００などから送信されて格納されたコンテンツの評価を評価手続により向上させ、評価者端末３００で受信された評価結果を用いて算出された統合評価結果を用いて評価完了したコンテンツの選択の有無などを判断するための評価制御部１１３を含む。
【００３２】
ウェブサイト管理部１１１は、コンテンツ評価ＤＢ１３０に格納されたコンテンツのうち評価を向上するコンテンツが選択される場合、評価制御部１１３の制御によって評価対象コンテンツをウェブサイトに掲載する。会員加入された申込者、評価者、ユーザ、及び一般のネットユーザなどが所有している端末は、インターネットを介してウェブサイトに接続し、ウェブサイトは、申込者、評価者、ユーザ及び一般のネットユーザなどの要求に応じて掲載されたコンテンツを要求した端末にダウンロード及びストリーミングサービスなどにより提供される。
【００３３】
また、ウェブサイト管理部１１１は、（ｉ）ユーザ端末及び一般のネットユーザ端末などで評価対象コンテンツを再生した再生回数及び（ｉｉ）掲載された評価対象コンテンツを再生したユーザ端末及び一般のネットユーザ端末などから入力される好感度情報（favor response）などを含む選好結果を受信し、受信された選好結果を評価結果算出部１１２に送信する。好感度情報は、コンテンツを鑑賞した結果を選択的に入力するものとして用いられ、「いいね」等の選択情報が当該好感度情報に該当する。
【００３４】
ウェブサイト管理部１１１は、評価制御部１１３のコンテンツ掲載期間の命令に応じて、評価対象コンテンツを該当の掲載期間の間にウェブサイトに掲載して評価者がコンテンツを評価できるようにし、期間以後には評価完了したコンテンツをウェブサイトに掲載しないようにする。しかし、必要に応じてコンテンツをウェブサイトに持続的に掲載するが、コンテンツ評価は遮断する。
【００３５】
コンテンツ評価サーバ１００は、評価対象コンテンツを評価する評価者端末３００から評価結果を受信し、受信した評価結果をコンテンツ評価ＤＢ１３０に格納する。すなわち、少なくとも１つ以上の評価者端末３００は、該当する評価者等級が評価すべき評価対象コンテンツを評価し、評価結果を生成してコンテンツ評価サーバ１００に送信すると、コンテンツ評価サーバ１００は、評価結果を受信してコンテンツ評価ＤＢ１３０に格納する。
【００３６】
評価結果算出部１１２は、コンテンツ評価が終了した後にコンテンツ評価ＤＢ１３０に格納されたそれぞれの評価結果を集合し、集合された評価結果と（ｉ）ウェブサイトに掲載された評価対象コンテンツを再生した再生回数、（ｉｉ）評価対象コンテンツ再生後ユーザ及び一般のネットユーザなどが各端末から送信された好感度情報及び（ｉｉｉ）掲載されたコンテンツを評価した評価者数などを含む選好結果を用いて統合評価結果を算出する。その後、評価結果算出部１１２は、統合評価結果をウェブサイト管理部１１１に送信し、ウェブサイトに掲載されるようにする。
【００３７】
評価制御部１１３は、評価対象コンテンツが評価手続により評価者から評価されるよう、コンテンツ評価サーバ１００の動作を制御する。評価制御部１１３は、コンテンツ格納部１３３に格納された少なくとも１つ以上のコンテンツのうち、評価対象コンテンツをウェブサイト管理部１１１に伝達して掲載されるようにし、評価期間が終了することによってウェブサイト管理部１１１を用いて評価対象コンテンツの評価を終了する。
【００３８】
また、評価制御部１１３は、コンテンツタグ格納部１３２に格納された評価対象コンテンツのコンテンツタグと、評価者タグ格納部１３１に格納された評価者タグとを比較して評価者を選択するようにする。すなわち、コンテンツタグに含まれた情報のうち、評価者選択情報（好ましくは、コンテンツを評価する評価者等級決定情報）を用いて、評価手続により該当の評価者選択情報に対応する評価者等級の評価者を選択し、選択された評価者が該当コンテンツを評価するようにする。
【００３９】
コンテンツタグに含まれた情報のうち評価者選択情報（好ましくは、コンテンツを評価する評価者等級決定情報）を用いる。コンテンツを評価する評価者等級決定情報の一例はコンテンツを評価する評価者等級であり、他の例は、コンテンツの評価ステップである。評価手続によって前記コンテンツの評価ステップに該当する評価者等級が決定される。
【００４０】
評価者タグは評価者等級情報に対応する評価者等級の情報を含む。したがって、評価者選択情報に応じて評価者等級の情報を有する評価者コンテンツタグと評価者タグを用いて選択される。
【００４１】
評価者は少なくとも２つ以上の等級に区分されるが、評価者の評価レベル（評価専門性）に区分されたり、地域等級（行政区域レベル）、年齢等級のように区分される。また、評価者タグのうち、階層的に区分される評価者タグを評価者等級に設定する。例えば、会社の場合には、チーム、室、事業部、総括本部などのように評価者等級を区分し、大学校の場合には学科、学部、単科大学、学校全体などのように評価者等級を区分する。
【００４２】
一実施形態において、評価者等級が会社の階層により等級を区分される場合、最下位会社等級であるチームは、購買チーム、資材チーム、開発チームなどのように分類され、次上位会社等級である室は、経営企画室、研究開発室、製品サポート室などのように分類され、２次次上位会社等級である事業部は、国内事業部、海外事業部、経営サポート事業部などのように分類され、３次次上位会社等級（最上位）は総括本部になり得る。
【００４３】
他の実施形態によって評価者等級が大学校に適用される場合、分類されるグループは次の通りである。最下位大学校等級である学科は、生命工学科、国語国文学科、コンピュータ工学などのように分類され、次上位大学校等級である学部は基礎生命科学部、コンピュータ電子工学部、人文学部などのように分類され、２次次上位大学校等級である単科大学は、工科大学、人文大学、理科大学、医科大学などのように分類され、３次次上位大学校等級（最上位）は学校全体になり得る。
【００４４】
評価等級情報を含む評価者選択情報は評価者タグと比較され、評価者選択情報に応じて評価者等級の情報を有する評価者が選択されれば、選択された評価者等級の情報を有する全ての評価者がコンテンツの評価を行うことができる。
【００４５】
一方、コンテンツを評価するために選択される評価者は、評価者等級内でも選択される。例えば、評価者は、評価選択情報と評価者の評価者タグとを比較し、これらの間のマッチング率を算出することによって選択され、その後、好ましいマッチング率を有する評価者が評価者として最終的に選択される。
【００４６】
例えば、評価ステップによる評価者等級を年齢（１０代、２０代、３０代など）に区分する場合、コンテンツタグに含まれた特定評価ステップにおける評価者等級決定情報は「評価者の年齢が２７才」であってもよい。この場合、コンテンツに対する評価者等級は「２０代」等級に決定され、評価者等級が「２０代」である評価者が選択される。一方、「評価者の年齢が２７才」である評価者等級決定情報と評価者タグのマッチング度を用いて「２０代」評価者等級の評価者のうち選択的にマッチング度による評価者が選択される。
【００４７】
評価者選択情報が「評価者の年齢が２７才」である場合には、評価者タグのうち年齢が「２７才」の評価者にはマッチングスコア１００点を付与し、「２６才」又は「２８才」の評価者にはマッチングスコア８０点を付与し、「２５才」又は「２９才」の評価者にはマッチングスコア６０点を付与し、「２４才」の評価者にはマッチングスコア４０点を付与し、「２３才」の評価者にはマッチングスコア２０点を付与する。
【００４８】
その後、評価手続によりマッチングスコア７０点以上の評価者を選択する場合、マッチングスコア１００点の「２７才」、マッチングスコア８０点の「２６才」と「２８才」に該当する評価者が選択される。ここで、マッチング度（すなわち、マッチングスコア）７０点の基準は申込者によって設定されたり、コンテンツ評価サーバ１００の評価手続により評価運営部１１０で設定される。
【００４９】
一方、コンテンツタグに含まれた評価対象コンテンツの評価手続による評価ステップ、選好評価者等級、申込者の年齢、性別、地域、趣味、特技、宗教、職種、職業、会社、血縁、出身学校、出身地域、サークル、ＳＮＳ、連絡先、及びコンテンツジャンルなどは評価者選択情報として使用されてもよい。前記の評価者選択情報のうちいずれか１つ以上は評価者等級決定情報として使用されてもよい。
【００５０】
コンテンツタグの評価者選択情報のうち、評価者等級決定情報及び追加的な１つ以上の評価者選択情報（評価者等級決定情報は除外）と評価者タグとを比較し、これに対応する評価者を選択する。
【００５１】
すなわち、申込者が申込者端末２００によってコンテンツタグを入力する場合、申込者は評価者選択情報を優先順位に応じて入力できるが、優先順位に応じて入力された評価者選択情報はコンテンツタグに含まれる。その後、コンテンツ評価サーバ１００は、該当コンテンツタグと評価者タグとを比較して評価者を選択することにおいて、コンテンツタグに含まれた少なくとも１つ以上の評価者選択情報のうち優先順位に応じて評価者タグと比較するようにし、評価者を選択する。したがって、申込者は、評価者選択情報に対応して選択される評価者を申込者の意図により選択されるようにする。
【００５２】
コンテンツタグのうち、評価者等級決定情報以外の追加的な１つ以上の評価者選択情報は、申込者の社会的な関係情報を含んでもよい。社会的関係情報は、申込者の職種、職業、会社、血縁、出身学校、出身地域、サークル、ＳＮＳ及び連絡先などを含む。
【００５３】
例えば、評価者等級決定情報は地域情報であり、追加的な評価者選択情報は職業（例えば、弁護士）である場合、地域情報に該当する地域等級の評価者が選択され、前記評価者のうち職業が「弁護士」である評価者が選択される。
【００５４】
また、追加的な評価者選択情報が「会社」である場合、申込者の会社職員を評価者として選択したり、追加的な評価者選択情報が「ＳＮＳ」である場合、申込者のＳＮＳに接続されたユーザを評価者として選択する。
【００５５】
また、追加的な評価者選択情報が「年齢」である場合、いずれか１つの評価者等級決定情報に該当する評価者等級のうち、追加的な評価者選択情報に含まれた「年齢」と同一の年齢に該当するユーザを評価者として選択する。
【００５６】
また、追加的な評価者選択情報が「年齢」及び「性別」である場合、いずれか１つの評価者等級決定情報に該当する評価者等級のうち、第１の追加的な評価者選択情報に含まれた「年齢」と、同一の年齢に該当するユーザのうち第２の追加的な評価者選択情報に含まれた「性別」と同一の性別に該当するユーザが評価者として選択される。
【００５７】
例えば、コンテンツタグのうち評価者選択情報（評価者等級決定情報）が「最初の評価ステップ」であり、追加的な１つ以上の評価者選択情報が「評価者年齢が２０代」である場合には、２種類の情報に対応する評価者が選択されてコンテンツの評価を行う。そのため、図４に示すように、「最初の評価ステップ」を評価する評価者等級Ｃと「評価者の年齢が２０代」を全て満足する評価者が選択されてコンテンツの評価を行うことができる。
【００５８】
一方、上記のような二種類の評価者選択情報によって評価者が選択される場合、二種類の評価者選択情報のうち少なくともいずれか１つ以上の評価者選択情報と評価者タグとを比較し、マッチング度により追加的に評価者を選択する。
【００５９】
例えば、評価者選択情報は、「最初の評価ステップ」及び「評価者年齢が２０代」であり、評価者は最初の評価ステップを用いて選択され、評価者タグと評価者年齢が２０代のマッチング率により追加的に選択される。
【００６０】
複数の評価者選択情報を用いる場合、マッチング度の一例は、評価者選択情報と一致する評価者タグ情報の数を利用することにある。例えば、５種類の評価者選択情報を使用するとき、前記５種類情報と全て一致する評価者タグ情報の個数を有すればマッチング度は５点などで表現し、３個が一致すれば３点などのように表現する。一致する代わりに類似性、近接性などで判断してもよい。複数の評価者選択情報のうち一部のみをマッチング度を判断するために使用してもよい。
【００６１】
また、評価制御部１１３は、評価結果算出部１１２で算出された統合評価結果を分析し、評価対象コンテンツの選択可否を判断する。評価制御部１１３は、コンテンツが選択された場合、コンテンツを評価した評価者の評価者等級よりも次上位評価者等級が存在するかを判断し、次上位評価者等級が存在する場合に選択されたコンテンツが次上位評価者等級で評価されるようにウェブサイト管理部１１１を介して該当のコンテンツを再び掲載するようにし、次上位評価者等級の評価者からの評価を受けることができる。
【００６２】
一実施形態によると、統合評価結果が評価手続によりコンテンツ評価サーバ１００に設定された閾値順位又は閾値以上である場合、該当の評価者等級からコンテンツが選択されたものと判断し、設定された閾値順位又は閾値未満の場合には該当の評価者等級からコンテンツが選択されていないものと判断する。
【００６３】
すなわち、コンテンツ選択基準が「閾値順位」である場合、複数申込者の各コンテンツを同一の評価者等級の評価者から評価され、それぞれコンテンツの統合評価結果を比較して最上位順位者から該当の「閾値順位」までのコンテンツを該当の評価者等級の評価を通過したものと判断する。
【００６４】
また、コンテンツ選択基準が「閾値」である場合、少なくとも１つの申込者コンテンツが同一の評価者等級の評価者から評価され、各コンテンツの統合評価結果を判断して統合評価結果が「閾値（所定のスコア）」以上である場合に該当の評価者等級の評価を通過したものと判断する。
【００６５】
ここで、コンテンツが評価者等級で選択されて次上位評価者等級が存在する場合、該当コンテンツが次上位評価者等級の評価者から評価されるよう、該当コンテンツのコンテンツタグのうち評価者選択情報を次上位評価者等級の評価者が選択されるように修正する。
【００６６】
例えば、図４に示すように、申込者が「最初評価」を申し込んで「評価者等級Ｃ」から評価されて選択される場合、次上位評価者等級である「評価者等級Ｂ」が存在する。そのため、該当のコンテンツが次上位評価者等級である「評価者等級Ｂ」から評価されるように評価者選択情報が「最初評価」から「２次評価」に修正されるのである。
【００６７】
本発明の一実施形態によると、ある評価者には複数の評価者等級のうち１つの評価者等級のみが付与され、前記評価者は、該当の評価者等級で評価可能な評価ステップのみで評価を行う。すなわち、本発明の一実施形態によると、各評価ステップで選択された評価者は、該当の評価ステップのコンテンツを一回だけ評価を行い、評価対象コンテンツは、選択された評価者等級の評価者に一回の評価が実行される。しかし、本発明の他の実施形態では、評価対象コンテンツが下位評価者ステップの評価者から評価が進行される場合、上位評価者ステップの評価者による評価が実行されてもよい。
【００６８】
また、本発明の一実施形態では、評価者等級決定情報と追加的な１つ以上の評価者選択情報を用いて評価者を選択する。ここで、評価者等級決定情報を用いて対応する評価者等級の評価者を先に選択する。先に選択された評価者等級の評価者のうち、追加的な１つ以上の評価者選択情報に対応する評価者を選別して選択する。しかし、本発明の他の実施形態では、追加的な１つ以上の評価者選択情報を用いて対応する評価者を優先選択し、次に評価者等級決定情報を用いて対応する評価者等級の評価者を選別して選択できる。
【００６９】
また、評価制御部１１３は、コンテンツ評価ＤＢ１３０内の評価者タグ格納部１３１に格納された評価者タグのうち、評価者スコアを評価者等級管理部１２２に伝達して評価者等級管理部１２２が各評価者の評価者等級を変更するようにする。
【００７０】
一方、申込者から入力されるコンテンツタグのうち、評価者選択情報がいずれか１つでも入力されない場合、コンテンツ評価サーバ１００から落ち抜けた情報を入力する。ここで、入力される情報は、評価手続に対応してコンテンツ評価サーバ１００で予め設定されることが好ましい。
【００７１】
評価管理部１２０は、コンテンツを評価した評価者の評価品質を算出するための評価品質算出部１２１、評価者の評価品質及び評価回数などを用いて評価者等級を変更するための評価者等級管理部１２２、及び複数の等級に区分される評価者のうち、同一の評価者等級内でグループを形成するように評価者グループを管理するための評価者グループ管理部１２３を含んで構成される。
【００７２】
評価品質算出部１２１は、いずれか１つの評価者の評価結果を同一の評価者等級の全体評価結果と比較して評価品質を判断する。すなわち、いずれか１つの評価者がコンテンツを評価した評価結果が該当の評価者等級の全体評価結果と同一であるか、類似すれば、評価品質が良いものと判断する一方、評価結果が該当の評価者等級の全体評価結果と差が大きければ、評価品質が良好でないものと判断する。
【００７３】
すなわち、評価品質算出部１２１で算出する評価者の評価品質は個人の評価結果を十分に反映するものの、意図的に高い評価結果又は低い評価結果を付与する評価者にはペナルティを与える一方、同一の評価者等級の評価者が評価した平均評価結果と同一又は類似する評価者には加算点を反映するようにする。
【００７４】
評価品質算出部１２１は各評価者の評価品質を算出し、生成された評価品質をコンテンツ評価ＤＢ１３０内の評価者タグ格納部１３１に格納する。その後、評価品質は、評価者等級管理部１２２によって各評価者の評価者等級を再調整するとき評価者スコアに反映される。
【００７５】
評価者等級管理部１２２は、評価品質算出部１２１で算出された各評価者の評価品質及び評価回数などの情報を用いて評価者等級を管理する。評価者等級は２以上に区分され、会員加入されたユーザのうち評価者として登録された最初評価者には評価者等級を最も低い等級に付与し、コンテンツ評価により累積する評価回数及び評価品質などにより算出される評価者スコアによって評価者等級を次上位評価者等級に上方調整できる。
【００７６】
評価者等級管理部１２２で管理している評価者等級は、評価者スコアの増加により次上位評価者等級に上方調整されてもよく、評価品質低下などの理由により評価者スコアが減少する場合は、次下位評価者等級に下向き調整されてもよい。
【００７７】
会員加入されたユーザのうち、評価者として登録されたユーザ数に応じて評価者等級の個数は調整されて設定される。例えば、評価者等級を評価者数に応じて１千人の単位で等級が設定される場合、登録された全体評価者数が１万人であれば１０個の評価者等級に設定され、１０万人であれば１００個の評価者等級に設定される。
【００７８】
また、評価者等級を５個の等級に設定し、それぞれの評価者等級により評価者数を比率に設定することで、最下位評価者等級から最上位評価者等級が４０％、３０％、１５％、１０％及び５％に設定される場合、総評価者数が１万人であれば、４千人、３千人、１．５千人、１千人及び０．５千人に評価者等級内の評価者数が設定され、総評価者数が１０万人であれば、４万人、３万人、１．５万人、１万人、０．５万人に設定される。
【００７９】
評価者グループ管理部１２３は、それぞれの評価者等級内でグループを形成することによって、評価者タグに含まれた情報によりそれぞれの評価者等級内にグループを形成する。ここで、グループは、評価者が登録した地域、年齢、性別、趣味、特技、宗教、職種、職業、会社、血縁、出身学校、出身地域、サークル、ＳＮＳ、連絡先、及び選好コンテンツジャンルなどによって生成される。
【００８０】
このような評価者タグによるグループは少なくとも１つ以上のグループに設定され、コンテンツ評価により評価者を選択することにおいて、コンテンツタグの評価者選択情報のうち評価者等級決定情報以外の追加的な１つ以上の評価者選択情報に対応する評価者タグのグループが存在する場合、該当追加的な１つ以上の評価者選択情報に対応するグループの評価者を選択する。
【００８１】
例えば、評価者グループを単位地域に基づいて生成する場合、江南区、清潭洞、三成洞、駅三洞などの行政区域を基準としてグループを生成してもよく、評価者グループを選好コンテンツの種類に基づいて生成する場合は、歌、演奏、マジックなどのコンテンツ内容を基準としてグループを生成してもよい。
【００８２】
また、評価者グループは評価者等級に連係して生成できるが、複数の等級に区分される評価者等級でそれぞれの評価者等級内で生成されるグループは、評価者等級によりグループレベル（level）が変わり得る。
【００８３】
例えば、韓国の単位地域基盤のグループを生成する場合、下位評価者等級で生成されるグループは、清潭洞、三成洞、瑞草洞、盤浦洞などの行政区域の洞（法定「洞」又は行程「洞」のうちいずれか１つ）基準の単位地域で生成され、上位評価者等級（地域等級）で生成されるグループは、江南区、瑞草区、松坡区などの上位行政区域の区基準の単位地域で生成される。もし、上位評価者等級の次上位評価者等級（地域等級）が存在する場合に生成されるグループは、ソウル特別市、大田広域市、仁川広域市などの次上位行政区域の市基準の単位地域で生成され、最上位評価者等級（地域等級）が存在する場合に生成されるグループは、全国基準の単位地域で生成される。
【００８４】
ここで「洞」とは、「邑、面、路、街」と同級であり、「区」とは、「市、郡」と同級であり、「市」とは、「道、広域市、特別市」と同級に設定される。
【００８５】
一方、米国の単位地域基盤のグループを生成する場合、下位評価者等級で生成されるグループは行政区域のシティ（city）基準の単位地域で生成され、上位評価者等級（地域等級）で生成されるグループは、上位行政区域のカウンティ（county）基準の単位地域で生成される。また、カウンティ（county）の次上位評価者等級（地域等級）は州（state）であり、州（state）の次上位評価者等級（地域等級）は連邦（federation）基準の単位地域で生成される。
【００８６】
しかし、このような行政区域単位は一実施形態に過ぎず、行政区域の人口、面積及び特定位置の所定半径内などの条件により単位地域の基準は変更される。また、単位地域は、会員加入されたユーザが評価者として登録するとき入力した評価者タグの情報によって選択されることが好ましく、必要に応じて、居住地アドレスなどを用いて選択してもよい。
【００８７】
一方、単位地域によるグループ設定は、単位地域を論理的基準及び物理的基準などで区分される区域にするか、特定地点から所定半径範囲内の区域にしてもよい。
【００８８】
コンテンツ評価ＤＢ１３０は、評価者の情報である評価者タグを格納する評価者タグ格納部１３１、申込者情報及びコンテンツ情報を含むコンテンツタグを格納するコンテンツタグ格納部１３２、及びコンテンツを格納するコンテンツ格納部１３３を含む。
【００８９】
評価者タグ格納部１３１は、それぞれの評価者が評価対象コンテンツを評価した評価結果と評価を行った評価回数、それぞれの評価結果による評価品質などの情報を含み、評価者スコアと各評価者の評価者等級と評価者グループなどの情報を格納する。
【００９０】
また、評価者の基本情報である評価者年齢、性別、地域、及びアドレスなど、選好コンテンツの種類（歌、演奏、マジックなど）、コンテンツ種類による選好ジャンル（バラード、ヒップホップ、ロック、ジャズなど）などの情報を格納する。
【００９１】
コンテンツタグ格納部１３２は、生成したコンテンツの評価を要求する申込者の情報とコンテンツの申込み及び評価に関する情報を格納する。申込者情報は、コンテンツ評価申込み回数、それぞれコンテンツの評価結果、評価申込まれたコンテンツのレベルに関する平均評価結果、評価者等級ごとの平均評価結果、全体申込者順位、各コンテンツごとに選択された評価者等級などの情報を含む。
【００９２】
また、コンテンツタグ格納部１３２は、申込者の基本情報である申込者年齢（１０代、２０代、３０代などで表示可能）、性別（男、女など）、地域又はアドレス、選好コンテンツの種類（歌、演奏、マジックなど）、コンテンツ種類による選好ジャンル（バラード、ヒップホップ、ロック、ジャズなど）などの情報も含んでもよい。
【００９３】
一方、コンテンツ申込みに関する情報には、コンテンツ名、コンテンツ説明（申込者作成）、申込まれたコンテンツの形態、種類、ジャンル、再生時間、ファイル容量、ファイル拡張子、申込み日時、生成位置（申込者端末及びスタジオ端末など）、コンテンツ生成日時などが含まれる。コンテンツ評価に関する情報は、コンテンツ評価ステップ、評価者等級ごとの統合評価結果、評価者グループごとの統合評価結果、コンテンツを評価した評価者数、最高評価結果、最低評価結果、コンテンツ再生回数、コンテンツ好感度情報、コンテンツ評価コメント、評価結果全体順位などが含まれている。
【００９４】
コンテンツ格納部１３３は、申込者端末２００及びスタジオ端末４００の端末で送信されるコンテンツを格納し、音声、映像、文書などのコンテンツ形態によりそれぞれ別に分類して格納することが好ましい。また、コンテンツの種類及びジャンルなどにより別途分類して格納することが好ましい。
【００９５】
申込者端末２００は、インターネットに接続されるＰＣ及びモバイル端末などで構成されてもよく、ユーザがコンテンツ評価サーバ１００のウェブサイトに接続して会員加入、コンテンツ評価申込み、コンテンツタグ入力などを行う。
【００９６】
一方、申込者端末２００がモバイル端末である場合、コンテンツ評価サーバ１００からアプリケーションをダウンロードしてインストールし、インストールされたアプリケーションを用いて会員加入、コンテンツ申込者登録、コンテンツ評価申込みなどを行う。
【００９７】
申込者端末２００が映像を撮影できるカメラ、音声を録音できるマイクなどの必要な装備を備えている場合、申込者端末２００を用いてコンテンツを生成する。すなわち、コンテンツは、様々なコンテンツ生成装備を備えているスタジオ端末４００を用いて生成するが、カメラ、マイクなどの基本装備を保有しているスマートフォンなどのモバイル端末及びＰＣなどでもコンテンツを生成してコンテンツ評価サーバ１００に送信し得る。
【００９８】
評価者端末３００は、インターネットに接続されるＰＣ及びモバイル端末などで構成され、ユーザがコンテンツ評価サーバ１００のウェブサイトに接続して会員加入、コンテンツ評価者登録などを行う。
【００９９】
一方、評価者端末３００がモバイル端末である場合、コンテンツ評価サーバ１００からアプリケーションをダウンロードしてインストールし、インストールされるアプリケーションを用いて会員加入、コンテンツ評価者登録、評価者タグ入力、コンテンツ評価結果入力などを行う。
【０１００】
評価者端末３００は、コンテンツ評価手続によりコンテンツを再生し、評価者から入力される評価結果をコンテンツ評価サーバ１００に送信する。
【０１０１】
スタジオ端末４００は、コンテンツを生成できる専門装備を含み、コンテンツ生成のための専門装備は、カメラ、マイク、録音施設、照明、防音、音響、背景画面ＣＧなどを処理できる装備を含む。申込者が前記スタジオ端末４００を用いてコンテンツを製造する場合、前記スタジオ端末４００の使用予約をする。
【０１０２】
スタジオ端末４００は、申込者の使用例薬によってコンテンツを生成し、生成されたコンテンツはスタジオ端末４００で編集などの処理を行った後、コンテンツ評価サーバ１００に送信されて格納される。一方、生成されたコンテンツに対する背景画面ＣＧなどの編集は、スタジオ端末４００内に含まれた装備を使用して処理するが、必要に応じて、コンテンツが送信されたコンテンツ評価サーバ１００で処理し得る。
【０１０３】
また、スタジオ端末４００は１つで構成されてもよく、複数で構成されて地域ごとに分散して位置してもよい。
【０１０４】
図３は、本発明の第１実施形態によりコンテンツ評価を行うフローチャートである。図３に示すように、コンテンツ評価サーバ１００は、申込者端末２００及びスタジオ端末４００の端末で生成されて送信されるコンテンツを受信してコンテンツ格納部１３３に格納し、コンテンツ評価手続により格納された評価対象コンテンツをウェブサイトに掲載する。
【０１０５】
申込者は、会員加入されたユーザのうち申込者として登録したユーザであり、申込者は、インターネットに接続可能な申込者端末２００によってコンテンツ評価サーバ１００のウェブサイトに接続してコンテンツ評価を申し込む。コンテンツの評価申込みは、申込者情報とコンテンツ情報に該当するコンテンツタグ及び生成されたコンテンツをコンテンツ評価サーバ１００に送信し、コンテンツ評価サーバ１００に送信するコンテンツ評価承認完了情報を受信することでコンテンツ評価申込みが完了する。ここで、申込者端末２００で送信されるコンテンツタグは、コンテンツ評価サーバ１００のコンテンツタグ格納部１３２に格納される。
【０１０６】
一方、申込者端末２００を用いたコンテンツ評価申込みは、コンテンツを生成していない状態でも可能であり、コンテンツ評価申込みの後で生成したコンテンツをコンテンツ評価サーバ１００に送信すれば、コンテンツ評価申込みが完了する。
【０１０７】
コンテンツは音源、映像、文書などの様々なファイル形態に生成され、コンテンツ評価サーバ１００は、受信されたコンテンツを分類してコンテンツ評価ＤＢ１３０内のコンテンツ格納部１３３に格納する。コンテンツの分類は、受信したコンテンツのファイル形態による分類、コンテンツに含まれた形態による分類、コンテンツ評価申込者による分類などの様々な情報により分類され、このような分類情報などは、コンテンツタグに含まれてコンテンツタグ格納部１３２に格納される。
【０１０８】
一方、コンテンツ評価サーバ１００の評価運営部１１０のうち評価制御部１１３は、コンテンツ評価手続により格納されたコンテンツのうち評価するコンテンツの掲載命令をウェブサイト管理部１１１に送信し、ウェブサイト管理部１１１は、送信される評価対象コンテンツの掲載命令に応じて評価対象コンテンツをウェブサイトに掲載する。
【０１０９】
評価対象コンテンツがウェブサイトに掲載された後、評価者、会員加入されたユーザ、及び一般のネットユーザなどは、インターネットに接続可能なそれぞれの端末を介してコンテンツ評価サーバ１００のウェブサイトに接続してコンテンツを再生し得る。
【０１１０】
コンテンツ評価サーバ１００の評価制御部１１３は、ウェブサイトに掲載された評価対象コンテンツを評価するための評価手続により評価対象コンテンツのコンテンツタグと評価者タグとを比較し、評価者選択情報に対応する評価者等級の評価者を選択する（Ｓ１２０）。
【０１１１】
コンテンツ評価サーバ１００が受信したコンテンツのうち、評価手続によって最初評価が行われる場合、コンテンツタグに含まれた評価者選択情報である評価ステップが最初評価ステップであれば、評価者タグに格納された複数の評価者等級のうち、評価対象コンテンツを評価できる評価者等級の評価者が評価制御部１１３によって選択される。
【０１１２】
選択された評価者は、評価者端末３００を用いてウェブサイトに掲載された評価対象コンテンツを再生及び評価し、評価した評価結果をコンテンツ評価サーバ１００に送信する。
【０１１３】
その後、コンテンツ評価サーバ１００は、評価手続によりコンテンツ評価が終了すると、評価者端末３００で送信された評価結果から算出された統合評価結果を用いて、評価対象コンテンツが該当の評価者等級で選択されたか否かを判断する（Ｓ１３０）。
【０１１４】
一実施形態によると、統合評価結果が評価手続によりコンテンツ評価サーバ１００に設定された閾値順位又は閾値以上である場合、該当の評価者等級でコンテンツが選択されたものと判断し、設定された閾値順位又は閾値未満の場合には、該当の評価者等級でコンテンツが選択されていないものと判断する。
【０１１５】
すなわち、コンテンツ選択基準が閾値順位である場合には、複数申込者の各コンテンツを同一の評価者等級の評価者から評価を受け、各コンテンツの統合評価結果を比較し、最上位順位者から閾値順位までのコンテンツを該当の評価者等級の評価を通過したものと判断する。コンテンツ選択基準が閾値である場合には、少なくとも１つの申込者コンテンツが同一の評価者等級の評価者から評価を受け、各コンテンツの統合評価結果を判断して、統合評価結果が所定スコア以上である場合に該当の評価者等級の評価を通過したものと判断する。
【０１１６】
もし、Ｓ１３０ステップで、評価対象コンテンツが該当の評価者等級で選択されていない場合、コンテンツ評価サーバ１００は評価対象コンテンツの評価手続を中断し、必要に応じて、評価を行った評価者等級の統合評価結果をウェブサイトに掲載する。一方、Ｓ１３０ステップで、評価対象コンテンツが該当の評価者等級で選択された場合でも、算出された統合評価結果をウェブサイトに掲載する。
【０１１７】
もし、Ｓ１３０ステップで、評価対象コンテンツが該当の評価者等級で選択された場合、コンテンツ評価サーバ１００は、該当の評価者等級の次上位評価者等級が存在するかを判断する（Ｓ１４０）。
【０１１８】
そのため、該当の評価者等級よりも次上位評価者等級が存在する場合、評価制御部１１３は、該当コンテンツのコンテンツタグのうち、評価者選択情報を次上位評価者等級に対応するよう修正（Ｓ１５０）し、コンテンツの評価手続によりＳ１２０ステップに移動して次上位評価者等級の評価者によって評価対象コンテンツが評価されるようにする。
【０１１９】
したがって、次上位評価者等級が存在する場合に、評価対象コンテンツの評価はＳ１２０ステップからＳ１３０ステップまで再実行して行われる。さらに多くの次上位評価者等級が存在しない最上位評価者等級である場合、コンテンツ評価サーバ１００は評価対象コンテンツの評価手続を中断し、必要に応じて、最上位評価者等級で算出された統合評価結果をウェブサイトに掲載する。
【０１２０】
図４は、本発明の第１実施形態による評価者等級を示すための例示図である。図４に示されたように、会員加入されたユーザのうち評価者として登録したユーザ（１ないし２０の評価者）は１つの評価者等級が与えられる。評価者等級は、少なくとも２以上の等級に区分され、図４に示すようにＡ、Ｂ、Ｃの３個の評価者等級に区分される場合に会員加入された評価者が最初与えられる評価者等級は最も下位評価者等級が与えられる。
【０１２１】
各評価者が評価したコンテンツの評価回数及び評価品質などを含む評価者スコアが算定される。ここで、累積した評価者スコアが所定のスコア以上又は所定の順位以上である場合、評価者の評価者等級が上方調整される。
【０１２２】
図４に示す評価者等級Ｃの評価者１、１７、４、...、１４は最も下位評価者等級の評価者である。
【０１２３】
また、図４に示す評価者等級Ｂの評価者２０、１６、８、...、３は評価者等級Ｃで評価者等級が上方調整された評価者であり、評価者等級Ａの評価者１２、５、１５は評価者等級Ｂで評価者等級が上方調整された評価者である。
【０１２４】
そのため、評価者は、コンテンツの評価結果に応じてＣ等級からＡ等級まで等級が与えられるが、各評価者等級内の評価者数を適切に調整して申込者のコンテンツが評価手続によって評価されるようにすることが好ましい。
【０１２５】
例えば、コンテンツ評価を申し込む申込者は多いが各評価者等級で選択されるコンテンツの数は限定されているか少ないため、図４に示すように、上位等級に行くほど評価者等級内の評価者数を少なく設定する。
【０１２６】
評価者等級ごとの評価者数は、各評価者等級により比率を相違に設定して調整することができ、各評価者等級ごとに付与可能な評価者数を設定し、設定された評価者数に応じて評価者等級を評価者に付与し得る。
【０１２７】
一方、図４に示す評価者等級で各評価者等級は、評価者タグに含まれる情報を用いてグループに分割されて構成され得る。例えば、評価者タグに含まれた情報のうち、単位地域条件により評価者等級Ｃの１、１７、４評価者の単位地域がａ単位地域で同一である場合、評価者等級Ｃの評価者は評価者等級Ｃ−ａ単位地域グループに設定される。また、評価者等級Ｃの６、１９、７評価者の単位地域がｂ単位地域である場合、該当の評価者は、評価者等級Ｃ−ｂ単位地域グループに設定される。また、評価者等級Ｃの１８、９、１０評価者の単位地域がｃ単位地域である場合、該当の評価者は、評価者等級Ｃ−ｃ単位地域グループに設定される。また、評価者等級Ｃの１３、１４評価者の単位地域がｄ単位地域である場合、該当の評価者は評価者等級Ｃ−ｄ単位地域グループに設定される。
【０１２８】
次に、ａ単位地域とｂ単位地域の次上位単位地域がａｂ単位地域であり、評価者等級Ｂの２０、１６、８評価者の単位地域がａｂ単位地域として同じである場合、該当の評価者は評価者等級Ｂ−ａｂ単位地域グループに設定される。
【０１２９】
また、ｃ単位地域とｄ単位地域の次上位単位地域がｃｄ単位地域であり、評価者等級Ｂの１１、２、３評価者の単位地域がｃｄ単位地域として同じである場合、該当の評価者は評価者等級Ｂ−ｃｄ単位地域グループに設定される。
【０１３０】
次に、ａｂ単位地域とｃｄ単位地域の次上位単位地域がａｂｃｄ単位地域であり、評価者等級Ａの１２、５、１５評価者の単位地域がａｂｃｄ単位地域として同じである場合、該当の評価者は評価者等級Ａ−ａｂｃｄ単位地域グループに設定される。
【０１３１】
評価者等級Ａは、各分割されたグループの最上位に該当するため別途のグループに分割されなくてもよい。
【０１３２】
図５は、本発明の第１実施形態に係るコンテンツ選択を示すための例示図である。図５に示すように、コンテンツの評価を要求した申込者が１２人（１〜１２）存在する場合、格納された各申込者のコンテンツタグのうち評価者選択情報には、第１評価ステップが格納されている。そのため、コンテンツタグの評価者選択情報と評価者タグとを比較して第１評価ステップのコンテンツを評価できる評価者等級Ｃの評価者が選択される。そのため、各申込者１、２、３、...、１２は、最初評価者等級Ｃの評価者からコンテンツが評価される。評価者等級Ｃで申込者２、申込者６、申込者８及び申込者１１の各コンテンツが選択された場合、申込者２、６、８及び１１の各コンテンツは、評価者等級Ｃの次上位等級である評価者等級Ｂが存在するため、それぞれのコンテンツタグの評価者選択情報が第２評価ステップに修正される。修正されたコンテンツタグの評価者選択情報は、評価者タグと比較され、これに対応する評価者等級Ｂの評価者によって各コンテンツが評価される。
【０１３３】
その後、評価者等級Ｂの評価者の評価結果に応じて、申込者６及び申込者８の各コンテンツが選択される場合、評価者等級Ｂの次上位評価者等級が存在するかを判断する。判断結果、評価者等級Ｂから選択された申込者６及び８の各コンテンツは、次上位評価者等級である評価者等級Ａが存在することによって、コンテンツタグの評価者選択情報が第３評価ステップに修正される。修正されたコンテンツタグの評価者選択情報は評価者タグと比較され、これに対応する評価者等級Ａの評価者によって各コンテンツが評価される。
【０１３４】
その後、評価者等級Ａの評価者の評価結果に応じて申込者６のコンテンツが選択される場合、評価者等級Ａの次上位評価者等級が存在しないため、コンテンツ評価サーバ１００は評価手続を終了する。
【０１３５】
本発明は、以上で説明したように好適な実施形態を例に挙げて図示かつ説明したが、前記実施形態に限定されることなく、本発明の精神を逸脱しない範囲内で当該の発明が属する技術分野で通常の知識を有する者によって様々な変更及び修正が可能であろう。
【図１】
0006473516.tif 000002
【図２】
0006473516.tif 000003
【図３】
0006473516.tif 000004
【図４】
0006473516.tif 000005
【図５】
0006473516.tif 000006