コンピューター実施方法であって、複数の様々なユーザーの名義で提出されたアイテムのセットに関連する選好情報提出を、該複数の様々なユーザーの名義で提出された該選好情報提出に基づいて編纂された前記アイテムのセットについてのグローバルランキング情報と比較することと、前記選好情報提出のうちの、特定のユーザーの名義で提出された個人の選好情報提出を、前記グローバルランキング情報に類似していると特定することとを含むコンピューター実施方法。前記特定のユーザーの名義で提出された前記個人の選好情報提出を、前記グローバルランキング情報に類似していると特定することは、前記選好情報提出の中で、前記特定のユーザーの名義で提出された前記個人の選好情報提出を、前記グローバルランキング情報に最も類似していると特定することを含む請求項1に記載の方法。前記特定のユーザーの名義で提出された前記個人の選好情報提出を、前記グローバルランキング情報に類似していると特定することは、前記様々なユーザーの名義で提出された前記選好情報提出を前記グローバルランキング情報と比較した結果に基づいて、前記特定のユーザーの名義で提出された前記個人の選好情報提出を、前記グローバルランキング情報に最も類似していると特定することを含む請求項1に記載の方法。前記個人の選好情報提出を前記グローバルランキング情報に類似していると特定した結果として、前記特定のユーザーに報酬を与えることをさらに含む請求項1に記載の方法。前記特定のユーザーに報酬を与えることは、該特定のユーザーに金銭報酬を与えることを含む請求項4に記載の方法。前記特定のユーザーに金銭報酬を与えることは、該ユーザーの名義で管理されている金融口座に総額を貸方記入することを含む請求項5に記載の方法。前記様々なユーザーの名義で提出された前記選好情報提出を受信することと、各選好情報提出に関連して参加料を受信することと、をさらに含み、前記特定のユーザーに金銭報酬を与えることは、該ユーザーに、前記参加料よりも高い金銭報酬を与えることを含む請求項5に記載の方法。前記特定のユーザーの名義で提出された前記個人の選好情報提出を含む、ユーザーの名義で提出された前記選好情報提出のうちの少なくともいくつかは、前記アイテムのセット全体よりも小さいアイテムのセットについての選好情報を含み、それによって、複数の様々なユーザーの名義で提出されたアイテムのセットに関連する選好情報提出を、該複数の様々なユーザーの名義で提出された該選好情報提出に基づいて編纂された前記アイテムのセットについてのグローバルランキング情報と比較することは、前記アイテムのセットについての前記グローバル選好情報を、前記アイテムのセット全体よりも小さいアイテムのセットについての選好情報を含むランキング情報提出と比較することを含み、前記特定のユーザーの名義で提出された前記個人の選好情報提出を、前記グローバルランキング情報に類似していると特定することは、前記アイテムのセット全体よりも小さいアイテムのセットについての選好情報を含む前記個人の選好情報提出を、前記グローバルランキング情報と類似していると特定することを含む請求項1に記載の方法。前記アイテムのセットについての前記グローバルランキング情報は該アイテムのセットのランク順のリストを含み、それによって、前記様々なユーザーの名義で提出された前記アイテムのセットに関連する選好情報提出を、該アイテムのセットについての前記グローバルランキング情報と比較することは、前記アイテムのセットに関連する前記選好情報提出を該アイテムのセットの前記ランク順のリストと比較することを含む請求項1に記載の方法。前記アイテムのセットは写真のセットであり、それによって、複数の様々なユーザーの名義で提出されたアイテムのセットに関連する選好情報提出を、該アイテムのセットについてのグローバルランキング情報と比較することは、複数の様々なユーザーの名義で提出された写真のセットに関連する選好情報提出を、該写真のセットについてのグローバルランキング情報セットと比較することを含む請求項1に記載の方法。前記アイテムのセットはテキスト記述のセットであり、それによって、複数の様々なユーザーの名義で提出されたアイテムのセットに関連する選好情報提出を、該アイテムのセットについてのグローバルランキング情報と比較することは、複数の様々なユーザーの名義で提出されたテキスト記述のセットに関連する選好情報提出を、該テキスト記述のセットについてのグローバルランキング情報セットと比較することを含む請求項1に記載の方法。命令を記憶する非一時的なコンピューター可読記憶媒体であって、該命令は実行されると、コンピューターに、複数の様々なユーザーによって提供されたアイテムのセットのうちの少なくともいくつかに関連したフィードバックのインジケーションにアクセスさせ、前記様々なユーザーによって提供されたフィードバックの受信したインジケーションに基づいて編纂された前記アイテムのセットについてのグローバルランキング情報にアクセスさせ、前記アイテムのセットについての前記グローバルランキング情報を、前記様々なユーザーのそれぞれによって提供されたフィードバックの前記インジケーションと比較させ、前記グローバルランキング情報を、前記様々なユーザーのそれぞれによって提供されたフィードバックの前記インジケーションと比較することに基づいて、前記ユーザーのうちの特定のユーザーによって提供されたフィードバックを前記グローバルランキング情報に最も類似していると特定させ、前記特定のユーザーによって提供された前記フィードバックを前記グローバルランキング情報に最も類似していると特定した結果として、前記特定のユーザーに金銭報酬を与えさせる命令を記憶する非一時的なコンピューター可読記憶媒体。命令を更に含み、該命令は実行されると、前記コンピューターに、前記アイテムのセットに関するフィードバックを提供する前記ユーザーのそれぞれに参加料を課金させ、実行されると、前記コンピューターに、前記特定のユーザーに金銭報酬を与えさせる前記命令は、実行されると、前記コンピューターに、前記参加料よりも高い金銭報酬を前記特定のユーザーに与えさせる命令を含む請求項12に記載のコンピューター可読記憶媒体。1つ又は複数の処理要素と、命令を記憶するコンピューターメモリと、を備えるシステムであって、前記命令は、前記1つ又は複数の処理要素によって実行されると、該処理要素に、ユーザーの名義でアイテムのセットを受信させ、他のユーザーからの前記アイテムのセットに関するフィードバックを求めるオンライン調査をホスティングさせ、前記オンライン調査とのインタラクションを介して、複数の様々なユーザーによって提供された前記アイテムのうちの少なくともいくつかに関するフィードバックのインジケーションを受信させ、前記様々なユーザーによって提供されたフィードバックの前記受信したインジケーションに基づいて編纂された前記アイテムのセットについてのグローバルランキング情報にアクセスさせ、前記アイテムのセットについての前記グローバルランキング情報を、前記様々なユーザーのそれぞれによって提供されたフィードバックの前記インジケーションと比較させ、前記グローバルランキング情報を、前記様々なユーザーのそれぞれによって提供されたフィードバックの前記インジケーションと比較することに基づいて、前記ユーザーのうちの特定のユーザーによって提供されたフィードバックを、前記グローバルランキング情報に最も類似していると特定させ、前記特定のユーザーによって提供された前記フィードバックを前記グローバルランキング情報に最も類似していると特定した結果として、前記特定のユーザーに金銭報酬を与えさせるシステム。前記コンピューターメモリは、命令を更に記憶し、該命令は、前記1つ又は複数の処理要素によって実行されると、該処理要素に、前記アイテムのセットに関する前記ユーザーのフィードバックのインジケーションが受信された該ユーザーのそれぞれに参加料を課金させ、前記処理装置によって実行されると、該処理要素に、前記特定のユーザーに金銭報酬を与えさせる前記命令は、実行されると、前記コンピューターに、前記参加料よりも高い金銭報酬を前記特定のユーザーに与えさせる命令を含む請求項14に記載のシステム。電子調査が、アイテムのセットについてユーザーからの選好情報を求める。アイテムのセットは、何らかの形態のメディア例えば、楽曲又は他のオーディオトラック、ビデオ、写真又は他のグラフィカル要素、書籍等、テキスト記述例えば事業アイディア、スローガン、新たな製品特徴等、又はアイテムの任意の他のコレクションとし得る。いくつかの実施態様では、電子調査は、セット内のアイテムの一連の対ごとの比較を生成し、ユーザーが各対内のいずれのアイテムを選好するかを特定することを要求し得る。ユーザーが一連の比較を進めるにつれ、電子調査はそのアイテムのセットについてユーザーからの選好情報を収集する。その後、電子調査はユーザーから収集した選好情報を編纂して、セット内のアイテムのグローバルランキングを構築し得る。いくつかの実施態様では、電子調査は、実際には各個人ユーザーからセット内の各アイテムについて選好情報を収集しない場合がある。それにもかかわらず、電子調査は依然として、全てのユーザーから受信したフィードバックに基づいてセット内のアイテムのグローバルランキングを構築することが可能であり得る。電子調査に参加し及び/又は意味のある入力を提供する動機をユーザーに与えるために、電子調査は各個人ユーザーから収集した選好情報をアイテムのグローバルランキングと比較し、アイテムのグローバルランキングと最も厳密に一致する選好情報を提供したユーザーに報酬を提供し得る。2人以上のユーザーによって提供された選好情報が同程度にアイテムのグローバルランキングと一致する場合、電子調査は、2人以上のユーザーのそれぞれの間で報酬を分割し得る。さらに、いくつかの実施態様では、電子調査は、電子調査に参加するのに僅かな参加料をユーザーに課金するが、その後、アイテムのグローバルランキングに最も厳密に一致する選好情報を提供するユーザーに、徴収した参加料からプールされた報酬を与え得る。例えば、電子調査は、調査に参加するのに1ドルをユーザーに課金し、その後、アイテムのグローバルランキングに最も厳密に一致する選好情報を提供するユーザーに、参加者から徴収した参加料の或るパーセンテージの報酬を与え得る。この例では、電子調査は、参加者から徴収された、報酬として支払われなかった参加料の残高を、調査を行う費用として保持もし得る。図1A~図1Fは、電子調査のインターフェース100の一例のスクリーンショットである。図1Aに示されるように、インターフェース100は、別のユーザーの電子フォトアルバムからの写真のランク付けを手助けする電子調査に参加するようにユーザーを招待する。インターフェース100によって説明されるように、1ドルを支払って調査に参加することによって、ユーザーは、調査に参加するユーザーから徴収された参加料の95の報酬を受ける資格を得ることになる。次に図1B~図1Dを参照すると、ユーザーが電子調査に参加することに合意した後、インターフェース100はフォトアルバムから写真の一連の対を提示し、ユーザーに、各対のいずれの写真を好むかを、対応するラジオボタン104を選択することによって示すように要求する。その後、電子調査は、ユーザーから受信した対ごとの選好情報を用いて、ユーザーに公開された写真のランキングを計算し得る。いくつかの実施態様では、ユーザーはフォトアルバム内の各写真を評価することを要求されない場合がある。代わりに、ユーザーは、フォトアルバム内の全ての写真よりも少ない写真からなるサブセットを評価するように要求され得る。電子調査はまた、複数の他のユーザーからフォトアルバム内の写真に関する選好情報を求める。その後、電子調査は、他のユーザーのそれぞれから受信した対ごとの選好情報を用いて正:use、個人ユーザーごとの写真のランキングを計算し得る。上述したように、電子調査は、フォトアルバム内の写真の全てを各個人ユーザーに公開しない場合がある。代わりに、電子調査はフォトアルバム内の全ての写真よりも少ない写真からなるサブセットを個人ユーザーに公開し得、任意の1人のユーザーに関する写真の個人のランキングは、そのユーザーに公開されたサブセット内の写真のみのランキングを含み得る。電子調査は、ユーザーから受信した選好情報を編纂し、これらのユーザーから受信した選好情報に基づいてフォトアルバム内の写真のグローバルランキングを生成する。その後、図1Eに示すように、インターフェース100はフォトアルバム内の写真のこのグローバルランキングを、フォトアルバムを作成したユーザーに提示し得る。この情報は、フォトアルバムを作成したユーザーにとって、例えばこのユーザーがフォトアルバム内のいずれの写真をプリントし、拡大し、又は額に入れるかを決定するのに役立つという点で有用であり得る。全てのユーザーから受信した選好情報に基づいてフォトアルバム内の写真のグローバルランキングを構築することに加えて、電子調査はまた、フォトアルバム内の写真のグローバルランキングを、個人ユーザーについて計算された写真ランキングと比較して、個人ユーザーについて計算された写真ランキングのうちのいずれが全てのユーザー選好情報に基づいて編纂されたグローバルランキングに最も厳密に一致するかを判断し得る。その後、電子調査は、個人の選好情報がグローバルランキングに最も厳密に一致するユーザーに賞金で報酬を与える。例えば、図1Fに示すように、インターフェース100はユーザーに、電子調査に参加している間にそのユーザーから受信した選好情報が、受信した全てのユーザーフィードバックに基づいて編纂されたフォトアルバム内の写真の最終ランキングに最も厳密に一致したこと、及びこのため、そのユーザーが、100ドルの金銭報酬、又は調査の参加者から徴収された参加料の総額の95の金銭報酬を受ける権利を有することを通知する。電子調査は、電子調査を行う費用として、調査の参加者から徴収した参加料の残りの5を保持し得る。図2は、アイテムのセットに関するグローバルランキング情報に類似した、アイテムのコレクションに関するユーザー提供選好情報を特定するプロセスの一例を示すフローチャート200である。図2のフローチャート200に示されるプロセスは、例えば、図4に示され以下でより詳細に説明されるホストコンピューティングシステム402等のコンピューティングシステムによって実行され得る。より詳細には、図2のフローチャート200に示されるプロセスは、ホストコンピューティングシステム402のプロセッサ複数の場合もある408のうちの1つ又は複数によって、図4に示され以下でより詳細に説明されるアプリケーション命令416の実行結果として実行され得る。上記で検討したように、コンピューティングシステムによって実施される電子調査は、複数の様々なユーザーからアイテムのコレクションの選好情報を収集し得る。いくつかの実施態様では、個人ユーザーから収集された選好情報は、コレクション内の全てのアイテムよりも少ないアイテムからなるサブセットに対処し得る。その後、コンピューティングシステムによって実施される電子調査は、個人ユーザーから収集された選好情報を編纂し、これらの個人ユーザーから収集された選好情報に基づいて、コレクション内の全てのアイテムのグローバルランキングを構築し得る。202において、アイテムのコレクションに関するユーザー提供選好情報提出が、ユーザー提供選好情報提出に基づいて編纂されたアイテムのコレクションのグローバルランキング情報と比較される。Uはアイテムのコレクションを表し、σは、σがU内のアイテムの順序付けされたリストであるようにアイテムのコレクションのグローバルランキングを表すものとするすなわち、σ=[x1≧x2≧...≧xn]であり、式中、各xi∈Uであり、|U|=|x|であり、||はリスト内のアイテム数を表す。1つの例では、τ1...τkは、ユーザー提供選好情報に基づくコレクションU内のアイテムの個人のランキングを表し、各τiはコレクションU内のアイテムの部分的な又は完全な順序付けされたリストである。この例では、個人ユーザーが生成したランキングτ1...τkのそれぞれと、アイテムのコレクションについてのグローバルランキングσとの間の隔たりを計算することによって、ユーザーが生成したランキングτ1...τkがアイテムのコレクションについてのグローバルランキングσと比較され得る。この隔たりを計算する1つの手法は、個人ユーザーが生成したランキング内のアイテムごとのスケーリングされたランクと、グローバルランキング内の同じアイテムの対応するスケーリングされたランクとの間の絶対差の和をとることを含む。ここで、個人ユーザーが生成したランキング及びグローバルランキングの双方からのランクの寄与は、それらのサイズに基づいてスケーリングされる。これは以下のように定式として表され得る。その後、この隔たりは、Fをで除算することによって正規化され得る。代替的に、異なる手法を用いて各個人ユーザーが生成したランキングτ1...τkと、アイテムのコレクションのグローバルランキングσとの間の隔たりを計算し得る。実際に、いくつかの実施態様では、個人ユーザーが生成したランキングτ1...τkのそれぞれと、アイテムのコレクションのグローバルランキングσとの間の隔たりを計算する以外の手法を用いて、個人ユーザーが生成したランキングτ1...τkのそれぞれと、アイテムのコレクションについてのグローバルランキングσとの間の類似度を比較し得る。再び図2を参照すると、ユーザー提供選好情報提出がアイテムのコレクションについてのグローバルランキング情報と比較された後、204において、個人ユーザー提供選好情報提出が、グローバルランキング情報に類似していると特定され得る。より詳細には、ユーザー提供フィードバック提出の全ての中から、或る個人ユーザー提供選好情報提出が、グローバルランキング情報に最も類似していると特定され得る。例えば、式1に関連して説明したように、個人ユーザーが生成したランキングとアイテムのコレクションについてのグローバルランキングとの間の正規化された隔たりを計算することによって、ユーザー提供選好情報提出がアイテムのコレクションについてのグローバルランキングと比較される、上記で紹介した例に再び戻ると、ユーザーが生成したランキングのうち、グローバルランキング情報への最も短い正規化された隔たりを有する個人のランキングが、グローバルランキング情報に最も類似していると特定され得る。代替的な実施態様では、個人ユーザーが生成したランキングは、個人ユーザーが生成したランキングとグローバルランキングとの間の正規化された隔たりが所定のしきい値の隔たり未満である場合、グローバルランキング情報と類似していると特定され得る。図3は、電子調査を行うプロセスの一例を示すフローチャート300である。図3のフローチャート300に示すプロセスは、例えば、図4に示され以下でより詳細に説明されるホストコンピューティングシステム402等のコンピューティングシステムによって実行され得る。より詳細には、図3のフローチャート300に示されるプロセスは、ホストコンピューティングシステム402のプロセッサ複数の場合もある408のうちの1つ又は複数によって、図4に示され以下でより詳細に説明されるアプリケーション命令406の実行結果として実行され得る。302において、ユーザーからアイテムのセットが受信される。上記で検討したように、アイテムのセットは、何らかの形態のメディア例えば、楽曲又は他のオーディオトラック、ビデオ、写真又は他のグラフィカル要素、書籍等、テキスト記述例えば事業アイディア、スローガン、新たな製品特徴等、又はアイテムの任意の他のコレクションとし得る。その後、304において、他のユーザーからのアイテムのセットに関するフィードバックを求めるオンライン調査がホスティングされる。例えば、図1A~図1Fに関連して上記で説明したように、オンライン調査は、ユーザーにアイテムのセットの中からアイテムの一連の対ごとの比較を実行するように要求する形態で実施され得る。いくつかの場合、ユーザーが行うことを要求される一連の対ごとの比較は、アイテムのセット全体を含まない場合がある。代わりに、ユーザーが行うことを要求される対ごとの比較は、セット内の全てのアイテムよりも少ないアイテムからなるサブセットを含み得る。代替的な実施態様では、オンライン調査は、ユーザーに一連の対ごとの比較を実行するように要求することによって実施されない場合がある。代わりに、オンライン調査は、ユーザーがセット内のアイテムをランク付けすること、又はユーザーがセット内のアイテムの或るサブセットをランク付けすることを要求し得る。306において、アイテムのセットに関するフィードバックがオンライン調査とのインタラクションを介してユーザーから受信される。例えば、オンライン調査が、セット内の異なるアイテム間の一連の対ごとの比較を行うことをユーザーに要求することによって実施される実施形態では、ユーザーから受信されるフィードバックは、或る特定のアイテムの他のアイテムに対する対ごとの選好の形態をとり得る。その後、ユーザーから受信した対ごとの選好に基づいて、ユーザーに公開されたセット内のアイテムのランキングが構築され得る。様々な異なる技法を用いて、ユーザーから受信した対ごとの選好情報に基づいてユーザーのランキングを構築し得る。例えば、いくつかの実施態様では、ユーザーから受信した対ごとの選好情報は、ユーザーに公開されたアイテムのランキングを導出し得た1つ又は複数のビートパスbeatpathsに変換され得る。代替的な実施態様では、イロレーティングシステムの或る変形形態スコアが各アイテムと関連付けられ、このスコアはアイテムが対ごとの比較に勝利した場合に増大し、アイテムが対ごとの比較に敗北した場合に減少し、増減の大きさはアイテムのスコアと、そのアイテムが比較されるアイテムのスコアとの差に依拠するを用いて、ユーザーから受信した対ごとの選好情報をユーザーに公開されたアイテムのランキングに変換し得る。セット内のアイテム又はセット内のアイテムの或るサブセットをランク付けするようにユーザーに要求することによってオンライン調査が実施される実施態様では、ユーザーから受信されるフィードバックは既にランキングの形態をとり得る。308において、オンライン調査に参加するユーザーは参加料を課金される。様々な異なる技法を用いてそのような参加料を徴収し得る。例えば、いくつかの実施態様では、参加料を徴収するために、クレジットカード取引を処理し得る。参加料は、電子資金移動を実行して資金をユーザーの銀行口座又は他の金融口座から、オンライン調査を運用する役割を担う関係者の銀行口座又は他の金融口座に移動することによっても徴収し得る。付加的に又は代替的に、オンライン調査はオンライン調査システムのユーザーの金融口座をホスティングし得、参加料は適切なユーザーの金融口座に借方記入することによって課金され得る。310において、調査参加者から受信した個人のフィードバック提出が編纂され、調査参加者から受信した個人のフィードバック提出に基づいて、アイテムのセットについてのグローバルランキングが生成される。ここでもまた、複数の異なる技法を用いて、調査参加者から受信した個人のフィードバック提出からアイテムのセットのグローバルランキングを生成し得る。例えば、個人のフィードバック提出が、アイテムのセットのランキング又は全てのアイテムよりも少ないアイテムからなるサブセットのランキングの形態において取得される場合、シュルツ法の変形形態を用いてアイテムのセットについてのグローバルランキングを生成し得る。代替的に、個人のフィードバック提出が対ごとの選好の形態で取得される場合、イロレーティングシステムの或る変形形態を用いて、調査参加者から受信した対ごとの選好に基づいてアイテムのセットのグローバルランキングを生成し得る。312において、個人調査参加者のそれぞれから受信したフィードバックは、アイテムのセットのグローバルランキング情報と比較される。例えば、個人調査参加者のそれぞれから受信したフィードバックは、アイテムのセット又は全てのアイテムよりも少ないアイテムからなるサブセットのランキングとして取得され、例えば、式1に関連して上記で説明したように個人調査参加者のランキングとグローバルランキング情報との間の正規化された隔たりを計算することによって、グローバルランキング情報と比較され得る。その後、314において、個人調査参加者から受信したフィードバックが、個人調査参加者のそれぞれから受信したフィードバックをグローバルランキング情報と比較したことに基づいて、グローバルランキング情報に最も類似していると特定される。例えば、個人調査参加者のそれぞれから受信したフィードバックが、個人の参加者フィードバックに基づくアイテムランキングとグローバルランキング情報との間の隔たりを計算することによってグローバルランキング情報と比較される実施態様では、個人の参加者フィードバックに基づいてアイテムランキングのうちのいずれがグローバルランキング情報に最も近いかを判断することによって、グローバルランキング情報に最も類似したフィードバックを提供した参加者が特定され得る。或る個人調査参加者から受信したフィードバックを、グローバルランキング情報に最も類似していると特定した後、316において、グローバルランキング情報に最も類似していると特定されたフィードバックを提供した個人調査参加者に金銭報酬が与えられる。様々な異なる技法を用いてこの金銭報酬を個人調査参加者に提供し得る。例えば、いくつかの実施態様では、電子資金移動を実行して、オンライン調査を運用する役割を担う関係者の銀行口座又は他の金融口座から、個人調査参加者の銀行口座又は他の金融口座に資金を移動し得る。代替的に、オンライン調査はオンライン調査システムのユーザーの金融口座をホスティングし得、金銭報酬は個人調査参加者の金融口座に貸方記入することによってその個人調査参加者に与えられ得る。金銭報酬はまた、オンライン調査を運用する役割を担う関係者の銀行口座又は他の金融口座宛てに振り出される小切手を個人調査参加者に送ることによってその個人調査参加者に与えられ得る。いくつかの実施態様では、グローバルランキングに最も類似していると特定されたフィードバックを提供した個人調査参加者に提供される金銭報酬は、他の調査参加者から徴収された参加料の総額であり得る。代替的に、金銭報酬は、他の調査参加者から徴収された参加料の総額の一部であり得、オンライン調査を運用する役割を担う関係者は、他の調査参加者から徴収された参加料の残高を、オンライン調査をホスティングする費用として保持し得る。いくつかの実施態様では、オンライン調査は、調査参加者が調査に関連して少なくともしきい値量のフィードバックを供給するまで金銭報酬を受け取る資格を得ないというポリシーを施行し得る。例えば、オンライン調査が、コレクション内のアイテムの一連の対ごとの比較を行うことを参加者に要求することによって実施される場合、オンライン調査は、参加者がしきい値数のそのような対ごとの比較を完了しない限り金銭報酬を受け取る資格を得るとし得ないというポリシーを施行し得る。図4は、ホストコンピューティングシステム402と、クライアントコンピューター404a~404nと、ネットワーク406とを備える通信システム400の一例のブロック図である。説明の目的で、図4に示され以下で説明されるいくつかの要素はモノリシックエンティティとして表される。しかしながら、これらの要素はそれぞれ、多数の相互接続されたコンピューティングデバイス、及び1組の指定の動作を実行するように設計され、互いに近接して位置しているか、又は互いから地理的に離された他の構成要素を含み及び/又はそれらに実装し得る。図4に示すように、ホストコンピューティングシステム402はネットワーク406を介してクライアントコンピューター404a~404nにアクセス可能である。クライアントコンピューター404a~404nは、例えばパーソナルコンピューター、専用コンピューター、汎用コンピューター、専用コンピューティングデバイス及び汎用コンピューティングデバイスの組合せ、ラップトップコンピューター、タブレットコンピューター、ネットブックコンピューター、スマートフォン、移動電話、携帯情報端末、並びにポータブルメディアプレーヤーを含む複数の異なるタイプのコンピューティングデバイスのうちの任意のものであり得る。クライアントコンピューター404は通常、オペレーティングシステム及びアプリケーションプログラム等のデータ及びプログラムを記憶する内部記憶構成要素又は外部記憶構成要素を有する。そのようなアプリケーションプログラムの中でも、内部記憶構成要素又は外部記憶構成要素は、ホストコンピューティングシステム402とインターフェースする専用クライアントアプリケーションを記憶し得る。代替的に、いくつかの実施態様では、クライアントコンピューター404a~404nは、専用クライアントアプリケーションなしで例えば内部記憶構成要素又は外部記憶構成要素に記憶されたウェブブラウザーアプリケーションを用いてホストコンピューティングシステム402とインターフェースし得る。クライアントコンピューター404a~404nは通常、記憶装置に記憶され及び/又は1つ若しくは複数の他の電子デバイスから例えばネットワーク406を介して受信される命令を実行する中央演算処理装置CPUも備える。さらに、クライアントコンピューター404a~404nは通例、データを送信及び/又は受信する1つ又は複数の通信デバイスも備える。そのような通信デバイスの1つの例はモデムである。他の例には、アンテナ、送受信機、通信カード、及び有線又は無線のデータ経路を通じてネットワーク406を介してデータを送受信することが可能な他のタイプのネットワークアダプターが含まれる。ネットワーク406は、ホストコンピューターシステム402とクライアントコンピューター404a~404nとの間の直接通信リンク又は間接通信リンクを、そのようなデバイスのうちの任意のものの間の物理的な分離と無関係に提供し得る。したがって、ホストコンピューターシステム402及びクライアントコンピューター404a~404nは互いに地理的に非常に近接して位置し得るか、又は代替的に、ホストコンピューターシステム402及びクライアントコンピューター404a~404nは大きな地理的隔たりによって分離され得る。ネットワーク406の例には、インターネット、ワールドワイドウェブ、広域ネットワークWAN、無線LANWLANを含むローカルエリアネットワークLAN、アナログ又はデジタルの有線電話網及び無線電話網、ラジオ、テレビ、ケーブル、衛星、及び/又はデータを搬送する任意の他の配信機構が含まれる。ホストコンピューターシステム402は、ネットワーク例えばネットワーク406を介してデータを送受信するネットワークインターフェースを含み、かつネットワーク例えばネットワーク406を介してホストコンピューターシステム402に接続された1つ又は複数のクライアントデバイス例えばクライアントコンピューター404a~404nにサービスを提供するように構成された、1つ又は複数のコンピューティングデバイス例えばサーバーを用いて実装され得る。ホストコンピューターシステム402が実装される1つ又は複数のコンピューティングデバイスは、命令を実行する1つ又は複数のプロセッサ408を含み得る。さらに、ホストコンピューターシステム402が実装される1つ又は複数のコンピューティングデバイスは、データ及びプログラムを記憶する内部記憶構成要素又は外部記憶構成要素を有し得る。データは、ランク付けされるか又はランク付けされたアイテムのコレクション410を含み得る。さらに、データはアイテムコレクション410のうちのいくつか又は全てに関するユーザー提供のランキング選好412、及び上記で検討したようにユーザー提供選好情報412に基づいて編纂されたアイテムコレクション410のうちのいくつか又は全てに関するグローバルランキング情報414も含み得る。一方、プログラムは、オペレーティングシステムと、プロセッサ408によって実行されたときに、ホストコンピューターシステム402が実装された1つ又は複数のコンピューティングデバイスに本明細書で説明されるオンライン調査機能を提供させるアプリケーション命令416とを含み得る。例えば、アプリケーション命令416は、ホストコンピューターシステム402がクライアントコンピューティングデバイス404a~404nのうちの1つ又は複数のユーザーからアイテムコレクション410を受信し記憶することを可能にし得る。さらに、アプリケーション命令416は、ホストコンピューターシステム402が、クライアントコンピューティングデバイス404a~404nのうちの1つ又は複数のユーザーからアイテムコレクション410内のアイテムのユーザー選好情報を求めるオンライン調査をホスティングし、そのようなユーザー選好情報をユーザー提供選好情報412として記憶し、このユーザー提供選好情報412に基づいてアイテムコレクション410のグローバルランキング情報414を編纂することも可能にし得る。さらに、アプリケーション命令416は、ホストコンピューターシステム402が特定のアイテムコレクション410についてのユーザー提供選好情報412を、特定のアイテムコレクションについての対応するグローバルランキング情報414と比較し、特定のアイテムコレクションについての特定のユーザー提供選好情報を、特定のアイテムコレクション410についてのグローバルランキング情報414に最も類似していると特定することも可能にし得る。アプリケーション命令416は、ホストコンピューターシステム402が、グローバルランキング情報414に最も類似していると判断された選好情報412を提供したユーザーに報酬を与えることも可能にし得る。上記で説明したように、1つの一般的な態様では、複数の様々なユーザーの名義で提出されたアイテムのセットに関連する選好情報提出を、複数の様々なユーザーの名義で提出された選好情報提出に基づいて編纂されたアイテムのセットについてのグローバルランキング情報と比較し、選好情報提出のうちの、特定のユーザーの名義で提出された個人の選好情報提出を、グローバルランキング情報に類似していると特定する。実施態様は、以下の特徴のうちの1つ又は複数を含み得る。例えば、特定のユーザーの名義で提出された個人の選好情報提出を、グローバルランキング情報に類似していると特定することは、選好情報提出の中で、特定のユーザーの名義で提出された個人の選好情報提出を、グローバルランキング情報に最も類似していると特定することを含み得る。付加的に又は代替的に、様々なユーザーの名義で提出された選好情報提出をグローバルランキング情報と比較した結果に基づいて、特定のユーザーの名義で提出された個人の選好情報提出を、グローバルランキング情報に最も類似していると特定し得る。いくつかの実施態様では、個人の選好情報提出をグローバルランキング情報に類似していると特定した結果として、特定のユーザーに報酬を与え得る。例えば、金銭報酬が、場合によってはユーザーの名義で管理されている金融口座に総額を貸方記入することによって特定のユーザー与えられ得る。さらに、様々なユーザーの名義で提出された選好情報提出を受信し得る。さらに、各選好情報提出に関連して参加料を受け取り得、特定のユーザーに与えられる金銭報酬は参加料よりも高くし得る。いくつかの実施態様では、特定のユーザーの名義で提出された個人の選好情報提出を含む、ユーザーの名義で提出された選好情報提出のうちの少なくともいくつかは、アイテムのセット全体よりも小さいアイテムのセットについての選好情報を含み得る。そのような実施態様では、複数の様々なユーザーの名義で提出されたアイテムのセットに関連する選好情報提出を、複数の様々なユーザーの名義で提出された選好情報提出に基づいて編纂されたアイテムのセットについてのグローバルランキング情報と比較することは、アイテムのセットについてのグローバル選好情報を、アイテムのセット全体よりも小さいアイテムのセットについての選好情報を含むランキング情報提出と比較することを含み得る。さらに、特定のユーザーの名義で提出された個人の選好情報提出を、グローバルランキング情報に類似していると特定することは、アイテムのセット全体よりも小さいアイテムのセットについての選好情報を含む個人の選好情報提出を、グローバルランキング情報と類似していると特定することを含み得る。アイテムのセットについてのグローバルランキング情報はアイテムのセットのランク順のリストを含み得る。そのような実施態様では、様々なユーザーの名義で提出されたアイテムのセットに関連する選好情報提出を、アイテムのセットについてのグローバルランキング情報と比較することは、アイテムのセットに関連する選好情報提出をアイテムのセットのランク順のリストと比較することを含み得る。アイテムのセットは、写真のセット又はテキスト記述のセットであり得る。したがって、写真のセット又はテキスト記述のセットに関連する複数の様々なユーザーの名義で提出された選好情報提出は、その写真のセット又はテキスト記述のセットのグローバルランキング情報セットと比較され得る。別の一般的な態様では、複数の様々なユーザーによって提供される、アイテムのセットのうちの少なくともいくつかに関するフィードバックのインジケーションindicationがアクセスされる。様々なユーザーによって提供されたフィードバックの受信したインジケーションに基づいて編纂されたアイテムのセットについてのグローバルランキング情報もアクセスされ、アイテムのセットについてのグローバルランキング情報が様々なユーザーのそれぞれによって提供されたフィードバックのインジケーションと比較される。グローバルランキング情報を、様々なユーザーのそれぞれによって提供されたフィードバックのインジケーションと比較することに基づいて、ユーザーのうちの特定のユーザーによって提供されたフィードバックがグローバルランキング情報に最も類似していると特定され、その特定のユーザーは、その特定のユーザーによって提供されたフィードバックがグローバルランキング情報に最も類似していると特定された結果として金銭報酬を与えられる。いくつかの実施態様では、アイテムのセットに関するフィードバックを提供するユーザーのそれぞれが参加料を課金され得、特定のユーザーはこの参加料よりも高い金銭報酬を与えられ得る。更に別の一般的な態様では、アイテムのセットはユーザーの名義で受信され、他のユーザーからのアイテムのセットに関するフィードバックを求めるオンライン調査がホスティングされる。オンライン調査とのインタラクションを介して複数の様々なユーザーによって提供された、アイテムのうちの少なくともいくつかに関するフィードバックのインジケーションが受信される。様々なユーザーによって提供されたフィードバックの受信したインジケーションに基づいて編纂されたアイテムのセットについてのグローバルランキング情報がアクセスされ、様々なユーザーのそれぞれによって提供されたフィードバックのインジケーションと比較される。グローバルランキング情報を、様々なユーザーのそれぞれによって提供されたフィードバックのインジケーションと比較することに基づいて、ユーザーのうちの特定のユーザーによって提供されたフィードバックがグローバルランキング情報に最も類似していると特定される。その後、その特定のユーザーは、その特定のユーザーによって提供されたフィードバックがグローバルランキング情報に最も類似していると特定された結果として金銭報酬を与えられる。いくつかの実施態様では、アイテムのセットに関するフィードバックのインジケーションが受信されたユーザーのそれぞれが参加料を課金され得、特定のユーザーはこの参加料よりも高い金銭報酬を与えられ得る。複数の実施態様が説明された。しかしながら、他の変形形態も本開示の範囲内にある。例えば、電子調査は一般に、遠隔クライアントデバイスに利用可能にされたホスティングされた電子調査との関連において上記で説明されたが、いくつかの実施態様では、電子調査はユーザーデバイスにおいて実施され得、電子調査への入力はユーザーデバイスにおいて直接受信され得る。さらに、グローバルランキング情報は概して、コレクション内のアイテムの順序付けされたリストとの関連において上記で説明されたが、そのようなグローバルランキング情報は必ずしもコレクション内の全てのアイテムの順序付けされたリストの形態を取らない場合がある。むしろ、より一般的には、グローバルランキング情報は、コレクション内のいくつかのアイテムの、コレクション内の他のアイテムに対するユーザー選好全体を単に伝達し得る。付加的に又は代替的に、いくつかの実施態様では、コレクションについての個人ユーザー選好情報は、その個人ユーザー選好情報が、グローバル選好情報と同じコレクション内のアイテムを好むと特定したという判断に基づいて、コレクションについてのグローバルランキング情報に最も類似していると特定され得る。複数の方法、技法、システム及び装置を説明してきた。説明された方法、技法、システム及び装置は、例えばコンピューター可読記憶媒体に記憶された命令を実行することによって、デジタル電子回路又はコンピューターハードウェアにおいて実施され得る。これらの技法を実施する装置は、適切な入出力デバイス、コンピュータープロセッサ、及び/又はプロセッサによって実行する命令を記憶する有形コンピューター可読記憶媒体を含み得る。本明細書において開示される技法を実施するプロセスは、有形コンピューター可読記憶媒体に記憶された命令を実行して所望の機能を実行するプロセッサによって、入力データに対し動作し、適切な出力を生成することにより実行され得る。適切なプロセッサは、例として、汎用マイクロプロセッサ及び専用マイクロプロセッサの双方を含む。実行可能な命令を記憶する適切なコンピューター可読記憶デバイスは、例として、消去可能なプログラマブルリードオンリーメモリEPROM、電気的に消去可能なプログラマブルリードオンリーメモリEEPROM及びフラッシュメモリデバイス等の半導体メモリデバイス、固定ディスク、フロッピー登録商標ディスク及びリムーバブルディスク等の磁気ディスク、テープを含む他の磁気媒体、並びにコンパクトディスクCD又はデジタルビデオディスクDVD等の光学媒体を含む、全ての形態の不揮発性メモリを含む。上記のうちの任意のものを、特別に設計された特定用途向け集積回路ASICによって補うか又はASICに組み込み得る。開示した技法の動作は、或る特定の順序及び/又は或る特定の組合せで実行されるものとして本明細書において説明され得るが、個々の動作は異なる順序で再構成され、本明細書において説明した他の動作との組合せで実行され、及び/又は削除され得るが、それでも所望の結果が達成され得る。同様に、開示したシステム内の構成要素は、異なる方式で組み合わされ、及び/又は他の構成要素と置き換えられるか若しくは他の構成要素によって補われ得るが、それでも所望の結果が達成され得る。