コンピュータビジョンのうち、画像のラベリングはコンピュータが単独で行うのが困難なタスクである。人間は画像のラベリングについて完全な能力を有しているが、喜んでそれを進んでする必要性はない。そこで、このタスクを「ゲーム」として作成することで、人々をよりラベリングに参加しやすくすることが考えられた。参加者にどの程度ゲームを楽しめたか訊くと、ユーザから集められたデータは非常に肯定的なものだった。
その応用や、大量ののラベルづけされた画像の利用は重要な結果をもたらした。例えば、画像検索がより正確になったり、画像のラベルを読み上げることにより、視覚障害のあるユーザのアクセシビリティが向上した。画像をラベリングするために2人組のそれぞれをパートナーとするルールは、入力されるラベルがより正確になる可能性を高くする。パートナーと共通して表示される情報は両者が見ている画像だけであり、両者は合意を得るために妥当なラベルを入力しなくてはならないからだ。
ESPゲームの筆者は、このゲームによって生成されたラベルが実際に画像の説明として利用可能であることを示した。ランダムに選ばれたキーワードの検索結果が提示され、ゲームによって生成されたラベルを用いて検索した時の適切な画像の割合が極めて高いことが示された。さらなる評価検証では、ゲームによって生成されたラベルが画像を説明しているかが、実験参加者によって比較され、目標を達成していることが確かめられた。
ゲームのルール.
基本ルール.
両者には「パス」するという選択肢がある。「パス」はその画像についてギブアップするということである。パートナーが「パス」を行うと、2人組のもう片方のユーザーには、パートナーが「パス」を望んでいるというメッセージが表示される。両者が「パス」を選択すると、新しい画像が表示される。
ときどき、ユーザーはゲームを（人間のパートナー無しで）1人だけでプレイすることがある。この場合は、ESPゲーム自身がパートナーとなり、すでに画像に付与されているラベルを、相方である人間のプレイヤーに対して提供する（それらのラベルは以前のゲームで実際の人間が付与したものである）。この仕組みはゲームを遊んでいるプレイヤーの人数が奇数である際に必要となる。
不正行為とその対策.