(57)【要約】  オブジェクトの識別を促す入力要求に応答して、第１ユーザに関連した表示装置１０２ａで表示される画像１２２ａの一部分に対する第１標識が受信される。次いで、上記オブジェクトの識別を促す入力要求に応答して、第２ユーザに関連した表示装置１０２ｂで表示される上記画像１２２ａの一部分に対する第２標識が受信される。次いで、上記第１標識及び上記第２標識に基づいて、上記画像中の関心領域が特定される。次いで、上記関心領域が、上記オブジェクトの識別子に関連付けられる。次いで、上記画像１２２ａ中の上記関心領域に、指示子が関連付けられる。上記指示子は、上記オブジェクトに関する情報を提供するように構成される。上記画像１２２ａの表示に続いて、上記画像１２２ａ中の上記関心領域に関連付けられた上記指示子の表示が可能となる。
2011530772.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータ実行方法であって、
少なくとも１つのプロセッサにより、第１ユーザに関連した表示装置で表示される画像の一部分に対する第１標識を受信する段階と、
少なくとも１つのプロセッサにより、第２ユーザに関連した表示装置で表示される前記画像の一部分に対する第２標識を受信する段階と、
少なくとも１つのプロセッサにより、前記第１標識及び前記第２標識に基づいて、前記画像中の関心領域を特定する段階と、
少なくとも１つのプロセッサにより、オブジェクトの識別子に前記関心領域を関連付ける段階と、
少なくとも１つのプロセッサにより、前記画像中の前記関心領域に指示子を関連付ける段階と、
少なくとも１つのプロセッサにより、前記画像の表示に続いて、前記画像中の前記関心領域に関連付けられた前記指示子を表示させる段階と
を有し、
前記第１標識は、前記オブジェクトの識別を促す入力要求への応答として受信され、
前記第２標識は、前記オブジェクトの識別を促す入力要求への応答として受信され、
前記指示子は、前記オブジェクトに関する情報を提供するように構成されることを特徴とする方法。
【請求項２】
コンピュータ実行方法であって、
少なくとも１つのプロセッサにより、画像の一部分に対する複数の標識を受信する段階と、
少なくとも１つのプロセッサにより、前記複数の標識のうち、共通の関連するオブジェクト識別子を有した標識に基づいて、前記画像中の関心領域を特定する段階と、
少なくとも１つのプロセッサにより、特定した前記関心領域に前記共通の関連するオブジェクト識別子を関連付ける段階と
を有し、
前記画像は、画像群のうちの一画像であり、
前記複数の標識のそれぞれは、関連するオブジェクトのオブジェクト識別子を有することを特徴とする方法。
【請求項３】
前記標識には、さらにユーザが関連付けられており、
各ユーザには、ユーザ評価点が関連付けられており、
前記複数の標識のうち、共通の関連するオブジェクト識別子を有した標識に基づいて、前記画像中の関心領域を特定する前記段階が、前記複数の標識のうち、共通の関連するオブジェクト識別子を有し、かつしきい値ユーザ評価点よりも高い関連するユーザ評価点を得た関連するユーザを有した標識に基づいて、前記画像中の関心領域を特定する段階であることを特徴とする請求項２に記載の方法。
【請求項４】
前記画像群中の１つ以上の画像に目標領域を定義する段階と、
受信した標識が目標領域の一部分を示すか否かを判断する段階と
をさらに有することを特徴とする請求項２に記載の方法。
【請求項５】
前記標識には、さらにユーザが関連付けられており、
受信した標識が目標領域の一部分を示すと判断された場合、前記受信した標識に関連付けられたユーザに対価を与える段階をさらに有することを特徴とする請求項４に記載の方法。
【請求項６】
不正な標識を特定する段階をさらに有し、
前記複数の標識のうち、共通の関連するオブジェクト識別子を有した標識に基づいて、前記画像中の関心領域を特定する前記段階が、前記複数の標識のうち、共通の関連するオブジェクト識別子を有し、かつ不正でないと判断された標識に基づいて、前記画像中の関心領域を特定する段階であることを特徴とする請求項２に記載の方法。
【請求項７】
前記特定した関心領域にユーザ選択可能なリンクを関連付ける段階をさらに有することを特徴とする請求項２に記載の方法。
【請求項８】
前記画像群が、ビデオコンテンツアイテムであることを特徴とする請求項２に記載の方法。
【請求項９】
前記画像群が、地図アプリケーションの一部分であることを特徴とする請求項２に記載の方法。
【請求項１０】
データ格納部と、
プロセッサと
を具備し、
前記データ格納部は、
複数の画像と、
画像の一部分に対する標識であって、前記複数の画像に関連する複数の標識と
を格納するように構成され、
前記プロセッサは、
ある画像の一部分に対する複数の標識のうち、共通のオブジェクト識別子に関連付けられた標識を特定する手順と、
特定した前記標識の指し示す画像部分に基づいて、前記画像中の関心領域を特定する手順と、
特定した前記関心領域に前記共通のオブジェクト識別子を関連付ける手順と
を実行するように構成され、
前記標識は、
関連するオブジェクトのオブジェクト識別子と、
関連するユーザと
を有することを特徴とするシステム。
【請求項１１】
前記プロセッサが、
前記データ格納部に格納された不正な標識を特定する手順と、
前記不正な標識を前記データ格納部から取り除く手順と
を実行するようにさらに構成されることを特徴とする請求項１０に記載のシステム。
【請求項１２】
前記プロセッサが、
標識に関連付けられた各ユーザに対して評価点を付ける手順と、
しきい値評価点よりも低い評価点が付けられた関連するユーザを有した標識を前記データ格納部から取り除く手順と
を実行するようにさらに構成されることを特徴とする請求項１０に記載のシステム。
【請求項１３】
コンピュータ読み取り可能な記録媒体に格納されたコンピュータプログラム命令であって、
コンピュータによって実行されたとき、前記コンピュータに、
第１ユーザに関連した表示装置で表示される画像の一部分に対する第１標識を受信する手順と、
第２ユーザに関連した表示装置で表示される前記画像の一部分に対する第２標識を受信する手順と、
前記第１標識及び前記第２標識に基づいて、前記画像中の関心領域を特定する手順と、
オブジェクトの識別子に前記関心領域を関連付ける手順と、
前記画像中の前記関心領域に指示子を関連付ける手順と、
前記画像の表示に続いて、前記画像中の前記関心領域に関連付けられた前記指示子を表示させる手順と
を実行させ、
前記第１標識は、前記オブジェクトの識別を促す入力要求への応答として受信され、
前記第２標識は、前記オブジェクトの識別を促す入力要求への応答として受信され、
前記指示子は、前記オブジェクトに関する情報を提供するように構成されることを特徴とするコンピュータプログラム命令。
【請求項１４】
コンピュータ読み取り可能な記録媒体に格納されたコンピュータプログラム命令であって、
コンピュータによって実行されたとき、前記コンピュータに、
画像の一部分に対する複数の標識を受信する手順と、
前記複数の標識のうち、共通の関連するオブジェクト識別子を有した標識に基づいて、前記画像中の関心領域を特定する手順と、
特定した前記関心領域に前記共通の関連するオブジェクト識別子を関連付ける手順と
を実行させ、
前記画像は、画像群のうちの一画像であり、
前記複数の標識のそれぞれは、関連するオブジェクトのオブジェクト識別子を有することを特徴とするコンピュータプログラム命令。
【請求項１５】
前記標識には、さらにユーザが関連付けられており、
各ユーザには、ユーザ評価点が関連付けられており、
前記複数の標識のうち、共通の関連するオブジェクト識別子を有した標識に基づいて、前記画像中の関心領域を特定する前記手順が、前記複数の標識のうち、共通の関連するオブジェクト識別子を有し、かつしきい値ユーザ評価点よりも高い関連するユーザ評価点を得た関連するユーザを有した標識に基づいて、前記画像中の関心領域を特定する手順であることを特徴とする請求項１４に記載のコンピュータプログラム命令。
【請求項１６】
前記コンピュータに、
前記画像群中の１つ以上の画像に目標領域を定義する手順と、
受信した標識が目標領域の一部分を示すか否かを判断する手順と
をさらに実行させることを特徴とする請求項１４に記載のコンピュータプログラム命令。
【請求項１７】
前記標識には、さらにユーザが関連付けられており、
前記コンピュータに、
受信した標識が目標領域の一部分を示すと判断された場合、前記受信した標識に関連付けられたユーザに対価を与える手順をさらに実行させることを特徴とする請求項１６に記載のコンピュータプログラム命令。
【請求項１８】
前記コンピュータに、
不正な標識を特定する手順をさらに実行させ、
前記複数の標識のうち、共通の関連するオブジェクト識別子を有した標識に基づいて、前記画像中の関心領域を特定する前記手順が、前記複数の標識のうち、共通の関連するオブジェクト識別子を有し、かつ不正でないと判断された標識に基づいて、前記画像中の関心領域を特定する手順であることを特徴とする請求項１４に記載のコンピュータプログラム命令。
【請求項１９】
前記コンピュータに、
前記特定した関心領域にユーザ選択可能なリンクを関連付ける手順をさらに実行させることを特徴とする請求項１４に記載のコンピュータプログラム命令。
【請求項２０】
前記画像群が、ビデオコンテンツアイテムであることを特徴とする請求項１４に記載のコンピュータプログラム命令。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、２００８年８月１１日に出願された「Object Identification in Images」と題された米国特許仮出願第６１／１８８，７４８号と、２００９年８月１０日に出願された「Object Identification in Images」と題された米国特許出願第１２／５３８，２８３号との優先権を主張するものであり、それらの開示の内容が、引用によって本明細書に組み込まれる。
【０００２】
この開示は、オブジェクトの識別に関する。
【背景技術】
【０００３】
インターネットには、非常に多くの画像が存在し、そのうちのいくつかは、表示可能な情報に関連付けられている。例えば、ユーザは、犬の画像を選択して、犬についての情報、例えば、品種、名称などを入手することができる。
【発明の概要】
【課題を解決するための手段】
【０００４】
オブジェクトの識別を促す入力要求に応答して、第１ユーザに関連した表示装置で表示される画像の一部分に対する第１標識（indication）が受信される。次いで、上記オブジェクトの識別を促す入力要求に応答して、第２ユーザに関連した表示装置で表示される上記画像の一部分に対する第２標識が受信される。次いで、上記第１標識及び上記第２標識に基づいて、上記画像中の関心領域（region-of-interest）が特定される。次いで、上記関心領域が、上記オブジェクトの識別子（identifier）に関連付けられる。次いで、上記画像中の上記関心領域に、指示子（designator）が関連付けられる。上記指示子は、上記オブジェクトに関する情報を提供するように構成される。上記画像の表示に続いて、上記画像中の上記関心領域に関連付けられた上記指示子の表示を行うことができる。
【０００５】
本発明の１つ以上の実施形態の詳細は、添付の図面及び以下の記載によって説明される。本発明のその他の特徴、目的、及び利点は、そのような記載、図面、及び特許請求の範囲から明らかとなる。
【図面の簡単な説明】
【０００６】
【図１】画像中の関心領域を特定する例示的な環境１００のブロック図である。
【図２】画像の各部分に対する標識を提供するための例示的なユーザインタフェースを示す図である。
【図３】画像の各部分に対する標識を提供するための例示的なユーザインタフェースを示す図である。
【図４】画像の各部分に対する標識を提供するための例示的なユーザインタフェースを示す図である。
【図５】特定された関心領域を含む例示的な画像を示す図である。
【図６】関心領域を含む画像を表示するための例示的なユーザインタフェースを示す図である。
【図７】画像中の関心領域を特定するための例示的なプロセスフロー図である。
【図８】画像中の関心領域を特定するための例示的なプロセスフロー図である。
【図９】本明細書に記載のシステム及び方法を実現するために使用可能な例示的なコンピュータシステムのブロック図である。
【発明を実施するための形態】
【０００７】
各図面において、類似の参照数字及び参照符号は、類似の要素を指す。
【０００８】
図１は、ユーザによる画像中の関心領域の特定機能を有した例示的な環境１００を示す。ある実施形態では、一般的に、ユーザは、自身のアクセス可能な表示装置に表示された画像において、特定のタイプのオブジェクト（例えば、犬、車、建物など）が現れた位置を識別することができる。オブジェクトのタイプ及び画像中の位置が記録され、その後のオブジェクトのタイプに基づく画像検索を可能とする。
【０００９】
ある実施形態では、ユーザによる画像中のオブジェクトのタイプの識別を促進するために、ユーザ達が複数の画像に目を通し、特定の画像中の特定のオブジェクトを識別する励みとなる「画像宝探し（image treasure hunt）」機能がホストされる。一実施例では、犬の姿を含む特定の画像が「画像宝探し」のターゲットとして選択され、宝探しゲームに参加するユーザ達には、ターゲットが犬であることが知らされる。次いで、ユーザは、複数の画像の中をくまなく探し、「画像宝探し」のターゲットである犬の特定の画像を見つけ出す。ユーザは、犬の姿を含む画像を見つける度に、画像中の犬の位置を指し示し、画像中の犬が「画像宝探し」のターゲットであるか否かを確かめる。ユーザ達はさまざまな画像中で犬の姿を見つけ出すので、そのような画像中の犬の位置の情報を記録しておくことにより、以後、画像に含まれた犬の姿に基づく各画像の検索が可能となる。すなわち、「画像宝探し」は、画像に含まれたオブジェクトのタイプを分類（カタログ化）する手助けを行う。
【００１０】
具体的には、環境１００は、ネットワーク１１５を介して複数のクライアントデバイス１０２ａ，１０２ｂに画像を提供するように構成された画像サーバ１２０を具備する。
【００１１】
画像サーバ１２０は、複数の画像（例えば、画像１２２ａ）を格納する画像格納部１２２を具備する。画像格納部１２２及び画像標識格納部１２３は、例えば、リレーショナルデータベースや分散型ファイルシステムなどを含むさまざまなデータ格納技術を用いて実現できる。ある実施形態では、画像格納部１２２は、地図上の住所又は位置に対応する画像を備えた地図アプリケーションの一部分となる。さらに、又は、あるいは、複数の画像又は複数の画像のうちのいくつかの画像は、例えば、ビデオコンテンツアイテムの各コマ（各フレーム）であってもよい。
【００１２】
また、画像サーバ１２０は、画像標識格納部１２３を具備する。画像標識格納部１２３は、画像格納部１２２に格納された画像中のオブジェクトに対する標識（例えば、標識１２３ａ）を格納する。１つの画像標識は、画像格納部１２２内の１つの画像に関連付けられる。画像標識は、例えば、複数のクライアントデバイス１０２ａ，１０２ｂにおいて画像を見たユーザから受け取る情報である。
【００１３】
画像標識は、関連する画像の一部分を指し示す。ある実施形態では、上記部分は、関連する画像中の１ピクセルからなる位置又はピクセル集合からなる位置を示すか、又はそのような位置を表す。さらに、又は、あるいは、上記部分は、例えば、画像中の一部分又は画像に関係する部分の境界座標であるか、又はそのような境界座標を表す。画像中のあるエリアを示すために、その他の技術が使用されてよい。
【００１４】
画像標識は、画像格納部１２２内の関連する画像に含まれるオブジェクトのオブジェクト識別子に関連付けられる。例えば、オブジェクト識別子は、指し示された部分によってその特定がなされたことが示される、画像中の特定のオブジェクトを識別する。より詳細な実施例では、識別子は、画像中のオブジェクトが犬であること、特定の品種の犬であること、又は、特定の状況下又は活動下の犬（例えば、浜辺にいる犬、ドッグショーに出演中の犬、フリスビーで遊んでいるジャーマンシェパードなど）であることを示す。ある実施形態では、識別子の表すものがさらに細分化される。
【００１５】
ある実施形態では、オブジェクト識別子は、クライアントデバイス１０２ａ又はクライアントデバイス１０２ｂのユーザによって提供される。画像１２１ａの一部分に対する標識は、ユーザ識別子にさらに関連付けられる。ユーザ識別子は、画像の一部分の特定の標識を得るきっかけとなった画像選択を行なったユーザを識別する識別子である。ユーザ識別子は匿名化されており、そのような識別子は、関連付けられた人物を特定するために使用できないが、その一方で、例えば、識別がなされた国や地域を特定することはできる。
【００１６】
画像サーバ１２０は、関心領域エンジン１２５をさらに具備する。関心領域エンジン１２５は、複数の画像に関連付けられた複数の画像部分標識のうち、共通のオブジェクト識別子を有した標識を用いて、画像格納部１２２に格納された複数の画像における関心領域の特定を行う。ある実施形態では、関心領域エンジン１２５は、画像中で指し示された複数の部分を組み合わせることによって関心領域を特定する。例えば、ある画像が共通のオブジェクト識別子「木」を有した当該画像の一部分に関連する４つの標識を有している場合、その関心領域は、標識の指し示す４つの画像部分を用いた組み合わせ、外挿による推定、又はその他の処理を行い、画像の境界を決定又は近似することによって特定される。
【００１７】
さらに、又は、あるいは、関心領域エンジン１２５は、複数の指し示された画像部分を用いて関心領域を特定し、複数の指し示された画像部分を取り囲むか、又はそのような部分に関連付けられるエリア又は形状を生成する。例えば、画像１２２ａが４つの関連する画像部分標識を有する場合、関心領域エンジン１２５は、４つの指し示された画像部分を含む形状、例えば、円として関心領域を特定する。形状は、例えば、「適合の度合い（best fit）」又はその他の形状生成アルゴリズムを用いて生成される。
【００１８】
ある実施形態では、関心領域エンジン１２５は、関心領域の特定を行う前に、信頼性の低い標識、不正確な標識、誤った標識、又は不正な標識（以下、これらをまとめて、「信頼性の低い標識」と称する）の特定及び除去を行う。ある実施形態では、関心領域エンジン１２５は、関連するユーザ識別子を用いて、信頼性の低い画像部分標識を特定する。例えば、ユーザ識別子には、関連するユーザ評価点（スコア）の情報が含まれる。ユーザ評価点は、ユーザ識別子に関連付けられた画像部分標識の数の情報を含むさまざまな因子に基づく情報であり（例えば、多数の関連する標識が関連付けられたユーザ識別子は、少数の関連する標識が関連付けられたユーザ識別子よりも信頼できる）、かつ、他のユーザ達からのフィードバックを反映した情報である（例えば、他のユーザ達が標識の的確さについて評価を行う）。関心領域エンジン１２５は、信頼性の裏づけのある標識、例えば、信頼性についてのしきい値評価点よりも高いユーザ評価点を有したユーザを識別する関連するユーザ識別子を有した標識だけを取り扱う。
【００１９】
ある実施形態では、関心領域エンジン１２５は、共通のオブジェクト識別子を有した他の複数の標識と大きく異なっている標識を特定することによって、信頼性の低い画像部分標識を特定する。共通のオブジェクト識別子を有する複数の画像部分標識は、互いに密集する（クラスター化する）か、又は、同一画像中で互いに近接して位置する可能性が高い。故に、ある標識が他の複数の標識とは異なる画像領域に位置している場合、当該標識は、信頼性が低く、関心領域エンジン１２５による関心領域の特定に使用されない。例えば、画像中の「木」オブジェクトに関連付けられた複数の画像部分標識の大部分が画像の下４分の１にほぼ位置しており、一方、外れ値標識が画像の上４分の１に位置している場合、そのような上４分の１に位置する標識は、信頼性が低いと見なされる。故に、関心領域エンジン１２５は、例えば、信頼性の低い標識を除外して関心領域の特定を行う。
【００２０】
画像サーバ１２０は、画像部分標識及び関連するオブジェクト識別子を提供するために、ユーザに報酬を与える。報酬は、画像中の目的（ターゲット）又は目標（ゴール）部分を発見又は特定するためのコンテストの体裁を取って提供される。コンテストには、賞品・賞金が付き物であるが、必ずしも対価が必要となるわけではない。ある実施形態では、興行者（プロモータ）サーバ１３０は、目標又は目的領域又はオブジェクトとして、１つ以上の画像１２２ａ中の関心領域の指示子を送信する。例えば、スポーツカーのプロモータは、画像格納部１２２から、スポーツカーの姿を含んだ画像１２２ａを選択する。プロモータは、スポーツカーに対応する画像中の関心領域を特定し、目標領域として関心領域に指定する。プロモータ１３０は、「画像宝探し」などのコンテストのスポンサーとなり、その場合、コンテスト参加者は、画像格納部１２２中のスポーツカーに対応する画像１２２ａの一部分を指し示すように求められる。参加者は、画像１２２ａ中の目標領域に対応する画像部分標識を提供した場合に、例えば、賞品・賞金を獲得する。コンテスト中に参加者から受信した画像部分標識は、画像格納部１２２の画像中の関心領域を特定して、当該関心領域にスポーツカーに対応するオブジェクト識別子を関連付けるために使用できる。コンテストを介して、プロモータ１３０は、ユーザに報酬を与えることで、例えば、画像格納部１２２中のスポーツカーに対応する画像部分標識を得ることができる。
【００２１】
画像サーバ１２０及び関心領域エンジン１２５は、それぞれ独立したコンピュータシステムであってよく、又は、複数のコンピュータ（例えば、サーバファーム）や地理的に分散配置されたコンピュータからなる分散型コンピュータシステムであってもよい。実施例として、図９に例示的なコンピュータシステム形態を示す。
【００２２】
複数のクライアントデバイス１０２ａ，１０２ｂは、ネットワーク化が可能なさまざまなデバイスであり、例えば、デスクトップ型及びラップトップ型のコンピュータ、ＰＤＡ（Personal Digital Assistant）、携帯電話機、スマートフォン、電子メール送信可能なポータブルデバイス、ポータブルメディアプレイヤ（音楽再生装置や動画再生装置など）、ゲーム機（ビデオゲームコンソール）、ポータブルゲーム機、セットトップボックス、又はそれらの組み合わせなどであってよい。
【００２３】
複数のクライアントデバイス１０２ａ，１０２ｂは、画像サーバ１２０から画像を受信して表示するようにそれぞれ構成される。また、複数のクライアントデバイス１０２ａ，１０２ｂは、ユーザによる、表示された画像中のオブジェクトに対する標識の特定を可能とするように構成される。
【００２４】
例えば、ユーザは、クライアントデバイス１０２ａ又はクライアントデバイス１０２ｂで表示された画像中の「木」に対応するオブジェクトをクリックするか又はその他の手段によって選択する。オブジェクトの選択の後、ユーザは、選択した画像部分に対応するオブジェクト識別子を提供するように求められる。したがって、ユーザは、例えば、選択物が「木」であることを、「木」と入力することによって、又は表示された選択肢一式のうちの１つを選択することにより、識別子を提供してもよい。
【００２５】
ある実施形態では、オブジェクト識別子は、ユーザが標識を提供する前に決定されている。例えば、クライアントデバイス１０２ａ又はクライアントデバイス１０２ｂのユーザは、コンテスト又はプロモーションの一環として、表示された画像中のオブジェクト「車」を識別することが求められる。したがって、例えば、ユーザの選択した、又は、ユーザによって標識が与えられたあらゆる画像部分は、「車」のオブジェクト識別子に関連付けられる。
【００２６】
複数のクライアントデバイス１０２ａ，１０２ｂは、表示された画像中のオブジェクトに対する標識を画像サーバ１２０に送信するようにそれぞれ構成される。その他の非クライアント−サーバ型構成が用いられてもよい。
【００２７】
標識は、表示装置で画像を見たユーザによって送信される。画像の一部分に対する標識は、ユーザがオブジェクトに対応すると感じた表示された画像中の領域を指示又は指定する。特定の画像に関連付けられた受信した標識は、画像中のオブジェクトに対応する画像中の関心領域を特定するために使用される。次いで、関心領域は、ユーザ選択可能なリンクに関連付けられる。ユーザ選択可能なリンクは、その選択時に、当該オブジェクトに関する情報の表示を可能とするように構成される。以後、ユーザが画像を要求した際には、要求した画像と共に、関心領域に関連付けられたユーザ選択可能なリンクがユーザに提供される。次いで、ユーザ選択可能なリンクにユーザがアクセスした場合には、当該オブジェクトに関する情報がユーザに提供される。
【００２８】
例えば、ユーザは、オブジェクト「犬」を含む画像を見る。ユーザは、オブジェクト「犬」に対応する画像部分の標識を提供する。例えば、ユーザは、画像中の犬の姿をクリックすることによって、又は、画像中の犬の姿を囲むことによって標識を提供する。画像中の犬の姿に対応する関心領域は、画像部分標識を用いて特定される。例えば、受信した標識を組み合わせること又は集約することによって、画像中の関心領域を特定できる。関心領域には、オブジェクト「犬」についての情報を提供するように構成されたハイパーリンク又はその他のユーザ選択可能なリンクが関連付けられる。以後、ユーザが画像を見て、画像中の関心領域をクリックするか又はその他の手段によって選択した際、リンクが機能して、犬についての情報がユーザに提供される。例えば、犬について記されたウェブページが取り出されて、ユーザに表示されるか、又は、犬についての情報を含んだポップアップウィンドウが画像中の関心領域の近辺に表示される。
【００２９】
また、ある実施形態では、複数のクライアントデバイス１０２ａ，１０２ｂは、画像中のオブジェクトの標識と一緒に、ユーザ識別子を提供する。ユーザ識別子は、例えば、クライアントデバイス１０２ａ又はクライアントデバイス１０２ｂにおいて、クッキー又はその他のファイルに格納される。ある実施形態では、ユーザ識別子は、標識を与えるより前に、ユーザによって提供される。例えば、ユーザは、画像部分標識を提供する前に、画像サーバ１２０にログインするか、又は、その他の方法で自身の識別を行う。さらに、ユーザ識別子は、例えば、そのようなユーザ識別子に関連付けられた人物を特定するために使用できないよう、匿名性を有する。
【００３０】
ネットワーク１１５は、さまざまなパブリックネットワーク及びプライベートネットワークであり、例えば、公衆交換電話網、携帯電話網、及び／又はインターネットなどであってよい。
【００３１】
図２ないし４は、画像内のオブジェクトに対してユーザが標識を提供可能とするように構成された例示的なユーザインタフェース２００を示す。より詳細には、ユーザインタフェース２００は、ユーザに画像の一部分に対する標識を提供させる。ユーザインタフェース２００は、クライアントデバイス（例えば、複数のクライアントデバイス１０２ａ，１０２ｂ）上に表示される。図２ないし４に示された実施例では、３人のユーザ、すなわち、ユーザＡ、ユーザＢ、及びユーザＣが、画像部分標識を提供する。ある実施形態では、ユーザ達は、「画像宝探し」などのコンテスト又はプロモーションの一環として、標識を提供する。プロモータ（例えば、プロモータデバイス１３０を使用するプロモータ）は、目標領域として、画像格納部１２２中の特定の画像１２２ａ中に関心領域を定義する。
【００３２】
コンテストの参加者達は、画像格納部１２２内の画像中のオブジェクトをクリックすること又はその他の手段で選択することによって、画像格納部１２２内の多数の画像の中の目標領域を見つけ出すように求められる。参加者は、目標領域に含まれるオブジェクトを選択できた場合に、賞品・賞金又は何らかの対価を得る。
【００３３】
図２ないし４に示された実施例では、画像格納部１２２は、住所に対応する画像のデータベースである。画像格納部１２２は、例えば、地図アプリケーションの一部分であってよい。コンテストの一環として、プロモータは、目標領域として、特定の番地に対応する１つ以上の画像１２２ａ中の特定の車の画像の領域を選択する。３人のユーザＡ，Ｂ，Ｃは、ユーザインタフェース２００を用いて、目標領域の位置を突き止めることを求められる。
【００３４】
ユーザインタフェース２００は、目標表示２２０を含む。目標表示２２０は、ユーザを識別するとともに、ユーザの参加しているコンテストの目標について記述したメッセージを提供する。例えば、図２では、ゴール表示２２０は、「Ｗｅｌｃｏｍｅ Ｕｓｅｒ Ａ． Ｃｌｉｃｋ ｏｎ Ｃａｒｓ ｉｎ ｔｈｅ ｉｍａｇｅ ｂｅｌｏｗ（ようこそ、ユーザＡさん。以下の画像中の車をクリックして下さい。）」と表示している。上記メッセージは、ユーザをユーザＡとして識別したことを示すとともに、ユーザに、ウィンドウ２３０に表示された画像中の車の位置を特定するように指示している。ある実施形態では、ユーザには、ログイン、クッキー、又はその他の識別手段を介して身分証明が提供されることで、コンテストに対して、かつ目標表示２２０において、ユーザの識別が可能となっている。
【００３５】
ユーザインタフェース２００は、住所選択フィールド２１０を含む。住所選択フィールド２１０は、ユーザによって入力された住所を受信するように構成される。図２ないし４に示すように、各ユーザは、住所「１２３ Ｍａｉｎ ｓｔｒｅｅｔ， Ｍｏｕｎｔａｉｎ ｖｉｅｗ， Ｃａ．」を入力する。「Ｓｅａｒｃｈ」ボタンを用いて入力した住所を送信した後、例えば、当該住所の情報は、画像サーバ１２０に送られ、その応答として、画像サーバ１２０から、送信した住所に対応する画像１２２ａが送り返される。画像１２２ａは、例えば、クライアントデバイス１２２ａで受信され、表示される。図２ないし４に示すように、対応する画像１２２ａは、例えば、表示ウィンドウ２３０に表示される。
【００３６】
表示ウィンドウ２３０は、アドレス選択フィールド２１０に与えられた住所に関連した画像１２２ａを表示する。さらに、クライアントデバイス１０２ａは、表示ウィンドウ２３０で示された画像の一部分に対する標識又は複数の部分に対する複数の標識をユーザから受信するように構成される。図２ないし４に示すように、ユーザは、カーソル２４０を使用して、画像の一部分に対する標識を提供する。３人のユーザＡ，Ｂ，Ｃによって指し示された画像部分が、図２ないし４に、部分２５０、部分３５０、及び部分４５０として示されている。
【００３７】
図２ないし４に示した実施例では、３人のユーザが、目標領域の位置を特定すためのコンテストに参加している。図２ないし４の目標表示２２０において示されるように、ユーザ達は、特定の車に対応する目標領域の位置を特定することを求められている。したがって、各ユーザは、表示ウィンドウ２３０に示された画像中のオブジェクト「車」を選択している。
【００３８】
複数のユーザによってなされた各選択からは、画像の一部分に対する標識が得られる。例えば、図２に画像部分２５０として示されたように、ユーザＡは、オブジェクト「車」の天井付近を選択した。図３に画像部分３５０として示されたように、ユーザＢは、オブジェクト「車」のトランク付近を選択した。図４に画像部分４５０として示されたように、ユーザＣは、オブジェクト「車」の側面付近を選択した。画像の一部分に対する複数の標識２５０，３５０，４５０は、画像サーバ１２０に送信される。例えば、そのような部分は、当該画像に関連付けられるとともに、画像標識格納部１２３に格納される。
【００３９】
さらに、複数の標識２５０，３５０，４５０は、オブジェクト識別子及び／又はユーザ識別子に関連付けられてよい。ユーザ達は車に対応する目標領域の位置を特定するコンテストに参加しているので、ユーザから受信した複数の標識は、オブジェクト識別子「車」に関連付けることができる。各標識は、その標識を提供したユーザを識別するユーザ識別子にさらに関連付けることができる。
【００４０】
図５は、特定した関心領域を含む例示的な画像５００を示す。図２ないし４に関して先に記載した実施例と同様に、画像サーバ１２０に送信した複数の画像部分標識２５０，３５０，４５０の結果として、各ユーザＡ，Ｂ，Ｃによる、画像５００に示された車オブジェクトに対する選択がなされている。
【００４１】
受信した複数の画像部分２５０，３５０，４５０の標識は、画像５００中の関心領域５５０の特定に使用される。関心領域は、例えば、関心領域エンジン１２５によって特定される。ある実施形態では、関心領域は、同一のオブジェクト識別子を有した画像において、受信した１つ以上の標識に対応する画像部分の複数のピクセルの組み合わせによって特定される。例えば、関心領域５５０は、車オブジェクトに関連付けられた複数の画像部分（すなわち、３つの画像部分２５０，３５０，４５０）によって示された複数のピクセルを組み合わせることによって特定される。ある実施形態では、関心領域５５０は、同一のオブジェクトに関連付けられた複数の画像部分を取り囲む形状又はエリアを生成することによって特定される。
【００４２】
図示の通り、関心領域５５０は、車についての共通のオブジェクト識別子を有した複数の画像部分２５０，３５０，４５０を含むように特定がなされたエリアである。関心領域５５０の境界には、複数の画像部分２５０，３５０，４５０の境界含まれるが、そのような特定がなされなかった画像部分もまた含まれる。画像中のオブジェクトが連続的なものである場合には、指し示された複数の画像部分間のエリアも、画像中のオブジェクトに関連付けられることとなる。
【００４３】
特定した関心領域５５０は、オブジェクトに対する標識に関連付けられる。先に記載した実施例と同様に、関心領域５５０は、例えば、車オブジェクトに対する標識に関連付けられる。さらに、特定した関心領域５５０は、ユーザ選択可能なリンクに関連付けられる。ユーザ選択可能なリンクは、関心領域５５０に関連付けられたオブジェクトに関する情報を提供するように構成される。例えば、ユーザ選択可能なリンクは、その選択時に、車オブジェクトに関する情報を提供するように構成される。
【００４４】
図６は、関心領域を含む画像を表示するための例示的なユーザインタフェース６００を示す。ユーザインタフェース６００は、関連する画像を見るための住所を指定するための住所選択フィールド６１０と、入力された住所に関連する画像を表示するための表示ウィンドウ６３０とを有する。
【００４５】
図２ないし５を参照して記載した実施例と同様に、ユーザは、住所選択フィールド６１１０に入力した住所に対応する画像を見ることを要求している。入力した住所「１２３ Ｍａｉｎ ｓｔｒｅｅｔ， Ｍｏｕｎｔａｉｎ ｖｉｅｗ， Ｃａ．」に対応する画像が、表示ウィンドウ６３０に表示される。
【００４６】
図２ないし５に示す通り、住所に対応する画像は、関連するユーザ選択可能なリンクを備えた関連する関心領域５５０を有する。関心領域は、目標領域の位置を特定するコンテスの間に受信した画像部分標識を用いて特定され、画像及びユーザ選択可能なリンクに関連付けられる。ユーザがユーザインタフェース６００を介して画像を要求したとき、画像は、関連するユーザ選択可能なリンクと共に、画像サーバ１２０から取り出される。画像は、関連する関心領域及び関連するユーザ選択可能なリンクと共に、クライアントデバイス１２０ａによって表示ウィンドウ６３０に表示される。
【００４７】
図示の通り、ユーザは、画像中の関心領域５５０をクリックするか又はその他の手段で選択する。したがって、関心領域５５０に関連付けられたユーザ選択可能なリンクが機能し、その結果、テキストボックス６７０が表示される。図示の実施例では、テキストボックス６７０は、ウェブページへのハイパーリンクが含まれ、車についての追加的な情報をユーザに表示する。
【００４８】
図７は、画像中の関心領域を特定するための例示的なプロセスフロー７００を示す。プロセスフロー７００は、例えば、画像サーバ１２０によって実現される。
【００４９】
まず、第１ユーザに関連した表示装置に表示される画像の一部分に対する第１標識が受信される（ステップ７０５）。画像の一部分に対する第１標識は、例えば、ユーザが画像の一部分を指定したときに、画像サーバ１２０によってクライアントデバイス１０２ａから受信される。ある実施形態では、標識は、クライアントデバイスの表示装置で表示される画像中のピクセル又はピクセル位置を指し示す。
【００５０】
ある実施形態では、標識は、オブジェクトの識別を促す入力要求（プロンプト）に応答して受信される。例えば、ユーザは、表示装置に表示される画像中の車などのオブジェクトの位置を特定するように求められる。したがって、ユーザは、車であると判断した表示装置上の画像の一部分をクリックするか又はその他の手段で選択する。次いで、選択した部分の標識は、例えば、クライアントデバイス１０２ａによって送信され、画像サーバ１２０によって受信される。
【００５１】
また、第２ユーザに関連した表示装置に表示される画像の一部分に対する第２標識が受信される（ステップ７１０）。画像の一部分に対する第２標識は、例えば、第２ユーザが画像の一部分を指定したときに、画像サーバ１２０によってクライアントデバイス１０２ｂから受信される。
【００５２】
画像中の関心領域は、第１標識及び第２標識に基づいて決定される（ステップ７１５）。画像中の関心領域は、例えば、画像サーバ１２０の関心領域エンジン１２５によって特定される。ある実施形態では、関心領域は、指し示された複数の画像部分を組み合わせることによって特定される。さらに、又は、あるいは、関心領域は、例えば、第１及び第２標識の指し示す複数の部分を取り囲む形状又はエリアを生成することによって特定されてもよい。
【００５３】
関心領域は、オブジェクトに対する標識に関連付けられる（ステップ７１５）。関心領域は、例えば、画像サーバ１２０の関心領域エンジン１２５によって、オブジェクトに対する標識に関連付けられる。
【００５４】
選択的に、ユーザ選択可能なリンク又はその他の指示子が、例えば、画像サーバ１２０の関心領域エンジン１２５によって、画像の関心領域に関連付けられてよい。ある実施形態では、ユーザ選択可能なリンクは、ユーザによって選択されたとき、オブジェクトに関する情報を提供するように構成される。例えば、オブジェクトが車である場合、ユーザ選択可能なリンクは、ユーザが画像中の関心領域を選択したとき、車についての情報をウィンドウ内に表示させる。同様に、ユーザ選択可能なリンクは、ユーザが関心領域を選択したとき、車に関連したウェブページをインターネットブラウザに開かせる。
【００５５】
画像中の関心領域に関連付けられたユーザ選択可能なリンク又はその他の指示子は、画像の表示に続いて表示される（ステップ７２５）。ユーザ選択可能なリンクは、例えば、画像サーバ１２０によって画像と共に提供される。クライアントデバイス１０２ａのユーザは、画像サーバ１２０に画像を要求する。画像サーバ１２０は、要求された画像をクライアントデバイス１０２ａに提供する際、関連するユーザ選択可能なリンクも提供する。次いで、クライアントデバイス１０２ａは、例えば、クライアントデバイス１０２ａに関連した表示装置上でユーザに画像及び関連するリンクを提供する。さらに、又は、あるいは、画像サーバは、その後の表示のために、ユーザ選択可能なリンク及び画像（又は、その標識）を他のサーバに送信してもよい。
【００５６】
ある実施形態では、画像サーバは、画像中のオブジェクトを識別する際、画像中のオブジェクトに対する他の複数の標識と明らかに異なっている外れ値標識を特定し、これを無視する。
【００５７】
図８は、画像中の関心領域を特定するための別の例示的なプロセスフロー８００を示す。プロセスフローは、例えば、画像サーバ１２０によって実行される。
【００５８】
画像の一部分に対する標識は、別個の複数のユーザから受信される（ステップ８０５）。画像の一部分に対する複数の標識が、画像サーバ１２０によって複数のクライアントデバイス（例えば、クライアントデバイス１０２ａ及びクライアントデバイス１０２ｂ）から受信される。ある実施形態では、画像は、画像サーバ１２０の画像格納部１２２に格納された画像群の一部分である。画像群は、例えば、地図アプリケーションの一部分であったり、ビデオコンテンツアイテムの一部分であったりしてよい。
【００５９】
また、受信した標識は、標識によって特定される関連する画像中のオブジェクトを識別するためのオブジェクト識別子を含むか又はそのような識別子に関連付けられていてよい。ある実施形態では、関連するオブジェクト識別子は、特定の標識を提供したクライアントデバイスに関連するユーザによって提供される。ある実施形態では、オブジェクト識別子は、画像サーバ１２０によって提供されてよい。例えば、画像の一部分に対する標識を、特定のタイプのオブジェクトを示す目標領域の位置を特定するコンテスト又はプロモーションに参加中のユーザ達から受信した場合、関連するオブジェクト識別子は、当該プロモーションによって指定されたオブジェクトの対応するものとなる。
【００６０】
画像中の関心領域は、共通の関連するオブジェクト識別子を有した画像の一部分に対する複数の標識に基づいて決定される（ステップ８１０）。関心領域は、例えば、画像サーバ１２０の関心領域エンジン１２５によって特定される。ある実施形態では、関心領域は、共通の関連するオブジェクト識別子を有した複数の画像部分の組み合わせによって特定される。例えば、複数の画像部分が画像中の複数のピクセル領域として識別される場合、特定された関心領域は、識別された複数のピクセル領域を含む。さらに、又は、あるいは、特定された関心領域は、複数の標識を取り囲む形状又はエリアを生成することによって特定される。
【００６１】
共通の関連するオブジェクト識別子は、特定された関心領域に関連付けられる（ステップ８１５）。オブジェクト識別子は、例えば、画像サーバ１２０の関心領域エンジン１２５によって、特定された関心領域に関連付けられる。
【００６２】
プロセス８００実現の一実施例では、さまざまなユーザ達が、特定の画像中に示される特定の猫の姿を見つけ出すための「画像宝探し」の参加者として登録又は識別される。複数のユーザのそれぞれが画像格納部内の複数の画像をブラウズ及び表示するので、各ユーザは、ブラウズ及び表示した画像中に猫の姿が現れるたびに識別を行う。ユーザが猫の姿を見つけ出したとき、ユーザのクライアントデバイスは、ユーザによって猫の姿であると識別された画像の一部分に対する標識と、猫の姿が現れた画像を識別する標識と、識別した画像部分が猫の姿であることを識別するためのオブジェクト識別子とを画像サーバに送信する。画像サーバは、別個のユーザによって提供された特定の画像の対する情報をグループ化するとともに、画像についての情報を処理して、共通のオブジェクト識別子「猫」に対して提供された複数の画像部分に基づいて関心領域（この場合、猫の姿）を特定する。そのようにして、画像サーバは、猫の姿と画像中に猫の姿が現れた位置の情報とを含む標識を格納することができる。
【００６３】
図９は、本明細書に記載のシステム及び方法を実現するために使用可能な例示的なコンピュータシステム９００のブロック図である。例えば、画像サーバ１２０が、システム９００を用いて実現される。
【００６４】
システム９００は、プロセッサ９１０と、メモリ９２０と、記憶装置９３０と、入力／出力装置９４０とからなる。各構成要素９１０，９２０，９３０，９４０は、例えば、システムバス９５０を用いて互いに接続される。プロセッサ９１０は、システム９００内で実行するための複数の命令を処理する機能を有する。一実施形態では、プロセッサ９１０は、シングルスレッドプロセッサである。別の実施形態では、プロセッサ９１０は、マルチスレッドプロセッサである。プロセッサ９１０は、メモリ９２０又は記憶装置９３０に格納された複数の命令を処理する機能を有する。
【００６５】
メモリ９２０は、システム９００内の情報を格納する。一実施形態では、メモリ９２０は、コンピュータ読み取り可能な記録媒体である。一実施形態では、揮発性メモリユニットである。別の実施形態では、メモリ９２０は、不揮発性メモリユニットである。
【００６６】
記憶装置９３０は、システム９００に対する大容量記憶を提供する機能を有する。一実施形態では、記憶装置９３０は、コンピュータ読み取り可能な記録媒体である。さまざまな別個の実施形態では、記憶装置９３０は、例えば、ハードディスク装置、光ディスク装置、又は、その他の大容量記憶装置であってよい。
【００６７】
入力／出力装置９４０は、システム９００に対する入力／出力動作を提供する。一実施形態では、入力／出力装置９４０は、例えば、イーサネット（登録商標）カードなどの１つ以上のネットワークインタフェース装置、例えば、ＲＳ−２３２ポートなどのシリアル通信装置、及び／又は、例えば、８０２．１１カードなどの無線インタフェース装置であってよい。別の実施形態では、入力／出力装置９４０は、例えば、キーボード、プリンタ、及び表示装置９６０など、入力データの受信と、他の入力／出力装置への出力データの送信とを行うように構成されたドライバデバイスであってよい。
【００６８】
本明細書中に記載の装置、方法、フロー図、及びブロック図は、コンピュータ処理システムによって実行可能な複数のプログラム命令からなるプログラムコードを有したコンピュータ処理システムとして実現されてよい。また、その他の実現手段が使用されてもよい。さらに、本明細書に記載のフロー図及びブロック図は、特定の方法及び／又はその各ステップに対応する動作、並びに、開示された構造的手段に対応する機能についての記載であるが、対応するソフトウェア構造及びアルゴリズム、並びに、その均等物を実現するために利用することもできる。
【００６９】
これらの記載は、本発明の最良の形態を説明するとともに、本発明を説明するための実施例を提供するものであり、それにより、当業者は、そのような発明を実現及び利用可能となる。これらの記載は、説明に用いた用語そのものに発明を限定するものではない。故に、本発明は上記の各実施例を参照して詳細に説明されたが、当業者は、本発明の範囲から逸脱することなく、そのような実施例に置換、修正、及び変形を加えることができる。
【符号の説明】
【００７０】
１００  環境
１０２ａ，１０２ｂ  クライアントデバイス
１１５  ネットワーク
１２０  画像サーバ
１２２  画像格納部
１２２ａ  画像
１２３  画像標識格納部
１２３ａ  標識
１２５  関心領域エンジン
１３０  プロモータデバイス
【図１】
2011530772.tif 000003
【図２】
2011530772.tif 000004
【図３】
2011530772.tif 000005
【図４】
2011530772.tif 000006
【図５】
2011530772.tif 000007
【図６】
2011530772.tif 000008
【図７】
2011530772.tif 000009
【図８】
2011530772.tif 000010
【図９】
2011530772.tif 000011
【国際調査報告】
2011530772.tif 000012
2011530772.tif 000013