【手続補正書】
【提出日】平成24年5月11日(2012.5.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ランドマークの画像のデータベースに追加し、更新するための方法であって、
（ａ）地理的近さに従い、かつ、地理的タグ付画像に関連付けられたテキストタグにかかわらずに、該地理的タグ付画像を地理的にクラスタ化し、１つ以上の地理的クラスタを生成することであって、該地理的近さは、それぞれの地理的タグ付画像の地理的場所コードに基づいて決定される、ことと、
（ｂ）画像類似性に従って、該生成された１つ以上の地理的クラスタのそれぞれ１つを視覚的にクラスタ化し、該１つ以上の地理的クラスタの各々に対する１つ以上の視覚的クラスタを生成することと
を含む、方法。
【請求項２】
前記地理的にクラスタ化することは、少なくとも１つの人気のあるランドマークを含む１つ以上の地理的クラスタを選択することを含む、請求項１に記載の方法。
【請求項３】
前記選択することは、少なくとも所定数の関連付けられた一意のユーザ識別子を有する前記１つ以上の地理的クラスタを選択することを含み、該一意のユーザ識別子の各々が該１つ以上の地理的クラスタ内に画像を提示したユーザを識別する、請求項２に記載の方法。
【請求項４】
前記視覚的にクラスタ化することは、領域グラフに基づいて、視覚的クラスタを選択することを含み、該領域グラフの複数のノードは、それぞれの画像に対応し、該複数のノードのうちの２つのノード間のリンクは、対応する画像間の少なくとも１つの整合特徴を表し、該領域グラフのそれぞれの接続されたサブツリーは視覚的クラスタとして選択される、請求項１に記載の方法。
【請求項５】
前記領域グラフは、地理的クラスタ内の整合画像に基づいて生成される、請求項４に記載の方法。
【請求項６】
前記視覚的にクラスタ化することは、少なくとも１つの視覚的クラスタのためのテキストラベルを生成することを含む、請求項１に記載の方法。
【請求項７】
前記少なくとも１つの視覚的クラスタのためのテキストラベルは、先行視覚的クラスタに以前に割り当てられたテキストラベルに基づき、該先行視覚的クラスタは、ユーザ割当テキストラベルを有するクラスタである、請求項６に記載の方法。
【請求項８】
（ｃ）外部データを受信することと、
（ｄ）該外部データに基づいて、前記視覚的クラスタを処理することと
をさらに含む、請求項１に記載の方法。
【請求項９】
前記外部データは、テキストタグを含む、請求項８に記載の方法。
【請求項１０】
前記外部データは、ユーザ入力を含む、請求項８に記載の方法。
【請求項１１】
（ｅ）視覚的クラスタを格納することをさらに含む、請求項１に記載の方法。
【請求項１２】
デジタル画像からランドマークを識別するためのシステムであって、
（ａ）地理的タグ付画像のデータベースと、
（ｂ）ランドマークデータベースと、
（ｃ）該地理的タグ付画像のデータベースと通信する地理的クラスタ化モジュールであって、該地理的タグ付画像は、地理的近さに従って１つ以上の地理的クラスタにグループ化され、該地理的近さは、それぞれの地理的タグ付画像の地理的場所コードに基づいて決定される、地理的クラスタ化モジュールと、
（ｄ）該地理的クラスタ化モジュールと通信する視覚的クラスタ化モジュールであって、該生成された１つ以上の地理的クラスタのそれぞれ１つは、画像類似性に基づいて、該１つ以上の地理的クラスタの各々に対する１つ以上の視覚的クラスタにグループ化され、視覚的クラスタデータは、該ランドマークデータベース内に格納される、視覚的クラスタ化モジュールと
を含む、システム。
【請求項１３】
前記ランドマークデータベースは、ランドマークの画像と、関連付けられたテキストラベルとを含む、請求項１２に記載のシステム。
【請求項１４】
（ｅ）外部データを受信するためのインターフェースをさらに含み、該外部データは、前記１つ以上の視覚的クラスタのためのタグを含む、請求項１２に記載のシステム。
【請求項１５】
前記視覚的クラスタ化モジュールは、人気度インデックスモジュールをさらに含み、該人気度インデックスモジュールは、前記視覚的クラスタ内のランドマークの人気度に従って各視覚的クラスタをランク付けするように構成される、請求項１２に記載のシステム。
【請求項１６】
ランドマークの画像を読み出すためのユーザクエリを促進する方法であって、
（ａ）ユーザクエリを受信することと、
（ｂ）該ユーザクエリ内の１つ以上のトリガワードを識別することと、
（ｃ）該１つ以上のトリガワードに対応する１つ以上の対応タグを、ランドマークデータベースから選択することと、
（ｄ）該ユーザクエリを該１つ以上の対応タグで補足し、補足されたユーザクエリを生成することと
を含む、方法。
【請求項１７】
（ｅ）前記補足されたユーザクエリに基づいて、画像を読み出すことをさらに含む、請求項１６に記載の方法。
【請求項１８】
（ｆ）ランドマークの人気度に従って、前記読み出された画像を順序付けることをさらに含む、請求項１７に記載の方法。
【請求項１９】
前記ランドマークの人気度は、各ランドマークを有する画像と関連付けられた一意のユーザ識別子の数に基づく、請求項１８に記載の方法。
【請求項２０】
新しいデジタル画像に自動的にタグを付ける方法であって、
（ａ）該新しいデジタル画像をランドマーク画像データベース内の画像と比較することであって、該ランドマーク画像データベースは、１つ以上のランドマークの画像の視覚的クラスタを含む、ことと、
（ｂ）該視覚的クラスタのうちの少なくとも１つに基づいて、該新しいデジタル画像に少なくとも１つのタグをタグ付けすることと
を含む、方法。
【請求項２１】
コンピュータ使用可能媒体を含むコンピュータプログラム製品であって、該コンピュータ使用可能媒体は、コンピュータに、ランドマークの画像のデータベースに追加させ、更新させるための制御論理を格納しており、該制御論理は、
（ａ）該コンピュータが、地理的近さに従って、かつ、地理的タグ付画像に関連付けられたテキストタグにかかわらず、該地理的タグ付画像をクラスタ化し、１つ以上の地理的クラスタを生成することを可能にする第１のコンピュータ読み取り可能プログラムコードであって、該地理的近さは、それぞれの地理的タグ付画像の地理的場所コードに基づいて決定される、第１のコンピュータ読み取り可能プログラムコードと、
（ｂ）該コンピュータが、画像類似性に従って、該生成された１つ以上の地理的クラスタのそれぞれ１つをクラスタ化して、該１つ以上の地理的クラスタの各々に対する１つ以上の視覚的クラスタを生成することを可能にする第２のコンピュータ読み取り可能プログラムコードと
を含む、コンピュータプログラム製品。
【請求項２２】
コンピュータ使用可能媒体を含むコンピュータプログラム製品であって、該コンピュータ使用可能媒体は、コンピュータにユーザクエリを促進させるための制御論理を格納しており、該制御論理は、
（ｂ）該コンピュータが、該ユーザクエリ内の１つ以上のトリガワードを識別することを可能にする第１のコンピュータ読み取り可能プログラムコードと、
（ｃ）該コンピュータが、該１つ以上のトリガワードに対応する１つ以上の対応タグを、ランドマークデータベースから選択することを可能にする第２のコンピュータ読み取り可能プログラムコードと、
（ｄ）該コンピュータが、該ユーザクエリを該１つ以上の対応タグで補足することを可能にする第３のコンピュータ読み取り可能プログラムコードと
を含む、コンピュータプログラム製品。
【請求項２３】
画像コレクション内にランドマークの画像を維持する方法であって、
（ａ）第１の集合の画像および第２の集合の画像を選択することであって、該第１の集合および該第２の集合は、第１のランドマーク集合のメンバーである、ことと、
（ｂ）第１のリスト要素および第２のリスト要素を含む第１のリストを表示することであって、該第１のリスト要素は、該第１の集合の画像に対応する第１の記述データ要素と、第１の入力とを含み、該第２のリスト要素は、該第２の集合の画像に対応する第２の記述データ要素と、第２の入力とを含む、ことと、
（ｃ）該第１および第２の入力におけるユーザ入力を受信することと
を含む、方法。
【請求項２４】
（ｄ）前記ユーザ入力に基づいて、前記第１の集合と前記第２の集合とをマージすることをさらに含む、請求項２３に記載の方法。
【請求項２５】
（ｅ）前記ユーザ入力に基づいて、前記第１のランドマーク集合から前記第１の集合を除去することをさらに含む、請求項２３に記載の方法。
【請求項２６】
前記第１の記述データ要素は、少なくとも１つのユーザナビゲート可能リンクを含む、請求項２３に記載の方法。
【請求項２７】
前記選択することは、選択基準に基づき、該選択基準は、ユーザ指定選択基準を含む、請求項２３に記載の方法。
【請求項２８】
前記選択基準は、ランドマークの人気度を含む、請求項２７に記載の方法。
【請求項２９】
コンピュータ使用可能媒体を含むコンピュータプログラム製品であって、該コンピュータ使用可能媒体は、コンピュータに画像コレクション内にランドマークの画像を維持させるための制御論理を格納しており、該制御論理は、
（ａ）該コンピュータが、第１の集合の画像および第２の集合の画像を選択することを可能にする第１のコンピュータ読み取り可能プログラムコードであって、該第１の集合および該第２の集合は、第１のランドマーク集合のメンバーである、第１のコンピュータ読み取り可能プログラムコードと、
（ｂ）該コンピュータが、第１のリスト要素と、第２のリスト要素とを含む第１のリストを表示することを可能にする第２のコンピュータ読み取り可能プログラムコードであって、該第１のリスト要素は、該第１の集合の画像に対応する第１の記述データ要素と、第１の入力とを含み、該第２のリスト要素は、該第２の集合の画像に対応する第２の記述データ要素と、第２の入力とを含む、第２のコンピュータ読み取り可能プログラムコードと、
（ｃ）該コンピュータが、該第１および第２の入力におけるユーザ入力を受信することを可能にする第３のコンピュータ読み取り可能プログラムコードと
を含む、コンピュータプログラム製品。
【請求項３０】
画像コレクション内にランドマークの画像を維持する方法であって、
（ａ）少なくとも１つの例示的画像を表示することであって、該例示的画像は、第１の集合内に含まれ、該第１の集合は、第１のランドマークを有する画像を含む、ことと、
（ｂ）１つ以上の記述データグループを表示することであって、各記述データグループは、関連ユーザ入力を含み、各記述データグループは、該第１の集合内の１つの画像に対応する、ことと
を含む、方法。
【請求項３１】
（ｃ）ユーザ入力を受信することであって、ユーザ入力は、第１の画像の選択を示し、該第１の画像は、前記少なくとも１つの例示的画像のうちの１つである、ことと、
（ｄ）該第１の画像上の着目有界領域を表示することであって、該着目有界領域は、前記第１のランドマークを含む、ことと
をさらに含む、請求項３０に記載の方法。
【請求項３２】
（ｅ）１つ以上の記述データグループの関連ユーザ入力グラフィックにおいて、ユーザ入力を受信することと、
（ｆ）該ユーザ入力に基づいて、前記第１の集合から少なくとも１つの画像を除去することと
をさらに含む、請求項３０に記載の方法。
【請求項３３】
コンピュータ使用可能媒体を含むコンピュータプログラム製品であって、該コンピュータ使用可能媒体は、コンピュータに画像コレクション内にランドマークの画像を維持させるための制御論理を格納しており、該制御論理は、
（ａ）該コンピュータが、少なくとも１つの例示的画像を表示することを可能にする第１のコンピュータ読み取り可能プログラムコードであって、該例示的画像は、第１の集合内に含まれ、該第１の集合は、第１のランドマークを有する画像を含む、第１のコンピュータ読み取り可能プログラムコードと、
（ｂ）該コンピュータが、１つ以上の記述データグループを表示することを可能にする第２のコンピュータ読み取り可能プログラムコードであって、各記述データグループは、関連ユーザ入力を含み、各記述データグループは、該第１の集合内の１つの画像に対応する、第２のコンピュータ読み取り可能プログラムコードと
を含む、コンピュータプログラム製品。
【請求項３４】
前記地理的にクラスタ化することは、画像からクラスタの中心までの距離に基づいてクラスタ化することを含む、請求項１に記載の方法。
【請求項３５】
前記距離は、前記画像の中心の地理的座標に基づいており、地理的座標は、前記クラスタの中心の移動平均を表す、請求項３４に記載の方法。
【請求項３６】
前記視覚的にクラスタ化することは、
選択され検証された各地理的クラスタに対する画像のインデックスを生成することと、
検証された地理的クラスタの各画像を、該選択され検証された地理的クラスタ内の他の整合画像の全てと関連付けるために、該各画像を該インデックスに整合させることと
を含む、請求項２に記載の方法。
【請求項３７】
前記領域グラフの少なくとも１つのリンクは、前記接続されたサブツリーが視覚的クラスタとして選択される前に、対応する画像間の整合特徴の数に基づいて取り除かれる、請求項４に記載の方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
さらに別の実施形態では、本発明は、新しいデジタル画像とランドマーク画像データベース内の画像とを比較する段階であって、ランドマーク画像データベースは、１つ以上のランドマークの画像の視覚的クラスタを含む、段階と、視覚的クラスタのうちの少なくとも１つに基づいて、新しいデジタル画像に少なくとも１つのタグをタグ付けする段階とを含む、新しいデジタル画像に自動的にタグを付ける方法である。
例えば、本発明は以下の項目を提供する。
（項目１）
ランドマークの画像のデータベースを追加し、更新するための方法であって、
（ａ）地理的近さに従って、地理的タグ付画像を地理的にクラスタ化し、１つ以上の地理的クラスタを生成することと、
（ｂ）画像類似性に従って、該１つ以上の地理的クラスタを視覚的にクラスタ化し、１つ以上の視覚的クラスタを生成することと
を含む、方法。
（項目２）
上記地理的にクラスタ化することは、上記１つ以上の地理的クラスタを検証することを含む、項目１に記載の方法。
（項目３）
上記検証することは、少なくとも所定数の関連付けられた一意のユーザ識別子を有する上記１つ以上の地理的クラスタを選択することを含む、項目２に記載の方法。
（項目４）
上記視覚的にクラスタ化することは、領域グラフに基づいて、視覚的クラスタを選択することを含む、項目１に記載の方法。
（項目５）
上記領域グラフは、地理的クラスタ内の整合画像に基づいて生成される、項目４に記載の方法。
（項目６）
上記視覚的にクラスタ化することは、少なくとも１つの視覚的クラスタのためのテキストラベルを生成することを含む、項目１に記載の方法。
（項目７）
上記少なくとも１つの視覚的クラスタのためのテキストラベルは、上記少なくとも１つの視覚的クラスタ内の個々の画像のテキストラベルに基づく、項目６に記載の方法。
（項目８）
上記少なくとも１つの視覚的クラスタのためのテキストラベルは、先行視覚的クラスタに以前に割り当てられたテキストラベルに基づき、該先行視覚的クラスタは、ユーザ割当テキストラベルを有するクラスタである、項目６に記載の方法。
（項目９）
（ｃ）外部データを受信することと、
（ｄ）該外部データに基づいて、視覚的クラスタを処理することと
をさらに含む、項目１に記載の方法。
（項目１０）
上記外部データは、テキストタグを含む、項目９に記載の方法。
（項目１１）
上記外部データは、ユーザ入力を含む、項目９に記載の方法。
（項目１２）
（ｅ）視覚的クラスタを格納することをさらに含む、項目１に記載の方法。
（項目１３）
デジタル画像からランドマークを識別するためのシステムであって、
（ａ）地理的タグ付画像のデータベースと、
（ｂ）ランドマークデータベースと、
（ｃ）該地理的タグ付画像のデータベースと通信する地理的クラスタ化モジュールであって、該地理的タグ付画像は、１つ以上の地理的クラスタにグループ化される、地理的クラスタ化モジュールと、
（ｄ）該地理的クラスタ化モジュールと通信する視覚的クラスタ化モジュールであって、該１つ以上の地理的クラスタは、１つ以上の視覚的クラスタにグループ化され、視覚的クラスタデータは、該ランドマークデータベース内に格納される、視覚的クラスタ化モジュールと
を含む、システム。
（項目１４）
上記ランドマークデータベースは、ランドマークの画像と、関連付けられたテキストラベルとを含む、項目１３に記載のシステム。
（項目１５）
（ｅ）外部データを受信するためのインターフェースであって、該外部データは、上記１つ以上の視覚的クラスタためのタグを含む、インターフェースをさらに含む、項目１３に記載のシステム。
（項目１６）
上記外部データは、上記１つ以上の視覚的クラスタのための画像をさらに含む、項目１５に記載のシステム。
（項目１７）
上記インターフェースは、グラフィカルユーザインターフェースである、項目１５に記載のシステム。
（項目１８）
上記視覚的クラスタ化モジュールは、人気度インデックスモジュールをさらに含む、項目１３に記載のシステム。
（項目１９）
ランドマークの画像を読み出すためのユーザクエリを促進する方法であって、
（ａ）ユーザクエリを受信することと、
（ｂ）該ユーザクエリ内の１つ以上のトリガワードを識別することと、
（ｃ）該１つ以上のトリガワードに対応する１つ以上の対応タグを、ランドマークデータベースから選択することと、
（ｄ）該ユーザクエリを該１つ以上の対応タグで補足し、補足されたユーザクエリを生成することと
を含む、方法。
（項目２０）
（ｅ）上記補足されたユーザクエリに基づいて、画像を読み出すことをさらに含む、項目１９に記載の方法。
（項目２１）
（ｆ）ランドマークの人気度に従って、上記読み出された画像を順序付けることをさらに含む、項目２０に記載の方法。
（項目２２）
上記ランドマークの人気度は、各ランドマークを有する画像と関連付けられた一意のユーザ識別子の数に基づく、項目２１に記載の方法。
（項目２３）
新しいデジタル画像に自動的にタグを付ける方法であって、
（ａ）該新しいデジタル画像をランドマーク画像データベース内の画像と比較することであって、該ランドマーク画像データベースは、１つ以上のランドマークの画像の視覚的クラスタを含む、ことと、
（ｂ）該視覚的クラスタのうちの少なくとも１つに基づいて、該新しいデジタル画像に少なくとも１つのタグをタグ付けすることと
を含む、方法。
（項目２４）
コンピュータ使用可能媒体を含むコンピュータプログラム製品であって、該コンピュータ使用可能媒体は、コンピュータにランドマークの画像のデータベースを追加し、更新させるための該コンピュータ使用可能媒体に格納された制御論理を有し、該制御論理は、
（ａ）該コンピュータに、地理的近さに従って、地理的タグ付画像をクラスタ化し、１つ以上の地理的クラスタを生成させる、第１のコンピュータ可読プログラムコードと、
（ｂ）該コンピュータに、画像類似性に従って、該１つ以上の地理的クラスタをクラスタ化させる、第２のコンピュータ可読プログラムコードと
を含む、コンピュータプログラム製品。
（項目２５）
コンピュータ使用可能媒体を含むコンピュータプログラム製品であって、該コンピュータ使用可能媒体は、コンピュータにユーザクエリを促進させるために該コンピュータ使用可能媒体に格納された制御論理を有し、該制御論理は、
（ｂ）該コンピュータに、該ユーザクエリ内の１つ以上のトリガワードを識別させる、第１のコンピュータ可読プログラムコードと、
（ｃ）該コンピュータに、該１つ以上のトリガワードに対応する１つ以上の対応タグを、ランドマークデータベースから選択させる、第２のコンピュータ可読プログラムコードと、
（ｄ）該コンピュータに、該ユーザクエリを該１つ以上の対応タグで補足させる、第３のコンピュータ可読プログラムコードと
を含む、コンピュータプログラム製品。
（項目２６）
画像コレクション内にランドマークの画像を維持する方法であって、
（ａ）第１の集合の画像および第２の集合の画像を選択することであって、該第１の集合および該第２の集合は、第１のランドマーク集合のメンバーである、ことと、
（ｂ）第１のリスト要素および第２のリスト要素を含む、第１のリストを表示することであって、該第１のリスト要素は、該第１の集合の画像に対応する第１の記述データ要素と、第１の入力を含み、該第２のリスト要素は、該第２の集合の画像に対応する第２の記述データ要素と、第２の入力とを含む、ことと、
（ｃ）該第１および第２の入力におけるユーザ入力を受信することと
を含む、方法。
（項目２７）
（ｄ）上記ユーザ入力に基づいて、上記第１の集合と上記第２の集合とをマージすることをさらに含む、項目２６に記載の方法。
（項目２８）
（ｅ）上記ユーザ入力に基づいて、上記第１のランドマーク集合から上記第１の集合を除去することをさらに含む、項目２６に記載の方法。
（項目２９）
上記第１の記述データ要素は、少なくとも１つのユーザナビゲート可能リンクを含む、項目２６に記載の方法。
（項目３０）
上記選択することは、選択基準に基づき、該選択基準は、ユーザ指定選択基準を含む、項目２６に記載の方法。
（項目３１）
上記選択基準は、ランドマークの人気度を含む、項目３０に記載の方法。
（項目３２）
コンピュータ使用可能媒体を含むコンピュータプログラム製品であって、該コンピュータ使用可能媒体は、コンピュータに画像コレクション内にランドマークの画像を維持させるために該コンピュータ使用可能媒体に格納された制御論理を有し、該制御論理は、
（ａ）該コンピュータに、第１の集合の画像および第２の集合の画像を選択させる、第１のコンピュータ可読プログラムコードであって、該第１の集合および該第２の集合は、第１のランドマーク集合のメンバーである、第１のコンピュータ可読プログラムコードと、
（ｂ）該コンピュータに、第１のリスト要素と、第２のリスト要素とを含む第１のリストを表示させる第２のコンピュータ可読プログラムコードであって、該第１のリスト要素は、該第１の集合の画像に対応する第１の記述データ要素と、第１の入力とを含み、該第２のリスト要素は、該第２の集合の画像に対応する第２の記述データ要素と、第２の入力とを含む、第２のコンピュータ可読プログラムコードと、
（ｃ）該コンピュータに、該第１および第２の入力におけるユーザ入力を受信させる、第３のコンピュータ可読プログラムコードと
を含む、コンピュータプログラム製品。
（項目３３）
画像コレクション内にランドマークの画像を維持する方法であって、
（ａ）少なくとも１つの例示的画像を表示することであって、該例示的画像は、第１の集合内に含まれ、該第１の集合は、第１のランドマークを有する画像を含む、ことと、
（ｂ）１つ以上の記述データグループを表示することであって、各記述データグループは、関連ユーザ入力を含み、各記述データグループは、該第１の集合内の１つの画像に対応する、ことと
を含む、方法。
（項目３４）
（ｃ）ユーザ入力を受信することであって、該ユーザ入力は、第１の画像の選択を示し、該第１の画像は、上記少なくとも１つの例示的画像のうちの１つである、ことと、
（ｄ）該第１の画像上の着目有界領域を表示することであって、該着目有界領域は、上記第１のランドマークを含む、ことと
をさらに含む、項目３３に記載の方法。
（項目３５）
（ｅ）１つ以上の記述データグループの関連ユーザ入力グラフィックにおいて、ユーザ入力を受信することと、
（ｆ）ユーザ入力に基づいて、上記第１の集合から少なくとも１つの画像を除去することと
をさらに含む、項目３３に記載の方法。
（項目３６）
コンピュータ使用可能媒体を含むコンピュータプログラム製品であって、該コンピュータ使用可能媒体は、コンピュータに画像コレクション内にランドマークの画像を維持させるために該コンピュータ使用可能媒体に格納された制御論理を有し、該制御論理は、
（ａ）該コンピュータに、少なくとも１つの例示的画像を表示させる第１のコンピュータ可読プログラムコードであって、該例示的画像は、第１の集合内に含まれ、該第１の集合は、第１のランドマークを有する画像を含む、第１のコンピュータ可読プログラムコードと、
（ｂ）該コンピュータに、１つ以上の記述データグループを表示させる第２のコンピュータ可読プログラムコードであって、各記述データグループは、関連ユーザ入力を含み、各記述データグループは、該第１の集合内の１つの画像に対応する、第２のコンピュータ可読プログラムコードと
を含む、コンピュータプログラム製品。