(57)【要約】異なるユーザの少なくとも２つの個別の画像の集合で発見される固有のオブジェクトを含む画像を識別する方法は、固有のオブジェクトを識別し、固有のオブジェクトの特徴を供給し、少なくとも１のユーザが、固有のオブジェクトの画像を潜在的に有する個別のユーザにより生成される少なくとも２つの個別の画像の集合を識別し、特徴を使用して少なくとも２つの個別の集合をサーチし、固有のオブジェクトを含む画像を識別する。
2009533726.tif 000002
【特許請求の範囲】
【請求項１】
異なるユーザの少なくとも２つの個別の画像の集合で発見される固有のオブジェクトを含む画像を識別する方法であって、
ａ）前記固有のオブジェクトを識別し、前記固有のオブジェクトの特徴を供給するステップと、
ｂ）少なくとも１のユーザが、前記固有のオブジェクトの画像を潜在的に有する個別のユーザにより生成される少なくとも２つの個別の画像の集合を識別するステップと、
ｃ）前記特徴を使用して前記少なくとも２つの個別の集合をサーチし、前記固有のオブジェクトを含む画像を識別するステップと、
を含むことを特徴とする方法。
【請求項２】
異なるユーザの少なくとも２つの個別の画像の集合で発見される特定の固有のオブジェクトを有する画像を識別する方法であって、
ａ）前記固有のオブジェクトを識別し、前記固有のオブジェクトの特徴を供給するステップと、
ｂ）少なくとも２のユーザが、前記固有のオブジェクトの画像を潜在的に含む個別のユーザにより生成された少なくとも２つの個別の画像の集合を識別し、係る集合がサーチのために利用可能となるように許可するステップと、
ｃ）前記特徴を使用して前記少なくとも２つの許可された個別の集合をサーチし、前記固有のオブジェクトを含む画像を識別するステップと、
を含むことを特徴とする方法。
【請求項３】
第一のユーザは、固有のオブジェクトを識別し、第二のユーザと通信して、前記第二のユーザの集合が前記固有のオブジェクトを含む可能性があることを判定する、
請求項２記載の方法。
【請求項４】
異なるユーザの少なくとも２つの個別の集合で発見される固有のオブジェクトを有する画像を識別する方法であって、
ａ）第一の集合におけるラベルでラベル付けされた固有のオブジェクトを識別し、前記固有のオブジェクトの特徴を供給するステップと、
ｂ）前記固有のオブジェクトの画像を潜在的に有する個別のユーザにより生成される少なくとも２つの個別の画像の集合を識別し、係る集合がサーチのために利用可能となるように許可するステップと、
ｃ）前記第一の集合からの前記特徴及び前記ラベルを使用して前記少なくとも２つの許可された個別の集合をサーチして、前記固有のオブジェクトを含む画像を識別するステップと、
ｄ）識別された画像を見て、前記固有のオブジェクトを含むかを判定するステップと、
を含むことを特徴とする方法。
【請求項５】
前記固有のオブジェクトは特定の人であり、前記ラベルは前記特定の人に関連する名前である、
請求項４記載の方法。
【請求項６】
前記特徴は、顔の特徴、画像の捕捉位置の特徴又は画像の捕捉時間の特徴を含む、
請求項５記載の方法。
【請求項７】
前記特定の人は、第二の集合でラベル付けされ、異なる名前を有する、
請求項５記載の方法。
【請求項８】
前記特徴は、異なるラベル名を含む、
請求項６記載の方法。
【請求項９】
異なるユーザの少なくとも２つの個別の画像の集合で発見される固有のオブジェクトを含む画像を識別する方法であって、
ａ）第一の画像の集合で前記固有のオブジェクトを識別及びラベル付けするステップと、
ｂ）前記第一の画像の集合から前記固有のオブジェクトの特徴を生成するステップと、
ｃ）前記第一の画像の集合と前記固有のオブジェクトの１以上の画像を潜在的に有する第二の画像の集合との間で画像又は集合のデータを共有するためのリンクを確立するステップと、
ｄ）サーチの特徴を使用して、前記第二の画像の集合における画像の前記固有のオブジェクトを識別する少なくとも１つのラベルを生成するステップと、
を含むことを特徴とする方法。
【請求項１０】
異なるユーザの少なくとも２つの個別の画像の集合で発見される固有のオブジェクトを含む画像を識別する方法であって、
ａ）第一の画像の集合における固有のオブジェクトを識別するステップと、
ｂ）第二の画像の集合における固有のオブジェクトを識別し、前記固有のオブジェクトの特徴を生成するステップと、
ｃ）前記第一の画像の集合と前記固有のオブジェクトの１以上の画像を潜在的に有する第二の画像の集合との間で画像又は集合のデータを共有するためのリンクを確立するステップと、
ｄ）前記特徴を使用して前記第一の画像の集合における画像の前記固有のオブジェクトを識別する少なくとも１つのラベルを生成するステップと、
を含むことを特徴とする方法。
【請求項１１】
２つの画像の集合間でコネクションを確立する方法であって、
ａ）第一のユーザから第一の画像の集合を供給するステップと、
ｂ）異なる第二のユーザから第二の画像の集合を供給するステップと、
ｃ）前記第一の画像の集合と前記第二の画像の集合との間でリンクを確立するステップと、
ｄ）前記第一及び第二の画像の集合から固有のオブジェクトを検出して、前記固有のオブジェクトに関連する特徴を生成するステップと、
ｅ）前記固有のオブジェクトに関連する特徴を分析して、異なる固有のオブジェクトのセットを生成するステップと、
【請求項１２】
前記分析するステップは、前記画像の集合の少なくとも１つからのラベルを使用するステップを含む、
請求項１１記載の方法。
【請求項１３】
前記ラベルは、ある人に関連される名前であり、前記固有のオブジェクトは、人間の顔であり、前記異なるオブジェクトは、個々の人である、
請求項１２記載の方法。
【請求項１４】
前記第一の画像の集合と前記第二の画像の集合とを分析するとき、前記第一のユーザと前記第二のユーザとの間の前記社会的なつながりが使用される、
請求項１３記載の方法。
【請求項１５】
ステップｅ）は、前記第一の画像の集合からの固有のオブジェクトに関連される１つのラベルと、前記第二の画像の集合から固有のオブジェクトに関連される１つのオブジェクトを少なくとも使用するステップと、前記第一の画像の集合からの固有のオブジェクトが前記第二の画像の集合からの固有のオブジェクトと同じである可能性を前記ラベルに基づいて判定するステップとを含む、
請求項１１記載の方法。
【請求項１６】
前記ラベルは、人に関連される名前であり、固有のオブジェクトは、人間の顔であり、前記固有のオブジェクトは、個々の人である、
請求項１５記載の方法。
【請求項１７】
２つの画像の集合間でのコネクションを確立する方法であって、
ａ）第一のユーザから第一の画像の集合を供給するステップと、
ｂ）異なる第二のユーザから第二の画像の集合を供給するステップと、
ｃ）前記第一の画像の集合と前記第二の画像の集合との間のリンクを確立するステップと、
ｄ）前記第一の画像の集合と前記第二の画像の集合から固有のオブジェクトを検出し、前記固有のオブジェクトに関連する特徴を供給するステップと、
ｅ）前記第二の画像の集合で現れると考えられる前記第一の画像の集合において特定の固有のオブジェクトを発見するステップと、
を含むことを特徴とする方法。
【請求項１８】
ｆ）あるユーザについて、前記第一の画像の集合において前記特定の固有のオブジェクトを含む画像部分を表示するステップを更に含み、
前記第二の画像の集合において前記特定の固有のオブジェクトを含むと考えられる画像部分が表示される、
請求項１７記載の方法。
【請求項１９】
ｇ）ユーザが、ユーザインタフェースを通して、前記２つの画像部分が前記特定の固有のオブジェクトを共に含むかを示すステップを更に含む、
請求項１８記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像の集合における固有のオブジェクトを識別することに関する。より詳細には、本発明は、特徴及びラベルを使用した複数の画像の集合における固有のオブジェクトのサーチに関する。
【背景技術】
【０００２】
デジタル写真の出現により、消費者は、デジタル画像及びビデオの大きな集合を蓄積している。写真を撮る人当たりのデジタルカメラで捕捉される平均の画像の数は、毎年増加している。結果として、画像及びビデオの編成及び読み取りは、典型的な消費者にとって既に問題である。現在、典型的な消費者のデジタル画像の集合により及ぶ時間の長さは、平均のデジタル画像及びビデオの集合の増加により及ぶ時間の長さにつれて成長し続けている。
【０００３】
画像の集合のユーザは、それらの画像の集合を互いに共有することを望む。しかし、ユーザにとって、画像を閲覧するために友人又は親戚からの要求を管理することは困難なプロセスである。米国公開特許公報2006/0048059A1では、Etkinは、ユーザがオンラインコミュニティのメンバであるシステムを記載する。ユーザは、多数の人との関係を有し、それぞれの人物は、関連される関係のリンクの強さを有する。たとえば、関係のリンクの強さは、画像におけるタグから部分的に決定される。たとえば、タグは人の名前とすることができる。このシステムは、名前が関心のある人物を固有に識別する完全な名前であるときに十分である。しかし、タグがファーストネームである場合、多くの潜在的な整合が存在する（たとえば２００４のみにおいて、24,000を超える赤ん坊が“Emily”と名づけられた）。このように、Etkinのプロセスが効果的に機能するため、多数の会員をもつオンラインコミュニティは、（フルネーム、社会保障番号、電話番号、電子メールアドレス等のような）画像において個人を積極的に識別するタグに頼る必要がある。Etkinのプロセスは、関係のリンクの強さを判定するために、画像及びビデオに含まれる大量の情報を利用しない。
【０００４】
さらに、ユーザは、関心のある人物のような特定の固有のオブジェクトを含む画像及びビデオを発見するのを望む。ユーザは、特定の固有の関心のあるオブジェクトを含む画像及びビデオを発見するために骨の折れる手動のサーチを実行する。利用可能な商業的なソフトウェア（たとえばAdobe  Album）は、サーチが後に行なわれるように、画像における人を示すラベルで画像をユーザがタグ付するのを可能にするが、最初のラベリングプロセスは、非常に面倒であり、時間の係るものである。さらに、多数のユーザは、それらの画像の集合をラベル付けしない。ユーザは彼らの画像の集合をラベル付けする時間を投資するが、ユーザは、友人のラベル付けされていない画像の集合から関連する画像を発見する困難さを有する。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、デジタル画像の集合における画像又はビデオにおける関心のオブジェクト又は人物を容易に識別することにある。
【課題を解決するための手段】
【０００６】
上記目的は、異なるユーザの少なくとも２つの個別の画像の集合で発見される固有のオブジェクトを含む画像を識別する方法により達成され、ａ）固有のオブジェクトを識別し、固有のオブジェクトの特徴を供給するステップ、ｂ）少なくとも１つのユーザが、固有のオブジェクトの画像を潜在的に有する個別のユーザにより生成される少なくとも２つの個別の画像の集合を識別するステップ、及びｃ）特徴を使用して少なくとも２つの個別の集合をサーチし、固有のオブジェクトを含む画像を識別するステップを含む。
【０００７】
本発明は、関心のある個人又はオブジェクトを含む画像のセットをユーザが発見するのを可能にする利点を有する。本発明の更なる利点は、関心のある個人又はオブジェクトに関連されるラベルと画像が自動的にラベル付けされることである。
【発明を実施するための最良の形態】
【０００８】
本発明の主要な概念は、添付図面に示される実施の形態を参照して記載される。
【０００９】
以下の説明では、本発明の幾つかの実施の形態は、ソフトウェアプログラムとして記載される。当業者であれば、係る方法の等価な概念は本発明の範囲でハードウェア又はソフトウェアとして構築することができる。
【００１０】
画像処理アルゴリズム及びシステムは公知であるので、本実施の形態は、特に本発明に係る方法の一部を形成するか、本発明に係る方法と更に直接に協働するアルゴリズム及びシステムに向けられる。本明細書で特に図示又は記載されない、係るアルゴリズム及びシステムの他の態様、関与する画像信号を生成さもなければ処理するハードウェア又はソフトウェアは、当該技術分野で知られる係るシステム、アルゴリズム、コンポーネント及びエレメントから選択される。以下の明細書で述べられる説明が与えられると、その全てのソフトウェアの実現はコンベンショナルなものであり、当該技術分野にあるものである。
【００１１】
カメラのユーザは、デジタル画像及びビデオの多くの集合を蓄積している。写真を撮る人当たりデジタルカメラで捕捉される平均の画像の数は、毎年なお増加している。結果として、画像及びビデオの編成及び読み取りが典型的な消費者にとって既に問題となっている。本明細書で使用されるように、用語「画像の集合“image  collection”」とは、ユーザの画像及びビデオの集合を示す。便宜的に、用語「画像」とは、単一の画像及びビデオの両者を示す。ビデオは、随伴するオーディオ及び時にはテキストをもつ画像の集合である。
【００１２】
集合における画像及びビデオは、メタデータを含むことがある。メタデータは、画像のメタデータであり、画像の捕捉の画像の捕捉時間、露光時間、焦点長さ、地理的な位置（たとえば緯度及び経度、住所、場所又は名前）のような画像に関連される情報である。メタデータは、画素又はサウンドデータではない。また、メタデータは、以下に更に詳細に記載されるようにラベルを含む。
【００１３】
ユーザの画像の集合は、パーソナルコンピュータ（ＰＣ）、コンピュータサーバ、デジタルカメラのような様々なメモリロケーション、ＣＤ−ＲＯＭ又はＤＶＤメディアのようなメディア、若しくは、Shutterfly又はKodak  Easy  Share  Galleryのような様々なウェブホストに記憶される。画像の集合は、多数のメモリ位置にわたり分散される。たとえば、ユーザの画像の半分は、デジタルカメラフォンにあり、他の半分は、コンピュータハードドライブにある。画像の集合の部分は、複製の位置に記憶される。たとえば、ユーザは、彼のハードドライブに彼の画像の全てを有することができ、これらの画像の１０％をKodak  EasyShare  Galleryに有することができる。図１に示されるように、Ｎの異なるユーザからのＮの画像の集合１０２のセットは、インターネットのような通信ネットワーク１００を介して一般にアクセス可能である。
【００１４】
ユーザにとって画像の集合を共有することが知られている。たとえば、Kodak  EasyShare  Galleryでは、メンバは、ある友人に、メンバの画像の集合の全部又は一部を見ることを友人に誘う電子メールを送出する。この画像の共有は、リックが２つのユーザ間で形成されることを必要とする。
【００１５】
それぞれの画像の集合は、全体として集合に関する更なる集合の情報を有する。集合の情報は、名前、履歴情報、集合を所有するユーザのコンタクト情報、注文履歴、画像及びビデオ表示の好み等を含む。集合の情報は、製品又はサービスを注文するクレジットカード情報を含む。
【００１６】
図２では、集合のネットワーカ８０２は、画像の集合１０２及び関連する集合の情報１０３を入力する。集合のネットワーカ８０２の目的は、関連される画像の集合１０２間のコネクション、又はリンクを確立することである。上記目的のため、集合のネットワーカ８０２は、画像の集合１０２間のリンク１０５の集合を生成する。それぞれの画像の集合１０２は、０，１，２又はそれ以上の他の画像の集合１０２で「リンクされる」。
【００１７】
画像の集合１０２間のリンクは、画像の集合１０２における画像及びビデオの共有を容易にする。ユーザの画像の集合１０２からの画像及びビデオの一部又は全部を別のユーザと共有することがユーザにとって一般に望まれる。ユーザ（共有者）は、ユーザの画像の集合１０２とリンクされる画像の集合１０２のユーザのリストから画像を共有する１以上の人物を選択する。集合の情報１０３は、画像の集合１０２からの画像及びビデオと同様に他に共有される。画像の集合１０２間のリンクは、以下に詳細に記載されるように、オブジェクト及び人物の認識のタスクを容易にする。画像の集合１０２又は集合の情報１０３が受信者に供給されるとき、その受信者は、データを使用するために認証される。したがって、用語「認証される“authorized”」及び「共有される“shared”」は、本明細書で類似の意味を有する。画像の集合間のリンクは、リンクされた画像の集合１０２間の画像又は集合データをシャープにするためのコネクションを確立する。
【００１８】
リンク１０５の集合は、セット｛０，１｝から選択されたエレメントの値ｌij（この場合０＜ｉ＜Ｎ＋１及び０＜ｊ＜Ｎ＋１）をもつ正方行列Ｌ（Ｎ×Ｎ、この場合Ｎは画像の集合１０２の数）により便宜上表される。ｌij＝０であるとき、ｉ番目の画像の集合は、ｊ番目の画像の集合とリンクされない。ｌij＝１であるとき、ｉ番目の画像の集合は、ｊ番目の画像の集合とリンクされる。言い換えれば、ｉ番目の画像の集合からの画像及びビデオがｊ番目の画像の集合のユーザと共有される（すなわちｊ番目の画像の集合のユーザによりアクセス可能である）。行列のそれぞれの行ｎは、ｉ番目の画像の集合とリンクされる画像の集合を示す。
【００１９】
リンク１０５の例となる集合は、４つの画像の集合のケースについて以下に示される。
【００２０】
【数１】
2009533726.tif 000003
第一の画像の集合は、第二及び第三とリンクされ、第二の集合は、第一及び第四とリンクされ、第三の集合は、第一とリンクされ、第四の集合は、第二とリンクされる。対角線上の行列の項は１であり、これは、それぞれの画像の集合１０２がそれ自身と固有にリンクされているためである。行列Ｌは、（たとえば図１の通信ネットワーク１００内、又はEasyShare  Galleryにより）中央の位置に記憶される。または、それぞれの画像の集合１０２は、その関連されるＬ行列の行及び列を関連される集合の情報１０３に記憶する（たとえばｋ番目の画像の集合１０２は、その関連される集合の情報１０３にＬ行列のｋ番目の行とｋ番目の列を記憶する）。さらに、多数の画像の集合１０２が存在するEasyShare  Galleryのようなシステムでは、それぞれの画像の集合１０２について、関連される集合の情報１０３に、画像の集合１０２にリンクされるか、画像の集合１０２によりリンクされる画像の集合１０２のアイデンティを記憶することが好ましい。これは、Ｌ行列からの行及び列を記憶するときに同じ情報を表すが、一般的に、よりコンパクトな表現である（すなわちメモリを使用しない）。
【００２１】
好ましくは、行列Ｌは対称的である。実際に、対称Ｌ行列はｌij＝ｌjiを意味し、したがって、ｊ番目の集合がｉ番目の集合とリンクされるとき、ｉ番目の集合は、ｊ番目の集合と相互にリンクされる。
【００２２】
画像の集合１０２間のリンクは存在するか又は存在しないかの何れか（すなわちバイナリな存在）として本実施の形態で記載されたが、行列は、たとえば、画像の集合１０２と関連される強さ又は確率との間のリンクを示す、０と１．０との間のエレメントから構成されることが可能である。２つの画像の集合１０２間のリンクの大きさは、一方の画像の集合のユーザが別の画像の集合に対して有する可変の優先度のレベルを示す。たとえば、０＜ｌij＜０．２であるとき、ｊ番目の画像の集合のユーザは、ｉ番目の画像の集合の低解像度のバージョン（たとえば６４０×４８０画素）にアクセスすることができる。高いｌijの値で、ｊ番目の画像の集合のユーザは、ｉ番目の画像の集合の高い解像度のバージョンにアクセスすることができる。
【００２３】
コレクションのネットワーカ８０２は、多数のプロセスの何れかを使用して、リンク１０５の集合を確立する。これらのプロセスは、それぞれの集合の情報１０３に記憶されるシェアリングルールと共に機能する。シェアリングルールは、画像の集合間のリンクを形成するプロセスを容易にし、プライバシーを保護するために画像の集合のユーザにより使用される（すなわち認証されていないパーティが画像の集合１０２にアクセスするのを防止する）。
【００２４】
２つの画像の集合１０２間のリンクを確立する第一の方法は、図３に示される。ステップ１０７では、画像の集合のユーザＡは、画像の集合のユーザＢに要求を送出する。ステップ１０９では、画像の集合のユーザＢは、要求に応じる。ステップ１１１では、画像の集合１０２ＡとＢの間の適切なリンクは、ステップ１０９からの応答に基づいて形成される。
【００２５】
ステップ１０７における要求は、多数の形式の何れかを取る。たとえば、要求は以下に示される。  
“私は（集合のユーザＡ）は、あなた（集合のユーザＢ）が私とあなたの画像の集合を共有した場合にのみ、あなたと私の画像の集合を共有します。”  
“私は（集合のユーザＡ）は、あなたと私の画像の集合を共有します。”  
“私は（集合のユーザＡ）は、あなたが（集合のユーザＢ）がわたしとあなたの画像の集合を共有することを要求します。”
要求は、当該技術分野で知られる任意のやり方を通して画像の集合Ｂのユーザに伝達することができる。たとえば、要求が電子メールを介して、インターネットを介して携帯電話、カメラに米国郵政公社等を通して送出される。
【００２６】
ステップ１０９では、ユーザＢは、要求を読むか又は聞いて、次いで要求を受け入れるか又は拒否することで手動的に応答する。応答は、集合の情報１０３の一部であるシェアリングルールに基づいて自動的に生成される。たとえば、ユーザＢは以下のシェアリングルールの何れかを有する。
【００２７】
全てのシェアリング供給を拒否する。  
全てのシェアリング要求を受け入れる。  
私と共有するのを望む方の全ての要求を受け入れる。  
以下の人のリストから全ての要求を受け入れる（Jim,  Tom,  Jenny,  gallagherという姓を持つ誰か）。
【００２８】
シェアリングルールが特定の要求に特に適用されないとき、画像の集合のユーザＢは、応答を決定する。
【００２９】
ステップ１１１では、適切なリンクは、ステップ１０７からの要求、ステップ１０９からの要求に基づいて形成される。たとえば、要求が、“私は（集合のユーザＡ）は、あなた（集合のユーザＢ）が私とあなたの画像の集合を共有した場合にのみ、あなたと私の画像の集合を共有します”であり、集合のユーザＢからの応答が要求を受け入れるとき、行列Ｌの項ｌab及びｌbaは１に設定される。
【００３０】
当業者であれば、要求及び応答ステップ１０７及び１０９は、同じ目的を達成するために様々なワード、フレーズ、又はステップを使用することができることを認識されるであろう。また、記載されたように、要求及び応答ステップは、便宜のために２つのみの集合のユーザを含んでいる。任意の数のユーザを含む要求が発生される。たとえば、“私（集合のユーザＡ）は、あなた（集合のユーザＢ及びＣの両者）が私とあなたの画像の集合を私と、及び互いに共有した場合に、あなた（集合のユーザＢ及びＣ）と私の画像の集合を共有します。”
図４は、集合のネットワーカ８０２の別の実施の形態を示す。この実施の形態では、画像の集合１０２の画像及びビデオは、集合の情報１０３と共に、画像の集合１０２間のリンクを確立するために調べられる。集合のネットワーカ８０２は、画像の集合１０２からの画像及びビデオを、画像の集合１０２に関連される集合の情報１０３と共に分析して、画像の集合１０２をリンクするために使用される類似性のスコアを生成する。集合のコンパレータ１１３は、画像の集合１０２のペアと関連される集合の情報１０３を比較して、２つの画像の集合の間のコンテンツの類似性を示す類似性のスコアの行列１１５を生成する。類似性のスコアのマトリクスＳは、Ｎ×Ｎ行列（Ｎは画像の集合１０２の数）であり、ｓij（ｉ及びｊは０＜ｉ＜Ｎ＋１及び０＜ｊ＜Ｎ＋１）は、［０，１］を含む範囲に及ぶことが好ましい。マトリクスＳのエレメントｓijは、ｉ番目及びｊ番目の画像の集合のユーザが互いにそれらの画像の集合を共有することに関心がある可能性を示す。集合のコンパレータ１１３は、以下に更に詳細に記載される。
【００３１】
類似の行列１１５は、リンカー１１７に通過される。リンカー１１７は、類似性の行列における類似性のスコアを調べる。エレメントｓijが閾値Ｔ0を超えるとき（ｉ番目及びｊ番目の画像の集合のユーザが互いにそれらの画像の集合を共有することに関心がある良好な可能性があることを示し）、幾つかのアクションのうちの１つが採用される。好適な実施の形態では、“あたなは、あなたの画像の集合が（集合ｊのユーザと）リンクされるのを望みますか？”といった要求が集合ｉのユーザに送出され、同様の要求が集合ｊのユーザに送出される。両方のユーザが要求を受け入れる場合、リンクが集合間で確立される（すなわちｌij＝ｌji＝１）。上述されたように、集合の情報１０３に記憶されるシェアリングルールは、要求に対する自動的な応答を提供するために使用されるか、要求に対する応答は、画像の集合の所有者により手動的に決定される。要求に対する応答が手動的に送出されるか、自動的に送出されるかで、応答は、類似のコンテンツ又は類似の固有のオブジェクトを潜在的に含む２つの画像の集合１０２をユーザが識別するのを本質的に可能にする。あるユーザが要求を（手動又は自動の何れかで）別のユーザに送出し、そのユーザが（手動又は自動の何れかで）要求に対して応答したとき、２つのユーザは類似のコンテンツ又は類似の固有のオブジェクトを潜在的に含む２つの画像の集合１０２を識別するために協働する。
【００３２】
別の実施の形態では、リンカー１１７は、ｓijがＴ0を超えたとき、画像の集合ｉと集合ｊの間のリンクを自動的に確立する。好ましくはＴ0＝０．９７５である。
【００３３】
要するに、リンカー１１７は、画像の集合間でリンクを要求するステップを実行し、要求に対する応答を可能にし、次いで適切なリンクを形成する。
【００３４】
図５は、図４から集合のコンパレータ１１３の更に詳細なビューを示す図である。この実施の形態では、集合のコンパレータ１１３は、画像の集合１０２間の共通性を探す。想定は、共通の固有のオブジェクトを含む画像の集合１０２のユーザが共通の固有のオブジェクトを持たない画像の集合１０２のユーザよりも、それらの画像の集合１０２間のリンクを確立するのを望む可能性があることである。固有のオブジェクトは、唯一存在しているオブジェクトである。たとえば、それぞれの人物は固有のオブジェクトである。自動車のモデル（たとえば1998  Ford  Windstar）は、多く存在するので固有ではないが、特定のFord  Windstar（すなわちHolly  GallagherのFord  Windstar）は、固有のオブジェクトである。固有のオブジェクトが１を超える画像の集合１０２で現れるとき、画像の集合のユーザがそれらの画像の集合１０２を共有するのを好む可能性が増加する。たとえば、２つの画像の集合がJennifer  Andersonの画像をそれぞれ含む場合、画像の集合のユーザは個人的なコネクションを有する可能性があり（たとえば彼らは共にJenniferと友人であるか、おそらく互いに友人であるか）、それらの画像の集合１０２間でリンクを確立する可能性がある。例示の目的で、集合のコンパレータ１１３は、画像の集合ＡとＢを比較して、類似性の行列１１５の単一のエレメントｓABを生成するために示される。実際に、集合のコンパレータ１１３は、任意の数の間画像の集合１０２のペア間での類似性のスコアを生成する。集合のコンパレータ１１３は、画像の集合からの画像及びビデオを分析し、さらに、それぞれの画像の集合に関連する集合の情報１１３は、類似性のスコアを生成するために調べられる。
【００３５】
画像の集合１０２は、固有のオブジェクト抽出器１１９で分析される。固有のオブジェクト抽出器１１９の目的は、固有のオブジェクト１５７を識別し、画像の集合の画像及びビデオ内の固有のオブジェクトを記述する特徴を抽出することである。たとえば、固有のオブジェクトの抽出器１１９は、好ましくは顔抽出器であり、関連される特徴は、以下に記載されるように顔の測定値に関連される。固有のオブジェクト抽出器１１９は、自動車の検出器である。これらのオブジェクト及び他のオブジェクトを識別する画像処理技術は、当該技術分野で知られており、たとえば米国特許第６８２９３８４号で記載される。固有のオブジェクト抽出器１１９は、画像及びビデオから固有のオブジェクト１５７を探す。しかし、固有のオブジェクト抽出器１１９は、（たとえば、固有のオブジェクト抽出器が顔検出器であるときに人の名前といった）オブジェクトのアイデンティを必ずしも認識しない。たとえば、固有のオブジェクト抽出器１１９が人間の顔検出器であるとき、固有のオブジェクトは、それらの固有のアイデンティティが未知であるにも関わらず（すなわち名前）、固有のオブジェクト抽出器１１９により探される。
【００３６】
次いで、固有のオブジェクトコンパレータ１２１は、２つの画像の集合で発見された固有のオブジェクト１５７を比較し、共通の固有のオブジェクトが２つの画像の集合のそれぞれに現れる可能性を判定し、次いで、類似性の判定器１２３は、２つの画像の集合の類似性のスコアを出力する。
【００３７】
可能性は、特徴（ｆiA及びｆjB）集合Ａからのｉ番目の固有のオブジェクトが画像の集合Ｂからのｊ番目の固有のオブジェクトと同じであることを示す、
［外１］
2009533726.tif 000004
を評価することで判定される。
【００３８】
［外２］
2009533726.tif 000005
を解くことは、パターン認識及びマシンラーニングの分野でしばしば議論される問題に類似の問題である。多くの異なる分類技術が使用される。実際に、使用される分類技術は、（たとえば顔、自動車、ペット、天然記念物、有名な絵画等の）比較されている固有のオブジェクトのタイプに依存する。
【００３９】
［外３］
2009533726.tif 000006
に対する有効且つ計算上容易な近似は、
【００４０】
【数２】
2009533726.tif 000007
である。
【００４１】
すなわち、確率
［外４］
2009533726.tif 000008
は、特徴ベクトルｆiAとｆiBとの間の距離Ｄ（ｆiA，ｆiB）の関数ｆ（）として近似される。好ましくは、ｆiAとｆiBとの間の距離は、Euclidean距離である。代替的に、距離は、AdaBoostのようなトレーニングアルゴリズムから学習される重みで導出される。たとえば、
【００４２】
【数３】
2009533726.tif 000009
Ｔ1は調節可能なパラメータである。
【００４３】
別の実施の形態では、固有のオブジェクト抽出器１１９は、画像及びビデオ自身のコンテンツと共に、画像の集合からの画像及びビデオのメタデータを分析する。この情報は、１つの画像の集合で発見される特定の固有のオブジェクト１５７が別の画像の集合にもある可能性を判定するため、固有のオブジェクトパラメータ１２１の能力を強化する。たとえば、メタデータは、画像の捕捉の日付及び時間、画像の捕捉時の周囲の気温、画像の捕捉の地理的な位置、及びラベルを含む。ラベルは、全体として画像と関連付けされる（たとえば「ウォーターメロンの大食い大会におけるジェニー」のようなキャプション）。または、ラベルは、２以上の画像のセットと関連付けされる（たとえば「2005年のLetchworthパークでのキャンプ」）。又は、ラベルは、画像の特定の領域、又は画像の領域から導出された特徴のセットと関連付けされる。たとえば、Andrew  C.  Gallagherによる“Finding  Images  With  Multiple  People  or  Objects”と題された2006年1月27日で提出された同一出願人による米国特許出願11/342,053は、ラベラー１２０をもつ画像における人間の顔をラベリングするプロセスを記載するものであり、その開示は引用により本明細書に盛り込まれる。ラベラー１２０により、ユーザは、固有のオブジェクト抽出器１１９により検出される固有のオブジェクトを記述するラベルを提供する。ラベル“Hannah”は、画像におけるHannahの位置を定義する画像における位置と関連される（たとえば、左及び右の目の座標）。用語「タグ」、「キャプション」及び「注釈」は、用語「ラベル」と同意語として使用される。
【００４４】
固有のオブジェクトコンパレータ１２１は、画像の集合の両者からのラベル付けされた固有のオブジェクト１５７を考慮し、集合Ａからのラベル付けされた固有のオブジェクトは集合Ｂからのラベル付けされた固有のオブジェクトである。固有のオブジェクトのコンパレータ１２１は、多数の画像の集合１０２からのラベル付けされた固有のオブジェクトのリストを考慮する。たとえば、固有のオブジェクト抽出器１１９からの固有のオブジェクトの例示的なリストは、以下に示される。
【００４５】
【表１】
2009533726.tif 000010
表１では、画像の集合Ａからの固有のオブジェクトの５つの例があり、画像の集合Ｂからの固有のオブジェクトの７つの例がある。単一の画像の集合内で、繰り返されるラベルは、固有のオブジェクトの別の画像を示す。たとえば、画像の集合Ａからの項目３及び４は、同じ人物（すなわち固有のオブジェクト）“Maggie”の異なる画像である。画像の集合Ａは、４つの個別の固有なオブジェクト（DanA,  HollyA,  MargaretA及びAndyA、この場合、下付き文字は固有のオブジェクトが得られる画像の集合を示す）を含み、画像の集合Ｂは、５つの個別の固有なオブジェクト（MaggieB,  AndyB,  HollyB,  DanB及びPennyB）を含む。解くべき問題は、「画像の集合Ａに現れる固有のオブジェクトの何れかが画像の集合Ｂからの固有のオブジェクトと同じである可能性があるか？」である。
【００４６】
この問題を解くため、固有のオブジェクトコンパレータ１２１は、固有のオブジェクト１５７に関連される特徴（ｆiA，ｆiB）及びメタデータ（ｍiA，ｍiB）が与えられた場合、集合Ａからのｉ番目の固有のオブジェクトが集合Ｂからのｊ番目の固有のオブジェクトと同じであることを示す、確率
［外５］
2009533726.tif 000011
を計算する。言い換えれば、画像の分析、特徴、ラベル及び他のメタデータが使用され、画像の集合が共通の固有のオブジェクトを有するかが判定される。メタデータが固有のオブジェクトに関連される任意の名前のラベルを含むことを思い出されたい。メタデータが特徴ベクトルとは独立であるとの想定がされた場合、確率は
【００４７】
【数４】
2009533726.tif 000012
であると想定される。
【００４８】
米国特許第6,829,384号におけるSchneiderman等により示されるように、確率の積を使用することは、統計的な独立性が保持されないときでさえ分類のために有効である。
【００４９】
特定の固有のオブジェクト１５７の多くの例が存在するとき、その固有のオブジェクト１５７の特徴の分布が学習される。たとえば、Ｐ（f|Holly）は、固有のオブジェクトがHollyであると仮定すると、特徴の値の分布である。分布は、ヒストグラムで表現されるか、ガウス分布のような適切な分布でモデル化される。次いで、
［外６］
2009533726.tif 000013
の計算は、
［外７］
2009533726.tif 000014
が分布Ｐ（f|iA）と分布Ｐ（f|iB）の間の統計的な差を本質的に測定するので書き換えることができる。これは、２つの離散的な分布ｐ及びｑの間の距離ｄBを測定するBhattacharya距離のような多くの距離のメトリクスで達成することができる。
【００５０】
【数５】
2009533726.tif 000015
次いで、確率
［外８］
2009533726.tif 000016
は、１−ｄBとして推定されるか、式（２）に従って推定される。
【００５１】
他方で、画像の集合における特定の固有のオブジェクトの例が非常に少ないとき、特徴の値
［外９］
2009533726.tif 000017
の条件付き分布を推定することは困難である。その場合、確率
［外１０］
2009533726.tif 000018
は、画像の集合Ａからのオブジェクトｉと画像の集合Ｂからオブジェクトｊのそれぞれのペアと関連される特徴間の距離Ｄ（ｆiA,ｆjB）を測定することで推定される。次いで、最小の距離Ｄmin（ｆiA,ｆjB）は、確率
［外１１］
2009533726.tif 000019
を導出するために使用される。代替的に、画像の集合Ａからのオブジェクトｉと画像の集合Ｂからのオブジェクトｊのそれぞれのペア間の距離Ｄ（ｆiA,ｆjB）の集合の平均又は中間は、
［外１２］
2009533726.tif 000020
を計算するための距離として使用される。
【００５２】
用語
［外１３］
2009533726.tif 000021
は、ラベルを含む、固有のオブジェクト１５７に関連されるメタデータ間の類似性を計算することで推定される。係る確率は、パターン認識とマシンラーニングの分野での技術的な標準を使用して、大量のメタデータによるトレーニングを介して学習される。メタデータがテキストラベルを含むとき、確率の項
［外１４］
2009533726.tif 000022
２つのテキストラベル間の整合の程度を示す。テキストマッチングは、たとえば米国特許第5,630,121号といった文献に記載されており、自然言語処理を使用したテキストラベルからの単語間の類似性を決定するプロセスを記述する。著者は、“dog”と“pooch”のような同意語、又は“mammal”と“rabit”のような上位語と下位語とのペアであるラベル間の良好な整合を生成する方法を教示している。この方法は、人に関する名前を扱うために拡張されている。人に関連する名前は、ファーストネーム（たとえば“Tom”,“Thomas”）、完全な与えられた名前（たとえば“Ethan  Edward  Gallagher”）又はニックネーム（たとえば“Mom”、“Dad”、“Jimmy”、“The  Bus”）とすることができる。たとえば、単一の固有の人物は、２つの異なる画像の集合Ａ及びＢに現れる。集合Ａでは、固有の人の顔の例は、“Jenny”でラベル付けされるが、集合Ｂでは、同じ人の例は、“Jennifer”でラベル付けされる。ラベルの類似性
［外１５］
2009533726.tif 000023
は、Jenny及びJenniferが名前の類義語であるために高いスコアを有する。他方で、２つの画像の集合が同じ名前及びラベル（たとえば“Jenny”）を期せずして有する２つの異なる人物の画像を含む場合、ラベルの類似性は高いが、第一の画像の集合と第二の画像の集合のそれぞれから導出される顔の特徴ｆ1とｆ2との間の対応する類似性は低い可能性があり、したがって、確率
［外１６］
2009533726.tif 000024
も同様に低い。名前、一般的な名前のミススペリング、及び一般的なニックネームは、固有のオブジェクト（この場合は人）が画像の集合の両者で現れる可能性を判定するため、メタデータアナライザ１２５によりアクセスされる関連するネームテーブル１２７に記憶される。たとえば、ファーストネーム及びバリエーションのデータベースが存在し、www.incompetech.com/named/multi.pl.でインターネットでサーチされる。高い確率（たとえば
［外１７］
2009533726.tif 000025
）は、正確な名前の整合について割り当てられる。別の例は、顔が画像の集合Ａで“me”と名付けられ、画像の集合Ｂにおける“Jeff”と名付けられ、画像の集合Ａのユーザの名前が“Jeff”と名付けられるときである。中間の高い確率（たとえば
［外１８］
2009533726.tif 000026
）は、“Jenny”及び“Jennifer”のような一般に生じる名前のバリエーションについて割り当てられる。なお、特定の名前のバリエーションは、ラベラー１２０を介してユーザにより入力される。たとえば、名前“Jerome  Bettis”は、特定のニックネームがその人を記述するために使用されることをユーザが知るときに、ニックネーム“The  Bus”と関連付けされる。中間の高い確率（たとえば
［外１９］
2009533726.tif 000027
）は、低い可能性であるが、もっともらしく思われる名前のラベルから生じる（たとえば、第一の画像の集合における“Sarah”と名付けられた顔、及び第二の画像の集合における“Mom”と名付けられた顔は、ラベルの性が整合するためにもっともらしく思われる）。低い確率（たとえば
［外２０］
2009533726.tif 000028
）は、同じ人物を示す可能性が高い名前のラベルから得られる（たとえば、第一の画像の集合における“Jeff”と名付けられた顔、及び第二の画像の集合における“Tom”と名付けられた顔。これは、個々の人が異なる社会的な環境における異なるファーストネームにより知られるときに可能性がある）。非常に低い可能性（たとえば
［外２１］
2009533726.tif 000029
）は、同じ人物を示す可能性が低い名前のラベルから得られる（たとえば、第一の画像の集合における“Jenny”と名付けられた顔、及び第二の画像の集合における“Dad”と名付けられた顔、又は一方の画像の集合における“Tom  Johnson”と名付けられた顔及び別の画像の集合における“Tom  Smith”と名付けられた顔）。
【００５３】
画像の捕捉の位置は、
［外２２］
2009533726.tif 000030
を計算することでも考慮される。固有のオブジェクトが同じである確率は、そのオブジェクトがほぼ同時に同じ位置にあるときに増加する。同様に、固有のオブジェクトは、同時に２つの場所にあることができない。好ましくは、固有のオブジェクトｉAを含む集合Ａからの画像と固有のオブジェクトｊBを含む集合Ｂからの画像とである画像のペアに対応する２つのロケーション間のトラベリング時間ｔが計算される。トラベル時間ｔは、全てのトラベルのモードを考慮して、２つのポイント間の最も早いパスを計算するために設計されたアルゴリズムで推定される。たとえば、２つのポイント間のトラベル時間は、航空機、地下鉄、タクシー、及び徒歩により行なわれる旅行の一部を含む。トラベル時間が２つの画像間の画像の捕捉時間における差を超える場合、
［外２３］
2009533726.tif 000031
は低いか又はゼロである。たとえば、画像の集合Ａの画像が1:00  EST  1/1/2006でMoab  UTで捕捉され、画像の集合Ｂの画像が3:00  EST  1/1/2006でBrockport  NYで捕捉された場合、トラベル時間ｔは、２時間の画像の捕捉時間の差を超える。したがって、第一の画像における固有のオブジェクトは、第二の画像におけるオブジェクトでもあり、逆も然りである可能性が低い。
【００５４】
例について、表１における画像の集合Ａからの４つの個別のオブジェクト及び画像の集合Ｂからの５つの個別のオブジェクトを再び考える。エレメント
【００５５】
【数６】
2009533726.tif 000032
を有する行列Ｕが構築される。表１に含まれる情報、及びＴ1＝１／３による式（１）及び（２）を使用して、以下のＵ行列が生成される。
【００５６】
【数７】
2009533726.tif 000033
行は集合Ａからの固有のオブジェクト（DanA,  HollyA,  MargaretA及びAndyA）に対応し、列は、集合Ｂからの固有のオブジェクト（MaggieB,  AndyB,  HollyB,  DanB及びPennyB）
に対応する。たとえば、MargaretAがMaggieBである可能性は、所与の例である特徴の値に基づいて０．８７である。
【００５７】
行列Ｖはエレメント
【００５８】
【数８】
2009533726.tif 000034
で構築される。表１に含まれる情報及び上述された確率を使用して、以下のＶ行列が生成される。
【００５９】
【数９】
2009533726.tif 000035
最終的に、
［外２４］
2009533726.tif 000036
を表すエレメントｗijを含む行列Ｗは、ｗij＝νijμijを計算することで計算される。
【００６０】
したがって、表１に含まれる情報のＷ行列は、
【００６１】
【数１０】
2009533726.tif 000037
である。
【００６２】
したがって、HollyAはHollyBであり（スコア０．８１）、MargaretAはMargaretBであり（スコア０．７８）、AndyAはAndyBである（スコア０．８６）。
【００６３】
次いで、類似性の判定器１２３は、集合のユーザがそれらの画像の集合間にリンクを確立するのを望む可能性を示す類似性のスコアｓABを出力する。類似性のスコアは、１以上の固有のオブジェクトが両方の画像の集合に共通する可能性を考慮することで導出される。好ましくは、類似性のスコアは、（たとえば画像の集合Ａからの第一のオブジェクトと画像の集合Ｂからの第二のオブジェクトのそれぞれのペアを考慮することで）計算された固有のオブジェクトのコンパレータ１２１からの全ての
［外２５］
2009533726.tif 000038
の最大値である。代替的に、類似性のスコアは、
［外２６］
2009533726.tif 000039
の値を生成した特徴のベクトルにより記述されるオブジェクトのタイプを考慮することで計算することができる。たとえば、２つの画像の集合がJennifer  Andersonの画像を含むとき、ユーザがリンクを確立するのを望む可能性がある。しかし、２つの画像の集合がWashington  Monumentの画像をそれぞれ含むことが発見されたとき、ユーザは、それぞれの画像の集合間のリンクを確立することを必ずしも望まない。したがって、確率
［外２７］
2009533726.tif 000040
は、オブジェクトのタイプに依存する重み付け要素Ｗ1でそれぞれ重み付けされ、類似性のスコアｓABは、最大の重み付けされた確率を発見することで生成される。オブジェクトタイプに基づいた重み付け要素Ｗ1の例示的なリストは、以下に示される。  
人０．９、有名な像／建物０．１、ペット０．７、土地の造成０．２、有名人０．２、自動車０．６、有名でない建物０．３。
【００６４】
当業者であれば、画像の集合１０２間のリンクは、図３に示されるように集合のユーザが別の集合のユーザへの要求を始動したとき、又は、コレクションのネットワーカ８０２が画像及びメタデータのコンテンツの分析を通して、画像の集合１０２のユーザがそれらの画像の集合１０２のリンクを高く評価する可能性があると判定する。
【００６５】
画像の集合１０２間のリンクは、グラフィカルに示すことができ、たとえば、図６に示されるリンクのネットワーク１２９を参照されたい。画像の集合１０２は、大文字で象徴され、リンク１２９は、双方向の矢印で示される。相互のリンクをもつ３以上の画像の集合１０２のセットは、共有するグループを形成する。たとえば、画像の集合Ａ，Ｆ及びＧは、それぞれの画像の集合のユーザが他の画像の集合のユーザの画像の集合へのアクセスを有するために、共有するグループである。
【００６６】
図５を参照して、メタデータアナライザ１２５は、２つの画像の集合のユーザが集合の情報１０３に基づいてそれらの集合をリンクするのを望む可能性を判定する。２つの画像の集合の類似性の別の測定は、リンク自身のネットワークに基づいている。リンク１０５の集合を通して２つの画像の集合（Ａ及びＢ）の間の距離は、画像の集合Ａから画像の集合Ｂに移動する必要がある最少の数の既存のリンクである。この距離は、Ｌiの（Ａ，Ｂ）番目のエレメントが１であるように整数ｉの最小の値（ｉ＞０）を発見することで計算される。たとえば、図６では、画像の集合Ａ及びＧは、距離ＤS（Ａ，Ｇ）＝１により分離される。これは、画像の集合Ａと集合Ｇの間にリンクが存在することを意味する。２の距離は、画像の集合ＧとＤを分離する。この距離は、２つの画像の集合について類似性のスコアを割り当てるために、類似性の判定器１２３により考慮される。たとえば、類似性の判定器１２３は、更なる重み付け要素Ｗ2＝ｅｘｐ（−（ＤS（A,B）−Ｔ3）／Ｔ2）を計算し、この場合、Ｔ2及びＴ3は、選択可能なパラメータであり、好ましくはＴ3＝１及びＴ2＝３である。この重み付け要素Ｗ2は、類似性のスコアｓABを生成するとき、類似性の判定器による固有のオブジェクトのコンパレータ１２１からの確率Ｐ（Ｃ|ｆ1,ｆ2,ｍ1,ｍ2）により結合（乗算）される。
【００６７】
先に説明されたように、リンクされる画像の集合１０２を有することは、画像の集合１０２又は画像の集合１０２の一部を共有するのを容易にする。画像の集合がユーザから別の人に共有されるとき、他の人は、共有される画像及び集合の情報にアクセスするのを許可される。このアクセスの範囲は、用途に依存して変動する可能性がある。たとえば、ユーザは、集合と関連されるメタデータからの画像及びビデオのコピーを共有する。代替的に、ユーザは、低解像度のバージョンの画像を他の人物と共有する。共有される画像は、コンピュータのモニタで見られるか、又は、カメラ又は携帯電話と統合されるようなＬＣＤスクリーンで見られる。画像の共有により許可されるアクセスは、永続的なアクセスであるか、又は、画像の集合の所有者により設定されたとき、所定の時間長の後に期限切れとなるように設定される。アクセスは、所定のイベントの後に期限切れとなるように設定される。たとえば、アクセスは、他の人が画像をひとたび見た後に期限切れとなる。
【００６８】
１以上の画像が関連されるラベルを有するとき、画像の集合１０２間のリンクは、一方の画像の集合１０２から別の画像の集合からのラベル及び特徴を伝播するために有効である。幾つかの画像の集合のユーザは、画像及びビデオを注釈し、画像及びビデオ内の人及び他のオブジェクトをラベル付けする大量の時間を投資する。他の画像の集合のユーザは、それらの集合において何もラベル付けしない。画像の集合の間でリンクを使用することで、彼の画像をラベル付けしない画像の集合のユーザでさえ、ユーザの画像の集合がリンクされた画像の集合１０２のユーザにより行なわれたラベリングからの恩恵を受ける。これにより、テキストによる画像の集合をサーチすること、及び関連する画像を検索することが可能となる。たとえば、Hollyは、彼女の画像の集合に現れる人を“Andy”、“Holly”、“Hannah”、“Jonah”及び“Ethan”とラベル付けする。Hollyは、彼女の画像の集合を彼女の姉妹のPennyと共有し、Pennyは、彼女自身の画像の集合をラベル付けしない。画像の集合間のリンクは、“Andy”、“Holly”、“Hannah”、“Jonah”及び“Ethan”を既知とすることができ、したがって、Pennyの画像の集合におけるこれらの人の例は、自動的に注釈される。
【００６９】
図７は、リンクされる画像の集合１０２が、リンクされた画像の集合のそれぞれのサーチ可能性を拡張するために使用される方法を例示する。記述を簡略化するため、画像の集合Ａ及びＢがリンクされるとする（ｌab＝ｌba＝１．０）。したがって、それぞれの画像の集合１０２は、画像及びビデオ、特徴、（位置及び捕捉時間のような捕捉メタデータ、及び名前ラベルのようなラベルを含む）メタデータ、及び他の集合の集合情報１０３へのアクセスを有する。コネクションが相互関係を表す状況では（たとえばｌab＝１．０、ｌba＝０）、当業者であれば、画像の集合Ｂが画像の集合Ａのユーザにより供給されるラベルからの恩恵を受けるが、逆に、画像の集合Ａが画像の集合Ｂのユーザにより供給されるラベルからの恩恵を受けない。
【００７０】
図５から、画像の集合からの画像及びビデオが固有のオブジェクトの抽出器１１９に通過されることを思い出されたい。固有のオブジェクト抽出器１１９は、前に記載されたように顔、自動車等のような固有のオブジェクトを検出し、オブジェクトに関連される特徴を抽出する。オブジェクト（及び関連される抽出された特徴）は、ラベルと関連付けされる。たとえば、固有のオブジェクト抽出器１１９が（１００,１００）及び（１４０,１０５）での目の座標位置を有する顔を検出し、ユーザインタフェースを通して、顔は“Margaret”であることをユーザが示した場合、顔は（たとえば目の座標位置である）特徴により表され、名前のラベル“Margaret”と関連付けされる。特徴の抽出は、以下に更に詳細に記載される。
【００７１】
固有のオブジェクトのコンパレータ１２１が、オブジェクトに関連される特徴（ｆiA及びｆiB）及びメタデータ（ｍiA及びｍjB）が与えられた場合、集合Ａからのｉ番目の固有のオブジェクトが画像の集合Ｂからのｊ番目の固有のオブジェクトと同じである確率
［外２８］
2009533726.tif 000041
を計算することを思い出されたい。これらの確率は、行列Ｗのエレメントである。本質的に、固有のオブジェクトのコンパレータ１２１は、２（又は２以上）の画像の集合１０２の間の類似性を判定する。
【００７２】
固有のオブジェクトパラメータ１２１は、ラベル付けされていないオブジェクトのアイデンティティを分類するために分類手段１３５を構築するために使用される個別の固有のオブジェクト１３３のセットを生成する。固有のオブジェクトのコンパレータ１２１は、図５を参照して記載される。この実施の形態では、リンクは画像の集合１０２Ａと１０２Ｂとの間に存在する。そのため、固有のオブジェクトのコンパレータ１２１の機能は、図５からの固有のオブジェクトのコンパレータ１２１を参照して記載された機能と僅かに異なる。たとえば、
［外２９］
2009533726.tif 000042
の計算において重要な事前確率は、集合のユーザ間でのある種のリンク（たとえば社会的なつながり）が存在することが知られているときに異なる。
【００７３】
また、２つの画像の集合のユーザ間の社会的な関係が固有のオブジェクトのコンパレータ１２１により知られている場合、その情報は、性能を改善するために使用される。たとえば、画像の集合Ａ及びＢの両者が“Mom”としてラベル付けされる固有のオブジェクト１５７を有すると仮定する。固有のオブジェクトのパラメータ１２１が、画像の集合がシブリングであることを知っている場合、項
［外３０］
2009533726.tif 000043
は、MomAがMomBと同じであるかを考慮したときに大きい（１．０に近いか又は等しい）。代替的に、固有のオブジェクトのコンパレータ１２１は、画像の集合のユーザが関連されないことを知っている場合、項
［外３１］
2009533726.tif 000044
は、MomAがMomBと同じであるかを考慮したときに小さい（０．０に近いか又は等しい）。リンクされた画像の収集のユーザの間の社会的なつながりに関する情報は、何れかの画像の収集のユーザにより任意の標準的なユーザ入力装置を使用して収集情報１０３に入力され、他の画像の収集の所有者と共有される。たとえば、画像の集合ＡとＢのユーザ間でリンクが確立されたとき、画像の集合Ａのユーザは、“集合のユーザＢは私の＿＿です。”と尋ねられ、ブランクにおいて満たすべき社会的なつながりの選択からなる以下のリストが与えられる。兄弟、姉妹、母、父、息子、娘、いとこ、叔母、叔父、親戚、友人。
【００７４】
画像の集合Ａのユーザの入力１４５のユーザは、社会的なつながりを示すために使用される。画像の集合Ｂのユーザの性が既知であるとき、社会的なつながりの選択のリストは、より適切な設定に短縮化される。たとえば、画像の集合Ｂのユーザが女性である場合、画像の集合Ａのユーザに表示される社会的なつながりの選択のリストは、姉妹、母、娘、いとこ、叔母、親戚、友人である。
【００７５】
同様の問題は、画像の集合Ｂのユーザに対しても課される。１つの応答は、２つの画像の集合のユーザ間の関係を定義するために必要とされる全てである。
【００７６】
個別のオブジェクトファインダ１４１は、固有のオブジェクトコンパレータ１２１からの尤度を入力し、個別の固有のオブジェクト１３３のセットを決定する。個別のオブジェクトファインダ１４１は、１つの画像の集合からの特定の固有のオブジェクトが第二の画像の集合１０２からの特定の固有のオブジェクトと同じであることを判定するための２つのプロセスを有する。第一に、ｗijの尤度（すなわち信頼）の値が閾値Ｔ2を超えるとき（好ましくはＴ2＝０．９）、第二に、個別のオブジェクトのファインダ１４１はユーザ入力１４５を使用して、ｉA＝ｉBが同じ固有のオブジェクトであるかを確認する。尤度値ｗijが閾値Ｔ3を超えるとき（好ましくはＴ3＝０．７５）、個別のオブジェクトファインダ１４１は、ディスプレイ１４３での２つの画像の一部を表示する。ディスプレイは、カメラ、コンピュータ、携帯電話等でのＣＲＴ、ＬＣＤとすることができる。画像の部分のうちの１つは、画像の集合Ａからの固有のオブジェクトｉの例であり、第二の画像の部分は、画像の集合Ｂからの固有のオブジェクトｊの例である。画像の部分は、ビデオの画像又はフレーム又は抜粋の切り取られた領域とすることができる。ユーザは（好ましくは画像の集合Ａ又はＢのユーザである）は、（ボトムクリック、ボイスコマンド、マウスクリック、又は他の入力装置を介して）表示された画像の部分が同じ特定の固有のオブジェクトを表示するかを示す。
【００７７】
図８は、画像の集合Ａからの顔に対応する画像部分２５１、及び画像部分Ｂからの顔に対応する画像部分２５３の例示的な表示を示す。これらの画像部分は、固有のオブジェクトの検出器１１９により検出される顔に対応する。添付のテキストラベルは、対応する画像部分に隣接してディスプレイで表示される。画像の部分が同じ人を表示するため、ユーザは、固有のオブジェクトが同じであることを個別のオブジェクトファインダ１４１に示す。メッセージ２５５は、「これらは同じオブジェクトですか？」のように画像部分と表示され、メニューの選択からＹｅｓ又はＮｏをユーザが選択するのを可能にする。代替的に、メッセージ２５５は、表示されている固有のオブジェクトのタイプに仕立てられる。たとえば、固有のオブジェクト検出器１１９が顔又は人物の検出器で表示されたオブジェクトを発見するとき、メッセージ２５５は、「これらは同じ人物であるか？」である。図９は、画像部分２５１及び２５３が異なる人物を表示する例を示し、ユーザは、固有のオブジェクトが個別であることを個別のオブジェクトファインダ１４１に示す。
【００７８】
図７を参照して、個別のオブジェクトファインダ１４１が個別の固有のオブジェクト１３３のセットを出力する。これら個別の固有のオブジェクト１３３は、分類手段をトレーニングするために使用される。固有のオブジェクトの抽出器１１９からの固有のオブジェクト１５７が人間の顔であるとき、個別の固有のオブジェクト１３３は、個人である（たとえば名前を持つ特定の固有の人物）。たとえば、表１からのデータに基づいて、（ユーザ入力１４５を想定して）画像の集合１０２Ａ及びＢ間の６つの個別の固有のオブジェクトは、DanA,  HollyA=HollyB,  MargaretA=MaggieB,  AndyA=AndyB,  DanB,  PennyBである。
【００７９】
２つの画像の集合の間、これら個別の固有のオブジェクトのそれぞれの１以上の例が存在する。当業者であれば、個別の固有のオブジェクトの名前が多くのバリエーションを有することを認識する（たとえば画像の集合の出現当たり１つのバリエーション）。
【００８０】
分類手段１３５は、パターン認識の分野で良好に知られているように、オブジェクトに関連されるラベル及び特徴の値に基づいてトレーニングされる。分類手段は、任意のタイプのものとすることができる。このアレンジメントに対する幾つかの利点が存在する。第一に、一般に、分類手段１３５の性能は、トレーニングデータの量が増加するにつれて改善される。１を超える画像の集合から固有のオブジェクトのサンプルを使用することで、性能が改善される。第二に、分類手段１３５は、その画像のコレクションにおけるラベル付けされたサンプルが存在しない場合でさえ、サンプルがリンクされた画像の集合１０２に存在する限り、固有のオブジェクトのアイデンティティ（すなわちラベル）を分類することができる。分類手段１３５は、個別のオブジェクトファインダ１４１により発見された全ての名前のバリエーションをラベルが含むことを保証することで、リンクされた画像の集合のユーザに関連するのと同様に、画像の集合のユーザに関連するラベルと画像をラベル付けする。たとえば、分類手段１３５は、“MargaretA”及び“MargaretB”である固有のオブジェクトを６７％の確率でラベル付けする。
【００８１】
図７を参照して、ユーザは、画像のサーチ結果を生成するため、オブジェクトの問合せのリスト１５１をイメージセレクタ１５３に送出する。イメージセレクタ１５３は、オブジェクトの問合せリスト１５１及び分類手段１３５を使用して、画像のサーチ結果１５５のセットを生成する。画像のサーチ結果１５５は、オブジェクト１５１の問合せリストに関連すると信頼される画像のセットである。オブジェクトの問合せリストは、人物の名前のセットとすることができる。画像のサーチ結果１５５からの画像及びビデオは、視聴のためにディスプレイ１４３に送出される。
【００８２】
集合のユーザは、彼女の画像の集合、及びオブジェクトの問合せリスト１５１からの画像を含むユーザと共有される画像の集合から画像及びビデオを発見するのを望む。オブジェクトの問合せリストは、（たとえば「Hannah及びJonahを含む画像を発見」といった）特定の人のような固有のオブジェクトを含む。
【００８３】
イメージセレクタ１５３は、問合せのソースを考慮する一方で、オブジェクトの問合せリスト１５１を解釈する。たとえば、画像の集合Ａのユーザが“Margaret”を含む画像をサーチする場合、画像のサーチ結果１５５は、画像のサーチ結果１５５は、画像の集合１０２Ｂからの“Maggie”とラベル付けされた画像と同様に、画像の集合１０２Ａにおける“Margaret”とラベル付けされた画像を含む。
【００８４】
また、イメージセレクタ１５３は、画像の集合をサーチするオブジェクトの問合せリスト１５１を誰が供給するかを考慮する。これは、問合せの主題である固有のオブジェクトの実際のアイデンティティを判定するために重要である。たとえば、表１におけるデータに関して、画像の集合Ａのユーザが“Dan”を含む画像をサーチするとき、彼女は、DanAでラベル付けされた彼女の集合からの個人（たとえばDan  Gallagher）を意味する可能性が高い。しかし、画像の集合Ｂのユーザが“Dan”を含む画像をサーチしたとき、彼は、彼の集合におけるDanBでラベル付けされた人物（たとえばDan  Benton）をおそらく意味する。したがって、画像のサーチ結果１５５は、オブジェクトの問合せのリスト１５１を誰が始動するかに依存する。たとえば、オブジェクトの問合せリスト１５１が“Dan”である場合に画像の集合１０２Ｂがサーチを始動したとき、画像のセレクタ１５３は、最も高くランク付けされた画像が、画像の集合Ｂ及び画像の集合Ｂのユーザに共有される全ての画像の集合を通して発見されたDanB（たとえばDan  Benton）を含む画像である場合、画像のサーチ結果１５５を出力する。画像の集合Ｂ又は画像の集合Ｂのユーザに共有される画像の集合からの他のDan（すなわちDanA＝Dan  Gallagher）を含む画像は、低い位置でランク付けされるか、画像のサーチ結果１５５から全体的に省略される。
【００８５】
図７からの固有のオブジェクト検出器１１９は、検出されたオブジェクトに関連される特徴を検出する。検出された特徴は、固有のオブジェクトの固有のアイデンティティを決定するために使用される。図１０は、検出された固有のオブジェクトに関連される特徴を抽出する方法を例示する。ひとたび、オブジェクトの位置が知られると、ローカルの特徴検出器２４０は、オブジェクトに関連するローカルの特徴２４４を検出する。オブジェクトが人である場合、ひとたび、顔の位置が知られると、顔の特徴（たとえば目、鼻、口等）は、“Feature  Extraction  from  Faces  Using  Deformable  Templates”  Int.  Journal  of  Comp.  Vis.,  Vol.8,  Iss.2,  1992,  pp.99-111でYuille等により記載されるような公知のプロセスを使用してローカライズされる。著者は、口、目及び虹彩／強膜の境界を位置づけるテンプレートマッチングによるエネルギーの最小化を使用する方法を記載している。顔の特徴は、“Constrained  active  appearance  models”,  8th  International  Conference  on  Computer  Vision,  volume  1,  page748-754.  IEEE  Computer  Society  Press,  July  2001でT.F.Cootes及びC.J.Taylorにより記載されるアクティブアピアランスモデルを使用して発見される。好適な実施の形態では、Proceedings  of  IS&T  PICS  conference,  2002におけるBolin及びChenによる“An  automatic  facial  feature  finding  system  for  portrait  images”に記載される人間の顔のアクティブシェイプモデルに基づいて顔の特徴点を探す方法が使用される。
【００８６】
局所的な特徴２４４は、オブジェクトの定量的な記述である。好ましくは、ローカルな特徴２４４の１つのセット及びグローバルな特徴２４６の１つのセットは、それぞれ固有のオブジェクトについて決定される。固有のオブジェクトが人であるとき、好ましくは、ローカルの特徴２４４は、特定の顔の特徴に関連される８２の特徴点の位置に基づき、Cootes等の上述されたアクティブアピアランスに類似した方法を使用して発見される。顔の画像の局所的な特徴点の視覚的な表現は、例示として図１１に示されている。ローカルの特徴は、特定の特徴点間の距離、又は特定の特徴点のセットを接続するラインにより形成される角度、又は顔の外観における変動性を記載する主成分に特徴点を投影する係数である。これらの特徴は、顔の幾何学的形状の本質を捕捉する。良好な特徴のセットは、多数の人の画像から特徴点の位置を集めることで顔の特徴点の主成分を判定することで取得される。次いで、それぞれの主成分は、顔の特徴点の平均のセットからの顔の特徴点の特定のセットの変動を記述する。これらの主成分の幾つかは、表現又は姿勢における変化に関連し、これらの主成分の他は、固有の個人間の外観における違いに関連する。良好な特徴のセットは、固有の個人の間の外観における違いに関連される主成分に特徴点のセットを投影し、他の主成分を無視することで得られる。色の手掛かりは、ひとたび人及び顔の特徴が固有のオブジェクト検出器１１９により探されると、デジタル画像又はビデオから容易に抽出される。
【００８７】
代替的に、異なるローカルの特徴も使用される。たとえば、実施の形態は、M.Turk及びA.Pentlandにより記載される顔の類似性のメトリックに基づく。“Eigenfaces  for  Recognition”,  Journal  of  Cognitive  Neuroscience.  Vol3,  No.1.  71-86,  1991では、顔の記述子は、顔の外観の変動性を記述する主成分の機能のセットに顔の画像を投影することで取得される。２つの顔の間の類似性は、同じ機能のセットにそれぞれの顔を投影することで取得される特徴のEuclidean距離を計算することで測定される。
【００８８】
ローカルの特徴２４４は、Eigenfaces、顔の測定、色／テクスチャ情報、ウェーブレット特徴等のような幾つかの異なる特徴のタイプの組み合わせを含む。
【００８９】
代替的に、ローカルの特徴２４４は、目の色、皮膚、顔の形状、眼鏡の存在、衣服の記述、髪の記述のような定量的な記述子で更に表現される。
【００９０】
たとえば、Wiskottは、“Phantom  Faces  for  Face  Analysis”,  Pattern  Recognition,  Vol.30,  No.6,  pp.837-846,  1997で顔の眼鏡の存在を検出する方法を記載している。ローカルの特徴は、眼鏡の存在及び形状に関連する情報を含む。
【００９１】
図１０を参照して、グローバルな特徴（Global  Features）２４６及びローカルの特徴（Local  Features）２４４は、関心のある個人のデータベース１１４に記載される。画像における全ての人に関連するグローバルの特徴は、ＦGにより表される。画像におけるＮの人に関連されるＮセットのローカルの特徴は、ＦL0，ＦL1，．．．，ＦLN-1として表現される。画像におけるある人ｎの完全な特徴のセットは、ｆnとして表現され、グローバルの特徴ＦGとローカルの特徴ＦLnを含む。画像に関連するＭのラベルは、Ｌ0，Ｌ1，．．．，ＬM-1として表現される。
【００９２】
以下は、データベース１１４における画像に関連されるラベル（Associated  Label）及び特徴の例示的なエントリである。
【００９３】
Image101_346.JPG
Label  L0:  Hannah
Label  L1:  Jonah
【００９４】
【表２】
2009533726.tif 000045
図７を参照して、分類手段１３５は、多数の画像の集合１０２からの異なる固有のオブジェクト１３３及び関連されるラベルに関連される特徴を使用して、ラベル付けされていない検出された固有のオブジェクト１５７のアイデンティティを判定する。検出された固有のオブジェクト１５７に関連される特徴は、（ラベル付けされた特徴として知られる）関連付けされたラベルを有する幾つかの特徴を含む。（ラベル付けされていない特徴として知られる）他の特徴は、関連されるラベルを有さない（たとえば、ラベル付けされていないデジタル画像の集合１０２における全ての画像及びビデオ）。分類手段１３５は、ラベル付けされた特徴を使用して、ラベル付けされていない特徴を分類する。この問題は、実際に困難であるが、パターン認識の分野で研究されている。多数の分類手段の何れかは、ラベル付けされていない特徴を分類するために使用される。一般に、分類手段は、特定のラベル付けされていない特徴のセットとラベル付けされた特徴のセットとの間の類似性を考慮することで、ラベル付けされていない特徴に確率に基づいてラベルを割り当てる。幾つかの分類手段により（たとえばガウシャン最大尤度）、単一の個々の固有のオブジェクトに関連されるラベル付けされた特徴のセットは、固有のオブジェクト１５７の外観のモデルを形成するために集められる。
【００９５】
図１２は、好適な分類手段１３５の例を示す。以下の説明では、固有のオブジェクト１５７は、人であると想定される。当業者であれば、分類手段は適切な変更及びパラメータチューニングにより、他のオブジェクトタイプも同様に分類するために適用される。分類手段１３５は、２以上の人に関連する特徴のセット間の類似性を測定して、人の類似性を判定し、これによりその人が同じである可能性を判定する。特徴のセットの類似性を測定することは、特徴のサブセットの類似性を測定することで達成される。
【００９６】
分類手段１３５は、確率のネットワークフォーマ６４０により生成される確率のネットワーク６４２を使用する。図１３は、２９９の顔について計算された２つの特徴（Ｃ1及びＣ2）のプロットを示す。これらの特徴は、主成分に顔の特徴点を投影し、姿勢又は表現に関連する成分を無視することで前に説明したように導出される。異なるシンボルは、固有のオブジェクトのアイデンティティを識別するこの情報が全てのケースで分類手段にとって必ずしも既知ではないが、（地上較正“ground  truth”により知られる）異なる個人を表す。
【００９７】
確率のネットワークフォーマ６４０は、（ノードとも呼ばれる）それぞれのポイント間でリンクを確立することで確率のネットワーク６４２を形成する。それぞれのポイントは、（必ずしも異なる個人ではないが）異なる検出された人を表す。図１４は、５つの最も近い近傍にそれぞれのポイントをリンクすることで形成される確立された確率のネットワーク６４２を示す。暗黙の想定は、ある人のアイデンティティは、２人が類似の特徴を共有するときに別の人のアイデンティティと同じである可能性があることである。それぞれのリンクは、リンクにより結合される２つの特徴のセットが同じアイデンティティを有する可能性を示す関連される確率の重みｗijを有する（この場合、ｉ及びｊはリンクにより結合される第一の人と第二の人のインデックスを表す。それぞれの人（たとえばデジタル画像の集合１０２におけるｍ番目の画像からのｎ番目の人物）は、グローバルインデックスが割り当てられる）。重みは、多数のラベル付けされた特徴のセットから、２人がそれらの特徴の間の距離に基づいて同じ個人である可能性を学習することに基づいて確立される。確率のネットワーク６４２は、特徴点の間のリンク及び重みから構成される。
【００９８】
特徴のポイントの幾つかは、関連されるラベルを有する。これらのラベルは、ラベル付けされていない特徴点を分類する、確率のネットワーク６４２を通して伝播手段１５９により伝播される。伝播手段１５９は、以下のように進行する。
ｉ番目の人のアイデンティティが確率ｐをもつ関心ｑのある個人であることが既知である場合、その信頼は重みｗijに従って確率ネットワーク６４２を通して伝播される。ｊ番目の特徴点は、そのアイデンティティがｑであるｐｗijの信頼を有する。次いで、この信頼値は、適切な重みで乗算することでその近傍に伝播することができる。単一の個人に関連する多数の信頼値が１つのポイントに到達したとき、最大の信頼値が保存されるのみである。ネットワークで信頼値を伝播させる多くのプロセスが存在し、多くのこれらのバリエーションを使用することができる。たとえば、マルコフのランダムフィールドが使用される。
【００９９】
図１４は、確率ネットワーク６４２にわたる信頼値の伝播の例を示す。星印は、割り当てられたラベルをもつポイントを示す（すなわちその人物のアイデンティティがｑ1である１００％の可能性）。次いで、５０％を超える尤度をもつ個人ｑ1である確率で終了する全てのポイント（２９の三角及び１の正方形）を示す。これらのなかで、三角形は、実際に個人ｑ1であり全てのポイントを示し、正方形は、個人ｑ1ではないポイントを示す。画像又はビデオからの特定の検出された固有のオブジェクトが所定のアイデンティティを有する尤度を判定するとき、同じ画像又はビデオにおける他の検出された固有のオブジェクトの特徴を考慮することは有効である。これは、（すなわちミラー又はピクチャオブピクチャ等を含めて）通常の状況下で特定の画像において一度だけ所与の人（Ethan  Gallagher）が現れるために有効であり、上述した同一出願人による米国特許出願第１１／３４２，０５３号は、この問題を適切に扱うための分類システムを記述している。分類システムは、オブジェクトを検出し、検出されたオブジェクトの特徴を分析し、それらをラベル付けされた検出されたオブジェクトのセットに比較して最初の尤度を確率する。これら最初の尤度は、最終的な尤度を生成するために多数のオブジェクトリゾルバにより分析され、検出されたオブジェクト及び関連される確率の潜在的なアイデンティティを示す。さらに、最終的な尤度は、（どの検出された固有のオブジェクト１５７が特定のオブジェクトであると考えられるかを、必ずしも示すことなしに）画像又はビデオ内に特定のオブジェクトが現れる尤度である。
【０１００】
図１５は、本発明のシステムの更なる例を示す。２つの画像の集合１０２からの画像が示される。画像の集合Ａ２２２からの４つの画像と画像の集合Ｂ２２４からの６つの画像が示される。集合Ａ及び集合Ｂが相互にリンクされるものとする。ボックス１６１は、図７の固有のオブジェクト抽出器１１９が顔検出器であるときに発見される顔の位置を示し、固有のオブジェクト１５７は、検出された顔である。所定の固有のオブジェクト１５７がラベル１６３をもつ集合のユーザによりラベル付けされるとする。画像の集合１０２Ａにおける例において、２つの固有のオブジェクト１５７（顔）は、個人（Hannah及びJonah）の名前を示すラベル１６３でラベル付けされる。画像の集合Ｂにおいて、ある顔は、個人（JonahG）の名前を示すラベル１６３でラベル付けされる。図７の固有のオブジェクトのコンパレータ１２１及び異なるオブジェクトのファインダ１４１は、上述のように、JonahAがJonahGBと同じ個人であることを判定する。異なる固有のオブジェクト１３３のリストは、Ｏ1：HannahA、Ｏ2：JonahA＝JonahGBである。
【０１０１】
分類手段１３５は、リンクされた画像の集合１０２からの全てのラベル付けされた例を使用して形成される。次いで、ラベル付けされていない検出された固有のオブジェクト１５７（すなわちボックス１６１により示された検出された顔）は、ラベル付けされていない検出された固有のオブジェクト１５７を識別するために分類手段１３５により評価される。
【０１０２】
図１６は、分類手段１３５の出力の例を示す。この例では、分類手段は、それぞれ検出された固有のオブジェクト１５７の最も可能性のあるアイデンティティを示す。代替的に、分類手段は、特定の画像又はビデオが特定の関心のあるオブジェクト（たとえば人）を含む可能性を示す。多くの検出されたオブジェクトについて、分類手段１３５は、検出されたオブジェクトについてラベル１６５を判定する。ラベル１６５は、尤度と同様に固有のオブジェクト１５７の可能性のあるアイデンティティを示す。たとえば、画像の集合１０２Ａから第一の画像２２２について、分類手段１３５は、左の固有のオブジェクトが０．７５の確率又は信頼値をもつＯ2（JonahA＝JonahGB）であること、他の固有のオブジェクトが０．７の信頼値をもつＯ1（Hannah）であることを判定する。
【０１０３】
集合のユーザの何れかがオブジェクトの問合せリスト１５１で画像及びビデオをサーチするとき、イメージセレクタ１５３は、ディスプレイ１４３で視聴することができる画像のサーチ結果１５５をリターンする。たとえば、画像の集合１０２Ｂのユーザは、Hannahを含む画像をサーチする。イメージセレクタは、このサーチが異なるオブジェクトＯ1を含む画像についてであることを認識する。画像のサーチ結果１５５は、図１７に示されており、彼女の集合からの画像２２４及びリンクされた画像の集合１０２Ａからの３つの画像２２２を含む。画像のサーチ結果１５５は、彼らが問合せを満足させる可能性によりソートされる画像のセットを示す。代替的に、画像のサーチ結果１５５は、彼らが到来した画像の集合１０２により区分化される。この場合、ユーザの所有の集合から問合せを満足する画像は、他の画像の前にランク付けされる。
【０１０４】
なお、画像の集合１０２Ｂのユーザは、彼女自身はHannahを含んでいるとして画像をラベル付けしないが、Hannahを含む画像をサーチすることができる。分類手段１３５は、ユーザの画像の集合及びリンクされた画像の集合からの全てのラベル付けされた例を使用して、固有のオブジェクトを識別及びラベル付けする。
【０１０５】
画像は、分類手段１３５により決定されるラベルでディスプレイ１４３に表示される。異なる固有のオブジェクトに関連するラベルは、幾つかのバリエーションを有する。多数のバリエーションが存在するとき、選択されるラベルのバリエーションは、画像にアクセスするユーザのアイデンティに依存する。たとえば、図１８及び図１９は、画像の集合Ｂからの画像２２４を示す。画像の集合Ａのユーザがディスプレイ１４３で画像を見るとき、彼女は、ラベル１７１“Jonah”を見る。画像の集合Ｂのユーザがディスプレイ１４３で画像を見るとき、彼女はラベル１７１“JonahG”を見る。
【０１０６】
ユーザは、画像のサーチ結果１５５からイメージプロダクト６０２を生成する。イメージプロダクト６０２は、そのクリエーションにおけるデジタル画像の集合１０２から少なくとも１つの画像又はビデオを使用する製品である。イメージプロダクト６０２の例は以下を含む。
【０１０７】
フレームされた写真。フレームされた写真は、１以上の写真（すなわちプリントされた画像）を見るためのウィンドウを含む。また、デジタルフレームは、所与の時間で多数の画像、又は時間を通して画像のセットを通して巡回させることで多数の画像を表示可能なスクリーンを含む。
【０１０８】
写真のカレンダー。カレンダーは、典型的に、カレンダーのスパンに含まれるそれぞれの月又は週について画像を表示する領域を含む。カレンダーは、紙に印刷されるか、コンピュータメモリに含まれ、ＬＣＤディスプレイのようなディスプレイを介して見られる。
【０１０９】
アルバム。写真アルバムは、多数のページを含み、それぞれのページンコンは、１以上の画像を示す。カレンダーと同様に、アルバムは、印刷されるか、ディスプレイを介して見られる。
【０１１０】
スライドショウ。スライドショウは（すなわち、順次に表示される一連の画像）、メモリに記憶されるか、ＤＶＤのようなメディアに保存される。
【０１１１】
ウェブページ。ウェブページは、マウスによりクリックされるか、又はユーザにより選択されたとき、大きなバージョンの画像を表示するサムネイル画像を含む画像のセットを含む。他の画像６０２は、画像が印刷されるマグ、ｔシャツ、マースパッド、パズル等を含む。
【図面の簡単な説明】
【０１１２】
【図１】通信ネットワークを通してアクセス可能な画像の集合を示すブロック図である。
【図２】画像の集合間のリンクを形成するための本発明の実施の形態のフローチャートである。
【図３】図２からの集合のネットワークの更に詳細な図である。
【図４】図２からの集合のネットワークの別の実施の形態を示す図である。
【図５】図４からの集合のコンパレータの更に詳細な図である。
【図６】画像の集合のセット及び画像の集合間のリンクのネットワークを例示する図である。
【図７】画像の集合を分類及びサーチするために多数の画像の集合からのラベルの使用を例示するブロック図である。
【図８】２つの異なる画像の集合からの個別のオブジェクトが同じオブジェクトであるかを確認するために、画像の集合のユーザに提供される問合せの例を示す図である。
【図９】図７の固有のオブジェクトの抽出器により実行される特徴抽出の詳細な図を示す。
【図１０】図２からの特徴抽出器の更に詳細な図を示す。
【図１１】顔から抽出された特徴点の表現である。
【図１２】図７からの好適な分類手段の更に詳細な図である。
【図１３】２９９の顔の局所的な特徴のプロット、及び実際の顔のアイデンティティを示す図である。
【図１４】２９９の顔の局所的な特徴から形成された確率のネットワークを示す。
【図１５】２つの例示的な画像の集合からの、例示的な画像、検出された固有のオブジェクト及びラベルを示す図である。
【図１６】例示的な画像の集合による図７からの分類手段の出力を例示する図である。
【図１７】例示的な画像の集合から取得される画像のサーチ結果を例示する図である。
【符号の説明】
【０１１３】
１００：通信ネットワーク
１０２：画像の集合
１０３：集合の情報
１０５：リンクの集合
１０７，１０９，１１１：ステップ
１１３：集合のコンパレータ
１１４：データベース
１１５：類似性の行列
１１７：リンカー
１９９：固有のオブジェクト抽出器
１２０：ラベラー
１２１：固有のオブジェクトコンパレータ
１２３：類似性の判定器
１２５：メタデータアナライザ
１２７：ネームテーブル
１２９：リンク
１３３：異なる固有のオブジェクト
１３５：分類手段
１４１：異なるオブジェクトのファインダ
１４３：ディスプレイ
１４５：ユーザ入力
１５１：オブジェクトの問合せリスト
１５３：イメージセレクタ
１５５：画像のサーチ結果
１５７：固有のオブジェクト
１５９：伝播手段
１６１：ボックス
１６３，１６５，１７１：ラベル
２２２：画像の集合Ａからの画像
２２４：画像の集合Ｂからの画像
２４０：ローカルの特徴検出器
２４２：グローバル特徴検出器
２４４：ローカル特徴
２４６：グローバル特徴
２５１，２５３，２５５：画像部分
６０２：イメージプロダクト
６４０：確率のネットワークフォーマ
６４２：確率ネットワーク
８０２：集合のネットワーカ
【図１】
2009533726.tif 000046
【図２】
2009533726.tif 000047
【図３】
2009533726.tif 000048
【図４】
2009533726.tif 000049
【図５】
2009533726.tif 000050
【図６】
2009533726.tif 000051
【図７】
2009533726.tif 000052
【図８】
2009533726.tif 000053
【図９】
2009533726.tif 000054
【図１０】
2009533726.tif 000055
【図１１】
2009533726.tif 000056
【図１２】
2009533726.tif 000057
【図１３】
2009533726.tif 000058
【図１４】
2009533726.tif 000059
【図１５】
2009533726.tif 000060
【図１６】
2009533726.tif 000061
【図１７】
2009533726.tif 000062
【図１８】
2009533726.tif 000063
【図１９】
2009533726.tif 000064
【国際調査報告】
2009533726.tif 000065
2009533726.tif 000066
2009533726.tif 000067