(57)【要約】  方法は、名前付きエンティティを識別するステップと、前記名前付きエンティティに関連付けられた画像を読み出すステップと、顔検出アルゴリズムを使用して、前記読み出された画像に対して顔検出を実行して、前記読み出された画像中に顔を検出するステップとを備えている。前記読み出された画像から少なくとも１つの代表的な顔画像が識別され、かつ、前記代表的な顔画像を使用して、前記少なくとも１つの名前付きエンティティを表した１又は複数の画像を識別する。
2010511938.tif 000002
【特許請求の範囲】
【請求項１】
方法であって、
少なくとも１つの名前付きエンティティを識別するステップと、
前記少なくとも１つの名前付きエンティティに関連付けられた画像を読み出すステップと、
前記読み出された画像に対して顔検出を実行して、前記読み出された画像中の顔を検出するステップと、
前記読み出された画像から、少なくとも１つの代表的な顔画像を識別するステップと、
前記少なくとも１つの代表的な顔画像を使用して、前記少なくとも１つの名前付きエンティティを表した１又は複数の追加画像を識別するステップと
を具備し、前記顔検出は、顔検出アルゴリズムを使用して実行されることを特徴とする方法。
【請求項２】
ユーザから、前記少なくとも１つの名前付きエンティティを含んだ検索クエリーを受信するステップをさらに具備することを特徴とする請求項１に記載の方法。
【請求項３】
前記検索クエリーに基づき検索結果を作成するステップをさらに具備し、前記検索結果は、前記１又は複数の追加画像を含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記少なくとも１つの名前付きエンティティは人であることを特徴とする請求項１に記載の方法。
【請求項５】
前記少なくとも１つの名前付きエンティティを識別するステップは、クエリーログ又はウェブドキュメントから、前記少なくとも１つ名前付きエンティティを識別するステップを含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記少なくとも１つの名前付きエンティティに関連付けられた画像を読み出すステップは、画像検索を実行して、前記少なくとも１つの名前付きエンティティに関連付けられた全ての画像を識別するステップを具備することを特徴とする請求項１に記載の方法。
【請求項７】
各検出された顔を各他の検出された顔と比較することによって、前記読み出された画像中の前記検出された顔に対して、顔マッチングを実行して、前記少なくとも１つの名前付きエンティティに関連付けられた特定の顔画像にマッチングする顔を識別するステップをさらに具備することを特徴とする請求項１に記載の方法。
【請求項８】
前記特定の顔画像にマッチングする顔の数を決定するステップをさらに具備することを特徴とする請求項７に記載の方法。
【請求項９】
前記特定の顔画像にマッチングする前記決定された数の顔を、しきい値と比較するステップをさらに具備することを特徴とする請求項８に記載の方法。
【請求項１０】
前記読み出された画像中の他の検出された顔の最大数にマッチングする前記読み出された画像中の前記検出された顔を決定するステップをさらに具備することを特徴とする請求項７に記載の方法。
【請求項１１】
顔画像のトレーニングセットを作成するステップをさらに具備し、
前記トレーニングセットは、前記少なくとも１つの名前付きエンティティに関連付けられた前記特定の顔画像にマッチングする前記検出された顔のそれぞれを含むことを特徴とする請求項１０に記載の方法。
【請求項１２】
顔画像の前記トレーニングセットから、少なくとも１つの顔モデルを作成するステップをさらに具備することを特徴とする請求項１１に記載の方法。
【請求項１３】
前記少なくとも１つの顔モデルに、前記少なくとも１つの名前付きエンティティの前記名前の少なくとも一部を示すラベルを付けるステップをさらに具備することを特徴とする請求項１２に記載の方法。
【請求項１４】
前記少なくとも１つの代表的な顔画像を使用して、１又は複数の追加画像を識別するステップは、前記少なくとも１つの顔モデルを使用して、前記１又は複数の追加画像を識別するステップを具備することを特徴とする請求項１２に記載の方法。
【請求項１５】
前記少なくとも１つの顔モデルを使用して、前記１又は複数の追加画像を識別するステップは、前記顔モデルを画像の集合体と比較して、前記１又は複数の追加画像を識別するステップを具備することを特徴とする請求項１４に記載の方法。
【請求項１６】
前記１又は複数の追加画像と前記少なくとも１つの名前付きエンティティを関連付けるステップをさらに具備することを特徴とする請求項１５に記載の方法。
【請求項１７】
システムであって、
少なくとも１つの名前付きエンティティを識別する手段と、
前記少なくとも１つの名前付きエンティティに関連付けられた画像を読み出す手段と、
前記読み出された画像に対して顔検出を実行して、前記読み出された画像中の顔を検出する手段と、
前記読み出された画像から、少なくとも１つの代表的な顔画像を識別する手段と、
前記少なくとも１つの代表的な顔画像を使用して、前記少なくとも１つの名前付きエンティティを表した１又は複数の追加画像を識別する手段と
を備えたシステム。
【請求項１８】
ユーザから、前記少なくとも１つの名前付きエンティティを含んだ検索クエリーを受信する手段をさらに具備することを特徴とする請求項１７に記載のシステム。
【請求項１９】
前記検索クエリーに基づき検索結果を作成する手段をさらに具備し、前記検索結果は、前記１又は複数の追加画像を含むことを特徴とする請求項１８に記載のシステム。
【請求項２０】
前記少なくとも１つの名前付きエンティティは人であることを特徴とする請求項１７に記載のシステム。
【請求項２１】
前記少なくとも１つの名前付きエンティティを識別する手段は、クエリーログ又はウェブドキュメントから、前記少なくとも１つ名前付きエンティティを識別する手段を含むことを特徴とする請求項２０に記載のシステム。
【請求項２２】
前記少なくとも１つの名前付きエンティティに関連付けられた画像を読み出す手段は、画像検索を実行して、前記少なくとも１つの名前付きエンティティに関連付けられた全ての画像を識別する手段を具備することを特徴とする請求項１７に記載のシステム。
【請求項２３】
各検出された顔を各他の検出された顔と比較することによって、前記読み出された画像中の前記検出された顔に対して、顔マッチングを実行して、前記少なくとも１つの名前付きエンティティに関連付けられた特定の顔画像にマッチングする顔を識別する手段をさらに具備することを特徴とする請求項１７に記載のシステム。
【請求項２４】
前記特定の顔画像にマッチングする顔の数を決定する手段をさらに具備することを特徴とする請求項２３に記載のシステム。
【請求項２５】
前記特定の顔画像にマッチングする前記決定された数の顔を、しきい値と比較する手段をさらに具備することを特徴とする請求項２４に記載のシステム。
【請求項２６】
前記読み出された画像中の他の検出された顔の最大数にマッチングする前記読み出された画像中の前記検出された顔を決定する手段をさらに具備することを特徴とする請求項２３に記載のシステム。
【請求項２７】
顔画像のトレーニングセットを作成する手段をさらに具備し、
前記トレーニングセットは、前記少なくとも１つの名前付きエンティティに関連付けられた前記特定の顔画像にマッチングする前記検出された顔のそれぞれを含むことを特徴とする請求項２６に記載のシステム。
【請求項２８】
顔画像の前記トレーニングセットから、少なくとも１つの顔モデルを作成する手段をさらに具備することを特徴とする請求項２７に記載のシステム。
【請求項２９】
前記少なくとも１つの顔モデルに、前記少なくとも１つの名前付きエンティティの前記名前の少なくとも一部を示すラベルを付ける手段をさらに具備することを特徴とする請求項２８に記載のシステム。
【請求項３０】
前記少なくとも１つの代表的な顔画像を使用して、１又は複数の追加画像を識別する手段は、前記少なくとも１つの顔モデルを使用して、前記１又は複数の追加画像を識別する手段を具備することを特徴とする請求項２８に記載のシステム。
【請求項３１】
前記少なくとも１つの顔モデルを使用して、前記１又は複数の追加画像を識別する手段は、前記顔モデルを画像の集合体と比較して、前記１又は複数の追加画像を識別する手段を具備することを特徴とする請求項３０に記載のシステム。
【請求項３２】
前記１又は複数の追加画像と前記少なくとも１つの名前付きエンティティを関連付ける手段をさらに具備することを特徴とする請求項３１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識に関する。
【背景技術】
【０００２】
人名（例えば、有名人）は、コンテンツの大規模集合体（例えば、ワールドワイドウェブ（「ウェブ」））の検索で人気のあるクエリーである。従来の検索システムでは、人に対するクエリーに応答した検索結果は、クエリーで識別された人の画像を含むことができる。検索結果に対して、クエリーに応答して適したコンテンツを識別及び返すため、コンテンツは、検索クエリーに関連付けなければならない。例えば、検索クエリー（人名を含む）に関連付けられた画像を識別するには、例えば、人名を含むメタデータ、タグなどを介して、画像が人に関連している必要がある。あいにく、一般に、大規模集合体中の画像（例えば、ウェブを介して入手可能であり、写真及びビデオコンテンツからのスクリーンショットを含む）は関連しておらず、かつ、写真に撮られた人の名前に関連付けられた情報を含んでいない。したがって、従来の検索システムは、検索クエリー（個人名を含む）に応答してこれらの関連していない画像を識別することができない。
【発明の概要】
【課題を解決するための手段】
【０００３】
１態様に基づき方法が開示される。方法は、
少なくとも１つの名前付きエンティティを識別するステップと、
前記少なくとも１つの名前付きエンティティに関連付けられた画像を読み出すステップと、
前記読み出された画像に対して顔検出を実行して、前記読み出された画像中の顔を検出するステップと
を具備し、前記顔検出は、顔検出アルゴリズムを使用して実行される。前記方法は、
前記読み出された画像から、少なくとも１つの代表的な顔画像を識別するステップと、
前記少なくとも１つの代表的な顔画像を使用して、前記少なくとも１つの名前付きエンティティを表した１又は複数の追加画像を識別するステップと
をさらに具備することができる。
【０００４】
１又は複数の次の特徴が含まれてもよい。方法は、ユーザから、前記少なくとも１つの名前付きエンティティを含んだ検索クエリーを受信するステップを具備することができ、かつ、前記検索クエリーに基づき検索結果を作成するステップを具備することができ、前記検索結果は、前記１又は複数の追加画像を含んでいる。前記少なくとも１つの名前付きエンティティは、人の名前である。前記少なくとも１つの名前付きエンティティを識別するステップは、クエリーログ又はウェブドキュメントから、前記少なくとも１つの名前付きエンティティを識別するステップを具備することができる。さらに、前記少なくとも１つの名前付きエンティティに関連付けられた画像を読み出すステップは、画像検索を実行して、前記少なくとも１つの名前付きエンティティに関連付けられた複数の画像を識別するステップを具備することができる。
【０００５】
また、方法は、検出された各顔を他の検出された各顔と比較して、前記少なくとも１つの名前付きエンティティに関連付けられた特定の顔画像にマッチングする顔を識別するステップを含む、前記読み出された画像中の前記検出された顔に対して顔マッチングを実行するステップを具備することができる。前記特定の顔画像にマッチングする顔の数も決定することができる。さらに、方法は、前記特定の顔画像にマッチングする所定数の顔をしきい値と比較するステップ、及び／又は、前記読み出された画像中の他の検出された顔の最大数にマッチングする前記読み出された画像中の前記検出された顔を決定するステップを具備することができる。
【０００６】
顔画像のトレーニングセットを作成することができ、前記トレーニングは、前記少なくとも１つの名前付きエンティティに関連付けられた特定の顔画像にマッチングする前記検出された顔のそれぞれを含んでいる。１又は複数の顔モデルが、顔画像の前記トレーニングセットから作成してもよく、かつ、前記少なくとも１つの名前付きエンティティの名前の少なくとも一部を示すラベルを付けてもよい。前記少なくとも１つの顔モデルを使用して、前記１又は複数の追加画像を識別することができ、前記顔モデルを画像の集合体と比較して、前記１又は複数の追加画像を識別するステップを具備することができる。加えて、方法は、前記１又は複数の追加画像と、前記１又は複数の名前付きエンティティを関連付けるステップを具備することができる。
【０００７】
これらの一般的及び特定の態様は、システム、方法又はコンピュータプログラム、又は、システム、方法及びコンピュータプログラムの組み合わせを使用して実行してもよい。
【０００８】
ここで、添付図面が詳細に説明される（必ずしも原寸に比例して描かれていない）。
【図面の簡単な説明】
【０００９】
【図１】具体例による代表的な画像識別システムである。
【図２】具体例による図１の画像識別システムのサーバである。
【図３】具体例による図１の画像識別システムの要素を図示した機能ブロック図である。
【図４】具体例による代表的な画像識別システムによって実行された方法を示したブロック図フローチャートである。
【図５】具体例による代表的な画像識別システムによって実行された方法を示したブロック図フローチャートである。
【発明を実施するための形態】
【００１０】
以下に、添付図面を参照して、本開示がより完全に説明される（一部の実施例が図示されるが、全ての実施例は図示されていない）。実際に、これらの実施例は、さまざまな形態で実施することができ、かつ、本明細書に記載された実施例に限定して解釈されてはならない。類似の番号は、一貫して類似の要素を参照している。
【００１１】
以下は、システム、方法及びコンピュータプログラム製品（個人に関連付けられた画像又は他の識別可能な画像要素を識別し、かつ、前記識別された画像に画像中に示された個人（又は要素）の名前を示すラベルを付けることができる）を開示している。ほんの一例として、人の名前に関連付けられた画像のための検索、及び、前記検索の結果を使用した顔モデル（同じ人に関連付けられた追加画像を識別するのに使用することができる）の構築を提供する実施例が開示される。これによって、画像の識別が可能となる（以前には、メタデータ、タグ、又は、画像中の人を識別する他の情報に関連付けられていなかった）。画像のラベリングは、ユーザクエリー（例えば、有名人の名前を含むユーザクエリー）に包括的な検索結果を提供する能力を設ける。本明細書に記載された実施例は、自動化することができ、かつ、画像の最新のデータベース及び／又は記録を維持するために使用してもよい。本明細書に参照されるように、画像は、静止写真（例えば、.jpeg, .gif, .bmpなど）、及び、ビデオからとられたスクリーンショット又は静止画像を含んでいる。加えて、本開示はウェブサイトに関する検索に焦点を当てているが、実施例は機械可読又は機械に格納可能なドキュメントを検索することにも適用可能である。
【００１２】
図１には、代表的な画像識別システム100が具体例に基づき示されている。システム100は、１又は複数のネットワーク140を介して、サーバ120と通信するクライアント110a, 110b, 110c, ... 110xを備えている。クライアント110a, 110b, 110c, ... 110xは、デバイスを含むことができる（例えば、パーソナルコンピュータ、無線電話、パーソナルデジタルアシスタント（ＰＤＡ）、ラップトップコンピュータ、又は、他のタイプの計算機、通信又は電子デバイス、これらのデバイスのうちの１つで実行するスレッド又はプロセス、及び／又は、これらのデバイスのうちの１つによって実行可能なオブジェクト）。複数のクライアント110a, 110b, 110c, ... 110x、及び、単一のサーバ120が図１に示されているが、より多数のサーバ、及び、より多数又は少数のクライアントを設けることができる。例えば、サーバ120によって実行された機能の一部は、１又は複数の他のサーバによって実行することができ、したがって、サーバ120がいくつかのデバイス（例えば、コンピュータプロセッサ及び／又はサーバのネットワーク）を代理することができる。加えて、一部の実施例では、クライアントはサーバ120の機能を実行することができ、かつ、サーバ120はクライアントの機能を実行することができる。
【００１３】
また、画像識別システム100は、１又は複数のウェブドキュメント145,150と、検索クエリーログ155（１又は複数のネットワーク140を介してサーバ120と通信することができる）を具備している。ウェブドキュメント145,150及び／又は検索クエリーログ155は、１又は複数のサーバ又はコンピュータ（図示せず）上に存在してもよい。実施例によれば、ウェブドキュメント145,150及び／又は検索クエリーログ155のうちの１又は複数は、クライアント110a, 110b, 110c, ... 110xのうちの１又は複数上に存在してもよい。ウェブドキュメント145,150及び検索クエリーログ155は、ユーザの検索クエリーの対象である人名を具備することができる。また、ウェブドキュメントは、検索クエリーの対象者の写真を含む画像を具備することができる。画像は、テキスト、メタデータ、タグ、又は、画像のコンテンツを識別する他の情報（例えば、写真中の１又は複数の人の識別情報（即ち、名前））に関連付けられているか、又は、関連付けられていない。
【００１４】
サーバ120は、情報を収集、処理、維持、管理し、かつ／又は、ユーザに検索結果を提供する１又は複数のサーバを備えることができる。代表的な実施例では、サーバ120は、画像収集システム125を備えることができる（名前付きエンティティ（例えば、人々）に関連付けられた画像を読み出し、クライアントの110a, 110b, 110c, ... 110xで閲覧され、ウェブドキュメントにアクセスする）。サーバ120は、顔検出システム135も備えることができる。顔検出システム135は、顔検出アルゴリズムを実行することができ、かつ、追加的な処理を実行して、画像を識別し、かつ、それらと名前付きエンティティを関連付けることができる。また、サーバ120は、検索クエリー（例えば、名前付きエンティティを含む検索クエリー）をユーザから受信し、かつ、検索結果をユーザに提供するクエリーシステム127を備えることができる。１実施例によれば、画像がテキスト、メタデータ、タグ、又は、他の情報（ユーザによって入力された検索クエリーに応答した、適した結果として、画像を識別する）に当初は関連付けられていなくても、検索結果は、検索クエリーの対象である名前付きエンティティを表す画像を含んでいる。
【００１５】
１又は複数のネットワーク140は、１又は複数のローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、電話ネットワーク（例えば、公衆交換電話網（ＰＳＴＮ））、イントラネット、インターネット、及び／又は、他のタイプのネットワークを具備することができる。クライアント110a, 110b, 110c, ... 110x、サーバ120、ウェブドキュメント145,150、及び／又は、検索クエリーログ155は、有線、無線又は光、又は他の接続を介して、１又は複数のネットワーク140に接続することができる。代替的な実施例では、図１に示されたデバイスのうちの１又は複数は、デバイスのうちの他の１つに直接接続される。例えば、１実施例では、検索クエリーログ155、又は、１又は複数のクライアント110a, 110b, 110c, ... 110xは、サーバ120に直接接続することができる。
【００１６】
図２は、具体例による図１のサーバ120を示している。サーバ120は、バス210と、プロセッサ220と、メインメモリ230と、リードオンリーメモリ（ＲＯＭ）240と、記憶装置250と、１又は複数の入力デバイス260と、１又は複数の出力デバイス270と、通信インターフェース280とを備えることができる。サーバコンポーネントは、画像収集システム125、顔検出システム135、及び／又、クエリーシステム127を、全体又は一部に実装してもよい。
【００１７】
バス210は、１又は複数のパス（サーバ120のコンポーネント間の通信を可能にする）を備えることができる。プロセッサ220は、どのようなタイプの従来のプロセッサ、マイクロプロセッサ、又は、処理ロジック（命令を解釈及び実行する）でも含む。メインメモリ230は、ランダムアクセスメモリ（ＲＡＭ）、又は、他のタイプの動的記憶装置（プロセッサ220による実行のために情報及び命令を格納する）を備えることができる。ＲＯＭ240は、従来のＲＯＭデバイス、又は、他のタイプの静的記憶装置（例えば、オペレーティングシステムを含み、プロセッサ220による使用のために静的情報及び命令を格納する）を備えることができる。加えて、記憶装置250は、磁気及び／又は光記録媒体、及び、それに関連したドライブを備えることができる。
【００１８】
サーバ120は、ユーザがサーバ120に情報を入力することを可能にする１又は複数の従来のメカニズムを有する入力デバイス260も備えることができる（例えば、キーボード、マウス、ペン、音声認識、及び／又は、生体メカニズムなど）。出力デバイス270は、ユーザに情報を出力する１又は複数の従来のメカニズムを具備する（例えば、ディスプレイ、プリンタ、スピーカなど）。通信インターフェース280は、送受信機のようなメカニズム（サーバ120が他のデバイス及び／又はシステムと通信することを可能にする）を具備することができる。例えば、通信インターフェース280は、１又は複数のネットワーク（例えば、１又は複数のネットワーク140）を介して、他のデバイス又はシステムと通信するためのメカニズムを具備することができる。
【００１９】
オペレーションでは、サーバ120は、画像及び顔モデルを含む個別のウェブドキュメントに関連付けられたデータを格納することができ、かつ、クライアント110a, 110b, 110c, ... 110xからの入力に基づく検索を実行することができる。また、サーバ120は、人名に関連付けられた画像を検索することができ、かつ、前記検索結果を使用して、顔モデル（同じ人に関連付けられた追加画像を識別するのに使用することができる）を構築することができる。これによって、画像（メタデータ、タグ、又は、画像中の人を識別する他のコンテンツに予め関連付けられていない）のサーバによる自動識別を促進し、かつ、サーバ120がユーザに包括的な検索結果を提供することを可能にする。また、サーバ120は、画像（顔モデル比較を使用して、個人に関連付けられて識別された）の最新のデータベース及び／又は記録を自動的に維持することができる。
【００２０】
１実施例では、サーバ120は、コンピュータ可読媒体（例えば、メモリ230）に含まれたソフトウェア命令を実行するプロセッサ220に応答して、これらの動作を実行する。ソフトウェア命令は、他のコンピュータ可読媒体（例えば、データ記憶装置250）、又は、通信インターフェース280を介した他のデバイスから、メモリ230内に読み出すことができる。メモリ230内に含まれたソフトウェア命令は、本明細書に記載された処理を、プロセッサ220に実行させる。代わりに、ハードワイヤード回路を、ソフトウェア命令の代わりか、又は、ソフトウェア命令と組み合わせて使用して、本明細書に対応する処理を実行することができる。したがって、実施例は、ハードウェア回路及びソフトウェアの特定の組み合わせに限定されない。
【００２１】
図３は、代表的な具体例による図１に示された画像識別システム100の要素のブロック図である。サーバ120は、画像収集システム125と、顔検出システム135と、クエリーシステム217とを具備することができる。図３に示された論理ブロックは、ソフトウェア、ハードウェア、又は、ハードウェア及びソフトウェアの組み合わせで実行することができる。加えて、各機能ブロックは、１又は複数のコンピュータプロセッサ、スレッド、及び／又は、オブジェクトを表すことができる。代替的な実施例では、図３のブロックのうちの１つによって実行された機能は他のブロックによって実行することができることも理解しなければならない。さらに他の実施例では、単一の論理ブロック／処理デバイスが、画像収集システム125、顔検出システム135、クエリーシステム217の全ての機能を実行することができる。
【００２２】
サーバ120は、クエリーシステム127を含み、１又は複数のユーザによって使用されて、サーバ120にクエリーリクエストを入力することができる（例えば、名前付きエンティティに対する検索リクエスト）。例えば、クエリーシステム127は、「John Doe」と名付けられた人の画像に対するユーザリクエストを受信してもよい。クエリーシステム127によって受信されたクエリーは、検索クエリーログ370に格納される。図３ではサーバ120の外部に図示されているが、１実施例によれば、検索クエリーログ370はサーバ120内に配置してもよい。
【００２３】
画像収集システム125（特に、名前付きエンティティ検出器375）は、個人名などの名前付きエンティティを識別するように機能する（１又は複数のウェブドキュメント345,350,355,360,365（例えば、ウェブページ）及び／又は検索クエリーログ370において識別してもよい）。例えば、代表的な実施例では、名前付きエンティティ検出器375は、テキスト、メタデータ、又は、３個のウェブドキュメント345,350,355及び検索クエリーログ370の他のコンテンツ中に、名前「John Doe」が含まれていることを識別することができる。いったん識別されると、名前付きエンティティは、名前付きエンティティ検出器375、画像データベース385、又は、（画像収集システム125又はサーバ120に対して内部又は外部の）１又は複数の他のデータベース内に格納することができる。１実施例によれば、名前付きエンティティ検出器375は、１又は複数のしきい値に合致する名前付きエンティティだけを識別するように機能し（例えば、ウェブドキュメント中の名前付きエンティティの出現の最小数、又は、検索クエリーログ中の名前付きエンティティのランキング（例えば、名前付きエンティティを含んだクエリーの割合、又は、クエリーの合計数に基づく））、画像収集システム125によって識別される名前付きエンティティの数を、例えば、人気のある名前付きエンティティだけに限定する働きをすることができる。
【００２４】
画像収集システム125内の画像検索モジュール380は、名前付きエンティティ検出器375によって識別された名前付きエンティティに関連付けられた画像を収集するよう機能する。１又は複数のウェブドキュメント345,350,355（写真347,352,357を含む）、ビデオキャプチャスクリーンショット360,365を含む１又は複数のウェブドキュメント、画像及び／又はビデオコンテンツのデータリポジトリ、及び、他のロケーション（１又は複数のネットワーク140を介して画像収集システム125によってアクセス可能な画像を格納する）から、画像を収集してもよい。画像検索モジュール380は、画像（画像が名前付きエンティティに関連付けられていることを肯定的に識別するメタデータ、タグ、又は、他のコンテンツを含む）の読み出しを含む画像収集を実行する。例えば、画像検索モジュール380は、ウェブドキュメント345上の「John Doe」の写真347、及び、ウェブドキュメント350上の「John Doe」の写真352（各写真347,352が「John Doe」を識別したメタデータを含む）を識別及び読み出すよう機能する。画像検索モジュール380は、名前付きエンティティ検出器375によって識別された各名前付きエンティティに対して、画像を読み出すことができる。画像収集システム125によって収集された画像は、画像データベース385、及び／又は、（画像収集システム125又はサーバ120に対して内部又は外部の）１又は複数の他のデータベース内に格納することができる。他の実施例によれば、画像検索モジュール380は、全体画像を読み出す代わりに、画像データベース中の画像のロケーションを格納することができ、これによって、データを保持するのに必要な記憶容量を削減してもよい。
【００２５】
顔検出システム135（特に、顔検出モジュール390）は、画像収集システム125によって読み出された（又は識別された）画像上で、検出（例えば、顔検出）を実行するよう機能する。顔検出は、読み出された画像上で実行されて、前記読み出された画像中の顔を識別し、かつ、顔検出モジュール390の１又は複数の従来の顔検出アルゴリズムによって実行してもよい。顔検出モジュール390によって検出された顔は、顔検出データベース395、又は、（顔検出システム135又はサーバ120に対して内部又は外部の）１又は複数の他のデータベース内に格納することができる。例えば、ウェブドキュメント345,352から読み出された各写真347,352中の「John Doe」の顔（即ち、顔画像）を識別して、かつ、顔検出データベース395内に格納してもよい。
【００２６】
画像検出モジュール390は、検出された画像要素（例えば、顔）を相互に比較して、マッチングする他の要素（例えば、顔）を識別するようにさらに機能する。このプロセスによって、特定のエンティティ（例えば、有名人）と一致した画像の識別が可能となる。検出された顔を相互に比較するステップは、（画像検索モジュール380によって識別されたような）名前付きエンティティに関連付けられているが、前記名前付きエンティティの顔画像を含んでいないか、又は、前記名前付きエンティティの顔を含むことを確認することができない画像を除外するのに好都合である。１実施例では、これを有効にするため、名前付きエンティティに対する全ての顔が相互に比較される。
【００２７】
１実施例によれば、各特定の顔にマッチングする顔の数は、顔検出モジュール390によって決定され、各特定の検出された顔に対する得票カウントとして、顔検出モジュール390によって格納することができる。最も高い得票カウントを有する特定の顔は、名前付きエンティティ（例えば、人）に対する代表的な顔としてラベルを付けてもよく、特定の顔が関連付けられる。例えば、10個の顔が15個の「John Doe」画像（１又は複数のウェブドキュメントから読み出された）中に検出された場合、前記10個の顔うちの１つの顔は、代表的な顔としてラベルを付けられる（それが他の９個のうちの多数にマッチングするため）。具体例として、10個の顔のセット中の「John Doe」の第１の顔は、第３、第５及び第７の顔にマッチングし、一方では、残りの顔は、１つの他の顔にしかマッチングしないと決定される。そのような実施例では、第１の顔は「John Doe」に対する代表的な顔としてラベルを付けることができる。顔対顔のマッチングは、アピアランスに基づく顔認識方法によって実行してもよい（例えば、主成分分析（ＰＣＡ）、独立成分分析（ＩＣＡ）、線形判別分析（ＬＤＡ）など）。ローカルフィーチャベース顔マッチングアルゴリズムも使用することができるか、又は、代わりに使用することができる（例えば、エラスティックバンチグラフ（Elastic Bunch Graph）マッチングなど）。１実施例によれば、マッチングプロセスに関連付けられた類似性しきい値を変化させて、マッチングが識別される以前に、顔の類似の程度を規定することができる。
【００２８】
１実施例では、顔検出モジュール390は、代表的な顔にマッチングする顔の全てを用いて、各名前付きエンティティに対する顔のトレーニングセットを作成する。上記した具体例（10個のセット中の「John Doe」の第１の顔が代表的な顔として識別される）では、他の３個のマッチングした顔（即ち、第３、第５及び第７の顔）は、代表的な顔とともに、前記トレーニングセットに加えられる。１又は複数の画像からトレーニングセットの初期作成後、トレーニングセットは、顔検出モジュール390によって、増加させてもよい。例えば、トレーニングセットは、追加的な顔が検出された後で、増加させることができる。他の実施例によれば、前記トレーニングセットは、顔画像の大規模なセット（例えば、名前付エンティティに関連付けられた検出された顔画像）から作成することができる。
【００２９】
前記トレーニングセットは顔検出モジュール390によって使用されて、名前付きエンティティに対する顔モデルを構築する。上記した具体例を続けると、顔検出モジュール390によって検出された１つの「John Doe」の顔は、代表的な顔としてラベルを付けてもよく、かつ、代表的な顔にマッチングした全ての顔を使用して、名前付きエンティティ「John Doe」を示すラベルを付けられた顔モデルを構築することができる。１実施例によれば、顔モデルは、トレーニングセットからの顔の合計から構築された合成モデルである。顔モデルは、従来のクラスタ分析方法を使用して構築することができ、クラスタ係数を使用して、トレーニングセットから合成顔画像を作成する。例えば、ポイント対クラスタ距離及び分類方法を使用してもよい（距離基準（例えば、クラスタ内の全てのポイントに対する最小／中央／最大）を使用する方法を含むか、又は、上位「ｋ」最近隣をとること、及び、分類された人として、「ｋ」内のマジョリティクラスタをとることによって、合成得票を使用することによる）。他の実施例によれば、例えば、オリエンテッドＰＣＡ（ＯＰＣＡ）又はカーネルＯＰＣＡを使用して、クラス内の分散を取得し、かつ、分散に基づき新規のフィーチャプロジェクションを計算することによって、複合モデルを構築してもよい。
【００３０】
他の実施例によれば、代表的な顔を識別し、かつ、前記代表的な顔にマッチングするこれらの顔を使用したトレーニングセットを設ける代わりに、クラスタリングアルゴリズムを使用して、検出された顔で代表的なクラスタを識別することができ、前記代表的なクラスタは、しきい値を超えた十分な密度を有するクラスタである。代表的な画像は、十分な密度を有した各クラスタからとることができ、したがって、トレーニングセットを作成するために、単一の代表的な顔を選択する必要はない。これは、画像の大規模な集合体（例えば、ウェブ）で見つけ出された画像がさまざまであるにも拘らず（写真が多様なポーズ、照明の差異、対象の年齢などを含む）、画像の取得を可能にする利点がある。これによって、多数のサンプル（即ち、クラスタ）からの代表的な画像のグループ化を可能にする（そうでなければ、上記した顔マッチング方法を使用した顔のマッチングを使用してグループ化される）。
【００３１】
他の実施例によれば、顔マッチングは、顔検出モジュール390（顔マッチングアルゴリズムをトレーニングするための初期トレーニングセットとして、選択され、ラベルを付けられた顔のセットを使用した）によって実行されて、特定の人に関連付けられた画像を識別してもよい。その後、画像の集合体（例えば、ウェブ）で識別された顔は、クラスタリング方法を使用して調べられ（mine）、かつ、比較されて、画像セット（画像が異なるクラスタに存在しても、その特定の人に対して潜在的にマッチングする）を識別することができる。次いで、顔マッチングアルゴリズムは新規データを用いて更新され、画像の多様性（例えば、多様なポーズ、照明の差異、対象の年齢などを含む写真）に一層卓越した不変性をもたらす。次いで、顔マッチングアルゴリズムは、追加画像を調べることができ、画像セットが各特定の個人に対して収集されるまで、プロセスを繰り返し、反復アプローチが確率（顔検出モジュールが顔を人にマッチングすることを識別する）を上昇させることができる。
【００３２】
画像収集システム125及び顔検出システム135を使用して、サーバ120は、ウェブドキュメント中の画像を自動的に識別することができ、かつ、これらの画像において検出された顔を用いて顔モデルを更新する。画像の自動識別に顔モデルを使用することによって、人の相互作用を必要とすることなく、かつ、各識別された画像がメタデータ、タグ、又は、他のコンテンツ（画像と名前付きエンティティを関連付ける）に関連付けられていることを必要とすることなく、名前付きエンティティ（例えば、有名人）に関連付けられた画像の収集及び維持が可能となる。
【００３３】
１具体例として、画像検索モジュール380は、ウェブドキュメント345上に「John Doe」の写真347が存在し、かつ、ウェブドキュメント350上に「John Doe」の他の写真352が存在することを識別してもよい（各写真347,352が「John Doe」を識別したメタデータを備える）。ウェブドキュメント355上の第３写真357は、ラベルを付けられていないか、又は、テキスト、メタデータなどを介して個人に関連付けられていない。その結果、従来の検索アルゴリズムは、「John Doe」に関連付けて写真357を識別することができない。例えば、上記した方法を使用して「John Doe」に対して構築した顔モデルを使用すれば、顔検出システム135は、モデル顔にマッチングするとして前記第３写真357を識別することができる。マッチングの結果、顔検出モジュールは、第３画像に名前付きエンティティ（即ち、「John Doe」）を示すラベルを付けることができる（画像及びそのラベルは顔検出データベース395内に格納することができる）。その後、クエリー「John Doe」に対する検索結果をリクエストするユーザクエリーは、検索結果に、３個全ての写真347,352,357を含む。
【００３４】
１実施例によれば、画像収集システム125、顔検出システム135、及び、クエリーシステム127は、２個以上のサーバ120中に分散してもよい。さらに他の実施例では、画像収集システム125、顔検出システム135、及び／又は、クエリーシステム127の一部又は全ての機能は、プログラムコード（サーバ120によって実行可能なプログラム命令を含んだ）又は１又は複数の追加的なコンピュータ処理システムによって実行することができる。加えて、１実施例によれば、画像収集データベース385、及び／又は、顔検出データベース395は、サーバ120に対して外部にあり、かつ、画像に関連したデータを格納するために１又は複数のデータを具備することができる。
【００３５】
１実施例によれば、顔モデルは、検索クエリーログ370で識別された検索クエリーで識別された人気のある名前付きエンティティに対して、サーバ120によって自動的及びルーチン的に構築してもよい。例えば、顔モデルは、ある期間（例えば、30日）後に、ルーチン的に更新してもよく、したがって、画像の最新データベースが、人気のあるクエリーに応答を提供する読み出しのために維持される。既存モデルを更新する間、必要に応じて、各顔モデルを作成するのに使用されたトレーニングセットに追加画像を含めることによって、顔モデルはさらに改良される。これは、正確で最新のモデルを維持する働きをして、新規画像（ウェブ又は他のデータ集合体に追加される）を効果的に識別する。
【００３６】
図４は、具体例による図１のシステムによって実行された代表的な方法を示している。画像検索が名前付きエンティティ（例えば、有名人の名前）に対して実行される（ブロック405）。名前付きエンティティに関連付けられた画像が読み出され（ブロック410）、かつ、顔検出が読み出された画像に対して実行されて、読み出された画像中の顔を検出する（ブロック415）。顔検出の完了後、代表的な顔が、前記読み出された画像から識別される（ブロック420）。次いで、前記代表的な顔を使用して、名前付きエンティティを表した追加画像を識別する（ブロック425）。１実施例によれば、名前付きエンティティを表した追加画像が識別される（それらがメタデータ、タグ、又は、他の情報（それらの識別に先立って、画像を名前付きエンティティに関連付けた）を具備していなくても）。
【００３７】
図５は、他の具体例による図１のシステムによって実行された他の代表的な方法を示している。名前付きエンティティは、検索クエリーログ及び／又はウェブドキュメント（例えば、ウェブページ）から識別される（ブロック505）。１実施例によれば、この識別は、サーバ120によって自動的に実行されて、人気のある名前付きエンティティ（例えば、人であって、その識別情報がウェブドキュメント及び／又は検索クエリーに出ている）のリストを連続的に更新する。画像検索が、各名前付きエンティティに対して実行される（ブロック510）。１実施例によれば、前記画像検索は、画像検索モジュール380（サーバ120の画像収集システム125内に存在する）によって実行することができる。加えて、１実施例によれば、画像検索は、人気のある名前付きエンティティだけに対する画像が検索されるように、特定のしきい値（例えば、名前付きエンティティの出現数）に合致した人気のある名前付きエンティティに対してだけ実行してもよい。次いで、各名前付きエンティティに関連付けられた画像が読み出される（ブロック515）。
【００３８】
各名前付きエンティティに関連付けられた画像の読み出しに続いて、顔検出が前記読み出された画像に対して実行されて、存在する場合には、各読み出された画像中の顔を検出する（ブロック520）。１実施例によれば、これは、顔検出アルゴリズムによって実行してもよい（例えば、前記顔検出システム135内の顔検出アルゴリズム）。次いで、前記検出された顔を使用して、顔マッチングが、各検出された顔に対して実行されて、各名前付きエンティティに対して類似した顔を識別する（ブロック525）。各名前付きエンティティに対して、特定の顔にマッチングする検出された顔の数が決定される（ブロック530）。１実施例によれば、カウントが各顔に対して維持される（前記カウントは、その顔に対してマッチングする顔の数を識別する）。最大カウントを有する顔（即ち、検出された顔にマッチングする最大数）が決定され、かつ、前記関連付けられた名前付きエンティティに対する代表的な顔としてラベルを付けられる（ブロック535）。１実施例によれば、カウントは、前記顔検出モジュール390によって作成してもよい。前記代表的な顔にマッチングした顔を使用して、名前付きエンティティに対する顔のトレーニングセットを作成するか、又は、増加させる（ブロック540）。他の顔にマッチングする検出された顔の数がしきい値（例えば、６又は７のカウント）を超える場合、次いで、その顔は、名前付きエンティティに対する代表的な顔として使用してもよく、かつ、トレーニングセットは、前記代表的な顔にマッチングする顔に対して作成してもよい（ブロック545,535,540）。
【００３９】
顔モデルは各名前付きエンティティに対する各トレーニングセットから構築され、かつ、名前付きエンティティを示すラベルを付けられる（ブロック550）。１実施例によれば、顔モデルは、前記顔検出モジュール390によって構築される。モデルが各名前付きエンティティに対して作成された後、それらは、収集された画像に対して比較され、かつ、マッチングしたもの（match）は名前付きエンティティを示すラベルを付けられる。前記収集された画像は、ウェブドキュメント、ビデオ、データベース又は他のソースから収集された画像を具備することができ、かつ、メタデータ、タグ、又は、他の情報（特定の名前付きエンティティに関連付けて、それらを識別した）を備えていない画像を具備することができる（ブロック555）。
【００４０】
本明細書に記載された装置、方法、フローチャート及び構成ブロック図は、コンピュータ処理システムによって実行可能なプログラム命令を含むプログラムコードを具備したコンピュータ処理システムで実行してもよい。他の実施例も使用してもよい。加えて、本明細書に記載されたフローチャート及び構成ブロック図（特定の方法及び／又は構成手段を説明する）を利用して、ソフトウェアストラクチャ及びアルゴリズム及び均等物に対応して実行してもよい。
【００４１】
上記したように、本発明の態様は、図に示された実施例において、ソフトウェア、ファームウェア及びハードウェアのさまざまな形態で実行することができることを、当業者は理解しなければならない。実際のソフトウェアコード又は本発明の原理に対応した態様を実行するのに使用された特別の制御ハードウェアは、本発明を限定しない。したがって、態様の動作及び振る舞いは、特定のソフトウェアコードを参照しないで説明された。当業者は、本明細書の記載に基づき、態様を実行するためのソフトウェア及び制御ハードウェアが設計可能であることを理解しなければならない。
【符号の説明】
【００４２】
100  画像識別システム
110a, 110b, 110c, ... 110x  クライアント
120  サーバ
125  画像収集システム
127  クエリーシステム
135  顔検出システム
140  １又は複数のネットワーク
145,150  ウェブドキュメント
155  検索クエリーログ
210  バス
220  プロセッサ
230  メインメモリ
240  ＲＯＭ
250  記憶装置
260  入力デバイス
270  出力デバイス
280  通信インターフェース
345,350,355,360,365  ウェブドキュメント
347,352,357  写真
362,367  ビデオキャプチャ
370  検索クエリーログ
375  名前付きエンティティ検出器
380  画像検索モジュール
385  画像収集データベース
390  顔検出モジュール
395  顔検出データベース
【図１】
2010511938.tif 000003
【図２】
2010511938.tif 000004
【図３】
2010511938.tif 000005
【図４】
2010511938.tif 000006
【図５】
2010511938.tif 000007
【手続補正書】
【提出日】平成21年7月30日(2009.7.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
コンピュータ実行方法であって、
少なくとも１つの名前付きエンティティを識別するステップと、
前記少なくとも１つの名前付きエンティティに関連付けられた画像を読み出すステップと、
前記読み出された画像に対して顔検出を実行して、前記読み出された画像中の顔を検出するステップと、
前記読み出された画像から、少なくとも１つの代表的な顔画像を識別するステップと、
前記少なくとも１つの代表的な顔画像を使用して、前記少なくとも１つの名前付きエンティティを表した１又は複数の追加画像を識別するステップと
を具備し、前記顔検出は、顔検出アルゴリズムを使用して実行されることを特徴とする方法。
【請求項２】
ユーザから、前記少なくとも１つの名前付きエンティティを含んだ検索クエリーを受信するステップと、
前記検索クエリーに基づき検索結果を作成するステップと
をさらに具備し、前記検索結果は、前記１又は複数の追加画像を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記少なくとも１つの名前付きエンティティは人であり、かつ、
前記少なくとも１つの名前付きエンティティを識別するステップは、クエリーログ又はウェブドキュメントから、前記少なくとも１つの名前付きエンティティを識別するステップを具備することを特徴とする請求項１に記載の方法。
【請求項４】
前記少なくとも１つの名前付きエンティティに関連付けられた画像を読み出すステップは、画像検索を実行して、前記少なくとも１つの名前付きエンティティに関連付けられた画像を識別するステップを具備することを特徴とする請求項１に記載の方法。
【請求項５】
各検出された顔を各他の検出された顔と比較することによって、前記読み出された画像中の前記検出された顔に対して、顔マッチングを実行して、前記少なくとも１つの名前付きエンティティに関連付けられた特定の顔画像にマッチングする顔を識別するステップをさらに具備することを特徴とする請求項１に記載の方法。
【請求項６】
前記特定の顔画像にマッチングする顔の数を決定するステップと、
前記特定の顔画像にマッチングする前記決定された数の顔を、しきい値と比較するステップと
をさらに具備することを特徴とする請求項５に記載の方法。
【請求項７】
前記読み出された画像中の他の検出された顔の最大数にマッチングする前記読み出された画像中の前記検出された顔を決定するステップをさらに具備することを特徴とする請求項５に記載の方法。
【請求項８】
顔画像のトレーニングセットを作成するステップをさらに具備し、
前記トレーニングセットは、前記少なくとも１つの名前付きエンティティに関連付けられた前記特定の顔画像にマッチングする前記検出された顔のそれぞれを含むことを特徴とする請求項７に記載の方法。
【請求項９】
顔画像の前記トレーニングセットから、少なくとも１つの顔モデルを作成するステップをさらに具備することを特徴とする請求項８に記載の方法。
【請求項１０】
前記少なくとも１つの代表的な顔画像を使用して、１又は複数の追加画像を識別するステップは、前記少なくとも１つの顔モデルを使用して、前記１又は複数の追加画像を識別するステップを具備することを特徴とする請求項９に記載の方法。
【請求項１１】
前記少なくとも１つの顔モデルを使用して、前記１又は複数の追加画像を識別するステップは、前記顔モデルを画像の集合体と比較して、前記１又は複数の追加画像を識別するステップを具備することを特徴とする請求項１０に記載の方法。
【請求項１２】
コンピュータシステムであって、
少なくとも１つの名前付きエンティティを識別する手段と、
前記少なくとも１つの名前付きエンティティに関連付けられた画像を読み出す手段と、
前記読み出された画像に対して顔検出を実行して、前記読み出された画像中の顔を検出する手段と、
前記読み出された画像から、少なくとも１つの代表的な顔画像を識別する手段と、
前記少なくとも１つの代表的な顔画像を使用して、前記少なくとも１つの名前付きエンティティを表した１又は複数の追加画像を識別する手段と
を備えたシステム。
【請求項１３】
ユーザから、前記少なくとも１つの名前付きエンティティを含んだ検索クエリーを受信する手段と、
前記検索クエリーに基づき検索結果を作成する手段と
をさらに具備し、前記検索結果は、前記１又は複数の追加画像を含むことを特徴とする請求項１２に記載のシステム。
【請求項１４】
前記少なくとも１つの名前付きエンティティは人であり、かつ、
前記少なくとも１つの名前付きエンティティを識別する手段は、クエリーログ又はウェブドキュメントから、前記少なくとも１つ名前付きエンティティを識別する手段を含むことを特徴とする請求項１２に記載のシステム。
【請求項１５】
前記少なくとも１つの名前付きエンティティに関連付けられた画像を読み出す手段は、画像検索を実行して、前記少なくとも１つの名前付きエンティティに関連付けられた画像を識別する手段を具備することを特徴とする請求項１２に記載のシステム。
【請求項１６】
各検出された顔を各他の検出された顔と比較することによって、前記読み出された画像中の前記検出された顔に対して、顔マッチングを実行して、前記少なくとも１つの名前付きエンティティに関連付けられた特定の顔画像にマッチングする顔を識別する手段をさらに具備することを特徴とする請求項１２に記載のシステム。
【請求項１７】
前記特定の顔画像にマッチングする顔の数を決定する手段と、
前記特定の顔画像にマッチングする前記決定された数の顔を、しきい値と比較する手段と
をさらに具備することを特徴とする請求項１６に記載のシステム。
【請求項１８】
前記読み出された画像中の他の検出された顔の最大数にマッチングする前記読み出された画像中の前記検出された顔を決定する手段をさらに具備することを特徴とする請求項１６に記載のシステム。
【請求項１９】
顔画像のトレーニングセットを作成する手段をさらに具備し、
前記トレーニングセットは、前記少なくとも１つの名前付きエンティティに関連付けられた前記特定の顔画像にマッチングする前記検出された顔のそれぞれを含むことを特徴とする請求項１８に記載のシステム。
【請求項２０】
顔画像の前記トレーニングセットから、少なくとも１つの顔モデルを作成する手段をさらに具備することを特徴とする請求項１９に記載のシステム。
【請求項２１】
前記少なくとも１つの代表的な顔画像を使用して、１又は複数の追加画像を識別する手段は、前記少なくとも１つの顔モデルを使用して、前記１又は複数の追加画像を識別する手段を具備することを特徴とする請求項２０に記載のシステム。
【請求項２２】
前記少なくとも１つの顔モデルを使用して、前記１又は複数の追加画像を識別する手段は、前記顔モデルを画像の集合体と比較して、前記１又は複数の追加画像を識別する手段を具備することを特徴とする請求項２１に記載のシステム。
【国際調査報告】
2010511938.tif 000008
2010511938.tif 000009