(57)【要約】  識別可能なオブジェクトの画像を有する写真（又はビデオ）からのデータの自動的な抽出及びタグ付けを提供する。地理情報及び日時情報を含む、抽出されたメタデータ及び画像認識の組み合わせを用いて、写真又はビデオにおけるオブジェクトを見つけ、認識する。認識されたオブジェクトに対するマッチング識別子を見つけると、写真又はビデオは、認識されたオブジェクトに関連付けられ、認識されたオブジェクトに対応する１つ又は複数のキーワードで自動タグ付けされる。
2015501982.tif 000002
【特許請求の範囲】
【請求項１】
自動タグ生成の方法であって、
画像が捕捉された位置に関する地理情報を含み、任意的には、前記画像が捕捉された時点に関する日付及び時刻の情報を含む、前記画像に関連付けられた画像ファイルからメタデータを抽出する工程と、
前記画像内の１つ又は複数のオブジェクト、形状、特徴、若しくはテクスチャを識別するよう画像認識を行う工程と、
前記１つ又は複数のオブジェクト、形状、特徴、又はテクスチャに関する情報又はコードで前記画像を自動タグ付けする工程と、
前記１つ又は複数のオブジェクト、形状、特徴、又はテクスチャのうちの識別されたオブジェクト又は形状の対応する詳細を、
前記地理情報、及び前記識別されたオブジェクト又は形状に関する情報又はコードを使用して、前記画像が捕捉された前記位置、及び前記オブジェクト又は形状に関する前記対応する詳細と、前記画像が捕捉された前記位置、及び前記識別されたオブジェクト又は形状をマッチングするために、少なくとも１つのデータベースに対してクエリを行う工程、あるいは、
前記日付及び時刻の情報、並びに前記識別されたオブジェクト又は形状に関する情報又はコードを使用して、前記画像が捕捉された時点、及び前記オブジェクト又は形状に関する前記対応する詳細と、前記画像が捕捉された時点、及び前記識別されたオブジェクト又は形状をマッチングするために、少なくとも１つのデータベースに対してクエリを行う工程、あるいは、
前記地理情報、並びに、前記日付及び時刻の情報と、前記識別されたオブジェクト又は形状に関する情報又はコードとを使用して、前記画像が捕捉された時点及び前記画像が捕捉された前記位置、並びに前記オブジェクト又は形状に関する前記対応する詳細と、前記画像が捕捉された時点及び前記画像が捕捉された前記位置、並びに前記識別されたオブジェクト又は形状をマッチングするために、少なくとも１つのデータベースに対してクエリを行う工程
によって判定する工程と、
前記対応する詳細に関する情報又はコードで前記画像を自動タグ付けする工程と
を含む方法。
【請求項２】
請求項１記載の方法であって、前記画像内の前記１つ又は複数のオブジェクト、形状、特徴、又はテクスチャを識別するよう画像認識を行う工程は、前記画像ファイルから抽出された前記地理情報を使用する方法。
【請求項３】
請求項１又は２に記載の方法であって、前記画像内の１つ又は複数のランドマークを識別するようランドマーク認識を行う工程と、
前記１つ又は複数のランドマークに関する情報又はコードで前記画像を自動タグ付けする工程と
を含む方法。
【請求項４】
請求項３記載の方法であって、前記ランドマーク認識を行う工程は、
前記画像ファイルから抽出された前記地理情報と、前記画像認識を行う工程中に識別された前記画像における選択された１つ又は複数のオブジェクトに関する情報又はコードとを使用して建築ランドマーク又は地理ランドマークのデータベースに対してクエリを行う工程
を含む方法。
【請求項５】
請求項１乃至４の何れか一項に記載の方法であって、
前記画像に関連付けられた前記画像ファイルから抽出された前記日付及び時刻の情報と、前記地理情報とを使用することにより、前記画像が捕捉された前記日付及び時刻において、かつ、前記画像が捕捉された前記位置において生じていた対応する事象状態を判定する工程と、
前記対応する事象状態に関する情報又はコードで前記画像を自動タグ付けする工程と
を含む方法。
【請求項６】
実行されると、請求項１乃至５の何れか一項に記載の方法を行う命令を記憶させたコンピュータ読み取り可能な媒体。
【請求項７】
自動タグ生成を行うためのコンピュータ読み取り可能な命令を記憶させたコンピュータ読み取り可能な媒体であって、前記命令は、
画像が捕捉された位置に関する地理情報を含む、前記画像に関連付けられた画像ファイルからメタデータを抽出する工程であって、前記画像は、ビデオのフレーム、又は写真を含む工程と、
前記画像内のオブジェクトを識別するよう画像認識を行う工程と、
前記画像が捕捉された前記位置、及び前記オブジェクトに対応する少なくとも１つの特定の状態を、
前記画像が捕捉された前記位置、及び前記オブジェクトをマッチングするためにデータベースに対してクエリを行う工程、及び
前記データベースから、前記少なくとも１つの特定の状態に関連付けられた情報又はコードを受け取る工程
によって判定する工程と、
前記少なくとも１つの特定の状態に関連付けられた前記情報又はコードで前記画像を自動タグ付けする工程と
を含むコンピュータ読み取り可能な媒体。
【請求項８】
請求項７記載のコンピュータ読み取り可能な媒体であって、前記命令は、
前記画像内の前記オブジェクトを識別するよう前記画像認識を行った後に、前記画像内の前記オブジェクトに関連付けられた語又はコードで画像を自動タグ付けする工程
を更に含むコンピュータ読み取り可能な媒体。
【請求項９】
請求項７又は８に記載のコンピュータ読み取り可能な媒体であって、前記画像認識を行う工程は、前記画像ファイルから抽出された前記メタデータを使用して前記オブジェクトの識別を容易にする工程を更に含むコンピュータ読み取り可能な媒体。
【請求項１０】
請求項７乃至９の何れか一項に記載のコンピュータ読み取り可能な媒体であって、前記画像ファイルから抽出された前記メタデータは、前記画像が捕捉された時点に関する日付及び時刻の情報を含み、
前記少なくとも１つの特定の状態に関連付けられた前記情報又はコードは、イベント情報若しくはコード、気象情報若しくはコード、地理ランドマーク情報若しくはコード、建築ランドマーク情報若しくはコード、又はそれらの組み合わせを含むコンピュータ読み取り可能な媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
ディジタル・カメラが一層普及し、ディジタル記憶装置がより安価になるにつれ、ユーザのコレクション（又はライブラリ）における写真及びビデオの数も指数的に増大するであろう。
【背景技術】
【０００２】
前述の写真を分類するには時間がかかり、自分の人生における特定の瞬間の画像をすばやく見つけることはユーザにとっての課題となっている。現在、ディジタル写真のソート、保存、及びサーチを支援するためにタグが使用されている。タグ付け（タギング）は、ディジタル・データにキーワードを割り当てる処理を表す。その場合、ディジタル・データはキーワード又は「タグ」に応じて編成することが可能である。例えば、ディジタル写真の主題を使用してキーワードを作成することが可能であり、キーワードは次いで、１つ又は複数のタグとして前述のディジタル写真と関連付けられる。
【０００３】
写真の分類及びサーチを支援するためにタグを特定のディジタル写真に手作業で付加することが可能であるが、現在、写真に付加される自動タグはわずかに過ぎない。例えば、大半のカメラは、日時の自動タグをディジタル写真に割り当てる。更に、より多くのカメラが、写真の自動タグの一部として地理的位置を含めている。最近、（特定の識別情報に対するマッチング及び）写真における人の自動識別を提供するためにソフトウェア・ソリューションが開発されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、ユーザは現在、手作業で付加されたタグ、人のタグ、地理、及び日付により、写真に対してクエリを行うことに制限されている。
【課題を解決するための手段】
【０００５】
ディジタル写真及びビデオにタグを自動的に割り当てる方法を提供する。カメラにより、写真に自動的に割り当て得る地理的位置、時間、日付を提供するメタデータからのタグのみを有する代わりに、更なる情報を写真又はビデオから自動抽出することが可能であり、前述の更なる情報に関連付けられたキーワード又はコードを前述の写真又はビデオにタグとして自動的に割り当てることが可能である。前述の更なる情報は、画像に関連付けられたメタデータ、及び画像から直接、利用可能でないことが明らかな情報を含み得る。
【０００６】
例えば、限定列挙でないが、気象、地理ランドマーク、建築ランドマーク、及び顕著なアンビエント特徴を含む、特定の状態に関する情報は、画像から抽出することが可能である。一実施例では、写真の時間及び地理的位置のメタデータは、前述の特定の位置及び時間に対する気象を抽出するために使用される。抽出は、写真が撮影された特定の位置及び時間に対する気象を判定するために気象データベースに対してクエリを行うことによって行うことが可能である。別の実施例では、写真の地理的位置のメタデータ及び画像認識を使用して、地理ランドマーク及び建築ランドマークを抽出する。更に別の実施例では、画像認識が、既知の物理オブジェクト、及び顕著なアンビエント特徴（背景、色、色相、及び強度を含む）を画像から抽出するために使用され、タグは、抽出された特徴及びオブジェクトに基づいて写真に自動的に割り当てられる。
【０００７】
一実施例によれば、特定の１つ又は複数の状態が写真中で認識された場合に、タグとして使用するために、キーワード又はオブジェクト識別子のデータベースを提供することが可能である。特定の状態が認識された場合、前述の特定の状態に関連付けられたキーワード又はオブジェクト識別子の１つ又は複数が写真のタグとして自動的に割り当てられる。
【０００８】
特定の写真に、先行して関連付けられたタグは、更なるタグを生成するために使用することが可能である。例えば、日付情報を、季節、学校の学期、休日、及びニュース価値のある事象などの、前述の日付に関連付けられたキーワードを備えたタグを生成するために使用することが可能である。
【０００９】
更なる実施例では、認識されたオブジェクトは、顕著性によってランク付けすることが可能であり、ランク付けは更なるタグとして反映される。更に、認識されたオブジェクトを識別するうえで使用されるデータベースは、種々のレベルの具体性／細粒度を含み得る。
【００１０】
本部分の記載は、発明の詳細な説明において以下に更に説明した、単純化された形式での概念の選択肢を紹介するためのものであり、特許請求の範囲に記載の主題の主要な構成又は必須の構成を識別することを意図するものでなく、特許請求の範囲に記載の主題の範囲を限定するために使用されることを意図するものでもない。
【図面の簡単な説明】
【００１１】
【図１】本発明の特定の実施例による自動タグ生成処理を示す図である。
【図２】本発明の特定の実施例による画像認識処理を示す図である。
【図３】本発明の特定の実施例による自動タグ生成処理フローを示す図である。
【図４】本発明の実施例による、自動タグ生成処理について、写真から建築ランドマークを抽出することにより、タグを生成する処理を示す図である。
【図５】本発明の実施例による、自動タグ生成処理について、写真から地理ランドマークを抽出することにより、タグを生成する処理を示す図である。
【発明を実施するための形態】
【００１２】
写真に関連付けられた１つ又は複数のタグの自動生成を行う手法を説明する。自動タグ付けは、局所データベース上、遠隔データベース上、又は分散データベース上に記憶し得る写真コレクションにディジタル写真（又はビデオ）がロードされるか、又は他のやり方で転送されるにつれて行われ得る。他の実施例では、自動タグ付けは、既存の写真にタグ付けするためにユーザの起動によって行われ得る。
【００１３】
画像は、限定列挙でないが、写真又はビデオ・フレームに現れるものの特徴、形状、及びオブジェクトの視覚表現を含み得る。特定の実施例によれば、画像は（写真の形態で、又はビデオの一部として）ディジタル・カメラによって捕捉し得、ディジタル・カメラの画像センサによって規定された画素の形式で実現し得る。一部の実施例では、「写真画像」の語が本明細書及び特許請求の範囲において、写真に関連付けられたメタデータ又は他の要素でなく、ディジタル写真の画像を表すために使用され、本発明の特定の実施例の範囲から逸脱しない限り、「画像」の語と同義に使用し得る。「写真」、「画像」、及び「写真画像」の語の意味はそれらの前後関係から容易に分かるであろう。
【００１４】
特定の実施例では、本明細書記載の画像は、ディジタル・カメラの画像センサによって取得された電気値の視覚表現を表し得る。画像ファイル（及びディジタル写真ファイル）は、コンピュータ読み取り可能であり、かつ、記憶装置に記憶可能な画像の形式を表し得る。特定の実施例では、画像ファイルは限定列挙でないが、ｊｐｇ、ｇｉｆ、及び．ｂｍｐを含み得る。画像ファイルは、例えば、（例えば、紙に印刷することにより、）基体上又は表示装置上に視覚表現（「画像」）を提供するよう再構成することが可能である。
【００１５】
一部の例示的な実施例は写真を参照して説明し得るが、同じことが何れの画像にも適用可能であり得る（カメラによって捕捉されていない画像にも適用可能であり得る）。更に、本出願の手法は、静止画像（例えば、写真）及び動画像（例えば、ビデオ）に適用可能であり、ファイルに対してオーディオ成分を含め得る。
【００１６】
ディジタル写真ファイルに書き込まれたメタデータには多くの場合、インターネットを介して、かつ／又はユーザのコンピュータ上でファイルをサーチ可能にするための、写真についてのキーワードなどの記述情報、及びファイルを作成したカメラ（及び装置）、並びに、写真（著作権及び連絡先情報を含む）を所有する者を識別する情報が含まれる。前述のメタデータはカメラによって書き込まれる一方、他のメタデータは、カメラ、メモリ装置、又は別のコンピュータからコンピュータ（又はサーバ）にディジタル写真ファイルを転送した後に、ソフトウェアによって自動的に、又は手作業でユーザによって入力される。
【００１７】
本発明の特定の実施例によれば、画像及びそのメタデータを使用して更なるメタデータを生成する。更なるメタデータは、画像、及び画像のメタデータから抽出され、又は推定されることによって生成される。画像のメタデータは、画像が撮影された地理的位置及び日付、並びに利用可能な画像に関連付けられた何れかの他の情報を含み得る。画像のメタデータは、画像自体の一部であるか、又は別個に提供され得る。メタデータが画像自体の一部である場合、データは、更なるメタデータを生成するために使用される前に、まず、画像のディジタル・ファイルから抽出される。一旦生成されると、更なるメタデータは次いで、元の画像にもう一度、関連付けるか、又は他の目的で使用することが可能である。抽出され、かつ／又は、作成されたメタデータ及び更なるメタデータは、タグとして元の画像と関連付けることが可能である。
【００１８】
１つのタイプのタグはキーワード・タグである。キーワード・タグは、例えば、特定された基準にマッチするキーワードを有するタグに基づいた、画像ファイルのソート、サーチ、及び／又は取り出しなどの、１つ又は複数の画像に対する処理を行うことに関して使用し得る。
【実施例】
【００１９】
図１は、本発明の特定の実施例による自動タグ生成処理を示す。
【００２０】
図１を参照するに、画像及び対応するメタデータを有する写真を受け取る（１００）。本出願の実施例の自動タグ付け処理は、写真を受け取ると自動的に始まり得る。例えば、上記処理は、ユーザが写真画像ファイルを写真共有サイトにアップロードすると始まり得る。別の例として、処理は、ユーザのコンピュータにカメラからの写真をユーザがロードすることによって始まり得る。更に別の例として、ユーザの携帯電話機は、アプリケーションを選択するか、又は携帯電話機のカメラを使用して画像を捕捉すると、タグ付け処理が始まり得る、自動タグ生成のアプリケーションを含み得る。
【００２１】
写真が受け取られた後、写真に関連付けられたメタデータが抽出される（１１０）。メタデータの抽出には、写真に関連付けられた特定のタイプのメタデータの読み出し及びパーシングが含まれ得る。抽出することが可能なメタデータのタイプには、限定列挙でないが、交換可能な画像ファイル・フォーマット（ＥＸＩＦ）、国際新聞通信委員会（ＩＰＴＣ）、及び拡張可能なメタデータ・プラットフォーム（ＸＭＰ）が含まれ得る。
【００２２】
メタデータ抽出１１０に加えて、写真画像における形状及びオブジェクトを認識し、識別するよう画像認識が行われる（１２０）。画像認識の実行中に使用される特定の画像認識アルゴリズムは、特定のアプリケーション又は処理の制約に対して利用可能な何れかの適切な画像又はパターン認識アルゴリズムであり得る。画像認識アルゴリズムは、既知のオブジェクトとの、写真内のオブジェクトのマッチングを提供するために、利用可能なデータベースによって制限され得る。一例として、画像認識アルゴリズムには、画像の前処理が関係し得る。前処理は限定列挙でないが、画像のコントラストの調節、グレイスケール及び／又は白黒への変換、クロッピング、サイズ変更、回転、並びにそれらの組み合わせを含み得る。
【００２３】
特定の画像認識アルゴリズムによれば、特定のオブジェクトの検出に使用するために、（限定列挙でないが）色、サイズ、又は形状などの際立った特徴を選択することが可能である。当然、オブジェクトの際立った特性を提供する複数の特徴を使用し得る。画像内のオブジェクトのエッジ（又は境界）を判定するために、エッジ検出（又は境界認識）を行い得る。不要な成分の除去を含む、画素の組に対する動作を行うために、画像認識アルゴリズムにおいてモーフォロジを行うことができる。更に、領域の充填及び／又は雑音除去を行い得る。
【００２４】
画像認識アルゴリズムの一実施例の一部として、１つ又は複数のオブジェクト（及びそれらの関連付けられた特性）が画像において見つけられる／検出されると、１つ又は複数のオブジェクトがそれぞれ、画像において位置特定され、次いで、分類され得る。位置特定されたオブジェクトは、際立った特徴に関する特定の仕様により、位置特定されたオブジェクトを評価することにより、分類し得る（すなわち、特定の形状又はオブジェクトとして識別し得る）。特定の仕様には、数学的計算（又は数学的関係）が含まれ得る。別の例として、画像内の認識可能なオブジェクトを位置特定するかわりに（、又位置特定することに加え）、パターン・マッチングを行い得る。マッチングは、「既知の」（先行して認識又は分類された）オブジェクト及び要素と、画像内の要素及び／又はオブジェクトを比較することによって行い得る。計算及び／又は比較の結果（例えば、値）は、分類に最良のフィットを表すよう正規化し得、より大きい数（例えば、０．９）は、より小さい数（例えば、０．２）の正規化された結果と比べて、特定の形状又はオブジェクトとして正しく分類されている可能性がより高いことを意味している。識別されたオブジェクトに対してラベルを割り当てるために閾値を使用し得る。種々の実施例によれば、画像認識アルゴリズムは、ニューラル・ネットワーク（ＮＮ）及び他の学習アルゴリズムを利用することが可能である。
【００２５】
本出願に記載の特定の実施形態及び実施例は写真に言及し得るが、これは、本出願に記載の実施形態及び実施例を写真に限定するものとして解されるべきでない。例えば、ビデオ信号は、本明細書及び特許請求の範囲記載の特定のシステムによって受信し、本発明の特定の実施例によって記載されたような自動タグ生成処理を経ることが可能である。一実施例では、ビデオ信号の１つ又は複数のビデオ・フレームを受信することが可能であり、ビデオ・フレームが画像及びメタデータを含み得、画像認識及びメタデータ抽出を行うことが可能である。
【００２６】
一実施例では、基本の形状又はオブジェクトが画像内に存在していることを識別するために画像に対して第１パス認識工程を行うことが可能である。基本の形状又はオブジェクトが識別されると、形状又はオブジェクトの更に具体的な識別を得るために第２パス認識工程が行われる。例えば、第１パス認識工程は建物が写真に存在していることを識別し得、第２パス認識工程は特定の建物を識別し得る。一実施例では、建物が写真において存在していることを識別する工程は、画像認識を行うマシン／装置に対して利用可能なパターン又は画像の組と写真との間のパターン・マッチングによって実現することが可能である。特定の実施例では、第１パス認識工程のパターン・マッチングの結果は、更なる認識工程が行われない状態となるのに十分な具体性で形状又はオブジェクトを識別するのに十分であり得る。
【００２７】
特定の実施例では、画像認識処理中に、例えば、写真中の形状又はオブジェクトが何であり得るかについてのヒントを提供することにより、画像認識を容易にするために、抽出されたメタデータを使用することが可能である。第１パス／第２パスの処理の建物の例では、メタデータから抽出された地理情報を使用して特定の建物の識別を容易にすることが可能である。一実施例では、画像認識１２０の実行は、図２に示す画像認識処理を使用して行うことが可能である、図２を参照するに、基本画像認識アルゴリズムを用いて画像内のオブジェクトを識別する（２２１）ことが可能である。前述の画像認識アルゴリズムは、工程２２１における画像認識処理が抽出されたメタデータを使用していないことを示すために「基本」として表され、単純な処理、又は別の態様で限定的な処理を示しているに過ぎないと解されるべきでない。画像認識アルゴリズムは、特定のアプリケーション又は処理の制約に対して利用可能な何れかの適切な画像又はパターン認識アルゴリズムであり得、更に、画像の前処理を伴い得る。オブジェクトが画像から識別されると、データベース（例えば、「識別ＤＢ」）に対してクエリを行うことにより、識別されたオブジェクトの名称又はラベルを得る（２２２）ために、抽出されたメタデータ２１１を使用することが可能である。データベースは、クエリによって設定された制約内でオブジェクトの識別情報を提供する名称及び／又はラベルを含む何れかの適切なデータベースであり得る。識別ＤＢクエリから結果として生じる名称及び／又はラベルは次いで、画像を含むデータベース（例えば、「ピクチャＤＢ」）のクエリを行って、名称及び／又はラベルに関連付けられた画像を見つけるために使用する（２２３）ことが可能である。ピクチャＤＢサーチから結果として生じる画像を次いで、パターン・マッチングを行って（２２４）、画像内のオブジェクトをより具体的に識別するために使用することが可能である。特定の実施例では、画像認識処理を経ている画像内の識別されたオブジェクトに対して、ピクチャＤＢサーチから結果として生じるオブジェクトの画像がどの程度類似しているかについての得点を提供することが可能である。
【００２８】
上記建物の例、及び図２に関して説明した画像認識処理の実施例による画像認識処理を使用して、基本画像認識２２１を使用してオブジェクト「建物」を認識し得、アルゴリズムは、例えば、「建物」、「灰色の建物」、又は「高い建物」を返し得る。抽出されたメタデータ２１１が、写真が撮影された位置の経度及び緯度（〜１００フィート（〜３０メートル）程度の範囲内であり得る）である場合、識別ＤＢ２２２のクエリは、「前述の地理的位置に近い建物全てを見つける」（地理的位置は、抽出されたメタデータによって提供された経度及び緯度を使用して識別される）ということであり得る。次いで、ピクチャＤＢに対して、「前述の特定の建物（特定の建物は、識別ＤＢのクエリからの識別された建物である）毎に既知のピクチャ全てを見つける」旨のクエリを行い得る（２２３）。画像認識処理を経ている画像と、ピクチャＤＢのクエリによって得られた画像とを比較して、特に明らかであるか、又は近いマッチが存在しているか否かを判定するために、パターン・マッチングを次いで、行う（２２４）ことが可能である。
【００２９】
更なる実施例では、複数のオブジェクトが単一の画像において識別されると、互いに対するオブジェクトの相対位置も認識し得る。例えば、認識されたボートが、認識された川の上に存在しているか、又は認識された人が、認識されたプールの中に存在しているということを認識するために、高度な認識工程を行うことが可能である。
【００３０】
図１に戻れば、関連した情報についてデータベースに対してクエリを行う（１３０）うえで使用することにより、写真中の認識／識別されたオブジェクト及び抽出されたメタデータを次いで用いて、写真の更なる情報を取得することが可能である。単語マッチングを行って、クエリからの結果を得ることが可能である。地理的情報、日付／時刻情報、画像内で識別されたオブジェクト、又はそれらの種々の組み合わせを使用して、写真中及び写真の近くで生じている事象、及び写真中のオブジェクトについての関連した情報を得るために種々のデータベースに対してクエリを行う工程を含み得る。クエリを行っているデータベースの結果を受け取り（１４０）、写真のタグとして使用する（１５０）ことが可能である。例えば、西暦２０１１年１１月２４日という抽出された日付、米国内という抽出された位置、及びテーブル上にある、調理した七面鳥という認識されたオブジェクトは、「感謝祭」という更なる情報タグをもたらし得る一方、米国外という抽出された位置は必ずしも、同じ画像に対して、「感謝祭」という更なる情報のタグをもたらすものでない。別の例として、オバマ大統領を認識した画像、及び西暦２００８年の米国大統領選挙という抽出された日付を有する写真は、「大統領選挙」という更なる情報タグをもたらし、又は、時間も一致する場合、更なる情報タグには、「指名受諾演説」が含まれ得る。
【００３１】
図３は、本発明の特定の実施例による自動タグ付け処理を示す。図１に関して説明した処理と同様に、画像３０１及び対応するメタデータ３０２を有する写真が受け取られる。メタデータ３０２から利用可能な地理情報（３１０）及び日時情報（３２０）が抽出される。地理情報及び日時情報が利用可能でない場合、（エンド処理として）ナル結果を返し得る。更に、画像３０１は、既知のオブジェクト（すなわち、画像分類器によって使用されるデータベースにおいて列挙され、かつ／又は定義されているオブジェクト）を求めて走査し、画像内の既知の物理オブジェクトを識別し、抽出する画像分類器３３０に入力される。
【００３２】
画像分類器は、形状及びアイテム（オブジェクト）のデータベースを使用して、画像から、可能な限り多くのデータを抽出する。画像分類器は、種々のオブジェクト、形状、及び／又は特徴（例えば、色）をサーチし、認識することが可能である。オブジェクトには、限定列挙でないが、画像中の顔、人、製品、キャラクタ、動物、植物、表示されたテキスト、及び他の識別できるコンテンツが含まれる。データベースは、認識可能な形状及びアイテム（オブジェクト）に関連付けられたオブジェクト識別子（メタデータ）を含み得る。特定の実施例では、画像分類器の感度により、画像において、オブジェクトの一部分、又は部分的な形状のみが利用可能である場合にもオブジェクトの識別が可能になり得る。画像分類器処理から得られたメタデータは、写真のタグとして使用することが可能である。メタデータは、写真にもう一度書き込まれるか、又は他のやり方で写真と関連付けられ、記憶され得る（３３５）。
【００３３】
抽出されたメタデータ、及び画像分類器処理から得られたメタデータから、更なるタグを、メタデータの組み合わせを利用することによって自動生成することが可能である。例えば、画像は、種々の認識された特徴の識別及び抽出の１つ又は複数のパスを経ることが可能である。種々の認識された特徴の識別及び抽出中に、認識された特徴が正しく認識された確率を表す信頼度値を写真に関連付けられたタグの一部として提供することが可能である。信頼度値は、画像認識アルゴリズムの一部として生成し得る。特定の実施例では、信頼度値は、画像内の特徴／オブジェクトを基本特徴（又は特定の仕様）とマッチングさせた場合に画像認識アルゴリズムによって生成される、（正規化されていることがあり得る）マッチング重みである。例えば、画像内でそれを求めてサーチされているその際立った特性が、ピクチャ全体が青色であるが、青色の異なる色調を有する画像がマッチング・アルゴリズムにおいて使用される場合、生成される信頼度値は、画像間のデルタ、及び使用されているアルゴリズムに依存する。１つの場合では、アルゴリズムがエッジ及び色を認識した場合、結果は９０％のマッチを示し得、別の場合では、アルゴリズムが、エッジのみに関し、色に関しない場合、結果は１００％のマッチを示し得る。
【００３４】
特定の実施例では、信頼度値は、信頼度のレベルを有する表の形式で存在し得る。表はタグ自体の一部として記憶することが可能である。一実施例では、表は属性及び関連付けられた確実性を含み得る。例えば、（プランテンであるかバナナであるか不明である）プランテンの写真があれば、（本発明の実施例による自動タグ生成処理を経た後の）写真は、以下の表１でタグ付けされ得る。
【００３５】
【表１】
2015501982.tif 000003
上記表は例証的な目的で記載しているに過ぎず、形式、編成、又は属性の選択を限定していると解されるべきでない。
【００３６】
上記例の場合では、ユーザがバナナの写真を求めてサーチしている場合、プランテンの写真を表１とともに取得し得る。場合によっては、ユーザは、誤っているとユーザが分かっている表中の属性を除去し、正しいとユーザが分かっている属性の信頼度値（又は確実性）を１００％（又は１）に変更することができることがあり得る。特定の実施例では、修正された表及び写真を画像マッチング・アルゴリズムにおいて使用して、画像認識アルゴリズムがより正確になることを可能にし得る。
【００３７】
図３に戻れば、一実施例では、抽出された地理情報は、それを介して、画像を入力して、認識された（地理又は建築の）ランドマークを識別し、抽出する、そのランドマーク認識パス（３４０）を容易にするために使用される。確信度値は、ランドマーク認識パスから生成されたタグと関連付けることも可能である。ランドマーク認識パスから生成されたタグは、写真画像ファイルにもう一度書き込むか、又は別のやり方で画像と関連付け、記憶することが可能である（３４５）。
【００３８】
更なる実施例では、地理情報及び日時情報の抽出されたメタデータを使用することにより、画像が捕捉された時刻／位置における気象／温度情報を外挿するために気象データベースにアクセスする（３５０）。気象／温度情報を、写真にもう一度書き込み、又は別のやり方で写真と関連付け、記憶する（３５５）ことが可能である。各処理から生成された自動タグは、同じ、又は別個の記憶場所に記憶し得る。
【００３９】
複数のデータベースを自動タグ生成システムによって使用することが可能である。タグ生成システムによって使用されるデータベースは、局所データベースであるか、又は他のシステムに関連付けられたデータベースであり得る。一実施例では、（限定列挙でないが）気象、地理ランドマーク、及び建築ランドマークなどの特定の１つ又は複数の状態が写真中に存在していると判定された場合、タグとして使用するためにオブジェクト識別子又はキーワードを有するデータベースを含め得る。前述のデータベースは、画像分類器によってアクセスされ、かつ／又は使用されるデータベースと別個であるか、又は上記データベースの一部であり得る。本自動タグ生成処理の特定の実施例についてアクセスされ、使用されるデータベースは、画像とタグとの間のマッチングを可能にする、エンジンのサーチに利用可能な何れかの適切なデータベースを含み得る。
【００４０】
写真に（メタデータとしての）地理識別情報を付加する処理は、「ジオタギング」として表すことが可能である。一般に、ジオタグは、写真が捕捉された位置の緯度及び経度の座標などの地理的位置情報を含む。自動ジオタギングは一般に、局所に画像捕捉装置上に記憶され（、かつ／又は、遠隔データベースにアップロードされ）る場合、ＧＰＳ座標が、捕捉された画像と関連付けられるように、写真の画像を捕捉する場合に、地理測位システム（ＧＰＳ）を有する装置（例えば、ディジタル・スチル・カメラ、ディジタル・ビデオ・カメラ、画像センサを備えたモバイル装置）を使用する工程を表す。他の場合には、（ＣＩＤとしても表され、特定の携帯電話事業者の局又はセクタの携帯電話ネットワークの識別番号である）ＣｅｌｌＩＤは位置を示すために使用し得る。本発明の特定の実施例によれば、地理ランドマーク及び建築ランドマークに対する専用の自動ジオタギングを実現することが可能である。
【００４１】
第１の例として、ディジタル写真の日時及び位置の情報は、日時及び位置コードを使用してサーチされるデータベース及びディジタル写真のメタデータから抽出することが可能である。データベースは気象データベースであり得、ディジタル写真から抽出された位置及び日時における気象に対するクエリにより、その特定の位置及び時間に対する気象の関する情報（又はコード）が返される。例えば、クエリの結果により、「概ね晴天」、「晴天」、「快晴」、「晴れ」、「時々曇り」、「曇り」、「概ね曇り」、「雨」、「にわか雨」、「パラパラ雨」、「雷雨」などのタグとして使用することが可能な記述及び／又は気象コードが提供され得る。当然、サーチされているデータベースに応じて、他の気象記述が、利用可能であるか、又は使用することができる。例えば、気象コードは、「寒い」、「暑い」、「乾燥している」、及び「湿気が多い」などの他の気象関連の記述子を含み得る。季節情報も含めることが可能である。
【００４２】
場合によっては、サーチしている気象データベースは、クエリにおいて使用している厳密な位置及び時間に対する気象情報を記憶していないことがあり得る。前述の場合の一実施例では、最良のマッチのサーチを行うことが可能であり、（信頼度値とともに）気象情報を、位置及び日時に対する最良のマッチに対して提供することが可能である。例えば、気象データベースは、都市に応じて毎時間更新される気象情報を含み得る。前述の気象データベースのクエリにより、次いで、サーチされている特定の時間に最も近い時間の、その中に位置が収まるか、又はそれに最も近いその都市に（例えば、位置は、指定された都市境界外にあり得る）対する気象情報が返され得る。
【００４３】
気象データベースからの気象情報により、写真がタグ付けされると、「雪が降っている時に撮った写真を見つける」というクエリは、「雪」という自動生成気象タグを有する写真を含むことになる。
【００４４】
上述のように、写真に関連付けられたメタデータ（及び他のタグ）の使用に加えて、特徴情報を抽出するために写真画像に対して画像認識が行われ、認識されたオブジェクト又は特徴に関連付けられたタグが写真に自動的に割り当てられる。
【００４５】
一例として、画像（又はパターン）の認識を使用することにより、際立ったアンビエント特徴を写真から抽出することが可能である。際立った色を識別し、タグとして使用することが可能である。画像認識アルゴリズムは、空が写真中で際立った特徴であるか否か、及び写真中の色又は他の重要部分が何かを求めてサーチすることが可能である。例えば、画像認識は、「青空」あるいは「赤い空」あるいは「緑の草」を自動識別することが可能であり、写真には、前述の語でタグ付けすることが可能である。
【００４６】
第２の例として、画像認識を使用して、既知の物理オブジェクトを自動抽出することが可能であり、前述の既知の物理オブジェクトが存在している写真は、既知の物理オブジェクトの名称で自動タグ付けされる。特定の実施例では、画像認識を使用して、できる限り多くのオブジェクトを見つけ、適切に写真に自動タグ付けすることが可能である。画像認識アルゴリズムにより、野球のバット、あるいはフットボール用のボール、あるいはゴルフ・クラブ、あるいは犬が検出された場合、前述の語を有するタグをタグとして写真に自動的に付加することが可能である。更に、オブジェクトは、顕著性により、自動的にランク付けすることが可能である。画像の大半が椅子のものであると判定されたが、テーブルの上に載っている場合、（及び、テーブルのわずかな部分を画像中で視ることができる小さな野球ボールも認識されている場合、写真には「椅子」、「野球ボール」及び「テーブル」とタグ付けすることが可能である。更なる実施例では、主な対象が椅子である（か、又は椅子である可能性が高い）という表示子を有する余分なタグを含めることが可能である。
【００４７】
画像認識可能なオブジェクトの特定のデータベースに応じて、タグの細粒度は漸進的に変化し得る。例えば、データベースでは、「自動車」から「ＢＭＷの自動車」から「ＢＭＷ  Ｚ４の自動車」などの、認識可能なオブジェクトの細粒度を増加させ得る。
【００４８】
第３の例として、既知の地理ランドマークを判定することが可能であり、画像認識及びジオタギングの組み合わせを使用することにより、その情報を写真から抽出することが可能である。写真画像自体からのデータを画像認識を介して抽出することが可能であり、画像認識された形状又はオブジェクトを、写真のメタデータ又はジオタグから抽出された位置情報に対応する位置にあるか、又は上記位置近くにある既知の地理ランドマークと比較することが可能である。これは、地理ランドマーク情報を含むデータベースに対してクエリを行うことによって実現することが可能である。例えば、データベースは、既知の川、湖、山、及び谷の地理的位置及び名称を有する地図と関連付けることが可能である。地理ランドマークが写真にあり、地理ランドマークの名称が判定されたと認識されると、写真は、地理ランドマークの名称で自動タグ付けすることが可能である。
【００４９】
例えば、写真画像中に水体が存在していることは、画像認識を使用して認識し得る。写真画像が捕捉された位置が特定の既知の水体上又は上記水体近くにあることを示す写真に関連付けられたジオタグと、水が写真中にあるという認識とを組み合わせることにより、既知の水体の名称の写真に対してタグが自動生成され得る。例えば、テームズ川沿いの、イングランドにある位置を示すジオタグ、及び大きな水体を有する写真には、「テームズ川」及び「川」で自動タグ付けすることが可能である。図４は前述の一処理を示す。図４を参照するに、川の向こうから昇る日の出を示す写真画像４０１の画像認識により、川４０２が画像４０１中に存在している旨が判定され得る。写真画像中に川が存在している旨が判定されると、この情報を次いで、画像から抽出し、タグとして付け、かつ／又は、更なるメタデータの生成に使用することが可能である。例えば、「川」４０２のより具体的な識別情報は、写真の対応するメタデータ４０３を使用して実現することが可能である。メタデータ４０３は、位置メタデータ及び日時メタデータなどの種々の情報を含み得る。
【００５０】
地理ランドマークのタグの生成の場合、画像認識された識別オブジェクト（４０２）、及び（メタデータ４０３からの）位置メタデータの組み合わせを使用して、更なるメタデータを生成する。ここでは、メタデータ４０３は、ミシシッピ川近くの位置（図示せず）を示し、画像認識されたオブジェクトは川である。これにより、写真に対するタグとして使用することが可能な識別子「ミシシッピ川」が生成される。
【００５１】
特定の地理ランドマークに対する名称を提供する地理情報が存在しない場合などの特定の実施例では、川であるとして認識された形状又はオブジェクトは「川」でタグ付けすることが可能である。同様に、海岸であるとして認識された形状又はオブジェクトは、「海岸」又は「浜」でタグ付けすることが可能である。
【００５２】
第４の例として、画像認識及びジオタギングの組み合わせを使用することにより、既知の建築ランドマークも写真から判定することが可能である。写真画像自体からのデータを画像認識を介して抽出することが可能であり、画像認識された形状又はオブジェクトを、写真のメタデータ又はジオタグから抽出された位置情報に対応する位置にあるか、又は上記位置近くにある既知の建築ランドマークと比較することが可能である。これは、建築ランドマーク情報を含むデータベースに対してクエリを行うことによって実現することが可能である。建築ランドマークが写真にあり、建築ランドマークの名称が判定されたと認識されると、写真は、建築ランドマークの名称で自動タグ付けすることが可能である。エッフェル塔、万里の長城や、ギザの大ピラミッドを含む建築ランドマークは、それらの際立った形状及び／又は特徴によって認識することが可能である。写真中に特定の構造が存在していることは画像認識を使用して認識することができ、語でタグ付けされた写真は、その構造又は特徴と関連付けることができる。データベースのサーチによって判定された特定の構造の名称は、更なるタグとなり得る。
【００５３】
例えば、ギザのピラミッド近くで写真が撮られたことを写真のジオタギングが示しており、ピラミッドが写真中に存在していると画像認識によって判定された場合、写真は「ピラミッド」に加えて「ギザのピラミッド」（又は「ギザの大ピラミッド」）でタグ付けすることが可能である。図５は前述の一処理を示す。図５を参照するに、エッフェル塔の根元の手前にいる人を示している写真画像５０１の画像認識により、建物構造５０２が画像５０１中に存在していると判定され得る。写真画像中に建物構造が存在していると判定することにより、この情報を次いで、画像から抽出し、タグとして付け、かつ／又は更なるメタデータの生成において使用することが可能である。（例えば、写真画像中に建物構造が存在している旨の）前述の情報が抽出される特定の実施例では、写真は、「建物構造」という画像認識されたオブジェクトに関連付けられた１つ又は複数の語でタグ付けすることが可能である。「建物構造」のより具体的な識別情報は、写真の対応するメタデータ５０３を使用して実現することが可能である。メタデータ５０３は、位置メタデータ及び日時メタデータなどの種々の情報を含み得る。特定の実施例では、写真のメタデータ５０３は更に、カメラ特有のメタデータ、及び何れかのユーザ生成された、又は他の自動生成されたタグを含み得る。写真に関連付けられたメタデータ５０３の前述のリストは、写真に関連付けられた特定の情報を限定又は要求するものとして解されるべきでなく、特定の共通メタデータを例証することを意図したに過ぎない。
【００５４】
建築ランドマークのタグの生成の場合、画像認識された識別オブジェクト（５０２）、及び（メタデータ５０３からの）位置メタデータの組み合わせを使用して、更なるメタデータを生成する。ここでは、画像認識されたオブジェクトは建物構造であること、及びエッフェル塔近くの位置（図示せず）をメタデータ５０３は示し、これにより、写真に対するタグとして使用することが可能な識別子「エッフェル塔」が生成される。
【００５５】
認識可能なオブジェクトのタグを自動生成するために、同様な処理を行うことが可能である。例えば、ハイウェイが写真中で認識可能な場合、写真を「ハイウェイ」としてタグ付けすることが可能である。既知の美術品が認識された場合、写真は美術品の名称でタグ付けすることが可能である。例えば、ロダンの彫刻品である「考える人」は、「考える人」及び「ロダン」でタグ付けすることが可能である。既知のオブジェクト・データベースは、画像認識プログラムにアクセス可能であり得る一データベース又は複数のデータベースであり得る。
【００５６】
一実施例では、写真が撮られた位置でタグ付けされたか、又は上記位置に関連付けられた画像のデータベースにアクセスした後、画像認識処理を行い、比較のための更なるデータセットを可能にし得る。
【００５７】
動画像（例えば、ビデオ）が関係する例では、指定されたフレームからの、画像認識され、抽出されたデータに応じて、（オーディオ及びビデオ成分を有する）ライブ・ビデオ・ストリームをインポートし、自動タグ付けすることが可能である。背景音も、認識アルゴリズムを経て、タグとして音の特徴をビデオに付けさせ得る。一部の例として、音声認識及び声調認識、音楽認識、並びに音認識（例えば、車のホーン、時計台の鐘、拍手）を行うことが可能である。ビデオ上の音声の局面を識別することにより、ビデオは、「怒っている」などの感情ベースの語で自動タグ付けすることが可能である。
【００５８】
本明細書及び特許請求の範囲記載の例に加えて、いくつかの手法を使用して、画像内のオブジェクトを検出し、データベースをサーチして、検出されたオブジェクトに関する情報を見つけ、それを次いで、タグとして画像と関連付けることが可能である。
【００５９】
上記例は、画像に関連付けられた１つ又は複数のタイプのタグの自動生成に関して本明細書及び特許請求の範囲記載の手法の使用又は機能の範囲についての何れかの限定を示唆することを意図するものでない。
【００６０】
特定の実施例では、自動タグ付けが行われる環境には、ユーザ装置、及びネットワークを介してユーザ装置と通信するタグ生成器提供者が含まれる。ネットワークは、限定列挙でないが、セルラー（例えば、携帯電話）ネットワーク、インターネット、ローカル・エリア・ネットワーク（ＬＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、ワイファイ（ＷｉＦｉ）ネットワーク、又はそれらの組み合わせであり得る。ユーザ装置は、限定列挙でないが、写真又はビデオを記憶し、かつ／又は表示し、ネットワークを介して（写真又はビデオを含む）コンテンツを送出し、上記コンテンツにアクセスするコンピュータ、携帯電話機、又は他の装置を含み得る。タグ生成器提供者は、ユーザ装置からコンテンツを受信し、自動タグ生成を行うよう構成される。特定の実施例では、タグ生成器提供者は、写真共有提供者などのファイル共有提供者と通信し、又は、上記ファイル共有提供者などの一部である。タグ生成器提供者は、プログラム・モジュールを提供し、実行する構成部分を含み得る。（局所構成部分又は分散構成部分であり得る）前述の構成部分は、限定列挙でないが、プロセッサ（例えば、中央処理装置（ＣＰＵ））及びメモリを含み得る。
【００６１】
一実施例では、自動タグ付けは、（プログラム・モジュールを行うことができる、プロセッサ及びメモリなどの構成部分を含む）ユーザ装置の一部として直接、プログラム・モジュールを介して実現することが可能である。前述の実施例のうちの特定の実施例では、タグ生成器提供者は使用されない。その代わりに、ユーザ装置は、ネットワークを介してデータベース提供者（又はデータベースを記憶させた他のユーザ若しくは提供者の装置）と通信し、又は、ユーザ装置上に記憶され、又は、ユーザ装置に接続されたデータベースにアクセスする。本明細書及び特許請求の範囲記載の特定の手法は、１つ又は複数のコンピュータ若しくは他の装置によって実行される、プログラム・モジュールなどのコンピュータ実行可能な命令の一般的なコンテキストで説明し得る。一般に、プログラム・モジュールは、特定のタスクを行い、又は特定の抽象データ・タイプを実現するルーチン、プログラム、オブジェクト、構成部分、及びデータ構造を含む。種々の実施例では、プログラム・モジュールの機能は、コンピュータ・システム又は環境にわたり、必要に応じて、組み合わせ、又は分散させ得る。
【００６２】
本明細書及び特許請求の範囲記載の手法が、他の汎用及び専用のコンピュータ環境及び構成への使用に適していることがあり得るということを当業者は認識するであろう。コンピュータ・システム、環境、及び／又は構成の例には、限定列挙でないが、パーソナル・コンピュータ、サーバ・コンピュータ、ハンドヘルド若しくはラップトップ装置、マルチプロセッサ・システム、マイクロプロセッサベースのシステム、プログラマブル家電製品、及び上記システム又は装置の何れかを含む分散コンピュータ環境が含まれる。
【００６３】
コンピュータ読み取り可能な媒体には、揮発性メモリ及び不揮発性メモリ、磁気ベースの構造／装置、並びに光ベースの構造／装置の形態における、コンピュータ読み取り可能な命令、データ構造、プログラム・モジュール、及びコンピュータ・システム／環境によって使用される他のデータなどの情報の記憶のために使用することが可能な、着脱可能な構造／装置及び着脱可能でない構造／装置が含まれ、ユーザ装置によってアクセスすることが可能な何れかの利用可能な媒体であり得るということが当業者によって認識されるはずである。コンピュータ読み取り可能な媒体は、何れかの伝搬信号を含むものと解され、又は解釈されるべきでない。
【００６４】
「一実施例」、「実施例」、「例示的な実施例」等に対する本明細書における言及は、上記実施例に関して説明した特定の構成、構造、又は特性が本発明の少なくとも１つの実施例に含まれているということを意味している。本明細書中の種々の箇所において前述の句が存在しているということは、必ずしも全て同じ実施例を表している訳でない。更に、本明細書及び特許請求の範囲記載の何れかの発明又はその実施例の何れかの構成要素又は限定は、本明細書及び特許請求の範囲記載の何れかの他の発明又はその実施例、又は、何れか及び／又は全ての他の構成要素若しくは限定と（個々に、又は何れかの組み合わせで）組み合わせることが可能であり、前述の組み合わせが全て、それに対する限定なしで本発明の範囲内で想定される。
【００６５】
本明細書及び特許請求の範囲記載の実施例及び実現形態は、例証的な目的のために過ぎず、それに照らした種々の修正又は変更は、当業者に対して示唆され、本出願の趣旨及び範囲内に含まれるものとする。
【図１】
2015501982.tif 000004
【図２】
2015501982.tif 000005
【図３】
2015501982.tif 000006
【図４】
2015501982.tif 000007
【図５】
2015501982.tif 000008
【国際調査報告】
2015501982.tif 000009
2015501982.tif 000010