(57)【要約】  デジタル画像により取得されたオブジェクトは、デジタル画像が取得される場所を判定し、判定された場所に関連付けられた複数の候補オブジェクトを検索し、デジタル画像により取得されたオブジェクトを、このオブジェクトを識別するために、検索された複数の候補オブジェクトのそれぞれと比較することにより、自動的に識別される。候補画像のうちの１つは、選択されて、取得された画像のコラージュ及びオブジェクトのより完全な画像を作成するために用いられる。
2010509668.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像により取得されたオブジェクトを識別する方法であって、
デジタル画像が取得される場所を判定するステップと、
判定された前記場所に関連付けられた複数の候補オブジェクトを検索するステップと、
前記デジタル画像により取得されたオブジェクトを、前記オブジェクトを識別するために、検索された前記複数の候補オブジェクトのそれぞれと比較するステップとを有する、方法。
【請求項２】
前記複数の候補オブジェクトを検索するステップは、前記複数の候補オブジェクトを取得する複数の候補デジタル画像を検索するステップを有し、
前記デジタル画像により取得されたオブジェクトを比較するステップは、前記デジタル画像を、検索された前記複数の候補デジタル画像と比較するステップを有する、請求項１に記載の方法。
【請求項３】
識別された前記オブジェクトに関連付けられたデータを検索するステップと、
前記データを前記デジタル画像に関連付けるステップとを更に有する、請求項１に記載の方法。
【請求項４】
前記デジタル画像により取得されたオブジェクトを比較するときに追加の情報が考慮される、請求項１に記載の方法。
【請求項５】
前記追加の情報は、前記デジタル画像が取得されたときの天気、時間及び日付に関連する情報を含む、請求項４に記載の方法。
【請求項６】
前記複数の候補オブジェクトがデータベースに格納され、識別された前記オブジェクトが前記データベースに追加される、請求項１に記載の方法。
【請求項７】
前記デジタル画像中の顔を検出するステップを更に有し、
前記デジタル画像により取得されたオブジェクトを比較するステップは、検出された前記顔を前記デジタル画像から除去するステップを有する、請求項１に記載の方法。
【請求項８】
前記場所は、アドレス又は正確な地理的な場所を有する、請求項１に記載の方法。
【請求項９】
請求項１〜８のうちいずれか一項に記載の方法を実行するための複数のプログラムコード部分を有する、コンピュータプログラム。
【請求項１０】
デジタル画像により取得されたオブジェクトを識別する装置であって、
デジタル画像が取得される場所を判定する手段と、
判定された前記場所に関連付けられた複数の候補オブジェクトを検索する手段と、
前記デジタル画像により取得されたオブジェクトを、前記オブジェクトを識別するために、検索された前記複数の候補オブジェクトのそれぞれと比較するコンパレータとを有する、装置。
【請求項１１】
前記複数の候補オブジェクトを格納する格納手段を更に有する、請求項１０に記載の装置。
【請求項１２】
識別されたオブジェクトで前記格納手段を更新する手段を更に有する、請求項１１に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像により取得されたオブジェクトを識別する方法及び装置に関する。
【背景技術】
【０００２】
既存の画像管理ソリューションの主要な欠点は、デジタル画像の自動又は半自動の注釈付け（annotation）を可能にするツールの不足に関係付けられる。日常取得されたデジタル画像の量のほぼ指数的な増加によれば、高度なソリューションは、これらの画像を適切に管理して注釈付けし、同時に、オンラインの写真管理ソリューションの増加した人気を利用するために必要とされる。
【０００３】
例えば、画像が取得された場所が、画像に関する記述的データを検索するために用いられる米国特許出願公開第２００２／００７１６７７号明細書のような多くの管理ソリューションが存在する。しかしながら、このシステムは、１つより多くのオブジェクトがその場所にある場合には、場所だけから正確に画像の対象を識別することはできない。国際公開第０３／０５２５０８号パンフレットは、場所データをタグとして用いて画像に自動的に注釈／タグ付けをし、画像により取得されたオブジェクトを認識するための画像アナライザも含むシステムの一例である。斯様な画像アナライザは、多くの場合、複雑であり、画像の処理が遅くなる。
【０００４】
他の問題は、ユーザが前景に小さなオブジェクト、例えば１又はそれ以上の人を、背景中により大きなオブジェクト、例えばビルを有する画像を構成するときである。多くの場合、背景中のオブジェクトは、取得デバイスにより可能とされる範囲又は制限により、単一の画像中に取得されるには大きすぎるものであり、そのような場合、ユーザがシーンのいくつかの画像を取得し、後に家で、コンピュータ上でコラージュ（collage）に一緒にステッチ（stitch）する。
【０００５】
PTGui及びPhotoStitch等の既知のソフトウェアツールは、コラージュの作成についてユーザへの補助を提供する。一般的に、これらは以下のように動作する。第１に、ユーザは、興味のある複数の画像を選択する。第２に、ユーザは、ツールを用いて画像を配置する。第３に、ツールは、２つの隣接画像毎のオーバーラップ領域を識別する。第４に、ツールは、流し撮り（panning）、拡大縮小（scaling）、回転、輝度／コントラストの調節等によりオーバーラップ領域を滑らかにする。最後に、ツールは、ステッチされた画像からコラージュ画像を切り取る。
【０００６】
しかしながら、斯様なツールにより引き起こされた問題は、隣接画像が、シフトされたり取得されたりすることが全くないような不十分なオーバーラップ領域を持つときに、ツールに画像を自動的に配列させることは難しく、ユーザは、多くの場合、オーバーラップ領域を手動で規定することを求められ、これは、エラーを起こしやすい。更に、ステッチのために用いられた画像は、異なるズーム設定により得られ、画像を取得している間の奥行き視野（depth-of-view）の差は、画像をステッチしている間に改善されることを困難にする。更に、広角度レンズを用いて得られた画像は、遠近法における歪をもたらし、これも、ステッチ中に訂正されることが非常に困難である。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、コラージュを作成するために、デジタル画像の自動アノテーションのための、及び、画像をステッチするための場所データに基づいて、デジタル画像により取得されたオブジェクトを自動的及び正確に識別するための簡素で速いシステムを提供しようとする。
【課題を解決するための手段】
【０００８】
これは、デジタル画像により取得されたオブジェクトを識別する方法であって、デジタル画像が取得される場所を判定するステップと、判定された場所に関連付けられた複数の候補オブジェクトを検索するステップと、オブジェクトを識別するために、前記デジタル画像により取得された前記オブジェクトと検索された前記複数の候補オブジェクトのそれぞれとを比較するステップとを有する方法による本発明の一態様により達成される。
【０００９】
これは、デジタル画像により取得されたオブジェクトを識別する装置であって、デジタル画像が取得される場所を判定する手段と、判定された場所に関連付けられた複数の候補オブジェクトを検索する手段と、オブジェクトを識別するために、前記デジタル画像により取得された前記オブジェクトと検索された前記複数の候補オブジェクトのそれぞれとを比較するコンパレータとを有する装置による本発明の他の態様により達成される。
【００１０】
従って、簡素化システムは、デジタル画像により取得されたオブジェクトを識別するために用いられ、画像が取得されるときに決定された場所が、候補オブジェクトをその場所に関連付けられたものに限定するために用いられ、これらの選択された候補オブジェクトとの比較を行い、処理を正確で速く行うようにする。
【００１１】
比較は、判定された場所に関連付けられたオブジェクトを含むデジタル画像の比較により簡単に達成され得る。一旦オブジェクトが識別されると、オブジェクトに関連付けられた追加のメタデータは、異なるソースから検索されて、画像に添付され得る。
【００１２】
天気、時間、日付等の他の情報は、画像が取得されるときに収集されてもよく、オブジェクトの識別の精度を改善するために、オブジェクトを比較するときに考慮されてもよい。
【００１３】
更に、精度を改善するために、取得画像は、候補画像が選択された画像のデータベースに追加されてもよい。
【００１４】
場所は、ＧＰＳにより、又は、一体カメラを持つ携帯電話の場合におけるトランシーバ若しくは基地局を伴う三角測量により判定されてもよい。
【００１５】
候補画像は、識別されたオブジェクトを取得するために選択され、オブジェクトの特徴が、コラージュを作成するために、候補画像とデジタル画像とをステッチするために合わせられ得る。
【００１６】
本発明のより完全な理解のために、基準が、添付図面と併用された以下の説明で作られる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態による装置の簡素化された概略図である。
【図２】本発明の実施形態による候補オブジェクトの選択のステップの一例である。
【図３】本発明の実施形態による識別子上の追加データを伴う補完メタデータの一例である。
【図４】識別されたオブジェクトがコラージュを作成するために用いられる本発明の他の実施形態を示す。
【図５】識別されたオブジェクトがコラージュを作成するために用いられる本発明の他の実施形態を示す。
【図６ａ】識別されたオブジェクトがコラージュを作成するために用いられる本発明の他の実施形態を示す。
【図６ｂ】識別されたオブジェクトがコラージュを作成するために用いられる本発明の他の実施形態を示す。
【図６ｃ】識別されたオブジェクトがコラージュを作成するために用いられる本発明の他の実施形態を示す。
【図７ａ】間接的なサーバ上の代わりに画像取得デバイス上のコラージュの作成を示す。
【図７ｂ】間接的なサーバ上の代わりに画像取得デバイス上のコラージュの作成を示す。
【図７ｃ】間接的なサーバ上の代わりに画像取得デバイス上のコラージュの作成を示す。
【図８ａ】本発明の第２実施形態によるコラージュを作成するステップを示す。
【図８ｂ】本発明の第２実施形態によるコラージュを作成するステップを示す。
【図８ｃ】本発明の第２実施形態によるコラージュを作成するステップを示す。
【図８ｄ】本発明の第２実施形態によるコラージュを作成するステップを示す。
【発明を実施するための形態】
【００１８】
図１を参照すると、装置は、サーバ１０１を有している。サーバ１０１は、第１、第２及び第３の入力端子１０３、１０５、１０７を有している。第１の入力端子１０３は、インタフェース１１１を介して候補データベース１０９に接続されている。候補データベース１０９の出力は、オブジェクト識別ユニット１１３に接続されている。オブジェクト識別ユニット１１３は、第２の入力端子１０５にも接続されており、検索ユニット１１５への出力を供給する。検索ユニット１１５の出力は、データベースエディタ１１７に接続されている。データベースエディタ１１７は、第３の入力端子１０７に接続されている。データベースエディタ１１７の出力は、画像データベース１１９に接続されている。データベースマネージャ１２１は、画像データベース１１９に接続されている。画像データベース１１９は、複数のユーザ特定領域１２３＿１、１２３＿２、１２３＿３を有している。
【００１９】
装置の動作は、図２及び３を参照して示されるだろう。
【００２０】
デジタル画像が取得される。画像取得デバイスは、携帯電話機と一体化されるカメラであってもよい。画像が取得される際に、場所、時間及び日付等の情報が収集され、画像にメタデータとして添付される。場所は、ＧＰＳ、又は複数の基地局による三角測量等の良く知られた技術により判定され得る。場所のメタデータが第１の入力端子１０３に置かれ、取得した画像が第２の入力端子１０５に置かれ、画像及びこれに関連付けられたメタデータ（場所を含む）が第３の入力端子１０７に置かれる。
【００２１】
取得した画像の場所のメタデータは、インタフェース１１１を介して候補データベース１０９に入力される。候補データベース１０９は、候補オブジェクトの複数の画像及びこれらに関連付けられた場所データの蓄積を有する。候補データベース１０９は、多くの代替手法で組織化され得る。一例において、画像は、既知の場所、例えば、第１のレベルでは国、第２のレベルでは都市、第３のレベルでは道路、及び、第４のレベルではビル／オブジェクトにより階層的に格納される。この組織化は、例えば、画像にメタデータとして添付された場所情報が粗い場合に特に役立ち得る（例えば、画像が得られた道路、又は、都市若しくは地域さえもの位置特定を可能にする）。代わりに、正確な地理的な場所、即ち、データベース中の全ての認識されたオブジェクトの地理的な場所のリストが維持され得る。この組織化は、場所の情報が正確な場合に特に役立ち、それ故、検索スペース、即ち、認識が実行されるだろう候補オブジェクトの数を低減するだろう。
【００２２】
図２に示すように、パリの町におけるニューヨーク大通りで取得された画像に関する複数の候補オブジェクトが、候補データベース１０９から検索される。この道路から、エッフェル塔及びシャイヨ宮の双方が見えるので、双方のオブジェクトの画像は、可能な候補としてオブジェクト識別ユニット１１３に供給される。
【００２３】
オブジェクト識別ユニット１１３は、候補データベース１０９から検索された候補オブジェクトの画像を、第２の入力端子１０５に置かれた現在の画像と比較する。これは、例えば、R. Pope, Model-based object recognition, a survey of recent research, Technical Report 94-04, Department of Computer Science, The University of British Columbia, January 1994で開示されたような、如何なる既知のオブジェクト認識アルゴリズムでも実行され得る。オブジェクト識別ユニット１１３は、識別されたオブジェクトに関連付けられた追加データを検索するための他のソースにアクセスするために、検索ユニット１１５で用いられるオブジェクトの識別情報を出力する。追加データ（高いレベルのメタデータ）は、代わりに、ユーザにより手動で入力されてもよい。
【００２４】
検索ユニット１１５によりアクセスされた異なるソースは、例えば、エッフェル塔の認識画像がウィキペディア（Wikipedia）における入力"エッフェル塔"からの検索をトリガし得るウィキペディア；例えば、レストランの認識画像がレストランのユーザの評価、コメント及び価格情報の検索をトリガし得るヤフートラベル（Yahoo! Travel）；又は、例えば、ミュージアムの公式ウェブサイトがそのミュージアムに関する情報（例えば、現在の展示品、営業時間等）の検索をトリガし得る公式なオブジェクトウェブサイト等のインターネットソースを含んでもよい。これは、他のユーザにより手動で作成された既存のアノテーションが検索されて画像のメタデータに添付され得る協調的な注釈のようなソースを含み得る。好ましいユーザのグループは、これらの注釈がそのグループのユーザからのみ検索されるように規定され得る（例えば、同じ旅行に参加したユーザ、友人又は家族等）。更に、取得場所、取得時間での天気についての天気情報が、（例として）インターネット天気サービスから自動的に検索され得る。
【００２５】
図３は、斯様な高いレベルのメタデータが検索されて、レストランの識別画像に対して組み合わせられる手順を示している。この場合において、ヤフートラベルは、レストランの説明及び評価を検索するために用いられ、並びに、天気インターネットサービスが天気状況を判定するために用いられ、これらは、前のユーザにより入力された注釈及びコメントと組み合わせられて、画像に添付されるだろう。
【００２６】
検索された高いレベルのメタデータは、データベースエディタ１１７に出力される。取得画像、並びに、場所、日付及び時間等のメタデータは、検索ユニット１１５により検索された高いレベルのメタデータ上にデータベースエディタ１１７により置かれて、画像データベース１１９のユーザ特定格納領域１２３＿１に追加される。格納された画像は、候補オブジェクトとしての使用のために候補データベース１０９にも追加され得る。取得画像は、データベースマネージャ１２１を介してリクエストされると、画像データベース１１９から探索及び検索され得る。
【００２７】
本発明の実施形態の装置及び方法のパフォーマンスは、より正確な（画像が取得された）場所情報がより正確なオブジェクトの認識をするので、正確な場所情報を用いることにより更に改善される。これは、より正確な場所であれば、候補オブジェクトのより限定されたセットでオブジェクトの認識が実行されるからである。例えば、場所が道路レベルで正確に供給される場合には、認識は、画像と、同じ道路に配置されたオブジェクト（例えば、ビル）に関するデータベースのサブセットとの間で行うだろう。
【００２８】
時間情報は、その日付の異なる時間でのオブジェクトを示すために用いられ得る。例えば、ビルは、（例えば、光がビルの表面にライトアップされている場合に）日中又は夜で異なって見えるだろう。同じオブジェクトのいくつかのインスタンスがその日付の異なる時間のデータベースにおいて存在する場合に、オブジェクトの識別のための候補は、画像が取得されたときの時間に従って選ばれ得る。
【００２９】
日付情報が用いられ得る。オブジェクトは、その年のその時間に応じて異なる外観を持ち得る。例えば、ビルは、クリスマス若しくは他の行事の間、特別な装飾を持ち得るか、又は、冬の間、雪に覆われ得る。この場合も、同じオブジェクトの異なるインスタンスが、その年に渡る外観に依存してオブジェクトの異なる視界を反映しているデータベース中に存在する場合には、これは、オブジェクトの識別のための候補の選択を改善することを補助し得る。
【００３０】
上述したように、天気情報は、自動的に検索されて、メタデータとして写真に添付され得る。この情報は、時間情報がオブジェクトの認識を改善するのと同一の手法でオブジェクトの認識を改善することを補助し得る。特定のオブジェクトの異なるインスタンスは、例えば、天気が晴れであるか曇りであるかに応じてデータベース中に存在し得る。
【００３１】
更に、無事に識別されたオブジェクトが、候補データベース１０９に追加されてもよい。これは、幾人かのユーザからの画像が候補データベース１０９にアップロードされた後に、徐々にオブジェクト識別手順の質を改善することを補助するだろう。これは、同一のオブジェクトのより多くのインスタンスが存在すれば、オブジェクト認識に対する候補オブジェクトのセットは大きくなるからである。また、これは、徐々にオブジェクトが受ける変化に対処することを補助するだろう（例えば、ビルの一部が、改築中であるか若しくは既に改築されているか、塗装されているか、又は、再装飾されているかであってもよい）。間違って分類された（又はユーザにより間違って識別された）オブジェクトは、オブジェクトの十分な例がデータベース中に存在する場合には異常値と見なされて識別手順から除外されるので、原則として、認識率を低下させないだろう。
【００３２】
顔検出は、大きな顔を持つ画像を除外するために用いられ得る。画像中の顔の存在及び場所を判定した後、この情報は、オブジェクトの大部分を顔がふさぐこれらの画像が、オブジェクト識別手順に加わって候補データベース１０９に格納されることを防止するために用いられ得る。斯様な画像は、オブジェクトの識別に対する候補としては選ばれないだろう。
【００３３】
上記オブジェクト識別技術は、コラージュを作成するために画像をステッチすることに用いられ、より完全な画像を供給することができる。
【００３４】
図４に示すように、ユーザは、コラージュのための開始画像として画像４０１を選択する。画像は、例えば、図１のサーバ１０１に送信される。上述のように、オブジェクト認識は、画像中のオブジェクトを識別するために実行される。そして、オブジェクトの特徴点及び正確なディメンションを含む、識別されたオブジェクトの参照画像とその関連付けられたメタデータが検索されて、画像取得デバイスに戻される。
【００３５】
画像取得デバイス上では、顔検出が、関心のある人（person-of-interest）の位置を判定するために実行される。そして、未だ取得されていなかったオブジェクトの領域が判定される。
【００３６】
不足している領域をカバーするために取得デバイスが向けられなければならない方向が推定される。取得される必要がある各画像に関して、取得デバイスのディスプレイの境界での視覚補助が、ユーザが取得デバイスを向けるのを補助するために提供される。図５に示されたように、ブランク領域は、エッフェル塔というオブジェクトの完全な視界を作成するために、画像により満たされる必要がある。
【００３７】
ユーザは、一連の図６（ａ）、図６（ｂ）及び図６（ｃ）に示されるように、画像がディスプレイにおける視覚補助にほぼ適合するように、取得デバイスを向けることを単に要求される。これは、図５に示された空き領域が図６（ｃ）に示されるように完成されるまで繰り返される。
【００３８】
デバイスが十分なリソースを持つ場合には、上記技術は、図７に示されるようなサーバ上で遠隔的に行う代わりに画像取得デバイス上で実行されてもよい。これは、方向が要求位置に十分に近いときを示す視覚信号を単に表示することにより、ユーザが取得すべき次の画像を選ぶことを補助する。
【００３９】
当該プロセスは、最初の画像が取得された後、終了されるまでの数秒を要するので、個々は、最初の画像が後のものの上にステッチされる限り移動し得る。一方、画像中で取得された個々がコラージュ手順の間において静的である必要がないにも関わらず、このプロセスは時間がかかり過ぎてはならない。さもなければ、自然移動オブジェクト（例えば、雲）が過度に動いて、結果的コラージュの質を悪化させ得る。
【００４０】
この問題は、ユーザが図８（ａ）に示されるようなデバイスに格納された画像のコレクションから画像を選択することにより克服され得る。そして、この画像は、コラージュの開始画像として用いられる。ユーザは、図８（ｂ）のような第２の画像を構成及び取得する。画像取得デバイスは、背景のオブジェクトの境界を判定するためにエッジ検出を実行する。従って、画像取得デバイスのプレビューディスプレイにおいて、エッジが図８（ｂ）に示されるように強調され、更に、画像により取得されなかったオブジェクトの部分のエッジが予測される。画像をコラージュ画像に追加するために、ユーザは、前の画像の隣りの領域をフォーカスする。デバイスは、エッジ検出及びエッジマッチング解析をリアルタイムに実行する。これは、プレビューディスプレイにおいてオブジェクトのエッジを最初に検出する。次に、これは、ディスプレイ中のオブジェクトのエッジの特定の部分が図８（ａ）の選択された画像中のオブジェクトのエッジに適合／拡張するかどうかを探し、もしそうであれば、システムは、適合／拡張部分を強調するだろう。この視覚ガイダンスによれば、ユーザは、次の画像を取得し得る。
【００４１】
そして、これが繰り返されて、図８（ｃ）に示すように、第３の画像が図８（ｄ）に示されるようなコラージュを完成させるために取得される。
【００４２】
本発明の好ましい実施形態が添付図面で示されて上述の説明で述べられたが、本発明は、開示された実施形態に限定さることなく、特許請求の範囲に記載された本発明の範囲を逸脱することなく多くの変更の可能性があることが理解されるだろう。本発明は、ありとあらゆる新規な特徴、並びに、特徴のありとあらゆる組み合わせを備えている。特許請求の範囲における参照符号は、これらの保護範囲を限定するものではない。"有する"という用語の使用及びその活用は、特許請求の範囲に記載されたもの以外の要素の存在を除外するものではない。要素の単数表記の使用は、斯様な要素の複数の存在を除外するものではない。
【００４３】
当業者にとって明らかであるように、"手段"は、単に若しくは他の機能と組み合わせて、分離若しくは他の要素と協働して、動作中に実行されるか、又は、特定の機能を実行するために設計される、如何なるハードウェア（分離若しくは統合された回路又は電子エレメント等）又はソフトウェア（プログラム又はプログラムの部分等）も含むことを意味する。本発明は、幾つかの別個の要素を有するハードウェアの手段により、適切にプログラムされたコンピュータにより実行され得る。幾つかの手段を列挙する特許請求の範囲において、これらの手段のいくつかは、ハードウェアのそのもの及び同一アイテムにより実現されてもよい。"コンピュータプログラム"は、フロッピー（登録商標）ディスク、インターネット等のネットワークを介してダウンロード可能なもの、又は、任意の他の態様の商品のような、コンピュータ読み取り可能な媒体上に格納された如何なるソフトウェアをも意味することを理解されるべきである。
【図１】
2010509668.tif 000003
【図２】
2010509668.tif 000004
【図３】
2010509668.tif 000005
【図４】
2010509668.tif 000006
【図５】
2010509668.tif 000007
【図６ａ】
2010509668.tif 000008
【図６ｂ】
2010509668.tif 000009
【図６ｃ】
2010509668.tif 000010
【図７ａ】
2010509668.tif 000011
【図７ｂ】
2010509668.tif 000012
【図７ｃ】
2010509668.tif 000013
【図８ａ】
2010509668.tif 000014
【図８ｂ】
2010509668.tif 000015
【図８ｃ】
2010509668.tif 000016
【図８ｄ】
2010509668.tif 000017
【国際調査報告】
2010509668.tif 000018
2010509668.tif 000019
2010509668.tif 000020
2010509668.tif 000021
2010509668.tif 000022
2010509668.tif 000023