(57)【要約】  １つのデジタル画像内の特定の背景特徴を識別し、そして関心のあるデジタル画像集団内の画像を識別するために前記特徴を使用する方法であって、該方法は、１つ又は２つ以上の背景領域を割り出すために該デジタル画像を使用すること、そして該画像領域の残りは非背景領域である；該集団を探索するのに適した１つ又は２つ以上の特徴を割り出すために、該背景領域を分析すること；そして、該集団を探索するために該１つ又は２つ以上の特徴を使用し、そして該１つ又は２つ以上の特徴を有する、該集団内のデジタル画像を識別することを含んで成る。
2009543197.tif 000002
【特許請求の範囲】
【請求項１】
１つのデジタル画像内の特定の背景特徴を識別し、そして関心のあるデジタル画像集団内の画像を識別するために前記特徴を使用する方法であって、該方法は、
ａ）  １つ又は２つ以上の背景領域を割り出すために該デジタル画像を使用すること、該画像領域の残りは非背景領域である；
ｂ）  該集団を探索するのに適した１つ又は２つ以上の特徴を割り出すために、該背景領域を分析すること；そして、
ｃ）  該集団を探索するために該１つ又は２つ以上の特徴を使用し、そして該１つ又は２つ以上の特徴を有する、該集団内のデジタル画像を識別すること
を含んで成る。
【請求項２】
該非背景領域が１人又は２人以上の人物を含有しており、そして顔検出を用いることにより、このような人物の存在を割り出す請求項１に記載の方法。
【請求項３】
該非背景領域が１つ又は２つ以上の乗物を含有しており、そして乗物検出を用いることにより、このような乗物の存在を割り出す請求項１に記載の方法。
【請求項４】
ステップａ）が：
ｉ）  １つ又は２つ以上の非背景領域を割り出すこと；そして
ｉｉ）  残りの領域が背景領域であると想定すること
を含む請求項１に記載の方法。
【請求項５】
該非背景領域が１人又は２人以上の人物を含有しており、そして顔検出を用いることにより、このような人物の存在を割り出す請求項４に記載の方法。
【請求項６】
該非背景領域が１つ又は２つ以上の乗物を含有しており、そして乗物検出を用いることにより、このような乗物の存在を割り出す請求項４に記載の方法。
【請求項７】
該特徴が色又はテクスチャを含む請求項１に記載の方法。
【請求項８】
デジタル画像内の特定の背景特徴を識別し、そして関心のあるデジタル画像集団内の画像を識別するために前記特徴を使用する方法であって、該方法は、
ａ）  １つ又は２つ以上の背景領域及び１つ又は２つ以上の非背景領域を割り出すために、該デジタル画像を使用すること、
ｂ）  該集団を探索するのに適した色又はテクスチャを割り出すために、該背景領域を分析すること；
ｃ）  該背景領域の色又はテクスチャに基づいて画像をクラスタリングし；
ｄ）  該クラスターをラベリングし、そして該ラベルを、該識別されたデジタル画像と関連するデータベース内に保存すること；そして
ｅ）  該集団を探索するために該ラベルを使用すること
を含んで成る。
【請求項９】
該ラベルが、該識別されたデジタル画像が捕捉された場所を意味する請求項８に記載の方法。
【請求項１０】
該ラベルが、該識別されたデジタル画像をディスプレイ上で見た後でユーザーによって作成される請求項８に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的にはデジタル画像処理分野、そして具体的には画像内で自動的に検出された背景に基づく場所によって画像をグループ分けする方法に関する。
【背景技術】
【０００２】
デジタルカメラ及びスキャナーの急増は、デジタル画像の爆発的な増加をもたらしており、大型の個人用画像データベースが形成され、画像を見つけるのがますます難しくなっている。画像の内容を特定する手による注釈（キャプション又はタグの形態）が存在しない場合、ユーザーが現在、辿ることができる唯一の次元は時間であり、このことは、探索機能を大幅に制限する。ユーザーが写真撮影した正確な日付を覚えていないとき、又はユーザーが種々異なる時間における画像（例えば数年にわたって多数回訪れたナイアガラの滝で撮影された画像、人物Ａの画像）を集めたい場合、彼／彼女は、所望の画像を抽出するために多数の無関係な画像に眼を通さなければならない。やむを得ない代替手段は、他の次元に沿った探索を可能にすることである。統一テーマ、例えば人々及び場所の共通の組がユーザー画像集団全体を通して存在するので、画像内に存在する人々及び写真撮影場所は、有用な探索次元である。これらの次元は、ユーザーが探している画像の正確な部分集合(sub-set)を作成するように組み合わせることができる。特定の場所で撮影された写真を検索する能力は、捕捉場所による画像探索（例えば自宅居間で撮影された全ての写真を見つける）のために、また日付及び画像内に存在する人々のような他の探索次元と共に用いられる（例えば自宅裏庭でのバーベキュー・パーティに参加した友人の写真を探すとき）他の探索のための探索空間を狭くために、用いることができる。
【０００３】
グローバル・ポジショニング・システム（ＧＰＳ）データが存在しない場合には、写真が撮影された場所を、画像の背景に関して記述することができる。同様の背景を有する画像は、同じ場所で撮影されたと考えられる。その背景が、絵が掛かっている居間の壁であるか、又は良く知られたエッフェル塔のような建造物であり得る。
【０００４】
画像内の主なセグメントが自動的に検出される画像セグメント化分野において、異議深い研究が行われているが（例えばIEEE Conf. on Computer Vision and Pattern Recognition, 2000の会報におけるSharon他による“Fast Multiscale Image Segmentation”）、しかし、そのセグメントが背景に属するかどうかの判断は成されていない。背景及び非背景へのセグメント化は、制約された分野、例えばＴＶニュース番組、美術館の画像、又は平滑な背景を有する画像に関しては実証されている。S. Yu及びJ. Shi（“Segmentation Given Partial Grouping Constraints”IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004年2月）による最近の研究は、特定のオブジェクトの知識無しに背景からオブジェクトをセグメント化することを示している。被写体領域の検出に関しては、同一譲受人によるLuo他による“Method for Automatic Determination of Main Subjects in Photographic Images”と題された米国特許第６，２８２，３１７号明細書にも記載されている。しかしながら、画像の背景に注目の焦点が当てられているわけではない。画像背景は、単に主要被写体領域が排除されたときに残される画像領域であるだけでなく、主要被写体領域も背景部分であり得る。例えばエッフェル塔の写真において、塔は主要被写体領域ではあるものの、写真撮影された場所を記述する背景部分でもある。
【発明の概要】
【０００５】
本発明は、デジタル画像内の特定の背景特徴を識別し、そして関心のあるデジタル画像集団内の画像を識別するためにこのような特徴を使用する方法であって、
ａ）  １つ又は２つ以上の背景領域及び１つ又は２つ以上の非背景領域を割り出すために、デジタル画像を使用すること；
ｂ）  該集団を探索するのに適した１つ又は２つ以上の特徴を割り出すために、該背景領域を分析すること；そして、
ｃ）  該集団を探索するために１つ又は２つ以上の特徴を使用し、そして１つ又は２つ以上の特徴を有する、集団内のデジタル画像を識別すること
を含んで成る方法を開示する。
【０００６】
デジタル画像内の背景領域及び非背景領域を使用すると、ユーザーが、画像集団から、同じ場所で撮影された画像をより容易に見つけることが可能になる。さらに、この方法は、画像集団内の画像に注釈付けすることを容易にする。さらに、本発明は、コンシューマー分野において画像内に共通に発生する非背景オブジェクトを排除する方法も提供する。
【図面の簡単な説明】
【０００７】
【図１】図１は、本発明の方法の基本的なステップを示すフローチャートである。
【図２】図２は、図１のブロック１０の更なる詳細を示す図である。
【図３】図３は、自動顔検出によって生成された眼位置に基づいて顔領域、衣服領域、及び背景領域であると仮定された画像内の領域を示す図である。
【図４】図４は、同様の背景を有するものとして識別された画像グループを生成し、保存し、そしてラベリングする方法のフローチャートである。
【発明を実施するための形態】
【０００８】
本発明は、当業者には明らかなように、コンピュータシステム内で実施することができる。頻繁に発生する写真撮影場所によってユーザーの画像集団を自動インデキシングする際の主なステップ（図１に示す）は、次の通りである：
（１）画像内の背景領域の位置を検出し（１０）；
（２）これらの背景領域を記述する特徴（色及びテクスチャ）を計算し（２０）；
（３）色又はテクスチャ又は両方の類似性に基づいて共通の背景をクラスタリングし（３０）；
（４）共通の背景に基づいて画像をインデキシングし（４０）；そして
（５）生成されたインデックスを使用して画像集団を探索する（４２）。
【０００９】
本明細書中に使用される「画像集団」という用語は、ユーザーの画像及びビデオの集団を意味する。便宜上、「画像」という用語は単一画像及びビデオの両方を意味する。ビデオは、オーディオ及び時にはテキストを伴う画像集団である。集団内の画像及びビデオはしばしばメタデータを含む。
【００１０】
画像内の背景は、画像内の、典型的には広域の不動の要素から形成されている。このことは、可動要素、例えば、人々、乗物、動物、並びに背景全体の重要でない部分を構成する小さなオブジェクトを排除する。我々のアプローチは、これらの共通の非背景要素を画像から除去することに基づく。画像内の残りの部分は背景であると想定される。
【００１１】
図２を参照すると、人々５０、乗物６０、及び主要被写体領域７０を検出するために、画像を処理する。画像編成ツールのエンドユーザーは、家族の写真の管理に興味を持つコンシューマーとなるので、人物を含む写真は、これらの画像の最も重要な成分を形成する。このような人物画像の場合、顔及び衣服に相当する画像内領域を取り除くことにより、背景として残りの領域を残す。図２を参照すると、人間の顔の位置がデジタル画像内で検出される（５０）。この目的で使用することができる多数の既知の顔検出アルゴリズムがある。好ましい態様の場合、“Probabilistic Modeling of Local Appearance and Spatial Relationships for Object Recognition” (H. Schneiderman及びT. Kanade, Proc. of CVPR'98, 第45-51頁）に記載された顔検出器が使用される。画像画素データが与えられた顔の条件付き確率に近似する保存された確率分布を使用して、この検出器は、最大事後（ＭＡＰ）分類を実施するベイジアン分類子を実行する。この顔検出器は画像内に見いだされる顔の左目及び右目の位置を出力する。図３は、顔検出器によって生成された眼位置に基づいて顔領域９５、衣服領域１００、及び背景領域１０５であると仮定された画像内の領域を示す。サイズは、両眼の間隔、又はＩＯＤ（左目位置と右目位置との間隔）に関して測定される。顔領域９５は、図示のＩＯＤの３倍×ＩＯＤの４倍の面積に及ぶ。衣服領域１００は、ＩＯＤの５倍に及び、画像の下側に延びている。画像内の残りの領域は、背景領域１０５として処理される。なお、何らかの衣服領域１００が、他の顔及びこれらの顔に対応する衣服面積によって占められることも可能である。
【００１２】
図２を参照すると、屋外の静止画像内で自動車を検出するために、17th International Conference on Pattern Recognition, 2004の会報におけるZhu他による“Car Detection Based on Multi-Cues Integration”に記載されている方法を用いて、乗物領域６０が検出される。この方法の場合、自動車と一致するように設計された縁部(edge)及びコーナーポイントテンプレートに対して高い応答を有する領域からのグローバル構造キュー及びローカル・テクスチャ・キューを使用することにより、自動車を検出するようにＳＶＭ分類子をトレーニングする。
【００１３】
図２を参照すると、画像内の主要被写体領域は、“Method for Automatic Determination of Main Subjects in Photographic Images”と題される同一譲受人による米国特許第６２８２３１７号明細書に記載された方法を用いて検出される（７０）。この方法は、物理的に一貫したオブジェクトに対応するより大きいセグメントを形成するために、低レベル画像セグメント上に知覚的グループ分けを行い、そして確率的推論エンジンを使用してその領域が主要被写体であるという信頼を評価するために、構造的及び意味的特徴を使用する。画像と関連するＥＸＩＦメタデータ内に登録された焦点距離は、カメラから被写体までの距離の代わりであると考えられる。さらに大きく離れており、ひいてはおそらくは背景の一部である主要被写体から、背景内にはない主要被写体を分離するために、閾値（例えば１０ｍｍ）が使用される。焦点距離が閾値よりも長い場合、画像内に残る主要被写体は排除される。このことは、背景の一部と考えるには余りにもカメラに近接している画像内オブジェクトを排除することになる。
【００１４】
図２を参照すると、特定の閾値よりも近接した顔・衣服領域、乗物領域、及び主要被写体領域は、画像５５、６５、８０から排除され、そして残りの画像は、画像背景９０であると想定される。
【００１５】
背景記述をより確固たるものにするために、同じ場所で撮影されたと思われる複数の画像からの背景は併合される。背景が同じ事象の一部として撮影された画像内で検出されたとき、これらの背景は同じ場所に由来している可能性がより高い。日時情報及び画像間の色類似性に基づいて画像を事象及びサブ事象に自動的にグループ分けする方法が、米国特許第６，６０６，４１１号明細書（Loui及びPavie)（引用することにより本明細書中に組み入れる）。事象クラスタリング・アルゴリズムが、事象を割り出すために捕捉日時情報を使用する。サブ事象を割り出すために、ブロック−レベル色ヒストグラム類似性が用いられる。米国特許第６，６０６，４１１号明細書を用いて抽出された各サブ事象は、一貫した色分布を有しており、従って、これらの写真はおそらくは、同じ背景を有して撮影されている。
【００１６】
図４を参照すると、ユーザーの画像集団は、米国特許第６，６０６，４１１号明細書においてLoui他によって記載された同一譲受人による方法を用いて、事象及びサブ事象１１０に分けられる。各サブ事象毎に、単一の色及びテクスチャの表示が、一緒に撮影されたサブ事象における画像からの全ての背景領域に対して計算される（１２０）。色及びテクスチャは、１つ又は２つ以上の背景領域内で探索されることになる別個の特徴である。色及びテクスチャの表示及び類似性は、Zhu及びMehrotraによって記載された同一譲受人による米国特許第６，４８０，８４０号明細書から導き出される。彼らの方法によれば、色特徴に基づく画像の表示は、有意なサイズを有する一貫した色の画像領域が知覚的に有意であるという想定に基づいている。従って、有意なサイズを有する一貫した色の領域は、知覚的に有意な色であると考えられる。従って、入力画像毎に、その一貫した色のヒストグラムが先ず計算される。この場合、画像の一貫した色のヒストグラムは、一貫色領域に属する特定色の画素数の関数である。画素の色が予め特定された最小数の隣接画素の色と等しいか又は同様である場合、その画素は一貫色領域に属すると考えられる。さらに、テクスチャ特徴に基づく画像の表示は、それぞれの知覚的に有意なテクスチャが、同じ色転移の多数の繰り返しから成るという想定に基づいている。従って、頻繁に発生する色転移を識別し、そしてこれらのテクスチャ特性を分析することによって、知覚的に有意なテクスチャを抽出して表示することができる。（サブ事象における背景領域全てからの画素によって形成される）各集積領域毎に、領域を記述する支配的な色及びテクスチャの集合が発生する。支配的な色及びテクスチャは、（定義された閾値に従って）有意な比率を占有する色及びテクスチャである。２つの画像の類似性は、米国特許第６，４８０，８４０号明細書に定義された有意な色及びテクスチャの特徴の類似性として計算される。
【００１７】
ビデオ画像は、ビデオ・シーケンスからキーフレームを抽出し、そしてこれらを、ビデオを表示する静止画像として使用することにより、同じステップを静止画像として使用して処理することができる。ビデオからキーフレームを抽出する方法が数多く発表されている。一例としては、Calic及びIzquierdoは、IEEE International Conference on Information Technology： Coding and Computing, 2002で発表された“Efficient Key-Frame Extraction and Video Analysis”において、ＭＰＥＧ圧縮ストリームから抽出されたマクロ−ブロック特徴の統計を分析することにより、シーン変化を検出し、そしてキーフレームを抽出するリアルタイム法を提案している。
【００１８】
図４を参照すると、各サブ事象から導出された色及びテクスチャの特徴は、特徴空間内にデータポイントを形成する。これらのデータポイントは、類似の特徴を有するグループにクラスタリングされる（１３０）。これらのグループを生成する単純なクラスタリング・アルゴリズムを以下に挙げる。この場合、基準ポイントは、クラスター内のポイントの平均値であることが可能である：
０．  ランダムなデータポイントを１のクラスターとして、それ自体を基準ポイントとして選択することにより開始する。
１．  それぞれ新しいデータポイント毎に、
２．  既存のクラスターの基準ポイントまでの距離を見いだし、
３．  （最小距離＜閾値）ならば
４．  クラスターに最小距離を加え、
５．  ４のクラスターに対応する基準ポイントを更新し、
６．  さもなければ、データポイントを有する新しいクラスターを形成する。
【００１９】
加えて、テキストを特徴として使用し、そして公表されている方法、例えばIEEE Transactions on Pattern Analysis & Machine Intelligence, 1999年11月、第1224-1228頁におけるWu他による “TextFinder: An Automatic System to Detect and Recognize Text in Images”を用いて画像背景において検出することができる。クラスタリング法は、色及びテクスチャ単独によって計算された距離から、これらの画像間の距離を短くするために、画像背景に見いだされるテキストの一致を用いることもできる。
【００２０】
図４を参照すると、クラスターは、固有の場所をそのクラスター内の画像と関連付けるインデックス・テーブル１４０内に保存される。これらの画像は類似の背景を有するので、これらは、同じ場所で捕捉された可能性が高い。画像のこれらのクラスターはディスプレイ上に表示することができるので、ユーザーはクラスターを見ることができ、そして任意選択的に、ユーザーは、各クラスターによって示された場所を識別するように、テキスト・レベル１５０（例えば「パリ」、「おばあちゃんの家」）を提供するように促される。ユーザーレベルは、異なる場所によって異なることになるが、しかし、同じ場所を示すクラスター（基礎を成す画像類似性が検出されないとしても）には、ユーザーによって同じテキストがラベリングされてよい。このテキスト・ラベル１５０は、そのクラスター内の全ての画像にタグを付けるために使用される。加えて、場所ラベルは、画像に自動的にキャプションを付けるために使用することもできる。テキスト・ラベル１５０は、画像を見つけるため又は画像に注釈するために後で使用するために、画像と関連させて保存することができる。
【００２１】
場所（ユーザーによってラベリングされていてもいなくてもよい）を画像にマッピングするインデックス・テーブル１４０は、ユーザーが所与の場所で撮影された画像を見つけるためにこれらの画像の集団を探索するときに使用することができる。多数の探索方法が可能である。ユーザーは、同じ又は類似の場所で撮影された他の画像を見つけるために画像例を提供することができる。この場合、このシステムは、その画像例が属するクラスターから他の画像を検索するためにインデックス・テーブル１４０を使用することにより、集団を探索する。或いは、ユーザーが既にクラスターにラベリングしている場合、彼らは、これらの画像を検索するためにテキストに基づく探索中に問い合わせとしてこれらのラベルを使用することもできる。この場合、画像集団の探索は、問い合わせテキストと一致するラベルを有するクラスター内の全ての画像を検索することに関与する。ユーザーは、画像例を提供して探索をその事例に制限することにより、特定の事象内に類似の場所を有する画像を見いだすこともできる。
【００２２】
任意の数の特徴（この説明では色及びテクスチャが使用される）を背景領域内で探索できることも明らかである。例えば、画像ファイル内に保存されたカメラ・メタデータからの情報、例えば捕捉日時、又はフラッシュがたかれたかどうかの情報を含むことができる。特徴は、他の方法、例えば背景内の建造物をエッフェル塔の既知の画像とマッチングするか、又は顔認識技術を用いて画像内にいるのは誰かを割り出すことによって作成されたラベルを含むこともできる。クラスター内の任意の画像がＧＰＳ座標を添付している場合には、これらはそのクラスター内の他の画像内の特徴として使用することができる。
【符号の説明】
【００２３】
１０    画像
２０    背景領域
３０    色及びテクスチャの類似性によるグループ分けステップ
４０    共通の背景
４２    生成したインデックス
５０    人物の検出
５５    画像
６０    乗物の位置検出
６５    画像
７０    主要被写体領域
７５    領域部分集合の位置検出
８０    画像
９０    画像背景
９５    顔領域
１００    衣服領域
１０５    背景領域
１１０    事象及びサブ事象の位置検出
１２０    サブ事象の記述の計算ステップ
１３０    類似性に基づく背景のクラスタリング・ステップ
１４０    インデックス・テーブル内のクラスターの保存ステップ
１５０    テキスト・ラベル
【図１】
2009543197.tif 000003
【図２】
2009543197.tif 000004
【図３】
2009543197.tif 000005
【図４】
2009543197.tif 000006
【国際調査報告】
2009543197.tif 000007
2009543197.tif 000008
2009543197.tif 000009