(57)【要約】【課題】画像または画像列に関し、画像内の対象物を識別するための方法を提供する。【解決手段】セグメンタ（２２）が、第１の画像をスーパーピクセルに分割する（１０）。これらのスーパーピクセルから、アナライザ（２３）によって、又はユーザインタフェース（２４）を介するユーザ入力によって、１組のグループ化されたスーパーピクセルが決定される（１１）。１組のグループ化されたスーパーピクセルは、検索エンジン（３０）に送られ（１２）、検索エンジン（３０）は、１組のグループ化されたスーパーピクセルに関して検索エンジン（３０）が実行した（１４）検索の結果を返す（１５）。【選択図】図９
2013196703.tif 000002
【特許請求の範囲】
【請求項１】
画像または一連の画像において対象物を識別するための方法であって、
第１の画像をスーパーピクセルにセグメント化するステップと、
１組のグループ化されたスーパーピクセルを決定するステップと、
前記１組のグループ化されたスーパーピクセルを検索エンジンに送るステップと、
前記１組のグループ化されたスーパーピクセルに関して前記検索エンジンによって実行された検索の結果を受け取るステップと
を含む、方法。
【請求項２】
前記１組のグループ化されたスーパーピクセルは、ユーザ入力によって、または前記スーパーピクセルの解析によって決定される、請求項１に記載の方法。
【請求項３】
前記スーパーピクセルの前記解析は、前記第１の画像のスーパーピクセルと第２の画像の対応するスーパーピクセルの間の相対的変化を解析することを含む、請求項２に記載の方法。
【請求項４】
前記第１の画像と前記第２の画像は、一連の画像のうちの時間的に隣接する画像、または１組の立体もしくは多視点画像のうちの空間的に隣接する画像である、請求項３に記載の方法。
【請求項５】
前記画像についての付加的データが、前記検索エンジンに送られる、請求項１から４のうちの１項に記載の方法。
【請求項６】
画像または一連の画像において対象物を識別するための装置であって、
第１の画像をスーパーピクセルにセグメント化するためのセグメンタと、
１組のグループ化されたスーパーピクセルを決定するためのアナライザまたはユーザインタフェースと、
前記１組のグループ化されたスーパーピクセルを検索エンジンに送るため、および前記１組のグループ化されたスーパーピクセルに関して前記検索エンジンによって実行された検索の結果を受け取るためのインタフェースと、
を備える、装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像または画像の系列において対象物を識別するための方法および装置に関する。より詳細には、本発明は、スーパーピクセル（ｓｕｐｅｒｐｉｘｅｌ）を利用する、画像または画像の系列において対象物を識別するための方法および装置に関する。
【背景技術】
【０００２】
２Ｄもしくは３Ｄビデオ系列または単一の画像において対象物を識別するための多くの手法が存在する。例えば、顔認識は、コンパクトカメラ向けの最新技術であり、すなわち、低性能ＣＰＵ向けのリアルタイムアプリケーションとしてすでに実用化されている。しかし、これらのアルゴリズムはどれも、通常は、特定のアプリケーション専用である。より汎用的な手法は、一般に、非常に複雑なアルゴリズムと、より高い処理能力とを必要とする。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】X. Ren他、「Learning a Classification Model for Segmentation」、9th IEEE International Conference on Computer Vision (ICCV 2003)、10〜17ページ
【発明の概要】
【０００４】
したがって、本発明の目的は、画像または一連の画像において対象物を識別するための、簡易化された、あまり要件が厳しくない解決策を提案することである。
【０００５】
本発明によれば、この目的は、画像または画像の系列において対象物を識別するための方法によって達成され、方法は、
第１の画像をスーパーピクセルにセグメント化するステップと、
１組のグループ化されたスーパーピクセルを決定するステップと、
１組のグループ化されたスーパーピクセルを検索エンジンに送るステップと、
１組のグループ化されたスーパーピクセルに関して検索エンジンが実行した検索の結果を受け取るステップと
を含む。
【０００６】
同様に、画像または画像の系列において対象物を識別するための装置は、
第１の画像をスーパーピクセルにセグメント化するためのセグメンタと、
１組のグループ化されたスーパーピクセルを決定するためのアナライザまたはユーザインタフェースと、
１組のグループ化されたスーパーピクセルを検索エンジンに送り、１組のグループ化されたスーパーピクセルに関して検索エンジンが実行した検索の結果を受け取るためのインタフェースと
を備える。
【０００７】
本発明による解決策は、２つの異なる手法を組み合わせて、２Ｄもしくは３Ｄもしくは多視点画像系列または単一の画像において対象物を識別する。最初に、１つまたは複数の画像が、スーパーピクセルにセグメント化される。次に、ユーザが、さらに調査するスーパーピクセルに印を付けるか、または対象物に属する１組のグループ化されたスーパーピクセルが、自動的に検出される。自動検出は、例えば、画像の系列の場合はスーパーピクセルの時間的解析に、１組の立体もしくは多視点画像のうちの２つ以上の画像の空間的解析に、または他の画像解析手順に基づいている。いずれの場合も、識別される１組のスーパーピクセルが分かると、この１組のスーパーピクセルについての特性のリストが作成される。これらの特性は、特別なスーパーピクセル対象物データベースに問い合わせとして送られ、データベースは、これらの特性に対して最も適切な対象物を決定する。次に、対象物の識別されたタイプが、ユーザに送り戻される。本発明は、ほとんどの対象物が特徴的な１組のスーパーピクセルを有するという知見を利用する。したがって、スーパーピクセルに基づいて、画像または画像系列において対象物を識別することが可能である。データベースが継続的により大規模かつ包括的になっていくにつれて、検索エンジン能力を向上させることで、セットトップボックス、スマートフォン、タブレット型デバイス向けの便利な対象物検索ツールを実現することができる。
【０００８】
有利なこととして、例えば、識別される対象物を含む画像または画像の系列についてのメタデータなど、付加的情報もスーパーピクセル対象物データベースに送られる。そのようなメタデータの例は、映画のタイトル、または映画に出演している俳優のリストなどである。これらの付加的なメタデータは、ある程度は、不正確な分類を排除するので、分類を安定させるのに役立つ。また、観測される対象物の時間的な動きも、検索結果を向上させるために解析され、データベースに送られる。
【０００９】
理解をより深めるため、これから本発明を以下の説明において図面を参照しながらより詳細に説明する。本発明がこの例示的な実施形態に限定されないこと、また添付の特許請求の範囲において確定される本発明の範囲から逸脱することなく、都合に応じて特定の特徴を組み合わせること、および／または変更することもできることを理解されたい。
【図面の簡単な説明】
【００１０】
【図１】原画像を示す図である。
【図２】人手で印付けした図１の画像のセグメント化を示す図である。
【図３】図１の画像から得られたスーパーピクセルを示す図である。
【図４】図３のスーパーピクセルを使用する図２の人手で印付けしたセグメント化の再構成を示す図である。
【図５】ユーザによって印付けされた多くのスーパーピクセルを有するシマウマの画像を示す図である。
【図６】ユーザによって印付けされたスーパーピクセルを有する図５の部分を拡大して示す図である。
【図７】スーパーピクセルにセグメント化された建築物の画像を示す図である。
【図８】スーパーピクセルにセグメント化された魚の画像を示す図である。
【図９】対象物識別のための本発明による方法を概略的に示す図である。
【図１０】対象物識別のための本発明による装置を概略的に示す図である。
【発明を実施するための形態】
【００１１】
スーパーピクセル、より正確にはスーパーピクセルマップの生成、および対象物認識へのそれらの利用が、画像処理のために現在検討されている。例えば、論文（例えば非特許文献１を参照）は、画像の複雑さを低減するための、画像のスーパーピクセルへのオーバセグメンテーション（ｏｖｅｒｓｅｇｍｅｎｔａｔｉｏｎ）について説明している。
【００１２】
X. Ren他による上記の論文から得られる図１から図４は、スーパーピクセルにセグメント化された画像の一例を示している。図１は、原画像を示しており、図２は、人手で印付けしたこの画像のセグメント化を示している。図３は、正規化カットアルゴリズム（Ｎｏｒｍａｌｉｚｅｄ  Ｃｕｔｓ  ａｌｇｏｒｉｔｈｍ）を適用して得られた、画像の２００個のスーパーピクセルへのセグメント化を示している。図４は、図３のスーパーピクセルから図２の人手のセグメント化を再構成したものである。この目的のため、重なり合う面積が最大となるように、図２のセグメントに各スーパーピクセルが割り当てられ、スーパーピクセルの境界が抽出される。
【００１３】
図５は、ユーザによって印付けされた多数のスーパーピクセルと共に、シマウマの画像を示している。印付けされたスーパーピクセルがより明瞭に見えるこの画像の拡大部分が、図６に示されている。
【００１４】
スーパーピクセルにセグメント化された画像のさらなる例が、図７および図８に示されており、図７および図８は、建築物の画像および魚の画像をそれぞれ示している。
【００１５】
本発明による方法が、図９に概略的に示されている。今日では、大規模データベースが至る所に存在する。例えば、インターネット検索エンジンは、世界中のサーバファームの多数の非常に強力なデータベースに基づいている。このような有用な検索技術は、消費者セットトップボックス、スマートフォン、タブレットコンピュータなどでも、強力な対象物認識を実施することを可能にする。この目的のため、第１のステップでは、画像がスーパーピクセルに分割またはセグメント化される（１０）。次に、図５および図６に見られるように、対象物に属するスーパーピクセルのグループをユーザが選択し（１１）、またはデバイスが自ら、１組のグループ化されたスーパーピクセルを自動的に決定する。次に、デバイスが、グループ化されたスーパーピクセルを検索エンジンに送る（１２）。任意選択的に、デバイスは、例えば、画像が特定の映画の一部であるかどうかなど、画像についての付加的なメタデータまたは他のデータも送る（１３）。次に、検索エンジンが、データベース検索を使用して、グループ化されたスーパーピクセルによって表現される対象物を識別する（１４）。結果がまとめられ、デバイスに送り返される（１５）。
【００１６】
本発明による装置２０が、図１０に示されている。装置２０は、画像または画像系列を受け取るための入力２１を備える。セグメンタ２２が、画像をスーパーピクセルに分割する。アナライザ２３が、１組のグループ化されたスーパーピクセルを決定する。代替として、ユーザが、インタフェース２４を介して、対象物に属するスーパーピクセルのグループを選択することもできる。グループ化されたスーパーピクセルを検索エンジン３０に送るために、また検索エンジン３０によって獲得された検索の結果を受け取るために、インタフェース２５が提供される。
【００１７】
検索結果は、対象物の粗い分類（例えば動物）、より具体的な分類（例えばシマウマ）、代わりとなる分類（例えばクアッガ（ｑｕａｇｇａ））、当該対象物が今観ている映画の他のどの箇所で見られるか（すなわちタイムスタンプ）、またはそのような対象物を含む他の映画（例えばハンフリーボガートが出演する他の映画）など、異なるタイプの情報にわたることができる。分類と一緒に、分類の確率値も提供することができる。
【００１８】
俳優の顔、動物の種類、有名な城または建築物の名前、家の正面の外観を印付けることによる放送フィルムまたは文書またはニュースなどに現れた家の住所、自動車の種類、映画のエンディングクレジットの部分を印付けることによる映画タイトル、場所を特定するための街の特別な標識、自動車のナンバープレート、建築物上の標識、絵画および例えば彫刻などの他の美術品、例えば製品についての追加情報を獲得するための製品の銘柄、樹木の種類、葉の種類、果実の種類など、例えばワインの種類を特定するためのボトルの型など、実に多種多様な異なる対象物を検出することができる。
【００１９】
検索をサポートするために、異なる手法が使用される。デバイスは、好ましくは、対象物の時間的な動きに配慮することによって、スーパーピクセル生成を最適化する。この目的のため、スーパーピクセルの境界は、好ましくは、対象物の境界と一致する。これが、対象物選択を簡易化する。しかし、対象物の完璧な「カット」を有する必要はなく、すなわち、印付けされた顔が頭髪で縁取られているかどうかはあまり関係がない。グループ化されたスーパーピクセルの動きは、対象物のタイプを識別するのに役立つ特徴的な挙動を有することがある。例えば、自動車は、人間とは異なった動きをし、人間は、レイヨウ（ａｎｔｅｌｏｐｅ）とは異なった動きをし、レイヨウは、ワシとは異なった動きをするなどである。加えて、動きのタイプは、例えば、レイヨウが走っているのか、立っているのか、食べているのか、それとも寝そべっているのかなど、対象物の状態についてのヒントを与えることがある。この解析は、デバイスによって実行されるのが有利であり、メタデータとして検索エンジンに送られる。
【図２】
2013196703.tif 000003
【図３】
2013196703.tif 000004
【図９】
2013196703.tif 000005
【図１０】
2013196703.tif 000006
【図１】
2013196703.tif 000007
【図４】
2013196703.tif 000008
【図５】
2013196703.tif 000009
【図６】
2013196703.tif 000010
【図７】
2013196703.tif 000011
【図８】
2013196703.tif 000012
【外国語明細書】
2013196703000001.pdf