(57)【要約】  少なくとも１つの画像の少なくとも１つの対象に関連する複数の像点（１０５、１０７、１０９、１１１）を検出する単なる検出器（２０１）を有する装置（２００）。前記検出器は異なる種類の像点を区別しない。前記検出器（２０１）は、複数の像点（１０５、１０７、１０９、１１１）を対象点（１０５、１０７）の群と、接点（１１１）の群と、誤って検出された点（１０９）の群とに群分けする、群分け処理装置（２０３）と結合される。前記装置は、処理装置配列２０９を有し、前記対象点（１０５、１０７）の群及び前記接点（１１１）の群の前記像点を個別に処理する。前記対象点処理は動的特徴に基づく奥行き情報を生成し、前記接点処理は静的特徴に基づく奥行き情報を生成する。従って改善された奥行き情報が得られ、単純化された検出器が利用できる。
2007501974.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの画像の少なくとも１つの対象に関連する複数の像点を検出するステップと、
複数の像点を少なくとも１つの対象点の群と少なくとも１つの接点の群とに群分けするステップと、
対象点の群と接点の群の複数の像点を個別に処理するステップ
とを有する、少なくとも１つの画像の対象処理方法。
【請求項２】
前記個別に処理するステップは、少なくとも１つの２次元画像から少なくとも１つの３次元特徴を決定するステップを有する、請求項１記載の対象処理方法。
【請求項３】
複数の像点は、誤って検出された点の群に更に群分けされる、請求項１記載の対象処理方法。
【請求項４】
前記複数の像点のそれぞれは、前記対象点の群、前記接点の群、及び前記誤って検出された点の群から選ばれたただ１つの群に含まれる、請求項３記載の対象処理方法。
【請求項５】
前記個別に処理するステップは、第１の処理を前記対象点の群に適用すること及び第２の処理を前記接点の群に適用することを有する、請求項１記載の対象処理方法。
【請求項６】
前記第１の処理は、少なくとも１つの画像内の対象の動きに基づく対象処理である、請求項５記載の対象処理方法。
【請求項７】
前記第１の処理は、動き処理からの構造である、請求項５記載の対象処理方法。
【請求項８】
前記第２の処理は、少なくとも１つの画像内の静的特徴に基づく対象処理である、請求項５記載の対象処理方法。
【請求項９】
前記第２の処理は、少なくとも１つの画像の少なくとも１つの対象の奥行き特徴を決定する処理である、請求項５記載の対象処理方法。
【請求項１０】
前記奥行き特徴は、少なくとも１つの画像の複数の対象間の相対的な奥行きを示す、相対奥行き特徴である、請求項９記載の対象処理方法。
【請求項１１】
前記複数の像点を検出するステップは、曲率検出処理を少なくとも１つの画像の少なくとも一部に適用することを有する、請求項１記載の対象処理方法。
【請求項１２】
前記接点は、少なくとも１つの画像の２つの対象間の重なりに対応するＴ接点を有する、請求項１記載の対象処理方法。
【請求項１３】
請求項１記載の方法の実行を可能にする、コンピュータプログラム。
【請求項１４】
請求項１３記載のコンピュータプログラムを有する、記録担体。
【請求項１５】
少なくとも１つの画像の少なくとも１つの対象に関連する複数の像点を検出する手段と、
前記複数の像点を少なくとも１つの対象点の群と少なくとも１つの接点の群とに群分けする手段と、
前記対象点の群と前記接点の群の複数の像点を個別に処理する手段
とを有する、少なくとも１つの画像の対象処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は少なくとも１つの画像の対象処理方法及び装置に関する。
【背景技術】
【０００２】
従来のビデオ及びテレビシステムは、本質的に事実上２次元（２Ｄ）である画像信号を配信する。しかし多くのアプリケーションにおいて３次元（３Ｄ）情報を更に提供することが望ましい。例えば、３Ｄ情報は対象把握の向上および画像信号の画像圧縮に役立つだろう。
【０００３】
特に３次元画像またはテレビ（３ＤＴＶ）は、視覚コンテンツを提示するユーザ経験を向上する方法として期待されている。そして３ＤＴＶはカラーＴＶの導入と同様に有意義となる可能性がある。
【０００４】
商業的に最も興味深い３ＤＴＶシステムは、既存の２次元画像基盤の再利用に基づく。それにより段階的な導入に伴うコストと互換性の問題を最小限に抑えることが出来る。前記システムの場合、２Ｄ画像が配信され、消費者側で３Ｄ画像へ変換される。
【０００５】
２Ｄから３Ｄへの変換処理は２Ｄ画像に（奥行き）構造を追加する。また画像圧縮にも利用されてもよい。しかし、２Ｄ画像の３Ｄ情報を有する画像への変換は、主要な画像処理の課題である。このためこの分野でかなりの研究が行われ、多数のアルゴリズムと手法が２Ｄ画像から３Ｄ情報を抽出するために提案されている。
【０００６】
モノスコープ画像から奥行き又は隠れの関係を導出する既知の方法は、動きアプローチ及び動的隠れアプローチからの構造を有する。
【０００７】
動きアプローチからの構造では、対象点は対象の動きに伴い追跡され、対象の３Ｄモデルを導出するために利用される。３Ｄモデルは追跡点の観察された動きに密接に帰着するモデルとして決定される。動的隠れアプローチは、異なる対象が像の中で動く時に隠れ（つまり２次元画像の中のある対象と別の対象との重なり合い）が対象の相対奥行きを示す情報を提供するという事実を利用する。
【０００８】
しかし、動きからの構造はカメラの動きの存在を必要とし、独立に動く対象（非静止場面）を扱うことができない。更に、両アプローチは動く対象の存在に依存し、画像列に僅かな動きしかない又は明らかな動きがない状況では失敗する。
【０００９】
静的特徴に基づいて奥行き情報を導出する方法が提案されている。
【００１０】
静的情報を提供する奥行きの手掛かりは、対象間の交点に対応するＴ接点である。Ｔ接点を視覚の奥行きの手掛かりとして利用する可能性は長い間既知であった。しかしながら、画像内のＴ接点を検出する計算方法と、自動的に奥行きを抽出するためのＴ接点の利用は、これまで非常に限られた成功しか収めていない。
【００１１】
Ｔ接点の利用に関するこれまでの研究は、主にＴ接点の検出作業に重点を置いてきた。Ｔ接点を検出する方法の例は、非特許文献1、非特許文献２、および非特許文献３で与えられる。
【００１２】
更に非特許文献1はＴ接点に基づき奥行き情報を決定するシステムを開示している。この手法は輪郭の決定に基づき、非線形フィルタリング、曲線の平滑化、角および接点の検出、および曲線の連続を必要とする。ここで先に述べた方法は非常に複雑でかなりの計算資源を必要とするが、静的特徴からの奥行き情報の抽出を提供する。
【００１３】
しかしながら、かなりの研究が奥行き情報の対象処理の分野で行われてきたが、抽出される奥行き情報の精度と信頼性は、現在のところ要望どおりではない。
【００１４】
更に個々の処理は、画像の特別な特徴（例えば対象のＴ接点または端点）の検出に依存するので、前記特徴の正確で信頼できる検出は重要であり、更に計算能力を必要とする。
【００１５】
従って、少なくとも１つの画像の対象処理システムの改良は、有利であろう。特に複雑さを低減し、計算負荷を低減し、及び／又は性能を向上することを可能にする、奥行き情報の画像処理システムは有利であろう。
【非特許文献１】エム・ニッツバーグ、ディー・マンフォード、ティー・シオタ（M.Nitzberg,  D.Mumford,  T.Shota）著、「フィルタリング・セグメンテーション・アンド・デプス（Filtering,  Segmentation,  and  Depth）」、「レクチャー・ノーツ・イン・コンピュータ・サイエンス（Lecture  notes  in  computer  science）」、（ベルリン）、シュプリンガー出版（Springer-Verlag）、１９９１年、６６２
【非特許文献２】ピー・ペロナ（P.Perona）著、「スティーラブル・スケーラブル・カーネルズ・フォー・エッジ・ディテクション・アンド・ジャンクション・アナリシス（Steerable-scalable  kernels  for  edge  detection  and  junction  analysis）」、セカンド・ヨーロピアン・カンファレンス・オブ・コンピュータ・ビジョン（2nd  European  Conference  of  Computer  Vision  pages  3-18）、「イメージ・アンド・ビジョン・コンピューティング（Image  and  Vision  Computing）」、１９９２年、ｖｏｌ．１０、ｐ．６６３−６７２
【非特許文献３】エル・パリダ、ディー・ガイガー、アール・フンメル（L.Parida,  D.Geiger,  R.Hummel）著、「ジャンクションズ：ディテクション・クラシフィケーション・アンド・リコンストラクション（Junctions:  Detection,  Classification,  and  Reconstruction）」、アイトリプルイー・トランザクションズ・オン・パターン・アナリシス・アンド・マシン・インテリジェンス（IEEE  Transactions  on  Pattern  Analysis  and  Machine  Intelligence）、１９９８年、ｖｏｌ．２０、ｐ．６８７−６９８
【非特許文献４】エム・ポレフェイズ、アール・コッホ、エム・ヴェルガウェン、エル・ヴァン・ゴール（M.Pollefeys,  R.Koch,  M.Vergauwen,  L.van  Gool）著、「フレキシブル・アクイジション・オブ・スリーディー・ストラクチャー・フロム・モーション（Flexible  acquisition  of  3D  structure  from  motion）」、プロク・アイトリプルイー・アイエムディーエスピー・ワークショップ（Proc.  IEEE  IMDSP  Workshop）、１９９８年、ｐ．１９５−１９８
【非特許文献５】ディー・ピー・マクレイノルズ、ディー・ジー・ロー（D.P.McReynolds,  D.G.Lowe）著、「リジディティ・チェッキング・オブ・スリーディー・ポイント・コレスポンダンシズ・アンダー・パースペクティブ・プロジェクション（Rigidity  checking  of  3D  point  correspondences  under  perspective  projection）」、アイトリプルイー・トランス・オン・ピー・エー・エム・アイ（IEEE  Trans.  on  PAMI）、１９９６年、ｖｏｌ．１８、Ｎｏ．１２、ｐ．１１７４−１１８５
【発明の開示】
【課題を解決するための手段】
【００１６】
従って、本発明は望ましくは１つ以上の上記不利点を単独又は如何なる組を緩和、軽減又は除去しようと努める。
【００１７】
本発明の発明者らは、対象処理の性能向上及び特に奥行き情報のための対象処理は、異なる処理の組合せにより特に動的特徴に基づく処理を静的特徴に基づく処理と組合せることにより達成できるであろうことを理解している。更に本発明の発明者らは、前記処理は最適な性能のために画像の異なる特徴に基づいてよいことを理解している。
【００１８】
従って、本発明の第１の側面は、少なくとも１つの画像の対象処理方法であって、少なくとも１つの画像の少なくとも１つの対象に関連する複数の像点を検出するステップと、前記複数の像点を少なくとも１つの対象点の群と少なくとも１つの接点の群とに群分けするステップと、前記対象点の群及び前記接点の群の複数の像点を個別に処理するステップとを有する。
【００１９】
本発明は、検出された像点が対象点か接点かにより群分けされることを可能にする。対象点は動的特徴に基づき奥行き情報を決定するために有利に利用されてもよい。また接点は静的特徴に基づき奥行き情報を決定するために有利に利用されてもよい。従って本発明は、１つ以上の画像の像点が異なる群に分けられ、そして個別に処理されることを可能にする。従って、対象処理は最適な像点を特定の処理に供給されるので、本発明は性能の向上を可能にする。更に、対象点と接点は分けられ、それにより対象点が接点を必要とする処理に供給される可能性及び逆の可能性が低減するので、性能の向上が達成されるだろう。本発明は更に、対象点と接点のみを検出する複雑な専門処理ではなく、単純な検出処理を像点の検出に利用できるようにする。単純な検出の後に、与えられた像点は対象点又は接点のどちらにより適しているかを決定する、単純な処理が続く。従って、検出処理は異なる種類の像点に再利用され、これにより複雑さが低減され計算の要求が低減される。
【００２０】
対象点は通常、画像内の単一の対象の１つの特徴であり、例えば対象の角又は辺である。一方、接点は通常、２つ以上の対象の間の相対的特徴であり、例えば１つが他を隠している２つの対象間の交点である。
【００２１】
本発明の特徴により、個別処理のステップは、少なくとも１つの２次元画像から少なくとも１つの３次元特徴を決定するステップを有する。ここで本発明は、１つ以上の２Ｄ画像から３Ｄ特徴を決定する、改良された処理を可能にする。特に本発明は、静的および動的特徴に応じてそれぞれ決定された相対及び絶対奥行き情報を望ましくは組合せてよい、改良された複雑さの少ない奥行き情報決定方法を可能にする。
【００２２】
本発明の別の特徴によると、前記複数の像点は、誤って検出された点の群に更に群分けされる。これは、誤って検出された点が処理に含まれる可能性が減少するので、像点の個別処理の性能を向上させる。
【００２３】
本発明の別の特徴によると、前記複数の像点のそれぞれは、前記対象点の群、前記接点の群、および前記誤って検出された点の群から選択された、ただ１つの群に含まれる。
【００２４】
望ましくは、検出された各点は、対象点又は接点又は誤って検出された点の何れであるか識別される。このため個別処理は適切な種類の点にのみ基づく可能性を増大するので、個別処理は改善されるだろう。例えば、対象点識別手順のある点への適用は、その像点が対象点であるという０．５を超えた確率を有することを示す結果となるだろう。しかしながら、接点識別手順の前記同じ像点への適用は同様に、その像点が接点であるという０．５を超えた確率を有することを示す結果となるだろう。従って前記手順を独立に用いることは、像点が対象点の処理および接点の処理の両方に用いられる結果となるだろう。しかしながら、像点をそれが最も関連しそうな群に割り振ることによってのみ、それが誤った群に含まれている確率は減少する。例えば、接点識別手順は０．９５の確率を与え、対象点識別手順は０．５の確率を与える場合、像点は接点の群に加えられる。
【００２５】
本発明の別の特徴によると、個別処理のステップは、第１の処理の対象点の群への適用及び第２の処理の接点の群への適用を有する。望ましくは、異なる処理が対象点及び接点に適用される。従って、前記第１の処理は対象点の処理に基づく又は特に適する。一方、前記第２の処理は接点の処理に基づく又は特に適する。前記第１及び第２の処理は、完全に分離されてよい。更に、前記第１及び第２の処理の結果は結合され、各個別処理から達成できる結果より改善された結果を提供するだろう。
【００２６】
本発明の別の特徴によると、前記第１の処理は少なくとも１つの画像内の対象の動きに基づく対象処理である。対象点は対象の動きに基づく処理に特に適している。具体的には、対象点は、対象の動き、及び特に２Ｄ画像内の３Ｄ対象の動きを決定または処理することに適している。従って対象の動きに基づく対象処理の性能向上が達成される。前記第１の処理は例えば、対象を識別、対象を追跡又は奥行きを検出する処理である。具体例として、第１の処理は動的隠れ奥行き検出処理であってよい。
【００２７】
本発明の別の特徴によると、第１の処理は動き処理からの構造である。従って、本発明は、改善された３Ｄ構造情報が、対象点から決定された対象の動きから引き出されることを可能にする。
【００２８】
本発明の別の特徴によると、前記第２の処理は少なくとも１つの画像内の静的特徴に基づく対象処理である。接点は特に静的特徴の決定によく適している。第２の処理は例えば対象識別処理であってよい。
【００２９】
本発明の別の特徴によると、前記第２の処理は少なくとも１つの画像の少なくとも１つの対象の奥行き特徴を決定する処理である。接点は静的特徴に基づく奥行き情報を決定する処理に特によく適している。また特に異なる対象間の相対奥行き情報が決定されてもよい。従って奥行き情報を決定する対象処理の性能向上が達成される。
【００３０】
望ましくは第１の処理は、対象点と関連する動的特徴に応じて奥行き情報を決定する処理である。第２の処理は、接点に関連する静的特徴に応じて奥行き情報を決定する処理である。前記第１及び第２の処理により導出された前記奥行き情報は、望ましくは結合され、それによって追加の及び／又はより正確な及び／又は信頼できる奥行き情報を提供する。
【００３１】
本発明の別の特徴によると、奥行き特徴は、少なくとも１つの画像の複数の対象間の相対的な奥行きを示す、相対奥行き特徴である。接点は特に相対奥行き情報を決定することに適している。
【００３２】
本発明の別の特徴によると、複数の像点を検出するステップは、少なくとも１つの画像の少なくとも一部に曲率検出を適用することを有する。曲率検出処理は、像点の検出には特に簡単で効果的な処理であるが、異なる種類の像点を区別しない。従って、本発明は複雑さが少なく、利用すべき計算資源への要求が低く実装し易い検出処理を可能にする。同時に本発明は、高い性能を提供する。
【００３３】
望ましくは、接点は少なくとも１つの画像の２つの対象間の重なりに対応するＴ接点を有する。
【００３４】
本発明の第２の側面は、少なくとも１つの画像の対象処理装置であって、少なくとも１つの画像の少なくとも１つの対象に関連する複数の像点を検出する手段と、複数の像点を少なくとも１つの対象点の群と少なくとも１つの接点の群に群分けする手段と、前記対象点の群及び前記接点の群の前記像点を個別に処理する手段とを有する。
【発明の効果】
【００３５】
本発明の前記及び他の側面、特徴及び利点は、以下に説明される実施例から明らかであり、また実施例を参照して説明される。
【実施例】
【００３６】
本発明の実施例は、ほんの一例として、以下の図を参照して説明される。
【００３７】
以下の説明は、２次元画像から奥行き情報を決定する対象処理に適用できる、本発明のある実施例に重点を置く。しかしながら、明らかに、本発明はこの用途に制限されず、対象検出又は対象画像処理を含む他の多くの対象処理に適用されてよい。
【００３８】
２次元画像（動画像列の画像を含む）から奥行き情報を抽出する可能性はますます注目を集めており、画像の新たな利用を可能にすると共に、画像利用の拡張機能を提供することを約束する。例えば、奥行き情報の抽出は、３次元動画像を従来の２次元動画像から生成することを可能にする。
【００３９】
基本的に、奥行き情報を抽出する方法は、画像内の対象の動きに応じて奥行き情報を検出することを含む。従って対象の特定点に対応する対象点は、画像間で追跡され、これらの対象点はその対象の３Ｄモデルを決定するために用いられる。そういうものの１つの方法は対象の動きから構造を決定する。
【００４０】
図１は２つの対象を有する２Ｄ画像の例を図示する。具体的には、前記画像は第１の立方体１０１と第２の立方体１０３を有する。動き処理からの構造では、前記第１の立方体１０１の角に対応する第１の対象点１０５は、前記第１の立方体１０１の３Ｄモデルを決定するために用いられる。同様に、前記第２の立方体１０３の角に対応する第２の対象点１０７は、前記第２の立方体１０３の３Ｄモデルを決定するために用いられる。３Ｄモデルのパラメータは、前記端点が２Ｄ表現に投影された時に、２Ｄ画像内の端点の観察された動きを演じるように決定される。
【００４１】
従って、動き処理からの構造のような処理は、対象の端点が検出されることを必要とする。対象の角の検出に用いられてよい検出器の一例は、非特許文献４に記載されている。この検出器は、大多数の他の既知の検出器のように、明示的に又は暗に曲率特性、つまり輝度又は色度等のパラメータにおける急激な変化に基づいて端点を検出することに依存している。
【００４２】
これらの検出器の短所は、端点のみを検出するのではなく、多数の他の像点も検出してしまうことである。例えば、これらの検出器は、対象の角に相当しないが偶然に検出器の基準に合った特性を有する点１０９を誤って検出する場合がある。更に、接点及び具体的にはＴ接点１１１のような他の点は、画像パラメータの急激な変化を示す場合があり、従って角検出器により検出される。しかしながら、動きからの構造のような処理の場合、本当の調整された対象点のみが３Ｄモデルを決定するために用いられることが重要である。例えば、誤って端点として検出された点１０９又は接点１１１を考慮することは、導出される３Ｄモデルを歪めてしまうだろう（又は３Ｄモデルを導出できないだろう）。
【００４３】
従って、不要な像点を検出する可能性がかなり低い、かなり複雑な検出器を用いることが必要となる。しかしながら、この要求は非常に複雑な処理を要求し、その結果、計算負荷を増大させる。
【００４４】
代わりとして又は加えて、有効な対象点は、検出された像点から抽出されなければならない。これは３Ｄモデルを導出することにより達成され、ここで適合しない像点は廃棄される。しかしながら、これは非常に複雑な処理であるだけでなく、有効な対象点を誤って廃棄してしまう、又は不要な対象点を含んでいる高い可能性を有する。
【００４５】
本発明の発明者らは、単に対象点（端点等）を抽出するより、像点検出器により検出された像点を異なる種類の像点の群に分けることにより、性能の向上が得られると理解している。具体的には、発明者らは、接点は個別に処理され、そして対象点から導出された奥行き情報を改善又は補完する奥行き情報を導出するために有利に利用してよいことを理解している。
【００４６】
発明者らは、像点を少なくとも接点の群と対象点の群とに群分けすることは、検出処理を容易にし、対象点処理及び接点処理の両者のための像点検出に利用するべき簡単な共通検出アルゴリズムを可能にすると理解している。従って、簡素化された検出は、複雑さ及び計算負荷の低減と共に達成される。更に、与えられた処理で不要な像点が誤って利用される可能性が望ましいものなので、個別処理の性能向上が達成される。具体的には、一般的に、像点が対象点か接点かを検出する方が、与えられた点が対象点か否かを決定するより、信頼度が高い。更に、発明者らは、接点を廃棄するより、独立に処理し、あるいはその結果を対象点処理の結果と結合し、それによって奥行き情報処理の全体性能が向上することを理解している。
【００４７】
図２は、本発明の好適な実施の形態に対応する１つ又は望ましくは複数の画像の対象処理装置２００を図示する。
【００４８】
前記装置は検出器２０１を有し、前記検出器２０１は、画像を受信し、対象点及び接点を検出する画像検出処理を行う。従って検出器２０１は、画像の少なくとも１つの対象に関連する複数の像点を検出する。例えば、対象点及びＴ接点を区別することなく両者を発見する任意の曲率検出器が用いられてもよい。
【００４９】
前記検出器２０１は群分け処理装置２０３と結合され、前記群分け処理装置２０３は、複数の像点を少なくとも１つの対象点の群と少なくとも１つの接点の群とに群分けするよう動作する。好適な実施の形態では、像点は誤って検出された点の群、つまり対象点でも接点でもないと見なされる像点に更に群分けされてもよい。
【００５０】
前記群分け処理装置２０３は、検出された対象点が格納される対象点格納器２０５、及び検出された接点が格納される接点格納器２０７と結合される。誤って検出された点は単に廃棄される。
【００５１】
前記対象点格納器２０５は及び接点格納器２０７は、対象点の群と接点の群の像点を個別に処理するよう動作する処理装置配列２０９と結合される。好適な実施の形態では、前記処理装置配列２０９は、前記対象点格納器２０５に結合された対象点処理装置２１１を有し、格納された対象点を処理するよう動作する。具体的には、前記対象点処理装置２１１は、動き処理からの構造のような奥行き情報処理を行ってよい。前記処理装置配列２０９は、前記接点格納器２０７に結合された接点処理装置２１３を更に有し、格納された接点を処理するよう動作する。具体的には、前記接点処理装置２１３はＴ接点に基づく奥行き情報処理を行ってよい。
【００５２】
前記対象点処理装置２１１及び接点処理装置２１３は、好適な実施の形態では、前記個別処理により生成された奥行き情報を結合する、結合処理装置２１５に結合される。例えば、画像の奥行きマップが生成される。ここで、主に前記対象点処理装置２１１からの情報に基づき、前記接点処理装置２１３は個々の対象の奥行き特徴を決定する。そして主に前記接点処理装置２１３からの情報に基づき、対象間の相対的な奥行きの関係が、前記奥行きマップで決定される。
【００５３】
上記説明は、明確にするために、異なる処理装置を参照したが、これらは物理的な物体というより機能的なモジュールと見なされるべきである。従って異なる処理は、例えば好適な実施の形態では、単一のデジタルシグナルプロセッサにより行われてもよい。
【００５４】
図３は、本発明の好適な実施の形態に対応する対象処理方法のフローチャートを図示する。
【００５５】
前記方法は、ステップ３０１で開始される。ステップ３０１では、少なくとも１つの画像の少なくとも１つの対象に関連する複数の像点が検出される。好適な実施の形態では、曲率検出処理は、１つ以上の画像の全体又は少なくとも一部に適用される。
【００５６】
例えば、非特許文献４に記載された検出アルゴリズムが用いられてよい。代わりとして又は加えて、画像の分割に基づく検出が用いられてよい。
【００５７】
ステップ３０１にステップ３０３が続く。ステップ３０３では、複数の像点は、少なくとも１つの対象点の群と少なくとも１つの接点の群と望ましくは誤って検出された点の群とに群分けされる。好適な実施の形態では、複数の像点のそれぞれは、対象点の群と接点の群と望ましくは誤って検出された点の群から選択されたただ１つの群に含まれる。従って、ステップ３０３では、検出された像点のそれぞれは評価され、そして１つに纏められ、ただ１つの群に入れられる。言い換えると、各像点は、対象点又は接点又は誤って検出された点の何れかであると見なされる。
【００５８】
更に対象点は個々の対象に属する対象点の集合に分けられる。具体的には、像点を対象点に群分けすること及び各対象に対応する集合に群分けすることは、非特許文献５に記載された処理を用いて行われてよい。
【００５９】
この場合、群分けは、１つの動いている剛体に属する全ての点は同一の３Ｄ動きモデルに従うという事実に基づく。従って、如何なる動きモデルに従わない接点及び誤って検出された点は、対象点と見なされない。
【００６０】
残った点は続いて処理され、接点を抽出する。具体例として、画像はその画像の互いに分離した領域に対応して複数のセグメントに分割されてよい。画像のセグメント化の目的は、画素を奥行きの不連続を含まないような画像セグメントに分けることである。基本前提は、奥行きの不連続は画像内の輝度又は色度の急激な変化を引き起こすことである。従って、類似した輝度及び／又は色度を有する画素は、共に群分けされる。その結果、輝度／色度は領域間を仕切る。
【００６１】
ある実施例では、セグメント化は、同一画像セグメント内で類似の輝度レベルを有する画像素子群を有する。類似の輝度レベルを有する画像素子の隣接した群は、同一の隠れた対象に属する傾向がある。同様に、類似の色度レベルを有する画像素子の隣接した群もまた、同一の隠れた対象に属する傾向がある。代わりに又は加えて、セグメント化は、同一の画像セグメント内で類似の色度レベルを有する画像素子群を有する。
【００６２】
セグメント化処理は、好適な実施の形態では、検出処理の一部である。
【００６３】
好適な実施の形態では、Ｔ接点は分割行列の全ての２行２列の部分行列を解析することにより識別される。Ｔ接点が検出されるべきなので、解析はまさに３つの異なる画像セグメントが交わる接点である三叉点に重点を置く。
【００６４】
分割行列から三叉点を抽出するために、全ての可能な２行２列の部分行列の構造が試される。次の式で与えられる４つの差分の内の正確に１つが０に等しい場合、部分行列は三叉点を含む。
【００６５】
【数１】
2007501974.tif 000003
これは、例えば、次の式で与えられる部分行列の例である。
【００６６】
【数２】
2007501974.tif 000004
しかし、次の式で与えられる部分行列の例ではない。
【００６７】
【数３】
2007501974.tif 000005
２度発生する領域番号１は４連接ではないので、この部分行列は三叉点であるとは見なされない。これは、セグメント化における領域は正方サンプリング格子上の４連接でなければならいという基本前提に違反する。
【００６８】
言い換えると、４つの要素が正確に３つの画像セグメントに対応し、同一の画像セグメントからの２つのサンプルが垂直又は水平（但し対角線上ではない）の何れかで隣り合っている場合、２行２列の部分行列は三叉点と見なされる。
【００６９】
注意すべきは、三叉点は必ずしもＴ接点ではないが、分岐又は矢印型（例えば立方体の画像で発生する）であってもよいことである。従って、検出された三叉点がT接点と見してよいか否かを決定するため、更なる幾何解析が必要となる。しかしながら、前記幾何解析は対象点を抽出するために既に行われているので、上記基準を満たす残りの点はＴ接点と見なしてよい。その他の全ての点は、誤って検出された点として廃棄される。
【００７０】
ステップ３０３にステップ３０５が続く。ステップ３０５では、前記対象点の群及び前記接点の群の像点は、個別に処理される。好適な実施の形態では、それぞれ対象点及び接点に基づいて、２Ｄ画像から少なくとも１つの３次元特徴を決定することを目的とする。
【００７１】
好適な実施の形態では、分離した処理は異なる対象点の群に適用される。従って、個々の処理は、第１の処理を対象点の群に適用すること、及び第２の処理を接点の群に適用することから成る。
【００７２】
好適な実施の形態では、前記第１の処理は、少なくとも１つの画像内の対象の動きに基づく対象処理である。前記第１の処理は、例えば、画像列内の対象点の動きに基づき、３Ｄ特徴を決定する処理であってよい。前記処理は、例えば、動的隠れ処理であってよいが、好適な実施の形態では、動き処理からの構造である。従って、画像内の対象の３Ｄモデルは、対応する対象点の動きに基づき導出されてよい。
【００７３】
好適な実施の形態では、前記第２の処理は、画像の静的特徴に基づく対象処理である。前記第２の処理は、具体的には、画像内の対象の奥行き特徴を決定する対象処理である。従って、好適な実施の形態では、対象点は動的特徴に基づいて奥行き情報を決定するために用いられる。一方、接点は静的特徴に基づいて奥行き情報を決定するために用いられる。
【００７４】
前記第２の処理は、非特許文献１に記載された手法に従って奥行き情報を決定する処理であってよい。
【００７５】
図４は画像内のＴ接点の例を図示する。また図４は、どのようにＴ接点から奥行き情報を見つけるかを図示する。図示された例では、画像は第１の長方形４０１と第２の長方形４０３とを有する。第１の長方形４０１は、第２の長方形４０３と重なり合い、従ってそれらの縁はＴ接点４０５として知られる交点を形成する。具体的には、前記第２の長方形４０３の第１の縁４０７は、前記第１の長方形の第２の縁４０９により短く切られている。従って、前記第１の縁４０７は前記Ｔ接点４０５の柄４１１を形成する。そして、前記第２の縁４０９は前記Ｔ接点の上端４１３を形成する。
【００７６】
従って、前記例では、前記Ｔ接点４０５は画像面内の点である。ここで、１つの縁４０７は第２の縁４０９を打ち切ることにより、前記対象の縁４０７、４０９が「Ｔ」字を形成する。人間はいくつかの対象が他より近くにあることを単にＴ接点の存在により識別できる。図４の例では、前記第１の長方形４０１は前記第２の長方形４０３を隠していること、及び従って前記第１の長方形４０１に対応する対象は前記第２の長方形４０３に対応する対象の前にあることが明らかである。
【００７７】
従って、Ｔ接点の茎と上端を決定することにより、対象間の相対奥行き情報が決定される。茎と上端の識別は、可能な奥行き順序を導出する際に用いられる。茎と上端を識別するために、好適な実施の形態では、茎と上端は接点を通過する直線であり、任意の配向角を有することを前提とする。従って、接点は第１及び第２の曲線に適合し、これに応じて茎と上端を形成する領域が決定される。ここで曲線は、好適な実施の形態では直線である。
【００７８】
図４から明らかなように、茎ではなく上端を形成する画像部分は、本質的に茎を形成する画像部分の前にある。茎を形成する２つの画像部分の間の奥行き情報は、Ｔ接点から直接導出できない。好適な実施の形態では、多数のＴ接点が決定され、具体的には与えられた対象が多数の対応するＴ接点を有してもよい。従って、相対奥行き情報は全ての対象の相対奥行き情報を考慮することにより決定されてよい。具体的には、画像内の対象の相対的な奥行きを表す奥行きマップが導出されてよい。
【００７９】
対象点の動的動作に基づく奥行き情報は、Ｔ接点の静的特徴に基づく相対奥行き情報と組み合わされてもよい。これにより生成される奥行き情報を拡張及び／又は向上させる。
【００８０】
本発明はハードウェア、ソフトウェア、ファームウェアまたはこれらの如何なる組み合わせを含む如何なる適した形式で実施されてもよい。しかしながら、望ましくは、本発明は１つ以上のデータプロセッサー及び／又はデジタルシグナルプロセッサ上で動作するコンピュータソフトウェアとして実施される。本発明の実施例の要素および部品は、物理的、機能的、および論理的に如何なる適した方法で実施されてもよい。実際に機能は単一の装置、複数の装置、または他の機能単位の部分として実装されてよい。または本発明は単一の装置に実装されてもよく、または物理的および機能的に異なる装置及びプロセッサーの間に分散されてもよい。
【００８１】
本発明は好適な実施の形態と共に説明されたが、前述した特定の形式に制限されるものではない。正しくは、本発明の範囲は請求項によってのみ制限される。請求項では、有するという語は、他の要素または手段の存在を排除しない。更に個別に列挙された複数の手段、要素または方法のステップは、例えば、単一の装置又はプロセッサーに実装されてもよい。更に個々の特徴は異なる請求項に含まれるが、これらは場合により有利に組み合わせてよい。また異なる請求項の内容は、特徴の組み合わせが実現可能でない及び／又は有利でないことを示唆するものではない。更に単数の引例は複数を排除するものではない。従って「１つの」、「第１の」、「第２の」等の引例は、複数を排除するものではない。
【図面の簡単な説明】
【００８２】
【図１】２つの対象を有する２Ｄ画像の例を図示する。
【図２】本発明の好適な実施の形態に対応する１つ以上の画像の対象処理装置を図示する。
【図３】本発明の好適な実施の形態に対応する対象処理方法のフローチャートを図示する。
【図４】１つの画像内のＴ接点の例を図示する。
【図１】
2007501974.tif 000006
【図２】
2007501974.tif 000007
【図３】
2007501974.tif 000008
【図４】
2007501974.tif 000009
【国際調査報告】
2007501974.tif 000010
2007501974.tif 000011
2007501974.tif 000012