(57)【要約】本発明は、諸画像に関係した輪郭情報を提供するための方法、装置およびコンピュータプログラムプロダクトに関する。画像取得ユニットが相互に関係した画像の集合を取得し（ステップ２６）、画像セグメント化ユニットが前記諸画像をセグメント化し（ステップ２８）、輪郭決定ユニット（２２）が前記セグメント化から少なくとも二つの輪郭を抽出し（ステップ３０）、各画像の輪郭上に着目点を選択し（ステップ３２）、着目点を三次元再構成による対応する再構成点と関連付け（ステップ３４）、再構成点を前記諸画像に投影し（ステップ３６）、交差点に投影されたのでない再構成点または投影された再構成点どうしを互いに結ぶことにより第一のリンクの集合を提供し（ステップ３８）、オブジェクトの輪郭の少なくともある程度の部分が結ばれた再構成点に基づいて決定できるようにする。
2007518157.tif 000002
【特許請求の範囲】
【請求項１】
諸画像に関係した輪郭情報を提供する方法であって：
相互に関係した画像の集合を取得し、
前記諸画像をセグメント化し、
前記セグメント化したものから少なくとも二つの輪郭を抽出し、
前記輪郭の少なくともいくつかの上で着目点を選択し、
前記抽出された輪郭について、着目点を三次元再構成による対応する再構成点と関連付け、
再構成点を各画像に投影し、
各画像について、異なる輪郭どうしの間の交差点に投影されたのでない再構成点またはその投影どうしを互いにリンクして第一のリンクの集合を提供し、オブジェクトの輪郭の少なくともある程度の部分が前記リンクされた点に基づいて決定できるようにする、
ステップを有することを特徴とする方法。
【請求項２】
前記第一のリンクの集合でリンクするステップが、同じ輪郭に関連付けられた再構成点またはその投影の間のリンクを提供するのみであることを特徴とする、請求項１記載の方法。
【請求項３】
前記着目点が、二つの輪郭が互いに出会う位置において与えられる交差点を含むことを特徴とする、請求項１記載の方法。
【請求項４】
あるオブジェクトの完全な輪郭の少なくともある程度の部分を得るために、各画像に関係してある輪郭について提供された第一のリンクの集合内のリンクを組み合わせるステップをさらに有することを特徴とする、請求項１記載の方法。
【請求項５】
前記組み合わせるステップが、３つ未満のリンクを有する点へのリンクのみを組み合わせることであることを特徴とする、請求項４記載の方法。
【請求項６】
各画像について、３つ以上の他の再構成点またはその投影からリンクが与えられている再構成点またはその投影の少なくともいくつかを破棄するステップをさらに有することを特徴とする、請求項５記載の方法。
【請求項７】
前記リンクするステップが、各画像について、交差点に投影される再構成点またはその投影を再構成点またはその投影に第二のリンクの集合でリンクすることを有することを特徴とする、請求項１記載の方法。
【請求項８】
前記諸画像の大半において交差点に投影されている再構成点またはその投影が第一のリンクの集合でリンクされることを特徴とする、請求項１記載の方法。
【請求項９】
再構成点が三次元空間内で与えられることを特徴とする、請求項１記載の方法。
【請求項１０】
前記諸画像が二次元空間内で与えられることを特徴とする、請求項１記載の方法。
【請求項１１】
再構成点を画像に投影する前に画像から画像への輪郭の実際の動きを決定するステップをさらに有することを特徴とする、請求項１記載の方法。
【請求項１２】
リンクされた再構成点についての情報を使って前記諸画像を符号化するステップをさらに有することを特徴とする、請求項４記載の方法。
【請求項１３】
諸画像に関係した輪郭情報を提供する装置であって：
相互に関係した画像の集合を取得するよう構成された画像取得ユニットと、
前記諸画像をセグメント化するよう構成された画像セグメント化ユニットと、
輪郭決定ユニットであって、
前記セグメント化ユニットによってなされたセグメント化から少なくとも二つの輪郭を抽出し、
各画像の前記輪郭上で着目点を選択し、
抽出された各輪郭について、着目点を三次元再構成による対応する再構成点と関連付け、
再構成点を各画像に投影し、
各画像について、異なる輪郭どうしの間の交差点に投影されたのでない再構成点またはその投影どうしを互いにリンクして第一のリンクの集合を提供し、オブジェクトの輪郭の少なくともある程度の部分が前記リンクされた点に基づいて決定できるようにする、
よう構成されたユニット、とを有することを特徴とする装置。
【請求項１４】
諸画像に関係した輪郭情報を提供するためのコンピュータプログラムプロダクトであって：
前記プログラムがコンピュータにロードされたときに、前記コンピュータをして、
相互に関係した画像の集合を取得し、
前記諸画像をセグメント化し、
前記セグメント化から少なくとも二つの輪郭を抽出し、
前記輪郭の少なくともいくつかの上で着目点を選択し、
前記抽出された輪郭について、着目点を三次元再構成による対応する再構成点と関連付け、
再構成点を各画像に投影し、
各画像について、異なる輪郭どうしの間の交差点に投影されたのでない再構成点またはその投影どうしを互いにリンクして第一のリンクの集合を提供し、オブジェクトの輪郭の少なくともある程度の部分が前記リンクされた点に基づいて決定できるようにする、
ことをさせるためのコンピュータプログラムコード手段を有するコンピュータ可読記憶媒体を有することを特徴とする、コンピュータプログラムプロダクト。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般には画像中のオブジェクトのコーディングを簡略化する分野に、より詳細には画像に関係した輪郭情報を提供するための方法、装置およびコンピュータプログラムプロダクトに関する。
【０００２】
謝辞
フィリップスは本特許出願を可能にする上での協力についてポルトガルのド・ミーニョ大学に感謝する。
【背景技術】
【０００３】
コンピュータ生成した画像および動画の分野において、シーン視覚化をさらに向上させるための二次元画像からの三次元モデルの生成に関して多くの努力がなされてきた。そのようなことが有益となる領域は、三次元テレビ投影の分野にある。二次元画像中に、画像が取得された視点からの諸オブジェクトの距離を決定するのに使うことができる十分な情報があれば、このすべてが可能になる。
【０００４】
今日、そのような手段はいくつか存在する。画像の対どうしの間のオブジェクトの見かけの変位を測定するだとか、前記距離を計算するのに使われるカメラについての情報を使うといったことである。並進の設定については、移動が速いほどオブジェクトは取得点に近い。しかし、これをする際、オブジェクトはしばしば隠蔽される（occluded）、すなわち他のオブジェクトによって遮られる。これは、オブジェクトの実際の形または輪郭を決定することが難しいということを意味している。
【０００５】
MPEG4規格のようなさまざまな規格に基づくビデオ符号化を実行するときなどの画像のコーディングを簡略化するためには、すべてのオブジェクトについて完全またはほとんど完全な輪郭を有することが好ましい。
【０００６】
隠蔽されたオブジェクトに関してさらなる情報を与えるというこの問題を解決するためのいくつかの方法が存在している。一つの方法はエッジ継続（edge  continuation）法で、これはたとえばStuart  J.  Gibson  and  Robert  I.  Damper,  “An  Empirical  Comparison  of  Neural  Techniques  for  Edge  Linking  of  Images”,  Neural  Computing  &  Applications,  Version1,  October  22,  1996に記載されている。
【０００７】
しかし、これらの方法は発見的方法に基づいており、接続の視覚的な証拠がないシーンの一部を結び付けることもある。また、多くの場合、大規模かつ複雑な計算の必要がある。これはあるオブジェクトが別のオブジェクトを隠蔽しているかどうかを、すなわちいくつかの画像においてオブジェクトの輪郭どうしの間の交差があるかどうかを見きわめることが困難でありうるからである。
【０００８】
したがって、あるオブジェクトの輪郭がいくつかの画像のどの一枚にも完全には見えていないが諸画像から前記輪郭の全体またはほとんどが推定できるときに、諸画像における前記オブジェクトについての完全またはほとんど完全な輪郭を決定できるようにする解決策が必要とされている。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
したがって、オブジェクトの輪郭の全体またはほとんどがいくつかの画像の集合からの情報を組み合わせることによって推定できるがどの画像においても完全には見えないときに、前記いくつかの画像における完全またはほとんど完全な輪郭の決定を可能にすることが本発明の目的の一つである。
【課題を解決するための手段】
【００１０】
本発明のある第一の側面によれば、この目的は、諸画像に関係した輪郭情報を提供する方法であって：
相互に関係した画像の集合を取得し、
前記諸画像をセグメント化し、
前記セグメント化したものから少なくとも二つの輪郭を抽出し、
前記輪郭の少なくともいくつかの上で着目点を選択し、
前記抽出された輪郭について、着目点を三次元再構成による対応する再構成点と関連付け、
再構成点を各画像に投影し、
各画像について、異なる輪郭どうしの間の交差点に投影されたのでない再構成点またはその投影どうしを互いにリンクして第一のリンクの集合を提供し、オブジェクトの輪郭の少なくともある程度の部分が前記リンクされた点に基づいて決定できるようにする、
ステップを有することを特徴とする方法によって達成される。
【００１１】
本発明のある第二の側面によれば、前記目的は、諸画像に関係した輪郭情報を提供する装置であって：
相互に関係した画像の集合を取得するよう構成された画像取得ユニットと、
前記諸画像をセグメント化するよう構成された画像セグメント化ユニットと、
輪郭決定ユニットであって、
前記セグメント化ユニットによってなされたセグメント化から少なくとも二つの輪郭を抽出し、
各画像の前記輪郭上で着目点を選択し、
抽出された各輪郭について、着目点を三次元再構成による対応する再構成点と関連付け、
再構成点を各画像に投影し、
各画像について、異なる輪郭どうしの間の交差点に投影されたのでない再構成点またはその投影どうしを互いにリンクして第一のリンクの集合を提供し、オブジェクトの輪郭の少なくともある程度の部分が前記リンクされた点に基づいて決定できるようにする、
よう構成されたユニット、とを有することを特徴とする装置によって達成される。
【００１２】
本発明のある第三の側面によれば、この目的は、諸画像に関係した輪郭情報を提供するためのコンピュータプログラムプロダクトであって：
前記プログラムがコンピュータにロードされたときに、前記コンピュータをして、
相互に関係した画像の集合を取得し、
前記諸画像をセグメント化し、
前記セグメント化から少なくとも二つの輪郭を抽出し、
前記輪郭の少なくともいくつかの上で着目点を選択し、
前記抽出された輪郭について、着目点を三次元再構成による対応する再構成点と関連付け、
再構成点を各画像に投影し、
各画像について、異なる輪郭どうしの間の交差点に投影されたのでない再構成点またはその投影どうしを互いにリンクして第一のリンクの集合を提供し、オブジェクトの輪郭の少なくともある程度の部分が前記リンクされた点に基づいて決定できるようにする、
ことをさせるためのコンピュータプログラムコード手段を有するコンピュータ可読記憶媒体を有することを特徴とする、コンピュータプログラムプロダクトによって達成される。
【００１３】
有利な実施形態は従属請求項において定義される。
【発明の効果】
【００１４】
本発明は、前記関係した画像のいずれにおいてもオブジェクト全体が見えなくてもオブジェクトの完全またはほとんど完全な輪郭の取得を可能にするという利点を有する。そのさまざまな部分がすべて、前記諸画像の全体のどこかから得ることができれば十分なのである。本発明はさらに、輪郭を決定するために使われる点の数の制限を可能にする。これは、輪郭を決定するために必要とされる計算能力をかなり低く保つことを可能にする。本発明はさらに、すべての点が同様の仕方で扱われるので実装が容易である。本発明はさらに、たとえばMPEG4のような画像符号化方法と組み合わせるのに好適である。
【００１５】
このように、本発明の背後の一般的な発想は、相互に関係した画像の集合をセグメント化し、前記セグメント化から輪郭を抽出し、前記輪郭上で着目点を選択し、着目点を対応する再構成点と関連付け、画像から画像への輪郭の移動を決定し、前記再構成点を諸画像で輪郭の移動によって決まる位置に投影し、各画像について互いに異なる輪郭の間の交差点に投影されたのでない再構成点どうしをリンクすることである。このようにして、第一のリンクの集合が与えられることができ、それによりオブジェクトの輪郭の少なくともある程度の部分が前記リンクされた再構成点に基づいて決定できる。
【００１６】
これらのことを含む本発明のさまざまな側面は、以下に述べる実施形態から明らかとなり、またそれらを参照することで明快に説明されるであろう。
【発明を実施するための最良の形態】
【００１７】
本発明についてこれから添付の図面との関連で記述する。まずはいくつかの画像を示した図１Ａ〜Ｃ、本発明に基づく装置のブロック概略図を示した図５および本発明に基づく方法のフローチャートを示した図６を参照する。図５の装置１６は相互に関係した諸画像をいくつかのフレームの形で取得するカメラ１８を含んでいる。本発明をよりよく説明するため、図１Ａ〜Ｃに示されているのは、静的なシーンについての、あるフレームについて３つの異なるアングルからのカメラによって取得された三枚I1、I2、I3のみである。前記カメラはこのように画像を取り込むことによって画像を取得し（ステップ２６）、次いでそれらを画像セグメント化ユニット２０に転送する。画像セグメント化ユニット２０はフレームの形の前記諸画像をセグメント化する（ステップ２８）。セグメント化はこの例示的な実施形態では、前記諸画像の色を解析することを通じてなされる。同じ色をもつ領域がセグメントとして同定されるのである。セグメント化された画像は次いで輪郭決定ユニット２２に転送される。輪郭決定ユニットは輪郭、すなわち色の付いた領域の境界を抽出し（ステップ３０）、各画像における諸オブジェクトの輪郭上に着目点を選択する（ステップ３２）。記載されている実施形態では、着目点は検出された交差点、すなわち二つの異なる輪郭が交わる点を含むのみであるが、オブジェクトの角のようなその他の着目する点や輪郭上のランダムな点を交差点の代わりとして、あるいは追加として含んでいてもよい。図１Ａ〜Ｃでは、このことがそれぞれ画像I1、I2、I3について示されている。画像は第一のいちばん上のオブジェクト１０、やや遠くに離れた第二のオブジェクト１２およびカメラの取得点から最も遠い第三のオブジェクト１４を含んでいる。図１Ａでは、第二のオブジェクト１２の輪郭が第三のオブジェクト１４の輪郭に交わる交差点（junction  point）J1およびJ4ならびに第一のオブジェクト１０の輪郭が第二のオブジェクト１２の輪郭に交わる交差点J2およびJ3が示されている。この図では、第一のオブジェクト１０の輪郭は第三のオブジェクト１４の輪郭には交わらない。図１Ｂでは、オブジェクトは互いに対して若干移動しており、よっていくつかの新しい交差点が検出されている。第二のオブジェクト１２と第三のオブジェクト１４の輪郭が交わる交差点J5およびJ10が第二のオブジェクト１２について与えられ、第一のオブジェクト１０と第二のオブジェクト１２の輪郭が交わる交差点J6およびJ9が第一のオブジェクト１０について与えられ、第一のオブジェクト１０と第三のオブジェクト１４の輪郭が交わる交差点J7およびJ8が第一のオブジェクト１０について与えられている。図１Ｃでは、オブジェクトは互いに対してさらに移動しており、第一のオブジェクト１０と第三のオブジェクト１４だけが互いに重なり合う。ここで、第一のオブジェクト１０と第三のオブジェクト１４の輪郭が交わる交差点J11およびJ12が第一のオブジェクト１０について与えられる。
【００１８】
輪郭決定ユニット２２は、これをなし終えたとき、続いて抽出された各輪郭について着目点を対応する再構成点に関連付ける（ステップ３４）。これは、三次元再構成によって世界空間内で着目点を再構成することを通じてなされる。これはセグメントに基づく奥行き推定に従ってなされることができる。これはたとえば、F.  Ernst,  P.  Wilinski  and  K.  van  Overveld:  “Dense  structure-from-motion:  an  approach  based  on  segment  matching”,  Pro.  ECCV.  LNCS  2531,  Springer,  Copenhagen,  2002,  pp.  II217-II231によって記載されている。この文献はここに参照によって組み込まれる。しかし、これが前記を行う、現在のところ好ましいと考えられている一つの方法に過ぎないことは認識しておくべきである。他の方法も同じように可能である。前記交差点はここではいちばん上のオブジェクト、すなわち取得点に最も近いオブジェクトに「属する」ものと定義されている。これは交差点J1およびJ4は第二のオブジェクト１２に属し、交差点J2およびJ3は第一のオブジェクト１０に属するということを意味している。あるオブジェクトに関係するすべての再構成点が次いで、異なる諸画像で当該オブジェクトの見かけの移動によって、すなわち画像から画像にかけてのカメラの奥行きおよび変位に基づいて決定されるある位置に投影される（ステップ３６）。このことは図２Ａ〜Ｃにおいて示されている。ここで、交差点J1〜J12に対応する再構成点の投影P1〜P12が全画像に投影される。すべての再構成点はこうして図２Ａに示すように第一の画像I1に投影される。ここで、第一の画像以外の画像から発する再構成点は、そのオブジェクトの移動のスピードによって決定された関連付けられたオブジェクトの輪郭上に置かれている。こうして、投影P11〜P41はすべて対応する交差点J1〜J4の位置に、あるいはその近傍に置かれる。第二のオブジェクトと関連付けられた投影P51およびP101はよって、第二のオブジェクトの第二の画像I2中での位置に対応する、第一の画像I1中での位置に置かれる。一方、投影P71〜P91は第一のオブジェクトに関連付けられており、よって、該投影の第二の画像I2中での位置に対応する第一の画像I1中でのこのオブジェクト上に投影される。第三の画像I3からの投影P111およびP121も、第一のオブジェクトに「属する」ので、第三の画像I3における位置に対応する位置で第一の画像I1において第一のオブジェクトの輪郭上に投影される。この同じ手続きは次いで、画像I2および画像I3についてもなされる。すなわち、第一のオブジェクトに関連付けられた投影がこのオブジェクトの輪郭上に投影され、一方、第二のオブジェクトに関連付けられた投影はこのオブジェクトの上に投影される。このことはそれぞれ図２Ｂおよび図２Ｃにおいて示されている。その際、各画像において、交差点でない再構成点の投影は交差点である再構成点からは区別され、そのことは交差点を黒で、その他の再構成点を白とすることで示されている。
【００１９】
その後、交差点に投影されたのでない投影された再構成点が第一のリンクの集合として互いにリンクされ（ステップ３８）、交差点に投影された投影された再構成点は第二のリンクの集合として互いにリンクされる。ここで、第一の集合におけるリンクの端点である投影された再構成点は第二の集合における投影された再構成点にリンクされ、それに使われるリンクは第二の集合に含まれる。第一のリンクの集合はしっかり定義されたリンクを含むものと考えられる。すなわち、しっかり定義され、どの輪郭に属しているかに関して疑問がない点のみを結ぶリンクを含むものである。第二のリンクの集合はしっかり定義されていないリンクを含むものと考えられる。すなわち、そのリンクの少なくとも一点がしっかり定義されていないような点を結ぶリンクを含むものである。つまり、そのような点がどの輪郭に属しているかは直接的には明らかでないのである。ここで、リンクは異なる諸画像の二次元領域において実行される。このことは、図２Ａ〜Ｃにおいて示された画像について図３Ａ〜Ｃにおいて示されている。図３Ａでは、投影された再構成点P71およびP81は第一の集合におけるリンクを用いて互いにリンクされており、投影された再構成点P111およびP121は第一の集合におけるリンクを用いて互いにリンクされている。また、投影された再構成点P61およびP91、また同様に投影された再構成点P111およびP121のリンクは第一の集合のものである。これらのリンクは、交差点に投影されたのではない再構成点どうしの間のものであるからである。第一の集合のこれらのリンクは実線で示されている。投影された再構成点P11は投影された再構成点P41、投影された再構成点P51および投影された再構成点P101にリンクされている。投影された再構成点P51は投影された再構成点P21にもリンクされており、該再構成点P21は今度は投影された再構成点P71およびP61にリンクされている。投影された再構成点P31は投影された再構成点P81、P91、P41とリンクされている。この点P41はさらに投影された再構成点P101にリンクされている。これらすべての後半のリンクはしっかり定義されていないリンクからなる第二の集合であり、破線で示されている。
【００２０】
同様にして、図３Ｂでは、画像I2についてしっかり定義されたリンクの第一の集合が与えられる様子を示している。ここでは投影された再構成点P112が投影された再構成点P122に第一の集合のリンクを用いてリンクされており、これは実線で示されている。投影された再構成点P12は投影された再構成点P52および投影された再構成点P102にリンクされている。投影された再構成点P52は投影された再構成点P62および投影された再構成点P72にもリンクされる。投影された再構成点P62は投影された再構成点P112およびP22にリンクされ、投影された再構成点P72はやはり投影された再構成点P22にリンクされており、また投影された再構成点P82にリンクされている。投影された再構成点P82はさらに投影された再構成点P32および投影された再構成点P102にリンクされている。投影された再構成点P32はさらに投影された再構成点P９2にリンクされており、該点P92は投影された再構成点P122およびP42にもリンクされている。投影された再構成点P42は投影された再構成点P102にリンクされている。これらすべての後半のリンクはしっかり定義されていない第二の集合のリンクであり、破線で示されている。
【００２１】
同様にして、図３Ｃでは、画像I3について第一の集合のしっかり定義されたリンクを示している。ここでは投影された再構成点P13が投影された再構成点P103およびP53にリンクされており、この後者P53は投影された再構成点P43にもリンクされている。投影された再構成点P43は投影された再構成点P103にもリンクされている。投影された再構成点P73は投影された再構成点P83および投影された再構成点P23にリンクされており、該P23は今度は投影された再構成点P63にリンクされている。投影された再構成点P83は投影された再構成点P33にもリンクされており、該P33は今度は投影された再構成点P93にもリンクされている。これらすべてのリンクはよってしっかり定義され、第一の集合において与えられているものであり、そのことは投影された再構成点の間の実線によって示されている。投影された再構成点P113は投影された再構成点P123に２本のリンクによってリンクされており、その第一は第一のオブジェクトの輪郭に関連付けられており、その第二は第三のオブジェクトの輪郭と関連付けられている。P113はまた投影された再構成点P63にもリンクされている。投影された再構成点P123は投影された再構成点P93にもリンクされている。これらすべての後半のリンクはしっかり定義されていない第二の集合のリンクであり、破線で示されている。
【００２２】
これで第一の集合のリンクを使って、オブジェクトの輪郭を復元することができるが、第二のリンクの集合もオブジェクトの輪郭を確立するのを助けることのできる情報を含んでいる。ここで、オブジェクトの完全な輪郭を得るためには第一の集合のリンクはそれらを組み合わせることを通じて使われるべきである。このことは、世界空間における再構成点を用いてなされる。この組み合わせは図４Ａ〜Ｄに示されている。図４Ａは図３Ａにおける第一の集合に基づくリンクを示しており、図４Ｂは図３Ｂにおける第一の集合に基づくリンクを示しており、図４Ｃは図３Ｃにおける第一の集合に基づくリンクを示している。輪郭情報を得るため、第一の集合のリンクはこのように組み合わされ（ステップ４０）、それにより第一および第二のオブジェクトの完全な輪郭を得ることが可能になる。このことは図４Ｄにおいて示されている。ここでは、再構成点（reconstructed  point）R7、R2、R6、R11、R12、R9、R3、R8が第一のオブジェクトの輪郭を確立するために組み合わされ、再構成点R1、R5、R4、R10は第二のオブジェクトの輪郭を確立するために組み合わされている。図４Ｄにおいて見て取れるように、この場合、第一および第二のオブジェクトの輪郭全体が決定される。
【００２３】
こうして得られたリンクは次いで画像I1〜I3とともに輪郭決定ユニット２２から符号化ユニット２４に転送される。符号化ユニット２４はこの輪郭情報を、ビデオストリームを符号化して三次元ビデオストリームにするのに使用する（ステップ４２）。該符号化はオブジェクトベースの圧縮を使った構造化されたビデオフレームワークにおいて実行され、たとえばMPEG4などでありうる。この場合、リンクされた再構成点は次いでビデオオブジェクト面の境界を導出するために使用されることができる。符号化された諸画像は次いで装置１６から信号ｘとして取り出すことができる。
【００２４】
場合によっては、第一の集合に基づくしっかり定義された点の間に二つ以上のリンクが与えられることもできる。この場合、通常の慣行は、そのようなリンクを３つ以上もつ投影された再構成点を破棄して、しっかり定義された投影された再構成点へのリンクが２つ以下の点のみを保持することである。
【００２５】
生じうるもう一つの場合は、投影された再構成点が所与の画像内で重なり合うことがありうるということである。この場合、リンクはしっかり定義されたものではなくなり、よってそれらの点は第一の集合内では与えられない。
【００２６】
生じうるもう一つの場合は、再構成点があるシーン内の実際の交点に対応しうるということである。たとえばテクスチャーまたは立方体の角のような場合である。この場合、これらの点は自然な交差点であり、ほとんどまたはすべての画像において現れるはずであると考えられる。そのような再構成点がほとんどのフレームにおいて一貫して交差点に投影されるときは、それらはしたがって自然な交差点であると考えられることになる。これらの自然な交差点はよってしっかり定義された再構成点であると考えられ、またオブジェクトの輪郭を確立するために、第一のリンクの集合内で与えられる。
【００２７】
もう一つの場合は、投影された再構成点が画像内でそれに接続された輪郭をもたないという場合である。このとき、それは当該画像において隠蔽されているといわれる。このとき、この投影された再構成点に関係するしっかり定義されたいかなるリンクも、少なくとも部分的に当該画像中で隠蔽されている。
【実施例】
【００２８】
前記デバイスの多くのユニット、特に画像セグメント化ユニットおよび輪郭決定ユニットは好ましくは一つまたは複数のプロセッサの形で、本発明に基づく方法を実行するためのプログラムコードを含むための対応するプログラムメモリとともに提供される。前記プログラムコードはまたコンピュータプログラムプロダクト上で提供されることもできる。該コンピュータプログラムプロダクトの一つが図７にCD-ROMディスク４４の形で示されている。これはほんの一例であり、その他さまざまな種類のコンピュータプログラムプロダクトも同じように実用可能である。たとえば、図示したもの以外の種類および形状のディスクまたはメモリースティックなどのようなその他の種類のコンピュータプログラムプロダクトのようなものである。前記プログラムコードはさらにサーバーからおそらくはインターネットを経由してエンティティにダウンロードされることもできる。
【００２９】
本発明を用いることで得られる利点がいくつかある。オブジェクトの完全な輪郭を得ることが、たとえオブジェクト全体が関係する画像のいずれにおいても完全に見えなくても可能となる。そのさまざまな部分がすべて諸画像の全体のどこかから得ることができれば十分なのである。限られた数の点、記載された実施形態では交差点のみが使われるため、輪郭を決定するために必要とされる計算能力をかなり低く保つことができる。本発明はさらに、すべての点が同様の仕方で扱われるので実装するのも容易である。本発明はさらに、正しく再構成されなかった点その他の特異点が容易に同定して補正できるので堅牢である。前述したように、本発明はさらに、MPEG4と組み合わせるのに好適である。
【００３０】
本発明になすことのできるいくつかの変形がある。カメラを含んでいる必要はない。本発明に基づく装置はたとえば、相互に関係した画像をメモリまたは外部カメラのような別のソースから受け取ることもできる。前述したように、着目点は交差点である必要はなく、輪郭上の他の点であることもできる。第一および第二のリンクの集合の提供は、諸画像の二次元空間における投影された再構築点に関して与えた。少なくとも第一のリンクの集合および可能性としては第二のリンクの集合を再構成点の三次元の世界空間において直接的に与えることも同様に可能である。さらに、厳密に着目点を再構成点と関連付ける時点において輪郭（上の点）の奥行きを決定することは必要でなく、たとえばセグメント化を実行するときなど、より早く行ってもよい。さらに、シーンからシーンにかけてのオブジェクトの動きにも基づく技法を使うことも可能である。本発明はさらに、MPEG4に限定されるものではなく、他のオブジェクトベースの圧縮アプリケーションにおいても適用できる。よって、本発明は請求項によってのみ限定されるものである。
【図面の簡単な説明】
【００３１】
【図１Ａ】互いに重なり合う異なるオブジェクトの間でいくつかの交差点が検出された第一の画像を示す図である。
【図１Ｂ】諸オブジェクトが互いに対して移動しており、いくつかの交差点が検出された、図１Ａと同じオブジェクトを示す第二の画像を示す図である。
【図１Ｃ】諸オブジェクトが互いに対してさらに移動しており、いくつかの交差点が検出された、図１Ａおよび１Ｂと同じオブジェクトを示す第三の画像を示す図である。
【図２Ａ】三枚の画像のすべての交差点に対応する再構成点が投影された前記第一の画像を示す図である。
【図２Ｂ】三枚の画像のすべての交差点に対応する再構成点が投影された前記第二の画像を示す図である。
【図２Ｃ】三枚の画像のすべての交差点に対応する再構成点が投影された前記第一の画像を示す図である。
【図３Ａ】点が第一および第二の集合のリンクでリンクされている、図２Ａの投影された再構成点を示す図である。
【図３Ｂ】点が第一および第二の集合のリンクでリンクされている、図２Ｂの投影された再構成点を示す図である。
【図３Ｃ】点が第一および第二の集合のリンクでリンクされている、図２Ｃの投影された再構成点を示す図である。
【図４Ａ】図３Ａの第一の集合のリンクにおける再構成点を示す図である。
【図４Ｂ】図３Ｂの第一の集合のリンクにおける再構成点を示す図である。
【図４Ｃ】図３Ｃの第一の集合のリンクにおける再構成点を示す図である。
【図４Ｄ】図４Ａ〜Ｃの第一の集合のリンクを組み合わせてオブジェクトのうちの二つについての完全な輪郭を与える様子を示す図である。
【図５】本発明に基づく装置のブロック概略図である。
【図６】本発明に基づく方法を実行するためのフローチャートである。
【図７】本発明に基づく方法を実行するためのプログラムコードを有するコンピュータプログラムプロダクトを示す図である。
【図１Ａ】
2007518157.tif 000003
【図１Ｂ】
2007518157.tif 000004
【図１Ｃ】
2007518157.tif 000005
【図２Ａ】
2007518157.tif 000006
【図２Ｂ】
2007518157.tif 000007
【図２Ｃ】
2007518157.tif 000008
【図３Ａ】
2007518157.tif 000009
【図３Ｂ】
2007518157.tif 000010
【図３Ｃ】
2007518157.tif 000011
【図４Ａ】
2007518157.tif 000012
【図４Ｂ】
2007518157.tif 000013
【図４Ｃ】
2007518157.tif 000014
【図４Ｄ】
2007518157.tif 000015
【図５】
2007518157.tif 000016
【図６】
2007518157.tif 000017
【図７】
2007518157.tif 000018
【国際調査報告】
2007518157.tif 000019
2007518157.tif 000020