(57)【要約】画像のそれぞれの画素について、ビューアまでの距離を表す奥行き値を有する奥行きマップ（１２２）を生成する方法について開示している。その方法は、画像（１００）の画素値に基づいて輪郭（１０６）を決定する段階であって、輪郭は近傍点の集合を有する、段階と、画像（１００）の画素値に基づいて輪郭（１０６）を決定する段階と、複数の点において曲率ベクトルを計算する段階と、曲率ベクトルに基づいて画素の第１の一に対応する奥行き値の第１の一を割り当てる段階とを有する。
2007529070.tif 000002
【特許請求の範囲】
【請求項１】
画像のそれぞれの画素について、ビューアまでの距離を表す奥行き値を有する奥行きマップを生成する方法であって：
前記画像の画素値に基づいて輪郭を決定する段階であって、前記輪郭は近傍点の集合を有する、段階；
複数の点において曲率ベクトルを計算する段階；及び
前記曲率ベクトルに基づいて前記画素の第１の一に対応する前記奥行き値の第１の一を割り当てる段階；
を有する奥行きマップを生成する方法。
【請求項２】
請求項１に記載の奥行きマップを生成する方法であって、奥行き値の第１の一を割り当てる段階は、前記それぞれの曲率ベクトルに基づいて奥行き微分を計算する段階と、前記奥行き微分の第１の一に基づいて前記奥行き値の第１の一を計算する段階とを有する、奥行きマップを生成する方法。
【請求項３】
請求項２に記載の奥行きマップを生成する方法であって、前記奥行き微分の第１の一のサイズは前記曲率ベクトルの第１の一の長さに基づいて計算される、奥行きマップを生成する方法。
【請求項４】
請求項２に記載の奥行きマップを生成する方法であって、前記奥行き微分の第１の一の方向は前記曲率ベクトルの第１の一の方向に基づいて計算される、奥行きマップを生成する方法。
【請求項５】
請求項１に記載の奥行きマップを生成する方法であって：
前記曲率ベクトルに基づいて平均ベクトルの集合を計算する段階であって、前記平均ベクトルは互いに等しい長さを有する、段階；及び
前記平均ベクトルに基づいて、前記画素の第１の一に対応する前記奥行き値の第１の一を割り当てる段階；
を更に有する奥行きマップを生成する方法。
【請求項６】
請求項５に記載の奥行きマップを生成する方法であって、前記の平均ベクトルの集合は平行移動により計算される、奥行きマップを生成する方法。
【請求項７】
請求項５に記載の奥行きマップを生成する方法であって、奥行き値の第１の一を割り当てる段階は、それぞれの平均ベクトルに基づいて前記奥行き微分を計算する段階と、奥行き微分の第１の一に基づいて前記奥行き値の第１の一を計算する段階とを有する、奥行きマップを生成する方法。
【請求項８】
請求項７に記載の奥行きマップを生成する方法であって、前記奥行き微分の第１の一のサイズは前記平均ベクトルの第１の一の長さに基づいて計算される、奥行きマップを生成する方法。
【請求項９】
請求項７に記載の奥行きマップを生成する方法であって、前記奥行き微分の第１の一の方向は前記平均ベクトルの第１の一の方向に基づいて計算される、奥行きマップを生成する方法。
【請求項１０】
画像のそれぞれの画素について、ビューアまでの距離を表す奥行き値を有する奥行きマップを生成するための奥行きマップ生成ユニットであって：
前記画像の画素値に基づいて輪郭を決定するための決定手段であって、前記輪郭は近傍点の集合を有する、決定手段；
複数の点において曲率ベクトルを計算するための計算手段；及び
前記曲率ベクトルに基づいて前記画素の第１の一に対応する前記奥行き値の第１の一を割り当てるための割り当て手段；
を有する奥行きマップ生成ユニット。
【請求項１１】
画像処理装置であって：
画像に対応する信号を受信するための受信手段；及び
請求項１に記載の奥行きマップを生成するため４の奥行きマップ生成ユニット；
を有する画像処理装置。
【請求項１２】
画像のそれぞれの画素について、ビューアまでの距離を表す奥行き値を有する奥行きマップを生成するための指令を有する、コンピュータ構成によりロードされるべきコンピュータプログラムであって、ローディングされた後に、前記コンピュータプログラムは：
前記画像の画素値に基づいて輪郭を決定することであって、前記輪郭は近傍点の集合を有する、輪郭を決定すること；
複数の点において曲率ベクトルを計算すること；及び
前記曲率ベクトルに基づいて前記画素の第１の一に対応する前記奥行き値の第１の一を割り当てること；
を実行する能力を有する前記処理手段を備えている、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像のそれぞれの画素について、ビューアまでの距離を表す奥行き値を有する奥行きマップを生成する方法に関する。
【０００２】
本発明は、画像のそれぞれの画素について、ビューアまでの距離を表す奥行き値を有する奥行きマップを生成するための奥行きマップ生成ユニットに更に関する。
【０００３】
本発明は、画像処理装置であって、
−  画像に対応する信号を受信するための受信手段と、
−  奥行きマップを生成するためのそのような奥行きマップ生成ユニットと、
を有する画像処理装置に更に関する。
【背景技術】
【０００４】
マルチビュー表示装置において三次元の印象を得るためには、異なる仮想ビューポイントからの画像がレンダリングされなければならない。これは、複数の入力ビュー、一部の３Ｄ又は奥行き情報が存在することを必要とする。この奥行き情報は、レンダリングされ、マルチビューのカメラシステムから生成され、又は従来の２Ｄビデオ素材から生成されることが可能である。２Ｄビデオから奥行き情報を生成するためには、例えば、動きからの構造、焦点情報、幾何学的形状及び動的咬合のような幾つかの種類の奥行きキューを適用する。その目的は、密な奥行きマップ、即ち、画素毎の奥行き値を生成することである。この奥行きマップは、ビューアに奥行きの印象を与えるようにマルチビュー画像のレンダリングにおいて実質的に用いられる。文献“Ｓｙｎｔｈｅｓｉｓ  ｏｆ  ｍｕｌｔｉ  ｖｉｅｗｐｏｉｎｔ  ｉｍａｇｅｓ  ａｔ  ｎｏｎ−ｉｎｔｅｒｍｅｄｉａｔｅ  ｐｏｓｉｔｉｏｎｓ”，ｂｙ  Ｐ．Ａ．Ｒｅｄｅｒｔ，Ｅ．Ａ．Ｈｅｎｄｒｉｋｓ  ａｎｄ  Ｊ．Ｂｉｅｍｏｎｄ，ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ａｃｏｕｓｔｉｃ，Ｓｐｅｅｃｈ，ａｎｄ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．ＩＶ，ＩＳＢＮ０−８１８６−７９１９−０，Ｐｐａｇｅｓ  ２７４９−２７５２Ｉ，ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ，Ｌｏｓ  Ａｌａｍｉｔｏｓ，Ｃａｌｉｆｏｒｎｉａ，１９９７において、奥行き情報を抽出し、入力画像及び奥行きマップに基づいてマルチビュー画像をレンダリンスする方法について開示されている。
【非特許文献１】Ｓｙｎｔｈｅｓｉｓ  ｏｆ  ｍｕｌｔｉ  ｖｉｅｗｐｏｉｎｔ  ｉｍａｇｅｓ  ａｔ  ｎｏｎ−ｉｎｔｅｒｍｅｄｉａｔｅ  ｐｏｓｉｔｉｏｎｓ”，ｂｙ  Ｐ．Ａ．Ｒｅｄｅｒｔ，Ｅ．Ａ．Ｈｅｎｄｒｉｋｓ  ａｎｄ  Ｊ．Ｂｉｅｍｏｎｄ，ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ａｃｏｕｓｔｉｃ，Ｓｐｅｅｃｈ，ａｎｄ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．ＩＶ，ＩＳＢＮ０−８１８６−７９１９−０，Ｐｐａｇｅｓ  ２７４９−２７５２Ｉ，ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ，Ｌｏｓ  Ａｌａｍｉｔｏｓ，Ｃａｌｉｆｏｒｎｉａ，１９９７
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、新しい奥行きキューに基づく、冒頭の段落で説明した種類の方法を提供することである。
【課題を解決するための手段】
【０００６】
このような本発明の目的は、方法が、
−  画像の画素値に基づいて輪郭を決定する段階であって、輪郭は近傍点の集合を有する、段階と、
−  複数の点において曲率ベクトルを計算する段階と、
−  曲率ベクトルに基づいて、画素の第１の一に対応する奥行き値の第１の一を割り当てる段階と、
を有することで達成される。
【０００７】
本発明の背後にある論拠は、殆どのオブジェクトは球形トポロジーを有する、即ち、それらは、画像において少なくとも関連性がある大きさで穴を有しないことである。このことは、地面、人間、電話、自動車等に適用できる。それ故、オブジェクトの輪郭の曲率に基づいて、関連奥行き順序を決定することができる。可視的なオブジェクトは背景に比べてビューアの近くにある。そのことは、輪郭内の、即ち、オブジェクトの外形に対応する画像領域の画素は、輪郭の外側にある画素に比べて小さい奥行き値を割り当てられる必要があることを意味する。相対的に小さい奥行き値は、対応するオブジェクトは相対的にビューアに近いことを意味する。輪郭の内側及び外側にあるものを決定することは曲率ベクトルに基づいている。曲率ベクトルは奥行きを減少させる方に向いている。
【０００８】
画素値に基づいて輪郭を決定するための画像処理の分野においては幾つかの既知の技術が存在している。画素値は色及び／又は輝度値を意味する。輪郭は、例えば、エッジ検出、均一性計算により、又は時間的なフィルタリングに基づいて決定されることが可能である。輪郭は閉じていない又は閉じていることが可能である。
【０００９】
曲線の曲率ベクトルを計算することは、数学では既知の技術である。この場合、曲線は輪郭である。曲線の特定点の曲率ベクトルの特性は、その方向がその特定点における局所的曲線部分に対して垂直であることである。曲線の特定点の曲率ベクトルの他の特性は、その長さが、特定点と近傍点との間の第１線部分と、特定点と他の近傍点との間の第２線部分との間の角度に関係していることである。
【００１０】
好適には、奥行き値の第１の一を割り当てることは、それぞれの曲率ベクトルに基づいて奥行き微分を計算することと、奥行き微分の第１の一に基づいて奥行き値の第１の一を計算することとを有する。奥行き微分に基づいて奥行き値を計算することについては、“Ｆｕｌｌ  Ｄｅｐｔｈ  Ｍａｐ  Ａｃｑｕｉｓｉｔｉｏｎ”と題された特許出願において記載されている。この特許出願は欧州特許第０３１０００９２．０号明細書である。奥行き微分の第１の一を計算するために、次のことが適用される。
−  奥行き微分の第１の一のサイズは曲率ベクトルの第１位の一の長さに基づいて計算される。
−  奥行き微分の第１の一の方向は曲率ベクトルの第１の一の方向に基づいて計算される。
【００１１】
他の奥行き微分の計算は同様のルールに基づいている。
【００１２】
本発明にしたがった方法の実施形態は、更に次の段階を有する。
−  曲率ベクトルに基づいて平均ベクトルの集合を計算する段階であって、その平均ベクトルは互いに等しい長さを有する、段階。
−  平均ベクトルに基づいて画素の第１の一に対応する奥行き値の第１の一を割り当てる段階。
【００１３】
図１に示すように、円は一定の曲率を、それ故、環境に対してその境界に沿って一定の奥行き微分を与える。四角形は、しかしながら、非常に不均一は奥行き微分であって、角で最大であり、それ以外の全ての部分でゼロである、奥行き微分を与える。同じオブジェクトに属す画素について互いに等しい奥行き値を得るためには、一部の曲率ベクトルのスムージングが必要である。そのことは、輪郭の曲率ベクトルが新しい平均ベクトルに変換されることを意味する、続いて、それらの平均ベクトルは、奥行き微分を、そして続いて奥行き値を計算するために適用される。
【００１４】
好適には、平均ベクトルの集合は平行移動により計算される。
【００１５】
好適には、奥行き値の第１の一を割り当てる段階は、それぞれの平均ベクトルに基づいて奥行き微分を計算する段階と、奥行き微分の第１の一に基づいて奥行き値の第１の一を計算する段階とを有する。それ故、奥行き微分の第１の一を計算するために、次のようなものが適用される。
−  奥行き微分の第１の一のサイズは平均ベクトルの第１の一の長さに基づいて計算される。
−  奥行き微分の第１の一の方向は平均ベクトルの第１の一の方向に基づいて計算される。
【００１６】
他の奥行き微分の計算は同様のルールに基づいている。
【００１７】
任意に平均ベクトルに基づいて、曲率ベクトルに基づく奥行き値は、例えば、上記引用文献に記載されているようなマルチビュー画像をレンダリングするための奥行き値として、直接、用いられることが可能である。好適には、本発明にしたがった奥行き値は、上記のような代替の奥行きに基づく他の奥行き値と組み合わされる。
【００１８】
本発明の他の目的は、新しい奥行きキューに基づく、冒頭の段落に記載している種類の奥行きマップ生成ユニットを提供することである。
【００１９】
この本発明の目的は、生成ユニットが：
−  画像の画素値に基づいて輪郭を決定するための決定手段であって、輪郭は近傍点の集合を有する、決定手段；
−  複数の点で曲率ベクトルを計算するための計算手段；及び
−  曲率ベクトルに基づいて画素の第１の一に対応する奥行き値の第１の一を割り当てるための割り当て手段；
を有する点で達成される。
【００２０】
本発明の他の目的は、新しい奥行きキューに基づいて奥行きマップを生成するように備えられている、冒頭の段落に記載している種類の奥行きマップ生成ユニットを有する画像処理装置を提供することである。
【００２１】
この本発明の目的は、生成ユニットが：
−  画像の画素値に基づいて輪郭を決定するための決定手段であって、輪郭は近傍点の集合を有する、決定手段；
−  複数の点で曲率ベクトルを計算するための計算手段；及び
−  曲率ベクトルに基づいて画素の第１の一に対応する奥行き値の第１の一を割り当てるための割り当て手段；
を有する点で達成される。
【００２２】
本発明の他の目的は、新しい奥行きキューに基づく、冒頭の段落に記載している種類のコンピュータプログラムプロダクトを生成することである。
【００２３】
この本発明の目的は、コンピュータプログラムプロダクトが、ロードされる前に、
−  画像の画素値に基づいて輪郭を決定することであって、輪郭は近傍点の集合を有する、輪郭を決定することと；
−  複数の点で曲率ベクトルを計算することと；
−  曲率ベクトルに基づいて画素の第１の一に対応する奥行き値の第１の一を割り当てることと；
を実行する能力を有する前記処理手段を備えている点で達成される。
【００２４】
奥行きマップ生成ユニットの修正及び変形は、上記の画像処理装置、方法及びコンピュータプログラムプロダクトに対応することが可能である。
【００２５】
本発明にしたがった画像処理装置、方法及びコンピュータプログラムプロダクトの奥行きマップ生成ユニットの上記特徴及び他の特徴は、以下、添付図面を参照して詳述する実施形態に関連して明らかになり、理解することができる。
【００２６】
同じ参照番号は全部の図を通して同じ部分を示すように用いられている。
【発明を実施するための最良の形態】
【００２７】
図１Ａは、画像１００と、本発明にしたがった方法により生成された対応する奥行きマップとを模式的に示している。図１は、第１オブジェクト１０４を表す画像１００と、第１オブジェクト１０４の背後に位置している第２オブジェクト１０２とを示している。背景は１つ又はそれ以上のオブジェクト、例えば、空、森又は牧草地により構成されることに留意する必要がある。
【００２８】
図１Ａは、第１オブジェクト１０４に対応する奥行き値の第１グループ１１６を有する奥行きマップ１２２を示し、第２オブジェクト１０２に対応する奥行き値の第２グループ１１８を有する。奥行き値の第１グループの奥行き値は、奥行き値の第２グループ１１８の奥行き値より小さく、そのことは、第１オブジェクト１０４が、第２オブジェクト１０２に比べて、画像１００に基づくマルチビュー画像に又は画像１００のビューアにより近いことを意味する。
【００２９】
奥行きマップ１２２は、本発明にしたがった方法に基づいて生成される。奥行き値の生成のために、次のステップが実行される。
Ａ．輪郭１０６は画像１００の画素値に基づいて決定される。この場合、輪郭１０６は第１オブジェクト１０４のエッジに対応する。その輪郭はエッジ検出により認識される。輪郭１０６は隣接する点の集合を有する。それらの隣接ポイントは画素の座標に対応することが可能である。代替として、それらの点は、画像１００の画素マトリクスに関して浮動小数点で表される。
Ｂ．曲率ベクトル１０８乃至１１４は、複数の集合された点について計算される。典型的には、特定の曲率ベクトル１１２が、特定点１２６の座標及び近傍点１２４及び１２８のそれぞれの座標に基づいて特定点１２６について計算される。図１Ｂに関連する説明を参照されたい。
Ｃ．奥行き微分が、曲率ベクトル１０８乃至１１４に基づいて計算される。奥行き微分の値はそれぞれの曲率ベクトルの長さに関連し、奥行き微分の方向はそれぞれの曲率ベクトルの方向に基づいている。式１では、点ｐについての奥行き微分
【００３０】
【数１】
2007529070.tif 000003
が、点ｐについて対応する曲率ベクトル
【００３１】
【数２】
2007529070.tif 000004
に基づいてどのように計算されるかを定める。値αは定数である。
【００３２】
【数３】
2007529070.tif 000005
奥行き微分に基づいて奥行き値の計算のために図１Ｃに関連する説明を参照されたい。
【００３３】
図１Ｂは、輪郭１０６の位置と、この輪郭１０６の位置に属す特定の曲率ベクトル１１２とを模式的に示している。輪郭１０６は、３つの点１２４、１２６、１２８が図１Ｂに示されている近傍点の集合を有する。特定の曲率１１２の方向は、特定点１２６における輪郭の一部に対して直交している。特定点１２６の特定の曲率ベクトル１１２の他の特性は、その長さが、特定点１２６及び近傍点１２４の間の第１線と、特定点１２６及び他の近傍点１２８の間の第２線との間の角度に関係することである。
【００３４】
図１Ｃは、奥行き微分に基づく奥行き値の計算、特に、点ｐ１２６についての対応する曲率ベクトル
【００３５】
【数４】
2007529070.tif 000006
に基づく特定点ｐ１２６について決定された特定の奥行き微分
【００３６】
【数５】
2007529070.tif 000007
に基づく第１画素１４２に対応する第１奥行き値の計算について模式的に示している。この奥行き値の計算は、欧州特許第０３１０００９２．０号明細書に記載されていることにしたがっている。その特定の奥行き微分の値は
【００３７】
【数６】
2007529070.tif 000008
であり、即ち、長さは３であり、曲率ベクトルに対して反対の方向を有する。元々の画素１４０について、奥行き値は、この場合、１０に等しい、適切に選択された所定のオフセット奥行き値に設定されている。第１画素１４２に対応する第１奥行き値の計算は比較的容易であり、即ち、１０−３＝７である。
【００３８】
図２は、曲率ベクトル２０２乃至２１６に基づく、平均ベクトル２２２乃至２３６の計算を示している。その計算は次のステップを有する。
Ｄ．輪郭１０６は直線２０８に非曲線化される。非曲線化の間、曲率ベクトル２０２乃至２１６の長さ及びそれらの輪郭１０６に対する方向は維持される。定義により、非曲線化された曲率ベクトルの点は上向きか又は下向きである。そのことは、それら曲率ベクトルの各々は実数により表されることができることを意味する。
Ｅ．次いで、非曲線化された曲率ベクトル、即ち、実数が集められ、曲率ベクトルの数又は所定の定数値（例えば、２π）により任意に除算され、その結果、平均ベクトル２２２乃至２３６が得られる。
Ｆ．次いで、元々の曲率ベクトル２０２乃至２１６は平均ベクトル２２２乃至２３６で置き換えられる。平均ベクトル２２２乃至２３６は次のような特性を有する。
−  平均ベクトル全ては同じ長さを有する。
−  それらの各々は、局所的曲線部分に対して直角に方向付けられている。
−  それらの各々は、対応する元々の曲率ベクトルに対して平行に方向付けられている。
そのことは、各々が同じ方向又は逆方向を向いていることを意味する。
【００３９】
図３は、他の画像３００と、本発明にしたがった方法により生成された対応する奥行きマップ３２４とを模式的に示している。図３は、第１オブジェクト１０４即ち円形オブジェクトと、第１オブジェクト１０４の後に位置している第３オブジェクト１０５即ち四角形オブジェクトと、第２オブジェクト１０２、即ち、第３オブジェクト１０５の後に位置している背景とを示している。
【００４０】
図３は、第１オブジェクト１０４に対応する奥行き値の第１グループ３２８を有する奥行きマップ３２４を示し、第２オブジェクト１０２に対応する奥行き値の第２グループ３２７を有する。奥行きマップ３２４は、第３オブジェクト１０５に対応する奥行き値の第３グループ３２６を更に有する。奥行き値の第１グループ３２８の奥行き値は奥行き値の第２グループ３２７の奥行き値より小さく、そのことは、第１オブジェクト１０４が、第２オブジェクト１０２に比べて、画像３００のビューア又は画像３００に基づくマルチビュー画像に近いことを意味する。
【００４１】
奥行きマップ３２４は本発明にしたがった方法に基づいて生成される。奥行き値の生成に対して、次のステップが実行される。
Ａ．３つの開放された輪郭３０２乃至３０６が、画像３００の画素値に基づいて決定される。この場合、第１輪郭３０２は第１オブジェクト１０４のエッジの一部に対応し、第２輪郭３０４は第３オブジェクト１０５のエッジの一部に対応し、第３輪郭３０６は第１オブジェクトのエッジの他の一部に対応する。それらの３つの開放輪郭３０２乃至３０６は、Ｔ字型接合部の検出により後続されるエッジ検出に基づいて決定される。
Ｂ．次いで、曲率ベクトル３０８乃至３１２の集合がそれぞれの開放された輪郭３０２乃至３０６について計算される。図から分かるように、第２輪郭３０４に対応する曲率ベクトル３１０は相対的に大きい。
Ｅ．次いで、平均ベクトル３１８乃至３２２の集合が、図２に関連して説明するように、曲率ベクトル３０８乃至３１２のそれぞれの集合について計算される。
Ｃ．次いで、奥行き微分が平均ベクトル３１８乃至３２２に基づいて計算される。奥行き微分の値はそれぞれの平均ベクトルの長さに関係し、奥行き微分の方向はそれぞれの平均ベクトルの方向に基づいている。奥行き値は、欧州特許第０３１０００９２．０号明細書に開示されているような奥行き微分に基づいて計算される。式２においては、点ｐについての奥行き微分
【００４２】
【数７】
2007529070.tif 000009
が点ｐについての対応する平均ベクトル
【００４３】
【数８】
2007529070.tif 000010
に基づいてどのように計算されるかが特定される。値αは定数である。
【００４４】
【数９】
2007529070.tif 000011
図４は、本発明にしたがった奥行きマップ生成ユニット４０１を有するマルチビュー画像生成ユニット４００を示している。マルチビュー画像生成ユニット４００は、ビデオ画像のシーケンスに基づいてマルチビュー画像のシーケンスを生成するように備えられている。マルチビュー画像生成ユニット４００は、入力コネクタ４０８においてビデオ画像のストリームを供給され、出力コネクタ４１０及び４１２のそれぞれにおいてビデオ画像の２つの相関ストリームを供給する。それらの映像画像の２つの相関ストリームは、ビデオ画像の相関ストリームの第１の一に基づく第１の一連のビューを視覚化し、ビデオ画像の相関ストリームの第２の一に基づく第２の一連のビューを視覚化するように備えられているマルチビュー表示装置に供給されるようになっている。ユーザ、即ち、ビューアが、彼の左目で第１の一連のビューを、そして彼の右目で第２の一連のビューを観測する場合、彼は三次元の印象に気付く。そのことは、ビデオ画像の相関ストリームの第１の一が、受信されたままの一連のビデオ画像に対応すること、そして、ビデオ画像の相関ストリームの第２の一が、受信されたままの一連のビデオ画像に基づいてレンダリングされることである。好適には、ビデオ画像の両方のストリームは受信されたままの一連のビデオ画像に基づいてレンダリングされる。レンダリングについては、例えば、文献“Ｓｙｎｔｈｅｓｉｓ  ｏｆ  ｍｕｌｔｉ  ｖｉｅｗｐｏｉｎｔ  ｉｍａｇｅｓ  ａｔ  ｎｏｎ−ｉｎｔｅｒｍｅｄｉａｔｅ  ｐｏｓｉｔｉｏｎｓ”，ｂｙ  Ｐ．Ａ．Ｒｅｄｅｒｔ，Ｅ．Ａ．Ｈｅｎｄｒｉｋｓ  ａｎｄ  ＪＢｉｅｍｏｎｄ，ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ａｃｏｕｓｔｉｃ，Ｓｐｅｅｃｈ，ａｎｄ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．ＩＶ，ＩＳＢＮ０−８１８６−７９１９−０，Ｐｐａｇｅｓ  ２７４９−２７５２Ｉ，ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ，Ｌｏｓ  Ａｌａｍｉｔｏｓ，Ｃａｌｉｆｏｒｎｉａ，１９９７に記載されている。代替として、レンダリングについては、文献“Ｈｉｇｈ−ｑｕａｌｉｔｙ  ｉｍａｇｅｓ  ｆｒｏｍ  ２．５Ｄ  ｖｉｄｅｏ”，ｂｙ  Ｒ．Ｐ．Ｂｅｒｒｅｔｔｙ  ａｎｄ  Ｆ．Ｅ．Ｅｒｎｓｔ，ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  Ｅｕｒｏｇｒａｐｈｉｃｓ，Ｇｒａｎａｄａ，２００３，Ｓｈｏｒｔ  Ｎｏｔｅ  １２４に記載されている。
【００４５】
マルチビュー画像生成ユニット４００は、
−  画像における遷移に基づいてそれぞれの入力画像のための奥行きマップを生成するための奥行きマップ生成ユニット４０１と、
−  入力画像とそれぞれの奥行きマップに基づいてマルチビュー画像をレンダリングするためのレンダリングユニット４０６であって、それぞれの奥行きマップは奥行きマップ生成ユニット４０１により供給される、レンダリングユニット４０６と、
を有する。
【００４６】
画像のそれぞれの画素について、ビューアまでの距離を表す奥行き値を有する奥行きマップを生成するための奥行きマップ生成ユニット４０１は、
−  画像１００の画素値に基づいて輪郭を決定するための決定ユニット４０２であって、輪郭は近傍点の集合から構成される、決定ユニット４０２と、
−  複数の近傍点において曲率ベクトルを計算するための計算ユニットと、
−  曲率ベクトル１０８乃至１１４に基づいて画素の第１の一に奥行き値の第１の一を割り当てるための割り当てユニット４０４と、
を有する。
【００４７】
決定ユニット４０２、計算ユニット４０３、割り当てユニット４０４及びレンダリングユニット４０６は１つの処理器を用いて実施されることが可能である。通常、それらの機能は、ソフトウェアプログラムプロダクトの制御下で実行される。実行中、通常、ソフトウェアプログラムプロダクトはＲＡＭのようなメモリにロードされ、そこから実行される。そのプログラムは、ＲＯＭ、ハードディスク若しくは磁気及び／又は光記憶装置のような背景メモリからロードされることが可能であり、又は、インターネットのようなネットワークを介してロードされることが可能である。任意に、特定アプリケーション用集積回路が公開されている機能を備えている。
【００４８】
図４に関連して説明しているマルチビュー画像生成ユニット４００はビデオ画像を処理するようにデザインされ、本発明にしたがった奥行きマップ生成ユニットの他の実施形態は、個々の画像、即ち静止画に基づく奥行きマップを生成するように備えられている。
【００４９】
図５は、本発明にしたがった画像処理装置５００の実施形態であって、
−  入力画像を表すビデオ信号を受信するための受信ユニットと、
−  図４に関連して説明した受信した入力画像に基づいてマルチビュー画像を生成するためのマルチビュー画像生成ユニット４０１と、
−  マルチビュー画像生成ユニット４０１により供給されるマルチビュー画像を表示するためのマルチビュー表示装置５０６と、
を有する実施形態を模式的に示している。
【００５０】
ビデオ信号は、アンテナ又はケーブルを介して受信される放送信号であることが可能であるがまた、ＶＣＲ（ビデオカセットレコーダ）又はＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）のような記憶装置からの信号であることが可能である。その信号は入力コネクタ５１０において供給される。画像処理装置５００は、例えば、テレビであることが可能である。代替として、画像処理装置５００は、任意の表示装置を有することなく、表示装置５０６を有する装置に出力画像を供給する。画像処理装置５００は、例えば、セットトップボックス、衛星放送チューナ、ＶＣＲプレーヤ、ＤＶＤプレーヤ又はレコーダであることが可能である。任意に、画像処理装置５００は、取り外し可能媒体、例えば、光ディスクに記憶する手段又はハードディスクのような記憶手段を有する。画像処理装置５００はまた、映画会社又は放送会社により供給されるシステムであることが可能である。
【００５１】
上記の実施形態は、本発明を限定するのではなく、例示としてのものであり、当業者は、同時提出の特許請求の範囲から逸脱することなく代替の実施形態をデザインすることができることに留意する必要がある。用語‘を有する’は請求項に列挙されている要素又はステップの存在を排除しない。要素の単数表現はそれらの要素の複数の存在を排除するものではない。本発明は、幾つかの別個の要素を有するハードウェアにより及び適切にプログラムされたコンピュータにより実施されることが可能である。幾つかの手段を列挙している装置請求項において、それらの手段の幾つかは、ハードウェアの同一のアイテムにより実施されることが可能である。第１、第２、第３などの表現の使用は何れの順序を示すものではない。それらの用語は名前として解釈されるべきものである。
【図面の簡単な説明】
【００５２】
【図１Ａ】本発明にしたがった方法により生成される画像及び対応する奥行きマップを示す模式図である。
【図１Ｂ】輪郭及び曲率ベクトルの一部を示す模式図である。
【図１Ｃ】奥行き微分に基づく奥行き値の計算を示す模式図である。
【図２】曲率ベクトルに基づく平均ベクトルの計算を示す模式図である。
【図３】本発明にしたがった方法により生成された他の画像及び対応する奥行きマップを示す模式図である。
【図４】本発明にしたがった奥行きマップ生成ユニットを有するマルチビュー画像生成ユニットを示す模式図である。
【図５】本発明にしたがった画像処理装置の実施形態を示す模式図である。本発明にしたがった方法により生成される画像及び対応する奥行きマップを模式的に示す図である。
【図１Ａ】
2007529070.tif 000012
【図１Ｂ】
2007529070.tif 000013
【図１Ｃ】
2007529070.tif 000014
【図２】
2007529070.tif 000015
【図３】
2007529070.tif 000016
【図４】
2007529070.tif 000017
【図５】
2007529070.tif 000018
【国際調査報告】
2007529070.tif 000019
2007529070.tif 000020