(57)【要約】ピクセルからなるデジタル画像（ＩＭ）用の深度マップを計算する方法であって、デジタル画像データ（７００）を入力するステップと、デジタル画像（ＩＭ）に関する単独性データ（ｒｅｃ−ｉｎｆ）を入力するステップと、デジタル画像（ＩＭ）のセグメントに関する深度値データ（ｄｄ）を入力するステップと、デジタル画像（ＩＭ）を単独性データ（ｒｅｃ−ｉｎｆ）に基づいて前記デジタル画像（ＩＭ）の各ピクセルをセグメントに割り当てることによりセグメントに分割するステップと、各セグメントに前記入力された深度値データ（ｄｄ）からの対応する深度値データを割り当てるステップと、各ピクセルに当該ピクセルが割り当てられたセグメントの対応する深度値データ（ｄｄ）を割り当てることにより深度マップ（８００）を構築するステップとを含む。
2004520660.tif 000002
【特許請求の範囲】
【請求項１】
ピクセルからなるデジタル画像に関する深度マップを計算する方法であって、デジタル画像データを入力するステップを有するような方法において、
前記デジタル画像に関する単独性データを入力するステップと、
前記デジタル画像のセグメントに関する深度値データを入力するステップと、
前記デジタル画像を前記単独性データに基づいて前記デジタル画像の各ピクセルをセグメントに割り当てることによりセグメントに分割するステップと、
前記各セグメントに、前記入力された深度値データからの対応する深度値データを割り当てるステップと、
前記各ピクセルに、当該ピクセルが割り当てられた前記セグメントの対応する前記深度値データを割り当てることにより深度マップを構築するステップと、
を有していることを特徴とする方法。
【請求項２】
請求項１に記載の方法において、前記デジタル画像を符号付き距離変換によりセグメント化するステップを更に有していることを特徴とする方法。
【請求項３】
請求項２に記載の方法において、前記デジタル画像を前記符号付き距離変換によりセグメント化する前記ステップが、
前記単独性データに関連するシードを決定するステップと、
見付けられた前記シードを拡張して項目バッファを満たすステップと、
対応する入力された前記深度値データを前記項目バッファに帰属させることにより深度マップを構築するステップと、
を有していることを特徴とする方法。
【請求項４】
請求項２に記載の方法において、前記デジタル画像を前記符号付き距離変換によりセグメント化する前記ステップが、
前記単独性データに含まれるシード及びシード番号を拡張して項目バッファを満たすステップと、
対応する入力された前記深度値データを前記項目バッファにおける前記シード番号に帰属させることにより深度マップを構築するステップと、
を有していることを特徴とする方法。
【請求項５】
デジタル画像情報を圧縮する方法であって、ピクセルからなるデジタル画像における単独性を決定するステップを有するような方法において、
デジタル画像を、前記決定された単独性に基づいて前記デジタル画像の各ピクセルをセグメントに割り当てることによりセグメント化するステップと、
前記画像の前記各セグメントに関して深度値データを決定するステップと、
前記デジタル画像に関して単独性データを決定するステップと、
前記デジタル画像に関して、前記単独性データ及び前記深度値データを含む深さ再構築情報を作成するステップと、
を有していることを特徴とする方法。
【請求項６】
請求項５に記載の方法において、前記デジタル画像を符号付き距離変換によりセグメント化するステップを更に有していることを特徴とする方法。
【請求項７】
請求項６に記載の方法において、前記デジタル画像を前記符号付き距離変換によりセグメント化する前記ステップが、
前記単独性データに関連するシードを決定するステップと、
見付けられた前記シードを拡張して項目バッファを満たすステップと、
対応する前記深度値データを前記項目バッファに帰属させることにより深度マップを構築するステップと、
を有していることを特徴とする方法。
【請求項８】
請求項５ないし７の何れか一項に記載の方法において、前記デジタル画像においてエッジを単独性として決定するステップを更に有し、
−  格子点、
−  前記格子点に関連する上下指示子、及び
−  前記格子点に関連する左右指示子、
を有するエッジ位置を単独性データとして決定することを特徴とする方法。
【請求項９】
請求項８に記載の方法において、前記上下指示子及び左右指示子の各々に対してブールパラメータが使用されることを特徴とする方法。
【請求項１０】
請求項７に記載の方法において、前記デジタル画像においてシード点を単独性として決定するステップを更に有し、
−  シードピクセル座標、
−  関連するシード番号、及び
−  前記シード番号に関連する深度値データ、
を有するシードを単独性データとして決定することを特徴とする方法。
【請求項１１】
請求項５に記載の方法において、前記デジタル画像及び前記深さ再構築情報を受信機に送信するステップを更に有していることを特徴とする方法。
【請求項１２】
請求項５に記載の方法において、前記デジタル画像及び前記深さ再構築情報をデータ担体上に記憶するステップを更に有していることを特徴とする方法。
【請求項１３】
ピクセルからなるデジタル画像に関する深度マップを計算するデコーダ装置において、
デジタル画像データ、前記デジタル画像に関する単独性データ及び前記デジタル画像のセグメントに関する深度値データを入力する入力部と、
入力された前記デジタル画像を前記単独性データを用いて前記デジタル画像の各ピクセルをセグメントに割り当てることによりセグメントに分割すると共に、前記各ピクセルに、当該ピクセルが割り当てられたセグメントの前記入力された対応する深度値データを割り当てることにより深度マップを構築する処理部と、
前記深度マップを出力する出力部と、
を有していることを特徴とするデコーダ装置。
【請求項１４】
デジタル画像情報を圧縮するエンコーダ装置において、
ピクセルからなるデジタル画像を入力する入力部と、
デジタル画像を該デジタル画像における単独性に基づいて前記デジタル画像の各ピクセルをセグメントに割り当てることによりセグメント化すると共に、前記画像の前記各セグメントに関して深度値データを決定する処理ユニットと、
前記デジタル画像に関して、前記単独性データ及び前記深度値データを含む深さ再構築情報を出力する出力手段と、
を有していることを特徴とするエンコーダ装置。
【請求項１５】
表示器、表示ドライバ及び請求項１３に記載のデコーダ装置を備えることを特徴とするテレビジョン装置。
【請求項１６】
請求項１４に記載のエンコーダ装置及び送出装置を有することを特徴とする送信機。
【請求項１７】
前記デジタル画像に関する単独性データ及び前記デジタル画像のセグメントに関する深度値データを含むことを特徴とするデジタル画像を表すデジタル信号。
【請求項１８】
請求項１７に記載の信号が記憶されたデータ担体。
【請求項１９】
コンピュータシステム上で実行された場合に請求項１に記載の各ステップを実行するようなコード部分を有していることを特徴とするコンピュータプログラム。
【請求項２０】
コンピュータシステム上で実行された場合に請求項５に記載の各ステップを実行するようなコード部分を有していることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタル画像用の深度マップを計算する方法に関する。本発明は、更に、デジタル画像情報を圧縮する方法、並びにデジタル画像情報用のデコーダ及びエンコーダにも関する。
【０００２】
【従来の技術】
デジタル画像処理においては、画像の要素に関係する深さ情報は例えば３Ｄ ＴＶのような多数の応用例に関連するものである。深さ情報は、ＴＶスクリーン上に示されるべき３Ｄ画像を再構築すべくビデオ情報を処理するために必要となる。深さ情報は、ビデオ題材を形成する連続した画像から３Ｄ ＴＶ又はセットトップボックスにおいてリアルタイムに抽出することができる。この方法は、必要とされるかなりの計算資源のために、幾らか高価であるという欠点を有している。
【０００３】
【発明が解決しようとする課題】
本発明の一つの目的は、デジタル画像の深度マップを計算する一層効率的な方法を提供することにある。
【０００４】
【課題を解決するための手段】
本発明は、請求項１に記載の方法を提供する。画像に対して、単独性データ及び深度値データにより深度マップ再構築データが設けられる。単独性データは、画像を区分化（セグメント化）するために使用される当該画像における単独性又は不連続性に関する情報であり；深度値データは、或るセグメントに割り当てられる当該画像における他のセグメントに対する深さに関する情報である。画像におけるセグメントの深さの決定自体は、従来知られている。多くのスペース又は帯域幅を占めることのない該情報を用いて、斯かる情報の受信機により完全な深度マップを再構築することができる。これを実行するため、請求項５による方法が提供され、該方法において受信機は当該画像を、供給された単独性データに基づきセグメント化方法を用いてセグメント化する。上記単独性から開始して、上記セグメントを形成することは比較的小さな計算資源により実行することができる。最後に、深度値が各セグメントに割り当てられる。
【０００５】
符号付き距離変換によりセグメントを決定することにより、本発明による上記方法は、セグメントを規定する単独性データがセグメント化の間に種（ｓｅｅｄ：シード）点の形で発生されるので特に有利である。従って、関連する単独性データを得るために、何の追加の計算も必要とされない。上記シード点自体が、比較的小さな計算資源で画像のセグメント化を生じさせるのに充分な情報を含んでいる。画像に関して上記シード点により必要とされる記憶空間又は帯域幅は、特に斯かるシード点が格子点並びに該格子点に関する上下及び左右指示子からなるエッジ位置として定義される場合に、比較的小さくなる。斯かるシード点により発生される各セグメントには、深度情報が含まれなければならないが、該情報も僅かな記憶部又は帯域幅しか必要としない。
【０００６】
本発明の特に有利な入念例は従属請求項に記載されている。本発明の他の目的、入念例、修正例、効果及び詳細は図面を参照する下記の説明から明らかとなる。
【０００７】
【発明の実施の形態】
以下、本発明による方法の一例を説明する。該例においては、ピクセルからなるデジタル画像Ｍを説明する。このような画像は、例えば、ビデオデータストリームに含まれる画像であり得る。本例は単一画像を扱っているが、本発明は特に複数の連続した画像に対して使用されるのに適している。
【０００８】
本発明によれば、画像の処理は画像をセグメントに分割する処理（セグメント化）を含む。準セグメント化と呼ばれる、画像をセグメントに分割する効率的な方法を以下に説明する。
【０００９】
準セグメント化の以下の例においては、デジタル画像を別個の領域に分割する処理が利用される。該デジタル画像は画像ピクセルからなる。画像内で形成されるべきセグメントは、境界又は境界線により区切られる。即ち、或るセグメントの境界内のピクセルは該セグメントに属する。従って、境界の決定はセグメントの決定に繋がる。
【００１０】
境界又は境界の少なくとも断片を得るために、当該デジタル画像は該画像内のエッジを見付けるためにエッジ検出処理を用いて処理され、該検出処理においては画像の特徴（ｆｅａｔｕｒｅ）が解析される。検出されるエッジは画像の特徴から結果として得られ、従って画像物体間の境界である確率が高い。該エッジ検出処理により検出されたエッジは、決定されるべきセグメント間の境界の断片として使用される。これらの画像情報から直接結果として得られる境界断片は、ハード境界断片又は高確率境界断片と称される。
【００１１】
図１には、画像内においてエッジ検出方法により検出されたハード境界断片が、前記デジタル画像と同じサイズの画像１０内に示されている。３つのハード境界断片、即ち境界断片ａ、ｂ及びｃが各々検出されている。境界断片ｂが境界断片ａに入射していることに注意すべきであり、この幾何学構造は分岐として知られている。
【００１２】
エッジ検出方法自体は、従来良く知られている。本例では、ハード境界断片は高コントラスト境界により決定され、斯かる高コントラスト境界は画像エレメント間の境界の良好な目安である。画像エレメント間の境界断片のためのカラー、輝度又はテクスチャ等の他の評価規準も使用することができる。
【００１３】
ハード境界断片ａ、ｂ及びｃは、セグメントの一部と境を接する。即ち、セグメントの境界は未だ完全ではない。斯かる境界の他の区域を確立しなければならない。これら他の境界区域は、最も近いハード境界区域への距離により決定される。上記他の境界区域を求めるために、境界断片ａ、ｂ及びｃの側域が定義され、固有にラベルを付される。図２に示されるように、境界区域ｂは第１側域ＩＶと第２側域Ｖとを有し、境界区域ｃは第１側域ＶＩと第２側域ＶＩＩとを有している。境界区域ａは第１側域ＩＩＩを有し、該境界区域ａの他方の側域は境界区域ｂが境界区域ａと交差する位置において境界区域ｂにより２つの区域に分割されている。これら区域は、各々、境界区域ａの側域Ｉ及びＩＩとなる。
【００１４】
他の境界を求めるために、上記側域Ｉ〜ＶＩＩは、これらが生じる境界断片から離れる方向に拡張され、これらの拡張方向が図３に矢印Ｉ’〜ＶＩＩ’により示されている。好ましくは、上記拡張の方向は前の前線（ｆｒｏｎｔ）に対して実質的に垂直であるとする。図３には、符号Ｉａ／ｂ／ｃ〜ＶＩＩａ／ｂ／ｃが付された多数の拡張前線が各々示されており、ここで、接尾辞ａは元のエッジに近い前線を示し、接尾辞ｂ及びｃは元の境界断片から更に先の後続の前線を各々示している。実際に、各前線は最も近い境界断片に対して同じ距離を持つ点の軌跡である。拡張前線が隣接する拡張前線と出会う場所に、図４にハッチングされたラインにより示されるように、境界断片が形成される。これら境界断片は、当該画像の情報から直接生じたものではないので、ソフト境界断片と称される。これらソフト境界区域は、実質的に、ハード境界区域の端部区域と連続したものとなる。しかしながら、例えばハード境界区域が当該画像の縁まで延びる場合には、不連続なソフト境界区域も生じ得る。ソフト境界がセグメントの境界の一部である確立は、上述したハード境界のものより低い。前記前線の当該画像の縁部までの完全な拡張の後に、図４に示されるように、大文字Ａ〜Ｅにより示すようなセグメントが規定されることになる。ソフト境界は、分割する２つのセグメントによりラベルが付される。全画像がセグメントＡ〜Ｅに分割された結果として、各セグメントは少なくとも部分的にハード境界により境を接されると共に、更にソフト境界又は画像縁により境を接される。次いで、この得られたセグメント化されたものは、論理的に単一のセグメントを形成するような過剰にセグメント化された領域を見付けるために走査することができる。本例では、セグメントＢ１−Ｂ２間及びＣ１−Ｃ２間は、境界ａ及びｂの分岐により生じる過剰なセグメント化の結果として冗長となっている。斯様な過剰セグメント化の検出の後、セグメント化Ｂ１、Ｂ２及びＣ１、Ｃ２は併合することができる。
【００１５】
結果として、画像ピクセルは、上述したような態様で確立されたハード及びソフト境界区域により区切られたセグメントに固有に割り当てることができる。セグメントは、ハード境界区域の同一の最も近いサイドを共有するピクセルの群からなることに注意されたい。
【００１６】
このような方法を用いて得られるセグメント化は準セグメント化と呼ばれ、該準セグメント化においては、セグメントの境界の幾つかの区域は、低い確度で以って、余り厳格には規定されていない（上述したソフト境界区域）。この準セグメント化は、セグメント化を容易に決定することができる場所では境界の区域が正確となり、決定がより困難な場所では区域が余り正確ではなくなるという利点を有している。この結果、計算コストが大幅に減少し、計算速度が上昇する。準セグメントは、例えば、連続した画像におけるセグメントの突き合わせに使用することができる。
【００１７】
以下においては、準セグメント化の実施例を説明する。本例においてセグメント化されるべきデジタル画像は解像度ＮｘＭのピクセル（ｘ，ｙ）の離散的画像ＩＭ（ｘ，ｙ）であり、ここでＮ及びＭは整数である。解像度ＮｘＭのピクセル（ｘ，ｙ）の二値画像Ｉ（ｘ，ｙ）が定義され、該画像Ｉ（ｘ，ｙ）が以下に述べる画像ＩＭのセグメントの決定に使用される。また、サイズＮｘＭの距離アレイと呼ばれるアレイｄ（ｘ，ｙ）、及びサイズＮｘＭの項目バッファと呼ばれるアレイｂ（ｘ，ｙ）も定義される。上記距離アレイｄ（ｘ，ｙ）には全ピクセル（ｘ，ｙ）に関して、最も近い種（シード：ｓｅｅｄ；以下に定義する）への距離が記憶されるが、この距離の決定も以下に説明する。また、上記項目バッファアレイには、全ピクセル（ｘ，ｙ）に関して、最も近いシード又は境界断片の識別情報が記憶されるが、該最も近いシード又は境界の決定も以下に説明する。
【００１８】
先ず、デジタル画像ＩＭがエッジ検出器を用いて処理され、良好に規定されたエッジを決定する。このステップは、前述したハード境界断片の検出と同様である。例示として、この実施例では、１９８３年にコンピュータビジョン・グラフィックス及び画像処理の第２２：１〜２７頁に公開された“コンピュータ及び生物ビジョンシステムによる輝度変化の検出”にＥ． Ｃ． Ｈｉｌｄｒｅｔｈにより記載されたような、既知のＭａｒｒ−Ｈｉｌｄｒｅｔｈ方法が使用される。該Ｍａｒｒ−Ｈｉｌｄｒｅｔｈ方法は、境界断片を検出するためにガウスのラプラシアン（ＬｏＧ）演算子の零交差を使用する。
【００１９】
Ｍａｒｒ−Ｈｉｌｄｒｅｔｈ方法は離散的画像ＩＭの２つのピクセル間のＬｏＧの零交差を検出し、これらは第１実施例におけるのと同様にハード境界断片上の点であると見なされる。図６には、ピクセルの位置を示す格子の交差を備える画像マトリクスの一つの区域が示されている。ライン３０５は、ＬｏＧ演算子により検出されたアスタリスク（＊）により示される零交差を示している。当該画像内でＬｏＧ零交差検出により見付けられるハード境界は、殆ど、ピクセル間位置の延長された連続した系列である。２つのピクセル間に位置する各零交差には、該交差の両側において２つのシード（種）ピクセルが関連付けられる。即ち、境界３０５は２つのシードピクセルの間を通過する。この例では、シードはシードピクセルからなり、その場合において、シードピクセルは当該画像におけるハード境界区域に最も近いピクセルである。これらシードは当該デジタル画像ピクセルアレイ内において境界区域の近似を形成する。これらシードは当該ピクセルアレイ内に当て嵌まるので、後の計算を容易に実行することができる。発見されたハード境界区域に基づいて他のシードを決定する方法も使用することができる。境界３１０の両側のシードピクセルの対は、図６では丸３２０と黒点３３０とにより示されている。
【００２０】
シードピクセルは、検出されたハード境界３０５の全てに沿って定義され、２ピクセル幅の二重連鎖を生じる。当該境界の一つの側に沿うシードピクセルの各連鎖（即ち、上記二重連鎖の１ピクセル幅の半部）はシードと見なされ、従って、固有の識別子により示される。この例におけるハード境界はＬｏＧ演算子の零交差により定義されるので、ＬｏＧの値は該境界の一方の側では正となり、他方の側では負となる。当該境界の異なる側の識別は、本発明によれば、ＬｏＧ演算子の符号を用いることにより達成される。このことは、ＬｏＧ演算子が上記処理の間に既に計算されているので有利である。斯かるＬｏＧ演算子の使用故に、該セグメント化方法は符号付き距離変換と呼ぶこともできる。
【００２１】
ＬｏＧに基づくエッジ検出の結果として、シードピクセルは実質的に連鎖を形成するが、シードはエッジピクセルの任意の形状の群、特に単一ピクセルより広い幅を持つシード、とすることもできる。
【００２２】
項目バッファｂ（ｘ，ｙ）においては、シード点の位置に対応する値に、固有のシード識別子の値が付与される。最初に、シード点でない全ての他のピクセルは、項目バッファｂ（ｘ，ｙ）内にシード識別子番号を有していないが、シード識別子番号に対応しない値が付与される。
【００２３】
当該画像ＩＭ（ｘ，ｙ）におけるシードピクセルであると分かった各ピクセルに関しては、二値画像Ｉにおける対応する座標（ｘ，ｙ）を持つピクセルに値１が付与される。該画像Ｉにおける全ての他のピクセルには値０が付与される。
【００２４】
例えばＬｏＧフィルタ処理された画像における値の線形補間により、実際の零交差３１０と各対のシードピクセル３２０、３３０との間のサブピクセル距離に関して推定を行うことができる。図６において一番右側のピクセル対に関して示されているように、各距離はｄ１及びｄ２であり、ｄ１＋ｄ２＝１となり、ここでピクセル距離に関する格子のサイズは単位距離１である。ｄ１及びｄ２に関する各値が、各シードピクセルに関するｄ（ｘ，ｙ）に割り当てられる。更に、該距離アレイｄは、使用される距離系内での無限に対応する距離をシード上でないピクセル位置に割り当てることにより初期化される。
【００２５】
距離変換は、全てのピクセル（ｘ，ｙ）に関して、最も近いシード位置への最短距離ｄ（ｘ，ｙ）を与える。距離に関しては、ユークリッド、“シティブロック”又は“マンハッタン”距離等の如何なる好適な定義も使用することができる。各ピクセルに関して最も近いシード点への距離を計算する方法は、従来、良く知られており、本発明を実施するには如何なる好適な方法も使用することができる。例示として、距離変換の計算に関しては、１９８４年に発行されたコンピュータビジョン及び画像処理、第２７：３２１〜３４５頁の“任意の次元における距離変換”にＧ． Ｂｏｒｇｅｆｏｒｓにより記載されたようなアルゴリズム、特に二次元状況に関して開示された方法を使用することができる。
【００２６】
このアルゴリズムは、画像Ｉ（ｘ，ｙ）における全ピクセルにわたる２つのパスに基づくもので、結果として最も近いシードへの距離を示すｄ（ｘ，ｙ）に関する値が得られる。ｄ（ｘ，ｙ）に関する該値は前述したように初期化される。第１のパスにおいては、画像Ｉの左上から右下へと、値ｄ（ｘ，ｙ）は自身及び隣接者の各々のうちの最小値に該隣接者までの距離を加えたものに等しく設定される。第２のパスにおいては、同一の手順が続けられるが、ピクセルは当該画像Ｉの右下から左上へ走査される。これらの２つのパスの後、全てのｄ（ｘ，ｙ）が正しい値を有し、最も近いシード点への最も近い距離を表すことになる。
【００２７】
ｄ（ｘ，ｙ）距離アレイが正しい値で満たされる上記２つのパスの間において、項目バッファｂ（ｘ，ｙ）はピクセル（ｘ，ｙ）の各々に関して最も近いシードの識別情報により更新される。距離変換の後、項目バッファｂ（ｘ，ｙ）は各ピクセル（ｘ，ｙ）に関して最も近いシードに関連する値を有するようになる。この結果、当該デジタル画像はセグメント化されるが、これらセグメントは同一の値ｂ（ｘ，ｙ）のピクセル（ｘ，ｙ）により形成されるものである。
【００２８】
第２の例においては、距離変換アルゴリズムにおいて更に計算される距離は、ｄ（ｘ，ｙ）の開始値の線形補間により、例えば実数のような非整数値となる。ピクセル（ｘ，ｙ）に関して最短距離を表す実数のｄ（ｘ，ｙ）値と２つの異なるシードとを比較する場合に、両距離が相違する可能性は非常に大きい。このことは、各ピクセルの或る単一のセグメントに属するものとしての固有の識別を可能にする。距離が整数値で測定されるべきであるとしたら、２つのシードに対して同一の距離を持つであろう多くのピクセルの各々に関して任意の選択がなされなければならないであろう。これは、境界の粗さの増加（従って、低下した精度）に繋がるが、計算能力要件は小さくなる。
【００２９】
図７には、本発明によるデジタル画像の符号化方法に関するフローチャートが示されている。
【００３０】
デジタル画像Ｍの処理の最初のステップは、該画像の例えば前述した準セグメント化方法を用いたセグメント化１００である。簡単に述べると、当該画像は、準セグメント化において必要とされる単独性、特に明度のエッジを求めて走査される。見付かったエッジを囲むピクセルが、シードを形成するシード点を決定するために使用される。これらシードはセグメントを形成するために拡張される。先に示したように、このセグメント化の結果は、当該画像の各ピクセルがセグメントに割り当てられ、従ってセグメントがピクセルの群になるということである。これら結果は、当該画像内のシードの位置、及び満たされた項目バッファｂということになる。
【００３１】
次のステップ２００においては、各セグメント、従って項目バッファ内の各ピクセルに対する深度値が決定され、深度マップｄｍを生じる。深度値の決定自体は従来既知であり、本発明によれば如何なる好適な方法も使用することができる。
【００３２】
ステップ３００においては、当該画像に関して決定された上記深度値に関する情報が圧縮される。これは、当該デジタル画像に関する深さ再構築情報を、セグメント化及び深さ解析からの結果としての情報に基づいて作成することによりなされる。該再構築情報に基づいて、当該画像の深度マップを再構築することができる。
【００３３】
これを達成するため、上記再構築情報には、セグメント３１０のエッジ位置のみが、当該セグメントの該セグメントにより発生された深度値データ３２０と一緒に含まれる。受信機は、この再構築情報を用いて、提供されたエッジから開始し前述したセグメント化方法を使用して該デジタル画像の深度マップを再生する。準セグメント化においては、殆どの計算資源を必要とするステップは単独性の決定であることに注意すべきである。単独性が一旦分かったら、セグメントの形成は比較的小さな計算資源を用いて実行することができる。
【００３４】
エッジ情報は次の様に符号化することができる。図８には、画像の格子の或る区域が示されている。３つのセグメントＤ１、Ｄ２及びＤ３の部分が、２つのエッジｅ１、ｅ２により区分けされて示されている。該エッジ情報を記憶するために、エッジ位置は、
・当該エッジが属すると考えられる格子点（ｘ，ｙ）の座標、
・該格子点（ｘ，ｙ）の上側において格子と交差するエッジの存在又は不存在についての情報、
・該格子点（ｘ，ｙ）の右側において格子と交差するエッジの存在又は不存在についての情報、
・発生されたセグメントの深度値、
を必要とする。
【００３５】
図８の状況の場合、交差するエッジは格子点（ｘ，ｙ）の各々上側及び右側であるので、＋符号により示されている。項目バッファの定義のためには、エッジ上の格子点間における零交差の正確な位置（前記ｄ１及びｄ２）は必要ではない。従って、上記存在の情報は二値又はブールパラメータにより充分に表すことができる。
【００３６】
他の例として、エッジ情報は、セグメント化処理において見付かったシードに対する情報を用いて符号化することもできる。この場合、伝送されるべきデータは、
・シードピクセルの座標、
・各シード番号、及び
・深度値をシード番号に帰属させるテーブル、
を含む。
【００３７】
シードピクセル座標の数は、大凡、エッジ位置の数のものの２倍であり、従って、シードピクセル座標を介してエッジ情報を伝送することは大きなデータ伝送を必要とする。セグメントの再構築は僅かに速い。何故なら、シード点を再構築する必要がないからである。
【００３８】
続いて、図７に仮想線で示すように、続くステップ４００においてデジタル画像が受信機に対して上記再構築情報と一緒に送信される。使用される伝送プロトコルに依存して、該再構築情報は、例えばＭＰＥＧで規定されているように、並列通信チャンネルを用いて伝送することができる。他の例として、上記再構築情報は、図７に仮想線でステップ５００として示すように例えばデジタル汎用ディスク、ＣＤ及びＣＤ−ＲＯＭ等のデータ担体上に、好ましくはデジタル画像情報と一緒に、ＭＰＥＧのような適切な記憶方法を用いて記憶することができる。ステップ３００において決定されたデータは、図７に仮想線でステップ４００及び５００として示すように、連続して出力される。
【００３９】
本発明によれば、図１２に示すように、デジタル画像情報を圧縮するためのエンコーダ装置６００が設けられる。該装置６００は、ピクセルからなるデジタル画像を受信する入力部６１０と、デジタル画像を該デジタル画像の各ピクセルをセグメントに割り当てることにより当該デジタル画像における単独性に基づいてセグメント化すると共に該画像の各セグメントに関して深度値データを決定する処理ユニット６２０と、上記単独性データ及び深度値データを有する当該デジタル画像に関する深さ再構築情報を出力する出力手段６３０とを有している。好ましくは、処理ユニット６２０には、上述した符号化方法のステップ１００、２００、３００を実行するためのコンピュータプログラムが設けられるようにする。しかしながら、本発明は斯かる実施化に限定されるものではない。他の実施化方法も、例えばチップのような専用のハードウェアを用いて使用することができる。
【００４０】
図１４には、本発明による送信機９５０が示され、前述したようなエンコーダ６００が設けられている。該送信機には、更に、画像情報を受信する入力部９５５と、本例では送出装置として実施化された出力部９６５とが設けられている。送出装置９６５は、例えばデジタルビットストリーム又は放送するのに適した信号等の出力信号を発生するように構成されている。該発生された信号は、デジタル画像を表すと共に、該デジタル画像に関する単独性データ及び該デジタル画像のセグメントに関する深度値データを含んでいる。
【００４１】
上述した方法により生成されたデータ担体から送信され又は読み取られた情報は、受信機により図９のフローチャートに示すように処理される。該受信機は画像情報ＩＭ及び再構築情報ｒｅｃ−ｉｎｆを受信するが（ステップ７００）、該再構築情報は前記単独性情報及び深度値により形成されている。該再構築情報ｒｅｃ−ｉｎｆを用いて、当該画像情報の各画像のセグメント化が再現され、該画像に関する深度マップが上記再構築情報に含まれる深度値データｄｄを用いて形成される（ステップ８００）。次いで、該深度マップはステップ８５０として仮想線で示すように当該画像情報を表示するために使用することができる。
【００４２】
前述したステップ１００、２００、３００により符号化された情報を復号する方法は、デジタル画像データを受信するステップと、該デジタル画像のセグメントに関する単独性データ及び深度値データを受信するステップとを有する。先に示したように、上記単独性データはセグメント化を見付けるための基礎を形成する。２つの例が示され、第１のものは単独性データをエッジ情報の形で有し、第２のものは単独性データをシード情報の形で有している。エッジ又はシードの何れかを使用する前述したセグメント化方法により、当該画像のセグメント化及び対応する項目バッファを計算することができる。結果として、深度マップは、受信された情報により提供される深度情報を項目バッファと突き合わせることにより構築することができる。この結果、各ピクセルが深度値を備えるような深度マップが得られる。エッジ又はシードのような単独性から開始してセグメントを形成することは、大きな計算資源を必要とすることがないような比較的容易な処理である。
【００４３】
本発明によれば、ピクセルからなるデジタル画像に関する深度マップを計算するデコーダ装置９００が図１３に示すように設けられる。該デコーダ９００は、デジタル画像データ、該デジタル画像用の単独性データ及び該デジタル画像のセグメントに関する深度値データを受信する入力部９３０と、受信されたデジタル画像を上記単独性データを用いてセグメントに上記デジタル画像の各ピクセルを割り当てることによりセグメントに分割すると共に、各ピクセルに該ピクセルが割り当てられたセグメントの受信された深度値データを割り当てることにより深度マップを構築する処理部９２０と、該深度マップを出力する出力部９１０とを有している。好ましくは、上記処理ユニット９２０には上述した符号化方法のステップ７００、８００、８５０を実行するコンピュータプログラムが設けられるようにする。
【００４４】
図１０には、デコーダ９００を備えるテレビジョン装置９５０が示され、該デコーダ９００の出力部はテレビジョン表示器９５５用の表示ドライバユニット９６０に接続されている。図１１には、テレビジョン表示器９５５及び表示ドライバユニット９６０を備えるテレビジョン装置９８０が示されている。該テレビジョン装置はデコーダ９００に接続され、該デコーダはセットトップボックスとして実施化されている。前述した再構築情報を含むビデオ信号はテレビジョン装置９５０に直接供給することができ、その後、前記デコーダ９００は該情報をドライバ９６０が画像を表示器９５５上に表示することができるように処理する。それに応じて、上述したような再構築情報を含むビデオ信号は図１１に示すセットトップボックスに供給することができ、その後、デコーダ９００は、ドライバ９６０が画像を表示器９５５上に表示することができるように、該情報を処理すると共にテレビジョン装置９８０に供給する。
【００４５】
上述したような本発明による復号及び符号化方法のステップは、コンピュータシステム上で実行されるプログラムコード部分により実施することができる。従って、本発明は、コンピュータシステム上で実行された場合に符号化及び／又は復号のステップを実施するようなコード部分を備えるコンピュータプログラムに関するものでもある。斯様なプログラムは、例えばメモリ又はＣＤ−ＲＯＭ若しくは図１５に示すフロッピー（Ｒ）ディスクのような情報担体に何れかの適切な方法で記憶することができる。
【００４６】
上述した実施例は本発明を限定するというよりは解説するものであり、当業者であれば添付請求項の範囲から逸脱することなしに多くの代替実施例を設計することができるであろうことに注意すべきである。請求項において、括弧内の如何なる符号も当該請求項を限定するものと見なしてはならない。また、“有する”なる文言は、請求項に記載されたもの以外の他の構成要素又はステップの存在を排除するものではない。また、本発明は幾つかの別個のエレメントを有するハードウェアにより、及び適切にプログラムされたコンピュータにより実施化することができる。また、幾つかの手段を列挙する装置の請求項において、これら手段の幾つかは、ハードウェアの１つの且つ同一の物品により具現化することができる。また、特定の手段が相互に異なる従属請求項において引用されるという単なる事実は、これらの手段の組合せが有利に使用することができないことを示すものではない。
【図面の簡単な説明】
【図１】図１は、画像におけるハードエッジを示す。
【図２】図２は、図１のハードエッジに関連するシードを示す。
【図３】図３は、図２のシードから張り出す前線を示す。
【図４】図４は、本発明の一実施例によるセグメント化により決定された画像セグメントを示す。
【図５】図５は、後処理後の図４の画像セグメントを示す。
【図６】図６は、シード点によるセグメント境界を示す。
【図７】図７は、本発明の一実施例による符号化方法のフローチャートである。
【図８】図８は、エッジ位置の概念図である。
【図９】図９は、本発明の一実施例による復号方法のフローチャートである。
【図１０】図１０は、本発明の一実施例によるエンコーダを備えるテレビジョン装置である。
【図１１】図１１は、本発明の一実施例によるセットトップボックスを備えるテレビジョン装置である。
【図１２】図１２は、本発明の一実施例によるエンコーダである。
【図１３】図１３は、本発明の一実施例によるデコーダである。
【図１４】図１４は、本発明の一実施例による送信機である。
【図１５】図１５は、本発明の一実施例による、データファイルが記憶された記憶媒体である。
【国際公開パンフレット】
2004520660.tif 000003
2004520660.tif 000004
2004520660.tif 000005
2004520660.tif 000006
2004520660.tif 000007
2004520660.tif 000008
2004520660.tif 000009
2004520660.tif 000010
2004520660.tif 000011
2004520660.tif 000012
2004520660.tif 000013
2004520660.tif 000014
2004520660.tif 000015
2004520660.tif 000016
2004520660.tif 000017
2004520660.tif 000018
2004520660.tif 000019
2004520660.tif 000020
2004520660.tif 000021
2004520660.tif 000022
2004520660.tif 000023
2004520660.tif 000024
2004520660.tif 000025
2004520660.tif 000026
2004520660.tif 000027
【国際調査報告】
2004520660.tif 000028
2004520660.tif 000029
2004520660.tif 000030