(57)【要約】  本発明は、三次元[3D]画像データを処理するための信号処理装置100に関し、3D画像データは、二次元[2D]画像データ150及びそれに対応する2D深さデータ170を含み、当該信号処理装置は、2D画像データ及び2D深さデータを受信するための入力部120、2D深さデータの第１空間近傍領域中の他の深さ値から深さ値の統計的深さ逸脱178を特定するための第１外れ値検出器160、2D画像データの第２空間近傍領域中の他の画像値から画像値の統計的画像逸脱158を特定するための第２外れ値検出器140であって、前記深さ値は前記画像値の深さを表す第２外れ値検出器、統計的深さ逸脱が統計的画像逸脱を超えるときに、統計的深さ逸脱及び統計的画像逸脱に依存して更新深さ値190を提供するための深さ値生成器180を有し、更新深さ値は前記深さ値より低い統計的深さ逸脱を有する。
2014506768.tif 000002
【特許請求の範囲】
【請求項１】
二次元[2D]画像データ及びそれに対応する2D深さデータを有する三次元[3D]画像データを処理するための信号処理装置であって、
前記2D画像データ及び前記2D深さデータを受信するための入力部、
前記2D深さデータの第１空間近傍領域における深さ値の他の深さ値からの統計的深さ逸脱を特定するための第１外れ値検出器、
前記2D画像データの第２空間近傍領域における画像値の他の画像値からの統計的画像逸脱を特定するための第２外れ値検出器であって、前記深さ値が前記画像値の深さを表す第２外れ値検出器、
前記統計的深さ逸脱が前記統計的画像逸脱を超えるときに、前記統計的深さ逸脱及び前記統計的画像逸脱に依存して、更新深さ値を提供するための深さ値生成器であって、前記更新深さ値が前記深さ値より小さい統計的深さ逸脱を持つ、深さ値生成器、
を有する信号処理装置。
【請求項２】
前記第１外れ値検出器が、前記深さ値が深さ外れ値であるかを決定するために、前記他の深さ値と前記深さ値を比較することによって、前記統計的深さ逸脱を特定するように構成され、
前記第２外れ値検出器が、前記画像値が画像外れ値でないかを決定するために、前記他の画像値と前記画像値を比較することによって、前記統計的画像逸脱を特定するように構成され、
前記深さ値生成器が、前記深さ値が深さ外れ値であり前記画像値が画像外れ値でない場合に、前記更新深さ値を提供するように構成される、請求項１に記載の信号処理装置。
【請求項３】
前記第１外れ値検出器が、前記他の深さ値の最大値及び/又は最小値と前記深さ値を比較し、前記深さ値が前記他の深さ値の最大値より大きい及び/又は最小値より小さいときに、前記深さ値が深さ外れ値であることを決定するように構成される、請求項２に記載の信号処理装置。
【請求項４】
前記第２外れ値検出器が、前記他の画像値の最大値及び/又は最小値と前記画像値を比較し、前記画像値が前記他の画像値の最大値より大きい及び/又は最小値より小さいときに、前記画像値が画像外れ値であることを決定するように構成される、請求項２に記載の信号処理装置。
【請求項５】
前記深さ値生成器が、前記更新深さ値として、前記第１空間近傍領域中の前記他の深さ値のうちの１つを提供するように構成される、請求項１に記載の信号処理装置。
【請求項６】
前記深さ値生成器が、前記更新深さ値として、前記第１空間近傍領域中の前記他の深さ値のうちの最大値及び/又は最小値を提供するように構成される、請求項５に記載の信号処理装置。
【請求項７】
前記深さ値生成器が、前記更新深さ値として空間的にフィルタリングされた深さ値を提供するために前記2D深さデータの前記第１空間近傍領域に空間フィルタを適用するように構成される、請求項１に記載の信号処理装置。
【請求項８】
前記空間フィルタが、深さ外れ値を抑制するための空間ノイズ低減フィルタである、請求項７に記載の信号処理装置。
【請求項９】
前記第１空間近傍領域及び前記第２空間近傍領域が主に水平方向に延在する、請求項１に記載の信号処理装置。
【請求項１０】
前記第１空間近傍領域が前記2D深さデータの水平ライン部分を有し、前記第２空間近傍領域が前記2D画像データの対応する水平ライン部分を有する、請求項９に記載の信号処理装置。
【請求項１１】
更なる2D画像データを生成するために2D深さデータの関数として2D画像データの少なくとも一部を変位させるための視点生成器であって、請求項１に記載の信号処理装置を有する視点生成器。
【請求項１２】
2D画像データに依存して2D深さデータを生成するための深さデータ生成器であって、請求項１に記載の信号処理装置を有する深さデータ生成器。
【請求項１３】
二次元[2D]画像データ及びそれに対応する2D深さデータを有する三次元[3D]画像データを処理するための方法であって、
前記2D画像データ及び前記2D深さデータを受信し、
前記2D深さデータの第１空間近傍領域における深さ値の他の深さ値からの統計的深さ逸脱を特定し、
前記2D画像データの第２空間近傍領域における画像値の他の画像値からの統計的画像逸脱を特定し、前記深さ値は前記画像値の深さを表し、
前記統計的深さ逸脱が前記統計的画像逸脱を超えるときに、前記統計的深さ逸脱及び前記統計的画像逸脱に依存して、更新深さ値を提供し、前記更新深さ値が前記深さ値より小さい統計的深さ逸脱を持つ、方法。
【請求項１４】
プロセッサ・システムに請求項１３に記載の方法を実行させるための命令を有するコンピュータプログラム。
【請求項１５】
計算機可読媒体に記録された請求項１４に記載のコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、二次元[2D]画像データ及びそれに対応する2D深さデータを含む三次元[3D]画像データを処理するための信号処理装置、方法及びコンピュータプログラムに関する。
【０００２】
本文全体にわたって、次元の数の明示的な表示を伴わない画像データ又は深さデータに対するいかなる言及も、それぞれ、2D画像データ又は2D深さデータに関連する。
また、「画像データ」という用語は、静止画像の画像データ又はビデオ・シーケンス中のフレームの画像データを指すことができることが留意されるべきである。
【０００３】
3D画像データを処理するためのフォーマットのうちの１つは、「2Dプラス深さ」として知られる「画像プラス深さ」フォーマットであり、3Dシーンの第１の視点を表す画像データに、画像データ内のオブジェクトのカメラ及び/又は観察者に対する距離を示す深さ値を含む深さデータが付随する。「画像プラス深さ」フォーマットは、一般的に、3Dシーンを表す効率的な態様を提供する。
【０００４】
「画像プラス深さ」フォーマットで送信された3Dシーンを表示するためには、3Dシーンの第２の視点を表すために更なる画像データが必要である。更なる画像データは、受信機側において入力画像データ及び深さデータから再形成されることができる。この目的のために、受信機は、更なる画像データを生成するために深さデータの関数として入力画像データの一部を変位させるいわゆる視点生成器を有することができる。視点生成は、深さに基づく画像レンダリングとして知られる。WO1997/023097A3は、深さに基づく画像レンダリング装置の例を開示する。
【背景技術】
【０００５】
深さデータは、「画像プラス深さ」フォーマットで使用するには、不完全である場合がある。例えば、深さデータは、入力画像データが深さデータを推定するための基準として用いられる、いわゆる2D-3D変換によって生成されることができる。そのような推定は、時に誤っている場合があり、深さデータ中に現れるアーチファクトを引き起こし、それは、視点生成後に、表示された3Dシーンにおいて目に見えるようになるアーチファクトを引き起こす可能性がある。そのようなアーチファクトは、ステレオ画像ペアが深さデータを生成するための基準として用いられる、いわゆるステレオ-深さ変換を用いるときに現れる場合がある。WO2007/132397A2は、2D-3D変換プロセスの例を開示する。2D-3D変換及びステレオ-深さ変換プロセスは、深さデータ生成プロセスの例である。
【０００６】
深さマップ中に存在するアーチファクトを低減するために、文献"Boundary-Based Depth Image Improvement" by Yang-Keun Ahn et al., in "Advances in Visualization, Imaging and Simulation", Nov. 2010は、後続する深さに基づく画像レンダリングを改善するために深さマップからノイズを除去するためのメジアン・フィルタの使用を開示する。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
深さデータ中に存在するアーチファクトを低減するためのメジアン・フィルタの使用の問題は、アーチファクトの低減が不十分であることである。
【０００８】
深さデータにおけるアーチファクトの改善された低減を提供するための装置、方法及びコンピュータプログラムを提供することが本発明の目的である。
【課題を解決するための手段】
【０００９】
本発明によれば、二次元[2D]画像データ及びそれに対応する2D深さデータを含む三次元[3D]画像データを処理するための信号処理装置が提供されるという点でこの目的は実現され、当該信号処理装置は、2D画像データ及び2D深さデータを受信するための入力部、2D深さデータの第１空間近傍領域においてある深さ値の他の深さ値からの統計的深さ逸脱を特定するための第１外れ値検出器、2D画像データの第２空間近傍領域にいてある画像値の他の画像値からの統計的画像逸脱を特定するための第２外れ値検出器であって、前記深さ値は前記画像値の深さを表す第２外れ値検出器、統計的深さ逸脱が統計的画像逸脱を超えるときに、統計的深さ逸脱及び統計的画像逸脱に依存して、前記深さ値より低い統計的深さ逸脱を有する更新深さ値を提供するための深さ値生成器を有する。
【００１０】
本発明の更なる態様において、二次元[2D]画像データ及びそれに対応する2D深さデータを含む三次元[3D]画像データを処理するための方法が提供され、当該方法は、2D画像データ及び2D深さデータを受信し、2D深さデータの第１空間近傍領域においてある深さ値の他の深さ値からの統計的深さ逸脱を特定し、2D画像データの第２空間近傍領域におけるある画像値の他の画像値からの統計的画像逸脱を特定し、前記深さ値は前記画像値の深さを表し、統計的深さ逸脱が統計的画像逸脱を超えるときに、統計的深さ逸脱及び統計的画像逸脱に依存して、前記深さ値より低い統計的深さ逸脱を有する置換深さ値を提供する。
【００１１】
本発明の更なる態様において、上述の方法をプロセッサ・システムに実行させるための命令を有するコンピュータプログラムが提供される。本発明による手段は、2D画像データ及び2D深さデータを受信するための入力を提供する。2D深さデータが2D画像データのそれぞれの画像値の深さを示す深さ値を含むという点で、2D深さデータは2D画像データに対応する。ここで、画像値は、輝度及び/又は彩度を示すと理解される。したがって、2D画像データは、3Dシーンの輝度及び/又は彩度に関する情報を含み、一方、2D深さデータは、3Dシーンの深さ(すなわち、カメラ及び/又は観察者に対する距離)に関する情報を含む。
【００１２】
周囲の深さ値に対する深さ値の統計的深さ逸脱を特定する第１外れ値検出器が提供される。深さ値及び周囲の深さ値は、2D深さデータ中の同じ部分（すなわち近傍領域）に位置する。このように、当該部分は、少なくとも２つの深さ値を包含する。統計的深さ逸脱は、深さ値が当該部分内の統計的平均と同じであるかどうか、深さ値が統計的平均から逸脱するかどうか、深さ値がどの程度統計的平均から逸脱するかなどを、示すことができる。一般に、統計的深さ逸脱は、深さ値と周囲の深さ値との間の差異を示す。
【００１３】
周囲の画像値に対する画像値の統計的画像逸脱を特定する第２外れ値検出器が提供される。画像値及び周囲の画像値は、2D画像データの同じ部分の中に位置する。このように、当該部分は、少なくとも２つの画像値を包含する。統計的画像逸脱は、画像値が当該部分内の統計的平均と同じか又はそれから逸脱しているかどうかを示すことができる。一般に、統計的画像逸脱は、画像値と周囲の画像値との間の差異を示す。深さ値が画像値の深さを表すという点で、画像値は深さ値に対応する。このように、画像値及び深さ値は、2D画像データ及び2D深さデータ内の対応する位置に位置することができる。しかしながら、例えば、2D画像データと2D深さデータとの間の空間分解能における差異に起因して、両方の位置は異なる場合がある。
【００１４】
そのうえ、統計的深さ逸脱及び統計的画像逸脱に依存して、上述の深さ値を置き換えるための更新深さ値を提供する深さ値生成器が提供される。深さ値生成器は、統計的深さ逸脱が、統計的画像逸脱を超える、すなわち統計的画像逸脱より大きい場合に、更新深さ値を提供する。したがって、深さ値生成器は、統計的深さ逸脱と統計的画像逸脱の相対的なサイズの差異に関する情報を用いる。前記提供することは、深さデータ中の深さ値を置き換えることを含むことができる。
前記提供することは、更なる処理素子（例えば、視点生成器）に、深さ値の代わりに、更新深さ値を提供することを含むことができる。更新深さ値は、深さ値より小さい統計的深さ逸脱を有する。したがって、更新深さ値は、例えば、他の深さ値の統計的平均により近くなることができる。
【００１５】
本発明は、深さデータ中のアーチファクトが、その周囲に対する統計的逸脱を有する深さ値によって、及び、そのような統計的逸脱がより少ない対応する画像値によって、特徴づけられることができるとの認識に部分的に基づく。そのような場合、深さ値は深さ外れ値である場合がある一方、対応する画像値は画像外れ値ではないか又はそれほど画像外れ値ではない場合がある。深さ値は一般的にテクスチャ又はエッジを殆ど含まず、そのようはテクスチャ又はエッジが存在する場合には、それらは、ほとんどの場合、画像データ中のテクスチャ又はエッジに関連するので、深さ値が外れ値である一方、その対応する画像値はそうではないことは珍しい。したがって、深さ値が対応する画像値より外れ値である場合、これは、深さデータ中のアーチファクトを示す可能性がある。
【００１６】
本発明者らはさらに、上述のアーチファクトの原因のうちの１つは、画像データ内のぼけたオブジェクト・エッジであることを認識した。ぼけたオブジェクト・エッジは、深さデータ生成プロセスに誤った深さ値を生成させる可能性がある。ぼけたオブジェクト・エッジは、さまざまな理由によって、例えば、焦点がずれたカメラ又は画像データに適用されたアンチ・エイリアス・フィルタに起因して、発生する場合がある。そのようなぼけたオブジェクト・エッジが前景に属するのか背景に属するのか、したがって、それらが前景深さ値に割り当てられるべきか背景深さ値に割り当てられるべきかを決定することは、本質的に難しい。
【００１７】
結果的に、深さデータ生成プロセスは、ぼけたオブジェクト・エッジに誤った深さに値を割り当てる可能性があり、すなわち、深さデータ中にアーチファクトを生じさせる可能性がある。そのうえ、本発明者らは、そのような誤りのある深さ値は、ぼけたオブジェクト・エッジ自体よりそれらの周囲から逸脱する傾向にあることを観察した。この理由は、深さ値を推定する際に使用される深さデータ生成プロセスの特定の仮定は、ぼけたオブジェクト・エッジにおいて有効ではなく、結果として前記誤った深さ値をもたらすからだろう。
【００１８】
そのような誤りのある深さ値の他の原因は、2D深さデータに対する双方向フィルタ又はシャープニング・フィルタの以前の適用である場合があることが認識される。誤った深さ値は、2D深さデータの手作業編集によって導入される可能性がある。
【００１９】
本発明の上述の手段は、深さ値の統計的逸脱が特定され、対応する画像値の統計的逸脱が特定され、そして、深さ値の統計的逸脱が対応する画像値の統計的逸脱を超えるときに、深さ値が更新深さ値により置き換えられるという効果を有する。そして、更新深さ値は、統計的深さ逸脱を低減して、その結果として、統計的画像逸脱により合致する統計的深さ逸脱をもたらす。その結果として、誤った深さ値はより誤りが少ない深さ値によって置き換えられ、したがって、深さデータにおけるアーチファクトは低減される。長所として、視点生成の後、3Dシーン中にアーチファクトはほとんど見えない。長所として、より心地よい3D経験が3Dシーンの観察者に提供される。
【００２０】
オプションとして、第１外れ値検出器は、深さ値が深さ外れ値であるかを決めるために深さ値を他の深さ値と比較することによって統計的深さ逸脱を特定するように構成され、第２外れ値検出器は、画像値が画像外れ値ではないかを決めるために画像値を他の画像値と比較することによって統計的画像逸脱を特定するように設定され、深さ値が深さ外れ値であって、画像値が画像外れ値ではない場合、深さ値生成器は更新深さ値を提供するように設定される。
【００２１】
したがって、深さ値が深さ外れ値であるときに、すなわち、他の深さ値から十分に逸脱していると考えられるときに、そして画像値が画像外れ値ではないときに、すなわち、他の画像値から十分に逸脱しているとは考えられないときに、更新深さ値が提供される。結果的に、深さ外れ値は、深さ外れ値より統計的深さ逸脱が小さい値によって置き換えられる。長所として、表示された3Dシーン中にアーチファクトを引き起こす深さ外れ値は、より少ないアーチファクトを引き起こすか又はいかなるアーチファクトも引き起こさない深さ値によって置き換えられる。
【００２２】
オプションとして、第１外れ値検出器は、深さ値を他の深さ値の最大値及び/又は最小値と比較し、深さ値が他の深さ値の最大値より大きい及び/又は最小値より小さい場合に、深さ値を深さ外れ値であると決定するように設定される。これは、深さ値が深さ外れ値であるかどうかを決定するための特に適切な態様を提供する。
【００２３】
オプションとして、第２外れ値検出器は、画像値を他の画像値の最大値及び/又は最小値と比較し、画像値が他の画像値の最大値より小さい及び/又は最小値より大きい場合に、画像値が画像外れ値ではないと決定するように設定される。これは、画像値が画像外れ値であるかどうかを決定するための特に適切な態様を提供する。
【００２４】
オプションとして、深さ値生成器は、更新深さ値として、第１空間近傍領域中の他の深さ値のうちの１つを提供するように構成される。既存の深さ値を用いることにより、いかなる追加の深さ値も、深さデータ内に導入されない。長所として、深さ値生成器は、実際の深さデータ生成プロセスを実行する必要はなく、更新深さ値として第１空間近傍領域中の他の深さ値の中から適切な深さ値を決定することができる。長所として、深さデータ中のアーチファクトの改善された低減が達成される。
【００２５】
オプションとして、深さ値生成器は、更新深さ値として、第１空間近傍領域中の他の深さ値の最大値及び/又は最小値を提供するように構成される。他の深さ値の最大値及び/又は最小値は、背景及び/又は前景の深さに対応するだろう。したがって、画像値は、背景及び/又は前景に対応する深さ値を割り当てられる。
【００２６】
オプションとして、深さ値生成器は、更新深さ値として、空間的にフィルタされた深さ値を提供するために、2D深さデータの第１空間近傍領域に空間フィルタを適用するように構成される。空間フィルタリングは、第１空間近傍領域中の既存の深さ値から生成される更新深さ値を提供する。長所として、深さ値生成器は、実際の深さデータ生成プロセスを実行する必要はなく、第１空間近傍領域を空間的にフィルタリングすることによって更新深さ値を得ることができる。長所として、深さデータ中のアーチファクトの改善された低減が達成される。
【００２７】
オプションとして、空間フィルタは、深さ外れ値を抑制するための空間ノイズ低減フィルタである。空間ノイズ低減フィルタは、雑音が多い画像データ中の外れ値を低減するために適しており、結果的に、深さデータ中の深さ外れ値を低減するために適している。
【００２８】
オプションとして、第１空間近傍領域及び第２空間近傍領域は主に水平方向に延在する。視点生成器は、一般的に、水平方向に画像データの部分を変位させる。したがって、アーチファクトは、深さ値が垂直方向の外れ値である場合よりも、深さ値が水平方向の外れ値である場合に、より目立つ。主に水平方向に近傍領域を延在させることによって、水平方向は、垂直方向以上に強調される。長所として、近傍領域の垂直サイズは、信号処理装置のコストを低減するために低減されることができる。
【００２９】
オプションとして、第１空間近傍領域は2D深さデータの水平ライン部分を含み、第２空間近傍領域は2D画像データの対応する水平ライン部分を含む。水平ライン部分は、実装コストと2D深さデータ中のアーチファクトの低減との間の十分に適したトレードオフを提供する。
【００３０】
オプションとして、視点生成器は、更なる2D画像データを生成するために2D深さデータの関数として2D画像データの少なくとも一部を変位させるために提供され、視点生成器は、説明された信号処理装置を有する。
【００３１】
オプションとして、深さデータ生成器は、2D画像データに依存して2D深さデータを生成するために提供され、深さデータ生成器は、説明された信号処理装置を有する。
【００３２】
オプションとして、説明されたコンピュータプログラムは、コンピュータ可読媒体として実施される。
【００３３】
本発明のこれらの及び他の態様は、以下に記載された実施の形態から明らかであり、それらを参照して説明される。
【図面の簡単な説明】
【００３４】
【図１】深さデータを処理するための信号処理装置を示す図。
【図２】画像データ中の画像値及び空間近傍領域を示す図。
【図３】深さデータ中に深さ値及び空間近隣を示す図。
【図４】画像外れ値ではない画像値及び深さ外れ値ではない対応する深さ値の例を示す図。
【図５】画像外れ値である画像値及び深さ外れ値である対応する深さ値の例を示す図。
【図６】画像外れ値でない画像値及び深さ外れ値である対応する深さ値の例を示す図。
【図７】信号処理装置を含む視点生成器を示す図。
【図８】信号処理装置を含む深さデータ生成器を示す図。
【図９】深さデータを処理するための方法を示す図。
【図１０】計算機可読媒体で実現されるコンピュータプログラムを示す図。
【発明を実施するための形態】
【００３５】
上述及び以下において、画像データは、画像のデータ表現を指すことが留意されるべきである。画像は、情報の視覚的表現である。画像データは、一般的に、いわゆる画像値、すなわち、画像の部分の輝度又は彩度値のようなデータ要素を含む。別の態様では、画像値は、輝度又は彩度値として解釈されて視覚化されることができる他の値であることができる。
【００３６】
さらに、深さデータは、3Dシーンの深さのデータ表現を指す。深さデータは、一般的に、いわゆる深さ値、すなわち、カメラ又は観察者に対する距離を示すデータ要素を含む。一般的に、深さデータは、単色の画像データとして視覚化されることができる。
【００３７】
深さデータは一般的に深さ値を含むが、深さデータは、いわゆる視差値又は変位値を用いて表されることができる。立体画像ペア内では、画像に関連する視差値は、立体画像ペアのそれぞれの画像間でのオブジェクトの見かけ上の変位に対応する。
【００３８】
技術的に、視差値は深さ値に反比例し、したがって、両方の値は3Dシーンの深さを表す。しかしながら、非常に多くの場合、さらにこの関係を微調整するために、例えば、知覚的に心地よい態様で深さ値の範囲を自動立体視ディスプレイの視差範囲にマッピングするために、視差変換が用いられる。
【００３９】
結論として、視差値と深さ値は共に、3Dシーンの深さのデータ表現であり、したがって、深さデータとしての適格がある。
【００４０】
画像データ及び深さ値の形の深さデータに基づいて説明される本発明は、画像データ及び視差値の形の深さデータに容易に適用されることができることは、当業者にとって明らかである。
【００４１】
図1は、3D画像データを処理するための信号処理装置100を示し、3D画像データは2D画像データ150及びそれに対応する2D深さデータ170を含む。信号処理装置100は、2D画像データ150及び2D深さデータ170を受信するための入力部120を含む。信号処理装置100は、2D深さデータ170から統計的深さ逸脱178を特定するための第１外れ値検出器160を更に備える。2D深さデータ170を受信するために、第１外れ値検出器160は、入力部120に接続されるように示される。信号処理装置100は、2D画像データ150から統計的画像逸脱158を特定するための第２外れ値検出器140を更に備える。2D画像データ150を受信するために、第２外れ値検出器140は、入力部120に接続されるように示される。信号処理装置100は、統計的深さ逸脱178及び統計的画像逸脱158に依存して、更新深さ値190を提供するための深さ値生成器180を更に備える。統計的深さ逸脱178及び統計的画像逸脱158を受信するために、深さ値生成器180は、第１外れ値検出器160及び第２外れ値検出器140にそれぞれ接続されるように示される。
【００４２】
信号処理装置100の動作の間、入力部120は、2D画像データ150及び2D深さデータ170を受信する。この受信は、遠隔の又はローカルの記憶装置から前記データを受信すること、ネットワーク接続を介して前記データを受信すること、あるいは、前の信号処理装置から前記データを受信することを含むことができる。
【００４３】
第１外れ値検出器160は、2D深さデータ170の第１空間近傍領域176における他の深さ値174から深さ値172の統計的深さ逸脱178を特定するために、2D深さデータ170を受信する。2D深さデータ170の例が図3に示される。ここで、2D深さデータ170は単色の画像データとして示され、各々のグレー値が特定の深さ値を表す。第１空間近傍領域176及び深さ値172がさらに示される。他の深さ値174は示されない。いうまでもなく、他の深さ値174は、第１空間近傍領域176中の深さ値の全てを含むことができ、深さ値172自体を除外することができる。しかしながら、他の深さ値174は、前記近傍領域における深さ値の異なるセットに関連することができる。
【００４４】
第２外れ値検出器140は、2D画像データ150の第２空間近傍領域156中の他の画像値154から画像値152の統計的画像逸脱158を特定するために2D画像データ150を受信する。深さ値172は画像値152の深さを表す。2D画像データ150の例が図2に示される。第２空間近傍領域156及び画像値152がさらに示される。他の画像値154は示されない。いうまでもなく、他の画像値154は第２空間近傍領域156中の画像値の全てを含むことができ、画像値152自体を除外することができる。しかしながら、他の画像値154は、前記近傍領域中の画像値の異なるセットに関連することもできる。
【００４５】
深さ生成器180は、前記逸脱に依存して、統計的深さ逸脱178が統計的画像逸脱158を超えるときに更新深さ値190を提供するために、統計的深さ逸脱178及び統計的画像逸脱158を受信する。したがって、深さ値172が比較的大きい統計的深さ逸脱178を有し、対応する画像値152が比較的小さい統計的画像逸脱158を有する場合には、深さ値172は、更新深さ値190によって置き換えられることができる。
【００４６】
なお、統計的深さ逸脱178及び統計的画像逸脱158は、データの異なるタイプに各々関連し、したがって、統計的画像逸脱158を超える統計的深さ逸脱178は、相対的な超過を指す場合がある（すなわち、データの異なるタイプを考慮する）。これは、深さ生成器180が、例えば、2D画像データ150と2D深さデータ170との間のダイナミック信号レンジ、ビット深さ等における差異を考慮することを可能にする。この目的のために、統計的深さ逸脱178及び/又は統計的画像逸脱158は、正規化された逸脱であることができる。同様に、統計的深さ逸脱178及び/又は統計的画像逸脱158は、閾値が決められた逸脱であり、すなわち、逸脱が特定の閾値を下回る場合にはゼロの値を持ち、逸脱が前記閾値を超える場合にはゼロより大きい値を持つことができる。結果的に、統計的画像逸脱158を超える統計的深さ逸脱178は、特定の閾値を超える統計的深さ逸脱178及び同じ又は異なる閾値を超えない統計的画像逸脱158を有することができる。
【００４７】
更新深さ値190を提供することは、更なる2D深さデータの一部として更新深さ値190を提供することを含むことができることがさらに留意されるべきである。更なる2D深さデータは、2D深さデータ170の深さ値を有することができ、特定の深さ値は、より小さい統計的深さ逸脱を有する更新深さ値によって置き換えられる。したがって、信号処理装置100は、統計的深さ逸脱178が統計的画像逸脱158を超える場合に、更新深さ値190を提供し、さもなければ、深さ値172を提供するために配置されることができる。しかしながら、信号処理装置100は、単に統計的深さ逸脱178が統計的画像逸脱158を超える場合に更新深さ値190を提供するために配置されることができる。
【００４８】
統計的深さ逸脱178は、深さ値172が他の深さ値174の中で外れ値であるかどうかを示すことができる。同様に、統計的画像逸脱158は、画像値152が他の画像値154の中で外れ値であるかどうかを示すことができる。ここで、「外れ値」との用語は、他の値の平均からの値の有意な逸脱を指すことができる。この目的ために、他の値の平均が計算されることができる。「外れ値」との用語はさらに、その値が他の値の最大値より大きい及び/又は最小値より小さいような逸脱を指すことができる。このため、値は、他の値の最大値及び/又は最小値と比較されることができる。
【００４９】
第１外れ値検出器160は、深さ値172が深さ外れ値であるかを決めるために深さ値172を他の深さ値174と比較することによって統計的深さ逸脱178を特定するように構成されることができる。そのうえ、第２外れ値検出器140は、画像値152が画像外れ値ではないかを決めるために画像値152を他の画像値154と比較することによって統計的画像逸脱158を特定するように構成されることができる。深さ値生成器180は、深さ値172が深さ外れ値である場合、すなわち、その統計的深さ値178が比較的大きい場合、そして画像値152が画像外れ値ではない場合、すなわち、その統計的画像逸脱158が比較的小さい場合に、更新深さ値190を提供するように構成されることができる。
【００５０】
図4、5及び6は、画像値152、他の画像値154、対応する深さ値172及び他の深さ値174の例を各々示す。ここで、第１空間近傍領域176及び第２空間近傍領域156は、それぞれ、2D深さデータ170及び2D画像データ150からのライン・セグメントであるように選択され、各々のセグメントは、それぞれ、３つの深さ値及び３つの画像値の幅を有する。このように、水平軸は位置を表し、垂直軸は各々の値の大きさを表す。
【００５１】
図4は、2D画像データ150からのライン・セグメントのエッジ、例えば、暗いオブジェクトから明るいオブジェクトへの遷移を示す。2D深さデータ170からのライン・セグメント中の対応するエッジは、暗いオブジェクトがより小さい深さ値を有すること、例えば、明るいオブジェクトよりもカメラから遠いことを示す。例えば、明るいオブジェクトは前景オブジェクトであることができ、暗いオブジェクトは背景オブジェクトであることができる。深さ値172は、他の深さ値174の平均に等しいか又は近い。さらに、深さ値172は、他の深さ値174の最大値より大きくもなく、最小値より小さくもない。したがって、第１外れ値検出器160は、深さ値172が深さ外れ値ではないと決定することができる。同様に、画像値152は、他の画像値154の平均に等しいか又は近く、画像値152は、他の画像値154の最大値より大きくもなく、最小値より小さくもない。したがって、第２外れ値検出器140は、画像値152が画像外れ値ではないと決定することができる。深さ値172が深さ外れ値ではなく、画像値152が画像外れ値ではないことを決定することによって、深さ値生成器180は、深さ値172がアーチファクトではないことを決定することができ、したがって、更新深さ値190を提供しなくてもよい。その代わりに、深さ値生成器180は、深さ値172を提供することができるか、又は、全く何も提供しない。
【００５２】
いうまでもなく、信号処理装置100は、深さ値172が深さ外れ値であるかどうかをまず決定して、深さ値172が深さ外れ値である場合にのみ、画像値152が画像外れ値であるかどうかを決定するように構成されることができる。この理由は、深さ値172が深さ外れ値ではない場合には、画像値152にかかわりなく、深さ値172がアーチファクトである可能性が低いからである。
【００５３】
図5は、2D画像データ150からのライン・セグメント中のピーク、例えば、2D画像データ150中の薄いオブジェクトの断面を示す。2D深さデータ170からのライン・セグメント中の対応するピークは、薄いオブジェクトがより大きい深さ値172を有し、例えば、その周囲よりもカメラに近いことを示す。深さ値172は、他の深さ値174の平均から比較的離れている。さらに、深さ値172は、他の深さ値174の最大値より大きい。したがって、第１外れ値検出器160は、深さ値172が深さ外れ値であると決定することができる。同様に、画像値152は、他の画像値154の平均から比較的離れている。さらに、画像値152は、他の画像値154の最大値より大きい。したがって、第２外れ値検出器140は、画像値152が画像外れ値であると決定することができる。深さ値172が深さ外れ値であり、画像値152が画像外れ値であることを決定することにより、深さ値生成器180は、深さ値172がアーチファクトではなく、したがって、更新深さ値190を提供しなくてもよいことを決定することができる。その代わりに、深さ値生成器180は、深さ値172を提供することができるか、又は、全く何の深さ値も提供しなくてもよい。
【００５４】
深さ値172がアーチファクトでないことを決定する理由は、画像値152が画像外れ値であることが決定される場合、これは、深さ値172も深さ外れ値であることを説明又は正当化するからである。したがって、この場合には、深さ値172は、誤り又はアーチファクトではないと考えられる。
【００５５】
図6は、2D画像データ150からのライン・セグメント中のエッジ、例えば、暗いオブジェクトから明るいオブジェクトへの遷移を示す。しかしながら、2D深さデータ170からの対応するライン・セグメントは、深さ値間の遷移の代わりにピークを示す。したがって、深さ値172は、他の深さ値174の平均から比較的離れている。さらに、深さ値172は、他の深さ値174の最大値より大きい。したがって、第１外れ値検出器160は、深さ値172が深さ外れ値であることを決定することができる。しかしながら、画像値152は他の画像値154の平均に等しいか又はそれに近く、画像値152は、他の画像値154の最大値より大きくもなく、最小値より小さくもない。したがって、第２外れ値検出器140は、画像値152が画像外れ値ではないことを決定することができる。深さ値172が深さ外れ値であり、画像値152が画像外れ値ではないことを決定することによって、深さ値生成器180は、深さ値172がアーチファクトであることを決定することができ、ひいては、更新深さ値190を提供することができる。
【００５６】
いうまでもなく、画像値152が画像外れ値ではないことを決定することと、画像値152が画像外れ値であることを決定することの両方の構成は機能的に相補的であるため、画像値152が画像外れ値ではないことを決定することは、画像値152が画像外れ値であることを決定することを含むことができる。したがって、第２外れ値検出器140は、深さ値生成器180に信号を提供することによって、画像値152が画像外れ値であるかを決定するように構成されることができる。そして深さ値生成器180は、前記信号が受信されない場合に、画像値152は画像外れ値ではないことを決定することができる。
【００５７】
深さ値生成器180は、更新深さ値190として、第１空間近傍領域176中の他の深さ値174のうちの１つを提供することができる。特に、深さ値生成器180は、第１空間近傍領域176中の他の深さ値174の最大値及び/又は最小値を提供することができる。深さ値生成器180は、画像値152及び/又は他の画像値154から更新深さ値190を生成すること、したがって、事実上、深さマップ生成プロセスを実行することもできる。深さ値生成器180は、空間フィルタにより第１空間近傍領域176において、深さ値又は深さ値のサブセットをフィルタリングすることによって、更新深さ値190を生成することができる。したがって、更新深さ値190は、空間的にフィルタされた深さ値であることができる。空間フィルタは、深さ値172を補間する、すなわち、他の深さ値174から深さ値172を事実上再生するための補間フィルタであることができる。補間フィルタは、線形補間フィルタであるか、又は、非線形補間フィルタであることができる。例えば、補間フィルタは、エッジ保存補間フィルタであることができる。空間フィルタは、深さ値の中の外れ値を抑制するためのノイズ低減フィルタであることができる。例えば、ノイズ低減フィルタは、ランク・オーダ・フィルタ(例えば、メジアン・フィルタ)であることができる。
【００５８】
深さ値生成器180は、更新深さ値として、上述の更新深さ値190と深さ値172との混合、例えば重み付き平均又はいわゆる逆数混合を提供することができる。混合は、統計的深さ逸脱178と統計的画像逸脱158との間の相対的なサイズの差異によって、決定される、例えば重み付けられることができる。例えば、統計的深さ逸脱178がわずかな量だけ統計的画像逸脱158を超える場合、更新深さ値190は、例えば、空間的にフィルタリングされた深さ値が小さい重みを有し、深さ値172は大きい重みを有する、重み付き平均を有することができる。同様に、統計的深さ逸脱178が大きい量によって統計的画像逸脱158を超える場合、更新深さ値190は、空間的フィルタリングされた深さ値が大きい重みを有し、深さ値172が小さい重みを有する、重み付き平均を有することができる。
【００５９】
第１空間近傍領域176及び第２空間近傍領域156は、両方とも同様の又は同一の形状及びサイズを有するように、図2から6に示される。しかしながら、両方の近傍領域の形状及び/又はサイズは、異なることができる。これ理由は、2D画像データ150及び2D深さデータ170の空間分解能が異なり、したがって、例えば、より低い解像度データにとっては、より小さいサイズの近傍領域で十分であるからである。そのうえ、2D画像データ150及び2D深さデータ170の特性は異なる場合があり、したがって、画像値152が画像外れ値ではないかどうかを決定するよりも、深さ値172が深さ外れ値であるかどうかを決定するために、異なる形状及び/又はサイズが必要である場合がある。
【００６０】
第１空間近傍領域176及び第２空間近傍領域156は、主に水平方向に延在することができる。特に、第１空間近傍領域176及び第２空間近傍領域156は、それぞれ、2D深さデータ170及び2D画像データ150の水平ライン部分からなる高さを持つ近傍領域であることができる。例えば、第１空間近傍領域176及び第２空間近傍領域156は、３つ、５つ又は７つの水平方向に隣接する値を有することができる。同様に、第１空間近傍領域176及び第２空間近傍領域156は、水平ロウを形成する値を有することができ、前記値の各々が、近傍領域の一部ではない中間値を持つ。結果的に、第１空間近傍領域176及び第２空間近傍領域156は、連続的な領域によって各々形成される必要はない。その代わりに、連続的な領域が、それぞれの近傍領域を形成するためにサブサンプリングされることができる。
【００６１】
図7は、更なる2D画像データ250を生成するために2D深さデータ170の関数として2D画像データ150の少なくとも一部を変位させる視点生成器200を示す。視点生成器200は、視点生成を実行する前に2D深さデータ170を前処理するための信号処理装置100を含む。この目的のために、信号処理ユニット100は、2D画像データ150及び2D深さデータ170から更なる2D深さデータ270を生成し、視点生成プロセッサ220に更なる2D深さデータ270を提供する。そして、視点生成プロセッサ220は、更なる2D画像データ250を生成するために、更なる2D深さデータ270を用いる。更なる2D深さデータ270は、通常は2D深さデータ170の深さ値を含み、深さ値の中の外れ値は、信号処理装置100によって置き換えられている。したがって、2D画像データ150及び2D深さデータ170から更なる2D画像データ250を直接生成する代わりに、視点生成器200は、視点生成を実行する前に2D深さデータ170中の外れ値を最初に低減するために、信号処理装置100を用いる。
【００６２】
図8は、2D画像データ150に依存して2D深さデータ170を生成するための深さデータ生成器300を示す。この目的のために、深さデータ生成器300は、2D画像データ150を受信して2D深さデータ170を生成する深さデータ生成プロセッサ320を含む。深さデータ生成器300は、2D深さデータ170をさらに処理するための信号処理装置100を含む。この目的のために、深さデータ生成プロセッサ320は信号処理装置100に2D深さデータ170を提供し、そして信号処理装置100は更なる2D深さデータ370を生成する。更なる2D深さデータ370は、通常は2D深さデータ170の深さ値を含み、深さ値の中の外れ値は、信号処理装置100によって置き換えられている。したがって、信号処理装置100は、2D深さデータ170を後処理するために用いられる。
【００６３】
図9は、2D画像データ及びそれに対応する2D深さデータを有する3D画像データを処理するための方法を示し、当該方法は、2D画像データ及び2D深さデータを受信し(420)、2D深さデータの第１空間近傍領域中の他の深さ値から深さ値の統計的深さ逸脱を特定し(440)、2D画像データの第２空間近傍領域中の他の画像値から画像値の統計的画像逸脱を特定し(460)、深さ値は画像値の深さを表し、統計的深さ逸脱及び統計的画像逸脱に依存して、統計的深さ逸脱が統計的画像逸脱を超える場合、更新深さ値を提供し(480)、更新深さ値は深さ値より低い統計的深さ逸脱を有する。
【００６４】
図10は、コンピュータプログラム520を含む計算機可読媒体500を示し、コンピュータプログラム520は、図9に示される方法400をプロセッサ・システムに実行させるための命令を含む。コンピュータプログラム520は、物理的マークとして又は計算機可読媒体500の磁化によって、計算機可読媒体500上に実現されることができる。しかしながら、他の任意の適切な実施の形態も同様に考え得る。さらに、いうまでもなく、計算機可読媒体500が光学ディスクとして図10に示されるが、計算機可読媒体500は、ハードディスク、ソリッドステート・メモリ、フラッシュ・メモリなどのような、任意の適切な計算機可読媒体であることができ、追記不可であっても追記可能であってもよい。
【００６５】
いうまでもなく、本発明は、誤った深さを有する狭い境界を検出するために深さ遷移を分析するために適用されることができる。その周囲の深さ値から逸脱する深さ値が検出される場合、同じ位置の画像値は、その周囲の画像値と比較されることができる。画像値が周囲の画像値の間に補間された値である場合、すなわち外れ値ではない場合、画像値はぼけたオブジェクト・エッジに由来し、深さ値はぼけたオブジェクト・エッジから誤って生成されたとみなすことができる。そして、更新深さ値は、周囲の深さ値のうちの１つの深さ、特に、前景と最も関連している周囲の深さ値のうちの１つを深さ値に割り当てることによって提供されることができる。
【００６６】
本発明の可能な実施態様は、ラインごとに2D深さデータを処理して、深さ値を、１ピクセルか数ピクセルの距離にあるその左及び右の隣り合うものと比較することであることができる。深さ値がその周囲の値の間ではない場合、画像値は、隣り合うものが１ピクセル又は数ピクセル離れたところにあるその左及び右の隣り合うものと比較される。例えば、輝度、彩度、強度、色、飽和度又は他の色特性に基づいて、画像値がその周囲の画像値と同等である場合、深さ値は、アーチファクトと考えられる。その結果、深さ値は、その周囲の深さ値のうち最大値に設定され、すなわち、深さ値として前記最大値を有する更新深さ値が提供される。
【００６７】
本発明の他の可能な実施態様は、空間開口中の深さ外れ値を低減するために2D深さデータにおいて空間開口中を順次スキャンすることによって2D深さデータを処理することである。このスキャンは、最初に水平方向に空間開口中をスキャンし、続いて垂直に、最後に斜めにスキャンする。他の可能な実施態様は、並列化された実施態様であり、本発明は、並列に空間開口内の複数の深さ値及び対応する画像値に適用される。
【００６８】
なお、一般に、2D画像データ及び2D深さデータがビデオ・シーケンスからのデータであるとき、第１の空間近傍領域及び/又は第２空間近傍領域は、時間的に延在することができ、すなわち、他の画像値及び/又は他の深さ値は、時間的に後又は前のビデオ・シーケンスの部分からの画像値及び/又は深さ値を有することができる。したがって、信号処理装置は、深さ値及び/又は画像値が空間的な外れ値であるかどうかだけでなく、時間的な外れ値であるかどうかも決定することができる。
【００６９】
2D画像データは、ステレオ画像データ又は所謂マルチビュー画像データとして、あるいはその一部として、得ることができることも留意されるべきである。これは、例えば、ステレオ画像データ又はマルチビュー画像データが2D深さデータを生成するために深さデータ生成プロセスにおいて用いられる場合に、発生することができる。したがって、3D画像データは、生成された2D深さデータによって、及びステレオ画像データ又はマルチビュー画像データから得られる2D画像データによって形成されることができる。
【００７０】
明確性のために前記説明が異なる機能ユニットを参照して本発明の実施の形態を記述したことはいうまでもない。しかしながら、異なる機能ユニット又はプロセッサ間の機能の任意の適切な分布が本発明を損なわずに用いられることができることは明らかである。例えば、別々のプロセッサ又はコントローラによって実行されると説明された機能は、同じプロセッサ又はコントローラによって実行されることができる。したがって、特定の機能ユニットに対する参照は、単に説明される機能を提供するための適切な手段に対する参照として見なされるべきであり、厳密な論理的又は物理的構造又は機構を示すわけではない。
【００７１】
本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらの任意の組み合わせを含む任意の適切な形態で実施されることができる。本発明は、１つ以上のデータプロセッサ及び/又はデジタルシグナルプロセッサ上で動作するコンピュータソフトウェアとして、少なくとも部分的にオプションとして実施されることができる。本発明の実施の形態の素子及びコンポーネントは、任意の適切な態様において、物理的に、機能的に及び論理的に実施されることができる。実際、機能は、１つのユニットとして、複数のユニットとして、又は、他の機能ユニットの一部として、実施されることができる。このように、本発明は、１つのユニットにおいて実施されるか又は異なるユニットとプロセッサとの間で物理的に及び機能的に分配されることができる。
【００７２】
本発明がいくつかの実施の形態に関して説明されたが、それは、本願明細書において述べられる特定の形態に限定されることを意図しない。むしろ、本発明の範囲は、添付の請求の範囲によってのみ制限される。さらに、ある特徴が特定の実施の形態に関連して説明されるように思われる場合があるが、当業者は、説明された実施の形態のさまざまな特徴は、本発明に従って組み合わせられることができることを認識する。請求の範囲において、「有する」「含む」などの用語は、他の要素又はステップの存在を除外しない。
【００７３】
さらに、複数の手段、要素又は方法ステップは、個別にリストされるが、例えば１つのユニット又はプロセッサによって実施されることができる。さらに、個々の特徴が異なる請求項中に含まれる場合があるが、これらはおそらく都合よく組み合わせられることができ、異なる請求項中に包まれることは、特徴の組み合わせが可能でなく及び/又は有利ではないことを意味しない。請求項の一つのカテゴリ中に特徴の包含は、このカテゴリに対する制限でなくが、かなり適切であるように、特徴が他の請求項カテゴリに同様に適用可能である指示を意味する。さらに、請求項中の特徴の順序は、何らかの特定の順序で特徴が動作する必要があることを意味せず、特に、方法の請求項中の個々のステップの順序は、ステップがこの順序で実行される必要があることを意味しない。むしろ、ステップは、任意の適切な順序で実行されることができる。更に、単数の参照は複数を除外しない。"a", "an", "第１", "第２" などへの言及は複数を除外しない。請求項中の参照符号は、単に明確な例として提供されており、いかなる態様によっても、請求の範囲を制限するものとして解釈されてはならない。
【図１】
2014506768.tif 000003
【図２】
2014506768.tif 000004
【図３】
2014506768.tif 000005
【図４】
2014506768.tif 000006
【図５】
2014506768.tif 000007
【図６】
2014506768.tif 000008
【図７】
2014506768.tif 000009
【図８】
2014506768.tif 000010
【図９】
2014506768.tif 000011
【図１０】
2014506768.tif 000012
【国際調査報告】
2014506768.tif 000013
2014506768.tif 000014
2014506768.tif 000015