(57)【要約】  画像に対する出力深度マップを生成するための装置は、入力深度マップから前記画像に対する第１の深度マップを生成するための第１の深度プロセッサを含んでいる。第２の深度プロセッサは、画像特性依存フィルタリングを前記入力深度マップに適用することによって前記画像に対する第２の深度マップを生成する。画像特性依存フィルタリングは、特定的には、入力深度マップに係るクロスバイラテラルフィルタリングである。エッジプロセッサは、前記画像に対するエッジマップを決定し、かつ、結合器は、前記エッジマップに応じて、前記第１の深度マップと前記第２の深度マップを結合することによって、前記画像に対する前記出力深度マップを生成する。特定的に、第２の深度マップは、エッジから遠く離れたところより、エッジ周辺においてより高く重み付けされる。本発明は、多くの実施例において、時間的及び空間的により安定した深度マップを提供し、一方で、処理によってもたらされる劣化とアーチファクトを削減している。
2015522198.tif 000002
【特許請求の範囲】
【請求項１】
画像に対する出力深度マップを生成するための装置であって：
入力深度マップから前記画像に対する第１の深度マップを生成するための第１の深度プロセッサと；
画像特性依存フィルタリングを前記入力深度マップに適用することによって前記画像に対する第２の深度マップを生成するための第２の深度プロセッサと；
前記画像に対するエッジマップを決定するためのエッジプロセッサと；
前記エッジマップに応じて、前記第１の深度マップと前記第２の深度マップを結合することによって、前記画像に対する前記出力深度マップを生成するための結合器と；
を含む、装置。
【請求項２】
前記結合器は、非エッジ領域におけるよりも、エッジ領域において、前記第２の深度マップをより高く重み付けするように構成されている、
請求項１に記載の装置。
【請求項３】
前記結合器は、少なくともいくつかのエッジ領域において、前記第１の深度マップよりも前記第２の深度マップをより高く重み付けするように構成されている、
請求項１に記載の装置。
【請求項４】
前記画像特性依存フィルタリングは：
ガイドフィルタリング；
クロスバイラテラルフィルタリング；
クロスバイラテラルグリッドフィルタリング：
ジョイントバイラテラルアップサンプリング、
のうち少なくとも一つを含む、
請求項１に記載の装置。
【請求項５】
前記エッジプロセッサは、前記入力深度マップと前記第１の深度マップのうち少なくとも一つに対して実行されたエッジ検出プロセスに応じて、前記エッジマップを決定するように構成されている、
請求項１に記載の装置。
【請求項６】
前記エッジプロセッサは、前記画像に対して実行されたエッジ検出プロセスに応じて、前記エッジマップを決定するように構成されている、
請求項１に記載の装置。
【請求項７】
前記結合器は、前記エッジマップに応じて、アルファマップを生成し、かつ、前記アルファマップに応じた前記第１の深度マップと前記第２の深度マップとのブレンドに応じて、第３の深度マップを生成する、ように構成されている、
請求項１に記載の装置。
【請求項８】
前記第２の深度マップは、前記入力深度マップよりも解像度が高い、
請求項１に記載の装置。
【請求項９】
画像に対する出力深度マップを生成するための方法であって：
入力深度マップから前記画像に対する第１の深度マップを生成するステップと；
画像特性依存フィルタリングを前記入力深度マップに適用することによって前記画像に対する第２の深度マップを生成するステップと；
前記画像に対するエッジマップを決定するステップと；
前記エッジマップに応じて、前記第１の深度マップと前記第２の深度マップを結合することによって、前記画像に対する前記出力深度マップを生成するステップと；
を含む、方法。
【請求項１０】
前記出力深度マップを生成するステップは、非エッジ領域におけるよりも、エッジ領域において、前記第２の深度マップをより高く重み付けする段階、を含む、
請求項９に記載の方法。
【請求項１１】
前記出力深度マップを生成するステップは、少なくともいくつかのエッジ領域において、前記第１の深度マップよりも前記第２の深度マップをより高く重み付けする段階、を含む、
請求項９に記載の方法。
【請求項１２】
前記画像特性依存フィルタリングは：
ガイドフィルタリング；
クロスバイラテラルフィルタリング；
クロスバイラテラルグリッドフィルタリング：
ジョイントバイラテラルアップサンプリング、
のうち少なくとも一つを含む、
請求項９に記載の方法。
【請求項１３】
前記エッジマップは、前記入力深度マップ、前記第１の深度マップ、および、前記画像のうち少なくとも一つに対して実行されたエッジ検出プロセスに応じて決定される、
請求項９に記載の方法。
【請求項１４】
前記第２の深度マップは、前記入力深度マップよりも解像度が高い、
請求項９に記載の方法。
【請求項１５】
コンピュータ上で実行されると、
請求項９乃至１４いずれか一項に記載の方法を実行するように適合されたコンピュータプログラムコード手段を含んでいる、
コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に対する深度マップの生成に関する。より特定的には、制限的ではないが、バイラテラルフィルタリング（ｂｉｌａｔｅｒａｌ  ｆｉｌｔｅｒｉｎｇ）を使用した深度マップの生成に関する。
【背景技術】
【０００２】
３次元表示は、ますます多くの興味を引いており、どのように観察者に対して３次元的な認識を提供するか研究が行われている。３次元（３Ｄ）表示は、見ているシーン（ｓｃｅｎｅ）の異なるビュー（ｖｉｅｗ）を観察者の２つの眼に対して提供することによって、視聴体験について３番目の次元を追加するものである。このことは、表示される２つのビューを分離するように、観察者にメガネをかけさせることによって達成され得る。しかしながら、これはユーザにとって不便であると考えられるので、多くのシナリオにおいては、ディスプレイにおける手段（レンチキュラーレンズ（ｌｅｎｔｉｃｕｌａｒ  ｌｅｎｓｅ）、またはバリヤといったもの）を使用する自動立体ディスプレイ（ａｕｔｏｓｔｅｒｅｏｓｃｏｐｉｃ  ｄｉｓｐｌａｙ）を使用することが好まれる。ビューを分離し、かつ、それらが個々にユーザの眼に達するような異なる方向において送付するための手段である。立体表示のためには、２つのビューが必要であるが、一方、自動立体ディスプレイは、より多くのビュー（例えば９個のビュー、といったもの）を必要とする。
【０００３】
別の実施例として、３次元効果は、運動視差（ｍｏｔｉｏｎ  ｐａｒａｌｌａｘ）機能を実施する従来の２次元ディスプレイから達成され得る。そうしたディスプレイは、ユーザの移動を追跡して、それに従って表示される画像を適合させる。３次元環境において、観察者の頭の移動は、相対的な遠近法による移動を結果として生じる。近い対象物は相対的に大きく移動し、一方、さらに後方の対象物は著しく少しだけ移動し、そして、無限深さにある対象物は全く移動しない。従って、観察者の頭の移動に応じて、２次元ディスプレイ上に異なる画像対象物の相対的な移動を提供することによって、認識可能な３次元効果が達成され得る。
【０００４】
３次元画像効果に対する欲求を満たすために、コンテンツは、取得されたシーンの３次元アスペクト（ａｓｐｅｃｔ）を記述するデータを含むように作成される。例えば、コンピュータグラフィックのために、３次元モデルを作成することができ、所与の観察位置からの画像を計算するために使用され得る。そうしたアプローチは、例えば、３次元効果を提供するコンピュータゲームのために、しばしば使用される。
【０００５】
別の実施例として、ますます、映画またはテレビ番組といった、ビデオコンテンツが、いくらかの３次元情報を含むように生成されている。そうした情報は、僅かにオフセットされたカメラ位置から２つの画像を同時に取得する専用の３次元カメラを使用して、取得することができる。あるケースにおいては、より離れてオフセットされた位置から、より多くの画像が同時に取得される。例えば、お互いに関してオフセットされた９個のカメラを使用することができ、９個のビューコーン（ｖｉｅｗ  ｃｏｎｅ）の自動立体ディスプレイに係る９個の視点に対応する画像を生成する。
【０００６】
しかしながら、追加の情報は、結果として実質的なデータ量の増加を生じることが顕著な問題であって、ビデオデータの配布、通信、処理、および、保管に対して非実用的である。従って、３次元情報の効率的なエンコードが重要である。このため、必要とされるデータレートを実質的に削減し得る効率的な３次元画像とビデオのエンコードフォーマットが開発されてきた。
【０００７】
３次元画像を表示するための一般的なアプローチは、一つまたはそれ以上の層状の２次元画像と、加えて関連する深度データを使用することである。例えば、３次元のシーンを表示するために、前景と背景が、関連する深度情報と供に使用され得る。または、一つの画像と、関連する深度マップが使用され得る。
【０００８】
エンコードフォーマットによって、直接的にエンコードされた画像の高品質なレンダリング（ｒｅｎｄｅｒｉｎｇ）ができる。つまり、エンコードされた画像データに対する視点に対応する画像の、高品質なレンダリングをすることができる。エンコードフォーマットにより、さらに、取得された画像の視点について取って代わる視点に対する画像を生成することができる。同様に、画像対象物は、画像データに備えられた深度情報に基づいて、画像の中でシフトされ得る。さらに、画像によって表示されていない領域は、利用可能であれば閉塞情報を使用して充填されてよい。
【０００９】
しかしながら、深度情報を提供する深度マップに関連付けされた一つまたはそれ以上の画像を使用した３次元シーンのエンコードにより非常に効率的な表示ができ、一方で、結果として生じる３次元経験は、深度マップによって提供される十分に正確な深度情報に非常に依存している。
【００１０】
深度マップを生成するために、種々のアプローチを使用することができる。例えば、異なる視角に対応する２つの画像が提供される場合には、２つの画像において一致画像領域が特定され、領域に係る位置間での相対的なオフセットによって深度が見積りされる。このように、２つの画像間の不一致を見積るためのアルゴリズムが適用されてよい。対応する対象物の深度を直接的に示す不一致を用いるものである。一致領域の検出は、例えば、２つの画像にわたり画像領域の相互相関に基づいてよい。
【００１１】
しかしながら、多くの深度マップに伴う問題、特に、複数の画像における不一致の見積りによって生成された深度マップに伴う問題は、それらが空間的かつ時間的に、望むようには安定しない傾向があることである。例えば、ビデオシーケンスに対して、連続した画像にわたる小さな変動および画像ノイズは、一時的にノイズが多く、不安定な深度マップを生成するアルゴリズムを結果として生じ得る。同様に、画像ノイズ（または処理ノイズ）は、一つの深度マップにおける深度マップの変動とノイズを結果として生じ得る。
【００１２】
そうした問題を取り扱うために、空間的及び/又は時間的な安定性を増し、かつ、深度マップにおけるノイズを低減するように、生成された深度マップをさらに処理することが提案されてきた。例えば、フィルタリング、または、エッジスムージング又は拡張が、深度マップに対して適用されてよい。しかしながら、そうしたアプローチに伴う問題は、ポスト処理は理想的ではなく、典型的には、それ自身で劣化、ノイズ、及び/又は、アーチファクトをもたらすということである。例えば、クロスバイラテラルフィルタリングにおいては、深度マップへのいくらかの信号（輝度（ｌｕｍａ））漏れが存在する。明らかなアーチファクトが直ちに目に見えないこともあるが、それでもアーチファクトは、典型的には、長時間の観察に対して眼の疲労を生じさせる。
【発明の概要】
【発明が解決しようとする課題】
【００１３】
従って、改善された深度マップを生成することが有益である。より特定的には、汎用性の増加、複雑性の低減、実施の促進、時間及び/又は空間的安定性の改善、及び/又は、パフォーマンスの改善、をすることができるアプローチが有益である。
【課題を解決するための手段】
【００１４】
従って、本発明は、一つまたはそれ以上の上述の不利益を単独又はあらゆる組み合わせにおいて、好適に軽減し、緩和し、または、除去することをめざすものである。
【００１５】
本発明に係る一つの態様に従って、画像に対する出力深度マップを生成するための装置が提供される。本装置は：入力深度マップから前記画像に対する第１の深度マップを生成するための第１の深度プロセッサと；画像特性依存フィルタリングを前記入力深度マップに適用することによって前記画像に対する第２の深度マップを生成するための第２の深度プロセッサと；前記画像に対するエッジマップを決定するためのエッジプロセッサと；前記エッジマップに応じて、前記第１の深度マップと前記第２の深度マップを結合することによって、前記画像に対する前記出力深度マップを生成するための結合器と；を含んでいる。
【００１６】
本発明は、多くの実施例において、改善された深度マップを提供し得る。特に、多くの実施例において、画像依存フィルタリングから生じるアーチファクトを軽減し、一方で、同時に画像依存フィルタリングの利益を提供している。多くの実施例において、生成された出力深度マップは、画像依存フィルタリングから生じるアーチファクトが軽減されている。
【００１７】
発明者らは、改善された深度マップが、画像依存フィルタリングから生じる深度マップを単に使用することによってではなく、オリジナル深度マップといった、画像依存フィルタリングが適用されていない深度マップと結合することによっても生成され得ると洞察していた。
【００１８】
多くの実施例において、第１の深度マップは、入力深度マップをフィルタリングすることによって、入力深度マップから生成される。多くの実施例において、第１の深度マップは、いかなる画像依存フィルタリングも適用することなく、入力深度マップから生成される。多くの実施例において、第１の深度マップは、入力深度マップと同一であってよい。後段の場合に、第１のプロセッサは、パススルー機能だけを効果的に実行する。このことは、例えば、入力深度マップが既に信頼できる深度値を対象物の中に有している場合に使用され得る。しかし、本発明により提供されるように近くの対象物をフィルタリングすることから利益を得ている。
【００１９】
エッジマップは、画像において画像対象物エッジの表示を提供することができる。エッジマップは、特定的には、画像における深度移行エッジの表示を提供し得る（例えば、深度マップの一つによって表現されるように）。エッジマップは、例えば、深度マップ情報から（排他的に）生成される。エッジマップは、例えば、入力深度マップ、第１の深度マップ、または、第２の深度マップに対して決定される。従って、深度マップと関連付けされ、かつ、深度マップを通じて画像と関連付けされる。
【００２０】
画像特性依存フィルタリングは、画像の視覚的な画像特性に依存する深度マップのあらゆるフィルタリングであり得る。特定的には、画像特性依存フィルタリングは、画像の輝度及び/又は色度に依存する深度マップのあらゆるフィルタリングであり得る。画像特性依存フィルタリングは、画像を表示する画像データの特性（輝度及び/又は色度データ）を、深度マップに変換するフィルタリングであり得る。
【００２１】
結合は、特定的には、第１の深度マップと第２の深度マップとの結合であってよく、例えば、加重和といったものである。エッジマップは、検出されたエッジ周辺の領域を表している。
【００２２】
画像は、視覚的な情報を定義している画像データによって表わされる視覚的なシーンのいかなる表現であってよい。特定的には、画像は、それぞれのピクセルに対する輝度及び/又は彩度を定めている画像データを用いて、典型的には２次元平面に配置された、一式のピクセルによって形成され得る。
【００２３】
本発明の任意的な機能に従って、結合器は、非エッジ領域におけるよりも、エッジ領域において、前記第２の深度マップをより高く重み付けするように構成されている。
【００２４】
このことは、改善された深度マップを提供する。いくつかの実施例において、結合器は、エッジに向かって増加している距離に対して第２の深度マップの重み付けを減少するように構成されている。特定的には、第２の深度マップに対する重み付けは、エッジに向かう距離について単調減少する関数であってよい。
【００２５】
本発明の任意的な機能に従って、結合器は、少なくともいくつかのエッジ領域において、前記第１の深度マップよりも前記第２の深度マップをより高く重み付けするように構成されている。
【００２６】
このことは、改善された深度マップを提供する。特定的には、結合器は、少なくともいくらかの領域において第１の深度マップがエッジに関連付けされた第２の深度マップを、エッジに関連付けされていない領域よりも高く重み付けするように構成されている。
【００２７】
本発明の任意的な機能に従って、画像特性依存フィルタリングは、クロスバイラテラルフィルタリングを含んでいる。
【００２８】
このことは、多くの実施例において特に有利である。特には、バイラテラルフィルタリングは、深度見積りから生じる劣化について特定的に有効な減衰を提供し得る（例えば、立体コンテンツの場合といった、不一致の見積りベースの複数画像を使用するとき）。それにより、時間的及び/又は空間的により安定した深度マップを提供している。さらに、バイラテラルフィルタリングは、従来の深度マップ生成アルゴリズムが、大部分は単にアーチファクトをもらたしている間に、エラーを導きがちな領域を改善する傾向がある。領域で、深度マップ生成アルゴリズムは比較的に正確な結果を提供する。
【００２９】
特に、発明者らは、クロスバイラテラルフィルタリングが、エッジまたは深度移行の周辺で顕著な改善を提供する傾向にあると洞察していた。一方、もたらされたあらゆるアーチファクトは、そうしたエッジまたは深度移行から遠く離れてしばしば発生するものである。従って、クロスバイラテラルフィルタリングの使用は、一方がフィルタリングオペレーションを適用することによって生成された２つの深度マップを結合することによって出力深度マップが生成されるアプローチに対して、特に適している。
【００３０】
本発明の任意的な機能に従って、画像特性依存フィルタリングは、ガイドフィルタリング；クロスバイラテラルフィルタリング；クロスバイラテラルグリッドフィルタリング：ジョイントバイラテラルアップサンプリング、のうち少なくとも一つを含んでいる。
【００３１】
このことは、多くの実施例において特に有利であり得る。
【００３２】
本発明の任意的な機能に従って、エッジプロセッサは、前記入力深度マップと前記第１の深度マップのうち少なくとも一つに対して実行されたエッジ検出プロセスに応じて、前記エッジマップを決定するように構成されている。
【００３３】
このことは、多くの実施例において、そして、多くの画像と深度マップについて、改善された深度マップを提供し得る。多くの実施例において、本アプローチは、より正確なエッジ検出を提供し得る。特定的には、多くのシナリオにおいて、深度マップは、画像に対する画像データより少ないノイズを含んでいる。
【００３４】
本発明の任意的な機能に従って、エッジプロセッサは、前記画像に対して実行されたエッジ検出プロセスに応じて、前記エッジマップを決定するように構成されている。
【００３５】
このことは、多くの実施例において、そして、多くの画像と深度マップについて、改善された深度マップを提供し得る。多くの実施例において、本アプローチは、より正確なエッジ検出を提供し得る。画像は、輝度値及び/又は色度値によって表現され得る。
【００３６】
本発明の任意的な機能に従って、結合器は、前記エッジマップに応じて、アルファマップを生成し、かつ、前記アルファマップに応じた前記第１の深度マップと前記第２の深度マップとのブレンドに応じて、第３の深度マップを生成する、ように構成されている。
【００３７】
このことは、結果として生じる改善された深度マップを提供しながら、オペレーションを促進し、より効率的な実施を提供し得る。アルファマップは、２つの深度マップの重み付け結合（特定的には、加重和）のための、第１の深度マップと第２の深度マップのうち一方に対する重み付けを示している。第１の深度マップと第２の深度マップのうち他方に対する重み付けは、エネルギまたは大きさを保持するように決定されてよい。例えば、アルファマップは、深度マップに係るそれぞれのピクセルに対して、０から１の間の値αを含んでいる。この値αは、第１の深度マップに対する重み付けを提供し、１−αとして与えられる第２の深度マップに対する重み付けを伴っている。出力深度マップは、第１および第２の深度マップそれぞれからの重み付けされた深度値の合計によって与えられる。
【００３８】
エッジマップ及び/又はアルファマップは、典型的には非バイナリー値を含んでいる。。
【００３９】
本発明の任意的な機能に従って、第２の深度マップは、入力深度マップよりも解像度が高い。
【００４０】
領域は、エッジからの既定の距離を有してよい。領域の境界は、ソフト（ｓｏｆｔ）な移行であってよい。
【００４１】
本発明に係る一つの態様に従って、画像に対する出力深度マップを生成するための方法が提供される。本方法は、入力深度マップから前記画像に対する第１の深度マップを生成するステップと；画像特性依存フィルタリングを前記入力深度マップに適用することによって前記画像に対する第２の深度マップを生成するステップと；前記画像に対するエッジマップを決定するステップと；前記エッジマップに応じて、前記第１の深度マップと前記第２の深度マップを結合することによって、前記画像に対する前記出力深度マップを生成するステップと；を含んでいる。
【００４２】
これら及び本発明に係る他の態様、機能、および、利点は、以降に説明される実施例から明らかになり、かつ、実施例を参照して解明される。
【図面の簡単な説明】
【００４３】
本発明に係る実施例が、単なる例示として、以下の図面に関して説明される。
【図１】図１は、本発明のいくつかの実施例に従って、深度マップを生成するための装置を示している。
【図２】図２は、画像の一つの実施例を示している。
【図３】図３は、図２の画像に対する深度マップの実施例を示している。
【図４】図４は、図２の画像に対する深度マップの実施例を示している。
【図５】図５は、図１の装置に係る処理の異なるステージにおける深度およびエッジマップの実施例を示している。
【図６】図６は、図２の画像に対するアルファエッジマップの実施例を示している。
【図７】図７は、図２の画像に対する深度マップの実施例を示している。
【図８】図８は、画像に対するエッジ生成の実施例を示している。
【発明を実施するための形態】
【００４４】
図１は、本発明のいくつかの実施例に従って、深度マップを生成するための装置を示している。
【００４５】
本装置は、深度マップ入力プロセッサ１０１を含んでおり、対応する画像について深度マップを受け取り、または、生成する。このように、深度マップは、視認できる画像における深度を表している。典型的に、深度マップは、画像のそれぞれのピクセルに対する深度値を含んでよい。しかし、画像に対する深度を表わすあらゆる手段が使用され得ることが正しく理解されよう。いくつかの実施例において、深度マップは、画像よりも解像度が低くてよい。
【００４６】
深度は、深さを示すあらゆるパラメータによって表わされてよい。特定的には、深度マップは、画像平面に垂直な方向（つまり、ｚ軸）におけるオフセットを直接的に与える値によって深度を表してよい。もしくは、深度マップは、例えば、格差値（ｄｉｓｐａｒｉｔｙ  ｖａｌｕｅ）によって与えられてよい。画像は、典型的には、輝度（ｌｕｍｉｎａｎｃｅ）及び/又は彩度（ｃｈｒｏｍａ）の値によって表される（これからは、色度（ｃｈｒｏｍｉｎａｎｃｅ）値として参照され、輝度値、彩度値、または、輝度と彩度の値、を示す。）。
【００４７】
いくつかの実施例において、深度マップ、そして、典型的に画像は、外部ソースから受け取られてよい。例えば、データストリームが受け取られてよく、画像データと深度データの両方を含んでいる。そうしたデータストリームは、ネットワークからリアルタイムで受け取られ得る（例えば、インターネットから）。もしくは、例えば、ＤＶＤまたはブルーレイ（登録商標）ディスクといった媒体から受け取ってよい。
【００４８】
所定の実施例において、深度マップ入力プロセッサ１０１は、それ自体で、画像に対する深度マップを生成するように構成されている。特定的に、深度マップ入力プロセッサ１０１は、同一シーンに係る同時のビューに対応する２つの画像を受け取る。２つの画像からは、一つの画像および関連する深度マップが生成され得る。一つの画像は、特定的には、２つの入力画像のうちの一つであってよく、または、例えば、２つの入力画像のに係る２つのビューの間の中間位置に対応する画像といった、合成画像であってよい。深度は、２つの入力画像における格差から生成され得る。
【００４９】
多くの実施例において、画像は、連続した画像のビデオシーケンスの一部であってよい。いくつかの実施例において、深度情報は、少なくとも部分的に、同一ビューからの画像における時間的な変動から生成され得る。例えば、運動視差情報を考慮することによるものである。
【００５０】
所定の実施例として、深度マップ入力プロセッサ１０１は、動作中に、立体３次元信号、左−右ビデオ信号とも呼ばれるもの、を受け取る。立体３次元信号は、３次元効果を生成するために、観察者のそれぞれの眼に対して表示されるべき左側ビューと右側ビューを表している左フレームＬおよび右フレームＲに係るタイムシーケンスを有している。深度マップ入力プロセッサ１０１は、そして、左側ビューと右側ビューに対する格差見積りによって初期深度マップＺ１を生成して、左側ビュー及び/又は右側ビューに基づいて２次元画像を提供する。格差見積りは、左と右フレームを比較するために使用される運動見積りアルゴリズムに基づいてよい。対象物の左側と右側ビューとの間の大きな差異は、高い深度値へと変換され、観察者に近い対象物の位置を示している。生成器ユニットの出力は、初期深度マップＺ１である。
【００５１】
画像に対する深度情報を生成するためのあらゆる好適なアプローチが使用されてよく、かつ、当業者であれば多くの異なるアプローチを承知していることが正しく理解されよう。好適なアルゴリズムの実施例は、例えば、”Ａ  ｌａｙｅｒｅｄ  ｓｔｅｒｅｏ  ａｌｇｏｒｉｔｈｍ  ｕｓｉｎｇ  ｉｍａｇｅ  ｓｅｇｍｅｎｔａｔｉｏｎ  ａｎｄ  ｇｌｏｂａｌ  ｖｉｓｉｂｉｌｉｔｙ  ｃｏｎｓｔｒａｉｎｔｓ”ＩＣＩＰ  ２００４において見い出される。深度情報の生成のためのアプローチに対する実に多くの参照が以下のＵＲＬにおいて見い出される。http://vision.middlebury.edu/stereo/eval/#reference
【００５２】
図１のシステムにおいて、深度マップ入力プロセッサ１０１は、このように、初期深度マップＺ１を生成する。初期深度マップは、初期深度マップＺ１から第１の深度マップＺ１’を生成する第１の深度プロセッサ１０３に送られる。多くの実施例において、第１の深度マップＺ１’は、特定的に初期深度マップＺ１と同一であってよい。つまり、第１の深度プロセッサ１０３は、初期深度マップＺ１を単純に転送してよい。
【００５３】
画像から深度マップを生成するための多くのアルゴリズムに係る典型的な特徴は、それらが最適以下である傾向があり、典型的に限定された品質となることである。例えば、それらは典型的に、数多くの不正確さ、アーチファクト、および、ノイズを含んでいる。従って、多くの実施例においては、生成された深度マップをさらに拡張し、改善することが望ましい。
【００５４】
図１のシステムにおいては、初期深度マップＺ１が第２のプロセッサ１０５に送られ、拡張オペレーションを実行するように進行する。特定的に、第２の深度プロセッサ１０５は、初期深度マップＺ１から第２の深度マップＺ２を生成するように進行する。この拡張は、特定的には、画像特性依存フィルタリングを初期深度マップＺ１に対して適用することを含んでいる。画像特性依存フィルタリングとは、初期深度マップＺ１のフィルタリングであって、さらに、画像の色度に依存するものである。つまり、画像特性に基づいている。画像特性依存フィルタリングは、このように、相互特性相関フィルタリングを実行し、画像データ（色度値）によって表現される視認できる情報が、生成された第２の深度マップＺ２において反映され得るようにする。この相互特性効果によって、実質的に改善された第２の深度マップＺ２を生成することができる。特に、本アプローチによって、フィルタリングが深度の変化を維持又は実際に鋭くすることができる。同様に、より正確な深度マップを提供することができる。
【００５５】
特に、画像から生成された深度マップはノイズと不正確さを有する傾向があり、典型的には、特に深度変化の周辺で特に顕著である。このことは、しばしば、時間的及び空間的に不安定な深度マップを結果として生じる。画像特性依存フィルタリングを使用することで、画像情報の使用によって、時間的及び空間的に著しくより安定した深度マップを典型的に生成することができる。
【００５６】
画像特性依存フィルタリングは、特定的には、クロスまたはジョイントバイラテラルフィルタリングまたはクロスバイラテラルグリッドフィルタリングであってよい。
【００５７】
バイラテラルフィルタリングは、エッジ保存平滑化（ｅｄｇｅ−ｐｒｅｓｅｒｖｉｎｇ  ｓｍｏｏｔｈｉｎｇ）のための非反復的なスキームを提供する。バイラテラルフィルタリングの根底の基本的アイデアは、画像の範囲の中で、従来のフィルタが行っていることを領域中で行うということである。２つのピクセルがお互いに近づいてよく、つまり、近くの空間的な場所を占有し得る。もしくは、それらはお互いに類似していてよく、つまり、おそらく知覚的に意味のあるやり方で、近い値を有し得る。平滑な領域においては、小さな近隣におけるピクセル値がお互いに類似しており、かつ、バイラテラルフィルタが基本的には標準ドメインフィルタとして機能しており、ノイズによって生じるピクセル値間の小さく、弱い相関の差異を平均化して除く。例えば、暗い領域と明るい領域との間のシャープな境界においては、値の範囲が考慮される。バイラテラルフィルタが境界の明るい側のピクセル上で中央に置かれる場合、類似関数は、同一側のピクセルに対して１に近い値を仮定し、暗い側のピクセルに対して０（ゼロ）に近い値を仮定する。結果として、フィルタは、中央の明るいピクセルを、その近隣の明るいピクセルの平均と置き換え、かつ、基本的に暗いピクセルを無視する。良好なフィルタリングの振る舞いが境界において達成され、範囲コンポーネントのおかげで、同時に明快なエッジが保持される。
【００５８】
クロスバイラテラルフィルタリングは、バイラテラルフィルタリングと類似しているが、異なる画像／深度マップにわたり適用される。特定的に、深度マップのフィルタリングは、対応する画像における視認できる情報に基づいて実行され得る。
【００５９】
特に、クロスバイラテラルフィルタリングは、それぞれのピクセル位置について、深度マップに対してフィルタリングカーネル（ｋｅｒｎｅｌ）を適用することとして見られる。そこでは、カーネルに係るそれぞれの深度マップ（ピクセル）値の重み付けが、決定されているピクセル位置での画像ピクセルとカーネルにおける位置での画像ピクセルとの間の色度（輝度及び/又は色度）の差異に依存している。別の言葉で言えば、結果として生じる深度マップにおける所与の第１の位置での深度値は、近隣領域における深度値の加重和として決定することができる。ここで、近隣での（それぞれの）深度値に対する重み付けは、第１の位置でのピクセルの画像値と重み付けが決定される位置でのピクセルの画像値との間の色度の差異に依存している。
【００６０】
そうしたクロスバイラテラルフィルタリングの利点は、エッジ保存であることである。実際に、クロスバイラテラルフィルタリングは、より正確で、信頼性のある（かつ、しばしば、より鋭い）エッジ移行（ｅｄｇｅ  ｔｒａｎｓｉｔｉｏｎ）を提供する。このことは、生成された深度マップに対して改善された時間的および空間的な安定性を提供し得る。
【００６１】
いくつかの実施例において、第２の深度プロセッサ１０５は、クロスバイラテラルフィルタを含んでよい。用語クロスは、同一画像に係る２つの異なるが対応している表現が使用されることを示している。クロスバイラテラルフィルタリングの実施例は、”Ｒｅａｌ−ｔｉｍｅ  Ｅｄｇｅ−Ａｗａｒｅ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ  ｗｉｔｈ  ｔｈｅ  Ｂｉｌａｔｅｒａｌ  Ｇｒｉｄ”に見い出すことができる。Ｊｉａｗｅｎ  Ｃｈｅｎ、Ｓｙｌｖｉａｎ  Ｐａｒｉｓ、Ｆｒｅｄｏ  Ｄｕｒａｎｄ共著、Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ＡＣＭ  ＳＩＧＧＲＡＰＨ  ｃｏｎｆｅｒｅｎｃｅ、２００７。さらなる情報が、以下のＵＲＬ等においても見い出される。
http://www/Stanford.edu/class/cs448f/lectures/3.1/Fast%20Filtering%20Continued.pdf
【００６２】
典型的なクロスバイラテラルフィルタは、深度値を使用するだけでなく、さらに画像値も考慮する。典型的には、明るさ（ｂｒｉｇｈｔｎｅｓｓ）及び/又は色値（ｃｏｌｏｒ  ｖａｌｕｅ）といったものである。画像値は、２次元の入力データから引き出すことができる。例えば、立体入力信号における左フレームの輝度（ｌｕｍａ）値である。ここで、クロスフィルタリングは、輝度値でのエッジの深度でのエッジに対する一般的な対応に基づいている。
【００６３】
任意的に、クロスバイラテラルフィルタは、計算量を低減するために、いわゆるバイラテラルグリッドフィルタによって実施されてもよい。フィルタに対する入力として個々のピクセル値を使用する代わりに、画像はグリッドにおいてサブ分割され、値はグリッドの一つのセクションにわたり平均化される。値の範囲は、さらに、バンドにおいてサブ分割されてよく、バンドは、バイラテラルフィルタにおいて重み付けを設定するために使用され得る。バイラテラルグリッドフィルタリングの一つの実施例は、例えば、文書”Ｒｅａｌ−ｔｉｍｅ  Ｅｄｇｅ−Ａｗａｒｅ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ  ｗｉｔｈ  ｔｈｅ  Ｂｉｌａｔｅｒａｌ  Ｇｒｉｄ”に見い出すことができる。Ｊｉａｗｅｎ  Ｃｈｅｎ、Ｓｙｌｖｉａｎ  Ｐａｒｉｓ、Ｆｒｅｄｏ  Ｄｕｒａｎｄ共著、Ｃｏｍｐｕｔｅｒ  Ｓｃｉｅｎｃｅ  ａｎｄ  Ａｒｔｉｆｉｃａｉｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ  Ｌａｂｏｒａｔｏｒｙ、Ｍａｓｓａｃｈｕｓｅｔｔｓ  Ｉｎｓｔｉｔｕｔｅ  ｏｆ  Ｔｅｃｈｎｏｌｏｇｙ。以下のＵＲＬから利用可能である。
http://groups.csail.mit.edu/graphics/bilagrid/bilagrid_web.pdf
特に、この文書の図３を参照すること。代替的に、より多くの情報は、Ｊｉａｗｅｎ  Ｃｈｅｎ、Ｓｙｌｖｉａｎ  Ｐａｒｉｓ、Ｆｒｅｄｏ  Ｄｕｒａｎｄ共著の、”Ｒｅａｌ−ｔｉｍｅ  Ｅｄｇｅ−Ａｗａｒｅ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ  ｗｉｔｈ  ｔｈｅ  Ｂｉｌａｔｅｒａｌ  Ｇｒｉｄ”に見い出すことができる。Ｐｒｏｃｅｅｄｉｎｇｓ  ＳＩＧＧＲＡＰＨ’０７  ＡＣＭ  ＳＩＧＧＲＡＰＨ２００７  ｐａｐｅｒｓ、Ａｒｔｉｃｌｅ  Ｎｏ．１０３、ＡＣＭ  ＮｅｗＹｏｒｋ、ＮＹ、ＵＳＡ（ｃ）２００７ｄｏｉ＞１０．１１４５／１２７５８０８．１２７６５０６
【００６４】
別の実施例として、第２の深度プロセッサ１０５は、代替的または追加的にガイドフィルタ（ｇｕｉｄｅｄ  ｆｉｌｔｅｒ）実施を含んでよい。
【００６５】
ローカルな線形モデルから引き出されて、ガイドフィルタは、ガイダンス画像のコンテンツを考慮することによって、フィルタリング出力を生成する。ガイダンス画像は、入力画像それ自身であってよく、または、別の異なる画像でよい。いくつかの実施例において、深度マップＺ１は、ガイダンス画像として対応する画像（例えば、輝度）を使用してフィルタされてよい。
【００６６】
ガイドフィルタは、例えば、文書”Ｇｕｉｄｅｄ  Ｉｍａｇｅ  Ｆｉｌｔｅｒｉｎｇ”から知られる。Ｋａｉｍｉｎｇ  Ｈｅ、Ｊｉａｎ  Ｓｕｎ、Ｘｉａｏｏｕ  Ｔａｎｇ共著、Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＥＣＣＶ、２０１０。以下のＵＲＬから利用可能である。
http://research.microsoft.com/en-us/people/jiansun/papers/GuidedFilter_ECCV10.pdf
【００６７】
一つの実施例として、図１の装置は、図２の画像と図３の関連付けされた深度マップと、を備え得る（または、深度マップ入力プロセッサ１０１は、例えば、異なる視角に対応する２つの入力画像から図２の画像と図３の深度マップを生成し得る）。図３からわかるように、エッジ移行は、比較的に粗くて、高度に正確ではない。図４は、図２の画像からの画像情報を使用した、図３の深度マップに係るクロスバイラテラルフィルタリングの後で結果として生じる深度マップを示している。明らかにわかるように、クロスバイラテラルフィルタリングは、画像エッジに密接に従う深度マップを生じる。
【００６８】
しかしながら、図４は、また、（クロス）バイラテラルフィルタリングが、いくつかのアーチファクトと劣化をどのようにもたらすかを示している。例えば、画像は、いくらかの輝度漏れを示している。ここで、図２の画像の特性は、望まれない深度変化をもたらしている。例えば、人の眼と眉毛は、おおよそ顔面の他の部分と同一の深度レベルにあるべきである。しかしながら、眼と眉毛のビジュアル画像特性が、顔面の他の部分とは異なっているために、深度マップピクセルの重み付けも、また、異なる。そして、このことにより、計算された深度レベルに対するバイアスを結果として生じている。
【００６９】
図１の装置において、そうしたアーチファクトは軽減され得る。特に、図１の装置は、第１の深度マップＺ１’または第２の深度マップＺ２を単独で使用しない。むしろ、装置は、第１の深度マップＺ１’と第２の深度マップＺ２を結合することによって出力深度マップを生成する。さらに、第１の深度マップＺ１’と第２の深度マップＺ２の結合は、画像においてエッジに関する情報に基づいている。エッジは、典型的には、画像対象物の境界に対応しており、かつ、特定的には、エッジ移行に対応する傾向がある。図１の装置において、そうしたエッジが画像においてどこに生じるかの情報は、２つの深度マップを結合するために使用される。
【００７０】
このように、装置は、さらに、エッジプロセッサ１０７を含んでいる。エッジプロセッサは、深度マップ入力プロセッサ１０１に結合されており、画像／深度マップに対するエッジマップを生成するように構成されている。エッジマップは、画像／深度マップの中における画像対象物エッジ／深度移行の情報を提供する。特定的な実施例において、エッジプロセッサ１０９は、初期深度マップＺ１を分析することによって画像におけるエッジを決定するように構成されている。
【００７１】
図１の装置は、さらに、結合器１０９を含んでおり、結合器は、エッジプロセッサ１０７、第１の深度プロセッサ１０３、および、第２の深度プロセッサ１０５に接続されている。結合器１０９は、第１の深度マップＺ１’、第２の深度マップＺ２、および、エッジマップを受け取り、エッジマップに応じて、第１の深度マップと第２の深度マップを結合することによって、画像に対する出力深度マップを生成するように処理する。
【００７２】
特に、結合器１０９は、第２の深度マップＺ２からの貢献をより高く重み付けしてよい。対応するピクセルがエッジに該当することを示す増加している指標の結合においてである（例えば、ピクセルがエッジに属する可能性が増加していること、及び/又は、既定のエッジに対する距離が減少していること）。同様に、結合器１０９は、第１の深度マップＺ１’からの貢献をより高く重み付けしてよい。対応するピクセルがエッジに該当することを示す減少している指標の結合においてである（例えば、ピクセルがエッジに属する可能性が減少していること、及び/又は、既定のエッジに対する距離が増加していること）。
【００７３】
結合器１０９は、このように、第２の深度マップを、非エッジ領域におけるよりも、エッジ領域において、より高く重み付けしてよい。例えば、エッジマップは、それぞれのピクセルに対して、ピクセルがエッジ領域に属している（一部である／構成している）ものとどの程度考えられるかを反映している指標を含んでよい。この指標が高ければ、深度マップＺ２の重み付けが高く、深度マップＺ１’の重み付けが低い。
【００７４】
例えば、深度マップは、一つまたはそれ以上のエッジを定義してよく、結合器１０９は、エッジに対する距離が増加していることに対して、第２の深度マップの重み付けを減少して、第１の深度マップの重み付けを増加してよい。
【００７５】
結合器１０９は、エッジに関連する領域において、第１の深度マップよりも第２の深度マップを高く重み付けしてよい。例えば、単純なバイナリー重み付けが使用されてよく、つまり、選択結合が実行されてよい。深度マップは、それぞれのピクセルがエッジ領域に属しているものと考えられるか否かを示すバイナリー値を含んでいる（もしくは、同等に、深度マップは、結合されたときに閾値処理されるソフト（ｓｏｆｔ）な値を含んでよい）。エッジ領域に属している全てのピクセルに対しては、第２の深度マップＺ２の深度値が選択され、かつ、エッジ領域に属していない全てのピクセルに対しては、第１の深度マップＺ１’の深度値が選択されてよい。
【００７６】
本アプローチの実施例が図５に示されている。深度マップの断面図を表しており、背景の前面にある対象物を示している。実施例において、初期深度マップＺ１は、深度移行を境とする前面の対象物を表している。生成された深度マップＺ１は、対象物のエッジを非常にうまく示しているが、空間的および時間的に安定していない。深度マップの垂直なエッジに沿ったマーキングによって示されているようにである。つまり、深度値は、対象物エッジの周辺で空間的および時間的の両方で変動する傾向がある。実施例において、第１の深度マップＺ１’は、単純に初期深度マップＺ１と同一である。
【００７７】
エッジプロセッサ１０７は、深度移行、つまり、前面対象物のエッジ、の存在を示すエッジマップＢ１を生成する。さらに、第２の深度プロセッサ１０５は、例えば、クロスバイラテラルフィルタ又はガイドフィルタを使用して第２の深度マップＺ２を生成する。このことは、エッジ周辺で、より空間的および時間的に安定した第２の深度マップＺ２を結果として生じる。しかしながら、望ましくないアーチファクトとノイズが、エッジから離れてもたらされ得る。例えば、輝度または彩度の漏れのためである。
【００７８】
エッジマップに基づいて、次に、初期深度マップＺ１／第１の深度マップＺ１’と第２の深度マップＺ２とを結合する（例えば、選択結合）ことによって、出力深度マップＺが生成される。結果として生じた深度マップＺにおいて、エッジ周辺の領域は、従って、第２の深度マップＺ２からの貢献によって主として支配される。一方、エッジに対する近傍ではない領域は、初期深度マップＺ１／第１の深度マップＺ１’からの貢献によって支配される。結果として生じる深度マップは、従って、空間的および時間的に安定した深度マップであるが、画像依存フィルタリングからのアーチファクトが実質的に削減されている。
【００７９】
多くの実施例において、結合することは、バイナリー選択結合よりは、むしろ、ソフトな結合であってよい。例えば、深度マップは、アルファマップへと変換され／または、直接的にアルファマップを表してよい。アルファマップは、第１の深度マップＺ１’または第２の深度マップＺ２に対する重み付けの程度を示している。２つの深度マップＺ１とＺ２は、従って、アルファマップに基づいて、一緒に混ぜ合わされてよい。エッジマップ／アルファマップは、典型的には、ソフトな移行を有するように生成される。そうしたケースでは、深度マップＺを結果として生じるピクセルのいくつかが、第１の深度マップＺ１’および第２の深度マップＺ２の両方からの貢献を有している。
【００８０】
特定的には、エッジプロセッサ１０７は、初期深度マップＺ１におけるエッジを検出するエッジ検出器を含んでいる。エッジが検出された後で、エッジマップを表現するために、スムーズアルファブレンディングマスクが作成される。次に、第１の深度マップＺ１’と第２の深度マップＺ２が結合される。例えば、重み付けがアルファマップによって与えられた加重和によるものである。例えば、それぞれのピクセルに対して、深度値は、以下のように計算することができる。
【数１】
2015522198.tif 000003
【００８１】
アルファ／ブレンディングマスクＢ１は、エッジを閾値処置してスムージングすることによって作成され、エッジ周辺でＺ１とＺ２との間のスムーズな移行ができるようにする。本アプローチは、エッジ周辺での安定を提供することができ、一方、エッジから離れては、輝度／色漏れによるノイズが低減されることを保証している。本アプローチは、このように、発明者の見識を反映している。見識は、改善された深度マップが生成され得ること、および、特には、２つの深度マップが、特に、エッジに関する振る舞いについて、異なる特性と利益を有する、というものである。
【００８２】
図２の画像に対するエッジマップ／アルファマップの実施例が図６に示されている。（上述のものといった）第１の深度マップＺ１’と第２の深度マップＺ２の線形加重和をガイドするようにこのマップを使用することが、図７の深度マップをもたらす。これを、図３の第１の深度マップＺ１’および図４の第２の深度マップＺ２と比較することは、結果として生じる深度マップが、第１の深度マップＺ１’と第２の深度マップＺ２の両方に対して有利であることを明らかに示している。
【００８３】
エッジマップを生成するためにあらゆる好適なアプローチが使用され得ること、および、当業者にとっては多くの異なるアルゴリズムが知られていること、が正しく理解されよう。
【００８４】
多くの実施例において、エッジマップは、初期深度マップＺ１及び/又は第１の深度マップＺ１’に基づいて決定されてよい（多くの実施例において同様である）。このことは、多くの実施例において、改善されたエッジ検出を提供する。実際に、多くのシナリオにおいて、画像におけるエッジの検出は、深度マップに適用された複雑性の低いアルゴリズムによって達成することができる。さらに、信頼性のあるエッジ検出が、典型的には、達成できる。
【００８５】
代替的または追加的に、エッジマップは、画像自身に基づいて決定されてよい。例えば、エッジプロセッサ１０７は、画像を受け取り、輝度及び/又は彩度の情報に基づいて、画像データによるセグメンテーションを実行する。そして、結果として生じるセグメント間の境界は、エッジであるとして考慮される。そうしたアプローチは、多くの実施例において、改善したエッジ検出を提供し得る。例えば、比較的に小さな深度変化を伴っているが、輝度及び/又は色の変動が著しい画像に対するものである。
【００８６】
特定的な実施例として、エッジプロセッサ１０７は、エッジマップを決定するために初期深度マップＺ１上で以下のオペレーションを実行する。
１．最初に、初期深度マップＺ１が、より低解像度にダウンサンプル／ダウンスケールされる。
２．エッジコンボリューション（ｃｏｎｖｏｌｕｔｉｏｎ）カーネルが画像に対して適用される。つまり、エッジコンボリューションカーネルを使用した「フィルタリング」がダウンスケールされた深度マップに対して適用される。好適なエッジコンボリューションカーネルは、例えば、以下のとおりである。
−１  −１  −１
−１    ８  −１
−１  −１  −１
【００８７】
完全に単調な領域に対しては、エッジコンボリューションカーネルを用いたコンボリューションは、結果としてゼロ出力を生じることに留意する。しかしながら、エッジ移行について、例えば、現在のピクセルの右側に対する深度値が左側の深度値よりも著しく低いエッジ移行は、結果としてゼロから顕著に逸脱した値となる。このように、結果として生じる値は、中心ピクセルがエッジに在るか否かに係る強力な指標を提供する。
３．バイナリー深度エッジマップを生成するために閾値が適用される（図８のＥ２を参照）。
４．バイナリー深度エッジマップが、画像の解像度までアップスケールされる。ダウンスケールし、エッジ検出を実行し、次に、アップスケールを行うことは、多くの実施例において、結果として改善されたエッジ検出を生じる。
５．ボックスブラー（ｂｌｕｒ）フィルタが、結果として生じるアップスケールされた深度マップに対して適用され、別の閾値オペレーションが後に続く。このことは、所望の深度を有するエッジ領域を結果として生じる。
６．最後に、緩やかなエッジを提供するために別のボックスブラーフィルタが適用される。第１の深度マップＺ１’と第２の深度マップＺ２をブレンドするために直接的に使用されるものである（図８のＥ２を参照）。
【００８８】
上記の説明は、初期深度マップＺ１と第２の深度マップＺ２が同一の解像度を有する実施例にフォーカスしたものである。しかしながら、いくつかの実施例において、それらは異なる解像度を有することがある。実際に、多くの実施例において、異なる画像からの不同性に基づいて深度マップを生成するためのアルゴリズムは、対応する画像よりも低い解像度を有するように深度マップを生成する。そうした実施例においては、より高い解像度の深度マップが、第２の深度プロセッサ１０５によって生成される。つまり、第２の深度プロセッサ１０５のオペレーションは、アップスケールオペレーションを含んでいる。
【００８９】
特に、第２の深度プロセッサ１０５は、ジョイントバイラテラルアップサンプリングを実行してよい。つまり、バイラテラルフィルタリングはアップスケールを含んでいる。特定的には、初期深度マップＺ１のそれの深度ピクセルが、画像の解像度に対応するサブピクセルへと分割される。そして、近隣領域における深度ピクセルの加重和により、所与のサブピクセルに対する深度値が生成される。しかしながら、サブピクセルを生成するために使用される個々の重み付けは、画像の解像度、つまり、深度マップのサブピクセルの解像度での、画像ピクセル間の色度の差異に基づいている。結果として生じる深度マップは、従って、画像と同一の解像度である。
【００９０】
ジョイントバイラテラルアップサンプリングのさらなる詳細は、Ｊｏｈａｎｎｅｓ  Ｋｏｐｆ、Ｍｉｃｈａｅｌ  Ｆ．Ｃｏｈｅｎ、Ｄａｎｉ  Ｌｉｓｃｈｉｎｓｋｉ、Ｍａｔｔ  Ｕｙｔｔｅｎｄａｅｌｅ共著の”Ｊｏｉｎｔ  Ｂｉｌａｔｅｒａｌ  Ｕｐｓａｍｐｌｉｎｇ”、ＡＣＭ  ｔｒａｎｓａｃｔｉｏｎ  ｏｎ  Ｇｒａｐｈｉｃｓ（Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＳＩＧＧＲＡＰＧＨ２００７）、２００７年、および、米国特許出願第１１／７４２３２５号、出願公開第２００８０２６７４９４号において見い出すことができる。
【００９１】
上記の説明において、第１の深度マップＺ１’は、最初の深度マップＺ１と同一の解像度であった。しかしながら、いくつかの実施例においては、第１の深度プロセッサ１０３が、第１の深度マップＺ１’を生成するために初期深度マップＺ１を処理するように構成されている。例えば、いくつかの実施例において、第１の深度マップＺ１’は、空間的及び/又は時間的に、初期深度マップＺ１のローパスフィルタされたバージョンであってよい。
【００９２】
一般的に、本発明は、立体からの不同性見積りに基づいて深度マップを改善するための特定の利点について使用され得る。特定的には、不同性見積りから結果として生じる深度マップの解像度が、入力画像の右側／左側の解像度よりも低い場合には、そうである。そうしたシナリオにおいては、クロスバイラテラル（グリッド）フィルタの使用が、特に有利であることが証明されてきた。フィルタは、結果として生じる深度マップのエッジ精度を改善するために、入力画像の左側及び/又右側からの輝度及び/又は色度情報を使用するものである。
【００９３】
上記の説明は、明確化のために、異なる機能的な回路、ユニット、および、プロセッサに関する実施例を説明してきたことが、正しく理解されよう。しかしながら、異なる機能的な回路、ユニット、および、プロセッサ間での機能性のあらゆる好適な分散は、本発明から逸脱することなく使用され得ることが明らかであろう。例えば、別個のプロセッサまたはコントローラによって実行されるものと説明された機能性は、同一のプロセッサまたはコントローラによって実行されてよい。従って、所定の機能的なユニットまたは回路への参照は、厳格な論理的または物理的な構造または構成の指標というより、むしろ、説明された機能性を提供するための好適な手段に対する単なる参照に過ぎないものと理解されるべきである。
【００９４】
本発明は、ハードウェア、ファームウェア、ソフトウェア、または、これらのあらゆる組み合わせを含むあらゆる好適な形式において実施され得る。本発明は、任意的に、一つまたはそれ以上のデータプロセッサ及び/又はデジタル信号プロセッサ上で実行されるコンピュータソフトウェアの少なくとも一部として実施され得る。本発明の実施例に係るエレメントおよびコンポーネントは、あらゆる好適なやり方で、物理的、機能的、かつ、論理的に実施されてよい。実際に、機能性は、単一のユニット、複数のユニット、または、他の機能的ユニットの一部として、実施され得る。そのように、本発明は、単一のユニットにおいて実施されてよく、または、異なるユニット、回路、および、プロセッサ間に物理的および機能的に分散されてよい。
【００９５】
本発明は、いくつかの実施例に関連して説明されてきたが、ここにおいて明らかにされた形式に限定されることを意図するものではない。むしろ、本発明の範囲は、添付の請求項によってのみ限定されるものである。加えて、本発明の機能は、所定の実施例に関連して説明されるように明らかであるが、当業者であれば、説明された実施例に係る種々の機能が、本発明に従って組み合わされ得ることを認識するであろう。請求項において、用語「含む」は、他のエレメントまたはステップの存在を排除するものではない。
【００９６】
さらに、個々にリストされた、複数の手段、エレメント、回路、または、方法ステップであっても、例えば、単一の回路、ユニット、または、プロセッサによって実施されてよい。加えて、個々の機能が異なる請求項の中に含まれていても、これらは有利に組み合わされ得るものであり、かつ、異なる請求項に含まれることは、機能を組み合わせることが可能でなく、及び/又は、有利でないことを意味するものではない。機能が、請求項に係る一つのカテゴリに含まれていることも、また、このカテゴリへの限定を意味するものではなく、むしろ、本機能が他の請求項のカテゴリにも適切な方法において同様に適用可能であることを示している。さらに、請求項における機能の順番は、機能が動作する所定の順番を意味するものではない。特に、方法の請求項における個々のステップの所定の順番は、この順番においてステップが実施されねばならないことを意味するものではない。むしろ、ステップは、あらゆる好適な順番で実施されてよい。加えて、単一の参照は、複数を排除するものではない。「一つの（”ａ”または”ａｎ”」、「第１の」、「第２の」等への参照は、複数を排除するものではない。請求項における参照記号は、実施例を明確化するためだけに提供されるものであり、請求項に係る発明の範囲を、いかようにも限定するものと理解されるべきではない。
【図１】
2015522198.tif 000004
【図２】
2015522198.tif 000005
【図３】
2015522198.tif 000006
【図４】
2015522198.tif 000007
【図５】
2015522198.tif 000008
【図６】
2015522198.tif 000009
【図７】
2015522198.tif 000010
【図８】
2015522198.tif 000011
【手続補正書】
【提出日】平成27年1月8日(2015.1.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像に対する出力深度マップを生成するための装置であって：
入力深度マップから前記画像に対する第１の深度マップを生成するための第１の深度プロセッサと；
画像特性依存フィルタリングを前記入力深度マップに適用することによって前記画像に対する第２の深度マップを生成するための第２の深度プロセッサと；
前記画像に対するエッジマップを決定するためのエッジプロセッサと；
前記エッジマップに応じて、前記第１の深度マップと前記第２の深度マップを結合することによって、前記画像に対する前記出力深度マップを生成するための結合器と；
を含み、
前記結合器は、非エッジ領域におけるよりも、エッジ領域において、前記第２の深度マップをより高く重み付けするように構成されており、かつ、
前記エッジプロセッサは、前記画像に対して実行されたエッジ検出プロセスに応じて、前記エッジマップを決定するように構成されている、
装置。
【請求項２】
前記結合器は、少なくともいくつかのエッジ領域において、前記第１の深度マップよりも前記第２の深度マップをより高く重み付けするように構成されている、
請求項１に記載の装置。
【請求項３】
前記画像特性依存フィルタリングは：
ガイドフィルタリング；
クロスバイラテラルフィルタリング；
クロスバイラテラルグリッドフィルタリング：
ジョイントバイラテラルアップサンプリング、
のうち少なくとも一つを含む、
請求項１に記載の装置。
【請求項４】
前記エッジプロセッサは、前記入力深度マップと前記第１の深度マップのうち少なくとも一つに対して実行されたエッジ検出プロセスに応じて、前記エッジマップを決定するように構成されている、
請求項１に記載の装置。
【請求項５】
前記結合器は、前記エッジマップに応じて、アルファマップを生成し、かつ、前記アルファマップに応じた前記第１の深度マップと前記第２の深度マップとのブレンドに応じて、第３の深度マップを生成する、ように構成されている、
請求項１に記載の装置。
【請求項６】
前記第２の深度マップは、前記入力深度マップよりも解像度が高い、
請求項１に記載の装置。
【請求項７】
画像に対する出力深度マップを生成するための方法であって：
入力深度マップから前記画像に対する第１の深度マップを生成するステップと；
画像特性依存フィルタリングを前記入力深度マップに適用することによって前記画像に対する第２の深度マップを生成するステップと；
前記画像に対するエッジマップを決定するステップと；
前記エッジマップに応じて、前記第１の深度マップと前記第２の深度マップを結合することによって、前記画像に対する前記出力深度マップを生成するステップと；
を含み、
出力深度マップを生成することは、非エッジ領域におけるよりも、エッジ領域において、前記第２の深度マップをより高く重み付けすることを含み、かつ、
前記エッジマップは、前記画像に対して実行されたエッジ検出プロセスに応じて決定される、
方法。
【請求項８】
前記出力深度マップを生成するステップは、少なくともいくつかのエッジ領域において、前記第１の深度マップよりも前記第２の深度マップをより高く重み付けする段階、を含む、
請求項７に記載の方法。
【請求項９】
前記画像特性依存フィルタリングは：
ガイドフィルタリング；
クロスバイラテラルフィルタリング；
クロスバイラテラルグリッドフィルタリング：
ジョイントバイラテラルアップサンプリング、
のうち少なくとも一つを含む、
請求項７に記載の方法。
【請求項１０】
前記第２の深度マップは、前記入力深度マップよりも解像度が高い、
請求項７に記載の方法。
【請求項１１】
コンピュータ上で実行されると、
請求項７乃至１０いずれか一項に記載の方法を実行するように適合されたコンピュータプログラムコード手段を含んでいる、
コンピュータプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
本発明に係る一つの態様に従って、画像に対する出力深度マップを生成するための装置が提供される。本装置は：入力深度マップから前記画像に対する第１の深度マップを生成するための第１の深度プロセッサと；画像特性依存フィルタリングを前記入力深度マップに適用することによって前記画像に対する第２の深度マップを生成するための第２の深度プロセッサと；前記画像に対するエッジマップを決定するためのエッジプロセッサと；前記エッジマップに応じて、前記第１の深度マップと前記第２の深度マップを結合することによって、前記画像に対する前記出力深度マップを生成するための結合器と；を含んでいる。前記結合器は、非エッジ領域におけるよりも、エッジ領域において、前記第２の深度マップをより高く重み付けするように構成されており、かつ、前記エッジプロセッサは、前記画像に対して実行されたエッジ検出プロセスに応じて、前記エッジマップを決定するように構成されている。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
結合器は、非エッジ領域におけるよりも、エッジ領域において、前記第２の深度マップをより高く重み付けするように構成されている。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
エッジプロセッサは、前記画像に対して実行されたエッジ検出プロセスに応じて、前記エッジマップを決定するように構成されている。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
本発明に係る一つの態様に従って、画像に対する出力深度マップを生成するための方法が提供される。本方法は、入力深度マップから前記画像に対する第１の深度マップを生成するステップと；画像特性依存フィルタリングを前記入力深度マップに適用することによって前記画像に対する第２の深度マップを生成するステップと；前記画像に対するエッジマップを決定するステップと；前記エッジマップに応じて、前記第１の深度マップと前記第２の深度マップを結合することによって、前記画像に対する前記出力深度マップを生成するステップと；を含んでいる。出力深度マップを生成することは、非エッジ領域におけるよりも、エッジ領域において、前記第２の深度マップをより高く重み付けすることを含み、かつ、前記エッジマップは、前記画像に対して実行されたエッジ検出プロセスに応じて決定される。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００８４
【補正方法】変更
【補正の内容】
【００８４】
多くの実施例において、エッジマップは、部分的に初期深度マップＺ１及び/又は第１の深度マップＺ１’に基づいて決定されてよい（多くの実施例において同様である）。このことは、多くの実施例において、改善されたエッジ検出を提供する。実際に、多くのシナリオにおいて、画像におけるエッジの検出は、深度マップに適用された複雑性の低いアルゴリズムによって達成することができる。さらに、信頼性のあるエッジ検出が、典型的には、達成できる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００８５
【補正方法】変更
【補正の内容】
【００８５】
エッジマップは、画像自身に基づいて決定される。例えば、エッジプロセッサ１０７は、画像を受け取り、輝度及び/又は彩度の情報に基づいて、画像データによるセグメンテーションを実行する。そして、結果として生じるセグメント間の境界は、エッジであるとして考慮される。そうしたアプローチは、多くの実施例において、改善したエッジ検出を提供し得る。例えば、比較的に小さな深度変化を伴っているが、輝度及び/又は色の変動が著しい画像に対するものである。
【国際調査報告】
2015522198.tif 000012
2015522198.tif 000013
2015522198.tif 000014