(57)【要約】  本発明は、レンティキュラー自動立体ディスプレイの画像データなどの、マルチビュー・ディスプレイの画像データのレンダリングに関する。方法は、第１の画像を表す画像信号を受信する工程であって、第１の画像が３Ｄ画像データを備える工程と、第１の画像信号を空間フィルタリングして第２の画像信号を供給する工程であって、第２の画像信号が第２の画像を表し、空間フィルタリングが、低域通過フィルタ、高域通過フィルタや、低域通過フィルタ及び高域通過フィルタの組み合わせなどであり、空間フィルタの強度は、第１の画像の基準深度及び第１の画像の画素の深度によって求められる工程と、第２の画像を複数のサブ画像にサンプリングする工程であって、各サブ画像が画像の表示方向に関連付けられる工程とを含む。
2009519625.tif 000002
【特許請求の範囲】
【請求項１】
マルチビュー・ディスプレイの画像データをレンダリングする方法であって、
第１の画像を表す画像信号を受信する工程であって、前記第１の画像が３Ｄ画像データを備える工程と、
第１の画像信号を空間フィルタリングして第２の画像信号を供給する工程であって、第２の画像信号が第２の画像を表し、前記空間フィルタリングが、前記第１の画像の画素と前記第２の画像の画素との間のマッピングを備え、空間フィルタの強度が前記第１の画像の基準深度及び前記第１の画像の画素の深度によって求められる工程と、
前記第２の画像を複数のサブ画像にサンプリングし、各サブ画像は、画像の表示方向に関連付けられる工程とを含む方法。
【請求項２】
請求項１記載の方法であって、前記空間フィルタが帯域通過フィルタである方法。
【請求項３】
請求項２記載の方法であって、前記帯域通過フィルタは、高域通過フィルタ、低域通過フィルタ、並びに、高域通過フィルタ及び低域通過フィルタの組み合わせの群から選択される方法。
【請求項４】
請求項１記載の方法であって、前記第１の画像の画素が前記第２の画像の画素の組にマッピングされ、前記空間フィルタの前記強度は、前記第２の画像の画素の組のサイズとして求められる方法。
【請求項５】
請求項４記載の方法であって、前記第２の画像の画素の組のサイズは、分布フィルタの半径又は範囲である方法。
【請求項６】
請求項１記載の方法であって、デスティネーション要素が鮮明度で更新され、前記鮮明度は、視点と、前記第１の画像の画素の空間座標との間の距離、及び、前記視点と、前記第２の画像の画素の空間座標との間の距離から求められる方法。
【請求項７】
請求項６記載の方法であって、前記視点に対して、前記デスティネーション要素がソース要素よりも第１の最小距離未満だけより近い場合、前記鮮明度はゼロに等しく、前記視点に対して、ソース要素が前記デスティネーション要素よりも第２の最小距離未満だけより近い場合、前記鮮明度は１に等しく、前記鮮明度は２つの値間でゆるやかな遷移をたどる方法。
【請求項８】
請求項１記載の方法であって、前記第２の画像の画素の深度が更新され、よって、前記第２の画素の前記画素の前記更新された深度が、前記第１の画像の画素の深度と前記第２の画像の画素の深度との間の値に設定され、よって、前記第２の画像のサンプリングは、前記第２の画像の前記画素の前記更新された深度を用いて行われる方法。
【請求項９】
請求項４記載の方法であって、前記第１の画像の画素及び前記第２の画像の画素の組が、前記第１の画像の水平線に沿って合わせられる方法。
【請求項１０】
請求項１記載の方法であって、前記第１の画像信号の画像形式が２．５Ｄビデオ画像形式である方法。
【請求項１１】
マルチビュー・ディスプレイ装置であって、
ディスプレイ要素のアレイを備えるディスプレイ・パネルであって、前記ディスプレイ要素が群に配置され、各群が画像の表示方向と関連付けられるディスプレイ・パネルと、
前記ディスプレイ・パネルから放出される光を誘導し、よって、ディスプレイ要素の群から放出される光が、前記群の前記表示方向に関連付けられた角分布に誘導される光学素子と、
第１の画像を表す第１の画像信号を受信する入力モジュールと、
前記第１の画像信号を空間フィルタリングして第２の画像信号を供給するレンダリング・モジュールであって、前記第２の画像信号が第２の画像を表し、前記空間フィルタリングが、前記第１の画像の画素と前記第２の画像の画素との間のマッピングを備え、空間フィルタの強度は、前記第１の画像の基準深度及び前記第１の画像の画素の深度によって求められるレンダリング・モジュールと、
前記第２の画像を複数のサブ画像にサンプリングする出力モジュールであって、各サブ画像が前記画像の表示方向と関連付けられる出力モジュールとを備えるマルチビュー・ディスプレイ装置。
【請求項１２】
信号レンダリング・システムであって、
第１の画像を表す第１の画像信号を受信する入力モジュールと、
前記第１の画像信号を空間フィルタリングして第２の画像信号を供給するレンダリング・モジュールであって、前記第２の画像信号が第２の画像を表し、前記空間フィルタリングが、前記第１の画像の画素と前記第２の画像の画素との間のマッピングを備え、空間フィルタの強度が前記第１の画像の基準深度及び前記第１の画像の画素の深度によって求められるレンダリング・モジュールと、
前記第２の画像を複数のサブ画像にサンプリングし、各サブ画像は、画像の表示方向に関連付けられる出力モジュールとを備える信号レンダリング・システム。
【請求項１３】
請求項１記載の方法を実現するためのコンピュータ読み取り可能なコード。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチビュー・ディスプレイの画像データをレンダリングする方法に関する。特に、本発明は、深度依存性空間フィルタによって、マルチビュー・ディスプレイの画像データをレンダリングする方法に関する。本発明は、マルチビュー・ディスプレイ、信号レンダリング・システム、及び方法を実現するコンピュータ読み取り可能なコードに更に関する。
【背景技術】
【０００２】
マルチビュー・ディスプレイは、表示方向に応じて、別々の画像を視聴者に提示することができるディスプレイである。よって、画像内の物体を別々の角度から視ることができる。マルチビュー・ディスプレイの例には、右眼とは別の画像を視聴者の左眼に提示することができる自動立体ディスプレイがある。種々のマルチビュー・ディスプレイ手法が存在しており、前述の手法の１つは、レンチキュラー・ベースのものである。レンチキュラー・ディスプレイは、別々の水平視線方向に対して複数の画像を示すことができる視差３Ｄディスプレイである。このようにして、視聴者は例えば、動き視差及び立体キューを体験することが可能である。
【０００３】
マルチビュー・ディスプレイに関する一問題点は、別々の表示方向の画像が重なり、それにより、ゴースト画像、又は画像間クロストークが生じ得るという点である。別の問題点は、表示方向の数が比較的小さく（通常、８又は９であり）、それにより、特定の表示方向でエイリアス効果が生じ得るという点である。
【０００４】
米国特許出願公開第２００３／０１１７４８９号明細書には、３次元ディスプレイ、並びに、３Ｄ自動立体ディスプレイの左眼画像及び右眼画像間のクロストークを削減する方法が開示されている。クロストークを削減する、本願に開示された方法は、左眼画像及び右眼画像の各画素にベース濃度値を加えて、バックグラウンド濃度値を増加させることに基づく。
【０００５】
本発明の発明者は、改良された、画像データをレンダリングする方法に利点があることを認識し、その結果、本発明を考え出している。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、マルチビュー・ディスプレイの画像データをレンダリングする改良された手段を提供しようとし、本発明の目的は、マルチビュー・ディスプレイの視聴者又はユーザの認識された画質を改善する効果的なフィルタリング手法を提供することであるとし得る。好ましくは、本発明は、前述や他の欠点のうちの１つ又は複数を単独で、又は何れかの組み合わせで緩和、軽減又は除去する。
【課題を解決するための手段】
【０００７】
本発明の第１の局面によれば、マルチビュー・ディスプレイの画像データをレンダリングする方法を提供する。方法は、
第１の画像を表す画像信号を受信する工程であって、第１の画像が３Ｄ画像データを備える工程と、
第１の画像信号を空間フィルタリングして第２の画像信号を供給する工程であって、第２の画像信号が第２の画像を表し、空間フィルタリングが、第１の画像の画素と第２の画像の画素との間のマッピングを備え、空間フィルタの強度が第１の画像の基準深度及び第１の画像の画素の深度によって求められる工程と、
第２の画像を複数のサブ画像にサンプリングし、各サブ画像は、画像の表示方向に関連付けられる工程とを含む。
【０００８】
マルチビュー・ディスプレイでは、画像データは通常、適切な提示のためにレンダリングされる。画像の空間（すなわち、３Ｄ）次元を視聴者が認識するように視聴者に向けて投影される２Ｄ画像データに画像が基づき得るので、レンダリングが必要であり得る。画像の表示方向毎に、その表示方向からみた画像のサブ画像が生成され、サブ画像が、関連付けられた表示方向に投影される。
【０００９】
レンダリング処理は通常、例えば、画像データの入力形式、ディスプレイ装置、画像データのタイプ等に応じて、いくつかの動作又は工程を含む。第１の画像の画像データは第１の工程において供給される。この第１の工程は、レンダリング処理全体の第１の工程でなくてよい。第１の画像の形式は通常、画像に深度データを加えたものを含む形式であるか、又は、関連付けられた深度マップを画像データとともに供給することができ、よって、３Ｄ画像データを求めることができる。
【００１０】
認識される画質を（特に、クロストーク及びエイリアス効果の点で）向上させるための空間フィルタリングが出力ドメインにおいて行われる（すなわち、マルチビュー・ディスプレイ用に入力画像が既に、少なくともある程度サンプリングされているレンダリング段階で行われる。第１の画像信号を空間フィルタリングして第２の画像を供給し、マルチビューの複数のサブ画像に第２の画像をサンプリングすることにより、アーチファクト（クロストークやエイリアス効果など）を、複数の画像上で出力ドメインにおいてではなく、単一の画像上で入力ドメインにおいて扱い、それにより、アーチファクトを効率的に扱う。
【００１１】
出力ドメインにおいて多数の画像をフィルタリングするのではなく入力ドメインにおいて単一の画像をフィルタリングすることは、出力ドメインにおいて多数の画像を全面的にフィルタリングするよりも完全でないことがあり得る一方、大半のアーチファクトはなお、避けるか、又は減らすことができ、処理能力及び時間の点での低コストの代替策をそれにより、提供することができる。
【００１２】
第１の局面による本発明の更なる利点は、マルチビュー・ディスプレイの画像のレンダリング・パイプラインにおける容易な実現を含む。本発明は、実際のマルチビュー・レンダリング前の別個のパイプライン工程において実現し、よりパイプラインされた並列実現形態を可能にし得る。
【００１３】
更に、方法は、アーチファクト（クロストーク及びエイリアス・アーチファクトなど）の削減を効果的に扱い、それにより、前処理又は後処理をレンダリングして、不必要なクロストーク又はエイリアス・アーチファクトを更に除去するか、又は減らす。
【００１４】
低域通過フィルタリング、高域通過フィルタリング及び／又は２つの組み合わせによって行われる帯域通過フィルタリングは、種々のやり方で実現し、それにより、ロバストかつ多用途の実現を確実にし得る周知の帯域通過フィルタリング手法であるので、従属請求項２及び３に記載の任意的な構成は効果的である。低域通過フィルタリングでは、ナイキスト周波数より高い周波数を除去することができる一方、高域通過フィルタは、高い周波数（例えば、ナイキスト周波数未満の周波数）を増幅する。
【００１５】
第２の画像の画素の組のサイズ（画素の組の分布フィルタの半径又は範囲など）として空間フィルタの強度を求めることにより、基準面近くの物体が、空間フィルタリングによって大きく影響されない一方、基準面から更に離れた物体が、空間フィルタリングによって影響されることが確実にされるので、従属請求項４及び５に記載の任意的な構成は効果的である。
【００１６】
鮮明度で第２の画像の画素を更新することにより、フォアグラウンド物体及びバックグラウンド物体の混合に関する問題点に効果的に対処することができる（前述の問題点は、シフトされた視点について空間フィルタリング画像がレンダリングされる場合、生じ得る）ので、従属請求項６及び７に記載の任意的な構成は効果的である。
【００１７】
第２の画像の画素の深度を更新することにより、視点の変更の扱いを改良することができるので、従属請求項８記載の任意的な構成は効果的である。上記深度は、第１の画像の画素の深度と第２の画像の画素の深度との間の値に第２の画像の画素の深度を設定することにより、更新される。このようにして、第２の画像の画素が、フォアグラウンド、及びわずかしかないバックグランドから実質的に構成されることになり、深度は、フォアグラウンドの深度に実質的に近い値に設定することができ、深度遷移がゆるやかであると深度エッジが滑らかになる。一実施例では、深度値は、第１の画像の画素の深度及び第２の画素の深度の最大値に設定することができる。
【００１８】
第１の画像の画素、及び第２の画像の画素の組が第１の画像の水平線に沿ってアラインされるように空間フィルタを施すことにより、水平方向を向いた複数の方向における差の表示を投影するマルチビュー・ディスプレイに効果的に対処することができるので、請求項１０記載の任意的な構成は効果的である。
【００１９】
２．５Ｄビデオ画像形式が標準であり、広く用いられている形式であるので請求項１１記載の任意的な構成は効果的である。
【００２０】
本発明の第２の局面によれば、マルチビュー・ディスプレイ装置が提供される。マルチビュー・ディスプレイ装置は、
ディスプレイ要素のアレイを備えるディスプレイ・パネルであって、ディスプレイ要素が群に配置され、各群が画像の表示方向に関連付けられるディスプレイ・パネルと、
ディスプレイ要素群から放出される光が、群の表示方向に関連付けられた角分布に誘導されるようにディスプレイ・パネルから放出される光を誘導する光学素子と、
第１の画像信号を受信する入力モジュールと、
第１の画像信号を空間フィルタリングして第２の画像信号を供給するレンダリング・モジュールであって、第２の画像信号が第２の画像を表し、空間フィルタリングは、第１の画像の画素と第２の画像の画素との間のマッピングを備え、空間フィルタの強度は、第１の画像の基準深度及び第１の画像の画素の深度によって求められるレンダリング・モジュールと、
第２の画像を複数のサブ画像にサンプリングする出力モジュールであって、サブ画像それぞれが画像の表示方向に関連付けられる出力モジュールとを備える。
【００２１】
ディスプレイ装置は、第１の局面のレンダリング方法によって拡充されたマルチビュー・ディスプレイ装置である。マルチビュー・ディスプレイ装置が、本発明の第１の局面による機能を有するディスプレイ装置でも、本発明の第１の局面による機能を有しないディスプレイ装置でもよいが、本発明の機能により、その後拡充されるディスプレイ装置であり得るという点は本発明の利点である。
【００２２】
入力モジュール、レンダリング・モジュール及び出力モジュールを、本発明の第３の局面による信号レンダリング・システムとして提供することができる。
【００２３】
本発明の第４の局面によれば、第１の局面による方法を実現するコンピュータ読み取り可能なコードを提供する。
【発明を実施するための最良の形態】
【００２４】
一般に、本発明の種々の局面は、本発明の範囲内にある限り、実現可能な何れかのやり方で組み合わせ、結合することができる。本発明の前述並びに他の局面、特徴及び／又は効果は、以下に記載する実施例から明らかであり、前述の実施例を参照しながら明らかになるであろう。
【００２５】
本発明の実施例は、添付図面を参照して、例としてのみ説明する。
【実施例】
【００２６】
図１及び図２は、マルチビュー・ディスプレイの実施例、すなわち、側部からみた３Ｄレンチキュラー・ディスプレイの略図（図１）、及び３Ｄレンチキュラー・ディスプレイの略平面図（図２）を示す。
【００２７】
図１は３Ｄレンチキュラー・ディスプレイの原理を示す。レンチキュラー・ディスプレイは、ＬＣＤパネル・ディスプレイ１に基づく。ＬＣＤパネル・ディスプレイ１の前には、レンズ２が取り付けられている。特定の視野角φの場合、視聴者３が、下にあるＬＣＤの画素の部分集合のみをみるということにレンズは対応する。適切な値が、別々の視線方向に関連付けられた画素の部分集合に設定された場合、視聴者は、別々の視線方向から別々の画像を視ることになる。よって、視聴者３は、画像の中心表示をみる一方、６と示す視野角から画像の側面表示をみることになる。
【００２８】
各レンズはいくつかの画素４、５を覆い、７と表すいくつかの画素で示すようにそれらを映し出す。視聴者は画素４の一部分集合を右眼で視て、画素５の別の部分集合を左眼で視る。３Ｄ体験がそれによって得られる。
【００２９】
図２Ａは、レンチキュラー・ディスプレイを示す略平面図である。ディスプレイは、ディスプレイ要素２０又は画素のアレイ（従来のＬＣマトリクス・ディスプレイ・パネルなど）を備える。画素は群内に配置され、各群は画像の表示方向と関連付けられる。各画素群はサブ画像を構成し、各サブ画像は表示方向と関連付けられる。光学素子（すなわち、レンズ）は、画素から放出される光を誘導するので、画素群から放出される光は、群の表示方向に関連付けられた角分布に誘導され、それにより、視聴者の眼には別個の画像が供給される。
【００３０】
レンチキュラー・レンズは、画素の列に対して、わずかな角度をなして（すなわち傾いて）配置されるので、その長手方向の主軸は、ディスプレイ要素の列方向に対して特定の角度をなす。この構成では、視聴者は、レンズの方向２２に沿ってサンプリングされた点を視る。９ビュー・ディスプレイでは、９個（表示方向毎に１個）の画像が同時に計算され、サブ画像に関連付けられた画素群上に示される。画素が照射されると、画素の上のレンズ全体が照射される（２１）（これは図２Ｂに示す）。よって、特定の表示方向の場合、画素の色を放出しているようにみえるのは、画素の上のレンズ全体である。
【００３１】
図１及び図２はＬＣＤレンチキュラー・ディスプレイを表しているが、本発明はこのタイプのディスプレイに限定されるものでない。例えば、本発明は、バリア型ディスプレイなどのディスプレイに適用することができ、マトリクス・ディスプレイ・パネルは、ＬＣパネル以外（他の形態の空間光変調器や他のタイプのディスプレイ・パネル（電界発光パネルやプラズマ・パネルなど））であってもよい。
【００３２】
単一の視線方向からの近傍表示からのサブ画像の鮮明度により、クロストークなどのアーチファクトが生じ得る。これは、４  ２／３ディスプレイの場合の（すなわち、各レンズが水平方向における４  ２／３画素を覆うディスプレイの場合の）視野角の関数として可視光Ｉを示す図３に示す。別々のサブ画像からの角分布３０乃至３４が重なっていることが分かる。視聴者の認識画像は各角分布からの光の和であり、この特定の例の場合、３つのサブ画像が、各視線方向の認識画像に寄与する。
【００３３】
適切な空間フィルタリングにより、クロストーク、ゴースト撮像及びエイリアスに関する問題点を除去するか、又は少なくとも減らすことができることを本発明の発明者は認識している。更に、マルチビュー・ディスプレイに画像がレンダリングされる前に入力画像を空間フィルタリングすることにより、単一の画像（及び、場合によっては、特定の実施例による深度マップ）のみをフィルタリングすればよい。それにより、マルチビュー画像データの空間フィルタリングを扱う効率的なやり方を提供する。
【００３４】
深度依存性空間フィルタリングは、クロストーク及び／又はエイリアス効果に対処するために行われる。しかし、別々の視点に対して後にレンダリングされる入力画像に対する深度依存性空間フィルタリングでは、レンダリングにより、新たなアーチファクトがもたらされ得る。そのフォアグラウンド物体及びバックグランド物体に関する前述のアーチファクトは、視点がシフトされたレンダリング画像と混ざり。それにより、別々の視点での３Ｄ画像の認識画質が低下する。
【００３５】
３Ｄ画像の認識画質を高くするために、画像の深度依存性フィルタリングは、画像のブラーが、特定の深度で焦点を合わせたカメラによってもたらされるブラーと一致しているようなものであり得る（これは図４に示す）。図は、ぼやけたバックグラウンド４４の手前に２人の俳優４１、４２を示す、ＴＶシリーズ「スター・トレック・エンタープライズ」からのシーンを示す。４２も焦点が合っておらず、その結果、ぼやけている。４１と表す俳優の肩をみれば、肩の鮮鋭な輪郭４３がみられるように、フォアグラウンド物体上にバックグラウンドのブラーが生じていないことが分かる。４２と表す俳優の肩にはしかし、ブラーが生じており、バックグラウンド物体上にフォアグラウンド物体のブラーが生じていることを示している。画像レンダリング処理では、画像内で、何の上に何のブラーが生じているかの前述の規則に従えば、３Ｄ画像における認識空間寸法の向上につながる。
【００３６】
帯域通過フィルタは通常、低域通過フィルタ又は高域通過フィルタである。低域通過フィルタは、ディスプレイの表示の数に応じて、低い数（８や９など）のサブ画像に強度関数をサンプリングすることに関する問題点（通常、エイリアスの問題点）を緩和する。高域通過フィルタは、表示方向にブラーを加えるクロストークに関する問題点を緩和する。高域通過フィルタリング及び低域通過フィルタリングを組み合わせて認識画質を最適にすることができるか、又はフィルタを別個に施すことができる。
【００３７】
図５Ａ乃至図５Ｃは、空間フィルタリング処理における第１の画像の第２の画像へのマッピングの実施例を示す。
【００３８】
まず、３Ｄ画像データを備える第１の画像を表す画像信号が受信又は供給される。３Ｄ画像データは、何れの適切な座標表現で表すこともできる。通常の座標表現では、画像は、画像平面における位置を表す空間座標の組、及び画像平面に対して垂直の方向における画像の深度を表す。しかし、別の座標表現を想定することができる。
【００３９】
フィルタリングは入力によって駆動され得るものであり、入力画素（ソース要素としても表す）毎に、ソース要素と基準深度との間の、深度における差が求められる。基準深度は、焦点が合っている、又は、焦点が合っている状態のままでなければならない画像内の深度層にセットされる。深度差を次いで、空間フィルタの強度の尺度として使用する。フィルタの強度は一実施例では、ソース要素の強度によって影響される画素の数であり得る（すなわち、第２の画像の画素の組のサイズとして）。画素の組のサイズは、デスティネーション要素の組にソース要素の強度を分布させる分布フィルタの半径であり得る。以下では、ソース要素及びデスティネーション要素はそれぞれ、ソース画素及びデスティネーション画素として表すことができる。
【００４０】
図５Ａは、特定の画素の深度と、基準深度（ｄ−ｄｒｅｆ）との間の差を分布フィルタの半径ｒの尺度として使用するという原理を略示する。前述のことを図５Ｂ及び図５Ｃに示すが、いくつかの画素５１を備えるマトリクス・ディスプレイ・パネル（ＬＣＤディスプレイなど）の断面で具体化している。基準深度は画像全体について設定され、画素毎に画素の深度が求められる。画素５２の強度値は、第２の画像５３内の画素の組に分布させる。第２の画像は、第１の画像５０の更新されたバージョンである。画素５２毎に、画素の強度は、画素を取り囲む画素要素の組に分布させ、影響を受けた画素の領域５５の組のサイズ、又は半径ｒはｄ−ｄｒｅｆから求められる。画素５５の組における画素の強度は、Ｉｐ：＝Ｉｐ＋ｆ（ｒ）＊Ｉｑとして求めることができ、ここでＩｐは画素の強度（すなわち、累積している出力強度）であり、ｆ（ｒ）は分布関数であり、Ｉｑは、デスティネーションからの距離がｒであるソース画素の強度である。分布フィルタは、立法ｂ−スプラインであり得る。
【００４１】
深度値が基準深度近くの領域の場合、分布フィルタの半径は小さく、よって、デスティネーション画素は、対応するソース画素からの寄与分のみを受け取る。深度が基準値と大きく異なる領域の場合、ソース画素強度は大きな領域及びミックスにわたって分布させる。その結果、ブラーが生じる。
【００４２】
特定の深度に焦点を合わせたカメラによってもたらされるブラーと一致するブラーを生成するために、鮮明度ｖを分布関数に乗算する。よって、Ｉｐ：＝Ｉｐ＋ｆ（ｒ）＊Ｉｑ＊ｖになる。鮮明度は、デスティネーション画素がソース画素よりも視点にずっと近い場合にゼロに等しい。それにより、フォアグラウンド上でのバックグラウンドのブラーが生じないことが確実になる。鮮明度は、ソース画素がデスティネーション画素よりも視点にずっと近い場合に１に等しく、２つの値間の遷移がゆるやかである。ソース画素、デスティネーション画素、及び視点間の距離は、（例えば、ソース画素と視点との間の距離、及びデスティネーション画素と視点との間の距離を１つ又は複数の最小距離と比較して、デスティネーション画素によりもソース画素が視点にずっと近いか、又は逆の場合を求めることにより、）ソース画素、デスティネーション画素、及び視点の空間座標から評価することができる。重みの和を事前に一定状態に保つことが可能でないので、重みの合計により、デスティネーション色を正規化しなければならないという効果を鮮明度は有する。
【００４３】
以下の実施例では、深度依存性ブラーに関する実施例を扱う。しかしながら、深度依存性空間フィルタを使用して、深度依存性ブラー化（低域通過フィルタリング）及び深度依存性鮮明化（高域通過フィルタリング）を行う。これは、図１２に関して説明する。
【００４４】
図６乃至図１１は、ゲームＱｕａｋｅ（商標）からのシーンに対して、本発明による深度フィルタを適用することの影響を示す。
【００４５】
図６Ａはゲームにおいて使用されるシーンを示し、図６Ｂは画像（又はシーン）の深度マップを示す。深度マップでは、グレ―スケールは視差に対応し、よって明るい物体は暗い物体よりも近くなる。基準深度は、中央の柱６０に設定される。以下の画像では、図６Ａの画像は、本発明による空間フィルタリングによって第２の画像にマッピングされる対象の第１の画像である。図６Ａの画像は図６Ｂの深度マップと組み合わせて、以降、ソース画像として表す。第２の画像は以降、デスティネーション画像として表すことができる。
【００４６】
図７Ａ及び図７Ｂは、鮮明度なしの深度依存性ブラーを示す。図７Ａは、鮮明度なしでのソース画像のブラー化、すなわち、鮮明度なしでのデスティネーション画像の取得を示す。図７Ｂの画像は、図６Ｂに示す深度マップを用いてシフト視点の図７のデスティネーション画像から得られる。
【００４７】
図７Ａでは、フォアグラウンド上にバックグラウンドのブラーが生じているのが分かる。これは例えば、柱７０上に生じている白色バックグラウンド領域によって分かり得る。このブラーは、特定の視野角からは可視であるべきでなくても一部の白色領域７１をみることができるので、シフト視点に対する影響を有する（図７Ｂ）。フォアグラウンド上にバックグラウンドブラーが生じていることにより、オクルージョンを打ち消すハロー効果が生じる。
【００４８】
図８Ａ及び図８Ｂは、鮮明度を有する深度依存性ブラーを示す。図８Ａは、鮮明度を備えたソース画像のブラー、すなわち、鮮明度を備えたデスティネーション画像の取得を示す。図８Ｂの画像は、図７Ｂと同様に、シフト視点の図８Ａのデスティネーション画像から得られる。
【００４９】
デスティネーション画像（図８Ａ）でもシフト視点画像（図８Ｂ）でも、図７Ａ及び図７Ｂに関して説明したアーチファクトは除去されている。鮮鋭なエッジが柱８０の左側で得られ、柱はシフト表示８１における白色領域を隠す。
【００５０】
しかし、バックグラウンド上にフォアグラウンドのブラーが生じているシルエットにハロー・アーチファクトが残っている。左下の隅８４にある物体でオクルージョンがないということは、単にバックグラウンド色が反復しているのではなく、大部分がフォアグラウンド色で構成される色が反復している、すなわち、半透明になっているということである。
【００５１】
画像の更なる視点が、画像に深度情報を加えたものからレンダリングされる場合、ハロー効果を減少させるか又は除去するやり方について種々の解決策が存在している。
【００５２】
一実施例では、同様な深度のデスティネーション画素にのみソース画素が寄与するように鮮明度が修正される。前述のフィルタリングの結果を図９Ａ及び図９Ｂに示す。ハロー効果が除去されるが、フォアグラウンド物体９０、９１の鮮鋭なエッジが残ることが分かり得る。前述の鮮鋭なシルエット・エッジにより、物体の内部にブラーが生じていても、クロストークが理由で画像が二重になり得る。
【００５３】
別の実施例では、ハロー効果は深度マップをフィルタリングすることによって対処する。図８Ｂの左下の隅にみられるハロー効果８４は、おおむね、フォアグラウンド色の反復による。バックグラウンド色のみを元々含んでいた画素は、ブラー化後、多くのフォアグラウンド色を含んでいるからである。大部分がフォアグラウンド色で構成される色を使用して、オクルージョンがない領域を埋めるので、シフト表示が計算される場合、ハロー・アーチファクトが拡大される。
【００５４】
少なくともアーチファクトをかなり削減する一解決策は、深度マップ自体もフィルタリングし、それにより、レンダリングによってアーチファクトが同様に拡大されないことを確実にすることである。
【００５５】
フォアグラウンド色を分布させるデスティネーション画素はいずれも、フォアグラウンド深度を有し、それにより、前述の画素をマルチビュー・レンダリングにおいて使用して、オクルージョンがない領域を埋めることが避けられる。このことは、深度依存性形態論的フィルタを施すことによって行うことが可能である。ソース画素をデスティネーション画素に分布させる場合、デスティネーション画素の深度を、ソース画素の深度及びそのデスティネーション画素の先行深度の最大値に設定する。これは当然、鮮明度基準に従う。バックグラウンド物体からの深度情報は、フォアグラウンド物体の深度情報を変えない（それにより、例として、例えば柱の深度遷移がそのバックグラウンド鮮鋭度に色及び深度において保たれる）。一般に、深度マップの更新は、前述の通り、デスティネーション画素の深度を最大値に設定する代わりに、デスティネーション画素の深度を、ソース画素の深度とデスティネーション画素の深度との間の値に設定することによって行うことができる。
【００５６】
画像フィルタにより、バックグラウンド上にフォアグラウンドのブラーが生じる場合に、深度マップをフォアグラウンド深度で更新してフォアグラウンド物体を伸張させる。その結果は図１０Ａに示す。図１０Ａは、更新された深度マップを示す。図６Ｂの深度マップ及び図１０Ａの深度マップを比較すると、フォアグラウンド物体の伸張は明らかである（左下の隅１０１、及び柱の右のバックグラウンド１００の物体）。
【００５７】
前述のフィルタリングされた深度マップを、図８Ａからのフィルタリングされた画像とともに用いると、図１０Ｂに示す別の表示になる。この場合、フォアグラウンド深度でレンダリングされた、ブラーが生じているエッジが半透明であることにより、かつ、エッジとはかなり離れた所からの色情報で、オクルージョンがない部分が満たされている（これまででは、図８に表すものほど峻厳でない）ことにもより、一部のハロー１０２がなお、目に見える。
【００５８】
図５乃至１０に関して説明した空間フィルタリングは、デスティネーション画素の組が画像平面内の画素の組であるという意味合いで２Ｄフィルタリングである。実際のカメラのピンぼけを模倣し、それにより、視聴者の認識画質を向上させるために前述の２Ｄフィルタリングは必要であり得る。しかし、マルチビュー・ディスプレイ装置上に存在し得る、表示方向における粗いサンプリング、及びクロストークの影響に対処するには、水平フィルタで十分であり得る。水平フィルタ、すなわち１Ｄフィルタでは、図５Ｃに示す領域５５内にデスティネーション画素の組が含まれる代わりに、デスティネーション画素の組はソース画素の両側の水平方向に沿って延在する。図１１には、１Ｄ水平深度依存性空間フィルタリングの場合の、画像、及び視点をシフトした画像の例を示す。図１１Ａを図６Ａと比較すると分かるように、水平ブラーが加えられている。図１１Ｂは、図１０Ａ及び１０Ｂに関する場合と同様に、深度マップがフィルタリングされている場合のシフト視点の状態を示す。更に、１Ｄの場合、大きなハロー・アーチファクトが生じることが妨げられる。
【００５９】
水平フィルタリングでは、垂直ハロー効果が、シフト視点について避けられる。この場合において避けられる垂直ハロー効果の例は、図１１Ｂ及び図７Ｂの柱１１０の最上部を比較することにより、分かり得る。図７Ｂでは、垂直ハロー効果が、視点のシフトによってもたらされる。
【００６０】
高域通過フィルタリングが通常、例えば、画像のマルチビュー・レンダリング又はサンプリングに関して、後にもたらされる、画像のブラーを予め補償するよう施される。
【００６１】
図１２Ａは、エッジを備えた入力画像を略示する。マルチビュー・レンダリングはこの画像を深度によってシフトさせる。よって、第２の表示は、画像をシフトさせたバージョンになる（この場合、前述の領域内の深度が一定であるものとする）。このことは図１２Ｂに示す。クロストークを表すマルチビュー・ディスプレイ上では、視聴者は、純粋に一表示（例えば、表示１）をみる訳でなく、みるべき表示、及び近傍表示の混合をみることになる。例として、図１２Ｃは、近傍表示の１／８がみられる状態を示し、よって、図１２Ｃは、近傍表示の１／８（図１２Ｂ）及び表示自体の７／８（図１２Ａ）の組み合わせを示す。エッジは、より小さな２つのステップに分割される（すなわち、エッジにブラーが生じる）。
【００６２】
このことに対処するために、入力画像は高域通過フィルタリングすることが可能である。通常、エッジ前後である程度のオーバーシュートが生じ、エッジが「より高く」なる。このことは、図１２Ｄに略示する。図１２Ｅは図１２Ｄをシフトさせたバージョンを示し、図１２Ｆはクロストークがもたらされた状態を示す。すなわち、図１２Ｆは、図１２Ｅ（シフト表示）及び図１２Ｄ（元の表示）の組み合わせである。図示したように、エッジは、クロストークにもかかわらずなお鮮鋭である。
【００６３】
基準深度と同様な深度を有する高域通過フィルタリング領域の場合、鮮鋭化は全く又はほとんど行われず、基準深度と領域の深度との差が増加するにつれ、近傍表示内のエッジ間の距離に一致して、鮮鋭化によって影響される領域の範囲又は程度が増加する。
【００６４】
一実施例では、視聴者に提示する対象の画像データを含む信号は第１の画像信号として入力モジュールに入力される。第２の画像を供給するための第１の画像の深度依存性フィルタリングはレンダリング・モジュールにおいて行われ、レンダリング・モジュールは通常、処理装置である。入力モジュール、レンダリング・モジュール及び出力モジュールは別個の実体でなくてよいが、別個の実体であり得る。
【００６５】
レンダリング・モジュールは、画像データに更なるレンダリング機能を施すこともできる。例えば、画像データは表示分解能に適切にスケーリングすることができる、色を調節することができる等である。画像信号のレンダリングは別々の色成分毎に別個に行うことができ、表示依存性強度関数は画像の少なくとも１つの色成分について求め、帯域通過フィルタリングを画像の少なくとも１つの色成分に施すことができる。例えば、ＲＧＢ信号では、緑色成分は最も輝度が高い成分であるので、空間フィルタリングは、一実施例では、緑色成分にのみ施し得る。
【００６６】
本発明は、ハードウェア、ソフトウェア、ファームウェアや、これらの何れかの組み合わせをはじめとする何れかの適切な形態で実現することが可能である。本発明、又は本発明の構成の一部は、１つ又は複数のデータ・プロセッサ上及び／若しくはディジタル信号プロセッサ上で実行するコンピュータ・ソフトウェアとして実現することが可能である。本発明の実施例の構成要素及び構成部分は、何れかの適切な方法で物理的に、機能的に、及び論理的に実現することができる。実際に、機能は、単一の装置において、複数の装置において、又は、他の機能的装置の一部として実現することができる。そういうものとして、本発明は、単一装置において実現することができ、又は、別々の装置及びプロセッサに物理的及び機能的に分散させることができる。
【００６７】
本発明は、特定の実施例に関して説明してきたが、本明細書及び特許請求の範囲記載の特定の形態に限定することを意図するものでない。むしろ、本発明の範囲は、特許請求の範囲によってのみ限定される。
【００６８】
ここでは、本願に記載した実施例の具体的な詳細は、限定ではなく説明の目的で記載して、本発明が明瞭かつ徹底的に分かるようにしている。しかし、本開示の趣旨及び範囲からかなり逸脱する訳でない限り、本明細書及び特許請求の範囲記載の詳細に厳密に従わない他の実施例において本発明を実施することができることを当業者は容易に理解するはずである。更に、この意味合いで、かつ話を簡潔かつ明瞭にする目的で、周知の装置、回路及び方法論の詳細な説明を省略して、不必要な詳細を避け、場合によっては混乱することを避けている。
【００６９】
参照符号を特許請求の範囲に含めている場合、参照符号を含めていることは、単に、話を明瞭にする目的のためであり、特許請求の範囲記載の範囲を限定するものと解されるべきでない。
【図面の簡単な説明】
【００７０】
【図１】３Ｄレンチキュラー・ディスプレイの原理を示す図である。
【図２Ａ】レンチキュラー・ディスプレイを示す略平面図である。
【図２Ｂ】レンチキュラー・ディスプレイを示す略平面図である。
【図３】近傍表示からのサブ画像間のクロストークを示す図である。
【図４】特定の深度において焦点を合わせたカメラの結果として、画像のブラーの例を示す図である。
【図５Ａ】空間フィルタリング処理において第１の画像を第２の画像にマッピングした実施例を示す図である。
【図５Ｂ】空間フィルタリング処理において第１の画像を第２の画像にマッピングした実施例を示す図である。
【図５Ｃ】空間フィルタリング処理において第１の画像を第２の画像にマッピングした実施例を示す図である。
【図６Ａ】関連付けられた深度マップを備えた２Ｄ入力画像の例を示す図である。
【図６Ｂ】関連付けられた深度マップを備えた２Ｄ入力画像の例を示す図である。
【図７Ａ】入力画像、及び同じ画像（又はシーン）のシフト画像の深度依存性空間フィルタリングを示す図である。
【図７Ｂ】入力画像、及び同じ画像（又はシーン）のシフト画像の深度依存性空間フィルタリングを示す図である。
【図８Ａ】鮮明度が施された入力画像の深度依存性空間フィルタリング、及びフィルタリングされた画像のシフト表示を示す図である。
【図８Ｂ】鮮明度が施された入力画像の深度依存性空間フィルタリング、及びフィルタリングされた画像のシフト表示を示す図である。
【図９Ａ】調節された鮮明度が施された入力画像の深度依存性空間フィルタリング、及びフィルタリングされた画像のシフト表示を示す図である。
【図９Ｂ】調節された鮮明度が施された入力画像の深度依存性空間フィルタリング、及びフィルタリングされた画像のシフト表示を示す図である。
【図１０Ａ】空間フィルタリングされた深度マップ、及びフィルタリングされた深度マップを備えた入力画像の深度依存性空間フィルタリングを示す図である。
【図１０Ｂ】空間フィルタリングされた深度マップ、及びフィルタリングされた深度マップを備えた入力画像の深度依存性空間フィルタリングを示す図である。
【図１１Ａ】１Ｄの場合の入力画像の深度依存性空間フィルタリング、及びフィルタリングされた画像のシフト表示を示す図である。
【図１１Ｂ】１Ｄの場合の入力画像の深度依存性空間フィルタリング、及びフィルタリングされた画像のシフト表示を示す図である。
【図１２Ａ】高域通過空間フィルタリングの適用に関する局面を示す図である。
【図１２Ｂ】高域通過空間フィルタリングの適用に関する局面を示す図である。
【図１２Ｃ】高域通過空間フィルタリングの適用に関する局面を示す図である。
【図１２Ｄ】高域通過空間フィルタリングの適用に関する局面を示す図である。
【図１２Ｅ】高域通過空間フィルタリングの適用に関する局面を示す図である。
【図１２Ｆ】高域通過空間フィルタリングの適用に関する局面を示す図である。
【図１】
2009519625.tif 000003
【図２Ａ】
2009519625.tif 000004
【図２Ｂ】
2009519625.tif 000005
【図３】
2009519625.tif 000006
【図４】
2009519625.tif 000007
【図５Ａ】
2009519625.tif 000008
【図５Ｂ】
2009519625.tif 000009
【図５Ｃ】
2009519625.tif 000010
【図６Ａ】
2009519625.tif 000011
【図６Ｂ】
2009519625.tif 000012
【図７Ａ】
2009519625.tif 000013
【図７Ｂ】
2009519625.tif 000014
【図８Ａ】
2009519625.tif 000015
【図８Ｂ】
2009519625.tif 000016
【図９Ａ】
2009519625.tif 000017
【図９Ｂ】
2009519625.tif 000018
【図１０Ａ】
2009519625.tif 000019
【図１０Ｂ】
2009519625.tif 000020
【図１１Ａ】
2009519625.tif 000021
【図１１Ｂ】
2009519625.tif 000022
【図１２Ａ】
2009519625.tif 000023
【図１２Ｂ】
2009519625.tif 000024
【図１２Ｃ】
2009519625.tif 000025
【図１２Ｄ】
2009519625.tif 000026
【図１２Ｅ】
2009519625.tif 000027
【図１２Ｆ】
2009519625.tif 000028
【手続補正書】
【提出日】平成20年6月4日(2008.6.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
マルチビュー・ディスプレイの画像データをレンダリングする方法であって、
第１の画像を表す画像信号を受信する工程であって、前記第１の画像が３Ｄ画像データを備える工程と、
第１の画像信号を空間フィルタリングして第２の画像信号を供給する工程であって、第２の画像信号が第２の画像を表し、前記空間フィルタリングが、前記第１の画像の画素と前記第２の画像の画素との間のマッピングを備え、空間フィルタの強度が前記第１の画像の基準深度及び前記第１の画像の画素の深度によって求められる工程と、
前記第２の画像を複数のサブ画像にサンプリングし、各サブ画像は、画像の表示方向に関連付けられる工程とを含む方法。
【請求項２】
請求項１記載の方法であって、前記空間フィルタが帯域通過フィルタである方法。
【請求項３】
請求項２記載の方法であって、前記帯域通過フィルタは、高域通過フィルタ、低域通過フィルタ、並びに、高域通過フィルタ及び低域通過フィルタの組み合わせの群から選択される方法。
【請求項４】
請求項１記載の方法であって、前記第１の画像の画素が前記第２の画像の画素の組にマッピングされ、前記空間フィルタの前記強度は、前記第２の画像の画素の組のサイズとして求められる方法。
【請求項５】
請求項４記載の方法であって、前記第２の画像の画素の組のサイズは、分布フィルタの半径又は範囲である方法。
【請求項６】
請求項１記載の方法であって、デスティネーション要素が鮮明度で更新され、前記鮮明度は、視点と、前記第１の画像の画素の空間座標との間の距離、及び、前記視点と、前記第２の画像の画素の空間座標との間の距離から求められる方法。
【請求項７】
請求項６記載の方法であって、前記視点に対して、前記デスティネーション要素がソース要素よりも第１の最小距離未満だけより近い場合、前記鮮明度はゼロに等しく、前記視点に対して、ソース要素が前記デスティネーション要素よりも第２の最小距離未満だけより近い場合、前記鮮明度は１に等しく、前記鮮明度は２つの値間でゆるやかな遷移をたどる方法。
【請求項８】
請求項１記載の方法であって、前記第２の画像の画素の深度が更新され、よって、前記第２の画素の前記画素の前記更新された深度が、前記第１の画像の画素の深度と前記第２の画像の画素の深度との間の値に設定され、よって、前記第２の画像のサンプリングは、前記第２の画像の前記画素の前記更新された深度を用いて行われる方法。
【請求項９】
請求項４記載の方法であって、前記第１の画像の画素及び前記第２の画像の画素の組が、前記第１の画像の水平線に沿って合わせられる方法。
【請求項１０】
請求項１記載の方法であって、前記第１の画像信号の画像形式が２．５Ｄビデオ画像形式である方法。
【請求項１１】
信号レンダリング・システムであって、
第１の画像を表す第１の画像信号を受信する入力モジュールと、
前記第１の画像信号を空間フィルタリングして第２の画像信号を供給するレンダリング・モジュールであって、前記第２の画像信号が第２の画像を表し、前記空間フィルタリングが、前記第１の画像の画素と前記第２の画像の画素との間のマッピングを備え、空間フィルタの強度が前記第１の画像の基準深度及び前記第１の画像の画素の深度によって求められるレンダリング・モジュールと、
前記第２の画像を複数のサブ画像にサンプリングし、各サブ画像は、画像の表示方向に関連付けられる出力モジュールとを備える信号レンダリング・システム。
【請求項１２】
マルチビュー・ディスプレイ装置であって、
ディスプレイ要素のアレイを備えるディスプレイ・パネルであって、前記ディスプレイ要素が群に配置され、各群が画像の表示方向と関連付けられるディスプレイ・パネルと、
前記ディスプレイ・パネルから放出される光を誘導し、よって、ディスプレイ要素の群から放出される光が、前記群の前記表示方向に関連付けられた角分布に誘導される光学素子と、
第１の画像を表す第１の画像信号を受信する入力モジュールと、
前記第１の画像信号を空間フィルタリングして第２の画像信号を供給するレンダリング・モジュールであって、前記第２の画像信号が第２の画像を表し、前記空間フィルタリングが、前記第１の画像の画素と前記第２の画像の画素との間のマッピングを備え、空間フィルタの強度は、前記第１の画像の基準深度及び前記第１の画像の画素の深度によって求められるレンダリング・モジュールと、
前記第２の画像を複数のサブ画像にサンプリングする出力モジュールであって、各サブ画像が前記画像の表示方向と関連付けられる出力モジュールと、
請求項１１記載の信号レンダリング・システムとを備えるマルチビュー・ディスプレイ装置。
【請求項１３】
請求項１記載の方法を実現するためのコンピュータ読み取り可能なコード。
【国際調査報告】
2009519625.tif 000029
2009519625.tif 000030
2009519625.tif 000031