(57)【要約】  ３Ｄ表示システムのキャリブレーションを行うためのシステムおよび方法である。ある実施形態では、システムは、ディスプレイスクリーンと、２Ｄ投影画像をスクリーン上に投影する２Ｄ画像プロジェクタと、スクリーンのキャリブレーション画像を撮影するカメラとを含む。コンピュータは、キャリブレーションパターンを含む２Ｄ投影画像を生成し、撮影されたキャリブレーション画像を処理する。コンピュータは、キャリブレーション画像を用いて、キャリブレーション画像に基づいた補正を計算する。次に、コンピュータは、２Ｄ画像プロジェクタによってスクリーン上に投影される補正された２Ｄ投影画像を生成し、それによって、連続的なビューイング、正確な水平視差、および有効なビューイングゾーン内で各目が異なるビューを持つ、実質的に視覚的に正確な３Ｄ画像を生成することができる。画像に対する補正には、ジオメトリ（歪み、アライメント等を含む）色（強度および関連のパラメータを含む）に対する補正が含まれ得る。【選択図】図１Ａ
2014522591.tif 000002
【特許請求の範囲】
【請求項１】
ディスプレイスクリーンと、
前記スクリーンのキャリブレーション画像を撮影するように構成されたカメラと、
複数の２Ｄ投影画像を前記スクリーン上に投影するように構成された１つまたは複数の２Ｄ画像プロジェクタと、
前記２Ｄ投影画像を生成し、前記カメラによって撮影された前記キャリブレーション画像を処理するように構成されたコンピュータと、
を含む３Ｄディスプレイキャリブレーションシステムにおいて、
前記２Ｄ投影画像は、キャリブレーションパターンであり、
前記キャリブレーションパターンが前記スクリーンを照らす間に、前記カメラは、前記スクリーンの前記キャリブレーション画像を撮影し、
前記コンピュータは、前記キャリブレーション画像に基づいて、前記２Ｄ投影画像に対する補正を計算することを特徴とする、３Ｄディスプレイキャリブレーションシステム。
【請求項２】
請求項１に記載の３Ｄディスプレイキャリブレーションシステムにおいて、前記コンピュータは、複数の補正された２Ｄ投影画像を生成するように構成され、前記１つまたは複数の２Ｄ画像プロジェクタは、前記スクリーン上に前記複数の補正された２Ｄ投影画像を投影し、それによって、連続的なビューイング、正確な水平視差、および有効なビューイングゾーン内で各目が異なるビューを持つ、実質的に視覚的に正確な３Ｄ画像を生成するように構成されていることを特徴とする、３Ｄディスプレイキャリブレーションシステム。
【請求項３】
請求項１に記載の３Ｄディスプレイキャリブレーションシステムにおいて、前記コンピュータは、前記キャリブレーション画像に基づいて、前記２Ｄ投影画像に対するジオメトリ補正を計算することを特徴とする、３Ｄディスプレイキャリブレーションシステム。
【請求項４】
請求項１に記載の３Ｄディスプレイキャリブレーションシステムにおいて、前記コンピュータは、前記キャリブレーション画像に基づいて、前記２Ｄ投影画像に対する色および強度補正を計算することを特徴とする、３Ｄディスプレイキャリブレーションシステム。
【請求項５】
請求項１に記載の３Ｄディスプレイキャリブレーションシステムにおいて、前記スクリーンおよびプロジェクタの位置を計測するように構成されたｘ−ｙ計測ユニットをさらに含むことを特徴とする、３Ｄディスプレイキャリブレーションシステム。
【請求項６】
請求項１に記載の３Ｄディスプレイキャリブレーションシステムにおいて、前記スクリーンは、基準マーカーを有することを特徴とする、３Ｄディスプレイキャリブレーションシステム。
【請求項７】
請求項１に記載の３Ｄディスプレイキャリブレーションシステムにおいて、前記２Ｄ投影画像の投影は、水平方向焦点および垂直方向焦点の位置が異なることを特徴とする、３Ｄディスプレイキャリブレーションシステム。
【請求項８】
請求項７に記載の３Ｄディスプレイキャリブレーションシステムにおいて、前記水平方向焦点は、前記２Ｄ画像プロジェクタにおける鉛直線であり、前記垂直方向焦点は、ビューア位置における水平線であることを特徴とする、３Ｄディスプレイキャリブレーションシステム。
【請求項１０】
３Ｄ表示システムのディスプレイスクリーン上に複数のプロジェクタによって投影されたキャリブレーションパターンの複数の２Ｄ画像を撮影するステップと、
前記複数の２Ｄ画像の画像パラメータを計測するステップと、
前記計測された画像パラメータに基づいて補正パラメータを生成するステップであって、補正パラメータは、前記３Ｄ表示システムの前記プロジェクタによって投影された２Ｄ画像のキャリブレーションを行うステップと、
前記補正パラメータを保存するステップと、
を含むことを特徴とする方法。
【請求項１１】
３Ｄ表示システムのキャリブレーションを行う方法において、
複数の２Ｄパターン画像を生成するステップと、
前記３Ｄ表示システムのスクリーン上に前記複数の２Ｄパターン画像を投影するステップと、
デジタルカメラを用いて複数の２Ｄキャリブレーション画像を取得するステップと、
前記複数の２Ｄキャリブレーション画像からキャリブレーションパラメータを計算するステップと、
前記キャリブレーションパラメータを保存するステップと、
を含むことを特徴とする方法。
【請求項１２】
請求項１１に記載の３Ｄ表示システムのキャリブレーションを行う方法において、
３Ｄ画像レンダリング中に、前記アライメントおよびキャリブレーションパラメータをロードするステップと、
３Ｄ画像データから２Ｄ投影画像セットをレンダリングするステップであって、前記２Ｄ投影画像は、前記キャリブレーションパラメータによって補正されるステップと、
前記３Ｄ表示システムの前記スクリーン上に前記２Ｄ投影画像を投影し、それによって、連続的なビューイング、正確な水平視差、および各目が異なるビューを持つ、実質的に視覚的に正確な３Ｄ画像を生成するステップと、
をさらに含むことを特徴とする、３Ｄ表示システムのキャリブレーションを行う方法。
【請求項１３】
請求項１２に記載の３Ｄディスプレイキャリブレーションシステムにおいて、前記２Ｄ投影画像は、前記キャリブレーションパラメータから得られたジオメトリ補正を利用することを特徴とする、３Ｄディスプレイキャリブレーションシステム。
【請求項１４】
請求項１２に記載の３Ｄディスプレイキャリブレーションシステムにおいて、前記２Ｄ投影画像は、前記キャリブレーションパラメータから得られた色および強度補正を利用することを特徴とする、３Ｄディスプレイキャリブレーションシステム。
【請求項１５】
請求項１２に記載の３Ｄディスプレイキャリブレーションシステムにおいて、前記２Ｄ投影画像は、異なる水平方向および垂直方向焦点から得られた投影計算を利用することを特徴とする、３Ｄディスプレイキャリブレーションシステム。
【発明の詳細な説明】
【背景技術】
【０００１】
本発明は、概して、３次元（３Ｄ）ディスプレイの分野に関する。より詳細には、本発明は、メガネを使用する、またはビューアの位置をトラッキングすることなく、複数のビューアに適し、ビューアらの各目が、僅かに異なるシーン（立体視）を見、各目が眺めるシーンは、目が位置を変えると変化する（視差）、角スライス実像３Ｄディスプレイのためのアライメント、キャリブレーション、およびレンダリングのシステムおよび方法に関する。
【０００２】
３次元ディスプレイ
ここ１００年の間に、３次元（３Ｄ）ディスプレイの開発にかなりの取り組みが行われてきた。これまで、これらの取り組みのいずれも真に満足のいくものではなかった。ＤＭＤ（ｄｉｇｉｔａｌ−ｍｉｒｒｏｒ−ｄｅｖｉｃｅ，Ｔｅｘａｓ  Ｉｎｓｔｒｕｍｅｎｔｓ）の球体内部の回転ディスクへの照明投影（Ａｃｔｕａｌｉｔｙ  Ｓｙｓｔｅｍｓ）、３Ｄボリュームを映し出すために、交互に透明にされる、または散乱させる複数のＬＣＤ散乱パネルから成る別の立体ディスプレイ（ＬｉｇｈｔＳｐａｃｅ／Ｖｉｚｔａ３Ｄ）、ユーザがゴーグルをかけることを必要とするステレオスコピックシステム（「Ｃｒｙｓｔａｌ  Ｅｙｅｓ」等）、２面ステレオスコピックシステム（実際には、視差バリアを用いたデュアル２Ｄディスプレイ、例えばＳｈａｒｐ  Ａｃｔｉｕｓ  ＲＤ３Ｄ）、およびレンチキュラーステレオスコピックアレイ（異なる方向を指す多数の極小レンズ、例えばＰｈｉｌｌｉｐｓ  ｎｉｎｅ−ａｎｇｌｅ  ｄｉｓｐｌａｙ、ＳＩＤ、Ｓｐｒｉｎｇ  ２００５）を含む、既存の３Ｄディスプレイ技術が存在する。これらのシステムのほとんどは、ユーザの目に実像３Ｄの眺めを生み出すことにあまり成功しておらず、そうでなければ、読者がおそらく自分のオフィスでそれを見かけないであろう事実からも明らかなように、使いづらい。Ｓｈａｒｐのノートパソコンは、２つのビュー（左目および右目、各目に単一の角度）のみを提供し、ＬｉｇｈｔＳｐａｃｅのディスプレイは、非常に良い画像を生み出すように見えるが、ボリュームが限られており（全てがモニタ内に位置する）、投影ディスプレイとして使用するには、非常に扱いにくい。
【０００３】
これらの技術の域を越えて、イギリスと日本で、実像ホログラフィックディスプレイを作り出す取り組みがある。ホログラフィは、１９４０年代後半にＧａｂｏｒによって発明され、レーザおよびオフアクシスホログラフィの発明と共に広く使われ始めた。イギリスの研究が、最も進んでおり、約７ｃｍの範囲と、８度の視野（ＦＯＶ）とを持つ表示を実際に作り出した。このことは素晴らしいが、これは、この７ｃｍの領域をモノクロで作り出すために１億ピクセル（１００Ｍピクセル）を必要とし、物理法則により、作動視距離から人間の目が解像できるよりもはるかに多いデータを表示する。６０度のＦＯＶを持つ５０ｃｍ（２０インチ）のカラーホログラフィック表示を生み出すためには、５００ナノメートル（ｎｍ）ピクセル（物理的にとは言わないまでも、少なくとも光学的縮小後）およびテラピクセル（１兆ピクセル）を超えるディスプレイを必要とする。これらの数字は、近い将来では、完全に実現不可能であり、たとえ水平視差型（ｈｏｒｉｚｏｎｔａｌ  ｐａｒａｌｌａｘ  ｏｎｌｙ）（ＨＰＯまたは水平面のみの３次元）を目指したとしても、要件を３Ｇピクセル（３０億ピクセル）に下げるだけである。各フレームに３Ｇピクセルであってもなお、非常に実現不可能な数字であり、通常の作動距離において、このディスプレイサイズで人間の目が必要とするよりも１桁分多いデータを提供する。一般的な高解像度ディスプレイは、２５０ミクロンピクセルを有し、５００ｎｍピクセルを有するホログラフィックディスプレイは、これよりも、５００倍も高密度で、明らかに、通常の視距離で人間の目が必要とする、または利用できるよりもはるかに多いデータがホログラフィック表示に含まれる。実像ホログラフィック表示におけるこの途方もないデータ密度のほとんどは、無駄になるだけである。
【０００４】
立体３Ｄディスプレイは、Ｂａｌｏｇｈによって提案され、Ｈｏｌｏｇｒａｆｉｋａによって開発された。このシステムは、ビューイングスクリーン上に画像を作成するのではなく、ビューイングスクリーンから光ビームを投影し、空間中のピクセルポイントにおいてビームが交差する（実際に−ビームは、スクリーンとビューアとの間で交差する、または仮想的に−ビューアから見た場合に、ビームは、スクリーンの後ろで交差しているように見える）ことによって、画像を形成する。このタイプのデバイスの解像度は、スクリーンを離れるビームの開きによって大きく制限を受け、必要とされる解像度（ピクセルサイズおよびピクセル総数）は、大きなビューイングボリュームに対して非常に高くなり始める。
【０００５】
Ｅｉｃｈｅｎｌａｕｂは、高速ライトバルブおよびビームステアリング装置を用いて、複数のオートステレオスコピック（メガネなしの３Ｄ）ビューイングゾーン（一般的に８つが言及される）を生成する方法を教示する。このシステムは、実像３Ｄディスプレイに望ましい連続的に変化するビューイングゾーンを持たず、非常に複雑な大量のオプティクスを有する。これは、連続可変のオートステレオスコピックビューイングが達成されるように複数の水平線（小さな鉛直角によって分離される）にレンズを配置する方法も教示していない。これは、単一のライトバルブから全ての画像を生成する（従って、非常に複雑な光学系を必要とする）という欠点も持ち、これは、連続可変のビューイングゾーンに必要とされるバンド幅を達成することができない。
【０００６】
中村らは、プロジェクションオプティクス、小アパーチャ、および巨大なフレネルレンズを持つマイクロＬＣＤディスプレイのアレイを提案している。アパーチャは、画像の方向を分離し、巨大なフレネルレンズは、鉛直拡散スクリーン上に画像の焦点を合わせる。このシステムは、１）光の活用が非常に悪いこと（光の大部分は、アパーチャにより無駄に費やされる）、２）非常に高価なオプティクスとその数の多さ、あるいは非常に悪い画質、３）マイクロＬＣＤディスプレイの２Ｄアレイを提供するための非常に高価な電子機器を含む多数の問題点を有する。
【０００７】
３Ｄアライメント、キャリブレーション、およびレンダリング
カメラに基づくフィードバックを用いた複数のプロジェクタシステムを使用した２Ｄ画像ディスプレイ用のアライメントおよびキャリブレーションシステムに関する重要な研究が入手可能である。２００７年に、ＭａｊｕｍｂｅｒおよびＢｒｏｗｎが、これらの技術の再考察を行った。これらの技術は、超解像および大型のタイルディスプレイ等の２Ｄディスプレイに対して素晴らしい結果をもたらしたが、この研究は、３Ｄ角スライスディスプレイに対する必要性に対処していない。
【０００８】
角スライス３Ｄディスプレイのレンダリングの課題は、ディスプレイの各プロジェクタが異なる視点レンダリングを必要とするので、大きなものである。多重スクリーンレンダリングの現行システムは、この必要性に対処していない。３Ｄ技術は、３Ｄ角スライスディスプレイの必要性に対処していない。
【発明の概要】
【０００９】
従って、ビューアの各目が異なるシーンを見るだけでなく、ビューアが自身の頭を動かす、またはディスプレイスクリーンに対してある角位置から別の角位置へと自身の場所を変えるにつれてシーンが連続的に変化する実像３Ｄディスプレイのアライメント、キャリブレーション、およびレンダリングを行う方法に対する明白な必要性が存在する。ある実施形態では、複数の「角スライス」（ある特定の角視点からカメラが眺めるシーン）がビューイングスクリーン上に投影され、これは、特定の垂直および水平角スライスへとシーンを投影する投影レンズによって照らされた角度を拡散し、この拡散は、非対称となり得る。カメラをフィードバックセンサとして使用することにより、サブピクセルジオメトリ補正を用いて、角スライスの投影ピクセルのアライメントを行い、強度および色変化の不均衡をならすために、スライス全体にわたって強度および色のキャリブレーションを行う。従って、ディスプレイスクリーンを観察しているビューアは、複数のスライスの滑らかに融合した画像（各目および各視点に対して異なる画像）を見る。この滑らかに融合した画像は、実像３Ｄディスプレイの１つのプロジェクタが１つのスライスに寄与する角スライスの集合体である。レンダリング方法は、アライメントおよびキャリブレーションを用いて、各プロジェクタを駆動させる２Ｄ角スライス画像を生成する。レンダリングは、水平方向焦点がプロジェクタに位置し、垂直方向焦点がビューアに位置する画像投影を用いて、２Ｄ角スライス画像を生成する。あるいは、水平方向および垂直方向焦点がビューアに位置する投影を用いてもよい。この投影は、実像３Ｄディスプレイの焦点面から離れるオブジェクタのアスペクト比に多少の歪みをもたらす。しかしながら、この投影は、実世界カメラ（シングルフレームまたはビデオ）からの画像を使用することにより、レンダリングステップを行うことなくプロジェクタを直接駆動させることを可能にする。最後に、制御インタフェースにより、ビューアが連続的に融合した角スライス３Ｄの視差量および焦点面を制御することが可能となる。
【００１０】
ある実施形態は、３Ｄディスプレイキャリブレーションシステムを含む。このシステムは、ディスプレイスクリーンと、２Ｄ投影画像をスクリーン上に投影する２Ｄ画像プロジェクタと、スクリーンのキャリブレーション画像を撮影するカメラとを含む。コンピュータは、キャリブレーションパターンを含む２Ｄ投影画像を生成し、撮影されたキャリブレーション画像を処理する。コンピュータは、キャリブレーション画像を用いて、キャリブレーション画像に基づいた補正を計算する。次に、コンピュータは、２Ｄ画像プロジェクタによってスクリーン上に投影される補正された２Ｄ投影画像を生成し、それによって、連続的なビューイング、正確な水平視差、および有効なビューイングゾーン内で各目が異なるビューを持つ、実質的に視覚的に正確な３Ｄ画像を生成することができる。画像に対する補正には、ジオメトリ（歪み、アライメント等を含む）色（強度および関連のパラメータを含む）に対する補正が含まれ得る。このシステムは、スクリーンおよびプロジェクタの位置を計測する、および投影された画像の補正を生成する際にこの情報を使用するように構成されたｘ−ｙ計測ユニットも含み得る。スクリーンは、補正計算を容易するために、基準マーカーを含み得る。
【００１１】
別の実施形態は、３Ｄ表示システムのキャリブレーションを行う方法を含む。この方法は、２Ｄキャリブレーションパターンの生成と、システムのディスプレイスクリーン上へのこれらの画像の投影とで開始される。次に、デジタルカメラを用いて、ディスプレイスクリーン上のパターンの複数のキャリブレーション画像を撮影する。次に、撮影した画像の様々なパラメータを計測し、計測した画像パラメータに基づいて、補正パラメータを計算する。補正パラメータは、後の使用のために保存される。補正パラメータを用いて、３Ｄ表示システムのプロジェクタによって後に投影される２Ｄ画像のキャリブレーションを行う。３Ｄ表示システムは、保存された補正パラメータをロードし、それらを用いて、３Ｄ画像データから２Ｄ投影画像をレンダリングする。補正された２Ｄ投影画像を３Ｄ表示システムのスクリーン上に投影することにより、連続的なビューイング、正確な水平視差、および各目が異なるビューを持つ、実質的に視覚的に正確な３Ｄ画像が生成される。
【００１２】
多数の他の実施形態も可能である。
【００１３】
本発明の実施形態の利点および特徴、本発明で提供されるモデルシステムの構成要素および動作の明白な概念は、以下の本文および添付の図面に示される例示的であり、従って非限定的な実施形態を参照することにより、より容易に明白となるであろう。図面では、密接に関連する図面同士は、同じ数字を有するが、異なるアルファベットの接尾語を有する。
【図面の簡単な説明】
【００１４】
【図１Ａ】図１Ａは、ある実施形態による、アライメント、キャリブレーション、およびレンダリングを行うシステムの様々な面を示す。
【図１Ｂ】図１Ｂは、ある実施形態による、アライメント、キャリブレーション、およびレンダリングを行うシステムの様々な面を示す。
【図１Ｃ】図１Ｃは、ある実施形態による、アライメント、キャリブレーション、およびレンダリングを行うシステムの様々な面を示す。
【図１Ｄ】図１Ｄは、ある実施形態による、アライメント、キャリブレーション、およびレンダリングを行うシステムの様々な面を示す。
【図２】図２は、連続的に融合した角スライス３Ｄ投影へと３Ｄ映像のアライメント、キャリブレーション、およびレンダリングを行うためのフローチャートを示す。
【図３Ａ】図３Ａは、プロジェクタアレイのジオメトリの一例として、２つのプロジェクタに関するジオメトリ関係を示す。
【図３Ｂ】図３Ｂは、プロジェクタアレイの拡散の一例として、２つのプロジェクタに関する角スライス拡散の拡散強度のプロットを示す。
【図４】図４は、１０個のプロジェクタの異なる角間隔に関する視野角の関数としての強度変化のプロットを示す。
【図５Ａ】図５Ａは、ある実施形態による、アライメントおよびキャリブレーション方法のフローチャートを示す。
【図５Ｂ】図５Ｂは、ある実施形態による、アライメントおよびキャリブレーション方法のフローチャートを示す。
【図５Ｃ】図５Ｃは、ある実施形態による、アライメントおよびキャリブレーション方法の略図を示す。
【図６Ａ】図６Ａは、ある実施形態による、ピクセルアライメント方法のフローチャートを示す。
【図６Ｂ】図６Ｂは、ある実施形態による、ピクセルアライメント方法のフローチャートを示す。
【図６Ｃ】図６Ｃは、ある実施形態による、ピクセルアライメント方法のフローチャートを示す。
【図６Ｄ】図６Ｄは、ある実施形態による、ピクセルアライメント方法のフローチャートを示す。
【図６Ｅ】図６Ｅは、ある実施形態による、ピクセルアライメント方法のフローチャートを示す。
【図７】図７は、アライメントメッシュを示す。
【図８】図８は、拡散スクリーンを通った角スライスの強度および色変化を計測するためのフローチャートを示す。
【図９Ａ】図９Ａは、ある実施形態による、強度および色のキャリブレーションを行う方法を説明するフローチャートを示す。
【図９Ｂ】図９Ｂは、ある実施形態による、強度および色のキャリブレーションを行う方法を説明するプロットを示す。
【図９Ｃ】図９Ｃは、ある実施形態による、強度および色のキャリブレーションを行う方法を説明するプロットを示す。
【図１０】図１０は、２Ｄ角スライス画像のレンダリングおよび投影のフローチャートを示す。
【図１１Ａ】図１１Ａは、３Ｄ映像から２Ｄ角スライス画像をレンダリングするためのステップを説明するフローチャートを示す。
【図１１Ｂ】図１１Ｂは、３Ｄ映像から２Ｄ角スライス画像をレンダリングするためのステップを説明する略図を示す。
【図１１Ｃ】図１１Ｃは、３Ｄ映像から２Ｄ角スライス画像をレンダリングするためのステップを説明する略図を示す。
【図１１Ｄ】図１１Ｄは、３Ｄ映像から２Ｄ角スライス画像をレンダリングするためのステップを説明する略図を示す。
【図１１Ｅ】図１１Ｅは、３Ｄ映像から２Ｄ角スライス画像をレンダリングするためのステップを説明する略図を示す。
【図１１Ｆ】図１１Ｆは、３Ｄ映像から２Ｄ角スライス画像をレンダリングするためのステップを説明する略図を示す。
【図１２】図１２は、拡散スクリーン上に投影するために、２Ｄ角スライス画像に対してキャリブレーション補正を適用するためのフローチャートを示す。
【図１３】図１３は、ある実施形態による制御インタフェースの一例を示す。
【図１４Ａ】図１４Ａは、実世界３Ｄディスプレイの画像撮影を示す。
【図１４Ｂ】図１４Ｂは、実世界３Ｄディスプレイのビデオ撮影を示す。
【図１４Ｃ】図１４Ｃは、実世界３Ｄディスプレイのビデオ撮影を示す。
【００１５】
本発明は、様々な変更および代替形態の対象となるが、その特定の実施形態を、例として図面およびそれに付随する発明を実施するための形態に示す。しかしながら、図面および発明を実施するための形態は、記載される特定の実施形態に本発明を限定することを意図していないことを理解されたい。それどころか、本開示は、添付の特許請求の範囲に既定されるような本発明の範囲に入る全ての変更形態、均等物、および代替形態を含むことを意図する。
【発明を実施するための形態】
【００１６】
本発明の１つ以上の実施形態を以下に記載する。以下に記載のこれらおよびその他の実施形態は、例示的なものであり、限定ではなく、本発明の実例となることを目的としたものであることに留意されたい。
【００１７】
本明細書に記載のように、本発明の様々な実施形態は、３Ｄディスプレイのキャリブレーションを行うためのシステムおよび方法を含む。これらのシステムおよび方法では、キャリブレーションパターンが生成され、複数のプロジェクタによって３Ｄディスプレイのスクリーン上に投影される。デジタルカメラは、スクリーン上のキャリブレーションパターンの画像を撮影し、これらの画像を用いて、プロジェクタの補正値を計算する。補正値は、後に、３Ｄデータセットから２Ｄ画像のレンダリングを行う際に使用される。レンダリングされた画像が、プロジェクタによってスクリーン上に投影されることにより、連続的なビューイング、正確な水平視差、および有効なビューイングゾーン内で各目が異なるビューを持つ、実質的に視覚的に正確な３Ｄ画像が生成される。
【００１８】
アライメント、キャリブレーション、およびレンダリングシステムのある実施形態を図１Ａに示す。このシステムは、ディスプレイスタンド１２０、プロジェクタアレイ１６０、コンピュータ１８０、ｘ−ｙ計測ユニット１１０、背面対向デジタルカメラ１３０、および前面対向デジタルカメラ１４０を備えた角スライス３Ｄディスプレイ１００である。図２では、システムフローチャート２００は、３Ｄ映像入力を取り込み（２２０）、出力として連続的に融合した角スライス３Ｄ投影を生成する（２８０）一連のステップを示す。これらのステップには、アライメントおよびキャリブレーションステップ２１０と、レンダリングおよび投影ステップ２４０と、３Ｄ可視化制御ステップ２３０と、最後に、角スライス拡散ステップ２６０とが含まれる。ある実施形態では、入力２２０は、標準的なＯｐｅｎＧＬ−ｂａｓｅｄ  ｇｒａｐｈｉｃｓ  ｉｎｔｅｒｆａｃｅ２１を用いて３Ｄシーンを描く図１Ａのコンピュータ１８０で起動されるアプリケーションである。ＯｐｅｎＧＬコールが入力として機能する。しかしながら、他の入力としては、Ｄｉｒｅｃｔ３Ｄとして知られるＭｉｃｒｏｓｏｆｔ独自のグラフィックスインタフェースを用いたアプリケーション、実世界のシーンの異なる視点を表す一連のデジタルビデオ（または静止）画像、ＭｉｃｒｏｓｏｆｔのＫｉｎｅｃｔカメラを用いて可能となるようなデジタル画像とデプスマップの組み合わせ、または３Ｄ映像を適切に表現する他の入力等が可能である。図２の出力および投影ステップ２８０は、１人または複数のビューアが、立体的な奥行き知覚を持って３Ｄ映像を見ること、およびビューアが特殊なメガネを必要とすることなく視差を見ることを可能にする。
【００１９】
図１Ａのコンピュータ１８０は、プロジェクタアレイ１６０と、カメラ１３０および１４０とを駆動させるのに十分な計算およびグラフィックス資源を持つ。カメラ１３０および１４０は、例えば、Ｃａｎｏｎ  Ｒｅｂｅｌ  ＸＳｉ  １２．２  ＭＰｉｘｅｌ  Ｄｉｇｉｔａｌ  ＳＬＲカメラ、または他の適切なデジタル的にアクセス可能なカメラでもよい。ある実施形態では、コンピュータ１８０は、デュアルヘキサコアＣＰＵマザーボード（１つのＣＰＵにつき２つのハードウェアスレッドを持つ６つのコア、合計２４のハードウェアスレッド）を有する。他のマルチＣＰＵ構成も可能である。この同じ実施形態では、ＰＣＩ−Ｅｘｐｒｅｓｓ超高速グラフィックスバスに設置された３つの高性能グラフィックスカードが用いられる。これらのカードはそれぞれ、例えば、６つのｍｉｎｉ−Ｄｉｓｐｌａｙｐｏｒｔ（ｍｉｎｉ−ＤＰ）出力を持ち、合計１８のｍｉｎｉ−ＤＰ出力を持つ。２方向ビデオスプリッタを１７のｍｉｎｉ−ＤＰ出力に接続し、残りのｍｉｎｉ−ＤＰを標準２Ｄモニタに接続する。グラフィックスカードおよびスプリッタにより、コンピュータが、１つのプロジェクタにつき８００×６００のピクセル解像度で３４の高性能プロジェクタを駆動させることが可能となる。しかしながら、他のコンピュータ、グラフィックスカード、スプリッタ、およびプロジェクタのアレンジが可能である。一例は、追加の６ポートグラフィックスカードを使用し、２方向ビデオスプリッタを３方向ビデオスプリッタに置き換えることである。この組み合わせは、単一のコンピュータから最大６９のプロジェクタを駆動する。
【００２０】
図１Ａに戻り、プロジェクタアレイ１６０は、図１Ｃに正面図が示されている。図１Ｃのプロジェクタ１６４、１６５、および１６６は、サブセットが十分である場合に、特徴または概念を説明するためにアレイ中の各プロジェクタを参照するというよりはむしろ、以下の考察や説明を支援するために任意に選択されたアレイ１６０のサブセットである。
【００２１】
再度図１Ａでは、スタンド１２０が、ベース１２２、スクリーンブラケット１２４、およびプロジェクタアレイマウント１２６を有する。ある実施形態では、ディスプレイ１２０の構成材料は、構造的な支持を与え、大気温度サイクルを通してジオメトリアライメントを維持するためのアルミニウム、木材、およびポリカーボネートである。しかしながら、スタンドは、十分な支持を提供し、アライメントを維持できる他の材料から成っていてもよい。スクリーンブラケット１２４は、図１Ａに示すような拡散スクリーン１２８または図１Ｂに示すような不透明なアライメントパターンスクリーン１２９を保持することができる。
【００２２】
水平視差型（ＨＰＯ）３Ｄ映像の場合、図１Ａに示す拡散スクリーン１２８は、広範囲（例えば６０度以上）にわたっては垂直方向であるが、非常に小さな角度（例えば１度程度）にわたってのみ水平方向に光を拡散する。このタイプの非対称拡散スクリーンの一例は、Ｌｕｍｉｎｉｔ  ＬＬＣ（１８５０  Ｗｅｓｔ  ２０５ｔｈ  Ｓｔｒｅｅｔ，  Ｔｏｒｒａｎｃｅ，  ＣＡ  ９０５０１，  ＵＳＡ）のホログラフ的に作られたＬｉｇｈｔ  Ｓｈａｐｉｎｇ  Ｄｉｆｆｕｓｅｒである。同様の水平および垂直特性を持つ他のタイプの拡散スクリーン（例えばマイクロレンズアレイ）が使用可能である。
【００２３】
図１Ｄは、アライメントパターンスクリーン１２９を示す。ある実施形態では、このパターンは、公知の間隔のチェスボードボックス２２を持つ、印刷されたチェスボード１９、２７である。ボックス２２は、白色の背景２６上の赤色であり、内側角点２４を形成する。パターンスクリーン１２９のデジタル画像と、エッジ抽出やラインフィッティング等の処理技術とにより、サブピクセル精度で、点２４の分離が可能となる。赤と白のパターンにより、標準色デジタルカメラの青チャネルのみで、アライメントパターンを完全にとらえることが可能となる。しかしながら、周知のデジタル画像処理技術をパターンのデジタル画像に適用することにより、ピクセルまたはサブピクセル精度で規定の特徴点を分離することができる他のパターンおよびカラーマッピングが可能である。
【００２４】
図１Ａに戻って、拡散スクリーン１２８がスクリーンブラケット１２４内にある場合、背面対向カメラ１３０は、カメラの視野（ＦＯＶ）が拡散スクリーンを含むように、１つまたは複数の位置に配置される。スクリーンブラケット１２４の反対側には、前面対向カラーデジタルカメラ１４０がある。アライメントパターンスクリーン１２９がスクリーンブラケット１２４内にある場合、前面対向カメラ１４０は、カメラのＦＯＶがアライメントパターンを含むように、１つまたは複数の位置に配置される。ある実施形態では、これらのカメラは、コンピュータ１８０に接続され、カメラを用いて撮影されたデジタル画像をコンピュータのメモリに転送する。しかしながら、無線通信またはストレージカード等の他の画像転送方法も可能である。
【００２５】
さらに図１Ａにおいて、ディスプレイスタンド１２０の後端には、１つまたは複数のデジタルプロジェクタ１６０のアレイを保持するプロジェクタアレイマウント１２６がある。プロジェクタ１６０は、各プロジェクタからの投影画像がスクリーン１２８または１２９を埋めるように、アレイマウント１２６の棚に載置される。プロジェクタは、プロジェクタが追加されるにつれ投影画像がスクリーンからさらに離れて前進するように、部分的に前進したアレイ（部分的にのみ回転される）で並べられてもよい。従って、各プロジェクタは、適切に回転され、傾けられる。コンピュータ１８０の処理により、アライメントおよびキャリブレーションステップ２１０は、カメラ１３０および１４０を用いて、拡散スクリーン１２８においてサブピクセル精度でプロジェクタ１６０の投影画像のアライメントを行う。
【００２６】
図１Ｃに示すように、プロジェクタ１６０は、水平間隔１６２を有して配置される。間隔１６２は、図３Ａおよび図３Ｂに示すように、拡散スクリーン１２８によって規定される。図３Ａは、角スライスジオメトリ３０の上面図である。プロジェクタ１６４および別のプロジェクタ１６６は、プロジェクタアレイ１６０中の隣接するペアである。プロジェクタ１６４および１６６は、アレイ１６０中で水平方向に互いに最も近接しているが、必ずしも垂直方向には近接していない。つまり、プロジェクタ１６４および１６６は、必ずしもアレイマウント１２６上で同じ棚を共有していない。プロジェクタ１６４は、ビューイング位置３２に向けて光の主光線３４を投影する。同様に、プロジェクタ１６６は、同じビューイング位置３２に向けて光の主光線３６を投影する。拡散スクリーン１２８は、プロジェクタとビュー位置との間に存在する。光線３４および３６は、スクリーン１２８を通って拡散する。
【００２７】
図３Ｂは、各主光線を中心とした各プロジェクタからの光線の連続集合体の強度を描画する。このプロットの縦軸は、水平視野角の関数として、図３Ａの位置３２におけるビューアによって観察される際の強度を示す。図３Ｂのガウス曲線４４は、図３Ａの主光線３４を中心とした光線の連続集合体の拡散を近似する。同様に、図３Ｂのガウス曲線４６は、図３Ａの主光線３６を中心とした光線の連続集合体の拡散を近似する。図３Ｂにおける総ガウス曲線４０は、図３Ａに示すようにプロジェクタ１６４および１６６が共に一定かつ等しい光量でスクリーン１２８を照らしている場合の曲線４４および４６の重ね合わせである。
【００２８】
プロジェクタ角度間隔１６２は、水平方向に隣接するプロジェクタ同士が、図１Ａの拡散スクリーン１２８全体にわたって知覚可能な強度変化を導入しない程度に近接するように選択されるべきである。この変化は、曲線４０の中央のくぼみによって生じる。図３Ａに示すプロジェクタ間隔１６２が増加するにつれ、図３Ｂに示す曲線４４および４６は、水平方向にさらに離れていき、その結果、曲線４０におけるくぼみがより下がり、知覚可能な強度変化がより大きくなる。図３Ａに示す１６２で示す間隔が小さくなるにつれ、曲線４０におけるくぼみは、知覚されにくくなる。図４は、図３Ａに示すプロジェクタ間隔１６２における変化の影響を示す。１０個の等間隔に配置されたプロジェクタは、図１Ａに示す拡散スクリーン１２８を通った結果生じた強度に関する総ガウス曲線５１（図４に示す）を生じさせる。これらの１０個のプロジェクタの間隔が半分に減少すると、強度は、図４に示す総ガウス曲線５２となる。曲線５２は、曲線５１と比較して、知覚可能な強度変化が少ない。トレードオフは、間隔を小さくし過ぎると、３Ｄディスプレイ１２０の全体的なＦＯＶが減少することである。
【００２９】
プロジェクタ１６０の図３Ａにおける間隔１６２は、図１ａに示すｘ−ｙ計測ユニット１１０を用いたアライメントを必要とする。ユニット１１０は、ｘスケールトラベル１１４とｙスケールトラベル１１２とから成る。ｙ調整ユニット１１６により、ｙトラベル１１２に沿った任意の位置にターゲティングレーザ１１８を位置付けることが可能となり、レーザ１１８は、ｘトラベル１１４上を移動する。レーザ１１８のビュー内のディスプレイ１００上のいずれの点の位置も、トラベル１１４および１１２からスケールを読み取ることによって計測できる。このユニットは、図２のアライメントおよびキャリブレーションステップ２１０によって用いられ、図１Ｂに示すアライメントパターンスクリーン１２９に対する図３Ａのプロジェクタ間隔１６２を計測する。
【００３０】
図１Ｃは、プロジェクタ配置における垂直差１６８も示す。ＨＰＯの場合、垂直差１６８は、水平間隔１６２を持つプロジェクタの配置が、図３Ａに示す角スライスジオメトリ３０を達成することを可能にするためのものである。より小さな物理的寸法を持つプロジェクタにより、図１Ｃに示す総体的な垂直差１６８をより小さくしながら、図１Ａに示すアレイマウント１２６の棚の数を少なくすることが可能となる。一方、より大きなプロジェクタは、マウント１２６上でより多くの棚を必要とし、その結果、垂直差１６８がより大きくなる。図１Ａに示す拡散スクリーン１２８は、有限の垂直拡散角（６０度以上）を持つので、垂直差１６８が大きくなるほど、小さな（しかし知覚可能な）垂直強度変化が角スライスに導入される。
【００３１】
動作−実施形態１
図２のフローチャート２００は、図１Ｃのディスプレイ１００を用いた３Ｄ映像のアライメント、キャリブレーション、およびレンダリングのステップを示す。この動作の第１のステップは、アライメントおよびキャリブレーションステップ２１０である。ステップ２１０のより詳細なフローチャートを図５Ａに示す。初期ステップ５００は、図１Ａに示すディスプレイ１００の３Ｄ角ジオメトリを推定することである。次に、図１Ａのコンピュータ１８０において、プロジェクタ１６０の各々で繰り返されるループ２１２を設定する。ループ２１２は、最初に、ピクセルアライメントを計測するステップ６００を行う。このステップは、図１Ａのカメラ１４０と、図１Ｂのパターンスクリーン１２９とを用いて、図３Ａの角スライスジオメトリ３０を満たすように、サブピクセル精度で、図１Ａのプロジェクタ１６０の投影画像のアライメントを行う。次に、ステップ７００のループ２１２は、図１Ａのカメラ１４０を用いて、角スライスの強度および色を計測する。このステップは、プロジェクタ１６０全体での不整合およびプロジェクタ位置の垂直方向の角差１６８により生じる強度および色の変化を計測する。チェック２１６は、ループが完了したか否かを決定する。強度変化のキャリブレーションがプロジェクタ１６０全体にわたる解を必要とするので、強度および色のキャリブレーションステップ８００は、ステップ７００の計測を用いて、ループ２１２の外で行われる。
【００３２】
３Ｄジオメトリアライメント
図５Ｂは、３Ｄ角スライスジオメトリを推定するステップ５００に関するより詳細なフローチャートを示す。このフローチャートは、ｘ−ｙ計測ユニット１１０を用いたディスプレイ１００の物理的ジオメトリのアライメントおよび計測を行うステップを示す。このフローチャートの場合、アライメントスクリーン１２９は、スクリーンブラケット１２４内にあるものとする。初期ステップ５１０は、ワールド座標フレームを定義することである。最も直接的な定義は、ｘ−ｙ計測ユニット１１０のスケールの使用である。次に、アライメントステップ５２０は、マウント１２６の棚上のプロジェクタ１６０を、それらの水平間隔１６２が設計角スライスジオメトリ３０に適合するように個々に移動させることに関する。このアライメントは、ｘ−ｙ調整ユニット１１６を用いて、ｘスケール１１４から読み取った所望の間隔１６２にターゲティングレーザ１１８を移動させることによって行われる。レーザ１１８のポインティング方向は、その方向がｘスケールトラベル１１４およびｙスケールトラベル１１２の両方に対して垂直となるようにキャリブレーションが行われるべきである。ある実施形態では、レーザ１１８は、ｘスケール１１４を用いたアライメントの場合は鉛直線を投影し、ｙスケール１１２を用いたアライメントの場合は水平線を投影する設定を持つ。このユニット１１０を用いることにより、所望の水平間隔１６２を有するように、プロジェクタ１６０の各々を移動させることができる。プロジェクタ１６０を移動させる際にはまた、それらの投影画像が、全体としてアライメントスクリーン１２９を完全に照らすように、あるいは特定の設計によって必要とされ得る場合には前進するように、それらを適切に回転させ、傾ける。今度は、別のステップ５３０が、ｘ−ｙ計測ユニット１１０を用いて、ワールド座標フレームに対して、スクリーンブラケット１２４に取り付けられたアライメントスクリーン１２９の位置および配向のアライメントおよび計測を行う。
【００３３】
第４のステップ５４０は、図５Ｃに示すようなシャドーボックス５８の位置決めに関する。シャドーボックス５８は、アライメントスクリーン１２９上の長方形である。この長方形の水平および垂直端部は、ｘ−ｙ計測ユニット１１０を用いて、ワールド座標フレームのｘおよびｙ軸とそろえられるものと定義される。さらに、シャドーボックス５８は、プロジェクタが前進した状態で、最後の前進したプロジェクタ画像の端部が境界端部として使用される場合を除き、全てのプロジェクタ１６０からの投影画像の境界端部内に収まる可能な限り最大の長方形である。プロジェクタ１６４、１６５、および１６６に関する１組の境界端部５４、５５、および５６を図５Ｃに示す。端部５４、５５、および５６は、プロジェクタが必ずしもアライメントスクリーン１２９に対して直角ではなく、多少のレンズの歪みも有し得ることから、長方形ではない。シャドーボックス５８は、ディスプレイの出力２８０が一貫した境界端部を持つように、プロジェクタ１６０からの各投影画像に対するクリッピング領域として機能する。シャドーボックスパラメータ５６０のセットは、レンダリングステップ２４０で使用するために、コンピュータ１８０のメモリ内に保存される。
【００３４】
図５Ｂにおける最終ステップ５５０は、レンダリングステップ２４０で使用するための３Ｄ角スライスジオメトリパラメータ５７０のセットの計算である。これらのパラメータ５７０は、水平プロジェクタ間隔１６２、垂直プロジェクタ間隔１６８、アライメントスクリーン１２９上のパターンの位置および配向、およびアライメントスクリーン１２９からのプロジェクタ１６０の距離を含むが、これらに限定されることはない。パラメータ５７０は、図２に示すレンダリングステップ２４０で使用するために、コンピュータ１８０のメモリ内に保存される。
【００３５】
ピクセルアライメント
図５Ｂのフローチャートのステップが完了すると、図５Ａのループ２１２がステップ６００を開始する。６００のより詳細なフローチャートは、２つのステップ６４０および６６０と共に、図６Ａに示す。ステップ６４０は、カメラ１４０を用いたプロジェクタアライメント写真の撮影であり、それに続くステップ６６０は、これらの写真からピクセルアライメントを計測する。
【００３６】
図６Ｂは、ステップ６４０に関するより詳細なフローチャートを示す。第１のステップ６４２は、プロジェクタ１６０各々のピクセル座標に対するコンピュータ１８０上のピクセル座標のマッピングを見つけることである。このマッピングは、コンピュータ１８０が各プロジェクタを順次照らしながら画像を撮影するために、拡散スクリーン１２８と共にカメラ１４０を用いて自動化される。その結果生じる角スライスの相対位置がマッピングを示す。
【００３７】
今度は、投影ステップ６４４によって、カメラ１４０およびアライメントスクリーン１２９を用いる。このステップは、コンピュータ１８０からループ２１２中の現在のプロジェクタへとグレースケールアライメントパターン６４１を送信する。パターン６４１は、アライメントスクリーン１２９上の印刷パターンと類似する。パターン６４１は、現在のプロジェクタの赤チャネルを通して投影されるが、緑および青チャネルは、対応する黒レベルに設定される。投影パターン６４１のオーバーレイ６４６は、アライメントスクリーン１２９の印刷パターン上に現れる。スクリーン１２９のパターンは赤と白である。ステップ６４８において、デジタル写真６４３がカメラ１４０によって撮影される際に、赤と白の印刷パターン１２９と、赤と白の投影光パターン６４１とは、主として、カメラ１４０の青チャネルと赤チャネルとにそれぞれ分けられる。デジタル写真６４３は、後の処理のためにコンピュータ１８０のメモリ内に保存される。
【００３８】
図６Ｃは、６００における次のステップ６６０のより詳細なフローチャートを示す。印刷パターンスクリーン１２９上のオーバーレイされた投影パターン６４１のデジタル写真６４３に対して、分割作業６６２を行う。分割作業６６２は、３つのカラーチャネルである赤、緑、および青（ＲＧＢ）へと６４３を分ける。ノーオペレーションステップ６６８は、緑チャネルを無視するが、ステップ６６４および６６６は、赤および青チャネルをそれぞれ処理する。このチャネル分割により、スクリーンパターンとプロジェクタパターンの同時獲得が可能となる。
【００３９】
図６Ｄは、青チャネル６６６に対する初期ステップ６７０のフローチャートを示す。ステップ６７０は、カメラピクセルから５１０で定義されたワールド座標へのマッピングを見つける。変換ステップ６７２は、青チャネル画像をグレースケール画像に変える。このグレースケール画像は、主として、アライメントスクリーン１２９の赤と白の印刷パターンに関するピクセル情報を含み、赤と白の投影光パターン６４１に関するピクセル情報は、ほとんど、または全く持たない。次に、抽出ステップ６７４は、１２９のチェスボードパターンの内側角部２４を分ける。これらの角部は、ステップ５３０で計測したキャリブレーションを行ったワールド座標を持つランドマーク点６７７である。次に、フィッティングステップ６７６は、ｘおよびｙワールド座標双方に対して三次多項式の１０個のパラメータ（合計２０個のパラメータ）の値を求める。改良ステップ６７８は、解をさらに改善し、パラメータ６７９は、ステップ６８０において使用するために、コンピュータ１８０のメモリ内に保存される。
【００４０】
図６Ｅは、赤チャネル６６４に関する初期ステップ６８０のフローチャートを示す。ステップ６７０からのパラメータ６７９を用いて、ステップ６８０では、プロジェクタピクセルから図７に示すアライメントメッシュ６０へのマッピングを見つける。レンダリングステップ２８０中でメッシュ６０を使用して、投影ピクセルのアライメントを行う。メッシュのノード６２は、結合した三角形端部の接合点である。変換ステップ６７２を適用して、赤チャネルをグレースケール画像へと変える。このグレースケール画像は、主として、ループ２１２の現在のプロジェクタからの赤と白の投影光パターン６４１のピクセル情報を含むが、赤と白の印刷アライメントスクリーン１２９からのピクセル情報は、ほとんど、あるいは全く持たない。次に、抽出ステップ６７４は、パターン６４１の計測された内側角部２４を分ける。ワールドアライメントパラメータ６７９に対してカメラを使用して、変換ステップは、カメラピクセル座標から５１０で定義されたワールド座標へと、計測した内側角部２４をマッピングする。補正ステップ６８４は、スクリーンを通した鉛直拡散を補償するために、計測した内側角部２４のｙ座標を調整する。この補正は、拡散スクリーン１２８の厚さを補償する。スケーリングステップ６８６は、内側角部２４のワールド座標をメッシュ６０の座標に変換する。内側角部２４のキャリブレーションを行ったメッシュ座標を用いてフィッティングステップ６７６を適用する。この結果は、メッシュ６０のｘおよびｙ次元双方に対する三次多項式の１０個のパラメータ（合計２０個のパラメータ）の解である。改良ステップ６７８は、解をさらに改善し、パラメータ６８９は、レンダリングステップ２４０において使用するために、コンピュータ１８０のメモリ内に保存される。ピクセルアライメントステップ６００は、これで完了する。
【００４１】
強度および色のキャリブレーション
図８は、角スライスの強度および色を計測する次のステップ７００のフローチャートを示す。強度および色のキャリブレーションステップ８００は、プロジェクタ１６０各々からの計測を必要とし、このステップ７００はループ２１２内で生じるが、ステップ８００は、計測の収集が行われた後にループ外で生じる。プロジェクタ間の相対的計測が必要であることから、このステップでは、強度および色センサとしてカメラ１３０を使用する。しかしながら、分光放射計または比色計等の他のセンサも可能である。垂直プロジェクタ差１６８が角スライスストライプ内の垂直強度変化につながるので、このステップのために、拡散スクリーン１２８は、スクリーンブラケット１２４内に取り付けられる。従って、強度および色のキャリブレーションは、拡散スクリーンを通る投影画像を用いて行われなければならない。初期ステップ７１０は、既知の強度および色変化を持つパターンを、そのパターンを所与としてプロジェクタ座標が決定できるように投影する。ループ７２０により、ディスプレイ１００の前にあるカメラ１３０の水平方向に間隔を空けた異なる位置が可能となる。ある実施形態では、左、右、および中央といった３つのカメラ位置が用いられる。しかしながら、他の位置も可能である。異なるカメラ位置は、ループ２１２の現在のプロジェクタからの異なる角スライスを見る。各カメラ位置に対して、撮影ステップ７３０は、スライスのデジタル写真を生成する。処理ステップ７４０は、写真中の角スライスから特徴点を抽出する。特徴点周囲の相対強度および色パターンが、プロジェクタ座標への特徴点のマッピングを決定する。変換ステップ７５０は、パラメータ６８９を用いて、メッシュ座標における特徴点のマッピングを行う。これらの座標は、これらに関連する強度および色の値７７０と共に、コンピュータ１８０のメモリ内に保存される。ループチェック７６０は、さらなるカメラ位置が存在するか否かを決定する。保存された強度および色の値を用いて、３Ｄ画像のレンダリングおよび表示に使用される、強度および色の多項式適合をプロジェクタごとに生成する。
【００４２】
図９Ａは、強度および色のキャリブレーションステップ８００の計測に関するフローチャートを示す。フィッティングステップ８２０は、メッシュ座標における特徴点７７０と、それらに関連する強度および色の値とを用いて、各ＲＧＢ要素のスケール係数の値を求める。改良ステップ８３０では、アライメントメッシュ６０のノードに対してスケール係数を補間し、プロジェクタ１６０の各ＲＧＢチャネルに対して、強度および色の補正マスク８４０を生成する。図９Ｂは、フィッティングステップ８２０の一例としてグラフを示す。このグラフは、水平視野角の関数としての強度である曲線９２を示す。この曲線９２は、スクリーン１２８を通って拡散した後の３０個の角スライスの水平強度プロファイルである。角スライスは、垂直プロジェクタ位置１６８が異なる３０個のプロジェクタに由来するものである。角スライス強度は、あるビュー位置に関する、図９Ｃに示すような、水平視野角に対するガウスプロファイルを有する。あるスライスの別のスライス９６に対する強度の不整合は、不均一な強度プロファイル９０につながる。不均一なプロファイル９０は、２個のスライスに関するものであるが、曲線９２は、３０個のスライスに関するものである。フィッティングステップ８２０および改良ステップ８４０により、より均一な強度プロファイル９８が生じる。図９Ａのフローチャートは、図５ａのアライメントおよびキャリブレーションステップ２１０の詳細を完成させる。
【００４３】
レンダリングおよび投影
アライメントおよびキャリブレーションが行われたディスプレイ１００を用いて、図１０は、３Ｄ映像２２０のレンダリングおよび投影ステップ２４０に関するフローチャートを示す。ある実施形態では、プロジェクタ１６０に処理されたループ２４２は、順次、プロジェクタごとにアライメントおよびキャリブレーションが行われた画像をレンダリングする。しかしながら、各プロジェクタがコンピュータ１８０上で並行して実行されている関連のレンダリングプロセスを持つ並列レンダリング等の他の処理も可能である。コンピュータ１８０がプロジェクタ１６０を駆動させるので、画像は、ソフトウェア層で、プロセス間通信コールとフレーム同期される。ループ２４２において、レンダリングステップ３００は、キャリブレーション補正を用いて、３Ｄ映像２２０を角スライス画像へと変換する。次に、投影ステップ２４４は、これらの画像を、拡散スクリーン１２８上に画像を投影するプロジェクタ１６０へと送信する。レンダリングステップは、必ずしもコンピュータ１８０のＣＰＵ上で実行されず、これらは、コンピュータに含まれるＧＰＵ上でも同様に実行可能であることに留意されたい。
【００４４】
図１１Ａは、レンダリングステップ３００のフローチャートを示す。ある実施形態では、レンダリングは、コンピュータ１８０上のＯｐｅｎＧＬコールを用いて達成される。ＯｐｅｎＧＬアプリケーションからの３Ｄ映像と共に、ＯｐｅｎＧＬラッパー（Ｃｈｒｏｍｉｕｍ３１ラッパーに類似する）を用いて、コールがコンピュータ１８０上のグラフィックスカードに送信される前に、アプリケーションＯｐｅｎＧＬコールを妨害する。しかしながら、ＭｉｃｒｏｓｏｆｔのＤｉｒｅｃｔ３Ｄのラッパーを使用する、またはグラフィックスライブラリラッパーを必要としないが、代わりに、Ａｎｇｕｌａｒ  Ｓｌｉｃｅ  ３Ｄ  Ｄｉｓｐｌａｙを直接サポートするグラフィックスコールを行うアプリケーションを構築することによる等の他のレンダリングアプローチが可能である。レンダリングステップ３００は、オリジナルのＯｐｅｎＧＬコールのフレームごとのツーパスレンダリングから成る。第１のパスは、３Ｄ映像から２Ｄ角スライス画像をレンダリングするステップ３１０および３２０に関与する。第２のパスは、ステップ７５０および３３０において、アライメントメッシュ６０上のテクスチャマップとしてこの画像を用いる。次に、最終ステップ３４０が、表示を目的として適切なプロジェクタに送信される画像へとテクスチャマップを備えたメッシュ６０をレンダリングする。
【００４５】
ステップ３１０は、３Ｄ角スライスジオメトリパラメータ５７０を用いて、アプリケーションＯｐｅｎＧＬコールに関連するビュージオメトリを修正する。オリジナルのＯｐｅｎＧＬアプリケーションからの単一の視点では不十分である。従って、ステップ３１０では、水平オフセット１６２およびループ２４２の現在のプロジェクタの後続の水平回転に適合するように、オリジナル視点を修正する。このようにして、プロジェクタ１６０の各々に対して角スライスジオメトリに適合した新しい視点が生成される。図１１Ｂは、３つのプロジェクタ１６４、１６５、および１６６に関する視点修正３１０を示す（拡散スクリーン１２８を見下ろす上面図を使用）。ビュー錐台７２は、ＯｐｅｎＧＬアプリケーションからのオリジナル視点７０を示す。錐台７２は、観察者がディスプレイ１００を眺める位置にある拡散スクリーンのプロジェクタ１６０とは反対側に現れる。プロジェクタ１６５の視点の場合、ステップ３１０における修正は、ＯｐｅｎＧＬの３Ｄジオメトリを再定義することにより、新しいビュー投影７５を生成する。同様にして、ビュー投影７４および７６は、プロジェクタ１６４および１６５の視点の修正をそれぞれ表す。ビュー投影７４、７５、および７６は、スクリーン１２８からの距離がプロジェクタ１６０と同じであり、同じ水平間隔１６２を有する。プロジェクタの垂直差１６８は無視され、ビュー投影７４、７５、および７６の視点は、同じ垂直位置を持つ。
【００４６】
第１のパスのレンダリングステップ３２０は、３Ｄ映像の２Ｄ角スライス画像を生成する。このステップ３２０は、ＯｐｅｎＧＬアプリケーションに見られる従来の錐台とは異なるビュー投影を用いる。従来のビュー錐台７２を図１１Ｃに示す。この錐台７２は、視点７０、近クリッピング面１５、および遠クリッピング面１７から成る。分かり易くするために、ＯｐｅｎＧＬアプリケーションでは拡散スクリーン１２８の位置は考慮されないが、この図はこのスクリーン位置も示す。錐台７２は、ピンホールカメラと同等の画像をレンダリングする。図１１Ｄは、プロジェクタ１６４の視点に関する２Ｄ角スライス画像のレンダリングを可能にするビュー投影７４を示す。他のプロジェクタ１６０も同様のビュー投影を有する。ビュー投影７４は、視点１４、近クリッピング面１６、および遠クリッピング面１８を有する。拡散スクリーン１２８は、スクリーン面に平行な投影面としても示されている。つまり、ビュー投影７４は、スクリーンと平行な２Ｄ角スライス画像をレンダリングする偏心レンズを備えたカメラのように機能する。ビュー投影７４は、水平方向および垂直方向焦点の位置が異なる。水平方向焦点は、プロジェクタ位置１６４における鉛直線であるが、垂直方向焦点は、ビューア位置１４における水平線である。
【００４７】
投影７４は、図１１Ｂに付随する上面図である図１１Ｅに示される空間エイリアシングを補償しない。３Ｄ点７７は、スクリーン１２８から深度方向に距離を持つ。図１１Ｂの３つの投影例７４、７５、および７６の場合、点７７は、スクリーン１２８上の異なる２Ｄ位置への投影を持つ。２Ｄスクリーン上でのこれらの投影の範囲７８が示されている。図１１Ｆでは、範囲７８は、点７７が空間範囲７９を有するかのように、ビュー投影７４と同じ投影を持つ。この空間範囲７９が空間エイリアシングである。ステップ３５０は、深度の関数としてピクセルブラーを適用して、水平方向における空間周波数の帯域制限を行う。スクリーン付近の３Ｄ映像内のオブジェクトは、スクリーン面にあるオブジェクトが完璧に焦点が合った状態となるようにほとんど空間エイリアシングを持たない。オブジェクトが深度方向にスクリーンから離れるにつれて、より多くの空間エイリアシングを示す。ステップ３５０における深度に基づいたブラー処理は、カメラレンズにおける被写界深度ピンボケに類似した結像結果につながるこの空間エイリアシングの不均衡をならす。
【００４８】
第２のレンダリングパスでは、ステップ７５０は、パラメータ６８９を用いて２Ｄ角スライス画像をメッシュ座標に変換する。変換された画像は、テクスチャマップとしてメッシュ６０に適用される。次に、キャリブレーションステップ３３０は、強度および色に関する補正を適用する。図１２は、このステップに関するフローチャートを示す。ステップ３３２は、パラメータ５６０に基づいて、シャドーボックスマスクを適用し、シャドーボックス５８外のプロジェクタピクセルを遮光する。最後に、ステップ３３４は、画像テクスチャの各カラー層に対して、強度および色の補正マスク８４０を適用する。アライメントメッシュ６０上のこのアライメントおよびキャリブレーションが行われたテクスチャ画像がここでレンダリングされる。この第２のパスのレンダリングにより、ステップ２４４のためにプロジェクタに送信される適切な画像が生成される。ループ２４２がプロジェクタ１６０の各々に対して画像をレンダリングすると、レンダリングステップ２４０は、３Ｄ映像２２０の次のフレームに移ることができる。
【００４９】
３Ｄ可視化の制御
レンダリングステップ２４０は、連続的に融合した角スライス３Ｄ投影２８０の制御を可能にする幾つかの自由パラメータを持つ。制御ステップ２３０により、ユーザがこれらのパラメータをリアルタイムで修正することが可能となる。ある実施形態では、ユーザは、制御装置とインタラクトする。図１３は、制御可能なパラメータの幾つかを示すグラフィカルユーザインタフェース（ＧＵＩ）のスクリーンショットである。しかしながら、ユーザのインタラクションを必要としない他の自動制御メカニズムが可能である。ステップ２３０の機能は、投影２８０において視差量を変化させることであり、これにより、今度は、ある深度における空間エイリアシング量が変化する。視差が増大するほど、空間エイリアシングが増大する。制御ステップ２３０により、視差とエイリアシングとのトレードオフが可能となる。制御ステップ２３０の別の機能は、焦点面の配置である。スクリーン１２８にレンダリングされた３Ｄ映像２２０内のオブジェクトは焦点が合っている。スクリーン上にないオブジェクトは、深度の関数として空間エイリアシングを有する。制御ステップ１２８により、焦点面が３Ｄ映像２２０内のどこにあるかを指定することが可能となる。３Ｄ映像のスケーリング、クリッピング面の移動、およびビューアスペクト比の変更等の、制御ステップ２３０における他のパラメータの修正が可能である。さらに、視野角も調整できる。
【００５０】
さらなる実施形態
拡散スクリーンを通したピクセルアライメント
さらなる一実施形態では、カメラ１３０の代わりに、キャリブレーションしたカメラを使用する。キャリブレーションカメラを用いた場合、アライメントスクリーン１２９および前面対向カメラ１４０は、ピクセルアライメントステップ６００には必要ない。キャリブレーションしたカメラのＦＯＶ内のスクリーンブラケット１２４の前部に、既知の基準マーカーセットを配置することができる。次に、写真測量法を用いて、ステップ６８２のカメラ座標をワールド座標に変換するための関係を回復させる。キャリブレーションしたカメラは、拡散スクリーン１２８を通した投影を眺めるので、カメラは、各プロジェクタから単一の角スライスを見る（カメラがこの角スライスの適切な画像を撮影するための適切な露出設定を持つ場合）。従って、各プロジェクタから十分なランドマーク点をカメラが撮影するためには、カメラは、異なる角スライス情報を得るために、異なる位置へと移動する必要がある。あるいは、異なる露出設定を周期的に繰り返し、１つのプロジェクタに対して複数の画像を撮影することにより、カメラの単一の位置が可能である。画像ごとに、画像の露出過度および露出不足の部分を除去することができ、単一の多重露出画像へと残りの部分を一緒にまとめることができる。次に、この多重露出画像をステップ６８０で用いることにより、プロジェクト座標からメッシュ座標へのマッピングを見つけることができる。あるいは、反射によるアライメントを行うために、キャリブレーションカメラを前面対向位置１４０に配置してもよい。
【００５１】
ギャップフィリングプロジェクタ
別の実施形態では、垂直位置１６８の差から生じる強度変化を改善するために、ギャップフィリングプロジェクタを使用する。ギャップフィリングプロジェクタは、プロジェクタ１６０の垂直方向上または下の位置に配置され、それによって、これらのプロジェクタに関する拡散スクリーンを通った角スライスが強度変化を埋める。ギャップフィリングプロジェクタの水平位置は、水平プロジェクタ間隔１６２と、すぐ上または下のプロジェクタとに関連する。ギャップフィリングプロジェクタは、他のプロジェクタと同じアライメント、キャリブレーション、およびレンダリングステップ２００に従う。
【００５２】
ダイレクト３Ｄ映像ディスプレイ
別の実施形態は、ステップ３２０で使用される図１１Ｄの投影を、図１１Ｃのより従来的な錐台投影に置き換える。図１１Ｃの投影は、ディスプレイ１００の焦点面付近の３Ｄ映像内のオブジェクトに適した図１１Ｄの投影ジオメトリの近似である。この映像は、ＯｐｅｎＧＬによって生成された映像でもよく、あるいは、Ａｎｇｕｌａｒ  Ｓｌｉｃｅ  Ｄｉｓｐｌａｙ上の３Ｄ画像として表示されるオブジェクトの一連の２Ｄ画像を取得するためにカメラを使用する。カメラが取得を行うためには、一連の画像の各画像は、ハードウェアまたは（補間によって）ソフトウェアにおいて、前の画像から水平方向に変位し、その結果、各プロジェクタに１つの視差画像のフルセットが３Ｄディスプレイに提供される。図１４Ａは、スライダレール９３０上に取り付けられたカメラ９４０を水平方向に変位させることにより、被写体９１０の画像を撮影するという画像撮影を示す。カメラと連動するコンピュータ９２０が示されている。視差（水平変位）は、プロジェクタの視差と一致してもよく、あるいは、プロジェクタに対する見掛け上のｚ変位（ビューアから離れる、またはビューアに向かう変位）を際立たせる、または最小限にするために、プロジェクタの視差より大きくても、または小さくてもよい。１つまたは複数のオブジェクトは、カメラおよび拡散スクリーンと一直線に並ぶようにアライメントが行われると、表示される一連の画像中の画像は、左右が反転され、ビューイングスクリーンに対して、その画像の対角線上反対側にあるプロジェクタに送信されるものとする。このジオメトリは、画像を分配する際の参考用としてのみ使用される。ディスプレイ拡散スクリーン付近のいずれかに存在する３Ｄ表示の場合、オブジェクトを撮影する必要はない。カメラ画像に対して、ＯｐｅｎＧＬレンダリングステップは必要ない−必要なことは、それぞれのプロジェクタと共に使用されるそれぞれの画像に対して、上記のジオメトリ、色、ピクセルアライメント、および強度のキャリブレーションを適用することだけである。単一のカメラを使用する必要はないが、Ａｎｇｕｌａｒ  Ｓｌｉｃｅ  Ｄｉｓｐｌａｙの３Ｄ写真の費用を減少させるためには、都合がよいかもしれない。複数の水平変位されたカメラの場合、次の段落で以下に説明するように、追加のキャリブレーションを行う。
【００５３】
ダイレクト３Ｄビデオディスプレイ
別の実施形態では、３００におけるステップ３１０、３２０、および３５０のレンダリング画像を、各プロジェクタに対して１つのカメラを必要とするビデオカメラからの画像に置き換える。図１４Ｂは、レール９３０上に取り付けられ、コンピュータ９２０と連動する１つまたは複数のビデオカメラ９５０を用いたビデオ撮影を示す。図１１Ｃの透視投影が焦点面付近のオブジェクトの投影ジオメトリの近似を提供するので、ビデオカメラからの画像は、ディスプレイを直接駆動させることができる。再度、ビデオカメラ、眺められているオブジェクト、およびディスプレイの拡散スクリーンが一直線に配置される場合、アレイ中のプロジェクタの対角線上反対側のビデオカメラが、１つまたは複数のコンピュータを介して、その左右反転画像を当該プロジェクタに送信する。ビデオカメラは、カメラ間に等しい間隔を持つ中央のビデオカメラのビュー方向に直交する水平線上に配置されるものとする。ビデオカメラピクセルをディスプレイ１００とアライメントさせるためには、１２９に類似したアライメントパターンをビデオカメラアレイの焦点面に配置させてもよい。次に、各ビデオカメラからのアライメントパターンの画像を用いて、６４１を置き換えてもよい。その結果、ピクセルアライメントステップ６００は、アライメントメッシュ１６０に対するビデオカメラピクセルのアライメントを行い、３００のステップ７５０を開始することができる。別の実施では、プロジェクタよりも数が少ないビデオカメラを用いてもよく、この場合、例えば１台おきのプロジェクタまたは３台に１台のプロジェクタごとに、直接画像を生成し、間のプロジェクタからの画像は、ビデオカメラ画像の補間によって生成される。再度、ビデオカメラ間の視差は、必ずしもプロジェクタ間の視差と一致する必要はなく、カメラの水平間隔は、幾何学的に均等なプロジェクタの間隔よりも大きく、あるいは小さくてもよく、そのため、多少の視差は、３Ｄ画像において生成される。さらに、タイムオブフライト（ｔｏｆ）カメラを使用して、３Ｄデータ点および画像を直接取得してもよい。ＴＯＦカメラは、画像中の点に対してｘ、ｙ、およびｚ座標を提供し、ＯｐｅｎＧＬデータと同様に、３Ｄデータ点上にテクスチャとして画像をレンダリングすることができる。
【００５４】
角スライスＤＩＢＲを用いた３Ｄビデオディスプレイ
さらなる一実施形態は、複数のビデオカメラ（２つ以上）を用いて、シーンに関する３Ｄ情報を取得する。図１４Ｃは、コンピュータ９２０と連動した２つ以上のビデオカメラ９５０を用いたビデオ撮影を示す。シーンに関する深度情報は、特徴マッチングおよび深度推定技術を用いて計算される。次に、ステップ３１０および３２０を、ｄｅｐｔｈ−ｉｍａｇｅ  ｂａｓｅｄ  ｒｅｎｄｅｒｉｎｇ（ＤＩＢＲ）技術（ジオメトリパラメータ５７０および図１１Ｄの投影が、ＤＩＢＲレンダリングを行わせる）に置き換える。ＤＩＢＲレンダリング画像は、次に、ステップ３５０に渡される。
【００５５】
本発明によって提供され得る恩恵および利点を、特定の実施形態に関して上記に記載した。これらの恩恵および利点や、それらを生じさせ得る、またはより顕著にさせ得るいずれの要素または限定も、何れかの請求項または全ての請求項の重要、必要、または必須の特徴であると解釈されるものではない。本明細書で使用されるように、「含む（ｃｏｍｐｒｉｓｅｓ）」、「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」、またはそれの他のバリエーションである用語は、その用語に続く要素または限定を非排他的に含んでいると解釈されることを意図したものである。従って、ある１セットの要素を含むシステム、方法、または他の実施形態は、それらの要素のみに限定されることはなく、明確にリストされていない、または請求項にかかる実施形態に固有ではない他の要素を含み得る。
【００５６】
本発明を特定の実施形態に関して記載したが、実施形態は例示的なものであり、本発明の範囲は、これらの実施形態に限定されないことを理解されたい。上記の実施形態に対して、多くのバリエーション、変更、追加、および改善が可能である。これらのバリエーション、変更、追加、および改善は、以下の特許請求の範囲に詳述されるような本発明の範囲に入るものと考えられる。
【図１Ａ】
2014522591.tif 000003
【図１Ｂ】
2014522591.tif 000004
【図１Ｃ】
2014522591.tif 000005
【図１Ｄ】
2014522591.tif 000006
【図２】
2014522591.tif 000007
【図３】
2014522591.tif 000008
【図４】
2014522591.tif 000009
【図５】
2014522591.tif 000010
【図６−１】
2014522591.tif 000011
【図６−２】
2014522591.tif 000012
【図７】
2014522591.tif 000013
【図８】
2014522591.tif 000014
【図９】
2014522591.tif 000015
【図１０】
2014522591.tif 000016
【図１１Ａ】
2014522591.tif 000017
【図１１Ｂ】
2014522591.tif 000018
【図１１Ｃ】
2014522591.tif 000019
【図１１Ｄ】
2014522591.tif 000020
【図１１Ｅ】
2014522591.tif 000021
【図１１Ｆ】
2014522591.tif 000022
【図１２】
2014522591.tif 000023
【図１３】
2014522591.tif 000024
【図１４Ａ】
2014522591.tif 000025
【図１４Ｂ】
2014522591.tif 000026
【図１４Ｃ】
2014522591.tif 000027
【国際調査報告】
2014522591.tif 000028