(57)【要約】【課題】望ましい画像を作成するために何をプロジェクタが映写する必要があるかをどのように判定するかという問題に光輸送行列の逆を用いて対応し、さらにプロジェクタ−カメラシステムの較正を簡素化すること。【解決手段】並列環境において行列を操作するためのデータ構造を最適化する方法およびシステムは演算分岐を制限する。データ構造は線形データ格納および複数の処理スレッド間の同期化でさらに最適化される。【選択図】図２
2009095015.tif 000002
【特許請求の範囲】
【請求項１】
プロジェクタをカメラに関連付ける較正情報で定義される異なるデータ間の相互関係を
物理的メモリ内で配列する方法であって、
（ａ）プロジェクタのピクセルバッファ、カメラピクセルの座標バッファ、およびカメ
ラピクセルのＲＧＢバッファを定義するステップと、
（ｂ）前記プロジェクタの各プロジェクタピクセルについて前記較正情報に従い、前記
プロジェクタピクセルに対し較正関係を有するカメラピクセルを関連カメラピクセルグル
ープに収集するステップと、
（ｃ）前記カメラピクセルの座標バッファ内で、前記カメラ内の各カメラピクセルのＸ
−Ｙ座標位置情報セットを維持することで、前記Ｘ−Ｙ座標位置情報セットは前記関連カ
メラピクセルグループに対応する座標グループに配列され、各前記座標グループ内におけ
るＸ−Ｙ座標位置情報セットは前記カメラピクセルの座標バッファ内で連続的に配列され
るステップと、
（ｄ）前記カメラピクセルのＲＧＢバッファ内で、前記較正情報で判定される各カメラ
ピクセルの較正ＲＧＢ値を維持することで、前記較正ＲＧＢ値は前記関連カメラピクセル
グループに対応するＲＧＢグループに配列され、各ＲＧＢグループ内における較正ＲＧＢ
値セットは前記カメラピクセルの座標バッファ内におけるＸ−Ｙ座標位置情報のセットの
配列を映すような形で前記カメラピクセルＲＧＢバッファ内において連続的に配列される
ステップと、
（ｅ）前記プロジェクタピクセルのバッファ内で、前記プロジェクタのプロジェクタピ
クセル毎に別個のプロジェクタのピクセルデータセットを定義することで、前記プロジェ
クタのピクセルデータセットは各プロジェクタのピクセルデータセットと前記プロジェク
タからそれに相関するプロジェクタピクセルとの間で識別可能な１対１の相関を維持する
ように前記プロジェクタ内のプロジェクタピクセル配列に相関する形で配列されるステッ
プと、を有し、
前記ステップ（ｅ）において、前記プロジェクタのピクセルデータセットは前記ステッ
プ（ｂ）で定義された対応する前記関連カメラピクセルグループ内のカメラピクセル数を
示す関連カメラピクセル総数を含み、前記プロジェクタのピクセルデータセットはさらに
対応する関連カメラピクセルグループ内の第１カメラピクセルの、前記カメラピクセルの
座標バッファ内における格納位置を特定する位置インジケータを含むことを特徴とする異
なるデータ間の相互関係を物理的メモリ内で配列する方法。
【請求項２】
前記ステップ（ｅ）において、前記プロジェクタのピクセルデータセットは、前記プロ
ジェクタ内におけるプロジェクタピクセルの連鎖配列に相関した連鎖の形で配列されるこ
とを特徴とする請求項１に記載の異なるデータ間の相互関係を物理的メモリ内で配列する
方法。
【請求項３】
特定のプロジェクタピクセルに関連する任意のカメラピクセルのＸ−Ｙ座標位置情報セ
ットは、前記特定のプロジェクタピクセルに対応する関連カメラピクセルグループから望
まれるカメラピクセルを選択するステップと、
前記プロジェクタピクセルのバッファ内で前記特定のプロジェクタピクセルに相関する
プロジェクタのピクセルデータセットを特定するステップと、
前記特定されたプロジェクタのピクセルデータセット内の位置インジケータをアクセス
するステップと、
望まれるカメラピクセルの関連カメラピクセルグループ内における連鎖位置の場所で判
定されたオフセット分だけ前記アクセスされた位置インジケータを増分することにより目
標アドレスを生成するステップと、
前記目標アドレスにおけるカメラピクセルの座標バッファ内に格納されるＸ−Ｙ座標位
置情報セットにアクセスするステップとにより得られることを特徴とする請求項１に記載
の異なるデータ間の相互関係を物理的メモリ内で配列する方法。
【請求項４】
前記望まれるカメラピクセルの較正ＲＧＢ値は、前記目標アドレスにおける前記カメラ
ピクセルのＲＧＢバッファ内に格納される較正ＲＧＢ値をアクセスすることにより得られ
ることを特徴とする請求項３に記載の異なるデータ間の相互関係を物理的メモリ内で配列
する方法。
【請求項５】
前記カメラピクセルの座標バッファにおけるアドレス増分はＸ−Ｙ座標位置情報セット
により決定され、
前記カメラピクセルのＲＧＢバッファにおけるアドレス増分は較正ＲＧＢ値により決定
され、
前記各カメラピクセルの較正ＲＧＢ値のメモリ格納は各Ｘ−Ｙ座標位置情報セットとは
異なったバイト数を必要とすることを特徴とする請求項１に記載の異なるデータ間の相互
関係を物理的メモリ内で配列する方法。
【請求項６】
複数の量子化数値レベルを定義するステップと、
前記関連カメラピクセルグループ各々内のカメラピクセル数に従い前記関連カメラピク
セルグループを対応量子化数値レベルに収集するステップとをさらに有することを特徴と
する請求項１に記載の異なるデータ間の相互関係を物理的メモリ内で配列する方法。
【請求項７】
個別の量子化数値レベル内における関連カメラピクセルグループの収集をマルチコア処
理システムの異なった処理コアに対し使用可能にするステップをさらに有することを特徴
とする請求項６に記載の異なるデータ間の相互関係を物理的メモリ内で配列する方法。
【請求項８】
前記複数の量子化数値レベルを定義する前に、前記関連カメラピクセルグループの最小
および最大のものを特定することによって最小から最大までの幅を定義するステップと、
前記量子化数値レベルを前記最小から最大までの幅の範囲内になるよう定義するステップ
とをさらに有することを特徴とする請求項６に記載の異なるデータ間の相互関係を物理的
メモリ内で配列する方法。
【請求項９】
前記量子化レベルは前記最小から最大までの幅の範囲内の区分として目標関連カメラピ
クセルグループを選択することによりさらに定義し、前記量子化レベルは前記目標関連カ
メラピクセルグループ内のカメラピクセル数に等しく設定されることを特徴とする請求項
８に記載の異なるデータ間の相互関係を物理的メモリ内で配列する方法。
【請求項１０】
各量子化レベル内において、量子化レベルより少ないカメラピクセルを有する関連カメ
ラピクセルグループはＲＧＢ値がゼロであるダミーカメラピクセルで嵩上げされ各々のカ
メラピクセルの合計数をその量子化レベルに引き上げることを特徴とする請求項６に記載
の異なるデータ間の相互関係を物理的メモリ内で配列する方法。
【請求項１１】
前記各量子化レベル内において、量子化レベルは前記ダミーカメラピクセルによる嵩上
げ前の最大関連カメラピクセルグループに等しく設定されることを特徴とする請求項１０
に記載の異なるデータ間の相互関係を物理的メモリ内で配列する方法。
【請求項１２】
第１バイトサイズの第１データ単位を有する第１メモリを提供するステップをさらに有
し、
前記カメラピクセルのＲＧＢバッファは、前記第１バイトサイズより小さいバイトサイ
ズを有する第２データ単位を有し、
前記カメラピクセルのＲＧＢバッファは、前記第１メモリから第１データ単位で埋めら
れ、
前記カメラピクセルのＲＧＢバッファからのデータは前記第２データ単位でアクセスさ
れることを特徴とする請求項１に記載の異なるデータ間の相互関係を物理的メモリ内で配
列する方法。
【請求項１３】
前記第１データ単位は前記第２データ単位より１６倍大きいことを特徴とする請求項１
２に記載の異なるデータ間の相互関係を物理的メモリ内で配列する方法。
【請求項１４】
各々偶数のバイトで定義される第１データ単位を有する第１メモリを提供するステップ
と、
前記第１メモリを奇数バイトのデータで埋めるステップと、
前記第１メモリ内における前記第１データ単位の１つ内にある前記奇数バイトのデータ
の選択された１つを、前記奇数バイトデータ内のバイト数にオフセット値を掛け、結果を
前記第１データ単位内のバイト数で割ることによりアクセスするステップとをさらに有す
ることを特徴とする請求項１に記載の異なるデータ間の相互関係を物理的メモリ内で配列
する方法。
【請求項１５】
前記オフセット値は開始点から前記奇数バイトのデータの選択された１つまで増分する
必要のある奇数バイトのデータの数となるよう選択されることを特徴とする請求項１４に
記載の異なるデータ間の相互関係を物理的メモリ内で配列する方法。
【請求項１６】
前記奇数バイトのデータは３バイトのＲＧＢデータであり、前記カメラピクセルのＲＧ
Ｂバッファは前記第１メモリからの奇数バイトのデータ単位で埋められることを特徴とす
る請求項１４に記載の異なるデータ間の相互関係を物理的メモリ内で配列する方法。
【請求項１７】
前記較正情報は以下のステップにより定義されるビュー投影行列を有することを特徴と
する請求項１に記載の異なるデータ間の相互関係を物理的メモリ内で配列する方法。
（１）前記プロジェクタを前記カメラに関連付ける光輸送行列Ｔを得るステップと、
（２）前記光輸送行列Ｔにおける各行について前記光輸送行列の共通行に沿って行列入
力を比較し、共通行における最高値の行列入力を留保し前記共通行における残りの入力に
ゼロ値を割り当て、改変光輸送行列Ｔ*を作成するステップと、
（３）前記改変光輸送行列Ｔ*における各列を順に目標列として特定し、各目標列につ
いて前記目標列における非ゼロ値に対し前記目標列に関し正規化値を計算するステップと
、
（４）前記改変光輸送行列Ｔ*と同じサイズの中間行列を作成するステップと、
（５）前記中間行列の各列を前記改変光輸送行列Ｔ*において対応する目標列の計算さ
れた正規化値で埋めることで、前記中間行列において埋められた各列の各正規化値は前記
改変光輸送行列Ｔ*において対応する列の前記非ゼロの入力値と１対１の対応を維持する
ステップと、
（６）前記中間行列に転置行列演算を適用してビュー投影行列を作成するステップ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は並列計算環境において行列の操作を最適化する方法に関する。より具体的に、
本発明は行列データ構造を最適化し、並列処理環境において最小限の計算ブランチングで
行列の操作を促進する方法に関する。本出願はＴｉｔｌｅ３５，Ｕ．Ｓ．Ｃ．§１１９（
ｅ）の下で2007年10月5日に出願された米国特許仮出願番号６０／９７３，３５１の特典
を主張する。
【背景技術】
【０００２】
プロジェクタとカメラを組み合わせると、光を投射しかつ取り込むことのできるハイブ
リッド装置およびシステムが生まれる。この新たに台頭してきた撮像装置およびシステム
は研究の世界においてプロジェクタ−カメラシステムとして知られている。通常映写表面
の幾何学的形状など表示環境に関する属性を推定するためには１台以上のカメラで取り込
まれた画像が使用される。次にこれらのプロジェクタ−カメラシステムのプロジェクタが
映像を適応させて、映写表面の形状不規則性を補正し、もたらされる影像を向上させる。
言い換えれば、カメラを使用することによりプロジェクタは投影画像における歪みを「見
る」ことができ、それにより投影画像を調節して観察される歪みを低減することができる
。
【０００３】
これを達成するために、観察される画像の歪みは投影環境の凹凸（すなわち表面上の凹
凸）によるもので、プロジェクタまたはカメラに内在する不整または互いの相対的配向に
よるものではないことを保証すべく、カメラとプロジェクタは互いの撮像パラメータに対
し較正される必要がある。
【０００４】
このように、プロジェクタ−カメラシステムの製作者が解決しなければならない重要な
問題は各装置の内部撮像パラメータ（すなわち固有パラメータ）の判定およびシステム内
のすべてのプロジェクタおよびカメラ間の幾何学的関係（すなわち外的パラメータ）の判
定である。この問題は通常システム較正の問題と呼ばれる。
【０００５】
しかしシステムが実質的に較正された後でも、映写を調節して映像の歪みを補正するこ
とは簡単でない。映写歪みを識別し補正することは非常に演算集約的な作業であり得、そ
のため従来非専門分野への適用は相当限定されていた。
【０００６】
プロジェクタ−カメラシステムの較正をより良く理解するために、出願者はコンピュー
タ・ビジョンの分野で見られるマルチカメラ画像化システムを研究した。このようなマル
チカメラ画像化システムは画像撮影装置のみで構成され、画像投影装置は含まないが、シ
ステムの較正に関しコンピュータ・ビジョンの分野において一連の研究があり、複数の画
像撮影装置ではあるもののこれらの方法から複数装置の較正に関し何らかの識見が得られ
るのではないかと思われた。
【０００７】
コンピュータ・ビジョンの世界で通常用いられる方法はZhengyou Zhang著の論文「適応
性を有するカメラ較正用の新規手法」（「A flexible new technique for camera calibr
ation」）、IEEEパターン分析および人工知能紀要（Transactions on Pattern Analysis 
and Machine Intelligence）、22(11):1330〜1334、2000年、に記載され、引用により全
体として本明細書に組み入れられる。この方法において、いくつかの既知の特徴点（通常
グリッドを形成）でマークされた平たい被写体をカメラに対しさまざまな角度のポーズに
置き、平たい被写体の複数の画像がカメラにより取り込まれる。各特徴点の画像位置が抽
出され、各特徴点の相対位置は知られているので次に特徴点位置の集合を用いてカメラを
較正することができる。撮像システムに２台以上のカメラが存在する場合、存在するカメ
ラ間の幾何学的関係と併せて固有パラメータはすべてのカメラに平たい被写体の各ポーズ
角度における画像を取り込ませることにより推定することができる。
【０００８】
プロジェクタとカメラは影像化の幾何学という点で非常に類似しているので、複数カメ
ラの画像化システムにおけるカメラの較正に適した手法はプロジェクタ−カメラシステム
におけるプロジェクタの較正に適すると仮定することが合理的と思われるかもしれない。
しかし、カメラの較正手法はすべて較正を必要とするカメラ（すなわち較正される撮像装
置）が画像をいくつか取り込むことが必要であるため、プロジェクタは画像を取り込むこ
とができないのでカメラの較正手法はプロジェクタに容易に適用できないようである。
【０００９】
従って、従来のプロジェクタ−カメラシステムでは、プロジェクタに加え少なくとも２
台のカメラが必要とされている。まず２台のカメラが通常複数カメラの撮像システム較正
手法を用いて較正され、ステレオカメラの対を確立する。より具体的に、これらのシステ
ムは「ブートストラップ的」手順を用いて２台のカメラを較正しステレオの対を形成する
。業界で知られるように、ステレオカメラの対は深度を推定する（すなわち擬似遠近の光
景を達成する）のに用い、ステレオカメラの対に見える特徴点の外見上の深度知覚を確立
することができる。較正されたステレオカメラの対は次にプロジェクタを較正するために
用いられる。基本的にこの外見上の深度知覚の確立を用い映写表面の、従って、映写表面
に投影された映像の、表面深度凹凸を識別する。プロジェクタを次に較正し、投影画像に
おける表面深度凹凸を補正することができる。基本的に、外見上の深度知覚を用いてプロ
ジェクタを較正するためには、まずプロジェクタに特徴点を、凹凸表面を有する可能性の
ある表示環境（すなわち映写表面）に投影させる。予め較正されたステレオカメラの対を
用いて投射された点の遠近的深度位置を解像する。次に投射された点の深度位置による判
定に基づき映写表面における表面／深度凹凸について補正するようにプロジェクタを較正
することができる。このブートストラップ的手法はプロジェクタ−カメラシステム向けの
実証済みの較正方法であるが、予め較正され、好都合に配置された外付けのステレオカメ
ラの対を必要とし、オペレータの介入を多く必要とするため内蔵型のプロジェクタ−カメ
ラシステムには適用できない。
【００１０】
同様に関連するものとしてデュアル・フォトグラフィと呼ばれる手法があり、Sen他に
より論文「デュアル・フォトグラフィ」（「Dual Photography」）、ACM SIGGRRAPH予稿
、2005年、の中で提案されており、引用により本明細書に全体として組み入れられる。デ
ュアル・フォトグラフィはヘルムホルツの相反定理を利用して実カメラで取り込んだ画像
を用いプロジェクタから「見えた」（または事実上「取り込んだ」）画像をシミュレート
する擬似画像（すなわちデュアル画像）を合成する。つまり、擬似画像はプロジェクタか
ら「見た」取り込み画像をシミュレートし、従って、プロジェクタが画像を取り込むこと
ができたとした場合プロジェクタにより取り込まれた画像がどうなるかを表す。この方法
はプロジェクタを擬似カメラとして扱うことを可能にするので、プロジェクタの較正に関
わる問題のいくつかを除去できるかもしれない。
【００１１】
ヘルムホルツの相反定理は、光の流れはその輸送特性を変えることなく有効に逆向きに
できるという概念に基づいている。ヘルムホルツの相反定理は計算の複雑さを低減するた
めに多くのコンピュータ・グラフィックス用途に使用されている。コンピュータ・グラフ
ィックス関連の文献でこの相反定理は入射（ωｉ）および出射（ωｏ）方向間の反射強度
転移の対称性を説明する方程式として通常ｆｒ（ωｉ→ωｏ）＝ｆｒ（ωｏ→ωｉ）と要
約され、ここでｆｒはある表面の双方向反射率分布関数（ＢＲＤＦ）を表す。
【００１２】
このようにデュアル・フォトグラフィは、理想的には映像および取り込み画像のデュア
ルな性質（すなわちデュアリティ関係）を利用して前者を後者からシミュレートする。さ
らに詳細に後述するように、デュアル・フォトグラフィ（より正確にはヘルムホルツの相
反定理）はカメラとプロジェクタ間の光輸送特性を取り込む必要がある。より具体的に、
デュアル・フォトグラフィは放射光線を取り込み光線に関連付ける光輸送特性（すなわち
光輸送係数）の判定を必要とする。
【００１３】
しかしデジタルカメラおよびデジタルプロジェクタを扱う場合、デュアル・フォトグラ
フィは各プロジェクタピクセル（すなわちすべての放射光線）を１つ１つのカメラピクセ
ル（すなわち放射光線の一部を取り込むすべての光センサ）に関連づける別個の光輸送係
数を双方の装置の解像度において取り込む必要がある。デジタルプロジェクタおよびデジ
タルカメラ双方とも各々何百万のピクセルを有し得るので、多数の光輸送係数の獲得、格
納、および操作はこの手法の実際的な使用を制限する可能性がある。従って、デュアル・
フォトグラフィは理論的に非常に利点を提供するように見えるが、実際上デュアル・フォ
トグラフィは非常に大量のコンピュータメモリ（アーカイブ用のディスク型メモリおよび
アクティブ・ソリッドステート・メモリ双方）を必要とし、広範囲コンピュータ処理能力
を要し、機器を設定してプロジェクタ−カメラシステムが使用されるすべての投影環境に
対する大量の光線を放射し取り込むために多くの時間とユーザ介入を必要とするという物
理的かつ非実用的な要件により深刻に制限される。
【００１４】
デュアル・フォトグラフィのより明確な理解は図１（ａ）および図１（ｂ）を参照して
得られる。図１（ａ）において「根本構成」（すなわちデュアル変換以前の実際の物理的
な装置の構成）は実デジタルプロジェクタ１１、実映像１３、および実デジタルカメラ１
５を含む。実デジタルプロジェクタ１１から光が発射され、実デジタルカメラ１５により
取り込まれる。映写された各投射光線（実デジタルプロジェクタ１１内の各プロジェクタ
ピクセルｅから）を対応する各取り込み光線（実デジタルカメラ１５内の各カメラピクセ
ルｇにおいて取り込まれた）に関連づける係数は光輸送係数と呼ばれる。光輸送係数を用
いると、取り込まれた光線から映写された光線の特徴を判定することが可能となる。
【００１５】
本例において、実デジタルプロジェクタ１１は象徴的に点線枠として示され、ｓ行およ
びｒ列の個々のプロジェクタピクセルｅからなるプロジェクタのピクセルアレイ１７を有
するデジタルプロジェクタであることが好ましい。各プロジェクタピクセルｅは別個に放
射された光線の源であり得る。プロジェクタのピクセルアレイ１７のサイズは実デジタル
プロジェクタ１１の解像度に依存する。例えばＶＧＡ解像度は６４０×４８０ピクセルの
アレイ（すなわち３０７，２００個のプロジェクタピクセルｅ）からなることができ、Ｓ
ＶＧＡ解像度は８００×６００ピクセルのアレイ（すなわち４８０，０００個のプロジェ
クタピクセルｅ）を有し得、ＸＶＧ解像度は１０２４×７６８ピクセルのアレイ（すなわ
ち７８６，７３２個のプロジェクタピクセルｅ）を有し得、ＳＸＶＧ解像度は１２８０×
１０２４ピクセルのアレイ（すなわち１，３１０，７２０個のプロジェクタピクセルｅ）
を有し得、以下同様でより高い解像度のプロジェクタはより多数のプロジェクタピクセル
ｅを必要とする。
【００１６】
同様に実デジタルカメラ１５は象徴的に点線枠として示され、ｕ行およびｖ列の個々の
カメラピクセルｇからなるカメラピクセルアレイ１９を有するデジタルカメラである。各
カメラピクセルｇは放射された光線の一部を受光する、すなわち取り込む、ことができる
。カメラピクセルアレイ１９のサイズもまた実デジタルカメラ１５の解像度に依存する。
但し、実デジタルカメラ１５は４メガピクセル（すなわち４，１９４，３０４の受容を有
するカメラピクセルｇ）以上を有しているのが普通である。
【００１７】
カメラピクセルアレイ１９内の各カメラピクセルｇは区別可能なプロジェクタピクセル
ｅから放射された光線の一部を取り込むことができ、別々のプロジェクタピクセルｅ各々
は別個の光線を放射し得るので、別々のプロジェクタピクセルｅ各々をすべてのカメラピ
クセルｇに関連付けるためには大量の光輸送係数が必要となる。言い換えれば、単一のプ
ロジェクタピクセルｅから放射された光線はカメラピクセルアレイ１９全体を覆う可能性
があり、従って、各カメラピクセルｇは放射された光線の異なった量を取り込む。従って
、個々のカメラピクセルｇは個別に放射された光線をどれだけ受光したかを示す異なった
光輸送係数を有することになる。カメラピクセルアレイ１９が４，１９４，３０４個の個
別のカメラピクセルｇを有する（すなわち４メガピクセルの解像度を有する）場合、個別
のプロジェクタピクセルｅはカメラピクセルアレイ１９に関連付けられるために各々４，
１９４，３０４個の個別光輸送係数の組を別々に必要とすることになる。従って、プロジ
ェクタのピクセルアレイ１７全体をカメラピクセルアレイ１９に関連付け、実デジタルプ
ロジェクタ１１および実デジタルカメラ１５との間にデュアリティ関係を確立するために
は別個に判定した何百万組の光輸送係数（プロジェクタピクセルｅ毎に１組）が必要とな
る。
【００１８】
本例において別々のプロジェクタピクセルｅ各々は実デジタルカメラ１５に関連付けら
れるために４，１９４，３０４個の個別的に判定された光輸送係数の別個の組を必要とし
、実デジタルプロジェクタ１１は何百万個の別々のプロジェクタピクセルｅを有する可能
性があるので、光輸送係数の各組を別々の光輸送係数のアレイとみなし、これらの別々の
アレイを集めて１つの光輸送行列Ｔにまとめることが有益である。光輸送係数の各アレイ
は光輸送行列Ｔ内で別々の列を構成する。従って、光輸送行列Ｔにおける各列は別個のプ
ロジェクタピクセルｅに対応する１組の光輸送係数を構成する。
【００１９】
本例において実デジタルプロジェクタ１１は個別のプロジェクタピクセルｅのアレイを
有するデジタルプロジェクタで、実デジタルカメラ１５は個別のカメラピクセルｇのアレ
イを有するデジタルカメラであるので、実デジタルプロジェクタ１１および実デジタルカ
メラ１５の間のデュアリティ関係を定義するのに光輸送行列Ｔが用いられる。以下の考察
において行列要素Ｔgeは個別のプロジェクタピクセルｅを個別のカメラピクセルｇの関連
付ける個別の光輸送係数（光輸送行列Ｔ内の）を特定する。
【００２０】
実デジタルカメラ１５に取り込まれた実画像はカメラピクセルアレイ１９内の各カメラ
ピクセルｇにより個別的に取り込まれたすべての光線からなる。従って、カメラピクセル
アレイ１９で判定された実取り込み画像を実画像取り込み行列Ｃに編成することが役に立
つ。同様に、プロジェクタのピクセルアレイ１７内における個々のプロジェクタピクセル
ｅの活性化により構成される実映写画像を実画像映写行列Ｐに編成することが有用である
。この記号を用い、実取り込み画像（実画像取り込み行列Ｃで定義された）はＣ＝ＴＰと
いう関係に従い光輸送行列Ｔにより実映写画像（実画像映写行列Ｐ）に関連付けることが
できる。
【００２１】
図１（ａ）のデュアリティ変換、すなわちデュアル構成、が図１（ｂ）に示される。こ
のデュアル構成において、図１（ａ）の実デジタルプロジェクタ１１は仮想カメラ１１”
に変換され、図１（ａ）の実デジタルカメラ１５は仮想プロジェクタ１５”に変換される
。仮想カメラ１１”および仮想プロジェクタ１５”は各々実デジタルプロジェクタ１１お
よび実デジタルカメラ１５のデュアルな対応を表し、それら自体実装置でないことが理解
されよう。つまり、仮想カメラ１１”は仮定上のカメラ（すなわち仮想カメラ１１”）が
図１（ａ）の実プロジェクタが映写する実映像１３に類似した仮定上の映像１３”を取り
込むためにどのように挙動するかを数学的に表したものである。同様に、仮想プロジェク
タ１５”は仮定上のプロジェクタ（すなわち仮想プロジェクタ１５”）が実デジタルカメ
ラ１５（図１（ａ）の）で取り込まれた実映像１３に実質的に合致する仮定上のデュアル
映像１３”を映写するためにどのように挙動するかを数学的に表したものである。このよ
うに図１（ａ）における実デジタルプロジェクタ１１および実デジタルカメラ１５の位置
は図１（ｂ）において仮想カメラ１１”および仮想プロジェクタ１５”に交換される。
【００２２】
実装置のピクセル解像度は対応する仮想装置（すなわちデュアル装置）に持ち越される
ことが特記される。従って、仮想カメラ１１”はｓ行およびｒ列からなる仮想光カメラピ
クセルアレイ１７”を有し、実デジタルプロジェクタ１１のプロジェクタのピクセルアレ
イ１７に合致している。同様に仮想プロジェクタ１５”はｕ行およびｖ列からなる仮想プ
ロジェクタのピクセルアレイ１９”を有し実デジタルカメラ１５のカメラピクセルアレイ
１９に合致している。
【００２３】
デュアル光輸送行列Ｔ”がこのデュアル構成の光輸送行列で、デュアル画像取り込み行
列Ｃ”（仮想カメラ１１”で取り込まれるデュアル映像１３”を定義する）はデュアル画
像映写行列Ｐ”（仮想プロジェクタ１５”で映写されるデュアル映像１３”を定義する）
に対しＣ”＝Ｔ”＊Ｐ”という形で関係していると仮定すると、Ｔ”egが個別の仮想プロ
ジェクタピクセルｇ”を個別の仮想カメラピクセルｅ”に関連付ける個別のデュアル光輸
送係数となる。
【００２４】
ヘルムホルツの相反定理はピクセルからピクセルへの輸送係数は双方向において（すな
わち実デジタルプロジェクタ１１から実デジタルカメラ１５へ、および仮想プロジェクタ
１５”から仮想カメラ１１”へ）等しいと規定している。すなわちＴ”eg＝Ｔgeで、これ
はＴ”＝ＴTを意味する（すなわちデュアル光輸送行列Ｔ”は光輸送行列Ｔに対する数学
的行列転置の結果に等しい）。従って、光輸送行列Ｔが与えられると、デュアル光輸送行
列ＴTを用いてデュアル構成において得られるデュアル、または仮想、画像を合成するこ
とができる。
【００２５】
このように、光輸送行列Ｔはプロジェクタにより取り込まれたように見える画像を作り
出すことを可能にし、カメラは第２プロジェクタの役割を果たす。しかし、上記に説明す
るように、光輸送行列Ｔを生成し操作することの高度な複雑さのため今までその適用は、
特にプロジェクタ−カメラシステムの較正分野において、非常に限定されていた。
【００２６】
プロジェクタ−カメラシステムに関する他の問題はプロジェクタの視線を遮る可能性の
ある光拡散物体をどのように補正するかである。関連するものとしてプロジェクタ−カメ
ラシステムが典型より複雑な画像を達成するのに用いることができるかという問題である
。例えば、このようなシステムは複数のプロジェクタによる複数の画像を組み合わせて単
一の合成画像を作成することができるであろうか。あるいは、「３−Ｄ」画像または以前
はより複雑な機器およびより複雑な映写設備を必要とした他の視覚上の効果を生成するこ
とができるであろうか。さらに、プロジェクタ−カメラシステムのカメラをより有効に活
用し、カメラが画像作成プロセスの能動的な部分になることができるであろうか。さらに
、このようなにプロジェクタ−カメラシステムにおいて低解像度で安価なカメラを用いる
ことはどのような影響があるであろうか。
【００２７】
以前の研究［Raskar 他 1998; Underkoffler およびIshii 1998］はインテリジェント
照明の概念を提示し、プロジェクタを用いて仕事場のやりとりを向上させ問題解決の新規
ツールの役割を果たせることを示している。以来プロジェクタ−カメラの世界はインテリ
ジェント・プロジェクタに関する多くの技術的問題を解決している。特に複数プロジェク
タの自動モザイク化において相当な進歩がなされている［Chen 他 2002; Yang 他 2001; 
Raij 他 2003; Sukthankar 他 2001; Raskar 他 2003］。
【００２８】
［Raskar 他 2001］は複雑な物体への映写を実証している。前以て作成された物体の３
Ｄモデルを用い、複数のプロジェクタで些細でない複雑な形状を有する実際の物理的物体
に仮想テクスチャおよびアニメーションを加えることができる。
【００２９】
［Fujii 他 2005］は同軸プロジェクタ−カメラシステムを用いてリアルタイムで物体
の外観を改変する方法を提案した。［Grossberg 他 2004］は区分的な多項式３Ｄモデル
を組み入れて非同軸プロジェクタ−カメラシステムが光景の映写を行えるようにした。
【００３０】
プロジェクタ−カメラシステムは深度マップを抽出するためにも用いられ［Zhang およ
び Nayar 2006］、深度エッジを回復する手段として時空多重化照明が提案されている［R
askar 他 2004］。
【００３１】
【非特許文献１】Zhengyou Zhang著の論文「適応性を有するカメラ較正用の新規手法」（「A flexible new technique for camera calibration」）、IEEEパターン分析および人工知能紀要（Transactions on Pattern Analysis and Machine Intelligence）、22(11):1330〜1334、2000年
【発明の開示】
【発明が解決しようとする課題】
【００３２】
詳細に後述されるように、本発明は望ましい画像を作成するために何をプロジェクタが
映写する必要があるかをどのように判定するかという問題に、光輸送行列の逆を用いて対
応しており、その適用はさらにプロジェクタ−カメラシステムの較正を簡素化する。
【００３３】
本発明のさらなる目的は平坦でない場面（すなわち映写画面）に投影される画像の歪み
補正を動く物体に投影される画像の歪み補正に広げることである。
【００３４】
本発明のさらなる目的は消費者レベルの演算装置における、および特に並列処理システ
ムにおける使用を促進できるよう較正データの編成をどのように最適化するかである。
【課題を解決するための手段】
【００３５】
このような目的は以下の本発明により解決される。
【００３６】
本発明の異なるデータ間の相互関係を物理的メモリ内で配列する方法は、プロジェクタ
をカメラに関連付ける較正情報で定義される異なるデータ間の相互関係を物理的メモリ内
で配列する方法であって、（ａ）プロジェクタのピクセルバッファ、カメラピクセルの座
標バッファ、およびカメラピクセルのＲＧＢバッファを定義するステップと、（ｂ）前記
プロジェクタの各プロジェクタピクセルについて前記較正情報に従い、前記プロジェクタ
ピクセルに対し較正関係を有するカメラピクセルを関連カメラピクセルグループに収集す
るステップと、（ｃ）前記カメラピクセルの座標バッファ内で、前記カメラ内の各カメラ
ピクセルのＸ−Ｙ座標位置情報セットを維持することで、前記Ｘ−Ｙ座標位置情報セット
は前記関連カメラピクセルグループに対応する座標グループに配列され、各前記座標グル
ープ内におけるＸ−Ｙ座標位置情報セットは前記カメラピクセルの座標バッファ内で連続
的に配列されるステップと、（ｄ）前記カメラピクセルのＲＧＢバッファ内で、前記較正
情報で判定される各カメラピクセルの較正ＲＧＢ値を維持することで、前記較正ＲＧＢ値
は前記関連カメラピクセルグループに対応するＲＧＢグループに配列され、各ＲＧＢグル
ープ内における較正ＲＧＢ値セットは前記カメラピクセルの座標バッファ内におけるＸ−
Ｙ座標位置情報のセットの配列を映すような形で前記カメラピクセルのＲＧＢバッファ内
において連続的に配列されるステップと、（ｅ）前記プロジェクタピクセルのバッファ内
で、前記プロジェクタのプロジェクタピクセル毎に別個のプロジェクタのピクセルデータ
セットを定義することで、前記プロジェクタのピクセルデータセットは各プロジェクタの
ピクセルデータセットと前記プロジェクタからそれに相関するプロジェクタピクセルとの
間で識別可能な１対１の相関を維持するように前記プロジェクタ内のプロジェクタピクセ
ル配列に相関する形で配列されるステップと、を有し、前記ステップ（ｅ）において、前
記プロジェクタのピクセルデータセットは前記ステップ（ｂ）で定義された対応する前記
関連カメラピクセルグループ内のカメラピクセル数を示す関連カメラピクセル総数を含み
、前記プロジェクタのピクセルデータセットはさらに対応する関連カメラピクセルグルー
プ内の第１カメラピクセルの、前記カメラピクセルの座標バッファ内における格納位置を
特定する位置インジケータを含むことを特徴とする。
【００３７】
また、本発明の異なるデータ間の相互関係を物理的メモリ内で配列する方法において、
前記ステップ（ｅ）において、前記プロジェクタのピクセルデータセットは、前記プロジ
ェクタ内におけるプロジェクタピクセルの連鎖配列に相関した連鎖の形で配列されること
を特徴とする。
【００３８】
また、本発明の異なるデータ間の相互関係を物理的メモリ内で配列する方法において、
特定のプロジェクタピクセルに関連する任意のカメラピクセルのＸ−Ｙ座標位置情報セッ
トは、前記特定のプロジェクタピクセルに対応する関連カメラピクセルグループから望ま
れるカメラピクセルを選択するステップと、前記プロジェクタピクセルのバッファ内で前
記特定のプロジェクタピクセルに相関するプロジェクタのピクセルデータセットを特定す
るステップと、前記特定されたプロジェクタのピクセルデータセット内の位置インジケー
タをアクセスするステップと、望まれるカメラピクセルの関連カメラピクセルグループ内
における連鎖位置の場所で判定されたオフセット分だけ前記アクセスされた位置インジケ
ータを増分することにより目標アドレスを生成するステップと、前記目標アドレスにおけ
るカメラピクセルの座標バッファ内に格納されるＸ−Ｙ座標位置情報セットにアクセスす
るステップと、により得られることを特徴とする。
【００３９】
また、本発明の異なるデータ間の相互関係を物理的メモリ内で配列する方法において、
前記望まれるカメラピクセルの較正ＲＧＢ値は、前記目標アドレスにおける前記カメラピ
クセルのＲＧＢバッファ内に格納される較正ＲＧＢ値をアクセスすることにより得られる
ことを特徴とする。
【００４０】
また、本発明の異なるデータ間の相互関係を物理的メモリ内で配列する方法において、
前記カメラピクセルの座標バッファにおけるアドレス増分はＸ−Ｙ座標位置情報セットに
より決定され、前記カメラピクセルのＲＧＢバッファにおけるアドレス増分は較正ＲＧＢ
値により決定され、前記各カメラピクセルの較正ＲＧＢ値のメモリ格納は各Ｘ−Ｙ座標位
置情報セットとは異なったバイト数を必要とすることを特徴とする。
【００４１】
また、本発明の異なるデータ間の相互関係を物理的メモリ内で配列する方法において、
複数の量子化数値レベルを定義するステップと、前記関連カメラピクセルグループ各々内
のカメラピクセル数に従い前記関連カメラピクセルグループを対応量子化数値レベルに収
集するステップとをさらに有することを特徴とする。
【００４２】
また、本発明の異なるデータ間の相互関係を物理的メモリ内で配列する方法において、
個別の量子化数値レベル内における関連カメラピクセルグループの収集をマルチコア処理
システムの異なった処理コアに対し使用可能にするステップをさらに有することを特徴と
する。
【００４３】
また、本発明の異なるデータ間の相互関係を物理的メモリ内で配列する方法において、
前記複数の量子化数値レベルを定義する前に、前記関連カメラピクセルグループの最小お
よび最大のものを特定することによって最小から最大までの幅を定義するステップと、前
記量子化数値レベルを前記最小から最大までの幅の範囲内になるよう定義するステップと
をさらに有することを特徴とする。
【００４４】
また、本発明の異なるデータ間の相互関係を物理的メモリ内で配列する方法において、
前記量子化レベルは前記最小から最大までの幅の範囲内の区分として目標関連カメラピク
セルグループを選択することによりさらに定義し、前記量子化レベルは前記目標関連カメ
ラピクセルグループ内のカメラピクセル数に等しく設定されることを特徴とする。
【００４５】
また、本発明の異なるデータ間の相互関係を物理的メモリ内で配列する方法において、
各量子化レベル内において、量子化レベルより少ないカメラピクセルを有する関連カメラ
ピクセルグループはＲＧＢ値がゼロであるダミーカメラピクセルで嵩上げされ各々のカメ
ラピクセルの合計数をその量子化レベルに引き上げることを特徴とする。
【００４６】
また、本発明の異なるデータ間の相互関係を物理的メモリ内で配列する方法において、
前記各量子化レベル内において、量子化レベルは前記ダミーカメラピクセルによる嵩上げ
前の最大関連カメラピクセルグループに等しく設定されることを特徴とする。
【００４７】
また、本発明の異なるデータ間の相互関係を物理的メモリ内で配列する方法において、
第１バイトサイズの第１データ単位を有する第１メモリを提供するステップをさらに有し
、前記カメラピクセルのＲＧＢバッファは、前記第１バイトサイズより小さいバイトサイ
ズを有する第２データ単位を有し、前記カメラピクセルのＲＧＢバッファは、前記第１メ
モリから第１データ単位で埋められ、前記カメラピクセルのＲＧＢバッファからのデータ
は前記第２データ単位でアクセスされることを特徴とする。
【００４８】
また、本発明の異なるデータ間の相互関係を物理的メモリ内で配列する方法において、
前記第１データ単位は前記第２データ単位より１６倍大きいことを特徴とする。
【００４９】
また、本発明の異なるデータ間の相互関係を物理的メモリ内で配列する方法において、
各々偶数のバイトで定義される第１データ単位を有する第１メモリを提供するステップと
、前記第１メモリを奇数バイトのデータで埋めるステップと、前記第１メモリ内における
前記第１データ単位の１つ内にある前記奇数バイトのデータの選択された１つを、前記奇
数バイトデータ内のバイト数にオフセット値を掛け、結果を前記第１データ単位内のバイ
ト数で割ることによりアクセスするステップとをさらに有することを特徴とする。
【００５０】
また、本発明の異なるデータ間の相互関係を物理的メモリ内で配列する方法において、
前記オフセット値は開始点から前記奇数バイトのデータの選択された１つまで増分する必
要のある奇数バイトのデータの数となるよう選択されることを特徴とする。
【００５１】
また、本発明の異なるデータ間の相互関係を物理的メモリ内で配列する方法において、
前記奇数バイトのデータは３バイトのＲＧＢデータであり、前記カメラピクセルのＲＧＢ
バッファは前記第１メモリからの奇数バイトのデータ単位で埋められることを特徴とする
。
【００５２】
また、本発明の異なるデータ間の相互関係を物理的メモリ内で配列する方法において、
前記較正情報は以下のステップにより定義されるビュー投影行列を有することを特徴とす
る。
（１）前記プロジェクタを前記カメラに関連付ける光輸送行列Ｔを得るステップと、（
２）前記光輸送行列Ｔにおける各行について前記光輸送行列の共通行に沿って行列入力を
比較し、共通行における最高値の行列入力を留保し前記共通行における残りの入力にゼロ
値を割り当て、改変光輸送行列Ｔ*を作成するステップと、（３）前記改変光輸送行列Ｔ*
における各列を順に目標列として特定し、各目標列について前記目標列における非ゼロ値
に対し前記目標列に関し正規化値を計算するステップと、（４）前記改変光輸送行列Ｔ*
と同じサイズの中間行列を作成するステップと、（５）前記中間行列の各列を前記改変光
輸送行列Ｔ*において対応する目標列の計算された正規化値で埋めることで、前記中間行
列において埋められた各列の各正規化値は前記改変光輸送行列Ｔ*において対応する列の
前記非ゼロの入力値と１対１の対応を維持するステップと、（６）前記中間行列に転置行
列演算を適用してビュー投影行列を作成するステップ。
【００５３】
ここで、本発明を要約すると以下のようにすることができる。
【００５４】
まず発明の概要として、前述の本発明の目的は光輸送行列Ｔの生成を簡素化し、デュア
ル・フォトグラフィにおける光輸送係数の実施を簡素化し、光輸送行列Ｔをさらに簡素化
しながら改変して光拡散効果または光ノイズに対する補正を組み入れたシステムにより満
足される。
【００５５】
デュアル・フォトグラフィの適用は（ｐ×ｑ）のプロジェクタのピクセルアレイの光輸
送行列Ｔを生成するのに必要な取り込み画像数を（ｐ×ｑ）の画像から（ｐ＋ｑ）の画像
に削減することにより簡素化される。光輸送行列Ｔの操作は、完全に埋められた光輸送行
列Ｔの使用を非ゼロの光輸送値にのみ結び付けるインデクスで置き換えることにより、簡
素化される。ゼロ値の光輸送係数の使用を排除することにより、デュアル・フォトグラフ
ィを実施するためのメモリおよび処理要件が非常に低減される。このデュアル・フォトグ
ラフィ手法がプロジェクタ−カメラシステムの較正に適用される。
【００５６】
本発明の第１実施形態で、デジタルプロジェクタをデジタルカメラに関連付ける光輸送
係数を生成する方法が示される。デジタルプロジェクタが映写ピクセルのアレイを有し、
デジタルカメラがセンサピクセルのアレイを有する場合、方法は、プロジェクタ内の映写
ピクセルの第１グループを同時に活性化し映写場面上に第１テストパターンを投影するこ
とで、前記第１テストパターンに入っていない映写ピクセルは暗く維持されること、映写
場面上の第１テストパターンの第１画像を取り込むこと、プロジェクタ内の映写ピクセル
の第２グループを同時に活性化し映写場面上に２テストパターンを映写することで、前記
第２テストパターンに入っていない残りの映写ピクセルは暗く維持され、映写ピクセルの
第１グループおよび第２グループは目標映写ピクセルを定義する１つのみの共通映写ピク
セルを有すること、前記映写場面上の前記第２テストパターンの第２画像を取り込むこと
、第１画像の画像ピクセルを第２画像の対応画像ピクセルと比較し、２つの比較された画
像ピクセルの暗い方を留保することで、留保された画像ピクセルは合成画像を形成するこ
と、および合成画像において暗くないすべての画像ピクセルを特定することで、暗くない
画像ピクセルは目標映写ピクセルに結び付いた非ゼロの光輸送係数を定義すること、を含
む。
【００５７】
あるいは、光輸送係数を生成する方法はさらに選択された数の目標映写ピクセルに対す
る光輸送係数を特定すること、選択された数の目標映写ピクセル各々を対応して結び付い
た非ゼロの光輸送係数に結び付けるインデクスを生成すること、および非ゼロの光輸送係
数のみを格納すること、を含むことができる。
【００５８】
光輸送行列は全行列形式または光輸送係数入力の第１アレイと、第１アレイのどの光輸
送係数が光輸送行列のどの列に対応するかを示す記録を維持する第２アレイからなる簡略
化された２アレイ形式のいずれかで書くことができるので、光ノイズおよび光拡散効果を
補正する改変プロセスも全行列形式またはまたは２アレイ形式のいずれかに適用すること
ができる。いずれの場合もプロセスは表示制約を課すことを含み、課さなければ適用する
ことができない。
【００５９】
従って、最初の工程は任意の場面においてプロジェクタ−カメラシステムの光輸送行列
Ｔにシミュレートされた表示制約を課すことで、表示制約はプロジェクタから放射された
光線は区別可能な部分でカメラの画像センサに当たることを規定する。これは次の方法で
行うことができる。光輸送行列Ｔの各列について、光輸送行列の共通行に沿って行列の入
力を比較し、共通行における最高値の行列入力を留保する。光輸送アレイに前記光輸送行
列Ｔの各行からの最高値の行列入力を入れる。光輸送アレイの各入力が光輸送行列のどの
列から由来するかの記録を維持する。必要に応じ記録および光輸送アレイを用い、プロジ
ェクタの各プロジェクタピクセルについて光フットプリント情報を抽出する。この方法で
は、任意の場面において前記プロジェクタから前記カメラへの光のパスに光拡散物体が含
まれても構わず、前記方法は光拡散効果を補正するのに有効である。
【００６０】
さらにこの方法において、光輸送行列Ｔの各列はプロジェクタの単一のプロジェクタピ
クセルを活性化することにより実現されカメラの画像センサ全体で取り込まれた画像に対
応し、各光フットプリント情報はそれに対応するプロジェクタピクセルの光輸送値を構成
する。
【００６１】
光輸送アレイおよび記録は前記光輸送行列Ｔの代わりに使用できる改変光輸送行列をな
し、改変光輸送行列はデュアル・フォトグラフィでの使用に適していることがさらに特記
される。
【００６２】
上述の方法は次の工程により光輸送行列の推定逆行列を生成するのに用いることができ
る。正規化光フットプリント情報を各々のプロジェクタピクセルに対応するグループで計
算する。中間アレイを作成し、その中間アレイに対応する光フットプリント情報の計算さ
れた正規化値を入れる。中間アレイの各入力を対応する正規化光フットプリントに結び付
けるために中間アレイ用の中間記録を維持する。中間アレイおよび中間記録を中間行列の
表記として解釈し、前記中間アレイに転置行列演算を適用する。
【００６３】
この正規化光フットプリント情報を各々のプロジェクタピクセルに対応するグループで
計算するプロセスは１つの光フットプリントを構成する光輸送アレイのグループの二乗の
総計を生成し、光輸送アレイ入力の各入力を総計で割ることからなることもさらに特記さ
れる。
【００６４】
任意の場面においてプロジェクタ−カメラシステムの光輸送行列Ｔにシミュレートされ
た表示制約を課す別の方法では次の方法に従うことができる。光輸送行列Ｔの各行につい
て、光輸送行列Ｔの共通行に沿った行列入力を比較し、共通行における最高値の行列入力
以外をすべて無効化する。結果として得られた行列は改変光輸送行列Ｔ*となる。この方
法で、行列入力はゼロ値を割り当てられることにより無効化される。前と同じように、こ
の方法は表示制約が真にサポートされていないものも含みどのような任意の場面にでも用
いることができる。従って、任意の場面が前記プロジェクタから前記カメラへの光パスの
間に光を拡散する物体が含まれていても問題ない。改変光輸送行列は相変わらず光拡散効
果を補正するのに有効である。改変光輸送行列Ｔ*は相変わらずデュアル・フォトグラフ
ィでの使用に適していることはさらに有用である。
【００６５】
前と同様、改変光輸送行列Ｔ*の推定逆行列は、改変光輸送行列Ｔ*における各列を順に
目標列として特定し、前記目標列に関し目標列の無効化されていない入力値の正規化値を
計算すること、前記改変光輸送行列Ｔ*と等しいサイズの中間行列を作成すること、改変
光輸送行列における対応目標列の計算された正規化値を中間行列の各列に入れることで、
中間行列の埋められた各列における各正規化値は改変光輸送行列Ｔ*の対応列における無
効化されていない入力値と１対１の対応を維持している、および転置行列演算を前記中間
行列に適用することにより生成することができる。
【００６６】
この方法で、改変光輸送行列の対応目標列における無効化されていない入力値の正規化
値が入っていない中間行列への値の入力はゼロ値が入れられる。さらに、目標列に関し目
標列の無効化されていない入力値の正規化値を計算するプロセスは目標列の無効化されて
いない入力値のみの二乗の総計を生成し、目標値の無効化値をすべて無視し、無効化され
ていない各値を総計で割ることからなる。
【００６７】
別の言い方をすると、中間行列を行列Ξとし、改変光輸送行列Ｔ*の目標列を列Ｔ*ｒと
し、行列Ξの対応する列を列Ξｒとすると、行列Ξの構成と入力はΞｒ＝Ｔ¬＊ｒ／（‖
Ｔ＊ｒ‖）2と定義される。
【００６８】
本発明の別の実施形態はプロジェクタをカメラに関連付ける較正情報で定義される異な
ったデータ（すなわち較正データ）間の相互関係を物理的メモリ内で配列する方法である
。方法は次の工程を有することができる。（ａ）プロジェクタのピクセルバッファ、カメ
ラピクセル座標バッファ、およびカメラピクセルのＲＧＢバッファを定義すること、（ｂ
）プロジェクタの各プロジェクタピクセルについて較正情報に従い、カメラのプロジェク
タピクセルに対し較正関係を有するカメラピクセルを関連カメラピクセルグループに収集
すること、（ｃ）カメラピクセルの座標バッファ内で、カメラ内の各カメラピクセルのＸ
−Ｙ座標位置情報セットを維持することで、Ｘ−Ｙ座標位置情報セットは関連カメラピク
セルグループに対応する座標グループに配列され、各座標グループ内におけるＸ−Ｙ座標
位置情報セットはカメラピクセルの座標バッファ内で連続的に配列されること、（ｄ）カ
メラピクセルのＲＧＢバッファ内で、較正情報で判定される各カメラピクセルの較正ＲＧ
Ｂ値を維持することで、較正ＲＧＢ値は関連カメラピクセルグループに対応するＲＧＢグ
ループに配列され、各ＲＧＢグループ内における較正ＲＧＢ値セットはカメラピクセルの
座標バッファ内におけるＸ−Ｙ座標位置情報のセットの配列を映すような形でカメラピク
セルのＲＧＢバッファ内において連続的に配列されること、および（ｅ）プロジェクタピ
クセルのバッファ内で、プロジェクタのプロジェクタピクセル毎に別個のプロジェクタの
ピクセルデータセットを定義することで、プロジェクタのピクセルデータセットは各プロ
ジェクタのピクセルデータセットとプロジェクタからそれに相関するプロジェクタピクセ
ルとの間で識別可能な１対１の相関を維持するようにプロジェクタ内のプロジェクタピク
セル配列に相関する形で配列され、プロジェクタのピクセルデータセットは工程（ｂ）で
定義された対応関連カメラピクセルグループ内のカメラピクセル数を示す関連カメラピク
セル総数を含み、プロジェクタのピクセルデータセットはさらに対応関連カメラピクセル
グループ内の第１カメラピクセルの、カメラピクセルの座標バッファ内における格納位置
を特定する位置インジケータを含むこと。
【００６９】
本方法の工程（ｅ）内で、プロジェクタのピクセルデータセットは前記プロジェクタ内
におけるプロジェクタピクセルの連鎖配列に相関した連鎖の形で配列される。
【００７０】
本方法において、特定のプロジェクタピクセルに関連する任意のカメラピクセルのＸ−
Ｙ座標位置情報セットは特定のプロジェクタピクセルに対応する関連カメラピクセルグル
ープから望まれるカメラピクセルを選択し、プロジェクタピクセルのバッファ内で特定の
プロジェクタピクセルに相関するプロジェクタのピクセルデータセットを特定し、特定さ
れたプロジェクタのピクセルデータセット内の位置インジケータをアクセスし、望まれる
カメラピクセルの関連カメラピクセルグループ内における連鎖位置の場所で判定されるオ
フセット分アクセスされた位置インジケータを増分することにより目標アドレスを生成し
、目標アドレスにおけるカメラピクセルの座標バッファ内に格納されるＸ−Ｙ座標位置情
報セットをアクセスすることにより得られる。さらに、望まれるカメラピクセルの較正Ｒ
ＧＢ値は目標アドレスにおけるカメラピクセルのＲＧＢバッファ内に格納される較正ＲＧ
Ｂ値をアクセスすることにより得られる。
【００７１】
さらに本方法において、カメラピクセルの座標バッファにおけるアドレス増分はＸ−Ｙ
座標位置情報セットにより決定され、カメラピクセルのＲＧＢバッファにおけるアドレス
増分は較正ＲＧＢ値により決定され、各カメラピクセルの較正ＲＧＢ値のメモリ格納は各
Ｘ−Ｙ座標位置情報セットとは異なったバイト数を必要とする。
【００７２】
本方法はさらに、複数の量子化数値レベルを定義すること、および各関連カメラピクセ
ルグループ内のカメラピクセル数に従い関連カメラピクセルグループを対応量子化数値レ
ベルに収集すること、を含むことができる。さらに、個別の量子化数値レベル内における
関連カメラピクセルグループの収集をマルチコア処理システムの異なった処理コアに対し
使用可能にすることができる。加えて、複数の量子化数値レベルを定義する前に関連カメ
ラピクセルグループの最小および最大のものを特定し、量子化数値レベルを最小から最大
の範囲内になるよう定義することによりすることにより最小から最大の範囲を定義するこ
とができる。量子化レベルは最小から最大の範囲内の区分として目標関連カメラピクセル
グループを選択することによりさらに定義することができ、量子化レベルは目標関連カメ
ラピクセルグループ内のカメラピクセル数に等しく設定される。
【００７３】
加えて各量子化レベル内において、量子化レベルより少ないカメラピクセルを有する関
連カメラピクセルグループはＲＧＢ値がゼロであるダミーカメラピクセルで嵩上げされ各
々のカメラピクセルの合計数をその量子化レベルに引き上げる。このように、各量子化レ
ベル内において、量子化レベルはダミーカメラピクセルによる嵩上げ前の最大関連カメラ
ピクセルグループに等しく設定される。
【００７４】
本方法はさらに第１バイトサイズの第１データ単位を有する第１メモリを提供すること
を含むことができ、カメラピクセルのＲＧＢバッファは第１バイトサイズより小さいバイ
トサイズを有する第２データ単位を有し、カメラピクセルのＲＧＢバッファは第１メモリ
からのデータ単位で埋められ、カメラピクセルのＲＧＢバッファからのデータは第２デー
タ単位でアクセスされる。この場合第１データ単位は第２データ単位より１６倍大きいこ
とがあり得る。
【００７５】
上述の方法はさらに、各々偶数のバイトで定義される第１データ単位を有する第１メモ
リを提供すること、第１メモリを奇数バイトのデータで埋めること、第１メモリ内におけ
る第１データ単位の１つ内にある奇数バイトのデータの選択された１つを、奇数バイトデ
ータ内のバイト数にオフセット値を掛け、結果を第１データ単位内のバイト数で割ること
によりアクセスすること、を含むことができる。この場合、オフセット値は開始点から前
記奇数バイトのデータの選択された１つまで増分する必要のある奇数バイトのデータの数
となるよう選択することができる。加えて奇数バイトのデータは３バイトのＲＧＢデータ
であることができ、カメラピクセルのＲＧＢバッファは第１メモリからの奇数バイトのデ
ータ単位で埋められることができる。
【発明を実施するための最良の形態】
【００７６】
添付図面と併せて以下の説明およびクレームを参照することにより他の目的および成果
と共に発明のより深い理解が明らかになろう。
【００７７】
カメラ較正手法をプロジェクタに適用するためには、プロジェクタが画像を取り込めな
ければならない。つまり、プロジェクタが画像を取り込むことができたら、プロジェクタ
−カメラシステムはマルチカメラシステムのように扱うことができ、プロジェクタ−カメ
ラシステムを較正する標準的なカメラ較正手法（上記に説明）を用いることができるかも
しれない。言い換えれば、プロジェクタを擬似カメラとして扱うことができれば、上述の
マルチカメラシステムのカメラ較正段階に類似した方法で実カメラとともに較正すること
ができ、以前にプロジェクタ−カメラシステムを較正するために用いられた「ブートスト
ラップ的」プロジェクタ較正段階を排除できるかもしれない。
【００７８】
図２（ａ）に関し、本発明に従った撮像構成は実プロジェクタ２１および実カメラ２５
を含み得る。実プロジェクタ２１はデジタルプロジェクタであることが好ましく、ｐ行お
よびｑ列の個別の撮像映写要素（すなわちプロジェクタピクセルｊ）からなる撮像映写ア
レイ（すなわちプロジェクタピクセルアレイ２７）を含む撮像要素を有する。プロジェク
タピクセルアレイ２７は実プロジェクタ２１の内部にあり、説明の便宜上図２（ａ）にお
いて点線の正方形内の十字線で示される。実プロジェクタ２１は液晶表示（ＬＣＤ）型、
デジタル光処理（ＤＰＬ（登録商標））型、反射型液晶パネル（Liquid Crystal On Sili
con＝ＬＣＯＳ）、または他のデジタル映写技術型であることが好ましい。
【００７９】
実カメラ２５はｍ行およびｎ列の個別のカメラピクセルｉ（すなわち画像センサ要素ま
たは受光ピクセル）からなる実カメラピクセルアレイ２９（すなわち受光アレイまたは画
像センサアレイ）を含む画像センサを有するデジタルカメラであることが好ましい。簡単
にするため、実カメラピクセルアレイ２９は実カメラ２５上に示されるが、実カメラピク
セルアレイ２９は実カメラ２５の内部にあることが理解されよう。
【００８０】
実プロジェクタ２１および実カメラ２５を用いたこの物理的構成は「根本」構成と呼ば
れることが好ましい。実プロジェクタ２１内の個別のプロジェクタピクセルｊから発射さ
れた光線は不規則なまたは平面の形状を有し得る映写表面（すなわち表示環境または場面
）から反射されることにより実映像２３を形成し、光線の一部は最終的に実カメラ２５内
の画像センサに到達する。一般的に各光線は場面で分散、反射、および屈折し、実カメラ
ピクセルアレイ２９にわたりいくつか異なった位置でカメラの画像センサに当たる。この
ように、実プロジェクタ２１の撮像されたプロジェクタピクセルｊから放射された１つの
光線が実カメラ２５に到達すると、個々に投射された光線はｍ×ｎの画像を実カメラピク
セルアレイ２９上で形成し、個々のカメラピクセルｉは投射光線から一定量の光を受ける
。
【００８１】
従って、理想的には１つのプロジェクタピクセルｊをオンにして１つの光線を放射させ
１つのカメラピクセルｉに当たるようにして１つのプロジェクタピクセルｊを１つのカメ
ラピクセルｉに関連付ける１つの光輸送係数を判定することができるように見えるかもし
れないが、実際にはそうでない。実際には実カメラピクセルアレイ２９全体が放射された
１つの光線からの光強度の異なった寄与を受ける。従って、個々のプロジェクタピクセル
ｊ各々から放射される各光線は実カメラピクセルアレイ２９内のカメラピクセルｉ各々に
対し１つの異なった組、またはアレイ、の個別的光輸送係数を生成する。従って、各組（
すなわちアレイ）は各カメラピクセルｉに対し１つとなる（ｍ×ｎ）［すなわちｍ掛ける
ｎ］の個別的光輸送係数からなることになる。
【００８２】
光輸送係数の各組を係数の列として配列し複合された光輸送行列Ｔを形成すると、複合
された光輸送行列Ｔは個別のプロジェクタピクセルｊ各々に対し異なった光輸送係数の列
を有することになる。さらに、各列内の各光輸送係数入力（すなわち行列要素）と各カメ
ラピクセルとの間には１対１の対応があるので、各列は１つのプロジェクタピクセルｊを
オンにした結果、実カメラ２５で取り込まれた画像全体を表す。従って、光輸送行列Ｔ全
体（すなわち複合の）は（ｐ×ｑ）［すなわちｐ掛けるｑ］列（オンにされた各個別のプ
ロジェクタピクセルｊにつき１列［すなわち取り込み画像］）および（ｍ×ｎ）行（各個
別のカメラピクセルｉにつき１行）からなる。
【００８３】
以下の考察において実投影画像を、（ｐ×ｑ）要素（各プロジェクタピクセルｊにつき
１つ）を有する実取り込みベクトルとしての第１ベクトルＲｐｒｊｃｔ（すなわち実投影
ベクトル）として、また結果としてもたらされる実取り込み画像を、（ｍ×ｎ）要素（各
カメラピクセルｉにつき１つ）を有する実取り込みベクトルとしての第２ベクトルＲｃｐ
ｔｒ（すなわち実取り込みベクトル）として見ることが役立つ。
【００８４】
実投影画像（すなわちプロジェクタピクセルアレイ２７全体を用いて投影した画像）は
（ｐ×ｑ）の実取り込みベクトルとしての第１ベクトルＲｐｒｊｃｔ（すなわち「ｐ掛け
るｑベクトル」と表される記号、および対応する実取り込み画像（すなわち実カメラピク
セルアレイ２９全体を用いて取り込まれた画像）は（ｍ×ｎ）の実取り込みベクトル（す
なわち「ｍ掛けるｎベクトル」）と表される記号を用いると、実プロジェクタ２１と実カ
メラ２５との間の光輸送関係は、
【００８５】
【数１】
2009095015.tif 000003
と書くことができ、光輸送行列Ｔは実プロジェクタ２１を実カメラ２５に関連付ける複
合光輸送行列である。光輸送行列Ｔは例えば個々かつ別々に各プロジェクタピクセルｊを
オンにして各個別的なカメラピクセルｉの対応光輸送係数を判定することにより前以て生
成されていることが理解されよう。
【００８６】
要約すると、各プロジェクタピクセルｊは実カメラピクセルアレイ２９全体にわたり拡
散される光線をもたらすので、各個別のカメラピクセルは各個別のプロジェクタピクセル
ｊから受けた所定の光特性の強度値を示す異なった値の光輸送係数を有する。本実施形態
で、この光特性は光強度の尺度であることが好ましい。従って、各プロジェクタピクセル
ｊは（ｍ×ｎ）の個別的光輸送係数からなる列をもたらし、各係数は各カメラピクセルｉ
が受けた光強度の量を示す。実プロジェクタ２１は（ｐ×ｑ）のプロジェクタピクセルｊ
を有するので、光輸送行列Ｔは（ｐ×ｑ）列［各プロジェクタピクセルｊにつき１列］お
よび（ｍ×ｎ）行［各カメラピクセルｉにつき１行］を有する。従って、光輸送行列Ｔは
従来非常に大きく、（ｐ×ｑ×ｍ×ｎ）の個別の光輸送係数からなっていた。
【００８７】
図２（ｂ）に関し、「デュアル」な構成において実プロジェクタ２１はプロジェクタピ
クセルアレイ２７とサイズが等しい仮想カメラピクセルアレイ２７”を有する仮想カメラ
２１”で置き換えられる。このように仮想カメラ２１”はｐ行掛けるｑ列の仮想カメラピ
クセルｊ”からなる仮想カメラピクセルアレイ２７”を有する。同様にこの「デュアル」
な構成において、実カメラ２５は実カメラピクセルアレイ２９とサイズが等しい仮想プロ
ジェクタピクセルアレイ２９”を有する仮想プロジェクタ２５”で置き換えられる。この
ように仮想プロジェクタ２５”はｍ行掛けるｎ列の仮想プロジェクタピクセルｉ”からな
る仮想プロジェクタピクセルアレイ２９”を有する。
【００８８】
この場合、仮想映像２３”（仮想プロジェクタ２５”により投影される）は（ｍ×ｎ）
の仮想投影ベクトルＶｐｒｊｃｔ”で表すことができる。同様に、仮想カメラ２１”によ
り取り込まれた仮想取り込み画像は（ｐ×ｑ）仮想取り込みベクトルＶｃｐｔｒ”で表す
ことができる。従って、このデュアル構成において仮想取り込みベクトルＶｃｐｔｒ”は
デュアル光輸送行列Ｔ”により仮想投影ベクトルＶｐｒｊｃｔ”に関連付けられる。ヘル
ムホルツの相反性の原理により、光輸送は双方向において等しい。従って、デュアル構成
（すなわちデュアリティ変換構成）に対するデュアル光輸送行列Ｔ”は次の関係で仮想取
り込みベクトルＶｃｐｔｒ”を仮想投影ベクトルＶｐｒｊｃｔ”に関連づける。
【００８９】
【数２】
2009095015.tif 000004
【００９０】
しかしこの関係はデュアル光輸送行列Ｔ”を構成し、仮想的に投影された画像を仮想的
に取り込まれた画像に関連付ける大量の「仮想」光輸送係数をどのように判定できるかと
いう問題を提議する。注目すべきは、光輸送行列Ｔからそのデュアル光輸送行列Ｔ”への
デュアリティ変換は実光輸送行列に対し転置行列演算を行うことにより達成される。従っ
て、デュアル光輸送行列Ｔ”は光輸送行列Ｔの転置で、Ｔ”＝ＴTおよびＶｃｐｔｒ”＝
ＴT＊Ｖｐｒｊｃｔ”となる。以降、ＴTをデュアル光輸送行列という。
【００９１】
行列計算方法で周知のように、一般的な［ｘ×ｙ］行列Ａの転置行列演算は上付き文字
「Ｔ」を加えることにより示され（例えばＡTのように）、第１列が行列Ａの第１行、第
２列は行列Ａの第２行、第３列は行列Ａの第３行、以下同様、である［ｙ×ｘ］の行列で
定義される。容易に明らかなように、この行列演算は単に第１要素を中心として元の行列
Ａを反転させ、その第１要素（すなわち位置（１，１）において）は変化せず、第１列の
下端が第１行の終りになるようにする。従って、根本構成に対する光輸送行列Ｔを獲得、
あるいは別途判定できれば、デュアル構成に対するデュアル光輸送行列Ｔ”は上述のよう
に光輸送行列Ｔを反転させてその転置されたデュアル光輸送行列ＴTを得ることにより容
易に計算できる。以下のさらなる考察において、デュアル光輸送行列および転置されたデ
ュアル光輸送行列ＴTは互換的に用いることができる。
【００９２】
しかし、光輸送行列Ｔを判定するのに簡略化された方法を提供できれば、デュアリティ
変換については光輸送行列Ｔから直接にデュアル光輸送行列ＴTを判定できることが特記
される。光輸送行列Ｔの判定を簡略化する方法を提案する前に、まず光輸送行列Ｔを判定
するための従来の方法の難しさをいくつか考察することが有益である。
【００９３】
上記で説明されたように、光輸送行列Ｔは実プロジェクタ２１の各個別のプロジェクタ
ピクセルｊと実カメラの個別のカメラピクセルｉすべてとの間で対応する個別の光輸送係
数を留保している。従って、個別のプロジェクタピクセルｊとすべてのカメラピクセルｉ
との間で対応する各個別の光輸送係数の判定はプロジェクタピクセルアレイ２７における
他のプロジェクタピクセルｊからの光線寄与を避けるべきである。
【００９４】
これを達成するために、まずｊ番目のプロジェクタピクセルを「１」の値に設定し（す
なわちオンにし）、プロジェクタピクセルアレイ２７における他のすべての要素をゼロ値
に設定する（すなわちオフにする）ことにより作成された初期の実投影画像_ｊを検討す
ることができる。この場合、ｊ番目のピクセルは光輸送係数を判定するためにテストされ
るプロジェクタピクセルである。これらのテスト条件はｊ番目のプロジェクタピクセルに
結び付いた入力位置において「１」の値を有し、すべての他のプロジェクタピクセルをゼ
ロの値に設定している実投影ベクトルＲｐｒｊｃｔ_ｊとして記号化することができる。
次に実投影画像_ｊを取り込み対応する（ｍ×ｎ）の実取り込みベクトル_ｊを判定するこ
とができ、これは光輸送行列Ｔのｊ番目の列を定義する。
【００９５】
所定のｊ番目のプロジェクタピクセルに対する光輸送行列Ｔの光輸送係数の列を得るこ
の方法は光輸送行列Ｔ全体を取り込む系統だった方法は実プロジェクタ２１の各プロジェ
クタピクセルｊを順にオンにし（プロジェクタピクセルを１つずつ）、実カメラでその対
応する実画像としての取り込み画像ベクトルＲｃｐｔｒ_ｊを取り込むことであることを
示唆している。ｐ×ｑ個のプロジェクタピクセルｊがすべて順にオンにされ、それらに対
応する実画像としての取り込み画像ベクトルＲｃｐｔｒ_ｊが取り込まれると、取り込ま
れたすべての取り込み画像ベクトルＲｃｐｔｒ_１〜Ｒｃｐｔｒ_（ｐ×ｑ）はグループ化
され光輸送行列Ｔを形成する。各取り込み画像ベクトルＲｃｐｔｒ_ｊは光輸送行列Ｔに
おいて光輸送係数入力の１列をなす。これは（ｐ×ｑ）列および（ｍ×ｎ）行の個別の光
輸送係数を有する光輸送行列Ｔをもたらす。
【００９６】
しかし光輸送行列Ｔを判定するためのこの簡単で系統だったプロセスは（ｐ×ｑ）の画
像投影取り込み工程を必要とする、明らかに時間のかかるプロセスである。さらに、得ら
れる光輸送行列Ｔは非常に大きく、（ｐ×ｑ×ｍ×ｎ）の要素からなる。光輸送行列Ｔの
サイズから、デュアル画像を計算するのはデュアル光輸送行列ＴT（光輸送行列Ｔと同数
の要素を有する）と仮想投影ベクトルＶｐｒｊｃｔ”（（ｍ×ｎ）の要素を有する長いベ
クトルである）との間で行列乗算を必要とする極めて計算集中的な演算である。
【００９７】
過去において、光輸送行列Ｔを判定するプロセスを速めるために実プロジェクタ（図１
（ａ）の実デジタルプロジェクタ１１のような）の複数ピクセルをいちどきに適応的にオ
ンにすることにより光輸送行列Ｔを判定する仕組みが提案されている。しかし、この方法
は複雑で、投影される画像が複数の区域に分割され、各区域から１つのプロジェクタピク
セルを選択する必要がある。選択されたプロジェクタピクセルはすべて同時に点灯され、
かつ同時に点灯されたプロジェクタピクセルはその間の光干渉を排除するために互いに充
分な距離を確保するようにする。従って、この仕組みは選択された個々のプロジェクタピ
クセル間の光干渉が最小限であることを確保する必要があるので場面に依存する（すなわ
ち表示環境に依存する）。このように複数区域の作成は表示環境に依存する。この仕組み
は投影区域の物理的な検査および手動の設定を必要とするので、一般的な使用または自動
化にあまり適さない。
【００９８】
本発明の一特徴は光輸送行列Ｔの決定における手順工程を削減する方法を提案する。す
なわち、（ｐ×ｑ）の画像投影取り込み工程（およびｐ×ｑの取り込み画像の格納）を必
要とする代わりに、ここで提案される方法は「ｐ足すｑ」［すなわち（ｐ＋ｑ）］画像し
か取り込まず、以下に説明する特定の状況においてこの数はさらに劇的に減らすことがで
きる。
【００９９】
本方法は次の仮定に基づいている。つまり殆どのプロジェクタ−カメラ表示用途におい
て、実プロジェクタ２１から放射される任意の別個の光線１ｂおよび光線１ｃは通常、実
カメラピクセルアレイ２９における別個の部分に当たる。すなわち、プロジェクタピクセ
ルｊから放射された任意の光線は実カメラピクセルアレイ２９全体にわたって拡散されず
、実カメラピクセルアレイ２９内の明確な部分で光フットプリントを形成する小グループ
のカメラピクセル内に主に集中する。さらに、隣接する光フットプリントにおいて重なり
合いはないか無視できる（すなわち別個のプロジェクタピクセルｊから投射された別個の
光線が当たるカメラピクセルｉに重複が殆どない）。この理想的な光線分布条件は実カメ
ラ２５の解像度がが実プロジェクタ２１の解像度よりはるかに高い（すなわち少なくとも
２倍高い）場合に仮定できる。
【０１００】
別個の光線が重ならないというこの仮定はもちろん一般的に正しくない。例えば、実カ
メラ２５の解像度が実プロジェクタ２１の解像度に匹敵するか、またはそれより小さい場
合、または光拡散材料が実プロジェクタ２１から実カメラピクセルアレイ２９に投影され
た光線の光パスの間に位置する場合理想的な光線分布条件は達成できないかもしれない。
例えば、映写場面（すなわち表示環境または映写表面／領域）がコップ一杯の牛乳など光
拡散材料を含む場合、投射された光線は拡散され、実カメラピクセルアレイ２９において
異なった光線間でかなり光の重なり合いがある可能性は非常に増える。しかし高解像度の
映写を確保するよう設計された表示構成はこのような光拡散材料がない可能性が高く、投
射された光のフットプリントは各々隣とは実質的に区別されることが殆ど保証される。つ
まり、高解像度の映写が望ましい会場や設定の場合、投影画像の光パスに沿って光拡散物
品はない可能性が高い。
【０１０１】
本第１実施形態において、実カメラ２５のピクセル解像度は実プロジェクタ２１のそれ
より少なくとも４倍高く、映写場面には光拡散材料がなく、理想的な光線分布状態の条件
が満足されると仮定される。しかし、実カメラ２５の解像度が実プロジェクタ２１より高
いものに限定されず、または実プロジェクタ２１と実カメラ２５との間の光パスが光拡散
材料のないものに限定されない、より一般的な状況に関する別の実施形態も下記に説明さ
れる。
【０１０２】
この仮定およびベクトル生成方法の最初の図形的描写が図３〜図５に示される。図３を
参照すると、本発明の図示例は実カメラピクセルアレイ２９より低いピクセル解像度を有
するプロジェクタピクセルアレイ２７を示す。説明の便宜上、プロジェクタピクセルアレ
イ２７は６行と７列（すなわちｐ＝６でｑ＝７）のみからなり合計解像度が「４２」のプ
ロジェクタピクセルｊ（すなわち（６×７）要素）となるように図示される。同様に説明
の便宜上、実カメラピクセルアレイ２９は１２行と１４列（すなわちｍ＝１２でｎ＝１４
）のみからなり合計解像度が「１６８」のカメラピクセルｉ（すなわち（１２×１４）要
素）となるように図示される。実カメラピクセルアレイ２９の解像度はプロジェクタピク
セルアレイ２７の解像度より４倍高く、プロジェクタピクセルアレイ２７から実カメラピ
クセルアレイ２９への光パス内に光拡散材料は存在せず、従って、本第１実施形態の理想
的な光線分布条件が満足されていることが特記される。
【０１０３】
図３においてプロジェクタピクセルアレイ２７内の各正方形は異なるプロジェクタピク
セルｊを表す。本例において、第３行と第５列に位置するプロジェクタピクセルｊの光輸
送係数を得ることが求められる（すなわちプロジェクタピクセルｊ＝（５，３）がテスト
されるピクセルである）。上記に説明されるように光拡散、または光散乱、は無視される
。このように、プロジェクタピクセルｊ＝（５，３）はオンにされている、すなわち点灯
されている、ことが白い正方形で示されるように図示され、他のすべてのプロジェクタピ
クセルは濃い灰色の正方形で示されるようにオフのままとして図示される。プロジェクタ
ピクセルｊ＝（５，３）は光線１を放射し、これはプロジェクタレンズ３を通過した後映
写表面５（これは基本的に実プロジェクタ２１および実カメラ２５が位置する環境で決定
される一般的な映写場面である）に当たる。光拡散は本例において無視されるので、光線
１は映写表面５から反射し、カメラレンズ７を通過した後、カメラピクセルｉのグループ
に当たり、円で示される第１光線フットプリントＦｔ１で示されるように光線フットプリ
ントを形成する。各プロジェクタピクセルｊの解像度はカメラピクセルｉのそれよりはる
かに粗いので、実カメラピクセルアレイ２９に作成された第１光線フットプリントＦｔ１
は数個のカメラピクセルｉを覆い、第１光線フットプリントＦｔ１の中央にあるカメラピ
クセルｉ（白い正方形で示される）がもっとも高い光強度を受け、第１光線フットプリン
トＦｔ１の周辺部にあるカメラピクセルｉ（薄い灰色の正方形で示される）はより少ない
光強度を受け、第１光線フットプリントＦｔ１内にないカメラピクセルｉ（濃い灰色の正
方形で示される）は光を受けない。次に、実カメラピクセルアレイ２９内のすべてのカメ
ラピクセルの光強度測定を判定することによりテストされるプロジェクタピクセルｊ＝（
５，３）に対応する各カメラピクセルｉの光輸送係数を決定することができる。
【０１０４】
上記に説明されたように、プロジェクタピクセルアレイ２７を第１ベクトル（実取り込
みベクトルとしての第１ベクトルＲｐｒｊｃｔ）と見て、得られる実カメラピクセルアレ
イ２９にわたる取り込み画像を第２ベクトル（実取り込みベクトルとしての第２ベクトル
Ｒｃｐｔｒ）と見ることが役に立つ。実取り込みベクトルとしての第１ベクトルＲｐｒｊ
ｃｔをどのように構築できるかを図示したものが図４に示される。まずプロジェクタピク
セルアレイ２７を６つの行、行ｒｏｗ_１〜ｒｏｗ_６に分け、次に各行を９０度回転させ
６つの列セグメントｃｏｌ_ｓｅｇ_ｒ１〜ｃｏｌ_ｓｅｇ_ｒ６を形成する。６つの列セグ
メントｃｏｌ_ｓｅｇ_ｒ１〜ｃｏｌ_ｓｅｇ_ｒ６を次に端と端をつないで（ｐ×ｑ）要素
（すなわち（６×７）または４２要素）からなる１つの合成列を形成する。本例において
、要素ｃｏｌ_１_ｒｏｗ_１９（すなわち列ｃｏｌ_１の上から１９番目の要素）はプロジ
ェクタピクセルアレイ２７のアレイ位置（５，３）にあるプロジェクタピクセルｊに対応
する。要素ｃｏｌ_１_ｒｏｗ_１９は白い正方形として示され、他の要素はすべて暗くさ
れた正方形で、要素ｃｏｌ_１_ｒｏｗ_１９がオンになっている唯一のプロジェクタピク
セルであることを示している。
【０１０５】
同様のプロセスが図５において実カメラピクセルアレイ２９に適用され、実取り込みベ
クトルとしての第２ベクトルＲｃｐｔｒが構築される。本例の場合、実カメラピクセルア
レイ２９はｍ行（すなわち１２行）に分けられ、各々９０度回転させられ図示されていな
い１２の列セグメントを形成する。図４でプロジェクタピクセルアレイ２７の配置を変え
たのと同じように、１２個の列セグメントは端と端をつないで（ｍ×ｎ）要素（すなわち
（１２×１４）または１６８要素）からなる１つの合成列ｃｍｒａ_ｃｏｌ_１（すなわち
実取り込みベクトルとしての第２ベクトルＲｃｐｔｒ）を形成する。
【０１０６】
本例において、アレイ位置（５，３）にあるプロジェクタピクセルｊから放射される光
線はカメラピクセルアレイ２９上に第１光線フットプリントＦｔ１を形成すると仮定され
る。第１光線フットプリントＦｔ１の範囲は円で示され、実カメラピクセルアレイ２９の
４つの異なる行の１２個のカメラピクセルｉを包含する。第１光線フットプリントＦｔ１
内のカメラピクセルｉは図３または図４のプロジェクタピクセルｊ＝（５，３）（すなわ
ち行列要素ｃｏｌ_ｌ_ｒｏｗ_１９）により放射された光線からの光強度の少なくとも一
部を受ける。第１光線フットプリントＦｔ１の中央にあるカメラピクセルはもっとも多く
光強度を受け、白い正方形で識別され、第１光線フットプリントＦｔ１の周辺部にあるカ
メラピクセルはより少なく光強度を受け、薄い灰色の正方形として識別される。第１光線
フットプリントＦｔ１内にないカメラピクセルは濃い灰色の正方形で示される。図５に図
示されるように、これらの白および薄い灰色の正方形は取り込み画像内の非ゼロ要素をな
し、実取り込みベクトルとしての第２ベクトルＲｃｐｔｒ（すなわち列ｃｍｒａ_ｃｏｌ_
１）内で多数のゼロ値要素（ずなわち濃い灰色の正方形）の間に散在する白および薄い灰
色の正方形（すなわち非ゼロ値のＮＺ要素）として示される。
【０１０７】
プロジェクタピクセルｊからの１つの光線の光フットプリントがどのように数個のカメ
ラピクセルｉを覆うかの拡大図を提供する第２の例が図６および図７に示される。図６に
おいて、別の典型的な実カメラピクセルアレイ２９の部分図は第１行において１〜ｎまで
、第２行において（ｎ＋１）〜（２ｎ）まで、および第３行において（２ｎ＋１）〜（３
ｎ）まで等々と水平に番号が付けられた個々のカメラピクセルｉを示す。このシーケンス
を続けると、最下段の行に沿ったカメラピクセルｉは（ｍ−１）ｎ＋１〜（ｍｎ）まで番
号が付けられることが理解されよう。
【０１０８】
別の典型的な１つのプロジェクタピクセルｊからの１つの光線で、実カメラピクセルア
レイ２９に作用する第２光線フットプリントＦｔ２が円として示される。例示の目的から
、第２光線フットプリントＦｔ２内にないカメラピクセルｉ［すなわちｊ番目のプロジェ
クタピクセルから放射された１つの光線が当たらないカメラピクセルｉ］は非常に暗く示
され、第２光線フットプリントＦｔ２により部分的に覆われるカメラピクセルｉは多少暗
く示され、完全に第２光線フットプリントＦｔ２内にあるカメラピクセルｉは暗くされず
に示される。技術的に周知のように、第２光線フットプリントＦｔ２に少なくとも部分的
に覆われる各カメラピクセルｉは受けた光の量にに比例する光強度値を記録する。この光
強度値はその個別的なカメラピクセルｉの光輸送係数として割り当てることができる。あ
るいは、各カメラピクセルｉの光輸送係数は個々のカメラピクセルｉにより記録された光
強度値に比例するようにすることもできる。しかし、ｊ番目のプロジェクタピクセルから
の投射ビームが直接当たらないカメラピクセルｉは光強度値がゼロ（またはゼロに近く、
または所定の閾値光強度値未満）になるはずで、これらに対応する光輸送係数も同様に光
強度値がゼロ（またはゼロに近く）になるはずである。
【０１０９】
図７を参照すると、図６の第２光線フットプリントＦｔ２に対応するような取り込み画
像ベクトルＲｃｐｔｒ_ｊ［または光輸送行列Ｔのｊ番目の列］が示される。この光輸送
行列Ｔのｊ番目の列は図６の実カメラピクセルアレイ２９において番号の付けられたカメ
ラピクセルｉに各々対応する、光輸送係数の番号付けされた垂直シーケンスとして図示さ
れる。取り込み画像ベクトルＲｃｐｔｒ_ｊの数のシーケンスは図６に示される実カメラ
ピクセルアレイ２９における個々のカメラピクセルｉの水平に番号付けされたシーケンス
に追従することが好ましい。図示されるように、取り込み画像化ベクトル内で第２光線フ
ットプリントＦｔ２により覆われたカメラピクセルｉに対応する要素のみ光輸送係数とし
て非ゼロ値、すなわち「ＮＺ」、を有する。他のセンサピクセルはすべて光輸送係数とし
て「ＺＥＲＯ」値を有する。「ＮＺ」は任意の非ゼロ光輸送値を表し、この値は対応する
カメラピクセルｉが受けた光強度の量に関連することが理解されよう。第２光線フットプ
リントＦｔ２は実カメラピクセルアレイ２９の数行にまたがっているので、各行は取り込
み画像ベクトルＲｃｐｔｒ_ｊに順に記載されており、ゼロ値光輸送係数の数個の長いシ
ーケンスが３，４個の非ゼロ、ＮＺ、値光輸送変数の間に散在する。
【０１１０】
光輸送行列Ｔを決定する本新規方法に戻ると、まずプロジェクタピクセルｊの個別の光
輸送係数は光輸送行列Ｔのｊ列にマップすることが特記される。プロジェクタピクセル間
の最小限の重なりを仮定すると、撮像されたプロジェクタピクセルアレイ２７内のプロジ
ェクタピクセルの第１組Ｓ１は光輸送行列Ｔの対応する列の組（プロジェクタピクセル毎
に１つ）にマップすることになる。
【０１１１】
【数３】
2009095015.tif 000005
さらにプロジェクタピクセルの第１組Ｓ１は目標のプロジェクタピクセルｊ、すなわち
テストされる目標プロジェクタピクセル、を含むと仮定される。
【０１１２】
実カメラ２５により取り込まれたプロジェクタピクセルの第１組を同時に活性化するこ
とにより作成される投影画像の取り込み実画像としての第１実画像をＲｃｐｔｒ_Ｓ１と
する。
次にプロジェクタピクセルの第１組Ｓ１とはテストされるプロジェクタピクセルｊのみ共
有するプロジェクタピクセルの第２組Ｓ２、
【０１１３】
【数４】
2009095015.tif 000006
を考える。実カメラ２５により取り込まれたプロジェクタピクセルの第２組を同時に活
性化することにより作成される投影画像の取り込み実画像としての第２実画像をＲｃｐｔ
ｒ_Ｓ２とする。光輸送行列Ｔのｊ番目の列の（テストされる目標プロジェクタピクセル
に対応する、すなわちｊに対応する）光輸送係数は、取り込まれた取り込み実画像として
の第１実画像Ｒｃｐｔｒ_Ｓ１および第２実画像Ｒｃｐｔｒ_Ｓ２より、これらが共有する
唯一の光線フットプリント（すなわち図３、図５、または図６の第１光線フットプリント
Ｆｔ１または第２光線フットプリントＦｔ２に類似）を特定することにより直接得られる
。この共通の光線フットプリントは第１組Ｓ１および第２組Ｓ２が共有する唯一の点灯さ
れたプロジェクタピクセルｊである、目標のプロジェクタピクセルｊから放射された光線
に対応することになる。
【０１１４】
従って、次のステップは取り込み実画像としての第１実画像Ｒｃｐｔｒ_Ｓ１および取
り込み実画像としての第２実画像Ｒｃｐｔｒ_Ｓ２が共有する１つの光線フットプリント
をどのように特定するかを判定することである。この共通の光線のフットプリントを特定
するには取り込み実画像としての第１実画像Ｒｃｐｔｒ_Ｓ１および取り込み実画像とし
ての第２実画像Ｒｃｐｔｒ_Ｓ２双方をピクセル毎に比較して、比較した２つのピクセル
の暗い方を特定する方法がある。例えば第１実画像Ｒｃｐｔｒ_Ｓ１において、個々の光
線フットプリント内の、各々プロジェクタピクセルの第１組Ｓ１の同時点灯に対応する、
センサピクセルのみが非ゼロ（ＮＺ）の光強度値を有し、取り込み実画像としての第１実
画像Ｒｃｐｔｒ_Ｓ１内の他のすべてのピクセルはゼロ値を有する、すなわち比較的暗く
なる。同様に第２実画像Ｒｃｐｔｒ_Ｓ２において、光線フットプリント内の、同時点灯
されたプロジェクタピクセルの第２組Ｓ２に対応するセンサピクセルのみが非ゼロ（ＮＺ
）の光強度値を有し、他のすべてのピクセルはゼロ値（または暗い）を有する（すなわち
所定の閾値未満）。２つの第１組Ｓ１および第２組Ｓ２は目標のプロジェクタピクセルｊ
のみを共有しているので、取り込み画像双方の直接比較で取り込み実画像としての第１実
画像Ｒｃｐｔｒ_Ｓ１および取り込み実画像としての第２実画像Ｒｃｐｔｒ_Ｓ２双方に共
通する唯一の非ゼロ領域（すなわち暗くない領域）を特定することにより光線フットプリ
ント内でプロジェクタピクセルｊに対応するカメラピクセルが迅速に特定される。言い換
えれば、取り込み実画像としての第１実画像Ｒｃｐｔｒ_Ｓ１および取り込み実画像とし
ての第２実画像Ｒｃｐｔｒ_Ｓ２における点灯領域（すなわち光線フットプリント）の交
差点が特定され、この特定された光線フットプリントはテストされる目標のプロジェクタ
ピクセルｊに対応する。
【０１１５】
これを達成する一方法は取り込み実画像としての第１実画像Ｒｃｐｔｒ_Ｓ１および取
り込み実画像としての第２実画像Ｒｃｐｔｒ_Ｓ２双方をピクセル毎に比較し、比較され
た２つのピクセルの暗い方を留保することである。このプロセスは、
【０１１６】
【数５】
2009095015.tif 000007
と表すことができ、列Ｔｊは光輸送行列Ｔのｊ番目の列で、「ＭＩＮ」は取り込み実画
像としての第１実画像Ｒｃｐｔｒ_Ｓ１および取り込み実画像としての第２実画像Ｒｃｐ
ｔｒ_Ｓ２においてより低い値のカメラピクセル（すなわちより低い取り込み光強度値を
有する、より暗いピクセル）が留保され、より高い値（すなわちより明るい）カメラピク
セルは切り捨てられる。このように、留保される唯一の高光強度値は第１組Ｓ１および第
２組Ｓ２双方に共通する光線フットプリントに対応する。
【０１１７】
言い換えれば、各個別のプロジェクタピクセルｊの寄与は実カメラピクセルアレイ２９
のはっきりと区別された部分にマップされるため、カメラピクセルｉ＝１からｉ＝（ｍ×
ｎ）までの中に取り込み実画像としての第１実画像Ｒｃｐｔｒ_Ｓ１および取り込み実画
像としての第２実画像Ｒｃｐｔｒ_Ｓ２に共通で目標のプロジェクタピクセルｊに対応す
るカメラピクセルｉの組Ｌがある。
【０１１８】
【数６】
2009095015.tif 000008
目標のプロジェクタピクセルｊはプロジェクタピクセルの第１組Ｓ１および第２組Ｓ２
の交差点で（すなわち目標のプロジェクタピクセルｊは第１組Ｓ１および第２組Ｓ２双方
に共通する唯一のプロジェクタピクセルである）、
【０１１９】
【数７】
2009095015.tif 000009
となることが再度特記される。従って、目標のプロジェクタピクセルｊに対応しない（
すなわち組Ｌに含まれないピクセル）取り込み画像ピクセル中（取り込み実画像としての
第１実画像Ｒｃｐｔｒ_Ｓ１および取り込み実画像としての第２実画像Ｒｃｐｔｒ_Ｓ２双
方において）、取り込み実画像としての第１実画像Ｒｃｐｔｒ_Ｓ１または取り込み実画
像としての第２実画像Ｒｃｐｔｒ_Ｓ２のいずれかで比較されたカメラピクセルの少なく
とも１つは光を受けていない。光を受けるカメラピクセルは光を受けないカメラピクセル
より明るくなるため、演算ＭＩＮ（Ｒｃｐｔｒ_Ｓ１，Ｒｃｐｔｒ_Ｓ２）は組Ｌに含まれ
るピクセル［すなわち∈Ｌ］のみ点灯され、これは列Ｔｊ、すなわち光輸送行列Ｔにおけ
るｊ番目の列、の良好な概算となる。
【０１２０】
これはプロジェクタピクセルアレイ２７における隣接プロジェクタピクセルの組が列お
よび行（または１点のみで交差する、すなわち１つのプロジェクタピクセルｊのみを共有
する、任意のパターンの対）で点灯され、プロジェクタピクセルの点灯された列に対し取
り込み画像の第１集合Ｒｃｐｔｒ_Ｓｙが作られ、プロジェクタピクセルの点灯された行
に対し取り込み画像の第２集合Ｒｃｐｔｒ_Ｓｘが作られた場合、任意の個別のプロジェ
クタピクセルに対する光輸送係数は双方の集合を比較し点灯された列の取り込み画像が点
灯された行の取り込み画像と交差する組Ｌを特定することにより得られ、交差点はプロジ
ェクタピクセルｊを単独に活性化することにより映写される光線に対応する。
【０１２１】
このように、光輸送行列Ｔを決定する一方法は点灯されたｑ列のプロジェクタピクセル
のｑ個の取り込み画像に対応する画像Ｒｃｐｔｒ_Ｓｙ_１〜Ｒｃｐｔｒ_Ｓｙ_ｑの第１組
を集め、点灯されたプロジェクタピクセルの点灯されたｐ行のｐ個の取り込み画像に対応
する画像Ｒｃｐｔｒ_Ｓｘ_１〜Ｒｃｐｔｒ_Ｓｘ_ｐの第２組を構築することである。次に
プロジェクタピクセルアレイ２７におけるすべてのプロジェクタピクセルｊ＝１〜ｊ＝（
ｐ×ｑ）に対し、行および列の取り込み画像の対、画像Ｒｃｐｔｒ_Ｓｙ_ａおよび画像Ｒ
ｃｐｔｒ_Ｓｘ_ｂが存在し、組としての画像Ｒｃｐｔｒ_Ｓｙ_ａおよび画像Ｒｃｐｔｒ_
Ｓｘ_ｂの交差点は目標のプロジェクタピクセルｊの活性化により作成される光線フット
プリントに対応する。
【０１２２】
従って、投影画像のセット、画像Ｒｐｒｊｃｔ_Ｓｙ_１〜Ｒｐｒｊｃｔ_Ｓｙ_ｑおよび
画像Ｒｐｒｊｃｔ_Ｓｘ_１〜Ｒｐｒｊｃｔ_Ｓｘ_ｐを構築する必要があり、ここで各投影
された画像Ｒｐｒｊｃｔ_Ｓｙ_１〜Ｒｐｒｊｃｔ_Ｓｙ_ｑは任意の投影された画像Ｒｐｒ
ｊｃｔ_Ｓｘ_１〜Ｒｐｒｊｃｔ_Ｓｘ_ｐと対にされ、投影された画像の各対は１つの光線
フットプリントのみを共有する。すなわち、
【０１２３】
【数８】
2009095015.tif 000010
となる。上記の式は｛１…（ｐ×ｑ）｝におけるすべてのプロジェクタピクセルｊにつ
いて投影画像の対が存在し、各々は異なって構成されたパターンを有し、構成されたパタ
ーンの交差点は共通のプロジェクタピクセルｊに対応する１点（すなわちパターンの区分
、または１つの光フットプリント領域）において交差することを意味すると解釈される。
構成されたパターンのこのような対の基本例として垂直な光の線および水平な光の線の投
影対があげられる。この場合、垂直な光の線の取り込み画像と、水平な光の線の取り込み
画像との交差点はテストされる目標のプロジェクタピクセルｊに対応するすべてのカメラ
ピクセルｉ（すなわちテストされるプロジェクタピクセルｊから放射された光線により作
成される光線フットプリント内に入るすべてのカメラピクセルｉ）を含む。
【０１２４】
従って、光輸送行列Ｔ内の任意の列Ｔｊ［ここでｊ＝１〜（ｐ×ｑ）］は画像Ｒｃｐｔ
ｒ_Ｓｙ_１〜Ｒｃｐｔｒ_Ｓｙ_ｑおよび画像Ｒｃｐｔｒ_Ｓｘ_１〜Ｒｃｐｔｒ_Ｓｘ_ｐに
より合成することができる。この特性を満足する方法はピクセル座標を使用することであ
る。画像Ｒｐｒｊｃｔ_Ｓｘ_ｊはプロジェクタピクセルｊに等しいｘ座標を有するピクセ
ルのみオンになる第１投影画像とし、画像Ｒｐｒｊｃｔ_Ｓｙ_ｋはｋに等しいｙ座標を有
するピクセルのみオンになる第２投影画像とする。そうするとＭＩＮ（Ｒｐｒｊｃｔ_Ｓ
ｘ_ｊ，Ｒｐｒｊｃｔ_Ｓｙ_ｋ）はプロジェクタピクセル（ｊ，ｋ）がオンにされたこと
に対応する画像を与える。このプロセスは図８（ａ）、図８（ｂ）、図９（ａ）、図９（
ｂ）、図１０（ａ）、および図１０（ｂ）を参照するとより良く理解できる。
【０１２５】
図８（ａ）において、場面または表示環境は市松格子パターンを有する平たい映写表面
４１として例示される。市松格子パターンは投影光線の対比を提供することにより単に本
説明を分かり易くするために示され、表示環境は全くパターンがなくても良く、不規則な
形状をしていても良いことが理解されよう。各垂直な光の線および水平な光の線の相対位
置は、これらを作成する時にどのプロジェクタピクセルがオンにされたか分かっているた
め、既知のもので、以下により詳細に説明するように、それらの既知の相対移動を用いて
実プロジェクタ２１を較正することができる。
【０１２６】
まず、明るい垂直線、または垂直な光ビーム４７（すなわち投影プロジェクタピクセル
の列から同時に放射された光線の列）が実プロジェクタ２１により映写表面４１に投影さ
れる。この場合、第１の明るい垂直線４７_ｋはプロジェクタピクセルアレイ２７内の、
ｋに等しいｙ座標を有するすべてのプロジェクタピクセルをオンにすることにより生成さ
れる。実カメラ２５が次にこの画像Ｒｃｐｔｒ_Ｓｙ_ｋをプロジェクタピクセルの点灯さ
れた列の一例として取り込む。
【０１２７】
図８（ｂ）では図８（ａ）に類似したすべての要素が同様の参照番号を有するが、実プ
ロジェクタ２１が光線の第２の明るい垂直線４７_ｔを映写表面４１に投影する。この場
合、第２の明るい垂直線４７_ｔはｔに等しいｙ座標を有するすべてのプロジェクタピク
セルをオンにすることにより生成される。実カメラ２５が次にこの画像Ｒｃｐｔｒ_Ｓｙ_
ｔを点灯された映写ピクセル列の別例として取り込む。実プロジェクタ２１はプロジェク
タピクセルアレイ２７のｑ列各々に対し光線の別の明るい垂直線を投影でき、実カメラ２
５は投影された明るい垂直線各々の別の画像を取り込めることが理解されよう。
【０１２８】
図９（ａ）に関し、図８（ａ）および図８（ｂ）に類似したすべての要素は同様の参照
番号を有し、上記に説明される。この場合、実プロジェクタ２１は明るい水平線、すなわ
ち一行の投影（プロジェクタ）ピクセルから同時に映写表面４１に放射された水平な光線
からなる光ビーム４９を映写表面４１に投影することが好ましい。第１の明るい水平線４
９_ｊはｊに等しいｘ座標を有するすべてのプロジェクタピクセルをオンにすることによ
り生成される。実カメラ２５は次にこの画像Ｒｃｐｔｒ_Ｓｘ_ｊをプロジェクタピクセル
の点灯された行の一例として取り込む。
【０１２９】
図９（ｂ）において、実プロジェクタ２１は光線の第２の明るい水平線４９_ｒ（同時
に点灯された個別の光線からなる）を映写表面４１に映写する。前と同じように、第２の
明るい水平線４９_ｒはｒに等しいｘ座標を有するすべてのプロジェクタピクセルをオン
にすることにより生成され得る。実カメラ２５は次にこの画像Ｒｃｐｔｒ_Ｓｘ_ｒをプロ
ジェクタピクセルの点灯された行の別例として取り込む。実プロジェクタ２１はプロジェ
クタピクセルアレイ２７のｐ行各々に対し光線の別の明るい水平線を投影でき、実カメラ
２５は投影された明るい水平線各々の別の画像を取り込めることが理解されよう。
【０１３０】
図８（ａ）からの取り込まれた画像Ｒｃｐｔｒ_Ｓｙ_ｋおよび図９（ａ）からの取り込
まれた画像Ｒｃｐｔｒ_Ｓｘ_ｊをピクセル毎に比較し（あるいは各々の明るい垂直線およ
び明るい水平線のみを比較して）、演算ＭＩＮ（Ｒｃｐｔｒ_Ｓｘ_ｊ，Ｒｃｐｔｒ_Ｓｙ_
ｋ）を用いて比較された２画像のピクセルの内より暗い方のみを留保し２つの内明るい方
を切り捨てると、図１０（ａ）に示される画像４３’が生成される。図１０（ａ）および
図１０（ｂ）において図８（ａ）、図８（ｂ）、図９（ａ）、および図９（ｂ）に類似し
たすべての要素は同様の参照番号を有しているがアポストロフィが加えられ、上記に説明
される。
【０１３１】
画像Ｒｃｐｔｒ_Ｓｘ_ｊのほとんどは画像Ｒｃｐｔｒ_Ｓｙ_ｋと同じであるため（すな
わち、両者ともほとんど平たい映写表面４１上の投影光線による単純な市松格子パターン
からなる）、比較された２つのピクセルの内より暗い方を留保しても結果として得られる
画像の大半は変わらない。つまり、比較された２つのピクセルが比較的同じである場合、
いずれのピクセルを他方の代わりに選んでも結果として得られる画像４３’はあまり影響
されない。しかし、取り込まれた画像Ｒｃｐｔｒ_Ｓｙ_ｋの第１の明るい垂直線４７_ｋ
を取り込まれた画像Ｒｃｐｔｒ_Ｓｘ_ｊの第１の明るい水平線４９_ｊ上にない対応ピク
セルと比較した場合、２つの画像ピクセルのより暗い方を留保することは画像Ｒｃｐｔｒ
_Ｓｙ_ｋからの明るい垂直線のピクセルを切り捨て、画像Ｒｃｐｔｒ_Ｓｘ_ｊからの、プ
ロジェクタピクセルではなく周辺光で照明されたそのままのピクセルを留保することにな
る。従って、明るい垂直線は生成された画像４３’から取り除かれる。同様に画像Ｒｃｐ
ｔｒ_Ｓｘ_ｊの第１の明るい水平線４９_ｊ上のピクセルを画像Ｒｃｐｔｒ_Ｓｙ_ｋの第
１の明るい垂直線４７_ｋ上にない対応ピクセルと比較した場合、２つの画像ピクセルの
より暗い方を留保することは画像Ｒｃｐｔｒ_Ｓｘ_ｊからの明るい水平線上のピクセルを
切り捨て、画像Ｒｃｐｔｒ_Ｓｙ_ｋからの、プロジェクタピクセルではなく周辺光で照明
されたそのままのピクセルを留保することになる。これにより第１の明るい水平線４９_
ｊも生成された画像４３’から取り除かれる。しかし、第１の明るい垂直線４７_ｋが第
１の明るい水平線４９_ｊと交差する領域内では、比較される画像ピクセルは双方とも光
線による影響を示す明るく点灯されたピクセルである。この交差点領域内のこれら２つの
画像ピクセルを比較すると、２つの明るいビームのピクセルのいずれかが画像４１’用に
選択されることになる。その結果、画像４１’はプロジェクタピクセルアレイ２７の座標
（ｊ，ｋ）から放射される投影光線に対応する、明るく点灯した領域５３を示す。このよ
うに、座標（ｊ，ｋ）を有するプロジェクタピクセルに対する光輸送係数は（ｊ，ｋ）に
おけるプロジェクタピクセルから個別的に投射される光線の画像を物理的に取り込む必要
なくして、領域５３から抽出することができる。
【０１３２】
図１０（ｂ）に第２の例が示され、図８（ｂ）および図９（ｂ）に対応する実取り込み
画像（これは上述の指名方法に従い各々実取り込まれた画像Ｒｃｐｔｒ_Ｓｙ_ｔおよび画
像Ｒｃｐｔｒ_Ｓｘ_ｒに対応する）の組み合わせがプロジェクタピクセルアレイ２７の座
標（ｒ，ｔ）から放射された投影光線に対応する第２の明るく点灯した領域５５をもたら
す。
【０１３３】
同様のプロセスに従い、各プロジェクタピクセルｊを１つずつ個別的にオンにし投影す
ることなく、プロジェクタピクセルアレイ２７におけるすべての投影ピクセルの光輸送係
数を特定することができる。仮定的かつ単独的に活性化されたプロジェクタピクセルを生
成してプロジェクタピクセルの光輸送係数を得るこの方法は実プロジェクタ２１のプロジ
ェクタピクセルアレイ２７におけるプロジェクタピクセルの各行および列に対する（ｐ＋
ｑ）個の取り込み画像しかせいぜい必要としない。さらに、一旦、すべてのピクセル映写
位置が特定されると、（ｐ＋ｑ）個の取り込み画像は廃棄することができ、保存する必要
があるのはインデクスおよび対応フットプリント情報のみである。
【０１３４】
この方法の例が図１１に示され、プロジェクタピクセルアレイ２７（網目パターンとし
て図示）の部分図が実カメラピクセルアレイ２９（同様に網目パターンとして図示）と比
較される。本例において実カメラ２５のピクセル密度（すなわち解像度）が実プロジェク
タ２１の解像度より高いことが好ましく、従って、単一のプロジェクタピクセルｊから放
射された光ビームは数個のカメラピクセルｉにかかる光フットプリント（Ｆ１などの）を
作り出す可能性があることをよりよく示すために図解上、部分的な実カメラピクセルアレ
イ２９を図示する網目パターンはプロジェクタピクセルアレイ２７をあらわす網目パター
ンより濃くなっている。
【０１３５】
図１１の本例において、プロジェクタピクセルアレイ２７のインデクスは円１，２，３
，…（ｑ＋１）…（２ｑ＋１）…等々が個々のプロジェクタピクセルｊを表す部分アレイ
で表される。同様に実カメラピクセルアレイ２９は個々に活性化されたプロジェクタピク
セルｊに対応するフットプリント情報を表した円形のフットプリントＦ１，Ｆ２，Ｆ３，
…Ｆ（ｑ＋１），…等々の対応部分アレイが重ねられて示される（光散乱は無視すると仮
定して）。このように、フットプリントＦ１，Ｆ２，Ｆ３，…Ｆ（ｑ＋１），…等々は各
々プロジェクタピクセル１，２，３，…（ｑ＋１）等々に対応する。
【０１３６】
この方法に従うと、２組の情報しか格納する必要がない。第１組の情報はプロジェクタ
ピクセルｊのインデクスに対応し、第２組はカメラピクセルｉのグループを各プロジェク
タピクセルｊに結び付けたフットプリント情報に対応する。言い換えれば、ゼロ値の係数
は格納する必要がなく、メモリ要件がかなり削減される。
【０１３７】
この情報を体系付ける第２の例が図１１に示され、プロジェクタピクセルｊのインデク
ス６１はグレースケール（すなわち非ゼロ値、または「ＮＺグレースケール」）のカメラ
ピクセルｉの情報のグループとしてのフットプリント情報６３（すなわちもたらされた光
ビームのフットプリントに対応する）を指す、またはそれに対応するように図示される。
【０１３８】
デュアル・フォトグラフィに向けて必要な光輸送係数を生成するために格納する必要の
ある画像数をどのように削減するか、および格納し操作する必要のあるデータの量をどの
ように削減するかを示した上、以下次の部分ではデュアル・フォトグラフィを実施する際
の実際的な問題のいくつかを扱う。上記で説明したとおり、光輸送行列Ｔは非常に大きい
可能性があり、その使用（またはその数学的転置のデュアル光輸送行列ＴTの使用）には
大量のアクティブメモリ（例えばＤＲＡＭ）および法外な演算処理能力／時間を必要とす
る。従って、デュアル画像の一般的な使用は今まで実用的でなかった。
【０１３９】
効率的にデュアル画像を構築するにはまず、
【０１４０】
【数９】
2009095015.tif 000011
であることが特記される。仮想カメラ２１”における仮想カメラピクセルアレイ２７”
は実際には実プロジェクタ２１におけるプロジェクタピクセルアレイ２７に対応するため
、仮想カメラ２１”で得た仮想取り込みベクトルＶｃｐｔｒ”内の任意の仮想カメラピク
セルに対し同じインデクスとして「ｊ」を用いることが便利である。従って、仮想取り込
み画像における各仮想プロジェクタピクセルに対するデュアル光輸送行列ＴTにおいて対
応する要素の行の関係は、
【０１４１】
【数１０】
2009095015.tif 000012
と示すことができ、行ＴTjはデュアル光輸送行列ＴTにおけるｊ番目の行を指す。
【０１４２】
上述のように、デュアル光輸送行列ＴTは光輸送行列の数学的転置（すなわち光輸送行
列Ｔを対角線で回転させる）で、行ＴTjの値（ここでｊは１〜（ｐ×ｑ）の任意の値）は
従って、光輸送行列Ｔのｊ番目の列に対応する（すなわちＴCOL_ｊ）。光輸送行列Ｔの各
列は（ｍ×ｎ）個の要素を有するので（すなわち実カメラ２５のピクセル解像度に等しい
）、これは大量の要素のようにみえる。しかし、本実施において光輸送行列Ｔの各列にお
いて限定数の要素しか非ゼロでない（すなわち垂直および水平光ビームの交差点が当たっ
たカメラピクセルｉ、すなわち光のフットプリント、に対応するもの）ことを鑑みると、
光輸送行列Ｔの各列「ｊ」内（さらには各行ＴTj内）における（ｍ×ｎ）個の要素の内数
個のみ非ゼロであることは自明である。従って、Ｖｃｐｔｒ”（ｊ）を演算する際にＴCO
L_ｊのすべての要素を調べる必要はない。実際、図１１および図１２に関連して上述のよ
うに、すべての個別に活性化されるプロジェクタピクセルｊおよびそれらに対応する光ビ
ームのフットプリント情報６３を示す単一のインデクス６１が格納されることが好ましい
。
【０１４３】
図１２に示すように、インデクス６１は投影された各光線（実プロジェクタ２１の個別
のプロジェクタピクセルｊからの）についてフットプリント情報６３のリストを結び付け
る。フットプリント情報６３の各グループは光輸送行列Ｔの各列内の非ゼロ入力に対応し
ており、光輸送行列Ｔのある列の各行列演算の際にはこれら非ゼロのグレースケール値の
み調べる必要があることが理解されよう。このように、Ｖｃｐｔｒ”（ｊ）＝ＴTj＊Ｖｐ
ｒｊｃｔ”の各値を決定するのに必要な計算の数はかなり削減される。
【０１４４】
言い換えれば、処理する必要のある光輸送行列Ｔの各列Ｇ内における要素のこのサブセ
ットＳＶｃｐｔｒ”（Ｇ）はＴCOL_Ｇ（ａ）と定義することができ、ここでａはサブセッ
トＶｃｐｔｒ”（Ｇ）における任意の仮想取り込みピクセルである［すなわちａ∈｛１，
…，（ｐ×ｑ）｝］。従って、各サブセットＳＶｃｐｔｒ”（Ｇ）に対し調べるべき要素
のセットは、
【０１４５】
【数１１】
2009095015.tif 000013
と定義することができる。一般的に‖ＳＶｃｐｔｒ”（Ｇ）‖≪（ｐ×ｑ）であるので
、
【０１４６】
【数１２】
2009095015.tif 000014
を演算する方が、
【０１４７】
【数１３】
2009095015.tif 000015
を演算するよりはるかに時間がかからない。
【０１４８】
この方法を用いて生成されたデュアル画像の例を図１３（ａ）および図１３（ｂ）に示
す。図１３（ａ）は実プロジェクタにより投影された根本画像を示す。図１３（ｂ）は本
方法の実施による演算の結果もたらされるデュアル画像を示す。図１３（ｂ）のデュアル
画像は実プロジェクタ２７（すなわち仮想カメラ２１”）により仮想的に取り込まれた画
像を表しており、または言葉を変えると実プロジェクタ２１が「見た」画像である。
【０１４９】
上記の考察はより少ない画像の組から効率的にデュアル画像を演算する方法を示し、こ
れは演算時間と併せて画像取り込み時間も節約する。上述のように、実取り込み画像およ
びデュアル取り込み画像は各々実カメラ２５および実プロジェクタ２１双方を較正するの
に用いることができる。
【０１５０】
つまり、プロジェクタ視点からの画像を直接取り込むことはできないため、簡単な解決
はデュアル・フォトグラフィ手法を用いて対応カメラ画像からプロジェクタ視点画像（す
なわちデュアル画像）を構成し、次に構成された画像を用いてプロジェクタを較正するこ
とである。例えば、入念に測定した特徴を有する既知の被写体の実画像をさまざまな角度
からいくつか撮った後、被写体の既知の寸法を用いて異なった角度の視点により生じた歪
みを補正することにより実カメラを較正することができる。同じ取り込み画像からデュア
ル・フォトグラフィを用いて実プロジェクタが見た仮想画像を次に上述のように生成し、
実カメラに類似した方法で実プロジェクタを較正することができる。
【０１５１】
しかしこの簡単な方法と結び付いた一つの問題は光輸送行列Ｔを生成し操作し、大量の
カメラおよびプロジェクタ画像ピクセルによりもたらされる大きな画像ベクトルを演算す
る難しさである。この労働集約的で高価なプロセスは上述のデュアル・フォトグラフィ方
法を用いることにより相当緩和されるものの、図２（ａ）に示すようなプロジェクタ−カ
メラシステムにおける実プロジェクタ２１を較正する目的から出願者は完全な光輸送行列
Ｔを生成し完全なデュアル画像を作成する必要を避けながらもデュアル画像（すなわち実
プロジェクタ２１が「見た」画像）を用いる利点のいくつかを利用して実プロジェクタ２
１の較正を簡単にする新規な方法を開発した。
【０１５２】
映写場面が比較的平たいと仮定すると、光輸送係数を判定しなければならない光フット
プリントの数を大幅に減らすことができる。言い換えれば、プロジェクタを較正するため
に完全なデュアル画像を構築することなく、特に映写表面にあまり凹凸がない場合戦略的
な点の組の位置を判定するだけで良いことに注目することにより完全な光輸送行列Ｔの生
成を全く避けることができる。例えば、戦略的な点の組は図８（ａ）におけるプロジェク
タから見た平たい映写表面４１の市松格子パターン内における正方形の角であることがで
きる。映写場面の表面凹凸が大きいほど、戦略的に選ばれた点の組における点の数が多く
なる。逆に映写場面が平たいほど、戦略的な点の組における点の数が少なくなる。
【０１５３】
この戦略的な組における点の数を減らすという目標を達成し、それにより完全な光輸送
行列Ｔを生成し操作することを避け、さらにデュアル画像生成プロセスのいくつかの特徴
を較正プロセスそのものに組み入れるために出願者はホモグラフィに基づく方法を適合さ
せた。本発明のこの別の実施形態はプロジェクタ視点画像にわたり市松の角の特徴（また
は他の既知の特徴）の座標を、デュアル画像の構築および構築されたデュアル画像からの
角の検出を必要とすることなく、直接的に演算する。
【０１５４】
この新規な方法において、実カメラを用いて平面状の市松格子の画像を取り込み、取り
込み画像にわたり市松ブロックの角を検出することができる。市松模様は全く例示的な目
的で用いられ、どのような場面を取り込むこともできることが理解されよう。本件の場合
、投影された垂直および水平線の配向は知られているので、場面にかかわらず投影線の変
動を特定し補正することができる。このように、プロジェクタ−カメラシステムの構成要
素はすべて同時に較正される。
【０１５５】
次に、プロジェクタ画像は２つ（またはそれ以上）の別個の視点から見た単一場面の２
つ（またはそれ以上）の眺めを関連付ける、いわゆる透視映写モデルに追随していること
が観察される。つまり、異なった眺めは場面に対し異なった角度に位置しているので、同
じ場面の異なった眺め（または画像）を「見る」ことになる。しかし、実場面は１つしか
ないので（場面の眺めの数に関係なく）、異なった眺め間の数学的関係を実現し、任意の
視点における任意の点を実場面において対応する点に結び付ける（かつ他の視点各々にお
いて対応する点に結び付ける）ことができる。
【０１５６】
これら別個の眺めの１つが実プロジェクタの「見た」仮想画像であると仮定し、第２の
別個の眺めが実カメラにより取り込まれた実画像であるとみなすと、完全なデュアル画像
を生成することなく透視映写モデル（２つの眺めを共通の実場面に関連付ける）により取
り込み実画像から仮想画像に関係する何らかの情報を抽出できることになる。
【０１５７】
この方法を用い、出願者は完全なデュアル画像を必要とせずに実プロジェクタを較正す
るために充分な情報を抽出する方法を考案した。従って、デュアル画像が完全に作成され
なくても、迂回的な方法ではあるがプロジェクタにカメラ較正手法を適用することができ
る。
【０１５８】
透視映写モデルの下で、平たい被写体を異なった眺めから映写した２つの画像間の関係
は単純な線形投影変換またはホモグラフィである。この変換は平たい被写体上の任意点の
座標（すなわち同次座標）をその平たい被写体の具体的な眺め上で対応する点の座標に関
連付ける。本実施形態で、平たい市松格子のプロジェクタ視点画像は対応するカメラ画像
のホモグラフィである。具体的には、実場面（すなわち市松格子）の任意点Ｐについて、
そのプロジェクタ視点画像Ｕｐ＝（ｕｐ，ｖｐ，１）における同次座標およびカメラ画像
Ｕｃ＝（ｕｃ，ｖｃ，１）における座標は次の方程式を満足する。
【０１５９】
【数１４】
2009095015.tif 000016
ここでλはスカラーで、Ｈは３×３のホモグラフィ変換行列（技術的に知られているよ
うに）で、右下の入力は１に設定される。対応座標対は３つの線形方程式を提供し、方程
式の内１つがスカラーを決定し、他の２つはホモグラフィ変換行列Ｈを決定するために用
いられる。３×３のホモグラフィ変換行列Ｈには８つの未知の入力があるので、市松模様
上のＮの座標点（ここでＮ≧４）の対応が与えられると、プロジェクタ視点画像およびカ
メラ画像間のホモグラフィは２Ｎの線形方程式を解くことにより再生することができる。
Ｎの数が大きければ大きいほど、プロジェクタ視点およびカメラ画像間の座標点を関連付
けるエラーが低くなる。
【０１６０】
対応する座標を得るために、１０個の白点が市松格子パターンなどの場面上に投影され
ることが好ましい。投影された白点を有する市松格子パターンの画像が実カメラ２５など
の実カメラを用いて取り込まれ、カメラ画像における１０個の点の座標が演算される。本
プロセスで、１０個の点は取り込み画像において対応する座標の演算中区別されているこ
とのみが必要である。これは１０個の点を順に投影し、対応する座標を順に判定すること
によって達成できる。あるいは、異なった色の点を同時に投影して、異なった点を色で識
別することができる。
【０１６１】
プロジェクタは好ましくは既知の相互関係において点を投影したので、投影画像におけ
る点の座標は分かっている。これは１０対の対応座標をもたらし、１組は実カメラで取り
込まれたもの、第２組は実プロジェクタで投影されたものである。一旦、ホモグラフィが
再生されると、カメラ画像において検出された市松格子の角の座標を直接変換してプロジ
ェクタ視点画像において対応する角座標を演算することができる。次に前述のようなカメ
ラ較正方法を用いてプロジェクタパラメータを較正することができる。
【０１６２】
この方法の例を図１４に示す。図１４において、特徴取り込み結果は次のとおりである
。輪郭で示されない円、または点（例えば点８１）はホモグラフィを推定するために用い
られ、輪郭を描かれた円、または点（例えば点８３）は角の点特徴である。見られるよう
に、輪郭を描かれた点８３は実際の角上にあり、検出された各角のプロジェクタ座標が正
しく取り込まれたことを示している。
【０１６３】
しかし点を投影する代わりに、１点で交差する複数対の線（すなわち上述の水平および
垂直線）を投影する上述の方法を使用し、線の各対の１交差点から点情報を抽出すること
ができることが理解されよう。さらに、投影された線の対の空間関係は既に分かっている
ので、線を上述の市松格子パターンのような既知のパターン上に投影する必要はない。つ
まり、プロジェクタのピクセルアレイのどの列と行が同時に点灯されたか分かっているの
で、その空間関係も分かっている。さらに、カメラはその特定の場面に対し予め較正され
ている必要はないことが特記される。逆にプロジェクタとカメラは同時に較正されること
ができる。
【０１６４】
前記に説明したとおり、点情報を抽出するためにパターンを使用するこの方法は一連の
パターン投影および画像取り込み工程を含む。従って、較正されていないカメラが各投影
パターン（すなわち垂直または水平線）を取り込む際、映写表面の凹凸による投影パター
ンの歪みをその時点では無視することができる。すべてのパターンが取り込まれると、垂
直および水平線間の空間関係が分かっているのでプロジェクタとカメラとの間の空間関係
（または変換）を設定することができる。つまり、投影された垂直および水平線間の空間
関係は、それらを生成する際、どのプロジェクタピクセルが点灯されたか分かっているの
で、分かる。さらに、垂直および水平線の真の配向が分かっているので、映写場面上の凹
凸および眺めの角度を補正することができる。
【０１６５】
垂直線の取り込み画像を水平線の取り込み画像と組み合わせて点情報を抽出する際、ど
のプロジェクタピクセルが抽出された点に関連しているかが分かっており、さらにカメラ
ピクセルのどのグループが抽出された点（垂直および水平線の交差点で判定される）に対
応するかを判定することができる。このようにプロジェクタとカメラとの間のホモグラフ
ィ関係（すなわち一方の眺めを他方のに変換）はいずれかの装置を個別に特定の映写場面
（または映写表面）に対し較正する必要なく達成することができる。
【０１６６】
この方法は上述の光輸送行列Ｔを生成する簡略化された方法を取り入れているが、必要
な画像投影取り込み工程の数を（ｐ＋ｑ）から、望ましい点の数で決定される、（ｐ＋ｑ
）のほんの一部にまで削減する。場面環境が平たい映写表面であるプロジェクタ−カメラ
システムを較正するのに最小限４個の点が用いられるが、映写表面の凹凸、画像取り込み
工程におけるエラーの可能性、および投影された光の線またはパターンの周辺光ノイズの
存在による識別エラーを考慮に入れるため、７つの水平線および７つの垂直線を投影して
多ければ１４〜４９個の点を生成すればほとんどのエラーを克服するのに十分であること
が見出されている。映写場面の表面凹凸が多いほど、交差する線の対の必要数が多いこと
が理解されるであろうが、この７つの垂直線と７つの水平線という数は多くの実在する状
況に十分であることが見出されている。（ｐ＋ｑ）個よりはるかに少ない点の数しか必要
でない１つの理由は、デュアル・フォトグラフィで使用するために完全な輸送行列を生成
しようとしているのではなく、むしろ２つの視点、すなわち実カメラの実視点と実プロジ
ェクタからの仮想視点、の間のホモグラフィ関係を見出すために既知の関係の点を数個特
定することに関心があるからである。しかし、完全な光輸送行列Ｔの推定は点の間に円滑
な遷移を仮定すれば数個の関係する点から生成できることが強調される。つまり、一旦、
ホモグラフィ関係が得られると、Ｕｐ＝λ＊Ｈ＊Ｕｃの同じ関係を用いて推定する光輸送
行列Ｔを構築する際に隙間を埋めることができる。
【０１６７】
上述の光輸送行列Ｔを生成する方法のさらに別の用途は以下の問題、つまりプロジェク
タとカメラの対があるとして、カメラが特定場面（すなわち投影環境）上で望ましい眺め
を「見る」ようにしたい場合、望ましい眺めを実現するためにプロジェクタは何を場面に
照らすべきか、を解決するために適用することができる。この課題は以下「ビュー投影」
と呼ぶ。
【０１６８】
投影に必要な画像を見つけることは明らかに場面の幾何学的形状およびプロジェクタ装
置の投影特性とともに、プロジェクタからの光の反射が正確な望ましい眺めを実現するよ
う場面の測光特性の詳細かつ正確な知識を必要とする。均一なアルベド、すなわち反射性
、およびパラメトリック形状を有する表示表面の場合、これら必要な測定は明示的になす
ことができる。
【０１６９】
しかし恣意的に複雑で、不均一な表面反射率特性を有するノンパラメトリック形状上で
高画質の画像を実現するのはまだ困難な課題で、幅広い種類のツールに精通していること
と人間による相当な介入を必要とする本発明の一目的は完全に自動的で、平常通りのハー
ドウェア設定以上のユーザ介入またはパラメータの微調整を必要としない測定を考案する
ことである。言い換えれば、「ビュー投影」能力を達成したプロジェクタ−カメラシステ
ムはボタンを押すだけで完全に自ら較正すべきである。
【０１７０】
困難な周囲環境の下で複雑な表面に正しく表示できる映写システムは多くの実社会の用
途を有する。これを完全に自動化すると、専門的な表示設定が必ずしもないような周囲環
境において使用することができる。本発明の別の目的は非標準的な機器の必要性を減らし
、普通の消費者が入手できるような市販部品で良質な較正を達成することである。この目
標はこれまでの実施形態の特徴および利点を自動化され簡略化されたプロセスに組み合わ
せることにより達成することができる。
【０１７１】
図２（ａ）における、１台の実プロジェクタ２１および１台の実カメラ２５からなる画
像設定に関連して前記に説明したように、実プロジェクタ２１はｐ行×ｑ列のプロジェク
タピクセルアレイ２７を有し、実カメラはｍ行×ｎ列の実カメラピクセルアレイ２９を有
する。実プロジェクタ２１から放射される光線は場面（すなわち映写表面）から反射し、
ある部分は最終的に実カメラピクセルアレイ２９に到達する。一般的に、各光線は場面に
おいて分散、反射、屈折され、実カメラピクセルアレイ２９のいくつか異なった箇所に当
たる。このように、プロジェクタピクセルｊから放射される光線は実カメラ２５に到達し
、実カメラピクセルアレイ２９全体にわたりｍ×ｎの画像を形成し、各カメラピクセルｉ
はある程度の光の量を受ける。投影された画像を（ｐ×ｑ）要素の実取り込みベクトルと
しての第１ベクトルＲｐｒｊｃｔと表し、取り込まれた画像を（ｍ×ｎ）要素の実取り込
みベクトルとしての第２ベクトルＲｃｐｔｒと表すと、実プロジェクタ２１およ実カメラ
２５間の光輸送は以下のように記述することができる。
【０１７２】
【数１５】
2009095015.tif 000017
ここでＴは光輸送行列である。図２（ｂ）に図示されるように、ヘルムホルツの相反定
理によると、方程式
【０１７３】
【数１６】
2009095015.tif 000018
を用い、実プロジェクタ２１はｐ行×ｑ列の仮想カメラ２１”とみなされ、実カメラ２
５はｍ行×ｎ列の仮想プロジェクタ２５”とみなされる「デュアル」な設定をモデル化で
きることが示されている。これにより「デュアル・フォトグラフィ」が可能になり、実プ
ロジェクタ２１により取り込まれたように見える画像を合成することができ、場面は実カ
メラ２５から発せられた光で照らされるように見える。
【０１７４】
本実施形態の目的である「ビュー投影」は別の問題に取り組んでいる。「ビュー投影」
における関心は場面を照らすために用いた場合、カメラが所定の望ましい画像を取り込め
るようなプロジェクタ画像を見出すことである。光輸送の見地からすると、光輸送行列Ｔ
および望ましい実取り込みベクトルとしての第２ベクトルＲｃｐｔｒが与えられ、実取り
込みベクトルとしての第１ベクトルＲｐｒｊｃｔを再生、すなわち生成、したいわけであ
る。光輸送行列Ｔの逆光輸送行列Ｔ-1を判定できれば実取り込みベクトルとしての第１ベ
クトルＲｐｒｊｃｔは明らかに次の方程式で見出すことができる。
【０１７５】
【数１７】
2009095015.tif 000019
【０１７６】
光輸送行列Ｔの逆は過去において他の目的に用いられている。例えば、Seitz 他による
論文「逆光輸送の理論」（「A Theory of Inverse Light Transport」）、（IEEE Intern
ational Conference on Communications、ICC V05）は引用により全体として本明細書に
組み入れられるが、これにおいて、光輸送行列Ｔの逆を用いて任意の場面における光の跳
ね方を分析している。この方法において、場面はη個の跳ね画像の総計に分解され、各画
像はカメラに到達する前にη回跳ねる光の寄与を記録する。「インパルス画像」の行列を
用い、各η個の跳ね画像を演算して光がどのように場面を通して伝播するかを推測する。
【０１７７】
Seitz 他が取り組んでいる問題はもちろん「ビュー投影」が課すものとは異なり、後者
の場合は望ましい画像（例えば実取り込みベクトルとしての第２ベクトルＲｃｐｔｒ）が
提供または想定され、望ましい画像を実現できる未知の投影源を推測しようとする。この
場合は、Ｒｐｒｊｃｔ＝Ｔ-1＊Ｒｃｐｔｒを演算することが有益である。デュアル・フォ
トグラフィのＴT＊Ｒｐｒｊｃｔ”は仮想取り込みベクトルＶｃｐｔｒ”を具現し、これ
は実取り込みベクトルとしての第２ベクトルＲｃｐｔｒの異なったビューであるが、実取
り込みベクトルとしての第１ベクトルＲｐｒｊｃｔの実際の源は示されないことが特記さ
れる。
【０１７８】
しかし、光輸送行列Ｔの逆光輸送行列Ｔ-1は転置より演算が難しく、演算リソースをは
るかに多く必要とする。事実、光輸送行列Ｔの全体の大きさが故に逆光輸送行列Ｔ-1の演
算は甚大な演算リソースを必要とする極めて困難なタスクである。尚悪いことには、任意
の行列の逆を見出すことは常に可能ではない。つまり、行列によっては逆がないこともあ
る。
【０１７９】
技術的に周知のように、恒等行列、または単位行列はＩで示され、所定の行列Ａに対し
次の関係が適用できる。
【０１８０】
【数１８】
2009095015.tif 000020
【０１８１】
行列Ａが配列ｍ×ｎの行列である場合、乗法前の恒等行列Ｉは配列ｍ×ｍとなり、一方
乗法後の恒等行列Ｉは配列ｎ×ｎとなる。
【０１８２】
行列の乗法的な逆は通常単位行列Ｉの点から定義される。行列Ａの左乗法的な逆はＢＡ
＝Ｉとなるような行列Ｂで、行列Ａの右乗法的な逆はＡＣ＝Ｉとなるような行列Ｃである
。行列Ａの左および右乗法的な逆が等しい場合、左および右乗法的な逆は単に「乗法的な
逆」、または逆と呼ばれ、Ａ-1で示される。
【０１８３】
幸いに、出願者は多くの表示設定において、光輸送行列Ｔの逆の近似はより簡単に演算
され得、充分かもしれないことを見出した。しかし行列の逆に対する適当な近似を作成す
ることは一般的に光輸送行列Ｔにない特定の基準を満足することが必要となる。従って、
逆光輸送行列Ｔ-1の近似を作成する前に、適当に修正された光輸送行列Ｔを作成する必要
がある。
【０１８４】
一般的にＴ-1≠ＴTである。しかし上記デュアル光輸送行列ＴTの推定を生成するのに用
いられた制約の１つは同様に逆光輸送行列Ｔ-1の構築にも有用である。上述のように、ほ
とんどのプロジェクタ−カメラの表示用途において、プロジェクタから発射された任意の
区別可能な２つの光線「ｊ」および光線「ｋ」は通常カメラセンサの区別可能な部分にあ
たる、すなわち光線「ｊ」および光線「ｋ」各々からの光に当たるカメラセンサのピクセ
ルはあまり重複していないという限定を一般的に用いることができる。この特徴は以下「
表示制約」と呼ばれる。
【０１８５】
場面が牛乳の入ったコップからなり、光が牛乳により拡散されかなりの重複をもたらす
上述の例のように、一般的に場面においてかなりの光散乱がある場合「表示制約」に違反
する可能性がある。「表示制約」に違反する場面の例が図１５に示され、ここでは２個の
ワイングラスがプロジェクタと映写場面との間に含まれかなりの光散乱をもたらす。本例
において文字からなる投影画像が場面に投影され、ワイングラスのために多くの光学的歪
みを受けることが示される。以下に「表示制約」が破られた場合にこのような光散乱を補
正する方法が提供されるが、本考察に関しては、「表示制約」が満足され、投影される各
ピクセルが次のものと区別可能であるとまず仮定される。
【０１８６】
さらに前記に説明したとおり、光輸送行列Ｔの各列はプロジェクタからの１ピクセルに
よりもたらされる投影画像である。従って、列入力のすべては対応するプロジェクタピク
セルから放射される光が当たったカメラピクセルに対応するものを除きゼロ値を有する。
【０１８７】
隣接する光フットプリント（隣接して点灯されたプロジェクタピクセルにより作成）に
重複がない場合、光輸送行列Ｔの列は直交することに出願者たちは気が付いた。実世界の
用途においては、表示制約により、隣接する光フットプリント間の重複は最小限で、これ
は異なったプロジェクタピクセルからの光は主に異なったカメラピクセルに当たることを
意味している。この結果、２列の光輸送行列Ｔが隣り合わせに配置されると、非ゼロ入力
は殆どの場合並ばず、点の積はゼロに近くなる。これは光輸送行列Ｔの列が互いにほぼ直
交していることを意味している。本手法において、これらの最小限に重なりあるピクセル
は光輸送行列Ｔの作成から取り除かれ、その結果定義上直交する近似された光輸送行列Ｔ
がもたらされる。より詳細に後述されるように、この手法により光輸送行列Ｔの作成およ
び操作をさらに簡略化することが可能になる。
【０１８８】
「表示制約」により、異なったプロジェクタピクセルによる光は主に異なったカメラセ
ンサピクセルに当たる、すなわち異なったプロジェクタピクセルに対応するカメラピクセ
ルは互いにあまり重複しない。この例は図１６に示され、ここで第１プロジェクタピクセ
ルからの第１光フットプリントは第２プロジェクタピクセルからの第２光フットプリント
と２つの周辺カメラピクセル２ｉを共有する。これは光輸送行列Ｔの列が互いの隣に配置
されると、異なった列の間で非ゼロ入力は殆どの場合並ばず（すなわちより暗い非ゼロ入
力がある程度の重複がある）、点の積はゼロに近くなる。
【０１８９】
この例が図１７に示され、ここで列Ｃ１〜Ｃ４の４列の光輸送行列Ｔが互いに隣接して
図示される。列Ｃ１において、円で表される部分的光フットプリントＰｉｘｅｌ_１ｃお
よび部分的光フットプリントＰｉｘｅｌ_１ｃは列Ｃ１内に画像として記録されている第
１ピクセルの光フットプリントの最も明るい部分（すなわち中央部分）を特定する。図示
されるように、完全な光フットプリントは他のそれほど明るくない部分的光フットプリン
トＰｉｘｅｌ_１ｂ、および部分的光フットプリントＰｉｘｅｌ_１ｅを含む。しかし説明
の便宜上、各列Ｃ１〜Ｃ４内の各光フットプリントの最も明るい部分のみ円で特定され、
円は修正（すなわち推定）された光輸送行列Ｔの構築の際、留保されるピクセル係数入力
を特定する。図１６に示されたように、任意の光フットプリントの最も明るい部分は他の
いずれの光フットプリントの最も明るい部分とも重なり合わない。従って、光フットプリ
ントのより暗い、周辺部分（すなわち部分的光フットプリントＰｉｘｅｌ_１ｂおよび部
分的光フットプリントＰｉｘｅｌ_１ｃ）を無視してサイズを変更した光フットプリント
を形成すると、サイズを変更した光フットプリント間には重複が存在しないことが保証さ
れる。図１７に示すように、隣接する列に沿って円で囲まれたピクセルのグループを比較
すると、隣接する列の円に囲まれたピクセルはいずれも重複しないことが特記される。例
えば、列Ｃ１における部分的光フットプリントＰｉｘｅｌ_１ｃは列２における部分的光
フットプリントＰｉｘｅｌ_２ｃとは水平方向にオフセットされ、後者は順に列３の部分
的光フットプリントＰｉｘｅｌ_３ｃとオフセットされており、同様にこれは列４におけ
る部分的光フットプリントＰｉｘｅｌ_４ｃとオフセットされており、以下同様である。
同様に各列内の他の明るい部分的光フットプリントの円で囲まれた部分（すなわち部分的
光フットプリントＰｉｘｅｌ_１ｄ，Ｐｉｘｅｌ_２ｂ，Ｐｉｘｅｌ_３ｂ，Ｐｉｘｅｌ_４
ｂ）のいずれも互いに水平方向に並ばない。
【０１９０】
「表示制約」により異なったプロジェクタピクセルからの光は主に異なってカメラピク
セルに当たるので、対応プロジェクタピクセルから放射された光に当たるカメラピクセル
を定義する光フットプリント以外、列入力の殆どはゼロ値入力である。これは２列の光輸
送行列Ｔが互いに隣接して配置された場合非ゼロの入力は殆どの場合並ばず、点の積はゼ
ロに近くなることを意味する。これは光輸送行列Ｔの列が互いに直交することを意味する
。
【０１９１】
これは光フットプリントの暗い周辺部を無視し、光フットプリントの最も明るい部分か
らなる、サイズを変更した光フットプリントを扱う場合は特に当てはまる。この場合、光
輸送行列Ｔの列は互いに真に直交することになり、特定の列に自己以外の任意の列を掛け
たものの変換はゼロ結果になることを意味する。
【０１９２】
このように、光輸送行列Ｔの直交的性質は改変光輸送行列Ｔ*を生成する上述のプロセ
スにおいて光輸送行列Ｔの構築され方により確保されることができる。上記に説明すると
おり、各列内の非ゼロ値のみを格納することにより光輸送行列Ｔを格納するのに必要なメ
モリの量も同様に削減することができる。改変光輸送行列Ｔ*においてこのプロセスは、
格納される非ゼロ値は光輸送行列Ｔの各行内の最も明るい値のみを格納することにより迅
速に特定でき、これによりサイズを変更した光フットプリントが自動的に作成されるので
簡略化される。例えば図１７において、円で示される部分的光フットプリントＰｉｘｅｌ
_１ｃ〜Ｐｉｘｅｌ_４ｃ、円で示される部分的光フットプリントＰｉｘｅｌ_２ｂ〜Ｐｉ
ｘｅｌ_４ｂ、および円で示される部分的光フットプリントＰｉｘｅｌ_１ｄで示される、
光輸送行列Ｔの行に沿った（すなわち別個のプロジェクタピクセルに対応し光輸送行列Ｔ
の隣接する列に配列される隣接画像情報の中）最も明るいピクセルを特定することができ
る。各行内の最も明るい値の入力のみが留保されると、図１８の構造が得られる。特定さ
れた明るい部分は次に改変光輸送行列Ｔ*（以下、光輸送行列Ｔおよび改変光輸送行列Ｔ*
は別途記述されない限り互換的に使用される）のベクトル表示４０に組み合わせることが
できる。図示されるように、ベクトル表示４０は光輸送行列Ｔの各行内の最も明るいピク
セル値のみに自らを限定することにより光輸送行列Ｔの隣接する列の間の重複を取り除き
、任意の場面に対し「表示制約」を有効に課す。従って、光輸送行列Ｔのこの構成は意図
的に直交している。改変光輸送行列Ｔ*を完全に定義するには、どの部分的光フットプリ
ント部分のグループがサイズの変更された同じ光フットプリントに属するかを示すインデ
ックス情報を保持する第２の行列の列、または第２のアレイのみが必要であることが理解
されよう。例えば本例の場合、グループを成す部分的光フットプリントＰｉｘｅｌ_１ｃ
と部分的光フットプリントＰｉｘｅｌ_１ｄは第１ピクセルに対応する、サイズが変更さ
れた１つの光フットプリントの一部である。同様に部分的光フットプリントＰｉｘｅｌ_
２ｂと部分的光フットプリントＰｉｘｅｌ_２ｃは合わせて第２ピクセルに対する第２の
サイズが変更された光フットプリントを形成し、以下同様である。
【０１９３】
光輸送行列Ｔの逆の近似を決定（すなわち逆光輸送行列Ｔ-1を決定）するため、まずＡ
Ａ-1＝Ｉで、恒等行列Ｉは左上の角から（行列位置（１，１）から始まり）右下の角まで
（行列位置（ｒ，ｇ）で終わる）の対角線に沿い「１」の値に設定された入力値を有し、
他の個所はすべて「ゼロ」（すなわち０）に設定された入力値を有する行列からなること
を特記することが有益である。逆光輸送行列Ｔ-1を演算するために、まず行列Ξを定義し
、行列Ξにおける各列は正規化値で構成され、行列Ξの各列が光輸送行列Ｔ（または改変
光輸送行列Ｔ*）における列に対応する。つまり、
【０１９４】
【数１９】
2009095015.tif 000021
ここで列Ξｒは行列Ξのｒ番目の列である。演算‖Ｔｒ‖は光輸送行列Ｔの列ｒにおけ
る全値の平方した合計の平方根を定義しているので、‖Ｔｒ‖の平方は単に列ｒにおける
全値の平方の合計である。つまり、
【０１９５】
【数２０】
2009095015.tif 000022
列ｒにおける各値の入力を列ｒにおける全値の入力を平方した合計で割ることにより、
演算｛Ｔｒ／（‖Ｔｒ‖）2｝は光輸送行列Ｔの列ｒにおける値の入力を正規化する効果
を有する。ここで列Ξｒの転置を取ると、すなわち第１列が最上行になり、最後列が最下
行になるように横に反転させると、光輸送行列Ｔにおける要素の対応列の正規化値である
要素の行がもたらされる。従って、光輸送行列Ｔの各列について次の結果が得られる。
【０１９６】
【数２１】
2009095015.tif 000023
および、
【０１９７】
【数２２】
2009095015.tif 000024
言い換えれば、光輸送行列Ｔのある列をΞｒTの対応行で乗じると常に数字の「１」と
なり、光輸送行列Ｔのすべての列をΞｒTの対応行で乗じると、対角線に沿って数字の「
１」がある行列を実現し、他のすべての個所にゼロを置いて実現された行列を完全に埋め
ることができる。
【０１９８】
従って、列が互いに直交する（またはさせられる）光輸送行列Ｔの場合、かつ行列Ξの
特定の構成が与えられる場合、行列Ξの転置は当然、光輸送行列Ｔの逆に等しく（すなわ
ちΞｒT＝Ｔ-1）、または少なくとも行列Ξは光輸送行列Ｔの左乗法的な逆であることが
示されている。従って、Ｒｐｒｊｃｔ’＝ΞｒT＊Ｒｃｐｔｒ’となる。
【０１９９】
実際にカメラセンサに当たるプロジェクタピクセルの部分のみ再生できることが特記さ
れる。いずれのカメラピクセルにも当たらないプロジェクタピクセルに対し、光輸送行列
Ｔの対応列はゼロを含み、上記方程式Ξｒ＝Ｔｒ／（‖Ｔｒ‖）2は未定義である。この
ような場合、行列Ξの対応列はゼロ列として設定されることが好ましい。このようにΞT
はプロジェクタおよびカメラの視野で重なる領域を覆う光輸送行列Ｔの部分の逆であり、
Ｒｐｒｊｃｔ’において重なる領域に入るプロジェクタピクセルのみ再生し、他のピクセ
ルは抹消する。以下の考察において、ビュー投影行列ΞTは望ましい眺めｃが与えられた
場合ｐ＝（ΞT＊ｃ）と定義される投影画像ｐを見出すことができ、投影画像ｐを投影す
ると基準カメラ位置から見た場合、望ましい眺めｃと同じ外観を有する場面を実現する。
ビュー投影行列ΞTは事実上、逆光輸送行列Ｔ-1の近似であり、本明細書ではそのように
用いられるので、以下考察の残りの部分で逆光輸送行列Ｔ-1とビュー投影行列ΞTは別途
の指示がない限り互換的に用いられる。
【０２００】
真の逆光輸送行列Ｔ-1の近似を演算する効率的な方法が実証されたが、原形において行
列は未だに膨大で、大量の記憶および言うまでもなく行列乗算を行うだけでも相当な演算
能力を必要とする。ここでも、真の逆光輸送行列Ｔ-1は「表示制約」に支配されている。
【０２０１】
従って、デュアル光輸送行列ＴTを縮小するための上記に記述された圧縮手法に類似し
たものをビュー投影行列ΞTに適用することが望ましい。このように、ビュー投影行列ΞT
は非ゼロ入力の第１列および対応するインデックス値の第２列からなる表示に縮小するこ
とができる。「表示制約」は光輸送行列Ｔの別個の列における非ゼロ入力が同じ行に並ば
ないことが要件であることが想起されよう。これは光輸送行列Ｔの各行において非ゼロ入
力が１つのみ（または所定の閾値を越えた入力が１つ）存在し、光輸送行列Ｔを表示する
にはその入力とともにその列インデックスのみを格納すれば良い（格納されない光輸送行
列Ｔの入力位置はデフォルトでゼロ値が指定されるという了解のもとで）。従って、光輸
送行列Ｔを格納するために必要な空間は非ゼロの光輸送行列Ｔ入力の１列とインデックス
値の第２列に縮小することができる。
【０２０２】
しかし、実世界の状況では光輸送行列Ｔの点灯されていない入力の多く（すなわち光フ
ットプリント内にないカメラピクセルｉ）はセンサノイズ（すなわちカメラピクセルが捕
らえたものの１つの指定された、すなわちオンにされた、プロジェクタピクセルに由来し
ない光）のため厳密にゼロではない。従って、各行に複数の非ゼロ値が存在する可能性が
あり、単一の非ゼロ値入力は光フットプリントに対応し、残りの非ゼロ入力は光ノイズに
よるものである。この場合、光フットプリントに対応する単一の非ゼロ入力は行内で最高
の値を有する（すなわち最も明るい値を有する）可能性が高い。従って、光ノイズを除去
するために各行の最高値の入力（すなわち行最高値）を、その行において光フットプリン
トに対応する単一の非ゼロ入力として特定し指定することができる。これは光ノイズによ
る低い値の入力を除去する。これらの行最高入力値を特定することにより、各列の非ゼロ
値が得られる。従って、各プロジェクタピクセルに対し、対応するカメラピクセルの組と
ともにこれらカメラピクセル間の光強度の分布が特定される。通常の対応カメラピクセル
の組（任意の所定プロジェクタピクセルに結び付いた）はカメラ画像全体の非常に小さい
サブセットである。行列演算の際、これらの対応カメラピクセルからの入力のみを考慮す
れば良いので、この疎行列表示を用いてビュー投影画像変換を行うのは非常に効率的であ
る。
【０２０３】
実際には、「表示制約」を活用してプロセスを速める固定パターン走査手法を用いるこ
とが好ましい。上述のように、プロジェクタピクセルｊからの寄与は光輸送行列Ｔの列「
ｊ」にマップされる。従って、プロジェクタピクセルの組⊂｛１，…，ｐ×ｑ｝は光輸送
行列Ｔにおける対応する列の組にマップされる。このような、Ｓ１∩Ｓ２＝｛ｊ｝である
ような２組のピクセルを考え、２組のピクセルを点灯した時に取り込まれる２つの画像を
ＣS1およびＣS2とする。そうすると、
【０２０４】
【数２３】
2009095015.tif 000025
となることが示され、ここで列Ｔｊは光輸送行列Ｔのｊ番目の列である。ＣS1、ＣS2は
光輸送行列Ｔにおける各々の列の総計、すなわちＣS＝Σj∈SＴｊ、である。各個別的な
プロジェクタピクセルｊの寄与がカメラセンサの別個の部分にマップされるとすると、取
り込まれた画像ＣS1，ＣS2においてプロジェクタピクセルｊに対応するピクセルの共通の
組ｌ⊂｛１，…，ｍ×ｎ｝が存在する。次に、Ｓ１∩Ｓ２＝｛ｊ｝であるので、取り込ま
れた残りの画像ピクセルについて、画像の少なくとも１つはプロジェクタピクセルの第１
組Ｓ１または第２組Ｓ２の１つから光を受けなかったことになる。光を受けたピクセルは
光を受けないピクセルより明るくなるので、ＭＩＮ（ＣS1，ＣS2）はピクセル∈ｌのみが
点灯された画像を実現し、これは列Ｔｊの良好な近似である。これは、もし、
【０２０５】
【数２４】
2009095015.tif 000026
の組を構築することができ、ここで、
【０２０６】
【数２５】
2009095015.tif 000027
の場合、ｊ＝ＣX1、…、ＣXq、およびＣY1、…、ＣYpからの１、…、ｐ×ｑである列Ｔ
ｊを合成することができる。
【０２０７】
上述の考察において、投影画像の各対は１つの交差点しか共通していない。この特性を
満足する一構成は次のピクセル座標を指標として用いる。Ｘｊはｘ座標がｊに等しいすべ
てのピクセルがオンにすることにより作成される画像とし、Ｙｋはｋに等しいｙ座標がオ
ンにすることにより作成される画像とする。そうするとＭＩＮ（Ｘｊ，Ｙｋ）は座標（ｊ
，ｋ）がオンである画像を与える。この方法を用い、ｐ＋ｑ個の画像を取り込むことは光
輸送行列Ｔのｐ×ｑ列をすべて合成できることになる。
【０２０８】
光輸送行列Ｔを取り込むためのこの方法が各ピクセルを個別に取り込むより速く、上述
のSen 他 2005年に関して説明された適合的仕組みより簡単ではあるが、この方法は文献
で既に提案されている他の仕組みに比べまだ遅い可能性があることが特記される。特にプ
ロジェクタ−カメラのピクセルの対応を確立する１つの方法はＸ座標およびＹ座標を時間
系列的なバイナリコードで投影することで、理論的はすべての対応がｌｏｇ（Ｎ）時間で
取り込むことができ、ここでＮは最大座標値である。実際には、この方法は特に最小有効
ビットが投影される際にカメラセンサの解像度に厳しい条件を課す。必要な画像数を減ら
すために同時に複数の縞を投影することも提案できる。しかしこれは画像において取り込
まれた各縞を特定する何らかの方法、例えば目印となる縞のサブセットを特定すること、
または色分けもしくは他の区別できるパターンを活用すること、が必要である。これらの
仕組みは事実取り込みプロセスを速めるかもしれないが、さらに複雑さや脆弱性をもたら
し、しばしば仕組みが正しく機能するように特徴検出パラメータを微調整しなくてはなら
ない。本明細書の好ましい実施形態において微調整するパラメータはなく、ハードウェア
の故障がない限り通常一度の取り込みでビュー投影行列の良好なコピーが得られる。
【０２０９】
上記に説明されたように、ビュー投影行列ΞTは投影光学系、表示表面、およびこれら
の相対位置付けにより導入される幾何学的および測光的歪みを補正することができる。ビ
ュー投影行列ΞTのビュー投影能力の有効性はいくつかの実験を通して試験された。
【０２１０】
ある場面の望ましい外観を制御できることを示すために、印刷されたポスターの外観を
動的に変え得ることが示された。図１９に例を示す。左側のポスター画像は白光の下で示
される。右側のポスター画像はビュー投影照明の下で示される。キューブの面は同じ色に
見えるようにされている。右側のポスター画像の上に１枚の白い紙を置くとこの望ましい
眺めを実現するために用いられた実際の投影画像が明かされる。見る人たちは動画を見た
後すぐポスターの元の外観を忘れることが見出された。紙上で示すのは難しいが、カメラ
で観察されたこの場面は人間の目で観察されたものにかなり近い。ポスターはポスター内
の色をサイクルして色が均一であるがごとく見せるようにして動画化された。測光的補正
がリアルタイムで行われる間ポスターの上に映画も映写して、下のポスター画像の跡をす
べて取り除いた。
【０２１１】
前述のように、現在好まれる光輸送行列Ｔの構成は隣接して点灯されたプロジェクタピ
クセルによりもたらされた隣接する光フットプリント間で最小限の重複を規定する「表示
制約」に依存する。「表示制約」が守られない状況の例が図１５に関し上記で考察され、
ここでは２つのワイングラスがプロジェクタと映写表面、または場面、の間に配置される
。しかしさらに上記に説明されるように、ビュー投影行列ΞTは光輸送行列Ｔの逆の近似
を作成する際、光輸送行列Ｔの各列内の最も明るいピクセルのみを選択することにより任
意の場面に「表示制約」を執行する（すなわち強要する）ことができる。本発明のアルゴ
リズムの有効性を各種条件の下（その有効性と正当化の基となる「表示制約」の下だけで
はなく）で試験するために「表示制約」が満足されない場合にどのように挙動するかを判
定する実験が行われた。図１５に図示する実験は、１対のワイングラスがプロジェクタと
その表示表面との間に置かれた形で設定された。ガラスにより導入された相当量の歪みの
ため、別個のプロジェクタピクセルによるセンサの光フットプリントに多くの重複がある
。この場面にビュー投影行列ΞTの生成において「表示制約」を執行するのと同じ取得方
法および同じアルゴリズムを適用した。結果として演算されたビュー投影行列ΞTは図２
０に示すように、望ましくない歪みのほとんどを取り除くことができ、プロジェクタは指
定表示表面に補正された画像を表示できることが見出された。
【０２１２】
別の言葉で述べると、「表示制約」が保証できない場合、投影環境に擬似「表示制約」
を強要する、ビュー投影行列ΞTの生成方法を光輸送行列Ｔの生成に適用することができ
る。具体的に、図１６〜図１８に関し上述された簡略化された光輸送行列Ｔを生成する際
、光フットプリントのコンポーネントを特定するのに各行の最も明るいピクセルを選ぶこ
とができ、それにより光拡散によるエラーおよび光ノイズによるエラーを大幅に削減し、
または取り除くことができる。
【０２１３】
光輸送行列Ｔの逆を近似させる方法を定義した上、次に没入型表示システムにデュアル
・フォトグラフィを用いて新型かつ複雑な設定をどのように達成できるかを説明する。
【０２１４】
図２１について、好ましい実施形態において従来の前面投射型プロジェクタＰ１（図２
（ａ）の実プロジェクタ２１に類似）が没入型プロジェクタＰ２と併せて用いられる。視
野（すなわちＦＯＶ）９１で示されるように、好ましい本実施形態では前面投射型プロジ
ェクタＰ１のＦＯＶ９１で覆われる表示表面の部分は没入型プロジェクタＰ２の視野のサ
ブセットであり、視野線（以降、ＦＯＶという）９３で示される。前面投射型プロジェク
タＰ１のＦＯＶ９１は没入型プロジェクタＰ２のＦＯＶ９３の範囲内に入るため、没入型
プロジェクタＰ２が前面投射型プロジェクタＰ１により生み出された投影画像をシミュレ
ートすることが望ましい。しかし、一般的に前面投射型プロジェクタＰ１のＦＯＶ９１は
没入型プロジェクタＰ２のＦＯＶ９３におけるいずれの部分とも重なる必要は必ずしもな
いことが強調される。
【０２１５】
没入型プロジェクタＰ２のＦＯＶ９３が前面投射型プロジェクタＰ１のＦＯＶ９１の一
部と重なる必要はないが、実カメラＣを前面投射型プロジェクタＰ１および没入型プロジ
ェクタＰ２に別個に結び付ける２つの輸送行列が作成されることが望ましい。前面投射型
プロジェクタＰ１および没入型プロジェクタＰ２のＦＯＶが必ずしも重ならないので２つ
の輸送行列は別個に生成できることが理解されよう。しかし好ましい本実施形態の具体例
において、実カメラＣは実カメラＣのＦＯＶ９５が前面投射型プロジェクタＰ１のＦＯＶ
９１のスーパーセットで没入型プロジェクタＰ２のＦＯＶ９３のサブセットであるように
配置される。ＦＯＶ９５で示されるように、実カメラＣの視野は前面投射型プロジェクタ
Ｐ１のＦＯＶ９１を完全に包含するが、没入型プロジェクタＰ２のＦＯＶ９３により完全
に包含される。没入型プロジェクタＰ２を用いて前面投射型プロジェクタＰ１から投影さ
れた画像をシミュレートするには、前面投射型プロジェクタＰ１からの第１投影画像ｐ1
を実カメラＣからの第１取り込み画像ｃ1にｃ1＝Ｔ1＊ｐ1となるように関連付ける第１光
輸送行列Ｔ1をまず決定する。次に、没入型プロジェクタＰ２からの第２投影画像ｐ2を実
カメラＣからの第２取り込み画像ｃ2にｃ2＝Ｔ2＊ｐ2となるように関連付ける第２光輸送
行列Ｔ2を決定する。その結果、次の関係が成立する。
【０２１６】
【数２６】
2009095015.tif 000028
没入型プロジェクタＰ２を用いて前面投射型プロジェクタＰ１からの第１投影画像ｐ1
をシミュレートするためには、第１取り込み画像ｃ1（すなわち前面投射型プロジェクタ
Ｐ１から投影された画像の取り込み画像）が第２取り込み画像ｃ2（すなわち没入型プロ
ジェクタＰ２から投影された画像の取り込み画像）と同じであることが必要である、すな
わち、
【０２１７】
【数２７】
2009095015.tif 000029
であることが必要で、これは次の関係、
【０２１８】
【数２８】
2009095015.tif 000030
につながる。第２投影画像ｐ2（すなわち没入型プロジェクタＰ２により投影された画
像）を解くと次の関係が得られる。
【０２１９】
【数２９】
2009095015.tif 000031
これは第１投影画像ｐ1を作成するために前面投射型プロジェクタＰ１を用いて画像を
直接投影することができ、または変換された画像［（Ｔ2-1）＊（Ｔ1ｐ1）と定義］を没
入型プロジェクタＰ２で投影することにより同じ効果が得られることを意味する。ビュー
投影行列は自然にプロジェクタ−カメラ対応をプロジェクタ−プロジェクタ対応に移すこ
とが特記される。
【０２２０】
このような投影は図２２に示され、没入型プロジェクタＰ２を用いて図２１の前面投射
型プロジェクタＰ１のような前面投射型プロジェクタがシミュレートされる。図２２にお
いて、没入型プロジェクタＰ２によりシミュレートされる仮想プロジェクタＰ１”は点線
で示される。従って、図２１の前面投射型プロジェクタＰ１により投影される第１投影画
像ｐ1は図２２の没入型プロジェクタＰ２で変換画像（Ｔ2-1）＊（Ｔ1ｐ1）を投影するこ
とにより再現することができる。これにより、見る人１００Ａ，１００Ｂ，１００Ｃは前
面投射型プロジェクタ、すなわち前面投射型プロジェクタＰ１または仮想プロジェクタＰ
１”、を遮蔽することを心配しなくて済む。画像は明らかに歪みがなく、仮想プロジェク
タによる映画の再生はリアルタイムで流すことができる。上述のようにＴ2-1は近似行列
ΞT2で置き換え得ることが理解されよう。上記で述べたように、逆光輸送行列Ｔ-1を近似
するビュー投影行列ΞTは以下の考察において別途記述されない限り自由に逆光輸送行列
Ｔ-1を置き換えることができる。
【０２２１】
図２３（ａ）〜図２３（ｃ）は前面投射の実画像（図２３（ａ））および前面投射のシ
ミュレートされた画像（図２３（ｂ））を並べてシームレスに連結したもの（図２３（ｃ
））を示すことによりシミュレーションの画質を図示する。図２３（ａ）は図２１のＰ１
のような実前面投射型プロジェクタにより投影された画像の右側を示す。図２３（ｂ）は
図２３（ａ）の前面投射画像の左側を示すが、図２３（ｂ）において画像の左側は図２２
のＰ２のような没入型プロジェクタにより図２２の仮想プロジェクタＰ１”のような仮想
前面投射型プロジェクタをシミュレートするように投影される。没入型プロジェクタによ
り作成される、左側のシミュレートされた前面投射画像の画質は図２３（ｃ）でより良く
図示され、ここで図２３（ａ）の右側の前面投射画像は図２３（ｂ）の左側の前面投射画
像に繋げられ、並んで示され、実前面投射型プロジェクタおよびシミュレートされた仮想
前面投射型プロジェクタにより各々作成された画像のシームレスな位置合わせがもたらさ
れる。
【０２２２】
実前面投射型プロジェクタにより作成された実前面投射画像と没入型プロジェクタによ
り作成された、シミュレートされた前面投射画像を並べた比較を示す２つの追加例が図２
４に示される。図２４において、表示画像の左半分は没入型プロジェクタにより仮想前面
投射型プロジェクタからの表示をシミュレートするように作成され、表示画像の右側半分
は実前面投射型プロジェクタにより作成されている。
【０２２３】
本手法の別の用途は図２５（ａ）〜図２５（ｃ）を参照するとより良く理解される。本
例において、図２５（ｃ）の没入型プロジェクタＰ２を用いて各種の周囲照明効果（すな
わち仮想環境）が作成される。カメラを、そのＦＯＶが表示部屋のかなりの部分を覆うよ
うに配置すれば、ビュー投影を用いて壁が仮想モデルに従い照明されるような没入型環境
を作り出すことができる。これを達成するために、図２５（ａ）に示すように実カメラＣ
はそのＦＯＶが実部屋１１１の相当な部分を覆うように配置される。図２５（ａ）におい
て、実カメラＣおよび没入型プロジェクタＰ２は実カメラＣのＦＯＶが没入型プロジェク
タＰ２のＦＯＶの全部（好ましくはより多く）と言わないまでも殆どを包含するように配
置される。本例において、Ｐ２は没入型プロジェクタとして示されるが、没入型プロジェ
クタＰ２は前面投射型プロジェクタなど任意の種類のプロジェクタであって良い。実カメ
ラＣおよび没入型プロジェクタＰ２間に関係を確立するために、実カメラＣを没入型プロ
ジェクタＰ２に関連付ける第３光輸送行列Ｔ3が前記に説明されたいずれかの方法を用い
て取り込まれる、すなわち決定される。一旦、これがなされると、実カメラＣにより見ら
れる（すなわち取り込まれる）第３取り込み画像ｃ3は没入型プロジェクタＰ２により投
影される第３投影画像ｐ3に次の関係に従って関連付けられる。
【０２２４】
【数３０】
2009095015.tif 000032
これは次をもたらす。
【０２２５】
【数３１】
2009095015.tif 000033
【０２２６】
このように、実部屋１１１における表示表面の仮想モデルを構築することができる。図
２５（ｂ）に示す構築された仮想モデル部屋１１１”は例えばコンピュータ・シミュレー
ションであって良い。一旦、仮想モデル部屋１１１”が作成されると、各種のシミュレー
トされた照明効果（または投影画像または浮遊画像）を仮想モデル部屋１１１”に加える
ことができる。例えば、図２５（ｂ）は仮想モデル部屋１１１”が大きなロウソク１１３
からのロウソクの光により照明されるところを示す。コンピュータ・モデルはさらに実カ
メラＣの位置および解像度（図２５（ａ）における）をモデル化し、図２５（ｂ）で点線
の枠Ｃとして示される。コンピュータ・モデルは次に実カメラＣの視点から仮想モデル部
屋１１１”の合成的眺めｃ3”を「取り込み」（すなわち作成し）、図２５（ａ）の実カ
メラＣにより取り込まれたかのようにの仮想モデル部屋１１１”の実画像をシミュレート
する。図２５（ｂ）のシミュレートされた照明効果は次に没入型プロジェクタＰ２を用い
て変換画像（Ｔ3-1）＊（ｃ3”）を投影することにより図２５（ｃ）の実部屋１１１にお
いて再現することができる。
【０２２７】
実部屋１１１の壁より大きい特大画像を映写することが望ましい。上記で考察したよう
に、映写壁に対する実部屋の壁および天井の角度を補正するために各種の方法を用いて実
プロジェクタを較正することができるが、本発明は異なった方法を用いてこの問題を解決
する。本例において、仮想モデル部屋１１１”（図２５（ｂ）の）は実部屋１１１（図２
５（ｃ）の）に類似した寸法を有し、特大画像は歪みのない形で仮想モデル部屋１１１”
に重ね合わせられる。次に実カメラＣの視点から仮想モデル部屋１１１”上の歪みなしの
特大画像の合成的眺めｃ3”（すなわち合成取り込み画像）が作成される。次に没入型プ
ロジェクタＰ２に変換画像（Ｔ3-1）＊（ｃ3”）を投影させ、実部屋１１１の壁に歪みの
ない特大画像を再現させる。結果は映写表面上の曲面（または他の凹凸）を補正するため
に没入型プロジェクタＰ２を較正する必要がなかった歪みのない投影が得られる。
【０２２８】
示されたように、仮想プロジェクタおよび環境を組み合わせ、没入型映画ビュアーを作
成することができる。仮想環境はアクティブな視界でもあるので、より大きい視野の表示
を動画化し、より興味の湧く体験を作り出すことができる。
【０２２９】
上記に説明した手法は大視野（すなわち大きいＦＯＶ）表示の作成に適用することがで
きる。大きいＦＯＶは没入感を作り出し、見る人にとってより興味の湧く体験を提供する
。本方法は非常に大きいＦＯＶを有する没入型映写システムを説明する。システムはさら
に映写のＦＯＶが覆う領域からの光を取り込むことができる内蔵型大ＦＯＶカメラ／光セ
ンサを有して設計されている。センサによりシステムは画質を最適化し、より全般的にシ
ステムがその環境とインタラクトできるように映写光を適合させることができる。本シス
テムは主にサラウンド・ビデオ・コンテンツを表示したいことから主に動機付けられてい
るが、この新映写システムは従来のビデオ・コンテンツを見るためにも用いることができ
ることを特記することが重要である。
【０２３０】
図２６に関し、本発明による代表的な映写システムの最小限の形態は次のコンポーネン
ト、前面投射型プロジェクタ１２１、デジタルスチルカメラまたはデジタルビデオカメラ
であり得るカメラ１２３、球形または別途の曲面ミラー１２５、および上記コンポーネン
トの据付機構からなる。前面投射型プロジェクタ１２１からの光は曲面ミラー１２５から
反射されてから、建物の壁、床、天井、および専用映写スクリーンを含む任意の表面であ
り得る映写表面１２７に到達する。映写表面１２７はさらに任意の形状であって良い。曲
面ミラーで投射光を反射させるとプロジェクタのＦＯＶが拡大される。プロジェクタを元
とする場合もしない場合もある、環境からの光線も曲面ミラー１２５から反射されてから
カメラに到達する。これも同様にカメラＦＯＶを拡大する。
【０２３１】
図２７は図２６の設計に基づいたプロトタイプを示し、図２７の中で図２６のものに類
似した要素は類似した参照番号を有し、上記に説明される。本構成は、マルチウォールの
没入型仮想環境を構築すつという、スマートプロジェクタ−カメラシステムの主要な用途
を際立てさせている。従って、本例は従来の前面投射型プロジェクタ１２１、高解像度の
デジタルスチル型のカメラ１２３、および半球形の曲面ミラー１２５からなる簡単なパノ
ラマ映写設定を用いている。本設定において、曲面ミラー１２５（「ドーム型プロジェク
タ」と呼ぶことができる）は地域のコンビニ店で使用されるような低価格のプラスチック
製半球型警備用曲面ドームである。このような曲面ドームは専門的に設計され製作された
光学グレードのミラーに比べ少なくとも３桁は安い。さらに、据付機構も通常の金物・建
材店で入手できる安価な部品で作られた。この構成で実験した際、曲面ドーム１２５は真
の半球面からは（さらに言えばいずれの単純なパラメトリック形状からも）程遠いことが
見出された。
【０２３２】
図２８は図２７における設定の別のビューで、カメラ１２３の観点から見た（非常に大
雑把に）曲面ミラー１２５のビューを示す。図２８において曲面ミラー１２５の反射で見
られるように、カメラ１２３は曲面ミラー１２５の反射により床、少なくとも３つの垂直
な壁、および天井を「見る」ことができる。
【０２３３】
図２９（ａ）において、本映写システムを設置した部屋が周辺光の下で示される。図３
０（ａ）は較正されていないドーム型プロジェクタが市松格子の画像を表示するところを
図示する。表示画像には明らかに相当な量の非線形幾何学的な歪みがある。図３０（ｂ）
は同じ設定を示すが、ビュー投影行列を用いて幾何学的補正がなされている。画像は基準
カメラの位置から撮られたので、ビューにおける直線は複数の壁にわたり直線のままであ
る。
【０２３４】
ビュー投影行列ΞTはさらに色および強度の変動とともに表示表面のアルベド／反射率
特性の不均一に対しても測光的に補正する。図３１（ａ）は較正されていないドーム型プ
ロジェクタが均一強度の画像を表示するところを図示する。見られるように、もたらされ
た画像は前方壁の左上および右上方向においてかなり暗い。図図３１（ｂ）では同じ均一
強度の画像が較正されたドーム型プロジェクタで投影され、より均一な強度を実現するこ
とが示される。
【０２３５】
ビュー投影に必要なものすべてについて小型な代表があると、他の方法で較正するのが
極めて困難な可能性のある表示システムを分析するのが容易になる。また、これらのシス
テムを構築して表示および撮像ハードウェアの限度まで精密に較正させるのに役に立つ。
ここでは、前面投射型プロジェクタと組み合わせて上述のドーム型プロジェクタを用いた
いくつかの例により逆光輸送行列Ｔ-1の有用性を示す。本例で使用されるような低予算の
パノラマプロジェクタを用いた場合でも、ビュー投影行列は人を引き付ける没入型表示設
定を組み立て得ることが見出された。
【０２３６】
さらに、図２６〜図３１における本例のドーム型プロジェクタ設定は図２１および図２
２の没入型プロジェクタＰ２の代わりに用いて上述のように前面投射型プロジェクタのシ
ミュレーションを実現し、または図２５（ａ）〜図２５（ｃ）における没入型プロジェク
タＰ２の代わりに用いて上述のように仮想環境を作り出すために使用できることが理解さ
れよう。
【０２３７】
本プロジェクタ−カメラシステムを用いた没入型投影照明の例を図２９（ｂ）に示す。
見られるように、本プロジェクタ−カメラシステムは天井に加え２つの壁にも画像を投影
することができる。この効果がビュー投影行列ΞTを用いてどのように達成されるかの例
を図３２〜図３４に示す。
【０２３８】
ビュー投影行列ΞTがまず上述のいずれかの方法を用いて生成される。上記に説明され
る通り、映写表面が主に平たい表面（または結合された平たい表面）、からなる場合、７
本の光の垂直線および交差する７本の光の水平線を用いて完全なビュー投影行列ΞTを近
似することにより４９以下の基準点を生成することができ、かつプロジェクタ対カメラの
良好なレベルの較正を実現することができる。この場合、映写表面は平たいと仮定される
ので、抜けている行列入力値は４９の基準点から外挿することができる。
【０２３９】
しかし、図２６〜図３１の例において映写表面は曲面ミラーからなるため、プロジェク
タの解像度で完全なビュー投影行列ΞTが生成されることが好ましい。本例において前面
投射型プロジェクタ１２１はｐ×ｑ個のプロジェクタピクセルの解像度を有するので、前
面投射型プロジェクタ１２１とカメラ１２３との間の較正はｐ×ｑ個の光輸送基準点を生
成することにより達成できるはずである。
【０２４０】
図３２に関し、図２７の前面投射型プロジェクタ１２１はｑ本の一連の垂直線ＶＬ_１
〜ＶＬ_ｑを個別的に映写表面（すなわちこの場合は図２７の曲面ミラー１２５）に投影
し、これらは個別的かつ自動的に図２７のカメラ１２３により取り込まれる。図３３で、
前面投射型プロジェクタ１２１は次にｐ本の一連の水平線を個別的に投影し、続いてこれ
らも個別的かつ自動的にカメラ１２３により取り込まれる。上記に説明されるように、取
り込まれた垂直および水平線は各々個別的に組み合わされそのユニークに一致する基準点
Ｆｔ（すなわち光フットプリント）が特定される。このプロセスはすべてのユニークな交
差点が特定され（図３４において白い円で図示）、その光輸送情報が抽出されるまで続け
られる。前面投射型プロジェクタ１２１から放射される垂直および水平線は完全に垂直お
よび水平であるが、もたらされる曲面ミラー１２５の投影線は曲面ミラー１２５の湾曲に
追随することが理解されよう。
【０２４１】
上述のように、ビュー投影行列ΞTの構築に「表示制約」が執行されることが好ましい
。従って、望ましい画像Ｃがあり、曲面ミラー１２５経由で実部屋１１１に望ましい画像
Ｃを歪みなしに表示するためにどのように投影画像ｐを変換するか判定したい場合、Ｐ＝
ΞT×Ｃと定義される画像Ｃの歪んだバージョンを投影する必要がある。
【０２４２】
これは図３５に図示され、ここで望ましい画像Ｃはｍ×ｎ個の画像ピクセル入力値Ｃ1
〜Ｃm×nからなるベクトル２００として書かれている。ベクトル２００に作成された（ｐ
×ｑ）行および（ｍ×ｎ）列からなるビュー投影行列ΞTを掛け、（ｐ×ｑ）の変換画像
Ｐが生み出され、これはベクトル２０１として書かれ、各々前面投射型プロジェクタ１２
１の（ｐ×ｑ）個のプロジェクタピクセルにおいて対応するピクセルに適用される（ｐ×
ｑ）個の画像ピクセル入力値からなる。もたらされる変換画像Ｐはｐ行およびｑ列からな
るように図示されている。
【０２４３】
図３６に関し、図３５からの変換画像ＰはプロジェクタＬＣＤ画像用の変換画像Ｐとし
て前面投射型プロジェクタ１２１に送られ、曲面ミラー１２５（図２７）に投影される。
実部屋１１１にもたらされる画像２０３は図３６の望ましい画像Ｃの歪んでいない表示で
ある。
【０２４４】
本例の場合、カメラ１２３および前面投射型プロジェクタ１２１は変換画像Ｐを作成さ
れる前に較正されなかったことが特記される。逆に変換画像Ｐの歪みは、カメラ−プロジ
ェクタ対の較正補正情報を含むビュー投影行列ΞTを用いて構築されたのでカメラ１２３
と前面投射型プロジェクタ１２１間で較正されていないことに関連する問題を本質的に補
正している。
【０２４５】
望ましい画像がビデオ画像である場合、ビュー投影行列ΞTはビデオ画像に適用される
ことが理解されよう。つまり、ビデオ画像は順に並べられた複数のスチル画像を有してな
るので、ビュー投影行列ΞTを順序付けられたスチル画像の各々に適用して変換ビデオ投
影を実現することになる。
【０２４６】
さらに強調すべきは、前面投射型プロジェクタ１２１のＦＯＶとカメラ１２３のＦＯＶ
とは一般的に異なっており、重なっても重ならなくても良い点である。２つのＦＯＶが相
当重なる場合、カメラ１２３により取り込まれた画像は上述の方法に類似した方法で前面
投射型プロジェクタ１２１からの投影画像の質を向上させるためのフィードバックとして
用いることができる。例えば、カメラ１２３から前面投射型プロジェクタ１２１へのフィ
ードバックを用いて表示表面の反射特性および形状の変化（カメラ１２３から見た）を補
正し、投影画像が平たく白い表面に投影されているが如く見えるようにすることができる
。
【０２４７】
カメラ１２３のＦＯＶは前面投射型プロジェクタ１２１のＦＯＶで覆われない領域を含
むこともできる。例えば、前面投射型プロジェクタ１２１が図２９（ａ）および図２９（
ｂ）に示すテスト部屋の前および横の壁を覆うのに対し、カメラはプロジェクタＦＯＶ外
の、場合によって見る人たちがいる領域を含む、領域を取り込むことができる。これによ
りシステムは見る人達または見る人達のポインティングデバイスを検出し追跡することに
より見る人達に適応しインタラクトすることができる。カメラ１２３が例えばリモコンに
搭載された小型の光を追跡してユーザ・インタラクションを促進することも可能かもしれ
ない。
【０２４８】
図３７に関し、図２６の構成に基づくが天井据付操作を対象とした別の構成が図示され
る。図２６に類似した要素はすべて類似した参照番号を有し、上記に説明される。
【０２４９】
図３８および図３９において、さらに２つの別の構成が示される。図３８および図３９
において図２１に類似した要素はすべて類似した参照番号を有し、上記に説明される。
【０２５０】
図３８では平面ミラー１４１が光路を折ることにより前面投射型プロジェクタ１２１お
よびカメラ１２３を曲面ミラー１２５の下に配置することができ、より小さいフットプリ
ントを達成している。図３９は展示ブース操作のために前面投射型プロジェクタ１２１、
カメラ１２３、曲面ミラー１２５、および平面ミラー１４１をブース１４３内に入れるブ
ース用設計を示す。この構成を用いると、同時に２つの投影画像、第１表示表面Ａ上の第
１の前方（または後方）投影画像および第２表示表面Ｂ上の第２の後方投影画像を実現す
ることができる。
【０２５１】
上述の設計のいくつかにおいて、プロジェクタおよびカメラは共通の光心を有しない。
しかし、光心が同配列されたプロジェクタ−カメラ対を設計することは可能である。同配
列光心を有するシステムはプロジェクタとカメラが全く同一の視野を有することができる
が、同配列でない光心を有するシステムは環境の３Ｄ再現ができる可能性がある。
【０２５２】
ここまでは、提供された例は１台のカメラと１台のプロジェクタで構成されていたが、
上記に示唆するように、複数のカメラおよびプロジェクタの組み合わせを使用することも
できる。これは異なった視野を有する２台以上のプロジェクタからの２つ以上の投影画像
をどのようにシームレスに統合もしくは組み合わせるか、または複数のプロジェクタを組
み合わせてどのように大型視野の表示を作成するかという問題を呈する。従って、複数の
プロジェクタを用いることにより可能になる視覚効果をいくつか説明する前に、まず複数
のプロジェクタをどのようにシームレスにいっしょに使えるかを考察することが有用であ
ろう。つまり、本発明を１台のプロジェクタと１台のカメラからなるシステムに適用され
た場合の効果は複数のプロジェクタおよび１台（またはそれ以上）のカメラを有するシス
テムにも拡大できるのである。
【０２５３】
プロジェクタ−カメラシステムを較正し、上述の「ビュー投影問題」を解決するための
ノンパラメトリック方法の開発が上記で考察している。つまり、カメラが望ましいビュー
を見るように、プロジェクタがどのように場面を照明すべきかを定義すること（すなわち
プロジェクタが場面に何を投影すべきかを定義すること）のビュー投影問題が上記で考察
される。要約すると、上述の開発はまず、プロジェクタから投影された投影画像ｐをカメ
ラで取り込まれた画像ｃにｃ＝Ｔｐという関係で関連付ける光輸送行列Ｔについて複数の
構成を提供した。次に中間作業の行列Ξが次の関係により、埋められると定義された。
【０２５４】
【数３２】
2009095015.tif 000034
ここで列Ξｒは行列Ξのｒ番目の列で、ｐｑは光輸送行列Ｔにおける列の数である。次
に「表示制約」の下ではビュー投影行列ΞTを次のように定義できることが示され、
【０２５５】
【数３３】
2009095015.tif 000035
これは次の関係をもたらす。
【０２５６】
【数３４】
2009095015.tif 000036
【０２５７】
上記に説明されたとおり、「表示制約」は情報表示を目的とした通常のプロジェクタと
カメラの設定において、別個のプロジェクタピクセルから放射された任意の２つの光線は
通常、カメラピクセルアレイにおいて別々の部分に当たる、すなわち別個の光線の各々か
らの光に当たったカメラピクセルｉにあまり重複がないという観察に由来する。これは光
輸送行列Ｔの列が互いに直交していることを意味し、方程式（１）の正規化プロセスによ
り光輸送行列Ｔの逆をもたらすことができる。さらに上記に説明されるように、「表示制
約」が自然に守られない状況において、光輸送行列Ｔの構成を修正し、光輸送行列Ｔの各
行における最も明るいピクセルが別個の光線によりもたらされる光フットプリントと一部
であると宣言し、光輸送行列Ｔの同じの行における他のピクセルすべてがゼロ値の入力で
あると宣言することにより「表示制約」を人工的に強要することができる。この操作によ
り光輸送行列Ｔは強制的に直交にされ、方程式（１）の適用が可能になる。
【０２５８】
このようにビュー投影行列ΞTは、望ましい眺めｃが与えられた場合、ｐ＝ΞTであり、
ｐを投影すると基準カメラから見た場合、望ましい眺めｃと同じ外観を有する場面を実現
する投影画像ｐ＝ΞTを見出すという、ビュー投影問題を解決する。
【０２５９】
実際上大型視野表示、壁画面に囲まれる仮想居住ステーション、および他の多くの用途
は個別プロジェクタ各々の限られた視野のため１台より多いプロジェクタの使用を必要と
する。一般的に、１台を越えるプロジェクタを使用する場合これらのプロジェクタの視野
は互いに部分的に重なり合う。このような２台以上のプロジェクタを有する表示システム
を用いてビュー投影を達成する（または実際のこと異なった視野にわたり連続的な画像を
投影する）には、個々のプロジェクタをモザイク化して望ましいカメラビューを生成する
必要がある。
【０２６０】
本発明を用いたモザイク化の例が２台のプロジェクタシステムを使用して提示される。
より多くのプロジェクタを有するシステムへの拡張は簡単なので、モザイク表示を構築す
る本方法は３台以上のプロジェクタを有する表示システムにも拡張できることが理解され
よう。つまり、第１プロジェクタからの第１投影画像を第２プロジェクタからの第２投影
画像と組み合わせるという、以下に説明するプロセスは第２プロジェクタからの第２投影
画像を第３プロジェクタからの第３投影画像を組み合わせるのに適用でき、第１投影画像
、第２投影画像、および第３投影画像を組み合わせたモザイク画像が作成される。同様に
同じプロセスが第３投影画像を第４プロジェクタからの第４画像と組み合わせるのに適用
でき、第１投影画像、第２投影画像、第３投影画像、および第４投影画像を組み合わせた
モザイク画像が作成される。
【０２６１】
重なり合う視野（ＦＯＶ）および双方のプロジェクタのスーパーセットとなるＦＯＶを
有するカメラからなるマルチプロジェクタ表示システムを検討する。各第１投影画像ｐ1
および第２投影画像ｐ2をカメラで取り込まれた第１取り込み画像ｃ1および第２取り込み
画像ｃ2に関連付け第１光輸送行列Ｔ1および第２光輸送行列Ｔ2（別個に決定）は次の方
程式をもたらす。
【０２６２】
【数３５】
2009095015.tif 000037
【０２６３】
双方のプロジェクタの視野ＦＯＶにわたる画像を表示するには、複合された画像ｃがシ
ームレスな形で第１取り込み画像ｃ1および第２取り込み画像ｃ2を組み合わせるような第
１取り込み画像ｃ1および第２取り込み画像ｃ2を見出す必要がある。つまり、ｃ＝ｃ1＋
ｃ2と定義される複合された画像ｃはカメラから見た望ましい画像である。より具体的に
、望ましい複合された画像ｃを表示するために次の線形方程式を解いて適当な第１投影画
像ｐ1および第２投影画像ｐ2を演算する必要がある。
【０２６４】
【数３６】
2009095015.tif 000038
【０２６５】
このような設定において、カメラピクセルは１台のプロジェクタからの１個のプロジェ
クタピクセルにより、または各々のプロジェクタからの２個のプロジェクタピクセルによ
り同時に、点灯される。前者の場合、カメラピクセルは第１投影画像ｐ1または第２投影
画像ｐ2における対応プロジェクタピクセルについて線形方程式を呈する。カメラピクセ
ルが２台のプロジェクタのＦＯＶで重なる部分に当たる後者の場合、第１投影画像ｐ1ま
たは第２投影画像ｐ2における２個の対応プロジェクタピクセルについて線形方程式を呈
する。各プロジェクタピクセルはいくつかのカメラピクセルを覆うので、いくつかの線形
方程式により制約される。従って、すべてのカメラピクセルからのこのような方程式は第
１投影画像ｐ1またプロジェクタ画像ｐ2に対し制約過剰の線形システムを形成する。
【０２６６】
しかし、２台のプロジェクタシステムの場合、上述の単独プロジェクタシステムででき
るようにビュー投影行列を直接演算することができなくなる（すなわち［Ｔ1Ｔ2］の逆を
直接演算できない）。これは異なったプロジェクタからのピクセルの投影は重なり合うこ
とができるためで、従って、「表示制約」も複数のプロジェクタ間では成立せず、すなわ
ち第１光輸送行列Ｔ1における列は第２光輸送行列Ｔ2における列と必ずしも直交せず、よ
って［Ｔ1Ｔ2］に対するビュー投影行列を演算するのに方程式（１）を用いることができ
ない。従って、方程式（２）の線形システムを直接解く代わりに、収束するまで次の２工
程を反復する交互性の線形解法が開発された。
【０２６７】
【数３７】
2009095015.tif 000039
【０２６８】
方程式（３）、方程式（４）において、（Ξ1）Tおよび（Ξ2）Tは２台のプロジェクタ
の各々のビュー投影行列で、最初の工程において第２投影画像ｐ2はゼロに等しく設定さ
れる。ビュー投影行列はプロジェクタとカメラとの画像間の対応とマッピングを自然に伝
えるので、方程式（３）および方程式（４）に示す第１投影画像ｐ1および第２投影画像
ｐ2が各々の補完的画像に収束するまで多くの反復を必要としない。実際上、第１投影画
像ｐ1および第２投影画像ｐ2が組み合わせるとモザイク画像を形成する各々の補完的画像
に収束するために数回（通常５回以下）の反復プロセスしかかからない。つまり、第１投
影画像ｐ1は第１画像に収束し、第２投影画像ｐ2は第２画像に収束し、第１投影画像ｐ1
および第２投影画像ｐ2の画像が投影され重ね合わされると、組み合わせられたモザイク
画像を形成する。
【０２６９】
図４０に関し、このプロセスを実施したシステムの例は第１プロジェクタ−カメラシス
テム対２２１および第２プロジェクタ−カメラシステム対２２３を含む。第１プロジェク
タ−カメラシステム対２２１は、上述方法のいずれかを用いて構築された第１ビュー投影
行列Ξ1により関連付けられた第１プロジェクタ２１ａおよび第１カメラ２５ａを含む。
同様に、第２プロジェクタ−カメラシステム対２２３は、同じく上述方法のいずれかを用
いて構築された第２ビュー投影行列Ξ2により関連付けられた第２プロジェクタ２１ｂお
よび第２カメラ２５ｂを含む。さらに第１ビュー投影行列Ξ1および第２ビュー投影行列
Ξ2は各々独立して生成され、第１ビュー投影行列Ξ1が生成される間、第２プロジェクタ
−カメラシステム対２２３は消されており、第２ビュー投影行列Ξ2が生成される間、第
１プロジェクタ−カメラシステム対２２１は消されていることが理解されよう。
【０２７０】
第１プロジェクタ−カメラシステム対２２１は第１投影領域Ｒｅｇ_１を定義する第１
視野ＦＯＶ_１を有し、第２プロジェクタ−カメラシステム対２２３は第２投影領域Ｒｅ
ｇ_２を定義する第２視野ＦＯＶ_２を有する。図示されるように、第１投影領域Ｒｅｇ_
１と第２投影領域Ｒｅｇ_２は網目印で特定される区域内で互いに重なり合う。この重複
領域はさらにＲｅｇ_１＋２という記号が付けられている。重複領域Ｒｅｇ_１＋２のサイ
ズは説明の便宜上大きくされており、小さい重複領域の方がより典型的であるが、重複の
量は本用途にとって重要ではないことが理解されよう。
【０２７１】
方程式（３）および方程式（４）は幾何学的（すなわち空間的）および測光的（すなわ
ち照明）補正を考慮しており、従って、隣接する表示画像間での必要な融合を処理するこ
とが特記される。これは光輸送行列Ｔが幾何学的情報を組み入れており、その結果、行列
Ξもそうであるからである。さらに、代表的な光輸送行列Ｔの光フットプリント情報を特
定する際、光フットプリント内の取り込まれた各ピクセルは各カメラピクセルの３色（Ｒ
ＧＢ）のサブコンポーネントにおける任意の光強度変動について値の入力を有するので、
完全な測光的情報も得られる（例えば図３における第１光線フットプリントＦｔ１または
図６における第２光線フットプリントＦｔ２の光フットプリントを構成する白および各明
度の灰色のブロックを参照）。
【０２７２】
しかし、光輸送行列ＴがバイナリのＯＮ／ＯＦＦの方法で構成されるとすると（すなわ
ち光フットプリント内のピクセルは完全にＯＮと分類され（すなわち「０」から「２５５
」の代表的な光度尺度で「２５５」の光強度値を有すると分類）、光フットプリント外の
ピクセルは完全にＯＦＦと分類される（すなわち「０」の光強度値を有すると分類））、
光輸送行列Ｔを構成するこのバイナリのＯＮ／ＯＦＦの方法は測光的情報をあまり有しな
い（事実上黒白の画像になるので）。しかし、この光輸送行列Ｔを構成するこのバイナリ
のＯＮ／ＯＦＦの方法は完全な幾何学的情報を有するので、上記ｐ¬1の方程式（３）お
よび第２投影画像ｐ2の方程式（４）の２式は複数の投影画像の幾何学的モザイク化を判
定することはできる。しかし、この場合、複数の投影画像をモザイク化する際、複数の投
影画像の光強度を融合させるために光融合工程（以下に説明）を追加すると有用である。
【０２７３】
複数の投影画像の光強度を融合する追加工程が有用かもしれない別の状況は光輸送行列
Ｔが限られた数の光フットプリント情報から作成される場合である。上述のとおり、映写
表面（または場面）が平たく、光輸送行列Ｔは限られた数の交差パターンを用い特定され
た限られた数の光フットプリントを生成して推定されるような状況に当てはまる。映写表
面は平たいので、光輸送行列Ｔ内で欠ける幾何学的情報はホモグラフィ手法を用いて推測
することができる。推定された光輸送行列Ｔは従って、完全な幾何学的情報を提供するが
、一般的に特定された限られた数の光フットプリント間の場所について測光的情報は提供
しない。
【０２７４】
映写表面が均一に白色である（たとえば白い映写キャンバスまたは白い壁）と仮定する
と、すべての特定および推測された光フットプリント情報に対し測光的情報として単に白
色情報を挿入することにより光融合工程は飛ばすことができる。あるいは、映写表面が必
ずしも白ではないが、均一の色であると仮定すると、とく栄された１つの光フットプリン
ト（または２つ以上の平均）の測光的情報を割り当てることにより推定測光的測定を定義
することができる。つぎに推測された光フットプリントすべての測光的情報をこのように
定義された推定測光的測定で埋めることができる。
【０２７５】
追加的光融合工程の話に戻り、利用可能なピクセル情報すべてを用いて生成された光輸
送行列Ｔがある場合でも、複数の投影画像をモザイク化する際、光融合工程を追加するこ
とは投影画像にとって有益である。この場合、追加的光融合工程から得られる情報は方程
式（３）および方程式（４）から得られた融合結果に対し追加的パラメータとなることが
できる。
【０２７６】
この追加的光融合工程を明らかにする複数の投影領域の簡略化されたビューを図４１に
示す。前と同様に、第１投影領域Ｒｅｇ_１は第１プロジェクタ−カメラシステム対２２
１が提供する投影領域で、第２投影領域Ｒｅｇ_２は第２プロジェクタ−カメラシステム
対２２３が提供する投影領域である。説明の便宜、第１投影領域Ｒｅｇ_１は垂直な平行
線で示され、第２投影領域Ｒｅｇ_２は水平な平行線で示される。重複領域Ｒｅｇ_１＋２
はしたがって垂直および水平な平行線の交差で示される。特に興味があるのは第１投影領
域Ｒｅｇ_１、第２投影領域Ｒｅｇ_２、および重複領域Ｒｅｇ_１＋２の一部にかかる濃
い輪郭で示された望ましい投影領域２２５の定義である。望ましい投影領域２２５は望ま
しい組み合わせ（すなわちモザイク）画像が表示される領域を定義する。望ましい投影領
域２２５には第１プロジェクタ−カメラシステム対２２１および第２プロジェクタ−カメ
ラシステム対２２３の双方から画像寄与がある。望ましい投影領域２２５内で領域Ｒｅｇ
_Ａは第１プロジェクタ−カメラシステム対２２１のみにより提供される望ましい投影領
域２２５の部分を特定し、領域Ｒｅｇ_Ｃは第２プロジェクタ−カメラシステム対２２３
のみにより提供される望ましい投影領域２２５の部分を特定し、領域Ｒｅｇ_Ｂは第１プ
ロジェクタ−カメラシステム対２２１および第２プロジェクタ−カメラシステム対２２３
の組み合わせにより提供される望ましい投影領域２２５の部分を特定する。領域Ｒｅｇ_
Ｂは第１プロジェクタ−カメラシステム対２２１または第２プロジェクタ−カメラシステ
ム対２２３のいずれか片方のみにより提供されることもできることが理解されようが、画
像境界（１つのプロジェクタ−カメラシステムにより提供される画像が終わり第２のプロ
ジェクタ−カメラシステムにより投影される第２の画像が始まる個所）における視覚的ア
ーティファクトはプロジェクタ−カメラシステム間の遷移を融合することにより緩和され
、または取り除かれることが見出されている。従って、この好ましい実施形態で、第１プ
ロジェクタ−カメラシステム対２２１および第２プロジェクタ−カメラシステム対２２３
双方が領域Ｒｅｇ_Ｂ内に作成された画像に寄与している。ここで問題は、領域Ｒｅｇ_Ｂ
内の画像のどれだけ（すなわちどの部分）を第１プロジェクタ−カメラシステム対２２１
および第２プロジェクタ−カメラシステム対２２３が各々提供しているかである。
【０２７７】
説明を簡単にするために、図４２は第１投影領域Ｒｅｇ_１および第１プロジェクタ−
カメラシステム対２２１のＦＯＶ内にある望ましい投影領域２２５の部分、すなわち領域
Ｒｅｇ_Ｂ、が図示される。垂直な平行線は望ましい投影領域２２５に寄与しないため暗
くされた第１投影領域Ｒｅｇ_１の部分を示す。矢印１Ａ，１Ｂ，１Ｃ，１Ｄは第１投影
領域Ｒｅｇ_１の境界から領域Ｒｅｇ_Ｂに向かった離れ、望ましい投影領域２２５の境界
に近づき、第２プロジェクタ−カメラシステム対２２３により提供される望ましい投影領
域２２５に近づく際、正規化された光強度がどのように変化するかを示す。領域Ｒｅｇ_
Ａは組み合わせ部分の領域Ｒｅｇ_Ｂの外にあり、第１プロジェクタ−カメラシステム対
２２１のみによって提供される。第１投影領域Ｒｅｇ_１の左側の境界から矢印１Ａを横
切り、領域Ｒｅｇ_Ｂに近づくと、矢印１Ａは暗く図示され、すべての画像成分が第１プ
ロジェクタ−カメラシステム対２２１により提供されていることを示す。矢印１Ａに従い
、領域Ｒｅｇ_Ｂに入ると、矢印１Ａは最初暗く図示され、次に明るくなり（すなわち縞
が細くなるよう図示）、画像の強度が最初は強く第１プロジェクタ−カメラシステム対２
２１により提供されるが、アレイ１Ａに沿って領域Ｒｅｇ_Ｂおよび第１投影領域Ｒｅｇ_
１の右側の境界に向かい左から右に横切るにつれ強度が下がることを示している。矢印１
Ｄは最初、領域Ｒｅｇ_Ｂの右端において第１プロジェクタ−カメラシステム対２２１に
より強度は提供されないが、領域Ｒｅｇ_Ｂ内で矢印１Ａの終端に向かい右から左に横切
るにつれ第１プロジェクタ−カメラシステム対２２１からの光強度は増加することを示す
。同様に矢印１Ｂは望ましい投影領域２２５の境界から離れるように矢印１Ｂを下がると
光強度が下がることを示す。同じく、矢印１Ｃは望ましい投影領域２２５の境界から離れ
るように矢印１Ｃを上がると光強度が下がることを示す。
【０２７８】
言い換えれば、画像における光強度の変動は定義された最高光強度値、すなわち正規化
値、の係数として表現することができる。この正規化値に係数「１」を掛けると定義され
た最高光強度値が提供され、同じ正規化値に係数「０．５」を掛けると定義された最高光
強度値の半分が提供される。一定領域内で正規化値を変えることにより、その一定領域内
の画像の強度を変えることができる。本例の場合、境界においてピクセルの光強度を急に
変えるのではなく、画像境界を徐々に融合することにより境界における望ましくない光の
アーティファクトを避ける。
【０２７９】
第２プロジェクタ−カメラシステム対２２３の視点から見た同様の構成が図４３に示さ
れる。ここでも水平な平行線は望ましい投影領域２２５に寄与していないので暗くされた
第２投影領域Ｒｅｇ_２の部分を示す。前と同様、領域Ｒｅｇ_Ｂは画像が第１プロジェク
タ−カメラシステム対２２１および第２プロジェクタ−カメラシステム対２２３双方の組
み合わせにより提供される融合区域を示し、領域Ｒｅｇ_Ｃは第２プロジェクタ−カメラ
システム対２２３のみによって提供される望ましい投影領域２２５の部分を示す。矢印２
Ａ，２Ｂ，２Ｃ，２Ｄは第２投影領域Ｒｅｇ_２から望ましい領域の境界に向かい、また
領域Ｒｅｇ_Ｂ内で第１プロジェクタ−カメラシステム対２２１によって提供される望ま
しい投影領域２２５の部分に向かい移動するにつれ正規化光強度が変化するかを示す。領
域Ｒｅｇ_Ｃは組み合わせ部分の領域Ｒｅｇ_Ｂの外にあり、第１プロジェクタ−カメラシ
ステム対２２１のみによって提供される望ましい投影領域２２５の部分を定義する。領域
Ｒｅｇ_Ｂに入ると、矢印２Ａは画像の強度が最初は強く第２プロジェクタ−カメラシス
テム対２２３により提供されるが、アレイ２Ａに沿って領域Ｒｅｇ_Ｂの左側の境界に向
かい右から左に横切るにつれ強度が下がることを示している。矢印２Ｄは最初、領域Ｒｅ
ｇ_Ｂの左端において第２プロジェクタ−カメラシステム対２２３により強度は提供され
ないが、領域Ｒｅｇ_Ｂ内で左から右に横切るにつれ第２プロジェクタ−カメラシステム
対２２３からの光強度は増加することを示す。同様に矢印２Ｂは領域Ｒｅｇ_Ｂ内で望ま
しい投影領域２２５の境界から離れるように矢印２Ｂを下がると光強度が下がることを示
す。同じく、矢印２Ｃは望ましい投影領域２２５の境界から離れるように矢印２Ｃを上が
ると光強度が下がることを示す。
【０２８０】
第１プロジェクタ−カメラシステム対２２１により投影される各ピクセルについて、第
１投影領域Ｒｅｇ_１およびＲｅｇ_Ｂの左、右、上部、および下部の境界に対するその投
影ピクセルの近さが判定される。これらのパラメータは投影されるピクセルの正規化光強
度に影響する。第１プロジェクタ−カメラシステム対２２１からの投影ピクセルが第１投
影領域Ｒｅｇ_１のいずれかの境界に近いほどその境界のパラメータ寄与が高くなり、よ
り明るい正規化強度となる。第２プロジェクタ−カメラシステム対２２３からの投影ピク
セルの場合も同じで、第２投影領域Ｒｅｇ_２および領域Ｒｅｇ_Ｂの４つの境界に対する
投影ピクセルの近さが判定される。さらに、境界において急な光強度の変化を避けるため
に、境界に近い投影ピクセルの光強度は境界に近づくに合わせて調節される。
【０２８１】
例えば図４１において、領域Ｒｅｇ_Ａで矢印Ａ１に沿って左から右に進むと第１プロ
ジェクタ−カメラシステム対２２１により完全に提供される望ましい投影領域２２５の左
の境界から、第２投影領域Ｒｅｇ_２、および第１プロジェクタ−カメラシステム対２２
１および第２プロジェクタ−カメラシステム対２２３の双方により提供される領域Ｒｅｇ
_Ｂの左の境界に移ることになる。矢印Ａ１に沿って左から右に進むと第１投影領域Ｒｅ
ｇ_１の左の境界から離れて行くが、画像は第１プロジェクタ−カメラシステム対２２１
のみにより提供されるので、第１プロジェクタ−カメラシステム対２２１により出される
ピクセルの正規化光強度は正規の最も高い値にある。矢印Ａ１の終わりに到達し、矢印Ａ
２の初めに到達すると、光融合はまさに始まるところなので第１プロジェクタ−カメラシ
ステム対２２１はまだ最も高い正規化値にある。矢印Ａ２の初めにおいて第１プロジェク
タ−カメラシステム対２２１は最も高い正規化光強度を有し、第２プロジェクタ−カメラ
システム対２２３はまだ最も低い正規化値を有する。矢印Ａ２に沿って左から右に進むと
（すなわち第１プロジェクタ−カメラシステム対２２１により専ら提供される領域Ｒｅｇ
_Ａから第２プロジェクタ−カメラシステム対２２３により専ら提供される領域Ｒｅｇ_Ｃ
に向かって）、第１プロジェクタ−カメラシステム対２２１の正規化光強度は最も高い正
規化光強度から最も低いものに下がる。逆に矢印Ａ２に沿って左から右に移動すると、第
２プロジェクタ−カメラシステム対２２３の正規化光強度は最も低い正規化光強度から最
も高いものに上がる。この光遷移は必ずしも直線的でないことが理解されよう。例えば、
第１プロジェクタ−カメラシステム対２２１における正規化光強度は矢印Ａ２に沿って右
側の境界または領域Ｒｅｇ_Ｂに近づくにつれより大きい変化が起こることが好ましい。
【０２８２】
従って、矢印Ａ２の終わりで、第２プロジェクタ−カメラシステム対２２３は正規化光
強度が最高であり、第１プロジェクタ−カメラシステム対２２１は正規化光強度が最低で
ある。矢印Ａ３に沿って左から右に移動すると第２プロジェクタ−カメラシステム対２２
３が投影される光をすべて提供し、第１プロジェクタ−カメラシステム対２２１による光
の寄与はない。このように、領域Ｒｅｇ_Ｃ内で、第２プロジェクタ−カメラシステム対
２２３は最も高い正規化光強度に維持され得る。
【０２８３】
上述の方程式（３）および方程式（４）は幾何学的および測光的双方の情報を用い、図
４４に示すように塑像に対し２台のプロジェクタをモザイク化することによってテストさ
れた。２台のプロジェクタはカメラから見えるすべての表面を覆う必要があるので、これ
は無理に作った例ではない。この設定を用い、シームレスで歪みのない画像（カメラの視
点から見た）が塑像上に投影することに成功した。さまざまな照明条件の下で塑像の画像
をビュー投影することにより簡単に照明を変えることもできる。
【０２８４】
図４５（ａ）および図４５（ｂ）は複数のプロジェクタを組み合わせる上記方法を用い
た大型ＦＯＶプロジェクタシステムの構成を示す。図４５（ａ）では１つの曲面ミラー１
２５が複数のプロジェクタ−カメラ対１４５と組み合わせて用いられる。図４５（ｂ）で
は１つのミラーピラミッド１５１が複数のプロジェクタ−カメラ対１４５と用いられ、大
きいＦＯＶを実現している。図４５（ｂ）の構成の場合、すべてのプロジェクタの光心を
ミラーピラミッド内に同配列して、１つの仮想大型ＦＯＶプロジェクタを作り出すことが
できる。同様にカメラの光心も同配列して１つの仮想大型ＦＯＶカメラを作り出すことが
できる。
【０２８５】
図４６は複数の大きいＦＯＶプロジェクタ１５３ａ，１５３ｂを用いてより大きい全体
的投影ＦＯＶを達成することができることを示す。１つ以上の通常のプロジェクタ１５５
も組み合わせて使用することができる。見られるように、点線１５７で示されるＦＯＶプ
ロジェクタ１５３ａのＦＯＶは点線１５９で示されるプロジェクタ１５４ｂのＦＯＶと、
重複量１６１だけ重なっている。ＦＯＶプロジェクタ１５３ａ，１５３ｂからの画像は複
数のプロジェクタを組み合わせるための上述の方法を用いて組み合すことができる。
【０２８６】
本発明の別の実施形態は「ビュー投影行列」を実施するための最適化方策を扱う。これ
らの方策は一般的に消費者レベルの演算システムで利用できる並列処理能力をいかに最適
に使用するかとともに「ビュー投影行列」の較正データをどのように並列処理アプリケー
ションにより適した形に配列するかを中心にしている。
【０２８７】
１つ以上のプロジェクタを自動的に位置合わせできるよう較正する方法が上述される。
上述の方法は非平坦で非白色の表面に投影画像を歪みなしに表示することに理想的に適し
ているが、これに限定されない。取られる方法は光輸送行列Ｔに基づいており、これは投
影画像ｐおよびカメラで取り込まれた画像ｃの関係をｃ＝Ｔｐと表し、光輸送行列Ｔの各
列はプロジェクタからの１ピクセルの投影画像である。さらに上記に光輸送行列Ｔを効率
的に格納する方法、および光輸送行列Ｔを生成するのに必要な取り込み画像数をｐおよび
ｑの乗算からｐおよびｑの合計またはそれ以下に減らす方法が説明される。さらに２つの
取り込み画像から光輸送行列Ｔの各列を次の関係、
【０２８８】
【数３８】
2009095015.tif 000040
によりどのように合成するか示され、ここで、列Ｔｊは光輸送行列Ｔのｊ番目の列、第
１組Ｓ１および第２組Ｓ２は２組のピクセルでＳ１∩Ｓ２＝｛ｊ｝、およびＣS1、ＣS2は
光輸送行列Ｔの各々の列の合計、すなわちＣS＝Σj∈SＴｊである。
【０２８９】
関係ｃ＝Ｔｐは投影画像ｐが場面に投影された時にカメラがｃとして何を取り込むかの
予測を可能にする。特定のｃに対しｐを見出すには次の逆方程式、
【０２９０】
【数３９】
2009095015.tif 000041
が必要となる。
【０２９１】
光輸送行列Ｔは非常に大きい行列であるので、その逆光輸送行列Ｔ-1を演算するのは一
般的に非現実的である。従って、上記ではさらにほとんどの実際的な状況に適した逆光輸
送行列Ｔ-1の近似を計算する方法が示される。逆光輸送行列Ｔ-1の近似はまず光輸送行列
Ｔの各列はプロジェクタからの１ピクセルの活性化によりもたらされる投影画像であるこ
とを念頭に置き、逆光輸送行列Ｔ-1の近似を求めるためには、
【０２９２】
【数４０】
2009095015.tif 000042
であるような行列Ξを構築でき、列Ξｒは行列Ξのｒ番目の列である。上記により詳細
に説明されたように、
【０２９３】
【数４１】
2009095015.tif 000043
および、
【０２９４】
【数４２】
2009095015.tif 000044
であるので、これは、
【０２９５】
【数４３】
2009095015.tif 000045
を意味する。従って、関係＝Ｔｐはｐ＝（Ｔ-1）＊ｃと整理することができ、これは次
のように近似することができる。
【０２９６】
【数４４】
2009095015.tif 000046
【０２９７】
上述のように、ΞTは本考察において「ビュー投影行列」と呼ばれる。ビュー投影行列
ΞTの意味合いは、望ましい眺めｃが与えられた場合、投影画像ｐは基準カメラ（望まし
い眺めｃの画像を作成した）の位置から眺めると望ましい眺めｃと同じ外観を有する場面
を実現するような投影画像ｐ＝（ΞT）ｃを見出す（すなわち作成または生成する）とい
うことである。
【０２９８】
ここで「ビュー投影行列」の実施を最適化するという問題が持ち上がる。懸案の問題は
消費者レベルのパソコンもしくはラップトップ／ノートブック・コンピュータ、またはプ
ロジェクタシステムの統合演算能力上でさえもの消費者レベル演算システムにおける実施
を促進するために「ビュー投影行列」の実行をどのように最適化するかということである
。本発明は消費者レベルにおける演算アーキテクチャの最近の改良を利用しようとするも
のである。
【０２９９】
並列処理能力のある機械はより普及しており、本発明はこれらの並列処理機械を利用し
ようとするものである。より具体的に、本発明は多くの消費者レベルの演算装置に普及し
ている特定サブシステムの並列処理能力の改良をうまく利用しようとするものである。
【０３００】
コンピュータ・プログラムは通常幅広く多様な命令のセットに従い多数の異なったタス
クを実施できる汎用コンピュータ、すなわち非特殊コンピュータ、の中心をなす演算シス
テムの主ＣＰＵ（中央演算装置）内で実施される。
【０３０１】
しかし、演算システムはデータ・トラフィック制御、音声処理、ビデオ処理、メモリ・
アクセス制御、等々具体的なデータ処理タスクを実施する他の特化サブシステムを有する
。これらの特化サブシステムは演算システムの主ボード上の特化集積回路として、または
演算システムの主ボードに取り付けられるドーター・ボードとして実装できる。本発明の
一特色はビュー投影行列ΞTのデータ処理の要求をすべて、または一部、演算システムの
主ＣＰＵから少なくとも演算システムの特化サブシステムに移すことである。より正確に
は本発明は１つの具体的な特化サブシステムの能力を利用する。
【０３０２】
演算システム内の特化サブシステムの内、ビデオ処理サブシステムは近年大きく進歩し
ており、演算システムの主ＣＰＵに匹敵するような処理能力に到達している。これは並列
処理の分野に特に当てはまる。ＣＰＵは汎用処理装置として設計されており、従って、幅
広い、かつ自由度のある命令セットを支援しなければならないため、いっしょにして並列
処理装置を形成できる小数の複雑な処理装置、または処理コアに制限されている。このよ
うな汎用ＣＰＵはそのアーキテクチャにより比較的少数の処理コアに制限される。つまり
、並列処理の汎用ＣＰＵは大きな命令セットを実施できるよう通常ＭＩＮＤ（複数命令、
複数データ）アーキテクチャに従っているが、自由度の代償は処理コアの数が非常に制限
されることである。例えば、現在汎用ＣＰＵは約２つまたは４つの処理コアに制限される
。逆に、ビデオ処理サブシステム（しばしばビデオ・カード、またはビデオ処理ドーター
・ボードに統合される）は１つの一次タスク、すなわちビデオ処理、を実施することに特
化されているので、命令セットはより特化され、限定されている。ＧＰＵは通常並列処理
装置により多数の簡略化された（すなわちより小さい）処理コアを統合できるＳＩＭＤ（
単一命令、複数データ）アーキテクチャに従っている。ＧＰＵは限られた命令セットを有
するが、ＧＰＵはしばしばスレッドと呼ばれる命令を並列に多数処理する能力がある。こ
のようなＧＰＵは何百もの処理コアを有することができる。
【０３０３】
本発明は並列処理に最適化されたデータ構造を提供し、他の機能を最適化して特に高度
並列処理システムに適したようにすることによりビデオ・カードにおける並列処理の改良
を利用しようとしている。このように、通常ＣＰＵの負担となるような処理要件をコンピ
ュータシステムのビデオ・カードにオフロードすることができる。これはビュー投影行列
の実施の多くは画像に関係しているので特に役立ち、従って、高度並列演算ビデオ・カー
ドの特化アーキテクチャに良く適している。
【０３０４】
本発明は一般的に並列処理システムに適しているが、説明の容易さから本明細書では並
列処理サブシステムの具体的な例に適用して説明される。つまり、本発明は演算システム
のＣＰＵに加え、またはそれに代わり、演算システムのＧＰＵを用いることによりビュー
投影行列ΞTの実施を加速させる。各種のＧＰＵアーキテクチャが利用できるが、ＮＶＩ
ＤＩＡ（登録商標）、８８００ＧＴＸの製品群のＧＰＵはＣＵＤＡ（登録商標）（Comput
e Unified Device Architecture）と呼ばれるアーキテクチャを通じて並列演算に対する
系統だったサポートを有しているので本例示的実施はこれらを使用している。「ＮＶＩＤ
ＩＡ（登録商標）  ＣＵＤＡ（登録商標），Ｃｏｍｐｕｔｅｒ  Ｕｎｉｆｉｅｄ  Ｄｅｖ
ｉｃｅ  Ａｒｃｈｉｔｅｃｔｕｒｅ，Ｐｒｏｇｒａｍｍｉｎｇ  Ｇｕｉｄｅ」、２．０版
に説明されるようにＣＵＤＡ（登録商標）はＣプログラミング言語に対する小さな拡張を
通じてプログラミング・アクセスをユーザに提供しており、同ガイドは引用により本明細
書に全体として組み入れられる。以下の考察において、プログラミング用語、キーワード
、またはソフトウェア構造に関する言及はＣプログラミング言語に関するとみなされる。
【０３０５】
ＮＶＩＤＩＡ（登録商標）、ＣＵＤＡ（登録商標）を用いて「ビュー投影」演算を実施
することは多くの特殊な気遣いを必要とする。ＣＵＤＡ（登録商標）はマルチコア・ハー
ドウェア・プラットフォームで、多数の処理装置を有する（例えばＦＸ  ８８００、ＧＰ
Ｕは１２８個のハードウェア処理装置、またはコア、を有し、ＮＶＩＤＩＡ（登録商標）
ＧＴ２００は２７０個のコアを提供する）。各処理装置、またはコアは専用のプライベ
ート・メモリを有しており、複数の処理装置が各々のグループ・メモリを共有するスレッ
ドアレイのブロックにグループ化されるが、処理装置のすべては同じグローバル・メモリ
も共有する。従って、メモリ・トラフィックは性能の大きな障害となっている。
【０３０６】
各ＣＵＤＡ（登録商標）処理装置内において、命令のパイプライン化を用いて複数の命
令スレッドの実行を加速する。複数のスレッドは同じ開始点を有することができるが、実
行中に分かれ得る。さらに、正しいパイプラインをその後の実行において維持するために
、自分のスレッドのブロック内で他のスレッドの前に終了するスレッドは正しい順の実行
を維持するためすべてのスレッドが実行を終了するまで待たされる。従って、命令スレッ
ドの実行の不一致を最小限にし、パイプライン実行におけるシリアル化遅延を縮めるため
にビュー投影行列のデータ構造を整理する必要がある。
【０３０７】
対応すべき第１の問題はアドレスの不連続性をいかに最小限にするかである。複数のカ
メラピクセルが１つの個別のプロジェクタピクセルに関連しているかもしれない。この基
本的な例が図３および図６に示され、ここでカメラのピクセル解像度はプロジェクタのそ
れより高く、１つのプロジェクタピクセルに囲まれる（すなわち関連する）カメラピクセ
ルの光フットプリント（またはクラスタ）をもたらす。複数のカメラピクセルが単一のプ
ロジェクタピクセルに関連する（カメラまたはプロジェクタのピクセル解像度に関係なく
）別の理由は光の流れにより生じる歪みの種類と背景または場面の形状である。これらの
歪みの種類によりいくつかのプロジェクタピクセルが複数のカメラピクセルに対応する可
能性ができ、あるいは他のプロジェクタピクセルが単一のカメラピクセルに対応する可能
性ができ、またはプロジェクタピクセルが対応する（すなわち関連する）カメラピクセル
を有しないことすらあり得る。
【０３０８】
図４７はビュー投影行列ΞTの直観的ではあるが、非効率的なデータ構造を示す。各投
影画像ピクセル（すなわちプロジェクタピクセル）に対し各具体的投影画像ピクセルに関
連するカメラピクセルの数（intcount）および各関連カメラピクセルに関する具体的な情
報を格納するソフトウェア・データ構造３００_０〜３００_（ｍｎ−１）がある（すなわ
ち「Ｅｌｅｍｅｎｔ」の種類はＣプログラミング言語における「ｓｔｒｕｃｔ」）。各関
連カメラピクセルは関連カメラピクセルの各々位置座標（３１１）およびＲＧＢ色値（３
１２〜３１４）を指す４つのメモリポインタ３０１〜３０４により定義される。
【０３０９】
理解されるように、ピクセルの較正データはファイルに格納され、アプリケーションが
開始すると、較正データは定義されたデータ構造に従いメモリにロードされる。従って、
アプリケーションが開始すると、各投影画像ピクセル３００_０〜３００_（ｍｎ−１）に
対し、その関連カメラピクセル各々について４つのメモリポインタ３０１〜３０４の別個
のセットが、関連カメラピクセルの各々について４つの対応する動的にマロックされた（
すなわちメモリ割り当てされた）バッファ３１１〜３１４とともに作成される。さらに、
アドレス・アクセス・パターンがランダムで不連続であるためデータは非常に非効率的に
ロードされる。従って、このデータ構造は論理的に理解し易いが、メモリ・アクセスの操
作の観点から非常に非効率的である。各投影画像ピクセルをアクセスするには、関連カメ
ラピクセル毎に４つの異なったバッファが関わり、各バッファは物理的メモリの異なった
部分にあるかもしれない。
【０３１０】
従って、この方法はＤＲＡＭメモリ（すなわちＤＤＲＡＭ、ＤＤＲ  ＳＤＲＡＭ、等々
）のバースト・モードをうまく活用していない。不連続な形でメモリをアクセスすること
はＤＲＡＭ動作においてバンクや列を変更する時間のため、バースト・モードで連続的ア
ドレス位置のメモリをアクセスするよりはるかに遅くなり得る。
【０３１１】
アドレスの不連続性を最小限にする最初の工程は従って、データへのアクセスができる
だけ連続的な形でアクセスできるよう図４７のデータ構造を再編成することである。もた
らされる、改良されたデータ構造４００が図４８に示されるが、動的にマロックされたバ
ッファが関わらなくても良い。データ構造４００は３つのバッファとしての第１バッファ
４０１、第２バッファ４０２、第３バッファ４０３に格納される。「Ｃｏｕｎｔ_Ｌｏｃ_
Ｂｕｆｆｅｒ」と呼ばれる第１バッファ４０１はプロジェクタピクセル、または要素、毎
の関連カメラピクセルの総数（すなわち数）および第１カメラピクセルの位置を格納する
。この方法で、プログラムは特定のプロジェクタピクセルに関連する第１カメラピクセル
をどこで見つけるかが分かり、関連カメラピクセルは連続的に配列されているので、プロ
グラムは第１カメラピクセルからいくつの後続カメラピクセルが同じくその特定のプロジ
ェクタピクセルに関連しているかが分かる。第２バッファ４０２の「Ｃｏｏｒｄｓ_Ｂｕ
ｆｆｅｒ」は関連カメラピクセルのＸ−Ｙ座標を格納し、第３バッファ４０３の「ＲＧＢ
_Ｂｕｆｆｅｒ」は関連カメラピクセルのＲＧＢ値を格納する。
【０３１２】
例えば、アプリケーションがプロジェクタピクセル０から開始し、次にプロジェクタピ
クセル１に進み、次にプロジェクタピクセル２に、次にプロジェクタピクセル３に、以下
同様であると仮定する。さらにプロジェクタピクセル０は４個の関連カメラピクセルを有
すると仮定すると、これらの関連カメラピクセルはアドレス位置（０，１，２，３）に格
納されることになる。従って、ｃｏｕｎｔ（０）＝４（４個の連続的に格納された関連カ
メラピクセルがプロジェクタピクセル０に関連していることを示す）で、ｌｏｃ（０）＝
０（プロジェクタピクセル０に関連する関連カメラピクセルの第１のピクセルはメモリ位
置０に格納されていることを示す）である。次にプロジェクタピクセル１が３個の関連カ
メラピクセルを有すると仮定し、これらはプロジェクタピクセル０に関連する４個のカメ
ラピクセルに連続的に続くメモリに格納されることになる。従って、これらの３個の関連
カメラピクセルはアドレス位置（４，５，６）に格納されることになる。従って、ｃｏｕ
ｎｔ（１）＝３（プロジェクタピクセル１が３個の関連カメラピクセルを有することを示
す）で、ｌｏｃ（１）＝４（プロジェクタピクセル１に関連する第１カメラピクセルがメ
モリ位置４に位置することを示す）である。ここでプロジェクタピクセル２が１００個の
関連カメラピクセルを有すると仮定すると、これらのカメラピクセルはアドレス７，８，
９，…，１０６に格納されることになる。従って、ｃｏｕｎｔ（２）＝１００およびｌｏ
ｃ（２）＝７で、これはプロジェクタピクセル２に関連する第１カメラピクセルの開始ア
ドレスである。プロジェクタピクセル３、４、以下同様についてこのパターンに従う。こ
の配列を用い、データは大部分連続的な順序でアクセスされ、ＤＲＡＭメモリのバンク／
列変更の時間を最小限にする。
【０３１３】
関連カメラピクセルに関する情報のメモリ位置（すなわちメモリ・アドレス）は第２バ
ッファ４０２のＣｏｏｒｄｓ_Ｂｕｆｆｅｒと第３バッファ４０３のＲＧＢ_Ｂｕｆｆｅｒ
と同じであることも特記される。これは各関連カメラピクセルについての情報を保持する
データ単位のサイズを知る（すなわち選択する）ことにより達成される。例えば、第２バ
ッファ４０２のＣｏｏｒｓ_Ｂｕｆｆｅｒにおいて、関連カメラピクセル毎の情報は２つ
の部分（ＸおよびＹの座標情報）を含むが、単一のデータ単位として格納される。いくつ
のデータ単位を飛び越すかを知ることにより正しいカメラピクセル情報にジャンプするこ
とができ、データ単位の数は読み取りたい関連カメラピクセルの数により第１バッファ４
０１のｉｎｔ  ｌｏｃ（）により定義される開始点からのオフセットとして判定される。
同様に、第３バッファ４０３のＲＧＢ_Ｂｕｆｆｅｒにおいて関連カメラピクセル毎の情
報は３つの部分を含むが（赤、緑、および青の情報）、１つの単位として格納されるので
、ここでもいくつのピクセルデータを飛び越すかを知ることにより望まれるカメラピクセ
ル情報にジャンプすることができる。このように第１バッファ４０１のＣｏｕｎｔ_Ｌｏ
ｃ_Ｂｕｆｆｅｒに格納された位置情報（例えばｌｏｃ_（０）またｈｌｏｃ_（１）等々
）は第２バッファ４０２のＣｏｏｒｄｓ_Ｂｕｆｆｅｒおよび第３バッファ４０３のＲＧ
Ｂ_Ｂｕｆｆｅｒの双方に適用できる。基本的に、第１バッファ４０１のＣｏｕｎｔ_Ｌｏ
ｃ_Ｂｕｆｆｅｒは各プロジェクタピクセルに対し関連カメラピクセルの総数およびプロ
ジェクタピクセル毎の第１関連カメラ画像ピクセルの相対位置を格納し、これは他の２つ
バッファ、第２バッファ４０２のＣｏｏｒｄｓ_Ｂｕｆｆｅｒおよび第３バッファ４０３
のＲＧＢ_Ｂｕｆｆｅｒ各々に対し同じである。
【０３１４】
このように操作において、３つの大きなバッファ（第１バッファ４０１、第２バッファ
４０２、および第３バッファ４０３）があり、互いに分離している。しかし、「ビュー投
影行列」を処理する時、これらの３つの大きなバッファへのアクセスは各々連続的である
。これによりキャッシュにあまり負担をかけないシステムとなる。キャッシュ機構の場合
、２つの大きなバッファ（ｂｕｆｆｅｒ_＃１およびｂｕｆｆｅｒ_＃２）があってｂｕｆ
ｆｅｒ_＃１の第１バイトを読み取ると、第１バイトと併せてデータ連続的グループ全体
（例えば６４バイトのサイズの）が読み取られる。従って、本例において、ｂｕｆｆｅｒ
_＃１の最初の６４バイトが第１バイトと併せてキャッシュにロードされる。これはしば
しば「バースト・モード」と呼ばれる。次にｂｕｆｆｅｒ_＃２の第１バイトを読み取る
と、ｂｕｆｆｅｒ_＃２び最初の６４バイトもロードされることになる。システムがｂｕ
ｆｆｅｒ_＃１の第２バイトを読み取るために戻ると、それは既にキャッシュに入ってい
るので、システムＤＲＡＭへのアクセスは必要ない（すなわちＳＤＲＡＭ読み取り操作が
必要とされない）。これは「キャッシュ・ヒット」と呼ばれる。これに続き、システムは
ｂｕｆｆｅｒ_＃２の第２バイトを要求し、このバイトも既にキャッシュにあるので、再
びキャッシュ・ヒットがある。従って、キャッシュが十分に大きく、何万もの別々のバッ
ファ（図４７の構造で必要となるような）を避ければ、大部分キャッシュ・ヒットになる
。本例の場合、図４８の構造は図４７の構造に比べバッファの数を何万から３つだけのバ
ッファに削減する。
【０３１５】
図４８の別の利点は、アプリケーションが開始してビュー投影行列がファイルからロー
ドされる度にコンピュータ・システムが較正データを１つ１つ個別の小さなデータ構造お
よび個別のバッファに解析する必要がないことである。これによりロード時間を１０分の
１に削減することができる。本発明をテストするために作成されたサンプル・システムで
は、ロード時間が約３０秒から３秒に削減された。
【０３１６】
本発明の最適化に向けた次の工程はカーネル実行の不一致を避けることである。上記に
説明のとおり、ＧＰＵは小さな処理装置（すなわちコアまたはプロセッサ）を多数有して
おり、これらのプロセッサはプロセッサのブロックに分けられる。各ブロックはＳＩＭＤ
（単一命令、複数データ）アーキテクチャで、すべてのプロセッサが類似したタスク（す
なわちスレッド）を実行すると並列性が維持される。プロセッサの１つのブロック内にお
けるいずれかのスレッドが異なると、他のスレッドと分かれ、並列性は失われる。さらに
、スレッドの同期化を維持するために他のスレッドは分かれたスレッドの終了まで待つ。
【０３１７】
本アプリケーションにおいて、タスクの多く（例えば行列の乗算）は類似しているが、
異なった（プロジェクタピクセル）／（カメラピクセル）組み合わせに適用される。さら
に、各プロジェクタピクセルは異なった数の関連カメラピクセルを有するかもしれないの
で、スレッドの長さが異なる。スレッド間のこの長さの差はプロセッサの１ブロック内で
不一致および同期化遅延（すなわちシリアル化遅延）問題を起こす。この問題は似通った
数の関連カメラピクセルを有するプロジェクタピクセルが同じＣＵＤＡ（登録商標）スレ
ッド・ブロックにグループ化されるよう投影行列を整理し直すことにより最小限にするこ
とができる。基本的に、プロジェクタピクセルは各々の関連カメラピクセル総数（すなわ
ち図４８の第１バッファ４０１のＣｏｕｎｔ_Ｌｏｃ_Ｂｕｆｆｅｒにおける入力「ｃｏｕ
ｎｔ（  ）」）により共通のＣＵＤＡ（登録商標）スレッド・ブロックにグループ化され
る。この方法で、カーネル実行の不一致は避けられ、各スレッド・ブロックの実行が最適
化される。
【０３１８】
基本的に、ＣＵＤＡ（登録商標）（および他のマルチプロセッサ全般）は１つのスレッ
ド・ブロックを同じ処理装置、すなわちコア、にパイプライン状にスケジュールする。何
らかの流れ制御が実行の不一致を生じさせると、ＣＵＤＡ（登録商標）はこれらのスレッ
ドが同じ実行点に再度到達するまでシリアル化する。「ビュー投影行列」の較正データは
異なったプロジェクタピクセルに対応する異なった数の関連カメラピクセルを有するかも
しれないため、この問題を扱うには特別な注意が払われる。
【０３１９】
図４９（ａ）〜図４９（ｂ）は本発明で取られる方法を図示する。図４９（ａ）はプロ
ジェクタ−カメラシステム内で関連カメラピクセルの数が１つのプロジェクタピクセルか
ら次にかけ異なり得ることを示すグラフである。グラフの横軸は各プロジェクタピクセル
を番号で特定し、縦軸は個々のプロジェクタピクセル毎の関連カメラピクセルの数（すな
わち関連カメラピクセル総数）を示す。図４９（ｂ）において、１つのプロジェクタピク
セルから次にかけ関連カメラピクセル総数が滑らかな増加の形で変化するよう図４９（ａ
）のデータが並べ替えられている。
【０３２０】
図４９（ｃ）において、プロジェクタピクセル毎の関連カメラピクセルの数（すなわち
関連カメラピクセル総数）は定形数の量子化レベル５０１に量子化される。特定された量
子化レベル内の関連カメラピクセル総数を有するプロジェクタピクセルはプロジェクタピ
クセルグループにまとめられる。本発明は共通のプロジェクタピクセルグループ内のすべ
てのプロジェクタピクセルについて関連カメラピクセルの数を同じにすることを求める。
同じ数の関連カメラピクセルを有するプロジェクタピクセルは次に共通のＣＵＤＡ（登録
商標）スレッド・ブロックに割り当てられ、同じスレッド・ブロック内で不一致がないこ
とを確実にする。共通のプロジェクタピクセルグループ内のプロジェクタピクセルすべて
が同じ数の関連カメラピクセルを有することを確保するために、プロジェクタピクセルグ
ループ内のプロジェクタピクセルである量子化レベルに引き上げるべく関連カメラピクセ
ル総数を変える必要があるものにはゼロ値の存在しないカメラピクセルが追加される。
【０３２１】
このように、あるスレッド・ブロック内のすべてのスレッドが等しい数のカメラピクセ
ルを処理することになり、この数はスレッド・ブロック内の最大関連カメラピクセル総数
に等しくされる。いずれかのプロジェクタピクセルの、関連スレッド・ブロック内の最大
関連カメラピクセル総数より低い関連カメラピクセル総数はゼロ値のカメラピクセル情報
（すなわちダンプピクセル）で水増しされ、より低い関連カメラピクセル総数を最大関連
カメラピクセル総数に等しくなるよう引き上げる。
【０３２２】
例えば、１つのスレッド・ブロック内で１つのプロジェクタピクセルが１００個の関連
カメラピクセルを有し、同じスレッド・ブロック内における他のプロジェクタピクセルは
すべて３０個の関連カメラピクセルしか有しない場合、７０個のダンプピクセル（すなわ
ちＲＧＢ値がゼロに設定されたカメラピクセル）が３０個の関連カメラピクセルを有する
プロジェクタピクセルに追加して関連カメラピクセル総数（すなわち図４９におけるｅｎ
ｔｒｙ  ｃｏｕｎｔ（  ））を「１００」に引き上げる。このように、あるスレッド・ブ
ロック内のすべてのスレッドが同じタスクを等しい回数実行し、不一致は生じない。
【０３２３】
これを図的に表したものを図５０に示す。本例は５個のプロジェクタピクセル６０１〜
６０５からなるプロジェクタピクセルグループを示す。各プロジェクタピクセル６０１〜
６０５について、対応する関連カメラピクセル６１１〜６１５が図的に順次配列され、暗
いボックスで表され、非ゼロ（ＮＺ）のＲＧＢ値を有する。
【０３２４】
このサンプルのプロジェクタピクセルグループの最大関連カメラピクセル総数は「１０
」である。この関連カメラピクセル総数値はプロジェクタピクセル６０２，６０５により
共有される。しかし、残りの３個のプロジェクタピクセル６０１，６０３，６０４は１０
未満の関連カメラピクセル総数を有する。プロジェクタピクセル６０１，６０３，６０４
は各々１、５、および３の初期関連カメラピクセル総数値を有する。プロジェクタピクセ
ル６０１，６０３，６０４の各々の関連カメラピクセル総数を最大総数値の「１０」に引
き上げるために、プロジェクタピクセル６０１，６０３，６０４の各々に点線の箱で表さ
れるように異なった数のダンプピクセルが追加され、ＲＧＢ値はゼロに設定されている。
プロジェクタピクセル６０１は９個のダンプピクセル（またはダミーピクセル、すなわち
ＲＧＢ値がゼロに設定された架空のカメラピクセル）が元の１個の関連カメラピクセルに
追加され、総数値を「１０」に引き上げられている。プロジェクタピクセル６０３は５個
のダンプピクセルが元の５個に追加され、「１０」の総数値が作成されている。プロジェ
クタピクセル６０４は７個のダンプピクセルが元の３個の関連カメラピクセルに追加され
ている。
【０３２５】
別の特色は装置−ホストのコピー（すなわちメモリ・アクセス）操作を削減することに
より本発明の実行を加速する。これはＰＢＯバッファ（Open GL Pixel Buffer Object）
をＣＵＤＡ（登録商標）カーネルの結果バッファとして割り当てることにより達成される
。これにより、ＣＵＤＡ（登録商標）カーネルの結果は表示用にホストＰＣ（すなわちＣ
ＰＵ）に転送して戻す必要がなくなる。代わりに、ＣＵＤＡ（登録商標）カーネルの結果
はそれをＣＵＤＡ（登録商標）のグラフィックス・アーキテクチャにより直接表示するＯ
ｐｅｎＧＬテクスチャ・メモリにマップされる。
【０３２６】
前述のように、グローバル・メモリへのアクセスは時間およびリソースの点で特に高価
であるので、本発明の別の特色は利用可能なグローバル・メモリのバス幅をより良く利用
することにより必要なグローバル・メモリ（すなわち主メモリ）へのアクセス要求を削減
する。キャッシュされないグローバル・メモリ・アクセスは共有メモリまたはレジスタ・
メモリ（すなわちプロセッサ・コアにおけるローカルなメモリ）へのメモリ・アクセスに
比べ約１００から２００倍高価で（すなわち遅く）あり得る。本ビュー投影演算アプリケ
ーションのようなデータ・トラフィック集約型アプリケーションでは、グローバル・メモ
リ・アクセスは性能上大きな障壁となる。
【０３２７】
図５１に関し、本例では説明を簡単にするためグローバルメモリは主メモリ７０１と特
定され、処理コアの共有メモリおよび／またはレジスタメモリは集合的にローカルメモリ
７０３と特定される。ＣＵＤＡ（登録商標）の処理装置はグローバルメモリとしての主メ
モリ７０１を命令毎に１２８ビットまでの幅でアクセスでき、これはワードまたはロング
・ワードのビットサイズ（すなわち８ビットから３２ビット）を有する典型的なデータの
断片（すなわちデータム）に比べ数倍幅広い。これは個々のＲＧＢ値が通常幅１バイト、
すなわち８ビット、である本件の場合特に当てはまる。しかし利用できるバスサイズを活
かすために、本発明は利用可能な最大幅のデータサイズ、すなわち本例の場合は１２８ビ
ット、でグローバル・メモリをアクセスする。この場合、実際のデータ・タイプに拘わら
ず、１２８ビットのバスサイズを充分に活用するため必ず利用可能なバス幅のサイズであ
るｆｌｏａｔ４またはｉｎｔ４のデータ・タイプを使用する。このように、主メモリのデ
ータ単位（「主データム」）は１２８ビット単位７１１〜７１４で定義される。従って、
正しいデータ収集はグローバル・メモリからレジスタ（または共有メモリ）にデータが１
２８ビットロードされると得られる。基本的に、データはグローバル・メモリからレジス
タ（または共有メモリ）に各々１２８ビットの塊７２１〜７２４としてロードされ、これ
らは複数の個別的データム値を含むことができる。例えば、塊７２１は４個のデータム値
、Ｌｏｃａｌ  Ｄａｔｕｍ  ０〜Ｌｏｃａｌ  Ｄａｔｕｍ  ３、を含む。処理コア７０５
が次にレジスタ（または共有メモリ）かた個々のローカル・データム値（Ｌｏｃａｌ  Ｄ
ａｔｕｍ  ０〜Ｌｏｃａｌ  Ｄａｔｕｍ  １５）を実際のデータム値により決まるビット
サイズでアクセスできる。
【０３２８】
本発明の別の特色はＲＧＢのアドレス指定方式を変えることによりＲＧＢアクセスを最
適化する。殆どのビデオ・フォーマットはＲＧＢピクセル・フォーマットの出力を実現し
、これはピクセル当たり３バイト、または３バイトピクセル、を実現する。しかし３バイ
トピクセルは通常の物理的メモリの通常のアドレス指定方式と互換性がない。物理的メモ
リのアドレス指定方式は通常４バイトに位置合わせされる（すなわち４バイトの区分でア
ドレス指定される）。従って、３バイトピクセルはＣＵＤＡの最大データ・フェッチ能力
が１６バイト（すなわち１２８ビットの幅）であるので、これとも互換性がない。加えて
、ＣＵＤＡのテクスチャ・エンジンは３バイトピクセル・フォーマットには使用できない
。
【０３２９】
この問題に取り組む通常の方法は３バイトのＲＧＢ（赤、緑、青）フォーマットを４バ
イトＲＧＢＡ（赤、緑、青、アルファ）フォーマットに変換することである。ビデオは一
般的に記憶空間を節約するためにＲＧＢフォーマット（すなわちピクセル当たり４バイト
ではなくピクセル当たり３バイト）で作成され、システムのＣＰＵはビデオのＲＧＢフォ
ーマットを処理用にＲＧＢＡフォーマットに変換することが要求される。本発明はこのＲ
ＧＢからＲＧＢＡへの変換を避けるとともに３バイトのＲＧＢフォーマットと４バイトで
位置合わせの物理的メモリとの互換性を確保している。これは３バイトのデータを４バイ
トの空間にマップすることにより達成される。
【０３３０】
図５２はＲＧＢフォーマットをＲＧＢＡフォーマットと同じように速く用いることがで
きることを図示する。ＲＧＢフォーマット（ピクセル当たり３バイト入力画像データには
変更を加えない。むしろ、ＲＧＢ画像はＣＵＤＡテクスチャ・エンジン（すなわちグロー
バル・メモリの特殊部分）にマップされ、これは通常ピクセル当たり１６バイトであるｉ
ｎｔ４タイプの画像と解釈される。しかし、グローバル・メモリに書き込まれるピクセル
データは実際には３バイトであるので、ｉｎｔ４データム単位毎に５１／３のＲＧＢピク
セルを当てはめることができる。従って、真のＲＧＢＡデータを格納するとした場合ｉｎ
ｔ４データム単位当たり４個のＲＧＢＡピクセルしか当てはめられないので、利用可能な
メモリ空間をより効率的に使用することになる。問題は個々の３バイトのＲＧＢ情報を４
ｉｎｔメモリ空間からアクセスするかということである。
【０３３１】
これは簡単なアドレス転換により達成される。図５２における１行のデータの各ｉｎｔ
４セグメント内で、ピクセル情報は３つの連続バイト（すなわちＲＧＢデータ）のグルー
プに集められていることが見られる。望まれるピクセル情報が存在する適切なｉｎｔ４セ
グメントを特定するためにには合計ピクセル・オフセットを１６バイト（すなわちｉｎｔ
４セグメント当たり１６バイトがある）で割る必要がある。例えば、サイズ（ｗ，ｈ）（
すなわち幅ｗピクセルで高さｈピクセル）のＲＧＢ画像はサイズ（［（３バイト＊ｗ）／
（１６バイト）］，ｈ）のｉｎｔ４画像としてアドレス指定される。この方法はｗが「１
６」の倍数である限り自然数かつ正確な結果をもたらす。利用可能な画像ソースは殆ど「
１６」に位置合わせされた（すなわち「１６」の倍数の）フレームを提供するのでこれは
問題でない。
【０３３２】
この処置の別の利点は床および天井ピクセルが隣接するｉｎｔ４セグメントと位置合わ
せされる可能性が非常に高いことであり、これは画像のズーム操作を実行する場合などに
必要となるピクセル間で画像情報を補間するのに必要なメモリ・フェッチ操作の数を非常
に削減する。
【０３３３】
これは２Ｄ線形補間の際、ｉｎｔ４画像データからどのように正しいＲＧＢピクセルを
フェッチできるかを説明することにより示すことができる。位置（ｆｌｏａｔ  ｘ，  ｆ
ｌｏａｔ  ｙ）におけるピクセル値を補間したい場合、その周囲の整数位置（ｆｌｏｏｒ
（ｘ），ｆｌｏｏｒ（ｙ）），（ｃｅｉｌ（ｘ），ｆｌｏｏｒ（ｙ）），（ｆｌｏｏｒ（
ｘ），ｃｅｉｌ（ｙ）），（ｃｅｉｌ（ｘ），ｃｅｉｌ（ｙ））における４個のピクセル
からのピクセル値が必要となる。例えば位置（ｘ＝３５．４，ｙ＝５４．７）におけるピ
クセルの値を知りたい場合、周囲の４つの整数位置（３５，５４）、整数位置（３６，５
４）、整数位置（３５，５５）、および整数位置（３６，５５）からこの値を（双一次補
間を用い）補間することができる。ピクセル情報は１２８ビットのグループに集められて
いるので、周囲のピクセル情報は２つのフェッチ操作内でアクセスできる可能性が高い。
基本的に双一次補間のためには４個のピクセル値をアクセスする必要がある。４個のピク
セルに対する望まれる情報を２回だけのメモリ・アクセス操作で得る可能性は１１／１６
であることが見出されている。ということは４個の望まれるピクセル値すべてを４回メモ
リをアクセスすることにより得る可能性は５／１６ということになる。この３バイトピク
セルからｉｎｔ４メモリ・マッピングを行わない場合、４個の望まれるピクセル各々に対
し別々のメモリ・アクセス操作が必要となり、従って、必ず４回メモリをアクセスしなく
てはならないことになる。このように、本方法はＣＰＵによる明白なＲＧＢからＲＧＢＡ
への変換を避けると同時に双一次補間の効率も向上させる。
【０３３４】
本実施の別の特色は共有メモリを１つのスレッド・ブロックにおける各スレッドに注意
深くアロックする（メモリの空間を割り当てる）ことによりメモリ・バンク間の衝突を避
けることである。ＣＵＤＡ（登録商標）のチップ上の共有メモリは同じスレッド・ブロッ
クに所属するスレッド間でバンク衝突がないと非常に能率を上げ得る。従って、スレッド
・ブロックに対するバッファ（すなわちバンク）が必要となる場合、各スレッドからのア
クセスは注意深く割り当てられ、半ワープ（１６スレッドのグループと定義される）内で
２つのスレッドが同じバンクをアクセスすることがないようにする。このように、共有メ
モリへのアクセスは各々２つのＣＵＤＡ（登録商標）システム・クロックしかかからない
。
【０３３５】
本発明の別の特色はＣＵＤＡのテクスチャ・エンジンを充分に活用し、より良いメモリ
・アクセス性能を達成することである。グラフィック・カード（すなわちビデオ・カード
）のテクスチャ・エンジンはデータ・キャッシングおよびユーザが提供するピクセル・ア
ドレスおよびピクセル・フォーマットに基づく自動メモリ・アドレス演算を利用して画像
データ・アクセスを加速する専用ハードウェアである。テクスチャ・エンジンはピクセル
位置が範囲外であるなどいくつかのエラーの場合を自動的に対処することもできる。従っ
て、ソフトウェアがこれらの問題に関わる必要がない。
【図面の簡単な説明】
【０３３６】
【図１】（ａ）および（ｂ）は、デュアル・フォトグラフィを実施するための従来の構成を示す。
【図２】（ａ）および（ｂ）は、本発明によるデュアル・フォトグラフィの構成を示す。
【図３】１つのプロジェクタピクセルから投射される光線が場面から反射されカメラピクセルアレイに小さな光フットプリントを形成する例を示す。
【図４】映像が情報のアレイとしてどのように表示され得るかの例を示す。
【図５】カメラピクセルアレイに取り込まれた光フットプリントが情報のアレイとしてどのように表示され得るかの例を示す。
【図６】プロジェクタにおける１つのプロジェクタピクセルの活性化によりもたらされるデジタルカメラ内の光センサアレイに投影されるフットプリントを図示した例である。
【図７】図３の例を反映した、光輸送行列Ｔ内における光輸送係数の列を図示した例である。
【図８】（ａ）および（ｂ）は、市松格子パターンを有する場面に同時に投影される２列のプロジェクタピクセルの２つの例を示す。
【図９】（ａ）および（ｂ）は、市松格子パターンを有する場面に同時に投影される２行のプロジェクタピクセルの２つの例を示す。
【図１０】（ａ）は、図６および図８（ａ）の画像を組み合わせることにより作成される、１つのプロジェクタピクセルによりもたらされる発生光線のフットプリントを示し、（ｂ）は、図７および図８（ｂ）の画像を組み合わせることにより作成される、１つのプロジェクタピクセルによりもたらされる発生光線のフットプリントを示す。
【図１１】プロジェクタピクセルを図９（ａ）または図９（ｂ）で発生された光線で決定される非ゼロ値の光輸送係数に結び付けたインデクスの第１例である。
【図１２】プロジェクタピクセルを図９（ａ）または図９（ｂ）で発生された光線で決定される非ゼロ値の光輸送係数に結び付けたインデクスの第２例である。
【図１３】（ａ）は、実カメラで撮影した実取り込み画像を示し、（ｂ）は、実プロジェクタから見た、本発明の方法を用いて生成されたデュアル取り込み画像を示す。
【図１４】プロジェクタを較正するためにホモグラフィの使用を適用した結果の例である。
【図１５】プロジェクタと場面の間に置かれた２つのワイングラスにより歪められた映像を示す。
【図１６】２つの別個のプロジェクタピクセルにより実現された２つの重なり合った隣接光フットプリントの例である。
【図１７】本発明による、任意の場面に表示制約を課すためのプロセスの例である。
【図１８】図１７に示された表示制約におけるさらなる工程である。
【図１９】本発明がポスター画像の色補正に適用される例である。
【図２０】図１５の映写場面で、本発明の光歪みを補正する方法を適用した状態を示す。
【図２１】没入型表示システムの作成にデュアル・フォトグラフィを用いる典型的な映写設定である。
【図２２】没入型プロジェクタＰ２が仮想プロジェクタＰ１”をシミュレートするために用いられるところを示す。
【図２３】（ａ）は、実前面投射型プロジェクタにより投影された画像の右側を示し、（ｂ）は、（ａ）に示す画像の左側を示し（（ｂ）においては画像の左側は没入型プロジェクタにより投影される）、（ｃ）は、（ａ）の右側画像を（ｂ）の左側画像に接合したところを示す。
【図２４】さらに没入型プロジェクタにより生成された左側の画像を前面投射型プロジェクタにより生成された右側の画像を接合した例を示す。
【図２５】（ａ）〜（ｃ）は、実際の部屋の中に仮想モデル部屋で作り出された仮想画像を再現した、本発明の別の適用を示す。
【図２６】本発明の最小限の形態に従った典型的映写システムである。
【図２７】図２６の設計に基づくプロトタイプを示す。
【図２８】図２７の構成を別の角度から示す。
【図２９】（ａ）は、図２７および図２８の映写システムを設置した部屋を周辺光の下で示し、（ｂ）は、（ａ）の部屋を没入型映写照明の下で示す。
【図３０】（ａ）は、較正されていない画像を投影した図２９（ａ）の部屋を示し、（ｂ）は、較正された画像を投影した図２９（ａ）の部屋を示す。
【図３１】（ａ）は、較正されていない空白の映像を投影した図２９（ａ）の部屋を示し、（ｂ）は、較正された空白の映像を投影した図２９（ａ）の部屋を示す。
【図３２】本発明をドーム型ミラー・プロジェクタに適用する第１工程である。
【図３３】本発明をドーム型ミラー・プロジェクタに適用する第２工程である。
【図３４】本発明をドーム型ミラー・プロジェクタに適用する第３工程である。
【図３５】ドーム型ミラー・プロジェクタの投影用に正確に歪められた画像を実現するために本発明を望ましい画像に適用したところを示す。
【図３６】図３５で生成された歪んだ画像を投影した結果を示す。
【図３７】天井据付運転の別の設計である。
【図３８】本発明の別の構成である。
【図３９】本発明のさらに別の構成である。
【図４０】２つ以上のプロジェクタ−カメラシステムをモザイク化して合成画像を作成する設定を示す。
【図４１】複数のプロジェクタ−カメラシステムによる画像の合成を示す。
【図４２】マルチプロジェクタ−カメラシステムにおける２つのプロジェクタ−カメラシステムの内１つ目により投影された画像を示す。
【図４３】マルチプロジェクタ−カメラシステムにおける２つのプロジェクタ−カメラシステムの内２つ目により投影された画像を示す。
【図４４】複雑な表面に市松格子パターンを投影することに本発明を適用した例である。
【図４５】（ａ）は、１つの曲面ミラー１２５および複数のプロジェクタ−カメラ対１４５を使用する設計を示し、（ｂ）は、１つのミラーピラミッド１５１および複数のプロジェクタ−カメラ対１４５を使用する設計を示す。
【図４６】全体により大きい映写ＦＯＶを達成するために複数の大きいＦＯＶプロジェクタ１５３ａ，１５３ｂを用い得ることを示す。
【図４７】ソフトウェア・アプリケーション実行の際、ビュー投影行列、すなわち較正データまたは情報、をメモリにロードするための直観的ではあるが、最適化されていないデータ構造を示す。
【図４８】ソフトウェア・アプリケーション実行の際、メモリに較正情報を配列するための最適化されたデータ構造を示す。
【図４９】（ａ）は、較正データ（例えばビュー投影行列からのなど）個別のプロジェクタピクセルに関連するカメラピクセル数を表す生データを示し、（ｂ）は、（ａ）の情報を最少から最多に再配列したところを示し、（ｃ）は、（ｂ）の情報を固定量子化レベルに分割した、すなわち区分した、ところを示す。
【図５０】例えば、図４９（ａ）に示すような各量子化レベル内において、プロジェクタピクセル毎の関連カメラピクセルのグループはゼロＲＧＢ値のダミーピクセルで嵩上げされ各々の量子化レベルに等しくなるよう関連カメラピクセルの合計数が増やされることを示す。
【図５１】データを第１バイトサイズを有するデータ・ワードで主メモリ（すなわちグローバル・メモリ）からローカル・メモリに転送できるが、処理コアはローカル・メモリからデータを第１バイトサイズより小さい第２バイトサイズを有するデータ・ワードで読み取ることができることを示す。
【図５２】３バイトのデータ（すなわちＲＧＢ情報）が１６バイトのデータ・ワードに書き込まれ、次に１６バイトのデータから３バイトのデータ単位でアクセスできることを示す。
【符号の説明】
【０３３７】
１ｂ，１ｃ…光線、３…プロジェクタレンズ、５…映写表面、７…カメラレンズ、２１
…実プロジェクタ、２５…実カメラ、２７…実プロジェクタ、２９…実カメラピクセルア
レイ。
【図１】
2009095015.tif 000047
【図２】
2009095015.tif 000048
【図１１】
2009095015.tif 000049
【図２１】
2009095015.tif 000050
【図３７】
2009095015.tif 000051
【図３８】
2009095015.tif 000052
【図３９】
2009095015.tif 000053
【図４０】
2009095015.tif 000054
【図４１】
2009095015.tif 000055
【図４２】
2009095015.tif 000056
【図４３】
2009095015.tif 000057
【図４５】
2009095015.tif 000058
【図４６】
2009095015.tif 000059
【図４７】
2009095015.tif 000060
【図４８】
2009095015.tif 000061
【図４９】
2009095015.tif 000062
【図５０】
2009095015.tif 000063
【図５１】
2009095015.tif 000064
【図５２】
2009095015.tif 000065
【図３】
2009095015.tif 000066
【図４】
2009095015.tif 000067
【図５】
2009095015.tif 000068
【図６】
2009095015.tif 000069
【図７】
2009095015.tif 000070
【図８】
2009095015.tif 000071
【図９】
2009095015.tif 000072
【図１０】
2009095015.tif 000073
【図１２】
2009095015.tif 000074
【図１３】
2009095015.tif 000075
【図１４】
2009095015.tif 000076
【図１５】
2009095015.tif 000077
【図１６】
2009095015.tif 000078
【図１７】
2009095015.tif 000079
【図１８】
2009095015.tif 000080
【図１９】
2009095015.tif 000081
【図２０】
2009095015.tif 000082
【図２２】
2009095015.tif 000083
【図２３】
2009095015.tif 000084
【図２４】
2009095015.tif 000085
【図２５】
2009095015.tif 000086
【図２６】
2009095015.tif 000087
【図２７】
2009095015.tif 000088
【図２８】
2009095015.tif 000089
【図２９】
2009095015.tif 000090
【図３０】
2009095015.tif 000091
【図３１】
2009095015.tif 000092
【図３２】
2009095015.tif 000093
【図３３】
2009095015.tif 000094
【図３４】
2009095015.tif 000095
【図３５】
2009095015.tif 000096
【図３６】
2009095015.tif 000097
【図４４】
2009095015.tif 000098