(57)【特許請求の範囲】
【請求項１】
動く物体に投影される画像のゆがみを削減する画像処理方法であって、
動く物体の運動パターンをＮ個の不連続位置状態に分割する第１ステップと、
各前記不連続位置状態について、
ａ）視野に前記動く物体を含むカメラにプロジェクタを関連付ける光輸送行列Ｔを求めるステップと、
ｂ）前記光輸送行列Ｔの各行について、前記光輸送行列Ｔの共通行に沿った行列入力を比較し、共通行における最も高い行列入力を留保し、前記共通行における残りの入力にゼロ値を割り当て、改変光輸送行列Ｔ*を作成するステップと、
ｃ）前記改変光輸送行列Ｔ*における各列を順に目標列と特定し、各目標列について前記目標列の非ゼロ値に対し前記目標列に関する正規化値を計算するステップと、
ｄ）前記改変光輸送行列Ｔ*と等しいサイズの中間行列を作成するステップと、
ｅ）前記中間行列における各列を前記改変光輸送行列Ｔ*においてそれに対応する目標列の計算された正規化値で埋めることで、前記中間行列における各埋められた列の各正規化値は前記改変光輸送行列Ｔ*においてそれに対応する列の前記非ゼロ入力と１対１の対応を維持するステップと、
ｆ）前記中間行列に転置行列演算を適用しビュー投影行列ＶCIを作成し、前記作成されたビュー投影行列を前記動く物体の現在の不連続位置状態に相関させるステップと、
ｇ）望ましい映写画像に動く物体の現在の不連続位置状態ＤＰ_Ｉで決定される対応するビュー投影行列を掛けることにより前記望ましい映写画像の変換画像ｐIを作成することで、前記現在の不連続位置状態ＤＰ_Ｉは前記Ｎ個の不連続位置状態の内、前記動く物体が現在存在するもので、前記変換画像ｐIはそれに対応する現在の不連続位置状態ＤＰ_Ｉに相関するステップと、
を有する第２ステップと、
前記動く物体が現在存在する不連続位置状態に相関する変換画像を前記プロジェクタに投影させる第３ステップとを有することを特徴とする画像処理方法。
【請求項２】
前記動く物体が前記Ｎ個の不連続位置状態を通過するにつれ、前記プロジェクタはＮ個のビュー投影行列により相関された前記Ｎ個の不連続位置状態に対応する変換画像を投影することを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記プロジェクタは任意の時点で前記動く物体が前記Ｎ個の不連続位置状態のどれに存在しているか判定するために前記動く物体に同期化されることを特徴とする請求項２に記載の画像処理方法。
【請求項４】
前記動く物体が前記Ｎ個の不連続位置状態のどれに存在しているか判定するために前記プロジェクタと前記動く物体との間にフィードバック通信リンクが確立されていることを特徴とする請求項１に記載の画像処理方法。
【請求項５】
Ｎ個の不連続位置状態に定義された所定の運動パターンを有する動く物体に投影される画像の歪みを削減する投影システムであって、
各々前記Ｎ個の不連続位置状態に対応するものに相関するＮ個の個別的ビュー投影行列ＶCI¬を生成するビュー投影行列生成器と、
望ましい映写画像に動く物体の現在の不連続位置状態ＤＰ_Ｉで決定される対応するビュー投影行列を掛けることにより前記望ましい映写画像の変換画像ｐIを作成する画像変換器で、前記現在の不連続位置状態ＤＰ_Ｉは前記Ｎ個の不連続位置状態の内、前記動く物体が現在存在するもので、前記変換画像ｐIはそれに対応する現在の不連続位置状態ＤＰ_Ｉに相関している画像変換器と、
前記動く物体が現在存在する不連続位置状態に相関する変換画像を投影するプロジェクタとを有することを特徴とする投影システム。
【請求項６】
前記ビュー投影行列生成器は前記Ｎ個の不連続位置状態各々に対し前記Ｎ個の個別的ビュー投影行列ＶCI¬各々を、
ａ）前記Ｎ個の不連続位置状態に対し光輸送行列Ｔを求めることで、前記光輸送行列Ｔは視野に前記動く物体を含むカメラにプロジェクタを関連付けるステップと、
ｂ）光輸送行列Ｔの各行について、前記光輸送行列Ｔの共通行に沿った行列入力を比較し、共通行における最も高い行列入力を留保し、前記共通行における残りの入力にゼロ値を割り当て、改変光輸送行列Ｔ*を作成するステップと、
ｃ）改変光輸送行列Ｔ*における各列を順に目標列と特定し、各目標列について前記目標列の非ゼロ値に対し前記目標列に関する正規化値を計算するステップと、
ｄ）前記改変光輸送行列Ｔ*と等しいサイズの中間行列を作成するステップと、
ｅ）前記中間行列における各列を前記改変光輸送行列Ｔ*においてそれに対応する目標列の計算された正規化値で埋めることで、前記中間行列における各埋められた列の各正規化値は前記改変光輸送行列Ｔ*においてそれに対応する列の前記非ゼロ入力と１対１の対応を維持するステップと、
ｆ）前記中間行列に転置行列演算を適用し前記ビュー投影行列ＶCIを作成し、前記作成されたビュー投影行列を前記動く物体の現在の不連続位置状態に相関させるステップと、により生成することを特徴とする請求項５に記載の投影システム。
【請求項７】
前記動く物体が前記Ｎ個の不連続位置状態を通過するにつれ、前記プロジェクタはＮ個のビュー投影行列により相関された前記Ｎ個の不連続位置状態に対応する変換画像を投影することを特徴とする請求項５に記載の投影システム。
【請求項８】
前記プロジェクタは任意の時点で前記動く物体が前記Ｎ個の不連続位置状態のどれに存在しているか判定するために前記動く物体に同期化されることを特徴とする請求項７に記載の投影システム。
【請求項９】
前記動く物体が前記Ｎ個の不連続位置状態のどれに存在しているか判定するために前記プロジェクタと前記動く物体との間にフィードバック通信リンクが確立されていることを特徴とする請求項５に記載の投影システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は投影画像を修正し映写表面の前にある動く物体に対し補正する方法に関する。
より具体的に、本発明は映写表面の前にあって規則的な運動をする妨害物体に対し補正、
および／または動く不規則な映写表面に対し補正する方法に関する。本出願はＴｉｔｌｅ
３５，Ｕ．Ｓ．Ｃ．§１１９（ｅ）の下で2007年9月18日に出願された米国特許仮出願番
号６０／９７３３５１の特典を主張する。
【背景技術】
【０００２】
プロジェクタとカメラを組み合わせると、光を投射しかつ取り込むことのできるハイブ
リッド装置およびシステムが生まれる。この新たに台頭してきた撮像装置およびシステム
は研究の世界においてプロジェクタ−カメラシステムとして知られている。通常映写表面
の幾何学的形状など表示環境に関する属性を推定するためには１台以上のカメラで取り込
まれた画像が使用される。次にこれらのプロジェクタ−カメラシステムのプロジェクタが
映像を適応させて、映写表面の形状不規則性を補正し、もたらされる影像を向上させる。
言い換えれば、カメラを使用することによりプロジェクタは投影画像における歪みを「見
る」ことができ、それにより投影画像を調節して観察される歪みを低減することができる
。
【０００３】
これを達成するために、観察される画像の歪みは投影環境の凹凸（すなわち表面上の凹
凸）によるもので、プロジェクタまたはカメラに内在する不整または互いの相対的配向に
よるものではないことを保証すべく、カメラとプロジェクタは互いの撮像パラメータに対
し較正される必要がある。
【０００４】
このように、プロジェクタ−カメラシステムの製作者が解決しなければならない重要な
問題は各装置の内部撮像パラメータ（すなわち固有パラメータ）の判定およびシステム内
のすべてのプロジェクタおよびカメラ間の幾何学的関係（すなわち外的パラメータ）の判
定である。この問題は通常システム較正の問題と呼ばれる。
【０００５】
しかしシステムが実質的に較正された後でも、映写を調節して映像の歪みを補正するこ
とは簡単でない。映写歪みを識別し補正することは非常に演算集約的な作業であり得、そ
のため従来非専門分野への適用は相当限定されていた。
【０００６】
プロジェクタ−カメラシステムの較正をより良く理解するために、出願者はコンピュー
タ・ビジョンの分野で見られるマルチ・カメラ画像化システムを研究した。このようなマ
ルチ・カメラ画像化システムは画像撮影装置のみで構成され、画像投影装置は含まないが
、このようなマルチ・カメラ画像化システムの較正に関しコンピュータ・ビジョンの分野
において一連の研究があり、複数の画像撮影装置ではあるもののこれらの方法から複数装
置の較正に関し何らかの識見が得られるのではないかと思われた。
【０００７】
コンピュータ・ビジョンの世界で通常用いられる方法はZhengyou Zhang 著の論文「適
応性を有するカメラ較正用の新規手法」（A flexible new technique for camera calibr
ation）、IEEEパターン分析および人工知能紀要（Transactions on Pattern Analysis an
d Machine Intelligence）、22（11）:1330〜1334、2000年、に記載され、引用により全
体として本明細書に組み入れられる。この方法において、いくつかの既知の特徴点（通常
グリッドを形成）でマークされた平たい被写体をカメラに対しさまざまな角度のポーズに
置き、平たい被写体の複数の画像がカメラにより取り込まれる。各特徴点の画像位置が抽
出され、各特徴点の相対位置は知られているので次に特徴点位置の集合を用いてカメラを
較正することができる。撮像システムに２台以上のカメラが存在する場合、存在するカメ
ラ間の幾何学的関係と併せて固有パラメータはすべてのカメラに平たい被写体の各ポーズ
角度における画像を取り込ませることにより推定することができる。
【０００８】
プロジェクタとカメラは影像化の幾何学という点で非常に類似しているので、複数カメ
ラの画像化システムにおけるカメラの較正に適した手法はプロジェクタ−カメラシステム
におけるプロジェクタの較正に適すると仮定することが合理的と思われるかもしれない。
しかし、カメラの較正手法はすべて較正を必要とするカメラ（すなわち較正される撮像装
置）が画像をいくつか取り込むことが必要であるため、プロジェクタは画像を取り込むこ
とができないのでカメラの較正手法はプロジェクタに容易に適用できないようである。
【０００９】
従って従来のプロジェクタ−カメラシステムでは、プロジェクタに加え少なくとも２台
のカメラが必要とされている。まず２台のカメラが通常複数カメラの撮像システム較正手
法を用いて較正され、ステレオ・カメラの対を確立する。より具体的に、これらのシステ
ムは「ブートストラップ的」手順を用いて２台のカメラを較正しステレオの対を形成する
。業界で知られるように、ステレオ・カメラの対は深度を推定する（すなわち擬似遠近の
光景を達成する）のに用い、ステレオ・カメラの対に見える特徴点の外見上の深度知覚を
確立することができる。較正されたステレオ・カメラの対は次にプロジェクタを較正する
ために用いられる。
【００１０】
基本的にこの外見上の深度知覚の確立を用い映写表面の、従って映写表面に投影された
映像の、表面深度凹凸を識別する。プロジェクタを次に較正し、投影画像における表面深
度凹凸を補正することができる。基本的に、外見上の深度知覚を用いてプロジェクタを較
正するためには、まずプロジェクタに特徴点を、凹凸表面を有する可能性のある表示環境
（すなわち映写表面）に投影させる。予め較正されたステレオ・カメラの対を用いて投射
された点の遠近的深度位置を解像する。
【００１１】
次に投射された点の深度位置による判定に基づき映写表面における表面／深度凹凸につ
いて補正するようにプロジェクタを較正することができる。このブートストラップ的手法
はプロジェクタ−カメラシステム向けの実証済みの較正方法であるが、予め較正され、好
都合に配置された外付けのステレオ・カメラの対を必要とし、オペレータの介入を多く必
要とするため内蔵型のプロジェクタ−カメラシステムには適用できない。
【００１２】
同様に関連するものとしてデュアル・フォトグラフィと呼ばれる手法があり、Sen 他に
より論文「デュアル・フォトグラフィ」（「Dual Photography」）、ACM SIGGRRAPH予稿
、2005年、の中で提案されており、引用により本明細書に全体として組み入れられる。デ
ュアル・フォトグラフィはヘルムホルツの相反定理を利用して実デジタルカメラで取り込
んだ画像を用いプロジェクタから「見えた」（または事実上「取り込んだ」）画像をシミ
ュレートする擬似画像（すなわちデュアル画像）を合成する。つまり、擬似画像はプロジ
ェクタから「見た」取り込み画像をシミュレートし、従ってプロジェクタが画像を取り込
むことができたとした場合プロジェクタにより取り込まれた画像がどうなるかを表す。こ
の方法はプロジェクタを擬似カメラとして扱うことを可能にするので、プロジェクタの較
正に関わる問題のいくつかを除去できるかもしれない。
【００１３】
ヘルムホルツの相反定理は、光の流れはその輸送特性を変えることなく有効に逆向きに
できるという概念に基づいている。ヘルムホルツの相反定理は計算の複雑さを低減するた
めに多くのコンピュータ・グラフィックス用途に使用されている。コンピュータ・グラフ
ィックス関連の文献でこの相反定理は入射（ωｉ）および出射（ωｏ）方向間の反射強度
転移の対称性を説明する方程式として通常ｆｒ（ωｉ→ωｏ）＝ｆｒ（ωｏ→ωｉ）と要
約され、ここでｆｒはある表面の双方向反射率分布関数（ＢＲＤＦ）を表す。
【００１４】
このようにデュアル・フォトグラフィは、理想的には映像および取り込み画像のデュア
ルな性質（すなわちデュアリティ関係）を利用して前者を後者からシミュレートする。さ
らに詳細に後述するように、デュアル・フォトグラフィ（より正確にはヘルムホルツの相
反定理）はカメラとプロジェクタ間の光輸送特性を取り込む必要がある。より具体的に、
デュアル・フォトグラフィは放射光線を取り込み光線に関連付ける光輸送特性（すなわち
光輸送係数）の判定を必要とする。
【００１５】
しかしデジタルカメラおよびデジタルプロジェクタを扱う場合、デュアル・フォトグラ
フィは各プロジェクタピクセル（すなわちすべての放射光線）を１つ１つのカメラピクセ
ル（すなわち放射光線の一部を取り込むすべての光センサ）に関連づける別個の光輸送係
数を双方の装置の解像度において取り込む必要がある。デジタルプロジェクタおよびデジ
タルカメラ双方とも各々何百万のピクセルを有し得るので、多数の光輸送係数の獲得、格
納、および操作はこの手法の実際的な使用を制限する可能性がある。
【００１６】
従ってデュアル・フォトグラフィは理論的に非常に利点を提供するように見えるが、実
際上デュアル・フォトグラフィは非常に大量のコンピュータメモリ（アーカイブ用のディ
スク型メモリおよびアクティブ・ソリッドステート・メモリ双方）を必要とし、広範囲コ
ンピュータ処理能力を要し、機器を設定してプロジェクタ−カメラシステムが使用される
すべての投影環境に対する大量の光線を放射し取り込むために多くの時間とユーザ介入を
必要とするという物理的かつ非実用的な要件により深刻に制限される。
【００１７】
デュアル・フォトグラフィのより明確な理解は図１（ａ）および図１（ｂ）を参照して
得られる。図１（ａ）において「根本構成」（すなわちデュアル変換以前の実際の物理的
な装置の構成）は実デジタルプロジェクタ１１、実映像１３、および実デジタルカメラ１
５を含む。実デジタルプロジェクタ１１から光が発射され、実デジタルカメラ１５により
取り込まれる。映写された各投射光線（実デジタルプロジェクタ１１内の各プロジェクタ
ピクセルｅから）を対応する各取り込み光線（実デジタルカメラ１５内の各カメラピクセ
ルｇにおいて取り込まれた）に関連づける係数は光輸送係数と呼ばれる。光輸送係数を用
いると、取り込まれた光線から映写された光線の特徴を判定することが可能となる。
【００１８】
本例において、実デジタルプロジェクタ１１は象徴的に点線枠として示され、ｓ行およ
びｒ列の個々のプロジェクタピクセルｅからなるプロジェクタのピクセルアレイ１７を有
するデジタルプロジェクタであることが好ましい。各プロジェクタピクセルｅは別個に放
射された光線の源であり得る。プロジェクタのピクセルアレイ１７のサイズは実デジタル
プロジェクタ１１の解像度に依存する。例えばＶＧＡ解像度は６４０×４８０ピクセルの
アレイ（すなわち３０７，２００個のプロジェクタピクセルｅ）からなることができ、Ｓ
ＶＧＡ解像度は８００×６００ピクセルのアレイ（すなわち４８０，０００個のプロジェ
クタピクセルｅ）を有し得、ＸＶＧ解像度は１０２４×７６８ピクセルのアレイ（すなわ
ち７８６，７３２個のプロジェクタピクセルｅ）を有し得、ＳＸＶＧ解像度は１２８０×
１０２４ピクセルのアレイ（すなわち１，３１０，７２０個のプロジェクタピクセルｅ）
を有し得、以下同様でより高い解像度のプロジェクタはより多数のプロジェクタピクセル
ｅを必要とする。
【００１９】
同様に実デジタルカメラ１５は象徴的に点線枠として示され、ｕ行およびｖ列の個々の
カメラピクセルｇからなるカメラセンサのピクセルアレイ１９を有するデジタルカメラで
ある。各カメラピクセルｇは放射された光線の一部を受光する、すなわち取り込む、こと
ができる。カメラセンサのピクセルアレイ１９のサイズもまた実デジタルカメラ１５の解
像度に依存する。但し、実デジタルカメラ１５は４メガピクセル（すなわち４，１９４，
３０４の受容であるカメラピクセルｇ）以上を有しているのが普通である。
【００２０】
カメラセンサのピクセルアレイ１９内の各カメラピクセルｇは区別可能なプロジェクタ
ピクセルｅから放射された光線の一部を取り込むことができ、別々のプロジェクタピクセ
ルｅ各々は別個の光線を放射し得るので、別々のプロジェクタピクセルｅ各々をすべての
カメラピクセルｇに関連付けるためには大量の光輸送係数が必要となる。言い換えれば、
単一のプロジェクタピクセルｅから放射された光線はカメラセンサのピクセルアレイ１９
全体を覆う可能性があり、従って各カメラピクセルｇは放射された光線の異なった量を取
り込む。従って、個々のカメラピクセルｇは個別に放射された光線をどれだけ受光したか
を示す異なった光輸送係数を有することになる。
【００２１】
カメラセンサのピクセルアレイ１９が４，１９４，３０４個の個別のカメラピクセルｇ
を有する（すなわち４メガピクセルの解像度を有する）場合、個別のプロジェクタピクセ
ルｅはカメラセンサのピクセルアレイ１９に関連付けられるために各々４，１９４，３０
４個の個別光輸送係数の組を別々に必要とすることになる。従って、プロジェクタのピク
セルアレイ１７全体をカメラセンサのピクセルアレイ１９に関連付け、実デジタルプロジ
ェクタ１１および実デジタルカメラ１５との間にデュアリティ関係を確立するためには別
個に判定した何百万組の光輸送係数（プロジェクタピクセルｅ毎に１組）が必要となる。
【００２２】
本例において別々のプロジェクタピクセルｅ各々は実デジタルカメラ１５に関連付けら
れるために４，１９４，３０４個の個別的に判定された光輸送係数の別個の組を必要とし
、実デジタルプロジェクタ１１は何百万個の別々のプロジェクタピクセルｅを有する可能
性があるので、光輸送係数の各組を別々の光輸送係数のアレイとみなし、これらの別々の
アレイを集めて１つの光輸送行列Ｔにまとめることが有益である。光輸送係数の各アレイ
は光輸送行列Ｔ内で別々の列を構成する。従って、光輸送行列Ｔにおける各列は別個のプ
ロジェクタピクセルｅに対応する１組の光輸送係数を構成する。
【００２３】
本例において実デジタルプロジェクタ１１は個別のプロジェクタピクセルｅのアレイを
有するデジタルプロジェクタで、実デジタルカメラ１５は個別のカメラピクセルｇのアレ
イを有するデジタルカメラであるので、実デジタルプロジェクタ１１および実デジタルカ
メラ１５の間のデュアリティ関係を定義するのに光輸送行列Ｔが用いられる。以下の考察
において行列要素Ｔgeは個別のプロジェクタピクセルｅを個別のカメラピクセルｇの関連
付ける個別の光輸送係数（光輸送行列Ｔ内の）を特定する。
【００２４】
実デジタルカメラ１５に取り込まれた実画像はカメラセンサのピクセルアレイ１９内の
各カメラピクセルｇにより個別的に取り込まれたすべての光線からなる。従ってカメラセ
ンサのピクセルアレイ１９で判定された実取り込み画像を実画像取り込み行列（Ｃ）に編
成することが役に立つ。同様に、プロジェクタのピクセルアレイ１７内における個々のプ
ロジェクタピクセルｅの活性化により構成される実画像映写を実画像映写行列（Ｐ）に編
成することが有用である。この記号を用い、実取り込み画像（実画像取り込み行列（Ｃ）
で定義された）はＣ＝Ｔ＊Ｐという関係に従い光輸送行列Ｔにより実画像映写（実画像映
写行列（Ｐ））に関連付けることができる。
【００２５】
図１（ａ）のデュアリティ変換、すなわちデュアル構成が図１（ｂ）に示される。この
デュアル構成において、図１（ａ）の実デジタルプロジェクタ１１は仮想カメラ１１”に
変換され、図１（ａ）の実デジタルカメラ１５は仮想プロジェクタ１５”に変換される。
仮想カメラ１１”および仮想プロジェクタ１５”は各々実デジタルプロジェクタ１１およ
び実デジタルカメラ１５のデュアルな対応を表し、それら自体実装置でないことが理解さ
れよう。つまり、仮想カメラ１１”は仮定上のカメラ（すなわち仮想カメラ１１”）が図
１（ａ）の実デジタルプロジェクタが映写する実映像１３に類似した仮定上のデュアル映
像１３”を取り込むためにどのように挙動するかを数学的に表したものである。
【００２６】
同様に、仮想プロジェクタ１５”は仮定上のプロジェクタ（すなわち仮想プロジェクタ
１５”）が実デジタルカメラ１５（図１（ａ）の）で取り込まれた実映像１３に実質的に
合致する仮定上のデュアル映像１３”を映写するためにどのように挙動するかを数学的に
表したものである。このように図１（ａ）における実デジタルプロジェクタ１１および実
デジタルカメラ１５の位置は図１（ｂ）において仮想カメラ１１”および仮想プロジェク
タ１５”に交換される。
【００２７】
実装置のピクセル解像度は対応する仮想装置（すなわちデュアル装置）に持ち越される
ことが特記される。従って仮想カメラ１１”はｓ行およびｒ列からなる仮想光カメラセン
サのピクセルアレイ１７”を有し、実デジタルプロジェクタ１１のプロジェクタのピクセ
ルアレイ１７に合致している。同様に仮想プロジェクタ１５”はｕ行およびｖ列からなる
仮想プロジェクタのピクセルアレイ１９”を有し実デジタルカメラ１５のカメラセンサの
ピクセルアレイ１９に合致している。
【００２８】
デュアル光輸送行列Ｔ”がこのデュアル構成の光輸送行列で、デュアル画像取り込み行
列（Ｃ”）（仮想カメラ１１”で取り込まれるデュアル映像１３”を定義する）はデュア
ル画像映写行列Ｐ”（仮想プロジェクタ１５”で映写されるデュアル映像１３”を定義す
る）に対しＣ”＝Ｔ”＊Ｐ”という形で関係していると仮定すると、Ｔ”egが個別の仮想
プロジェクタピクセルｇ”を個別の仮想カメラピクセルｅ”に関連付ける個別のデュアル
光輸送係数となる。
【００２９】
ヘルムホルツの相反定理はピクセルからピクセルへの輸送係数は双方向において（すな
わち実デジタルプロジェクタ１１から実デジタルカメラ１５へ、および仮想プロジェクタ
１５”から仮想カメラ１１”へ）等しいと規定している。すなわちＴ”eg＝Ｔgeで、これ
はＴ”＝ＴTを意味する（すなわちデュアル光輸送行列Ｔ”は光輸送行列Ｔに対する数学
的行列転置の結果に等しい）。従って、光輸送行列Ｔが与えられると、ＴTを用いてデュ
アル構成において得られるデュアル、または仮想画像を合成することができる。
【００３０】
このように、光輸送行列Ｔはプロジェクタにより取り込まれたように見える画像を作り
出すことを可能にし、カメラは第２プロジェクタの役割を果たす。しかし、上記に説明す
るように、光輸送行列Ｔを生成し操作することの高度な複雑さのため今までその適用は、
特にプロジェクタ−カメラシステムの較正分野において、非常に限定されていた。
【００３１】
プロジェクタ−カメラシステムに関する他の問題はプロジェクタの視線を遮る可能性の
ある光拡散物体をどのように補正するかである。関連するものとしてプロジェクタ−カメ
ラシステムが典型より複雑な画像を達成するのに用いることができるかという問題である
。例えば、このようなシステムは複数のプロジェクタによる複数の画像を組み合わせて単
一の合成画像を作成することができるであろうか。あるいは、「３−Ｄ」画像または以前
はより複雑な機器およびより複雑な映写設備を必要とした他の視覚上の効果を生成するこ
とができるであろうか。さらに、プロジェクタ−カメラシステムのカメラをより有効に活
用し、カメラが画像作成プロセスの能動的な部分になることができるであろうか。さらに
、このようなにプロジェクタ−カメラシステムにおいて低解像度で安価なカメラを用いる
ことはどのような影響があるであろうか。
【００３２】
以前の研究［Raskar 他 1998; Underkoffler および Ishii 1998］はインテリジェント
照明の概念を提示し、プロジェクタを用いて仕事場のやりとりを向上させ問題解決の新規
ツールの役割を果たせることを示している。以来プロジェクタ−カメラの世界はインテリ
ジェント・プロジェクタに関する多くの技術的問題を解決している。特に複数プロジェク
タの自動モザイク化において相当な進歩がなされている［Chen 他 2002; Yang 他 2001; 
Raij 他 2003; Sukthankar 他 2001; Raskar 他 2003］。
【００３３】
［Raskar 他 2001］は複雑な物体への映写を実証している。前以て作成された物体の３
Ｄモデルを用い、複数のプロジェクタで些細でない複雑な形状を有する実際の物理的物体
に仮想テクスチャおよびアニメーションを加えることができる。
【００３４】
［Fujii 他 2005］は同軸プロジェクタ−カメラシステムを用いてリアルタイムで物体
の外観を改変する方法を提案した。［Grossberg 他 2004］は区分的な多項式３Ｄモデル
を組み入れて非同軸プロジェクタ−カメラシステムが光景の映写を行えるようにした。
【００３５】
プロジェクタ−カメラシステムは深度マップを抽出するためにも用いられ［Zhang およ
び Nayar 2006］、深度エッジを回復する手段として時空多重化照明が提案されている［R
askar 他 2004］。
【発明の開示】
【発明が解決しようとする課題】
【００３６】
本発明の目的は、望ましい画像を作成するために何をプロジェクタが映写する必要があ
るかをどのように判定するかという問題に、光輸送行列の逆を用いて対応することであり
、その適用はさらにプロジェクタ−カメラシステムの較正を簡素化する。
【００３７】
本発明のさらなる目的は平坦でない場面（すなわち映写画面）に投影される画像の歪み
補正を動く物体に投影される画像の歪み補正に広げることである。
【課題を解決するための手段】
【００３８】
このような発明は以下の本発明により達成される。
【００３９】
動く物体に投影される画像のゆがみを削減する画像処理方法であって、動く物体の運動
パターンをＮ個の不連続位置状態に分割する第１ステップと、各前記不連続位置状態につ
いて、ａ）視野に前記動く物体を含むカメラにプロジェクタを関連付ける光輸送行列Ｔを
求めるステップと、ｂ）前記光輸送行列Ｔの各行について、前記光輸送行列Ｔの共通行に
沿った行列入力を比較し、共通行における最も高い行列入力を留保し、前記共通行におけ
る残りの入力にゼロ値を割り当て、改変光輸送行列Ｔ*を作成するステップと、ｃ）前記
改変光輸送行列Ｔ*における各列を順に目標列と特定し、各目標列について前記目標列の
非ゼロ値に対し前記目標列に関する正規化値を計算するステップと、ｄ）前記改変光輸送
行列Ｔ*と等しいサイズの中間行列を作成するステップと、ｅ）前記中間行列における各
列を前記改変光輸送行列Ｔ*においてそれに対応する目標列の計算された正規化値で埋め
ることで、前記中間行列における各埋められた列の各正規化値は前記改変光輸送行列Ｔ*
においてそれに対応する列の前記非ゼロ入力と１対１の対応を維持するステップと、ｆ）
前記中間行列に転置行列演算を適用しビュー投影行列ＶCIを作成し、前記作成されたビュ
ー投影行列を前記動く物体の現在の不連続位置状態に相関させるステップと、ｇ）望まし
い映写画像に動く物体の現在の不連続位置状態ＤＰ_Ｉで決定される対応するビュー投影
行列を掛けることにより前記望ましい映写画像の変換画像ｐIを作成することで、前記現
在の不連続位置状態ＤＰ_Ｉは前記Ｎ個の不連続位置状態の内、前記動く物体が現在存在
するもので、前記変換画像ｐIはそれに対応する現在の不連続位置状態ＤＰ_Ｉに相関する
ステップと、を有する第２ステップと、前記動く物体が現在存在する不連続位置状態に相
関する変換画像を前記プロジェクタに投影させる第３ステップとを有する画像処理方法。
【００４０】
本発明の画像処理方法において、前記動く物体が前記Ｎ個の不連続位置状態を通過する
につれ、前記プロジェクタはＮ個のビュー投影行列により相関された前記Ｎ個の不連続位
置状態に対応する変換画像を投影することが好ましい。
【００４１】
また本発明の画像処理方法において、前記プロジェクタは任意の時点で前記動く物体が
前記Ｎ個の不連続位置状態のどれに存在しているか判定するために前記動く物体に同期化
されることが好ましい。
【００４２】
また本発明の画像処理方法において、前記動く物体が前記Ｎ個の不連続位置状態のどれ
に存在しているか判定するために前記プロジェクタと前記動く物体との間にフィードバッ
ク通信リンクが確立されていることが好ましい。
【００４３】
また本発明の画像処理方法において、前記フィードバック通信リンクは前記動く物体に
複数の発行源を備え、前記プロジェクタに少なくとも１つの光センサを備えることにより
確立されることが好ましい。
【００４４】
また本発明の画像処理方法において、前記フィードバック通信リンクは前記動く物体と
前記プロジェクタとの間に無線通信を備えることにより確立されることが好ましい。
【００４５】
また本発明の画像処理方法において、前記フィードバック通信リンクは前記動く物体と
前記プロジェクタとの間に有線リンクを備えることにより確立されることが好ましい。
【００４６】
また本発明の画像処理方法において、メモリ空間を、各々前記Ｎ個のビュー投影行列の
対応する１つを格納するＮ個のセクタに分割するステップと、前記動く物体が任意の時点
で通過する前記Ｎ個の不連続位置状態の１つに従い前記メモリ空間内で前記Ｎ個のセクタ
の１つを選択するためのメモリ空間ポインタを提供するステップとをさらに有することが
好ましい。
【００４７】
また本発明の画像処理方法において、各々前記Ｎ個のビュー投影行列の対応する１つを
格納するＮ個のメモリ空間を提供するステップと、前記動く物体がＮ個の不連続位置状態
のいずれかを通過中、共通の望ましい画像にＮ個のビュー投影行列の各々を掛けることに
より同時Ｎ個の乗算演算を適用することで、前記Ｎ個の乗算演算は各々Ｎ個の内、対応す
る１つの変換画像を実現するステップと、前記Ｎ個の変換画像の内、選択された１つを出
力するためにマトリックスセレクト制御入力を有するマルチプレクサに前記Ｎ個の変換画
像を適用するステップと、前記マトリックスセレクト入力を用い、前記動く物体が現在通
過中の不連続位置状態に対応する変換画像を出力用に選択するステップとをさらに有し、
前記プロジェクタは前記マルチプレクサにより出力された変換画像を投影することが好ま
しい。
【００４８】
また本発明の画像処理方法において、各々前記Ｎ個のビュー投影行列の対応する１つを
格納するＮ個のメモリ空間を提供するステップと、望ましい映写画像を乗算演算に付すた
めの切り替えネットワークを提供することで、前記乗算演算は前記望ましい映写画像を、
Ｎ個の不連続位置状態の内、前記動く物体が現在通過中の１つにより決定される前記Ｎ個
のメモリ空間の選択されたもの内にある、選択されたビュー投影行列で前記望ましい映写
画像を行列乗算して変換画像を実現することで、前記Ｎ個のメモリ空間の選択された１つ
は対応するイネーブル入力により選択されるステップと、をさらに有し、前記プロジェク
タは前記行列乗算により作成された変換画像を投影することが好ましい。
【００４９】
また本発明の画像処理方法において、前記第２ステップはさらに、ｈ）作成された変換
画像を同様に作成された変換画像のコレクションに格納するステップを有し、前記第３ス
テップにおいて、前記プロジェクタは前記同様に作成された変換画像のコレクションから
投影用に変換画像を得ることを特徴とすることが好ましい。
【００５０】
また本発明の画像処理方法において、前記変換画像は前記同様に作成された変換画像の
コレクションに追加される前にさらにｍｐｅｇ１、ｍｐｅｇ１１、ａｖｉ、またはａｖｃ
形式の１つに変換されることが好ましい。
【００５１】
また本発明の画像処理方法において、前記同様に作成された変換画像のコレクションは
前記プロジェクタにより投影される前にフィルムに転写されることが好ましい。
【００５２】
また本発明の画像処理方法において、前記動く物体は広告ディスプレイであっても良い
。
【００５３】
また本発明の画像処理方法において、前記変換画像ｐIは前記広告ディスプレイについ
て追加情報を提供しても良い。
【００５４】
ここで本発明の投影システムは、Ｎ個の不連続位置状態に定義された所定の運動パター
ンを有する動く物体に投影される画像の歪みを削減する投影システムであって、各々前記
Ｎ個の不連続位置状態に対応するものに相関するＮ個の個別的ビュー投影行列ＶCI¬を生
成するビュー投影行列生成器と、望ましい映写画像に動く物体の現在の不連続位置状態Ｄ
Ｐ_Ｉで決定される対応するビュー投影行列を掛けることにより前記望ましい映写画像の
変換画像ｐIを作成する画像変換器で、前記現在の不連続位置状態ＤＰ_Ｉは前記Ｎ個の不
連続位置状態の内、前記動く物体が現在存在するもので、前記変換画像ｐIはそれに対応
する現在の不連続位置状態ＤＰ_Ｉに相関している画像変換器と、前記動く物体が現在存
在する不連続位置状態に相関する変換画像を投影するプロジェクタとを有することを特徴
とする。
【００５５】
また、本発明の投影システムは、前記ビュー投影行列生成器は前記Ｎ個の不連続位置状
態各々に対し前記Ｎ個の個別的ビュー投影行列ＶCI¬各々を、ａ）前記Ｎ個の不連続位置
状態に対し光輸送行列Ｔを求めることで、前記光輸送行列Ｔは視野に前記動く物体を含む
カメラにプロジェクタを関連付けるステップと、ｂ）光輸送行列Ｔの各行について、前記
光輸送行列Ｔの共通行に沿った行列入力を比較し、共通行における最も高い行列入力を留
保し、前記共通行における残りの入力にゼロ値を割り当て、改変光輸送行列Ｔ*を作成す
るステップと、ｃ）改変光輸送行列Ｔ*における各列を順に目標列と特定し、各目標列に
ついて前記目標列の非ゼロ値に対し前記目標列に関する正規化値を計算するステップと、
ｄ）前記改変光輸送行列Ｔ*と等しいサイズの中間行列を作成するステップと、ｅ）前記
中間行列における各列を前記改変光輸送行列Ｔ*においてそれに対応する目標列の計算さ
れた正規化値で埋めることで、前記中間行列における各埋められた列の各正規化値は前記
改変光輸送行列Ｔ*においてそれに対応する列の前記非ゼロ入力と１対１の対応を維持す
るステップと、ｆ）前記中間行列に転置行列演算を適用し前記ビュー投影行列ＶCIを作成
し、前記作成されたビュー投影行列を前記動く物体の現在の不連続位置状態に相関させる
ステップと、により生成することを特徴とする。
【００５６】
また、本発明の投影システムは、前記動く物体が前記Ｎ個の不連続位置状態を通過する
につれ、前記プロジェクタはＮ個のビュー投影行列により相関された前記Ｎ個の不連続位
置状態に対応する変換画像を投影しても良い。
【００５７】
また、本発明の投影システムは、前記プロジェクタは任意の時点で前記動く物体が前記
Ｎ個の不連続位置状態のどれに存在しているか判定するために前記動く物体に同期化され
ることを特徴とする。
【００５８】
また、本発明の投影システムは、前記動く物体が前記Ｎ個の不連続位置状態のどれに存
在しているか判定するために前記プロジェクタと前記動く物体との間にフィードバック通
信リンクが確立されていることを特徴とする。
【００５９】
また、本発明の投影システムは、前記フィードバック通信リンクは前記動く物体に複数
の発行源を備え、前記プロジェクタに少なくとも１つの光センサを備えることにより確立
されることを特徴とする。
【００６０】
また、本発明の投影システムは、前記フィードバック通信リンクは前記動く物体と前記
プロジェクタとの間に無線通信を備えることにより確立されることを特徴とする。
【００６１】
また、本発明の投影システムは、前記フィードバック通信リンクは前記動く物体と前記
プロジェクタとの間に有線リンクを備えることにより確立されることを特徴とする。
【００６２】
また、本発明の投影システムは、メモリ空間を、各々前記Ｎ個のビュー投影行列の対応
する１つを格納するＮ個のセクタに分割し、前記動く物体が任意の時点で通過する前記Ｎ
個の不連続位置状態の１つに従い前記メモリ空間内で前記Ｎ個のセクタの１つを選択する
ためのメモリ空間ポインタを提供する行列選択装置を、さらに有することを特徴とする。
【００６３】
また、本発明の投影システムは、各々前記Ｎ個のビュー投影行列の対応する１つを格納
するＮ個のメモリ空間を提供する行列選択装置をさらに有し、前記行列選択装置はさらに
前記動く物体がＮ個の不連続位置状態のいずれかを通過中、共通の望ましい画像にＮ個の
ビュー投影行列の各々を掛けることにより同時Ｎ個の乗算演算を適用し、前記Ｎ個の乗算
演算は各々Ｎ個の内、対応する１つの変換画像を実現し、前記行列選択装置はさらに前記
Ｎ個の変換画像の内、選択された１つを出力するためにマトリックスセレクト制御入力を
有するマルチプレクサに前記Ｎ個の変換画像を適用し、前記マトリックスセレクト入力は
前記動く物体が現在通過中の不連続位置状態に対応する変換画像を出力用に選択するため
に有効であり、前記プロジェクタは前記マルチプレクサにより出力された変換画像を投影
することを特徴とする。
【００６４】
また、本発明の投影システムは、各々前記Ｎ個のビュー投影行列の対応する１つを格納
するＮ個のメモリ空間と、望ましい映写画像を乗算演算に付すための切り替えネットワー
クで、前記乗算演算は前記望ましい映写画像を、Ｎ個の不連続位置状態の内、前記動く物
体が現在通過中の１つにより決定される前記Ｎ個のメモリ空間の選択されたもの内にある
、選択されたビュー投影行列で前記望ましい映写画像を行列乗算して変換画像を実現し、
前記Ｎ個のメモリ空間の選択された１つは対応するイネーブル入力により選択される切り
替えネットワークと、をさらに有し、前記プロジェクタは前記行列乗算により作成された
変換画像を投影することを特徴とする。
【００６５】
また、本発明の投影システムは、前記画像変換器はさらに作成された変換画像を同様に
作成された変換画像のコレクションに格納し、前記プロジェクタは前記同様に作成された
変換画像のコレクションから投影用に変換画像を得ることを特徴とする。
【００６６】
また、本発明の投影システムは、前記変換画像は前記同様に作成された変換画像のコレ
クションに追加される前にさらにｍｐｅｇ１、ｍｐｅｇ１１、ａｖｉ、またはａｖｃ形式
の１つに変換されることを特徴とする。
【００６７】
また、本発明の投影システムは、前記同様に作成された変換画像のコレクションは前記
プロジェクタにより投影される前にフィルムに転写されることを特徴とする。
【００６８】
また、本発明の投影システムは、前記動く物体は広告ディスプレイであることを特徴と
する。
【００６９】
ここで、本発明を要約すると以下のとおりとなる。
上記目的は光輸送行列Ｔの生成を簡素化し、デュアル・フォトグラフィにおける光輸送
係数の実施を簡素化し、光輸送行列Ｔをさらに簡素化しながら改変して光拡散効果または
光ノイズに対する補正を組み入れたシステムにより満足される。
【００７０】
デュアル・フォトグラフィの適用は（ｐ×ｑ）のプロジェクタのピクセルアレイの光輸
送行列Ｔを生成するのに必要な取り込み画像数を（ｐ×ｑ）の画像から（ｐ＋ｑ）の画像
に削減することにより簡素化される。光輸送行列Ｔの操作は、完全に埋められた光輸送行
列Ｔの使用を非ゼロの光輸送値にのみ結び付けるインデクスで置き換えることにより、簡
素化される。ゼロ値の光輸送係数の使用を排除することにより、デュアル・フォトグラフ
ィを実施するためのメモリおよび処理要件が非常に低減される。このデュアル・フォトグ
ラフィ手法がプロジェクタ−カメラシステムの較正に適用される。
【００７１】
本発明の第１実施形態で、デジタルプロジェクタをデジタルカメラに関連付ける光輸送
係数を生成する方法が示される。デジタルプロジェクタが映写ピクセルのアレイを有し、
デジタルカメラがセンサピクセルのアレイを有する場合、方法は、プロジェクタ内の映写
ピクセルの第１グループを同時に活性化し映写場面上に第１テストパターンを投影するこ
とで、前記第１テストパターンに入っていない映写ピクセルは暗く維持されること、映写
場面上の第１テストパターンの第１画像を取り込むこと、プロジェクタ内の映写ピクセル
の第２グループを同時に活性化し映写場面上に第２テストパターンを映写することで、前
記第２テストパターンに入っていない残りの映写ピクセルは暗く維持され、映写ピクセル
の第１および第２グループは目標映写ピクセルを定義する１つのみの共通映写ピクセルを
有すること、前記映写場面上の前記第２テストパターンの第２画像を取り込むこと、第１
画像の画像ピクセルを第２画像の対応画像ピクセルと比較し、２つの比較された画像ピク
セルの暗い方を留保することで、留保された画像ピクセルは合成画像を形成すること、お
よび合成画像において暗くないすべての画像ピクセルを特定することで、暗くない画像ピ
クセルは目標映写ピクセルに結び付いた非ゼロの光輸送係数を定義すること、を含む。
【００７２】
あるいは、光輸送係数を生成する方法はさらに選択された数の目標映写ピクセルに対す
る光輸送係数を特定することを含むことができ、これは選択された数の目標映写ピクセル
各々を対応して結び付いた非ゼロの光輸送係数に結び付けるインデクスを生成すること、
および非ゼロの光輸送係数のみを格納することからなる。
【００７３】
光輸送行列は全行列形式または光輸送係数入力の第１アレイと、第１アレイのどの光輸
送係数が光輸送行列のどの列に対応するかを示す記録を維持する第２アレイからなる簡略
化された第１アレイ、第２アレイ形式のいずれかで書くことができるので、光ノイズおよ
び光拡散効果を補正する改変プロセスも全行列形式またはまたは第１アレイ、第２アレイ
形式のいずれかに適用することができる。いずれの場合もプロセスは表示制約を課すこと
を含み、課さなければ適用することができない。
【００７４】
従って最初の工程は任意の場面においてプロジェクタ−カメラシステムの光輸送行列Ｔ
にシミュレートされた表示制約を課すことで、表示制約はプロジェクタから放射された光
線は区別可能な部分でカメラの画像センサに当たることを規定する。これは次の方法で行
うことができる。光輸送行列Ｔの各列について、光輸送行列の共通行に沿って行列の入力
を比較し、共通行における最高値の行列入力を留保する。光輸送アレイに前記光輸送行列
Ｔの各行からの最高値の行列入力を入れる。光輸送アレイの各入力が光輸送行列のどの列
から由来するかの記録を維持する。必要に応じ記録および光輸送アレイを用い、プロジェ
クタの各プロジェクタピクセルについて光フットプリント情報を抽出する。この方法では
、任意の場面において前記プロジェクタから前記カメラへの光のパスに光拡散物体が含ま
れても構わず、前記方法は光拡散効果を補正するのに有効である。
【００７５】
さらにこの方法において、光輸送行列Ｔの各列はプロジェクタの単一のプロジェクタピ
クセルを活性化することにより実現されカメラの画像センサ全体で取り込まれた画像に対
応し、各光フットプリント情報はそれに対応するプロジェクタピクセルの光輸送値を構成
する。
【００７６】
光輸送アレイおよび記録は前記光輸送行列Ｔの代わりに使用できる改変光輸送行列をな
し、改変光輸送行列はデュアル・フォトグラフィでの使用に適していることがさらに特記
される。
【００７７】
上述の方法は次の工程により光輸送行列の推定逆行列を生成するのに用いることができ
る。正規化光フットプリント情報を各々のプロジェクタピクセルに対応するグループで計
算する。中間アレイを作成し、その中間アレイに対応する光フットプリント情報の計算さ
れた正規化値を入れる。中間アレイの各入力を対応する正規化光フットプリントに結び付
けるために中間アレイ用の中間記録を維持する。中間アレイおよび中間記録を中間行列の
表記として解釈し、前記中間アレイに転置行列演算を適用する。
【００７８】
この正規化光フットプリント情報を各々のプロジェクタピクセルに対応するグループで
計算するプロセスは１つの光フットプリントを構成する光輸送アレイのグループの二乗の
総計を生成し、光輸送アレイ入力の各入力を総計で割ることからなることもさらに特記さ
れる。
【００７９】
任意の場面においてプロジェクタ−カメラシステムの光輸送行列Ｔにシミュレートされ
た表示制約を課す別の方法では次の方法に従うことができる。光輸送行列Ｔの各行につい
て、光輸送行列Ｔの共通行に沿った行列入力を比較し、共通行における最高値の行列入力
以外をすべて無効化する。結果として得られた行列は改変光輸送行列Ｔ*となる。この方
法で、行列入力はゼロ値を割り当てられることにより無効化される。前と同じように、こ
の方法は表示制約が真にサポートされていないものも含みどのような任意の場面にでも用
いることができる。従って任意の場面が前記プロジェクタから前記カメラへの光パスの間
に光を拡散する物体が含まれていても問題ない。改変光輸送行列Ｔ*は相変わらず光拡散
効果を補正するのに有効である。改変光輸送行列Ｔ*は相変わらずデュアル・フォトグラ
フィでの使用に適していることはさらに有用である。
【００８０】
前と同様、改変光輸送行列Ｔ*の推定逆行列は、改変光輸送行列Ｔ*における各列を順に
目標列として特定し、前記目標列に関し目標列の無効化されていない入力値の正規化値を
計算すること、前記改変光輸送行列Ｔ*と等しいサイズの中間行列を作成すること、改変
光輸送行列Ｔ*における対応目標列の計算された正規化値を中間行列の各列に入れること
で、中間行列の埋められた各列における各正規化値は改変光輸送行列Ｔ*の対応列におけ
る無効化されていない入力値と１対１の対応を維持していること、および転置行列演算を
前記中間行列に適用すること、により生成することができる。
【００８１】
この方法で、改変光輸送行列Ｔ*の対応目標列における無効化されていない入力値の正
規化値が入っていない中間行列への値の入力はゼロ値が入れられる。さらに、目標列に関
し目標列の無効化されていない入力値の正規化値を計算するプロセスは目標列の無効化さ
れていない入力値のみの二乗の総計を生成し、目標値の無効化値をすべて無視し、無効化
されていない各値を総計で割ることからなる。
【００８２】
別の言い方をすると、中間の行列をΞとし、改変光輸送行列Ｔ*の目標列をＴ*ｒとし、
行列Ξの対応する列をΞｒとすると、行列Ξの構成と入力はΞｒ＝Ｔ¬*ｒ／（‖Ｔ*ｒ‖
）2と定義される。
【００８３】
上述の原則は動く物体に投影される画像の歪みを削減する方法に適用することができる
。この方法は次の工程を有してなることになる。i）前記動く物体の動きパターンをＮ個
の不連続位置状態に分割すること、ii）各不連続位置状態について、ａ）前記動く物体を
視野に含むカメラにプロジェクタを関連付ける光輸送行列Ｔを得ること、ｂ）光輸送行列
Ｔにおける各行について前記光輸送行列Ｔの共通行に沿って行列入力を比較し、共通行に
おける最高値の行列入力を留保し前記共通行における残りの入力にゼロ値を割り当て目標
列として改変光輸送行列Ｔ*を作成すること、ｃ）改変光輸送行列Ｔ*における各列を順に
目標列として特定し、各目標列について前記目標列における非ゼロ値に対し前記目標列に
関し正規化値を計算すること、ｄ）前記改変光輸送行列Ｔ*と同じサイズの中間行列を作
成すること、ｅ）前記中間行列の各列を前記改変光輸送行列Ｔ*において対応する目標列
の計算された正規化値で埋めることで、前記中間行列において埋められた各列の各正規化
値は前記改変光輸送行列Ｔ*において対応する列の前記非ゼロの入力値と１対１の対応を
維持していること、ｆ）前記中間行列に転置行列演算を適用してビュー投影行列ＶCIを作
成し、前記作成されたビュー投影行列を前記動く物体の現在の不連続位置状態に相関させ
ること、ｇ）望ましい投影画像の変換画像ｐIを、前記望ましい投影画像にそれに対応す
る、動く物体の現在の不連続位置状態ＤＰ_Ｉにより決定された、ビュー投影行列ＶCIを
掛けることにより作成することで、前記現在の不連続位置状態ＤＰ_Ｉは前記Ｎ個の不連
続位置状態の内、前記動く物体が現在存在する状態であり、前記変換画像ｐIは対応する
現在の不連続位置状態ＤＰ_Ｉに相関していること、およびiii）前記プロジェクタに前記
動く物体が現在存在する不連続位置状態に相関する変換画像を投影させること。
【００８４】
この方法において、動く物体がＮ個の不連続位置状態を通過する際、プロジェクタはＮ
個のビュー投影行列が相関させた形でＮ個の不連続位置状態に対応する変換画像を投影す
ることが好ましい。加えて、プロジェクタは動く物体が任意の時点でＮ個の不連続位置状
態のどれに存在するかを判定するために動く物体に同期化されている。
【００８５】
プロジェクタと動く物体との間にフィードバック通信リンクを確立し、動く物体が任意
の時点でＮ個の不連続位置状態のどれに存在するかを判定することができる。このフィー
ドバック通信リンクは動く物体に複数の発光源を備えプロジェクタに少なくとも１つの光
センサを備えることにより確立することができる。あるいは、フィードバック通信リンク
は動く物体とプロジェクタとの間に無線通信を備えることにより確立することができる。
このフィードバック通信リンクを確立するための別の方法は動く物体とプロジェクタとの
間に有線リンクを備えることである。
【００８６】
動く物体に投影される画像の歪みを削減する本方法はさらにメモリ空間を、各々Ｎ個の
ビュー投影行列の内、対応する１つを格納するＮ個のセクタに分割すること、および動く
物体が任意の時点で通過しているＮ個の不連続位置状態の１つに従い、メモリ空間内でＮ
個のセクタの内、１つを選択するメモリ空間ポインタを提供すること、の工程を有してな
ることができる。
【００８７】
あるいは本方法は各々Ｎ個のビュー投影行列の内、対応する１つを格納するＮ個のメモ
リ空間を提供する工程を有してなることができる。方法は次に動く物体がＮ個の不連続位
置状態のいずれかを通過する際、共通の望ましい画像にＮ個のビュー投影行列の各々を掛
けることにより同時Ｎ個の乗算演算を適用し、Ｎ個の乗算演算各々は対応するＮ個の変換
画像の１つを作成する。Ｎ個の変換画像は次にＮ個の変換画像の内、選択された１つを出
力するためにＭａｔｒｉｘ_Ｓｅｌｅｃｔ制御入力を有するマルチプレクサに適用される
。Ｍａｔｒｉｘ_Ｓｅｌｅｃｔ制御入力は動く物体が現在通過している不連続位置状態に
対応する変換画像を出力用に選択するために用いられる。プロジェクタは次にマルチプレ
クサにより出力された変換画像を投影する。
【００８８】
さらなる方法は、各々Ｎ個のビュー投影行列の内、対応する１つを格納するＮ個のメモ
リ空間を提供すること、望ましい投影画像を乗算演算に提出するために切り替えネットワ
ークを提供することで、乗算演算はＮ個の不連続位置状態の内、前記動く物体が現在通過
している１つによって決定される望ましい投影画像をＮ個のメモリ空間の内、選択された
１つ内にある、選択された１つのビュー投影行列により行列乗算することで、Ｎ個のメモ
リ空間の内、選択された１つは対応するイネーブル入力の適用により選択されること、を
有してなることができる。
【００８９】
本方法の工程ii）において、さらに作成された変換画像を同様に作成された変換画像の
コレクションに格納することができる。この場合、工程iii）において、プロジェクタは
投影用の変換画像を同様に作成された変換画像のコレクションから得る。この方法で、変
換画像は同様に作成された変換画像のコレクションに加えられる前にさらにｍｐｅｇ１、
ｍｐｅｇ１１、ａｖｉ、またはａｖｃ形式に変換される。あるいは、同様に作成された変
換画像はプロジェクタにより投影される前にフィルムに転写されることができる。
【００９０】
この方法は広告用に特に有用である。例えば、動く物体は広告ディスプレイであっても
良く、変換画像ｐIは広告ディスプレイに関連する追加情報であることができる。
【００９１】
Ｎ個の不連続位置状態に定義された所定の動きパターンを有する動く物体に投影される
画像の歪みを削減する上述の方法に適したシステムは次を有することができる。各々Ｎ個
の不連続位置状態の対応する１つに相関するＮ個の個別的ビュー投影行列ＶCI¬を生成す
るビュー投影行列生成器、望ましい投影画像にＮ個の個別的ビュー投影行列ＶCI¬の内、
動く物体の現在の不連続位置状態ＤＰ_Ｉにより決定され、対応する１つを掛けることに
より望ましい投影画像の変換画像ｐIを作成する画像変換器で、現在の不連続位置状態Ｄ
Ｐ_ＩはＮ個の不連続位置状態の内、動く物体が現在存在する１つで、変換画像ｐIは対応
する現在の不連続位置状態ＤＰ_Ｉに相関している画像変換器、および動く物体が現在存
在する不連続位置状態に相関する変換画像を投影するプロジェクタ。
【００９２】
この場合、ビュー投影行列生成器は次によりＮ個の不連続位置状態の各々に対しＮ個の
個別的ビュー投影行列ＶCI¬を各々生成する。ａ）Ｎ個の不連続位置状態の各々について
光輸送行列Ｔを得ることで、光輸送行列Ｔは動く物体を視野に含むカメラにプロジェクタ
を相関させること、ｂ）光輸送行列Ｔの各行について、光輸送行列Ｔの共通行に沿って行
列入力を比較し、共通行において最も高い値の行列入力を留保し共通行の残りの入力にゼ
ロ値を割り当てることにより改変光輸送行列Ｔ*を作成すること、ｃ）改変光輸送行列Ｔ*
における各列を順に目標列と特定し、各目標列について目標列内の非ゼロ値の目標列に対
する正規化値を計算すること、ｄ）改変光輸送行列Ｔ*と等しいサイズの中間行列を作成
すること、ｅ）中間行列の各列に改変光輸送行列Ｔ*において対応する目標列の計算され
た正規化値を埋めることで、中間行列において埋められた各列の各正規化値は前記改変光
輸送行列Ｔ*において対応する列の非ゼロ入力値と１対１の対応を維持すること、ｆ）中
間行列に転置行列演算を適用してビュー投影行列ＶCIを作成し、作成されたビュー投影行
列を動く物体の現在の不連続位置状態に相関させること。
【００９３】
このシステムにおいて、動く物体がＮ個の不連続位置状態を通過する際、プロジェクタ
はＮ個のビュー投影行列により相関されたＮ個の不連続位置状態に対応する変換画像を投
影する。この場合、プロジェクタは動く物体が任意の時点でＮ個の不連続位置状態の内、
どれに存在しているかを判定するために動く物体に同期化されている。
【００９４】
この好ましいシステムにおいて、フィードバック通信リンクがプロジェクタと動く物体
との間で確立され、任意の時点で動く物体がＮ個の不連続位置状態のどれに存在している
かを判定する。このフィードバック通信リンクを確立する１つの方法は動く物体に複数の
発光源を備え、プロジェクタに少なくとも１つの光センサを備えることである。あるいは
、フィードバック通信リンクは動く物体とプロジェクタとの間に無線通信を備えることに
より確立することができる。さらに別の方法は動く物体とプロジェクタとの間に有線リン
クを備えることによりフィードバック通信リンクを確立することである。
【００９５】
この好ましいシステムはさらにＮ個のビュー投影行列の内、対応する１つを各々格納す
るＮ個のセクタにメモリ空間を分割し、動く物体が任意の時点で通過しているＮ個の不連
続位置状態の１つに従い、メモリ空間内でＮ個のセクタの内、１つを選択するメモリ空間
ポインタを提供する行列選択装置を有してなる。
【００９６】
本システムはあるいは各々Ｎ個のビュー投影行列の内、対応する１つを格納するＮ個の
メモリ空間を提供する行列選択装置を有してなることができる。行列選択装置は次に動く
物体がＮ個の不連続位置状態のいずれかを通過する際、共通の望ましい画像をＮ個のビュ
ー投影行列の各々で掛けることにより同時にＮ個の乗算演算を適用し、Ｎ個の乗算演算は
各々対応するＮ個の変換画像の１つを作成する。行列選択装置はさらにＮ個の変換画像の
内、選択された１つを出力するためにＭａｔｒｉｘ_Ｓｅｌｅｃｔ制御入力を有するマル
チプレクサに適用する。Ｍａｔｒｉｘ_Ｓｅｌｅｃｔ制御入力は動く物体が現在通過して
いる不連続位置状態に対応する変換画像を出力用に選択するのに有効である。これにより
プロジェクタは前記マルチプレクサにより出力された変換画像を投影する。
【００９７】
本システムの別の実施形態は、各々前記Ｎ個のビュー投影行列の内、対応する１つを格
納するＮ個のメモリ空間、望ましい投影画像を乗算演算に提出するための切り替えネット
ワークで、乗算演算はＮ個の不連続位置状態の内、前記動く物体が現在通過している１つ
によって決定される望ましい投影画像をＮ個のメモリ空間の内、選択された１つ内にある
、選択された１つのビュー投影行列により行列乗算することで、Ｎ個のメモリ空間の内、
選択された１つは対応するイネーブル入力の適用により選択される切り替えネットワーク
、を有してなり、プロジェクタは前記行列乗算により作成された変換画像を投影する。
【００９８】
本システムのさらに別の実施形態で、画像変換器はさらに作成された変換画像を同様に
作成された変換画像のコレクションに格納し、プロジェクタは投影用の変換画像を同様に
作成された変換画像のコレクションから得る。変換画像は同様に作成された変換画像のコ
レクションに加えられる前にさらにｍｐｅｇ１、ｍｐｅｇ１１、ａｖｉ、またはａｖｃ形
式に変換されることができる。あるいは、同様に作成された変換画像はフィルムに転写さ
れ、投影用にフィルムをプロジェクタに送ることができる。
【発明を実施するための最良の形態】
【００９９】
添付図面と併せて以下の説明およびクレームを参照することにより他の目的および成果
と共に発明のより深い理解が明らかになろう。
【０１００】
カメラ較正手法をプロジェクタに適用するためには、プロジェクタが画像を取り込めな
ければならない。つまり、プロジェクタが画像を取り込むことができたら、プロジェクタ
−カメラシステムはマルチ・カメラシステムのように扱うことができ、プロジェクタ−カ
メラシステムを較正する標準的なカメラ較正手法（上記に説明）を用いることができるか
もしれない。言い換えれば、プロジェクタを擬似カメラとして扱うことができれば、上述
のマルチ・カメラシステムのカメラ較正段階に類似した方法で実デジタルカメラとともに
較正することができ、以前にプロジェクタ−カメラシステムを較正するために用いられた
「ブートストラップ的」プロジェクタ較正段階を排除できるかもしれない。
【０１０１】
図２（ａ）に関し、本発明に従った撮像構成は実デジタルプロジェクタ２１および実デ
ジタルカメラ２５を含み得る。実デジタルプロジェクタ２１はデジタルプロジェクタであ
ることが好ましく、ｐ行およびｑ列の個別の撮像映写要素（すなわちプロジェクタピクセ
ルｊ）からなる撮像映写アレイ（すなわちプロジェクタのピクセルアレイ２７）を含む撮
像要素を有する。プロジェクタのピクセルアレイ２７は実デジタルプロジェクタ２１の内
部にあり、説明の便宜上、図２（ａ）において点線の方形内の十字線で示される。実デジ
タルプロジェクタ２１は液晶表示（ＬＣＤ）型、デジタル光処理（ＤＬＰ（登録商標））
型、反射型液晶パネル（Liquid Crystal On Silicon＝ＬＣＯＳ）、または他のデジタル
映写技術型であることが好ましい。
【０１０２】
実デジタルカメラ２５はｍ行およびｎ列の個別のカメラピクセルｉ（すなわち画像セン
サ要素または受光ピクセル）からなるカメラセンサのピクセルアレイ２９（すなわち受光
アレイまたは画像センサアレイ）を含む画像センサを有するデジタルカメラであることが
好ましい。簡単にするため、カメラセンサのピクセルアレイ２９は実デジタルカメラ２５
上に示されるが、カメラセンサのピクセルアレイ２９は実デジタルカメラ２５の内部にあ
ることが理解されよう。
【０１０３】
実デジタルプロジェクタ２１および実デジタルカメラ２５を用いたこの物理的構成は「
根本」構成と呼ばれることが好ましい。実デジタルプロジェクタ２１内の個別のプロジェ
クタピクセルｊから発射された光線は不規則なまたは平面の形状を有し得る映写表面（す
なわち表示環境または場面）から反射されることにより実映像２３を形成し、光線の一部
は最終的に実デジタルカメラ２５内の画像センサに到達する。一般的に各光線は場面で分
散、反射、および屈折し、カメラセンサのピクセルアレイ２９にわたりいくつか異なった
位置でカメラの画像センサに当たる。このように、実デジタルプロジェクタ２１の撮像さ
れたプロジェクタピクセルｊから放射された１つの光線が実デジタルカメラ２５に到達す
ると、個々に投射された光線はｍ×ｎの画像をカメラセンサのピクセルアレイ２９上で形
成し、個々のカメラピクセルｉは投射光線から一定量の光を受ける。
【０１０４】
従って理想的には１つのプロジェクタピクセルｊをオンにして１つの光線を放射させ１
つのカメラピクセルｉに当たるようにして１つのプロジェクタピクセルｊを１つのカメラ
ピクセルｉに関連付ける１つの光輸送係数を判定することができるように見えるかもしれ
ないが、実際にはそうでない。実際にはカメラセンサのピクセルアレイ２９全体が放射さ
れた１つの光線からの光強度の異なった寄与を受ける。従って、個々のプロジェクタピク
セルｊ各々から放射される各光線はカメラセンサのピクセルアレイ２９内のカメラピクセ
ルｉ各々に対し１つの異なった組、またはアレイ、の個別的光輸送係数を生成する。従っ
て、各組（すなわちアレイ）は各カメラピクセルｉに対し１つとなる（ｍ×ｎ）［すなわ
ちｍ掛けるｎ］の個別的光輸送係数からなることになる。
【０１０５】
光輸送係数の各組を係数の列として配列し複合された光輸送行列Ｔを形成すると、複合
された光輸送行列Ｔは個別のプロジェクタピクセルｊ各々に対し異なった光輸送係数の列
を有することになる。さらに、各列内の各光輸送係数入力（すなわち行列要素）と各カメ
ラピクセルとの間には１対１の対応があるので、各列は１つのプロジェクタピクセルｊを
オンにした結果、実デジタルカメラ２５で取り込まれた画像全体を表す。従って、光輸送
行列Ｔ全体（すなわち複合の）は（ｐ×ｑ）［すなわちｐ掛けるｑ］列（オンにされた各
個別のプロジェクタピクセルｊにつき１列［すなわち取り込み画像］）および（ｍ×ｎ）
行（各個別のカメラピクセルｉにつき１行）からなる。
【０１０６】
以下の考察において実投影画像を、（ｐ×ｑ）要素（各プロジェクタピクセルｊにつき
１つ）を有する第１ベクトルＲｐｒｊｃｔ（すなわち実投影ベクトル）として、また結果
としてもたらされる実取り込み画像を、（ｍ×ｎ）要素（各カメラピクセルｉにつき１つ
）を有する第２ベクトルＲｃｐｔｒ（すなわち実取り込みベクトル）として見ることが役
立つ。
【０１０７】
実投影画像（すなわちプロジェクタのピクセルアレイ２７全体を用いて投影した画像）
は（ｐ×ｑ）の実投影ベクトルとしての「第１ベクトルＲｐｒｊｃｔ」（すなわち「ｐ掛
けるｑベクトル」と表される記号、および対応する実取り込み画像（すなわちカメラセン
サのピクセルアレイ２９全体を用いて取り込まれた画像）は（ｍ×ｎ）の実取り込みベク
トル（すなわち「ｍ掛けるｎベクトル」）と表される記号を用いると、実デジタルプロジ
ェクタ２１と実デジタルカメラ２５との間の光輸送関係は、
【０１０８】
【数１】
0005338217.tif 000002
と書くことができ、光輸送行列Ｔは実デジタルプロジェクタ２１を実デジタルカメラ２
５に関連付ける複合された光輸送行列Ｔである。光輸送行列Ｔは例えば個々かつ別々に各
プロジェクタピクセルｊをオンにして各個別的なカメラピクセルｉの対応光輸送係数を判
定することにより前以て生成されていることが理解されよう。
【０１０９】
要約すると、各プロジェクタピクセルｊはカメラセンサのピクセルアレイ２９全体にわ
たり拡散される光線をもたらすので、各個別のカメラピクセルは各個別のプロジェクタピ
クセルｊから受けた所定の光特性の強度値を示す異なった値の光輸送係数を有する。本実
施形態で、この光特性は光強度の尺度であることが好ましい。従って各プロジェクタピク
セルｊは（ｍ×ｎ）の個別的光輸送係数からなる列をもたらし、各係数は各カメラピクセ
ルｉが受けた光強度の量を示す。実デジタルプロジェクタ２１は（ｐ×ｑ）のプロジェク
タピクセルｊを有するので、光輸送行列Ｔは（ｐ×ｑ）列［各プロジェクタピクセルｊに
つき１列］および（ｍ×ｎ）行［各カメラピクセルｉにつき１行］を有する。従って光輸
送行列Ｔは従来非常に大きく、（ｐ×ｑ×ｍ×ｎ）の個別の光輸送係数からなっていた。
【０１１０】
図２（ｂ）に関し、「デュアル」な構成において実デジタルプロジェクタ２１は実デジ
タルプロジェクタのピクセルアレイ２７とサイズが等しい仮想カメラセンサのピクセルア
レイ２７”を有する仮想カメラ２１”で置き換えられる。このように仮想カメラ２１”は
ｐ行掛けるｑ列の仮想カメラピクセルｊ”からなる仮想カメラセンサのピクセルアレイ２
７”を有する。同様にこの「デュアル」な構成において、実デジタルカメラ２５は実デジ
タルカメラセンサのピクセルアレイ２９とサイズが等しい仮想プロジェクタのピクセルア
レイ２９”を有する仮想プロジェクタ２５”で置き換えられる。このように仮想プロジェ
クタ２５”はｍ行掛けるｎ列の仮想プロジェクタピクセルｉ”からなる仮想プロジェクタ
のピクセルアレイ２９”を有する。
【０１１１】
この場合、仮想映像２３”（仮想プロジェクタ２５”により投影される）は（ｍ×ｎ）
の仮想投影ベクトルＶｐｒｊｃｔ”で表すことができる。同様に、仮想カメラ２１”によ
り取り込まれた仮想取り込み画像は（ｐ×ｑ）仮想取り込みベクトルＶｃｐｔｒ”で表す
ことができる。従ってこのデュアル構成において仮想取り込みベクトルＶｃｐｔｒ”は、
デュアル光輸送行列Ｔ”により仮想投影ベクトルＶｐｒｊｃｔ”に関連付けられる。ヘル
ムホルツの相反性の原理により、光輸送は双方向において等しい。従ってデュアル構成（
すなわちデュアリティ変換構成）に対するデュアル光輸送行列Ｔ”は次の関係で仮想取り
込みベクトルＶｃｐｔｒ”を仮想投影ベクトルＶｐｒｊｃｔ”に関連づける。
【０１１２】
しかしこの関係はデュアル光輸送行列Ｔ”を構成し、仮想的に投影された画像を仮想的
に取り込まれた画像に関連付ける大量の「仮想」光輸送係数をどのように判定できるかと
いう問題を提議する。注目すべきは、光輸送行列Ｔからそのデュアル光輸送行列Ｔ”への
デュアリティ変換は光輸送行列に対し転置行列演算を行うことにより達成される。従って
、デュアル光輸送行列Ｔ”は光輸送行列Ｔの転置で、Ｔ”＝ＴTおよびＶｃｐｔｒ”＝ＴT
＊Ｖｐｒｊｃｔ”またはＶｃｐｔｒ”＝Ｔ”＊Ｖｐｒｊｃｔ”となる。
【０１１３】
行列計算方法で周知のように、一般的な［ｘ×ｙ］行列Ａの転置行列演算は上付き文字
「Ｔ」を加えることにより示され（例えばＡTのように）、第１列が行列Ａの第１行、第
２列は行列Ａの第２行、第３列は行列Ａの第３行、以下同様、である［ｙ×ｘ］の行列で
定義される。容易に明らかなように、この行列演算は単に第１要素を中心として元の行列
Ａを反転させ、その第１要素（すなわち行列位置（１，１）において）は変化せず、第１
列の下端が第１行の終りになるようにする。従って根本構成に対する光輸送行列Ｔを獲得
、あるいは別途判定できれば、デュアル構成に対するデュアル光輸送行列Ｔ”は上述のよ
うに光輸送行列Ｔを反転させてその転置光輸送行列ＴTを得ることにより容易に計算でき
る。以下のさらなる考察において、デュアル光輸送行列Ｔ”および転置光輸送行列ＴTは
互換的に用いることができる（以降、デュアル光輸送行列ＴTとして記載する）。
【０１１４】
しかし光輸送行列Ｔを判定するのに簡略化された方法を提供できれば、デュアリティ変
換については光輸送行列Ｔから直接、デュアル光輸送行列ＴTを判定できることが特記さ
れる。光輸送行列Ｔの判定を簡略化する方法を提案する前に、まず光輸送行列Ｔを判定す
るための従来の方法の難しさをいくつか考察することが有益である。
【０１１５】
上記で説明されたように、光輸送行列Ｔは実デジタルプロジェクタ２１の各個別のプロ
ジェクタピクセルｊと実デジタルカメラの個別のカメラピクセルｉすべてとの間で対応す
る個別の光輸送係数を留保している。従って、個別のプロジェクタピクセルｊとすべての
カメラピクセルｉとの間で対応する各個別の光輸送係数の判定はプロジェクタのピクセル
アレイ２７における他のプロジェクタピクセルｊからの光線寄与を避けるべきである。
【０１１６】
これを達成するために、まずｊ番目のプロジェクタピクセルを「１」の値に設定し（す
なわちオンにし）、プロジェクタのピクセルアレイ２７における他のすべての要素をゼロ
値に設定する（すなわちオフにする）ことにより作成された初期の実投影画像_ｊを検討
することができる。この場合、ｊ番目のピクセルは光輸送係数を判定するためにテストさ
れるプロジェクタピクセルである。これらのテスト条件はｊ番目のプロジェクタピクセル
に結び付いた入力位置において「１」の値を有し、すべての他のプロジェクタピクセルを
ゼロの値に設定している実投影ベクトルＲｐｒｊｃｔ_ｊとして記号化することができる
。次に実投影画像_ｊを取り込み対応する（ｍ×ｎ）の実取り込みベクトル_ｊを判定する
ことができ、これは光輸送行列Ｔのｊ番目の列を定義する。
【０１１７】
所定のｊ番目のプロジェクタピクセルに対する光輸送行列Ｔの光輸送係数の列を得るこ
の方法は光輸送行列Ｔ全体を取り込む系統だった方法は実デジタルプロジェクタ２１の各
プロジェクタピクセルｊを順にオンにし（プロジェクタピクセルを１つずつ）、実デジタ
ルカメラでその対応する実画像としての取り込み画像ベクトルＲｃｐｔｒ_ｊを取り込む
ことであることを示唆している。ｐ×ｑ個のプロジェクタピクセルｊがすべて順にオンに
され、それらに対応する実画像としての取り込み画像ベクトルＲｃｐｔｒ_ｊが取り込ま
れると、取り込まれたすべての取り込み画像ベクトルＲｃｐｔｒ_１〜Ｒｃｐｔｒ_（ｐ×
ｑ）はグループ化され光輸送行列Ｔを形成する。各取り込み画像ベクトルＲｃｐｔｒ_ｊ
は光輸送行列Ｔにおいて光輸送係数入力の１列をなす。これは（ｐ×ｑ）列および（ｍ×
ｎ）行の個別の光輸送係数を有する光輸送行列Ｔをもたらす。
【０１１８】
しかし光輸送行列Ｔを判定するためのこの簡単で系統だったプロセスは（ｐ×ｑ）の画
像投影取り込み工程を必要とする、明らかに時間のかかるプロセスである。さらに、得ら
れる光輸送行列Ｔは非常に大きく、（ｐ×ｑ×ｍ×ｎ）の要素からなる。光輸送行列Ｔの
サイズから、デュアル画像を計算するのはデュアル光輸送行列ＴT（光輸送行列Ｔと同数
の要素を有する）と仮想投影ベクトルＶｐｒｊｃｔ”（（ｍ×ｎ）の要素を有する長いベ
クトルである）との間で行列乗算を必要とする極めて計算集中的な演算である。
【０１１９】
過去において、光輸送行列Ｔを判定するプロセスを速めるために実デジタルプロジェク
タ（図１（ａ）の実デジタルプロジェクタ１１のような）の複数ピクセルをいちどきに適
応的にオンにすることにより光輸送行列Ｔを判定する仕組みが提案されている。しかし、
この方法は複雑で、投影される画像が複数の区域に分割され、各区域から１つのプロジェ
クタピクセルを選択する必要がある。選択されたプロジェクタピクセルはすべて同時に点
灯され、かつ同時に点灯されたプロジェクタピクセルはその間の光干渉を排除するために
互いに充分な距離を確保するようにする。従って、この仕組みは選択された個々のプロジ
ェクタピクセル間の光干渉が最小限であることを確保する必要があるので場面に依存する
（すなわち表示環境に依存する）。このように複数区域の作成は表示環境に依存する。こ
の仕組みは投影区域の物理的な検査および手動の設定を必要とするので、一般的な使用ま
たは自動化にあまり適さない。
【０１２０】
本発明の一特徴は光輸送行列Ｔの決定における手順工程を削減する方法を提案する。す
なわち、（ｐ×ｑ）の画像投影取り込み工程（およびｐ×ｑの取り込み画像の格納）を必
要とする代わりに、ここで提案される方法は「ｐ足すｑ」［すなわち（ｐ＋ｑ）］画像し
か取り込まず、以下に説明する特定の状況においてこの数はさらに劇的に減らすことがで
きる。
【０１２１】
本方法は次の仮定に基づいている。つまり殆どのプロジェクタ−カメラ表示用途におい
て、実デジタルプロジェクタ２１から放射される任意の別個の光線ｂ（図示せず）および
光線ｃ（図示せず）は通常、カメラセンサのピクセルアレイ２９における別個の部分に当
たる。すなわち、プロジェクタピクセルｊから放射された任意の光線はカメラセンサのピ
クセルアレイ２９全体にわたって拡散されず、カメラセンサのピクセルアレイ２９内の明
確な部分で光フットプリントを形成する小グループのカメラピクセル内に主に集中する。
さらに、隣接する光フットプリントにおいて重なり合いはないか無視できる（すなわち別
個のプロジェクタピクセルｊから投射された別個の光線が当たるカメラピクセルｉに重複
が殆どない）。この理想的な光線分布条件は実デジタルカメラ２５の解像度が実デジタル
プロジェクタ２１の解像度よりはるかに高い（すなわち少なくとも２倍高い）場合に仮定
できる。
【０１２２】
別個の光線が重ならないというこの仮定はもちろん一般的に正しくない。例えば、実デ
ジタルカメラ２５の解像度が実デジタルプロジェクタ２１の解像度に匹敵するか、または
それより小さい場合、または光拡散材料が実デジタルプロジェクタ２１からカメラセンサ
のピクセルアレイ２９に投影された光線の光パスの間に位置する場合理想的な光線分布条
件は達成できないかもしれない。例えば、映写場面（すなわち表示環境または映写表面／
領域）がコップ一杯の牛乳など光拡散材料を含む場合、投射された光線は拡散され、カメ
ラセンサのピクセルアレイ２９において異なった光線間でかなり光の重なり合いがある可
能性は非常に増える。しかし高解像度の映写を確保するよう設計された表示構成はこのよ
うな光拡散材料がない可能性が高く、投射された光のフットプリントは各々隣とは実質的
に区別されることが殆ど保証される。つまり、高解像度の映写が望ましい会場や設定の場
合、投影画像の光パスに沿って光拡散物品はない可能性が高い。
【０１２３】
本第１実施形態において、実デジタルカメラ２５のピクセル解像度は実デジタルプロジ
ェクタ２１のそれより少なくとも４倍高く、映写場面には光拡散材料がなく、理想的な光
線分布状態の条件が満足されると仮定される。しかし、実デジタルカメラ２５の解像度が
実デジタルプロジェクタ２１より高いものに限定されず、または実デジタルプロジェクタ
２１と実デジタルカメラ２５との間の光パスが光拡散材料のないものに限定されない、よ
り一般的な状況に関する別の実施形態も下記に説明される。
【０１２４】
この仮定およびベクトル生成方法の最初の図形的描写が図３〜図５に示される。図３を
参照すると、本発明の図示例はカメラセンサのピクセルアレイ２９より低いピクセル解像
度を有する実デジタルプロジェクタのピクセルアレイ２７を示す。説明の便宜上、プロジ
ェクタのピクセルアレイ２７は６行と７列（すなわちｐ＝６でｑ＝７）のみからなり合計
解像度が４２のプロジェクタピクセルｊ（すなわち（６×７）要素）となるように図示さ
れる。同様に説明の便宜上、カメラセンサのピクセルアレイ２９は１２行と１４列（すな
わちｍ＝１２でｎ＝１４）のみからなり合計解像度が１６８のカメラピクセルｉ（すなわ
ち（１２×１４）要素）となるように図示される。カメラセンサのピクセルアレイ２９の
解像度はプロジェクタのピクセルアレイ２７の解像度より４倍高く、プロジェクタのピク
セルアレイ２７からカメラセンサのピクセルアレイ２９への光パス内に光拡散材料は存在
せず、従って本第１実施形態の理想的な光線分布条件が満足されていることが特記される
。
【０１２５】
図３においてプロジェクタのピクセルアレイ２７内の各正方形は異なるプロジェクタピ
クセルｊを表す。本例において、第３行と第５列に位置するプロジェクタピクセルｊの光
輸送係数を得ることが求められる（すなわちプロジェクタピクセルｊ＝（５，３）がテス
トされるピクセルである）。上記に説明されるように光拡散、または光散乱、は無視され
る。このように、プロジェクタピクセルｊ＝（５，３）はオンにされている、すなわち点
灯されている、ことが白い正方形で示されるように図示され、他のすべてのプロジェクタ
ピクセルは濃い灰色の正方形で示されるようにオフのままとして図示される。プロジェク
タピクセルｊ＝（５，３）は光線１を放射し、これはプロジェクタレンズ３を通過した後
映写表面５（これは基本的に実デジタルプロジェクタ２１および実デジタルカメラ２５が
位置する環境で決定される一般的な映写場面である）に当たる。
【０１２６】
光拡散は本例において無視されるので、光線１は映写表面５から反射し、カメラレンズ
７を通過した後、カメラピクセルｉのグループに当たり、円で示された第１の光線フット
プリントＦｔ１のように光線フットプリントを形成する。各プロジェクタピクセルｊの解
像度はカメラピクセルｉのそれよりはるかに粗いので、カメラセンサのピクセルアレイ２
９に作成された第１の光線フットプリントＦｔ１は数個のカメラピクセルｉを覆い、第１
の光線フットプリントＦｔ１の中央にあるカメラピクセルｉ（白い正方形で示される）が
もっとも高い光強度を受け、第１の光線フットプリントＦｔ１の周辺部にあるカメラピク
セルｉ（薄い灰色の正方形で示される）はより少ない光強度を受け、第１の光線フットプ
リントＦｔ１内にないカメラピクセルｉ（濃い灰色の正方形で示される）は光を受けない
。次に、カメラセンサのピクセルアレイ２９内のすべてのカメラピクセルの光強度測定を
判定することによりテストされるプロジェクタピクセルｊ＝（５，３）に対応する各カメ
ラピクセルｉの光輸送係数を決定することができる。
【０１２７】
上記に説明されたように、プロジェクタのピクセルアレイ２７を第１ベクトルＲｐｒｊ
ｃｔ（実投影ベクトルとしての第１ベクトルＲｐｒｊｃｔ）と見て、得られるカメラセン
サのピクセルアレイ２９にわたる取り込み画像を第２ベクトルＲｃｐｔｒ（実取り込みベ
クトル）と見ることが役に立つ。実デジタルプロジェクタベクトルとしての第１ベクトル
Ｒｐｒｊｃｔをどのように構築できるかを図示したものが図４に示される。まずプロジェ
クタのピクセルアレイ２７を６つの行、行ｒｏｗ_１〜ｒｏｗ_６に分け、次に各行を９０
度回転させ６つの列セグメントｃｏｌ_ｓｅｇ_ｒ１〜ｃｏｌ_ｓｅｇ_ｒ６を形成する。６
つの列セグメントｃｏｌ_ｓｅｇ_ｒ１〜ｃｏｌ_ｓｅｇ_ｒ６を次に端と端をつないで（ｐ
×ｑ）要素（すなわち（６×７）または４２要素）からなる１つの合成列を形成する。本
例において、行列要素ｃｏｌ_１_ｒｏｗ_１９（すなわち列ｃｏｌ_１の上から１９番目の
要素）はプロジェクタのピクセルアレイ２７のアレイ位置（５，３）にあるプロジェクタ
ピクセルｊに対応する。行列要素ｃｏｌ_１_ｒｏｗ_１９は白い正方形として示され、他
の要素はすべて暗くされた正方形で、行列要素ｃｏｌ_１_ｒｏｗ_１９がオンになってい
る唯一のプロジェクタピクセルであることを示している。
【０１２８】
同様のプロセスが図５においてカメラセンサのピクセルアレイ２９に適用され、第２ベ
クトルＲｃｐｔｒ（実取り込みベクトル）が構築される。本例の場合、カメラセンサのピ
クセルアレイ２９はｍ行（すなわち１２行）に分けられ、各々９０度回転させられ図示さ
れていない１２の列セグメントを形成する。図４でプロジェクタのピクセルアレイ２７の
配置を変えたのと同じように、１２個の列セグメントは端と端をつないで（ｍ×ｎ）要素
（すなわち（１２×１４）または１６８要素）からなる１つの合成列ｃｍｒａ_ｃｏｌ_１
（すなわち第２ベクトルＲｃｐｔｒ）を形成する。
【０１２９】
本例において、アレイ位置（５，３）にあるプロジェクタピクセルｊから放射される光
線はカメラセンサのピクセルアレイ２７上に第１の光線フットプリントＦｔ１を形成する
と仮定される。第１の光線フットプリントＦｔ１の範囲は円で示され、カメラセンサのピ
クセルアレイ２９の４つの異なる行の１２個のカメラピクセルｉを包含する。第１の光線
フットプリントＦｔ１内のカメラピクセルｉは図３または図４のプロジェクタピクセルｊ
＝（５，３）（すなわち行列要素ｃｏｌ_ｌ_ｒｏｗ_１９）により放射された光線からの
光強度の少なくとも一部を受ける。第１の光線フットプリントＦｔ１の中央にあるカメラ
ピクセルはもっとも多く光強度を受け、白い正方形で識別され、第１の光線フットプリン
トＦｔ１の周辺部にあるカメラピクセルはより少なく光強度を受け、薄い灰色の正方形と
して識別される。第１の光線フットプリントＦｔ１内にないカメラピクセルは濃い灰色の
正方形で示される。図５に図示されるように、これらの白および薄い灰色の正方形は取り
込み画像内の非ゼロ要素をなし、第２ベクトルＲｃｐｔｒ（すなわち列ｃｍｒａ_ｃｏｌ_
１）内で多数のゼロ値要素（ずなわち濃い灰色の正方形）の間に散在する白および薄い灰
色の正方形（すなわち非ゼロ値のＮＺ要素）として示される。
【０１３０】
プロジェクタピクセルｊからの１つの光線の光フットプリントがどのように数個のカメ
ラピクセルｉを覆うかの拡大図を提供する第２の例が図６および図７に示される。図６に
おいて、別の典型的なカメラセンサのピクセルアレイ２９の部分図は第１行において１〜
ｎまで、第２行において（ｎ＋１）から（２ｎ）まで、および第３行において（２ｎ＋１
）〜（３ｎ）まで等々と水平に番号が付けられた個々のカメラピクセルｉを示す。このシ
ーケンスを続けると、最下段の行に沿ったカメラピクセルｉは（ｍ−１）ｎ＋１〜（ｍｎ
）まで番号が付けられることが理解されよう。
【０１３１】
別の典型的な１つのプロジェクタピクセルｊからの１つの光線で、カメラセンサのピク
セルアレイ２９に作用する第２の光線フットプリントＦｔ２が円として示される。例示の
目的から、第２の光線フットプリントＦｔ２内にないカメラピクセルｉ［すなわちｊ番目
のプロジェクタピクセルから放射された１つの光線が当たらないカメラピクセルｉ］は非
常に暗く示され、第２の光線フットプリントＦｔ２により部分的に覆われるカメラピクセ
ルｉは多少暗く示され、完全に第２の光線フットプリントＦｔ２内にあるカメラピクセル
ｉは暗くされずに示される。技術的に周知のように、第２の光線フットプリントＦｔ２に
少なくとも部分的に覆われる各カメラピクセルｉは受けた光の量にに比例する光強度値を
記録する。この光強度値はその個別的なカメラピクセルｉの光輸送係数として割り当てる
ことができる。あるいは、各カメラピクセルｉの光輸送係数は個々のカメラピクセルｉに
より記録された光強度値に比例するようにすることもできる。しかし、ｊ番目のプロジェ
クタピクセルからの投射ビームが直接当たらないカメラピクセルｉは光強度値がゼロ（ま
たはゼロに近く、または所定の閾値光強度値未満）になるはずで、これらに対応する光輸
送係数も同様に光強度値がゼロ（またはゼロに近く）になるはずである。
【０１３２】
図７を参照すると、図６の第２の光線フットプリントＦｔ２に対応するような取り込み
画像ベクトルＲｃｐｔｒ_ｊ［または光輸送行列Ｔのｊ番目の列］が示される。この光輸
送行列Ｔのｊ番目の列は図６のカメラセンサのピクセルアレイ２９において番号の付けら
れたカメラピクセルｉに各々対応する、光輸送係数の番号付けされた垂直シーケンスとし
て図示される。取り込み画像ベクトルＲｃｐｔｒ_ｊの数のシーケンスは図６に示される
カメラセンサのピクセルアレイにおける個々のカメラピクセルｉの水平に番号付けされた
シーケンスに追従することが好ましい。図示されるように、取り込み画像化ベクトル内で
第２の光線フットプリントＦｔ２により覆われたカメラピクセルｉに対応する要素のみ光
輸送係数として非ゼロ値、すなわち「ＮＺ」を有する。他のセンサピクセルはすべて光輸
送係数として「ＺＥＲＯ」値を有する。「ＮＺ」は任意の非ゼロ光輸送値を表し、この値
は対応するカメラピクセルｉが受けた光強度の量に関連することが理解されよう。第２の
光線フットプリントＦｔ２はカメラセンサのピクセルアレイ２９の数行にまたがっている
ので、各行は取り込み画像ベクトルＲｃｐｔｒ_ｊに順に記載されており、ゼロ値光輸送
係数の数個の長いシーケンスが３，４個の非ゼロ、ＮＺ値光輸送変数の間に散在する。
【０１３３】
光輸送行列Ｔを決定する本新規方法に戻ると、まずプロジェクタピクセルｊの個別の光
輸送係数は光輸送行列Ｔのｊ列にマップすることが特記される。プロジェクタピクセル間
の最小限の重なりを仮定すると、撮像された実デジタルプロジェクタのピクセルアレイ２
７内のプロジェクタピクセルの第１組Ｓ１は光輸送行列Ｔの対応する列の組（プロジェク
タピクセル毎に１つ）にマップすることになる。
【０１３４】
【数２】
0005338217.tif 000003
さらにプロジェクタピクセルの第１組Ｓ１は目標のプロジェクタピクセルｊ、すなわち
テストされる目標のプロジェクタピクセル、を含むと仮定される。
【０１３５】
実デジタルカメラ２５により取り込まれたプロジェクタピクセルの第１組を同時に活性
化することにより作成される投影画像の第１実画像をＲｃｐｔｒ_Ｓ１とする。
次にプロジェクタピクセルの第１組Ｓ１とはテストされるプロジェクタピクセルｊのみ
共有するプロジェクタピクセルの第２組、
【０１３６】
【数３】
0005338217.tif 000004
を考える。実デジタルカメラ２５により取り込まれたプロジェクタピクセルの第２組を
同時に活性化することにより作成される投影画像の第２実画像をＲｃｐｔｒ_Ｓ２とする
。光輸送行列Ｔのｊ番目の列の（テストされる目標のプロジェクタピクセルに対応する、
すなわちｊに対応する）光輸送係数は、取り込まれた第１実画像Ｒｃｐｔｒ_Ｓ１および
第２実画像Ｒｃｐｔｒ_Ｓ２より、これらが共有する唯一の光線フットプリント（すなわ
ち図３、図５、または図６の第１の光線フットプリントＦｔ１または第２の光線フットプ
リントＦｔ２に類似）を特定することにより直接得られる。この共通光線フットプリント
は第１組Ｓ１および第２組Ｓ２が共有する唯一の点灯されたプロジェクタピクセルｊであ
る、目標のプロジェクタピクセルｊから放射された光線に対応することになる。
【０１３７】
従って次のステップは取り込まれた第１実画像Ｒｃｐｔｒ_Ｓ１および第２実画像Ｒｃ
ｐｔｒ_Ｓ２が共有する１つの光線フットプリントをどのように特定するかを判定するこ
とである。この共通の光線のフットプリントを特定するには取り込まれた第１実画像Ｒｃ
ｐｔｒ_Ｓ１および第２実画像Ｒｃｐｔｒ_Ｓ２の双方をピクセル毎に比較して、比較した
２つのピクセルの暗い方を特定する方法がある。例えば第１実画像Ｒｃｐｔｒ_Ｓ１にお
いて、個々の光線フットプリント内の、各々プロジェクタピクセルの第１組Ｓ１の同時点
灯に対応する、センサピクセルのみが非ゼロ（ＮＺ）の光強度値を有し、取り込まれた第
１実画像Ｒｃｐｔｒ_Ｓ１内の他のすべてのピクセルはゼロ値を有する、すなわち比較的
暗くなる。同様に第２実画像Ｒｃｐｔｒ_Ｓ２において、光線フットプリント内の、同時
点灯されたプロジェクタピクセルの第２組Ｓ２に対応するセンサピクセルのみが非ゼロ（
ＮＺ）の光強度値を有し、他のすべてのピクセルはゼロ値（または暗い）を有する（すな
わち所定の閾値未満）。第１組Ｓ１および第２組Ｓ２は目標のプロジェクタピクセルｊの
みを共有しているので、取り込み画像双方の直接比較で第１実画像Ｒｃｐｔｒ_Ｓ１およ
び第２実画像Ｒｃｐｔｒ_Ｓ２双方に共通する唯一の非ゼロ領域（すなわち暗くない領域
）を特定することにより光線フットプリント内でプロジェクタピクセルｊに対応するカメ
ラピクセルが迅速に特定される。言い換えれば、第１実画像Ｒｃｐｔｒ_Ｓ１および第２
実画像Ｒｃｐｔｒ_Ｓ２における点灯領域（すなわち光線フットプリント）の交差点が特
定され、この特定された光線フットプリントはテストされる目標のプロジェクタピクセル
ｊに対応する。
【０１３８】
これを達成する一方法は取り込まれた第１実画像Ｒｃｐｔｒ_Ｓ１および第２実画像Ｒ
ｃｐｔｒ_Ｓ２の双方をピクセル毎に比較し、比較された２つのピクセルの暗い方を留保
することである。このプロセスは、
【０１３９】
【数４】
0005338217.tif 000005
と表すことができ、Ｔｊは光輸送行列Ｔのｊ番目の列で、「ＭＩＮ」は第１実画像Ｒｃ
ｐｔｒ_Ｓ１および第２実画像Ｒｃｐｔｒ_Ｓ２においてより低い値のカメラピクセル（す
なわちより低い取り込み光強度値を有する、より暗いピクセル）が留保され、より高い値
（すなわちより明るい）カメラピクセルは切り捨てられる。このように、留保される唯一
の高光強度値は第１組Ｓ１および第２組Ｓ２双方に共通する光線フットプリントに対応す
る。
【０１４０】
言い換えれば、各個別のプロジェクタピクセルｊの寄与はカメラセンサのピクセルアレ
イ２９のはっきりと区別された部分にマップされるため、カメラピクセルｉ＝１〜ｉ＝（
ｍ×ｎ）までの中に取り込まれた第１実画像Ｒｃｐｔｒ_Ｓ１および第２実画像Ｒｃｐｔ
ｒ_Ｓ２に共通で目標のプロジェクタピクセルｊに対応するカメラピクセルｉの組Ｌがあ
る。
【０１４１】
【数５】
0005338217.tif 000006
【０１４２】
目標のプロジェクタピクセルｊはプロジェクタピクセルの第１組Ｓ１および第２組Ｓ２
の交差点で（すなわちプロジェクタピクセルｊは第１組Ｓ１および第２組Ｓ２双方に共通
する唯一のプロジェクタピクセルである）、
【０１４３】
【数６】
0005338217.tif 000007
となることが再度特記される。従って、目標のプロジェクタピクセルｊに対応しない（
すなわち組Ｌに含まれない、つまり∈Ｌでないピクセル）取り込み画像ピクセル中（第１
実画像Ｒｃｐｔｒ_Ｓ１および第２実画像Ｒｃｐｔｕｒ_Ｓ２双方において）、第１実画像
Ｒｃｐｔｒ_Ｓ１または第２実画像Ｒｃｐｔｒ_Ｓ２のいずれかで比較されたカメラピクセ
ルの少なくとも１つは光を受けていない。光を受けるカメラピクセルは光を受けないカメ
ラピクセルより明るくなるため、演算ＭＩＮ（Ｒｃｐｔｒ_Ｓ１，Ｒｃｐｔｒ_Ｓ２）は組
Ｌに含まれるピクセル［すなわち∈Ｌ］のみ点灯され、これは列Ｔｊ、すなわち光輸送行
列Ｔにおけるｊ番目の列、の良好な概算となる。
【０１４４】
これはプロジェクタのピクセルアレイ２７における隣接プロジェクタピクセルの組が列
および行（または１点のみで交差する、すなわち１つのプロジェクタピクセルｊのみを共
有する、任意のパターンの対）で点灯され、プロジェクタピクセルの点灯された列に対し
取り込み画像の第１集合Ｒｃｐｔｒ_Ｓｙが作られ、プロジェクタピクセルの点灯された
行に対し取り込み画像の第２集合Ｒｃｐｔｒ_Ｓｘが作られた場合、任意の個別のプロジ
ェクタピクセルに対する光輸送係数は双方の集合を比較し点灯された列の取り込み画像が
点灯された行の取り込み画像と交差する領域としての組Ｌを特定することにより得られ、
交差点はプロジェクタピクセルｊを単独に活性化することにより映写される光線に対応す
る。
【０１４５】
このように、光輸送行列Ｔを決定する一方法は点灯されたｑ列のプロジェクタピクセル
のｑ個の取り込み画像に対応する画像Ｒｃｐｔｒ_Ｓｙ_１〜Ｒｃｐｔｒ_Ｓｙ_ｑの第１集
合を集め、点灯されたプロジェクタピクセルの点灯されたｐ行のｐ個の取り込み画像に対
応する画像Ｒｃｐｔｒ_Ｓｘ_１〜Ｒｃｐｔｒ_Ｓｘ_ｐの第２集合を構築することである。
次にプロジェクタのピクセルアレイ２７におけるすべてのプロジェクタピクセルｊ＝１〜
ｊ＝（ｐ×ｑ）に対し、行および列の取り込み画像の対、画像Ｒｃｐｔｒ_Ｓｙ_ａおよび
画像Ｒｃｐｔｒ_Ｓｘ_ｂが存在し、画像Ｒｃｐｔｒ_Ｓｙ_ａおよび画像Ｒｃｐｔｒ_Ｓｘ_
ｂの交差点は目標のプロジェクタピクセルｊの活性化により作成される光線フットプリン
トに対応する。従って、投影画像のセットとして、
【０１４６】
【数７】
0005338217.tif 000008
を構築する必要があり、ここで各画像Ｒｐｒｊｃｔ_Ｓｙ_１〜Ｒｐｒｊｃｔ_Ｓｙ_ｑは
任意の画像Ｒｐｒｊｃｔ_Ｓｘ_１〜Ｒｐｒｊｃｔ_Ｓｘ_ｐと対にされ、画像の各対は１つ
の光線フットプリントのみを共有する。すなわち、
【０１４７】
【数８】
0005338217.tif 000009
となる。上記の式は｛１，…，（ｐ×ｑ）｝におけるすべてのプロジェクタピクセルｊ
について投影画像の対が存在し、各々は異なって構成されたパターンを有し、構成された
パターンの交差点は共通のプロジェクタピクセルｊに対応する１点（すなわちパターンの
区分、または１つの光線フットプリント領域）において交差することを意味すると解釈さ
れる。構成されたパターンのこのような対の基本例として垂直な光の線および水平な光の
線の投影対があげられる。この場合、垂直な光の線の取り込み画像と、水平な光の線の取
り込み画像との交差点はテストされる目標のプロジェクタピクセルｊに対応するすべての
カメラピクセルｉ（すなわちテストされるプロジェクタピクセルｊから放射された光線に
より作成される光線フットプリント内に入るすべてのカメラピクセルｉ）を含む。
【０１４８】
従って光輸送行列Ｔ内の任意の列Ｔｊ［ここでｊ＝１〜（ｐ×ｑ）］は画像Ｒｃｐｔｒ
_Ｓｙ_１〜Ｒｃｐｔｒ_Ｓｙ_ｑおよび画像Ｒｃｐｔｒ_Ｓｘ_１〜Ｒｃｐｔｒ_Ｓｘ_ｐによ
り合成することができる。この特性を満足する方法はピクセル座標を使用することである
。画像Ｒｐｒｊｃｔ_Ｓｘ_ｊはｊに等しいｘ座標を有するピクセルのみオンになる第１投
影画像とし、画像Ｒｐｒｊｃｔ_Ｓｙ_ｋはｋに等しいｙ座標を有するピクセルのみオンに
なる第２投影画像とする。そうするとＭＩＮ（Ｒｐｒｊｃｔ_Ｓｘ_ｊ，Ｒｐｒｊｃｔ_Ｓ
ｙ_ｋ）はプロジェクタピクセル（ｊ，ｋ）がオンにされたことに対応する画像を与える
。このプロセスは図８（ａ）、図８（ｂ）、図９（ａ）、図９（ｂ）、図１０（ａ）、お
よび図１０（ｂ）を参照するとより良く理解できる。
【０１４９】
図８（ａ）において、場面または表示環境は市松格子パターンを有する平たい表面４１
として例示される。市松格子パターンは投影光線の対比を提供することにより単に本説明
を分かり易くするために示され、表示環境は全くパターンがなくても良く、不規則な形状
をしていても良いことが理解されよう。各垂直な光の線および水平な光の線の相対位置は
、これらを作成する時にどのプロジェクタピクセルがオンにされたか分かっているため、
既知のもので、以下により詳細に説明するように、それらの既知の相対移動を用いて実デ
ジタルプロジェクタ２１を較正することができる。
【０１５０】
まず、明るい垂直線、または垂直な光ビーム４７（すなわちプロジェクタピクセルの列
から同時に放射された光線の列）が実デジタルプロジェクタ２１により平たい表面４１に
投影される。この場合、第１の明るい垂直線４７_ｋはプロジェクタのピクセルアレイ２
７内の、ｋに等しいｙ座標を有するすべてのプロジェクタピクセルをオンにすることによ
り生成される。実デジタルカメラ２５が次にこの画像Ｒｃｐｔｒ_Ｓｙ_ｋをプロジェクタ
ピクセルの点灯された列の一例として取り込む。
【０１５１】
図８（ｂ）では図８（ａ）に類似したすべての要素が同様の参照番号を有するが、実デ
ジタルプロジェクタ２１が光線の第２の明るい垂直線４７_ｔを平たい表面４１に投影す
る。この場合、第２の明るい垂直線４７_ｔはｔに等しいｙ座標を有するすべてのプロジ
ェクタピクセルをオンにすることにより生成される。実デジタルカメラ２５が次にこの画
像Ｒｃｐｔｒ_Ｓｙ_ｔを点灯された映写ピクセル列の別例として取り込む。実デジタルプ
ロジェクタ２１はプロジェクタのピクセルアレイ２７のｑ列各々に対し光線の別の明るい
垂直線を投影でき、実デジタルカメラ２５は投影された明るい垂直線各々の別の画像を取
り込めることが理解されよう。
【０１５２】
図９（ａ）に関し、図８（ａ）および図８（ｂ）に類似したすべての要素は同様の参照
番号を有し、上記に説明される。この場合、実デジタルプロジェクタ２１は明るい水平線
、すなわち一行のプロジェクタピクセルから同時に平たい表面４１に放射された水平な光
線からなる光ビーム４９を平たい表面４１に投影することが好ましい。第１の明るい水平
線４９_ｊはｊに等しいｘ座標を有するすべてのプロジェクタピクセルをオンにすること
により生成される。実デジタルカメラ２５は次にこの画像Ｒｃｐｔｒ_Ｓｘ_ｊをプロジェ
クタピクセルの点灯された行の一例として取り込む。
【０１５３】
図９（ｂ）において、実デジタルプロジェクタ２１は光線の第２の明るい水平線４９_
ｒ（同時に点灯された個別の光線からなる）を平たい表面４１に映写する。前と同じよう
に、第２の明るい水平線４９_ｒはｒに等しいｘ座標を有するすべてのプロジェクタピク
セルをオンにすることにより生成され得る。実デジタルカメラ２５は次にこの画像Ｒｃｐ
ｔｒ_Ｓｘ_ｒをプロジェクタピクセルの点灯された行の別例として取り込む。実デジタル
プロジェクタ２１はプロジェクタのピクセルアレイ２７のｐ行各々に対し光線の別の明る
い水平線を投影でき、実デジタルカメラ２５は投影された明るい水平線各々の別の画像を
取り込めることが理解されよう。
【０１５４】
図８（ａ）からの取り込まれた画像Ｒｃｐｔｒ_Ｓｙ_ｋおよび図９（ａ）からの取り込
まれた画像Ｒｃｐｔｒ_Ｓｘ_ｊをピクセル毎に比較し（あるいは各々の明るい垂直線およ
び明るい水平線のみを比較して）、演算ＭＩＮ（Ｒｃｐｔｒ_Ｓｘ_ｊ，Ｒｃｐｔｒ_Ｓｙ_
ｋ）を用いてで比較された２画像のピクセルの内より、暗い方のみを留保し２つの内、明
るい方を切り捨てると、図１０（ａ）に示される画像４３’が生成される。図１０（ａ）
および図１０（ｂ）において図８（ａ）、図８（ｂ）、図９（ａ）、および図９（ｂ）に
類似したすべての要素は同様の参照番号を有しているがアポストロフィが加えられ、上記
に説明される。
【０１５５】
画像Ｒｃｐｔｒ_Ｓｘ_ｊのほとんどは画像Ｒｃｐｔｒ_Ｓｙ_ｋと同じであるため（すな
わち、両者ともほとんど平たい表面４１上の投影光線による単純な市松格子パターンから
なる）、比較された２つのピクセルの内、より暗い方を留保しても結果として得られる画
像の大半は変わらない。つまり、比較された２つのピクセルが比較的同じである場合、い
ずれのピクセルを他方の代わりに選んでも結果として得られる画像４３’はあまり影響さ
れない。しかし、取り込まれた画像Ｒｃｐｔｒ_Ｓｙ_ｋの第１の明るい垂直線４７_ｋを
取り込まれた画像Ｒｃｐｔｒ_Ｓｘ_ｊの第１の明るい水平線４９_ｊ上にない対応ピクセ
ルと比較した場合、２つの画像ピクセルのより暗い方を留保することは画像Ｒｃｐｔｒ_
Ｓｙ_ｋからの明るい垂直線のピクセルを切り捨て、画像Ｒｃｐｔｒ_Ｓｘ_ｊからの、プ
ロジェクタピクセルではなく周辺光で照明されたそのままのピクセルを留保することにな
る。
【０１５６】
従って、明るい垂直線は生成された画像４３’から取り除かれる。同様に画像Ｒｃｐｔ
ｒ_Ｓｘ_ｊの第１の明るい水平線４９_ｊ上のピクセルを画像Ｒｃｐｔｒ_Ｓｙ_ｋの第１
の明るい垂直線４７_ｋ上にない対応ピクセルと比較した場合、２つの画像ピクセルのよ
り暗い方を留保することは画像Ｒｃｐｔｒ_Ｓｘ_ｊからの明るい水平線上のピクセルを切
り捨て、画像Ｒｃｐｔｒ_Ｓｙ_ｋからの、プロジェクタピクセルではなく周辺光で照明さ
れたそのままのピクセルを留保することになる。これにより第１の明るい水平線４９_ｊ
も生成された画像４３’から取り除かれる。しかし、第１の明るい垂直線４７_ｋが第１
の明るい水平線４９_ｊと交差する領域内では、比較される画像ピクセルは双方とも光線
による影響を示す明るく点灯されたピクセルである。この交差点領域内のこれら２つの画
像ピクセルを比較すると、２つの明るいビームのピクセルのいずれかが画像４１’用に選
択されることになる。その結果、画像４１’はプロジェクタのピクセルアレイ２７の座標
（ｊ，ｋ）から放射される投影光線に対応する、明るく点灯した領域５３を示す。このよ
うに、座標（ｊ，ｋ）を有するプロジェクタピクセルに対する光輸送係数は（ｊ，ｋ）に
おけるプロジェクタピクセルから個別的に投射される光線の画像を物理的に取り込む必要
なくして、生成された領域５３から抽出することができる。
【０１５７】
図１０（ｂ）に第２の例が示され、図８（ｂ）および図９（ｂ）に対応する実取り込み
画像（これは上述の指名方法に従い各々実取り込まれた画像Ｒｃｐｔｒ_Ｓｙ_ｔおよび画
像Ｒｃｐｔｒ_Ｓｘ_ｒに対応する）の組み合わせがプロジェクタのピクセルアレイ２７の
座標（ｒ，ｔ）から放射された投影光線に対応する第２の明るく点灯した領域５５をもた
らす。
【０１５８】
同様のプロセスに従い、各プロジェクタピクセルｊを１つずつ個別的にオンにし投影す
ることなく、プロジェクタのピクセルアレイ２７におけるすべてのプロジェクタピクセル
の光輸送係数を特定することができる。仮定的かつ単独的に活性化されたプロジェクタピ
クセルを生成してプロジェクタピクセルの光輸送係数を得るこの方法は実デジタルプロジ
ェクタ２１のプロジェクタのピクセルアレイ２７におけるプロジェクタピクセルの各行お
よび列に対する（ｐ＋ｑ）個の取り込み画像しかせいぜい必要としない。さらに、一旦、
すべてのピクセル映写位置が特定されると、（ｐ＋ｑ）個の取り込み画像は廃棄すること
ができ、保存する必要があるのはインデクスおよび対応フットプリント情報のみである。
【０１５９】
この方法の例が図１１に示され、プロジェクタのピクセルアレイ２７（網目パターンと
して図示）の部分図がカメラセンサのピクセルアレイ２９（同様に網目パターンとして図
示）と比較される。本例において実デジタルカメラ２５のピクセル密度（すなわち解像度
）が実デジタルプロジェクタ２１の解像度より高いことが好ましく、従って単一のプロジ
ェクタピクセルｊから放射された光ビームは数個のカメラピクセルｉにかかる光線フット
プリント（Ｆ１などの）を作り出す可能性があることをよりよく示すために図解上、部分
的なカメラセンサのピクセルアレイ２９を図示する網目パターンはプロジェクタのピクセ
ルアレイ２７をあらわす網目パターンより濃くなっている。
【０１６０】
図１１の本例において、実デジタルプロジェクタのピクセルアレイ２７のインデクスは
円１，２，３，…，（ｑ＋１），…，（２ｑ＋１），…等々が個々のプロジェクタピクセ
ルｊを表す部分アレイで表される。同様にカメラセンサのピクセルアレイ２９は個々に活
性化されたプロジェクタピクセルｊに対応するフットプリント情報を表した円形の光線フ
ットプリントＦ１，Ｆ２，Ｆ３，…，Ｆ（ｑ＋１），…等々の対応部分アレイが重ねられ
て示される（光散乱は無視すると仮定して）。このように、光線フットプリントＦ１，Ｆ
２，Ｆ３，…，Ｆ（ｑ＋１），…等々は各々プロジェクタピクセル１，２，３，…，（ｑ
＋１）等々に対応する。
【０１６１】
この方法に従うと、２組の情報しか格納する必要がない。第１組の情報はプロジェクタ
ピクセルｊのインデクスに対応し、第２組はカメラピクセルｉのグループを各プロジェク
タピクセルｊに結び付けたフットプリント情報に対応する。言い換えれば、ゼロ値の係数
は格納する必要がなく、メモリ要件がかなり削減される。
【０１６２】
この情報を体系付ける第２の例が図１２に示され、プロジェクタピクセルｊのインデク
ス６１はグレースケール（すなわち非ゼロ値、または「ＮＺグレースケール」）のカメラ
ピクセルｉの情報のグループとしてのフットプリント情報６３（すなわちもたらされた光
ビームのフットプリントに対応する）を指す、またはそれに対応するように図示される。
【０１６３】
デュアル・フォトグラフィに向けて必要な光輸送係数を生成するために格納する必要の
ある画像数をどのように削減するか、および格納し操作する必要のあるデータの量をどの
ように削減するかを示した上、以下次の部分ではデュアル・フォトグラフィを実施する際
の実際的な問題のいくつかを扱う。上記で説明したとおり、光輸送行列Ｔは非常に大きい
可能性があり、その使用（またはその数学的転置のデュアル光輸送行列ＴTの使用）には
大量のアクティブ・メモリ（例えばＤＲＡＭ）および法外な演算処理能力／時間を必要と
する。従ってデュアル画像の一般的な使用は今まで実用的でなかった。
【０１６４】
効率的にデュアル画像を構築するにはまず、
【０１６５】
【数９】
0005338217.tif 000010
であることが特記される。仮想カメラ２１”における仮想カメラセンサのピクセルアレ
イ２７”は実際には実デジタルプロジェクタ２１における実デジタルプロジェクタのピク
セルアレイ２７に対応するため、仮想カメラ２１”で得た仮想取り込みベクトルＶｃｐｔ
ｒ”内の任意の仮想カメラピクセルに対し同じインデクスとしてプロジェクタピクセルｊ
を用いることが便利である。従って、仮想取り込み画像における各仮想カメラピクセルｊ
”：デュアル光輸送行列ＴTにおいて対応する要素の行の関係は、
【０１６６】
【数１０】
0005338217.tif 000011
と示すことができ、行ＴTjはデュアル光輸送行列ＴTにおけるｊ番目の行を指す。
【０１６７】
上述のように、デュアル光輸送行列ＴTは光輸送行列Ｔの数学的転置（すなわち光輸送
行列Ｔを対角線で回転させる）で、行ＴTjの値（ここでｊは１〜（ｐ×ｑ）の任意の値）
は従って光輸送行列Ｔのｊ番目の列に対応する（すなわちＴCOL_ｊ）。光輸送行列Ｔの各
列は（ｍ×ｎ）個の要素を有するので（すなわち実デジタルカメラ２５のピクセル解像度
に等しい）、これは大量の要素のようにみえる。しかし、本実施において光輸送行列Ｔの
各列において限定数の要素しか非ゼロでない（すなわち垂直および水平光ビームの交差点
が当たったカメラピクセルｉ、すなわち光のフットプリント、に対応するもの）ことを鑑
みると、光輸送行列Ｔの各列（ｊ）内（さらには各行ＴTj内）における（ｍ×ｎ）個の要
素の内、数個のみ非ゼロであることは自明である。従ってＶｃｐｔｒ”（ｊ）を演算する
際にＴCOL_ｊのすべての要素を調べる必要はない。実際、図１１および図１２に関連して
上述のように、すべての個別に活性化されるプロジェクタピクセルｊおよびそれらに対応
する光ビームのフットプリント情報６３を示す単一のインデクス６１が格納されることが
好ましい。
【０１６８】
図１２に示すように、インデクス６１は投影された各光線（実デジタルプロジェクタ２
１の個別のプロジェクタピクセルｊからの）についてグレースケール入力をするためのフ
ットプリント情報６３のリストを結び付ける。グレースケール入力をするためのフットプ
リント情報６３の各グループは光輸送行列Ｔの各列内の非ゼロ入力に対応しており、光輸
送行列Ｔのある列の各行列演算の際にはこれら非ゼロのグレースケール値のみ調べる必要
があることが理解されよう。このように、Ｖｃｐｔｒ”（ｊ）＝ＴTj＊Ｖｐｒｊｃｔ”の
各値を決定するのに必要な計算の数はかなり削減される。
【０１６９】
言い換えれば、処理する必要のある光輸送行列Ｔの各列Ｇ内における要素のこのサブセ
ットＳＶｃｐｔｒ”（Ｇ）はＴCOL_Ｇ（ａ）と定義することができ、ここでａはサブセッ
トＶｃｐｔｒ”（Ｇ）における任意の仮想取り込みピクセルである［すなわちａ∈｛１，
…，（ｐ×ｑ）｝］。
従って、各サブセットＳＶｃｐｔｒ”（Ｇ）に対し調べるべき要素のセットは、
【０１７０】
【数１１】
0005338217.tif 000012
と定義することができる。一般的に‖ＳＶｃｐｔｒ”（Ｇ）‖≪（ｐ×ｑ）であるので
、
【０１７１】
【数１２】
0005338217.tif 000013
を演算する方が、
【０１７２】
【数１３】
0005338217.tif 000014
を演算するよりはるかに時間がかからない。
【０１７３】
この方法を用いて生成されたデュアル画像の例を図１３（ａ）および図１３（ｂ）に示
す。図１３（ａ）は実デジタルプロジェクタにより投影された根本画像を示す。図１３（
ｂ）は本方法の実施による演算の結果もたらされるデュアル画像を示す。図１３（ｂ）の
デュアル画像は実デジタルプロジェクタ２１（すなわち仮想カメラ２１”）により仮想的
に取り込まれた画像を表しており、または言葉を変えると実デジタルプロジェクタ２１が
「見た」画像である。
【０１７４】
上記の考察はより少ない画像の組から効率的にデュアル画像を演算する方法を示し、こ
れは演算時間と併せて画像取り込み時間も節約する。上述のように、実取り込み画像およ
びデュアル取り込み画像は各々実デジタルカメラ２５および実デジタルプロジェクタ２１
双方を較正するのに用いることができる。
【０１７５】
つまり、プロジェクタ視点からの画像を直接取り込むことはできないため、簡単な解決
はデュアル・フォトグラフィ手法を用いて対応カメラ画像からプロジェクタ視点画像（す
なわちデュアル画像）を構成し、次に構成された画像を用いてプロジェクタを較正するこ
とである。例えば、入念に測定した特徴を有する既知の被写体の実画像をさまざまな角度
からいくつか撮った後、被写体の既知の寸法を用いて異なった角度の視点により生じた歪
みを補正することにより実デジタルカメラを較正することができる。同じ取り込み画像か
らデュアル・フォトグラフィを用いて実デジタルプロジェクタが見た仮想画像を次に上述
のように生成し、実デジタルカメラに類似した方法で実デジタルプロジェクタを較正する
ことができる。
【０１７６】
しかしこの簡単な方法と結び付いた一つの問題は光輸送行列Ｔを生成し操作し、大量の
カメラおよびプロジェクタ画像ピクセルによりもたらされる大きな画像ベクトルを演算す
る難しさである。この労働集約的で高価なプロセスは上述のデュアル・フォトグラフィ方
法を用いることにより相当緩和されるものの、図２（ａ）に示すようなプロジェクタ−カ
メラシステムにおける実デジタルプロジェクタ２１を較正する目的から出願者は完全な光
輸送行列Ｔを生成し完全なデュアル画像を作成する必要を避けながらもデュアル画像（す
なわち実デジタルプロジェクタ２１が「見た」画像）を用いる利点のいくつかを利用して
実デジタルプロジェクタ２１の較正を簡単にする新規な方法を開発した。
【０１７７】
映写場面が比較的平たいと仮定すると、光輸送係数を判定しなければならない光フット
プリントの数を大幅に減らすことができる。言い換えれば、プロジェクタを較正するため
に完全なデュアル画像を構築することなく、特に映写表面にあまり凹凸がない場合戦略的
な点の組の位置を判定するだけで良いことに注目することにより完全な光輸送行列Ｔの生
成を全く避けることができる。例えば、戦略的な点の組は図８（ａ）におけるプロジェク
タから見た平たい表面４１の市松格子パターン内における正方形の角であることができる
。映写場面の表面凹凸が大きいほど、戦略的に選ばれた点の組における点の数が多くなる
。逆に映写場面が平たいほど、戦略的な点の組における点の数が少なくなる。
【０１７８】
この戦略的な組における点の数を減らすという目標を達成し、それにより完全な光輸送
行列Ｔを生成し操作することを避け、さらにデュアル画像生成プロセスのいくつかの特徴
を較正プロセスそのものに組み入れるために出願者はホモグラフィに基づく方法を適合さ
せた。本発明のこの別の実施形態はプロジェクタ視点画像にわたり市松の角の特徴（また
は他の既知の特徴）の座標を、デュアル画像の構築および構築されたデュアル画像からの
角の検出を必要とすることなく、直接的に演算する。
【０１７９】
この新規な方法において、実デジタルカメラを用いて平面状の市松格子の画像を取り込
み、取り込み画像にわたり市松ブロックの角を検出することができる。市松模様は全く例
示的な目的で用いられ、どのような場面を取り込むこともできることが理解されよう。本
件の場合、投影された垂直および水平線の配向は知られているので、場面にかかわらず投
影線の変動を特定し補正することができる。このように、プロジェクタ−カメラシステム
の構成要素はすべて同時に較正される。
【０１８０】
次に、プロジェクタ画像は２つ（またはそれ以上）の別個の視点から見た単一場面の２
つ（またはそれ以上）の眺めを関連付ける、いわゆる透視映写モデルに追随していること
が観察される。つまり、異なった眺めは場面に対し異なった角度に位置しているので、同
じ場面の異なった眺め（または画像）を「見る」ことになる。しかし、実場面は１つしか
ないので（場面の眺めの数に関係なく）、異なった眺め間の数学的関係を実現し、任意の
視点における任意の点を実場面において対応する点に結び付ける（かつ他の視点各々にお
いて対応する点に結び付ける）ことができる。
【０１８１】
これら別個の眺めの１つが実デジタルプロジェクタの「見た」仮想画像であると仮定し
、第２の別個の眺めが実デジタルカメラにより取り込まれた実画像であるとみなすと、完
全なデュアル画像を生成することなく透視映写モデル（２つの眺めを共通の実場面に関連
付ける）により取り込み実画像から仮想画像に関係する何らかの情報を抽出できることに
なる。
【０１８２】
この方法を用い、出願者は完全なデュアル画像を必要とせずに実デジタルプロジェクタ
を較正するために充分な情報を抽出する方法を考案した。従って、デュアル画像が完全に
作成されなくても、迂回的な方法ではあるがプロジェクタにカメラ較正手法を適用するこ
とができる。
【０１８３】
透視映写モデルの下で、平たい被写体を異なった眺めから映写した２つの画像間の関係
は単純な線形投影変換またはホモグラフィである。この変換は平たい被写体上の任意点の
座標（すなわち同次座標）をその平たい被写体の具体的な眺め上で対応する点の座標に関
連付ける。本実施形態で、平たい市松格子のプロジェクタ視点画像は対応するカメラ画像
のホモグラフィである。具体的には、実場面（すなわち市松格子）の任意点（Ｐ）につい
て、そのプロジェクタ視点画像Ｕｐ＝（ｕｐ，ｖｐ，１）における同次座標およびカメラ
画像Ｕｃ＝（ｕｃ，ｖｃ，１）における座標は次の方程式を満足する。
【０１８４】
【数１４】
0005338217.tif 000015
ここでλはスカラーで、Ｈは３×３ホモグラフィ変換行列（技術的に知られているよう
に）で、右下の入力は１に設定される。対応座標対は３つの線形方程式を提供し、方程式
の内、１つがスカラーを決定し、他の２つはホモグラフィ変換行列Ｈを決定するために用
いられる。３×３のホモグラフィ変換行列Ｈには８つの未知の入力があるので、市松模様
上のＮの座標点（ここでＮ≧４）の対応が与えられると、プロジェクタ視点画像およびカ
メラ画像間のホモグラフィは２Ｎの線形方程式を解くことにより再生することができる。
Ｎの数が大きければ大きいほど、プロジェクタ視点およびカメラ画像間の座標点を関連付
けるエラーが低くなる。
【０１８５】
対応する座標を得るために、１０個の白点が市松格子パターンなどの場面上に投影され
ることが好ましい。投影された白点を有する市松格子パターンの画像が実デジタルカメラ
２５などの実デジタルカメラを用いて取り込まれ、カメラ画像における１０個の点の座標
が演算される。本プロセスで、１０個の点は取り込み画像において対応する座標の演算中
区別されていることのみが必要である。これは１０個の点を順に投影し、対応する座標を
順に判定することによって達成できる。あるいは、異なった色の点を同時に投影して、異
なった点を色で識別することができる。
【０１８６】
プロジェクタは好ましくは既知の相互関係において点を投影したので、投影画像におけ
る点の座標は分かっている。これは１０対の対応座標をもたらし、１組は実デジタルカメ
ラで取り込まれたもの、第２組は実デジタルプロジェクタで投影されたものである。一旦
、ホモグラフィが再生されると、カメラ画像において検出された市松格子の角の座標を直
接変換してプロジェクタ視点画像において対応する角座標を演算することができる。次に
前述のようなカメラ較正方法を用いてプロジェクタパラメータを較正することができる。
【０１８７】
この方法の例を図１４に示す。図１４において、特徴取り込み結果は次のとおりである
。輪郭で示されない円、または点（例えば点８１）はホモグラフィを推定するために用い
られ、輪郭を描かれた円、または点（例えば点８３）は角の点特徴である。見られるよう
に、輪郭を描かれた点８３は実際の角上にあり、検出された各角のプロジェクタ座標が正
しく取り込まれたことを示している。
【０１８８】
しかし点を投影する代わりに、１点で交差する複数対の線（すなわち上述の水平および
垂直線）を投影する上述の方法を使用し、線の各対の１交差点から点情報を抽出すること
ができることが理解されよう。さらに、投影された線の対の空間関係は既に分かっている
ので、線を上述の市松格子パターンのような既知のパターン上に投影する必要はない。つ
まり、プロジェクタのピクセルアレイのどの列と行が同時に点灯されたか分かっているの
で、その空間関係も分かっている。さらに、カメラはその特定の場面に対し予め較正され
ている必要はないことが特記される。逆にプロジェクタとカメラは同時に較正されること
ができる。
【０１８９】
前記に説明したとおり、点情報を抽出するためにパターンを使用するこの方法は一連の
パターン投影および画像取り込み工程を含む。従って、較正されていないカメラが各投影
パターン（すなわち垂直または水平線）を取り込む際、映写表面の凹凸による投影パター
ンの歪みをその時点では無視することができる。すべてのパターンが取り込まれると、垂
直および水平線間の空間関係が分かっているのでプロジェクタとカメラとの間の空間関係
（または変換）を設定することができる。つまり、投影された垂直および水平線間の空間
関係は、それらを生成する際どのプロジェクタピクセルが点灯されたか分かっているので
、分かる。さらに、垂直および水平線の真の配向が分かっているので、映写場面上の凹凸
および眺めの角度を補正することができる。
【０１９０】
垂直線の取り込み画像を水平線の取り込み画像と組み合わせて点情報を抽出する際、ど
のプロジェクタピクセルが抽出された点に関連しているかが分かっており、さらにカメラ
ピクセルのどのグループが抽出された点（垂直および水平線の交差点で判定される）に対
応するかを判定することができる。このようにプロジェクタとカメラとの間のホモグラフ
ィ関係（すなわち一方の眺めを他方のに変換）はいずれかの装置を個別に特定の映写場面
（または映写表面）に対し較正する必要なく達成することができる。
【０１９１】
この方法は上述の光輸送行列Ｔを生成する簡略化された方法を取り入れているが、必要
な画像投影取り込み工程の数を（ｐ＋ｑ）から、望ましい点の数で決定される、（ｐ＋ｑ
）のほんの一部にまで削減する。場面環境が平たい映写表面であるプロジェクタ−カメラ
システムを較正するのに最小限４個の点が用いられるが、映写表面の凹凸、画像取り込み
工程におけるエラーの可能性、および投影された光の線またはパターンの周辺光ノイズの
存在による識別エラーを考慮に入れるため、７つの水平線および７つの垂直線を投影して
多ければ１４〜４９個の点を生成すればほとんどのエラーを克服するのに十分であること
が見出されている。映写場面の表面凹凸が多いほど、交差する線の対の必要数が多いこと
が理解されるであろうが、この７つの垂直線と７つの水平線という数は多くの実在する状
況に十分であることが見出されている。
【０１９２】
（ｐ＋ｑ）個よりはるかに少ない点の数しか必要でない１つの理由は、デュアル・フォ
トグラフィで使用するために完全な輸送行列を生成しようとしているのではなく、むしろ
２つの視点、すなわち実デジタルカメラの実視点と実デジタルプロジェクタからの仮想視
点、の間のホモグラフィ関係を見出すために既知の関係の点を数個特定することに関心が
あるからである。しかし、完全な光輸送行列Ｔの推定は点の間に円滑な遷移を仮定すれば
数個の関係する点から生成できることが強調される。つまり、一旦、ホモグラフィ関係が
得られると、Ｕｐ＝λ＊Ｈ＊Ｕｃの同じ関係を用いて推定する光輸送行列Ｔを構築する際
に隙間を埋めることができる。
【０１９３】
上述の光輸送行列Ｔを生成する方法のさらに別の用途は以下の問題、つまりプロジェク
タとカメラの対があるとして、カメラが特定場面（すなわち投影環境）上で望ましい眺め
を「見る」ようにしたい場合、望ましい眺めを実現するためにプロジェクタは何を場面に
照らすべきか、を解決するために適用することができる。この課題は以下「ビュー投影」
と呼ぶ。
【０１９４】
投影に必要な画像を見つけることは明らかに場面の幾何学的形状およびプロジェクタ装
置の投影特性とともに、プロジェクタからの光の反射が正確な望ましい眺めを実現するよ
う場面の測光特性の詳細かつ正確な知識を必要とする。均一なアルベド、すなわち反射性
、およびパラメトリック形状を有する表示表面の場合、これら必要な測定は明示的になす
ことができる。
【０１９５】
しかし恣意的に複雑で、不均一な表面反射率特性を有するノンパラメトリック形状上で
高画質の画像を実現するのはまだ困難な課題で、幅広い種類のツールに精通していること
と人間による相当な介入を必要とする本発明の一目的は完全に自動的で、平常通りのハー
ドウェア設定以上のユーザ介入またはパラメータの微調整を必要としない測定を考案する
ことである。言い換えれば、「ビュー投影」能力を達成したプロジェクタ−カメラシステ
ムはボタンを押すだけで完全に自ら較正すべきである。
【０１９６】
困難な周囲環境の下で複雑な表面に正しく表示できる映写システムは多くの実社会の用
途を有する。これを完全に自動化すると、専門的な表示設定が必ずしもないような周囲環
境において使用することができる。本発明の別の目的は非標準的な機器の必要性を減らし
、普通の消費者が入手できるような市販部品で良質な較正を達成することである。この目
標はこれまでの実施形態の特徴および利点を自動化され簡略化されたプロセスに組み合わ
せることにより達成することができる。
【０１９７】
図２（ａ）における、１台の実デジタルプロジェクタ２１および１台の実デジタルカメ
ラ２５からなる画像設定に関連して前記に説明したように、実デジタルプロジェクタ２１
はｐ行×ｑ列のプロジェクタのピクセルアレイ２７を有し、実デジタルカメラはｍ行×ｎ
列のカメラセンサのピクセルアレイ２９を有する。実デジタルプロジェクタ２１から放射
される光線は場面（すなわち映写表面）から反射し、ある部分は最終的にカメラセンサの
ピクセルアレイ２９に到達する。一般的に、各光線は場面において分散、反射、屈折され
、カメラセンサのピクセルアレイ２９のいくつか異なった箇所に当たる。このように、プ
ロジェクタピクセルｊから放射される光線は実デジタルカメラ２５に到達し、カメラセン
サのピクセルアレイ２９全体にわたりｍ×ｎの画像を形成し、各カメラピクセルｉはある
程度の光の量を受ける。投影された画像を（ｐ×ｑ）要素の実画像ベクトルとしての第１
ベクトルＲｐｒｊｃｔと表し、取り込まれた画像を（ｍ×ｎ）要素の取り込み画像として
の第２ベクトルＲｃｐｔｒと表すと、実デジタルプロジェクタ２１およ実デジタルカメラ
２５間の光輸送は以下のように記述することができる。
【０１９８】
【数１５】
0005338217.tif 000016
ここでＴは光輸送行列である。図２（ｂ）に図示されるように、ヘルムホルツの相反定
理によると、方程式
【０１９９】
【数１６】
0005338217.tif 000017
を用い、実デジタルプロジェクタ２１はｐ行×ｑ列の仮想カメラ２１”とみなされ、実
デジタルカメラ２５はｍ行×ｎ列の仮想プロジェクタ２５”とみなされる「デュアル」な
設定をモデル化できることが示されている。これにより「デュアル・フォトグラフィ」が
可能になり、実デジタルプロジェクタ２１により取り込まれたように見える画像を合成す
ることができ、場面は実デジタルカメラ２５から発せられた光で照らされるように見える
。
【０２００】
本実施形態の目的である「ビュー投影」は別の問題に取り組んでいる。「ビュー投影」
における関心は場面を照らすために用いた場合、カメラが所定の望ましい画像を取り込め
るようなプロジェクタ画像を見出すことである。光輸送の見地からすると、光輸送行列Ｔ
および望ましい第２ベクトルＲｃｐｔｒが与えられ、第１ベクトルＲｐｒｊｃｔを再生、
すなわち生成、したいわけである。光輸送行列Ｔの逆、逆光輸送行列Ｔ-1を判定できれば
第１ベクトルＲｐｒｊｃｔは明らかに次の方程式で見出すことができる。
【０２０１】
【数１７】
0005338217.tif 000018
【０２０２】
光輸送行列Ｔの逆は過去において他の目的に用いられている。例えば、Seitz 他による
論文「逆光輸送の理論」（「A Theory of Inverse Light Transport」）、（IEEE Intern
ational Conference on Communications、ICC V05）は引用により全体として本明細書に
組み入れられるが、これにおいて、光輸送行列Ｔの逆を用いて任意の場面における光の跳
ね方を分析している。この方法において、場面はη個の跳ね画像の総計に分解され、各画
像はカメラに到達する前にη回跳ねる光の寄与を記録する。「インパルス画像」の行列を
用い、各η個の跳ね画像を演算して光がどのように場面を通して伝播するかを推測する。
【０２０３】
Seitz 他が取り組んでいる問題はもちろん「ビュー投影」が課すものとは異なり、後者
の場合は望ましい画像（例えば第２ベクトルＲｃｐｔｒ）が提供または想定され、望まし
い画像を実現できる未知の投影源を推測しようとする。この場合はＲｐｒｊｃｔ＝Ｔ-1＊
Ｒｃｐｔｒを演算することが有益である。デュアル・フォトグラフィのＴT＊Ｒｐｒｊｃ
ｔ”は仮想取り込みベクトルＶｃｐｔｒ”を具現し、これは第２ベクトルＲｃｐｔｒの異
なったビューであるが、投影画像としての第１ベクトルＲｐｒｊｃｔの実際の源は示され
ないことが特記される。
【０２０４】
しかし光輸送行列Ｔの逆、逆光輸送行列Ｔ-1は転置より演算が難しく、演算リソースを
はるかに多く必要とする。事実、光輸送行列Ｔの全体の大きさが故に逆光輸送行列Ｔ-1の
演算は甚大な演算リソースを必要とする極めて困難なタスクである。尚悪いことには、任
意の行列の逆を見出すことは常に可能ではない。つまり、行列によっては逆がないことも
ある。
【０２０５】
技術的に周知のように、恒等行列、または単位行列はＩで示され、所定の行列Ａに対し
次の関係が適用できる。
【０２０６】
【数１８】
0005338217.tif 000019
行列Ａが配列ｍ×ｎの行列である場合、乗法前の恒等行列Ｉは配列ｍ×ｍとなり、一方
乗法後の恒等行列Ｉは配列ｎ×ｎとなる。
【０２０７】
行列の乗法的な逆は通常、単位行列Ｉの点から定義される。行列Ａの左乗法的な逆はＢ
Ａ＝Ｉとなるような行列Ｂで、行列Ａの右乗法的な逆はＡＣ＝Ｉとなるような行列Ｃであ
る。行列Ａの左および右乗法的な逆が等しい場合、左および右乗法的な逆は単に「乗法的
な逆」、または逆と呼ばれ、Ａ-1で示される。
【０２０８】
幸いに、出願者は多くの表示設定において、光輸送行列Ｔの逆の近似はより簡単に演算
され得、充分かもしれないことを見出した。しかし行列の逆に対する適当な近似を作成す
ることは一般的に光輸送行列Ｔにない特定の基準を満足することが必要となる。従って逆
光輸送行列Ｔ-1の近似を作成する前に、適当に修正された光輸送行列Ｔを作成する必要が
ある。
【０２０９】
一般的にＴ-1≠ＴTである。しかし上記デュアル光輸送行列ＴTの推定を生成するのに用
いられた制約の１つは同様に逆光輸送行列Ｔ-1の構築にも有用である。上述のように、ほ
とんどのプロジェクタ−カメラの表示用途において、プロジェクタから発射された任意の
区別可能な２つの光線（ｊ）（図示せず）および光線（ｋ）（図示せず）は通常カメラセ
ンサの区別可能な部分にあたる、すなわち光線（ｊ）（図示せず）および光線（ｋ）（図
示せず）各々からの光に当たるカメラセンサのピクセルはあまり重複していないという限
定を一般的に用いることができる。この特徴は以下「表示制約」と呼ばれる。
【０２１０】
場面が牛乳の入ったコップからなり、光が牛乳により拡散されかなりの重複をもたらす
上述の例のように、一般的に場面においてかなりの光散乱がある場合「表示制約」に違反
する可能性がある。「表示制約」に違反する場面の例が図１５に示され、ここでは２個の
ワイングラスがプロジェクタと映写場面との間に含まれかなりの光散乱をもたらす。本例
において文字からなる投影画像が場面に投影され、ワイングラスのために多くの光学的歪
みを受けることが示される。以下に「表示制約」が破られた場合にこのような光散乱を補
正する方法が提供されるが、本考察に関しては、「表示制約」が満足され、投影される各
ピクセルが次のものと区別可能であるとまず仮定される。
【０２１１】
さらに前記に説明したとおり、光輸送行列Ｔの各列はプロジェクタからの１ピクセルに
よりもたらされる投影画像である。従って列入力のすべては対応するプロジェクタピクセ
ルから放射される光が当たったカメラピクセルに対応するものを除きゼロ値を有する。
【０２１２】
隣接する光フットプリント（隣接して点灯されたプロジェクタピクセルにより作成）に
重複がない場合、光輸送行列Ｔの列は直交することに出願者たちは気が付いた。実世界の
用途においては、表示制約により、隣接する光フットプリント間の重複は最小限で、これ
は異なったプロジェクタピクセルからの光は主に異なったカメラピクセルに当たることを
意味している。この結果、２列の光輸送行列Ｔが隣り合わせに配置されると、非ゼロ入力
は殆どの場合並ばず、点の積はゼロに近くなる。これは光輸送行列Ｔの列が互いにほぼ直
交していることを意味している。本手法において、これらの最小限に重なりあるピクセル
は光輸送行列Ｔの作成から取り除かれ、その結果定義上直交する近似された光輸送行列Ｔ
がもたらされる。より詳細に後述されるように、この手法により光輸送行列Ｔの作成およ
び操作をさらに簡略化することが可能になる。
【０２１３】
「表示制約」により、異なったプロジェクタピクセルによる光は主に異なったカメラセ
ンサピクセルに当たる、すなわち異なったプロジェクタピクセルに対応するカメラピクセ
ルは互いにあまり重複しない。この例は図１６に示され、ここで第１プロジェクタピクセ
ルからの第１光フットプリントは第２プロジェクタピクセルからの第２光フットプリント
と２つの周辺のカメラピクセル２ｉを共有する。これは光輸送行列Ｔの列が互いの隣に配
置されると、異なった列の間で非ゼロ入力は殆どの場合並ばず（すなわちより暗い非ゼロ
入力がある程度の重複がある）、点の積はゼロに近くなる。
【０２１４】
この例が図１７に示され、ここで列Ｃ１〜Ｃ４の４列の光輸送行列Ｔが互いに隣接して
図示される。列Ｃ１において、円として示された部分的な光フットプリントＰｉｘｅｌ_
１ｃおよび部分的な光フットプリントＰｉｘｅｌ_１ｃは列Ｃ１内に画像として記録され
ている第１ピクセルの光フットプリントの最も明るい部分（すなわち中央部分）を特定す
る。図示されるように、完全な光フットプリントは他のそれほど明るくないピクセルとし
ての部分的な光フットプリントＰｉｘｅｌ_１ｂ、および部分的な光フットプリントＰｉ
ｘｅｌ_１ｅを含む。しかし説明の便宜上、各列Ｃ１〜Ｃ４内の各光フットプリントの最
も明るい部分のみ円で特定され、円は修正（すなわち推定）された光輸送行列Ｔの構築の
際、留保されるピクセル係数入力を特定する。図１６に示されたように、任意の光フット
プリントの最も明るい部分は他のいずれの光フットプリントの最も明るい部分とも重なり
合わない。従って光フットプリントのより暗い、周辺部分（すなわち部分的な光フットプ
リントＰｉｘｅｌ_１ｂおよび部分的な光フットプリントＰｉｘｅｌ_１ｃ）を無視してサ
イズを変更した光フットプリントを形成すると、サイズを変更した光フットプリント間に
は重複が存在しないことが保証される。
【０２１５】
図１７に示すように、隣接する列に沿って円で囲まれたピクセルのグループを比較する
と、隣接する列の円に囲まれたピクセルはいずれも重複しないことが特記される。例えば
、列Ｃ１における部分的な光フットプリントＰｉｘｅｌ_１ｃは列２における部分的な光
フットプリントＰｉｘｅｌ_２ｃとは水平方向にオフセットされ、後者は順に列３の部分
的な光フットプリントＰｉｘｅｌ_３ｃとオフセットされており、同様にこれは列４にお
ける部分的な光フットプリントＰｉｘｅｌ_４ｃとオフセットされており、以下同様であ
る。同様に各列内の他の明るい部分的光フットプリントの円で囲まれた部分（すなわち部
分的な光フットプリントＰｉｘｅｌ_１ｄ、部分的な光フットプリントＰｉｘｅｌ_２ｂ、
部分的な光フットプリントＰｉｘｅｌ_３ｂ、および部分的な光フットプリントＰｉｘｅ
ｌ_４ｂ）のいずれも互いに水平方向に並ばない。
【０２１６】
「表示制約」により異なったプロジェクタピクセルからの光は主に異なってカメラピク
セルに当たるので、対応プロジェクタピクセルから放射された光に当たるカメラピクセル
を定義する光フットプリント以外、列入力の殆どはゼロ値入力である。これは２列の光輸
送行列Ｔが互いに隣接して配置された場合非ゼロの入力は殆どの場合並ばず、点の積はゼ
ロに近くなることを意味する。これは光輸送行列Ｔの列が互いに直交することを意味する
。
【０２１７】
これは光フットプリントの暗い周辺部を無視し、光フットプリントの最も明るい部分か
らなる、サイズを変更した光フットプリントを扱う場合は特に当てはまる。この場合、光
輸送行列Ｔの列は互いに真に直交することになり、特定の列に自己以外の任意の列を掛け
たものの変換はゼロ結果になることを意味する。
【０２１８】
このように、光輸送行列Ｔの直交的性質は改変光輸送行列Ｔ*を生成する上述のプロセ
スにおいて光輸送行列Ｔの構築され方により確保されることができる。上記に説明すると
おり、各列内の非ゼロ値のみを格納することにより光輸送行列Ｔを格納するのに必要なメ
モリの量も同様に削減することができる。改変光輸送行列Ｔ*においてこのプロセスは、
格納される非ゼロ値は光輸送行列Ｔの各行内の最も明るい値のみを格納することにより迅
速に特定でき、これによりサイズを変更した光フットプリントが自動的に作成されるので
簡略化される。例えば図１７において、円で示された部分的な光フットプリントＰｉｘｅ
ｌ_１ｃ〜Ｐｉｘｅｌ_４ｃ、部分的な光フットプリントＰｉｘｅｌ_２ｂ〜Ｐｉｘｅｌ_４
ｂ、および部分的な光フットプリントＰｉｘｅｌ_１ｄで示される、光輸送行列Ｔの行に
沿った（すなわち別個のプロジェクタピクセルに対応し光輸送行列Ｔの隣接する列に配列
される隣接画像情報の中）最も明るいピクセルを特定することができる。各行内の最も明
るい値の入力のみが留保されると、図１８の構造が得られる。特定された明るい部分は次
に改変光輸送行列Ｔ*（以下、光輸送行列Ｔおよび改変光輸送行列Ｔ*は別途記述されない
限り互換的に使用される）のベクトル表示４０に組み合わせることができる。
【０２１９】
図示されるように、ベクトル表示４０は光輸送行列Ｔの各行内の最も明るいピクセル値
のみに自らを限定することにより光輸送行列Ｔの隣接する列の間の重複を取り除き、任意
の場面に対し「表示制約」を有効に課す。従って、光輸送行列Ｔのこの構成は意図的に直
交している。改変光輸送行列Ｔ*を完全に定義するには、どの部分的光フットプリントの
グループがサイズの変更された同じ光フットプリントに属するかを示すインデックス情報
を保持する第２の行列の列、または第２のアレイのみが必要であることが理解されよう。
例えば本例の場合、グループを成している部分的な光フットプリントＰｉｘｅｌ_１ｃと
部分的な光フットプリントＰｉｘｅｌ_１ｄは第１ピクセルに対応する、サイズが変更さ
れた１つの光フットプリントの一部である。同様に部分的な光フットプリントＰｉｘｅｌ
_２ｂと部分的な光フットプリントＰｉｘｅｌ_２ｃは合わせて第２ピクセルに対する第２
のサイズが変更された光フットプリントを形成し、以下同様である。
【０２２０】
光輸送行列Ｔの逆の近似を決定（すなわち逆光輸送行列Ｔ-1を決定）するため、まずＡ
Ａ-1＝Ｉで、恒等行列Ｉは左上の角から（行列位置（１，１）から始まり）右下の角まで
（行列位置（ｒ，ｇ）で終わる）の対角線に沿い「１」の値に設定された入力値を有し、
他の個所はすべて「ゼロ」（すなわち「０」）に設定された入力値を有する行列からなる
ことを特記することが有益である。逆光輸送行列Ｔ-1を演算するために、まず行列Ξを定
義し、行列Ξにおける各列は正規化値で構成され、行列Ξの各列が光輸送行列Ｔ（または
改変光輸送行列Ｔ*）における列に対応する。つまり、
【０２２１】
【数１９】
0005338217.tif 000020
ここでΞｒは行列Ξのｒ番目の列である。演算‖Ｔｒ‖は光輸送行列Ｔの列ｒにおける
全値の平方した合計の平方根を定義しているので、演算‖Ｔｒ‖の平方は単に列ｒにおけ
る全値の平方の合計である。つまり、
【０２２２】
【数２０】
0005338217.tif 000021
列ｒにおける各値の入力を列ｒにおける全値の入力を平方した合計で割ることにより、
演算｛Ｔｒ／（‖Ｔｒ‖）2｝は光輸送行列Ｔの列ｒにおける値の入力を正規化する効果
を有する。ここで列Ξｒの転置を取ると、すなわち第１列が最上行になり、最後列が最下
行になるように横に反転させると、光輸送行列Ｔにおける要素の対応列の正規化値である
要素の行がもたらされる。従って光輸送行列Ｔの各列について次の結果が得られる。
【０２２３】
【数２１】
0005338217.tif 000022
言い換えれば、光輸送行列Ｔのある列をΞｒTの対応行で乗じると常に数字の「１」と
なり、光輸送行列Ｔのすべての列をΞｒTの対応行で乗じると、対角線に沿って数字の「
１」がある行列を実現し、他のすべての個所にゼロを置いて実現された行列を完全に埋め
ることができる。
【０２２４】
従って列が互いに直交する（またはさせられる）光輸送行列Ｔの場合、かつ行列Ξの特
定の構成が与えられる場合、行列Ξの転置は当然、光輸送行列Ｔの逆に等しく（すなわち
ΞT＝Ｔ-1）または少なくとも行列Ξは光輸送行列Ｔの左乗法的な逆であることが示され
ている。従ってＲｐｒｊｃｔ’＝ΞT＊Ｒｃｐｔｒ’となる。
【０２２５】
実際にカメラセンサに当たるプロジェクタピクセルの部分のみ再生できることが特記さ
れる。いずれのカメラピクセルにも当たらないプロジェクタピクセルに対し、光輸送行列
Ｔの対応列はゼロを含み、上記方程式Ξｒ＝Ｔｒ／（‖Ｔｒ‖）2は未定義である。この
ような場合、行列Ξの対応列はゼロ列として設定されることが好ましい。このようにΞT
はプロジェクタおよびカメラの視野で重なる領域を覆う光輸送行列Ｔの部分の逆であり、
Ｒｐｒｊｃｔ’において重なる領域に入るプロジェクタピクセルのみ再生し、他のピクセ
ルは抹消する。
【０２２６】
以下の考察において、ΞTはビュー投影行列と呼ばれ、望ましい眺めｃが与えられた場
合ｐ＝（ΞT＊ｃ）と定義される画像ｐを見出すことができ、画像ｐを投影すると基準カ
メラ位置から見た場合、望ましい眺めｃと同じ外観を有する場面を実現する。ビュー投影
行列ΞTは事実上、逆光輸送行列Ｔ-1の近似であり、本明細書ではそのように用いられる
ので、以下考察の残りの部分で逆光輸送行列Ｔ-1とビュー投影行列ΞTは別途の指示がな
い限り互換的に用いられる。
【０２２７】
真の逆光輸送行列Ｔ-1の近似を演算する効率的な方法が実証されたが、原形において行
列は未だに膨大で、大量の記憶および言うまでもなく行列乗算を行うだけでも相当な演算
能力を必要とする。ここでも、真の逆光輸送行列Ｔ-1は「表示制約」に支配されている。
【０２２８】
従って、デュアル光輸送行列ＴTを縮小するための上記に記述された圧縮手法に類似し
たものを、ビュー投影行列ΞTに適用することが望ましい。このように、ビュー投影行列
ΞTは非ゼロ入力の第１列および対応するインデックス値の第２列からなる表示に縮小す
ることができる。「表示制約」は光輸送行列Ｔの別個の列における非ゼロ入力が同じ行に
並ばないことが要件であることが想起されよう。これは光輸送行列Ｔの各行において非ゼ
ロ入力が１つのみ（または所定の閾値を越えた入力が１つ）存在し、光輸送行列Ｔを表示
するにはその入力とともにその列インデックスのみを格納すれば良い（格納されない光輸
送行列Ｔの入力位置はデフォルトでゼロ値が指定されるという了解のもとで）。従って、
光輸送行列Ｔを格納するために必要な空間は非ゼロの光輸送行列Ｔ入力の１列とインデッ
クス値の第２列に縮小することができる。
【０２２９】
しかし実世界の状況では光輸送行列Ｔの点灯されていない入力の多く（すなわち光フッ
トプリント内にないカメラピクセルｉ）はセンサノイズ（すなわちカメラピクセルが捕ら
えたものの１つの指定された、すなわちオンにされた、プロジェクタピクセルに由来しな
い光）のため厳密にゼロではない。従って各行に複数の非ゼロ値が存在する可能性があり
、単一の非ゼロ値入力は光フットプリントに対応し、残りの非ゼロ入力は光ノイズによる
ものである。この場合、光フットプリントに対応する単一の非ゼロ入力は行内で最高の値
を有する（すなわち最も明るい値を有する）可能性が高い。従って、光ノイズを除去する
ために各行の最高値の入力（すなわち行最高値）を、その行において光フットプリントに
対応する単一の非ゼロ入力として特定し指定することができる。
【０２３０】
これは光ノイズによる低い値の入力を除去する。これらの行最高入力値を特定すること
により、各列の非ゼロ値が得られる。従って各プロジェクタピクセルに対し、対応するカ
メラピクセルの組とともにこれらカメラピクセル間の光強度の分布が特定される。通常の
対応カメラピクセルの組（任意の所定プロジェクタピクセルに結び付いた）はカメラ画像
全体の非常に小さいサブセットである。行列演算の際これらの対応カメラピクセルからの
入力のみを考慮すれば良いので、この疎行列表示を用いてビュー投影画像変換を行うのは
非常に効率的である。
【０２３１】
実際には、「表示制約」を活用してプロセスを速める固定パターン走査手法を用いるこ
とが好ましい。上述のように、プロジェクタピクセルｊからの寄与は光輸送行列Ｔの列（
ｊ）にマップされる。従ってプロジェクタピクセルの組⊂｛１，…．ｐ×ｑ｝は光輸送行
列Ｔにおける対応する列の組にマップされる。このような、Ｓ１∩Ｓ２＝｛ｊ｝であるよ
うな２組のピクセルを考え、２組のピクセルを点灯した時に取り込まれる２つの画像をＣ
S1およびＣS2とする。そうすると、
【０２３２】
【数２２】
0005338217.tif 000023
となることが示され、ここでＴｊは光輸送行列Ｔのｊ番目の列である。取り込まれた画
像ＣS1、取り込まれた画像ＣS2は光輸送行列Ｔにおける各々の列の総計、すなわちＣS＝
Σj∈SＴｊ、である。各個別的なプロジェクタピクセルｊの寄与がカメラセンサの別個の
部分にマップされるとすると、取り込まれた画像ＣS1、取り込まれた画像ＣS2においてプ
ロジェクタピクセルｊに対応するピクセルの共通の組ｌ⊂｛１，…．ｍ×ｎ｝が存在する
。次に、Ｓ１∩Ｓ２＝｛ｊ｝であるので、取り込まれた残りの画像ピクセル（ｌでない画
像ピクセルの組）について、画像の少なくとも１つはプロジェクタピクセルの第１組Ｓ１
または第２組Ｓ２の１つから光を受けなかったことになる。光を受けたピクセルは光を受
けないピクセルより明るくなるので、ＭＩＮ（ＣS1，ＣS2）はピクセル∈ｌのみが点灯さ
れた画像を実現し、これは列Ｔｊの良好な近似である。
【０２３３】
これは、もし、
【０２３４】
【数２３】
0005338217.tif 000024
の組を構築することができ、ここで、
【０２３５】
【数２４】
0005338217.tif 000025
の場合、ｊ＝ＣX1，…，ＣXqおよびｊ＝ＣY1，…，ＣYpからの１，…，ｐ×ｑである列
Ｔｊを合成することができる。
【０２３６】
上述の考察において、投影画像の各対は１つの交差点しか共通していない。この特性を
満足する一構成は次のピクセル座標を指標として用いる。Ｘｊはｘ座標がｊに等しいすべ
てのピクセルがオンにすることにより作成される画像とし、Ｙｋはｋに等しいｙ座標がオ
ンにすることにより作成される画像とする。そうするとＭＩＮ（Ｘｊ，Ｙｋ）は座標（ｊ
，ｋ）がオンである画像を与える。この方法を用い、ｐ＋ｑ個の画像を取り込むことは光
輸送行列Ｔのｐ×ｑ列をすべて合成できることになる。
【０２３７】
光輸送行列Ｔを取り込むためのこの方法が各ピクセルを個別に取り込むより速く、上述
のSen 他、2005年、に関して説明された適合的仕組みより簡単ではあるが、この方法は文
献で既に提案されている他の仕組みに比べまだ遅い可能性があることが特記される。特に
プロジェクタ−カメラのピクセルの対応を確立する１つの方法はＸ座標およびＹ座標を時
間系列的なバイナリコードで投影することで、理論的にはすべての対応がｌｏｇ（Ｎ）時
間で取り込むことができ、ここでＮは最大座標値である。実際には、この方法は特に最小
有効ビットが投影される際にカメラセンサの解像度に厳しい条件を課す。必要な画像数を
減らすために同時に複数の縞を投影することも提案できる。
【０２３８】
しかし、これは画像において取り込まれた各縞を特定する何らかの方法、例えば目印と
なる縞のサブセットを特定すること、または色分けもしくは他の区別できるパターンを活
用すること、が必要である。これらの仕組みは事実取り込みプロセスを速めるかもしれな
いが、さらに複雑さや脆弱性をもたらし、しばしば仕組みが正しく機能するように特徴検
出パラメータを微調整しなくてはならない。本明細書の好ましい実施形態において微調整
するパラメータはなく、ハードウェアの故障がない限り通常一度の取り込みでビュー投影
行列の良好なコピーが得られる。
【０２３９】
上記に説明されたように、ビュー投影行列ΞTは投影光学系、表示表面、およびこれら
の相対位置付けにより導入される幾何学的および測光的歪みを補正することができる。ビ
ュー投影行列ΞTのビュー投影能力の有効性はいくつかの実験を通して試験された。
【０２４０】
ある場面の望ましい外観を制御できることを示すために、印刷されたポスターの外観を
動的に変え得ることが示された。図１９に例を示す。左側のポスター画像は白光の下で示
される。右側のポスター画像はビュー投影照明の下で示される。キューブの面は同じ色に
見えるようにされている。右側のポスター画像の上に１枚の白い紙を置くとこの望ましい
眺めを実現するために用いられた実際の投影画像が明かされる。見る人たちは動画を見た
後すぐポスターの元の外観を忘れることが見出された。紙上で示すのは難しいが、カメラ
で観察されたこの場面は人間の目で観察されたものにかなり近い。ポスターはポスター内
の色をサイクルして色が均一であるがごとく見せるようにして動画化された。測光的補正
がリアルタイムで行われる間ポスターの上に映画も映写して、下のポスター画像の跡をす
べて取り除いた。
【０２４１】
前述のように、現在好まれる光輸送行列Ｔの構成は隣接して点灯されたプロジェクタピ
クセルによりもたらされた隣接する光フットプリント間で最小限の重複を規定する「表示
制約」に依存する。「表示制約」が守られない状況の例が図１５に関し上記で考察され、
ここでは２つのワイングラスがプロジェクタと映写表面、または場面、の間に配置される
。しかしさらに上記に説明されるように、ビュー投影行列ΞTは光輸送行列Ｔの逆の近似
を作成する際、光輸送行列Ｔの各列内の最も明るいピクセルのみを選択することにより任
意の場面に「表示制約」を執行する（すなわち強要する）ことができる。
【０２４２】
本発明のアルゴリズムの有効性を各種条件の下（その有効性と正当化の基となる「表示
制約」の下だけではなく）で試験するために「表示制約」が満足されない場合にどのよう
に挙動するかを判定する実験が行われた。図１５に図示する実験は、１対のワイングラス
がプロジェクタとその表示表面との間に置かれた形で設定された。ガラスにより導入され
た相当量の歪みのため、別個のプロジェクタピクセルによるセンサの光フットプリントに
多くの重複がある。この場面にビュー投影行列ΞTの生成において「表示制約」を執行す
るのと同じ取得方法および同じアルゴリズムを適用した。結果として演算されたビュー投
影行列ΞTは図２０に示すように、望ましくない歪みのほとんどを取り除くことができ、
プロジェクタは指定表示表面に補正された画像を表示できることが見出された。
【０２４３】
別の言葉で述べると、「表示制約」が保証できない場合、投影環境に擬似「表示制約」
を強要する、ビュー投影行列ΞTの生成方法を光輸送行列Ｔの生成に適用することができ
る。具体的に、図１６〜図１８に関し上述された簡略化された光輸送行列Ｔを生成する際
、光フットプリントのコンポーネントを特定するのに各行の最も明るいピクセルを選ぶこ
とができ、それにより光拡散によるエラーおよび光ノイズによるエラーを大幅に削減し、
または取り除くことができる。
【０２４４】
光輸送行列Ｔの逆を近似させる方法を定義した上、次に没入型表示システムにデュアル
・フォトグラフィを用いて新型かつ複雑な設定をどのように達成できるかを説明する。
【０２４５】
図２１について、好ましい実施形態において従来の前面投射型のプロジェクタＰ１（図
２（ａ）の実デジタルプロジェクタ２１に類似）が没入型プロジェクタＰ２と併せて用い
られる。視野（以降、ＦＯＶという）９１で示されるように、好ましい本実施形態では前
面投射型のプロジェクタＰ１のＦＯＶ９１で覆われる表示表面の部分は没入型プロジェク
タＰ２の視野のサブセットであり、ＦＯＶ９３で示される。前面投射型のプロジェクタＰ
１のＦＯＶ９１は没入型プロジェクタＰ２のＦＯＶ９３の範囲内に入るため、没入型プロ
ジェクタＰ２が前面投射型のプロジェクタＰ１により生み出された投影画像をシミュレー
トすることが望ましい。しかし、一般的に前面投射型のプロジェクタＰ１のＦＯＶ９１は
没入型プロジェクタＰ２のＦＯＶ９３におけるいずれの部分とも重なる必要は必ずしもな
いことが強調される。
【０２４６】
没入型プロジェクタＰ２のＦＯＶ９３が前面投射型のプロジェクタＰ１のＦＯＶ９１の
一部と重なる必要はないが、実デジタルカメラＣを前面投射型のプロジェクタＰ１および
没入型プロジェクタＰ２に別個に結び付ける２つの光輸送行列が作成されることが望まし
い。前面投射型のプロジェクタＰ１および没入型プロジェクタＰ２のＦＯＶが必ずしも重
ならないので２つの光輸送行列は別個に生成できることが理解されよう。
【０２４７】
しかし好ましい本実施形態の具体例において、実デジタルカメラＣは実デジタルカメラ
ＣのＦＯＶ９５が前面投射型のプロジェクタＰ１のＦＯＶ９１のスーパーセットで没入型
プロジェクタＰ２のＦＯＶ９３のサブセットであるように配置される。ＦＯＶ９５で示さ
れるように、実デジタルカメラＣの視野は前面投射型のプロジェクタＰ１のＦＯＶ９１を
完全に包含するが、没入型プロジェクタＰ２のＦＯＶ９３により完全に包含される。没入
型プロジェクタＰ２を用いて前面投射型のプロジェクタＰ１から投影された画像をシミュ
レートするには、前面投射型のプロジェクタＰ１からの第１投影画像ｐ1を実デジタルカ
メラＣからの第１取り込み画像ｃ1にｃ1＝Ｔ1＊ｐ1となるように関連付ける第１光輸送行
列Ｔ1をまず決定する。次に、没入型プロジェクタＰ２からの第２投影画像ｐ2を実デジタ
ルカメラＣからの第２取り込み画像ｃ2にｃ2＝Ｔ2＊ｐ2となるように関連付ける第２光輸
送行列Ｔ2を決定する。その結果、次の関係が成立する。
【０２４８】
【数２５】
0005338217.tif 000026
没入型プロジェクタＰ２を用いて前面投射型のプロジェクタＰ１からの第１投影画像ｐ
1をシミュレートするためには、第１取り込み画像ｃ1（すなわち前面投射型のプロジェク
タＰ１から投影された画像の取り込み画像）が第２取り込み画像ｃ2（すなわち没入型プ
ロジェクタＰ２から投影された画像の取り込み画像）と同じであることが必要である。す
なわち、
【０２４９】
【数２６】
0005338217.tif 000027
であることが必要で、これは次の関係として、
【０２５０】
【数２７】
0005338217.tif 000028
につながる。第２投影画像ｐ2（すなわち没入型プロジェクタＰ２により投影された画
像）を解くと次の関係が得られる。
【０２５１】
【数２８】
0005338217.tif 000029
これは第１投影画像ｐ1を作成するために前面投射型のプロジェクタＰ１を用いて画像
を直接投影することができ、または変換された画像［（Ｔ2-1）（Ｔ1ｐ1）と定義］を没
入型プロジェクタＰ２で投影することにより同じ効果が得られることを意味する。ビュー
投影行列は自然にプロジェクタ−カメラ対応をプロジェクタ−プロジェクタ対応に移すこ
とが特記される。
【０２５２】
このような投影は図２２に示され、没入型プロジェクタＰ２を用いて図２１のプロジェ
クタＰ１のような前面投射型のプロジェクタがシミュレートされる。図２２において、没
入型プロジェクタＰ２によりシミュレートされる仮想プロジェクタＰ１”は点線で示され
る。従って図２１の前面投射型のプロジェクタＰ１により投影される第１投影画像ｐ1は
図２２の没入型プロジェクタＰ２で変換画像（Ｔ2-1）×（Ｔ1ｐ1）を投影することによ
り再現することができる。これにより、見る人１００Ａ，１００Ｂ，１００Ｃは前面投射
型のプロジェクタ、すなわちプロジェクタＰ１または仮想プロジェクタＰ１”を遮蔽する
ことを心配しなくて済む。画像は明らかに歪みがなく、仮想プロジェクタによる映画の再
生はリアルタイムで流すことができる。上述のようにＴ2-1は近似行列ΞT2で置き換え得
ることが理解されよう。上記で述べたように、逆光輸送行列Ｔ-1を近似するビュー投影行
列ΞTは以下の考察において別途記述されない限り自由に逆光輸送行列Ｔ-1を置き換える
ことができる。
【０２５３】
図２３（ａ）〜図２３（ｃ）は前面投射の実画像（図２３（ａ））および前面投射のシ
ミュレートされた画像（図２３（ｂ））を並べてシームレスに連結したもの（図２３（ｃ
））を示すことによりシミュレーションの画質を図示する。図２３（ａ）は図２１のＰ１
のような実前面投射型のプロジェクタにより投影された画像の右側を示す。図２３（ｂ）
は図２３（ａ）の前面投射画像の左側を示すが、図２３（ｂ）において画像の左側は図２
２のＰ２のような没入型プロジェクタにより図２２のＰ１”のような前面投射型の仮想プ
ロジェクタをシミュレートするように投影される。没入型プロジェクタにより作成される
、左側のシミュレートされた前面投射画像の画質は図２３（ｃ）でより良く図示され、こ
こで図２３（ａ）の右側の前面投射画像は図２３（ｂ）の左側の前面投射画像に繋げられ
、並んで示され、実前面投射型のプロジェクタおよびシミュレートされた前面投射型の仮
想プロジェクタにより各々作成された画像のシームレスな位置合わせがもたらされる。
【０２５４】
実前面投射型のプロジェクタにより作成された実前面投射画像と没入型プロジェクタに
より作成された、シミュレートされた前面投射画像を並べた比較を示す追加例が図２４に
示される。図２４において、表示画像の左半分は没入型プロジェクタにより前面投射型の
仮想プロジェクタからの表示をシミュレートするように作成され、表示画像の右側半分は
実前面投射型のプロジェクタにより作成されている。
【０２５５】
本手法の別の用途は図２５（ａ）〜図２５（ｃ）を参照するとより良く理解される。本
例において、図２５（ｃ）の没入型プロジェクタＰ２を用いて各種の周囲照明効果（すな
わち仮想環境）が作成される。カメラを、そのＦＯＶが表示部屋のかなりの部分を覆うよ
うに配置すれば、ビュー投影を用いて壁が仮想モデルに従い照明されるような没入型環境
を作り出すことができる。これを達成するために、図２５（ａ）に示すように実デジタル
カメラＣはそのＦＯＶが実部屋１１１の相当な部分を覆うように配置される。図２５（ａ
）において、実デジタルカメラＣおよび没入型プロジェクタＰ２は実デジタルカメラＣの
ＦＯＶが没入型プロジェクタＰ２のＦＯＶの全部（好ましくはより多く）と言わないまで
も殆どを包含するように配置される。
【０２５６】
本例において、Ｐ２は没入型プロジェクタとして示されるが、没入型プロジェクタＰ２
は前面投射型のプロジェクタなど任意の種類のプロジェクタであって良い。実デジタルカ
メラＣおよび没入型プロジェクタＰ２間に関係を確立するために、実デジタルカメラＣを
没入型プロジェクタＰ２に関連付ける光輸送行列Ｔ3が前記に説明されたいずれかの方法
を用いて取り込まれる、すなわち決定される。一旦、これがなされると、実デジタルカメ
ラＣにより見られる（すなわち取り込まれる）第３取り込み画像ｃ3は没入型プロジェク
タＰ２により投影される第３投影画像ｐ3に次の関係に従って関連付けられる。
【０２５７】
【数２９】
0005338217.tif 000030
これは次をもたらす。
【０２５８】
【数３０】
0005338217.tif 000031
【０２５９】
このように、実部屋１１１における表示表面の仮想モデルを構築することができる。図
２５（ｂ）に示す構築された仮想モデル部屋１１１”は例えばコンピュータシミュレーシ
ョンであって良い。一旦、仮想モデル部屋１１１”が作成されると、各種のシミュレート
された照明効果（または投影画像または浮遊画像）を仮想モデル部屋１１１”に加えるこ
とができる。例えば、図２５（ｂ）は仮想モデル部屋１１１”が大きなロウソク１１３か
らのロウソクの光により照明されるところを示す。コンピュータモデルはさらに実デジタ
ルカメラＣの位置および解像度（図２５（ａ）における）をモデル化し、図２５（ｂ）で
点線の枠で表された仮想カメラＣ”として示される。コンピュータモデルは次に仮想カメ
ラＣ”の視点から仮想モデル部屋１１１”の合成的眺めｃ3”を「取り込み」（すなわち
作成し）、図２５（ａ）の実デジタルカメラＣにより取り込まれたかのようにの仮想モデ
ル部屋１１１”の実画像をシミュレートする。図２５（ｂ）のシミュレートされた照明効
果は次に没入型プロジェクタＰ２を用いて変換画像（Ｔ3-1）×（ｃ3”）を投影すること
により図２５（ｃ）の実部屋１１１において再現することができる。
【０２６０】
この場合、実部屋１１１の壁より大きい画像を映写することが望ましい。上記で考察し
たように、映写壁に対する実部屋１１１の壁および天井の角度を補正するために各種の方
法を用いて実デジタルプロジェクタを較正することができるが、本発明は異なった方法を
用いてこの問題を解決する。本例において、図２５（ｂ）における仮想モデル部屋１１１
”は、図２５（ｃ）における実部屋１１１に類似した寸法を有し、画像は歪みのない形で
仮想モデル部屋１１１”に重ね合わせられる。次に実デジタルカメラＣの視点から仮想モ
デル部屋１１１”上の歪みなしの画像の合成的眺めｃ3”（すなわち合成取り込み画像）
が作成される。次に没入型プロジェクタＰ２に変換画像（Ｔ3-1）×（ｃ3”）を投影させ
、実部屋１１１の壁に歪みのない特大画像を再現させる。結果として、映写表面上の曲面
（または他の凹凸）を補正するために没入型プロジェクタＰ２を較正する必要がなかった
歪みのない投影が得られる。
【０２６１】
示されたように、仮想プロジェクタおよび環境を組み合わせ、没入型映画ビュアーを作
成することができる。仮想環境はアクティブな視界でもあるので、より大きい視野の表示
を動画化し、より興味の湧く体験を作り出すことができる。
【０２６２】
上記に説明した手法は大視野（すなわち大きいＦＯＶ）表示の作成に適用することがで
きる。大きいＦＯＶは没入感を作り出し、見る人にとってより興味の湧く体験を提供する
。本方法は非常に大きいＦＯＶを有する没入型映写システムを説明する。システムはさら
に映写のＦＯＶが覆う領域からの光を取り込むことができる内蔵型大ＦＯＶカメラ／光セ
ンサを有して設計されている。センサによりシステムは画質を最適化し、より全般的にシ
ステムがその環境とインタラクトできるように映写光を適合させることができる。本シス
テムは主にサラウンド・ビデオ・コンテンツを表示したいことから主に動機付けられてい
るが、この新映写システムは従来のビデオ・コンテンツを見るためにも用いることができ
ることを特記することが重要である。
【０２６３】
図２６に関し、本発明による代表的な映写システムの最小限の形態は次のコンポーネン
ト、プロジェクタ１２１、デジタルスチルカメラまたはデジタルビデオカメラであり得る
カメラ１２３、球形または別途の曲面ミラー１２５、および上記コンポーネントの据付機
構、からなる。プロジェクタ１２１からの光は曲面ミラー１２５から反射されてから、建
物の壁、床、天井、および専用映写スクリーンを含む任意の表面であり得る表示表面１２
７に到達する。表示表面１２７はさらに任意の形状であって良い。曲面ミラーで投射光を
反射させるとプロジェクタのＦＯＶが拡大される。プロジェクタを元とする場合もしない
場合もある、環境からの光線も曲面ミラー１２５から反射されてからカメラに到達する。
これも同様にカメラＦＯＶを拡大する。
【０２６４】
図２７は図２６の設計に基づいたプロトタイプを示し、図２７の中で図２６のものに類
似した要素は類似した参照番号を有し、上記に説明される。本構成は、マルチウォールの
没入型仮想環境を構築すつという、スマートプロジェクタ−カメラシステムの主要な用途
を際立てさせている。従って、本例は従来の前面投射型のプロジェクタ１２１、高解像度
のデジタルスチルカメラとしてのカメラ１２３、および半球形の曲面ミラー１２５からな
る簡単なパノラマ映写設定を用いている。本設定において、曲面ミラー１２５（「ドーム
型プロジェクタ」と呼ぶことができる）は地域のコンビニ店で使用されるような低価格の
プラスチック製半球型警備用ミラードームである。このようなミラードームは専門的に設
計され製作された光学グレードのミラーに比べ少なくとも３桁は安い。さらに、据付機構
も通常の金物・建材店で入手できる安価な部品で作られた。この構成で実験した際、曲面
ミラー１２５は真の半球面からは（さらに言えばいずれの単純なパラメトリック形状から
も）程遠いことが見出された。
【０２６５】
図２８は図２７における設定の別のビューで、カメラ１２３の観点から見た（非常に大
雑把に）曲面ミラー１２５のビューを示す。図２８において曲面ミラー１２５の反射で見
られるように、カメラ１２３は曲面ミラー１２５の反射により床、少なくとも３つの垂直
な壁、および天井を「見る」ことができる。
【０２６６】
図２９（ａ）において、本映写システムを設置した部屋が周辺光の下で示される。図３
０（ａ）は較正されていないドーム型プロジェクタが市松格子の画像を表示するところを
図示する。表示画像には明らかに相当な量の非線形幾何学的な歪みがある。図３０（ｂ）
は同じ設定を示すが、ビュー投影行列を用いて幾何学的補正がなされている。画像は基準
カメラの位置から撮られたので、ビューにおける直線は複数の壁にわたり直線のままであ
る。
【０２６７】
ビュー投影行列ΞTはさらに色および強度の変動とともに表示表面のアルベド／反射率
特性の不均一に対しても測光的に補正する。図３１（ａ）は較正されていないドーム型プ
ロジェクタが均一強度の画像を表示するところを図示する。見られるように、もたらされ
た画像は前方壁の左上および右上方向においてかなり暗い。図３１（ｂ）では同じ均一強
度の画像が較正されたドーム型プロジェクタで投影され、より均一な強度を実現すること
が示される。
【０２６８】
ビュー投影に必要なものすべてについて小型な代表があると、他の方法で較正するのが
極めて困難な可能性のある表示システムを分析するのが容易になる。また、これらのシス
テムを構築して表示および撮像ハードウェアの限度まで精密に較正させるのに役に立つ。
ここでは、前面投射型のプロジェクタと組み合わせて上述のドーム型プロジェクタを用い
たいくつかの例により逆光輸送行列Ｔ-1の有用性を示す。本例で使用されるような低予算
のパノラマプロジェクタを用いた場合でも、ビュー投影行列は人を引き付ける没入型表示
設定を組み立て得ることが見出された。
【０２６９】
さらに、図２６〜図３０における本例のドーム型プロジェクタ設定は図２１および図２
２の没入型プロジェクタＰ２の代わりに用いて上述のように前面投射型のプロジェクタの
シミュレーションを実現し、または図２５（ａ）〜図２５（ｃ）における没入型プロジェ
クタＰ２の代わりに用いて上述のように仮想環境を作り出すために使用できることが理解
されよう。
【０２７０】
本プロジェクタ−カメラシステムを用いた没入型投影照明の例を図２９（ｂ）に示す。
見られるように、本プロジェクタ−カメラシステムは天井に加え２つの壁にも画像を投影
することができる。この効果がビュー投影行列ΞTを用いてどのように達成されるかの例
を図３２〜図３４に示す。
【０２７１】
ビュー投影行列ΞTがまず上述のいずれかの方法を用いて生成される。上記に説明され
る通り、映写表面が主に平たい表面（または結合された平たい表面）、からなる場合、７
本の光の垂直線および交差する７本の光の水平線を用いて完全なビュー投影行列ΞTを近
似することにより「４９」以下の基準点を生成することができ、かつプロジェクタ対カメ
ラの良好なレベルの較正を実現することができる。この場合、映写表面は平たいと仮定さ
れるので、抜けている行列入力値は「４９」の基準点から外挿することができる。
【０２７２】
しかし、図２６〜図３０の例において映写表面は曲面ミラーからなるため、プロジェク
タの解像度で完全なビュー投影行列ΞTが生成されることが好ましい。本例においてプロ
ジェクタ１２１はｐ×ｑ個のプロジェクタピクセルの解像度を有するので、プロジェクタ
１２１とカメラ１２３との間の較正はｐ×ｑ個の光輸送基準点を生成することにより達成
できるはずである。
【０２７３】
図３２に関し、図２７のプロジェクタ１２１はｑ本の一連の垂直線ＶＬ_１〜ＶＬ_ｑを
個別的に映写表面（すなわちこの場合は図２７の曲面ミラー１２５）に投影し、これらは
個別的かつ自動的に図２７のカメラ１２３により取り込まれる。図３３で、プロジェクタ
１２１は次にｐ本の一連の水平線ＨＬ_１〜ＨＬ_ｐを個別的に投影し、続いてこれらも個
別的かつ自動的にカメラ１２３により取り込まれる。上記に説明されるように、取り込ま
れた垂直および水平線は各々個別的に組み合わされそのユニークに一致する基準点Ｆｔ（
すなわち光フットプリント）が特定される。このプロセスはすべてのユニークな交差点が
特定され（図３４において白い円で図示）、その光輸送情報が抽出されるまで続けられる
。プロジェクタ１２１から放射される垂直および水平線は完全に垂直および水平であるが
、もたらされる曲面ミラー１２５の投影線は曲面ミラー１２５の湾曲に追随することが理
解されよう。
【０２７４】
上述のように、ビュー投影行列ΞTの構築に「表示制約」が執行されることが好ましい
。従って、望ましい画像Ｃ、があり、曲面ミラー１２５経由で実部屋１１１に望ましい画
像Ｃを歪みなしに表示するためにどのように変換画像Ｐに変換するか判定したい場合、Ｐ
＝ΞT＊Ｃと定義される望ましい画像Ｃの歪んだバージョンを投影する必要がある。
【０２７５】
これは図３５に図示され、ここで望ましい画像Ｃはｍ×ｎ個の画像ピクセル入力値、Ｃ
1〜Ｃm×n、からなるベクトル２００として書かれている。ベクトル２００に作成された
（ｐ×ｑ）行および（ｍ×ｎ）列からなるビュー投影行列ΞTを掛け、（ｐ×ｑ）の変換
画像Ｐが生み出され、これはベクトル２０１として書かれ、各々プロジェクタ１２１の（
ｐ×ｑ）個のプロジェクタピクセルにおいて対応するピクセルに適用される（ｐ×ｑ）個
の画像ピクセル入力値からなる。もたらされる変換画像Ｐはｐ行およびｑ列からなるよう
に図示されている。
【０２７６】
図３６に関し、図３５からの変換画像Ｐは「プロジェクタＬＣＤ用画像」としてプロジ
ェクタ１２１に送られ、曲面ミラー１２５（図２７）に投影される。実部屋１１１にもた
らされる画像２０３は図３６の望ましい画像Ｃの歪んでいない表示である。
【０２７７】
本例の場合、カメラ１２３およびプロジェクタ１２１は変換画像Ｐを作成される前に較
正されなかったことが特記される。逆に変換画像Ｐの歪みは、カメラ−プロジェクタ対の
較正補正情報を含むビュー投影行列ΞTを用いて構築されたのでカメラ１２３とプロジェ
クタ１２１間で較正されていないことに関連する問題を本質的に補正している。
【０２７８】
望ましい画像がビデオ画像である場合、ビュー投影行列ΞTはビデオ画像に適用される
ことが理解されよう。つまり、ビデオ画像は順に並べられた複数のスチル画像を有してな
るので、ビュー投影行列ΞT変換を順序付けられたスチル画像の各々に適用して変換ビデ
オ投影を実現することになる。
【０２７９】
さらに強調すべきは、プロジェクタ１２１のＦＯＶとカメラ１２３のＦＯＶとは一般的
に異なっており、重なっても重ならなくても良い点である。２つのＦＯＶが相当重なる場
合、カメラ１２３により取り込まれた画像は上述の方法に類似した方法でプロジェクタ１
２１からの投影画像の質を向上させるためのフィードバックとして用いることができる。
例えば、カメラ１２３からプロジェクタ１２１へのフィードバックを用いて表示表面の反
射特性および形状の変化（カメラ１２３から見た）を補正し、投影画像が平たく白い表面
に投影されているが如く見えるようにすることができる。
【０２８０】
カメラ１２３のＦＯＶはプロジェクタ１２１のＦＯＶで覆われない領域を含むこともで
きる。例えば、プロジェクタ１２１が図２９（ａ）および図２９（ｂ）に示すテスト部屋
の前および横の壁を覆うのに対し、カメラはプロジェクタＦＯＶ外の、場合によって見る
人たちがいる領域を含む、領域を取り込むことができる。これによりシステムは見る人達
または見る人達のポインティングデバイスを検出し追跡することにより見る人達に適応し
インタラクトすることができる。カメラ１２３が例えばリモコンに搭載された小型の光を
追跡してユーザインタラクションを促進することも可能かもしれない。
【０２８１】
図３７に関し、図２６の構成に基づくが天井据付操作を対象とした別の構成が図示され
る。図２６に類似した要素はすべて類似した参照番号を有し、上記に説明される。
【０２８２】
図３８および図３９において、さらに２つの別の構成が示される。図３８および図３９
において図２１に類似した要素はすべて類似した参照番号を有し、上記に説明される。
【０２８３】
図３８では平面ミラー１４１が光路を折ることによりプロジェクタ１２１およびカメラ
１２３を曲面ミラー１２５の下に配置することができ、より小さいフットプリントを達成
している。図３９は展示ブース操作のためにプロジェクタ１２１、カメラ１２３、曲面ミ
ラー１２５、および平面ミラー１４１をブース１４３内に入れるブース用設計を示す。こ
の構成を用いると、同時に２つの投影画像、第１表示表面Ａ上の第１の前方（または後方
）投影画像および第２表示表面Ｂ上の第２の後方投影画像を実現することができる。
【０２８４】
上述の設計のいくつかにおいて、プロジェクタおよびカメラは共通の光心を有しない。
しかし、光心が同配列されたプロジェクタ−カメラ対を設計することは可能である。同配
列光心を有するシステムはプロジェクタとカメラが全く同一の視野を有することができる
が、同配列でない光心を有するシステムは環境の３Ｄ再現ができる可能性がある。
【０２８５】
ここまでは、提供された例は１台のカメラと１台のプロジェクタで構成されていたが、
上記に示唆するように、複数のカメラおよびプロジェクタの組み合わせを使用することも
できる。これは異なった視野を有する２台以上のプロジェクタからの２つ以上の投影画像
をどのようにシームレスに統合もしくは組み合わせるか、または複数のプロジェクタを組
み合わせてどのように大型視野の表示を作成するかという問題を呈する。従って複数のプ
ロジェクタを用いることにより可能になる視覚効果をいくつか説明する前に、まず複数の
プロジェクタをどのようにシームレスにいっしょに使えるかを考察することが有用であろ
う。つまり、本発明を１台のプロジェクタと１台のカメラからなるシステムに適用された
場合の効果は複数のプロジェクタおよび１台（またはそれ以上）のカメラを有するシステ
ムにも拡大できるのである。
【０２８６】
プロジェクタ−カメラシステムを較正し、上述の「ビュー投影問題」を解決するための
ノンパラメトリック方法の開発が上記で考察されている。つまり、カメラが望ましいビュ
ーを見るように、プロジェクタがどのように場面を照明すべきかを定義すること（すなわ
ちプロジェクタが場面に何を投影すべきかを定義すること）のビュー投影問題が上記で考
察される。要約すると、上述の開発はまず、プロジェクタから投影された画像ｐをカメラ
で取り込まれた画像ｃにｃ＝Ｔｐという関係で関連付ける光輸送行列Ｔについて複数の構
成を提供した。次に中間作業の行列Ξが次の関係により、埋められると定義された。
【０２８７】
【数３１】
0005338217.tif 000032
ここでΞｒは行列Ξのｒ番目の列で、ｐｑは光輸送行列Ｔにおける列の数である。次に
「表示制約」の下ではビュー投影行列ΞTを次のように定義できることが示され、
【０２８８】
【数３２】
0005338217.tif 000033
これは次の関係をもたらす。
【０２８９】
【数３３】
0005338217.tif 000034
【０２９０】
上記に説明されたとおり、「表示制約」は情報表示を目的とした通常のプロジェクタと
カメラの設定において、別個のプロジェクタピクセルから放射された任意の２つの光線は
通常カメラセンサのピクセルアレイにおいて別々の部分に当たる、すなわち別個の光線の
各々からの光に当たったカメラピクセルｉにあまり重複がないという観察に由来する。こ
れは光輸送行列Ｔの列が互いに直交していることを意味し、方程式（１）の正規化プロセ
スにより光輸送行列Ｔの逆をもたらすことができる。さらに上記に説明されるように、「
表示制約」が自然に守られない状況において、光輸送行列Ｔの構成を修正し、光輸送行列
Ｔの各行における最も明るいピクセルが別個の光線によりもたらされる光フットプリント
と一部であると宣言し、光輸送行列Ｔの同じの行における他のピクセルすべてがゼロ値の
入力であると宣言することにより「表示制約」を人工的に強要することができる。この操
作により光輸送行列Ｔは強制的に直交にされ、方程式（１）の適用が可能になる。
【０２９１】
このようにビュー投影行列ΞTは、望ましい眺めｃが与えられた場合、ｐ＝ΞTであり、
ｐを投影すると基準カメラから見た場合、望ましい眺めｃと同じ外観を有する場面を実現
する画像ｐ＝ΞTを見出すという、ビュー投影問題を解決する。
【０２９２】
実際上大型視野表示、壁画面に囲まれる仮想居住ステーション、および他の多くの用途
は個別プロジェクタ各々の限られた視野のため１台より多いプロジェクタの使用を必要と
する。一般的に、１台を越えるプロジェクタを使用する場合これらのプロジェクタの視野
は互いに部分的に重なり合う。このような２台以上のプロジェクタを有する表示システム
を用いてビュー投影を達成する（または実際のこと異なった視野にわたり連続的な画像を
投影する）には、個々のプロジェクタをモザイク化して望ましいカメラビューを生成する
必要がある。
【０２９３】
本発明を用いたモザイク化の例が２台のプロジェクタシステムを使用して提示される。
より多くのプロジェクタを有するシステムへの拡張は簡単なので、モザイク表示を構築す
る本方法は３台以上のプロジェクタを有する表示システムにも拡張できることが理解され
よう。つまり、第１プロジェクタからの第１投影画像を第２プロジェクタからの第２投影
画像と組み合わせるという、以下に説明するプロセスは第２プロジェクタからの第２投影
画像を第３プロジェクタからの第３投影画像を組み合わせるのに適用でき、第１、第２、
および第３投影画像を組み合わせたモザイク画像が作成される。同様に同じプロセスが第
３投影画像を第４プロジェクタからの第４画像と組み合わせるのに適用でき、第１、第２
、第３、および第４投影画像を組み合わせたモザイク画像が作成される。
【０２９４】
重なり合う視野（ＦＯＶ）および双方のプロジェクタのスーパーセットとなるＦＯＶを
有するカメラからなるマルチプロジェクタ表示システムを検討する。各プロジェクタから
の第１投影画像ｐ1および第２投影画像ｐ2をカメラで取り込まれた第１取り込み画像ｃ1
および第２取り込み画像ｃ2に関連付ける第１光輸送行列Ｔ1および第２光輸送行列Ｔ2（
別個に決定）は次の方程式をもたらす。
【０２９５】
【数３４】
0005338217.tif 000035
【０２９６】
双方のプロジェクタの視野、ＦＯＶ、にわたる画像を表示するには、複合された画像ｃ
、がシームレスな形で第１取り込み画像ｃ1および第２取り込み画像ｃ2を組み合わせるよ
うな第１取り込み画像ｃ1および第２取り込み画像ｃ2を見出す必要がある。つまり、ｃ＝
ｃ1＋ｃ2と定義される複合された画像ｃはカメラから見た望ましい画像である。より具体
的に、望ましい複合された画像ｃを表示するために次の線形方程式を解いて適当なプロジ
ェクタからの第１投影画像ｐ1および第２投影画像ｐ2を演算する必要がある。
【０２９７】
【数３５】
0005338217.tif 000036
【０２９８】
このような設定において、カメラピクセルは１台のプロジェクタからの１個のプロジェ
クタピクセルにより、または各々のプロジェクタからの２個のプロジェクタピクセルによ
り同時に、点灯される。前者の場合、カメラピクセルは第１投影画像ｐ1または第２投影
画像ｐ2における対応プロジェクタピクセルについて線形方程式を呈する。カメラピクセ
ルが２台のプロジェクタのＦＯＶで重なる部分に当たる後者の場合、第１投影画像ｐ1ま
たは第２投影画像ｐ2における２個の対応プロジェクタピクセルについて線形方程式を呈
する。各プロジェクタピクセルはいくつかのカメラピクセルを覆うので、いくつかの線形
方程式により制約される。従ってすべてのカメラピクセルからのこのような方程式はプロ
ジェクタからの第１投影画像ｐ1また第２投影画像ｐ2に対し制約過剰の線形システムを形
成する。
【０２９９】
しかし、２台のプロジェクタシステムの場合、上述の単独プロジェクタシステムででき
るようにビュー投影行列を直接演算することができなくなる（すなわち［Ｔ1Ｔ2］の逆を
直接演算できない）。これは異なったプロジェクタからのピクセルの投影は重なり合うこ
とができるためで、従って「表示制約」も複数のプロジェクタ間では成立せず、すなわち
第１光輸送行列Ｔ1における列は第２光輸送行列Ｔ2における列と必ずしも直交せず、よっ
て［Ｔ1Ｔ2］に対するビュー投影行列を演算するのに方程式（１）を用いることができな
い。従って、方程式（２）の線形システムを直接解く代わりに、収束するまで次の２工程
を反復する交互性の線形解法が開発された。
【０３００】
【数３６】
0005338217.tif 000037
【０３０１】
方程式（３）、方程式（４）において、（Ξ1）Tおよび（Ξ2）Tは２台のプロジェクタ
の各々のビュー投影行列で、最初の工程において第２投影画像ｐ2はゼロに等しく設定さ
れる。ビュー投影行列はプロジェクタとカメラとの画像間の対応とマッピングを自然に伝
えるので、方程式（３）および方程式（４）の第１投影画像ｐ1および第２投影画像ｐ2が
各々の補完的画像に収束するまで多くの反復を必要としない。実際上、第１投影画像ｐ1
および第２投影画像ｐ2が組み合わせるとモザイク画像を形成する各々の補完的画像に収
束するために数回（通常５回以下）の反復プロセスしかかからない。つまり、第１投影画
像ｐ1は第１画像に収束し、第２投影画像ｐ2は第２画像に収束し、第１投影画像ｐ1およ
び第２投影画像ｐ2の画像が投影され重ね合わされると、組み合わせられたモザイク画像
を形成する。
【０３０２】
図４０に関し、このプロセスを実施したシステムの例は第１プロジェクタ−カメラシス
テム対２２１および第２プロジェクタ−カメラシステム対２２３を含む。第１プロジェク
タ−カメラシステム対２２１は、上述方法のいずれかを用いて構築された第１ビュー投影
行列Ξ1により関連付けられた第１実デジタルプロジェクタ２１ａおよび第１実デジタル
カメラ２５ａを含む。同様に、第２プロジェクタ−カメラシステム対２２３は、同じく上
述方法のいずれかを用いて構築された第２ビュー投影行列Ξ2により関連付けられた第２
実デジタルプロジェクタ２１ｂおよび第２実デジタルカメラ２５ｂを含む。さらに第１ビ
ュー投影行列Ξ1および第２ビュー投影行列Ξ2は各々独立して生成され、第１ビュー投影
行列Ξ1が生成される間、第２プロジェクタ−カメラシステム対２２３は消されており、
第２ビュー投影行列Ξ2が生成される間、第１プロジェクタ−カメラシステム対２２１は
消されていることが理解されよう。
【０３０３】
第１プロジェクタ−カメラシステム対２２１は第１投影領域Ｒｅｇ_１を定義する第１
視野ＦＯＶ_１を有し、第２プロジェクタ−カメラシステム対２２３は第２投影領域Ｒｅ
ｇ_２を定義する第２視野ＦＯＶ_２を有する。図示されるように、第１投影領域Ｒｅｇ_
１と第２投影領域Ｒｅｇ_２は網目印で特定される区域内で互いに重なり合う。この重複
領域はさらに重複領域Ｒｅｇ_１＋２という記号が付けられている。重複領域Ｒｅｇ_１＋
２のサイズは説明の便宜上大きくされており、小さい重複領域の方がより典型的であるが
、重複の量は本用途にとって重要ではないことが理解されよう。
【０３０４】
上記方程式（３）および上記方程式（４）は幾何学的（すなわち空間的）および測光的
（すなわち照明）補正を考慮しており、従って隣接する表示画像間での必要な融合を処理
することが特記される。これは光輸送行列Ｔが幾何学的情報を組み入れており、その結果
、ビュー投影行列ΞTもそうであるからである。さらに、代表的な光輸送行列Ｔの光フッ
トプリント情報を特定する際、光フットプリント内の取り込まれた各ピクセルは各カメラ
ピクセルの３色（ＲＧＢ）のサブコンポーネントにおける任意の光強度変動について値の
入力を有するので、完全な測光的情報も得られる（例えば図３における第１の光線フット
プリントＦｔ１または図６における第２の光線フットプリントＦｔ２の光フットプリント
を構成する白および各明度の灰色のブロックを参照）。
【０３０５】
しかし、光輸送行列ＴがバイナリのＯＮ／ＯＦＦの方法で構成されるとすると（すなわ
ち光フットプリント内のピクセルは完全にＯＮと分類され（すなわち０〜２５５の代表的
な光度尺度で「２５５」の光強度値を有すると分類）、光フットプリント外のピクセルは
完全にＯＦＦと分類される（すなわち「０」の光強度値を有すると分類））、光輸送行列
Ｔを構成するこのバイナリのＯＮ／ＯＦＦの方法は測光的情報をあまり有しない（事実上
黒白の画像になるので）。しかしこの光輸送行列Ｔを構成するこのバイナリのＯＮ／ＯＦ
Ｆの方法は完全な幾何学的情報を有するので、上記第１投影画像ｐ1の方程式（３）およ
び第２投影画像ｐ2の方程式（４）の２式は複数の投影画像の幾何学的モザイク化を判定
することはできる。しかしこの場合、複数の投影画像をモザイク化する際、複数の投影画
像の光強度を融合させるために光融合工程（以下に説明）を追加すると有用である。
【０３０６】
複数の投影画像の光強度を融合する追加工程が有用かもしれない別の状況は光輸送行列
Ｔが限られた数の光フットプリント情報から作成される場合である。上述のとおり、映写
表面（または場面）が平たく、光輸送行列Ｔは限られた数の交差パターンを用い特定され
た限られた数の光フットプリントを生成して推定されるような状況に当てはまる。映写表
面は平たいので、光輸送行列Ｔ内で欠ける幾何学的情報はホモグラフィ手法を用いて推測
することができる。推定された光輸送行列Ｔは従って完全な幾何学的情報を提供するが、
一般的に特定された限られた数の光フットプリント間の場所について測光的情報は提供し
ない。
【０３０７】
映写表面が均一に白色である（たとえば白い映写キャンバスまたは白い壁）と仮定する
と、すべての特定および推測された光フットプリント情報に対し測光的情報として単に白
色情報を挿入することにより光融合工程は飛ばすことができる。あるいは、映写表面が必
ずしも白ではないが、均一の色であると仮定すると、とく栄された１つの光フットプリン
ト（または２つ以上の平均）の測光的情報を割り当てることにより推定測光的測定を定義
することができる。つぎに推測された光フットプリントすべての測光的情報をこのように
定義された推定測光的測定で埋めることができる。
【０３０８】
追加的光融合工程の話に戻り、利用可能なピクセル情報すべてを用いて生成された光輸
送行列Ｔがある場合でも、複数の投影画像をモザイク化する際、光融合工程を追加するこ
とは投影画像にとって有益である。この場合、追加的光融合工程から得られる情報は上記
方程式（３）および上記方程式（４）から得られた融合結果に対し追加的パラメータとな
ることができる。
【０３０９】
この追加的光融合工程を明らかにする複数の投影領域の簡略化されたビューを図４１に
示す。前と同様に、第１投影領域Ｒｅｇ_１は第１プロジェクタ−カメラシステム対２２
１が提供する投影領域で、第２投影領域Ｒｅｇ_２は第２プロジェクタ−カメラシステム
対２２３が提供する投影領域である。第１投影領域Ｒｅｇ_１は垂直な平行線で示され、
第２投影領域Ｒｅｇ_２は水平な平行線で示される。重複領域Ｒｅｇ_１＋２はしたがって
垂直および水平な平行線の交差で示される。特に興味があるのは第１投影領域Ｒｅｇ_１
、第２投影領域Ｒｅｇ_２、および重複領域Ｒｅｇ_１＋２の一部にかかる濃い輪郭で示さ
れた望ましい投影領域２２５の定義である。望ましい投影領域２２５は望ましい組み合わ
せ（すなわちモザイク）画像が表示される領域を定義する。望ましい投影領域２２５には
第１プロジェクタ−カメラシステム対２２１および第２プロジェクタ−カメラシステム対
２２３双方から画像寄与がある。
【０３１０】
望ましい投影領域２２５内で領域Ｒｅｇ_Ａは第１プロジェクタ−カメラシステム対２
２１のみにより提供される画像領域としての望ましい投影領域２２５の部分を特定し、領
域Ｒｅｇ_Ｃは第２プロジェクタ−カメラシステム対２２３のみにより提供される画像領
域としての望ましい投影領域２２５の部分を特定し、領域Ｒｅｇ_Ｂは第１プロジェクタ
−カメラシステム対２２１および第２プロジェクタ−カメラシステム対２２３の組み合わ
せにより提供される画像領域としての望ましい投影領域２２５の部分を特定する。領域Ｒ
ｅｇ_Ｂは第１プロジェクタ−カメラシステム対２２１または第２プロジェクタ−カメラ
システム対２２３のいずれか片方のみにより提供されることもできることが理解されよう
が、画像境界（第１プロジェクタ−カメラシステム対２２１により提供される画像が終わ
り第２プロジェクタ−カメラシステム対２２３により投影される第２の画像が始まる個所
）における視覚的アーティファクトはプロジェクタ−カメラシステム間の遷移を融合する
ことにより緩和され、または取り除かれることが見出されている。従って、この好ましい
実施形態で、第１プロジェクタ−カメラシステム対２２１および第２プロジェクタ−カメ
ラシステム対２２３双方が領域Ｒｅｇ_Ｂ内に作成された画像に寄与している。ここで問
題は、領域Ｒｅｇ_Ｂ内の画像のどれだけ（すなわちどの部分）を第１プロジェクタ−カ
メラシステム対２２１および第２プロジェクタ−カメラシステム対２２３が各々提供して
いるかである。
【０３１１】
説明を簡単にするために、図４２は第１投影領域Ｒｅｇ_１および第１プロジェクタ−
カメラシステム対２２１のＦＯＶ内にある望ましい投影領域２２５の部分、すなわち領域
Ｒｅｇ_Ｂ、が図示される。垂直な平行線は望ましい投影領域２２５に寄与しないため暗
くされた第１投影領域Ｒｅｇ_１の部分を示す。矢印１Ａ，１Ｂ，１Ｃ，１Ｄは第１投影
領域Ｒｅｇ_１の境界から領域Ｒｅｇ_Ｂに向かった離れ、望ましい投影領域２２５の境界
に近づき、第２プロジェクタ−カメラシステム対２２３により提供される望ましい投影領
域２２５に近づく際、正規化された光強度がどのように変化するかを示す。領域Ｒｅｇ_
Ａは組み合わせ部分の領域Ｒｅｇ_Ｂの外にあり、第１プロジェクタ−カメラシステム対
２２１のみによって提供される。第１投影領域Ｒｅｇ_１の左側の境界から矢印１Ａを横
切り、領域Ｒｅｇ_Ｂに近づくと、矢印１Ａは暗く図示され、すべての画像成分が第１プ
ロジェクタ−カメラシステム対２２１により提供されていることを示す。矢印１Ａに従い
領域Ｒｅｇ_Ｂに入ると、矢印１Ａは最初暗く図示され、次に明るくなり（すなわち縞が
細くなるよう図示）、画像の強度が最初は強く第１プロジェクタ−カメラシステム対２２
１により提供されるが、矢印１Ａに沿って領域Ｒｅｇ_Ｂおよび第１投影領域Ｒｅｇ_１の
右側の境界に向かい左から右に横切るにつれ強度が下がることを示している。
【０３１２】
矢印１Ｄは最初に領域Ｒｅｇ_Ｂの右端において第１プロジェクタ−カメラシステム対
２２１により強度は提供されないが、領域Ｒｅｇ_Ｂ内で矢印１Ａの終端に向かい右から
左に横切るにつれ第１プロジェクタ−カメラシステム対２２１からの光強度は増加するこ
とを示す。同様に矢印１Ｂは望ましい投影領域２２５の境界から離れるように矢印１Ｂを
下がると光強度が下がることを示す。同じく、矢印１Ｃは望ましい投影領域２２５の境界
から離れるように矢印１Ｃを上がると光強度が下がることを示す。
【０３１３】
言い換えれば、画像における光強度の変動は定義された最高光強度値、すなわち正規化
値、の係数として表現することができる。この正規化値に係数「１」を掛けると定義され
た最高光強度値が提供され、同じ正規化値に係数０．５を掛けると定義された最高光強度
値の半分が提供される。一定領域内で正規化値を変えることにより、その一定領域内の画
像の強度を変えることができる。本例の場合、境界においてピクセルの光強度を急に変え
るのではなく、画像境界を徐々に融合することにより境界における望ましくない光のアー
ティファクトを避ける。
【０３１４】
第２プロジェクタ−カメラシステム対２２３の視点から見た同様の構成が図４３に示さ
れる。ここでも水平な平行線は望ましい投影領域２２５に寄与していないので暗くされた
第２投影領域Ｒｅｇ_２の部分を示す。前と同様、領域Ｒｅｇ_Ｂは画像が第１プロジェク
タ−カメラシステム対２２１および第２プロジェクタ−カメラシステム対２２３双方の組
み合わせにより提供される融合区域を示し、領域Ｒｅｇ_Ｃは第２プロジェクタ−カメラ
システム対２２３のみによって提供される望ましい投影領域２２５の部分を示す。矢印２
Ａ，２Ｂ，２Ｃ，２Ｄは第２投影領域Ｒｅｇ_２から望ましい領域の境界に向かい、また
領域Ｒｅｇ_Ｂ内で第１プロジェクタ−カメラシステム対２２１によって提供される望ま
しい投影領域２２５の部分に向かい移動するにつれ正規化光強度が変化するかを示す。領
域Ｒｅｇ_Ｃは組み合わせ部分の領域Ｒｅｇ_Ｂの外にあり、第１プロジェクタ−カメラシ
ステム対２２１のみによって提供される望ましい投影領域２２５の部分を定義する。
【０３１５】
領域Ｒｅｇ_Ｂに入ると、矢印２Ａは画像の強度が最初は強く第２プロジェクタ−カメ
ラシステム対２２３により提供されるが、矢印２Ａに沿って領域Ｒｅｇ_Ｂの左側の境界
に向かい右から左に横切るにつれ強度が下がることを示している。矢印２Ｄは最初に領域
Ｒｅｇ_Ｂの左端において第２プロジェクタ−カメラシステム対２２３により強度は提供
されないが、領域Ｒｅｇ_Ｂ内で左から右に横切るにつれ第２プロジェクタ−カメラシス
テム対２２３からの光強度は増加することを示す。同様に矢印２Ｂは領域Ｒｅｇ_Ｂ内で
望ましい投影領域２２５の境界から離れるように矢印２Ｂを下がると光強度が下がること
を示す。同じく、矢印２Ｃは望ましい投影領域２２５の境界から離れるように矢印２Ｃを
上がると光強度が下がることを示す。
【０３１６】
第１プロジェクタ−カメラシステム対２２１により投影される各ピクセルについて、第
１投影領域Ｒｅｇ_１および領域Ｒｅｇ_Ｂの左、右、上部、および下部の境界に対するそ
のプロジェクタピクセルの近さが判定される。これらのパラメータは投影されるピクセル
の正規化光強度に影響する。第１プロジェクタ−カメラシステム対２２１からのプロジェ
クタピクセルが第１投影領域Ｒｅｇ_１のいずれかの境界に近いほどその境界のパラメー
タ寄与が高くなり、より明るい正規化強度となる。第２プロジェクタ−カメラシステム対
２２３からのプロジェクタピクセルの場合も同じで、第２投影領域Ｒｅｇ_２および領域
Ｒｅｇ_Ｂの４つの境界に対するプロジェクタピクセルの近さが判定される。さらに、境
界において急な光強度の変化を避けるために、境界に近いプロジェクタピクセルの光強度
は境界に近づくに合わせて調節される。
【０３１７】
例えば図４１において、領域Ｒｅｇ_Ａで矢印Ａ１に沿って左から右に進むと第１プロ
ジェクタ−カメラシステム対２２１により完全に提供される望ましい投影領域２２５の左
の境界から、第２投影領域Ｒｅｇ_２、および第１プロジェクタ−カメラシステム対２２
１および第２プロジェクタ−カメラシステム対２２３双方により提供される領域Ｒｅｇ_
Ｂの左の境界に移ることになる。矢印Ａ１に沿って左から右に進むと第１投影領域Ｒｅｇ
_１の左の境界から離れて行くが、画像は第１プロジェクタ−カメラシステム対２２１の
みにより提供されるので、第１プロジェクタ−カメラシステム対２２１により出されるピ
クセルの正規化光強度は正規の最も高い値にある。矢印Ａ１の終わりに到達し、矢印Ａ２
の初めに到達すると、光融合はまさに始まるところなので第１プロジェクタ−カメラシス
テム対２２１はまだ最も高い正規化値にある。
【０３１８】
矢印Ａ２の初めにおいて第１プロジェクタ−カメラシステム対２２１は最も高い正規化
光強度を有し、第２プロジェクタ−カメラシステム対２２３はまだ最も低い正規化値を有
する。矢印Ａ２に沿って左から右に進むと（すなわち第１プロジェクタ−カメラシステム
対２２１により専ら提供される領域Ｒｅｇ_Ａから第２プロジェクタ−カメラシステム対
２２３により専ら提供される領域Ｒｅｇ_Ｃに向かって）、第１プロジェクタ−カメラシ
ステム対２２１の正規化光強度は最も高い正規化光強度から最も低いものに下がる。逆に
矢印Ａ２に沿って左から右に移動すると、第２プロジェクタ−カメラシステム対２２３の
正規化光強度は最も低い正規化光強度から最も高いものに上がる。この光遷移は必ずしも
直線的でないことが理解されよう。例えば、第１プロジェクタ−カメラシステム対２２１
における正規化光強度は矢印Ａ２に沿って領域Ｒｅｇ_Ｂの右側の境界に近づくにつれよ
り大きい変化が起こることが好ましい。
【０３１９】
従って、矢印Ａ２の終わりで、第２プロジェクタ−カメラシステム対２２３は正規化光
強度が最高であり、第１プロジェクタ−カメラシステム対２２１は正規化光強度が最低で
ある。矢印Ａ３に沿って左から右に移動すると第２プロジェクタ−カメラシステム対２２
３が投影される光をすべて提供し、第１プロジェクタ−カメラシステム対２２１による光
の寄与はない。このように、領域Ｒｅｇ_Ｃ内で、第２プロジェクタ−カメラシステム対
２２３は最も高い正規化光強度に維持され得る。
【０３２０】
上述の方程式（３）および上述の方程式（４）は幾何学的および測光的双方の情報を用
い、図４４に示すように塑像に対し２台のプロジェクタをモザイク化することによってテ
ストされた。２台のプロジェクタはカメラから見えるすべての表面を覆う必要があるので
、これは無理に作った例ではない。この設定を用い、シームレスで歪みのない画像（カメ
ラの視点から見た）が塑像上に投影することに成功した。さまざまな照明条件の下で塑像
の画像をビュー投影することにより簡単に照明を変えることもできる。
【０３２１】
図４５（ａ）および図４５（ｂ）は複数のプロジェクタを組み合わせる上記方法を用い
た大型ＦＯＶプロジェクタシステムの構成を示す。図４５（ａ）では１つの曲面ミラー１
２５が複数のプロジェクタ−カメラ対１４５と組み合わせて用いられる。図４５（ｂ）で
は１つのミラーピラミッド１５１が複数のプロジェクタ−カメラ対１４５と用いられ、大
きいＦＯＶを実現している。図４５（ｂ）の構成の場合、すべてのプロジェクタの光心を
ミラーピラミッド内に同配列して、１つの仮想大型ＦＯＶプロジェクタを作り出すことが
できる。同様にカメラの光心も同配列して１つの仮想大型ＦＯＶカメラを作り出すことが
できる。
【０３２２】
図４６は複数の大きいＦＯＶプロジェクタ１５３ａおよびＦＯＶプロジェクタ１５３ｂ
を用いてより大きい全体的投影ＦＯＶを達成することができることを示す。１つ以上の通
常のプロジェクタ１５５も組み合わせて使用することができる。見られるように、点線１
５７で示されるＦＯＶプロジェクタ１５３ａのＦＯＶは、点線１５９で示されるＦＯＶプ
ロジェクタ１５３ｂのＦＯＶと、重複量１６１だけ重なっている。ＦＯＶプロジェクタ１
５３ａおよびＦＯＶプロジェクタ１５３ｂからの画像は複数のプロジェクタを組み合わせ
るための上述の方法を用いて組み合すことができる。
【０３２３】
本発明の別の実施形態は以下「動的構成」と呼ばれるが、プロジェクタと映写画面との
間の動く物体に対し補正し、または映写画面に対する周囲照明の変化に対し補正し、また
は映写画面自体の動きに対し補正すべく投影画像がリアルタイムで調節されることを可能
にする。
【０３２４】
複数のプロジェクタが自動的に位置合わせできるようを較正する方法は上記に説明され
る。取られる方法は光輸送行列Ｔに基づいており、これはプロジェクタの画像ｐおよびカ
メラで取り込まれた画像ｃ間の関係をｃ＝Ｔｐとする。また上記に光輸送行列Ｔを効率的
に格納する方法、および光輸送行列Ｔを生成するのに必要な取り込み画像を（ｐ×ｑ）〜
（ｐ＋ｑ）、またはそれ以下、に削減する方法も説明される。さらに以下の関係により光
輸送行列Ｔの各列において取り込まれた２つの画像を合成する方法が示される。
【０３２５】
【数３７】
0005338217.tif 000038
ここで、Ｔｊは光輸送行列Ｔのｊ番目の列、Ｓ１およびＳ２はＳ１∩Ｓ２＝｛ｊ｝であ
る２組のピクセル、およびＣS1、ＣS2は光輸送行列Ｔの各々の列の合計、すなわちＣS＝
Σj∈SＴｊ、である。
【０３２６】
光輸送行列Ｔの各列はプロジェクタからの１つのピクセルの投影画像であり、逆光輸送
行列Ｔ-1の近似を求めるために、
【０３２７】
【数３８】
0005338217.tif 000039
となり、Ξｒは行列Ξのｒ番目の列であるような行列Ξを構築することができることを想
起すると、上記により詳細に説明されたように、
【０３２８】
【数３９】
0005338217.tif 000040
これは、
【０３２９】
【数４０】
0005338217.tif 000041
を意味する。従って関係Ｔｐはｐ＝（Ｔ-1）＊ｃと整理することができ、これは次ぎの
ように近似することができる。
【０３３０】
【数４１】
0005338217.tif 000042
【０３３１】
上述のように、ΞTは本考察において「ビュー投影行列」と呼ばれる。ビュー投影行列
ΞTの意味合いは、望ましい眺めｃが与えられた場合、投影された画像ｐは基準カメラ（
望ましい眺めｃの画像を作成した）の位置から眺めると、望ましい眺めｃと同じ外観を有
する場面を実現するような画像ｐ＝（ΞT）＊ｃを見出す（すなわち作成または生成する
）ということである。
「動的構成」の話題に戻ると、光輸送行列Ｔは光がプロジェクタからカメラに伝わる形
を捕らえ、この関係はプロジェクタ−カメラ対が照明／観察している場面または表示表面
の関数である。プロジェクタ−カメラ−場面の構成が変化すると、光輸送行列Ｔが変化す
る。これは、ビュー投影を実施する（すなわち特定の視点から望ましい画像を再生する）
ためには各構成に対し異なったビュー投影行列ΞTが必要であることを意味する。
【０３３２】
プロジェクタ−カメラ−場面設定にＣ１，…，ＣＮと表示されるＮ個の可能な構成があ
るとすると、各構成ＣＩに対し光輸送は光輸送行列ＴCIで記述され、正しくビュー投影を
実施するにはその対応ビュー投影行列（ΞCI）Tが必要である。以後「ビュー投影行列」
は、この「ビュー投影行列」が変化する場面または映写表面上で安定した投影画像を維持
するためにグループとして使用される一連の複数の行列の一部である（すなわち１つの行
列から別のものへ切り替える）ことを強調するために、ビュー投影行列ＶCIと表示される
（すなわちＶCI＝（ΞCI）T、例えばＶC1＝（ΞC1）T、ＶC2＝（ΞC2）T、ＶC3＝（ΞC3
）T，…，ＶCN＝（ΞCN）T、等々）。従って各構成ＣＩについて「光輸送行列」および「
ビュー投影行列」の方程式は次のようになる。
【０３３３】
【数４２】
0005338217.tif 000043
これは、
【０３３４】
【数４３】
0005338217.tif 000044
につながり、または近似として次のようになり、
【０３３５】
【数４４】
0005338217.tif 000045
これは次のように書くことができる。
【０３３６】
【数４５】
0005338217.tif 000046
【０３３７】
この「動的構成」の方法は幾つかの例を提供すると最も良く理解されよう。第１の例は
回転舞台に取り付けられた回転する剛体である。剛体が回転すると構成は動的に変化する
。状態空間を回転舞台のＮ個の異なった角度に不連続化（すなわち個別的な例に量子化ま
たは分割）すると、Ｎ個の異なったビュー投影行列を取り込むことができ、各構成につい
て対応する「ビュー投影行列」を用いる。
【０３３８】
別の例は６の自由度（６−ＤＯＦ）内における剛体の動きである。回転する剛体といっ
た前の例はこのより一般的な例の中で「１」の自由度しか変化しないという特別な例とみ
なすことができる。一般的に物体は「６」の自由度を以って平行移動および回転すること
ができる（平行移動が「３」、回転が「３」）。同様に状態空間はＮ個の異なった回転お
よび平行移動構成に不連続化することができる。
【０３３９】
カメラおよびプロジェクタが各々につき「６」の自由度で動くことも可能である。この
場合「１８」の独立した自由度すべてを含む状態空間を不連続化する。これはカメラおよ
びプロジェクタを含む剛体の６−ＤＯＦ運動の例である。また、硬くない動く物体のシス
テム内のカメラおよびプロジェクタの例もあり得る。この場合物体は形状を変化させるこ
とができ、状態空間が拡大される。例えば物体は関節をなし、または膨張および／または
収縮することができる。
【０３４０】
強力なコンピュータシステムを用いてＮ個の「ビュー投影行列」を適用し、Ｎ個の不連
続サンプルに必要な画像をリアルタイムで具現することもできるが、別の方法は画像を前
以て具現することである。実際のリアルタイムの稼動においては、ｐ＝ＶCI＊ｃを演算す
る際、「進行中」に（すなわちリアルタイムで）行列を切り替えるだけの演算および格納
リソースがないかも知れない。しかし、ある特定の時間ｔにおけるシステム状態が前以て
知られており、ＣS(t)と表示される場合（ここでｓ：ｔ→Ｉで、Ｉはある状態のインデッ
クス）、時間におけるプロジェクタ画像は次のように前以て演算することができる。
【０３４１】
【数４６】
0005338217.tif 000047
【０３４２】
このように、プロジェクタ画像を予め演算（すなわち変換）し、剛体（上記の例のいず
れかに説明される）の所定の動きを補正し映写場面上に歪みのない投影画像を表示するこ
とができる。変換（すなわち予め演算）された画像はデジタルメディア内に格納された一
連のデジタル静止画像であり得ることが理解されよう。従って、これら一連のデジタル静
止画像を標準ビデオ形式（ｍｐｅｇ１、ｍｐｅｇ１１、ａｖｉ、またはａｖｃ等々デジタ
ル、またはフィルムなどアナログの）に変換し格納されたビデオを再生することにより動
く画像を生成することができる。
【０３４３】
図４７に関し、上述の「動的構成」の例を絵で表したものはカメラ３０１およびプロジ
ェクタ３０３の対、映写画面３０５（または任意の映写場面）、および映写画面３０５と
プロジェクタ３０３との間に動く物体３０７を有してなる。カメラ３０１はＮ個の個別的
ビュー投影行列ＶCI¬を作成するのに必要である。カメラ３０１はプロジェクタ３０３の
非常に近くに位置する必要はなく、カメラ３０１はさらにプロジェクタ３０３から離れて
予期される視聴者の位置に一致した見晴らしの利く地点（または場所）に位置し得ること
が理解されよう。さらに、カメラ３０１はビュー投影行列ＶCIの作成中にのみ必要で、適
当なビュー投影行列ＶCIが作成された後取り除けることが理解されよう。
【０３４４】
本例で、動く物体３０７は映写画面３０５の前の障害物として説明されるが、本発明内
ではさらに動く物体３０７自体が望ましい映写場面の一部であることも考えられる。例え
ば、動く物体３０７はディスプレイ（例えば回転販売ディスプレイまたは商品ディスプレ
イ）であっても良く、投影画像は広告でも良く、またはディスプレイについて追加情報（
例えば販売情報、または展示商品の詳細な説明、または別の製品についての問い合わせを
見込み客に促す案内、等々）を提供することもできる。
【０３４５】
さらに動く物体３０７自体が望ましい映写場面全体を具現することも想定できる。この
場合、映写画面３０５は必要でなくなる。以下の考察においては、望ましい映写場面が動
く物体３０７および映写画面３０５双方を包含するより一般的な例が説明される。本明細
書でなされる説明はすべて望ましい映写場面が映写画面３０５を含まず、代わりに動く物
体３０７のみによって具現される特別な場合にも等しく適用できることが理解されよう。
【０３４６】
図４７において、動く物体３０７は回転トレー３１１の上にあるカップ３０９で具現さ
れる。動く物体３０７は任意の動く物体であって良く、図４７に描かれる回転運動の代わ
りに（またはそれに加えて）上下および／または左右に動くことができることが理解され
よう。動く物体３０７は剛体で所定のパターンで動くことが好ましい。さらに動く物体３
０７は繰り返しの運動パターンに従うことが好ましい。
【０３４７】
図４８に関し、図４７の動く物体３０７が各種の運動状態にあるところを図示する。矢
印３２１はこれら運動状態の変化を示し、運動がどのようにＮ個の不連続状態または位置
に不連続化されるかを図示する。各不連続状態または位置において新たな投影行列Ｖ¬¬
CIが作成される。例えば第１不連続位置ＤＰ_１において、第１ビュー投影行列ＶC1が上
述のいずれかの方法を用いて作成される。動く物体３０７は次に第２不連続位置ＤＰ_２
に進めることができ、第２ビュー投影行列ＶC2が上述のいずれかの方法を用いて作成され
る。このプロセスは繰り返され、進んで第３の固定位置において第３ビュー投影行列ＶC3
が、進んで第４の固定位置において第４ビュー投影行列ＶC4が作成され、以下同様にＮ個
の固定の不連続位置各々においてＮ個のビュー投影行列ＶCNが作成される。不連続位置Ｎ
の数が多ければ多いほど投影画像間の遷移が円滑であることが理解されよう。
【０３４８】
Ｎ個のビュー投影行列ＶCNは各々別個の行列で、一旦、Ｎ個のビュー投影行列ＶCNが作
成されると、プロジェクタ３０３は動く物体３０７および映写画面３０５に静止画像また
は動画像を投射し、最小限の歪みの映写画像を作成することができる。しかし、プロジェ
クタ３０３は動く物体３０７の任意の不連続位置Ｑに対し適切なビュー投影行列ＶCIに切
り替える（すなわち使用する）ことが必要である。例えば、動く物体３０７が現在、第２
不連続位置ＤＰ_２に対応する位置にある場合、プロジェクタ３０３は第２不連続位置Ｄ
Ｐ_２に対応するビュー投影行列ＶC2¬を使用する必要がある。動く物体３０７が第３不
連続位置ＤＰ_３に進むと、プロジェクタ３０３は対応する第３ビュー投影行列ＶC3¬に
切り替える必要があり、以下同様である。
【０３４９】
各不連続位置は固定位置であるが、動く物体３０７の固定運動パターンは不連続位置状
態の数で定義される等しい区分に分割することができる。動く物体が１つの不連続位置状
態の範囲にある経過距離内にある間、プロジェクタ３０３はその１つの不連続位置状態に
対応する同じビュー投影行列を使用することができる。
【０３５０】
図４９はプロジェクタ３０３が複数（すなわちＮ個）の異なったビュー投影行列ＶC1〜
ＶCN間で切り替え得る一例を図示する。本例において、プロジェクタ３０３は行列選択モ
ジュール３３１をアクセスでき、これはメモリ３３３に格納される異なったビュー投影行
列ＶC1〜ＶCNに対しソフトウェアまたはハードウェアによるメモリポインタを設定する。
理解されるように、適当なビュー投影行列ＶC1〜ＶCNの選択は動く物体３０７の現在位置
に依存する（図４８を参照）。
【０３５１】
これはプロジェクタに対する動く物体の開始位置および開始時間の綿密なタイミングに
より達成され得る。しかし、より確実で、システム設定の際に人間の介入をそれほど必要
としない方法はフィードバックリンク、または信号を動く物体３０７からプロジェクタ３
０３に組み入れ、動く物体３０７の映写画面３０５および／またはプロジェクタ３０３に
対する位置をプロジェクタ３０３に知らせることである。
【０３５２】
図５０はこのフィードバックリンクを確立する方法の３つの例を図示する。図５０の中
で図４７に類似した要素はすべて共通の参照番号を有し、上記に説明される。図５０にお
いて、動く物体３０７は広告ディスプレイであっても良いが、モータ３１６で動かされる
。カメラ３０１がある場合、またはプロジェクタ３０３に光センサが組み入れられている
場合、回転体としての動く物体３０７は発光体３１０（随意異なった識別色または発光周
波数が可能）を組み入れてその動きを示すことができる。モータ３１６が動きを追跡する
ことができるので、ケーブルリンク３１２または無線伝送リンク３１４が動く物体３０７
およびプロジェクタ３０３間にフィードバック通信リンクを提供することがより好ましい
。
【０３５３】
このフィードバック通信リンクは動く物体３０７がその相対位置（すなわち位置状態）
をプロジェクタ３０３に伝えることを許し、それにプロジェクタ３０３が対応するビュー
投影行列ＶCIを選択し、および／またはプロジェクタ３０３がいつビュー投影行列を切り
替える準備ができたかをモータ３１６に知らせることを許し、それによりモータ３１６は
いつ次の固定された所定の位置状態に進む（すなわち回転する）ことが可能かを知ること
ができる。
【０３５４】
図５１は動く物体３０７の位置状態に従って適当なビュー投影行列を映写画像に適用す
る別の方法を図示する。この場合において、転換される画像にすべてのビュー投影行列Ｖ
C1〜ＶCNが同時に適用され、得られるＮ個の変換画像はマルチプレクサ（すなわちＭＵＸ
）３４１に適用される。プロジェクタ３０３により投影されるべき適切な画像は動く物体
３０７の現在の位置状態に依存しており、これは上述のとおり、綿密なタイミングまたは
動く物体３０７からプロジェクタ３０３への位置フィードバック信号の使用により判定す
ることができる。本例において、適切なビュー投影行列の判定がなされた後、Ｍａｔｒｉ
ｘ_Ｓｅｌｅｃｔ入力３４５が適切なビュー投影行列をプロジェクタ３０３に移転する。
この方法は複数のビュー投影行列間で切り替える必要がないので、図４９に図示するもの
に比べ速いという利点を提供する。ビュー投影行列ＶC1〜ＶCNはすべて同時に投影される
画像に適用される。但しこの方法はより多くの電力を消耗し、複雑さを加える。
【０３５５】
複数のビュー投影行列ＶC1〜ＶCN間で切り替える代わりの第３の方法が図５２に図示さ
れる。この場合、切り替えネットワーク３５１が画像ｃを適切なビュー投影行列に適用さ
れる（すなわち画像ｃは変換される）。適切なビュー投影行列ＶC1〜ＶCNは対応するイネ
ーブル入力Ｅ1〜ＥNによりイネーブルされる。
【０３５６】
しかしここで好ましい実施形態は複数のビュー投影行列ＶC1〜ＶCN間で切り替えること
をまったく避ける。この方法は動く物体の所定の運動パターン、および動く物体の各所定
の位置状態で投影される画像がわかっていることを利用する。
【０３５７】
図５３に関し、一定の位置状態で各ビュー投影行列ＶC1〜ＶCNが作成されるにつれ、作
成されたビュー投影行列は補正（すなわち変換）したい対応する画像に適用され、人間の
視聴者の視点から歪みのない画像を実現する。これは各ビュー投影行列ＶC1〜ＶCNにおよ
びその対応する取り込み画像ｃ1〜ｃNに対し１対１となる一連の変換画像ｐ1〜ｐNを作り
出す。各変換画像ｐ1〜ｐNが作成されるにつれ、保存され（すなわちデジタルな形で格納
またはフィルムに記録される）、作成された対応したビュー投影行列ＶC1〜ＶCNは廃棄す
ることができ、または新たな取り込み画像を変換する可能性に対しアーカイブ記憶に置く
ことができる。一連の保存された変換画像ｐ1〜ｐNは次に繋げてビデオ画像を形成するこ
とができる。各変換画像ｐ1〜ｐNは動く物体３０７の位置状態に従ってプロジェクタ３０
３により進められる（すなわち個々に投影される）。
【０３５８】
図５０に関し上述のとおり、これは対応する映写画像が進むにつれ動く物体３０７の動
きの時間を精密に計る（すなわち同期化する）ことにより達成される。しかし好ましくは
プロジェクタ３０３と動く物体３０７との間でフィードバック通信システムを用いて投影
された変換画像ｐ1〜ｐNを動く物体３０７の対応する位置状態に同期化することができる
。さらに上述のとおり、変換画像ｐ1〜ｐNはｍｐｅｇ１、ｍｐｅｇ２、ｍｐｅｇ４、ａｖ
ｉ、ａｖｃ、等々の任意の知られたビデオ規格に符号化することができる。
【０３５９】
動く物体３０７に眺めを投影することが望まれる場合、標準的な秒当たりのフレーム数
に従うことが望ましい。例えば、代表的なビデオは毎秒３０フレーム（すなわち３０ｆｐ
ｓ）を用いるかもしれないが、動く物体３０７はその所定の運動パターン１周を完了する
の２４０秒を必要とするかもしれない。この場合３０ｆｐｓを維持するために位置状態毎
に複数の変換画像を作成する必要がる。例えば、動く物体が１つの所定運動パターンを完
了するのに必要な２４０秒にわたり、６０個の位置状態が定義されている場合、６０個の
異なったビュー投影行列が構築され（すなわちＮ＝６０）、各ビュー投影行列は投影ビデ
オの４秒間使用される（すなわち２４０／６０＝４）。
【０３６０】
この場合、対応したビュー投影行列毎に変換される必要のある画像ｐの数は「１２０」
である（すなわち３０ｆｐｓ掛ける４秒）。あるいは、Ｎは円滑な画像を維持するのに必
要なフレーム数に等しくされても良い。これは各画像が対応したビュー投影行列が作成さ
れるにつれ変換され、一旦、作成されるとビュー投影行列はもはや必要となくなるので可
能である。本例においてこれはＮが７２００（すなわち３０ｆｐｓ掛ける２４０秒）に等
しく設定されることを意味する。これは設定するのにある程度時間がかかるが、一旦、画
像が対応するビュー投影行列により変換されると、プロジェクタ３０３による転換画像の
再生はさらに演算を必要としない。
【０３６１】
代表的な設定は図５４に示すようであることができる。図４７に類似した図５４の要素
はすべて類似した参照番号を有し、上記に説明される。図５４において、動く物体３０７
は複数（厳密には８個）のカップ３９９を載せた回転トレー３１１で表される。あるいは
図４７の構成が高速度で回転トレー３１１を回転され、不連続位置Ｎの数が多いと仮定す
ると、図５４は回転トレー３１１が高速回転をしている結果１つのカップが高速度で動く
結果の視覚効果を表すことができる。
【０３６２】
図５５は本発明を図５４の設定の映画画像３５２を投影するために用いられるところを
図示する。
【０３６３】
発明はいくつかの具体的な実施形態に関連して説明されたが、前述の説明に照らし当業
者であればさらに多くの代替、修正、および別形態が明らかであろう。従って、本明細書
で説明した発明は添付クレームの精神および範囲に含まれるこのような代替、修正、用途
、および別形態すべてを包含することを意図している。
【図面の簡単な説明】
【０３６４】
【図１】（ａ）、（ｂ）は、デュアル・フォトグラフィを実施するための従来の構成を示す。
【図２】（ａ）、（ｂ）は、本発明によるデュアル・フォトグラフィの構成を示す。
【図３】１つのプロジェクタピクセルから投射される光線が場面から反射されカメラセンサのピクセルアレイに小さな光フットプリントを形成する例である。
【図４】映像が情報のアレイとしてどのように表示され得るかの例である。
【図５】カメラセンサのピクセルアレイに取り込まれた光フットプリントが情報のアレイとしてどのように表示され得るかの例である。
【図６】プロジェクタにおける１つのプロジェクタピクセルの活性化によりもたらされるデジタルカメラ内の光センサアレイに投影されるフットプリントを図示した例である。
【図７】図３の例を反映した、光輸送行列Ｔ内における光輸送係数の列を図示した例である。
【図８】（ａ）、（ｂ）は、市松格子パターンを有する場面に同時に投影される２列のプロジェクタピクセルの２つの例を示す。
【図９】（ａ）、（ｂ）は、市松格子パターンを有する場面に同時に投影される２行のプロジェクタピクセルの２つの例を示す。
【図１０】（ａ）は、図６および図８（ａ）の画像を組み合わせることにより作成される、１つのプロジェクタピクセルによりもたらされる発生光線のフットプリントを示し、（ｂ）は、図７および図８（ｂ）の画像を組み合わせることにより作成される、１つのプロジェクタピクセルによりもたらされる発生光線のフットプリントを示す。
【図１１】プロジェクタピクセルを図９（ａ）または図９（ｂ）で発生された光線で決定される非ゼロ値の光輸送係数に結び付けたインデクスの第１例である。
【図１２】プロジェクタピクセルを図９（ａ）または図９（ｂ）で発生された光線で決定される非ゼロ値の光輸送係数に結び付けたインデクスの第２例である。
【図１３】（ａ）は、実デジタルカメラで撮影した実取り込み画像を示し、（ｂ）は、実デジタルプロジェクタから見た、本発明の方法を用いて生成されたデュアル取り込み画像を示す。
【図１４】プロジェクタを較正するためにホモグラフィの使用を適用した結果の例である。
【図１５】プロジェクタと場面の間に置かれた２つのワイングラスにより歪められた映像を示す。
【図１６】２つの別個のプロジェクタピクセルにより実現された２つの重なり合った隣接光フットプリントの例である。
【図１７】本発明による、任意の場面に表示制約を課すためのプロセスの例である。
【図１８】図１７に示された表示制約賦課におけるさらなる工程である。
【図１９】本発明がポスター画像の色補正に適用される例である。
【図２０】図１５の映写場面で、本発明の光歪みを補正する方法を適用した状態を示す。
【図２１】没入型表示システムの作成にデュアル・フォトグラフィを用いる典型的な映写設定である。
【図２２】没入型プロジェクタＰ２が前面投射型の仮想プロジェクタＰ１”をシミュレートするために用いられるところを示す。
【図２３】（ａ）は、実前面投射型のプロジェクタにより投影された画像の右側を示し、（ｂ）は、（ａ）に示す画像の左側を示し（（ｂ）においては画像の左側は没入型プロジェクタにより投影される）、（ｃ）は、（ａ）の右側画像を（ｂ）の左側画像に接合したところを示す。
【図２４】さらに没入型プロジェクタにより生成された左側の画像を前面投射型のプロジェクタにより生成された右側の画像を接合した例を示す。
【図２５】（ａ）〜（ｃ）は、実際の部屋の中に仮想モデル部屋で作り出された仮想画像を再現した、本発明の別の適用を示す。
【図２６】本発明の最小限の形態に従った典型的映写システムである。
【図２７】図２６の設計に基づくプロトタイプを示す。
【図２８】図２７の構成を別の角度から示す。
【図２９】（ａ）は、図２７および図２８の映写システムを設置した部屋を周辺光の下で示し、（ｂ）は、（ａ）の部屋を没入型映写照明の下で示す。
【図３０】（ａ）は、較正されていない画像を投影した図２９（ａ）の部屋を示し、（ｂ）は、較正された画像を投影した図２９（ａ）の部屋を示す。
【図３１】（ａ）は、較正されていない空白の映像を投影した図２９（ａ）の部屋を示し、（ｂ）は、較正された空白の映像を投影した図２９（ａ）の部屋を示す。
【図３２】本発明をドーム型ミラープロジェクタに適用する第１工程である。
【図３３】本発明をドーム型ミラープロジェクタに適用する第２工程である。
【図３４】本発明をドーム型ミラープロジェクタに適用する第３工程である。
【図３５】ドーム型ミラープロジェクタの投影用に正確に歪められた画像を実現するために本発明を望ましい画像に適用したところを示す。
【図３６】図３５で生成された歪んだ画像を投影した結果を示す。
【図３７】天井据付運転の別の設計である。
【図３８】本発明の別の構成である。
【図３９】本発明のさらに別の構成である。
【図４０】２つ以上のプロジェクタ−カメラシステムをモザイク化して合成画像を作成する設定を示す。
【図４１】複数のプロジェクタ−カメラシステムによる画像の合成を示す。
【図４２】マルチプロジェクタ−カメラシステムにおける２つのプロジェクタ−カメラシステムの内、１つ目により投影された画像を示す。
【図４３】マルチプロジェクタ−カメラシステムにおける２つのプロジェクタ−カメラシステムの内、２つ目により投影された画像を示す。
【図４４】複雑な表面に市松格子パターンを投影することに本発明を適用した例である。
【図４５】（ａ）は、１つの曲面ミラー１２５および複数のプロジェクタ−カメラ対１４５を使用する設計を示し、（ｂ）は、１つのミラーピラミッド１５１および複数のプロジェクタ−カメラ対１４５を使用する設計を示す。
【図４６】全体により大きい映写ＦＯＶを達成するために複数の大きいＦＯＶプロジェクタ１５３ａおよびＦＯＶプロジェクタ１５３ｂを用い得ることを示す。
【図４７】動く物体がプロジェクタと映写画面または映写場面との間に置かれる動的構成の例を示す。
【図４８】動く物体の動きパターンをＮ個の不連続位置状態に分割することを図示する。
【図４９】Ｎ個のビュー投影行列を単一のメモリ空間にグループ化することおよび異なった投影行列の選択を図示する。
【図５０】図４７の構造にどのようにフィードバック機構を組み入れるかの例を提供する。
【図５１】複数のビュー投影行列の中で切り替えるためのハードウェア構成の一例である。
【図５２】複数のビュー投影行列の中で切り替えるためのハードウェア構成の別の例である。
【図５３】複数の予め変換された投影画像の作成および予め変換された投影画像をメモリに格納された形、またはフィルムに転写された形の順に投影される画像へのグループ化を図示する。
【図５４】図４７の構造の別の構成である。
【図５５】動的構成を適用して映写表面の前にある動く物体上、および物体そのものに歪みのない画像を投影する実演を示す。
【符号の説明】
【０３６５】
１…光線、３…プロジェクタレンズ、５…映写表面、７…カメラレンズ、１１…実デジ
タルプロジェクタ、１３…実映像、１５…実デジタルカメラ、１７…プロジェクタのピク
セルアレイ、１９…カメラセンサのピクセルアレイ、２１…実デジタルプロジェクタ、２
３…実映像、２５…実デジタルカメラ、２７…実デジタルプロジェクタのピクセルアレイ
、２９…カメラセンサのピクセルアレイ。
【図１】
0005338217.tif 000048
【図２】
0005338217.tif 000049
【図１１】
0005338217.tif 000050
【図２１】
0005338217.tif 000051
【図３７】
0005338217.tif 000052
【図３８】
0005338217.tif 000053
【図３９】
0005338217.tif 000054
【図４０】
0005338217.tif 000055
【図４１】
0005338217.tif 000056
【図４２】
0005338217.tif 000057
【図４３】
0005338217.tif 000058
【図４５】
0005338217.tif 000059
【図４６】
0005338217.tif 000060
【図４７】
0005338217.tif 000061
【図４８】
0005338217.tif 000062
【図４９】
0005338217.tif 000063
【図５０】
0005338217.tif 000064
【図５１】
0005338217.tif 000065
【図５２】
0005338217.tif 000066
【図５４】
0005338217.tif 000067
【図３】
0005338217.tif 000068
【図４】
0005338217.tif 000069
【図５】
0005338217.tif 000070
【図６】
0005338217.tif 000071
【図７】
0005338217.tif 000072
【図８】
0005338217.tif 000073
【図９】
0005338217.tif 000074
【図１０】
0005338217.tif 000075
【図１２】
0005338217.tif 000076
【図１３】
0005338217.tif 000077
【図１４】
0005338217.tif 000078
【図１５】
0005338217.tif 000079
【図１６】
0005338217.tif 000080
【図１７】
0005338217.tif 000081
【図１８】
0005338217.tif 000082
【図１９】
0005338217.tif 000083
【図２０】
0005338217.tif 000084
【図２２】
0005338217.tif 000085
【図２３】
0005338217.tif 000086
【図２４】
0005338217.tif 000087
【図２５】
0005338217.tif 000088
【図２６】
0005338217.tif 000089
【図２７】
0005338217.tif 000090
【図２８】
0005338217.tif 000091
【図２９】
0005338217.tif 000092
【図３０】
0005338217.tif 000093
【図３１】
0005338217.tif 000094
【図３２】
0005338217.tif 000095
【図３３】
0005338217.tif 000096
【図３４】
0005338217.tif 000097
【図３５】
0005338217.tif 000098
【図３６】
0005338217.tif 000099
【図４４】
0005338217.tif 000100
【図５３】
0005338217.tif 000101
【図５５】
0005338217.tif 000102