(57)【要約】【課題】反射屈折型プロジェクター、さらには複数のプロジェクターを必要とするものに対し、単一のプロジェクターを用いた全方向映写システムを提供すること。【解決手段】前記プロジェクター・ピクセルのアレーを前記センサーピクセルのアレーに相関させる光輸送行列を得るステップと、光輸送行列からぶれカーネルを生成するステップと、入力画像を該光輸送行列の逆行列で掛けて中間変換画像を作成するステップと、該ぶれカーネルを用いて前記中間変換画像に逆重畳を適用し最終画像を作成するステップと、該最終画像を投影するために前記デジタルプロジェクターに提出するステップとを実施するステップとを有する。【選択図】図２
2010122679.tif 000002
【特許請求の範囲】
【請求項１】
デジタルプロジェクターをデジタルカメラに対し較正する方法であって、
前記デジタルプロジェクターはプロジェクター・ピクセルのアレーを有し、かつ前記デ
ジタルカメラはセンサーピクセルのアレーを有し、
（ａ）前記プロジェクター・ピクセルのアレーを前記センサーピクセルのアレーに相関
させる光輸送行列を得るステップであって、前記光輸送行列は前記プロジェクター・ピク
セルのアレー内の別個のプロジェクター・ピクセルに各々対応する複数の光輸送データセ
ットを含み、且つ前記光輸送行列は前記デジタルカメラにより判定された光輸送データか
らなるステップと、
（ｂ）前記光輸送行列からぶれカーネルを生成するステップであって、前記ぶれカーネ
ルは投影のぶれを示し、前記ぶれカーネルはさらに複数の異なる焦点外れデータセットか
らなり、且つ前記異なる焦点外れデータセットは前記プロジェクター・ピクセル・アレー
内の異なるプロジェクター・ピクセルに対応するステップと、
（ｃ）前記デジタルプロジェクターに投影される各入力画像について、（１）前記入力
画像を前記光輸送行列の逆行列で掛けて中間変換画像を作成するステップと、（２）前記
ぶれカーネルを用いて前記中間変換画像に逆重畳を適用し最終画像を作成するステップと
、（３）前記最終画像を投影するために前記デジタルプロジェクターに提出するステップ
とを実施するステップと、を有するデジタルプロジェクターをデジタルカメラに対し較正
する方法。
【請求項２】
前記ステップ（ｂ）において、前記ぶれカーネル内の各焦点外れデータセットはその対
応するプロジェクター・ピクセルに対しカスタム化される請求項1に記載のデジタルプロ
ジェクターをデジタルカメラに対し較正する方法。
【請求項３】
前記光輸送行列から前記ぶれカーネルを生成する前記ステップ（ｂ）は、前記プロジェ
クター・ピクセル・アレー内の各プロジェクター・ピクセルについて、
（ｉ）現在のプロジェクター・ピクセルの前記光輸送行列内における対応光輸送データ
セットを特定するステップと、
（ii）前記特定された光輸送データセット内ですべての非ゼロの光輸送データ入力を特
定するステップと、
（iii）二次元のガウス・カーネルを前記特定された非ゼロの光輸送データ入力にはめ
込み、前記現在のプロジェクター・ピクセルに対応する焦点外れデータセットを作成する
ステップとを有する請求項1に記載のデジタルプロジェクターをデジタルカメラに対し較
正する方法。
【請求項４】
前記ステップ（２）において、前記ぶれカーネルを用いた逆重畳は最急降下反復方法を
用いて前記中間変換画像に適用される請求項1に記載のデジタルプロジェクターをデジタ
ルカメラに対し較正する方法。
【請求項５】
前記ステップ（２）において、逆重畳は以下の公式
p = arg min/D  { ‖G （×） D − (T-1 ・ c ) ‖2    and    ∀r,s 0 ≦ D │ r, 
s │ ≦ 255}
ここで、pは前記最終画像、cは前記入力画像、Tは前記光輸送行列、Gは前記焦点外れカ
ーネル、Dは処理画像の各反復における現状で、プロジェクター・ピクセル座標は(r,s)と
特定され、記号（×）は重畳演算を表す。
によって前記ぶれカーネルを用い前記中間変換画像に適用される請求項1に記載のデジ
タルプロジェクターをデジタルカメラに対し較正する方法。
【請求項６】
前記公式は、Ｇ∧を、tが前記ぶれカーネルの枠サイズであるｇ∧[r, s] = ｇ∧[t − 
r,  t − s]を満足する空間的に変化するカーネルと定義し、初期反復においてDinおよび
D0にcを用いて以下の部分ステップ（Ｉ）乃至（ＩＶ）を繰り返すことによって達成され
る請求項５に記載のデジタルプロジェクターをデジタルカメラに対し較正する方法
(I)   R = Ｇ∧ （×） (Din¬ − G （×） Dn)と、
(II)  Dn+1 = Dn + αR wを用いてDnを更新するステップであって、
α = { (│R│2) /  (│G（×）R│)2} であり、Dn+1内の個々のピクセル値は本ステ
ップの終わりに0乃至255の間にクランプされるステップと、
(III)  Dの連続反復におけるすべてのピクセル[r,s]について以下の差を
Σ│D[r, s]n¬+1 − Din ¬¬¬│
p,q
により演算するステップと、
(IV)  前記部分ステップ(III)において演算された差が予め定義された閾値未満になる
まで前記部分ステップ(I)から(III)を繰り返すステップ。
【請求項７】
前記予め定義された閾値がβm2に設定され、m2は望まれる画像cのピクセル数でβは0を
超え1未満の、ユーザーにより定義可能な定数である請求項6に記載のデジタルプロジェク
ターをデジタルカメラに対し較正する方法。
【請求項８】
前記βは0.1乃至0.2に設定される請求項7に記載のデジタルプロジェクターをデジタル
カメラに対し較正する方法。
【請求項９】
画像Dは列信号ベクトルとして配置され、GおよびＧ∧は2つの疎行列で、重畳は行列の
乗算として公式化される請求項6に記載のデジタルプロジェクターをデジタルカメラに対
し較正する方法。
【請求項１０】
前記ステップ（１）において、前記光輸送行列の前記逆行列の作成は、表示制約を前記
光輸送行列に課すステップを有し、
前記表示制約は前記プロジェクターから放射される任意の2つの光線がカメラの画像セ
ンサーの区別可能な個所に当たるものと規定し、
前記表示制約を課すステップは、光輸送行列Tにおける各行について前記光輸送行列の
共通行に沿った行列入力を比較するステップと、共通行における最高値の行列入力以外の
すべてにゼロ値を割り当てて無効化するステップとを有し、結果としてもたらされる行列
は改変光輸送行列T*である請求項1に記載のデジタルプロジェクターをデジタルカメラに
対し較正する方法。
【請求項１１】
前記改変光輸送行列T*の逆行列は、
前記改変光輸送行列T*における各列を順に目標列として特定し、前記目標列に関し前記
目標列の無効化されていない入力値の正規化値を計算するステップと、
前記改変光輸送行列T*と等しいサイズの中間行列を作成するステップと、
前記改変光輸送行列における対応目標列の計算された正規化値で前記中間行列の各列を
埋めるステップであって、前記中間行列の埋められた各列における各正規化値は前記改変
光輸送行列T*の対応列における無効化されていない入力値と1対1の対応を維持しているス
テップと、
転置行列演算を前記中間行列に適用するステップとにより生成される請求項10に記載の
デジタルプロジェクターをデジタルカメラに対し較正する方法。
【請求項１２】
前記目標列に関し目標列の無効化されていない入力値の正規化値を計算するステップは
、前記目標列の無効化されていない入力値のみの二乗の総計を生成するステップと、前記
目標列の無効化値をすべて無視するステップと、無効化されていない各入力値を上述の総
計で割るステップとを有する請求項１１に記載のデジタルプロジェクターをデジタルカメ
ラに対し較正する方法。
【請求項１３】
前記中間行列をＴ∨とし、改変光輸送行列T*の目標列をT*rとし、Ｔ∨の対応する列を
Ｔ∨rとすると、Ｔ∨の構成と入力はＴ∨r =  T¬*r / (‖T*r‖)2と定義される請求項１
１に記載のデジタルプロジェクターをデジタルカメラに対し較正する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は反射屈折型プロジェクター・システムにおいて画像を作成し最適化する方法に
向けられる。より具体的に、本発明は投影画像、特に反射器および／または屈折器材料を
用いて投影された画像、における焦点外れおよび歪みの問題に対処する方法を提示する。
【背景技術】
【０００２】
高解像度およびハイコントラストのプロジェクターは形状収集から仮想環境やIMAX（登
録商標）劇場まで、多様な商業的および科学的用途に益々使用されるようになっている。
映像およびグラフィックス用途において、カメラはしばしばプロジェクターと組み合わさ
れ、いわゆる「インテリジェント・プロジェクター−カメラ・システム」、またはProCam
システムを形成する。これまでの研究は問題解決の新規ツールの役割を果たすインテリジ
ェントな映写システムのビジョンを提起している。物体の前以て制作された3Dモデルを用
い、シェーディング・ランプを使用して些細でない、複雑な形状の実際の物理的物体に仮
想テクスチャーおよびアニメーションを加えている。またProCamシステムにおける空時多
重化照明を用いて場面の奥行きを再生することが可能である。（例えば特許文献１、２参
照）しかし、克服すべき問題はまだ多い。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第７０８８４２６号明細書
【特許文献２】米国特許第７４１２１５９号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ピンホール・カメラのように、プロジェクターは限定された視野の問題がある、すなわ
ち単一のプロジェクターを用いてパノラマ映写を実現するのは難しいことがある。解決の
1つの可能性は複数のプロジェクターをモザイク化することで、複数プロジェクターの自
動モザイク化において著しい進歩がなされている。しかし、これらのシステムは通常複数
のプロジェクターと1つのカメラとの間で正確な幾何学的および測光的較正が必要である
。
【０００５】
カメラと個別プロジェクターの正確な幾何学的および測光的較正を円滑にする1つの方
法はACM SIGGRRAPH予稿、2005年、に出版されたSen他による「デュアル・フォトグラフィ
ー」（「Dual Photography」）と題する論文から得られ、引用により本明細書に全体とし
て組み入れられる。デュアル・フォトグラフィーはヘルムホルツの相反定理を利用して実
カメラで取り込んだ画像を用いプロジェクターから「見えた」（または事実上「取り込ん
だ」）画像をシミュレートする擬似画像（すなわちデュアル画像）を合成する。つまり、
擬似画像はプロジェクターから「見た」取り込み画像をシミュレートし、従ってプロジェ
クターが画像を取り込むことができたとした場合プロジェクターにより取り込まれた画像
がどうなるかを表す。
【０００６】
ヘルムホルツの相反定理は、光の流れはその輸送特性を変えることなく有効に逆向きに
できるという概念に基づいている。この相反定理は入射（ωi）および出射（ωO）方向間
の反射強度転移の対称性を説明する方程式として通常fr（ωi→ωO）=fr（ωO→ωi）と
要約され、ここでfrはある表面の双方向反射率分布関数（BRDF）を表す。
【０００７】
このようにデュアル・フォトグラフィーは、理想的には映像および取り込み画像のデュ
アルな性質（すなわちデュアリティー関係）を利用して一方を他方からシミュレートする
。デュアル・フォトグラフィー（より正確にはヘルムホルツの相反定理）はカメラとプロ
ジェクター間の光輸送特性を取り込む必要がある。より具体的に、デュアル・フォトグラ
フィーは放射光線を取り込み光線に関連付ける光輸送特性（すなわち光輸送係数）の判定
を必要とする。
【０００８】
しかしデジタルカメラおよびデジタルプロジェクターを扱う場合、デュアル・フォトグ
ラフィーは各プロジェクター・ピクセル（すなわちすべての放射光線）を1つ1つのカメラ
・ピクセル（すなわち放射光線の一部を取り込むすべての光センサー）に関連付ける別個
の光輸送係数を双方の装置の解像度において取り込む必要がある。
【０００９】
デジタルプロジェクターにより投影されデジタルカメラにより取り込まれる画像はデー
タの行列として表すことができるので、デジタルプロジェクターをデジタルカメラに関連
付ける光輸送行列Tの作成はデュアル・フォトグラフィーの使用を促進することになり、
これは反射屈折型光学システムのテーマに話を戻すことになる。
【００１０】
反射屈折型光学システムは通常反射屈折型望遠鏡および反射屈折型カメラに結び付いて
いるが、本発明の1つの目的は反射屈折型プロジェクターを作成することである。
本発明の第2の目的は複数のプロジェクターを必要とするものに対し、単一のプロジェ
クターを用いた全方向映写システムを提供することにある。
本発明の別の目的は反射屈折型プロジェクター・システムにより作成された画像を向上
させることにある。
【課題を解決するための手段】
【００１１】
本発明のデジタルプロジェクターをデジタルカメラに対し較正する方法は、デジタルプ
ロジェクターはプロジェクター・ピクセルのアレーを有し、かつ前記デジタルカメラはセ
ンサー・ピクセルのアレーを有し、
（ａ）前記プロジェクター・ピクセルのアレーを前記センサー・ピクセルのアレーに相
関させる光輸送行列を得るステップであって、前記光輸送行列は前記プロジェクター・ピ
クセルのアレー内の別個のプロジェクター・ピクセルに各々対応する複数の光輸送データ
セットを含み、且つ前記光輸送行列は前記デジタルカメラにより判定された光輸送データ
からなるステップと、
（ｂ）前記光輸送行列からぶれカーネルを生成するステップであって、前記ぶれカーネ
ルは投影のぶれを示し、前記ぶれカーネルはさらに複数の異なる焦点外れデータセットか
らなり、且つ前記異なる焦点外れデータセットは前記プロジェクター・ピクセル・アレー
内の異なるプロジェクター・ピクセルに対応するステップと、
（ｃ）前記デジタルプロジェクターに投影される各入力画像について、（１）前記入力
画像を前記光輸送行列の逆行列で掛けて中間変換画像を作成するステップと、（２）前記
ぶれカーネルを用いて前記中間変換画像に逆重畳を適用し最終画像を作成するステップと
、（３）前記最終画像を投影するために前記デジタルプロジェクターに提出するステップ
とを実施するステップと、を有することを特徴とする。
【００１２】
また、本発明のデジタルプロジェクターをデジタルカメラに対し較正する方法において
、前記ステップ（ｂ）において、前記ぶれカーネル内の各焦点外れデータセットはその対
応するプロジェクター・ピクセルに対しカスタム化されることを特徴とする。
【００１３】
また、本発明のデジタルプロジェクターをデジタルカメラに対し較正する方法において
、前記光輸送行列から前記ぶれカーネルを生成する前記ステップ（ｂ）は、前記プロジェ
クター・ピクセル・アレー内の各プロジェクター・ピクセルについて、
（ｉ）現在のプロジェクター・ピクセルの前記光輸送行列内における対応光輸送データ
セットを特定するステップと、
（ii）前記特定された光輸送データセット内ですべての非ゼロの光輸送データ入力を特
定するステップと、
（iii）二次元のガウス・カーネルを前記特定された非ゼロの光輸送データ入力にはめ
込み、前記現在のプロジェクター・ピクセルに対応する焦点外れデータセットを作成する
ステップとを有することを特徴とする。
【００１４】
また、本発明のデジタルプロジェクターをデジタルカメラに対し較正する方法において
、前記ステップ（２）において、前記ぶれカーネルを用いた逆重畳は最急降下反復方法を
用いて前記中間変換画像に適用されることを特徴とする。
【００１５】
また、本発明のデジタルプロジェクターをデジタルカメラに対し較正する方法において
、前記ステップ（２）において、逆重畳は以下の公式で表される。
p=arg min／D {‖G（×）D−（T-1・c）‖2  and  ∀r,s 0≦D│r,s│≦255}
ここで、pは前記最終画像、cは前記入力画像、Tは前記光輸送行列、Gは前記焦点外れカ
ーネル、Dは処理画像の各反復における現状で、プロジェクター・ピクセル座標は（r,s）
と特定され、記号（×）は重畳演算を表す。
この公式によって前記ぶれカーネルを用い前記中間変換画像に適用されることを特徴と
する。
【００１６】
また、本発明のデジタルプロジェクターをデジタルカメラに対し較正する方法において
、前記公式は、Ｇ∧を、tが前記ぶれカーネルの枠サイズであるｇ∧[r,s]=ｇ∧[t−r,  t
−s]を満足する空間的に変化するカーネルと定義し、初期反復においてDinおよびD0にcを
用いて以下の部分ステップ（Ｉ）乃至（IV）を繰り返すことによって達成されることを特
徴とする
（I）  R = Ｇ∧ （×） （Din¬ − G （×） Dn）と、
（II）  Dn+1 = Dn ＋αR wを用いてDnを更新するステップであって、α={（│R│2）
／（│G（×）R│）2} であり、Dn+1内の個々のピクセル値は本ステップの終わりに0乃至
255の間にクランプされるステップと、
（III）  Dの連続反復におけるすべてのピクセル[r,s]について以下の差を、
Σ│D[r, s]n¬+1 − Din ¬¬¬│
p,q
により演算するステップと、
（IV）  前記部分ステップ（III）において演算された差が予め定義された閾値未満に
なるまで前記部分ステップ（I）から（III）を繰り返すステップ。
【００１７】
また、本発明のデジタルプロジェクターをデジタルカメラに対し較正する方法において
、前記予め定義された閾値がβm2に設定され、m2は望まれる画像cのピクセル数でβは0を
超え1未満の、ユーザーにより定義可能な定数であることを特徴とする。
【００１８】
また、本発明のデジタルプロジェクターをデジタルカメラに対し較正する方法において
、前記βは0.1乃至0.2に設定されることを特徴とする。
【００１９】
また、本発明のデジタルプロジェクターをデジタルカメラに対し較正する方法において
、画像Dは列信号ベクトルとして配置され、GおよびＧ∧は2つの疎行列で、重畳は行列の
乗算として公式化されることを特徴とする。
【００２０】
また、本発明のデジタルプロジェクターをデジタルカメラに対し較正する方法において
、前記ステップ（１）において、前記光輸送行列の前記逆行列の作成は、表示制約を前記
光輸送行列に課すステップを有し、
前記表示制約は前記プロジェクターから放射される任意の2つの光線がカメラの画像セ
ンサーの区別可能な個所に当たるものと規定し、
前記表示制約を課すステップは、光輸送行列Tにおける各行について前記光輸送行列の
共通行に沿った行列入力を比較するステップと、共通行における最高値の行列入力以外の
すべてにゼロ値を割り当てて無効化するステップとを有し、結果としてもたらされる行列
は改変光輸送行列T*であることを特徴とする。
【００２１】
また、本発明のデジタルプロジェクターをデジタルカメラに対し較正する方法において
、前記改変光輸送行列T*の逆行列は、
前記改変光輸送行列T*における各列を順に目標列として特定し、前記目標列に関し前記
目標列の無効化されていない入力値の正規化値を計算するステップと、
前記改変光輸送行列T*と等しいサイズの中間行列を作成するステップと、
前記改変光輸送行列における対応目標列の計算された正規化値で前記中間行列の各列を
埋めるステップであって、前記中間行列の埋められた各列における各正規化値は前記改変
光輸送行列T*の対応列における無効化されていない入力値と1対1の対応を維持しているス
テップと、
転置行列演算を前記中間行列に適用するステップとにより生成されることを特徴とする
。
【００２２】
また、本発明のデジタルプロジェクターをデジタルカメラに対し較正する方法において
、前記目標列に関し目標列の無効化されていない入力値の正規化値を計算するステップは
、前記目標列の無効化されていない入力値のみの二乗の総計を生成するステップと、前記
目標列の無効化値をすべて無視するステップと、無効化されていない各入力値を上述の総
計で割るステップとを有することを特徴とする。
【００２３】
また、本発明のデジタルプロジェクターをデジタルカメラに対し較正する方法において
、前記中間行列をＴ∨とし、改変光輸送行列T*の目標列をT*rとし、Ｔ∨の対応する列を
Ｔ∨rとすると、Ｔ∨の構成と入力はＴ∨r =  T¬*r ／ （‖T*r‖）2と定義されること
を特徴とする。
【図面の簡単な説明】
【００２４】
【図１】（ａ）は、プロジェクター−カメラ・システムの撮像化設定を示す図である。（ｂ）は、図１（ａ）のシステムのデュアル設定を示す図である。
【図２】本発明による第1反射屈折型システムの物理的設定を示す図である。
【図３】（ａ）は、本発明による第2反射屈折型システムの物理的設定を示す図である。（ｂ）は、図３（ａ）の設定における表示画像のクローズアップ像である。
【図４】2つの区別可能なプロジェクター・ピクセルにより形成される2つの重なった隣接光フットプリントの例を示す図である。
【図５】本発明により任意の場面に表示制約を課すプロセスの例を示す図である。
【図６】図５における表示制約を課すさらなるステップを示す図である。
【図７】光輸送補正をした場合としない場合における画像の映写例の第1セットを示す図である。
【図８】光輸送補正をした場合としない場合における画像の映写例の第2セットを示す図である。
【図９】（ａ）は、表示制約が違反された場合の設定例を示す図である。（ｂ）は、表示制約が違反された図９（ａ）の設定における映写結果を示す図である。（ｃ）は、図９（ａ）の設定に表示制約を課した後の映写結果を示す図である。
【図１０】反射器に基づく反射屈折型プロジェクターにおける映写ぶれの原因の例を示す図である。
【図１１】空間的に変化する映写ぶれを示す図である。
【図１２】図１１（ａ）乃至（ｃ）の画像に本焦点外れ補正を適用した結果を示す図である。
【図１３】本発明による焦点外れ補正の適用を示すフローチャートである。
【図１４】図１３の工程62を実施する好ましい方法を示すフローチャートである。
【図１５】図１４の工程73を実施する好ましい方法を示すフローチャートである。
【図１６】光がどのように屈折器を通して伝播するかを示す図である。
【図１７】屈折器を通した映写による投影画像における歪みを説明する図である。
【図１８】歪み補正をした場合としない場合の投影結果を示す図である。
【図１９】長方形の部屋でセキュリティー・ドームを用いた本反射屈折型プロジェクターの撮像結果を示す図である。
【発明を実施するための形態】
【００２５】
添付図面と併せて以下の説明およびクレームを参照することにより他の目的および成果
と共に発明のより深い理解が明らかになろう。
【００２６】
消費者向けデジタルプロジェクターの最近の導入および急速な採用は画像およびビデオ
表示の展望を定義し直している。投影幾何学をモデル化するために、プロジェクター−カ
メラ・システム（すなわちProCamシステム）を設定し、プロジェクターを仮想ピンホール
・カメラとして扱うことができる。古典的な射影幾何学を次に直接適用して投影プロセス
を分析することができる。
【００２７】
プロジェクター−カメラ・システムの基本的な構造は図１（ａ）および１（ｂ）に関し
てより良く理解することができる。図１（ａ）において、撮像構成は実プロジェクター21
および実カメラ25を含み得る。実プロジェクター21はデジタルプロジェクターであること
が好ましく、p行およびq列の個別の撮像映写要素（すなわちプロジェクター・ピクセルj
）からなる撮像投影アレー（すなわちプロジェクター・ピクセル・アレー27）を含む撮像
要素を有する。プロジェクター・ピクセル・アレー27は実プロジェクター21の内部にあり
、説明の便宜上図１（ａ）において点線の正方形内の十字線で示される。
【００２８】
実カメラ25はm行およびn列の個別のカメラ・ピクセルi（すなわち画像センサー要素ま
たは受光ピクセル）からなるカメラ・センサーのピクセル・アレー29（すなわち受光アレ
ーまたは画像センサー・アレー）を含む画像センサーを有するデジタルカメラであること
が好ましい。簡単にするため、カメラ・センサーのピクセル・アレー29は実カメラ25上に
示されるが、カメラ・センサーのピクセル・アレー29は実カメラ25の内部にあることが理
解されよう。
【００２９】
実プロジェクター21内の個別のプロジェクター・ピクセルjから発射された光線は不規
則なまたは平面の形状を有し得る映写表面（すなわち表示環境または場面）から反射され
ることにより場面（すなわち映写表面）上の実画像23を形成し、光線の一部は最終的に実
カメラ25内の画像センサー・アレー29に到達する。一般的に各光線は場面で分散、反射、
および屈折し、画像センサーのピクセル・アレー29にわたりいくつか異なった位置でカメ
ラの画像センサーに当たる。このように、個別のプロジェクター・ピクセルjから放射さ
れた1つの光線が実カメラ25に到達すると、個々に投射された光線はm×nの画像をカメラ
・センサーのピクセル・アレー29上で形成し、個々のカメラ・ピクセルiは投射光線から
一定量の光を受ける。
【００３０】
従って理想的には1つのプロジェクター・ピクセルjをオンにして1つの光線を放射させ1
つのカメラ・ピクセルiに当たるようにして1つのプロジェクター・ピクセルjを1つのカメ
ラ・ピクセルiに関連付ける1つの光輸送係数を判定することができるように見えるかもし
れないが、実際にはそうでない。実際にはカメラ・センサーのピクセル・アレー29全体が
個々に放射された光線からの光強度の異なった寄与を受ける。従って、個々のプロジェク
ター・ピクセルj各々から放射される各光線はカメラ・センサーのピクセル・アレー29上
で異なる画像（または光の分布）を生成する。言い換えれば、作動した各プロジェクター
・ピクセルjはカメラ・センサーのピクセル・アレー29内のカメラ・ピクセルi各々に対し
1つの異なった組、またはアレー、の個別的光輸送係数を生成する。従って理想的には、
各プロジェクター・ピクセルの対応する光輸送係数の各組（またはアレー）は各カメラ・
ピクセルiに対し1つとなる（m×n）［すなわちm掛けるn］の個別的光輸送係数からなるこ
とになる。
【００３１】
各プロジェクター・ピクセルに対応する光輸送係数組を係数の列として配列し複合光輸
送行列、T、を形成すると、複合光輸送行列Tは個別のプロジェクター・ピクセルj各々に
対し異なった光輸送係数の列を有することになる。さらに、各列内の各光輸送係数入力（
すなわち行列要素）と各カメラ・ピクセルiとの間には1対1の対応があるので、各列は1つ
のプロジェクター・ピクセルjをオンにした結果カメラ25で取り込まれた画像全体を表す
。従って、光輸送行列T全体（すなわち複合の）は（p×q）［すなわちp掛けるq］列（オ
ンにされた各個別のプロジェクター・ピクセルjにつき1列［すなわち取り込み画像］）お
よび（m×n）行（各個別のカメラ・ピクセルiにつき1行）からなる。
【００３２】
以下の考察において実投影画像を、（p×q）要素（各プロジェクター・ピクセルjにつ
き１つ）を有する第1ベクトル、p、（すなわち実投影ベクトル）として、また結果として
もたらされる実取り込み画像を、（m×n）要素（各カメラ・ピクセルiにつき１つ）を有
する第2ベクトル、c、（すなわち実取り込みベクトル）として見ることが役立つ。
【００３３】
実投影画像（すなわちプロジェクター・ピクセル・アレー27全体を用いて投影した画像
）は（p×q）の実投影ベクトル”p”（すなわち「p掛けるqベクトル」）と表され、対応
する取り込み実画像（すなわちカメラ・センサーのピクセル・アレー29全体を用いて取り
込まれた画像）は（m×n）の実取り込みベクトル”c”（すなわち「m掛けるnベクトル」
）と表されると、実プロジェクター21と実カメラ25との間の光輸送関係は、
c = T p
と書くことができ、Tは実プロジェクター21を実カメラ25に関連付ける複合光輸送行列
である。光輸送行列Tは例えば個々かつ別々に各プロジェクター・ピクセルをjをオンにし
て各個別的カメラ・ピクセルiの対応光輸送係数を判定することにより前以て生成されて
いることが理解されよう。
【００３４】
図１（ｂ）に関し、「デュアル」な構成において実プロジェクター21は実プロジェクタ
ー・ピクセル・アレー27とサイズが等しい仮想カメラ・センサーのピクセル・アレー27”
を有する仮想カメラ21”で置き換えられる。このように仮想カメラ21”はp行掛けるq列の
仮想カメラ・ピクセルj”からなる仮想カメラ・センサーのピクセル・アレー27”を有す
る。同様にこの「デュアル」な構成において、実カメラ25は実カメラ・センサーのピクセ
ル・アレー29とサイズが等しい仮想プロジェクター・ピクセル・アレー29”を有する仮想
プロジェクター25”で置き換えられる。このように仮想プロジェクター25”はm行掛けるn
列の仮想プロジェクター・ピクセルi”からなる仮想プロジェクター・ピクセル・アレー2
9”を有する。
【００３５】
この場合、仮想画像23”（仮想プロジェクター25”により投影される）は（m×n）の仮
想投影ベクトルp”で表すことができる。同様に、仮想カメラ21”により取り込まれた仮
想取り込み画像は（p×q）仮想取り込みベクトルc”で表すことができる。従ってこのデ
ュアル構成において仮想取り込みベクトルc”は「デュアル」光輸送行列T”により仮想投
影ベクトルp”に関連付けられる。ヘルムホルツの相反性の原理により、光輸送は双方向
において等しい。従ってデュアル構成（すなわちデュアリティー変換構成）に対するデュ
アル光輸送行列T”は次の関係で仮想取り込みベクトルc”を仮想投影ベクトルp”に関連
づける。
c”＝Ｔ”ｐ”
【００３６】
しかしこの関係はデュアル光輸送行列T”を構成し、仮想的に投影された画像を仮想的
に取り込まれた画像に関連付ける大量の「仮想」光輸送係数をどのように判定できるかと
いう問題を提議する。実光輸送行列Tからそのデュアル光輸送行列T”へのデュアリティー
変換は実光輸送行列Tに対し転置行列演算を行なうことにより達成されることが見出され
ている。従って、T”はTの転置で、T”= TTおよびc”= TT p”となる。
【００３７】
本発明は図１（ａ）の構成概念をさらに進め反射屈折型プロジェクターと呼ばれる新し
い種類の投影システムに取り組んでいる。以下に、日用のデジタルプロジェクターを別途
の日用的光学装置を組み合わせることにより、アスペクト比、サイズ、および視野におい
て前例のない自由度のレベルを提供する反射屈折型プロジェクターを作成し得ることを示
す。
【００３８】
図２に関し（図１（ａ）の要素に類似したものは類似した参照文字で特定される）、本
発明による反射屈折型プロジェクター（または反射屈折型プロジェクター・システム）は
デジタルプロジェクター21、場面領域23を含み、少なくとも初期設定の目的からデジタル
カメラ21を用いることができる。図１の基本システムと異なり、図２の反射屈折型プロジ
ェクターはさらに光反射器または屈折器の光学装置を含む（すなわち、本例においてドー
ム型鏡25）。
【００３９】
プロジェクター・ピクセル・アレー27の任意のプロジェクター・ピクセルjから放射さ
れる光は場面23（すなわち映写スクリーン）に到達する前に光学装置（すなわちドーム型
鏡25）により反射または屈折され、その後カメラ・センサーのピクセル・アレー29内の画
像センサー・ピクセルiに到達する。光輸送行列Tは各プロジェクター・ピクセルjをカメ
ラ画像に相関させる（センサーのピクセル・アレー29に）。
【００４０】
図２の構成に代わる設定例が図３（ａ）で示され、本例において図２の光学装置はプラ
スチックの曲面鏡35として実施される。すなわち、図２の例と同様に、図３（ａ）の反射
屈折型プロジェクターもデジタルプロジェクター21および光学装置を含むが、光学装置は
曲面鏡35として実施される。説明を容易にするために、モニター37が通常はデジタルプロ
ジェクター21と向かい合う曲面鏡35の正面撮影像を表示する。図３（ｂ）はプロジェクタ
ー解像度全体（1024×768プロジェクター・ピクセル）を用いて壁に16m×3mの寸法の画像
を表示する、場面（すなわちスクリーン）に表示される画像のクローズアップ像を示す。
【００４１】
このように、本発明による反射屈折型プロジェクターは光学装置の未知の反射器および
／または屈折器の形状を仮定し、プロジェクターおよび光学装置間の正確な位置合わせを
必要としない。事実、プラスチック鏡、日用のセキュリティー・ドーム、およびワイン・
グラスでさえのようなありふれた反射および屈折物体を用いることができる。
【００４２】
反射および屈折物体の複雑な形状は非常な歪み、散乱、および焦点外れをもたらし得る
。本明細書では反射器および／または屈折器の形状を再生することなくこれらのアーティ
ファクトを削減するアルゴリズムがいくつか提案される。現在の好ましい実施形態におい
て、プロジェクターおよびカメラ間の光輸送行列（LTM）Tは直接モデル化される。さらに
プロジェクターからカメラの視点までのLTM Tの2行おきが殆ど直交していることが示され
る。次にLTM Tの擬似逆を近似する方法が示され、最小の投影を実現する最適な入力画像
を見出すために適用される。
【００４３】
LTM T の生成および操作を簡略化する方法を考察するとともにLTM T を実際に用い得る
状況（すなわち環境）を増やした後、本発明は鏡および薄型屈折器に基づく反射屈折型プ
ロジェクターに対する投影焦点外れ分析を提示する。焦点外れのぶれは入力画像上の空間
的に変化するガウスぶれとして解釈できることが示される。（ガウス）カーネルがいかに
LTM T から直接測定できるかを示した後、入力画像を最適化するためにいかに逆重畳を適
用し得るかが説明される。パノラマおよび全方向映写における反射屈折型プロジェクター
の実用的な使用が明らかにされる。現在の好ましい実施形態はそれにより鮮明さならびに
低い幾何学的および測光的歪みを維持しながらより広い視野の投影を達成する。
【００４４】
反射屈折型プロジェクターをどのように構成するかという問題に取り組む場合、湾曲し
た屈折器を用いてより長い焦点および／またはより大きい視野をシミュレートする反射屈
折型カメラ・システムについて考えるのが役に立つ。従って、まず特殊形状の鏡または屈
折器の前に仮想ピンホール・カメラを配置し、より広い視野を合成することから始めるこ
とができる。古典的な例は双曲線または方物面鏡に基づく単一視点の反射屈折型センサー
および球面、円錐形、および等角の鏡に基づく複数視点センサーを含む。反射屈折型カメ
ラは高解像度の360度または円筒状のパノラマを取り込むためにも用いられている。しか
しこれらのシステムのほとんどはのぞくカメラの正確な位置合わせを必要とする。カメラ
が焦点から外れて移動すると、反射光線は分析が難しい複雑な火面を形成する。
【００４５】
以下に日用的なプロジェクターと反射屈折型カメラで使用されるのに類似した光学装置
を組み合わせた反射屈折型プロジェクターが提示される。しかし主要な違いは現在の好ま
しい実施形態は反射器／屈折器の幾何学を知ることまたは再生することを必要としない。
その代わりにプロジェクターと視点（すなわちカメラの視点から見た望まれる画像）が与
えられると、本方法は場面を照射するためにプロジェクターが用いるべき変換された画像
を演算して最小限の歪みの望まれる画像を再生する。問題は光がプロジェクターおよび望
まれる視点（すなわちカメラの視野）間でどのように伝播するかを研究することにより対
処される。
【００４６】
既知の3D環境を通して光輸送をモデル化することはコンピューター・グラフィックスに
おいて既に良く研究された問題である。光線lに沿い場面に向かって単位放射を放射する
ことを考える。光線lは反射、屈折、散乱、または単に場面を通過することができる。次
にlのインパルス照射に応じて完全な光輸送tlを取り込むことができる。光輸送tlはイン
パルス散乱関数、またはISF、と呼ぶことができる。各入射光線の光輸送は測定でき、す
べての光輸送測定は次に光輸送行列、またはLTM、T、に連結することができる。入射照射
をLinと表すと、出射光照射野はLout=TLinにより照射の関数として表すことができる。
【００４７】
Tを測定するために、プロジェクターを用いて2D入射光照射野Lin（すなわち画像）を放
射し、カメラまたはカメラ・アレーを用いて2D（または4D）出射光照射野を取り込むこと
ができる。上述のように、ヘルムホルツの相反定理により、光輸送はプロジェクターが仮
想カメラで、カメラが仮想プロジェクターで置き換えられる「デュアル」な設定をモデル
化するのに用いることができる。これによりデュアル・フォトグラフィーが可能になり、
プロジェクターにより取り込まれたように見える画像をカメラから放射される光により照
射される場面と合成することができる。
【００４８】
本発明の一目的は、場面を照射するのに用いられた場合カメラが特定の望まれる光景を
取り込むことができるようにする、反射屈折型プロジェクターへの入力画像を見つけるこ
とである。これは逆光輸送の問題である。ランバート的な環境において逆LMTを演算する
閉形式表現は既知であるが、本反射屈折型プロジェクター設定に用いられるもののような
非ランバート的環境においては、逆LTMを有効に近似するという問題はまだ解決されてい
ない。
【００４９】
図２に示すように、反射屈折型プロジェクターは日用的なデジタルプロジェクター21と
さらに光学装置（ドーム型または曲面鏡）とを組み合わせている。現在の好ましい実施形
態は特殊形状の鏡を用いてより広い視野を合成している。本方法は反射屈折型カメラでも
使用されるが、反射屈折型プロジェクターはいくつかの面で反射屈折型カメラと異なる。
【００５０】
第1の違いは本反射屈折型プロジェクターに用いられる鏡の形状とサイズである。反射
屈折型カメラにおいて、望まれる視野を合成するのにはレンズと約同じサイズ（すなわち
通常直径35cm）の鏡を使用するのでしばしば充分である。しかし、プロジェクターははる
かに大きいレンズを用い、より長い焦点距離を有する。従ってパノラマ投影を実現するた
めには従来より大型の鏡（直径＝100cm）を用いることが必要で、これは過去において通
常特注しなければならなかった。
【００５１】
特注部品の必要を避けるために、現在の好ましい設定は代わりに曲げられたプラスチッ
ク鏡35を用いて円筒鏡に似せ（図３（ａ）に図示されるように）、またはセキュリティー
・ドーム26を用いて球面鏡に似せることができる（図２に図示されるように）。本実施例
はさらにワイン・グラスを用いて薄型屈折器に似せることができる（図９（ａ）に図示す
るように）。本方法の1つの難点はこれらの安価な代替部品（すなわちプラスチック鏡、
セキュリティー・ドーム、およびワイン・グラス）の表面は完璧に磨かれておらず、通常
幾何学的歪み、散乱、およびぶれにつながる隆起やくぼみなどの微構造を有している。
【００５２】
反射屈折型プロジェクターが反射屈折型カメラと異なる第2の面はその物理的設定であ
る。反射屈折型カメラにおいて、仮想ピンホール・カメラを合成するためには物理的なカ
メラは双曲面または放物面の焦点に正確に配置される必要がある。従って物理的カメラ自
体は取り込み画像の中心部分を占める。これは反射屈折型撮像の場合、目的が周囲の環境
を取り込むことであり、特に物理的カメラが小さい場合画像の中心部分を切り捨てること
ができるので、あまり問題とならない。しかし反射屈折型プロジェクターにおける類似し
た設定はひどい自己遮蔽の原因となり得る。従って、現在の好ましい設定において、プロ
ジェクターは意識的に鏡の焦点から外され、プロジェクターが投影された光路を遮らない
よう配向される。
【００５３】
反射屈折型プロジェクターが反射屈折型カメラと異なる第3の面は焦点外れのアーティ
ファクトが反射屈折型カメラより反射屈折型プロジェクターの方がひどいことである。反
射屈折型カメラのほとんどは被写界深度を増やすために小さい絞りを用いる一方プロジェ
クターは鮮明な画像を実現するために大きな絞りを用いる。さらに、反射屈折型プロジェ
クターのデユアル・フォトグラフィー変換における仮想プロジェクターは投影中心（COP
）が1つより多く、通常は複数のCOPを有する一方、物理的な実プロジェクターは均一な焦
点距離のみ設定できるので、最終的な投影は空間的に変化する焦点外れのぶれを示す。
【００５４】
上述の3つの違いは各々異なる課題を呈する。これらの課題を解決するために実プロジ
ェクターおよび実カメラ間の光輸送行列をモデル化することにより投影の歪みを補正する
新規アルゴリズムがまず提示される。次に反射屈折型プロジェクターにおける焦点外れモ
ードが分析され、入力画像を前処理することにより焦点外れのぶれを最小限にする有効な
方法が展開される。次に現在の好ましいシステムの用途のいくつかが実地説明される。
【００５５】
最初に幾何学的および測光的歪みの補正を扱う。反射屈折型プロジェクターおよびカメ
ラで表す視点がある場合、カメラの視点から最小限の幾何学的および測光的歪みを以って
見られるようにプロジェクターにより表示される最適な画像を見出すよう求める。
【００５６】
これは反射屈折型プロジェクターにおける光輸送のテーマを提起する。図１、２、およ
び３（ａ）に関連して上述されたように、プロジェクター21はp行×q列の撮像要素（すな
わちプロジェクター・ピクセル・アレー27）を有する一方、カメラはm行×n列のカメラ・
センサー（すなわちカメラ・センサーのピクセル・アレー29）を有すると目下仮定される
。プロジェクター21から放射される光線は場面23から反射し、光線のいくらかは最終的に
カメラ・センサーのピクセル・アレー29に到達する。一般的に、各光線は場面において分
散、反射、屈折され、カメラ・センサーのピクセル・アレー29のいくつか異なった個所に
当たる。このように、プロジェクター21におけるプロジェクター・ピクセルjを通過する
光線は実カメラ25に到達しm×nの画像を形成し、この場合各カメラ・ピクセルiはある程
度の光の量を受ける。投影された画像をp×q要素のベクトルpと表し、取り込まれた画像
をm×n要素のベクトルcと表すと、プロジェクター21およびカメラ25間の光輸送は、
c = T p
と記述することができ、ここでTは光輸送行列（LTM）である。
【００５７】
目標は逆光輸送問題を解決すること、すなわち望ましいビューcおよびLTM Tが与えられ
た場合ソース画像pは何であるべきか、である。T-1を判定できる限り、pは直感的に、
p = T-1 c
で見出すことができる。従って、本方法の1つの目的はカメラ−プロジェクター・ペア
のLTM T の逆を演算することである。しかし、Tの全体の大きさが故にT-1の演算は甚大な
演算リソースを必要とする極めて困難なタスクである。さらに、任意の行列の逆を見出す
ことは常に可能ではない。幸いに、以下に示すように、ほとんどの実際上の設定において
効率的に演算できるT-1の近似を見出すことは可能である。
【００５８】
従って、この目的への第一歩はLTM Tの逆であるT-1を近似する高速の方法を特定するで
ある。本方法は典型的なプロジェクター−カメラの設定において、プロジェクターから発
射された任意の区別可能な2つの光線lおよびkは通常カメラ・センサーのアレーの区別可
能な部分にあたる、すなわち光線lおよびkに当てられたカメラ・センサーのピクセルの重
複は少ない（または無視できる）。本考察にあたり、この仮定は本明細書において表示制
約と呼ばれる。
【００５９】
さらに、光輸送行列Tの各列は1個のプロジェクター・ピクセルjによる光投影からもた
らされる、取り込まれたまたは投影された画像である。1個のプロジェクター・ピクセル
から放射される1つの光線に当てられたカメラ・センサーのピクセル数（すなわち1個のプ
ロジェクター・ピクセルの作動化によりカメラ・センサーのアレーに作成された光フット
プリント）はカメラ・センサーのアレーのピクセル総数に対し小さいので、LTM Tにおけ
る列入力のほとんどはゼロ値を有することになる。対応プロジェクター・ピクセルjから
放射される光に当てられたカメラ・センサーのピクセルに対応するLTM Tにおける列入力
のみ（すなわち対応プロジェクター・ピクセルjの作動化により作成された光フットプリ
ントに対応する）が非ゼロの値を有することになる。
【００６０】
表示制約により、異なったプロジェクター・ピクセルによる光は主に異なったカメラ・
センサー・ピクセルに当たる。これはLTM Tの2列が互いの隣に配置されると、この２列に
おける非ゼロ入力は殆どの場合行方向で並ばないことを意味する。従ってこれらの点の積
はゼロに近くなる。これはTの列がほとんど互いに直交していることを意味する。
【００６１】
表示制約は隣接プロジェクター・ピクセルにより作成される光フットプリントの重なり
が少ないと仮定し、これは場面に依存する。しかし、表示制約は場面に拘わらず、取り込
まれた光輸送行列Tの逆を近似する前に取り込まれた光輸送行列に課すことができる。表
示制約を課すには、LTM Tの各行についてLTM T の共通行に沿った行列入力を比較し、共
通行における最高値の行列入力以外をすべて無効化する（ゼロ値を割り当てることにより
）。結果として得られた行列は改変光輸送行列T*となる。
【００６２】
これは図４〜６を参照するとより良く理解できる。具体的に図４に関し、第1プロジェ
クター・ピクセルからの第1光フットプリント、Projector_Pixel_1、は第2プロジェクタ
ー・ピクセルからの隣接する第2光フットプリント、Projector_Pixel_2、と2つの周辺カ
メラ・ピクセル2eのみを共有する。これは取り込まれた光輸送行列Tの列が互いの隣に配
置されると、異なった列の間で非ゼロ入力は殆どの場合並ばず（すなわち本例において周
辺カメラ・ピクセル2eで図示されるようにより暗い非ゼロ入力がある程度の重複がある）
、点の積はゼロに近くなることを意味する。
【００６３】
この例が図５に示され、ここでC1からC4の4列のLTM Tが互いに隣接して図示される。列
C1において、円 Pixel_1cおよびPixel_1dは列C1内に画像として記録されている第1光フッ
トプリントの最も明るい部分（たとえば図４における光フットプリントの明るい中心）を
特定する。図示されるように、完全な光フットプリントは他のそれほど明るくないピクセ
ルPixel_1b、およびPixel_1eを含む（これらは図４に示すように、光フットプリントのよ
り暗い周辺のカメラ・ピクセルをなす）。しかし説明の便宜上、各列C1〜C4内の各光フッ
トプリントの最も明るい部分のみ円で特定され、円は改変（すなわち推定）光輸送行列T*
の構築の際保留されるピクセル係数入力を特定する。
【００６４】
図４に示されたように、任意の光フットプリントの最も明るい部分は他のいずれの光フ
ットプリントにおける最も明るい部分とも重なり合わない。従って光フットプリントのよ
り暗い、周辺部分（すなわち図５におけるPixel_1bおよびPixel_1e）を無視してサイズを
変更した光フットプリントを形成すると、隣接し、サイズを変更した光フットプリント間
には重複が存在しないことが保証される。
【００６５】
図５に戻ると、隣接する列に沿って円で囲まれたピクセルの隣接するグループを比較す
ると、隣接する列の円に囲まれたピクセルはいずれも重複しないことが特記される。例え
ば、列C1における部分的光フットプリントPixel_1cは列2における部分的光フットプリン
トPixel_2cとは水平方向にオフセットされ、後者は順に列3の部分的光フットプリントPix
el_3cとオフセットされており、同様にこれは列4における部分的光フットプリントPixel_
4cとオフセットされており、以下同様である。同様に各列内の他の明るい部分的光フット
プリントの円で囲まれた部分（すなわちPixel_1d、Pixel_2b、Pixel_3b、およびPixel_4b
）のいずれも互いに水平（すなわち行）方向に並ばない。
【００６６】
従って、光フットプリントの暗い周辺部を無視し、光フットプリントの最も明るい中心
部分からなる、サイズを変更した光フットプリントを作成すれば、表示制約を取り込まれ
たLTM T に課すことができる。この場合、LTM T の列は互いに真に直交する。
このように、取り込まれたLTM Tの直交的性質は改変LTM T*を生成する上述のプロセス
においてTの構築され方により確保されることができる。さらに、各列内の非ゼロ値（す
なわち光フットプリントの最も明るい部分）のみを記憶することによりT*を記憶するのに
必要なメモリーの量も同様に削減することができ、記憶された任意の行列入力はデフォル
トでゼロ値を有すると理解される。
【００６７】
改変光輸送行列T*においてこのプロセスは、取り込まれたLTM Tの各行内の最も明るい
値のみを記憶することにより記憶される非ゼロ値を迅速に特定でき、これによりサイズを
変更した光フットプリントが自動的に作成されるので簡略化される。例えば図５において
、円Pixel_1cからPixel_4c、Pixel_2bからPixel_4b、およびPixel_1dで示される、LTM T
の行に沿った（すなわち別個のプロジェクター・ピクセルに対応しLTM Tの隣接する列に
配列される隣接画像情報の中の）最も明るいピクセルを特定することができる。
【００６８】
各行内の最も明るい値の入力のみが留保されると、図６の構造が得られる。特定された
最も明るい部分は次に改変行列T*（以下光輸送行列Tおよび改変光輸送行列T*は別途記述
されない限り互換的に使用される）のベクトル表示40に組み合わせることができる。図示
されるように、ベクトル表示40はTの各行内の最も明るいカメラ・ピクセル値のみに自ら
を限定することによりTの隣接する列の間の重複を取り除き、任意の場面に対し表示制約
を有効に課す。従ってTのこの構成は意図的に直交している。
【００６９】
改変光輸送行列T*を完全に定義するには、どの部分的光フットプリント部分のグループ
がサイズの変更された同じ光フットプリントに属するかを示すインデックス情報を保持す
る第2の行列の列、または第2のアレーのみが必要であることが理解されよう。例えば本例
の場合、グループPixel_1cとPixel_1dは第1ピクセルに対応する、サイズが変更された1つ
の光フットプリントの一部である。同様に光フットプリント部分Pixel_2bとPixel_2cは合
わせて第2ピクセルに対する第2のサイズが変更された光フットプリントを形成し、以下同
様である。
【００７０】
LTM Tまたは改変LTM T*（列が互いに直交することを保証するために表示制約が課され
ている）のどちらを使用しようと、LTM Tの逆（または改変LTM T*の逆）の近似は類似し
た手順に従う。簡潔のために本考察はLTM Tを直接使用していると仮定する。
【００７１】
LTM Tの逆の近似を決定（すなわち逆行列T-1の近似を決定すること）するため、まずAA
-1 = Iで、恒等行列Iは左上の角から（行列位置（1,1）から始まり）右下の角まで（行列
位置（r,g）で終わる）の対角線に沿い「1」の値に設定された入力値を有し、他の個所は
すべて「ゼロ」（すなわち0）に設定された入力値を有する行列からなることを特記する
ことが有益である。
T-1を演算するために、まず行列Ｔ∨を定義する。Ｔ∨における各列は正規化値で構成
され、Ｔ∨の各列がLTM Tにおける列に（または同等に改変光輸送行列T*における列に）
対応する。
【００７２】
すなわち、
Ｔ∨r =  Tr ／ （‖Tr‖）2,  r = 1, 2, 3, . . . , pq
で、Ｔ∨rはＴ∨のr番目の列であり、pqはp行およびq列の個別プロジェクター・ピクセル
からなることが好ましいプロジェクター・ピクセル・アレーにおけるプロジェクター・ピ
クセルの総数である。行列演算‖Tr‖はLTM Tの列rにおける全値の平方した合計の平方根
を定義しているので、‖Tr‖の平方は単に列rにおける全値の平方の合計である。
【００７３】
すなわち、
ε=g
（‖Tr‖）2 =  {Σ （Trε）2}
ε=1
列rにおける各値の入力を列rにおける全値の入力を平方した合計で割ることにより、演算
{Tr／（‖Tr‖）2}は行列Tの列rにおける値の入力を正規化する効果を有する。
【００７４】
ここでＴ∨rの転置を取ると、すなわち第1列が最上行になり、最後列が最下行になるよ
うに横に反転させると、Tにおける要素の対応列の正規化値である要素の行がもたらされ
る。従ってTの各列について次の結果が得られる。
（Ｔ∨rT） × （Tr） = 1 
および
（Ｔ∨rT） × （Tω） = 0, for r ≠ ω
言い換えれば、Tのある列をＴ∨rTの対応行で乗じると常に1の値となり、Tのすべての列
をＴ∨rTの対応行で乗じると、対角線に沿って数字の1がある行列が形成され、他のすべ
ての個所にゼロを置くことにより形成された行列を完全に埋めることができる。
【００７５】
従って列が互いに直交する（またはさせられる）LTM Tの場合、かつ行列Ｔ∨の特定の
構成が与えられる場合、Ｔ∨の転置はLTM Tの逆（または改変LTM T*の逆）に等しい（ま
たは良好な近似である）ことが示されている。これは、
Ｔ∨T ＝ T-1   およびp ＝ Ｔ∨T c
であることを意味する。
【００７６】
LTM Tの近似は放射光がカメラ・センサー・アレーに実際に到達したプロジェクター・
ピクセルにのみ適用できることが特記される。放射光がいずれのカメラ・ピクセルにも当
たらなかったプロジェクター・ピクセルについて、LTM Tの対応列はすべてゼロであり、
上述のLTM Tの各列を正規化する方程式は未定義となる。これらの場合、中間行列Ｔ∨に
おける対応列をゼロ列に設定することができる。このようにＴ∨Tはプロジェクターおよ
びカメラの視野（FOV）で重なる領域を覆うTの部分の逆である。重なるFOVに入るpにおけ
るプロジェクター・ピクセルのみ再生され、他のプロジェクター・ピクセルは抹消される
。一旦Ｔ∨Tが演算されると、目標画像cに直接適用して最適な投影画像pを見出すことが
できる（すなわちp = Ｔ∨T c）。
【００７７】
以下の考察において、行列Ｔ∨Tはビュー投影行列と呼ばれ、望ましい眺めcが与えられ
た場合p = （Ｔ∨T c）と定義される画像pを見出すことができ、画像pを投影するとカメ
ラの視点から見た場合cと同じ外観を有する場面を実現する。Ｔ∨T は事実上逆行列T-1（
または表示制約を課すことにより作成された行列の改変版）の近似であり、本明細書では
そのように用いられるので、以下考察の残りの部分で逆行列T-1と「ビュー投影」行列Ｔ
∨Tは別途の指示がない限り互換的に用いられる。この場合、改変は随意的であるので記
号T-1は一般的に光輸送行列Tの未改変および改変（すなわち近似された）の形の逆を表す
。
【００７８】
LTM Tを取得するには、メモリー・フットプリントの小さい光輸送行列の取得と題し、
本出願と同じ譲受け人に譲渡される同時係属中の米国出願番号第１２／４１２２４４号明
細書に説明され、引用により全体として本明細書に組み入れられる方法が採用されること
が好ましい。この方法はプロジェクター・ピクセルを一時に1行または1列のみ255の強度
の白色で作動化（すなわちオンにする）し、プロジェクター・ピクセル・アレーの各行ま
たは列各々の1行画像または1列画像を作成する。カメラはプロジェクターの1行画像およ
び1列画像の各々を個別的に取り込む。
【００７９】
本実施形態においてはカメラがプロジェクターの解像度と同等またはより高い解像度で
あると仮定されるので、投影された各1行画像は取り込まれた非ゼロの光輸送値を有する1
行のカメラ・ピクセルからなるか（カメラの解像度がプロジェクターの解像度と同等また
は近い場合）、または非ゼロの光強度値を有する複数のカメラ・ピクセルの隣接行からな
る（カメラのピクセル解像度がプロジェクターのピクセル解像度の2倍を超える場合）対
応カメラ行セット画像としてカメラにより取り込まれる。
【００８０】
同様に、投影された各1列画像は取り込まれた非ゼロの光輸送値を有する1列のカメラ・
ピクセルからなるか（カメラの解像度がプロジェクターの解像度と同等または近い場合）
、または非ゼロの光強度値を有する複数のカメラ・ピクセルの隣接列からなる（カメラの
ピクセル解像度がプロジェクターのピクセル解像度の2倍を超える場合）対応カメラ列セ
ット画像としてカメラにより取り込まれる。
【００８１】
このプロセスはカメラがプロジェクター・ピクセル・アレーにおける投影されたすべて
の行のカメラ行セット画像を取り込み、プロジェクター・ピクセル・アレーにおける投影
されたすべての列のカメラ列セット画像を取り込むまで繰り返される。考察の上で、各カ
メラ行セット画像内において、プロジェクター・ピクセルの投影された行から放射される
光を取り込むカメラ・センサーのピクセルは非ゼロの光強度値を取り込むので非周囲（ま
たは非ゼロ、NZ）ピクセルと特定され、投影された行から放射される光を取り込まないカ
メラ・ピクセルはゼロピクセルと特定される。
【００８２】
同様に、各カメラ列セット画像内において、プロジェクター・ピクセルの投影された列
から放射される光を取り込むカメラ・センサーのピクセルは非ゼロの光強度値を取り込む
ので非周囲（または非ゼロ、NZ）ピクセルと特定され、投影された列から放射される光を
取り込まないカメラ・ピクセルはゼロピクセルと特定される。
【００８３】
各プロジェクター・ピクセルj(r,s)（プロジェクター・ピクセル・アレー27内で座標（
r,s）を有するプロジェクター・ピクセルを特定）に対し、r番目のカメラ行セット画像お
よびs番目のカメラ列セット画像における共通の非周囲（すなわち非ゼロまたはNZ）カメ
ラ・ピクセルがプロジェクター・ピクセルj(r,s)により明るくされる。r番目のカメラ行
セット画像およびs番目のカメラ列セット画像双方に共通する非周囲カメラ・ピクセルの
座標がプロジェクター・ピクセルj(r,s)に対応するLTM Tの列における非ゼロ値の指数を
決定し、実際の非ゼロの光輸送値はこれらの個別的共通カメラ・ピクセルの2つの画像に
わたる平均色（あるいはより暗い方）として取得することができる。このプロセスはプロ
ジェクターの1行およびプロジェクターの1列画像の対すべてに対し行われ、それによりLT
M Tはその全体として取得される。
【００８４】
反射屈折型プロジェクターのテーマに戻ると、第1例として図２は日用的プロジェクタ
ー21、日用的カメラ27、および投影場面領域23に加えドーム型鏡を含むドーム式反射屈折
型プロジェクター（すなわち球面的な鏡を用いるもの）を示す。なお、上述のように、プ
ロジェクター21はプロジェクター・ピクセルのアレー27を含み、カメラ21はカメラ・セン
サー・ピクセルのアレー29を含む。
【００８５】
本実施形態は手頃な価格の反射屈折型プロジェクターを提供しようとしているので、ド
ーム型鏡26は理想的な球面鏡ではなく、日用的なセキュリティー・ドームを用いて実施す
ることが好ましい。理想的な球面鏡と異なり、ドーム型鏡26による幾何学的歪みは隆起や
くぼみなど鏡上の微構造のため非均一である。これらはさらに相互反射などの測光的歪み
を引き起こす。加えて、本実施形態で用いられるドーム型鏡26は完全に鏡面でないので、
投影の中心は境界より明るいことが観察される。光輸送補正を何らせずにドーム型鏡26を
用いて画像を投影した場合、最終投影において引伸ばしおよびパターンの剪断など幾何学
的歪みが観察される。
【００８６】
図７（ａ）〜７（ｄ）および図８（ａ）〜８（ｄ）に光輸送補正がされた投影画像およ
びされない投影画像の、2つの投影画像例が2セット示される。図７（ａ）は望まれる画像
、すなわち画像が投影後理想的にどのように映るべきか、を示す。図７（ｂ）は図７（ａ
）の画像が前以て補正されずにドーム型鏡に直接投影された場合にもたらされる実際の画
像を示す。見られるように、もたらされた画像はかなりの歪みがある。しかし本方法で近
似された逆LTM Tは幾何学的および測光的歪みの双方を相当削減する。画像7cは光輸送補
正後に投影された変換画像を示し、図７（ｄ）は得られた画像を光輸送補正後3つの壁に
投影したものを示す。
【００８７】
同様に、図８（ａ）は望まれる画像を示す。図８（ｂ）は図８（ａ）が光輸送補正なし
に投影された場合にもたらされる投影画像を示す。図８（ｃ）は図８（ａ）が光輸送補正
により変換された後の画像を示し、図８（ｄ）は光輸送補正後3つの壁に投影された最終
画像を示す。図７（ｄ）および図８（ｄ）から明らかなように、補正された画像は幾何学
的歪みの多くに対処しているが、まだ焦点外れの問題がある。この問題を以下詳細に扱う
。
【００８８】
一般的に、投影場面への光路に相当の散乱がある場合表示制約は破られる。この例は図
９（ａ）〜９（ｃ）に示される反射器の実験で実証され、ここでは1対のワイン・グラス4
1がプロジェクター21と投影場面23との間に置かれる。図９（ａ）において、「CVPR 09」
と記述されるパターンが1対の薄いワイン・グラス41を通して投影される。図９（ｂ）に
示されるように、光輸送補正なしの最終的な投影画像はひどい測光的歪みおよび幾何学的
歪み、例えばワイン・グラスの境界周辺の散乱アーティファクト、を見せる。さらに、屈
折した光線は火面を形成するので、表示画像にわたり不均質な明るさが観察される。しか
し、光輸送行列Tは散乱および火面双方を取り込むので、これらのアーティファクトは近
似LTM Tを用いた光輸送補正後相当削減され、これは図９（ｃ）に示される。
【００８９】
しかし、この方法はオクルージョンによる影を補正しない。ワイン・グラスのオクルー
ジョンの境界付近では、入射光線が見通し角に到達することに注目されたい。従って透明
なグラスは境界付近では不透明物体のように振る舞い、最終投影に影を落とす。複数のプ
ロジェクターを組み合わせることを用いて陰を取り除くことができると考えられる。
【００９０】
本光輸送モデルはプロジェクターからの各ピクセルが単一の光線であると仮定している
。これは小口径モデルに対応するが、実際問題としてプロジェクターは明るい画像を実現
するために大口径を用い、複数の光線が同じプロジェクター・ピクセルを通ることができ
る。理想的にはLTM Tをモデル化するのに現在使用される2D画像より4Dの入射光照射野を
使用するのが好ましい。従って現在の実施形態の逆LTM は投影焦点外れのアーティファク
トなど4D入射光照射野による視覚的アーティファクトを補正するのを困難とする。
【００９１】
以下に投影における焦点外れのモデル化に対する解決法を提示する。現在の好ましい実
施形態において、投影のぶれはまず入力画像をぶれカーネルGでぶれさせ、次にぶれた画
像をLTM Tにより輸送することを同等に解釈（すなわちモデル化）できることを仮定して
いる。この仮定モデルは反射および屈折の双方の場合において実証される。そうするとプ
ロジェクターからカメラへの最終的な光輸送を
c = T*・ p = T ・ G ・ p
と書くことができ、T* はプロジェクターの焦点外れを含む取り込み光輸送画像、Gはぶれ
行列、およびTは小口径モデルに基づく光輸送行列である。従って最適入力画像pは、
p = T*-1・ c = G-1・ T-1・ c
と演算することができる。T-1を演算するために、GがTに適用された場合表示制約はまだ
満足されると仮定される。従って、上述の逆LTMのアルゴリズムは取り込まれたT*行列に
適用でき、T-1が得られる。すなわち、反射屈折型プロジェクターにおける焦点外れの場
合、取り込まれたLTM T*は小口径モデルに基づくLTM Tの近似として用いられる。次に、G
-1をどのように演算するかの問題に取り組む。
【００９２】
まず、反射器に基づく反射屈折型プロジェクターにおける投影の焦点外れの原因が図１
０を参照して分析される。プロジェクター21および光学装置（本例の曲面鏡など）を考え
ると、まず鏡35を一連の区分的な線形（PL）表面、または平面断片（便宜上2つの平面断
片35a、35bのみが示される）として見立てることができる。各平面断片35a／35bについて
、反射幾何学を用い物理的プロジェクター21を対応する仮想ピンホール・プロジェクター
21a／21bにマップされる。従って反射屈折型プロジェクターは仮想ピンホール・プロジェ
クター21a／21bの軌跡として扱うことができる。
【００９３】
双曲面または方物面鏡など特殊形状の反射器を光学装置として用い、物理的プロジェク
ター21が焦点において位置される場合、すべての仮想プロジェクター21a／21bは同じ投影
中心、COP、に位置する。投影の焦点外れを最小限にするために、仮想プロジェクター21a
／21bの焦点面は表示スクリーン23にそばに設定することができる。一般的な鏡の場合、
仮想プロジェクター21a／21bの軌跡は複雑な火面に対応する。これは仮想プロジェクター
21a／21bが表示スクリーン23に対し異なる奥行きに位置し、従って異なる焦点、例えば32
および34、を有することを意味する。物理的プロジェクター21は単一の焦点のみ有するこ
とができるので、仮想プロジェクター21a／21bは空間的に変化する投影のぶれをもたらす
。
【００９４】
この種の空間的に変化する投影のぶれの第1例を図１１（ａ）から１１（ｃ）に示す。
図１１（ａ）は光輸送補正の是正を適用後の投影画像である。大きい四角52aおよび小さ
い四角54aは焦点外れの影響が観察できる領域を特定する。図１１（ｂ）は大きい四角52a
内の領域の拡大図で、図１１（ｃ）は小さい四角54a内の領域の拡大図である。四角52aお
よび54a内のぶれの影響は図１１（ｂ）および１１（ｃ）の図においてより明らかである
。
【００９５】
画像が光輸送補正を受けた後に焦点外れ補正を適用する方法を以下に説明する。図１２
（ａ）から１２（ｃ）は本焦点外れ補正を適用した結果を示す。図１２（ａ）は図１１（
ａ）の画像がさらに以下に説明する焦点外れ補正を受けた後の画像である。図１２（ａ）
における四角52bおよび54bは図１１（ａ）の四角52aおよび54aに対応する。図１２（ｂ）
および１２（ｃ）は各々四角52bおよび54bの拡大図を提供する。
【００９６】
図１０に戻ると、各仮想ピンホール・プロジェクター21a／21bを仮想カメラとみなすこ
とができると仮定すると、現在の好ましい実施形態は投影の焦点外れを仮想カメラの「錯
乱円」28として扱う。図１０では1つの錯乱円のみが示されるが、焦点（すなわち32）が
表示スクリーン23に位置しない各仮想プロジェクター（すなわち21b）は対応する錯乱円
に寄与することが理解されよう。現在の好ましい実施形態において、反射器（すなわちこ
の場合は曲面鏡35）は非常に滑らかで映写スクリーン23は仮想プロジェクター21a／21bの
画像平面にほとんど平行であると仮定される。これらの仮定により空間的に変化するガウ
スぶれを用いてぶれカーネルを近似することができる。
【００９７】
カーネルのサイズを得るために、点のパターンを投影しそれらの焦点外れの画像を取り
込むことができる。上述の光輸送行列Tを得る方法において、LTM Tにおける非ゼロの項は
投影の焦点外れおよび光輸送データ（例、相互反射）の混合である。曲面鏡（ドーム型鏡
を含み）については、これら非ゼロの項が主に焦点外れによると仮定することが好ましい
。従って現在の好ましい実施形態はぶれカーネルを推定するために取り込まれた光輸送行
列T*を再使用する。
【００９８】
従って図１３に関し、第1工程61はLTM Tを得ることで、これは表示制約を課すことによ
り得られるLTM Tの近似を含み上述のいずれかの方法によって得られる取り込まれた光輸
送行列T*であることができる。LTM TからぶれカーネルGを作成することができ（工程62）
、Gは各プロジェクター・ピクセルに対し異なる焦点外れデータセットからなる行列であ
る。ずなわち、各プロジェクター・ピクセルjはLTM Tにおける同じプロジェクター・ピク
セルの対応する列から生成された行列Gにおける対応列に別個のデータセットを有する。
【００９９】
次に以下の工程が各受信入力画像cについて繰り返され、プロセスは最後の入力画像cが
受信される（工程63）まで終了（工程67）しない。受信された入力画像cにT-1 （すなわ
ちLTM Tの逆）を掛けて中間変換画像c*を作成する（工程64）。次に焦点外れカーネルGを
用いて中間変換画像c*に逆重畳を適用し、投影すると望まれる画像“p”を再生するはず
の最終変換画像を作成する（工程65）。この最終変換画像は次に投影のためにプロジェク
ターに提出されるか、後の使用のために記憶される（工程66）。
【０１００】
図１３における工程62（すなわちLTM Tからぶれカーネル（または焦点外れカーネル）G
作成すること）を実施する好ましい方法の説明が図１４に示される。工程71は変数rおよ
びsを、GおよびT双方の第1行列位置を指すよう設定する（すなわち（r,s）を位置（1,1）
に設定）。工程74および75はある行に沿って最後の列の位置において現行の行の終わりに
到達するまでrを列から列へ増分し、この時点でrはr = 1 の第1列の位置にリセットされ
る（工程76）。値sが次に行列の次の行を指すように増分される（工程76）。このシーケ
ンスはsが位置pにおいて行列の最後の行に到達する（工程77）まで繰り返され、これでプ
ロセスは終了する（工程78）。このシーケンスは説明のためのものであり、要点はTおよ
びGにおけるすべての行列位置を通して循環することであり、これを達成する任意のシー
ケンスで充分であることが理解されよう。
【０１０１】
このように、すべてのプロジェクター・ピクセルj(r,s)について（工程71および74〜78
）LTM T*の対応する列における非ゼロの項がまず演算される。基本的にこれは一旦LTM T 
（または同等にT*）が取得されると、Tの各列における非ゼロの光輸送値をGの対応列に写
すことにより行列Gが埋められる（工程72）。2Dのガウス・カーネルgr,sが次にGにおける
各列にはめ込まれ、各プロジェクター・ピクセルjに対し別のデータセットが作成される
（工程73）。
【０１０２】
一旦焦点外れカーネルGおよび逆LTM T-1が得られると、プロセスは図１３の工程63に戻
り、上述のように続く。すなわち、入力画像cをまず逆LTM T-1で掛けて中間変換画像c*を
作成する（工程64）。次に焦点外れカーネルGを用いて逆重畳が中間変換画像c*に適用さ
れる（工程65）。現在の好ましい実施形態において、最急降下方法が採用される。
【０１０３】
2D のガウス・カーネルgr,sをGにはめ込む（すなわち図１４における工程73）1つの方
法を図１５に示す。基本的にすべてのプロジェクター・ピクセルj(r,s)について、光輸送
行列Tの対応する列（または逆光輸送行列T-1の行）における非ゼロの項が演算され2Dのガ
ウス・カーネルgr,sにはめ込まれる。本方法の目標は最も焦点外れが少なく見える最適の
画像を見出すことにある。これは以下のように理解できる。
p = arg min／D  { ‖G （×） D − （T-1 ・ c ） ‖2    および ∀r, s 0 ≦ 
D │ r, s│ ≦ 255}
ここで記号（×） は重畳演算子である。
【０１０４】
ここで指摘すべき重要な点は焦点外れのぶれがソース画像cではなく（T-1 ・ c）に適
用されることである。ほぼ最適なDを近似するのに最急降下方法を用いることが好ましく
、ここでDは各反復の際処理された画像の現状である。さらに初期反復の際望まれる画像c
が初期推定D0とともにDinとして用いられることが好ましく、以下の3工程が繰り返される
。
【０１０５】
まず（工程83）、留数Rを
R = Ｇ∧ （×） （Din¬ − G （×） Dn）
と演算し、ここでＧ∧はｇ∧[r,s] = ｇ∧[t−r,  t−s]を満足する、空間的に変化する
カーネルで、tはぶれカーネルの枠サイズである（工程81）。画像D は単一のベクトルと
して列化され（すなわち列ベクトルとして配列）、GおよびＧ∧は直接疎行列形式で用い
られる。次に重畳を行列乗算として定式化できる。
【０１０６】
第2に（工程84）、最急降下方法を用いてDnを
Dn+1 = Dn ＋ αR   ここで  α = { （│R│2） ／  （│G（×）R│）2}
と更新する。ここで（工程85〜88で示すように）は工程84の終わりで[0,255]にクランプ
される。Dn+1は各反復の際における処理画像の現状で、個々のピクセルは0と255と間にク
ランプされる。
【０１０７】
第3に、Dの連続反復におけるすべてのプロジェクター・ピクセルj（r,s）について絶対
差の合計を以下で演算する：
差  = Σ│D[r, s]n¬+1 −  Din │
p, q
【０１０８】
工程83〜89 は上記で決定される工程89における「差」が予め定義された閾値未満にな
る（工程90、91、および92）まで繰り返される。この閾値はβm2に設定されることが好ま
しく、m2は望まれる画像cのピクセル数で、βはゼロを超え1未満のユーザーによる定義可
能な定数である。現在の好ましい実施形態において、βは0.1乃至0.2の間に設定される。
【０１０９】
次に透明表面の薄い層を用いる反射屈折型プロジェクターにおける投影の焦点外れが考
察される。典型的な例は図９（ａ）乃至９（ｃ）に関し上述されようにワイン・グラスを
通して投影することである。 
【０１１０】
図１６に関し、焦点外れを研究するためにまず光線94が屈折器95を通して伝播するかを
分析する。屈折器95（本例ではワイン・グラス）の厚みがDで表され、mはその屈折率を表
すと仮定する。入射角θを有する各光線94につき、光線94は最初に屈折器95の前面を通し
て入り、屈折器の媒体を横切り、次に屈折器95の裏面から出る。本考察において、αおよ
びβ を各々前面および裏面の出射角を表すとする。スネルの法則を用いると、
（sin θ ／ sin α）  =  m    および   （sin α ／ sin β）  =  （1／m）
が得られる。歪みを削減するためにはθ = βとなるべき、すなわち屈折器95の裏面にお
ける光線94の出射方向（すなわち出射角β）が入射方向（すなわち入射角θ）と同じであ
るべきである。しかし光線94は以下のとおり入射の線からΔdの量だけ多少移動している
Δd = d tan θ− d tan α = d（tan θ−[sinθ／√（m2−sin2θ）]）
【０１１１】
図１７（図１６および２に類似した要素は同じ符号を有し、上記に説明される）に関し
、プロジェクター21内のランプ97からの光線がプロジェクター・ピクセルjを通過し、プ
ロジェクター・レンズ97および屈折器の媒体95（すなわちワイン・グラス）を通して場面
23、すなわち本例において表示スクリーン23に投影されるのが示される。図示されるよう
に、プロジェクター・ピクセルjから放射される光は（広がる光線94a、94b、および94cで
図示されるように）レンズ98により表示スクリーン23上の点99aに集中される。プロジェ
クター21が表示スクリーン23から比較的遠く配置されると仮定すると、プロジェクター・
ピクセルjから発せられるすべての光線94a〜94cはほぼ同じ入射角θを有する。すぐ上に
示される屈折方程式はこれらの光線は薄い屈折器95を通過した後一様にΔdの量だけ移動
することを示す。入射光線94a〜94cは屈折されない場合第1点99bに集中されるので、これ
らの新しい焦点99aは単に第1焦点99bからΔdの量移動される。屈折器95が表示スクリーン
23とほぼ平行していると仮定すると、新しい焦点99aはやはり表示スクリーン23上にある
が、Δdの量移動される。これは薄い屈折器による投影の焦点外れは極わずかであること
を意味する。
【０１１２】
しかしながら、屈折器95の裏面を出射する際光線のある部分は屈折器に再度反射される
。これは薄い屈折器を通して投影する際散乱アーティファクトをもたらす。しかしこれら
の散乱アーティファクトはLTM Tにより取り込まれ、上述の逆LTMに基づく補正アルゴリズ
ムを用いて有効に補正される。薄いワイン・グラスの場合、単一層の薄い屈折器に対する
分析を繰り返すだけでワイン・グラスの双方の層をモデル化することができる。しかし散
乱アーティファクトは複数層を通して投影する場合はもっとひどくなる。
【０１１３】
図１８（ａ）〜１８（ｄ）に示されるように、逆LTMに基づく本方法はこれらのアーテ
ィファクトを有効に削減することができる。図１８（ａ）は望まれる投影結果の画像であ
る。図１８（ｂ）は図１８（ａ）の画像が歪み補正なしに投影された場合の投影結果の画
像である。図１８（ｄ）は歪み補正後の投影結果で、図１８（ｃ）は図１８（ｄ）の画像
を達成するために投影される変換画像である。
本方法は反射屈折型投影システムを使用したパノラマおよび全方向画像の表示を連続的
に明らかにしている。
【０１１４】
複雑な場面のパノラマ・ビューを取り込み合成することはコンピューター・グラフィッ
クスおよびビジョンにおいて非常に注目されている。しかしこれらのパノラマ画像を有効
に表示するための研究はあまりされていない。主要な問題はプロジェクターの限られたア
スペクト比にある。例えば、パノラマは3:1のアスペクト比を有することが普通である一
方、日用的なプロジェクターは通常せいぜい1.2:1のアスペクト比しか達成できない。単
純な解決法は投影画像に同じアスペクト比を強制することである（例、1024×200の画像
を表示することにより）。しかしこの方法はプロジェクターの解像度を大量に無駄にする
ことになる。さらに、プロジェクターは通常狭い視野を有するので、広い領域でパノラマ
を表示するのは難しい。
【０１１５】
図３（ａ）に戻ると、本発明の一実施形態において、プロジェクター21は1024×768の
解像度を有する日用的なプロジェクターであり、これが円筒鏡35と組み合わされている。
特注設計の鏡を用いる代わりに日用的な長方形のプラスチック鏡35が用いられた。プラス
チック鏡35は円筒形近くまで曲げられプロジェクター21の前に配置された。もたらされる
投影は3:1のアスペクト比を達成し、投影されたソース画像は図３（ｂ）に示すようにプ
ロジェクター27の最大解像度を使用した。さらに鏡27の形状は本プロジェクター設定を「
プッシュブルーム・カメラ」に類似させていることが特記される。すなわち本設定は仮想
「プッシュブルーム・プロジェクター」をなし、同じ行／列のすべてのピクセルが同じ配
景または投影中心（COP）を有する一方、異なる列／行のCOPの軌跡は垂直／水平線を形成
する。水平方向は垂直方向より低い解像度を有するが、高い垂直解像度はしばしば低い水
平解像度を有効に補正できることが見出されている。
【０１１６】
本発明の別の用途は全方向投影の分野である。IMAX劇場環境に類似した全方向投影効果
を家庭または学校の環境で作成する安価な解決法は教育、科学的視覚化、およびデジタル
な娯楽に著しく役立ち得る。
【０１１７】
しかし、各種環境における全方向投影の広い使用を達成することの問題はいくつかの面
がある。第1に、IMAXプロジェクターは魚眼レンズを用いて180度の投影をシミュレートす
るが、ほとんどの日用的なプロジェクターははるかに小さい視野を有するより普通のレン
ズを用いる。第2に、複数のプロジェクターを組み合わせて全方向投影を合成することは
可能であるが、複数のプロジェクター間における確固とした効率的な較正は未解決の問題
である。第3に、IMAXシステムはドーム型の投影スクリーンを用いるのに対し、家庭およ
び学校における部屋は通常長方形の部屋の壁など、長方形の投影領域しか提供しない。
【０１１８】
図２に関し、上述の問題に対処するために現在の好ましい実施形態は日用的なプロジェ
クター21を店舗において反射型の広い眺めを提供するために使用されるような、日用的な
セキュリティー・ドーム26と組み合わせることにより全方向投影システムを合成する。本
実施形態において、反射型セキュリティー・ドーム26はプロジェクター21の前に配置され
、プロジェクターは反射後の最終投影23を遮らないよう配向される。ここで用いられるセ
キュリティー・ドームは直径が15cmで、プロジェクター21はセキュリティー・ドーム26か
ら約20cm離れて置かれた。これにより最終投影23に対し約180度の視野が作成された。
【０１１９】
図１９（ａ）〜１９（ｄ）に関し、本実施形態は4m×6m×3mの部屋に設定され、セキュ
リティー・ドームは前面の壁から約0.5mの位置に置かれた。反射された投影（すなわち最
終投影）は全方向となり、部屋の少なくとも3つの壁に加え天上にかかった。図１９（ａ
）および１９（ｃ）は補正なしの投影結果例を示し、図１９（ｂ）および１９（ｄ）は逆
LTMおよび焦点外れ補正を適用した後の同じ画像を示す。
【０１２０】
典型的な部屋内のドーム型投影の例が2つ、図７（ａ）〜７（ｄ）および８（ａ）〜８
（ｄ）に関し上述された。図７（ａ）および８（ａ）は各々望まれる投影結果（すなわち
望まれる画像）を示す。IMAXドームと異なり、図７（ｂ）および８（ｂ）に示されるよう
に、壁の異なる配向は投影の途切れをもたらす。さらに図７（ｂ）および８（ｂ）には、
セキュリティー・ドームの形状による幾何学的歪みおよび不均一な角度の解像度が見られ
る。加えて、本設定はセキュリティー・ドームの形状における微構造の問題があった。事
実、使用されたセキュリティー・ドームは完璧な球状からは程遠い、隆起やくぼみなど多
くの微構造を有する。しかし、上述の逆LTMに基づくアルゴリズムはこれらの歪みのほと
んどを有効に補正し、上述の逆重畳方法は投影の不均一な焦点外れのぶれを改善した。図
７（ｄ）および８（ｄ）は逆LTMおよび焦点外れ補正を適用した後の最終投影結果を示す
。図７（ｃ）および８（ｃ）は実際に投影された変換画像である。
【０１２１】
このように、日用的なデジタルプロジェクターをさらに光学装置を組み合わせることに
より反射屈折型カメラ類似した反射屈折型プロジェクターが提示された。本システムは反
射器／屈折器の形状を再生することを必要としない。実際、本設定は日用的なプラスチッ
ク鏡およびワイン・グラスなど、形状を再生するのがむずかしい日常の物体を用いた。本
方法は光輸送行列（LTM）プロジェクターおよびカメラの視点間の光輸送をモデル化する
。さらに擬似逆LTMをどのように効率的に近似するか、およびそれを用いてどのように最
小限の歪みをもたらす最適な入力画像を見出すかが上記に示された。
【０１２２】
さらに反射屈折型プロジェクターに対する投影の焦点外れの分析が上記に提示された。
焦点外れのぶれは空間的に変化するガウスぶれと解釈され、カーネルがLTM から直接測定
することができる。次に逆重畳手法を適用して最終投影における焦点外れのぶれを最小限
にするために入力画像を前処理する。このようにパノラマおよび全方向投影における反射
屈折型プロジェクターの実際的使用が実証された。
【０１２３】
特殊形状の反射器／屈折器を用いることにより、反射屈折型プロジェクターは線明度お
よび低い幾何学的および測光的歪みを維持しながらアスペクト比、サイズ、および視野の
前例のない自由度を提供することができる。
【０１２４】
本方法の一特徴は取り込まれたLTMにおいて焦点外れのぶれを実際の光輸送から分離し
ないことである。反射器および薄い屈折器については、焦点外れのぶれまたは散乱がLTM 
の非ゼロ項を支配し、従って分離することができる。しかしより一般的な反射器または厚
い屈折器などの屈折器については、取り込まれたLTM はぶれおよび輸送の混合である。今
後の開発では符号化パターンを用いて2つの項を有効に取得し分離できると予想される。
さらにLTMに基づく本枠組みを用い、例えば経路追跡を用いることにより反射幾何学を再
生することが想定される。さらに日用的プロジェクターを用いてパノラマ・ビデオを表示
するためのリアルタイムの歪みおよび焦点外れ補正方法も開発中である。反射屈折型プロ
ジェクターは新世代の投影システムを設計するための概念的な刺激になると予想される。
【０１２５】
発明はいくつかの具体的な実施形態に関連して説明されたが、前述の説明に照らし同業
者であればさらに多くの代替、修正、および別形態が明らかであろう。従って、本明細書
で説明した発明は添付クレームの精神および範囲に含まれるこのような代替、修正、用途
、および別形態すべてを包含することを意図している。
【符号の説明】
【０１２６】
２１  実プロジェクター、２５  実カメラ、２７  プロジェクター・ピクセル・アレー
、２９  カメラセンサー・ピクセルアレー、９４  光線、９５  屈折器。
【図１】
2010122679.tif 000003
【図１３】
2010122679.tif 000004
【図１４】
2010122679.tif 000005
【図１５】
2010122679.tif 000006
【図１６】
2010122679.tif 000007
【図１７】
2010122679.tif 000008
【図２】
2010122679.tif 000009
【図３】
2010122679.tif 000010
【図４】
2010122679.tif 000011
【図５】
2010122679.tif 000012
【図６】
2010122679.tif 000013
【図７】
2010122679.tif 000014
【図８】
2010122679.tif 000015
【図９】
2010122679.tif 000016
【図１０】
2010122679.tif 000017
【図１１】
2010122679.tif 000018
【図１２】
2010122679.tif 000019
【図１８】
2010122679.tif 000020
【図１９】
2010122679.tif 000021