(57)【要約】【課題】カメラがシーンの４Ｄライトフィールドを取得する。【解決手段】カメラは、レンズと、センサとを含む。マスクがレンズとセンサとの間の直線光路内に配置される。当該マスクは、センサによりシーンに関して取得される４Ｄライトフィールドを空間変調する減衰パターンを含む。当該パターンは、マスクがレンズの近くに配置される場合に低空間周波数を有し、マスクがセンサの近くに配置される場合に高空間周波数を有する。【選択図】図１
2008191661.tif 000002
【特許請求の範囲】
【請求項１】
シーンの４Ｄライトフィールドを取得する装置であって、
レンズと、
センサと、
前記センサにより前記シーンに関して取得される前記４Ｄライトフィールドを空間変調する減衰パターンを含み、前記レンズ及び前記センサの間の直線光路内に配置されるマスクと
を備える、シーンの４Ｄライトフィールドを取得する装置。
【請求項２】
前記減衰パターンは、低空間周波数を有すると共に前記レンズの近くに配置される
請求項１記載の装置。
【請求項３】
前記減衰パターンは、高空間周波数を有すると共に前記センサの近くに配置される
請求項１記載の装置。
【請求項４】
前記マスクは、前記４Ｄライトフィールドをヘテロダイン処理する
請求項３記載の装置。
【請求項５】
前記センサは、入力画像を生成し、
前記入力画像から前記４Ｄライトフィールドを再構成する手段をさらに備える
請求項１記載の装置。
【請求項６】
前記４Ｄライトフィールドは、フーリエ領域の復号により再構成される
請求項５記載の装置。
【請求項７】
前記センサは、焦点外れによるぼけ入力画像を生成する
請求項２記載の装置。
【請求項８】
分解能の損失なしにデジタルリフォーカスを達成することができ、リフォーカス画像の分解能は、前記センサのピクセル分解能に等しい
請求項２記載の装置。
【請求項９】
前記減衰パターンは、前記マスクに印刷される
請求項１記載の装置。
【請求項１０】
前記マスクは、アクティブであり、
前記マスクの位置及び前記減衰パターンの空間周波数を連続的に変更する手段をさらに備える
請求項１記載の装置。
【請求項１１】
分解能の損失なく、前記再構成された４Ｄライトフィールドから前記入力画像をリフォーカスして、焦点の合った出力画像を生成する手段をさらに備える
請求項５記載の装置。
【請求項１２】
前記出力画像は、深い被写界深度を有する
請求項１１記載の装置。
【請求項１３】
前記再構成された４Ｄライトフィールドから新たなリフォーカス画像を合成する手段をさらに備える
請求項５記載の装置。
【請求項１４】
前記再構成された４Ｄライトフィールドから高分解能画像を生成する手段をさらに備える
請求項５記載の装置。
【請求項１５】
前記減衰パターンは、色を含む
請求項１記載の装置。
【請求項１６】
前記マスクは、前記直線光路に対して或る角度で配置される
請求項１記載の装置。
【請求項１７】
前記マスクは、コサインパターンを有する
請求項１記載の装置。
【請求項１８】
前記マスクは、偏光効果を用いる
請求項１記載の装置。
【請求項１９】
前記減衰パターンは、高空間周波数を有すると共に前記レンズの近くに配置されて前記シーン内の深度を正確に検知する
請求項１記載の装置。
【請求項２０】
前記入力画像をぼけ補正して焦点外れによるぼけを除去する手段をさらに備える
請求項７記載の装置。
【請求項２１】
前記センサは、前記４Ｄライトフィールドを符号化する入力画像を生成し、
前記センサに接続され、前記入力画像から出力画像を生成するマイクロプロセッサをさらに備える
請求項１記載の装置。
【請求項２２】
前記センサは、前記シーンの一連の画像を取得する
請求項１記載の装置。
【請求項２３】
シーンの４Ｄライトフィールドを取得する方法であって、
直線光路に沿ってレンズを通ってセンサへ前記４Ｄライトフィールドを通過させるステップと、
前記レンズ及び前記センサの間の前記直線光路内に配置される減衰マスクを用いて前記４Ｄライトフィールドを変調するステップと
を含む、シーンの４Ｄライトフィールドを取得する方法。
【請求項２４】
前記減衰マスクは、低空間周波数を有すると共に前記レンズの近くに配置される
請求項２３記載の方法。
【請求項２５】
前記減衰マスクは、高空間周波数を有すると共に前記センサの近くに配置される
請求項２３記載の方法。
【請求項２６】
前記減衰マスクは、前記４Ｄライトフィールドをヘテロダイン処理する
請求項２５記載の方法。
【請求項２７】
前記センサは、入力画像を生成し、
前記入力画像から前記４Ｄライトフィールドを再構成するステップをさらに含む
請求項２３記載の方法。
【請求項２８】
前記４Ｄライトフィールドは、フーリエ領域の復号により再構成される
請求項２７記載の方法。
【請求項２９】
前記センサは、焦点外れによるぼけ入力画像を生成する
請求項２４記載の方法。
【請求項３０】
前記入力画像をぼけ補正することにより得られるリフォーカス画像は、前記センサのピクセル分解能と同じ分解能を有する
請求項２９記載の方法。
【請求項３１】
前記減衰マスクは、パターンが印刷される
請求項２３記載の方法。
【請求項３２】
前記減衰マスクは、アクティブであり、
前記減衰マスクの位置及びパターンの空間周波数を連続的に変更するステップをさらに含む
請求項２３記載の方法。
【請求項３３】
前記再構成された４Ｄライトフィールドから前記入力画像をリフォーカスして焦点の合った出力画像を生成するステップをさらに含む
請求項２７記載の方法。
【請求項３４】
前記出力画像は、深い被写界深度を有する
請求項３３記載の方法。
【請求項３５】
前記再構成された４Ｄライトフィールドから新たな画像を合成するステップをさらに含む
請求項２７記載の方法。
【請求項３６】
前記再構成された４Ｄライトフィールドから高分解能画像を生成するステップをさらに含む
請求項２７記載の方法。
【請求項３７】
前記減衰マスクは、色を含む
請求項２３記載の方法。
【請求項３８】
前記減衰マスクは、前記直線光路に対して或る角度で配置される
請求項２３記載の方法。
【請求項３９】
前記減衰マスクは、コサインパターンを有する
請求項２３記載の方法。
【請求項４０】
前記減衰マスクは、偏光効果を用いる
請求項２３記載の方法。
【請求項４１】
前記減衰マスクは、高空間周波数を有すると共に前記レンズの近くに配置されて前記シーン内の深度を正確に検知する
請求項２３記載の方法。
【請求項４２】
前記入力画像をぼけ補正するステップをさらに含む
請求項２９記載の方法。
【請求項４３】
前記センサは、前記４Ｄライトフィールドを符号化する入力画像を生成し、
前記センサにより生成される入力画像から出力画像を生成するステップをさらに含む
請求項２３記載の方法。
【請求項４４】
前記センサは、前記シーンの一連の画像を取得する
請求項２３記載の方法。
【請求項４５】
前記センサにより検知される２Ｄ信号にフーリエ変換を適用して２Ｄタイルを得るステップと、
前記２Ｄタイルを４Ｄ平面群にリアセンブルするステップと、
前記４Ｄ平面群に逆フーリエ変換を適用して前記４Ｄライトフィールドを再構成するステップとをさらに含む
請求項２３記載の方法。
【請求項４６】
前記減衰マスクは、開口内に配置され、前記シーンの前記４Ｄライトフィールドのスペクトルには角度寸法の変化がなく、前記減衰マスクのスペクトルには空間寸法の変化がなく、前記センサは、２つのスペクトルの畳み込みを検知する
請求項２３記載の方法。
【請求項４７】
開口の通過後の前記４Ｄライトフィールドｌの前記フーリエ変換は、到来ライトフィールドの前記フーリエ変換の、開口変調関数の前記フーリエ変換による変調により与えられる
請求項４５記載の方法。
【請求項４８】
前記入力画像とは異なる深度におけるリフォーカス画像を求めるステップをさらに含む
請求項２７記載の方法。
【請求項４９】
前記再構成された４Ｄライトフィールドとは異なる視点から新たな画像を合成するステップをさらに含む
請求項２７記載の方法。
【請求項５０】
複数のマスクが前記直線光路内に配置される
請求項２３記載の方法。
【請求項５１】
前記減衰マスクのパターンは、解析２Ｄ関数である
請求項２３記載の方法。
【請求項５２】
前記減衰マスクのパターンは、２値関数である
請求項２３記載の方法。
【請求項５３】
前記減衰マスクのパターンは、連続２Ｄ関数である
請求項２３記載の方法。
【請求項５４】
前記センサは、前記複数のマスクを用いて前記シーンの一連の画像を取得する
請求項５０記載の方法。
【請求項５５】
シーンの４Ｄライトフィールドを取得する方法であって、
前記４Ｄライトフィールドを、レンズ及びセンサの間の直線光路内に配置される減衰マスクにより変調するステップと、
前記変調された４Ｄライトフィールドを前記センサにより検知して前記４Ｄライトフィールドを符号化する入力画像を生成するステップと
を含む、シーンの４Ｄライトフィールドを取得する方法。
【請求項５６】
前記入力画像を復調して前記４Ｄライトフィールドを回復するステップをさらに含む
請求項５５記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には画像処理及びコンピュータフォトグラフィに関し、特に、シーンの４Ｄライトフィールドをカメラにより取得することに関する。
【背景技術】
【０００２】
画像処理及びコンピュータフォトグラフィの傾向は、画像の取得時に付加的な光学的情報を得ることである。これにより、ぼけ補正、リフォーカス、及び新たな画像等の取得後の画像処理用途が広がる。
【０００３】
鍵となる発想は、レンズを通してカメラに入り、カメラセンサに入射する４Ｄライトフィールド全体を取得することである。ライトフィールドは、空間内の全ての点を通って全方向に向かう光量を記述する関数である（Gershun著「ライトフィールド（The Light Field）」（Moon他訳、Journal of Mathematics and Physics, Vol. XVIII, MIT, 1939, pp. 51-151, 1939））。従来のカメラにおいて、検知される２Ｄ画像は４Ｄライトフィールドの単なる２Ｄ投影である。したがって、４Ｄライトフィールド全体を再構成することはできない。したがって、従来の画像を有意義な形で変更することのできる方法は非常に限られている。
【０００４】
光学要素、例えば、複数のレンズ、ミラー、ビームスプリッタ及び／又はセンサの複雑な配置を用いる場合、２Ｄセンサを用いて４Ｄ光線をリビニングして取得することができる（Georgiev他著「インテグラルフォトグラフィにおける空間角度分解能のトレードオフ（Spatio-angular resolution trade-offs in integral photography）」（EGSR, pp. 263-272, 2006））。そこでは、複数の光路を有するレンズアレイがライトフィールドの２平面パラメータ化の光学的実施を行う（Levoy他著「ライトフィールドレンダリング（Light field rendering）」（SIGGRAPH 96, pp. 31-42, 1996）、及びGortler他著「ルミグラフ（The lumigraph）」（SIGGRAPH, pp. 43-54, 1996）を参照）。しかし、光線の光学的リビニングは、レンズアレイにより空間分解能と角度分解能との間の固定的で永久的なトレードオフを強いる。
【０００５】
ライトフィールドの取得：インテグラルフォトグラフィ
各到来方向を別個に測定して全体的な４Ｄライトフィールド関数を推定する代わりに、ライトフィールドの取得が約１世紀前に初めて、４Ｄフィルム又はセンサ平面上の１点に到来する全ての光線の方向積分を「やり直す」ように記載された。当初の積分カメラ及びその変形の概観がOkano他著「インテグラルフォトグラフィに基づく３次元映像システム（Three dimensional video system based on integral photography）」（Optical Engineering 38, pp. 1072-1077, 1999）に記載されている。
【０００６】
自由空間内の全ての光線の表現としての４Ｄライトフィールドの概念は、Levoy他及びGortler他により記載されている。両者とも仮想視点から画像を作成したが、Levoy他は、仮想開口による画像の計算も記載した。しかし、そのような画像を計算する実用的な方法は、Isaksen他著「動的に再パラメータ化されるライトフィールド（Dynamically reparameterized light fields）」（SIGGRAPH, pp. 297-306, 2000）の４Ｄ補間及びフィルタリングの詳細な研究まで示されなかった。同様の方法が合成開口フォトグラフィとも呼ばれている（Vaish他著「密なカメラアレイの較正のための平面＋視差の使用（Using plane + parallax for calibrating dense camera arrays）」（Proc. Conf. Computer Vision and Pattern Recognition, pp. 2-9, 2004））。
【０００７】
４Ｄライトフィールドを２Ｄセンサにより取得するには、以下の２つの技法が最もよく用いられる。第１の技法は、レンズアレイを用いて、視点グリッドからシーンのライトフィールドを取得する。各レンズの後方で形成される画像は、角度サンプルの規則的なグリッドを与えて、インテグラルフォトグラフィに似た結果を与える。固定レンズアレイの代わりに、個々のカメラの光学的に等価な構成も用いることができる。その場合、正のレンズアレイは、プリズムを用いて従来のカメラの正面に配置される。
【０００８】
第２の技法は、１枚の大型レンズをマイクロレンズアレイの正面に配置し、各マイクロレンズを空間サンプル用に処理する。それらのプレノプティックカメラは、マイクロレンズアレイ上に画像を形成し、各マイクロレンズが、その点における放射輝度の角分布をサンプリングする画像を生成する。この技法は、像平面上の空間サンプル及び角度サンプルの配置を入れ替える。
【０００９】
上記の技法はいずれも、角度差を解消することができる代償として空間分解能を犠牲にする。それらの技法は、センサに対するマイクロレンズ及び光路の非常に正確な位置合わせを要求する。明らかに、それらの技法は、レンズ、開口及びセンサのみを備える単純な従来の（デジタル）カメラには適さない。
【００１０】
符号化結像法
天文学では、ピンホールカメラの制約を克服するために符号化開口結像法が用いられている（Skinner著「符号化マスクを用いるＸ線撮像（X-Ray Imaging with Coded Masks）」（Scientific American 259 p. 84, August 1988））。改良均一冗長アレイ（ＭＵＲＡ）が遠くの星の光分布を符号化するために用いられている。しかし、開口結像法は、従来のカメラに用いられているようなレンズの使用を除外する。
【００１１】
符号化露出カメラは、モーションブラー画像において高空間周波数を保存し、ぼけ補正プロセスを良好に行わせることができる（Raskar他著「符号化露出写真撮影：フラッタシャッターを用いるモーションブラー補正（Coded exposure photography: motion deblurring using fluttered shutter）」（ACM Trans. Graph. 25, 3, pp. 795-804, 2006）及びRaskarにより２００６年５月８日付で出願された米国特許出願第１１／４３０，２３３号「画像のぼけ補正方法及びぼけ補正装置（Method and Apparatus for Deblurring Images）」を参照、両文献を参照により本明細書中に援用する）。その技法は、時間変調を用いて画像中のモーションブラーを最小化する。
【００１２】
レンズ及び符号化マスクを含む従来技術の光学システムはかなり限られている。或るシステムは、４つのピンホールを有するマスクを主レンズの正面に配置し、４枚の画像を取り込むことによって焦点外れから深度を推定する（Hiura他著「多焦点カメラによる深度測定（Depth measurement by the multi-focus camera）」（CVPR '98: Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, IEEE Computer Society, Washington, DC, USA, p. 953, 1998））。しかし、ライトフィールドの取得には１枚の画像のみを用いることが望ましい。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
非球面レンズを用いてぼけが深度に依存しない画像を生成する被写界深度（ＤＯＦ）を深くする別の技法に波面符号化がある（Dowski他著「波面符号化：高性能及び／又は低コストの撮像システムを達成する現代的方法（Wavefront coding: A modern method of achieving high performance and/or low cost imaging systems）」（SPIE Annual Meeting, 1999））。Dowski他の結果は画像の被写界深度を深めるが、そのデザインはライトフィールドを提供することができない。
【課題を解決するための手段】
【００１４】
本発明の実施の形態は、シーンの４Ｄライトフィールドを取得して再構成する方法及び装置を提供する。ライトフィールドは、シーンに関してカメラの２Ｄデジタルセンサにより、カメラのレンズとセンサとの間の光路内にパターン平面マスクを配置して取得される。この透過マスクは、検知される前の４Ｄライトフィールドを空間変調する。４Ｄライトフィールドは、２Ｄセンサ画像から再構成することができる。
【００１５】
従来技術のライトフィールドカメラは、複数のレンズ、（及び／又は）複数のセンサ、（及び／又は）複数の画像、又は複数の光路を必要とする。
【００１６】
マスクは、高周波パターン又は広帯域パターンを有し得る。パターンマスクは、カメラ内の光線を、従来技術のライトフィールドカメラにおいて行われるように曲げるのではなく、部分的に減衰させる。減衰は、４Ｄライトフィールドを２Ｄセンサ上に２Ｄ入力画像として再構成可能に変調及び符号化する。カメラは、従来の２Ｄ画像をフルセンサ分解能で取得するために用いられる従来のカメラと全く同様に焦点を合わせることができる。すなわち、カメラは、「静止」ショット、又は映像を取得することができる。
【００１７】
本発明の実施の形態によるカメラでは、ピクセル輝度も変調４Ｄライトフィールドを分解することができる。ライトフィールドは、センサピクセル値の２Ｄフーリエ変換のタイルを４Ｄ平面に並べ替え、逆フーリエ変換を求めて４Ｄライトフィールドを復調することによって再構成することができる。
【００１８】
広帯域マスクをレンズの近く、例えば開口内に配置すると、本方法は、層状ランベルトシーンの画像に関してフルセンサ分解能でリフォーカスすることができる。４Ｄライトフィールドのこの部分的変調及び符号化は、不要な遮蔽物を削除、又は抑制するための深度による画像コンテンツの編集を可能にする。
【００１９】
本発明の実施の形態は、容易に調整可能なハイブリッド型撮像／ライトフィールドカメラデザインを用いる。ユーザは単に、レンズアレイではなく単一の減衰マスクを変更することができる。
【００２０】
本発明は、光線を一次結合することができるという事実を利用する。自ピクセルセンサ上の各４Ｄ光線を検知する代わりに、本発明のデザインは、光線の一次独立加重和の検知を可能にする。光線は、次に符号化画像内に結合することができる。符号化画像は、次に復号又は復調されて、４Ｄライトフィールドの光線を再構成することができる。これらの操作は、光線空間ではなくフーリエ領域で行うことができる。
【００２１】
４Ｄ光線空間から２Ｄセンサアレイへのマッピングは、周波数領域において最も良好に記述されるヘテロダイン処理法も利用することができる。変調理論及び畳み込み理論を周波数領域において利用することによって、単純な減衰マスクを求めることができる。このマスクは、カメラの光路内に配置して、フーリエ領域のリマッピングを達成することができる。追加レンズは必要なく、復号光線は必要に応じてソフトウェアにより計算することができる。
【発明の効果】
【００２２】
本発明は、それ以外は従来通りのカメラの光路内に配置されて、カメラにより取得された画像に対する異なるタイプの計算による改良を可能にする符号化マスクを提供する。本発明では、細かい狭帯域マスクをセンサの正面近くに配置することができる。すると、カメラレンズに入る４Ｄライトフィールドを計算により再構成することができる。マスクは、カメラが画像の集束部分をセンサのフル分解能で取り込む機能を、４Ｄライトフィールドを取り込むために用いられるのと同一の露光で保存する。
【００２３】
代替的に、本発明では、粗い広帯域マスクをレンズ開口に配置する。すると、焦点の外れた画像をフル分解能で計算によりリフォーカスすることができる。このリフォーカスはデコンボリューションに依存しているため、一定の又は一枚毎の平面集束を必要とする画像の集束を補正することができる。他のマスク位置及び空間周波数も可能である。
【００２４】
本明細書では、４Ｄライトフィールドの有用な部分を符号化及び操作する方法を記載する。４Ｄ光線空間のフーリエ変換を２Ｄセンサ上にリマッピングする一種の４Ｄカメラを特定する。従来の４Ｄライトフィールドカメラは、２Ｄレンズアレイを用いて、光線のフーリエ変換ではなく４Ｄ光線空間自体を投影する。本発明では、この周波数領域リマッピングを、単一の透過マスクを用いて達成し、本発明の方法は、従来の４Ｄライトフィールドカメラのようにレンズアレイ等の追加の光学要素を必要としない。
【００２５】
ヘテロダインライトフィールドカメラデザインは、４Ｄ周波数領域における変調理論に基づく。本発明では、無線の「ヘテロダイン処理」として知られる方法の４Ｄ版を用いてライトフィールドを取得する。高周波正弦波パターンをカメラのレンズとセンサとの間に配置することにより、４Ｄ周波数領域においてライトフィールドのスペクトルタイルを生成する。４Ｄライトフィールドを再構成するために、２Ｄ検知信号のフーリエ変換を取り、２Ｄタイルを４Ｄ平面群にリアセンブルし、逆フーリエ変換を取る。
【００２６】
レンズアレイに依存する従来の４Ｄカメラとは対照的に、本発明のハイブリッド型撮像／ライトフィールドデザインは、シーンの焦点の合った部分に対して分解能のトレードオフを強いない。マスクは、シーンからセンサへと移動する光線を曲げず、光線を細かい影のようなパターンで単に減衰させる。この影付けを補償すれば、シーンのフル分解能２Ｄ画像、及びフーリエ領域での復号により再構成する低分解能４Ｄライトフィールドが保持される。
【００２７】
符号化ぼけカメラデザインは、周波数領域における畳み込み理論に基づく。広帯域マスクをそれ以外は従来通りの２Ｄカメラの開口内に配置することにより、本発明では、焦点外れによりぼけを符号化して、高空間周波数を保存し、これをその後、画像のぼけ補正により再構成することができる。本明細書では、フル分解能画像を層状ランベルトシーンの様々な深度で計算によりリフォーカスする方法を示す。この計算されたリフォーカスは、４Ｄライトフィールド全体の測定を必要とせず、その膨大な分解能ペナルティを回避することを可能にする、周波数領域における４Ｄリマッピングの特別な場合である。両デザインに関して、本明細書では、マスクパターンの最適性基準を記載すると共に、高効率マスクを計算する方法を記載する。
【００２８】
本発明のマスクベースのハイブリッド型撮像／ライトフィールドカメラは、以前の方法に勝るいくつかの利点を提供する。減衰マスクは、複数のカメラ又はレンズアレイよりも遥かに単純で低コストであり、球面、色収差、コマ収差、及び位置ずれ等の誤差を回避する。より単純な高周波結合器及びフレキシブルマスクは、ユーザが選択可能なマスクを提供するカメラデザインを可能にする。撮影者は、角度対空間分解能のあらゆる所望のトレードオフを選択することができる。
【発明を実施するための最良の形態】
【００２９】
ライトフィールドカメラ
図１及び図２に示すように、本発明の実施形態は、シーン１０２の４Ｄライトフィールド１０１を取得して再構成するカメラ１００及び２００を提供する。カメラ１００は、従来のレンズ１１０と、従来の開口１１５と、従来のセンサ１２０とを備える。レンズは、複合レンズのように、視差、コマ収差及び歪みを補正するために複数の要素を含み得る。しかし、光路１０３は１つしかないことを理解すべきである。スキャナはＣＣＤラインスキャナとすることができる。
【００３０】
カメラはまた、本明細書中で説明する方法を実施するために用いることができるマイクロプロセッサ（μＰ）１４０を備える。基本的に、マイクロプロセッサは、４Ｄライトフィールドを符号化する２Ｄ入力画像１０１を受け取り、ライトフィールドの再構成である出力画像１０４を生成することができる。出力画像１０４は入力画像の復調である。
【００３１】
入力画像はライトフィールドを符号化するため、出力画像は、より小さな開口又はピンホール開口を用いたかのように、異なるか又はより深い被写界深度にリフォーカスすることができる。出力画像１０４は、ぼけ補正されるか、又は新たな画像とすることができる（図１３及び図１４を参照）。
【００３２】
カメラはまた、レンズとセンサとの間の直線光路内に配置されるパターンマスク１３０を備える。パターンはライトフィールドを部分的に減衰させる。パターンは、空間的に低周波数又は空間的に高周波数、又はその中間とすることができる。事実上、パターンは、センサ１２０によりシーン１０２に関して取得された４Ｄライトフィールドを空間変調する。パターンはまた、解析２Ｄ関数、２値関数、又は連続２Ｄ関数であり得る。光路内に複数のマスクを配置することができることも理解すべきである。
【００３３】
カメラ１００において、空間的に連続した高周波２Ｄマスク１３０（図１１Ａを参照）は、レンズからセンサへの光路１０３内に配置される。図１のカメラ１００に関して図示されるように、マスク１３０は、センサ１２０の前面又はその近くに配置されて、ヘテロダインライトフィールド１０１を生成する。図２のカメラは、レンズの近く又は開口１１５内に配置される空間的に連続した低周波マスク２３０（図１１Ｃを参照）を有する。これらのカメラは、マスク及びマイクロプロセッサ内で動作する方法を除けば従来通りである。
【００３４】
減衰された４Ｄ光がセンサ１２０により検出されれば、本発明の基本的な目的は達成される。センサ、すなわち、センサ素子又はピクセルは今や、入射４Ｄライトフィールドを再構成するのに十分な４Ｄライトフィールドの変調２Ｄ「画像」を蓄えている。
【００３５】
本発明の実施形態はまた、取得された４Ｄライトフィールドの各部分を符号化及び操作する方法を説明する。本発明では、４Ｄ光線空間のフーリエ変換を２Ｄセンサ上にリマッピングする一種の４Ｄライトフィールドカメラを説明する。
【００３６】
対照的に、従来技術の４Ｄカメラは、２Ｄレンズアレイを用いて、弧線空間のフーリエ変換ではなく４Ｄ光線空間そのものを投影していた。
【００３７】
本発明では、この周波数領域でのリマッピングを単一の透過マスクを用いて達成し、本発明の方法は、従来技術のようにレンズアレイ等の追加の光学要素を必要としない。言い換えれば、本発明のカメラ内の直線の単一の光路は完全に従来通りである。
【００３８】
本発明の分析は、２つのカメラデザインにつながる。図１は、ヘテロダインライトフィールドカメラ１００を示す。このデザインは、４Ｄ周波数領域における変調理論に基づく（Fessenden著「ワイヤレステレフォニー（Wireless telephony）」（Trans. American Institute of Electrical engineers 27, pp. 553-629, 1908、参照により本明細書中に援用される）を参照）。
【００３９】
本発明では、無線シグナリングにおいて「ヘテロダイン処理」として知られる方法の光学４Ｄ光学版を用いてライトフィールドを取得する。ヘテロダイン処理は、２つ以上の信号を非線形的に混合することにより新たな周波数を生成する。２周波数の混合は、２周波数の和である第１の周波数と、差である第２の周波数とを生じる。本発明のカメラにおけるヘテロダイン処理は、透過マスク１３０により生成される。本発明では、カメラのレンズとセンサとの間の光路内に配置されたマスク１３０（図１１Ａを参照）上に高周波正弦波パターンを形成することによって４Ｄ周波数領域のライトフィールドのスペクトルタイルを生成する。
【００４０】
４Ｄライトフィールド（図５〜図７を参照）を再構成するために、本発明では、センサにより検知される２Ｄ信号のフーリエ変換を計算し、２Ｄタイルを４Ｄ平面群内にリアセンブルし、平面群に逆フーリエ変換を適用する。
【００４１】
レンズアレイに依存する従来技術の４Ｄライトフィールドカメラとは異なり、本発明のハイブリッド型撮像／ライトフィールドカメラは、シーン１０２の焦点の合った部分に対して分解能のトレードオフを強いない。マスクは、シーンからセンサへの直線光路に沿って移動する光線を曲げない。マスクは、光線を影のようなパターンで減衰させるだけである。減衰は、ライトフィールドの空間変調を行う。この影を補償すると、シーンのフル分解能２Ｄ画像を保持することになる。さらに、本発明では、フーリエ領域での復号又は復調によって４Ｄライトフィールドを再構成することができる。
【００４２】
図２に示すカメラ２００は、周波数領域における畳み込み理論に基づく（Oppenheim他著「離散時間信号処理（Discrete-Time Signal Processing）」（Prentice-Hall, 1999、参照により本明細書中に援用される））。低周波マスク２３０を、それ以外は従来通りの２Ｄカメラのレンズ開口１１５の近く又はレンズ開口１１５内に配置することによって、焦点外れによるぼけを符号化して、高空間周波数を保存する。高空間周波数はその後、画像ぼけ補正技法（図１３及び図１４を参照）によって再構成することができる。
【００４３】
本発明では、フル分解能画像を層状ランベルトシーンの様々な深度で計算によりリフォーカスする方法を説明する。この計算されたリフォーカスは、４Ｄライトフィールド全体の測定を必要としない周波数領域における４Ｄリマッピングの特別な場合である。これにより、分解能のペナルティが回避される。
【００４４】
両方のカメラデザインに関して、マスク１３０及び２３０の最適性デザイン基準を説明すると共に、効率の高いマスクを生成する方法を説明する。
【００４５】
ライトフィールド
図３及び図８は、本発明の実施形態の基本的な動作を示す。図３は、符号化ぼけカメラ２００の光学素子を示す。図８は、ヘテロダインライトフィールドカメラ１００の光学素子を示す。
【００４６】
光線空間において、シーン点３１０からの４Ｄライトフィールドの焦点の合ったシーン光線（ｌ）は、レンズ及びマスクを通じてセンサ１２０上の点（ピクセル）３２０に収束する。焦点の外れた光線は、センサ画像上にマスクパターンを刻印する。
【００４７】
図４に示すようなフーリエ領域において、ランベルトシーンのライトフィールド４１０には角度寸法θの変化がなく、水平スペクトルを形成する。開口に配置されたマスクにはｘ平面の変化がなく、垂直スペクトルを形成する。変調ライトフィールド４３０のスペクトルは、マスク変調関数４２０により、２つのスペクトルの畳み込みとなる。焦点の合ったセンサは、焦点が外れると傾斜する水平スペクトルスライスを測定する。
【００４８】
本発明では、一空間次元がｘ平面３０１にあり、一角度次元がθ平面３０２にある２Ｄライトフィールド空間（ＬＳ）と、光学的に、位置Ｓｎｅａｒ、Ｓ０（焦点が合っている）、及びＳｆａｒへの焦点に応じて移動するとみなすことができる１Ｄセンサ１２０とを考慮する。本発明では、変数を下付き文字で示し、それらに対応するフーリエ領域表現を上付き文字で示す。ｌ（ｘ，θ）が図３に示すような、双平面パラメータ化された２Ｄライトフィールドを示すものとする。θ平面３０２は、主レンズ、又は複合レンズを有するカメラの場合には開口の平面となるように選択される。平面ランベルトシーンの場合、ｘ平面３０１はシーン平面と一致するものと仮定する。
【００４９】
光学要素がライトフィールドに及ぼす影響
次に、本明細書中でフーリエ領域ライトフィールド空間（ＦＬＳ）と呼ぶ周波数領域の２Ｄライトフィールドに対する、センサ、レンズ及び開口等の様々な光学要素の効果を論じる。（ｘ，θ）空間を一次領域と呼ぶ。
【００５０】
センサ：１Ｄ（２Ｄ）センサ上に形成される画像は、カメラに入る２Ｄ（４Ｄ）ライトフィールドの１Ｄ（２Ｄ）投影であり、フーリエ空間のライトフィールドのスライス４４０にも対応する（図４を参照）。様々な焦点設定（図３を参照）に関して、得られた画像は、様々な角度／軌跡のスライスに対応する。
【００５１】
レンズ：薄型レンズが、ライトフィールドのｘ平面を、薄型レンズの式：１／ｘ＋１／ｖ＝１／ｆにより得られる共役平面にシフトする。ここで、ｘはシーンからレンズの中心までの距離であり、ｖはレンズの中心からセンサまでの距離であり、ｆはレンズの焦点距離である。レンズはまた、ライトフィールドのｘ平面を反転させる。
【００５２】
開口：カメラの開口は光制限器として働き、開口を通過する光線のみをカメラに入れる。開口を通過したライトフィールドｌは次式によって与えられる。
【００５３】
【数１】
2008191661.tif 000003
【００５４】
ここで、α（ｘ，θ）は、α（ｘ，θ）＝ｒｅｃｔ（θ／２θ０）により得られる開口（矩形）変調関数であり、２θ０は開口のサイズである。
【００５５】
式（１）から、開口の後のライトフィールドのフーリエ変換は次式により与えられる。
【００５６】
【数２】
2008191661.tif 000004
【００５７】
ここで、○×は畳み込みを示す（なお、○×は、○と×が重複したテンソル積又はクロネッカー積を表す）。Ｌ及びＡはそれぞれ、（開口の前の）ライトフィールドのフーリエ変換及び開口変調関数である。（ｘ，θ）はｒｅｃｔ関数であるため、次式が成り立つ。
【００５８】
【数３】
2008191661.tif 000005
【００５９】
ＦＬＳ及びライトフィールド中の情報コンテンツ
ライトフィールドは、自由空間における光線の４Ｄ表現である。２Ｄセンサは、このライトフィールドの１つの２Ｄスライスしかサンプリングすることができない。シーンに応じて、ライトフィールド中の情報コンテンツは、ライトフィールドの様々な部分に集中する。
【００６０】
平面ランベルトシーン
撮像されるシーンが、ｘ平面３０１において平面ランベルトシーン４１０を含むものと仮定する。ランベルトシーンからの光線の放射照度には角度変化がないため、そのライトフィールド４１０の情報コンテンツは、ｆｘ軸に沿ったものに制限される。したがって、全ての０でないｆθに関してＬ（ｆｘ，ｆθ）＝０である。Ｌ（ｆｘ，ｆθ）はｆθに依存せず、Ａ（ｆｘ，ｆθ）はｆｘに依存しないため、式（２）及び（３）から次式が得られる。
【００６１】
【数４】
2008191661.tif 000006
【００６２】
検知される画像は、この変調ライトフィールド４３０のスライス４４０である（図４を参照）。
【００６３】
センサの焦点が合っている時（図３の（Ｓ０））、シーン点からの全ての光線がセンサピクセルに収束する。したがって、焦点の合った画像は、ｆｘ（ｆθ＝０）に沿ったＬＡ（ｆｘ，ｆθ）のスライスに対応する。ｙ（ｓ）及びＹ（ｆｓ）がそれぞれ、センサ観測値及びそのフーリエ変換を示すものとする。焦点の合ったセンサに関して、次式が成り立つ。
【００６４】
【数５】
2008191661.tif 000007
【００６５】
したがって、ランベルト平面に焦点が合っている場合、失われる情報はない。したがって、次式が成り立つ。
【００６６】
【数６】
2008191661.tif 000008
【００６７】
したがって、焦点の外れた設定の場合（Ｓｎｅａｒ及びＳｆａｒ）、ライトフィールドは、開いた開口のサインカーディナル（シンク）関数であるマスク変調関数４２０の周波数変換により減衰される。これは、シーンの焦点が外れている時に取得される信号における高空間周波数の減衰を説明する。
【００６８】
したがって、結果として得られる開口変調関数４２０が広帯域周波数応答を持つように開口を修正し、画像の焦点が外れている時にライトフィールドの高空間周波数が確実に保存されるようにする。
【００６９】
ちなみに、ピンホールカメラの場合、開口関数はＤｉｒａｃデルタ関数であり、開口変調関数はｆθにおいて広帯域である。これは、ピンホールカメラにより取得される画像は常に焦点が合っている理由を説明する。しかし、極めて小さな開口を有するピンホールカメラは、光を著しく損失し、画像の信号対雑音比（ＳＮＲ）を下げる。
【００７０】
注意深く選択されたマスクを用いて、ｆθにおけるライトフィールドの広帯域変調器の機能を行い、後述するように、ピンホールカメラと比較して取り込まれる光量を増やしながら、ランベルトシーンのより高い自由度を実現することができる。
【００７１】
帯域制限ライトフィールド
一般のシーンに関して、ライトフィールドは、図５に示すようにｆｘ０及びｆθ０に帯域制限されているものと仮定する。
全ての｜ｆｘ｜≧ｆｘ０，｜ｆθ｜≧ｆθ０に関して、Ｌ（ｆｘ，ｆθ）＝０
【００７２】
従来のカメラは、２Ｄ（４Ｄ）ライトフィールドの１Ｄ（２Ｄ）スライスしか撮影することができない。ライトフィールドの情報コンテンツ全体を再構成するために、到来ライトフィールドを、４Ｄ  ＦＬＳ空間からのエネルギーを２Ｄセンサ空間に再分配するように変調する。
【００７３】
図５は、ヘテロダインライトフィールドカメラ１００におけるスペクトルスライシングを示す。フーリエ領域において、センサは、水平軸（ｆθ＝０）のみに沿ってスペクトルを測定する。マスクなしの場合、センサ１２０は２Ｄライトフィールドスペクトル全体を取得することができない。マスクスペクトルは、角度αだけ傾斜したインパルス列を形成する。
【００７４】
本発明の変調理論に従って図６に示されるように、センサライトフィールド及びマスクスペクトルは畳み込まれて、スペクトルレプリカを形成し、ライトフィールドスペクトルスライスをセンサの広いｆθ＝０平面に沿って配置する。
【００７５】
図７に示すように、ライトフィールドスペクトルを再構成するために、センサスライスを復調することによってセンサスペクトルセグメントを、矢印によって示されるように平行移動させて元のｆｘ位置及びｆθ位置に戻し、ライトフィールド１０１を再構成する。
【００７６】
ヘテロダインライトフィールドカメラ
要求される変調は、図８に示すようなレンズとセンサとの間の適切な位置に配置された、適切に選択された２Ｄマスクを使用することによって周波数領域において達成することができる。このマスクは２Ｄ変調器にすぎない。しかし、驚くべきことに、レンズ１１０と並行して、所望の４Ｄ変調を達成することができる。
【００７７】
本発明者らは、本発明の実施形態によるカメラが、追加のレンズ又は他の光線を曲げる光学装置を一切使用しない「単一スナップショット」ライトフィールドカメラの最初のデザインであると考える。
【００７８】
変調理論及びその示唆
Oppenheim他による変調理論は、広帯域信号ｓ（ｘ）が周波数ｆ０のコサインで変調されると、その結果はその周波数における信号のレプリカとなると述べている。
【００７９】
【数７】
2008191661.tif 000009
【００８０】
ここで、Ｆ（ｆｘ）はｓ（ｘ）のフーリエ変換を示す。この原則は、電気通信システム及び無線システムにおいて広く用いられている。そこでは、ベースバンド信号が、遥かに高い周波数の搬送波周波数を用いて変調され、ベースバンド信号を大幅なエネルギーの損失なく長距離送信できるようになっている。受信機は、受信した信号を復調して、ベースバンド信号を再構成する。本質的に、本発明では同様の結果を光学領域で達成したい。
【００８１】
ライトフィールドの角度変化（ｆθ周波数）における情報をｆｘのより高い周波数に変調して、高分解能センサ１２０がこの情報を検出できるようにしたい。
【００８２】
図５は、周波数領域における所望の帯域制限ライトフィールド５０１を示す。簡略化のために、ｘ平面を共役平面であると仮定し、センサ画像がｆｘに沿ったスライス、すなわち水平スライスに対応するようにする。ここで、図５及び図６に示すような、周波数応答が斜線５０３上に配置されるインパルスから成る変調関数５０２を考える。
【００８３】
ライトフィールドがそのような変調関数によって変調される場合、これらのインパルスの各々は、その中心周波数においてライトフィールドのスペクトルレプリカを生成する。したがって、この畳み込みの結果は、斜線に沿った所望のライトフィールドのいくつかのスペクトルレプリカとなる（図６を参照）。
【００８４】
この特定の変調の優雅さは、変調ライトフィールドスペクトルの水平スライス６１０（破線枠）がここで、元のライトフィールドの全ての情報を取り込んでいることである。なお、角度α５０３は、θ次元及びｘ次元の必要な周波数分解能、並びに到来ライトフィールドの帯域幅に基づいてデザインされる。
【００８５】
電気通信におけるヘテロダイン受信機は、到来信号を復調してベースバンド信号を再構成する。図７に示すような本発明の場合、復調はまた、１Ｄ信号を２Ｄライトフィールド空間に再分配する。この復調プロセスは、センサの周波数応答Ｙ（ｆｓ）を並べ替えて、図７に示すように帯域制限ライトフィールドＬ（ｆｘ，ｆθ）１０１を再構成する。
【００８６】
マスクベースのヘテロダイン処理
図５及び図６に示す変調は、適切に選択された減衰マスクをレンズとセンサとの間の光路に配置することによって達成することができる。
【００８７】
ライトフィールド変調器としてのマスク
図８に示すように、本発明のマスクは本質的に、レンズとセンサとの間の光路に配置される特別な１Ｄ符号ｃ（ｙ）（４Ｄライトフィールド４１０の場合は２Ｄ）である。このマスクは１Ｄであるが、その変調関数４２０は２Ｄである。本発明のヘテロダインライトフィールドカメラ用の構成を図９及び図１０に示す。光線空間において、ｄにおけるコサインマスクは、図８に示すようにセンサに柔らかな影を落とす。
【００８８】
図１０に示すフーリエ領域において、インパルスから成るマスクスペクトルと畳み込まれるシーンスペクトルは、ずれたスペクトルタイル９１０を生成する。マスクスペクトルのインパルスは、ｄ＝０において水平であり、ｄ＝ｖにおいて垂直であるか、又は傾斜している。
【００８９】
マスクは、カメラ内の光路に沿って配置される場所に応じて、ライトフィールドに異なる影響を及ぼす。マスクが開口１１５、すなわちθ平面に配置される場合、マスクの影響は、開口変調関数にマスク変調関数４１０を掛けるものとなる。マスク変調関数ｍ（ｘ，θ）は、ｍ（ｘ，θ）＝ｃ（ｙ＝θ）により与えられる。すなわち、変調関数はｘに依存しない。θ平面に配置されると、マスクは、光線の起点であるシーン点に関係なく、角度θにある全ての光線に同様に影響を及ぼす。
【００９０】
マスクが共役平面に配置される場合、マスクは、θに関係なく、同じｘに関して全ての光線を均等に減衰させる。これは、共役平面では、焦点面上の一点を起点とする全ての光線が単一点に収束するためである。したがって、マスク変調関数はｍ（ｘ，θ）＝ｃ（ｙ＝ｘ）に変わる。
【００９１】
したがって、開口及び共役平面における同一のａｓｋ符号は、２Ｄライトフィールド空間における９０度の回転により関連付けられる。さらに、１Ｄ符号が開口平面からセンサ平面へ移動されるため、結果として得られるマスク変調関数は、図示のように２Ｄで回転している。周波数領域において、マスクｃ（ｖ）が共役平面から距離ｄに配置される場合、マスク変調関数は次式により与えられる。
【００９２】
【数８】
2008191661.tif 000010
【００９３】
ここで、Ｃは１Ｄマスクのフーリエ変換を示し、ｖは、レンズ１１０の焦点距離に依存する開口と共役平面との間の距離である。
【００９４】
回転角αは次式により与えられる。
【００９５】
【数９】
2008191661.tif 000011
【００９６】
言い換えれば、マスク変調関数は、全てのエネルギーを２Ｄ  ＦＬＳ空間内の線上に集中させる。ｆｘ軸に対する線５０３の角度αは、マスクの位置に依存する。マスクが共役平面（ｄ＝０）に配置されると、角度αは０となる。マスクが共役平面から開口の方へ離れるほど、この角度は、図１０に示すような開口平面における９０度まで線形に大きくなる。
【００９７】
ヘテロダイン処理のための最適なマスク位置
２Ｄライトフィールドを取得するために、変調関数Ｍ（ｆｘ，ｆθ）は、次式により与えられる、角度αにおける一連のインパルスである。
【００９８】
【数１０】
2008191661.tif 000012
【００９９】
ここで、ｆｘ０はｆｘ軸のライトフィールドの帯域幅であり、ｆθＲは、図６に示すようなｆθ軸の所望の周波数分解能を表す。
【０１００】
例えば、図６において、周波数分解能は、ｆθＲ＝（２／５）ｆθ０に等しいものとして示されている。ここで、ｆθ０はｆθ軸のライトフィールドの帯域幅である。したがって、所与の帯域幅のライトフィールドを取得するために、マスクの物理的位置を式（１２）及び（１１）から求めることができる。
【０１０１】
実際には、空間分解能が角度分解能よりも遥かに高いため、角度αは非常に小さく、よって、マスクは、ヘテロダインライトフィールドカメラのセンサの近くに配置されることになる。
【０１０２】
最適なマスクパターン
Ｍ（ｆｘ，ｆθ）を傾斜した２Ｄ線の一組の１Ｄインパルスとして達成するために、１Ｄマスクのフーリエ変換Ｃ（ｆ）は一組のインパルスでなければならない。２ｐ＋１をＭ（ｆｘ，ｆθ）におけるインパルス数とする。すると、１Ｄマスクのフーリエ変換は次式により与えられる。
【０１０３】
【数１１】
2008191661.tif 000013
【０１０４】
ここで、基本周波数は次のように表される。
【０１０５】
【数１２】
2008191661.tif 000014
【０１０６】
図５から、（２ｐ＋１）ｆθＲ＝２ｆθ０である。ｆθにおける帯域幅はｆθＲによって打ち切られる。したがって、ライトフィールドにおいて得られる角度サンプルの数は次式に等しい。
【０１０７】
【数１３】
2008191661.tif 000015
【０１０８】
最適なマスクのフーリエ変換は（ＤＣと共に）一組の対称なＤｉｒａｃデルタ関数であるため、これは、物理マスクが所与の基本周波数ｆ０及びその高調波のコサインの集合の和であることを示唆する。必要な高調波の数は実際にはｐであり、ｆθ軸のライトフィールドの帯域幅及び所望の周波数分解能ｆθＲに依存する。
【０１０９】
２Ｄライトフィールドの再構成
２Ｄライトフィールドを１Ｄセンサ画像から再構成するために、センサ画像のフーリエ変換を求め、１Ｄフーリエ変換を図７に示すように２Ｄに再整形し、逆フーリエ変換を求める。したがって、次式が成り立つ。
【０１１０】
【数１４】
2008191661.tif 000016
【０１１１】
ここで、ＦＴ及びＩＦＴはフーリエ変換及び逆フーリエ変換を示し、ｙ（ｓ）は観測センサ画像である。
【０１１２】
４Ｄライトフィールドの取り込みに関する注意
ライトフィールドの取得のためのマスクベースのヘテロダイン処理の解析及び構造は、２Ｄライトフィールドに関して明らかにされているが、その手順は、２Ｄセンサによる４Ｄライトフィールドの取得でも同一である。４Ｄの場合への拡張は単純である。
【０１１３】
４Ｄライトフィールドの場合、４Ｄライトフィールドの情報コンテンツは、レンズとセンサとの間に配置される２Ｄマスクにより２Ｄセンサ空間にヘテロダイン処理される。２Ｄマスクのフーリエ変換は、２Ｄ平面上の一組のインパルスを含む。
【０１１４】
【数１５】
2008191661.tif 000017
【０１１５】
本発明では、マスク内に要求される通りの負の値を実現することができないため、Ｃ（ｆ１，ｆ２）のＤＣ成分を増強して、マスク全体を正にするようにする。
【０１１６】
図１１Ａは、大きく拡大した拡大高周波２Ｄコサインマスクを示す。この２Ｄマスクは、両次元において４つの高調波を有し（ｐ１＝４，ｐ２＝４）、基本周波数ｆ０１及びｆ０２は１サイクル／ｍｍである。これにより、４Ｄライトフィールドにおける９×９の角度分解能が可能になる。
【０１１７】
図７に示すような４Ｄライトフィールドを再構成するために、復調は、４Ｄでのセンサフーリエ変換の再整形を含む。ライトフィールドの角度サンプルの数は以下の通りである。
ｔ１＝２ｐ１＋１、及びｔ２＝２ｐ２＋１
【０１１８】
２Ｄセンサ画像はＮ×Ｎピクセルを有する。本発明ではまず、センサ画像の２Ｄ  ＦＦＴを求める。次に、２Ｄフーリエ変換のｔ１×ｔ２個のタイルを４Ｄ平面に並べ替えて、（Ｎ／ｔ１）×（Ｎ／ｔ２）×ｔ１×ｔ２  ４Ｄフーリエ変換を得る。この４Ｄフーリエ変換の逆ＦＦＴが４Ｄライトフィールドを与える。
【０１１９】
ライトフィールドカメラの応用
ライトフィールドに基づくデジタルリフォーカス
適切なスライスを撮影することによってライトフィールドの再構成フーリエ変換からリフォーカス画像を得ることができる（参照により本明細書中に援用される上記Ng, 2005を参照）。再構成ライトフィールド１０１を用いることによって、画像の被写界深度を著しく深くすることができる。再構成ライトフィールドに基づくデジタルリフォーカスは、複雑なシーンの場合にもリフォーカスを可能にする。
【０１２０】
さらに、本発明では、再構成ライトフィールド１０１から新たな画像及びビューを合成することができる。例えば、新たな画像は、異なる視点からのものとすることができる。
【０１２１】
シーンの焦点の合った部分の高分解能画像の生成
本発明のライトフィールドカメラは、追加の利点を有する。本発明では、焦点の合ったシーンのランベルト部分の高分解能画像を生成することができる。はっきりと焦点の合ったシーン点を考える。このシーン点からの全ての光線は、同一のセンサピクセルに到達するが、マスクにより様々に減衰される。したがって、センサピクセル値は、シーン放射照度と、そのピクセルに到達する光線の円錐内のマスクの平均値との積である。この減衰γ（ｘ，ｙ）は、ピクセル毎に変化し、解析により求められるか、又は均一強度のランベルトシーンの単一の再構成画像を取得することによって再構成されることができる。
【０１２２】
本発明では、焦点の合ったシーン点の高分解能画像Ｉ（ｘ，ｙ）を次のように再構成することができる。
【０１２３】
【数１６】
2008191661.tif 000018
【０１２４】
ここで、ｓ（ｘ，ｙ）は取得センサ画像である。焦点の合っていなかったシーンの部分は、Ｉ（ｘ，ｙ）中に空間的に変化するぼけを有する。本発明では、均一強度のランベルトライトボックスの画像をγとして用いる。
【０１２５】
符号化ぼけカメラ
上記では、減衰マスクを用いるライトフィールドカメラを説明した。このセクションでは、ライトフィールドの特定の下位分類、例えば、層状ランベルトシーンから得られるライトフィールドを説明する。そのようなシーンの場合、本発明では、開口での低周波数マスクの使用が、フル分解能デジタルリフォーカスを達成する非常に強力な方法であることを示す。
【０１２６】
従来のカメラでは、撮影者は被写界深度（ＤＯＦ）を、開口のサイズ（ｆ値）を制御することによってのみ制御することができる。開口サイズが小さくなるにつれ、カメラのＤＯＦは比例して深くなるが、ＳＮＲは光の損失のために比例して下がる。
【０１２７】
上記では、開けた開口が焦点の外れた画像における高空間周波数を抑制することを説明している。高空間周波数を保存するために、周波数応答が広帯域である開口に物理マスクを配置する。開口に配置されるマスクの場合、Ｍ（ｆｘ，ｆθ）は、式（１０）からその全エネルギーをｆθ方向に沿って集中させる。したがって、全てのゼロでないｆｘに関してＭ（ｆｘ，ｆθ）＝０である。マスク変調ライトフィールドの周波数変換は次のように表される。
【０１２８】
【数１７】
2008191661.tif 000019
【０１２９】
ランベルトシーンの場合、Ｌ（ｆｘ，ｆθ）＝０であるため、上の式は次式に単純化される。
【０１３０】
【数１８】
2008191661.tif 000020
【０１３１】
したがって、マスク変調関数にライトフィールドの周波数変換が掛けられる。一次領域において、これはマスク及びシーンの鮮明な画像の畳み込みに等しい。マスクのスケールは焦点外れによるぼけの程度に依存する。鮮明な画像は、スケーリングされたマスクによるぼけ画像のデコンボリューションにより再構成することができる。取り込み画像の光線に基づく解析からも同じ結果に達することができる。
【０１３２】
焦点外れによるぼけの符号化に最適なマスク
ライトフィールドの周波数変換にマスク変調関数を掛けるため、最適なマスクは周波数領域において広帯域応答を有する。一般には改良均一冗長アレイ（ＭＵＲＡ）符号としても知られる広帯域マスクは、符号化開口天文学において用いられている。
【０１３３】
しかし、本発明のレンズベースの符号化開口は、天文学において用いられる、レンズを用いない従来の符号化開口とは大幅に異なる。従来の符号化開口では、全てのシーン要素がマスクにより巡回畳み込みされる。
【０１３４】
本発明のレンズベースの符号化とは対照的に、観測される画像は、鮮明な画像と焦点外れの点拡散関数（ＰＳＦ）との線形畳み込みである。線形畳み込みは、ゼロ埋めカーネルの巡回畳み込みに等しいため、レンズベースの符号化開口の最適なマスクはＭＵＲＡとは異なる。
【０１３５】
さらに、天文学の符号化開口は、銀河起源のような点、例えば星に関してのみＳＮＲを上げることができ、領域光源にはピンホールに勝る付加的な利点を与えない。したがって、これらの技法は、自然の地上シーンの写真撮影には適さない。
【０１３６】
モーションブラー補正問題に対して、ゼロ埋め符号のＤＦＴの大きさの最小値の最大化に基づき最良の２値符号を探索するための強引な線形探索は、上記Raskar他により記載されている。
【０１３７】
ここで、本発明では、連続値符号により、探索時間を大幅に削減するという利点と共に、２値符号に比べて優れた性能を与えることができることを示す。連続符号を求めるために、本発明では、ゼロ埋め符号のＤＦＴの大きさの最小値の最大化に基づく連続値最適化を行う。
【０１３８】
ＭＵＲＡ符号等の次善の２値符号を初期推定として提供することができる。図１１Ｂは、１０時間の計算による探索後に得られる従来の７×７の２値マスクを示す。図１１Ｃは、数分の最適化で得られる連続広帯域マスクを示す。ＤＦＴの最小の大きさは連続符号の場合に（１２８へのゼロ埋め後に）０．０１３に等しく、これに対して２値符号では０．００３である。後述するノイズ解析を用いて、連続値符号のデコンボリューションノイズは２値マスクと比べて７．３ｄＢだけ小さい。
【０１３９】
ライトフィールドを取り込むために、本発明では、センサの分解能に一致するマスクを用いる。これは、より高分解能を達成するためにピクセルが小さくなっているデジタルカメラの将来の傾向に関して理想的である。ＲＧＢベイヤーモザイクをピクセル分解能、例えば、２５、５０、及び１００ナノメートル分解能で１０２４階調で印刷することが可能である。このような高分解能マスクは、１枚のマスクでヘテロダイン処理及びベイヤーモザイク操作をサポートする。本発明のマスクは、４Ｄ空間において実質的に２Ｄであるが、ホログラムと同様の角度及び位置に配置されて完全な４Ｄ効果を達成するマスクを用いることもできる。本発明の広帯域マスク及びコサインマスクは、カラーであって、偏光効果を用いてシーン特性を推定してもよい。
【０１４０】
代替的に、マスクは、マスクの位置及びマスク上のパターンがユーザ又はカメラによって用途又はシーンに応じて変更できるようにアクティブであってもよい。これにより、マスクの空間周波数は連続的に低いものから高いものまで及ぶ。マスクは、図１２に示すような「ズーム」レンズ制御と同様の構成要素により操作することができる。鏡筒制御装置を前後に移動させること（１２０１）により、マスクの位置（ｄ）が連続範囲にわたって変化し、制御装置を回転させること（１２０２）によりマスクの空間周波数が連続範囲にわたって変化する。
【０１４１】
マスクがセンサの近くで高周波数である場合、結果は、２Ｄ（４Ｄ）ライトフィールドのフーリエ変換とマスクのフーリエ変換との畳み込みである。マスクのフーリエ変換は常に、２Ｄ（４Ｄ）空間の線（平面）に沿って１Ｄ（２Ｄ）である。マスクがレンズの近くにある場合、線はθ軸に沿い、センサの近くにある場合、ｘ軸に沿う。
【０１４２】
マスクがレンズにおいて低周波数である理由は、回折のためである。回折は、センサからの制限開口の距離と共に大きくなる。そのため、マスクがセンサの近くにある時、回折は問題とならず、高周波数マスクを用いることができる。コサインマスクがセンサの近くで用いられる理由は、達成したい特定の変調のためである。
【０１４３】
マスクをレンズに置くことには回折の問題があるため、低周波数マスクが好ましい。レンズにおいて広帯域を用いてコサインマスクを用いない理由は、焦点の外れた画像中の高空間周波数を保存して、ぼけ補正及びリフォーカスを行うことを可能にしたいためである。興味深いことに、コサインマスクをレンズの近くに置くと、深度を正確に検知することができる。
【０１４４】
デコンボリューションに基づくデジタルリフォーカス
本発明では、画像デコンボリューション技法を用いて、単一の符号化された。焦点外れの画像からフル分解能でのデジタルリフォーカスを達成する。取得画像中の焦点外れによるぼけは、シーンの深度に関連する。焦点外れから深度は既知であるが、単一の焦点外れ画像から深度マップを求めることは、シーンに関する事前知識を仮定するか、又は学習に基づく手法を用いない限り困難である。
【０１４５】
対照的に、本発明では、シーン１０２がｎ個の別個の層から成るものと仮定し、ここで、ｎは小さな数であり、各層内の焦点外れ点拡散関数（ＰＳＦ）は空間的に不変である。この仮定は、様々なシーンに対して良好に機能する。本発明ではまた、画像中の最大のぼけ直径はＴピクセルであり得るものと仮定する。
【０１４６】
本発明では、リフォーカスを２段階で達成する。最初に、シーンを解析して、層の数及び各層のＰＳＦのスケールを自動的に推定する。次に、取得したぼけ画像を推定ぼけカーネルによりデンコンボリューションすることによりｎ個のぼけ補正画像Ｉ１，．．．，Ｉｎを次に生成する。
【０１４７】
層ｉにリフォーカスするには、ｎ−１個の画像（Ｉ１，．．．，Ｉｉ−１，Ｉｉ＋１，．．．，Ｉｎ）に、それらのぼけと層Ｉのぼけとの差に応じて再びぼかしてから、Ｉｉ及び再びぼかした画像を合成して、リフォーカスされた画像を得る。
【０１４８】
ＰＳＦ推定
本発明は、画像全体が、焦点外れによるぼけの直径がｋピクセルである単一の層を有するものと仮定する。取得される画像Ｂは、畳み込みにより鮮明な画像Ｉに次のように関連付けられる。
【０１４９】
【数１９】
2008191661.tif 000021
【０１５０】
ここで、ηは測定ノイズを示し、ｈｋはスケールｋにおけるＰＳＦである。画像Ｉ及びｈｋが与えられると、尤度誤差を次のように書き表すことができる。
【０１５１】
【数２０】
2008191661.tif 000022
【０１５２】
しかし、この誤差自体は、ＢがＩに等しいと仮定することによりｅｌ（ｘ，ｙ）をゼロに等しくすることができるため、Ｉ及びｈｋを一意に求めるには不十分である。
【０１５３】
この曖昧さを解消するために、本発明では自然画像の統計値を用いる。実世界の画像は、勾配が裾の厚い分布に従うことが知られている。ぼけ画像では、高勾配が抑制されるため、この分布の裾が抑制される。本発明では、勾配の４次モーメント（尖度）を、勾配分布を特性化するための統計値として用いる。
【０１５４】
全てのピクセルにおいて、勾配誤差ｅｇ（ｘ，ｙ）は、そのピクセルの周囲の小近傍Ｒ内の勾配の尖度、例えば、
【０１５５】
【数２１】
2008191661.tif 000023
【０１５６】
として定義され、ここで、Ｉｘ、Ｉｙはｘ勾配及びｙ勾配を示す。
【０１５７】
しかし、正しいスケールｋよりも高い誤ったスケールにおけるぼけ補正は、ｅｇを低減し得る高周波畳み込みアーティファクトを導入する。なお、ｅｌは低い値のｋに関して小さく、同一ピクセルｐのｅｇはぼけ画像に関して高い。したがって、２つの誤差測度は互いに競合する。正確なスケールを見付けるために、総合誤差ｅ（ｘ，ｙ）＝ｅｌ（ｘ，ｙ）＋βｅｇ（ｘ，ｙ）を用いる。ここで、βは定数である。
【０１５８】
複数（ｎ個）の層の存在下で、１ピクセルからＴピクセルまでの様々なサイズのぼけカーネルを用いて画像をぼけ補正する。これらのＴ個のぼけ補正画像の各々に関して、誤差マップｅ（ｘ，ｙ）を求める。正しいスケールｋの層の場合、ｋ番目の誤差マップは、その層に対応する領域に関して最小の値を有する。これは、Ｔ個のラベルによる画素毎の離散ラベル付け問題に等しい。所与のラベルｋに関する各ピクセルのラベル付けコストは、ｋ番目の誤差マップｅｋ（ｘ，ｙ）により与えられる。
【０１５９】
本発明では、このラベル付け問題を、アルファ拡張（alpha-expansion）グラフカット手順を適用することによって解く（Boykov他著「グラフカットを用いる高速近似エネルギー最小化（Fast approximate energy minimization using graph cuts）」（IEEE Trans. Pattern Anal. Machine Intell. 23, pp. 1222-1239, 2001、参照により本明細書中に援用される）を参照）。画像中の均質領域はぼけ情報を含まないため、均質領域のデータコストをゼロに設定し、それらの領域がグラフカット最適化中に層毎に埋められるようにする。
【０１６０】
対照的に、本発明では、画像中のピクセル総数の１０％未満を有するスプリアス層を除去し、単純なモルフォロジ演算、例えば穴埋めをラベル上で行う。この手順は、層及び対応するスケールの点でシーンの分割を生じる。層間の厳密な境界は取得されないが、層の内部が適切にラベル付けされる。
【０１６１】
リフォーカス画像の合成
シーンはｎ個の層を有するため、対応するスケールのｎ個のぼけ補正画像（Ｉ１，．．．，Ｉｎ）のみを考えればよい。本発明では、前のステップからの内部のラベル付けを用いて、対応するぼけ補正画像から層毎（別個に処理されるチャネル毎）にカラーヒストグラムを作成する。また、所与のぼかし画像を用いて、全ての層の外部の均質領域のヒストグラムを作成する。
【０１６２】
層ｉにリフォーカスするために、本発明では、ｎ−１個の画像の各々をそれらの層ｉとのスケール差に応じて再びぼかす。リフォーカス画像は、Ｉｉ及びｎ−１個の再びぼかした画像から成る。ここでも、これはラベル付け問題として扱うことができる。本発明では、Agarwala他により記載されている手順を用いて、合成画像を生成する（「対話型デジタルフォトモンタージュ（Interactive digital photomontage）」（ACM Trans. Graph. 23, 3, pp. 294-302, 2004、参照により本明細書中に援用される））。各ピクセルにおけるデータコストは、カラーヒストグラムを用いて「最尤度」として選択され、シーンは、一致する色及び勾配に基づく。
【０１６３】
部分的遮蔽物の存在下でのリフォーカス
画像補完及び他の幻覚技法は、画像の欠損領域又は不要な領域を埋めるために用いることができる。しかし、このような技法は、焦点の外れたぼけ画像には機能しない場合がある。幻覚ピクセル値は、焦点外れによるぼけではモデル化されないため、このような画像のぼけ補正はアーティファクトを生じる。
【０１６４】
図１３Ａは、前方のフェンスにはっきりと焦点が合っており、フェンスの後方の人物の焦点が外れている、このようなシーンを示す。遮蔽物を考慮に入れずにこの画像をぼけ補正すると、図１３Ｂに示すようなアーティファクトが生じる。しかし、ぼかしは情報を近傍ピクセルに分配するため、ぼけのサイズが遮蔽物のサイズよりも大きい場合に鮮明な画像を回復することができる。
【０１６５】
図１３Ｃに示すように、本発明では、局所分散解析を用いて、フェンスにより遮蔽されているピクセルを特定する。次に、次式を解くことによって画像の加重デコンボリューションを行う。
【０１６６】
【数２２】
2008191661.tif 000024
【０１６７】
ここで、Ｗは、ぼけ画像の遮蔽ピクセルに対応する重みをゼロに設定する重み行列であり、ｂはベクトル化されたぼけ画像であり、Ａは、２Ｄぼかしを表すブロックトエプリッツ（block-Toeplitz）行列である。焦点の合った画像を取得した後、この焦点の合った画像とフェンスの焦点の合った画像とを合成して、図１３Ｄに示すように人物及びフェンスの両方に焦点を合わせる。なお、遮蔽物のマットは、ぼけが十分に大きい限り過大評価することができる。
【０１６８】
空間的に変化するＰＳＦ
図１４Ａ及び図１４Ｂは、傾いた本による空間的に変化する焦点外れによるぼけの一例を示す。焦点の合った画像を得るために、本発明では、ぼけ補正画像Ｉ１，．．．，ＩＴを融合する。本発明では、ぼけ画像上の４点を用いて本のホモグラフィを推定すると共に、端点におけるスケール、及びホモグラフィパラメータを用いて各ピクセルにおけるＰＳＦスケールを推定する。ぼけ補正画像は次に、空間的に変化するスケールに従って合成され、図１４Ｂに示す全ての焦点が合った画像が得られる。なお、「ＡＲＣＨＩＴＥＣＴＵＲＥ」という単語は、図１４Ａに示すぼけ画像では読み取ることができないが、図１４Ｂに示す出力画像では鮮明である。
【０１６９】
本発明の広帯域符号化は、例えば、時間［Raskar他（２００６年）］及び空間の両方で符号化することによって、より高次元に適応することができる。レンズと比較した場合のマスクの利点は、波長に依存した集束及び色収差がないことである。この事実は天文学で一般に用いられている。したがって、マスクは高スペクトル撮像に理想的であり得る。浅い被写界深度は、医学的及び科学的顕微鏡検査における深刻な障害である。フル分解能を維持しながらリフォーカスする機能は、大きな利点を持つ。共焦点符号化開口照明と組み合わせて、本発明では、デジタルリフォーカス画像をより少ない増分ステップの焦点面で取り込むことができる。
【０１７０】
本発明を好適な実施形態の例として説明してきたが、本発明の精神及び範囲内で様々な他の適応及び修正を行うことができることを理解すべきである。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入る変形及び修正を全て網羅することである。
【図面の簡単な説明】
【０１７１】
【図１】本発明の一実施形態による、シーンの４Ｄライトフィールドを取得するように構成されるカメラの概略側面図である。
【図２】本発明の別の実施形態による、シーンの４Ｄライトフィールドを取得するように構成されるカメラの概略側面図である。
【図３】図１及び図２のカメラの光路の概略図である。
【図４】本発明の一実施形態による、ライトフィールド、マスク変調関数及び変調ライトフィールドの概略図である。
【図５】ヘテロダインライトフィールドカメラにおけるスペクトルスライシングの概略図である。
【図６】本発明の一実施形態による、畳み込まれてスペクトルレプリカを形成するライトフィールド及びマスクスペクトルの概略図である。
【図７】本発明の一実施形態による、センサスライスを復調してライトフィールドを再構成する概略図である。
【図８】カメラセンサに対するマスクの配置の概略図である。
【図９】センサに柔らかな影を落とすコサインマスクの概略図である。
【図１０】本発明の一実施形態による、フーリエ領域のスペクトルタイルの概略図である。
【図１１Ａ】本発明の実施形態による高周波マスクの図である。
【図１１Ｂ】従来技術の２値マスクの図である。
【図１１Ｃ】本発明の実施形態による連続広帯域マスクの図である。
【図１２】スクコントローラを有するカメラの上面図である。
【図１３Ａ】焦点の合ったフェンス及び焦点の外れた人物を含む入力画像である。
【図１３Ｂ】図１３Ａに対応するぼけ補正画像である。
【図１３Ｃ】図１３Ａのフェンスのマスクである。
【図１３Ｄ】本発明の一実施形態による、フェンス及び人物の両方に焦点の合った出力画像である。
【図１４Ａ】部分的に焦点の外れた、傾いた本の入力画像である。
【図１４Ｂ】本発明の一実施形態による、本全体に焦点の合った出力画像である。
【図１】
2008191661.tif 000025
【図２】
2008191661.tif 000026
【図３】
2008191661.tif 000027
【図４】
2008191661.tif 000028
【図５】
2008191661.tif 000029
【図６】
2008191661.tif 000030
【図７】
2008191661.tif 000031
【図８】
2008191661.tif 000032
【図９】
2008191661.tif 000033
【図１０】
2008191661.tif 000034
【図１１Ａ】
2008191661.tif 000035
【図１１Ｂ】
2008191661.tif 000036
【図１１Ｃ】
2008191661.tif 000037
【図１２】
2008191661.tif 000038
【図１３Ａ】
2008191661.tif 000039
【図１３Ｂ】
2008191661.tif 000040
【図１３Ｃ】
2008191661.tif 000041
【図１３Ｄ】
2008191661.tif 000042
【図１４Ａ】
2008191661.tif 000043
【図１４Ｂ】
2008191661.tif 000044
【外国語明細書】
2008191661.tif 000045
2008191661.tif 000046
2008191661.tif 000047
2008191661.tif 000048
2008191661.tif 000049
2008191661.tif 000050
2008191661.tif 000051
2008191661.tif 000052
2008191661.tif 000053
2008191661.tif 000054
2008191661.tif 000055
2008191661.tif 000056
2008191661.tif 000057
2008191661.tif 000058
2008191661.tif 000059
2008191661.tif 000060
2008191661.tif 000061
2008191661.tif 000062
2008191661.tif 000063
2008191661.tif 000064
2008191661.tif 000065
2008191661.tif 000066
2008191661.tif 000067
2008191661.tif 000068
2008191661.tif 000069
2008191661.tif 000070
2008191661.tif 000071
2008191661.tif 000072
2008191661.tif 000073
2008191661.tif 000074
2008191661.tif 000075
2008191661.tif 000076
2008191661.tif 000077
2008191661.tif 000078
2008191661.tif 000079
2008191661.tif 000080
2008191661.tif 000081
2008191661.tif 000082
2008191661.tif 000083
2008191661.tif 000084
2008191661.tif 000085
2008191661.tif 000086
2008191661.tif 000087
2008191661.tif 000088
2008191661.tif 000089
2008191661.tif 000090
2008191661.tif 000091
2008191661.tif 000092
2008191661.tif 000093
2008191661.tif 000094
2008191661.tif 000095
2008191661.tif 000096
2008191661.tif 000097
2008191661.tif 000098
2008191661.tif 000099
2008191661.tif 000100
2008191661.tif 000101
2008191661.tif 000102
2008191661.tif 000103
2008191661.tif 000104