(57)【要約】  ホログラフィックライトフィールドイメージングデバイス及びそれの使用方法である。ホログラフィックライトフィールドイメージングデバイスは、公知の計算可能な方法でライトフィールドを変換することによって、アルゴリズム再構成を目的として、ライトフィールドをより低次元の符号化表現へと光学的に圧縮することができる。得られた波面は、捕捉前に光学的に圧縮されてもよく、この圧縮は、後にソフトウェアアルゴリズムを用いて元に戻されてもよく、オリジナルのライトフィールドの表現を復元する。
2018533066.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの圧縮アレイと、
少なくとも１つの画像センサと、
を含むホログラフィックライトフィールドイメージングデバイスであって、
少なくとも１つの前記圧縮アレイが、１つ又は複数の符号化マスク及び第１の面を含み、
前記第１の面に当たる光が、入射ライトフィールドを生成し、
前記入射ライトフィールドが四次元表現から二次元表現へと減少し、次元的に減少したライトフィールドが生成されるように、前記入射ライトフィールドが、前記１つ又は複数の符号化マスクに通され、
１つ又は複数の減少二次元画像が生成されるように、次元的に減少した前記ライトフィールドの前記二次元表現が、前記画像センサによって記録され、
１つ又は複数の前記減少二次元画像が、１つ又は複数の前記減少二次元画像を反転させることにより前記入射ライトフィールドを再構成する再構成アルゴリズムを含むコンピューティングデバイスによって処理されるホログラフィックライトフィールドイメージングデバイス。
【請求項２】
前記第１の面は、次元的に減少した前記ライトフィールドの空間エントロピーを増加させるために、局所的に正曲率を示す屈折面である請求項１に記載のホログラフィックライトフィールドイメージングデバイス。
【請求項３】
前記第１の面は、次元的に減少した前記ライトフィールドの前記空間エントロピーを増加させるために、前記入射ライトフィールドを射影する請求項２に記載のホログラフィックライトフィールドイメージングデバイス。
【請求項４】
前記第１の面は、次元的に減少した前記ライトフィールドの前記空間エントロピーを増加させるために、前記入射ライトフィールドを変換する１つ又は複数の回折スケール特性を含む請求項２に記載のホログラフィックライトフィールドイメージングデバイス。
【請求項５】
前記第１の面は、実質的に平坦であり、及び透明誘電材料から構成される請求項１に記載のホログラフィックライトフィールドイメージングデバイス。
【請求項６】
透明誘電材料は、ガラス及びプラスチックから成る材料の群から選択される請求項１に記載のホログラフィックライトフィールドイメージングデバイス。
【請求項７】
前記再構成アルゴリズムは、スパース基底において前記入射ライトフィールドを再構成する請求項１に記載のホログラフィックライトフィールドイメージングデバイス。
【請求項８】
前記スパース基底は、フーリエ領域、ウェーブレット領域、及びスパース辞書から成る基底の１つ又は複数から構成される請求項７に記載のホログラフィックライトフィールドイメージングデバイス。
【請求項９】
１つ又は複数の前記符号化マスクは、遮蔽の実質的にランダムなパターンを含み、前記遮蔽の実質的にランダムなパターンは、前記再構成アルゴリズムを通知するエミッション行列によって記述される請求項１に記載のホログラフィックライトフィールドイメージングデバイス。
【請求項１０】
前記入射ライトフィールドを変換する前記回折スケール特性は、減衰、屈折、及び遮蔽の少なくとも１つから成る特性の群から選択される請求項４に記載のホログラフィックライトフィールドイメージングデバイス。
【請求項１１】
前記第１の面は、０．７５メートルを超える直径を有し、及び対物レンズを備えていない請求項１に記載のホログラフィックライトフィールドイメージングデバイス。
【請求項１２】
前記圧縮アレイは、拡散器をさらに含む請求項１に記載のホログラフィックライトフィールドイメージングデバイス。
【請求項１３】
前記画像センサは、リレーレンズ及びデジタルライトセンサを含む請求項１２に記載のホログラフィックライトフィールドイメージングデバイス。
【請求項１４】
拡散された、及び次元的に減少したライトフィールドが生成されるように、前記拡散器は、実質的にランダムに次元的に減少した前記ライトフィールドを散乱させる請求項１３に記載のホログラフィックライトフィールドイメージングデバイス。
【請求項１５】
前記リレーレンズは、拡散された、及び次元的に減少した前記ライトフィールドを前記デジタルライトセンサに中継する請求項１４に記載のホログラフィックライトフィールドイメージングデバイス。
【請求項１６】
少なくとも１つの圧縮アレイと、
少なくとも１つの画像センサと、
少なくとも１つのハウジングと、
を含むホログラフィックライトフィールドイメージングデバイスであって、
少なくとも１つの前記圧縮アレイが、１つ又は複数の符号化マスク、１つ又は複数の誘電体スペーサ、拡散器、及び屈折面を含み、
前記屈折面に当たる光が、入射ライトフィールドを生成し、
前記入射ライトフィールドが四次元表現から二次元表現へと減少し、次元的に減少したライトフィールドが生成されるように、前記入射ライトフィールドが、１つ又は複数の前記符号化マスク、及び１つ又は複数の誘電体面に通され、
前記屈折面が、次元的に減少した前記ライトフィールドの空間エントロピーを増加させるために、局所的に正曲率を含み、
拡散された、及び次元的に減少したライトフィールドが生成されるように、前記拡散器が、実質的にランダムに次元的に減少した前記ライトフィールドを散乱させ、
前記画像センサが、リレーレンズ及びデジタルライトセンサを含み、
前記リレーレンズが、拡散された、及び次元的に減少した前記ライトフィールドを前記デジタルライトセンサに中継し、
前記ハウジングが、迷光が前記デジタルライトセンサに中継されることを実質的に防止し、
１つ又は複数の減少二次元画像が生成されるように、拡散された、及び次元的に減少した前記ライトフィールドの前記二次元表現が、前記デジタルライトセンサによって記録され、
１つ又は複数の前記減少二次元画像が、１つ又は複数の前記減少二次元画像を反転させることにより、前記入射ライトフィールドを再構成する再構成アルゴリズムを含むコンピューティングデバイスによって処理されるホログラフィックライトフィールドイメージングデバイス。
【請求項１７】
少なくとも１つの前記圧縮アレイは、２つ以上の圧縮アレイであり、及び少なくとも１つの前記画像センサが、１つの画像センサである請求項１６に記載のホログラフィックライトフィールドイメージングデバイス。
【請求項１８】
少なくとも１つの前記圧縮アレイは、１つの圧縮アレイであり、及び少なくとも１つの前記画像センサは、２つ以上の画像センサである請求項１６に記載のホログラフィックライトフィールドイメージングデバイス。
【請求項１９】
前記ホログラフィックライトフィールドイメージングデバイスが、類似の設計の１つ又は複数のホログラフィックライトフィールドイメージングデバイスと組み合わせられる請求項１６に記載のホログラフィックライトフィールドイメージングデバイス。
【請求項２０】
少なくとも１つの圧縮アレイと、
少なくとも１つの画像センサと、
を含むホログラフィックライトフィールドイメージングデバイスであって、
少なくとも１つの前記圧縮アレイに当たる光が、入射ライトフィールドを生成し、
前記入射ライトフィールドが四次元表現から二次元表現へと減少し、次元的に減少したライトフィールドが生成されるように、前記入射ライトフィールドが、少なくとも１つの前記圧縮アレイに通され、
１つ又は複数の減少二次元画像が生成されるように、前記次元的に減少したライトフィールドの前記二次元表現が、前記画像センサによって記録されるホログラフィックライトフィールドイメージングデバイス。
【請求項２１】
１つ又は複数の前記減少二次元画像は、１つ又は複数の前記減少二次元画像を反転させることにより、前記入射ライトフィールドを再構成する再構成アルゴリズムを含むコンピューティングデバイスによって処理される請求項２０に記載のホログラフィックライトフィールドイメージングデバイス。
【請求項２２】
少なくとも１つの前記圧縮アレイは第１の面を含み、
前記第１の面は、前記次元的に減少したライトフィールドの空間エントロピーを増加させるために、局所的に正曲率を示す屈折面である請求項２０に記載のホログラフィックライトフィールドイメージングデバイス。
【請求項２３】
前記第１の面は、前記次元的に減少したライトフィールドの前記空間エントロピーを増加させるために、前記入射ライトフィールドを射影する請求項２２に記載のホログラフィックライトフィールドイメージングデバイス。
【請求項２４】
前記第１の面は、前記次元的に減少したライトフィールドの前記空間エントロピーを増加させるために、前記入射ライトフィールドを変換する１つ又は複数の回折スケール特性を含む請求項２２に記載のホログラフィックライトフィールドイメージングデバイス。
【請求項２５】
少なくとも１つの前記圧縮アレイの第１の面は、実質的に平坦であり、及び透明誘電材料から構成される請求項２０に記載のホログラフィックライトフィールドイメージングデバイス。
【請求項２６】
前記再構成アルゴリズムは、スパース基底において前記入射ライトフィールドを再構成する請求項２１に記載のホログラフィックライトフィールドイメージングデバイス。
【請求項２７】
前記スパース基底は、フーリエ領域、ウェーブレット領域、及びスパース辞書から成る基底の１つ又は複数から構成される請求項２６に記載のホログラフィックライトフィールドイメージングデバイス。
【請求項２８】
少なくとも１つの前記圧縮アレイは、遮蔽の実質的にランダムなパターンを含む請求項２０に記載のホログラフィックライトフィールドイメージングデバイス。
【請求項２９】
前記遮蔽の実質的にランダムなパターンは、再構成アルゴリズムを通知するエミッション行列によって記述される請求項２８に記載のホログラフィックライトフィールドイメージングデバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般にイメージングデバイスに関し、より具体的には、ホログラフィックライトフィールドを捕捉するイメージングデバイスに関する。
【背景技術】
【０００２】
従来のカメラは、単一の固定された視点（カメラレンズの入射窓の位置）から、レンズの前面を通したアパーチャの画像であるイメージを捕捉するのみである。光は、カメラレンズに入り、アパーチャを通過し、及び一般に画像を記録する感光性媒体上に画像を形成する。得られた記録画像の各画素又は領域は、センサ又はフィルム上のその点に集められた全ての光を表し、及びレンズのアパーチャの視点から画像を生成する。
【０００３】
多重ビュー（バーチャルリアリティ、拡張現実、又はホログラフィックディスプレイに必要とされる）を提供するためには、ソースイメージが、多重視点を含んでいなければならない。多重視点を捕捉する手法の１つは、例えば、それぞれが単一の視点を捕捉するカメラアレイを利用することでもよい。しかし、カメラ間のビューの補間は、誤差を生じさせる場合があり、及び鏡面性と適切な視差の捕捉に失敗する場合がある。重要なことに、複数のカメラレンズを利用した何れの手法も、カメラが連続しておらず、及びレンズのアパーチャが光の一部を遮るので、ライトフィールドをアンダーサンプルし、及びエイリアシングする。ライトフィールドの再構成の忠実度と、ライトフィールドの捕捉に必要とされるカメラの数との間に、残念なトレードオフが存在し、及びカメラのアレイを用いたホログラフィックイメージングは、現在のカメラ技術では実現困難である。加えて、アレイに基づく捕捉ソリューションの他の欠点には、高いデータ転送率、カメラ素子を同期させる必要があることなどが含まれる。
【０００４】
従って、ホログラフィックライトフィールドを捕捉するためのデバイス及び方法に対するニーズが存在する。このデバイスは、ライトフィールド全体（広域面に当たる光の全て又は大部分）を、その面を通して見ることのできるあらゆる可能なビューを再現するためにサンプリングしようとするイメージングデバイスでもよい。ライトフィールドは、一般に、ライトフィールドが実質的に冗長となり得るにもかかわらず、大量の潜在的データを表す。好ましくは、このイメージングデバイスは、ライトフィールド全体のサンプリングを行いながら、ライトフィールドを大幅に少ないデータで捕捉し、及び誤差がほとんど若しくは全くない状態でそれを再構成するために、ライトフィールドを光学的に変えることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
記載の参考文献の制限事項を最小限に抑え、及び本明細書を読み、且つ理解することで明白となる他の制限事項を最小限に抑えるために、本明細書は、新しい、及び改良されたホログラフィックライトフィールドイメージングデバイスを開示する。
【０００６】
ある実施形態は、屈折面、１つ又は複数の遮蔽マスク、誘電体スペーサ、拡散器、リレーレンズ、及びエリアスキャンデジタルライトセンサを含むホログラフィックライトフィールドイメージングデバイスでもよい。屈折面及び遮蔽マスクは、測定関数を用いて入射ライトフィールドをコンボリューションし、及び得られた、ライトセンサによって捕捉された画像が、ライトフィールドの統計的サンプリングを表す。画像自体は、写真のようなものではなく、それは、そのまま意味のある画像として見ることのできるものではない。代わりに、それは、オリジナルのライトフィールドの表現を復元するために、光学部品のコンボリューション及び次元減少射影を効果的に反転させるアルゴリズム再構成のための原材料である。これは、ライトフィールドが実質的に冗長であることによってのみ可能である。
【０００７】
ライトフィールドデータは、非常に冗長であり、従って圧縮可能であることが知られている。このライトフィールドイメージングデバイスの目的の１つは、この圧縮ステップを光学部品に移動させ、アナログ領域で圧縮を安価に行い、及びソフトウェアでのデジタル再構成を可能にすることである。写実的なライトフィールドは、ウェーブレット又は空間周波数領域などのスパース（数学的意味で）記述を有することが知られている。これは、あるシーンが、人が視点を移動させる時に、ほとんど変化しないことを考えると、直感的である。これは、ライトフィールドの捕捉に対してアレイカメラが比較的非効率的である理由でもある：隣接するカメラ同士は、シーンの実質的に類似したビューを捕捉している。アレイの各カメラからの画像中の画素は、互いに、及び隣接するカメラの画素と高い相関性があり、それらを比較的冗長な測定値にする。相関性のある測定値は、必然的に、信号に関するより少ない新しい情報を捕捉している。光学部品を用いてライトフィールドを変換することによって、本イメージングデバイスは、単一センサ上の各画素が、他の画素から統計的により独立することを可能にし、ライトフィールドのはるかに効率的なサンプリングをもたらす。
【０００８】
得られた圧縮画像の各画素は、シーンの実質的に独立した測定値を表す。デジタルセンサ上のエントロピー画像は、次に、スパース信号を復元するために各独立測定値を用いる再構成アルゴリズムへの入力として使用することができる。再構成アルゴリズムは、エントロピー画像データ及び復元信号のスパース性の両方に対する最適化でもよい。つまり、このアルゴリズムは、信号が写実的ライトフィールドの既知の統計値、特にスパース性に従うという制約を課しながら、エントロピー画像を最も良く反映する信号を見つけ出そうと試みる。特にアトミックノルム最小化、勾配降下、及び確率的勾配降下を含む（但し、これらに限定されない）最適化アルゴリズムは、この再構成問題を解決するために使用することができる。この再構成問題は、良設定問題である：十分にリッチな測定信号の場合、このように取得された再構成は、漸近的に一意的であり、及びその結果、十分に正確となることが可能であることが数学的に知られている。
【０００９】
目的の１つは、先行技術の制限事項を克服することである。
【００１０】
目的の１つは、ライトフィールドのイメージングを行うために必要とされるセンサの数を減らし、及び従来のカメラのアレイにおけるライトフィールドの非連続サンプリングによる収差を減少させることである。
【課題を解決するための手段】
【００１１】
ある実施形態は、少なくとも１つの圧縮アレイと、少なくとも１つの画像センサとを含むホログラフィックライトフィールドイメージングデバイスであって、少なくとも１つの圧縮アレイに当たる光が、入射ライトフィールドを生成し、入射ライトフィールドが四次元表現から二次元表現へと減少し、次元的に減少したライトフィールドが生成されるように、入射ライトフィールドが、少なくとも１つの圧縮アレイに通され、及び１つ又は複数の減少二次元画像が生成されるように、次元的に減少したライトフィールドの二次元表現が、画像センサによって記録される、ホログラフィックライトフィールドイメージングデバイスでもよい。１つ又は複数の減少二次元画像は、１つ又は複数の減少二次元画像を反転させることにより、入射ライトフィールドを再構成する再構成アルゴリズムを含むコンピューティングデバイスによって処理されてもよい。少なくとも１つの圧縮アレイは、第１の面を含んでもよく、第１の面は、次元的に減少したライトフィールドの空間エントロピーを増加させるために、局所的に正曲率を示す屈折面でもよい。第１の面は、次元的に減少したライトフィールドの空間エントロピーを増加させるために、入射ライトフィールドを射影してもよい。第１の面は、次元的に減少したライトフィールドの空間エントロピーを増加させるために、入射ライトフィールドを変換する１つ又は複数の回折スケール特性を含んでもよい。代替的に、少なくとも１つの圧縮アレイの第１の面が、実質的に平坦であり、及び透明誘電材料から構成されてもよい。再構成アルゴリズムは、スパース基底において、又はスパース基底を用いて、入射ライトフィールドを再構成してもよい。スパース基底は、以下のフーリエ領域、ウェーブレット領域、及びスパース辞書から成る基底の１つ又は複数から構成されてもよい。少なくとも１つの圧縮アレイは、遮蔽の実質的にランダムなパターンを含んでもよい。遮蔽の実質的にランダムなパターンは、再構成アルゴリズムを通知するエミッション行列によって記述されてもよい。
【００１２】
デバイスのある実施形態は、少なくとも１つの圧縮アレイと、少なくとも１つの画像センサとを含むホログラフィックライトフィールドイメージングデバイスであって、少なくとも１つの圧縮アレイが、１つ又は複数の符号化マスク及び第１の面を含んでもよく、第１の面に当たる光が、入射ライトフィールドを生成してもよく、入射ライトフィールドが四次元表現から二次元（すなわち、平面画像）表現へと減少することができ、次元的に減少したライトフィールドを生成することができるように、入射ライトフィールドが、１つ又は複数の符号化マスクに通されてもよく、１つ又は複数の減少二次元画像を生成することができるように、次元的に減少したライトフィールドの二次元表現が、画像センサによって記録されてもよく、及び１つ又は複数の減少二次元画像が、１つ又は複数の減少二次元画像を反転させることにより、入射ライトフィールドを部分的に、又は全体的に再構成することができる再構成アルゴリズムを含むコンピューティングデバイスによって処理されてもよい、ホログラフィックライトフィールドイメージングデバイスでもよい。システムの第１の面は、次元的に減少したライトフィールドの空間エントロピーを最大化するために、入射ライトフィールドを変換してもよい。第１の面は、実質的に平坦でもよく、及び透明誘電材料から構成されてもよい。透明誘電材料は、ガラス又はプラスチックでもよい。第１の面は、次元的に減少したライトフィールドの空間エントロピーを増加させるために、局所的に正曲率を示す屈折面でもよい。第１の面は、次元的に減少したライトフィールドの空間エントロピーを増加させるために、入射ライトフィールドを変換する１つ又は複数の回折スケール特性を含んでもよい。再構成アルゴリズムは、スパース基底において入射ライトフィールドを再構成してもよい。スパース基底は、以下のフーリエ領域、ウェーブレット領域、スパース辞書、又は基底を組み合わせたハイブリッド手法から成る基底の１つ又は複数から選択されてもよい。圧縮アレイの１つ又は複数の構成要素は、計算可能な方法で入射ライトフィールドを選択的に変換する目的で選択されてもよい。１つ又は複数の符号化マスクは、遮蔽の実質的にランダムなパターンを含んでもよく、遮蔽の実質的にランダムなパターンは、再構成アルゴリズムを通知するエミッション行列によって記述されてもよい。入射ライトフィールドの変換は、減衰、屈折、回折、及び遮蔽の少なくとも１つから成る変換の群から選択されてもよい。第１の面は、０．７５メートルを超えてもよい直径を有し、及び対物レンズを備えていない。圧縮アレイは、拡散器をさらに含んでもよい。画像センサは、リレーレンズ及びデジタルライトセンサを含んでもよい。拡散された、及び次元的に減少したライトフィールドを生成することができるように、拡散器は、実質的にランダムに、次元的に減少したライトフィールドを散乱させてもよい。リレーレンズは、拡散された、及び次元的に減少したライトフィールドをデジタルライトセンサに中継してもよい。
【００１３】
デバイスの別の実施形態は、少なくとも１つの圧縮アレイと、少なくとも１つの画像センサと、少なくとも１つのハウジングとを含むホログラフィックライトフィールドイメージングデバイスであって、少なくとも１つの圧縮アレイが、１つ又は複数の符号化マスク、１つ又は複数の誘電体スペーサ、拡散器、及び屈折面を含んでもよく、屈折面に当たる光が、入射ライトフィールドを生成してもよく、入射ライトフィールドを四次元表現から二次元表現へと減少させることができ、次元的に減少したライトフィールドを生成することができるように、入射ライトフィールドが、１つ又は複数の符号化マスク、及び１つ又は複数の誘電体面に通されてもよく、屈折面が、次元的に減少したライトフィールドの空間エントロピーを増加させるために、局所的に正曲率を含んでもよく、拡散された、及び次元的に減少したライトフィールドを生成することができるように、拡散器が、実質的にランダムに、次元的に減少したライトフィールドを散乱させてもよく、画像センサが、リレーレンズ及びデジタルライトセンサを含み、リレーレンズが、拡散された、及び次元的に減少したライトフィールドをデジタルライトセンサに中継し、ハウジングが、迷光がデジタルライトセンサに中継されることを実質的に防止してもよく、１つ又は複数の減少二次元画像を生成することができるように、拡散された、及び次元的に減少したライトフィールドの二次元表現が、デジタルライトセンサによって記録されてもよく、及び１つ又は複数の減少二次元画像が、１つ又は複数の減少二次元画像を反転させることにより、入射ライトフィールドを再構成する再構成アルゴリズムを含んでもよいコンピューティングデバイスによって処理されてもよい、ホログラフィックライトフィールドイメージングデバイスでもよい。少なくとも１つの圧縮アレイは、２つ以上の圧縮アレイでもよく、及び少なくとも１つの画像センサは、１つの画像センサでもよい。少なくとも１つの圧縮アレイは、１つの圧縮アレイでもよく、及び少なくとも１つの画像センサは、２つ以上の画像センサでもよい。ホログラフィックライトフィールドイメージングデバイスは、類似の設計の１つ又は複数のホログラフィックライトフィールドイメージングデバイスと組み合わせられてもよい。
【００１４】
請求及び開示されたホログラフィックライトフィールドの捕捉のためのシステム及び方法に固有の他の特性及び利点は、以下の詳細な説明及びそれの添付の図面から当業者には明らかとなるだろう。
【００１５】
図面は、例示的実施形態を示すが、全ての実施形態の描写はしない。これらの例示的実施形態に加えて、又はそれらの代わりに、他の実施形態が使用されてもよい。明白な、又は不必要な場合がある詳細は、スペースを節約するため、又はより効果的な図示のために、省略される場合がある。幾つかの実施形態は、追加の構成要素又はステップを用いて、及び／又は図に示された一部又は全ての構成要素又はステップを用いずに、実施されてもよい。異なる図面が同じ数字を含む場合、その数字は、同じ又は類似の構成要素又はステップを指す。
【図面の簡単な説明】
【００１６】
【図１】ホログラフィックライトフィールドイメージングデバイスの一実施形態の図である。
【図２】ホログラフィックライトフィールドイメージングデバイスの使用方法の一実施形態のフローブロック図である。
【図３】ホログラフィックライトフィールドイメージングデバイスの一実施形態の圧縮アレイ及び上面の一実施形態の図である。
【図４】ハウジングを備えたホログラフィックライトフィールドイメージングデバイスの一実施形態の図である。
【図５】ホログラフィックライトフィールドイメージングデバイスの一実施形態の断面図の図示である。
【図６】ホログラフィックライトフィールドイメージングデバイスの幾つかの内向き配置の図である。
【図７】ホログラフィックライトフィールドイメージングデバイスの幾つかの外向き配置の図である。
【図８】ホログラフィックライトフィールドイメージングデバイスの幾つかの外向き全方向配置の図である。
【図９ａ】図９ａは、シーンの図である。
【図９ｂ】図９ｂは、シーンからの全ての光の集まりがライトフィールドであることを示す図である。
【図１０ａ】図１０ａは、ホログラフィックライトフィールドイメージングデバイスの一実施形態の表面に入射したシーンからの光線の図である。
【図１０ｂ】図１０ｂは、図１０ａの入力ライトフィールドを表現した図である。
【図１１ａ】図１１ａは、ホログラフィックライトフィールドイメージングデバイスの一実施形態の圧縮アレイの表面の図である。
【図１１ｂ】図１１ｂは、ライトフィールドが屈折又は回折面を通過する際にどのようにシャッフルされ得るかを示す図である。
【図１２ａ】図１２ａは、光線が通過するホログラフィックライトフィールドイメージングデバイスの一実施形態の２つのマスクの一実施形態の図である。
【図１２ｂ】図１２ｂは、光が遮られたダークスポットのパターンを用いて、圧縮アレイを通過するライトフィールドがどのように符号化されるかを示す図である。
【図１３ａ】図１３ａは、ホログラフィックライトフィールドイメージングデバイスの一実施形態の圧縮アレイの拡散器の一実施形態の図である。
【図１３ｂ】図１３ｂは、図１３ａの結果生成されるエントロピー画像である。
【図１４】ホログラフィックライトフィールドイメージングシステムの信号フローの一実施形態のフローブロック図である。
【発明を実施するための形態】
【００１７】
様々な実施形態の以下の詳細な説明では、実施形態の様々な局面の完全な理解を提供するために、多数の具体的詳細が記載される。ただし、これらの実施形態は、これらの具体的詳細の一部又は全てを用いることなく実施されてもよい。他の例では、実施形態の局面を不必要に分かりにくくしないように、周知の手順及び／又は構成要素は、詳細に記載されていない。
【００１８】
幾つかの実施形態を本明細書に開示するが、以下の詳細な説明の結果、他の実施形態が当業者には明らかとなるだろう。これらの実施形態は、全て保護の精神及び範囲から逸脱することなく、様々な明らかな局面の変更が可能である。図面及びそれらの詳細な説明は、性質上、制限的なものではなく、説明に役立つものと見なされるものである。また、ある特定の実施形態への言及又は非言及は、保護の範囲を限定すると解釈されないものとする。
【００１９】
以下の説明では、１つ又は複数の実施形態の特定の特性を記述するために、特定の専門用語が使用される。明細書の目的上、別段の規定がなければ、「実質的に」という用語は、作用、特徴、性質、状態、構造、要素、又は結果の完全な、又はほぼ完全な範囲又は程度を指す。例えば、ある実施形態では、ハウジング内に「実質的に」位置する物体とは、その物体が、完全にハウジング内にある、又はほぼ完全にハウジング内にあることを意味する。絶対的な完全性からの許容される逸脱の正確な程度は、場合によっては、具体的な状況による場合がある。しかし、一般的に言えば、完成の類似とは、まるで絶対的及び全面的な完成が得られたかのように、同じ全体的結果が得られるものである。「実質的に」の使用は、作用、特徴、性質、状態、構造、要素、又は結果の完全な、又はほぼ完全な欠如を指す否定的な意味合いに使用される場合にも同様に当てはまる。
【００２０】
本明細書では、「およそ（ａｐｐｒｏｘｉｍａｔｅｌｙ）」及び「約（ａｂｏｕｔ）」という用語は、一般に、示された数字、又は数字の範囲の５％以内の逸脱を指す。ある実施形態では、「およそ」及び「約」という用語は、示された数字、又は数字の範囲からの１〜１０％の逸脱を指す場合がある。
【００２１】
本明細書では、「エントロピー画像」という用語は、実質的にエントロピー増加する（すなわち、画像中の個々の画素又は領域が、従来の画像中の画素よりも、ホログラフィック信号空間に亘って互いに低い相関関係を示す）非写真画像を指す。エントロピー画像は、ほとんどの入力ライトフィールドに関してノイズの多い、形がぼんやりした画像に見える可能性がある。好ましくは、エントロピー画像中の画素は、ライトフィールド測定値の任意の組み合わせでもよい。高忠実度のライトフィールドの再構成は、光学スタック設計（例えば、より高いエントロピー画像を生成するように設計されたもの（情報理論的な意味で））により促進される。
【００２２】
本明細書では、「１つ又は複数の入力ライトフィールド」とは、圧縮アレイの入射（一般的に屈折）面に亘った入射光を指す。入力ライトフィールドは、サンプリングが望まれる、前面に入射した全光線のセットである（所望の視野外の光の一部が排除され、これらの光線は、一般に、入力ライトフィールドの一部ではない）。
【００２３】
本明細書では、「ホログラフィック信号空間」という用語は、全ての可能な入力ライトフィールド信号を含むベクトル空間を指す。ラスター化された平面画像は二次元であるが、画像を表現するベクトルが、各画素を別個の（数学的）次元として記述するので、画像空間の次元は、画像の解像度である。「次元」のこの信号処理定義は、空間及び角度次元とは異なり、及びその使用は、文脈から明白となるだろう。アナログ状態では、ホログラフィック信号空間は、非常に大きな空間である。好ましくは、その次元数は、入力に対する帯域制限に関する仮定により有界であり、及び一般に、ホログラフィックライトフィールドが取り得るあらゆる値（単に写実的なものだけでなく）を表す。信号空間の境界は、一般的に、部分的に信号の最大値に関する仮定と、パラメータ化の選択とによって決定される。このパラメータ化の選択は、信号空間サイズ及び所与の信号の表現のスパース性の両方に影響を与える、限度、量子化、及び／又はラスター化に関する決定を含む。信号空間は非常に大きく、及び信号空間の大部分は、興味の湧かない、又は物理的に可能性の低い入力に相当する。信号空間は、全ての可能なライトフィールドのセットでもよく、これは、より代数的で、集合論的な上記の言い方である。ラスター化及びパラメータ化の正確な選択は、デバイスによって定められず、及び再構成は、必ずしもラスター化が機能することを要求しない（すなわち、再構成は、連続した基底で行うことができる）。
【００２４】
本明細書では、「ラスター化する」又は「ラスター化」という用語は、連続信号をグリッド又はラスター上の量子化信号へと変換することを指す。ライトフィールドの場合、ラスター化信号は、例えば、二線形空間次元及び二角度次元としてパラメータ化された四次元フラックスにおける各量子化ビンの一連の値を含み得る。この例は、これを行う多くの方法の内の１つに過ぎない。この場合、単一の４タプルは、ある特定の場所において、及びある特定の光線方向を有して入射する光線束を指定し得る（光線束の角度範囲は、ビンのサイズによって暗示される：角距離及び空間距離において次のビンがどの程度遠いのか）。エントロピー画像又は二次元写真画像では、「ラスター化された」信号は、画素ベースの画像において個々の画素を指定する「ｘ」及び「ｙ」値などの２つの空間次元を持つものでもよい。
【００２５】
本明細書では、「空間値」という用語は、例えば、距離の線形測定値：ミリメートル、センチメートル、あるいは（センサ上の物理的場所に対応した）画素で指定することができる物理的な空間次元に対応したそれらの変数を参照させる。例えば、ラスター化されたライトフィールドの「ｘ」及び「ｙ」値は、ライトフィールドが通過している基準面における場所に対応してもよい（任意の角度で特定の位置ｘ１、ｙ１を通過する全ての光線束が、その基準面において同じ空間値を共有するように）。それらは、互いに異なる可能性があり、及び異なる基準面で異なる空間値を有し得る。この定義は、パラメータ化とは無関係であり、及び一般性を失うことなく、極座標、ラジアル座標などを含み得る。
【００２６】
本明細書では、「角度値」という用語は、基準面において光線束の入射角度を記述する変数の値を指す。これらは、幾つかの異なる変数名（及び異なるパラメータ化）で示されてもよい。２つの共通表現は、角度オフセットを記述する（及び緯度及び経度に対応できる）「高度及び方位」と、光線方向が隣接する基準面上の２つの点によって指定され得る（すなわち、点（ｘ１、ｙ１）及び点（ｘ２、ｙ２）をつなぐ線）「２つの平面パラメータ化」とでもよい。これら２つは、数学的に等価でもよく、及び角度値へのあらゆる言及は、あらゆる可能なパラメータ化を含み得る。
【００２７】
本明細書では、「圧縮アレイ」、「圧縮スタック」、又は「光学スタック」という用語は、基準面上の各領域が、次元的に減少した一連の独立したライトフィールド信号空間の測定値を表すように、入射ライトフィールドを操作する光学デバイスを指す。再構成アルゴリズムと組み合わせた場合に、オリジナルのライトフィールドの再構成を復元できる、公知の、及び計算可能な方法でライトフィールドを操作するスペーサ、マスク、屈折面、又は回折面の何れの配置も適格となり得る。再構成アルゴリズムにおいて光学経路が適切に記述されているならば、どのようなマスク、屈折面、及び回折面の正確な順序及び精密な設計も重要ではない。光学スタックは、好ましくは、入力ライトフィールドの信号空間のサイズを、入射フィールド全体よりも少ない測定値及び少ないデータでそれを記述できるように縮小する。これは、ある実施形態では、四次元ライトフィールドを二次元エントロピー画像に射影する拡散面によって達成されてもよい。他の光学的操作は、好ましくは、拡散面に先行する光路において生じ、及び光線を拡散平面における合成測定値に統合する働きをする。合成測定値は、複数の別々の光線束の線形結合でもよく、及びスパース基底でライトフィールドを再構成する手段を提供してもよい。
【００２８】
本明細書では、「マスク」、「遮蔽マスク」、及び／又は「符号化マスク」という用語は、一般的にインク、液晶（時変マスクの場合）、又は光を吸収することができる、及び遮蔽のランダム又は擬似ランダムパターンを有してもよい他の遮蔽媒体から作られた構造を指す。遮蔽は、二次元記録画像から四次元ライトフィールドを再構成するために使用されるアルゴリズムである再構成アルゴリズムを通知するエミッション行列によって記述されてもよい。マスクは、時間で変動してもよい。マスクパターンは、オンザフライ基底によって、及び／又は対象物及び帯域幅要件を含む複数の入力に基づいて、動的に決定されてもよい。マスクは、所与の障害物を通過するライトフィールドを、完全に無くすのではなく減少させる点で、減衰してもよい。マスクは、ライトフィールドの一部を遮る点で遮蔽性でもよく、及び異なる波長で、異なって動作してもよい（つまり、スタックの様々な部分が、言葉の光学的意味において、分散的でもよく、又は帯域通過、低域通過、又は高域通過特徴を有していてもよい）。
【００２９】
本明細書では、「スパース基底」という用語は、興味対象（写実的ライトフィールド）の信号を比較的少数のゼロ以外の値で表現することができる、信号表現の選択を指す。同じ（サイズの）信号空間を記述する異なる基底のうち、一部の基底は、多くの場合、特に興味のある信号を、より少量のデータで表現する。スパース表現のこの事実は、現代の画像圧縮の多くの基礎となり、これは、従来の二次元画像及び映像が、任意のデータよりも多く圧縮できる理由である。スパース基底は、ヒルベルト空間（又は無限次元のヒルベルト空間）に存在し得る。
【００３０】
図１は、レンズアレイの一実施形態、及びホログラフィックライトフィールドイメージングデバイスの画像センサの一実施形態の図である。図１に示されるように、光学圧縮アレイ１００の一実施形態は、屈折面１、遮蔽マスク２、誘電体スペーサ３、第２の遮蔽マスク４、誘電体スペーサ５、及び拡散器６を含んでもよい。屈折面１は、必須ではないが、各測定値の独立性を高めるために、局所的な正曲率を示してもよい。また、屈折面１は、一般性を失うことなく、回折的に機能してもよい。図１は、画像センサ２００が、リレーレンズ７及びエリアスキャンデジタルライトセンサ８を含んでもよいことも示している。リレーレンズ７及びエリアスキャンデジタルライトセンサ８は、圧縮アレイ１００（時に、圧縮スタックと呼ばれる）の後ろでライトフィールドをサンプリングするために使用することができるデバイスの一例である。拡散器６は、リレーレンズ７及びエリアスキャンデジタルライトセンサ８がエタンデュの制約を回避できるように、光を散乱させる。僅か１つのマスク４、又は４つ以上のマスク４が存在してもよい。好ましくは、２つのマスク４及び同数のスペーサ５が存在する。
【００３１】
このホログラフィックライトフィールドイメージングデバイスは、好ましくは、単一対物レンズを備えておらず、代わりに、一般に、波面を計算可能に操作するための光学構成要素の圧縮スタック（一般的に、光学圧縮アレイ１００と呼ばれる）を有する。理想的には、光学圧縮アレイ１００は、曲面（特に前面）、異なる屈折率を持つギャップ、あるいは回折又は反射構成要素を含んでもよいが、通常、ガラス及び不透明マスクの文字通りのスタックである。
【００３２】
光学圧縮アレイ１００の屈折面１は、光捕捉窓を規定する物理的に大きな面でもよい。この広域面１は、一般的に直径ミリメートル単位で測定される標準レンズアパーチャと比べて、メートル尺度で表されてもよい。広域面１に当たる光は、一般に、二次元画像に統合される前に、光学圧縮アレイ１００によって、歪曲、減衰、及び変換が行われてもよい。ライトフィールドが統合される好ましい方法は、通常、例えばグラウンドグラス又はホログラフィック拡散板でもよい光学拡散器６を用いた散乱によるものである。これは、エタンデュ及びリレーシステム７の使用Ｆ値の制約を回避する。
【００３３】
次に、好ましくはリレーレンズ７などの従来のリレー光学部品を介して、エリアスキャンデジタルライトセンサ８によって、画像センサ２００上で捕捉される画像。エリアスキャンデジタルライトセンサ８は、圧縮アレイ１００と直接接触してもよい。実際、本システムの目的の１つは、圧縮アレイ１００の裏面に到達する平均照度の使用可能デジタル信号への変換を最適化する設定を備えることである。
【００３４】
センサ８に中継された後、センサ８によって生成された、得られたデジタル画像ファイルは、好ましくは、屈折面１に当たるライトフィールド全体の光学的に符号化された表現を含む（しかし、この表現は、変換され、及び非圧縮表現よりもかなり小さなデータサイズのものであり、信号を測定するために、より少数の画素（立体角当たり）を必要とする）。
【００３５】
面１に当たる全ての光をサンプリングすることによって、本ホログラフィックライトフィールドイメージングデバイスは、各可能な視点を同時に捕捉することができる。これは、四次元（４Ｄ）ライトフィールド（窓内の位置の二次元及び角度方向の二次元）を符号化二次元（２Ｄ）画像に射影することによって行われる。２Ｄ画像は、写真画像ではなく、代わりに、入射ライトフィールドの射影である。この符号化２Ｄ画像は、次に、デジタルライトセンサ８によって捕捉されてもよい。
【００３６】
次元数の減少は、最初に面に入射したライトフィールドが圧縮され、及び理論的四次元オリジナルライトフィールドの全てを、多少の曖昧さなしに再構成できないことを意味する。しかし、ライトフィールドの変換は、再構成に関する他の制約が、写実的に見えるシーンの完璧な、又は完璧に近い再構成（これは、主に、圧縮されたライトフィールドの冗長な情報を除去するとともに、ライトフィールド及びライトフィールドに関連する情報／データを効率的なフォーマットで捕捉することによって行われる）をもたらし得るように、達成されてもよい。（なお、射影は、光学素子の有限サイズ及び二次元記録デバイスのラスター化により、入力ライトフィールドのある程度の低域通過も達成することができる。この低域通過は、望ましく、及び超短波忠実度を犠牲にして、復元信号のサイズに制限を課す。）。
【００３７】
捕捉及び圧縮表現は、次に、効果的にライトフィールドの射影圧縮変換を反転させ、及び変換基底で入射ライトフィールドの非常に正確な再構成を復元させることによって、ライトフィールドのオリジナル表現を再構成するために、イメージングデバイスに接続された、又はイメージングデバイスが利用できるコンピュータシステムによって使用されてもよい。この反転は、多くのアルゴリズム形態をとることができ、及び他の制約又は事前情報（自然ライトフィールドの構造に関するデータ、捕捉される特定の人工ライトフィールド、及び／又は別のカメラ又はカメラシステムからのイメージを含むデータが表す特定のライトフィールドに関するデータ、又は時間的に前又は後の同じライトフィールドの再構成）を組み込むことができる。
【００３８】
ライトフィールドは、通常、非常に冗長であり、この冗長性は、所与のライトフィールドを表すデータが圧縮可能となることを可能にする。圧縮又は反転に使用されるアルゴリズムは、一般に、ライトフィールドの何等かの表現（例えば、フーリエ領域、慎重に選択されたウェーブレット領域、離散コサイン変換空間、予め計算された辞書基底、又は他の基底）における自然圧縮性／スパース性を利用することによって、それを明確に再構成することができる。
【００３９】
前の仮定を捕捉したアルゴリズムは、次に、それが前の仮定を満たし、及び最大限に上手く（所与の制約）、又はある誤差閾値の範囲内で、捕捉された符号化ライトフィールドにマッチするまで、非圧縮ライトフィールド表現を変更してもよい。再構成は、一般に、復元信号がスパースであるという制約を課しながら、最適化（サンプリングされたデータに最も良くマッチする表現の信号空間を探す）の形態をとる。この制約は、緩い制約（例えば、ラッソ（ｌａｓｓｏ）回帰、共役勾配降下）として、又は厳しい制約（例えば、マッチング追跡）として課せられてもよい。多くの漸近的に等価な方法が存在する。
【００４０】
ライトフィールドの表面全体をサンプリングすることによって、圧縮ホログラフィックカメラは、好ましくは、完全な信号再構成（特定の特性を持つ風景の場合）又は有界誤差の再構成（圧縮できないシーンの場合）を可能にしながら、全ての可能な視点及び全ての方向のサンプリングを保証する。圧縮できないシーンは、スパース性仮定に反する、又は明確に復元することが難しい信号空間の部分に存在するライトフィールドを含む。
【００４１】
幾つかの実施形態では、面１又は拡散器６上に取り付けられてもよいエッグクレートなどの外部構造が、所望の視野外の光を排除することによって、入力ライトフィールドの範囲を制限してもよい。
【００４２】
図２は、ホログラフィックライトフィールドイメージングデバイスの使用方法の一実施形態のブロック図である。図２に示されるように、方法３００は、入射生ライトフィールドを提供するステップ（３０２）と、ホログラフィックライトフィールドイメージングデバイスを提供するステップ（３０４）とを含んでもよく、イメージングデバイスは、屈折面、遮蔽マスク、誘電体スペーサ、第２の遮蔽マスク、及び第２の誘電体スペーサを含んでもよい圧縮アレイを含んでもよい（３０８）。動作中、入射ライトフィールドは、屈折面に当たり（３１０）、及び遮蔽マスク、誘電体スペーサ、第２の遮蔽マスク、及び誘電体スペーサを通過する（３１２）ことができる。これにより、オリジナルのライトフィールドの圧縮された、より低次元の射影を生じさせるために計算的に歪曲された波面を得ることができる（３１４）。圧縮アレイは、好ましくは、拡散器を含む（３１６）。得られた波面は、この時、次に好ましくは拡散器によって散乱される波面パターンである（３１８）。ホログラフィックライトフィールドイメージングデバイスは、画像センサをさらに含んでもよい（３２０）。画像センサは、デジタルライトセンサ及びリレーレンズを含んでもよい（３２２）。拡散器による散乱後、圧縮波面パターンは、リレーレンズによってデジタルライトセンサに中継される（３２４）。得られた波面パターンは、デジタル符号化されてもよい（３２６）。崩壊及び圧縮波面の得られたデジタル記録は、次に、本明細書で前述の通り、圧縮アルゴリズムを反転させることによって、完全な次元数に戻るように射影することができる（３２８）。得られた再構成波形は、好ましくは、エイリアシングなしに、高い忠実度及びよく制限された誤差を有する。
【００４３】
ホログラフィックライトフィールドイメージングデバイスは、好ましくは、以下に従って機能する。屈折、遮蔽、及び誘電体板は、一般に、好ましくはライトフィールド（波面又は入射ライトフィールドとも呼ばれる）を歪曲させる光学スタック（圧縮スタック又は圧縮アレイ）を含む。これは、好ましくは、屈折面に入射する四次元（４Ｄ）ライトフィールドの拡散器６の裏側の２Ｄ画像へのホログラフィック射影を表す放射輝度パターン（又は波面パターン）を生じさせる。この画像は、好ましくは、従来の画像ではなく、代わりに、４Ｄ関数を、エミッション関数を用いてコンボリューションすることによって２Ｄ面上に埋め込む符号化パターンである。エミッション関数は、（１）予め計算されてもよく、及びそれは、４Ｄライトフィールドの状態空間上の光学スタックの正確な歪曲によって決定され、あるいは、（２）それは、既知の入力を用いてシステムを較正することによって後で計算することができる）。得られた圧縮画像は、実質的に、拡散器の裏側の影のパターン（図１４ｂに示されるような）のように見え、及び入力ライトフィールドのエントロピーの大部分を符号化する。マスク２、４及び屈折面１は、入力ライトフィールドをスクランブルしてもよく、及び光学システムが適切に設計されていれば、拡散器の裏側の多数の点への入力光線束の順方向計算可能な（及び可逆的な）射影を生じさせることができる。この射影は、本画像デバイスと、関連のシステム及び方法とにより、可逆的であるにすぎない。
【００４４】
好ましくは、圧縮アレイによるライトフィールドの歪曲は、実質的に冗長な情報を破棄しながら、効果的に入力信号（入射ライトフィールド）を圧縮する。それは、画像センサ２００によるサンプリングの前に、これを光学的に行う。
【００４５】
得られた２Ｄ画像は、好ましくは、画像を１つ又は複数のデジタルセンサ８に送信することができる１つ又は複数のリレーレンズ７によって中継され、及びセンサ上にイメージングされる。２Ｄ射影画像は、次に、その他の２Ｄデジタル画像ファイルのように、保存され、送信され、及びコピーされてもよい。測定関数の知識を用いて、４Ｄライトフィールド（画像）は、２Ｄ符号化画像から再構成することができる。オリジナルの信号を再構成するために、記録された２Ｄ射影画像は、次に、符号化画像と一緒に捕捉された従来の写真２Ｄ画像への参照及びオリジナルの符号化画像との比較を含み得る、誤差を最小限に抑える最適化アルゴリズムに渡されてもよい。
【００４６】
再構成中に、波面の圧縮表現を完全なライトフィールド信号空間に戻すように射影することができ、及び誤差計算が、（場合によっては、他の基準画像との比較により）行われてもよい。次に、誤差を最小にするアルゴリズムが、勾配降下又は他の最適化ルーチンの後に続くことにより、再構成ライトフィールドの誤差及びスパース性の両方を最小限に抑える再構成を見つけ出すことができる。この反復ループは、誤差が閾値を下回る、又は安定した値に達するまで、及び／又はスパース性制約が満たされるまで、及び／又はその他の予め規定された終了条件まで、継続してもよい。
【００４７】
誤差が十分に最小限に抑えられ、スパース性及び他の条件が満たされ、及びライトフィールドが完全に再構成されると、それは、次に、保存、伝送、及び表示のために通常のデータ形式で圧縮することができる。これは、エントロピー符号化、並びに、不可逆及び可逆符号化を含む。
【００４８】
ある実施形態では、ホログラフィックライトフィールドイメージングデバイスは、最初に所望のエミッションモデルを作成することによって構成されてもよい。これは、第一原理から、又は実験的に（シミュレーション又は物理試験により）行われてもよい。その目的は、好ましくは、後の再構成のために、波面をランダム又は擬似ランダム基底にスクランブルする波面歪曲を生成することである。
【００４９】
エミッションモデルは、圧縮スタック１００に含まれる特性：１つ又は複数の屈折面１の曲率（もしあれば）、１つ又は複数の遮蔽マスク２、４の形状及び不透明度、及び誘電体板３、５の厚さ（計算された距離分だけ、屈折面１及び遮蔽マスク２、４を分離する働きをする）を定めてもよい。屈折面１は、ガラス、プラスチック、又は他の誘電体を含んでもよく、及び薄膜コーティングを含んでもよい。遮蔽マスク２、４は、インクで印刷されてもよく、不透明若しくは反射材料から製作されてもよく、又は波面を減衰させるために偏光を用いてもよい（例えば、それは、時変マスクの場合、ＬＣＤパネルでもよい）。
【００５０】
圧縮スタック１００がアセンブルされると、拡散器６の裏面からカメラのセンサ８に画像を忠実に送信するリレーレンズ７を有して、記録カメラが、スタック１００の後ろに配置されてもよい。リレーレンズ７は、理想的には、無収差であるが、リレー歪曲がモデル及びアルゴリズムに組み込まれてもよい。
【００５１】
物理的カメラ（１００及び２００）に加えて、オリジナルのライトフィールドを再構成するために、再構成アルゴリズムが使用されてもよい。アルゴリズムは、オリジナルのエミッションモデルの関数でもよく、及び４Ｄに戻すように２Ｄ画像を射影する（但し、必ずしもオリジナルと同じ基底ではなく、理想的には、復元信号がスパースである可能性が高い基底において）。スタックの効果が射影であるので、再構成は、それが、再構成におけるスパース性又は追加の基準画像に対する忠実度などの他の課せられる制約を含まない限り、必然的に曖昧である。
【００５２】
この技術が機能するためには、圧縮アレイは、一般に、ライトフィールドを別の基底に射影するのに十分な程度に散乱させ、及び符号化するように設定される（各記録画素は、入射ライトフィールドに関する実質的に異なる情報を含まなければならない）。しかし、第１の面は、曲率を持たなくてもよい：面間の誘電体バリアは、プラスチック、ガラス、顕微鏡オイルのような誘電性流体、あるいは空気（又は真空）で構成されてもよい。多数のマスクが存在する必要はなく、及び１つ又は複数の屈折面の慎重な構成により、マスクなしのカメラでも効果的となり得る。
【００５３】
リレーレンズ及びセンサは、小さなシリコンセンサ又は他の光センサ上に画像を射影する必要がある場合があるが、センサが、イメージングされるライトフィールドと同じサイズである場合には、必要でない場合があり、その場合、この大きなセンサは、光学スタックの後ろで、拡散板の代わりをすることができる。
【００５４】
画像を生成するために、ユーザは、標準的なデジタルカメラと同様に、ホログラフィックライトフィールドイメージングデバイスを操作することができる：それをオンにし、それを興味のあるシーンに向け、及び記録する。較正ステップが存在してもよいが、これは、一般に必要ではない。
【００５５】
光学的に圧縮された画像が捕捉されると、ユーザは、通常行われるように、デジタルファイルの移動、コピー、ストリーミング、及びバックアップを行うことができる。しかし、そのデジタルファイルを見るためには、ユーザは、一般に、オリジナルのライトフィールドを再構成するために、ソフトウェアパスを実行することが必要とされ得る。これが再構成されると、彼らは、バーチャルリアリティヘッドセット、拡張現実ヘッドセット、又は立体／ホログラフィックディスプレイのような、ライトフィールドをサポートする任意の既存のディスプレイにおいて、得られたライトフィールドを使用することができる。
【００５６】
マスク、屈折面、及び拡散素子の正確な数及び順序は、この技術が機能するために重要ではない場合があり、及びシステムの有効性を実質的に変えることなく、順序が変更されてもよい。
【００５７】
捕捉された画像は、静止又は映像フィード画像でもよい。
【００５８】
図３は、ホログラフィックライトフィールドイメージングデバイスの一実施形態の圧縮アレイ及び上面の一実施形態の図である。図３に示されるように、圧縮アレイ３５０は、１つ又は複数のレンズレット３５５を有した前面３５３を有してもよい。各レンズレット３５５は、単一平凸正シングレットレンズでもよい。レンズレット３５５は、フレネルレンズ、回折面、屈折面、又は平面でもよい。平面の場合、レンズレット３５５は、入射ライトフィールドの光線をシャッフルしない。図３は、多数のレンズレット３５５を備えた正方形圧縮アレイ３５０を示すが、圧縮アレイは、任意の形状でもよく、及び１つ又は図示されているよりもさらに多くのレンズレット３５５を有していてもよい。面３５３は、好ましくは、必須ではないが、圧縮アレイの残りの部分３６０の上にある。図示されるように、面３５３は、非連続的でもよい。
【００５９】
図３は、時に第１の面と呼ばれる前面が、次元的に減少したライトフィールドの空間エントロピーを増加させるために、局所的に正曲率を示す屈折面でもよいことを示す。
【００６０】
図４は、ハウジングを備えたホログラフィックライトフィールドイメージングデバイスの一実施形態の図である。図４は、一実施形態において、ホログラフィックライトフィールドイメージングデバイス４００が、圧縮アレイ３５０、ハウジング４２０、及び画像センサ４０４を含んでもよいことを示す。画像センサ４０４は、リレーレンズ４０７及びエリアスキャンデジタルライトセンサ４０９を含んでもよい。圧縮アレイ３５０は、好ましくは、入射ライトフィールドを取り込む複数のレンズレット３５５を有する。ハウジング４２０は、好ましくは、迷光がリレーレンズ４０７に達することを阻止する。
【００６１】
図４に示されるように、画像センサ４０４は、市販の２Ｄデジタルカメラでもよく、及びリレーシステム４０７は、市販のレンズでもよい。拡散器５０５（図５に示される）の裏面は、画像センサ４０４上にイメージングされる光学面でもよい。画像センサ４０４は、リレーレンズ４０７と一体化されてもよい。光学面５０５は、リレーシステム４０４によって記録媒体上にイメージングされる。好ましくは、光学面５０５は、公知の方法で、圧縮アレイ３５０を通過する光をランダムに、又はほぼランダムに散乱させる。拡散器面５０５は、ホログラフィック拡散器の面でもよい。リレーシステム４０７及び画像センサ４０４は、圧縮アレイ３５０とはかなり異なるエタンデュを示してもよい。圧縮アレイは、時に、射影光学システムと呼ばれる。センサ４０９の写真媒体は、電荷結合素子（ＣＣＤ）センサ、又は相補型金属酸化膜半導体（ＣＭＯＳ）センサでもよい。複数のリレーシステム４０４及び／又は記録デバイス４０９が存在してもよい。
【００６２】
幾つかの実施形態では、面５０５は、デジタルライトセンサ以外の写真記録媒体でもよい。それは、走査光センサ、デジタルライン走査センサ、あるいはフィルム感光乳剤でもよい。センサの目的は、後の再構成のために、撮像素子の各領域又は画像中の画素が符号化ライトフィールド信号のサンプルを表すように、入ってくる光子をデジタル表現に変換することである。エリアスキャンデジタルセンサは、これらの測定を行うための好ましい形態であるが、一般性を失うことなく、他のサンプリング形態が使用されてもよい。幾つかの実施形態では、リレーシステム４０４は、誘電体内部の全内部反射により、記録媒体へと光を導くことができる。光は、単独又はアレイの光ファイバテーパによってデジタルセンサに搬送されてもよく、及び光を１つ又は複数のデジタルセンサに中継してもよい。幾つかの実施形態では、画像センサ４０４は、固定の公知の光学共役を用いたリレーレンズを利用してもよく、光学システムの光収集能力を最大限にしながら、それの収差性能を向上させる。他の実施形態では、画像センサ４０４は、拡散器１３００の裏側でイメージングされるエリアが、１つ又は複数のデジタルセンサ４０４のエリアよりも大きい、又は小さいように、大きな拡大又は最小化を含んでもよい。
【００６３】
図５は、ホログラフィックライトフィールドイメージングデバイスの一実施形態の断面図の図示である。図５は、どのように、ハウジング４２０が、好ましくはリレーレンズ４０７の前面から拡散器５０５の裏面まで延在するかを示す。リレーレンズ４０７は、好ましくは、センサ４０９上の画素となる拡散器５０５の裏面の特定の領域上に光の強度をマッピングするリレーシステムの一部でもよい。
【００６４】
図６は、ホログラフィックライトフィールドイメージングデバイスの幾つかの内向き配置の図である。図６に示されるように、ホログラフィックライトフィールドイメージングデバイス４００は、他の同一又は類似のホログラフィックライトフィールドイメージングデバイス４０１、４０２と組み合わせることにより、内向きアレイ６００を形成してもよい。アレイ６００は、周囲のシーン６０６から生じたライトフィールドを捕捉することができる。これは、一例として拡張現実ヘッドセットにおいて表示され得るシーンに向けて内側を見る視点を生成するのに役立ち得る。
【００６５】
図７は、ホログラフィックライトフィールドイメージングデバイスの幾つかの外向き配置の図である。図８は、ホログラフィックライトフィールドイメージングデバイスの幾つかの外向き全方向配置の図である。図７及び８に示されるように、外向きアレイ７００、８００の２つの実施形態を示す。アレイ７００では、捕捉されるライトフィールドは、連続的な広域ライトフィールドでもよい。アレイ７００、８００は、見る人の位置を部分的に、又は完全な包囲する入射光面を描いてもよい。様々なビューの何れも再構成することができるとともに、ライトフィールド射影は、没入型でもよく、及び見る方向にかかわらずビューを届けることができる。
【００６６】
一実施形態では、前面光学部品圧縮アレイは、イメージングセンサと１：１の対応を持つ必要がない。代わりに、複数のリレーレンズが、単一の圧縮アレイから光を取り込んでもよく、又は単一の画像センサが、複数の圧縮アレイから複数の画像を取り込んでもよい。単一センサ複数圧縮アレイの配置は、これが、製作しなければならない圧縮アレイのサイズを縮小し、且つ、それでも大きな画像フィールドを得るので、より簡単な製造を提供することができる。複数センサ単一圧縮アレイの配置は、捕捉解像度を向上させ、信号のノイズフロアを向上させ、及びパネル間の重なり及びアライメントを向上させることができる。
【００６７】
図９ａは、シーンの図であり、及び図９ｂは、シーンからの全ての光の集まりがライトフィールドであることを示す図である。図９ａ及び９ｂは、シーン９００からの全ての光の集まりがライトフィールド９０２であることを示す。ライトフィールド９０２は、シーン９００の全ての可能な視点を含み、及び４次元面（二空間次元、及び各空間点９０４におけるフィールドの方向を規定する二角度次元）としてモデリングすることができる。
【００６８】
図１０ａは、ホログラフィックライトフィールドイメージングデバイスの一実施形態の表面に入射したシーンからの光線の図であり、及び図１０ｂは、それの入力ライトフィールドの表現である。図１０ａに示されるように、面３５０に類似してもよい面１０００は、捕捉デバイス上に入射したシーンからの光線の一部を捕捉する。これは、入力ライトフィールド１０５０を生成する。
【００６９】
図１１ａは、ホログラフィックライトフィールドイメージングデバイスの一実施形態の圧縮アレイの表面の図であり、及び図１１ｂは、ライトフィールドが屈折又は回折面を通過する際にどのようにシャッフルされ得るかを示す。面１１５０が屈折性又は回折性である場合、光１１０１は、面１１５０を通過し、及び裏面１１０２から出る際にシャッフルされる。このように、ライトフィールド１０５０は、ライトフィールド１０５１へとシャッフルされる。ライトフィールドの空間及び角度値の幾つかは、交換され、これは、シーンエントロピーのより多くを空間領域に押しやる。
【００７０】
図１２ａは、光線が通過するホログラフィックライトフィールドイメージングデバイスの一実施形態の２つのマスクの一実施形態の図であり、及び図１２ｂは、光が遮られたダークスポットのパターンを用いて、圧縮アレイを通過するライトフィールドがどのように符号化されるかを示す。図１２ａは、２つの遮蔽マスク１２００を示し、及びライトフィールドが通過することを示す。ライトフィールド１０５１は、光が遮られたダークスポット１２０２のパターンを用いて符号化される。符号化は、好ましくは、局所的な屈折、回折、減衰、遮蔽（図１２ｂに示される通り）を用いて実施されてもよい。
【００７１】
図１３ａは、結果として図１３ｂに示されるエントロピー画像を生成する、ホログラフィックライトフィールドイメージングデバイスの一実施形態の圧縮アレイの拡散器の一実施形態の図である。圧縮アレイの後ろに、好ましくは、拡散器１３００が存在してもよい。マスクを越えて通過する光は、拡散器１３００に当たり、エントロピー画像１３０１を生成する。これは、それがどの方向から見られるかにかかわらず同じである二次元表現への四次元ライトフィールドの変換を終了させる。これは、リレーシステムが、２Ｄセンサ上で４Ｄライトフィールドの代表サンプルを捕捉することを可能にする。
【００７２】
図１４は、ホログラフィックライトフィールドイメージングシステムの信号フローの一実施形態のフローブロック図である。図１４に示されるように、信号フロー１４００は、圧縮スタック１４０２、リレーシステム１４０４、センサ１４０６、及び再構成アルゴリズム１４１０を通って流れてもよい。圧縮スタック１４０２では、信号は、ライトフィールドが光学システムの第１の面に入射する（１４１２）ことから開始してもよい。幾つかの実施形態では、第１の面が屈折性又は回折性である場合に、角度−空間シャッフルが存在してもよい（１４１４）。図示されるように、マスク又は他の光学操作による符号化が存在してもよい（１４１６）。この符号化は、入射ライトフィールドの再構成に使用されてもよい光学部品モデル１４１８として表すことができる。好ましくは拡散による射影変換が存在してもよく、及びエントロピー画像が形成されてもよい（１４２０）。信号は、画像がセンサに伝達されるリレーシステム１４０４に進んでもよく、センサ及びライトフィールドが異なる寸法を有する場合、拡大又は縮小が存在してもよい（１４３０）。次に、信号は、エントロピー画像をデジタルサンプルに変換することができるセンサ１４０６に進んでもよい。これは、好ましくは、エリアスキャンライトセンサでもよい（１４４０）。図１４は、場合により、誤差計算１４５４と、終了条件が満たされたかどうか（例えば、誤差が、ある閾値を下回ること）の決定（１４５６）と、次に、オリジナルの入射ライトフィールドと実質的に類似した又は同一の再構成ライトフィールド１４５８で終了することとを含む最適化ステップ（例えば、アトミックノルム最小化）１４５２による改良推定である再構成推定１４５０により、オリジナルの入射ライトフィールドの再構成を行うために、再構成アルゴリズム１４１０を使用することができることを示す。
【００７３】
幾つかの実施形態では、入射又は入力ライトフィールドは、単色で、又は離散数のカラーチャネルによって表される色域で表されてもよい。入射ライトフィールドは、連続スペクトルを含んでもよく、及び再構成は、この連続スペクトルを復元させてもよい。幾つかの実施形態では、ライトフィールドの光学スペクトルは、スパース辞書によって表されてもよい。
【００７４】
入射ライトフィールドは、二角度次元及び一空間次元を有していてもよい。他の実施形態では、入射ライトフィールドは、二角度次元未満、及び／又は二空間次元未満でもよい。第１の、又は取り込み面は、実質的に平坦でもよく、又は曲面でもよい。
【００７５】
再構成アルゴリズムは、符号化マスク及び他の光学部品によって規定され得る、及び／又は符号化マスク及び他の光学部品において具体化され得るエミッション行列を用いてもよい。他の実施形態では、符号化マスクは、エミッション行列によって定められてもよい。他の実施形態では、アルゴリズムは、ホログラフィックイメージングデバイスの一部として使用される実際の光学部品及び符号化マスクを反映するように較正されてもよい。幾つかの実施形態では、この較正は、所定のライトフィールドをデバイスに通し、及びその結果を観察することによって達成されてもよい。他の実施形態では、これは、光学部品及びマスクの直接観察によって達成される。幾つかの実施形態では、較正パターン（基準マークなど）が、システムの較正及び再構成アルゴリズムの微調整を助けるために、１つ又は複数の符号化マスク上に表示されてもよい。再構成アルゴリズムは、感知されたライトフィールドのスパース表現を再構成するために最適化を用いてもよく、この最適化は、アトミックノルム最適化、勾配降下、及び／又は確率的勾配降下を用いて、再構成を行ってもよい。幾つかの実施形態では、再構成アルゴリズムは、スパース信号空間のハッシュ変換に対して作用してもよい。ハッシュ関数は、ランダム又は擬似ランダムでもよい。
【００７６】
幾つかの実施形態では、中間画像が、光学面で解像され、光学面は、リレーシステムによって記録媒体上にイメージングされる。
【００７７】
光学スタック（圧縮アレイ）の組成は、入射ライトフィールドと、ライトセンサ上に記録された２Ｄ画像との関係を定める。好ましくは、選択された圧縮アレイの要素は、光強度において線形である。圧縮アレイの正確な仕様は、特定のパラメータに従って、又は測定が行われた後に圧縮アレイを構築することを含む、多くの方法で決定されてもよい。写実的ライトフィールドは、特定の公知のスパース記述を有することが分かっている。これを用いて、４Ｄライトフィールドの再構成及び射影を助けることができる。
【００７８】
ソースライトフィールドがスパースであるので、実際に記録されるものと同じ、又はほぼ同じ記録画像を生成したであろうスパース仮説ライトフィールドを見つけ出すことは、一般に、オリジナルのライトフィールドの類似再構成をもたらす。仮説ライトフィールドを決定する１つの方法は、正規化最適化問題としてスパース性制約を明確に示すことである。別の代替手段は、厳しい制約としてスパース性を課し、及び基底構成要素から反復的に（およびスパースに）記録画像の近似を構成することである。
【００７９】
使用され得るアルゴリズム再構成に関連する以下の参考文献は、本明細書に全体として記載されるのと同様に、本明細書に参照によって援用される：
・Ｓ．Ｇ．マーラ（Ｓ．Ｇ．Ｍａｌｌａｔ）及びＺ．チャン（Ｚ．Ｚｈａｎｇ）著、「時間周波数辞書を用いたマッチング追跡（Ｍａｔｃｈｉｎｇ  Ｐｕｒｓｕｉｔｓ  ｗｉｔｈ  Ｔｉｍｅ−Ｆｒｅｑｕｅｎｃｙ  Ｄｉｃｔｉｏｎａｒｉｅｓ）」、信号処理に関するＩＥＥＥ会報（ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ）、１９９３年１２月、ｐ．３３９７−３４１５
・キャンデス、エマニュエルＪ．（Ｃａｎｄｅｓ，Ｅｍｍａｎｕｅｌ  Ｊ．）、ロンバーグ、ジャスティンＫ．（Ｒｏｍｂｅｒｇ，Ｊｕｓｔｉｎ  Ｋ．）、タオ（Ｔａｏ）著、「不完全及び不正確な測定値によるテレンス安定した信号復元（Ｔｅｒｅｎｃｅ  Ｓｔａｂｌｅ  ｓｉｇｎａｌ  ｒｅｃｏｖｅｒｙ  ｆｒｏｍ  ｉｎｃｏｍｐｌｅｔｅ  ａｎｄ  ｉｎａｃｃｕｒａｔｅ  ｍｅａｓｕｒｅｍｅｎｔｓ）」、基礎及び応用数学に関する情報誌（Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ  ｏｎ  Ｐｕｒｅ  ａｎｄ  Ａｐｐｌｉｅｄ  Ｍａｔｈｅｍａｔｉｃｓ）、２００６年、第５９巻第８号、ｐ．１２０７−１２２３、ｄｏｉ：１０．１００２／ｃｐａ．２０１２４
・ギル、パトリックＲ．（Ｇｉｌｌ，Ｐａｔｒｉｋ  Ｒ．）、ワン、アルバート（Ｗａｎｇ，Ａｌｂｅｒｔ）、モルナール、アリョーシャ（Ｍｏｌｎａｒ，Ａｌｙｏｓｈａ）、「高速基底追跡ノイズ除去のためのインクラウドアルゴリズム（Ｔｈｅ  Ｉｎ−Ｃｒｏｗｄ  Ａｌｇｏｒｉｔｈｍ  ｆｏｒ  Ｆａｓｔ  Ｂａｓｉｓ  Ｐｕｒｓｕｉｔ  Ｄｅｎｏｉｓｉｎｇ）」、信号処理に関するＩＥＥＥ会報（ＩＥＥＥ  Ｔｒａｎｓ  Ｓｉｇ  Ｐｒｏｃ）、第５９巻第１０号、２０１１年１０月１日、ｐ．４５９５−４６０５
【００８０】
好適な実施形態の上記の記載は、例示及び説明目的のために提示されたものである。複数の実施形態を開示したが、さらに他の実施形態が、上記の詳細な説明から当業者には明らかとなるであろう。これらの実施形態は、全て保護の精神及び範囲から逸脱することなく、様々な明白な局面において変更が可能である。従って、詳細な説明は、制限的なものではなく、本質的に例示的なものと見なされるべきものである。また、明確に記載されていないが、１つ又は複数の実施形態は、互いに組み合わせて、又は互いに連携して実施されてもよい。さらに、ある特定の実施形態への言及又は非言及は、保護の範囲を限定すると解釈されるものではない。保護の範囲は、この詳細な説明によってではなく、本明細書に添付された特許請求の範囲及び特許請求の範囲の均等物によって限定されることが意図される。
【００８１】
すぐ上に記述した場合を除き、記述又は図示された何れも、特許請求の範囲における記載の有無にかかわらず、どの構成要素、ステップ、特性、目的、メリット、利点、又は均等物も公衆に捧げることを生じさせることは意図されていない、又はそのように解釈されるものではない。
【図１】
2018533066.tif 000003
【図２】
2018533066.tif 000004
【図３】
2018533066.tif 000005
【図４】
2018533066.tif 000006
【図５】
2018533066.tif 000007
【図６】
2018533066.tif 000008
【図７】
2018533066.tif 000009
【図８】
2018533066.tif 000010
【図９ａ】
2018533066.tif 000011
【図９ｂ】
2018533066.tif 000012
【図１０ａ】
2018533066.tif 000013
【図１０ｂ】
2018533066.tif 000014
【図１１Ａ】
2018533066.tif 000015
【図１１Ｂ】
2018533066.tif 000016
【図１２ａ】
2018533066.tif 000017
【図１２ｂ】
2018533066.tif 000018
【図１３ａ】
2018533066.tif 000019
【図１３ｂ】
2018533066.tif 000020
【図１４】
2018533066.tif 000021
【国際調査報告】
2018533066.tif 000022
2018533066.tif 000023