(57)【要約】  いくつかの態様は、キャプチャされたプレノプティック画像データを効率的に記録するための、およびキャプチャされたプレノプティックデータから画像をレンダリングするためのシステムおよび技法に関する。プレノプティック画像データは、プレノプティックまたは他のライトフィールドカメラによってキャプチャされ得る。いくつかの実装形態では、光線の代わりに平面によって画像を定義するために、ラドン変換を実行することによって、４次元放射輝度データが３次元データに変換され得る。得られたラドン画像は、各平面にわたるエネルギーの加算された値を表すことができる。シーンの元の３次元発光密度は、たとえば、逆ラドン変換を実行することによって復元され得る。異なるビューからのおよび／または異なる焦点を有する画像が、発光密度からレンダリングされ得る。
2017520944.tif 000002
【特許請求の範囲】
【請求項１】
最終画像をレンダリングするための電子デバイスにおけるシステムであって、
前記システムは、
マイクロレンズアレイと画像センサーとを含み、画像シーンのプレノプティック画像データをキャプチャするように構成されたプレノプティックカメラと、
前記プレノプティックカメラとデータ通信しており、少なくとも、
前記画像センサー上に前記画像シーンからの光を合焦させる前記マイクロレンズアレイ中の複数のマイクロレンズのうちの１つによってそれぞれ形成された複数のマイクロ画像を含むキャプチャされたプレノプティック画像データを受信することと、
前記マイクロレンズアレイを二分する平面内に位置し、各々が前記画像シーンの３次元空間を通って延びる平面に対応する複数の積分ラインを決定することと、
前記複数の積分ラインに対応する前記プレノプティック画像データの複数のピクセルに少なくとも部分的に基づいて、ラドン画像を生成することと
を行うように構成された１つまたは複数のプロセッサと
を備えるシステム。
【請求項２】
前記１つまたは複数のプロセッサは、前記複数の積分ラインの各々について、前記複数のマイクロ画像のうちの少なくとも１つの対応するマイクロ画像に、前記複数の積分ラインのうちの１つのラインをマッピングすることによって、対応する画像ラインを決定するようにさらに構成された、請求項１に記載のシステム。
【請求項３】
前記１つまたは複数のプロセッサは、前記複数のピクセルとの前記対応する画像ラインの交差に少なくとも部分的に基づいて、前記複数のピクセルを識別するようにさらに構成された、請求項２に記載のシステム。
【請求項４】
前記１つまたは複数のプロセッサは、前記複数の積分ラインの各々について、前記対応する画像ラインと交差する前記複数のピクセルの各々に関連付けられたピクセル値の和を決定することによって、複数の加算されたピクセル値を生成するようにさらに構成された、請求項３に記載のシステム。
【請求項５】
前記１つまたは複数のプロセッサは、前記複数の加算されたピクセル値のアレイとして、前記ラドン画像を生成するようにさらに構成された、請求項４に記載のシステム。
【請求項６】
前記ピクセル値は強度値である、請求項４に記載のシステム。
【請求項７】
最終画像をレンダリングするための電子デバイスにおけるシステムであって、
前記システムは、
少なくとも、画像シーンの複数のサンプリングされた平面の各サンプリングされた平面について、前記サンプリングされた平面における光エネルギーの和を表すラドン画像を表すデータにアクセスするように構成された第１のモジュールと、
少なくとも、前記ラドン画像の前記複数のサンプリングされた平面の各サンプリングされた平面からの光エネルギーの前記和を積分することに少なくとも部分的に基づいて、前記画像シーンの発光密度を決定するように構成された第２のモジュールと、
少なくとも、画像平面上に前記発光密度を投影し、前記最終画像を生成するように構成された第３のモジュールと
を備えるシステム。
【請求項８】
前記最終画像は、キャプチャされた画像シーンの異なる視点または異なる焦点深度を有するように調整することが可能である、請求項７に記載のシステム。
【請求項９】
前記ラドン画像は、前記画像シーンのキャプチャされたプレノプティック画像データから生成される、請求項７に記載のシステム。
【請求項１０】
前記キャプチャされたプレノプティック画像データは、前記画像シーン中の物体から画像センサーに入射した複数の光線の強度で前記画像シーンのライトフィールドを表す、請求項９に記載のシステム。
【請求項１１】
前記ラドン画像は、前記画像シーン中に位置する平面に含まれているエネルギーで前記ライトフィールドを表し、
前記平面は前記画像センサーと交差する、
請求項１０に記載のシステム。
【請求項１２】
前記第１のモジュールは、前記キャプチャされたプレノプティック画像データを受信し、前記キャプチャされたプレノプティック画像データから前記ラドン画像を生成するようにさらに構成された、請求項９に記載のシステム。
【請求項１３】
前記画像シーンのプレノプティック画像データのキャプチャのために構成されたプレノプティックカメラをさらに備える、請求項９に記載のシステム。
【請求項１４】
前記プレノプティックカメラは、メインレンズと、複数のマイクロレンズを含むマイクロレンズアレイと、画像センサーとを備える、請求項１３に記載のシステム。
【請求項１５】
前記複数のマイクロレンズは、それぞれ微小球体を備える、請求項１４に記載のシステム。
【請求項１６】
前記第１のモジュールは、データストアから前記ラドン画像を取り出すことによって、前記ラドン画像を表す前記データにアクセスするように構成された、請求項７に記載のシステム。
【請求項１７】
前記第２のモジュールは、前記ラドン画像の逆投影を計算することに少なくとも部分的に基づいて、前記画像シーンの前記発光密度を決定するように構成された、請求項７に記載のシステム。
【請求項１８】
前記第２のモジュールは、少なくとも、前記逆投影にガウシアンのラプラシアン演算子を適用するようにさらに構成された、請求項１７に記載のシステム。
【請求項１９】
前記第２のモジュールは、少なくとも、前記ガウシアンのラプラシアン演算子を適用した後に、前記逆投影のノイズ除去を行うようにさらに構成された、請求項１８に記載のシステム。
【請求項２０】
プレノプティック画像データを圧縮するための方法であって、
前記方法は、
マイクロレンズアレイと画像センサーとを有するプレノプティックカメラから、３次元画像空間のプレノプティック画像を表すデータの少なくとも一部分を受信することと、
前記マイクロレンズアレイを二分するマイクロレンズ平面と交差する積分平面を識別することと、
前記マイクロレンズ平面から第１の距離に位置する画像平面および前記積分平面と交差する画像ラインを決定することと、
前記積分平面および前記マイクロレンズ平面と交差するマイクロレンズラインを決定することと、
マイクロレンズラインと前記マイクロレンズとの交差に少なくとも部分的に基づいて、前記マイクロレンズアレイのマイクロレンズによって前記画像センサー上に形成されるマイクロ画像に前記画像ラインをマッピングすることと、
前記マイクロ画像にマッピングされた前記画像ラインに沿って位置する、前記マイクロ画像中の複数のピクセルの各々のピクセル値を加算することと、
を備える方法。
【請求項２１】
前記加算されたピクセル値に少なくとも部分的に基づいて、ラドン画像を生成することをさらに備える、請求項２０に記載の方法。
【請求項２２】
前記マイクロレンズアレイの複数のマイクロレンズの各々は、前記画像センサー上に別個のマイクロ画像を形成する、請求項２０に記載の方法。
【請求項２３】
極座標系を使用して、前記３次元画像空間をパラメータ化することをさらに備える、請求項２０に記載の方法。
【請求項２４】
前記マイクロレンズ平面と交差する複数の積分平面を識別することをさらに備える、請求項２０に記載の方法。
【請求項２５】
前記複数の積分平面は、当該複数の積分平面がグループとして前記画像センサーの複数のセンサーピクセルの各々をサンプリングするように配置される、請求項２４に記載の方法。
【請求項２６】
前記複数の積分平面の２つの隣接する平面の交差によって形成される隣接するライン間のステップサイズは、前記画像センサー上のマイクロ画像の冗長サンプリングを最小化するように選択される、請求項２５に記載の方法。
【請求項２７】
実行時に、１つまたは複数のコンピューティングデバイスに、
画像シーンの発光密度を当該画像シーンの複数の平面の各々における光エネルギーの加算された値として表す当該画像シーンのラドン画像データを受信することと、
ラドン画像の逆投影を使用して、前記ラドン画像の中間関数を計算することと、
前記ラドン画像の前記中間関数に少なくとも部分的に基づいて、前記画像シーンの前記発光密度を復元することと、
画像平面上に前記発光密度を投影し、前記画像シーンの動的に再合焦可能なレンダリング画像を生成することと
を備える動作を実行させる命令を記憶する、非一時的コンピュータ可読媒体。
【請求項２８】
前記動作は、前記ラドン画像の前記逆投影にラプラシアン演算子を適用し、前記中間関数を計算することをさらに備える、請求項２７に記載の非一時的コンピュータ可読媒体。
【請求項２９】
前記動作は、前記ラドン画像の前記逆投影のノイズ除去を行い、前記中間関数を計算することをさらに備える、請求項２８に記載の非一時的コンピュータ可読媒体。
【請求項３０】
前記動作は、ユーザ入力に応答して、前記動的に再合焦可能なレンダリング画像の焦点深度を調整することをさらに備える、請求項２７に記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
[0001]本明細書で開示するシステムおよび方法は、画像データを対象とし、より詳細には、プレノプティックデータのキャプチャおよびプレノプティックデータからのレンダリングを対象とする。
【背景技術】
【０００２】
[0002]フォトグラフィの分野は発展し続けており、撮影者により多くのオプションを与える。アナログフォトグラフィでは、現像されたフィルムは、露出、カラーバランス、焦点、および他の画像キャプチャファクタの最終結果を、それらが画像キャプチャのときに生じたように示した。最近まで、デジタルフォトグラフィは、アナログプロセスであったものをデジタル化することに関するものであった。デジタルフォトグラフィは、露出、カラーバランス、彩度などのようないくつかの品質に関して画像を向上させ、クリーンアップするために、処理アプリケーションが使用され得るので、画像がキャプチャされた後、アナログフォトグラフィよりも多くのオプションを撮影者に与える。しかしながら、キャプチャされたデジタル画像の焦点が外れている場合、または撮影者が異なる視点にシフトすることを望む場合、既存の処理アプリケーションはこれらのファクタを補正することができない。
【０００３】
[0003]プレノプティックフォトグラフィは、ターゲット画像シーンの、放射輝度とも呼ばれるライトフィールドをキャプチャすることによって、物体の直接観察によって与えられた多種多様なビューアングルおよび複数の焦点をレンダリングすることに近づく。プレノプティック画像をキャプチャするために、マイクロレンズアレイが画像センサーの前に取り付けられ、ターゲットシーンの多くの画像を効果的にキャプチャし、各画像は、わずかに異なる視点からターゲットシーンの一部分をキャプチャすることができる。したがって、シーンの合成最終画像の各ピクセルについて、様々な視点から複数の光線がキャプチャされる。これは、ターゲットシーンの潜在的最終画像中の各ピクセルポイントに関する４次元放射輝度データ、すなわち、光線の空間的位置の２次元と、ピクセルにおける光線の方向（orientation）の２次元とを含んでいる生センサーデータを与える。ソフトウェアを用いて、このデータは、放射輝度データによって表されるバンテージポイント（vantage point）または焦点のいずれかからの最終２Ｄまたは３Ｄ画像に合成され、デジタルフォトグラフィの能力を拡張し、撮影者が画像キャプチャの後にバンテージポイントまたは焦点を変更するためのより大きいフレキシビリティを与えることができる。
【０００４】
[0004]プレノプティックカメラ技術は、限定はしないが、フル３Ｄ画像化、再合焦可能性、および高ダイナミックレンジ（ＨＤＲ）画像化を含む、モバイルデバイスにおいて望ましいことがあるいくつかの画像化能力を与える。しかしながら、プレノプティックセンサーデータを処理することは、計算コストが高く、一般に、中央処理ユニット（ＣＰＵ）上での並列処理またはグラフィックス処理ユニット（ＧＰＵ）上での集中処理を必要とする。したがって、プレノプティックフォトグラフィは、従来のモバイルデバイスの比較的限られたＧＰＵメモリを鑑みて、モバイルフォトグラフィにおける実装のために法外に大量のデータ記憶および処理を必要とする。
【発明の概要】
【０００５】
[0005]本発明の態様は、（たとえば、プレノプティックカメラにおいて）近似的に変換されたキャプチャされたプレノプティック画像データを効率的に記録するための技法、および本明細書では「ラドンフォトグラフィ（Radon photography）」と呼ぶ、そのような変換されたキャプチャされたプレノプティックデータから画像をレンダリングするための技法に関する。たとえば、キャプチャされたプレノプティックデータの構造は、次元数が４次元から３次元に低減されるように、ラドン変換を使用することによって変更され、それにより、旧来のプレノプティック画像よりも小さいサイズを有する（本明細書では「ラドン画像（Radon image）」と呼ぶ）画像データを生成することができる。プレノプティックデータの放射輝度または発光密度を復元するために、逆ラドン変換または他のコンピュータ断層撮影技法を使用して、ラドン画像から最終画像がレンダリングされ得る。既存の方法と比較して、これは、約１桁だけデータの量を低減し、たとえばモバイルデバイス上で、既存のプレノプティックレンダリング技法よりもはるかに少ないＧＰＵメモリを使用して、レンダリングを実行することを可能にすることができる。
【０００６】
[0006]したがって、一態様は、最終画像をレンダリングするための電子デバイスにおけるシステムに関し、本システムは、マイクロレンズアレイと画像センサーとを含むプレノプティックカメラと、プレノプティックカメラが、画像シーンのプレノプティック画像データをキャプチャするように構成された、プレノプティックカメラとデータ通信しており、少なくとも、キャプチャされたプレノプティック画像データを受信することと、キャプチャされたプレノプティック画像データが、画像センサー上に画像シーンからの光を合焦させるマイクロレンズアレイ中の複数のマイクロレンズのうちの１つによってそれぞれ形成された複数のマイクロ画像を含む、マイクロレンズアレイを二分する平面内に位置する複数の積分ライン（line of integration）を決定することと、複数の積分ラインの各々が、画像シーンの３次元空間を通って延びる平面に対応する、複数の積分ラインに対応するプレノプティック画像データの複数のピクセルに少なくとも部分的に基づいて、ラドン画像を生成することとを行うように構成された１つまたは複数のプロセッサとを備える。
【０００７】
[0007]別の態様は、最終画像をレンダリングするための電子デバイスにおけるシステムに関し、本システムは、少なくとも、ラドン画像を表すデータにアクセスすることを行うように構成された第１のモジュールと、ラドン画像が、画像シーンの複数のサンプリングされた平面の各サンプリングされた平面について、サンプリングされた平面における光エネルギーの和を表す、少なくとも、ラドン画像の複数のサンプリングされた平面の各サンプリングされた平面からの光エネルギーの和を積分することに少なくとも部分的に基づいて、画像シーンの発光密度を決定することを行うように構成された第２のモジュールと、少なくとも、最終画像を生成するために、画像平面上に発光密度を投影することを行うように構成された第３のモジュールとを備える。
【０００８】
[0008]別の態様は、プレノプティック画像データを圧縮するための方法に関し、本方法は、マイクロレンズアレイと画像センサーとを有するプレノプティックカメラから、３次元画像空間のプレノプティック画像を表すデータの少なくとも一部分を受信することと、マイクロレンズ平面と交差する積分平面（plane of integration）を識別することと、マイクロレンズ平面が、マイクロレンズアレイを二分する、積分平面、およびマイクロレンズ平面から第１の距離に位置する画像平面と交差する画像ラインを決定することと、積分平面およびマイクロレンズ平面と交差するマイクロレンズラインを決定することと、マイクロレンズラインとマイクロレンズとの交差に少なくとも部分的に基づいて、マイクロ画像に画像ラインをマッピングすることと、マイクロ画像が、マイクロレンズアレイのマイクロレンズによって画像センサー上に形成される、マイクロ画像中の複数のピクセルの各々のピクセル値を加算することと、複数のピクセルが、マイクロ画像にマッピングされた画像ラインに沿って位置する、を備える。
【０００９】
[0009]別の態様は、実行されたとき、１つまたは複数のコンピューティングデバイスに、画像シーンのラドン画像データを受信することと、ラドン画像データが、画像シーンの複数の平面の各々における光エネルギーの加算された値として、画像シーンの発光密度を表す、ラドン画像の逆投影を使用して、ラドン画像の中間関数を計算することと、ラドン画像の中間関数に少なくとも部分的に基づいて、画像シーンの発光密度を復元することと、画像シーンの動的に再合焦可能なレンダリングされた画像を生成するために、画像平面上に発光密度を投影することとを備える動作を実行させる命令を記憶する、非一時的コンピュータ可読媒体に関する。
【００１０】
[0010]開示する態様を限定するためではなく、開示する態様を例示するために与えられる、添付の図面および付属書類とともに、開示する態様について以下で説明し、そこにおいて、同様の表示は同様の要素を示す。
【図面の簡単な説明】
【００１１】
【図１Ａ】[0011]従来のプレノプティックカメラの一実施形態を示す図。
【図１Ｂ】[0012]いくつかの実施形態による、例示的な合焦プレノプティックカメラ（focused plenoptic camera）（ケプラー式望遠鏡の場合）を示す図。
【図１Ｃ】[0013]いくつかの実施形態による、例示的な合焦プレノプティックカメラ（ガリレイ式望遠鏡の場合）を示す図。
【図１Ｄ】[0014]いくつかの実施形態による、微小球体に基づく例示的な薄型プレノプティックカメラを示す図。
【図２】[0015]ラドンフォトグラフィ能力を有する画像キャプチャデバイスの一実施形態の高レベル概略ブロック図。
【図３】[0016]ラドンフォトグラフィプロセスの一実施形態を示す図。
【図４Ａ】[0017]ラドン画像生成のためにプレノプティックカメラ平面を使用する技法の一実施形態を示す図。
【図４Ｂ】[0018]ラドン画像生成において使用され得るピクセルまたはマイクロ画像のセットの一実施形態を示す図。
【図４Ｃ】[0019]３Ｄラドン画像生成の方法において使用され得る積分ラインの密度の一実施形態を示す図。
【図５】[0020]入力ライトフィールドデータからラドン画像を生成するためのプロセスの一実施形態を示す図。
【図６】[0021]ラドン画像からプレノプティック画像データを生成するためのプロセスの一実施形態を示す図。
【発明を実施するための形態】
【００１２】
（序論）  
[0022]本開示の実施形態は、プレノプティック画像データをキャプチャし、効率を上げるためにプレノプティック画像データを処理し、処理されたプレノプティック画像データからレンダリングするためのシステムおよび技法に関する。本明細書で説明するラドンフォトグラフィ技法は、１次元光線内ではなく２次元平面内に含まれているエネルギーでターゲット画像シーンの放射輝度を定義するために、キャプチャされたプレノプティックデータの構造を変更することができ、これは、約１桁だけ画像データの量を効果的に低減することができる。たとえば、これは、いくつかの実装形態では、プレノプティック画像データにラドン変換を適用し、ラドン画像を生成することによって達成され得る。ラドン画像から画像シーンの放射輝度を復元するために逆ラドン変換を適用することによって、動的に再合焦可能な画像がラドン画像からレンダリングされ得る。一例では、ラドン画像は約１メガバイト（ＭＢ）のデータであり得、一般的なプレノプティック画像は約５０ＭＢのデータであり得る。これは、限られたＧＰＵ能力をもつモバイルデバイス、たとえば、スマートフォンおよびタブレットコンピュータ上でのプレノプティック画像化を可能にすることができる。
【００１３】
[0023]本明細書で説明するラドンフォトグラフィ技法は、キャプチャされたプレノプティックデータの量を低減するために、ラドン変換に関係する変換を使用して、キャプチャされたプレノプティックデータを記録することができる。プレノプティックカメラによってキャプチャされた情報は、ライトフィールド、プレノプティック関数、または放射輝度と呼ばれることがある。計算フォトグラフィでは、（放射輝度、発光密度、またはプレノプティック関数と呼ばれることもある）ライトフィールドは、ターゲット画像シーンの３次元空間中のすべての１次元光線の４次元記録である。放射輝度は、空間情報と角度情報の両方を表し、（ラジアンにおける）立体角の単位ごとの面積の単位ごとのエネルギーの密度として定義される。プレノプティックカメラは、（フラット（flat）画像またはフラットとも呼ばれる）プレノプティック画像中の放射輝度をキャプチャする。処理されるとき、プレノプティック画像はデジタル的に再合焦させられ得、ノイズが低減され得、視点が変更され得、他のプレノプティック効果が達成され得る。文献では、プレノプティックカメラはライトフィールドカメラと呼ばれることもあり、プレノプティック画像はライトフィールド画像と呼ばれることもあることに留意されたい。
【００１４】
[0024]ラドン変換を使用して、画像シーンの４次元放射輝度データは、仮想光源の密度のラドン画像である、３つの変数のみに依存する代替プレノプティック関数として表され得る。ラドンフォトグラフィ技法は、画像シーン中の３次元体のエネルギー密度を、複数の薄い仮想平面を用いてそれを切断し、各平面にわたって積分することによってキャプチャまたは表すことができる。各平面におけるエネルギーは、ラドン画像を構成するために測定され得る。したがって、得られたラドン画像は、画像平面とセンサー平面との間の各光線のエネルギーの値を表す旧来のプレノプティック画像データではなく、画像平面とセンサー平面との間の各平面にわたるエネルギーの加算された値を表すことができる。画像シーンの４次元放射輝度の３次元表現であるラドン画像は、したがって、以前のプレノプティック画像化方法と比較して、メモリに関してはるかにより経済的であり、したがって、レンダリングするのがより速い。
【００１５】
[0025]シーンの元の３次元発光密度は、たとえば、逆ラドン変換を実行することによって復元され得、異なるビューからの、および／または異なる焦点深度を有する画像が発光密度からレンダリングされ得る。一実装形態では、ラドンフォトグラフィ技法は、平面内に入る光線を効果的に積分することができ、逆投影を実行するために、ポイントを通過するすべての平面にわたってラドン変換を評価することができる。逆投影は、そのポイントにおける逆ラドン変換を導出するために行われる第１のステップであり得る。冗長情報につながることになる、ピクセルの同じセットをサンプリングすることを回避するために、隣接する積分ライン間の十分なステップサイズをもつアレイ中の各マイクロレンズをサンプリングするために、特定の積分ラインが選定され得る。逆投影、ガウシアンのラプラシアン演算子の適用、およびノイズ除去を通して、ラドンフォトグラフィ技法は、ラドン画像からシーン中の発光密度を決定することができる。画像平面上に発光密度を投影することは、最終画像を生成することができ、ここにおいて、最終画像は、キャプチャされた画像シーンの異なるビューまたは異なる焦点深度を有するように調整され得る。
【００１６】
（例示的なプレノプティックカメラの概要）  
[0026]図１Ａ〜図１Ｄに、ラドンフォトグラフィ技法に従ってラドン画像データをキャプチャするために使用され得る、プレノプティックカメラの様々な実施形態を示す。図１Ａ〜図１Ｄのプレノプティック画像化システムは、様々な画像化適用例、たとえば、静止フォトグラフィ、ビデオグラフィ、立体視フォトグラフィ、立体視ビデオグラフィ、マルチスペクトラルフォトグラフィ、およびマルチスペクトラルビデオグラフィにおいて実装され得る。ハンドヘルドカメラなどのデバイス、タブレットコンピュータ、モバイルフォン、ゲーミングコンソール、ラップトップ、パーソナルコンピュータ、ヘッドアップディスプレイシステムなどの拡張現実デバイス、防犯カメラなどが、図１Ａ〜図１Ｄのプレノプティック画像化システムを搭載することができる。
【００１７】
[0027]図１Ａは、従来のプレノプティックカメラ１００ａを示す。この図に示されている構成要素は、必ずしも互いに対して一定の縮尺であるとは限らない。従来のプレノプティックカメラは、メインレンズ１０５と、フォトセンサー１１５の前の距離ｆに配置されたマイクロレンズアレイ１１０とを含むことができる。いくつかの実装形態では、電荷結合デバイス（ＣＣＤ）がフォトセンサー１１５として使用され得る。他の実装形態では、ＣＭＯＳ画像化センサーが、フォトセンサー１１５として使用され得る。マイクロレンズ１１０は、口径ｄと焦点距離ｆとを有することができ、間隔ｄで等間隔に離間していると仮定される。メインレンズ１０５は、マイクロレンズアレイ１１０の中心によって形成された平面（「マイクロレンズ平面」）に合焦させられ得、マイクロレンズ１１０は、光学的に無限遠において（等価的に、メインレンズ１０５において）合焦させられ得る。
【００１８】
[0028]メインカメラレンズ１０５の焦点距離が、マイクロレンズ１１０の焦点距離よりもはるかに大きいことを考慮すれば、各「マイクロカメラ」は、メインカメラレンズ口径において合焦させられ、撮影されている物体上に合焦させられないことがある。各マイクロレンズ画像は、したがって、その物体に対して完全に焦点がぼけており、放射輝度の角度分布のみを表すことがある。したがって、これらのマイクロ画像は、ぼやけて見え、人間が認識可能な画像を表さないことがある。各マイクロレンズ画像がそれの位置に応じて所与のロケーションをサンプリングし、他のマイクロレンズ画像と同じ角度範囲にわたることがあるので、従来のプレノプティックカメラ放射輝度画像から出力画像をレンダリングすることは、各マイクロレンズ下のピクセルのすべてを積分することによって達成され得る。各マイクロレンズ下のピクセルの固定部分を積分することは、１つのあるビューの画像を生成することができる。いくつかの実施形態では、各マイクロレンズは最終生成画像中の単一のピクセルに寄与する。
【００１９】
[0029]図１Ｂおよび図１Ｃは、いくつかの実施形態による、それぞれ、例示的な合焦プレノプティックカメラ１００ｂおよび１００ｃを示す。図１Ｂおよび図１Ｃに示されている構成要素は、必ずしも互いに対して一定の縮尺であるとは限らず、構成要素間の距離も必ずしも一定の縮尺であるとは限らず、構成要素のサイズも必ずしも一定の縮尺であるとは限らない。合焦プレノプティックカメラ１００ｂ、１００ｃは、少なくとも、メインレンズ１０５と、マイクロレンズアレイ１１０と、フォトセンサー１１５とを含み得る。図１Ａの従来のプレノプティックカメラシステム１００ａとは対照的に、合焦プレノプティックカメラ１００ｂ、１００ｃのマイクロレンズアレイ１１０は、無限遠において合焦させられる代わりに、メインカメラレンズの画像平面１２０上に合焦させられ得る。合焦プレノプティックカメラ１００ｂ、１００ｃでは、各マイクロレンズは、フォトセンサー１１５上にメインレンズ画像を再画像化することができる。マイクロレンズ１１０は、リレーシステムとして、メインレンズ画像の真画像のアレイを形成し、それにより、各々は、フォトセンサー１１５上にマイクロ画像を形成することができる。
【００２０】
[0030]（フォトセンサー１１５上へのマイクロレンズ１１０の投影によって形成された）マイクロカメラのアレイは、それらの前の「物体」を観測する。この「物体」は、図１Ｂおよび図１Ｃ中で影付き卵形として表されている、メインカメラレンズ１０５の後ろに形成されたシーンの空中３Ｄ画像である。したがって、図１Ｂおよび図１Ｃ中の卵形影付き領域１２５は、メインカメラレンズによってカメラの内側に形成された３次元（３Ｄ）画像を表す。図示のように、この３Ｄ画像１２５はマイクロレンズ１１０の後ろに延び得る。
【００２１】
[0031]図１Ｂはケプラー式望遠鏡システム１００ｂの一例を示し、ここにおいて、画像化されている画像平面１２０はマイクロレンズ１１０の前にある。メインレンズ１０５がマイクロレンズ１１０の後ろに画像を形成する場合、マイクロレンズ１１０が、図１Ｃの例示的なガリレイ式望遠鏡カメラ１００ｃなどにおけるフォトセンサー１１５上に現実画像を形成するように、その虚像上にマイクロレンズ１１０を合焦させることが依然として可能である。ケプラー式望遠鏡カメラ１００ｂとガリレイ式望遠鏡カメラ１００ｃの両方では、マイクロレンズ画像化は以下のレンズ方程式によって表され得る。
【数１】
2017520944.tif 000003
それぞれ、正のａ（ケプラー式望遠鏡システム１００ｂ）または負のａ（ガリレイ式望遠鏡システム１００ｃ）である。フォトセンサー上に再マッピングされるとき、メインレンズの画像はサイズが低減され得る。この低減は次のように示され得る。
【数２】
2017520944.tif 000004
【００２２】
[0032]このスケーリングの結果として、プレノプティックカメラによってキャプチャされた放射輝度の空間解像度は、マイクロレンズ画像の解像度および、レンダリングにおける重複の量の関数になり、マイクロレンズの数の関数にはならない。解像度とマイクロレンズの数とのこの分離は、合焦プレノプティックカメラ１００ｂ、１００ｃを従来のプレノプティックカメラ１００ａと区別する。
【００２３】
[0033]従来のプレノプティックカメラ１００ａと、合焦プレノプティックカメラ１００ｂ、１００ｃとの間の別の違いは、各マイクロレンズによってキャプチャされる情報の性質にある。従来のプレノプティックカメラ１００ａでは、各マイクロレンズは、シーン中の１つの位置を画像化し、そこの角度情報のすべてをキャプチャする。合焦プレノプティックカメラ１００ｂ、１００ｃでは、異なるマイクロレンズが同じ位置をキャプチャし、角度情報はマイクロレンズにわたって拡散させられる。したがって、合焦プレノプティックカメラ１００ｂ、１００ｃを用いてキャプチャされたフラットをレンダリングするために、レンダリングアルゴリズムは、単一のマイクロレンズ画像内ではなく、マイクロレンズ画像にわたって積分することができる。すなわち、タスクが、焦点が合っている「画像を画像化すること」であると仮定すると、レンダリングアルゴリズムは、画像中の同じ位置に対応するマイクロレンズにおけるポイントを、固定ピッチでそれらを重ね合わせることによって積分する。
【００２４】
[0034]図１Ｄは、いくつかの実施形態による、微小球体に基づく例示的な薄型プレノプティックカメラシステム１００ｄを示す。この例示的な薄型プレノプティックカメラ１００ｄは、図１Ｃに示された合焦プレノプティックカメラ１００ｃと同様であり得るが、マイクロレンズアレイは、微小球体１３０によって置き換えられている。微小球体１３０は、いくつかの技法のいずれかによって、フォトセンサー１１５の表面に取り付けられるかまたは固定され得、たとえば、透明接着材料の薄い層（たとえば、数ナノメートルの厚さ）が、フォトセンサー１１５のピクセル表面上に堆積され得るか、溶融ガラスまたは同様の物質のレイヤが、フォトセンサー１１５のピクセル表面上に堆積され得るか、あるいは微小球体１３０は、微小球体１３０を被覆しながら表面上が非常に平坦である物質中に埋め込まれ得る。適宜に選択および構成された構成要素では、図１Ｄに示されている薄型プレノプティックカメラは、約５ｍｍ（ミリメートル）の薄さか、またはより一層薄く、したがって、薄型モバイルデバイスにおいて使用するのに好適であり得る。
【００２５】
[0035]図１Ａ〜図１Ｄは、本明細書で説明するラドンフォトグラフィ技法を行うことができる、例示的なプレノプティックカメラシステム１１０ａ〜１１０ｄを示すものである。しかしながら、キャプチャされた画像データの量を低減するために、画像シーンの放射輝度をキャプチャすることが可能な任意のプレノプティックまたはライトフィールドカメラがラドンフォトグラフィ技法を実装することができることが諒解されよう。いくつかの実施形態では、カメラは、４Ｄ放射輝度データをキャプチャし、４Ｄ放射輝度データから３Ｄラドン画像を生成する代わりに、３Ｄラドン画像を直接キャプチャすることができる。
【００２６】
（例示的なシステムの概要）  
[0036]図２に、ラドンフォトグラフィ能力を有する画像キャプチャデバイス２００の一実施形態の高レベル概略ブロック図を示し、デバイス２００は、カメラアセンブリ２０１にリンクされた画像プロセッサ２２０を含む構成要素のセットを有する。画像プロセッサ２２０はまた、ワーキングメモリ２６５、メモリ２３０、およびデバイスプロセッサ２５５と通信しており、デバイスプロセッサ２５５は、ストレージ２７０およびオプションの電子ディスプレイ２６０と通信している。
【００２７】
[0037]デバイス２００は、セルフォン、デジタルカメラ、タブレットコンピュータ、携帯情報端末などであり得る。本明細書で説明するような低減された量のプレノプティック画像データからレンダリングすることが利点を与えるであろう、多くのポータブルコンピューティングデバイスがある。デバイス２００はまた、固定コンピューティングデバイス、またはラドンフォトグラフィ技法が有益であろう任意のデバイスであり得る。複数のアプリケーションが、ユーザにとってデバイス２００上で利用可能であり得る。これらのアプリケーションは、旧来の写真およびビデオアプリケーション、高ダイナミックレンジ画像化、パノラマ写真およびビデオ、マルチスペクトラル写真およびビデオ、３Ｄ画像または３Ｄビデオなどの立体視画像化、ならびにプレノプティック写真およびビデオを含み得る。
【００２８】
[0038]画像キャプチャデバイス２００は、外部画像をキャプチャするためのプレノプティックカメラアセンブリ２０１を含む。カメラ２０１は、いくつかの実施形態では、図１Ａ〜図１Ｄに関して上記で説明したプレノプティックカメラ構成１００ａ〜１００ｄのいずれかであり得る。メインレンズ２０５、マイクロレンズＡ２１０ａ〜マイクロレンズＮ２１０ｎ、および単一の画像センサー２１５を用いて示されているが、例示的な図示以外のカメラ２０１の実施形態は、メインレンズ２０５、マイクロレンズアレイ２１０ａ〜２１０ｎ、およびターゲット画像シーンの放射輝度データをキャプチャすることが可能なセンサー２１５の一部または全部の任意の組合せを有することができる。概して、Ｎ個のマイクロレンズが使用され得、ここで、Ｎ≧２である。プレノプティックカメラアセンブリ２０１のいくつかの実施形態は、追加の構成要素、たとえば、立体視またはマルチスペクトラルプレノプティック画像データのキャプチャのための、追加のレンズアセンブリと、対応する追加の画像センサーとを有することができる。いくつかの実施形態では、デバイス２００は、追加のカメラアセンブリ、たとえば、プレノプティックカメラアセンブリ２０１に加えて旧来の（非プレノプティック）カメラアセンブリを含むことができる。プレノプティックカメラアセンブリ２０１は、キャプチャされた画像を画像プロセッサ２２０に送信するために、画像プロセッサ２２０に結合され得る。
【００２９】
[0039]画像プロセッサ２２０は、ラドンフォトグラフィ技法を実行するために、Ｎ個のマイクロレンズに対応するＮ個のマイクロ画像を備える受信された画像データに対して様々な処理演算を実行するように構成され得る。プロセッサ２２０は、汎用処理ユニット、または画像化アプリケーションのために特別に設計されたプロセッサであり得る。画像処理動作の例としては、クロッピング、（たとえば、異なる解像度への）スケーリング、画像スティッチング、画像フォーマット変換、カラー補間、カラー処理、画像フィルタ処理（たとえば、空間画像フィルタ処理）、レンズアーティファクト、または欠陥補正などがある。プロセッサ２２０は、いくつかの実施形態では、複数のプロセッサを備え得る。プロセッサ２２０は、１つまたは複数の専用画像信号プロセッサ（ＩＳＰ）またはプロセッサのソフトウェア実装形態であり得る。
【００３０】
[0040]図示のように、画像プロセッサ２２０はメモリ２３０とワーキングメモリ２６５とに接続される。図示の実施形態では、メモリ２３０は、キャプチャ制御モジュール２３５と、ラドンフォトグラフィモジュール２４０と、オペレーティングシステム２５０とを記憶する。ラドンフォトグラフィモジュール２４０は、サブモジュール、すなわち、ラドン画像生成器２４２と、発光密度計算器２４４と、フラットレンダリングモジュール２４６とを含む。メモリ２３０のモジュールは、様々な画像処理およびデバイス管理タスクを実行するようにデバイスプロセッサ２５５の画像プロセッサ２２０を構成する命令を含む。ワーキングメモリ２６５は、メモリ２３０のモジュールに含まれているプロセッサ命令のワーキングセットを記憶するために、画像プロセッサ２２０によって使用され得る。代替的に、ワーキングメモリ２５５はまた、デバイス２００の動作中に作成された動的データを記憶するために、画像プロセッサ２２０によって使用され得る。
【００３１】
[0041]上述のように、画像プロセッサ２２０は、メモリに記憶されたいくつかのモジュールによって構成される。キャプチャ制御モジュール２３５は、プレノプティックカメラアセンブリ２０１の焦点位置を調整するように画像プロセッサ２２０を構成する命令を含み得る。キャプチャ制御モジュール２３５は、デバイス２００の全体的な画像キャプチャ機能を制御する命令をさらに含み得る。たとえば、キャプチャ制御モジュール２３５は、プレノプティックカメラアセンブリ２０１を使用してターゲット画像シーンの生プレノプティック画像データをキャプチャするように画像プロセッサ２２０を構成するためのサブルーチンを呼び出す命令を含み得る。一実施形態では、キャプチャ制御モジュール２３５は、次いで、キャプチャされたプレノプティック画像データのサイズを低減し、低減されたサイズの画像データを画像化プロセッサ２２０に出力するためにラドンフォトグラフィモジュール２４０を呼び出し得る。別の実施形態では、キャプチャ制御モジュール２３５は、次いで、画像化プロセッサ２２０にフラットで再合焦可能な画像を出力するために、生プレノプティックデータに対してレンダリング演算を実行するためにラドンフォトグラフィモジュール２４０を呼び出し得る。キャプチャ制御モジュール２３５はまた、生画像データ中のシーンが変化したとき、またはユーザがプレビュー画像の焦点を変更したとき、キャプチャされるべきシーンのプレビュー画像を出力し、一定の時間間隔でプレビュー画像を更新するために、生プレノプティック画像データに対してレンダリング演算を実行するためにラドンフォトグラフィモジュール２４０を呼び出し得る。
【００３２】
[0042]ラドンフォトグラフィモジュール２４０は、プレノプティックデータ処理および画像レンダリング演算の異なる部分を実行するためにサブモジュール  ラドン画像生成器２４２、発光密度計算器２４４、およびフラットレンダリングモジュール２４６を呼び出すことができる。ラドン画像生成器２４２は、ラドン画像を生成するように画像プロセッサ２２０を構成する命令を含むことができ、ラドン画像は、生プレノプティック画像データと比較して、比較的少量のデータである。たとえば、ラドン画像生成器２４２は、プレノプティック画像データにラドン変換を適用するように画像プロセッサ２２０を構成する命令を含むことができる。ラドン画像生成器２４２のいくつかの実施形態は、記憶されたプレノプティック画像データに対して動作することができ、ラドン画像生成器２４２の他の実施形態は、プレノプティック画像データの構造を、記憶より前にそれがキャプチャされるように変更することができる。たとえば、以下でより詳細に説明するように、フォトセンサーのピクセルまたはマイクロ画像は、積分平面との交線に対応する行またはライン単位で走査され得、それらのピクセルまたはマイクロ画像に入射した光線の値が積分され得る。いくつかの実施形態では、ラドンフォトグラフィモジュール２４０は、ストレージモジュール２７０に記憶するために、ラドン画像を画像プロセッサ２２０に送信することができる。いくつかの実施形態では、ラドンフォトグラフィモジュール２４０は、発光密度計算器２４４にラドン画像を送信することができる。
【００３３】
[0043]発光密度計算器２４４は、ラドン画像からプレノプティック画像データを生成するために、ラドン画像に対して処理演算を実行するようにプロセッサ２２０を構成する命令を含むことができる。たとえば、発光密度計算器２４４は、プレノプティックカメラアセンブリ２０１によってキャプチャされた元の発光密度を復元するか、または元の発光密度の近似値を復元するために、ラドン画像に逆ラドン変換を適用するようにプロセッサ２２０を構成する命令を含むことができる。
【００３４】
[0044]フラットレンダリングモジュール２４６は、発光密度計算器２４４の出力に対してレンダリング演算を実行するように画像プロセッサ２２０を構成する命令を含むことができる。たとえば、フラットレンダリングモジュール２４６は、画像平面上に発光密度を投影することによって（プレノプティックフォトグラフィでは「フラット」と呼ばれることがある）画像を出力するように画像プロセッサ２２０を構成する命令を含むことができ、これは、異なる視点または異なる焦点深度においてフラットを生成することができる。プロセッサ２２０は、画像を記憶するか、またはユーザに対する表示のために画像を出力することができ、ここにおいて、ユーザは、プレノプティック画像データによってキャプチャされた様々な焦点深度を通して画像を動的に再合焦させることができ、プレノプティック画像データによってキャプチャされた様々な視点を通して画像の視点を動的に調整することができる。ユーザが、画像の焦点および／または視点を調整するためのコマンドを入力するので、フラットレンダリングモジュール２４６は、画像プロセッサ２２０に、ユーザコマンドに応答し、更新された画像をレンダリングすることを行わせる命令を含むことができる。いくつかの実施形態では、フラットレンダリングモジュール２４６は、３次元または立体視画像を出力し、ユーザ入力に基づいて画像を更新するように画像プロセッサ２２０を構成する命令を含むことができる。
【００３５】
[0045]オペレーティングシステムモジュール２５０は、ワーキングメモリ２６５およびデバイス２００の処理リソースを管理するように画像プロセッサ２２０を構成する。たとえば、オペレーティングシステムモジュール２５０は、カメラアセンブリ２０１など、ハードウェアリソースを管理するためのデバイスドライバを含み得る。したがって、いくつかの実施形態では、上記で説明した画像処理モジュールに含まれている命令は、これらのハードウェアリソースと直接対話しないが、代わりに、オペレーティングシステム構成要素２５０中にある標準サブルーチンまたはＡＰＩを通して対話し得る。オペレーティングシステム２５０内の命令は、次いで、これらのハードウェア構成要素と直接対話し得る。オペレーティングシステムモジュール２５０は、デバイスプロセッサ２５５と情報を共有するように画像プロセッサ２２０をさらに構成し得る。
【００３６】
[0046]デバイスプロセッサ２５５は、キャプチャされた画像、またはキャプチャされた画像のプレビューをユーザに対して表示するようにディスプレイ２６０を制御するように構成され得る。ディスプレイ２６０は、画像化デバイス２００の外部にあり得るか、または画像化デバイス２００の一部であり得る。ディスプレイ２６０はまた、画像をキャプチャすることより前の使用のためのプレビュー画像を表示するビューファインダーを提供するように構成され得るか、あるいは、メモリに記憶されたか、またはユーザによって最近キャプチャされた、キャプチャされた画像を表示するように構成され得る。ディスプレイ２６０は、ＬＣＤまたはＬＥＤスクリーンを備え得、タッチセンシティブ技術を実装し得る。
【００３７】
[0047]デバイスプロセッサ２５５は、記憶モジュール２７０にデータ、たとえば、キャプチャされた画像を表すデータを書き込み得る。記憶モジュール２７０は従来のディスクデバイスとして図式的に表されているが、記憶モジュール２７０は任意の記憶メディアデバイスとして構成され得ることを当業者は理解されよう。たとえば、記憶モジュール２７０は、フロッピー（登録商標）ディスクドライブ、ハードディスクドライブ、光ディスクドライブまたは光磁気ディスクドライブなどのディスクドライブ、あるいはフラッシュメモリ、ＲＡＭ、ＲＯＭ、および／またはＥＥＰＲＯＭ（登録商標）などの固体メモリを含み得る。記憶モジュール２７０はまた、複数のメモリユニットを含むことができ、メモリユニットのいずれか１つが、画像キャプチャデバイス２００内にあるように構成され得るか、または画像キャプチャデバイス２００の外部にあり得る。たとえば、記憶モジュール２７０は、画像キャプチャデバイス２００内に記憶されたシステムプログラム命令を含んでいるＲＯＭメモリを含み得る。記憶モジュール２７０はまた、カメラから取外し可能であり得る、キャプチャされた画像を記憶するように構成されたメモリカードまたは高速メモリを含み得る。記憶モジュール２７０はまた、デバイス２００の外部にあることがあり、一例では、デバイス２００は、たとえば、ネットワーク接続上で記憶モジュール２７０にデータをワイヤレス送信し得る。
【００３８】
[0048]図２は、プロセッサと画像化センサーとメモリとを含むように別個の構成要素を有するデバイスを示しているが、これらの別個の構成要素は、特定の設計目標を達成するために様々な方法で組み合わせられ得ることを当業者は認識されよう。たとえば、代替実施形態では、メモリ構成要素は、たとえば、コストを節約し、および／または性能を改善するために、プロセッサ構成要素と組み合わせられ得る。
【００３９】
[0049]さらに、図２は、いくつかのモジュールを備えるメモリ構成要素２３０と、ワーキングメモリを備える別個のメモリ２６５とを含む２つのメモリ構成要素を示しているが、異なるメモリアーキテクチャを利用するいくつかの実施形態を当業者は認識されよう。たとえば、設計は、メモリ２３０に含まれているモジュールを実装するプロセッサ命令の記憶のために、ＲＯＭまたは静的ＲＡＭメモリを利用し得る。プロセッサ命令は、画像プロセッサ２２０による実行を可能にするために、ＲＡＭにロードされ得る。たとえば、ワーキングメモリ２６５はＲＡＭメモリを備え、命令はプロセッサ２２０による実行の前にワーキングメモリ２６５にロードされ得る。
【００４０】
（例示的なラドンフォトグラフィプロセスの概要）  
[0050]図３に、ラドンフォトグラフィプロセス３００の一実施形態を示す。プロセス３００は、図２に関して上記で説明した、ラドンフォトグラフィモジュール２４０およびそれのサブコンポーネントによって実行されるものとして説明される。しかしながら、これは、説明のためであり、ラドンフォトグラフィ能力を有する任意のデバイスまたはシステムによって実行され得るプロセス３００を制限するものではない。
【００４１】
[0051]ブロック３０５において、ラドンフォトグラフィモジュール２４０は、たとえば、図１Ａ〜図１Ｄによって表されたプレノプティックカメラ１００ａ〜１００ｄ、あるいはプレノプティックまたはライトフィールド画像データをキャプチャすることが可能な他のカメラのいずれかであり得るプレノプティックカメラアセンブリ２０１から、プレノプティック画像データを受信することができる。ラドンフォトグラフィモジュール２４０は、いくつかの実施形態では、画像キャプチャの後にプレノプティック画像データの完全セットを受信し得る。他の実施形態では、ラドンフォトグラフィモジュール２４０は、画像キャプチャ中にプレノプティック画像データを受信し得る。たとえば、ラドンフォトグラフィモジュール２４０は、一例では、所定の積分平面に対応する部分中のプレノプティック画像データを受信し得る。
【００４２】
[0052]ブロック３１０において、ラドンフォトグラフィモジュール２４０のラドン画像生成器２４２は、入力プレノプティック画像データからラドン画像を生成することができる。たとえば、ラドン画像生成器２４２は、１つまたは複数の積分平面における光線の値の積分を計算するために、ラドン変換を適用することができる。
【００４３】
[0053]発光密度ｆ（ｘ，ｙ，ｚ）を仮定すれば、ラドン画像
【数３】
2017520944.tif 000005
は、一実施形態では、すべての可能な平面にわたって関数値を積分することによって計算され得る。別の実施形態では、ラドン画像
【数４】
2017520944.tif 000006
を計算するために、すべての可能な平面のサブセットが識別され得る。（１つまたは複数の）積分平面は、プレノプティックカメラのセンサー平面に垂直で、それと交差する平面であり得、（１つまたは複数の）積分平面の位置およびロケーションは、センサーの各別個のピクセル（またはマイクロレンズアレイによってセンサー上に形成された各別個のマイクロ画像）が、少なくとも１つの積分平面によってサンプリングされるように、センサーの構成に基づいて決定され得る。
【００４４】
[0054]３次元におけるラドン変換は、次のように表され得る。
【数５】
2017520944.tif 000007
【００４５】
[0055]パラメータφ、θ、γによって与えられる平面のパラメータ化は、いくつかの実施形態では、ラドン画像から画像をレンダリングするために使用される逆ラドン変換を計算することにとって有益であり得る。したがって、極座標において定義された平面のためのラドン変換は、下記の式（４）のように表され得る。
【数６】
2017520944.tif 000008
【００４６】
[0056]ラドンフォトグラフィ技法の一例は、ブロック３１５に関してより詳細に説明するように、平面内に入るすべての光線を効果的に積分し、次いで、逆ラドン変換を適用することができる（すなわち、式（３）または（４）の逆。
【００４７】
[0057]ブロック３１５において、ラドンフォトグラフィモジュール２４０の発光密度計算器２４４は、ポイントを通過するラドン画像の平面のすべてにわたって加算することができる。これは、ラドン画像の逆投影を計算することができる。たとえば、発光密度計算器２４４は、式（５）において以下で説明するようにラドン画像に逆ラドン変換を適用することができる。発光密度計算器２４４は、入力ラドン画像
【数７】
2017520944.tif 000009
を取り、発光密度ｆ（ｘ，ｙ，ｚ）を再生することができる。逆フーリエ変換およびフーリエスライス定理を適用することによって、逆ラドン変換を決定するための式は、次のようになり得る。
【数８】
2017520944.tif 000010
ここで、γは次によって与えられる。
【数９】
2017520944.tif 000011
特に、式（５）は、ポアソン方程式と同じ形を有する。したがって、ラドン画像の逆投影は次のように表され得る。
【数１０】
2017520944.tif 000012
ここで、γは式（６）によって与えられ、ｆ1は逆投影されたラドン画像を表す。いくつかの実施形態では、ｆ1は、実関数の粗いバージョンのように見えることがある。
【００４８】
[0058]ブロック３２０において、発光密度計算器２４４は、画像シーンの元の発光密度、またはそれの近似値を復元するために、逆投影ｆ1にガウシアンの３次元ラプラシアンを適用することができる。いくつかの実施形態では、これは、元の関数ｆ（ｘ，ｙ，ｚ）のノイズの多いバージョンを生成することができ、それは、ノイズ除去の後に仮想光源の密度を与えることができる。したがって、いくつかの実施形態では、発光密度計算器２４４は、ガウシアンの３次元ラプラシアンを適用した後、逆投影ｆ1に対してノイズ除去を実行することができる。
【００４９】
[0059]ブロック３２５において、ラドンフォトグラフィモジュール２４０は、たとえば、一実施形態では、動的焦点およびバンテージポイントをもつ画像をレンダリングするために、プレノプティックデータの発光密度を出力することができる。画像平面上に発光密度を投影することは、異なる焦点深度または異なるバンテージポイントにおけるターゲット画像シーンの画像を生成することができる。一実施形態では、フラットレンダリングモジュール２４６は、発光密度からの画像のレンダリングを実行することができる。別の実施形態では、ラドンフォトグラフィモジュール２４０は、記憶のために発光密度を出力することができる。
【００５０】
[0060]ブロック３３０において、フラットレンダリングモジュール２４６は、画像シーンの動的に再合焦可能なレンダリングされた画像を生成するために、画像平面上に発光密度を投影することができる。発光密度に基づいて、同じ画像シーンの、異なる視点からの画像および／または異なる焦点深度を有する画像がレンダリングされ得るという事実により、レンダリングされた画像は、「動的に再合焦可能である」と呼ばれる。
【００５１】
[0061]オプションのブロック３３５において、フラットレンダリングモジュール２４６は、ユーザ入力に基づいて、レンダリングされた画像の焦点および／またはバンテージポイントを調整することができる。たとえば、フラットレンダリングモジュール２４６は、レンダリングされた画像がそれから取られたように見えるバンテージポイント、またはレンダリングされた画像の焦点深度の一方または両方を調整するためのオプションをユーザが選択したことを示すユーザ入力の指示を、デバイスプロセッサ２５５から受信することができる。
【００５２】
（例示的なラドン画像生成プロセスの概要）  
[0062]図４Ａに、ラドン画像生成において使用され得るプレノプティックカメラ平面４００の一実施形態を示す。平面４００は、画像平面４０５と、マイクロレンズ平面４３０と、積分平面４１５と、センサー平面４３５とを含むことができる。画像平面４０５は、画像平面によって形成された平面、たとえば、プレノプティックカメラのメインレンズの焦点のポイントを通過する平面を表すことができる。マイクロレンズ平面４３０は、プレノプティックカメラのマイクロレンズアレイを通して形成された平面、たとえば、マイクロアレイのレンズの各々を二分する平面を表すことができる。積分平面４１５は、画像平面４０５とマイクロレンズ平面４３０の両方と交差する平面を表すことができる。積分平面４１５は、他の平面に対してあるロケーションに示されているが、いくつかの実施形態では、積分平面４１５のロケーションは、フォトセンサーのパラメータに基づいて変動することがあり、さらに、以下でより詳細に説明するように、ラドン画像を生成するために、複数の積分平面が使用され得る。センサー平面４３５は、プレノプティックカメラのフォトセンサーの表面によって形成された平面を表すことができ、マイクロレンズアレイ内のマイクロレンズによって形成されたマイクロ画像に対応する複数の領域４４０を含むことができる。
【００５３】
[0063]関係する物体の正しいパラメータ化は、ラドン画像の効率的な計算を助けることができる。一実施形態では、最初の２つのパラメータ（第１の座標）が画像平面４０５上の考慮中の光線４２０の開始ポイントのロケーションを示し、最後の２つのパラメータ（第２の座標）がマイクロレンズ平面４３０上の光線４２０の終了ポイントのロケーションを示す２平面パラメータ化が、ライトフィールドを表すために使用され得、ここで、画像平面４０５およびマイクロレンズ平面４３０は、距離Ａだけ分離され得る。
【００５４】
[0064]積分平面４１５に存在する光線４２０にわたって積分を計算するために、ラドンフォトグラフィ技法は、マイクロレンズライン４２５に沿って存在するマイクロレンズの対応するマイクロ画像４４０中で画像ライン４１０がその上にマッピングされるピクセルを決定することができる。一実施形態では、各マイクロレンズは１つのマイクロ画像に対応することができ、各マイクロ画像は画像センサーの１つのピクセルに対応することができる。別の実施形態では、各マイクロ画像は画像センサーの複数のピクセルに対応することができる。画像ライン４１０は、画像平面４０５と積分平面４１５との交線を通過するベクトルを表すことができる。マイクロレンズライン４２５は、積分平面４１５とマイクロレンズ平面４３０との交線を通過するベクトルを表すことができる。
【００５５】
[0065]マイクロレンズライン４２５に沿って存在するピクセル／マイクロ画像の位置を特定するために、ラドンフォトグラフィ技法は、上記の式（１）を使用して、マイクロレンズの焦点距離を計算し、マイクロレンズの倍率を計算することができる。これは、いくつかの実施形態では、マイクロレンズラインと交差するアレイ中の各マイクロレンズについて計算され、積分平面に存在する光線４２０に対応するピクセルの位置をラドンフォトグラフィ技法が特定することを可能にすることができる。
【００５６】
[0066]光線が、メインレンズを通してカメラに入った後、平面Ｐ１  ４０５において現実画像を形成する、プレノプティックカメラのための単純なモデルの一例が図４Ａに示されている。この画像は、センサー平面４３５上に、平面Ｐ２  ４３０に位置するマイクロレンズの各々によって再画像化される。ラドンフォトグラフィ技法は、任意の平面Ｐ４１５に存在するすべての光線４２０にわたって和を決定することができる。
【００５７】
[0067]平面Ｐ４１５に存在する光線の積分を計算するために、光線がマイクロレンズの各々によってマッピングされるセンサー平面４３５上の対応するピクセルを決定する必要がある。この目的で、ラドンフォトグラフィ技法は、（ｘ0，ｙ0）に配置された任意のマイクロレンズによって生成されたラインｌ1４１０の画像を決定することができる。ラインｌ1の式は次によって与えられ得る。
【数１１】
2017520944.tif 000013
【００５８】
[0068]同様に、ラインｌ2の式は次によって与えられ得る。
【数１２】
2017520944.tif 000014
【００５９】
[0069]（ｘ0，ｙ0）に配置されたマイクロレンズによるポイント（ｘ，ｙ）の画像は、次によって与えられ得る。
【数１３】
2017520944.tif 000015
ここで、Ｍはマイクロレンズの倍率である。上式からのｘおよびｙの値を、ｙ＝ｍｘ＋ｄの形で書かれたラインｌ1４１０の式に代入すると、次が得られる。
【数１４】
2017520944.tif 000016
【００６０】
[0070]式（１１）の場合、原点は、マイクロレンズ平面４３０の光軸とセンサー平面４３０との交点に固定され、Ｍはマイクロレンズ倍率であり、ｍはマイクロレンズライン４２５の傾斜に等しく、次の通りであることに留意されたい。
【数１５】
2017520944.tif 000017
【数１６】
2017520944.tif 000018
ラドン画像
【数１７】
2017520944.tif 000019
は、平面Ｐ４１５によって交差された各マイクロレンズについて、式（１１）によって表されるライン上に存在するすべてのピクセルにわたる加算によって取得され得る。これらのピクセルは、交線４４５によって図４Ａ中で表されている。
【００６１】
[0071]図４Ｂに、ラドン画像生成において使用され得るピクセルまたはマイクロ画像４４０のセットの一実施形態を示す。図４Ｂは、交線４４５が上記の式（８）〜（１１）に従って決定されると、マイクロ画像またはピクセル４４０のセットが、プレノプティックカメラフォトセンサーの複数のマイクロ画像またはピクセル４４０からどのように選択され得るかの一例を示す。図示の例では、（橙色を使用して図示されている）ライン４４５が通過する各マイクロ画像／ピクセル４４０は、影付きマイクロ画像４５０によって表されるように、対応する積分平面４１５のラドン変換を計算するために選択され得る。ラドン変換は、選択されたマイクロ画像４５０のピクセル値を使用して計算され得る。図４Ｂは、ピクセル強度値を合計することによって行われ得る、所与のマイクロ画像中のピクセル４５０にわたって積分することの一例を示す。ラドン画像
【数１８】
2017520944.tif 000020
を計算するために、図３のブロック３１５に関して上記で説明したように、複数の積分平面が使用される。
【００６２】
[0072]図４Ｃに、ラドン画像生成において使用され得る積分ライン４６０の一実施形態を示す。積分ライン４６０は、複数の交線、すなわち、センサー平面４３５上への画像ライン／マイクロレンズラインのマッピングに対応し、したがって、ラドン画像
【数１９】
2017520944.tif 000021
を生成するために使用される複数の積分平面のエッジを表すことができる。
【００６３】
[0073]図４Ｃに示されているように、複数の積分ライン４６０は、φ４５５がそれだけ変化させられるステップが十分に高いとき、プレノプティックカメラのマイクロレンズに対応する別個のマイクロ画像４４０をサンプリングする。各マイクロ画像４４０が少なくとも１つの積分ライン４６０によってサンプリングされることを保証するための１つの方法は、センサー平面４３５上の開始ポイント（ここでは、センサー平面４３５のコーナー角として図示されている）から、センサー平面４３５の少なくとも１つの境界に沿った各マイクロ画像４４０へのライン（ここでは、各マイクロ画像４４０の外縁のほぼ中心において終了するように図示されており、外縁はセンサー平面４３５の境界である）を生成することである。隣接するラインの各ペアによって形成された角度が測定され得、最も小さい角度がステップサイズφ４５５として選択され得る。これは、φのためのステップサイズを決定することの一例を表す。
【００６４】
[0074]上記の式中のパラメータφ、θ、およびγのための開始値および終了値ならびにステップサイズについての選定は、ライトフィールド空間のサンプリングを決定することができる。パラメータφは、プレノプティックセンサーにわたる積分ライン間のステップサイズを表すことができる。φのためのステップサイズを決定するための一実施形態について、図４Ｃに関して上記で説明した。別の実施形態では、φは、０  ３６０から１度サイズのステップで変化させられ得る。このサンプリングは、７５×７５領域を有するプレノプティックセンサーを使用してキャプチャされた画像についての一例では十分であり得る。より密なサンプリング（たとえば、φのためのより小さいステップサイズ）は、ピクセルの同じセットをサンプリングする隣接するラインにより、追加情報を与えず、冗長情報、ラドン画像のためのより大きいデータサイズ、より大きいプロセッサ使用量、およびより長いランタイムにつながり得る。
【００６５】
[0075]平面をパラメータ化するために使用される球体の中心である原点のためのロケーションの選定はまた、ラドン変換に必要な計算に影響を及ぼすことがある。メインレンズによって画像化されたシーンの点群の中心に原点を配置することは、わずかにより高品質のサンプリングを与え得るが、中心を正確に計算することは、コストがかかることがあり、必要とされない。したがって、以下の式を使用することによって、いくつかの実施形態は中心を計算することができ、他の実施形態は中心（center）の近似値を求めることができる。
【数２０】
2017520944.tif 000022
ここで、ＭｃｌｏｓｅｓｔおよびＭｆａｒｔｈｅｓｔは、マイクロレンズアレイに関する考慮中のシーンのための倍率の最小値および最大値であり、Ｂはマイクロレンズ平面４３０とセンサー平面４３５との間の距離を表す。マイクロレンズアレイに関して所与のポイントの近似倍率を計算することの一例が、ポイントが行において繰り返される回数と、マイクロ画像中の水平ピクセルの数との間の比によって与えられる。
【００６６】
[0076]パラメータγは、積分平面に直角でもある原点を通過するベクトルを表すことができる。γが一実施形態において有することができる最大値（ｒmax）は、垂直および水平方向におけるピクセルの数から決定される、センサー上に形成された画像の対角線の長さである。一実施形態では、１つのピクセルのセンサートレランスより、より小さいステップサイズがラドン画像からのプレノプティック関数の再構成を著しくは改善しないことがあるので、γは１とγmaxとの間で１のステップで変化させられ得る。より小さいステップサイズは、しかしながら、より密なサンプリングにより、ランタイムの著しい増加の一因となり得る。
【００６７】
[0077]パラメータθは、ベクトルγと、３次元画像シーンにマッピングされた（ｘ，ｙ，ｚ）座標系におけるｚ軸との間の角度を表すことができる。上記の式では、θがそれにわたって変化させられる間隔は、３次元ターゲット画像シーンを表すデータにおけるｚ軸に沿った深度値とのそれの関連付けにより、実質的に再合焦の一因となる。一実施形態では、θは、１のステップサイズを用いて、８０と１００との間で変化させられ得る。
【００６８】
[0078]図５に、入力ライトフィールドデータからラドン画像を生成するためのプロセス５００の一実施形態を示す。プロセス５００は、図２に関して上記で説明した、ラドンフォトグラフィモジュール２４０およびそれのサブコンポーネントによって実行されるものとして説明される。しかしながら、これは、説明のためであり、ラドンフォトグラフィ能力を有する任意のデバイスまたはシステムによって実行され得るプロセス５００を制限するものではない。
【００６９】
[0079]ブロック５０５において、ラドンフォトグラフィモジュール２４０は、たとえば、図１Ａ〜図１Ｄによって表されたプレノプティックカメラ１００ａ〜１００ｄ、あるいはプレノプティックまたはライトフィールド画像データをキャプチャすることが可能な他のカメラのいずれかであり得るプレノプティックカメラアセンブリ２０１から、プレノプティック画像データを受信することができる。ラドンフォトグラフィモジュール２４０は、いくつかの実施形態では、画像キャプチャの後にプレノプティック画像データの完全セットを受信し得る。他の実施形態では、ラドンフォトグラフィモジュール２４０は、画像キャプチャ中にプレノプティック画像データを受信し得る。たとえば、ラドンフォトグラフィモジュール２４０は、一例では、所定の積分平面に対応する部分中のプレノプティック画像データを受信し得る。
【００７０】
[0080]ブロック５１０において、ラドン画像生成器２４２は積分平面を識別することができる。いくつかの実施形態では、ラドン画像生成器２４２は、ピクセルサイズなど、センサーパラメータを示すデータを受信することができ、図４Ｃに関して上記で説明したように、センサーの各別個のピクセル、またセンサー上に形成されたマイクロ画像をサンプリングするように集合的に動作する１つまたは複数の積分平面を決定することができる。他の実施形態では、ラドン画像生成器２４２は、積分平面の数およびロケーションを示すデータを、たとえば、そのような情報をデータストア２７０から取り出す画像プロセッサ２２０から受信することができる。たとえば、ラドン画像を生成するために必要とされる１つまたは複数の積分平面は、センサーのためにあらかじめ決定され得る。いくつかの実施形態では、ブロック５１０はオプションであり得る。あらかじめ決定された積分平面が、積分平面と交差するとあらかじめ決定されたピクセルまたはマイクロ画像について、ピクセルのみ、またはマイクロ画像に対応する複数のピクセルを走査するために使用され得、この部分的なプレノプティック画像データは、ラドン変換の適用のためにラドンフォトグラフィモジュール２４０に送られ得る。
【００７１】
[0081]ブロック５１５において、ラドン画像生成器２４２は、決定された積分平面と、プレノプティックカメラのマイクロレンズアレイとの交線を表すマイクロレンズラインを決定することができる。たとえば、マイクロレンズライン４２５を図４Ａに関して上記で示した。ブロック５２０において、ラドン画像生成器２４２は、センサー上の特定のピクセルおよび／またはマイクロ画像にマイクロレンズラインをマッピングすることができる。これは、一例では、上記で説明した式（１１）によって達成され得る。いくつかの実施形態では、積分平面ならびにそれらの対応するマイクロレンズラインおよびマイクロレンズラインにマッピングされたピクセル／マイクロ画像は、画像キャプチャに先立って計算され得、このデータは、入力プレノプティック画像データへのラドン変換の適用中にラドン画像生成器２４２によって取り出され得る。さらなる実施形態では、データがセンサーによってキャプチャされるとき、データをセグメント化するために、所定のマイクロレンズラインにマッピングされたピクセルを示すあらかじめ計算されたデータが使用され、現在の積分平面に関連するピクセル値のみをラドン画像生成器に送り得、ブロック５１５および５２０はオプションであり得る。
【００７２】
[0082]ブロック５２５において、ラドン画像生成器２４２は、マイクロレンズラインにマッピングされたピクセル値の和を計算することができる。これは、一実施形態では、マイクロレンズラインにマッピングされたマイクロ画像内の各ピクセルについて、マイクロ画像ごとに個々に行われ得る。一例では、ラドン画像生成器２４２は、上記の式（３）および（４）のうちのいずれかを使用して、ピクセル値の和を計算することができる。
【００７３】
[0083]上記で詳述したプロセス５００は、いくつかの実施形態では、ラドン画像を計算するために必要とされると決定された各積分平面について繰り返され得る。
【００７４】
[0084]プロセス５００のいくつかの実施形態は、既存の、または記憶されたプレノプティック画像データの構造を変更するために、画像キャプチャの後に実装され得る。プロセス５００の他の実施形態は、プレノプティック画像データの構造を、それがキャプチャされるときに変更するために、画像キャプチャ中に実装され得る。たとえば、交線は、図４Ｃによって示されるように、交線が各別個のピクセルまたはマイクロ画像をサンプリングするように、画像キャプチャより前にあらかじめ決定され得る。交線に対応するピクセルは、上記の式（１１）に従って決定され得る。画像キャプチャ中に、フォトセンサーのピクセルは、対応する交線に従って、行またはライン単位で走査され得る。いくつかの実施形態は、各交線について連続的にピクセルを走査し得、したがって、交線に対応する各積分平面の積分値は、たとえば、ピクセル強度値に少なくとも部分的に基づいて、連続的に計算され得る。他の実施形態では、積分平面のための値は並列に計算され得る。それらのピクセルまたはマイクロ画像に入射した（ピクセル値によって表される）光線の値は、式（４）において表される平面のラドン変換に従って、加算または積分され得る。積分平面にわたる光線の和を表す、得られた値は、ラドン画像として記憶され得る。一実施形態では、ラドン画像データは、サンプリングされた平面毎に１つの値をもつ値のアレイとして表され得、ここにおいて、アレイ中の値は、その平面にわたる光線の和である。
【００７５】
（ラドン画像の積分のための例示的なプロセスの概要）  
[0085]図６に、ラドン画像からプレノプティック画像データを生成するためのプロセス６００の一実施形態を示す。プロセス６００は、図２に関して上記で説明した、ラドンフォトグラフィモジュール２４０およびそれのサブコンポーネントによって実行されるものとして説明される。しかしながら、これは、説明のためであり、ラドンフォトグラフィ能力を有する任意のデバイスまたはシステムによって実行され得るプロセス６００を制限するものではない。
【００７６】
[0086]ブロック６０５において、発光密度計算器２４４は、たとえば、ラドン画像計算器２４２から、またはストレージ２７０に記憶されたラドン画像を取り出す画像プロセッサ２２０から、ラドン画像データを受信することができる。ラドン画像は、画像センサーに入射した光線の加算されたエネルギーに関するプレノプティック画像データの旧来の表現ではなく、キャプチャするプレノプティックカメラの画像センサーと交差する平面にわたる加算されたエネルギーに関するプレノプティック関数の表現であり得る。
【００７７】
[0087]ブロック６１０において、発光密度計算器２４４は、ラドン画像の逆投影を通して中間関数を計算することができる。一実施形態では、これは、上記で定義した式（７）を通して達成され得る。逆投影は、３次元画像空間中の各平面上に定義されたラドン画像関数を取り、元の発光密度を再生するために、画像空間にわたって平面を投影することができる。逆投影は、いくつかの実施形態では、元のプレノプティック関数のぼやけたバージョンであり得る。
【００７８】
[0088]ブロック６１５において、発光密度計算器２４４は、逆投影を鮮明にし、それを元のプレノプティック関数により近づけるために、ぼやけた逆投影にガウシアンのラプラシアン演算子を適用することができる。しかしながら、ガウシアンのラプラシアン演算子の適用は、いくつかの実施形態では、望ましくないノイズを逆投影に加えることがある。
【００７９】
[0089]したがって、ブロック６２０において、発光密度計算器２４４は、元のプレノプティック関数を復元するか、または元のプレノプティック関数を実質的に復元するために、ガウシアンのラプラシアン演算子の適用の後、逆投影のノイズ除去を行うことができる。
【００８０】
（システムの実装および用語）  
[0090]本明細書で開示した実装形態は、プレノプティック画像データをキャプチャし、プレノプティック画像データからレンダリングするためのシステム、方法および装置を提供する。これらの実施形態は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得ることを当業者は認識されよう。
【００８１】
[0091]いくつかの実施形態では、上記で説明した回路、プロセス、およびシステムは、ワイヤレス通信デバイスにおいて利用され得る。ワイヤレス通信デバイスは、他の電子デバイスとワイヤレス通信するために使用される一種の電子デバイスであり得る。ワイヤレス通信デバイスの例としては、セルラー電話、スマートフォン、携帯情報端末（ＰＤＡ）、電子リーダー、ゲームシステム、音楽プレーヤ、ネットブック、ワイヤレスモデム、ラップトップコンピュータ、タブレットデバイスなどがある。
【００８２】
[0092]ワイヤレス通信デバイスは、１つまたは複数の画像センサー、２つまたはそれ以上の画像信号プロセッサ、上記で説明したＣＮＲプロセスを行うための命令またはモジュールを含むメモリを含み得る。デバイスはまた、データと、メモリから命令および／またはデータをロードするプロセッサと、１つまたは複数の通信インターフェースと、１つまたは複数の入力デバイスと、ディスプレイデバイスなどの１つまたは複数の出力デバイスと、電源／電力インターフェースとを有し得る。ワイヤレス通信デバイスは、さらに、送信機と受信機とを含み得る。送信機と受信機とはまとめてトランシーバと呼ばれることがある。トランシーバは、ワイヤレス信号を送信および／または受信するために、１つまたは複数のアンテナに結合され得る。
【００８３】
[0093]ワイヤレス通信デバイスは、別の電子デバイス（たとえば、基地局）にワイヤレスに接続し得る。ワイヤレス通信デバイスは、代替的に、モバイルデバイス、移動局、加入者局、ユーザ機器（ＵＥ）、遠隔局、アクセス端末、モバイル端末、端末、ユーザ端末、加入者ユニットなどと呼ばれることがある。ワイヤレス通信デバイスの例としては、ラップトップまたはデスクトップコンピュータ、セルラーフォン、スマートフォン、ワイヤレスモデム、電子リーダー、タブレットデバイス、ゲームシステムなどがある。ワイヤレス通信デバイスは、第３世代パートナーシッププロジェクト（３ＧＰＰ（登録商標））など、１つまたは複数の業界規格に従って動作し得る。したがって、「ワイヤレス通信デバイス」という一般的な用語は、業界規格に従って異なる名称を用いて表されるワイヤレス通信デバイス（たとえば、アクセス端末、ユーザ機器（ＵＥ）、リモート端末など）を含み得る。
【００８４】
[0094]本明細書で説明した機能は、１つまたは複数の命令としてプロセッサ可読媒体またはコンピュータ可読媒体上に記憶され得る。「コンピュータ可読媒体」という用語は、コンピュータまたはプロセッサによってアクセスされ得る任意の利用可能な媒体を指す。限定ではなく例として、そのような媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備え得る。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピーディスク（disk）およびＢｌｕ−ｒａｙ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザで光学的に再生する。コンピュータ可読媒体は有形で非一時的であり得ることに留意されたい。「コンピュータプログラム製品」という用語は、コンピューティングデバイスまたはプロセッサによって実行、処理または計算され得るコードまたは命令（たとえば、「プログラム」）と組み合わせたコンピューティングデバイスまたはプロセッサを指す。本明細書で使用する「コード」という用語は、コンピューティングデバイスまたはプロセッサによって実行可能であるソフトウェア、命令、コードまたはデータを指すことがある。
【００８５】
[0095]ソフトウェアまたは命令はまた、伝送媒体を介して送信され得る。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、送信媒体の定義に含まれる。
【００８６】
[0096]本明細書で開示した方法は、説明した方法を達成するための１つまたは複数のステップまたはアクションを備える。本方法のステップおよび／またはアクションは、特許請求の範囲から逸脱することなく互いに交換され得る。言い換えれば、本明細書で説明した方法の適切な動作のためにステップまたはアクションの特定の順序が必要とされない限り、特定のステップおよび／またはアクションの順序および／または使用は、特許請求の範囲を逸脱することなく修正され得る。
【００８７】
[0097]「結合する（couple）」、「結合すること（coupling）」、「結合される（coupled）」という用語、または本明細書で使用する結合するという単語の他のバリエーションは、間接接続または直接接続のいずれかを示し得ることに留意されたい。たとえば、第１の構成要素が第２の構成要素に「結合される」場合、第１の構成要素は、第２の構成要素に間接的に接続されるか、または第２の構成要素に直接的に接続されるかのいずれかであり得る。本明細書で使用する「複数」という用語は、２つまたはそれ以上を示す。たとえば、複数の構成要素は、２つまたはそれ以上の構成要素を示す。
【００８８】
[0098]「決定すること」という用語は、多種多様なアクションを包含し、したがって、「決定すること」は、計算すること、算出すること、処理すること、導出すること、調査すること、ルックアップすること（たとえば、テーブル、データベースまたは別のデータ構造においてルックアップすること）、確認することなどを含むことができる。また、「決定すること」は、受信すること（たとえば、情報を受信すること）、アクセスすること（たとえば、メモリ中のデータにアクセスすること）などを含むことができる。また、「決定すること」は、解決すること、選択すること、選定すること、確立することなどを含むことができる。
【００８９】
[0099]「に基づいて」という句は、別段に明示されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という句は、「のみに基づいて」と「に少なくとも基づいて」の両方を表す。
【００９０】
[0100]上記の説明では、例の完全な理解を与えるために具体的な詳細を与えた。ただし、例はこれらの具体的な詳細なしに実施され得ることを当業者は理解されよう。たとえば、電気的構成要素／デバイスは、例を不必要な詳細で不明瞭にしないためにブロック図で示されることがある。他の事例では、そのような構成要素、他の構造、および技法は、例をさらに説明するために詳細に図示されることがある。
【００９１】
[0101]参照のために、および様々なセクションの位置を特定することを助けるために、本明細書に見出しが含まれている。これらの見出しは、それに関して説明した概念の範囲を制限するものではない。そのような概念は、明細書全体にわたって適用可能性を有し得る。
【００９２】
[0102]また、例は、フローチャート、流れ図、有限状態図、構造図、またはブロック図として示されるプロセスとして説明されることがあることに留意されたい。フローチャートは動作を逐次プロセスとして説明することがあるが、動作の多くは並列にまたは同時に実施され得、プロセスは繰り返され得る。さらに、動作の順序は並べ替えられ得る。プロセスは、それの動作が完了したときに終了する。プロセスは、メソッド、関数、プロシージャ、サブルーチン、サブプログラムなどに対応し得る。プロセスがソフトウェア関数に対応するとき、それの終了は呼出し関数またはメイン関数への関数の復帰に対応する。
【００９３】
[0103]開示する実装形態の以上の説明は、当業者が本発明を実施または使用することができるように与えたものである。これらの実装形態への様々な変更は当業者には容易に明らかになり、本明細書で定義した一般原理は、本発明の趣旨または範囲から逸脱することなく他の実装形態に適用され得る。したがって、本発明は、本明細書で示した実装形態に限定されるものではなく、本明細書で開示する原理および新規の特徴に一致する最も広い範囲を与えられるべきである。
【図１Ａ】
2017520944.tif 000023
【図１Ｂ】
2017520944.tif 000024
【図１Ｃ】
2017520944.tif 000025
【図１Ｄ】
2017520944.tif 000026
【図２】
2017520944.tif 000027
【図３】
2017520944.tif 000028
【図４Ａ】
2017520944.tif 000029
【図４Ｂ】
2017520944.tif 000030
【図４Ｃ】
2017520944.tif 000031
【図５】
2017520944.tif 000032
【図６】
2017520944.tif 000033
【手続補正書】
【提出日】平成29年1月6日(2017.1.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
最終画像をレンダリングするための電子デバイスにおけるシステムであって、
前記システムは、
マイクロレンズアレイと画像センサーとを含み、画像シーンのプレノプティック画像データをキャプチャするように構成されたプレノプティックカメラと、
前記プレノプティックカメラとデータ通信しており、少なくとも、
前記画像センサー上に前記画像シーンからの光を合焦させる前記マイクロレンズアレイ中の複数のマイクロレンズのうちの１つによってそれぞれ形成された複数のマイクロ画像を含むキャプチャされたプレノプティック画像データを受信することと、
前記マイクロレンズアレイを二分する平面内に位置し、各々が前記画像シーンの３次元空間を通って延びる平面に対応する複数の積分ラインを決定することと、
前記マイクロレンズアレイを二分する平面内に位置する複数の積分ラインの積分ライン毎に、当該積分ラインに沿って存在するマイクロレンズアレイのマイクロレンズによって前記画像シーンからの光がマッピングされる前記画像センサーの複数のピクセルを決定することと、
前記キャプチャされたプレノプティック画像データからの前記複数のピクセルの値に少なくとも部分的に基づいて、ラドン画像を生成することと
を行うように構成された１つまたは複数のプロセッサと
を備えるシステム。
【請求項２】
前記１つまたは複数のプロセッサは、前記複数の積分ラインの積分ライン毎に、前記複数のマイクロ画像のうちの少なくとも１つの対応するマイクロ画像に当該積分ラインをマッピングすることによって対応する画像ラインを決定することにより、前記複数のピクセルを決定するようにさらに構成された、請求項１に記載のシステム。
【請求項３】
前記１つまたは複数のプロセッサは、前記複数のピクセルとの前記対応する画像ラインの交差に少なくとも部分的に基づいて、前記複数のピクセルを識別するようにさらに構成された、請求項２に記載のシステム。
【請求項４】
前記１つまたは複数のプロセッサは、前記複数の積分ラインの各々について、前記対応する画像ラインと交差する前記複数のピクセルの各々に関連付けられたピクセル値の和を決定することによって、複数の加算されたピクセル値を生成するようにさらに構成された、請求項３に記載のシステム。
【請求項５】
前記１つまたは複数のプロセッサは、前記複数の加算されたピクセル値のアレイとして、前記ラドン画像を生成するようにさらに構成された、請求項４に記載のシステム。
【請求項６】
前記ピクセル値は強度値である、請求項４に記載のシステム。
【請求項７】
最終画像をレンダリングするための電子デバイスにおけるシステムであって、
前記システムは、少なくとも、画像シーンの複数のサンプリングされた平面の各サンプリングされた平面について、前記サンプリングされた平面における光エネルギーの和を表すラドン画像を表すデータにアクセスするように構成された第１のモジュールを備え、
前記画像シーンのプレノプティック画像データをキャプチャするための画像センサーが、マイクロレンズアレイを通じて前記画像シーンからの光を受け取るように配置され、
前記光エネルギーの和は、少なくとも部分的に、
前記マイクロレンズアレイを二分する平面内に位置し、各々が前記画像シーンの３次元空間を通って延びる平面に対応する複数の積分ラインを決定することと、
前記複数の積分ラインの積分ライン毎に、当該積分ラインに沿って存在するマイクロレンズアレイのマイクロレンズによって前記画像シーンからの光がマッピングされる前記画像センサーの複数のピクセルを決定することと、
前記複数のピクセルの値を合計することと
によって計算され、
前記システムは、
少なくとも、前記ラドン画像の前記複数のサンプリングされた平面の各サンプリングされた平面からの光エネルギーの前記和を積分することに少なくとも部分的に基づいて、前記画像シーンの発光密度を決定するように構成された第２のモジュールと、
少なくとも、画像平面上に前記発光密度を投影し、前記最終画像を生成するように構成された第３のモジュールと
を備えるシステム。
【請求項８】
前記最終画像は、キャプチャされた画像シーンの異なる視点または異なる焦点深度を有するように調整することが可能である、請求項７に記載のシステム。
【請求項９】
前記ラドン画像は、前記画像シーンのキャプチャされたプレノプティック画像データから生成される、請求項７に記載のシステム。
【請求項１０】
前記キャプチャされたプレノプティック画像データは、前記画像シーン中の物体から画像センサーに入射した複数の光線の強度で前記画像シーンのライトフィールドを表す、請求項９に記載のシステム。
【請求項１１】
前記ラドン画像は、前記画像シーン中に位置する平面に含まれているエネルギーで前記ライトフィールドを表し、
前記平面は前記画像センサーと交差する、
請求項１０に記載のシステム。
【請求項１２】
前記第１のモジュールは、前記キャプチャされたプレノプティック画像データを受信し、前記キャプチャされたプレノプティック画像データから前記ラドン画像を生成するようにさらに構成された、請求項９に記載のシステム。
【請求項１３】
前記画像シーンのプレノプティック画像データのキャプチャのために構成されたプレノプティックカメラをさらに備える、請求項９に記載のシステム。
【請求項１４】
前記プレノプティックカメラは、メインレンズと、複数のマイクロレンズを含むマイクロレンズアレイと、画像センサーとを備える、請求項１３に記載のシステム。
【請求項１５】
前記複数のマイクロレンズは、それぞれ微小球体を備える、請求項１４に記載のシステム。
【請求項１６】
前記第１のモジュールは、データストアから前記ラドン画像を取り出すことによって、前記ラドン画像を表す前記データにアクセスするように構成された、請求項７に記載のシステム。
【請求項１７】
前記第２のモジュールは、前記ラドン画像の逆投影を計算することに少なくとも部分的に基づいて、前記画像シーンの前記発光密度を決定するように構成された、請求項７に記載のシステム。
【請求項１８】
前記第２のモジュールは、少なくとも、前記逆投影にガウシアンのラプラシアン演算子を適用するようにさらに構成された、請求項１７に記載のシステム。
【請求項１９】
前記第２のモジュールは、少なくとも、前記ガウシアンのラプラシアン演算子を適用した後に、前記逆投影のノイズ除去を行うようにさらに構成された、請求項１８に記載のシステム。
【請求項２０】
プレノプティック画像データを圧縮するための方法であって、
前記方法は、
マイクロレンズアレイと画像センサーとを有するプレノプティックカメラから、３次元画像空間のプレノプティック画像を表すデータの少なくとも一部分を受信することと、
前記マイクロレンズアレイを二分するマイクロレンズ平面と交差する積分平面を識別することと、
前記マイクロレンズ平面から第１の距離に位置する画像平面および前記積分平面と交差する画像ラインを決定することと、
前記積分平面および前記マイクロレンズ平面と交差するマイクロレンズラインを決定することと、
マイクロレンズラインと前記マイクロレンズとの交差に少なくとも部分的に基づいて、前記マイクロレンズアレイのマイクロレンズによって前記画像センサー上に形成されるマイクロ画像に前記画像ラインをマッピングすることと、
前記マイクロ画像にマッピングされた前記画像ラインに沿って位置する、前記マイクロ画像中の複数のピクセルの各々のピクセル値を加算することと、
を備える方法。
【請求項２１】
前記加算されたピクセル値に少なくとも部分的に基づいて、ラドン画像を生成することをさらに備える、請求項２０に記載の方法。
【請求項２２】
前記マイクロレンズアレイの複数のマイクロレンズの各々は、前記画像センサー上に別個のマイクロ画像を形成する、請求項２０に記載の方法。
【請求項２３】
極座標系を使用して、前記３次元画像空間をパラメータ化することをさらに備える、請求項２０に記載の方法。
【請求項２４】
前記マイクロレンズ平面と交差する複数の積分平面を識別することをさらに備える、請求項２０に記載の方法。
【請求項２５】
前記複数の積分平面は、当該複数の積分平面がグループとして前記画像センサーの複数のセンサーピクセルの各々をサンプリングするように配置される、請求項２４に記載の方法。
【請求項２６】
前記複数の積分平面の２つの隣接する平面の交差によって形成される隣接するライン間のステップサイズは、前記画像センサー上のマイクロ画像の冗長サンプリングを最小化するように選択される、請求項２５に記載の方法。
【請求項２７】
実行時に、１つまたは複数のコンピューティングデバイスに、
画像シーンの発光密度を当該画像シーンの複数の平面の各々における光エネルギーの加算された値として表す当該画像シーンのラドン画像データを受信すること
を備える動作を実行させる命令を記憶する、非一時的コンピュータ可読媒体であって、
前記画像シーンのプレノプティック画像データをキャプチャするための画像センサーが、マイクロレンズアレイを通じて前記画像シーンからの光を受け取るように配置され、
前記光エネルギーの加算された値は、少なくとも部分的に、
前記マイクロレンズアレイを二分する平面内に位置し、各々が前記画像シーンの３次元空間を通って延びる平面に対応する複数の積分ラインを決定することと、
前記複数の積分ラインの積分ライン毎に、当該積分ラインに沿って存在するマイクロレンズアレイのマイクロレンズによって前記画像シーンからの光がマッピングされる前記画像センサーの複数のピクセルを決定することと、
前記複数のピクセルの値を合計することと
によって計算され、
前記非一時的コンピュータ可読媒体は、
ラドン画像の逆投影を使用して、前記ラドン画像の中間関数を計算することと、
前記ラドン画像の前記中間関数に少なくとも部分的に基づいて、前記画像シーンの前記発光密度を復元することと、
画像平面上に前記発光密度を投影し、前記画像シーンの動的に再合焦可能なレンダリング画像を生成することと
を備える動作を実行させる命令を記憶する、非一時的コンピュータ可読媒体。
【請求項２８】
前記動作は、前記ラドン画像の前記逆投影にラプラシアン演算子を適用し、前記中間関数を計算することをさらに備える、請求項２７に記載の非一時的コンピュータ可読媒体。
【請求項２９】
前記動作は、前記ラドン画像の前記逆投影のノイズ除去を行い、前記中間関数を計算することをさらに備える、請求項２８に記載の非一時的コンピュータ可読媒体。
【請求項３０】
前記動作は、ユーザ入力に応答して、前記動的に再合焦可能なレンダリング画像の焦点深度を調整することをさらに備える、請求項２７に記載の非一時的コンピュータ可読媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００９３
【補正方法】変更
【補正の内容】
【００９３】
[0103]開示する実装形態の以上の説明は、当業者が本発明を実施または使用することができるように与えたものである。これらの実装形態への様々な変更は当業者には容易に明らかになり、本明細書で定義した一般原理は、本発明の趣旨または範囲から逸脱することなく他の実装形態に適用され得る。したがって、本発明は、本明細書で示した実装形態に限定されるものではなく、本明細書で開示する原理および新規の特徴に一致する最も広い範囲を与えられるべきである。  
以下に、本願の出願当初の特許請求の範囲に記載された発明が付記される。 
［Ｃ１］最終画像をレンダリングするための電子デバイスにおけるシステムであって、前記システムは、マイクロレンズアレイと画像センサーとを含み、画像シーンのプレノプティック画像データをキャプチャするように構成されたプレノプティックカメラと、前記プレノプティックカメラとデータ通信しており、少なくとも、前記画像センサー上に前記画像シーンからの光を合焦させる前記マイクロレンズアレイ中の複数のマイクロレンズのうちの１つによってそれぞれ形成された複数のマイクロ画像を含むキャプチャされたプレノプティック画像データを受信することと、前記マイクロレンズアレイを二分する平面内に位置し、各々が前記画像シーンの３次元空間を通って延びる平面に対応する複数の積分ラインを決定することと、前記複数の積分ラインに対応する前記プレノプティック画像データの複数のピクセルに少なくとも部分的に基づいて、ラドン画像を生成することとを行うように構成された１つまたは複数のプロセッサとを備えるシステム。
［Ｃ２］前記１つまたは複数のプロセッサは、前記複数の積分ラインの各々について、前記複数のマイクロ画像のうちの少なくとも１つの対応するマイクロ画像に、前記複数の積分ラインのうちの１つのラインをマッピングすることによって、対応する画像ラインを決定するようにさらに構成された、Ｃ１に記載のシステム。
［Ｃ３］前記１つまたは複数のプロセッサは、前記複数のピクセルとの前記対応する画像ラインの交差に少なくとも部分的に基づいて、前記複数のピクセルを識別するようにさらに構成された、Ｃ２に記載のシステム。
［Ｃ４］前記１つまたは複数のプロセッサは、前記複数の積分ラインの各々について、前記対応する画像ラインと交差する前記複数のピクセルの各々に関連付けられたピクセル値の和を決定することによって、複数の加算されたピクセル値を生成するようにさらに構成された、Ｃ３に記載のシステム。
［Ｃ５］前記１つまたは複数のプロセッサは、前記複数の加算されたピクセル値のアレイとして、前記ラドン画像を生成するようにさらに構成された、Ｃ４に記載のシステム。
［Ｃ６］前記ピクセル値は強度値である、Ｃ４に記載のシステム。
［Ｃ７］最終画像をレンダリングするための電子デバイスにおけるシステムであって、前記システムは、少なくとも、画像シーンの複数のサンプリングされた平面の各サンプリングされた平面について、前記サンプリングされた平面における光エネルギーの和を表すラドン画像を表すデータにアクセスするように構成された第１のモジュールと、少なくとも、前記ラドン画像の前記複数のサンプリングされた平面の各サンプリングされた平面からの光エネルギーの前記和を積分することに少なくとも部分的に基づいて、前記画像シーンの発光密度を決定するように構成された第２のモジュールと、少なくとも、画像平面上に前記発光密度を投影し、前記最終画像を生成するように構成された第３のモジュールとを備えるシステム。
［Ｃ８］前記最終画像は、キャプチャされた画像シーンの異なる視点または異なる焦点深度を有するように調整することが可能である、Ｃ７に記載のシステム。
［Ｃ９］前記ラドン画像は、前記画像シーンのキャプチャされたプレノプティック画像データから生成される、Ｃ７に記載のシステム。
［Ｃ１０］前記キャプチャされたプレノプティック画像データは、前記画像シーン中の物体から画像センサーに入射した複数の光線の強度で前記画像シーンのライトフィールドを表す、Ｃ９に記載のシステム。
［Ｃ１１］前記ラドン画像は、前記画像シーン中に位置する平面に含まれているエネルギーで前記ライトフィールドを表し、前記平面は前記画像センサーと交差する、Ｃ１０に記載のシステム。
［Ｃ１２］前記第１のモジュールは、前記キャプチャされたプレノプティック画像データを受信し、前記キャプチャされたプレノプティック画像データから前記ラドン画像を生成するようにさらに構成された、Ｃ９に記載のシステム。
［Ｃ１３］前記画像シーンのプレノプティック画像データのキャプチャのために構成されたプレノプティックカメラをさらに備える、Ｃ９に記載のシステム。
［Ｃ１４］前記プレノプティックカメラは、メインレンズと、複数のマイクロレンズを含むマイクロレンズアレイと、画像センサーとを備える、Ｃ１３に記載のシステム。
［Ｃ１５］前記複数のマイクロレンズは、それぞれ微小球体を備える、Ｃ１４に記載のシステム。
［Ｃ１６］前記第１のモジュールは、データストアから前記ラドン画像を取り出すことによって、前記ラドン画像を表す前記データにアクセスするように構成された、Ｃ７に記載のシステム。
［Ｃ１７］前記第２のモジュールは、前記ラドン画像の逆投影を計算することに少なくとも部分的に基づいて、前記画像シーンの前記発光密度を決定するように構成された、Ｃ７に記載のシステム。
［Ｃ１８］前記第２のモジュールは、少なくとも、前記逆投影にガウシアンのラプラシアン演算子を適用するようにさらに構成された、Ｃ１７に記載のシステム。
［Ｃ１９］前記第２のモジュールは、少なくとも、前記ガウシアンのラプラシアン演算子を適用した後に、前記逆投影のノイズ除去を行うようにさらに構成された、Ｃ１８に記載のシステム。
［Ｃ２０］プレノプティック画像データを圧縮するための方法であって、前記方法は、マイクロレンズアレイと画像センサーとを有するプレノプティックカメラから、３次元画像空間のプレノプティック画像を表すデータの少なくとも一部分を受信することと、前記マイクロレンズアレイを二分するマイクロレンズ平面と交差する積分平面を識別することと、前記マイクロレンズ平面から第１の距離に位置する画像平面および前記積分平面と交差する画像ラインを決定することと、前記積分平面および前記マイクロレンズ平面と交差するマイクロレンズラインを決定することと、マイクロレンズラインと前記マイクロレンズとの交差に少なくとも部分的に基づいて、前記マイクロレンズアレイのマイクロレンズによって前記画像センサー上に形成されるマイクロ画像に前記画像ラインをマッピングすることと、前記マイクロ画像にマッピングされた前記画像ラインに沿って位置する、前記マイクロ画像中の複数のピクセルの各々のピクセル値を加算することと、を備える方法。
［Ｃ２１］前記加算されたピクセル値に少なくとも部分的に基づいて、ラドン画像を生成することをさらに備える、Ｃ２０に記載の方法。
［Ｃ２２］前記マイクロレンズアレイの複数のマイクロレンズの各々は、前記画像センサー上に別個のマイクロ画像を形成する、Ｃ２０に記載の方法。
［Ｃ２３］極座標系を使用して、前記３次元画像空間をパラメータ化することをさらに備える、Ｃ２０に記載の方法。
［Ｃ２４］前記マイクロレンズ平面と交差する複数の積分平面を識別することをさらに備える、Ｃ２０に記載の方法。
［Ｃ２５］前記複数の積分平面は、当該複数の積分平面がグループとして前記画像センサーの複数のセンサーピクセルの各々をサンプリングするように配置される、Ｃ２４に記載の方法。
［Ｃ２６］前記複数の積分平面の２つの隣接する平面の交差によって形成される隣接するライン間のステップサイズは、前記画像センサー上のマイクロ画像の冗長サンプリングを最小化するように選択される、Ｃ２５に記載の方法。
［Ｃ２７］実行時に、１つまたは複数のコンピューティングデバイスに、画像シーンの発光密度を当該画像シーンの複数の平面の各々における光エネルギーの加算された値として表す当該画像シーンのラドン画像データを受信することと、ラドン画像の逆投影を使用して、前記ラドン画像の中間関数を計算することと、前記ラドン画像の前記中間関数に少なくとも部分的に基づいて、前記画像シーンの前記発光密度を復元することと、画像平面上に前記発光密度を投影し、前記画像シーンの動的に再合焦可能なレンダリング画像を生成することとを備える動作を実行させる命令を記憶する、非一時的コンピュータ可読媒体。
［Ｃ２８］前記動作は、前記ラドン画像の前記逆投影にラプラシアン演算子を適用し、前記中間関数を計算することをさらに備える、Ｃ２７に記載の非一時的コンピュータ可読媒体。
［Ｃ２９］前記動作は、前記ラドン画像の前記逆投影のノイズ除去を行い、前記中間関数を計算することをさらに備える、Ｃ２８に記載の非一時的コンピュータ可読媒体。
［Ｃ３０］前記動作は、ユーザ入力に応答して、前記動的に再合焦可能なレンダリング画像の焦点深度を調整することをさらに備える、Ｃ２７に記載の非一時的コンピュータ可読媒体。
【手続補正書】
【提出日】平成29年1月10日(2017.1.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
最終画像をレンダリングするためのシステムであって、
前記システムは、
マイクロレンズアレイと画像センサーとを含み、画像シーンのプレノプティック画像データをキャプチャするように構成されたプレノプティックカメラと、
前記プレノプティックカメラとデータ通信しており、少なくとも、
前記画像センサー上に前記画像シーンからの光を合焦させる前記マイクロレンズアレイ中の複数のマイクロレンズのうちの１つによってそれぞれ形成された複数のマイクロ画像を含むキャプチャされたプレノプティック画像データを受信することと、
前記マイクロレンズアレイを二分する平面内に位置し、各々が前記画像シーンの３次元空間を通って延びる平面に対応する複数の積分ラインを決定することと、
前記マイクロレンズアレイを二分する平面内に位置する複数の積分ラインの積分ライン毎に、前記画像センサーの複数のピクセルへの当該積分ラインのマッピングを生成または取り出すことと、
前記キャプチャされたプレノプティック画像データからの前記複数のピクセルのピクセル値に少なくとも部分的に基づいて、ラドン画像を生成することと
を行うように構成された１つまたは複数のプロセッサと
を備え、
前記マッピングは、前記積分ラインに沿って存在するマイクロレンズアレイのマイクロレンズの焦点距離および倍率に少なくとも部分的に基づいている、
システム。
【請求項２】
前記１つまたは複数のプロセッサは、前記複数の積分ラインの積分ライン毎に、前記複数のマイクロ画像のうちの少なくとも１つの対応するマイクロ画像に当該積分ラインをマッピングすることによって対応する画像ラインを決定することにより、前記複数のピクセルを決定するようにさらに構成された、請求項１に記載のシステム。
【請求項３】
前記１つまたは複数のプロセッサは、前記複数のピクセルとの前記対応する画像ラインの交差に少なくとも部分的に基づいて、前記複数のピクセルを識別するようにさらに構成された、請求項２に記載のシステム。
【請求項４】
前記１つまたは複数のプロセッサは、前記複数の積分ラインの各々について、前記対応する画像ラインと交差する前記複数のピクセルの各々に関連付けられた前記ピクセル値の和を決定することによって、複数の加算されたピクセル値を生成するようにさらに構成された、請求項３に記載のシステム。
【請求項５】
前記１つまたは複数のプロセッサは、前記複数の加算されたピクセル値のアレイとして、前記ラドン画像を生成するようにさらに構成された、請求項４に記載のシステム。
【請求項６】
前記ピクセル値は強度値である、請求項４に記載のシステム。
【請求項７】
最終画像をレンダリングするためのシステムであって、
前記システムは、少なくとも、画像シーンの複数のサンプリングされた平面の各サンプリングされた平面について、前記サンプリングされた平面における光エネルギーの和を表すラドン画像を表すデータにアクセスするように構成された第１のモジュールを備え、
前記画像シーンのプレノプティック画像データをキャプチャするための画像センサーが、マイクロレンズアレイを通じて前記画像シーンからの光を受け取るように配置され、
前記光エネルギーの和は、少なくとも部分的に、
前記マイクロレンズアレイを二分する平面内に位置し、各々が前記画像シーンの３次元空間を通って延びる平面に対応する複数の積分ラインを決定することと、
前記複数の積分ラインの積分ライン毎に、前記画像センサーの複数のピクセルへの当該積分ラインのマッピングを生成または取り出すことと、
前記複数のピクセルのピクセル値を合計することと
によって計算され、
前記マッピングは、前記積分ラインに沿って存在するマイクロレンズアレイのマイクロレンズの焦点距離および倍率に少なくとも部分的に基づいていて、
前記システムは、
少なくとも、前記ラドン画像の前記複数のサンプリングされた平面の各サンプリングされた平面からの光エネルギーの前記和を積分することに少なくとも部分的に基づいて、前記画像シーンの発光密度を決定するように構成された第２のモジュールと、
少なくとも、画像平面上に前記発光密度を投影し、前記最終画像を生成するように構成された第３のモジュールと
を備えるシステム。
【請求項８】
前記最終画像は、キャプチャされた画像シーンの異なる視点または異なる焦点深度を有するように調整することが可能である、請求項７に記載のシステム。
【請求項９】
前記ラドン画像は、前記画像シーンのキャプチャされたプレノプティック画像データから生成される、請求項７に記載のシステム。
【請求項１０】
前記キャプチャされたプレノプティック画像データは、前記画像シーン中の物体から画像センサーに入射した複数の光線の強度で前記画像シーンのライトフィールドを表す、請求項９に記載のシステム。
【請求項１１】
前記ラドン画像は、前記画像シーン中に位置する平面に含まれているエネルギーで前記ライトフィールドを表し、
前記平面は前記画像センサーと交差する、
請求項１０に記載のシステム。
【請求項１２】
前記第１のモジュールは、前記キャプチャされたプレノプティック画像データを受信し、前記キャプチャされたプレノプティック画像データから前記ラドン画像を生成するようにさらに構成された、請求項９に記載のシステム。
【請求項１３】
前記画像シーンのプレノプティック画像データのキャプチャのために構成されたプレノプティックカメラをさらに備える、請求項９に記載のシステム。
【請求項１４】
前記プレノプティックカメラは、メインレンズと、複数のマイクロレンズを含むマイクロレンズアレイと、画像センサーとを備える、請求項１３に記載のシステム。
【請求項１５】
前記複数のマイクロレンズは、それぞれ微小球体を備える、請求項１４に記載のシステム。
【請求項１６】
前記第１のモジュールは、データストアから前記ラドン画像を取り出すことによって、前記ラドン画像を表す前記データにアクセスするように構成された、請求項７に記載のシステム。
【請求項１７】
前記第２のモジュールは、前記ラドン画像の逆投影を計算することに少なくとも部分的に基づいて、前記画像シーンの前記発光密度を決定するように構成された、請求項７に記載のシステム。
【請求項１８】
前記第２のモジュールは、少なくとも、前記逆投影にガウシアンのラプラシアン演算子を適用するようにさらに構成された、請求項１７に記載のシステム。
【請求項１９】
前記第２のモジュールは、少なくとも、前記ガウシアンのラプラシアン演算子を適用した後に、前記逆投影のノイズ除去を行うようにさらに構成された、請求項１８に記載のシステム。
【請求項２０】
キャプチャされたプレノプティック画像データを変換するための方法であって、
前記方法は、
マイクロレンズアレイと画像センサーとを有するプレノプティックカメラから、３次元画像空間のプレノプティック画像を表すデータの少なくとも一部分を受信することと、
前記マイクロレンズアレイを二分するマイクロレンズ平面と交差する積分平面を識別することと、
前記マイクロレンズ平面から第１の距離に位置する画像平面および前記積分平面と交差する画像ラインを決定することと、
前記積分平面および前記マイクロレンズ平面と交差するマイクロレンズラインを決定することと、
マイクロレンズラインと前記マイクロレンズとの交差に少なくとも部分的に基づいて、前記マイクロレンズアレイのマイクロレンズによって前記画像センサー上に形成されるマイクロ画像に前記画像ラインをマッピングすることと、
前記マイクロ画像にマッピングされた前記画像ラインに沿って位置する、前記マイクロ画像中の複数のピクセルの各々のピクセル値を加算することと、
を備える方法。
【請求項２１】
前記加算されたピクセル値に少なくとも部分的に基づいて、ラドン画像を生成することをさらに備える、請求項２０に記載の方法。
【請求項２２】
前記マイクロレンズアレイの複数のマイクロレンズの各々は、前記画像センサー上に別個のマイクロ画像を形成する、請求項２０に記載の方法。
【請求項２３】
極座標系を使用して、前記３次元画像空間をパラメータ化することをさらに備える、請求項２０に記載の方法。
【請求項２４】
前記マイクロレンズ平面と交差する複数の積分平面を識別することをさらに備える、請求項２０に記載の方法。
【請求項２５】
前記複数の積分平面は、当該複数の積分平面がグループとして前記画像センサーの複数のセンサーピクセルの各々をサンプリングするように配置される、請求項２４に記載の方法。
【請求項２６】
前記複数の積分平面の２つの隣接する平面の交差によって形成される隣接するライン間のステップサイズは、前記画像センサー上のマイクロ画像の冗長サンプリングを最小化するように選択される、請求項２５に記載の方法。
【請求項２７】
実行時に、１つまたは複数のコンピューティングデバイスに、
画像シーンの発光密度を当該画像シーンの複数の平面の各々における光エネルギーの加算された値として表す当該画像シーンのラドン画像データを受信すること
を備える動作を実行させる命令を記憶する、非一時的コンピュータ可読媒体であって、
前記画像シーンのプレノプティック画像データをキャプチャするための画像センサーが、マイクロレンズアレイを通じて前記画像シーンからの光を受け取るように配置され、
前記光エネルギーの加算された値は、少なくとも部分的に、
前記マイクロレンズアレイを二分する平面内に位置し、各々が前記画像シーンの３次元空間を通って延びる平面に対応する複数の積分ラインを決定することと、
前記複数の積分ラインの積分ライン毎に、前記画像センサーの複数のピクセルへの当該積分ラインのマッピングを生成または取り出すことと、
前記複数のピクセルのピクセル値を合計することと
によって計算され、
前記マッピングは、前記積分ラインに沿って存在するマイクロレンズアレイのマイクロレンズの焦点距離および倍率に少なくとも部分的に基づいていて、
前記非一時的コンピュータ可読媒体は、
ラドン画像の逆投影を使用して、前記ラドン画像の中間関数を計算することと、
前記ラドン画像の前記中間関数に少なくとも部分的に基づいて、前記画像シーンの前記発光密度を復元することと、
画像平面上に前記発光密度を投影し、前記画像シーンの動的に再合焦可能なレンダリング画像を生成することと
を備える動作を実行させる命令を記憶する、非一時的コンピュータ可読媒体。
【請求項２８】
前記動作は、前記ラドン画像の前記逆投影にラプラシアン演算子を適用し、前記中間関数を計算することをさらに備える、請求項２７に記載の非一時的コンピュータ可読媒体。
【請求項２９】
前記動作は、前記ラドン画像の前記逆投影のノイズ除去を行い、前記中間関数を計算することをさらに備える、請求項２８に記載の非一時的コンピュータ可読媒体。
【請求項３０】
前記動作は、ユーザ入力に応答して、前記動的に再合焦可能なレンダリング画像の焦点深度を調整することをさらに備える、請求項２７に記載の非一時的コンピュータ可読媒体。
【国際調査報告】
2017520944.tif 000034
2017520944.tif 000035
2017520944.tif 000036