(57)【要約】  圧縮／符号化された画像表現の取得レートを高めるための機構を開示する。撮像システムが、変調光ストリームのサブセットをそれぞれの光検出装置上に送出することができる。これらの光検出装置を並行してサンプリングすることができる。各光検出装置からのサンプルを使用して、最終画像のそれぞれのサブ画像を構成することができる。この並行性により、圧縮画像をより高いレートで取得することができる。光検出装置の数及び／又は画像当たりの画素数を、目標画像取得レートを達成するように選択することができる。別の実施形態では、入射光ストリームの空間部分を分離して、別個の光変調器に送出する。さらに別の実施形態では、入射光ストリームを、各々が入射光ストリーム内に存在する画像を保持する複数のビームに分割して別個の光変調器に送出する。【選択図】      図６
2013535931.tif 000002
【特許請求の範囲】
【請求項１】
変調光ストリームを生成するために入射光ストリームを一連の空間パターンで変調するように構成された、光変調素子のアレイを含む光変調ユニットと、
複数の光検出装置と、
前記変調光ストリームの複数の空間サブセットの各々からの光を前記複数の光検出装置のそれぞれの上に送出するように構成された光学サブシステムと、
を備え、前記変調光ストリームの前記空間サブセットは、前記光変調素子のアレイのそれぞれのサブセットにより生成され、前記光変調素子のアレイの各サブセットは、前記入射光ストリームのそれぞれの空間サブセットを変調することによって前記変調光ストリームの前記それぞれの空間サブセットを生成し、前記光検出装置は、それぞれの電気信号を生成するように構成され、前記電気信号の各々は、前記変調光ストリームの前記それぞれの空間サブセットの強度を時間の関数として表し、
前記電気信号のサンプルを取得するように構成されたサンプリングサブシステムをさらに備え、前記サンプルは、前記電気信号にそれぞれ対応するサンプルサブセットを含み、各サンプルサブセットは、前記それぞれの電気信号の複数のサンプルを含む、
ことを特徴とするシステム。
【請求項２】
前記サンプルサブセットの各々は、画像のそれぞれのサブ画像を構築するために使用可能であり、各サブ画像は、前記入射光ストリームの前記空間サブセットのそれぞれを表す、
ことを特徴とする請求項１に記載のシステム。
【請求項３】
前記光変調素子の数をＮとし、前記光検出装置の数をＬとし、前記画像内の画素数をｎとし、ｎはＮ以下であり、前記光変調ユニットは、単位時間当たりＲP個の空間パターンという最大レートで、前記入射光ストリームを前記空間パターンで変調するように構成され、各サンプルサブセット内のサンプルの数をｍSSとし、ｎ／Ｌ画素の画像を所与の精度で再構成するために必要な最低圧縮センシングサンプル数ｍn/Lは、Ｌが増加するにつれて減少し、ｍSS及びＬは、ｍSSがｍn/L以上となり、ｍSS／ＲPが目標取得時間以下となるように選択される、
ことを特徴とする請求項２に記載のシステム。
【請求項４】
前記光変調素子の数をＮとし、前記光検出装置の数をＬとし、前記画像内の画素数をｎとし、ｎはＮ以下であり、各サンプルサブセットは、前記それぞれのサブ画像をｎ／Ｌ画素で構成するために使用可能であり、前記サンプリングサブシステムは、各サンプルサブセット内の前記サンプル数を、前記電気信号の前記サンプルの画質と取得時間の間の異なるトレードオフを可能にするように動的にプログラム可能とするように構成される、
ことを特徴とする請求項２に記載のシステム。
【請求項５】
各サンプルサブセットに作用して前記それぞれのサブ画像を構成するように構成された処理装置をさらに備える、
ことを特徴とする請求項２に記載のシステム。
【請求項６】
前記サンプリングサブシステムは、前記電気信号のサンプルをグループの形で取得するように構成され、前記グループの各々は、前記電気信号の各々の少なくとも１つのサンプルを含み、前記グループの各々は、前記空間パターンのそれぞれに対応する、
ことを特徴とする請求項１に記載のシステム。
【請求項７】
前記サンプリングサブシステムは、前記電気信号の前記サンプルグループを、単位時間当たりＲG個のグループという最大グループレートで取得するように構成され、各サンプルサブセット内のサンプルの数をｍSSとし、前記光変調素子の数をＮとし、ｎはＮ以下であり、前記光検出装置の数をＬとし、ｎ／Ｌ画素の画像を再構成するために必要な圧縮センシングサンプルの数ｍn/Lは、Ｌが増加するにつれて減少し、Ｌは、ｍSSがｍn/L以上となりかつｍSS／ＲGが目標取得時間以下となるように選択される、
ことを特徴とする請求項６に記載のシステム。
【請求項８】
前記サンプリングサブシステムは、複数のアナログ／デジタル変換器（ＡＤＣ）を含み、前記ＡＤＣの各々は、前記光検出装置のそれぞれにより生成された前記電気信号の前記サンプルを取得するように構成される、
ことを特徴とする請求項１に記載のシステム。
【請求項９】
前記ＡＤＣのうちの少なくとも第１及び第２のＡＤＣは、異なるビット分解能を有する、
ことを特徴とする請求項８に記載のシステム。
【請求項１０】
前記光学サブシステムは、複数のレンズを含み、前記レンズの各々は、前記変調光ストリームの前記空間サブセットのそれぞれからの前記光を前記光検出装置のそれぞれの光検出面上に導くように構成される、
ことを特徴とする請求項１に記載のシステム。
【請求項１１】
前記光学サブシステムは、ファイバ結合装置と複数のファイバ束とを含み、前記ファイバ結合装置は、前記変調光ストリームの前記空間サブセットの各々からの前記光を前記ファイバ束のそれぞれの上に結合するように構成される、
ことを特徴とする請求項１に記載のシステム。
【請求項１２】
前記光学サブシステムは、内面が反射型である複数の光導体を含む、
ことを特徴とする請求項１に記載のシステム。
【請求項１３】
前記光学サブシステムは、集光レンズを含み、前記複数の光検出装置は、前記集光レンズの像面に位置する、
ことを特徴とする請求項１に記載のシステム。
【請求項１４】
前記光変調素子の前記アレイの前記サブセットは、隣接するサブセットである、
ことを特徴とする請求項１に記載のシステム。
【請求項１５】
前記光検出装置のうちの少なくとも第１及び第２の光検出装置は、異なる光感度を有する、
ことを特徴とする請求項１に記載のシステム。
【請求項１６】
前記複数の光検出装置は、アレイの形で配置される、
ことを特徴とする請求項１に記載のシステム。
【請求項１７】
前記アレイは、２次元矩形アレイであり、前記サンプリングサブシステムは、前記アレイの列当たりに１つのアナログ／デジタル変換器を含む、
ことを特徴とする請求項１６に記載のシステム。
【請求項１８】
前記複数の光検出装置は、第１の集積回路に組み込まれる、
ことを特徴とする請求項１に記載のシステム。
【請求項１９】
前記サンプリングサブシステムは、読み出し集積回路を含み、該読み出し集積回路は、前記第１の集積回路に結合される、
ことを特徴とする請求項１８に記載のシステム。
【請求項２０】
前記読み出し集積回路は、前記第１の集積回路にバンプボンディングされる、
ことを特徴とする請求項１９に記載のシステム。
【請求項２１】
光変調素子のアレイにより、変調光ストリームを生成するために入射光ストリームを一連の空間パターンで変調するステップと、
前記変調光ストリームの複数の空間サブセットの各々からの光を複数の光検出装置のそれぞれの上に送出するステップと、
を含み、前記変調光ストリームの前記空間サブセットは、前記光変調素子のアレイのそれぞれのサブセットにより生成され、前記光変調素子のアレイの各サブセットは、前記入射光ストリームのそれぞれの空間サブセットを変調することによって前記変調光ストリームの前記それぞれの空間サブセットを生成し、
各々が前記光検出装置のそれぞれにより生成され、前記変調光ストリームの前記空間サブセットのそれぞれの強度を時間の関数として表す電気信号を生成するステップと、
前記電気信号のサンプルを取得するステップと、
をさらに含み、前記サンプルは、前記電気信号にそれぞれ対応するサンプルサブセットを含み、各サンプルサブセットは、前記それぞれの電気信号の複数のサンプルを含む、
ことを特徴とする方法。
【請求項２２】
前記サンプルサブセットの各々は、画像のそれぞれのサブ画像を構築するために使用可能であり、各サブ画像は、前記入射光ストリームの前記空間サブセットのそれぞれを表す、
ことを特徴とする請求項２１に記載の方法。
【請求項２３】
前記光変調素子の数をＮとし、前記光検出装置の数をＬとし、前記画像内の画素数をｎとし、ｎはＮ以下であり、前記入射光ストリームは、単位時間当たりＲP個の空間パターンという最大レートで前記空間パターンで変調され、各サンプルサブセット内のサンプルの数をｍSSとし、ｎ／Ｌ画素の画像を所与の精度で再構成するために必要な最低圧縮センシングサンプル数ｍn/Lは、Ｌが増加するにつれて減少し、ｍSS及びＬは、ｍSSがｍn/L以上となり、ｍSS／ＲPが目標取得時間以下となるように選択される、
ことを特徴とする請求項２２に記載の方法。
【請求項２４】
前記サンプルサブセットに作用して前記それぞれのサブ画像を構成するステップをさらに含む、
ことを特徴とする請求項２１に記載の方法。
【請求項２５】
前記サンプルサブセットを、通信チャネルを介して受信機に送信するステップをさらに含む、
ことを特徴とする請求項２１に記載の方法。
【請求項２６】
前記電気信号の前記サンプルを取得する前記ステップは、前記サンプルをグループの形で取得するステップを含み、前記グループの各々は、前記電気信号の各々の少なくとも１つのサンプルを含み、前記グループの各々は、前記空間パターンのそれぞれに対応する、
ことを特徴とする請求項２１に記載の方法。
【請求項２７】
前記グループは、単位時間当たりＲG個のグループというレートで取得され、前記光変調素子の数をＮとし、ｎはＮ以下であり、前記光検出装置の数をＬとし、各サンプルサブセット内のサンプルの数をｍSSとし、ｎ／Ｌ画素の画像を再構成するために必要な圧縮センシングサンプルの数ｍn/Lは、Ｌが増加するにつれて減少し、Ｌは、ｍSSがｍn/L以上となりかつｍSS／ＲGが目標取得時間以下となるように選択される、
ことを特徴とする請求項２６に記載の方法。
【請求項２８】
変調光ストリームを生成するために入射光ストリームを一連の空間パターンで変調するように構成された、光変調素子のアレイを含む光変調ユニットと、
複数の光検出装置と、
前記変調光ストリームの空間サブセットを前記光検出装置のそれぞれに導くように構成された光学サブシステムと、
を備え、前記変調光ストリームの前記空間サブセットは、前記光変調素子のアレイのそれぞれの非重複領域により生成され、前記光変調素子のアレイの各領域は、前記入射光ストリームのそれぞれの空間サブセットを変調することによって前記変調光ストリームの前記それぞれの空間サブセットを生成し、前記光検出装置の各々は、前記変調光ストリームの前記それぞれの空間サブセットの強度を時間の関数として表すそれぞれの電気信号を生成するように構成され、
複数のアナログ／デジタル変換器（ＡＤＣ）をさらに備え、前記ＡＤＣの各々は、前記光検出装置のそれぞれにより生成された前記電気信号のそれぞれのサンプルシーケンスを取り込むように構成され、前記ＡＤＣの各々によって取り込まれた前記それぞれのサンプルシーケンスは、前記入射光ストリームの前記対応する空間サブセットを表すそれぞれのサブ画像を構成するために使用可能である、
ことを特徴とするシステム。
【請求項２９】
前記光学サブシステムは、複数のレンズを含み、前記レンズの各々は、前記変調光ストリームの前記空間サブセットのそれぞれを前記光検出装置のそれぞれの光検出面上に導くように構成される、
ことを特徴とする請求項２８に記載のシステム。
【請求項３０】
前記光学サブシステムは、ファイバ結合装置と複数のファイバ束とを含み、前記ファイバ結合装置は、前記変調光ストリームの前記空間部分の各々からの光を前記ファイバ束のそれぞれの上に結合するように構成され、前記ファイバ束の各々は、前記変調光ストリームの前記それぞれの空間サブセットからの前記光を前記光検出装置のそれぞれの光検出面上に導くように構成される、
ことを特徴とする請求項２８に記載のシステム。
【請求項３１】
前記複数の光検出装置は、単一の集積回路に組み込まれる、
ことを特徴とする請求項２８に記載のシステム。
【請求項３２】
前記光学サブシステムは、集光レンズを含み、前記複数の光検出装置は、前記集光レンズの像面に位置する、
ことを特徴とする請求項２８に記載のシステム。
【請求項３３】
前記複数のＡＤＣは、それぞれのサンプルシーケンスを同期的に取り込むように構成される、
ことを特徴とする請求項２８に記載のシステム。
【請求項３４】
前記複数の光検出装置は、アレイの形で配置される、
ことを特徴とする請求項２８に記載のシステム。
【請求項３５】
前記サンプルシーケンスの各々は、前記それぞれのサブ画像内の前記画素数よりも小さなサンプルサイズを有する、
ことを特徴とする請求項２８に記載のシステム。
【請求項３６】
変調光ストリームを生成するために入射光ストリームを一連の空間パターンで変調するように構成された、Ｎ個の光変調素子のアレイを含む光変調ユニットと、
１よりも大きくＮよりも小さいＬ個の光検出素子のアレイと、
前記変調光ストリームの複数の空間部分の各々からの光を前記光検出素子のアレイのそれぞれの上に集光するように構成された光学サブシステムと、
を備え、前記変調光ストリームの前記空間部分は、前記光変調素子のアレイのそれぞれの非重複領域により生成され、前記光変調素子のアレイの各領域は、前記入射光ストリームのそれぞれの空間部分を変調することによって前記変調光ストリームの前記それぞれの空間部分を生成し、前記Ｌ個の光検出素子は、それぞれの電気信号を生成するように構成され、前記電気信号の各々は、前記変調光ストリームの前記それぞれの空間部分の強度を時間の関数として表し、
前記Ｌ個の光検出素子のアレイからサンプルグループを読み出すように構成された回路をさらに備え、各サンプルグループは、Ｌ個のサンプルを含み、各グループの前記Ｌ個のサンプルは、前記電気信号の各々につき１つのサンプルを含む、
ことを特徴とするシステム。
【請求項３７】
前記回路は、前記グループを単位時間当たりにＲG個のグループという最大レートで読み出すように構成され、前記グループの各々は、前記空間パターンのそれぞれに対応し、前記一連の空間パターンは、前記入射光ストリームを表すＮ画素の画像を構成するために前記グループのうちのＭ個を使用可能とするように構成され、Ｍは１よりも大きくＮ／Ｌ以下である、
ことを特徴とする請求項３６に記載のシステム。
【請求項３８】
Ｌは、前記Ｍ個のグループに関して目標取得時間以下の取得時間を達成するように選択される、
ことを特徴とする請求項３７に記載のシステム。
【請求項３９】
Ｍは、Ｎ／Ｌ未満である、
ことを特徴とする請求項３７に記載のシステム。
【請求項４０】
前記回路は、前記グループを単位時間当たりにＲG個のグループという最大レートで読み出すように構成され、前記グループの各々は、前記空間パターンのそれぞれに対応し、前記一連の空間パターンは、各々の長さがＭグループである前記グループのサブセットがそれぞれのＮ画素の画像を構成するために使用可能になるように構成され、Ｍは１よりも大きくＮ／Ｌ以下であり、Ｌは、前記グループサブセットの取得レートが目標取得レート以上となるように選択される、
ことを特徴とする請求項３６に記載のシステム。
【請求項４１】
前記回路は、読み出し集積回路に含まれ、前記Ｌ個の光検出素子のアレイは、第２の集積回路に含まれる、
ことを特徴とする請求項３６に記載のシステム。
【請求項４２】
前記読み出し集積回路は、前記第２の集積回路にバンプボンディングされる、
ことを特徴とする請求項４１に記載のシステム。
【請求項４３】
前記回路及び前記光検出素子は、単一の集積回路に含まれる、
ことを特徴とする請求項３６に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圧縮センシングの分野に関し、より具体的には、圧縮センシングハードウェアを使用した画像／ビデオ情報の取り込み中の背景光レベルの変化を求めるためのシステム及び方法に関する。
【背景技術】
【０００２】
ナイキストの理論によれば、周波数間隔［−Ｂ、Ｂ］上に支持された信号エネルギーを有する信号ｘ（ｔ）は、サンプルを取り込むレートであるｆs＝１／Ｔsが十分に高ければ、すなわちｆｓが２Ｂよりも大きければ、信号ｘ（ｔ）のサンプル｛ｘ（ｎＴ）｝から再構成することができる。同様に、周波数間隔［Ａ，Ｂ］上に支持された信号エネルギーを有する信号については、Ｂ−Ａよりも高いサンプリングレートで取り込んだサンプルから信号を再構成することができる。ナイキストの理論に従って信号ｘ（ｔ）を取り込もうとする試みの根本的な問題は、特にＢ（又はＢ−Ａ）が大きい時に生成されるサンプル数が多いことである。サンプル数が多いと、メモリリソース及び伝送チャネルの容量に対する負担となる。
【０００３】
ナイキストの理論は、時間の関数に限定されない。実際に、ナイキストの理論は、１又はそれ以上のあらゆる実変数の関数に対してより広く適合する。例えば、ナイキストの理論は、画像などの２つの空間変数の関数、ビデオなどの時間と２つの空間変数の関数、及びマルチスペクトル画像、ハイパースペクトル画像、医療画像及びその他の様々な用途において使用される関数に適合する。空間変数ｘ及びｙに依存する画像Ｉ（ｘ，ｙ）の場合、十分に高い空間密度でサンプルが取り込まれれば、画像のサンプルから画像を再構成することができる。例えば、矩形グリッドに沿って取り込まれるサンプル｛Ｉ（ｎΔｘ，ｍΔｙ）｝を仮定した場合、水平密度１Δｘ及び垂直密度及び１Δｙは、画像Ｉ（ｘ，ｙ）内で生じる最も高いｘ及びｙ空間周波数をＢx及びＢyとする２Ｂx及び２Ｂyをそれぞれ上回るべきである。ナイキストの理論に従って画像を取り込もうとする場合、同様の圧倒的なデータ量の問題が生じる。最新の圧縮センシング理論は、このような問題を対象とするものである。
【０００４】
圧縮センシングは、例えば、フーリエ変換、ウェーブレット変換又は離散的コサイン変換（ＤＣＴ）などの変換を適当に選択したものを使用して表す場合、実際的関心のある（画像又はビデオシーケンスなどの）多くの信号が、帯域制限されているだけでなく、スパース又はほぼスパースであるという所見に依存する。信号ベクトルｖは、信号ベクトルＴｖの変換がＫ個の非ゼロ係数しか有していない場合、所与の変換Ｔに対してＫスパースであると言われる。信号ベクトルｖは、変換ベクトルＴｖ内の成分数Ｌよりもはるかに小さな何らかの整数Ｋに関する所与の変換に対してＫスパースな場合、その変換Ｔに対してスパースであると言われる。
【０００５】
信号ベクトルｖは、変換ベクトルＴｖの係数がＫ個の最大係数（すなわち、大きさ又は絶対値という意味で最大）によって占められている場合、所与の変換Ｔに対してほぼＫスパースであると言われる。換言すれば、係数の組全体においてＫ個の最大係数が高いエネルギーの割合を占める場合、信号ベクトルｖは、変換Ｔに対してほぼＫスパースである。信号ベクトルｖは、変換ベクトルＴｖ内の成分数Ｌをはるかに下回る何らかの整数Ｋに関する変換Ｔに対してほぼＫスパースな場合、所与の変換Ｔに対してほぼスパースであると言われる。
【０００６】
画像当たりＮ個のサンプルを含み、空間レートに関するナイキスト条件に従う画像を取り込むセンシング装置を仮定した場合、各取り込んだ画像の変換がほぼＫスパースになるように、何らかの変換及びＮよりもはるかに小さな何らかの整数Ｋが存在することが多い。Ｋ個の支配的係数の組は、画像によって異なることがある。さらに、Ｋの値及び変換の選択は、状況によって（例えば、撮像応用によって）異なることがある。異なる状況でも機能し得る典型的な変換の例としては、フーリエ変換、ウェーブレット変換、ＤＣＴ、ガボール変換などがある。
【０００７】
圧縮センシングでは、画像がスパース（又はほぼスパース）になる変換が分かっていることを前提として、Ｎ個のサンプルを再構成することができるはるかに小さなサンプルの組を生成するように画像のＮ個のサンプルに作用する方法を特定する。特に、圧縮センシングでは、Ｎ個のサンプルをｎ次元空間内のベクトルｖと考え、Ｋよりも大きくＮよりもはるかに小さな数をＭとするｎ次元空間内の一連のＭ本のベクトル｛Ｒ（ｉ）｝内の各ベクトル上にベクトルｖを投影すると想像する。各投影により、例えば、
ｓ（ｉ）＝＜ｖ，Ｒ（ｉ）＞
に従って対応する実数ｓ（ｉ）が得られ、式中、＜ｖ，Ｒ（ｉ）＞の表記は、ベクトルｖとベクトルＲ（ｉ）の内積（又はドット積）を表す。従って、一連のＭ回の投影により、Ｍ個の実数を含むベクトルＵが得られる。圧縮センシング理論では、Ｍ個の実数のベクトルＵからＮ個のサンプルのベクトルｖを再構成（又は推定）する方法をさらに定める。例えば、１つの方法によれば、行がベクトルＲ（ｉ）の転置である行列をΦとし、画像がＫスパース又はほぼＫスパースとなる変換をＴとするΦＴｘ＝Ｕという条件に従って、（Ｌ1ノルムの意味で）最も長さの短いベクトルｘが求められるはずである。
【０００８】
圧縮センシングは、とりわけ、ナイキストの理論により推奨されるはるかに多くの測定数であるＮ回の代わりに、Ｍ回の測定に基づいて画像の再構成が可能になるため重要である。従って、例えば、圧縮センシングカメラは、所与の画像記憶サイズに対して大幅に多くの画像を取り込み、及び／又は所与の能力の通信チャネルを介して、単位時間当たりに大幅に多くの画像を送信することができる。
【０００９】
上述したように、圧縮センシングは、一連のＭ本のベクトル上に画像ベクトルｖを投影することによって動作する。米国特許出願第１１／３７９，６８８号（第２００６／０２３９３３６号として公開、発明者：Ｂａｒａｎｉｕｋ他）に記載され図１に示されているように、撮像装置（カメラなど）を、デジタルマイクロミラーデバイス（ＤＭＤ）４０を使用することにより圧縮センシングのパラダイムを利用するように構成することができる。入射光照射野１０はレンズ２０を通過し、その後ＤＭＤ４０と相互作用する。ＤＭＤは、２次元配列のマイクロミラーを含み、これらの各々は、２つの配向状態間で独立して制御可能に切り替わるように構成される。各マイクロミラーは、瞬間的配向に基づいて、入射光照射野の対応する部分を反射する。２つの配向状態のうちの第１の配向状態のマイクロミラーはいずれも、対応する光部分を、レンズ５０を通過するように反射する。２つの配向状態のうちの第２の配向状態のマイクロミラーはいずれも、対応する光部分を、レンズ５０から離れて反射する。レンズ５０は、第１の配向状態のマイクロミラーからの光部分を、場所６０に存在するフォトダイオード（又は光検出器）上に集光する機能を果たす。従って、このフォトダイオードは、所与の時点における振幅が第１の配向状態のマイクロミラーからの光部分の強度の合計を表す信号を生成する。
【００１０】
圧縮センシングは、一連の空間パターンを通じてマイクロミラーの配向を駆動することにより実施される。各空間パターンは、マイクロミラーの各々の配向状態を指定する。フォトダイオードの出力信号は、Ａ／Ｄ変換器７０によりデジタル化される。このようにして、撮像装置は、最初に入射光照射野を取得することなく、入射光照射野と一連の空間パターンの内積（ドット積）を表す一連の測定結果｛ｓ（ｉ）｝を、画素化されたデジタル画像として取り込むことができる。入射光照射野は、上述したベクトルｖに対応し、空間パターンは、上述したベクトルＲ（ｉ）に対応する。
【００１１】
入射光照射野は、２つの空間変数及び時間の関数Ｉ（ｘ、ｙ、ｔ）によってモデル化することができる。本段落の説明のためにＤＭＤが矩形アレイを含むと仮定すると、ＤＭＤは、ＤＭＤからレンズ５０の方向に離れる光照射野を、
｛Ｉ（ｎΔｘ，ｍΔｙ，ｔ）＊Ｍ（ｎ，ｍ，ｔ）｝
によってモデル化できるように入射光照射野の空間変調を実施する。式中、ｍ及びｎは、整数の指数であり、Ｉ（ｎΔｘ，ｍΔｙ，ｔ）は、時刻ｔにおいてＤＭＤの（ｎ，ｍ）番目のミラーに入射する光照射野の部分を表す。関数Ｍ（ｎ，ｍ，ｔ）は、時刻ｔにおけるＤＭＤの（ｎ，ｍ）番目のミラーの配向を表す。サンプリング時点において、関数Ｍ（ｎ，ｍ，ｔ）は、（ｎ，ｍ）番目のミラーを制御するデジタル制御信号の状態により１又は０に等しい。状態Ｍ（ｎ，ｍ，ｔ）＝１は、レンズ５０に至る経路上に反射する配向状態に対応する。状態Ｍ（ｎ，ｍ，ｔ）＝０は、レンズ５０から離れて反射する配向状態に対応する。
【００１２】
レンズ５０は、空間変調された光照射野
｛Ｉ（ｎΔｘ，ｍΔｙ，ｔ）＊Ｍ（ｎ，ｍ，ｔ）｝
を、フォトダイオードの光検出面上に集光する。従って、レンズ及びフォトダイオードは、空間変調された光照射野内の光部分の空間的加重をともに実行する。
【数１】
2013535931.tif 000003
信号Ｓ（ｔ）は、フォトダイオードの光検出面上にぶつかる光の集中点の時刻ｔにおける強度として解釈することができる。Ａ／Ｄ変換器は、Ｓ（ｔ）の測定結果を取り込む。このようにして、圧縮センシングカメラは、ミラーに各空間パターンが課された入射光照射野の内積を光学的に計算する。内積の乗算部分は、ＤＭＤのミラーにより実施される。内積の加算部分は、レンズの集光作用及びフォトダイオードの一体化作用により実施される。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】米国特許出願第１１／３７９，６８８号明細書
【特許文献２】米国特許出願公開第２００６／０２３９３３６号明細書
【特許文献３】米国仮特許出願第６１／３７２，８２６号明細書
【特許文献４】米国仮特許出願第６０／６７３，３６４号明細書
【特許文献５】米国仮特許出願第６０／６７９，２３７号明細書
【特許文献６】米国仮特許出願第６０／７２９，９８３号明細書
【特許文献７】米国仮特許出願第６０／７３２，３７４号明細書
【特許文献８】米国仮特許出願第６０／７３５，６１６号明細書
【特許文献９】米国仮特許出願第６０／７５９，３９４号明細書
【特許文献１０】米国特許出願第１１／３７９，６８８号明細書
【特許文献１１】米国特許出願第１２／７９１，１７１号明細書
【特許文献１２】米国特許出願第１３／１９３，５５３号明細書
【特許文献１３】米国特許出願第１３／１９３，５５６号明細書
【非特許文献】
【００１４】
【非特許文献１】「インコヒーレント投影からのスパース信号検出（Ｓｐａｒｓｅ  Ｓｉｇｎａｌ  Ｄｅｔｅｃｔｉｏｎ  ｆｒｏｍ  Ｉｎｃｏｈｅｒｅｎｔ  Ｐｒｏｊｅｃｔｉｏｎｓ）」、音響、音声信号処理−ＩＣＡＳＳＰ国際会議議事録、２００６年５月、Ｄｕａｒｔｅ他
【発明の概要】
【発明が解決しようとする課題】
【００１５】
圧縮撮像における課題の１つは、ビデオレートで動作できるＦＰＡベースのカメラと競うのに十分な速さの信号Ｓ（ｔ）のサンプルを取得することである。（ＦＰＡは、「焦点面アレイ」の頭字語である。焦点面アレイは、典型的には光学系の焦点面又は像面に位置する典型的には矩形の光検出素子のアレイを含む画像検出デバイスである。）少なくともいくつかの値をＮとした場合、Ｎ素子ＦＰＡは、Ｎ画素の画像をビデオレートで取得することができる。Ｎが大きい場合、上述した圧縮撮像カメラが、ビデオキャプチャ、すなわちＮ画素の画像の符号化表現をビデオレートで取り込めるようにするのに十分に高いレートで信号Ｓ（ｔ）のサンプルを取得することは困難となり得る。従って、圧縮撮像装置が符号化画像を取得できるレートを高めることができる機構が必要とされている。
【課題を解決するための手段】
【００１６】
ある実施形態の組では、撮像システムが、光変調ユニット、２又はそれ以上の光検出装置、光学サブシステム、及びサンプリングサブシステムを含むことができる。
【００１７】
光変調ユニットは、変調光ストリームを生成するために、入射光ストリームを一連の空間パターンで変調するように構成される。光変調ユニットは、光変調素子のアレイを含む。
【００１８】
光学サブシステムは、変調光ストリームの空間サブセット（領域）からの光を光検出装置のそれぞれの上に送出するように構成される。換言すれば、各光検出装置は、主に変調光ストリームのそれぞれの空間サブセットから光を受け取る。変調光ストリームの空間サブセットは、光変調素子のアレイのそれぞれのサブセットにより生成される。光変調素子のアレイの各サブセットは、入射光ストリームのそれぞれの空間サブセットを変調することにより、変調光ストリームのそれぞれの空間サブセットを生成する。光検出装置は、それぞれの電気信号を生成するように構成され、これらの電気信号の各々は、変調光ストリームのそれぞれの空間サブセットの強度を時間の関数として表す。
【００１９】
サンプリングサブシステムは、電気信号のサンプルを、好ましくは並行して取得するように構成される。これらのサンプルは、それぞれ電気信号に対応するサンプルサブセットを含む。換言すれば、各サンプルサブセットは、それぞれの電気信号のサンプルを含む。これらのサンプルサブセットは、入射光ストリームを表す最終画像のそれぞれのサブ画像を再構成するために使用することができる。サブ画像は最終画像よりも小さいので、それぞれのサブ画像を再構成するために必要な各電気信号のサンプル数は、単画素カメラが最終画像を再構成するために取得する必要があるサンプルの数よりも大幅に少ない。従って、最終画像の圧縮データ同等物を取得するために必要な時間が大幅に短縮される。このことは、ビデオ用途では、撮像システムが単画素カメラよりも高いフレームレートで圧縮画像を取得できることを意味する。
【００２０】
別の実施形態の組では、撮像システムが、変調前光学サブシステム、複数の光変調ユニット、複数の光検出装置、及び複数のアナログ／デジタル変換器（ＡＤＣ）を含むことができる。
【００２１】
変調前光学サブシステムは、入射光ストリームを受光し、この入射光ストリームを複数の光サブストリームに分離するように構成される。この光サブストリームは、入射光ストリームの非重複領域にそれぞれ対応する。従って、入射光ストリームは空間的に分割される。
【００２２】
光変調ユニットは、それぞれの変調光サブストリームを生成するために、光サブストリームをそれぞれ変調するように構成される。光変調ユニットの各々は、それぞれの変調光サブストリームを生成するために、それぞれの光サブストリームをそれぞれの一連の空間パターンで変調するように構成される。光変調ユニットの各々は、それぞれの光変調素子のアレイを含む。
【００２３】
光検出装置は、変調光サブストリームをそれぞれ受光してそれぞれの電気信号を生成するように構成される。各光検出装置により生成された電気信号は、それぞれの変調光サブストリームの強度を時間の関数として表す。
【００２４】
ＡＤＣは、電気信号を、好ましくは並行してサンプリングするように構成される。ＡＤＣの各々は、光検出装置のそれぞれにより生成された電気信号のサンプルシーケンスを取り込むように構成される。各ＡＤＣによって取り込まれたサンプルシーケンスは、入射光ストリームの領域のそれぞれを表すそれぞれのサブ画像を構成するために使用することができる。このサブ画像を結合して最終画像を形成することができる。
【００２５】
撮像システムは、変調光サブストリームのそれぞれからの光を光検出装置のそれぞれの上に導くように構成された複数の変調後光学サブシステムを含むこともできる。
【００２６】
米国仮特許出願第６１／３７２，８２６号に様々な追加の実施形態が記載されており、この特許出願は、本明細書に完全に記載されているかのようにその全体が引用により本明細書に組み入れられる。
【００２７】
以下の好ましい実施形態の詳細な説明を以下の図面とともに検討すれば、本発明をより良く理解することができる。
【図面の簡単な説明】
【００２８】
【図１】従来技術による圧縮センシングカメラを示す図である。
【図２Ａ】圧縮撮像サンプル及び背景光レベルのサンプルを取り込むシステム１００の１つの実施形態を示す図である。（ＬＭＵは、「光変調ユニット」の頭字語であり、ＭＬＳは、「変調光ストリーム」の頭字語であり、ＬＳＤは、「光検出装置」の頭字語である。)
【図２Ｂ】処理装置１５０を含むシステム１００の実施形態を示す図である。
【図２Ｃ】受光光Ｌを光変調ユニット１１０上に集光する光学サブシステム１０５を含むシステム１００の実施形態を示す図である。
【図２Ｄ】変調光ストリームＭＬＳを光検出装置１３０上に案内又は集光又は集中させる光学サブシステム１１７を含むシステム１００の実施形態を示す図である。
【図２Ｅ】レンズ１１７Ｌによって光学サブシステム１１７を実現した実施形態を示す図である。
【図２Ｆ】光変調ユニット１１０に一連の空間パターンを供給するように構成された制御装置を含むシステム１００の実施形態を示す図である。
【図３Ａ】（集合的にラベル１１０Ｍで示す）複数のミラーによって光変調ユニット１１０を実現したシステム２００を示す図である。
【図３Ｂ】処理装置１５０を含むシステム２００の実施形態を示す図である。
【図４】変調光ストリームＭＬＳを光検出装置１３０上に案内又は集光又は集中させる光学サブシステム１１７を含むシステム２００の実施形態を示す図である。
【図５Ａ】レンズ１１７Ｌによって光学サブシステム１１７を実現したシステム２００の実施形態を示す図である。
【図５Ｂ】直列のミラー１１７Ｍ及びレンズ１１７Ｌによって光学サブシステム１１７を実現したシステム２００の実施形態を示す図である。
【図５Ｃ】ＴＩＲプリズム対１０７を含むシステム２００の別の実施形態を示す図である。
【図６】画像の圧縮表現の取得を並行化するためのシステム６００の１つの実施形態を示す図である。
【図７】システム６００が取得したサンプルサブセットをどのように使用して、入射光ストリームを表す完全な画像のそれぞれのサブ画像を構成できるかを示す図である。
【図８】処理装置１５０を含むシステム６００の実施形態を示す図である。
【図９】光検出装置（ＬＳＤ）につき１つのアナログ／デジタル変換器（ＡＤＣ）を含むシステム６００の実施形態を示す図である。
【図１０】変調光を光検出装置のそれぞれに導く複数のレンズを含むシステム６００の実施形態を示す図である。
【図１１】変調光を２×２の光検出素子のアレイ上に導く２×２のレンズ（又は小レンズ）アレイを含むシステム６００の実施形態を示す図である。
【図１２】リレー光学系６２０ＲＯ、小レンズアレイ６２０ＬＡ及びセンサアレイ６３０ＳＡを含むシステム６００の実施形態を示す図である。
【図１３】１つの実施形態における、光検出装置により生成された電気信号の例を示す図である。
【図１４】光変調アレイ（左側）の４つの象限をいかにして４つの対応する光検出装置にマッピングし、対応するサンプルサブセットを使用して、結合時に入射光ストリーム（図示せず、図６を参照）が搬送する画像を表す４つの対応するサブ画像を構成できるかを示す図である。
【図１５】ファイバ結合装置６２０ＦＣ、及び変調光ストリームの空間サブセットをそれぞれの光検出装置に送出するための複数のファイバ束６２０ＦＢを含むシステム６００の実施形態を示す図である。
【図１６】ＴＩＲプリズム対１２２０及びデジタルマイクロミラーデバイス１１０Ｍを含むシステム６００の実施形態を示す図である。
【図１７Ａ】変調光ストリームの空間サブセットをそれぞれの光検出装置に送出する複数の光導体を含むシステム６００の実施形態を示す図である。
【図１７Ｂ】光導体の１つの実施形態を２つの異なる表現で示す図である。
【図１８】レンズ６２０ＦＬが変調光ストリームを光検出装置６３０上に集光するシステム６００の実施形態を示す図である。
【図１９】レンズ６２０ＦＬが変調光ストリームを光検出アレイ６３０Ａ上に集光するシステム６００の実施形態を示す図である。
【図２０】光検出装置のアレイからサンプルの行を読み出す回路の実施形態を示す図である。
【図２１】光検出装置のアレイからサンプルを読み出す回路の実施形態を示す図である。
【図２２Ａ】変調光ストリームを空間部分に分離する方法を示す図である。
【図２２Ｂ】変調光ストリームを空間部分に分離する方法を示す図である。
【図２２Ｃ】変調光ストリームを空間部分に分離する方法を示す図である。
【図２２Ｄ】変調光ストリームを空間部分に分離する方法を示す図である。
【図２２Ｅ】変調光ストリームを空間部分に分離する方法を示す図である。
【図２２Ｆ】変調光ストリームを空間部分に分離する方法を示す図である。
【図２３】圧縮画像表現の取得を並行化する方法の実施形態を示す図である。
【図２４】光検出装置につき１つのＡＤＣを含むシステム２４００の１つの実施形態を示す図である。
【図２５】光検出アレイ２５３０からサンプルグループを読み出すように構成された、回路２５４０を含むシステム２５００の実施形態を示す図である。
【図２６Ａ】圧縮撮像を行うシステム２６００の１つの実施形態を示す図である。
【図２６Ｂ】異なるグループレートの値に関してシステム２５００から獲得できる１秒当たりの画像フレームの数、及びＦＰＡ素子当たりの光変調素子（マイクロミラーなど）の数を示すテーブルである。ＦＰＡは、「焦点面アレイ」の頭字語である。
【図２７Ａ】特に光検出装置毎に専用Ａ／Ｄ変換器を含むべき圧縮撮像装置に関して、目標有効画像取得レートを満たすように圧縮撮像装置を設計する方法の実施形態を示す図である。
【図２７Ｂ】特に光検出装置毎に専用Ａ／Ｄ変換器を含むべき圧縮撮像装置に関して、目標有効画像取得レートを満たすように圧縮撮像装置を設計する方法の実施形態を示す図である。
【図２８Ａ】特に焦点面アレイを含むべき圧縮撮像装置に関して、目標有効画像取得レートを満たすように圧縮撮像装置を設計する方法の実施形態を示す図である。
【図２８Ｂ】特に焦点面アレイを含むべき圧縮撮像装置に関して、目標有効画像取得レートを満たすように圧縮撮像装置を設計する方法の実施形態を示す図である。
【図２９Ａ】入射光ビームを変調前にいくつかのサブストリームに空間的に分離するシステム２９００の１つの実施形態を示す図である。
【図２９Ｂ】入射ビームを２つのサブストリームに分離するシステム２９００の実施形態を示す図である。
【図３０Ａ】入射光ストリームを２つのサブストリームに分離するために使用するミラー２９１０Ｍを示す図である。
【図３０Ｂ】入射光ストリームを３つのサブストリームに分離するために使用するミラー２９１０Ｍａ及び２９１０Ｍｂを示す図である。
【図３１Ａ】入射光ストリームを２つのサブストリームに分離するために使用する傾斜ミラーを示す図である。
【図３１Ｂ】プリズムを使用して入射光ストリームを２つのサブストリームに分離できるようにする方法を示す図である。
【図３１Ｃ】プリズムを使用して入射光ストリームを２つのサブストリームに分離できるようにする方法を示す図である。
【図３２Ａ】入射光ストリームを３つのサブストリームに分離するために使用する、点Ｐで交わる反射面（又は反射表面）を有するオブジェクト２９１０Ｃの実施形態を示す図である。
【図３２Ｂ】１つの実施形態による、入射光ビームの中心軸に沿って見られる分離のパターンを示す図である。
【図３３】画像の圧縮センシングサンプルの取得を並行化する方法３３００の１つの実施形態を示す図である。
【図３４Ａ】入射光ストリームを、同じ画像情報を含む２つのストリームに分割し、共通画像のサンプル取得を並行化するシステム３４００の１つの実施形態を示す図である。
【図３４Ｂ】ビームスプリッタとしての光学分離ユニット３４１０の１つの実施形態を示す図である。
【図３５】入射光ストリームを、同じ画像情報を含むＧ個のストリームに分割し、共通画像のサンプル取得を並行化するシステム３５００の１つの実施形態を示す図である。
【図３６】本明細書で説明する様々な方法のいずれかを実施するプログラムなどのコンピュータプログラムを実行するように構成されたコンピュータシステム３６００の１つの実施形態を示す図である。
【発明を実施するための形態】
【００２９】
本発明は、様々な修正及び代替形態が可能であるが、図面には本発明の特定の実施形態を一例として示し、本明細書ではこれらについて詳細に説明する。しかしながら、図面及びこれに関する詳細な説明は、開示する特定の形態に本発明を限定することを意図するものではなく、むしろ添付の特許請求の範囲によって定められる本発明の思想及び範囲内にある全ての修正、同等物及び代替手段を含むことを意図するものであると理解されたい。
【００３０】
以下の特許出願は、圧縮センシング及び圧縮撮像に関する教示を提供するものである。
【００３１】
２００５年４月２１日に出願された「光学画像圧縮方法及び装置（Ｍｅｔｈｏｄ  ａｎｄ  Ａｐｐａｒａｔｕｓ  ｆｏｒ  Ｏｐｔｉｃａｌ  Ｉｍａｇｅ  Ｃｏｍｐｒｅｓｓｉｏｎ）」という名称の米国仮特許出願第６０／６７３，３６４号。
【００３２】
２００５年５月１０日に出願された「複数のソースからデータを再構成する方法及び装置（Ｍｅｔｈｏｄ  ａｎｄ  Ａｐｐａｒａｔｕｓ  ｆｏｒ  Ｒｅｃｏｎｓｔｒｕｃｔｉｎｇ  Ｄａｔａ  ｆｒｏｍ  Ｍｕｌｔｉｐｌｅ  Ｓｏｕｒｃｅｓ）」という名称の米国仮特許出願第６０／６７９，２３７号。
【００３３】
２００５年１０月２５日に出願された「圧縮サンプリング及び再構成のためのランダムフィルタ（Ｒａｎｄｏｍ  Ｆｉｌｔｅｒｓ  ｆｏｒ  Ｃｏｍｐｒｅｓｓｉｖｅ  Ｓａｍｐｌｉｎｇ  ａｎｄ  Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）」という名称の米国仮特許出願第６０／７２９，９８３号。
【００３４】
２００５年１１月１日に出願された「アナログ／情報変換のための圧縮センシング方法及び装置（Ｍｅｔｈｏｄ  ａｎｄ  Ａｐｐａｒａｔｕｓ  ｆｏｒ  Ｃｏｍｐｒｅｓｓｉｖｅ  Ｓｅｎｓｉｎｇ  ｆｏｒ  Ａｎａｌｏｇ−ｔｏ−Ｉｎｆｏｒｍａｔｉｏｎ  Ｃｏｎｖｅｒｓｉｏｎ）」という名称の米国仮特許出願第６０／７３２，３７４号。
【００３５】
２００５年１１月１０日に出願された「分散圧縮センシング方法及び装置（Ｍｅｔｈｏｄ  ａｎｄ  Ａｐｐａｒａｔｕｓ  ｆｏｒ  Ｄｉｓｔｒｉｂｕｔｅｄ  Ｃｏｍｐｒｅｓｓｅｄ  Ｓｅｎｓｉｎｇ）」という名称の米国仮特許出願第６０／７３５，６１６号。
【００３６】
２００６年１月１６日に出願された「Ｓｕｄｏコード：スパース信号の効率的な圧縮サンプリングアルゴリズム（Ｓｕｄｏｃｏｄｅｓ：  Ｅｆｆｉｃｉｅｎｔ  Ｃｏｍｐｒｅｓｓｉｖｅ  Ｓａｍｐｌｉｎｇ  Ａｌｇｏｒｉｔｈｍｓ  ｆｏｒ  Ｓｐａｒｓｅ  Ｓｉｇｎａｌｓ）」という名称の米国仮特許出願第６０／７５９，３９４号。
【００３７】
２００６年４月２１日に出願された「圧縮撮像装置のための方法及び装置（Ｍｅｔｈｏｄ  ａｎｄ  Ａｐｐａｒａｔｕｓ  ｆｏｒ  Ｃｏｍｐｒｅｓｓｉｖｅ  Ｉｍａｇｉｎｇ  Ｄｅｖｉｃｅ）」という名称の米国特許出願第１１／３７９，６８８号。
【００３８】
２０１０年６月１日に出願された「圧縮撮像装置のための方法及び装置（Ｍｅｔｈｏｄ  ａｎｄ  Ａｐｐａｒａｔｕｓ  ｆｏｒ  Ｃｏｍｐｒｅｓｓｉｖｅ  Ｉｍａｇｉｎｇ  Ｄｅｖｉｃｅ）」という名称の米国特許出願第１２／７９１，１７１号。
【００３９】
用語
記憶媒体は、情報の記憶及び検索を行うように構成された非一時的媒体である。記憶媒体の例には、ＲＡＭ及びＲＯＭなどの様々な種類の半導体ベースメモリ、磁気ディスク、テープ、ストリップ及びフィルムなどの様々な種類の磁気媒体、ＣＤ−ＲＯＭ及びＤＶＤ−ＲＯＭなどの様々な種類の光媒体、電荷及び／又はその他の様々な物理量のいずれかの蓄積に基づく様々な媒体、様々なリソグラフィ技術を使用して製造された媒体などがある。「記憶媒体」という用語は、その意味範囲に、所与の記憶媒体が、システム内の異なるチップ上又はネットワーク内の異なるコンピュータ上などの異なる場所に存在する２又はそれ以上の記憶媒体を結合したものであり得るという可能性を含む。通常、記憶媒体はコンピュータ可読であり、例えばコンピュータによって読み出すことができる。
【００４０】
コンピュータ可読記憶媒体は、プログラム命令及び／又はデータを記憶するように構成することができ、このプログラム命令は、コンピュータシステムにより実行された場合、このコンピュータシステムが、本明細書で説明する方法の実施形態のいずれか、又は本明細書で説明する方法の実施形態のあらゆる組み合わせ、又は本明細書で説明する方法の実施形態のいずれかのあらゆるサブセット、又はこのようなサブセットのあらゆる組み合わせなどの方法を実行するようにする。
【００４１】
コンピュータシステムは、記憶媒体上に記憶されたプログラム命令を実行するように構成された少なくとも１つのプロセッサを有するあらゆる装置（又は装置の組み合わせ）である。コンピュータシステムの例には、パーソナルコンピュータ（ＰＣ）、ワークステーション、ラップトップコンピュータ、タブレット型コンピュータ、メインフレームコンピュータ、サーバコンピュータ、クライアントコンピュータ、ネットワーク又はインターネット機器、ハンドヘルド装置、モバイル装置、携帯情報端末（ＰＤＡ）、コンピュータベースのテレビシステム、グリッドコンピューティングシステム、ウェアラブルコンピュータ、生体内に植え込まれたコンピュータ、ヘッドマウント式ディスプレイに埋め込まれたコンピュータ、分散ネットワークを形成するセンサに埋め込まれたコンピュータなどがある。
【００４２】
プログラマブルハードウェア要素（ＰＨＥ）は、プログラマブルインターコネクトシステムを介して接続された複数のプログラマブル機能ブロックを含むハードウェア装置である。ＰＨＥの例には、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、ＰＬＤ（プログラマブルロジックデバイス）、ＦＰＯＡ（フィールドプログラマブルオブジェクトアレイ）及びＣＰＬＤ（コンプレックスＰＬＤ）がある。プログラマブル機能ブロックは、細粒度（組み合わせロジック又はルックアップテーブル）から粗粒度（算術論理演算ユニット又はプロセッサコア）まで多岐にわたることができる。
【００４３】
本明細書で使用する「光」という用語は、その意味範囲に、可視スペクトル、紫外（ＵＶ）スペクトル、赤外（ＩＲ）スペクトル及びテラヘルツ（ＴＨｚ）スペクトルを含む波長範囲［λL、λU］内にあるスペクトルを有するあらゆる電磁放射線を含むことを意味する。従って、本明細書では、例えば、可視光線、又は紫外線、又は赤外線、又はテラヘルツ線、又はこれらのあらゆる組み合わせを「光」とする。
【００４４】
いくつかの実施形態では、コンピュータシステムを、プロセッサ（又はプロセッサの組）及び記憶媒体を含むように構成することができ、この記憶媒体は、プログラム命令を記憶し、プロセッサは、記憶媒体に記憶されたプログラム命令を読み込んで実行するように構成され、プログラム命令は、プロセッサにより、本明細書で説明する様々な方法の実施形態のいずれか、又は本明細書で説明する方法の実施形態のあらゆる組み合わせ、又は本明細書で説明する方法の実施形態のいずれかのあらゆるサブセット、又はこのようなサブセットのあらゆる組み合わせなどの方法を実施するように実行可能である。
【００４５】
光に作用するシステム１００
光に作用するシステム１００は、図２Ａに示すように構成することができる。システム１００は、光変調ユニット１１０、光検出装置１３０、及びアナログ／デジタル変換器（ＡＤＣ）１４０を含むことができる。
【００４６】
光変調ユニット１１０は、変調光ストリーム（ＭＬＳ）を生成するために、受光した光ストリームＬを一連の空間パターンで変調するように構成される。この一連の空間パターンを光ストリームに連続して適用することにより、光ストリームの連続するタイムスライスが、これらの空間パターンのうちの連続する空間パターンでそれぞれ変調されるようにすることができる。（光ストリームＬを空間パターンで連続的に変調することにより、光ストリームにタイムスライスの構造が課される。）光変調ユニット１１０は、光ストリームの対応する部分を変調するように構成された複数の光変調素子を含む。空間パターンの各々は、光変調素子の各々の変調量（又は範囲、又は値）を指定する。数学的には、所与の空間パターンを適用する光変調ユニットの動作を、光ストリームＬのタイムスライスを表す光照射野ベクトル（ｘij）とスカラー変調値（ｍij）のベクトルの素子単位の乗算を行って、変調光ストリームのタイムスライスを得ることと考えてもよい：（ｍij）＊（ｘij）＝（ｍij＊ｘij）。ベクトル（ｍij）は、空間パターンにより指定される。各光変調素子は、対応するスカラー因子により、対応するストリーム部分の強度を効果的にスケーリングする。
【００４７】
光変調ユニット１１０は、様々な方法で実現することができる。いくつかの実施形態では、ＬＭＵ１１０を、個別に配向を制御できる複数のミラー（マイクロミラーなど）によって実現することができる。別の実施形態の組では、ＬＭＵ１１０を、ＬＣＤシャッタのアレイなどと同様に、個別に透過率を制御できる素子のアレイによって実現することができる。各素子に供給される電気制御信号は、光が素子を透過できる範囲を制御する。さらに別の実施形態の組では、ＬＭＵ１１０を、電気制御信号に応答して開閉することによって対応するアパーチャを通る光の流れを制御する、アパーチャのアレイを覆う独立制御可能な機械シャッタ（微小機械シャッタなど）のアレイによって実現することができる。さらに別の実施形態の組では、ＬＭＵ１１０を、全体が電気制御信号に応答して動くことにより対応する穿孔を通る光の流れを制御する有孔機械プレートによって実現することができる。さらに別の実施形態の組では、ＬＭＵ１１０を、各々が制御可能に光を受け取って再送するトランシーバ素子のアレイによって実現することができる。さらに別の実施形態の組では、ＬＭＵ１１０を、回折格子ライトバルブ（ＧＬＶ）デバイスによって実現することができる。さらに別の実施形態では、ＬＭＵ１１０を、反射型液晶（ｌｉｑｕｉｄ−ｃｒｙｓｔａｌ−ｏｎ−ｓｉｌｉｃｏｎ（ＬＣＯＳ））素子によって実現することができる。
【００４８】
いくつかの実施形態では、光変調素子がアレイ（２次元アレイ又は１次元アレイなど）の形で配置される。様々なアレイ形状のあらゆるものが企図される。例えば、いくつかの実施形態では、このアレイが正方形アレイ又は矩形アレイである。別の実施形態では、アレイが六角形である。いくつかの実施形態では、光変調素子が、空間的にランダムに配置される。
【００４９】
光検出装置１３０は、変調光ストリームＭＬＳを受光し、この変調光ストリームの強度を時間の関数として表すアナログ電気信号ＩMLS（ｔ）を生成するように構成される。
【００５０】
光検出装置１３０は、１又はそれ以上の光検出素子を含むことができる。「光検出素子」という用語は、「光信号と電気信号の変換部」を意味すると解釈することができる。例えば、フォトダイオードは光検出素子である。他の様々な実施形態では、光検出素子が、金属−半導体−金属（ＭＳＭ）光検出器、フォトトランジスタ、光電管及び光電子増倍管などのデバイスを含むことができる。
【００５１】
いくつかの実施形態では、光検出装置１３０が、１又はそれ以上の光検出素子により生成されたアナログ電気信号を増幅するための、相互インピーダンス増幅器（ＴＩＡ）などの１又はそれ以上の増幅器を含む。
【００５２】
ＡＤＣ１４０は、アナログ電気信号ＩMLS（ｔ）のサンプルシーケンス｛ＩMLS（ｋ）｝を取得する。これらのサンプルの各々は、光ストリームＬの対応するタイムスライスと、空間パターンのうちの対応するパターンとの間の内積として解釈することができる。サンプルの組｛ＩMLS（ｋ）｝は、画像（又はビデオシーケンス）の圧縮表現などの符号化表現を含み、これらのサンプルの組を使用して、圧縮センシングの分野で知られているいずれかの構成アルゴリズムに基づいて画像（又はビデオシーケンス）を構成することができる。（ビデオシーケンスの構成では、サンプルを隣接するサブセットに区分化し、その後このサブセットを処理して対応する画像を構成することができる。）
【００５３】
いくつかの実施形態では、サンプル｛ＩMLS（ｋ）｝を、画像（又はビデオ）構成以外の又はこれに加えた何らかの目的に使用することができる。例えば、システム１００（又はその他の何らかのシステム）は、補正されたサンプルに作用して、信号又はオブジェクトの存在を検出すること、信号又はオブジェクトを識別すること、信号又はオブジェクトを分類すること、信号又はオブジェクトに関する１又はそれ以上のパラメータを推定すること、信号又はオブジェクトを追跡することなどの推論タスクを行うことができる。いくつかの実施形態では、システム１００によって観察中のオブジェクトを、そのサンプルセット｛ＩMLS（ｋ）｝又はそのサンプルセットから導出されたパラメータが一群の記憶されたサンプルセット（又はパラメータセット）のうちの１つに類似することに基づいて識別又は分類することができる。
【００５４】
いくつかの実施形態では、光検出装置１３０が、アナログ電気信号をＡ／Ｄ変換前に増幅するための相互インピーダンス増幅器（ＴＩＡ）などの増幅器を含むことができる。
【００５５】
いくつかの実施形態では、光検出装置１３０が、正確に１つの光検出素子を含む。例えば、この単一の光検出素子はフォトダイオードであってもよい。
【００５６】
いくつかの実施形態では、光検出装置１３０が、複数の光検出素子（フォトダイオードなど）を含むことができる。各光検出素子は、その光検出面にぶつかる光を、この光の強度を時間の関数として表す対応するアナログ電気信号に変換することができる。いくつかの実施形態では、光検出素子により生成されたアナログ電気信号をデジタル化前に増幅できるように、各光検出素子を対応する増幅器に結合することができる。システム１００は、各光検出素子が、例えば変調光ストリームの対応する空間部分（又はスペクトル部分）を受光するように構成することができる。
【００５７】
１つの実施形態では、光検出素子によってそれぞれ生成されたアナログ電気信号を合計して、合計信号を取得することができる。その後、この合計信号をＡＤＣ１４０によりデジタル化して、サンプルシーケンス｛ＩMLS（ｋ）｝を取得することができる。別の実施形態では、アナログ電気信号の各々を独自のＡＤＣで個々にデジタル化して、対応するサンプルシーケンスを取得することができる。その後、サンプルシーケンスを追加して、シーケンス｛ＩMLS（ｋ）｝を取得することができる。別の実施形態では、光検出素子により生成されたアナログ電気信号を、光検出素子よりも少ない数のＡＤＣにより、時間多重化を使用してサンプリングすることができる。例えば、１つの実施形態では、システム１００を、２又はそれ以上の対応する光検出素子の十分に高いレートの出力間でＡＤＣの入力を切り替えることによってアナログ電気信号の２又はそれ以上をサンプリングするように構成することができる。
【００５８】
いくつかの実施形態では、光検出装置１３０が、光検出素子のアレイを含むことができる。様々なサイズ、構成及び材料技術のあらゆるアレイが企図される。１つの実施形態では、光検出装置１３０が、読み出し集積回路に結合された焦点面アレイを含む。１つの実施形態では、光検出装置１３０が、セルのアレイを含むことができ、各セルは、対応する光検出素子を含むとともに、光検出素子により生成された光誘起電荷を一体化して保持し、この一体化した電荷を対応するセル電圧に変換するように構成される。光検出装置は、１又はそれ以上のＡＤＣを使用してセル電圧をサンプリングするように構成された回路を含む（又は、この回路に結合する）こともできる。
【００５９】
いくつかの実施形態では、光検出装置１３０が、複数の光検出素子（又は光検出素子のアレイ）を含むことができ、各光検出素子は、変調光ストリームの対応する空間部分を受光するように構成され、変調光ストリームの各空間部分は、光変調素子のアレイの対応する小領域からもたらされる。（例えば、光検出装置１３０は、四分割フォトダイオードを含むことができ、フォトダイオードの各象限は、光変調素子のアレイの対応する象限からの変調光を受け取るように構成される。別の例として、光検出素子１３０は、バイセル型フォトダイオードを含むこともできる。）各光検出素子は、対応する空間部分の強度を時間の関数として表す対応する信号を生成する。各信号を（対応するＡＤＣなどにより）デジタル化して、対応するサンプルシーケンスを取得することができる。各サンプルシーケンスを処理して、対応するサブ画像を回復することができる。これらのサブ画像を結合して、全体画像を形成することができる。
【００６０】
いくつかの実施形態では、光検出装置１３０が、少数の光検出素子（例えば、それぞれの実施形態において、１つ、２つ、８つ未満、１６個未満、３２個未満、６４個未満、１２８個未満、２５６個未満）を含む。これらの実施形態の光検出装置に含まれる光検出素子は数が少ない（例えば、典型的な最新のＣＣＤベースの又はＣＭＯベースのカメラよりも少ない）ので、これらの実施形態のいずれかを構成するエンティティは、より高い感度、感度範囲の拡大、新たな（単複の）感度範囲、ダイナミックレンジの拡大、より高い帯域幅／短い応答時間などの、画素数の多い最新のアレイベースの画像センサの能力を上回る特徴を実現するために、１つの光検出素子により多くのコストを掛ける余裕を持つことができる。さらに、この光検出装置に含まれる光検出素子は数が少ないので、これらの実施形態のいずれかを構成するエンティティは、画素数の多い焦点面アレイ（ＦＰＡ）内に生産されるほど十分に成熟していない（新しい材料又は材料の組み合わせに基づく）より新しい光検出技術を使用することができる。例えば、超格子、量子ドット、カーボンナノチューブ及びグラフェンなどの新しい検出器材料は、検出器ノイズを低減し、感度を高め、及び／又は検出器の冷却要件を低下させることにより、ＩＲ検出器の性能を大幅に高めることができる。
【００６１】
１つの実施形態では、光検出装置１３０が、熱電冷却型ＩｎＧａＡｓ検出器である。（ＩｎＧａＡｓは、「インジウムガリウムヒ素」を表す。）他の実施形態では、（液体窒素又はスターリングエンジンなどの）その他の機構によってＩｎＧａＡｓ検出器を冷却することができる。さらに他の実施形態では、ＩｎＧａＡｓ検出器が、冷却を伴わずに動作することができる。さらに他の実施形態では、ＭＣＴ（水銀−テルル化カドミウム）、ＩｎＳｂ（アンチモン化インジウム）及びＶＯｘ（酸化バナジウム）などの異なる検出器材料を使用することができる。
【００６２】
異なる実施形態では、光検出装置１３０が、異なる波長又は波長範囲の光を感知することができる。いくつかの実施形態では、光検出装置１３０が、可視スペクトル全体又は上述したような範囲［λL、λU］全体などの幅広い波長範囲にわたる光を感知することができる。
【００６３】
いくつかの実施形態では、光検出装置１３０が、１又はそれ以上の二重サンドイッチ型光検出器を含むことができる。二重サンドイッチ型光検出器は、一方の上に他方を積み重ねた（又は積層した）２つのフォトダイオードを含む。
【００６４】
１つの実施形態では、光検出装置１３０が、１又はそれ以上のアバランシェフォトダイオードを含むことができる。
【００６５】
いくつかの実施形態では、光検出装置１３０の前にフィルタを配置して、変調光ストリームを特定の範囲の波長又は偏光に制限することができる。従って、光検出装置１３０により生成される信号ＩＭＬＳ（ｔ）は、この制限された光ストリームの強度を表すことができる。例えば、ＩＲ光のみを通過させるフィルタを使用することにより、事実上、光検出装置をＩＲ検出器に変換することができる。サンプル原理を適用して、事実上、光検出装置を、赤色又は青色又は緑色又はＵＶ又はいずれかの所望の波長帯域のための検出器、又は特定の偏光光のための検出器に変換することができる。
【００６６】
いくつかの実施形態では、システム１００が、空間パターンの光変調ユニットへの適用と同期して回転する色相環を含む。この色相環は、回転すると、変調光ストリームＭＬＳにいくつかの光バンドパスフィルタを周期的に適用する。各帯域フィルタは、変調光ストリームを対応する波長のサブバンドに制限する。従って、ＡＤＣ１４０によって取り込まれたサンプルは、サブバンドの各々の強度のサンプルを含むようになる。これらのサンプルを多重分離して、別個のサブバンドシーケンスを形成することができる。各サブバンドシーケンスを処理して、対応するサブバンド画像を生成することができる。（一例として、色相環は、カラー撮像をサポートするために赤色通過フィルタ、緑色通過フィルタ及び青色通過フィルタを含むことができる。）
【００６７】
いくつかの実施形態では、システム１００が、メモリ（或いは１又はそれ以上の種類のメモリの組）を含むことができる。
【００６８】
いくつかの実施形態では、システム１００が、例えば図２Ｂに示すような処理装置１５０を含むことができる。処理装置１５０は、デジタル回路又はデジタル回路の組み合わせとすることができる。例えば、この処理装置は、マイクロプロセッサ（又は相互接続されたマイクロプロセッサのシステム）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのプログラマブルハードウェア要素、特定用途向け集積回路（ＡＳＩＣ）、又はこのような要素のいずれかの組み合わせであってもよい。処理装置１５０は、画像／ビデオ構成、システム制御、ユーザインターフェイス、統計分析及び１又はそれ以上の推論タスクなどの１又はそれ以上の機能を実行するように構成することができる。
【００６９】
システム１００（処理装置１５０など）は、システム１００又はその他の何らかのシステム内に存在するメモリなどのメモリにサンプル｛ＩMLS（ｋ）｝を記憶することができる。
【００７０】
１つの実施形態では、処理装置１５０が、サンプル｛ＩMLS（ｋ）｝に作用して、画像又はビデオシーケンスを生成するように構成される。この実施形態では、処理装置１５０が、ソフトウェア（すなわち、プログラム命令）、特に画像／ビデオ構成アルゴリズムを実行するソフトウェアを実行するように構成されたマイクロプロセッサを含むことができる。１つの実施形態では、システム１００が、通信チャネルを介して、補正されたサンプルをその他の何らかのシステムに送信するように構成される。（空間パターンがランダムに生成される実施形態では、システム１００が、空間パターンを生成するために使用するランダムシードを送信することもできる。）このその他のシステムは、これらのサンプルに作用して画像／ビデオを構成することができる。システム１００は、無線チャネル、有線チャネル、ファイバ光学チャネル、音響チャネル、レーザベースのチャネルなどの１又はそれ以上の通信チャネルを介してデータを送信（及び恐らくは受信も）するように構成された１又はそれ以上のインターフェイスを有することができる。
【００７１】
いくつかの実施形態では、処理装置１５０が、様々なアルゴリズムのいずれか及び／又は様々な変換のいずれかを使用して画像／ビデオ構成を実行するように構成される。システム１００は、ユーザが画像／ビデオ構成を行うための所望のアルゴリズム及び／又は所望の変換を選択できるようにすることができる。
【００７２】
１つの実施形態では、システム１００が、光ビーム（レーザビームなど）を生成し、この光ビームをデータ信号で変調して、この変調光ビームを空間内又は光ファイバ上に送信するように構成された光送信機を含むことができる。システム１００は、空間又は光ファイバから変調光ビームを受光し、この受光した変調光ビームからデータストリームを回収するように構成された光受信機を含むこともできる。
【００７３】
１つの実施形態では、システム１００を、ユーザが許容可能な時間内に画像（又はビデオ）構成を行うには不十分な処理リソースなどの最低限の処理リソースを有する低コストセンサシステムとして構成することができる。この実施形態では、システム１００が、サンプル｛ＩMLS（ｋ）｝を記憶及び／又は送信して、より十分に処理リソースを与えられた別のエージェントがサンプルに基づいて画像／ビデオ構成を行えるようにすることができる。
【００７４】
いくつかの実施形態では、システム１００が、例えば図２Ｃに示すような光変調ユニット１１０に光ストリームＬが到達する前に、この光ストリームＬを修正又は調整するように構成された光学サブシステム１０５を含むことができる。例えば、この光学サブシステム１０５を、環境から光ストリームＬを受光し、この光ストリームを光変調ユニット１１０の変調面上に集光するように構成することができる。光学サブシステム１０５は、カメラレンズ（又はレンズの組）を含むことができる。このレンズ（又はレンズの組）を、撮像／検出／取り込み対象の外部オブジェクトまでの距離範囲に対応するように調整することができる。
【００７５】
いくつかの実施形態では、システム１００が、変調光ストリームＭＬＳを光検出装置１３０の光検出面（又は光検出表面）上に導く光学サブシステム１１７を含むことができる。
【００７６】
いくつかの実施形態では、光学サブシステム１１７が、１又はそれ以上のレンズ及び／又は１又はそれ以上のミラーを含むことができる。
【００７７】
いくつかの実施形態では、光学サブシステム１１７が、変調光ストリームを光検出面（又は光検出表面）上に集光するように構成される。「集光する」という用語は、対物面上のある点から分岐した光線（光子）が像面上のある点（又は許容できるほど小さなスポット）に収束する状態を達成しようとする試みを意味する。典型的には、「集光する」という用語は、対物面の点と像面の点（又は像面のスポット）の間の連続性（対物面上の互いに近くの点が、像面上の互いに近くの点（又はスポット）にそれぞれマッピングされること）も意味する。光検出素子のアレイを含むシステムの実施形態の少なくともいくつかでは、光変調ユニットＬＭＵ上の点と光検出アレイ上の点（又はスポット）の間に連続性があるように変調光ストリームＭＬＳが光検出アレイ上に集光されることが望ましいと思われる。
【００７８】
いくつかの実施形態では、光学サブシステム１１７を、変調光ストリームＭＬＳを光検出装置１３０の光検出面（又は光検出表面）上に非集光的に導くように構成することができる。例えば、１つのフォトダイオードしか含まないシステムの実施形態では、フォトダイオードの光検出面に到達する光子の位置情報はすぐに失われるので、フォトダイオードの光検出面において「焦点が合った」状態を達成することはそれほど重要ではないと考えられる。
【００７９】
１つの実施形態では、光学サブシステム１１７を、変調光ストリームを受光して、この変調光ストリームを光検出装置１３０の光検出面上の領域（狭い領域など）に集光するように構成することができる。従って、変調光ストリームの直径を、光学サブシステム１１７から光検出装置１３０の光検出面（又は光検出表面）までの移動中に（可能であれば半径方向に）低減することができる。例えば、いくつかの実施形態では、直径を１／１．５倍よりも大きく低減することができる。他の実施形態では、直径を１／２倍よりも大きく低減することができる。さらに他のいくつかの実施形態では、直径を１／１０倍よりも大きく低減することができる。さらに他のいくつかの実施形態では、直径を１／１００倍よりも大きく低減することができる。さらに他のいくつかの実施形態では、直径を１／４００倍よりも大きく低減することができる。１つの実施形態では、変調光ストリームが単一の光検出素子（単一のフォトダイオードなど）の光検出面上に集光されるように直径が低減される。
【００８０】
いくつかの実施形態では、この変調光ストリームを光検出装置の光検出面（又は光検出表面）上に集光するという特徴により、光検出装置が、変調光ストリーム内の変調光部分の強度の合計（又は面積分）をいつでも検出できるようになる。（対応する空間パターンを光ストリームに適用するという変調ユニットの動作に起因して、変調光ストリームの各タイムスライスは、変調光部分の空間アンサンブルを含む。）
【００８１】
いくつかの実施形態では、変調光ストリームＭＬＳを、集光せずに、すなわち変調光ストリームの直径を減少させずに、例えば変調光ストリームの断面を含むほど十分に大きな光検出面を有するフォトダイオードを使用して変調光ストリームを集光せずに、光検出装置１３０の光検出面上に導くことができる。
【００８２】
いくつかの実施形態では、光学サブシステム１１７が、１又はそれ以上のレンズを含むことができる。図２Ｅに、両凸面レンズ又は集光レンズなどのレンズ１１７Ｌによって光学サブシステム１１７を実現した実施形態を示す。
【００８３】
いくつかの実施形態では、光学サブシステム１１７が、１又はそれ以上のミラーを含むことができる。１つの実施形態では、光学サブシステム１１７が、変調光ストリームを放物型焦点の近傍（例えば、狭い近傍）上に集光するための放物面鏡（又は球面鏡）を含む。この実施形態では、光検出装置の光検出面を焦点に位置付けることができる。
【００８４】
いくつかの実施形態では、システム１００が、変調光ストリームＭＬＳを、各々が異なる波長範囲に限定された２又はそれ以上の別個のストリーム（恐らくは数多くのストリーム）に分割又は分離するための光学機構（１又はそれ以上のプリズム及び／又は１又はそれ以上の回折格子を含む光学機構など）を含むことができる。これらの別個のストリームの各々は、別個の光検出装置によって検出することができる。（いくつかの実施形態では、波長範囲の数を、例えば８よりも多く、又は１６よりも多く、又は６４よりも多く、又は２５６よりも多く、又は１０２４よりも多くすることができる。）さらに、光学サブシステム１１７に関連して上述したように、各別個のストリームを対応する光検出装置上に導く（例えば、集光又は集中させる）ことができる。各光検出装置から取り込んだサンプルを使用して、対応する波長範囲の対応する画像を構成することができる。１つの実施形態では、変調光ストリームが、色（Ｒ、Ｇ、Ｂ）測定をサポートするように赤色、緑色及び青色のストリームに分離される。別の実施形態では、変調光ストリームを、５チャネルのマルチスペクトル画像（ＩＲ、Ｒ、Ｇ、Ｂ、ＵＶ）をサポートするようにＩＲ、赤色、緑、青色及びＵＶストリームに分離することができる。いくつかの実施形態では、変調光ストリームを、マルチスペクトル又はハイパースペクトルＩＲ撮像をサポートするように、ＩＲ帯域内のいくつかのサブバンド（隣接するサブバンドなど）に分離することができる。いくつかの実施形態では、ＩＲサブバンドの数を、例えば８よりも多く、又は１６よりも多く、又は６４よりも多く、又は２５６よりも多く、又は１０２４よりも多くすることができる。いくつかの実施形態では、変調光ストリームに、２又はそれ以上のスペクトル分離段階を受けさせることができる。例えば、第１の段階では、変調光ストリームを、ＩＲ帯域に限定されたＩＲストリーム、及びその他の帯域に限定された１又はそれ以上のさらなるストリームに分離することができる。第２の段階では、ＩＲストリームを、マルチスペクトル又はハイパースペクトルＩＲ撮像をサポートするように、ＩＲ帯域内の複数のサブバンド（数多くのサブバンド、隣接するサブバンドなど）に分離することができる。
【００８５】
いくつかの実施形態では、システム１００が、変調光ストリームＭＬＳを、各々が同じ（又はほぼ同じ）スペクトル特性又は波長範囲を有する２又はそれ以上の別個のストリームに分割又は分離する光学機構（例えば、１又はそれ以上のビームスプリッタを含む光学機構）を含むことができる。その後、これらの別個のストリームをそれぞれの帯域フィルタに通して、対応する波長帯域に各々が制限された対応する改質ストリームを取得することができる。これらの改質ストリームの各々は、別個の光検出装置によって検出することができる。（いくつかの実施形態では、波長帯域の数を、例えば、８よりも多く、又は１６よりも多く、又は６４よりも多く、又は２５６よりも多く、又は１０２４よりも多くすることができる。）さらに、光学サブシステム１１７に関連して上述したように、 これらの改質ストリームの各々を対応する光検出装置上に導く（例えば、集光又は集中させる）ことができる。各光検出装置から取り込んだサンプルを使用して、対応する波長帯域の対応する画像を構成することができる。１つの実施形態では、変調光ストリームが３つのストリームに分離され、その後、赤色通過フィルタ、緑色通過フィルタ及び青色通過フィルタでそれぞれフィルタ処理される。その後、色（Ｒ、Ｇ、Ｂ）取得をサポートするように、結果として得られる赤色、緑色及び青色のストリームを３つの光検出装置によってそれぞれ検出する。別の類似の実施形態では、５つのストリームが生成され、５つのそれぞれのフィルタでフィルタ処理され、その後、マルチスペクトル取得をサポートする（ＩＲ、Ｒ、Ｇ、Ｂ、ＵＶ）ように５つのそれぞれの光検出装置で測定される。さらに別の実施形態では、特定の帯域の変調光ストリームを、マルチスペクトル又はハイパースペクトル撮像をサポートするように複数の（例えば、数多くの）サブバンドに分離することができる。
【００８６】
いくつかの実施形態では、システム１００が、変調光ストリームＭＬＳを２又はそれ以上の別個のストリームに分割又は分離する光学機構を含むことができる。これらの別個のストリームを、それぞれの光検出装置に導く（例えば集光する）ことができる。光検出装置は、これらの異なる材料特性などにより、異なる波長範囲を感知するように構成することができる。各光検出装置から取り込んだサンプルを使用して、対応する波長範囲の対応する画像を構成することができる。
【００８７】
いくつかの実施形態では、図２Ｆに示すように、システム１００が、光変調ユニット１１０に空間パターンを供給するように構成された制御装置１２０を含むことができる。制御装置は、それ自体がパターンを生成することもでき、又は他の何らかのエージェントからパターンを受け取ることもできる。制御装置１２０及び光検出装置１３０を共通クロック信号により制御して、光検出装置１３０が、そのサンプル｛ＩＭＬＳ（ｋ）｝を取り込む動作を、光変調ユニット１１０に空間パターンを供給する制御装置の動作と協調（同期）できるようにすることができる。（システム１００は、クロック生成回路を含むことができる。）
【００８８】
いくつかの実施形態では、制御装置１２０が、光変調ユニットに空間パターンを定期的に供給することができる。
【００８９】
制御装置１２０は、デジタル回路又はデジタル回路の組み合わせとすることができる。例えば、この制御装置は、マイクロプロセッサ（又は相互接続されたマイクロプロセッサのシステム）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのプログラマブルハードウェア要素、特定用途向け集積回路（ＡＳＩＣ）、又はこのような要素のいずれかの組み合わせを含むことができる。
【００９０】
いくつかの実施形態では、制御装置１２０が、空間パターン又は空間パターンのいくつかのサブセットを生成するための乱数生成器（ＲＮＧ）又は乱数生成器の組を含むことができる。
【００９１】
いくつかの実施形態では、システム１００がバッテリ式である。いくつかの実施形態では、システム１００が、太陽光から電力を得るための１又はそれ以上の太陽電池の組及び関連する回路を含む。
【００９２】
いくつかの実施形態では、システム１００が、環境又は環境の対象部分を照明するための独自の光源を含む。
【００９３】
いくつかの実施形態では、システム１００が、構成した画像／ビデオを表示するためのディスプレイ（又はディスプレイに結合するように構成されたインターフェイス）を含むことができる。
【００９４】
いくつかの実施形態では、システム１００が、ボタン及び／又はノブの組、キーボード、キーパッド、マウス、トラックパッドなどのタッチセンサ式パッド、タッチセンサ式ディスプレイ画面、１又はそれ以上のマイク、１又はそれ以上の温度センサ、１又はそれ以上の化学センサ、１又はそれ以上の圧力センサ、１又はそれ以上の加速度計、１又はそれ以上の方位センサ（３軸ジャイロスコープセンサなど）、１又はそれ以上の近接センサ、１又はそれ以上のアンテナなどの装置のあらゆる組み合わせ又はサブセットなどの、１又はそれ以上の入力装置（及び／又は入力装置用の１又はそれ以上のインターフェイス）を含むことができる。
【００９５】
光ストリームＬを変調するために使用する空間パターンに関しては、様々な可能性があると理解されたい。いくつかの実施形態では、制御装置１２０を、あらゆる所望の空間パターンの組を使用できるようにプログラムすることができる。
【００９６】
いくつかの実施形態では、空間パターンが２進値式である。このような実施形態は、例えば、光変調素子が２状態デバイスの場合に使用することができる。いくつかの実施形態では、空間パターンがｎ状態値式であり、各パターンの各素子はｎ個の状態のうちの１つをとり、ｎは２よりも大きな整数である。（このような実施形態は、例えば、光変調素子の各々がｎ個又はそれ以上の変調状態を達成できる場合に使用することができる）。いくつかの実施形態では、例えば、光変調素子の各々が連続範囲の変調を認める場合、空間パターンは実数値式である。（なお、２状態変調素子を作製して、変調間隔中に２つの状態を負荷サイクル化することにより、連続範囲の変調を効果的に適用することもできる。）
【００９７】
空間パターンは、画像／ビデオがほぼスパースなベクトルの組（「スパース性ベクトルセット」）とは一致しない（インコヒーレントな）測定ベクトルの組に属することができる。（「インコヒーレント投影からのスパース信号検出（Ｓｐａｒｓｅ  Ｓｉｇｎａｌ  Ｄｅｔｅｃｔｉｏｎ  ｆｒｏｍ  Ｉｎｃｏｈｅｒｅｎｔ  Ｐｒｏｊｅｃｔｉｏｎｓ）」、音響、音声信号処理−ＩＣＡＳＳＰ国際会議議事録、２００６年５月、Ｄｕａｒｔｅ他）を参照されたい。同じｎ次元空間内の２組のベクトルＡ＝｛ａｉ｝及びＢ＝｛ｂｉ｝を仮定すると、コヒーレント尺度μ（Ａ、Ｂ）が十分に小さい場合、Ａ及びＢはインコヒーレントであると言われる。コヒーレント尺度は、以下のように定義される。
【数２】
2013535931.tif 000004
圧縮センシング測定の回数（すなわち、取り込んだシーンを正確に表すＮ画素の画像（又はＮボクセルのビデオシーケンス）を構成するのに必要なサンプルシーケンス｛ＩMLS（ｋ）｝）は、測定ベクトルセットとスパース性ベクトルセットの間のコヒーレンスの狭義増加関数である。従って、コヒーレンス値が小さいほど良好な圧縮を達成することができる。
【００９８】
いくつかの実施形態では、測定ベクトルセットが、符号に基づくことができる。累乗Ｋｅｒｄｏｃｋ符号、累乗Ｄｅｌｓａｒｔｅ−Ｇｏｅｔｈａｌｓ符号、ランレングス限定符号、ＬＤＰＣ符号、リードソロモン符号及びリードマラー符号などの、情報理論からの様々な符号のいずれかを使用することができる。
【００９９】
いくつかの実施形態では、測定ベクトルセットが、置換ＤＣＴ基底又は置換Ｗａｌｓｈ−Ｈａｄａｍａｒｄ基底などの置換基底に対応する。
【０１００】
いくつかの実施形態では、空間パターンを、例えば１又はそれ以上のシードを使用する乱数生成（ＲＮＧ）アルゴリズムに従って生成されたランダム又は疑似ランダムパターンとすることができる。いくつかの実施形態では、各パターンの要素が一連のベルヌーイ試行によって生成され、各試行は、値１を与える確率ｐ及び値ゼロを与える確率１−ｐを有する。（例えば、１つの実施形態では、ｐ＝１／２。）いくつかの実施形態では、各パターンの要素が、ガウス確率変数からの一連のドローにより生成される。
【０１０１】
システム１００は、システム１００が取り込んだサンプル｛ＩMLS（ｋ）｝の数が、サンプルから構成される画像（又はビデオ）内の画素数を下回る（例えばはるかに下回る）ように、圧縮的に動作するように構成することができる。多くの用途において、この圧縮的実現は、電力消費量、メモリ利用量、及び送信帯域幅消費量を節約するので非常に望ましい。しかしながら、非圧縮的実現も企図される。
【０１０２】
いくつかの実施形態では、システム１００が、何らかの外部オブジェクト又はシーンの画像（又は一連の画像）などの画像（又は一連の画像）を表す情報を外部環境から取り込むカメラ又は撮像装置として構成される。このカメラシステムは、可視光線写真術、赤外線写真術、紫外線写真術、高速写真術、弱光写真術、水中写真術、マルチスペクトル撮像、ハイパースペクトル撮像などの異なる応用領域において異なる形をとることができる。いくつかの実施形態では、システム１００が、顕微鏡、望遠鏡、ロボット、セキュリティシステム、監視システム、火災センサ、分散型センサネットワーク内のノードなどの別のシステムとともに（又はその一部として）動作するように構成される。
【０１０３】
いくつかの実施形態では、システム１００が分光計として構成される。
【０１０４】
いくつかの実施形態では、システム１００を、プロジェクタとして動作するように構成することもできる。従って、システム１００は、光学サブシステム１１７の焦点又はその近くに位置する光源などの光源を含むことができる。投影モードでは、光変調ユニット１１０に画像（又はビデオシーケンス）を供給して、この画像（又はビデオシーケンス）を表示面（例えば、画面）上に表示できるようにすることができる。
【０１０５】
システム１００の１つの実現２００では、光変調ユニット１１０を、例えば図３Ａに示すように複数のミラーにより実現することができる。（これらのミラーは、集合的にラベル１１０Ｍによって示している。）ミラー１１０Ｍは、必ずしも環境から直接ではないが、環境から受け取った光Ｌの対応する部分を受光するように構成される。（ミラー１１０Ｍへの入力経路に沿って、１又はそれ以上のレンズなどの１又はそれ以上の光学素子が存在してもよい。）ミラーの各々は、２つの配向状態間で制御可能に切り替わるように構成される。また、ミラーの各々は、（ａ）ミラーが２つの配向状態のうちの第１の配向状態にある時には、光の対応する部分を検出経路１１５上に反射し、（ｂ）ミラーが２つの配向状態のうちの第２の配向状態にある時には、光の対応する部分を検出経路から離れて反射するように構成される。
【０１０６】
いくつかの実施形態では、ミラー１１０Ｍが、２次元アレイ又は１次元アレイなどのアレイの形で配置される。様々なアレイ形状のあらゆるものが企図される。例えば、異なる実施形態では、このアレイを、正方形アレイ、矩形アレイ、六角形アレイなどとすることができる。いくつかの実施形態では、ミラーが、空間的にランダムに配置される。
【０１０７】
ミラー１１０Ｍは、デジタルマイクロミラーデバイス（ＤＭＤ）の一部とすることができる。例えば、いくつかの実施形態では、Ｔｅｘａｓ  Ｉｎｓｔｒｕｍｅｎｔｓ社製のＤＭＤのうちの１つを使用することができる。
【０１０８】
制御装置１２０は、各々がミラーの各々の配向状態を指定する一連の空間パターンを通じてミラーの配向状態を駆動するように構成することができる。
【０１０９】
光検出装置１３０は、所与の時点に検出経路１１５上に反射された光部分を第１の配向状態のミラーのサブセットによって受光し、受光した光部分の累積強度を表すＩMLS（ｔ）を時間の関数として表すアナログ電気信号を生成するように構成することができる。一連の空間パターンを通じてミラーが駆動されると、第１の配向状態のミラーのサブセットは、１つの空間パターンから次の空間パターンに変化する。従って、検出経路１１５上に反射されて光検出装置に到達する光部分の累積強度は、時間の関数として変化する。なお、「累積」という用語は、所与の時点に光検出装置に到達する光部分の合計（空間的統合）を示唆することを意味する。この合計は、（例えば、上述したような集光領域上に光部分を集中又は集光するレンズ及び／又はミラーにより）少なくとも部分的に光学的に実施することができる。
【０１１０】
システム実現２００は、システム１００に関して上述した特徴、実施形態及び要素のいずれかのサブセットを含むことができる。例えば、システム実現２００は、例えば図３Ｂに示すように、入射光Ｌがミラー１１０Ｍに到達する前に、この入射光Ｌに作用する光学サブシステム１０５を含むことができる。
【０１１１】
いくつかの実施形態では、図４に示すように、システム実現２００が、検出経路に沿った光学サブシステム１１７を含むことができる。光学サブシステム１１７は、検出経路１１５上に反射された光部分を受光し、この受光した光部分を光検出装置１３０の光検出面（又は光検出表面）上に導く（例えば、集光又は集中させる）。１つの実施形態では、例えば図５Ａに示すように、光学サブシステム１１７が、レンズ１１７Ｌを含むことができる。
【０１１２】
いくつかの実施形態では、図５Ｂに示すように、光学サブシステム１１７が、ミラー１１７Ｍなどの１又はそれ以上のミラーを含むことができる。従って、検出経路を、２以上のセグメントを有する屈曲した経路とすることができる。図５Ｂには、レンズ１０５Ｌとしての光学サブシステム１０５の１つの考えられる実施形態も示している。
【０１１３】
いくつかの実施形態では、光学サブシステム１０５とミラー１１０Ｍの間に１又はそれ以上の光学素子が介在してもよい。例えば、図５Ｃに示すように、光学サブシステム１０５とミラー１１０Ｍの間にＴＩＲプリズム対１０７を配置することができる。（ＴＩＲは、「全内部反射」の頭字語である。）光学サブシステム１０５からの光は、ＴＩＲプリズム対を透過し、その後ミラー１１０Ｍと相互作用する。第１の配向状態のミラーからの光部分は、ミラー１１０Ｍと相互作用した後、プリズム対のうちの第２のプリズムによって検出経路１１５上に反射される。第２の配向状態のミラーからの光部分は、検出経路から離れて反射させることができる。
【０１１４】
画像取得時間を減少させるための、変調光ストリームの空間サブセットの２又はそれ以上の光検出素子への送出
ある実施形態の組では、光に作用するシステム６００を、図６に示すように構成することができる。システム６００は、上述したような光変調ユニット１１０を含み、また光学サブシステム６２０、（集合的に項目番号６３０によって示す）複数の光検出装置及びサンプリングサブシステム６４０も含む。（さらに、システム１００に関して上述した特徴、実施形態及び要素のいずれかのサブセットを含むことができ、システム６００にシステム実現２００を組み込むことができる。）
【０１１５】
上述したように、光変調ユニット１１０は、変調光ストリームＭＬＳを生成するために、入射光ストリームを一連の空間パターンで変調するように構成される。光変調ユニットは、光変調素子のアレイを含む。光変調ユニット１１０は、システム１００及びシステム実現２００に関連して上述した様々な方法のいずれかで実現することができる。（特に、図６には、光がＬＭＵの左側から入って右側から出るように示しているが、これはＬＭＵを透過式の実施形態に限定することを意味するものではない。）
【０１１６】
光学サブシステム６２０は、変調光ストリームの複数の空間サブセットの各々からの光を複数の光検出装置６３０のそれぞれの上に送出するように構成される（図６では、光検出装置を線形に配置しているが、これは限定的な意味ではない。他の様々な配置、特に２次元配置が可能である。）（図６では、光検出装置を互いに分離した形で示しているが、これは限定的な意味ではない。いくつかの実施形態では、光検出装置が物理的に隣接（又は近接）し、アレイ状に配置され、又は互いに近接する。）換言すれば、変調光ストリームの第１のサブセットからの光は、第１の光検出装置上に送出され、変調光ストリームの第２のサブセットからの光は、第２の光検出装置上に送出され、以下同様である。変調光ストリームの空間サブセットは、光変調素子のアレイのそれぞれのサブセットにより生成される。光変調素子のアレイの各サブセットは、入射光ストリームのそれぞれの空間サブセットを変調することにより、変調光ストリームのそれぞれの空間サブセットを生成する。光検出装置６３０は、それぞれの電気信号を生成するように構成される。電気信号の各々は、変調光ストリームのそれぞれの空間サブセットの強度を時間の関数として表す。
【０１１７】
変調光ストリームの所与の空間サブセットからの光がそれぞれの光検出装置上に「送出される」と言うことは、それぞれの光検出装置に到達する光束（すなわち、光子）の大部分が、これらの空間サブセットからもたらされることを意味する。しかしながら、本明細書で説明するシステム及び方法では、変調光ストリームの空間サブセットからの光をそれぞれの光検出装置上に送出する際に、少量の光の交差を許容していると理解されたい。光の交差は、所与の空間サブセットの光子がそれぞれの光検出装置以外の光検出装置に到達した時に（例えば、第１の空間サブセットからの光子が第２の光検出装置に到達した時に）生じる。光の交差は、例えば光学サブシステム６２０の不完全性に起因して、例えば光変調ユニットから生成された光子に関して空間サブセットの境界に沿って生じることがある。所与の光検出装置に関する交差は、光検出装置においてそれぞれの空間サブセット以外の空間サブセットから受光された光パワーの量と、光検出装置においてそれぞれの空間サブセットから受光された光パワーの量の比率として定義することができる。所与のシステムに関する交差は、例えば、全ての光検出装置にわたる最大交差として定義することができる。
【０１１８】
異なる実施形態では、例えば画像／ビデオ再構成の目標品質に応じて、異なる量の交差を許容することができる。例えば、異なる実施形態の組では、最大交差が、それぞれ１／２未満、１／４未満、１／８未満、１／３２未満、１／１２８未満、１／１０２４未満、１／４０９６未満、１／１６３８４未満であることを必要とすることができる。
【０１１９】
さらに、変調光ストリームの所与の空間サブセットからそれぞれの光検出装置上への光の「送出」では、空間サブセットからの光子がそれぞれの光検出装置に１００％到達する（又は到達する光子が１００％電荷に変換される）ことは必要でない。少量の光損失は、避けられないものとすることができる。恐らくは、光損失の割合は、空間サブセット間で均一であることが好ましい。いくつかの実施形態では、光損失の割合を、較正によって空間サブセット毎に決定し、その後、この割合を使用して、完全に均一なシステムから取得されたであろう測定結果に近似する補正値を取得する試みにおいて、各光検出装置から取得した測定結果を補正することができる。いくつかの実施形態では、又は周囲光が強い状況下では、かなりの量の光損失を許容することができる。
【０１２０】
いくつかの実施形態では、変調光ストリームの所与の断面上の所与の地点を横切る最も高い割合の光子を検出する光検出装置の観点から、変調光ストリームの空間サブセットが定義される。例えば、光変調アレイの平面又はその近くの変調光ストリームの断面を取ると、ｋ番目の光検出装置が、この地点を横切る光子を他の光検出装置のいずれか１つよりも多く検出する場合、この断面内のある地点をｋ番目の空間サブセットに割り当てることができる。光変調素子のアレイのサブセット及び入射光ストリームのサブセットは、同様に定義することができる。
【０１２１】
いくつかの実施形態では、変調光ストリームの空間サブセットを、所与の断面で見た時に非重複サブセットとすることができる。さらに、空間サブセットは、断面の範囲をカバーすることができる。同様に、光変調素子のアレイのサブセットを非重複サブセットとし、アレイ全体をカバーすることができる。
【０１２２】
いくつかの実施形態では、変調光ストリームの空間サブセットのサイズ及び形状を均一にすることができる。（同様に、光変調素子のアレイのサブセットのサイズ及び形状も均一にすることができる。）しかしながら、他の実施形態では、空間サブセット（及びアレイのサブセット）が、不均一なサイズ及び／又は形状を有することができる。例えば、１つの実施形態では、光変調素子のアレイの中心又はその近くのサブセットの方が直径（又は面積）が小さく、従ってアレイの境界又はその近くのサブセットよりも密に詰め込むことができる。
【０１２３】
いくつかの実施形態では、変調光ストリームの空間サブセット及び光変調素子のアレイのサブセットが、単純接続領域である。ある領域は、この領域内のいずれか２つの地点が完全に領域内に位置する経路によって接続されている場合に「単純接続」と言われ、このような領域内の２つの地点間のいずれかの経路を、この領域内に留まったまま、このような２つの地点間の他のいずれかの経路に連続的に変形させることができる。この結果、単純接続領域に穴及び分離した断片がなくなる。
【０１２４】
いくつかの実施形態では、変調光ストリームの空間サブセット及び光変調素子のアレイのサブセットが凸面領域である。１つの実施形態では、空間サブセット及びアレイサブセットが矩形（正方形など）である。別の実施形態では、サブセットの少なくともいくつかが六角形である。
【０１２５】
いくつかの実施形態では、光変調素子のアレイのサブセットが、アレイの平面内の離散的地点の組に基づくアレイのボロノイ分割により定義され、これらの地点の組は、光検出装置の各々のための１つの地点を含む。
【０１２６】
サンプリングサブシステム６４０は、光検出装置６３０によってそれぞれ生成された電気信号のサンプルを取得するように構成される。これらのサンプルは、それぞれ電気信号に対応するサンプルサブセットを含む。各サンプルサブセットは、それぞれの電気信号の複数のサンプルを含む。以下の説明では、電気信号を、光検出装置の数をＬとするＩ1（ｔ）、Ｉ2（ｔ）、・・・、ＩL（ｔ）として示し、サンプルサブセットを、Ｉ1（ｋ）｝、｛Ｉ2（ｋ）｝、・・・、｛ＩL（ｋ）｝として示す。数字Ｌは、光変調素子のアレイ内の光変調素子の数をＮとした場合、１よりも大きくＮよりも小さい。
【０１２７】
様々な実施形態では、数字Ｎが様々な値をとることができる。例えば、異なる実施形態の組では、Ｎを、それぞれ範囲［６４，２５６］内、範囲［２５６，１０２４］内、範囲［１０２４，４０９６］内、範囲［２12，２14］内、範囲［２14，２16］内、範囲［２16，２18］内、範囲［２18，２20］内、範囲［２20，２22］内、範囲［２22，２24］内、範囲［２24，２26］内、２26〜無限大の範囲内とすることができる。所与の実施形態で使用する特定の値は、実施形態に固有の１又はそれ以上の因子に依存することができる。
【０１２８】
同様に、数字Ｌも、様々な値のいずれかをとることができる。例えば、異なる実施形態の組では、Ｌを、それぞれ範囲［２，４］内、範囲［４，８］内、範囲［８，１６］内、範囲［１６，３２］内、範囲［３２，６４］内、範囲［６４、２５６］内、範囲［２５６，１０２４］内、範囲［１０２４，４０９６］内、範囲［２12，２14］内、範囲［２14，２16］内、範囲［２16，２18］内、範囲［２18，２20］内、範囲［２20，２22］内、範囲［２22，２24］内、範囲［２24，２26］内とすることができる。
【０１２９】
さらに、比率Ｎ／Ｌは、２〜Ｎ／２の範囲内のいずれかの値などの、様々な値のいずれかをとることができる。異なる実施形態の組では、比率Ｎ／Ｌを、それぞれ範囲［２，４］内、範囲［４，８］内、範囲［８，１６］内、範囲［１６，６４］内、範囲［６４，２５６］内、範囲［２５６，１０２４］内、範囲［１０２４，４０９６］内、範囲［２12，２14］内、範囲［２14，２16］内、範囲［２16，２18］内、範囲［２18，２20］内、範囲［２20，２22］内、範囲［２22，２24］内、２２４〜無限大の範囲内とすることができる。
【０１３０】
上述したように、サンプリングサブシステム６４０により取得されるサンプルは、電気信号の各々のサンプルサブセットを含む。いくつかの実施形態では、各サンプルサブセットが、同じ時間窓又はほぼ同じ時間窓にわたって取得される。
【０１３１】
いくつかの実施形態では、各サブセットのサンプルが同じレートで取得される。他の実施形態では、全てのサンプルサブセットが同じレートで取得されるわけではない。
【０１３２】
いくつかの実施形態では、サンプルサブセットの各々が同じレートで取得され、同じ時間指数値ｋに対応するサンプルＩ1（ｋ），Ｉ2（ｋ），・・・、ＩL（ｋ）が、同じ時点ｔkにおいて、又は少なくとも時間的に近接して取得される。本明細書では、同じ時間指数値ｋに対応するサンプルＩ1（ｋ）、Ｉ2（ｋ）、・・・、ＩL（ｋ）を「サンプルグループ」と呼ぶことができる。
【０１３３】
いくつかの実施形態では、各サンプルグループ｛Ｉ1（ｋ）、Ｉ2（ｋ）、・・・、ＩL（ｋ）｝が、一連の空間パターンのそれぞれに対応する。特に、サンプルＩj（ｋ）、ｊ＝１、２、３、・・・、Ｌは、（ａ）光変調素子のアレイのｊ番目のサブセットへの入射光ストリームのタイムスライスの制限と、（ｂ）ｊ番目のサブセットへの空間パターンのうちのｋ番目のパターンの制限との内積を表すことができる。
【０１３４】
図７に示すように、Ｌ個のサンプルサブセットの各々を使用して、画像のそれぞれのサブ画像を構成することができる。（図１４も参照されたい。）（ＣＡは、「構成アルゴリズム」の頭字語である。）換言すれば、サンプルサブセット｛Ｉ1（ｋ）｝を使用して第１のサブ画像を構成することができ、サンプルサブセット｛Ｉ2（ｋ）｝を使用して第２のサブ画像を構成することができ、以下同様である。各サブ画像は、（取得時間間隔にわたる）入射光ストリームの空間サブセットのそれぞれを表す。これらのサブ画像を結合して全体画像を形成することができる。この画像は、取得時間間隔にわたる入射光ストリーム全体（又は光変調素子のアレイにぶつかる入射光ストリームの部分）を表すことができる。各サブ画像内の画素数は、光変調素子のアレイのそれぞれのサブセット内の光変調素子の数に等しいものとすることができる。ｊ番目のサブ画像の各画素は、アレイのｊ番目のサブセット内の光変調素子のそれぞれに対応することができる。従って、最終画像は、各々がアレイのＮ個の光変調素子のそれぞれに対応するＮ画素の画像内に存在することができる。いくつかの実施形態では、各サブ画像のサイズがＮ／Ｌ画素である。しかしながら、他の実施形態では、サブ画像のサイズが完全に同じでないこともある。
【０１３５】
各サブ画像は、それぞれのサンプルサブセット及び光変調素子のアレイの対応するサブセットへの一連の空間パターンの制限を使用して構成することができる。例えば、第１のサブ画像を構成するために、構成アルゴリズムは、（第１の光検出装置から取得した）第１のサンプルサブセット及び光変調素子のアレイの第１のサブセットに制限された空間パターンに作用することができる。サブ画像の構成は、システム６００及び／又はその他の何らかのシステムによって行うことができる。後者の場合、システム６００は、サンプルサブセットを他のシステムに送ることができる。サブ画像は、圧縮センシングの分野で知られているあらゆる画像構成アルゴリズム、又はこのようなアルゴリズムのあらゆる組み合わせを使用して構成することができる。
【０１３６】
いくつかの実施形態では、各サンプルサブセットが、対応するサブ画像の圧縮表現であり、すなわちサンプルサブセット内のサンプルｍSSの数は、対応するサブ画像内の画素数ｎPSIよりも少ない。例えば、異なる実施形態では、ｍSS／ｎPSIの比率を、それぞれ０．８以下、０．６以下、０．４以下、０．３以下、０．２以下、０．１以下、０．０５以下、０．０２５以下とすることができる。いくつかの実施形態では圧縮が行われず、すなわちｍSSがｎPSI以上である。（このようなことは、比率Ｎ／Ｌが小さい場合、又は信号対雑音比が小さい場合に当てはまり得る。）
【０１３７】
Ｌ個の光検出装置が、Ｎ個の光変調素子のアレイのＬ個の同じサイズの非重複サブセットからそれぞれ光を受け取ると仮定する。（図１４のＬ＝４の場合の例を参照されたい。）次に、Ｌ個のサンプルサブセットの各々を使用して、Ｎ画素の画像のＮ／Ｌ画素のサブ画像を構成することができる。Ｌ個のサンプルサブセットは、上述したプロセスによってＮ画素の画像を生成するために使用できるので、集合的に、Ｎ画素の画像の符号化データ表現と（又は単純に「符号化画像」と）呼ばれる。各サンプルサブセット内のサンプル数ｍSSは、Ｎ／Ｌ画素の画像を所与の精度で再構成するために必要な最低圧縮センシング測定回数ｍN/L以上になるように選択される。（これらの圧縮センシング測定は、Ｎ／Ｌ画素の画像とＮ／Ｌ要素の測定ベクトルの内積である。）サンプルグループが、単位時間当たりＲG個のグループというレートで取得され、各サンプルグループが空間パターンのそれぞれに対応する場合、Ｎ画素の画像の符号化データ表現を取得するために必要な時間はｍSS／ＲGである。Ｌが増加すると最低回数ｍN/Lが減少するので、システム設計者は、Ｌを増加させることにより、符号化データ表現を取得するために必要な時間を減少させることができる。特に、設計者は、ｍSS≧ｍN/Lであり、かつｍSS／ＲGが符号化画像の目標取得時間以下となるようにＬ及びｍSSを選択することができる。実際には、最小値ｍN/Lが正確に分かっている必要はない。上限ＵN/L≧ｍN/L（例えば、経験的に求められた、又は理論的検討に基づく、又はＮ／Ｌ≧ｍN/Lなどの最悪の場合の仮定に基づく上限）が分かっていれば十分であり、この上限は、Ｌの増加とともに大幅に減少する。その場合、ｍSS＝ＵN/L及びＵN/L／ＲGが目標取得時間以下となるようにＬの値を選択することができる。１つの実施形態では、Ｎ画素の画像を再構成するために必要な最低圧縮センシング測定回数の上限をＵNとするＵN/Lが、ＵN/L＝ＵN／Ｌによって定義される。
【０１３８】
上述したように、最終画像は、Ｎ画素の画像とすることができる。より一般的には、最終画像を、Ｎ以下の数をｎとするｎ画素の画像とすることができる。例えば、光変調素子のアレイに物理的分解能Ｎよりも低い有効分解能で動作するように強制することにより、空間パターンを、Ｎよりも小さなｎの値をサポートするように設計することができる。例えば、空間パターンを、光変調素子の各２×２のセルを強制的に調和して作用させるように設計することができる。所与の時点において、２×２のセル内の４つの素子の変調状態が一致する。従って、光変調素子のアレイの有効分解能は、Ｎ／４に低減する。この原理は、あらゆるセルサイズ、あらゆる形状のセル、及びセルサイズ及び／又はセル形状が不均一なセルの集合に一般化される。例えば、ｋH及びｋVを正の整数とするサイズｋH×ｋVのセルの集合では、Ｎ／（ｋHｋV）に等しい有効分解能が得られる。１つの代替の実施形態では、アレイの中心近くのセルが、アレイの周辺近くのセルよりも小さなサイズを有することができる。
【０１３９】
光変調素子のアレイの有効分解能をｎ（ｎ≦Ｎ）と仮定し、上述したセルのサイズを均一と仮定し、各光変調素子が、光変調素子のアレイの等しい部分を「見る」と仮定した場合、アレイの各サブセットはｎ／Ｌ個の有効素子を含み、Ｌ個のサンプルサブセットの各々を使用して、それぞれのｎ／Ｌ画素のサブ画像を構成することができる。その後、このＬ個のサブ画像をまとめて、ｎ画素の画像を形成することができる。従って、Ｌ個のサンプルサブセットは、集合的にＮ画素の画像の符号化データ表現（又は単純に「符号化画像」）と呼ばれる。各サンプルサブセット内のサンプル数ｍSSは、ｎ／Ｌ画素の画像を再構成するために必要な最低圧縮センシング測定回数ｍn/L以上の値に設定することができる。サンプルグループが、単位時間当たりＲG個のグループというレートで取得され、各サンプルグループが空間パターンのそれぞれに対応する場合、Ｎ画素の画像の符号化表現を取得するために必要な時間はｍSS／ＲGである。ｎ／Ｌが減少するとｍn/Lが減少するので、Ｌを増加させること及び／又はｎを減少させることによりｍn/Lを減少させることができる。従って、システム設計者は、ｍSS≧ｍN/Lであり、かつｍSS／ＲGが符号化画像の目標取得時間以下となるようにＬ及びｍＳＳを選択することができる。さらに、システム６００は、ｎの値を調整することにより、符号化画像（又はビデオの場合には、符号化画像のシーケンスのフレームレート）の取得時間を調整（例えば、動的に調整）することができる。ｎの値は、光変調ユニット１１０に供給される一連の空間パターンを変更することにより調整することができる。
【０１４０】
いくつかの実施形態では、サンプリングサブシステム６４０が、光変調ユニット１１０が空間パターンを適用するレートに対して電気信号をオーバーサンプリングすることができる。オーバーサンプリングとは、空間パターン当たり２又はそれ以上のサンプルグループを取得することを意味する。換言すれば、各電気信号につき、サンプリングサブシステムは、空間パターン当たり２つ以上のサンプルを取得することができる。各電気信号につき、空間パターン当たり２又はそれ以上のサンプルを（例えば、平均化により）組み合わせて、空間パターン当たり１つの正確なサンプルを取得することができる。この組み合わせは、サブ画像の構成前に行うことができる。サンプリングサブシステム６４０を、この組み合わせを行うように構成することができる。構成アルゴリズムは、正確なサンプルを使用することが好ましい。従って、サンプリングサブシステム６４０は、各電気信号のｃOSｍSS個のサンプルをｃOS＞１個のオーバーサンプリング因子で収集することができる。その後、このｃOSｍSS個のサンプルを処理して、ｍSS個の正確なサンプルを取得することができる。各電気信号のｍSS個の正確なサンプルを使用して、対応するサブ画像を構成することができる。
【０１４１】
上述したように、光変調ユニット１１０は、入射光ストリームを一連の空間パターンで変調する。光変調ユニット１１０が（単位時間当たりに空間パターンにおいて）達成できる最大レートをＲPとする。いくつかの実施形態では、レートＲPを、サンプルグループが取得されるレートＲG、すなわち各電気信号がサンプリングされるレートよりも遅くすることができる。（例えば、光検出装置毎に別個のＡＤＣを含むシステム、又はＡＤＣ毎に少ない数の光検出装置を有するシステムでは、この状態を保持することができる。）従って、ｎ画素の画像（ｎ≦Ｎ）の符号化表現に関する所望の取得時間を満たそうとする場合、レートＲPを限定因子とすることができる。しかしながら、ｎ／Ｌ画素の画像を所与の精度で再構成するために必要な最低圧縮センシングサンプル数ｍn/Lは、Ｌが増加するにつれて（及びｎが減少するにつれて）減少すると上述したことを思い出されたい。従って、各サンプルサブセット内のサンプル数ｍSS及び光検出装置の数Ｌを、ｍSSがｍn/L以上となりかつｍSS／ＲGが目標取得時間以下となるように、又は同様にＲP／ｍSSが目標フレームレート以上になるように選択することができる。
【０１４２】
上述したように、サンプリングサブシステム６４０は、電気信号のサンプルを取得し、これらのサンプルは、Ｌ個の光検出装置６３０からそれぞれ取得されるＬ個のサンプルサブセットを含む。各サンプルサブセットを使用して、ｎ≦Ｎとするそれぞれのｎ／Ｌ画素のサブ画像を構成することができる。サンプリングサブシステム６４０は、サンプルサブセット当たりのサンプル数ｍＳＳがプログラマブルパラメータであるように構成することができる。（いくつかの実施形態では、システム６００が、例えば１つの符号化画像と次の符号化画像の間で符号化画像を取得している間に、数字ｍＳＳを動的にプログラム、すなわち変更することができる。この特徴により、システム６００は、サンプルの画質と取得時間の間の異なるトレードオフを実現することができる。ｍＳＳの値が大きいほど、画質は高くなるものの取得時間が長くなること（又はフレームレートが低くなること）を意味する。逆に、ｍＳＳの値が小さいほど、画質は低くなるものの取得時間が短くなること（又はフレームレートが高くなること）を意味する。システム６００（処理装置１５０など）は、ユーザが画質と取得時間の間のトレードオフを制御できるようにするユーザインターフェイスを提供することができる。
【０１４３】
いくつかの実施形態では、例えば図８に示すように、システム６００が、上述した処理装置１５０を含むことができる。この処理装置を、圧縮センシングの分野で知られている画像構成アルゴリズムのいずれかを使用して、各サンプルサブセットに作用してそれぞれのサブ画像を構成するように構成することができる。（この処理装置は、サブ画像を結合して最終画像を形成することもできる。）
【０１４４】
いくつかの実施形態では、例えば様々に上述したように、システム６００は、通信チャネルを介してリモートシステムにサンプルサブセットを送信することができる。その後、リモートシステムは、サンプルサブセットからサブ画像を構成することができる。いくつかの実施形態では、システム６００が低消費電力量向けに構成され、従ってユーザが許容可能な時間内にサブ画像を構成できないことがある。（通常、この構成アルゴリズムは計算集約型である。）
【０１４５】
いくつかの実施形態では、サンプリングサブシステム６４０を、各々が電気信号の各々の少なくとも１つ（又は正確に１つ）のサンプルを含むグループの形で電気信号のサンプルを取得するように構成することができる。グループの各々は、空間パターンのそれぞれに対応することができ、すなわち空間パターンのそれぞれの光変調ユニットのアサーションに応答してグループの各々を取り込むことができる。グループの取得中には、空間パターンを一定に保つことができる。
【０１４６】
サンプリングサブシステム６４０は、単位時間当たりのＲＧグループのグループレートでサンプルのグループを取得することができる。いくつかの実施形態では、最大グループレートＲＧを、最大パターン変調レートＲPよりも低くすることができる。（例えば、光検出装置の数ＬがＡＤＣの数よりも大幅に多いシステムの実施形態では、このレート状態を保持することができる。）従って、符号化画像の取得時間を、取得される符号化画像のグループ数（又は同様に、サンプルサブセット当たりのサンプル数）をｍSSとする比率ｍSS／ＲGによって求めることができる。しかしながら、ｎ／Ｌ画素の画像を所与の精度で再構成するために必要な最低圧縮センシングサンプル数ｍn/Lは、Ｌが増加するにつれて（及びｎが減少するにつれて）減少することを思い出されたい。従って、システム設計者は、ｍSS≧ｍn/Lであり、かつｍSS／ＲGが目標取得時間以下となるように、又は同様にＲG／ｍSSが目標フレームレート以上になるように十分に大きなＬの値を選択することができる。
【０１４７】
いくつかの実施形態では、例えば図９に示すように、サンプリングサブシステム６４０が、複数のアナログ／デジタル変換器（ＡＤＣ）を含むことができる。ＡＤＣの各々は、光検出装置のそれぞれにより生成された電気信号のサンプルを取得するように構成される。換言すれば、各ＡＤＣは、サンプルサブセット｛Ｉ1（ｋ）｝、｛Ｉ2（ｋ）｝、・・・、｛ＩL（ｋ）｝のうちの対応する１つを取得する。
【０１４８】
いくつかの実施形態では、ＡＤＣを、例えば同じサンプル変換クロックによってクロック制御することにより、並行して動作するように構成することができる。
【０１４９】
いくつかの実施形態では、各ＡＤＣが、制御可能な利得を有する前置増幅器などの独自の前置増幅器を含む。
【０１５０】
いくつかの実施形態では、ＡＤＣが、空間パターンの適用と同期してサンプルを取得する。
【０１５１】
いくつかの実施形態では、ＡＤＣが、各々が同じビット分解能を有するように、すなわち各ＡＤＣからのサンプル当たりのビット数が同じになるように構成される。しかしながら、他の実施形態では、ＡＤＣのいくつかが、設計によって異なるビット分解能を有することができる。
【０１５２】
いくつかの実施形態では、例えば図１０に示すように、光学サブシステム６２０が複数のレンズを含む。これらのレンズの各々は、変調光ストリームの空間サブセットのそれぞれからの光を光検出装置６３０のそれぞれの光検出面上に導くように構成される。図１０に示すレンズの一次元配列は、限定的な意味ではない。他の様々な構成、特に２次元配列も企図される。例えば、図１１の実施形態では、光学サブシステム６２０が、光検出素子の２×２アレイ６３０Ｑ上に光を導く２×２の小レンズアレイ６２０ＬＡを含む。（この光検出素子の２×２アレイは、四分割フォトダイオードに一体化することができる。）小レンズアレイの各小レンズは、変調光ストリームＭＬＳの対応する象限からの光を光検出素子の対応する１つの上に、例えば四分割フォトダイオードの対応する象限上に導く（例えば、集光する）。より一般的には、小レンズアレイは、あらゆる所望の数の小レンズ及びあらゆる所望の幾何学的構成を有することができる。いくつかの実施形態では、光検出素子のアレイが、数及び幾何学的構成において小レンズアレイと一致することができる。例えば、小レンズアレイが、ＬH及びＬVを１よりも大きな整数とするＬH×ＬVの矩形アレイである場合、光検出素子のアレイも、ＬH×ＬVの矩形アレイとすることができる。別の例として、小レンズアレイが六角形アレイである場合、光検出アレイも六角形とすることができる。しかしながら、他の実施形態では、光検出素子のアレイと小レンズアレイの数又は形状が一致しない。例えば、１つの実施形態では、各小レンズが、対応する２又はそれ以上の光検出素子のグループ上に光を導くことができる。
【０１５３】
図１２に、光変調ユニット１１０がミラー１１０Ｍ（ＤＭＤなど）のアレイによって実現され、光学サブシステム６２０が画像リレー光学系６２０ＲＯ及び小レンズアレイ６２０ＬＡを含むシステム６００の実施形態を示す。小レンズアレイ６２０ＬＡは、変調光ストリームの空間サブセットをセンサアレイ６３０ＳＡのそれぞれの光検出素子上に導く。（１つの実施形態では、センサアレイ６３０ＳＡが、四分割フォトダイオードである。しかしながら、他の様々な実施形態も企図される。）センサアレイ６３０ＳＡにより生成される電気信号は、サンプリングサブシステム６４０によりサンプリングされる。なお、図１２は、光学サブシステム１２１０及びＴＩＲプリズム対１２２０を含む。（光学サブシステム１２１０は、入射光ストリームＬをミラー１１０Ｍのアレイ上に集光する。この光学サブシステムは、例えばカメラレンズなどのレンズとすることができる。）（図５ＣのＴＩＲプリズム対１０７に関する上述の内容を参照されたい。）上述したように、小レンズアレイ６２０ＬＡは、あらゆる所望の数の小レンズ及びあらゆる所望の幾何学的構成を有することができる。
【０１５４】
図１３に、光変調ユニット１１０がＤＭＤである場合の電気信号Ｉ1（ｔ）、Ｉ2（ｔ）、Ｉ3（ｔ）及びＩ4（ｔ）の例示的な波形を示す。これらの例示的な波形は、本明細書で使用する「電気信号」という用語の意味範囲を限定することを意図したものではない。他の実施形態では、波形が、空間パターン間の遷移時における異なる遷移挙動などの異なる特徴を有する。
【０１５５】
図１４に、４つの光検出装置ＬＳＤ１〜ＬＳＤ４が存在する場合のサンプル取得及び画像構成のプロセスの１つの実施形態を示す。左手には、（時間内スナップショットにおける）光変調ユニット１１０の変調面における変調光ストリームの視覚化を示す。光変調ユニットは、Ｎ個の光変調素子を含む。４つの光検出装置は、変調面の４つのそれぞれの象限から光を受け取る。各光検出装置により生成される電気信号をサンプリングして、それぞれのサンプルサブセットを生成する。（Ａ／Ｄ変換ブロックを参照されたい。）各サンプルサブセットを構成アルゴリズム（ＣＡ）によって処理し、それぞれのサブ画像を生成する。（この構成アルゴリズムは、圧縮センシングの分野で知られているいずれの構成アルゴリズムであってもよい。）これらのサブ画像をまとめて、Ｎ画素の画像を形成する。
【０１５６】
いくつかの実施形態では、例えば図１５に示すように、光学サブシステム６２０が、ファイバ結合装置６２０ＦＣ及び複数の光ファイバ束６２０ＦＢを含むことができる。このファイバ結合装置は、変調光ストリームの空間サブセットの各々からの光をファイバ束のそれぞれの上に結合するように構成される。各ファイバ束は、それぞれの空間サブセットからの光を光検出装置６３０のそれぞれの光検出面上に送出するように構成される。光が光ファイバ束によって送出されるので、光検出装置６３０は、物理的に隣接したり、又は互いに近くに位置したりする必要はない。システム設計者は、光検出装置をいずれかの都合のよい場所の組に位置付け、その後光ファイバ束がこれらの場所に到達するように、光ファイバ束の妥当な長さを選択することができる。
【０１５７】
いくつかの実施形態では、各ファイバ束が、単一の光ファイバである。
【０１５８】
いくつかの実施形態では、ファイバ結合装置が、Ｌ個のファイバテーパの組を含む。各ファイバテーパは、変調光ストリームの空間サブセットのそれぞれからの光をファイバ束（又は光ファイバ）のそれぞれの上に導くように構成される。
【０１５９】
図１６に、光変調ユニット１１０がミラー１１０Ｍ（ＤＭＤなど）のアレイによって実現され、光学サブシステム６２０が画像リレー光学系６２０ＲＯ、ファイバ結合装置６２０ＦＣ及びファイバ束６２０ＦＢを含むシステム６００の実施形態を示す。
【０１６０】
いくつかの実施形態では、光学サブシステム６２０が、例えば図１７Ａに示すように内面が反射型である複数の光導体６２０Ｐ（中空管又はトンネル又はガイドなど）を含む。各光導体は、２つの開放端を有する。各管の第１の端部は、アレイサブセットからの変調光が管に入り込むように、光変調素子のアレイの対応するサブセットに結合する（又は近接する）。各管の第２の端部は、対応するアレイサブセットからの変調光が対応する光検出装置の光検出面に送出されるように、この光検出面に結合する（又は近接する）。各光導体は、対応する空間サブセットからの光を対応する光検出装置に導くための導波管の役割を果たす。管の内面は研磨することができる。
【０１６１】
図１７Ｂに、光変調素子のアレイの４つの象限からの光を４つのそれぞれの光検出装置上に導くように構成された光導体６２０Ｐの実施形態を示す。他の実施形態では、光導体６２０Ｐが、あらゆる所望の幾何学的構成のあらゆる所望の数の管を含むことができる。
【０１６２】
本明細書で使用する「管」という用語は、その意味範囲に、管の断面又は直径が長さに沿って異なり得る可能性を含むと理解されたい。
【０１６３】
ある実施形態の組では、光検出装置が、アレイ（「光検出アレイ」）の形で配置される。
【０１６４】
光検出アレイは、面積（又は直径）が光変調素子のアレイよりも小さい場合がある。従って、いくつかの実施形態では、光学サブシステム６２０を、変調光ストリームを光検出アレイ上に集光するように構成することができる。例えば、図１８及び図１９を参照されたい。変調光ビームの直径（又は断面積）は、変調光ビームが光変調素子のアレイから光検出アレイに移動するにつれて減少する。（光学サブシステム６２０は、集中作用を実現する１又はそれ以上のレンズ及び／又は１又はそれ以上のミラーを含むことができる。）この光学サブシステムを、変調光ストリームが光検出アレイに合焦されるように構成することもできる。
【０１６５】
或いは、光検出アレイのサイズを、光変調素子のアレイと同じにすることもできる。従って、いくつかの実施形態では、光学サブシステム６２０を、変調光ストリームが光変調素子のアレイから光検出アレイに移動する時に変調光ストリームのサイズを維持するように構成することができる。この光学サブシステムを、変調光ストリームが光検出アレイに合焦されるように構成することもできる。
【０１６６】
さらに別の代替案として、光検出アレイのサイズを、光変調素子のアレイよりも大きくすることもできる。従って、光学サブシステム６２０を、変調光ストリームが光変調素子のアレイから光検出アレイに移動するにつれて変調光ストリームのサイズが増加するように構成することができる。この光学サブシステムを、変調光ストリームが光検出アレイに合焦されるように構成することもできる。
【０１６７】
いくつかの実施形態では、例えば図１８に示すように、光学サブシステム６２０が、集光レンズ６２０ＦＬを含む。光検出装置６３０は、集光レンズの像面に位置することができる。さらに、集光レンズの対物面は、光変調ユニット１１０の変調面と一致することができる。集光レンズは、変調光ストリームを光検出装置上に集光する。各光検出装置は、光変調素子のアレイの対応する空間部分から光を受け取る。図１９に、光検出装置６３０が８×８アレイ６３０Ａ（例えば、集積回路上に作製したアレイ）の形で配置された実施形態を示す。各光検出装置から取得したサンプルを使用して、最終画像の１／６４を構成することができる。図１９には８×８の光検出装置アレイを示しているが、他の実施形態では、このアレイが、あらゆる所望の寸法及びあらゆる所望の幾何学的構成を有することができる。ＬH×ＬVのアレイを使用する実施形態では、ＬH及びＬVが正の整数である場合、各アレイの素子から取得したサンプルを使用して、ＬH＊ＬV個のサブ画像のうちの１つのサブ画像を構成する。これらのＬH＊ＬV個のサブ画像をまとめて、最終画像を形成する。積Ｌ＝ＬH＊ＬVは、光変調ユニット１１０内の光変調素子の数Ｎを下回ることができる。
【０１６８】
いくつかの実施形態では、光検出装置６３０を、各々が光に対して同じ感度を有するように構成することができる。しかしながら、他の実施形態では、光検出装置が、設計によって異なる光感度を有することができる。
【０１６９】
上述したように、光検出装置６３０は、矩形アレイの形で配置することができる。いくつかの実施形態では、例えば図２０に示すように、サンプリングサブシステム６４０が、アレイの列毎に１つのＡＤＣを含むことができる。従って、このアレイからは、全体の行のセンサ値を並行して読み出すことができる。（整数の対ｉ，ｊで示すブロックは、光検出装置である。）（ここでは、「センサ」という用語を「光検出装置」の同意語として使用する。）行デコーダ２０１０は、受け取った行アドレスデータに応答して行の１つを選択するように構成される。次に、選択された行の光検出装置が、列の増幅器Ｇ１〜Ｇ４に対してそれぞれ電圧信号（又は電流信号又は電荷信号）を出力する。その後、変換器ＡＤＣ＃１〜ＡＤＣ＃４が、それぞれの増幅信号を並行してデジタル化（サンプリング）する。制御エージェント（処理装置１５０など）は、定期的に行が読み出されるように行アドレスを駆動することができる。図２０には４×４の光検出装置アレイを示しているが、説明した原理は、あらゆる数の行及びあらゆる数の列を有するアレイに一般化される。
【０１７０】
いくつかの実施形態では、例えば図２１に示すように、光検出装置のアレイ全体が単一のＡＤＣを共有する。選択された行の光検出装置は、バッファＢｕｆ＃１〜Ｂｕｆ＃４にそれぞれ電圧信号（或いは、電荷信号）を伝送する。マルチプレクサ２１１０は、これらのバッファ信号のうちの選択された信号を、列アドレスに基づいてその出力部に伝送する。次に、この選択された信号が増幅器２１２０によって増幅され、その後ＡＤＣ２１３０によってデジタル化される。制御エージェント（処理装置１５０など）は、選択された行のバッファ信号が連続してデジタル化されるように列アドレスを駆動することができる。さらに、制御エージェントは、アレイ全体が例えばラスタ式にデジタル化されるように行アドレス及び列アドレスを駆動することができる。図２１には４×４の光検出装置アレイを示しているが、説明した原理は、あらゆるサイズのアレイに一般化される。いくつかの実施形態では、制御エージェントが、ウィンドウイング、すなわちウィンドウからのサンプルの読み出しを行って、このウィンドウが行及び列アドレスの適当な制御によりアレイ全体よりも小さくなるようにすることができる。
【０１７１】
いくつかの実施形態では、光検出装置６３０が、集積回路（「センサＩＣ」）に組み込まれる。さらに、サンプリングサブシステム６４０は、センサＩＣに結合するように構成された読み出し集積回路（ＲＯＩＣ）を含むことができる。いくつかの実施形態では、ＲＯＩＣを、様々なメーカーのいずれかにより提供される従来技術のＲＯＩＣとすることができる。ＲＯＩＣは、センサＩＣ内の光検出装置によって生成された信号を読み出すように設計された回路を含むことができる。１つの実施形態では、ＲＯＩＣが、図２０に示す回路から光検出装置のアレイを除いたものを含む。別の実施形態では、ＲＯＩＣが、図２０に示す回路から光検出装置のアレイ及びＡＤＣを除いたものを含む。別の実施形態では、ＲＯＩＣが、図２１の回路から光検出装置のアレイを除いたものを含む。別の実施形態では、ＲＯＩＣが、図２１の回路から光検出装置のアレイ及びＡＤＣを除いたものを含む。
【０１７２】
ＲＯＩＣは、半導体組立の分野で周知の技術である「半田バンプボンディング」により、センサＩＣに結合することができる。
【０１７３】
ＲＯＩＣは、ＣＭＯＳ技術を使用して実装することができる。しかしながら、他の技術も可能である。
【０１７４】
いくつかの実施形態では、光検出装置のアレイを含むセンサＩＣを、光変調ユニット１１０を透過的に実現したものに物理的に結合することができる。具体的には、これらの２つを、透過的光変調ユニットの裏側（すなわち光出力側）がセンサＩＣの光検出側に直接向き合うように結合することができる。光変調素子のアレイには光検出アレイが近接しているので、変調光ストリームの各空間サブセット内の高い割合の光が、それぞれの光検出装置に送出される。
【０１７５】
いくつかの実施形態では、光学サブシステム６２０が、図２２Ａ〜Ｆに示すような１又はそれ以上の構成要素を含むことができる。図２２Ａには、変調光ストリームの一部（例えば半分）を遮断するミラー２２１０Ｍによって２つのサブストリームに分離された変調光ストリームＭＬＳを示す。この原理は、あらゆる数のミラーに一般化される。例えば、図２２Ｂには、各々が変調光ストリームの対応する部分を遮断するミラー２２１０Ｍａ及び２２１０Ｍｂによって３つのサブストリームに分離された変調光ストリームを示す。図２２Ｃには、変調光ストリームを２つのサブストリームに分離するために使用される傾斜ミラー２２１０ＡＭを示す。図２２Ｄには、プリズムの２つの表面からの全内部反射によって変調光ストリームを２つのサブストリームに分離するために使用されるプリズム２２１０Ｐを示す。図２２Ｅには、プリズム２２１０Ｑの屈折特性に基づいて変調光ストリームを２つのサブストリームに分離するために使用されるプリズム２２１０Ｑを示す。図２２Ｆには、変調光ストリームを３つのサブストリームに分離するために使用される、点Ｐで交わる３つの反射面（又は表面）を有する反射オブジェクト２２１０Ｃを示す。代表的な光線Ｒ1、Ｒ2及びＲ3を示している。
【０１７６】
方法２３００
いくつかの実施形態では、光に作用する方法２３００が、図２３に示す動作を含むことができる。
【０１７７】
動作２３１０は、例えば様々に上述したように、変調光ストリームを生成するために入射光ストリームを一連の空間パターンで変調するステップを含む。この変調は、例えば様々に上述したように、光変調素子のアレイによって行われる。
【０１７８】
動作２３２０は、例えば様々に上述したように、変調光ストリームの複数の空間サブセットの各々からの光を複数の光検出装置のそれぞれの上に送出するステップを含む。変調光ストリームの空間サブセットは、光変調素子のアレイのそれぞれのサブセットにより生成される。光変調素子のアレイの各サブセットは、入射光ストリームのそれぞれの空間サブセットを変調することにより、変調光ストリームのそれぞれの空間サブセットを生成する。例えば様々に上述したように、空間サブセットからの光を光検出装置に送出する動作は、光学サブシステムによって行うことができる。
【０１７９】
動作２３３０は、例えば様々に上述したように、各々が光検出装置のそれぞれによって生成される電気信号を生成するステップを含む。電気信号の各々は、変調光ストリームの空間サブセットのそれぞれの強度を時間の関数として表す。
【０１８０】
動作２３４０は、例えば様々に上述したように、電気信号のサンプルを取得するステップを含む。これらのサンプルは、それぞれ電気信号に対応するサンプルサブセットを含む。各サンプルサブセットは、それぞれの電気信号の複数のサンプルを含む。
【０１８１】
いくつかの実施形態では、サンプルサブセットの各々を使用して画像のそれぞれのサブ画像を構成することができ、各サブ画像は、入射光ストリームの空間サブセットのそれぞれを表す。他の実施形態では、サンプルサブセットのサンプル数が、サブ画像を構成するには少なすぎる場合があるが、様々に上述したように、これらのサンプルサブセットを使用して、様々な推論タスクのいずれかを行うことができる。
【０１８２】
いくつかの実施形態では、方法２３００が、サンプルサブセットに作用してそれぞれのサブ画像を構成するステップも含む。
【０１８３】
いくつかの実施形態では、例えば様々に上述したように、方法２３００が、通信チャネルを介して受信機にサンプルサブセットを送信するステップも含む。
【０１８４】
上記と同様に、ｍＳＳが各サンプルサブセット内のサンプル数を示し、Ｎが光変調素子の数を示し、Ｌが光検出装置の数を示し、ｎが最終画像内の画素数を示し、ｎはＮ以下であり、ＲPが、光変調ユニット１１０が（空間パターンにおいて単位時間当たりに）達成できる最大レートを示すものとする。上述したように、ｎ／Ｌ画素の画像を再構成するために必要な圧縮センシング測定の回数ｍn/Lは、Ｌが増加するにつれて減少する。従って、ｍSS≧ｍn/Lであり、かつｍSS／ＲPが目標取得時間以下となるようにＬの値を選択することができる。
【０１８５】
いくつかの実施形態では、例えば様々に上述したように、電気信号のサンプルを取得する動作が、サンプルをグループの形で取得するステップを含む。これらのグループは、単位時間当たりＲG個のグループというグループレートで取得することができる。グループの各々は、電気信号の各々の少なくとも１つのサンプルを含む。グループの各々は、空間パターンのそれぞれに対応する。（いくつかの実施形態では、空間パターン当たり２つ以上のグループが取得される。）いくつかの実施形態では、ｍSS／ＲGが目標取得時間以下となるようにＬが選択される。
【０１８６】
圧縮撮像装置におけるデータサンプリング時間の減少
圧縮撮像の課題の１つは、ビデオレートで動作できる従来技術のＦＰＡベースのカメラと競うのに十分な速さで圧縮画像を取得することである。（ＦＰＡは、「焦点面アレイ」の頭字語である。焦点面アレイは、典型的には光学系の焦点面に位置する典型的には矩形の光検出器素子のアレイを含む画像検出デバイスである。）少なくともいくつかの値をＮとした場合、Ｎ素子ＦＰＡを使用して、Ｎ画素の画像をビデオレートで取得することができる。Ｎが十分に大きい場合、図１のカメラなどの圧縮センシングカメラが、Ｎ画素の画像の圧縮表現をビデオレートで取得することは困難となり得る。この困難性は、単一のフォトダイオードに起因して生じる。Ｎ画素の画像を所与の精度で再構成するには、フォトダイオード信号Ｓ（ｔ）の特定の最低数のサンプルを取得する必要がある。この最低数は、Ｎよりもかなり小さく１よりも大幅に大きい。例えば、１／１０の圧縮比では、各サンプルが、ＤＭＤ４０により適用される空間パターンのそれぞれに対応すると想定した場合、１００万個のマイクロミラーを備えたＤＭＤを有する圧縮撮像カメラは、フォトダイオード信号Ｓ（ｔ）の約１０万個のサンプルを取り込むことにより、１００万に等しい画素数の画像の圧縮表現を取得することができる。ＤＭＤの最大変調速度が毎秒３２，０００パターンである場合、圧縮画像表現を取得するために必要な時間は、１００，０００／３２ｋＨｚ＝３．１２５秒であり、これはビデオ取得を可能にするには遅すぎる。
【０１８７】
本特許では、とりわけ、圧縮撮像カメラにハードウェアの並行性を導入することによって圧縮画像表現の取得時間を短縮する（又は圧縮画像表現のシーケンスを取得するためのフレームレートを高める）ための機構を開示する。例えば、図１４を参照されたい。１つの実施形態では、ハードウェアの並行性により、単一のフォトダイオードを４つの光検出装置に置き換え、単一のＡＤＣを４つのＡＤＣに置き換える（光検出装置当たり１つのＡＤＣ）。また、各光検出装置は、ＤＭＤの対応する象限から変調光を受け取り、この各光検出装置から取得されたサンプルを使用して、最終画像の対応するサブ画像を構成する。各光検出装置は、１００万個のマイクロミラーのアレイの１／４しか見ないので、サブ画像の各々のサイズは、（１，０００，０００）／４になる。この結果、サブ画像を再構成するために必要な光検出装置当たりのサンプル数は、約１／４になり、すなわち１００，０００から２５，０００に減少する。各ＡＤＣが、単一のフォトダイオードシステム内のＡＤＣと同じサンプルレートで動作すると想定した場合、圧縮画像表現を取得するための時間は１／４、すなわち２５，０００／３２ｋＨｚ＝０．７８秒に短縮される。
【０１８８】
より一般的には、図１の単一のフォトダイオードをＬ＞１個の光検出装置に置き換えることができ、単一のＡＤＣをＬ個の光検出装置に置き換えることができる（光検出装置当たり１つのＡＤＣ）。各光検出装置は、Ｎ素子の光変調器（必ずしもＤＭＤではなく、必ずしもＮ＝１，０００，０００ではない）の対応する領域から変調光を受け取る。Ｌ個の領域のサイズが等しいと仮定した場合、各光検出装置は、光変調器のＮ／Ｌ個の素子を見る。従って、Ｌ個のサブ画像の各々の画素数はＮ／Ｌとなる。一次近似として、画素数と再構成に必要なサンプル数とが線形関係にあると仮定した場合、サブ画像を再構成するために必要な光検出装置当たりのサンプル数は１／Ｌに減少する。従って、圧縮画像表現を取得するために必要な時間は１／Ｌに短縮される。（注：たとえこの関係が正確に線形でなくても、各サブ画像の再構成に必要なサンプル数は、Ｌが増加するにつれて著しく減少する。従って、たとえこの関係が線形でなくても、Ｌを増加させることによって取得時間の短縮を達成するという概念を適用することができる。）その後、システム設計者は、あらゆる所望の取得時間を達成するようにＬの値を選択することができる。
【０１８９】
ある実施形態の組では、光に作用するシステム２４００を、図２４に示すように構成することができる。上述したように、システム２４００は、光変調ユニット１１０、光学サブシステム６２０及び複数の光検出装置６３０を含むことができ、また複数のアナログ／デジタル変換器（ＡＤＣ）２４１０を含むこともできる。（さらに、上述した及び後述する特徴、実施形態及び要素のあらゆるサブセットをシステム２４００に組み込むことができる。）
【０１９０】
光変調ユニット１１０は、変調光ストリームを生成するために、入射光ストリームを一連の空間パターンで変調するように構成される。様々に上述したように、光変調ユニットは、光変調素子のアレイを含む。様々な実施形態では、例えば上述したように、アレイ内の素子の数Ｎが、広範にわたって変化することができる。
【０１９１】
光学サブシステム６２０は、変調光ストリームの空間サブセットを光検出装置のそれぞれに、すなわち光検出装置の光検出面上に導くように構成される。変調光ストリームの空間サブセットは、光変調素子のアレイのそれぞれの非重複領域により生成される。光変調素子のアレイの各領域は、入射光ストリームのそれぞれの空間サブセットを変調することにより、変調光ストリームのそれぞれの空間サブセットを生成する。光検出装置の各々は、変調光ストリームのそれぞれの空間サブセットの強度を時間の関数として表すそれぞれの電気信号を生成するように構成される。
【０１９２】
上述したように、「変調光ストリームの空間サブセットをそれぞれの光検出装置に導く」という表現は、各空間サブセットからの全ての光が対応する光検出装置に到達すること、又は各光検出装置に到達する光がそれぞれの空間サブセットのみからのものであることを必要とするものではない。例えば、画像再構成の所望の精度、又はシステム２４００の目標製造コストに応じて、ある程度の光損失及び損失交差が許容される。
【０１９３】
いくつかの実施形態では、複数の光検出装置が、単一の集積回路に組み込まれる。他の実施形態では、複数の光検出装置を、個別デバイス又は別個にパッケージされたデバイスとすることができる。いくつかの実施形態では、複数の光検出装置がアレイの形で配置される。他の実施形態では、光検出装置が、不規則又は不均一に配置され、又は別個の場所に分散される。
【０１９４】
ＡＤＣ２４１０の各々は、光検出装置のそれぞれによって生成された電気信号のそれぞれのサンプルシーケンスを取り込むように構成される。このＡＤＣの各々によって取り込まれたサンプルシーケンスを使用して、入射光ストリームの対応する空間サブセットを表すそれぞれのサブ画像を構成することができる。
【０１９５】
いくつかの実施形態では、例えば様々に上述したように、光学サブシステムが、複数のレンズを含むことができる。これらのレンズの各々は、変調光ストリームの空間サブセットのそれぞれを光検出装置のそれぞれの光検出面上に導くように構成される。
【０１９６】
いくつかの実施形態では、例えば様々に上述したように、光学サブシステムが、ファイバ結合装置及び複数のファイバ束（又はファイバ）を含むことができる。このファイバ結合装置は、変調光ストリームの空間部分の各々からの光をファイバ束のそれぞれの上に結合するように構成される。ファイバ束の各々は、変調光ストリームのそれぞれの空間サブセットからの光を光検出装置のそれぞれの光検出面上に送出するように構成される。
【０１９７】
いくつかの実施形態では、例えば様々に上述したように、光学サブシステムが、集光レンズを含むことができる。この集光レンズの像面に、複数の光検出装置を配置することができる。
【０１９８】
いくつかの実施形態では、複数のＡＤＣが、それぞれのサンプルシーケンスを同期して、例えば共通サンプリングクロックに応答して取り込むように構成される。
【０１９９】
いくつかの実施形態では、サンプルシーケンスの各々が、それぞれのサブ画像内の画素数ｎPSIよりも小さなサンプルサイズｍSSを有する。サンプルシーケンスのサンプルサイズとは、このサンプルシーケンスに含まれるサンプル数のことである。例えば、異なる実施形態では、サンプルサイズｍSSを、それぞれｎPSIの７０％未満、ｎPSIの６０％未満、ｎPSIの５０％未満、ｎPSIの４０％未満、ｎPSIの３０％未満、ｎPSIの２０％未満、ｎPSIの１０％未満、ｎPSIの５％未満とすることができる。
【０２００】
いくつかの実施形態では、ＡＤＣ２４１０が、入射光ストリームが空間パターンのｍPで変調される時間間隔にわたってサンプルシーケンスを取得するように構成される。さらに、ＡＤＣ２４１０は、各サンプルシーケンスがｍP個の空間パターンの各々に関して少なくとも１つのサンプルを含むようにサンプルシーケンスを取得することができる。この数字ｍPは、サブ画像当たりの画素数ｎPSIよりも小さい。例えば、異なる実施形態では、数字ｍPが、それぞれｎPSIの７０％未満、ｎPSIの６０％未満、ｎPSIの５０％未満、ｎPSIの４０％未満、ｎPSIの３０％未満、ｎPSIの２０％未満、ｎPSIの１０％未満、ｎPSIの５％未満である。
【０２０１】
ある実施形態の組では、光に作用するシステム２５００を、図２５に示すように構成することができる。システム２５００は、様々に上述したような光変調ユニット１１０を含むことができ、また光学サブシステム２５２０、光検出素子２５３０のアレイ及び回路２５４０を含むこともできる。（上述した様々な実施形態、特徴及び要素のあらゆるサブセットをシステム２５００に組み込むことができる。）
【０２０２】
光変調ユニット１１０は、変調光ストリームを生成するために、入射光ストリームを一連の空間パターンで変調するように構成される。光変調ユニットは、Ｎ個の光変調素子のアレイを含む。数字Ｎは、例えば様々に上述したように、及び後述するように、様々な値のいずれかを取ることができる。光検出アレイ２５３０内の光検出素子の数Ｌは、Ｎよりも小さく１つよりも大きい。数字Ｌは、例えば様々に上述したように、及び後述するように、様々な値のいずれかを取ることができる。
【０２０３】
異なる実施形態の組では、比率Ｎ／Ｌを、それぞれ範囲［４，９］内、範囲［９，１６］内、範囲［１６，２５］内、範囲［２５，３６］内、範囲［３６，４９］内、範囲［４９，６４］内、範囲［６４，２５６］内、範囲［２５６，１０２４］内、１０２４〜無限大の範囲内とすることができる。
【０２０４】
光学サブシステムは、変調光ストリームの複数の空間部分の各々からの光を光検出素子のアレイのそれぞれの上に集光するように構成される。変調光ストリームの空間部分は、光変調素子のアレイのそれぞれの非重複領域により生成される。光変調素子のアレイの各領域は、入射光ストリームのそれぞれの空間部分を変調することにより、変調光ストリームのそれぞれの空間部分を生成する。Ｌ個の光検出素子は、それぞれの電気信号を生成するように構成される。電気信号の各々は、変調光ストリームのそれぞれの空間部分の強度を時間の関数として表す。
【０２０５】
回路２５４０は、Ｌ個の光検出素子のアレイからサンプルのグループを読み出すように構成される。サンプルの各グループは、Ｌ個のサンプル、すなわちＬ個の電気信号の各々から１つずつのサンプルを含む。換言すれば、各グループは、Ｌ個の光検出素子の各々から１つずつのサンプルを含む。
【０２０６】
いくつかの実施形態では、回路２５４０が、単位時間当たりＲG個のグループという最大レートでグループを読み出すように構成される。グループの各々は、空間パターンのそれぞれに対応する。一連の空間パターンは、入射光ストリームを表すＮ画素の画像を構成するためにこれらのグループのＭ個が使用可能であるように構成される。
【０２０７】
いくつかの実施形態では、Ｍが１よりも大きくＮ／Ｌ以下である。
【０２０８】
いくつかの実施形態では、ＭがＮ／Ｌ未満である。
【０２０９】
いくつかの実施形態では、Ｍ個のグループの取得時間が目標取得時間以下になるようにＬの値が選択される。
【０２１０】
いくつかの実施形態では、回路２５４０が、単位時間当たりＲG個のグループという最大レートでグループを読み出すように構成され、グループの各々が、空間パターンのそれぞれに対応する。一連の空間パターンは、各々の長さがＭグループであるグループのサブセットが、それぞれのＮ画素の画像を構成するために使用可能であるように構成される。Ｍは、１よりも大きくＮ／Ｌ以下である。整数Ｌは、グループサブセットの取得レートが目標取得レート以上になるように選択することができる。
【０２１１】
いくつかの実施形態では、回路２５４０が、様々に上述したようなＲＯＩＣなどの読み出し集積回路（ＲＯＩＣ）に含まれる。１つの実施形態では、Ｌ個の光検出素子のアレイが、第２の集積回路に含まれる。読み出し集積回路は、第２の集積回路にバンプボンディングすることができる。
【０２１２】
いくつかの実施形態では、回路２５４０及び光検出素子２５３０のアレイが、単一の集積回路に含まれる。１つの実施形態では、単一の集積回路が、ＣＭＯＳ技術を使用して実装される。例えば、この単一の集積回路を、ＣＭＯＳ画像センサとすることができる。
【０２１３】
ＦＰＡベースの圧縮撮像装置
ある実施形態の組では、システム６００の複数の光検出装置６４０が、焦点面アレイ（ＦＰＡ）に組み込まれる（一体化される）。少なくともこの状況では、この光検出装置を「素子」と言うことができる。ＦＰＡは、Ｌx及びＬyを２以上の整数とするＬx×Ｌyの形の分解能などの様々な分解能のいずれかを有することができる。ＦＰＡ分解能の典型的な例として、８×８、１６×１６、３２×３２、６４×６４、１２８×１２８、２５６×２５６、３２０×２５６、６４０×４８０などを挙げることができる。いくつかの実施形態では、特にＦＰＡが大きい場合、ＦＰＡからサンプルグループを読み出すことができる速度ＲGが、光変調ユニット１１０の最大パターン変調速度ＲPよりも遅い（例えば、大幅に遅い）ことがある。サンプルグループは、ＦＰＡ内の光検出素子の各々に関して１つのサンプルを含むことができる。従って、分解能がＬx×ＬyであるＦＰＡでは、各サンプルグループが、Ｌ＝Ｌx＊Ｌy個のサンプルを含むことができる。
【０２１４】
図２６Ａに、ＦＰＡベースの圧縮撮像システム２６００の１つの実施形態の概念図を示す。（撮像システム２６００は、上述した及び後述する特徴、実施形態及び要素のあらゆるサブセットを含むこともできる。）
【０２１５】
入射光ストリームは、光学サブシステム１０５（カメラレンズなど）により受光され、光変調ユニット１１０（例えば、Ｔｅｘａｓ  Ｉｎｓｔｒｕｍｅｎｔｓ社のＤＬＰ（登録商標）マイクロミラーデバイス）上に集光される。光変調ユニットは、Ｎ個の光変調素子のアレイを含む。Ｎ個の光変調素子の各々は、最終的な再構成画像内の画像画素に対応することができ、これによりＦＰＡの素子数Ｌではなく光変調ユニットの素子数によって最終的な再構成画像の画素数を求めることができる。光変調ユニット１１０は、例えば様々に上述したように、光学サブシステム１０５から入射光ストリームを受光し、入射光ストリームを一連の空間パターンで変調して変調光ストリームＭＬＳを取得する。（ＤＬＰの場合、入射光ストリームは、マイクロミラーにより変調される。）例えば様々に上述したように、この変調光ストリームＭＬＳを、光学サブシステム６２０によってＦＰＡ上に集光することができる。ＦＰＡは、光変調ユニット１１０の素子数Ｎよりも少ない素子数Ｌを有する。
【０２１６】
読み出し集積回路（ＲＯＩＣ）は、ＦＰＡからサンプルグループを読み出す。これらのサンプルグループを、ＲＯＩＣインターフェイスユニット２６２０を介してコンピュータシステム２６３０に供給することができる。いくつかの実施形態では、ＦＰＡ及びＲＯＩＣを組み合わせて、例えば２つの集積回路を結合又は接合することにより、混成構造２６１０を形成することができる。コンピュータシステム２６３０は、サンプルグループの組に作用してＮ画素の画像を再構成することができる。具体的には、コンピュータシステム２６３０は、サンプルグループ内のサンプルを、Ｌ個の光検出装置にそれぞれ対応するＬ個のサンプルサブセットに分割し、その後それぞれのサンプルサブセットに基づいて、サイズＮ／ＬのＬ個のサブ画像を再構成することができる。その後、このＬ個のサブ画像を結合して、最終的なＮ画素の画像を形成する。
【０２１７】
いくつかの実施形態では、システム２６００が、ビデオ取得をサポートするためにサンプルグループを連続的に取得することができる。
【０２１８】
コンピュータシステム２６３０は、制御装置２６４０（ＦＰＧＡベースの制御装置など）に制御情報を供給することもできる。制御装置２６４０は、光変調ユニットを制御し、例えば光変調ユニット１１０に一連の空間パターンを供給する。
【０２１９】
光学サブシステム６２０は、変調光ストリームをＦＰＡ上に集光して、光変調素子のアレイのサブセットからの光がＦＰＡのそれぞれの光変調素子において受光されるようにする。これらのサブセットは非重複であり、光変調素子のアレイをカバーすることができる。各サブセットは、光変調素子の近接集団とすることができる。例えば、１つの実施形態では、光検出素子の数ＬがＮ／９に等しく、光変調素子のアレイが３×３のサブセットに区分化される。各光検出素子は、この３×３のサブセットのそれぞれから光を受け取る。各光検出素子からのサンプルを使用して、それぞれの９画素のサブ画像を再構成する。この画素数９のＮ／９個のサブ画像を結合して、最終的なＮ画素の画像を形成する。従って、この実施形態では、システム２６００が、ＦＰＡの分解能の９倍の画像を取得する。各サブ画像の画素数は非常に小さい（この場合、９に等しい）ので、対応する９画素のサブ画像を再構成するために必要な各光検出装置のサンプル数は９（或いは、ノイズの存在時には９を上回る可能性がある）であり、圧縮センシング利得を体験することはない。従って、９個のサンプルグループを使用してＮ画素の画像全体を再構成することができ、撮像システム２６００のフレームレート（毎秒圧縮される画像）は、ＦＰＡのグループレートＲGよりも９倍遅い。
【０２２０】
光変調ユニット１１０を駆動するために使用する一連の空間パターンは、９つ（又はそれ以上）の空間パターンを含むことができる。これらの９つの空間パターンは、９つの空間パターンを光変調アレイの各サブセットに制限することにより、それぞれの電気信号の９つの対応するサンプルから対応する９画素のサブ画像を再構成するために使用可能な９つの３×３のパターンが得られるように設計される。例えば、１つの実施形態では、この９つの３×３パターンが、Ｒ9（９次元ユークリッド空間）上の９つのユークリッド基底要素に対応する。或いは同様に、９つの３×３パターンの各々は、異なるオンになった９つの光検出素子の１つと、オフになった残りの８つの素子とを有する。より一般的には、この９つの３×３パターンをいずれかの９×９の可逆行列によって定めることができ、９つの３×３パターンの各々は、９×９の可逆行列の異なる行に対応する。
【０２２１】
いくつかの実施形態では、９つの空間パターンの各々が、対応する３×３パターンの定期的反復に基づいて空間周期的である。従って、これらの９つの３×３パターンを使用して、９つの空間パターンを生成することができる。
【０２２２】
より一般的には、光変調素子のアレイを、Ｑx×Ｑyのサイズのサブセットに区分化することができ、この場合、Ｑx及びＱyは、Ｑ＝Ｑx＊Ｑyが２以上になるような正の整数である。従って、ＦＰＡ内の光検出素子の数は、Ｌ＝Ｎ／Ｑとなる。各光検出素子は、Ｑx×Ｑy個のサブセットのそれぞれから光を受け取る。各光検出素子からのサンプルを使用して、それぞれのＱ画素のサブ画像を再構成する。画素数ＱのＮ／Ｑ個のサブ画像を結合して、最終的なＮ画素の画像を形成する。従って。システム２６００は、ＦＰＡの分解能のＱ倍の画像を取得する。Ｑが小さい場合、対応するＱ画素のサブ画像を再構成するために使用する各光検出装置のサンプル数ｍは、Ｑ又はＱに近い（或いは、ノイズの存在時にはＱを上回る）ものとなり得る。Ｑが増加するにつれ、圧縮センシング利得の利点が確認され始めるので、比率ｍ／Ｑは減少する。従って、Ｑ個以下のサンプルグループを使用してＮ画素の画像全体を再構成することができ、撮像システム２６００の画像フレームレート（毎秒圧縮される画像数）の下限として、ＦＰＡのグループレートをＲGとする比率ＲG／Ｑを取ることができる。因数ｃOS＞１までのオーバーサンプリングが採用されている場合、下限は逆向きにスケーリングされる：下限＝ＲG／（ｃOSＱ）。
【０２２３】
いくつかの実施形態では、光変調ユニット１１０を駆動するために使用する一連の空間パターンが、ｍ個の空間パターンを含むことができる。このｍ個の空間パターンは、ｍ個の空間パターンを光検出アレイの各サブセットに制限することにより、それぞれの電気信号のｍ個の対応するサンプルから対応するＱ画素のサブ画像を再構成するために使用可能なｍ個のＱｘ×Ｑｙのサイズのパターンが得られるように設計される。Ｑが、例えば６４未満などのように小さい場合、ｍをＱに等しく設定することができ、ｍ個のＱｘ×Ｑｙのサイズのパターンは、ＲＱ上のＱ個のユークリッド基底要素に、又はより一般的には、いずれかのＱ×Ｑ個の可逆行列の行に対応することができる。Ｑが小さくない場合、このｍ個のＱｘ×Ｑｙのサイズのパターンは、Ｑｘ×Ｑｙのサブ画像を再構成するために使用される再構成ベクトルセットに対してインコヒーレントなＲＱにおけるいずれかのｍ個のベクトルの組の行に対応することができる。
【０２２４】
図２６Ｂに示すテーブルに、ＦＰＡが、毎秒１２０グループ又は毎秒２００グループのグループレートを有すると想定した場合の、様々なＦＰＡサイズに関する考えられる画像フレームレート及び画像分解能を示す。（フレームレートは、ＦＰＡグループレートに対応する。）また、ＦＰＡ素子当たりの光変調素子の数Ｑが６４又はそれ以上に増加すると、画像フレーム当たりのサンプルグループ数が減少し得るので、フレームレートはほぼ２倍に増加することができる。このテーブルでは、光変調ユニットがＤＭＤであると仮定しているが、示す結果は、Ｎ個の光変調素子を有するあらゆるタイプの光変調ユニットに一般的に適用可能である。
【０２２５】
いくつかの実施形態では、撮像システム２６００を、画像分解能対フレームレートの異なる設定間で動的に推移させることもできる。例えば、この撮像システムは、３２×３２のＦＰＡを使用して、１２８×１２８の分解能及び７．５ＦＰＳで、又は１９２×１９２の分解能及び３．３ＦＰＳで動作することができる。（ＦＰＳは、「秒当たりフレーム数」の頭字語である。)
【０２２６】
いくつかの実施形態では、撮像システム２６００が、画像再構成の前に、サンプルグループに対して画像処理を行うことができる。例えば、サンプルグループの分析に基づいて、入射光照射野においてホットスポットを識別することができ、その後、空間パターンの適当な制御により、この識別されたホットスポットを減衰させ、又はゼロにすることができる。別の例として、サンプルグループの分析に基づいてオブジェクトを追跡することができる。この追跡結果を使用して、カメラの配向を調整するアクチュエータを、例えばリアルタイムで制御することができる。
【０２２７】
パターンレートが限られている場合のＣＩデバイスの設計方法
ある実施形態の組では、圧縮撮像装置を設計するためのコンピュータ実行方法２７００が、図２７Ａに示す動作を伴うことができる。この方法は、１又はそれ以上のマイクロプロセッサを含むコンピュータシステムなどのコンピュータシステムによって実施することができる。
【０２２８】
２７１０において、コンピュータシステムは、圧縮撮像装置に関するＮ画素の画像の目標有効取得レートＲＩを指定する情報を受け取ることができ、この場合、Ｎは、圧縮撮像装置に含まれる光変調ユニット内の光変調素子の数である。例えば、この目標有効レートは、ユーザ入力により指定することができる。
【０２２９】
圧縮撮像装置は、ｎ画素の画像を直接取得しないので、この目標レートは「有効」画像取得レートと呼ばれる。むしろ、圧縮撮像装置は、それぞれのｎ画素の画像を再構成するために使用可能なサンプルセットを取得するように構成される。サンプルセットからｎ画素の画像が再構築されるまで、このｎ画素の画像は、圧縮撮像装置の光路を横切る光の過渡パターンとしてのみ存在する。
【０２３０】
２７２０において、コンピュータシステムは、光変調ユニットの最大パターン変調速度をＲPとし、圧縮撮像装置に含まれる光検出装置の数をＬとするＲP／ｆ（Ｎ／Ｌ）が目標有効レートＲI以上となるように変数ＲP及びＬの各々の値を求める（例えば、計算する）ことができる。関数ｆは、正の整数値ｖを対応する数ｆ（ｖ）にマッピングする関数であり、ｆ（ｖ）は、ｖ画素の画像を再構成するために必要な最低圧縮センシングサンプル数以上である。
【０２３１】
関数ｆは、様々な関数形式のいずれかを有することができる。いくつかの実施形態では、関数ｆを経験的に導き出すことができる。いくつかの実施形態では、関数ｆが、Ｎ画素の画像の目標再構成精度、光変調ユニットを駆動するために使用する空間パターンのクラス、Ｎ画素の画像のスパース性指数値などの１又はそれ以上の因子に依存することができる。
【０２３２】
１つの実施形態では、関数ｆが、以下の式
ｆ（Ｎ／Ｌ）＝ＭN／Ｌ
に従うことができ、式中、ＭＮは、一般的なＮ画素の画像を例えば所与の精度で再構成するために必要な最低圧縮センシングサンプル数以上である。
【０２３３】
別の実施形態では、関数ｆが、以下の形を有することができ、
ｆ（ｖ）＝ｃ＊ＫN＊ｌｏｇ（ｖ）、
式中、ｃは正定数であり、ＫＮは、一般的なＮ画素の画像に関連するスパース性指数値である。
【０２３４】
さらに別の実施形態では、関数ｆが、以下の形を有することができ、
ｆ（ｖ）＝ｃ＊Ｋv＊ｌｏｇ（ｖ）、
式中、ｃは正定数であり、Ｋｖは、一般的なｖ画素の画像に関連するスパース性指数値である。
【０２３５】
２７３０において、コンピュータシステムは、求められた変数ＲP及びＬの値をメモリに記憶することができる。この求められたＲP及びＬの値により、圧縮撮像装置の設計が少なくとも部分的に指定される。
【０２３６】
いくつかの実施形態では、方法２７００が、求められた変数Ｌの値及び／又は求められた変数ＲPの値を表示するステップを含むこともできる。
【０２３７】
いくつかの実施形態では、変数ＲP及びＬの各々の値を求める動作が、ＲPの値を指定する入力（ユーザ入力など）を受け取るステップと、ＲP／ｆ（Ｎ／Ｌ）がレートＲI以上であるという条件に従う変数Ｌの最小値を選択するステップとを含む。
【０２３８】
いくつかの実施形態では、変数ＲP及びＬの各々の値を求める動作が、１よりも大きなＬの値を指定する入力（ユーザ入力など）を受け取るステップと、ＲP／ｆ（ｎ／Ｌ）がレートＲI以上であるという条件に従う変数ＲPの最小値を選択するステップとを含む。
【０２３９】
いくつかの実施形態では、関数ｆが、圧縮撮像装置が使用する空間パターンのクラスの選択に依存する。１つの実施形態では、方法２７００が、空間パターンのクラスを指定するユーザ入力を受け取るステップも含む。
【０２４０】
いくつかの実施形態では、関数ｆが、Ｎ画素の画像を再構成すべき目標精度に依存する。１つの実施形態では、方法２７００が、目標精度を指定するユーザ入力を受け取るステップも含む。
【０２４１】
いくつかの実施形態では、関数ｆが、Ｎ画素の画像の指定されたスパース性指数値ＫNに依存する。１つの実施形態では、方法２７００が、スパース性指数値ＫNを指定するユーザ入力を受け取るステップを含む。
【０２４２】
いくつかの実施形態では、方法２７００が、圧縮撮像装置を、Ｎ個の光変調素子を有する光変調ユニットと、求められた光検出装置の数Ｌとを含むように構成するステップを含むこともでき、この求められた数Ｌの光検出装置の各々は、例えば様々に上述したように、Ｎ個の光変調素子の対応するサブセット（又は小領域）から光を受け取るように構成される。
【０２４３】
方法２７５０
ある実施形態の組では、圧縮撮像装置を設計するためのコンピュータ実行方法２７５０が、図２７Ｂに示す動作を伴うことができる。この方法は、コンピュータシステムにより実行することができる。
【０２４４】
２７６０において、コンピュータシステムは、圧縮撮像装置に関するＮ画素の画像の目標有効取得レートＲＩを指定する情報（ユーザ入力など）を受け取ることができ、この場合、ｎは、圧縮撮像装置に含まれる光変調ユニット内の光変調素子の数Ｎ以下である。
【０２４５】
２７７０において、コンピュータシステムは、光変調ユニットの最大パターン変調速度をＲPとし、圧縮撮像装置に含まれる光検出装置の数をＬとするＲP／ｆ（ｎ／Ｌ）が目標有効レートＲIを以上となるように変数ＲP、Ｌ及びｎの各々の値を求める（例えば、計算する）ことができ、この場合、ｆは、正の整数値ｖを対応する数ｆ（ｖ）にマッピングする関数であり、ｆ（ｖ）は、ｖ画素の画像を再構成するために必要な最低圧縮センシングサンプル数以上である。関数ｆは、上述した特徴のいずれか又は特徴のあらゆる組み合わせを有することができる。
【０２４６】
２７８０において、コンピュータシステムは、求められた変数ＲＰ、Ｌ及びｎの値をメモリに記憶することができる。いくつかの実施形態では、方法２７５０が、少なくとも求められた変数Ｌの値などの、求められた値の１又はそれ以上を表示するステップを含むこともできる。
【０２４７】
いくつかの実施形態では、変数ＲP、Ｌ及びｎの各々の値を求める動作が、ＲP、Ｌ及びＮの値を指定する入力（ユーザ入力など）を受け取るステップと、ＲP／ｆ（ｎ／Ｌ）がレートＲI以上であるという条件、及びｎがＮ以下であるという条件に従う変数ｎの最大値を選択する（又は計算する）ステップとを含む。
【０２４８】
いくつかの実施形態では、変数ＲP、Ｌ及びｎの各々の値を求める動作が、ＲP及びｎの値を指定する入力（ユーザ入力など）を受け取るステップと、ＲP／ｆ（ｎ／Ｌ）がレートＲI以上であるという条件に従う変数Ｌの最小値を選択するステップとを含む。
【０２４９】
いくつかの実施形態では、変数ＲP、Ｌ及びｎの各々の値を求める動作が、１よりも大きなＬの値及びｎの値を指定する入力を受け取るステップと、ＲP／ｆ（ｎ／Ｌ）がレートＲI以上であるという条件に従う変数ＲPの最小値を選択するステップとを含む。
【０２５０】
いくつかの実施形態では、関数ｆが、圧縮撮像装置が使用する空間パターンのクラスの選択に依存する。１つの実施形態では、方法２７０５０が、空間パターンのクラスを指定するユーザ入力を受け取るステップを含む。
【０２５１】
いくつかの実施形態では、関数ｆが、ｎ画素の画像が再構成すべき目標精度に依存する。１つの実施形態では、方法２７５０が、目標精度を指定するユーザ入力を受け取るステップも含む。
【０２５２】
いくつかの実施形態では、関数ｆが、ｎ画素の画像の指定されたスパース性指数値Ｋnに依存する。１つの実施形態では、方法２７５０が、スパース性指数値Ｋnを指定するユーザ入力を受け取るステップを含む。
【０２５３】
いくつかの実施形態では、方法２７５０が、圧縮撮像装置を、Ｎ個の光変調素子を有する光変調ユニットと、求められた光検出装置の数Ｌとを含むように構成するステップを含むこともできる。求められた数Ｌの光検出装置の各々は、例えば様々に上述したように、Ｎ個の光変調素子の対応するサブセット（又は小領域）から光を受け取るように構成される。
【０２５４】
光検出装置のアレイからのサンプルグループレートによって制限されている場合のＣＩデバイスの設計方法
ある実施形態の組では、圧縮撮像装置を設計するためのコンピュータ実行方法２８００が、図２８Ａに示す動作を伴うことができる。方法２８００は、１又はそれ以上のマイクロプロセッサを含むコンピュータシステムなどのコンピュータシステムによって実施することができる。
【０２５５】
２８１０において、コンピュータシステムは、圧縮撮像装置に関するＮ画素の画像の目標有効取得レートＲIを指定する情報（ユーザ入力など）を受け取ることができ、この場合、Ｎは、圧縮撮像装置に含まれる光変調ユニット内の光変調素子の数である。
【０２５６】
２８２０において、コンピュータシステムは、ＲG／ｆ（Ｎ／Ｌ）がＲI以上となるように変数ＲG及びＬの各々の値を求めることができ、この場合、ＲGは、圧縮撮像装置に含まれるＬ個の光検出装置のアレイから取得すべき毎秒の最大サンプルグループ数であり、各サンプルグループは、当然ながらＬ個の光検出装置の各々からの１つのサンプルを含む。関数ｆは、正の整数値ｖを対応する数ｆ（ｖ）にマッピングする関数であり、ｆ（ｖ）は、ｖ画素の画像を再構成するために必要な最低圧縮センシングサンプル数以上である。関数ｆは、上述した特徴のいずれか又は特徴のあらゆる組み合わせを有することができる。１つの実施形態では、関数ｆを恒等関数ｆ（ｖ）＝ｖとすることができる。この恒等関数は、例えばｎ／Ｌが小さい時に使用することができる。
【０２５７】
２８３０において、コンピュータシステムは、求められた変数ＲG及びＬの値をメモリに記憶することができる。この求められたＲG及びＬの値により、圧縮撮像装置の設計が少なくとも部分的に指定される。
【０２５８】
いくつかの実施形態では、方法２８００が、求められた変数Ｌの値及び／又は求められた変数ＲGの値を表示するステップを含むこともできる。
【０２５９】
いくつかの実施形態では、変数ＲG及びＬの各々の値を求める動作が、ＲGの値を指定する入力（ユーザ入力など）を受け取るステップと、ＲG／ｆ（Ｎ／Ｌ）がレートＲI以上であるという条件に従う変数Ｌの最小値を選択するステップとを含むことができる。
【０２６０】
いくつかの実施形態では、変数ＲG及びＬの各々の値を求める動作が、１よりも大きなＬの値を指定する入力（ユーザ入力など）を受け取るステップと、ＲG／ｆ（Ｎ／Ｌ）がレートＲI以上であるという条件に従う変数ＲGの最小値を選択するステップとを含むことができる。
【０２６１】
いくつかの実施形態では、関数ｆが、圧縮撮像装置が使用する空間パターンのクラスの選択に依存する。１つの実施形態では、方法２８００が、空間パターンのクラスを指定するユーザ入力を受け取るステップも含む。
【０２６２】
いくつかの実施形態では、関数ｆが、Ｎ画素の画像を再構成すべき目標精度に依存する。１つの実施形態では、方法２８００が、目標精度を指定するユーザ入力を受け取るステップも含む。
【０２６３】
いくつかの実施形態では、方法２８００が、圧縮撮像装置を、Ｎ個の光変調素子を有する光変調ユニット及びＬ個の光検出装置のアレイを含むように構成する（組み立てる又は製造する）ステップを含むこともでき、Ｌの値は、求められたＬの値と一致する。Ｌ個の光検出装置の各々は、例えば様々に上述したように、Ｎ個の光変調素子の対応するサブセット（又は小領域）から光を受け取るように構成される。
【０２６４】
方法２８５０
ある実施形態の組では、圧縮撮像装置を設計するためのコンピュータ実行方法２８５０が、図２８Ｂに示す動作を伴うことができる。方法２８５０は、コンピュータシステムにより実行することができる。
【０２６５】
２８６０において、コンピュータシステムは、圧縮撮像装置に関するＮ画素の画像の目標有効取得レートＲＩを指定する情報（ユーザ入力など）を受け取ることができ、この場合、ｎは、圧縮撮像装置に含まれる光変調ユニット内の光変調素子の数Ｎ以下である。
【０２６６】
２８７０において、コンピュータシステムは、ＲG／ｆ（ｎ／Ｌ）がＲI以上となるように変数ＲG、Ｌ及びｎの各々の値を求めることができ、この場合、ＲGは、圧縮撮像装置に含まれるＬ個の光検出装置のアレイから取得すべき毎秒の最大サンプルグループ数であり、各サンプルグループは、当然ながらＬ個の光検出装置の各々からの１つのサンプルを含む。関数ｆは、正の整数値ｖを対応する数ｆ（ｖ）にマッピングする関数であり、ｆ（ｖ）は、ｖ画素の画像を再構成するために必要な最低圧縮センシングサンプル数以上である。関数ｆは、上述した特徴のいずれか又は特徴のあらゆる組み合わせを有することができる。
【０２６７】
２８８０において、コンピュータシステムは、求められた変数ＲＧ、Ｌ及びｎの値をメモリに記憶することができる。
【０２６８】
いくつかの実施形態では、方法２８５０が、求められた値の１又はそれ以上を表示するステップを含むこともできる。
【０２６９】
いくつかの実施形態では、変数ＲG、Ｌ、及びｎの各々の値を求める動作が、ＲP、Ｌ及びＮの値を指定する入力（ユーザ入力など）を受け取るステップと、ＲG／ｆ（ｎ／Ｌ）がレートＲI以上であるという条件、及びｎがＮ以下であるという条件に従う変数ｎの最大値を選択するステップとを含むことができる。
【０２７０】
いくつかの実施形態では、変数ＲG、Ｌ、及びｎの各々の値を求める動作が、ＲG及びｎの値を指定する入力（ユーザ入力など）を受け取るステップと、ＲG／ｆ（ｎ／Ｌ）がレートＲI以上であるという条件に従う変数Ｌの最小値を選択するステップとを含むことができる。
【０２７１】
いくつかの実施形態では、変数ＲG、Ｌ、及びｎの各々の値を求める動作が、１よりも大きなＬの値を指定する入力（ユーザ入力など）を受け取るステップと、ＲG／ｆ（ｎ／Ｌ）がレートＲI以上であるという条件に従う変数ＲGの最小値を選択するステップとを含むことができる。
【０２７２】
いくつかの実施形態では、関数ｆが、圧縮撮像装置が使用する空間パターンのクラスの選択に依存する。１つの実施形態では、方法２８５０が、空間パターンのクラスを指定するユーザ入力を受け取るステップを含む。
【０２７３】
いくつかの実施形態では、関数ｆが、ｎ画素の画像を再構成すべき目標精度に依存する。１つの実施形態では、方法２８５０が、目標精度を指定するユーザ入力を受け取るステップも含む。
【０２７４】
いくつかの実施形態では、方法２８５０が、圧縮撮像装置を、Ｎ個の光変調素子を有する光変調ユニット及びＬ個の光検出装置のアレイを含むように構成するステップを含むこともでき、Ｌの値は、求められたＬの値と一致し、Ｌ個の光検出装置の各々は、例えば様々に上述したように、Ｎ個の光変調素子の対応するサブセット（又は小領域）から光を受け取るように構成される。
【０２７５】
入射ビームの小領域に作用する並列光変調ユニット
ある実施形態の組では、光に作用するシステム２９００を、図２９Ａに示すように構成することができる。このシステムは、変調前光学サブシステム２９１０、複数の光変調ユニット１１０−１〜１１０−Ｇ、複数の光検出装置１３０−２〜１３０−Ｇ、及び複数のアナログ／デジタル変換器（ＡＤＣ）１４０−１〜１４０−Ｇを含むことができる。（また、システム２９００は、上述した特徴、実施形態及び要素のあらゆるサブセットを含むこともできる。）
【０２７６】
変調前光学サブシステム２９１０は、入射光ストリームを受光し、この入射光ストリームを複数の光サブストリームＢ１、Ｂ２、・・・、ＢＧに分離するように構成することができる。光サブストリームは、入射光ストリームの非重複領域にそれぞれ対応する。これらの領域は、入射光ストリームの断面をカバーすることができる。入射光ストリームの領域の各々は、近接領域（又は上述したような単純接続領域）とすることができる。
【０２７７】
いくつかの実施形態では、変調前光学サブシステム２９１０が、１又はそれ以上のミラーを含む。いくつかの実施形態では、変調前光学サブシステムが、１又はそれ以上のプリズムを含む。いくつかの実施形態では、変調前光学サブシステムが、１又はそれ以上のビームスプリッタを含む。いくつかの実施形態では、変調前光学サブシステムが、複数のファセットを有する光学デバイスを含む。いくつかの実施形態では、変調前光学サブシステムが、１又はそれ以上のミラー、及び／又は１又はそれ以上のプリズム、及び／又は１又はそれ以上のビームスプリッタ、及び／又は１又はそれ以上のファセットを有する光学デバイスを含む。
【０２７８】
光変調ユニット１１０−１〜１１０−Ｇは、それぞれの変調光サブストリームＭＬＳ1、ＭＬＳ2、・・・、ＭＬＳGを生成するために、光サブストリームをそれぞれ変調するように構成することができる。光変調ユニットの各々は、それぞれの変調光サブストリームを生成するために、それぞれの光サブストリームをそれぞれの一連の空間パターンで変調するように構成される。光変調ユニットの各々は、例えば様々に上述したように、光変調素子のそれぞれのアレイを含む。光変調ユニットの各々は、様々に上述したように、光変調ユニット１１０のコピー（又は類似物）とすることができる。
【０２７９】
いくつかの実施形態では、一連の空間パターンが同じシーケンスであり、すなわち各光変調ユニットは、同じ一連の空間パターンを使用する。或いは、シーケンスの各々が異なってもよい。
【０２８０】
光検出装置１３０−１〜１３０−Ｇは、それぞれ変調光サブストリームを受光して、それぞれの電気信号Ｉ1（ｔ）、Ｉ2（ｔ）、・・・、ＩG（ｔ）を生成するように構成することができる。各光検出装置により生成された電気信号は、それぞれの変調光サブストリームの強度を時間の関数として表す。
【０２８１】
ＡＤＣ１４０−１〜１４０−Ｇの各々は、光検出装置のそれぞれにより生成される電気信号のサンプルシーケンスを取り込むように構成することができる。各ＡＤＣによって取り込まれたサンプルシーケンスを使用して、入射光ストリームの領域のそれぞれを表すそれぞれのサブ画像を構成することができる。これらのサブ画像を結合して、取得時間間隔にわたる入射光ストリームを表す最終画像を形成することができる。
【０２８２】
最終画像は、サブ画像に分割されるので、各サブ画像を独立して処理し、すなわちこれらを並行して測定し再構成することができる。各サブ画像の画素は、画像全体の画素よりも少ないので、測定回数が少なくて済み、データ取得時間が短縮される。再構成計算を同時に行って、計算時間が増えないようにすることができる。
【０２８３】
いくつかの実施形態では、システム２９００が、変調光サブストリームのそれぞれからの光を光検出装置のそれぞれの上に導くように構成された複数の変調後光学サブシステムを含むこともできる。例えば、各光学サブシステムを、光学サブシステム１１７に関連して上述したように構成することができる。
【０２８４】
いくつかの実施形態では、光検出素子１３０−１〜１３０−Ｇの各々が、対応する複数の光検出装置（又はこれらのアレイ）により実現される。従って、様々に上述したように、対応する変調光ストリームのサブセットからの光をそれぞれの光検出素子上に送出するために、各変調後光学サブシステムを、光学サブシステム６４０に関連して上述したように構成することができる。
【０２８５】
図２９Ｂには、Ｇ＝２の場合のシステム２９００の特別な場合を示している。
【０２８６】
図３０Ａに、入射光ストリームＬの半分を遮断するように位置付けられたミラー２９１０Ｍにより実現される変調前光学サブシステム２９１０を示す。残りの半分は、妨げられずに通過する。遮断された半分は、光変調ユニット１１０Ｂに向けて反射される。残りの半分は、光変調ユニット１１０Ａに供給される。この原理は、あらゆる数のミラーに一般化される。例えば、図３０Ｂに、入射光ストリームＬを３つの部分に分離するために使用する２つのミラー２９１０Ｍａ及び２９１０Ｍｂを示す。また、２又はそれ以上のミラーの組を使用して、複数の分離段階を実現することもできる。例えば、図３０ＢのサブストリームＢ1を、１又はそれ以上の追加のミラーによってさらに分離することもできる。
【０２８７】
図３１Ａに、入射光ストリームを２つの光サブストリームに分離するように構成された傾斜ミラー２９１０ＡＭにより実現される変調前光学サブシステム２９１０を示す。図３１Ｂには、プリズム２９１０Ｐが、その２つの表面における全内部反射に基づいて入射光ビームを分離する代替の実施形態を示す。図３１Ｃには、プリズム２９１０Ｑに基づく別の代替例を示す。
【０２８８】
図３２Ａに、点Ｐで交わる反射面（又はファセット）を有するオブジェクト（又はデバイス）２９１０Ｃにより実現される変調前光学サブシステム２９１０を示す。例えば、点Ｐで交わる３つの鏡面を有する立方体を使用して、入射光ストリームＬを３つの光サブストリームに分離することができる。対応する面から反射された代表的な光線Ｒ1、Ｒ2及びＲ3を示している。図３２Ｂには、入射光ストリームの軸線に沿って見られる分離パターンを示す。この分離原理は、ある点で交わる４つ以上の面を有する物体に一般化される。例えば、四面体は、頂点で交わる４つの面を有しており、従ってこれを使用して、入射光ストリームを４つのサブストリームに分離することができる。
【０２８９】
ある実施形態の組では、光に作用する方法３３００が、図３３に示す動作を伴うことができる。
【０２９０】
動作３３１０は、例えば様々に上述したように、入射光ストリームを複数の光サブストリームに分離するステップを含む。これらの光サブストリームは、例えば様々に上述したように、入射光ストリームの非重複領域にそれぞれ対応する。
【０２９１】
動作３３２０は、それぞれの変調光サブストリームを生成するために光サブストリームを変調するステップを含む。光サブストリームの各々は、様々に上述したような光変調ユニットなどの複数の光変調ユニットのそれぞれにより変調される。光変調ユニットの各々は、対応する光変調素子のアレイを含む。光サブストリームを変調する動作は、それぞれの変調光サブストリームを生成するために、光サブストリームの各々を（例えば様々に上述したような）それぞれの一連の空間パターンで変調するステップを含む。
【０２９２】
動作３３３０は、変調光サブストリームの各々からの光を複数の光検出装置（例えば様々に上述したように光検出装置）のそれぞれの上に導くステップを含む。光を導くための様々な技術については上述した。
【０２９３】
動作３３４０は、例えば様々に上述したように、電気信号を生成するステップを含む。電気信号の各々は、光検出装置のそれぞれにより生成される。各光検出装置により生成された電気信号は、それぞれの変調光サブストリームの強度を時間の関数として表す。
【０２９４】
動作３３５０は、光検出装置の各々からそれぞれの電気信号のそれぞれのサンプルシーケンスを取得するステップを含む。各サンプルシーケンスを使用して、入射光ストリームの領域のそれぞれを表すそれぞれのサブ画像を構成することができる。
【０２９５】
入射光ストリームの、入射光ストリームと同じ画像を搬送する複数のストリームへの変調前分離
ある実施形態の組では、システム３４００を、図３４Ａに示すように構成することができる。システム３４００は、光学分離ユニット３４１０、光変調ユニット１１０Ａ及び１００Ｂ、光検出装置１３０Ａ及び１３０Ｂ、並びにＡＤＣ１４０Ａ及び１４０Ｂを含む。（また、システム３４００は、システム１００、システム実現２００及びシステム６００に関連して上述した特徴、実施形態及び要素のあらゆるサブセットを含むこともできる。）
【０２９６】
光学分離ユニット３４１０は、入射光ストリームＬを２つの光ストリームＢ1及びＢ2に分離する。この２つの光ストリームＢ1及びＢ2の各々は、入射光ストリームが搬送する画像と同じ画像を搬送することができる。換言すれば、２つの光ストリームＢ1及びＢ2の各々は、変調光ストリーム内に存在する画像の（より低い強度の）コピーを（おそらくはミラー反射又はスケーリングなどの変換まで）搬送することができる。
【０２９７】
いくつかの実施形態では、入射光パワーの約５０％が、ストリームＢ1及びＢ2の各々に当てられる。光変調ユニット１１０Ａ及び１１０Ｂは、それぞれの変調光ストリームＭＬＳ1及びＭＬＳ2を取得するために、ストリームＢ1及びＢ2をそれぞれの一連の空間パターンでそれぞれ変調する。光検出装置１３０Ａ及び１３０Ｂは、電気信号Ｉ1（ｔ）及びＩ2（ｔ）をそれぞれ生成する。各電気信号は、それぞれの変調光ストリームの強度を時間の関数として表す。ＡＤＣ１４０Ａ及び１４０Ｂは、それぞれの電気信号のサンプルを取得する。各ＡＤＣは、それぞれの電気信号のそれぞれのサンプルシーケンスを取得する。換言すれば、ＡＤＣ  １４０Ａは、電気信号Ｉ1（ｔ）のサンプルシーケンス｛Ｉ1（ｋ）｝を取得し、ＡＤＣ１４０Ｂは、電気信号Ｉ2（ｔ）のサンプルシーケンス｛Ｉ2（ｋ）｝を取得する。これらの２つのサンプルシーケンスを使用して、取得時間間隔にわたる入射光ストリームＬを表す画像を構成することができる。この画像構成動作は、システム３４００又は他の何らかのリモートシステムによって行うことができる。）光ストリームＢj（ｊ＝１又は２）により搬送される画像が、所与の変換（ミラー反射など）による入射光ストリーム内の画像に関連する場合、画像構成アルゴリズムを、対応する一連の空間パターン、すなわちサンプルシーケンス｛Ｉj（ｋ）｝を生成する空間パターンに逆変換を適用することなどにより、この変換を考慮するように構成することができる。
【０２９８】
いくつかの実施形態では、各光変調ユニットが、同じ数Ｎの光変調素子を有することができる。（しかしながら、これが当てはまらない場合には代替の実施形態が企図される。）従って、再構成画像は、画素数Ｎ以下のものとなり得る。必要であれば、Ｎ個の光変調素子を有する光変調素子を、より低い有効分解能ｎ＜Ｎで動作させることができることを思い出されたい。
【０２９９】
２つの分離後の分岐（各々が光変調ユニット、光検出装置及びＡＤＣを含む）は、並行して動作することができる。例えば、各光変調ユニットは、それぞれの光ストリームを、例えば共通パターンクロックにより駆動されるような共通パターンレートの空間パターンで変調することができる。さらに、各ＡＤＣは、共通サンプリングレートのサンプルを取得することができる。
【０３００】
システム３４００における２つの分離後の分岐では、各々が同じ画像の圧縮センシングサンプル（内積）を取得するので、各光変調ユニットが異なる空間パターンを使用するならば、画像の圧縮表現を取得するために必要な時間が１／２に減少する。換言すれば、２つの一連の空間パターンには、共通の空間パターンが存在しない（又はその割合が低い）ことが好ましい。
【０３０１】
代替の実施形態では、光ストリームＢ１及びＢ２が、入射光ストリームが搬送する画像の異なるスペクトル部分を搬送する。
【０３０２】
図３４Ｂに、ビームスプリッタ３４１０ＢＳとして実現される光学分離ユニット３４１０を示す。しかしながら、他の様々な実現も可能である。例えば、他の実施形態では、光学分離ユニット３４１０を、分岐光ファイバ束、色分解プリズム、ホログラフィック光学素子、回折格子、ダンマン型回折格子及びフーリエアレイ生成器のうちの１又はそれ以上によって実現することができる。
【０３０３】
システム３５００
ある実施形態の組では、システム３５００を、図３５に示すように構成することができる。システム３５００は、変調前光学分離ユニット３５１０、光変調ユニット１１０−１〜１１０−Ｇ、光検出装置１３０−１〜１３０−Ｇ、及びＡＤＣ１４０−１〜１４０−Ｇを含む。（また、システム３５００は、システム１００、システム実現２００及びシステム６００及びシステム３４００に関連して上述した特徴、実施形態及び要素のあらゆるサブセットを含むこともできる。）
【０３０４】
光学分離ユニット３５１０は、入射光ストリームＬを光ストリームＢ1〜ＢGに分離する。しかしながら、この分離は、変調前光学サブシステム２９１０が行うような空間部分への分離ではない。代わりに、各光ストリームＢjは、入射光ストリームＬ内に存在する画像と同じ画像を（より低いパワーで）搬送する。
【０３０５】
いくつかの実施形態では、各光ストリームＢｊが、入射光ストリーム内に存在するパワーのほぼ同じ割合（１／Ｇ）を受け取る。
【０３０６】
光変調ユニット１１０−１〜１１０−Ｇは、それぞれの変調光ストリームＭＬＳ1〜ＭＬＳGを取得するために、ストリームＢ1〜ＢGをそれぞれの一連の空間パターンでそれぞれ変調する。光検出装置１３０−１〜１３０−Ｇは、電気信号Ｉ1（ｔ）〜ＩG（ｔ）をそれぞれ生成する。各電気信号Ｉj（ｔ）は、それぞれの変調光ストリームＭＬＳjの強度を時間の関数として表す。ＡＤＣ１４０−１〜１４０−Ｇは、それぞれの電気信号Ｉ1（ｔ）〜ＩG（ｔ）のサンプルを取得する。各ＡＤＣは、それぞれの電気信号のそれぞれのサンプルシーケンスを取得する。換言すれば、ＡＤＣ１４０−ｊは、電気信号Ｉj（ｔ）のサンプルシーケンス｛Ｉj（ｋ）｝を取得する。Ｇ個のサンプルシーケンスを使用して、取得時間間隔にわたる入射光ストリームＬを表す画像を構成することができる。（この画像構成作業は、システム３５００又は他の何らかのリモートシステムによって行うことができる。）光ストリームＢjにより搬送される画像が、所与の変換（ミラー反射など）による入射光ストリーム内の画像に関連する場合、画像構成アルゴリズムを、対応する一連の空間パターン、すなわちサンプルシーケンス｛Ｉj（ｋ）｝に対応する空間パターンに逆変換を適用することなどにより、この変換を考慮するように構成することができる。（この変換は、較正によって知ることができる。）サンプルシーケンス｛Ｉ1（ｋ）｝、｛Ｉ2（ｋ）｝（・・・）｛ＩG（ｋ）｝の結合、及び（できれば変換された）対応する空間パターンの組の結合を使用して画像を構成することができる。
【０３０７】
システム３５００は、サンプルセット｛Ｉ1（ｋ）｝、｛Ｉ2（ｋ）｝（・・・）｛ＩG（ｋ）｝の結合における総サンプル数が、構成された画像内の画素数Ｎを下回るように、圧縮的に動作することが好ましい。
【０３０８】
いくつかの実施形態では、各光変調ユニットが、同じ数Ｎの光変調素子を有することができる。（しかしながら、これが当てはまらない場合には代替の実施形態が企図される。）従って、再構成画像は、画素数Ｎ以下のものとなり得る。必要であれば、Ｎ個の光変調素子を有する光変調素子を、より低い有効分解能ｎ＜Ｎで動作させることができることを思い出されたい。
【０３０９】
Ｇ個の分離後の分岐（各々が光変調ユニット、光検出装置及びＡＤＣを含む）は、並行して動作することができる。例えば、各光変調ユニットは、それぞれの光ストリームを、例えば共通パターンクロックにより駆動されるような共通パターンレートの空間パターンで変調することができる。さらに、各ＡＤＣは、恐らくは共通サンプリングクロックによって駆動される共通サンプリングレートのサンプルを取得することができる。
【０３１０】
システム３５００におけるＧ個の分離後の分岐では、各々が同じ画像の圧縮センシングサンプル（内積）を取得するので、各光変調ユニットが異なる空間パターンを使用するならば、画像の圧縮表現を取得するために必要な時間が１／Ｇに減少する。換言すれば、光変調ユニットのいずれか１つにより使用される空間パターンの組と、光変調ユニットの他のいずれかにより使用される空間パターンの組は、重なる（交わる）割合が少ない互いに素な集合であることが好ましい。
【０３１１】
いくつかの実施形態では、システム３５００が、上述したような光学サブシステム１０５を含む。光学サブシステム１０５は、光学分離ユニット３５１０の前に位置付けることができる。換言すれば、入射光ストリームＬは、光学サブシステム１０５を通過した後で光学分離ユニットに遭遇する。光学サブシステム１０５と光変調ユニット１１０−１〜１１０−Ｇは、それぞれの光ストリームＢ1〜ＢGがそれぞれの光変調ユニットにおいて焦点が合うように位置付けることができる。これとは別に、又はこれに加えて、システム３５００は、光学分離ユニット３５１０とそれぞれの光変調ユニットの間に介在する光学サブシステムを含むことができる。
【０３１２】
いくつかの実施形態では、分離後の分岐のいずれか（又は全て）が、その分岐の光変調ユニットと光検出装置の間に介在する（様々な実施形態のいずれかにおける）光学サブシステム１１７又は（様々な実施形態のいずれかにおける）光学サブシステム６２０を含むことができる。
【０３１３】
システム及び方法の様々な実施形態
以下の番号を付けた段落に、様々なシステム及び方法の実施形態を記載する。
【０３１４】
１．１  変調光ストリームを生成するために入射光ストリームを一連の空間パターンで変調するように構成された、光変調素子のアレイを含む光変調ユニットと、
複数の光検出装置と、
変調光ストリームの複数の空間サブセットの各々からの光を複数の光検出装置のそれぞれの上に送出するように構成された光学サブシステムと、
を備え、変調光ストリームの空間サブセットは、光変調素子のアレイのそれぞれのサブセットにより生成され、光変調素子のアレイの各サブセットは、入射光ストリームのそれぞれの空間サブセットを変調することによって変調光ストリームのそれぞれの空間サブセットを生成し、光検出装置は、それぞれの電気信号を生成するように構成され、電気信号の各々は、変調光ストリームのそれぞれの空間サブセットの強度を時間の関数として表し、
電気信号のサンプルを取得するように構成されたサンプリングサブシステムをさらに備え、サンプルは、電気信号にそれぞれ対応するサンプルサブセットを含み、各サンプルサブセットは、それぞれの電気信号の複数のサンプルを含む、
ことを特徴とするシステム。
【０３１５】
１．２  サンプルサブセットの各々は、画像のそれぞれのサブ画像を構築するために使用可能であり、各サブ画像は、入射光ストリームの空間サブセットのそれぞれを表す、
ことを特徴とする段落１．１のシステム。
【０３１６】
１．３  光変調素子の数をＮとし、光検出装置の数をＬとし、画像内の画素数をｎとし、ｎはＮ以下であり、光変調ユニットは、単位時間当たりＲP個の空間パターンという最大レートで、入射光ストリームを空間パターンで変調するように構成され、各サンプルサブセット内のサンプルの数をｍSSとし、ｎ／Ｌ画素の画像を所与の精度で再構成するために必要な最低圧縮センシングサンプル数ｍn/Lは、Ｌが増加するにつれて減少し、ｍSS及びＬは、ｍSSがｍn/L以上となり、ｍSS／ＲPが目標取得時間以下となるように選択される、
ことを特徴とする段落１．２のシステム。
【０３１７】
１．４  光変調素子の数をＮとし、光検出装置の数をＬとし、画像内の画素数をｎとし、ｎはＮ以下であり、各サンプルサブセットは、それぞれのサブ画像をｎ／Ｌ画素で構成するために使用可能であり、サンプリングサブシステムは、各サンプルサブセット内のサンプル数を、電気信号のサンプルの画質と取得時間の間の異なるトレードオフを可能にするように動的にプログラム可能とするように構成される、
ことを特徴とする段落１．２のシステム。
【０３１８】
１．５  各サンプルサブセットに作用してそれぞれのサブ画像を構成するように構成された処理装置をさらに備える、
ことを特徴とする段落１．２のシステム。
【０３１９】
１．６  サンプリングサブシステムは、電気信号のサンプルをグループの形で取得するように構成され、グループの各々は、電気信号の各々の少なくとも１つのサンプルを含み、グループの各々は、空間パターンのそれぞれに対応する、
ことを特徴とする段落１．１のシステム。
【０３２０】
１．７  サンプリングサブシステムは、電気信号のサンプルグループを、単位時間当たりＲG個のグループという最大グループレートで取得するように構成され、各サンプルサブセット内のサンプルの数をｍSSとし、光変調素子の数をＮとし、ｎはＮ以下であり、光検出装置の数をＬとし、ｎ／Ｌ画素の画像を再構成するために必要な圧縮センシングサンプルの数ｍn/Lは、Ｌが増加するにつれて減少し、Ｌは、ｍSSがｍn/L以上となりかつｍSS／ＲGが目標取得時間以下となるように選択される、
ことを特徴とする段落１．６のシステム。
【０３２１】
１．８  サンプリングサブシステムは、複数のアナログ／デジタル変換器（ＡＤＣ）を含み、これらのＡＤＣの各々は、光検出装置のそれぞれにより生成された電気信号のサンプルを取得するように構成される、
ことを特徴とする段落１．１のシステム。
【０３２２】
１．９  ＡＤＣのうちの少なくとも第１及び第２のＡＤＣは、異なるビット分解能を有する、
ことを特徴とする段落１．８のシステム。
【０３２３】
１．１０  光学サブシステムは、複数のレンズを含み、これらのレンズの各々は、変調光ストリームの空間サブセットのそれぞれからの光を光検出装置のそれぞれの光検出面上に導くように構成される、
ことを特徴とする段落１．１のシステム。
【０３２４】
１．１１  光学サブシステムは、ファイバ結合装置と複数のファイバ束とを含み、ファイバ結合装置は、変調光ストリームの空間サブセットの各々からの光をファイバ束のそれぞれの上に結合するように構成される、
ことを特徴とする段落１．１のシステム。
【０３２５】
１．１２  光学サブシステムは、内面が反射型である複数の光導体を含む、
ことを特徴とする段落１．１のシステム。
【０３２６】
１．１３  光学サブシステムは、集光レンズを含み、複数の光検出装置は、集光レンズの像面に位置する、
ことを特徴とする段落１．１のシステム。
【０３２７】
１．１４  光変調素子のアレイのサブセットは、隣接するサブセットである、
ことを特徴とする段落１．１のシステム。
【０３２８】
１．１５  光検出装置のうちの少なくとも第１及び第２の光検出装置は、異なる光感度を有する、
ことを特徴とする段落１．１のシステム。
【０３２９】
１．１６  複数の光検出装置は、アレイの形で配置される、
ことを特徴とする段落１．１のシステム。
【０３３０】
１．１７  アレイは、２次元矩形アレイであり、サンプリングサブシステムは、アレイの列当たりに１つのアナログ／デジタル変換器を含む、
ことを特徴とする段落１．１６のシステム。
【０３３１】
１．１８  複数の光検出装置は、第１の集積回路に組み込まれる、
ことを特徴とする段落１．１のシステム。
【０３３２】
１．１９  サンプリングサブシステムは、読み出し集積回路を含み、この読み出し集積回路は、第１の集積回路に結合される、
ことを特徴とする段落１．１８のシステム。
【０３３３】
１．２０  読み出し集積回路は、第１の集積回路にバンプボンディングされる、
ことを特徴とする段落１．１９のシステム。
【０３３４】
１．２１  光変調素子のアレイにより、変調光ストリームを生成するために入射光ストリームを一連の空間パターンで変調するステップと、
変調光ストリームの複数の空間サブセットの各々からの光を複数の光検出装置のそれぞれの上に送出するステップと、
を含み、変調光ストリームの空間サブセットは、光変調素子のアレイのそれぞれのサブセットにより生成され、光変調素子のアレイの各サブセットは、入射光ストリームのそれぞれの空間サブセットを変調することによって変調光ストリームのそれぞれの空間サブセットを生成し、
各々が光検出装置のそれぞれにより生成され、変調光ストリームの空間サブセットのそれぞれの強度を時間の関数として表す電気信号を生成するステップと、
電気信号のサンプルを取得するステップと、
をさらに含み、これらのサンプルは、電気信号にそれぞれ対応するサンプルサブセットを含み、各サンプルサブセットは、それぞれの電気信号の複数のサンプルを含む、
ことを特徴とする方法。
【０３３５】
１．２２  サンプルサブセットの各々は、画像のそれぞれのサブ画像を構築するために使用可能であり、各サブ画像は、入射光ストリームの空間サブセットのそれぞれを表す、
ことを特徴とする段落１．２１の方法。
【０３３６】
１．２３  光変調素子の数をＮとし、光検出装置の数をＬとし、画像内の画素数をｎとし、ｎはＮ以下であり、入射光ストリームは、単位時間当たりＲＰ個の空間パターンという最大レートで空間パターンで変調され、各サンプルサブセット内のサンプルの数をｍSSとし、ｎ／Ｌ画素の画像を所与の精度で再構成するために必要な最低圧縮センシングサンプル数ｍn/Lは、Ｌが増加するにつれて減少し、ｍSS及びＬは、ｍSSがｍn/L以上となり、ｍSS／ＲPが目標取得時間以下となるように選択される、
ことを特徴とする段落１．２２の方法。
【０３３７】
１．２４  サンプルサブセットに作用してそれぞれのサブ画像を構成するステップをさらに含む、
ことを特徴とする段落１．２１の方法。
【０３３８】
１．２５  サンプルサブセットを、通信チャネルを介して受信機に送信するステップをさらに含む、
ことを特徴とする段落１．２１の方法。
【０３３９】
１．２６  電気信号のサンプルを取得するステップは、サンプルをグループの形で取得するステップを含み、グループの各々は、電気信号の各々の少なくとも１つのサンプルを含み、グループの各々は、空間パターンのそれぞれに対応する、
ことを特徴とする段落１．２１の方法。
【０３４０】
１．２７  グループは、単位時間当たりＲG個のグループというレートで取得され、光変調素子の数をＮとし、ｎはＮ以下であり、光検出装置の数をＬとし、各サンプルサブセット内のサンプルの数をｍSSとし、ｎ／Ｌ画素の画像を再構成するために必要な圧縮センシングサンプルの数ｍn/Lは、Ｌが増加するにつれて減少し、Ｌは、ｍSSがｍn/L以上となりかつｍSS／ＲGが目標取得時間以下となるように選択される、
ことを特徴とする段落１．２６の方法。
【０３４１】
２．１  変調光ストリームを生成するために入射光ストリームを一連の空間パターンで変調するように構成された、光変調素子のアレイを含む光変調ユニットと、
複数の光検出装置と、
変調光ストリームの空間サブセットを光検出装置のそれぞれに導くように構成された光学サブシステムと、
を備え、変調光ストリームの空間サブセットは、光変調素子のアレイのそれぞれの非重複領域により生成され、光変調素子のアレイの各領域は、入射光ストリームのそれぞれの空間サブセットを変調することによって変調光ストリームのそれぞれの空間サブセットを生成し、光検出装置の各々は、変調光ストリームのそれぞれの空間サブセットの強度を時間の関数として表すそれぞれの電気信号を生成するように構成され、
複数のアナログ／デジタル変換器（ＡＤＣ）をさらに備え、ＡＤＣの各々は、光検出装置のそれぞれにより生成された電気信号のそれぞれのサンプルシーケンスを取り込むように構成され、ＡＤＣの各々によって取り込まれたそれぞれのサンプルシーケンスは、入射光ストリームの対応する空間サブセットを表すそれぞれのサブ画像を構成するために使用可能である、
ことを特徴とするシステム。
【０３４２】
２．２  光学サブシステムは、複数のレンズを含み、これらのレンズの各々は、変調光ストリームの空間サブセットのそれぞれを光検出装置のそれぞれの光検出面上に導くように構成される、
ことを特徴とする段落２．１のシステム。
【０３４３】
２．３  光学サブシステムは、ファイバ結合装置と複数のファイバ束とを含み、ファイバ結合装置は、変調光ストリームの空間部分の各々からの光をファイバ束のそれぞれの上に結合するように構成され、ファイバ束の各々は、変調光ストリームのそれぞれの空間サブセットからの光を光検出装置のそれぞれの光検出面上に導くように構成される、
ことを特徴とする段落２．１のシステム。
【０３４４】
２．４  複数の光検出装置は、単一の集積回路に組み込まれる、
ことを特徴とする段落２．１のシステム。
【０３４５】
２．５  光学サブシステムは、集光レンズを含み、複数の光検出装置は、集光レンズの像面に位置する、
ことを特徴とする段落２．１のシステム。
【０３４６】
２．６  複数のＡＤＣは、それぞれのサンプルシーケンスを同期的に取り込むように構成される、
ことを特徴とする段落２．１のシステム。
【０３４７】
２．７  複数の光検出装置は、アレイの形で配置される、
ことを特徴とする段落２．１のシステム。
【０３４８】
２．８  サンプルシーケンスの各々は、それぞれのサブ画像内の画素数よりも小さなサンプルサイズを有する、
ことを特徴とする段落２．１のシステム。
【０３４９】
３．１  変調光ストリームを生成するために入射光ストリームを一連の空間パターンで変調するように構成された、Ｎ個の光変調素子のアレイを含む光変調ユニットと、
１よりも大きくＮよりも小さいＬ個の光検出素子のアレイと、
変調光ストリームの複数の空間部分の各々からの光を光検出素子のアレイのそれぞれの上に集光するように構成された光学サブシステムと、
を備え、
変調光ストリームの空間部分は、光変調素子のアレイのそれぞれの非重複領域により生成され、光変調素子のアレイの各領域は、入射光ストリームのそれぞれの空間部分を変調することによって変調光ストリームのそれぞれの空間部分を生成し、Ｌ個の光検出素子は、それぞれの電気信号を生成するように構成され、電気信号の各々は、変調光ストリームのそれぞれの空間部分の強度を時間の関数として表し、
Ｌ個の光検出素子のアレイからサンプルグループを読み出すように構成された回路をさらに備え、各サンプルグループは、Ｌ個のサンプルを含み、各グループのＬ個のサンプルは、電気信号の各々につき１つのサンプルを含む、
ことを特徴とするシステム。
【０３５０】
３．２  回路は、グループを単位時間当たりにＲG個のグループという最大レートで読み出すように構成され、グループの各々は、空間パターンのそれぞれに対応し、一連の空間パターンは、入射光ストリームを表すＮ画素の画像を構成するためにグループのうちのＭ個を使用可能とするように構成され、Ｍは１よりも大きくＮ／Ｌ以下である、
ことを特徴とする段落３．１のシステム。
【０３５１】
３．３  Ｌは、Ｍ個のグループに関して目標取得時間以下の取得時間を達成するように選択される、
ことを特徴とする段落３．２のシステム。
【０３５２】
３．４  Ｍは、Ｎ／Ｌ未満である、
ことを特徴とする段落３．２のシステム。
【０３５３】
３．５  回路は、グループを単位時間当たりにＲG個のグループという最大レートで読み出すように構成され、グループの各々は、空間パターンのそれぞれに対応し、一連の空間パターンは、各々の長さがＭグループであるグループのサブセットがそれぞれのＮ画素の画像を構成するために使用可能になるように構成され、Ｍは１よりも大きくＮ／Ｌ以下であり、Ｌは、グループサブセットの取得レートが目標取得レート以上となるように選択される、
ことを特徴とする段落３．１のシステム。
【０３５４】
３．６  回路は、読み出し集積回路に含まれ、Ｌ個の光検出素子のアレイは、第２の集積回路に含まれる、
ことを特徴とする段落３．１のシステム。
【０３５５】
３．７  読み出し集積回路は、第２の集積回路にバンプボンディングされる、
ことを特徴とする段落３．６のシステム。
【０３５６】
３．８  回路及び光検出素子は、単一の集積回路に含まれる、
ことを特徴とする段落３．１のシステム。
【０３５７】
４．１  圧縮撮像装置を設計するためのコンピュータ実行方法であって、
コンピュータを利用して、圧縮撮像装置に含まれる光変調ユニット内の光変調素子の数をＮとする、圧縮撮像装置に関するＮ画素の画像の目標有効取得レートＲIを指定する情報を受け取るステップと、ＲP（ｆ（Ｎ／Ｌ）が目標有効レートＲI以上となるようにＲP及びＬの各々の値を求めるステップとを実行し、ＲPは、光変調ユニットの最大パターン変調速度であり、Ｌは、圧縮撮像装置に含まれる光検出装置の数であり、ｆは、正の整数値ｖを対応する数ｆ（ｖ）にマッピングする関数であり、ｆ（ｖ）は、ｖ個の画素画像を再構成するために必要な最低圧縮センシングサンプルの数以上であり、求められた変数ＲＰ及びＬの値をメモリに記憶するステップをさらに実行する、
ことを特徴とする方法。
【０３５８】
４．２  求められた値の１又はそれ以上を表示するステップをさらに含む、
ことを特徴とする段落４．１の方法。
【０３５９】
４．３  変数ＲP及びＬの各々の値を求めるステップは、変数ＲPの値を指定する入力を受け取るステップと、ＲP／ｆ（Ｎ／Ｌ）がレートＲI以上であるという条件に従う変数Ｌの最小値を選択するステップとを含む、
ことを特徴とする段落４．１の方法。
【０３６０】
４．４  変数ＲP及びＬの各々の値を求めるステップは、変数Ｌの値を指定する入力を受け取るステップと、ＲP／ｆ（Ｎ／Ｌ）がレートＲI以上であるという条件に従う変数ＲPの最小値を選択するステップとを含む、
ことを特徴とする段落４．１の方法。
【０３６１】
４．５  関数ｆは、圧縮撮像装置が使用する空間パターンのクラスの選択に依存する、
ことを特徴とする段落４．１の方法。
【０３６２】
４．６  関数ｆは、Ｎ画素の画像を再構成すべき目標精度に依存する、
ことを特徴とする段落４．１の方法。
【０３６３】
４．７  目標精度を指定するユーザ入力を受け取るステップをさらに含む、
ことを特徴とする段落４．６の方法。
【０３６４】
４．８  圧縮撮像装置を、Ｎ個の光変調素子を有する光変調ユニットと、求められた数Ｌの光検出装置とを含むように構成するステップをさらに含み、求められた数Ｌの光検出装置の各々は、対応するＮ個の光変調素子のサブセットからの光を受け取るように構成される、
ことを特徴とする段落４．１の方法。
【０３６５】
５．１  圧縮撮像装置の設計方法であって、
コンピュータを利用して、圧縮撮像装置に含まれる光変調ユニット内の光変調素子の数をＮとする、圧縮撮像装置に関するＮ画素の画像の目標有効取得レートＲIを指定する情報を受け取るステップと、ＲG／ｆ（Ｎ／Ｌ）がＲI以上となるように変数ＲG及びＬの各々の値を求めるステップとを実行し、ＲGは、圧縮撮像装置に含まれるＬ個の光検出装置のアレイから取得すべき秒当たりの最大サンプルグループ数であり、各サンプルグループは、当然ながらＬ個の光検出装置の各々からの１つのサンプルを含み、ｆは、対応する数ｆ（ｖ）に正の整数値ｖをマッピングする関数であり、ｆ（ｖ）は、ｖ個の画素画像を再構成するために必要な最低圧縮センシングサンプル数以上であり、求められた変数ＲG及びＬの値をメモリに記憶するステップをさらに実行する、
ことを特徴とする方法。
【０３６６】
５．２  求められた値の１又はそれ以上を表示するステップをさらに含む、
ことを特徴とする段落５．１の方法。
【０３６７】
５．３  変数ＲG及びＬの各々の値を求めるステップは、変数ＲGの値を指定する入力を受け取るステップと、ＲG／ｆ（Ｎ／Ｌ）がレートＲI以上であるという条件に従う変数Ｌの最小値を選択するステップとを含む、
ことを特徴とする段落５．１の方法。
【０３６８】
５．４  変数ＲG及びＬの各々の値を求めるステップは、変数Ｌの値を指定する入力を受け取るステップと、ＲG／ｆ（Ｎ／Ｌ）がレートＲI以上であるという条件に従う変数ＲGの最小値を選択するステップとを含む、
ことを特徴とする段落５．１の方法。
【０３６９】
５．５  関数ｆは、圧縮撮像装置が使用する空間パターンのクラスの選択に依存する、
ことを特徴とする段落５．１の方法。
【０３７０】
５．６  関数ｆは、Ｎ画素の画像を再構成すべき目標精度に依存する、
ことを特徴とする段落５．１の方法。
【０３７１】
５．７  目標精度を指定するユーザ入力を受け取るステップをさらに含む、
ことを特徴とする段落５．６の方法。
【０３７２】
５．８  圧縮撮像装置を、Ｎ個の光変調素子を有する光変調ユニットと、Ｌ個の光検出装置のアレイとを含むように構成するステップをさらに含み、Ｌの値は、求められたＬの値と一致し、Ｌ個の光検出装置の各々は、Ｎ個の光変調素子の対応するサブセットからの光を受け取るように構成される、
ことを特徴とする段落５．１の方法。
【０３７３】
６．１  入射光ストリームを受光し、この入射光ストリームを、入射光ストリームの非重複領域にそれぞれ対応する複数の光サブストリームに分離するように構成された変調前光学サブシステムと、
それぞれの変調光サブストリームを生成するために光サブストリームをそれぞれ変調するように構成された複数の光変調ユニットと、
を備え、複数の光変調ユニットの各々は、それぞれの変調光サブストリームを生成するためにそれぞれの光サブストリームをそれぞれの一連の空間パターンで変調するように構成されるとともに、それぞれの光変調素子のアレイを含み、
変調光サブストリームをそれぞれ受光して、それぞれの変調光サブストリームの強度を時間の関数として表すそれぞれの電気信号を生成するように構成された複数の光検出装置と、
複数のアナログ／デジタル変換器（ＡＤＣ）と、
をさらに備え、ＡＤＣの各々は、光検出装置のそれぞれにより生成された電気信号のサンプルシーケンスを取り込むように構成され、各ＡＤＣによって取り込まれたサンプルシーケンスは、入射光ストリームの領域のそれぞれを表すそれぞれのサブ画像を構成するために使用可能である、
ことを特徴とするシステム。
【０３７４】
６．２  変調光サブストリームのそれぞれからの光を光検出装置のそれぞれの上に導くように構成された複数の変調後光学サブシステムをさらに備える、
ことを特徴とする段落６．１のシステム。
【０３７５】
６．３  各サンプルシーケンス内のサンプル数は、それぞれのサブ画像内の画素数よりも小さい、
ことを特徴とする段落６．１のシステム。
【０３７６】
６．４  変調前光学サブシステムは、１又はそれ以上のミラーを含む、
ことを特徴とする段落６．１のシステム。
【０３７７】
６．６  変調前光学サブシステムは、１又はそれ以上のビームスプリッタを含む、
ことを特徴とする段落６．１のシステム。
【０３７８】
６．７  変調前光学サブシステムは、複数のファセットを有する光学デバイスを含む、
ことを特徴とする段落６．１のシステム。
【０３７９】
６．８  一連の空間パターンは、同一のシーケンスである、
ことを特徴とする段落６．１のシステム。
【０３８０】
６．９  入射光ストリームの領域の各々は、近接領域である、
ことを特徴とする段落６．１のシステム。
【０３８１】
６．１０  入射光ストリームを、入射光ストリームの非重複領域にそれぞれ対応する複数の光サブストリームに分離するステップと、
それぞれの変調光サブストリームを生成するために光サブストリームを変調するステップと、
を含み、光サブストリームの各々は、複数の光変調ユニットのそれぞれによって変調され、前記光サブストリームを変調するステップは、それぞれの変調光サブストリームを生成するために光サブストリームの各々をそれぞれの一連の空間パターンで変調するステップを含み、
変調光サブストリームの各々からの光を複数の光検出装置のそれぞれの上に導くステップと、
光検出装置のそれぞれにより、それぞれの変調光サブストリームの強度を時間の関数として表す電気信号を生成するステップと、
光検出装置の各々からそれぞれの電気信号のそれぞれのサンプルシーケンスを取得するステップと、
をさらに含み、各サンプルシーケンスは、入射光ストリームの領域のそれぞれを表すそれぞれのサブ画像を構成するために使用可能である、
ことを特徴とする方法。
【０３８２】
コンピュータシステム３６００
図３６に、本明細書で説明した方法の実施形態のいずれか、又は本明細書で説明した方法の実施形態のあらゆる組み合わせ、又は本明細書で説明した方法の実施形態のいずれかのあらゆるサブセット、又はこのようなサブセットのあらゆる組み合わせを実行するために使用できるコンピュータシステム３６００の１つの実施形態を示す。
【０３８３】
コンピュータシステム３６００は、処理装置３６１０、システムメモリ３６１２、１又はそれ以上の記憶装置の組３６１５、通信バス３６２０、入力装置の組３６２５、及びディスプレイシステム３６３０を含むことができる。
【０３８４】
システムメモリ３６１２は、ＲＡＭ装置（及び恐らくはＲＯＭ装置の組）などの半導体デバイスの組を含むことができる。
【０３８５】
記憶装置３６１５は、１又はそれ以上の記憶媒体及び／又はメモリアクセス装置などの、様々な記憶装置のいずれかを含むことができる。例えば、記憶装置３６１５は、ＣＤ／ＤＶＤ−ＲＯＭドライブ、ハードディスク、磁気ディスクドライブ、磁気テープドライブなどの装置を含むことができる。
【０３８６】
処理装置３６１０は、システムメモリ３６１２及び／又は記憶装置３６１５の１又はそれ以上に記憶されたプログラム命令などのプログラム命令を読み出して実行するように構成される。処理装置３６１０は、通信バス３６２０を介して（又は相互接続されたバスのシステムを介して）システムメモリ３６１２に結合することができる。これらのプログラム命令は、コンピュータシステム３６００を、本明細書で説明した方法の実施形態のいずれか、又は本明細書で説明した方法の実施形態のあらゆる組み合わせ、又は本明細書で説明した方法の実施形態のいずれかのあらゆるサブセット、又はこのようなサブセットのあらゆる組み合わせなどの方法を実行するように構成する。
【０３８７】
処理装置３６１０は、１又はそれ以上のプロセッサ（マイクロプロセッサなど）を含むことができる。
【０３８８】
１又はそれ以上のユーザは、入力装置３６２５を介してコンピュータシステム３６００に入力を供給することができる。入力装置３６２５は、キーボード、マウス、タッチセンサ式パッド、タッチセンサ式スクリーン、描画パッド、トラックボール、ライトペン、データグローブ、眼の方向及び／又は頭の方向用センサ、マイク（又はマイクの組）又はこれらのあらゆる組み合わせなどの装置を含むことができる。
【０３８９】
ディスプレイシステム３６３０は、様々なディスプレイ技術のいずれかを表す様々なディスプレイ装置のいずれかを含むことができる。例えば、このディスプレイシステムは、コンピュータモニタ、ヘッドマウントディスプレイ、プロジェクタシステム、立体ディスプレイ、又はこれらの組み合わせとすることができる。いくつかの実施形態では、ディスプレイシステムが、複数のディスプレイ装置を含むことができる。１つの実施形態では、ディスプレイシステムが、プリンタ及び／又はプロッタを含むことができる。
【０３９０】
いくつかの実施形態では、コンピュータシステム３６００が、１又はそれ以上のグラフィックアクセラレータ、１又はそれ以上のスピーカ、サウンドカード、ビデオカメラ及びビデオカードなどのその他の装置を含むことができる。
【０３９１】
いくつかの実施形態では、コンピュータシステム３６００が、コンピュータネットワークと相互接続するためのネットワークインターフェイスカードなどの１又はそれ以上の通信装置３６３５を含むことができる。
【０３９２】
コンピュータシステムを、オペレーティングシステム、１又はそれ以上の対応するプログラミング言語用の１又はそれ以上のコンパイラ、及び恐らくは（ＯｐｅｎＧＬ（登録商標）、Ｄｉｒｅｃｔ３Ｄ、Ｊａｖａ（登録商標）３Ｄ（商標）などの）１又はそれ以上のグラフィックスＡＰＩを含むソフトウェアインフラストラクチャで構成することもできる。これらのコンパイラの一部又は全部を、本明細書で説明した方法の実施形態のいずれか又は全てに従って表現の再構成を行うように構成することができる。
【０３９３】
いくつかの実施形態では、コンピュータシステム３６００を、本明細書で説明した様々なシステムの実施形態のいずれかなどの圧縮撮像システム３６４０に結合するように構成することができる。コンピュータシステム３６００を、この圧縮撮像システムからサンプルを受け取り、このサンプルに作用して画像を生成するように構成することもできる。
【０３９４】
本明細書で説明した様々な実施形態のいずれかを組み合わせて、複合実施形態を形成することもできる。さらに、米国仮特許出願第６１／３７２，８２６号、米国特許出願第１３／１９３，５５３号、及び米国特許出願第１３／１９３，５５６号に記載される様々な実施形態のいずれかを、本明細書で説明した様々な実施形態のいずれかと組み合わせて、複合実施形態を形成することもできる。
【０３９５】
以上、実施形態をかなり詳細に説明したが、当業者には、上記開示を完全に理解すれば、数多くの変形及び修正が明らかになるであろう。以下の特許請求の範囲は、このような変形及び修正を全て含むものとして解釈されることが意図されている。
【符号の説明】
【０３９６】
１１０  ＬＭＵ（光変調ユニット）
６００  システム
６２０  ＯＳＳ（光学サブシステム）
６３０  ＬＳＤ（光検出装置）
６４０  ＳＳＳ（サンプリングサブシステム）
【図１】
2013535931.tif 000005
【図２Ａ】
2013535931.tif 000006
【図２Ｂ】
2013535931.tif 000007
【図２Ｃ】
2013535931.tif 000008
【図２Ｄ】
2013535931.tif 000009
【図２Ｅ】
2013535931.tif 000010
【図２Ｆ】
2013535931.tif 000011
【図３Ａ】
2013535931.tif 000012
【図３Ｂ】
2013535931.tif 000013
【図４】
2013535931.tif 000014
【図５Ａ】
2013535931.tif 000015
【図５Ｂ】
2013535931.tif 000016
【図５Ｃ】
2013535931.tif 000017
【図６】
2013535931.tif 000018
【図７】
2013535931.tif 000019
【図８】
2013535931.tif 000020
【図９】
2013535931.tif 000021
【図１０】
2013535931.tif 000022
【図１１】
2013535931.tif 000023
【図１２】
2013535931.tif 000024
【図１３】
2013535931.tif 000025
【図１４】
2013535931.tif 000026
【図１５】
2013535931.tif 000027
【図１６】
2013535931.tif 000028
【図１７Ａ】
2013535931.tif 000029
【図１７Ｂ】
2013535931.tif 000030
【図１８】
2013535931.tif 000031
【図１９】
2013535931.tif 000032
【図２０】
2013535931.tif 000033
【図２１】
2013535931.tif 000034
【図２２Ａ】
2013535931.tif 000035
【図２２Ｂ】
2013535931.tif 000036
【図２２Ｃ】
2013535931.tif 000037
【図２２Ｄ】
2013535931.tif 000038
【図２２Ｅ】
2013535931.tif 000039
【図２２Ｆ】
2013535931.tif 000040
【図２３】
2013535931.tif 000041
【図２４】
2013535931.tif 000042
【図２５】
2013535931.tif 000043
【図２６Ａ】
2013535931.tif 000044
【図２６Ｂ】
2013535931.tif 000045
【図２７Ａ】
2013535931.tif 000046
【図２７Ｂ】
2013535931.tif 000047
【図２８Ａ】
2013535931.tif 000048
【図２８Ｂ】
2013535931.tif 000049
【図２９Ａ】
2013535931.tif 000050
【図２９Ｂ】
2013535931.tif 000051
【図３０Ａ】
2013535931.tif 000052
【図３０Ｂ】
2013535931.tif 000053
【図３１Ａ】
2013535931.tif 000054
【図３１Ｂ】
2013535931.tif 000055
【図３１Ｃ】
2013535931.tif 000056
【図３２Ａ】
2013535931.tif 000057
【図３２Ｂ】
2013535931.tif 000058
【図３３】
2013535931.tif 000059
【図３４Ａ】
2013535931.tif 000060
【図３４Ｂ】
2013535931.tif 000061
【図３５】
2013535931.tif 000062
【図３６】
2013535931.tif 000063
【国際調査報告】
2013535931.tif 000064
2013535931.tif 000065