"シーンの一連のフレームをビデオとして取得するカメラであって、センサーピクセルのアレイを含むセンサーと、前記カメラの露出時間中に前記ビデオの各フレームを取得している間、対応する変調関数に従って個々の前記センサーピクセルを変調する手段と、を備えるカメラ。前記変調する手段は、前記シーンと前記センサーとの間の光路に配置されたマスクであって、マスクピクセルのアレイを含む、マスクと、前記マスクに接続された変調コントローラーと、を更に備える請求項1に記載のカメラ。マスクピクセル空間解像度が、センサーピクセル空間解像度よりも実質的に大きい請求項2に記載のカメラ。前記センサーピクセルを変調するレートが、前記カメラのフレームレートよりも実質的に高い請求項1に記載のカメラ。前記変調する手段は、前記センサーピクセルごとに独立したON信号およびOFF信号の2値シーケンスを生成する請求項2に記載のカメラ。前記ビデオを、前記カメラのフレームレートよりも実質的に高いフレームレートを有する再構成ビデオとして再構成する手段を更に備える請求項1に記載のカメラ。前記再構成ビデオの空間解像度および時間解像度は、前記カメラによって取得された前記ビデオの空間解像度および時間解像度よりも実質的に大きい請求項6に記載のカメラ。前記再構成ビデオの時間解像度は、前記カメラによって取得された前記ビデオの時間解像度よりも実質的に大きい請求項6に記載のカメラ。前記変調関数は、ランダム2値シーケンスを含む請求項5に記載のカメラ。前記マスクは、透過型である請求項2に記載のカメラ。前記マスクは、反射型である請求項2に記載のカメラ。それぞれの積分時間を独立に制御する手段、を更に備える請求項1に記載のカメラ。前記変調関数は、ユーザー制御の変調関数を含む請求項1に記載のカメラ。前記変調関数は、グレースケールシーケンスに従う請求項1に記載のカメラ。前記変調関数は、カラーシーケンスに従う請求項1に記載のカメラ。マスクピクセル解像度およびセンサーピクセル解像度が同一である請求項2に記載のカメラ。前記再構成する手段は、ウェーブレット基底、離散コサイン変換基底、またはフーリエ基底における前記ビデオのスパース性を用いる請求項6に記載のカメラ。前記再構成する手段は、オプティカルフロー制約を用いる請求項6に記載のカメラ。前記再構成する手段は、凸最適化問題を解く請求項6に記載のカメラ。前記再構成ビデオは、前記カメラの空間解像度よりも高い空間解像度を有する請求項6に記載のカメラ。前記変調関数は、離散関数を含む請求項1に記載のカメラ。前記変調関数は、連続関数を含む請求項1に記載のカメラ。前記変調関数は、用途適応型である請求項1に記載のカメラ。前記変調関数は、前記シーンに適応している請求項1に記載のカメラ。前記マスクは、前記センサー上にサブピクセルを画定する請求項2に記載のカメラ。ゆっくりと変化するダイナミクスを有するビデオの場合、最初のフレームが取得された後、後続のフレームに必要とされる測定値は、より少なくなる。動き補償されたウェーブレット基底を用いて時空間ピクセルボリューム、すなわちボクセルをスパース表現するsparselyrepresentことにより動きおよび外観を反復的に推定することができる場合、各フレームを圧縮サンプリングすることによるビデオ取得が可能である。そのような方法は、原理的には非常に魅力的であるが、主として、ビデオの時間的構造が明示的にモデル化されず、これらの方法のハードウェアアーキテクチャが扱いにくくかつ/または高価であることから、ほどほどの成功しか収めていない。本発明の実施の形態は、シーンの一連のフレームをビデオとして取得するように構成されたプログラマブルピクセル圧縮ビデオカメラおよびビデオ処理パイプラインを提供する。センサーのピクセルが、対応する変調関数に従って変調される。これらの変調関数は、離散的ON/OFF、連続的、または用途、ユーザー、若しくはシーンに対して適応型とすることができる。変調は、空間的、時間的、またはそれらの双方で変化することができる。対応する変調関数は、ピクセル、ピクセルのサブセット、またはサブピクセルによって異なることができる。例えば、カメラのセンサーの各ピクセルは、カメラの本来のフレームレートよりも実質的に大きなレート、例えば30フレーム毎秒fpsカメラを用いて240fps~480fpsで変調される。変調のための手段は、シーンとセンサーとの間の光路に配置されたマスクの形態とすることができる。マスクは、透過型または反射型とすることができる。したがって、個々のピクセルの強度は、センサーにおける積分の前に個々に変調される。このように、各フレームは、ボクセルからなる対応するビデオボリュームの符号化された投影codedprojectionである。これによって、カメラは、このカメラの実際のフレームレートよりも実質的に大きな知覚されるフレームレートで再構成することができるビデオを取得することが可能になる。1つの実施の形態では、マスクピクセル解像度は、センサーピクセル解像度よりも実質的に大きい。別の実施の形態では、変調レートは、カメラのフレームレートと同一である。オプティカルフローベースの明るさ、または色の恒常性制約を用いて時空間制約をビデオ内に明示的にモデル化することにより、基本となる高速度ビデオフレームをビデオから忠実に再構成することができる。したがって、ビデオカメラは、圧縮カメラcompressivecameraである。このカメラおよび処理パイプラインによれば、時空間超解像度ビデオを達成することも可能である。加えて、このビデオモデルおよび再構成ビデオ方法は、ビデオ超解像度、雑音除去、補間、およびぶれ除去等の用途にハードウェアを追加することなく用いることもできる。プログラマブルピクセル圧縮ビデオ図1は、本発明の実施の形態によるプログラマブルピクセル圧縮ビデオカメラ100の簡略化した概略図である。このカメラは、シーンの一連のフレームをビデオとして取得するように構成されている。カメラは、レンズ110、センサー120、変調コントローラー130、および時空間マスク140を含む。好ましい実施の形態では、カメラは、デジタルビデオカメラであり、センサーは、例えば0.25メガピクセルのセンサーピクセルのアレイを含む。センサーは、ベイヤーフィルターモザイク、すなわちカラーフィルターアレイCFA:colorfilterarrayにおいてインターリーブされた赤色ピクセル、緑色ピクセル、および青色RGB:redgreenandblueピクセルを含むことができる。CFAでは、カラーパターンは、GRGBである。カメラは、30フレーム毎秒fpsの一連の低時間解像度フレーム150を取得する。この30フレーム毎秒fpsは、カメラの本来のフレームレートである。マスクマスクは、例えば1メガピクセルのマスクピクセルのアレイを含む。換言すれば、マスクの空間解像度マスクピクセル解像度は、センサーピクセル解像度よりも実質的に大きい。この場合、マスクは、センサー上のサブピクセルを画定する。センサーの解像度と同一の解像度も可能であるし、例えば2×3センサーピクセルまたは5×5センサーピクセルのサブセットと同等のより低い解像度を有するマスクを含む他の解像度も可能であることが理解される。変調コントローラー変調コントローラーは、対応する変調関数を用いてマスクのピクセルを個々に変調する。これらの関数は、離散的とすることもできるし131、連続的とすることもできる132。関数が離散的である場合、センサーピクセルセンサーにおける積分は、露出時間にわたって、例えば480fpsでONおよびOFFにされる。連続的である場合、積分は、連続的に変化する。関数は、独立したものとすることができ、ピクセルごと、サブピクセルごと、またはピクセルのサブセットごとに異なることができ、例えば2×2ピクセルまたは5×5ピクセルのサブセットによって異なることができる。代替的に、変調は、グレースケール関数またはRGB色関数に従うこともできる。変調コントローラーは、センサーに直接接続することができ134、この場合、マスクは、必要とされないことに留意されたい。別の実施の形態では、時空間変調は、コントローラー135を用いてユーザー制御される。このように、ビデオグラファーは、シーンが展開するにつれてビデオをどのように取得するのかを決定する。別の実施の形態では、変調関数は、適応型であり、前に取得されたフレームに基づくか、または他のセンサー領域若しくは用途領域からの事前の知識を用いる。図2に示すような1つの用途では、シーン102は、静的特徴および動的特徴を有する。シーンアナライザー200は、静的特徴および動的特徴を求め、視聴経験を高めるために、ピクセルが動的特徴を捕捉することに集中することができ、かつ静的特徴にはそれほど集中することができないように、適応型の時間変調関数および空間変調関数を変調コントローラー130にフィードバックする201。センサーは、シーン102のエネルギー場101を取得することができる。シーンは、移動物体103を含むことがある。エネルギー場は、任意のタイプの電磁放射、例えば可視光または赤外光とすることができる。カメラの出力は、一連のフレーム150であり、一連のフレーム150から、センサーの空間解像度およびフレームレートの時間解像度とは異なる空間解像度および時間解像度を有するビデオを再構成することができる。全ての実施の形態は、本質的に、センサー120の個々のピクセルによって取得された光場を、対応する変調関数に従って変調し、各露出時間中に積分されたフレームを生成する。ピクセルが異なるごとに異なる変調関数を用いることができる。変調関数は、任意または疑似ランダムとすることもできることに留意すべきである。マスクは、高速高解像度変調器の形態とすることができ、例えば、透過型のシリコン上液晶LCOS:liquidcrystalonsiliconデバイス、または図4に示すような反射型のデジタルマイクロミラーDMD:digitalmicromirrorデバイスとすることができる。DMDデバイスの場合、光路にビームスプリッター400がある。これまでのところ、LCOSおよびDMDは、大部分がプロジェクターで用いられており、本明細書で説明するように、カメラでは用いられていないことに留意されたい。1つの実施の形態では、変調されて取得されたフレームは、付随する明るさの恒常性brightnessconstancy制約、および凸最適化の枠組みにおけるウェーブレット領域スパース性モデルと共に用いられ、高解像度高速度ビデオが再構成される。代替的に、離散コサイン変換基底またはフーリエ基底のスパース性を用いることもできる。方法図3に示すように、カメラ100によって取得されたビデオ150は、再構成方法300に入力される。この再構成方法300は、凸最適化に基づいている。この方法は、オプティカルフローの明るさの恒常性制約301および再構成されたボクセルのウェーブレット領域スパース性302を用いる。出力は、再構成されたビデオ310である。この方法は、カメラ内のマイクロプロセッサまたはハードウェア処理パイプライン160で実施することができ、この場合、カメラの出力は、高速度ビデオであることに留意すべきである。撮像アーキテクチャ所望の高フレームレートビデオは、Xs,tであり、ここで、sおよびrは、それぞれ空間座標および時間座標である。これ以降、取得されたフレームは、このフレームを積分することによって生成されるので、より高いレートのフレームをサブフレームを呼ぶことにする。本発明者らのビデオカメラによって、変調されたフレームYsl,tlを取得することが可能になる。ここで、slおよびtlは、それぞれフレームの空間座標および時間座標であり、LsおよびLtは、それぞれ空間サブサンプリング係数および時間サブサンプリング係数である。時刻tlにおいて取得されたフレームY:,:,tlは、として、サブフレームXに関係付けられる。ここで、Mは、ピクセルごとの時間変調関数を示し、Xは、ビデオのボクセルを示し、Dsは、空間サブサンプリング操作を示す。元の高速度ビデオのLt個のサブフレームが、Lt個の独立した高解像度マスクを用いて変調され、次いで、合算されて1つの取得されたフレームが生成されることに留意されたい。センサーの空間解像度をより低くすることもできる。これは、空間サブサンプリング操作Dsによって示されている。好ましい実施の形態では、一般の人の大部分が、ビデオの時間解像度を増加させることに興味がある。したがって、この明細書では、大部分を、空間におけるダウンサンプリングがない場合に焦点を当てている。しかしながら、本明細書で説明するカメラおよび方法は、時空間問題、並びにビデオ超解像度、雑音除去、補間、およびぶれ除去等の多数の他の用途に拡張できることが理解される。行列ベクトル表記取得式を離散化し、式を行列ベクトル形式で表す。取得されたピクセル強度Yは、元の高速度ビデオボクセルXの線形結合であり、ここで、線形結合の重みは、変調関数Mによって与えられるので、行列ベクトル形式での取得式をとして記述することができる。ここで、Φは、ピクセル単位の変調並びに時間における積分および空間におけるサブサンプリングを表す線形演算子であり、xおよびyは、所望の高速度サブフレームXおよび取得されたフレームYのベクトル化形式である。本発明者らのカメラの各フレーム継続時間中、各ピクセルにおける入射光エネルギー場の強度を独立した2値符号を用いて変調する。例えば、20fpsカメラのフレーム継続時間中、各ピクセルは、長さ8の独立した2値符号を用いて時間変調される。これは、50/8=6.25msの最小露出継続時間に対応し、この最小露出継続時間は、所望のサブフレームのフレーム継続時間である。さまざまなピクセルの時間的な2値符号は、異なる可能性があり、異なる長さの符号を用いることもできることに留意されたい。独立した2値符号を用いた時間変調は、サブフレーム継続時間においてランダムな2値マスクを用いることと等価であり、これによって、さまざまなピクセルにおいて光を積分することが選択的に可能になる。直感的には、これは、サブフレーム継続時間における入射光にタイムスタンプを付けることとして理解することができ、これにより、ビデオに関する事前情報を用いて、積分されたサブフレームを復号することが可能になる。他のアーキテクチャとの対比米国特許第7,580,620号は、時間符号化パターンを用いて画像のぶれを除去するフラッターシャッターfluttershutterFSカメラを記載している。カメラの露出継続時間中、シャッターをはためかせるflutterことによって、動きぶれを反転することを可能にする高周波数情報を画像内に保存することができる。この点について、シャッターをはためかせることは、全てのピクセルに等しく適用される。FSカメラは、動きぶれ除去に適しており、直線的な動きまたは既知の動きの方向および速度に限られている。これとは対照的に、本発明では、対応する変調関数に従ってピクセルを個々に変調する。変調関数は、ピクセルの組み合わせ、ピクセルのサブセット、またはサブピクセルが異なれば、異なるものとすることができる。本発明者らのカメラは、それらの限界を超越しており、任意で複雑な動きを有するシーンに適用可能である。また、FSカメラは、動きぶれが除去された画像を再構成するが、本発明者らは、高速度ビデオを再構成する。本発明者らのカメラは、単一ピクセルカメラおよびランダムイメージャrandomimagerにも関係している。それらのカメラでは、観測結果とボクセルとの間の混合mixingは、完全に大域的である。一方、本発明者らのカメラでは、混合は、本質的に局所的である。すなわち、各取得されたピクセルをもたらす近傍のボクセルの符号化された混合codedmixingが存在する。この局所的な混合によって、最初の反復で良好なオプティカルフローを得ることが可能になる。この局所性が存在しない場合、最初の反復で妥当なオプティカルフローを得ることができない。以下で説明するように、オプティカルフローは、高い忠実度の高速度ビデオ再構成にとって重要である。オプティカルフローの明るさの恒常性制約301によって、フローがない場合に可能な品質よりもはるかに高い品質の再構成310を得ることが可能になる。これは、従来技術と比較して、本発明者らの撮像アーキテクチャの最も重要な進展の1つである。その上、本発明者らのカメラは、単一ピクセル検出器の代わりにピクセルアレイを用いることによって、特に可視波長について、従来のセンサーにより提供されたコストの利点も利用する。カメラの柔軟性本発明者らのカメラは、極めて柔軟なアーキテクチャを提供し、必要に応じて、簡易な再コンフィギュレーションで他の撮像用途を達成することを可能にする。フル画像露出を有する従来のカメラは、結局、すべて1の時空間混合符号を用いることになる。露出が短い従来のカメラは、結局、本発明による10000000時空間混合関数を用いることになる。まさに同じアーキテクチャを、柔軟なボクセル、ハイダイナミックレンジ撮像、フラッターシャッター、およびいくつかの同様の用途を実現するのに用いることができる。このアーキテクチャによって、さまざまな機能を同じカメラ構造により実現することが可能になるので、本発明者らの撮像アーキテクチャのこの柔軟性は、重要な属性である。ビデオ用のモデル本発明者らの目標は、取得されたフレームを時空間で超解像にすることであるので、取得連立方程式2は、劣決定である。サブフレームxの値を求めるために、時空間ボリュームに関する事前情報を仮定する。ビデオが空間および時間の双方において冗長であることはよく知られている。空間的には、画像は、ウェーブレット等の変換基底で圧縮可能である。このことは、ジョイントフォトグラフィックエキスパートグループJPEG:jointphotographicexpertsgroup圧縮で用いられる。時間的には、シーン内の物体は、通例ゆっくりとした動きであるか、またはカメラはゆっくりと動くので、連続したフレームの外観は、同様であることが多い。空間および時間におけるこの冗長性は、ムービングピクチャエキスパートグループMPEG等のさまざまなビデオ圧縮標準規格で用いられてきた。式2を解くために、ビデオを、空間変換基底において圧縮可能としておよびピクセル近傍の時間的類似性を有するものとしてモデル化する。ビデオにおける冗長性動きの重要性シーン内の物体の動きは分かっており、オプティカルフロー場が利用可能であるものと仮定する。説明のために、順方向フローのみを考えるが、本発明者らのモデルでは、正確さを増すために逆方向フローも用いる。明るさの恒常性制約は、以下の連立方程式に対応する。ここで、行列の全ての行は、時空間ピクセルの明るさの恒常性の式を表す。動きが分かっていることによって、サブフレームxを再構成する追加の制約が与えられ、次に、以下の式が解かれる。時空間ピクセルにおけるフローがサブピクセルであるとき、ピクセル強度を、その後のフレームにおいて最も近いピクセルによって双一次補間されたものとして扱う。また、オクルージョン推論occlusionreasoningを行って、どのピクセルが一致した順方向フローおよび逆方向フローを有するのかを判断する。一致していないピクセルは、閉塞していると宣言され、閉塞ピクセルの明るさの恒常性に対応する行を行列から削除した。これによって、動きの境界におけるピクセルに対応する明るさの恒常性の式が正確であることが保証される。オプティカルフローの品質に依存して、明るさの恒常性の式は、式4が良条件であることを保証するのに十分でない可能性がある。この問題を緩和しかつ連立方程式4に対する正確さを増すために、空間冗長性を追加して組み込む。したがって、所望のサブフレームの変換係数のスパース性を用いて上記連立方程式を正規化する。変換係数のスパース性を最小にするl1ノルムを用いる。詳細には、以下の式を得る。ここで、Ψは変換基底であり、xはX:,:,tのベクトル形式であり、εは小さな所定のしきい値である。ビデオ再構成実際には、サブフレームのオプティカルフロー場をアプリオリに有するのではない。しかしながら、サブフレームおよびサブフレーム間のオプティカルフローは、式4から反復的な方法で交互に推定することができる。空間スパース性のみの助けを借りてブートストラッピングすることにより推定する。空間的にのみ正規化することによってかつ動き制約を利用することなく雑音のある画像を最初に推定する以下の反復プロセスを採用する。以下で説明するように、雑音が除去された画像からオプティカルフロー場を推定し、次に、そのオプティカルフロー場を用いてより良好な画像を推定し、品質のしきい値に達するまでこの反復を続ける。交互の反復再構成代替的な反復再構成では、雑音のある高速度画像x0を次のように推定する。反復開始推定値xk-1を雑音除去し、オプティカルフローを推定し、オクルージョン推論を実行し、行列Ωk-1を構成する。オプティカルフロー制約を有する高速度フレームを推定する。反復終了推定された、雑音のある画像の雑音を除去するために、従来の雑音除去プロセスを用いる。用途このカメラを用いることができる用途には、フル2D変調、民生用ビデオカメラ、高速度撮像が含まれ得るが、これらに限定されるものではない。視覚サーボVSでは、カメラは、センサーによって取得された情報をフィードバックしてロボットの動きを制御する。バーコードのスキャンおよび検出の用途では、変調は、行または列に沿うことができ、すなわち一方向においてのみとすることができ、すなわち変調は直線的である。他の用途には、ビデオ超解像度、雑音除去、補間、およびぶれ除去が含まれる。発明の効果本発明者らのカメラおよび処理パイプラインのアーキテクチャは、従来の撮像アーキテクチャを上回る非常に大きな利点を提供する。第1に、本発明は、圧縮センシングパラダイムを利用することによってセンサーにおける帯域幅要件を大幅に低減する。圧縮センシングによって、サブナイキストレートで観測結果を記録することを可能にするが、高速度ビデオをそのサブナイキスト測定値から再構成するために、オプティカルフローおよび空間的正則化spatialregularizationの形態で、時空間一貫性spatio-temporalconsistency制約についての事前情報を用いることが可能になる。第2に、本発明は、短露出低フレームレートビデオを取得することと比較して、システムの光スループットを改善し、低い光レベルでの取得を可能にする。これらは、高速度フレーマーの法外な費用が本質的に高帯域幅および高光感度の要件に起因しているので、大きな利点である。第3に、撮像アーキテクチャは、極めて柔軟であり、コンテンツアウェアビデオグラフィーcontentawarevideographyのためのハイダイナミックレンジHDR、各種ピクセルおよび柔軟なボクセルを含む他のいくつかの機能の組み込みを可能にする。加えて、本発明者らが開発したビデオモデルおよび付随した再構成方法は、かなり汎用的であり、ハードウェアを追加する必要なく、ビデオの雑音除去、超解像度、および補間等の用途に用いることができる。本発明者らの圧縮カメラは、かなりの時空間冗長性がビデオに存在していることを利用する。参考として、従来の圧縮方法によって利用される時空間冗長性および本発明者らの撮像アーキテクチャによって利用される時空間冗長性は、非常に類似しているので、効率的に圧縮されるシーンを、本発明者らの方法を用いて良好に取得することができるものと想定することができる。1つの実施の形態では、本発明者らの変調器は、2値のピクセル単位のシャッターbinaryper-pixelshutterのみを用いる。これによって、光スループットが50低減される。ほとんどのセンサーは、デュアルモード積分を実行する能力をすでに有し、すなわち、ピクセルの利得を変化させるので、本発明者らは、非2値変調を達成することができる。50の光損失は、単一センサーの実施態様にとって不可避であるが、本発明者らは、2つのセンサーおよびビームスプリッターを用いて、符号化画像および反転符号化画像の双方を測定する場合に、この光損失を回避することができる。本発明を好ましい実施の形態の例として説明してきたが、本発明の趣旨および範囲内からさまざまな他の適応および変更を行うことができることが理解されるべきである。したがって、添付の特許請求の範囲の目的は、本発明の真の趣旨および範囲内に入る全ての変形および変更を包含することである。"