(57)【特許請求の範囲】
【請求項１】
シーンの画像を生成するレンズ無しイメージングシステムであって、
電磁放射線センサと、
前記電磁放射線センサと前記シーンとの間に配置されるマスクと、
画像処理装置と
を備え、前記画像処理装置は、
前記電磁放射線センサが前記シーンに曝される間に前記電磁放射線センサから信号を取得し、
前記信号、及び、前記シーンと前記電磁放射線センサとの間の伝達関数に少なくとも部分的に基づいて、前記シーンの前記画像を推定するように構成され、
前記マスクは、第１の複数の領域と第２の複数の領域を含む複数の領域のマトリクスにより構成され、
前記第１の複数の領域は、第１の屈折率を有する第１の材料を備え、前記第２の複数の領域は、前記第１の屈折率とは異なる第２の屈折率を有する第２の材料を備える、レンズ無しイメージングシステム。
【請求項２】
前記マスクは、前記電磁放射線センサから、前記電磁放射線センサの幅の０．５倍未満の距離に配置される、請求項１に記載のシステム。
【請求項３】
前記第１の複数の領域は電磁放射線に対して不透過性であり、
前記第２の複数の領域は電磁放射線に対して透過性である、
請求項１に記載のシステム。
【請求項４】
前記第１の複数の領域及び前記第２の複数の領域は、二次元面上に配置される、請求項３に記載のシステム。
【請求項５】
前記二次元面は湾曲しており、前記電磁放射線センサは湾曲している、請求項４に記載のシステム。
【請求項６】
前記第１の複数の領域には、第１の数の領域があり、前記第２の複数の領域には、第２の数の領域がある、請求項１に記載のシステム。
【請求項７】
前記第１の数と前記第２の数とは同じである、請求項６に記載のシステム。
【請求項８】
前記第１の複数の領域の前記領域及び前記第２の複数の領域の前記領域は、前記マスクにわたってランダムに分散される、請求項６に記載のシステム。
【請求項９】
前記第１の複数の領域及び前記第２の複数の領域の分散は、第１の１次元シーケンス及び第２の１次元シーケンスの畳み込みに基づいている、請求項６に記載のシステム。
【請求項１０】
二つの前記１次元シーケンスは、ランダム系列である、請求項９に記載のシステム。
【請求項１１】
前記第１の１次元シーケンスは、Ｍ系列であり、前記第２の１次元シーケンスは、第２のＭ系列である、請求項９に記載のシステム。
【請求項１２】
前記Ｍ系列及び前記第２のＭ系列は同じである、請求項１１に記載のシステム。
【請求項１３】
前記伝達関数は、第１のバイナリシーケンスと第２のバイナリシーケンスとを備える、請求項１に記載のシステム。
【請求項１４】
前記第１のバイナリシーケンスは、前記マスクの幅にわたる領域の数に等しい数のエントリを有する、請求項１３に記載のシステム。
【請求項１５】
レンズ無しイメージングシステムを使用して画像を生成する方法であって、前記方法は、
イメージセンサとシーンとの間に設けられたマスクを用いることと、
前記シーンからシーンの画像への電磁放射線に曝されるときに、前記イメージセンサによって生成された電気信号に関係する伝達行列を前記レンズ無しイメージングシステムより取得することと、
前記伝達行列、及び前記シーンに曝されるときに前記イメージセンサによって生成された前記電気信号に基づいて、シーンの画像を前記レンズ無しイメージングシステムにより生成することと
を備え、
前記マスクは、第１の複数の領域と第２の複数の領域を含む複数の領域のマトリクスにより構成され、
前記第１の複数の領域は、第１の屈折率を有する第１の材料を備え、前記第２の複数の領域は、前記第１の屈折率とは異なる第２の屈折率を有する第２の材料を備える、
方法。
【請求項１６】
前記伝達行列を取得することは、
前記イメージセンサとしての電磁放射線センサによって生成された第１の複数の電気信号であって、各電気信号は複数のパターンのうちの一つに曝される間に前記電磁放射線センサによって生成された電気信号を、前記レンズ無しイメージングシステムによって取得することと、
前記電磁放射線センサによって生成された第２の複数の電気信号であって、各電気信号は第２の複数のパターンのうちの一つに曝される間に前記電磁放射線センサによって生成された電気信号を、前記レンズ無しイメージングシステムによって取得することと、
前記第１の複数の電気信号に基づいて、第１の１次元畳み込みシーケンスを前記レンズ無しイメージングシステムによって決定することと、
前記第２の複数の電気信号に基づいて、第２の１次元畳み込みシーケンスを前記レンズ無しイメージングシステムによって決定することと、
前記第１の１次元畳み込みシーケンスと第２の１次元畳み込みシーケンスとに基づいて、前記伝達行列を前記レンズ無しイメージングシステムによって生成することと
を備える、請求項１５に記載の方法。
【請求項１７】
前記伝達行列を取得することは、
前記レンズ無しイメージングシステムの前記マスクの電磁的特性をシミュレートすることと、
前記マスクの前記電磁的特性に基づいて、前記伝達行列を前記レンズ無しイメージングシステムにより生成すること
を備える、請求項１５に記載の方法。
【請求項１８】
前記シーンの前記画像は、少なくとも部分的に、前記電気信号及び前記伝達行列に関係する最小二乗問題を解くことに基づいている、請求項１５に記載の方法。
【請求項１９】
前記シーンの前記画像は、少なくとも部分的に、前記電気信号及び前記伝達行列に関係する正則化最小二乗問題を解くことに基づいている、請求項１５に記載の方法。
【請求項２０】
前記正則化は、全変動（Total variation）、チホノフ正則化（Tikhonov）、及びウェーブレットスパース性（Wavelet sparsity）から成る群から選択される一つである、請求項１９に記載の方法。
【請求項２１】
前記複数のパターンは、それぞれ１次元パターンである、請求項１６に記載の方法。
【請求項２２】
前記複数のパターンは、それぞれ固有のアダマールパターンである、請求項１６に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
連邦政府による資金提供を受けた研究又は開発の記載
本発明は、米国国立科学財団（the National Science Foundation）によって奨励金が与えられたグラントナンバーＣＣＦ−１１１７９３９のもとで政府の支援を得てなされた発明である。本発明は、米国国立科学財団によって奨励金が与えられたグラントナンバーＩＩＳ−１１１６７１８のもとで政府の支援を得てなされた発明である。本発明は、米国国防総省の米海軍海事技術本部（Office of Naval Research）によって奨励金が与えられたグラントナンバーＮ０００１４−１０−１−０９８９のもとで政府の支援を得てなされた発明である。米国政府は、本発明に一定の権利を有する。
【背景技術】
【０００２】
カメラは、レンズ及びイメージセンサを含むことができる。レンズは、シーンからの光をイメージセンサ上に誘導することができる。イメージセンサは、レンズによって取り込まれた光を電気信号に変換することができる。イメージセンサによって生成された電気信号及びレンズの光学特性に基づいて、シーンを再構成することができる。
【発明の概要】
【課題を解決するための手段】
【０００３】
一態様において、本発明の一つ以上の実施形態によるシーンの画像を生成するレンズ無しメージングシステムは、電磁（ＥＭ：electromagnetic）放射線センサと、電磁放射線センサとシーンとの間に配置されるマスクと、画像処理装置とを含み、該画像処理装置は、電磁放射線センサがシーンに曝される間に電磁放射線センサから信号を取得し、信号、及び、シーンと電磁放射線センサとの間の伝達関数に少なくとも部分的に基づいて、シーンの画像を推定する。
【０００４】
一態様において、本発明の一つ以上の実施形態によるレンズ無しメージングシステムを使用して画像を生成する方法は、シーンからシーンの画像への電磁放射線に曝されるときに、イメージセンサによって生成された電気信号に関係する伝達行列を取得することと、伝達行列、及びシーンに曝されるときにイメージセンサによって生成された電気信号に基づいて、シーンの画像を生成することとを含む。
【０００５】
本発明の特定の実施形態が、添付の図面を参照して説明される。しかしながら、添付の図面は、実施例を通じて本発明の特定の態様又実施形態を単に説明するものであり、請求の範囲を制限するものではない。
【図面の簡単な説明】
【０００６】
【図１】図１は、本発明の一つ以上の実施形態によるシステムを示す図である。
【図２】図２は、本発明の一つ以上の実施形態による電磁放射線センサを示す図である。
【図３】図３は、本発明の一つ以上の実施形態によるマスクを示す図である。
【図４】図４は、本発明の一つ以上の実施形態による画像処理装置を示す図である。
【図５】図５は、本発明の実施形態によるレンズ無しメージングシステムを校正する方法のフローチャートを示している。
【図６】図６は、本発明の実施形態によるレンズ無しメージングシステムを使用して画像を生成するフローチャートを示している。
【図７Ａ】図７Ａは、本発明の実施形態による第１の最大長さ系列の一例を示している。
【図７Ｂ】図７Ｂは、本発明の実施形態による第１の最大長さ系列に基づいたマトリックスの一例を示している。
【図７Ｃ】図７Ｃは、本発明の実施形態によるレンズ無しメージングシステムによって生成されたシーンの画像の一例を示している。
【図７Ｄ】図７Ｄは、本発明の実施形態によるレンズ無しメージングシステムによって生成されたシーンの画像の一例を示している。
【図７Ｅ】図７Ｅは、本発明の実施形態によるレンズ無しメージングシステムによって生成されたシーンの画像の一例を示している。
【図７Ｆ】図７Ｆは、本発明の実施形態によるレンズ無しメージングシステムによって生成されたシーンの画像の一例を示している。
【図８Ａ】図８Ａは、本発明の実施形態による第２の最大長さ系列の一例を示している。
【図８Ｂ】図８Ｂは、本発明の実施形態による第２の最大長さ系列に基づくマトリックスの一例を示している。
【図８Ｃ】図８Ｃは、本発明の実施形態によるレンズ無しメージングシステムによって生成されたシーンの画像の一例を示している。
【図８Ｄ】図８Ｄは、本発明の実施形態によるレンズ無しメージングシステムによって生成されたシーンの画像の一例を示している。
【図８Ｅ】図８Ｅは、本発明の実施形態によるレンズ無しメージングシステムによって生成されたシーンの画像の一例を示している。
【発明を実施するための形態】
【０００７】
添付の図面を参照して、幾つかの特定の実施形態をこれから説明する。以下において、本発明の各実施例として多数の詳細な説明を行う。当業者であれば、本発明の一つまたは複数の実施形態がこれらの特定の詳細なしに実施され、本発明の範囲から逸脱することなく多くの変形または修正が可能であり得ることが理解されるであろう。説明を不明瞭にすることを避けるために、当業者に既知である特定の詳細は省略される。
【０００８】
本発明の各実施形態は、レンズレスイメージングシステム、レンズレスイメージセンサ、及びレンズレスイメージングシステムの操作方法に関連する。レンズレスイメージングシステムは、電磁放射線の受信に応じて電気信号を生成することができる。レンズレスイメージングシステムによって生成された各電気信号を画像処理装置によって処理し、電磁エネルギーが散乱したシーンの画像を生成することができる。
【０００９】
本発明の一つ以上の実施形態において、レンズレスイメージングシステムは、電磁放射線センサ、一つ以上のマスク、及び画像処理装置を備えることができる。電磁放射線センサは、電磁放射線の受信に応じて電子信号を生成することができる。電磁放射線センサは、例えば、電磁放射線に応答する電荷結合素子（ＣＣＤ）でもよい。本発明の一つ以上の実施形態において、電磁放射線は、可視光線、短波長赤外光、中波長赤外光、長波長赤外光、テラヘルツ、ミリメートル波、無線又は電磁スペクトルの他の部分であってもよい。
【００１０】
マスクはそれぞれ、電磁センサとシーンとの間に配置された平面構造でもよい。本発明の一つ以上の実施形態において、各マスクは、不透過性領域と、電磁放射線に対して透過性な他の領域とを含むことができる。当該不透過性及び透過性領域は、マスクに入射する電磁放射線の一部を電磁放射線センサから離れて反射させ、一部を電磁放射線センサに伝達させることができる。
【００１１】
本発明の一つ以上の実施形態において、マスクは、異なる透過性材料の屈折率又は厚さを有する領域を含むことができる。異なる屈折率又は厚さを有する異なる領域は、入射電磁放射線の振幅及び相モジュールを生成できる。
【００１２】
電磁放射線センサに伝達される電磁放射線は、各マスクに入射する電磁放射線と比較すると、回折及び／又は振幅／位相の変調が可能である。
【００１３】
本発明の一つ以上の実施形態において、マスクは、電磁放射線センサから所定の距離に配置されてもよい。当該所定の距離は、例えば０．５ｍｍでもよい。本発明の一つ以上の実施形態において、当該所定の距離は０ｍｍでもよく、例えば、電磁放射線センサに直接配置されてもよい。本発明の一つ以上の実施形態において、電磁放射線センサとマスクとの間の距離を電磁放射線センサの幅で割った比は、０．１未満でもよい。本発明の一つ以上の実施形態において、電磁放射線センサとマスクとの間の距離を電磁放射線センサの幅で割った比は、０．２５未満でもよい。本発明の一つ以上の実施形態において、電磁放射線センサとマスクとの間の距離を電磁放射線センサの幅で割った比は、０．５未満でもよい。本発明の一つ以上の実施形態において、電磁放射線センサとマスクとの間の距離を電磁放射線センサの幅で割った比は、０．３未満でもよい。
【００１４】
本発明の一つ以上の実施形態において、画像処理装置は、電磁放射線センサから受信した各電子信号に基づいてシーンの画像を生成できる。画像処理装置は、例えばデジタルシグナルプロセッサ（ＤＳＰ：digital signal processor）でもよい。
【００１５】
本発明のさらなる実施形態は、レンズレスイメージングシステムの操作方法に関連する。該方法は、複数のテストパターンをレンズレスイメージングシステムに表示することと、シーンによって放射された電磁放射線とレンズレスイメージングシステムの電磁放射線センサによって生成された電気信号との間の伝達関数を決定することとを含むことができる。
【００１６】
図１は、本発明の一つ以上の実施形態によるレンズレスイメージングシステムを示している。システムは、シーン（１００）の画像を生成するように構成されてもよい。システムは、電磁放射線センサ（１３０）、一つ以上のマスク（１２０）、照明源（１１０）、及び画像処理装置（１４０）を含むことができる。以下において、システムの上記構成要素をそれぞれ説明する。
【００１７】
システムは、電磁放射線センサ（１３０）を含むことができる。電磁放射線センサ（１３０）は、入射電磁放射線に応答して電気信号を生成する物理的装置であってもよい。
【００１８】
図２は、本発明の一つ以上の実施形態による電磁放射線センサの一例を示している。電磁放射線センサ（１３０）は、各領域に対する電磁放射線入射に応答して電気信号をそれぞれ生成する複数の感知領域（２００）を含むことができる。例えば、電磁放射線は、第１電磁的感知領域及び第２電磁的感知領域に入射できる。第１電磁的感知領域は、第１電気信号を生成し、第２電磁的感知領域は、第２電気信号を生成できる。信号は、それぞれ、各電磁的感知領域に入射される電磁放射線の大きさ及び／又は頻度に比例してもよい。本発明の一つ以上の実施形態において、電磁放射線センサは、電荷結合素子（ＣＣＤ）であってもよい。
【００１９】
電磁放射線センサ（１３０）の各感知領域（２００）は、二次元領域上に配置することができる。各感知領域（２００）は、均一な二次元格子に正方形の領域として示されているが、他の形状であってもよく、また、本発明から逸脱することなく、表面上の均一または不規則なパターンに分散されてもよい。本発明の一つ以上の実施形態において、該二次元領域は、平面でもよい。本発明の一つ以上の実施形態において、該二次元領域は、曲面でもよい。
【００２０】
本発明の一つ以上の実施形態において、電磁放射線センサ（１３０）は、可視光線に応答する電気信号を生成することができる。本発明の一つ以上の実施形態において、電磁放射線センサ（１３０）は、赤外線に応答して電気信号を生成できる。本発明の一つ以上の実施形態において、電磁放射線センサ（１３０）は、紫外線、短波長赤外光、中波長赤外光、長波長赤外光、無線、ミリメートル波又はテラヘルツ放射に応答して電気信号を生成できる。電磁放射線センサ（１３０）は、本発明から逸脱することなく、他のスペクトル内容を有する電磁放射線に応答して電気信号を生成できる。
【００２１】
図１に戻り、該システムは、一つ以上のマスク（１２０）を備えることができる。各マスク（１２０）は、各マスク（１２０）に入射する電磁放射線から、電磁放射線センサ（１３０）の一部を覆い隠す物理的装置であってもよい。各マスク（１２０）は、シーン（１００）と電磁放射線センサ（１３０）との間に配置でき、それにより、シーン（１００）からの電磁放射線から、電磁放射線センサ（１３０）の一部を覆い隠す。各マスク（１２０）は、電磁放射線センサ（１３０）から離れた距離Ｄに配置されてもよい。本発明の一つ以上の実施形態において、距離Ｄは０．５ｍｍ以下でもよい。本発明の一つ以上の実施形態において、距離Ｄは０ｍｍでもよく、例えば、各マスク（１２０）を電磁放射線センサ（１３０）上に直接配置してもよい。
【００２２】
図３は、本発明の一つ以上の実施形態による各マスク（１２０）のマスクの一例を示す図である。
【００２３】
本発明の一つ以上の実施形態において、マスクは、不透過性である第１の数の領域（３００）と、透過性である第２の数の領域（３１０）を含むことができる。不透過性である第１の数の領域（３００）は、マスクを通しての電磁放射線の透過を防ぐことができ、透過性である第２の数の領域（３１０）は、マスクを通して電磁放射線を透過させることができる。
【００２４】
本発明の一つ以上の実施形態において、不透過性である第１の数の領域（３００）は、金、アルミニウム、クロム又は他の金属でもよい。本発明の一つ以上の実施形態において、透過性である第２の数の領域（３１０）は、ガラス、石英であってもよく、又は空所であってもよい。
【００２５】
本発明の一つ以上の実施形態において、マスクは、透過性である第２の数の領域（３１０）の屈折率及び／又は厚さと異なる屈折率又は厚さを有する第１の数の領域（３００）を有することができる。第１の数の領域（３００）及び第２の数の領域（３１０）は、マスクを透過する電磁放射線の振幅及び／又は位相を変調することができる。
【００２６】
本発明の一つ以上の実施形態において、第１の数の領域（３００）及び第２の数の領域（３１０）を二次元面上に分散させることができる。各領域は、他の領域に隣接して配置されてもよい。第１の数の領域（３００）及び第２の数の領域（３１０）は、図３において特定の二次元パターンで示されているが、第１の数の領域（３００）及び第２の数の領域（３１０）は、本発明から逸脱することなく、他の二次元パターンに分散されても、或いはランダムに分散されてもよい。
【００２７】
本発明の一つ以上の実施形態において、 第１の数の領域（３００）及び第２の数の領域（３１０）は、二つの１次元バイナリシーケンスの外積の形式でマスクに亘って分散される。該バイナリシーケンスは、それぞれ任意の値を有することができる。１の値は、不透過性領域（３００）を示すことができ、一方で０の値は、透過性領域（３１０）を示すことができ、又はその逆も可能である。本発明の一つ以上の実施形態において、二つの１次元バイナリシーケンスは、疑似ランダムバイナリシーケンス（pseudorandom binary sequences）である。本発明の一つ以上の実施形態において、該バイナリシーケンスは、最大長さシーケンス（Ｍ長さシーケンス；maximum length sequence）である。本発明の一つ以上の実施形態において、該バイナリシーケンスは、Hadamard（アダマール）シーケンス又はＳ行列シーケンスの部分集合である。
【００２８】
本発明の一つ以上の実施形態において、第１の数の領域（３００）と第２の数の領域（３１０）が同じ数であってもよい。つまり、第１の数の領域（３００）が８０００個である場合、第２の数の領域（３１０）は、８０００個でもよい。
【００２９】
本発明の一つ以上の実施形態において、不透過性領域（３００）のそれぞれの寸法及び透過性領域（３１０）のそれぞれの寸法は、各マスク（１２０）と電磁放射線センサ（１３０、図１）との間の距離の１０％でもよい。本発明の一つ以上の実施形態において、不透過性領域（３００）及び透過性領域（３１０）のそれぞれの寸法は、３０μｍでもよい。
【００３０】
本発明の一つ以上の実施形態において、各不透過性領域（３００）及び各透過性領域（３１０）は、断面が正方形であってもよい。各領域の正方形断面は、一辺の長さが各領域の寸法であってもよい。つまり、３０μｍの寸法は、各領域が３０μｍ×３０μｍ（３０μｍ平方）であることを示している。
【００３１】
本発明の一つ以上の実施形態において、各マスク（１２０）は、透過性の支持構造に配置されてもよい。当該透過性の支持構造は、例えば、石英ウエハでもよい。
【００３２】
図１に戻り、システムは、一つ以上の照明源（１１０）を含むことができる。各照明源（１１０）は、電磁放射線センサ（１３０）によって検出可能なスペクトル内容の少なくとも一部を有する電磁放射線を生成でき、生成された電磁放射線を用いてシーン（１００）を照明する。各照明源（１１０）は、例えば、白熱光源、発光ダイオード（ＬＥＤ）、又は他の電磁放射線発生装置でもよい。本発明の一つ以上の実施形態において、各照明源（１１０）は、周囲照明でもよい。
【００３３】
システムは、画像処理装置（１４０）を含むことができる。画像処理装置（１４０）は、電磁放射線センサ（１３０）によって生成された電気信号を受信でき、その電気信号に基づいてシーン（１００）の画像を生成する。
【００３４】
図４は、本発明の一つ以上の実施形態による画像処理装置（１４０）を示す図である。画像処理装置（１４０）は、電磁放射線センサ（１３０）から受信した各電気信号に基づいてシーン（１００）の画像を生成するように構成及び／又はプログラムされてもよい。画像処理装置（１４０）は、プロセッサ（４００）、伝達関数（４１０）、及び記憶装置（４２０）を含むことができる。該システムの前記各構成要素を以下に説明する。
【００３５】
本発明の一つ以上の実施形態において、プロセッサ（４００）は、汎用プロセッサ、組込型プロセッサ、プログラマブルゲートアレイ、デジタルシグナルプロセッサ、又は他の種類のデータ処理装置であってもよい。
【００３６】
記憶装置（４２０）は、プロセッサ（４００）によって実行される際に、図５及び図６に図示及び以下に記載の機能性を画像処理装置（１４０）に実行させる指示を含む、非一時的なコンピューター可読記憶装置であってもよい。
【００３７】
記憶装置（４２０）に記憶された指示を実行する際、画像処理装置（１４０）は、シーン（１００）によって散乱された電磁放射線と電磁放射線センサ（１３０）によって生成された電気信号との関係に基づいて、シーン（１００）の画像を生成できる。電磁放射線がシーン（１００）と相互に作用すると、電磁放射線を散乱させることができる。散乱した電磁放射線の一部は、図１に見られるように、シーン電磁放射線（１５０）としてシステムに向かって散乱され得る。
【００３８】
シーン電磁放射線（１５０）がシステムに入射すると、各マスク（１２０）は、反射した電磁放射線（１６０）としてシーン電磁放射線（１５０）の一部を散乱させることができ、また、透過した放射（１７０）としてシーン電磁放射線（１５０）の一部を散乱させることができる。反射した電磁放射線（１６０）は、電磁放射線センサ（１３０）と相互作用しないが、透過した電磁放射線（１７０）は、電磁放射線センサ（１３０）と相互作用し、例えば、電磁放射線センサ（１３０）に電気信号を生成させる。シーン電磁放射線（１５０）と比較すると、透過した電磁放射線（１７０）は、各マスク（１２０）によって変調や回折が可能である。透過した電磁放射線（１７０）を変調して回折することにより、透過した放射線を電磁放射線センサの複数の感知領域に多重化することができる。
【００３９】
例として、第１の透過性領域（３２０）を図３に示す。第１の透過性領域（３２０）と相互作用する電磁放射線の一部は、図２において破線で囲まれた領域によって示されるように、電磁放射線センサの複数の感知領域（２１０）上に散乱され得る。複数の感知領域（２１０）のそれぞれは、第１の透過性領域（３２０、図３）によって散乱された電磁放射線の一部をそれぞれ受信し、それにより電気信号を生成できる。
【００４０】
シーン（１００）の画像を生成するために、シーンは、複数の電磁放射線源、例えば、各マスク（１２０）のフィーチャーの数と同数のピクセル数を含んでいると考えられる。つまり、マスクが１００×１００のフィーチャー配列である場合、シーンは、１００×１００ピクセルから成ると考えられる。
【００４１】
上記に基づいて、シーンの画像と電磁放射線センサ（１３０） によって生成された電気信号との間の伝達関数は次のようになる。
【００４２】
【数１】
0006549240.tif 000002
【００４３】
ここで、ｘはシーンのピクセル化された画像のマトリックスであり、ｙは電磁放射線センサ（１３０）によって生成された電気信号のマトリックス、Φは伝達行列（transfer matrix）、そしてｅはシステムノイズ及び他の要因によるエラーである。本発明の一つ以上の実施形態において、入射フィールド（incident field）はコヒーレントであり、複素値フィールド又はベクトルとして表現される。本発明の一つ以上の実施形態において、入射フィールドはインコヒーレントであり、実数値フィールド又はベクトルとして表現される。
【００４４】
シーンの画像は、伝達行列が既知であると過程して、数式（１）を逆にすることによって決定されてもよい。例えば、シーンの画像は、システムがシーン電磁放射線（１５０）に曝される時に、電磁放射線センサ（１３０）の各電気信号を記録することによって決定されてもよい。数式（１）は、最小二乗問題又は他の正則化最小二乗問題などの任意の方法を使用して逆にしてもよい。
【００４５】
上述のように、二つの１次元シーケンスを使用して形成されるマスクを使用する場合、シーンの画像と、電磁放射線センサ（１３０）によって生成される各電気信号との間の伝達関数は、次のようになる。
【００４６】
【数２】
0006549240.tif 000003
【００４７】
ここで、ΦＬ及びΦＲは、シーンの行および列に沿った１次元畳み込みに対応するシーケンスであり、Ｘは、シーンのピクセル化された画像のマトリックスであり、Ｙは、電磁放射線センサ（１３０）によって生成される各電気信号のマトリックスであり、Ｅは、システムノイズ又は他の要因によるエラーである。
【００４８】
本発明の一つ以上の実施形態において、伝達行列は、各マスク（１２０）による電磁放射線の変調及び回折のモデル化によって決定されてもよい。例えば、各マスク（１２０）は、シーン（１００）からの光が電磁放射線センサ上にどのように分散されるかを決定し、それにより伝達関数を決定するように計算的にモデル化されてもよい。
【００４９】
本発明の一つ以上の実施形態において、図５に示す方法によって伝達行列を決定することができる。
【００５０】
図５は、本発明の一つ以上の実施形態による方法のフローチャートを示している。図５に示された方法は、本発明の一つ以上の実施形態によるレンズ無し撮像装置の伝達関数に使用できる。図５に示す一つ又は複数のステップは、省略及び繰り返しも可能であり、及び／又は異なる実施形態の間で異なる順序で実行されてもよい。
【００５１】
ステップ５００において、表示画面は、レンズ無しメージングシステムに位置合わせされる。表示画面は、例えば、液晶ディスプレイでもよい。他の種類のディスプレイも本発明から逸脱することなく使用可能である。本発明の一つ以上の実施形態において、点や線のような物理的光源を空間的に変換させて、伝達行列を校正することができる。
【００５２】
本発明の一つ以上の実施形態において、表示画面は、レンズ無しメージングシステムの電磁放射線センサからの電気信号を記録しながらディスプレイ上にテストパターンを表示することによって、レンズ無しメージングシステムに位置合わせすることができる。表示パターンは、例えば、十字形パターン又は点パターン（point pattern）でもよい。記録された電気信号は、ディスプレイと電磁放射線センサとの間の位置合わせの程度を示すことができる。ディスプレイとレンズ無しメージングシステムとの位置を手動で調整することにより、位置合わせを改善することができる。
【００５３】
ステップ５１０において、第１の複数のパターンをディスプレイに表示できる。各テストパターンの表示中に、電磁放射線センサが生成した各電気信号を記録して記憶することができる。本発明の一つ以上の実施形態においては、ライン光源又は点光源などの固定照明パターンを物理的に変換することによって、複数の画像を得ることができる。
【００５４】
本発明の一つ以上の実施形態において、表示される第１の複数のパターンは、それぞれ、固有のHadamard（アダマール）パターン、固有の線パターン、又は固有のドットパターンであってもよい。
【００５５】
本発明の一つ以上の実施形態において、第１の複数のパターンのパターン数は、レンズ無しメージングシステムのマスクの幅にわたる領域の数と同じでもよい。
【００５６】
ステップ５２０において、第２の複数のパターンをディスプレイに表示できる。各テストパターンの表示中に、電磁放射線センサが生成した各電気信号を記録して記憶することができる。
【００５７】
本発明の一つ以上の実施形態において、表示される第２の複数のパターンは、それぞれ、固有のHadamard（アダマール）パターンであってもよい。言い換えると、第１の複数のパターン及び第２の複数のパターンのうちの全てのパターンが、固有のアダマールパターンでもよい。固有のパターンを利用することにより、線形関係の過剰決定体系を生成することができる。
【００５８】
本発明の一つ以上の実施形態において、第１の複数のパターンのパターン数は、レンズ無しメージングシステムのマスクの高さにわたる領域の数と同じでもよい。
【００５９】
従って、ステップ５１０及びステップ５２０の間、Ｎをマスクの幅又は高さにわたる領域の数として、合計２Ｎのパターンを表示することができる。
【００６０】
ステップ５３０では、第１の１次元畳み込みシーケンス及び第２の１次元畳み込みシーケンスを決定する。１次元畳み込みシーケンスは、ΦＬ、ΦＲシーケンスに対応できる。この１次元畳み込みシーケンスは、例えば、次式（３）の打ち切り特異値分解（truncated singular value decomposition）を計算することによって求めることができる。
【００６１】
【数３】
0006549240.tif 000004
【００６２】
ステップ５４０において、第１の１次元畳み込みシーケンス及び第２の１次元畳み込みシーケンスが記憶される。
【００６３】
前述の記憶された各シーケンスは、それぞれシーン画像の算出に使用できる。
【００６４】
図６は、本発明の一つ以上の実施形態による方法のフローチャートを示している。図６に示された方法は、本発明の一つ以上の実施形態によるレンズ無し撮像装置を使用することによってシーンの画像の生成に利用できる。図６に示す一つ又は複数のステップは、省略、繰り返し、及び／又は異なる実施形態の間で異なる順序で実行されてもよい。
【００６５】
ステップ６００において、電磁放射線センサがシーンからの電磁放射線に曝される間、電磁放射線センサからの各電気信号は画像処理装置によって得られる。例えば、電磁放射線センサは、１０ミリ秒間電磁放射線に曝されてもよい。
【００６６】
ステップ６１０では、画像処理装置は、取得した電気信号及び伝達関数に基づいてシーンの画像を生成する。伝達関数は、画像処理装置に記憶されていてもよい。
【００６７】
本発明の一つ以上の実施形態において、伝達関数は、レンズ無しメージングシステムのマスクの領域の数に対応する数の要素を有するマトリックスでもよい。
【００６８】
本発明の一つ以上の実施形態において、伝達関数は、二つの１次元シーケンスでもよい。各シーケンスは、レンズ無しメージングシステムのマスクの幅又は高さに沿った領域の数に対応する数の要素を有することができる。
【００６９】
本発明の一つ以上の実施形態において、シーンの画像は、最小二乗最小化問題を解くことによって生成できる。
【００７０】
【数４】
0006549240.tif 000005
【００７１】
最小二乗最小化問題は、本発明から逸脱することなくいかなる方法でも解くことができる。
【００７２】
本発明の一つ以上の実施形態において、シーンの画像は、正則化最小二乗最小化問題を解くことによって生成できる。
【００７３】
【数５】
0006549240.tif 000006
【００７４】
ここで、θ（Ｘ）は、正則化項（regularizer）を表す。本発明の一つ以上の実施形態において、正則化項は、全変動（total variation）、ウェーブレットスパース性（Wavelet sparsity）、ウェーブレットのＬ１ノルム、あるいは他のパッチベース又は辞書ベースの正則化項である。正則化項は、本発明から逸脱することなく、他の正則化項でもよい。
【００７５】
最小二乗最小化問題は、本発明から逸脱することなく、いかなる方法でも解くことができる。
【００７６】
0006549240.tif 000007
【００７７】
シーンの画像の生成の上記説明は、単一の画像についてのものであるが、本発明の各実施形態は、映像を生成するために、異なる時点で上記方法を使用して複数の画像を生成することを含むことができる。本発明の一つ以上の実施形態において、第１の時点でのシーンの画像は、第２の時点での第２の画像シーンの再構成の速度の改善に使用できる。例えば、１秒の何分の１などの少量ずつ時間的に分離された異なる時点でのシーンの各画像間には、ほとんど差はないと考えられる。第２の時点のシーンとしての画像から時間的に分離された第１の時点でのシーンの画像は、以前に生成されたシーンの画像なしでシーンの画像を生成することと比較すると、式（４）又は式（５）のいずれかを解くために必要な計算能力及び時間を実質的に低減できる。
【００７８】
本発明の一つ以上の実施形態によるレンズレスカメラシステムの各実施例を以下に説明する。
【００７９】
実施例１
【００８０】
レンズレスカメラシステムの第１の実施例は、１０３６×１０４８ピクセルのカラー電磁放射線センサを含む。該電磁放射線センサの各ピクセルは、６．４５μｍ幅でもよい。該電磁放射線センサの大きさは、６．７ｍｍ×８．９ｍｍでもよい。
【００８１】
第１の実施例は、クロム金属化層を有する溶融石英板から形成されたマスクも含む。当該クロム金属化層は、例えば金属領域などの不透過性領域と、例えば空白領域などの透過性領域との二次元パターンを含むことができる。
【００８２】
マスクのパターンは、５１０×５１０の領域から成る。各領域は、寸法が３０μｍであり、例えば、それぞれ一辺の長さが３０μｍの四角箱状であった。
【００８３】
このパターンを生成するために、長さ２５５のＭ系列を生成した。この系列を２回繰り返して５１０個の要素をすべて生成した。当該Ｍ系列を図７Ａに示す。初期パターンは、＋１又は−１のいずれかの値で生成された。実現可能なマスクを作成するために、−１の値を０の値に置き換えた。
【００８４】
Ｍ系列の外積を生成してマトリックスを形成した。このマトリックスを図７Ｂに示す。暗い領域は１の値を示し、明るい領域は０の値を示す。
【００８５】
図７Ｂに示すマトリックスに従って溶融石英板上のクロム金属化層をパターン化し、それによりマスクを形成した。
【００８６】
レンズ無しメージングシステムを形成するために、マスクをカラー電磁放射線センサから０．５ｍｍ離して配置した。レンズ無しメージングシステムが形成されると、１０ミリ秒の平均露光時間で各シーンの画像を撮影した。電磁放射線センサからの各電気信号は、シーンに曝される間に記録された。図５及び図６に示す方法を利用して、シーンから画像を生成した。電磁放射線センサの解像度とマスクの画素数との違いにより、電磁放射線センサからの生データをサンプリングして、例えば５１０×５１０などのマスクの同じ画素数に対応する電気信号データを生成した。
【００８７】
図７Ｃから７Ｆは、レンズレスカメラシステムによって生成された画像例を示す。ここでは、各画像は白と黒で表示されているが、レンズレスカメラシステムは、フルカラー画像を生成する。
【００８８】
実施例２
【００８９】
レンズレスカメラシステムの第２実施例は、２５６×３００ピクセルの解像度である短波赤外線の電磁放射線センサを含む。電磁放射線センサの各ピクセルは、２５μｍ幅でもよい。
【００９０】
また、第２の実施例は、クロム金属化層を有する溶融石英板から形成されたマスクを含む。当該クロム金属化層は、例えば金属領域などの不透過性領域と、例えば空白領域などの透過性領域との二次元パターンを含むことができる。
【００９１】
マスクのパターンは、６４×６４の領域から成る。各領域は、寸法が１００μｍであり、例えば、それぞれ一辺の長さが１００μｍの四角箱状であった。
【００９２】
このパターンを生成するために、長さ１２７の最大長さ系列を生成した。このＭ系列を図８Ａに示す。初期パターンは＋１又は−１のいずれかの値で生成された。実現可能なマスクを作成するために、−１の値を０の値に置き換えた。
【００９３】
Ｍ系列の外積を生成してマトリックスを形成した。該マトリックスを図８Ｂに示す。暗い領域は１の値を示し、明るい領域は０の値を示す。
【００９４】
溶融石英板上のクロム金属化層を図８Ｂに示すマトリックスに従ってパターン化し、マスクを形成した。
【００９５】
レンズ無しメージングシステムを形成するために、マスクをカラー電磁放射線センサから５ｍｍ離して配置した。レンズ無しメージングシステムが形成されると、１０ミリ秒の平均露光時間で各シーンの画像を撮影した。電磁放射線センサからの各電気信号は、シーンに曝されながら記録された。図５及び図６に示す方法を利用して、シーンから画像を生成した。電磁放射線センサの解像度とマスクの画素数との違いにより、電磁放射線センサからの生データをサンプリングして、例えば６４×６４などのマスクの同じ画素数に対応する電気信号データを生成した。
【００９６】
図８Ｃから図８Ｅは、短波赤外線レンズレスカメラシステムによって生成された各画像の例を示す。各画像は、６４×６４ピクセルから成る。
【００９７】
本発明の一つ以上の実施形態は、以下の利点のうち一つ以上を提供できる。（１）本発明の実施形態によるシステムは、厚さ対幅の比が０．１未満であってもよい。（２）該システムは、非常に高い集光能力を有することができる。（３）該システムは、レンズを組み込んだイメージングシステムと比較して、生産コストをかなり抑えることができる。（４）該システムは、レンズベースのイメージングシステムと比較してはるかに簡便に生産が可能である。
【００９８】
以上、限定された数の実施形態に関して本発明を説明したが、本開示の恩恵を受ける当業者は、本明細書に開示される本発明の範囲から逸脱しない他の実施形態が考案され得ることを理解するであろう。したがって、本発明の範囲は、添付の特許請求の範囲によってのみ限定されるべきである。
【図１】
0006549240.tif 000008
【図２】
0006549240.tif 000009
【図３】
0006549240.tif 000010
【図４】
0006549240.tif 000011
【図５】
0006549240.tif 000012
【図６】
0006549240.tif 000013
【図７Ａ】
0006549240.tif 000014
【図７Ｂ】
0006549240.tif 000015
【図７Ｃ】
0006549240.tif 000016
【図７Ｄ】
0006549240.tif 000017
【図７Ｅ】
0006549240.tif 000018
【図７Ｆ】
0006549240.tif 000019
【図８Ａ】
0006549240.tif 000020
【図８Ｂ】
0006549240.tif 000021
【図８Ｃ】
0006549240.tif 000022
【図８Ｄ】
0006549240.tif 000023
【図８Ｅ】
0006549240.tif 000024