(57)【要約】【課題】装置の小型化と画角が１８０度以上の広角撮像を実現する。【解決手段】レンズレス撮像装置１００であって、複数の孔部１０２ｂ、１０４ｂと孔部の周縁に設置される光検出器１０２ａ、１０４ａがそれぞれ設けられ、光検出器が設置される面が互いに対向して設けられる少なくとも一対のＣＭＯＳイメージセンサ１０２、１０４から構成される撮像部１０１と、光検出器から取得される撮像データに対して圧縮センシングに基づく画像再構成処理を行い被写体の撮像画像を出力する画像再構成処理部１１０と、を備え、撮像部は、一方のＣＭＯＳイメージセンサに設置される光検出器が他方のＣＭＯＳイメージセンサに開口された複数の孔部を介して得られる符号化光学像をスパースサンプリングし、画像再構成処理部は、光検出器からスパースサンプリングされた符号化光学像を圧縮センシングに基づき画像再構成して撮像画像を出力する。【選択図】図１
2020031327.tif 000002
【特許請求の範囲】
【請求項１】
結像させるレンズを用いずに被写体を撮像可能なレンズレス撮像装置であって、
有効画素領域にランダムに開口された複数の孔部と該孔部の周縁に設置される光検出器がそれぞれ設けられ、かつ、該光検出器が設置される面が互いに対向するように設けられる少なくとも一対のＣＭＯＳイメージセンサから構成される撮像部と、
前記ＣＭＯＳイメージセンサの前記光検出器から取得される撮像データに対して圧縮センシングに基づく画像再構成処理を行い前記被写体の撮像画像を出力する画像再構成処理部と、を備え、
前記撮像部は、前記一対のＣＭＯＳイメージセンサのうち、一方のＣＭＯＳイメージセンサに設置される前記光検出器が他方のＣＭＯＳイメージセンサに開口された前記複数の孔部を介して得られる前記撮像データとして符号化光学像をスパースサンプリングし、
前記画像再構成処理部は、前記光検出器からスパースサンプリングされた前記符号化光学像を圧縮センシングに基づき画像再構成して前記撮像画像を出力することを特徴とするレンズレス撮像装置。
【請求項２】
前記画像再構成処理部は、それぞれの前記ＣＭＯＳイメージセンサの前記光検出器からスパースサンプリングされた前記符号化光学像のスパース性を利用した逆解析により、圧縮センシングに基づく画像再構成を行うことを特徴とする請求項１に記載のレンズレス撮像装置。
【請求項３】
前記一対のＣＭＯＳイメージセンサは、前記複数の孔部による開口率がそれぞれ略同一であることを特徴とする請求項１又は２に記載のレンズレス撮像装置。
【請求項４】
前記複数の孔部は、前記ＣＭＯＳイメージセンサの縁部の領域を除いた有効画素領域のみに形成されることを特徴とする請求項１乃至３の何れか１項に記載のレンズレス撮像装置。
【請求項５】
前記撮像部は、前記複数の孔部の周縁に前記光検出器が設置される面が互いに対向するように設けられる一対のＣＭＯＳイメージセンサから構成されることを特徴とする請求項１乃至４の何れか１項に記載のレンズレス撮像装置。
【請求項６】
前記撮像部は、前記複数の孔部の周縁に前記光検出器が設置される面が互いに対向するように設けられる一対のＣＭＯＳイメージセンサのユニットが複数から構成される多面体形状であることを特徴とする請求項１乃至４の何れか１項に記載のレンズレス撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、結像させるレンズを用いることなく、被写体を撮像するレンズレス撮像装置に関する。
【背景技術】
【０００２】
近年では、スマートフォン等に搭載するデジタルカメラは、薄型化が必要とされている。この種のデジタルカメラの薄型化技術として、例えば、特許文献１には、レンズを用いることなく物体像を撮像可能な撮像システムが開示されている。当該撮像システムでは、画像センサ上に貼り付けられる基板の上面に形成される格子のパターンが渦巻き状等の特殊なパターンとなっている。このため、当該撮像システムで像を現像する際に、画像センサにて受光される射影パターンから逆問題を解くときの演算量が多いという問題があった。
【０００３】
レンズを用いることなく物体像を得るデジタルカメラの薄型化を図る際に、現像処理に係る演算量を低減するために、例えば、特許文献２では、フレネルゾーンプレートによる符号化開口を用いて光線情報を取得する撮像装置が開示されている。当該撮像装置では、第１のパターンを有し、光の強度を変調する変調器を透過した光を画像センサが画像データに変換して出力し、画像処理部が当該画像データと第２のパターンを示すパターンデータとの相互相関演算に基づいて像を復元するものとなっている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許出願公開第２０１４／０２５３７８１号明細書
【特許文献２】特開２０１８−０６１１０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、これらの手法では、光学系の薄型化や設計自由度の拡大に伴う高性能化が実現されるものの、撮像部を構成するイメージセンサの裏側を撮影できないため、当該撮像部で撮像可能な範囲を示す画角が１８０度未満のものとなっていた。撮像装置の薄型化や小型化の要請に応えるために開発されてきたレンズレス撮像装置においても、より簡素な構成で当該画角が１８０度以上の広角な撮像が実現されることが望まれる。
【０００６】
本発明は、上記課題に鑑みてなされたものであり、より簡素な構成で装置を小型化した上で画角が１８０度以上の広角な撮像を実現することの可能な、新規かつ改良されたレンズレス撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様は、結像させるレンズを用いずに被写体を撮像可能なレンズレス撮像装置であって、有効画素領域にランダムに開口された複数の孔部と該孔部の周縁に設置される光検出器がそれぞれ設けられ、かつ、該光検出器が設置される面が互いに対向するように設けられる少なくとも一対のＣＭＯＳイメージセンサから構成される撮像部と、前記ＣＭＯＳイメージセンサの前記光検出器から取得される撮像データに対して圧縮センシングに基づく画像再構成処理を行い前記被写体の撮像画像を出力する画像再構成処理部と、を備え、前記撮像部は、前記一対のＣＭＯＳイメージセンサのうち、一方のＣＭＯＳイメージセンサに設置される前記光検出器が他方のＣＭＯＳイメージセンサに開口された前記複数の孔部を介して得られる前記撮像データとして符号化光学像をスパースサンプリングし、前記画像再構成処理部は、前記光検出器からスパースサンプリングされた前記符号化光学像を圧縮センシングに基づき画像再構成して前記撮像画像を出力することを特徴とする。
【０００８】
本発明の一態様によれば、有効画素領域にランダムに複数の孔部を設けて対向配置させたＣＭＯＳイメージセンサ同士が符号化開口として機能して符号化光学像が得られるので、これら符号化光学像をスパースサンプリングして圧縮センシングに基づき画像再構成することによって、レンズレスで画角が１８０度以上の広角な撮像が実現できる。
【０００９】
本発明の一態様では、前記画像再構成処理部は、それぞれの前記ＣＭＯＳイメージセンサの前記光検出器からスパースサンプリングされた前記符号化光学像のスパース性を利用した逆解析により、圧縮センシングに基づく画像再構成を行うこととしてもよい。
【００１０】
このようにすれば、撮像部で得られた符号化光学像のスパース性を利用した逆解析により、圧縮センシングに戻づく画像再構成を行えるので、レンズレスで画角が１８０度以上の広角な撮像が実現できる。
【００１１】
本発明の一態様では、前記一対のＣＭＯＳイメージセンサは、前記複数の孔部による開口率がそれぞれ略同一であることとしてもよい。
【００１２】
このようにすれば、各ＣＭＯＳイメージセンサから得られる符号化光学像のスパース性等が略同一になるので、より広角に均一な撮像が実現できる。
【００１３】
また、本発明の一態様では、前記複数の孔部は、前記ＣＭＯＳイメージセンサの縁部の領域を除いた有効画素領域のみに形成されることとしてもよい。
【００１４】
このようにすれば、ＣＭＯＳイメージセンサからの再構成画像の画質の劣化を抑制しながら、装置の小型化が実現できる。
【００１５】
また、本発明の一態様では、前記撮像部は、前記複数の孔部の周縁に前記光検出器が設置される面が互いに対向するように設けられる一対のＣＭＯＳイメージセンサから構成されることとしてもよい。
【００１６】
このようにすれば、撮像部をよりコンパクト化した上で、レンズレスで画角が１８０度以上の広角な撮像が実現できる。
【００１７】
また、本発明の一態様では、前記撮像部は、前記複数の孔部の周縁に前記光検出器が設置される面が互いに対向するように設けられる一対のＣＭＯＳイメージセンサのユニットが複数から構成される多面体形状であることとしてもよい。
【００１８】
このようにすれば、確実にレンズレスで全方位に向けた画角が大きい広角な撮像が実現できる。
【発明の効果】
【００１９】
以上説明したように本発明によれば、撮像部を一対のＣＭＯＳイメージセンサの有効画素領域にランダムに複数の孔部を設けて光検出器を設置した面を対向配置させる簡素な構成とすることによって、装置を小型化した上で画角が１８０度以上の広角な撮像をレンズレスで実現できるようになる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態に係るレンズレス撮像装置の概略構成を示すブロック図である。
【図２】（Ａ）乃至（Ｃ）は、本発明の一実施形態に係るレンズレス撮像装置に備わる撮像部の構成例を示す説明図である。
【図３】本発明の一実施形態に係るレンズレス撮像装置の設計の一実施例を示す動作説明図である。
【図４】本発明の一実施形態に係るレンズレス撮像装置の撮像動作及び画像再構成処理動作の一実施例を示す数理モデルによる動作説明図である。
【図５】本発明の一実施形態に係るレンズレス撮像装置の実施例の動作原理を説明する説明図である。
【図６】本発明の一実施形態に係るレンズレス撮像装置を設計する際に検討した画素孔部の幅に関するグラフである。
【図７】本発明の一実施形態に係るレンズレス撮像装置の設計時における一実施例の撮像結果を示す説明図である。
【図８】本発明の一実施形態に係るレンズレス撮像装置の設計時における撮像データのＳ／Ｎ、拘束項係数τの影響を検討した実施例の撮像結果を示す説明図である。
【図９】本発明の一実施形態に係るレンズレス撮像装置の設計時における撮像データの物体依存性の影響を検討した実施例の撮像結果を示す説明図である。
【図１０】本発明の一実施形態に係るレンズレス撮像装置の設計時における開口エリア制限と再構成への影響を検討した実施例の撮像結果を示す説明図である。
【図１１】本発明の一実施形態に係るレンズレス撮像装置の設計時におけるＣＭＯＳイメージセンサの開口率とサンプリングレートの影響を検討した実施例の撮像結果を示す説明図である。
【図１２】本発明の一実施形態に係るレンズレス撮像装置の一実施例の構成を示す説明図である。
【発明を実施するための形態】
【００２１】
以下、本発明の好適な実施の形態について詳細に説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００２２】
まず、本発明の一実施形態に係るレンズレス撮像装置の概略構成について、図面を使用しながら説明する。図１は、本発明の一実施形態に係るレンズレス撮像装置の概略構成を示すブロック図である。
【００２３】
本発明の一実施形態に係るレンズレス撮像装置１００は、結像させるレンズを用いずに被写体を撮像可能とする撮像装置に適用される。特に、本実施形態のレンズレス撮像装置１００は、撮像部を構成する光学系の薄型化や設計自由度の拡大に伴う高性能化を実現した上で、簡素な構成で装置の小型化と画角の１８０度以上の広角な撮像を実現させるために適用される。本実施形態のレンズレス撮像装置１００は、図１に示すように、撮像部１０１と、画像再構成処理部１１０とを備える。
【００２４】
撮像部１０１は、被写体となる撮像対象を撮像して得られた画素信号を撮像データに変換する機能を有する。本実施形態では、撮像部１０１は、図１に示すように、一対のＣＭＯＳイメージセンサ１０２、１０４と、これらのＣＭＯＳイメージセンサ１０２、１０４で取得される撮像データをそれぞれ取り込むインターフェース機能部１０６、１０８とを備える。
【００２５】
本実施形態では、ＣＭＯＳイメージセンサ１０２、１０４は、図１に示すように、それぞれの有効画素領域にランダムに開口された複数の孔部１０２ｂ、１０４ｂと、当該孔部１０２ｂ、１０４ｂの周縁に設置されるフォトダイオード等からなる光検出器１０２ａ、１０４ａがそれぞれ設けられている。そして、これらのＣＭＯＳイメージセンサ１０２、１０４は、光検出器１０２ａ、１０４ａが設置される面が互いに対向するように設けられている。
【００２６】
ＣＭＯＳイメージセンサ１０２、１０４には、シリコン材料等から構成される有効画素領域にＤｅｅｐ ＲＩＥ装置等で加工分解能や画素ピッチオーダー等を踏まえた穴あけ加工により、それぞれの有効画素領域にランダムに複数の孔部１０２ｂ、１０４ｂが形成される。ＣＭＯＳイメージセンサ１０２、１０４は、有効画素領域の画素ごとに電荷の読み出しを行うので、孔部１０２ｂ、１０４ｂの空いた画素が混在していても、イメージセンサとして機能する。
【００２７】
このように、一対のＣＭＯＳイメージセンサ１０２、１０４のそれぞれの有効画素領域にランダムに複数の孔部１０２ｂ、１０４ｂを開口して、かつ、ＣＭＯＳイメージセンサ１０２、１０４の光検出器１０２ａ、１０４ａが設置される面が互いに対向するように配置させることによって、対向する各ＣＭＯＳイメージセンサ１０２、１０４は、互いに符号化開口として機能するようになる。そして、各ＣＭＯＳイメージセンサ１０２、１０４の光検出器１０２ａ、１０４ａは、それぞれ符号化光学像をスパースサンプリングする。
【００２８】
すなわち、一方のＣＭＯＳイメージセンサ１０２は、対向して設けられる符号化開口として機能する他方のＣＭＯＳイメージセンサ１０４の光検出器１０４ａが設けられた面に対して背面側からの集光により、ＣＭＯＳイメージセンサ１０２の光検出器１０２ａが符号化光学像をスパースサンプリングする。これに対して、他方のＣＭＯＳイメージセンサ１０４は、対向して設けられる符号化開口として機能する一方のＣＭＯＳイメージセンサ１０２の光検出器１０２ａが設けられた面に対して背面側からの集光により、ＣＭＯＳイメージセンサ１０４の光検出器１０４ａが符号化光学像をスパースサンプリングする。
【００２９】
このように、本実施形態では、一対のＣＭＯＳイメージセンサ１０２、１０４のそれぞれが対向側のＣＭＯＳイメージセンサ１０４、１０２を符号化開口として機能させることによって、対向する当該ＣＭＯＳイメージセンサ１０４、１０２の背面側に有する被写体を撮像できるようになる。このため、撮像部１０１は、双方のＣＭＯＳイメージセンサ１０２、１０４からの符号化光学像をスパースサンプリングすることによって、撮像部１０１の画角が１８０度以上の広角の撮像が可能になる。
【００３０】
また、本実施形態では、各ＣＭＯＳイメージセンサ１０２、１０４から得られる符号化光学像のスパース性等のバラつきを無くして、より広角に均一な撮像が実現するために、これらのＣＭＯＳイメージセンサ１０２、１０４は、複数の孔部１０２ｂ、１０４ｂによる開口率がそれぞれ略同一としている。
【００３１】
インターフェース機能部１０６、１０８は、ＣＭＯＳイメージセンサ１０２、１０４の光検出器１０２ａ、１０４ａからスパースサンプリングされた符号化光学像の撮像データを後続の画像再構成処理部１１０に送信するためのインターフェースとしてのデータ取得、メモリとしてのデータ記憶、及びこれらの動作を制御する制御部としての機能を有する。本実施形態では、これらのインターフェース機能部１０６、１０８は、装置の小型化を図り、設計自由度を高めるために、ＣＭＯＳイメージセンサ１０２、１０４の基板の有効画素領域の縁部側に設けられている。
【００３２】
画像再構成処理部１１０は、撮像部１０１から取得される撮像データに対して圧縮センシングに基づく画像再構成処理を行い、被写体の撮像画像を出力する機能を有する。本実施形態では、画像再構成処理部１１０は、撮像部１０１のＣＭＯＳイメージセンサ１０２、１０４の光検出器１０２ａ、１０４ａから取得される撮像データに対して圧縮センシングに基づく画像再構成処理を行うことによって、被写体の撮像画像を出力する。
【００３３】
すなわち、本実施形態では、画像再構成処理部１１０は、ＣＭＯＳイメージセンサ１０２、１０４の光検出器１０２ａ、１０４ａからスパースサンプリングされた符号化光学像を圧縮センシングに基づき画像再構成して撮像画像を出力する。具体的には、画像再構成処理部１１０は、それぞれのＣＭＯＳイメージセンサ１０２、１０４の光検出器１０２ａ、１０４ａからスパースサンプリングされた符号化光学像のスパース性を利用した逆解析により、圧縮センシングに基づく画像再構成を行う。なお、画像再構成処理部１１０による圧縮センシングに基づく画像再構成の動作の具体的な実施例の詳細については、後述する。
【００３４】
このように、本実施形態では、撮像部１０１が有効画素領域にランダムに複数の孔部１０２ｂ、１０４ｂを設けて対向配置させたＣＭＯＳイメージセンサ１０２、１０４から構成される。このため、これらＣＭＯＳイメージセンサ１０２、１０４同士が互いに符号化開口として機能するので、対向するＣＭＯＳイメージセンサ１０４、１０２の光検出器１０４ａ、１０２ａで符号化光学像が得られる。そして、これら符号化光学像をスパースサンプリングして後続の画像再構成処理部１１０が圧縮センシングに基づき画像再構成することによって、被写体の撮像画像が得られる。
【００３５】
このため、ＣＭＯＳイメージセンサ１０２、１０４の互いの背面側に有する被写体を撮像して得られた符号化光学像をスパースサンプリングしてから、画像再構成処理部１１０で圧縮センシングに基づき画像再構成して、歪みやノイズの少ない撮像画像が得られる。すなわち、より簡素な構成でレンズレス撮像装置１００を小型化した上で、画角が１８０度以上の広角な撮像が実現されるようになる。
【００３６】
なお、本実施形態では、撮像部１０１は、複数の孔部１０２ｂ、１０４ｂの周縁に光検出器１０２ａ、１０４ａが設置される面が互いに対向するように設けられる一対のＣＭＯＳイメージセンサ１０２、１０４から構成される例について説明しているが、かかる構成例に限定されない。すなわち、撮像部１０１は、互いに対向する少なくとも一対のＣＭＯＳイメージセンサから構成されていればよい。
【００３７】
例えば、図２（Ａ）に示すように、本実施形態の撮像部１０１は、複数の孔部１０２ｂ、１０４ｂの周縁に不図示の光検出器が設置される面が互いに対向するように設けられる一対のＣＭＯＳイメージセンサ１０２、１０４から構成されることによって、撮像部１０１をよりコンパクト化した上で、レンズレスで画角が１８０度以上の広角な撮像が実現できるようになっている。このように、撮像部１０１をＣＭＯＳイメージセンサ二枚対面方式とすることによって、制御系やメモリを含めたイメージセンサ基板全体サイズを気にせずに実装できるので、実現が比較的容易となる。
【００３８】
また、図２（Ｂ）に示すように、撮像部２０１は、複数の孔部２０２ｂの周縁に不図示の光検出器が設置される面が互いに対向するように設けられる一対のＣＭＯＳイメージセンサ２０２のユニットが３つから構成される立方体方式としてもよい。撮像部２０１をこのような構成とすることによって、図２（Ａ）の二枚対面方式と比べて、画角拡大効果が限定的にならずに、全方位撮影に近い効果が得られる。
【００３９】
さらに、図２（Ｃ）に示すように、撮像部３０１は、複数の孔部の周縁に光検出器が設置される面が互いに対向するように設けられる一対のＣＭＯＳイメージセンサ３０２のユニットが４つ以上から構成される多面体方式や、正多面体の極限状態となる球体方式としてもよい。撮像部３０１をこのような構成とすることによって、確実にレンズレスで全方位に向けた画角が大きい広角な撮像が実現され、全方位撮影に近い効果が得られるようになる。
【００４０】
次に、本発明の一実施形態に係るレンズレス撮像装置の原理実証シミュレーションの実施例について、図面を使用しながら説明する。
【００４１】
図３は、本発明の一実施形態に係るレンズレス撮像装置の設計の一実施例を示す動作説明図である。本実施例では、本実施形態に係るレンズレス撮像装置を設計する過程において、互いに対向させる一対のＣＭＯＳイメージセンサ１０２、１０４の間隔、孔部１０２ｂ、１０４ｂの幅、基板１０２ｃ、１０４ｃに設けられる有効画素領域１０２ｄ、１０４ｄの範囲等について、検討した。
【００４２】
本実施例では、図３に示すように、ＣＭＯＳイメージセンサ１０２、１０４の画素数が５１２×５１２、画素幅が６０μｍ×６０μｍ、間隔が２ｍｍ、基板１０２ｃ、１０４ｃと有効画素領域１０２ｄ、１０４ｄを合わせた厚さが１ｍｍとした場合に、有効画素領域１０２ｄ、１０４ｄは、基板１０２ｃ、１０４ｃの縁部を除いた中央側に３．０７ｃｍ×３．０７ｃｍの大きさを確保する必要があることが分かった。また、一方のＣＭＯＳイメージセンサ１０２に斜入射した光も対向するＣＭＯＳイメージセンサ１０４で検出できるようにするためには、有効画素領域１０２ｄ、１０４ｄの端部側には、孔部１０２ｂ、１０４ｂを設けない方が良いことが分かった。
【００４３】
図４は、本発明の一実施形態に係るレンズレス撮像装置の撮像動作及び画像再構成処理動作の一実施例を示す数理モデルによる動作説明図である。本実施例では、図３に示すように、ＣＭＯＳイメージセンサ１０２、１０４の振幅透過率をそれぞれｍ１、ｍ２とした場合に、撮像対象となる物体ｆ（図４では、物体ｆが点光源の場合を図示）を撮像して取得画像ｇを得たときの撮像モデルと再構成モデルについて検討した。
【００４４】
本実施例では、取得画像ｇの撮像モデルは、ＣＭＯＳイメージセンサ１０４の振幅透過率をｍ２、撮像対象となる物体ｆ、系の点拡がり関数（ＰＳＦ）ｈ、ノイズｎをそれぞれベクトル表示として表した場合に、ベクトル同士の畳み込み積分演算子を＊と表現すれば、下記の式（１）で表せる。
ｇ＝ｍ２（ｈ＊ｆ）＋ｎ・・・・・（１）
【００４５】
また、上記の式（１）で示される取得画像ｇの撮像モデルで使用される系の点拡がり関数（ＰＳＦ）ｈは、マスクの拡大作用を示す行列式Ｗ、ＣＭＯＳイメージセンサ１０２の振幅透過率をベクトル表示でｍ１、ＣＭＯＳイメージセンサ１０２による回折ボケをベクトル表示でｂとしてあらわした場合に、下記の式（２）で表せる。
ｈ＝Ｗｍ１＊ｂ・・・・・（２）
【００４６】
一方、前述した撮像モデルに対する画像再構成処理部による処理結果を示す再構成モデルに関しては、取得画像ｇの比例要素数が撮像対象となる物体ｆの要素数より小さいので、圧縮センシングに基づく自然画像のスパース性を利用した逆解析により画像再構成を行う。その際に、本実施例では、下記の式（３）に示すように、ＴＶ正則化最小化問題を近接勾配法で解いて、再構成画像が求まることが分かった。
【００４７】
【数１】
2020031327.tif 000003
【００４８】
なお、上記の式（３）における左辺は、再構成画像を示し、右辺のｇ−ｍ２・（Ｗｍ１＊ｂ＊ｆ）は、データ忠実項を示し、右辺の定数τを含む項は、正則化項を示すものとする。
【００４９】
図５は、本発明の一実施形態に係るレンズレス撮像装置の実施例の動作原理を説明する説明図である。本実施例では、回折ボケのモデルとそれを無視する根拠を示すものとなっている。点拡がり関数ＰＳＦは、図５に示すように、マスクとなるＣＭＯＳイメージセンサ１０２の幾何光学的な影でなく、それが回折によりぼけたものとなる開口幅ｗが小さいか、又は伝搬距離ｚが長い程、回折の影響が顕著となる。また、矩形開口のフラウンホーファー回折場は、近似的にｓｉｎｃ関数で表せ、回折の拡がり幅ｂｗは、ｓｉｎｃ関数の第一零点間の距離とすると、下記の式（４）で表せる。
ｂｗ≒λｚ／ｗ・・・・・（４）
【００５０】
現在の設計パラメータでの具体値は、ｂｗが２．２２μｍと近似できる。このため、今回画素幅は、６０μmであるので、回折ボケは、十分小さいものとして無視できることが分かった。また、穴幅又は画素幅が小さくなるにつれて、回折ボケが無視できなくなることに留意する必要があることが分かった。
【００５１】
図６は、本発明の一実施形態に係るレンズレス撮像装置を設計する際に検討した画素孔部の幅に関するグラフである。本実施例では、空間解像度を最大化する画素穴の幅を決めるために、一対のＣＭＯＳイメージセンサ間の距離ｚｉに対するマスクとなるＣＭＯＳイメージセンサの単位矩形穴幅と、波動光学的ＰＳＦの零値全幅との関係を検討した。図６に示すように、マスクの空間周波数と開口の回折ボケがトレードオフの関係であることから、各センサ間の距離ｚｉが１ｍｍ、５ｍｍ、１０ｍｍとした場合の波動光学的ＰＳＦの零値全幅が最小値となるマスクの単位矩形穴幅がそれぞれ２０μｍ、５０μｍ、７０μｍとなることが分かった。現時点では、実施容易な加工技術を考慮して、数１００μｍ程度の幅の穴あけを想定している。
【００５２】
図７は、本発明の一実施形態に係るレンズレス撮像装置の設計時における一実施例の撮像結果を示す説明図である。本実施例では、撮像データを順モデル計算後に、輝度値を［０  ２５５］の整数に丸めて、４０ｄＢの加法性白色ガウス雑音（ＡＷＧＮ）を印加した。また、ＣＭＯＳイメージセンサのマスクパターン検証のため、表と裏の視野に同じ物体があるとした。
【００５３】
本実施例では、図７に示すように、加法性雑音、量子化誤差を考慮した上で自然画像を視認できる程度に再構成できることを確認された。また、本実施例では、拘束項の係数は、過度の平滑化とＳ／Ｎ低下のトレードオフを踏まえて適宜選択した。さらに、本実施例では、各ＣＭＯＳイメージセンサは、異なるランダムマスクであったが、具体的な構造が違っても大域的な性質が同じとなることが確認できた。
【００５４】
図８は、本発明の一実施形態に係るレンズレス撮像装置の設計時における撮像データのＳ／Ｎ、拘束項係数τの影響を検討した実施例の撮像結果を示す説明図である。本実施例では、加法性白色ガウス雑音（ＡＷＧＮ）を２０ｄＢ、３０ｄＢ、４０ｄＢを印加した場合のＳ／Ｎ、拘束項係数τの影響を検討した。図８に示すように、撮像データのＳ／Ｎが悪い場合、拘束項係数τの大きい復号過程を経た平滑化された画像のみが再構成される旨が分かった。
【００５５】
図９は、本発明の一実施形態に係るレンズレス撮像装置の設計時における撮像データの物体依存性の影響を検討した実施例の撮像結果を示す説明図である。本実施例では、加法性白色ガウス雑音（ＡＷＧＮ）を４０ｄＢ、拘束項係数τを０．００００１、撮像データを８ｂｉｔとした場合における各撮像対象を撮像した場合の物体依存性を検討した。図９に示すように、本実施例から自然画像の範疇であれば、極端な対象依存性が無い旨が分かった。このため、本発明の一実施形態に係るレンズレス撮像装置が被写体の対象依存性がそれほどない態様で適用できることが分かった。
【００５６】
図１０は、本発明の一実施形態に係るレンズレス撮像装置の設計時における開口エリア制限と再構成への影響を検討した実施例の撮像結果を示す説明図である。本実施例では、図１０に示すように、マスクとなるＣＭＯＳイメージセンサの開口サンプリングパターンを変更した場合における撮像対象となる物体の撮像データの再構成画像の優劣を検討した。図１０に示すように、開口のマスクパターンが端部に設けられると、撮像光量が増加することから、再構成画像の画質が劣化することが分かった。このため、本発明の一実施形態に係るレンズレス撮像装置では、再構成画像の画質の劣化を抑制しながら、装置の小型化を実現させるために、複数の孔部をＣＭＯＳイメージセンサの縁部の領域を除いた有効画素領域のみにランダムに形成するものとした。
【００５７】
図１１は、本発明の一実施形態に係るレンズレス撮像装置の設計時におけるＣＭＯＳイメージセンサの開口率とサンプリングレートの影響を検討した実施例の撮像結果を示す説明図である。本実施例では、図１１に示すように、光量に影響する開口率と逆問題の安定性に影響するサンプリングレートがトレードオフの関係にあることが分かった。このため、本発明の一実施形態に係るレンズレス撮像装置では、ＣＭＯＳイメージセンサの感度、想定するＣＭＯＳイメージセンサのＳ／Ｎに基づき、ＣＭＯＳイメージセンサの開口率とサンプリングレートを設計することとした。
【００５８】
図１２は、本発明の一実施形態に係るレンズレス撮像装置の一実施例の構成を示す説明図である。前述した本発明の一実施形態に係るレンズレス撮像装置の原理実証シミュレーションの各実施例の結果内容に基づいて、装置を小型化した上で画角が１８０度以上の広角な撮像をレンズレスで実現する好適な実施例を定めた。
【００５９】
図１２に示すように、有効画素領域が３．０７ｃｍ（６０μｍ×５１２画素）、孔部の開口幅４８０μｍ（６０μｍ×８画素）、階調８ｂｉｔ、厚み１ｍｍのＣＭＯＳイメージセンサ４０２を２枚それぞれ対向させて配置させれば、ＣＭＯＳイメージセンサ４０２の光検出器が光を検出できる限界角度内領域となる撮像可能範囲として、当該ＣＭＯＳイメージセンサ４０２の表裏両面、すなわち、前後を同時に５０度の範囲の画角で撮像できる超広角レンズレスカメラを構成できることが分かった。また、系の較正が完全に行えたと仮定すると、３０ｄＢのノイズが加わった場合でも自然画像に対してＰＳＮＲが２０ｄＢ程度の画質を達成できることが分かった。
【００６０】
以上説明したように、本発明の一実施形態に係るレンズレス撮像装置を適用することによって、より簡素な構成で装置を小型化した上で画角が１８０度以上の広角な撮像を実現できるようになる。すなわち、本実施形態では、有効画素領域にランダムに穴あけ加工したＣＭＯＳイメージセンサを対向させた構成の撮像部で被写体を撮像し、当該撮像部での撮像データを圧縮センシング法に基づき撮像データの逆問題を解いて、被写体となる撮像物体像を再構成することによって、画角が１８０度以上の広角な撮像がレンズレスで実現されるようになる。
【００６１】
具体的には、本実施形態に係るレンズレス撮像装置を適用することによって、数ｃｍ３程度の大きさの小型デバイスで全方位を撮像可能な超小型レンズレス撮像装置が実現される。このため、例えば、人体内部の全方位観察と三次元モデリングが可能な内視鏡や、瓦礫下等の狭い場所に潜り込む探索ロボット、存在に気づかれない程度の小型なドローン、装着感のない一人称ビジョン装置等に応用され得るので、極めて大きな工業的価値を有する。
【００６２】
なお、上記のように本発明の各実施形態及び各実施例について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは、当業者には、容易に理解できるであろう。従って、このような変形例は、全て本発明の範囲に含まれるものとする。
【００６３】
例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、レンズレス撮像装置の構成、動作も本発明の各実施形態及び各実施例で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【００６４】
１００  レンズレス撮像装置、１０１、２０１、３０１  撮像部、１０２、１０４、２０２、３０２、４０２  ＣＭＯＳイメージセンサ、１０２ａ、１０４ａ  光検出器、１０２ｂ、１０４ｂ、２０２ｂ  孔部、１０６、１０８  インターフェース機能部、１１０  画像再構成処理部
【図１】
2020031327.tif 000004
【図２】
2020031327.tif 000005
【図３】
2020031327.tif 000006
【図４】
2020031327.tif 000007
【図５】
2020031327.tif 000008
【図６】
2020031327.tif 000009
【図７】
2020031327.tif 000010
【図８】
2020031327.tif 000011
【図９】
2020031327.tif 000012
【図１０】
2020031327.tif 000013
【図１１】
2020031327.tif 000014
【図１２】
2020031327.tif 000015