(57)【要約】【課題】被写界深度が深く、なおかつ再生ノイズを有効に軽減もしくは除去した鮮明な再生像を形成できる新規な画像入力装置を実現する。【解決手段】画像入力装置は、撮像すべき物体１からの光を像面上で結像させるレンズ系２ａ、２ｂと、このレンズ系による像を撮像する撮像手段４と、物体１と撮像手段４の間に設置され、レンズ系の光学伝達関数を物体距離によらず略一定に変形させる位相変調素子３と、この位相変調素子３による位相変調がない場合におけるレンズ系２ａ、２ｂの波面収差の位相分布と位相変調素子３による位相分布とから作成した光学伝達関数を用い、撮像手段３で得られる画像の光学的な劣化を除去する演算手段５とを有する。【選択図】図１
2007156749.tif 000002
【特許請求の範囲】
【請求項１】
撮像すべき物体からの光を像面上で結像させるレンズ系と、
このレンズ系による像を撮像する撮像手段と、
上記物体と上記撮像手段の間に設置され、上記レンズ系の光学伝達関数を物体距離によらず略一定に変形させる位相変調素子と、
この位相変調素子による位相変調がない場合におけるレンズ系の波面収差の位相分布と上記位相変調素子による位相分布とから作成した光学伝達関数を用い、上記撮像手段で得られる画像の光学的な劣化を除去する演算手段とを有する画像入力装置。
【請求項２】
撮像すべき物体からの光を像面上で結像させる２以上のレンズ系を略平面状にアレイ配列したレンズアレイと、
このレンズアレイによる上記物体の複眼像を撮像する撮像手段と、
上記レンズアレイの個々のレンズ系間における光線のクロストークを防止する遮光手段と、
上記物体と上記撮像手段との間に配設され、上記レンズアレイにおける各レンズ系の光学伝達関数を物体距離によらず略一定に変形させる位相変調素子を、上記レンズアレイにおける個々のレンズ系に対応させてアレイ配列させた位相変調素子アレイと、
この位相変調素子アレイによる位相分布から作成した光学伝達関数を用い、上記撮像手段で得られる複眼像の光学的な劣化を除去する第１の演算手段と、
この第１の演算手段により光学的な劣化を除去された複眼像から、上記物体の単一像を再構成する第２の演算手段とを有する画像入力装置。
【請求項３】
撮像すべき物体からの光を像面上で結像させる２以上のレンズ系を略平面状にアレイ配列したレンズアレイと、
このレンズアレイによる上記物体の複眼像を撮像する撮像手段と、
上記レンズアレイの個々のレンズ系間における光線のクロストークを防止する遮光手段と、
上記物体と上記撮像手段との間に配設され、上記レンズアレイにおける各レンズ系の光学伝達関数を物体距離によらず略一定に変形させる位相変調素子を、上記レンズアレイにおける個々のレンズ系に対応させてアレイ配列させた位相変調素子アレイと、
上記レンズアレイにおける各レンズ系の、対応する位相変調素子による位相変調がない場合における上記各レンズ系の波面収差の位相分布と上記位相変調素子による位相分布から作成した光学伝達関数を用い、上記撮像手段で得られる複眼像の光学的な劣化を除去する第１演算手段と、
この第１演算手段により光学的な劣化を除去された複眼像から、上記物体の単一像を再構成する第２演算手段とを有する画像入力装置。
【請求項４】
請求項１または３記載の画像入力装置において、
位相変調素子による位相変調がない場合におけるレンズ系の波面収差の位相分布が、波面収差を近似するＺｅｒｎｉｋｅ多項式の係数を用いて作成されたことを特徴とする画像入力装置。
【請求項５】
請求項１または３記載の画像入力装置において、
位相変調素子による位相変調がない場合におけるレンズ系の波面収差の位相分布が、波面収差を近似するＺｅｒｎｉｋｅ多項式のデフォーカス係数を用いて作成されたことを特徴とする画像入力装置。
【請求項６】
請求項１〜６の任意の１に記載の画像入力装置において、
レンズ系が回折光学素子であることを特徴とする画像入力装置。
【請求項７】
請求項１〜６の任意の１に記載の画像入力装置において、
位相変調素子が、サブ波長構造による光学素子であることを特徴とする画像入力装置。
【請求項８】
請求項１〜７の任意の１に記載の画像入力装置において、
撮像手段が、カラー画像を撮像するカラー画像撮像手段であり、
このカラー画像撮像手段により取得される波長ごとの画像に対し、所定の波長を用いて光学的な劣化を除去する演算を行い、上記所定の波長ごとに得られる再生像を合成してカラー画像を構成することを特徴とする画像入力装置。
【請求項９】
請求項１〜８の任意の１に記載の画像入力装置において、
レンズ系と位相変調素子、または、レンズアレイと位相変調素子アレイを一体化したことを特徴とする画像入力装置。
【請求項１０】
請求項１〜９の任意の１に記載の画像入力装置において、
レンズ系の最短結像位置よりもレンズ系よりに撮像手段の撮像面を配置したことを特徴とする画像入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は画像入力装置に関する。この画像入力装置は、画像読取装置、虹彩認証や顔認証などの画像認識装置、デジタルカメラ、監視カメラなどの画像入力を行う部分として実施できる。
【背景技術】
【０００２】
従来「被写界深度を深くした画像入力装置」として、特許文献１、２に開示されたものが知られている。これら特許文献１、２記載の技術では「レンズ系の伝達関数を、物体の光軸方向の位置によらず一定に変形させる位相変調マスク」を物体と撮像素子との間に配設して撮像素子により収録される画像を変調させ、収録した変調画像に対して「位相変調マスクによる光学伝達関数の変形を回復するデジタルフィルタ」を用い、物体の光軸方向の位置によらず焦点のあった画像を再生する。
【０００３】
しかしながら「位相変調マスクによる光学伝達関数の変形を回復するデジタルフィルタのみ」を用いた再生によると、再生ノイズが生じて完全に鮮明な像が再生されない場合がある。
【０００４】
一方、薄型と高解像の両立を図った画像入力装置として、特許文献３、４に開示されたものが知られている。これら特許文献３、４記載の技術では、物体の像を撮像素子面上で結像させる光学系として「レンズ径が小さく像面距離が短い光学系」を用いて光学系の薄型化を図り、光学系をレンズアレイにより複眼化し、撮像素子で得られる複眼像における個々の個眼像の視差を利用して単一像を再構成することにより「レンズ径が小さくなって撮像に用いる画素数が減少したことに起因する解像力の低下」を補っている。
【０００５】
このようにすると「撮像のための画素数の減少に伴う解像力の低下」は補うことができるが「光学的な空間周波数性能が低下したことによる解像力の低下」は補えない。
【０００６】
【特許文献１】特許第３２７５０１０号公報
【特許文献２】特開２０００−９８３０１
【特許文献３】特開２００１−０６１１０９
【特許文献４】特開２００３−１４１５２９
【発明の開示】
【発明が解決しようとする課題】
【０００７】
この発明は上述したところに鑑み、被写界深度が深く、なおかつ再生ノイズを有効に軽減もしくは除去した鮮明な再生像を形成できる新規な画像入力装置の実現を課題とする。
【０００８】
この発明はまた、薄型と高解像を両立させ、なおかつ「光学的な空間周波数性能が低下したことによる解像力の低下」を有効に補正できる新規な画像入力装置の実現を他の課題とする。
【課題を解決するための手段】
【０００９】
請求項１記載の画像入力手段は、レンズ系と、撮像手段と、位相変調素子と、演算手段とを有する。  
「レンズ系」は、撮像すべき物体からの光を像面上で結像させるもので、通常の撮像レンズを適宜に用いることができる。レンズ系は、単一レンズで構成することもできるし、複数枚のレンズで構成することもできる。さらに、レンズと平面鏡の組み合わせや、結像機能を持つミラーとレンズの組み合わせで構成することもできる。
【００１０】
「撮像手段」は、レンズ系による像を撮像する手段であって、ＣＣＤ等のエリアセンサを用いることができる。
【００１１】
「位相変調素子」は、物体と撮像手段の間に設置され、レンズ系の光学伝達関数を物体距離によらず略一定に変形させる。  
即ち、位相変調素子を有することにより、レンズ系の光学伝達関数は「レンズ系のみによる光学伝達関数」から変形されるが、変形された光学伝達関数が「物体距離により殆ど変化しないような光学伝達関数」となるように変形させるように、位相変調素子が構成されるのである。なお、「光学伝達関数」はＯＴＦ（オプティカル・トランスファー・ファンクション）である。
【００１２】
位相変調素子は「物体と撮像手段の間」に配設されるので、配設位置は「レンズ系よりも物体側」でもよいし「レンズ系よりも撮像素子側」でもよい。また、レンズ系が複数の光学素子（レンズやミラー）で構成される場合であれば「光学素子間」に配設位置を設定してもよい。
【００１３】
「演算手段」は、物体の像を再生する際に「撮像手段で得られる画像の光学的な劣化を除去」する演算を行う。この「演算」は、「位相変調素子による位相変調がない場合におけるレンズ系の波面収差の位相分布」と「位相変調素子による位相分布」とから作成した光学伝達関数を用いて行う。
【００１４】
請求項２記載の画像入力装置は、レンズアレイと、撮像手段と、遮光手段と、位相変調素子アレイと、第１および第２の演算手段を有する。  
「レンズアレイ」は、撮像すべき物体からの光を像面上で結像させる２以上のレンズ系を略平面状にアレイ配列してなる。レンズアレイを構成する２以上のレンズ系は、互いに独立していてもよいが、好ましい形態としては一体化されているのが良い。
【００１５】
「撮像手段」は、レンズアレイによる物体の複眼像を撮像する手段である。「複眼像」は、レンズアレイを構成する複数のレンズ系が撮像手段の撮像面に形成する「撮像すべき物体の像の集合」である。複眼像を構成する「各レンズ系により形成される像」は「個眼像」と呼ばれる。
【００１６】
「遮光手段」は、レンズアレイの個々のレンズ系間における光線のクロストークを防止する手段である。
【００１７】
「位相変調素子アレイ」は、撮像すべき物体と撮像手段との間に配設され、レンズアレイにおける「各レンズ系の光学伝達関数を物体距離によらず略一定に変形」させる位相変調素子を、レンズアレイにおける個々のレンズ系に対応させてアレイ配列させてなる。  
アレイ配列される複数の位相変調素子は、互いに別体でも良いが、これらを一体化することが好ましい。
【００１８】
「第１の演算手段」は、位相変調素子アレイによる位相分布から作成した光学伝達関数を用い、撮像手段で得られる複眼像の光学的な劣化を除去する演算を行う。  
「第２の演算手段」は、第１の演算手段により光学的な劣化を除去された複眼像から、物体の単一像を再構成する演算を行う。
【００１９】
請求項３記載の画像入力装置は、レンズアレイと、撮像手段と、遮光手段と、位相変調素子アレイと、第１および第２演算手段を有する。これらのうち、レンズアレイ、撮像手段、遮光手段、位相変調素子アレイは、請求項２記載の画像入力装置におけるものと同じである。
【００２０】
「第１演算手段」は、レンズアレイにおける各レンズ系の「対応する位相変調素子による位相変調がない場合における各レンズ系の波面収差の位相分布」と「位相変調素子による位相分布」とから作成した光学伝達関数を用い、撮像手段により得られる複眼像の光学的な劣化を除去する演算を行う。
【００２１】
「第２演算手段」は、第１演算手段により光学的な劣化を除去された複眼像から、撮像すべき物体の単一像を再構成する演算を行う。
【００２２】
上記請求項１〜３における「演算手段、第１および第２の演算手段、第１、第２演算手段」は、マイクロコンピュータやコンピュータにより構成することができる。
【００２３】
上記請求項１〜３の任意の１に記載の画像入力装置においては「位相変調素子による位相変調がない場合におけるレンズ系の波面収差の位相分布（請求項３においては、レンズアレイを構成する各レンズ素子と各レンズ素子に対応する位相変調素子であり、この場合の位相変調素子は位相変調素子アレイを構成する。）」が演算に必要になるが、このような「位相変調素子による位相変調がない場合におけるレンズ系の波面収差の位相分布」を作成するのに「波面収差を近似するＺｅｒｎｉｋｅ多項式」の係数を用いることができ（請求項４）、あるいは「波面収差を近似するＺｅｒｎｉｋｅ多項式のデフォーカス係数」を用いることもできる（請求項５）。これら「Ｚｅｒｎｉｋｅ多項式の係数やデフォーカス係数」を用いて波面収差の位相分布を作成することは公知の方法で行うことができる。
【００２４】
上記請求項１〜５の任意の１に記載の画像入力装置に用いられるレンズ系（請求項２、３においてはレンズアレイを構成する各レンズ系）を、フレネルレンズ等の「回折光学素子」として構成することができる（請求項６）。このような回折光学素子を用いることにより、レンズ系の光軸方向のサイズを小さくできるので、画像入力装置、特に請求項２、３記載の画像入力装置をコンパクト化できる。
【００２５】
請求項１〜６の任意の１に記載の画像入力装置において用いられる位相変調素子（請求項２、３においては位相変調素子アレイを構成する各位相変調素子）を「サブ波長構造による光学素子」とすることができる（請求項７）。
【００２６】
請求項１〜７の任意の１に記載の画像入力装置においては「撮像手段」を、カラー画像を撮像するカラー画像撮像手段とし、このカラー画像撮像手段により取得される波長ごとの画像に対し、所定の波長を用いて光学的な劣化を除去する演算を行い、所定の波長ごとに得られる再生像を合成してカラー画像を構成するように構成できる（請求項８）。
【００２７】
請求項１〜８の任意の１に記載の画像入力装置において「レンズ系と位相変調素子」または「レンズアレイと位相変調素子アレイ」を一体化した構成とすることができる（請求項９）。  
請求項１〜９の任意の１に記載の画像入力装置は「レンズ系の最短結像位置よりもレンズ系よりに撮像手段の撮像面を配置」した構成とすることができる（請求項１０）。
【発明の効果】
【００２８】
以上に説明したように、請求項１、３等の画像入力装置によれば、位相変調素子による位相変調がない場合におけるレンズ系の波面収差の位相分布を考慮することにより、被写界深度が深く、なおかつ再生ノイズを有効に軽減もしくは除去した鮮明な再生像を形成できる。請求項２、３等の画像入力装置は、薄型と高解像が両立し、なおかつ「光学的な空間周波数性能が低下したことによる解像力の低下」を有効に補正することができる。
【発明を実施するための最良の形態】
【００２９】
以下、発明の実施の形態を説明する。  
図１は、画像入力装置の実施の１形態を説明するための図である。  
図１（ａ）において、符号１は「画像入力装置により撮像する物体」、符号２ａ、２ｂは「物体の像を結像させるレンズ系を構成するレンズ」、符号３は「レンズ系を通過する光に位相分布を与える位相変調素子」を示す。
【００３０】
符号４は「物体の像を撮像する撮像手段」を示す。この実施の形態において撮像手段はＣＣＤエリアセンサであり、以下、ＣＣＤ４と表記する。符号５は演算手段を示す。演算手段はコンピュータ等として構成され「位相変調素子３による位相分布と、位相変調素子３による位相変調がない場合におけるレンズ系２ａ、２ｂの波面収差の位相分布とから作成した光学伝達関数（ＯＴＦ）」を用いて、ＣＣＤ４により取得された物体像から「光学的な劣化」を除去する。符号６ａはＣＣＤ４による画像出力を表示するモニタ、符号６ｂはモニタ６ａに表示された物体１の再生像を示す。
【００３１】
この実施の形態において「レンズ系２ａ、２ｂと位相変調素子３から構成される光学系の瞳関数」は、次の（１）式で表され、光学系を通過する光波に３次曲面状の位相分布が与えられる。
【００３２】
ｐ（ｘ，ｙ）＝Ａ（ｘ，ｙ）ｅｘｐ｛ｉ・ａ・（ｘ３＋ｙ３）｝      （１）
ここに、ｐ（ｘ，ｙ）：瞳関数、ｘ、ｙ：光学系光軸と略垂直な平面内における直交２方向の光学系光軸からの距離、Ａ：振幅分布、ｉ：虚数単位、ａ：比例定数    
即ち、レンズ２ａ、２ｂによるレンズ系および位相変調素子３は、その瞳函数：ｐ（ｘ，ｙ）が上記（１）式となるように設計されるのである。
【００３３】
先ず、位相変調素子３を設置しない場合を考える。  
レンズ系の第１面（レンズ２ａの物体側面）から物体１までの距離が、図の「ｍ」となるときに「レンズ系の波面収差が最小になるように、レンズ２ａ及び２ｂの形状、材質、配置などのレンズ系データ」が設計されていると、距離：ｍにある物体１を撮像すれば物体１の像として「最も波面収差の小さい鮮明な像」が得られる。
【００３４】
物体１が距離：ｍの位置からずれて距離：ｎの位置になると、レンズ系による結像光束に「焦点ずれに伴う波面収差」が発生し、ＣＣＤ４で撮像される物体１の像は「ぼけを伴った劣化像」となる。そして「距離：ｎと距離：ｍの差」が増大するほど、劣化の程度は大きくなる。
【００３５】
このようなレンズ系２ａ、２ｂの絞り近傍の位置に位相変調素子３を配設すると、位相変調素子３が「光学伝達関数（ＯＴＦ）を変形させる」ため、ＣＣＤ４により撮像される像は、物体１の位置が距離：ｍのときも、距離：ｎのときも「ぼけを伴った劣化像」になる。  
しかし「像の劣化の状態」は、物体１の位置（距離）によらず常に略同様になる。換言すれば、位相変調素子３による光学伝達関数の変形は、レンズ系により結像される像の劣化の程度が「物体位置によらない（焦点ずれによらない）」ようになされるのである。
【００３６】
したがって、（１）式の瞳関数から「位相変調素子３を含めた光学系、即ち、レンズ２ａ、２ｂと位相変調素子３の合成系の光学伝達関数を求めておき、ＣＣＤ４で収録した劣化像から光学伝達関数を周波数フィルタリング（上記光学伝達関数固有の空間周波数成分をフィルタリングして除去）することにより、位相変調素子３による光学伝達関数の変形を除去することができ、除去された空間周波数成分の分布を空間座標に逆変換すれば、物体１の撮像位置（距離）によらず「光学的な劣化を抑えた鮮明な画像」を得ることができる。これら周波数フィルタリングや「フィルタリング後の周波数データにより再生画像を構成する演算」は演算手段５により行われ、その結果である再生画像６ｂがモニタ６ａに表示される。
【００３７】
上に説明した「物体の撮像位置によらず鮮明な画像」を得る方法は、特許文献１（特許第３２７５０１０）や特許文献２（特開２０００−９８３０１）により知られた方法であり、詳細な説明はこれら公知文献に譲ることとする。
【００３８】
このような技術により「周波数フィルタリング後のデータから物体像を再生」した場合、再生ノイズが発生して「完全に鮮明な像」が得られない場合があることが、発明者らの研究を通じて明らかとなった。
【００３９】
即ち、再生すべき「完全に鮮明な像」が図１（ｂ）に示す如きものであるとすると、再生ノイズがある場合には、再生された画像は図１（ｃ）の如きものとなり、画像に「濃度むら」が生じるのである。  
発明者らは、このような再生ノイズが「レンズ系（上の例でレンズ２ａ、２ｂ）のレンズ系データを、位相変調素子３を配設しない状態で設計したときに残存する波面収差」に起因するものであることを見出した。
【００４０】
そこで、上記「位相変調素子３を設置しない状態で、レンズ２ａ、２ｂのレンズ系データを設計したとき、残存する波面収差の位相分布」を推定し、位相変調素子３による位相分布と「波面収差の位相分布」を合わせて光学系の瞳関数を（２）式のように表現する。
【００４１】
ｐ（ｘ，ｙ）＝Ａ（ｘ、ｙ)ｅｘｐ｛ｉ・ａ・(ｘ３＋ｙ３）＋φ（ｘ、ｙ）｝    (２)
ｐ（ｘ，ｙ）、ｘ、ｙ、Ａ、ｉ、ａは式（１）のものと同じである。式（２）に新たに現われている量：φ（ｘ、ｙ）が「光学系の残存波面収差の位相分布」である。
【００４２】
（２）式の瞳関数を用いて「位相変調素子３を含む光学系の光学伝達関数」を求め、ＣＣＤ４により収録した光学的な劣化像を、上記と同様にして周波数フィルタリングすることにより再生像を得ることにより、図１（ｂ）に示す如く「再生ノイズを略除去した鮮明な再生像」を取得することができる。
【００４３】
上記レンズ系データの波面収差の表現方法として、設計時に得られる波面収差をＺｅｒｎｉｋｅ多項式により近似して、近似多項式における「各項の係数」を用いると、波面収差の位相分布を簡便に取得することができる（請求項４）。また近似Ｚｅｒｎｉｋｅ多項式の係数の中で、再生ノイズの要因として大きい「デフォーカス係数」を用いると、波面収差の位相分布を更に簡便に取得することができる（請求項５）。従って、これらの係数により波面収差を表現することにより光学伝達関数や周波数フィルタリングや画像再生の演算が容易になり、高速処理が可能となる。
【００４４】
図１（ｄ）に、上記実施の形態における処理のフローの例を示す。  
図１（ｄ）において「破線で囲んだ部分の手順」は、画像入力装置を作製する段階で行っておくもので、光学系の算出されたＯＴＦを装置の記憶手段（演算手段５のメモリ）に記憶させておく。そして実際の画像入力の際、撮像手段による「画像収録」で収録した画像を、演算手段５により周波数フィルタリング演算する際に、記憶されたＯＴＦデータが逐一読み出され、それを用いて画像再生が行われる。
【００４５】
即ち、図１に実施の形態を説明した画像入力装置は、撮像すべき物体１からの光を像面上で結像させるレンズ系２ａ、２ｂと、このレンズ系による像を撮像する撮像手段４と、物体１と撮像手段４の間に設置され、レンズ系２ａ、２ｂの光学伝達関数（ＯＦＴ）を物体距離によらず略一定に変形させる位相変調素子３と、この位相変調素子３による位相変調がない場合におけるレンズ系２ａ、２ｂの波面収差の位相分布：φと位相変調素子３による位相分布とから作成した光学伝達関数を用い、撮像手段４で得られる画像の光学的な劣化を除去する演算手段５とを有する（請求項１）。
【００４６】
請求項１記載の画像入力装置によれば、位相変調素子３による位相分布とともに「位相変調素子による位相変調がない場合におけるレンズ系の波面収差の位相分布」を用いてデジタルフィルタを作製し、そのようなデジタルフィルタを用いて「収録した変調画像」から像を再生する。このためレンズ系の波面収差の影響を抑制でき、再生ノイズを低減した鮮明な像を再生でき、被写界深度が深い画像入力装置において「デジタルフィルタによる再生像の解像力」を向上させることができる。
【００４７】
図２は、請求項２、３等にかかる発明の実施の１形態を説明するための図である。  
図２（ａ）において、符号７は画像入力装置により撮像すべき「物体」、符号８は物体７の像を結像させる「レンズアレイ」を示す。レンズアレイ８は複数のレンズ系が「レンズ系光軸とほぼ垂直な同一平面内」に並べられた構成となっており、レンズアレイ８における各レンズ系により物体７の個眼像が形成される。
【００４８】
符号９は、レンズアレイ８における各レンズ系を通過した光に位相分布を与える「位相変調素子アレイ」を示す。位相変調素子アレイ９は、レンズアレイ８における各レンズ系と１：１に対応する複数の位相変調素子が、レンズ系光軸とほぼ垂直な同一平面内に並べられた構成となっている。図２の実施の形態において、レンズアレイ８を構成するレンズ系相互は一体化されて単一のレンズアレイ８を構成し、位相変調素子アレイ９をなす位相変調素子相互も一体化されて単一の位相変調素子アレイを構成している。
【００４９】
符号１０は、レンズアレイ８と位相変調素子アレイ９との緩衝を防ぐ「スペーサ」を示す。符号１１は、レンズアレイ８における各レンズ系を通過した光線がクロストークにより「像面上で重なり合って、フレア光やゴースト光が発生する」のを防止する「遮光壁」を示す。  
符号１２は、物体の像を撮像する撮像手段としてのＣＣＤを示す。ＣＣＤ１２は「レンズ系と位相変調素子の組ごとに形成される個眼像」の集合である「複眼像」を撮像する。
【００５０】
符号１３は、位相変調素子アレイを構成する「個々の位相変調素子」による位相分布から作成した光学伝達関数（ＯＴＦ）を用いて、複眼像における個眼像ごとに「像の光学的な劣化」を除去する演算手段を示す。
【００５１】
演算手段１３は「光学的な劣化が除去された個眼像」で形成された複眼像を出力する。符号１４は演算手段１３の出力を処理する演算手段を示す。演算手段１４は、演算手段１３による「光学的な劣化が除去された複眼像」から単一像を再構成する演算を実行し「光学的な劣化が除去された単一像」を再生像として出力する。
【００５２】
符号１５ａは、演算手段１４による出力画像を表示するモニタを示し、符号１５ｂはモニタに表示された物体７の再生像を示す。  
「１組のレンズ系と位相変調素子から構成される光学系」の瞳関数は前記（１）式で表され、光学系を通過する光波に３次曲面状の位相分布が与えられる。  
１組のレンズと位相変調素子による「位相変調素子により光学的に劣化した像」から、先に、図１に即して説明した手順により「焦点ずれによるぼけのない再生画像」を得ることができる。
【００５３】
図２（ｂ）は、このようにして「個眼像ごとに光学的な劣化を除去した複眼像」、すなわち演算手段１３から出力される像を示している。図２（ｂ）において、符号１６は個々の「個眼像」を示し、複眼像を構成する個眼像１６の各々は、レンズアレイ８における各レンズ系と物体０との位置関係に起因して相互にシフトした像となっている。
【００５４】
複眼像から単一画像を再構成する演算方法は、複眼像を単一画像に変換する逆行列や擬似逆行列を用いた演算、特開２００３−１４１５２９に示された演算などが従来から知られており、演算手段１４によりこれら公知の演算方法を適宜に実行して、演算手段１３からの「出力複眼像」から「単一画像」を再構成することができる。
【００５５】
その際、個眼像間でのシフトを利用して複眼像から単一画像を再構成することにより、「個眼像を形成する画素数」の少なさによる解像力の低さが改善され、個眼像に対して解像力の高い単一画像が得られる。
【００５６】
位相変調素子アレイ９を配設せずに複眼像を収録して単一画像を再構成しても「個眼像を構成する画素数が少ないことに起因した解像力の低さ」は改善されるが、焦点ずれなどにより個眼像が光学的に劣化していると、劣化したままの個眼像により単一像が再構成されることになる。例えば、物体７がレンズアレイ８に近い場合に、レンズアレイ８から物体７までの距離に依存した焦点ずれなどの光学的な劣化を起こし易くなる。
【００５７】
上記実施の形態では、位相変調素子によりレンズ系の光学伝達関数を変形させ、演算手段１３による演算により、焦点ずれ等による光学的な劣化を個眼像ごとに除去したのちに単一画像を再構成するので「個眼像を構成する画素数が少ないことに起因した解像力の低さ」のみならず、光学的な劣化をも除去した鮮明な像を取得できる。  
図２（ｃ）には、上に説明した処理のフローを図１（ｄ）にならって示す。
【００５８】
図２に即して上に説明したのが請求項２記載の画像入力装置の実施の１形態である。  
即ち、図２の画像入力装置は、撮像すべき物体７からの光を像面上で結像させる２以上のレンズ系を略平面状にアレイ配列したレンズアレイ８と、このレンズアレイ８による物体７の複眼像を撮像する撮像手段１２と、レンズアレイ８の個々のレンズ系間における光線のクロストークを防止する遮光手段１１と、物体７と撮像手段１２との間に配設され、レンズアレイ８における各レンズ系の光学伝達関数を物体距離によらず略一定に変形させる位相変調素子を、レンズアレイ８における個々のレンズ系に対応させてアレイ配列させた位相変調素子アレイ９と、この位相変調素子アレイ９による位相分布から作成した光学伝達関数を用い、撮像手段１２で得られる複眼像の光学的な劣化を除去する第１の演算手段１３と、この第１の演算手段１３により光学的な劣化を除去された複眼像から、物体の単一像６ｂを再構成する第２の演算手段１４とを有する（請求項２）。
【００５９】
請求項２記載の画像入力装置では、物体７と撮像手段１２との間に、レンズアレイ８における各レンズ系の光学伝達関数を物体距離によらず略一定に変化させる位相変調素子アレイ９を設置し、位相変調素子アレイ９による位相分布から作成した光学伝達関数を用いて、撮像手段１２で得られる複眼像の「各個眼像の光学的な劣化」を除去する。それによりレンズ系のレンズ径が小さいことによる光学的な劣化を除去した複眼像を取得でき、複眼像から単一画像を再構成することにより、薄型化した光学系により解像力を確保することができるため、深い被写界深度で物体の像を撮像する画像入力装置において、薄型と高解像の両立を図ることができる。
【００６０】
上に説明した請求項２記載の画像入力装置においては「レンズアレイにおけるレンズ系の波面収差の影響」が考慮されていないので、レンズ系に残存波面収差があると、請求項１の実施の形態に関連して説明したように「再生ノイズ」が生じる場合がある。  
このような再生ノイズは、収録される複眼像における個眼像ごとに「個眼像を結像するレンズ系に残存する波面収差による位相分布」を加えた瞳関数（（２）式）から求めた光学伝達関数を用いた周波数フィルタリングを実施することにより「再生ノイズのない個眼像」で構成された複眼像を得ることができる。そして、そのような複眼像から単一画像を再構成することで「より鮮明な再生像」を得ることができる（請求項３）。
【００６１】
即ち、図２の実施の形態は、撮像すべき物体７からの光を像面上で結像させる２以上のレンズ系を略平面状にアレイ配列したレンズアレイ８と、このレンズアレイによる物体７の複眼像を撮像する撮像手段１２と、レンズアレイ８の個々のレンズ系間における光線のクロストークを防止する遮光手段１１と、物体７と撮像手段１２との間に配設され、レンズアレイ８における各レンズ系の光学伝達関数を物体距離によらず略一定に変形させる位相変調素子をレンズアレイ８における個々のレンズ系に対応させてアレイ配列させた位相変調素子アレイ９とを有しているので、演算手段１３に「レンズアレイ８における各レンズ系の、対応する位相変調素子による位相変調がない場合における各レンズ系の波面収差の位相分布と位相変調素子による位相分布から作成した光学伝達関数を用い、撮像手段１２で得られる複眼像の光学的な劣化を除去する第１演算手段」としての機能を持たせ、演算手段１４に「第１演算手段により光学的な劣化を除去された複眼像から物体７の単一像を再構成する第２演算手段」としての機能を持たせることにより、請求項３記載の画像入力装置を構成できる。
【００６２】
請求項３記載の画像入力装置では、位相変調素子アレイ９による位相分布に加え「位相変調素子による位相変調がない場合における各レンズ系の波面収差の位相分布」を用いてデジタルフィルタを作成し、そのようなデジタルフィルタを用いて、収録した変調画像から像を再生するので、レンズ系の残存波面収差の影響を抑制でき、再生ノイズを低減した鮮明な個眼像が再生可能となり、深い被写界深度で物体の像を撮像する画像入力装置において、薄型と更なる高解像の両立を図ることができる。
【００６３】
請求項３記載の画像入力装置を構成するに当たり、レンズアレイにおける個々のレンズ系の「波面収差の表現方法として、設計時に得られる波面収差をＺｅｒｎｉｋｅ多項式により近似して、近似多項式における「各項の係数」を用いると、波面収差の位相分布を簡便に取得することができ（請求項４）、近似Ｚｅｒｎｉｋｅ多項式の係数の中で、再生ノイズの要因として大きい「デフォーカス係数」を用いると、レンズ系における波面収差の位相分布を更に簡便に取得することができる（請求項５）。
【００６４】
図１のレンズ系２ａ、２ｂや、図２のレンズアレイ８を構成するレンズ系として「屈折型のレンズ」の例を示したが、これらのレンズ系として「フレネルレンズなどの回折光学素子」を用いてもよい（請求項６）。
【００６５】
また、図１の位相変調素子３や、図２の位相変調素子アレイを構成する個々の位相変調素子として、図２（ｄ）に示すような「サブ波長構造による光学素子」を用いることができる（請求項７）。周知の如く「サブ波長構造の光学素子」は、波長以下の微細な周期構造を有する光学素子であり、素子を透過する光に対し、素子材料の屈折率と空気の屈折率の平均値が実効屈折率として作用するようにでき、例えば、図２（ｄ）に示すような透明基板の微細な表面形状のピッチ：ｔ１やｔ２、凹凸の高さ等をパラメータとして調整することにより、空気と素子材質との体積比を変化させることにより屈折率を制御することができる。
【００６６】
素子の表面形状で作製した位相変調素子と同様の光学的機能を持つ位相変調素子を「サブ波長構造の光学素子の素子構造（ピッチ幅や高さ等）を分布させる」ことによって実現することができる。回折光学素子やサブ波長構造の光学素子の利用により、レンズ系や位相変調素子を薄型化することができ、画像入力装置を薄くすることができる。
【００６７】
上に説明した画像入力装置において、特に「レンズ系に単レンズや回折光学素子を用いる」と波長ごとの屈折率が異なり、色収差の影響が生じて取得される像の解像力が低下する。また、位相変調素子においても「波長により位相変調量が異なる」と、像の解像力に影響を与える。
【００６８】
請求項８記載の画像入力装置は、このような「波長によるレンズ系の作用誤差」に起因する解像力の低下を除去するものである。  
図１（ａ）の装置構成において、光学系による像を撮像するＣＣＤ４として「カラーＣＣＤ」を用いた場合を考える。カラーＣＣＤでは、例えば、赤色の撮像用、緑色の撮像用、青色の撮像用に撮像素子の画素が機能分割され、それぞれの画素の前に対応する色フィルタが配置された構成となっている。
【００６９】
例えば、図３に示す例では、符号１８ａが赤色用、符号１８ｂが緑色用、１８ｃが青色用の「輝度情報を取り込む画素」で、これらの画素が画素１８ａ〜１８ｃを１群として図の縦横方向に繰返される構成となっており、それぞれの画素の前に赤、緑、青の色フィルタが配置され、各色の画像情報が取得される。
【００７０】
赤色の波長：λＲを基準に「位相変調素子の形状」を設計した場合、赤色用の画素で取得した画像に対しては、前記（１）式または（２）式で表した瞳関数：ｐ（ｘ，ｙ）から算出した光学伝達関数を用いて周波数フィルタリングを行えば「赤色の画像に対して光学伝達関数の変形が回復された画像」が得られる。
【００７１】
赤色の波長：λＲを基準に設計した位相変調素子を用いて、青色（波長：λＢ）の画像を再生する場合は、前記（１）式または（２）式の「位相項にλＢ／λＲを乗じた瞳関数から算出した光学伝達関数」を用い、青色用の画素で取得した画像に対して周波数フィルタリングを行えば、光学伝達関数の変形が回復した青色の画像が得られる。
【００７２】
同様に、緑色（波長：λＧ）の画像を再生する場合は、前記（１）式または（２）式の「位相項にλＧ／λＲを乗じた瞳関数から算出した光学伝達関数」を用い、緑色用の画素で取得した画像に対して周波数フィルタリングを行えば、光学伝達関数の変形が回復した緑色の画像が得られる。
【００７３】
このように構成した画像入力装置により撮像したカラー画像を表示する場合は、カラーＣＣＤ（カラー画像撮像手段）と同様に画素配置された表示装置の各画素に、各色の画像の輝度情報を表示してもよいし、画像の同じ位置における各色の画像の輝度を合成して、表示装置における対応画素に表示してもよい。
【００７４】
このように請求項８記載の画像入力装置では、カラー画像撮像手段により取得される波長ごとの画像に対し、所定の波長を用いて光学的な劣化を除去する演算を行い、波長ごとの再生像を合成するので、再生カラー画像の解像力を向上させることができる。
【００７５】
図４は、請求項９記載の画像入力装置の実施の１形態を示している。  
繁雑を避けるため、混同の虞がないと思われるものについては、図１（ａ）におけると同一の符号を付する。  
図４の実施の形態は、図１（ａ）に示した実施の形態において、レンズ２ａ、２ｂと位相変調素子３とで構成された光学系部分を、単一の光学素子１９で構成したものである。
【００７６】
光学素子１９は、レンズ系と位相変調素子を一体化したものであり、符号１９ａで示す面がレンズ面、符号１９ｂで示す面が「位相変調素子として作用する面」である。  
図４の画像入力装置において、位相変調量の分布が（１）式を満たすように光学素子１９のレンズ面１９ａ及び位相変調素子面１９ｂの形状を設計すると、レンズ系と位相変調素子が一体化した光学系に対して請求項１記載の画像入力と同様の画像入力を実施することができる。
【００７７】
図５は、請求項９記載の画像入力装置の実施の別形態を示している。  
繁雑を避けるため、混同の虞がないと思われるものについては、図２（ａ）におけると同一の符号を付する。  
この実施の形態は、図２（ａ）に示した実施の形態において、レンズアレイ８と位相変調素子９とで構成された光学系部分を、単一の光学素子２０で構成したものである。
【００７８】
光学素子２０は「レンズアレイと位相変調素子アレイを一体化した光学素子」であり、符号２０ａで示す面がレンズ面、２０ｂで示す面が「位相変調素子として作用する面」である。
【００７９】
図５の画像入力装置において、位相変調量の分布が（１）式を満たすように、光学素子２０のレンズ面２０ａ及び位相変調素子面２０ｂの形状を設計すると、レンズと位相変調素子が一体化した光学系に対して請求項２記載の画像入力と同様の画像入力を実施することができる。また、瞳関数が（２）式を満たすように、光学素子２０のレンズ面２０ａ及び位相変調素子面２０ｂの形状を設計すると、レンズと位相変調素子が一体化した光学系に対して請求項３記載の画像入力と同様の画像入力を実施することができる。
【００８０】
図４や図５の実施の形態においても、レンズ面１９ａ、２０ａや位相変調素子面１９ｂ、２０ｂを「回折型レンズ」や「サブ波長構造の光学素子」としてもよいことは言うまでもない。
【００８１】
上記の如く、レンズと位相変調素子、あるいは、レンズアレイと位相変調素子アレイとを一体化して形成することにより、画像入力装置の厚みを抑制し、画像入力装置の組付け時におけるアライメント誤差をなくすことができる。
【００８２】
上に説明した請求項１〜９に記載の画像入力装置では、光学系の被写界深度あるいは焦点深度が深くなる。従って、撮像素子の撮像面を「通常の結像面位置」に配置する必要はなく「レンズ系の最短結像位置よりもレンズ系より」に撮像手段の撮像面を配置しても、焦点ずれの影響による不具合を生じることがない（請求項１０）。
【００８３】
図６は、請求項１０記載の発明を、図４に示した実施の形態に適用した例であり、撮像手段であるＣＣＤ４の撮像面４ａを「レンズ系１９の最短結像位置２１よりもレンズ系より」に配置することにより、レンズ系と撮像素子間の距離を短縮し、光学系をさらに薄型化した例である。
【図面の簡単な説明】
【００８４】
【図１】画像入力装置の実施の１形態を説明する図である。
【図２】画像入力装置の実施の別形態を説明する図である。
【図３】請求項８記載の画像入力装置の特徴部分を説明する図である。
【図４】請求項９記載の画像入力装置の実施の１形態を説明する図である。
【図５】請求項９記載の画像入力装置の実施の別形態を説明する図である。
【図６】請求項１０記載の画像入力装置の実施の１形態を説明する図である。
【符号の説明】
【００８５】
１    撮像すべき物体
２ａ、２ｂ      レンズ系
３      位相変調素子
４      撮像素子（ＣＣＤ）
５      演算手段
６ａ      モニタ
６ｂ      再生画像
【図１】
2007156749.tif 000003
【図２】
2007156749.tif 000004
【図３】
2007156749.tif 000005
【図４】
2007156749.tif 000006
【図５】
2007156749.tif 000007
【図６】
2007156749.tif 000008