(57)【特許請求の範囲】
【請求項１】
撮像レンズ部と、
受光した光に基づいて撮像データを取得する撮像素子と、
前記撮像レンズ部と前記撮像素子との間で撮像レンズ部の焦点面上に配置されると共に、前記撮像素子の複数の撮像画素に対して１つのマイクロレンズが対応するように形成されたマイクロレンズアレイ部と、
前記撮像素子へ入射する光を各撮像画素ごとに集光する集光構造を複数配列して構成された集光部と
を備え、
前記撮像素子上において、
各マイクロレンズに対応する画素領域内では、前記集光部における前記集光構造のピッチが、前記撮像画素における前記集光構造のピッチと同じ方向の画素サイズよりも小さい一方、各マイクロレンズに対応する画素領域間の境界領域では、前記集光構造のピッチが、前記集光構造のピッチと同じ方向の画素サイズよりも大きくなっており、
各マイクロレンズに対応する画素領域ごとに、前記集光構造の中心位置が、各マイクロレンズを通過する主光線の光軸近傍においては前記撮像画素の画素中心位置と一致すると共に、この光軸近傍から各マイクロレンズの周辺部へ向かうに従って前記撮像画素の画素中心位置から漸次ずれている
撮像装置。
【請求項２】
前記撮像素子から得られた撮像データに対して所定の画像処理を施すための画像処理部を備えた
請求項１に記載の撮像装置。
【請求項３】
前記撮像レンズ部が開口絞りを有すると共に、以下の（１）式を満たす
請求項１に記載の撮像装置。
ｐ＝（ｍ×ｓ）×｛Ｌ／（Ｌ＋ｆ）｝ …（１）
但し、
ｐ：マイクロレンズ間のピッチ
ｓ：前記撮像画素における前記集光構造のピッチと同じ方向の画素サイズ
ｍ：各マイクロレンズにおいて前記集光構造のピッチと同じ方向に割り当てられる撮像画素の画素数（整数）
Ｌ：前記開口絞りと前記マイクロレンズアレイとの間の距離
ｆ：各マイクロレンズの焦点距離
【請求項４】
前記撮像レンズ部が開口絞りを有し、
各マイクロレンズに対応して前記撮像素子上に結像する像の前記集光構造のピッチと同じ方向の大きさが、前記撮像画素における前記集光構造のピッチと同じ方向の画素サイズの整数倍となるように、前記撮像素子により得られた撮像データに対して像高補正を行う像高補正部を備えた
請求項１に記載の撮像装置。
【請求項５】
前記像高補正部は、前記撮像データに対し、以下の（２）式および（３）式で表される補正係数ｋを用いて像高補正を行う
請求項４に記載の撮像装置。
ｋ＝β×｛Ｌ／（Ｌ＋ｆ）｝ …（２）
β＝（ｍ×ｓ）／ｐ …（３）
但し、
ｐ：マイクロレンズ間のピッチ
ｓ：前記撮像画素における前記集光構造のピッチと同じ方向の画素サイズ
ｍ：各マイクロレンズにおいて前記集光構造のピッチと同じ方向に割り当てられる撮像画素の画素数（整数）
Ｌ：前記開口絞りと前記マイクロレンズアレイとの間の距離
ｆ：各マイクロレンズの焦点距離
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マイクロレンズアレイを用いた撮像装置に関する。
【背景技術】
【０００２】
従来、様々な撮像装置が提案され、開発されている。また、撮像して得られた撮像データに対し、所定の画像処理を施して出力するようにした撮像装置も提案されている。
【０００３】
例えば、特許文献１および非特許文献１には、「Light Field Photography」と呼ばれ
る手法を用いた撮像装置が提案されている。この撮像装置は、撮像レンズと、マイクロレンズアレイと、撮像素子と、画像処理部とから構成され、撮像レンズには中央部に単一の開口を有する開口絞りが設けられている。このような構成により、撮像素子から得られる撮像データが、受光面における光の強度分布に加えてその光の進行方向の情報をも含むようになっている。そして画像処理部において、任意の視点や方向（以下、単に視野という）からの観察画像を再構築できるようになっている。
【０００４】
ここで、この「Light Field Photography」による手法を具現化した撮影装置（Light Field Camera）によって取得された画像は、例えば特許文献１のＦｉｇ．１１に示されるように、複数の円形像がアレイ状に並んだ画像群として出力される。このような円形像は、撮影レンズの射出瞳形状を各々のマイクロレンズで固体撮像素子上に結像したものに相当する（以下、ユニット画像と呼ぶ）。
【０００５】
また、一般に固体撮像装置の受光部は、縦横の画素毎に所定ピッチで設けられている。ここで、各画素の受光部周囲には転送領域等の回路部分が配置されるため、それらの領域に入射する光は、撮像に寄与しない。従って、多くの固体撮像素子においては、受光部以外の領域に入射する光を集光する何らかの集光部（光屈折構造など）を設け、受光部へと導くことで高感度化が図られている。
【０００６】
この際、光学系の光軸中心付近においては、各画素の直上にオンチップレンズなどの光屈折構造を設けることにより、大部分の光線を有効に集光することが可能となる。ところが、光軸より離れた周辺領域においては主光線が傾くため、例えば特許文献２や特許文献３に示されるように、オンチップレンズのレンズ間のピッチを画素ピッチよりも小さくすると共に、さらに光軸から離れるにつれて、オンチップレンズの構造中心位置と各画素の画素中心位置とのずれが漸次大きくなるように、像高補正が施されている。
【０００７】
【特許文献１】国際公開第０６／０３９４８６号パンフレット
【特許文献２】特許第２６００２５０号明細書
【特許文献３】特許第３１７０８４７号明細書
【非特許文献１】Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記した「Light Field Camera」においては、撮像レンズの像面位置にマイクロレンズアレイを配置した構成となっているため、固体撮像素子の光線入射側に構造化されるオンチップレンズなどの集光性の光屈折構造に対する光線入射角は、従来の撮像装置の場合とは大きく異なる。従って、上記したように像高補正が施された従来の固体撮像素子をそのまま「Light Field Camera」に搭載した場合、ユニット画像内での輝度勾配の発生や、光量ロスによる信号対雑音比（Ｓ／Ｎ比）の低下を招くおそれがあるため、撮像画像の画質が低下してしまうと考えられる。
【０００９】
本発明はかかる問題点に鑑みてなされたもので、その目的は、光の進行方向の情報を含むようにして撮像データを取得する場合において、この撮像データに基づく画像の画質を向上させることが可能な撮像装置を提供することにある。
【課題を解決するための手段】
【００１０】
本発明の撮像装置は、撮像レンズ部と、受光した光に基づいて撮像データを取得する撮像素子と、撮像レンズ部と撮像素子との間で撮像レンズ部の焦点面上に配置されると共に、撮像素子の複数の撮像画素に対して１つのマイクロレンズが対応するように形成されたマイクロレンズアレイ部と、撮像素子へ入射する光を各撮像画素ごとに集光する集光構造を複数配列して構成された集光部とを備えたものである。また、上記撮像素子上において、各マイクロレンズに対応する画素領域内では、集光部における集光構造のピッチが、撮像画素における集光構造のピッチと同じ方向の画素サイズよりも小さい一方、各マイクロレンズに対応する画素領域間の境界領域では、集光構造のピッチが、この集光構造のピッチと同じ方向の画素サイズよりも大きくなっている。更に、各マイクロレンズに対応する画素領域ごとに、集光構造の中心位置が、各マイクロレンズを通過する主光線の光軸近傍においては撮像画素の画素中心位置と一致すると共に、この光軸近傍から各マイクロレンズの周辺部へ向かうに従って撮像画素の画素中心位置から漸次ずれている。
【００１１】
本発明の撮像装置では、撮像レンズ部による撮像対象物の像は、マイクロレンズアレイ部上に結像する。そしてこのマイクロレンズアレイ部へ入射した光線が撮像素子へ到達し、各マイクロレンズに対応する複数の撮像画素で受光されることにより、光の進行方向の情報を含んだ撮像データが得られる。ここで、各マイクロレンズに対応する画素領域内では、集光構造のピッチが、撮像画素における集光構造のピッチと同じ方向の画素サイズよりも小さい一方、画素領域間の境界領域では、集光構造のピッチが、この集光構造のピッチと同じ方向の画素サイズよりも大きくなっている。また、各マイクロレンズに対応する画素領域ごとに、集光構造の中心位置が、各マイクロレンズを通過する主光線の光軸近傍においては撮像画素の画素中心位置と一致すると共に、この光軸近傍から各マイクロレンズの周辺部へ向かうに従って撮像画素の画素中心位置から漸次ずれている。これにより、各マイクロレンズに対応する画素領域内において、マイクロレンズの中心部付近の撮像画素と周辺部付近の撮像画素との間で生ずる、入射光線の傾きに起因する輝度勾配が抑制される。また、撮像レンズ部の画角および主光線の傾きもが考慮されるため、各画素領域における入射光線の集光効率が高まり、撮像データのＳ／Ｎ比（信号対雑音比）が向上し、撮像データに基づく画像の画質がより向上する。
【００１３】
本発明の撮像装置では、上記撮像レンズ部が開口絞りを有する場合に、以下の（１）式を満たすようにするのが好ましい。このように構成した場合、マイクロレンズ間のピッチが以下の（１）式を満たすことにより、撮像素子により得られる撮像データにおいて、撮像素子の受光面における像高ずれの発生が回避される。よって、そのような撮像データを用いて再構築画像を生成することにより、適切な再構築画像の生成が可能となる。
ｐ＝（ｍ×ｓ）×｛Ｌ／（Ｌ＋ｆ）｝ …（１）
但し、ｐはマイクロレンズ間のピッチであり、ｓは撮像画素における集光構造のピッチと同じ方向の画素サイズであり、ｍは各マイクロレンズにおいて上記集光構造のピッチと同じ方向に割り当てられる撮像画素の画素数（整数）であり、Ｌは開口絞りとマイクロレンズアレイとの間の距離であり、ｆは各マイクロレンズの焦点距離である。
【００１４】
本発明の撮像装置では、上記撮像レンズ部が開口絞りを有する場合に、各マイクロレンズに対応して撮像素子上に結像する像の上記集光構造のピッチと同じ方向の大きさが、撮像画素における上記集光構造のピッチと同じ方向の画素サイズの整数倍となるように、撮像素子により得られた撮像データに対して像高補正を行う像高補正部を備えるようにしてもよい。このように構成した場合、像高補正後の撮像データにおいて、開口絞りの位置によらず、撮像素子の受光面における像高ずれが生じなくなる。よって、そのような像高補正後の撮像データを用いて再構築画像を生成することにより、メインレンズ（撮像レンズ部）の開口絞りの位置によらず、適切な再構築画像の生成が可能となる。
【発明の効果】
【００１５】
本発明の撮像装置によれば、各マイクロレンズに対応する画素領域内では、集光構造のピッチが、撮像画素における集光構造のピッチと同じ方向の画素サイズよりも小さい一方、画素領域間の境界領域では、集光構造のピッチが、この集光構造のピッチと同じ方向の画素サイズよりも大きくなっており、各マイクロレンズに対応する画素領域ごとに、集光構造の中心位置が、各マイクロレンズを通過する主光線の光軸近傍においては撮像画素の画素中心位置と一致すると共に、この光軸近傍から各マイクロレンズの周辺部へ向かうに従って撮像画素の画素中心位置から漸次ずれているようにしたので、各マイクロレンズに対応する画素領域内において、入射光線の傾きに起因する輝度勾配を抑制することができると共に、各画素領域における入射光線の集光効率を高め、撮像データのＳ／Ｎ比を向上させることができる。よって、光の進行方向の情報を含むようにして撮像データを取得する場合において、この撮像データに基づく画像の画質を向上させることが可能となる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１７】
［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る撮像装置（撮像装置１）の全体構成を表したものである。この撮像装置１は、被写体２を撮像して撮像データＤoutを出力するものであり、被写体２の側から、撮像レンズ１１と、開口絞り１０と、マイクロレンズアレイ１２と、オンチップレンズ１８と、撮像素子１３とを備えている。この撮像装置１はまた、画像処理部１４と、撮像素子駆動部１５と、制御部１６とを備えている。
【００１８】
撮像レンズ１１は、被写体を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成される。
【００１９】
開口絞り１０は、撮像レンズ１１の光学的な開口絞りである。この開口絞り１０は、例えば図２に示したように、その中央部に一つの円形の開口部１０Ａを有している。これにより、詳細は後述するが、開口絞り１０Ａを通過した全ての光線が、その進行方向に関する情報を保持するようになっている。また、開口絞り１０とマイクロレンズアレイ１２との間は、距離Ｌとなるように配置されている。
【００２０】
マイクロレンズアレイ１２は、例えば図３に示したように、複数のマイクロレンズ１２−１をマトリクス状に２次元配列（マイクロレンズ１２−１のピッチ：ｐ１２）したものであり、撮像レンズ１１の結像面上（図中の符号ｆ１は、撮像レンズ１１の焦点距離を表している）に配置されている。各マイクロレンズ１２−１は、その平面形状が円形となっており、固体レンズや液晶レンズ、液体レンズ、回折レンズなどにより構成される。
【００２１】
撮像素子１３は、マイクロレンズアレイ１２からの光を受光して撮像データＤ０を取得するものであり、マイクロレンズアレイ１２の焦点面（図中の符号ｆ２は、マイクロレンズアレイ１２の焦点距離を表している）に配置されている。この撮像素子１３は、マトリクス状に２次元配列された複数のＣＣＤ（Charge Coupled Device；電荷結合素子）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの２次元撮像素子などにより構成されている。
【００２２】
このような撮像素子１３の受光面（マイクロレンズアレイ１２側の面）には、Ｍ×Ｎ（Ｍ，Ｎ：整数）個の撮像画素（後述する画素Ｐ）がマトリクス状に２次元配置され、複数の画素Ｐに対してマイクロレンズアレイ１２内の１つのマイクロレンズ１２−１が割り当てられるようになっている。この受光面上の画素Ｐの個数は、例えば、Ｍ×Ｎ＝３７２０×２５２０＝９３７４４００個である。ここで、各マイクロレンズ１２−１に割り当てられる画素数（ｍ×ｎ）は、再構築画像の任意の視野での分解能と関連しているため、これらｍ，ｎの値が大きくなるに従って、再構築画像の任意の視野での分解能が高くなる。一方、（Ｍ／ｍ），（Ｎ／ｎ）は、再構築画像の画素数（解像度）と関連しているため、これら（Ｍ／ｍ），（Ｎ／ｎ）の値が大きくなるに従って、再構築画像の画素数が高くなる。したがって、再構築画像の任意の視野での分解能と画素数とはトレードオフの関係となっている。
【００２３】
撮像素子１３の受光面上には、例えば図４に示したようなカラーフィルタ１７が画素Ｐ単位で２次元配置されている（図１中には図示せず）。このカラーフィルタ１７は、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の３原色のカラーフィルタ（赤色カラーフィルタ１７Ｒ、緑色カラーフィルタ１７Ｇおよび青色カラーフィルタ１７Ｂ）がＲ：Ｇ：Ｂ＝１：２：１の比率で市松状に配置されたＢａｙｅｒ配列のカラーフィルタ（原色フィルタ）である。このようなカラーフィルタ１７が撮像素子１３の受光面上に設けられていることにより、撮像素子１３により得られた撮像データＤ０が、カラーフィルタ１７の色に対応した複数の色（この場合、３原色）の画素データ（カラーの画素データ）となる。
【００２４】
オンチップレンズ１８は、撮像素子１３へ入射する光を各撮像画素（後述する画素Ｐ）ごとに集光する集光部として機能するものであり、撮像素子１３の受光面上において、各画素Ｐに対応して設けられている。
【００２５】
このオンチップレンズ１８では、例えば図５（マイクロレンズアレイ１２の光軸周辺に対応する光軸周辺部１３Ｃ付近（入射光の主光線Ｌ０と光軸とが略一致する領域）における模式断面構成）および図６（撮像素子１３の画素周辺部１３Ｅ付近（入射光の主光線Ｌ０が光軸に対してある程度傾く領域）における模式断面構成）に示したように、撮像素子１３上において、各マイクロレンズ１２−１に対応する画素領域内では、オンチップレンズ１８における集光構造のピッチｐ１８が、画素Ｐにおける一辺方向（集光構造のピッチｐ１８と同じ方向。以下同様。）の画素サイズｓよりも小さい一方、各マイクロレンズ１２−１に対応する画素領域間の境界領域では、オンチップレンズ１８における集光構造のピッチｐ１８が、画素Ｐにおける一辺方向の画素サイズｓよりも大きくなっている。
【００２６】
また、図５および図６に示したいずれの場合においても、各マイクロレンズ１２−１に対応する画素領域ごとに、オンチップレンズ１８の集光構造の構造中心位置が、各マイクロレンズ１２−１を通過する主光線Ｌ０の光軸近傍においては、画素Ｐの画素中心位置と一致すると共に、この光軸近傍から各マイクロレンズ１２−１の周辺部へ向かうに従って、画素Ｐの画素中心位置から漸次ずれていくようになっている。
【００２７】
なお、このようなオンチップレンズ１８の形成は、例えば、レジスト材料へのパターン転写等によって実現される。従って、フォトマスクのピッチを、上記したピッチ（オンチップレンズ１２における集光構造のピッチｐ１８）に設定することにより、上記したようなオンチップレンズ１８の形成が可能となっている。
【００２８】
画像処理部１４は、撮像素子１３で得られた撮像データＤ０に対して後述する所定の画像処理（並び替え処理を含む画像処理）を施し、画像処理後の撮像データＤoutを出力するものである。具体的には、例えば「Light Field Photography」と呼ばれる手法を用いたリフォーカス（Refocusing）演算処理を行い、これにより任意の焦点に設定した画像（撮像データＤoutに基づく再構築画像）を合成できるようになっている。なお、この画像処理部１４の詳細構成およびリフォーカス演算処理動作の詳細については、後述する。
【００２９】
撮像素子駆動部１５は、撮像素子１３を駆動してその受光動作の制御を行うものである。
【００３０】
制御部１６は、画像処理部１４および撮像素子駆動部１５の動作を制御するものであり、例えばマイクロコンピュータなどにより構成される。
【００３１】
次に、図７を参照して画像処理部１４の詳細構成について説明する。図７は、画像処理部１４の機能ブロック構成を表したものである。
【００３２】
画像処理部１４は、欠陥補正部１４１と、クランプ処理部１４２と、補間処理部１４３と、並び替え処理部１４４と、ノイズ低減部１４５と、輪郭強調部１４６と、ホワイトバランス調整部１４７と、ガンマ補正部１４８とから構成されている。
【００３３】
欠陥補正部１４１は、撮像データＤ０に含まれる黒とび等の欠陥（撮像素子１３の素子自体の異常に起因した欠陥）を補正するものである。クランプ処理部１４２は、欠陥補正部１４２による欠陥補正後の撮像データにおいて、各画素データの黒レベルの設定処理（クランプ処理）を行うものである。
【００３４】
補間処理部１４３は、クランプ処理部１４２により供給される撮像データに対し、例えば、一般的なＢａｙｅｒ配列に対するデモザイク処理などの補間処理を施すことにより、補間処理後の撮像データＤ１を生成するものである。
【００３５】
並び替え処理部１４４は、補間処理部１４３により供給される撮像データＤ１に対して所定の並び替え処理（各画素データの並び替え処理）を施すことにより、撮像データＤ２を生成するものである。このような並び替え処理を行うことにより、前述した任意焦点に設定された再構築画像の合成が可能となっている。なお、並び替え処理部１４４による並び替え処理動作の詳細については、後述する。
【００３６】
ノイズ低減部１４５は、並び替え処理部１４４により供給される撮像データＤ２に含まれるノイズ（例えば、暗い場所や感度の足りない場所で撮像したときに発生するノイズ）を低減する処理を行うものである。輪郭強調部１４６は、ノイズ低減部１４５により供給される撮像データに対し、映像の輪郭を強調する輪郭強調処理を行うものである。
【００３７】
ホワイトバランス調整部１４７は、輪郭強調部１４６により供給される撮像データ（赤色画素データ、緑色画素データおよび青色画素データの個数がそれぞれ等しくなるように設定された撮像データ）に対し、カラーフィルタ１７の通過特性や撮像素子１３の分光感度などのデバイスの個体差や照明条件などの影響に起因した色バランスの調整処理（ホワイトバランス調整処理）を行うものである。
【００３８】
ガンマ補正部１４８は、ホワイトバランス調整部１４７により供給される撮像データに対して所定のガンマ補正（明暗やコントラストの補正）を行うことにより、撮像データＤoutを生成するものである。
【００３９】
次に、図１〜図１４を参照して、本実施の形態の撮像装置１の作用および効果について詳細に説明する。
【００４０】
まず、図１〜図４および図７〜図１４を参照して、撮像装置１の基本的な作用について説明する。
【００４１】
この撮像装置１では、撮像レンズ１１による被写体２の像は、例えば図８（Ａ）に示したように、各マイクロレンズ１２−１の形状（円形状）に応じて、マイクロレンズアレイ１２上に結像する。そして、マイクロレンズアレイ１２への入射光線がこのマイクロレンズアレイ１２を介して撮像素子１３へ到達し、例えば図８（Ｂ）に示したように、開口絞り１０の円形状が投影された受光領域１３−１において受光がなされ、撮像素子１３により撮像データＤ０が得られる。このとき、マイクロレンズアレイ１２への入射光線は、その入射方向に応じて、撮像素子１３の異なる位置で受光される。具体的には、各マイクロレンズ１２−１に割り当てられた画素Ｐの位置により、光線の入射方向が決定される。なお、この各マイクロレンズ１２−１に割り当てられる画素Ｐが配置された領域（再構築画素領域１３Ｄ）が、再構築画像の一画素分に相当する。
【００４２】
次に、撮像素子１３で得られた撮像データは、画像処理部１４へ入力する。そして画像処理部１４では、撮像データＤ０に対して所定の画像処理（例えば、前述のリフォーカス演算処理）が施され、これにより画像処理後の撮像データＤoutが、撮像装置１の出力データ（再構築画像の画像データ）として出力される。
【００４３】
ここで、図９〜図１４を参照して、画像処理部１４による画像処理動作（リフォーカス演算処理動作）の基本部分について説明する。
【００４４】
まず、図９に示したように、撮像レンズ１１の撮像レンズ面上において直交座標系（ｕ，ｖ）を、撮像素子１３の撮像面上において直交座標系（ｘ，ｙ）をそれぞれ考え、撮像レンズ１１の撮像レンズ面と撮像素子１３の撮像面との距離をＦとすると、撮像レンズ１１および撮像素子１３を通る光線Ｌ１は、４次元関数ＬＦ（ｘ，ｙ，ｕ，ｖ）で表されるため、光線の位置情報に加え、光線の進行方向が保持された状態で撮像素子１３に記録される。すなわち、各マイクロレンズ１２−１に割り当てられた複数の画素Ｐの配置により、光線の入射方向が決まる。
【００４５】
また、この場合において図１０に示したように、撮像レンズ面１１０、撮像面１３０およびリフォーカス面１２０間の位置関係を設定（Ｆ’＝αＦとなるようにリフォーカス面１２０を設定）した場合、リフォーカス面１２０上の座標（ｓ，ｔ）の撮像面１３０上における検出強度ＬＦ’は、以下の（１）式のように表される。また、リフォーカス面１２０で得られるイメージＥＦ’（ｓ，ｔ）は、上記検出強度ＬＦ’をレンズ口径に関して積分したものとなるので、以下の（２）式のように表される。したがって、この（２）式からリフォーカス演算を行うことにより、画像処理後の撮像データＤoutに基づいて、任意の焦点（リフォーカス面１２０）に設定した画像が再構築される。
【００４６】
【数１】
0004483951.tif 000002
【００４７】
具体的には、画像処理部１４では、図５に示したように、撮像素子１３により供給される撮像データＤ０が、欠陥補正部１４１により欠陥補正され、クランプ処理部１４２によりクランプ処理がなされ、補間処理部１４３により補間処理がなされたのち、並び替え処理部１４４により画素データＤ１の並び替え処理がなされることより、撮像データＤ１から撮像データＤ２が生成される。
【００４８】
ここで、画像処理部１４によるリフォーカス演算処理により、撮影時の設定焦点位置（マイクロレンズアレイ１２の位置）よりも奥側（遠く）に焦点位置が設定された再構築画像を生成する際には、例えば図１１に示したような光線が選択的に抽出されるような並び替え処理がなされる。すなわち、撮影時の設定焦点位置よりも奥側に焦点位置が存在する被写体は、撮像レンズ１１とマイクロレンズアレイ１２との間で結像することから、一旦集光した光線は再び離散し、その進行方向ごとに異なるマイクロレンズアレイを通過して撮像素子１３上に到達する。したがって、例えば図１３に示したように、互いに異なる複数の再構築画素領域１３Ｄからそのような光線に対応する画素データＤ１０が選択的に抽出されるように、各画素データの並び替え処理がなされる。
【００４９】
一方、画像処理部１４によるリフォーカス演算処理により、撮影時の設定焦点位置（マイクロレンズアレイ１２の位置）よりも手前側（近く）に焦点位置が設定された再構築画像を生成する際には、例えば図１２に示したような光線が選択的に抽出されるような並び替え処理がなされる。すなわち、撮影時の設定焦点位置よりも手前側に焦点位置が存在する被写体は、マイクロレンズアレイ１２よりも後方で結像することから、撮像装置１内で結像することなく、進行方向ごとに異なるマイクロレンズアレイを通過して撮像素子１３上に到達する。したがって、例えば図１４に示したように、互いに異なる複数の再構築画素領域１３Ｄからそのような光線に対応する画素データＤ１０が選択的に抽出されるように、各画素データの並び替え処理がなされる。
【００５０】
次に、このような並び替え処理後の撮像データＤ２は、図７に示したように、さらにノイズ低減部１４５によりノイズ低減処理がなされ、輪郭強調部１４６により輪郭強調処理がなされ、ホワイトバランス調整部１４７へ供給される。これにより、色バランス調整がなされた撮像データが得られる。そしてホワイトバランス調整部１４７から供給された撮像データは、ガンマ補正部１４８によりガンマ補正がなされることにより、撮像データＤoutとして画像処理部１４から出力される。これにより、この撮像データＤoutに基づいて、任意の焦点（リフォーカス面１２０）に設定した画像が再構築される。
【００５１】
次に、図５および図６を参照して、本実施の形態の撮像装置１の特徴的な作用について詳細に説明する。
【００５２】
本実施の形態の撮像装置１では、マイクロレンズアレイ１２での光線屈折をも考慮し、撮像素子１３の各画素Ｐに対応して形成されるオンチップレンズ１８（集光性の光屈折構造）の構造中心位置が、例えば図５および図６に示したように、画素Ｐの画素中心位置からずれた構造となっている。
【００５３】
具体的には、各マイクロレンズ１２−１に対応する画素領域内では、オンチップレンズ１８における集光構造のピッチｐ１８が、画素Ｐにおける一辺方向の画素サイズｓよりも小さい一方、各マイクロレンズ１２−１に対応する画素領域間の境界領域では、オンチップレンズ１２における集光構造のピッチｐ１８が、画素Ｐにおける一辺方向の画素サイズｓよりも大きくなっている。これにより、各マイクロレンズ１２−１に対応する画素領域内において、マイクロレンズ１２−１の中心部付近の画素Ｐと、周辺部付近の画素Ｐとの間で生ずる、入射光線の傾きに起因する輝度勾配が抑制される。
【００５４】
また、図５および図６に示したいずれの場合においても、各マイクロレンズに対応する画素領域ごとに、集光構造の構造中心位置が、各マイクロレンズ１２−１に対応する画素領域ごとに、オンチップレンズ１８の集光構造の構造中心位置が、各マイクロレンズ１２−１を通過する主光線Ｌ０の光軸近傍においては、画素Ｐの画素中心位置と一致すると共に、この光軸近傍から各マイクロレンズ１２−１の周辺部へ向かうに従って、画素Ｐの画素中心位置から漸次ずれていくようになっている。これにより、撮像レンズ１１の画角および主光線Ｌ０の傾きもが考慮されるため、各画素領域における入射光線の集光効率が高まり、撮像データＤ０のＳ／Ｎ比（信号対雑音比）が向上する。
【００５５】
以上のように本実施の形態では、各マイクロレンズ１２−１に対応する画素領域内では、オンチップレンズ１８における集光構造のピッチｐ１８が、画素Ｐにおける一辺方向の画素サイズｓよりも小さい一方、各マイクロレンズ１２−１に対応する画素領域間の境界領域では、オンチップレンズ１８における集光構造のピッチｐ１８が、画素Ｐにおける一辺方向の画素サイズｓよりも大きくなっているようにしたので、各マイクロレンズ１２−１に対応する画素領域内において、入射光線の傾きに起因する輝度勾配を抑制することができる。よって、光の進行方向の情報を含むようにして撮像データを取得する場合において、この撮像データに基づく画像の画質を向上させることが可能となる。
【００５６】
また、各マイクロレンズに対応する画素領域ごとに、集光構造の構造中心位置が、各マイクロレンズ１２−１に対応する画素領域ごとに、オンチップレンズ１８の集光構造の構造中心位置が、各マイクロレンズ１２−１を通過する主光線Ｌ０の光軸近傍においては、画素Ｐの画素中心位置と一致すると共に、この光軸近傍から各マイクロレンズ１２−１の周辺部へ向かうに従って、画素Ｐの画素中心位置から漸次ずれていくようにしたので、撮像レンズ１１の画角および主光線の傾きもが考慮されるため、各画素領域における入射光線の集光効率が高まり、撮像データＤ０のＳ／Ｎ比（信号対雑音比）が向上する。よって、撮像データに基づく画像の画質をより向上させることが可能となる。
【００５７】
また、図４に示したようなＢａｙｅｒ配列のカラーフィルタ１７を用いて撮像素子１３によりカラー画像を撮影すると共に、画像処理部１４内の補間処理部１４３によってカラー補間処理（例えば、ユニット画像内あるいは複数のユニット画像を跨いだデモザイク処理）を行うようにしているため、従来の撮像装置においては、ユニット画像内に生ずる輝度勾配が原因となり、カラー補間処理が正しく行われずに色ずれや色むらを生じるおそれがあったが、本実施の形態の撮像装置１では、そのようなカラー画像を撮影する際において、色ずれや色むらの発生を抑えることができ、色再現性を向上させることが可能となる。
【００５８】
［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。なお、第１の実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。
【００５９】
本実施の形態のマイクロレンズアレイ１２では、各マイクロレンズ１２−１のピッチをｐ１２、撮像素子１３の撮像画素（後述する画素Ｐ）における一辺方向の画素サイズをｓ、各マイクロレンズ１２−１において一方向に割り当てられる画素Ｐの画素数をｍ（整数）、開口絞り１０とマイクロレンズアレイ１２との間の距離をＬ、マイクロレンズアレイ１２の焦点距離をｆ２とすると、各マイクロレンズ１２−１のピッチｐ１２は、以下の（１１）式で表されるようになっている。
ｐ１２＝（ｍ×ｓ）×｛Ｌ／（Ｌ＋ｆ２）｝  ……（１１）
【００６０】
ここで、図１５および図１６を参照して、本実施の形態の撮像装置の特徴的な作用について、比較例と比較しつつ詳細に説明する。図１５および図１６は、比較例に係る撮像装置（本実施の形態のマイクロレンズアレイ１２の代わりに、各マイクロレンズ１２−１のピッチｐ１２が上記（１）式を満たさないマイクロレンズアレイ１０２を設けたもの）において、像高ずれが生ずる場合（像高ずれ量Δ＞０の場合）の撮像の様子を表したものである。
【００６１】
まず、例えば図１５に示したように、メインレンズである撮像レンズ１１の開口絞り１０の位置が撮像レンズ１１の主点Ｐ０からある程度離れている場合において、マイクロレンズアレイ１２への入射光の主光線Ｌ０が光軸に対してある程度傾いているとき（撮像レンズ１１の主点Ｐ０上に主光線Ｌ０がないとき）、開口絞り１０の位置に依存して、各マイクロレンズ１２−１の形状（円形状）に応じて撮像素子１３上に結像する像（ユニット像）のピッチが、図中の矢印で示したように、符号Ｐ１の位置から符号Ｐ２の位置へとシフトする。
【００６２】
これにより、例えば図１６に示したように、撮像素子１３の受光面（マイクロレンズアレイ１２側の面）において、像高ずれ量Δ（点Ｐｄと点Ｐｅとの間の距離）による像高ずれが発生する。この像高ずれ量Δは、光軸と主光線Ｌ０との間の傾斜角をθ、主光線Ｌ０がマイクロレンズアレイ１０２上に結像する像高（点Ｐｂと点Ｐｆとの間の距離））をｙ、開口絞り１０とマイクロレンズアレイ１２との間の距離（点Ｐａと点Ｐｂとの間の距離）をＬ、マイクロレンズアレイ１２の焦点距離（点Ｐｂと点Ｐｃとの間の距離）をｆ２とすると、以下の（１２）式および（１３）式により表される。また、マイクロレンズアレイ１２上での像高ｙと、撮像素子１３上に結像するユニット像の像高（点Ｐｃと点Ｐｅとの間の距離）との比率は、以下の（１４）式により表される。
ｔａｎθ＝（ｙ／Ｌ）＝（Δ／ｆ２）  …（１２）
Δ＝｛（ｙ×ｆ２）／Ｌ｝            …（１３）
（ｙ＋Δ）／ｙ＝（Ｌ＋ｆ２）／Ｌ    …（１４）
【００６３】
このようにして、図１５および図１６に示した比較例に係る撮像装置では、マイクロレンズアレイ１０２において、各マイクロレンズ１２−１のピッチｐ１２が、前述の（１１）式を満たしていないため、上記（１２）式および（１３）式で表される像高ずれ量Δによる像高ずれが発生してしまっている。言い換えると、前述したように、撮像素子１３により得られる撮像データＤ０が、光の強度分布に加えてその光の進行方向の情報を含んでいる場合であっても、各マイクロレンズ１２−１のピッチｐ１２が撮像素子１３の画素Ｐの整数倍になっていないため、各マイクロレンズ１２−１において一方向に割り当てられる画素Ｐの画素数が変動し、画像処理部１４において、リフォーカス画像や任意視点画像等の再構築画像が得られなくなってしまう場合がある。
【００６４】
これに対し、本実施の形態の撮像装置１では、マイクロレンズアレイ１２において、各マイクロレンズ１２−１のピッチｐ１２が、前述の（１１）式を満たすようになっている。これにより、上記比較例に係る像高補正係数（上記（１４）式の逆数に対応する）の値が常に「１」となるため、撮像素子１３により得られる撮像データＤ０において、撮像素子１３の受光面（マイクロレンズアレイ１２側の面）における像高ずれ（像高ずれ量Δによる像高ずれ）の発生が回避される。
【００６５】
以上のように本実施の形態では、各マイクロレンズ１２−１のピッチｐ１２が上記（１１）式を満たすようにしたので、撮像素子１３により得られる撮像データＤ０において、撮像素子１３の受光面における像高ずれの発生を回避することができる。よって、そのような撮像データＤ０を用いて画像処理部１４により再構築画像を生成するようにすれば、上記第１の実施の形態における効果に加え、適切な再構築画像の生成を可能とすることができる。
【００６６】
また、以下説明する第３の実施の形態のように、像高補正を行う像高補正部（後述する像高補正部１４９）を設ける必要がなく、各マイクロレンズ１２−１のピッチｐ１２の設定のみによって実現することができるため、マイクロレンズアレイ１２のピッチ設計時に想定した開口絞り１０の位置が変位しない限り、簡易に適切な再構築画像の生成を可能とすることができる。
【００６７】
［第３の実施の形態］
次に、本発明の第３の実施の形態について説明する。本実施の形態の撮像装置は、第２の実施の形態の撮像装置において、画像処理部１４の代わりに以下説明する画像処理部１４Ａを設けると共に、第２の実施の形態で説明したマイクロレンズアレイ１２の代わりに、各マイクロレンズ１２−１のピッチｐ１２が前述の（１１）式を満たさないマイクロレンズアレイ（前述のマイクロレンズアレイ１０２に対応）を設けるようにしたものである。なお、第１の実施の形態または第２の実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。
【００６８】
図１７は、本実施の形態に係る撮像装置に用いられる画像処理部（画像処理部１４Ａ）の機能ブロック構成を表すものである。この画像処理部１４Ａは、第１の実施の形態で説明した画像処理部１４において、補間処理部１４３と並び替え処理部１４４との間に、像高補正部１４９を設けるようにしたものである。
【００６９】
像高補正部１４９は、各マイクロレンズ１２−１に対応して撮像素子１３上に結像する像（ユニット像）の一辺方向の大きさ（各マイクロレンズ１２−１のピッチｐ１２に対応する）が、撮像素子１３の画素Ｐにおける一辺方向の画素サイズｓの整数倍となるように、撮像素子１３により得られた撮像データ（具体的には、補間処理部１４３による補間処理後の撮像データＤ１）に対して像高補正を行うことにより、像高補正後の撮像データＤ３を生成し、この撮像データＤ３を並び替え処理部１４４へと供給するものである。具体的には、この像高補正部１４９は、撮像データＤ１に対し、以下の（１５）式および（１６）式で表される補正係数ｋを用いて像高補正を行う（撮像データＤ１に対して補正係数ｋを乗ずることにより、撮像データＤ３を生成する）ようになっている。なお、β＝１のときは、（１６）式により、ｐ１２＝ｍ×ｓとなる。
ｋ＝β×｛Ｌ／（Ｌ＋ｆ２）｝  …（１５）
β＝（ｍ×ｓ）／ｐ１２        …（１６）
【００７０】
このような構成により本実施の形態では、像高補正部１４９によって、マイクロレンズ１２−１に対応して撮像素子１３上に結像する像（ユニット像）の一辺方向の大きさ（各マイクロレンズ１２−１のピッチｐ１２に対応する）が、画素Ｐにおける一辺方向の画素サイズｓの整数倍となるように、撮像データＤ１に対して像高補正がなされるため、そのような像高補正後の撮像データＤ３において、開口絞り１０の位置（（開口絞り１０とマイクロレンズアレイ１２との間の距離Ｌ）によらず、撮像素子１３の受光面（マイクロレンズアレイ１２側の面）における像高ずれ（像高ずれ量Δによる像高ずれ）が生じなくなる。よって、この像高補正後の撮像データＤ３を用いて画像処理部１４Ａにより再構築画像を生成するようにすれば、上記第２の実施の形態と同様に、上記第１の実施の形態における効果に加え、メインレンズ（撮像レンズ１１）の開口絞り１０の位置によらずに適切な再構築画像の生成を可能とすることができる。
【００７１】
以上、第１〜第３の実施の形態を挙げて本発明を説明したが、本発明はこれらの実施の形態に限定されるものではなく、種々の変形が可能である。
【００７２】
例えば、上記第２の実施の形態では、各マイクロレンズ１２−１のピッチｐ１２が上記（１１）式を満たすようにした場合について説明する一方、上記第３の実施の形態では、像高補正部１４９により像高補正を行う場合について説明したが、例えば、これら第２および第３の実施の形態において説明した構成を両方とも兼ね備えるようにしてもよい。すなわち、各マイクロレンズ１２−１のピッチｐ１２が上記（１１）式を満たすようにすると共に、像高補正部１４９により像高補正を行うようにしてもよい。
【００７３】
また、上記実施の形態では、画像処理部１４，１４Ａを、撮像装置の構成要素の一つとして説明したが、必ずしもこの画像処理部が撮像装置の内部に設けられている必要はない。具体的には、画像処理部を、撮像装置とは別の装置、例えばＰＣ（Personal Computer：パーソナルコンピュータ）などに設けておき、撮像装置で得られた撮像データをＰＣへ転送し、ＰＣにおいて画像処理を施すようにすることも可能である。
【００７４】
また、上記実施の形態では、開口絞り１０の位置を撮像レンズの像側（出射側）に配置した構成としているが、これに限定されず、撮像レンズの被写体側（入射側）あるいは、撮像レンズ内部に設けられた構成であってもよい。
【００７５】
また、上記実施の形態では、各画素Ｐの光線入射側に形成される集光部の一例としてオンチップレンズ１８を挙げて説明しているが、このような集光部を、他の光屈折構造や導光構造によって実現するようにしてもよい。
【００７６】
また、上記実施の形態では、カラーフィルタの一例として、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の３原色のカラーフィルタがＲ：Ｇ：Ｂ＝１：２：１の比率で市松状に配置されたＢａｙｅｒ配列のカラーフィルタ（原色フィルタ）を挙げて説明したが、他の配列のカラーフィルタを用いるようにしてもよい。例えば、黄（Ｙ）、マゼンダ（Ｍ）、シアン（Ｃ）および緑（Ｇ）の４補色のカラーフィルタ（黄色カラーフィルタ、マゼンダカラーフィルタ、シアンカラーフィルタおよび緑色カラーフィルタ）がＹ：Ｍ：Ｃ：Ｇ＝１：１：１：１の比率で市松状に配置されたカラーフィルタ（補色フィルタ）を用いるようにしてもよい。
【００７７】
また、上記実施の形態では、撮像データ内の画素データの補間処理の一例としてデモザイク処理を挙げて説明したが、他の補間処理を行うようにしてもよい。
【００７８】
さらに、上記実施の形態では、画像処理部１４において行われる並び替え処理を含む画像処理の一例として、「Light Field Photography」を利用したリフォーカス演算処理について説明したが、そのような並び替え処理を含む画像処理としてはこれには限られず、例えば、焦点ぼかし処理や被写体深度調整処理などに対して適用するようにしてもよい。
【図面の簡単な説明】
【００７９】
【図１】本発明の第１の実施の形態に係る撮像装置の全体構成を表す図である。
【図２】図１に示した開口絞りの概略構成を表す平面図である。
【図３】図１に示したマイクロレンズアレイの概略構成を表す平面図である。
【図４】撮像素子の受光面上に配置されるカラーフィルタの概略構成を表す平面図である。
【図５】マイクロレンズアレイ、オンチップレンズおよび撮像素子の配置構成の一例を表す模式断面図である。
【図６】マイクロレンズアレイ、オンチップレンズおよび撮像素子の配置構成の他の例を表す模式断面図である。
【図７】図１に示した画像処理部の構成例を表す機能ブロック図である。
【図８】マイクロレンズアレイおよび撮像素子における撮像パターンについて説明するための平面図である。
【図９】画像処理部による画像処理の一例を説明するための模式斜視図である。
【図１０】画像処理部によるリフォーカス演算処理を説明するための模式断面図である。
【図１１】リフォーカス演算処理におけるリフォーカス面の設定位置の一例を表す模式断面図である。
【図１２】リフォーカス演算処理におけるリフォーカス面の設定位置の他の例を表す模式断面図である。
【図１３】図１１に示したリフォーカス演算処理の際の並び替え処理の一例を表す模式平面図である。
【図１４】図１２に示したリフォーカス演算処理の際の並び替え処理の他の例を表す模式平面図である。
【図１５】第２の実施の形態の比較例に係る撮像装置における像高ずれについて説明するための図である。
【図１６】第２の実施の形態の比較例に係る撮像装置における像高ずれについて説明するための模式図である。
【図１７】第３の実施の形態に係る画像処理部の構成例を表す機能ブロック図である。
【符号の説明】
【００８０】
１…撮像装置、１０…開口絞り、１０Ａ…開口部、１１…撮像レンズ、１１０…撮像レンズ面、１２…マイクロレンズアレイ、１２−１…マイクロレンズ、１２０，１２０Ａ，１２０Ｂ…リフォーカス面、１３…撮像素子、１３Ｄ…再構築画素領域、１３Ｃ…光軸周辺部、１３Ｅ…画素周辺部、１３−１…受光領域、１３０…撮像面、１４，１４Ａ…画像処理部、１４１…欠陥補正部、１４２…クランプ処理部、１４３…補間処理部、１４４…並び替え処理部、１４５…ノイズ低減部、１４６…輪郭強調部、１４７…ホワイトバランス調整部、１４８…ガンマ補正部、１４９…像高補正部、１５…撮像素子駆動部、１６…制御部、１７，１７Ｒ，１７Ｇ，１７Ｂ…カラーフィルタ、１８…オンチップレンズ、２…撮像対象物（被写体）、ｆ１，ｆ２…焦点距離、Ｌ…開口絞りとマイクロレンズアレイとの間の距離、Ｐ…画素、Ｐ０…主点、ｐ１２…マイクロレンズのピッチ、ｐ１８…オンチップレンズのピッチ、ｓ…画素の一辺の画素サイズ、ｙ…像高、Δ…像高ずれ量、Ｄ０，Ｄ１，Ｄ１０，Ｄ２，Ｄ３，Ｄout…撮像データ、Ｓout…制御信号、Ｌ０…主光線。
【図１】
0004483951.tif 000003
【図２】
0004483951.tif 000004
【図３】
0004483951.tif 000005
【図４】
0004483951.tif 000006
【図５】
0004483951.tif 000007
【図６】
0004483951.tif 000008
【図７】
0004483951.tif 000009
【図８】
0004483951.tif 000010
【図９】
0004483951.tif 000011
【図１０】
0004483951.tif 000012
【図１１】
0004483951.tif 000013
【図１２】
0004483951.tif 000014
【図１３】
0004483951.tif 000015
【図１４】
0004483951.tif 000016
【図１５】
0004483951.tif 000017
【図１６】
0004483951.tif 000018
【図１７】
0004483951.tif 000019