(57)【要約】【課題】所望の視点における光線情報を精度良くかつ効率的に取得することが可能な撮像装置を提供する。【解決手段】撮像装置１は、撮像レンズ１１、マイクロレンズアレイ１２、撮像素子１３、画像処理部１４、撮像素子駆動部１５、制御部１６を備える。マイクロレンズアレイ１２における１つのマイクロレンズ１２Ｍには３×３の画素領域１３Ａが割り当てられるが、この画像領域１３Ａとマイクロレンズ１２Ｍとの間に、横方向に沿って位置ずれｄ１（＝０．５Ｐw）を設ける。左右２視点の光線情報を取得する際に、マイクロレンズのエッジによる影響を回避できると共に、例えば左右２視点に対応する必要な画素データのみを選択的に読み出すことができる。【選択図】図２
2010263501.tif 000002
【特許請求の範囲】
【請求項１】
開口絞りを有する撮像レンズと、
複数の画素が縦方向および横方向に沿って２次元配置されてなると共に、受光した光に基づいて撮像データを取得する撮像素子と、
前記撮像レンズと前記撮像素子との間に配置されると共に、１つのマイクロレンズに前記撮像素子のｍ×ｎ（ｍ，ｎは縦方向および横方向における２以上の数）の画素領域が割り当てられてなるマイクロレンズアレイとを備え、
前記マイクロレンズと前記画素領域との間に１画素分未満の位置ずれを有する
撮像装置。
【請求項２】
前記位置ずれは、縦方向，横方向または斜め方向に沿って設けられている
請求項１に記載の撮像装置。
【請求項３】
前記位置ずれのずれ幅は０．５Ｐw（Ｐw：画素幅）である
請求項１に記載の撮像装置。
【請求項４】
前記ｍおよびｎがそれぞれ３であり、水平方向に沿って前記位置ずれを有する
請求項１に記載の撮像装置。
【請求項５】
前記ｍおよびｎがそれぞれ２であり、垂直方向に沿って前記位置ずれを有する
請求項１に記載の撮像装置。
【請求項６】
前記撮像素子で取得された撮像データに基づいて、前記複数のマイクロレンズ間で互いに同一の位置に配置された画素の画素データをそれぞれ抽出し、抽出された画素データを合成することにより複数の視差画像を生成する画像処理部を備えた
請求項１に記載の撮像装置。
【請求項７】
前記複数の画素のうちの一部の画素においてのみ選択的に画素データの読み出しを行うように前記撮像素子を駆動する撮像素子駆動部を備えた
請求項１ないし請求項６のいずれか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マイクロレンズを用いた撮像装置に関する。
【背景技術】
【０００２】
従来、様々な撮像装置が提案され、開発されている。また、撮像して得られた撮像データに対し、所定の画像処理を施して出力するようにした撮像装置も提案されている。
【０００３】
例えば、特許文献１および非特許文献１には、「Light Field Photography」と呼ばれる手法を用いた撮像装置が提案されている。この撮像装置では、撮像レンズによる撮像対象物の結像面にマイクロレンズアレイが配置され、更にこのマイクロレンズアレイの焦点位置に撮像素子が設けられた構成となっている。マイクロレンズアレイは、その各マイクロレンズに撮像素子上の複数の画素が割り当てられるように配置されている。これにより、撮像素子において取得される撮像データは、光線の強度分布に加えてその進行方向についての情報をも保持するものとなる。このような撮像データは、所定の画像処理が施されることにより、任意の視点からの観察画像（以下、単に視差画像という）や任意の焦点における観察画像として再構築される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第０６／０３９４８６号パンフレット
【非特許文献】
【０００５】
【非特許文献１】Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ここで、再構築された画像の画素数（２次元解像度）は、マイクロレンズアレイのレンズ数と等しくなる。これは再構築画像の２次元座標の情報がマイクロレンズアレイの座標で決まるためである。言い換えると、再構築画像の画素数は、撮像素子の全画素数を各マイクロレンズに割り当てられる画素（以下、単にレンズ割り当て画素という）の数で割った数値となる。一方、レンズ割り当て画素数は、光線の角度情報の分解能、即ち再構築画像の任意の視点や焦点の分解能に等しい。従って、これらの分解能と再構築画像の画素数とは、トレードオフの関係にある。
【０００７】
例えば、再構築画像として高解像度の視差画像を取得したい場合には、レンズ割り当て画素数はできるだけ少ないことが望ましい。また、視差画像をステレオ方式等の３次元表示に用いる際には、左眼用および右眼用の画像として左右２つの視差画像を取得できればよいため、レンズ割り当て画素数は例えば２×２や３×３等の比較的少ない数に設定されることが多い。
【０００８】
しかしながら、レンズ割り当て画素数を減らした場合、メインレンズによるケラレやシェーディング、更にはゴースト等のマイクロレンズのエッジによる影響を受け易くなるため、所望の視点における光線情報を精度良く取得することが困難となる。これは、生成した視差画像の画質劣化につながる。また、特にレンズ割り当て画素を２×２（４つ）とした場合において、マイクロレンズのエッジによる影響を低減しつつ上記のような左右の視差画像を得るためには、４つの画素全ての画素データを抽出した後、これらの画素データを用いて更に積分処理を行わなければならない。このため、視差画像取得の処理手順が増えるだけでなく、積分処理によって視差画像の被写界深度が低下してしまう等の不都合が生じる。従って、所望の視点における光線情報を精度良くかつ効率的に取得することが可能な撮像装置の実現が望まれている。
【０００９】
本発明はかかる問題点に鑑みてなされたもので、その目的は、所望の視点における光線情報を精度良くかつ効率的に取得することが可能な撮像装置を提供することにある。
【課題を解決するための手段】
【００１０】
本発明の撮像装置は、開口絞りを有する撮像レンズと、複数の画素が縦方向および横方向に沿って２次元配置されてなると共に、受光した光に基づいて撮像データを取得する撮像素子と、撮像レンズと撮像素子との間に配置されると共に、１つのマイクロレンズに撮像素子のｍ×ｎ（ｍ，ｎは縦方向および横方向における２以上の数）の画素領域が割り当てられてなるマイクロレンズアレイとを備えたものであり、マイクロレンズと画素領域との間に１画素分未満の位置ずれを有している。
【００１１】
本発明の撮像装置では、撮像レンズと撮像素子との間にマイクロレンズアレイが配置され、このマイクロレンズアレイにおける各マイクロレンズには、所定の画素領域が割り当てられている。これにより、各マイクロレンズを通過した光線は、撮像素子において、光線の強度分布に加えて進行方向の情報をも保持して受光される。マイクロレンズおよび画素領域の間に１画素分未満の位置ずれを有することにより、マイクロレンズのエッジによる影響を低減しつつ必要な画素データのみを間引いて読み出すため、読み出し処理が高速化する。
【発明の効果】
【００１２】
本発明の撮像装置によれば、撮像レンズと撮像素子との間にマイクロレンズアレイを設け、各マイクロレンズに所定の画素領域を割り当てるようにしたので、撮像対象物からの光線を互いに視点の異なる光線ベクトルとして受光することができる。マイクロレンズおよび画素領域の間に１画素分未満の位置ずれを設けたので、所望の視点における光線情報を精度良くかつ効率的に取得することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施の形態に係る撮像装置の全体構成を表す図である。
【図２】図１に示した撮像素子とマイクロレンズとの配置関係を説明するための模式図である。
【図３】撮像素子上で受光される光線について説明するための図である。
【図４】比較例１に係る撮像素子の左右視点における受光領域を表す模式図である。
【図５】図１に示した撮像素子の左右視点における受光領域を表す模式図である。
【図６】変形例１に係る撮像素子とマイクロレンズとの配置関係および受光領域を表す模式図である。
【図７】変形例２に係る撮像素子とマイクロレンズとの配置関係および受光領域を表す模式図である。
【図８】本発明の第２の実施の形態に係る撮像素子とマイクロレンズとの配置関係を説明するための模式図である。
【図９】比較例２に係る撮像素子の読み出し動作を説明するための模式図である。
【図１０】図８に示した撮像素子の読み出し動作を説明するための模式図である。
【図１１】変形例３に係る撮像素子とマイクロレンズとの配置関係および読み出し動作を説明するための模式図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（レンズ割り当て画素を３×３とした場合に、マイクロレンズおよび画素間の位置ずれを横方向に沿って設定した例）
２．変形例１（位置ずれを縦方向に沿って設定した例）
３．変形例２（位置ずれを斜め方向沿って設定した例）
４．第２の実施の形態（レンズ割り当て画素を２×２とした場合に、マイクロレンズおよび画素間の位置ずれを縦方向に沿って設定した例）
５．変形例３（位置ずれを横方向に沿って設定した例）
【００１５】
＜第１の実施の形態＞
（撮像装置１の構成例）
図１は、本発明の第１の実施の形態に係る撮像装置１の全体構成を表すものである。撮像装置１は、撮像対象物２を撮像して、所定の画像処理を施すことにより、画像データＤoutを出力するものである。この撮像装置１は、撮像レンズ１１と、マイクロレンズアレイ１２と、撮像素子１３と、画像処理部１４と、撮像素子駆動部１５と、制御部１６とから構成されている。
【００１６】
撮像レンズ１１は、撮像対象物２を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成されている。この撮像レンズ１１の光入射側には、開口絞り１０が配設されている。
【００１７】
マイクロレンズアレイ１２は、例えばガラスなどの基板上に複数のマイクロレンズが形成されたものである。マイクロレンズアレイ１２は、撮像レンズ１１の焦点面（結像面）に配置され、このマイクロレンズの焦点位置に撮像素子１３が配設されている。各マイクロレンズは、例えば固体レンズや液晶レンズ、回折レンズなどにより構成されている。
【００１８】
撮像素子１３は、マイクロレンズアレイ１２からの光線を受光して撮像データＤ０を取得するものである。この撮像素子１３は、複数の画素がマトリクス状に（縦方向および横方向に沿って）２次元配列したものである。各画素は、ＣＣＤ（Charge Coupled Device：電荷結合素子）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの固体撮像素子により構成されている。撮像素子１３では、マイクロレンズアレイ１２におけるマイクロレンズの２次元座標に対応する画素領域に、撮像対象物２の像が開口絞り１０の開口形状（例えば円形状）に相似形の像として結像するようになっている。
【００１９】
上記複数の画素のうち、ｍ×ｎ（ｍ，ｎは縦方向および横方向における２以上の数、但し本実施の形態では３×３）の配列よりなる画素領域に、上記マイクロレンズアレイ１２における１つのマイクロレンズが割り当てられている。このｍ×ｎの値が大きくなるに従って、即ち１つのマイクロレンズに割り当てられる画素（以下、レンズ割り当て画素という）の数が多くなるに従って、例えば後述する視差画像における角度分解能が高くなる。一方、レンズ割り当て画素数が少なくなる（ｍ×ｎの値が小さくなる）に従って、視差画像の画素数（２次元解像度）が高くなる。このように、視差画像の角度分解能と２次元解像度とはトレードオフの関係となっている。本実施の形態では、レンズ割り当て画素が３×３（９つ）となっている。
【００２０】
この撮像素子１３の受光面上には、複数色のフィルタが規則的に配列してなるカラーフィルタ（図１には図示せず）が設けられている。カラーフィルタとしては、例えば、赤（Ｒ：Red）、緑（Ｇ：Green）および青（Ｂ：Blue）の原色のフィルタが所定の比率で配列されたものが用いられる。このカラーフィルタは、画素単位で色分けされていてもよいし、マイクロレンズ単位で色分けされていてもよい。
【００２１】
（撮像素子とマイクロレンズとの配置関係）
ここで、図２を参照して、撮像素子１３とマイクロレンズとの配置関係について説明する。撮像素子１３では、レンズ割り当て画素が３×３の場合、例えば図２中の太枠で囲った画素領域１３Ａに対して、マイクロレンズ（マイクロレンズ１２０Ｍ）が位置ずれのないように配置されるのが一般的である。これにより、各マイクロレンズを通過してきた光線が画素領域１３Ａの９つの画素のそれぞれにおいて受光されるようになっている。
【００２２】
本実施の形態では、この３×３の画素領域１３Ａとマイクロレンズ（マイクロレンズ１２Ｍ）との間に、位置ずれｄ１が設けられている。即ち、画素領域１３Ａに対してマイクロレンズ１２Ｍが横方向（ここでは、水平方向）に沿ってずれた状態で配置されている。この位置ずれｄ１の大きさ（ずれ幅）は、例えば０．５Ｐw（Ｐw：画素幅）となっている。ずれ幅は０．５Ｐwであることが望ましいが、これに限らず１画素分未満となっていればよい。
【００２３】
画像処理部１４は、撮像素子１３で得られた撮像データＤ０に対して、所定の画像処理を施し、例えば視差画像としての画像データＤoutを出力するものである。この画像処理部１４の具体的な画像処理動作については後述する。
【００２４】
撮像素子駆動部１５は、撮像素子１３を駆動してその受光動作の制御を行うものである。
【００２５】
制御部１６は、画像処理部１４および撮像素子駆動部１５の動作を制御するものであり、例えばマイクロコンピュータなどにより構成されている。
【００２６】
（撮像装置１の作用、効果）
次に、撮像装置１における撮像動作（受光動作）および画像処理動作について説明する。画像処理としては、３次元表示用途として左右２つの視点における視差画像を生成する視差画像生成処理を例に挙げて説明する。
【００２７】
（撮像動作）
撮像装置１では、撮像レンズ１１および撮像素子１３間の所定の位置にマイクロレンズアレイ１２が設けられていることにより、撮像素子１３において、撮像対象物２からの光線は、その強度分布に加え進行方向についての情報が保持された光線ベクトルとして記録される。即ち図３に示したように、撮像レンズ１１のレンズ面において直交座標系（ｕ，ｖ）を、撮像素子１３の撮像面において直交座標系（ｘ，ｙ）をそれぞれ考えると、撮像レンズ１１と撮像素子１３とを通る光線Ｌ１は、４次元関数ＬF（ｘ，ｙ，ｕ，ｖ）で表される。撮像素子１３では、撮像素子駆動部１５による駆動動作に応じて、画素ごとに光線情報の読み出しが行われ、撮像データＤ０が取得される。
【００２８】
ところで、撮像レンズ１１による撮像対象物２の像は、マイクロレンズアレイ１２におけるマイクロレンズの２次元座標に対応して、マイクロレンズごとに撮像素子１３上に結像する。ここで、レンズ割り当て画素が３×３である場合の受光領域について、比較例１と比較しつつ説明する。図４は、比較例１として、画素とマイクロレンズ１２０Ｍとを位置ずれなく配置した場合の左右視点における受光領域を表すものである。但し、光線情報取得のために必要とされる画素には便宜上番号を付している（以下の図においても、同様）。このように、３×３の画素領域１３Ａにマイクロレンズ１２０Ｍが位置ずれなく配置されている場合、左右２つの視点からの光線情報を取得するためには、図４中の「１」と「２」の位置にある画素の画素データを利用する。しかしながら、この「１」と「２」の位置に対応する画素では、その受光領域ＤR，ＤLが、マイクロレンズのエッジの影響を受け易く（図４中の点線で囲った部分）、所望の光線情報を精度良く取得することが困難である。
【００２９】
これに対し、本実施の形態では、画素領域１３Ａおよびマイクロレンズ１２Ａの間で位置ずれｄ１を有している。図５に、撮像素子１３の左右視点における受光領域を示す。このように、本実施の形態では、例えば左右２視点の光線情報を得るためには、図５中の「１」と「２」の位置にある画素の画素データを利用する。即ち、位置ずれｄ１により、「１」と「２」の画素では、その受光領域ＤR，ＤLが、上記比較例１と比べてマイクロレンズのエッジの影響を受けにくいため、所望の光線情報を精度良く取得し易くなる。また、左右２視点における光線情報の取得を目的とする場合には、「１」と「２」以外の画素データは実質的に不要となるため、撮像素子駆動部１５の駆動により、必要とされる「１」と「２」の画素データのみを選択的に読み出すようにすることが望ましい。
【００３０】
また、位置ずれｄ１のずれ幅が０．５Ｐwとなっていることにより、左視点における光線情報と右視点における光線情報とを互いに光軸対称となるように取得することができる。これにより、左右の各視差画像の輝度差を低減して、各視差画像の明るさを均一にすることができる。
【００３１】
他方、撮像素子１３の受光面側には、図示しないカラーフィルタが配置されているため、撮像データＤ０は、このカラーフィルタの色配列に対応したカラーデータとして記録される。上記のようにして得られた撮像データＤ０は、画像処理部１４へ出力される。
【００３２】
（画像処理動作）
画像処理部１４は、撮像データＤ０に基づいて、例えば左右２つの視差画像を生成する。具体的には、撮像データＤ１において、マイクロレンズ１２Ｍごとに、互いに同一の位置の画素（ここでは、図５中の「１」（または「２」）の位置にある画素）における画素データをそれぞれ抽出し、抽出した画素データ同士を合成する。「１」の位置にある画素データ同士の合成により左視点における視差画像を、「２」の位置にある画素データ同士の合成により、右視点における視差画像をそれぞれ生成する。これら左右２枚の視差画像に対して、図示しないカラー補間処理部によりデモザイク処理等のカラー補間処理を施すことにより、カラーの視差画像が画像データＤoutとして出力される。なお、画像処理部１４は、例えば欠陥検出部、クランプ処理部、欠陥補正処理部、カラー補間処理部、ノイズ低減処理部、輪郭強調処理部、ホワイトバランス調整処理部およびガンマ補正処理部等（いずれも図示せず）を備えていてもよい。
【００３３】
以上のように、本実施の形態では、撮像レンズ１１と撮像素子１３との間にマイクロレンズアレイ１２を配置したので、撮像対称物２からの光線を、互いに視点の異なる光線ベクトルとして受光することができる。このとき、３×３の配列を有する画素領域１３Ａに対してマイクロレンズが横方向に沿ってずれて配置されていることにより、マイクロレンズのエッジによる影響を回避して、例えば左視点および右視点における光線情報を精度良く取得することができる。また、この場合、必要な画素データ（例えば図５中の「１」と「２」の位置にある画素の画素データ）のみを選択的に読み出すようにすれば、高速なデータ処理を実現することが可能となる。よって、所望の視点における光線情報を精度良くかつ効率的に取得することができる。また、これにより、画質劣化の少ない視差画像を生成することが可能となる。
【００３４】
更に、上記のようにして生成した視差画像は、例えばステレオ方式や時分割方式の３次元画像表示に好適に用いることができる。ここで、３次元表示システムの一例として、一般的なステレオ方式のシステムについて説明する。ステレオ方式では、例えば、人間の眼に相当する２台のカメラで撮影した左眼用および右眼用の２枚の画像（２枚の視差画像）を、２台のプロジェクタを用いてスクリーン上に同時に投影し、このスクリーン上の映像を視聴者が偏光眼鏡をかけて観察する。このとき、２台のプロジェクタには、左眼用および右眼用の各投射光として互いに直交する偏光が用いられ、偏光眼鏡として、左眼と右眼とにおいて互いに直交する偏光のみをそれぞれ透過するものが用いられる。偏光眼鏡を用いて、左眼用の画像を左眼、右眼用の画像を右眼でそれぞれ観察することにより、観察者には、奥行き感のある立体画像として認識される。
【００３５】
本実施の形態では、撮像装置１により左右２枚の視差画像を生成することができるため、上記のような２台分のカメラは不要である。撮像装置１において生成した左右２枚の視差画像を上記のようなプロジェクタを用いてスクリーン上に投影し、これを偏光眼鏡で観察することで、３次元表示を実現することができる。よって、簡易な構成で良好な表示品質を有する３次元表示システムを実現することができる。
【００３６】
次に、上記第１の実施の形態の撮像装置１における撮像素子１３とマイクロレンズ１２Ｍとの配置関係についての変形例（変形例１，２）について説明する。変形例１，２では、この撮像素子１３とマイクロレンズ１２Ｍとの配置関係が異なっていること以外は、上記第１の実施の形態の撮像装置１と同様の構成となっている。
【００３７】
（変形例１）
図６は、変形例１に係る撮像素子１３とマイクロレンズ１２Ｍとの配置関係について表すものである。本変形例では、撮像素子１３における３×３の画素領域１３Ａに対して、マイクロレンズ１２Ｍが縦方向（ここでは、垂直方向）に沿ってずれた状態で配置されている（位置ずれｄ２）。位置ずれｄ２は、上記第１の実施の形態の位置ずれｄ１と同様、０．５Ｐwとなっていることが望ましい。
【００３８】
変形例１では、このような配置関係により、例えば上視点および下視点に対応する画素の受光領域ＤB，ＤUにおけるマイクロレンズのエッジによる影響を回避して、上下２視点における光線情報を精度良く得ることができる。また、上記第１の実施の形態と同様、これら上下の画素データのみを選択的に読み出すようにすれば、高速なデータ処理を実現することが可能となる。よって、上記第１の実施の形態と同等の効果を得ることができる。
【００３９】
（変形例２）
図７は、変形例２に係る撮像素子１３とマイクロレンズ１２Ｍとの配置関係について表すものである。本変形例では、撮像素子１３における３×３の画素領域１３Ａに対して、マイクロレンズ１２Ｍが横方向および縦方向の双方に沿って、即ち斜め方向に沿ってずれた状態で配置されている（位置ずれｄ３）。位置ずれｄ３のずれ幅は、「１」〜「４」の各位置にある画素がマイクロレンズ１２Ｍに囲まれる領域内に移動するような大きさに設定され、望ましくは上記４つの画素が互いに光軸対称となるような大きさに設定されている。
【００４０】
変形例２では、このような配置関係により、レンズ割り当て画素が３×３の９つである場合には、その９つの画素のうち４つの画素（「１」〜「４」の画素）の受光領域において、マイクロレンズのエッジによる影響を回避させることができる。前述の比較例１に係る配置関係、即ち画素領域１３Ａに対して位置ずれなくマイクロレンズを配置した場合には、図４に示したように９つの画素のうち中央の画素を除いた８つの周辺画素の全てにおいてマイクロレンズのエッジによる影響を受けてしまう。このため、多視点における各光線情報を精度良く得ることが困難であったが、本変形例の配置関係によれば、少なくとも４視点における光線情報を精度良く取得することが可能となる。また、これら４つの画素データのみを選択的に読み出すようにすれば、高速なデータ処理を実現することが可能となる。よって、上記第１の実施の形態と同等の効果を得ることができる。
【００４１】
＜第２の実施の形態＞
図８は、本発明の第２の実施の形態に係る撮像素子とマイクロレンズとの配置関係について表すものである。本実施の形態では、レンズ割り当て画素および撮像素子１３とマイクロレンズ１７Ｍとの配置関係以外については、上記第１の実施の形態と同様の構成となっている。即ち、本実施の形態に係る配置関係は、上記第１の実施の形態に係る撮像装置１に適用されるものである。以下では、上記第１の実施の形態と同様の構成要素については同一の符号を付し、適宜説明を省略する。
【００４２】
（撮像素子１３とマイクロレンズ１７Ｍの配置関係）
本実施の形態では、レンズ割り当て画素が２×２（４つ）となっている。この場合、例えば図８中の太枠で囲った画素領域１３Ｂに対して、マイクロレンズ（マイクロレンズ１７０Ｍ）が位置ずれのないように配置されるのが一般的である。これにより、各マイクロレンズを通過してきた光線が画素領域１３Ａの４つの画素のそれぞれにおいて受光されるようになっている。
【００４３】
本実施の形態では、この２×２の画素領域１３Ｂとマイクロレンズ（マイクロレンズ１７Ｍ）との間に、位置ずれｄ２が設けられている。即ち、画素領域１３Ｂに対してマイクロレンズ１７Ｍが縦方向（ここでは、垂直方向）に沿ってずれた状態で配置されている。
【００４４】
（第２の実施の形態の作用、効果）
次に、本実施の形態の作用および効果について、比較例２と比較しつつ説明する。図９は、比較例２として、撮像素子１３０とマイクロレンズ１７０Ｍとを位置ずれなく配置した場合の読み出し動作を説明するものである。図１０は、本実施の形態の読み出し動作を説明するためのものである。
【００４５】
本実施の形態では、撮像素子１３において、上記第１の実施の形態と同様にして撮像対象物２の左右２視点における光線情報が取得される。ここで、図９に示した比較例２では、光軸対象となる左右２視点における光線情報を得るために、上下の画素同士、即ち図９中の「１」と「３」同士および「２」と「４」同士）を積分する必要がある。このため、レンズ割り当て画素「１」〜「４」の全ての画素データを読み出す必要があり、マイクロレンズ１７０Ｍごとに２つの読み出しライン（Ｒ１，Ｒ２）を要する。また、比較例２では、「１」〜「４」の全ての画素においてマイクロレンズ１７０Ｍのエッジによる影響が大きいため、光線情報を精度良く取得しにくい。更に、これら４つの画素データに積分処理を施すため、処理手順を増えるだけでなく、後段の画像処理において視差画像を生成した場合に、その被写界深度が浅くなってしまうという不都合が生じる。
【００４６】
これに対し、本実施の形態では、図１０に示したように、「１」と「２」の位置にある画素の画素データをマイクロレンズ１７Ｍごとに読み出せば、光軸対象となる左右２視点における光線情報が得られる。即ち、位置ずれｄ２を有する配置関係を利用することにより、マイクロレンズ１７Ｍごとに１つの読み出しラインＲ１において読み出しを行えばよい。よって、必要な画素データのみを選択的に読み出して、高速なデータ処理を実現することができる。また、この場合、上記比較例２のような積分処理も不要であるため、被写界深度の深い視差画像を生成することができる。
【００４７】
また、図１０において、「１」と「２」の位置にある画素の受光領域ＤR，ＤLでは、マイクロレンズのエッジによる影響を僅かに受けるものの、上記比較例２に比べてその影響を低減することができる。よって、本実施の形態においても、上記第１の実施の形態と同様、所望の視点における光線情報を精度良くかつ効率的に取得することが可能となる。
【００４８】
（変形例３）
図１１は、変形例３に係る撮像素子１３とマイクロレンズ１７Ｍとの配置関係について表すものである。本変形例では、撮像素子１３における２×２の画素領域１３Ｂに対して、マイクロレンズ１７Ｍが横方向（ここでは、水平方向）に沿ってずれた状態で配置されている（位置ずれｄ１）。
【００４９】
変形例３では、このような配置関係により、例えば上視点および下視点に対応する画素（図１１中の「１」と「２」の位置の画素）の受光領域ＤB，ＤUにおけるマイクロレンズのエッジによる影響を低減して、上下２視点における光線情報を精度良く得易くなる。また、これら「１」および「２」の位置の必要な画素データのみを１つの読み出しラインＲ１で読み出すことができ、高速なデータ処理を実現することが可能となる。よって、上記第２の実施の形態と同等の効果を得ることができる。
【００５０】
以上、実施の形態および変形例を挙げて本発明を説明したが、本発明は上記実施の形態に限定されるものではなく、種々の変形が可能である。例えば、上記実施の形態では、レンズ割り当て画素（ｍ×ｎ）として２×２または３×３である場合を例に挙げて説明したが、レンズ割り当て画素は、これに限定されず、ｍおよびｎが４以上であってもよい。
【００５１】
また、上記実施の形態等では、撮像素子１３において取得した撮像データから生成した視差画像を、ステレオ方式の３次元表示に適用する場合を例に挙げて説明したが、本発明で得られる視差情報は、上記３次元表示に限らず、他の用途にも用いることができる。例えば、撮像データに基づいて、上述したような手法により少なくとも２枚の視差画像を生成し、これらの視差画像に基づいて所定の相関演算処理を施すことにより、測定対象までの距離情報を得ることも可能である。
【符号の説明】
【００５２】
１…撮像装置、１１…撮像レンズ、１２…マイクロレンズアレイ、１２Ｍ，１７Ｍ…マイクロレンズ、１３…撮像素子、１３Ａ，１３Ｂ…画素領域、１４…画像処理部、１５…撮像素子駆動部、１６…制御部、１３０…カラーフィルタ、２…撮像対象物、Ｄ０…撮像データ、Ｄout…画像データ、ｄ１〜ｄ３…位置ずれ。
【図１】
2010263501.tif 000003
【図２】
2010263501.tif 000004
【図３】
2010263501.tif 000005
【図４】
2010263501.tif 000006
【図５】
2010263501.tif 000007
【図６】
2010263501.tif 000008
【図７】
2010263501.tif 000009
【図８】
2010263501.tif 000010
【図９】
2010263501.tif 000011
【図１０】
2010263501.tif 000012
【図１１】
2010263501.tif 000013