(57)【要約】【課題】画素間のクロストークによる色再現性の低下を抑制する。【解決手段】実施形態のフィルタアレイ付マイクロレンズは、赤外領域の光を選択して透過させる複数の第１の光学フィルタと可視光領域に含まれる第１波長領域の光を選択して透過する複数の第２の光学フィルタとを含むフィルタアレイと、複数種類の光学フィルタそれぞれと対応する複数のマイクロレンズを含むマイクロレンズアレイとを備える。【選択図】図８
2015185943.tif 000002
【特許請求の範囲】
【請求項１】
赤外領域の光を選択して透過させる複数の第１の光学フィルタと可視光領域に含まれる第１波長領域の光を選択して透過する複数の第２の光学フィルタとを含むフィルタアレイと、
前記複数種類の光学フィルタそれぞれと対応する複数のマイクロレンズを含むマイクロレンズアレイと、
を備えるフィルタアレイ付マイクロレンズ。
【請求項２】
前記複数の第１の光学フィルタは、第１フィルタと、前記第１フィルタとの距離が最も短い第２フィルタと、前記第２フィルタを除いて前記第１フィルタとの距離が最も近い第３フィルタと、
を含み、
前記第２フィルタと前記第３フィルタは前記第１フィルタに対して非点対称に配置される請求項１に記載のフィルタアレイ付マイクロレンズ。
【請求項３】
前記フィルタアレイは、
可視光領域に含まれ前記第１波長領域と異なる第２波長領域の光を選択して透過する複数の第３の光学フィルタと、可視光領域に含まれ前記第１波長領域および前記第２波長領域と異なる第３波長領域の光を選択して透過する複数の第４の光学フィルタと、
をさらに含む請求項１または請求項２に記載のフィルタアレイ付マイクロレンズ。
【請求項４】
前記フィルタアレイは、複数の第１のセットを含み、
前記複数の第１のセットそれぞれは、２つの前記第１の光学フィルタと２つの前記第２の光学フィルタとが交互に第１方向に並ぶ第１の配列と、２つの前記第１の光学フィルタと２つの前記第２の光学フィルタとが交互に第１の方向に並び前記第１の方向と交差する第２の方向に前記第１の配列と並ぶ第２の配列と、
を備え、
前記第１の配列と前記第２の配列とは前記第１の方向に前記第１の光学フィルタ１.５個分ずれて並び、
前記複数の第１のセットが前記第２の方向に並ぶ、請求項１または請求項２に記載のフィルタアレイ付マイクロレンズ。
【請求項５】
前記フィルタアレイは、複数の第２のセットを含み、
前記複数の第２のセットそれぞれは、第３の方向に並ぶ第１の光学フィルタを有する第３の配列と、前記第１の方向に並ぶ第２の光学フィルタを有し前記第３の方向と交わる第４の方向に前記第３の配列と並ぶ第４の配列と、
を備え、
前記複数の第２のセットが前記第４の方向に並ぶ、請求項１または請求項２に記載のフィルタアレイ付きマイクロレンズ。
【請求項６】
前記フィルタアレイは、複数の第３のセットを含み、
前記複数の第３のセットそれぞれは、第５の方向に並ぶ第１の光学フィルタを有する第５の配列と、前記第５の方向に並ぶ第２の光学フィルタを有し前記第５の方向と交わる第６の方向に前記第５の配列と並ぶ第６の配列と、前記第５の方向に並ぶ第３の光学フィルタを有し第６の方向に前記第６の配列と並ぶ第７の配列と、前記第５の方向に並ぶ第４の光学フィルタを有し前記第６の方向に前記第７の配列と並ぶ第８の配列と、
を備え、
前記複数の第３のセットが前記第６の方向に並ぶ、請求項３に記載のフィルタアレイ付きマイクロレンズ。
【請求項７】
前記フィルタアレイは、複数の第９の配列を含み、
前記複数の第９の配列それぞれは、第７の方向に並ぶ複数の第１の周期を有し、
前記複数の第１の周期それぞれは、前記第７の方向に並ぶ前記第１の光学フィルタと前記第２の光学フィルタと前記第３の光学フィルタと前記第４の光学フィルタとを備え、
前記複数の第９の配列は前記第７の方向と交わる第８の方向に並び、
隣り合う前記第９の配列同士が前記第７の方向に０．５周期ずれて並ぶ、請求項３に記載のフィルタアレイ付きマイクロレンズ。
【請求項８】
前記フィルタアレイは、複数の第４のセットを含み、
前記複数の第４のセットは、
２つの第１の光学フィルタと、１つの第２の光学フィルタと、２つの第３の光学フィルタと、１つの第４の光学フィルタと、がこの順に第９の方向に並べられた第１０の配列と、
１つの第１の光学フィルタと、２つの第２の光学フィルタと、１つの第３の光学フィルタと、２つの第４の光学フィルタと、がこの順に前記第９の方向に並べられた第１１の配列と、
２つの第１の光学フィルタと、１つの第２の光学フィルタと、２つの第３の光学フィルタと、１つの第４の光学フィルタと、がこの順に第９の方向に並べられた第１２の配列と、
１つの第１の光学フィルタと、２つの第２の光学フィルタと、１つの第３の光学フィルタと、２つの第４の光学フィルタと、がこの順に前記第９の方向に並べられた第１３の配列と、
を備え、
前記第１０の配列と前記第１１の配列と前記第１２の配列と前記第１３の配列とが、この順に前記第９の方向と交わる第１０の方向に並び、
前記第１０の配列の前記第１の光学フィルタと前記第１１の配列の前記第１の光学フィルタとが前記第１０の方向において接し、
前記第１１の配列の前記第１の光学フィルタと前記第１２の配列の前記第１の光学フィルタとが前記第１０の方向において前記第１の光学フィルタ２．５個分ずれ、
前記第１２の配列の前記第１の光学フィルタと前記第１３の配列の前記第１の光学フィルタとが前記第１０の方向において接し、
前記複数の第４のセットが前記第１０の方向に並ぶ、
請求項３に記載のフィルタアレイ付マイクロレンズ。
【請求項９】
前記フィルタアレイは複数の第５のセットを含み、
前記複数の第５のセットは、
２つの前記第１の光学フィルタと２つの前記第２の光学フィルタとが交互に第１１の方向に並ぶ第１４の配列と、
２つの前記第１の光学フィルタと２つの前記第２の光学フィルタとが交互に第１１の方向に並ぶ第１５の配列と、
２つの前記第３の光学フィルタと２つの前記第４の光学フィルタとが交互に第１１の方向に並ぶ第１６の配列と、
２つの前記第３の光学フィルタと２つの前記第４の光学フィルタとが交互に第１１の方向に並ぶ第１７の配列と、
を備え、
前記第１４の配列と前記第１５の配列と前記第１６の配列と前記第１７の配列とが前記第１１の方向と交わる第１２の方向にこの順に並び、
前記複数の第５のセットそれぞれが前記第１２の方向に並ぶ、請求項３に記載のフィルタアレイ付マイクロレンズ。
【請求項１０】
前記第１の光学フィルタおよび前記第２の光学フィルタが六方配列される、請求項４または請求項５に記載のフィルタアレイ付マイクロレンズ。
【請求項１１】
前記第１の光学フィルタと前記第２の光学フィルタと前記第３の光学フィルタと前記第４の光学フィルタとが六方配列される、請求項６乃至請求項９の何れか１項に記載のフィルタアレイ付マイクロレンズ。
【請求項１２】
請求項１乃至請求項１１の何れか１項に記載のフィルタアレイと、
マイクロレンズアレイと、
前記マイクロレンズアレイに被写体からの光を照射させるメインレンズと、
前記メインレンズ、前記マイクロレンズアレイおよび前記フィルタアレイを通って光が照射される撮像素子と
を備える固体撮像装置。
【請求項１３】
前記撮像素子からの画像信号の読み出しタイミングを制御する制御部と、
前記画像信号に対して信号処理を行う信号処理部と
をさらに備える請求項１２に記載の固体撮像装置。
【請求項１４】
前記制御部は、
前記撮像素子から前記画素信号の読み出しを、１フレーム期間内において第１の期間と該第１の期間よりも長い第２の期間とでそれぞれ行うように制御する請求項１３に記載の固体撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フィルタアレイ付マイクロレンズおよび固体撮像装置に関する。
【背景技術】
【０００２】
２次元アレイ情報として奥行方向の距離を取得可能な撮像技術に関し、参照光を用いる方法や、複数のカメラを使用してステレオ測距を行う方法など、様々な方法が検討されている。近年では、民生用途での新たな測距デバイスとして、比較的廉価な製品の需要が高まっている。
【０００３】
このような、距離取得のための撮像技術において、システムコストを抑制するために参照光を用いない撮像方式の一つとして、視差を利用した三角測量方式がある。この方式を適用可能なカメラとしては、ステレオカメラや多眼カメラが知られている。一方、ステレオカメラや多眼カメラは、複数台のカメラを用いるものであり、システムの巨大化や部品点数の増大により故障率が増大してしまうおそれがある。
【０００４】
一方、撮像光学系の構造として、マイクロレンズアレイを画素上方に配置し、各マイクロレンズ下部には複数の画素を配置し、メインレンズの像をさらにマイクロレンズアレイを用いて画素上に結像する構造が提案されている。この構造により、画素ブロック単位で視差を有する画像群を取得することが可能であり、この視差により、被写体の距離推定や距離情報を元にしたリフォーカス処理等が可能となる。この、メインレンズの像をさらにマイクロレンズアレイを用いて結像する光学構成を、リフォーカス光学系と呼ぶ。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】T.  Georgiev  and  A.  Lumsdaine,  COMPUTER  GRAPHICS  forum,  Volume  29  (2010),  number  6  pp.  1955-1968,  "Reducing  Plenoptic  Camera  Artifacts"
【発明の概要】
【発明が解決しようとする課題】
【０００６】
撮像素子により撮像された画像の画質を悪化させる要因の一つに、画素に入射した光が隣接する画素内に進入するクロストークが挙げられる。例えば、一般的な撮像素子に用いられるベイヤ配列においてクロストークが生じた場合、各画素において異なる色成分の光を誤検出する混色が生じてしまい、撮像された画像の色再現性が低下してしまう。特に、ＩＲ（赤外光）を検出するＩＲ検出画素を持つ撮像素子の場合、可視光よりも波長が長い赤外光は画素内で減衰しにくく、隣接画素間でのクロストークが容易に発生してしまう。
【０００７】
上述したリフォーカス光学系においては、メインレンズからの光は、各マイクロレンズを通り、各マイクロレンズの位置に応じた入射角を以って撮像素子の受光面に受光される。したがって、リフォーカス光学系においても、上述した画素間でのクロストークが発生するおそれがある。
【０００８】
本発明が解決しようとする課題は、画素間のクロストークによる色再現性の低下を抑制できるフィルタアレイ付マイクロレンズおよび固体撮像装置を提供することにある。
【課題を解決するための手段】
【０００９】
実施形態のフィルタアレイ付マイクロレンズは、赤外領域の光を選択して透過させる複数の第１の光学フィルタと可視光領域に含まれる第１波長領域の光を選択して透過する複数の第２の光学フィルタとを含むフィルタアレイと、複数種類の光学フィルタそれぞれと対応する複数のマイクロレンズを含むマイクロレンズアレイとを備える。
【図面の簡単な説明】
【００１０】
【図１】図１は、第１の実施形態に適用可能な撮像装置の一例の構成を示すブロック図である。
【図２】図２は、第１の実施形態に適用可能な光学系の一例の構成を示す図である。
【図３】図３は、第１の実施形態に適用可能な光学系の別の例の構成を示す図である。
【図４】図４は、第１の実施形態に係るＲＡＷ画像の例を模式的に示す図である。
【図５】図５は、第１の実施形態に係るリフォーカス処理を説明するための図である。
【図６】図６は、ベイヤ配列のカラーフィルタアレイの例を示す図である。
【図７】図７は、既知の構成による撮像素子の一例の構成を示す図である。
【図８】図８は、第１の実施形態に係る光学系の一例の構成を示す図である。
【図９−１】図９−１は、第１の実施形態による撮像素子の一例の構成を示す図である。
【図９−２】図９−２は、第１の実施形態による撮像素子の他の例の構成を示す図である。
【図１０】図１０は、第１の実施形態に係る光学フィルタの形状の例を示す図である。
【図１１】図１１は、実施形態に係る、画像処理部の処理を説明するための図である。
【図１２】図１２は、第１の実施形態に係る最小繰り返し単位について説明するための図である。
【図１３】図１３は、第１の実施形態に係る最小再構成倍率についてより具体的に説明するための図である。
【図１４】図１４は、第１の実施形態に係るカラーフィルタの配列を説明するための図である。
【図１５】図１５は、第１の実施形態に係る、各光学フィルタの位置関係を説明するための図である。
【図１６】図１６は、第１の実施形態に係る光学フィルタ配列の具体例を示す図である。
【図１７】図１７は、第１の実施形態に係る光学フィルタ配列の具体例を示す図である。
【図１８】図１８は、第１の実施形態に係る光学フィルタ配列の具体例を示す図である。
【図１９】図１９は、第１の実施形態に係る光学フィルタ配列の具体例を示す図である。
【図２０】図２０は、第２の実施形態に係る撮像装置の一例の構成を示すブロック図である。
【図２１】図２１は、第２の実施形態に係るタイミング制御の例を示す図である。
【図２２】図２２は、第２の実施形態に係る、第１の期間および第２の期間で取得された画像データから４種類の画像データが取得できることを説明するための図である。
【図２３】図２３は、第２の実施形態に係る、ＩＳＰにおける処理の流れを概略的に示すフローチャートである。
【図２４】図２４は、第２の実施形態に係る距離計算の処理の例を示すフローチャートである。
【図２５】図２５は、第２の実施形態に係る、各マイクロレンズ像のテクスチャ量の算出方法を説明するための図である。
【図２６】図２６は、第２の実施形態に係る距離マップを概念的に示す図である。
【発明を実施するための形態】
【００１１】
以下、実施形態に係るフィルタアレイ付マイクロレンズおよび固体撮像装置について説明する。図１は、第１の実施形態に適用可能な撮像装置の一例の構成を示す。図１において、撮像装置１は、レンズユニットとしてのカメラモジュール１０と、ＩＳＰ(Image  Signal  Processor)２０とを有する。
【００１２】
カメラモジュール１０は、メインレンズ１１を含む結像光学系、マイクロレンズアレイ１２および撮像素子１３を含む固体撮像素子と、撮像部１４と、信号処理部１５とを有する。結像光学系は、１以上のレンズを含み、被写体からの光をマイクロレンズアレイ１２および撮像素子１３に導く。結像光学系に含まれるレンズのうち、最も撮像素子１３側のレンズをメインレンズ１１とする。
【００１３】
撮像素子１３は、例えばＣＣＤ(Charge  Coupled  Device)やＣＭＯＳ(Complementary  Metal  Oxide  Semiconductor)イメージャを用い、それぞれ受光した光を光電変換により電気信号に変換して出力する複数の画素からなる画素アレイを含む。
【００１４】
マイクロレンズアレイ１２は、所定の規則で配列された複数のマイクロレンズ１２０、１２０、…を含む。マイクロレンズアレイ１２は、メインレンズ１１によって結像面に結像する光線群を、各マイクロレンズ１２０、１２０、…に対応する撮像素子１３上の複数の画素を含む画素ブロックに対して縮小最結像させる。
【００１５】
なお、図１では省略されているが、マイクロレンズアレイ１２の撮像素子１３側またはメインレンズ１１側には、第１の実施形態に係るフィルタアレイが設けられる。フィルタアレイは、赤外領域の光を選択的に透過させる赤外透過フィルタを含む、複数種類の光学フィルタを有して構成される。フィルタアレイを構成する複数種類の光学フィルタは、１種類の光学フィルタが１のマイクロレンズ１２０に対応するように構成される。
【００１６】
赤外透過フィルタを用いることで、夜間や室内など、暗所での撮像にも適応することが可能となる。
【００１７】
フィルタアレイに含まれる複数種類の光学フィルタのうち赤外透過フィルタ以外の光学フィルタは、例えばＲ（赤色）、Ｇ（緑色）およびＢ（青色）の三原色をそれぞれ分離する複数のカラーフィルタを適用することができる。これに限らず、赤外透過フィルタ以外の光学フィルタとして、可視光領域の光を透過する無色のフィルタ（Ｗ色のフィルタと呼ぶ）を用いてもよい。無色のフィルタの代わりに、可視光領域の光を透過するカラーフィルタの一部を開口としても良い。
【００１８】
なお、カメラモジュール１０は、例えばメインレンズ１１を含む結像光学系と、その他の部分とを分離して構成し、メインレンズ１１を交換可能とすることができる。これに限らず、カメラモジュール１０は、メインレンズ１１を含む結像光学系とマイクロレンズアレイ１２とを１の筐体に収めたユニットとして構成することも可能である。この場合には、結像光学系とマイクロレンズアレイ１２とを含むユニットが交換可能とされる。
【００１９】
撮像部１４は、撮像素子１３の各画素を駆動するための駆動回路を含む。駆動回路は、例えば駆動する画素を垂直方向に、水平ライン（行）単位で順次選択する垂直選択回路と、列単位で順次選択する水平選択回路と、これら垂直選択回路および水平選択回路を各種パルスにて駆動するタイミングジェネレータとを含む。撮像部１４は、垂直選択回路および水平選択回路で選択された画素から、受光した光を光電変換した電荷を読み出し、読み出した電荷を電気信号に変換して出力する。
【００２０】
信号処理部１５は、撮像部１４から出力されたアナログ信号による電気信号に対してゲイン調整処理、ノイズ除去処理および増幅処理などを施す。信号処理部１５は、Ａ／Ｄ変換回路を有し、これら各処理を施された信号をディジタル信号に変換し、ＲＡＷ画像の画像データとして出力する。
【００２１】
ＩＳＰ２０は、カメラモジュールＩ／Ｆ２１と、メモリ２２と、画像処理部２３と、出力Ｉ／Ｆ２４とを有する。カメラモジュールＩ／Ｆ２１は、カメラモジュール１０に対する信号のインターフェイスである。カメラモジュール１０の信号処理部１５から出力されたＲＡＷ画像の画像データは、カメラモジュールＩ／Ｆ２１を介して、例えばフレームメモリであるメモリ２２に格納される。
【００２２】
画像処理部２３は、メモリ２２に格納された画像データのうち、マイクロレンズアレイ１２およびカラーフィルタアレイを通った光に基づく画像データに基づき、後述するようにして、各マイクロレンズに対応する領域の画像を拡大し、位置をずらして重ね合わせるリフォーカス処理を行うことにより、再構成したリフォーカス画像を得る。このリフォーカス画像は、出力Ｉ／Ｆ２４から出力され、図示されない表示デバイスに表示したり、外部の記憶媒体に記憶したりする。
【００２３】
なお、メモリ２２に格納された画像データを外部の記憶媒体に記憶させることもできる。この場合には、外部の記憶媒体から読み出した画像データを、例えばカメラモジュールＩ／Ｆ２１を介してメモリ２２に格納し、画像処理部２３でリフォーカス処理を行うことで、所望のタイミングでリフォーカス画像を得ることができる。
【００２４】
（第１の実施形態に適用可能な光学系）
次に、第１の実施形態に適用可能な光学系について説明する。ここで、光学系は、メインレンズ１１、マイクロレンズアレイ１２および撮像素子１３を含む。図２は、第１の実施形態に適用可能な光学系の一例の構成を示す。図２において、距離Ａは、メインレンズ１１と被写体との間の距離、距離Ｂは、メインレンズ１１による結像距離をそれぞれ示す。また、距離Ｃは、メインレンズ１１の結像面とマイクロレンズアレイ１２の各マイクロレンズとの間の最短距離、距離Ｄは、マイクロレンズアレイ１２と撮像素子１３との間の距離をそれぞれ示す。メインレンズ１１は、焦点距離ｆを有し、各マイクロレンズ１２０、１２０、…は、焦点距離ｇを有する。以下、説明のため、光軸に対して被写体側を前方、撮像素子１３側を後方と定義する。
【００２５】
光学系内において、マイクロレンズアレイ１２は、メインレンズ１１からの光線を各マイクロレンズ１２０、１２０、…により各視点の像として撮像素子１３上に結像させる。なお、図示は省略するが、各マイクロレンズ１２０、１２０、…に対して、ＲＧＢ各色のうち１色のカラーフィルタがそれぞれ設けられる。
【００２６】
なお、図２の例では、マイクロレンズアレイ１２がメインレンズ１１の結像面より後方に設置されている。これはこの例に限定されず、例えば図３に例示されるように、マイクロレンズアレイ１２がメインレンズ１１の結像面より前方に設置されていてもよい。
【００２７】
図４は、第１の実施形態に係る、メインレンズ１１による結像面を撮像素子１３の後方側に位置させた場合の、撮像素子１３の出力に基づく画像データの例を模式的に示す。マイクロレンズアレイ１２の各マイクロレンズ１２０、１２０、…により撮像素子１３の受光面に結像されたマイクロレンズ像３０、３０、…がマイクロレンズの配列に対応して配置された画像３００が、ＲＡＷ画像による画像データとして信号処理部１５から出力される。図４によれば、同一の被写体（例えば数字の「３」）が、各マイクロレンズ１２０、１２０、…の配列に応じて、各マイクロレンズ像３０において所定量ずつずれて撮像されていることが分かる。
【００２８】
ここで、各マイクロレンズ１２０、１２０、…による各マイクロレンズ像３０、３０、…は、撮像素子１３上に重なり無く結像されることが望ましい。また、図４では、マイクロレンズアレイ１２において各マイクロレンズ１２０、１２０、…が六方格子の格子点上に配置された六方配列とされているが、各マイクロレンズ１２０、１２０、…の配列は、この例に限定されず、他の配列でもよい。例えば、各マイクロレンズ１２０、１２０、…は、正方格子上に配置されていてもよい。また、以下では、光学系は、図２に示す、マイクロレンズアレイ１２がメインレンズ１１の結像面より後方に設置されているものとする。
【００２９】
次に、リフォーカス画像作成の原理について、上述した図２を参照しながら説明する。図２において、距離Ｂ＋距離Ｃを距離Ｅとする。距離Ｅは、メインレンズ１１の位置が固定であれば、定数となる。ここでは、距離Ｅおよび距離Ｄがそれぞれ定数であるものとして説明する。
【００３０】
メインレンズ１１において、被写体までの距離Ａと、被写体からの光が結像する距離Ｂと、焦点距離ｆとの間には、レンズの公式に従い式（１）に示す関係が成り立つ。同様に、マイクロレンズアレイ１２の各マイクロレンズ１２０、１２０、…についても、レンズの公式に従い式（２）に示す関係が成り立つ。
【数１】
2015185943.tif 000003
【数２】
2015185943.tif 000004
【００３１】
メインレンズ１１と被写体との間の距離Ａが変化した場合、式（１）のレンズの公式における距離Ｂの値が変化する。光学系の位置関係から、上述したように距離Ｂ＋距離Ｃ＝距離Ｅであり、距離Ｅが固定であるため、距離Ｂの変化に伴い距離Ｃの値も変化する。各マイクロレンズ１２０、１２０、…について、上述の式（２）のレンズの公式を用いると、距離Ｃの変化に伴って、さらに距離Ｄの値も変化することが分かる。
【００３２】
この結果、各マイクロレンズ１２０、１２０、…を通って結像する像は、メインレンズ１１の仮想イメージである結像面を倍率Ｎ（Ｎ＝Ｄ／Ｃ）に縮小した画像が得られる。この倍率Ｎは、次式（３）のように表すことができる。
【数３】
2015185943.tif 000005
【００３３】
式（３）により、各マイクロレンズ１２０、１２０、…による撮像素子１３上の像の縮小率は、メインレンズ１１から被写体までの距離Ａに依存することが分かる。したがって、元の２次元画像を再構成するためには、図５（ａ）に示される、例えば各マイクロレンズ１２０、１２０、…による、それぞれ中心座標が座標３１1、３１2および３１3であるマイクロレンズ像３０1、３０2および３０3を、図５（ｂ）に示すようにそれぞれ倍率１／Ｎで拡大して拡大マイクロレンズ像３０1’、３０2’および３０3’を作成する。そして、各拡大マイクロレンズ像３０1’、３０2’および３０3’の重ね合わせ合成を行うことで、距離Ａにピントが合った再構成画像を得ることができる。
【００３４】
重ね合わせ時には、距離Ａ以外の距離に対応する部分については各拡大マイクロレンズ像３０1’、３０2’および３０3’がずれながら重なることになり、暈けの様な効果を得ることができる。このように撮影したマイクロレンズ像から任意の位置にピントを合わせる処理をリフォーカス処理と呼ぶ。
【００３５】
（第１の実施形態に係るフィルタアレイ）
次に、第１の実施形態に係るフィルタアレイについて説明する。先ず、既知のカラーフィルタアレイについて、図６および図７を用いて説明する。図６は、一般的に用いられるベイヤ配列のカラーフィルタアレイ７０の例を示す。ベイヤ配列のカラーフィルタアレイ７０においては、図６に示されるように、ＲＧＢ各色のカラーフィルタが、Ｇ色、Ｂ色、Ｇ色、Ｂ色、…の繰り返しからなる行と、Ｒ色、Ｇ色、Ｒ色、Ｇ色、…の繰り返しからなる行とが交互に並べられたマトリクスとして構成される。
【００３６】
図７は、既知の構成による撮像素子１３の一例の構成を、断面で示す。図７の例では、撮像素子１３の各画素１３０1、１３０2および１３０3に対して、ベイヤ配列のカラーフィルタアレイ７０におけるＧ色のカラーフィルタ７００1と、Ｂ色のカラーフィルタ７００2と、Ｇ色のカラーフィルタ７００3とがそれぞれ設けられている。なお、この例では、各カラーフィルタ７００1、７００2および７００3に対して、画素毎にレンズ１３２1、１３２2および１３２3が設けられている。
【００３７】
図２などで示したように、メインレンズ１１からの光をマイクロレンズアレイ１２に通して撮像素子１３に照射させる光学系を用いる場合、メインレンズ１１の光軸から撮像素子１３の外側に向かうに連れ、撮像素子１３に対する入射角が大きくなる。したがって、図７に例示されるように、例えばＢ色のカラーフィルタ７００2を通って画素１３０2に対して斜めに入射される光が、隣接する画素１３０3にも入射されてしまう可能性がある。
【００３８】
この場合、画素１３０3には、画素１３０2からのＢ色のカラーフィルタ７００2を通った光が斜めから入射されると共に、画素１３０3に設けられるＧ色のカラーフィルタ７００3を通った光が直接的に入射される。これにより、画素１３０3において画素間クロストークが発生して、撮像画像の色再現性が低下してしまうおそれがある。
【００３９】
特に、可視光に対して波長が長い光である赤外光は、可視光と比較して画素に入射してから吸収されるまでの距離が大きく、隣接画素に対する影響が大きい。例えば、図７においてカラーフィルタ７００2が赤外光を選択的に透過させる赤外透過フィルタである場合、画素間クロストークは、カラーフィルタ７００2がＢ色のカラーフィルタの場合よりも大きくなる。
【００４０】
図８は、第１の実施形態に係る光学系の一例の構成を示す。なお、図８に示される構成は、上述した図４の構成と対応し、図４と共通する部分には同一の符号を付して、詳細な説明を省略する。
【００４１】
第１の実施形態では、光学系に対して、各マイクロレンズ１２０1、１２０2、…に対応して、複数種類の光学フィルタ４００1、４００2、…を備えるフィルタアレイ４０を設ける。図８の例では、例えば第１の種類の光学フィルタ４００1がマイクロレンズ１２０1に対して設けられ、第２の種類の光学フィルタ４００2がマイクロレンズ１２０2に対して設けられる。光学フィルタ４００3、４００4および４００5についても同様に、各マイクロレンズ１２０3、１２０4および１２０5がそれぞれ設けられる。光学フィルタの各種類は、例えば赤外透過フィルタ、各色のカラーフィルタおよび無色のフィルタを含む。
【００４２】
図９−１は、第１の実施形態による撮像素子１３の一例の構成を、断面で示す。なお、図９−１において、上述した図７と共通する部分には同一の符号を付して、詳細な説明を省略する。第１の実施形態においては、図９−１に例示されるように、１のマイクロレンズ１２０に対して、フィルタアレイ４０に含まれる各種類の光学フィルタのうち１の種類の光学フィルタ４００（例えばＧ色のカラーフィルタ）が対応される。したがって、当該マイクロレンズ１２０からの光を受光する複数の画素１３０1、１３０2および１３０3は、全て同一特性の光学フィルタ４００を通った同一特性（例えばＧ色）の光を受光することになる。
【００４３】
この場合においても、例えば画素１３０2に対して所定の入射角で以って斜めに入射された光が、隣接する画素１３０3にも入射され、画素１３０3において画素間クロストークが発生する。しかしながら、この場合、画素１３０3に直接的に入射される光は、隣接する画素１３０2から斜めに入射される光と同一の光学フィルタ４００を通った光なので、画素間クロストークによる色再現性の低下が避けられる。
【００４４】
なお、図９−１では、フィルタアレイ４０がマイクロレンズアレイ１２に対して隣接して設けられるように説明したが、これはこの例に限定されない。例えば、マイクロレンズアレイ１２とフィルタアレイ４０とは、分離して設けられてもよい。また、図９−１の例では、メインレンズ１１側にマイクロレンズアレイ１２が設けられ、フィルタアレイ４０が撮像素子１３側に設けられているが、マイクロレンズアレイ１２を撮像素子１３側に設け、フィルタアレイ４０をメインレンズ１１側に設けてもよい。
【００４５】
さらに、図９−１の例では、マイクロレンズ１２０の単位でのみ、光学フィルタ４００が配置されているが、これはこの例に限定されない。例えば、図９−２に例示されるように、各画素１３０1、１３０2および１３０3に画素単位で設けられる画素上光学フィルタ１３３を組み合わせてもよい。こうすることで、他のマイクロレンズからの入射光を抑制して色再現性をより向上させることが可能である。
【００４６】
図１０は、第１の実施形態に係るフィルタアレイ４０に含まれる各光学フィルタ４００の形状の例を示す。図１０（ａ）は、各光学フィルタ４００、４００、…の形状が円形の場合の例である。また、図１０（ｂ）は、各光学フィルタ４００、４００、…の形状が六角形の場合の例である。このように、各光学フィルタ４００、４００、…の形状は、各光学フィルタ４００、４００、…を六方配列で配置した場合に各マイクロレンズ１２０、１２０、…を覆うことができる形状であればよい。
【００４７】
フィルタアレイ４０が赤外透過フィルタとＲＧＢ各色のカラーフィルタとを含む場合のマイクロレンズ像３０について考える。なお、以下では、適宜、赤外光をＩｒ色の光として記述し、赤外透過フィルタをＩｒフィルタとして記述する。この場合、フィルタアレイ４０およびマイクロレンズアレイ１２を通った光が撮像素子１３に照射されて得られるマイクロレンズ像３０は、図１１（ａ）に例示されるように、ＲＧＢＩｒ各色による単色のマイクロレンズ像３０R、３０G、３０Bおよび３０Irとなる。画像処理部２３は、このマイクロレンズ像３０R、３０G、３０Bおよび３０Irを含むＲＡＷ画像による画像データに対して、図５で説明したように、各マイクロレンズ像３０R、３０G、３０Bおよび３０Irを拡大して重ね合わせることで、リフォーカス処理を行う。
【００４８】
すなわち、図１１（ｂ）に例示されるように、画像処理部２３は、各マイクロレンズ像３０R、３０G、３０Bおよび３０Irを拡大して各拡大マイクロレンズ像５０R、５０G、５０Bおよび５０Irを生成する。これら各拡大マイクロレンズ像５０R、５０G、５０Bおよび５０Irが重ね合わされた重ね合わせ領域５０RGBIrは、ＲＧＢ各色にＩｒ色を含めたカラー画像となる。画像処理部２３は、この重ね合わせ領域５０RGBIrに含まれるＲＧＢ各色の画像に対してカラー画像合成処理を施すことにより、カラーの２次元再構成画像を得ることができる。また、重ね合わせ領域５０RGBIrに含まれるＩｒ色の画像に対して選択的に画像処理を施すことで、赤外画像を得ることができる。
【００４９】
（フィルタアレイの配列）
次に、フィルタアレイ４０に含まれる各種類の光学フィルタの配列について説明する。なお、フィルタアレイ４０が含む各種類の光学フィルタは、例えばＩｒフィルタおよびＷ色のカラーフィルタである。また例えば、フィルタアレイ４０が含む各種類の光学フィルタは、ＩｒフィルタおよびＲＧＢ各色のカラーフィルタである。
【００５０】
フィルタアレイ４０に含まれる各種類の光学フィルタ４００の配列は幾通りもあるため、配列を分類する。以下では、フィルタアレイ４０における光学フィルタの配列を、最小繰り返し単位で表すものとする。
【００５１】
図１２を用いて、第１の実施形態に係る最小繰り返し単位について説明する。図１２は、フィルタアレイ４０ＡがＩｒフィルタおよびＷ色のカラーフィルタを含んで六方格子状に配列されて構成される例である。図１２の例において、フィルタアレイ４０ＡにおけるＩｒ色およびＷ色の色成分が１：１である場合の例であり、枠線で囲まれた単位領域６０Ａが最小繰り返し単位となる。すなわち、図１２に示される配列は、単位領域６０Ａにおける配列を隙間無く敷き詰めた配列となる。
【００５２】
図１２に示される配列は、２個のＩｒ色の光学フィルタ４００Ｉｒと２個のＷ色の光学フィルタ４００Ｗとが直線上に並ぶ組が当該直線上で繰り返された配列を、当該組を、当該直線に隣接して１．５フィルタ分ずらして繰り返して配置することで構成できる。
【００５３】
図１２に示される配列において、フィルタアレイは、複数の第１のセットを含む。複数の第１のセットそれぞれは、２つの第１の光学フィルタと２つの第２の光学フィルタとが交互に第１方向に並ぶ第１の配列と、２つの第１の光学フィルタと２つの第２の光学フィルタとが交互に第１の方向に並び第１の方向と交差する第２の方向に第１の配列と並ぶ第２の配列と、を備える。第１の配列と第２の配列とは第１の方向に第１の光学フィルタ１.５個分ずれて並び、複数の第１のセットが第２の方向に並ぶ。
【００５４】
六方配列のフィルタアレイ４０における各種類の光学フィルタ４００の配列では、最小再構成倍率と距離精度とが重要になる。一例として、フィルタアレイ４０がＲＧＢＩｒ各色によるカラーフィルタによる４種類の光学フィルタを含む場合について考える。この場合、最小再構成倍率は、例えば、各色のマイクロレンズ像３０R、３０G、３０Bおよび３０Irをある拡大倍率で拡大した拡大マイクロレンズ像５０R、５０G、５０Bおよび５０Irが重ね合わされた再構成画像において、最小繰り返し単位である単位領域に含まれる全ての画素でカラー画像を構成する全ての色成分（例えばＲＧＢＩｒ各色の色成分）が存在する、最も小さい拡大倍率をいう。すなわち、各色のマイクロレンズ像３０R、３０G、３０Bおよび３０Irを最小再構成倍率以上の拡大倍率で拡大することで、当該単位領域に含まれる全ての画素でＲＧＢＩｒ各色を含んだ画像を得ることができる。
【００５５】
図１３を用いて、第１の実施形態に係る最小再構成倍率についてより具体的に説明する。図１３（ａ）は、フィルタアレイ４０におけるＲＧＢＩｒ各色の色成分比が１：１：１：１である配列の例を示す。
【００５６】
図１３に示される配列において、フィルタアレイは、複数の第３のセットを含む。複数の第３のセットそれぞれは、第５の方向に並ぶ第１の光学フィルタを有する第５の配列と、第５の方向に並ぶ第２の光学フィルタを有し第５の方向と交わる第６の方向に第５の配列と並ぶ第６の配列と、第５の方向に並ぶ第３の光学フィルタを有し第６の方向に第６の配列と並ぶ第７の配列と、第５の方向に並ぶ第４の光学フィルタを有し第６の方向に第７の配列と並ぶ第８の配列と、を備える。複数の第３のセットが第６の方向に並ぶ。
【００５７】
図１３（ａ）に示される最小繰り返し単位である単位領域６０の四隅のＲ色のカラーフィルタ４００Ｒ1〜４００Ｒ4に注目し、これらカラーフィルタ４００Ｒ1〜４００Ｒ4による各マイクロレンズ像を最小再構成倍率にて拡大した拡大マイクロレンズ像５０Ｒ1〜５０Ｒ4の例を、図１３（ｂ）に示す。
【００５８】
図１３（ｂ）の例では、四隅の、Ｒ色による拡大マイクロレンズ像５０Ｒ1〜５０Ｒ4が単位領域６０内を全て覆っており、当該単位領域６０内がＲＧＢＩｒ各色の成分により覆われることが分かる。ここで、再構成画像の解像度は、最小再構成倍率の二乗に反比例して低下するため、最小再構成倍率が小さいほど、解像度の高い再構成画像を得ることができる。
【００５９】
次に、距離算出方法について説明する。式（３）にて既に説明したように、図２において距離Ａの値が変化すると、その変化に伴い距離Ｂ、ＣおよびＤの値も変化するため、マイクロレンズ像の縮小倍率Ｎも変化することになる。
【００６０】
ここで、式（３）を距離Ａについて整理すると、次式（４）が得られる。この式（４）から、マイクロレンズ１２０による像の縮小倍率Ｎを画像マッチングなどにより算出し、且つ、距離ＤおよびＥ、ならびに、焦点距離ｆが既知であれば、式（４）から距離Ａの値を算出することが可能である。
【数４】
2015185943.tif 000006
【００６１】
なお、図４に示される光学系の場合は、距離Ｅ＋距離Ｃ＝距離Ｂであり、さらに、マイクロレンズ１２０に関するレンズの公式は、次式（５）で表される。したがって、この場合の距離Ａと縮小倍率Ｎとの関係は、次式（６）で表すことができる。
【数５】
2015185943.tif 000007
【数６】
2015185943.tif 000008
【００６２】
縮小倍率Ｎは、マイクロレンズ１２０間のマイクロレンズ像３０のずれ量を値Δ’、マイクロレンズ１２０間の中心間距離を値Ｌとすると、光線の幾何的関係から、次式（７）で表される。したがって、縮小倍率Ｎを求めるためには、画像処理部２３は、ＳＡＤ(Sum  of  Absolute  Difference)やＳＳＤ(Sum  of  Squared  Difference)といった評価関数を用いて、各マイクロレンズ像３０に対する画像マッチング処理を行って、マイクロレンズ１２０間のずれ量Δ’を求めればよい。
【数７】
2015185943.tif 000009
【００６３】
なお、上述した最小再構成倍率は、この式（７）から、１／Ｎとして表される。
【００６４】
第１の実施形態に係るフィルタアレイ４０を用いる場合、画像処理部２３は、同種類（同色）の光学フィルタによるマイクロレンズ像３０同士で画像マッチングを行うことになる。このとき、フィルタアレイ４０における各種類の光学フィルタの配列によっては、被写体までの距離や画像のエッジ方向により、画像マッチングにより得られるずれ量Δ’における距離精度に大きな誤差が生じてしまう場合がある。
【００６５】
この距離精度における誤差を抑制するためには、フィルタアレイ４０における各種類の光学フィルタの配列が、以下に説明する第１および第２の条件を共に満たしている必要がある。
【００６６】
第１の条件について説明する。例えば、フィルタアレイ４０において、ある光学フィルタの近傍に同種（同色）の光学フィルタが存在してない場合について考える。この場合、上述したように、各マイクロレンズ像３０間のずれ量Δ’は、被写体までの距離Ａに依存しているため、被写体が互いに近傍のマイクロレンズ１２０間のみでしか結像していない場合は、距離計測ができないことになる。したがって、各光学フィルタは、近傍に同色の光学フィルタが存在している必要がある。これを、第１の条件とする。
【００６７】
第２の条件について説明する。第２の条件は、距離精度におけるカラーフィルタの配列の方向依存性に関する条件である。上述した図１３（ａ）の例では、ある光学フィルタの近傍に存在する同色の光学フィルタが、１軸方向にしか存在しない。すなわち、この図１３（ａ）の例では、ＲＧＢＩｒ各色の光学フィルタが色毎に直線上に配列されている。
【００６８】
この配列の場合、被写体画像のエッジにある輝度値の変化部分が、同色の光学フィルタが配列される軸の方向と平行である場合に、画像マッチングの精度が低下してしまうおそれがある。すなわち、画像処理部２３は、画像マッチング処理を、同色の各光学フィルタを通って得られた各マイクロレンズ像３０を用いて行う。そのため、例えば同色の光学フィルタが配列される軸の方向と平行に画像のエッジが存在する場合、当該軸方向に互いに隣接するマイクロレンズ像３０は、略同じ画像となる可能性がある。この場合、画像マッチングによる距離計測が困難となる。
【００６９】
このように、同色の光学フィルタが１軸方向に並んでいる場合、被写体のエッジの方向に距離精度が依存する方向依存性が生じてしまうことになる。したがって、画像マッチングにおけるエッジ方向に対する距離精度の方向依存性を低減するために、同色の光学フィルタが複数の軸方向に存在するように、フィルタアレイ４０における各光学フィルタの配列を決めることが望ましい。これを第２の条件とする。
【００７０】
ここで、軸は、３つの同色の光学フィルタにより定められる。３つの同色の光学フィルタが１つの直線上に配置される場合には、これらの光学フィルタは、１つの軸上に存在する。この場合、当該３つの同色の光学フィルタは、第２の条件を満たさない。一方、３つの同色の光学フィルタのうち２つの光学フィルタ同士を結ぶ第１の線と、当該３つの光学フィルタのうち当該２つの光学フィルタに対して他の光学フィルタを含む２つの光学フィルタ同士の中心を結ぶ第２の線とを考える。これら第１の線と第２の線とが交差する場合、当該３つの同色の光学フィルタは、２つの軸方向に存在する。この場合、当該３つの同色の光学フィルタは、第２の条件を満たす。
【００７１】
すなわち、図１４（ａ）に例示される配列では、光学フィルタ４００10と、当該光学フィルタ４００10と同色の光学フィルタ４００11および４００12とが、１の軸上に並んでおり、これら光学フィルタ４００10、４００11および４００12は、第２の条件を満たしていない。この場合、上述したように、これら光学フィルタ４００10、４００11および４００12による各マイクロレンズ像３０において、被写体のエッジの方向に距離精度が依存する方向依存性が生じてしまう可能性がある。
【００７２】
一方、図１４（ｂ）に例示される配列では、光学フィルタ４００10と、光学フィルタ４００10と同色の各光学フィルタ４００11および４００12とが、１軸上に並んでいない。すなわち、図１４（ｂ）の例では、光学フィルタ４００10と同色の各光学フィルタ４００11および４００12は、光学フィルタ４００10および４００11を結ぶ第１の軸と、光学フィルタ４００10および４００12を結ぶ第２の軸との２軸を有し、第２の条件を満たしている。したがって、図１４（ｂ）の配列は、上述した図１４（ａ）の配列と比較して、被写体のエッジ方向に対する距離精度の方向依存性が小さく、より望ましい配列である。
【００７３】
ここで、六方配列のフィルタアレイ４０における各色光学フィルタの配列の周期性を考慮する。この場合、第２の条件すなわち異なる軸方向に同色の光学フィルタが存在することは、１の光学フィルタの近傍の、当該１の光学フィルタと同色の２つの光学フィルタが、当該１の光学フィルタに対して点対称の位置に存在しない、という条件に換言できる。
【００７４】
これは、すなわち、六方配列のフィルタアレイ４０における望ましい光学フィルタ配列の条件として、注目する光学フィルタに対して隣接する６の光学フィルタにおいて、少なくとも１の色について、同色の光学フィルタが非点対称に配置されている配列である、ということができる。これを第３の条件とすることができる。第３の条件は、上述した第２の条件と同義である。
【００７５】
上述した図１２のフィルタアレイ４０Ａは、任意の光学フィルタの近傍には、同色の光学フィルタが存在するため、第１の条件を満たしている。また、任意の光学フィルタの近傍の６個の光学フィルタにおいては、同色の光学フィルタが非点対称に配置されているため、第３の条件を満たしている。
【００７６】
図１５を用いて、第１の実施形態に係る、各光学フィルタの位置関係についてより具体的に説明する。なお、図１５では、２の光学フィルタを介在させた範囲までを近傍と見做している。すなわち、六方配列のフィルタアレイ４０において、中心の光学フィルタ４００20との間に２つの光学フィルタを介在して配置された他の光学フィルタ（例えば光学フィルタ４００25）と、当該他の光学フィルタより光学フィルタ４００20との距離が短い光学フィルタを、光学フィルタ４００20の近傍の光学フィルタと見做す。図１５の例では、光学フィルタ４００20を含み、対角線上に７つの光学フィルタが並ぶ六角形の範囲を、光学フィルタ４００20の近傍と見做す。
【００７７】
図１５において、光学フィルタ４００20〜４００25は、互いに同色であるものとする。光学フィルタ４００20を中心と考え、光学フィルタ４００21および４００22は、光学フィルタ４００20に対して点対称の位置にあって第３の条件を満たしていない。この場合、画像マッチングの計算は、光学フィルタ４００21、４００20および４００22を結ぶ１軸方向で行われるため、被写体のエッジ方向に対する距離精度の方向依存性が高くなり、好ましくない。同様に、光学フィルタ４００21、４００20および４００22も同一直線上に存在し、１軸方向で画像マッチングが行われるため好ましくない。
【００７８】
一方、光学フィルタ４００23および４００24は、光学フィルタ４００20に対して点対称の位置に無く、第３の条件を満たしている。したがって、光学フィルタ４００20および４００23を結ぶ軸方向と、光学フィルタ４００20および４００24を結ぶ軸方向との２軸方向で、画像マッチングの計算が可能とされ、被写体のエッジ方向に対する距離精度の方向依存性を抑制できる。
【００７９】
（第１の実施形態に係るカラーフィルタ配列の具体例）
次に、Ｉｒフィルタを含み、上述の第１および第３の条件を纏めた条件を満たし、且つ、最小再構成倍率１／Ｎが比較的小さい光学フィルタ配列の具体的な例について、図１６〜図１９を用いて説明する。
【００８０】
図１６は、フィルタアレイ４０Ｂが、Ｉｒフィルタである光学フィルタ４００Ｉｒと、Ｗ色のカラーフィルタである光学フィルタ４００Ｗとを含んで構成される例である。図１６の配列は、フィルタアレイ４０におけるＩｒ色およびＷ色の色成分が１：１である場合の例であり、枠線で囲まれた単位領域６０Ｂが最小繰り返し単位となる。
【００８１】
図１６に示される配列は、Ｉｒ色の光学フィルタ４００Ｉｒが直線上に並ぶ配列と、Ｗ色の光学フィルタ４００Ｗが直線上に並ぶ配列とを隣接させて繰り返して配置することで構成できる。
【００８２】
図１６に示される配列において、フィルタアレイは、複数の第２のセットを含む。複数の第２のセットそれぞれは、第３の方向に並ぶ第１の光学フィルタを有する第３の配列と、第１の方向に並ぶ第２の光学フィルタを有し第３の方向と交わる第４の方向に第３の配列と並ぶ第４の配列と、を備える。複数の第２のセットが第４の方向に並ぶ。
【００８３】
図１６のフィルタアレイ４０Ｂは、任意の光学フィルタの近傍には、同色の光学フィルタが存在するため、第１の条件を満たしている。一方、図１６のフィルタアレイ４０Ｂは、任意の光学フィルタを中心として、同色の光学フィルタが点対称の位置に配置され第３の条件を満たしていない。光学フィルタ４００Ｗ0において、光学フィルタ４００Ｗ0と１フィルタを介した位置に、光学フィルタ４００Ｗ0と同色の光学フィルタ４００Ｗ1および４００Ｗ2が配置されている。これら光学フィルタ４００Ｗ1および４００Ｗ2は、光学フィルタ４００Ｗ0について非点対称の位置にある。
【００８４】
フィルタアレイ４０Ｂは、例えば、光学フィルタ４００Ｗ0について、１フィルタを介した位置の、同色且つ光学フィルタ４００Ｗ0について非点対称に配置された光学フィルタ４００Ｗ1および４００Ｗ2を用いることで、エッジ依存性を抑制した画像マッチングを行うことが可能である。
【００８５】
なお、この図１６に示されるフィルタアレイ４０Ｂの配列と、上述した図１２で示したフィルタアレイ４０Ａの配列とを比較した場合、図１２の配列の方が、同色のマイクロレンズ像の異方性が高く、画像マッチングにおける距離精度の点で有利である。
【００８６】
図１７〜図１９は、ＲＧＢＩｒ各色の光学フィルタ４００Ｒ、４００Ｇ、４００Ｂおよび４００Ｉｒを、１：１：１：１の割合で含むフィルタアレイ４０Ｃ〜４０Ｅの例を示す。図１７は、最小繰り返し単位となる単位領域６０Ｃに、光学フィルタ４００Ｒ、４００Ｇ、４００Ｂおよび４００Ｉｒをそれぞれ１個分含むフィルタアレイ４０Ｃの例を示す。図１７において、フィルタアレイ４０Ｃは、各光学フィルタ４００Ｒ、４００Ｇ、４００Ｂおよび４００Ｉｒが、隣接する２の光学フィルタの種類（色）を異ならせて配置されている。この図１７の配列は、枠線で囲まれた単位領域６０Ｃが最小繰り返し単位となる。
【００８７】
図１７のフィルタアレイ４０Ｃは、任意の光学フィルタの近傍の６個の光学フィルタにおいては、同色の光学フィルタが非点対称に配置されているため、第３の条件を満たしている。一方、フィルタアレイ４０Ｃは、任意の光学フィルタの近傍には、同色の光学フィルタが存在しないため、第１の条件を満たしていない。この場合であっても、フィルタアレイ４０Ｃは、１．５フィルタ分離れた位置に同色の光学フィルタが存在するため、この１．５フィルタ分離れた同色の光学フィルタに対応するマイクロレンズ像を用いることで、画像マッチングが可能である。
【００８８】
図１７に示される配列において、フィルタアレイは、複数の第９の配列を含む。複数の第９の配列それぞれは、第７の方向に並ぶ複数の第１の周期を有し、複数の第１の周期それぞれは、第７の方向に並ぶ第１の光学フィルタと第２の光学フィルタと第３の光学フィルタと第４の光学フィルタとを備える。複数の第９の配列は第７の方向と交わる第８の方向に並び、隣り合う第９の配列同士が第７の方向に０．５周期ずれて並ぶ。
【００８９】
図１８は、最小繰り返し単位となる単位領域６０Ｄに、光学フィルタ４００Ｒ、４００Ｇ、４００Ｂおよび４００Ｉｒをそれぞれ３個分含むフィルタアレイ４０Ｄの例を示す。図１８において、フィルタアレイ４０Ｄは、２個の第１色の光学フィルタと、１個の第２色の光学フィルタと、２個のＩｒ色の光学フィルタと、１個の第３色の光学フィルタとが第１の方向に順次隣接して並ぶ第１の組を備える。さらに、フィルタアレイ４０Ｄは、１個の第１色の光学フィルタと、２個の第２色の光学フィルタと、１個のＩｒフィルタと、２個の第３色の光学フィルタとが第１の方向に順次隣接して並ぶ第２の組を備える。フィルタアレイ４０Ｄは、さらに第１の組と同じ配列の光学フィルタを有する第３の組と、第２の組と同じ配列の光学フィルタを有する第４の組と、を有する。第１の組と第２の組と第３の組と第４の組とは、光学フィルタが並ぶ方向が平行である。第１の組と第２の組と第３の組と第４の組は、この順に、第１の方向と交わる第２の方向に並んでいる。第１の方向と第２の方向とは、例えば１２０度をなす。第１の組に含まれる一の光学フィルタは、第２の組に含まれこの一の光学フィルタと同色の他の光学フィルタと隣り合う。第１の組の一の光学フィルタは、第３の組に含まれるこの一の光学フィルタと同色の他の光学フィルタと、第１方向において光学フィルタ３つ分ずれている。第２の組の一の光学フィルタは、第４の組に含まれるこの一の光学フィルタと同色の他の光学フィルタと、第１方向において光学フィルタ３つ分ずれている。
【００９０】
図１８の例では、第１色、第２色および第３色がそれぞれＲ色、Ｇ色およびＢ色とされる。第１色、第２色および第３色の色の割り当ては、この例に限定されない。
【００９１】
図１８に示される配列において、フィルタアレイは、複数の第４のセットを含む。複数の第４のセットは、第１０の配列と第１１の配列と第１２の配列と第１３の配列とを備える。第１０の配列は、２つの第１の光学フィルタと、１つの第２の光学フィルタと、２つの第３の光学フィルタと、１つの第４の光学フィルタと、がこの順に第９の方向に並べられる。第１１の配列は、１つの第１の光学フィルタと、２つの第２の光学フィルタと、１つの第３の光学フィルタと、２つの第４の光学フィルタと、がこの順に第９の方向に並べられる。第１２の配列は、２つの第１の光学フィルタと、１つの第２の光学フィルタと、２つの第３の光学フィルタと、１つの第４の光学フィルタと、がこの順に第９の方向に並べられる。第１３の配列は、１つの第１の光学フィルタと、２つの第２の光学フィルタと、１つの第３の光学フィルタと、２つの第４の光学フィルタと、がこの順に第９の方向に並べられる。第１０の配列と第１１の配列と第１２の配列と第１３の配列とが、この順に第９の方向と交わる第１０の方向に並ぶ。第１０の配列の第１の光学フィルタと第１１の配列の第１の光学フィルタとが第１０の方向において接し、第１１の配列の第１の光学フィルタと第１２の配列の第１の光学フィルタとが第１０の方向において第１の光学フィルタ２．５個分ずれ、第１２の配列の第１の光学フィルタと第１３の配列の第１の光学フィルタとが第１０の方向において接し、複数の第４のセットが第１０の方向に並ぶ。
【００９２】
図１９は、最小繰り返し単位となる単位領域６０Ｅに、光学フィルタ４００Ｒ、４００Ｇ、４００Ｂおよび４００Ｉｒをそれぞれ４個分含むフィルタアレイ４０Ｅの例を示す。図１９において、フィルタアレイ４０Ｅは、４個の同色の光学フィルタを互いに隣接させた組を各色で構成し、各色の組を同色の組が隣接しないように繰り返し配置して構成される。
【００９３】
図１９に示される配列において、フィルタアレイは複数の第５のセットを含み、複数の第５のセットは、第１４の配列と第１５の配列と第１６の配列と第１７の配列とを備える。第１４の配列は、２つの第１の光学フィルタと２つの第２の光学フィルタとが交互に第１１の方向に並ぶ。第１５の配列は、２つの第１の光学フィルタと２つの第２の光学フィルタとが交互に第１１の方向に並ぶ。第１６の配列は、２つの第３の光学フィルタと２つの第４の光学フィルタとが交互に第１１の方向に並ぶ。第１７の配列は、２つの第３の光学フィルタと２つの第４の光学フィルタとが交互に第１１の方向に並ぶ。第１４の配列と第１５の配列と第１６の配列と第１７の配列とが第１１の方向と交わる第１２の方向にこの順に並び、複数の第５のセットそれぞれが第１２の方向に並ぶ。
【００９４】
上述した図１２および図１６、ならびに、図１７〜図１９の配列は、最小再構成倍率１／Ｎが比較的小さく、近傍で画像マッチングが可能なマイロレンズ像を複数軸方向に取得することができる。したがって、図１２および図１６、ならびに、図１７〜図１９の配列を用いることで、赤外光を選択的に透過させるＩｒフィルタを用いた場合であっても、リフォーカス処理において解像度の高い再構成画像を得ることができ、また、被写体のエッジの方向に距離精度が依存する方向依存性を抑制することができる。
【００９５】
なお、被写体との距離が無限大あるいは無限大と見做せる程遠距離の場合には、メインレンズ１１からマイクロレンズアレイ１２に入射される光が平行光または平行光に近い光となる。このとき、各マイクロレンズ１２０、１２０、…による像は、それぞれ異なった像となり、画像マッチングが困難になる。すなわち、被写体との距離が遠くなるほど、隣接するマイクロレンズ１２０とでは像の差分が大きくなり、画像マッチングが困難になる。
【００９６】
そのため、図１９に示したフィルタアレイ４０Ｅのように、同色の光学フィルタが密集している構成は、被写体が遠距離の場合にも対応でき、好ましい。一方、図１７に示したフィルタアレイ４０Ｃは、同一色の光学フィルタが隣接していないため、被写体が遠距離の場合には対応が困難である。一方、フィルタアレイ４０Ｃは、被写体が近距離の場合には、例えば１．５フィルタ分離れた同一色の光学フィルタ同士で画像マッチングを行うことができるため、より高い距離精度を得ることができる。
【００９７】
（第２の実施形態）
次に、第２の実施形態について説明する。第２の実施形態では、Ｉｒフィルタを含むフィルタアレイを用いたフィルタアレイ付マイクロレンズに適した撮像素子の駆動方法および信号処理方法を提供する。
【００９８】
上述したように、マイクロレンズアレイ１２を用いた撮像装置においては、各マイクロレンズ像間で画像マッチングを行うことでマイクロレンズ像の縮小倍率Ｎを求め、この縮小倍率Ｎから被写体までの距離Ａを求めることができる。このとき、画像マッチングにおいては、被写体像のテクスチャ量が多いほど、ノイズなどの誤検出要因に対して強くなる。
【００９９】
したがって、撮像画像においては、画像のコントラストが高い状態が望ましく、画像として暗すぎない状態が必要である。一方、画像が明るすぎる場合は、白飛びなどによる飽和領域が画像内に発生してしまい、画像マッチングが困難な領域が存在するようになる。このように、画像マッチングを適切に行うためには、最適な露光時間を選択する必要がある。
【０１００】
また、第１の実施形態のフィルタアレイ４０は、赤外光を透過させるＩｒフィルタを含んで構成される。同一の撮像素子を用いる場合、可視光と赤外光とでは適切な露光時間が異なる場合がある。例えば、可視光を撮像した可視光画像においては高コントラストの画像が得られる露光時間であっても、赤外光の撮像では低コントラストの赤外光画像しか得られない場合がある。
【０１０１】
そこで、第２の実施形態では、撮像装置は、撮像素子による露光を、１フレーム期間内で、第１の期間と、第１の期間よりも長い第２の期間とに分けて行うようにしている。第２の期間では、第１の期間よりも長く露光がなされ、撮像素子から出力される信号の信号量をより多く確保できため、赤外光による赤外光画像に対する画像処理を好適に行うことが可能となる。
【０１０２】
図２０は、第２の実施形態に係る撮像装置１’の一例の構成を示す。なお、図２０において、上述した図１と共通する部分には同一の符号を付して、詳細な説明を省略する。
【０１０３】
撮像装置１’は、カメラモジュール１０とＩＳＰ２０’とを備える。カメラモジュール１０は、第１の実施形態と同様に、メインレンズ１１を含む結像光学系と、マイクロレンズアレイ１２および撮像素子１３を含む固体撮像素子と、撮像部１４’と、信号処理部１５’とを有する。また、マイクロレンズアレイ１２の撮像素子１３側またはメインレンズ１１側に、Ｉｒフィルタを含む上述したフィルタアレイ４０が設けられる。ここでは、フィルタアレイ４０は、Ｉｒフィルタと、ＲＧＢ各色の光学フィルタとを含んで構成されるものとする。
【０１０４】
ＩＳＰ２０’は、カメラモジュールＩ／Ｆ２１および出力Ｉ／Ｆ２４を有すると共に、スイッチ２２０と、フレームメモリ２２１Ａおよび２２１Ｂと、画像処理部２３０と、フレームメモリ２５０Ａおよび２５０Ｂと、計算部２５１と、制御部２６とを有する。
【０１０５】
制御部２６は、１フレームの期間内に、第１の期間ｔRGBと、第１の期間ｔRGBよりも長い第２の期間ｔIrとを設けるためのタイミング信号を生成する。例えば、制御部２６は、図２１に例示されるように、１フレームを第１の期間ｔRGBと第２の期間ｔIrとに分割するように、タイミング信号を生成する。例えば、第１の期間ｔRGBは、ＲＧＢ各色の光に対する露光が適切に行われるような期間に設定する。同様に、第２の期間ｔIrは、赤外光に対する露光が適切に行われるような期間に設定する。制御部２６は、生成したこのタイミング信号を、各フレームＦｒａｍｅ＃１、＃２、…と順次、撮像部１４’およびスイッチ２２０に供給する。
【０１０６】
なお、図２１の例では、１フレーム内において先頭側に第１の期間ｔRGBが配置されているが、これはこの例に限定されず、先頭側を第２の期間ｔIrとしてもよい。また、第１の期間ｔRGBおよび第２の期間ｔIrは、１フレームを２分割した期間ではなく、１フレーム内の一部の期間であってもよい。
【０１０７】
撮像部１４’は、１フレームの期間において、供給されたタイミング信号に応じて、第１の期間ｔRGBで撮像素子１３から電荷を読み出し電気信号に変換して出力する。信号処理部１５’は、この第１の期間ｔRGBの電気信号に対してゲイン調整処理、ノイズ除去処理および増幅処理など所定の信号処理を施し、さらにＡ／Ｄ変換してＲＡＷ画像の画像データ５００として出力する。信号処理部１５’から出力された第１の期間ｔRGBの画像データ５００は、カメラモジュール１０からＩＳＰ２０’に供給され、カメラモジュールＩ／Ｆ２１を介してスイッチ２２０に入力される。
【０１０８】
スイッチ２２０は、制御部２６から供給されるタイミング信号に応じて選択出力端２２０Ａおよび２２０Ｂの何れかが選択される。ここでは、第１の期間ｔRGBにおいては、選択出力端２２０Ａが選択されるものとする。したがって、スイッチ２２０に入力された第１の期間ｔRGBの画像データ５００は、フレームメモリ２２１Ａに記憶される。
【０１０９】
第２の期間ｔIrにおいても、同様の処理がなされる。すなわち、撮像部１４’は、上述した第１の期間ｔRGBでの撮像素子１３からの読み出しの後、制御部２６から供給されたタイミング信号に応じて、第２の期間ｔIrにおいて撮像素子１３から電荷を読み出して電気信号に変換して出力する。信号処理部１５’は、この第２の期間ｔIrの電気信号に対して上述した所定の信号処理を施しＡ／Ｄ変換して、ＲＡＷ画像の画像データ５０１として出力する。この画像データ５０１は、カメラモジュール１０からＩＳＰ２０’に供給され、カメラモジュールＩ／Ｆ２１を介してスイッチ２２０に入力される。スイッチ２２０は、制御部２６からのタイミング信号に応じて、第２の期間ｔIrにおいては選択出力端２２０Ｂが選択されており、スイッチ２２０に入力された画像データ５０１は、フレームメモリ２２１Ｂに記憶される。
【０１１０】
画像処理部２３０は、フレームメモリ２２１Ａに記憶される画像データ５００と、フレームメモリ２２１Ｂに記憶される画像データ５０１とに対して画像処理を施す。この画像処理により、画像処理部２３０は、画像データ５００および５０１にそれぞれ含まれるＲＧＢＩｒ各色の画素の画像データにより、４種類の画像データを得ることができる。
【０１１１】
すなわち、図２２に例示されるように、第１の期間ｔRGBの露光で取得された画像データ５００からは、ＲＧＢ各色の低輝度の画像データ５１０と、赤外光の低輝度の画像データ５１１とが取得される。一方、第２の期間ｔIrの露光で取得された画像データ５０１からは、ＲＧＢ各色の高輝度の画像データ５１２と、赤外光の高輝度の画像データ５１３とが取得される。
【０１１２】
これらのうち、第１の期間ｔRGBがＲＧＢ各色の露光に適切に設定された時間であれば、低輝度ＲＧＢの画像データ５１０は、適切なコントラストを有するＲＧＢ画像データとなる。また、高輝度赤外光の画像データ５１３は、適切なコントラストを有する赤外光画像データである可能性がある。さらに、低輝度ＲＧＢの画像データ５１０と高輝度ＲＧＢの画像データ５１２とを組み合わせることで、ダイナミックレンジの広いＲＧＢ画像データを得ることが可能である。同様に、低輝度赤外光の画像データ５１１と高輝度赤外光の画像データ５１３とを組み合わせることで、ダイナミックレンジの広い赤外光画像データを得ることも可能である。
【０１１３】
画像処理部２３０は、例えば、これら画像データ５１０〜５１３から１の画像データを選択して、出力Ｉ／Ｆ２４を介して外部に出力する。画像処理部２３０による画像データの選択は、図示されない操作部に対するユーザ操作に応じて行ってもよいし、画像データを解析して得られるコントラスト情報などに基づき選択してもよい。
【０１１４】
画像処理部２３０は、さらに、画像データ５００および５０１をフレームメモリ２５０Ａおよび２５０Ｂにそれぞれ供給し、記憶させる。計算部２５１は、フレームメモリ２５０Ａおよび２５０Ｂに記憶された画像データ５００および５０１に基づき距離計算を行い、マイクロレンズ像３０、３０、…毎の距離値を求め距離マップを作成する。
【０１１５】
図２３および図２４を用いて、計算部２５１による距離計算について説明する。図２３は、第２の実施形態に係る、ＩＳＰ２０’における処理の流れを概略的に示す。ステップＳ１０で、ＩＳＰ２０’は、カメラモジュール１０から、第１の期間ｔRGBおよび第２の期間ｔIrに応じて、それぞれＲＡＷ画像である画像データ５００および５０１を取り込む。取り込まれた画像データ５００および５０１は、フレームメモリ２２１Ａおよび２２１Ｂにそれぞれ記憶される。
【０１１６】
次のステップＳ１１で、画像処理部２３０は、フレームメモリ２２１Ａおよび２２１Ｂに記憶される画像データ５００および５０１に対して、それぞれデモザイク処理を施して各画素についてＲＧＢＩｒ各色の画素値を得る。次のステップＳ１２で、画像処理部２３０は、画像データ５００および５０１それぞれについて、各画素値を輝度値に変換する。このとき、画像処理部２３０は、画像データ５００および５０１に基づき、上述した各画像データ５１０〜５１３それぞれについて、画素値の輝度値への変換を行う。
【０１１７】
次のステップＳ１３で、画像処理部２３０は、輝度値に変換された各画像データ５１０〜５１３に対して、それぞれシェーディング処理を施す。画像処理部２３０は、シェーディング処理を施した各画像データ５１０〜５１３をフレームメモリ２５０Ａおよび２５０Ｂにそれぞれ記憶させる。画像処理部２３０は、シェーディング処理を施した画像データのうち、画像データ５００に基づく画像データ５１０および５１１をフレームメモリ２５０Ａに記憶させ、画像データ５０１に基づく画像データ５１２および５１３をフレームメモリ２５０Ｂに記憶させる。
【０１１８】
計算部２５１は、フレームメモリ２５０Ａおよび２５０Ｂから読み出した各画像データ５１０〜５１３に基づき、マイクロレンズ像３０、３０、…毎に距離計算を行う。このとき、計算部２５１は、各画像データ５１０〜５１３について、それぞれテクスチャ量を求める。そして、計算部２５１は、求めたテクスチャ量に基づき各画像データ５１０〜５１３から適切なデータを選択して画像マッチングを行い、距離を計算する。
【０１１９】
ステップＳ１４における計算部２５１による距離計算の一例の処理を、図２４のフローチャートを用いて説明する。ステップＳ２０で、計算機２５１は、フレームメモリ２５０Ａおよび２５０Ｂから読み出した各画像データ５１０〜５１３について、テクスチャ量判定を行う。すなわち、計算機２５１は、各画像データ５１０〜５１３について、マイクロレンズ像３０、３０、…毎にテクスチャ量を求める。そして、計算機２５１は、求めたテクスチャ量に従い、各画像データ５１０〜５１３のうち何れを用いて画像マッチングを行うかを判定する。
【０１２０】
各マイクロレンズ像３０、３０、…のテクスチャ量の算出方法の例について、図２５を用いて説明する。計算部２５１は、例えば低輝度ＲＧＢの画像データ５１０において、任意のマイクロレンズ像３０に注目し（注目マイクロレンズ像３０と呼ぶ）、注目マイクロレンズ像３０に含まれる各画素１３０0、１３０1、１３０2、…、１３０m、…、１３０n-1、１３０nの輝度値Ｉ0、Ｉ1、Ｉ2、…、Ｉnの分散σ0を算出する。この分散σ0が、画像データ５１０における注目マイクロレンズ像３０のテクスチャ量となる。
【０１２１】
なお、マイクロレンズ像３０のテクスチャ量は、分散σに限られない。例えば、マイクロレンズ像３０に含まれる各画素１３０0〜１３０nの輝度値の最大値を最小値で除した値を、当該マイクロレンズ像３０のテクスチャ量として用いてもよい。
【０１２２】
計算部２５１は、他の画像データ５１１〜５１３についても、当該注目マイクロレンズ像３０と対応する位置の各マイクロレンズ像を注目マイクロレンズ像３０として、注目マイクロレンズ像３０に含まれる各画素１３０0〜１３０nについて、それぞれ分散σ1、σ2およびσ3を算出する。計算部２５１は、各画像データ５１０〜５１３の注目マイクロレンズ像３０から求められた各分散σ0〜σ3を比較し、最も大きな分散σを求める。
【０１２３】
次のステップＳ２１で、計算部２５１は、各画像データ５１０〜５１３の各注目マイクロレンズ像３０のうち、ステップＳ２０で求められた最も大きな分散σが算出された注目マイクロレンズ像３０を選択する。
【０１２４】
次のステップＳ２２で、計算部２５１は、フレームメモリ２５０Ａおよび２５０Ｂに記憶される各画像データ５１０〜５１３のうち、ステップＳ２１で選択した注目マイクロレンズ像３０が含まれる画像データにおいて、当該注目マイクロレンズ像３０の近傍の、当該注目マイクロレンズ像３０と同色のマイクロレンズ像３０を用いて画像マッチングを行う。
【０１２５】
例えば、ステップＳ２１において、各画像データ５１０〜５１３の各注目マイクロレンズ像３０の分散σ0〜σ3のうち、画像データ５１０に含まれる注目マイクロレンズ像３０の分散σ0が最も大きな値であり、この注目マイクロレンズ像３０がＲ色の光学フィルタ４００Ｒに対応するものとする。この場合、計算部２５１は、画像データ５１０において、当該注目マイクロレンズ像３０の近傍の、Ｒ色の光学フィルタ４００Ｒに対応するマイクロレンズ像３０との間で画像マッチングを行う。
【０１２６】
計算部２５１は、この画像マッチングによりマイクロレンズ間の像のずれ量Δ’を求め、既知のマイクロレンズの中心間距離Ｌを用いて上述した式（７）に従い縮小倍率Ｎを算出する。計算部２５１は、この縮小倍率Ｎを、上述した式（４）または式（６）に適用して、被写体までの距離Ａを求める。
【０１２７】
次のステップＳ２３で、計算部２５１は、ステップＳ２０〜ステップＳ２２の処理が全てのマイクロレンズ像３０について終了したか否かを判定する。計算部２５１は、未だ処理されていないマイクロレンズ像３０が存在すると判定した場合、処理をステップＳ２０に戻し、次のマイクロレンズ像３０を注目マイクロレンズ像３０として、ステップＳ２０〜ステップＳ２２の処理を繰り返す。
【０１２８】
計算部２５１は、ステップＳ２３で、全てのマイクロレンズ像３０について処理が終了したと判定した場合、図２４のフローチャートによる処理を抜け、処理を図２３のステップＳ１５に移行させる。
【０１２９】
ステップＳ１５で、計算部２５１は、ステップＳ１４でマイクロレンズ像３０、３０、…毎に計算された距離値に従い、距離マップを作成する。図２６に概念的に示されるように、第２の実施形態に係る距離マップは、マイクロレンズアレイ１２における各マイクロレンズ１２０、１２０、…に対応する画像上の各領域８００、８００、…に、マイクロレンズ像３０、３０、…毎に求めた距離値８１０、８１０、…を対応付けて構成することができる。次のステップＳ１６で、計算部２５１は、作成した距離マップを出力する。
【０１３０】
なお、上述では、撮像装置１’は、１フレーム期間を第１の期間ｔRGBと第２の期間ｔIrとに分割してそれぞれ画像データ５００および５０１を取得しているが、これはこの例に限定されない。すなわち、撮像装置１’は、１フレーム期間を分割せずに１の期間のみの露光を行い、ＲＧＢ各色によるマイクロレンズ像と赤外光によるマイクロレンズ像とが混在した画像データを取得するようにしてもよい。この場合、計算部２５１は、例えば被写体が十分明るい場合にはＲＧＢ各色によるマイクロレンズ像を用いて画像マッチングを行い、被写体が暗い場合には赤外光によるマイクロレンズ像を用いて画像マッチングを行うことが考えられる。
【０１３１】
この、１フレーム期間を分割せずに１の期間のみの露光を行う場合、撮像装置１’は、タイミング信号を生成する制御部２６およびスイッチ２２０と、フレームメモリ２２１Ａおよび２２１Ｂのうち一方と、フレームメモリ２５０Ａおよび２５０Ｂのうち一方とを省略できる。
【０１３２】
第２の実施形態によれば、ＲＧＢ各色のマイクロレンズ像に加え、赤外光によるマイクロレンズ像を用いて距離計算を行うため、様々な被写体においてより高精度に距離算出を行うことが可能となる。
【０１３３】
なお、本発明は上述した各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１３４】
１，１’  撮像装置
１０  カメラモジュール
１１  メインレンズ
１２  マイクロレンズアレイ
１３  撮像素子
２３，２３０  画像処理部
２６  制御部
２２０  スイッチ
２２１Ａ，２２１Ｂ，２５０Ａ，２５０Ｂ  フレームメモリ
２５１  計算部
４０，４０Ａ，４０Ｂ，４０Ｃ，４０Ｄ，４０Ｅ  フィルタアレイ
６０，６０Ａ，６０Ｂ，６０Ｃ，６０Ｄ，６０Ｅ  単位領域
４００，４００1，４００2，４００3，４００4，４００5，４００10，４００11，４００12，４００20，４００21，４００22，４００23，４００24，４００25，４００Ｒ，４００Ｒ1，４００Ｒ2，４００Ｒ3，４００Ｒ4，４００Ｂ，４００Ｇ，４００Ｉｒ，４００Ｗ  光学フィルタ
５００，５０１，５１０，５１１，５１２，５１３  画像データ
８１０  距離値
【図１】
2015185943.tif 000010
【図２】
2015185943.tif 000011
【図３】
2015185943.tif 000012
【図５】
2015185943.tif 000013
【図６】
2015185943.tif 000014
【図７】
2015185943.tif 000015
【図８】
2015185943.tif 000016
【図９−１】
2015185943.tif 000017
【図９−２】
2015185943.tif 000018
【図１０】
2015185943.tif 000019
【図１１】
2015185943.tif 000020
【図１２】
2015185943.tif 000021
【図１３】
2015185943.tif 000022
【図１４】
2015185943.tif 000023
【図１５】
2015185943.tif 000024
【図１６】
2015185943.tif 000025
【図１７】
2015185943.tif 000026
【図１８】
2015185943.tif 000027
【図１９】
2015185943.tif 000028
【図２０】
2015185943.tif 000029
【図２１】
2015185943.tif 000030
【図２２】
2015185943.tif 000031
【図２３】
2015185943.tif 000032
【図２４】
2015185943.tif 000033
【図２５】
2015185943.tif 000034
【図２６】
2015185943.tif 000035
【図４】
2015185943.tif 000036