(57)【特許請求の範囲】
【請求項１】
開口絞りを有する撮像レンズと、
複数の色が所定の単位配列で周期的に塗り分けられたカラーフィルタを受光面側に有し、受光した光に基づいて複数色の画素データからなる撮像データを生成する撮像素子と、
前記撮像レンズの結像面上に配置され、前記撮像素子の複数の画素に対して１つのマイクロレンズが割り当てられたマイクロレンズアレイ部と、
前記撮像素子により生成された撮像データに対して画像処理を施す画像処理部とを備え、
前記画像処理部は、
前記撮像データにおいて、各マイクロレンズに対応する画素領域ごとに同じ位置の画素データを抽出し、その抽出した同じ位置の画素データ同士を合成することにより、複数の視差成分画像を生成する視差成分画像生成部と、
前記視差成分画像ごとにカラー補間処理を行う補間処理部とを有し、
前記カラーフィルタの複数色の単位配列と、各視差成分画像を構成する画素データの複数色の単位配列とが同一の配列となっている
ことを特徴とする撮像装置。
【請求項２】
前記カラーフィルタにおいて、前記複数色が、前記撮像素子の画素ごとに塗り分けられている
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記カラーフィルタの単位配列における行数もしくは列数の大きい方の数（同数の場合はその数）をｎとすると、各マイクロレンズに対応する画素領域の一辺の画素数ＮPが以下の式で表される
ことを特徴とする請求項２記載の撮像装置。
ＮP＝（ｎ＋１）＋ｎ×ｍ（但し、ｍ＝０，１，２，３…）    
【請求項４】
前記カラーフィルタにおいて、前記複数色が、各マイクロレンズに対応する画素領域ごとに塗り分けられている
ことを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記カラーフィルタは、前記複数色として赤（Ｒ）、緑（Ｇ）および青（Ｂ）を有する原色フィルタである
ことを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記カラーフィルタの複数色の単位配列は、Ｒ：Ｇ：Ｂ＝１：２：１の比率で市松状に配列したベイヤー配列である
ことを特徴とする請求項５記載の撮像装置。
【請求項７】
前記カラーフィルタは、前記複数色として黄（Ｙ）、マゼンダ（Ｍ）、シアン（Ｃ）および緑（Ｇ）を有する補色フィルタである
ことを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記画像処理部は、
前記カラー補間処理後の各視差成分画像を構成する複数の画素データを、各マイクロレンズに対応する画素領域ごとに同じ位置となるように再配列させる
ことを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マイクロレンズアレイを用いた撮像装置に関する。
【背景技術】
【０００２】
従来、様々な撮像装置が提案され、開発されている。また、撮像して得られた撮像データに対し、所定の画像処理を施して出力するようにした撮像装置も提案されている。
【０００３】
例えば、特許文献１および非特許文献１には、「Light Field Photography」と呼ばれる手法を用いた撮像装置が提案されている。この撮像装置は、撮像対象物を撮像するためのメインレンズである撮像レンズと、開口絞りと、複数のマイクロレンズがアレイ化マイクロレンズアレイと、受光素子と、画像処理部とから構成され、受光素子から得られる撮像データが、受光面における光の強度分布に加えてその光の進行方向の情報をも含むようになっている。そして画像処理部において、任意の視野や任意の焦点に設定された画像あるいは３次元の画像などを再構築できるようになっている。
【０００４】
また、撮像装置においてカラー画像を取得する場合、一般に、撮像素子上にカラーフィルタが付加されるようになっている。このようなカラーフィルタとしては、例えば特許文献２に示されたように、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の３原色がＲ：Ｇ：Ｂ＝１：２：１の比率で市松状に配置されたＢａｙｅｒ配列のカラーフィルタが用いられることが多い。
【０００５】
【特許文献１】国際公開第０６／０３９４８６号パンフレット
【特許文献２】米国特許第３９７１０６５号明細書
【非特許文献１】Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、各色のカラーフィルタを通過して撮像素子で受光された光線により得られる撮像データでは、色ごとにみると、画素データが空間的に間引かれた状態となっている。したがって、いわゆるデモザイク処理等の補間処理を色ごとに実行し、画素データが空間的に満たされた状態の撮像データを全ての色について取得する必要がある。
【０００７】
ここで、上記した「Light Field Photography」と呼ばれる手法では、撮像データが、光の強度分布に加えてその光の進行方向の情報をも含んでいるため、各光線を分離して検出することが重要である。ところが、この手法において、上記のようなカラーフィルタを用いてカラー画像を取得しようとした場合、撮像データに対して隣接する画素間で、デモザイク処理などのカラー補間処理を施すと、隣接画素間では光線ベクトルが異なるために、以下のような問題が生じる。
【０００８】
例えば、光に関して指向性を生じさせ易い物体を撮像した場合、光強度の異なる画素間での補間処理となるため、正しい光強度を得ることができない。また、フォーカスの外れたデフォーカス面では異なる位置（物体）からの光が通過することとなるため、適切なカラー補間処理を行うことができない。さらに、この手法特有のフォーカス調整を施す際には、隣接画素間で光線ベクトルが混じってしまうため、画像のフォーカス精度が低下する。
【０００９】
また、撮像素子で受光された撮像データには、開口絞りの開口の形状に対応して、マイクロレンズごとに撮像対象物の像が結像することとなる。このため、撮像データは複数の円形の像が２次元配列したものとなる。このような撮像データに対して、カラー補間処理を施すと、マイクロレンズごとに形成される像のエッジ（外縁部分）に対応する画素間では、適切なカラー補間処理を行うことができない。
【００１０】
従って、撮像素子で得られた撮像データに対して、隣接する画素間でデモザイク処理などのカラー補間処理を施すと、上記のような問題により、再構築画像において輝度に誤差が生じたり、色バランスが崩れてしまう。
【００１１】
本発明はかかる問題点に鑑みてなされたもので、その目的は、光線の進行方向の情報を含むようにして取得した撮像データを用いて、特にカラー画像を取得する際などに適切な補間処理を施すことが可能な撮像装置を提供することにある。
【課題を解決するための手段】
【００１２】
本発明の撮像装置は、以下の要素（Ａ）〜（Ｄ）を備えたものである。
（Ａ）開口絞りを有する撮像レンズ
（Ｂ）複数色が所定の単位配列で周期的に塗り分けられたカラーフィルタを受光面側に有し、受光した光に基づいて複数色の画素データからなる撮像データを生成する撮像素子
（Ｃ）撮像レンズの結像面上に配置され、撮像素子の複数の画素に対して１つのマイクロレンズが割り当てられたマイクロレンズアレイ部
（Ｄ）撮像素子により生成された撮像データに対して画像処理を施す画像処理部
ここで、上記画像処理部は、撮像データにおいて、各マイクロレンズに対応する画素領域ごとに同じ位置の画素データを抽出し、抽出した同じ位置の画素データ同士を合成することにより、複数の任意視点画像を生成する視差成分画像生成部と、視差成分画像ごとにカラー補間処理を行う補間処理部とを有する。また、上記カラーフィルタの複数色の単位配列と、各視差成分画像を構成する画素データの複数色の単位配列とは同一の配列となっている。
【００１３】
本発明の撮像装置では、撮像レンズによる撮像対象物の像は、マイクロレンズアレイ部上に結像する。そしてマイクロレンズアレイ部への入射光線がマイクロレンズアレイ部を介して撮像素子へ到達し、光線の位置情報に加え光線の進行方向の情報をも含んだ撮像データが得られる。この際、撮像素子の受光面側に複数色が所定の単位配列で周期的に塗り分けられたカラーフィルタが設けられていることにより、このカラーフィルタの色の配列に対応して複数色の画素データが撮像データとして取得される。そして、このようにして得られた撮像データにおいて、各マイクロレンズに対応する画素領域ごとに同じ位置の画素データが抽出されて合成されることにより、複数の視差成分画像を生成される。ここで、各視差成分画像では、隣接する画素データ間で光線の位置や進行方向の情報が互いに等しくなっているため、生成された視差成分画像ごとにカラー補間処理を行うことにより、光線の位置や進行方向の情報が保持される。また、カラーフィルタと視差成分画像との色の単位配列が互いに同一であることにより、撮像素子で得られた撮像データの色情報が損なわれることはない。
【発明の効果】
【００１４】
本発明の撮像装置によれば、撮像素子の受光面側に所定の単位配列で色分けされたカラーフィルタを設けるようにしたので、撮像素子で得られる光線の位置や進行方向の情報を含んだ撮像データを、上記カラーフィルタの色の配列に対応した複数色の画素データとすることができる。また、画像処理部では、各マイクロレンズに対応する画素領域ごとに同じ位置に配置された画素データに基づいて視差成分画像をそれぞれ生成するようにしたので、各視差成分画像では、隣接する画素データ間で光線の位置や進行方向を等しくすることができる。よって、光線の位置や進行方向の情報を適切に保持したままカラー補間処理を行うことができる。また、視差成分画像には、マイクロレンズ周期で開口絞りの開口形状に対応して形成される像のエッジはないため、このエッジに対応する画素データに対しても適切にカラー補間処理を行うことができる。このとき、カラーフィルタと視差成分画像との色の単位配列を同一になるようにしたので、撮像素子で得られた撮像データの色情報が損なわれることはない。よって、光線の進行情報を含む撮像データに対して適切なカラー補間処理を施すことができる。これにより、再構築画像と実際の像との間で輝度に誤差が生じることを防ぐことができ、色バランスが崩れることを抑制することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１６】
［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る撮像装置（撮像装置１）の全体構成を表すものである。撮像装置１は、撮像対象物２を撮像して撮像データＤoutを出力するものであり、撮像レンズ１１、マイクロレンズアレイ１２、撮像素子１３、画像処理部１４、撮像素子駆動部１６および制御部１７から構成されている。
【００１７】
撮像レンズ１１は、撮像対象物２を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成される。
【００１８】
マイクロレンズアレイ１２は、複数のマイクロレンズがマトリクス状に配列してなり、撮像レンズ１１の結像面上（図中の符号ｆ１は、撮像レンズ１１の焦点距離を表している）に配置されている。各マイクロレンズは、固体レンズや液晶レンズ、回折レンズなどにより構成される。
【００１９】
撮像素子１３は、マイクロレンズアレイ１２からの光を受光して撮像データＤ０を生成するものであり、マイクロレンズアレイ１２の結像面（図中の符号ｆ２は、マイクロレンズアレイ１２の焦点距離を表している）に配置されている。この撮像素子１３は、例えば、マトリクス状に配列された複数のＣＣＤ（Charge Coupled Device；電荷結合素子）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの２次元撮像素子により構成される。撮像素子１３の受光面（マイクロレンズアレイ１２側の面）には、Ｍ×Ｎ（Ｍ，Ｎ：整数）個の撮像画素（以下、単に画素という）がマトリクス状に配置されている。また、複数の画素（例えば、ｍ×ｎ＝１１×１１＝１２１個の画素）に対してマイクロレンズアレイ１２内の１つのマイクロレンズが割り当てられるようになっている。この受光面における画素の個数は、例えば、Ｍ×Ｎ＝３７２０×２５２０＝９３７４４００個である。ここで、各マイクロレンズに対する画素の割り当て個数ｍ×ｎの値が大きくなるに従って、後述する再構築画像の分解能、例えば任意の視野での分解能やリフォーカス演算処理に基づく奥行き方向の分解能（任意の焦点での分解能）などが高くなる。一方、（Ｍ／ｍ），（Ｎ／ｎ）は、再構築画像の解像度と関連しているため、これら（Ｍ／ｍ），（Ｎ／ｎ）の値が大きくなるに従って、再構築画像の解像度が高くなる。このように、再構築画像の分解能と解像度とはトレードオフの関係にあるが、分解能および解像度の両者をできるだけ高い値で両立させることが望ましい。
【００２０】
撮像素子１３の受光面上には、例えば図２に示したようなカラーフィルタ１５が配置されている（図１には図示せず）。このカラーフィルタ１５は、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の３原色のカラーフィルタ（赤色カラーフィルタ１５Ｒ、緑色カラーフィルタ１５Ｇおよび青色カラーフィルタ１５Ｂ）がＲ：Ｇ：Ｂ＝１：２：１の比率で市松状に配置されたベイヤー（Ｂａｙｅｒ）配列の原色フィルタである。すなわち、３色のカラーフィルタが２行２列の単位配列１５Ａで周期的に配置された構成となっている。
【００２１】
また、本実施の形態では、撮像素子１３の受光面における画素ごとにカラーフィルタ１５の各色が塗り分けられた構成となっている。すなわち、１つの画素に対して、赤色カラーフィルタ１５Ｒ、緑色カラーフィルタ１５Ｇもしくは青色カラーフィルタ１５Ｂが割り当てられた構成となっている。
【００２２】
さらに、カラーフィルタの単位配列１５Ａにおける行数もしくは列数の大きい方の数（同数の場合はその数）をｎとすると、各マイクロレンズに対応する画素領域（後述の画素領域１３Ａ）の一辺の画素数ＮPが以下の式（１）で表されるようになっている。
ＮP＝（ｎ＋１）＋ｎ×ｍ（但し、ｍ＝０，１，２，３…）    ………（１）
【００２３】
撮像素子駆動部１６は、撮像素子１３を駆動してその受光動作の制御を行うものである。
【００２４】
画像処理部１４は、撮像素子１３で得られた撮像データＤ０に対して後述する所定の画像処理を施し、撮像データＤoutを出力するものである。例えば、「Light Field Photography」と呼ばれる手法を用いた演算処理により並べ替えを行い、これにより例えば任意の視野や任意の焦点に設定した画像（撮像データＤoutに基づく再構築画像）を合成できるようになっている。この画像処理部１４の詳細については後述する。
【００２５】
制御部１７は、撮像素子駆動部１６の駆動動作を制御すると共に、画像処理部１４の画像処理動作を制御信号Ｓoutにより制御するものである。この制御部１７は、例えばマイクロコンピュータなどにより構成される。
【００２６】
次に、図３を参照して画像処理部１４の詳細構成について説明する。図３は、画像処理部１４の機能ブロック構成を表すものである。
【００２７】
画像処理部１４は、欠陥補正部１４１、クランプ処理部１４２、視差成分画像生成部１４３、補間処理部１４４、並べ替え処理部１４５、ノイズ低減部１４６、輪郭強調部１４７、ホワイトバランス調整部１４８、およびガンマ補正部１４９から構成されている。
【００２８】
欠陥補正部１４１は、撮像データＤ０に含まれる黒とび等の欠陥（撮像素子１３の素子自体の異常に起因した欠陥）を補正するものである。クランプ処理部１４２は、欠陥補正部１４１による欠陥補正後の撮像データにおいて、各画素データの黒レベルの設定処理（クランプ処理）を行うものである。
【００２９】
視差成分画像生成部１４３は、クランプ処理部１４２により供給される撮像データＤ１に対して、各マイクロレンズに対応する画素領域同士の間で、同一の位置に配置された画素データを抽出して、同一の位置から抽出された画素データ同士を合成することにより、１つのマイクロレンズに割り当てられた画素と同数の撮像データＤ２を生成するものである。この視差成分画像生成部１４３による撮像データＤ２の生成動作の詳細については後述する。
【００３０】
補間処理部１４４は、視差成分画像生成部１４３により供給される撮像データＤ２に対し、例えばデモザイク処理などのカラー補間処理を施すことにより、撮像データＤ３を生成するものである。具体的には、赤色カラーフィルタ１５Ｒを通過して得られる赤色の画素データの個数と、緑色カラーフィルタ１５Ｇを通過して得られる緑色の画素データの個数と、青色カラーフィルタ１５Ｂを通過して得られる青色の画素データの個数とが互いに等しくなるように、各色の画素データごとに、隣接する画素間で補間処理を行う。
【００３１】
並べ替え処理部１４５は、補間処理部１４４により供給される撮像データＤ３に対して所定の並べ替え処理（各画素データの並べ替え処理）を施すことにより、撮像データＤ４を生成するものである。このような並べ替え処理を行うことにより、任意の視野や任意の焦点に設定された再構築画像の合成が可能となっている。なお、この並べ替え処理部１４５は、上記並べ替え処理の前処理として、カラー補間処理後の視差成分画像の撮像データを、再びもとの撮像データＤ０に対応する位置に配列させる再配列処理を含んでいる。
【００３２】
ノイズ低減部１４６は、並べ替え処理部１４５により供給される撮像データＤ４に含まれるノイズ（例えば、暗い場所や感度の足りない場所で撮像したときに発生するノイズ）を低減する処理を行うものである。輪郭強調部１４７は、ノイズ低減部１４６により供給される撮像データに対し、映像の輪郭を強調する輪郭強調処理を行うものである。
【００３３】
ホワイトバランス調整部１４８は、輪郭強調部１４７により供給される撮像データに対し、カラーフィルタ１５の通過特性や撮像素子１３の分光感度などのデバイスの個体差や照明条件などの影響に起因した色バランスの調整処理（ホワイトバランス調整処理）を行うものである。
【００３４】
ガンマ補正部１４９は、ホワイトバランス調整部１４８により供給される撮像データに対して所定のガンマ補正（明暗やコントラストの補正）を行うことにより、撮像データＤoutを生成するものである。
【００３５】
次に、本実施の形態の撮像装置１の動作について、図１〜図１３を参照して説明する。
【００３６】
撮像装置１では、撮像レンズ１１による撮像対象物２の像は、マイクロレンズアレイ１２上に結像する。そして、マイクロレンズアレイ１２への入射光線がこのマイクロレンズアレイ１２を介して撮像素子１３へ到達し、撮像素子駆動部１６による駆動動作に従って、撮像素子１３により撮像データＤ０が得られる。このとき、カラーフィルタ１５が撮像素子１３の受光面上に設けられていることにより、撮像素子１３により得られた撮像データＤ０として、カラーフィルタ１５の色に対応した複数の色（この場合、３原色）の画素データが得られる。このようにして撮像素子１３で得られた撮像データＤ０は、画像処理部１４へ入力する。
【００３７】
画像処理部１４では、制御部１７の制御に応じて、撮像データＤ０に対して所定の画像処理が施され、これにより画像処理後の撮像データＤoutが、撮像装置１の出力データとして出力される。以下、図４〜図１３を参照して、この画像処理部１４の動作について説明する。
【００３８】
まず、図４〜図７を参照して、画像処理部１４の基本動作について説明する。図４は、撮像データに含まれる光線の情報を説明するための図である。図５は、受光面上で撮像対象物がつくる像を模式的に表したものである。図６は、任意の視野に設定した再構築画像の一例である。図７は、任意の焦点に設定した再構築画像を合成する際のリフォーカス演算処理を説明するための模式図である。
【００３９】
画像処理部１４へ入力された撮像データＤ０は、次のような状態で表される。図４に示したように、撮像レンズ１１の撮像レンズ面上において直交座標系（ｕ，ｖ）を、撮像素子１３の撮像面上において直交座標系（ｘ，ｙ）をそれぞれ考え、撮像レンズ１１の撮像レンズ面と撮像素子１３の撮像面との距離をＦとすると、撮像レンズ１１および撮像素子１３を通る光線Ｌ１は、４次元関数ＬＦ（ｘ，ｙ，ｕ，ｖ）、すなわち光線の位置情報に加え、光線の進行方向が保持された状態で表される。
【００４０】
このような撮像データＤ０は、欠陥補正部１４１により欠陥が補正され、クランプ処理部１４２により適切な黒レベルに設定されたのち、デモザイク処理などのカラー補間処理がなされ、並べ替え処理部１４５において所定の並べ替えがなされる。これにより、撮像データＤoutとして、例えば任意の視野や任意の焦点に設定された画像（任意視点画像）の撮像データが出力される。以下、この任意の視野、任意の焦点における画像を再構築する際の並べ替え処理の一例について説明する。
【００４１】
例えば、図５に示したように、撮像素子の受光面において５行５列で配置された画素領域（５×５ピクセル）に対して１つのマイクロレンズを割り当てた場合には、マイクロレンズごとに結像した撮像対象物２の像（以下、ユニット像という）を有する撮像データＤ１００が得られる。この場合、ユニット像ごとに同一の位置にある画素データを抽出して合成することにより、任意の視野に設定された画像が再構築される。ここで、図６（Ａ）に示した領域（視野）Ｓ１１，Ｓ１２，Ｓ１３，Ｓ１４，Ｓ１５における画素データをそれぞれ抽出して合成した場合の実際の再構築画像を、図６（Ｂ）に示す。このように、撮像データＤ０が光線の進行方向の情報を含んでいることにより、撮像対象物２に対して互いに異なる視野（任意の視野）から観察した画像が再構築される。また、このとき、撮像素子の受光面において１つのマイクロレンズに割り当てられた画素と同数の再構築画像が得られるため、再構築画像の任意の視野での分解能は、各マイクロレンズに割り当てられる画素数が多くなるに従って高くなる。この一方で、再構築画像の解像度は、マイクロレンズに割り当てられる画素数が少なくなるに従って高くなる。
【００４２】
一方、図７に示したように、撮像レンズ面１１０、撮像素子面１３０およびリフォーカス面１２０間の位置関係を設定（Ｆ’＝αＦとなるようにリフォーカス面１２０を設定）した場合、リフォーカス面１２０上の座標（ｓ，ｔ）の撮像面１３０上における検出強度ＬF'は、以下の（２）式のように表される。また、リフォーカス面１２０で得られるイメージＥF'（ｓ，ｔ）は、上記検出強度ＬF'をレンズ口径に関して積分したものとなるので、以下の（３）式のように表される。したがって、この（３）式からリフォーカス演算処理を行うことにより、任意の焦点（リフォーカス面１２０）に設定した画像が再構築される。
【００４３】
【数１】
0004905326.tif 000002
【００４４】
また、リフォーカス演算処理においては、撮影時の設定焦点位置（マイクロレンズアレイ１２の位置）よりも奥側（遠く）に存在する撮像対象物２に対して焦点が設定された再構築画像を生成する際には、そのような焦点位置に結像する光線が選択的に抽出されるような並べ替え処理がなされる。この場合、一旦集光した光線は再び離散し、その進行方向ごとに異なるマイクロレンズを通過して撮像素子１３上に到達することとなる。また一方で、撮影時の設定焦点位置よりも手前側（近く）に存在する撮像対象物２に対して焦点が設定された再構築画像を生成する際には、そのような焦点位置に結像する光線が選択的に抽出されるような並べ替え処理がなされる。この場合、撮像対象物２の像は撮像装置１内で結像することなく、進行方向ごとに異なるマイクロレンズを通過して撮像素子１３上に到達することとなる。
【００４５】
上記のようにして並べ替え処理部１４５により再構築された任意の視野や任意の焦点における画像の撮像データは、ノイズ低減部１４６によりノイズ低減処理がなされ、さらに輪郭強調部１４７によって輪郭強調処理がなされ、ホワイトバランス調整部１４８へ供給される。そして、ホワイトバランス調整部１４８から供給された撮像データは、ガンマ補正部１４９によりガンマ補正がなされることにより、撮像データＤoutとして画像処理部１４から出力される。これにより、この撮像データＤoutに基づいて、任意の視野や焦点に設定した画像が得られる。
【００４６】
次に、図８〜図１３を参照して、画像処理部１４における視差成分画像生成部１４３および補間処理部１４４の動作について比較例と比較しつつ説明する。図８は、比較例に係る撮像装置の画像処理部１０４の機能ブロック図である。図９は、比較例の撮像装置における作用を説明するための図である。図１０は、視差成分画像生成部１４３における処理動作を模式的に表すものである。図１１は、視差成分画像の色の配列を模式的に表すものである。図１２は、補間処理部１４４におけるカラー補間動作の一例を模式的に表すものである。図１３は、カラー補間後に再配列処理を施した撮像データを表すものである。
【００４７】
まず、図８に示した比較例に係る画像処理部１０４では、クランプ処理部１４２から供給される撮像データＤ１に対して、補間処理部１０６においてカラー補間が行われたのち、並べ替え処理部１４５において撮像データ（撮像データＤ１０２）の並べ替え処理が行われる。これにより、例えば任意の視野や任意の焦点に設定された画像データ（撮像データＤ１０３）が生成される。このとき、補間処理部１０６において、例えばＲ，Ｇ，Ｂの３色の画素データごとに、隣接する画素データ間でカラー補間がなされ、Ｒ，Ｇ，Ｂの色ごとに撮像データＤ１０２が生成される。
【００４８】
ここで、撮像データＤ０には、上述したように光線の位置情報に加え光線の進行方向の情報が含まれている。ところが、これらの情報は隣接する画素データ間で互いに異なるものであるため、撮像データＤ１（撮像データＤ０）において、本比較例のように、隣接する画素データ間でカラー補間処理を行うと、撮像データＤ１０２から正しい光強度が得られなくなってしまう。また、図９に示したようなフォーカスの外れたデフォーカス面１２１では、異なる位置（物体）からの光線が到達することとなるため、本比較例のカラー補間処理では、適切なカラー補間を行うことができない。さらに、フォーカス調整を施す際には、隣接画素データ間で光線ベクトルが混じってしまうため、画像のフォーカス精度が低下する。また、撮像素子の受光面上には、マイクロレンズごとに開口絞りの開口形状に対応したユニット像が結像する。このため、そのユニット像のエッジ（外縁部分）がマイクロレンズ周期で存在することとなる。ところが、撮像データＤ０内にこのようなエッジを有している場合、このエッジを含む画素データとこれに隣接する画素データとの間では、適切な補間処理を行うことができない。
【００４９】
これに対し、本実施の形態の画像処理部１４では、図３に示したように、補間処理部１４４の前段に視差成分画像生成部１４３が配置されている。すなわち、クランプ処理部１４２から供給される撮像データ（撮像データＤ１）に基づいて視差成分画像を生成したのちに、この視差成分画像ごとに画素データのカラー補間処理が行われる。これにより、カラー補間処理後の撮像データＤ３が生成される。そして、この撮像データＤ３に対して、並べ替え処理部１４５、ノイズ低減部１４６、輪郭強調部１４７、ホワイトバランス調整部１４８およびガンマ補正部１４９により上述のような所定の処理が施され、撮像データＤoutが出力される。以下、視差成分画像生成部１４３および補間処理部１４４の動作について詳細に説明する。
【００５０】
視差成分画像生成部１４３では、まず、図１０に示したように、撮像データＤ１のうち、マイクロレンズごとに結像したユニット像Ｍ０に対応する画素領域１３Ａごとに、同一の位置に配置された画素データ、例えば画素データＤ１ａ，Ｄ１ｂ，Ｄ１ｃ，…が、それぞれ抽出される。次いで、画素領域１３Ａごとに抽出した画素データＤ１ａ，Ｄ１ｂ，Ｄ１ｃが、それぞれ合成されることにより視差成分画像の撮像データ（後述の撮像データＤ２ａ，Ｄ２ｂ，Ｄ２ｃ）が生成される。同様にして、ユニット像Ｍ０に対応する画素領域１３Ａ内の全画素分の視差成分画像の撮像データ（まとめて撮像データＤ２とする）を生成する。このため、画素領域１３Ａ内の画素データの数、すなわち各マイクロレンズに割り当てられた画素の数と同じ数の視差成分画像が生成されることとなる。例えば、本実施の形態では、各マイクロレンズに対して、１１行１１列の数の画素が割り当てられており、これにより１２１個の視差成分画像が生成される。このようにして生成された各視差成分画像では、隣接する画素データ間で光線の位置や進行方向が等しくなる。
【００５１】
一方で、カラーフィルタ１５の３色が画素ごとに塗り分けられていることにより、撮像データＤ１では、画素ごとにＲ，ＧもしくはＢの色の画素データが配置された構成となる。また、カラーフィルタ１５の単位配列１５Ａにおける行数もしくは列数の大きい方の数（同数の場合はその数）をｎとすると、各マイクロレンズに対応する画素領域１３Ａの一辺の画素数ＮPが前述の式（１）で表されるようになっている。このように構成することにより、図１１（Ａ）〜図１１（Ｃ）に示したように、抽出した画素データＤ１ａ，Ｄ１ｂ，Ｄ１ｃごとに合成して生成された視差成分画像の撮像データＤ２ａ，Ｄ２ｂ，Ｄ２ｃにおける色の配列は、上記カラーフィルタ１５と同一の色の単位配列（単位配列１５Ａ）となる。なお、本実施の形態では、カラーフィルタ１５の単位配列１５Ａの行数（列数）ｎを２とし、ｍを４とした場合の構成となっている。
【００５２】
そして、生成された撮像データＤ２は、補間処理部１４４に供給されると、補間処理部１４４により、視差成分画像の撮像データごとに、それぞれカラー補間処理がなされる。例えば、図１２（Ａ）に示したように、撮像データＤ２ａに対してカラー補間処理がなされることにより、図１２（Ｂ）に示したような赤色の撮像データＤ３ａ−Ｒが得られる。同様にして、緑色および青色についてもカラー補間処理がなされることにより、図１２（Ｃ）に示したように、赤色の撮像データＤ３ａ−Ｒ、緑色の撮像データＤ３ａ−Ｇおよび青色の撮像データＤ３ａ−Ｂが得られる。このようにして、全ての視差成分画像の撮像データについて、視差成分画像ごとにカラー補間処理を行うことにより、カラー補間処理後の撮像データＤ３が生成される。
【００５３】
このとき、各視差成分画像の撮像データでは、上述したように、隣接する画素データ間で光線の位置や進行方向が等しくなっているため、この視差成分画像ごとにカラー補間処理を行うことにより、光線の位置や進行方向の情報が正しく保持されたままカラー補間がなされる。また、カラーフィルタ１５と視差成分画像の撮像データＤ２とにおける色の単位配列が同一であることにより、撮像素子１３で得られた撮像データＤ０（Ｄ１）から特定の位置にある画素データを抽出して生成した視差成分画像に基づいてカラー補間処理を施したとしても、もとの撮像データＤ０の保持する色情報が損なわれることはない。
【００５４】
なお、カラー補間処理後の撮像データＤ３が並べ替え処理部１４５に供給されると、並べ替え処理部１４５では、その並べ替え処理の前処理として再配列処理が施される。これにより、カラー補間処理後の視差成分画像の撮像データＤ３が、もとの撮像データＤ０に対応する画像に再配列され、図１３に示したように、ユニット像Ｍ１の撮像データが得られる。このユニット像Ｍ１から構成される撮像データは、上述のカラー補間処理により、撮像データＤ０の画素ごとにＲ，Ｇ，Ｂの３色のカラー情報を有する画像となる。
【００５５】
以上のように本実施の形態では、撮像素子１３の受光面上に単位配列１５Ａで色分けされたカラーフィルタ１５を設けるようにしたので、撮像素子１３で得られる光線の位置や進行方向の情報を含んだ撮像データＤ０を、上記カラーフィルタ１５の色の配列に対応した複数色の画素データとすることができる。また、画像処理部１４において、各マイクロレンズに対応する画素領域１３Ａごとに同じ位置に配置された画素データに基づいて視差成分画像をそれぞれ生成するようにしたので、各視差成分画像では、隣接する画素データ間で光線の位置や進行方向を等しくすることができる。従って、光線の位置や進行方向の情報を適切に保持したままカラー補間処理を行うことができる。
【００５６】
また、撮像データＤ０においては、マイクロレンズ周期でユニット像のエッジが存在するが、この撮像データＤ０に対してカラー補間処理を行う前に視差成分画像に展開するようにしたので、上記のようなマイクロレンズ周期で存在するエッジの影響を大幅に減らすことができる。よって、適切なカラー補間処理を施し易くなる。これは特に、図１４に示したように、各マイクロレンズに割り当てられる画素数を減らした場合、例えば３×３＝９個とした場合に有効となる。割り当て画素数を減らした場合、ユニット像Ｍ２におけるエッジの数が増えてエッジによる影響がより大きくなるためである。
【００５７】
このとき、カラーフィルタ１５と視差成分画像との色の単位配列を同一になるようにしたので、撮像素子１３で得られた撮像データＤ０の色情報が損なわれることはない。よって、光線の進行情報を含む撮像データに対して適切なカラー補間処理を施すことができ、これにより、再構築画像と実際の像との間で輝度に誤差が生じることを防ぎ、また、色バランスが崩れることを抑制することができる。
【００５８】
［第２の実施の形態］
次に、本発明の第２の実施の形態について図面を参照して説明する。なお、第１の実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。
【００５９】
図１５は、本実施の形態に係る撮像装置に用いられるカラーフィルタ２５の構成を表すものである。カラーフィルタ２５は、図１に示したような撮像素子１３の受光面上に配置され、Ｒ，Ｇ，Ｂの３原色のカラーフィルタ（赤色カラーフィルタ２５Ｒ、緑色カラーフィルタ２５Ｇおよび青色カラーフィルタ２５Ｂ）がＲ：Ｇ：Ｂ＝１：２：１の比率で市松状に配置されたベイヤー（Ｂａｙｅｒ）配列の原色フィルタである。すなわち、３色のカラーフィルタが２行２列の単位配列２５Ａで周期的に配置された構成となっている。
【００６０】
また、本実施の形態では、各マイクロレンズに対応する画素領域（２５Ｍ）ごとにカラーフィルタ２５の各色が塗り分けられた構成となっている。すなわち、一つのマイクロレンズに割り当てられた複数の画素（例えば、１１行１１列の画素領域）ごとに、赤色カラーフィルタ２５Ｒ、緑色カラーフィルタ２５Ｇもしくは青色カラーフィルタ２５Ｂが割り当てられるようになっている。
【００６１】
このようなカラーフィルタ２５が撮像素子１３の受光面上に設けられていることにより、撮像素子１３により得られた撮像データＤ０として、カラーフィルタ２５の色に対応した複数色の画素データが得られる。このとき、撮像データＤ０では、各マイクロレンズに対応する画素領域ごとに、Ｒ，Ｇ，Ｂの色が配置された構成となるため、上述した視差成分画像生成部１４３により、画素領域ごとに同一の位置にある画素データを抽出して合成することにより、全ての視差成分画像が同一の色配列（例えば、図１１（Ａ）に示したような配列）となると共に、その単位配列はカラーフィルタ２５の単位配列２５Ａと同一となる。よって、上記第１の実施の形態と同様の効果を得ることができる。
【００６２】
また、撮像素子１３の受光面上に、各マイクロレンズに対応する画素領域ごとにカラーフィルタ２５の各色を塗り分けるようにしたので、各マイクロレンズに割り当てられる画素数を前述の式（１）のような制限なく設定することができ、第１の実施の形態と比べて、設計の自由度を向上させることができる。
【００６３】
以上、第１および第２の実施の形態を挙げて本発明を説明したが、本発明はこれらの実施の形態に限定されるものではなく、種々の変形が可能である。
【００６４】
例えば、上記実施の形態では、各マイクロレンズに１１×１１の数の画素が割り当てられる構成を例に挙げて説明したが、各マイクロレンズに割り当てる画素数は、これに限定されるものではない。但し、割り当て画素数を少なくする程、再構築画像の解像度を高くすることができ、割り当て画素数を多くする程、再構築画像の分解能を高くすることができる。
【００６５】
また、上記実施の形態では、視差成分画像生成部１４３において、画素領域１３Ａの全域に対応する画素データ（１１×１１＝１２１個）の視差成分画像が生成される場合について説明したが、これに限定されず、マイクロレンズによって形成されるユニット像に対応する領域（撮像レンズ１１の開口絞りの開口が円形である場合には円形の領域）の画素データに対してのみ、視差成分画像を生成するようにしてもよい。この場合、ユニット像の周辺の画素領域については、実際には受光に寄与しない領域であるため、例えば、画像処理部１４において、欠陥補正部１４１とクランプ処理部１４２との間に、撮像データＤ０のうちから受光領域のみを抽出すると共に非受光領域を取り除く処理を行う領域抽出部を設けるようにすればよい。このように構成した場合、実際に受光に寄与するデータのみを用いてその後の画像処理（特にホワイトバランス調整）を行うことができるため、より自然な色バランスを得ることが可能となる。
【００６６】
また、上記実施の形態では、カラーフィルタ１５の単位配列において、その行および列の数が偶数となる構成を例に挙げて説明したが、これに限定されず、奇数であってもよい。
【００６７】
また、上記実施の形態では、並べ替え処理部１４５において、カラー補間処理後の撮像データＤ３に対して、並べ替え処理の前処理として再配列処理を行う場合を例に挙げて説明したが、これに限定されず、並べ替え処理部１４５における並べ替え処理によっては、この再配列処理はなされなくともよい。すなわち、カラー補間処理後の視差成分画像に対して、そのまま所定の並べ替え処理を施すようにしても、本発明の効果を得ることができる。
【００６８】
また、上記実施の形態では、カラーフィルタの一例として、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の３原色のカラーフィルタがＲ：Ｇ：Ｂ＝１：２：１の比率で市松状に配置されたＢａｙｅｒ配列のカラーフィルタ（原色フィルタ）を例に挙げて説明したが、例えば図１６に示したカラーフィルタ２６のように、他の配列のカラーフィルタを用いるようにしてもよい。なお、このカラーフィルタ２６は、黄（Ｙｅ）、マゼンダ（Ｍｇ）、シアン（Ｃｙ）および緑（Ｇ）の４補色のカラーフィルタがＹｅ：Ｍｇ：Ｃｙ：Ｇ＝１：１：１：１の比率で市松状に配置（補色市松配列）されたカラーフィルタであり、その単位配列２６Ａは２行２列となっている。
【００６９】
あるいは、図１７に示したカラーフィルタ２７を用いるようにしてもよい。このカラーフィルタ２７は、図１６と同様に４補色のカラーフィルタがＹｅ：Ｍｇ：Ｃｙ：Ｇ＝１：１：１：１の比率で配置されたカラーフィルタであるが、その単位配列２７Ａは４行２列となっている。なお、このカラーフィルタ２７を用いて、上記第１の実施の形態のように画素ごとに色を塗り分ける場合には、上述した式（１）において、ｎを４として各マイクロレンズに割り当てられる画素領域の１辺の画素数ＮPを設定するようにすればよい。
【００７０】
また、上記実施の形態では、撮像データ内の画素データのカラー補間処理の一例としてデモザイク処理を挙げて説明したが、他のカラー補間処理を行うようにしてもよい。
【００７１】
さらに、上記実施の形態では、画像処理部１４において行われる並べ替え処理の一例として、「Light Field Photography」を利用したリフォーカス演算処理を例に挙げて説明したが、これに限られず、例えば、焦点ぼかし処理や被写体深度調整処理などに適用するようにしてもよい。
【図面の簡単な説明】
【００７２】
【図１】本発明の第１の実施の形態に係る撮像装置の構成を表すブロック図である。
【図２】図１に示した撮像素子の受光面上に設けられるカラーフィルタの構成例を表す平面図である。
【図３】図１に示した画像処理部の詳細構成例を表す機能ブロック図である。
【図４】撮像データに含まれる光線の情報を説明するための図である。
【図５】図１に示した撮像素子の受光面上で撮像対象物がつくる像を模式的に表したものである。
【図６】任意の視野に設定した再構築画像の一例である。
【図７】任意の焦点に設定した再構築画像を合成する際のリフォーカス演算処理を説明するための模式図である。
【図８】比較例に係る撮像装置の画像処理部の機能ブロック図である。
【図９】比較例の撮像装置における作用を説明するための図である。
【図１０】図３に示した画像処理部の視差成分画像生成部における処理動作を模式的に表すものである。
【図１１】生成された視差成分画像の色の配列を模式的に表すものである。
【図１２】図３に示した画像処理部の補間処理部におけるカラー補間動作の一例を模式的に表すものである。
【図１３】カラー補間後に再配列処理を施した撮像データを表す模式図である。
【図１４】各マイクロレンズに割り当てる画素数を減らした場合の撮像データの構成を表す模式図である。
【図１５】第２の実施の形態に係る撮像装置に用いられるカラーフィルタの構成例を表す平面図である。
【図１６】本発明の変形例に係るカラーフィルタの構成を表す平面図である。
【図１７】本発明の変形例に係るカラーフィルタの構成を表す平面図である。
【符号の説明】
【００７３】
１…撮像装置、１１…撮像レンズ、１１０…撮像レンズ面、１２…マイクロレンズアレイ、１２０…リフォーカス面、１３…撮像素子、１３０…撮像面、１４…画像処理部、１４１…欠陥補正部、１４２…クランプ処理部、１４３…視差成分画像生成部、１４４…補間処理部、１４５…並べ替え処理部、１４６…ノイズ低減部、１４７…輪郭強調部、１４８…ホワイトバランス調整部、１４９…ガンマ補正部、１５，２５，２６，２７…カラーフィルタ、１６…撮像素子駆動部、１７…制御部、２…撮像対象物（被写体）、ｆ１，ｆ２…焦点距離、Ｄ０，Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄout…撮像データ、Ｓout…制御信号、Ｌ０…光軸、Ｌ１…光線。
【図１】
0004905326.tif 000003
【図２】
0004905326.tif 000004
【図３】
0004905326.tif 000005
【図４】
0004905326.tif 000006
【図５】
0004905326.tif 000007
【図６】
0004905326.tif 000008
【図７】
0004905326.tif 000009
【図８】
0004905326.tif 000010
【図９】
0004905326.tif 000011
【図１０】
0004905326.tif 000012
【図１１】
0004905326.tif 000013
【図１２】
0004905326.tif 000014
【図１３】
0004905326.tif 000015
【図１４】
0004905326.tif 000016
【図１５】
0004905326.tif 000017
【図１６】
0004905326.tif 000018
【図１７】
0004905326.tif 000019