(57)【要約】【課題】  光の進行方向の情報を含むようにして取得した撮像データを用いて、高解像度のカラー再構築画像を生成することが可能な撮像装置及びその制御方法、プログラムを提供する。【解決手段】  撮像レンズを通過した光を少なくとも分光特性の異なる二つ以上の光に分光する。分光された二つ以上の光をそれぞれ受光して撮像データを生成する複数の撮像部のうち少なくとも１つの撮像手段に対応するマイクロレンズアレイを備える。【選択図】  図１
2012129654.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像する撮像装置であって、
撮像レンズと、
前記撮像レンズを通過した光を少なくとも分光特性の異なる二つ以上の光に分光する分光手段と、
前記分光手段により分光された二つ以上の光をそれぞれ受光して撮像データを生成する複数の撮像手段と、
前記複数の撮像手段のうち少なくとも１つの撮像手段に対応するマイクロレンズアレイと
を備えることを特徴とする撮像装置。
【請求項２】
前記マイクロレンズアレイを構成するマイクロレンズの個数は、少なくとも二種類以上である
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記分光特性の異なる光は、少なくともＲ、Ｇ及びＢである
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記分光特性の異なる光は、少なくともＹ、Ｍ及びＣである
ことを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記マイクロレンズの個数が相対的に多いマイクロレンズアレイに対応する前記撮像手段、もしくは、マイクロレンズアレイが配置されない前記撮像手段により生成された撮像データの視点情報を補間する視点情報補間手段と、
前記マイクロレンズの個数が相対的に少ないマイクロレンズアレイに対応する前記撮像手段により生成された撮像データの視差画像を補間する視差画像補間手段と、
前記視点情報補間手段により生成される撮像データと、前記視差画像補間手段により生成される撮像データをカラー合成するカラー撮像データ合成手段と、
を更に備えることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記マイクロレンズアレイは、前記撮像レンズの結像面上に配置されている
ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記撮像手段において、
対応する前記マイクロレンズアレイが配置される撮像手段はマイクロレンズアレイを構成するマイクロレンズの結像面上に配置され、
対応するマイクロレンズアレイが配置されない撮像手段は前記撮像レンズの結像面上に配置される
ことを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記分光手段は、色分解プリズムである
ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
撮像レンズと、前記撮像レンズを通過した光を少なくとも分光特性の異なる二つ以上の光に分光する分光部と、前記分光部により分光された二つ以上の光をそれぞれ受光して撮像データを生成する複数の撮像部と、前記複数の撮像部のうち少なくとも１つの撮像部に対応するマイクロレンズアレイとを備える撮像装置の制御方法であって、
前記マイクロレンズの個数が相対的に多いマイクロレンズアレイに対応する前記撮像部、もしくは、マイクロレンズアレイが配置されない前記撮像部により生成された撮像データの視点情報を補間する視点情報補間工程と、
前記マイクロレンズの個数が相対的に少ないマイクロレンズアレイに対応する前記撮像部により生成された撮像データの視差画像を補間する視差画像補間工程と、
前記視点情報補間工程により生成される撮像データと、前記視差画像補間工程により生成される撮像データをカラー合成するカラー撮像データ合成工程と
を備えることを特徴とする撮像装置の制御方法。
【請求項１０】
撮像レンズと、前記撮像レンズを通過した光を少なくとも分光特性の異なる二つ以上の光に分光する分光部と、前記分光部により分光された二つ以上の光をそれぞれ受光して撮像データを生成する複数の撮像部と、前記複数の撮像部のうち少なくとも１つの撮像部に対応するマイクロレンズアレイとを備える撮像装置の制御をコンピュータに機能させるためのプログラムであって、
前記コンピュータを、
前記マイクロレンズの個数が相対的に多いマイクロレンズアレイに対応する前記撮像部、もしくは、マイクロレンズアレイが配置されない前記撮像部により生成された撮像データの視点情報を補間する視点情報補間手段と、
前記マイクロレンズの個数が相対的に少ないマイクロレンズアレイに対応する前記撮像部により生成された撮像データの視差画像を補間する視差画像補間手段と、
前記視点情報補間手段により生成される撮像データと、前記視差画像補間手段により生成される撮像データをカラー合成するカラー撮像データ合成手段と
して機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を撮像する撮像装置及びその制御方法、プログラムに関するものである。
【背景技術】
【０００２】
「Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｐｈｏｔｏｇｒａｐｈｙ」と呼ばれる手法を用いた撮像装置が提案されている（例えば、特許文献１及び非特許文献１）。この撮像装置は、複数のマイクロレンズから構成されるマイクロレンズアレイを用いて、撮像素子の受光面における光の強度分布に加えて、その光の進行方向の情報をも得られるようになっている。そして、撮像後に、取得した光の強度分布と進行方向の情報を用いて、任意の視点や任意の焦点に設定された画像を再構築できるようになっている。このような撮像装置を、本発明では、ライトフィールドカメラと呼ぶ。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１２４２１３号公報
【非特許文献】
【０００４】
【非特許文献１】Ren.Ng、他７名, 「Light Field Photography with a Hand-Held Plenoptic Camera」, Stanford Tech Report CTSR 2005-02
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ライトフィールドカメラは、光の進行方向の情報を得ることができる代わりに、再構築画像の解像度が低下してしまう。また、非特許文献１や特許文献１で提案されているカラーフィルタを用いたカラー化では、撮像素子の各画素が色成分のうちの１つに対応するので、各色成分の解像度はさらに低下してしまう。
【０００６】
本発明は上記の課題に鑑みてなされたものであり、光の進行方向の情報を含むようにして取得した撮像データを用いて、高解像度のカラー再構築画像を生成することが可能な撮像装置及びその制御方法、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するための本発明による撮像装置は以下の構成を備える。即ち、
画像を撮像する撮像装置であって、
撮像レンズと、
前記撮像レンズを通過した光を少なくとも分光特性の異なる二つ以上の光に分光する分光手段と、
前記分光手段により分光された二つ以上の光をそれぞれ受光して撮像データを生成する複数の撮像手段と、
前記複数の撮像手段のうち少なくとも１つの撮像手段に対応するマイクロレンズアレイと
を備える。
【発明の効果】
【０００８】
本発明によれば、複数の撮像素子を有するライトフィールドカメラを用いることで、各色成分の解像度を低下させることなく、カラーの再構築画像が得られる。さらに、各色成分の視覚影響度の大きさに応じてマイクロレンズアレイの配置の有無やマイクロレンズアレイを構成するマイクロレンズの個数を変えることで、より高解像度のカラー再構築画像が得られる。
【図面の簡単な説明】
【０００９】
【図１】実施形態１の撮像装置の全体構成を示すブロック図である。
【図２】実施形態１の信号処理部の機能構成を示すブロック図である。
【図３】実施形態１の色分解プリズムの動作を模式的に示す図である。
【図４】実施形態１の撮像データを得る過程を模式的に示す図である。
【図５】実施形態１の撮像データに含まれる光線の情報を模式的に示す図である。
【図６】実施形態１の撮像素子の画素群とマイクロレンズの対応関係を模式的に示す図である。
【図７】実施形態１の視点情報補間部の動作を示すフローチャートである。
【図８】実施形態１の視点情報補間部の動作を模式的に示す図である。
【図９】実施形態１の視差画像生成部の動作を模式的に示す図である。
【図１０】実施形態１の視差画像補間部の動作を示すフローチャートである。
【図１１】実施形態１の再配列処理部の動作を模式的に示す図である。
【図１２】実施形態１の画像再構築部の動作を模式的に示す図である。
【図１３】実施形態１の最適なマイクロレンズ配置を模式的に示す図である。
【図１４】実施形態１のリフォーカス演算処理過程を模式的に示す図である。
【図１５】実施形態２の撮像素子の画素群とマイクロレンズの対応関係を模式的に示す図である。
【図１６】実施形態２の信号処理部の機能構成を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
＜実施形態１＞
図１は実施形態１の撮像装置の全体構成を示すブロック図である。
【００１１】
撮像装置は、撮像レンズ１０１、色分解プリズム１０２、及びマイクロレンズアレイ１０３（赤（Ｒ）成分用マイクロレンズアレイ１０３Ｒ、緑（Ｇ）成分用マイクロレンズアレイ１０３Ｇ、青（Ｂ）成分用マイクロレンズアレイ１０３Ｂ）を備える。また、撮像装置は、撮像素子１０４（Ｒ成分用撮像素子１０４Ｒ、Ｇ成分用撮像素子１０４Ｇ、Ｂ成分用撮像素子１０４Ｂ）、Ａ／Ｄ変換部１０５、信号処理部１０６、エンコーダ部１０７、及びメディアＩ／Ｆ１０８を備える。更に、撮像装置は、ＣＰＵ１０９、ＲＯＭ１１０、及びＲＡＭ１１１を備える。尚、絞りやシャッター等の撮像装置の各種構成要素は、図示した以外にも存在するが、本発明の主眼ではないので、説明を省略する。
【００１２】
撮像レンズ１０１は、撮像対象物からの物体光を集光する。分光部である色分解プリズム１０２は、撮像レンズ１０１を通過した光を少なくとも分光特性の異なる二つ以上の光に分光する。ここでは、色分解プリズム１０２は、撮像レンズ１０１により集光された物体光をＲＧＢに分解する。色分解プリズム１０２によって分解された物体光はそれぞれ、撮像レンズ１０１の結像面上に配置されたマイクロレンズアレイ１０３Ｒ、１０３Ｇ及び１０３Ｂに入射する。各マイクロレンズアレイはそれぞれ複数のマイクロレンズから構成される。
【００１３】
撮像部である撮像素子１０４Ｒ、１０４Ｇ及び１０４Ｂはそれぞれ、マイクロレンズアレイ１０３Ｒ、１０３Ｇ及び１０３Ｂからの物体光を受光して撮像データを生成する。ここで、撮像素子１０４Ｒ、１０４Ｇ及び１０４Ｂはそれぞれ、マイクロレンズアレイ１０３Ｒ、１０３Ｇ及び１０３Ｂを構成するマイクロレンズの結像面上に配置される。撮像素子１０４として、例えば、ＣＣＤ（ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ  ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等を用いることができる。撮像素子１０４の複数の画素に対してそれぞれマイクロレンズアレイ１０３内の１つのマイクロレンズが割り当てられるようになっている。
【００１４】
ここで、１つのマイクロレンズアレイを構成するマイクロレンズの個数が、後述する再構築画像の解像度となる。一方、１つのマイクロレンズに対応する撮像素子の画素数は視差数に対応している。視差数が多いほど、後述する再構築画像の分解能、例えば、任意の視点での分解能やリフォーカス演算処理に基づく奥行方向の分解能等が高くなる。再構築画像の解像度と分解能はトレードオフの関係にある。
【００１５】
実施形態１の撮像装置では、マイクロレンズアレイを構成するマイクロレンズの個数は、少なくとも二種類以上である。具体的には、マイクロレンズアレイ１０３Ｇを構成するマイクロレンズの個数は、マイクロレンズアレイ１０３Ｒ及び１０３Ｂを構成するマイクロレンズの個数よりも多い。このように、マイクロレンズアレイ１０３Ｇを構成するマイクロレンズの個数を相対的に多くすることで、Ｇ成分の解像度を相対的に高くすることができる。Ｒ成分及びＢ成分の解像度を補間処理により補って高解像度化した場合、Ｇ成分の視覚影響度が大きいため、より解像感の良いカラー再構築画像を得ることができる。一方、１つのマイクロレンズに対応するＲ成分やＢ成分の撮像素子の画素数は多いことから、再構築画像のＲ成分やＢ成分の分解能は犠牲とならない。
【００１６】
Ａ／Ｄ変換部１０５は、撮像素子１０４で受光した光量をデジタル値に変換する。信号処理部１０６は、デジタル値に後述する所定の信号処理を施し、後述する再構築画像を出力する。信号処理部１０６の詳細については後述する。
【００１７】
エンコーダ部１０７は、再構築画像をＪＰＥＧ等のファイルフォーマットに変換する処理を行う。メディアＩ／Ｆ１０８は、ＰＣその他メディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に接続するためのインタフェースである。
【００１８】
ＣＰＵ１０９は、各構成の処理全てに関わり、ＲＯＭ１１０やＲＡＭ１１１に格納された命令を順に読み込み、解釈し、その結果に従って処理を実行する。また、ＲＯＭ１１０とＲＡＭ１１１は、その処理に必要なプログラム、データ、作業領域等をＣＰＵ１０９に提供する。
【００１９】
図２は実施形態１の信号処理部１０６の機能構成を示すブロック図である。
【００２０】
信号処理部１０６は、視点情報補間部２０１、視差画像生成部２０２、視差画像補間部２０３、再配列処理部２０４、カラー撮像データ合成部２０５、及び画像再構築部２０６を備える。
【００２１】
視点情報補間部２０１は、撮像素子１０４Ｇで得られた撮像データ（Ｇ撮像データ）に対して、各マイクロレンズに対応する画素領域毎に補間処理を行った撮像データを生成する。視点情報補間部２０１の詳細は後述する。
【００２２】
視差画像生成部２０２は、撮像素子１０４Ｒ及び１０４Ｂで得られた撮像データ（Ｒ撮像データ及びＢ撮像データ）に対して、各マイクロレンズに対応する画素領域同士の間で、同一の位置に配置された画素データを抽出して合成する。ここで、生成される撮像データはそれぞれ異なる視点から撮像対象物を撮像した画像を並べたものとなっている。視差画像生成部２０２の詳細は後述する。
【００２３】
視差画像補間部２０３は、視差画像生成部２０２によって生成された撮像データに対して、各視点に対応する画素領域毎に補間処理を行った撮像データを生成する。視差画像補間部２０３の詳細は後述する。
【００２４】
再配列処理部２０４は、視差画像補間部２０３によって生成された撮像データに対して、各視点に対応する画素領域同士の間で、同一の位置に配置された画素データを抽出して合成する。ここで、生成される撮像データは、撮像素子１０４で得られる撮像データ同様、各マイクロレンズに対応する撮像データを並べたものとなっている。再配列処理部２０４の詳細は後述する。
【００２５】
カラー撮像データ合成部２０５は、視点情報補間部２０１で得られた撮像データと再配列処理部２０４で得られた撮像データを合成することで、カラー撮像データを生成する。
【００２６】
画像再構築部２０６は、カラー撮像データ合成部２０５で得られたカラー撮像データから、任意視点画像や任意焦点画像の生成を行う。画像再構築部２０６の詳細は後述する。
【００２７】
尚、信号処理部１０６は他に、ノイズリダクションやエッジ強調等の処理部を含んでも良い。
【００２８】
図３〜図１１を参照して、実施形態１の撮像装置の動作について説明する。
【００２９】
図３は実施形態１の色分解プリズム１０２によって物体光を分光する様子を模式的に示す図である。
【００３０】
色分解プリズム１０２は、３個のプリズムブロック３０１〜３０３と、プリズムブロック３０１及び３０２、及びプリズムブロック３０２及び３０３の接合面にそれぞれ配された二枚のダイクロックミラー３０４及び３０５から構成される。
【００３１】
ダイクロックミラー３０４は、プリズムブロック３０１の入射面３０６に入射した光（一点鎖線で示す）の内、Ｂ成分の物体光を反射し、Ｒ成分及びＧ成分の物体光を透過する。ダイクロックミラー３０５は、ダイクロックミラー３０４及びプリズムブロック３０２を透過したＲ成分及びＧ成分の物体光の内、Ｒ成分の物体光を反射し、Ｇ成分の物体光を透過する。プリズムブロック３０１及び３０２は、ダイクロックミラー３０４及び３０５でそれぞれ反射されたＢ成分の物体光、及びＲ成分の物体光を各出射面３０７及び３０８に導く。また、プリズムブロック３０３は、ダイクロックミラー３０５で透過したＧ成分の物体光を出射面３０９に導く。
【００３２】
図４は実施形態１の撮像素子１０４が撮像対象物の撮像データを得る過程を模式的に示す図である。
【００３３】
撮像対象物３０１０からの物体光は撮像レンズ１０１により集光される。撮像レンズ１０１により集光された光は撮像レンズ１０１の結像面上に配置されたマイクロレンズアレイ１０３へ入射する（図４のｆ１は撮像レンズ１０１の焦点距離）。マイクロレンズアレイ１０３を通過した光は、マイクロレンズアレイ１０３を構成するマイクロレンズの結像面上に配置された撮像素子１０４に到達する（図４のｆ２はマイクロレンズの焦点距離）。ここで、撮像レンズ１０１の異なる場所を通過した光線は、撮像素子１０４上の異なる場所に到達する。
【００３４】
図５は実施形態１の撮像素子１０４により得られる撮像データに含まれる光線の情報を模式的に示す図である。
【００３５】
撮像レンズ１０１の撮像レンズ面上における直交座標系（ｕ、ｖ）と、撮像素子１０４の撮像面上における直交座標系（ｘ、ｙ）をそれぞれ考える。撮像レンズ１０１の撮像レンズ面と撮像素子１０４の撮像面との距離をＦとすると、撮像レンズ１０１及び撮像素子１０４を通る光線は４次元関数ＬF（ｘ、ｙ、ｕ、ｖ）で表される。ＬF（ｘ、ｙ、ｕ、ｖ）は、光線の位置情報に加え、光線の進行方向の情報を含んでいる。
【００３６】
図６は実施形態１の撮像素子１０４中の画素群とマイクロレンズアレイ１０３を構成するマイクロレンズの対応関係を模式的に示す図である。
【００３７】
図６の実線で示される正方形が撮像素子１０４を表しており、点線がマイクロレンズアレイ１０３を構成するマイクロレンズを表している。図６では、撮像素子１０４Ｒ、１０４Ｇ及び１０４Ｂの画素数がそれぞれ１８×１８であり、撮像素子１０４Ｇの３×３画素に一枚のマイクロレンズが対応しており、撮像素子１０４Ｒ及び１０４Ｂの９×９画素に一枚のマイクロレンズが対応している。
【００３８】
図６の例では、後述する再構築画像のＧ成分の解像度は６×６、視差数は３×３であり、Ｒ成分及びＢ成分の解像度は２×２、視差数は９×９である。ここで、Ｇ成分は視差数が相対的に少なく、一方、Ｒ成分及びＢ成分は解像度が相対的に少ない。視点情報補間部２０１では、Ｇ成分の視点数をＲ成分及びＢ成分の視差数と等しくなるように補間処理を施し、視差画像補間部２０３では、Ｒ成分及びＢ成分の解像度がＧ成分の解像度と等しくなるように補間処理を施す。ここで、視差画像生成部２０２は視差画像補間部２０３の前処理であり、解像度を補間するために撮像データの配列を変更する。再配列処理部２０４は視差画像補間部２０３の後処理であり、視差画像生成部２０２で変更した配列を、各マイクロレンズに対応する領域が並んだ配列に戻す。
【００３９】
尚、図６の画素群とマイクロレンズの対応関係は一例であり、撮像素子１０４Ｒ、１０４Ｇ及び１０４Ｂの画素数や一枚のマイクロレンズに対応する撮像素子の画素数は任意の組み合わせで構わない。また、マイクロレンズの配列はマトリクス状に限らず、ハニカム状等の他の配列でも構わない。
【００４０】
図７は実施形態１の視点情報補間部２０１の処理を説明するためのフローチャートである。図８は実施形態１の視点情報補間部２０１の処理を模式的に示す図である。
【００４１】
図８において、撮像データ８０１は、撮像素子１０４Ｇで得られた撮像データを表している。視点情報補間部２０１では、撮像データ８０１中の各マイクロレンズに対応する領域（例えば、領域８０２）に対して補間処理を施すことで、Ｇ成分の視差数をＲ成分及びＢ成分の視差数と等しくする。
【００４２】
ステップＳ７０１で、視点情報補間部２０１は、撮像素子１０４Ｇから得られる撮像データを取得する。ステップＳ７０２で、視点情報補間部２０１は、取得した撮像データを各マイクロレンズに対応する領域に分割する。ステップＳ７０３で、視点情報補間部２０１は、分割した領域のうち１つ目の領域を注目領域に設定する。１つ目の領域として、例えば、領域８０２を選択することができる。
【００４３】
ステップＳ７０４で、視点情報補間部２０１は、注目領域の画素数が撮像素子１０４Ｒ及び１０４Ｂの１つのマイクロレンズに対応する領域の画素数と同数となるように補間による拡大処理を行う。例えば、領域８０２が領域８０３となるように補間処理を施す。この補間処理には、例えば、バイリニア法やバイキュービック法を用いることができる。
【００４４】
ステップＳ７０５で、視点情報補間部２０１は、全領域の補間処理が終了したかを判定する。全領域の補間処理が終了していない場合（ステップＳ７０５でＮＯ）、ステップＳ７０６に進む。ステップＳ７０６で、視点情報補間部２０１は、次の領域を注目領域に設定して、ステップＳ７０４からステップＳ７０５の処理を繰り返す。次の領域の選択方法としては、例えば、図８に矢印と点線で描かれているラスタ走査を用いることができる。全領域の補間処理が終了した場合（ステップＳ７０５でＹＥＳ）、補間処理を終了する。
【００４５】
尚、１つ目の領域や次の領域の選択方法は一例であり、全ての領域を補間処理することができればどんな順番で処理をしても構わない。
【００４６】
図９は実施形態１の視差画像生成部２０２の処理を模式的に示す図である。
【００４７】
撮像データ９０１は、撮像素子１０４Ｒ及び１０４Ｂで得られた撮像データを表している。視差画像生成部２０２は、各マイクロレンズに対応する画素領域同士の間で、同一の位置に配置された画素データ（例えば、撮像データ９０１の画素９０１ａ〜９０１ｄや画素９０１ｅ〜９０１ｈ）を抽出して合成し、画素領域内での位置と対応するように並べる。撮像データ９０２は、撮像データ９０１を視差画像生成部２０２によって並び替えた撮像データを表しており、画素９０２ａ〜９０２ｈがそれぞれ画素９０１ａ〜９０１ｈに対応している。
【００４８】
ここで、視差画像生成部２０２によって生成される撮像データは、それぞれ異なる視点から撮像対象物を撮像した画像を並べたものとなる。この各視点からの撮像データに対して、視差画像補間部２０３で補間処理を施す。つまり、視差画像生成部２０２は、視差画像補間部２０３で各視点からの撮像データに対して補間処理を施すための前処理を行う。
【００４９】
図１０は実施形態１の視差画像補間部２０３の処理を説明するためのフローチャートである。
【００５０】
ステップＳ１００１で、視差画像補間部２０３は、視差画像生成部２０２で生成された撮像データ（視差画像データ）を取得する。ステップＳ１００２で、視差画像補間部２０３は、取得した撮像データを各視点に対応する領域に分割する。ここで、例えば、撮像データ９０２ａ〜９０２ｄや９０２ｅ〜９０２ｈが１つの領域である。ステップＳ１００３で、視差画像補間部２０３は、分割した領域のうち１つ目の領域を注目領域に設定する。１つ目の領域としては、例えば、視点情報補間部２０１と同様、最も左上の領域を選択することができる。
【００５１】
ステップＳ１００４で、視差画像補間部２０３は、注目領域の画素数がマイクロレンズアレイ１０３Ｇを構成するマイクロレンズの個数と同数となるように補間による拡大処理を行う。この補間処理には、例えば、バイリニア法やバイキュービック法を用いることができる。１領域の画素数は後述する再構築画像の解像度であるため、視差画像補間部２０３での補間処理は、Ｒ成分及びＢ成分の解像度を補間することに相当する。
【００５２】
ステップＳ１００５で、視差画像補間部２０３は、全領域の補間処理が終了したかを判定する。全領域の補間処理が終了していない場合（ステップＳ１００５でＮＯ）、ステップＳ１００６に進む。ステップＳ１００６で、視差画像補間部２０３は、次の領域を注目領域に設定し、ステップＳ１００４からステップＳ１００５の処理を繰り返す。次の領域の選択方法としては、例えば、視点情報補間部２０１同様、ラスタ走査を用いることができる。全領域の補間処理が終了した場合（ステップＳ１００５でＹＥＳ）、視差画像補間部２０３は、補間処理を終了する。
【００５３】
尚、１つ目の領域や次の領域の選択方法は一例であり、全ての領域を補間処理することができればどんな順番で処理をしても構わない。
【００５４】
図１１は実施形態１の再配列処理部２０４の処理を模式的に示す図である。
【００５５】
撮像データ１１０１は、視差画像補間部２０３で生成される撮像データの一部を表している。再配列処理部２０４は、各視点に対応する画素領域同士の間で、同一の位置に配置された画素データ（例えば、撮像データ１１０１内の画素１１０１ａ〜１１０１ｉ）を抽出して合成し、画素領域内での位置と対応するように並べる。撮像データ１１０２は、撮像データ１１０１を再配列処理部２０４によって並び替えた撮像データを表しており、例えば、画素１１０１ａ〜１１０１ｉと画素１１０２ａ〜１１０２ｉが対応している。
【００５６】
視差画像生成部２０２で並べ替えられた撮像データが再配列処理部２０４によって再配列される。そのため、再配列処理部２０４によって生成される撮像データは、視点情報補間部２０１によって生成される撮像データ同様、各マイクロレンズに対応する画素領域が、マイクロレンズの位置に対応して並ぶ配列となる。
【００５７】
つまり、再配列処理部２０４での処理は、視差画像補間部２０３で補間を施すための前処理である視差画像生成部２０２の処理によって変わった配列を元に戻すための後処理である。ここで、再配列処理部２０４で生成される撮像データと視点情報補間部２０１で生成される撮像データとで、各マイクロレンズに対応する画素領域の領域数と、１つの画素領域を構成する画素数は同一となるように補間処理がなされている。視点情報補間部２０１で生成される撮像データと、再配列処理部２０４で生成される撮像データは、カラー撮像データ合成部２０５によってカラー合成される。
【００５８】
図１２は実施形態１の画像再構築部２０６における任意視点画像生成を説明するための図である。図１３は実施形態１の任意視点画像を生成するうえで、最適なマイクロレンズ配置を模式的に示す図である。
【００５９】
任意視点画像生成では、各マイクロレンズに対応する画素領域同士の間で、同一の位置にある画素データを抽出して合成することにより、任意の視点に設定された画像を再構築する。例えば、各マイクロレンズに対応する画素領域同士の間で画素１２０１ａの位置に配置された画素データを抽出して合成した場合は左上方向の視点からの画像が再構築され、同様に、画素１２０１ｂなら右下方向の視点からの画像が再構築される。
【００６０】
ここで、カラー撮像データ合成部２０５で得られた撮像データのＧ成分は視点情報の補間を行っているため、任意視点画像の輝度に誤差が生じたり、色バランスが崩れる恐れがある。しかし、１枚のマイクロレンズに対応する撮像素子１０４Ｒ及び１０４Ｂの画素数を１枚のマイクロレンズに対応する撮像素子１０４Ｇの画素数の奇数倍とすることで、補間を行っていない情報のみを用いて特定の視点からの画像を生成することが可能である。
【００６１】
図１３において、例えば、撮像データ１３０１及び１３０２はそれぞれ、１枚のマイクロレンズに対応する撮像素子１０４Ｇの画素数を３×３に設定した場合と撮像素子１０４Ｒ及び１０４Ｂの画素数を９×９に設定した場合の撮像データを表している。また、撮像データ１３０１に対して、視点情報補間部２０１で補間処理を施したものが撮像データ１３０３である。撮像データ１３０１、１３０２及び１３０３で、同じ番号が振られた画素は同一方向からの光線情報である。そのため、１３０２及び１３０３で同じ番号が振られた視点からの視点画像を生成した場合、補間は行われていないため、補間による輝度の誤差や色バランスの崩れは発生しない。
【００６２】
図１４は実施形態１の画像再構築部２０６における任意焦点画像生成のためのリフォーカス演算処理過程を模式的に示す図である。
【００６３】
図１４のように、Ｆ’＝αＦとなるように撮像レンズ面１４０１、撮像素子面１４０２、リフォーカス面１４０３の位置関係を設定する。この場合、リフォーカス面１４０３上の座標（ｓ、ｔ）における検出強度ＬF'は、以下の（１）式のように表される。
【００６４】
【数１】
2012129654.tif 000003
【００６５】
また、リフォーカス面１４０３で得られるイメージＥF'（ｓ、ｔ）は、上記検出強度ＬF'をレンズ口径の面積で積分したものとなるので、以下の（２）式のように表される。この（２）式からリフォーカス演算処理を行うことにより、任意焦点画像を再構築することができる。
【００６６】
【数２】
2012129654.tif 000004
【００６７】
尚、実施形態１では、物体光をＲＧＢの三成分に分解する例を説明しているが、黄（Ｙ）、マゼンダ（Ｍ）、シアン（Ｃ）、緑（Ｇ）の四成分に分解しても構わない。その場合、Ｇ成分用のマイクロレンズアレイを構成するマイクロレンズの個数を、Ｙ成分用、Ｍ成分用Ｃ成分用のマイクロレンズアレイを構成するマイクロレンズの個数よりも多くする。
【００６８】
また、実施形態１では、Ｒ成分用とＢ成分用のマイクロレンズアレイを構成するマイクロレンズの個数は同数としているが、異なる個数でも構わない。その場合、Ｒ成分とＢ成分の撮像データの解像度の両方が、Ｇ成分の撮像データの解像度と同数となるように補間を行う。
【００６９】
更に、実施形態１では、Ｇ成分用のマイクロレンズアレイを構成するマイクロレンズの個数を多くすることで、Ｇ成分の解像度を相対的に高くしているが、Ｇ成分用のマイクロレンズアレイを配置しないことでＧ成分の解像度を相対的に高くしてもよい。その場合、Ｇ成分用の撮像素子は撮像レンズの結像面上に配置する。このような配置とすることで、Ｇ成分の撮像素子の１画素毎にマイクロレンズ１つを対応させた場合と同じ撮像データを得ることができる。
【００７０】
更に、また、実施形態１では、色成分毎に撮像素子を配置したが、分光した物体光をそれぞれカラーとモノクロで取得してもよい。その場合、モノクロに対応するマイクロレンズアレイのみを配置することで、モノクロの撮像データから撮像物の距離推定を行うことができる。一方、カラーに対応するマイクロレンズアレイは配置しないことで、通常のカメラと同様の解像度のカラー画像が得られる。モノクロの撮像データから推定した距離に応じて、カラー画像に信号処理を施すことで、高解像度の再構築画像が得られる。
【００７１】
以上説明したように、実施形態１によれば、マイクロレンズアレイを構成するマイクロレンズの個数をＲ成分及びＢ成分よりもＧ成分で多くすることで、Ｇ成分の解像度を相対的に高くすることができる。また、Ｒ成分及びＢ成分の解像度を補間処理により補って高解像度化した場合、Ｇ成分の視覚影響度が大きいため、より解像感の良いカラー再構築画像を得ることができる。一方、１つのマイクロレンズに対応するＲ成分やＢ成分の撮像素子の画素数は多いことから、再構築画像のＲ成分やＢ成分の分解能は犠牲とならない効果を奏する。
【００７２】
＜実施形態２＞
実施形態１では、Ｇ成分の解像度が、Ｒ成分及びＢ成分の解像度よりも高くなるようにマイクロレンズアレイの配置の有無やマイクロレンズアレイを構成するマイクロレンズの個数を決定している。実施形態２では、Ｒ成分及びＢ成分の解像度がＧ成分の解像度よりも高くなるように、マイクロレンズアレイの配置の有無やマイクロレンズアレイを構成するマイクロレンズの個数を決定する構成について説明する。
【００７３】
マイクロレンズアレイ１０３を構成するマイクロレンズの個数をＧ成分よりもＲ成分及びＢ成分で多くすることで、Ｇ成分の視差数を相対的に多くすることができる。こうすることで、Ｇ成分は視差数の補間を行う必要が無くなる。Ｇ成分は視覚影響度が大きいため、Ｇ成分の視差数の補間を行わないことで、色バランスの崩れを感じにくくなり、Ｇ成分の解像度を補間処理により補って高解像度化した場合、色バランスの崩れを感じにくい高解像度のカラー再構築画像を得ることができる。
【００７４】
図１５は実施形態２の撮像素子１０４中の画素群とマイクロレンズアレイ１０３を構成するマイクロレンズの対応関係を模式的に示す図である。
【００７５】
実施形態２では、実施形態１とは逆に、１枚のマイクロレンズに対応する撮像素子１０４の画素数がＧ成分よりもＲ成分及びＢ成分の方が多い。つまり、Ｒ成分及びＢ成分の解像度がＧ成分よりも高く、Ｇ成分の視差数がＲ成分及びＢ成分の視差数よりも多い。
【００７６】
図１６は実施形態２の信号処理部１０６の機能構成を示すブロック図である。
【００７７】
実施形態２では、実施形態１とは逆に、撮像素子１０４Ｇにより得られる撮像データ（Ｇ撮像データ）を視点情報補間部２０１に入力する。また、撮像素子１０４Ｒ及び１０４Ｂにより得られる撮像データ（Ｒ撮像データ及びＢ撮像データ）を視差画像生成部２０２に入力する。これは、実施形態２では、Ｇ成分の解像度がＲ成分及びＢ成分よりも低く、Ｒ成分及びＢ成分の視差数がＧ成分の視差数よりも低いため、補間を施す対象が実施形態１とは逆になるためである。
【００７８】
その他の処理を、実施形態１と同様に施すことで、高解像度のカラー再構築画像が得られる。この際、Ｇ成分の視差数に対して補間処理を施さないため、色バランスの崩れを感じにくい再構築画像が得られる。尚、その他の処理については、実施形態１と同一であるため説明を省略する。
【００７９】
以上説明したように、実施形態２によれば、マイクロレンズアレイを構成するマイクロレンズの個数をＧ成分よりもＲ成分及びＢ成分で多くすることで、Ｇ成分の視差数を相対的に多くすることができる。こうすることで、Ｇ成分は視差数の補間を行う必要がなくなる。Ｇ成分は視覚影響度が大きいため、Ｇ成分の視差数の補間を行わないことで、色バランスの崩れを感じにくいカラー再構築画像を得ることができる。また、Ｇ成分の解像度を補間処理により補って高解像度化した場合、色バランスの崩れを感じにくい高解像度のカラー再構築画像を得る効果を奏する。
【００８０】
尚、本発明は、以下の処理を実行することによっても実現される。即ち、実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行、制御する処理である。
【図１】
2012129654.tif 000005
【図２】
2012129654.tif 000006
【図３】
2012129654.tif 000007
【図４】
2012129654.tif 000008
【図５】
2012129654.tif 000009
【図６】
2012129654.tif 000010
【図７】
2012129654.tif 000011
【図８】
2012129654.tif 000012
【図９】
2012129654.tif 000013
【図１０】
2012129654.tif 000014
【図１１】
2012129654.tif 000015
【図１２】
2012129654.tif 000016
【図１３】
2012129654.tif 000017
【図１４】
2012129654.tif 000018
【図１５】
2012129654.tif 000019
【図１６】
2012129654.tif 000020