(57)【要約】【課題】ライトフィールドカメラの情報量の低下，精度劣化を防ぐ撮像装置，撮像方法および画像再生装置を提供する。【解決手段】ライトフィールドカメラにおいて，絞りを開放絞り（第１の絞り値）として（ステップ31），被写体が撮像される（ステップ32）。撮像により得られた第１の撮像信号データはメモリに一時的に記憶される。つづいて，開放絞りよりも開口量が少ない第２の絞り値として（ステップ33），被写体が撮像される（ステップ34）。撮像により得られた第２の撮像信号データもメモリに一時的に記憶される。第１の撮像信号データと第２の撮像信号データとが一つのファイルに格納される。第１の撮像信号データの情報量が多いので，第２の撮像信号データからはリフォーカス処理できない場合には，その第１の撮像信号データを用いてリフォーカス処理ができるようになる。【選択図】図９
2015186189.tif 000002
【特許請求の範囲】
【請求項１】
撮像レンズ，
絞り，
光電変換素子が配列された撮像素子，
上記撮像レンズと上記撮像素子との間に配置され，上記撮像素子の複数の光電変換素子に対して１つのマイクロレンズが割り当てられており，上記複数の光電変換素子のうち，被写体からの光線が通過する上記撮像レンズの瞳位置に対して相対的に同一位置に存在する光電変換素子に上記光線を入射させるマイクロレンズアレイ，
上記絞りを第１の絞り値として，上記撮像素子によって撮像させる第１の撮像制御手段，
上記絞りを，上記第１の絞り値の開口量よりも少ない開口量である第２の絞り値として，上記撮像素子によって撮像させる第２の撮像制御手段，ならびに
上記第１の撮像制御手段にもとづく撮像により上記撮像素子から得られる第１の撮像信号データおよび上記第２の撮像制御手段にもとづく撮像により上記撮像素子から得られる第２の撮像信号データを１つのファイルに記録させる記録制御手段，
を備えた撮像装置。
【請求項２】
上記第１の絞り値は，開口絞りの絞り値である，
請求項１に記載の撮像装置。
【請求項３】
上記光電変換素子の受光面には，
赤色の光成分を透過する特性を有する赤色フィルタ，緑色の光成分を透過する特性を有する緑色フィルタ，もしくは青色の光成分を透過する特性を有する青色フィルタ，またはシアンの光成分を透過する特性を有するシアンフィルタ，マゼンタの光成分を透過する特性を有するマゼンタフィルタ，もしくはイエローの光成分を透過する特性を有するイエローフィルタが形成されており，
上記記録制御手段は，
緑色フィルタまたはイエローフィルタが形成されている光電変換素子から得られる信号を第１の撮像信号データとして１つのファイルに記録させるものである，
請求項１または２に記載の撮像装置。
【請求項４】
上記第１の記録制御手段にもとづく撮像により上記撮像素子において得られる第１の撮像信号から得られる位相差相関を算出する位相差相関算出手段をさらに備え，
上記記録制御手段は，
上記位相差相関算出手段によって算出された位相差相関を上記１つのファイルに記録するものである，
請求項１から３のうち，いずれか１項に記載の撮像装置。
【請求項５】
上記第１の撮像信号データと上記第２の撮像信号データとを用いて，上記撮像素子によって撮像された被写体像のうち，指定された部分が合焦したリフォーカス画像を生成するリフォーカス画像生成手段，
をさらに備えた請求項１から４のうち，いずれか１項に記載の撮像装置。
【請求項６】
上記第１の撮像信号データと上記第２の撮像信号データとを用いて立体画像を生成する立体画像生成手段，
をさらに備えた請求項４に記載の撮像装置。
【請求項７】
請求項１に記載の撮像装置によって記録された上記第１の撮像信号データと，上記第２の撮像信号データとを読み取る読取手段，および
上記読取手段によって読み取られた上記第１の撮像信号データと上記第２の撮像信号データとから，上記第１の撮像信号データまたは上記第２の撮像信号データによって表される被写体像のうち，指定された部分が合焦するリフォーカス画像を生成するリフォーカス画像生成手段，
を備えた画像再生装置。
【請求項８】
撮像レンズ，絞り，光電変換素子が配列された撮像素子，および上記撮像レンズと上記撮像素子との間に配置され，上記撮像素子の複数の光電変換素子に対して１つのマイクロレンズが割り当てられており，上記複数の光電変換素子のうち，被写体からの光線が通過する上記撮像レンズの瞳位置に対して相対的に同一位置に存在する光電変換素子に上記光線を入射させるマイクロレンズアレイを備えた撮像装置の制御方法において，
第１の撮像制御手段が，上記絞りを第１の絞り値として，上記撮像素子によって撮像させ，
第２の撮像制御手段が，上記絞りを，上記第１の絞り値の開口量よりも少ない開口量である第２の絞り値として，上記撮像素子によって撮像させ，
記録制御手段が，上記第１の撮像制御手段にもとづく撮像により上記撮像素子から得られる第１の撮像信号データおよび上記第２の撮像制御手段にもとづく撮像により上記撮像素子から得られる第２の撮像信号データを１つのファイルに記録させる，
撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は，撮像装置およびその制御方法ならびに画像再生装置に関する。
【背景技術】
【０００２】
ライトフィールドカメラと呼ばれるカメラが実現されている。ライトフィールドカメラでは，撮像素子から得られる画像データに，受光面における光の強度分布に加えて，その光の進行方向の情報も含まれる。これにより，複数の視点，方向からの観察画像を再構築できる。ライトフィールドカメラでは，結像光学系の瞳の位置，大きさの変化により，情報量の低下，精度劣化が発生してしまう。このために，これらの情報量低下，精度劣化を軽減するものがある（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2013-48309号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら，特許文献１に記載のものでは，撮像光学系の瞳領域に応じてマイクロレンズアレイと撮像素子との間隔を変化させる必要があるが，マイクロレンズアレイを移動させるためにはμm単位の精度が要求され，ハードウエアの負荷が大きくなるとともに高額となり，汎用品のデジタルカメラとしては実現性が難しい。また，特許文献１に記載のものでは，不感帯と呼ばれる光線の入射しない画素が存在するため，情報量自体も小さくなるといった問題がある。
【０００５】
この発明は，ハードウエアの負荷が大きくならずにライトフィールドカメラの情報量の低下，精度劣化を防ぐことを目的とする。
【課題を解決するための手段】
【０００６】
この発明による撮像装置は，撮像レンズ，絞り，光電変換素子が配列された撮像素子，撮像レンズと撮像素子との間に配置され，撮像素子の複数の光電変換素子に対して１つのマイクロレンズが割り当てられており，複数の光電変換素子のうち，被写体からの光線が通過する撮像レンズの瞳位置に対して相対的に同一位置に存在する光電変換素子に光線を入射させるマイクロレンズアレイ，絞りを第１の絞り値として，撮像素子によって撮像させる第１の撮像制御手段，絞りを，第１の絞り値の開口量よりも少ない開口量である第２の絞り値として，撮像素子によって撮像させる第２の撮像制御手段，ならびに第１の撮像制御手段にもとづく撮像により撮像素子から得られる第１の撮像信号データ（第１の撮像信号，第１の画像データ）および第２の撮像制御手段にもとづく撮像により撮像素子から得られる第２の撮像信号データ（第２の撮像信号，第２の画像データ）を１つのファイルに記録させる記録制御手段を備えていることを特徴とする。
【０００７】
この発明は，撮像方法も提供している。すなわち，撮像レンズ，絞り，光電変換素子が配列された撮像素子，および撮像レンズと撮像素子との間に配置され，撮像素子の複数の光電変換素子に対して１つのマイクロレンズが割り当てられており，複数の光電変換素子のうち，被写体からの光線が通過する撮像レンズの瞳位置に対して相対的に同一位置に存在する光電変換素子に光線を入射させるマイクロレンズアレイを備えた撮像装置の制御方法において，第１の撮像制御手段が，絞りを第１の絞り値として，撮像素子によって撮像させ，第２の撮像制御手段が，絞りを，第１の絞り値の開口量よりも少ない開口量である第２の絞り値として，撮像素子によって撮像させ，記録制御手段が，第１の撮像制御手段にもとづく撮像により撮像素子から得られる第１の撮像信号データおよび第２の撮像制御手段にもとづく撮像により撮像素子から得られる第２の撮像信号データを１つのファイルに記録させるものである。
【０００８】
第１の絞り値は，たとえば，開口絞りの絞り値である。
【０００９】
光電変換素子の受光面には，赤色の光成分を透過する特性を有する赤色フィルタ，緑色の光成分を透過する特性を有する緑色フィルタ，もしくは青色の光成分を透過する特性を有する青色フィルタ，またはシアンの光成分を透過する特性を有するシアンフィルタ，マゼンタの光成分を透過する特性を有するマゼンタフィルタ，もしくはイエローの光成分を透過する特性を有するイエローフィルタが形成されていてもよい。この場合，記録制御手段は，緑色フィルタまたはイエローフィルタが形成されている光電変換素子から得られる信号を第１の撮像信号データとして１つのファイルに記録させるものとなろう。
【００１０】
第１の記録制御手段にもとづく撮像により撮像素子において得られる第１の撮像信号から得られる位相差相関を算出する位相差相関算出手段をさらに備えてもよい。この場合，記録制御手段は，位相差相関算出手段によって算出された位相差相関を１つのファイルに記録するものとなろう。
【００１１】
第１の撮像信号データと第２の撮像信号データとを用いて，撮像素子によって撮像された被写体像のうち，指定された部分が合焦したリフォーカス画像を生成するリフォーカス画像生成手段をさらに備えてもよい。
【００１２】
第１の撮像信号データと第２の撮像信号データとを用いて立体画像を生成する立体画像生成手段をさらに備えてもよい。
【００１３】
撮像装置によって，記録された第１の撮像信号データと，記録された第２の撮像信号データとを読み取る読取手段，および読取手段によって読み取られた第１の撮像信号データと第２の撮像信号データとから，第１の撮像信号データまたは第２の撮像信号データによって表される被写体像のうち，指定された部分が合焦するリフォーカス画像を生成するリフォーカス画像生成手段をさらに備えてもよい。
【発明の効果】
【００１４】
この発明によると，第１の撮像制御手段にもとづいて絞りが第１の絞り値とされて撮像素子によって被写体が撮像される。つづいて，第２の撮像制御手段にもとづいて絞りが第１の絞り値の開口量よりも少ない開口量である第２の絞り値とされて撮像素子によって被写体が撮像される。第１の撮像制御手段にもとづく撮像により得られる第１の撮像信号データおよび第２の撮像制御手段にもとづく撮像により得られる第２の撮像信号データが１つのファイルに記録される。異なる絞り値で撮像されることにより得られる第１の撮像信号データおよび第２の撮像信号データが得られるので，第１の撮像信号データを用いることにより，ハードウエアの負荷を大きくすることなく，情報量の低下，精度劣化を軽減できる。
【図面の簡単な説明】
【００１５】
【図１】ライトフィールドカメラの電気的構成を示すブロック図である。
【図２】マイクロレンズアレイの正面図である。
【図３】撮像素子の正面図である。
【図４】マイクロレンズアレイを通して見た撮像素子の正面図である。
【図５】撮像レンズ，マイクロレンズアレイおよび撮像素子の関係を示している。
【図６】撮像レンズの瞳領域を示している。
【図７】マイクロレンズと光電変換素子との関係を示している。
【図８】ファイル構造を示している。
【図９】ライトフィールドカメラの処理手順を示すフローチャートである。
【図１０】撮像素子の受光面に生じる光線が入射しない領域を示している。
【図１１】多視点画像データによって合わされる画像の一例である。
【図１２】一部分がぼけている画像の一例である。
【図１３】一部分がぼけている画像の一例である。
【図１４】ぼけが解消されている画像の一例である。
【図１５】マイクロレンズアレイを通して見た撮像素子の正面図である。
【図１６】画像の一例である。
【図１７】マイクロレンズアレイを通して見た撮像素子の正面図である。
【実施例】
【００１６】
図１は，この発明の実施例を示すもので，ライトフィールドカメラ（撮像装置）１の電気的構成を示すブロック図である。
【００１７】
ライトフィールドカメラ１の全体の動作は，制御装置20によって統括される。
【００１８】
ライトフィールドカメラ１には，絞り２Ａ，撮像レンズ２および光電変換素子が配列されている撮像素子５が含まれている。また，撮像レンズ２と撮像素子５との間には，マイクロレンズアレイ３が配置されている。
【００１９】
図２は，マイクロレンズアレイ３の正面図である。
【００２０】
マイクロレンズアレイ３には，横方向および縦方向に複数のマイクロレンズ４が配列されている。
【００２１】
図３は，撮像素子５の正面図である。
【００２２】
撮像素子５には，横方向および縦方向に光電変換素子６が配列されている。この実施例では，横方向および縦方向にそれぞれ５個（５個でなくともよい）の計25個（25個でなくともよい）から構成される１つの光電変換素子群（複数の光電変換素子６）７に対して１つのマイクロレンズ４が割り当てられている。
【００２３】
図４は，被写体側から撮像素子５を見た正面図である。
【００２４】
上述のように，25個の光電変換素子６から構成される光電変換素子群７ごとに，１つのマイクロレンズ４が割り当てられている様子が分る。
【００２５】
図５は，撮像レンズ２を通過した光線が撮像素子５の光電変換素子６に入射する様子を示している。
【００２６】
被写体からの光線は，撮像レンズ２において屈折し，マイクロレンズアレイ３を構成するマイクロレンズ４を通って撮像素子５の光電変換素子６に入射する。撮像レンズ２は，図５において上下方向に５つの瞳領域ａ１からａ５に分けられている。図６に示すように，撮像レンズ２は，横方向および縦方向を考慮すると25個の瞳領域に分けられるが，図５では側面から見ているので便宜上縦方向に分けられた５つの瞳領域ａ１からａ５が表わされている。瞳領域ａ１を通過した光線Ｌ１は，光電変換素子群７の中の光電変換素子ｐ１に入射する。同様に，瞳領域ａ２，瞳領域ａ３，瞳領域ａ４または瞳領域ａ５を通過した光線Ｌ２，Ｌ３，Ｌ４およびＬ５は，光電変換素子群７の光電変換素子ｐ２，ｐ３，ｐ４およびｐ５にそれぞれ入射する。特定の光電変換素子群７に限らず，撮像素子５のすべての光電変換素子群７について同様である。
【００２７】
図６は，撮像レンズ２の瞳領域を，光電変換素子群７を構成する25個の光電変換素子６に分けた様子を示している。
【００２８】
撮像レンズ２は，25個の瞳領域ａ11からａ15（瞳領域ａ１），ａ21からａ25（瞳領域ａ２），ａ31からａ35（瞳領域ａ３），ａ41からａ45（瞳領域ａ４）およびａ51からａ55（瞳領域ａ５）の25個の瞳領域に分けられている。
【００２９】
図７は，マイクロレンズ４と光電変換素子群７を構成する25個の光電変換素子６との関係を示している。
【００３０】
光電変換素子群７を構成する25個の光電変換素子６を符号ｐ11からｐ15（光電変換素子ｐ１），ｐ21からｐ25（光電変換素子ｐ２），ｐ31からｐ35（光電変換素子ｐ３），ｐ41からｐ45（光電変換素子ｐ４）およびｐ51からｐ55（光電変換素子ｐ５）とする。
【００３１】
撮像レンズ２の瞳領域ａ11，ａ12，ａ13，ａ14またはａ15を通過した光線は，マイクロレンズアレイ３によって，光電変換素子ｐ11，ｐ12，ｐ13，ｐ14またはｐ15に入射する。同様に，撮像レンズ２の瞳領域ａ21，ａ22，ａ23，ａ24またはａ25を通過した光線は，マイクロレンズアレイ３によって，光電変換素子ｐ21，ｐ22，ｐ23，ｐ24またはｐ25に入射し，撮像レンズ２の瞳領域ａ31，ａ32，ａ33，ａ34またはａ35を通過した光線は，マイクロレンズアレイ３によって，光電変換素子ｐ31，ｐ32，ｐ33，ｐ34またはｐ35に入射し，撮像レンズ２の瞳領域ａ41，ａ42，ａ43，ａ44またはａ45を通過した光線は，マイクロレンズアレイ３によって，光電変換素子ｐ41，ｐ42，ｐ43，ｐ44またはｐ45に入射し，撮像レンズ２の瞳領域ａ51，ａ52，ａ53，ａ54またはａ55を通過した光線は，マイクロレンズアレイ３によって，光電変換素子ｐ51，ｐ52，ｐ53，ｐ54またはｐ55に入射する。このような撮像レンズ２の瞳領域ａ11からａ15，ａ21からａ25，ａ31からａ35，ａ41からａ45およびａ51からａ55と，光電変換素子群７の光電変換素子ｐ11からｐ15，ｐ21からｐ25，ｐ31からｐ35，ｐ41からｐ45およびｐ51からｐ55と，の関係は，特定の光電変換素子群７に限らず，撮像素子５に含まれるすべての光電変換素子群７について成立する。このように，マイクロレンズアレイ３は，光電変換素子群７を構成する複数の光電変換素子６のうち，被写体からの光線が通過する撮像レンズ２の瞳位置に対して相対的に同一位置に存在する光電変換素子６に光線を入射させるものである。
【００３２】
図１に戻って，操作装置17に含まれるスイッチにより撮像モードが設定されると，ライブビュー撮像が行なわれ，制御装置（撮像制御手段）20による撮像制御によって，相対的に同一位置に存在する光電変換素子６から得られる信号が撮像素子５の出力信号となる。撮像素子５から出力される画像信号は，アナログ信号処理回路11において，相関二重サンプリング，信号増幅，アナログ／ディジタル変換などのアナログ信号処理が行われ，ディジタル画像データとして出力される。アナログ信号処理回路11から出力されたディジタル画像データは，ディジタル信号処理回路12において，基準レベル調整などのディジタル信号処理が行われる。ディジタル信号処理回路12から出力したディジタル画像データは，画像処理装置13において所定の画像処理が行われる。画像処理装置13から出力されたディジタル画像データは，制御装置20を介して表示装置18に与えられる。
【００３３】
ライトフィールドカメラの場合，異なる視点（異なる方向）からの光線が，光電変換素子群７を構成する複数の光電変換素子６のそれぞれに入射することとなるから，すべての光電変換素子６から得られる信号を用いてライブビュー画像を表示させると，全体がぼけた画像となってしまう。この実施例では，特定の視点（特定の方向）からの光線のみが入射する光電変換素子６から得られる信号によって表されるライブビュー画像が，制御装置（表示制御部）20によって，表示装置18の表示画面に表示させられる。鮮鋭なライブビュー画像30が表示されるようになる。
【００３４】
操作装置17に含まれるシャッタレリーズボタンが押されると，絞り２Ａは制御装置20によって第１の絞り値（例えば，開放絞り値であるが，開放絞り値でなくともよい。）に設定される。第１の絞り値に絞り２Ａが設定された状態で，制御装置（第１の撮像制御手段）20の制御のもとに撮像素子５によって被写体が撮像させられる。撮像により撮像素子５からは第１の撮像信号データが得られる。得られた第１の撮像信号データは，アナログ信号処理回路11，ディジタル信号処理回路12および画像処理装置13を介してメモリ14に与えられ，一時的に記憶される。
【００３５】
また，絞り２Ａは，制御装置20によって第２の絞り値に設定される。第２の絞り値の開口量は第１の絞り値の開口量よりも少ないもので，ユーザによって指定された絞り値でもよいし，上述したようにして得られた第１の撮像信号データまたは第１の撮像信号データが得られる前に行なわれるライブビュー撮像から得られる撮像信号データにもとづいて決定される絞り値でもよい。ユーザによって絞り値が指定された場合であっても，ライブビュー撮像から得られる撮像信号データにもとづいて決定される絞り値であっても，開口量が第１の絞り値の開口量よりも少なくなるように第２の絞り値が決定される。ユーザによって第２の絞り値が指定される，あるいはライブビュー撮像から得られる撮像信号データにもとづいて第２の絞り値が決定される場合には，先に第２の絞り値が決定（指定）され，その決定された第２の絞り値の開口量よりも大きい開口量となるように第１の絞り値が決定されてもよい。第２の絞り値が開放絞り値の場合には，第１の絞り値による撮像（または第２の絞り値による撮像）が行なわれないようにしてもよい。
【００３６】
絞り２Ａが第２の絞り値に設定されている状態で，制御装置（第２の撮像制御手段）20の制御のもとに撮像素子５によって被写体が撮像させられる。撮像により撮像素子５からは第２の撮像信号データが得られる。得られた第２の撮像信号データは，第１の撮像信号データと同様に，アナログ信号処理回路11，ディジタル信号処理回路12および画像処理装置13を介してメモリ14に与えられ，一時的に記憶される。
【００３７】
メモリ14に一時的に記憶されている第１の撮像信号データおよび第２の撮像信号データは，メモリ14から読み取られ，画像処理装置13において１つのファイルに格納される（記録される）。そのようなファイルが，記録再生制御装置（記録制御手段）15によってメモリカード16に記録される。記録再生制御装置15は，メモリカード16に記録されたファイルを読み取ることもできる。ファイルには上述した第１の撮像信号データおよび第２の撮像信号データが格納されているから第１の撮像信号データおよび第２の撮像信号データがメモリカード16から読み取られることとなる（読取手段）。読み取られた第１の撮像信号データと第２の撮像信号データとから，制御装置15によって，第１の撮像信号データまたは第２の撮像信号データによって表される被写体像のうち，後述するように，指定された部分が合焦する（ぼけていない）リフォーカス画像が生成される（リフォーカス画像生成手段）。
【００３８】
図８は，第１の撮像信号データおよび第２の撮像信号データを格納（記録）するファイル構造（データ構造）の一例である。
【００３９】
ファイルにはファイル管理情報を格納するヘッダ領域および画像データ記録領域が含まれている。ヘッダ領域には距離データ（距離マップ）が格納される。第１の絞り値での撮像により得られた第１の撮像信号データにもとづいて，画像を構成する画素ごとにカメラ１から被写体までの距離を表わす距離データ（距離マップ）が画像処理装置13において生成される。生成された距離データは，ヘッダ領域に格納される。また，第１の撮像信号データおよび第２の撮像信号データは，画像データ記録領域に記録される。もっとも，第１の撮像信号データは，ヘッダ領域に記録されるようにしてもよい。
【００４０】
図９は，ライトフィールドカメラ１の処理手順を示すフローチャートである。
【００４１】
シャッタレリーズボタンなどによりシャッタ指令がライトフィールドカメラ１に与えられると，制御装置20によって絞り２Ａが第１の絞り値（開放絞り値）とされる（ステップ31）。第１の絞り値で被写体が撮像され（ステップ32），上述のように第１の撮像信号データが得られる。得られた第１の撮像信号データは，メモリ14に一時的に記憶される。
【００４２】
つづいて，制御装置20によって絞り２Ａが第２の絞り値とされる（ステップ33）。上述のように，第２の絞り値の開口量は，第１の絞り値の開光量よりも少ないものである。第２の絞り値で被写体が撮像され（ステップ34），上述のように第２の撮像信号データが得られる。得られた第２の撮像信号データは，メモリ14に一時的に記憶される。
【００４３】
メモリ14に記憶されている第１の撮像信号データおよび第２の撮像信号データが制御装置20により読み出され，読み出された第１の撮像信号データおよび第２の撮像信号データが１つのファイルに記録（格納）される（ステップ35）。なお，シャッタレリーズボタンを押す前のライブビュー撮影を第１の絞り値として第１の撮像信号データをメモリ14に一時的に記憶し，シャッタレリーズボタンを押した後を第２の絞り値として第２の撮像信号データをメモリ14に一時的に記録し，第１の絞り値の開口量が第２の絞り値の開口量より大きければ，読み出された第１の撮像信号データおよび第２の撮像信号データが１つのファイルに記録されてもよい。
【００４４】
図10は，撮像素子５の受光面において光線が入射しない部分を示している。
【００４５】
円で示された領域８は，撮像レンズ２と，１つのマイクロレンズ４を通過した光線が撮像素子５の受光面において入射する領域を示している。これらの領域８は絞り２の開光量が多くなると大きくなり，絞り２の開口量が少なくなると少なくなる。撮像素子５の受光面において，これらの領域８を除く領域（ハッチングで示す）９が，絞り２が絞られたことにより（開口量が少なくなったことにより）光線が入射しない領域である。
【００４６】
第２の絞り値の開口量によっては（開口量が小さい場合には）図10に示すように，撮像素子５の受光面に光線が入射しない領域９が生じることがある。この場合，領域９からの情報は得られないため，各々の被写体までの距離情報が低下する問題が発生し，第２の撮像信号データをもとにリフォーカスをすると鮮鋭な画像が得られなかったり，精度が劣化したりすることがある。しかしながら，この実施例では，第２の絞り値の開口量よりも開口量の多い第１の絞り値により撮像しているので，第２の絞り値での撮像では入射しない領域９があってもリフォーカスにより所望の部分がぼけずに鮮鋭な画像を得ることができる。
【００４７】
図11は，第２の絞り値での撮像により得られた第２の撮像信号データによって表される多視点画像の一例である。
【００４８】
多視点画像40は，開放絞り値より開口量は少ないが，様々な方向からの光線によって表わされているから，画像が全体的にぼけている。
【００４９】
このような多視点画像40から，所望の主要被写体がぼけていない画像を生成する場合には，ユーザによって主要被写体のリフォーカス位置が指定される。指定された主要被写体までの距離が距離データ（距離マップであり，第２の撮像信号データ，すなわち多視点画像データに関連づけられてファイルに格納されている）から読み出される。
【００５０】
図12および図13に示すように，読み出された距離に近い距離に主要被写体が存在するような２枚の画像41および44が第２の撮像信号データから生成される。図12は，撮像時にカメラ１から奥側にいる人物42にピントが合っており，手前にいる人物43にはピントが合っていない画像41である。図13は，撮像時にカメラ１から奥側にいる人物42にはピントが合っていず，手前にいる人物43にはピントが合っている画像44である。
【００５１】
また，絞り開口量が少なく，図10の領域８が小さい場合は被写界深度が深くなるため，ピントのあった画像が得られるが，この場合各々被写体までの距離情報が少ないため，各々被写体までの距離に応じてぼかし処理をすることができない場合がある。このような場合においても第１の絞り値（開放絞り）で距離情報を得ることにより，各々被写体までの距離に応じてぼかし処理ができるようになる。
【００５２】
さらに例を挙げて特徴を説明すると，水の流れなど動いている被写体を撮影する場合，シャッタを所定時間空けておかないと，水が流れている雰囲気を示す画像を得ることができないが，被写体が明るい状態（晴れている状態で滝の風景を撮影するような場合）でシャッタを所定時間空けておくと，いわゆる白飛び（露出オーバー）の画像になってしまうため，第１の絞り値（開放絞り）で高速シャッタにて撮影し，第２の絞り値で白飛び（露出オーバー）がなく，シャッタを所定時間開けて第２の撮像信号データを得ることができれば，第１の撮像信号データ内の距離情報を使用して距離に応じて特定の領域のみをぼかし処理等をすることで，水の流れる領域のみをぼかし，背景はピントを合わせるといった通常のデジタルカメラでは難しい画像処理も容易にすることができる。
【００５３】
図12および図13に示す画像41および画像44がリフォーカスされることにより，図14に示すように人物42および43がぼけていない画像50が得られる。
【００５４】
上述のように，２枚の画像41および44が生成される場合に，光線が入射しない領域９（図10参照）からは第２の撮像信号データが得られない。このために，この実施例では，そのような領域９得られるべきデータは，第１の撮像信号データが利用される。これにより情報量が欠如していない２枚の画像41および44が生成されるようになる。
【００５５】
図15は，被写体側から撮像素子５を見た正面図であり，図４に対応している。図16は，第２の撮像信号データうち，一部のデータによって表される画像の一例である。
【００５６】
ハッチングで示す光電変換素子６Ａおよび６Ｂのうち，一方の光電変換素子６Ａから得られる第２の撮像信号データによって，図16に破線で示す画像50Ａが得られる。同様に，他方の光電変換素子６Ｂから得られる第２の撮像信号データによって，図16に実線で示す画像50Ｂが得られる。画像50Ａと画像50Ｂとが同時に表示されると，図16に示すように大人の髪の部分で位相差Δに相当する分だけずれることとなる。画像50Ａと画像50Ｂとの位相差相関の補正処理が行われることにより，位相差Δが算出できる。位相差Δだけ，画像50Ａまたは画像50Ｂがシフトされると，大人の髪の部分でずれの無い（ぼけの無い）画像が得られることとなる。また，すべての光電変換素子６から得られる第２の撮像信号データによって画像がシフトされないで表されると，図11に示したように全体がぼけた画像40となるのはいうまでもない。
【００５７】
第２の撮像信号データの撮像時には，図10に示したように，光線が入射しない光電変換素子６が生じることがあるから，光線が入射しない光電変換素子６からは第２の撮像信号データは得られない。このために，光線が入射しない光電変換素子６から得られるべき第２の撮像信号データによって表される上述のような画像50Ａ，50Ｂも得られない場合がある。この実施例では，第２の撮像信号データの撮像時には得られない画像については，第１の撮像信号データから形成し，画像処理装置13（リフォーカス画像生成手段）において画像をシフトすることにより，指定された部分（例えば，大人の顔の部分）が合焦したリフォーカス画像を生成する。このように，図10に示すように光線が入射しない領域９についての第２の撮像信号データは存在しないので，その領域９から得られるべきデータは第１の撮像信号データが利用される。第１の撮像信号データでは，図10に示すように光線が入射しない領域９が無い（少ない）ので，すべての光電変換素子６から得られる画像をシフトしてぼけの無い画像を生成できるし，また，被写体までの距離情報がわかるので，主要被写体以外をぼかすこともできる。
【００５８】
また，この実施例では，第１の絞り値での撮像により撮像素子５において得られる第１の撮像信号データから，第１の撮像信号データによって表わされる画像を構成する画素ごとに，位相差相関（値，データ）を制御装置20によって算出することができる（位相差相関算出手段）。算出された位相差相関が距離データ（距離マップ）として上述した１つのファイルに記録される。もちろん，算出された位相差相関自体がファイルに記録されてもよい。第２の絞り値で撮像すると，図10に示したように光線が入射しない光電変換素子６が存在するので，第２の撮像信号データによって表される画像を構成するすべての画素に対応して位相差相関を算出できないことがある。このために，第２の撮像信号データによって表される画像によって表わされる被写体のうち，距離がわからない部分が生じることがある。しかしながら，第１の撮像信号データでは，第２の絞り値よりも開口量が大きな第１の絞り値を用いて撮像しているので，第２の撮像信号データからは距離がわからない被写体部分であっても，第１の撮像信号データからは距離がわかることとなる。このような距離データ（距離マップ，位相差相関）が上述したようにファイルに記録される。
【００５９】
第２の絞り値が開口量の少ない小絞りの場合，被写界深度が深くなるので，被写体までの距離にかかわらず，ぼけのない鮮鋭な画像が得られる。しかし，第１の撮像信号データの距離マップから被写体までの距離がわかるので，距離に応じて画像の一部を，画像処理装置13を用いてぼかすことができるようになる。
【００６０】
また，水平方向に視差のある光電変換素子（例えば，図15に示す６Ａと６Ｂ，水平方向に視差があれば，６Ａ，６Ｂに限らない）から得られる，図16に示すような画像50Ａを左目用画像，画像50Ｂを右目用画像とすることにより，これらの画像50Ａおよび50Ｂから制御装置20によって立体画像を生成することもできる（立体画像生成手段）。立体画像の生成においては，同一列に存在する光電変換素子６から得られるデータは，上下方向にシフトしてもよい。第２の撮像信号データから立体画像が生成される場合において，図10に示すように光線が入射しない領域９については第２の撮像信号データが存在しないので，その領域９から得られるべきデータの代わりに第１の撮像信号データを利用して立体画像を生成することができる。また，立体画像によって表わされる被写体のすべての部分（ほとんどの部分）までの距離が分るので，立体画像について，距離に応じた視差を与えることもできる。
【００６１】
図17は，被写体側から撮像素子５を見た正面図であり，図４に対応している。
【００６２】
マイクロレンズ４に割り当てられている複数の光電変換素子６（光電変換素子群７）に共通の光透過特性を有するフィルタが形成されている。図17において，符号Ｒは赤色の光成分を透過する特性を有するフィルタであり，符号Ｂは青色の光成分を透過する特性を有するフィルタであり，符号Ｇは緑色の光成分を透過する特性を有するフィルタである。図17においては，フィルタはベイヤ配列とされているが他の配列でもよい。
【００６３】
このように，撮像素子５の受光面（光電変換素子６の受光面）にフィルタが形成されている場合には，第１の絞り値での撮像により得られる第１の撮像信号データは，緑色の光成分を透過する特性を有するフィルタＧが形成されている光電変換素子６から得られるものだけを上述したようにファイルに格納するようにしてもよい。人間の目は，この緑色に相当する波長領域に対して最も感度が高いこと，また，図17からフィルタＧが形成されている光電変換素子６は等間隔で配置されているため，第１の撮像信号データとして使用する。
【００６４】
図17に示す例では，赤色の光成分を透過するフィルタ，青色の光成分を透過するフィルタおよび緑色の光成分を透過するフィルタが光電変換素子６に形成されているが，シアンの光成分を透過するフィルタ，マゼンタの光成分を透過するフィルタおよびイエローの光成分を透過するフィルタが光電変換素子６に形成されていてもよい。その場合には，イエローの光成分を透過するフィルタが形成されている光電変換素子６から得られる第１の撮像信号データを用いて位相差相関が算出されることとなろう。
【符号の説明】
【００６５】
１  ライトフィールドカメラ（撮像装置）
２  撮像素子
２Ａ  絞り
３  マイクロレンズアレイ
15  記録再生制御装置（記録制御手段，読取手段，）
20  制御装置（第１の撮像制御手段，第２の撮像制御手段，位相差相関算出手段，リフォーカス画像生成手段，立体画像生成手段）
【図１】
2015186189.tif 000003
【図２】
2015186189.tif 000004
【図３】
2015186189.tif 000005
【図４】
2015186189.tif 000006
【図５】
2015186189.tif 000007
【図６】
2015186189.tif 000008
【図７】
2015186189.tif 000009
【図８】
2015186189.tif 000010
【図９】
2015186189.tif 000011
【図１０】
2015186189.tif 000012
【図１１】
2015186189.tif 000013
【図１２】
2015186189.tif 000014
【図１３】
2015186189.tif 000015
【図１４】
2015186189.tif 000016
【図１５】
2015186189.tif 000017
【図１６】
2015186189.tif 000018
【図１７】
2015186189.tif 000019