(57)【特許請求の範囲】
【請求項１】
それぞれ異なる領域に設けられた第１光学系と第２光学系とを備える撮影レンズと、
複数の第１受光センサと複数の第２受光センサとが２次元状に配列された指向性センサであって、Ｍ及びＮを１より大きい数とすると、前記第１光学系を介して入射した第１入射光に対する前記第１受光センサと前記第２受光センサとの感度の比率がＭ：１であり、前記第２光学系を介して入射した第２入射光に対する前記第１受光センサと前記第２受光センサとの感度の比率が１：Ｎである指向性センサと、
前記複数の第１受光センサから得られる第１画像信号と前記複数の第２受光センサから得られる第２画像信号とを取得する画像読み出し部と、
前記第１画像信号から第１画像を生成し、前記第２画像信号から第２画像を生成する画像生成部と、
前記第２入射光の前記指向性センサへの入射又は遮光を制御する第１遮光制御部と、
前記第２入射光を遮光した状態で前記第１画像信号と前記第２画像信号とを取得し、前記第１画像のダイナミックレンジのＭ倍以下のダイナミックレンジを有する第３画像を生成するダイナミックレンジ拡大処理部と、
を備えた撮像装置。
【請求項２】
前記第１遮光制御部は、光の透過状態と遮光状態とを切り替える第１シャッタを備えた請求項１に記載の撮像装置。
【請求項３】
前記第１シャッタは、前記第２入射光の光路に配置される請求項２に記載の撮像装置。
【請求項４】
前記第１入射光の前記指向性センサへの入射又は遮光を制御する第２遮光制御部を備え、
前記ダイナミックレンジ拡大処理部は、前記第２入射光を入射させ、かつ前記第１入射光を遮光した状態で前記第１画像信号と前記第２画像信号とを取得し、前記第２画像のダイナミックレンジのＮ倍のダイナミックレンジを有する第４画像を生成する請求項１から３のいずれか１項に記載の撮像装置。
【請求項５】
前記第２遮光制御部は、光の透過状態と遮光状態とを切り替える第２シャッタを備えた請求項４に記載の撮像装置。
【請求項６】
前記第２シャッタは、前記第１入射光の光路に配置される請求項５に記載の撮像装置。
【請求項７】
前記第１光学系及び前記第２光学系は、互いに異なる撮像特性を有する請求項１から６のいずれか１項に記載の撮像装置。
【請求項８】
前記第１光学系及び前記第２光学系は、一方が広角光学系であり、他方が前記広角光学系より焦点距離が長い望遠光学系である請求項７に記載の撮像装置。
【請求項９】
前記撮影レンズは、前記第１光学系が中央部に配置され、前記第２光学系が前記第１光学系の周辺部に環状に配置された請求項１から８のいずれか１項に記載の撮像装置。
【請求項１０】
前記指向性センサへ入射する光量を調節するための絞りを備え、
前記第１遮光制御部は、前記絞りによって前記第２入射光の前記指向性センサへの入射又は遮光を制御する請求項１に記載の撮像装置。
【請求項１１】
それぞれ異なる領域に設けられた第１光学系と第２光学系とを備える撮影レンズと、複数の第１受光センサと複数の第２受光センサとが２次元状に配列された指向性センサであって、Ｍ及びＮを１より大きい数とすると、前記第１光学系を介して入射した第１入射光に対する前記第１受光センサと前記第２受光センサとの感度の比率がＭ：１であり、前記第２光学系を介して入射した第２入射光に対する前記第１受光センサと前記第２受光センサとの感度の比率が１：Ｎである指向性センサと、を備えた撮像装置の撮像方法であって、
前記複数の第１受光センサから得られる第１画像信号と前記複数の第２受光センサから得られる第２画像信号とを取得する画像読み出し工程と、
前記第１画像信号から第１画像を生成し、前記第２画像信号から第２画像を生成する画像生成工程と、
前記第２入射光の前記指向性センサへの入射又は遮光を制御する第１遮光制御工程と、
前記第２入射光を遮光した状態で前記第１画像信号と前記第２画像信号とを取得し、前記第１画像のダイナミックレンジのＭ倍以下のダイナミックレンジを有する第３画像を生成するダイナミックレンジ拡大処理工程と、
を備えた撮像方法。
【請求項１２】
請求項１１に記載の撮像方法を撮像装置に実行させるプログラム。
【請求項１３】
請求項１２に記載のプログラムのコンピュータ読み取り可能なコードが記録された、非一時的記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法、プログラム、及び非一時的記録媒体に関し、特に各受光センサが光の入射角に関して指向性を有する指向性センサを使用して複数の画像を同時に撮影する技術に関する。
【背景技術】
【０００２】
領域により異なる撮像特性を有する光学系と指向性センサを備える撮像系により、撮像特性が異なる複数の画像を同時に取得可能な撮像システムが提案されている。指向性センサは、理想的には、想定された瞳領域からの光だけを感じるように製作されるが、実際には混信が生じて、他の瞳領域からの光にも感じてしまう。【０００３】
このような課題に対し、特許文献１には、複数の領域の内の一の領域に対応する受光センサの撮像信号から一の領域に対応する画像を生成し、生成された画像の補正を行う際に、一の領域に対応して生成された画像から一の領域以外の領域を通過した光束の影響を除去する技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１３／１４６５０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術では、高輝度の被写体がある場合には、信号飽和の影響によって混信成分を除去することができず、出力画像の画質を劣化させてしまうという問題があった。また、高輝度の被写体に白トビが発生しないように、ダイナミックレンジを拡大した画像を取得するためには、露光時間の異なる２枚の画像を撮影する必要があった。【０００６】
本発明はこのような事情に鑑みてなされたもので、各受光センサが光の入射角に関して指向性を有する指向性センサを備える撮像系により複数の画像を同時に撮影し、ダイナミックレンジを拡大した画像を取得する撮像装置、撮像方法、プログラム、及び非一時的記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために撮像装置の一の態様は、それぞれ異なる領域に設けられた第１光学系と第２光学系とを備える撮影レンズと、複数の第１受光センサと複数の第２受光センサとが２次元状に配列された指向性センサであって、Ｍ及びＮを１より大きい数とすると、第１光学系を介して入射した第１入射光に対する第１受光センサと第２受光センサとの感度の比率がＭ：１であり、第２光学系を介して入射した第２入射光に対する第１受光センサと第２受光センサとの感度の比率が１：Ｎである指向性センサと、複数の第１受光センサから得られる第１画像信号と複数の第２受光センサから得られる第２画像信号とを取得する画像読み出し部と、第１画像信号から第１画像を生成し、第２画像信号から第２画像を生成する画像生成部と、第２入射光の指向性センサへの入射又は遮光を制御する第１遮光制御部と、第２入射光を遮光した状態で第１画像信号と第２画像信号とを取得し、第１画像のダイナミックレンジのＭ倍以下のダイナミックレンジを有する第３画像を生成するダイナミックレンジ拡大処理部と、を備えた。【０００８】
本態様によれば、第１光学系を介して入射した第１入射光に対する第１受光センサと第２受光センサとの感度の比率がＭ：１である指向性センサによって、第２入射光を遮光した状態で複数の第１受光センサと第２受光センサとから第１画像信号と第２画像信号とを取得し、第１画像信号から生成される第１画像のダイナミックレンジのＭ倍以下のダイナミックレンジを有する第３画像を生成するようにしたので、受光センサが光の入射角に関して指向性を有する指向性センサを備える撮像系により、ダイナミックレンジを拡大した画像を撮影することができる。【０００９】
第１遮光制御部は、光の透過状態と遮光状態とを切り替える第１シャッタを備えることが好ましい。これにより、第２入射光の指向性センサへの入射又は遮光を適切に制御することができる。【００１０】
第１シャッタは、第１入射光の光路に配置されることが好ましい。これにより、第２入射光の指向性センサへの入射又は遮光を適切に制御することができる。【００１１】
第１入射光の指向性センサへの入射又は遮光を制御する第２遮光制御部を備え、ダイナミックレンジ拡大処理部は、第２入射光を入射させ、かつ第１入射光を遮光した状態で第１画像信号と第２画像信号とを取得し、第２画像のダイナミックレンジのＮ倍のダイナミックレンジを有する第４画像を生成することが好ましい。これにより、第２入射光によるダイナミックレンジを拡大した画像を撮影することができる。【００１２】
第２遮光制御部は、光の透過状態と遮光状態とを切り替える第２シャッタを備えることが好ましい。これにより、第１入射光の指向性センサへの入射又は遮光を適切に制御することができる。【００１３】
第２シャッタは、第２入射光の光路に配置されることが好ましい。これにより、第１入射光の指向性センサへの入射又は遮光を適切に制御することができる。【００１４】
第１光学系及び第２光学系は、互いに異なる撮像特性を有することが好ましい。これにより、互いに異なる撮像特性を有する画像を同時に撮影することができる。【００１５】
第１光学系及び第２光学系は、一方が広角光学系であり、他方が広角光学系より焦点距離が長い望遠光学系であることが好ましい。これにより、広角画像と望遠画像とを同時に撮影することができる。【００１６】
撮影レンズは、第１光学系が中央部に配置され、第２光学系が第１光学系の周辺部に環状に配置されることが好ましい。これにより、第１光学系と第２光学系とを適切に配置し、また、第２入射光の指向性センサへの入射又は遮光を適切に制御することができる。【００１７】
指向性センサへ入射する光量を調節するための絞りを備え、第１遮光制御部は、絞りによって第２入射光の指向性センサへの入射又は遮光を制御してもよい。これにより、第２入射光の指向性センサへの入射又は遮光を適切に制御することができる。【００１８】
上記目的を達成するために撮像方法の一の態様は、それぞれ異なる領域に設けられた第１光学系と第２光学系とを備える撮影レンズと、複数の第１受光センサと複数の第２受光センサとが２次元状に配列された指向性センサであって、Ｍ及びＮを１より大きい数とすると、第１光学系を介して入射した第１入射光に対する第１受光センサと第２受光センサとの感度の比率がＭ：１であり、第２光学系を介して入射した第２入射光に対する第１受光センサと第２受光センサとの感度の比率が１：Ｎである指向性センサと、を備えた撮像装置の撮像方法であって、複数の第１受光センサから得られる第１画像信号と複数の第２受光センサから得られる第２画像信号とを取得する画像読み出し工程と、第１画像信号から第１画像を生成し、第２画像信号から第２画像を生成する画像生成工程と、第２入射光の指向性センサへの入射又は遮光を制御する第１遮光制御工程と、第２入射光を遮光した状態で第１画像信号と第２画像信号とを取得し、第１画像のダイナミックレンジのＭ倍以下のダイナミックレンジを有する第３画像を生成するダイナミックレンジ拡大処理工程と、を備えた。【００１９】
本態様によれば、第１光学系を介して入射した第１入射光に対する第１受光センサと第２受光センサとの感度の比率がＭ：１である指向性センサによって、第２入射光を遮光した状態で複数の第１受光センサと第２受光センサとから第１画像信号と第２画像信号とを取得し、第１画像信号から生成される第１画像のダイナミックレンジのＭ倍以下のダイナミックレンジを有する第３画像を生成するようにしたので、受光センサが光の入射角に関して指向性を有する指向性センサを備える撮像系により、ダイナミックレンジを拡大した画像を撮影することができる。【００２０】
撮像方法を撮像装置に実行させるプログラムも本態様に含まれる。また、プログラムのコンピュータ読み取り可能なコードが記録された、非一時的記録媒体も本態様に含まれる。
【発明の効果】
【００２１】
本発明によれば、各受光センサが光の入射角に関して指向性を有する指向性センサを備える撮像系により、ダイナミックレンジを拡大した画像を撮影することができる。
【図面の簡単な説明】
【００２２】
【図１】図１は、デジタルカメラを示す斜視図である。
【図２】図２は、撮像部の断面構成を示す図である。
【図３】図３は、図２のＡ矢視図である。
【図４】図４は、瞳選択センサの詳細な断面構成例を示す図である。
【図５】図５は、多様レンズに入射する広角画像光の光路を示す図である。
【図６】図６は、多様レンズに入射する望遠画像光の光路を示す図である。
【図７】図７は、望遠画像と同時に撮影した広角画像を示す図である。
【図８】図８は、広角画像と同時に撮影した望遠画像を示す図である。
【図９】図９は、混信が生じている広角画像を示す図である。
【図１０】図１０は、混信が生じている望遠画像を示す図である。
【図１１】図１１は、多様レンズ及び瞳選択センサに入射する広角画像光及び望遠画像光の光路を示す図である。
【図１２】図１２は、第１液晶シャッタを透過状態、第２液晶シャッタを遮光状態とした場合の第１受光センサと第２受光センサの光電変換特性を示すグラフである。
【図１３】図１３は、多様レンズ及び瞳選択センサに入射する広角画像光及び望遠画像光の光路を示す図である。
【図１４】図１４は、第１液晶シャッタを遮光状態、第２液晶シャッタを透過状態とした場合の第１受光センサと第２受光センサの光電変換特性を示すグラフである。
【図１５】図１５は、デジタルカメラの機能構成例を示すブロック図である。
【図１６】図１６は、ダイナミックレンジ拡大処理部の詳細な回路構成を示すブロック図である。
【図１７】図１７は、合成処理回路により各ダイナミックレンジに応じて合成された合成後の画像データの信号レベルを示す図である。
【図１８】図１８は、デジタルカメラによる撮像方法の一例を示すフローチャートである。
【図１９】図１９は、デジタルカメラの機能構成例を示すブロック図である。
【図２０】図２０は、デジタルカメラの機能構成例を示すブロック図である。
【発明を実施するための形態】
【００２３】
以下、添付図面に従って本発明の好ましい実施形態について説明する。
【００２４】
〔デジタルカメラの構成〕
図１は、本実施形態に係るデジタルカメラ１０（撮像装置の一例）を示す斜視図である。デジタルカメラ１０は、光軸Ｌを有する多様レンズ１１及び被写体に撮影補助光を照射するフラッシュ発光部１２が本体の前面に設けられており、撮像動作を実行させるためのレリーズボタン１３が本体の上面に設けられている。
【００２５】
撮影者がデジタルカメラ１０を用いて被写体を撮影するには、デジタルカメラ１０を保持して多様レンズ１１を被写体に向け、レリーズボタン１３を押せばよい。多様レンズ１１を介して瞳選択センサ２４（図２参照）の受光面に結像した被写体像は、瞳選択センサ２４において光電変換され、レリーズボタン１３の操作に基づいて、画像信号として読み出される。この画像信号に画像処理を施すことにより、被写体の撮影画像を取得することができる。
【００２６】
〔撮像部の構成〕
図２は、多様レンズ１１及び瞳選択センサ２４を備える撮像部１４の断面構成を示す図である。
【００２７】
多様レンズ１１（撮影レンズの一例）は、相互に独立した撮像特性を有する第１光学系２１及び第２光学系２２を含み、特に本実施形態では焦点距離が互いに異なる光学系によって第１光学系２１及び第２光学系２２が構成される。すなわち、本実施形態の多様レンズ１１は、広角画像撮影レンズ群によって構成される第１光学系２１（一方が広角光学系の一例）と、望遠画像撮影レンズ群によって構成される第２光学系２２（他方が望遠光学系の一例）とを含んでいる。
【００２８】
図２に示す第１光学系２１は、同一の光軸Ｌ上に配置される第１広角用レンズ２１ａ、第２広角用レンズ２１ｂ、第３広角用レンズ２１ｃ、第４広角用レンズ２１ｄ及び共通レンズ２３を含んで構成される。一方、第２光学系２２は、第１望遠用レンズ２２ａ、第１望遠用反射ミラー２２ｃが設けられる第１望遠用反射体２２ｂ、第２望遠用反射ミラー２２ｅが設けられる第２望遠用反射体２２ｄ、及び共通レンズ２３を含んで構成される。
【００２９】
図３は、図２のＡ矢視図である。第１光学系２１（特に第１広角用レンズ２１ａ、第２広角用レンズ２１ｂ、第３広角用レンズ２１ｃ及び第４広角用レンズ２１ｄ）と第２光学系２２（特に第１望遠用レンズ２２ａ、第１望遠用反射体２２ｂ、第１望遠用反射ミラー２２ｃ、第２望遠用反射体２２ｄ及び第２望遠用反射ミラー２２ｅ）とは、同心状に配置され、第１光学系２１は中央光学系を形成し、第２光学系２２は第１光学系２１の周辺部に環状に配置された周辺光学系を形成する。なお、共通レンズ２３は、光軸Ｌ上に配置され、第１光学系２１と第２光学系２２との間で共用される。
【００３０】
このように、多様レンズ１１は、共通の光軸Ｌを有する第１光学系２１及び第２光学系２２であって、相互に異なる焦点距離及び撮影画角を有する第１光学系２１及び第２光学系２２を含んでいる。
【００３１】
図２の説明に戻り、瞳選択センサ２４は、複数の受光センサ２５（光電変換素子）が光の入射角に関して指向性を有する指向性センサであり、複数の受光センサ２５が光軸Ｌと直交する方向に２次元状に配置され、第１光学系２１を介して入射する広角画像光Ｗ（第１入射光の一例、図５参照）と、第２光学系２２を介して入射する望遠画像光Ｔ（第２入射光の一例、図６参照）とを同時に受光する。
【００３２】
図４は、瞳選択センサ２４の詳細な断面構成例を示す図である。瞳選択センサ２４は、角度感度特性が異なる第１受光センサ２５ａと第２受光センサ２５ｂとを備えており、第１受光センサ２５ａと第２受光センサ２５ｂとは、交互に配置されている。
【００３３】
第１受光センサ２５ａは、広角画像光Ｗを受光して広角画像（第１画像の一例）を生成するための第１画像信号を出力し、第２受光センサ２５ｂは、望遠画像光Ｔを受光して望遠画像（第２画像の一例）を生成するための第２画像信号を出力する。
【００３４】
複数の第１受光センサ２５ａは、広角画像光Ｗを選択的に受光する第１センサ群２４ａを構成し、複数の第２受光センサ２５ｂは、望遠画像光Ｔを選択的に受光する第２センサ群２４ｂを構成する。
【００３５】
第１受光センサ２５ａ及び第２受光センサ２５ｂの各々は、マイクロレンズ２６、フォトダイオード２９、及びマイクロレンズ２６とフォトダイオード２９とが配置される中間層２７を有する。中間層２７には遮光マスク２８が設けられており、第１受光センサ２５ａではフォトダイオード２９の受光面の周辺部に遮光マスク２８が配置され、第２受光センサ２５ｂではフォトダイオード２９の受光面の中央部に遮光マスク２８が配置される。遮光マスク２８の配置は、第１光学系２１及び第２光学系２２のうちのいずれに対応するかに応じて決定され、各遮光マスク２８は、対応しない光学系からの光を遮断する一方で対応する光学系からの光を遮断することなくフォトダイオード２９に受光させる。
【００３６】
このように構成された瞳選択センサ２４は、実際には、広角画像光Ｗを選択的に受光する第１受光センサ２５ａに望遠画像光Ｔが混信し、望遠画像光Ｔを選択的に受光する第２受光センサ２５ｂに広角画像光Ｗが混信する。本実施形態では、Ｍ及びＮを１より大きい数とすると、広角画像光Ｗに対する第１受光センサ２５ａと第２受光センサ２５ｂとの感度（混信）の比率がＭ：１であり、望遠画像光Ｔに対する第１受光センサ２５ａと第２受光センサ２５ｂとの感度の比率が１：Ｎであるとする。例えば、Ｍ＝１０、Ｎ＝１０とすることができる。なお、ＭとＮとは異なる値であってもよい。
【００３７】
なお、ここでは、遮光マスク２８を含む受光センサ２５によって、第１光学系２１及び第２光学系２２のうち対応する光学系を通過した光を瞳分割して選択的に受光する複数の受光センサを実現しているが、他の手段によって瞳分割を実現してもよい。例えば、共通レンズ２３（図２参照）とマイクロレンズ２６との間のように、マイクロレンズ２６よりも入射光の光路の上流側に遮光マスク２８が設けられてもよいし、液晶シャッタ等の遮光マスク２８以外の遮光手段を用いてもよい。
【００３８】
また、中間層２７には遮光マスク２８以外の部材を設けてもよく、例えば配線及び／又は回路類を中間層２７に設けることができる。
【００３９】
瞳選択センサ２４には、第１受光センサ２５ａ及び第２受光センサ２５ｂに対して配設されたＲ（赤），Ｇ（緑），Ｂ（青）のカラーフィルタ（光学フィルタ）により構成されるカラーフィルタ配列が設けられており、このカラーフィルタ配列の色配列パターンに対応して得られる各色の画像（モザイク画像）をデジタル画像信号処理部３４（図１３参照）が同時化処理することにより、カラーの広角画像及び望遠画像が得られるようになっている。
【００４０】
再び図２の説明に戻り、撮像部１４は、第１液晶シャッタ５１（第２シャッタの一例）及び第２液晶シャッタ５２（第１シャッタの一例）からなる遮光部５０を備えている。第１液晶シャッタ５１及び第２液晶シャッタ５２は、それぞれ光軸Ｌと直交する方向に同心状に配置された液晶パネルである。第１液晶シャッタ５１及び第２液晶シャッタ５２は、入射する光を透過する透過状態及び光を遮光する遮光状態に切り替え可能に構成されており、この切り替えは、遮光シャッタ制御部４８（図１５参照）によって制御される。
【００４１】
第１液晶シャッタ５１は第１光学系２１に対応した円形の形状を有しており、第１広角用レンズ２１ａと第２広角用レンズ２１ｂとの間の位置であって、広角画像光Ｗの光路の位置に配置されている。すなわち、第１液晶シャッタ５１は、透過状態及び遮光状態により、広角画像光Ｗの通過及び遮断を制御する。なお、第１液晶シャッタ５１は、第１光学系２１の内部に配置されるものに限定されず、広角画像光Ｗの光路の第１光学系２１よりも前段に配置されてもよいし、第１光学系２１よりも後段（第１光学系２１と瞳選択センサ２４との間）に配置されていてもよい。
【００４２】
また、第２液晶シャッタ５２は、第２光学系２２に対応して、第１液晶シャッタ５１の周辺部に環状に配置されており、第１望遠用反射ミラー２２ｃと第２望遠用反射ミラー２２ｅとの間の位置であって、望遠画像光Ｔの光路の位置に配置されている。すなわち、第２液晶シャッタ５２は、透過状態及び遮光状態により、望遠画像光Ｔの通過及び遮断を制御する。第２液晶シャッタ５２についても、第２光学系２２の内部に配置されるものに限定されず、望遠画像光Ｔの光路の第２光学系２２よりも前段に配置されてもよいし、第２光学系２２よりも後段（第２光学系２２と瞳選択センサ２４との間）に配置されていてもよい。
【００４３】
遮光部５０は、第１液晶シャッタ５１及び第２液晶シャッタ５２を１枚の液晶パネルとして構成し、それぞれの領域について個別に透過状態及び遮光状態を切り替えてもよい。
【００４４】
〔撮像部の作用〕
＜第１液晶シャッタ及び第２液晶シャッタが透過状態の場合＞
図５は、図２に示す多様レンズ１１（特に第１光学系２１）及び瞳選択センサ２４（特に第１センサ群２４ａ（図４参照））に入射する広角画像光Ｗの光路を示す図であり、第１液晶シャッタ５１が透過状態である場合を示している。同図に示すように、広角画像光Ｗは、第１光学系２１の第１広角用レンズ２１ａ、第１液晶シャッタ５１、第２広角用レンズ２１ｂ、第３広角用レンズ２１ｃ、第４広角用レンズ２１ｄ及び共通レンズ２３を順次通過し、瞳選択センサ２４の第１受光センサ２５ａに広角画像が結像する。
【００４５】
図６は、図２に示す多様レンズ１１（特に第２光学系２２）及び瞳選択センサ２４（特に第２センサ群２４ｂ（図４参照））に入射する望遠画像光Ｔの光路を示す図であり、第２液晶シャッタ５２が透過状態である場合を示している。同図に示すように、望遠画像光Ｔは、第１望遠用レンズ２２ａを通過（透過）して第１望遠用反射ミラー２２ｃに反射された後、第２液晶シャッタ５２を通過して第２望遠用反射ミラー２２ｅにより反射され、第２液晶シャッタ５２、共通レンズ２３を通過し、瞳選択センサ２４の第２受光センサ２５ｂに望遠画像が結像する。第１望遠用反射ミラー２２ｃ及び第２望遠用反射ミラー２２ｅの各々により反射されて光路が折り返されることにより、焦点距離の長い望遠画像撮影用の第２光学系２２の光軸Ｌの方向に関する長さを短くすることができる。
【００４６】
したがって、第１液晶シャッタ５１及び第２液晶シャッタ５２が共に透過状態である場合には、瞳選択センサ２４において広角画像光Ｗと望遠画像光Ｔとを選択的に受光し、広角画像と望遠画像を同時に撮影することができる。
【００４７】
図７及び図８は、それぞれ同時に撮影した広角画像と望遠画像との一例を示す図である。なお、図７及び図８では、広角画像と望遠画像との間で混信が生じていない場合（広角画像光Ｗが第２受光センサ２５ｂに全く入射せず、望遠画像光Ｔが第１受光センサ２５ａに全く入射しない場合）の例を示している。
【００４８】
これに対し、図９及び図１０は、それぞれ混信が生じている場合の広角画像と望遠画像との一例を示す図である。図９に示すように、広角画像中に望遠画像が混信しており、本来の被写体像（画像中央の小さな貨物自動車）の他に、混信による偽像（貨物自動車の大きな像）が画像内にうっすらと現れている。一方、図１０に示すように、望遠画像中にも広角画像が混信しており、本来の被写体（画像中央の大きな貨物自動車）の他に、混信による偽像（貨物自動車の小さな像）が画像中央にうっすらと現れている。
【００４９】
前述のように、本実施形態に係る瞳選択センサ２４は、広角画像光Ｗに対する第１受光センサ２５ａと第２受光センサ２５ｂとの感度の比率がＭ：１である。したがって、広角画像光ＷのＭ／（Ｍ＋１）は第１受光センサ２５ａに受光され、１／（Ｍ＋１）は第２受光センサ２５ｂに混信する。また、望遠画像光Ｔに対する第１受光センサ２５ａと第２受光センサ２５ｂとの感度の比率が１：Ｎである。したがって、望遠画像光ＴのＮ／（Ｎ＋１）は第２受光センサ２５ｂに受光され、１／（Ｎ＋１）は第１受光センサ２５ａに混信する。
【００５０】
＜第１液晶シャッタが透過状態、第２液晶シャッタが遮光状態の場合＞
図１１は、図２に示す多様レンズ１１及び瞳選択センサ２４に入射する広角画像光Ｗ及び望遠画像光Ｔの光路を示す図であり、第１液晶シャッタ５１が透過状態であり、第２液晶シャッタ５２が遮光状態の場合を示している。
【００５１】
望遠画像光Ｔは、第１望遠用レンズ２２ａを通過し、第１望遠用反射ミラー２２ｃに反射された後、第２液晶シャッタ５２に入射する。ここでは、第２液晶シャッタ５２は遮光状態であるため、第２液晶シャッタ５２に入射した望遠画像光Ｔは第２液晶シャッタ５２により遮断され、第２望遠用反射ミラー２２ｅには入射しない。その結果、瞳選択センサ２４の第２受光センサ２５ｂには望遠画像が結像しない。
【００５２】
一方、第１液晶シャッタ５１は透過状態であるため、図５に示した場合と同様に、広角画像光Ｗは、第１光学系２１の第１広角用レンズ２１ａ、第１液晶シャッタ５１、第２広角用レンズ２１ｂ、第３広角用レンズ２１ｃ、第４広角用レンズ２１ｄ及び共通レンズ２３を順次通過し、瞳選択センサ２４の第１受光センサ２５ａに広角画像が結像する。
【００５３】
ここで、広角画像光Ｗに対する第１受光センサ２５ａと第２受光センサ２５ｂとの感度の比率はＭ：１であるため、広角画像光ＷのうちＭ／（Ｍ＋１）は第１受光センサ２５ａに受光され、１／（Ｍ＋１）は第２受光センサ２５ｂが受光する。したがって、第１受光センサ２５ａに広角画像が結像するとともに、第２受光センサ２５ｂに、第１受光センサ２５ａで撮影される広角画像の１／Ｍの露光量により広角画像が結像する。
【００５４】
図１２は、第１液晶シャッタ５１を透過状態、及び第２液晶シャッタ５２を遮光状態とした場合の第１受光センサ２５ａと第２受光センサ２５ｂの光電変換特性を示すグラフであり、横軸は相対的入射光量、縦軸は出力信号を示している。
【００５５】
第１受光センサ２５ａの出力は、相対的入射光量が増加するに従って比例して増加し、相対的入射光量が１００％の場合に出力信号が飽和値に達する。以後、相対的入射光量が増加しても、第１受光センサ２５ａの出力は飽和値において一定となる。
【００５６】
一方、第２受光センサ２５ｂは、第１受光センサ２５ａに対して感度が１／Ｍであり、相対的入射光量がＭ×１００％の場合に飽和値に達する。
【００５７】
このように、第１液晶シャッタ５１を透過状態、及び第２液晶シャッタ５２を遮光状態とすることにより、露光量の異なる２枚の広角画像（高感度の広角画像と低感度の広角画像）を同時に撮影することができる。
【００５８】
＜第１液晶シャッタが遮光状態、第２液晶シャッタが透過状態の場合＞
図１３は、図２に示す多様レンズ１１及び瞳選択センサ２４に入射する広角画像光Ｗ及び望遠画像光Ｔの光路を示す図である。ここでは、第１液晶シャッタ５１は遮光状態であり、第２液晶シャッタ５２は透過状態である。
【００５９】
広角画像光Ｗは、第１光学系２１の第１広角用レンズ２１ａを通過した後、第１液晶シャッタ５１に入射する。ここでは、第１液晶シャッタ５１は遮光状態であるため、第１液晶シャッタ５１に入射した広角画像光Ｗは第１液晶シャッタ５１により遮断され、第２広角用レンズ２１ｂには入射しない。その結果、瞳選択センサ２４の第１受光センサ２５ａには広角画像が結像しない。
【００６０】
一方、望遠画像光Ｔは、第２液晶シャッタ５２が透過状態であるため、第１望遠用レンズ２２ａを通過して第１望遠用反射ミラー２２ｃに反射された後、第２液晶シャッタ５２を通過して第２望遠用反射ミラー２２ｅにより反射され、第２液晶シャッタ５２、共通レンズ２３を通過し、瞳選択センサ２４上に望遠画像が結像する。
【００６１】
ここで、望遠画像光Ｔに対する第１受光センサ２５ａと第２受光センサ２５ｂとの感度の比率は１：Ｎであるため、望遠画像光ＴのうちＮ／（Ｎ＋１）は第２受光センサ２５ｂに受光され、１／（Ｎ＋１）は第１受光センサ２５ａが受光する。したがって、第２受光センサ２５ｂに望遠画像が結像するとともに、第１受光センサ２５ａに、第２受光センサ２５ｂで撮影される望遠画像の１／Ｎの露光量で望遠画像が結像する。
【００６２】
図１４は、第１液晶シャッタ５１を遮光状態、及び第２液晶シャッタ５２を透過状態とした場合の第１受光センサ２５ａと第２受光センサ２５ｂの光電変換特性を示すグラフであり、横軸は相対的入射光量、縦軸は出力信号を示している。
【００６３】
第２受光センサ２５ｂの出力は、相対的入射光量が増加するに従って比例して増加し、相対的入射光量が１００％の場合に出力信号が飽和値に達する。以後、相対的入射光量が増加しても、第２受光センサ２５ｂの出力は飽和値において一定となる。
【００６４】
一方、第１受光センサ２５ａは、第２受光センサ２５ｂに対して感度が１／Ｎであり、相対的入射光量がＮ×１００％の場合に飽和値に達する。
【００６５】
このように、第１液晶シャッタ５１を遮光状態、及び第２液晶シャッタ５２を透過状態とすることにより、露光量の異なる２枚の望遠画像（高感度の望遠画像と低感度の望遠画像）を同時に撮影することができる。
【００６６】
〔デジタルカメラの機能構成〕
図１５は、本実施形態に係るデジタルカメラ１０の機能構成例を示すブロック図である。同図に示すように、デジタルカメラ１０は、上記の多様レンズ１１、瞳選択センサ２４の他に、多様画像を取得する撮像・画像取得部３２、多様画像に信号処理を施すデジタル画像信号処理部３４、信号処理が施された多様画像をそれぞれ記録、表示、伝送する記録部４０、表示部４２、伝送部４４、デジタルカメラ１０の動作を切り替える撮影モード選択・処理切替制御部４６、及び遮光部５０を制御する遮光シャッタ制御部４８を有する。撮像・画像取得部３２、デジタル画像信号処理部３４、撮影モード選択・処理切替制御部４６、及び遮光シャッタ制御部４８等の各機能はデジタルカメラ１０内におけるＣＰＵ（Central Processing Unit)等のプロセッサ類が動作することにより実現されてもよいし、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路やこれらの組み合わせにより実現されてもよい。
【００６７】
第１光学系２１（図２参照）に対応する第１多様レンズ瞳６１を介した広角画像光Ｗは、瞳選択センサ２４の第１センサ群２４ａによって受光され、第２光学系２２（図２参照）に対応する第２多様レンズ瞳６２を介した望遠画像光Ｔは、瞳選択センサ２４の第２センサ群２４ｂによって受光される。
【００６８】
撮像・画像取得部３２は、瞳選択センサ２４を備えている。撮像・画像取得部３２（画像読み出し部の一例）は、瞳選択センサ２４の第１センサ群２４ａから第１画像信号を取得し、第２センサ群２４ｂから第２画像信号を取得する。この第１画像信号及び第２画像信号は、デジタル画像信号処理部３４に入力される。
【００６９】
デジタル画像信号処理部３４は、混信低減処理部３６及びダイナミックレンジ拡大処理部３８を備えている。
【００７０】
混信低減処理部３６は、第１液晶シャッタ５１及び第２液晶シャッタ５２を透過状態として撮像・画像取得部３２が取得した第１画像信号及び第２画像信号から、混信している第２画像信号を低減させた広角画像データ及び混信している第１画像信号を低減させた望遠画像データを生成する。
【００７１】
ダイナミックレンジ拡大処理部３８は、第１液晶シャッタ５１及び第２液晶シャッタ５２のいずれかを遮光状態として撮像・画像取得部３２から取得した第１画像信号及び第２画像信号から、ダイナミックレンジを拡大した広角画像データ又はダイナミックレンジを拡大した望遠画像データを生成する。
【００７２】
デジタル画像信号処理部３４において生成された画像データは、記録部４０、表示部４２、及び／又は伝送部４４に送られる。
【００７３】
記録部４０はデジタルカメラ１０に内蔵された記録媒体及び／又はデジタルカメラ１０から取り外し可能な記録媒体を備え、デジタル画像信号処理部３４から送られた画像データをこれらの記録媒体に記録する。
【００７４】
表示部４２は液晶モニタを備え、デジタル画像信号処理部３４から送られた画像データをこの液晶モニタに表示する。
【００７５】
伝送部４４は、デジタル画像信号処理部３４から送られた画像データを、無線ＬＡＮ（Local Area Network）等の通信手段を介して伝送する。
【００７６】
撮影モード選択・処理切替制御部４６は、デジタルカメラ１０の使用者が不図示の操作部を用いて選択した撮影モードに対応させて、撮像・画像取得部３２、デジタル画像信号処理部３４、及び遮光シャッタ制御部４８における処理を制御する。
【００７７】
遮光シャッタ制御部４８（第１遮光制御部の一例、第２遮光制御部の一例）は、第１液晶シャッタ５１及び第２液晶シャッタ５２の透過状態及び遮光状態を制御する。
【００７８】
〔ダイナミックレンジ拡大処理部の構成〕
図１６は、図１５に示したダイナミックレンジ拡大処理部３８の詳細な回路構成を示すブロック図である。同図に示すように、ダイナミックレンジ拡大処理部３８は、オフセット処理部１００及び１０２、リニアマトリクス回路１１０及び１１２、ゲイン補正回路１２０及び１２２、及び合成処理回路１３０等を備えている。
【００７９】
ここでは、Ｍ≧４であり、第１液晶シャッタ５１を透過状態、第２液晶シャッタ５２を遮光状態として、高感度の広角画像と低感度の広角画像の２枚の広角画像を同時に撮影した場合のダイナミックレンジ拡大処理について説明する。
【００８０】
第１画像信号及び第２画像信号は、それぞれオフセット処理部１００及びオフセット処理部１０２に入力され、オフセット処理が施される。
【００８１】
オフセット処理された第１画像信号及び第２画像信号は、リニアマトリクス回路１１０及び１１２に出力され、ここで瞳選択センサ２４の分光特性を補正する色調補正処理が行われる。
【００８２】
リニアマトリクス回路１１０及び１１２から出力された第１画像信号及び第２画像信号は、ゲイン補正回路１２０及び１２２にそれぞれ出力される。ゲイン補正回路１２０及び１２２は、Ｒ，Ｇ，Ｂの画像信号ごとにそれぞれホワイトバランス調整用のゲインをかけることによりホワイトバランス調整を行う。ゲイン補正回路１２０及び１２２から出力された第１画像信号及び第２画像信号は、それぞれ合成処理回路１３０に出力される。
【００８３】
合成処理回路１３０は、主として高感度画像データ用の階調変換ＬＵＴ（Look-Up Table）１３２と、低感度画像データ用の階調変換ＬＵＴ１３４と、加算器１３６とから構成されている。
【００８４】
階調変換ＬＵＴ１３２及び１３４は、ここではＭ×１００％以下の６つのダイナミックレンジ（１００％、１３０％、１７０％、２３０％、３００％、４００％）にそれぞれ対応する６つの階調変換ＬＵＴからなり、不図示の操作部によって選択されたダイナミックレンジの拡大率に応じて６つの階調変換ＬＵＴの中から対応する階調変換ＬＵＴが選択される。
【００８５】
合成処理回路１３０に入力された第１画像信号及び第２画像信号は、それぞれ階調変換ＬＵＴ１３２及び１３４の中からダイナミックレンジの拡大率に基づいて選択された階調変換ＬＵＴにより階調変換され、加算器１３６に出力される。
【００８６】
加算器１３６は、階調変換ＬＵＴ１３２と１３４によって階調変換された第１画像信号及び第２画像信号を真数合成（加算）する。
【００８７】
図１７は、合成処理回路１３０により各ダイナミックレンジに応じて合成された合成後の画像データの信号レベルを示す図である。同図に示すように、各ダイナミックレンジに応じて合成された合成後の画像データの信号レベルの最大値はそれぞれ一致し、かつ輝度０から各ダイナミックレンジの最大輝度にわたって信号レベルは滑らかに変化するように合成される。すなわち、階調変換ＬＵＴ１３２及１３４は、図１７に示す合成結果が得られるような階調変換を行っている。
【００８８】
なお、ここでは、設定されたダイナミックレンジが１００％の場合には、第１画像信号及び第２画像信号を合成せずに第１画像信号のみを使用し、かつ第１画像信号の階調変換を行わないようにしている。したがって、階調変換ＬＵＴ１３２及び１３４は、ダイナミックレンジが１００％以外の５つのダイナミックレンジに対応する５つの階調変換ＬＵＴから構成される。
【００８９】
合成処理回路１３０の加算器１３６から出力された合成後のＲ，Ｇ，Ｂの点順次の画像信号は、同時化処理された後に輝度信号Ｙ，色差信号Ｃｒ，Ｃｂに変換される。輝度信号Ｙ及び色差信号Ｃｒ,Ｃｂは、記録部４０に記録され、表示部４２に表示され、及び／又は伝送部４４によって伝送される。
【００９０】
ここでは、ダイナミックレンジの拡大率は４００％を最大としているが、広角画像のダイナミックレンジはＭ×１００％、望遠画像のダイナミックレンジはＮ×１００％を最大とすることができる。
【００９１】
〔デジタルカメラの撮像方法〕
図１８は、デジタルカメラ１０による撮像方法の一例を示すフローチャートである。
【００９２】
デジタルカメラ１０の使用者は、不図示の操作部を用いて、デジタルカメラ１０の撮影モードを設定することができる。本実施形態では、広角・望遠同時撮影モード、広角ダイナミックレンジ拡大撮影モード、及び望遠ダイナミックレンジ拡大撮影モードから選択可能に構成されているものとする。
【００９３】
撮影モード選択・処理切替制御部４６は、ステップＳ１において、デジタルカメラ１０が設定された撮影モードを判断する。設定されている撮影モードが広角・望遠同時撮影モードである場合はステップＳ２に、広角ダイナミックレンジ拡大撮影モードである場合はステップＳ６に、望遠ダイナミックレンジ拡大撮影モードである場合はステップＳ１０に移行する。
【００９４】
広角・望遠同時撮影モードであると判断された場合は、ステップＳ２において、遮光シャッタ制御部４８は、第１液晶シャッタ５１及び第２液晶シャッタ５２を透過状態に設定する。
【００９５】
その後、ステップＳ３において使用者がレリーズボタン１３を押すことにより、撮像・画像取得部３２は、瞳選択センサ２４の第１センサ群２４ａから第１画像信号を取得し、第２センサ群２４ｂから第２画像信号を取得する（画像読み出し工程の一例）。
【００９６】
この第１画像信号及び第２画像信号はデジタル画像信号処理部３４に入力され、ステップＳ４において、混信低減処理部３６によって混信低減処理が施される。
【００９７】
第１画像信号及び第２画像信号の混信比率は、第１受光センサ２５ａ及び第２受光センサ２５ｂの感度の比率により決まる。第１画像信号のある画素の値をＴ１、第２画像信号の対応する画素（隣接する画素）の値をＷ１、これらの画素に混信が無い場合の真の画素の値をそれぞれＴ２、Ｗ２とすると、以下の式１及び式２が成り立つ。
【００９８】
Ｔ１＝（Ｍ×Ｔ２＋Ｗ２）／（Ｍ＋１）  …（式１）
Ｗ１＝（Ｔ２＋Ｎ×Ｗ２）／（Ｎ＋１）  …（式２）
この式１及び式２を用いて各画素のＴ２及びＷ２を求めることにより、混信を低減させた画像信号を取得することができる。
【００９９】
最後に、ステップＳ５において、上記のＴ２に基づいて広角画像を、Ｗ２に基づいて望遠画像を取得する（画像生成工程の一例）。
【０１００】
ステップＳ１において広角ダイナミックレンジ拡大撮影モードであると判断された場合は、ステップＳ６において、遮光シャッタ制御部４８は、第１液晶シャッタ５１を透過状態に設定し、第２液晶シャッタ５２を遮光状態に設定する（第１遮光制御工程の一例）。
【０１０１】
その後、ステップＳ７において使用者がレリーズボタン１３を押すことにより、撮像・画像取得部３２は、瞳選択センサ２４の第１センサ群２４ａから第１画像信号を取得し、第２センサ群２４ｂから第２画像信号を取得する。ここでは、第２液晶シャッタ５２が遮光状態であるため、望遠画像光Ｔは第１センサ群２４ａ及び第２センサ群２４ｂに入射しない。また、広角画像光Ｗは、第１センサ群２４ａにＭ／（Ｍ＋１）、第２センサ群２４ｂに１／（Ｍ＋１）の割合で受光される。
【０１０２】
第１センサ群２４ａから出力される第１画像信号及び第２センサ群２４ｂから出力される第２画像信号は、デジタル画像信号処理部３４に入力される。デジタル画像信号処理部３４のダイナミックレンジ拡大処理部３８は、ステップＳ８において、不図示の操作部によって選択されたダイナミックレンジ拡大率に応じて、第１画像信号及び第２画像信号にダイナミックレンジ拡大処理を施し、ステップＳ９において、ダイナミックレンジを拡大した広角画像を取得する（ダイナミックレンジ拡大処理工程の一例）。
【０１０３】
広角ダイナミックレンジ拡大撮影モードによれば、広角・望遠同時撮影モードにおける広角画像のダイナミックレンジのＭ倍のダイナミックレンジを有する広角画像（第３画像の一例）を取得することができる。また、Ｍ倍のダイナミックレンジを有する画像に限定されず、Ｍ倍以下のダイナミックレンジを有する広角画像を取得することができる。
【０１０４】
ステップＳ１において望遠ダイナミックレンジ拡大撮影モードであると判断された場合は、ステップＳ１０において、遮光シャッタ制御部４８は、第１液晶シャッタ５１を遮光状態に設定し、第２液晶シャッタ５２を透過状態に設定する。
【０１０５】
その後、ステップＳ１１において使用者がレリーズボタン１３を押すことにより、撮像・画像取得部３２は、瞳選択センサ２４の第１センサ群２４ａから第１画像信号を取得し、第２センサ群２４ｂから第２画像信号を取得する（画像読み出し工程の一例）。ここでは、第１液晶シャッタ５１が遮光状態であるため、広角画像光Ｗは第１センサ群２４ａ及び第２センサ群２４ｂに入射しない。また、望遠画像光Ｔは、第１センサ群２４ａに１／（Ｎ＋１）、第２センサ群２４ｂにＮ／（Ｎ＋１）の割合で受光される。
【０１０６】
第１センサ群２４ａから出力される第１画像信号及び第２センサ群２４ｂから出力される第２画像信号は、デジタル画像信号処理部３４に入力される。デジタル画像信号処理部３４のダイナミックレンジ拡大処理部３８は、ステップＳ１２において、不図示の操作部によって選択されたダイナミックレンジ拡大率に応じて、第１画像信号及び第２画像信号にダイナミックレンジ拡大処理を施し、ステップＳ１３において、ダイナミックレンジを拡大した望遠画像を取得する。
【０１０７】
望遠ダイナミックレンジ拡大撮影モードによれば、広角・望遠同時撮影モードにおける望遠画像のダイナミックレンジのＮ倍のダイナミックレンジを有する望遠画像（第４画像の一例）を取得することができる。また、Ｎ倍のダイナミックレンジを有する画像に限定されず、Ｎ倍以下のダイナミックレンジを有する望遠画像を取得することができる。
【０１０８】
各撮影モードによって取得された各画像は、記録部４０、表示部４２、伝送部４４によってそれぞれ記録、表示、及び／又は伝送することができる。
【０１０９】
ここでは、広角ダイナミックレンジ拡大撮影モードにおいてＭ倍以下のダイナミックレンジを有する広角画像を取得し、望遠ダイナミックレンジ拡大撮影モードにおいてＮ倍以下のダイナミックレンジを有する望遠画像を取得したが、Ｍ倍以下のダイナミックレンジを有する広角画像とＮ倍以下のダイナミックレンジを有する望遠画像とを使用者による一度のレリーズボタン１３の操作により撮影することも可能である。この場合は、第１液晶シャッタ５１及び第２液晶シャッタ５２の透過状態及び遮光状態を順次切り替えて撮影すればよい。
【０１１０】
また、ダイナミックレンジを拡大した広角画像とダイナミックレンジを拡大した望遠画像とを連続して交互に撮影し、広角画像の動画像と望遠画像の動画像とを撮影することも可能である。
【０１１１】
〔第２の実施形態〕
図１９は、第２の実施形態に係るデジタルカメラ１０の機能構成例を示すブロック図である。なお、図１５に示すブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【０１１２】
多様レンズ１１は、第１特性を有する不図示の第１光学系、第２特性を有する不図示の第２光学系、及び第３特性を有する不図示の第３光学系を有している。この第１光学系、第２光学系、及び第３光学系に対応させて、光の透過及び遮光を切り替えるための第１液晶シャッタ５１、第２液晶シャッタ５２、及び第３液晶シャッタ５３が配置されている。
【０１１３】
瞳選択センサ２４は、複数の受光センサが光の入射角に関して指向性を有する指向性センサである。瞳選択センサ２４は、第１多様レンズ瞳６１を介した光を選択的に受光する第１センサ群２４ａ、第２多様レンズ瞳６２を介した光を選択的に受光する第２センサ群２４ｂ、及び第３多様レンズ瞳６３を介した光を選択的に受光する第３センサ群２４ｃを備えている。
【０１１４】
第１液晶シャッタ５１、第２液晶シャッタ５２、及び第３液晶シャッタ５３が透過状態の場合は、多様レンズ１１の第１光学系に入射した第１の光は、第１光学系に対応する第１多様レンズ瞳６１を介して瞳選択センサ２４の第１センサ群２４ａによって受光される。同様に、第２光学系に入射した第２の光は、第２光学系に対応する第２多様レンズ瞳６２を介して第２センサ群２４ｂによって受光され、第３光学系に入射した第３の光は、第３光学系に対応する第３多様レンズ瞳６３を介して第３センサ群２４ｃによって受光される。
【０１１５】
このように、第１液晶シャッタ５１、第２液晶シャッタ５２、及び第３液晶シャッタ５３を透過状態とすることにより、第１特性の画像、第２特性の画像、及び第３特性の画像を同時に撮影することができる。
【０１１６】
また、瞳選択センサ２４には、第１センサ群２４ａ、第２センサ群２４ｂ、及び第３センサ群２４ｃに混信が生じている。ここでは、第１センサ群２４ａを構成する受光センサ、第２センサ群２４ｂを構成する受光センサ、及び第３センサ群２４ｃを構成する受光センサにおける感度の比率は、第１の光に対してはＭ１：Ｍ２：Ｍ３、第２の光に対してはＭ４：Ｍ５：Ｍ６、第３の光に対してはＭ７：Ｍ８：Ｍ９であるものとする。
【０１１７】
したがって、第１液晶シャッタ５１が透過状態、第２液晶シャッタ５２及び第３液晶シャッタ５３が遮光状態の場合は、第１特性の画像について、感度の比率がＭ１：Ｍ２：Ｍ３である３枚の画像を同時に撮影することができる。例えば、Ｍ１＝１００、Ｍ２＝１０、Ｍ３＝１の場合であれば、１００倍のダイナミックレンジ、又はそれ以下のダイナミックレンジを有する画像を取得することができる。
【０１１８】
また、第２液晶シャッタ５２が透過状態、第１液晶シャッタ５１及び第３液晶シャッタ５３が遮光状態の場合は、第２特性の画像について、感度の比率がＭ４：Ｍ５：Ｍ６である３枚の画像を同時に撮影することができ、感度の比率に応じてダイナミックレンジを拡大した第２特性の画像を取得することができる。
【０１１９】
同様に、第３液晶シャッタ５３が透過状態、第１液晶シャッタ５１及び第２液晶シャッタ５２が遮光状態の場合は、第３特性の画像について、感度の比率がＭ７：Ｍ８：Ｍ９である３枚の画像を同時に撮影することができ、感度の比率に応じてダイナミックレンジを拡大した第３特性の画像を取得することができる。
【０１２０】
このように、複数の瞳領域のうち特定の瞳領域を開状態とし、その他の瞳領域を閉状態とすることにより、開状態の瞳領域からの光に対する瞳選択センサ２４の各受光センサの感度差を利用して、開状態の瞳の像を合成し、広いダイナミックレンジの画像を取得することができる。
【０１２１】
〔第３の実施形態〕
図２０は、第３の実施形態に係るデジタルカメラ７０の機能構成例を示すブロック図である。なお、図１５に示すブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【０１２２】
デジタルカメラ７０は、光が入射する領域において一様な特性を有する撮影レンズ７１を備えている。また、撮影レンズ７１は、複数枚の絞り羽根により円形の絞り開口部を形成し、開口径を変更することにより瞳選択センサ２４へ入射する光量を調節する絞り７２を備えている。絞り７２の開口径の大きさは、絞り制御部７５によって制御される。
【０１２３】
瞳選択センサ２４は、複数の受光センサ２５が光の入射角に関して指向性を有する指向性センサであり、図４に示す瞳選択センサ２４と同様の構成を有している。
【０１２４】
また、デジタルカメラ７０は、デジタル画像信号処理部３４に精細画像生成部７６を備えている。精細画像生成部７６は、瞳選択センサ２４の第１センサ群２４ａから取得した第１画像信号及び第２センサ群２４ｂから取得した第２画像信号を画像内のそれぞれ異なる画素として並列に使用することにより、精細画像データを生成する。この精細画像データは、ダイナミックレンジ拡大処理部３８が生成するダイナミックレンジを拡大した画像データの解像度の２倍の解像度を有している。
【０１２５】
不図示の操作部により精細撮影モードに設定されると、絞り制御部７５は、絞り７２を開放状態に設定する。この場合、撮影レンズ７１の中央付近から入射した光は、第１レンズ瞳７３を介して瞳選択センサ２４の第１センサ群２４ａに入射し、撮影レンズ７１の中央付近の周辺から入射した光は、第２レンズ瞳７４を介して第２センサ群２４ｂに入射する。撮像・画像取得部３２は、第１センサ群２４ａから第１画像信号を取得し、第２センサ群２４ｂから第２画像信号を取得する。
【０１２６】
この第１画像信号及び第２画像信号はデジタル画像信号処理部３４に入力され、精細画像生成部７６によって精細画像データが生成される。
【０１２７】
このように、絞り７２が開放状態である場合には、第１センサ群２４ａと第２センサ群２４ｂとの両方の画像信号を並列に使用することにより、精細画像を取得することができる。
【０１２８】
次に、ダイナミックレンジ拡大撮影モードにおける動作について説明する。ここでは、第１レンズ瞳７３からの入射光に対する第１受光センサ２５ａと第２受光センサ２５ｂとの感度の比率がＭ：１であるものとする。
【０１２９】
不図示の操作部によりダイナミックレンジ拡大撮影モードに設定されると、絞り制御部７５は、絞り７２の開口径を絞り、第２レンズ瞳７４からの入射光を遮断する。したがって、瞳選択センサ２４には、第２レンズ瞳７４を介した光は入射しない。
【０１３０】
また、撮影レンズ７１への入射光のうち、第１レンズ瞳７３を介して瞳選択センサ２４に入射した光は、第１センサ群２４ａに入射するとともに、第２センサ群２４ｂに混信する。ここでは、瞳選択センサ２４は、第１レンズ瞳７３からの入射光に対する第１受光センサ２５ａと第２受光センサ２５ｂとの感度の比率がＭ：１である。したがって、入射光のＭ／（Ｍ＋１）は第１受光センサ２５ａに受光され、１／（Ｍ＋１）は第２受光センサ２５ｂに混信する。
【０１３１】
撮像・画像取得部３２は、瞳選択センサ２４の第１センサ群２４ａから第１画像信号を取得し、第２センサ群２４ｂから第２画像信号を取得する。この第１画像信号及び第２画像信号は、デジタル画像信号処理部３４に入力される。
【０１３２】
デジタル画像信号処理部３４のダイナミックレンジ拡大処理部３８は、不図示の操作部によって選択されたダイナミックレンジ拡大率に応じて、第１画像信号及び第２画像信号にダイナミックレンジ拡大処理を施す。
【０１３３】
このように、絞り７２の開口径を絞ることにより第２レンズ瞳７４に対応する入射光を遮断し、第１レンズ瞳７３に対応する入射光のみを入射させ、第１受光センサ２５ａと第２受光センサ２５ｂとに感度の比率に応じて受光させることにより、ダイナミックレンジを拡大した画像を取得することができる。
【０１３４】
ここでは、光が入射する領域において一様な特性を有する撮影レンズ７１を用いた例を説明したが、図２に示した多様レンズ１１を用いてもよい。多様レンズ１１を用いた場合は、絞り７２を開放状態とした場合は、広角画像と望遠画像とを同時に撮影することができ、絞り７２の開口径を絞り、第２光学系２２からの入射光を遮断状態とした場合は、広角画像のダイナミックレンジを拡大した画像を取得することができる。すなわち、第１光学系２１の撮像特性を有するダイナミックレンジを拡大した画像を取得することができる。
【０１３５】
本発明は、各受光センサが光の入射角に関して指向性を有する指向性センサを備える撮像系を用いて複数の画像を撮像可能な撮像装置、撮像方法及びそれらの応用技術に対して広く適用可能であり、その適用可能な技術分野は特に限定されない。例えば、ユーザ操作に応じて撮像を行う撮像装置だけではなく、自動的に撮像を行う撮像装置に対しても本発明は適用可能であり、また静止画を撮像する撮像装置だけではなく、動画を撮像する撮像装置に対しても本発明は適用可能である。
【０１３６】
撮像方法は、コンピュータに上記の各工程を実現させるためのプログラムとして構成し、当該プログラムのコンピュータ読み取り可能なコードを記憶したＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）等の非一時的記録媒体を構成することも可能である。
【０１３７】
本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
【符号の説明】
【０１３８】
１０  デジタルカメラ
１１  多様レンズ
１２  フラッシュ発光部
１３  レリーズボタン
１４  撮像部
２１  第１光学系
２１ａ  第１広角用レンズ
２１ｂ  第２広角用レンズ
２１ｃ  第３広角用レンズ
２１ｄ  第４広角用レンズ
２２  第２光学系
２２ａ  第１望遠用レンズ
２２ｂ  第１望遠用反射体
２２ｃ  第１望遠用反射ミラー
２２ｄ  第２望遠用反射体
２２ｅ  第２望遠用反射ミラー
２３  共通レンズ
２４  瞳選択センサ
２４ａ  第１センサ群
２４ｂ  第２センサ群
２４ｃ  第３センサ群
２５  受光センサ
２５ａ  第１受光センサ
２５ｂ  第２受光センサ
２６  マイクロレンズ
２７  中間層
２８  遮光マスク
２９  フォトダイオード
３２  撮像・画像取得部
３４  デジタル画像信号処理部
３６  混信低減処理部
３８  ダイナミックレンジ拡大処理部
４０  記録部
４２  表示部
４４  伝送部
４６  撮影モード選択・処理切替制御部
４８  遮光シャッタ制御部
５０  遮光部
５１  第１液晶シャッタ
５２  第２液晶シャッタ
５３  第３液晶シャッタ
６１  第１多様レンズ瞳
６２  第２多様レンズ瞳
６３  第３多様レンズ瞳
７０  デジタルカメラ
７１  撮影レンズ
７２  絞り
７３  第１レンズ瞳
７４  第２レンズ瞳
７５  絞り制御部
７６  精細画像生成部
１００  オフセット処理部
１０２  オフセット処理部
１１０  リニアマトリクス回路
１２０  ゲイン補正回路
１３０  合成処理回路
１３２  階調変換ＬＵＴ
１３４  階調変換ＬＵＴ
１３６  加算器
Ｃｒ  色差信号
Ｌ  光軸
Ｔ  望遠画像光
Ｗ  広角画像光
Ｙ  輝度信号
Ｓ１〜Ｓ１３  撮像方法
【図１】
0006633746.tif 000002
【図２】
0006633746.tif 000003
【図３】
0006633746.tif 000004
【図４】
0006633746.tif 000005
【図５】
0006633746.tif 000006
【図６】
0006633746.tif 000007
【図７】
0006633746.tif 000008
【図８】
0006633746.tif 000009
【図９】
0006633746.tif 000010
【図１０】
0006633746.tif 000011
【図１１】
0006633746.tif 000012
【図１２】
0006633746.tif 000013
【図１３】
0006633746.tif 000014
【図１４】
0006633746.tif 000015
【図１５】
0006633746.tif 000016
【図１６】
0006633746.tif 000017
【図１７】
0006633746.tif 000018
【図１８】
0006633746.tif 000019
【図１９】
0006633746.tif 000020
【図２０】
0006633746.tif 000021