(57)【要約】【課題】広い空間周波数領域にわたって低ノイズな画像を提供すること。【解決手段】撮像モジュールは、第１撮像系と、第１空間周波数領域での応答が第１撮像系より低く、第１空間周波数領域より高い第２空間周波数領域での応答が第１撮像系より高い第２撮像系と、第１撮像系により撮像された被写体の画像の第１空間周波数領域における空間周波数成分と、第２撮像系により撮像された被写体の画像の第２空間周波数領域における空間周波数成分とを用いて、被写体の画像を生成する画像生成部とを備える。【選択図】図１
2012044443.tif 000002
【特許請求の範囲】
【請求項１】
第１撮像系と、
第１空間周波数領域での応答が前記第１撮像系より低く、前記第１空間周波数領域より高い第２空間周波数領域での応答が前記第１撮像系より高い第２撮像系と、
前記第１撮像系により撮像された被写体の画像の第１空間周波数領域における空間周波数成分と、前記第２撮像系により撮像された前記被写体の画像の第２空間周波数領域における空間周波数成分とを用いて、前記被写体の画像を生成する画像生成部と
を備える撮像モジュール。
【請求項２】
前記第１撮像系は、第１光学系を有し、
前記第２撮像系は、前記第１空間周波数領域での光学応答が前記第１光学系より低く、前記第２空間周波数での光学応答が前記第１光学系より高い第２光学系を有する
請求項１に記載の撮像モジュール。
【請求項３】
前記第１光学系および前記第２光学系は、それぞれ瞳面で光透過率分布を与える光学フィルタを有し、
前記第１光学系が有する第１光学フィルタは、瞳面の周辺領域よりも中央領域で高い光透過率を持ち、
前記第２光学系が有する第２光学フィルタは、瞳面の中央領域よりも周辺領域において高い光透過率を持つ
請求項２に記載の撮像モジュール。
【請求項４】
前記第１光学系は、第１レンズを有し、
前記第２光学系は、前記第１レンズより有効口径が大きい第２レンズを有する
請求項２または３に記載の撮像モジュール。
【請求項５】
前記第１光学系は、第１レンズを有し、
前記第２光学系は、前記第１レンズより倍率が大きい第２レンズを有する
請求項２または３に記載の撮像モジュール。
【請求項６】
前記第１撮像系は、前記被写体からの光を前記第１光学系を通じて受光する複数の撮像素子を含む第１受光部を有し、
前記第２撮像系は、前記被写体からの光を前記第２光学系を通じて受光する複数の撮像素子を含む第２受光部を有し、
前記第１受光部が含む前記複数の撮像素子は、前記第２受光部が含む前記複数の撮像素子より低いピッチで配列される
請求項２から５のいずれかに記載の撮像モジュール。
【請求項７】
前記第１撮像系は、前記被写体からの光を前記第１光学系を通じて受光する複数の撮像素子を含む第１受光部を有し、
前記第２撮像系は、前記被写体からの光を前記第２光学系を通じて受光する複数の撮像素子を含む第２受光部を有し、
前記撮像モジュールは、
前記第１受光部が含む前記複数の撮像素子から、前記第２受光部が含む前記複数の撮像素子よりも低い読み出しピッチで読み出しする読み出し部
をさらに備える請求項２から５のいずれかに記載の撮像モジュール。
【請求項８】
前記第１受光部および前記第２受光部がそれぞれ有する前記複数の撮像素子は、同一平面上に設けられる
請求項６または７に記載の撮像モジュール。
【請求項９】
前記画像生成部は、
前記第１撮像系および前記第２撮像系のそれぞれの撮像光軸の位置に基づいて、前記第１撮像系と前記第２撮像系とで同一被写体が撮像されるべき画像領域を特定する対応領域特定部と、
前記画像領域毎に、前記第１撮像系により撮像された前記被写体の画像の前記第１空間周波数領域における空間周波数成分および前記第２撮像系により撮像された前記被写体の画像の第２空間周波数領域における空間周波数成分を合成することにより、前記被写体の画像を生成する画像合成部と
を有する請求項１から８のいずれかに記載の撮像モジュール。
【請求項１０】
請求項１から９のいずれかに記載の撮像モジュールを備え、前記撮像モジュールにより前記被写体を撮像する撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像モジュールおよび撮像装置に関する。
【背景技術】
【０００２】
複数の結像系を持ち、結像系の光軸からの距離が大きくなるにしたがい透過率が小さくなる光学フィルターを備える撮像装置が知られている（例えば、特許文献１参照。）。また、空間周波数特性の異なる２つの光学ＬＰＦをそれぞれ通じて被写体の像を２回撮像する技術が知られている（例えば、特許文献２参照。）。
特許文献１  特開２００１−７８２１４号公報
特許文献２  特開平９−１１６９１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
撮像装置としては、広い空間周波数領域にわたって低ノイズな画像を提供できることが望ましい。ＭＴＦが低い空間周波数領域の周波数成分をデジタル処理で増幅しても、ノイズも増幅されてしまうので、広い空間周波数領域にわたって低ノイズな画像を提供することができない、という課題があった。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の態様においては、撮像モジュールであって、第１撮像系と、第１空間周波数領域での応答が第１撮像系より低く、第１空間周波数領域より高い第２空間周波数領域での応答が第１撮像系より高い第２撮像系と、第１撮像系により撮像された被写体の画像の第１空間周波数領域における空間周波数成分と、第２撮像系により撮像された被写体の画像の第２空間周波数領域における空間周波数成分とを用いて、被写体の画像を生成する画像生成部とを備える。
【０００５】
第１撮像系は、第１光学系を有し、第２撮像系は、第１空間周波数領域での光学応答が第１光学系より低く、第２空間周波数での光学応答が第１光学系より高い第２光学系を有してよい。
【０００６】
第１光学系および第２光学系は、それぞれ瞳面で光透過率分布を与える光学フィルタを有し、第１光学系が有する第１光学フィルタは、瞳面の周辺領域よりも中央領域で高い光透過率を持ち、第２光学系が有する第２光学フィルタは、瞳面の中央領域よりも周辺領域において高い光透過率を持ってよい。
【０００７】
第１光学系は、第１レンズを有し、第２光学系は、第１レンズより有効口径が大きい第２レンズを有してよい。
【０００８】
第１光学系は、第１レンズを有し、第２光学系は、第１レンズより倍率が大きい第２レンズを有してよい。
【０００９】
第１撮像系は、被写体からの光を第１光学系を通じて受光する複数の撮像素子を含む第１受光部を有し、第２撮像系は、被写体からの光を第２光学系を通じて受光する複数の撮像素子を含む第２受光部を有し、第１受光部が含む複数の撮像素子は、第２受光部が含む複数の撮像素子より低いピッチで配列されてよい。
【００１０】
第１撮像系は、被写体からの光を第１光学系を通じて受光する複数の撮像素子を含む第１受光部を有し、第２撮像系は、被写体からの光を第２光学系を通じて受光する複数の撮像素子を含む第２受光部を有し、撮像モジュールは、第１受光部が含む複数の撮像素子から、第２受光部が含む複数の撮像素子よりも低い読み出しピッチで読み出しする読み出し部をさらに備えてよい。
【００１１】
第１受光部および第２受光部がそれぞれ有する複数の撮像素子は、同一平面上に設けられてよい。
【００１２】
画像生成部は、第１撮像系および第２撮像系のそれぞれの撮像光軸の位置に基づいて、第１撮像系と第２撮像系とで同一被写体が撮像されるべき画像領域を特定する対応領域特定部と、画像領域毎に、第１撮像系により撮像された被写体の画像の第１空間周波数領域における空間周波数成分および第２撮像系により撮像された被写体の画像の第２空間周波数領域における空間周波数成分を合成することにより、被写体の画像を生成する画像合成部とを有してよい。
【００１３】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【００１４】
【図１】撮像装置１００の構成の一例を模式的に示す図である。
【図２】第１光学フィルタ１１４および第２光学フィルタ１２４による光透過率分布の一例を示す図である。
【図３】第１光学系１１５および第２光学系１２５のＭＴＦの一例を示す図である。
【図４】画像生成部１５０のブロック構成の一例を示す図である。
【図５】周波数フィルタ部４１０におけるフィルタ処理の一例を示す図である。
【図６】各撮像系で撮像された画像に対する画像処理の一例を示す図である。
【図７】レンズ配置の他の一例を示す図である。
【図８】物体側から見た受光部８０９の構成の一例を示す図である。
【発明を実施するための形態】
【００１５】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１６】
図１は、撮像装置１００の構成の一例を模式的に示す。本実施形態に係る撮像装置１００は、比較的に広い空間周波数領域にわたって低ノイズな画像を提供することを目的とする。撮像装置１００は、第１撮像系１０１、第２撮像系１０２、読み出し部１４０、画像生成部１５０、および、記録部１８０を備える。第１撮像系１０１、第２撮像系１０２、読み出し部１４０、および、画像生成部１５０は、撮像装置１００に組み込まれる撮像モジュールとして機能する。
【００１７】
第１撮像系１０１の撮像光軸は、第２撮像系の撮像光軸と平行であるとする。第２撮像系１０２は、撮像光軸に垂直な面内で、第１撮像系１０１とは撮像光軸の位置を異ならせて設けられる。本実施形態では、撮像光軸に沿う方向をｚ軸方向とした場合に、第２撮像系１０２の撮像光軸は、第１撮像系１０１の撮像光軸に対してｘ方向に離間して設けられるとする。
【００１８】
第２撮像系１０２は、第１撮像系１０１とは異なる空間周波数応答を持つ。具体的には、第２撮像系１０２は、第１空間周波数領域での応答が第１撮像系１０１より低く、第１空間周波数領域より高い第２空間周波数領域での応答が第１撮像系１０１より高い。空間周波数領域での応答は、一例としてＭＴＦを指標とすることができる。撮像装置１００によると、第１撮像系１０１に加えて第２撮像系１０２を備えるので、第１撮像系１０１が撮像した画像と第２撮像系１０２が撮像した画像とを組み合わせて被写体の画像を生成することができる。このため、第２撮像系１０２を備えない場合と比較して、比較的に広い空間周波数領域にわたって低ノイズな画像を提供することができる。
【００１９】
第１撮像系１０１は、第１光学系１１５および第１受光部１１９を有する。第１光学系１１５は、第１レンズ１１０、第１絞り部１１２、および、第１光学フィルタ１１４を持つ。第１受光部１１９は、第１カラーフィルタアレイ１１６および第１撮像素子アレイ１１８を持つ。
【００２０】
第１レンズ１１０は、結像レンズであり、被写体からの光である被写体光を第１受光部１１９に結像する。第１絞り部１１２は、第１光学系１１５を通過する光の量を調整する。第１光学系１１５を通過する光は、第１絞り部１１２の開口部を通過するものに制限される。
【００２１】
第１光学フィルタ１１４は、瞳面での光透過率に分布を与える。第１光学系１１５を通過する光は、第１レンズ１１０、第１絞り部１１２および第１光学フィルタ１１４を通過して第１受光部１１９に結像される。
【００２２】
第１カラーフィルタアレイ１１６は、予め定められた波長域の光をそれぞれ通過する複数のカラーフィルタを含む。第１カラーフィルタアレイ１１６は、複数のカラーフィルタがマトリクス状に配列されて形成される。例えば、第１カラーフィルタアレイ１１６は、赤色の波長域に属するＲ光を選択的に透過するＲ光フィルタ、緑色の波長域に属するＧ光を選択的に透過するＧ光フィルタ、青色の波長域に属するＢ光を選択的に透過するＢ光フィルタが、予め定められたパターンでマトリクス状に配列されて形成される。
【００２３】
第１撮像素子アレイ１１８は、被写体からの光を第１光学系１１５を通じて受光する複数の撮像素子を含む。第１撮像素子アレイ１１８が含む複数の撮像素子は、第１カラーフィルタアレイ１１６が含む複数のカラーフィルタに対応して設けられる。各撮像素子は、第１カラーフィルタアレイ１１６に入射した被写体光のうち、対応するカラーフィルタを透過した特定の波長域の光を受光する。各撮像素子は、受光した光の量に応じた強度の撮像信号を出力する。
【００２４】
第２撮像系１０２は、第２光学系１２５および第２受光部１２９を有する。第２光学系１２５は、第２レンズ１２０、第２絞り部１２２、および、第２光学フィルタ１２４を持つ。第２受光部１２９は、第２カラーフィルタアレイ１２６および第２撮像素子アレイ１２８を持つ。
【００２５】
第２撮像系１０２が有する光学要素のうち、第２レンズ１２０、第２絞り部１２２、第２カラーフィルタアレイ１２６、および、第２撮像素子アレイ１２８は、それぞれ第１レンズ１１０、第１絞り部１１２、第１カラーフィルタアレイ１１６、および、第１撮像素子アレイ１１８と略同一の特性を持つとする。
【００２６】
一方、第２光学フィルタ１２４は、第２光学系１２５の瞳面において、第１光学フィルタ１１４が第１光学系１１５の瞳面に与える光透過率分布とは異なる光透過率分布を与える。第１光学フィルタ１１４および第２光学フィルタ１２４のそれぞれによるアポダイゼーションによって、第１撮像系１０１と第２撮像系１０２とは互いに異なる空間周波数応答を持つ。
【００２７】
第２撮像系が有する光学要素について説明する。第２レンズ１２０は、結像レンズであり、被写体からの光である被写体光を第２受光部１２９に結像する。第２絞り部１２２は、第２光学系１２５を通過する光の量を調整する。第２光学系１２５を通過する光は、第２絞り部１２２の開口部を通過するものに制限される。
【００２８】
第２光学フィルタ１２４は、瞳面での光透過率に分布を与える。第２光学系１２５を通過する光は、第２レンズ１２０、第２絞り部１２２および第２光学フィルタ１２４を通過して第２受光部１２９に結像される。
【００２９】
第２カラーフィルタアレイ１２６は、予め定められた波長域の光をそれぞれ通過する複数のカラーフィルタを含む。第２カラーフィルタアレイ１２６は、複数のカラーフィルタがマトリクス状に配列されて形成される。例えば、第２カラーフィルタアレイ１２６は、赤色の波長域に属するＲ光を選択的に透過するＲ光フィルタ、緑色の波長域に属するＧ光を選択的に透過するＧ光フィルタ、青色の波長域に属するＢ光を選択的に透過するＢ光フィルタが、予め定められたパターンでマトリクス状に配列されて形成される。
【００３０】
第２撮像素子アレイ１２８は、被写体からの光を第２光学系１２５を通じて受光する複数の撮像素子を含む。第２撮像素子アレイ１２８が含む複数の撮像素子は、第２カラーフィルタアレイ１２６が含む複数のカラーフィルタに対応して設けられる。各撮像素子は、第２カラーフィルタアレイ１２６に入射した被写体光のうち、対応するカラーフィルタを透過した特定の波長域の光を受光する。各撮像素子は、受光した光の量に応じた強度の撮像信号を出力する。
【００３１】
第１光学フィルタ１１４と第２光学フィルタ１２４との光透過特性の相違について説明する。第１光学系１１５が有する第１光学フィルタ１１４は、瞳面の周辺領域よりも中央領域で高い光透過率を持つ。一方、第２光学系１２５が有する第２光学フィルタ１２４は、瞳面の中央領域よりも周辺領域において高い光透過率を持つ。
【００３２】
上述したように、第１レンズ１１０と第２レンズ１２０とは略同一の特性を持ち、第１絞り部１１２と第２絞り部１２２とは略同一の特性を持つ。例えば、第１レンズ１１０と第２レンズ１２０とは、略等しい結像特性を持つとする。また、第１絞り部１１２および第２絞り部１２２は、開口の大きさおよび形状が略等しいとする。したがって、第１光学系１１５と第２光学系１２５との間の空間周波数応答の相違は、第１光学フィルタ１１４による光透過率分布と第２光学フィルタ１２４による光透過率分布の相違により、もたらされる。
【００３３】
また、上述したように、第１カラーフィルタアレイ１１６と第２カラーフィルタアレイ１２６とは略同一の特性を持ち、第１撮像素子アレイ１１８と第２撮像素子アレイ１２８とは略同一の特性を持つ。例えば、第１撮像素子アレイ１１８が有する複数の撮像素子は、第２撮像素子アレイ１２８が有する複数の撮像素子と略同一のピッチで配列されるとする。同様に、第１カラーフィルタアレイ１１６が有する複数のカラーフィルタは、第２カラーフィルタアレイ１２６が有する複数のカラーフィルタと略同一のピッチで配列されるとする。また、各色の光を透過するカラーフィルタの配列パターンも、第１カラーフィルタアレイ１１６と第２カラーフィルタアレイ１２６とで同じであるとする。したがって、第１撮像系１０１と第２撮像系１０２との間の空間周波数応答の相違も、第１光学フィルタ１１４と第２光学フィルタ１２４との間の光透過率分布の相違により、もたらされる。
【００３４】
ここで、第１受光部１１９および第２受光部１２９がそれぞれ有する複数の撮像素子は、同一平面上に設けられる。例えば、第１撮像素子アレイ１１８が有する複数の撮像素子、および、第２撮像素子アレイ１２８が有する複数の撮像素子は、同一基板上に形成される。例えば、第１撮像素子アレイ１１８が有する複数の撮像素子、および、第２撮像素子アレイ１２８が有する複数の撮像素子は、同一プロセスで同一基板の一面に同時に形成される。また、第１カラーフィルタアレイ１１６が有する複数のカラーフィルタおよび第２カラーフィルタアレイ１２６が有する複数のカラーフィルタも、対応する撮像素子の上部に同一プロセスで同時に形成される。これにより、第１受光部１１９および第２受光部１２９が一体に含む１つの受光部１０９が製造される。第１受光部１１９の撮像面および第２受光部１２９の撮像面は、受光部１０９が持つ撮像面の部分領域となる。なお、第１撮像素子アレイ１１８および第１カラーフィルタアレイ１１６を持つ第１受光部１１９と、第２撮像素子アレイ１２８および第２カラーフィルタアレイ１２６を持つ第２受光部１２９とは、互いに別個に製造して組み付けられてもよい。
【００３５】
第１受光部１１９が含む複数の撮像素子、および、第２受光部１２９が含む複数の撮像素子が実質的に同時に露光される。各撮像素子が露光されると、読み出し部１４０は、第１受光部１１９が含む複数の撮像素子、および、第２受光部１２９が含む複数の撮像素子から、撮像信号を読み出す。読み出し部１４０は、第１受光部１１９および第２受光部１２９が有する複数の撮像素子と同一基板上に形成された読み出し回路を有してよい。当該読み出し回路は、複数の第１撮像系１０１および第２撮像系１０２に対して１つ設けられ、１つの読み出し回路が第１受光部１１９および第２受光部１２９がそれぞれ含む複数の撮像素子から、撮像信号を順次に読み出してよい。なお、当該読み出し回路は、複数の第１撮像系１０１および第２撮像系１０２に対してそれぞれ別個に設けられてよい。
【００３６】
第１受光部１１９が含む複数の撮像素子、および、第２受光部１２９が含む複数の撮像素子は、ＭＯＳ型撮像素子であってよい。各撮像素子が同一プロセスで同一基板の一面に形成されたＭＯＳ型撮像素子である場合、読み出し部１４０は、第１光学系１１５を通過した被写体光が入射する撮像面に形成された撮像素子と、第２光学系１２５を通過した被写体光が入射する撮像面に形成された撮像素子とから、部分読み出しをすることができる。第１受光部１１９が含む複数の撮像素子、および、第２受光部１２９が含む複数の撮像素子は、ＭＯＳ型撮像素子の他、ＣＣＤ型撮像素子などの固体撮像素子で実装することもできる。
【００３７】
読み出し部１４０が読み出した撮像信号は、画像生成部１５０に供給される。第１受光部１１９が含む複数の撮像素子から読み出した撮像信号は、第１撮像系１０１により撮像された被写体の画像を示す。第２受光部１２９が含む複数の撮像素子から読み出した撮像信号は、第２撮像系１０２により撮像された被写体の画像を示す。画像生成部１５０は、第１撮像系１０１により撮像された被写体の画像の第１空間周波数領域における空間周波数成分と、第２撮像系１０２により撮像された被写体の画像の第２空間周波数領域における空間周波数成分とを用いて、被写体の画像を生成する。
【００３８】
具体的には、画像生成部１５０は、第１撮像系１０１により撮像された被写体の画像から第１空間周波数領域における空間周波数成分を抽出する。また、画像生成部１５０は、第２撮像系１０２により撮像された被写体の画像から、第２空間周波数領域における空間周波数成分を抽出する。そして、画像生成部１５０は、抽出した第１空間周波数領域における空間周波数成分と第２空間周波数領域における空間周波数成分とを、空間周波数領域で合成する。
【００３９】
画像生成部１５０は、当該空間周波数領域での合成により得られた空間周波数領域の画像信号を、被写体の画像として記録部１８０に出力してよい。他にも、画像生成部１５０は、当該空間周波数領域の画像信号を空間領域の画像信号に変換して、得られた空間領域の画像信号を、被写体の画像として記録部１８０に出力してもよい。記録部１８０は、画像生成部１５０が生成した画像を記録する。
【００４０】
記録部１８０は、画像生成部１５０から供給された画像を、不揮発性メモリに記録してよい。当該不揮発性メモリは、記録部１８０が有してよい。また、当該不揮発性メモリは、撮像装置１００に対して着脱可能に設けられた外部メモリであってよい。
【００４１】
撮像装置１００は、カメラ機能付きの携帯電話、デジタルカメラなどの撮像機器であってよい。第１撮像系１０１、第２撮像系１０２、読み出し部１４０、および、画像生成部１５０を有する撮像モジュールは、これらの撮像機器用のカメラモジュールとして提供することができる。
【００４２】
撮像装置１００によれば、比較的に低い空間周波数領域で高いＭＴＦを第１撮像系１０１と、比較的に高い空間周波数領域で高いＭＴＦを持つ撮像信号を提供する第２撮像系１０２とを備える。そして、第１撮像系１０１が出力した撮像信号のうちの比較的に低い空間周波数領域の成分と、第２撮像系１０２が出力した撮像信号の比較的に高い空間周波数領域の成分とを用いて被写体の画像信号を生成する。
【００４３】
仮に一の撮像系で得られた撮像信号から被写体の画像を生成する場合、ＭＴＦが比較的に低い周波数領域の撮像信号を強調するデジタル処理をするとノイズも一緒に強調されてしまう。このため、ＳＮ比の高い画像を得ることができず、解像力の高い画像を提供することができない場合がある。一方、撮像装置１００によると、第１撮像系１０１と、第１撮像系１０１と比較して高周波数領域で高い応答を持つ第２撮像系１０２とを備えるので、上記の強調処理の程度を低減でき、場合によっては強調処理を施さなくてもよくなる。このため、撮像装置１００によると、ＳＮ比が高く、解像力の高い画像を提供することができる。
【００４４】
図２は、第１光学フィルタ１１４および第２光学フィルタ１２４による光透過率分布の一例を示す。ここではｘ軸方向の光透過率分布を一例として示す。ｘ軸の原点は、撮像光軸の位置に対応する。
【００４５】
第１光学フィルタ１１４による瞳面での光透過率分布２１０は、上に凸の分布を持つ。例えば、光透過率は、撮像光軸の位置で極大値を持ち、周辺に向かって単調に低下する。また、光透過率分布２１０は、撮像光軸の位置に対して対称な形を持つ。第２光学フィルタ１２４による瞳面での光透過率分布２２０は、下に凸の分布を持つ。光透過率は、撮像光軸の位置で極小値を持ち、周辺に向かって単調に増加する。また、光透過率分布２２０は、撮像光軸の位置に対して対称な形を持つ。このため、第２光学系１２５は、第１光学系１１５と比較して、比較的に高い空間周波数領域で高いＭＴＦを持つことができる。
【００４６】
図３は、第１光学系１１５および第２光学系１２５のＭＴＦの一例を示す。ここでは、ｘ方向の空間周波数成分に対するＭＴＦの依存性を示す。本図で示すＭＴＦは、特定の物体位置からの光についてのＭＴＦとする。
【００４７】
第１光学系１１５は、空間周波数が０より大きくｆ１より低い第１空間周波数領域で、第２光学系１２５より高いＭＴＦ３１０を持つ。このため、第１撮像系１０１は、第１空間周波数領域では、第２撮像系１０２よりもＳＮ比が高い撮像信号を生成することができる。
【００４８】
一方、第２光学系１２５は、空間周波数ｆ１より高い第２空間周波数領域で、第１光学系１１５より高いＭＴＦ３２０を持つ。このため、第２撮像系１０２は、第２空間周波数領域では、第１撮像系１０１よりもＳＮ比が高い撮像信号を生成することができる。また、第２光学系１２５は、第２空間周波数領域では、第１光学系１１５よりも解像力が高い光学系であるとみなすことができる。このように、第２光学系１２５は、第１空間周波数領域での光学応答が第１光学系１１５より低く、第２空間周波数での光学応答が第１光学系１１５より高い。
【００４９】
なお、図２および図３において、説明を分かり易くすることを目的として、光透過率分布およびＭＴＦの一例を模式的に示した。第１光学フィルタ１１４および第２光学フィルタ１２４による光透過率特性、ならびに、第１光学系１１５および第２光学系１２５のＭＴＦ特性は、図示された特性に限られない。第２光学系１２５のＭＴＦを、第１光学系１１５のＭＴＦより特定空間周波数領域で低く、かつ、当該特定空間周波数領域とは異なる空間周波数領域で高くすべく、第１光学フィルタ１１４および第２光学フィルタ１２４による光透過率特性を設計すればよい。
【００５０】
ところで、同一の光学系においても、物点までの距離によってＭＴＦは異なる。このため、第１光学系１１５と第２光学系１２５とでＭＴＦが一致する空間周波数ｆ１は、物点までの距離によって異なる場合がある。空間周波数ｆ１が物点までの距離によって異なる場合、画像生成部１５０は、物点までの距離に応じて、抽出する空間周波数領域を適切に選択することが好ましい。また、同一の光学系においても、光軸から物点までの距離によっても、ＭＴＦが異なる場合がある。光軸から物点までの距離は、像側では画像領域に対応する。したがって、画像生成部１５０は、物点までの距離および画像領域の少なくとも一方に応じて、抽出する空間周波数領域を適切に選択することが好ましい。
【００５１】
図４は、画像生成部１５０のブロック構成の一例を示す。画像生成部１５０は、周波数フィルタ部４１０、画像合成部４２０、および、対応領域特定部４３０を有する。周波数フィルタ部４１０は、低域フィルタ部４１１および高域フィルタ部４１２を含む。
【００５２】
周波数フィルタ部４１０には、読み出し部１４０から撮像信号が供給される。このうち、第１撮像系１０１が出力した撮像信号が、低域フィルタ部４１１に供給される。低域フィルタ部４１１は、第１撮像系１０１が出力した撮像信号から第１空間周波数領域の周波数成分を抽出して、画像合成部４２０に供給する。高域フィルタ部４１２には、第２撮像系１０２が出力した撮像信号が供給される。高域フィルタ部４１２は、第２撮像系１０２が出力した撮像信号から第２空間周波数領域の周波数成分を抽出して、画像合成部４２０に供給する。
【００５３】
画像合成部４２０は、低域フィルタ部４１１が抽出した空間周波数領域の信号と、高域フィルタ部４１２が抽出した空間周波数領域の信号とを合成して、１つの画像に相当する画像信号を生成する。画像合成部４２０は、生成した画像信号を記録部１８０に出力する。
【００５４】
ここで、上述したように、第１撮像系１０１と第２撮像系１０２とは撮像光軸が離間して設けられる。このため、第１撮像系１０１および第２撮像系１０２は互いに異なる視点から同一被写体を撮像することとなる。このため、いわゆる視差により像ズレが生じるので、同一被写体であってもその像位置は完全には一致しない。各画像領域の像ズレ量は、第１撮像系１０１と第２撮像系１０２との間の離間距離、および、被写体までの距離に応じて実質的に定まる。このため、像ズレ量が特定されれば、特定した像ズレ量と、第１撮像系１０１および第２撮像系１０２の間の離間距離とに基づいて、被写体までの距離を画像領域毎に特定することができる。
【００５５】
対応領域特定部４３０は、第１撮像系１０１および第２撮像系１０２のそれぞれの撮像光軸の位置に基づいて、第１撮像系１０１と第２撮像系１０２とで同一被写体が撮像されるべき画像領域を特定する。具体的には、対応領域特定部４３０は、読み出し部１４０から出力された撮像信号が示すそれぞれの画像の画像内容から、同一被写体が撮像された領域である対応領域を特定する。より具体的には、対応領域特定部４３０は、画像間の対応点マッチングにより対応点を特定することにより、対応領域を特定することができる。対応領域特定部４３０は、特定した対応領域を示す情報を、画像合成部４２０に供給する。画像合成部４２０は、対応領域特定部４３０が特定した対応領域毎に、第１撮像系１０１により撮像された被写体の画像の第１空間周波数領域における空間周波数成分および第２撮像系１０２により撮像された被写体の画像の第２空間周波数領域における空間周波数成分を合成することにより、被写体の画像を生成する。これにより、画像合成部４２０は、いわゆる一視点からの画像、すなわち、視差が実質的に解消された画像を生成することができる。
【００５６】
ところで、画像間での対応領域の位置の差または対応点の位置の差は、像ズレ量に対応する。したがって、対応領域特定部４３０は、特定した対応領域の位置の差または対応点の位置の差、および、第１撮像系１０１および第２撮像系１０２のそれぞれの撮像光軸の位置に基づいて、被写体までの距離を画像領域毎に特定することができる。対応領域特定部４３０は、画像領域毎に特定した被写体までの距離を示す距離情報を、周波数フィルタ部４１０に供給する。周波数フィルタ部４１０は、画像領域毎に特定された被写体までの距離に応じて、第１空間周波数領域および第２空間周波数領域を適切に選択する。空間周波数領域の選択については、後述する。
【００５７】
なお、上述したように各画像領域の像ズレ量は、第１撮像系１０１と第２撮像系１０２との間の離間距離、および、被写体までの距離に相関するので、被写体までの距離が特定されれば、像ズレ量を特定することができる。そして、対応領域は、像ズレ量によって特定される。対応領域特定部４３０は、上記の対応点マッチングにより対応領域を直接特定することの他、第１撮像系１０１および第２撮像系１０２のそれぞれの撮像光軸の位置と測距情報とに基づき、対応領域を特定してよい。測距情報は、例えば撮像装置１００が備える外部の測距デバイスから取得してもよい。
【００５８】
図５は、周波数フィルタ部４１０における周波数フィルタ処理の一例を示す。低域フィルタ部４１１は、第１撮像系１０１が出力した撮像信号に対して、空間周波数ｆ１に基づいて周波数領域でフィルタ処理を施す。具体的には、低域フィルタ部４１１は、第１撮像系１０１が出力した撮像信号を空間周波数領域の信号に変換する。例えば、本図の（ａ）で示される空間周波数領域の信号が、撮像信号から得られたとする。低域フィルタ部４１１は、得られた空間周波数領域の信号のうち、空間周波数ｆ１より高い空間周波数領域の信号成分をカットして、空間周波数ｆ１以下の空間周波数領域Ａの空間周波数成分を通過させ、画像合成部４２０に出力する。
【００５９】
高域フィルタ部４１２は、第２撮像系１０２が出力した撮像信号に対して、空間周波数ｆ１に基づいて周波数領域でフィルタ処理を施す。具体的には、高域フィルタ部４１２は、第２撮像系１０２が出力した撮像信号を空間周波数領域の信号に変換する。例えば、本図の（ｂ）で示される空間周波数領域の信号が、撮像信号から得られたとする。高域フィルタ部４１２は、得られた空間周波数領域の信号のうち、空間周波数ｆ１以下の空間周波数領域の信号成分をカットして、空間周波数ｆ１より高い空間周波数領域Ｂの空間周波数成分を通過して、画像合成部４２０に出力する。
【００６０】
上述したように、空間周波数ｆ１の値は、物点までの距離または画像領域によって異なる場合がある。したがって、周波数フィルタ部４１０は、被写体までの距離、または、被写体までの距離および画像領域に応じて、周波数フィルタ処理を制御する。
【００６１】
具体的には、周波数フィルタ部４１０は、被写体までの距離に対応づけて、複数の空間周波数ｆ１の値を予め記憶している。対応領域特定部４３０から供給された画像領域毎の距離情報に基づいて、空間周波数ｆ１の値を画像領域毎に決定する。例えば、周波数フィルタ部４１０は、複数の画像領域のそれぞれについて、予め記憶している複数の空間周波数ｆ１のうち、距離情報が示す被写体までの距離に最も近い距離に対応づけられた空間周波数ｆ１の値を、特定する。低域フィルタ部４１１および高域フィルタ部４１２は、特定された空間周波数ｆ１の値によって定まる空間周波数領域Ａを画像領域毎に選択して、撮像信号に対してフィルタ処理を施す。これにより、物点までの距離に応じて適切に空間周波数領域Ａを選択して合成に用いることができる。
【００６２】
また、周波数フィルタ部４１０は、複数の画像領域のそれぞれに対して、被写体までの距離に対応づけて複数の空間周波数ｆ１の値を予め記憶していてよい。そして、周波数フィルタ部４１０は、画像領域毎の距離情報に基づいて、空間周波数ｆ１の値を画像領域毎に決定する。例えば、周波数フィルタ部４１０は、複数の画像領域のそれぞれについて、それぞれの画像領域に対して予め記憶している複数の空間周波数ｆ１のうち、被写体までの距離に最も近い距離に対応づけられた空間周波数ｆ１の値を、特定する。低域フィルタ部４１１および高域フィルタ部４１２は、特定された空間周波数ｆ１の値によって定まる空間周波数領域Ａを画像領域毎に選択して、撮像信号に対してフィルタ処理を施す。これにより、物点までの距離および画像領域に応じて適切に空間周波数ｆ１を選択して合成に用いることができる。
【００６３】
図６は、第１撮像系１０１および第２撮像系１０２で撮像された画像に対する画像処理の一例を示す。ここでは、撮像装置１００から被写体を見た場合に、第１撮像系１０１は第２撮像系１０２の右方に位置しているとする。無限遠ではない被写体を撮像した場合、第１撮像系１０１が撮像した画像６１０および第２撮像系１０２が撮像した画像６２０には、当該被写体の像は互いに異なる画像領域に位置する。
【００６４】
上述したように、対応領域特定部４３０は、対応点マッチング等により、画像６１０および画像６２０から、対応領域６１２および対応領域６２２を特定する。第１撮像系１０１が第２撮像系１０２の右方に位置しているので、対応領域６１２は、対応領域６２２よりも左側にズレた位置に存在する。ここで、説明を分かりやすくすべく、対応領域６１２および対応領域６２２に撮像された被写体は、第１撮像系１０１の撮像光軸および第２撮像系１０２の撮像光軸の中点に存在する被写体であるとする。
【００６５】
低域フィルタ部４１１は、対応領域６１２の空間周波数成分に対して、空間周波数領域Ａを選択的に通過する低域フィルタ６１４でフィルタリングする。高域フィルタ部４１２は、対応領域６２２の空間周波数成分に対して、空間周波数領域Ｂを選択的に通過する高域フィルタ６２４でフィルタリングする。
【００６６】
画像合成部４２０は、低域フィルタ６１４でフィルタリングされた空間周波数成分と、高域フィルタ６２４でフィルタリングされた空間周波数成分とを対応領域毎に合成することにより、１視点から撮像した場合に得られるべき画像６３０を生成する。一例として、画像合成部４２０が第１撮像系１０１の撮像光軸と第２撮像系１０２の撮像光軸との中間点を視点とする画像６３０を生成する場合、画像合成部４２０は、各対応領域の空間周波数成分を合成した画像信号を、対応領域の中間の領域の画像信号として生成する。具体的には、第１撮像系１０１の撮像光軸と第２撮像系１０２の撮像光軸との中点を視点とする画像６３０を生成する場合、画像合成部４２０は、対応領域６１２および対応領域６２２の空間周波数成分を合成した画像信号を、画像６３０内の中央の画像領域６３２の画像信号として生成する。
【００６７】
第１撮像系１０１の撮像光軸と第２撮像系１０２の撮像光軸との中点を視点とする画像６３０を生成するのではなく、第１撮像系１０１および第２撮像系１０２の一方から撮像した画像を生成してもよい。例えば、第２撮像系１０２から撮像した画像を生成する場合であれば、画像合成部４２０は、対応領域６１２および対応領域６２２の空間周波数成分を合成した画像信号を、対応領域６２２の画像信号として生成すればよい。
【００６８】
図７は、レンズ配置の他の一例を示す。図１から図６にかけて、第１撮像系１０１および第２撮像系１０２はそれぞれ、赤の波長域に属するＲ光、緑の波長域に属するＧ光、および、青の波長域に属するＢ光で被写体を撮像するとした。すなわち、第１撮像系１０１および第２撮像系１０２はそれぞれ３色のカラー画像を撮像するとした。
【００６９】
本レンズ配置では、第１撮像系１０１および第２撮像系１０２は、Ｇ光で被写体を撮像する撮像系であるとする。すなわち、低空間周波数用の画像および高空間周波数用の画像を、Ｇ光で取得する。そして、Ｒ光およびＢ光で被写体を撮像する第３撮像系がさらに設けられる。本図には、物体側から見たレンズ配置例が示されている。本レンズ配置において、レンズ鏡筒７００の内側に、Ｇ光用第１レンズ７１０、Ｇ光用第２レンズ７２０、および、ＲＢ光用レンズ７３０が設けられる。
【００７０】
Ｇ光用第１レンズ７１０は、第１光学系１１５の第１レンズ１１０を代替する。Ｇ光用第２レンズ７２０は、第２光学系１２５の第２レンズ１２０を代替する。第１光学系１１５および第２光学系１２５が有する他の光学要素は、本配置例にも適用できる。すなわち、本配置例に係る第１光学系１１５および第２光学系１２５は、結像レンズがＧ光を受光部１０９に結像する結像特性を持つ点を除いて、図１から図６にかけて説明した第１光学系１１５および第２光学系１２５の光学特性と略同一の光学特性を持つ。
【００７１】
本レンズ配置によると、Ｇ光用第１レンズ７１０およびＧ光用第２レンズ７２０に加えて、Ｒ光およびＢ光を結像するレンズであるＲＢ光用レンズ７３０がさらに設けられる。ＲＢ光用レンズ７３０の撮像光軸は、Ｇ光用第１レンズ７１０およびＧ光用第２レンズ７２０の撮像光軸に対してｙ方向に離間して設けられる。ＲＢ光用レンズ７３０は、Ｒ光およびＢ光で被写体を撮像する第３撮像系の結像レンズとして機能する。第１光学系１１５が有する光学要素のうち、第１レンズ１１０を除く光学要素を、第３撮像系の光学要素としてさらに適用することができる。第３撮像系は、第１光学フィルタ１１４に対応するアポダイゼーションフィルタを有しなくてもよい。
【００７２】
図８は、物体側から見た受光部８０９の構成の一例を示す。受光部８０９は、図１から図６に関連して説明した受光部１０９に対応する。
【００７３】
Ｇ光用第１受光領域８１９およびＧ光用第２受光領域８２９は、それぞれ第１受光部１１９および第２受光部１２９に対応する。第１カラーフィルタアレイ１１６および第２カラーフィルタアレイ１２６は、Ｇ光を選択的に透過するカラーフィルタで形成される。各カラーフィルタを通過した光を受光する撮像素子は、図１から図６に関連して説明した第１撮像素子アレイ１１８および第２撮像素子アレイ１２８と同様の撮像素子が適用される。Ｇ光用第１受光領域８１９およびＧ光用第２受光領域８２９は、Ｇ光を選択的に受光できればよく、撮像面内で２次元的な波長分離はなされない。撮像面内で波長分離されないことが、本図において点線で模式的に示される。
【００７４】
ＲＢ光用受光領域８３９は、第３撮像系の受光部として機能する。ＲＢ光用受光領域８３９は、Ｒ光を選択的に透過するカラーフィルタおよびＢ光を選択的に透過するカラーフィルタが所定のパターンで配置されて形成される。ＲＢ光用受光領域８３９は、複数のカラーフィルタに対応して設けられた複数の撮像素子を含む。ＲＢ光用受光領域８３９は、撮像面内でＲ光とＢ光とに波長分離される。撮像面内で２次元的に波長分離されていることが、本図において実線で模式的に示される。
【００７５】
本例によると、Ｇ光によって、低空間周波数用の画像および高空間周波数用の画像を高解像度で撮像することができる。したがって、広い空間周波数領域にわたりＳＮ比が高いＧの画像信号を得ることができる。また、Ｇの画像信号において解像度を高めることができる。人間の目の視感度は緑の波長域で最も高いので、Ｇの画像信号に対してＳＮ比および解像度を高めることで、画質を実効的に高めることができる。
【００７６】
以上、図１から図８に関連して説明した撮像装置１００によると、特定の空間周波数応答を持つ一の撮像系で撮像する場合、または、略同一の空間周波数応答を持つ複数の撮像系で撮像する場合と比較して、ＳＮ比が高く解像力の高い画像を提供することができる。また、高い空間周波数領域の画像信号に実質的に寄与する撮像信号は、第２撮像系１０２の撮像信号である。したがって、第１撮像系１０１については、高い空間周波数領域において偽解像を許容することができる。一方、低い空間周波数領域の画像信号に実質的に寄与する撮像信号は、第１撮像系１０１の撮像信号である。したがって、第２撮像系１０２においては、低い空間周波数領域においてＭＴＦが低くＳＮ比が低くてもよい。撮像装置１００によると、複数の撮像系でいわば空間周波数領域を分担することができるので、低域から高域にわたってきちんと解像した画像を提供することができる。
【００７７】
上記説明では、説明を分かりやすくすべく、第１光学フィルタ１１４および第２光学フィルタ１２４によるアポダイゼーション効果によって、複数の撮像系の間で有効な空間周波数応答を相違させるとした。空間周波数応答は、アポダイゼーション効果の他、結像レンズの有効口径および倍率の少なくとも一方によって異ならせることができる。
【００７８】
例えば、第２レンズ１２０を第１レンズ１１０より有効口径の大きいレンズとすることで、比較的に高い空間周波数領域における第２撮像系１０２の応答を、第１レンズ１１０よりも高めることができる。例えば、第２絞り部１２２の開口を、第１絞り部１１２の開口より大きくすることで、第２レンズ１２０を第１レンズ１１０より有効口径の大きいレンズとすることができる。特に、第２撮像系１０２のカットオフ周波数を高域まで延ばすことができる。また、第２レンズ１２０を第１レンズ１１０より倍率の大きいレンズとすることで、比較的に高い空間周波数領域における第２撮像系１０２の実効的な応答を、第１レンズ１１０よりも高めることができる。このように、複数の撮像系の空間周波数応答を、Ｆ値を指標として相違させることができる。
【００７９】
また、上記説明では、説明を分かりやすくすべく、第１受光部１１９が含む複数の撮像素子は、第２受光部１２９が含む複数の撮像素子と等しいピッチで配列されるとした。そして、第１受光部１１９が含む複数の撮像素子および第２受光部１２９が含む複数の撮像素子から、それぞれ撮像信号を読み出すとした。ここで、撮像系全体の空間周波数応答は、受光部による被写体光のサンプリング特性によっても影響される。そこで、各撮像系が担当すべき空間周波数領域に応じて、受光部によるサンプリング特性を異ならせてもよい。
【００８０】
例えば、第１撮像系１０１と第２撮像系１０２とで、撮像素子の読み出しピッチを異ならせてよい。具体的には、読み出し部１４０は、第１受光部１１９が含む複数の撮像素子から、第２受光部１２９が含む複数の撮像素子に対する読み出しピッチよりも低いピッチで読み出しをする。読み出し部１４０は、第１受光部１１９が含む複数の撮像素子から、第２受光部１２９が含む複数の撮像素子よりも高い間引き率で間引き読み出しをしてよい。
【００８１】
他にも、読み出し部１４０は、読み出しピッチを異ならせるべく、第１受光部１１９が含む複数の撮像素子に対して、ビニング読み出しをしてよい。例えば、読み出し部１４０は、第１受光部１１９が含む複数の撮像素子に対してビニング読み出しをする一方、第２受光部１２９が含む複数の撮像素子に対してビニング読み出しをしなくともよい。読み出し部１４０は、第２受光部１２９が含む複数の撮像素子に対してもビニング読み出しをする場合、ビニング読み出しの一単位とする撮像素子の数を、第１受光部１１９よりも第２受光部１２９で多くしてよい。
【００８２】
他にも、第１撮像系１０１と第２撮像系１０２とで、撮像素子配列のピッチを異ならせてよい。具体的には、第１受光部１１９が含む複数の撮像素子が、第２受光部１２９が含む複数の撮像素子より低いピッチで配列されてもよい。
【００８３】
第１撮像系１０１は、比較的に低い第１空間周波数領域を担当するので、第１撮像系１０１のサンプリング特性を低くしても、第１空間周波数領域での応答が著しく低下することはない。また、サンプリング特性を低くすることで第２空間周波数領域で偽解像が生じたとしても、画像生成部１５０が生成する画像信号には実質的に影響することはない。一方で、第１撮像系１０１のサンプリング特性を低くすることで、撮像信号の読み出し速度を高めることができる。
【００８４】
また、撮像装置１００は、４以上の撮像系を備えることもできる。撮像装置１００は、上記のように特定の空間周波数領域と他の空間周波数領域とで応答が相互に異なる２つの撮像系を少なくとも備えればよい。
【００８５】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００８６】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００８７】
１００  撮像装置
１０１  第１撮像系
１０２  第２撮像系
１０９  受光部
１１０  第１レンズ
１１２  第１絞り部
１１４  第１光学フィルタ
１１５  第１光学系
１１６  第１カラーフィルタアレイ
１１８  第１撮像素子アレイ
１１９  第１受光部
１２０  第２レンズ
１２２  第２絞り部
１２４  第２光学フィルタ
１２５  第２光学系
１２６  第２カラーフィルタアレイ
１２８  第２撮像素子アレイ
１２９  第２受光部
１４０  読み出し部
１５０  画像生成部
１８０  記録部
２１０、２２０  光透過率分布
３１０、３２０  ＭＴＦ
４３０  対応領域特定部
４１０  周波数フィルタ部
４１１  低域フィルタ部
４１２  高域フィルタ部
４２０  画像合成部
６１０、６２０、６３０  画像
６１２、６２２  対応領域
６１４  低域フィルタ
６２４  高域フィルタ
６３２  画像領域
７００  レンズ鏡筒
７１０  Ｇ光用第１レンズ
７２０  Ｇ光用第２レンズ
７３０  ＲＢ光用レンズ
８０９  受光部
８１９  Ｇ光用第１受光領域
８２９  Ｇ光用第２受光領域
８３９  ＲＢ光用受光領域
【図１】
2012044443.tif 000003
【図２】
2012044443.tif 000004
【図３】
2012044443.tif 000005
【図４】
2012044443.tif 000006
【図５】
2012044443.tif 000007
【図６】
2012044443.tif 000008
【図７】
2012044443.tif 000009
【図８】
2012044443.tif 000010