(57)【要約】【課題】撮像素子配列の周期性および方向性の影響を低減することが容易な撮像画像を提供する。【解決手段】撮像モジュールは、横倍率が異なる方位を持つ第１レンズ、および、第１レンズとは異なる光軸を持ち、少なくとも一の方位で第１レンズとは横倍率が異なる第２レンズを有するレンズ部と、第１レンズにより結像された被写体光により撮像する複数の第１撮像素子、および、第２レンズにより結像された被写体光により撮像する複数の第２撮像素子を有する撮像部と、複数の第１撮像素子で撮像された画像および複数の第２撮像素子で撮像された画像を用いて、エイリアシング成分が低減された出力画像を生成する画像生成部とを備える。【選択図】図１
2012049632.tif 000002
【特許請求の範囲】
【請求項１】
横倍率が異なる方位を持つ第１レンズ、および、前記第１レンズとは異なる光軸を持ち、少なくとも一の方位で前記第１レンズとは横倍率が異なる第２レンズを有するレンズ部と、
前記第１レンズにより結像された被写体光により撮像する複数の第１撮像素子、および、前記第２レンズにより結像された被写体光により撮像する複数の第２撮像素子を有する撮像部と
を備える撮像モジュール。
【請求項２】
前記複数の第１撮像素子で撮像された第１画像と、前記複数の第２撮像素子で撮像された第２画像とを加算することにより出力画像を生成する画像生成部
をさらに備える請求項１に記載の撮像モジュール。
【請求項３】
前記複数の第１撮像素子で撮像された第１画像の空間周波数成分と前記複数の第２撮像素子で撮像された第２画像の空間周波数成分とを比較して、前記第１画像および前記第２画像の少なくとも一方にエイリアシング成分が含まれるか否かを特定する特定部
をさらに備え、
前記画像生成部は、前記特定部が前記少なくとも一方の画像にエイリアシング成分が含まれる旨を特定した場合に、前記第１画像と前記第２画像とを加算することにより、エイリアシング成分が低減された前記出力画像を生成する
請求項２に記載の撮像モジュール。
【請求項４】
前記複数の第１撮像素子で撮像された第１画像の空間周波数成分と前記複数の第２撮像素子で撮像された第２画像の空間周波数成分とを比較して、前記第１画像および前記第２画像の少なくとも一方にエイリアシング成分が含まれるか否かを特定する特定部
をさらに備える請求項１に記載の撮像モジュール。
【請求項５】
前記特定部が前記少なくとも一方の画像にエイリアシング成分が含まれる旨を特定した場合に、前記第１画像および前記第２画像の少なくとも一方を用いて前記エイリアシング成分が低減された出力画像を生成する画像生成部
をさらに備える請求項４に記載の撮像モジュール。
【請求項６】
前記画像生成部は、前記第１画像と前記第２画像とを加算することにより、前記出力画像を生成する
請求項５に記載の撮像モジュール。
【請求項７】
前記特定部は、前記第１画像の空間周波数成分と前記第２画像の空間周波数成分とを比較して、エイリアシング成分が含まれる空間周波数領域をさらに特定し、
前記画像生成部は、前記少なくとも一方の画像にエイリアシング成分が含まれる旨を前記特定部が特定した場合に、エイリアシング成分を含む画像に対して、前記特定部が特定した前記空間周波数領域の周波数成分を低減する画像処理を施すことにより、前記出力画像を生成する
請求項５に記載の撮像モジュール。
【請求項８】
前記画像生成部は、前記第１画像および前記第２画像の少なくとも一方の画像に、当該画像の撮像に用いられたレンズの方位による横倍率の違いを補正する画像処理を施して、前記出力画像を生成する
請求項２、３、５から７のいずれかに記載の撮像モジュール。
【請求項９】
前記第２レンズは、横倍率が異なる方位をもち、
前記第１レンズの第１方位の横倍率は前記第２レンズの第１方位の横倍率と異なり、前記第１レンズの第２方位の横倍率は前記第２レンズの第２方位の横倍率と異なる
請求項１から８のいずれかに記載の撮像モジュール。
【請求項１０】
前記複数の第１撮像素子は、略等しいピッチでマトリクス状に配列され、
前記複数の第２撮像素子は、前記複数の第１撮像素子と略等しいピッチでマトリクス状に配列される
請求項１から９のいずれかに記載の撮像モジュール。
【請求項１１】
前記複数の第１撮像素子および前記複数の第２撮像素子は、同一基板上に形成される
請求項１から１０のいずれかに記載の撮像モジュール。
【請求項１２】
前記レンズ部は、前記第１レンズおよび前記第２レンズとは異なる光軸を持つ第３レンズをさらに有し、
前記撮像部は、前記第３レンズにより結像された被写体光により撮像する複数の第３撮像素子をさらに有し、
前記複数の第１撮像素子および前記複数の第２撮像素子は、被写体光のうちＧの波長域の光により撮像し、
前記複数の第３撮像素子は、被写体光のうちＧの波長域とは異なる波長域の光により撮像する
請求項１から１１のいずれかに記載の撮像モジュール。
【請求項１３】
前記画像生成部は、前記第１画像および前記第２画像の少なくとも一方に対して、前記第１レンズおよび前記第２レンズの光軸の位置に応じた被写体像のズレを補正する画像処理を施して、前記出力画像を生成する
請求項２、３、５から８のいずれかに記載の撮像モジュール。
【請求項１４】
請求項１から１３のいずれかに記載の撮像モジュールを備え、前記撮像モジュールで前記被写体を撮像する撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像モジュールおよび撮像装置に関する。
【背景技術】
【０００２】
高域の分解能を低減させることなくモアレの発生を防止する画像処理装置が知られている（例えば、特許文献１参照。）。また、撮像素子の前面に設けられ、通過特性の可変な光学的アンチエイリアジング手段と、アンチエイリアジング手段の特性を制御する駆動制御手段とを具備する撮像装置が知られている（例えば、特許文献２参照。）。
特許文献１  特開２００３−１８４７９号公報
特許文献２  特開平７−１２３４２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
撮像素子を周期的に配列した場合、撮像画像におけるモアレの発生、解像力は、撮像素子配列の周期性および方向性に影響される。撮像素子を水平方向および垂直方向に周期的に配列した場合、撮像素子は、水平方向および垂直方向と角度をなす斜め方向にも周期的に配列されることとなる。この斜め方向の撮像素子配列の周期性は、水平方向の周期性および垂直方向の周期性のいずれとも異なる。したがって、撮像素子配列の周期性および方向性を考慮して撮像したり画像処理したりしなければならなくなる場合がある。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の一態様においては、撮像モジュールであって、横倍率が異なる方位を持つ第１レンズ、および、第１レンズとは異なる光軸を持ち、少なくとも一の方位で第１レンズとは横倍率が異なる第２レンズを有するレンズ部と、第１レンズにより結像された被写体光により撮像する複数の第１撮像素子、および、第２レンズにより結像された被写体光により撮像する複数の第２撮像素子を有する撮像部とを備える。
【０００５】
複数の第１撮像素子で撮像された第１画像の空間周波数成分と複数の第２撮像素子で撮像された第２画像の空間周波数成分とを比較して、第１画像および第２画像の少なくとも一方にエイリアシング成分が含まれるか否かを特定する特定部をさらに備えてよい。
【０００６】
特定部が少なくとも一方の画像にエイリアシング成分が含まれる旨を特定した場合に、第１画像および第２画像の少なくとも一方を用いてエイリアシング成分が低減された出力画像を生成する画像生成部をさらに備えてよい。
【０００７】
画像生成部は、第１画像と第２画像とを加算することにより、出力画像を生成してよい。
【０００８】
特定部は、第１画像の空間周波数成分と第２画像の空間周波数成分とを比較して、エイリアシング成分が含まれる空間周波数領域をさらに特定し、画像生成部は、少なくとも一方の画像にエイリアシング成分が含まれる旨を特定部が特定した場合に、エイリアシング成分を含む画像に対して、特定部が特定した空間周波数領域の周波数成分を低減する画像処理を施すことにより、出力画像を生成してよい。
【０００９】
画像生成部は、第１画像および第２画像の少なくとも一方の画像に、当該画像の撮像に用いられたレンズの方位による横倍率の違いを補正する画像処理を施して、出力画像を生成してよい。
【００１０】
第２レンズは、横倍率が異なる方位をもち、第１レンズの第１方位の横倍率は第２レンズの第１方位の横倍率と異なり、第１レンズの第２方位の横倍率は第２レンズの第２方位の横倍率と異なってよい。
【００１１】
複数の第１撮像素子は、略等しいピッチでマトリクス状に配列され、複数の第２撮像素子は、複数の第１撮像素子と略等しいピッチでマトリクス状に配列されてよい。複数の第１撮像素子および複数の第２撮像素子は、同一基板上に形成されてよい。
【００１２】
レンズ部は、第１レンズおよび第２レンズとは異なる光軸を持つ第３レンズをさらに有し、撮像部は、第３レンズにより結像された被写体光により撮像する複数の第３撮像素子をさらに有し、複数の第１撮像素子および複数の第２撮像素子は、被写体光のうちＧの波長域の光により撮像し、複数の第３撮像素子は、被写体光のうちＧの波長域とは異なる波長域の光により撮像してよい。
【００１３】
画像生成部は、第１画像および第２画像の少なくとも一方に対して、第１レンズおよび第２レンズの光軸の位置に応じた被写体像のズレを補正する画像処理を施して、出力画像を生成してよい。
【００１４】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【００１５】
【図１】撮像装置１００のブロック構成の一例を示す図である。
【図２】撮像装置１００が備えるレンズ部の一例を示す図である。
【図３】撮像モジュールのブロック構成の一例を示す図である。
【図４】撮像部１０９が備える複数の撮像素子の配列例を示す図である。
【図５】撮像部１０９への入力光信号の信号レベルの一例を示す図である。
【図６】撮像部１０９によるサンプリング後の信号レベルの一例を示す図である。
【図７】撮像部１０９への入力光信号の信号レベルの他の一例を示す図である。
【図８】入力光信号のサンプリング後の信号レベルの一例を示す図である。
【図９】画像生成部１５０による画像処理の一例を示す図である。
【図１０】撮像装置１００における画像撮像後の処理フローの一例を示す図である。
【発明を実施するための形態】
【００１６】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１７】
図１は、撮像装置１００のブロック構成の一例を模式的に示す。本実施形態に係る撮像装置１００は、撮像素子配列の周期性および方向性の影響を低減することが容易な撮像画像を提供する。一例として、撮像装置１００は、モアレの影響を低減することが容易な撮像画像を提供する。撮像装置１００は、第１撮像系１０１、第２撮像系１０２、第３撮像系１０３、第４撮像系１０４、画像信号生成部１７０、および、記録部１８０を備える。第１撮像系１０１、第２撮像系１０２、第３撮像系１０３、第４撮像系１０４、および、画像信号生成部１７０は、撮像装置１００に組み込まれる撮像モジュールとして機能する。
【００１８】
第１撮像系１０１は、第１レンズ１１０および第１受光部１１９を有する。第１受光部１１９は、第１レンズ１１０により結像された被写体光を受光して撮像する。第２撮像系１０２は、第２レンズ１２０および第２受光部１２９を有する。第２受光部１２９は、第２レンズ１２０により結像された被写体光を受光して撮像する。第３撮像系１０３は、第３レンズ１３０および第３受光部１３９を有する。第３受光部１３９は、第３レンズ１３０により結像された被写体光を受光して撮像する。第４撮像系１０４は、第４レンズ１４０および第４受光部１４９を有する。第４受光部１４９は、第４レンズ１４０により結像された被写体光を受光して撮像する。第１撮像系１０１、第２撮像系１０２、第３撮像系１０３、第４撮像系１０４は、同一の被写体を撮像することができる。
【００１９】
第１撮像系１０１、第２撮像系１０２、第３撮像系１０３および第４撮像系１０４は、それぞれ被写体を撮像して、撮像画像を示す撮像信号を生成する。画像信号生成部１７０は、第１撮像系１０１、第２撮像系１０２、第３撮像系１０３および第４撮像系１０４から、それぞれ撮像信号を取得する。画像信号生成部１７０は、取得した撮像信号の少なくとも１つを用いて１つの出力画像を示す画像信号を生成する。例えば、画像信号生成部１７０は、取得した撮像信号を合成して１つの出力画像を示す画像信号を生成する。
【００２０】
ここで、第１レンズ１１０、第２レンズ１２０、第３レンズ１３０、および、第４レンズ１４０はそれぞれ、横倍率が異なる二方位を持っている。そして、第１レンズ１１０、第２レンズ１２０、第３レンズ１３０、および、第４レンズ１４０は、各方位で横倍率が互いに異なる。このため、撮像装置１００によると、各方位につき多様な倍率で被写体を撮像することができる。このため、受光部側の解像力が方位によって異なる場合でも、各方位で適切な倍率の撮像画像を選択することで、出力画像の解像力を保つことができる。例えば受光部の画素ピッチが比較的に低い方位については、その方位で横倍率が比較的に高いレンズを備える撮像系を用いれば、解像力が著しく低下しない。また、モアレが生じる確率を低減することができる。
【００２１】
記録部１８０は、画像信号生成部１７０が生成した画像信号を記録する。記録部１８０は、画像信号生成部１７０から供給された画像信号が示す画像を、不揮発性メモリに記録してよい。当該不揮発性メモリは、記録部１８０が有してよい。また、当該不揮発性メモリは、撮像装置１００に対して着脱可能に設けられた外部メモリであってよい。記録部１８０は、撮像装置１００の外部に画像を出力してもよい。
【００２２】
撮像装置１００は、カメラ機能付きの携帯電話、デジタルカメラなどの撮像機器であってよい。第１撮像系１０１、第２撮像系１０２、第３撮像系１０３、第４撮像系１０４、および、画像信号生成部１７０を有する撮像モジュールは、これらの撮像機器用のカメラモジュールとして提供することができる。
【００２３】
図２は、撮像装置１００が備えるレンズ部の一例を模式的に示す。レンズ部２００は、第１レンズ１１０、第２レンズ１２０、第３レンズ１３０、および、第４レンズ１４０を有する。本図では、物体側からレンズ部２００を見た場合の第１レンズ１１０、第２レンズ１２０、第３レンズ１３０、および、第４レンズ１４０の位置関係が模式的に示される。
【００２４】
本図では、第１レンズ１１０、第２レンズ１２０、第３レンズ１３０、および、第４レンズ１４０の横倍率の大きさの相違を示すことを目的として、横倍率の大きさに応じた径で各レンズが図示されている。ただし、実際のレンズの径が横倍率の大きさに応じた径である必要はないことは、言うまでもない。また、方位の一例を簡単に説明すべく、本図の横方向および縦方向を、それぞれ水平方向および垂直方向として説明する。
【００２５】
第１レンズ１１０は、横倍率が異なる方位を持つ。例えば、第１レンズ１１０は、水平方向および垂直方向とで、横倍率が異なる。そして、第２レンズ１２０は、第１レンズ１１０とは異なる光軸を持ち、少なくとも一の方位で横倍率が第１レンズ１１０とは異なる。具体的には、第２レンズ１２０は、水平方向および垂直方向で横倍率が第１レンズ１１０とは異なる。このように、第１レンズ１１０の第１方位の横倍率は第２レンズ１２０の第１方位の横倍率と異なり、第１レンズ１１０の第２方位の横倍率は第２レンズ１２０の第２方位の横倍率と異なる。
【００２６】
第３レンズ１３０および第４レンズ１４０も、第２レンズ１２０と同様、第１レンズ１１０とは異なる位置に光軸を持ち、少なくとも一の方位で横倍率が第１レンズ１１０とは異なる。具体的には、第３レンズ１３０および第４レンズ１４０はそれぞれ、水平方向および垂直方向で横倍率が第１レンズ１１０とは異なる。また、第２レンズ１２０、第３レンズ１３０、および、第４レンズ１４０は、互いに異なる光軸を持ち、少なくとも一の方位で横倍率が他のレンズとは異なる。具体的には、第２レンズ１２０、第３レンズ１３０、および、第４レンズ１４０は、水平方向および垂直方向で横倍率が他のレンズとは異なる。
【００２７】
一例として、第１レンズ１１０と第２レンズ１２０とは、横倍率が最大となる方位が直交するように配置されているとする。また、第３レンズ１３０と第４レンズ１４０とは、横倍率が最大となる方位が直交するように配置されているとする。
【００２８】
また、水平方向の横倍率は、第２レンズ１２０、第４レンズ１４０、第１レンズ１１０、第３レンズ１３０の順で大きいとする。垂直方向の横倍率は、第１レンズ１１０、第３レンズ１３０、第２レンズ１２０、第４レンズ１４０の順で大きい。また、第２レンズ１２０の水平方向の横倍率は、第１レンズ１１０の垂直方向の横倍率と略等しい。同様に、第４レンズ１４０の水平方向の横倍率は第３レンズ１３０の垂直方向の横倍率と略等しく、第１レンズ１１０の水平方向の横倍率は第２レンズ１２０の垂直方向の横倍率と略等しく、第３レンズ１３０の水平方向の横倍率は第４レンズ１４０の垂直方向の横倍率と略等しい。
【００２９】
また、本図において水平方向と４５度をなす右斜め方向の横倍率は、第１レンズ１１０、第３レンズ１３０、第４レンズ１４０、第２レンズ１２０の順で大きいとする。右斜め方向と直交する左斜め方向の横倍率は、第２レンズ１２０、第４レンズ１４０、第３レンズ１３０、第１レンズ１１０の順で大きい。そして、第１レンズ１１０の右斜め方向の横倍率は、第２レンズ１２０の左斜め方向の横倍率と略等しい。同様に、第３レンズ１３０の右斜め方向の横倍率は第４レンズ１４０の左斜め方向の横倍率と略等しく、第４レンズ１４０の右斜め方向の横倍率は第３レンズ１３０の左斜め方向の横倍率と略等しく、第２レンズ１２０の右斜め方向の横倍率は第１レンズ１１０の左斜め方向の横倍率と略等しい。
【００３０】
そして、第１レンズ１１０の右斜め方向の横倍率は、第２レンズ１２０の水平方向の横倍率よりも大きいとする。つまりレンズ部２００は、水平方向に提供できる横倍率の最大値よりも、右斜め方向に提供できる横倍率の最大値の方が大きい。また、第４レンズ１４０の右斜め方向の横倍率は、第３レンズ１３０の水平方向の横倍率よりも大きいとする。つまりレンズ部２００は、水平方向に提供できる横倍率の最小値よりも、右斜め方向に提供できる横倍率の最小値の方が大きい。後述するように、水平方向および垂直方向は、撮像素子のマトリクス配置における行方向および列方向に対応する。行方向および列方向と４５度の角度をなす方向には、行方向および列方向よりも広い素子間隔で撮像素子が配列されることとなる。レンズ部２００によると、斜め方向に提供できる横倍率の最大値が、水平方向および垂直方向の横倍率の最大値よりも大きい。このため、方位によって横倍率が実質的に異ならないレンズを使用する場合と比較して、斜め方向の解像力がより高い撮像画像を提供することができる。
【００３１】
このように、レンズ部２００は、水平方向、垂直方向、右斜め方向、左斜め方向にそれぞれ４種類の横倍率を提供することができる。そして、レンズ部２００が水平方向に提供する横倍率の組み合わせは、垂直方向に提供する横倍率の組み合わせと略等しい。また、レンズ部２００が右斜め方向に提供する横倍率の組み合わせは、左斜め方向に提供する横倍率の組み合わせと略等しい。また、レンズ部２００は、斜め方向に、水平および垂直方向よりも大きい横倍率を提供することができる。横倍率が異なる方位を持つことで、横倍率が等方的なレンズを用いる場合と比較すると、各方位にとって望ましい横倍率をより少数のレンズで提供することができる。
【００３２】
なお、第１レンズ１１０、第２レンズ１２０、第３レンズ１３０、および、第４レンズ１４０の光軸は、互いに平行であるとする。すなわち、第１撮像系１０１、第２撮像系１０２、第３撮像系１０３、および、第４撮像系１０４の撮像光軸は、互いに平行であり、各撮像系は、撮像光軸に垂直な面内で、互いに撮像光軸の位置を異ならせて設けられることとなる。
【００３３】
図３は、撮像装置１００が有する撮像モジュールのブロック構成の一例を模式的に示す。ここでは、第１撮像系１０１および第３撮像系１０３のブロック構成が、画像信号生成部１７０のブロック構成とともに示される。本図の第１撮像系１０１および第３撮像系１０３のブロック構成は、第１レンズ１１０および第３レンズ１３０の光軸を含む図２のＡＡ'で切断した模式断面図とする。
【００３４】
画像信号生成部１７０は、読み出し部１７２、特定部１７４および画像生成部１５０を有する。第１撮像系１０１において、第１光学系１１５は、第１レンズ１１０および第１絞り部１１２を含む。第１受光部１１９は、第１カラーフィルタアレイ１１６および第１撮像素子アレイ１１８を含む。
【００３５】
第３撮像系１０３は、第１撮像系１０１が有する光学要素に対応する光学要素を有する。具体的には、第３撮像系１０３において、第３光学系１３５は、第３レンズ１３０および第３絞り部１３２を含む。第３受光部１３９は、第３カラーフィルタアレイ１３６および第３撮像素子アレイ１３８を含む。第２撮像系１０２および第４撮像系１０４はいずれも、第１撮像系１０１が有する光学要素に対応する光学要素を有する。このため、説明を省略する。
【００３６】
第１撮像系１０１が持つ光学構成について説明する。第１レンズ１１０は、結像レンズであり、上述のとおり横倍率が異なる方位を持つ。第１絞り部１１２は、第１光学系１１５を通過する光の量を調整する。第１光学系１１５を通過する光は、第１絞り部１１２の開口部を通過するものに制限される。
【００３７】
第１カラーフィルタアレイ１１６は、予め定められた波長域の光を選択的に透過する複数のカラーフィルタを含む。第１カラーフィルタアレイ１１６は、当該複数のカラーフィルタが予め定められたパターンで配列されて形成される。例えば、第１カラーフィルタアレイ１１６は、当該複数のカラーフィルタがマトリクス状に配列されて形成される。各カラーフィルタが透過する波長域は、撮像目的に応じて設計すればよい。全カラーフィルタが特定波長域の光を選択的に透過してよく、互いに異なる波長域の光を選択的に透過する複数種類のカラーフィルタを含んでよい。
【００３８】
第１撮像素子アレイ１１８は、被写体からの光を第１光学系１１５を通じて受光する複数の撮像素子を含む。第１撮像素子アレイ１１８が含む複数の撮像素子は、第１カラーフィルタアレイ１１６が含む複数のカラーフィルタに対応して設けられる。各撮像素子は、第１カラーフィルタアレイ１１６に入射した被写体光のうち、対応するカラーフィルタを透過した光を受光する。各撮像素子は、受光した光の量に応じた強度の撮像信号を出力する。このように、第１撮像素子アレイ１１８は、第１レンズ１１０により結像された被写体光により撮像する複数の撮像素子を有する。
【００３９】
第３撮像系１０３において、第３カラーフィルタアレイ１３６は、予め定められた波長域の光を選択的に透過する複数のカラーフィルタを含む。第３カラーフィルタアレイ１３６は、当該複数のカラーフィルタが予め定められたパターンで配列されて形成される。例えば、第３カラーフィルタアレイ１３６は、当該複数のカラーフィルタがマトリクス状に配列されて形成される。各カラーフィルタが透過する波長域は、撮像目的に応じて設計すればよい。全カラーフィルタが特定波長域の光を選択的に透過してよく、互いに異なる波長域の光を選択的に透過する複数種類のカラーフィルタを含んでよい。
【００４０】
第３撮像素子アレイ１３８は、被写体からの光を第３光学系１３５を通じて受光する複数の撮像素子を含む。第３撮像素子アレイ１３８が含む複数の撮像素子は、第３カラーフィルタアレイ１３６が含む複数のカラーフィルタに対応して設けられる。各撮像素子は、第３カラーフィルタアレイ１３６に入射した被写体光のうち、対応するカラーフィルタを透過した光を受光する。各撮像素子は、受光した光の量に応じた強度の撮像信号を出力する。このように、第３撮像素子アレイ１３８は、第３レンズ１３０により結像された被写体光により撮像する複数の撮像素子を有する。
【００４１】
第１受光部１１９および第３受光部１３９の構成について説明する。第１受光部１１９および第３受光部１３９がそれぞれ有する複数の撮像素子は、同一平面上に設けられる。例えば、第１撮像素子アレイ１１８が有する複数の撮像素子、および、第３撮像素子アレイ１３８が有する複数の撮像素子は、同一基板上に形成される。例えば、第１撮像素子アレイ１１８が有する複数の撮像素子、および、第３撮像素子アレイ１３８が有する複数の撮像素子は、同一プロセスで同一基板の一面に同時に形成される。また、第１カラーフィルタアレイ１１６が有する複数のカラーフィルタおよび第３カラーフィルタアレイ１３６が有する複数のカラーフィルタも、対応する撮像素子の上部に同一プロセスで同時に形成される。これにより、第１受光部１１９および第３受光部１３９を一体に含む１つの撮像部１０９が製造される。第１受光部１１９の撮像面および第３受光部１３９の撮像面は、当該受光部が持つ撮像面の部分領域となる。なお、第１撮像素子アレイ１１８および第１カラーフィルタアレイ１１６を持つ第１受光部１１９と、第３撮像素子アレイ１３８および第３カラーフィルタアレイ１３６を持つ第３受光部１３９とは、互いに別個に製造して組み付けられてもよい。
【００４２】
各撮像系が備える複数の撮像素子は実質的に同時に露光される。各撮像素子が露光されると、読み出し部１７２は、当該複数の撮像素子から、撮像信号を読み出す。読み出し部１７２は、複数の撮像素子と同一基板上に形成された読み出し回路を有してよい。当該読み出し回路は、各撮像系に対して１つ設けられ、１つの読み出し回路が、各撮像系が備える複数の撮像素子から、撮像信号を順次に読み出してよい。なお、当該読み出し回路は、各撮像系に対してそれぞれ別個に設けられてよい。
【００４３】
各撮像系が備える複数の撮像素子は、ＭＯＳ型撮像素子であってよい。各撮像素子が同一プロセスで同一基板の一面に形成されたＭＯＳ型撮像素子である場合、読み出し部１７２は、各撮像系が備える光学系毎に、部分的に読み出すことができる。各撮像系が含む撮像素子は、ＭＯＳ型撮像素子の他、ＣＣＤ型撮像素子などの固体撮像素子で実装することもできる。
【００４４】
読み出し部１７２が各撮像系が備える撮像素子から読み出した撮像信号は、特定部１７４および画像生成部１５０に供給される。画像生成部１５０は、各撮像系から読み出された撮像信号を選択または合成して、１つの出力画像を示す画像信号を生成する。
【００４５】
特定部１７４は、各撮像系で撮像された複数の画像の空間周波数成分を比較して、いずれかの画像にエイリアシング成分が含まれるか否かを特定する。そして、画像生成部１５０は、特定部１７４がいずれかの画像にエイリアシング成分が含まれる旨を特定した場合に、少なくとも一の画像を用いて、エイリアシング成分が低減された出力画像を生成する。例えば、画像生成部１５０は、エイリアシング成分を含まない画像が存在する場合に、当該画像を出力画像として出力してもよい。また、画像生成部１５０は、エイリアシング成分を含む画像に対して、エイリアシング成分を含む空間周波数領域の信号量を低減することにより、出力画像を生成してもよい。画像生成部１５０が出力画像を生成する具体的な処理については、後述する。
【００４６】
図４は、撮像部１０９が備える複数の撮像素子の配列例を模式的に示す。各撮像素子において被写体光を受光する開口４００は、水平方向４１０に略等しいピッチで配列される。また、開口４００は、垂直方向４２０にも略等しいピッチで配列される。一例として、水平方向４１０および垂直方向４２０のピッチは等しいとする。このように、第１レンズ１１０、第２レンズ１２０、第３レンズ１３０、第４レンズ１４０により結像された被写体光により撮像するいずれの撮像素子も、略等しいピッチでマトリクス状に配列される。
【００４７】
ここで、水平方向４１０および垂直方向４２０は、それぞれ上述した水平方向および垂直方向に該当する。斜め方向４３０および斜め方向４４０は、それぞれ上述した右斜め方向および左斜め方向に該当する。斜め方向４３０および斜め方向４４０には、水平方向４１０および垂直方向４２０よりも広い素子間隔、すなわち、小さいピッチで、撮像素子が配列されることとなる。したがって、撮像部１０９による被写体の解像力は、水平方向４１０および垂直方向４２０よりも、斜め方向４３０および斜め方向４４０の方が低い。また、撮像部１０９によるサンプリングのナイキスト周波数は、水平方向４１０および垂直方向４２０よりも、斜め方向４３０および斜め方向４４０で低くなる。このため、水平方向４１０および垂直方向４２０よりも斜め方向４３０および斜め方向４４０で、モアレ像が生じ易いといえる。
【００４８】
上述のとおり、撮像装置１００が有するレンズ部２００は、水平方向４１０および垂直方向４２０に提供できる横倍率の最大値よりも、斜め方向４３０および斜め方向４４０に提供できる横倍率の最大値の方が大きい。したがって、斜め方向４３０および斜め方向４４０で撮像素子が比較的に小ピッチとなることで生じる解像力の低下を、横倍率の大きさでカバーすることができる。また、モアレ像を生じにくくすることもできる。
【００４９】
図５は、撮像部１０９に入力される光信号の信号レベルの一例を模式的に示す。２次元的に広がりをもつ被写体からレンズ部２００へと入射した光は、レンズ部２００により２次元的な広がりの光信号に変換されて、撮像部１０９に入力される。ここでは、説明を簡単にすることを目的として、水平方向４１０の空間周波数ｆｘにつき説明する。撮像素子によるサンプリング周波数をｆｓ、対応するナイキスト周波数をｆＮとする。ここでは特に、ナイキスト周波数ｆＮよりも高い空間周波数領域の光信号に変換される特定周波数の入力光を取り上げて説明する。
【００５０】
水平方向４１０の横倍率は、第１レンズ１１０、第２レンズ１２０、第３レンズ１３０、第４レンズ１４０で互いに異なる。このため、各レンズに入射した特定周波数の入力光は、各レンズによって互いに異なる空間周波数領域の光信号に変換される。ここで、特定周波数の入力光は、第１レンズ１１０、第２レンズ１２０、第３レンズ１３０、および、第４レンズ１４０によってそれぞれｆ１１０、ｆ１２０、ｆ１３０、および、ｆ１４０の空間周波数の光信号に変換されるとする。水平方向４１０の横倍率は、第２レンズ１２０、第４レンズ１４０、第１レンズ１１０、第３レンズ１３０の順で高いので、撮像部１０９に入力される光信号は、ｆ１３０、ｆ１１０、ｆ１４０、ｆ１２０の順で高くなる。
【００５１】
なお、各レンズによる変換後の光信号の信号レベルは、各レンズのＭＴＦによって異なる。ここでは、各光信号を区別して示すことを目的として、各レンズによる変換後の光信号の信号レベルが、高周波数領域であるほど低いとする。
【００５２】
図６は、撮像部１０９によるサンプリング後の信号レベルの一例を示す。撮像部１０９に入力された光信号は、撮像部１０９によってサンプリングされて撮像画像となる。ｆ１１０の光信号は、ｆＮで折り返されて、撮像画像にはｆ'１１０のエイリアシング成分として現れる。同様に、ｆ１２０、ｆ１３０、ｆ１４０の光信号は、撮像画像にはそれぞれｆ'１２０、ｆ'１３０、ｆ'１４０のエイリアシング成分として現れる。撮像画像に現れるエイリアシング成分の周波数の高さは、ｆ'１２０、ｆ'１４０、ｆ'１１０、ｆ'１３０の順となる。このように、エイリアシング成分は、撮像画像には異なる周波数位置に分散して現れる。
【００５３】
図７は、撮像部１０９に入力される光信号の信号レベルの他の一例を模式的に示す。本図は、ｆ１２０およびｆ１４０がｆＮよりも低く、ｆ１１０およびｆ１３０がｆＮよりも高い場合の一例を示す。
【００５４】
図８は、図７で示した光信号のサンプリング後の信号レベルの一例を示す。光信号のうちｆ１２０およびｆ１４０の成分は、撮像画像においてもそれぞれｆ１２０およびｆ１４０の空間周波数に現れる。一方、ｆ１１０およびｆ１３０の成分は、ｆＮで折り返されて、撮像画像にはそれぞれｆ'１１０およびｆ'１３０のエイリアシング成分として現れる。このように、エイリアシング成分は、撮像画像には異なる周波数位置に分散して現れる。また、非エイリアシング成分も、異なる周波数位置に分散して現れる。光信号がｆＮに対して対称の周波数位置に存在しない限り、エイリアシング成分と非エイリアシング成分とが同じ周波数位置に現れることはない。
【００５５】
図６および図８に例示したように、特定周波数の入力光は、各レンズによって異なる周波数位置に分散される。この周波数位置は、各レンズの横倍率に対応して定まる。このため、各撮像系で撮像された撮像画像において、各レンズの横倍率に対応する周波数位置に周波数成分が存在している場合には、当該周波数成分はエイリアシング成分である可能性がある。
【００５６】
そこで、特定部１７４は、第１撮像系１０１が備える複数の撮像素子で撮像された第１画像の空間周波数成分と、第２撮像系１０２が備える複数の撮像素子で撮像された第２画像の空間周波数成分とを比較して、第１画像および第２画像の少なくとも一方にエイリアシング成分が含まれるか否かを特定する。具体的には、特定部１７４は、第１画像の空間周波数成分と第２画像の空間周波数成分との比較結果、第１レンズ１１０の横倍率および第２レンズ１２０の横倍率、ならびに複数の撮像素子によるサンプリング周期に基づき、第１撮像画像および第２撮像画像の少なくとも一方にエイリアシング成分が含まれるか否かを特定する。特定部１７４は、第１画像および第２画像の画像領域毎に、エイリアシング成分が含まれるか否かを特定してもよい。
【００５７】
図９は、画像生成部１５０による画像処理の一例を模式的に示す。画像生成部１５０は、第１撮像系１０１で撮像された画像に対して、第１レンズ１１０の方位による横倍率の違いを補正する画像処理を施して、補正画像を生成する。同様に、画像生成部１５０は、第２撮像系１０２、第３撮像系１０３、第４撮像系１０４で撮像された各画像に対して、各撮像系が有するレンズの方位による横倍率の違いを補正する画像処理を施して、補正画像を生成する。ここでは、画像生成部１５０は、特定の横倍率に規格化した補正画像を生成するとする。
【００５８】
ここで、説明を簡単にすべく、図６で例示したように、全撮像系で得られた撮像画像に水平方向のエイリアシング成分が現れる場合を考える。図６で例示したように、水平方向４１０については、各撮像系で撮像された撮像画像のうち、第３撮像系１０３で撮像された撮像画像に、最も低い周波数位置にエイリアス成分が現れる。各撮像系が備えるレンズのうち第３レンズ１３０が最も低い横倍率を持つので、撮像画像に対して倍率を規格化する補正を施した場合でも、第３撮像系１０３による画像の補正画像に、最も低い周波数位置にエイリアシング成分が含まれることとなる。レンズの横倍率が高いほど、補正画像に含まれるエイリアシング成分の周波数位置は高くなる。
【００５９】
本図では、横倍率の補正後の補正画像９１０、補正画像９２０、補正画像９３０、補正画像９４０を例示する。エイリアシング成分は各補正画像に縦線で表した。第３撮像系１０３で撮像された画像の補正画像は、最も低い周波数にエイリアシング成分を持つ補正画像９１０とする。補正画像９２０、補正画像９３０、および、補正画像９４０は、それぞれ第１撮像系１０１、第４撮像系１０４、第２撮像系１０２で撮像された撮像画像の補正画像とする。補正画像９１０、補正画像９２０、補正画像９３０、および、補正画像９４０に含まれるオブジェクト９１２、オブジェクト９２２、オブジェクト９３２、オブジェクト９４２は、同一被写体の像であり、非エイリアシング像であるとする。
【００６０】
画像生成部１５０は、生成した補正画像９１０、補正画像９２０、補正画像９３０、および、補正画像９４０を重ね合わせることにより、出力画像９５０を生成する。具体的には、画像生成部１５０は、補正画像９１０、補正画像９２０、補正画像９３０、および補正画像９４０を画素加算する。本重ね合わせ処理により、出力画像９５０には、オブジェクト９１２、オブジェクト９２２、オブジェクト９３２、オブジェクト９４２が重ね合わせられたオブジェクト９５２が含まれる。一方、エイリアシング成分は補正画像において現れる周波数位置が分散している。このため、重ね合わせ処理により、エイリアシング成分は出力画像９５０では平均化される。したがって、エイリアシング成分の信号量はオブジェクト９５２の信号量に対して相対的に低くなる。本図では、エイリアシング成分が平均化された様子を、出力画像９５０内のドットで模式的に示した。
【００６１】
このように、画像生成部１５０は、第１撮像系１０１で撮像された画像および第２撮像系１０２で撮像された画像の少なくとも一方の画像に、当該画像の撮像に用いられたレンズの方位による横倍率の違いを補正する画像処理を施して、出力画像を生成する。画像生成部１５０は、出力画像９５０を、第１画像と第２画像とを加算することにより生成する。
【００６２】
なお、上述したように、各撮像系が有するレンズは、光軸位置が互いに異なる。このため、いわゆる視差により、撮像画像上のオブジェクト位置にずれが生じる場合がある。そこで、画像生成部１５０は、当該オブジェクト位置のズレを補正して、出力画像を生成してもよい。具体的には、画像生成部１５０は、倍率補正した補正画像９１０、補正画像９２０、補正画像９３０、補正画像９４０に対して対応点マッチング等の解析をして対応点を特定する。そして、画像生成部１５０は、対応点に基づき各補正画像内の対応する領域を特定して、対応する領域毎に補正画像を重ね合わせて、出力画像を生成する。このように、画像生成部１５０は、第１画像および第２画像の少なくとも一方に対して、第１レンズ１１０および第２レンズ１２０の光軸の位置に応じた被写体像のズレを補正する画像処理を施して、出力画像を生成してもよい。
【００６３】
図１０は、撮像装置１００における画像撮像後の処理フローの一例を示す。画像生成部１５０は、各撮像系で撮像された画像に対して、倍率補正および視差補正を行う（Ｓ１００２）。そして、特定部１７４は、倍率補正および視差補正された画像から、エイリアシング成分の有無を特定する（Ｓ１００４）。そして、特定部１７４は、エイリアシング成分を含まない画像が存在するか否かを特定する（Ｓ１００６）。特定部１７４は、図６から図８にかけて説明した処理により、エイリアシング成分の有無を特定することができる。
【００６４】
Ｓ１００６においてエイリアシング成分を含まない画像がある旨が判断された場合、画像生成部１５０は、エイリアシング成分を含まない画像を、出力画像として選択する（Ｓ１００８）。なお、画像生成部１５０は、エイリアシング成分を含まない画像を方位毎に選択して、選択した画像を方位毎の画像信号として合成することにより、出力画像を生成してもよい。そして、画像生成部１５０は、選択した出力画像を記録部１８０に出力して（Ｓ１０１２）、処理を終了する。
【００６５】
Ｓ１００６においてエイリアシング成分を含まない画像がない旨が判断された場合、画像生成部１５０は、各撮像系で撮像された画像を重ね合わせる（Ｓ１０１０）。画像生成部１５０は、図９に関連して説明した処理により、エイリアシング成分の信号量が非エイリアシング成分と比較して相対的に低減された出力画像を生成する。そして、画像生成部１５０は、生成した出力画像を、記録部１８０に出力して（Ｓ１０１２）、処理を終了する。
【００６６】
本図の処理フローでは、エイリアシング成分を含まない画像がない場合に、重ね合わせ処理によりエイリアシング成分が低減された出力画像を生成するとした。画像生成部１５０は、エイリアシング成分を含まない画像の有無にかかわらず、重ね合わせ処理により出力画像を生成してもよい。また、特定部１７４がエイリアシング成分の有無を特定することなく、重ね合わせ処理をすることで出力画像を生成してもよい。
【００６７】
エイリアシング成分が低減された出力画像を生成する他の処理として、エイリアシング成分が現れた空間周波数位置を特定して、当該空間周波数位置の空間周波数成分の強度を低減する周波数処理を例示することができる。図６から図８に関連して説明したように、特定部１７４は、第１撮像系１０１が撮像した画像の空間周波数成分と第２撮像系１０２が撮像した画像の空間周波数成分とを比較して、エイリアシング成分が含まれる空間周波数領域を特定する。そして、画像生成部１５０は、少なくとも一方の画像にエイリアシング成分が含まれる旨を特定部１７４が特定した場合に、エイリアシング成分を含む画像に対して、特定部１７４が特定した空間周波数領域の周波数成分を低減する画像処理を施すことにより、出力画像を生成する。
【００６８】
以上に説明したように、レンズ部２００を備えた撮像装置１００によれば、比較的に容易な処理でモアレ成分を低減することができる。また、レンズ部２００を備えた撮像装置１００によれば、特定方位で解像力が著しく低減してしまうことを未然に防ぐことができる。
【００６９】
上記の説明では、横倍率が異なる方位を持つ４つのレンズを備えたレンズ部２００を例示した。レンズ部２００が備えるレンズ構成として、横倍率が異なる方位を持つ１つのレンズと、横倍率が各方位で実質的に等しい１つのレンズとを備える構成を採用することもできる。この場合、少なくとも一の方位での横倍率が、これら２つのレンズの間で異なればよい。
【００７０】
また、各撮像系が撮像に用いる被写体光の波長成分を異ならせてもよい。例えば、撮像装置１００は、緑の波長域の光であるＧ光により被写体をそれぞれ撮像する第１撮像系および第２撮像系と、緑とは異なる波長域の光により被写体を撮像する第３撮像系を備えてよい。第３撮像系１０３は、例えば赤および青に属する波長域の光により被写体を撮像してよい。第３撮像系１０３は、横倍率が異なる方位を持つレンズを有さなくてよい。一方、第１撮像系および第２撮像系は、横倍率が異なる方位を持つレンズを有する。本構成によれば、画像のＧ成分のモアレ成分を低減したり、解像力を高めることができる。このため、見た目の画質が比較的に高い出力画像を生成することができる。
【００７１】
また、上記の説明では、分かり易く説明することを目的として、特定方位での倍率の違いを比較的に大きいものとした。モアレ成分を低減したりエイリアシング成分を特定したりするためには、特定方位での横倍率の違いは、エイリアシング成分の周波数位置を分散させる程度の違いであればよい。
【００７２】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００７３】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００７４】
１００  撮像装置
１０１  第１撮像系
１０２  第２撮像系
１０３  第３撮像系
１０４  第４撮像系
１０９  撮像部
１１０  第１レンズ
１１２  第１絞り部
１１５  第１光学系
１１６  第１カラーフィルタアレイ
１１８  第１撮像素子アレイ
１１９  第１受光部
１２０  第２レンズ
１２９  第２受光部
１３０  第３レンズ
１３２  第３絞り部
１３５  第３光学系
１３６  第３カラーフィルタアレイ
１３８  第３撮像素子アレイ
１３９  第３受光部
１４０  第４レンズ
１４９  第４受光部
１５０  画像生成部
１７０  画像信号生成部
１７２  読み出し部
１７４  特定部
１８０  記録部
２００  レンズ部
４００  開口
４１０  水平方向
４２０  垂直方向
４３０、４４０  斜め方向
９１０、９２０、９３０、９４０  補正画像
９１２、９２２、９３２、９４２、９５２  オブジェクト
９５０  出力画像
【図１】
2012049632.tif 000003
【図２】
2012049632.tif 000004
【図３】
2012049632.tif 000005
【図４】
2012049632.tif 000006
【図５】
2012049632.tif 000007
【図６】
2012049632.tif 000008
【図７】
2012049632.tif 000009
【図８】
2012049632.tif 000010
【図９】
2012049632.tif 000011
【図１０】
2012049632.tif 000012