(57)【要約】【課題】本発明は、アレイレンズを備える撮像装置において、被写体までの距離に応じて結像する、アレイレンズの各個眼における前記各合焦位置が全個眼に対し同一ではない場合でも、当該撮像装置にとってより最適に合焦できる撮像装置および撮像方法を提供する。【解決手段】本発明の撮像装置は、アレイレンズと、複数の撮像部と、前記アレイレンズを移動させる駆動機構部と、前記複数の撮像部のうちの少なくとも２つの撮像部で撮像された画像に基づいて、前記被写体までの距離を求める距離算出部と、前記距離算出部で算出された前記被写体までの距離に基づいて、前記被写体に合焦するように前記駆動機構部に前記アレイレンズを移動させる制御部と、前記制御部によって前記アレイレンズの位置を移動させた後に、前記複数の撮像部によって撮像された複数の画像のうちの少なくとも２個以上の画像を合成することにより新たな合成画像を生成する画像合成部を備える。【選択図】図２
2016004152.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像光学系を持つアレイレンズと、
前記アレイレンズにおける前記複数の撮像光学系に対応し、複数の撮像光学系それぞれによって各撮像面にそれぞれ結像された被写体の各光学像をそれぞれ撮像する複数の撮像部と、
前記アレイレンズを支持し、所定の軸の軸方向に沿って前記アレイレンズを移動させる駆動機構部と、
前記複数の撮像部のうちの少なくとも２つの撮像部で撮像された画像に基づいて、前記被写体までの距離を求める距離算出部と、
前記距離算出部で算出された前記被写体までの距離に基づいて、前記被写体に合焦するように前記駆動機構部に前記アレイレンズを移動させる制御部と、
前記制御部によって前記アレイレンズの位置を移動させた後に、前記複数の撮像部によって撮像された複数の画像のうちの少なくとも２個以上の画像を合成することによって新たな合成画像を生成する画像合成部と
を備えることを特徴とする撮像装置。
【請求項２】
前記距離算出部は、前記複数の撮像部から、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも２つの撮像部を、変更して選択できる
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも２つの撮像部として、緑色の波長帯域で撮像する撮像部を選択する
ことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも２つの撮像部として、当該撮像装置の使用用途に応じて予め定められた色の波長帯域で撮像する撮像部を選択する
ことを特徴とする請求項１または２に記載の撮像装置。
【請求項５】
前記複数の撮像光学系それぞれの合焦位置は、予め設定された前記被写体までの所定距離に対して、予め測定されており、
前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する２つの撮像部として、前記少なくとも２つの撮像部から、前記少なくとも２つの撮像部それぞれに対応する撮像光学系の合焦位置の平均値から所定の範囲内の合焦位置を有する撮像光学系に対応する撮像部を選択する
ことを特徴とする請求項１または２に記載の撮像装置。
【請求項６】
前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも２つの撮像部として、前記アレイレンズの所定の対応点に対して互いに対称な位置に配置されている撮像光学系に対応する撮像部を選択する
ことを特徴とする請求項１または２に記載の撮像装置。
【請求項７】
前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも２つの撮像部の１つとして、前記アレイレンズの中央位置から所定の範囲内の位置に配置されている撮像光学系に対応する撮像部を選択する
ことを特徴とする請求項１または２に記載の撮像装置。
【請求項８】
前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも２つの撮像部として、前記アレイレンズの中央位置に寄った位置に配置された撮像光学系、及び、前記アレイレンズの周辺部に寄った位置に配置された撮像光学系に、それぞれ対応する撮像部を選択する
ことを特徴とする請求項１または２に記載の撮像装置。
【請求項９】
前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも２つの撮像部として、前記アレイレンズの周辺部に寄った位置に配置されている撮像光学系であって、前記アレイレンズの中央位置に対して互いに対称な位置に配置されている撮像光学系に対応する撮像部を選択する
ことを特徴とする請求項１または２に記載の撮像装置。
【請求項１０】
前記複数の撮像光学系それぞれの合焦位置は、予め設定された前記被写体までの所定距離に対して、予め測定されており、
前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも２つの撮像部として、前記複数の撮像光学系のうちの、前記複数の撮像光学系それぞれの合焦位置の平均値から所定の範囲内の合焦位置を有する撮像光学系に対応する撮像部を選択する
ことを特徴とする請求項１または２に記載の撮像装置。
【請求項１１】
前記複数の撮像光学系それぞれの合焦位置は、予め設定された前記被写体までの所定距離に対して、予め測定されており、
前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも２つの撮像部として、前記少なくとも２つの撮像部に対応する撮像光学系の合焦位置の平均値が、前記複数の撮像光学系それぞれの合焦位置の平均値と同じとなるような撮像光学系に対応する撮像部を選択する
ことを特徴とする請求項１または２に記載の撮像装置。
【請求項１２】
前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも２つの撮像部として、同一色の波長帯域で撮像する撮像部を選択する
ことを特徴とする請求項１または２に記載の撮像装置。
【請求項１３】
前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも２つの撮像部として、互いに異なる色の波長帯域で撮像する撮像部を選択する
ことを特徴とする請求項１または２に記載の撮像装置。
【請求項１４】
前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも２つの撮像部のうちの少なくとも１つとして、当該撮像装置の使用用途に応じて予め定められた色の波長帯域で撮像する撮像部を選択する
ことを特徴とする請求項１または２に記載の撮像装置。
【請求項１５】
前記被写体までの距離を求めるために用いる画像を撮像する少なくとも２つの撮像部に対応して、前記被写体までの距離に応じた補正情報を記憶する記憶部を、更に備え、
前記距離演算部は、前記複数の撮像部のうちの少なくとも２つの撮像部で撮像された画像に基づいて、前記被写体までの距離を求め、求めた前記被写体までの距離を、前記少なくとも２つの撮像部に対応する撮像光学系の前記記憶部に記憶されている補正情報に基づいて補正し、
前記制御部は、前記補正された前記被写体までの距離に基づいて、前記被写体に合焦するように前記駆動機構部に前記アレイレンズを移動させる
ことを特徴とする請求項１〜１４のうちのいずれか１項に記載の撮像装置。
【請求項１６】
複数の撮像光学系を持つアレイレンズと、前記アレイレンズにおける前記複数の撮像光学系に対応し、複数の撮像光学系それぞれによって各撮像面にそれぞれ結像された被写体の各光学像をそれぞれ撮像する複数の撮像部と、前記アレイレンズを支持し、所定の軸の軸方向に沿って前記アレイレンズを移動させる駆動機構部と、を備える撮像装置の撮像方法であって、
前記複数の撮像部のうちの少なくとも２つの撮像部で撮像された画像に基づいて、前記被写体までの距離を求める距離算出工程と、
前記距離算出工程で算出された前記被写体までの距離に基づいて、前記被写体に合焦するように前記駆動機構部に前記アレイレンズを移動させる制御工程と、
前記制御工程によって前記アレイレンズの位置を移動させた後に、前記複数の撮像部によって撮像された複数の画像のうちの少なくとも２個以上の画像を合成することによって新たな合成画像を生成する画像合成工程と
を備えることを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体（被写体）の光学像を撮像する撮像装置および撮像方法に関する。
【背景技術】
【０００２】
撮像装置は、一般に、物体（被写体）の光学像を結像する撮像光学系と、前記撮像光学系によって受光面（撮像面）上に結像された前記光学像を電気的な信号に変換する撮像素子とを備えている。このような撮像装置の一つに、アレイ状に配列された複数の撮像光学系（個眼）を備えるアレイレンズを用いた装置が知られている。このようなアレイレンズを用いた撮像装置は、一例として、例えば、特許文献１に開示された撮像装置がある。
【０００３】
この特許文献１に開示された撮像装置は、複数のレンズを含むレンズアレイと、前記複数のレンズと一対一に対応して設けられ、対応する前記レンズの光軸方向に対して略垂直な受光面をそれぞれ有する複数の撮像領域と、前記レンズアレイの近傍に配置され温度を検知する温度センサーと、前記温度センサーにより検知された温度に基づいて、前記複数のレンズのすべての光軸の移動量に応じて前記撮像領域において生成された撮像信号を補正する温度補償／撮像信号補正部とを備えている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４２６４４６４号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、このようなアレイレンズを用いた撮像装置は、従来、固定焦点方式でアレイレンズによって撮像素子の受光面に物体の光学像を結像している。前記特許文献１に開示された撮像装置は、各個眼の各光軸における各移動量、すなわち、光軸に直交する方向の移動量を温度補償している。したがって、前記特許文献１に開示された撮像装置は、光軸に沿った方向にレンズアレイ（アレイレンズ）を移動しているわけではなく、固定焦点方式である。
【０００６】
一方、近年では、アレイレンズを用いた撮像装置に対し、より高精度に合焦することが要望されてきている。このため、アレイレンズを用いた撮像装置に、オートフォーカス機能を搭載することが考えられる。この場合、アレイレンズの各個眼において、被写体までの距離に応じて結像する各結像位置（合焦位置）が、互いに同一であれば、前記アレイレンズにおける任意の１個の個眼に対し、オートフォーカスを実行することによって、全ての個眼に対しても合焦できる。しかしながら、アレイレンズの各個眼において、被写体までの距離に応じて結像する前記各合焦位置は、全個眼に対し必ずしも同一であるとは限らず、製造誤差等によって各個眼ごとに異なる場合が多い。このため、前記アレイレンズにおける任意の１個の個眼に対し、オートフォーカスを実行しても、全ての個眼に対して必ずしも合焦できるとは限らない。
【０００７】
本発明は、上述の事情に鑑みて為された発明であり、その目的は、アレイレンズを備える撮像装置において、被写体までの距離に応じて結像する、アレイレンズの各個眼における前記各合焦位置が全個眼に対し同一ではない場合でも、当該撮像装置にとってより最適に合焦できる撮像装置および撮像方法を提供することである。
【課題を解決するための手段】
【０００８】
本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。すなわち、本発明の一態様にかかる撮像装置は、複数の撮像光学系を持つアレイレンズと、前記アレイレンズにおける前記複数の撮像光学系に対応し、複数の撮像光学系それぞれによって各撮像面にそれぞれ結像された被写体の各光学像をそれぞれ撮像する複数の撮像部と、前記アレイレンズを支持し、所定の軸の軸方向に沿って前記アレイレンズを移動させる駆動機構部と、前記複数の撮像部のうちの少なくとも２つの撮像部で撮像された画像に基づいて、前記被写体までの距離を求める距離算出部と、前記距離算出部で算出された前記被写体までの距離に基づいて、前記被写体に合焦するように前記駆動機構部に前記アレイレンズを移動させる制御部と、前記制御部によって前記アレイレンズの位置を移動させた後に、前記複数の撮像部によって撮像された複数の画像のうちの少なくとも２個以上の画像を合成することによって新たな合成画像を生成する画像合成部とを備えることを特徴とする。
【０００９】
このような撮像装置は、少なくとも２つの撮像部によって撮像された複数の画像に基づいてオートフォーカスを実行する。つまり、上記撮像装置では、複数の撮像部のうちの２以上の撮像部によって撮像された画像に基づいて、被写体までの距離を算出し、算出した距離に基づいて、被写体に合焦するようにアレイレンズを移動するので、当該撮像装置は最適に合焦することが可能となる。
【００１０】
また、このような撮像装置は、被写体に合焦したアレイレンズに対応する撮像部により撮像された画像を用いて合成画像を生成するので、より広いダイナミックレンジの画像を生成する画像処理や、より解像度の高い解像度の画像を生成する画像処理（例えば超解像処理等）を精度よく行うことが可能となる。
【００１１】
また、他の一態様では、上述の撮像装置において、前記距離算出部は、前記複数の撮像部から、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも２つの撮像部を、変更して選択できることを特徴とする。
【００１２】
このような撮像装置は、被写体までの距離を求めるための撮像部を変更して選択できるので、状況に応じて当該撮像装置にとって適した撮像部を選択することが可能となる。
【００１３】
また、他の一態様では、これら上述の撮像装置において、前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも２つの撮像部として、緑色の波長帯域で撮像する撮像部を選択することを特徴とする。
【００１４】
人の視感感度は、緑色に対して最も高いことが知られている。上記撮像装置では、オートフォーカスの際におけるアレイレンズの合焦位置は、緑色の波長帯域で撮像する撮像部によって撮像された複数の画像に基づいて決定される。このため、上記撮像装置は、人の視感感度の高い緑色の波長帯域をより良く合焦した状態で好適に撮像できる。
【００１５】
また、他の一態様では、これら上述の撮像装置において、前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも２つの撮像部として、当該撮像装置の使用用途に応じて予め定められた色の波長帯域で撮像する撮像部を選択することを特徴とする。
【００１６】
一般に、主に撮像したい被写体は、当該撮像装置の使用用途に応じて決まる。例えば、植物の成長を観察する用途の撮像装置では、緑色の被写体が主体となる。また例えば、果実の成熟具合を観察する用途の撮像装置では、赤色の被写体が主体となる。上記撮像装置では、オートフォーカスの際におけるアレイレンズの合焦位置は、当該撮像装置の使用用途に応じて予め設定された色の波長帯域で撮像する撮像部によって撮像された複数の画像に基づいて決定される。このため、上記撮像装置は、当該撮像装置の使用用途に応じて、より良く合焦した状態で好適に撮像できる。
【００１７】
また、他の一態様では、これら上述の撮像装置において、前記複数の撮像光学系それぞれの合焦位置は、予め設定された前記被写体までの所定距離に対して、予め測定されており、前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する２つの撮像部として、前記少なくとも２つの撮像部から、前記少なくとも２つの撮像部それぞれに対応する撮像光学系の合焦位置の平均値から所定の範囲内の合焦位置を有する撮像光学系に対応する撮像部を選択することを特徴とする。
【００１８】
このような撮像装置では、オートフォーカスの際におけるアレイレンズの合焦位置は、複数の撮像光学系のうちの少なくとも２つの撮像光学系（複数の撮像光学系のうちの一部の撮像光学系）の各合焦位置の平均値から所定の範囲内にある合焦位置を持つ撮像光学系であって、平均値をとった前記少なくとも２つの撮像光学系（前記一部の撮像光学系）から選択された撮像光学系に対応する撮像部によって撮像された複数の画像に基づいて決定される。このため、上記撮像装置は、前記少なくとも２つの撮像光学系（前記一部の撮像光学系）それぞれに対し各合焦位置のずれを小さくできるので、より最適に合焦できる。
【００１９】
また、他の一態様では、これら上述の撮像装置において、前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも２つの撮像部として、前記アレイレンズの所定の対応点に対して互いに対称な位置に配置されている撮像光学系に対応する撮像部を選択することを特徴とする。
【００２０】
仮にアレイレンズが軸方向に対し傾くと、この傾きによって合焦位置がずれる。上記撮像装置では、オートフォーカスの際におけるアレイレンズの合焦位置は、所定の対応点（例えば、中央位置）に対して互いに対称な位置に配置された複数の撮像光学系に対応する複数の撮像部によって撮像された複数の画像に基づいて決定される。このため、上記撮像装置は、アレイレンズが傾いた場合に、この傾きを考慮してオートフォーカスを実施できる。
【００２１】
また、他の一態様では、これら上述の撮像装置において、前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも２つの撮像部の１つとして、前記アレイレンズの中央位置から所定の範囲内の位置に配置されている撮像光学系に対応する撮像部を選択することを特徴とする。
【００２２】
通常、撮像したい被写体は、画像の中央に位置すると考えられる。上記撮像装置では、オートフォーカスの際におけるアレイレンズの合焦位置は、中央位置から所定の範囲内に配置された撮像光学系に対応する撮像部によって撮像された複数の画像に基づいて決定される。このため、上記撮像装置は、前記中央位置から所定の範囲内に配置された撮像光学系に対応する個眼（撮像光学系）を用いて、被写体までの距離をより正確に求めることができるので、より良く合焦した状態で好適に撮像できる。また、アレイレンズの中央位置が撮像光学系の中心にあるため、アレイレンズの中央位置または中央部分でＡＦ（オートフォーカス）すると周辺側でＡＦするより広い範囲で焦点があうので全体として好適に補正できる。
【００２３】
また、他の一態様では、これら上述の撮像装置において、前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも２つの撮像部として、前記アレイレンズの中央位置に寄った位置に配置された撮像光学系、及び、前記アレイレンズの周辺部に寄った位置に配置された撮像光学系に、それぞれ対応する撮像部を選択することを特徴とする。
【００２４】
このような撮像装置では、被写体までの距離を求めるための撮像部は、アレイレンズの中央位置に寄った位置に配置された複数の撮像光学系と、周辺部に寄った位置に配置された撮像光学系に対応する複数の撮像部である。したがって、より離間した複数の個眼が用いられるので、被写体までの距離をより精度よく求めることができ、上記撮像装置は、より良く合焦した状態で好適に撮像できる。
【００２５】
また、他の一態様では、これら上述の撮像装置において、前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも２つの撮像部として、前記アレイレンズの周辺部に寄った位置に配置されている撮像光学系であって、前記アレイレンズの中央位置に対して互いに対称な位置に配置されている撮像光学系に対応する撮像部を選択することを特徴とする。
【００２６】
このような撮像装置では、被写体までの距離を求めるための撮像部は、アレイレンズの中央位置に対して互いに対称な前記位置に配置された複数の撮像光学系の中でも、周辺部に寄った位置に配置された複数の撮像光学系に対応する複数の撮像部である。したがって、より離間した複数の個眼が用いられるので、上記撮像装置は、より良く合焦した状態で好適に撮像できる。
【００２７】
また、他の一態様では、これら上述の撮像装置において、前記複数の撮像光学系それぞれの合焦位置は、予め設定された前記被写体までの所定距離に対して、予め測定されており、前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも２つの撮像部として、前記複数の撮像光学系のうちの、前記複数の撮像光学系それぞれの合焦位置の平均値から所定の範囲内の合焦位置を有する撮像光学系に対応する撮像部を選択することを特徴とする。
【００２８】
このような撮像装置では、オートフォーカスの際におけるアレイレンズの合焦位置は、複数の撮像光学系全てにおける各合焦位置の平均値から、所定の範囲内にある合焦位置を持つ撮像光学系に対応する撮像部によって撮像された複数の画像に基づいて、決定される。このため、上記撮像装置は、全ての個眼（複数の撮像光学系）それぞれに対し各個眼合焦位置のずれを小さくでき、全ての個眼に対し総合的に最適な合焦状態を実現できるから、当該撮像装置にとってより最適に合焦できる。
【００２９】
また、他の一態様では、これら上述の撮像装置において、前記複数の撮像光学系それぞれの合焦位置は、予め設定された前記被写体までの所定距離に対して、予め測定されており、前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも２つの撮像部として、前記少なくとも２つの撮像部に対応する撮像光学系の合焦位置の平均値が、前記複数の撮像光学系それぞれの合焦位置の平均値と同じとなるような撮像光学系に対応する撮像部を選択することを特徴とする。
【００３０】
このような撮像装置では、オートフォーカスの際におけるアレイレンズの合焦位置は、被写体までの距離を求めるための撮像部に対応する撮像光学系における合焦位置の平均値が、前記複数の撮像光学系における全ての撮像光学系の合焦位置の平均値に一致する撮像光学系に対応する撮像部によって撮像された複数の画像に基づいて決定される。このため、上記撮像装置は、前記複数の撮像部に対応する個眼（撮像光学系）に対し、個眼合焦位置のずれを小さくでき、当該撮像装置にとってより最適に合焦できる。
【００３１】
また、他の一態様では、これら上述の撮像装置において、前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも２つの撮像部として、同一色の波長帯域で撮像する撮像部を選択することを特徴とする。
【００３２】
このような撮像装置では、オートフォーカスの際におけるアレイレンズの合焦位置は、同一色の波長帯域で撮像する複数の撮像部によって撮像された複数の画像に基づいて決定される。このため、上記撮像装置は、同一色の波長帯域で撮像する複数の撮像部に対応する各個眼に対し、各個眼合焦位置のずれを小さくでき、同一色の波長帯域をより良く合焦した状態で好適に撮像できる。
【００３３】
また、他の一態様では、これら上述の撮像装置において、前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも２つの撮像部として、互いに異なる色の波長帯域で撮像する撮像部を選択することを特徴とする。
【００３４】
このような撮像装置では、オートフォーカスの際におけるアレイレンズの合焦位置は、互いに異なる色の波長帯域で撮像する複数の撮像部によって撮像された複数の画像に基づいて決定される。このため、上記撮像装置は、互いに異なる色の波長帯域で撮像する複数の撮像部に対応する各個眼に対し、各合焦位置のずれを小さくでき、互いに異なる色の波長帯域をより良く合焦した状態で好適に撮像できる。
【００３５】
また、他の一態様では、これら上述の撮像装置において、前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも２つの撮像部のうちの少なくとも１つとして、当該撮像装置の使用用途に応じて予め定められた色の波長帯域で撮像する撮像部を選択することを特徴とする。
【００３６】
一般に、主に撮像したい被写体は、当該撮像装置の使用用途に応じて決まる。例えば、周辺を監視する車載用の撮像装置では、可視光だけでなく、赤外線が主体になる場合がある。上記撮像装置では、オートフォーカスの際におけるアレイレンズの合焦位置は、当該撮像装置の使用用途に応じて予め設定された色の波長帯域で撮像する撮像部を少なくとも１つ含む撮像部で撮像された複数の画像に基づいて求められた被写体までの距離に基づいて決定される。従って、被写体までの距離を求めるために用いる他の撮像部は、例えば、基線長が長くなるような撮像部を選択したりすることができるので、上記撮像装置は、当該撮像装置の使用用途に応じて、より良く合焦した状態で好適に撮像でき、更に、他の撮像部の選択に応じて、測距の精度があがることでより良く合焦した状態とすることができる等の効果を奏することが可能となる。
【００３７】
また、他の一態様では、これら上述の撮像装置において、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも２つの撮像部に対応して、前記被写体までの距離に応じた補正情報を記憶する記憶部を、更に備え、前記距離演算部は、前記複数の撮像部のうちの少なくとも２つの撮像部で撮像された画像に基づいて、前記被写体までの距離を求め、求めた前記被写体までの距離を、前記少なくとも２つの撮像部に対応する撮像光学系の前記記憶部に記憶されている誤差に基づいて補正し、前記制御部は、前記補正された前記被写体までの距離に基づいて、前記被写体に合焦するように前記駆動機構部に前記アレイレンズを移動させることを特徴とする。
【００３８】
例えば当該撮像装置の設計上の都合や撮像装置を用いたシステムの設計上の都合等によって、各撮像光学系の合焦位置が設計値と異なる場合が生じ得る。合焦位置が設計値と異なる撮像光学系と対応する撮像部による画像を用いて算出した被写体までの距離は、精度が高くない場合がある。従って、前記被写体までの距離に応じた補正情報に基づいて、算出した被写体までの距離を補正するので、より最適なアレイレンズの合焦位置にオートフォーカスでき、当該撮像装置にとってより最適に合焦できる。
【００３９】
そして、他の一態様にかかる撮像方法は、複数の撮像光学系を持つアレイレンズと、前記アレイレンズにおける前記複数の撮像光学系に対応し、複数の撮像光学系それぞれによって各撮像面にそれぞれ結像された被写体の各光学像をそれぞれ撮像する複数の撮像部と、前記アレイレンズを支持し、所定の軸の軸方向に沿って前記アレイレンズを移動させる駆動機構部と、を備える撮像装置の撮像方法であって、前記複数の撮像部のうちの少なくとも２つの撮像部で撮像された画像に基づいて、前記被写体までの距離を求める距離算出工程と、前記距離算出工程で算出された前記被写体までの距離に基づいて、前記被写体に合焦するように前記駆動機構部に前記アレイレンズを移動させる制御工程と、前記制御工程によって前記アレイレンズの位置を移動させた後に、前記複数の撮像部によって撮像された複数の画像のうちの少なくとも２個以上の画像を合成することによって新たな合成画像を生成する画像合成工程とを備えることを特徴とする。
【００４０】
このような撮像方法は、複数の撮像部のうちの２以上の撮像部によって撮像された複数の画像に基づいてオートフォーカスを実行する。この際に、上記撮像方法では、複数の撮像部のうちの２以上の撮像部によって撮像された画像に基づいて、被写体までの距離を算出し、算出した距離に基づいて、被写体に合焦するようにアレイレンズを移動するので、当該撮像装置は最適に合焦することが可能となる。
【発明の効果】
【００４１】
本発明にかかる撮像装置および撮像方法は、アレイレンズを備える撮像装置において、被写体までの距離に応じて結像する。アレイレンズの各個眼における前記各合焦位置が全個眼に対し同一ではない場合でも、当該撮像装置にとってより最適に合焦できる。
【図面の簡単な説明】
【００４２】
【図１】実施形態における撮像装置の構造的な構成を示す図である。
【図２】前記撮像装置の電気的な構成を示すブロック図である。
【図３】対応点探索を説明するための図である。
【図４】いわゆる三角測量の原理で視差から被写体までの距離を求める方法を説明するための図である。
【図５】被写体までの距離を求める方を説明するための図である。
【図６】各個眼の合焦位置の違いと被写体までの距離とを説明するための図である。
【図７】被写体までの距離を求めるために選択する撮像部（第１態様）を説明するための図である。
【図８】被写体までの距離を求めるために選択する撮像部（第２態様）を説明するための図である。
【図９】被写体までの距離を求めるために選択する撮像部（第３態様）を説明するための図である。
【図１０】実施形態の撮像装置に用いられる第１態様の色フィルタを説明するための図である。
【図１１】実施形態の撮像装置に用いられる第２態様の色フィルタを説明するための図である。
【図１２】被写体までの距離を求めるために選択する撮像部（第４態様）を説明するための図である。
【図１３】被写体までの距離を求めるために選択する撮像部（第５態様）を説明するための図である。
【図１４】実施形態の撮像装置に用いられる第３態様の色フィルタを説明するための図である（第６態様）。
【図１５】実施形態における撮像装置の動作を示す第１のフローチャートである。
【図１６】実施形態における撮像装置の動作を示す第２のフローチャートである。
【図１７】アレイレンズにおける、例えば製造誤差等による光軸方向に沿った各合焦位置の変化を説明するための図である。
【発明を実施するための形態】
【００４３】
以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。
【００４４】
本実施形態における撮像装置Ｉは、複数の撮像光学系（個眼）を持つアレイレンズを備え、前記複数の撮像光学系それぞれによって各撮像面（各受光面）上にそれぞれ結像された物体（被写体）の各光学像をそれぞれ撮像し、これら撮像された複数の画像のうちの少なくとも２個以上の画像を合成することによって新たな合成画像を生成する装置である。撮像装置Ｉは、静止画の画像（画像信号、画像データ）を生成して良く、および／または、動画の画像（画像信号、画像データ）を生成して良い。なお、Ａおよび／またはＢは、ＡおよびＢのうちの少なくとも一方を意味する。そして、本実施形態における撮像装置Ｉでは、前記複数の撮像光学系それぞれによって結像された物体の各光学像が撮像される際に、アレイレンズの位置がオートフォーカスによって制御される。したがって、本実施形態における撮像装置Iは、当該撮像装置にとってより最適に合焦できる。以下、このような撮像装置Ｉの各態様を順に説明する。
【００４５】
図１は、実施形態における撮像装置の構造的な構成を示す図である。図１（Ａ）は、平面図であり、図１（Ｂ）は、側面図である。図１（Ｂ）は、図示するＸＹＺ直交座標系におけるＹ方向から見た場合の側面図である。ＸＹＺ直交座標系は、例えば、後述するアレイレンズ１１における各個眼の配列方向に沿ってＸ方向およびＹ方向が設定され、これらＸ方向およびＹ方向それぞれに直交する方向にＺ方向が設定される。以下、Ｘ方向、Ｙ方向およびＺ方向を適宜に用いて撮像装置Ｉの構成を説明する。なお、＋Ｘ方向は、アレイレンズ１１におけるＸ方向に沿った他方端から一方端に向かう方向であり、−Ｘ方向は、アレイレンズ１１におけるＸ方向に沿った一方端から他方端に向かう方向であり、＋Ｙ方向は、アレイレンズ１１におけるＹ方向に沿った他方端から一方端に向かう方向であり、−Ｙ方向は、アレイレンズ１１におけるＹ方向に沿った一方端から他方端に向かう方向であり、＋Ｚ方向は、アレイレンズ１１が撮像部５から離れる方向であり、−Ｚ方向は、アレイレンズ１１が撮像部５に近づく方向である。図２は、前記撮像装置の電気的な構成を示すブロック図である。
【００４６】
本実施形態における撮像装置Ｉは、例えば、図１および図２に示すように、アレイレンズ１１を含む光学部品１と、支持機構２と、支持部材３と、駆動部４と、複数の撮像部５と、位置検出部７と、オートフォーカス制御部（ＡＦ制御部）８２および画像合成部８３２を含む制御処理部８と、記憶部９とを備える。これら支持機構２および駆動部４は、駆動機構部を構成し、駆動機構部の一例である。またこれら光学部品１、支持機構２、支持部材３および駆動部４は、撮像部５の受光面上に物体の光学像を結像するレンズユニットを構成する。
【００４７】
支持機構２は、光学部品１を支持するための部材である。支持機構２は、例えば、本実施形態では、光学部品１を所定の軸の軸方向に沿ってガイドするように光学部品１を片持ちで弾性支持する平行ばね部材２である。前記所定の軸は、例えば、前記レンズユニットの光軸や撮像部５の光軸等である。この平行ばね部材２は、一方向（図１に示す例ではＸ方向）に長尺な１対（２個）のばね部材を備え、これら１対のばね部材がその長尺な方向（延伸方向）で互いに平行となるように、その長尺な方向と直交する方向で離間して配置されて構成される。このような平行ばね部材２は、例えば、１対の板バネで構成される。また例えば、平行ばね部材２は、１対のサスペンションワイヤで構成される。このように平行ばね部材２は、平行な２個の１対なばね部材で機能するが、本実施形態では、光学部品１に作用する駆動部４による駆動力および平行ばね部材２による付勢力の各力のバランスを考慮して、光学部品１をＹ方向の両側から片持ちで弾性支持するように、平行ばね部材２は、１組の第１および第２平行ばね部材２１、２２で構成されている。そして、第１平行ばね部材２１は、Ｚ方向に所定の距離だけ離間してＺ方向に平行となるように配置される、２個の１対の第１１および第１２ばね部材２１−１、２１−２を備えて構成され、これら第１１および第１２ばね部材２１−１、２１−２におけるＸ方向の各一方端部（第１平行ばね部材２１の一方端部）は、光学部品１に連結され、これらのＸ方向の各他方端部（第１平行ばね部材２１の他方端部）は、支持部材３に連結される。第２平行ばね部材２２は、Ｚ方向に前記所定の距離だけ離間してＸ方向に平行となるように配置される、２個の１対の第２１および第２２ばね部材２２−１、２２−２を備えて構成され、これら第２１および第２２ばね部材２２−１、２２−２におけるＸ方向の各一方端部（第２平行ばね部材２２の一方端部）は、光学部品１に連結され、これらのＸ方向の各他方端部（第２平行ばね部材２２の他方端部）は、支持部材３に連結される。
【００４８】
なお、本実施形態では、支持機構２は、平行ばね部材２であるが、これに限定されるものではなく、他の機構であってもよい。例えば、支持機構２は、前記軸方向に沿ってアレイレンズ１１を直進ガイドする平行リンク機構であっても良い。
【００４９】
光学部品１は、支持機構（本実施形態では平行ばね部材）２によって弾性支持され、物体の光学像を撮像部５の受光面（撮像面）上に結像するために、アレイレンズ１１を含む部品である。より具体的には、光学部品１は、平面視にて矩形形状（正方形を含む）のアレイレンズ１１と、レンズ保持枠１２とを備える。なお、光学部品１は、駆動部４の駆動力を直接的にアレイレンズ１１に伝達するように構成されてもよいが、本実施形態では、光学部品１は、前記駆動力をレンズ保持枠１２に伝達するように構成されており、上述のように、アレイレンズ１１とレンズ保持枠１２とを備えている。
【００５０】
アレイレンズ１１は、線形独立な２方向、より具体的には互いに直交するＸ方向およびＹ方向の２方向に２次元マトリクス状に配列された複数の撮像光学系（個眼）１１１を備える。これら複数の撮像光学系１１１は、それぞれ、物体の光学像を撮像部５の受光面上に結像するために、１または複数の光学レンズを光軸に沿って含む部品である。複数の撮像光学系１１１は、この図１に示す例では、各光軸が互いに略平行となるように、配列される。したがって、複数の撮像光学系１１１を介して物体の各光学像を撮像する複数の撮像部５は、それぞれ、視差だけ互いに異なるが略同じ被写体を写した画像の画像信号を生成することになる。図１に示す例では、アレイレンズ１１は、４行４列に２次元マトリクス状に配列された１６個の撮像光学系１１１−１１〜１１１−４４を備える。なお、撮像光学系１１１の個数は、これに限定されるものではなく、また、光軸に関し、必ずしも全ての撮像光学系１１１が平行である必要はない。
【００５１】
レンズ保持枠１２は、アレイレンズ１１を保持するための部材である。レンズ保持枠１２は、例えば、アレイレンズ１１の外形形状に応じた形状の貫通開口を形成した短高の筒状部材である。図１示す例では、アレイレンズ１１の外形形状が矩形形状であることから、レンズ保持枠１２は、平面視にて、矩形形状の貫通開口を有し、矩形形状の外形形状を有する筒状部材である。アレイレンズ１１は、レンズ保持枠１２の前記貫通開口に嵌め込まれて例えば接着剤等によって固定される。レンズ保持枠１２は、支持機構２の一方端部を取り付けるための第１ばね取付部１２１を備える。より具体的には、本実施形態では、図１に示すように、光学部品１をその両側から１組（１対のばね部材を１個として２個）の第１および第２平行ばね部材２１（２１−１、２１−２）、２２（２２−１、２２−２）によって片持ちで弾性支持するため、これに応じて第１ばね取付部１２１は、２個の第１１ばね取付部１２１−１および第１２ばね取付部１２１−２で構成される。これら１対の第１１および第１２ばね取付部１２１−１、１２１−２は、外方向の＋Ｙ方向および−Ｙ方向それぞれに延びる各角柱形状で、前記貫通開口を介して互いに対向するように、レンズ保持枠１２における互いに対向する各外周側面（Ｙ方向の両端それぞれに位置する各外周側面）のＸ方向の一方端の各位置に、それぞれ形成されている。角柱形状の第１ばね取付部１２１における上下面（１対の第１１および第１２ばね取付部１２１−１、１２１−２における各上下面）は、１組の平行ばね部材２の一方端部（１組の第１および第２平行ばね部材２１、２２の各一方端部）を取り付けるための取付面であり、したがって、第１ばね取付部１２１のＺ方向の長さは、平行ばね部材２における第１１ばね部材２１−１と第１２ばね部材２１−２とのＺ方向の距離（第２１ばね部材２２−１と第２２ばね部材２２−２とのＺ方向の距離）に対応した長さである。なお、レンズ保持枠１２は、係合突起部１２２を備えるが、この係合突起部１２２は、後に、説明される。
【００５２】
支持部材３は、支持機構２を支持するための部材である。本実施形態では、支持機構２が１組の第１および第２平行ばね部材２１、２２であるので、支持部材３は、第１および第２平行ばね部材２１、２２における各他方端部が取り付けられて第１および第２平行ばね部材２１、２２を支持している。より具体的には、図１に示す例では、支持部材３は、基部３１と、第２ばね取付部３２とを備える。
【００５３】
基部３１は、矩形形状の外形形状を有した板状の部材である。基部３１の略中央領域には、光学部品１のアレイレンズ１１を透過した光学像の各光束を受光する撮像部５を取り付けるための取付領域となっている。
【００５４】
第２ばね取付部３２は、平行ばね部材２の他方端部を取り付けるための部材である。より具体的には、本実施形態では、上述したように、光学部品１を１組（前記２個）の第１および第２平行ばね部材２１（２１−１、２１−２）、２２（２２−１、２２−２）によって片持ちで弾性支持するため、これに応じて第２ばね取付部３２は、２個の第２１ばね取付部３２−１および第２２ばね取付部３２−２で構成される。これら１対の第２１および第２２ばね取付部３２−１、３２−２は、上方向の＋Ｚ方向に延びる各角柱形状で、第２ばね取付部３２に取り付けられた１組の平行ばね部材２１、２２を介して光学部品１を弾性支持した場合にアレイレンズ１１を透過した各光学像の光束が基部３１の前記取付領域に到達できる配設位置であって、レンズ保持枠１２におけるＸ方向の他方端に位置する外周側面の外側近傍の配設位置（図１に示す例では矩形形状の基部３１の一方主面におけるＸ方向の他方端の位置）に、基部３１の一方主面から略垂直に立設するように基部３１に、それぞれ形成されている。そして、１対の第２１および第２２ばね取付部３２−１、３２−２は、平行ばね部材２の他方端部（１組の第１および第２平行ばね部材２１、２２の各他方端部）を取り付けるための取付面を形成するために、平行ばね部材２における第１１ばね部材２１−１と第１２ばね部材２１−２とのＺ方向の距離（第２１ばね部材２２−１と第２２ばね部材２２−２とのＺ方向の距離）に対応した長さを持つ角柱形状の突部を備える。この角柱形状の突部における上下面（１対の第２１および第２２ばね取付部３２−１、３２−２における各突部の各上下面）が、平行ばね部材２の他方端部（１組の第１および第２平行ばね部材２１、２２の各他方端部）を取り付けるための取付面となる。なお、図１に示す例では、第２ばね取付部３２は、１対の第２１および第２２ばね取付部３２−１、３２−２で構成されたが、第２ばね取付部３２は、上方向の＋Ｚ方向に延びるとともにＹ方向にも延びる各角柱形状で、第２ばね取付部３２に取り付けられた１組の平行ばね部材２１、２２を介して光学部品１を弾性支持した場合にアレイレンズ１１を透過した各光学像の光束が基部３１の前記取付領域に到達できる配設位置であって、レンズ保持枠１２における＋Ｘ方向の他方端に位置する外周側面の外側近傍の配設位置に、基部３１の一方主面から略垂直に立設するように基部３１に、形成された、１個の突条部材で構成されても良い。
【００５５】
このような構造を持つ光学部品１および支持部材３それぞれに対し、第１および第２平行ばね部材２１、２２は、次のように連結されている。図１（Ｂ）に示すように、第２平行ばね部材２２の第２１および第２２ばね部材２２−１、２２−２におけるＸ方向の各一方端部は、第１２ばね取付部１２１−２の上下面それぞれに例えば接着剤等によって固定されることで、光学部品１のレンズ保持枠１２におけるＹ方向の他方端に位置する外周側面のＸ方向の一方端で光学部品１に連結され、そして、第２平行ばね部材２２の第２１および第２２ばね部材２２−１、２２−２におけるＸ方向の他方端部は、第２２ばね取付部３２−２における前記突部の上下面それぞれに例えば接着剤等によって固定されることで、支持部材３に連結される。
【００５６】
同様に、第１平行ばね部材２１の第１１および第１２ばね部材２１−１、２１−２におけるＸ方向の各一方端部は、第１１ばね取付部１２１−１の上下面それぞれに例えば接着剤等によって固定されることで、光学部品１のレンズ保持枠１２におけるＹ方向の一方端に位置する外周側面のＸ方向の一方端で光学部品１に連結され、そして、第１平行ばね部材２１の第１１および第１２ばね部材２１−１、２１−２におけるＸ方向の他方端部は、第２１ばね取付部３２−１における前記突部の上下面それぞれに例えば接着剤等によって固定されることで、支持部材３に連結される。
【００５７】
駆動部４は、制御処理部８に接続され、制御処理部８の制御に従って、所定の軸の軸方向に沿って光学部品１を移動させるための装置である。駆動部４は、例えば、本実施形態では、前記光学部品１に係合し、所定の軸の軸方向に沿って光学部品１を移動させるためのアクチュエータ４である。このようなアクチュエータ４は、例えば、一方向に長尺な板状（帯状、リボン状、テープ状）の形状記憶合金（Ｓｈａｐｅ  Ｍｅｍｏｒｙ  Ａｌｌｏｙ、以下、「ＳＭＡ」と略記する。）を備えたＳＭＡアクチュエータ、一方向に長尺な板状のバイメタルを備えたバイメタルアクチュエータ、および、一方向に長尺な板状のモノモルフ（ユニモルフ）を備えたモノモルフアクチュエータ等である。ＳＭＡアクチュエータおよびバイメタルアクチュエータは、それぞれ、金属材料で形成され、モノモルフアクチュエータは、金属材料を含んで形成されるので、これらＳＭＡアクチュエータ、バイメタルアクチュエータおよびモノモルフアクチュエータは、それぞれ、後述するように光学部品１の移動に伴って移動した場合に、弾性限界を超えるまでは弾性変形可能であり、所定の剛性を持つ。したがって、アクチュエータ４は、好ましくは、後述のように光学部品１の移動に伴って移動する場合に、弾性変形の範囲内で移動することである。
【００５８】
このような駆動部４の駆動力を受けるために、レンズ保持枠１２は、本実施形態では、駆動部４と係合し、その駆動力を受けるための、係合突起部１２２を備えている。より具体的には、係合突起部１２２は、外方向の延びる楕円柱形状で、レンズ保持枠１２における外周側面に形成される。図１に示す例では、係合突起部１２２は、１対の第１１および第１２ばね取付部１２１−１、１２１−２の各取り付け位置を結んだ直線（Ｙ方向に沿う直線）と直交する方向（Ｘ方向）に位置するとともにＸ方向の一方端に位置する外周側面における、Ｙ方向の略中央位置であって−Ｚ方向の一方端に寄った位置に形成されている。係合突起部１２２における駆動部４と係合する係合面は、係合突起部１２２と駆動部４とが滑らかに摺動可能に当接するように、曲面となっている。
【００５９】
本実施形態では、例えば、駆動部４としてＳＭＡアクチュエータ４が用いられ、制御処理部８は、ＳＭＡアクチュエータ４を通電加熱することによって制御する。
【００６０】
ＳＭＡは、変態温度よりも高温側では、オーステナイト相（母相）と呼ばれる結晶構造になり、低温側では、マルテンサイト相と呼ばれる結晶構造になる。一般の金属材料は、所定の外力が加えられると変形前の形に戻らないが、ＳＭＡは、マルテンサイト相の状態で所定の外力が加えられて変形しても、変態温度以上になると、マルテンサイト相からオーステナイト相へ相変態し、変形前の元の形に形状が回復する。ＳＭＡを用いたＳＭＡアクチュエータ４は、この特性を利用するによって駆動力を生じる。ところで、昇温および降温に対して動作を繰り返すアクチュエータは、この温度転換に対応した二方向性が要求される。二方向性を有するＳＭＡも存在するものの、通常、ＳＭＡは、加熱に因り記憶形状に形状回復するが、冷却しても回復した記憶形状のままであり、一方向性しかない。このため、ＳＭＡアクチュエータの一態様では、形状回復後に前記一方向とは異なる他方向へＳＭＡを変形する外力（バイアス）を与えるバイアス付与部材が必要であり、本実施形態のＳＭＡアクチュエータ４では、１組の平行ばね部材２１、２２が前記バイアス付与部材として機能している。なお、支持機構２が例えば上述の平行リンク機構等のように前記バイアス付与部材として機能しない場合、撮像装置Ｉには、別途、バイアス付与部材が設けられる。
【００６１】
ＳＭＡアクチュエータ４は、予め所定の形状が記憶されており、加熱されることによって駆動力を光学部品１に与える。ＳＭＡアクチュエータ４は、Ｎｉ−Ｔｉ合金、Ｃｕ−Ａｌ−Ｎｉ合金、Ｃｕ−Ｚｎ合金、Ｃｕ−Ｚｎ−Ａｌ合金およびＮｉ−Ａｌ合金等で形成される。Ｎｉ−Ｔｉ合金は、強度、靱性、耐食性および耐摩耗性に優れており、ＳＭＡアクチュエータ４に好適である。ＳＭＡアクチュエータ４は、レンズ保持枠１２の係合突起部１２２と係合可能な位置であって支持部材３における基部３１の一方主面上に配設される。より具体的には、図１に示す例では、ＳＭＡアクチュエータ４は、そのＹ方向の一方端部で係合突起部１２２に所定の摩擦力で係合しつつＹ方向に沿って延びるように、矩形形状の基部３１の一方主面におけるＸ方向の一方端の位置に、Ｙ方向の他方端部で例えば接着剤等によって固定されることによって、基部３１の一方主面上に配設される。前記所定の形状は、本実施形態では、基部３１に固定された他方端部から所定の距離だけ離れた位置（屈曲位置）よりＹ方向の先の長尺部分が上方向の＋Ｚ方向に持ち上がって、前記屈曲位置で屈曲した形状である。
【００６２】
複数の撮像部５は、光学部品１の像側に配置され、アレイレンズ１１における複数の撮像光学系１１１に対応し、アレイレンズ１１における複数の撮像光学系１１１それぞれによって各撮像面（各受光面）に結像された被写体の各光学像をそれぞれ撮像して画像信号（または各画像データ）を出力するものであり、制御処理部８に接続され、制御処理部８の制御に従って動作する。複数の撮像部５は、本実施形態では、アレイレンズ１１における複数の撮像光学系１１１に対応して、線形独立な２方向、より具体的には互いに直交するＸ方向およびＹ方向の２方向に２次元マトリクス状に配列されている。複数の撮像部５は、アレイレンズ１１の個眼数（撮像光学系１１１の個数、図１に示す例では１６個）に応じた個数の撮像素子５であっても良いが、本実施形態では、複数の撮像部５は、１個の撮像素子５であって、撮像素子５の有効領域がアレイレンズ１１の個眼数に応じた個数の分割領域に分けられ、アレイレンズ１１の各個眼によって結像された各光学像を各分割領域で撮像するように構成されている。このような撮像素子５は、アレイレンズ１１における複数の撮像光学系１１１それぞれによって結像された物体（被写体）の各光学像における光量に応じてＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分の電気的な各画像信号に光電変換して、所定の画像処理を行う制御処理部８へ出力する。撮像素子５は、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）型のイメージセンサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型のイメージセンサ等である。
【００６３】
位置検出部７は、前記軸方向に沿ったアレイレンズ１１の位置を検出するための装置であり、例えば、永久磁石等の磁石７１と、ホール効果を利用して磁界を検出するホール素子７２とを備える。磁石７１は、アレイレンズ１１またはレンズ保持枠１２の外周側面に配設され、ホール素子７２は、磁石７１と対向するように基部３１の主面上に配設される。より具体的には、図１に示す例では、磁石７１は、係合突起部１２２を形成した外周側面にアレイレンズ１１を介して対向するＸ方向の他方端に位置する外周側面における、Ｙ方向の略中央位置に例えば接着剤等によって固定され、ホール素子７２は、このような位置に配置された磁石７１と対向するように基部３１の主面上に配設される。位置検出部７は、制御処理部８に接続され、この検出したアレイレンズ１１の位置を制御処理部８へ出力する。
【００６４】
記憶部９は、制御処理部８のＣＰＵによって実行される種々のプログラムやその実行に必要なデータ等を予め記憶するＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の不揮発性記憶素子、この制御処理部８のＣＰＵのいわゆるワーキングメモリとなるＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の揮発性記憶素子およびその周辺回路等を備えて構成される。記憶部９は、機能的に、個眼情報を予め記憶する個眼情報記憶部９１と、オートフォーカス情報（ＡＦ情報）を記憶するオートフォーカス情報記憶部（ＡＦ情報記憶部）９２と、補正情報を記憶する補正情報記憶部９３を備える。尚、図２において破線で示されている個眼情報記憶部９１は、後述する＜変形例＞で用いる。
【００６５】
個眼情報は、アレイレンズ１１における複数の撮像光学系１１１それぞれと、当該撮像光学系１１１それぞれの合焦位置情報との対応関係を表すデータである。合焦位置情報は、例えば、予め設定された被写体までの所定距離に対して予め測定された合焦位置を示す情報である。記憶される合焦位置情報は、撮像光学系１１１の合焦位置自体であっても良い。また例えば、合焦位置情報は、撮像光学系１１１の設計上の合焦位置（基準合焦位置）を基準に、当該撮像光学系の合焦位置のずれ量（補正値）であって良い。このような個眼情報は、前記複数の撮像光学系１１１のうちの少なくとも２個以上の撮像光学系１１１に対し、例えば生産時や出荷時等の適宜なタイミングで、作成され、例えばルックアップテーブルや関数式等の所定の形式で対応関係情報記憶部９１に予め記憶される。
【００６６】
ＡＦ情報は、所定の距離間隔で、被写体までの距離と、当該被写体までの距離に対し当該撮像光学系１１１が合焦するアレイレンズ１１のレンズ位置との対応関係を表すデータである。ＡＦ情報は、前記個眼情報を持つ撮像光学系１１１に対し、例えば生産時や出荷時等の適宜なタイミングで、作成され、例えばルックアップテーブルや関数式等の所定の形式でＡＦ情報記憶部９２に予め記憶される。
【００６７】
補正情報は、測距に用いる撮像光学系１１１の合焦位置のバラツキに起因する測距精度の低下を補償するために、各撮像光学系１１１の合焦位置に基づいて、被写体までの距離を補正するための情報である。図３〜６を用いて上述したように、アレイレンズでは、合焦位置の軸方向の各位置ずれによって測距精度が低下してしまう。補正情報は、このような合焦位置のずれに起因する測距精度の低下による測定結果のずれを補正するものである。このような補正情報は、例えば、被写体までの距離を求めるために用いる画像を撮像する少なくとも２つの撮像部５に対応する撮像光学系１１１のペアと、当該２つの画像を用いて求めた被写体までの距離と、補正値との対応関係を表すデータである。補正情報は、前記複数の撮像光学系１１１のうちの少なくとも２個以上の撮像光学系１１１であって前記個眼情報を持つ撮像光学系１１１に対し、例えば生産時や出荷時等の適宜なタイミングで、作成され、例えばルックアップテーブルや関数式等の所定の形式で補正情報記憶部９３に予め記憶される。
【００６８】
制御処理部８は、撮影するべく、撮像装置Ｉの各部を当該機能に応じてそれぞれ制御することによって撮像装置Ｉ全体の動作を司る装置である。制御処理部８は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）およびその周辺装置を備えて構成される。そして、制御処理部８には、制御処理プログラムが実行されることによって、駆動部制御部８１、オートフォーカス制御部（ＡＦ制御部）８２および画像処理部８３が機能的に構成される。
【００６９】
駆動部制御部８１は、ＡＦ制御部８２の制御に従って駆動部４を駆動制御するものである。本実施形態では、駆動部４としてＳＭＡアクチュエータ４が用いられているので、駆動部制御部８１は、ＳＭＡアクチュエータ４を通電加熱することによって制御するものである。
【００７０】
ＳＭＡアクチュエータ４は、制御処理部８の駆動部制御部８１によって電力が供給されて通電されることによって自己の抵抗に因りジュール熱を発生し、加熱される。そして、ＳＭＡアクチュエータ４は、前記変態温度に達すると、温度に応じて前記予め記憶されている形状に回復する。本実施形態では、加熱されると、ＳＭＡアクチュエータ４は、そのＹ方向の一方端が徐々にＺ方向に持ち上がる。これによってＳＭＡアクチュエータ４による駆動力が生じ、この駆動力が係合突起部１２２を介して光学部品１に伝達され、この駆動力によって光学部品１は、Ｚ方向に押し上げられ、１組の平行ばね部材２１、２２で片持ちされているので、直進ガイドされて前記所定の軸に沿って＋Ｚ方向に移動する。一方、電力の供給が停止されると、ＳＭＡアクチュエータ４は、自然放熱によって降温し、１組の平行ばね部材２１、２２による−Ｚ方向のバイアスによって平坦な形状に徐々に戻り、水平になる。このように光学部品１が−Ｚ方向に移動する。したがって、前記通電加熱量は、アレイレンズ１１におけるＺ方向の目標位置に応じて設定される。
【００７１】
ＡＦ制御部８２は、後述のように距離演算部８４で求めた被写体までの距離に基づいて、駆動部制御部８１を介して駆動部４を制御することによって前記軸方向に沿ったアレイレンズ１１の位置を制御する。ＡＦ制御部８２は、現在のアレイレンズ１１の位置に基づいて、アレイレンズ１１の移動の要否を判定し、判定結果に応じて、前記軸方向に沿ったアレイレンズ１１の位置を制御する。
【００７２】
画像処理部８３は、複数の撮像部５（本実施形態では撮像素子５の各分割領域）それぞれで得られたＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分の各画像信号に対し、所定の画像処理をそれぞれ行って各画像データを生成するものである。前記所定の画像処理は、例えば、撮像部５からのアナログ出力信号に対して行う増幅処理およびデジタル変換処理、画像全体に対して適正な黒レベルの決定処理、γ補正処理、ホワイトバランス調整（ＷＢ調整）処理、輪郭補正処理および色ムラ補正処理等の周知の画像処理である。そして、本実施形態では、このような画像処理によって前記被写体の光学像の画像を形成する際に、画像処理部８３は、ＡＦ制御部８２によってアレイレンズ１１の合焦位置を制御した後に、複数の撮像部５によって撮像された複数の画像のうちの少なくとも２個以上の画像を合成することによって新たな合成画像を生成する。
【００７３】
より具体的には、画像処理部８３は、個眼画像形成部８３１と、画像合成部８３２とを機能的に備える。個眼画像形成部８３１は、ＡＦ制御部８２によってアレイレンズ１１の合焦位置を制御した後に、複数の撮像部５それぞれで得られた各画像信号に対し、所定の画像処理をそれぞれ行って前記複数の画像を表す各データとして各個眼の各画像データを生成するものである。画像合成部８３２は、個眼画像形成部８３１で生成された複数の画像データのうちの少なくとも２個以上の画像データを合成することによって前記新たな合成画像として合成画像データを生成するものである。前記合成は、例えば、互いに異なる輝度のダイナミックレンジを持つ複数の画像からより広いダイナミックレンジの画像を生成する画像処理、および、複数の画像から当該画像の解像度より高い解像度の画像を生成する画像処理（例えば超解像処理等）等である。
【００７４】
距離演算部８４は、複数の撮像部５のうちの少なくとも２個以上の撮像部５で撮像された被写体の複数の画像に基づいて前記被写体までの距離を求めるものである。距離演算部８４は、公知の常套手段によって距離を求める。例えば、距離演算部８４は、複数の画像間における視差を求め、この求めた視差から被写体までの距離をいわゆる三角測量の原理で求める。この距離の算出について、図３、４を用いて説明する。
【００７５】
図３は、対応点探索を説明するための図であり、図３（ａ）は、基準画像を示し、図３（ｂ）は、参照画像を示す。
【００７６】
基準画像上の点ＡＰを注目点とし、参照画像中の対応点ＣＰを探索する場合を考える。参照画像中の対応点は、参照画像上のエピポーラ線上に存在する。従って、参照画像中のエピポーラ線ＥＰ上の或る点を重心（中心）とするウィンドウＷと、基準画像の注目点ＡＰを重心としたウィンドウであるテンプレートＴとの相関値を算出し、次に、エピポーラ線ＥＰ上の或る点から所定数の画素ずらした点を内包するウィンドウＷとテンプレートＴとの相関値を算出し、更に、所定数の画素ずらした点を内包するウィンドウＷとテンプレートＴとの相関値を算出することを繰り返す。そして、算出された相関値が最も高いウィンドウの重心を対応点ＣＰと決定する。つまり、エピポーラ線ＥＰ上の複数の点（以下、「走査点」という。）それぞれを重心とするウィンドウＷと、基準画像の注目点ＡＰを重心としたウィンドウであるテンプレートＴとの相関値をそれぞれ算出し、算出された相関値が最も高いウィンドウの重心を対応点ＣＰと決定する。図３（ｂ）では、破線及び実線の矩形でウィンドウＷを示し、実線の矩形が対応点ＣＰを内包するウィンドウＷを示す。
【００７７】
この場合の、エピポーラ線ＥＰを走査した結果、つまり、エピポーラ線ＥＰ上の各走査点と注目点ＡＰとの視差と、各走査点を重心とするウィンドウＷとテンプレートＴとの相関値との関係を表したグラフを図３（ｃ）に示す。このグラフでは、横軸に視差を示し、縦軸に一致度（相関値）を示す。一致度が最も高い点に対応する視差が、対応点ＣＰと注目点ＡＰとの視差となる。
【００７８】
図４は、いわゆる三角測量の原理で視差から被写体までの距離を求める方法を説明するための図である。予め定める間隔（基線長）だけ離間して設けられた一対のカメラによって被写体（測定対象物Ｏｂ）の各画像が得られ、これら各画像に対し、上述したように対応点探索がピクセル単位で実行される。そして、これら各画像から前記離間方向における前記一対のカメラ間の視差がピクセル単位で求められ、この求められた視差に基づいて被写体までの距離がいわゆる三角測量の原理に基づいて求められる。より具体的には、図４において、少なくとも焦点距離（ｆ）、撮像面（撮像部５）の画素数、１画素の大きさ（μ）が相互に等しい２台の第１および第２カメラが、所定の基線長（Ｂ）だけ左右に離間させてそれぞれの光軸を平行に配置され、これら第１および第２カメラで物体（被写体）Ｏｂが撮影された場合に、撮像面ＩＰ−１、ＩＰ−２上の視差（ずれ画素数）がｄであるとすると、前記物体（被写体）Ｏｂまでの距離（Ｚ）は、
Ｚ：ｆ＝Ｂ：（ｄ×μ）
の関係があり、
Ｚ＝（Ｂ×ｆ）／（ｄ×μ）
で求めることができる。
【００７９】
このような距離演算部８４は、被写体までの距離を測定する距離測定部の一例である。
【００８０】
また更に、距離演算部８４は、上述のように算出した被写体Ｏｂまでの距離の補正の要否を判断し、補正が必要であると判断する場合には、補正情報記憶部９３の補正情報を用いて、被写体Ｏｂまでの距離を補正する。補正情報は、対応点探索を行う２つの画像を撮像する撮像部５に対応する撮像光学系１１１のペアと、当該２つの画像を用いて求めた被写体までの距離と、補正値との対応関係を表すデータであるので、測距に用いた画像を撮像した撮像部５に対応する撮像光学系１１１のペアと算出した距離とに対応付けられている補正値を用いて、算出した距離を補正する。
【００８１】
そして、本実施形態では、距離演算部８４は、複数の撮像部５によって複数の画像を撮像する前に（すなわち、オートフォーカスする際における前記画像を撮像する前に）、被写体までの距離を求めるための複数の撮像部５を変更して選択することによって、事前に設定するように構成されている。
【００８２】
＜測距用画像＞
図１７は、アレイレンズにおける、例えば製造誤差等による光軸方向に沿った各合焦位置の変化を説明するための図である。
【００８３】
アレイレンズの各個眼において、被写体までの距離に応じて結像する各合焦位置は、全個眼に対し必ずしも同一であるとは限らず、図１７に示すように、光学部品１のアレイレンズ１１は、製造誤差等によって光軸方向に沿ってそれぞれ異なるずれ量でずれ、各個眼ごとに異なる場合が多い。前記製造誤差として、例えば、各個眼ごとにその大きさが異なり、あるいは、その厚さが異なり、その結果、合焦位置が設計値からずれ、各個眼ごとにその合焦位置が相違する。また例えば、アレイレンズ１１を金型を用いて成型する場合、前記金型内での材料圧力の差に起因して材料が偏り、あるいは、前記金型の部位による冷却条件の相違に起因して材料密度が異なり、その結果、合焦位置が設計値からずれ、各個眼ごとにその合焦位置が相違する。図１７に示す例では、紙面左側の位置に配置された個眼は、合焦位置ＦＰ０で結像し、紙面右側の位置に配置された個眼は、前記合焦位置ＦＰ０よりアレイレンズ１１から離れた位置の合焦位置ＦＰ２で結像し、これらの間に配置された２個の個眼は、前記合焦位置ＦＰ０よりアレイレンズ１１に近い位置の合焦位置ＦＰ１で結像している。
【００８４】
図５、６は、被写体までの距離の求める際に用いる個眼の合焦位置を説明するための図である。
【００８５】
被写体までの距離は、上述したように、視差に基づいて求められ、視差は、対応点探索により一致度が最も高い点を探索することにより求められる。従って、基準画像及び参照画像それぞれは、ピントが合った画像であることが望ましい。そして、対応点探索による視差に基づく測距方法では、画像を撮像する１対のレンズ間の距離（基線長）が長いほど、遠方の測定対象までの距離を精度よく測定することができる。つまり、図５に示すように、被写体Ｏｂまでの距離を求めるために、比較的長い基線長Ｂ０の、紙面右側の位置に配置された個眼と紙面左側の位置に配置された個眼とで撮像された画像を用いて対応点探索を行う場合には、それぞれの個眼の合焦位置ＦＰ０が等しいことが望ましい。
【００８６】
しかし、図１７を用いて説明したように、アレイレンズ１１の個眼それぞれの合焦位置は、個眼ごとに異なる場合が多い。従って、図６に示すように、比較的長い基線長Ｂ６の、紙面右側の位置に配置された個眼と紙面左側の位置に配置された個眼とで撮像された画像を用いて対応点探索を行った場合、例えば、紙面右側の位置に配置された個眼の合焦位置ＦＰ６１と、紙面左側の位置に配置された個眼の合焦位置ＦＰ６２とが異なる場合が生じ得る。この場合には、いずれか一方の画像、又は、双方の画像のピントが合っていない可能性が高いので、被写体Ｏｂまでの測距の精度は低くなる。
【００８７】
従って、実施形態の撮像装置Ｉは、距離を求めるための画像を撮像する複数の撮像部５を、撮像部５に対応する撮像光学系１１１の合焦位置によって選択するものである。また、撮像装置Ｉは、その使用用途に応じて撮像部５を選択する場合や、基線長が長くなるように撮像部５が選択する場合には、被写体Ｏｂまでの距離を補正するものである。具体的には、距離演算部８４は、補正情報記憶部９３に記憶されている補正情報を参照して補正する。
【００８８】
以下に説明する第１〜６態様における撮像部５の組み合わせが、予め決定されて記憶されており、オートフォーカス時に、距離演算部８４は、予め決定されて記憶されている撮像部５を選択する。
【００８９】
（第１態様）
第１態様では、距離演算部８４は、距離を求めるための複数の撮像部５として、合焦位置が、アレイレンズ１１に含まれる撮像光学系１１１の合焦位置の平均値またはその近傍である複数の撮像部５を選択する。撮像光学系１１１の合焦位置の平均値は、設計値に近いと考えられるからである。
【００９０】
詳細には、以下の、距離を求めるための複数の撮像部５の組み合わせが含まれる。
【００９１】
撮像光学系１１１のうち少なくとも２つの撮像部（一部の撮像光学系１１１）から、前記少なくとも２つの撮像部それぞれに対応する撮像光学系の合焦位置の平均値から所定の範囲内の合焦位置を有する撮像光学系１１１に対応する撮像部５が選択される。つまり、距離演算部８４は、選択する撮像部５に対応する撮像光学系１１１の合焦位置の平均値が、前記複数の撮像光学系１１１の一部における合焦位置の平均値から所定の範囲内であるような撮像部５を選択する。この場合、距離演算部８４は、測距に用いる撮像部５を、この一部の撮像光学系１１１に対応する撮像部５から選択する。
【００９２】
複数の撮像光学系１１１のうちの、前記複数の撮像光学系それぞれの合焦位置の平均値から所定の範囲内の合焦位置を有する撮像光学系に対応する撮像部が選択される。つまり、距離演算部８４は、選択する前記複数の撮像部５に対応する撮像光学系１１１の合焦位置が、前記複数の撮像光学系１１１全ての合焦位置の平均値から所定の範囲内であるような撮像部５を選択する。
【００９３】
選択される複数の撮像部５に対応する撮像光学系１１１の合焦位置の平均値が、前記複数の撮像光学系１１１それぞれの合焦位置の平均値と同じとなるような撮像光学系に対応する撮像部が選択される。つまり、距離演算部８４は、選択する前記複数の撮像部５に対応する撮像光学系１１１の合焦位置の平均値が、撮像光学系１１１全ての合焦位置の平均値と同じになるような撮像部５を選択する。
【００９４】
図７において、撮像光学系１１１の合焦位置は、ＦＰ７１〜ＦＰ７３の間でばらついており、合焦位置ＦＰ７２が、合焦位置の平均値を示す。従って、合焦位置ＦＰ７２に近い撮像光学系１１１−１２、及び、撮像光学系１１１−１４にそれぞれ対応する撮像部５が、距離を求めるための複数の撮像部５として選択される。撮像光学系１１１−１２と撮像光学系１１１−１４との間の基線長Ｂ７は、撮像光学系１１１−１１と撮像光学系１１１−１４との間の基線長よりは短いが、ピントの合った画像を用いて対応点探索を行うことが可能であり、精度よく視差を求めることができるので、結果として、距離演算部８４は、精度よく測距を行うことが可能となる。
【００９５】
尚、説明の便宜上、図７には、図１に示すアレイレンズ１１のＹ軸方向の最上段の撮像光学系１１１−１１、撮像光学系１１１―１２、撮像光学系１１１−１３、撮像光学系１１１―１４を記載しているが、他の段の撮像光学系１１１であってもよく、また、撮像光学系１１１−１１と撮像光学系１１１−２４のペアのように、段が異なる個眼同士であってもよい。つまり、前記複数の撮像部５は、予め設定された所定の対称点、例えば、アレイレンズ１１の中央位置に対して互いに対称な位置に配置された複数の撮像光学系１１１に対応する複数の撮像部５を含む。例えば、図１に示す例において、前記複数の撮像部５は、前記所定の対称点を中央位置として、１行１列の位置に配置された撮像光学系１１１−１１に対応する撮像部５、および、４行４列の位置に配置された撮像光学系１１１−４４に対応する撮像部５を含む。また例えば、図１に示す例において、前記複数の撮像部５は、前記所定の対称点を２行２列の位置として、２行１列の位置に配置された撮像光学系１１１−２１に対応する撮像部５、および、２行３列の位置に配置された撮像光学系１１１−２３に対応する撮像部５を含む。また例えば、図１に示す例において、前記複数の撮像部５は、前記所定の対称点を３行３列の位置として、２行３列の位置に配置された撮像光学系１１１−２３に対応する撮像部５、および、４行３列の位置に配置された撮像光学系１１１−４３に対応する撮像部５を含む。以下に説明する他の態様も同様である。
【００９６】
（第２態様）
第２態様では、距離演算部８４は、距離を求めるための複数の撮像部５として、基線長が長い撮像光学系１１１のペアに対応する撮像部５を選択する。
【００９７】
対応点探索による視差に基づく測距方法では、画像を撮像する１対のレンズ間の距離（基線長）が長いほど、遠方の測定対象までの距離を精度よく測定することができるからである。また、撮像部５からの画像データ読み出しの都合上、測距を行う画像データを読み出す撮像部５を固定した方が適切である場合があるからである。
【００９８】
詳細には、以下の、距離を求めるための複数の撮像部５の組み合わせが含まれる。
【００９９】
前記アレイレンズ１１の所定の対応点に対して互いに対称な位置に配置されている撮像光学系１１１に対応する撮像部５が選択される。つまり、距離演算部８４は、予め設定された所定の対称点（例えば、アレイレンズ１１の中央位置）に対して互いに対称な前記位置に配置された複数の撮像光学系１１１に対応する複数の撮像部５を選択する。
【０１００】
前記アレイレンズ１１の周辺部に寄った位置に配置されている撮像光学系１１１であって、前記アレイレンズ１１の中央位置に対して互いに対称な位置に配置されている撮像光学系１１１に対応する撮像部５が選択される。つまり、距離演算部８４は、前記複数の撮像光学系１１１のうちの周辺部に寄った位置であって予め設定された所定の対称点（例えば、アレイレンズ１１の中央位置）に対して互いに対称な前記位置に配置された複数の撮像光学系１１１に対応する複数の撮像部５を選択する。例えば、図１に示す例において、前記複数の撮像部５は、前記所定の対称点を中央位置として、１行１列の位置に配置された撮像光学系１１１−１１に対応する撮像部５、および、４行４列の位置に配置された撮像光学系１１１−４４に対応する撮像部５を含む。また例えば、図１に示す例において、前記複数の撮像部５は、前記所定の対称点を２行目におけるＸ方向の中央位置として、２行１列の位置に配置された撮像光学系１１１−２１に対応する撮像部５、および、２行４列の位置に配置された撮像光学系１１１−２４に対応する撮像部５を含む。
【０１０１】
図８において、撮像光学系１１１の合焦位置は、ＦＰ８１〜ＦＰ８３の間でばらついており、合焦位置ＦＰ８２が、合焦位置の平均値を示す。この場合、基線長Ｂ８の撮像光学系１１１−１１と撮像光学系１１１−１４とのペアが選択される。撮像光学系１１１−１１の合焦位置は、合焦位置ＦＰ８１であり、撮像光学系１１１−１４の合焦位置は、合焦位置ＦＰ８２である。従って、撮像光学系１１１−１１と撮像光学系１１１−１４とによる画像は、いずれか一方の画像、又は、双方の画像が、ピントの合っていない画像であるので、対応点探索による視差に基づいて算出した被写体Ｏｂまでの距離は、誤差を含むことになる。このような撮像部５を選択した場合、距離演算部８４は、対応点探索による視差に基づいて算出した被写体Ｏｂまでの距離を、記憶部９の補正情報記憶部９３に記憶されている補正情報を用いて補正する。補正情報は、誤差がどの程度発生しているか正確に把握して、予め作成されるので、補正が可能となり正確な距離を算出することが可能となる。
【０１０２】
（第３態様）
第３態様では、距離演算部８４は、距離を求めるための複数の撮像部５の１つとして、アレイレンズ１１の中央位置または前記中央位置に寄った位置に配置された撮像光学系１１１に対応する撮像部５を選択する。アレイレンズ１１の中央位置または前記中央位置に寄った位置（中央部分）に配置された撮像光学系１１１に対応する撮像部５を選択するのは、アレイレンズ１１の中央部分に位置する撮像光学系１１１を用いて被写体Ｏｂを撮像することが多いからである。つまり、中央部分に配置されている撮像光学系１１１を用いて撮像された画像を用いて、被写体Ｏｂの撮像画像を作成する場合が多いからである。また、アレイレンズの中央位置が撮像光学系の中心にあるため、アレイレンズの中央位置または中央部分でＡＦすると周辺側でＡＦするより広い範囲で焦点があうので全体として好適に補正できる。撮像装置Ｉの本来の目的は、被写体Ｏｂを撮像することであるので、被写体Ｏｂの画像形成を行うレンズを用いて測距を行うことで、正確な距離が算出できる可能性が高くなる。
【０１０３】
詳細には、以下の、距離を求めるための複数の撮像部５の組み合わせが含まれる。
【０１０４】
アレイレンズ１１の中央位置から所定の範囲内の位置に配置されている撮像光学系１１に対応する撮像部５が選択される。つまり、距離演算部８４は、例えば、アレイレンズ１１の中央位置、又は、中央位置から所定範囲の位置の撮像光学系１１１に対応する撮像部５を選択する。
【０１０５】
アレイレンズ１１の中央位置に寄った位置に配置された撮像光学系１１１、及び、前記アレイレンズ１１の周辺部に寄った位置に配置された撮像光学系１１１に、それぞれ対応する撮像部５が選択される。つまり、距離演算部８４は、アレイレンズ１１の中央位置または前記中央位置に寄った位置に配置された撮像光学系１１１と、アレイレンズ１１の周辺部に寄った撮像光学系１１１とにそれぞれ対応する撮像部５を選択する。例えば、図１に示す例では、アレイレンズ１１の中央位置に寄った位置に配置された撮像光学系１１１は、２行２列の位置に配置された撮像光学系１１１−２２、２行３列の位置に配置された撮像光学系１１１−２３、３行２列の位置に配置された撮像光学系１１１−３２、および、３行３列の位置に配置された撮像光学系１１１−３３のうちの撮像光学系１１１である。
【０１０６】
図９において、撮像光学系１１１の合焦位置は、ＦＰ９１〜ＦＰ９３の間でばらついており、合焦位置ＦＰ９２が、合焦位置の平均値を示す。図９のアレイレンズ１１は、５行５列に２次元マトリクス状に配列された２５個の撮像光学系１１１−１１〜１１１−５５を備えるものとする。この場合、アレイレンズ１１の中央に位置する撮像光学系１１１−３３と、他のいずれかの撮像光学系１１１が選択される。図９では、撮像光学系１１１−３５が選択されている。図９に示すように、撮像光学系１１１−３５の合焦位置は、合焦位置ＦＰ９２であり、撮像光学系１１１−３３の合焦位置は、合焦位置ＦＰ９２からずれている。従って、いずれか一方の画像、又は、双方の画像が、ピントの合っていない画像により対応点探索が行われることとなり、対応点探索による視差に基づいて算出した被写体Ｏｂまでの距離は、誤差を含むことになる。このような撮像部５を選択した場合、距離演算部８４は、対応点探索による視差に基づいて算出した被写体Ｏｂまでの距離を、記憶部９の補正情報記憶部９３に記憶されている補正情報を用いて補正する。補正情報は、誤差がどの程度発生しているか正確に把握して、予め作成しておくため、補正が可能となり正確な距離を算出することが可能となる。
【０１０７】
（第４態様）
第４態様では、距離演算部８４は、距離を求めるための複数の撮像部５として、緑色の波長帯域で撮像する撮像部５を選択する。
【０１０８】
ここで、実施形態の撮像装置Ｉに用いられる色フィルタについて説明する。図１０は、第１態様の色フィルタを説明するための図である。図１１は、第２態様の色フィルタを説明するための図である。
【０１０９】
複数の撮像部５における物体側には、緑色の波長帯域を透過する緑色フィルタが配置される。例えば、図１０に示すように、アレイレンズ１１の物体側に、赤色の波長帯域を透過する赤色フィルタＣＦＲ、緑色の波長帯域を透過する緑色フィルタＣＦＧ、および、青色の波長帯域を透過する青色フィルタＣＦＢの各色フィルタがいわゆるベイヤー配列で配置される。また例えば、図１１に示すように、アレイレンズ１１における複数の撮像光学系１１１（複数の撮像部５）が複数の領域に区切られ、各領域ごとに、アレイレンズ１１の物体側に、赤色の波長帯域を透過する赤色フィルタＣＦＲ、緑色の波長帯域を透過する緑色フィルタＣＦＧ、青色の波長帯域を透過する青色フィルタＣＦＢおよび赤外線の波長帯域を透過する赤外色フィルタＣＦＩＲの各色フィルタが配置される。そして、１行１列の位置、１行２列の位置、１行３列の位置、２行１列の位置、２行２列の位置、２行３列の位置、３行１列の位置、３行２列の位置および３行３列の位置の各位置にそれぞれ配置された各撮像光学系１１１−１１、１１１−１２、１１１−１３、１１１−２１、１１１−２２、１１１−２３、１１１−３１、１１１−３２、１１１−３３を１個の領域としてその物体側には、緑色フィルタＣＦＧが配置される。１行４列の位置、２行４列の位置および３行４列の位置の各位置にそれぞれ配置された各撮像光学系１１１−１４、１１１−２４、１１１−３４を１個の領域としてその物体側には、赤色フィルタＣＦＲが配置される。４行１列の位置、４行２列の位置および４行３列の位置の各位置にそれぞれ配置された各撮像光学系１１１−４１、１１１−４２、１１１−４３を１個の領域としてその物体側には、青色フィルタＣＦＢが配置される。そして、４行４列の位置に配置された各撮像光学系１１１−４４を１個の領域としてその物体側には、赤外色フィルタＣＦＩＲが配置される。
【０１１０】
図１２において、撮像光学系１１１の合焦位置は、ＦＰ１２１〜ＦＰ１２３の間でばらついており、合焦位置ＦＰ１２２が、合焦位置の平均値を示す。第４態様では、距離演算部８４は、距離を求めるための複数の撮像部５として、緑色の波長帯域で撮像する撮像部５を選択する。従って、図１２で示すように、合焦位置が合焦位置ＦＰ１２２に近い２つの撮像光学系１１１であって、緑色の波長帯域で撮像する撮像部５が選択される。
【０１１１】
また、基線長Ｂ１２が長くなる緑色の波長帯で撮像する撮像部５が選択されてもよい、この場合は、選択された撮像部５に対応する撮像光学系１１１の合焦位置のずれに応じて、距離演算部８４は、対応点探索による視差に基づいて算出した被写体Ｏｂまでの距離を、記憶部９の補正情報記憶部９３に記憶されている補正情報を用いて補正する。補正情報は、誤差がどの程度発生しているか正確に把握して、予め作成しておくため、補正が可能となり正確な距離を算出することが可能となる。
【０１１２】
緑色の波長帯域で撮像する撮像部５が選択される第４態様は、図１１に示す第２態様の色フィルタよりも、図１０に示す第１態様の色フィルタを備えた撮像装置Ｉにより適している。第１態様の色フィルタの方が、より基線長が長い撮像光学系１１１のペアで緑色の波長帯域で撮像された画像を得ることができるからである。
【０１１３】
人の視感感度は、緑色に対して最も高いことが知られている。従って、緑色の波長帯域で撮像された画像に基づいて、フォーカスを調整すると理想に近くなることが多い。上記構成によれば、被写体Ｏｂまでの距離は、緑色の波長帯域で撮像する撮像部５によって撮像された複数の画像に基づいて決定され、オートフォーカスの際におけるアレイレンズ１１の合焦位置が決定される。このため、上記撮像装置Ｉおよびこれに実装された撮像方法は、緑色の波長帯域で撮像する撮像部５に対応する個眼に対し、個眼合焦位置のずれを小さくでき、人の視感感度の高い緑色の波長帯域をより良く合焦した状態で好適に撮像できる。
【０１１４】
（第５態様）
第５態様では、距離演算部８４は、距離を求めるための複数の撮像部５として、互いに異なる色の波長帯域で撮像する撮像部５を選択する。
【０１１５】
図１３において、撮像光学系１１１の合焦位置は、ＦＰ１３１〜ＦＰ１３３の間でばらついており、合焦位置ＦＰ１３２が、合焦位置の平均値を示す。第５態様では、距離演算部８４は、距離を求めるための複数の撮像部５として、基線長Ｂ１３が長くなるような撮像光学系１１１に対応する撮像部５を選択する。従って、図１３で示すように、合焦位置が合焦位置ＦＰ１３２に近い２つの撮像光学系１１１に対応する撮像部５が選択される。図１３では、緑色の波長帯域で撮像する撮像部５と、赤色の波長帯域で撮像する撮像部５とが選択されている。この場合は、画像の色が異なるので、対応点探索を行う際に、画像の色に応じて補正を行って、視差を求める。
【０１１６】
また、選択された撮像部５に対応する撮像光学系１１１の合焦位置が異なる場合は、合焦位置のずれに応じて、距離演算部８４は、対応点探索による視差に基づいて算出した被写体Ｏｂまでの距離を、記憶部９の補正情報記憶部９３に記憶されている補正情報を用いて補正する。
【０１１７】
一般に、主に撮像したい被写体は、当該撮像装置Ｉの使用用途に応じて決まる。例えば、植物の成長を観察する用途の撮像装置Ｉでは、緑色の被写体が主体となる。したがって、この場合、距離演算部８４は、合焦位置が平均値に近い撮像光学系１１１に対応する撮像部５であって、緑色の波長帯域で撮像する撮像部５を少なくとも１つ選択する。また例えば、果実の成熟具合を観察する用途の撮像装置Ｉでは、赤色の被写体が主体となる。したがって、この場合、距離演算部８４は、合焦位置が平均値に近い撮像光学系１１１に対応する撮像部５であって、赤色の波長帯域で撮像する撮像部５を少なくとも１つ選択する。また例えば、周辺を監視する車載用の撮像装置Ｉでは、可視光だけでなく、赤外線が主体になる場合がある。したがって、この場合、例えば、図１１に示す第２態様の色フィルタを用いる撮像装置Ｉにおいて、距離演算部８４は、赤外線の波長帯域で撮像する撮像部５と、例えば、赤色の波長帯域で撮像する撮像部５とを選択する。
【０１１８】
上記構成によれば、オートフォーカスの際におけるアレイレンズ１１の合焦位置は、当該撮像装置Ｉの使用用途に応じて予め設定された色の波長帯域で撮像する撮像部５を含む複数の撮像部５による画像を用いて算出される被写体Ｏｂまでの距離に基づいて決定される。このため、このような撮像装置Ｉおよびこれに実装された撮像方法は、当該撮像装置Ｉの使用用途に応じて予め設定された色の波長帯域で撮像する撮像部５が選択されることにより、被写体Ｏｂまでの距離を精度よく算出できるので、当該撮像装置Ｉの使用用途に応じた色の波長帯域をより良く合焦した状態で好適に撮像できる。したがって、上記撮像装置Ｉおよびこれに実装された撮像方法は、当該撮像装置Ｉにとってより最適に合焦できる。
【０１１９】
（第６態様）
第６態様では、距離演算部８４は、距離を求めるための複数の撮像部５として、予め決められた撮像部５を選択する。この場合は、例えば、図１４に示すような、第３態様の色フィルタを撮像装置Ｉに用いる。
【０１２０】
第３態様の色フィルタは、アレイレンズ１１の物体側に、赤色の波長帯域を透過する赤色フィルタＣＦＲ、緑色の波長帯域を透過する緑色フィルタＣＦＧ、および、青色の波長帯域を透過する青色フィルタＣＦＢの各色フィルタがいわゆるベイヤー配列で配置され、そそのうちの、最も基線長が長くなる撮像光学系１１１に対応して赤外線の波長帯域を透過する赤外色フィルタＣＦＩＲが配置されたものである。詳細には、アレイレンズ１１における複数の撮像光学系１１１（複数の撮像部５）が複数の領域に区切られ、各領域ごとに、アレイレンズ１１の物体側に、赤色の波長帯域を透過する赤色フィルタＣＦＲ、緑色の波長帯域を透過する緑色フィルタＣＦＧ、青色の波長帯域を透過する青色フィルタＣＦＢおよび赤外線の波長帯域を透過する赤外色フィルタＣＦＩＲの各色フィルタが配置される。そして、１行１列の位置および４行４列の位置に配置された各撮像光学系１１１−１１、１１１−４４の各領域の物体側には、赤外色フィルタＣＦＩＲが配置される。１行３列の位置、２行２列の位置、２行４列の位置、３行１列の位置、３行３列の位置、および４行２列の位置の各位置にそれぞれ配置された各撮像光学系１１１−１３、１１１−２２、１１１−２４、１１１−３１、１１１−３３の各領域の物体側には、緑色フィルタＣＦＧが配置される。２行１列の位置、２行３列の位置、４行１列の位置および４行３列の位置の各位置にそれぞれ配置された各撮像光学系１１１−２１、１１１−２３、１１１−４１、１１１−４３の各領域の物体側には、赤色フィルタＣＦＲが配置される。１行２列の位置、１行４列の位置、３行２列の位置および３行４列の位置の各位置にそれぞれ配置された各撮像光学系１１１−１２、１１１−１４、１１１−３２、１１１−３４の各領域の物体側には、青色フィルタＣＦＢが配置される。
【０１２１】
第６態様では、アレイレンズ１１において対角の位置に配置されている撮像光学系１１１を、測距専用の個眼レンズとし、それら撮像光学系１１１に対応する撮像部５を、測距用の撮像素子とする。図１４に示すような第３態様のフィルタを用いる場合は、撮像光学系１１１−１１と撮像光学系１１１−４４とが測距専用の個眼レンズとされ、これら撮像光学系１１１に対応する撮像部５が測距専用の撮像素子とされ、赤外色フィルタＣＦＩＲが対応付けられている。第３態様の色フィルタのように、赤外色の波長帯域で撮像される場合は、外乱に強く出力が大きいという特徴がある。また、測距専用の個眼レンズに対応付けて、比視感度が高い緑色の波長帯域を透過する緑色フィルタＣＦＧを配置してもよい。また、測距専用の撮像光学系１１１は、アレイレンズ１１の対角の位置に配置されたものに限らず、撮像を所望する被写体Ｏｂまでの距離に応じた基線長が確保されればよく、オクルージョンの発生を低減させる為にＹ軸方向にずれていることが望ましい。
【０１２２】
第６態様では、あらかじめ測距専用として定められた撮像光学系１１１は、装置の生産時などに、合焦位置の誤差が測定され、その情報が補正情報記憶部９３に記憶されており、撮像光学系１１１の合焦位置が異なる場合は、合焦位置のずれに応じて、距離演算部８４は、対応点探索による視差に基づいて算出した被写体Ｏｂまでの距離を、補正情報記憶部９３に記憶されている補正情報を用いて補正する。第６実施態様では、測距用の撮像光学系１１１が予め特定されているため、測距専用の撮像光学系１１１を生産時に誤差測定しておけばよいことになる。
【０１２３】
例えば、撮像装置Ｉは、複数の撮像部５のうちから、距離を求めるための複数の撮像部５を選択して設定するためのディップスイッチ、例えば、上記第１〜６態様を設定するためのディップスイッチを備え、撮像装置Ｉの使用前にユーザが前記ディップスイッチを操作することで、いずれかの態様を選択して設定し、距離演算部８４は、複数の撮像部５のうちから、前記ディップスイッチで設定された態様に応じて、距離を求めるための複数の撮像部５として選択して設定する。この場合は、上記第１〜６態様ごとに、距離を求めるための複数の撮像部５が決定されているものとする。
【０１２４】
例えば、撮像装置Ｉが植物の成長を観察する用途に使用される場合、ユーザの操作によって前記ディップスイッチが第４態様用に設定され、距離演算部８４は、複数の撮像部５のうちから、前記ディップスイッチで設定された、緑色の波長帯域で被写体の光学像を撮像する撮像部を、距離を求めるための複数の撮像部５として選択して設定する。あるいは、例えば、撮像装置Ｉが周辺を監視する車載用に使用される場合、製造段階でオペレータによって前記ディップスイッチが第５態様用に設定され、距離演算部８４は、複数の撮像部５のうちから、前記ディップスイッチで設定された、赤外線の波長帯域で被写体の光学像を撮像する撮像部を、距離を求めるための複数の撮像部５として選択して設定する。
【０１２５】
＜動作＞
次に、本実施形態における撮像装置Ｉの動作について説明する。図１５は、第１態様の撮像装置の動作を示す第１のフローチャートである。図１６は、第２〜６態様の撮像装置の動作を示す第２のフローチャートである。第１態様においては、被写体までの距離を求めるための撮像部５として、合焦位置が設計値に近い撮像光学系１１１に対応する撮像部５が選択されるので、選択された撮像部５による画像を用いた測距の精度は高い可能性が高い。従って、画像を用いて求めた距離をそのまま用いて、オートフォーカスを行う。一方、第２〜６態様においては、撮像装置Ｉの使用目的等に応じて撮像部５が選択されるので、選択された撮像部５に対応する撮像光学系１１１の合焦距離にバラツキが生じている可能性が高い。従って、画像を用いて求めた距離を補正情報記憶部９３に記憶している補正情報により補正して、補正後の距離を用いて、オートフォーカスを行う。
【０１２６】
まず、図１５の第１のフローチャートについて説明する。
【０１２７】
撮像装置Ｉでは、図略のシャッターボタン等の操作によって撮影が指示されると、制御処理部８のＡＦ制御部８２は、距離演算部８４に被写体Ｏｂまでの距離の算出を依頼する。
【０１２８】
依頼を受けた距離演算部８４は、前記事前に設定された複数の撮像部５によって撮像された複数の画像を取得する（Ｓ１０）。前記事前に設定された複数の撮像部５とは、例えば第１態様が指示されている場合には、複数の撮像光学系１１１全てにおける各個眼合焦位置の平均値に最も近似した個眼合焦位置を持つ２個以上の撮像光学系１１１に対応する撮像部５である。
【０１２９】
より具体的には、距離演算部８４は、制御処理部８を介して各部を制御し、前記事前に設定された複数の撮像部５（本実施形態では撮像素子５の各分割領域）に各画像信号をそれぞれ生成させる。複数の撮像部５は、それぞれ、被写体の光学像をアレイレンズ１１の各撮像光学系１１１を介して撮像し、各画像信号を制御処理部８へ出力する。複数の撮像部５から各画像信号が入力されると、制御処理部８の画像処理部８３における個眼画像形成部８３１は、複数の撮像部５それぞれで得られた各画像信号に対し、所定の画像処理をそれぞれ行って前記複数の画像を表す各データとして各個眼の各画像データを生成する。距離演算部８４は、個眼画像形成部８３１が生成した各個眼の画像データを取得する。
【０１３０】
次に、距離演算部８４は、図３、４を用いて説明したように、測距処理を実行する（Ｓ２０）。より具体的には、距離演算部８４は、処理Ｓ１０において取得した画像を用いて対応点探索を行い、被写体Ｏｂまでの距離を算出し、算出した距離をＡＦ制御部８２に渡す。
【０１３１】
距離演算部８４から被写体までの距離を取得したＡＦ制御部８２は、次に、位置検出部７から、前記軸方向に沿ったアレイレンズ１１の現在位置を取得する（Ｓ３０）。
【０１３２】
そして、ＡＦ制御部８２は、距離演算部８４によって求められた被写体までの距離に基づいて、アレイレンズ１１の移動の要否、つまり、オートフォーカス機能の実行の要否を判断する（Ｓ４０）。より具体的には、ＡＦ制御部８２は、ＡＦ情報記憶部９２に記憶したＡＦ情報から距離演算部８４で求めた被写体までの距離に対応する合焦の各撮像光学系１１１（レンズ）の位置を取得し、この取得した各レンズ位置の平均値を、被写体までの距離に基づいたアレイレンズ１１の位置として求める。そして、ＡＦ制御部８２は、処理Ｓ３０で取得した現在のアレイレンズ１１の現在位置と、被写体までの距離に応じたアレイレンズ１１の位置とを比較し、予め設定された所定の範囲内で一致するか否かを判定する。例えば、ＡＦ制御部８２は、位置検出部７から取得したアレイレンズ１１の現在位置と、被写体までの距離に応じたアレイレンズ１１の位置との差の絶対値を求め、この求めた差の絶対値が予め設定された所定の範囲内であるか否かを判定する。前記所定の範囲は、撮像光学系１１１の焦点深度や当該撮像装置Ｉに要求される解像度等に応じて適宜に設定される。この判定の結果、アレイレンズ１１における両位置が前記所定の範囲内で一致する場合には、オートフォーカス機能の実行が不要である場合（Ｓ４０：ＮＯ）であり、ＡＦ制御部８２は、処理Ｓ６０を実行し、一方、前記判定の結果、アレイレンズ１１における両位置が前記所定の範囲内で一致しない場合には、オートフォーカス機能の実行が必要である場合（Ｓ４０：ＹＥＳ）であり、ＡＦ制御部８２は、処理Ｓ５０を実行する。
【０１３３】
処理Ｓ５０において、ＡＦ制御部８２は、オートフォーカス機能を実行し、その後、処理Ｓ６０を実行する。より具体的には、ＡＦ制御部８２は、アレイレンズ１１の位置が、被写体までの距離に応じたアレイレンズ１１の位置になるように、駆動部制御部８１を介して駆動部４を制御することによって、前記軸方向に沿ったアレイレンズ１１の位置を制御し、処理Ｓ５０を実行する。この処理Ｓ５０を実行することによってアレイレンズ１１は、オートフォーカスされる（自動的に合焦される）。
【０１３４】
処理Ｓ６０において、このようにＡＦ制御部８２によってアレイレンズ１１の位置が制御された後に、制御処理部８は、被写体の光学像を撮像し、画像処理部８３に合成画像を生成させ、処理を終了する。より具体的には、制御処理部８は、各部を制御し、複数の撮像部５に各画像信号をそれぞれ生成させ、個眼画像形成部８３１は、複数の撮像部５それぞれで得られた各画像信号に対し、所定の画像処理をそれぞれ行って前記複数の画像を表す各データとして各個眼の各画像データを生成する。そして、画像処理部８３における画像合成部８３２は、個眼画像形成部８３１で生成された複数の画像データのうちの少なくとも２個以上の画像データを合成することによって新たな合成画像として合成画像データを生成する。そして、制御処理部８は、合成画像データを記憶部９に記憶し、また、図略の表示部に合成画像として表示し、処理を終了する。
【０１３５】
次に、図１６の第２のフローチャートについて説明する。
【０１３６】
第２のフローチャートが第１のフローチャートと異なる点は、第１のフローチャートのＳ２０の処理の後に、Ｓ２０の処理において求めた被写体Ｏｂまでの距離を補正する処理が追加されている点である。従って、この距離を補正するＳ２１の処理について説明する。尚、第２のフローチャートと第１のフローチャートにおいて、ステップ番号が同じ処理は、処理内容が同じである。
【０１３７】
処理Ｓ２０において、距離演算部８４は、図３、４を用いて説明したように、測距処理を実行する。より具体的には、距離演算部８４は、処理Ｓ１０において取得した画像を用いて対応点探索を行い、被写体Ｏｂまでの距離を算出する。
【０１３８】
そして、距離演算部８４は、補正情報記憶部９３から、Ｓ２０の処理において算出した被写体Ｏｂまでの距離算出するために用いた撮像部５に対応し、且つ、算出した距離に対応する補正情報を読み出して、Ｓ２０において算出した距離を補正し（Ｓ２１）、補正後の距離をＡＦ制御部８２に渡す。
【０１３９】
距離演算部８４から、補正した被写体までの距離を取得したＡＦ制御部８２は、次に、位置検出部７から、前記軸方向に沿ったアレイレンズ１１の現在位置を取得し（Ｓ３０）、Ｓ４０からの処理を行う。
＜変形例＞
実施形態の第１態様においては、被写体Ｏｂまでの距離を求めるために用いる撮像部５は、予め測定した撮像光学系１１１の合焦距離や、撮像装置Ｉの使用目的等に応じて、予め決定して記憶しておくこととしていた。変形例では、距離を求めるために用いる撮像部５の選択を、オートフォーカス時に行う。
【０１４０】
この場合、距離演算部８４は、予め決められた撮像部５を選択するのではなく、記憶部９の個眼情報記憶部９１に記憶されている各個眼の合焦位置情報を参照して決定する。
【０１４１】
撮像光学系１１１それぞれの合焦距離の平均値を算出し、合焦距離がその平均値から所定範囲内の撮像光学系１１１に対応する撮像部５を選択する等である。
【０１４２】
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。
【符号の説明】
【０１４３】
Ｉ  撮像装置
１  光学部品
２  支持機構
４  駆動部
５  撮像部
７  位置検出部
８  制御処理部
９  記憶部
８１  駆動部制御部
８２  オートフォーカス制御部
８３  画像処理部
１１  アレイレンズ
９１  個眼情報記憶部
９３  補正情報記憶部
１１１  撮像光学系
８３２  画像合成部
【図１】
2016004152.tif 000003
【図２】
2016004152.tif 000004
【図４】
2016004152.tif 000005
【図５】
2016004152.tif 000006
【図６】
2016004152.tif 000007
【図７】
2016004152.tif 000008
【図８】
2016004152.tif 000009
【図９】
2016004152.tif 000010
【図１０】
2016004152.tif 000011
【図１１】
2016004152.tif 000012
【図１２】
2016004152.tif 000013
【図１３】
2016004152.tif 000014
【図１４】
2016004152.tif 000015
【図１５】
2016004152.tif 000016
【図１６】
2016004152.tif 000017
【図１７】
2016004152.tif 000018
【図３】
2016004152.tif 000019