(57)【要約】【課題】本発明は、アレイレンズを備える撮像装置において、被写体までの距離に応じて結像する、アレイレンズの各個眼における前記各結像位置が全個眼に対し同一ではない場合でも、当該撮像装置にとってより最適に合焦できる撮像装置および撮像方法を提供する。【解決手段】本発明の撮像装置Ｉは、アレイレンズを備え、画像合成する撮像装置Ｉであって、複数の撮像部５のうちの全て未満の撮像部５によって撮像された１または複数の画像に基づくアレイレンズの合焦位置になるように、アレイレンズの位置を、駆動部制御部８１を介して駆動部４を制御することによって制御するＡＦ制御部８２とを備え、前記複数の撮像部５のうちの全て未満の撮像部５は、当該全て未満の撮像部５によって前記１または複数の画像を撮像する前の事前に設定されている。【選択図】図２
2016004182.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像光学系を持つアレイレンズと、
前記アレイレンズにおける前記複数の撮像光学系に対応し、前記複数の撮像光学系それぞれによって各撮像面にそれぞれ結像された被写体の各光学像をそれぞれ撮像する複数の撮像部と、
前記アレイレンズを支持し、所定の軸の軸方向に沿って前記アレイレンズを移動させる駆動機構部と、
前記複数の撮像部のうちの全て未満の撮像部によって撮像された１または複数の画像に基づく前記アレイレンズの合焦位置になるように、前記軸方向に沿った前記アレイレンズの位置を、前記駆動機構部を制御することによって制御するオートフォーカス制御部と、
前記オートフォーカス制御部によって前記アレイレンズの位置を制御した後に、前記複数の撮像部によって撮像された複数の画像のうちの少なくとも２個以上の画像を合成することによって新たな合成画像を生成する画像合成部とを備え、
前記複数の撮像部のうちの全て未満の撮像部は、当該全て未満の撮像部によって前記１または複数の画像を撮像する前の事前に設定されていること
を特徴とする撮像装置。
【請求項２】
前記オートフォーカス制御部は、前記複数の撮像部のうちの全て未満の撮像部を、当該全て未満の撮像部によって前記１または複数の画像を撮像する前に、変更して選択することによって、事前に設定すること
を特徴とする請求項１に記載の撮像装置。
【請求項３】
前記複数の撮像部のうちの全て未満の撮像部は、前記複数の撮像光学系全てにおける各個眼合焦位置の平均値に最も近似した個眼合焦位置を持つ撮像光学系に対応する撮像部を含むこと
を特徴とする請求項１または請求項２に記載の撮像装置。
【請求項４】
前記複数の撮像部のうちの全て未満の撮像部は、前記全て未満の撮像部に対応する撮像光学系における個眼合焦位置の平均値が、前記複数の撮像光学系全てにおける個眼合焦位置の平均値に一致する撮像光学系に対応する撮像部を含むこと
を特徴とする請求項１ないし請求項３のいずれか１項に記載の撮像装置。
【請求項５】
前記複数の撮像部のうちの全て未満の撮像部は、緑色の波長帯域で撮像する撮像部を含むこと
を特徴とする請求項１ないし請求項４のいずれか１項に記載の撮像装置。
【請求項６】
前記複数の撮像部のうちの全て未満の撮像部は、当該撮像装置の使用用途に応じて予め設定された色の波長帯域で撮像する撮像部を含むこと
を特徴とする請求項１ないし請求項５のいずれか１項に記載の撮像装置。
【請求項７】
前記複数の撮像部のうちの全て未満の撮像部は、同一色の波長帯域で撮像する複数の撮像部を含むこと
を特徴とする請求項１ないし請求項６のいずれか１項に記載の撮像装置。
【請求項８】
前記複数の撮像部のうちの全て未満の撮像部は、互いに異なる色の波長帯域で撮像する複数の撮像部を含むこと
を特徴とする請求項１ないし請求項７のいずれか１項に記載の撮像装置。
【請求項９】
前記複数の撮像部のうちの全て未満の撮像部は、前記複数の撮像光学系のうちの中央位置または前記中央位置に寄った位置に配置された撮像光学系に対応する撮像部を含むこと
を特徴とする請求項１ないし請求項８のいずれか１項に記載の撮像装置。
【請求項１０】
前記複数の撮像部のうちの全て未満の撮像部は、予め設定された所定の対称点に対して互いに対称な位置に配置された複数の撮像光学系に対応する複数の撮像部を含むこと
を特徴とする請求項１ないし請求項９のいずれか１項に記載の撮像装置。
【請求項１１】
前記複数の撮像部のうちの全て未満の撮像部は、前記複数の撮像光学系のうちの周辺部に寄った位置であって予め設定された所定の対称点に対して互いに対称な前記位置に配置された複数の撮像光学系に対応する複数の撮像部を含むこと
を特徴とする請求項１ないし請求項８のいずれか１項に記載の撮像装置。
【請求項１２】
前記オートフォーカス制御部は、前記複数の撮像部のうちの全て未満の撮像部によって撮像された複数の画像それぞれについてコントラストの各ピークを与える各レンズ位置を求め、前記求めた各レンズ位置の平均値を前記アレイレンズの合焦位置として求めること
を特徴とする請求項１ないし請求項１１のいずれか１項に記載の撮像装置。
【請求項１３】
前記平均値は、予め設定された所定の重みで重み付き平均した加重平均値であること
を特徴とする請求項１２に記載の撮像装置。
【請求項１４】
前記オートフォーカス制御部は、前記複数の撮像部のうちの全て未満の撮像部によって撮像された複数の画像それぞれについて各レンズ位置で各コントラストを求め、前記求めた各コントラストをレンズ位置を合わせつつ合算することによって合算コントラストを求め、前記求めた合算コントラストのピークを与えるレンズ位置を前記アレイレンズの合焦位置として求めること
を特徴とする請求項１ないし請求項１１のいずれか１項に記載の撮像装置。
【請求項１５】
前記オートフォーカス制御部は、前記複数の撮像部のうちの全て未満の撮像部によって撮像された１または複数の画像に基づく前記アレイレンズの合焦位置を補正することによって新たな前記アレイレンズの合焦位置を求めること
を特徴とする請求項１ないし請求項１４のいずれか１項に記載の撮像装置。
【請求項１６】
複数の撮像光学系を持つアレイレンズと、前記アレイレンズにおける前記複数の撮像光学系に対応し、前記複数の撮像光学系それぞれによって各撮像面にそれぞれ結像された被写体の各光学像をそれぞれ撮像する複数の撮像部と、前記アレイレンズを支持し、所定の軸の軸方向に沿って前記アレイレンズを移動させる駆動機構部と、を備える撮像装置の撮像方法であって、
前記複数の撮像部のうちの全て未満の撮像部によって撮像された１または複数の画像に基づいて、前記アレイレンズを合焦するために前記軸方向に沿った前記アレイレンズの位置を、前記駆動機構部を制御することによって制御するオートフォーカス制御工程と、
前記オートフォーカス制御工程によって前記アレイレンズの位置を制御した後に、前記複数の撮像部によって撮像された複数の画像のうちの少なくとも２個以上の画像を合成することによって新たな合成画像を生成する画像合成工程とを備え、
前記複数の撮像部のうちの全て未満の撮像部を、当該全て未満の撮像部によって前記１または複数の画像を取得する前の事前に設定する設定工程をさらに備えること
を特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体（被写体）の光学像を撮像する撮像装置および撮像方法に関する。
【背景技術】
【０００２】
撮像装置は、一般に、物体（被写体）の光学像を結像する撮像光学系と、前記撮像光学系によって受光面（撮像面）上に結像された前記光学像を電気的な信号に変換する撮像素子とを備えている。このような撮像装置の一つに、アレイ状に配列された複数の撮像光学系（個眼）を備えるアレイレンズを用いた装置が知られている。このようなアレイレンズを用いた撮像装置は、一例として、例えば、特許文献１に開示された撮像装置がある。
【０００３】
この特許文献１に開示された撮像装置は、複数のレンズを含むレンズアレイと、前記複数のレンズと一対一に対応して設けられ、対応する前記レンズの光軸方向に対して略垂直な受光面をそれぞれ有する複数の撮像領域と、前記レンズアレイの近傍に配置され温度を検知する温度センサーと、前記温度センサーにより検知された温度に基づいて、前記複数のレンズのすべての光軸の移動量に応じて前記撮像領域において生成された撮像信号を補正する温度補償／撮像信号補正部とを備えている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４２６４４６４号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、このようなアレイレンズを用いた撮像装置は、従来、固定焦点方式でアレイレンズによって撮像素子の受光面に物体の光学像を結像している。前記特許文献１に開示された撮像装置は、各個眼の各光軸における各移動量、すなわち、光軸に直交する方向の移動量を温度補償している。したがって、前記特許文献１に開示された撮像装置は、光軸に沿った方向にレンズアレイ（アレイレンズ）を移動しているわけではなく、固定焦点方式である。
【０００６】
一方、近年では、アレイレンズを用いた撮像装置に対し、より高精度に合焦することが要望されてきている。このため、アレイレンズを用いた撮像装置に、オートフォーカス機能を搭載することが考えられる。この場合、アレイレンズの各個眼において、被写体までの距離に応じて結像する各結像位置が、互いに同一であれば、前記アレイレンズにおける任意の１個の個眼に対し、オートフォーカスを実行することによって、全ての個眼に対しても合焦できる。しかしながら、アレイレンズの各個眼において、被写体までの距離に応じて結像する前記各結像位置は、全個眼に対し必ずしも同一であるとは限らず、製造誤差等によって各個眼ごとに異なる場合が多い。このため、前記アレイレンズにおける任意の１個の個眼に対し、オートフォーカスを実行しても、全ての個眼に対して必ずしも合焦できるとは限らない。
【０００７】
本発明は、上述の事情に鑑みて為された発明であり、その目的は、アレイレンズを備える撮像装置において、被写体までの距離に応じて結像する、アレイレンズの各個眼における前記各結像位置が全個眼に対し同一ではない場合でも、当該撮像装置にとってより最適に合焦できる撮像装置および撮像方法を提供することである。
【課題を解決するための手段】
【０００８】
本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。すなわち、本発明の一態様にかかる撮像装置は、複数の撮像光学系を持つアレイレンズと、前記アレイレンズにおける前記複数の撮像光学系に対応し、前記複数の撮像光学系それぞれによって各撮像面にそれぞれ結像された被写体の各光学像をそれぞれ撮像する複数の撮像部と、前記アレイレンズを支持し、所定の軸の軸方向に沿って前記アレイレンズを移動させる駆動機構部と、前記複数の撮像部のうちの全て未満の撮像部によって撮像された１または複数の画像に基づく前記アレイレンズの合焦位置になるように、前記軸方向に沿った前記アレイレンズの位置を、前記駆動機構部を制御することによって制御するオートフォーカス制御部と、前記オートフォーカス制御部によって前記アレイレンズの位置を制御した後に、前記複数の撮像部によって撮像された複数の画像のうちの少なくとも２個以上の画像を合成することによって新たな合成画像を生成する画像合成部とを備え、前記複数の撮像部のうちの全て未満の撮像部は、当該全て未満の撮像部によって前記１または複数の画像を撮像する前の事前に設定されていることを特徴とする。
【０００９】
このような撮像装置は、複数の撮像部のうちの全て未満の撮像部によって撮像された１または複数の画像に基づいてオートフォーカスを実行する。この際に、上記撮像装置では、複数の撮像部のうちの全て未満の撮像部は、当該全て未満の撮像部によって１または複数の画像を撮像する前の事前に設定されている。したがって、当該撮像装置にとって適した撮像部を前記全て未満の撮像部として事前に設定できるから、上記撮像装置は、被写体までの距離に応じて結像する、アレイレンズの各個眼における各結像位置（各個眼結像位置）が全個眼に対し同一ではない場合でも、当該撮像装置にとってより最適に合焦できる。
【００１０】
また、他の一態様では、上述の撮像装置において、前記オートフォーカス制御部は、前記複数の撮像部のうちの全て未満の撮像部を、当該全て未満の撮像部によって前記１または複数の画像を撮像する前に、変更して選択することによって、事前に設定することを特徴とする。
【００１１】
このような撮像装置は、前記全て未満の撮像部を変更して選択できるので、状況に応じて当該撮像装置にとって適した撮像部を前記全て未満の撮像部として事前に設定できる。
【００１２】
また、他の一態様では、これら上述の撮像装置において、前記複数の撮像部のうちの全て未満の撮像部は、前記複数の撮像光学系全てにおける各個眼合焦位置の平均値に最も近似した個眼合焦位置を持つ撮像光学系に対応する撮像部を含むことを特徴とする。
【００１３】
このような撮像装置では、オートフォーカスの際におけるアレイレンズの合焦位置は、複数の撮像光学系全てにおける各個眼合焦位置の平均値に最も近似した個眼合焦位置を持つ撮像光学系に対応する撮像部を含む前記全て未満の撮像部によって撮像された１または複数の画像に基づいて決定される。このため、上記撮像装置は、全ての個眼（複数の撮像光学系）それぞれに対し各個眼合焦位置のずれを小さくでき、全ての個眼に対し総合的に最適な合焦状態を実現できるから、当該撮像装置にとってより最適に合焦できる。
【００１４】
また、他の一態様では、これら上述の撮像装置において、前記複数の撮像部のうちの全て未満の撮像部は、前記全て未満の撮像部に対応する撮像光学系における個眼合焦位置の平均値が、前記複数の撮像光学系全てにおける個眼合焦位置の平均値に一致する撮像光学系に対応する撮像部を含むことを特徴とする。
【００１５】
このような撮像装置では、オートフォーカスの際におけるアレイレンズの合焦位置は、前記全て未満の撮像部に対応する撮像光学系における個眼合焦位置の平均値が、前記複数の撮像光学系全てにおける個眼合焦位置の平均値に一致する撮像光学系に対応する撮像部を含む前記全て未満の撮像部によって撮像された１または複数の画像に基づいて決定される。このため、上記撮像装置は、前記全て未満の撮像部に対応する個眼（撮像光学系）に対し、個眼合焦位置のずれを小さくでき、当該撮像装置にとってより最適に合焦できる。
【００１６】
また、他の一態様では、これら上述の撮像装置において、前記複数の撮像部のうちの全て未満の撮像部は、緑色の波長帯域で撮像する撮像部を含むことを特徴とする。
【００１７】
人の視感感度は、緑色に対して最も高いことが知られている。上記撮像装置では、オートフォーカスの際におけるアレイレンズの合焦位置は、緑色の波長帯域で撮像する撮像部を含む前記全て未満の撮像部によって撮像された１または複数の画像に基づいて決定される。このため、上記撮像装置は、緑色の波長帯域で撮像する撮像部に対応する個眼に対し、個眼合焦位置のずれを小さくでき、人の視感感度の高い緑色の波長帯域をより良く合焦した状態で好適に撮像できる。
【００１８】
また、他の一態様では、これら上述の撮像装置において、前記複数の撮像部のうちの全て未満の撮像部は、当該撮像装置の使用用途に応じて予め設定された色の波長帯域で撮像する撮像部を含むことを特徴とする。
【００１９】
一般に、主に撮像したい被写体は、当該撮像装置の使用用途に応じて決まる。例えば、植物の成長を観察する用途の撮像装置では、緑色の被写体が主体となる。また例えば、果実の成熟具合を観察する用途の撮像装置では、赤色の被写体が主体となる。また例えば、周辺を監視する車載用の撮像装置では、可視光だけでなく、赤外線が主体になる場合がある。上記撮像装置では、オートフォーカスの際におけるアレイレンズの合焦位置は、当該撮像装置の使用用途に応じて予め設定された色の波長帯域で撮像する撮像部を含む前記全て未満の撮像部によって撮像された１または複数の画像に基づいて決定される。このため、上記撮像装置は、当該撮像装置の使用用途に応じて予め設定された色の波長帯域で撮像する撮像部に対応する個眼に対し、個眼合焦位置のずれを小さくでき、当該撮像装置の使用用途に応じた色の波長帯域をより良く合焦した状態で好適に撮像できる。したがって、上記撮像装置は、当該撮像装置にとってより最適に合焦できる。
【００２０】
また、他の一態様では、これら上述の撮像装置において、前記複数の撮像部のうちの全て未満の撮像部は、同一色の波長帯域で撮像する複数の撮像部を含むことを特徴とする。
【００２１】
このような撮像装置では、オートフォーカスの際におけるアレイレンズの合焦位置は、同一色の波長帯域で撮像する複数の撮像部を含む前記全て未満の撮像部によって撮像された１または複数の画像に基づいて決定される。このため、上記撮像装置は、同一色の波長帯域で撮像する複数の撮像部に対応する各個眼に対し、各個眼合焦位置のずれを小さくでき、同一色の波長帯域をより良く合焦した状態で好適に撮像できる。
【００２２】
また、他の一態様では、これら上述の撮像装置において、前記複数の撮像部のうちの全て未満の撮像部は、互いに異なる色の波長帯域で撮像する複数の撮像部を含むことを特徴とする。
【００２３】
このような撮像装置では、オートフォーカスの際におけるアレイレンズの合焦位置は、互いに異なる色の波長帯域で撮像する複数の撮像部を含む前記全て未満の撮像部によって撮像された１または複数の画像に基づいて決定される。このため、上記撮像装置は、互いに異なる色の波長帯域で撮像する複数の撮像部に対応する各個眼に対し、各個眼合焦位置のずれを小さくでき、互いに異なる色の波長帯域をより良く合焦した状態で好適に撮像できる。
【００２４】
また、他の一態様では、これら上述の撮像装置において、前記複数の撮像部のうちの全て未満の撮像部は、前記複数の撮像光学系のうちの中央位置または前記中央位置に寄った位置に配置された撮像光学系に対応する撮像部を含むことを特徴とする。
【００２５】
通常、撮像したい被写体は、画像の中央に位置すると考えられる。上記撮像装置では、オートフォーカスの際におけるアレイレンズの合焦位置は、中央位置または前記中央位置に寄った位置に配置された撮像光学系に対応する撮像部を含む前記全て未満の撮像部によって撮像された１または複数の画像に基づいて決定される。このため、上記撮像装置は、前記中央位置または前記中央位置に寄った位置に配置された撮像光学系に対応する個眼（撮像光学系）に対し、個眼合焦位置のずれを小さくでき、より良く合焦した状態で好適に撮像できる。また、アレイレンズの中央位置が撮像光学系の中心にあるため、アレイレンズの中央位置または中央部分でオートフォーカス（ＡＦ）すると周辺側でＡＦするより広い範囲で焦点が合うので、全体として好適に撮像できる。
【００２６】
また、他の一態様では、これら上述の撮像装置において、前記複数の撮像部のうちの全て未満の撮像部は、予め設定された所定の対称点に対して互いに対称な位置に配置された複数の撮像光学系に対応する複数の撮像部を含むことを特徴とする。
【００２７】
仮にアレイレンズが軸方向に対し傾くと、この傾きによって合焦位置がずれる。上記撮像装置では、オートフォーカスの際におけるアレイレンズの合焦位置は、予め設定された所定の対称点に対して互いに対称な位置に配置された複数の撮像光学系に対応する複数の撮像部を含む前記全て未満の撮像部によって撮像された１または複数の画像に基づいて決定される。このため、上記撮像装置は、アレイレンズが傾いた場合に、この傾きを考慮してオートフォーカスを実施できる。
【００２８】
また、他の一態様では、これら上述の撮像装置において、前記複数の撮像部のうちの全て未満の撮像部は、前記複数の撮像光学系のうちの周辺部に寄った位置であって予め設定された所定の対称点に対して互いに対称な前記位置に配置された複数の撮像光学系に対応する複数の撮像部を含むことを特徴とする。
【００２９】
このような撮像装置では、前記全て未満の撮像部は、予め設定された所定の対称点に対して互いに対称な前記位置に配置された複数の撮像光学系の中でも、周辺部に寄った位置に配置された複数の撮像光学系に対応する複数の撮像部である。したがって、より離間した複数の個眼が用いられるので、上記撮像装置は、アレイレンズが傾いた場合に、この傾きをより考慮してオートフォーカスを実施できる。
【００３０】
また、他の一態様では、これら上述の撮像装置において、前記オートフォーカス制御部は、前記複数の撮像部のうちの全て未満の撮像部によって撮像された複数の画像それぞれについてコントラストの各ピークを与える各レンズ位置を求め、前記求めた各レンズ位置の平均値を前記アレイレンズの合焦位置として求めることを特徴とする。
【００３１】
このような撮像装置は、各レンズ位置（各個眼合焦位置）の平均値をアレイレンズの合焦位置とするので、前記全て未満の撮像部に対応する各個眼に対し、平均的に合焦した状態で撮像できる。
【００３２】
また、他の一態様では、上述の撮像装置において、前記平均値は、予め設定された所定の重みで重み付き平均した加重平均値であることを特徴とする。
【００３３】
このような撮像装置は、各レンズ位置（各個眼合焦位置）の加重平均値をアレイレンズの合焦位置とするので、前記全て未満の撮像部に対応する各個眼それぞれの各重要度等を考慮して合焦した状態で撮像できる。
【００３４】
また、他の一態様では、これら上述の撮像装置において、前記オートフォーカス制御部は、前記複数の撮像部のうちの全て未満の撮像部によって撮像された複数の画像それぞれについて各レンズ位置で各コントラストを求め、前記求めた各コントラストをレンズ位置を合わせつつ合算することによって合算コントラストを求め、前記求めた合算コントラストのピークを与えるレンズ位置を前記アレイレンズの合焦位置として求めることを特徴とする。
【００３５】
このような撮像装置では、各レンズ位置での各コントラストを、レンズ位置を合わせつつ合算することによって、新たな合算コントラストが生成され、この生成された合算コントラストのピークを与えるレンズ位置がアレイレンズの合焦位置とされる。このため、上記撮像装置は、前記全て未満の撮像部に対応する各個眼それぞれにおけるレンズ位置とコントラストとの対応関係における各プロファイルを考慮して合焦した状態で撮像できる。
【００３６】
また、他の一態様では、これら上述の撮像装置において、前記オートフォーカス制御部は、前記複数の撮像部のうちの全て未満の撮像部によって撮像された１または複数の画像に基づく前記アレイレンズの合焦位置を補正することによって新たな前記アレイレンズの合焦位置を求めることを特徴とする。
【００３７】
例えば当該撮像装置の設計上の都合や撮像装置を用いたシステムの設計上の都合等によって、前記全て未満の撮像部として事前に設定された撮像部がオートフォーカスに最適ではない場合が有り得る。上記撮像装置は、前記全て未満の撮像部によって撮像された１または複数の画像に基づくアレイレンズの合焦位置を補正するので、このような場合でも、より最適なアレイレンズの合焦位置にオートフォーカスでき、当該撮像装置にとってより最適に合焦できる。
【００３８】
そして、他の一態様にかかる撮像方法は、複数の撮像光学系を持つアレイレンズと、前記アレイレンズにおける前記複数の撮像光学系に対応し、前記複数の撮像光学系それぞれによって各撮像面にそれぞれ結像された被写体の各光学像をそれぞれ撮像する複数の撮像部と、前記アレイレンズを支持し、所定の軸の軸方向に沿って前記アレイレンズを移動させる駆動機構部と、を備える撮像装置の撮像方法であって、前記複数の撮像部のうちの全て未満の撮像部によって撮像された１または複数の画像に基づいて、前記アレイレンズを合焦するために前記軸方向に沿った前記アレイレンズの位置を、前記駆動機構部を制御することによって制御するオートフォーカス制御工程と、前記オートフォーカス制御工程によって前記アレイレンズの位置を制御した後に、前記複数の撮像部によって撮像された複数の画像のうちの少なくとも２個以上の画像を合成することによって新たな合成画像を生成する画像合成工程とを備え、前記複数の撮像部のうちの全て未満の撮像部を、当該全て未満の撮像部によって前記１または複数の画像を取得する前の事前に設定する設定工程をさらに備えることを特徴とする。
【００３９】
このような撮像方法は、複数の撮像部のうちの全て未満の撮像部によって撮像された１または複数の画像に基づいてオートフォーカスを実行する。この際に、上記撮像方法では、複数の撮像部のうちの全て未満の撮像部は、当該全て未満の撮像部によって１または複数の画像を撮像する前の事前に設定されている。したがって、当該撮像装置にとって適した撮像部を前記全て未満の撮像部として事前に設定できるから、上記撮像方法は、被写体までの距離に応じて結像する、アレイレンズの各個眼における各結像位置（各個眼結像位置）が全個眼に対し同一ではない場合でも、当該撮像装置にとってより最適に合焦できる。
【発明の効果】
【００４０】
本発明にかかる撮像装置および撮像方法は、アレイレンズを備える撮像装置において、被写体までの距離に応じて結像する、アレイレンズの各個眼における前記各結像位置が全個眼に対し同一ではない場合でも、当該撮像装置にとってより最適に合焦できる。
【図面の簡単な説明】
【００４１】
【図１】実施形態における撮像装置の構造的な構成を示す図である。
【図２】前記撮像装置の電気的な構成を示すブロック図である。
【図３】実施形態における撮像装置の動作を示すフローチャートである。
【図４】オートフォーカスにおけるアレイレンズの合焦位置の決定の際に用いられる第１態様の撮像部を説明するための図である。
【図５】オートフォーカスにおけるアレイレンズの合焦位置の決定における第１態様の手法（算術平均）を説明するための図である。
【図６】オートフォーカスにおけるアレイレンズの合焦位置の決定における第２態様の手法（加重平均）を説明するための図である。
【図７】オートフォーカスにおけるアレイレンズの合焦位置の決定における第３態様の手法（合算）を説明するための図である。
【図８】オートフォーカスにおけるアレイレンズの合焦位置の決定の際に用いられる第２態様の撮像部を説明するための図である。
【図９】実施形態の撮像装置に用いられる第１態様の色フィルタを説明するための図である。
【図１０】実施形態の撮像装置に用いられる第２態様の色フィルタを説明するための図である。
【図１１】オートフォーカスにおけるアレイレンズの合焦位置の決定の際に用いられる第３態様の撮像部の一例を説明するための図である。
【図１２】オートフォーカスにおけるアレイレンズの合焦位置の決定の際に用いられる第３態様の撮像部の他の一例を説明するための図である。
【図１３】オートフォーカスにおけるアレイレンズの合焦位置の決定の際に用いられる第４態様の撮像部を説明するための図である。
【図１４】オートフォーカスにおけるアレイレンズの合焦位置の決定の際に用いられる第５態様の撮像部の一例を説明するための図である。
【図１５】オートフォーカスにおけるアレイレンズの合焦位置の決定の際に用いられる第５態様の撮像部の他の一例を説明するための図である。
【図１６】オートフォーカスにおけるアレイレンズの合焦位置の決定の際に用いられる第６態様の撮像部を説明するための図である。
【図１７】オートフォーカスにおけるアレイレンズの合焦位置の補正を説明するための図である。
【図１８】アレイレンズにおける、例えば製造誤差等による光軸方向に沿った各結像位置の変化を説明するための図である。
【発明を実施するための形態】
【００４２】
以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
【００４３】
本実施形態における撮像装置Ｉは、複数の撮像光学系（個眼）を持つアレイレンズを備え、前記複数の撮像光学系それぞれによって各撮像面（各受光面）上にそれぞれ結像された物体（被写体）の各光学像をそれぞれ撮像し、これら撮像された複数の画像のうちの少なくとも２個以上の画像を合成することによって新たな合成画像を生成する装置である。撮像装置Ｉは、静止画の画像（画像信号、画像データ）を生成して良く、および／または、動画の画像（画像信号、画像データ）を生成して良い。なお、Ａおよび／またはＢは、ＡおよびＢのうちの少なくとも一方を意味する。そして、本実施形態における撮像装置Ｉでは、前記複数の撮像光学系それぞれによって結像された物体の各光学像が撮像される際に、アレイレンズの位置がオートフォーカスによって制御される。したがって、本実施形態における撮像装置Iは、当該撮像装置にとってより最適に合焦できる。以下、このような撮像装置Ｉの各態様を順に説明する。
【００４４】
図１は、実施形態における撮像装置の構造的な構成を示す図である。図１（Ａ）は、平面図であり、図１（Ｂ）は、側面図である。図１（Ｂ）は、図示するＸＹＺ直交座標系におけるＹ方向から見た場合の側面図である。ＸＹＺ直交座標系は、例えば、後述するアレイレンズ１１における各個眼の配列方向に沿ってＸ方向およびＹ方向が設定され、これらＸ方向およびＹ方向それぞれに直交する方向にＺ方向が設定される。以下、Ｘ方向、Ｙ方向およびＺ方向を適宜に用いて撮像装置Ｉの構成を説明する。なお、＋Ｘ方向は、アレイレンズ１１におけるＸ方向に沿った他方端から一方端に向かう方向であり、−Ｘ方向は、アレイレンズ１１におけるＸ方向に沿った一方端から他方端に向かう方向であり、＋Ｙ方向は、アレイレンズ１１におけるＹ方向に沿った他方端から一方端に向かう方向であり、−Ｙ方向は、アレイレンズ１１におけるＹ方向に沿った一方端から他方端に向かう方向であり、＋Ｚ方向は、アレイレンズ１１が撮像部５から離れる方向であり、−Ｚ方向は、アレイレンズ１１が撮像部５に近づく方向である。図２は、前記撮像装置の電気的な構成を示すブロック図である。
【００４５】
本実施形態における撮像装置Ｉは、例えば、図１および図２に示すように、アレイレンズ１１を含む光学部品１と、支持機構２と、支持部材３と、駆動部４と、複数の撮像部５と、温度検出部６と、位置検出部７と、オートフォーカス制御部（ＡＦ制御部）８２および画像合成部８３２を含む制御処理部８と、記憶部９とを備える。これら支持機構２および駆動部４は、駆動機構部を構成し、駆動機構部の一例である。またこれら光学部品１、支持機構２、支持部材３および駆動部４は、撮像部５の受光面上に物体の光学像を結像するレンズユニットを構成する。
【００４６】
支持機構２は、光学部品１を支持するための部材である。支持機構２は、例えば、本実施形態では、光学部品１を所定の軸の軸方向に沿ってガイドするように光学部品１を片持ちで弾性支持する平行ばね部材２である。前記所定の軸は、例えば、前記レンズユニットの光軸や撮像部５の光軸等である。この平行ばね部材２は、一方向（図１に示す例ではＸ方向）に長尺な１対（２個）のばね部材を備え、これら１対のばね部材がその長尺な方向（延伸方向）で互いに平行となるように、その長尺な方向と直交する方向で離間して配置されて構成される。このような平行ばね部材２は、例えば、１対の板バネで構成される。また例えば、平行ばね部材２は、１対のサスペンションワイヤで構成される。このように平行ばね部材２は、平行な２個の１対なばね部材で機能するが、本実施形態では、光学部品１に作用する駆動部４による駆動力および平行ばね部材２による付勢力の各力のバランスを考慮して、光学部品１をＹ方向の両側から片持ちで弾性支持するように、平行ばね部材２は、１組の第１および第２平行ばね部材２１、２２で構成されている。そして、第１平行ばね部材２１は、Ｚ方向に所定の距離だけ離間してＺ方向に平行となるように配置される、２個の１対の第１１および第１２ばね部材２１−１、２１−２を備えて構成され、これら第１１および第１２ばね部材２１−１、２１−２におけるＸ方向の各一方端部（第１平行ばね部材２１の一方端部）は、光学部品１に連結され、これらのＸ方向の各他方端部（第１平行ばね部材２１の他方端部）は、支持部材３に連結される。第２平行ばね部材２２は、Ｚ方向に前記所定の距離だけ離間してＸ方向に平行となるように配置される、２個の１対の第２１および第２２ばね部材２２−１、２２−２を備えて構成され、これら第２１および第２２ばね部材２２−１、２２−２におけるＸ方向の各一方端部（第２平行ばね部材２２の一方端部）は、光学部品１に連結され、これらのＸ方向の各他方端部（第２平行ばね部材２２の他方端部）は、支持部材３に連結される。
【００４７】
なお、本実施形態では、支持機構２は、平行ばね部材２であるが、これに限定されるものではなく、他の機構であってもよい。例えば、支持機構２は、前記軸方向に沿ってアレイレンズ１１を直進ガイドする平行リンク機構であっても良い。
【００４８】
光学部品１は、支持機構（本実施形態では平行ばね部材）２によって弾性支持され、物体の光学像を撮像部５の受光面（撮像面）上に結像するために、アレイレンズ１１を含む部品である。より具体的には、光学部品１は、平面視にて矩形形状（正方形を含む）のアレイレンズ１１と、レンズ保持枠１２とを備える。なお、光学部品１は、駆動部４の駆動力を直接的にアレイレンズ１１に伝達するように構成されてもよいが、本実施形態では、光学部品１は、前記駆動力をレンズ保持枠１２に伝達するように構成されており、上述のように、アレイレンズ１１とレンズ保持枠１２とを備えている。
【００４９】
アレイレンズ１１は、線形独立な２方向、より具体的には互いに直交するＸ方向およびＹ方向の２方向に２次元マトリクス状に配列された複数の撮像光学系（個眼）１１１を備える。これら複数の撮像光学系１１１は、それぞれ、物体の光学像を撮像部５の受光面上に結像するために、１または複数の光学レンズを光軸に沿って含む部品である。複数の撮像光学系１１１は、この図１に示す例では、各光軸が互いに略平行となるように、配列される。したがって、複数の撮像光学系１１１を介して物体の各光学像を撮像する複数の撮像部５は、それぞれ、視差だけ互いに異なるが略同じ被写体を写した画像の画像信号を生成することになる。図１に示す例では、アレイレンズ１１は、４行４列に２次元マトリクス状に配列された１６個の撮像光学系１１１−１１〜１１１−４４を備える。なお、撮像光学系１１１の個数は、これに限定されるものではなく、また、光軸に関し、必ずしも全ての撮像光学系１１１が平行である必要はない。
【００５０】
レンズ保持枠１２は、アレイレンズ１１を保持するための部材である。レンズ保持枠１２は、例えば、アレイレンズ１１の外形形状に応じた形状の貫通開口を形成した低背の筒状部材である。図１示す例では、アレイレンズ１１の外形形状が矩形形状であることから、レンズ保持枠１２は、平面視にて、矩形形状の貫通開口を有し、矩形形状の外形形状を有する筒状部材である。アレイレンズ１１は、レンズ保持枠１２の前記貫通開口に嵌め込まれて例えば接着剤等によって固定される。レンズ保持枠１２は、支持機構２の一方端部を取り付けるための第１ばね取付部１２１を備える。より具体的には、本実施形態では、図１に示すように、光学部品１をその両側から１組（１対のばね部材を１個として２個）の第１および第２平行ばね部材２１（２１−１、２１−２）、２２（２２−１、２２−２）によって片持ちで弾性支持するため、これに応じて第１ばね取付部１２１は、２個の第１１ばね取付部１２１−１および第１２ばね取付部１２１−２で構成される。これら１対の第１１および第１２ばね取付部１２１−１、１２１−２は、外方向の＋Ｙ方向および−Ｙ方向それぞれに延びる各角柱形状で、前記貫通開口を介して互いに対向するように、レンズ保持枠１２における互いに対向する各外周側面（Ｙ方向の両端それぞれに位置する各外周側面）のＸ方向の一方端の各位置に、それぞれ形成されている。角柱形状の第１ばね取付部１２１における上下面（１対の第１１および第１２ばね取付部１２１−１、１２１−２における各上下面）は、１組の平行ばね部材２の一方端部（１組の第１および第２平行ばね部材２１、２２の各一方端部）を取り付けるための取付面であり、したがって、第１ばね取付部１２１のＺ方向の長さは、平行ばね部材２における第１１ばね部材２１−１と第１２ばね部材２１−２とのＺ方向の距離（第２１ばね部材２２−１と第２２ばね部材２２−２とのＺ方向の距離）に対応した長さである。なお、レンズ保持枠１２は、係合突起部１２２を備えるが、この係合突起部１２２は、後に、説明される。
【００５１】
支持部材３は、支持機構２を支持するための部材である。本実施形態では、支持機構２が１組の第１および第２平行ばね部材２１、２２であるので、支持部材３は、第１および第２平行ばね部材２１、２２における各他方端部が取り付けられて第１および第２平行ばね部材２１、２２を支持している。より具体的には、図１に示す例では、支持部材３は、基部３１と、第２ばね取付部３２とを備える。
【００５２】
基部３１は、矩形形状の外形形状を有した板状の部材である。基部３１の略中央領域には、光学部品１のアレイレンズ１１を透過した光学像の各光束を受光する撮像部５を取り付けるための取付領域となっている。
【００５３】
第２ばね取付部３２は、平行ばね部材２の他方端部を取り付けるための部材である。より具体的には、本実施形態では、上述したように、光学部品１を１組（前記２個）の第１および第２平行ばね部材２１（２１−１、２１−２）、２２（２２−１、２２−２）によって片持ちで弾性支持するため、これに応じて第２ばね取付部３２は、２個の第２１ばね取付部３２−１および第２２ばね取付部３２−２で構成される。これら１対の第２１および第２２ばね取付部３２−１、３２−２は、上方向の＋Ｚ方向に延びる各角柱形状で、第２ばね取付部３２に取り付けられた１組の平行ばね部材２１、２２を介して光学部品１を弾性支持した場合にアレイレンズ１１を透過した各光学像の光束が基部３１の前記取付領域に到達できる配設位置であって、レンズ保持枠１２におけるＸ方向の他方端に位置する外周側面の外側近傍の配設位置（図１に示す例では矩形形状の基部３１の一方主面におけるＸ方向の他方端の位置）に、基部３１の一方主面から略垂直に立設するように基部３１に、それぞれ形成されている。そして、１対の第２１および第２２ばね取付部３２−１、３２−２は、平行ばね部材２の他方端部（１組の第１および第２平行ばね部材２１、２２の各他方端部）を取り付けるための取付面を形成するために、平行ばね部材２における第１１ばね部材２１−１と第１２ばね部材２１−２とのＺ方向の距離（第２１ばね部材２２−１と第２２ばね部材２２−２とのＺ方向の距離）に対応した長さを持つ角柱形状の突部を備える。この角柱形状の突部における上下面（１対の第２１および第２２ばね取付部３２−１、３２−２における各突部の各上下面）が、平行ばね部材２の他方端部（１組の第１および第２平行ばね部材２１、２２の各他方端部）を取り付けるための取付面となる。なお、図１に示す例では、第２ばね取付部３２は、１対の第２１および第２２ばね取付部３２−１、３２−２で構成されたが、第２ばね取付部３２は、上方向の＋Ｚ方向に延びるとともにＹ方向にも延びる各角柱形状で、第２ばね取付部３２に取り付けられた１組の平行ばね部材２１、２２を介して光学部品１を弾性支持した場合にアレイレンズ１１を透過した各光学像の光束が基部３１の前記取付領域に到達できる配設位置であって、レンズ保持枠１２における＋Ｘ方向の他方端に位置する外周側面の外側近傍の配設位置に、基部３１の一方主面から略垂直に立設するように基部３１に、形成された、１個の突条部材で構成されても良い。
【００５４】
このような構造を持つ光学部品１および支持部材３それぞれに対し、第１および第２平行ばね部材２１、２２は、次のように連結されている。図１（Ｂ）に示すように、第２平行ばね部材２２の第２１および第２２ばね部材２２−１、２２−２におけるＸ方向の各一方端部は、第１２ばね取付部１２１−２の上下面それぞれに例えば接着剤等によって固定されることで、光学部品１のレンズ保持枠１２におけるＹ方向の他方端に位置する外周側面のＸ方向の一方端で光学部品１に連結され、そして、第２平行ばね部材２２の第２１および第２２ばね部材２２−１、２２−２におけるＸ方向の他方端部は、第２２ばね取付部３２−２における前記突部の上下面それぞれに例えば接着剤等によって固定されることで、支持部材３に連結される。
【００５５】
同様に、第１平行ばね部材２１の第１１および第１２ばね部材２１−１、２１−２におけるＸ方向の各一方端部は、第１１ばね取付部１２１−１の上下面それぞれに例えば接着剤等によって固定されることで、光学部品１のレンズ保持枠１２におけるＹ方向の一方端に位置する外周側面のＸ方向の一方端で光学部品１に連結され、そして、第１平行ばね部材２１の第１１および第１２ばね部材２１−１、２１−２におけるＸ方向の他方端部は、第２１ばね取付部３２−１における前記突部の上下面それぞれに例えば接着剤等によって固定されることで、支持部材３に連結される。
【００５６】
駆動部４は、制御処理部８に接続され、制御処理部８の制御に従って、所定の軸の軸方向に沿って光学部品１を移動させるための装置である。駆動部４は、例えば、本実施形態では、前記光学部品１に係合し、所定の軸の軸方向に沿って光学部品１を移動させるためのアクチュエータ４である。このようなアクチュエータ４は、例えば、一方向に長尺な板状（帯状、リボン状、テープ状）の形状記憶合金（Ｓｈａｐｅ  Ｍｅｍｏｒｙ  Ａｌｌｏｙ、以下、「ＳＭＡ」と略記する。）を備えたＳＭＡアクチュエータ、一方向に長尺な板状のバイメタルを備えたバイメタルアクチュエータ、および、一方向に長尺な板状のモノモルフ（ユニモルフ）を備えたモノモルフアクチュエータ等である。ＳＭＡアクチュエータおよびバイメタルアクチュエータは、それぞれ、金属材料で形成され、モノモルフアクチュエータは、金属材料を含んで形成されるので、これらＳＭＡアクチュエータ、バイメタルアクチュエータおよびモノモルフアクチュエータは、それぞれ、後述するように光学部品１の移動に伴って移動した場合に、弾性限界を超えるまでは弾性変形可能であり、所定の剛性を持つ。したがって、アクチュエータ４は、好ましくは、後述のように光学部品１の移動に伴って移動する場合に、弾性変形の範囲内で移動することである。
【００５７】
このような駆動部４の駆動力を受けるために、レンズ保持枠１２は、本実施形態では、駆動部４と係合し、その駆動力を受けるための、係合突起部１２２を備えている。より具体的には、係合突起部１２２は、外方向の延びる楕円柱形状で、レンズ保持枠１２における外周側面に形成される。図１に示す例では、係合突起部１２２は、１対の第１１および第１２ばね取付部１２１−１、１２１−２の各取り付け位置を結んだ直線（Ｙ方向に沿う直線）と直交する方向（Ｘ方向）に位置するとともにＸ方向の一方端に位置する外周側面における、Ｙ方向の略中央位置であって−Ｚ方向の一方端に寄った位置に形成されている。係合突起部１２２における駆動部４と係合する係合面は、係合突起部１２２と駆動部４とが滑らかに摺動可能に当接するように、曲面となっている。
【００５８】
本実施形態では、例えば、駆動部４としてＳＭＡアクチュエータ４が用いられ、制御処理部８は、ＳＭＡアクチュエータ４を通電加熱することによって制御する。
【００５９】
ＳＭＡは、変態温度よりも高温側では、オーステナイト相（母相）と呼ばれる結晶構造になり、低温側では、マルテンサイト相と呼ばれる結晶構造になる。一般の金属材料は、所定の外力が加えられると変形前の形に戻らないが、ＳＭＡは、マルテンサイト相の状態で所定の外力が加えられて変形しても、変態温度以上になると、マルテンサイト相からオーステナイト相へ相変態し、変形前の元の形に形状が回復する。ＳＭＡを用いたＳＭＡアクチュエータ４は、この特性を利用するによって駆動力を生じる。ところで、昇温および降温に対して動作を繰り返すアクチュエータは、この温度転換に対応した二方向性が要求される。二方向性を有するＳＭＡも存在するものの、通常、ＳＭＡは、加熱に因り記憶形状に形状回復するが、冷却しても回復した記憶形状のままであり、一方向性しかない。このため、ＳＭＡアクチュエータの一態様では、形状回復後に前記一方向とは異なる他方向へＳＭＡを変形する外力（バイアス）を与えるバイアス付与部材が必要であり、本実施形態のＳＭＡアクチュエータ４では、１組の平行ばね部材２１、２２が前記バイアス付与部材として機能している。なお、支持機構２が例えば上述の平行リンク機構等のように前記バイアス付与部材として機能しない場合、撮像装置Ｉには、別途、バイアス付与部材が設けられる。
【００６０】
ＳＭＡアクチュエータ４は、予め所定の形状が記憶されており、加熱されることによって駆動力を光学部品１に与える。ＳＭＡアクチュエータ４は、Ｎｉ−Ｔｉ合金、Ｃｕ−Ａｌ−Ｎｉ合金、Ｃｕ−Ｚｎ合金、Ｃｕ−Ｚｎ−Ａｌ合金およびＮｉ−Ａｌ合金等で形成される。Ｎｉ−Ｔｉ合金は、強度、靱性、耐食性および耐摩耗性に優れており、ＳＭＡアクチュエータ４に好適である。ＳＭＡアクチュエータ４は、レンズ保持枠１２の係合突起部１２２と係合可能な位置であって支持部材３における基部３１の一方主面上に配設される。より具体的には、図１に示す例では、ＳＭＡアクチュエータ４は、そのＹ方向の一方端部で係合突起部１２２に所定の摩擦力で係合しつつＹ方向に沿って延びるように、矩形形状の基部３１の一方主面におけるＸ方向の一方端の位置に、Ｙ方向の他方端部で例えば接着剤等によって固定されることによって、基部３１の一方主面上に配設される。前記所定の形状は、本実施形態では、基部３１に固定された他方端部から所定の距離だけ離れた位置（屈曲位置）よりＹ方向の先の長尺部分が上方向の＋Ｚ方向に持ち上がって、前記屈曲位置で屈曲した形状である。
【００６１】
複数の撮像部５は、光学部品１の像側に配置され、アレイレンズ１１における複数の撮像光学系１１１に対応し、アレイレンズ１１における複数の撮像光学系１１１それぞれによって各撮像面（各受光面）に結像された被写体の各光学像をそれぞれ撮像して画像信号（または各画像データ）を出力するものであり、制御処理部８に接続され、制御処理部８の制御に従って動作する。複数の撮像部５は、本実施形態では、アレイレンズ１１における複数の撮像光学系１１１に対応して、線形独立な２方向、より具体的には互いに直交するＸ方向およびＹ方向の２方向に２次元マトリクス状に配列されている。複数の撮像部５は、アレイレンズ１１の個眼数（撮像光学系１１１の個数、図１に示す例では１６個）に応じた個数の撮像素子５であっても良いが、本実施形態では、複数の撮像部５は、１個の撮像素子５であって、撮像素子５の有効領域がアレイレンズ１１の個眼数に応じた個数の分割領域に分けられ、アレイレンズ１１の各個眼によって結像された各光学像を各分割領域で撮像するように構成されている。このような撮像素子５は、アレイレンズ１１における複数の撮像光学系１１１それぞれによって結像された物体（被写体）の各光学像における光量に応じてＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分の電気的な各画像信号に光電変換して、所定の画像処理を行う制御処理部８へ出力する。撮像素子５は、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）型のイメージセンサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型のイメージセンサ等である。
【００６２】
位置検出部７は、前記軸方向に沿ったアレイレンズ１１の位置を検出するための装置であり、例えば、永久磁石等の磁石７１と、ホール効果を利用して磁界を検出するホール素子７２とを備える。磁石７１は、アレイレンズ１１またはレンズ保持枠１２の外周側面に配設され、ホール素子７２は、磁石７１と対向するように基部３１の主面上に配設される。より具体的には、図１に示す例では、磁石７１は、係合突起部１２２を形成した外周側面にアレイレンズ１１を介して対向するＸ方向の他方端に位置する外周側面における、Ｙ方向の略中央位置に例えば接着剤等によって固定され、ホール素子７２は、このような位置に配置された磁石７１と対向するように基部３１の主面上に配設される。位置検出部７は、制御処理部８に接続され、この検出したアレイレンズ１１の位置を制御処理部８へ出力する。
【００６３】
記憶部９は、制御処理部８のＣＰＵによって実行される種々のプログラムやその実行に必要なデータ等を予め記憶するＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の不揮発性記憶素子、この制御処理部８のＣＰＵのいわゆるワーキングメモリとなるＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の揮発性記憶素子およびその周辺回路等を備えて構成される。
【００６４】
制御処理部８は、撮影するべく、撮像装置Ｉの各部を当該機能に応じてそれぞれ制御することによって撮像装置Ｉ全体の動作を司る装置である。制御処理部８は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）およびその周辺装置を備えて構成される。そして、制御処理部８には、制御処理プログラムが実行されることによって、駆動部制御部８１、オートフォーカス制御部（ＡＦ制御部）８２および画像処理部８３が機能的に構成される。
【００６５】
駆動部制御部８１は、ＡＦ制御部８２の制御に従って駆動部４を駆動制御するものである。本実施形態では、駆動部４としてＳＭＡアクチュエータ４が用いられているので、駆動部制御部８１は、ＳＭＡアクチュエータ４を通電加熱することによって制御するものである。
【００６６】
ＳＭＡアクチュエータ４は、制御処理部８の駆動部制御部８１によって電力が供給されて通電されることによって自己の抵抗に因りジュール熱を発生し、加熱される。そして、ＳＭＡアクチュエータ４は、前記変態温度に達すると、温度に応じて前記予め記憶されている形状に回復する。本実施形態では、加熱されると、ＳＭＡアクチュエータ４は、そのＹ方向の一方端が徐々にＺ方向に持ち上がる。これによってＳＭＡアクチュエータ４による駆動力が生じ、この駆動力が係合突起部１２２を介して光学部品１に伝達され、この駆動力によって光学部品１は、Ｚ方向に押し上げられ、１組の平行ばね部材２１、２２で片持ちされているので、直進ガイドされて前記所定の軸に沿って＋Ｚ方向に移動する。一方、電力の供給が停止されると、ＳＭＡアクチュエータ４は、自然放熱によって降温し、１組の平行ばね部材２１、２２による−Ｚ方向のバイアスによって平坦な形状に徐々に戻り、水平になる。このように光学部品１が−Ｚ方向に移動する。したがって、前記通電加熱量は、アレイレンズ１１におけるＺ方向の目標位置に応じて設定される。
【００６７】
ＡＦ制御部８２は、複数の撮像部５のうちの全て未満の撮像部５によって撮像された１または複数の画像に基づくアレイレンズ１１の合焦位置になるように、前記軸方向に沿ったアレイレンズ１１の位置を、駆動部制御部８１を介して駆動部４を制御することによって制御するものである。前記全て未満の撮像部５は、例えば、図１に示す例では、１６個の撮像部５（１６個の個眼）から成るので、１〜１５のうちのいずれかである。そして、前記全て未満の撮像部５は、ＡＦ制御部８２によってオートフォーカスを実行する際における、当該全て未満の撮像部５によって前記１または複数の画像を撮像する前の事前に設定されている。
【００６８】
より具体的には、例えば、ＡＦ制御部８２は、複数の撮像部５のうちの全て未満の撮像部５によって撮像された複数の画像それぞれについてコントラストの各ピークを与える各レンズ位置を求め、この求めた各レンズ位置の平均値を前記アレイレンズの合焦位置として求め、この求めたアレイレンズの合焦位置になるように、前記軸方向に沿ったアレイレンズ１１の位置を、駆動部制御部８１を介して駆動部４を制御する。前記各レンズ位置の平均値は、例えば、算術平均（相加平均）した平均値（算術平均値）であって良く、また例えば、予め設定された所定の重みで重み付き平均した加重平均値（重み付き平均値）であってよい。
【００６９】
また例えば、ＡＦ制御部８２は、複数の撮像部５のうちの全て未満の撮像部５によって撮像された複数の画像それぞれについて各レンズ位置で各コントラストを求め、この求めた各コントラストをレンズ位置を合わせつつ合算することによって合算コントラストを求め、この求めた合算コントラストのピークを与えるレンズ位置を前記アレイレンズの合焦位置として求め、この求めたアレイレンズの合焦位置になるように、前記軸方向に沿ったアレイレンズ１１の位置を、駆動部制御部８１を介して駆動部４を制御する。
【００７０】
そして、本実施形態では、ＡＦ制御部８２は、複数の撮像部５のうちの全て未満の撮像部５を、当該全て未満の撮像部５によって前記１または複数の画像を撮像する前に（すなわち、オートフォーカスする際における前記画像を撮像する前に）、変更して選択することによって、事前に設定するように構成されている。
【００７１】
例えば、撮像装置Ｉは、複数の撮像部５のうちから、前記全て未満の撮像部５を選択して設定するためのディップスイッチを備え、撮像装置Ｉの使用前にユーザが前記ディップスイッチを操作することで、前記全て未満の撮像部５を選択して設定し、ＡＦ制御部８２は、複数の撮像部５のうちから、前記ディップスイッチで設定された撮像部を、前記全て未満の撮像部５として選択して設定する。例えば、撮像装置Ｉが植物の成長を観察する用途に使用される場合、ユーザの操作によって前記ディップスイッチがそれ用に設定され、ＡＦ制御部８２は、複数の撮像部５のうちから、前記ディップスイッチで設定された、緑色の波長帯域で被写体の光学像を撮像する撮像部を、前記全て未満の撮像部５として選択して設定する。あるいは、例えば、撮像装置Ｉが周辺を監視する車載用に使用される場合、製造段階でオペレータによって前記ディップスイッチがそれ用に設定され、ＡＦ制御部８２は、複数の撮像部５のうちから、前記ディップスイッチで設定された、赤外線の波長帯域で被写体の光学像を撮像する撮像部を、前記全て未満の撮像部５として選択して設定する。
【００７２】
また例えば、撮像装置Ｉは、風景の撮影に適した露光条件（絞り値、露光時間および感度）で撮像する風景モードや、人物の撮影に適した露光条件で撮影するポートレートモードや、夜景の撮影に適した露光条件で撮像する夜景モード等の撮影モードを設定するための撮影モード設定ダイヤルスイッチを備え、ＡＦ制御部８２は、前記撮影モード設定ダイヤルスイッチで設定された撮影モードに応じて、複数の撮像部５のうちから、前記全て未満の撮像部５を選択して設定する。例えば、撮影モードがポートレートモードである場合、ＡＦ制御部８２は、肌色の解像力を上げるために、赤色の波長帯域で被写体の光学像を撮像する撮像部５を前記全て未満の撮像部５として選択し設定する。
【００７３】
また例えば、撮像装置Ｉは、画像の中央位置で測距する中央測距モードや、画像中の多点で測距するマルチ測距モード等の測距モードを設定するための測距モード設定スイッチを備え、ＡＦ制御部８２は、前記測距モード設定スイッチで設定された測距モードに応じて、複数の撮像部５のうちから、前記全て未満の撮像部５を選択して設定する。例えば、測距モードが中央測距モードである場合、ＡＦ制御部８２は、アレイレンズ１１における複数の撮像光学系１１１のうちの中央位置または前記中央位置に寄った位置に配置された撮像光学系１１１に対応する撮像部５を前記全て未満の撮像部５として選択し設定する。
【００７４】
画像処理部８３は、複数の撮像部５（本実施形態では撮像素子５の各分割領域）それぞれで得られたＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分の各画像信号に対し、所定の画像処理をそれぞれ行って各画像データを生成するものである。前記所定の画像処理は、例えば、撮像部５からのアナログ出力信号に対して行う増幅処理およびデジタル変換処理、画像全体に対して適正な黒レベルの決定処理、γ補正処理、ホワイトバランス調整（ＷＢ調整）処理、輪郭補正処理および色ムラ補正処理等の周知の画像処理である。そして、本実施形態では、このような画像処理によって前記被写体の光学像の画像を形成する際に、画像処理部８３は、ＡＦ制御部８２によってアレイレンズ１１の合焦位置を制御した後に、複数の撮像部５によって撮像された複数の画像のうちの少なくとも２個以上の画像を合成することによって新たな合成画像を生成する。
【００７５】
より具体的には、画像処理部８３は、個眼画像形成部８３１と、画像合成部８３２とを機能的に備える。個眼画像形成部８３１は、ＡＦ制御部８２によってアレイレンズ１１の合焦位置を制御した後に、複数の撮像部５それぞれで得られた各画像信号に対し、所定の画像処理をそれぞれ行って前記複数の画像を表す各データとして各個眼の各画像データを生成するものである。画像合成部８３２は、個眼画像形成部８３１で生成された複数の画像データのうちの少なくとも２個以上の画像データを合成することによって前記新たな合成画像として合成画像データを生成するものである。前記合成は、例えば、互いに異なる輝度のダイナミックレンジを持つ複数の画像からより広いダイナミックレンジの画像を生成する画像処理、および、複数の画像から当該画像の解像度より高い解像度の画像を生成する画像処理（例えば超解像処理等）等である。
【００７６】
次に、本実施形態における撮像装置Ｉの動作について説明する。図３は、実施形態における撮像装置の動作を示すフローチャートである。図４は、オートフォーカスにおけるアレイレンズの合焦位置の決定の際に用いられる第１態様の撮像部を説明するための図である。図５は、オートフォーカスにおけるアレイレンズの合焦位置の決定における第１態様の手法（算術平均）を説明するための図である。図６は、オートフォーカスにおけるアレイレンズの合焦位置の決定における第２態様の手法（加重平均）を説明するための図である。図７は、オートフォーカスにおけるアレイレンズの合焦位置の決定における第３態様の手法（合算）を説明するための図である。図４ないし図７における各横軸は、レンズ位置であり、それらの各縦軸は、コントラストである。
【００７７】
このような撮像装置Ｉでは、図略のシャッターボタン等の操作によって撮影が指示されると、図３において、制御処理部８のＡＦ制御部８２は、複数の撮像部５のうち、事前に設定された全て未満の撮像部５を用いてオートフォーカスを実行する（Ｓ１）。
【００７８】
より具体的には、ＡＦ制御部８２は、まず、アレイレンズ１１を前記軸方向に沿って近接端（無限遠端）から無限遠端（近接端）まで移動させながら、予め設定された所定の間隔（各レンズ位置）で、前記事前に設定された全て未満の撮像部５から画像信号を取得し、画像処理部８３によって画像データを生成する。なお、この画像データの生成では、次のように、この画像データの画像からコントラストを求めるので、コントラストを求めるために必要な画像処理だけでよい。前記事前に設定された全て未満の撮像部５は、好ましい一態様（第１態様）として、この例では、複数の撮像光学系１１１全てにおける各個眼合焦位置ＦＰｉの平均値に最も近似した個眼合焦位置ＦＰｉを持つ撮像光学系１１１に対応する撮像部５を含む。次に、ＡＦ制御部８２は、この生成した画像のコントラストを求める。図４には、一例として、前記事前に設定された全て未満の撮像部５が、複数の撮像光学系１１１全てにおける各個眼合焦位置ＦＰｉの平均値に最も近似した個眼合焦位置ＦＰｉを持つ１個の撮像光学系１１１に対応する１個の撮像部５である場合において、この１個の撮像部５を用いて各レンズ位置で生成された各画像に基づく、レンズ位置とコントラストとの対応関係（ＡＦ情報）α３が示されている。なお、図４には、他の４個の撮像光学系１１１に対応する４個の撮像部５におけるＡＦ情報α１、α２、α４、α５も示されている。また図５ないし図７には、他の一例として、前記事前に設定された全て未満の撮像部５が、複数の撮像光学系１１１全てにおける各個眼合焦位置ＦＰｉの平均値に最も近似した個眼合焦位置ＦＰｉを持つ２個の撮像光学系１１１に対応する２個の撮像部５である場合において、この２個の撮像部５を用いて各レンズ位置で生成された各画像に基づく、レンズ位置とコントラストとの各対応関係（ＡＦ情報）α１、α２が示されている。次に、ＡＦ制御部８２は、この求めたＡＦ情報αに基づいてアレイレンズ１１の合焦位置ＦＰを求める。そして、ＡＦ制御部８２は、この求めたアレイレンズ１１の合焦位置となるように、前記軸方向に沿ったアレイレンズ１１の位置を、駆動部制御部８１を介して駆動部４を制御することによって制御する。これによってアレイレンズ１１のオートフォーカスが実行される。
【００７９】
ここで、ＡＦ制御部８２は、ＡＦ情報αに基づくアレイレンズ１１の合焦位置ＦＰを次のように求める。
【００８０】
例えば、上述したように、前記事前に設定された全て未満の撮像部５が、複数の撮像光学系１１１全てにおける各個眼合焦位置の平均値に最も近似した個眼合焦位置を持つ１個の撮像光学系１１１に対応する１個の撮像部５である場合では、図４に示すように、ＡＦ制御部８２は、ＡＦ情報αのピーク（最もコントラストの大きい値）を与えるレンズ位置を個眼合焦位置ＦＰｉとして求め、この求めた１個の撮像部５における個眼合焦位置ＦＰｉをアレイレンズの合焦位置ＦＰとする。
【００８１】
また例えば、前記事前に設定された全て未満の撮像部５が、複数の撮像光学系１１１全てにおける各個眼合焦位置の平均値に最も近似した個眼合焦位置を持つ２個以上の撮像光学系１１１に対応する２個以上の撮像部５である場合では、ＡＦ制御部８２は、次の第１ないし第３態様の手法のうちのいずれかによって、ＡＦ情報αに基づくアレイレンズ１１の合焦位置ＦＰを決定する。
【００８２】
第１および第２態様の手法では、ＡＦ制御部８２は、前記事前に設定された全て未満の撮像部５における各ＡＦ情報αの各ピークを与える各レンズ位置を個眼合焦位置ＦＰｉとして求め、これら求めた各個眼合焦位置ＦＰｉの平均値（各レンズ位置の平均値）をアレイレンズ１１の合焦位置ＦＰとして求める。前記平均値は、算術平均した平均値（算術平均値）であってよく（第１態様の手法）、また、予め設定された所定の重みで重み付き平均した加重平均値であってよい（第２態様の手法）。例えば、代表的に、前記事前に設定された全て未満の撮像部５が２個の撮像部５である場合について、より具体的に説明すると、ＡＦ制御部８２は、図５に示すように、これら２個の撮像部５における各ＡＦ情報α１、α２の各ピークを与える各レンズ位置を個眼合焦位置ＦＰ１、ＦＰ２として求め、これら求めた各個眼合焦位置ＦＰ１、ＦＰ２を算術平均した平均値（算術平均値）をアレイレンズ１１の合焦位置ＦＰ１２として求める（ＦＰ１２＝（ＦＰ１＋ＦＰ２）／２）。なお、３個以上であってもアレイレンズ１１の合焦位置ＦＰは、同様に求められる。また、例えば、ＡＦ制御部８２は、図６に示すように、これら２個の撮像部５における各ＡＦ情報α１、α２の各ピークを与える各レンズ位置を個眼合焦位置ＦＰ１、ＦＰ２として求め、これら求めた各個眼合焦位置ＦＰ１、ＦＰ２を、予め設定された所定の重みで重み付き平均した平均値（加重平均値）をアレイレンズ１１の合焦位置ＦＰ１２として求める。例えば、ＡＦ情報α１を持つ撮像部５（第１個眼）とＡＦ情報α２を持つ撮像部５（第２個眼）との重要度が３：１である場合（第１個眼：第２個眼＝３：１）、ＦＰ１２＝（３×ＦＰ１＋１×ＦＰ２）／（１＋３）として、アレイレンズ１１の合焦位置ＦＰ１２が求められる。重みは、例えば個眼の用途等に応じて適宜に設定される。なお、３個以上であってもアレイレンズ１１の合焦位置ＦＰは、同様に求められる。
【００８３】
第３態様の手法では、ＡＦ制御部８２は、前記事前に設定された全て未満の撮像部５によって撮像された複数の画像それぞれについて各レンズ位置で各コントラストを求め、これら求めた各コントラストをレンズ位置を合わせつつ合算することによって合算コントラストを求め、この求めた合算コントラストのピークを与えるレンズ位置をアレイレンズの合焦位置ＦＰとして求める。一例として、例えば、図７には、ＡＦ情報α１を持つ撮像部５（第１個眼）およびＡＦ情報α２を持つ撮像部５（第２個眼）に対する、レンズ位置と合算コントラストの対応関係が曲線αＳで示されている。そして、この曲線αＳのピークを与えるレンズ位置がアレイレンズの合焦位置ＦＰとして求められる。
【００８４】
このようにアレイレンズ１１がオートフォーカスされると、次に、制御処理部８は、複数の個眼の画像を取得する（Ｓ２）。より具体的には、制御処理部８は、各部を制御し、複数の撮像部５（本実施形態では撮像素子５の各分割領域）に各画像信号をそれぞれ生成させる。複数の撮像部５は、それぞれ、被写体の光学像をアレイレンズ１１の各撮像光学系１１１を介して撮像し、各画像信号を制御処理部８へ出力する。複数の撮像部５から各画像信号が入力されると、制御処理部８の画像処理部８３における個眼画像形成部８３１は、複数の撮像部５それぞれで得られた各画像信号に対し、所定の画像処理をそれぞれ行って前記複数の画像を表す各データとして各個眼の各画像データを生成する。
【００８５】
次に、制御処理部８は、複数の個眼の画像を合成し、新たな合成画像を生成する（Ｓ３）。より具体的には、画像処理部８３における画像合成部８３２は、個眼画像形成部８３１で生成された複数の画像データのうちの少なくとも２個以上の画像データを合成することによって新たな合成画像として合成画像データを生成する。
【００８６】
そして、制御処理部８は、この生成した合成画像を出力し、処理を終了する。例えば、制御処理部８は、合成画像データを記憶部９に記憶し、また、図略の表示部に合成画像として表示し、処理を終了する。
【００８７】
図１８は、アレイレンズにおける、例えば製造誤差等による光軸方向に沿った各結像位置の変化を説明するための図である。
【００８８】
ここで、アレイレンズの各個眼において、被写体までの距離に応じて結像する各結像位置は、全個眼に対し必ずしも同一であるとは限らず、図１８に示すように、製造誤差等によって光軸方向に沿ってそれぞれ異なるずれ量でずれ、各個眼ごとに異なる場合が多い。前記製造誤差として、例えば、各個眼ごとにその大きさが異なり、あるいは、その厚さが異なり、その結果、結像位置が設計値からずれ、各個眼ごとにその結像位置が相違する。また例えば、アレイレンズ１００１を金型を用いて成型する場合、前記金型内での材料圧力の差に起因して材料が偏り、あるいは、前記金型の部位による冷却条件の相違に起因して材料密度が異なり、その結果、結像位置が設計値からずれ、各個眼ごとにその結像位置が相違する。図１８に示す例では、紙面左側の位置に配置された個眼は、結像位置ＦＰ０で結像し、紙面右側の位置に配置された個眼は、前記結像位置ＦＰ０よりアレイレンズ１００１から離れた位置の結像位置ＦＰ２で結像し、これらの間に配置された２個の個眼は、前記結像位置ＦＰ０よりアレイレンズ１００１に近い位置の結像位置ＦＰ１で結像している。
【００８９】
そこで、上記説明した本実施形態における撮像装置Ｉおよびこれに実装された撮像方法は、複数の撮像部５のうちの全て未満の撮像部５によって撮像された１または複数の画像に基づいてオートフォーカスを実行する。この際に、上記撮像装置Ｉおよびこれに実装された撮像方法では、複数の撮像部５のうちの全て未満の撮像部５は、当該全て未満の撮像部５によって１または複数の画像を撮像する前の事前に設定されている。したがって、当該撮像装置Ｉにとって適した撮像部５を前記全て未満の撮像部５として事前に設定できるから、上記撮像装置Ｉおよびこれに実装された撮像方法は、被写体までの距離に応じて結像する、アレイレンズ１１の各個眼における各結像位置（各個眼結像位置）が全個眼に対し同一ではない場合でも、当該撮像装置Ｉにとってより最適に合焦できる。
【００９０】
また、本実施形態における撮像装置Ｉおよびこれに実装された撮像方法は、前記全て未満の撮像部５を変更して選択できるので、状況に応じて当該撮像装置Ｉにとって適した撮像部５を前記全て未満の撮像部５として事前に設定できる。
【００９１】
また、本実施形態における撮像装置Ｉおよびこれに実装された撮像方法では、オートフォーカスの際におけるアレイレンズ１１の合焦位置ＦＰは、複数の撮像光学系１１１全てにおける各個眼合焦位置ＦＰｉの平均値に最も近似した個眼合焦位置ＦＰｉを持つ撮像光学系１１１に対応する撮像部５を含む前記全て未満の撮像部５によって撮像された１または複数の画像に基づいて決定される。このため、本実施形態における撮像装置Ｉおよびこれに実装された撮像方法は、全ての個眼（複数の撮像光学系１１１）それぞれに対し各個眼合焦位置ＦＰｉのずれを小さくでき、全ての個眼に対し総合的に最適な合焦状態を実現できるから、当該撮像装置Ｉにとってより最適に合焦できる。
【００９２】
また、本実施形態における撮像装置Ｉおよびこれに実装された撮像方法は、各レンズ位置（各個眼合焦位置）ＦＰｉの平均値をアレイレンズの合焦位置ＦＰとする場合では、前記全て未満の撮像部５に対応する各個眼に対し、平均的に合焦した状態で撮像できる。特に、重み付き平均で前記平均値を求める場合では、本実施形態における撮像装置Ｉおよびこれに実装された撮像方法は、前記全て未満の撮像部５に対応する各個眼それぞれの各重要度等を考慮して合焦した状態で撮像できる。
【００９３】
一方、各レンズ位置での各コントラストを、レンズ位置を合わせつつ合算することによって、新たな合算コントラストが生成され、この生成された合算コントラストのピークを与えるレンズ位置をアレイレンズ１１の合焦位置ＦＰとする場合では、本実施形態における撮像装置Ｉおよびこれに実装された撮像方法は、前記全て未満の撮像部５に対応する各個眼それぞれにおけるレンズ位置とコントラストとの対応関係における各プロファイルを考慮して合焦した状態で撮像できる。
【００９４】
なお、上述の実施形態では、オートフォーカスにおけるアレイレンズ１１の合焦位置を決定する際に用いる前記事前に設定される前記全て未満の撮像部５は、複数の撮像光学系１１１全てにおける各個眼合焦位置の平均値に最も近似した個眼合焦位置を持つ撮像光学系１１１に対応する撮像部５を含むように、構成された。しかしながら、前記全て未満の撮像部５は、これに限定されるものではなく、例えば、以下に説明する種々の態様であって良い。
【００９５】
図８は、オートフォーカスにおけるアレイレンズの合焦位置の決定の際に用いられる第２態様の撮像部を説明するための図である。なお、図８は、第３態様の撮像部を説明するための図でもある。図９は、実施形態の撮像装置に用いられる第１態様の色フィルタを説明するための図である。図１０は、実施形態の撮像装置に用いられる第２態様の色フィルタを説明するための図である。図１１および図１２は、オートフォーカスにおけるアレイレンズの合焦位置の決定の際に用いられる第３態様の撮像部を説明するための図である。図１３は、オートフォーカスにおけるアレイレンズの合焦位置の決定の際に用いられる第４態様の撮像部を説明するための図である。図１４および図１５は、オートフォーカスにおけるアレイレンズの合焦位置の決定の際に用いられる第５態様の撮像部を説明するための図である。図１６は、オートフォーカスにおけるアレイレンズの合焦位置の決定の際に用いられる第６態様の撮像部を説明するための図である。これら図８、および、図１１ないし図１６の各横軸は、レンズ位置であり、それらの各縦軸は、コントラストである。
【００９６】
好ましい一態様（第２態様）では、前記複数の撮像部５のうちの全て未満の撮像部５は、緑色の波長帯域で撮像する撮像部５を含む。したがって、この場合、上述の処理Ｓ１では、例えば、図８に示すように、緑色の波長帯域で撮像する撮像部５に対し、前記軸方向に沿った所定の間隔で、レンズ位置とコントラストとの対応関係（ＡＦ情報）αＧが求められ、そのＡＦ情報αＧにおけるピーク（最もコントラストの大きい値）を与える合焦位置ＦＰＧとなるように、アレイレンズ１１の位置が制御される。
【００９７】
また、この場合では、複数の撮像部５における物体側には、緑色の波長帯域を透過する緑色フィルタが配置される。例えば、図９に示すように、アレイレンズ１１の物体側に、赤色の波長帯域を透過する赤色フィルタＣＦＲ、緑色の波長帯域を透過する緑色フィルタＣＦＧ、および、青色の波長帯域を透過する青色フィルタＣＦＢの各色フィルタがいわゆるベイヤー配列で配置される。なお、図９では、アレイレンズ１１は、３行３列の９個の撮像光学系（個眼）１１１を備えている。また例えば、図１０に示すように、アレイレンズ１１における複数の撮像光学系１１１（複数の撮像部５）が複数の領域に区切られ、各領域ごとに、アレイレンズ１１の物体側に、赤色の波長帯域を透過する赤色フィルタＣＦＲ、緑色の波長帯域を透過する緑色フィルタＣＦＧ、青色の波長帯域を透過する青色フィルタＣＦＢおよび赤外線の波長帯域を透過する赤外色フィルタＣＦＩＲの各色フィルタが配置される。図１０に示す例では、アレイレンズ１１は、３行３列の９個の撮像光学系（個眼）１１１を備えている。そして、１行１列の位置、１行２列の位置、２行１列の位置および２行２列の位置の各位置にそれぞれ配置された各撮像光学系１１１−１１、１１１−１２、１１１−２１、１１１−２２を１個の領域としてその物体側には、緑色フィルタＣＦＧが配置される。１行３列の位置および２行３列の位置の各位置にそれぞれ配置された各撮像光学系１１１−１３、１１１−２３を１個の領域としてその物体側には、赤色フィルタＣＦＲが配置される。３行１列の位置および３行２列の位置の各位置にそれぞれ配置された各撮像光学系１１１−３１、１１１−３２を１個の領域としてその物体側には、青色フィルタＣＦＢが配置される。そして、３行３列の位置に配置された各撮像光学系１１１−３３を１個の領域としてその物体側には、赤外色フィルタＣＦＩＲが配置される。
【００９８】
人の視感感度は、緑色に対して最も高いことが知られている。上記構成によれば、オートフォーカスの際におけるアレイレンズ１１の合焦位置は、緑色の波長帯域で撮像する撮像部５を含む前記全て未満の撮像部５によって撮像された１または複数の画像に基づいて決定される。このため、上記撮像装置Ｉおよびこれに実装された撮像方法は、緑色の波長帯域で撮像する撮像部５に対応する個眼に対し、個眼合焦位置のずれを小さくでき、人の視感感度の高い緑色の波長帯域をより良く合焦した状態で好適に撮像できる。
【００９９】
他の好ましい一態様（第３態様）では、前記複数の撮像部５のうちの全て未満の撮像部５は、当該撮像装置Ｉの使用用途に応じて予め設定された色の波長帯域で撮像する撮像部５を含む。
【０１００】
一般に、主に撮像したい被写体は、当該撮像装置Ｉの使用用途に応じて決まる。例えば、植物の成長を観察する用途の撮像装置Ｉでは、緑色の被写体が主体となる。したがって、この場合、上述の処理Ｓ１では、例えば、上述の図８に示すように、緑色の波長帯域で撮像する撮像部５に対し、前記ＡＦ情報αＧが求められ、そのＡＦ情報αＧにおけるピークを与える合焦位置ＦＰＧとなるように、アレイレンズ１１の位置が制御される。また例えば、果実の成熟具合を観察する用途の撮像装置Ｉでは、赤色の被写体が主体となる。したがって、この場合、上述の処理Ｓ１では、例えば、図１１に示すように、赤色の波長帯域で撮像する撮像部５に対し、前記軸方向に沿った所定の間隔で、レンズ位置とコントラストとの対応関係（ＡＦ情報）αＲが求められ、そのＡＦ情報αＲにおけるピークを与える合焦位置ＦＰＲとなるように、アレイレンズ１１の位置が制御される。また例えば、周辺を監視する車載用の撮像装置Ｉでは、可視光だけでなく、赤外線が主体になる場合がある。したがって、この場合、上述の処理Ｓ１では、例えば、図１２に示すように、赤外線の波長帯域で撮像する撮像部５に対し、前記軸方向に沿った所定の間隔で、レンズ位置とコントラストとの対応関係（ＡＦ情報）αＩＲが求められ、そのＡＦ情報αＩＲにおけるピークを与える合焦位置ＦＰＩＲとなるように、アレイレンズ１１の位置が制御される。
【０１０１】
上記構成によれば、オートフォーカスの際におけるアレイレンズ１１の合焦位置は、当該撮像装置Ｉの使用用途に応じて予め設定された色の波長帯域で撮像する撮像部５を含む前記全て未満の撮像部５によって撮像された１または複数の画像に基づいて決定される。このため、このような撮像装置Ｉおよびこれに実装された撮像方法は、当該撮像装置Ｉの使用用途に応じて予め設定された色の波長帯域で撮像する撮像部５に対応する個眼に対し、個眼合焦位置のずれを小さくでき、当該撮像装置Ｉの使用用途に応じた色の波長帯域をより良く合焦した状態で好適に撮像できる。したがって、上記撮像装置Ｉおよびこれに実装された撮像方法は、当該撮像装置Ｉにとってより最適に合焦できる。
【０１０２】
他の好ましい一態様（第４態様）では、前記複数の撮像部５のうちの全て未満の撮像部５は、同一色の波長帯域で撮像する複数の撮像部５を含む。例えば、前記複数の撮像部５のうちの全て未満の撮像部５は、緑色の波長帯域で撮像する２個の撮像部５である。したがって、この場合、上述の処理Ｓ１では、例えば、図１３に示すように、緑色の波長帯域で撮像する２個の撮像部５に対し、前記軸方向に沿った所定の間隔で、レンズ位置とコントラストとの各対応関係（ＡＦ情報）αＧ−１、αＧ−２が求められ、そのＡＦ情報αＧ−１、αＧ−２における各ピークを与える各合焦位置ＦＰＧ１、ＦＰＧ２が求められ、それらの平均値（算術平均値または加重平均値）が合焦位置ＦＰＧ１２として求められ、この求められた合焦位置ＦＰＧ１２となるように、アレイレンズ１１の位置が制御される。なお、図１３には、算術平均値の例が示されている。
【０１０３】
上記構成によれば、オートフォーカスの際におけるアレイレンズ１１の合焦位置は、同一色の波長帯域で撮像する複数の撮像部５を含む前記全て未満の撮像部５によって撮像された１または複数の画像に基づいて決定される。このため、上記撮像装置Ｉおよびこれに実装された撮像方法は、同一色の波長帯域で撮像する複数の撮像部５に対応する各個眼に対し、各個眼合焦位置のずれを小さくでき、同一色の波長帯域をより良く合焦した状態で好適に撮像できる。
【０１０４】
他の好ましい一態様（第５態様）では、前記複数の撮像部５のうちの全て未満の撮像部５は、互いに異なる色の波長帯域で撮像する複数の撮像部５を含む。
【０１０５】
例えば、前記複数の撮像部５のうちの全て未満の撮像部５は、緑色の波長帯域で撮像する撮像部５、および、赤色の波長帯域で撮像する撮像部５である。したがって、この場合、上述の処理Ｓ１では、例えば、図１４に示すように、緑色の波長帯域で撮像する撮像部５、および、赤色の波長帯域で撮像する撮像部５それぞれに対し、前記軸方向に沿った所定の間隔で、レンズ位置とコントラストとの各対応関係（ＡＦ情報）αＧ、αＲがそれぞれ求められ、そのＡＦ情報αＧ、αＲにおける各ピークを与える各合焦位置ＦＰＧ、ＦＰＲがそれぞれ求められ、それらの平均値（算術平均値または加重平均値）が合焦位置ＦＰＧＲとして求められ、この求められた合焦位置ＦＰＧＲとなるように、アレイレンズ１１の位置が制御される。なお、図１４には、算術平均値の例が示されている。
【０１０６】
また例えば、前記複数の撮像部５のうちの全て未満の撮像部５は、赤色の波長帯域で撮像する撮像部５、緑色の波長帯域で撮像する撮像部５、および、青色の波長帯域で撮像する撮像部５である。したがって、この場合、上述の処理Ｓ１では、例えば、図１５に示すように、赤色の波長帯域で撮像する撮像部５、緑色の波長帯域で撮像する撮像部５、および、青色の波長帯域で撮像する撮像部５それぞれに対し、前記軸方向に沿った所定の間隔で、レンズ位置とコントラストとの各対応関係（ＡＦ情報）αＲ、αＧ、αＢがそれぞれ求められ、そのＡＦ情報αＲ、αＧ、αＢにおける各ピークを与える各合焦位置ＦＰＲ、ＦＰＧ、ＦＰＢがそれぞれ求められ、それらの平均値（算術平均値または加重平均値）が合焦位置ＦＰＲＧＢとして求められ、この求められた合焦位置ＦＰＲＧＢとなるように、アレイレンズ１１の位置が制御される。なお、図１５には、赤色の波長帯域で撮像する撮像部５の合焦位置ＦＰＲ、緑色の波長帯域で撮像する撮像部５の合焦位置ＦＰＧ、および、青色の波長帯域で撮像する撮像部５の合焦位置ＦＰＢを３：６：１の重みで重み付き平均した加重平均値の例が示されている。
【０１０７】
上記構成によれば、オートフォーカスの際におけるアレイレンズ１１の合焦位置は、互いに異なる色の波長帯域で撮像する複数の撮像部５を含む前記全て未満の撮像部５によって撮像された１または複数の画像に基づいて決定される。このため、上記撮像装置Ｉおよびこれに実装された撮像方法は、互いに異なる色の波長帯域で撮像する複数の撮像部５に対応する各個眼に対し、各個眼合焦位置のずれを小さくでき、互いに異なる色の波長帯域をより良く合焦した状態で好適に撮像できる。
【０１０８】
他の好ましい一態様（第６態様）では、前記複数の撮像部５のうちの全て未満の撮像部５は、前記複数の撮像光学系１１１のうちの中央位置または前記中央位置に寄った位置に配置された撮像光学系１１１に対応する撮像部５を含む。例えば、図１に示す例では、前記複数の撮像部５のうちの全て未満の撮像部５は、２行２列の位置に配置された撮像光学系１１１−２２に対応する撮像部５、２行３列の位置に配置された撮像光学系１１１−２３に対応する撮像部５、３行２列の位置に配置された撮像光学系１１１−３２に対応する撮像部５、および、３行３列の位置に配置された撮像光学系１１１−３３に対応する撮像部５のうちの１または複数の撮像部５を含む。一例では、前記複数の撮像部５のうちの全て未満の撮像部５が２行２列の位置に配置された撮像光学系１１１−２２に対応する撮像部５である場合、上述の処理Ｓ１では、例えば、図１６に示すように、２行２列の位置に配置された撮像光学系１１１−２２に対応する撮像部５に対し、前記軸方向に沿った所定の間隔で、レンズ位置とコントラストとの各対応関係（ＡＦ情報）αＣが求められ、そのＡＦ情報αＣにおけるピークを与える合焦位置ＦＰＣが求められ、この求められた合焦位置ＦＰＣとなるように、アレイレンズ１１の位置が制御される。なお、図１６には、２行２列の位置に配置された撮像光学系１１１−２２に対応する撮像部５におけるＡＦ情報αＣの他に、他の位置に配置された３個の撮像光学系１１１に対応する３個の撮像部５における各ＡＦ情報αａ−１、αａ−２、αａ−３が示されている。
【０１０９】
通常、撮像したい被写体は、画像の中央に位置すると考えられる。上記構成によれば、オートフォーカスの際におけるアレイレンズ１１の合焦位置は、中央位置または前記中央位置に寄った位置に配置された撮像光学系１１１に対応する撮像部５を含む前記全て未満の撮像部５によって撮像された１または複数の画像に基づいて決定される。このため、上記撮像装置Ｉおよびこれに実装された撮像方法は、前記中央位置または前記中央位置に寄った位置に配置された撮像光学系１１１に対応する個眼（撮像光学系１１１）に対し、個眼合焦位置のずれを小さくでき、より良く合焦した状態で好適に撮像できる。また、アレイレンズ１１の中央位置が撮像光学系１１１の中心にあるため、アレイレンズ１１の中央位置または中央部分でオートフォーカス（ＡＦ）すると周辺側でＡＦするより広い範囲で焦点が合うので、全体として好適に撮像できる。
【０１１０】
他の好ましい一態様（第７態様）では、前記複数の撮像部５のうちの全て未満の撮像部５は、予め設定された所定の対称点に対して互いに対称な位置に配置された複数の撮像光学系１１１に対応する複数の撮像部５を含む。例えば、図１に示す例において、前記複数の撮像部５のうちの全て未満の撮像部５は、前記所定の対称点を中央位置として、１行１列の位置に配置された撮像光学系１１１−１１に対応する撮像部５、および、４行４列の位置に配置された撮像光学系１１１−４４に対応する撮像部５を含む。また例えば、図１に示す例において、前記複数の撮像部５のうちの全て未満の撮像部５は、前記所定の対称点を２行２列の位置として、２行１列の位置に配置された撮像光学系１１１−２１に対応する撮像部５、および、２行３列の位置に配置された撮像光学系１１１−２３に対応する撮像部５を含む。また例えば、図１に示す例において、前記複数の撮像部５のうちの全て未満の撮像部５は、前記所定の対称点を３行３列の位置として、２行３列の位置に配置された撮像光学系１１１−２３に対応する撮像部５、および、４行３列の位置に配置された撮像光学系１１１−４３に対応する撮像部５を含む。
【０１１１】
一例では、前記複数の撮像部５のうちの全て未満の撮像部５が１行１列および４行４列の各位置にそれぞれ配置された撮像光学系１１１−１１、１１１−４４に対応する２個の撮像部５である場合、上述の処理Ｓ１では、例えば、１行１列および４行４列の各位置にそれぞれ配置された撮像光学系１１１−１１、１１１−４４に対応する２個の撮像部５それぞれに対し、前記軸方向に沿った所定の間隔で、レンズ位置とコントラストとの各対応関係（ＡＦ情報）α１１、α４４がそれぞれ求められ、そのＡＦ情報α１１、α４４における各ピークを与える各合焦位置ＦＰ１１、ＦＰ４４がそれぞれ求められ、それらの平均値（算術平均値または加重平均値）が合焦位置ＦＰ１１４４として求められ、この求められた合焦位置ＦＰ１１４４となるように、アレイレンズ１１の位置が制御される。
【０１１２】
仮にアレイレンズが軸方向に対し傾くと、この傾きによって合焦位置がずれる。上記構成によれば、オートフォーカスの際におけるアレイレンズ１１の合焦位置は、予め設定された所定の対称点に対して互いに対称な位置に配置された複数の撮像光学系１１１に対応する複数の撮像部５を含む前記全て未満の撮像部５によって撮像された１または複数の画像に基づいて決定される。このため、上記撮像装置Ｉおよびこれに実装された撮像方法は、アレイレンズ１１が傾いた場合に、この傾きを考慮してオートフォーカスを実施できる。
【０１１３】
他の好ましい一態様（第８態様）では、前記複数の撮像部５のうちの全て未満の撮像部５は、前記複数の撮像光学系１１１のうちの周辺部に寄った位置であって予め設定された所定の対称点に対して互いに対称な前記位置に配置された複数の撮像光学系１１１に対応する複数の撮像部５を含む。すなわち、この第８態様における前記全て未満の撮像部５は、第７態様における前記全て未満の撮像部５のうち、前記複数の撮像光学系１１１のうちの周辺部に寄った位置に配置された複数の撮像光学系１１１に対応する複数の撮像部５である。例えば、図１に示す例において、前記複数の撮像部５のうちの全て未満の撮像部５は、前記所定の対称点を中央位置として、１行１列の位置に配置された撮像光学系１１１−１１に対応する撮像部５、および、４行４列の位置に配置された撮像光学系１１１−４４に対応する撮像部５を含む。また例えば、図１に示す例において、前記複数の撮像部５のうちの全て未満の撮像部５は、前記所定の対称点を２行目におけるＸ方向の中央位置として、２行１列の位置に配置された撮像光学系１１１−２１に対応する撮像部５、および、２行４列の位置に配置された撮像光学系１１１−２４に対応する撮像部５を含む。
【０１１４】
この構成によれば、前記全て未満の撮像部５は、予め設定された所定の対称点に対して互いに対称な前記位置に配置された複数の撮像光学系１１１の中でも、周辺部に寄った位置に配置された複数の撮像光学系１１１に対応する複数の撮像部５である。したがって、より離間した複数の個眼が用いられるので、上記撮像装置Ｉおよびこれに実装された撮像方法は、アレイレンズ１１が傾いた場合に、この傾きをより考慮してオートフォーカスを実施できる。
【０１１５】
他の好ましい一態様（第９態様）では、前記複数の撮像部５のうちの全て未満の撮像部５は、前記全て未満の撮像部５に対応する撮像光学系１１１における個眼合焦位置ＦＰｉの平均値が、前記複数の撮像光学系１１１全てにおける個眼合焦位置ＦＰｉの平均値に一致する撮像光学系１１１に対応する撮像部５を含む。
【０１１６】
この構成によれば、オートフォーカスの際におけるアレイレンズ１１の合焦位置ＦＰは、前記全て未満の撮像部５に対応する撮像光学系１１１における個眼合焦位置ＦＰｉの平均値が、前記複数の撮像光学系１１１全てにおける個眼合焦位置ＦＰｉの平均値に一致する撮像光学系１１１に対応する撮像部５を含む前記全て未満の撮像部５によって撮像された１または複数の画像に基づいて決定される。このため、上記撮像装置Ｉおよびこれに実装された撮像方法は、前記全て未満の撮像部５に対応する個眼（撮像光学系１１１）に対し、個眼合焦位置ＦＰｉのずれを小さくでき、当該撮像装置Ｉにとってより最適に合焦できる。
【０１１７】
前記全て未満の撮像部５は、このような第２ないし第９態様のいずれか、または、これらの組合せの態様であって良い。
【０１１８】
なお、上述の実施形態において、ＡＦ制御部８２は、前記複数の撮像部５のうちの全て未満の撮像部５によって撮像された１または複数の画像に基づくアレイレンズ１１の合焦位置ＦＰを補正することによって新たな前記アレイレンズ１１の合焦位置ＦＰＣＲを求めるように、構成されても良い。この場合では、記憶部９は、図１に破線で示すように、オートフォーカス補正情報（ＡＦ補正情報）を記憶するオートフォーカス補正情報記憶部９１を機能的にさらに備える。
【０１１９】
このＡＦ補正情報は、所定の間隔で、個眼合焦位置ＦＰｉと当該個眼合焦位置ＦＰｉ（アレイレンズ１１の合焦位置ＦＰ）を補正するための補正値との対応関係を表すデータである。このＡＦ補正情報は、前記全て未満の撮像部５に対し、例えば生産時や出荷時等の適宜なタイミングで、作成され、例えばルックアップテーブルや関数式等の所定の形式でＡＦ補正情報記憶部９１に予め記憶される。
【０１２０】
図１７は、オートフォーカスにおけるアレイレンズの合焦位置の補正を説明するための図である。図１７の横軸は、レンズ位置であり、その縦軸は、コントラストである。そして、上述の処理Ｓ１では、例えば、図１７に示すように、まず、前記全て未満の撮像部５に対し、前記軸方向に沿った所定の間隔で、レンズ位置とコントラストとの各対応関係（ＡＦ情報）α１が求められ、そのＡＦ情報α１におけるピークを与える個眼合焦位置ＦＰ１がアレイレンズ１１の合焦位置ＦＰとして求められる。次に、ＡＦ補正情報記憶部９１に記憶したＡＦ補正情報から前記個眼合焦位置ＦＰ１（アレイレンズ１１の合焦位置ＦＰ）に対応する補正値が取得され、この取得された補正値で、前記求められたアレイレンズ１１の合焦位置ＦＰを補正することによって新たなアレイレンズ１１の合焦位置ＦＰ１Ｃが求められる。そして、この新たなアレイレンズ１１の合焦位置ＦＰ１Ｃとなるように、アレイレンズ１１の位置が制御される。
【０１２１】
例えば当該撮像装置Ｉの設計上の都合や撮像装置Ｉを用いたシステムの設計上の都合等によって、前記全て未満の撮像部５として事前に設定された撮像部５がオートフォーカスに最適ではない場合が有り得る。上記撮像装置Ｉおよびこれに実装された撮像方法は、前記全て未満の撮像部５によって撮像された１または複数の画像に基づくアレイレンズの合焦位置を補正するので、このような場合でも、より最適なアレイレンズ１１の合焦位置にオートフォーカスでき、当該撮像装置Ｉにとってより最適に合焦できる。
【０１２２】
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。
【符号の説明】
【０１２３】
Ｉ  撮像装置
１  光学部品
２  支持機構
４  駆動部
５  撮像部
７  位置検出部
８  制御処理部
９  記憶部
８１  駆動部制御部
８２  オートフォーカス制御部
８３  画像処理部
１１  アレイレンズ
９１  オートフォーカス補正情報記憶部
１１１  撮像光学系
８３２  画像合成部
【図１】
2016004182.tif 000003
【図２】
2016004182.tif 000004
【図３】
2016004182.tif 000005
【図４】
2016004182.tif 000006
【図５】
2016004182.tif 000007
【図６】
2016004182.tif 000008
【図７】
2016004182.tif 000009
【図８】
2016004182.tif 000010
【図９】
2016004182.tif 000011
【図１０】
2016004182.tif 000012
【図１１】
2016004182.tif 000013
【図１２】
2016004182.tif 000014
【図１３】
2016004182.tif 000015
【図１４】
2016004182.tif 000016
【図１５】
2016004182.tif 000017
【図１６】
2016004182.tif 000018
【図１７】
2016004182.tif 000019
【図１８】
2016004182.tif 000020