(57)【要約】  複眼光学系を用いながらも適切なフォーカシング動作を迅速に行うことが出来る画像入力装置及び画像入力装置のフォーカス判別方法を提供する。この画像入力装置は、並列的に配置された複数の個眼光学系を備え一体的に構成された複眼光学系と、各個眼光学系により光学像がそれぞれ結像される複数の領域を備え、前記領域に結像される光学像を画像信号に変換する撮像素子と、前記撮像素子に対して、前記複眼光学系を光軸方向に相対的に移動可能に支持する支持部材と、前記画像信号に基づいて、前記個眼光学系のフォーカス状態を表す評価値を算出する評価値算出部を含む制御回路と、を有し、前記制御回路は、前記複数の領域からそれらよりも少ない数の少なくとも一つの前記領域を選択し、選択された少なくとも一つの前記領域からの画像信号の評価値に基づいて、前記複眼光学系のフォーカス状態を判別する。
2014196511.tif 000002
【特許請求の範囲】
【請求項１】
並列的に配置された複数の個眼光学系を備え一体的に構成された複眼光学系と、
各個眼光学系により光学像がそれぞれ結像される複数の領域を備え、前記領域に結像される光学像を画像信号に変換する撮像素子と、
前記撮像素子に対して、前記複眼光学系を光軸方向に相対的に移動可能に支持する支持部材と、
前記画像信号に基づいて、前記個眼光学系のフォーカス状態を表す評価値を算出する評価値算出部を含む制御回路と、を有し、
前記制御回路は、前記複数の領域からそれらよりも少ない数の少なくとも一つの前記領域を選択し、選択された少なくとも一つの前記領域からの画像信号の評価値に基づいて、前記複眼光学系のフォーカス状態を判別することを特徴とする画像入力装置。
【請求項２】
生成する画像信号から前記評価値が算出されるべき少なくとも一つの前記領域を示す情報を記憶するメモリをさらに備え、
前記制御回路は、前記メモリに記憶された前記情報に基づいて、少なくとも一つの前記領域を選択することを特徴とする請求項１に記載の画像入力装置。
【請求項３】
前記支持部材は、駆動素子を有し、該駆動素子の駆動によって前記複眼光学系を光軸方向に移動させるものであり、
前記制御回路は、選択された少なくとも一つの前記領域からの画像信号に基づいて算出された前記評価値に基づいて前記駆動素子を駆動して前記複眼光学系のフォーカス調整を行うことを特徴とする請求項２に記載の画像入力装置。
【請求項４】
前記制御回路は、予め、前記駆動素子を駆動して前記複眼光学系と前記撮像素子との間の距離を変更しつつ、前記評価値算出部により、前記複数の領域からの画像信号から抽出した高周波成分に基づいて、各個眼光学系と、それに対応する前記領域とが最適なフォーカス位置となるときの、前記複眼光学系の基準部位と前記撮像素子との間の距離である最適光軸方向距離に対応する情報をそれぞれ求め、複数の前記最適光軸方向距離の中央値に最も近い前記情報を示す前記個眼光学系に対応する前記領域を選択し、その領域を示す情報を前記メモリに記憶することを特徴とする請求項３に記載の画像入力装置。
【請求項５】
前記制御回路は、予め、前記駆動素子を駆動して前記複眼光学系と前記撮像素子との間の距離を変更しつつ、前記評価値算出部により、前記複数の領域からの画像信号から抽出した高周波成分に基づいて、各個眼光学系と、それに対応する前記領域とが最適なフォーカス位置となるときの、前記複眼光学系の基準部位と前記撮像素子との間の距離である最適光軸方向距離に対応する情報をそれぞれ求め、複数の前記最適光軸方向距離の中央値に近い情報を示す前記個眼光学系に対応する前記領域を複数個選択し、それらの領域を示す情報を前記メモリに記憶し、フォーカス調整を行う際には、前記メモリに記憶された複数の前記領域からの画像信号に基づいて算出された複数の前記評価値の加重平均値に基づいて、前記駆動素子を駆動することを特徴とする請求項３に記載の画像入力装置。
【請求項６】
前記制御回路は、予め、前記駆動素子を駆動して前記複眼光学系と前記撮像素子との間の距離を変更しつつ、前記評価値算出部により、前記複数の領域からの画像信号から抽出した高周波成分に基づいて、前記撮像素子に対する前記複眼光学系の距離が異なる複数の位置において各領域に対応する前記個眼光学系のピント位置のずれ量に対応する情報を求め、求めた該情報に基づいて前記ピント位置の最大ずれ量が最小となる位置を特定し、該位置において、前記ピント位置のずれ量が最小となる前記個眼光学系に対応する前記領域を選択し、その領域を示す情報を前記メモリに記憶することを特徴とする請求項３に記載の画像入力装置。
【請求項７】
前記制御回路は、予め、前記駆動素子を駆動して前記複眼光学系と前記撮像素子との間の距離を変更しつつ、前記評価値算出部により、前記複数の領域からの画像信号から抽出した高周波成分に基づいて、前記撮像素子に対する前記複眼光学系の距離が異なる複数の位置において各領域に対応する前記個眼光学系のピント位置のずれ量に対応する情報を求め、求めた該情報に基づいて前記ピント位置の最大ずれ量が最小となる位置を特定し、該位置において、前記ピント位置のずれ量が最小となる前記個眼光学系に対応する前記領域を複数個選択し、それらの領域を示す情報を前記メモリに記憶し、フォーカス調整を行う際には、前記メモリに記憶された複数の前記領域からの画像信号に基づいて算出された複数の前記評価値の加重平均値に基づいて、前記駆動素子を駆動することを特徴とする請求項３に記載の画像入力装置。
【請求項８】
前記制御回路は、前記複数の領域からの画像信号から抽出した高周波成分に基づいて、前記複眼光学系のチルト軸を求めるチルト軸検出部をさらに有し、予め、前記チルト軸検出部により求めた前記チルト軸上に位置する前記個眼光学系に対応する前記領域を選択し、その領域を示す情報を前記メモリに記憶することを特徴とする請求項２に記載の画像入力装置。
【請求項９】
前記制御回路は、前記複数の領域からの画像信号から抽出した高周波成分に基づいて、前記複眼光学系のチルト軸を求めるチルト軸検出部をさらに有し、予め、前記チルト軸検出部により求めた前記チルト軸に最も近い前記個眼光学系に対応する前記領域を選択し、その領域を示す情報を前記メモリに記憶することを特徴とする請求項２に記載の画像入力装置。
【請求項１０】
前記メモリに記憶される情報は、予め、指定された特定の個眼光学系に対応する前記領域を示す情報である請求項２に記載の画像入力装置。
【請求項１１】
前記メモリは、複数の前記領域を示す情報を記憶しており、前記制御回路は、前記複眼光学系のフォーカス調整を行う際には、前記メモリに記憶された情報に基づいて、複数の前記領域の中から前記複眼光学系の中心に近い少なくともの一つの前記領域を選択し、選択された前記領域が一つの場合はその領域からの画像信号に基づいて算出された前記評価値に基づいて、前記駆動素子を駆動し、選択された前記領域が複数の場合はそれらの領域からの画像信号に基づいて算出された複数の前記評価値の加重平均値に基づいて、前記駆動素子を駆動することを特徴とする請求項３、４、６のいずれかに記載の画像入力装置。
【請求項１２】
前記複眼光学系は、平面状に並ぶ複数のレンズを一体成形したレンズアレイを有することを特徴とする請求項１〜１１のいずれかに記載の画像入力装置。
【請求項１３】
並列的に配置された複数の個眼光学系を備え一体的に構成された複眼光学系と、各個眼光学系により光学像がそれぞれ結像される複数の領域を備え、前記領域に結像された光学像を画像信号に変換する撮像素子と、前記複眼光学系を前記撮像素子に対して光軸方向に相対的に移動可能に支持する支持部材と、を備える画像入力装置のフォーカス判別方法において、
前記複数の領域からそれよりも少ない数の少なくとも一つの前記領域を選択し、
選択された少なくとも一つの前記領域からの画像信号に基づいて、フォーカス状態を表す評価値を算出し、算出された評価値に基づいて、前記複眼光学系のフォーカス状態を判別することを特徴とする画像入力装置のフォーカス判別方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、1つの固体撮像素子上に複眼光学系によって形成された複数の像に基づいて1枚の画像を得ることができる画像入力装置及びそのフォーカス判別方法に関する。
【背景技術】
【０００２】
近年、スマートフォンやタブレット型パーソナルコンピュータなどに代表される薄型の撮像装置付き携帯端末が急速に普及している。しかるに、このような薄型の携帯端末に搭載される撮像装置には、高解像度を有しながらも薄形でコンパクトであることが要求されている。このような要求に対応するために、撮像レンズの光学設計による全長短縮やそれに伴う誤差感度増大に対応した製造精度向上を行ってきたが、さらなる要求に対応するためには、従来の単一の撮像レンズと撮像素子の組み合わせで像を得るという構成では限界があり、従来とは発想を変えた光学系の開発が期待されている。【０００３】
これに対し、撮像素子の撮像領域を分割して、それぞれに対応するレンズを含む光学系（以下、個眼光学系という）を配置し、得られた画像を処理することで、最終的な画像出力を行う複眼撮像装置に用いられる、複眼光学系と呼ばれる光学系が、薄形化への要求に対応するために注目されている。特許文献１には、複眼光学系を用いて画像を形成する撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２０１１−５２３５３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、より高品質な画像を形成するためには、複眼光学系を用いた撮像装置においても、撮像素子に対して複眼光学系を光軸方向に移動するフォーカシング機構が必要になる。しかるに、複数の個眼光学系を個々に独立して移動させることは、複雑な機構が必要になるから困難である。そこで、フォーカシングのため、複眼光学系全体を一体的に移動することが考えられる。しかるに、フォーカシングのために光軸方向に動かすための駆動機構やガイド機構はできるだけ簡素であることが好ましく、これらを簡略化するには、複眼光学系をガイドピンなど１か所のみで支持することが望ましい。しかし、簡略化の結果、ガイドピンなどの支持部材に対して複眼光学系が傾きやすくなる。複眼光学系が傾くと、並列に配置された複数の個眼光学系と撮像面との距離が一定ではなくなってしまい、このため個眼光学系における最適なピント位置と撮像面とがずれる恐れがある。このずれが大きくなると光学像がぼけてしまい、高品質な画像を得られない。しかしながら、特許文献１では、このような複眼光学系の傾き等に起因するフォーカスの問題について何ら言及されていない。【０００６】
本発明は、かかる従来技術の問題点に鑑みてなされたものであり、複眼光学系を用いながらも適切なフォーカシング動作を迅速に行うことが出来る画像入力装置及び画像入力装置のフォーカス判別方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る画像入力装置は、
並列的に配置された複数の個眼光学系を備え一体的に構成された複眼光学系と、
各個眼光学系により光学像がそれぞれ結像される複数の領域を備え、前記領域に結像される光学像を画像信号に変換する撮像素子と、
前記撮像素子に対して、前記複眼光学系を光軸方向に相対的に移動可能に支持する支持部材と、
前記画像信号に基づいて、前記個眼光学系のフォーカス状態を表す評価値を算出する評価値算出部を含む制御回路と、を有し、
前記制御回路は、前記複数の領域からそれらよりも少ない数の少なくとも一つの前記領域を選択し、選択された少なくとも一つの前記領域からの画像信号の評価値に基づいて、前記複眼光学系のフォーカス状態を判別することを特徴とする。【０００８】
本発明においては、複数の領域からそれよりも少ない数の少なくとも１つの領域を選択し、選択された少なくとも一つの領域からの画像信号の評価値に基づいて、フォーカス調整を行うので、画像処理に必要な時間が短縮され、短時間で高品質な画像を得ることができる。【０００９】
本発明の具体的な態様又は観点では、生成する画像信号から前記評価値が算出されるべき少なくとも一つの前記領域を示す情報を記憶するメモリをさらに備え、前記制御回路は、前記メモリに記憶された前記情報に基づいて、少なくとも一つの前記領域を選択する。【００１０】
また、本発明の具体的な態様又は観点では、前記支持部材は、駆動素子を有し、該駆動素子の駆動によって前記複眼光学系を光軸方向に移動させるものであり、前記制御回路は、選択された少なくとも一つの前記領域からの画像信号に基づいて算出された前記評価値に基づいて前記駆動素子を駆動して前記複眼光学系のフォーカス調整を行う。【００１１】
また、本発明の具体的な態様又は観点では、前記制御回路は、予め、前記駆動素子を駆動して前記複眼光学系と前記撮像素子との間の距離を変更しつつ、前記評価値算出部により、前記複数の領域からの画像信号から抽出した高周波成分に基づいて、各個眼光学系と、それに対応する前記領域とが最適なフォーカス位置となるときの、前記複眼光学系の基準部位と前記撮像素子との間の距離である最適光軸方向距離に対応する情報をそれぞれ求め、複数の前記最適光軸方向距離の中央値に最も近い前記情報を示す前記個眼光学系に対応する前記領域を選択し、その領域を示す情報を前記メモリに記憶する。【００１２】
また、本発明の具体的な態様又は観点では、前記制御回路は、予め、前記駆動素子を駆動して前記複眼光学系と前記撮像素子との間の距離を変更しつつ、前記評価値算出部により、前記複数の領域からの画像信号から抽出した高周波成分に基づいて、各個眼光学系と、それに対応する前記領域とが最適なフォーカス位置となるときの、前記複眼光学系の基準部位と前記撮像素子との間の距離である最適光軸方向距離に対応する情報をそれぞれ求め、複数の前記最適光軸方向距離の中央値に近い情報を示す前記個眼光学系に対応する前記領域を複数個選択し、それらの領域を示す情報を前記メモリに記憶し、フォーカス調整を行う際には、前記メモリに記憶された複数の前記領域からの画像信号に基づいて算出された複数の前記評価値の加重平均値に基づいて、前記駆動素子を駆動する。【００１３】
また、本発明の具体的な態様又は観点では、前記制御回路は、予め、前記駆動素子を駆動して前記複眼光学系と前記撮像素子との間の距離を変更しつつ、前記評価値算出部により、前記複数の領域からの画像信号から抽出した高周波成分に基づいて、前記撮像素子に対する前記複眼光学系の距離が異なる複数の位置において各領域に対応する前記個眼光学系のピント位置のずれ量に対応する情報を求め、求めた該情報に基づいて前記ピント位置の最大ずれ量が最小となる位置を特定し、該位置において、前記ピント位置のずれ量が最小となる前記個眼光学系に対応する前記領域を選択し、その領域を示す情報を前記メモリに記憶する。【００１４】
また、本発明の具体的な態様又は観点では、前記制御回路は、予め、前記駆動素子を駆動して前記複眼光学系と前記撮像素子との間の距離を変更しつつ、前記評価値算出部により、前記複数の領域からの画像信号から抽出した高周波成分に基づいて、前記撮像素子に対する前記複眼光学系の距離が異なる複数の位置において各領域に対応する前記個眼光学系のピント位置のずれ量に対応する情報を求め、求めた該情報に基づいて前記ピント位置の最大ずれ量が最小となる位置を特定し、該位置において、前記ピント位置のずれ量が最小となる前記個眼光学系に対応する前記領域を複数個選択し、それらの領域を示す情報を前記メモリに記憶し、フォーカス調整を行う際には、前記メモリに記憶された複数の前記領域からの画像信号に基づいて算出された複数の前記評価値の加重平均値に基づいて、前記駆動素子を駆動する。【００１５】
また、本発明の具体的な態様又は観点では、前記制御回路は、前記複数の領域からの画像信号から抽出した高周波成分に基づいて、前記複眼光学系のチルト軸を求めるチルト軸検出部をさらに有し、予め、前記チルト軸検出部により求めた前記チルト軸上に位置する前記個眼光学系に対応する前記領域を選択し、その領域を示す情報を前記メモリに記憶する。【００１６】
また、本発明の具体的な態様又は観点では、前記制御回路は、前記複数の領域からの画像信号から抽出した高周波成分に基づいて、前記複眼光学系のチルト軸を求めるチルト軸検出部をさらに有し、予め、前記チルト軸検出部により求めた前記チルト軸に最も近い前記個眼光学系に対応する前記領域を選択し、その領域を示す情報を前記メモリに記憶する。【００１７】
また、本発明の具体的な態様又は観点では、前記メモリに記憶される情報は、予め、指定された特定の個眼光学系に対応する前記領域を示す情報である。【００１８】
また、本発明の具体的な態様又は観点では、前記メモリは、複数の前記領域を示す情報を記憶しており、前記制御回路は、前記複眼光学系のフォーカス調整を行う際には、前記メモリに記憶された情報に基づいて、複数の前記領域の中から前記複眼光学系の中心に近い少なくともの一つの前記領域を選択し、選択された前記領域が一つの場合はその領域からの画像信号に基づいて算出された前記評価値に基づいて、前記駆動素子を駆動し、選択された前記領域が複数の場合はそれらの領域からの画像信号に基づいて算出された複数の前記評価値の加重平均値に基づいて、前記駆動素子を駆動する。【００１９】
また、本発明の具体的な態様又は観点では、前記複眼光学系は、平面状に並ぶ複数のレンズを一体成形したレンズアレイを有する。【００２０】
本発明に係る画像入力装置のフォーカス判別方法は、
並列的に配置された複数の個眼光学系を備え一体的に構成された複眼光学系と、各個眼光学系により光学像がそれぞれ結像される複数の領域を備え、前記領域に結像された光学像を画像信号に変換する撮像素子と、前記複眼光学系を前記撮像素子に対して光軸方向に相対的に移動可能に支持する支持部材と、を備える画像入力装置のフォーカス判別方法において、
前記複数の領域からそれよりも少ない数の少なくとも一つの前記領域を選択し、
選択された少なくとも一つの前記領域からの画像信号に基づいて、フォーカス状態を表す評価値を算出し、算出された評価値に基づいて、前記複眼光学系のフォーカス状態を判別することを特徴とする。
【発明の効果】
【００２１】
本発明によれば、複眼光学系を用いながらも適切なフォーカシング動作を迅速に行うことが出来る画像入力装置を提供することができる。
【図面の簡単な説明】
【００２２】
【図１】本実施の形態にかかる撮像装置を模式的に示す図である。
【図２】本実施形態における複眼光学系ＬＨと、撮像素子ＳＲとの関係を模式的に示す斜視図である。
【図３】複眼光学系ＬＨが撮像素子ＳＲに対して傾いた状態を示す斜視図である。
【図４】複眼光学系ＬＨと撮像素子ＳＲとが傾いた状態における、各個眼光学系のピント位置を示す図である
【図５】複数の撮像領域からの画像信号における高周波成分を縦軸に、複眼光学系ＬＨの位置を横軸にとって示すグラフである。
【図６】最適なピント位置を求めるためのオートフォーカス構成を示すブロック図である。
【図７】フォーカス状態を把握するための撮像領域を決定するための処理を説明するためのフローチャートである。
【図８】撮像時におけるフォーカス制御処理を説明するためのフローチャートである。
【図９】選択された撮像領域からの画像信号における高周波成分を縦軸に、複眼光学系ＬＨの位置を横軸にとって示すグラフである。
【図１０】複数の撮像領域からの画像信号における高周波成分を縦軸に、複眼光学系ＬＨの位置を横軸にとって示すグラフである。
【図１１】最適なピント位置を求めるための別の実施の形態にかかるオートフォーカス構成を示すブロック図である。
【図１２】複眼光学系ＬＨが撮像素子ＳＲに対して傾いた状態を示す斜視図である。
【発明を実施するための形態】
【００２３】
以下、本発明に係る複眼光学系を用いた撮像装置（画像入力装置）の一実施形態を説明する。複眼光学系は、１つの撮像素子に対して複数のレンズがアレイ状に（並列に）配置された光学系であり、超解像タイプと視野分割タイプとに通常分けられる。ここで、超解像タイプとは、個々のレンズによって結像された同方向の僅かに視野のずれた画像から画像処理によって１つの高解像度の画像を得る方式に用いられる複眼光学系を指す。また、視野分割タイプとは、個々のレンズによって結像された異なる視野の画像を、画像処理よって各視野の画像をつなぎ合わせることで１つの画像を得る方式に用いられる複眼光学系を指す。
【００２４】
図１に本実施の形態にかかる撮像装置を模式的に示す。図１に示すように、撮像装置ＤＵは、撮像ユニットＬＵ，画像処理部１，全体の制御を司る制御回路１０，メモリ３等を有している。そして、撮像ユニットＬＵは、１つの撮像素子ＳＲと、その撮像素子ＳＲに対して、光軸を平行にして並列的に配置された複数の個眼光学系によって複数の結像を行う複眼光学系ＬＨを有している。撮像素子ＳＲとしては、例えば複数の画素を有するＣＣＤ型イメージセンサー，ＣＭＯＳ型イメージセンサー等の固体撮像素子が用いられる。撮像素子ＳＲの光電変換部である受光面に複数の撮像領域ＳＳが形成され、この撮像領域に被写体の光学像がそれぞれ形成されるように複眼光学系ＬＨが設けられているので、複眼光学系ＬＨによって形成された光学像は、撮像素子ＳＲによって電気的な信号に変換される。図1では、複眼光学系が超解像タイプのものとして示されているが、視野分割タイプのものにも適用可能である。
【００２５】
図１において、複眼光学系ＬＨは、駆動素子であるアクチュエータＡＣＴにより光軸方向に移動可能となっている。アクチュエータＡＣＴは、制御回路１０からの信号により駆動されるようになっている。
【００２６】
図２は、複眼光学系ＬＨと、撮像素子ＳＲとの関係を模式的に示す斜視図である。複眼光学系ＬＨは、ホルダＨＬＤにより保持されており、ホルダＨＬＤは、撮像素子ＳＲを保持した鏡枠ＢＸにピエゾ型アクチュエータＡＣＴを介して植設されたガイドピンＧＰに係合する貫通孔を有している。ホルダＨＬＤの貫通孔とガイドピンＧＰとの間には微小なクリアランスが設けられており、アクチュエータＡＣＴを駆動していないときは、ホルダＨＬＤは摩擦力によりガイドピンＧＰに対して静止している。ガイドピンＧＰの根元に設けられたピエゾ型アクチュエータＡＣＴによって、ガイドピンＧＰを振動させることで、ホルダＨＬＤと複眼光学系ＬＨとを撮像素子ＳＲに対して光軸方向に相対移動可能としている。つまり、ホルダＨＬＤとガイドピンＧＰと鏡枠ＢＸとで、複眼光学系ＬＨを撮像素子ＳＲに対して光軸方向に相対的に移動可能に支持する支持部材を構成する。ピエゾ型アクチュエータＡＣＴについては、例えば特開2013-062997号公報に詳細が記載されているため、本明細書では構成及び動作について詳しい説明を省略する。これ以外に、ボイスコイルモータや、形状記憶合金を用いたアクチュエータなどを用いることもできる。
【００２７】
複眼光学系ＬＨには、マトリクス状に複数のレンズが一体的に形成されているレンズアレイが少なくとも一つ含まれる。レンズアレイは、樹脂やガラスなどを金型で成形することにより、平面状に並ぶ複数のレンズが一体成形されたものとして形成することができる。一体成型品は、安価で高精度なアレイレンズを得やすく好ましいものである。一体成型品外にも、ガラスなどの透明基板に樹脂などの複数のレンズ部を形成してなるレンズアレイを用いてもよい。図１に示すように、複数のレンズアレイＬＡ１、ＬＡ２を光軸方向に重ねて配置してもよいし、レンズアレイを一つだけ含むものであってもよい。前者の場合、個眼光学系Ｌａは複数のレンズから構成され、後者の場合、個眼光学系Ｌａは１つのレンズから構成されることになる。いずれにしても、複眼光学系全体が一体化された構成となり、アクチュエータＡＣＴによって一体的に駆動される。一方、撮像素子ＳＲ上には、個眼光学系Ｌａに対応して、複数の撮像領域ＳＳが形成されている。各個眼光学系Ｌａにより結像された光学像は、各撮像領域ＳＳに結像され、それぞれ画像信号を出力するようになっている。
【００２８】
図１に示すように、画像処理部１は、画像合成部１ａと、画像補正部１ｂと、を有している。画像合成部１ａは、複眼光学系ＬＨにより形成された複数の撮像領域ＳＳからの画像信号に反転処理、歪曲処理、シェーディング処理等の必要な画像処理を施し、これらを合成して１枚の合成画像データを生成する。さらに、画像補正部１ｂにおいて、ゴースト補正、シェーディング補正、歪曲補正等の画像補正を行って、合成画像ＭＬとして出力する。出力された合成画像ＭＬは、メモリ３に記憶される。
【００２９】
ところで、本来的には複眼光学系ＬＨの個眼光学系の並び方向と撮像素子ＳＲとは平行であるべきだが、図２に示すように、ホルダＨＬＤを１本のガイドピンＧＰでガイドしていると、ガイドピンＧＰに対してホルダＨＬＤが傾きがちになる。同様な事象はガイドピンを２本にしても、駆動には寄与しない固定ガイドを別に設けても生じる可能性がある。すると、図３に示すように、個眼光学系Ｌａと撮像領域ＳＳとの距離が、個々に異なるようになる。各個眼画像から超解像処理により一つの高解像度画像を得る場合、各個眼光学系Ｌａ全てが合焦している場合に最大の解像度復元効果があるが、ボケ量が多い個眼画像が増えるほど解像度復元効果が少なくなり、高解像度の画像が得にくくなる。
【００３０】
よって、複眼光学系ＬＨが傾いた場合、各個眼光学系Ｌａの合焦位置がずれることになり、個眼画像毎にボケ具合が異なるが、このバラツキの幅を最小にすることが望ましい。ボケ量のバラツキの幅を最小限にするためには、例えば、各個眼光学系に対応する撮像領域の画像信号毎にボケ量を検出し、ボケ量の平均値が最小になる位置に複眼光学系ＬＨを移動することにより、フォーカスを調整すればよい。この場合、ボケ量は、個眼光学系Ｌａのピント位置と、それに対応する撮像領域ＳＳと光軸方向のずれ量と相関がある。
【００３１】
図４（ａ）〜（ｃ）は、複眼光学系ＬＨと撮像素子ＳＲとが傾いた状態における、各個眼光学系のピント位置を示している。ここでは、理解を容易にするため、複眼光学系ＬＨは、傾き方向に５つの個眼光学系Ｌａ（１）〜Ｌａ（５）が並んだレンズアレイを一つ含むものとして図示し、また、複眼光学系ＬＨを上下させても撮像素子ＳＲに対する角度は変化しないものとする。まず、複眼光学系ＬＨを上下に移動させて、撮像素子ＳＲからの距離を変えつつ、各個眼光学系Ｌａ（１）〜Ｌａ（５）により光学像が結像された撮像領域ＳＳからの画像信号から、高周波成分を抽出する。この高周波成分の量をフォーカス調整のための評価値とする。
【００３２】
この高周波成分を縦軸に、複眼光学系ＬＨの位置を横軸にとると、各個眼光学系に関して図５のグラフが得られる。高周波成分の量は個眼光学系のフォーカス状態を反映しており、高周波成分が最も多くなるピーク位置が、個眼光学系が対応する領域ＳＳにピントの合った位置になる。つまり、評価値は個眼光学系のフォーカス位置を表している。ここで、複眼光学系ＬＨが傾いていると、図５に示すように、５つの個眼光学系Ｌａ（１）〜Ｌａ（５）それぞれにおいて、撮像素子ＳＲに対して、複眼光学系ＬＨが異なる位置で最適なフォーカス位置をとる、つまり、ピントが合うことになる。
【００３３】
例えば、図４（ｂ）に示すように、撮像領域ＳＳとの距離が最も近い個眼光学系Ｌａ（５）を、ピントの合った位置（図５のｃに相当）とすると、撮像領域ＳＳとの距離が最も遠い個眼光学系Ｌａ（１）のピント位置と、撮像領域ＳＳとのずれ量Δ１（図４（ｂ）に示される位置での最大ずれ量）が大きくなり、これにより個眼光学系Ｌａ（１）により撮像領域ＳＳに結像された画像の高周波成分が少なくなり、ボケ量が大きくなる（図５のδc）。一方、図４（ｃ）に示すように、撮像領域ＳＳとの距離が最も遠い個眼光学系Ｌａ（１）を、ピントの合った位置（図５のａに相当）とすると、撮像領域ＳＳとの距離が最も近い個眼光学系Ｌａ（５）のピント位置と、撮像領域ＳＳとのずれ量Δ２（図４（ｃ）に示される位置での最大ずれ量）が大きくなり、これにより個眼光学系Ｌａ（５）により撮像領域ＳＳに結像された画像の高周波成分が少なくなり、ボケ量が大きくなる（図５のδa）。
【００３４】
これに対し、図４（ａ）に示すように、撮像領域ＳＳとの距離が個眼光学系Ｌａ（１）よりも小さく個眼光学系Ｌａ（５）よりも大きい個眼光学系Ｌａ（３）を、ピントの合った位置（図５のｂ）とすると、撮像領域ＳＳとの距離が最も遠い個眼光学系Ｌａ（１）のピント位置と撮像領域ＳＳとのずれ量Δ１ａ、及び撮像領域ＳＳとの距離が最も近い個眼光学系Ｌａ（５）のピント位置と撮像領域ＳＳとのずれ量Δ２ａが、いずれも絶対値で小さく（＜Δ１，Δ２）抑えられ、これにより、図５のｂの位置での各個眼光学系のボケ量の差が最小（図５のδｂ）となり（換言すれば、図５のｂの位置での最大ずれ量が最小となり）、すなわち高周波成分が最大となり、各個眼光学系Ｌａ（１）〜Ｌａ（５）により撮像領域ＳＳに結像された画像から超解像処理により合成される画像も高画質なものとなる。このように、評価値を算出することによって、複眼光学系のフォーカス状態を判別することができる。なお、図３、図４においては、理解を容易にするため、複眼光学系ＬＨの傾きは誇張して図示してあるが、実際にはこの傾きは小さく、図４（ａ）のようにずれ量を最小化することで、全個眼光学系のピントが合うように設定できる程度のものである。
【００３５】
図６は、図１に示す撮像装置の一部であって、複眼光学系のフォーカス状態を把握するのに最適な撮像領域の特定と、最適なピント位置の探索と、オートフォーカス構成とを実行する回路ブロック図のより詳細な図である。図１と共通する構成には同じ符号を付している。図６に示すように、制御回路１０には、中央演算回路等を含み、画像処理部１やメモリ３との間で画像情報をやり取りし、アクチュエータＡＣＴや撮像素子ＳＲの駆動回路ＤＲの制御を司るシステム制御部ＣＴと、各個眼光学系に対応する撮像素子ＳＲの各撮像領域から得られる複数の画像信号に基づいて評価値を算出する評価値算出部ＣＬとが設けられている。システム制御部ＣＴは、評価値算出部ＣＬから送られるデータに基づいて、アクチュエータＡＣＴを駆動する。
【００３６】
制御回路１０は、図7のフローチャートに示した、フォーカス状態を把握するための撮像領域を決定するための処理を実行する。例えば、組み立て後の検査時に、まず、アクチュエータＡＣＴを駆動して複眼光学系ＬＨを初期位置に移動させ（ステップＳ１０）、チャートなどからの被写体光を、複眼光学系ＬＨにおける各個眼光学系を介して撮像素子ＳＲの全ての撮像領域に光学像を結像させ、光電変換した後、システム制御部ＣＴから指示を受けた駆動回路ＤＲからの制御信号に従い画像信号を出力させる。その画像信号を、評価値算出部ＣＬにてフィルタ処理により高周波成分を抽出する（ステップＳ１２）。次いで、システム制御部ＣＴが、アクチュエータＡＣＴを駆動して複眼光学系ＬＨを光軸方向に移動させ、再びチャートの撮像を行って、画像信号から高周波成分を抽出する。これを移動範囲内の全ての位置について繰り返すことで（ステップＳ１４、Ｓ１６）、全ての撮像領域に関して、図５に示すグラフが得られるので、ピント位置の最大ズレ量が最小となる位置において、ピント位置のずれ量が最小となる個眼光学系に対応する撮像領域を選択し（ステップＳ１８）、この撮像領域を表す情報（領域番号等）をメモリ３に記憶する（ステップＳ２０）。
【００３７】
その後、実際の撮像時には、制御回路１０が図8のフローチャートに示したフォーカス制御処理を実行する。具体的には、制御回路１０内のシステム制御部ＣＴが、メモリ３から領域番号等の情報を読み出し、その領域番号等の情報に相当する撮像領域を選択する（ステップＳ１００）。そして、複眼光学系ＬＨの位置を変化させつつ、選択された撮像領域からの画像信号から高周波成分を検出し（ステップＳ１０２）、検出した値に基づいて、図９に示すようなグラフを取得して，そのピーク位置としてのピント位置ｄを求め（ステップＳ１０４）、更にシステム制御部ＣＴが、アクチュエータＡＣＴを駆動してピント位置ｄに複眼光学系ＬＨを移動させることにより、オートフォーカス動作を行う（ステップＳ１０６）。これにより、全ての撮像領域においてピントのズレが最小限の画像が得られるので、上述したように超解像処理を行って合成画像ＭＬを出力することができる。全ての領域からの画像信号に基づいて、個眼光学系毎に最適なピント位置を求めて、フォーカシング動作を行うと、画像信号が膨大となり、その画像処理に時間がかかり、オートフォーカスで移動する被写体を追うような場合、被写体に追従できない恐れがある。これに対して、複数の個眼光学系を備える複眼光学系ＬＨが一体的に構成されていれば、全ての個眼光学系が一体的に移動するので、全ての領域の画像信号について画像処理をする必要はなく、予め、選択されるべき領域を求めてその情報を記憶しておき、その情報で特定される領域を選択して評価値を算出すれば、フォーカス状態を把握できる。そして、この評価値に基づきフォーカシングを行うことで、適切かつ迅速にフォーカス動作を行うことができる。
【００３８】
変形例として、撮像領域からの画像信号を、評価値算出部ＣＬにて画像処理を行って、高周波成分を抽出することにより、各個眼光学系と撮像領域とが最適フォーカス位置となるときの、複眼光学系ＬＨの基準部位（例えば、特定の隣り合う一対のレンズの間に設けたマーク）と撮像素子ＳＲとの間の距離である最適光軸方向距離に相当する情報をそれぞれ求めることもできる。かかる場合、複眼光学系が傾くことにより、個眼光学系と撮像領域との最適フォーカス位置が個眼光学系間で異なり、求めた複数の最適光軸方向距離もばらつくので、そのバラツキの中央値に最も近い最適光軸方向距離を示す個眼光学系に対応する撮像領域を選択し、この撮像領域をメモリ３に記憶する。
【００３９】
一方、複眼光学系の反りや、各個眼撮像系の製造誤差などによって、複眼光学系ＬＨが撮像領域に対して平行である時点で，既にピント位置がずれている場合もある。このような場合、複眼光学系が傾いた際の、各撮像領域から出力された画像信号に基づく高周波成分にかかるグラフは、図１０に示すように種々の形になる。図１０に示す例では、個眼光学系の間のピント位置のずれ量のバラツキが最小になるのは、ｅの位置であるが、この位置にピークが来る撮像領域は存在しない。しかし、これに近い撮像領域として、個眼光学系Ｌａ（３）に対応する撮像領域（ピント位置ｆ）、及び個眼光学系Ｌａ（４）に対応する撮像領域（ピント位置ｇ）がある。そこで、このような場合、バラツキの中心値に近い複数の撮像領域を選択した上で、これらの撮像領域をメモリ３に記憶しても良い。この場合も、個眼光学系の総数よりも少ない数の撮像領域を選択することにより、短時間でフォーカス状態の把握やフォーカス調整を行うことができる。
【００４０】
実際の撮像時には、選択された複数の撮像領域（Ｌａ（３）、Ｌａ（４））からの画像信号から得られた高周波成分に基づくフォーカス位置に関する評価値を加重平均して、仮想的にピント位置を求め、アクチュエータＡＣＴが複眼光学系ＬＨを駆動する。これにより、全ての撮像領域においてピントの合った画像が得られるので、上述したように超解像処理を行って合成画像ＭＬを出力することができる。加重平均とは、例えばバラツキの中心値に近い撮像領域（Ｌａ（４））については重み付けを重く（例えば０．７倍）し、バラツキの中心値から遠い撮像領域（Ｌａ（３））については重み付けを軽く（例えば０．３倍）して，両者を加算するなどが考えられる。尚、複数領域が得られたとき、その中から、複眼光学系ＬＨの中心位置に近い撮像領域を選択して、メモリ３に記憶することもできる。いずれにしても、複数の領域からそれよりも少ない数の少なくとも一つの領域を選んでフォーカス動作を行うで短時間で正確にフォーカス動作を行うことができる。
【００４１】
図１１は、他の実施の形態にかかるブロック図であり、図６に示した回路ブロックに、チルト軸検出部ＴＤを設けた構成を備えている。
【００４２】
図３を参照して、個眼光学系が平面状に並ぶ複眼光学系ＬＨが傾いたときには、複眼光学系ＬＨが傾いても撮像領域との距離が実質的に一定である軸ＴＸが存在する。本件明細書においては、この軸をチルト軸と呼ぶ。チルト軸ＴＸ上に複数の個眼光学系Ｌａが存在する場合、それらのピント位置は、理論上は同じとなる。
【００４３】
そこで、図１１において、複眼光学系ＬＨを移動させつつ、全ての撮像領域からの画像信号を、評価値算出部ＣＬにてフィルタ処理を行って、高周波成分を抽出したときに、チルト軸検出部ＴＤが、同じ位置にピークを持つ画像信号を出力した複数の撮像領域を、対応する個眼撮像系がチルト軸ＴＸ上にあると推定し、システム制御部２に通知する。そして、これらの撮像領域をメモリ３に記憶することができる。こうして、フォーカス状態の判別時に選択されるべき複数の領域を予め決定しておくことにより、評価値を算出するべき画像信号を限定することができる。尚、実際の撮像時に用いる撮像領域は、対応する個眼撮像系がチルト軸ＴＸ上にあるうちの、更に中央撮像領域とすることが望ましい。
【００４４】
尚、個眼撮像系が常にチルト軸ＴＸ上にあるとは限らない。そこで、全ての撮像領域からの画像信号から高周波成分を抽出したときに、チルト軸検出部ＴＤは、対応する個眼撮像系がチルト軸ＴＸから近いと推定される撮像領域を選択し、これらの撮像領域をメモリ３に記憶することができる。
【００４５】
実際の撮像時には、選択された複数の撮像領域からの画像信号から得られた高周波成分に基づくフォーカス位置に関する評価値を加重平均して、仮想的にピント位置を求め、アクチュエータＡＣＴが複眼光学系ＬＨを駆動することが好ましい。
【００４６】
図１２は、変形例にかかる複眼光学系ＬＨと撮像素子ＳＲを模式的に示す斜視図である。複眼光学系ＬＨの個眼光学系Ｌａ及び撮像領域ＳＳは４行４列に限らず、例えば、図１２に示すように３行３列であっても良いし、図４に示したような５列（例えば、５行５列）であてもよい。
【００４７】
本発明は、本明細書に記載の実施形態に限定されるものではなく、他の実施形態・変形例を含むことは、本明細書に記載された実施形態や技術思想から本分野の当業者にとって明らかである。例えば、撮像装置の組み付け後の検査時に、撮像領域を選択することに限らず、定期的に、例えば、撮像装置の電源ＯＮ時に毎回、撮像領域を選択するようにしても良い。
【００４８】
また、メモリ３に記憶される情報は、予め、指定された特定の個眼光学系に対応する前記領域を示す情報であってもよい。この場合も、メモリ３が、複数の前記領域を示す情報を記憶していてもよく、フォーカス調整を行う際に、メモリ３に記憶された情報に基づいて、複数の領域の中から前記複眼光学系ＬＨの中心に近い少なくともの一つの領域を選択し、選択された領域が一つの場合はその領域からの画像信号から抽出したフォーカス位置に関する評価値に基づいて駆動素子を駆動し、選択された前記領域が複数の場合はそれらの加重平均値に基づいて駆動素子を駆動するようにしてもよい。
【００４９】
また、撮像装置に表示部を設け、複眼光学系のフォーカス状態を使用者に報知するようにしてもよい。そして、使用者が表示内容に基づいて手動で撮像素子に対する複眼光学系の位置を変更するようにしてもよい。
【符号の説明】
【００５０】
１            画像処理部
１ａ          画像合成部
１ｂ          画像補正部
３            メモリ
１０          制御回路
ＬＡ１        レンズアレイ
ＬＡ２        レンズアレイ
Ｌａ          個眼光学系
ＬＨ          複眼光学系
ＬＵ          撮像ユニット
ＳＲ          撮像素子
ＳＳ          撮像面（撮像領域）
ＣＬ          評価値算出部
ＣＴ          システム制御部
ＡＣＴ        アクチュエータ
【図１】
2014196511.tif 000003
【図２】
2014196511.tif 000004
【図３】
2014196511.tif 000005
【図４】
2014196511.tif 000006
【図５】
2014196511.tif 000007
【図６】
2014196511.tif 000008
【図７】
2014196511.tif 000009
【図８】
2014196511.tif 000010
【図９】
2014196511.tif 000011
【図１０】
2014196511.tif 000012
【図１１】
2014196511.tif 000013
【図１２】
2014196511.tif 000014
【国際調査報告】
2014196511.tif 000015
2014196511.tif 000016
2014196511.tif 000017
2014196511.tif 000018