(57)【要約】  複眼光学系を用いながらも高い解像度を得ることが出来る画像入力装置を提供する。この画像入力装置は、並列的に配置された複数の個眼光学系を備え一体的に構成された複眼光学系と、各個眼光学系により光学像をそれぞれ結像される複数の領域を備え、前記領域に結像される光学像を画像信号に変換する撮像素子と、各個眼光学系とそれに対応する前記領域との間に配置された複数色のフィルタを備えたカラーフィルタと、を有し、前記カラーフィルタにおいて、輝度信号を抽出するのに用いる光の波長領域を透過する色フィルタを、前記撮像素子の備える前記複数の領域のうちピント位置を検出するために用いるピント検出領域と，該ピント検出領域に対応する前記個眼光学系との間に配置する。
2014203844.tif 000002
【特許請求の範囲】
【請求項１】
並列的に配置された複数の個眼光学系を備え一体的に構成された複眼光学系と、
各個眼光学系により光学像をそれぞれ結像される複数の領域を備え、前記領域に結像される光学像を画像信号に変換する撮像素子と、
各個眼光学系とそれに対応する前記領域との間に配置された複数色のフィルタを備えたカラーフィルタと、を有し、
前記カラーフィルタにおいて、輝度信号を抽出するのに用いる光の波長領域を透過する色フィルタを、前記撮像素子の備える前記複数の領域のうちピント位置を検出するために用いるピント検出領域と，該ピント検出領域に対応する前記個眼光学系との間に配置したことを特徴とする画像入力装置。
【請求項２】
前記撮像素子に対して、前記複眼光学系を駆動素子により光軸方向に相対的に移動可能に支持する支持部材と、
前記領域から出力された画像信号に基づいて、前記個眼光学系のフォーカス状態を表す評価値を算出する評価値算出部を含む制御回路と、を有し、
前記制御回路は、少なくとも１つの前記ピント検出領域を選択し、選択された前記ピント検出領域からの画像信号からの評価値に基づいて、選択された前記ピント検出領域にピントが合うよう前記駆動素子を駆動することを特徴とする請求項１に記載の画像入力装置。
【請求項３】
前記評価値算出部は、前記複数の領域からの画像信号から算出した前記評価値を比較することで、少なくとも１つの前記ピント検出領域を選択することを特徴とする請求項２に記載の画像入力装置。
【請求項４】
前記ピント検出領域は、前記複眼光学系の中心，又は中心に近い位置に配置されていることを特徴とする請求項１〜３に記載の画像入力装置。
【請求項５】
前記ピント検出領域は、前記撮像素子の中心、又は中心に近い位置に配置されていることを特徴とする請求項１〜３に記載の画像入力装置。
【請求項６】
前記フィルタは、赤波長領域透過フィルタ、青波長領域透過フィルタ、緑波長領域透過フィルタであり、輝度成分を抽出するのに用いる前記フィルタとは緑波長領域透過フィルタであることを特徴とする請求項１〜５のいずれかに記載の画像入力装置。
【請求項７】
前記フィルタは、全波長領域透過フィルタ、赤波長領域透過フィルタ、青波長領域透過フィルタ、緑波長領域透過フィルタであり、輝度成分を抽出するのに用いる前記フィルタとは緑波長領域透過フィルタ又は全波長領域透過フィルタであることを特徴とする請求項１〜６のいずれかに記載の画像入力装置。
【請求項８】
前記フィルタは、青波長領域と赤波長領域透過フィルタ、青波長領域と緑波長領域透過フィルタ、緑波長領域と赤波長領域透過フィルタ、緑波長領域透過フィルタであり、輝度成分を抽出するのに用いる前記フィルタとは緑波長領域透過フィルタであることを特徴とする請求項１〜６のいずれかに記載の画像入力装置。
【請求項９】
前記フィルタは、赤外波長領域透過フィルタ、赤波長領域透過フィルタ、青波長領域透過フィルタ、緑波長領域透過フィルタであり、輝度成分を抽出するのに用いる前記フィルタとは緑波長領域透過フィルタであることを特徴とする請求項１〜６のいずれかに記載の画像入力装置。
【請求項１０】
前記フィルタは、可視光または可視光及び赤外光波長領域を４つ以上の帯域に分けたときに、それぞれの帯域幅を持ったフィルタであることを特徴とする請求項１〜９のいずれかに記載の画像入力装置。
【請求項１１】
前記複眼光学系は、個眼レンズを一体成形したアレイレンズを有することを特徴とする請求項１〜１０のいずれかに記載の画像入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、１つの固体撮像素子上に複眼光学系によって形成された複数の像に基づいて１枚の画像を得ることができる画像入力装置に関する。
【背景技術】
【０００２】
近年、スマートフォンやタブレット型パーソナルコンピュータなどに代表される薄型の撮像装置付き携帯端末が急速に普及している。しかるに、このような薄型の携帯端末に搭載される撮像装置には、高解像度を有しながらも薄形でコンパクトであることが要求されている。このような要求に対応するために、撮像レンズの光学設計による全長短縮やそれに伴う誤差感度増大に対応した製造精度向上を行ってきたが、さらなる要求に対応するためには、従来の単一の撮像レンズと撮像素子の組み合わせで像を得るという構成では限界があり、従来とは発想を変えた光学系の開発が期待されている。【０００３】
これに対し、撮像素子の撮像領域を分割して、それぞれに対応するレンズを含む光学系（以下、個眼光学系という）を配置し、得られた画像を処理することで、最終的な画像出力を行う複眼撮像装置に用いられる、複眼光学系と呼ばれる光学系が、薄形化への要求に対応するために注目されている。特許文献１には、複眼光学系を用いて画像を形成する撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２０１１−５２３５３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、より高品質な画像を形成するためには、複眼光学系を用いた撮像装置においても、撮像素子に対して複眼光学系を光軸方向に移動するフォーカシング機構が必要になる。しかるに、複数の個眼光学系を個々に独立して移動させることは、複雑な機構が必要になるから困難である。そこで、フォーカシングのため、複眼光学系全体を一体的に移動することが考えられる。しかるに、フォーカシングのために光軸方向に動かすための駆動機構やガイド機構はできるだけ簡素であることが好ましく、これらを簡略化するには、複眼光学系をガイドピンなど１か所のみで支持することが望ましい。しかし、簡略化の結果、ガイドピンなどの支持部材に対して複眼光学系が傾きやすくなる。複眼光学系が傾くと、並列に配置された複数の個眼光学系と撮像面との距離が一定でなくなってしまい、このためフォーカスを最適位置に合わせたとしても一部の個眼光学系において最適なピント位置と撮像面とがずれる恐れがある。【０００６】
更に、画像信号を形成する輝度信号と色度信号のうち、人間の目で感じる解像度は輝度信号に大きく影響される一方、色度信号が解像度に与える影響は低いとされている。そこで、撮像面を複数の撮像領域に分割した上で、複数の個眼光学系と、それに対応する撮像領域との間に、複数色のフィルタを介在させることにより、輝度信号への寄与度が高い画像信号を出力する撮像領域と、色度信号への寄与度が高い画像信号を出力する撮像領域とに分けることが考えられる。このとき、フォーカスを合わせた時に輝度信号への寄与度が高い画像信号を出力する撮像領域に対し、これに対応する個眼光学系における最適なピント位置がずれていると、結果として解像度が劣化し、高画質な画像が得られない恐れがある。しかしながら、特許文献１では、このような解像度の問題について何ら言及されていない。【０００７】
本発明は、かかる従来技術の問題点に鑑みてなされたものであり、複眼光学系を用いながらも高い解像度を得ることが出来る画像入力装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係わる画像入力装置は、
並列的に配置された複数の個眼光学系を備え一体的に構成された複眼光学系と、
各個眼光学系により光学像をそれぞれ結像される複数の領域を備え、前記領域に結像される光学像を画像信号に変換する撮像素子と、
各個眼光学系とそれに対応する前記領域との間に配置された複数色のフィルタを備えたカラーフィルタと、を有し、
前記カラーフィルタにおいて、輝度信号を抽出するのに用いる光の波長領域を透過する色フィルタを、前記撮像素子の備える前記複数の領域のうちピント位置を検出するために用いるピント検出領域と，該ピント検出領域に対応する前記個眼光学系との間に配置したことを特徴とする。【０００９】
本発明によれば、前記カラーフィルタのうち、輝度信号を抽出するのに用いる光の波長領域を透過する色フィルタを、ピント位置を検出するために用いる前記撮像素子のピント検出領域とそれに対応する前記個眼光学系との間に配置したので、ピント位置調整後、ピント検出領域にピントが合うため、前記ピント検出領域から出力された画像信号は、高周波成分を多く含み、輝度信号の解像度を高める効果がある。これにより、全ての前記撮像領域から出力された画像信号に基づいて合成される画像の解像度を高めることができる。
【発明の効果】
【００１０】
本発明によれば、複眼光学系を用いながらも高い解像度を得ることが出来る画像入力装置を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態にかかる撮像装置を模式的に示す図である。
【図２】複眼光学系ＬＨと、撮像素子ＳＲとの関係を模式的に示す斜視図である。
【図３】複眼光学系ＬＨが撮像素子ＳＲに対して傾いた状態を示す斜視図である。
【図４】カラーフィルタＦＴの色配置例を示す図である。
【図５】複眼光学系ＬＨと撮像素子ＳＲとが傾いた状態における、各個眼光学系のピント位置を示す図である
【図６】複数の撮像領域からの画像信号における高周波成分を縦軸に、複眼光学系ＬＨの位置を横軸にとって示すグラフである。
【図７】最適なピント位置を求めるためのオートフォーカス構成を示すブロック図である。
【図８】フォーカス状態を把握するための撮像領域を決定するための処理を説明するためのフローチャートである。
【図９】撮像時におけるフォーカス制御処理を説明するためのフローチャートである。
【図１０】図１，図７の画像合成部１ａの内部構成の一例を示す図である。
【図１１】図１，図７の撮像素子ＳＲの回路構成を示す図である。
【図１２】選択された撮像領域からの画像信号における高周波成分を縦軸に、複眼光学系ＬＨの位置を横軸にとって示すグラフである。
【図１３】通常のカラーフィルタの色配置例を示す図である。
【図１４】（ａ）（ｂ）はカラーフィルタの変形例を示す図である。
【図１５】カラーフィルタの変形例を示す図である。
【図１６】カラーフィルタの変形例を示す図である。
【図１７】カラーフィルタの変形例を示す図である。
【図１８】カラーフィルタの変形例を示す図である。
【図１９】カラーフィルタの変形例を示す図である。
【図２０】（ａ）はカラーフィルタの変形例を示す図で、（ｂ）は通常のカラーフィルタの色配置例を示す図である。
【図２１】カラーフィルタの変形例を示す図である。
【図２２】（ａ）はカラーフィルタの変形例を示す図で、（ｂ）は通常のカラーフィルタの色配置例を示す図である。
【図２３】カラーフィルタの変形例を示す図である。
【図２４】カラーフィルタの変形例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明に係る複眼光学系を用いた撮像装置（画像入力装置）の一実施形態を説明する。複眼光学系は、１つの撮像素子に対して複数のレンズがアレイ状に（並列に）配置された光学系であり、超解像タイプと、視野分割タイプとに通常分けられる。ここで、超解像タイプとは、個々のレンズによって結像された同方向の僅かに視野のずれた画像から画像処理によって１つの高解像度の画像を得る方式に用いられる複眼光学系を指す。また、視野分割タイプとは、個々のレンズによって結像された異なる視野の画像を、画像処理よって各視野の画像をつなぎ合わせることで１つの画像を得る方式に用いられる複眼光学系を指す。
【００１３】
図１に本実施形態にかかる撮像装置（画像入力装置）を模式的に示す。図１に示すように、撮像装置ＤＵは、撮像ユニットＬＵ，画像処理部１，全体の制御を司る制御回路１０，メモリ３等を有している。そして、撮像ユニットＬＵは、１つの撮像素子ＳＲと、その撮像素子ＳＲに対して、光軸を平行にして並列的に配置された複数の個眼光学系によって複数の結像を行う複眼光学系ＬＨと、撮像素子ＳＲと複眼光学系ＬＨとの間に配置された異なる色のフィルタを持つカラーフィルタＦＴとを有している。撮像素子ＳＲとしては、例えば複数の画素を有するＣＣＤ型イメージセンサー，ＣＭＯＳ型イメージセンサー等の固体撮像素子が用いられる。撮像素子ＳＲの光電変換部である受光面に複数の撮像領域ＳＳが形成され、この撮像領域に被写体の光学像がそれぞれ形成されるように複眼光学系ＬＨが設けられているので、複眼光学系ＬＨによって形成された光学像は、撮像素子ＳＲによって電気的な信号に変換される。図１では、複眼光学系が超解像タイプのものとして示されているが、視野分割タイプのものにも適用可能である。
【００１４】
図１において、複眼光学系ＬＨは、駆動素子であるアクチュエータＡＣＴにより光軸方向に移動可能となっている。アクチュエータＡＣＴは、制御回路１０からの信号により駆動されるようになっている。
【００１５】
図２は、複眼光学系ＬＨと、カラーフィルタＦＴと、撮像素子ＳＲとの関係を模式的に示す斜視図である。複眼光学系ＬＨは、ホルダＨＬＤにより保持されており、ホルダＨＬＤは、撮像素子ＳＲを保持した鏡枠ＢＸにピエゾ型アクチュエータＡＣＴを介して植設されたガイドピンＧＰに係合する貫通孔を有している。ホルダＨＬＤの貫通孔とガイドピンＧＰとの間には微小なクリアランスが設けられており、アクチュエータＡＣＴを駆動していないときは、ホルダＨＬＤは摩擦力によりガイドピンＧＰに対して静止している。ガイドピンＧＰの根元に設けられたピエゾ型アクチュエータＡＣＴによって、ガイドピンＧＰを振動させることで、ホルダＨＬＤと複眼光学系ＬＨとを撮像素子ＳＲに対して光軸方向に相対移動可能としている。つまり、ホルダＨＬＤとガイドピンＧＰと鏡枠ＢＸとで、複眼光学系ＬＨを撮像素子ＳＲに対して光軸方向に相対的に移動可能に支持する支持部材を構成する。ピエゾ型アクチュエータＡＣＴについては、例えば特開2013-062997号公報に詳細が記載されているため、本明細書では構成及び動作について詳しい説明を省略する。これ以外に、ボイスコイルモータや、形状記憶合金を用いたアクチュエータなどを用いることもできる。
【００１６】
複眼光学系ＬＨには、マトリクス状に複数のレンズが一体的に形成されているレンズアレイが少なくとも一つ含まれる。レンズアレイは、樹脂やガラスなどを金型で成形することにより、平面状に並ぶ複数のレンズが一体成形されたものとして形成することができる。一体成型品は、安価で高精度なアレイレンズを得やすく好ましいものである。一体成型品外にも、ガラスなどの透明基板に樹脂などの複数のレンズ部を形成してなるレンズアレイを用いてもよい。図１に示すように、複数のレンズアレイＬＡ１、ＬＡ２を光軸方向に重ねて配置してもよいし、レンズアレイを一つだけ含むものであってもよい。前者の場合、個眼光学系Ｌａは複数のレンズから構成され、後者の場合、個眼光学系Ｌａは１つのレンズから構成されることになる。いずれにしても、複眼光学系全体が一体化された構成となり、アクチュエータＡＣＴによって一体的に駆動される。一方、撮像素子ＳＲ上には、個眼光学系Ｌａに対応して、複数の撮像領域ＳＳが形成されている。
【００１７】
カラーフィルタＦＴは、ここでは赤（Ｒ）波長領域透過フィルタ、青（Ｂ）波長領域透過フィルタ、緑（Ｇ）波長領域透過フィルタの３つの色のフィルタを含み、図４（ａ）〜（ｃ）に示すごとき配置をとっている。ここでは、少なくとも中央の４つの領域に対応して、緑波長領域透過フィルタＧが配置されている。各個眼光学系Ｌａからの光学像は、赤（Ｒ）波長領域透過フィルタ、青（Ｂ）波長領域透過フィルタ、緑（Ｇ）波長領域透過フィルタの３つの色のフィルタを通過して、色分解された後、各撮像領域ＳＳに結像され、それぞれ色毎の画像信号を出力するようになっている。
【００１８】
図１に示すように、画像処理部１は、画像合成部１ａと、画像補正部１ｂと、を有している。画像合成部１ａは、複眼光学系ＬＨにより形成された複数の撮像領域ＳＳからの画像信号に反転処理、歪曲処理、シェーディング処理、超解像処理等の必要な画像処理を施し、これらを合成して１枚の合成画像データを生成する。さらに、画像補正部１ｂにおいて、ゴースト補正、シェーディング補正、歪曲補正等の画像補正を行って、合成画像ＭＬとして出力する。出力された合成画像ＭＬは、メモリ３に記憶される。
【００１９】
ところで、本来的には複眼光学系ＬＨの個眼光学系の並び方向と撮像素子ＳＲとは平行であるべきだが、図２に示すように、ホルダＨＬＤを１本のガイドピンＧＰでガイドしていると、ガイドピンＧＰに対してホルダＨＬＤが傾きがちになる。同様な事象はガイドピンを２本にしても、駆動には寄与しない固定ガイドを別に設けても生じる可能性がある。すると、図３に示すように、個眼光学系Ｌａと撮像領域ＳＳとの距離が、個々に異なるようになる。各個眼画像から超解像処理により一つの高解像度画像を得る場合、各個眼光学系Ｌａ全てが合焦している場合に最大の解像度復元効果があるが、ボケ量が多い個眼画像が増えるほど解像度復元効果が少なくなり、高解像度の画像が得にくくなる。
【００２０】
よって、複眼光学系ＬＨが傾いた場合、各個眼光学系Ｌａの合焦位置がずれることになり、個眼画像毎にボケ具合が異なるが、このバラツキの幅を最小にすることが望ましい。ボケ量のバラツキの幅を最小限にするためには、各個眼光学系に対応する撮像領域の画像信号毎にボケ量を検出し、ボケ量の平均値が最小になる位置に複眼光学系ＬＨを移動することにより、フォーカスを調整すればよい。この場合、ボケ量は、個眼光学系Ｌａの最適ピント位置と、それに対応する撮像領域ＳＳとの光軸方向のずれ量と相関を持つ。
【００２１】
図５（ａ）〜（ｃ）は、複眼光学系ＬＨと撮像素子ＳＲとが傾いた状態における、各個眼光学系のピント位置を示している。ここでは、理解を容易にするため、複眼光学系ＬＨは、傾き方向に５つの個眼光学系Ｌａ（１）〜Ｌａ（５）が並んだレンズアレイを一つ含むものとして図示し、また、複眼光学系ＬＨを上下させても撮像素子ＳＲに対する角度は変化しないものとする。まず、複眼光学系ＬＨを上下に移動させて、撮像素子ＳＲからの距離を変えつつ、各個眼光学系Ｌａ（１）〜Ｌａ（５）により光学像が結像された撮像領域ＳＳからの画像信号から、高周波成分を抽出する。この高周波成分の量をフォーカス調整のための評価値とする。
【００２２】
この高周波成分を縦軸に、複眼光学系ＬＨの位置を横軸にとると、各個眼光学系に関して図６のグラフが得られる。高周波成分の量は個眼光学系のフォーカス状態を反映しており、高周波成分が最も多くなるピーク位置が、個眼光学系が対応する領域ＳＳにピントの合った位置になる。つまり、評価値は個眼光学系のフォーカス位置を表している。複眼光学系ＬＨが傾いていると、図６に示すように、５つの個眼光学系Ｌａ（１）〜Ｌａ（５）それぞれにおいて、撮像素子ＳＲに対して、複眼光学系ＬＨが異なる位置で最適なフォーカス位置をとる、つまり、ピントがの合うった位置が異なることとなる。
【００２３】
例えば、図５（ｂ）に示すように、撮像領域ＳＳとの距離が最も近い個眼光学系Ｌａ（５）を、ピントの合った位置（図６のｃに相当）とすると、撮像領域ＳＳとの距離が最も遠い個眼光学系Ｌａ（１）のピント位置と、撮像領域ＳＳとのずれ量Δ１（図５（ｂ）に示される位置での最大ずれ量）が大きくなり、これにより個眼光学系Ｌａ（１）により撮像領域ＳＳに結像された画像の高周波成分が少なくなり、ボケ量が大きくなる(図６のδc)。一方、図５（ｃ）に示すように、撮像領域ＳＳとの距離が最も遠い個眼光学系Ｌａ（１）を、ピントの合った位置（図６のａに相当）とすると、撮像領域ＳＳとの距離が最も近い個眼光学系Ｌａ（５）のピント位置と、撮像領域ＳＳとのずれ量Δ２（図５（ｃ）に示される位置での最大ずれ量）が大きくなり、これにより個眼光学系Ｌａ（５）により撮像領域ＳＳに結像された画像の高周波成分が少なくなり、ボケ量が大きくなる(図６のδa)。
【００２４】
これに対し、図５（ａ）に示すように、撮像領域ＳＳとの距離が個眼光学系Ｌａ（１）よりも小さく個眼光学系Ｌａ（５）よりも大きい個眼光学系Ｌａ（３）を、ピントの合った位置（図６のｂに相当）とすると、撮像領域ＳＳとの距離が最も遠い個眼光学系Ｌａ（１）のピント位置と撮像領域ＳＳとのずれ量Δ１ａ、及び撮像領域ＳＳとの距離が最も近い個眼光学系Ｌａ（５）のピント位置と撮像領域ＳＳとのずれ量Δ２ａが、いずれも絶対値で小さく（＜Δ１，Δ２）抑えられ、これにより、図６のｂの位置での各個眼光学系のボケ量の差が最小（図６のδｂ）となり、すなわち高周波成分が最大となり、各個眼光学系Ｌａ（１）〜Ｌａ（５）により撮像領域ＳＳに結像された画像から超解像処理により合成される画像も最も高解像度なものとなる。このように、評価値を算出することによって、複眼光学系のフォーカス状態を判別することができる。なお、図３、図５においては、理解を容易にするため、複眼光学系ＬＨの傾きは誇張して図示してあるが、実際にはこの傾きは小さく、図５（ａ）のようにずれ量を最小化することで、全個眼光学系のピントが合うように設定できる程度のものである。
【００２５】
以上から明らかであるが、ピント位置検出に用いる撮像領域ＳＳは、複眼光学系ＬＨ（又は撮像素子ＳＲ）の中心、もしくはその近傍にある個眼光学系Ｌａに対応するものである。複眼光学系が傾いている場合、中心付近の撮像領域の画像を利用してピントを合わせることで、各個眼光学系のボケ量の差が最小となり、最終的に得られる合成画像の解像度を最大にすることができる。そこで、図４（ａ）〜（ｃ）に示すように、カラーフィルタＦＴの中心付近の複数のフィルタを輝度信号に最も寄与する波長帯域を透過する色フィルタ、例えば緑波長領域透過フィルタに設定するのである。
【００２６】
図７は、最適なピント位置を求めるためのオートフォーカス構成を示すブロック図であり、図１の撮像装置の一部であって、共通する構成には同じ符号を付している。図７に示すように、制御回路１０には、中央演算回路等を含み、画像処理部１やメモリ３との間で画像情報をやり取りし、アクチュエータＡＣＴや撮像素子ＳＲの駆動回路ＤＲの制御を司るシステム制御部ＣＴと、各個眼光学系に対応する撮像素子ＳＲの各撮像領域から得られる複数の画像信号に基づいて評価値を算出する評価値算出部ＣＬとが設けられている。システム制御部ＣＴは、評価値算出部ＣＬから送られるデータに基づいて、アクチュエータＡＣＴを駆動する。
【００２７】
制御回路１０は、図８のフローチャートに示した、フォーカス状態を把握するための撮像領域を決定するための処理を実行する。例えば、組み立て後の検査時に、まず、アクチュエータＡＣＴを駆動して複眼光学系ＬＨを初期位置に移動させ（ステップＳ１０）、チャートなどからの被写体光を、複眼光学系ＬＨにおける各個眼光学系を介して撮像素子ＳＲの全ての撮像領域に光学像を結像させ、光電変換した後、システム制御部ＣＴから指示を受けた駆動回路ＤＲからの制御信号に従い画像信号を出力させる。その画像信号を、評価値算出部ＣＬにてフィルタ処理により高周波成分を抽出する（ステップＳ１２）。次いで、システム制御部ＣＴが、アクチュエータＡＣＴを駆動して複眼光学系ＬＨを光軸方向に移動させ、再びチャートの撮像を行って、画像信号から高周波成分を抽出する。これを移動範囲内の全ての位置について繰り返すことで（ステップＳ１４、Ｓ１６）、全ての撮像領域に関して、図６に示すグラフが得られるので、ピント位置の最大ズレ量が最小となる位置において、ピント位置のずれ量が最小となる個眼光学系に対応する撮像領域を選択し（ステップＳ１８）、この撮像領域を表す情報（領域番号等）をメモリ３に記憶する（ステップＳ２０）。
【００２８】
その後、実際の撮像時には、制御回路１０が図９のフローチャートに示したフォーカス制御処理を実行する。具体的には、制御回路１０内のシステム制御部ＣＴが、メモリ３から領域番号等の情報を読み出し、その領域番号等の情報に相当する撮像領域を選択する（ステップＳ１００）。そして、複眼光学系ＬＨの位置を変化させつつ、選択された撮像領域からの画像信号から高周波成分を検出し（ステップＳ１０２）、検出した値に基づいて、図１２に示すようなグラフを取得して，そのピーク位置としてのピント位置ｄを求め（ステップＳ１０４）、更にシステム制御部ＣＴが、アクチュエータＡＣＴを駆動してピント位置ｄに複眼光学系ＬＨを移動させることにより、オートフォーカス動作を行う（ステップＳ１０６）。これにより、全ての撮像領域においてピントのズレが最小限の画像が得られるので、上述したように超解像処理を行って合成画像ＭＬを出力することができる。全ての領域からの画像信号に基づいて、個眼光学系毎に最適なピント位置を求めて、フォーカシング動作を行うと、画像信号が膨大となり、その画像処理に時間がかかり、オートフォーカスで移動する被写体を追うような場合、被写体に追従できない恐れがある。これに対して、複数の個眼光学系を備える複眼光学系ＬＨが一体的に構成されていれば、全ての個眼光学系が一体的に移動するので、全ての領域の画像信号について画像処理をする必要はなく、予め、選択されるべき領域を求めてその情報を記憶しておき、その情報で特定される領域を選択して評価値を算出すれば、フォーカス状態を把握できる。そして、この評価値に基づきフォーカシングを行うことで、適切かつ迅速にフォーカス動作を行うことができる。
【００２９】
図１０は、図１，図７の画像合成部１ａの内部構成の一例を示す図である。図１１は、図１，図７の撮像素子ＳＲの回路構成を示す図である。一方、撮像素子ＳＲから出力された画像信号は、画像合成部１ａにて色毎に超解像処理され、その後色空間変換など通常の画像処理を経て、出力される。より具体的には、図１１において、各受光部（撮像領域ＳＳ）からの画像信号は、出力部ＯＴを経てRAW画像として出力される。受光部は、制御部ＣＮＴを介してクロック、同期信号、制御信号などが供給され、駆動回路ＤＲ（図７）からの駆動信号により動作を制御できるようになっている。
【００３０】
図１０に示すように、画像合成部１ａにおいて、撮像素子ＳＲから出力されたRAW画像は、色分離部ＣＤで、RGBに色分離され、それぞれの色毎に，超解像処理部ＳＤで超解像処理が行われる。超解像処理部ＳＤで高解像度化されたRGB信号は、色空間変換部ＣＳで、一例として以下の式に基づき、輝度信号Yと色度信号Cr、Cb信号に変換される。但し、Ｇは超解像処理を施された緑色信号であり、Ｒは超解像処理を施された赤色信号であり、Ｂは超解像処理を施された青色信号である。
Ｙ＝０．６Ｇ＋０．３Ｒ＋０．１Ｂ      （１）
Ｃｒ＝Ｒ−Ｙ      （２）
Ｃｂ＝Ｂ−Ｙ      （３）
【００３１】
式（１）から明らかなように、輝度信号については、緑色信号Ｇの比重が高く、従って画像信号全体の解像度は緑色信号Ｇの解像度に依存する。変換により得られた画像信号ＹＣＣは、合成画像として画像合成部１ａから出力される。
【００３２】
本実施形態によれば、図４（ａ）〜（ｃ）に示すように、カラーフィルタＦＴにおいて緑波長透過フィルタが中央に集中しているので、評価値算出部ＣＬがピント検出領域を決定したときに、いずれかの緑色フィルタが，その前に存在することになる。このため、ピントの合った緑色信号を得ることが出来、すなわち（１）式に示すように、緑色信号の寄与度が高い輝度信号Ｙの高周波成分量が高まることで、解像度の高い合成画像を得ることができる。
【００３３】
図１３は、通常のカラーフィルタの色配置例を示す図である。図１３の例では、図４（ａ）〜（ｃ）のカラーフィルタに対して、緑波長透過フィルタＧが市松状に配置されている。よって、ピント検出領域に緑波長透過フィルタが集中配置されていないので、光学系の傾きによるピント位置バラツキがある場合は、高解像度輝度信号を得ることが難しい。
【００３４】
図１４（ａ）（ｂ）は、カラーフィルタＦＴの変形例を示す図である。図１４（ａ）の例では、図４（ａ）のカラーフィルタに対して、周辺側に配置した緑波長透過フィルタＧに代えて、無色透明（全波長領域透過）フィルタＷを配置している。図１４（ｂ）の例では、図４（ｃ）のカラーフィルタに対して、周辺側に配置した緑波長透過フィルタＧに代えて、無色透明（全波長領域透過）フィルタＷを配置している。無色透明のフィルタＷは、赤色光、青色光も透過するので、緑色光よりも輝度信号への寄与度が小さいので、周辺側に配置するのが好ましい。
【００３５】
図１５は、カラーフィルタＦＴの変形例を示す図である。図１５において、いわゆる補色といわれる、マゼンタ色（Ｍｇ）のフィルタ（青波長領域と赤波長領域透過フィルタ、シアン色（Ｃｙ）のフィルタ(青波長領域と緑波長領域透過フィルタ、イエロー色（Ｙｅ）のフィルタ(緑波長領域と赤波長領域透過フィルタ)の各フィルタを周辺に配置し、輝度信号を抽出するための緑波長領域透過フィルタＧを中央に配置している。補色のフィルタを通過した光を検出した撮像領域からの画像信号から画像を形成する手法はよく知られているので省略する。補色フィルタを用いる場合、各信号の差分でRGB信号を作成するため、視差がある個眼光学系Ｌａから演算で求めると誤差が大きくなるから、中央部に緑波長領域透過のフィルタＧを残すのが好ましい。
【００３６】
図１６は、カラーフィルタＦＴの変形例を示す図である。図１６の例では、図４（ｃ）のカラーフィルタに対して、周辺側に配置した緑波長領域透過のフィルタＧに代えて、赤外光のみを透過するフィルタＩｒを配置している。これにより、赤外領域に感度を持つ撮像装置を実現できる。
【００３７】
図１７は、カラーフィルタＦＴの変形例を示す図である。図１７のカラーフィルタＦＴは、いわゆるマルチスペクトラム撮像装置に好適なものであり、赤波長領域の長波長側と短波長側（Ｒ１，Ｒ２）２種類，青波長領域の長波長側と短波長側（Ｂ１，Ｂ２）２種類，緑波長領域の長波長側と短波長側（Ｇ１，Ｇ２）２種類というように、各原色の波長の半分の波長領域を透過するフィルタを配置しており、可視光領域を６バンドで検出できる。この場合も、緑波長領域透過のフィルタＧ１，Ｇ２を中央に配置している。波長分割数はもっと多くても良い。
【００３８】
図１８は、カラーフィルタＦＴの変形例を示す図である。図１８のカラーフィルタＦＴは、図１７の例に対して、更に赤外波長領域を２領域に分けてそれぞれの領域を透過するフィルタＩｒ１，Ｉｒ２を周辺に配置している。これにより、可視光領域を６バンドで検出でき、赤外領域を２バンドで検出できる。
【００３９】
図１９は、別な実施形態にかかる複眼光学系ＬＨと撮像素子ＳＲを模式的に示す斜視図である。複眼光学系ＬＨの個眼光学系Ｌａ及び撮像領域ＳＳは４行４列に限らず、図１９に示すように３行３列であっても良い。
【００４０】
図２０（ａ）は、図１９の構成に用いると好適なカラーフィルタＦＴを示し、ここでは赤（Ｒ）波長領域透過フィルタ、青（Ｂ）波長領域透過フィルタ、緑（Ｇ）波長領域透過フィルタの３つの色のフィルタを含んでおり、撮像素子ＳＲにおいてピント検出領域が中央になるから、カラーフィルタＦＴの中央に緑波長透過フィルタＧを配置している。図２０（ｂ）は通常のカラーフィルタ配置の例で、中央に緑色波長透過フィルタＧを集中配置していないので、図２０（ａ）に較べて高解像度輝度信号が得られにくい。
【００４１】
図２１は、カラーフィルタＦＴの変形例を示す図である。図２１の例では、図２０（ｂ）のカラーフィルタに対して、中央に配置した緑色波長透過フィルタＧに代えて、無色透明（素通し）のフィルタＷを配置している。無色透明のフィルタＷは，可視光全域を透過するため、感度的に有利である。
【００４２】
図２２（ａ）（ｂ）は、５行５列に色フィルタを配列したカラーフィルタＦＴを示す図である。かかるカラーフィルタＦＴは、５行５列に配列された複眼光学系ＬＨの個眼光学系Ｌａ及び撮像領域ＳＳの間に配置すると好ましい。カラーフィルタＦＴは、赤（Ｒ）波長透過フィルタ、青（Ｂ）波長透過フィルタ、緑（Ｇ）波長透過フィルタの３つの色のフィルタを含んでおり、撮像素子ＳＲにおいてピント検出領域が中央になるから、図２２（ａ）ではカラーフィルタＦＴの中央に緑波長透過フィルタＧを集中配置している。図２２（ｂ）は通常用いられる配置であるが、中央に緑波長透過フィルタを集中配置していないので、図２２（ａ）に較べて高解像度輝度信号が得られにくい。
【００４３】
図２３は、カラーフィルタＦＴの変形例を示す図である。図２３の例では、図２２（ａ）のカラーフィルタに対して、周辺に配置した緑色のフィルタＧに代えて、無色透明のフィルタＷを配置して高感度化している。
【００４４】
図２４は、カラーフィルタＦＴの変形例を示す図である。図２４の例では、マルチスペクトラム撮像装置に好適なものであり、無色透明のフィルタＷに加え、赤波長領域の長波長側と短波長側（Ｒ１，Ｒ２）２種類，青波長領域の長波長側と短波長側（Ｂ１，Ｂ２）２種類，緑波長領域の長波長側と短波長側（Ｇ１，Ｇ２）２種類というように、各原色の波長の半分の波長領域を透過するフィルタを配置しており、更に赤外光を２領域に分けるフィルタＩｒ１，Ｉｒ２を周辺に配置している。これにより、可視光領域を６バンドで検出でき、赤外領域を２バンドで検出できる。
【００４５】
以下、好ましい実施態様についてまとめて説明する。
【００４６】
上記画像入力装置において、前記撮像素子に対して、前記複眼光学系を駆動素子により光軸方向に相対的に移動可能に支持する支持部材と、前記領域から出力された画像信号に基づいて、前記個眼光学系のフォーカス状態を表す評価値を算出する評価値算出部を含む制御回路と、を有し、前記制御回路は、少なくとも１つの前記ピント検出領域を選択し、選択された前記ピント検出領域からの画像信号からの評価値に基づいて、選択された前記ピント検出領域にピントが合うよう前記駆動素子を駆動することが好ましい。
【００４７】
前記評価値算出部が、全ての領域からの画像信号に基づいて、前記個眼光学系毎に最適なピント位置を求めて、フォーカシング動作のために前記駆動素子を介して前記複眼光学系を移動させることも考えられる。しかしながら、全ての領域からの画像信号は膨大であるから、その画像処理に時間がかかり、オートフォーカスで移動する被写体を追うような場合、被写体に追従できない恐れがある。一方、前記複眼光学系が複数の個眼光学系から一体的に構成されているとすれば、全ての領域の画像信号について必ずしも画像処理をする必要はない。そこで、前記評価値算出部が、少なくとも１つの前記ピント検出領域を選択し、選択された前記ピント検出領域からの画像信号の評価値に基づいて、前記駆動素子を駆動するようにしたので、画像処理に必要な時間が短縮され、短時間で高品質な画像を得ることができるのである。
【００４８】
また、前記評価値算出部は、前記複数の領域からの画像信号から算出した前記評価値を比較することで、少なくとも１つの前記ピント検出領域を選択することが好ましい。これにより、少なくとも１つの前記ピント検出領域の選択を容易に行える。
【００４９】
また、前記ピント検出領域は、前記複眼光学系の中心又は中心に近い位置に配置されていることが好ましい。前記ピント検出領域を、前記複眼光学系の中心又は中心に近い位置に配置することで、全ての前記領域における前記個眼光学系のピントのずれを最小限にすることができる。
【００５０】
また、前記ピント検出領域は、前記撮像素子の中心又は中心に近い位置に配置されていることを特徴とする。
【００５１】
前記ピント検出領域を、前記撮像素子の中心又は中心に近い位置に配置することで、全ての前記領域における前記個眼光学系のピントのずれを抑制することができる。
【００５２】
また、前記フィルタは、赤波長領域透過フィルタ、青波長領域透過フィルタ、緑波長領域透過フィルタであり、輝度成分を抽出するのに用いる前記フィルタとは緑波長領域透過フィルタであることが好ましい。
【００５３】
前記個眼光学系を通過した被写体光を、前記フィルタを通過させることで赤色光、青色光、緑色光に分解して前記撮像領域でそれぞれ検出し、その画像信号に基づいて画像を形成する場合、その画像の解像度は輝度信号の解像度で決まるが、輝度信号に対しては緑色光に対応する画像信号の寄与度が大きいとされている。このため、前記ピント検出領域と、それに対応する前記個眼光学系との間に，緑色のフィルタを配置することで、緑色光に対応する画像信号の解像度を高めることができる。尚、色度信号については解像度への寄与度が低いため、赤色、青色のフィルタはピント検出領域外、例えば周辺に配置しても影響が小さい。
【００５４】
また、前記フィルタは、全波長領域透過フィルタ、赤波長領域透過フィルタ、青波長領域透過フィルタ、緑波長領域透過フィルタであり、輝度成分を抽出するのに用いる前記フィルタとは緑波長領域透過フィルタ又は全波長領域透過フィルタであることが好ましい。
【００５５】
前記個眼光学系を通過した被写体光を、前記フィルタを通過させることで白色光（全波長透過光）、赤色光、青色光、緑色光に分解して前記撮像領域でそれぞれ検出し、その画像信号に基づいて画像を形成する場合、その画像の解像度は輝度信号の解像度で決まるが、輝度信号に対しては緑色光に対応する画像信号の寄与度が大きいとされている。このため、前記ピント検出領域と、それに対応する前記個眼光学系との間に，緑色のフィルタ(緑波長領域透過フィルタ）又は無色透明のフィルタ（全波長領域透過フィルタ）を配置することで、緑色光に対応する画像信号の解像度を高めることができる。
【００５６】
また、前記フィルタは、青波長領域と赤波長領域透過フィルタ、青波長領域と緑波長領域透過フィルタ、緑波長領域と赤波長領域透過フィルタ、緑波長領域透過フィルタであり、輝度成分を抽出するのに用いる前記フィルタとは緑波長領域透過フィルタであることが好ましい。
【００５７】
前記個眼光学系を通過した被写体光を、前記フィルタを通過させることでマゼンタ色光、シアン色光、イエロー色光、緑色光に分解して前記撮像領域でそれぞれ検出し、その画像信号に基づいて画像を形成する場合、その画像の解像度は輝度信号の解像度で決まるが、輝度信号に対しては緑色光に対応する画像信号の寄与度が大きいとされている。このため、前記ピント検出領域と、それに対応する前記個眼光学系との間に，緑波長領域透過フィルタを配置することで、緑色光に対応する画像信号の解像度を高めることができる。
【００５８】
また、前記フィルタは、赤外波長領域透過フィルタ、赤波長領域透過フィルタ、青波長領域透過フィルタ、緑波長領域透過フィルタであり、輝度成分を抽出するのに用いる前記色フィルタとは緑波長領域透過フィルタであることが好ましい。
【００５９】
前記個眼光学系を通過した被写体光を、前記フィルタを通過させることで赤外光、赤色光、青色光、緑色光に分解して前記撮像領域でそれぞれ検出し、その画像信号に基づいて画像を形成する場合、その画像の解像度は輝度信号の解像度で決まるが、輝度信号に対しては緑色光に対応する画像信号の寄与度が大きいとされている。このため、前記ピント検出領域と、それに対応する前記個眼光学系との間に，緑波長領域透過フィルタを配置し、この領域にフォーカスを合わせることで、緑色光に対応する画像信号の解像度を高めることができる。
【００６０】
また、前記フィルタは、可視光または可視光及び赤外光波長領域を４つ以上の帯域に分けたときに、それぞれの帯域幅を持ったフィルタであることが好ましい。
【００６１】
例えばマルチスペクトラムカメラなど、通常３原色で分解する波長領域を４つ以上に分解できる複数の色フィルタを用いて被写体光を分解している。この場合でも、輝度成分を抽出するのに用いる緑色の波長領域透過フィルタを、前記ピント検出領域と，それに対応する前記個眼光学系との間に配置することが望ましい。
【００６２】
また、前記複眼光学系は、個眼レンズを一体成形したアレイレンズを有することが好ましい。樹脂やガラスなどから金型を用いて、個眼レンズを一体成形したアレイレンズを形成することにより、安価で高精度なアレイレンズを得ることができる。
【００６３】
本発明は、本明細書に記載の実施形態、変形例に限定されるものではなく、他の実施形態・変形例を含むことは、本明細書に記載された実施形態や技術思想から本分野の当業者にとって明らかである。例えば、撮像装置の組み付け後の検査時に、撮像領域を選択して記憶しておくことに限らず、撮像装置の電源ＯＮ時に毎回、撮像領域を選択して利用するようにしても良い。
【符号の説明】
【００６４】
１              画像処理部
１ａ            画像合成部
１ｂ            画像補正部
３              メモリ
１０            制御回路
ＬＡ１          レンズアレイ
ＬＡ２          レンズアレイ
Ｌａ            個眼光学系
ＬＨ            複眼光学系
ＬＵ            撮像ユニット
ＳＲ            撮像素子
ＳＳ            撮像面（撮像領域）
ＣＬ            評価値算出部
ＣＴ            システム制御部
ＡＣＴ          アクチュエータ
ＦＴ            カラーフィルタ
【図１】
2014203844.tif 000003
【図２】
2014203844.tif 000004
【図３】
2014203844.tif 000005
【図４】
2014203844.tif 000006
【図５】
2014203844.tif 000007
【図６】
2014203844.tif 000008
【図７】
2014203844.tif 000009
【図８】
2014203844.tif 000010
【図９】
2014203844.tif 000011
【図１０】
2014203844.tif 000012
【図１１】
2014203844.tif 000013
【図１２】
2014203844.tif 000014
【図１３】
2014203844.tif 000015
【図１４】
2014203844.tif 000016
【図１５】
2014203844.tif 000017
【図１６】
2014203844.tif 000018
【図１７】
2014203844.tif 000019
【図１８】
2014203844.tif 000020
【図１９】
2014203844.tif 000021
【図２０】
2014203844.tif 000022
【図２１】
2014203844.tif 000023
【図２２】
2014203844.tif 000024
【図２３】
2014203844.tif 000025
【図２４】
2014203844.tif 000026
【国際調査報告】
2014203844.tif 000027
2014203844.tif 000028
2014203844.tif 000029
2014203844.tif 000030