(57)【要約】  【課題】薄型化が可能で、被写体距離によらず全画像領域できれいな画像を得る撮像装置を提供する。  【解決手段】複数のレンズ部１１３と、レンズ部１１３の光軸方向に対して略垂直な受光面をそれぞれ備える複数の撮像領域１２３と、撮像領域１２３からそれぞれ出力される複数の撮像信号が入力される撮像信号入力部１３３と、前記複数の撮像信号のうちの少なくとも１つの撮像信号を複数のブロックに分割するブロック分割部１４３と、前記撮像信号を用いて、前記ブロックごとに、レンズ部１１３がそれぞれ形成する像間の視差を画素の分解能よりも細かな分解能で演算する視差演算部１４４と、前記視差に基づいて前記複数の撮像信号を補正し画像を合成する視差補正部１４５と、を有する撮像装置。【選択図】図１０
2007235862.tif 000002
【特許請求の範囲】
【請求項１】
それぞれが少なくとも１枚のレンズを含む複数のレンズ部と、
前記複数のレンズ部に一対一に対応し、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備える複数の撮像領域と、
前記複数の撮像領域からそれぞれ出力される複数の撮像信号が入力される撮像信号入力部と、
前記複数の撮像信号のうちの少なくとも１つの撮像信号を複数のブロックに分割するブロック分割部と、
前記撮像信号を用いて、前記ブロックごとに、前記複数のレンズ部がそれぞれ形成する像間の視差を、画素の分解能よりも細かな分解能で演算する視差演算部と、
前記視差に基づいて前記複数の撮像信号を補正し画像を合成する視差補正部と、を有する撮像装置。
【請求項２】
前記視差演算部は、前記複数のレンズ部のうち一のレンズ部が形成する像を示す撮像信号と、前記一のレンズ部とは異なるレンズ部が形成する像を示す撮像信号とを、前記ブロックのずらし量を変化させて複数回比較することにより複数の視差評価値を作成し、前記視差評価値の極値を与える前記ずらし量である極値ずらし量を得て、前記極値ずらし量の前記視差評価値と前記極値ずらし量の前後のずらし量の前記視差評価値とに基づき、前記視差を画素の分解能よりも細かな分解能で演算する、請求項１に記載の撮像装置。
【請求項３】
前記視差演算部は、前記複数のレンズ部のうち一のレンズ部が形成する像を示す撮像信号と、前記一のレンズ部とは異なるレンズ部が形成する像を示す撮像信号とを、前記ブロックのずらし量を画素の分解能よりも細かな分解能で変化させて複数回比較することにより複数の視差評価値を作成し、前記視差評価値の極値を与える前記ずらし量である極値ずらし量を得て、前記極値ずらし量の前記視差評価値と前記極値ずらし量に基づき、前記視差を画素の分解能よりも細かな分解能で演算する、請求項１に記載の撮像装置。
【請求項４】
前記視差演算部は、前記複数のレンズ部のうち一のレンズ部が形成する像を示す撮像信号と、前記一のレンズ部とは異なるレンズ部が形成する像を示す撮像信号とを、前記ブロックのずらし量を変化させて複数回比較することにより複数の視差評価値を作成し、前記視差評価値の極値を与える前記ずらし量である極値ずらし量を得て、前記極値ずらし量の前後で前記ブロックを前記ずらし量よりも小さくずらして前記撮像信号を比較することにより微少ずらし時視差評価値を作成し、前記視差評価値と前記微少ずらし時評価値とに基づき前記視差を演算する、請求項１に記載の撮像装置。
【請求項５】
前記視差演算部は、前記複数のレンズ部のうち一のレンズ部が形成する像を示す撮像信号を間引いた信号と、前記一のレンズ部とは異なるレンズ部が形成する像を示す撮像信号を間引いた信号とを、前記ブロックのずらし量を変化させて複数回比較することにより複数の視差評価値を作成し、前記視差評価値に基づき前記視差を演算する、請求項１に記載の撮像装置。
【請求項６】
前記視差演算部は、前記複数のレンズ部のうち一のレンズ部が形成する像を示す撮像信号を千鳥状に間引いた信号と、前記一のレンズ部とは異なるレンズ部が形成する像を示す撮像信号を千鳥状に間引いた信号とを、前記ブロックのずらし量を変化させて複数回比較することにより複数の視差評価値を作成し、前記視差評価値に基づき前記視差を演算する、請求項５に記載の撮像装置。
【請求項７】
前記視差演算部は、前記複数のレンズ部のうち一のレンズ部が形成する像を示す撮像信号を一行おきに間引いた信号と、前記一のレンズ部とは異なるレンズ部が形成する像を示す撮像信号を一行おきに間引いた信号とを、前記ブロックのずらし量を変化させて複数回比較することにより複数の視差評価値を作成し、前記視差評価値に基づき前記視差を演算する、請求項５に記載の撮像装置。
【請求項８】
前記視差演算部は、前記複数のレンズ部のうち前記撮像素子の対角方向に並べられた２つのレンズ部の撮像信号を比較し前記視差を演算し、
前記２つのレンズ部は、互いの光軸間の水平方向の距離と垂直方向の距離とが異なるものであって、
前記視差演算部は、前記垂直方向の距離に対する前記水平方向の距離の比に応じて、前記撮像信号の垂直方向の画素数と水平方向の画素数とがほぼ等しくなるように、前記撮像信号を垂直方向または水平方向に伸張し、前記２つのレンズ部のうち一方のレンズ部が形成する像を示す撮像信号を伸張した信号と、前記２つのレンズ部のうち他方のレンズ部が形成する像を示す撮像信号を伸張した信号とを、前記ブロックのずらし量を４５°方向に変化させて複数回比較することにより複数の視差評価値を作成し、前記視差評価値に基づき前記視差を演算する、請求項１に記載の撮像装置。
【請求項９】
前記視差演算部は、前記複数のレンズ部のうち前記撮像素子の対角方向に並べられた２つのレンズ部の撮像信号を比較し前記視差を演算する、請求項１〜７のいずれか一項に記載の撮像装置。
【請求項１０】
前記視差演算部は、前記複数のレンズ部のうち前記撮像素子の横方向に並べられた２つのレンズ部の撮像信号を比較し前記視差を演算する、請求項１〜７のいずれか一項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、小型かつ薄型な撮像装置に関する。
【背景技術】
【０００２】
従来のカメラモジュールとして、特許文献１のカメラモジュールがある。図３５は、特許文献１のカメラモジュールの構成を示す断面図である。
【０００３】
図３５において、撮像系９０１０は、物体からの光を絞り９１１０及び撮像レンズ９１００を介して撮像素子９１２０の撮像面に結像する光学処理系である。絞り９１１０は、３つの円形開口９１１０ａ、９１１０ｂ、９１１０ｃを有する。開口９１１０ａ、９１１０ｂ、９１１０ｃの各々から撮像レンズ９１００の光入射面９１００ｅに入射した物体光は、撮像レンズ９１００の３つのレンズ部９１００ａ、９１００ｂ、９１００ｃから射出して撮像素子９１２０の撮像面上に３つの物体像を形成する。撮像レンズ９１００の平面部９１００ｄには遮光性膜（図示せず）が形成されている。撮像レンズ９１００の光入射面９１００ｅ上には互いに異なる波長帯域の光を透過させる３つの光学フィルタ９０５２ａ、９０５２ｂ、９０５２ｃが形成されている。また、撮像素子９１２０上の３つの撮像領域９１２０ａ、９１２０ｂ、９１２０ｃ上にも、互いに異なる波長帯域の光を透過させる３つの光学フィルタ９０５３ａ、９０５３ｂ、９０５３ｃが形成されている。光学フィルタ９０５２ａと光学フィルタ９０５３ａは、主に緑色（Ｇで示す）を透過する分光透過率特性を有し、光学フィルタ９０５２ｂと光学フィルタ９０５３ｂは、主に赤色（Ｒで示す）を透過する分光透過率特性を有し、さらに、光学フィルタ９０５２ｃと光学フィルタ９０５３ｃは、主に青色（Ｂで示す）を透過する分光透過率特性を有する。そのため、撮像領域９１２０ａは緑色光（Ｇ）に対して、撮像領域９１２０ｂは赤色光（Ｒ）に対して、撮像領域９１２０ｃは青色光（Ｂ）に対して、それぞれ感度を持つ。
【０００４】
このような複数の撮像レンズを備えたカメラモジュールでは、カメラモジュールから物体までの距離が変化すると、撮像素子９１２０の撮像面上に複数の撮像レンズがそれぞれ形成する複数の物体像の相互間隔が変化する。
【０００５】
特許文献１のカメラモジュールでは、仮想被写体距離Ｄ［ｍ］を複数の結像系の撮影画角θ［°］の関数として、Ｄ＝１．４／（ｔａｎ（θ／２））と定義したとき、物体が仮想被写体距離Ｄ［ｍ］にあるときの複数の物体像の相互間隔と無限遠にあるときの複数の物体像の相互間隔との変化が、基準画像信号の画素ピッチの２倍よりも小さくなるように、複数の結像系の光軸間隔が設定されている。すなわち、仮想被写体距離Ｄ［ｍ］にある物体の撮影に最適化された画像処理と同一の画像処理を、無限遠にある物体の撮影に対して行っても、撮像面上での両物体像の相互間隔の差が基準信号の画素ピッチの２倍より小さくなるように光軸間隔が設定されているので、無限遠にある物体像の色ズレを許容可能なレベルに抑えることができる。
【０００６】
近年、カメラが搭載された携帯電話などの携帯機器が普及している。これら携帯機器の小型化、薄型化および高性能化に伴い、小型化、薄型化および高性能化されたカメラモジュールが要求されている。高性能化として、自動焦点制御機能を備え、風景撮影（ほぼ無限遠の物体の撮影）や人物撮影（通常数ｍの距離の物体の撮影）のみならず、マクロ撮影（数ｃｍから数十ｃｍの距離の物体の撮影）も可能であることが要求される。
【０００７】
しかしながら、特許文献１のカメラモジュールでは、複数のレンズ部９１００ａ、９１００ｂ、９１００ｃを有することにより、薄型化を実現している。しかし、従来のカメラモジュールは、自動焦点制御機能を持たない。また、仮想被写体距離Ｄ［ｍ］は、人物撮影を念頭に設定されている。そのため、従来のカメラモジュールでは、風景撮影や人物撮影には対応できるが、マクロ撮影には対応できない。
【０００８】
特許文献１の課題を解決する従来のカメラジュールとして、特許文献２に記載されたカメラモジュールがある。図３６は、特許文献２のカメラモジュールの一例を示す図であり、撮影される画像と分割された小領域を示している。撮影画面に対し、その中央部ｋ０とその周辺に検出領域ｋ１、ｋ２、ｋ３、ｋ４を設ける。そして、それぞれの検出領域の視差ｐ０、ｐ１、ｐ２、ｐ３、ｐ４を求める。そして、これらの視差のうち所定範囲のものを抽出し、抽出されるものが複数ある場合は、中央に近い領域での視差を選択する。さらに、選択された視差を用いて撮影画像全体の補正を行う。
【特許文献１】特開２００１−７８２１３号公報
【特許文献２】特開２００２−３３０３３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
前述のように、特許文献１に記載された従来のカメラモジュールでは、複数のレンズ部９１００ａ、９１００ｂ、９１００ｃを有することにより、薄型化を実現している。しかし、従来のカメラモジュールは、自動焦点制御機能を持たない。また、仮想被写体距離Ｄ［ｍ］は、人物撮影を念頭に設定されている。そのため、従来のカメラモジュールでは、風景撮影や人物撮影には対応できるが、マクロ撮影には対応できない。
【００１０】
また、特許文献２に記載された従来のカメラモジュールでは、撮影される画像の一部を複数の小領域とし、これらの領域の視差を求め、これらの視差から１つを選択し、この選択された視差に基づき撮影画像全体の補正をかける。例えば、撮影画面の中央にカメラから２ｍ程度離れた人物Ｍと、端に１０ｍ程度離れた人物Ｎが共存している場合、撮影画面中央に位置する人物Ｍが被写体であると考えて、この領域ｋ０における視差ｐ０を元に撮影画像全体の補正をかける。このとき、人物Ｍの視差は選択された視差と同一であり、視差の影響を補正でき、人物Ｍの領域ではきれいな画像を得る。しかし、人物Ｎの視差は選択された視差と異なり、視差の影響を補正できないため、人物Ｎの領域では色むらが発生しきれいな画像とならない。
【００１１】
本発明は、上記問題に鑑みなされたもので、小型化、薄型化が可能で、被写体距離によらず全画像領域できれいな画像を得るカメラモジュールを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の撮像装置は、それぞれが少なくとも１枚のレンズを含む複数のレンズ部と、前記複数のレンズ部に一対一に対応し、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備える複数の撮像領域と、前記複数の撮像領域からそれぞれ出力される複数の撮像信号が入力される撮像信号入力部と、前記複数の撮像信号のうちの少なくとも１つの撮像信号を複数のブロックに分割するブロック分割部と、前記撮像信号を用いて、前記ブロックごとに、前記複数のレンズ部がそれぞれ形成する像間の視差を画素の分解能よりも細かな分解能で演算する視差演算部と、前記視差に基づいて前記複数の撮像信号を補正し画像を合成する視差補正部と、を有する。
【発明の効果】
【００１３】
本発明は、上記問題に鑑みなされたもので、小型化、薄型化が可能で、被写体距離によらず全画像領域できれいな画像を得る撮像装置を提供することができる。
【発明を実施するための最良の形態】
【００１４】
本発明の撮像装置は、それぞれが少なくとも１枚のレンズを含む複数のレンズ部と、前記複数のレンズ部に一対一に対応し、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備える複数の撮像領域と、前記複数の撮像領域からそれぞれ出力される複数の撮像信号が入力される撮像信号入力部と、前記複数の撮像信号のうちの少なくとも１つの撮像信号を複数のブロックに分割するブロック分割部と、前記撮像信号を用いて、前記ブロックごとに、前記複数のレンズ部がそれぞれ形成する像間の視差を、画素の分解能よりも細かな分解能で演算する視差演算部と、前記視差に基づいて前記複数の撮像信号を補正し画像を合成する視差補正部と、を有する。
【００１５】
物体像の位置は、被写体距離に応じて相対的に変化する。すなわち、被写体距離が小さくなると、視差が大きくなる。そのため、距離が異なる複数の被写体を同時に撮像すると、被写体毎に視差が異なる。本発明の撮像装置によれば、ブロック毎の視差を演算し、このブロック毎の視差に基づき視差の影響が低減するように撮像信号を補正した後、画像合成する。これにより、距離が異なる複数の被写体を同時に撮像するときにおいても、適宜それぞれの被写体の視差を補正して、全画像領域で視差の影響が低減されたきれいな画像を得ることができる。
【００１６】
さらに、本発明の撮像装置によれば、ブロックごとに、視差を画素の分解能よりも細かな分解能で演算し、このブロック毎の細かな分解能の視差に基づき視差の影響が低減するように撮像信号を補正した後、画像合成する。これにより、距離が異なる複数の被写体を同時に撮像するときにおいても、適宜それぞれの被写体の視差を補正して、全画像領域でさらに視差の影響が低減されたきれいな画像を得ることができる。
【００１７】
上記の本発明の撮像装置において、前記視差演算部は、前記複数のレンズ部のうち一のレンズ部が形成する像を示す撮像信号と、前記一のレンズ部とは異なるレンズ部が形成する像を示す撮像信号とを、前記ブロックのずらし量を変化させて複数回比較することにより複数の視差評価値を作成し、前記視差評価値の極値を与える前記ずらし量である極値ずらし量を得て、前記極値ずらし量の前記視差評価値と前記極値ずらし量の前後のずらし量の前記視差評価値とに基づき、前記視差を画素の分解能よりも細かな分解能で演算することが好ましい。
【００１８】
この好ましい構成によれば、ブロックごとに、ずらし量に対する極値を与える視差評価値とそのずらし量の前後の記視差評価値とに基づき視差を画素の分解能よりも細かな分解能で演算し、このブロック毎の細かな分解能の視差に基づき視差の影響が低減するように撮像信号を補正した後、画像合成する。これにより、距離が異なる複数の被写体を同時に撮像するときにおいても、適宜それぞれの被写体の視差を補正して、全画像領域で視差の影響が低減されたきれいな画像を得ることができる。
【００１９】
上記の本発明の撮像装置において、前記視差演算部は、前記複数のレンズ部のうち一のレンズ部が形成する像を示す撮像信号と、前記一のレンズ部とは異なるレンズ部が形成する像を示す撮像信号とを、前記ブロックのずらし量を画素の分解能よりも細かな分解能で変化させて複数回比較することにより複数の視差評価値を作成し、前記視差評価値の極値を与える前記ずらし量である極値ずらし量を得て、前記極値ずらし量の前記視差評価値と前記極値ずらし量に基づき、前記視差を画素の分解能よりも細かな分解能で演算することが好ましい。
【００２０】
この好ましい構成によれば、ブロックごとに１つのレンズ部が形成する像を示す撮像信号と異なる１つのレンズ部が形成する像を示す撮像信号とを画素の分解能よりも細かな分解能で複数回だけずらし量を変化させ比較することにより、視差を画素の分解能よりも細かな分解能で演算し、このブロック毎の細かな分解能の視差に基づき視差の影響が低減するように撮像信号を補正した後、画像合成する。これにより、距離が異なる複数の被写体を同時に撮像するときにおいても、適宜それぞれの被写体の視差を補正して、全画像領域で視差の影響が低減されたきれいな画像を得ることができる。
【００２１】
上記の本発明の撮像装置において、前記視差演算部は、前記複数のレンズ部のうち一のレンズ部が形成する像を示す撮像信号と、前記一のレンズ部とは異なるレンズ部が形成する像を示す撮像信号とを、前記ブロックのずらし量を変化させて複数回比較することにより複数の視差評価値を作成し、前記視差評価値の極値を与える前記ずらし量である極値ずらし量を得て、前記極値ずらし量の前後で前記ブロックを前記ずらし量よりも小さくずらして前記撮像信号を比較することにより微少ずらし時視差評価値を作成し、前記視差評価値と前記微少ずらし時評価値とに基づき前記視差を演算することが好ましい。
【００２２】
この好ましい構成によれば、ある特定の幅だけずらし量を変化させ概略の視差を求め、その後、概略視差の前後で、より微少な幅だけずらし量を変化させ詳細な視差を求める。これにより、一定の幅でずらし量を変化させるときと比較し、演算量を減少できるため、より低コストな演算回路で、距離が異なる複数の被写体を同時に撮像するときにおいても、適宜それぞれの被写体の視差を補正して、全画像領域で視差の影響が低減されたきれいな画像を得ることができる。
【００２３】
上記の本発明の撮像装置において、前記視差演算部は、前記複数のレンズ部のうち一のレンズ部が形成する像を示す撮像信号を間引いた信号と、前記一のレンズ部とは異なるレンズ部が形成する像を示す撮像信号を間引いた信号とを、前記ブロックのずらし量を変化させて複数回比較することにより複数の視差評価値を作成し、前記視差評価値に基づき前記視差を演算することが好ましい。
【００２４】
この好ましい構成によれば、撮像信号を間引いた信号を用いて視差を求める。これにより、全ての撮像信号を用いて視差を求めるときと比較し、演算量を減少できるため、より低コストな演算回路で、距離が異なる複数の被写体を同時に撮像するときにおいても、適宜それぞれの被写体の視差を補正して、全画像領域で視差の影響が低減されたきれいな画像を得ることができる。
【００２５】
上記の本発明の撮像装置において、前記視差演算部は、前記複数のレンズ部のうち一のレンズ部が形成する像を示す撮像信号を千鳥状に間引いた信号と、前記一のレンズ部とは異なるレンズ部が形成する像を示す撮像信号を千鳥状に間引いた信号とを、前記ブロックのずらし量を変化させて複数回比較することにより複数の視差評価値を作成し、前記視差評価値に基づき前記視差を演算することが好ましい。
【００２６】
この好ましい構成によれば、撮像信号を千鳥状に間引いた信号を用いて視差を求める。これにより、全ての撮像信号を用いて視差を求めるときと比較し、演算量を減少できるため、より低コストな演算回路で、距離が異なる複数の被写体を同時に撮像するときにおいても、適宜それぞれの被写体の視差を補正して、全画像領域で視差の影響が低減されたきれいな画像を得ることができる。
【００２７】
上記の本発明の撮像装置において、前記視差演算部は、前記複数のレンズ部のうち一のレンズ部が形成する像を示す撮像信号を一行おきに間引いた信号と、前記一のレンズ部とは異なるレンズ部が形成する像を示す撮像信号を一行おきに間引いた信号とを、前記ブロックのずらし量を変化させて複数回比較することにより複数の視差評価値を作成し、前記視差評価値に基づき前記視差を演算することが好ましい。
【００２８】
この好ましい構成によれば、撮像信号を一行おきに間引いた信号を用いて視差を求める。これにより、全ての撮像信号を用いて視差を求めるときと比較し、演算量を減少できるため、より低コストな演算回路で、距離が異なる複数の被写体を同時に撮像するときにおいても、適宜それぞれの被写体の視差を補正して、全画像領域で視差の影響が低減されたきれいな画像を得ることができる。
【００２９】
上記の本発明の撮像装置において、前記視差演算部は、前記複数のレンズ部のうち前記撮像素子の対角方向に並べられた２つのレンズ部の撮像信号を比較し前記視差を演算し、前記２つのレンズ部は、互いの光軸間の水平方向の距離と垂直方向の距離とが異なるものであって、前記視差演算部は、前記垂直方向の距離に対する前記水平方向の距離の比に応じて、前記撮像信号の垂直方向の画素数と水平方向の画素数とがほぼ等しくなるように、前記撮像信号を垂直方向または水平方向に伸張し、前記２つのレンズ部のうち一方のレンズ部が形成する像を示す撮像信号を伸張した信号と、前記２つのレンズ部のうち他方のレンズ部が形成する像を示す撮像信号を伸張した信号とを、前記ブロックのずらし量を４５°方向に変化させて複数回比較することにより複数の視差評価値を作成し、前記視差評価値に基づき前記視差を演算することが好ましい。
【００３０】
この好ましい構成によれば、垂直方向の距離に対する水平方向の距離の比だけ垂直方向に伸張した撮像信号を初期に作成することにより、ずらし時に補間処理が不要となる。これにより、伸張しない撮像信号を利用するときと比較し、演算量を減少できるため、より低コストな演算回路で、距離が異なる複数の被写体を同時に撮像するときにおいても、適宜それぞれの被写体の視差を補正して、全画像領域で視差の影響が低減されたきれいな画像を得ることができる。
【００３１】
上記の本発明の撮像装置において、前記視差演算部は、前記複数のレンズ部のうち前記撮像素子の対角方向に並べられた２つのレンズ部の撮像信号を比較し前記視差を演算しても良い。あるいは、上記の本発明の撮像装置において、前記視差演算部は、前記複数のレンズ部のうち前記撮像素子の横方向に並べられた２つのレンズ部の撮像信号を比較し前記視差を演算しても良い。
【００３２】
以下、本発明の具体的な実施の形態について、図面を用いて説明する。
【００３３】
（実施の形態１）
本発明の実施の形態１に係る撮像装置は、ブロックに分割し、ブロック毎に視差を画素の分解能よりも細かな分解能で演算し、この視差に基づき視差補正することにより、全画像領域できれいな画像を得る。また、概略の視差を求めた後詳細な視差を求めること、間引いた撮像信号を用いて視差を求めること、水平方向と垂直方向との比を変更すること、および結合前のブロックの視差評価値を用いて結合後の視差評価値を演算すること、により、演算時間を減少できる。
【００３４】
本発明の実施の形態１に係る撮像装置について、図面を参照しながら説明する。
【００３５】
図１は、本発明の実施の形態１に係る撮像装置の構成を示す断面図である。図１において、撮像装置撮像装置は、レンズモジュール部１１０、および回路部１２０を有する。
【００３６】
レンズモジュール部１１０は、鏡筒１１１、上部カバーガラス１１２、レンズ１１３、アクチュエータ固定部１１４、およびアクチュエータ可動部１１５を有する。回路部１２０は、基板１２１、パッケージ１２２、撮像素子１２３、パッケージカバーガラス１２４、およびシステムＬＳＩ（以下、ＳＬＳＩと記す）１２５を有する。
【００３７】
鏡筒１１１は、円筒状であり、その内壁面は光の乱反射を防止するためにつやが消された黒色であり、樹脂を射出成形し形成される。上部カバーガラス１１２は、円盤状であり、透明樹脂から形成され、鏡筒１１１の上面に接着剤などにより固着され、その表面は摩擦などによる損傷を防止する保護膜と、入射光の反射を防止する反射防止膜とが設けられている。
【００３８】
図２は、本発明の実施の形態１に係る撮像装置のレンズ１１３の上面図である。レンズ１１３は、略円盤状であり、ガラスや透明樹脂から形成され、第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、および第４のレンズ部１１３ｄが碁盤目状に配置される。第１〜第４のレンズ部１１３ａ〜１１３ｄの配置方向に沿って、図２に示すようにＸ軸及びＹ軸を設定する。第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、および第４のレンズ部１１３ｄにおいて、被写体側から入射した光は、撮像素子１２３側へ射出し、撮像素子１２３上に４つの像を結像する。なお、図２のように、第１のレンズ部１１３ａの光軸と第２のレンズ部１１３ｂの光軸は、水平方向（ｘ軸方向）はＤｘだけ離れており、垂直方向（ｙ軸方向）は一致する。第２のレンズ部１１３ｂの光軸と第３のレンズ部１１３ｃの光軸は、水平方向（ｘ軸方向）はＤｘだけ離れており、垂直方向（ｙ軸方向）はＤｙだけ離れている。第３のレンズ部１１３ｃの光軸と第４のレンズ部１１３ｄの光軸は、水平方向（ｘ軸方向）はＤｘだけ離れており、垂直方向（ｙ軸方向）は一致する。第４のレンズ部１１３ｄの光軸と第１のレンズ部１１３ａの光軸は、水平方向（ｘ軸方向）はＤｘだけ離れており、垂直方向（ｙ軸方向）はＤｙだけ離れている。また、第１のレンズ部１１３ａは緑色を、第２のレンズ部１１３ｂは青色を、第３のレンズ部１１３ｃは赤色を、第４のレンズ部１１３ｄは緑色を透過するための最適設計がなされたものである。
【００３９】
アクチュエータ固定部１１４は、鏡筒１１１の内壁面に接着剤などにより固着される。アクチュエータ可動部１１５は、レンズ１１３の外周縁に接着剤などにより固着される。アクチュエータ固定部１１４およびアクチュエータ可動部１１５は、ボイスコイルモータを構成する。アクチュエータ固定部１１４は永久磁石（図示せず）と強磁性体ヨーク（図示せず）とを有し、アクチュエータ可動部１１５はコイル（図示せず）を有する。アクチュエータ可動部１１５は、アクチュエータ固定部１１４に対し、弾性体（図示せず）により弾性支持される。アクチュエータ可動部１１５のコイルに通電することにより、アクチュエータ可動部１１５がアクチュエータ固定部１１４に対して相対的に移動し、レンズ１１３と撮像素子１２３との光軸に沿った相対距離が変化する。
【００４０】
基板１２１は、樹脂基板から構成され、上面に鏡筒１１１がその底面を接して接着剤などにより固着される。このようにして、レンズモジュール部１１０と回路部１２０とが固定され、撮像装置１０１を構成する。
【００４１】
パッケージ１２２は、金属端子を有する樹脂からなり、鏡筒１１１の内側において、基板１２１の上面にその金属端子部が半田づけ等されて固着される。撮像素子１２３は、第１の撮像素子１２３ａ、第２の撮像素子１２３ｂ、第３の撮像素子１２３ｃ、および第４の撮像素子１２３ｄから構成される。第１の撮像素子１２３ａ、第２の撮像素子１２３ｂ、第３の撮像素子１２３ｃ、および第４の撮像素子１２３ｄは、それぞれＣＣＤセンサやＣＭＯＳセンサのような固体撮像素子であり、これらの受光面の中心が、それぞれ第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、および第４のレンズ部１１３ｄの光軸中心と略一致するように、また各撮像素子の受光面が対応するレンズ部の光軸と略垂直になるようにして配置される。
【００４２】
第１の撮像素子１２３ａ、第２の撮像素子１２３ｂ、第３の撮像素子１２３ｃ、および第４の撮像素子１２３ｄの各端子は、パッケージ１２２の内側の底部の金属端子にワイヤーボンディングにより金線１２７で接続され、基板１２１を介して、ＳＬＳＩ１２５と電気的に接続される。第１の撮像素子１２３ａ、第２の撮像素子１２３ｂ、第３の撮像素子１２３ｃ、および第４の撮像素子１２３ｄの各受光面に、第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、および第４のレンズ部１１３ｄから射出された光がそれぞれ結像し、フォトダイオードにより光の情報から変換された電気の情報が、ＳＬＳＩ１２５に出力される。
【００４３】
図３は、本発明の実施の形態１に係る撮像装置の回路部１２０の上面図である。パッケージカバーガラス１２４は、平板状であり、透明樹脂により形成され、パッケージ１２２の上面に接着などにより固着される。パッケージカバーガラス１２４の上面には、第１のカラーフィルタ１２４ａ、第２のカラーフィルタ１２４ｂ、第３のカラーフィルタ１２４ｃ、第４のカラーフィルタ１２４ｄ、および遮光部１２４ｅが蒸着などにより配置される。また、パッケージカバーガラス１２４の下面には、赤外遮断フィルタ（図示せず。以下、ＩＲフィルタと記す）が蒸着などにより配置される。
【００４４】
図４は、本発明の実施の形態１に係る撮像装置のカラーフィルタの特性図であり、図５は、本発明の実施の形態１に係る撮像装置のＩＲフィルタの特性図である。第１のカラーフィルタ１２４ａは、図４のＧで示した主に緑色を透過する分光透過特性を有し、第２のカラーフィルタ１２４ｂは、図４のＢで示した主に青色を透過する分光透過特性を有し、第３のカラーフィルタ１２４ｃは、図４のＲで示した主に赤色を透過する分光透過特性を有し、第４のカラーフィルタは、図４のＧで示した主に緑色を透過する分光透過特性を有する。また、ＩＲフィルタは、図５のＩＲで示した赤外光を遮断する分光透過特性を有する。
【００４５】
したがって、第１のレンズ部１１３ａの上部から入射した物体光は、第１のレンズ部１１３ａの下部から射出され、第１のカラーフィルタ１２４ａおよびＩＲフィルタにより主に緑色が透過し、第１の撮像素子１２３ａの受光部に結像するため、第１の撮像素子１２３ａは物体光のうち緑色成分を受光する。また、第２のレンズ部１１３ｂの上部から入射した物体光は、第２のレンズ部１１３ｂの下部から射出され、第２のカラーフィルタ１２４ｂおよびＩＲフィルタにより主に青色が透過し、第２の撮像素子１２３ｂの受光部に結像するため、第２の撮像素子１２３ｂは物体光のうち青色成分を受光する。また、第３のレンズ部１１３ｃの上部から入射した物体光は、第３のレンズ部１１３ｃの下部から射出され、第３のカラーフィルタ１２４ｃおよびＩＲフィルタにより主に赤色が透過し、第３の撮像素子１２３ｃの受光部に結像するため、第３の撮像素子１２３ｃは物体光のうち赤色成分を受光する。更に、第４のレンズ部１１３ｄの上部から入射した物体光は、第４のレンズ部１１３ｄの下部から射出され、第４のカラーフィルタ１２４ｄおよびＩＲフィルタにより主に緑色が透過し、第４の撮像素子１２３ｄの受光部に結像するため、第４の撮像素子１２３ｄは物体光のうち緑色成分を受光する。
【００４６】
ＳＬＳＩ１２５は、後述の方法で、アクチュエータ可動部１１５のコイルの通電を制御し、撮像素子１２３を駆動し、撮像素子１２３からの電気情報を入力し、各種画像処理を行い、上位ＣＰＵと通信を行い、外部に画像出力する。
【００４７】
次に、被写体距離と視差との関係を説明する。本発明の実施の形態１に係る撮像装置は、４つのレンズ部（第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、および第４のレンズ部１１３ｄ）を有するため、４つのレンズ部がそれぞれ形成する４つの物体像の相対的位置が、被写体距離に応じて変化する。
【００４８】
図６は、本発明の実施の形態１に係る撮像装置において、無限遠にある物体像の位置を説明するための図である。図６においては、簡単のため、第１のレンズ部１１３ａ、第１の撮像素子１２３ａ、第２のレンズ部１１３ｂ、第２の撮像素子１２３ｂのみを記す。無限遠の物体１０からの光の第１のレンズ部１１３ａへの入射光Ｌ１と、第２のレンズ部１１３ｂへの入射光Ｌ２とは平行である。このため、第１のレンズ部１１３ａと第２のレンズ部１１３ｂとの距離と、第１の撮像素子１２３ａ上の物体像１１ａと第２の撮像素子１２３ｂ上の物体像１１ｂとの距離は等しい。
【００４９】
ここで、第１のレンズ部１１３ａの光軸、第２のレンズ部１１３ｂの光軸、第３のレンズ部１１３ｃの光軸、および第４のレンズ部１１３ｄの光軸が、それぞれ第１の撮像素子１２３ａの受光面の中心、第２の撮像素子１２３ｂの受光面の中心、第３の撮像素子１２３ｃの受光面の中心、および第４の撮像素子１２３ｄの受光面の中心と略一致するように配置されている。従って、第１の撮像素子１２３ａ、第２の撮像素子１２３ｂ、第３の撮像素子１２３ｃ、および第４の撮像素子１２３ｄの各受光面の中心と、各受光面にそれぞれ結像される無限遠の物体像との相対的位置関係は、全ての撮像素子について同一である。すなわち、視差はない。
【００５０】
図７は、本発明の実施の形態１に係る撮像装置において、有限距離の位置にある物体像の位置を説明するための図である。図７において、簡単のため、第１のレンズ部１１３ａ、第１の撮像素子１２３ａ、第２のレンズ部１１３ｂ、第２の撮像素子１２３ｂのみを記す。有限距離の物体１２からの光の第１のレンズ部１１３ａへの入射光Ｌ１と第２のレンズ部１１３ｂへの入射光Ｌ２とは平行ではない。従って、第１のレンズ部１１３ａと第２のレンズ部１１３ｂとの距離に比べて、第１の撮像素子１２３ａ上の物体像１３ａと第２の撮像素子１２３ｂ上の物体像１３ｂとの距離は長い。そのため、第１の撮像素子１２３ａ、第２の撮像素子１２３ｂ、第３の撮像素子１２３ｃ、および第４の撮像素子１２３ｄの各受光面の中心と、各受光面にそれぞれ結像される有限距離の物体像との相対的位置関係は、撮像素子ごとに異なる。すなわち、視差がある。
【００５１】
物体像１２までの距離（被写体距離）をＡ、第１のレンズ部１１３ａと第２のレンズ部１１３ｂとの距離をＤ、レンズ部１１３ａ，１１３ｂの焦点距離をｆとすると、図７の直角を挟む２辺の長さがＡ、Ｄの直角三角形と、直角を挟む２辺の長さがｆ、Δの直角三角形とが相似であることより、視差Δは、下記式（１）のように表される。その他のレンズ部間についても同様の関係が成立する。このように、被写体距離に応じて４つのレンズ部１１３ａ，１１３ｂ，１１３ｃ，１１３ｄがそれぞれ形成する４つの物体像の相対的位置が変化する。例えば、被写体距離Ａが小さくなると、視差Δが大きくなる。
【００５２】
Δ  ＝  ｆ・Ｄ／Ａ      ・・・（１）
【００５３】
次に、コントラストと焦点距離との関係を説明する。
【００５４】
図８（ａ）は、本発明の実施の形態１に係る撮像装置において、合焦時（焦点調整が合っているとき）の画像とコントラスト評価値との関係を説明する図であり、図８（ｂ）は、本発明の実施の形態１に係る撮像装置において、非合焦時（焦点調整が合っていないとき）の画像とコントラスト評価値との関係を説明する図である。
【００５５】
図８（ａ）及び図８（ｂ）の各左図は、左半分が白色、右半分が黒色の矩形を撮影したときの画像である。図８（ａ）の左図のように、合焦時は、撮影画像の輪郭がはっきりし、コントラストが大きい。一方、図８（ｂ）の左図のように、非合焦時は、撮影画像の輪郭がぼやけ、コントラストが小さい。
【００５６】
図８（ａ）及び図８（ｂ）の各右図は、左図の情報信号にバンドパスフィルタ（ＢＰＦ）を作用させたときの結果を示している。横軸はＸ軸方向位置であり、縦軸はＢＰＦ後の出力値である。図８（ａ）の右図のように、合焦時は、ＢＰＦ後の信号振幅が大きく、図８（ｂ）の右図のように、非合焦時はＢＰＦ後の信号振幅が小さい。ここで、このＢＰＦ後の信号振幅をどれだけコントラストが大きいかを示すコントラスト評価値と定義する。すると、図８（ａ）の右図のように、合焦時はコントラスト評価値が大きく、図８（ｂ）の右図のように、非合焦時はコントラスト評価値が小さい。
【００５７】
図９は、本発明の実施の形態１に係る撮像装置のレンズ位置とコントラスト評価値との関係を説明する図である。ある物体を撮影するとき、レンズ１１３と撮像素子１２３との距離が小さいとき（ｚ１のとき）、非合焦であるためコントラスト評価値が小さい。レンズ１１３と撮像素子１２３との距離を徐々に大きくすると、コントラスト評価値が徐々に大きくなり、合焦時（ｚ２のとき）はコントラスト評価値が極大となる。さらに、レンズ１１３と撮像素子１２３との距離を徐々に大きくすると（ｚ３のとき）、非合焦となり、コントラスト評価値が小さくなる。このように、合焦時において、コントラスト評価値は極大となる。
【００５８】
次に、本発明の実施の形態１に係る撮像装置の動作を説明する。図１０は、本発明の実施の形態１に係る撮像装置のブロック図である。ＳＬＳＩ１２５は、システム制御部１３１、撮像素子駆動部１３２、撮像信号入力部１３３、アクチュエータ操作量出力部１３４、画像処理部１３５、および入出力部１３６を有する。また、回路部１２０は、前述の構成に加えて、アンプ１２６を有する。
【００５９】
アンプ１２６は、アクチュエータ操作量出力部１３４からの出力に応じた電圧をアクチュエータ可動部１１５のコイルに印加する。
【００６０】
システム制御部１３１は、ＣＰＵ（中央演算処理装置：Central Processing Unit）、メモリなどから構成され、ＳＬＳＩ１２５の全体を制御する。撮像素子駆動部１３２は、ロジック回路などから構成され、撮像素子１２３を駆動する信号を発生し、この信号に応じた電圧を撮像素子１２３に印加する。
【００６１】
撮像信号入力部１３３は、第１の撮像信号入力部１３３ａ、第２の撮像信号入力部１３３ｂ、第３の撮像信号入力部１３３ｃ、および第４の撮像信号入力部１３３ｄから構成される。第１の撮像信号入力部１３３ａ、第２の撮像信号入力部１３３ｂ、第３の撮像信号入力部１３３ｃ、および第４の撮像信号入力部１３３ｄは、それぞれＣＤＳ回路（相関二重サンプリング回路：Correlated Double Sampling Circuit）、ＡＧＣ（自動利得制御器：Automatic Gain Controller）、ＡＤＣ（アナログ／ディジタル変換器：Analog Digital Converter）が直列に接続されて構成され、それぞれ第１の撮像素子１２３ａ、第２の撮像素子１２３ｂ、第３の撮像素子１２３ｃ、および第４の撮像素子１２３ｄに接続され、これらからの電気信号が入力され、ＣＤＳ回路により固定ノイズを除去し、ＡＧＣによりゲインを調整し、ＡＤＣによりアナログ信号からディジタル値に変換し、システム制御部１３１のメモリに書き込む。
【００６２】
アクチュエータ操作量出力部１３４は、ＤＡＣ（デジタルディジタル／アナログ変換器：Digital Analog Converter）から構成され、アクチュエータ可動部１１５のコイルに印加すべき電圧に応じた電圧信号を出力する。
【００６３】
画像処理部１３５は、ロジック回路、またはＤＳＰ、あるいはこれらの両者を含んで構成され、システム制御部１３１のメモリ情報を利用し、所定のプログラム制御に従って各種画像処理を行う。画像処理部１３５は、自動焦点制御部１４１、画像伸張部１４２、ブロック分割部１４３、視差演算部１４４、視差補正部１４５、および距離演算部１４６を有する。
【００６４】
入出力部１３６は、上位ＣＰＵ（図示せず）との通信や、上位ＣＰＵ、外部メモリ（図示せず）、および液晶ディスプレイなどの外部表示装置（図示せず）へ画像信号を出力する。
【００６５】
図１１は、本発明の実施の形態１に係る撮像装置の動作を示すフローチャートである。ＳＬＳＩ１２５のシステム制御部１３１により、撮像装置１０１は、このフローチャートのとおりに動作される。
【００６６】
ステップＳ１０００において、動作を開始する。例えば、上位ＣＰＵ（図示せず）が、シャッターボタンなどが押されたことを検知し、入出力部１３６を介し、撮像装置に動作の開始を命令することにより、撮像装置１０１は、動作を開始する。次に、ステップＳ１１００を実行する。
【００６７】
ステップＳ１１００において、自動焦点制御部１４１は、自動焦点制御を実行する。図１２は、本発明の実施の形態１に係る自動焦点制御の動作を示すフローチャートである。図１２のフローチャートは、ステップＳ１１００の動作の詳細を示す。
【００６８】
ステップＳ１１００の自動焦点制御では、まず、ステップＳ１１２１を実行する。
【００６９】
ステップＳ１１２１において、カウンタｉを０に初期化する。次に、ステップＳ１１２２を実行する。
【００７０】
ステップＳ１１２２において、アクチュエータの位置指令を演算する。下記式（２）のように、カウンタｉを用いてアクチュエータの位置指令Xactを演算する。なお、位置指令Xactは、無限遠像の合焦位置を基準とし、被写体に向かう向きが正である位置の指令を示す。ここで、kxは、設定された値である。次に、ステップＳ１１２３を実行する。
【００７１】
Xact = kx・ｉ      ・・・（２）
【００７２】
ステップＳ１１２３において、下記式（３）で示した操作量関数を用いてアクチュエータ操作量（アクチュエータ可動部１１５のコイルへの印加電圧）Vactを演算する。ここで、ka、およびkbは、それぞれ設定された値である。次に、ステップＳ１１２４を実行する。
【００７３】
Vact = ka・Xact + kb ・・・（３）
【００７４】
ステップＳ１１２４において、アクチュエータを動作させる。アクチュエータ操作量出力部１３４は、アンプ１２６を介したのちアクチュエータ可動部１１５のコイル（図示せず）に印加される電圧がVactになるように、出力する電圧信号を変更する。次に、ステップＳ１１２５を実行する。
【００７５】
ステップＳ１１２５において、撮影を実行する。システム制御部１３１の命令により、撮像素子駆動部１３２が電子シャッターや転送を行うための信号を随時出力する。第１の撮像信号入力部１３３ａ、第２の撮像信号入力部１３３ｂ、第３の撮像信号入力部１３３ｃ、および第４の撮像信号入力部１３３ｄは、撮像素子駆動部１３２が発生する信号に同期して、第１の撮像素子１２３ａ、第２の撮像素子１２３ｂ、第３の撮像素子１２３ｃ、および第４の撮像素子１２３ｄが出力する各画像のアナログ信号である撮像信号を入力し、ＣＤＳにより固定ノイズを除去し、ＡＧＣにより自動的に入力ゲインを調整し、ＡＤＣによりアナログ信号をディジタル値に変換し、第１の撮像信号I1(x,y)、第２の撮像信号I2(x,y)、第３の撮像信号I3(x,y)、および第４の撮像信号I4(x,y)として、システム制御部１３１の所定アドレスのメモリにディジタル値を書き込む。図１３は、本発明の実施の形態１に係る撮像装置の撮像信号の座標を説明する図である。I1(x,y)は、水平方向にｘ番目、垂直方向にｙ番目の第１の撮像信号であることを示す。入力される画像の縦方向の画素数がＨ、横方向の画素数がＬであり、総画素数はＨ×Ｌであり、ｘは０からＬ−１まで変化し、ｙは０からＨ−１まで変化する。第２の撮像信号I2(x,y)、第３の撮像信号I3(x,y)、第４の撮像信号I4(x,y)も同様である。すなわち、I2(x,y)、I3(x,y)、およびI4(x,y)は、それぞれ水平方向にｘ番目、垂直方向にｙ番目の第２の撮像信号、第３の撮像信号、および第４の撮像信号であることを示す。次に、ステップＳ１１２６を実行する。
【００７６】
ステップＳ１１２６において、自動焦点制御用ブロックを設定する。画像領域の中心付近の矩形状の領域を自動焦点制御用ブロックとする。なお、このブロックは必ずしも中央付近である必要はなく、カメラを操作するユーザの意思などを反映し（例えば、センサで視点方向を検出し）、ブロックを設定してもよい。なお、単一のブロックではなく複数のブロックを選択し、複数のブロックにおいて後述の自動焦点制御用コントラスト評価値の平均を用いてもよい。また、複数のブロックにおいて後述の自動焦点制御用コントラスト評価値を演算し、後に少なくとも１つのブロックを自動焦点制御用ブロックとして選択してもよい。次に、ステップＳ１１２７を実行する。
【００７７】
ステップＳ１１２７において、システム制御部１３１のメモリ上のデータを用いて、自動焦点制御用コントラスト評価値を作成する。この演算は、第１の撮像信号Ｉ１の自動焦点制御用ブロックの画素について行う。下記式（４）のように、ｘ方向とｙ方向の２階微分の和であるラプラシアンの絶対値を演算し、下記式（５）のように空間的にＬＰＦ（ローパスフィルタ。Low Pass Filter）を作用させ、これを下記式（６）のように自動焦点制御用ブロック内で平均して自動焦点用コントラスト評価値C3を得る。ここで、Nafは、自動焦点制御用ブロックの画素数である。次に、ステップＳ１１２８を実行する。
【００７８】
C1(x,y) = |I1(x-1,y) + I1(x+1,y) + I1(x,y-1) + I1(x,y+1) - 4I1(x,y)|
・・・（４）
【００７９】
C2(x,y) = C1(x-1,y-1) + C1(x,y-1) + C1(x+1,y-1)
+ C1(x-1,y)   + C1(x,y)   + C1(x+1,y)
+ C1(x-1,y+1) + C1(x,y+1) + C1(x+1,y+1) ・・・（５）
【００８０】
C3 = ΣC2(x,y)/Naf     ・・・（６）
【００８１】
ステップＳ１１２８において、下記式（７）のように、コントラスト評価値C3をC3(i)として、システム制御部１３１のメモリに書き込む。次に、ステップＳ１１２９を実行する。
【００８２】
C3(i) = C3     ・・・（７）
【００８３】
ステップＳ１１２９において、下記式（８）のように、カウンタｉに１を加える。次に、ステップＳ１１３０を実行する。
【００８４】
ｉ ＝  ｉ＋１      ・・・（８）
【００８５】
ステップＳ１１３０において、カウンタｉをしきい値Ｓａｆと比較し、その結果により分岐する。カウンタｉがしきい値Ｓａｆより小さいとき（ステップＳ１１３０の比較結果がＹ）、次に、ステップ１１２２を実行する。一方、カウンタｉがしきい値Ｓａｆ以上のとき（ステップＳ１１３０の比較結果がＮ）、次に、ステップＳ１１４０を実行する。このように、ステップＳ１１２１においてカウンタｉを０に初期化し、ステップＳ１１２９においてカウンタｉに１を加え、ステップＳ１１３０においてカウンタｉで分岐を行うことにより、Ｓ１１２２からＳ１１２８までの処理をＳａｆ回だけ繰り返す。
【００８６】
ステップＳ１１４０において、コントラスト評価値C3の評価を行う。図９のように、合焦位置では、コントラスト評価値C3が最大となる。下記式（９）のように、この最大値を与えるカウンタ値ｉを、コントラスト最大値を与えるカウンタ値ｉａｆとする。次に、ステップＳ１１５１を実行する。
【００８７】
ｉａｆ  ＝  C3の最大値を与えるｉ      ・・・（９）
【００８８】
ステップＳ１１５１において、アクチュエータの位置指令を演算する。下記式（１０）のように、コントラスト最大値を与えるカウンタ値ｉａｆを用いてアクチュエータの位置指令Xactを演算する。なお、位置指令Xactは、無限遠像の合焦位置を基準とし、被写体に向かう向きが正の位置の指令を示す。次に、ステップＳ１１５２を実行する。
【００８９】
Xact = kx・ｉａｆ      ・・・（１０）
【００９０】
ステップＳ１１５２において、操作量関数を用いてアクチュエータ操作量（アクチュエータ可動部１１５のコイルへの印加電圧）Vactを演算する。この動作は、ステップＳ１１２３と同様であり、説明を省略する。次に、ステップＳ１１５３を実行する。
【００９１】
ステップＳ１１５３において、アクチュエータを動作させる。この動作は、ステップＳ１１２４と同様であり、説明を省略する。次に、ステップＳ１１６０を実行する。
【００９２】
ステップＳ１１６０において、自動焦点制御を終了し、メインルーチンへ戻る。従って、次に、図１１のステップＳ１２００を実行する。
【００９３】
ステップＳ１２００において、視差補正を実行する。図１４は、本発明の実施の形態１に係る視差補正の動作を示すフローチャートである。図１４のフローチャートは、ステップＳ１２００の動作の詳細を示す。ステップＳ１２００の視差補正では、まず、ステップＳ１２１０を実行する。
【００９４】
ステップＳ１２１０において、撮影を実行する。システム制御部１３１の命令により、撮像素子駆動部１３２が電子シャッターや転送を行うための信号を随時出力する。第１の撮像信号入力部１３３ａ、第２の撮像信号入力部１３３ｂ、第３の撮像信号入力部１３３ｃ、および第４の撮像信号入力部１３３ｄは、撮像素子駆動部１３２が発生する信号に同期して、第１の撮像素子１２３ａ、第２の撮像素子１２３ｂ、第３の撮像素子１２３ｃ、および第４の撮像素子１２３ｄが出力する各画像のアナログ信号である撮像信号を入力し、ＣＤＳにより固定ノイズを除去し、ＡＧＣにより自動的に入力ゲインを調整し、ＡＤＣによりアナログ信号をディジタル値に変換し、第１の撮像信号I1(x,y)、第２の撮像信号I2(x,y)、第３の撮像信号I3(x,y)、および第４の撮像信号I4(x,y)として、システム制御部１３１の所定アドレスのメモリにディジタル値を書き込む。次に、ステップＳ１２２０を実行する。
【００９５】
ステップＳ１２２０において、画像伸張部１４２は、システム制御部１３１のメモリ上のデータを利用し、画像伸張を行う。そして、その結果をシステム制御部１３１のメモリに書き込む。図１５は、本発明の実施の形態１に係る撮像装置において、画像伸張を説明する図である。後述の視差評価値の演算に用いるのは第１の撮像信号I1、および第４の撮像信号I4のみであるため、この画像伸張の処理は、第１の撮像信号I1、および第４の撮像信号I4についてのみ行い、それぞれ第１の伸張後撮像信号I1s、第４の伸張後撮像信号I4sを作成する。具体的には、下記式（１１）（１２）に示すようにｙ座標を変換する。なお、一般にDx/Dy・yは整数とならないため、適宜補間処理を行う。例えば、下記式（１３）（１４）（１５）（１６）のような、線形補間処理を行う。ここで、補間方法は線形補間に限定されず、高次の補間を用いてもよい。この処理を行うことにより、図１５のように、垂直方向の画素数がDx/Dy倍され、第１の伸張後撮像信号I1s、および第４の伸張後撮像信号I4sの垂直方向の画素数はH・Dx/Dyとなる。次に、ステップＳ１２３０を実行する。
【００９６】
I1s(x,y) = I1(x,Dx/Dy・y)  ・・・（１１）
I4s(x,y) = I4s(x,Dx/Dy・y)  ・・・（１２）
【００９７】
yi = 整数部分(Dx/Dy・y)  ・・・（１３）
yf = 小数部分(Dx/Dy・y)  ・・・（１４）
I1s(x,y) = (1-yf)・I1(x,yi) + yf・I1(x,yi+1)  ・・・（１５）
I4s(x,y) = (1-yf)・I4(x,yi) + yf・I4(x,yi+1)  ・・・（１６）
【００９８】
ステップＳ１２３０において、ブロック分割部１４３は、システム制御部１３１のメモリ上のデータを利用し、ブロック分割を行う。そして、その結果をシステム制御部１３１のメモリに書き込む。図１６は、本発明の実施の形態１に係る撮像装置において、ブロック分割を説明する図である。図１６のように、第１の伸張後撮像信号Ｉ１ｓを、横方向にＭ個のブロックに、縦方向にＮ個のブロックに、総数でＭ×Ｎ個に分割し、それぞれのブロックをB(u,v)で示す。ここで、ｕは０からＭ−１まで、ｖはＮ−１まで変化する。次に、ステップＳ１２４０を実行する。
【００９９】
ステップＳ１２４０において、視差演算部１４４は、システム制御部１３１のメモリ上のデータを利用し、各ブロック毎の視差値を演算する。そして、システム制御部１３１のメモリに書き込む。図１７は、本発明の実施の形態１に係る視差演算の動作を示すフローチャートである。図１７のフローチャートは、ステップＳ１２４０の動作の詳細を示す。ステップＳ１２４０の視差演算では、まず、ステップＳ１２４１を実行する。
【０１００】
ステップＳ１２４１において、概略の視差を演算する。まず、各ブロック（B(0,0)、B(1,0)、…、B(u,v)、…、B(M-1,N-1)）毎に、視差評価値（R(0,0)(k)、R(1,0)(k)、…、R(u,v)(k)、…、R(M-1,N-1)(k)）を演算する。ここで、ｋは画像をどれだけずらすかを示すずらし量であり、k=1、3、5、…、kmax（kmaxは奇数）のように変化させる。このように、ずらし量ｋは奇数のみを取るように変化させる。すなわち、ｋが１つ置きの値を取るように変化させる。図１８は、本発明の実施の形態１に係る撮像装置において、視差評価値の演算領域を説明する図である。図１８（ｂ）のように、B(u,v)で示される（Ｉ１ｓとしても示されている）領域は、第１の伸張後撮像信号Ｉ１ｓからステップＳ１２３０で求められたｘ方向にｕ番目、ｙ方向にｖ番目のブロックである。
【０１０１】
Ｉ４ｓで示される領域は、B(u,v)からｘ方向にずらし量ｋだけ、ｙ方向にずらし量ｋだけ移動、すなわち４５°の方向に移動した領域である。そして、それぞれの領域の全伸張後撮像信号I1s(x,y)、I4s(x-k,y-k)について、下記式（１７）に示される絶対値差分総和(SAD。Sum of Absolute Differences)を演算し、視差評価値R(u,v)(k)とする。ただし、式（１７）において総和演算は画素を千鳥状に間引いて行う。すなわち、図１８（ｂ）において、黒塗りされた画素のみを総和演算に利用する。なお、第１の撮像信号Ｉ１、および第４の撮像信号Ｉ４を伸張した第１の伸張後撮像信号Ｉ１ｓ、および第４の伸張後撮像信号Ｉ４ｓにより視差評価値Ｒ(u,v)(k)を求めるため、視差の方向は４５°であり、移動方向が４５°である。仮に、伸張前の第１の撮像信号Ｉ１、および第４の撮像信号Ｉ４から視差評価値Ｒｉを求める場合は、図１８（ａ）のように、ｘ方向にずらし量ｋ、ｙ方向にｋ・Dy/Dxだけ移動するため、下記式（１８）のように、第４の撮像信号Ｉ４のｙ座標が整数になるとは限らない。従って、一般に補間処理が必要となる。そのため、伸張前の第１の撮像信号Ｉ１、および第４の撮像信号Ｉ４から視差評価値Ｒｉを求める場合、演算量が多い。
【０１０２】
R(u,v)(k) = ΣΣ|I1s(x,y)-I4s(x-k,y-k)| ・・・（１７）
R(u,v)(k) = ΣΣ|I1(x,y)-I4(x-k,y-k・Dy/Dx)| ・・・（１８）
【０１０３】
この視差評価値R(u,v)(k)は、ｘ方向にｕ番目、ｙ方向にｖ番目のブロックB(u,v)の第１の伸張後画像信号Ｉ１ｓと、ｘ、ｙ方向にそれぞれ（ｋ、ｋ）だけ離れた領域における第４の伸張後画像信号Ｉ４ｓがどれだけ相関があるかを示し、値が小さいほど相関が大きい（よく似ている）ことを示す。図１９は、本発明の実施の形態１に係る撮像装置の概略の視差と視差評価値との関係を説明する図である。図１９のように、視差評価値R(u,v)(k)はずらし量ｋの値によって変化し、ずらし量ｋ＝Δg(u,v)のとき極小値を持つ。これは、第４の伸張後画像信号Ｉ４ｓのｘ方向にｕ番目、ｙ方向にｖ番目のブロックB(u,v)をｘ、ｙ方向にそれぞれ（-Δg(u,v)、-Δg(u,v)）だけ移動させて得られる画像信号は、第１の伸張後画像信号Ｉ１ｓと最も相関がある（最も似ている）ことを示す。したがって、ブロックB(u,v)についての第１の伸張後撮像信号Ｉ１ｓと第４の撮像信号Ｉ４ｓとのｘ、ｙ方向の視差が（Δg(u,v)、Δg(u,v)）であることが分かる。以下、このΔg(u,v)を、ブロックB(u,v)の概略の視差値Δg(u,v)と呼ぶ。このように、ｕ＝０からＭ−１、ｖ＝０からＮ−１までB(u,v)の概略の視差値Δg(u,v)を求める。次に、ステップＳ１２４２を実行する。
【０１０４】
ステップＳ１２４２において、詳細な視差を演算する。ステップＳ１２４１ではずらし量ｋは奇数のみであったため、分解能は２である。ステップＳ１２４２において、分解能１の視差を演算する。図２０は、本発明の実施の形態１に係る撮像装置の詳細な視差と視差評価値との関係を説明する図である。ステップ１２４１では、図２０の黒丸（●）に示されるように、ブロックB(u,v)においてｋを２ずつ変化させ、視差評価値R(u,v)(k)の極小値を与えるｋ（概略の視差Δg(u,v)）を求めた。ステップＳ１２４２において、図２０の白丸（○）に示されるように、概略の視差Δg(u,v)の前後のｋでの視差評価値R(u,v)(Δg(u,v)-1)、R(u,v)(Δg(u,v)+1)を演算し、これらの視差評価値（R(u,v)(Δg(u,v)-1)、R(u,v)(Δg(u,v))、R(u,v)(Δg(u,v)+1)）のうち最小値を与えるずらし量ｋを詳細な視差Δs(u,v)とする。すなわち、図２０（ａ）、下記式（１９）のように、R(u,v)(Δg(u,v)-1)が最小のとき、概略の視差Δg(u,v)から１引いたものを詳細な視差Δs(u,v)とする。また、図２０（ｂ）、下記式（２０）のように、R(u,v)(Δg(u,v))が最小のとき、概略の視差Δg(u,v)を詳細な視差Δs(u,v)とする。また、図２０（ｃ）、下記式（２１）のように、R(u,v)(Δg(u,v)+1)が最小のとき、概略の視差Δg(u,v)に１を加えたものを詳細な視差Δs(u,v)とする。概略の視差Δg(u,v)の分解能は２であったが、上記の動作により分解能が１である詳細な視差Δs(u,v)を求められる。次に、ステップＳ１２４３を実行する。
【０１０５】
Δs(u,v) = Δg(u,v) - 1    （R(u,v)(Δg(u,v)-1)が最小のとき）
・・・（１９）
Δs(u,v) = Δg(u,v)        （R(u,v)(Δg(u,v))が最小のとき）
・・・（２０）
Δs(u,v) = Δg(u,v) + 1    （R(u,v)(Δg(u,v)+1)が最小のとき）
・・・（２１）
【０１０６】
ステップＳ１２４３において、サブピクセルの視差を演算する。詳細な視差を与える視差評価値R(u,v)(Δs(u,v))とその前後のずらし量ｋでの視差評価値R(u,v)(Δs(u,v)-1)、 R(u,v)(Δs(u,v)+1)とを用いて、サブピクセルの（画素の分解能よりも細かい）視差Δf(u,v)を、面積按分法を用いて演算する。具体的には、R(u,v)(Δg(u,v)-1) ≧ R(u,v)(Δg(u,v)+1)のとき下記式（２２）のように演算し、R(u,v)(Δg(u,v)-1) ＜ R(u,v)(Δg(u,v)+1)のとき（２３）のように演算する。また、シフト演算を用いて演算を行うために、サブピクセルの視差Δf(u,v)の分解能は0.5、0.25、0.125、0.0625のような、１を２のべき乗で割った値が好ましい。次に、ステップＳ１２４４を実行する。
【０１０７】
Δf(u,v) = Δs(u,v) - 0.5
+ 0.5・(R(u,v)(Δg(u,v)-1) - R(u,v)(Δg(u,v)))
/ (R(u,v)(Δg(u,v)+1) - R(u,v)(Δg(u,v)))
（R(u,v)(Δg(u,v)-1) ≧ R(u,v)(Δg(u,v)+1)のとき）
・・・（２２）
Δf(u,v) = Δs(u,v) + 0.5
- 0.5・(R(u,v)(Δg(u,v)+1) - R(u,v)(Δg(u,v)))
/ (R(u,v)(Δg(u,v)-1) - R(u,v)(Δg(u,v)))
（R(u,v)(Δg(u,v)-1) ＜ R(u,v)(Δg(u,v)+1)のとき）
・・・（２３）
【０１０８】
ステップＳ１２４４において、視差演算を終了し、上位のルーチンへ戻る。従って、次に、図１４のステップＳ１２５０を実行する。
【０１０９】
ステップＳ１２５０において、視差補正部１４５は、システム制御部１３１のメモリ上のデータを利用し、ブロックごとに、そのブロックに対応する視差値を用いて視差補正したのち、画像合成する。そして、その結果をシステム制御部１３１のメモリに書き込む。第１の撮像素子１２３ａおよび第４の撮像素子１２３ｄは、主に物体光の緑色成分を受光するため、第１の撮像信号Ｉ１、および第４の撮像信号Ｉ４は、物体光の緑色成分の情報信号である。また、第２の撮像信号１２３ｂは、主に物体光の青色成分を受光するため、第２の撮像信号Ｉ２は、物体光の青色成分の情報信号である。さらに、第３の撮像信号１２３ｃは、主に物体光の赤色成分を受光するため、第３の撮像信号Ｉ３は、物体光の赤色成分の情報信号である。第１の撮像素子１２３ａと第４の撮像素子１２３ｄとの視差が（Δf(u,v)、Δf(u,v)・Dy/Dx）であると予測されたため、下記式（２３）のように、画素座標（ｘ、ｙ）における緑色の強度を示すG(x,y)を、第１の撮像信号I1(x,y)、および第４の撮像信号I4(x-Δf(u,v),y-Δf(u,v)・Dy/Dx)の平均とする。また、第１の撮像素子１２３ａと第２の撮像素子１２３ｂの視差が（Δf(u,v)、０）であると予測されたため、下記式（２４）のように、画素座標（ｘ、ｙ）における青色の強度を示すB(x,y)を、第２の撮像信号I2(x-Δf(u,v),y)とする。さらに、第１の撮像素子１２３ａと第３の撮像素子１２３ｃの視差が（０、Δf(u,v)・Dy/Dx）であると予測されたため、下記式（２５）のように、（ｘ、ｙ）における赤色の強度を示すR(x,y)を、第３の撮像信号I3(x,y-Δf(u,v)・Dy/Dx)とする。なお、視差値Δf(u,v)としては、画素座標（ｘ、ｙ）を第１の伸張後撮像信号I1に写像したときのブロックB(u,v)の視差値Δf(u,v)を利用する。次に、ステップＳ１７００を実行する。
【０１１０】
G(x,y) = [I1(x,y) I4(x-Δf(u,v),y-Δf(u,v)・Dy/Dx)]/2 ・・・（２３）
B(x,y) = I2(x-Δf(u,v),y)      ・・・（２４）
R(x,y) = I3(x,y-Δf(u,v)・Dy/Dx)      ・・・（２５）
【０１１１】
ステップＳ１７００において、距離演算部１４６は、システム制御部１３１のメモリ上のデータを利用し、距離演算を行う。そして、その結果をシステム制御部１３１のメモリに書き込む。式（１）を距離Ａについて解くと、下記式（２６）のように示される。したがって、ブロックB(u,v)における被写体の距離は、下記式（２７）のように演算され、そのブロックB(u,v)に含まれる画素(x,y)における被写体の距離は、下記式（２８）のように示され、システム制御部１３１のメモリ上に保存する。なお、単位は演算時に適宜変更されている。次に、ステップＳ１８００を実行する。
【０１１２】
Ａ  ＝  ｆ・Ｄ／Δ      ・・・（２６）
Ａ(u,v)  ＝  ｆ・Ｄ／Δf(u,v)      ・・・（２７）
Ａ(x,y) ＝  Ａ(u,v)  （（x,y）はBiに含まれる）    ・・・（２８）
【０１１３】
ステップＳ１８００において、結果を出力する。入出力部１３６は、システム制御部１３１のメモリ上のデータである画像データG(x,y),B(x,y),R(x,y)、および距離データA(x,y)を、上位ＣＰＵ（図示せず）や外部表示装置（図示せず）に出力する。なお、G(x,y),B(x,y),R(x,y)の代わりに、例えば、輝度、色差信号などを出力してもよい。また、ホワイトバランスやγ補正などの画像処理後の値を出力してもよい。さらに、可逆圧縮やJPEG等のような非可逆圧縮をしたデータを出力してもよい。次に、Ｓ１９００を実行する。
【０１１４】
ステップＳ１９００において、動作を終了する。
【０１１５】
以上のように構成し、動作させることにより、以下の効果を有する。
【０１１６】
式（１）のように被写体距離Ａに応じて第１〜第４のレンズ部１１３ａ〜１１３ｄがそれぞれ形成する４つの物体像の相対的位置が変化する。すなわち、被写体距離Ａが小さくなると、視差Δが大きくなる。そのため、距離が異なる複数の被写体を同時に撮影するとき、被写体毎に視差Δが異なる。実施の形態１の像装置では、ステップＳ１２３０において、全画像領域をブロックに分割し、ステップＳ１２４０において、ブロック毎の視差を演算し、ステップＳ１２５０において、ブロック毎の視差に基づき視差の影響を低減するように画像合成することで視差補正する。これにより、距離が異なる複数の被写体を同時に撮影するときにおいても、ブロック毎に求められた視差を用いて適宜それぞれの被写体の視差を補正し、全画像領域で視差の影響が低減されたきれいな画像を得ることができる。
【０１１７】
また、実施の形態１の撮像装置では、Ｓ１２４３において按分法を利用し、画素の分解能よりも細かな分解能で視差を演算し、このブロック毎の細かな分解能の視差に基づき視差の影響が低減するように撮像信号を補正した後、ステップＳ１２５０において画像合成する。このとき、視差をサブピクセルの分解能で（画素の分解能よりも細かな分解能で）求める。これにより、距離が異なる複数の被写体を同時に撮像するときにおいても、ブロック毎に求められた分解能が細かい視差を用いて適宜それぞれの被写体の視差をサブピクセルの分解能で（画素の分解能よりも細かな分解能で）補正して、全画像領域で視差の影響が低減されたきれいな画像を得ることができる。
【０１１８】
また、実施の形態１の撮像装置では、ステップＳ１２４１において分解能２である概略の視差Δg(u,v)を求め、ステップＳ１２４２において分解能が１である詳細な視差Δs(u,v)を求める。これにより、ｋを１ずつ変化させるときと比較し、演算評価値の演算を減少できるため、より低コストな演算回路で、距離が異なる複数の被写体を同時に撮像するときにおいても、ブロック毎に求められた視差を用いて適宜それぞれの被写体の視差を補正して、全画像領域で視差の影響が低減されたきれいな画像を得ることができる。例えば、ｋを１２８まで変化させるとき、詳細な視差Δs(u,v)を求めるために、ｋを１ずつ変化させるとき撮像装置は視差評価値の演算が１２９回必要だが、実施の形態１の撮像装置は視差評価値の演算を６６回に抑制できる。
【０１１９】
また、実施の形態１の撮像装置では、ステップＳ１２４０において伸張後撮像信号を千鳥状に間引いた信号を用いて視差を求める。これにより、全ての伸張後撮像信号を用いて視差を求めるときと比較し、視差評価値の演算を減少できるため、より低コストな演算回路で、距離が異なる複数の被写体を同時に撮像するときにおいても、ブロック毎に求められた視差を用いて適宜それぞれの被写体の視差を補正して、全画像領域で視差の影響が低減されたきれいな画像を得ることができる。
【０１２０】
また、実施の形態１の撮像装置では、ステップＳ１２２０において第１の撮像信号Ｉ１、および第４の撮像信号Ｉ４をDx/Dyだけ垂直方向に伸張し、第１の伸張後撮像信号Ｉ１ｓ、および第４の伸張後撮像信号Ｉ４ｓを作成することにより、ステップＳ１２４０の視差評価値を演算する際に、補間処理が不要となる。これにより、第１の撮像信号Ｉ１、および第４の撮像信号Ｉ４を利用するときと比較し、演算量を減少できるため、より低コストな演算回路で、距離が異なる複数の被写体を同時に撮像するときにおいても、ブロック毎に求められた視差を用いて適宜それぞれの被写体の視差を補正して、全画像領域で視差の影響が低減されたきれいな画像を得ることができる。
【０１２１】
なお、上述の実施の形態１では、図１５に示すように、垂直方向の画素数Ｈが水平方向の画素数Ｌよりも少なかったため、ステップＳ１２２０において撮像信号を垂直方向に伸張することとしたが、垂直方向の画素数Ｈが水平方向の画素数Ｌよりも多い場合は、ステップＳ１２２０において撮像信号を水平方向に伸張すれば良い。
【０１２２】
また、実施の形態１の撮像装置では、ステップＳ１２００において視差を演算し、ステップＳ１７００においてこの視差に基づき距離を演算し、ステップＳ１８００において結果を出力する。このことにより、画像のみならず被写体の距離をも出力ができ、上位において距離情報を用いた処理（例えば、障害物検知）を行うことができる。さらに、サブピクセルの視差（視差を画素の分解能よりも細かな分解能の視差）を求めることにより、より詳細な距離情報を得ることができる。
【０１２３】
（実施の形態２）
本発明の実施の形態１に係る撮像装置は、按分法を利用し、画素の分解能よりも細かな分解能で視差を演算した。本発明の実施の形態２に係る撮像装置は、１つのレンズ部が形成する像を示す撮像信号と、前記レンズ部とは異なる１つのレンズ部が形成する像を示す撮像信号とを、画素の分解能よりも細かな分解能でずらし比較することにより、視差を画素の分解能よりも細かな分解能で演算し、この視差に基づき視差の影響を低減するように画像合成し視差補正することにより、全画像領域で視差の影響が低減されたきれいな画像を得る。
【０１２４】
また、本発明の実施の形態１に係る撮像装置は、千鳥状に伸張後撮像素子を間引いて視差評価値を作成した。本発明の実施の形態２に係る撮像装置は、１行おきに伸張後撮像素子を間引いて視差評価値を作成することにより、視差評価値の演算を減少できるため、より低コストな演算回路で、距離が異なる複数の被写体を同時に撮像するときにおいても、適宜それぞれの被写体の視差を補正して、全画像領域で視差の影響が低減されたきれいな画像を得ることができる。
【０１２５】
本発明の実施の形態２に係る撮像装置について、図面を参照しながら説明する。
【０１２６】
図２１は、本発明の実施の形態２に係るカメラモジュールの構成を示す断面図である。カメラモジュール２０１の回路部２２０のＳＬＳＩ２２５以外は、実施の形態１と同様であり、実施の形態１と同様の部材には同一の符号を付してそれらについての説明を省略する。
【０１２７】
図２２は、本発明の実施の形態２に係るカメラモジュールのブロック図である。ＳＬＳＩ２２５は、システム制御部２３１、撮像素子駆動部１３２、撮像信号入力部１３３、アクチュエータ操作量出力部１３４、画像処理部２３５、および入出力部１３６を有する。また、回路部２２０は、前述の構成に加えて、アンプ１２６を有する。
【０１２８】
システム制御部２３１は、ＣＰＵ、メモリなどから構成され、ＳＬＳＩ２２５の全体を制御する。
【０１２９】
画像処理部２３５は、ロジック回路、またはＤＳＰ、あるいは両者を含んで構成され、システム制御部２３１のメモリ情報を利用し、各種画像処理を行う。画像処理部２３５は、自動焦点制御部１４１、画像伸張部１４２、ブロック分割部１４３、視差演算部２４４、視差補正部１４５、および距離演算部１４６を有する。
【０１３０】
撮像素子駆動部１３２、撮像信号入力部１３３、アクチュエータ操作量出力部１３４、入出力部１３６、およびアンプ１２６は、実施の形態１と同様であり、説明を省略する。
【０１３１】
実施の形態２に係る撮像装置は、実施の形態１に係る撮像装置と比較し、視差演算のステップ（図１４のステップＳ１２４０）の動作のみが異なる。その他の動作は、実施の形態１と同様であり、説明を省略する。
【０１３２】
ステップＳ１２４０において、視差演算部２４４は、システム制御部２３１のメモリ上のデータを利用し、各ブロック毎の視差値を演算する。そして、システム制御部２３１のメモリに書き込む。図２３は、本発明の実施の形態２に係る視差演算の動作を示すフローチャートである。図２３のフローチャートは、ステップＳ１２４０の動作の詳細を示す。ステップＳ１２４０の視差演算では、まず、ステップＳ２２４１を実行する。
【０１３３】
ステップＳ２２４１において、概略の視差を演算する。図２４は、本発明の実施の形態２に係る撮像装置において、視差評価値の演算領域を説明する図である。
このステップの動作は、実施の形態１のステップＳ１２４１と同様であるため、説明を省略する。ただし、実施の形態１に係る撮像装置は式（１７）において総和演算は画素を千鳥状に間引いて行ったが、実施の形態２に係る撮像装置は式（１７）において総和演算は画素を１行おきに間引いて行う。すなわち、図２４（ｂ）において、黒塗りされた画素のみを総和演算に利用する。次に、ステップＳ２２４２を実行する。
【０１３４】
ステップＳ２２４２において、詳細な視差を演算する。この動作は、実施の形態のステップＳ１２４２と同様であり、説明を省略する。次に、ステップＳ２２４３を実行する。
【０１３５】
ステップＳ２２４３において、サブピクセルで（画素の分解能よりも細かい分解能で）視差を演算する。図２５は、本発明の実施の形態２に係る撮像装置のサブピクセルの視差と視差評価値との関係を説明する図である。図２５の黒丸（●で示される点）は、詳細な視差Δs(u,v)での視差評価値と、その前後１だけずらし量ｋを変化させたときの視差評価値である。詳細な視差Δs(u,v)の前後の１でｋを0.125の分解能で変化させ（白丸、○で示される点）、視差評価値R(u,v)(k)を極小にするｋをサブピクセルの視差Δf(u,v)とする。なお、ｋが小数であるため、補間処理を行い第４の伸張後撮像信号I4を作成し、式（１７）に代入する。例えば、下記式（２９）のように、線形補間を用いて求めればよい。ここで、式（２９）において、kiはｋの整数部分であり、kfはｋの小数部分である。また、乗算演算の変わりに、シフト演算を用いて演算を行うために、ずらし量ｋの分解能は0.5、0.25、0.125、0.0625のような、１を２のべき乗で割った値が好ましい。次に、ステップＳ２２４４を実行する。
【０１３６】
I4s = (1-kf)・I4s(x-ki,y-ki) + kf・I4s(x-ki-1,y-ki-1)  ・・・（２９）
【０１３７】
ステップＳ２２４４において、視差演算を終了し、上位のルーチンへ戻る。従って、次に、図１４のステップＳ１２５０を実行する。
【０１３８】
上記のように構成し動作させることにより、実施の形態２の撮像装置は、実施の形態１と同様の効果を有する。
【０１３９】
すなわち、本発明の実施の形態２に係る撮像装置は、１つのレンズ部が形成する像を示す撮像信号と、前記レンズ部とは異なる１つのレンズ部が形成する像を示す撮像信号とを、画素の分解能よりも細かな分解能でずらし比較することにより、視差を画素の分解能よりも細かな分解能で演算する。これにより、距離が異なる複数の被写体を同時に撮像するときにおいても、ブロック毎に求められた分解能が細かい視差を用いて適宜それぞれの被写体の視差をサブピクセルの分解能で（画素の分解能よりも細かな分解能で）補正して、全画像領域で視差の影響が低減されたきれいな画像を得ることができる。
【０１４０】
また、本発明の実施の形態２に係る撮像装置は、１行おきに伸張後撮像素子を間引いて視差評価値を作成することにより、視差評価値の演算を減少できるため、より低コストな演算回路で、距離が異なる複数の被写体を同時に撮像するときにおいても、ブロック毎に求められた視差を用いて適宜それぞれの被写体の視差を補正して、全画像領域で視差の影響が低減されたきれいな画像を得ることができる。
【０１４１】
（実施の形態３）
本発明の実施の形態１に係る撮像装置は、４つのレンズ部を有し、対角のレンズ部（第１のレンズ部１１３ａ、および第４のレンズ部１１３ｄ）に対応するカラーフィルタ（第１のカラーフィルタ１２４ａ、および第４のカラーフィルタ１２４ｄ）の分光透過率を同等とし、対応する撮像信号（第１の撮像信号Ｉ１、および第４の撮像信号Ｉ４を垂直方向に伸張した第１の伸張後撮像信号Ｉ１ｓ、第４の伸張後撮像信号Ｉ４ｓ）を比較し視差を求めた。本発明の実施の形態３に係る撮像装置は、４つのレンズ部を有し、水平方向の１対のレンズ部（第１のレンズ部１１３ａ、および第２のレンズ部１１３ｂ）に対応するカラーフィルタ（第１のカラーフィルタ１２４ａ、および第４のカラーフィルタ１２４ｂ）の分光透過率を同等とし、対応する撮像信号（第１の撮像信号Ｉ１、および第２の撮像信号Ｉ２）を比較し視差を求めるものである。
【０１４２】
本発明の実施の形態３に係る撮像装置について、図面を参照しながら説明する。
【０１４３】
図２６は、本発明の実施の形態３に係る撮像装置の構成を示す断面図である。図２６において、撮像装置は、レンズモジュール部３１０、および回路部３２０を有する。
【０１４４】
レンズモジュール部３１０は、鏡筒１１１、上部カバーガラス１１２、レンズ３１３、アクチュエータ固定部１１４、およびアクチュエータ可動部１１５を有する。回路部３２０は、基板１２１、パッケージ１２２、撮像素子１２３、パッケージカバーガラス３２４、およびシステムＬＳＩ（以下、ＳＬＳＩと記す）３２５を有する。
【０１４５】
鏡筒１１１、および上部カバーガラス１１２は、実施の形態１と同様であり、説明を省略する。
【０１４６】
実施の形態１のレンズ１１３は、第１のレンズ部１１３ａは緑色を、第２のレンズ部１１３ｂは青色を、第３のレンズ部１１３ｃは赤色を、第４のレンズ部１１３ｄは緑色を透過するための最適設計がなされたものであった。実施の形態３のレンズ３１３は、第１のレンズ部３１３ａは緑色を、第２のレンズ部３１３ｂは緑色を、第３のレンズ部３１３ｃは赤色を、第４のレンズ部３１３ｄは青色を透過するための最適設計がなされたものである。レンズ３１３のその他の部分は、実施の形態１のレンズ１１３と同様であり、説明を省略する。
【０１４７】
アクチュエータ固定部１１４、およびアクチュエータ可動部１１５は、実施の形態１と同様であり説明を省略する
基板１２１は、樹脂基板から構成され、上面に鏡筒１１１がその底面を接して接着剤などにより固着される。このようにして、レンズモジュール部３１０と回路部３２０とが固定され、撮像装置３０１を構成する。
【０１４８】
パッケージ１２２、および撮像素子１２３は、実施の形態１と同様であり説明を省略する。
【０１４９】
図２７は、本発明の実施の形態３に係る撮像装置の回路部３２０の上面図である。パッケージカバーガラス３２４は、平板状であり、透明樹脂により形成され、パッケージ１２２の上面に接着などにより固着される。パッケージカバーガラス３２４の上面には、第１のカラーフィルタ３２４ａ、第２のカラーフィルタ３２４ｂ、第３のカラーフィルタ３２４ｃ、第４のカラーフィルタ３２４ｄ、および遮光部３２４ｅが蒸着などにより配置される。また、パッケージカバーガラス３２４の下面には、赤外遮断フィルタ（図示せず。以下、ＩＲフィルタと記す）が蒸着などにより配置される。
【０１５０】
図２８は、本発明の実施の形態３に係る撮像装置のカラーフィルタの特性図である。第１のカラーフィルタ３２４ａは、図２８のＧで示した主に緑色を透過する分光透過特性を有し、第２のカラーフィルタ３２４ｂは、図２８のＧで示した主に緑色を透過する分光透過特性を有し、第３のカラーフィルタ３２４ｃは、図２８のＲで示した主に赤色を透過する分光透過特性を有し、第４のカラーフィルタ３２４ｄは、図２８のＢで示した主に青色を透過する分光透過特性を有する。また、ＩＲフィルタは、実施の形態１と同様であり、説明を省略する。
【０１５１】
したがって、第１のレンズ部３１３ａの上部から入射した物体光は、第１のレンズ部３１３ａの下部から射出され、第１のカラーフィルタ３２４ａおよびＩＲフィルタにより主に緑色が透過し、第１の撮像素子１２３ａの受光部に結像するため、第１の撮像素子１２３ａは物体光のうち緑色成分を受光する。また、第２のレンズ部３１３ｂの上部から入射した物体光は、第２のレンズ部３１３ｂの下部から射出され、第２のカラーフィルタ３２４ｂおよびＩＲフィルタにより主に緑色が透過し、第２の撮像素子１２３ｂの受光部に結像するため、第２の撮像素子１２３ｂは物体光のうち緑色成分を受光する。また、第３のレンズ部３１３ｃの上部から入射した物体光は、第３のレンズ部３１３ｃの下部から射出され、第３のカラーフィルタ３２４ｃおよびＩＲフィルタにより主に赤色が透過し、第３の撮像素子１２３ｃの受光部に結像するため、第３の撮像素子１２３ｃは物体光のうち赤色成分を受光する。更に、第４のレンズ部３１３ｄの上部から入射した物体光は、第４のレンズ部３１３ｄの下部から射出され、第４のカラーフィルタ３２４ｄおよびＩＲフィルタにより主に青色が透過し、第４の撮像素子１２３ｄの受光部に結像するため、第４の撮像素子１２３ｄは物体光のうち青色成分を受光する。
【０１５２】
ＳＬＳＩ３２５は、後述の方法で、アクチュエータ可動部１１５のコイルの通電を制御し、撮像素子１２３を駆動し、撮像素子１２３からの電気情報を入力し、各種画像処理を行い、上位ＣＰＵと通信を行い、外部に画像出力する。
【０１５３】
次に、本発明の実施の形態３に係る撮像装置の動作を説明する。図２９は、本発明の実施の形態３に係る撮像装置のブロック図である。ＳＬＳＩ３２５は、システム制御部３３１、撮像素子駆動部１３２、撮像信号入力部１３３、アクチュエータ操作量出力部１３４、画像処理部３３５、および入出力部１３６を有する。また、回路部３２０は、前述の構成に加えて、アンプ１２６を有する。
【０１５４】
アンプ１２６は、アクチュエータ操作量出力部１３４からの出力に応じた電圧をアクチュエータ可動部１１５のコイルに印加する。
【０１５５】
システム制御部３３１は、ＣＰＵ（中央演算処理装置：Central Processing Unit）、メモリなどから構成され、ＳＬＳＩ３２５の全体を制御する。
【０１５６】
撮像素子駆動部１３２、撮像信号入力部１３３、アクチュエータ操作量出力部１３４は、実施の形態１と同様であり説明を省略する。
【０１５７】
画像処理部３３５は、ロジック回路、またはＤＳＰ、あるいはこれらの両者を含んで構成され、システム制御部３３１のメモリ情報を利用し、所定のプログラム制御に従って各種画像処理を行う。画像処理部３３５は、自動焦点制御部１４１、ブロック分割部３４３、視差演算部３４４、視差補正部３４５、および距離演算部１４６を有する。
【０１５８】
入出力部１３６は、実施の形態１と同様であり、説明を省略する。
【０１５９】
図３０は、本発明の実施の形態３に係る撮像装置の動作を示すフローチャートである。ＳＬＳＩ３２５のシステム制御部３３１により、撮像装置３０１は、このフローチャートのとおりに動作される。
【０１６０】
ステップＳ３０００において、動作を開始する。例えば、上位ＣＰＵ（図示せず）が、シャッターボタンなどが押されたことを検知し、入出力部１３６を介し、撮像装置に動作の開始を命令することにより、撮像装置３０１は、動作を開始する。次に、ステップＳ３１００を実行する。
【０１６１】
ステップＳ３１００において、自動焦点制御部１４１は、自動焦点制御を実行する。この動作は、実施の形態１のステップＳ１１００と同様であり説明を省略する。次に、ステップＳ３２００を実行する。
【０１６２】
ステップＳ３２００において、視差補正を実行する。図３１は、本発明の実施の形態３に係る視差補正の動作を示すフローチャートである。図３１のフローチャートは、ステップＳ３２００の動作の詳細を示す。ステップＳ３２００の視差補正では、まず、ステップＳ３２１０を実行する。
【０１６３】
ステップＳ３２１０において、撮影を実行する。この動作は、実施の形態１のステップＳ１２１０と同様であり説明を省略する。次に、ステップＳ３２３０を実行する。
【０１６４】
ステップＳ３２３０において、ブロック分割部３４３は、システム制御部３３１のメモリ上のデータを利用し、ブロック分割を行う。そして、その結果をシステム制御部３３１のメモリに書き込む。図３２は、本発明の実施の形態３に係る撮像装置において、ブロック分割を説明する図である。図３２のように、第１の撮像信号Ｉ１を、横方向にＭ個のブロックに、縦方向にＮ個のブロックに、総数でＭ×Ｎ個に分割し、それぞれのブロックをB(u,v)で示す。ここで、ｕは０からＭ−１まで、ｖはＮ−１まで変化する。次に、ステップＳ３２４０を実行する。
【０１６５】
ステップＳ３２４０において、視差演算部３４４は、システム制御部３３１のメモリ上のデータを利用し、各ブロック毎の視差値を演算する。そして、システム制御部３３１のメモリに書き込む。図３３は、本発明の実施の形態３に係る視差演算の動作を示すフローチャートである。図３３のフローチャートは、ステップＳ３２４０の動作の詳細を示す。ステップＳ３２４０の視差演算では、まず、ステップＳ３２４１を実行する。
【０１６６】
ステップＳ３２４１において、概略の視差を演算する。まず、各ブロック（B(0,0)、B(1,0)、…、B(u,v)、…、B(M-1,N-1)）毎に、視差評価値（R(0,0)(k)、R(1,0)(k)、…、R(u,v)(k)、…、R(M-1,N-1)(k)。k=1、3、5、…、kmax。ただし、kmaxは奇数）を演算する。このように、ｋは奇数のみを取るように変化させる。図３４は、本発明の実施の形態３に係る撮像装置において、視差評価値の演算領域を説明する図である。図３４のように、Ｉ２で示される領域は、B(u,v)からｘ方向にｋだけ移動した領域である。そして、それぞれの領域の全撮像信号I1(x,y)、I2(x-k,y)について、下記式（３０）に示される絶対値差分総和(SAD。Sum of Absolute Differences)を視差評価値R(u,v)(k)として演算する。ただし、式（３０）において総和演算は画素を千鳥状に間引いて行う。すなわち、図３４において、黒塗りされた画素のみを総和演算に利用する。
【０１６７】
R(u,v)(k) = ΣΣ|I1(x,y)-I2(x-k,y)| ・・・（３０）
【０１６８】
この視差評価値R(u,v)(k)は、ｘ方向にｕ番目、ｙ方向にｖ番目のブロックB(u,v)の第１の画像信号Ｉ１と、ｘ方向にずらし量ｋだけ離れた領域における第２の画像信号Ｉ２がどれだけ相関があるかを示し、値が小さいほど相関が大きい（よく似ている）ことを示す。図１９のように、視差評価値R(u,v)(k)はずらし量ｋの値によって変化し、ずらし量ｋ＝Δg(u,v)のとき極小値を持つ。これは、第２の画像信号Ｉ２のｘ方向にｕ番目、ｙ方向にｖ番目のブロックB(u,v)をｘ方向に-Δg(u,v)だけ移動させて得られる画像信号は、第１の画像信号Ｉ１と最も相関がある（最も似ている）ことを示す。したがって、ブロックB(u,v)についての第１の撮像信号Ｉ１と第２の画像信号Ｉ２とのｘ方向の視差がΔg(u,v)であることが分かる。以下、このΔg(u,v)を、ブロックB(u,v)の概略の視差値Δg(u,v)と呼ぶ。このように、ｕ＝０からＭ−１、ｖ＝０からＮ−１までB(u,v)の概略の視差値Δg(u,v)を求める。次に、ステップＳ３２４２を実行する。
【０１６９】
ステップＳ３２４２において、詳細な視差を演算する。この動作は、実施の形態１と同様であり説明を省略する。ただし、視差評価値R(u,v)(k)として、式（３０）を利用する。次に、ステップＳ３２４３を実行する。
【０１７０】
ステップＳ１２４３において、サブピクセルで視差を演算する。この動作は、実施の形態１と同様であり説明を省略する。ただし、視差評価値R(u,v)(k)として、式（３０）を利用する。次に、ステップＳ３２４４を実行する。
【０１７１】
ステップＳ３２４４において、視差演算を終了し、上位のルーチンへ戻る。従って、次に、図３３のステップＳ３２５０を実行する。
【０１７２】
ステップＳ３２５０において、視差補正部３４５は、システム制御部３３１のメモリ上のデータを利用し、ブロックごとに、そのブロックに対応する視差値を用いて視差補正したのち、画像合成する。そして、その結果をシステム制御部３３１のメモリに書き込む。第１の撮像素子１２３ａおよび第２の撮像素子１２３ｂは、主に物体光の緑色成分を受光するため、第１の撮像信号Ｉ１、および第２の撮像信号Ｉ２は、物体光の緑色成分の情報信号である。また、第２の撮像信号１２３ｃは、主に物体光の赤色成分を受光するため、第３の撮像信号Ｉ３は、物体光の赤色成分の情報信号である。さらに、第４の撮像信号１２３ｄは、主に物体光の青色成分を受光するため、第４の撮像信号Ｉ４は、物体光の青色成分の情報信号である。第１の撮像素子１２３ａと第４の撮像素子１２３ｄとの視差が（Δf(u,v)、0）であると予測されたため、下記式（３１）のように、画素座標（ｘ、ｙ）における緑色の強度を示すG(x,y)を、第１の撮像信号I1(x,y)、および第２の撮像信号I2(x-Δf(u,v),y)の平均とする。さらに、第１の撮像素子１２３ａと第３の撮像素子１２３ｃの視差が（０、Δf(u,v)・Dy/Dx）であると予測されたため、下記式（３２）のように、（ｘ、ｙ）における赤色の強度を示すR(x,y)を、第３の撮像信号I3(x,y-Δf(u,v)・Dy/Dx)とする。また、第１の撮像素子１２３ａと第４の撮像素子１２３ｄの視差が（Δf(u,v)、Δf(u,v)・Dy/Dx）であると予測されたため、下記式（３３）のように、画素座標（ｘ、ｙ）における青色の強度を示すB(x,y)を、第４の撮像信号I4(x-Δf(u,v),y-Δf(u,v)・Dy/Dx)とする。なお、視差値Δf(u,v)としては、画素座標（ｘ、ｙ）が含まれるブロックB(u,v)の視差値Δf(u,v)を利用する。次に、ステップＳ３７００を実行する。
【０１７３】
G(x,y) = [I1(x,y) + I2(x-Δf(u,v),y)]/2 ・・・（３１）
R(x,y) = I3(x,y-Δf(u,v)・Dy/Dx)      ・・・（３２）
B(x,y) = I4(x-Δf(u,v),y-Δf(u,v)・Dy/Dx)      ・・・（３３）
【０１７４】
ステップＳ３７００において、距離演算部１４６は、システム制御部３３１のメモリ上のデータを利用し、距離演算を行う。そして、その結果をシステム制御部３３１のメモリに書き込む。この動作は、実施の形態１のステップＳ１７００と同様であり説明を省略する。次に、ステップＳ３８００を実行する。
【０１７５】
ステップＳ３８００において、結果を出力する。この動作は、実施の形態１のステップＳ１８００と同様であり、説明を省略する。次に、Ｓ３９００を実行する。
【０１７６】
ステップＳ３９００において、動作を終了する。
【０１７７】
以上のように構成し、動作させることにより、実施の形態１と同様の効果を得る。
【０１７８】
以上、本発明のいくつかの実施形態を説明したが、これらはあくまでも例示であって、本発明の実施に際しては、以下のとおり、種々の変更が可能である。
【０１７９】
例えば、実施の形態１から実施の形態３の撮像装置において、演算された視差をそのまま利用したが、適宜リミットしてもよい。レンズ特性によっては被写体距離Ａがある値よりも小さいとき、画像が不鮮明となる。そのため、この値を被写体距離Ａの最小値と定めれば、視差の最大値を定められる。この値よりも大きい視差は、誤差であるとして無視してもよい。また、このような場合、視差評価値が２番目に小さい値を視差として採用してもよい。
【０１８０】
また、視差評価値に目立つ極値が２つあるときは、より大きい方の視差を採用してもよい。このようなブロックには、被写体と背景が含まれており、被写体距離と背景距離とが異なるため、極値が２つ現れる。背景距離と比較して被写体距離は小さいため、背景の視差と比較して被写体の視差は大きい。ここで、大きい方の視差を採用すれば、背景の視差の影響は低減できないが、画質に直接影響する被写体の視差の影響を低減できる。
【０１８１】
なお、第１の実施の形態、および第２の実施の形態の撮像装置では、視差を第１の撮像信号Ｉ１（主に緑色を示す）と第４の撮像信号Ｉ４（主に緑色を示す）とから演算したが、本発明はこれに限定されない。例えば、紫色の被写体は緑色成分が少なく、青色成分、赤色成分を多く含むため、第１の撮像信号Ｉ１（主に緑色を示す）と第４の撮像信号Ｉ４（主に緑色を示す）とから演算できない場合、第２の撮像信号Ｉ２（主に青色を示す）と第３の撮像信号Ｉ３（主に赤色を示す）とから視差を演算してもよい。また、第１の視差信号Ｉ１（主に緑色を示す）と第４の視差信号Ｉ４（主に緑色を示す）とから視差が演算不能であり、かつ、第２の撮像信号Ｉ２（主に青色を示す）と第３の撮像信号Ｉ３（主に赤色を示す）とから視差が演算不能であれば、視差の影響がないものとみなし、視差なしとすればよい。
【０１８２】
第３の実施の形態についても同様である。例えば、紫色の被写体は緑色成分が少なく、青色成分、赤色成分を多く含むため、第１の撮像信号Ｉ１（主に緑色を示す）と第２の撮像信号Ｉ２（主に緑色を示す）とから演算できない場合、第３の撮像信号Ｉ３（主に赤色を示す）と第４の撮像信号Ｉ４（主に青色を示す）とから視差を演算してもよい。また、第１の視差信号Ｉ１（主に緑色を示す）と第２の視差信号Ｉ２（主に緑色を示す）とから視差が演算不能であり、かつ、第３の撮像信号Ｉ３（主に赤色を示す）と第４の撮像信号Ｉ４（主に青色を示す）とから視差が演算不能であれば、視差の影響がないものとみなし、視差なしとすればよい。
【０１８３】
また、第１の実施の形態、および第２の実施の形態の撮像装置をカメラに搭載するとき、上側に第２の撮像素子１２３ｂ（主に青色を結像する）が、下側に第３の撮像素子１２３ｃ（主に赤色を結像する）が配置されるように、第１〜第４の撮像素子１２３ａ〜１２３ｄを配置することにより、上側が青色に敏感となり、下側が赤色に敏感となるので、風景写真の色再現をより自然にできる。
【０１８４】
また、第３の実施の形態の撮像装置をカメラに搭載するとき、第１の撮像素子１２３ａ（主に緑色を結像する。視差補正時に座標変換しない）の下側に第３の撮像素子１２３ｃ（主に赤色を結像する。視差補正時にｙ方向に座標変換する）を配置し、第１の撮像素子１２３ａの対角に第４の撮像素子１２３ｄ（主に青色を結像する。視差補正時にｘ方向、ｙ方向ともに座標変換する）が配置されるように、第１〜第４の撮像素子１２３ａ〜１２３ｄを配置することにより、青色と比較し赤色の座標変換による移動を小さくする。被視感度は、青色よりも赤色の方が大きいため、青色の色むらと比較し赤色の色むらの方が目立つ。第３の実施の形態の撮像装置のように配置し、青色と比較し赤色の座標変換による移動を小さくすることにより、色むら発生時においても、色むらが目立たない撮像装置を実現する。
【０１８５】
また、実施の形態１から実施の形態３の撮像装置は、焦点制御を行うがアクチュエータを動作させない場合があってもよい。また、アクチュエータを省き、焦点制御を省略してもよい。
【０１８６】
また、実施の形態１から実施の形態３において、撮像素子１２３は、第１の撮像素子１２３ａ、第２の撮像素子１２３ｂ、第３の撮像素子１２３ｃ、および第４の撮像素子１２３ｄから構成され、撮像信号入力部１３３は、第１の撮像信号入力部１３３ａ、第２の撮像信号入力部１３３ｂ、第３の撮像信号入力部１３３ｃ、および第４の撮像信号入力部１３３ｄから構成された。しかし、撮像素子１２３を１つの撮像素子で構成し、この受光面上の異なる位置に第１〜第４のレンズ部１１３ａ〜１１３ｄによる４つの像を形成しても良い。また、撮像信号入力部１３３が１つの撮像素子１２３からの信号が入力される１つの撮像信号入力部から構成されてもよい。この場合、システム制御部１３１、２３１、３３１のメモリ上に置かれたデータから適宜領域を選択し、第１の撮像信号Ｉ１、第２の撮像信号Ｉ２、第３の撮像信号Ｉ３、および第４の撮像信号Ｉ４とすればよい。
【０１８７】
また、実施の形態１から実施の形態３において、視差評価値R(u,v)(k)として式（１７）（３０）のような差分絶対値総和を用いたがこれに限定されない。例えば、実施の形態１、および実施の形態２において、差分の二乗値の総和や、第１の撮像信号I1からブロック内の平均を差分したものと第４の撮像信号I4からブロック内の平均を差分したものとの差分の二乗値の総和や、第１の撮像信号I1からブロック内の平均を差分したものと第４の撮像信号I4からブロック内の平均を差分したものとの差分の二乗値の総和や、第１の撮像信号I1からブロック内の平均を差分したものと第４の撮像信号I4からブロック内の平均を差分したものとの差分の二乗値の総和を第１の撮像信号I1からブロック内の平均を差分したものの二乗値の総和の平方根で除し第４の撮像信号I4からブロック内の平均を差分したものの二乗値の総和の平方根で除したものを利用してもよい。
【０１８８】
また、実施の形態１から実施の形態３において、格子状に４つの撮像領域を設けたがこれに限定されない。例えば、第１の撮像素子、第２の撮像素子、第３の撮像素子、第４の撮像素子が１直線上になるように配置し、第１の撮像信号Ｉ１が主に青色を示し、第２の撮像信号Ｉ２が主に緑色を示し、第３の撮像信号Ｉ３が主に緑色を示し、第４の撮像信号が主に赤色を示すように変更してもよい。この場合、下記式（３４）のように視差評価関数を変更し、下記式（３５）（３６）（３７）のように視差補正するなどの変更が必要である。
【０１８９】
R(u,v)(k) = ΣΣ|I2(x,y)-I3(x-k,y)| ・・・（３４）
G(x,y) = [I2(x,y) + I3(x-Δf(u,v),y)]/2 ・・・（３５）
B(x,y) = I1(x+Δf(u,v),y)      ・・・（３６）
R(x,y) = I4(x-2*Δf(u,v),y)      ・・・（３７）
【０１９０】
また、実施の形態１から実施の形態３において、４つの撮像領域を設けたがこれに限定されない。例えば、３つの撮像領域を持ち、第１の撮像素子、第２の撮像素子、第３の撮像素子が１直線上になるように配置し、第１の撮像信号Ｉ１が主に青色を示し、第２の撮像信号Ｉ２が主に緑色を示し、第３の撮像信号Ｉ３が主に赤色を示すように変更してもよい。この場合、下記式（３８）、（３９）のように視差評価関数を変更し、下記式（４０）のように緑色成分Gを作成し、式（３８）を用いて求めた視差Δf(u,v)を利用し下記式（４１）のように青色成分Bを作成し、式（３９）を用いて求めた視差Δf(u,v)を利用し下記式（４２）のように赤色成分Rを作成し、視差補正するなどの変更が必要である。また、式（３８）（３９）の代わりに、正規化相関関数を使用してもよい。
【０１９１】
R(u,v)(k) = ΣΣ|I2(x,y)-I1(x+k,y)| ・・・（３８）
R(u,v)(k) = ΣΣ|I2(x,y)-I3(x-k,y)| ・・・（３９）
G(x,y) = I2(x,y) ・・・（４０）
B(x,y) = I1(x+Δf(u,v),y)      ・・・（４１）
R(x,y) = I3(x-Δf(u,v),y)      ・・・（４２）
【０１９２】
実施の形態１から実施の形態３の撮像装置において、ブロックにおける視差Δf(u,v)を用いて視差補正を行ったが、ブロック毎の視差Δf(u,v)を用いて各画素の視差Δ(x,y)を定め、この各画素の視差Δ(x,y)を用いて視差補正を行ってもよい。
【０１９３】
なお、実施の形態１から実施の形態３において、ブロックを矩形状に分割したが、これに限定されない。例えば、エッジを検出し、エッジに基づき非矩形状のブロックに分割してもよい。また、ブロック毎の領域の視差を求めずに、エッジを複数の線分に分割し、この線分の視差を求めてもよい。また、あるブロックにおいて求められた視差を評価し、ブロックを分割したり結合してもよい。
【産業上の利用可能性】
【０１９４】
本発明の撮像装置は、小型化、薄型化が可能な撮像装置であるため、カメラ機能を備えた携帯電話、デジタルスチルカメラ、車載用カメラ、および監視用カメラなどに有用である。
【図面の簡単な説明】
【０１９５】
【図１】本発明の実施の形態１に係る撮像装置の構成を示す断面図
【図２】本発明の実施の形態１に係る撮像装置のレンズの上面図
【図３】本発明の実施の形態１に係る撮像装置の回路部の上面図
【図４】本発明の実施の形態１に係る撮像装置のカラーフィルタの特性図
【図５】本発明の実施の形態１に係る撮像装置のＩＲフィルタの特性図
【図６】本発明の実施の形態１に係る撮像装置において、無限遠にある物体像の位置を説明するための図
【図７】本発明の実施の形態１に係る撮像装置において、有限距離の位置にある物体像の位置を説明するための図
【図８】（ａ）は本発明の実施の形態１に係る撮像装置において、合焦時の画像とコントラスト評価値の関係を説明する図、（ｂ）は本発明の実施の形態１に係る撮像装置において、非合焦時の画像とコントラスト評価値の関係を説明する図
【図９】本発明の実施の形態１に係る撮像装置のレンズ位置とコントラスト評価値の関係を説明する図
【図１０】本発明の実施の形態１に係る撮像装置のブロック図
【図１１】本発明の実施の形態１に係る撮像装置の動作を示すフローチャート
【図１２】本発明の実施の形態１に係る自動焦点制御の動作を示すフローチャート
【図１３】本発明の実施の形態１に係る撮像装置の撮像信号の座標を説明する図
【図１４】本発明の実施の形態１に係る視差補正の動作を示すフローチャート
【図１５】本発明の実施の形態１に係る撮像装置において、画像伸張を説明する図
【図１６】本発明の実施の形態１に係る撮像装置において、ブロック分割を説明する図
【図１７】本発明の実施の形態１に係る視差演算の動作を示すフローチャート
【図１８】本発明の実施の形態１に係る撮像装置において、視差評価値の演算領域を説明する図
【図１９】本発明の実施の形態１に係る撮像装置の概略の視差と視差評価値との関係を説明する図
【図２０】本発明の実施の形態１に係る撮像装置の詳細な視差と視差評価値との関係を説明する図
【図２１】本発明の実施の形態２に係る撮像装置の構成を示す断面図
【図２２】本発明の実施の形態２に係る撮像装置のブロック図
【図２３】本発明の実施の形態２に係る視差演算の動作を示すフローチャート
【図２４】本発明の実施の形態２に係る撮像装置において、視差評価値の演算領域を説明する図
【図２５】本発明の実施の形態２に係る撮像装置のサブピクセルの視差と視差評価値との関係を説明する図
【図２６】本発明の実施の形態３に係る撮像装置の構成を示す断面図
【図２７】本発明の実施の形態３に係る撮像装置の回路部の上面図
【図２８】本発明の実施の形態３に係る撮像装置のカラーフィルタの特性図
【図２９】本発明の実施の形態３に係る撮像装置のブロック図
【図３０】本発明の実施の形態３に係る撮像装置の動作を示すフローチャート
【図３１】本発明の実施の形態３に係る視差補正の動作を示すフローチャート
【図３２】本発明の実施の形態３に係る撮像装置において、ブロック分割を説明する図
【図３３】本発明の実施の形態３に係る視差演算の動作を示すフローチャート
【図３４】本発明の実施の形態３に係る撮像装置において、視差評価値の演算領域を説明する図
【図３５】特許文献１のカメラモジュールの構成を示す断面図
【図３６】特許文献２のカメラモジュールの一例を示す図
【符号の説明】
【０１９６】
１０１、２０１、３０１  カメラモジュール
１１０、３１０  レンズモジュール
１１１  鏡筒
１１２  上部カバーガラス
１１３、３１３  レンズ
１１３ａ、３１３ａ  第１のレンズ部
１１３ｂ、３１３ｂ  第２のレンズ部
１１３ｃ、３１３ｃ  第３のレンズ部
１１３ｄ、３１３ｄ  第４のレンズ部
１１４  アクチュエータ固定部
１１５  アクチュエータ可動部
１２０、２２０、３２０  回路部
１２１  基板
１２２  パッケージ
１２３  撮像素子
１２３ａ  第１の撮像素子
１２３ｂ  第２の撮像素子
１２３ｃ  第３の撮像素子
１２３ｄ  第４の撮像素子
１２４、３２４  パッケージカバーガラス
１２４ａ、３２４ａ  第１のカラーフィルタ
１２４ｂ、３２４ｂ  第２のカラーフィルタ
１２４ｃ、３２４ｃ  第３のカラーフィルタ
１２４ｄ、３２４ｄ  第４のカラーフィルタ
１２４ｅ  遮光部
１２５、２２５、３２５  ＳＬＳＩ
１２６  アンプ
１３１、２３１、３３１  システム制御部
１３２  撮像素子駆動部
１３３  撮像信号入力部
１３３ａ  第１の撮像信号入力部
１３３ｂ  第２の撮像信号入力部
１３３ｃ  第３の撮像信号入力部
１３３ｄ  第４の撮像信号入力部
１３４  アクチュエータ操作量出力部
１３５、２３５、３３５  画像処理部
１３６  入出力部
１４１  自動焦点制御部
１４２  画像伸張部
１４３、３４３  ブロック分割部
１４４、２４４、３４４  視差演算部
１４５、３４５  視差補正部
１４６  距離演算部
【図１】
2007235862.tif 000003
【図２】
2007235862.tif 000004
【図３】
2007235862.tif 000005
【図４】
2007235862.tif 000006
【図５】
2007235862.tif 000007
【図６】
2007235862.tif 000008
【図７】
2007235862.tif 000009
【図８】
2007235862.tif 000010
【図９】
2007235862.tif 000011
【図１０】
2007235862.tif 000012
【図１１】
2007235862.tif 000013
【図１２】
2007235862.tif 000014
【図１３】
2007235862.tif 000015
【図１４】
2007235862.tif 000016
【図１５】
2007235862.tif 000017
【図１６】
2007235862.tif 000018
【図１７】
2007235862.tif 000019
【図１８】
2007235862.tif 000020
【図１９】
2007235862.tif 000021
【図２０】
2007235862.tif 000022
【図２１】
2007235862.tif 000023
【図２２】
2007235862.tif 000024
【図２３】
2007235862.tif 000025
【図２４】
2007235862.tif 000026
【図２５】
2007235862.tif 000027
【図２６】
2007235862.tif 000028
【図２７】
2007235862.tif 000029
【図２８】
2007235862.tif 000030
【図２９】
2007235862.tif 000031
【図３０】
2007235862.tif 000032
【図３１】
2007235862.tif 000033
【図３２】
2007235862.tif 000034
【図３３】
2007235862.tif 000035
【図３４】
2007235862.tif 000036
【図３５】
2007235862.tif 000037
【図３６】
2007235862.tif 000038