(57)【要約】色情報毎に視差を有する複眼光学系を備えた撮像装置において、周辺部の偽色の発生を防止する。複数のレンズ部と、前記各レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備え、撮像信号を出力する複数の撮像領域と、前記複数の撮像信号のいずれか１つを基準撮像信号（Ｇ０）とし、基準撮像信号（Ｇ０）に対する他の撮像信号の視差量を演算する視差演算部と、基準撮像信号（Ｇ０）以外の撮像信号において視差により欠落する像を含む可能性がある領域（ｘ方向においてｄｍｉｎｘ，ｙ方向においてｄｍｉｎｙ）の画素から得られる画素信号を削除して得られる有効画素信号と前記視差量とに基づいて、前記複数の撮像信号を補正して合成することにより、合成画像を生成する撮像装置。
2007119468.tif 000002
【特許請求の範囲】
【請求項１】
それぞれが少なくとも１枚のレンズを含む複数のレンズ部と、
前記複数のレンズ部に一対一に対応し、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備え、撮像信号をそれぞれ出力する複数の撮像領域と、
前記複数の撮像領域からそれぞれ出力される撮像信号のいずれか１つを基準撮像信号とし、当該基準撮像信号に対する他の撮像信号の視差量を演算する視差演算部と、
前記基準撮像信号以外の撮像信号において視差により欠落する像を含む可能性がある領域の画素から得られる画素信号を前記基準撮像信号から削除して得られる有効画素信号を出力する有効画素領域補正部とを備えたことを特徴とする撮像装置。
【請求項２】
前記有効画素領域補正部から出力された有効画素信号と前記視差演算部で演算された視差量とに基づいて、前記複数の撮像信号を補正して合成することにより合成画像を生成して出力する画像合成部をさらに備えた、請求項１に記載の撮像装置。
【請求項３】
前記有効画素領域補正部から出力された有効画素信号と前記視差演算部で演算された視差量とに基づいて、被写体までの距離を算出する距離算出部をさらに備えた、請求項１に記載の撮像装置。
【請求項４】
前記有効画素領域補正部が、視差により欠落する像を含む可能性がある領域の範囲を、最短被写体距離にある被写体に対する視差量から求める、請求項１〜３のいずれか一項に記載の撮像装置。
【請求項５】
前記複数の撮像領域が、縦２列、横２行に設けられた第１〜第４の撮像領域であり、
前記視差演算部は、前記第１の撮像領域から出力される撮像信号を基準撮像信号とし、
前記有効画素領域補正部は、前記第１の撮像領域に横方向において隣接する第２の撮像領域から出力される第２の撮像信号が前記基準撮像信号に対して有する視差の方向の正方向に位置する辺と、前記第１の撮像領域に縦方向において隣接する第３の撮像領域から出力される第３の撮像信号が前記基準撮像信号に対して有する視差の方向の正方向に位置する辺の画素から得られる画素信号を、前記基準撮像信号から削除する、請求項１〜４のいずれか一項に記載の撮像装置。
【請求項６】
前記第１〜第４の撮像領域において対角方向に配置された第１の撮像領域と第４の撮像領域とが同じ波長領域に感度を有し、第２の撮像領域および第３の撮像領域は、前記第１および第４の撮像領域とは異なり、かつ互いに異なる波長領域に感度を有し、
前記視差演算部は、前記第１の撮像領域から出力される撮像信号を基準撮像信号とし、前記第４の撮像領域から出力される第４の撮像信号が前記基準撮像信号に対して有する視差量を求め、当該視差量をベクトル分解することにより、前記第２の撮像信号が前記基準撮像信号に対して有する視差量と、前記第３の撮像信号が前記基準撮像信号に対して有する視差量とをそれぞれ求める、請求項５に記載の撮像装置。
【請求項７】
前記第１および第２の撮像領域が緑の波長領域に感度を有し、前記第２および第３の撮像領域が赤および青の波長領域にそれぞれ感度を有する、請求項６に記載の撮像装置。
【請求項８】
前記基準撮像信号において、前記基準撮像信号以外の撮像信号において視差により欠落する像を含む可能性がある領域をブロックに分割し、各ブロックについて視差量を求め、求められた視差量に基づいて、当該ブロックが前記基準撮像信号以外の撮像信号において実際に欠落するか否かを判定する欠落判定部をさらに備え、
前記有効画素領域補正部は、前記欠落判定部によって欠落しないと判定されたブロックの画素を前記有効画素信号に含める、請求項１〜７のいずれか一項に記載の撮像装置。
【請求項９】
それぞれが少なくとも１枚のレンズを含む複数のレンズ部と、
前記複数のレンズ部に一対一に対応し、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備え、撮像信号をそれぞれ出力する複数の撮像領域と、
前記複数の撮像領域からそれぞれ出力される撮像信号のいずれか１つを基準撮像信号とし、当該基準撮像信号に対する他の撮像信号の視差量を演算する視差演算部とを備え、
前記複数の撮像領域のうち、前記基準撮像信号を出力する基準撮像領域以外の撮像領域が、基準撮像領域の受光面よりも大きい受光面を有することを特徴とする撮像装置。
【請求項１０】
前記視差量に基づいて前記複数の撮像信号を補正して合成することにより合成画像を生成して出力する画像合成部をさらに備えた、請求項９に記載の撮像装置。
【請求項１１】
前記基準撮像信号と前記視差演算部で演算された視差量とに基づいて、被写体までの距離を算出する距離算出部をさらに備えた、請求項９に記載の撮像装置。
【請求項１２】
前記基準撮像領域以外の撮像領域のうち、前記基準撮像領域に隣接する撮像領域は、前記基準撮像領域と比較して、前記基準撮像領域に隣接する辺に対向する辺側に受光面が拡大されており、前記基準撮像領域に対角配置された撮像領域は、前記基準撮像領域と比較して、前記基準撮像領域に遠い２辺側に受光面が拡大されている、請求項９〜１１のいずれか一項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、複数の撮像光学系を用いて得られた複数の画像から視差補正を行うことにより１つの高精細画像を合成する撮像装置、および求めた視差量に基づいて被写体までの距離を算出する撮像装置に関するものである。
【背景技術】
【０００２】  近年の薄型デジタルカメラの需要の高まりに伴い、複数のレンズとイメージセンサを使って単一の被写体を撮影し、それぞれ得られた像を合成して単一の高画質な２次元画像を得ることを目的とした撮像装置が提案されている。【０００３】  図１７を参照しながら、このような従来の撮像装置の一例について説明する。図１７（ａ）に示した従来の撮像装置では、１０１はモールドなどで一体的に作られた撮像レンズである。撮像レンズ１０１は、後述のＣ−ＭＯＳセンサ１０３の３色の画素毎に分割されたセンサ部１０３ａ，１０３ｂ，１０３ｃに被写体像を結像させるためのＲ波長用レンズ１０１ａ、Ｇ波長用レンズ１０１ｂ、Ｂ波長用レンズ１０１ｃを有している。【０００４】  １０２は、それぞれのレンズ１０１ａ〜１０１ｃの絞りであって、一体的に構成されている。絞り１０２には、更にＲ波長透過フィルタ１０２ａ、Ｇ波長透過フィルタ１０２ｂ、Ｂ波長透過フィルタ１０２ｃが一体的に構成されている。【０００５】  １０３は不図示の画像処理回路などが一体に構成されているＣ−ＭＯＳセンサで、図１７（ｂ）に示すように、それぞれＲ，Ｇ，Ｂ用のセンサ１０３ａ、１０３ｂ、１０３ｃが平面的に独立して構成されている。このため、従来のベイヤ配列のセンサに比べ、同じ画素サイズと画素数であれば、レンズの焦点距離が（１／３）１／２で済み、光軸方向の厚みを薄く構成できる（特許第３３９７７５８号公報参照）。
【発明の開示】
【発明が解決しようとする課題】
【０００６】  しかしながら、このような従来の薄型化撮像装置では、３つの異なるセンサ部に結像された画像を１つの画像に合成する必要がある。通常、図１７のように、光軸が複数個存在する光学系においては、同じ被写体を撮影しても、センサ部１０３ａ、１０３ｂ、１０３ｃでは、それぞれのセンサ部の光軸中心からの相対値がずれて結像される。このずれが、視差である。視差は、被写体の距離に依存し、基準とする撮像レンズおよびセンサ部と被写体との位置関係により、視差の発生する方向も決まる。【０００７】  ここで、図１８に、センサ部１０３ａ、１０３ｂ、１０３ｃに結像された画像の一例を示す。撮像レンズ１０１ｂおよびセンサ部１０３ｂを基準とすると、センサ部１０３ａに結像する像１０４ａは、センサ部１０３ｂに結像する像１０４ｂを、視差量分だけｙ方向に移動させたものとなる。また、センサ部１０３ｃに結像する像１０４ｃは、センサ部１０３ｂの像１０４ｂを、ｙの負の方向に視差量だけ移動させたものとなる。【０００８】  センサ部１０３ａ、１０３ｂ、１０３ｃに結像された画像を１つの画像に合成する際には、視差を検出し、その視差を補正して画像を組み合わせる必要がある。ところが、図１８から分かるように、Ｇ用のセンサ部１０３ｂに結像する像１０４ｂに比べると、Ｒ用のセンサ部１０３ａに結像する像１０４ａはｙの正の方向の画像が欠落したものとなっている。また、一方、Ｂ用のセンサ部１０３ｃに結像する像１０４ｃはｙの負の方向の画像が欠落している。従って、像１０４ａ、１０４ｂ、１０４ｃを合成しても、全ての色情報を有する領域の画像（被写体の一部）しか作り出せないことが分かる。言い換えると、画像の周辺部に偽色（本来の色と違う色で再現される箇所）が発生するという課題がある。【０００９】  また、視差を利用して距離を測る機能を付加する場合においても、画像の周辺部に位置する被写体については距離を測ることが不可能となるという課題もある。【００１０】  本発明はこのような問題を解決するためになされたものであり、色情報毎に視差を有する複眼光学系において従来課題であった、画像の周辺部の画像が視差によって欠落することに伴う不具合が解消された撮像装置を提供することを目的とする。より具体的には、視差を考慮して有効画素領域を補正することにより、画像の周辺部に偽色を有しない画像を再現することを可能とすること、および、画像の周辺部においても測距を可能とすることを実現する薄型の撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】  前記の目的を達成するために、本発明にかかる第１の撮像装置は、それぞれが少なくとも１枚のレンズを含む複数のレンズ部と、前記複数のレンズ部に一対一に対応し、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備え、撮像信号をそれぞれ出力する複数の撮像領域と、前記複数の撮像領域からそれぞれ出力される撮像信号のいずれか１つを基準撮像信号とし、当該基準撮像信号に対する他の撮像信号の視差量を演算する視差演算部と、前記基準撮像信号以外の撮像信号において視差により欠落する像を含む可能性がある領域の画素から得られる画素信号を前記基準撮像信号から削除して得られる有効画素信号を出力する有効画素領域補正部とを備えたことを特徴とする。【００１２】  上記の構成によれば、有効画素領域補正部が、基準撮像信号以外の撮像信号において視差により欠落する像を含む可能性がある領域の画素から得られる画素信号を前記基準撮像信号から削除して得られる有効画素信号を出力する。これにより、この有効画素信号を用いれば、色情報毎に視差を有する複眼光学系において従来課題であった、画像の周辺部の画像が視差によって欠落することに伴って後段の処理で生じる不具合が解消される。【００１３】  後段の処理としては、例えば、（１）前記有効画素領域補正部から出力された有効画素信号と前記視差演算部で演算された視差量とに基づいて、前記複数の撮像信号を補正して合成することにより合成画像を生成して出力する画像合成処理や、（２）前記有効画素領域補正部から出力された有効画素信号と前記視差演算部で演算された視差量とに基づいて、被写体までの距離を算出する距離算出処理などがある。【００１４】  すなわち、上記（１）の画像合成処理を行うための画像合成部をさらに備えた構成によれば、前記有効画素領域補正部から出力された有効画素信号と前記視差演算部で演算された視差量とに基づいて、前記複数の撮像信号を補正して合成するので、画像の周辺部に偽色を有しない画像を再現できる。【００１５】  また、上記（２）の距離算出処理を行うための距離算出部をさらに備えた構成によれば、有効画素領域補正部から出力された有効画素信号と前記視差演算部で演算された視差量とに基づいて、被写体までの距離を算出するので、画像の周辺部においても測距が可能となる。【００１６】  上記の第１の撮像装置において、前記有効画素領域補正部が、視差により欠落する像を含む可能性がある領域の範囲を、最短被写体距離にある被写体に対する視差量から求めることが好ましい。【００１７】  上記の第１の撮像装置において、前記複数の撮像領域が、縦２列、横２行に設けられた第１〜第４の撮像領域であり、前記視差演算部は、前記第１の撮像領域から出力される撮像信号を基準撮像信号とし、前記有効画素領域補正部は、前記第１の撮像領域に横方向において隣接する第２の撮像領域から出力される第２の撮像信号が前記基準撮像信号に対して有する視差の方向の正方向に位置する辺と、前記第１の撮像領域に縦方向において隣接する第３の撮像領域から出力される第３の撮像信号が前記基準撮像信号に対して有する視差の方向の正方向に位置する辺の画素から得られる画素信号を、前記基準撮像信号から削除���ることが好ましい。【００１８】  さらに、上記の第１の撮像装置は、前記第１〜第４の撮像領域において対角方向に配置された第１の撮像領域と第４の撮像領域とが同じ波長領域に感度を有し、第２の撮像領域および第３の撮像領域は、前記第１および第４の撮像領域とは異なり、かつ互いに異なる波長領域に感度を有し、前記視差演算部は、前記第１の撮像領域から出力される撮像信号を基準撮像信号とし、前記第４の撮像領域から出力される第４の撮像信号が前記基準撮像信号に対して有する視差量を求め、当該視差量をベクトル分解することにより、前記第２の撮像信号が前記基準撮像信号に対して有する視差量と、前記第３の撮像信号が前記基準撮像信号に対して有する視差量とをそれぞれ求めることが好ましい。【００１９】  上記の第１の撮像装置において、さらに、前記第１および第２の撮像領域が緑の波長領域に感度を有し、前記第２および第３の撮像領域が赤および青の波長領域にそれぞれ感度を有することが好ましい。【００２０】  さらに、上記の第１の撮像装置は、前記基準撮像信号において、前記基準撮像信号以外の撮像信号において視差により欠落する像を含む可能性がある領域をブロックに分割し、各ブロックについて視差量を求め、求められた視差量に基づいて、当該ブロックが前記基準撮像信号以外の撮像信号において実際に欠落するか否かを判定する欠落判定部をさらに備え、前記有効画素領域補正部は、前記欠落判定部によって欠落しないと判定されたブロックの画素を前記有効画素信号に含めることが好ましい。【００２１】  前記の目的を達成するために、本発明にかかる第２の撮像装置は、それぞれが少なくとも１枚のレンズを含む複数のレンズ部と、前記複数のレンズ部に一対一に対応し、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備え、撮像信号をそれぞれ出力する複数の撮像領域と、前記複数の撮像領域からそれぞれ出力される撮像信号のいずれか１つを基準撮像信号とし、当該基準撮像信号に対する他の撮像信号の視差量を演算する視差演算部とを備え、前記複数の撮像領域のうち、前記基準撮像信号を出力する基準撮像領域以外の撮像領域が、基準撮像領域の受光面よりも大きい受光面を有することを特徴とする。【００２２】  上記の第２の撮像装置は、前記視差量に基づいて前記複数の撮像信号を補正して合成することにより合成画像を生成して出力する画像合成部をさらに備えた構成とすれば、画像の周辺部に偽色を有しない画像を再現できるので、好ましい。【００２３】  あるいは、上記の第２の撮像装置は、前記基準撮像信号と前記視差演算部で演算された視差量とに基づいて、被写体までの距離を算出する距離算出部をさらに備えた構成とすれば、画像の周辺部においても測距が可能となるので、好ましい。【００２４】  上記の第２の撮像装置において、前記基準撮像領域以外の撮像領域のうち、前記基準撮像領域に隣接する撮像領域は、前記基準撮像領域と比較して、前記基準撮像領域に隣接する辺に対向する辺側に受光面が拡大されており、前記基準撮像領域に対角配置された撮像領域は、前記基準撮像領域と比較して、前記基準撮像領域に遠い２辺側に受光面が拡大されていることが好ましい。
【発明の効果】
【００２５】  以上のように本発明では、従来から課題となっていた色情報毎に視差を有する複眼光学系において、画像の周辺部の偽色の課題、画像の周辺部において測距が不可能になる課題を改善した撮像装置を提供することができる。
【図面の簡単な説明】
【００２６】
【図１】図１は、本発明の第１の実施形態に係る撮像装置の概略構成を示すブロック図
【図２】図２は、視差発生例の概略図
【図３】図３は、色情報の欠落を発せさせない構成の概略図
【図４】図４は、視差補正アルゴリズムの基本的な流れを示す図
【図５】図５は、検出ブロックを示す図
【図６】図６は、視差量の評価値と第２の検出ブロックの視差量との関係を示す図
【図７】図７は、本発明の第１の実施形態に係る撮像装置の変形例の概略構成を示すブロック図
【図８】図８は、本発明の第２の実施形態に係る撮像装置の概略構成を示すブロック図
【図９】図９は、第２の実施形態に係る撮像装置において、ずれ領域を適当な大きさにブロック分割した状態を示す図
【図１０】図１０は、色情報欠落判定アルゴリズムの流れを示す図
【図１１】図１１は、色情報欠落判定法を説明する図
【図１２】図１２は、第２の実施形態に係る撮像装置における出力画素領域の拡大処理を説明する図
【図１３】図１３は、本発明の第３の実施形態に係る撮像装置において、撮像光学系側から見た各イメージセンサの大きさを示す平面図
【図１４】図１４は、第３の実施の形態の効果を示す図
【図１５】図１５は、第１〜第３の実施形態にかかる撮像装置の変形例を示す斜視図
【図１６】図１６は、第１〜第３の実施形態にかかる撮像装置のさらなる変形例の説明図
【図１７】図１７は、従来の撮像装置の構成を示す図
【図１８】図１８は、従来の撮像装置において生じる視差を説明する図
【図１９】図１９は、本発明の撮像装置の断面図
【図２０】図２０は、本発明の撮像装置の実施例を示す図
【図２１】図２１は、本発明の撮像装置の別の実施例を示す図
【図２２】図２２は、本発明の第３の実施形態に係る撮像装置変形例の概略構成を示すブロック図
【図２３】図２３は、本発明の第３の実施形態に係る撮像装置変形例の撮像光学系側から見た各イメージセンサの大きさを示す平面図
【図２４】図２４は、本発明の第３の実施形態に係る撮像装置変形例の効果を示す図
【発明を実施するための最良の形態】
【００２７】  （第１の実施の形態）
以下、本発明の第１の実施の形態について、図面を参照しながら説明する。【００２８】  図１は、本発明の実施形態に係る撮像装置の概略構成図である。図１において、１〜４は、それぞれが少なくとも１つのレンズを含む撮影光学系である。撮像光学系１〜４のそれぞれに対応して、イメージセンサ５〜８が設けられている。イメージセンサ５〜８のそれぞれには、撮像光学系１〜４のそれぞれを介して、同一被写体が結像される。【００２９】  本実施形態では、カラー画像を撮影するために、イメージセンサ５〜８のうち、対角線上に配置されたイメージセンサ５、７は緑色波長帯域を撮像し、イメージセンサ６は赤色波長帯域を撮像し、イメージセンサ８は青色波長帯域を撮像する。この波長選択性は、イメージセンサに波長依存性を持たせることで実現しても良いし、波長選択性のあるフィルタ（カラーフィルタ）などを挿入することにより実現しても良い。【００３０】  イメージセンサ５〜８のそれぞれの撮像信号は、それぞれ、Ｒ信号処理回路１２、Ｇ信号処理回路１０，１１およびＢ信号処理回路９により画像処理された後、視差演算回路１４へ送られる。視差演算回路１４では、Ｒ信号処理回路１２、Ｇ信号処理回路１０，１１およびＢ信号処理回路９から受け取った信号のいずれかを基準信号として、この基準信号に対する他の信号の視差量を求める。視差演算回路１４で求められた視差量は、Ｒ信号、Ｇ信号、Ｂ信号と共に画像合成回路１６へ送られる。有効画素領域補正回路１３は、前記基準撮像信号以外の撮像信号において、視差により欠落する像を含む可能性がある領域の画素から得られる画素信号を、前記基準撮像信号から削除し、その結果として得られる有効画素信号を画像合成回路１６へ出力する。画像合成回路１６は、前記有効画素信号と視差量とに基づいて、Ｒ信号、Ｇ信号、およびＢ信号を補正して合成する。これにより、カラー画像が出力される。なお、図１では、主として本発明の特徴に関する構成要素のみを図示したが、本発明の撮像装置を実施する場合、図１に示した構成要素以外に、各種の補正処理や前処理等、任意の画像処理を行う回路が設けられていても良い。【００３１】  ここで、まず簡単に画像合成の流れを説明する。本実施形態の撮像装置においては、図１に示すように、緑色波長帯域の撮像光学系１，３およびイメージセンサ５，７は、対角方向に配されて構成されている。本実施形態では、視差演算回路１４は、緑色の画像信号を出力するイメージセンサ５，７のうち、イメージセンサ５から出力された画像を基準画像（Ｇ０と表記する。）とし、この基準画像Ｇ０とイメージセンサ７から出力された画像（Ｇ１と表記する。）とを比較することにより、視差量を計算するものとする。ただし、複数の撮像光学系によって結像される画像のうちどれを基準画像とするかは、任意の設計事項である。【００３２】  画像には種々の距離にある被写体が同時に写り込むために、本実施形態の撮像装置の視差演算回路１４は、比較対象の画像のそれぞれを小ブロックに分割し、それぞれのブロック単位で視差量を計算することにより、画像全体の視差量を把握する。すなわち、視差演算回路１４は、イメージセンサ５から出力された基準画像Ｇ０とイメージセンサ７��ら出力された画像Ｇ１とをブロック単位で比較することにより、基準画像Ｇ０と画像Ｇ１との視差量を求める。【００３３】  さらに、視差演算回路１４は、イメージセンサ６から出力された画像（Ｒ）が有する視差量と、イメージセンサ８から出力された画像（Ｂ）が有する視差量とを、画像Ｇ１の視差量（基準画像Ｇ０からの視差量）をベクトル分解することにより計算する。すなわち、基準画像Ｇ０から画像Ｇ１に対する視差量を、基準画像Ｇ０からイメージセンサ６の画像Ｒへの方向と、基準画像Ｇ０からイメージセンサ８の画像Ｂへの方向とにベクトル分解することにより、基準画像Ｇ０に対する、画像Ｒの視差量と画像Ｂの視差量とがそれぞれ得られる。【００３４】  このように求められた視差量は、基準画像Ｇ０、画像Ｇ１、画像Ｒ、画像Ｂのそれぞれの信号と共に、画像合成回路１３へ送られる。画像合成回路１３では、画像Ｇ１、画像Ｒおよび画像Ｂの視差量を補正し、基準画像Ｇ０に重ね合わせることによって、カラーの画像を再現する。【００３５】  図２に、イメージセンサ５から出力された画像Ｇ０と、イメージセンサ７から出力された画像Ｇ１との間の視差発生例を概略的に示す。図２において、Ｇ０ｃは、撮像光学系１とイメージセンサ５で決定される光軸がイメージセンサ５と交差する画像上の点、すなわちイメージセンサ５の画像Ｇ０の中心を示す。Ｇ１ｃも同様に、撮像光学系３とイメージセンサ７で決定される光軸がイメージセンサ７と交差する画像上の点、すなわちイメージセンサ７の画像Ｇ１の中心を示す。【００３６】  １７ａ、１８ａは、イメージセンサ５に対してそれぞれが異なる距離で設置された被写体を撮影した場合の被写体画像である。１７ａは遠距離物体の画像であり、１８ａは近距離物体の画像である。また、１７ｂ、１８ｂは、イメージセンサ７から出力された被写体画像であり、１７ｂは遠距離物体の画像、１８ｂは近距離物体の画像である。なお、１７ａ，１７ｂは同じ物体の画像であり、１８ａ，１８ｂも同じ物体の画像である。【００３７】  図２から分かるように、遠距離物体画像１７ａと遠距離物体画像１７ｂとは、視差がほとんどなく、イメージセンサ５，７のそれぞれの画像Ｇ０，Ｇ１中のほとんど同じ位置に、画像として再現されている。一方、近距離物体画像１８ａと近距離物体画像１８ｂとは、大きな視差を有する。従って、近距離物体画像１８ｂは、図２に示すように、画像情報の一部が欠落した画像として再現される可能性を有する。なお、イメージセンサ５の基準画像Ｇ０内の近距離物体画像１８ａに対する、イメージセンサ７の画像Ｇ１内の近距離物体画像１８ｂの視差発生方向は、イメージセンサ側から被写体方向をみて、撮像光学系３の光軸がイメージセンサ７と交差する点から、撮像光学系１の光軸がイメージセンサ５と交差する点へ向かうベクトルの方向である。本実施形態の撮像装置においては、視差を有するイメージセンサ５〜８のそれぞれで得られる画像から抽出した色情報を用いても、以下に説明するように、偽色のない合成画像が得られる。【００３８】  図３を参照し、本実施形態の撮像装置において、色情報の欠落を発生させない原理を説明する。図３は、イメージセンサ５から出力された被写体画像である。��３において斜線を付した領域は、イメージセンサ５から出力された画像を基準画像とする場合に、基準画像中のこの斜線の領域内に最短被写体距離に位置する物体が写り込むと、視差によりイメージセンサ７では当該物体の画像が欠落してしまう領域（以下、「ずれ領域」と称する。）である。従って、図３のずれ領域に最短被写体距離に位置する物体が写り込むと、このずれ領域の色情報が欠落する可能性がある。また、イメージセンサ６から出力された画像およびイメージセンサ８から出力された画像のそれぞれにおいても、同様に、イメージセンサ５から出力された画像との視差により、ずれ領域が存在する。このため、本実施形態の撮像装置は、有効画素領域補正回路１３において基準画像からこのずれ領域の画素情報を削除して得られた有効画素領域のみについて、画像合成回路１６が、イメージセンサ５〜８のそれぞれで得られた画像を１つの画像に合成する。【００３９】  画素情報を削除すべきずれ領域の位置および範囲は、撮像光学系１〜４およびイメージセンサ５〜８との位置関係により決定される。本実施形態では、図３に示すように、基準画像Ｇ０の二辺の画素をＬ字状に削除した上で合成画像を作成する。なお、図３に示すＶ５−６は、イメージセンサ５から出力された基準画像Ｇ０に対する、イメージセンサ６から出力された画像の視差方向であり、Ｖ５−８は、イメージセンサ５から出力された基準画像Ｇ０に対する、イメージセンサ８から出力された画像の視差方向である。【００４０】  また、本実施形態では、有効画素領域補正回路１３において画素を削除する領域（ずれ領域）の大きさは最短被写体距離によって決まる。最短被写体距離とは、撮像装置が設計上対応可能な、最も近い被写体までの距離を示す。ずれ領域の大きさは、例えば、以下のように求めることができる。最短被写体距離をＡｍｉｎ、撮像光学系１〜４の焦点距離をｆ、撮像光学系１と撮像光学系３との光軸間距離をＤ、イメージセンサ５〜８の画素ピッチをｐとすると、最短被写体距離Ａｍｉｎにある被写体のイメージセンサ５から出力される画像Ｇ０と、イメージセンサ７から出力される画像Ｇ１との視差量ｄｍｉｎは、下記の（数２）により得ることができる。なお、（数２）は、（数１）の条件を満たす時に成立する近似式であるが、通常、最短被写体距離Ａｍｉｎは焦点距離ｆの１０倍以上であるため、近似式を利用しても全く問題はない。
【数１】
2007119468.tif 000003
【数２】
2007119468.tif 000004
ここで、視差量ｄｍｉｎのｘ方向成分をｄｍｉｎｘ、ｙ方向成分をｄｍｉｎｙとすると、これらは下記の（数３）および（数４）で表記される。
【数３】
2007119468.tif 000005
【数４】
2007119468.tif 000006
また、本発明の実施形態にかかる撮像装置の仕様はこれらの具体的な数値に限定されないが、具体的な数値として例えば、
Ｄ＝５ｍｍ
ｆ＝４．５ｍｍ
Ａｍｉｎ＝１０ｃｍ
ｐ＝３μｍ
ｃｏｓθ＝４／５
ｓｉｎθ＝３／５
のとき、最短被写体距離にある被写体を撮影した場合の視差量ｄｍｉｎ、ｄｍｉｎｘ、ｄｍｉｎｙは、７５画素、６０画素、４５画素となる（図３参照）。従って、この場合は、画像合成回路１３は、基準画像Ｇ０において、Ｖ５−６の正方向側の辺に沿って６０画素、Ｖ５−８の正方向側の辺に沿って４５画素をＬ字状に削除することにより、水平方向の画素数が（Ｈ−６０）画素、垂直方向の画素数が（Ｖ−４５）画素の矩形の合成画像を作成する。【００４１】  上記のとおり、本実施形態にかかる撮像装置では、有効画素領域補正回路１３において、色情報が欠落する可能性のある領域（ずれ領域）の画像情報を破棄し、画像合成回路１６が、色情報が完全に揃った領域（図３に示す領域Ｇ０Ｓ）の画像情報のみを用いてカラー画像を合成する。以降、この領域Ｇ０Ｓを出力画素領域と称する。【００４２】  次に、図３中の出力画素領域Ｇ０Ｓの視差量抽出について、図４、図５を用いて説明する。図４は、視差補正アルゴリズムの基本的な流れを示す図である。図５は、イメージセンサ５、７上の検出ブロックを示す図である。【００４３】  視差補正アルゴリズムのステップＳ１０１において、ブロック抽出処理を行う。ここで、最初に、イメージセンサ５の出力画素領域Ｇ０Ｓを均等なブロックに分割する。その中の１つのブロック（第１の検出ブロック２０４）について以下の処理を説明するが、同様の処理を分割したすべてのブロックに対して実施する。第１の検出ブロック２０４は、８×８画素から６４×６４画素程度のサイズが適当である。なお、撮像光学系の倍率を大きくした場合には、検出ブロック２０４の画素サイズを小さくすることが好ましい。さらに、画像Ｇ１にも、第１の検出ブロック２０４と同じサイズの第２の検出ブロック２０５を設定する。【００４４】  次に、ステップＳ１０３において、基準画像Ｇ０の第１の検出ブロック２０４と同じ画像情報を有するブロックを画像Ｇ１から探索するために、視差量評価値を計算する。視差量評価値計算処理の一具体例について、以下に説明する。図５において、ステップＳ１０１で画像Ｇ１上に設定した第２の検出ブロック２０５を、ｘ軸方向にｋ画素だけ移動し、ｙ軸方向にｊ画素だけ移動すると、第２の検出ブロックは２０６の位置に移動する。そして、第１の検出ブロック２０４と移動後の第２の検出ブロック２０６とについて、各検出ブロック内における対応画素の出力値の差を計算し、その差を、検出ブロック内の全ての画素について合計したものを、第２の検出ブロック２０６の位置における視差量評価値とする。なお、視差量評価値の算出方法は、これに限定されない。【００４５】  第１の検出ブロック２０４内の画素（ａ、ｂ）における画素からの出力値をＧＧ１（ａ、ｂ）とし、第２の検出ブロック２０６内の画素（ａ、ｂ）における画素からの出力値をＧＧ２（ａ、ｂ）とすると、視差量評価値Ｒ（ｋ、ｊ）は、下記の（数５）により求められる。【００４６】
【数５】
2007119468.tif 000007
【００４７】  この視差量評価値Ｒ（ｋ、ｊ）は、視差量（ｋ、ｊ）だけ移動した第２の検出ブロック２０６が、第１の検出ブロック２０４とどれだけ相関があるかを示し、値が小さいほど２つの検出ブロックが類似していることを示している。【００４８】  図６に、視差量の評価値と第２の検出ブロックの視差量との関係を示す。図６は、横軸にｘ方向の移動画素数（ｋ）、縦軸に視差量評価値（Ｒ）をプロットしたものである。視差量評価値はｋの値に連動して変化し、類似度が高くなると値が著しく小さくなる。図６ではｋ＝ｋ１の時に最小値をとっている。なお、図６では、ｊの値をｊ＝ｊ１に固定し、ｋの値のみを変化させた場合について示したが、同様の変化が、ｊの値を変化させた場合についても発生する。従って、ステップＳ１０３の視差量評価値計算処理では、所定の範囲の取りうる全てのｋの値及びｊの値について反復処理を行う。通常、視差が発生する方向は、イメージセンサ５〜８の相互の位置関係で一義的に決定される。従って、視差量評価値計算時の第２の検出ブロックの抽出も、この法則に従って抽出することにより、大幅に計算効率を向上することができる。【００４９】  次に、ステップＳ１０４において、ステップＳ１０３で求めた各視差量評価値から最小値を抽出する。ここでは、上記アルゴリズムで得られた視差量の評価値計算の結果を比較し、その最小値を求める。そして、ステップＳ１０５において、最小値が得られたときの視差量（ｋ、ｊ）の抽出を行い、視差量を決定する。ｋ＝ｋ１、ｊ＝ｊ１のとき最小値が得られたと仮定すると、基準画像Ｇ０上の第１の検出ブロック２０４の画像情報は、画像Ｇ１上の、ｘ方向にｋ１画素、ｙ方向にｊ１画素移動した時の第２の検知ブロック２０６の画像情報と一致していると判断し、視差量（ｋ１、ｊ１）を抽出し、これを第１の検出ブロック２０４の視差量とする（ｄｘ＝ｋ１，ｄｙ＝ｊ１）。この一連の処理を、イメージセンサ５の基準画像Ｇ０内の出力画素領域Ｇ０Ｓに設定した全ての検出ブロックについて行い、視差量を決定する。以上の処理を視差演算回路１４が行うことによって、基準画像Ｇ０に対する画像Ｇ１の視差量が求められる。【００５０】  そして、イメージセンサ７から出力される画像Ｇ１について得られた視差量を基に、イメージセンサ６から出力される画像Ｒ、イメージセンサ８から出力される画像Ｂの視差量を計算し、画像合成回路１６において、それぞれの画像を補正し、基準画像Ｇ０上に重ね合わせることにより、カラーの画像が合成される。なお、本実施形態の撮像装置においては、基準画像Ｇ０上においてずれ領域に相当する画素の情報は、合成画像を作成する前に、有効画素領域補正回路１３によって全て破棄されている。【００５１】  本実施形態の構成により、色情報毎に視差を有する複眼光学系において、課題であった周辺部の偽色の課題を改善することが出来る。【００５２】  なお、本実施形態において、イメージセンサを４つ使った構成を説明してきたが、本発明はその構成だけではなく、１つのイメージセンサを４つの撮像領域に分割して使用する場合や、２つのイメージセンサをそれぞれ２つの撮像領域に分割し使用する場合についても同様の効果があることは言うまでもない。【００５３】  さらに、複数組の同波長帯域の画像から視差を抽出し、抽出した視差に基づいて被写体までの距離を計測する撮像装置においても、本実施形態のようにずれ領域に相当する画素の情報を破棄することにより、画像の周辺部に測距が不可能な部分が生じるという、従来の課題を解決できる。本実施形態において上記で説明したような、複数の撮像領域で得られた画像を合成することによってカラー画像を作り出す処理と、複数の撮像領域で得られた画像を用いて被写体までの距離を計測する処理（測距処理）とは、画像から抽出した視差量に基づいて処理を行う点において共通である。従って、測距処理についても本実施形態を適用することにより、画像の周辺部に測距が不可能な部分が生じるという従来の課題を解決できる。例えば、図１の構成における画像合成回路１６の代わりに、図７に示すように、イメージセンサ５，７の画像から抽出した視差に基づいて被写体までの距離を算出する距離算出回路１９を設けることにより、測距処理を行う撮像装置を容易に構成することができる。なお、画像合成回路１６と距離算出回路１９との両方を備えたことによって、カラー画像出力処理と測距処理との両方が可能な撮像装置も、本発明の一つの実施形態である。【００５４】  なお、本実施形態にかかる撮像装置を測距装置として用いる場合、視差演算回路１４により２つの光学系における視差量ｄが得られると、距離算出回路１９は、（数６）によって被写体までの距離ｚを得ることができる。なお、数６において、Ｄは２つの光学系の光軸間距離、ｆは光学系の焦点距離、ｄは視差量、ｚは被写体距離である。
【数６】
2007119468.tif 000008
なお、距離を計測する撮像装置においては、４つの撮像領域は必要なく、少なくとも２つの撮像領域があれば、十分に距離計測が可能であることは言うまでもない。【００５５】  （第２の実施の形態）
以下、本発明の第２の実施形態について、図面を参照しながら説明する。【００５６】  前述の第１の実施形態では、最短被写体距離に基づいて、画像の色情報が欠落する可能性がある領域（ずれ領域）を決定し、合成画像を生成する際にずれ領域の画素情報を全て破棄している。これに対し、以下に説明する第２の実施形態では、ずれ領域において、画像を合成する際に実際に色情報が欠落する部分としない部分とを判定し、色情報が欠落しない部分の画素は画像として出力する。すなわち、第１の実施形態では、画像として出力する画素数（出力画素領域の画素数）が少なくなるが、第２の実施形態では、画素数の減少を抑制できる。【００５７】  このため、図８に示すように、第２の実施形態にかかる撮像装置は、第１の実施形態で説明した構成要素に加えて、色情報欠落判定回路１５を備えている。【００５８】  図９は、イメージセンサ５から出力された基準画像Ｇ０におけるずれ領域を適当な大きさにブロック分割した状態を示す図である。図１０は、色情報欠落判定アルゴリズムの流れを示す図である。【００５９】  図１０のステップＳ２０１において、例えば図９に示すように、ずれ領域を適当な大きさの矩形ブロックＢ（ｘ，ｙ）に分割する。なお、（ｘ，ｙ）は各ブロックの代表点（例えば中心点）座標を表すものとする。ブロックサイズは、一般的には、８画素×８画素〜６４画素×６４画素程度が適当である。【００６０】  次に、ステップＳ２０２では、図４に示した視差補正アルゴリズムのＳ１０３〜Ｓ１０５を実行することにより、視差抽出を行い、ステップＳ２０１で分割した全てのブロックＢの視差量を抽出する。【００６１】  さらに、ステップＳ２０３では、ブロックＢのそれぞれについて、画像を合成する際に実際に色情報が欠落するかどうかの判定を行う。ここで、この判定の具体例について、図１１を用いて説明する。図１１において、イメージセンサ５，７から得られる画像Ｇ０，Ｇ１は、ｘ方向にＨ画素、ｙ方向にＶ画素の大きさを有するものとする。画像Ｇ０上のずれ領域におけるブロックＢ（ｘ１，ｙ１）は、ブロックサイズはａ画素×ｂ画素であり、ステップＳ２０１で視差量を抽出した結果、画像Ｇ１上のブロックＢ１に相当するブロックであると判定され、視差量は（ｋ，ｊ）であったものとする。ここで、ブロックＢ１が画像Ｇ１内に存在する条件を満足すれば、ブロックＢは、画像を合成する際に実際には色情報の欠落がないと判定される。以上のことを数式で記述すると、下記の（数７）、（数８）となる。
【数７】
2007119468.tif 000009
【数８】
2007119468.tif 000010
ステップＳ２０３では、色情報欠落判定回路１５が、この条件の満足、不満足を、各ブロックについて確認する。条件が満足されている場合は（ステップＳ２０３の結果がＹ）、ブロックＢを出力画素領域Ｇ０Ｓに追加することにより、有効画素領域補正回路１３で得られた出力画素領域を拡大する（ステップＳ２０４）。そして、条件判定の対象とするブロックを１つシフトし（ステップＳ２０５）、ステップＳ２０３へ戻る。【００６２】  このように、ステップＳ２０３の結果がＹである限り、ステップＳ２０４で出力画素領域が１ブロック分拡大され、さらにステップＳ２０５において、例えば、図１２において１）〜６）の記号を付した矢印で示すように、出力画素領域Ｇ０Ｓの外周に接するブロックから、順次その外側のブロックへと、条件判定の対象とするブロックをシフトさせて、ステップＳ２０３〜Ｓ２０５の処理が反復継続される。つまり、図１２に示すブロックＢ（ｘ１，ｙ１）から処理を開始し、ステップＳ２０３の結果がＹである間、１）の矢印に沿って（すなわち出力画素領域Ｇ０Ｓの外周に沿って）、ｙ座標が増加する方向へ、条件判定の対象とするブロックを順次シフトし、ブロックＢ（ｘ１，ｙ２）に達すると、次に、２）の矢印に沿って、ｘ座標が増加する方向へ、条件判定の対象とするブロックを順次シフトする。そして、図１２に示すブロックＢ（ｘ４，ｙ２）に達すると、条件判定の対象とするブロックをＢ（ｘ２，ｙ１）へシフトする。以降、同様に、３）の矢印に沿って、ブロックＢ（ｘ２，ｙ１）からブロックＢ（ｘ２，ｙ３）へ順次シフトし、さらに４）の矢印に沿って、ブロックＢ（ｘ２，ｙ３）からブロックＢ（ｘ４，ｙ３）へ順次シフトし、５）の矢印に沿って、ブロックＢ（ｘ３，ｙ１）からブロックＢ（ｘ３，ｙ４）へ順次シフトし、さらに６）の矢印に沿って、ブロックＢ（ｘ３，ｙ４）からブロックＢ（ｘ４，ｙ４）へ順次シフトする。【００６３】  ただし、ステップＳ２０３の結果がＮとなった場合は、ステップＳ２０７へ処理が移行する。例えば、図１２に示す３）の矢印に沿ったブロックの処理中に、ブロック群１９ａは上記の条件を満足していたが、ブロック１９ｂで条件が不満足となった場合は、ステップＳ２０３の判定結果がＮとなる。この場合、ステップＳ２０７において、図１２に示す３）の矢印の先頭ブロックに戻り、その矢印内のブロック群をさらに細かいブロックに分割し、細分割後のブロックによって、Ｓ２０２およびＳ２０３を再度実行する。ステップＳ２０７においてブロックサイズが２×２画素程度となるまで細再分割を繰り返してもステップＳ２０３の判定結果がＮである場合は、出力画素領域Ｇ０Ｓのこれ以上の拡大は不可能として、処理を終了する。【００６４】  なお、図１２では、ブロックＢ（ｘ１，ｙ１）から処理を開始する例を示したが、Ｂ（ｘ４，ｙ２）から処理を開始し、２）の矢印に逆行する方向にブロックのシフトを行っても良い。【００６５】  以上の処理により、本実施形態の撮像装置によれば、色情報毎に視差を有する複眼光学系において、周辺部の偽色の課題を改善することに加え、第１の実施形態よりも出力画素領域を大きくすることができるという利点がある。【００６６】  なお、本実施形態において、イメージセンサを４つ使った構成を説明してきたが、本発明はその構成だけではなく、１つのイメージセンサを４つの撮像領域に分割して使用する場合や、２つのイメージセンサをそれぞれ２つの撮像領域に分割し使用する場合についても同様の効果があることは言うまでもない。【００６７】  さらに、複数組の同波長帯域の画像から視差を抽出し、抽出した視差に基づいて被写体までの距離を計測する撮像装置においても、本実施形態のようにずれ領域に相当する画素の情報を破棄することにより、画像の周辺部に測距が不可能な部分が生じるという、従来の課題を解決できる。本実施形態において上記で説明したような、複数の撮像領域で得られた画像を合成することによってカラー画像を作り出す処理と、複数の撮像領域で得られた画像を用いて被写体までの距離を計測する処理（測距処理）とは、画像から抽出した視差量に基づいて処理を行う点において共通である。従って、測距処理についても本実施形態を適用することにより、画像の周辺部に測距が不可能な部分が生じるという従来の課題を解決できる。例えば、図１の構成における画像合成回路１６の代わりに、図７に示すように、イメージセンサ５，７の画像から抽出した視差に基づいて被写体までの距離を算出する距離算出回路１９を設けることにより、測距処理を行う撮像装置を容易に構成することができる。なお、画像合成回路１６と距離算出回路１９との両方を備えたことによって、カラー画像出力処理と測距処理との両方が可能な撮像装置も、本発明の一つの実施形態である。【００６８】  なお、２つの光学系における視差量ｄが得られると、上記の（数６）で被写体までの距離ｚを得ることができる。また、第１の実施の形態と同様に、距離を計測する撮像装置においては、４つの撮像領域は必要なく、少なくとも２つの撮像領域があれば、十分に距離計測が可能であることは言うまでもない。【００６９】  （第３の実施の形態）
以下、本発明の第３の実施の形態について、図面を参照しながら説明する。【００７０】  本実施形態にかかる撮像装置において第１の実施形態と異なる点は、それぞれのイメージセンサの撮像領域の大きさを異ならせて設置することにより、第２の実施形態のような複雑な画像処理なしに、出力画素領域の画素数をできるだけ多くすることを可能とする点である。【００７１】  図１３は、撮像光学系１〜４側から各イメージセンサ５〜８を見た場合の、各イメージセンサの撮像領域の大きさを示す平面図である。ここでは、第１の実施形態や第２の実施形態と同じ機能を有する部分には同じ記号を付すこととした。第１の実施形態と同様に、イメージセンサ５は基準画像Ｇ０を出力し、イメージセンサ６は画像Ｒを出力し、イメージセンサ７は画像Ｇ１を出力し、イメージセンサ８は画像Ｂを出力するものとする。【００７２】  また、図１３において、５ｃは、撮像光学系１とイメージセンサ５で決定される光軸がイメージセンサ５の受光面と交差する点、６ｃは、撮像光学系２とイメージセンサ６で決定される光軸がイメージセンサ６の受光面と交差する点、７ｃは、撮像光学系３とイメージセンサ７で決定される光軸がイメージセンサ７の受光面と交差する点、８ｃは、撮像光学系４とイメージセンサ８で決定される光軸がイメージセンサ８の受光面と交差する点をそれぞれ示す。さらに、イメージセンサ６、７、８内に記した破線は、イメージセンサ５と同じ大きさの撮像領域を示すものである。点５ｃと点６ｃの距離をＤ１とし、点５ｃと点８ｃとの距離をＤ２とした。【００７３】  本実施形態の撮像装置では、図１３からも分かるように、イメージセンサ５〜８の大きさが全て異なっている。具体的には、基準画像Ｇ０を出力するイメージセンサ５が最も小さく、イメージセンサ５と比較して、イメージセンサ６はｘの負の方向に画素数をｄ１だけ拡大した大きさとなっている。また、イメージセンサ８は、イメージセンサ５と比較して、ｙの負の方向に画素数をｄ２だけ拡大した大きさになっている。さらに、イメージセンサ７は、イメージセンサ５と比較して、ｘの負の方向に画素数をｄ１、かつｙの負の方向に画素数をｄ２だけそれぞれ拡大した大きさとなっている。【００７４】  ｘ方向の画素拡大量ｄ１とｙ方向の画素拡大量ｄ２とは、最短被写体距離をＡｍｉｎ、撮像光学系１〜４の焦点距離をｆ、イメージセンサ５〜８の画素ピッチをｐとすると、前述の（数１）の仮定の下で、（数９）、（数１０）で記述することができる。
【数９】
2007119468.tif 000011
【数１０】
2007119468.tif 000012
2007119468.tif 000013
従って、イメージセンサ５の大きさが、Ｈ画素×Ｖ画素であるとすると、イメージセンサ６の大きさは（Ｈ＋ｄ１）画素×Ｖ画素、イメージセンサ７は（Ｈ＋ｄ１）画素×（Ｖ＋ｄ２）画素、イメージセンサ８はＨ画素×（Ｖ＋ｄ２）画素となる。【００７５】  本構成によれば、イメージセンサ５に比べ、イメージセンサ７は大きくなっているため、最短被写体距離において発生する視差を考慮しても、イメージセンサ５の画像情報に匹敵する全ての情報をイメージセンサ７から抽出することが可能となる。【００７６】  具体的には、図１４に示すように、イメージセンサ５の周辺部に結像した近距離物体１８ａは、イメージセンサ７の撮像領域が十分大きいため、情報の欠落無しにイメージセンサ７内に像を結ぶことができる。これにより、第２の実施形態のように複雑な演算処理なしに、従来から課題となっていた色情報毎に視差を有する複眼光学系における周辺部の偽色の課題を改善することに加え、第１の実施形態よりも出力画素領域を大きくすることができる。なお、図１３は、撮像光学系１〜４側からイメージセンサ５〜８の受光面を見た図であり、図１４は、イメージセンサ５〜８のそれぞれから出力される撮像信号を示す図であるため、図１３と図１４とでは上下、左右が逆の関係になっている。さらに、Ｇ１内に記した破線は、Ｇ０と同じ大きさの撮像領域を示すものである。【００７７】  本実施の形態において、イメージセンサを４つ使った構成を説明してきたが、本発明はその構成だけではなく、１つのイメージセンサを４つの撮像領域に分割して使用する場合や、２つのイメージセンサをそれぞれ２つの撮像領域に分割し使用する場合についても同様の効果があることは言うまでもない。【００７８】  ここでさらに、上述した実施形態を実現するためのより具体的な構成例を示す。上記で説明した構成については、上記の説明と同じ参照符号を付記する。【００７９】  図１９は、本発明の一構成例にかかる撮像装置１００の断面図である。図１９の断面は、撮像光学系１〜４の光軸に平行である。図２０は、図１９に示すＡ−Ａ断面における撮像装置１００の断面図である。図１９および図２０において、１０１は第１の鏡筒、１０２は撮像光学系１〜４を保持する第２の鏡筒である。第１の鏡筒１０１は、図２０に示すように、互いに直交する内壁１０１ａ，１０１ｂを有する。この内壁１０１ａ，１０１ｂが１つのイメージセンサを４つの撮像領域に分けることによって、上述のイメージセンサ５〜８として機能するイメージエリア５’〜８’が実現される（図２０参照）。【００８０】  図２０に示した構成では、第１の鏡筒１０１の内壁１０１ａ，１０１ｂは、互いにほぼ中央位置で交差しており、鏡筒内壁をほぼ同じ容積の４つの領域に分割する。つまり、第１の鏡筒１０１は、第２の鏡筒１０２側の４つの開口部が、ほぼ同じ面積を有する。そして、１つのイメージセンサが、その中央位置が、内壁１０１ａ，１０１ｂの交差位置１０１ｃからずれるように配置されていることにより、撮像領域の大きさが互いに異なるイメージエリア５’〜８’が実現されている。このイメージエリア５’〜８’が、上述のイメージセンサ５〜８として機能する。なお、図２０の例では、第１の鏡筒１０１���四角柱であるが、鏡筒の形状は四角柱に限定されない。【００８１】  別の構成例を図２１に示す。図２１において、第１の鏡筒２０１は、互いに直交する内壁２０１ａ，２０１ｂを有する。ただし、図２１に示す第１の鏡筒２０１は、４つの側壁のうち、隣接する２つの側壁２０２ｄ，２０２ｅよりも、他の２つの側壁２０２ｆ，２０２ｇの方が厚い。すなわち、図２１の例では、第１の鏡筒２０１は、第２の鏡筒１０２側の４つの開口部が、互いに異なる面積を有する。そして、１つのイメージセンサが、その中央位置が、内壁２０１ａ，２０１ｂの交差位置２０１ｃに一致するように配置されていることにより、撮像領域の大きさが互いに異なるイメージエリア５’〜８’が実現されている。このイメージエリア５’〜８’が、上述のイメージセンサ５〜８として機能する。【００８２】  すなわち、上記の図１９および図２０に示した構成例と、図２１に示した構成例とのいずれにおいても、撮像領域の大きさが互いに異なるイメージエリア５’〜８’が実現されており、このイメージエリア５’〜８’を備えた撮像装置は、前述した本発明の効果を奏する。【００８３】  さらに、複数組の同波長帯域の画像から視差を抽出し、抽出した視差に基づいて被写体までの距離を計測する撮像装置（例えば、図１の構成において、イメージセンサ５，７の画像から視差を抽出し、抽出した視差に基づいて被写体までの距離を計測する）においても、本実施形態のようにイメージセンサの受光面の大きさを互いに異ならせることにより、画像の周辺部に測距が不可能な部分が生じるという、従来の課題を解決できる。本実施形態において上記で説明したような、複数の撮像領域で得られた画像を合成することによってカラー画像を作り出す処理と、複数の撮像領域で得られた画像を用いて被写体までの距離を計測する処理（測距処理）とは、画像から抽出した視差量に基づいて処理を行う点において共通である。従って、測距処理についても本実施形態を適用することにより、画像の周辺部に測距が不可能な部分が生じるという従来の課題を解決できる。例えば、図１の構成における画像合成回路１６の代わりに、図７に示すように、イメージセンサ５，７の画像から抽出した視差に基づいて被写体までの距離を算出する距離算出回路１９を設けることにより、測距処理を行う撮像装置を容易に構成することができる。なお、画像合成回路１６と距離算出回路１９との両方を備えたことによって、カラー画像出力処理と測距処理との両方が可能な撮像装置も、本発明の一つの実施形態である。【００８４】  なお、２つの光学系における視差量ｄが得られると、上記の（数６）で被写体までの距離ｚを得ることができる。【００８５】  また、第１の実施の形態と同様に、距離を計測する撮像装置においては、４つの撮像領域は必要なく、少なくとも２つの撮像領域があれば、十分に距離計測が可能であることは言うまでもない。【００８６】  具体的には、図２２に示すような撮像装置で、イメージセンサ５，７の画像から抽出した視差に基づいて被写体までの距離を算出する距離算出回路１９を設けることにより、測距処理を行う撮像装置を容易に構成することができる。なお、本実施形態にかかる撮像装置を測距装置として用い���場合、視差演算回路１４により２つの撮像光学系１，３における視差量ｄが得られると、距離算出回路１９は、（数６）によって被写体までの距離ｚを得ることができる。なお、数６において、Ｄは２つの撮像光学系１，３の光軸間距離（図２３中のＤ１）、ｆは撮像光学系１，３の焦点距離、ｄは視差量、ｚは被写体距離である。【００８７】  図２３は、撮像光学系１、３側から各イメージセンサ５、７を見た場合の、各イメージセンサの撮像領域の大きさを示す平面図である。ここでは、第１の実施形態や第２の実施形態と同じ機能を有する部分には同じ記号を付した。第１の実施形態と同様に、イメージセンサ５は基準画像Ｇ０を出力し、イメージセンサ７は画像Ｇ１を出力するものとする。【００８８】  また、図２３において、５ｃは、撮像光学系１とイメージセンサ５で決定される光軸がイメージセンサ５の受光面と交差する点、７ｃは、撮像光学系３とイメージセンサ７で決定される光軸がイメージセンサ７の受光面と交差する点をそれぞれ示す。さらに、イメージセンサ７内に記した破線は、イメージセンサ５と同じ大きさの撮像領域を示すものである。点５ｃと点７ｃの距離をＤ１とした。【００８９】  本実施形態の撮像装置では、図２３からも分かるように、イメージセンサ５、７の大きさが互いに異なっている。具体的には、基準画像Ｇ０を出力するイメージセンサ５の方がイメージセンサ７よりも小さい。イメージセンサ５と比較して、イメージセンサ７は、ｘの負の方向に画素数をｄ１だけ拡大した大きさとなっている。【００９０】  ｘ方向の画素拡大量ｄ１とは、最短被写体距離をＡｍｉｎ、撮像光学系１、３の焦点距離をｆ、イメージセンサ５、７の画素ピッチをｐとすると、前述の（数１）の仮定の下で、（数９）で記述することができる。従って、イメージセンサ５の大きさが、Ｈ画素×Ｖ画素であるとすると、イメージセンサ７の大きさは（Ｈ＋ｄ１）画素×Ｖ画素となる。【００９１】  本構成によれば、イメージセンサ５に比べ、イメージセンサ７が大きいため、最短被写体距離において発生する視差を考慮しても、イメージセンサ５の画像情報に匹敵する全ての情報をイメージセンサ７から抽出することが可能となる。【００９２】  具体的には、図２４に示すように、イメージセンサ５の周辺部に結像した近距離物体１８ａは、イメージセンサ７の撮像領域が十分大きいため、情報の欠落無しにイメージセンサ７内に像を結ぶことができる。これにより、第２の実施形態のように複雑な演算処理なしに、従来から課題となっていた色情報毎に視差を有する複眼光学系における周辺部の偽色の課題を改善することに加え、第１の実施形態よりも出力画素領域を大きくすることができる。なお、図２３は、撮像光学系１、３側からイメージセンサ５、７の受光面を見た図であり、図２４は、イメージセンサ５、７のそれぞれから出力される撮像信号を示す図であるため、図２３と図２４とでは上下、左右が逆の関係になっている。さらに、Ｇ１内に記した破線は、Ｇ０と同じ大きさの撮像領域を示すものである。【００９３】  本実施形態では、２つのイメージセンサが緑色波長帯域を撮像する構成について説明したが、近赤外などの互いに同じ波長の光線を検出する構成によっても同様���効果が得られる。また、それぞれのイメージセンサにベイヤ配列のカラーフィルタなどを形成し、カラー画像を検出する事を可能としても、同様の効果を得ることができる。また、本実施形態では、イメージセンサの横方向（図２２のｘ方向）に、複数個の撮像光学系とイメージセンサとの組合せを配したが、複数個の光学系とイメージセンサの組合せを垂直方向に配しても、同様の効果を得ることは言うまでもない。【００９４】  また、上述の第１〜第３の撮像装置のそれぞれにおいて、図１５に示すように、撮像光学系１〜４を透過した光線が、それぞれに対応するイメージセンサ以外のイメージセンサへ入射することを防止するために、イメージセンサ５〜８の境界部に遮光壁２２を設けることが好ましい。また、この遮光壁２２は、イメージセンサ５〜８の設置面から撮像光学系１〜４の設置面に到達する程度の高さを有していることが、さらに好ましい。【００９５】  また、上記の各実施形態では、４つの撮像光学系と４つのイメージセンサとを備えた撮像装置を例示したため、基準画像の２辺に沿ってＬ字状に画素を削除する例（例えば図３、図９等）や、図１３に示すように、イメージセンサの受光面の大きさを２方向に拡大する例を示した。しかし、例えば、５つの撮像光学系と５つのイメージセンサとを有し、１つのイメージセンサの４辺に隣接するよう４つのイメージセンサが配置された構成も可能である。この構成の場合は、図１６に示すように、中央のイメージセンサから出力される画像Ｐ０を基準画像とし、この基準画像Ｐ０に対する、他のイメージセンサから出力される画像Ｐ１〜Ｐ４の視差をそれぞれ求めて、基準画像Ｐ０に画像Ｐ１〜Ｐ４を視差補正して合成することにより、カラー画像を作成する。この場合は、図１６に斜線を付して示したように、基準画像Ｐ０の４辺に沿って適宜の画素を削除することとなる。
【産業上の利用可能性】
【００９６】  本発明は、薄型でかつ画像の周辺部の偽色発生や画像の周辺部で測距が不可能であることを解決した撮像装置として、例えば、モバイル機器や車載用等の種々の用途の撮像装置として利用可能である。
【図１】
2007119468.tif 000014
【図２】
2007119468.tif 000015
【図３】
2007119468.tif 000016
【図４】
2007119468.tif 000017
【図５】
2007119468.tif 000018
【図６】
2007119468.tif 000019
【図７】
2007119468.tif 000020
【図８】
2007119468.tif 000021
【図９】
2007119468.tif 000022
【図１０】
2007119468.tif 000023
【図１１】
2007119468.tif 000024
【図１２】
2007119468.tif 000025
【図１３】
2007119468.tif 000026
【図１４】
2007119468.tif 000027
【図１５】
2007119468.tif 000028
【図１６】
2007119468.tif 000029
【図１７】
2007119468.tif 000030
【図１８】
2007119468.tif 000031
【図１９】
2007119468.tif 000032
【図２０】
2007119468.tif 000033
【図２１】
2007119468.tif 000034
【図２２】
2007119468.tif 000035
【図２３】
2007119468.tif 000036
【図２４】
2007119468.tif 000037
【手続補正書】
【提出日】平成19年8月30日(2007.8.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
それぞれが少なくとも１枚のレンズを含む複数のレンズ部と、  前記複数のレンズ部に一対一に対応し、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備え、撮像信号をそれぞれ出力する複数の撮像領域と、  前記複数の撮像領域からそれぞれ出力される撮像信号のいずれか１つを基準撮像信号とし、当該基準撮像信号に対する他の撮像信号の視差量を演算する視差演算部と、  前記基準撮像信号以外の撮像信号において視差により欠落する像を含む可能性がある領域の画素から得られる画素信号を前記基準撮像信号から削除して得られる有効画素信号を出力する有効画素領域補正部とを備えたことを特徴とする撮像装置。
【請求項２】
前記有効画素領域補正部から出力された有効画素信号と前記視差演算部で演算された視差量とに基づいて、前記複数の撮像信号を補正して合成することにより合成画像を生成して出力する画像合成部をさらに備えた、請求項１に記載の撮像装置。
【請求項３】
前記有効画素領域補正部から出力された有効画素信号と前記視差演算部で演算された視差量とに基づいて、被写体までの距離を算出する距離算出部をさらに備えた、請求項１に記載の撮像装置。
【請求項４】
前記有効画素領域補正部が、視差により欠落する像を含む可能性がある領域の範囲を、最短被写体距離にある被写体に対する視差量から求める、請求項１〜３のいずれか一項に記載の撮像装置。
【請求項５】
前記複数の撮像領域が、縦２列、横２行に設けられた第１〜第４の撮像領域であり、  前記視差演算部は、前記第１の撮像領域から出力される撮像信号を基準撮像信号とし、
前記有効画素領域補正部は、前記第１の撮像領域に横方向において隣接する第２の撮像領域から出力される第２の撮像信号が前記基準撮像信号に対して有する視差の方向の正方向に位置する辺と、前記第１の撮像領域に縦方向において隣接する第３の撮像領域から出力される第３の撮像信号が前記基準撮像信号に対して有する視差の方向の正方向に位置する辺の画素から得られる画素信号を、前記基準撮像信号から削除する、請求項１〜４のいずれか一項に記載の撮像装置。
【請求項６】
前記第１〜第４の撮像領域において対角方向に配置された第１の撮像領域と第４の撮像領域とが同じ波長領域に感度を有し、第２の撮像領域および第３の撮像領域は、前記第１および第４の撮像領域とは異なり、かつ互いに異なる波長領域に感度を有し、
前記視差演算部は、前記第１の撮像領域から出力される撮像信号を基準撮像信号とし、前記第４の撮像領域から出力される第４の撮像信号が前記基準撮像信号に対して有する視差量を求め、当該視差量をベクトル分解することにより、前記第２の撮像信号が前記基準撮像信号に対して有する視差量と、前記第３の撮像信号が前記基準撮像信号に対して有する視差量とをそれぞれ求める、請求項５に記載の撮像装置。
【請求項７】
前記第１および第４の撮像領域が緑の波長領域に感度を有し、前記第２および第３の撮像領域が赤および青の波長領域にそれぞれ感度を有する、請求項６に記載の撮像装置。
【請求項８】
前記基準撮像信号において、前記基準撮像信号以外の撮像信号において視差により欠落する像を含む可能性がある領域をブロックに分割し、各ブロックについて視差量を求め、求められた視差量に基づいて、当該ブロックが前記基準撮像信号以外の撮像信号において実際に欠落するか否かを判定する欠落判定部をさらに備え、
前記有効画素領域補正部は、前記欠落判定部によって欠落しないと判定されたブロックの画素を前記有効画素信号に含める、請求項１〜７のいずれか一項に記載の撮像装置。
【請求項９】
それぞれが少なくとも１枚のレンズを含む複数のレンズ部と、
前記複数のレンズ部に一対一に対応し、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備え、撮像信号をそれぞれ出力する複数の撮像領域と、
前記複数の撮像領域からそれぞれ出力される撮像信号のいずれか１つを基準撮像信号とし、当該基準撮像信号に対する他の撮像信号の視差量を演算する視差演算部とを備え、  前記複数の撮像領域のうち、前記基準撮像信号を出力する基準撮像領域以外の撮像領域が、基準撮像領域の受光面よりも大きい受光面を有することを特徴とする撮像装置。
【請求項１０】
前記視差量に基づいて前記複数の撮像信号を補正して合成することにより合成画像を生成して出力する画像合成部をさらに備えた、請求項９に記載の撮像装置。
【請求項１１】
前記基準撮像信号と前記視差演算部で演算された視差量とに基づいて、被写体までの距離を算出する距離算出部をさらに備えた、請求項９に記載の撮像装置。
【請求項１２】
前記基準撮像領域以外の撮像領域のうち、前記基準撮像領域に隣接する撮像領域は、前記基準撮像領域と比較して、前記基準撮像領域に隣接する辺に対向する辺側に受光面が拡大されており、前記基準撮像領域に対角配置された撮像領域は、前記基準撮像領域と比較して、前記基準撮像領域に遠い２辺側に受光面が拡大されている、請求項９〜１１のいずれか一項に記載の撮像装置。
【手続補正書】
【提出日】平成19年10月11日(2007.10.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
それぞれが少なくとも１枚のレンズを含む複数のレンズ部と、
前記複数のレンズ部に一対一に対応し、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備え、撮像信号をそれぞれ出力する複数の撮像領域と、
前記複数の撮像領域からそれぞれ出力される撮像信号のいずれか１つを基準撮像信号とし、当該基準撮像信号に対する他の撮像信号の視差量を演算する視差演算部と、
前記基準撮像信号以外の撮像信号において視差により欠落する像を含む可能性がある領域の画素から得られる画素信号を前記基準撮像信号から削除して得られる有効画素信号を出力する有効画素領域補正部とを備えたことを特徴とする撮像装置。
【請求項２】
前記有効画素領域補正部から出力された有効画素信号と前記視差演算部で演算された視差量とに基づいて、前記複数の撮像信号を補正して合成することにより合成画像を生成して出力する画像合成部をさらに備えた、請求項１に記載の撮像装置。
【請求項３】
前記有効画素領域補正部から出力された有効画素信号と前記視差演算部で演算された視差量とに基づいて、被写体までの距離を算出する距離算出部をさらに備えた、請求項１に記載の撮像装置。
【請求項４】
前記有効画素領域補正部が、視差により欠落する像を含む可能性がある領域の範囲を、最短被写体距離にある被写体に対する視差量から求める、請求項１〜３のいずれか一項に記載の撮像装置。
【請求項５】
前記複数の撮像領域が、縦２列、横２行に設けられた第１〜第４の撮像領域であり、
前記視差演算部は、前記第１の撮像領域から出力される撮像信号を基準撮像信号とし、
前記有効画素領域補正部は、前記第１の撮像領域に横方向において隣接する第２の撮像領域から出力される第２の撮像信号が前記基準撮像信号に対して有する視差の方向の正方向に位置する辺と、前記第１の撮像領域に縦方向において隣接する第３の撮像領域から出力される第３の撮像信号が前記基準撮像信号に対して有する視差の方向の正方向に位置する辺の画素から得られる画素信号を、前記基準撮像信号から削除する、請求項１〜４のいずれか一項に記載の撮像装置。
【請求項６】
前記第１〜第４の撮像領域において対角方向に配置された第１の撮像領域と第４の撮像領域とが同じ波長領域に感度を有し、第２の撮像領域および第３の撮像領域は、前記第１および第４の撮像領域とは異なり、かつ互いに異なる波長領域に感度を有し、
前記視差演算部は、前記第１の撮像領域から出力される撮像信号を基準撮像信号とし、前記第４の撮像領域から出力される第４の撮像信号が前記基準撮像信号に対して有する視差量を求め、当該視差量をベクトル分解することにより、前記第２の撮像信号が前記基準撮像信号に対して有する視差量と、前記第３の撮像信号が前記基準撮像信号に対して有する視差量とをそれぞれ求める、請求項５に記載の撮像装置。
【請求項７】
前記第１および第４の撮像領域が緑の波長領域に感度を有し、前記第２および第３の撮像領域が赤および青の波長領域にそれぞれ感度を有する、請求項６に記載の撮像装置。
【請求項８】
前記基準撮像信号において、前記基準撮像信号以外の撮像信号において視差により欠落する像を含む可能性がある領域をブロックに分割し、各ブロックについて視差量を求め、求められた視差量に基づいて、当該ブロックが前記基準撮像信号以外の撮像信号において実際に欠落するか否かを判定する欠落判定部をさらに備え、
前記有効画素領域補正部は、前記欠落判定部によって欠落しないと判定されたブロックの画素を前記有効画素信号に含める、請求項１〜７のいずれか一項に記載の撮像装置。
【請求項９】
それぞれが少なくとも１枚のレンズを含む複数のレンズ部と、
前記複数のレンズ部に一対一に対応し、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備え、撮像信号をそれぞれ出力する複数の撮像領域と、
前記複数の撮像領域からそれぞれ出力される撮像信号のいずれか１つを基準撮像信号とし、当該基準撮像信号に対する他の撮像信号の視差量を演算する視差演算部とを備え、
前記複数の撮像領域のうち、前記基準撮像信号を出力する基準撮像領域以外の撮像領域が、基準撮像領域の受光面よりも大きい受光面を有することを特徴とする撮像装置。
【請求項１０】
前記視差量に基づいて前記複数の撮像信号を補正して合成することにより合成画像を生成して出力する画像合成部をさらに備えた、請求項９に記載の撮像装置。
【請求項１１】
前記基準撮像信号と前記視差演算部で演算された視差量とに基づいて、被写体までの距離を算出する距離算出部をさらに備えた、請求項９に記載の撮像装置。
【請求項１２】
前記基準撮像領域以外の撮像領域のうち、前記基準撮像領域に隣接する撮像領域は、前記基準撮像領域と比較して、前記基準撮像領域に隣接する辺に対向する辺側に受光面が拡大されており、前記基準撮像領域に対角配置された撮像領域は、前記基準撮像領域と比較して、前記基準撮像領域に遠い２辺側に受光面が拡大されている、請求項９〜１１のいずれか一項に記載の撮像装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像光学系を用いて得られた複数の画像から視差補正を行うことにより１つの高精細画像を合成する撮像装置、および求めた視差量に基づいて被写体までの距離を算出する撮像装置に関するものである。
【背景技術】
【０００２】
近年の薄型デジタルカメラの需要の高まりに伴い、複数のレンズとイメージセンサを使って単一の被写体を撮影し、それぞれ得られた像を合成して単一の高画質な２次元画像を得ることを目的とした撮像装置が提案されている。
【０００３】
図１７を参照しながら、このような従来の撮像装置の一例について説明する。図１７（ａ）に示した従来の撮像装置では、１０１はモールドなどで一体的に作られた撮像レンズである。撮像レンズ１０１は、後述のＣ−ＭＯＳセンサ１０３の３色の画素毎に分割されたセンサ部１０３ａ，１０３ｂ，１０３ｃに被写体像を結像させるためのＲ波長用レンズ１０１ａ、Ｇ波長用レンズ１０１ｂ、Ｂ波長用レンズ１０１ｃを有している。
【０００４】
１０２は、それぞれのレンズ１０１ａ〜１０１ｃの絞りであって、一体的に構成されている。絞り１０２には、更にＲ波長透過フィルタ１０２ａ、Ｇ波長透過フィルタ１０２ｂ、Ｂ波長透過フィルタ１０２ｃが一体的に構成されている。
【０００５】
１０３は不図示の画像処理回路などが一体に構成されているＣ-ＭＯＳセンサで、図１７（ｂ）に示すように、それぞれＲ，Ｇ，Ｂ用のセンサ１０３ａ、１０３ｂ、１０３ｃが平面的に独立して構成されている。このため、従来のベイヤ配列のセンサに比べ、同じ画素サイズと画素数であれば、レンズの焦点距離が（１／３）1/2で済み、光軸方向の厚みを薄く構成できる（特許第３３９７７５８号公報参照）。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、このような従来の薄型化撮像装置では、３つの異なるセンサ部に結像された画像を１つの画像に合成する必要がある。通常、図１７のように、光軸が複数個存在する光学系においては、同じ被写体を撮影しても、センサ部１０３ａ、１０３ｂ、１０３ｃでは、それぞれのセンサ部の光軸中心からの相対値がずれて結像される。このずれが、視差である。視差は、被写体の距離に依存し、基準とする撮像レンズおよびセンサ部と被写体との位置関係により、視差の発生する方向も決まる。
【０００７】
ここで、図１８に、センサ部１０３ａ、１０３ｂ、１０３ｃに結像された画像の一例を示す。撮像レンズ１０１ｂおよびセンサ部１０３ｂを基準とすると、センサ部１０３ａに結像する像１０４ａは、センサ部１０３ｂに結像する像１０４ｂを、視差量分だけｙ方向に移動させたものとなる。また、センサ部１０３ｃに結像する像１０４ｃは、センサ部１０３ｂの像１０４ｂを、ｙの負の方向に視差量だけ移動させたものとなる。
【０００８】
センサ部１０３ａ、１０３ｂ、１０３ｃに結像された画像を１つの画像に合成する際には、視差を検出し、その視差を補正して画像を組み合わせる必要がある。ところが、図１８から分かるように、Ｇ用のセンサ部１０３ｂに結像する像１０４ｂに比べると、Ｒ用のセンサ部１０３ａに結像する像１０４ａはｙの正の方向の画像が欠落したものとなっている。また、一方、Ｂ用のセンサ部１０３ｃに結像する像１０４ｃはｙの負の方向の画像が欠落している。従って、像１０４ａ、１０４ｂ、１０４ｃを合成しても、全ての色情報を有する領域の画像（被写体の一部）しか作り出せないことが分かる。言い換えると、画像の周辺部に偽色（本来の色と違う色で再現される箇所）が発生するという課題がある。
【０００９】
また、視差を利用して距離を測る機能を付加する場合においても、画像の周辺部に位置する被写体については距離を測ることが不可能となるという課題もある。
【００１０】
本発明はこのような問題を解決するためになされたものであり、色情報毎に視差を有する複眼光学系において従来課題であった、画像の周辺部の画像が視差によって欠落することに伴う不具合が解消された撮像装置を提供することを目的とする。より具体的には、視差を考慮して有効画素領域を補正することにより、画像の周辺部に偽色を有しない画像を再現することを可能とすること、および、画像の周辺部においても測距を可能とすることを実現する薄型の撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
前記の目的を達成するために、本発明にかかる第１の撮像装置は、それぞれが少なくとも１枚のレンズを含む複数のレンズ部と、前記複数のレンズ部に一対一に対応し、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備え、撮像信号をそれぞれ出力する複数の撮像領域と、前記複数の撮像領域からそれぞれ出力される撮像信号のいずれか１つを基準撮像信号とし、当該基準撮像信号に対する他の撮像信号の視差量を演算する視差演算部と、前記基準撮像信号以外の撮像信号において視差により欠落する像を含む可能性がある領域の画素から得られる画素信号を前記基準撮像信号から削除して得られる有効画素信号を出力する有効画素領域補正部とを備えたことを特徴とする。
【００１２】
上記の構成によれば、有効画素領域補正部が、基準撮像信号以外の撮像信号において視差により欠落する像を含む可能性がある領域の画素から得られる画素信号を前記基準撮像信号から削除して得られる有効画素信号を出力する。これにより、この有効画素信号を用いれば、色情報毎に視差を有する複眼光学系において従来課題であった、画像の周辺部の画像が視差によって欠落することに伴って後段の処理で生じる不具合が解消される。
【００１３】
後段の処理としては、例えば、（１）前記有効画素領域補正部から出力された有効画素信号と前記視差演算部で演算された視差量とに基づいて、前記複数の撮像信号を補正して合成することにより合成画像を生成して出力する画像合成処理や、（２）前記有効画素領域補正部から出力された有効画素信号と前記視差演算部で演算された視差量とに基づいて、被写体までの距離を算出する距離算出処理などがある。
【００１４】
すなわち、上記（１）の画像合成処理を行うための画像合成部をさらに備えた構成によれば、前記有効画素領域補正部から出力された有効画素信号と前記視差演算部で演算された視差量とに基づいて、前記複数の撮像信号を補正して合成するので、画像の周辺部に偽色を有しない画像を再現できる。
【００１５】
また、上記（２）の距離算出処理を行うための距離算出部をさらに備えた構成によれば、有効画素領域補正部から出力された有効画素信号と前記視差演算部で演算された視差量とに基づいて、被写体までの距離を算出するので、画像の周辺部においても測距が可能となる。
【００１６】
上記の第１の撮像装置において、前記有効画素領域補正部が、視差により欠落する像を含む可能性がある領域の範囲を、最短被写体距離にある被写体に対する視差量から求めることが好ましい。
【００１７】
上記の第１の撮像装置において、前記複数の撮像領域が、縦２列、横２行に設けられた第１〜第４の撮像領域であり、前記視差演算部は、前記第１の撮像領域から出力される撮像信号を基準撮像信号とし、前記有効画素領域補正部は、前記第１の撮像領域に横方向において隣接する第２の撮像領域から出力される第２の撮像信号が前記基準撮像信号に対して有する視差の方向の正方向に位置する辺と、前記第１の撮像領域に縦方向において隣接する第３の撮像領域から出力される第３の撮像信号が前記基準撮像信号に対して有する視差の方向の正方向に位置する辺の画素から得られる画素信号を、前記基準撮像信号から削除することが好ましい。
【００１８】
さらに、上記の第１の撮像装置は、前記第１〜第４の撮像領域において対角方向に配置された第１の撮像領域と第４の撮像領域とが同じ波長領域に感度を有し、第２の撮像領域および第３の撮像領域は、前記第１および第４の撮像領域とは異なり、かつ互いに異なる波長領域に感度を有し、前記視差演算部は、前記第１の撮像領域から出力される撮像信号を基準撮像信号とし、前記第４の撮像領域から出力される第４の撮像信号が前記基準撮像信号に対して有する視差量を求め、当該視差量をベクトル分解することにより、前記第２の撮像信号が前記基準撮像信号に対して有する視差量と、前記第３の撮像信号が前記基準撮像信号に対して有する視差量とをそれぞれ求めることが好ましい。
【００１９】
上記の第１の撮像装置において、さらに、前記第１および第２の撮像領域が緑の波長領域に感度を有し、前記第２および第３の撮像領域が赤および青の波長領域にそれぞれ感度を有することが好ましい。
【００２０】
さらに、上記の第１の撮像装置は、前記基準撮像信号において、前記基準撮像信号以外の撮像信号において視差により欠落する像を含む可能性がある領域をブロックに分割し、各ブロックについて視差量を求め、求められた視差量に基づいて、当該ブロックが前記基準撮像信号以外の撮像信号において実際に欠落するか否かを判定する欠落判定部をさらに備え、前記有効画素領域補正部は、前記欠落判定部によって欠落しないと判定されたブロックの画素を前記有効画素信号に含めることが好ましい。
【００２１】
前記の目的を達成するために、本発明にかかる第２の撮像装置は、それぞれが少なくとも１枚のレンズを含む複数のレンズ部と、前記複数のレンズ部に一対一に対応し、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備え、撮像信号をそれぞれ出力する複数の撮像領域と、前記複数の撮像領域からそれぞれ出力される撮像信号のいずれか１つを基準撮像信号とし、当該基準撮像信号に対する他の撮像信号の視差量を演算する視差演算部とを備え、前記複数の撮像領域のうち、前記基準撮像信号を出力する基準撮像領域以外の撮像領域が、基準撮像領域の受光面よりも大きい受光面を有することを特徴とする。
【００２２】
上記の第２の撮像装置は、前記視差量に基づいて前記複数の撮像信号を補正して合成することにより合成画像を生成して出力する画像合成部をさらに備えた構成とすれば、画像の周辺部に偽色を有しない画像を再現できるので、好ましい。
【００２３】
あるいは、上記の第２の撮像装置は、前記基準撮像信号と前記視差演算部で演算された視差量とに基づいて、被写体までの距離を算出する距離算出部をさらに備えた構成とすれば、画像の周辺部においても測距が可能となるので、好ましい。
【００２４】
上記の第２の撮像装置において、前記基準撮像領域以外の撮像領域のうち、前記基準撮像領域に隣接する撮像領域は、前記基準撮像領域と比較して、前記基準撮像領域に隣接する辺に対向する辺側に受光面が拡大されており、前記基準撮像領域に対角配置された撮像領域は、前記基準撮像領域と比較して、前記基準撮像領域に遠い２辺側に受光面が拡大されていることが好ましい。
【発明の効果】
【００２５】
以上のように本発明では、従来から課題となっていた色情報毎に視差を有する複眼光学系において、画像の周辺部の偽色の課題、画像の周辺部において測距が不可能になる課題を改善した撮像装置を提供することができる。
【発明を実施するための最良の形態】
【００２６】
（第１の実施の形態）
以下、本発明の第１の実施の形態について、図面を参照しながら説明する。
【００２７】
図１は、本発明の実施形態に係る撮像装置の概略構成図である。図１において、１〜４は、それぞれが少なくとも１つのレンズを含む撮影光学系である。撮像光学系１〜４のそれぞれに対応して、イメージセンサ５〜８が設けられている。イメージセンサ５〜８のそれぞれには、撮像光学系１〜４のそれぞれを介して、同一被写体が結像される。
【００２８】
本実施形態では、カラー画像を撮影するために、イメージセンサ５〜８のうち、対角線上に配置されたイメージセンサ５、７は緑色波長帯域を撮像し、イメージセンサ６は赤色波長帯域を撮像し、イメージセンサ８は青色波長帯域を撮像する。この波長選択性は、イメージセンサに波長依存性を持たせることで実現しても良いし、波長選択性のあるフィルタ（カラーフィルタ）などを挿入することにより実現しても良い。
【００２９】
イメージセンサ５〜８のそれぞれの撮像信号は、それぞれ、Ｒ信号処理回路１２、Ｇ信号処理回路１０，１１およびＢ信号処理回路９により画像処理された後、視差演算回路１４へ送られる。視差演算回路１４では、Ｒ信号処理回路１２、Ｇ信号処理回路１０，１１およびＢ信号処理回路９から受け取った信号のいずれかを基準信号として、この基準信号に対する他の信号の視差量を求める。視差演算回路１４で求められた視差量は、Ｒ信号、Ｇ信号、Ｂ信号と共に画像合成回路１６へ送られる。有効画素領域補正回路１３は、前記基準撮像信号以外の撮像信号において、視差により欠落する像を含む可能性がある領域の画素から得られる画素信号を、前記基準撮像信号から削除し、その結果として得られる有効画素信号を画像合成回路１６へ出力する。画像合成回路１６は、前記有効画素信号と視差量とに基づいて、Ｒ信号、Ｇ信号、およびＢ信号を補正して合成する。これにより、カラー画像が出力される。なお、図１では、主として本発明の特徴に関する構成要素のみを図示したが、本発明の撮像装置を実施する場合、図１に示した構成要素以外に、各種の補正処理や前処理等、任意の画像処理を行う回路が設けられていても良い。
【００３０】
ここで、まず簡単に画像合成の流れを説明する。本実施形態の撮像装置においては、図１に示すように、緑色波長帯域の撮像光学系１，３およびイメージセンサ５，７は、対角方向に配されて構成されている。本実施形態では、視差演算回路１４は、緑色の画像信号を出力するイメージセンサ５，７のうち、イメージセンサ５から出力された画像を基準画像（Ｇ０と表記する。）とし、この基準画像Ｇ０とイメージセンサ７から出力された画像（Ｇ１と表記する。）とを比較することにより、視差量を計算するものとする。ただし、複数の撮像光学系によって結像される画像のうちどれを基準画像とするかは、任意の設計事項である。
【００３１】
画像には種々の距離にある被写体が同時に写り込むために、本実施形態の撮像装置の視差演算回路１４は、比較対象の画像のそれぞれを小ブロックに分割し、それぞれのブロック単位で視差量を計算することにより、画像全体の視差量を把握する。すなわち、視差演算回路１４は、イメージセンサ５から出力された基準画像Ｇ０とイメージセンサ７から出力された画像Ｇ１とをブロック単位で比較することにより、基準画像Ｇ０と画像Ｇ１との視差量を求める。
【００３２】
さらに、視差演算回路１４は、イメージセンサ６から出力された画像（Ｒ）が有する視差量と、イメージセンサ８から出力された画像（Ｂ）が有する視差量とを、画像Ｇ１の視差量（基準画像Ｇ０からの視差量）をベクトル分解することにより計算する。すなわち、基準画像Ｇ０から画像Ｇ１に対する視差量を、基準画像Ｇ０からイメージセンサ６の画像Ｒへの方向と、基準画像Ｇ０からイメージセンサ８の画像Ｂへの方向とにベクトル分解することにより、基準画像Ｇ０に対する、画像Ｒの視差量と画像Ｂの視差量とがそれぞれ得られる。
【００３３】
このように求められた視差量は、基準画像Ｇ０、画像Ｇ１、画像Ｒ、画像Ｂのそれぞれの信号と共に、画像合成回路１３へ送られる。画像合成回路１３では、画像Ｇ１、画像Ｒおよび画像Ｂの視差量を補正し、基準画像Ｇ０に重ね合わせることによって、カラーの画像を再現する。
【００３４】
図２に、イメージセンサ５から出力された画像Ｇ０と、イメージセンサ７から出力された画像Ｇ１との間の視差発生例を概略的に示す。図２において、Ｇ０ｃは、撮像光学系１とイメージセンサ５で決定される光軸がイメージセンサ５と交差する画像上の点、すなわちイメージセンサ５の画像Ｇ０の中心を示す。Ｇ１ｃも同様に、撮像光学系３とイメージセンサ７で決定される光軸がイメージセンサ７と交差する画像上の点、すなわちイメージセンサ７の画像Ｇ１の中心を示す。
【００３５】
１７ａ、１８ａは、イメージセンサ５に対してそれぞれが異なる距離で設置された被写体を撮影した場合の被写体画像である。１７ａは遠距離物体の画像であり、１８ａは近距離物体の画像である。また、１７ｂ、１８ｂは、イメージセンサ７から出力された被写体画像であり、１７ｂは遠距離物体の画像、１８ｂは近距離物体の画像である。なお、１７ａ，１７ｂは同じ物体の画像であり、１８ａ，１８ｂも同じ物体の画像である。
【００３６】
図２から分かるように、遠距離物体画像１７ａと遠距離物体画像１７ｂとは、視差がほとんどなく、イメージセンサ５，７のそれぞれの画像Ｇ０，Ｇ１中のほとんど同じ位置に、画像として再現されている。一方、近距離物体画像１８ａと近距離物体画像１８ｂとは、大きな視差を有する。従って、近距離物体画像１８ｂは、図２に示すように、画像情報の一部が欠落した画像として再現される可能性を有する。なお、イメージセンサ５の基準画像Ｇ０内の近距離物体画像１８ａに対する、イメージセンサ７の画像Ｇ１内の近距離物体画像１８ｂの視差発生方向は、イメージセンサ側から被写体方向をみて、撮像光学系３の光軸がイメージセンサ７と交差する点から、撮像光学系１の光軸がイメージセンサ５と交差する点へ向かうベクトルの方向である。本実施形態の撮像装置においては、視差を有するイメージセンサ５〜８のそれぞれで得られる画像から抽出した色情報を用いても、以下に説明するように、偽色のない合成画像が得られる。
【００３７】
図３を参照し、本実施形態の撮像装置において、色情報の欠落を発生させない原理を説明する。図３は、イメージセンサ５から出力された被写体画像である。図３において斜線を付した領域は、イメージセンサ５から出力された画像を基準画像とする場合に、基準画像中のこの斜線の領域内に最短被写体距離に位置する物体が写り込むと、視差によりイメージセンサ７では当該物体の画像が欠落してしまう領域（以下、「ずれ領域」と称する。）である。従って、図３のずれ領域に最短被写体距離に位置する物体が写り込むと、このずれ領域の色情報が欠落する可能性がある。また、イメージセンサ６から出力された画像およびイメージセンサ８から出力された画像のそれぞれにおいても、同様に、イメージセンサ５から出力された画像との視差により、ずれ領域が存在する。このため、本実施形態の撮像装置は、有効画素領域補正回路１３において基準画像からこのずれ領域の画素情報を削除して得られた有効画素領域のみについて、画像合成回路１６が、イメージセンサ５〜８のそれぞれで得られた画像を１つの画像に合成する。
【００３８】
画素情報を削除すべきずれ領域の位置および範囲は、撮像光学系１〜４およびイメージセンサ５〜８との位置関係により決定される。本実施形態では、図３に示すように、基準画像Ｇ０の二辺の画素をＬ字状に削除した上で合成画像を作成する。なお、図３に示すＶ5-6は、イメージセンサ５から出力された基準画像Ｇ０に対する、イメージセンサ６から出力された画像の視差方向であり、Ｖ5-8は、イメージセンサ５から出力された基準画像Ｇ０に対する、イメージセンサ８から出力された画像の視差方向である。
【００３９】
また、本実施形態では、有効画素領域補正回路１３において画素を削除する領域（ずれ領域）の大きさは最短被写体距離によって決まる。最短被写体距離とは、撮像装置が設計上対応可能な、最も近い被写体までの距離を示す。ずれ領域の大きさは、例えば、以下のように求めることができる。最短被写体距離をＡmin、撮像光学系１〜４の焦点距離をｆ、撮像光学系１と撮像光学系３との光軸間距離をＤ、イメージセンサ５〜８の画素ピッチをｐとすると、最短被写体距離Ａminにある被写体のイメージセンサ５から出力される画像Ｇ０と、イメージセンサ７から出力される画像Ｇ１との視差量ｄminは、下記の（数２）により得ることができる。なお、（数２）は、（数１）の条件を満たす時に成立する近似式であるが、通常、最短被写体距離Ａminは焦点距離ｆの１０倍以上であるため、近似式を利用しても全く問題はない。
(数１)
Ａmin＞＞ｆ
(数２)
ｄmin≒Ｄ・ｆ／（Ａmin・ｐ）
ここで、視差量ｄminのｘ方向成分をｄminｘ、ｙ方向成分をｄminｙとすると、これらは下記の（数３）および（数４）で表記される。
(数３)
ｄminｘ＝ｄmin・cosθ
(数４)
ｄminｙ＝ｄmin・sinθ
また、本発明の実施形態にかかる撮像装置の仕様はこれらの具体的な数値に限定されないが、具体的な数値として例えば、
Ｄ＝５ｍｍ
ｆ＝４．５ｍｍ
Ａmin＝１０ｃｍ
ｐ＝３μｍ
cosθ＝4/5
sinθ＝3/5
のとき、最短被写体距離にある被写体を撮影した場合の視差量ｄmin、ｄminｘ、ｄminｙは、７５画素、６０画素、４５画素となる（図３参照）。従って、この場合は、画像合成回路１３は、基準画像Ｇ０において、Ｖ5-6の正方向側の辺に沿って６０画素、Ｖ5-8の正方向側の辺に沿って４５画素をＬ字状に削除することにより、水平方向の画素数が（Ｈ−６０）画素、垂直方向の画素数が（Ｖ−４５）画素の矩形の合成画像を作成する。
【００４０】
上記のとおり、本実施形態にかかる撮像装置では、有効画素領域補正回路１３において、色情報が欠落する可能性のある領域（ずれ領域）の画像情報を破棄し、画像合成回路１６が、色情報が完全に揃った領域（図３に示す領域Ｇ０S）の画像情報のみを用いてカラー画像を合成する。以降、この領域Ｇ０Sを出力画素領域と称する。
【００４１】
次に、図３中の出力画素領域Ｇ０Sの視差量抽出について、図４、図５を用いて説明する。図４は、視差補正アルゴリズムの基本的な流れを示す図である。図５は、イメージセンサ５、７上の検出ブロックを示す図である。
【００４２】
視差補正アルゴリズムのステップＳ１０１において、ブロック抽出処理を行う。ここで、最初に、イメージセンサ５の出力画素領域Ｇ０Sを均等なブロックに分割する。その中の１つのブロック（第１の検出ブロック２０４）について以下の処理を説明するが、同様の処理を分割したすべてのブロックに対して実施する。第１の検出ブロック２０４は、８×８画素から６４×６４画素程度のサイズが適当である。なお、撮像光学系の倍率を大きくした場合には、検出ブロック２０４の画素サイズを小さくすることが好ましい。さらに、画像Ｇ１にも、第１の検出ブロック２０４と同じサイズの第２の検出ブロック２０５を設定する。
【００４３】
次に、ステップＳ１０３において、基準画像Ｇ０の第１の検出ブロック２０４と同じ画像情報を有するブロックを画像Ｇ１から探索するために、視差量評価値を計算する。視差量評価値計算処理の一具体例について、以下に説明する。図５において、ステップＳ１０１で画像Ｇ１上に設定した第２の検出ブロック２０５を、ｘ軸方向にｋ画素だけ移動し、ｙ軸方向にｊ画素だけ移動すると、第２の検出ブロックは２０６の位置に移動する。そして、第１の検出ブロック２０４と移動後の第２の検出ブロック２０６とについて、各検出ブロック内における対応画素の出力値の差を計算し、その差を、検出ブロック内の全ての画素について合計したものを、第２の検出ブロック２０６の位置における視差量評価値とする。なお、視差量評価値の算出方法は、これに限定されない。
【００４４】
第１の検出ブロック２０４内の画素（ａ、ｂ）における画素からの出力値をＧＧ１（ａ、ｂ）とし、第２の検出ブロック２０６内の画素（ａ、ｂ）における画素からの出力値をＧＧ２（ａ、ｂ）とすると、視差量評価値Ｒ（ｋ、ｊ）は、下記の（数５）により求められる。
【００４５】
【数５】
2007119468.tif 000038
【００４６】
この視差量評価値Ｒ（ｋ、ｊ）は、視差量（ｋ、ｊ）だけ移動した第２の検出ブロック２０６が、第１の検出ブロック２０４とどれだけ相関があるかを示し、値が小さいほど２つの検出ブロックが類似していることを示している。
【００４７】
図６に、視差量の評価値と第２の検出ブロックの視差量との関係を示す。図６は、横軸にｘ方向の移動画素数(ｋ)、縦軸に視差量評価値（Ｒ）をプロットしたものである。視差量評価値はｋの値に連動して変化し、類似度が高くなると値が著しく小さくなる。図６ではｋ＝ｋ1の時に最小値をとっている。なお、図６では、ｊの値をｊ＝ｊ1に固定し、ｋの値のみを変化させた場合について示したが、同様の変化が、ｊの値を変化させた場合についても発生する。従って、ステップＳ１０３の視差量評価値計算処理では、所定の範囲の取りうる全てのｋの値及びｊの値について反復処理を行う。通常、視差が発生する方向は、イメージセンサ５〜８の相互の位置関係で一義的に決定される。従って、視差量評価値計算時の第２の検出ブロックの抽出も、この法則に従って抽出することにより、大幅に計算効率を向上することができる。
【００４８】
次に、ステップＳ１０４において、ステップＳ１０３で求めた各視差量評価値から最小値を抽出する。ここでは、上記アルゴリズムで得られた視差量の評価値計算の結果を比較し、その最小値を求める。そして、ステップＳ１０５において、最小値が得られたときの視差量（ｋ、ｊ）の抽出を行い、視差量を決定する。ｋ＝ｋ1、ｊ＝ｊ1のとき最小値が得られたと仮定すると、基準画像Ｇ０上の第１の検出ブロック２０４の画像情報は、画像Ｇ１上の、ｘ方向にｋ1画素、ｙ方向にｊ1画素移動した時の第２の検知ブロック２０６の画像情報と一致していると判断し、視差量（ｋ1、ｊ1）を抽出し、これを第１の検出ブロック２０４の視差量とする（ｄｘ＝ｋ1，ｄｙ＝ｊ1）。この一連の処理を、イメージセンサ５の基準画像Ｇ０内の出力画素領域Ｇ０Sに設定した全ての検出ブロックについて行い、視差量を決定する。以上の処理を視差演算回路１４が行うことによって、基準画像Ｇ０に対する画像Ｇ１の視差量が求められる。
【００４９】
そして、イメージセンサ７から出力される画像Ｇ１について得られた視差量を基に、イメージセンサ６から出力される画像Ｒ、イメージセンサ８から出力される画像Ｂの視差量を計算し、画像合成回路１６において、それぞれの画像を補正し、基準画像Ｇ０上に重ね合わせることにより、カラーの画像が合成される。なお、本実施形態の撮像装置においては、基準画像Ｇ０上においてずれ領域に相当する画素の情報は、合成画像を作成する前に、有効画素領域補正回路１３によって全て破棄されている。
【００５０】
本実施形態の構成により、色情報毎に視差を有する複眼光学系において、課題であった周辺部の偽色の課題を改善することが出来る。
【００５１】
なお、本実施形態において、イメージセンサを４つ使った構成を説明してきたが、本発明はその構成だけではなく、１つのイメージセンサを４つの撮像領域に分割して使用する場合や、２つのイメージセンサをそれぞれ２つの撮像領域に分割し使用する場合についても同様の効果があることは言うまでもない。
【００５２】
さらに、複数組の同波長帯域の画像から視差を抽出し、抽出した視差に基づいて被写体までの距離を計測する撮像装置においても、本実施形態のようにずれ領域に相当する画素の情報を破棄することにより、画像の周辺部に測距が不可能な部分が生じるという、従来の課題を解決できる。本実施形態において上記で説明したような、複数の撮像領域で得られた画像を合成することによってカラー画像を作り出す処理と、複数の撮像領域で得られた画像を用いて被写体までの距離を計測する処理（測距処理）とは、画像から抽出した視差量に基づいて処理を行う点において共通である。従って、測距処理についても本実施形態を適用することにより、画像の周辺部に測距が不可能な部分が生じるという従来の課題を解決できる。例えば、図１の構成における画像合成回路１６の代わりに、図７に示すように、イメージセンサ５，７の画像から抽出した視差に基づいて被写体までの距離を算出する距離算出回路１９を設けることにより、測距処理を行う撮像装置を容易に構成することができる。なお、画像合成回路１６と距離算出回路１９との両方を備えたことによって、カラー画像出力処理と測距処理との両方が可能な撮像装置も、本発明の一つの実施形態である。
【００５３】
なお、本実施形態にかかる撮像装置を測距装置として用いる場合、視差演算回路１４により２つの光学系における視差量ｄが得られると、距離算出回路１９は、（数６）によって被写体までの距離ｚを得ることができる。なお、数６において、Ｄは２つの光学系の光軸間距離、ｆは光学系の焦点距離、ｄは視差量、ｚは被写体距離である。
(数６)
z≒Ｄ・ｆ／d
なお、距離を計測する撮像装置においては、４つの撮像領域は必要なく、少なくとも２つの撮像領域があれば、十分に距離計測が可能であることは言うまでもない。
【００５４】
（第２の実施の形態）
以下、本発明の第２の実施形態について、図面を参照しながら説明する。
【００５５】
前述の第１の実施形態では、最短被写体距離に基づいて、画像の色情報が欠落する可能性がある領域（ずれ領域）を決定し、合成画像を生成する際にずれ領域の画素情報を全て破棄している。これに対し、以下に説明する第２の実施形態では、ずれ領域において、画像を合成する際に実際に色情報が欠落する部分としない部分とを判定し、色情報が欠落しない部分の画素は画像として出力する。すなわち、第１の実施形態では、画像として出力する画素数（出力画素領域の画素数）が少なくなるが、第２の実施形態では、画素数の減少を抑制できる。
【００５６】
このため、図８に示すように、第２の実施形態にかかる撮像装置は、第１の実施形態で説明した構成要素に加えて、色情報欠落判定回路１５を備えている。
【００５７】
図９は、イメージセンサ５から出力された基準画像Ｇ０におけるずれ領域を適当な大きさにブロック分割した状態を示す図である。図１０は、色情報欠落判定アルゴリズムの流れを示す図である。
【００５８】
図１０のステップＳ２０１において、例えば図９に示すように、ずれ領域を適当な大きさの矩形ブロックＢ（ｘ，ｙ）に分割する。なお、（ｘ，ｙ）は各ブロックの代表点（例えば中心点）座標を表すものとする。ブロックサイズは、一般的には、８画素×８画素〜６４画素×６４画素程度が適当である。
【００５９】
次に、ステップＳ２０２では、図４に示した視差補正アルゴリズムのＳ１０３〜Ｓ１０５を実行することにより、視差抽出を行い、ステップＳ２０１で分割した全てのブロックＢの視差量を抽出する。
【００６０】
さらに、ステップＳ２０３では、ブロックＢのそれぞれについて、画像を合成する際に実際に色情報が欠落するかどうかの判定を行う。ここで、この判定の具体例について、図１１を用いて説明する。図１１において、イメージセンサ５，７から得られる画像Ｇ０，Ｇ１は、ｘ方向にＨ画素、ｙ方向にＶ画素の大きさを有するものとする。画像Ｇ０上のずれ領域におけるブロックＢ（ｘ１，ｙ１）は、ブロックサイズはａ画素×ｂ画素であり、ステップＳ２０１で視差量を抽出した結果、画像Ｇ１上のブロックＢ１に相当するブロックであると判定され、視差量は（ｋ,ｊ）であったものとする。ここで、ブロックＢ１が画像Ｇ１内に存在する条件を満足すれば、ブロックＢは、画像を合成する際に実際には色情報の欠落がないと判定される。以上のことを数式で記述すると、下記の（数７）、（数８）となる。
(数７)
ｘ１＋ｋ−ａ/２≧０
(数８)
ｙ１＋ｊ＋ｂ/２≦Ｖ
ステップＳ２０３では、色情報欠落判定回路１５が、この条件の満足、不満足を、各ブロックについて確認する。条件が満足されている場合は（ステップＳ２０３の結果がＹ）、ブロックＢを出力画素領域Ｇ０Sに追加することにより、有効画素領域補正回路１３で得られた出力画素領域を拡大する（ステップＳ２０４）。そして、条件判定の対象とするブロックを１つシフトし（ステップＳ２０５）、ステップＳ２０３へ戻る。
【００６１】
このように、ステップＳ２０３の結果がＹである限り、ステップＳ２０４で出力画素領域が１ブロック分拡大され、さらにステップＳ２０５において、例えば、図１２において1)〜6)の記号を付した矢印で示すように、出力画素領域Ｇ０Sの外周に接するブロックから、順次その外側のブロックへと、条件判定の対象とするブロックをシフトさせて、ステップＳ２０３〜Ｓ２０５の処理が反復継続される。つまり、図１２に示すブロックＢ（ｘ１，ｙ１）から処理を開始し、ステップＳ２０３の結果がＹである間、1)の矢印に沿って（すなわち出力画素領域Ｇ０Sの外周に沿って）、ｙ座標が増加する方向へ、条件判定の対象とするブロックを順次シフトし、ブロックＢ（ｘ１，ｙ２）に達すると、次に、2)の矢印に沿って、ｘ座標が増加する方向へ、条件判定の対象とするブロックを順次シフトする。そして、図１２に示すブロックＢ（ｘ４，ｙ２）に達すると、条件判定の対象とするブロックをＢ（ｘ２，ｙ１）へシフトする。以降、同様に、3)の矢印に沿って、ブロックＢ（ｘ２，ｙ１）からブロックＢ（ｘ２，ｙ３）へ順次シフトし、さらに4)の矢印に沿って、ブロックＢ（ｘ２，ｙ３）からブロックＢ（ｘ４，ｙ３）へ順次シフトし、5)の矢印に沿って、ブロックＢ（ｘ３，ｙ１）からブロックＢ（ｘ３，ｙ４）へ順次シフトし、さらに6)の矢印に沿って、ブロックＢ（ｘ３，ｙ４）からブロックＢ（ｘ４，ｙ４）へ順次シフトする。
【００６２】
ただし、ステップＳ２０３の結果がＮとなった場合は、ステップＳ２０７へ処理が移行する。例えば、図１２に示す3)の矢印に沿ったブロックの処理中に、ブロック群１９ａは上記の条件を満足していたが、ブロック１９ｂで条件が不満足となった場合は、ステップＳ２０３の判定結果がＮとなる。この場合、ステップＳ２０７において、図１２に示す3)の矢印の先頭ブロックに戻り、その矢印内のブロック群をさらに細かいブロックに分割し、細分割後のブロックによって、Ｓ２０２およびＳ２０３を再度実行する。ステップＳ２０７においてブロックサイズが２×２画素程度となるまで細再分割を繰り返してもステップＳ２０３の判定結果がＮである場合は、出力画素領域Ｇ０Sのこれ以上の拡大は不可能として、処理を終了する。
【００６３】
なお、図１２では、ブロックＢ（ｘ１，ｙ１）から処理を開始する例を示したが、Ｂ（ｘ４，ｙ２）から処理を開始し、2)の矢印に逆行する方向にブロックのシフトを行っても良い。
【００６４】
以上の処理により、本実施形態の撮像装置によれば、色情報毎に視差を有する複眼光学系において、周辺部の偽色の課題を改善することに加え、第１の実施形態よりも出力画素領域を大きくすることができるという利点がある。
【００６５】
なお、本実施形態において、イメージセンサを４つ使った構成を説明してきたが、本発明はその構成だけではなく、１つのイメージセンサを４つの撮像領域に分割して使用する場合や、２つのイメージセンサをそれぞれ２つの撮像領域に分割し使用する場合についても同様の効果があることは言うまでもない。
【００６６】
さらに、複数組の同波長帯域の画像から視差を抽出し、抽出した視差に基づいて被写体までの距離を計測する撮像装置においても、本実施形態のようにずれ領域に相当する画素の情報を破棄することにより、画像の周辺部に測距が不可能な部分が生じるという、従来の課題を解決できる。本実施形態において上記で説明したような、複数の撮像領域で得られた画像を合成することによってカラー画像を作り出す処理と、複数の撮像領域で得られた画像を用いて被写体までの距離を計測する処理（測距処理）とは、画像から抽出した視差量に基づいて処理を行う点において共通である。従って、測距処理についても本実施形態を適用することにより、画像の周辺部に測距が不可能な部分が生じるという従来の課題を解決できる。例えば、図１の構成における画像合成回路１６の代わりに、図７に示すように、イメージセンサ５，７の画像から抽出した視差に基づいて被写体までの距離を算出する距離算出回路１９を設けることにより、測距処理を行う撮像装置を容易に構成することができる。なお、画像合成回路１６と距離算出回路１９との両方を備えたことによって、カラー画像出力処理と測距処理との両方が可能な撮像装置も、本発明の一つの実施形態である。
【００６７】
なお、２つの光学系における視差量ｄが得られると、上記の（数６）で被写体までの距離ｚを得ることができる。また、第１の実施の形態と同様に、距離を計測する撮像装置においては、４つの撮像領域は必要なく、少なくとも２つの撮像領域があれば、十分に距離計測が可能であることは言うまでもない。
【００６８】
（第３の実施の形態）
以下、本発明の第３の実施の形態について、図面を参照しながら説明する。
【００６９】
本実施形態にかかる撮像装置において第１の実施形態と異なる点は、それぞれのイメージセンサの撮像領域の大きさを異ならせて設置することにより、第２の実施形態のような複雑な画像処理なしに、出力画素領域の画素数をできるだけ多くすることを可能とする点である。
【００７０】
図１３は、撮像光学系１〜４側から各イメージセンサ５〜８を見た場合の、各イメージセンサの撮像領域の大きさを示す平面図である。ここでは、第１の実施形態や第２の実施形態と同じ機能を有する部分には同じ記号を付すこととした。第１の実施形態と同様に、イメージセンサ５は基準画像Ｇ０を出力し、イメージセンサ６は画像Ｒを出力し、イメージセンサ７は画像Ｇ１を出力し、イメージセンサ８は画像Ｂを出力するものとする。
【００７１】
また、図１３において、５ｃは、撮像光学系１とイメージセンサ５で決定される光軸がイメージセンサ５の受光面と交差する点、６ｃは、撮像光学系２とイメージセンサ６で決定される光軸がイメージセンサ６の受光面と交差する点、７ｃは、撮像光学系３とイメージセンサ７で決定される光軸がイメージセンサ７の受光面と交差する点、８ｃは、撮像光学系４とイメージセンサ８で決定される光軸がイメージセンサ８の受光面と交差する点をそれぞれ示す。さらに、イメージセンサ６、７、８内に記した破線は、イメージセンサ５と同じ大きさの撮像領域を示すものである。点５ｃと点６ｃの距離をＤ１とし、点５ｃと点８ｃとの距離をＤ２とした。
【００７２】
本実施形態の撮像装置では、図１３からも分かるように、イメージセンサ５〜８の大きさが全て異なっている。具体的には、基準画像Ｇ０を出力するイメージセンサ５が最も小さく、イメージセンサ５と比較して、イメージセンサ６はｘの負の方向に画素数をｄ１だけ拡大した大きさとなっている。また、イメージセンサ８は、イメージセンサ５と比較して、ｙの負の方向に画素数をｄ２だけ拡大した大きさになっている。さらに、イメージセンサ７は、イメージセンサ５と比較して、ｘの負の方向に画素数をｄ１、かつｙの負の方向に画素数をｄ２だけそれぞれ拡大した大きさとなっている。
【００７３】
ｘ方向の画素拡大量ｄ１とｙ方向の画素拡大量ｄ２とは、最短被写体距離をＡmin、撮像光学系１〜４の焦点距離をｆ、イメージセンサ５〜８の画素ピッチをｐとすると、前述の（数１）の仮定の下で、（数９）、（数１０）で記述することができる。
(数９)
ｄ１≒Ｄ１・ｆ／（Ａmin・ｐ）
(数１０)
ｄ２≒Ｄ２・ｆ／（Ａmin・ｐ）
従って、イメージセンサ５の大きさが、Ｈ画素×Ｖ画素であるとすると、イメージセンサ６の大きさは（Ｈ＋ｄ１）画素×Ｖ画素、イメージセンサ７は（Ｈ＋ｄ１）画素×（Ｖ＋ｄ２）画素、イメージセンサ８はＨ画素×（Ｖ＋ｄ２）画素となる。
【００７４】
本構成によれば、イメージセンサ５に比べ、イメージセンサ７は大きくなっているため、最短被写体距離において発生する視差を考慮しても、イメージセンサ５の画像情報に匹敵する全ての情報をイメージセンサ７から抽出することが可能となる。
【００７５】
具体的には、図１４に示すように、イメージセンサ５の周辺部に結像した近距離物体１８ａは、イメージセンサ７の撮像領域が十分大きいため、情報の欠落無しにイメージセンサ７内に像を結ぶことができる。これにより、第２の実施形態のように複雑な演算処理なしに、従来から課題となっていた色情報毎に視差を有する複眼光学系における周辺部の偽色の課題を改善することに加え、第１の実施形態よりも出力画素領域を大きくすることができる。なお、図１３は、撮像光学系１〜４側からイメージセンサ５〜８の受光面を見た図であり、図１４は、イメージセンサ５〜８のそれぞれから出力される撮像信号を示す図であるため、図１３と図１４とでは上下、左右が逆の関係になっている。さらに、Ｇ１内に記した破線は、Ｇ０と同じ大きさの撮像領域を示すものである。
【００７６】
本実施の形態において、イメージセンサを４つ使った構成を説明してきたが、本発明はその構成だけではなく、１つのイメージセンサを４つの撮像領域に分割して使用する場合や、２つのイメージセンサをそれぞれ２つの撮像領域に分割し使用する場合についても同様の効果があることは言うまでもない。
【００７７】
ここでさらに、上述した実施形態を実現するためのより具体的な構成例を示す。上記で説明した構成については、上記の説明と同じ参照符号を付記する。
【００７８】
図１９は、本発明の一構成例にかかる撮像装置１００の断面図である。図１９の断面は、撮像光学系１〜４の光軸に平行である。図２０は、図１９に示すＡ−Ａ断面における撮像装置１００の断面図である。図１９および図２０において、１０１は第１の鏡筒、１０２は撮像光学系１〜４を保持する第２の鏡筒である。第１の鏡筒１０１は、図２０に示すように、互いに直交する内壁１０１ａ，１０１ｂを有する。この内壁１０１ａ，１０１ｂが１つのイメージセンサを４つの撮像領域に分けることによって、上述のイメージセンサ５〜８として機能するイメージエリア５'〜８'が実現される（図２０参照）。
【００７９】
図２０に示した構成では、第１の鏡筒１０１の内壁１０１ａ，１０１ｂは、互いにほぼ中央位置で交差しており、鏡筒内壁をほぼ同じ容積の４つの領域に分割する。つまり、第１の鏡筒１０１は、第２の鏡筒１０２側の４つの開口部が、ほぼ同じ面積を有する。そして、１つのイメージセンサが、その中央位置が、内壁１０１ａ，１０１ｂの交差位置１０１ｃからずれるように配置されていることにより、撮像領域の大きさが互いに異なるイメージエリア５'〜８'が実現されている。このイメージエリア５'〜８'が、上述のイメージセンサ５〜８として機能する。なお、図２０の例では、第１の鏡筒１０１は四角柱であるが、鏡筒の形状は四角柱に限定されない。
【００８０】
別の構成例を図２１に示す。図２１において、第１の鏡筒２０１は、互いに直交する内壁２０１ａ，２０１ｂを有する。ただし、図２１に示す第１の鏡筒２０１は、４つの側壁のうち、隣接する２つの側壁２０２ｄ，２０２ｅよりも、他の２つの側壁２０２ｆ，２０２ｇの方が厚い。すなわち、図２１の例では、第１の鏡筒２０１は、第２の鏡筒１０２側の４つの開口部が、互いに異なる面積を有する。そして、１つのイメージセンサが、その中央位置が、内壁２０１ａ，２０１ｂの交差位置２０１ｃに一致するように配置されていることにより、撮像領域の大きさが互いに異なるイメージエリア５'〜８'が実現されている。このイメージエリア５'〜８'が、上述のイメージセンサ５〜８として機能する。
【００８１】
すなわち、上記の図１９および図２０に示した構成例と、図２１に示した構成例とのいずれにおいても、撮像領域の大きさが互いに異なるイメージエリア５'〜８'が実現されており、このイメージエリア５'〜８'を備えた撮像装置は、前述した本発明の効果を奏する。
【００８２】
さらに、複数組の同波長帯域の画像から視差を抽出し、抽出した視差に基づいて被写体までの距離を計測する撮像装置（例えば、図１の構成において、イメージセンサ５，７の画像から視差を抽出し、抽出した視差に基づいて被写体までの距離を計測する）においても、本実施形態のようにイメージセンサの受光面の大きさを互いに異ならせることにより、画像の周辺部に測距が不可能な部分が生じるという、従来の課題を解決できる。本実施形態において上記で説明したような、複数の撮像領域で得られた画像を合成することによってカラー画像を作り出す処理と、複数の撮像領域で得られた画像を用いて被写体までの距離を計測する処理（測距処理）とは、画像から抽出した視差量に基づいて処理を行う点において共通である。従って、測距処理についても本実施形態を適用することにより、画像の周辺部に測距が不可能な部分が生じるという従来の課題を解決できる。例えば、図１の構成における画像合成回路１６の代わりに、図７に示すように、イメージセンサ５，７の画像から抽出した視差に基づいて被写体までの距離を算出する距離算出回路１９を設けることにより、測距処理を行う撮像装置を容易に構成することができる。なお、画像合成回路１６と距離算出回路１９との両方を備えたことによって、カラー画像出力処理と測距処理との両方が可能な撮像装置も、本発明の一つの実施形態である。
【００８３】
なお、２つの光学系における視差量ｄが得られると、上記の（数６）で被写体までの距離ｚを得ることができる。
【００８４】
また、第１の実施の形態と同様に、距離を計測する撮像装置においては、４つの撮像領域は必要なく、少なくとも２つの撮像領域があれば、十分に距離計測が可能であることは言うまでもない。
【００８５】
具体的には、図２２に示すような撮像装置で、イメージセンサ５，７の画像から抽出した視差に基づいて被写体までの距離を算出する距離算出回路１９を設けることにより、測距処理を行う撮像装置を容易に構成することができる。なお、本実施形態にかかる撮像装置を測距装置として用いる場合、視差演算回路１４により２つの撮像光学系１，３における視差量ｄが得られると、距離算出回路１９は、（数６）によって被写体までの距離ｚを得ることができる。なお、数６において、Ｄは２つの撮像光学系１，３の光軸間距離（図２３中のＤ１）、ｆは撮像光学系１，３の焦点距離、ｄは視差量、ｚは被写体距離である。
【００８６】
図２３は、撮像光学系１、３側から各イメージセンサ５、７を見た場合の、各イメージセンサの撮像領域の大きさを示す平面図である。ここでは、第１の実施形態や第２の実施形態と同じ機能を有する部分には同じ記号を付した。第１の実施形態と同様に、イメージセンサ５は基準画像Ｇ０を出力し、イメージセンサ７は画像Ｇ１を出力するものとする。
【００８７】
また、図２３において、５ｃは、撮像光学系１とイメージセンサ５で決定される光軸がイメージセンサ５の受光面と交差する点、７ｃは、撮像光学系３とイメージセンサ７で決定される光軸がイメージセンサ７の受光面と交差する点をそれぞれ示す。さらに、イメージセンサ７内に記した破線は、イメージセンサ５と同じ大きさの撮像領域を示すものである。点５ｃと点７ｃの距離をＤ１とした。
【００８８】
本実施形態の撮像装置では、図２３からも分かるように、イメージセンサ５、７の大きさが互いに異なっている。具体的には、基準画像Ｇ０を出力するイメージセンサ５の方がイメージセンサ７よりも小さい。イメージセンサ５と比較して、イメージセンサ７は、ｘの負の方向に画素数をｄ１だけ拡大した大きさとなっている。
【００８９】
ｘ方向の画素拡大量ｄ１とは、最短被写体距離をＡmin、撮像光学系１、３の焦点距離をｆ、イメージセンサ５、７の画素ピッチをｐとすると、前述の（数１）の仮定の下で、（数９）で記述することができる。従って、イメージセンサ５の大きさが、Ｈ画素×Ｖ画素であるとすると、イメージセンサ７の大きさは（Ｈ＋ｄ１）画素×Ｖ画素となる。
【００９０】
本構成によれば、イメージセンサ５に比べ、イメージセンサ７が大きいため、最短被写体距離において発生する視差を考慮しても、イメージセンサ５の画像情報に匹敵する全ての情報をイメージセンサ７から抽出することが可能となる。
【００９１】
具体的には、図２４に示すように、イメージセンサ５の周辺部に結像した近距離物体１８ａは、イメージセンサ７の撮像領域が十分大きいため、情報の欠落無しにイメージセンサ７内に像を結ぶことができる。これにより、第２の実施形態のように複雑な演算処理なしに、従来から課題となっていた色情報毎に視差を有する複眼光学系における周辺部の偽色の課題を改善することに加え、第１の実施形態よりも出力画素領域を大きくすることができる。なお、図２３は、撮像光学系１、３側からイメージセンサ５、７の受光面を見た図であり、図２４は、イメージセンサ５、７のそれぞれから出力される撮像信号を示す図であるため、図２３と図２４とでは上下、左右が逆の関係になっている。さらに、Ｇ１内に記した破線は、Ｇ０と同じ大きさの撮像領域を示すものである。
【００９２】
本実施形態では、２つのイメージセンサが緑色波長帯域を撮像する構成について説明したが、近赤外などの互いに同じ波長の光線を検出する構成によっても同様の効果が得られる。また、それぞれのイメージセンサにベイヤ配列のカラーフィルタなどを形成し、カラー画像を検出する事を可能としても、同様の効果を得ることができる。また、本実施形態では、イメージセンサの横方向（図２２のｘ方向）に、複数個の撮像光学系とイメージセンサとの組合せを配したが、複数個の光学系とイメージセンサの組合せを垂直方向に配しても、同様の効果を得ることは言うまでもない。
【００９３】
また、上述の第１〜第３の撮像装置のそれぞれにおいて、図１５に示すように、撮像光学系１〜４を透過した光線が、それぞれに対応するイメージセンサ以外のイメージセンサへ入射することを防止するために、イメージセンサ５〜８の境界部に遮光壁２２を設けることが好ましい。また、この遮光壁２２は、イメージセンサ５〜８の設置面から撮像光学系１〜４の設置面に到達する程度の高さを有していることが、さらに好ましい。
【００９４】
また、上記の各実施形態では、４つの撮像光学系と４つのイメージセンサとを備えた撮像装置を例示したため、基準画像の２辺に沿ってＬ字状に画素を削除する例（例えば図３、図９等）や、図１３に示すように、イメージセンサの受光面の大きさを２方向に拡大する例を示した。しかし、例えば、５つの撮像光学系と５つのイメージセンサとを有し、１つのイメージセンサの４辺に隣接するよう４つのイメージセンサが配置された構成も可能である。この構成の場合は、図１６に示すように、中央のイメージセンサから出力される画像Ｐ０を基準画像とし、この基準画像Ｐ０に対する、他のイメージセンサから出力される画像Ｐ１〜Ｐ４の視差をそれぞれ求めて、基準画像Ｐ０に画像Ｐ１〜Ｐ４を視差補正して合成することにより、カラー画像を作成する。この場合は、図１６に斜線を付して示したように、基準画像Ｐ０の４辺に沿って適宜の画素を削除することとなる。
【産業上の利用可能性】
【００９５】
本発明は、薄型でかつ画像の周辺部の偽色発生や画像の周辺部で測距が不可能であることを解決した撮像装置として、例えば、モバイル機器や車載用等の種々の用途の撮像装置として利用可能である。
【図面の簡単な説明】
【００９６】
【図１】図１は、本発明の第１の実施形態に係る撮像装置の概略構成を示すブロック図
【図２】図２は、視差発生例の概略図
【図３】図３は、色情報の欠落を発せさせない構成の概略図
【図４】図４は、視差補正アルゴリズムの基本的な流れを示す図
【図５】図５は、検出ブロックを示す図
【図６】図６は、視差量の評価値と第２の検出ブロックの視差量との関係を示す図
【図７】図７は、本発明の第１の実施形態に係る撮像装置の変形例の概略構成を示すブロック図
【図８】図８は、本発明の第２の実施形態に係る撮像装置の概略構成を示すブロック図
【図９】図９は、第２の実施形態に係る撮像装置において、ずれ領域を適当な大きさにブロック分割した状態を示す図
【図１０】図１０は、色情報欠落判定アルゴリズムの流れを示す図
【図１１】図１１は、色情報欠落判定法を説明する図
【図１２】図１２は、第２の実施形態に係る撮像装置における出力画素領域の拡大処理を説明する図
【図１３】図１３は、本発明の第３の実施形態に係る撮像装置において、撮像光学系側から見た各イメージセンサの大きさを示す平面図
【図１４】図１４は、第３の実施の形態の効果を示す図
【図１５】図１５は、第１〜第３の実施形態にかかる撮像装置の変形例を示す斜視図
【図１６】図１６は、第１〜第３の実施形態にかかる撮像装置のさらなる変形例の説明図
【図１７】図１７は、従来の撮像装置の構成を示す図
【図１８】図１８は、従来の撮像装置において生じる視差を説明する図
【図１９】図１９は、本発明の撮像装置の断面図
【図２０】図２０は、本発明の撮像装置の実施例を示す図
【図２１】図２１は、本発明の撮像装置の別の実施例を示す図
【図２２】図２２は、本発明の第３の実施形態に係る撮像装置変形例の概略構成を示すブロック図
【図２３】図２３は、本発明の第３の実施形態に係る撮像装置変形例の撮像光学系側から見た各イメージセンサの大きさを示す平面図
【図２４】図２４は、本発明の第３の実施形態に係る撮像装置変形例の効果を示す図
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2007119468.tif 000039
【図２】
2007119468.tif 000040
【図３】
2007119468.tif 000041
【図４】
2007119468.tif 000042
【図５】
2007119468.tif 000043
【図６】
2007119468.tif 000044
【図７】
2007119468.tif 000045
【図８】
2007119468.tif 000046
【図９】
2007119468.tif 000047
【図１０】
2007119468.tif 000048
【図１１】
2007119468.tif 000049
【図１２】
2007119468.tif 000050
【図１３】
2007119468.tif 000051
【図１４】
2007119468.tif 000052
【図１５】
2007119468.tif 000053
【図１６】
2007119468.tif 000054
【図１７】
2007119468.tif 000055
【図１８】
2007119468.tif 000056
【図１９】
2007119468.tif 000057
【図２０】
2007119468.tif 000058
【図２１】
2007119468.tif 000059
【図２２】
2007119468.tif 000060
【図２３】
2007119468.tif 000061
【図２４】
2007119468.tif 000062
【国際調査報告】
2007119468.tif 000063
2007119468.tif 000064
2007119468.tif 000065
2007119468.tif 000066