(57)【特許請求の範囲】
【請求項１】
複数の異なる焦点距離の光学系と、
前記複数の光学系のそれぞれに対応して設けられた複数の撮像素子と、
前記複数の異なる焦点距離の光学系で撮像された複数の画像を取得する取得手段と、
前記複数の画像を合成し、合成画像を生成する合成手段と、を有し、
前記光学系と前記撮像素子のそれぞれの組み合せは、第１の光学系に対応する（焦点距離）／（画素の一辺の長さ）が第２の光学系に対応する（焦点距離）／（画素の一辺の長さ）のＮ倍（Ｎは１より大きい整数）の関係であり、
前記合成手段は、前記第１の光学系に対応する（焦点距離）／（画素の一辺の長さ）が前記第２の光学系に対応する（焦点距離）／（画素の一辺の長さ）と等しくなるように、前記第１の光学系に対応する画像の画素を加算し、合成する
ことを特徴とする撮像装置。
【請求項２】
複数の異なる焦点距離の光学系と、
前記複数の光学系のそれぞれに対応して設けられた複数の撮像素子と、
前記複数の異なる焦点距離の光学系で撮像された複数の画像を取得する取得手段と、
前記複数の画像を合成し、合成画像を生成する合成手段と、を有し、
前記光学系と前記撮像素子のそれぞれの組み合せは、第１の光学系に対応する（焦点距離）／（画素の一辺の長さ）が第２の光学系に対応する（焦点距離）／（画素の一辺の長さ）のＮ倍（Ｎは１より大きい整数）の関係であり、
前記合成手段は、前記第１の光学系に対応する前記画像の画素をＮ個加算し、合成する
ことを特徴とする撮像装置。
【請求項３】
複数の異なる焦点距離の光学系と、
前記複数の光学系のそれぞれに対応して設けられた、画素ピッチの異なる複数の撮像素子と、
前記複数の異なる焦点距離の光学系で撮像された複数の画像を取得する取得手段と、
前記複数の画像を合成し、合成画像を生成する合成手段と、を有し、
前記光学系と前記撮像素子のそれぞれの組み合せは、第１の光学系に対応する（焦点距離）／（画素の一辺の長さ）が第２の光学系に対応する（焦点距離）／（画素の一辺の長さ）のＮ倍（Ｎは１より大きい整数）の関係である
ことを特徴とする撮像装置。
【請求項４】
前記取得手段は、同期して撮像された画像を取得することを特徴とする請求項１乃至３のうちいずれか１項に記載の撮像装置。
【請求項５】
前記複数の画像の位相差を検出する位相差検出手段をさらに有し、
前記合成手段は、前記位相差に基づいて、画素ずれが最も小さくなるように加算を開始する位相を決定し、（焦点距離）／（画素の一辺の長さ）が大きい画像の画素を加算し、合成することを特徴とする請求項１乃至４のうちいずれか１項に記載の撮像装置。
【請求項６】
前記位相差検出手段は、前記合成手段が前記第１の光学系に対応する（焦点距離）／（画素の一辺の長さ）が前記第２の光学系に対応する（焦点距離）／（画素の一辺の長さ）と等しくなるように、前記第１の光学系に対応する画像の画素を加算した画像に基づいて、前記位相差を検出することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記複数の異なる焦点距離の光学系は、可変焦点距離の光学系と固定焦点距離の光学系を含み、
前記可変焦点距離の光学系の焦点距離は、（焦点距離）／（画素の一辺の長さ）が前記固定焦点距離の光学系の（焦点距離）／（画素の一辺の長さ）の整数倍になる位置に設定されることを特徴とする請求項１乃至６のうちいずれか１項に記載の撮像装置。
【請求項８】
光学系と、前記光学系に対応して設けられた撮像素子と、を有する複数の撮像装置と、前記光学系で撮像された複数の画像を取得する取得手段と、前記複数の画像を合成し、合成画像を生成する合成手段と、を有する画像処理装置を備える撮像システムであって、
前記光学系は異なる焦点距離を有し、
前記光学系と前記撮像素子のそれぞれの組み合せは、第１の光学系に対応する（焦点距離）／（画素の一辺の長さ）が第２の光学系に対応する（焦点距離）／（画素の一辺の長さ）のＮ倍（Ｎは１より大きい整数）の関係であり、
前記合成手段は、前記第１の光学系に対応する（焦点距離）／（画素の一辺の長さ）が前記第２の光学系に対応する（焦点距離）／（画素の一辺の長さ）と等しくなるように、前記第１の光学系に対応する画像の画素を加算し、合成する
ことを特徴とする撮像システム。
【請求項９】
光学系と、前記光学系に対応して設けられた撮像素子と、を有する複数の撮像装置と、前記光学系で撮像された複数の画像を取得する取得手段と、前記複数の画像を合成し、合成画像を生成する合成手段と、を有する画像処理装置を備える撮像システムであって、
前記光学系は異なる焦点距離を有し、
前記光学系と前記撮像素子のそれぞれの組み合せは、第１の光学系に対応する（焦点距離）／（画素の一辺の長さ）が第２の光学系に対応する（焦点距離）／（画素の一辺の長さ）のＮ倍（Ｎは１より大きい整数）の関係であり、
前記合成手段は、前記第１の光学系に対応する前記画像の画素をＮ個加算し、合成する
ことを特徴とする撮像システム。
【請求項１０】
光学系と、前記光学系に対応して設けられた撮像素子と、を有する複数の撮像装置と、前記光学系で撮像された複数の画像を取得する取得手段と、前記複数の画像を合成し、合成画像を生成する合成手段と、を有する画像処理装置を備える撮像システムであって、
前記光学系は異なる焦点距離を有し、
前記撮像素子は異なる画素ピッチを有し、
前記光学系と前記撮像素子のそれぞれの組み合せは、第１の光学系に対応する（焦点距離）／（画素の一辺の長さ）が第２の光学系に対応する（焦点距離）／（画素の一辺の長さ）のＮ倍（Ｎは１より大きい整数）の関係である
ことを特徴とする撮像システム。
【請求項１１】
複数の異なる焦点距離の光学系と、前記複数の光学系のそれぞれに対応して設けられた複数の撮像素子とを有する撮像装置の制御方法であって、
前記複数の異なる焦点距離の光学系で撮像された複数の画像を取得する取得工程と、
前記複数の画像を合成し、合成画像を生成する合成工程と、を有し、
前記光学系と前記撮像素子のそれぞれの組み合せは、第１の光学系に対応する（焦点距離）／（画素の一辺の長さ）が第２の光学系に対応する（焦点距離）／（画素の一辺の長さ）のＮ倍（Ｎは１より大きい整数）の関係であり、
前記合成工程において、前記第１の光学系に対応する（焦点距離）／（画素の一辺の長さ）が前記第２の光学系に対応する（焦点距離）／（画素の一辺の長さ）と等しくなるように、前記第１の光学系に対応する画像の画素を加算し、合成することを特徴とする制御方法。
【請求項１２】
複数の異なる焦点距離の光学系と、前記複数の光学系のそれぞれに対応して設けられた複数の撮像素子とを有する撮像装置の制御方法であって、
前記複数の異なる焦点距離の光学系で撮像された複数の画像を取得する取得工程と、
前記複数の画像を合成し、合成画像を生成する合成工程と、を有し、
前記光学系と前記撮像素子のそれぞれの組み合せは、第１の光学系に対応する（焦点距離）／（画素の一辺の長さ）が第２の光学系に対応する（焦点距離）／（画素の一辺の長さ）のＮ倍（Ｎは１より大きい整数）の関係であり、
前記合成工程において、前記第１の光学系に対応する前記画像の画素をＮ個加算し、合成することを特徴とする制御方法。
【請求項１３】
複数の異なる焦点距離の光学系と、前記複数の光学系のそれぞれに対応して設けられた、画素ピッチの異なる複数の撮像素子とを有する撮像装置の制御方法であって、
前記複数の異なる焦点距離の光学系で撮像された複数の画像を取得する取得工程と、
前記複数の画像を合成し、合成画像を生成する合成工程と、を有し、
前記光学系と前記撮像素子のそれぞれの組み合せは、第１の光学系に対応する（焦点距離）／（画素の一辺の長さ）が第２の光学系に対応する（焦点距離）／（画素の一辺の長さ）のＮ倍（Ｎは１より大きい整数）の関係であり、
前記合成工程において、前記第１の光学系に対応する（焦点距離）／（画素の一辺の長さ）が前記第２の光学系に対応する（焦点距離）／（画素の一辺の長さ）と等しくなるように、前記第１の光学系に対応する画像の画素を加算し、合成することを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多眼の撮像装置及びその制御方法に関する。
【背景技術】
【０００２】
近年、撮像装置の高性能化、多機能化に伴い、複数の光学系を有する撮像装置が提案されており、複数のカメラ（撮像素子）からの信号を合成するための画像処理方法についても多くの提案がなされている。例えば、特許文献１では、複眼カメラ（いわゆる多眼カメラのこと）において、複数の画素数異なるセンサを設けるとともに、画素数の多いセンサの信号を加算した後に処理する技術が開示されている。特許文献２では、焦点距離の異なる複数のカメラの画像において、画角の狭いカメラからの画像の空間周波数の低周波成分と、画角の広いカメラの信号の位相を合わせて合成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１５７８６３号公報
【特許文献２】特開２０１０−００９４１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の技術を用いた場合には、画素ピッチに強い制約が生じる、焦点距離の異なる光学系にはそのまま適用できない。また、特許文献２の技術を用いた場合には、周波数空間での演算が必要なため、演算負荷が増大してしまう。
【０００５】
本発明は、簡単な演算で高画質な出力画像を得ることを可能にした撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の撮像装置は、複数の異なる焦点距離の光学系と、前記複数の光学系のそれぞれに対応して設けられた複数の撮像素子と、前記複数の異なる焦点距離の光学系で撮像された複数の画像を取得する取得手段と、前記複数の画像を合成し、合成画像を生成する合成手段と、を有し、前記光学系と前記撮像素子のそれぞれの組み合せは、第１の光学系に対応する（焦点距離）／（画素の一辺の長さ）が第２の光学系に対応する（焦点距離）／（画素の一辺の長さ）のＮ倍（Ｎは１より大きい整数）の関係であり、前記合成手段は、前記第１の光学系に対応する（焦点距離）／（画素の一辺の長さ）が前記第２の光学系に対応する（焦点距離）／（画素の一辺の長さ）と等しくなるように、前記第１の光学系に対応する画像の画素を加算し、合成する。
【発明の効果】
【０００７】
本発明によれば、簡単な演算で高画質な出力画像を得ることを可能にした撮像装置を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】第１実施形態の多眼撮影装置及び構成を示すブロック図である。
【図２】多眼撮影装置で取得される像及び信号の模式図である。
【図３】位相差検出部の評価値を説明する図である。
【図４】本発明の物理的な意味と動作の流れを説明する図である。
【図５】第２実施形態の多眼撮影装置及び構成を示すブロック図である。
【発明を実施するための形態】
【０００９】
（第１実施形態）
図１は、本実施形態にかかわる撮像装置の外観を示す外観図及び撮像装置の電気的構成を示すブロック図である。図１（Ａ）は、多焦点撮像装置である撮像装置１００の外観図である。撮像装置１００の前面には、複数の光学系１０１ａ、１０１ｂ、１０１ｃ、１０１ｄが配置されている。スイッチ１０６ａは、操作部１０６の１つで、自動復帰型の押しボタンスイッチである。スイッチ１０６ａは指などで操作され、軽く押し込むことでスイッチＳ１がＯＮとなり、奥まで押し込むことでスイッチＳ２がＯＮとなる。押し込む指を離すと押し込む前の状態へと復帰し、スイッチＳ１、スイッチＳ２のそれぞれはＯＦＦとなる。スイッチＳ１のＯＮにより、ピントや明るさの調整を行い、スイッチＳ２のＯＮにより、静止画の撮像や動画撮影の開始と終了を行う。
【００１０】
図１（Ｂ）は、撮像装置１００のシステム構成を示すブロック図である。撮像装置１００は、光学系１０１ａ〜１０１ｄ、撮像素子１０２ａ〜１０２ｄ、レンズ駆動部１０３、画像処理部１０４、画像表示部１０５、メモリ部１０８、それらを制御する制御部１０７を含む。光学系１０１ａ、１０１ｂ、１０１ｃのそれぞれは結像光学系（フォーカスレンズ）であり、結像光学系群を構成する。光学系１０１ａ、１０ｂ、１０１ｃの焦点距離は互いに異なっている。撮像素子１０２ａ、１０２ｂ、１０２ｃは、光学系１０１ａ、１０１ｂ、１０１ｃのそれぞれに導かれる光線を光電変換する複数の光電変換部（画素）を有する撮像素子示す。図１（Ａ）には４つの光学系１０１ａ、１０１ｂ、１０１ｃ、１０１ｄが例示されており、図１（Ｂ）はそのうち３つの光学系１０１ａ、１０１ｂ、１０１ｃまでの構成を記載した。図１（Ｂ）における１０１ｃの下方にあるドットは、１０１ｄの記載を省略したことを示している。
【００１１】
レンズ駆動部１０３は、光学系１０１ａ〜１０１ｄ（フォーカスレンズ）を駆動し被写体へと焦点を合わせるフォーカス駆動などのレンズ駆動を行う。画像処理部１０４は、複数の撮像素子から出力された信号を処理して画像を生成する画像処理部である。画像処理部１０４は、加算部１０４ａ及び位相差検出部１０４ｂを含んでいる。画像処理部１０４では、少なくとも露光時間が重複するように取得された複数の画像を合成する画像処理を行うことができる。画像処理後の画像を合成画像と呼ぶ。ここでいう画像処理とは、異なる焦点距離の光学系１０１ａ、１０１ｂ、１０１ｃの画像を利用してズームレンズのような画像を提示する処理や、複数のセンサの信号を利用してノイズを低減する処理等を指す。ここでいうノイズを低減する処理とは、複数の撮像素子からの信号を加算平均することで平滑化してノイズを低減する技術である。画像表示部１０５は、画像を表示する。操作部１０６は、ユーザーの指示を受け付けるための複数の操作手段を有し、前述したスイッチ１０６ａなどを含む。制御部１０７は、カメラシステム全体の制御を行うカメラシステム制御部である。制御部１０７は、レンズ駆動部１０３へと指示を送り、焦点距離の制御を行う。また、画像処理部１０４より送られてきた画像を用いて被写体の測距を行う。測距は、画像の定めた領域内の被写体について行われる。メモリ部１０８は、取得した画像を記憶する。
【００１２】
図２は、撮像装置１００で取得される画像を模式的に示すとともに、位相差検出部１０４ｂの動作を説明する図である。図２（Ａ）、図２（Ｂ）はそれぞれ異なる焦点距離の光学系で取得される画像を示している。画像１１１ａは焦点距離の短い（画角の広い）光学系で取得される像を、画像１１１ｂは焦点距離の長い（画角の狭い）光学系で取得される像をそれぞれ示している。また、図２（Ａ）の画像１１１ａ内に示した枠１１１ｂ’は、図２（Ｂ）に示す画像１１１ｂが画像１１１ａの一部分を捉えていることを模式的に示している。画像１１１ａ及び画像１１１ｂ内に示した検出エリア１１２は、位相差検出に用いる画像内の部分を示している。また１２１は被写体を示している。
【００１３】
図２（Ａ）及び図２（Ｂ）から明らかなように、焦点距離の短い（画角の広い）光学系はより広い範囲の像が結像している。これは像面で物体像が小さくなっていることに相当しており、焦点距離によって結像倍率（ここではいわゆる横倍率の意味で用いる）が異なっている。このため、同じ画素ピッチのセンサを用いているとすると、被写体の距離と焦点距離で決まる結像倍率によって、１つの画素に対応する物体の大きさが異なっている。
【００１４】
また、図２（Ａ）、図２（Ｂ）では基線長は画面の長手方向を示しており、一般的な撮像装置においては水平方向に対応する。ここでいう基線長とは、位相差検出を行う光学系が離間している距離であり、基線長に垂直な方向とは位相差検出を行う光学系が離間する方向に直交する方向を示している。図１（Ａ）との対応を考えると、図２（Ａ）、図２（Ｂ）の画像は光学系１０１ａ及び光学系１０１ｂの組または光学系１０１ｃ及び光学系１０１ｄの組に対応する。
【００１５】
多焦点撮像装置においては、異なる焦点距離の光学系から得られた像を、画像処理して出力画像を生成するが、そのためには同じ被写体に対応した領域を決める必要がある。本実施形態においては、位相差検出部１０４ｂが画像の情報から同じ被写体に対応した領域を定める。図２（Ｃ）〜図２（Ｅ）は、位相差検出部１０４ｂの動作を模式的に示したものである。図２（Ｃ）〜図２（Ｅ）において、縦軸は無次元化した明るさを示しており、横軸は基線長方向の画面内の位置を示している。無次元化した明るさとは、光学系ごとのｆナンバーや蓄積時間の差などを調整するために、取得された画素の信号を画面の平均輝度で除すなどして無次元化したものである。すなわち、無次元化した明るさは、画面内の相対的な明るさを示しているともいえる。
【００１６】
図２（Ｃ）は、図２（Ａ）及び図２（Ｂ）に示した位相差検出に用いる画像内の検出エリア１１２の信号を抜き出したのち、基線長に垂直な方向を加算した信号を示している。位相差検出に用いる、同じ被写体に対応した領域である、画像内の検出エリア１１２は、基線長の方向が長手となるような長方形をなしている。図２（Ｃ）において、輝度信号１３１ａは画像１１１ａからの信号を、輝度信号１３１ｂは画像１１１ｂからの信号を示している。データ１４０〜１４４は１３１ｂ上のデータを、データ１５０及びデータ１５１は１３１ａ上のデータをそれぞれ示している。図２（Ｃ）において、輝度信号１３１ａよりも輝度信号１３１ｂのデータ点の数が多いことが、空間的なサンプリングが稠密になされていることに対応している。これは図２（Ｂ）のように部分的な画像を拡大して捉えていることに対応するとともに、画素のピッチの影響も反映させている。
【００１７】
図２（Ｃ）に示された例では、サンプリング間隔が整数倍になるように調整されている。すなわち次の式１の条件を満たすように複数の光学系が構成されている。
（光学系１の焦点距離）／（光学系１の画素の一辺の長さ）
＝  Ｎ  ＊  （光学系２の焦点距離）／（光学系２の画素の一辺の長さ）・・・（式１）
式１において、光学系１は焦点距離が相対的に長い光学系を示しており、Ｎは自然数（１より大きい整数）を示している。画素の一辺の長さとは受光素子と配線などからなる画素（一般的には正方形）の一つの辺の長さを示している。各画素内の定位置に受光素子が配されているとして、画素の一辺の長さは受光素子の中心間の距離（画素ピッチ）と等価であり、式１をそのように定義してもよい。図１（Ｂ）の例で式１の定義を図と対応させると、光学系１は１０１ｃに光学系１の画素は撮像素子１０２ｃの画素にそれぞれ対応し、光学系２は１０１ａに光学系２の画素は撮像素子１０２ａの画素にそれぞれ対応する。すなわち式１は、異なる焦点距離の光学系において、焦点距離と撮像素子上の画素の一辺の長さを規定する式となっている。
なお、Ｎ＝１の場合は物体側でのサンプリング密度が同じ光学系という意味になる。図２（Ｃ）に示した例ではＮ＝４であり、輝度信号１３１ｂは輝度信号１３１ａよりも４倍の密度でサンプリングしている様子を示している。
【００１８】
また式１を見ると明らかなように、画素に関しては、光学系１の画素の一辺の長さが分かればよく、画素の一辺の長さを決められた値に設定する必要がないため、画素の一辺の長さを決められた値に設定した場合などに比べて設定の自由度が高い。そのため特性の異なるセンサを用いたい場合、例えば、スペースの制約で特性の光学系の画素ピッチを小さくしてセンサを小型化したい場合や、既存の光学系を使いたい場合など、焦点距離や画素の一辺の長さに制約がある場合に役に立つ。すなわち片方の制約に応じて他方を調整することで式１を満たすことが可能となり、後述するように演算量の低減を実現できる。例えば、センサが既存のものを利用して画素の一辺の長さの比が自由に選択できない時には、焦点距離を式１を満たすような比で設計すればよい。図２では、光学系が２つの場合を示しているが、これに限られるものではなく、複数の光学系についてそれぞれが式１の関係を満たすようにすればよい。
【００１９】
多焦点撮像装置で取得された焦点距離の異なる像を合成するためには、それぞれの像を位置合わせする必要がある。そのためには図２（Ｃ）の信号を処理して位置を合わせる必要がある。本実施形態に示す撮像装置１００においては、式１の関係が成り立っているために、光学系１の画素をＮ個加算平均することで容易に処理を行うことが出来る。ここで平均するのは、明るさの違いを正規化する為である。つまり、（焦点距離）／（画素の一辺の長さ）が大きい光学系を考え、加算部１０４ａではＮ個加算することで（焦点距離）／（（画素の一辺の長さ）＊（加算数Ｎ））を等しくすることが出来る。本実施形態に示す数１の関係が成り立たない場合には、周波数空間での処理を施したり、リサンプリングしたりする必要があり、演算量が増えてしまう。
【００２０】
図２（Ｃ）において輝度信号１３１ｂの隣接する信号をＮ個（図２の例では前述したようにＮ＝４）加算した信号を図２（Ｄ）に示す。例えば、図２（Ｃ）において隣接するデータ１４０、１４１、１４２、１４３の加算されたデータが、図２（Ｄ）におけるデータ１４５である。図２（Ｃ）から図２（Ｄ）を貫く一点鎖線１４６は、加算した信号の重心位置を示す線であり、空間的に対応していることを示している。すなわちデータ１４５はデータ１４１と１４２のあいだの位置にある。このようにそれぞれ隣接する信号をＮ個加算して作られた信号が輝度信号１３１ｃである。
【００２１】
図２（Ｄ）では簡単な加算によって光学系１と光学系２の信号である輝度信号１３１ａと輝度信号１３１ｃのピッチが等しくなっている。このため、相関演算として知られている位相を検出する演算を行うことで２つの輝度信号１３１ａと輝度信号１３１ｃの位相差を検出する。よく知られているように差分絶対値（以下、ＳＡＤという）の極小を検出して位相が合致する位置とすればよい。位相が合致する位置は、例えば図２（Ｅ）のようになる。ＳＡＤは式２のように定義される。
0006704803.tif 000002
式２においてｉは相対的に位置をずらした画素数を示しており、ｊは２つの画像の位相差検出に用いる画像の大きさに対応する。つまり差分の絶対値を加算（積分）したものである。
【００２２】
さらには、差分絶対値の変化を局所的に多項式近似するなどして、輝度信号１３１ａ、輝度信号１３１ｃにおいて１データずれ以下の精度で位相を検知することも出来る。これは、後述する画素ずれを最小にする処理において有用である。この様子を図３に模式的に示した。図３において、縦軸は２つの信号のＳＡＤを、横軸は横にずらした量（単位は画素）を示しており、１つの縦線が１画素に対応している。より具体的には、図２（Ｄ）、図２（Ｅ）に示したような２つの画像の位相差検出に用いる画像内の部分信号を、相対的な位置を変えながらＳＡＤを計算する。相対的な位置が横軸（式２におけるｉ）であり、ＳＡＤが縦軸（式２におけるＳＡＤ（ｉ））となっている。また図３の数字１、２、３、４は、この順にＳＡＤの値が小さいことを示している。図３（Ａ）は画素ずれが小さい場合の例を、図３（Ｂ）は画素ずれが大きい場合の例を、図３（Ｃ）は図３（Ａ）及び図３（Ｂ）のデータを重ねた様子を示している。ＳＡＤの値は整数倍の画素ずれ（１画素単位）でしか求まらないが、図３に示されるように極小値を近似することが出来る。すなわち、ＳＡＤの最も小さい箇所（数字１）、ＳＡＤが２番目に小さい箇所（数字２）、ＳＡＤが３番目に小さい箇所（数字３）を求める。ＳＡＤが３番目に小さい箇所（数字３）がＳＡＤの最も小さい箇所（数字１）に対してＳＡＤが２番目に小さい箇所（数字２）と反対側にある場合には数字１と数字３を直線で結ぶ。この直線は、実線で示されている。この線を延長する。一方で、ＳＡＤが２番目に小さい箇所（数字２）を先ほどの数字１と数字３を結ぶ直線と傾きが反対の直線が通るようにする。この直線は、破線で示されている。実線と破線の交点を極小値の位置とする。
【００２３】
同じ処理で、図３（Ａ）及び図３（Ｂ）のデータでＳＡＤの極小位置を求めると、図３（Ａ）では、ＳＡＤの最も小さい箇所（数字１）近傍に極小値がある。図３（Ｂ）では、ＳＡＤの最も小さい箇所（数字１）とＳＡＤが２番目に小さい箇所（数字２）の中間に近い位置に極小値があることが分かる。図３（Ａ）のような場合には画素ずれがすでに小さいので、隣接するデータ１４０、１４１、１４２、１４３を加算した状態で出力画像を生成する画像処理を施す。一方で図３（Ｂ）のような場合には、加算前の画素では１画素以上のずれが生じているので、画素ずれが最も小さくなるように加算開始位相を決定した後に、再度画素加算を施す。この処理については、図４を用いて物理的な結びつきとともに後述する。
【００２４】
さらに図３（Ａ）及び図３（Ｂ）の縦軸に注目すると、各データ点は一つの滑らかな関数に乗っていると想定される。図３（Ｃ）は、図３（Ａ）と図３（Ｂ）のデータを重ね、図３（Ａ）の数字１〜４をそれぞれ数字１ａ〜４ａで、図３（Ｂ）の数字１〜４をそれぞれ数字１ｂ〜４ｂで示している。図３（Ｃ）に破線で示した曲線状にデータが乗るとともに、より極小値に近いデータ点である数字１ａが最も小さな値になっている。これは画素ずれが小さい状態で加算を行ったほうが、焦点距離の異なる画像間の一致度が良いことを示している。
【００２５】
次に、ＳＡＤの極小値の位置と物理的な対応及び本実施形態の処理方法について、図４（Ａ）〜図４（Ｃ）を用いて説明する。図４（Ａ）及び図４（Ｂ）は、撮像素子の画素を平面１８０に投影した状態を示している。また、図４（Ａ）は図３（Ａ）に、図４（Ｂ）は図３（Ｂ）にそれぞれ対応している。また、図４（Ｃ）は、本実施形態の処理を示すフローチャートである。
【００２６】
図４（Ａ）及び図４（Ｂ）において、データ１５０及びデータ１５１は焦点距離の短い光学系で取得されたデータであり、図２の同じ番号の信号と対応している。データ１４０、１４１、１４２、１４３、１４４は焦点距離の長い光学系で取得されたデータであり、図２の同じ番号の信号と対応している。加算データ１４５はデータ１４０、１４１、１４２、１４３を加算した信号を示している。加算データ１６５は画素ずれが最も小さくなるように加算開始位相を決定した後に再度加算した信号を示している。
【００２７】
図４（Ａ）と図４（Ｂ）の信号を比較する。（焦点距離）／（画素の一辺の長さ）が小さい光学系で取得されたデータ１５０、１５１を基準に考えると、（焦点距離）／（画素の一辺の長さ）が大きい光学系で取得されたデータ１４０、１４１、１４２、１４３、１４４の位置（位相）が異なっている。この位置は、図４（Ａ）に示した２つの光学系の距離（基線長）、２つの光学系の焦点距離、物体距離によって決まる。変数に物体距離を含んでいるために被写体によって異なり事前に得ることが出来ない。このため本実施形態では、一度適当な位置で加算して位相差を検出した後、画素ずれが最も小さくなるように再度加算を行う。
【００２８】
図４（Ａ）では、加算データ１４５とデータ１５１の位置がほぼあっている。これは、画素ずれが小さい状態である。このときの（焦点距離）／（画素の一辺の長さ）が小さい光学系からの信号と加算信号で求めたＳＡＤは、図３（Ａ）に示すように極小値が、整数倍の画素ずらし量の近傍にある。この場合は、加算位相をそのままとして画像処理を施す。その結果、データ１４０、１４１、１４２、１４３を加算した加算データ１４５をそのまま位相を合わせた加算データ１６５として用いることが出来る。
【００２９】
一方で、図４（Ｂ）では、加算データ１４５とデータ１５１の位置が、加算前のデータで１データ分ずれている。（焦点距離）／（画素の一辺の長さ）が小さい光学系からの信号と加算信号で求めたＳＡＤは、図３（Ｂ）に示すように、極小値が整数倍の画素ずらし量の近傍ではなくデータとデータの間にある。そして、焦点距離の長い画素で見たときには１画素以上のずれが生じている。図２及び図４で示している例では数１のＮ＝４のため、焦点距離の短い光学系からの信号と加算信号での位相が０．２５画素ずれている場合には、長い焦点距離において１画素分データの位置がずれていることに相当する。前述したように、ＳＡＤの極小値は１画素以下の単位で求めることが出来るので、このずれが最小となるように加算開始位相を調整する。より具体的には、本実施形態では０．１２５画素から０．３７５画素ずれている場合には、０．２５画素ずらす（＝焦点距離の長い画素で１画素ずらす）処理を行う。その結果、データ１４１、１４２、１４３、１４４を加算して加算データ１６５が得られる。これは物理的には、図４（Ｂ）に示すように正しく正対していない画素単位で加算が行われていた状態（加算データ１４５の状態）を画素のずれが最も小さくした状態（加算データ１６５の状態）にすることに相当する。加算データ１４５と加算データ１６５を比較すると、図３（Ｃ）に示すように加算データ１６５の方が像の一致度が高い。つまり、次に行う画像処理において精密な位置合わせなどが容易な状態にある。
【００３０】
次に、図４（Ｃ）を用いて本実施形態の処理を、順を追って説明する。ステップＳ１００は処理の開始を示している。例えば、撮像装置１００の押しスイッチ１０６ａを押し込む動作で処理が開始される。ステップＳ１１０では、画素信号（画像）を取得する。画像処理部１０４が、各光学系に対応する複数の撮像素子から出力された各信号の取得を行う。本実施形態においては、各光学系の画像は、撮像を指示する信号に同期して、同時に同じ露光時間で取得される。ステップＳ１２０では、加算部１０４ａが、（焦点距離）／（画素の一辺の長さ）が等しくなるよう画像の画素の加算を行う。具体的には、（焦点距離）／（画素の一辺の長さ）が大きい画像を整数個加算する。この時の加算位相は初期的に決められた値であり、被写体距離に対して必ずしても最適化されていない。
【００３１】
ステップＳ１３０では、位相差検出部１０４ｂが、（焦点距離）／（画素の一辺の長さ）が小さい光学系の信号と、ステップＳ１２０で加算した信号の位相差を検出する。具体的な動作は図２及び図３で示したが、例えば、ＳＡＤを計算してその極小値を検出すればよい。ステップＳ１４０では、加算部１０４ａが画素ずれを最小として（焦点距離）／（画素の一辺の長さ）が揃うように再度加算を行う。分母の（画素の一辺の長さ）は加算後の大きさを用いる。具体的な動作は図３及び図４を用いて説明した。図４における、加算データ１６５を生成する動作である。
【００３２】
ステップＳ１５０では、画像処理部１０４が画像処理を施し、記録用の合成画像を生成する。本実施形態の多眼撮影装置は、焦点距離の異なる画像を合成して出力を行う。合成方法としては、例えば、複数の撮像素子の信号を加算してノイズを低減したり、中央付近の画像には（焦点距離）／（画素の一辺の長さ）が大きい画像を挿入して高解像度化したりする方法がある。いずれの処理においても、加算位置や挿入位置を決定するために異なる光学系からの像を精密に位置合わせる必要がある。本実施形態によると式１の条件を守ることで演算量を低減している。さらに画素ずれを最小とすることで像の一致度を上げて位置合わせなどに都合がよい信号を生成している。ステップＳ１６０は、メモリ部１０８に、Ｓ１５０で生成した記録用の画像の記録を行うステップである。必要に応じて画像表示部１０５のモニタへの表示なども行う。ステップＳ１７０で、動作を終了する。
【００３３】
以上説明したように、本実施形態によれば、異なる焦点距離の画像間での演算を、（焦点距離）／（画素の一辺の長さ）を整数にすることで、簡易な演算で合成することができる。そのため、誤差の少ない高画質な出力画像を得ることを可能にした多焦点撮像装置を提供することができる。
【００３４】
（第２実施形態）
以下、図５を参照して、第２実施形態による、多焦点撮像装置について説明する。図５において図１と同じ機能を有する部分には同じ番号を付した。図５の撮像装置１００が第１実施形態の図１と異なる点は、結像光学系群の中に、可変焦点距離の光学系２０１ａを有することである。撮像装置１００は、いわゆるズーム可能な光学系２０１ａとズームしない固定焦点距離の光学系２０１ｂ、２０１ｃを含む。その他の構成は実施例１と同じである。本実施形態において、可変焦点距離の光学系２０１ａは、いわゆるステップズームとして動作する。すなわち、第１実施形態に示した式１の条件を守る位置にのみ停止することが出来る。例えば、画素ピッチが同じであるとすると固定焦点距離の光学系２０１ｂ、２０１ｃの焦点距離が２５ｍｍである時に、可変焦点距離の光学系２０１ａは５０、７５、１００ｍｍという焦点距離の位置にのみ停止して撮像を行うことが出来る。
【００３５】
以上のように、本実施形態によれば、可変焦点距離の光学系をいわゆるステップズームとして動作させることで、異なる焦点距離の画像間での演算を、（焦点距離）／（画素の一辺の長さ）を整数にすることができ、簡易な演算で合成することができる。そのため、誤差の少ない高画質な出力画像を得ることを可能にした多焦点撮像装置を提供することができる。
【００３６】
（その他の実施形態）
第１実施形態及び第２実施形態では、撮像装置１００において、画像処理を行う例を示した。しかし、これに限られるものではなく、例えば、レンズである光学系とそれに対応する撮像素子を備えた複数の撮像装置を、画像処理を行う画像処理装置に接続し、撮像システムとして実現してもよい。この場合、各撮像装置の光学系は、焦点距離の異なるものである。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００３７】
以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００３８】
１００    撮像装置
１０１ａ  光学系
１０２ａ  撮像素子
１０４    画像処理部
【図１】
0006704803.tif 000003
【図２】
0006704803.tif 000004
【図３】
0006704803.tif 000005
【図４】
0006704803.tif 000006
【図５】
0006704803.tif 000007