(57)【要約】複数の撮像領域（１０４，１０５，１０６）が、これらと一対一に対応する複数の撮像光学系（１０１、１０２、１０３）を介して複数の画像をそれぞれ撮像する。画像合成手段（１１５）は、複数の画像間のずれを揃え、且つ、複数の画像から１つの画像を合成する。これにより、高品位の合成画像を得ることができる。【特許請求の範囲】
【請求項１】
複数の撮像光学系と、
前記複数の撮像光学系と一対一に対応し、前記複数の撮像光学系を介して複数の画像をそれぞれ撮像する複数の撮像領域と、
前記複数の画像間のずれを揃える機能及び前記複数の画像から１つの画像を合成する機能を有する画像合成手段と
を備えたことを特徴とする撮像装置。
【請求項２】
前記複数の画像間のずれを揃える機能が、前記複数の画像の倍率を揃える機能である請求項１に記載の撮像装置。
【請求項３】
更に、前記複数の撮像光学系の倍率の情報を記録した記録部を備え、
前記画像合成手段は、前記複数の撮像光学系の前記倍率の情報を用いて前記複数の画像の倍率を揃える請求項２に記載の撮像装置。
【請求項４】
更に、前記複数の撮像光学系の焦点距離の情報を記録した記録部を備え、
前記画像合成手段は、前記複数の撮像光学系の前記焦点距離の情報を用いて前記複数の画像の倍率を揃える請求項２に記載の撮像装置。
【請求項５】
前記複数の画像間のずれを揃える機能が、前記複数の画像の傾きを揃える機能である請求項１に記載の画像処理装置。
【請求項６】
更に、前記複数の撮像領域の傾きの情報を記録した記録部を備え、
前記画像合成手段は、前記複数の撮像領域の前記傾きの情報を用いて前記複数の画像の傾きを揃える請求項５に記載の撮像装置。
【請求項７】
前記複数の画像間のずれを揃える機能が、前記複数の画像の歪曲を揃える機能である請求項１に記載の画像処理装置。
【請求項８】
更に、前記複数の撮像光学系の歪曲量の情報を記録した記録部を備え、
前記画像合成手段は、前記複数の撮像光学系の前記歪曲量の情報を用いて前記複数の画像の歪曲を揃える請求項７に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、複数の撮像光学系を用いて得られた複数の画像から、視差補正を行うことにより１つの高精細画像を合成する撮像装置に関する。
【背景技術】
【０００２】  複数の撮像光学系（複眼撮像系）を用いて得られた複数の画像を合成することにより、１つの高精細な画像を得る原理方式としては、例えば「超高精細画像取得のための基礎検討」（相澤清晴、他２名、画像電子学会予稿９０−０３−０４、ｐ．２３〜２８）に開示された方式が知られている。この方式では、２つの撮像光学系を用いて得た２つの画像を、一方の画像の画素間に他方の画像の画素が挿入されるように重ね合わせることにより、１つの高精細な画像を得る。【０００３】  この原理をカラー画像に応用しても同様である。即ち、高精細なカラー画像を得る方法として、ベイヤー配列やストライプ配列等で配置されたカラーフィルタを備えた複数の撮像光学系を用いる方法と、色感度特性が互いに異なる複数の撮像光学系を用いる方法とがある。【０００４】  一般的な複眼撮像装置を図１５を用いて説明する。図１５において、複数の撮像光学系１０１、１０２、１０３は、複数のイメージセンサ１０４、１０５、１０６に被写体像をそれぞれ結像する。複数のイメージセンサ１０４、１０５、１０６の撮像受光特性は互いに異なっており、イメージセンサ１０４は赤（Ｒ）波長領域を撮像し、イメージセンサ１０５は緑（Ｇ）波長領域を撮像し、イメージセンサ１０６は青（Ｂ）波長領域を撮像する。複数のイメージセンサ１０４、１０５、１０６がそれぞれ撮像した複数の画像は、それぞれＲ信号処理回路１０７、Ｇ信号処理回路１０８、及びＢ信号処理回路１０９により画像処理された後、画像合成処理回路１１０により合成されてカラー画像として出力される。【０００５】  この複眼撮像装置では複数の撮像光学系１０１、１０２、１０３の各光軸は互いに異なり、ある位置にある被写体の法線に対して対称に角度θ（輻射角）だけ傾斜して配置される。例えば輻射角θが図１５の被写体位置ｂに対して最適となるように設定され固定されている場合において、位置ａ又は位置ｃにある被写体を撮像すると、前記の輻射角θは被写体位置ａ、ｃに対して最適な輻射角とは異なるため、イメージセンサ１０４、１０５、１０６がそれぞれ撮像した画像間にずれが生じてしまう。【０００６】  これを図１６Ａ，図１６Ｂ，図１６Ｃを用いて説明する。図１６Ａ，図１６Ｂ，図１６Ｃは、いずれも図１５に示した複眼撮像装置によって得られる合成画像を示す図であり、図１６Ａは、図１５の位置ａにある被写体を撮像した場合、図１６Ｂは位置ｂにある被写体を撮像した場合、図１６Ｃは位置ｃにある被写体を撮像した場合を示している。本例では、黒の背景に丸い白い被写体を撮影したと仮定する。【０００７】  被写体が位置ａにある場合、図１６Ａに示すように、複数の撮像光学系１０１、１０２、１０３の輻射角が適切でないために緑画像に対して赤画像（Ｒ）と青画像（Ｂ）とはそれぞれ左右にずれた画像となり、合成後の画像はそのずれた分だけ色ズレとして出力されてしまう。即ち、青画像が欠落した部分は緑画像と赤画像とによりイエロー（Ｙｅ）になり、赤画像が欠落した部分は緑画像と青画像とによりシアン（Ｃｙ）となり、青画像と赤画像が欠落した部分は緑画像（Ｇ）となる。本例では複数の撮像光学系１０１、１０２、１０３の光軸が一次元に配置されているために、合成画像においてはその配置方向に一次元のずれが生じるが、二次元に配置されている場合には二次元のずれが生じる。合成画像において二次元のずれが生じた場合、緑画像が欠落した部分は赤画像と青画像とによりマジェンダ（Ｍｇ）となる。【０００８】  被写体が位置ｂにある場合、図１６Ｂに示すように、複数の撮像光学系１０１、１０２、１０３の輻射角が適切であるために色ズレのない高精細な画像が出力される。【０００９】  被写体が位置ｃにある場合、図１６Ｃに示すように、被写体が位置ａにある場合に得られる合成画像（図１６Ａ参照）とは赤画像と青画像とがそれぞれ逆方向にずれた合成画像となる。【００１０】  さらに、それぞれのイメージセンサ１０４、１０５、１０６で得られた複数の画像間にわずかな差異（例えば、倍率、傾き、歪曲などにおけるずれ）があると正確に視差を補正することが困難となり、合成した画像の画質、特に解像度を著しく劣化させる。【００１１】  これに対し特許第３３９７７５８号明細書には、倍率におけるずれを解消するために、第１の波長に対する第１の撮像光学系の焦点距離と第２の波長に対する第２の撮像光学系の焦点距離とを同一に設定することが開示されている。しかし、実際の物作りの観点から考えると、焦点距離を全く同一にすることは著しく困難であり、特に、光学系毎に対象とする波長帯域が異なる場合はほぼ不可能と考えられる。
【発明の開示】
【発明が解決しようとする課題】
【００１２】  上記したように、複眼撮像系により得られた複数の画像を合成して１つの画像を合成する撮像装置においては、それぞれの光学系で得られた複数の画像間に倍率、傾き、歪曲等にわずかなずれがあると、これらの画像から視差を正確に補正することが困難となり、合成した画像の画質、特に解像度を著しく劣化させる。【００１３】  本発明は上記従来の問題点に鑑み、複眼撮像系を有する撮像装置において、視差を有する複数の画像から、高品位の画像を合成することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】  本発明の撮像装置は、複数の撮像光学系と、前記複数の撮像光学系と一対一に対応し、前記複数の撮像光学系を介して複数の画像をそれぞれ撮像する複数の撮像領域と、前記複数の画像間のずれを揃える機能及び前記複数の画像から１つの画像を合成する機能を有する画像合成手段とを備えたことを特徴とする。
【発明の効果】
【００１５】  本発明の撮像装置によれば、複数の画像を合成する前に、複数の画像間の視差以外のずれが揃えられるので、複数の画像を高精度に合成することが可能となり高画質の合成画像を得ることができる。
【図面の簡単な説明】
【００１６】
【図１】図１は、本発明の一実施形態に係る撮像装置の概略構成を示したブロック図である。
【図２】図２は、本発明の一実施形態に係るの撮像装置において、撮像の流れを示すフロー図である。
【図３】図３は、本発明の一実施形態に係る撮像装置における被写体と像との関係を示す図である。
【図４】図４は、本発明の一実施形態に係る撮像装置において、撮像光学系の焦点距離を計測する装置の概略を示す図である。
【図５Ａ】図５Ａは、図４の装置において被検レンズの主点と回転中心軸とが一致してる場合の焦点距離の測定方法を示した図である。
【図５Ｂ】図５Ｂは、図４の装置において被検レンズの主点と回転中心軸とが一致していない場合の焦点距離の測定方法を示した図である。
【図６】図６は、本発明の一実施形態に係る撮像装置の倍率補正処理のアルゴリズムを示したフロー図である。
【図７】図７は、本発明の一実施形態に係る撮像装置の補間処理を説明するための図である。
【図８】図８は、本発明の一実施形態に係る撮像装置において各イメージセンサと被写体像との位置関係の一例を示した図である。
【図９】図９は、本発明の一実施形態に係る撮像装置において各イメージセンサを介して得られた画像の一例を示した図である。
【図１０Ａ】図１０Ａは、本発明の一実施形態に係る撮像装置において、イメージセンサの回転角を検出する方法を説明するための図である。
【図１０Ｂ】図１０Ｂは、本発明の一実施形態に係る撮像装置において、イメージセンサの回転角を検出する方法を説明するための図である。
【図１１】図１１は、本発明の一実施形態に係る撮像装置の回転補正処理のアルゴリズムを示したフロー図である。
【図１２Ａ】図１２Ａは、格子状の被写体を示した図である。
【図１２Ｂ】図１２Ｂは、本発明の一実施形態に係る撮像装置において第１の撮像光学系を介して撮像された格子状の被写体像の一例を示した図である。
【図１２Ｃ】図１２Ｃは、本発明の一実施形態に係る撮像装置において第２の撮像光学系を介して撮像された格子状の被写体像の一例を示した図である。
【図１２Ｄ】図１２Ｄは、本発明の一実施形態に係る撮像装置において第３の撮像光学系を介して撮像された格子状の被写体像の一例を示した図である。
【図１３】図１３は、本発明の一実施形態に係る撮像装置において、撮像光学系の歪曲量を検出する方法を説明するための図である。
【図１４】図１４は、本発明の一実施形態に係る撮像装置の歪曲補正処理のアルゴリズムを示したフロー図である。
【図１５】図１５は、従来の複眼撮像装置の概略構成を示したブロック図である。
【図１６Ａ】図１６Ａは、図１５の複眼撮像装置により位置ａにある白丸の被写体を撮像した場合の合成画像を示した図である。
【図１６Ｂ】図１６Ｂは、図１５の複眼撮像装置により位置ｂにある白丸の被写体を撮像した場合の合成画像を示した図である。
【図１６Ｃ】図１６Ｃは、図１５の複眼撮像装置により位置ｃにある白丸の被写体を撮像した場合の合成画像を示した図である。
【発明を実施するための最良の形態】
【００１７】  本発明の上記撮像装置において、前記複数の画像間のずれを揃える機能が、前記複数の画像の倍率を揃える機能であることが好ましい。【００１８】  この場合において、前記撮像装置が、更に、前記複数の撮像光学系の倍率の情報を記録した記録部を備え、前記画像合成手段は、前記複数の撮像光学系の前記倍率の情報を用いて前記複数の画像の倍率を揃えることが好ましい。【００１９】  あるいは、前記撮像装置が、更に、前記複数の撮像光学系の焦点距離の情報を記録した記録部を備え、前記画像合成手段は、前記複数の撮像光学系の前記焦点距離の情報を用いて前記複数の画像の倍率を揃えることが好ましい。【００２０】  また、本発明の上記撮像装置において、前記複数の画像間のずれを揃える機能が、前記複数の画像の傾きを揃える機能であることが好ましい。【００２１】  この場合において、前記撮像装置が、更に、前記複数の撮像領域の傾きの情報を記録した記録部を備え、前記画像合成手段は、前記複数の撮像領域の前記傾きの情報を用いて前記複数の画像の傾きを揃えることが好ましい。【００２２】  また、本発明の上記撮像装置において、前記複数の画像間のずれを揃える機能が、前記複数の画像の歪曲を揃える機能であることが好ましい。【００２３】  この場合において、前記撮像装置が、更に、前記複数の撮像光学系の歪曲量の情報を記録した記録部を備え、前記画像合成手段は、前記複数の撮像光学系の前記歪曲量の情報を用いて前記複数の画像の歪曲を揃えることが好ましい。【００２４】  以下、本発明の実施の形態を図面を参照しながら説明する。【００２５】  図１は、本発明の一実施形態に係る撮像装置の概略構成を示したブロック図であり、従来の撮像装置を示した図１５と同一の部分には同一の番号を付している。【００２６】  図１において、複数の撮像光学系１０１、１０２、１０３は、これと一対一に対応する複数のイメージセンサ１０４、１０５、１０６に被写体像をそれぞれ結像する。複数のイメージセンサ１０４、１０５、１０６の撮像受光特性は互いに異なっており、イメージセンサ１０４は赤（Ｒ）波長領域を撮像し、イメージセンサ１０５は緑（Ｇ）波長領域を撮像し、イメージセンサ１０６は青（Ｂ）波長領域を撮像する。撮像受光特性を異ならせる方法としては、イメージセンサに波長依存性を備えさせても良いし、フィルタなどを挿入することにより波長選択性を実現しても良い。【００２７】  複数のイメージセンサ１０４、１０５、１０６がそれぞれ撮像した複数の画像は、それぞれＲ信号処理回路１０７、Ｇ信号処理回路１０８、及びＢ信号処理回路１０９により画像処理された後、画像前処理回路１１１により視差を除く複数の画像間のずれが揃えられ、次いで、画像合成処理回路１１０により合成されてカラー画像として出力される。【００２８】  本実施形態では、説明を容易にするために、複数のイメージセンサ１０４、１０５、１０６から得た複数の画像信号が入力され、合成画像信号を出力する画像合成手段１１５を、複数の画像間のずれを揃える機能を有する画像前処理回路１１１と、画像前処理回路１１１で処理された複数の画像を合成して１つの画像（合成画像）を作り上げる機能を有する画像合成処理回路１１０とに分けて説明するが、実際の撮像装置においては、画像前処理回路１１１と画像合成処理回路１１０とが明確に区別されている必要はない。【００２９】  図２は、本実施形態の撮像装置の撮像の流れを示す占めフロー図である。【００３０】  ステップＳ１０では、撮像ボタンが押されるなどにより撮像が開始される。【００３１】  ステップＳ２０では、複数のイメージセンサ１０４、１０５、１０６から複数の画像が取り込まれる画像取得処理がなされる。この処理は、信号処理回路１０７，１０８，１０９が行う。【００３２】  ステップＳ３０では、複数の画像に対して、複数のイメージセンサ１０４、１０５、１０６間のばらつきや感度調整を行う強度補正処理がなされる。この処理は、信号処理回路１０７，１０８，１０９が行う。【００３３】  ステップＳ４０では、複数の画像に対して、複数の撮像光学系１０１、１０２、１０３及び複数のイメージセンサ１０４、１０５、１０６の実装ずれを補正することを主目的とする原点補正処理がなされる。この処理は、信号処理回路１０７，１０８，１０９が行う。【００３４】  ステップＳ５０では、複数の画像に対して、複数の画像の倍率を揃える倍率補正処理がなされる。この処理は、画像前処理回路１１１が行う。【００３５】  ステップＳ６０では、複数の画像に対して、複数の画像の傾きを揃える回転補正処理がなされる。この処理は、画像前処理回路１１１が行う。【００３６】  ステップＳ７０では、複数の画像に対して、複数の画像の歪曲を揃える歪曲補正処理がなされる。この処理は、画像前処理回路１１１が行う。【００３７】  ステップＳ８０では、複数の画像間の視差量を計算し、この視差量を補正して複数の画像を合成して１つの画像（合成画像）を作り上げる視差補正合成処理がなされる。この処理は、画像合成処理回路１１０が行う。【００３８】  ステップＳ９０では、撮像装置に一体化された液晶ディスプレイ等の表示装置、又は配線ケーブルを介してＣＲＴ、ＴＶ、ＰＣ（パーソナルコンピュータ）、プリンタなどの画像出力可能な装置に合成画像を出力する画像出力処理がなされる。【００３９】  本実施形態では、視差補正合成処理（ステップＳ８０）の前段にて、複数の画像の倍率、傾き、及び歪曲が揃えられる（ステップＳ５０，Ｓ６０，Ｓ７０）。これにより、視差補正合成処理を容易にし、高精細な合成画像を得ることができる。【００４０】  なお、図２は、最終的に合成画像を出力することを目的としたフロー図であるが、ステップＳ８０で得られた視差量と、複数の撮像光学系１０１、１０２、１０３の焦点距離と、視差量演算の際に用いた複数の撮像光学系１０１、１０２、１０３の光軸間距離とから、三角測量の原理を利用して被写体までの距離を計算しても良い。従って、本実施形態の撮像装置では、合成画像と被写体までの距離情報とを同時に取得することが可能である。あるいは、複数の画像の合成処理を行わないで、被写体までの距離情報のみを取得することもできる。この場合、ステップＳ５０，Ｓ６０，Ｓ７０にて複数の画像間のずれを揃える処理を行うことにより、距離情報の精度を向上させることができる。【００４１】  以下に、上記の倍率補正処理（ステップＳ５０）、回転補正処理（ステ���プＳ６０）、歪曲補正処理（ステップＳ７０）を順に説明する。【００４２】  （実施の形態１）
実施の形態１では、複数の画像の倍率を揃える倍率補正処理（図２のステップＳ５０）を説明する。【００４３】  まず、複数の画像間に倍率のばらつきが発生する理由について図３を用いて説明する。図３はレンズ１、被写体２、被写体像３の関係を簡単に示した図である。４，５は被写体２からの代表的な第１光線，第２光線、ｚは光軸、Ｆは前側焦点、Ｆ’は後側焦点、Ｈは前側主点、Ｈ’は後側主点、ｙは被写体２の高さ、ｙ’は被写体像３の高さ、ｆ’は後側の焦点距離である。ここで、倍率をβとすると、倍率βは下記の式（１）で定義される。【００４４】  β＝ｙ’／ｙ    ・・・（１）
後側焦点Ｆ’から被写体像３までの距離をｚ’とすると、式（１）は下記の式（２）のように変形される。【００４５】  β＝−ｚ’／ｆ’    ・・・（２）
式（２）よりわかるように、レンズ１の焦点距離ｆ’が変化すれば被写体像３の倍率βも変化する。【００４６】  一般に、複数の撮像光学系を有する撮像装置において、それぞれのレンズの焦点距離を全く同一にすることは困難である。それぞれの光学系が別々の波長帯に対応している場合、焦点距離を同一にすることはさらに困難である。よって図１５に示した従来の撮像装置では、複数の撮像光学系１０１、１０２、１０３のそれぞれを介して得られる複数の画像の倍率は僅かずつ異なる。従って、いくら厳密に視差補正を行い合成しても、合成する前の複数の画像の大きさが互いに僅かに異なると、合成した画像で高周波成分が再現されず、十分な解像度、品質が確保された画像を再現することは困難である。【００４７】  そこで、視差補正及び画像合成の前に、複数の画像の倍率を揃える倍率補正処理（図２のステップ５０）を行うことが好ましい。【００４８】  以下に、画像前処理回路１１１が複数の画像間の倍率のずれを揃える処理について、２つの例を示す。【００４９】  第１の例では、撮像装置の組立時に、基準被写体を撮像し被写体と被写体像とのサイズ比により各撮像光学系の倍率を測定し、その情報を初期値として画像前処理回路１１１内の記録部１１２（図１参照）に記録しておく。撮像時には、この倍率の情報を用いて複数の画像に対して倍率補正処理（図２のステップ５０）を行う。【００５０】  第２の例としては、撮像装置の組立時に、各撮像光学系の焦点距離を計測し、その情報を上記式（２）に代入することにより倍率を得、その情報を初期値として画像前処理回路１１１内の記録部１１２（図１参照）に記録しておく。撮像時には、この倍率の情報を用いて複数の画像に対して倍率補正処理（図２のステップ５０）を行う。あるいは、記録部１１２には各撮像光学系の焦点距離の情報を記録しておき、撮像時には焦点距離の情報を用いて複数の画像に対して倍率補正処理（図２のステップ５０）を行っても良い。【００５１】  撮像装置の組立時に、各撮像光学系の焦点距離を正確に計測する方法の一例を示す。図４は、撮像光学系としてのレンズ１１の焦点距離を測定する装置を示した図である。６はコリメータ、７は移動ステージ、８は回転ステージ、９はレンズホルダ、１０は平行光、１１は被検レンズ、１２は撮像カメラである。被検レンズ１１は、レンズホルダ９を介して移動ステージ７及び回転ステージ８により保持されている。移動ステージ７は被検レンズ１１を光軸方向に移動させることができ、回転ステージ８は被検レンズ１１を回転中心軸８ａを中心として光軸を含む紙面に垂直な面内で回転させることができる。被検レンズ１１に対して一方の側にコリメータ６が、他方の側に撮像カメラ１２が配置されている。コリメータ６で形成された平行光１０は、被検レンズ１１を通って、撮像カメラ１２に入射する。【００５２】  図５Ａに示すように、被検レンズ１１の主点１１ａと回転ステージ８の回転中心軸８ａとが一致している場合は、回転ステージ８によって被検レンズ１１を回転させても撮像カメラ１２に写る像の位置が変化せず、回転中心軸８ａ（又は主点１１ａ）から撮像カメラ１２の撮像面１２ａまでの距離が焦点距離ｆになる。【００５３】  ところが、図５Ｂに示すように、被検レンズ１１の主点１１ａと回転ステージ８の回転中心軸８ａとが一致していない場合は、回転ステージ８によって被検レンズ１１を回転させると撮像カメラ１２に写る像の位置がずれてしまう（ずれ量Ｓ）。この場合は、被検レンズ１１を傾けながら、移動ステージ７により光軸と平行な方向に被検レンズ１１を移動させ、主点１１ａと回転中心軸８ａとを一致させる。これにより、被検レンズ１１の焦点距離ｆを計測することが出来る。【００５４】  各撮像光学系の倍率又は焦点距離を測定する工程は、撮像装置又はこれを搭載する商品の組立時の初期化工程内に一度行えば十分である。【００５５】  複数の撮像光学系の倍率又は焦点距離の情報を用いた倍率補正処理としては、画像前処理回路１１１で新しい画像を再構築し、その画像信号を元の画像信号と差し替え、次段の画像合成処理回路１１０に伝達する方式と、画像前処理回路１１１は倍率又は焦点距離の情報だけを管理し、次段の画像合成処理回路１１０に画像信号と倍率又は焦点距離の情報とを伝達する方式の２方式があるが、両方式とも画像の倍率補正に関して同様の効果が得られるため、どちらの方式を選択しても問題はない。以下では前者の方式を中心に説明する。【００５６】  図６を用いて撮影毎に行われる倍率補正処理（図２のステップ５０）の一例を説明する。【００５７】  ステップＳ５１では、複数の撮像光学系を介して撮像された複数の画像（フォトダイオード（以下、ＰＤと書く）の出力）は、一時的に画像前処理回路１１１内の２次元空間情報記録部（図示せず）内に記録され、各画像を構成する画素にステップＳ４０（図２参照）の原点補正処理にて抽出された原点を原点とする座標（ｘ、ｙ）が付加される。【００５８】  ステップＳ５２では、（ｘ、ｙ）座標系が原点を中心とする（ｒ、θ）極座標系に変換される。この変換は、下記の式（３）及び式（４）を用いた座標変換手法で容易に行うことが出来る。【００５９】  ｒ＝（ｘ２＋ｙ２）１／２    ・・・（３）
θ＝ｃｏｓ−１（ｘ／（ｘ２＋ｙ２）１／２）    ・・・（４）
ステップＳ５３では、倍率補正を行う。ここでは、撮像光学系１０１、１０２、１０３の各倍率が既知である場合について説明する。記録部１１２に記録されている撮像光学系１０１、１０２、１０３の倍率βｉ（ｉ＝１，２，３）により、座標（ｒ、θ）は下記の式（５）及び式（６）を用いて座標（Ｒ、θ’）に変換される。【００６０】  Ｒ＝ｒ／βｉ    ・・・（５）
θ’＝θ    ・・・（６）
ここで、撮像光学系１０１、１０２、１０３の倍率βｉ（ｉ＝１，２，３）として、複数の画像のうち基準とする画像に対する倍率を用いることもできる。例えば、基準とする画像に対応する撮像光学系の倍率をβ１とすれば、上記式（５）において、β１＝β１／β１，β２＝β２／β１，β３＝β３／β１としても良い。但し、β２／β１＞１又はβ３／β１＞１である場合、式（５）よりＲ＜ｒとなり、倍率補正後の画像が倍率補正前のイメージセンサから抽出された画像のサイズより小さくなってしまい、倍率補正後の画像の周辺部のデータが欠落してしまい、合成画像において周辺部に著しい解像度劣化が生じる。従って、β２／β１≦１、β３／β１≦１となるように、基準とする画像に対応する撮像光学系の倍率（β１）を選択することが必要である。【００６１】  上記の式（５）及び式（６）を画像を構成する全ての画素に対して行うことにより、倍率補正された画像を得ることができる。【００６２】  次に、ステップＳ５４では、極座標系（Ｒ、θ’）が（Ｘ，Ｙ）座標系に変換される。この変換は、下記の式（７）及び式（８）を用いることで行うことができる。【００６３】  Ｘ＝Ｒｃｏｓθ’    ・・・（７）
Ｙ＝Ｒｓｉｎθ’    ・・・（８）
ステップＳ５５では、データの補間処理を行う。ステップＳ５４での座標変換後の画像データの大部分は、格子点状の画素位置とは異なる位置（画素と画素との間）でのデータである。そこで、画素の周辺の画像データを用いて補間処理することにより、画素の位置での画像データを作り上げることが必要になる。【００６４】  補間処理の一例を図７を用いて説明する。ステップＳ５４での座標変換により、画素Ｐの周辺の４点でのデータＶ（ｉ，ｊ），Ｖ（ｉ＋１，ｊ），Ｖ（ｉ，ｊ＋１），Ｖ（ｉ＋１，ｊ＋１）が得られているとする。データＶ（ｉ，ｊ）を有する点に対する画素Ｐの位置情報ｐｘ，ｐｙ（０≦ｐｘ≦１、０≦ｐｙ≦１）を用いて、画素Ｐでの画像データを下記式（９）により求めることができる。【００６５】  ｐｘ・ｐｙ（Ｖ（ｉ，ｊ）−Ｖ（ｉ＋１，ｊ）−Ｖ（ｉ，ｊ＋１）＋Ｖ（ｉ＋１，ｊ＋１））＋ｐｘ（Ｖ（ｉ＋１，ｊ）−Ｖ（ｉ，ｊ））＋ｐｙ（Ｖ（ｉ，ｊ＋１）−Ｖ（ｉ，ｊ））＋Ｖ（ｉ，ｊ）    ・・・（９）
なお、上記は補間処理の一例であり、本発明はこれに限定されず、上記とは異なる補間処理を行っても良く、その場合も同様の効果が得られる。【００６６】  以上により、倍率補正処理（図２のステップＳ５０）が終了する。【００６７】  上記の倍率補正処理では、実際に組み立てられた撮像装置を用いて、複数の撮像光学系のそれぞれの倍率又は焦点距離を直接測り、その情報を用いて複数の画像の倍率を揃えたが、本発明はこれに限定されない。例えば、各撮像光学系の倍率又は焦点距離がその設計値とほぼ等しいとみなされる場合には、その設計値を用いて倍率補正処理を行ってもよく、この場合も上記と同様の効果が得られる。【００６８】  （実施の形態２）
実施の形態２では、複数の画像の傾きを揃える回転補正処理（図２のステップＳ６０）を説明する。【００６９】  まず、複数の画像間に傾き（回転角）のばらつきが発生する理由について図８を用いて説明する。図８は図１に示した撮像装置の複数のイメージセンサ１０４、１０５、１０６と被写体像との位置関係を被写体側から見た図である。図１と同一の部分には同一の番号を付している。十字形の被写体を撮影する場合を考える。図示したように、それぞれのイメージセンサ１０４、１０５、１０６には、十字形の被写体像１２０が形成されている。ここでは、一例としてイメージセンサ１０５が他のイメージセンサ１０４，１０６に対して角度ψだけ傾いて設置されていると仮定する。これは、イメージセンサ１０４、１０５、１０６を同一基板上に実装した際のばらつきを想定したものである。【００７０】  図９は、イメージセンサ１０４、１０５、１０６が撮像した被写体の画像を、Ｒ信号処理回路１０７、Ｇ信号処理装置１０８、Ｂ信号処理装置１０９を介して、別個の表示デバイス（例えば、ディスプレイ）に表示させた結果を示した図である。画面表示１０４’，１０５’，１０６’は、順にイメージセンサ１０４、１０５、１０６に対応する。図９によると、イメージセンサ１０５が撮像した被写体の画像１２０’は他のイメージセンサ１０４，１０６が撮像した被写体の画像１２０’に比べて、ψだけ回転していることが分かる。この３つの画像を、視差補正（即ち、複数の撮像光学系１０１、１０２、１０３の視差分だけ画像を平行移動する補正）のみを行って重ね合わせても、イメージセンサ１０５による画像１２０’を他のイメージセンサ１０４，１０６による画像１２０’に重ね合わせることは不可能である。【００７１】  そこで、視差補正及び画像合成の前に、複数の画像の傾きを揃える回転補正処理（図２のステップＳ６０）を行うことが好ましい。【００７２】  以下に、画像前処理回路１１１が複数の画像間の傾きのずれを揃える回転補正処理の一例を示す。【００７３】  まず、撮像装置の組立時に、コントラスト差の著しく大きい調整用映像を被写体として撮像する。例えば、白色の背景に黒色の十字線である。この十字線の線幅は光学系の倍率を考慮し、イメージセンサ１０４，１０５，１０６の画素ピッチの２倍以上であるのが望ましい。また、十字線の交点と撮像光学系１０１，１０２，１０３の中心とを一致させる必要もある。【００７４】  イメージセンサ１０４，１０５，１０６及び撮像光学系１０１，１０２，１０３が実装される時に、撮像光学系１０１，１０２，１０３の中心とイメージセンサ１０４，１０５，１０６の中心とは、機械的な調整またはソフト的な調整により位置合わせ済みとする。イメージセンサ１０４，１０５，１０６のそれぞれの実装時の傾き（回転角）のばらつきは、各イメージセンサ１０４，１０５，１０６から出力された画像として表示される。【００７５】  被写体として十字線を使った場合の出力画像の回転角検出法の一例を、図１０Ａ及び図１０Ｂを用いて説明する。図１０Ａに示すように、十字線１３１は、横方向の画素数Ｈ、縦方向の画素数Ｖの表示装置１３０に、原点Ｐｃを中心として回転角ψだけ回転して表示される。この画���において、原点Ｐｃから水平方向にＨ／２画素移動した画素Ａを基準として、これより垂直方向に対象画素を移動しながら各画素からの出力値を検出する。画素からの出力値の検出結果の概略を図１０Ｂに示す。図１０Ｂにおいて、横軸は画素Ａを基準とした垂直方向の画素数、縦軸は画素からの出力値（画素出力）である。図示したように、画素Ｂ（画素Ａから垂直方向にｎ番目の画素）で大きな出力値の変化が検出されたとすると、このイメージセンサの水平方向に対する十字線の水平線の回転角ψは、以下の式（１０）で求められる。【００７６】  ψ＝ｔａｎ−１（２ｎ／Ｈ）    ・・・（１０）
式（１０）は、水平方向及び垂直方向の各画素ピッチが同一である場合であり、両者が異なる場合は、その比を乗ずる必要がある。【００７７】  この計測を全てのイメージセンサ１０４，１０５，１０６について行い、各イメージセンサの傾きの情報を初期値（ψ１、ψ２、ψ３）として画像前処理回路１１１内の記録部１１２（図１参照）に記録しておく。撮像時には、この傾きの情報を用いて複数の画像に対して回転補正処理（図２のステップＳ６０）を行う。【００７８】  各イメージセンサの傾きを測定する工程は、撮像装置又はこれを搭載する商品の組立時の初期化工程内に一度行えば十分である。【００７９】  複数のイメージセンサの傾きの情報を用いた回転補正処理としては、画像前処理回路１１１で新しい画像を再構築し、その画像信号を元の画像信号と差し替え、次段の画像合成処理回路１１０に伝達する方式と、画像前処理回路１１１は傾きの情報だけを管理し、次段の画像合成処理回路１１０に画像信号と傾きの情報とを伝達する方式の２方式があるが、両方式とも画像の傾き補正に関して同様の効果が得られるため、どちらの方式を選択しても問題はない。以下では前者の方式を中心に説明する。【００８０】  図１１を用いて撮影毎に行われる回転補正処理（図２のステップＳ６０）の一例を説明する。【００８１】  ステップＳ６１では、複数の撮像光学系を介して撮像された複数の画像（ＰＤの出力）は、一時的に画像前処理回路１１１内の２次元空間情報記録部（図示せず）内に記録され、各画像を構成する画素にステップＳ４０（図２参照）の原点補正処理にて抽出された原点を原点とする座標（ｘ、ｙ）が付加される。【００８２】  ステップＳ６２では、（ｘ、ｙ）座標系が原点を中心とする（ｒ、θ）極座標系に変換される。この変換は、下記の式（３）及び式（４）を用いた座標変換手法で容易に行うことが出来る。【００８３】  ｒ＝（ｘ２＋ｙ２）１／２    ・・・（３）
θ＝ｃｏｓ−１（ｘ／（ｘ２＋ｙ２）１／２）    ・・・（４）
ステップＳ６３では、回転補正を行う。記録部１１２に記録されているイメージセンサ１０４，１０５，１０６の傾き角ψｉ（ｉ＝１，２，３）により、座標（ｒ、θ）は下記の式（１１）及び式（１２）を用いて座標（Ｒ、θ’）に変換される。【００８４】  Ｒ＝ｒ    ・・・（１１）
θ’＝θ−ψｉ    ・・・（１２）
上記の式（１１）及び式（１２）を用いた座標変換を画像を構成する全ての画素に対して行うことにより、回転補正された画像を得ることができる。【００８５】  次に、ステップＳ６４では、極座標系（Ｒ、θ’）が（Ｘ，Ｙ）座標系に変換される。この変換は、下記の式（７）及び式（８）を用いることで行うことができる。【００８６】  Ｘ＝Ｒｃｏｓθ’    ・・・（７）
Ｙ＝Ｒｓｉｎθ’    ・・・（８）
ステップＳ６５では、データの補間処理を行う。ステップＳ６４での座標変換後の画像データの大部分は、格子点状の画素位置とは異なる位置（画素と画素との間）でのデータである。そこで、画素の周辺の画像データを用いて補間処理することにより、画素の位置での画像データを作り上げることが必要になる。【００８７】  補間処理の一例を図７を用いて説明する。ステップＳ６４での座標変換により、画素Ｐの周辺の４点でのデータＶ（ｉ，ｊ），Ｖ（ｉ＋１，ｊ），Ｖ（ｉ，ｊ＋１），Ｖ（ｉ＋１，ｊ＋１）が得られているとする。データＶ（ｉ，ｊ）を有する点に対する画素Ｐの位置情報ｐｘ，ｐｙ（０≦ｐｘ≦１、０≦ｐｙ≦１）を用いて、画素Ｐでの画像データを下記式（９）により求めることができる。【００８８】  ｐｘ・ｐｙ（Ｖ（ｉ，ｊ）−Ｖ（ｉ＋１，ｊ）−Ｖ（ｉ，ｊ＋１）＋Ｖ（ｉ＋１，ｊ＋１））＋ｐｘ（Ｖ（ｉ＋１，ｊ）−Ｖ（ｉ，ｊ））＋ｐｙ（Ｖ（ｉ，ｊ＋１）−Ｖ（ｉ，ｊ））＋Ｖ（ｉ，ｊ）    ・・・（９）
なお、上記は補間処理の一例であり、本発明はこれに限定されず、上記とは異なる補間処理を行っても良く、その場合も同様の効果が得られる。【００８９】  以上により、回転補正処理（図２のステップＳ６０）が終了する。【００９０】  上記の回転補正処理では、実際に組み立てられた撮像装置を用いて、複数のイメージセンサからそれぞれ出力された複数の画像の回転角を検出し、その情報を用いて複数の画像の傾きを揃えたが、本発明はこれに限定されない。例えば、組立時に複数のイメージセンサの回転角をそれぞれ実測し、その実測値を用いて回転補正処理を行っても良く、この場合も上記と同様の効果が得られる。【００９１】  （実施の形態３）
実施の形態３では、複数の画像の歪曲を揃える歪曲補正処理（図２のステップＳ７０）を説明する。【００９２】  通常の光学レンズは、撮像エリアの周辺部で直線状の被写体が曲線に歪んで結像される現象（これを歪曲という）を有する。図１２Ａ〜図１２Ｄを用いて本発明の撮像装置の撮像光学系による歪曲の例を説明する。【００９３】  図１２Ａは格子状の被写体を示す。図１２Ｂは図１２Ａの格子状の被写体を撮像光学系１０１を介してイメージセンサ１０４が撮像した画像、図１２Ｃは図１２Ａの格子状の被写体を撮像光学系１０２を介してイメージセンサ１０５が撮像した画像、図１２Ｄは図１２Ａの格子状の被写体を撮像光学系１０３を介してイメージセンサ１０６が撮像した画像である。図１２Ａに示した被写体に対し、図１２Ｂ〜図１２Ｄのすべての画像が樽状に変形している。さらに、図１２Ｂの画像と図１２Ｄの画像とはほぼ同じであるが、これらと図１２Ｃの画像とははわずかに形状が異なっており、図１２Ｃの画像の方が図１２Ｂ及び図１２Ｄの画像よりも歪曲が大きい。【００９４】  このように歪曲の程度が異なる３つの画像を合成すると、歪曲の程度の異なり具合が大きくなればなるほど、合成後の画像の解像度は著しく低下する。従って、複数の画像間の歪曲のばらつきも、複数の光学系を有する撮像装置において大きな課題となる。【００９５】  そこで、視差補正及び画像合成の前に、複数の画像の歪曲を揃える歪曲補正処理（図２のステップＳ７０）を行うことが好ましい。【００９６】  以下に、画像前処理回路１１１が複数の画像間の歪曲のずれを揃える歪曲補正処理の一例を示す。【００９７】  まず、撮像装置の組立時に各撮像光学系の歪曲量を測定し、その情報を初期値として画像前処理回路１１１内の記録部１１２（図１参照）に記録する。実際の各撮像光学系の歪曲量が設計値とほぼ同じと考えられる場合は、設計値を記録部１１２（図１参照）に記録しても良い。【００９８】  撮像装置の組立時に、各撮像光学系の歪曲量を計測する方法の一例を示す。【００９９】  図１２Ａに示した互いに直交する複数の直線からなる格子状の被写体を撮影し、各イメージセンサから得られる画像より撮像光学系の歪曲量を計測することができる。例えば、イメージセンサからの出力画像が図１３の実線１４２の通りであったとする。図１３には、撮像光学系の倍率を考慮して拡大（又は縮小）された格子状の被写体の一部を破線１４１で併せて示している。被写体１４１上の点Ｐ１は出力画像１４２上の点Ｐ２に対応する。点Ｐ０は光軸の位置を示す。光軸Ｐ０から被写体１４１上の点Ｐ１までの距離ｙが、撮像光学系の歪曲収差によって、光軸Ｐ０から出力画像１４２上の点Ｐ２までの距離ｙ０に変化する。この場合の撮像光学系の歪曲量Ｄは下記式（１３）で求めることができる。【０１００】  Ｄ（ｙ）＝（ｙ０−ｙ）    ・・・（１３）
この計測を全ての撮像光学系１０１，１０２，１０３について行い、各撮像光学系１０１、１０２、１０３の歪曲量の情報を初期値（Ｄ１（ｙ），Ｄ２（ｙ），Ｄ３（ｙ））として画像前処理回路１１１内の記録部１１２（図１参照）に記録しておく。撮像時には、この歪曲量の情報を用いて複数の画像に対して歪曲補正処理（図２のステップＳ７０）を行う。【０１０１】  各撮像光学系の歪曲量を測定する工程は、撮像装置又はこれを搭載する商品の組立時の初期化工程内に一度行えば十分である。【０１０２】  複数の撮像光学系の歪曲量の情報を用いた歪曲補正処理としては、画像前処理回路１１１で新しい画像を再構築し、その画像信号を元の画像信号と差し替え、次段の画像合成処理回路１１０に伝達する方式と、画像前処理回路１１１は歪曲量の情報だけを管理し、次段の画像合成処理回路１１０に画像信号と歪曲量の情報とを伝達する方式の２方式があるが、両方式とも画像の歪曲補正に関して同様の効果が得られるため、どちらの方式を選択しても問題はない。以下では前者の方式を中心に説明する。【０１０３】  図１４を用いて撮影毎に行われる歪曲補正処理（図２のステップＳ７０）の一例を説明する。【０１０４】  ステップＳ７１では、複数の撮像光学系を用いて撮像された複数の画像（ＰＤの出力）は、一時的に画像前処理回路１１１内の２次元空間情報記録部（図示せず）内に記録され、各画像を構成する画素にステップＳ４０（図２参照）の原点補正処理にて抽出された原点を原点とする座標（ｘ、ｙ）が付加される。【０１０５】  ステップＳ７２では、（ｘ、ｙ）座標系が原点を中心とする（ｒ、θ）極座標系に変換される。この変換は、下記の式（３）及び式（４）を用いた座標変換手法で容易に行うことが出来る。【０１０６】  ｒ＝（ｘ２＋ｙ２）１／２    ・・・（３）
θ＝ｃｏｓ−１（ｘ／（ｘ２＋ｙ２）１／２）    ・・・（４）
ステップＳ７３では、歪曲補正を行う。記録部１１２に記録されている撮像光学系の歪曲量Ｄｉ（ｒ）（ｉ＝１，２，３）により、座標（ｒ、θ）は下記の式（１４）及び式（６）を用いて座標（Ｒ、θ’）に変換される。【０１０７】  Ｒ＝（Ｄｉ（ｒ）＋１）・ｒ    ・・・（１４）
θ’＝θ    ・・・（６）
上記の式（１４）及び式（６）を用いた座標変換を画像を構成する全ての画素に対して行うことにより、歪曲補正された画像を得ることができる。【０１０８】  次に、ステップＳ７４では、極座標系（Ｒ、θ’）が（Ｘ，Ｙ）座標系に変換される。この変換は、下記の式（７）及び式（８）を用いることで行うことができる。【０１０９】  Ｘ＝Ｒｃｏｓθ’    ・・・（７）
Ｙ＝Ｒｓｉｎθ’    ・・・（８）
ステップＳ７５では、データの補間処理を行う。ステップＳ７４での座標変換後の画像データの大部分は、格子点状の画素位置とは異なる位置（画素と画素との間）でのデータである。そこで、画素の周辺の画像データを用いて補間処理することにより、画素の位置での画像データを作り上げることが必要になる。【０１１０】  補間処理の一例を図７を用いて説明する。ステップＳ７４での座標変換により、画素Ｐの周辺の４点でのデータＶ（ｉ，ｊ），Ｖ（ｉ＋１，ｊ），Ｖ（ｉ，ｊ＋１），Ｖ（ｉ＋１，ｊ＋１）が得られているとする。データＶ（ｉ，ｊ）を有する点に対する画素Ｐの位置情報ｐｘ，ｐｙ（０≦ｐｘ≦１、０≦ｐｙ≦１）を用いて、画素Ｐでの画像データを下記式（９）により求めることができる。【０１１１】  ｐｘ・ｐｙ（Ｖ（ｉ，ｊ）−Ｖ（ｉ＋１，ｊ）−Ｖ（ｉ，ｊ＋１）＋Ｖ（ｉ＋１，ｊ＋１））＋ｐｘ（Ｖ（ｉ＋１，ｊ）−Ｖ（ｉ，ｊ））＋ｐｙ（Ｖ（ｉ，ｊ＋１）−Ｖ（ｉ，ｊ））＋Ｖ（ｉ，ｊ）    ・・・（９）
なお、上記は補間処理の一例であり、本発明はこれに限定されず、上記とは異なる補間処理を行っても良く、その場合も同様の効果が得られる。【０１１２】  以上により、歪曲補正処理（図２のステップＳ７０）が終了する。【０１１３】  上記の歪曲補正処理では、実際に組み立てられた撮像装置を用いて、複数の撮像光学系のそれぞれの歪曲量を直接測り、その情報を用いて複数の画像の歪曲を揃えたが、本発明はこれに限定されない。例えば、各撮像光学系の歪曲量がその設計値とほぼ等しいとみなされる場合には、その設計値を用いて歪曲補正処理を行っても良く、この場合も上記と同様の効果が得られる。【０１１４】  上記の歪曲補正処理においては、複数の撮像光学系の歪曲量が非常に小さな基準歪曲値に一致するように複数の画像の歪曲を揃えることが好ましい。ここで、基準歪曲量は、複数の撮像光学系のうち最も歪曲量が小さな撮像光学系の歪曲量であっても良いし、複数の撮像光学系の歪曲量より更に小さな歪曲量であっても良い。これにより、付加的な効果として、歪曲が十分に補正された合成画像を得ることが出来る。さらに、必要な歪曲性能を撮像光学系に求める必要がないため、撮像光学系の設計が容易になり、従来にない薄型の撮像光学系を実現することも可能となる。【０１１５】  さらに、上述したように、複数の画像の合成処理を行わないで被写体までの距離情報をのみを取得する場合においては、歪曲補正処理をしていない複数の画像を用いて視差量を求め、得られた視差量を歪曲量を用いて補正し、この補正後の視差量から被写体までの距離情報を演算して求めることが好ましい。この場合には、視差量を求める際に使用した特定の画素での歪曲量のみを考慮すれば良いので演算時間を短縮することができる。これに対して、複数の画像を歪曲補正処理し、この補正後の複数の画像から視差量を求める場合には、画像の歪曲補正処理において、全ての画素データに対して歪曲補正のための演算を行う必要があるので、長い演算時間が必要となる。但し、歪曲補正処理をせずに視差量を求める場合には、複数の撮像光学系間の歪曲量のばらつきが±５％程度以下であることが好ましい。この歪曲量のばらつきが±５％より大きくなると、複数の画像から視差量を求める演算が正常に機能せず、正確な視差量を求められない可能性が増大する。【０１１６】  本発明の撮像装置が各撮像ごとに、図２に示した倍率補正処理（ステップＳ５０）、回転補正処理（ステップＳ６０）、歪曲補正処理（ステップＳ７０）を行うためには、撮像装置の製造又は組立の過程において、複数の撮像光学系のそれぞれの倍率又は焦点距離を測定しこれを初期値として記録部１１２に記録する工程（倍率初期値設定工程）、複数のイメージセンサのそれぞれの傾きを測定しこれを初期値として記録部１１２に記録する工程（傾き初期値設定工程）、複数の撮像光学系のそれぞれの歪曲を測定しこれを初期値として記録部１１２に記録する工程（歪曲初期値設定工程）を行うことが好ましい。【０１１７】  これら３つの初期値設定工程の好ましい実施順序を以下に説明する。【０１１８】  傾き初期値設定工程では、例えば実施の形態２で説明した十字形の被写体のように、適切な被写体を用いれば、撮像した複数の画像間で倍率及び歪曲がばらついていても、これらとは無関係に正確に傾き測定を行うことができる。従って、最初に傾き初期値設定工程を行うことが好ましい。【０１１９】  歪曲初期値設定工程では、実施の形態３で説明したように、撮像された画像１４２と被写体１４１とを比較する（図１３参照）。この比較の際には、撮像光学系の倍率又は焦点距離の情報が必要である。従って、歪曲初期値設定工程に先立って倍率初期値設定工程が行われていることが好ましい。【０１２０】  よって、傾き初期値設定工程、倍率初期値設定工程、歪曲初期値設定工程の順に行われることが好ましい。【０１２１】  但し、被写体を工夫することにより、傾き初期値設定工程と倍率初期値設定工程との順序を上記と逆にしたり、これらを同時に行ったりすることも可能である。【０１２２】  傾き初期値設定工程と倍率初期値設定工程とを同時に行うことができる被写体の一例を以下に示す。【０１２３】  この被写体は、互いに直交する第１直線及び第２直線からなる。第１直線は水平方向と平行で、その長さは撮像光学系の視野外にまで延びる程に十分に長いことが好ましい。この第１直線は、イメージセンサの傾き測定のために用いられる（図１０Ａ参照）。第２直線は鉛直方向と平行であることが好ましい。第２直線の長さは、撮像光学系の視野内に収まる程度であることが好ましく、具体的にはイメージセンサ上に結像されたその像の長さが、このイメージセンサの有効撮像領域の垂直方向の辺（短辺）の長さの約８割程度になるように設定されることが好ましい。第１及び第２直線の線幅は、イメージセンサ上に結像されたその像の線幅がイメージセンサの画素ピッチの２倍以上になるように設定されることが好ましい。第１及び第２直線の色は、コントラスト比を著しく大きくするために黒とし、その背景は白であることが好ましい。測定に際しては、第１直線と第２直線との交点が、撮像装置の画像合成をする際の基準点（原点）に結像されるように、被写体と撮像装置との相対的位置を調整する必要がある。通常、原点は無限遠に設けられた被写体が結像される点である。【０１２４】  上記の実施形態では、３眼の撮像装置（３つの撮像光学系及び３つのイメージセンサを有する撮像装置）を説明したが、本発明の撮像装置はこれに限定されない。例えば、２眼又は４眼以上の撮像装置であっても良く、その場合も上記と同様の効果を得ることが出来る。【０１２５】  特に４眼以上の撮像装置では、２眼で同色の２つの画像を取得し、且つ、カラー合成画像を得るために必要な赤、青、緑の各色の画像をも取得することが可能となる。この場合、同色の２つの画像（通常、緑色の画像が望ましい）を比較して、これらの画像間の視差量を求めれば、視差量の演算処理が著しく単純になる。更に、複数の画像を合成する精度、及び被写体までの距離を演算する精度が著しく向上する。【０１２６】  ３眼の撮像装置において、上記の４眼の撮像装置と同様の処理を行うためには、取得した赤、青、緑の各色の画像のうちのいずれか１つ（例えば赤又は青の画像）の情報から、他の色の画像（例えば緑の画像）の情報を補間して抽出する処理が必要となる。【０１２７】  上記の実施形態では、複数の撮像光学系に一対一に対応するように複数のイメージセンサを用いた例を説明したが、本発明の撮像装置はこれに限定されない。例えば、複数の撮像光学系に対して共通する１つのイメージセンサを用い、このイメージセンサを複数の撮像光学系に一対一に対応するように複数の撮像領域に分割しても良い。【０１２８】  上記の実施形態では、各撮像ごとに、図２に示した倍率補正処理（ステップＳ５０）、回転補正処理（ステップＳ６０）、歪曲補正処理（ステップＳ７０）をこの順に行う撮像装置を説明したが、これら３つの補正処理の順序はこれに限定されない。また、これら３つの補正処理のうちの１つ又は２つが省略されても良い。例えば、上記のように複数の撮像光学系に対して共通する１つのイメージセンサを用いる場合には、回転補正処理（ステップＳ６０）を省略することができる。【０１２９】  以上に説明した実施の形態は、いずれもあくまでも本発明の技術的内容を明らかにする意図のものであって、本発明はこのような具体例にのみ限定して解釈されるものではなく、その発明の精神と請求の範囲に記載する範囲内でいろいろと変更して実施することができ、本発明を広義に解釈すべきである。
【産業上の利用可能性】
【０１３０】  本発明にかかる撮像装置の利用分野は特に制限はないが、光軸方向の寸法が小さいにもかかわらず高品位の画像を撮像することができることから、例えば携帯機器用のカメラモジュール等として有用である。
【図１】
2006064770.tif 000002
【図２】
2006064770.tif 000003
【図３】
2006064770.tif 000004
【図４】
2006064770.tif 000005
【図５Ａ】
2006064770.tif 000006
【図５Ｂ】
2006064770.tif 000007
【図６】
2006064770.tif 000008
【図７】
2006064770.tif 000009
【図８】
2006064770.tif 000010
【図９】
2006064770.tif 000011
【図１０Ａ】
2006064770.tif 000012
【図１０Ｂ】
2006064770.tif 000013
【図１１】
2006064770.tif 000014
【図１２Ａ】
2006064770.tif 000015
【図１２Ｂ】
2006064770.tif 000016
【図１２Ｃ】
2006064770.tif 000017
【図１２Ｄ】
2006064770.tif 000018
【図１３】
2006064770.tif 000019
【図１４】
2006064770.tif 000020
【図１５】
2006064770.tif 000021
【図１６Ａ】
2006064770.tif 000022
【図１６Ｂ】
2006064770.tif 000023
【図１６Ｃ】
2006064770.tif 000024
【手続補正書】
【提出日】平成19年5月17日(2007.5.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の撮像光学系と、
前記複数の撮像光学系と一対一に対応し、前記複数の撮像光学系を介して複数の画像をそれぞれ撮像する複数の撮像領域と、
前記複数の画像間のずれを揃える機能及び前記複数の画像から１つの画像を合成する機能を有する画像合成手段と
を備えたことを特徴とする撮像装置。
【請求項２】
前記複数の画像間のずれを揃える機能が、前記複数の画像の倍率を揃える機能である請求項１に記載の撮像装置。
【請求項３】
更に、前記複数の撮像光学系の倍率の情報を記録した記録部を備え、
前記画像合成手段は、前記複数の撮像光学系の前記倍率の情報を用いて前記複数の画像の倍率を揃える請求項２に記載の撮像装置。
【請求項４】
更に、前記複数の撮像光学系の焦点距離の情報を記録した記録部を備え、
前記画像合成手段は、前記複数の撮像光学系の前記焦点距離の情報を用いて前記複数の画像の倍率を揃える請求項２に記載の撮像装置。
【請求項５】
前記複数の画像間のずれを揃える機能が、前記複数の画像の傾きを揃える機能である請求項１に記載の撮像装置。
【請求項６】
更に、前記複数の撮像領域の傾きの情報を記録した記録部を備え、
前記画像合成手段は、前記複数の撮像領域の前記傾きの情報を用いて前記複数の画像の傾きを揃える請求項５に記載の撮像装置。
【請求項７】
前記複数の画像間のずれを揃える機能が、前記複数の画像の歪曲を揃える機能である請求項１に記載の撮像装置。
【請求項８】
更に、前記複数の撮像光学系の歪曲量の情報を記録した記録部を備え、
前記画像合成手段は、前記複数の撮像光学系の前記歪曲量の情報を用いて前記複数の画像の歪曲を揃える請求項７に記載の撮像装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像光学系を用いて得られた複数の画像から、視差補正を行うことにより１つの高精細画像を合成する撮像装置に関する。
【背景技術】
【０００２】
複数の撮像光学系（複眼撮像系）を用いて得られた複数の画像を合成することにより、１つの高精細な画像を得る原理方式としては、例えば非特許文献１に開示された方式が知られている。この方式では、２つの撮像光学系を用いて得た２つの画像を、一方の画像の画素間に他方の画像の画素が挿入されるように重ね合わせることにより、１つの高精細な画像を得る。
【０００３】
この原理をカラー画像に応用しても同様である。即ち、高精細なカラー画像を得る方法として、ベイヤー配列やストライプ配列等で配置されたカラーフィルタを備えた複数の撮像光学系を用いる方法と、色感度特性が互いに異なる複数の撮像光学系を用いる方法とがある。
【０００４】
一般的な複眼撮像装置を図１５を用いて説明する。図１５において、複数の撮像光学系１０１、１０２、１０３は、複数のイメージセンサ１０４、１０５、１０６に被写体像をそれぞれ結像する。複数のイメージセンサ１０４、１０５、１０６の撮像受光特性は互いに異なっており、イメージセンサ１０４は赤（Ｒ）波長領域を撮像し、イメージセンサ１０５は緑（Ｇ）波長領域を撮像し、イメージセンサ１０６は青（Ｂ）波長領域を撮像する。複数のイメージセンサ１０４、１０５、１０６がそれぞれ撮像した複数の画像は、それぞれＲ信号処理回路１０７、Ｇ信号処理回路１０８、及びＢ信号処理回路１０９により画像処理された後、画像合成処理回路１１０により合成されてカラー画像として出力される。
【０００５】
この複眼撮像装置では複数の撮像光学系１０１、１０２、１０３の各光軸は互いに異なり、ある位置にある被写体の法線に対して対称に角度θ（輻射角）だけ傾斜して配置される。例えば輻射角θが図１５の被写体位置ｂに対して最適となるように設定され固定されている場合において、位置ａ又は位置ｃにある被写体を撮像すると、前記の輻射角θは被写体位置ａ、ｃに対して最適な輻射角とは異なるため、イメージセンサ１０４、１０５、１０６がそれぞれ撮像した画像間にずれが生じてしまう。
【０００６】
これを図１６Ａ，図１６Ｂ，図１６Ｃを用いて説明する。図１６Ａ，図１６Ｂ，図１６Ｃは、いずれも図１５に示した複眼撮像装置によって得られる合成画像を示す図であり、図１６Ａは、図１５の位置ａにある被写体を撮像した場合、図１６Ｂは位置ｂにある被写体を撮像した場合、図１６Ｃは位置ｃにある被写体を撮像した場合を示している。本例では、黒の背景に丸い白い被写体を撮影したと仮定する。
【０００７】
被写体が位置ａにある場合、図１６Ａに示すように、複数の撮像光学系１０１、１０２、１０３の輻射角が適切でないために緑画像に対して赤画像（Ｒ）と青画像（Ｂ）とはそれぞれ左右にずれた画像となり、合成後の画像はそのずれた分だけ色ズレとして出力されてしまう。即ち、青画像が欠落した部分は緑画像と赤画像とによりイエロー（Ｙｅ）になり、赤画像が欠落した部分は緑画像と青画像とによりシアン（Ｃｙ）となり、青画像と赤画像が欠落した部分は緑画像（Ｇ）となる。本例では複数の撮像光学系１０１、１０２、１０３の光軸が一次元に配置されているために、合成画像においてはその配置方向に一次元のずれが生じるが、二次元に配置されている場合には二次元のずれが生じる。合成画像において二次元のずれが生じた場合、緑画像が欠落した部分は赤画像と青画像とによりマジェンダ（Ｍｇ）となる。
【０００８】
被写体が位置ｂにある場合、図１６Ｂに示すように、複数の撮像光学系１０１、１０２、１０３の輻射角が適切であるために色ズレのない高精細な画像が出力される。
【０００９】
被写体が位置ｃにある場合、図１６Ｃに示すように、被写体が位置ａにある場合に得られる合成画像（図１６Ａ参照）とは赤画像と青画像とがそれぞれ逆方向にずれた合成画像となる。
【００１０】
さらに、それぞれのイメージセンサ１０４、１０５、１０６で得られた複数の画像間にわずかな差異（例えば、倍率、傾き、歪曲などにおけるずれ）があると正確に視差を補正することが困難となり、合成した画像の画質、特に解像度を著しく劣化させる。
【００１１】
これに対し特許文献１には、倍率におけるずれを解消するために、第１の波長に対する第１の撮像光学系の焦点距離と第２の波長に対する第２の撮像光学系の焦点距離とを同一に設定することが開示されている。しかし、実際の物作りの観点から考えると、焦点距離を全く同一にすることは著しく困難であり、特に、光学系毎に対象とする波長帯域が異なる場合はほぼ不可能と考えられる。
【非特許文献１】相澤清晴、他２名、「超高精細画像取得のための基礎検討」  画像電子学会予稿９０−０３−０４、ｐ．２３〜２８
【特許文献１】特許第３３９７７５８号明細書
【発明の開示】
【発明が解決しようとする課題】
【００１２】
上記したように、複眼撮像系により得られた複数の画像を合成して１つの画像を合成する撮像装置においては、それぞれの光学系で得られた複数の画像間に倍率、傾き、歪曲等にわずかなずれがあると、これらの画像から視差を正確に補正することが困難となり、合成した画像の画質、特に解像度を著しく劣化させる。
【００１３】
本発明は上記従来の問題点に鑑み、複眼撮像系を有する撮像装置において、視差を有する複数の画像から、高品位の画像を合成することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明の撮像装置は、複数の撮像光学系と、前記複数の撮像光学系と一対一に対応し、前記複数の撮像光学系を介して複数の画像をそれぞれ撮像する複数の撮像領域と、前記複数の画像間のずれを揃える機能及び前記複数の画像から１つの画像を合成する機能を有する画像合成手段とを備えたことを特徴とする。
【発明の効果】
【００１５】
本発明の撮像装置によれば、複数の画像を合成する前に、複数の画像間の視差以外のずれが揃えられるので、複数の画像を高精度に合成することが可能となり高画質の合成画像を得ることができる。
【発明を実施するための最良の形態】
【００１６】
本発明の上記撮像装置において、前記複数の画像間のずれを揃える機能が、前記複数の画像の倍率を揃える機能であることが好ましい。
【００１７】
この場合において、前記撮像装置が、更に、前記複数の撮像光学系の倍率の情報を記録した記録部を備え、前記画像合成手段は、前記複数の撮像光学系の前記倍率の情報を用いて前記複数の画像の倍率を揃えることが好ましい。
【００１８】
あるいは、前記撮像装置が、更に、前記複数の撮像光学系の焦点距離の情報を記録した記録部を備え、前記画像合成手段は、前記複数の撮像光学系の前記焦点距離の情報を用いて前記複数の画像の倍率を揃えることが好ましい。
【００１９】
また、本発明の上記撮像装置において、前記複数の画像間のずれを揃える機能が、前記複数の画像の傾きを揃える機能であることが好ましい。
【００２０】
この場合において、前記撮像装置が、更に、前記複数の撮像領域の傾きの情報を記録した記録部を備え、前記画像合成手段は、前記複数の撮像領域の前記傾きの情報を用いて前記複数の画像の傾きを揃えることが好ましい。
【００２１】
また、本発明の上記撮像装置において、前記複数の画像間のずれを揃える機能が、前記複数の画像の歪曲を揃える機能であることが好ましい。
【００２２】
この場合において、前記撮像装置が、更に、前記複数の撮像光学系の歪曲量の情報を記録した記録部を備え、前記画像合成手段は、前記複数の撮像光学系の前記歪曲量の情報を用いて前記複数の画像の歪曲を揃えることが好ましい。
【００２３】
以下、本発明の実施の形態を図面を参照しながら説明する。
【００２４】
図１は、本発明の一実施形態に係る撮像装置の概略構成を示したブロック図であり、従来の撮像装置を示した図１５と同一の部分には同一の番号を付している。
【００２５】
図１において、複数の撮像光学系１０１、１０２、１０３は、これと一対一に対応する複数のイメージセンサ１０４、１０５、１０６に被写体像をそれぞれ結像する。複数のイメージセンサ１０４、１０５、１０６の撮像受光特性は互いに異なっており、イメージセンサ１０４は赤（Ｒ）波長領域を撮像し、イメージセンサ１０５は緑（Ｇ）波長領域を撮像し、イメージセンサ１０６は青（Ｂ）波長領域を撮像する。撮像受光特性を異ならせる方法としては、イメージセンサに波長依存性を備えさせても良いし、フィルタなどを挿入することにより波長選択性を実現しても良い。
【００２６】
複数のイメージセンサ１０４、１０５、１０６がそれぞれ撮像した複数の画像は、それぞれＲ信号処理回路１０７、Ｇ信号処理回路１０８、及びＢ信号処理回路１０９により画像処理された後、画像前処理回路１１１により視差を除く複数の画像間のずれが揃えられ、次いで、画像合成処理回路１１０により合成されてカラー画像として出力される。
【００２７】
本実施形態では、説明を容易にするために、複数のイメージセンサ１０４、１０５、１０６から得た複数の画像信号が入力され、合成画像信号を出力する画像合成手段１１５を、複数の画像間のずれを揃える機能を有する画像前処理回路１１１と、画像前処理回路１１１で処理された複数の画像を合成して１つの画像（合成画像）を作り上げる機能を有する画像合成処理回路１１０とに分けて説明するが、実際の撮像装置においては、画像前処理回路１１１と画像合成処理回路１１０とが明確に区別されている必要はない。
【００２８】
図２は、本実施形態の撮像装置の撮像の流れを示す占めフロー図である。
【００２９】
ステップＳ１０では、撮像ボタンが押されるなどにより撮像が開始される。
【００３０】
ステップＳ２０では、複数のイメージセンサ１０４、１０５、１０６から複数の画像が取り込まれる画像取得処理がなされる。この処理は、信号処理回路１０７，１０８，１０９が行う。
【００３１】
ステップＳ３０では、複数の画像に対して、複数のイメージセンサ１０４、１０５、１０６間のばらつきや感度調整を行う強度補正処理がなされる。この処理は、信号処理回路１０７，１０８，１０９が行う。
【００３２】
ステップＳ４０では、複数の画像に対して、複数の撮像光学系１０１、１０２、１０３及び複数のイメージセンサ１０４、１０５、１０６の実装ずれを補正することを主目的とする原点補正処理がなされる。この処理は、信号処理回路１０７，１０８，１０９が行う。
【００３３】
ステップＳ５０では、複数の画像に対して、複数の画像の倍率を揃える倍率補正処理がなされる。この処理は、画像前処理回路１１１が行う。
【００３４】
ステップＳ６０では、複数の画像に対して、複数の画像の傾きを揃える回転補正処理がなされる。この処理は、画像前処理回路１１１が行う。
【００３５】
ステップＳ７０では、複数の画像に対して、複数の画像の歪曲を揃える歪曲補正処理がなされる。この処理は、画像前処理回路１１１が行う。
【００３６】
ステップＳ８０では、複数の画像間の視差量を計算し、この視差量を補正して複数の画像を合成して１つの画像（合成画像）を作り上げる視差補正合成処理がなされる。この処理は、画像合成処理回路１１０が行う。
【００３７】
ステップＳ９０では、撮像装置に一体化された液晶ディスプレィ等の表示装置、又は配線ケーブルを介してＣＲＴ、ＴＶ、ＰＣ（パーソナルコンピュータ）、プリンタなどの画像出力可能な装置に合成画像を出力する画像出力処理がなされる。
【００３８】
本実施形態では、視差補正合成処理（ステップＳ８０）の前段にて、複数の画像の倍率、傾き、及び歪曲が揃えられる（ステップＳ５０，Ｓ６０，Ｓ７０）。これにより、視差補正合成処理を容易にし、高精細な合成画像を得ることができる。
【００３９】
なお、図２は、最終的に合成画像を出力することを目的としたフロー図であるが、ステップＳ８０で得られた視差量と、複数の撮像光学系１０１、１０２、１０３の焦点距離と、視差量演算の際に用いた複数の撮像光学系１０１、１０２、１０３の光軸間距離とから、三角測量の原理を利用して被写体までの距離を計算しても良い。従って、本実施形態の撮像装置では、合成画像と被写体までの距離情報とを同時に取得することが可能である。あるいは、複数の画像の合成処理を行わないで、被写体までの距離情報のみを取得することもできる。この場合、ステップＳ５０，Ｓ６０，Ｓ７０にて複数の画像間のずれを揃える処理を行うことにより、距離情報の精度を向上させることができる。
【００４０】
以下に、上記の倍率補正処理（ステップＳ５０）、回転補正処理（ステップＳ６０）、歪曲補正処理（ステップＳ７０）を順に説明する。
【００４１】
（実施の形態１）
実施の形態１では、複数の画像の倍率を揃える倍率補正処理（図２のステップＳ５０）を説明する。
【００４２】
まず、複数の画像間に倍率のばらつきが発生する理由について図３を用いて説明する。図３はレンズ１、被写体２、被写体像３の関係を簡単に示した図である。４，５は被写体２からの代表的な第１光線，第２光線、ｚは光軸、Ｆは前側焦点、Ｆ’は後側焦点、Ｈは前側主点、Ｈ’は後側主点、ｙは被写体２の高さ、ｙ’は被写体像３の高さ、ｆ’は後側の焦点距離である。ここで、倍率をβとすると、倍率βは下記の式（１）で定義される。
【００４３】
β＝ｙ’／ｙ      ・・・（１）
後側焦点Ｆ’から被写体像３までの距離をｚ’とすると、式（１）は下記の式（２）のように変形される。
【００４４】
β＝−ｚ’／ｆ’      ・・・（２）
式（２）よりわかるように、レンズ１の焦点距離ｆ’が変化すれば被写体像３の倍率βも変化する。
【００４５】
一般に、複数の撮像光学系を有する撮像装置において、それぞれのレンズの焦点距離を全く同一にすることは困難である。それぞれの光学系が別々の波長帯に対応している場合、焦点距離を同一にすることはさらに困難である。よって図１５に示した従来の撮像装置では、複数の撮像光学系１０１、１０２、１０３のそれぞれを介して得られる複数の画像の倍率は僅かずつ異なる。従って、いくら厳密に視差補正を行い合成しても、合成する前の複数の画像の大きさが互いに僅かに異なると、合成した画像で高周波成分が再現されず、十分な解像度、品質が確保された画像を再現することは困難である。
【００４６】
そこで、視差補正及び画像合成の前に、複数の画像の倍率を揃える倍率補正処理（図２のステップＳ５０）を行うことが好ましい。
【００４７】
以下に、画像前処理回路１１１が複数の画像間の倍率のずれを揃える処理について、２つの例を示す。
【００４８】
第１の例では、撮像装置の組立時に、基準被写体を撮像し被写体と被写体像とのサイズ比により各撮像光学系の倍率を測定し、その情報を初期値として画像前処理回路１１１内の記録部１１２（図１参照）に記録しておく。撮像時には、この倍率の情報を用いて複数の画像に対して倍率補正処理（図２のステップＳ５０）を行う。
【００４９】
第２の例としては、撮像装置の組立時に、各撮像光学系の焦点距離を計測し、その情報を上記式（２）に代入することにより倍率を得、その情報を初期値として画像前処理回路１１１内の記録部１１２（図１参照）に記録しておく。撮像時には、この倍率の情報を用いて複数の画像に対して倍率補正処理（図２のステップＳ５０）を行う。あるいは、記録部１１２には各撮像光学系の焦点距離の情報を記録しておき、撮像時には焦点距離の情報を用いて複数の画像に対して倍率補正処理（図２のステップＳ５０）を行っても良い。
【００５０】
撮像装置の組立時に、各撮像光学系の焦点距離を正確に計測する方法の一例を示す。図４は、撮像光学系としてのレンズ１１の焦点距離を測定する装置を示した図である。６はコリメータ、７は移動ステージ、８は回転ステージ、９はレンズホルダ、１０は平行光、１１は被検レンズ、１２は撮像カメラである。被検レンズ１１は、レンズホルダ９を介して移動ステージ７及び回転ステージ８により保持されている。移動ステージ７は被検レンズ１１を光軸方向に移動させることができ、回転ステージ８は被検レンズ１１を回転中心軸８ａを中心として光軸を含む紙面に垂直な面内で回転させることができる。被検レンズ１１に対して一方の側にコリメータ６が、他方の側に撮像カメラ１２が配置されている。コリメータ６で形成された平行光１０は、被検レンズ１１を通って、撮像カメラ１２に入射する。
【００５１】
図５Ａに示すように、被検レンズ１１の主点１１ａと回転ステージ８の回転中心軸８ａとが一致している場合は、回転ステージ８によって被検レンズ１１を回転させても撮像カメラ１２に写る像の位置が変化せず、回転中心軸８ａ（又は主点１１ａ）から撮像カメラ１２の撮像面１２ａまでの距離が焦点距離ｆになる。
【００５２】
ところが、図５Ｂに示すように、被検レンズ１１の主点１１ａと回転ステージ８の回転中心軸８ａとが一致していない場合は、回転ステージ８によって被検レンズ１１を回転させると撮像カメラ１２に写る像の位置がずれてしまう（ずれ量Ｓ）。この場合は、被検レンズ１１を傾けながら、移動ステージ７により光軸と平行な方向に被検レンズ１１を移動させ、主点１１ａと回転中心軸８ａとを一致させる。これにより、被検レンズ１１の焦点距離ｆを計測することが出来る。
【００５３】
各撮像光学系の倍率又は焦点距離を測定する工程は、撮像装置又はこれを搭載する商品の組立時の初期化工程内に一度行えば十分である。
【００５４】
複数の撮像光学系の倍率又は焦点距離の情報を用いた倍率補正処理としては、画像前処理回路１１１で新しい画像を再構築し、その画像信号を元の画像信号と差し替え、次段の画像合成処理回路１１０に伝達する方式と、画像前処理回路１１１は倍率又は焦点距離の情報だけを管理し、次段の画像合成処理回路１１０に画像信号と倍率又は焦点距離の情報とを伝達する方式の２方式があるが、両方式とも画像の倍率補正に関して同様の効果が得られるため、どちらの方式を選択しても問題はない。以下では前者の方式を中心に説明する。
【００５５】
図６を用いて撮影毎に行われる倍率補正処理（図２のステップＳ５０）の一例を説明する。
【００５６】
ステップＳ５１では、複数の撮像光学系を介して撮像された複数の画像（フォトダイオード（以下、ＰＤと書く）の出力）は、一時的に画像前処理回路１１１内の２次元空間情報記録部（図示せず）内に記録され、各画像を構成する画素にステップＳ４０（図２参照）の原点補正処理にて抽出された原点を原点とする座標（ｘ、ｙ）が付加される。
【００５７】
ステップＳ５２では、（ｘ、ｙ）座標系が原点を中心とする（ｒ、θ）極座標系に変換される。この変換は、下記の式（３）及び式（４）を用いた座標変換手法で容易に行うことが出来る。
【００５８】
ｒ＝（ｘ2＋ｙ2）1/2      ・・・（３）
θ＝ｃｏｓ-1（ｘ／（ｘ2＋ｙ2）1/2）      ・・・（４）
ステップＳ５３では、倍率補正を行う。ここでは、撮像光学系１０１、１０２、１０３の各倍率が既知である場合について説明する。記録部１１２に記録されている撮像光学系１０１、１０２、１０３の倍率βｉ（ｉ＝１，２，３）により、座標（ｒ、θ）は下記の式（５）及び式（６）を用いて座標（Ｒ、θ’）に変換される。
【００５９】
Ｒ＝ｒ／βｉ      ・・・（５）
θ’＝θ      ・・・（６）
ここで、撮像光学系１０１、１０２、１０３の倍率βｉ（ｉ＝１，２，３）として、複数の画像のうち基準とする画像に対する倍率を用いることもできる。例えば、基準とする画像に対応する撮像光学系の倍率をβ１とすれば、上記式（５）において、β１＝β１／β１，β２＝β２／β１，β３＝β３／β１としても良い。但し、β２／β１＞１又はβ３／β１＞１である場合、式（５）よりＲ＜ｒとなり、倍率補正後の画像が倍率補正前のイメージセンサから抽出された画像のサイズより小さくなってしまい、倍率補正後の画像の周辺部のデータが欠落してしまい、合成画像において周辺部に著しい解像度劣化が生じる。従って、β２／β１≦１、β３／β１≦１となるように、基準とする画像に対応する撮像光学系の倍率（β１）を選択することが必要である。
【００６０】
上記の式（５）及び式（６）を画像を構成する全ての画素に対して行うことにより、倍率補正された画像を得ることができる。
【００６１】
次に、ステップＳ５４では、極座標系（Ｒ、θ’）が（Ｘ，Ｙ）座標系に変換される。この変換は、下記の式（７）及び式（８）を用いることで行うことができる。
【００６２】
Ｘ＝Ｒｃｏｓθ’      ・・・（７）
Ｙ＝Ｒｓｉｎθ’      ・・・（８）
ステップＳ５５では、データの補間処理を行う。ステップＳ５４での座標変換後の画像データの大部分は、格子点状の画素位置とは異なる位置（画素と画素との間）でのデータである。そこで、画素の周辺の画像データを用いて補間処理することにより、画素の位置での画像データを作り上げることが必要になる。
【００６３】
補間処理の一例を図７を用いて説明する。ステップＳ５４での座標変換により、画素Ｐの周辺の４点でのデータＶ(i,j)，Ｖ(i+1,j)，Ｖ(i,j+1)，Ｖ(i+1,j+1)が得られているとする。データＶ(i,j)を有する点に対する画素Ｐの位置情報ｐｘ，ｐｙ（０≦ｐｘ≦１、０≦ｐｙ≦１）を用いて、画素Ｐでの画像データを下記式（９）により求めることができる。
【００６４】
ｐｘ・ｐｙ（Ｖ(i,j)−Ｖ(i+1,j)−Ｖ(i,j+1)＋Ｖ(i+1,j+1)）＋ｐｘ（Ｖ(i+1,j)−Ｖ(i,j)）＋ｐｙ（Ｖ(i,j+1)−Ｖ(i,j)）＋Ｖ(i,j)      ・・・（９）
なお、上記は補間処理の一例であり、本発明はこれに限定されず、上記とは異なる補間処理を行っても良く、その場合も同様の効果が得られる。
【００６５】
以上により、倍率補正処理（図２のステップＳ５０）が終了する。
【００６６】
上記の倍率補正処理では、実際に組み立てられた撮像装置を用いて、複数の撮像光学系のそれぞれの倍率又は焦点距離を直接測り、その情報を用いて複数の画像の倍率を揃えたが、本発明はこれに限定されない。例えば、各撮像光学系の倍率又は焦点距離がその設計値とほぼ等しいとみなされる場合には、その設計値を用いて倍率補正処理を行ってもよく、この場合も上記と同様の効果が得られる。
【００６７】
（実施の形態２）
実施の形態２では、複数の画像の傾きを揃える回転補正処理（図２のステップＳ６０）を説明する。
【００６８】
まず、複数の画像間に傾き（回転角）のばらつきが発生する理由について図８を用いて説明する。図８は図１に示した撮像装置の複数のイメージセンサ１０４、１０５、１０６と被写体像との位置関係を被写体側から見た図である。図１と同一の部分には同一の番号を付している。十字形の被写体を撮影する場合を考える。図示したように、それぞれのイメージセンサ１０４、１０５、１０６には、十字形の被写体像１２０が形成されている。ここでは、一例としてイメージセンサ１０５が他のイメージセンサ１０４，１０６に対して角度ψだけ傾いて設置されていると仮定する。これは、イメージセンサ１０４、１０５、１０６を同一基板上に実装した際のばらつきを想定したものである。
【００６９】
図９は、イメージセンサ１０４、１０５、１０６が撮像した被写体の画像を、Ｒ信号処理回路１０７、Ｇ信号処理装置１０８、Ｂ信号処理装置１０９を介して、別個の表示デバイス（例えば、ディスプレイ）に表示させた結果を示した図である。画面表示１０４’，１０５’，１０６’は、順にイメージセンサ１０４、１０５、１０６に対応する。図９によると、イメージセンサ１０５が撮像した被写体の画像１２０’は他のイメージセンサ１０４，１０６が撮像した被写体の画像１２０’に比べて、ψだけ回転していることが分かる。この３つの画像を、視差補正（即ち、複数の撮像光学系１０１、１０２、１０３の視差分だけ画像を平行移動する補正）のみを行って重ね合わせても、イメージセンサ１０５による画像１２０’を他のイメージセンサ１０４，１０６による画像１２０’に重ね合わせることは不可能である。
【００７０】
そこで、視差補正及び画像合成の前に、複数の画像の傾きを揃える回転補正処理（図２のステップＳ６０）を行うことが好ましい。
【００７１】
以下に、画像前処理回路１１１が複数の画像間の傾きのずれを揃える回転補正処理の一例を示す。
【００７２】
まず、撮像装置の組立時に、コントラスト差の著しく大きい調整用映像を被写体として撮像する。例えば、白色の背景に黒色の十字線である。この十字線の線幅は光学系の倍率を考慮し、イメージセンサ１０４，１０５，１０６の画素ピッチの２倍以上であるのが望ましい。また、十字線の交点と撮像光学系１０１，１０２，１０３の中心とを一致させる必要もある。
【００７３】
イメージセンサ１０４，１０５，１０６及び撮像光学系１０１，１０２，１０３が実装される時に、撮像光学系１０１，１０２，１０３の中心とイメージセンサ１０４，１０５，１０６の中心とは、機械的な調整またはソフト的な調整により位置合わせ済みとする。イメージセンサ１０４，１０５，１０６のそれぞれの実装時の傾き（回転角）のばらつきは、各イメージセンサ１０４，１０５，１０６から出力された画像として表示される。
【００７４】
被写体として十字線を使った場合の出力画像の回転角検出法の一例を、図１０Ａ及び図１０Ｂを用いて説明する。図１０Ａに示すように、十字線１３１は、横方向の画素数Ｈ、縦方向の画素数Ｖの表示装置１３０に、原点Ｐｃを中心として回転角ψだけ回転して表示される。この画像において、原点Ｐｃから水平方向にＨ／２画素移動した画素Ａを基準として、これより垂直方向に対象画素を移動しながら各画素からの出力値を検出する。画素からの出力値の検出結果の概略を図１０Ｂに示す。図１０Ｂにおいて、横軸は画素Ａを基準とした垂直方向の画素数、縦軸は画素からの出力値（画素出力）である。図示したように、画素Ｂ（画素Ａから垂直方向にｎ番目の画素）で大きな出力値の変化が検出されたとすると、このイメージセンサの水平方向に対する十字線の水平線の回転角ψは、以下の式（１０）で求められる。
【００７５】
ψ＝ｔａｎ-1（２ｎ／Ｈ）      ・・・（１０）
式（１０）は、水平方向及び垂直方向の各画素ピッチが同一である場合であり、両者が異なる場合は、その比を乗ずる必要がある。
【００７６】
この計測を全てのイメージセンサ１０４，１０５，１０６について行い、各イメージセンサの傾きの情報を初期値（ψ１、ψ２、ψ３）として画像前処理回路１１１内の記録部１１２（図１参照）に記録しておく。撮像時には、この傾きの情報を用いて複数の画像に対して回転補正処理（図２のステップＳ６０）を行う。
【００７７】
各イメージセンサの傾きを測定する工程は、撮像装置又はこれを搭載する商品の組立時の初期化工程内に一度行えば十分である。
【００７８】
複数のイメージセンサの傾きの情報を用いた回転補正処理としては、画像前処理回路１１１で新しい画像を再構築し、その画像信号を元の画像信号と差し替え、次段の画像合成処理回路１１０に伝達する方式と、画像前処理回路１１１は傾きの情報だけを管理し、次段の画像合成処理回路１１０に画像信号と傾きの情報とを伝達する方式の２方式があるが、両方式とも画像の傾き補正に関して同様の効果が得られるため、どちらの方式を選択しても問題はない。以下では前者の方式を中心に説明する。
【００７９】
図１１を用いて撮影毎に行われる回転補正処理（図２のステップＳ６０）の一例を説明する。
【００８０】
ステップＳ６１では、複数の撮像光学系を介して撮像された複数の画像（ＰＤの出力）は、一時的に画像前処理回路１１１内の２次元空間情報記録部（図示せず）内に記録され、各画像を構成する画素にステップＳ４０（図２参照）の原点補正処理にて抽出された原点を原点とする座標（ｘ、ｙ）が付加される。
【００８１】
ステップＳ６２では、（ｘ、ｙ）座標系が原点を中心とする（ｒ、θ）極座標系に変換される。この変換は、下記の式（３）及び式（４）を用いた座標変換手法で容易に行うことが出来る。
【００８２】
ｒ＝（ｘ2＋ｙ2）1/2      ・・・（３）
θ＝ｃｏｓ-1（ｘ／（ｘ2＋ｙ2）1/2）      ・・・（４）
ステップＳ６３では、回転補正を行う。記録部１１２に記録されているイメージセンサ１０４，１０５，１０６の傾き角ψｉ（ｉ＝１，２，３）により、座標（ｒ、θ）は下記の式（１１）及び式（１２）を用いて座標（Ｒ、θ’）に変換される。
【００８３】
Ｒ＝ｒ      ・・・（１１）
θ’＝θ−ψｉ      ・・・（１２）
上記の式（１１）及び式（１２）を用いた座標変換を画像を構成する全ての画素に対して行うことにより、回転補正された画像を得ることができる。
【００８４】
次に、ステップＳ６４では、極座標系（Ｒ、θ’）が（Ｘ，Ｙ）座標系に変換される。この変換は、下記の式（７）及び式（８）を用いることで行うことができる。
【００８５】
Ｘ＝Ｒｃｏｓθ’      ・・・（７）
Ｙ＝Ｒｓｉｎθ’      ・・・（８）
ステップＳ６５では、データの補間処理を行う。ステップＳ６４での座標変換後の画像データの大部分は、格子点状の画素位置とは異なる位置（画素と画素との間）でのデータである。そこで、画素の周辺の画像データを用いて補間処理することにより、画素の位置での画像データを作り上げることが必要になる。
【００８６】
補間処理の一例を図７を用いて説明する。ステップＳ６４での座標変換により、画素Ｐの周辺の４点でのデータＶ(i,j)，Ｖ(i+1,j)，Ｖ(i,j+1)，Ｖ(i+1,j+1)が得られているとする。データＶ(i,j)を有する点に対する画素Ｐの位置情報ｐｘ，ｐｙ（０≦ｐｘ≦１、０≦ｐｙ≦１）を用いて、画素Ｐでの画像データを下記式（９）により求めることができる。
【００８７】
ｐｘ・ｐｙ（Ｖ(i,j)−Ｖ(i+1,j)−Ｖ(i,j+1)＋Ｖ(i+1,j+1)）＋ｐｘ（Ｖ(i+1,j)−Ｖ(i,j)）＋ｐｙ（Ｖ(i,j+1)−Ｖ(i,j)）＋Ｖ(i,j)      ・・・（９）
なお、上記は補間処理の一例であり、本発明はこれに限定されず、上記とは異なる補間処理を行っても良く、その場合も同様の効果が得られる。
【００８８】
以上により、回転補正処理（図２のステップＳ６０）が終了する。
【００８９】
上記の回転補正処理では、実際に組み立てられた撮像装置を用いて、複数のイメージセンサからそれぞれ出力された複数の画像の回転角を検出し、その情報を用いて複数の画像の傾きを揃えたが、本発明はこれに限定されない。例えば、組立時に複数のイメージセンサの回転角をそれぞれ実測し、その実測値を用いて回転補正処理を行っても良く、この場合も上記と同様の効果が得られる。
【００９０】
（実施の形態３）
実施の形態３では、複数の画像の歪曲を揃える歪曲補正処理（図２のステップＳ７０）を説明する。
【００９１】
通常の光学レンズは、撮像エリアの周辺部で直線状の被写体が曲線に歪んで結像される現象（これを歪曲という）を有する。図１２Ａ〜図１２Ｄを用いて本発明の撮像装置の撮像光学系による歪曲の例を説明する。
【００９２】
図１２Ａは格子状の被写体を示す。図１２Ｂは図１２Ａの格子状の被写体を撮像光学系１０１を介してイメージセンサ１０４が撮像した画像、図１２Ｃは図１２Ａの格子状の被写体を撮像光学系１０２を介してイメージセンサ１０５が撮像した画像、図１２Ｄは図１２Ａの格子状の被写体を撮像光学系１０３を介してイメージセンサ１０６が撮像した画像である。図１２Ａに示した被写体に対し、図１２Ｂ〜図１２Ｄのすべての画像が樽状に変形している。さらに、図１２Ｂの画像と図１２Ｄの画像とはほぼ同じであるが、これらと図１２Ｃの画像とははわずかに形状が異なっており、図１２Ｃの画像の方が図１２Ｂ及び図１２Ｄの画像よりも歪曲が大きい。
【００９３】
このように歪曲の程度が異なる３つの画像を合成すると、歪曲の程度の異なり具合が大きくなればなるほど、合成後の画像の解像度は著しく低下する。従って、複数の画像間の歪曲のばらつきも、複数の光学系を有する撮像装置において大きな課題となる。
【００９４】
そこで、視差補正及び画像合成の前に、複数の画像の歪曲を揃える歪曲補正処理（図２のステップＳ７０）を行うことが好ましい。
【００９５】
以下に、画像前処理回路１１１が複数の画像間の歪曲のずれを揃える歪曲補正処理の一例を示す。
【００９６】
まず、撮像装置の組立時に各撮像光学系の歪曲量を測定し、その情報を初期値として画像前処理回路１１１内の記録部１１２（図１参照）に記録する。実際の各撮像光学系の歪曲量が設計値とほぼ同じと考えられる場合は、設計値を記録部１１２（図１参照）に記録しても良い。
【００９７】
撮像装置の組立時に、各撮像光学系の歪曲量を計測する方法の一例を示す。
【００９８】
図１２Ａに示した互いに直交する複数の直線からなる格子状の被写体を撮影し、各イメージセンサから得られる画像より撮像光学系の歪曲量を計測することができる。例えば、イメージセンサからの出力画像が図１３の実線１４２の通りであったとする。図１３には、撮像光学系の倍率を考慮して拡大（又は縮小）された格子状の被写体の一部を破線１４１で併せて示している。被写体１４１上の点Ｐ1は出力画像１４２上の点Ｐ2に対応する。点Ｐ0は光軸の位置を示す。光軸Ｐ0から被写体１４１上の点Ｐ1までの距離ｙが、撮像光学系の歪曲収差によって、光軸Ｐ0から出力画像１４２上の点Ｐ2までの距離ｙ0に変化する。この場合の撮像光学系の歪曲量Ｄは下記式（１３）で求めることができる。
【００９９】
Ｄ（ｙ）＝（ｙ0−ｙ）／ｙ      ・・・（１３）
この計測を全ての撮像光学系１０１，１０２，１０３について行い、各撮像光学系１０１、１０２、１０３の歪曲量の情報を初期値（Ｄ１（ｙ），Ｄ２（ｙ），Ｄ３（ｙ））として画像前処理回路１１１内の記録部１１２（図１参照）に記録しておく。撮像時には、この歪曲量の情報を用いて複数の画像に対して歪曲補正処理（図２のステップＳ７０）を行う。
【０１００】
各撮像光学系の歪曲量を測定する工程は、撮像装置又はこれを搭載する商品の組立時の初期化工程内に一度行えば十分である。
【０１０１】
複数の撮像光学系の歪曲量の情報を用いた歪曲補正処理としては、画像前処理回路１１１で新しい画像を再構築し、その画像信号を元の画像信号と差し替え、次段の画像合成処理回路１１０に伝達する方式と、画像前処理回路１１１は歪曲量の情報だけを管理し、次段の画像合成処理回路１１０に画像信号と歪曲量の情報とを伝達する方式の２方式があるが、両方式とも画像の歪曲補正に関して同様の効果が得られるため、どちらの方式を選択しても問題はない。以下では前者の方式を中心に説明する。
【０１０２】
図１４を用いて撮影毎に行われる歪曲補正処理（図２のステップＳ７０）の一例を説明する。
【０１０３】
ステップＳ７１では、複数の撮像光学系を用いて撮像された複数の画像（ＰＤの出力）は、一時的に画像前処理回路１１１内の２次元空間情報記録部（図示せず）内に記録され、各画像を構成する画素にステップＳ４０（図２参照）の原点補正処理にて抽出された原点を原点とする座標（ｘ、ｙ）が付加される。
【０１０４】
ステップＳ７２では、（ｘ、ｙ）座標系が原点を中心とする（ｒ、θ）極座標系に変換される。この変換は、下記の式（３）及び式（４）を用いた座標変換手法で容易に行うことが出来る。
【０１０５】
ｒ＝（ｘ2＋ｙ2）1/2      ・・・（３）
θ＝ｃｏｓ-1（ｘ／（ｘ2＋ｙ2）1/2）      ・・・（４）
ステップＳ７３では、歪曲補正を行う。記録部１１２に記録されている撮像光学系の歪曲量Ｄｉ（ｒ）（ｉ＝１，２，３）により、座標（ｒ、θ）は下記の式（１４）及び式（６）を用いて座標（Ｒ、θ’）に変換される。
【０１０６】
Ｒ＝（Ｄｉ（ｒ）＋１）・ｒ      ・・・（１４）
θ’＝θ      ・・・（６）
上記の式（１４）及び式（６）を用いた座標変換を画像を構成する全ての画素に対して行うことにより、歪曲補正された画像を得ることができる。
【０１０７】
次に、ステップＳ７４では、極座標系（Ｒ、θ’）が（Ｘ，Ｙ）座標系に変換される。この変換は、下記の式（７）及び式（８）を用いることで行うことができる。
【０１０８】
Ｘ＝Ｒｃｏｓθ’      ・・・（７）
Ｙ＝Ｒｓｉｎθ’      ・・・（８）
ステップＳ７５では、データの補間処理を行う。ステップＳ７４での座標変換後の画像データの大部分は、格子点状の画素位置とは異なる位置（画素と画素との間）でのデータである。そこで、画素の周辺の画像データを用いて補間処理することにより、画素の位置での画像データを作り上げることが必要になる。
【０１０９】
補間処理の一例を図７を用いて説明する。ステップＳ７４での座標変換により、画素Ｐの周辺の４点でのデータＶ(i,j)，Ｖ(i+1,j)，Ｖ(i,j+1)，Ｖ(i+1,j+1)が得られているとする。データＶ(i,j)を有する点に対する画素Ｐの位置情報ｐｘ，ｐｙ（０≦ｐｘ≦１、０≦ｐｙ≦１）を用いて、画素Ｐでの画像データを下記式（９）により求めることができる。
【０１１０】
ｐｘ・ｐｙ（Ｖ(i,j)−Ｖ(i+1,j)−Ｖ(i,j+1)＋Ｖ(i+1,j+1)）＋ｐｘ（Ｖ(i+1,j)−Ｖ(i,j)）＋ｐｙ（Ｖ(i,j+1)−Ｖ(i,j)）＋Ｖ(i,j)      ・・・（９）
なお、上記は補間処理の一例であり、本発明はこれに限定されず、上記とは異なる補間処理を行っても良く、その場合も同様の効果が得られる。
【０１１１】
以上により、歪曲補正処理（図２のステップＳ７０）が終了する。
【０１１２】
上記の歪曲補正処理では、実際に組み立てられた撮像装置を用いて、複数の撮像光学系のそれぞれの歪曲量を直接測り、その情報を用いて複数の画像の歪曲を揃えたが、本発明はこれに限定されない。例えば、各撮像光学系の歪曲量がその設計値とほぼ等しいとみなされる場合には、その設計値を用いて歪曲補正処理を行っても良く、この場合も上記と同様の効果が得られる。
【０１１３】
上記の歪曲補正処理においては、複数の撮像光学系の歪曲量が非常に小さな基準歪曲値に一致するように複数の画像の歪曲を揃えることが好ましい。ここで、基準歪曲量は、複数の撮像光学系のうち最も歪曲量が小さな撮像光学系の歪曲量であっても良いし、複数の撮像光学系の歪曲量より更に小さな歪曲量であっても良い。これにより、付加的な効果として、歪曲が十分に補正された合成画像を得ることが出来る。さらに、必要な歪曲性能を撮像光学系に求める必要がないため、撮像光学系の設計が容易になり、従来にない薄型の撮像光学系を実現することも可能となる。
【０１１４】
さらに、上述したように、複数の画像の合成処理を行わないで被写体までの距離情報をのみを取得する場合においては、歪曲補正処理をしていない複数の画像を用いて視差量を求め、得られた視差量を歪曲量を用いて補正し、この補正後の視差量から被写体までの距離情報を演算して求めることが好ましい。この場合には、視差量を求める際に使用した特定の画素での歪曲量のみを考慮すれば良いので演算時間を短縮することができる。これに対して、複数の画像を歪曲補正処理し、この補正後の複数の画像から視差量を求める場合には、画像の歪曲補正処理において、全ての画素データに対して歪曲補正のための演算を行う必要があるので、長い演算時間が必要となる。但し、歪曲補正処理をせずに視差量を求める場合には、複数の撮像光学系間の歪曲量のばらつきが±５％程度以下であることが好ましい。この歪曲量のばらつきが±５％より大きくなると、複数の画像から視差量を求める演算が正常に機能せず、正確な視差量を求められない可能性が増大する。
【０１１５】
本発明の撮像装置が各撮像ごとに、図２に示した倍率補正処理（ステップＳ５０）、回転補正処理（ステップＳ６０）、歪曲補正処理（ステップＳ７０）を行うためには、撮像装置の製造又は組立の過程において、複数の撮像光学系のそれぞれの倍率又は焦点距離を測定しこれを初期値として記録部１１２に記録する工程（倍率初期値設定工程）、複数のイメージセンサのそれぞれの傾きを測定しこれを初期値として記録部１１２に記録する工程（傾き初期値設定工程）、複数の撮像光学系のそれぞれの歪曲を測定しこれを初期値として記録部１１２に記録する工程（歪曲初期値設定工程）を行うことが好ましい。
【０１１６】
これら３つの初期値設定工程の好ましい実施順序を以下に説明する。
【０１１７】
傾き初期値設定工程では、例えば実施の形態２で説明した十字形の被写体のように、適切な被写体を用いれば、撮像した複数の画像間で倍率及び歪曲がばらついていても、これらとは無関係に正確に傾き測定を行うことができる。従って、最初に傾き初期値設定工程を行うことが好ましい。
【０１１８】
歪曲初期値設定工程では、実施の形態３で説明したように、撮像された画像１４２と被写体１４１とを比較する（図１３参照）。この比較の際には、撮像光学系の倍率又は焦点距離の情報が必要である。従って、歪曲初期値設定工程に先立って倍率初期値設定工程が行われていることが好ましい。
【０１１９】
よって、傾き初期値設定工程、倍率初期値設定工程、歪曲初期値設定工程の順に行われることが好ましい。
【０１２０】
但し、被写体を工夫することにより、傾き初期値設定工程と倍率初期値設定工程との順序を上記と逆にしたり、これらを同時に行ったりすることも可能である。
【０１２１】
傾き初期値設定工程と倍率初期値設定工程とを同時に行うことができる被写体の一例を以下に示す。
【０１２２】
この被写体は、互いに直交する第１直線及び第２直線からなる。第１直線は水平方向と平行で、その長さは撮像光学系の視野外にまで延びる程に十分に長いことが好ましい。この第１直線は、イメージセンサの傾き測定のために用いられる（図１０Ａ参照）。第２直線は鉛直方向と平行であることが好ましい。第２直線の長さは、撮像光学系の視野内に収まる程度であることが好ましく、具体的にはイメージセンサ上に結像されたその像の長さが、このイメージセンサの有効撮像領域の垂直方向の辺（短辺）の長さの約８割程度になるように設定されることが好ましい。第１及び第２直線の線幅は、イメージセンサ上に結像されたその像の線幅がイメージセンサの画素ピッチの２倍以上になるように設定されることが好ましい。第１及び第２直線の色は、コントラスト比を著しく大きくするために黒とし、その背景は白であることが好ましい。測定に際しては、第１直線と第２直線との交点が、撮像装置の画像合成をする際の基準点（原点）に結像されるように、被写体と撮像装置との相対的位置を調整する必要がある。通常、原点は無限遠に設けられた被写体が結像される点である。
【０１２３】
上記の実施形態では、３眼の撮像装置（３つの撮像光学系及び３つのイメージセンサを有する撮像装置）を説明したが、本発明の撮像装置はこれに限定されない。例えば、２眼又は４眼以上の撮像装置であっても良く、その場合も上記と同様の効果を得ることが出来る。
【０１２４】
特に４眼以上の撮像装置では、２眼で同色の２つの画像を取得し、且つ、カラー合成画像を得るために必要な赤、青、緑の各色の画像をも取得することが可能となる。この場合、同色の２つの画像（通常、緑色の画像が望ましい）を比較して、これらの画像間の視差量を求めれば、視差量の演算処理が著しく単純になる。更に、複数の画像を合成する精度、及び被写体までの距離を演算する精度が著しく向上する。
【０１２５】
３眼の撮像装置において、上記の４眼の撮像装置と同様の処理を行うためには、取得した赤、青、緑の各色の画像のうちのいずれか１つ（例えば赤又は青の画像）の情報から、他の色の画像（例えば緑の画像）の情報を補間して抽出する処理が必要となる。
【０１２６】
上記の実施形態では、複数の撮像光学系に一対一に対応するように複数のイメージセンサを用いた例を説明したが、本発明の撮像装置はこれに限定されない。例えば、複数の撮像光学系に対して共通する１つのイメージセンサを用い、このイメージセンサを複数の撮像光学系に一対一に対応するように複数の撮像領域に分割しても良い。
【０１２７】
上記の実施形態では、各撮像ごとに、図２に示した倍率補正処理（ステップＳ５０）、回転補正処理（ステップＳ６０）、歪曲補正処理（ステップＳ７０）をこの順に行う撮像装置を説明したが、これら３つの補正処理の順序はこれに限定されない。また、これら３つの補正処理のうちの１つ又は２つが省略されても良い。例えば、上記のように複数の撮像光学系に対して共通する１つのイメージセンサを用いる場合には、回転補正処理（ステップＳ６０）を省略することができる。
【０１２８】
以上に説明した実施の形態は、いずれもあくまでも本発明の技術的内容を明らかにする意図のものであって、本発明はこのような具体例にのみ限定して解釈されるものではなく、その発明の精神と請求の範囲に記載する範囲内でいろいろと変更して実施することができ、本発明を広義に解釈すべきである。
【産業上の利用可能性】
【０１２９】
本発明にかかる撮像装置の利用分野は特に制限はないが、光軸方向の寸法が小さいにもかかわらず高品位の画像を撮像することができることから、例えば携帯機器用のカメラモジュール等として有用である。
【図面の簡単な説明】
【０１３０】
【図１】図１は、本発明の一実施形態に係る撮像装置の概略構成を示したブロック図である。
【図２】図２は、本発明の一実施形態に係るの撮像装置において、撮像の流れを示すフロー図である。
【図３】図３は、本発明の一実施形態に係る撮像装置における被写体と像との関係を示す図である。
【図４】図４は、本発明の一実施形態に係る撮像装置において、撮像光学系の焦点距離を計測する装置の概略を示す図である。
【図５Ａ】図５Ａは、図４の装置において被検レンズの主点と回転中心軸とが一致してる場合の焦点距離の測定方法を示した図である。
【図５Ｂ】図５Ｂは、図４の装置において被検レンズの主点と回転中心軸とが一致していない場合の焦点距離の測定方法を示した図である。
【図６】図６は、本発明の一実施形態に係る撮像装置の倍率補正処理のアルゴリズムを示したフロー図である。
【図７】図７は、本発明の一実施形態に係る撮像装置の補間処理を説明するための図である。
【図８】図８は、本発明の一実施形態に係る撮像装置において各イメージセンサと被写体像との位置関係の一例を示した図である。
【図９】図９は、本発明の一実施形態に係る撮像装置において各イメージセンサを介して得られた画像の一例を示した図である。
【図１０Ａ】図１０Ａは、本発明の一実施形態に係る撮像装置において、イメージセンサの回転角を検出する方法を説明するための図である。
【図１０Ｂ】図１０Ｂは、本発明の一実施形態に係る撮像装置において、イメージセンサの回転角を検出する方法を説明するための図である。
【図１１】図１１は、本発明の一実施形態に係る撮像装置の回転補正処理のアルゴリズムを示したフロー図である。
【図１２Ａ】図１２Ａは、格子状の被写体を示した図である。
【図１２Ｂ】図１２Ｂは、本発明の一実施形態に係る撮像装置において第１の撮像光学系を介して撮像された格子状の被写体像の一例を示した図である。
【図１２Ｃ】図１２Ｃは、本発明の一実施形態に係る撮像装置において第２の撮像光学系を介して撮像された格子状の被写体像の一例を示した図である。
【図１２Ｄ】図１２Ｄは、本発明の一実施形態に係る撮像装置において第３の撮像光学系を介して撮像された格子状の被写体像の一例を示した図である。
【図１３】図１３は、本発明の一実施形態に係る撮像装置において、撮像光学系の歪曲量を検出する方法を説明するための図である。
【図１４】図１４は、本発明の一実施形態に係る撮像装置の歪曲補正処理のアルゴリズムを示したフロー図である。
【図１５】図１５は、従来の複眼撮像装置の概略構成を示したブロック図である。
【図１６Ａ】図１６Ａは、図１５の複眼撮像装置により位置ａにある白丸の被写体を撮像した場合の合成画像を示した図である。
【図１６Ｂ】図１６Ｂは、図１５の複眼撮像装置により位置ｂにある白丸の被写体を撮像した場合の合成画像を示した図である。
【図１６Ｃ】図１６Ｃは、図１５の複眼撮像装置により位置ｃにある白丸の被写体を撮像した場合の合成画像を示した図である。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2006064770.tif 000025
【図２】
2006064770.tif 000026
【図３】
2006064770.tif 000027
【図４】
2006064770.tif 000028
【図５Ａ】
2006064770.tif 000029
【図５Ｂ】
2006064770.tif 000030
【図６】
2006064770.tif 000031
【図７】
2006064770.tif 000032
【図８】
2006064770.tif 000033
【図９】
2006064770.tif 000034
【図１０Ａ】
2006064770.tif 000035
【図１０Ｂ】
2006064770.tif 000036
【図１１】
2006064770.tif 000037
【図１２Ａ】
2006064770.tif 000038
【図１２Ｂ】
2006064770.tif 000039
【図１２Ｃ】
2006064770.tif 000040
【図１２Ｄ】
2006064770.tif 000041
【図１３】
2006064770.tif 000042
【図１４】
2006064770.tif 000043
【図１５】
2006064770.tif 000044
【図１６Ａ】
2006064770.tif 000045
【図１６Ｂ】
2006064770.tif 000046
【図１６Ｃ】
2006064770.tif 000047
【国際調査報告】
2006064770.tif 000048
2006064770.tif 000049
2006064770.tif 000050
2006064770.tif 000051