(57)【要約】  同一平面上に配置された複数のレンズ１０２ａ〜１０２ｄは、複数の被写体像を複数の撮像領域１０４ａ〜１０４ｄ上に結像する。複数の撮像領域のそれぞれにおける画素配置の垂直ラインの方向及び水平ラインの方向は複数の撮像領域間で互いに同一である。また、複数の撮像領域のうち、垂直ライン（又は水平ライン）の方向に視差を有する少なくとも一対の撮像領域に受光される少なくとも一対の被写体像が、水平ライン（又は垂直ライン）の方向に互いに所定量ずれている。視差が発生する方向と直交する方向に画素ずらしを行うことにより、被写体距離が変化しても常に高解像度画像を得ることができる。
2007060847.tif 000002
【特許請求の範囲】
【請求項１】
同一平面上に配置された複数のレンズと、
前記複数のレンズによる複数の被写体像をそれぞれ受光する複数の撮像領域とを有し、
前記複数の撮像領域のそれぞれにおける画素配置の垂直ラインの方向及び水平ラインの方向が前記複数の撮像領域間で互いに同一であり、且つ、
前記複数の撮像領域のうち、前記垂直ラインの方向に視差を有する少なくとも一対の撮像領域に受光される少なくとも一対の被写体像が、前記水平ラインの方向に互いに所定量ずれていることを特徴とする撮像装置。
【請求項２】
同一平面上に配置された複数のレンズと、
前記複数のレンズによる複数の被写体像をそれぞれ受光する複数の撮像領域とを有し、
前記複数の撮像領域のそれぞれにおける画素配置の垂直ラインの方向及び水平ラインの方向が前記複数の撮像領域間で互いに同一であり、且つ、
前記複数の撮像領域のうち、前記水平ラインの方向に視差を有する少なくとも一対の撮像領域に受光される少なくとも一対の被写体像が、前記複垂直ラインの方向に互いに所定量ずれていることを特徴とする撮像装置。
【請求項３】
前記所定量が、前記所定量のずれ方向における前記複数の撮像領域の画素ピッチの０．２５倍から０．７５倍の範囲である請求項１または２に記載の撮像装置。
【請求項４】
前記複数のレンズと前記複数の撮像領域との間に複数のカラーフィルタが設けられている請求項１または２に記載の撮像装置。
【請求項５】
前記複数のカラーフィルタのうち、少なくとも２つが同一の分光透過率特性を有する請求項４に記載の撮像装置。
【請求項６】
前記複数の撮像領域からそれぞれ出力される複数の画像データを処理する画像処理手段をさらに有し、
前記画像処理手段は、前記複数の画像データを合成して前記複数の画像データよりも高解像度の合成画像データを作成し出力する画像合成手段を有し、
前記画像合成手段は、前記複数の画像データのうちの少なくとも一つの画像データに含まれる局所領域でのエッジ方向を検出するエッジ方向検出手段を有し、
前記画像合成手段は、前記エッジ方向検出手段が判断したエッジの方向に基づき前記複数の画像データの合成方法を変更する請求項１または２に記載の撮像装置。
【請求項７】
前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記垂直ラインの方向と同一と判断したとき、前記画像合成手段は、前記合成画像データの前記局所領域では垂直方向に同一の画素信号値を連続して配置する請求項６に記載の撮像装置。
【請求項８】
前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記垂直ラインの方向と同一と判断したとき、前記画像合成手段は、前記合成画像データの前記局所領域では、前記複数の画像データのうち前記水平ラインの方向に互いにずれた少なくとも２つの画像データの画素信号値を前記水平ラインの方向に並べて配置し、且つ、前記垂直ラインの方向に隣り合う２つの画素間には、前記２つの画素の画素信号値の補間値を配置する請求項６に記載の撮像装置。
【請求項９】
前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記水平ラインの方向と同一と判断したとき、前記画像合成手段は、前記合成画像データの前記局所領域では水平方向に同一の画素信号値を連続して配置する請求項６に記載の撮像装置。
【請求項１０】
前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記水平ラインの方向と同一と判断したとき、前記画像合成手段は、前記合成画像データの前記局所領域では、前記複数の画像データのうち前記垂直ラインの方向に互いにずれた少なくとも２つの画像データの画素信号値を前記垂直ラインの方向に並べて配置し、且つ、前記水平ラインの方向に隣り合う２つの画素間には、前記２つの画素の画素信号値の補間値を配置する請求項６に記載の撮像装置。
【請求項１１】
前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記垂直ラインの方向に対して傾斜していると判断したとき、前記画像合成手段は、前記合成画像データの前記局所領域では前記エッジ方向に同一の画素信号値を連続して配置する請求項６に記載の撮像装置。
【請求項１２】
前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記垂直ラインの方向に対して傾斜していると判断したとき、前記画像合成手段は、前記合成画像データの前記局所領域では、前記複数の画像データのうち前記水平ラインの方向又は前記垂直ラインの方向に互いにずれた少なくとも２つの画像データの画素信号値と、前記エッジ方向に隣り合う２つの画素の画素信号値の補間値とを配置する請求項６に記載の撮像装置。
【請求項１３】
前記複数の撮像領域からそれぞれ出力される複数の画像データを処理する画像処理手段をさらに有し、
前記画像処理手段は、前記複数の画像データを合成して前記複数の画像データよりも高解像度の合成画像データを作成し出力する画像合成手段を有し、
前記画像合成手段は、前記複数の撮像領域のずれ量に応じて前記複数の画像データの中から合成に使用する複数の画像データを選択する請求項６に記載の撮像装置。
【請求項１４】
前記画像合成手段は、前記ずれ量が所定の値に最も近い画像データを前記複数の画像データの中から選択する請求項１３に記載の撮像装置。
【請求項１５】
前記画像合成手段は、前記ずれ量が所定の範囲に含まれる画像データを前記複数の画像データの中から選択する請求項１３に記載の撮像装置。
【請求項１６】
前記所定の範囲が、前記所定量のずれ方向における前記複数の撮像領域の画素ピッチの０．２５倍から０．７５倍の範囲である請求項１５に記載の撮像装置。
【請求項１７】
前記複数の撮像領域からそれぞれ出力される複数の画像データを処理する画像処理手段をさらに有し、
前記画像処理手段は、
前記複数の画像データを合成して前記複数の画像データよりも高解像度の合成画像データを作成し出力する画像合成手段と、
前記合成画像データもしくは前記合成画像データに処理を施した画像データの各画素の画素信号値をこの画素の近傍の画素の画素信号値に基づき平滑化した平滑化画像データを出力する平滑フィルタ手段と、
前記平滑化画像データもしくは前記平滑化画像データに処理を施した画像データの各画素の画素信号値をこの画素の近傍の画素信号値に基づきエッジを強調したエッジ強調化画像データを出力するエッジ強調フィルタ手段と
を有することを特徴とする請求項１または２に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯機器、車載、医療、監視、ロボットなどの用途に用いられる、複数の光学系により画像を撮像する複眼方式の撮像装置に関する。
【背景技術】
【０００２】
近年、撮像装置には、高画素化に加えて小型化に対する要求が強くなってきている。小型化するためには、光学レンズの大きさや焦点距離、撮像素子の大きさが障害となることが多い。【０００３】
一般的に、光の波長が異なれば材料の屈折率が異なるため、焦点距離も異なる。従って、全波長の光の情報が含まれる被写体像を単レンズで撮像面に結像することはできない。その為、通常の撮像装置の光学系では、赤、緑、青の各波長の光を同一の撮像面に結像するため、光軸方向に複数の光学レンズが配置されている。従って、光学長が長くなり、撮像装置が厚くなる。【０００４】
そこで、撮像装置の小型化、特に薄型化に有効な技術として、焦点距離が短い複数の単レンズを略同一平面上に配置した複眼方式の撮像装置が提案されている（たとえば、特許文献１参照）。複眼方式のカラー画像撮像装置では、青色の波長の光を結像させるレンズと、緑色の波長の光を結像させるレンズと、赤色の波長の光を結像させるレンズとが同一平面上に並べられ、それぞれのレンズの光軸上に撮像素子の撮像面が配置されている。各レンズが受け持つ光の波長域が狭く限定されるため、各レンズの焦点距離を同一にすることにより、複数の単レンズを用いて複数の被写体像を同一平面上に配置された複数の撮像面に結像することが可能となる。従って、撮像装置の厚みを大幅に小さく出来る。【０００５】
図１６に複眼方式の撮像装置の一例の斜視図を示す。５００はレンズアレイであり、一体成型された４つのレンズ５０１ａ、５０１ｂ、５０１ｃ、５０１ｄを備える。レンズ５０１ａは、赤色の波長の光を結像させるレンズであり、赤色の波長分離フィルタ（カラーフィルタ）が撮像面に貼り付けられた撮像素子の撮像領域５０２ａに被写体像を結像させる。レンズ５０１ｂ，５０１ｄは、緑色の波長の光を結像させるレンズであり、緑色の波長分離フィルタ（カラーフィルタ）が撮像面に貼り付けられた撮像素子の撮像領域５０２ｂ、５０２ｄに被写体像を結像させる。レンズ５０１ｃは、青色の波長の光を結像させるレンズであり、青色の波長分離フィルタ（カラーフィルタ）が撮像面に貼り付けられた撮像素子の撮像領域５０２ｄに被写体像を結像させる。撮像素子は、各撮像領域５０２ａ〜５０２ｄに結像された被写体像の光強度を画像データに変換して出力する。これらの画像データを重ね合わせて合成することによりカラー画像を取得することができる。なお、レンズの個数は４個に限定する必要はない。【０００６】
このように複眼方式の撮像装置によれば撮像装置を薄くすることができるが、ベイヤー配列されたカラーフィルタを備えた一般的な単眼方式の撮像装置に比べて解像度が劣るという問題がある。その理由を以下に説明する。【０００７】
この単眼方式の撮像装置では、撮像素子の各画素が所定の色情報を取り出すことができるように、多数の画素の入射面にカラーフィルタがベイヤー配列で設けられている。即ち、縦横方向に配置された多数の画素の配置に対応して、緑色光を透過させるカラーフィルタが市松模様に配置され、残りの画素に、赤色光を透過させるカラーフィルタおよび青色光を透過させるカラーフィルタが交互に配置されている。このようなカラーフィルタの配列は一般にベイヤー配列と呼ばれる。撮像素子の各画素からは、カラーフィルタを透過した光の波長域の色情報のみが得られ、カラーフィルタを透過しない光の波長域の色情報を得ることはできない。しかしながら、画像の局所領域では３色の画像情報間に相関性があることが知られており（たとえば、非特許文献１）、例えば赤や青の画像情報から緑の画像情報を推測することができる。この特性を利用して不足している色の画像情報の補完処理が行われる。したがって、撮像素子の有効画素数と同じ画素数の解像度のカラー画像を得ることができる。たとえば、有効画素数が１００万画素である撮像素子を用いた場合、５０万個の画素が緑色の画像情報を検出し、２５万個の画素が青色の画像情報を検出し、２５万個の画素が赤色の画像情報を検出するが、上記補間処理により、赤、緑、青のいずれの色についても１００万画素の解像度の画像情報を得ることができる。【０００８】
一方、複眼方式の撮像装置では、撮像素子の各色に対応する各撮像領域が赤、緑、青のいずれかの色の画像情報を取得するため、各撮像領域の画素数と同じ画素数の解像度を有するカラー画像が得られる。たとえば、赤、緑、青の各色に対応する撮像領域がいずれも２５万画素を有するためには、撮像素子は合計１００万画素を有している必要があるが、重ね合わせて得られるカラー画像の解像度は２５万画素となる。【０００９】
画像の解像度を向上させる方法として、アクチュエータによりレンズと被写体との相対的位置を時系列的にずらすことによって、被写体像と撮像素子の画素との相対的位置関係が相互にずれた複数の画像を取得し、それらを合成することにより、高解像度画像を得る「画素ずらし」と呼ばれる技術がある（たとえば、特許文献２）。この画素ずらし技術におけるずらし量は、ずらす方向と取得する画像の数により最適な値が決まる。たとえば、２つの画像を合成する場合は、被写体像と画素との相対的位置関係が画素の配置ピッチ（以下、「画素ピッチ」という）の半分だけ２つの画像間でずれていると、もっとも高解像度の画像を得ることができる。画素ずらし技術は、レンズにより結像された被写体像と撮像素子の画素との相対的位置関係が互いにずれた複数の画像が得られれば利用可能であり、複眼方式の撮影装置にも適用可能である。但し、レンズと被写体との相対的位置を時系列的にずらすことにより行う画素ずらし技術は、被写体像が静止している場合には有効であるが、静止していない場合はレンズと被写体との相対的位置を時系列的にずらすことに起因して撮影タイミングがずれるため、高解像度画像を得ることは難しい。【００１０】
また、例えば特許文献３には、複数のレンズで複数の被写体像を複数の撮像領域上にそれぞれ結像させる複眼方式の撮像装置において、所定距離にある被写体の被写体像がレンズの光軸を結ぶ方向に所定量ずれて結像された画素ずらしが実現されるように、撮像素子の画素に対して複数のレンズの各光軸を位置決めをすることにより、高解像度の合成画像を取得する方法が提案されている。この方式は、被写体と撮像装置との距離が一定であれば、被写体像が静止していなくても高解像度画像を得ることが可能である。
【特許文献１】特開２００２−２０４４６２号公報
【特許文献２】特開平１０−３０４２３５号公報
【特許文献３】特開２００２−２０９２２６号公報
【非特許文献１】小寺宏曄、他２名、「色信号の相関を利用した単色画像からのフルカラー画像の表示方式」、昭和６３年度画像電子学会全国大会予稿２０、ｐ．８３−８６（１９８８）
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、特許文献３に記載の方法には２つの課題がある。【００１２】
第１に、被写体と撮像装置との距離が所定値でない場合、もしくは温度変化等により複数のレンズの光軸間隔が変わった場合に、画素ずらしのずれ量が変化するため、高解像度画像を得ることはできないという課題がある。以下、この第１の課題について詳細に説明する。【００１３】
画素ずらし技術により確実に高解像度画像を得るためには、合成される複数の画像間において、被写体像と画素との相対的位置関係が常にずれている必要がある。図１７Ａ及び図１７Ｂは、複眼方式の撮像装置において、被写体と、光軸が異なる２つのレンズと、この２つのレンズで結像された２つの被写体像との位置関係を示した図であり、図１７Ａは２つのレンズの光軸を含む平面における断面図、図１７Ｂは、撮像素子の撮像面を光軸と平行な方向から見た平面図である。６００ａ、６００ｂはレンズ６０１ａ、６０１ｂの光軸であり、６０２ａ、６０２ｂは光軸６００ａ、６００ｂが撮像素子の撮像領域６０３と交わる位置である。６０５ａ、６０５ｂは、光軸６００ａ上にある被写体６０４の、レンズ６０１ａ、６０１ｂによって結像された被写体像である。複眼方式の撮像装置においては複数のレンズの光軸が互いに異なるため、撮像装置から被写体までの距離に応じて、撮像領域６０３上での被写体像６０５ｂの位置は、レンズの光軸６００ａ、６００ｂを結ぶ方向（図中の一点鎖線６１０の方向）に移動する。この現象は「視差」と呼ばれ、レンズ光軸６００ｂと撮像領域６０３とが交わる位置６０２ｂから被写体像６０５ｂまでのずれ量Ｓは、レンズ６０１ａから被写体６０４までの距離（以下、「被写体距離」という）をＡ、レンズ６０１ａ，６０１ｂの光軸６００ａ，６００ｂ間の距離をｄ、レンズ６０１ａ，６０１ｂから撮像領域６０３までの距離をｆとすると、（数１）で表される。【００１４】
【数１】
2007060847.tif 000003
【００１５】
このように、レンズの光軸６００ａ、６００ｂを結ぶ一点鎖線６１０の方向における被写体像６０５ｂと撮像領域６０３の画素との相対的位置関係は、被写体距離Ａによって変化する。したがって、特許文献３のように、２つのレンズの光軸を結ぶ方向における被写体像のずれ量が所定値となるように予め設定した場合には、レンズから被写体までの距離Ａによってずれ量Ｓが変わるため、被写体距離によっては常に高解像度の合成画像を得られるとは限らない。また、温度変化によりレンズの光軸間の距離ｄが変化した場合も、同様にずれ量Ｓが変化するため、常に高解像度の合成画像を得られるとは限らない。【００１６】
第２に、画素ずらしのずれ量が所定量になるように光学系を設定したとしても、レンズ成型誤差、実装誤差、被写体距離、温度などに起因して、図１８に示すように、異なる撮像領域間で被写体像のずれ量が画素ピッチの０．５倍（以下「０．５画素」という）とならない場合が多いという課題がある。図１８において、５０２ａは赤色光を受光する撮像領域、５０２ｂは緑色光を受光する撮像領域、５０２ｃは青色光を受光する撮像領域、５０２ｄは緑色光を受光する撮像領域、７０２ａ、７０２ｂ、７０２ｃ、７０２ｄは各撮像領域５０２ａ，５０２ｂ，５０２ｃ，５０２ｄを構成する画素、７０１ａ、７０１ｂ、７０１ｃ、７０１ｄは各撮像領域５０２ａ，５０２ｂ，５０２ｃ，５０２ｄにおける被写体像の位置である。水平方向に並んだ撮像領域５０２ｃと撮像領域５０２ｂとの間のずれ量は、高解像度の合成画像を得るためには水平方向に０．５画素、垂直方向に０画素であることが理想的であるが、図１８では水平方向に０．６画素、垂直方向に０．１画素となっている。また、垂直方向に並んだ撮像領域５０２ａと撮像領域５０２ｂとのずれ量は、高解像度の合成画像を得るためには水平方向に０画素、垂直方向に０．５画素であることが理想的であるが、図１８では水平方向に０．１画素、垂直方向に０．４画素となっている。また、撮像領域５０２ｄと撮像領域５０２ｂとのずれ量は、高解像度の合成画像を得るためには水平方向に０．５画素、垂直方向に０．５画素であることが理想的であるが、図１８では水平方向に０．５画素、垂直方向に０．５画素となっている。複数の撮像領域の画素と複数の被写体像との位置関係が図１８の場合において、複数の撮像領域から得た複数の画像を画素ずらし技術を用いて合成した場合にどのような画像が得られるかを図１９Ａ〜図１９Ｄを用いて説明する。【００１７】
図１９Ａは、白地に垂直方向に延びた３本の黒線（被写体）を撮像した場合において、撮像領域５０２ｂに結像された被写体像を示した図である。図１９Ｂは、複数の撮像領域の画素と複数の被写体像とが図１８の位置関係を有している場合において、複数の撮像領域５０２ａ，５０２ｂ，５０２ｃ，５０２ｄから得た複数の画像を画素ずらし技術を用いて合成して得た合成画像を示した図である。図１９Ｃは、複数の撮像領域と複数の被写体像とが理想的な位置ずれ関係を有している場合において、複数の撮像領域５０２ａ，５０２ｂ，５０２ｃ，５０２ｄから得た複数の画像を画素ずらし技術を用いて合成して得た合成画像を示した図である。図１９Ｄは、図１８の撮像領域５０２ｂから得た画像を示した図である。図１９Ａ〜図１９Ｄでは、濃淡を線の密度で表現しており、濃い色ほど線の密度を高くし、薄い色ほど線の密度を低くして表現している。複数の撮像領域に対する複数の被写体像のずれ量が理想値から外れた場合に得られる図１９Ｂに示す合成画像は、複数の画像を合成する前の図１９Ｄに示す画像に比べて３本の黒線の識別は容易であり解像度は向上しているが、複数の撮像領域に対する複数の被写体像のずれ量が理想値である場合に得られる図１９Ｃに示す合成画像に比べて色むらが目立っている。【００１８】
本発明は、上記の従来の課題を解決し、被写体距離によらず常に高解像度且つ高画質の画像を得ることができる薄型の複眼方式の撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１９】
本発明の撮像装置は、同一平面上に配置された複数のレンズと、前記複数のレンズによる複数の被写体像をそれぞれ受光する複数の撮像領域とを有する。前記複数の撮像領域のそれぞれにおける画素配置の垂直ラインの方向及び水平ラインの方向が前記複数の撮像領域間で互いに同一である。【００２０】
本発明の第１の撮像装置では、前記複数の撮像領域のうち、前記垂直ラインの方向に視差を有する少なくとも一対の撮像領域に受光される少なくとも一対の被写体像が、前記水平ラインの方向に互いに所定量ずれていることを特徴とする。【００２１】
本発明の第２の撮像装置では、前記複数の撮像領域のうち、前記水平ラインの方向に視差を有する少なくとも一対の撮像領域に受光される少なくとも一対の被写体像が、前記複垂直ラインの方向に互いに所定量ずれていることを特徴とする。
【発明の効果】
【００２２】
本発明によれば、薄型で、高解像度且つ高画質の画像を得ることができる複眼方式の撮像装置を実現することができる。
【図面の簡単な説明】
【００２３】
【図１】図１は、本発明の一実施の形態に係る撮像装置の概略構成図である。
【図２】図２は、図１のII−II線に沿った、本発明の一実施の形態に係る撮像装置の撮像部の矢視断面図である。
【図３】図３は、本発明の一実施の形態に係る撮像装置において、視差が発生する原理を説明するための図である。
【図４】図４は、本発明の一実施の形態に係る撮像装置において、視差補正の原理を説明する図である。
【図５】図５は、本発明の一実施の形態に係る撮像装置において、視差補正の方法を説明する図である。
【図６Ａ】図６Ａは、本発明の一実施の形態に係る撮像装置において、画像の合成方法の一例を説明する図である。
【図６Ｂ】図６Ｂは、本発明の一実施の形態に係る撮像装置において、画像の合成方法の別の例を説明する図である。
【図７Ａ】図７Ａは、本発明の一実施の形態に係る撮像装置において、１つの撮像領域から得られるｍ×ｎの画素数を有する画像を示した図である。
【図７Ｂ】図７Ｂは、本発明の一実施の形態に係る撮像装置において、画像合成により得られた２・ｍ×２・ｎの画素数を有する高解像度画像を示した図である。
【図８】図８は、本発明の一実施の形態に係る撮像装置において、合成されたカラー画像を示した図である。
【図９】図９は、本発明の一実施の形態に係る撮像装置において、撮像領域における被写体像及び光軸の位置を示した部分拡大図である。
【図１０Ａ】図１０Ａは、本発明の一実施の形態に係る撮像装置において、１つの撮像領域に結像された被写体像を示した図である。
【図１０Ｂ】図１０Ｂは、本発明の一実施の形態に係る撮像装置において、１つの撮像領域から得られた画像の画素配列を垂直方向に反転して得られた画像を示した図である。
【図１０Ｃ】図１０Ｃは、本発明の一実施の形態に係る撮像装置において、高解像度のカラー合成画像を示した図である。
【図１０Ｄ】図１０Ｄは、本発明の一実施の形態に係る撮像装置において、画像のエッジ方向に応じた画像合成を行って得られた高解像度のカラー合成画像を示した図である。
【図１１】図１１は、濃淡が変化する被写体を示した図である。
【図１２】図１２は、被写体距離が変化しない、本発明の別の実施の形態に係る撮像装置の概略構成図である。
【図１３Ａ】図１３Ａは、本発明の別の実施の形態に係る撮像装置の撮像部の概略構成図である。
【図１３Ｂ】図１３Ｂは、本発明の更に別の実施の形態に係る撮像装置の撮像部の概略構成図である。
【図１４Ａ】図１４Ａは、本発明の一実施の形態に係る撮像装置において、２つの撮像領域上の２つの被写体像が水平方向に０．５画素ずれている場合に、合成画像において２つの被写体像を構成する画素の水平方向の位置関係を示した図である。
【図１４Ｂ】図１４Ｂは、本発明の一実施の形態に係る撮像装置において、２つの撮像領域上の２つの被写体像が水平方向にα画素（０．５＜α＜１）ずれている場合に、合成画像において２つの被写体像を構成する画素の水平方向の位置関係の一例を示した図である。
【図１４Ｃ】図１４Ｃは、本発明の一実施の形態に係る撮像装置において、２つの撮像領域上の２つの被写体像が水平方向にα画素（０．５＜α＜１）ずれている場合に、合成画像において２つの被写体像を構成する画素の水平方向の位置関係の別の例を示した図である。
【図１５】図１５は、本発明の一実施の形態に係る撮像装置の画像処理部が行う処理を示したフローチャートである。
【図１６】従来の複眼方式の撮像装置の概略構成を示した図である。
【図１７Ａ】図１７Ａは、複眼方式の撮像装置において、複数のレンズと被写体と被写体像との位置関係を示した断面図である。
【図１７Ｂ】図１７Ｂは、複眼方式の撮像装置において、複数のレンズの光軸と被写体像との位置関係を示した平面図である。
【図１８】図１８は、従来の複眼方式の撮像装置において、複数のレンズの光軸の位置と複数の撮像領域との関係を示した平面図である。
【図１９Ａ】図１９Ａは、従来の複眼方式の撮像装置において、１つの撮像領域に結像された被写体像を示した図である。
【図１９Ｂ】図１９Ｂは、従来の複眼方式の撮像装置において、複数の撮像領域と複数の被写体像とが図１８に示す位置関係を有している場合において、画素ずらし技術を用いて複数の画像を合成して得た合成画像を示した図である。
【図１９Ｃ】図１９Ｃは、従来の複眼方式の撮像装置において、複数の撮像領域と複数の被写体像とが理想的な位置ずれ関係を有している場合において、画素ずらし技術を用いて複数の画像を合成して得た合成画像を示した図である。
【図１９Ｄ】図１９Ｄは、従来の複眼方式の撮像装置において、１つの撮像領域が撮像した画像を示した図である。
【発明を実施するための最良の形態】
【００２４】
本発明の第１の撮像装置では、前記複数の撮像領域のうち、前記垂直ラインの方向に視差を有する少なくとも一対の撮像領域に受光される少なくとも一対の被写体像が、前記水平ラインの方向に互いに所定量ずれている。これにより、垂直ライン方向に延びる細線画像がより精細に見えるなど、水平ライン方向の解像度を被写体距離によらず常に高解像度化することが可能となる。【００２５】
また、本発明の第２の撮像装置では、前記複数の撮像領域のうち、前記水平ラインの方向に視差を有する少なくとも一対の撮像領域に受光される少なくとも一対の被写体像が、前記複垂直ラインの方向に互いに所定量ずれている。これにより、水平ライン方向に延びる細線画像がより精細に見えるなど、垂直ライン方向の解像度を被写体距離によらず常に高解像度化することが可能となる。【００２６】
本発明の上記第１及び第２の撮像装置において、前記所定量が、前記所定量のずれ方向における前記複数の撮像領域の画素ピッチの０．２５倍から０．７５倍の範囲であることが好ましい。これにより、水平ライン方向もしくは垂直ライン方向の解像度を被写体距離によらず常に高解像度化することが可能となる。なお、本発明において、「前記所定量のずれ方向」を「画素ずらし方向」と呼ぶ。【００２７】
本発明の上記第１及び第２の撮像装置において、前記複数のレンズと前記複数の撮像領域との間に複数のカラーフィルタが設けられていることが好ましい。これにより、薄型でカラー画像の撮影が可能な撮像装置を実現できる。【００２８】
この場合において、前記複数のカラーフィルタのうち、少なくとも２つが同一の分光透過率特性を有することが好ましい。これにより、薄型でカラー画像の撮影が可能で、更に高精度な被写体像の合成が可能となる。【００２９】
本発明の上記第１及び第２の撮像装置は、前記複数の撮像領域からそれぞれ出力される複数の画像データを処理する画像処理手段をさらに有することが好ましい。この場合、前記画像処理手段は、前記複数の画像データを合成して前記複数の画像データよりも高解像度の合成画像データを作成し出力する画像合成手段を有し、前記画像合成手段は、前記複数の画像データのうちの少なくとも一つの画像データに含まれる局所領域でのエッジ方向を検出するエッジ方向検出手段を有することが好ましい。そして、前記画像合成手段は、前記エッジ方向検出手段が判断したエッジの方向に基づき前記複数の画像データの合成方法を変更することが好ましい。これにより、前記所定量が、厳密に、前記所定量のずれ方向における前記複数の撮像領域の画素ピッチの０．５倍でない場合であっても、画素ピッチの０．２５倍以上０．７５倍以下であれば、常に高解像度で、色むらが少なく、濃淡の変化の滑らかな画像を出力することが可能となる。【００３０】
この場合、前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記垂直ラインの方向と同一と判断したとき、前記画像合成手段は、前記合成画像データの前記局所領域では垂直方向に同一の画素信号値を連続して配置することが好ましい。これにより、前記所定量が、厳密に、前記所定量のずれ方向における前記複数の撮像領域の画素ピッチの０．５倍でない場合であっても、画素ピッチの０．２５倍以上０．７５倍以下であれば、垂直ライン方向に延びたエッジを有する画像領域を常に高解像度で、色むらを少なく出力することが可能となる。【００３１】
あるいは、前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記垂直ラインの方向と同一と判断したとき、前記画像合成手段は、前記合成画像データの前記局所領域では、前記複数の画像データのうち前記水平ラインの方向に互いにずれた少なくとも２つの画像データの画素信号値を前記水平ラインの方向に並べて配置し、且つ、前記垂直ラインの方向に隣り合う２つの画素間には、前記２つの画素の画素信号値の補間値を配置することが好ましい。これにより、前記所定量が、厳密に、前記所定量のずれ方向における前記複数の撮像領域の画素ピッチの０．５倍でない場合であっても、画素ピッチの０．２５倍以上０．７５倍以下であれば、垂直ライン方向に延びたエッジを有する画像領域を常に高解像度で、色むらが少なく、濃淡の変化を滑らかに出力することが可能となる。【００３２】
また、前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記水平ラインの方向と同一と判断したとき、前記画像合成手段は、前記合成画像データの前記局所領域では水平方向に同一の画素信号値を連続して配置することが好ましい。これにより、前記所定量が、厳密に、前記所定量のずれ方向における前記複数の撮像領域の画素ピッチの０．５倍でない場合であっても、画素ピッチの０．２５倍以上０．７５倍以下であれば、水平ライン方向に延びたエッジを有する画像領域を常に高解像度で、色むらを少なく出力することが可能となる。【００３３】
あるいは、前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記水平ラインの方向と同一と判断したとき、前記画像合成手段は、前記合成画像データの前記局所領域では、前記複数の画像データのうち前記垂直ラインの方向に互いにずれた少なくとも２つの画像データの画素信号値を前記垂直ラインの方向に並べて配置し、且つ、前記水平ラインの方向に隣り合う２つの画素間には、前記２つの画素の画素信号値の補間値を配置することが好ましい。これにより、前記所定量が、厳密に、前記所定量のずれ方向における前記複数の撮像領域の画素ピッチの０．５倍でない場合であっても、画素ピッチの０．２５倍以上０．７５倍以下であれば、水平ライン方向に延びたエッジを有する画像領域を常に高解像度で、色むらが少なく、濃淡の変化を滑らかに出力することが可能となる。【００３４】
また、前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記垂直ラインの方向に対して傾斜していると判断したとき、前記画像合成手段は、前記合成画像データの前記局所領域では前記エッジ方向に同一の画素信号値を連続して配置することが好ましい。これにより、前記所定量が、厳密に、前記所定量のずれ方向における前記複数の撮像領域の画素ピッチの０．５倍でない場合であっても、画素ピッチの０．２５倍以上０．７５倍以下であれば、斜め方向に延びたエッジを有する画像領域を常に高解像度で、色むらを少なく出力することが可能となる。【００３５】
あるいは、前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記垂直ラインの方向に対して傾斜していると判断したとき、前記画像合成手段は、前記合成画像データの前記局所領域では、前記複数の画像データのうち前記水平ラインの方向又は前記垂直ラインの方向に互いにずれた少なくとも２つの画像データの画素信号値と、前記エッジ方向に隣り合う２つの画素の画素信号値の補間値とを配置することが好ましい。これにより、前記所定量が、厳密に、前記所定量のずれ方向における前記複数の撮像領域の画素ピッチの０．５倍でない場合であっても、画素ピッチの０．２５倍以上０．７５倍以下であれば、斜め方向に延びたエッジを有する画像領域を常に高解像度で、色むらが少なく、濃淡の変化を滑らかに出力することが可能となる。【００３６】
また、本発明の第１及び第２の撮像装置が、前記複数の撮像領域からそれぞれ出力される複数の画像データを処理する画像処理手段をさらに有することが好ましい。この場合、前記画像処理手段は、前記複数の画像データを合成して前記複数の画像データよりも高解像度の合成画像データを作成し出力する画像合成手段を有することが好ましい。そして、前記画像合成手段は、前記複数の撮像領域のずれ量に応じて前記複数の画像データの中から合成に使用する複数の画像データを選択することが好ましい。これにより、前記少なくとも一対の被写体像のずれ量である前記所定量が被写体距離や温度の変化などにより変化した場合でも、常に適切な画像データを選択して合成画像データを出力するので、常に高解像度で、色むらが少なく、濃淡の変化の滑らかな画像を出力することが可能となる。【００３７】
この場合において、  前記画像合成手段は、前記ずれ量が所定の値に最も近い画像データを前記複数の画像データの中から選択することが好ましい。これにより、前記少なくとも一対の被写体像のずれ量である前記所定量が被写体距離や温度の変化などにより変化した場合でも、常に最適な画像データを選択して合成画像データを出力するので、常に高解像度で、色むらが少なく、濃淡の変化の滑らかな画像を出力することが可能となる。【００３８】
あるいは、前記画像合成手段は、前記ずれ量が所定の範囲に含まれる画像データを前記複数の画像データの中から選択することが好ましい。これにより、前記少なくとも一対の被写体像のずれ量である前記所定量が被写体距離や温度の変化などにより変化した場合でも、常に適切な画像データを選択して合成画像データを出力するので、常に高解像度で、色むらが少なく、濃淡の変化の滑らかな画像を出力することが可能となる。【００３９】
前記所定の範囲が、前記所定量のずれ方向における前記複数の撮像領域の画素ピッチの０．２５倍から０．７５倍の範囲であることが好ましい。これにより、前記少なくとも一対の被写体像のずれ量である前記所定量が被写体距離や温度の変化などにより変化した場合でも、常に適切な画像データを選択して合成画像データを出力するので、常に高解像度で、色むらが少なく、濃淡の変化の滑らかな画像を出力することが可能となる。【００４０】
本発明の上記第１及び第２の撮像装置が、前記複数の撮像領域からそれぞれ出力される複数の画像データを処理する画像処理手段をさらに有することが好ましい。この場合において、前記画像処理手段は、前記複数の画像データを合成して前記複数の画像データよりも高解像度の合成画像データを作成し出力する画像合成手段と、前記合成画像データもしくは前記合成画像データに処理を施した画像データの各画素の画素信号値をこの画素の近傍の画素の画素信号値に基づき平滑化した平滑化画像データを出力する平滑フィルタ手段と、前記平滑化画像データもしくは前記平滑化画像データに処理を施した画像データの各画素の画素信号値をこの画素の近傍の画素信号値に基づきエッジを強調したエッジ強調化画像データを出力するエッジ強調フィルタ手段とを有することが好ましい。これにより、前記画像合成手段から出力された合成画像データの色むらを低減することが可能となる。【００４１】
以下に、本発明の好適な実施の形態を、図面を用いて詳細に説明する。【００４２】
本実施の形態に係る撮像装置は、ほぼ同一平面上に配置された４つのレンズと、４つのレンズに対応して配置された４つのカラーフィルタと、４つのレンズによる４つの被写体像をそれぞれ受光する４つの撮像領域とを備え、カラー画像及び／又は白黒画像を出力する薄型の複眼方式の撮像装置である。４つのレンズのうち、３つは互いに異なる光学特性を有し、残りの１つはこれら３つのうちのいずれか１つと同一の光学特性を有している。４つの撮像領域のそれぞれは、垂直方向及び水平方向に碁盤目状に配置された多数の画素を有している。４つの撮像領域のそれぞれの画素が配置された垂直ライン方向及び水平ライン方向が４つの撮像領域間で互いに一致している。撮像領域とその撮像領域上に結像される被写体像との相対的位置関係は、撮像領域間において所定方向に約０．５画素ずれている。本実施の形態の撮像装置によれば、被写体距離や温度変化によらず常に高解像度で、色むらが少なく、濃淡が滑らかに変化した画像を得ることができる。また、被写体に含まれる曲線を滑らかな曲線として表現でき、局所領域での各色の画像情報間の相関性を利用した画像合成の影響により生じる色むらを低減することができる。【００４３】
図１に本発明の一実施の形態に係る撮像装置の概略構成を示す。また、図２は図１のII−II線に沿った撮像部１０１の断面図である。【００４４】
まず、本実施の形態の撮像装置が、レンズ間の視差が補正されたカラー画像を出力する原理を説明する。【００４５】
図１において、１０１は被写体側から見た撮像部である。被写体からの光は、ほぼ同一平面上に配置された４枚の単レンズ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄに入射し、４枚の単レンズ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄは、カラーフィルタ１１３ａ，１１３ｂ，１１３ｃ，１１３ｄ（図２参照。但し、カラーフィルタ１１３ｂ，１１３ｄは図示せず。）を介して撮像素子１０３の撮像領域１０４ａ、１０４ｂ、１０４ｃ、１０４ｄ上に被写体像をそれぞれ結像させる。撮像素子１０３としては、例えば２００万画素などの高画素数の撮像素子が使用されるが、図面を簡単化するため図１では８２５画素の画素数の少ない撮像素子を示している。図１において、撮像素子１０３内に水平方向（Ｘ軸方向）及び垂直方向（Ｙ軸方向）に格子状に並んでいる各正方形は画素を表す。画素の配列方向のうち、水平方向（Ｘ軸方向）を水平ライン方向、垂直方向（Ｙ軸方向）を垂直ライン方向と呼ぶ。各正方形（各画素）内の小さな正方形は受光部を表す。【００４６】
図２に示すように、撮像素子１０３の被写体側にはカラーフィルタ１１３ａ，１１３ｂ，１１３ｃ，１１３ｄ（カラーフィルタ１１３ｂ，１１３ｄは図示せず）が配置される。単レンズ１０２ａ、１０２ｄは、緑色の光線が撮像素子１０３の撮像面に結像されるのに適切な焦点距離を有するように設計されており、単レンズ１０２ｂは赤色の光線が撮像素子１０３の撮像面に結像されるのに適切な焦点距離を有するように設計されており、単レンズ１０２ｃは青色の光線が撮像素子１０３の撮像面に結像されるのに適切な焦点距離を有するように設計されている。撮像素子１０３の撮像面の上部には、単レンズ１０２ａ，１０２ｄに対応する撮像領域１０４ａ，１０４ｄに緑色光を透過させるカラーフィルタ１１３ａ，１１３ｄが配置されており、単レンズ１０２ｂに対応する撮像領域１０４ｂに赤色光を透過させるカラーフィルタ１１３ｂが配置されており、単レンズ１０２ｃに対応する撮像領域１０４ｃに青色光を透過させるカラーフィルタ１１３ｃが配置されている。これにより、撮像領域１０４ａ，１０４ｄには緑の光成分による被写体像が結像され、撮像領域１０４ｂには赤の光成分による被写体像が結像され、撮像領域１０４ｃには青の光成分による被写体像が結像される。撮像領域１０４ａ，１０４ｂ，１０４ｃ，１０４ｄにそれぞれ結像される被写体像は、被写体距離をＡ、レンズの光軸間の距離をｄ、焦点距離をｆとすると、（数１）で算出される視差量Ｓだけ、それぞれ光軸１０５ａ，１０５ｂ，１０５ｃ，１０５ｄに対してずれて結像される。【００４７】
ＣＣＤやＣＭＯＳなどの固体撮像素子で構成される撮像素子１０３は、撮像素子駆動回路１１２により露光時間や信号の取込み及び転送のタイミングなどが制御されている。撮像部１０１から出力される各画素での受光量のアナログ信号値は、Ａ／Ｄ変換器１１１によりディジタル信号に変換され、このディジタル信号は画像処理部１０６に入力される。画像処理部１０６に入力された撮像領域１０４ａ、１０４ｂ、１０４ｃ、１０４ｄのディジタル化された画像データは、ホワイトバランスやシェーディング補正などの処理をされる。【００４８】
図３に、単レンズ１０２ａの光軸１０５ａ上で被写体距離Ａ０にある被写体の撮像領域１０４ａ，１０４ｄに結像される被写体像１１４を示す。被写体像１１４は、撮像領域１０４ａ上では光軸１０５ａ上に結像され、撮像領域１０４ｄ上では光軸１０５ａと光軸１０５ｄとを結ぶ直線１１５上であって、光軸１０５ｄから距離Ｓｘｙだけ離れた位置に結像される。【００４９】
光軸１０５ａと光軸１０５ｄとのＸ軸方向における距離をｄｘとすると、撮像領域１０４ａと撮像領域１０４ｄとの間での被写体像１１４のＸ軸方向の視差Ｓｘは（数２）で表される。【００５０】
【数２】
2007060847.tif 000004
【００５１】
光軸１０５ａと光軸１０５ｄとのＹ軸方向における距離をｄｙとすると、撮像領域１０４ａと撮像領域１０４ｄとの間での被写体像１１４のＹ軸方向の視差Ｓｙは（数３）で表される。【００５２】
【数３】
2007060847.tif 000005
【００５３】
したがって、距離Ｓｘｙは（数４）で表される。【００５４】
【数４】
2007060847.tif 000006
【００５５】
画像合成部１０７は、同色（緑）の被写体像が形成される撮像領域１０４ａ及び撮像領域１０４ｄから出力される２つの画像データを用いて被写体像の相関性を求める演算を行い視差Ｓｘ及びＳｙを算出する。画素は、撮像素子１０３上の整数座標にしか存在しないが、線形補間などの補間演算を行うことにより、視差Ｓｘ、Ｓｙの小数点以下の値をも求めることができる。【００５６】
光軸１０５ａ及び光軸１０５ｄ間のＸ軸方向距離と、光軸１０５ａ及び光軸１０５ｃ間の距離とはほぼ等しいため、算出した視差Ｓｘを、撮像領域１０４ａと撮像領域１０４ｃとの間での被写体像の視差量として用いる。光軸１０５ａ及び光軸１０５ｄ間のＸ軸方向距離と、光軸１０５ａ及び光軸１０５ｃ間の距離との誤差は、無限遠においた被写体（例えば黒地に白の点光源）の撮像領域１０４ａ，１０４ｃ，１０４ｄにそれぞれ結像される被写体像の位置を比較するなどして補償する。【００５７】
同様に、光軸１０５ａ及び光軸１０５ｄ間のＹ軸方向の距離と、光軸１０５ａ及び光軸１０５ｂ間の距離とはほぼ等しいため、算出したＳｙを、撮像領域１０４ａと撮像領域１０４ｂとの間での被写体像の視差量として用いる。光軸１０５ａ及び光軸１０５ｄ間のＹ軸方向距離と、光軸１０５ａ及び光軸１０５ｂ間の距離との誤差は、上述したＸ軸方向距離の誤差の補償方法と同様の方法により補償する。【００５８】
画像合成部１０７は、緑の光成分よる被写体像が結像される撮像領域１０４ａからの画像に対する、赤の光成分による被写体像が結像される撮像領域１０４ｂからの画像、及び青の光成分による被写体像が結像される撮像領域１０４ｃからの画像のずれを、算出した視差Ｓｘ及びＳｙを用いて補正し、次いで、これら３つの画像を合成する。かくして、被写体像のカラー画像を得ることができる。【００５９】
次に図１の撮像装置が被写体距離によらず常に高解像度な画像を出力する原理について説明する。【００６０】
図４に単レンズ１０２ａの光軸１０５ａ上で被写体距離Ａ０にある被写体の撮像領域１０４ａ〜１０４ｄに結像される被写体像１１４ａ〜１１４ｄの位置を示す。【００６１】
撮像領域１０４ａでは被写体像１１４ａは光軸１０５ａ上に存在する。【００６２】
撮像領域１０４ｃでの光軸１０５ｃの位置は、撮像領域１０４ａでの光軸１０５ａの位置に対してＹ軸の負方向に約０．５画素ずれている。被写体像１１４ｃは、光軸１０５ｃからＸ軸の負方向に（数２）で求めた視差Ｓｘ離れた位置に結像される。【００６３】
撮像領域１０４ｂでの光軸１０５ｂの位置は、撮像領域１０４ａでの光軸１０５ａの位置に対してＸ軸の負方向に約０．５画素ずれている。被写体像１１４ｂは、光軸１０５ｂからＹ軸の負方向に（数３）で求めた視差Ｓｙ離れた位置に結像される。【００６４】
撮像素子１０３としては、図４では説明を容易にするため実際より少ない画素数の撮像素子を示しているが、実際には２００万画素などの高画素数の撮像素子が用いられる。従って、光軸１０５ａと光軸１０５ｃとのＹ軸方向のずれ量は非常に小さいため、撮像領域１０４ｃでの被写体像１１４ｃのＹ軸方向における視差は無視できる。同様に、光軸１０５ａと光軸１０５ｂとのＸ軸方向のずれ量も非常に小さいため、撮像領域１０４ｂでの被写体像１１４ｂのＸ軸方向における視差は無視できる。【００６５】
したがって、被写体距離Ａ０が変化すると、被写体像１１４ｃは、撮像領域１０４ｃにおいてＸ軸方向に移動する。この時、被写体像１１４ｃは、光軸１０５ａに対してＹ軸方向に常に約０．５画素ずれた状態を保ってＸ軸方向に移動する。【００６６】
また、被写体距離Ａ０が変化すると、被写体像１１４ｂは、撮像領域１０４ｂにおいてＹ軸方向に移動する。この時、被写体像１１４ｂは、光軸１０５ａに対してＸ軸方向に常に約０．５画素ずれた状態を保ってＹ軸方向に移動する。【００６７】
つまり、撮像領域１０４ｃ上の被写体像１１４ｃは、被写体距離によらず撮像領域１０４ａ上の被写体像１１４ａに対して常にＹ軸の負方向に約０．５画素ずれており、撮像領域１０４ｂ上の被写体像１１４ｂは、被写体距離によらず撮像領域１０４ａ上の被写体像１１４ａに対して常にＸ軸の負方向に約０．５画素ずれている。【００６８】
視差による画像のずれは算出した視差Ｓｘ，Ｓｙを用いて以下のようにして行う。図５に示すように、撮像領域１０４ｃをＸ軸方向にＳｘだけ補正する。また、撮像領域１０４ｂをＹ軸方向にＳｙだけ補正する。更に、撮像領域１０４ｄをＸ軸方向にＳｘ、Ｙ軸方向にＳｙだけそれぞれ補正する。なお、各撮像領域の座標値は整数値のみであるので、補正量Ｓｘ、Ｓｙが小数点以下の値を含む時は四捨五入などの処理を行う。【００６９】
各撮像領域１０４ａ〜１０４ｄはｍ×ｎ（縦×横）画素を有し、撮像領域１０４ａの各画素の座標をａ（ｘ、ｙ）、撮像領域１０４ｂの各画素の座標をｂ（ｘ、ｙ）、撮像領域１０４ｃの各画素の座標をｃ（ｘ、ｙ）、撮像領域１０４ｄの各画素の座標をｄ（ｘ、ｙ）、但し、ｘ＝１、２、・・・、ｍ、ｙ＝１、２、・・・、ｎとする。撮像領域１０４ｃの画素ｃ（ｘ、ｙ）は、撮像領域１０４ａの画素ａ（ｘ、ｙ）に対して、Ｙ軸の正方向に約０．５画素だけずれた位置にある被写体像を受光する。また、撮像領域１０４ｂの画素ｂ（ｘ、ｙ）は、撮像領域１０４ａの画素ａ（ｘ、ｙ）に対して、Ｘ軸の正方向に約０．５画素だけずれた位置にある被写体像を受光する。また、撮像領域１０４ｄの画素ｄ（ｘ、ｙ）が受光する被写体像の、撮像領域１０４ａの画素ａ（ｘ、ｙ）が受光する被写体像に対するＸ軸方向及びＹ軸方向におけるずれ量は、被写体距離の変化に応じて変化する。【００７０】
したがって、Ｘ軸方向及びＹ軸方向にそれぞれ約０．５画素ずつずれたｍ×ｎの画素数を有する画像から、２・ｍ×２・ｎ（縦×横）の画素数を有する高解像度の合成画像ｈを作成するためには、図６Ａに示すように、合成画像の座標ｈ（２・ｘ−１，２・ｙ−１）には画素ａ（ｘ，ｙ）の輝度値を代入し、座標ｈ（２・ｘ−１，２・ｙ）には画素ｃ（ｘ，ｙ）の輝度値を代入し、座標ｈ（２・ｘ，２・ｙ−１）には画素ｂ（ｘ，ｙ）の輝度値を代入し、座標ｈ（２・ｘ，２・ｙ）にはその４近傍の画素の輝度値の平均値を代入する（ｘ＝１，２，・・・，ｍ、ｙ＝１，２，・・・，ｎ）。ここで、座標ｈ（２・ｘ，２・ｙ）にはその４近傍の画素の輝度値の平均値ではなく、その近傍の画素の輝度値を用いて他の補間方法により算出した値を代入してもよい。【００７１】
なお、被写体距離によっては、撮像領域１０４ｄの画素ｄ（ｘ，ｙ）が、撮像領域１０４ａの画素ａ（ｘ，ｙ）に対して、Ｘ軸の正方向に約０．５画素、Ｙ軸の正方向に約０．５画素ずれた被写体像１１４を受光している場合がある。この場合は、図６Ｂに示すように、合成画像の座標ｈ（２・ｘ−１，２・ｙ−１）には画素ａ（ｘ，ｙ）の輝度値を代入し、、座標ｈ（２・ｘ−１，２・ｙ）には画素ｃ（ｘ，ｙ）の輝度値を代入し、座標ｈ（２・ｘ，２・ｙ−１）には画素ｂ（ｘ，ｙ）の輝度値を代入し、座標ｈ（２・ｘ，２・ｙ）には画素ｄ（ｘ，ｙ）の輝度値を代入する。【００７２】
以上のようにして、ｍ×ｎの画素数を有し、且つ互いにずれた撮像領域１０４ａ、１０４ｂ、１０４ｃ、１０４ｄから得た４つの画像から、２・ｍ×２・ｎの画素数を有する合成画像ｈを作成することができる。つまり、撮像領域１０４ａ、１０４ｂ、１０４ｃ、１０４ｄからそれぞれ得られる図７Ａに示すｍ×ｎの画素数を有するの４つの画像を合成することにより、図７Ｂに示す２・ｍ×２・ｎの画素数を有する高解像度の画像を得ることができる。【００７３】
被写体が白黒の場合は、上記の方法で高解像度の合成画像を作成することができる。しかし、被写体がカラーの場合は、赤、緑、青の３つの合成画像を作成する。赤の色情報を持つ合成画像をｈｒ、緑の色情報を持つ合成画像をｈｇ、青の合成画像をｈｂとする。画像の局所領域では赤、緑、青の各画像情報間に相関性があるという特性を利用して、合成画像ｈｒ，ｈｇ，ｈｂを作成する。赤及び緑間の画像情報の相関を表す行列ｃ＿ｒｇ、青及び緑間の画像情報の相関を表す行列ｃ＿ｂｇ、青及び赤間の画像情報の相関を表す行列ｃ＿ｂｒを（数５）で算出する。【００７４】
【数５】
2007060847.tif 000007
【００７５】
次に（数５）で求めた各行列にメディアンフィルタを作用させてノイズを除去し、（数６）の行列ｍｅｄｉａｎ＿ｃ＿ｒｇ、ｍｅｄｉａｎ＿ｃ＿ｂｇ、ｍｅｄｉａｎ＿ｃ＿ｂｒを算出する。【００７６】
【数６】
2007060847.tif 000008
【００７７】
次に（数６）で求めた各行列に重み係数を用いたローパスフィルタを作用させ、（数７）のＬＰＦ＿ｃ＿ｒｇ、ＬＰＦ＿ｃ＿ｂｇ、ＬＰＦ＿ｃ＿ｂｒを算出する。【００７８】
【数７】
2007060847.tif 000009
【００７９】
この局所領域での各色の相関を表すＬＰＦ＿ｃ＿ｒｇ、ＬＰＦ＿ｃ＿ｂｇ、ＬＰＦ＿ｃ＿ｂｒを用いて、赤の色情報を持つ合成画像ｈｒ、緑の色情報を持つ合成画像ｈｇ、青の合成画像ｈｂを作成する。【００８０】
赤の色情報を持つ合成画像ｈｒは（数８）を用いて作成する。【００８１】
【数８】
2007060847.tif 000010
【００８２】
緑の色情報を持つ合成画像ｈｇは（数９）を用いて作成する。【００８３】
【数９】
2007060847.tif 000011
【００８４】
青の色情報を持つ合成画像ｈｂは（数１０）を用いて作成する。【００８５】
【数１０】
2007060847.tif 000012
【００８６】
算出した赤、緑、青の合成画像ｈｒ、ｈｇ、ｈｂをカラー合成することにより、２・ｍ×２・ｎの画素数を有する高解像度なカラー合成画像ｈ＿ｒｇｂを得る。なお、撮像素子１０３に結像される被写体像がレンズ１０２ａ〜１０２ｄにより反転する特性を考慮し、図８に示すようにカラー合成画像ｈ＿ｒｇｂの画素配列をＹ軸方向に反転する。【００８７】
次に、図１の撮像装置において、４つのレンズから投影された４つの被写体像間のずれ量が、理想的なずれ量である０．５画素から外れている場合であっても、常に高解像度で色むらが少ない画像を出力できる原理について説明する。【００８８】
図１の撮像領域１０４ａ〜１０４ｄにおける光軸１０５ａ〜１０５ｄのずれ量は、レンズ１０２ａ〜１０２ｄの成型誤差や実装の際の実装誤差などに起因して、各画素ずらし方向において理想的なずれ量である０．５画素でない場合が多い。図９に撮像領域１０４ａ〜１０４ｃにおける被写体像１１４ａ〜１１４ｃ及び光軸１０５ａ〜１０５ｃとこれらの近傍の画素を拡大して示す。図９は視差補正処理後の被写体像１１４ａ〜１１４ｃと光軸１０５ａ〜１０５ｃとの関係を示している。【００８９】
撮像領域１０４ｃの被写体像１１４ｃは、撮像領域１０４ａの被写体像１１４ａに対してＹ軸の負方向に０．６画素ずれており、Ｘ軸の負方向に０．１画素ずれている。被写体距離が変化すると、被写体像１１４ｃは、被写体像１１４ａに対するＹ軸方向のずれ量をほぼ０．６画素に保ったままＸ軸方向に移動する。この時、被写体像１１４ｃの被写体像１１４ａに対するＹ軸方向のずれ量が０．２５画素から０．７５画素の範囲内であれば、高解像度の合成画像を得ることができる。撮像領域１０４ｃの被写体像１１４ｃと撮像領域１０４ａの被写体像１１４ａとのＸ軸方向のずれ量が±０．５画素の範囲内に入るように視差補正処理される。【００９０】
撮像領域１０４ｂの被写体像１１４ｂは、撮像領域１０４ａの被写体像１１４ａに対してＹ軸の負方向に０．１画素ずれており、Ｘ軸の負方向に０．６画素ずれている。被写体距離が変化すると、被写体像１１４ｂは、被写体像１１４ａに対するＸ軸方向のずれ量をほぼ０．６画素に保ったままＹ軸方向に移動する。この時、被写体像１１４ｂの被写体像１１４ａに対するＸ軸方向のずれ量が０．２５画素から０．７５画素の範囲内であれば、高解像度の合成画像を得ることができる。撮像領域１０４ｂの被写体像１１４ｂと撮像領域１０４ａの被写体像１１４ａとのＹ軸方向のずれ量が±０．５画素の範囲内に入るように視差補正処理される。【００９１】
各被写体像のずれ量が上記の場合において、垂直方向に延びたエッジを持つ被写体を撮影した時の出力画像について述べる。撮像素子１０３上に結像された垂直方向に延びた三本の太線からなる被写体像を図１０Ａに、撮像領域１０４ａに取り込まれた画像の画素配列をＹ軸方向に反転して得られた画像を図１０Ｂに、高解像度のカラー合成画像ｈ＿ｒｇｂを図１０Ｃに示す。図１０Ａ〜図１０Ｃでは、濃淡を線の密度で表現しており、濃い色ほど線の密度を高くし、薄い色ほど線の密度を低くして表現している。【００９２】
図１０Ｃの画像は、図１０Ｂの画像に比べて三本の太線からなる被写体像の識別がより容易であり、より高解像度の画像となっている。しかし、撮像領域１０４ｃ上の被写体像１１４ｃの撮像領域１０４ａ上の被写体像１１４ａに対するＸ軸方向及びＹ軸方向のずれ量が、理想的なずれ量であるＸ軸方向に０画素、Ｙ軸方向に０．５画素から外れていることに起因して、図１０Ｃの画像には色むらが発生している。そこで、被写体像の局所領域でのエッジの方向を検出し、エッジの方向に応じて赤の色情報を持つ合成画像ｈｒ、緑の色情報を持つ合成画像ｈｇ、青の色情報を持つ合成画像ｈｂの合成方法を以下のように変更する。【００９３】
（数１１）は撮像領域１０４ａの各座標でのＹ軸方向に延びるエッジの強さ、つまりＸ軸方向の平均化された微分成分Ｄｙ（ｘ、ｙ）を算出する式である。【００９４】
【数１１】
2007060847.tif 000013
【００９５】
（数１２）は撮像領域１０４ａの各座標でのＸ軸方向に延びるエッジの強さ、つまりＹ軸方向の平均化された微分成分Ｄｘ（ｘ、ｙ）を算出する式である。【００９６】
【数１２】
2007060847.tif 000014
【００９７】
（数１３）は撮像領域１０４ａの各座標での右上がり斜め方向に延びるエッジの強さ、つまり左上がり斜め方向の平均化された微分成分Ｄｓｒ（ｘ、ｙ）を算出する式である。【００９８】
【数１３】
2007060847.tif 000015
【００９９】
（数１４）は撮像領域１０４ａの各座標での左上がり斜め方向に延びるエッジの強さ、つまり右上がり斜め方向の平均化された微分成分Ｄｓｌ（ｘ、ｙ）を算出する式である。【０１００】
【数１４】
2007060847.tif 000016
【０１０１】
算出したＤｘ（ｘ、ｙ）、Ｄｙ（ｘ、ｙ）、Ｄｓｒ（ｘ、ｙ）、Ｄｓｌ（ｘ、ｙ）の各絶対値のうち、Ｄｘ（ｘ、ｙ）の絶対値が最大となる場合は、赤の色情報を持つ合成画像ｈｒは（数１５）を用いて作成する。【０１０２】
【数１５】
2007060847.tif 000017
【０１０３】
緑の色情報を持つ合成画像ｈｇは（数１６）を用いて作成する。【０１０４】
【数１６】
2007060847.tif 000018
【０１０５】
青の色情報を持つ合成画像ｈｂは（数１７）を用いて作成する。【０１０６】
【数１７】
2007060847.tif 000019
【０１０７】
Ｄｙ（ｘ、ｙ）の絶対値が最大となる場合は、赤の色情報を持つ合成画像ｈｒは（数１８）を用いて作成する。【０１０８】
【数１８】
2007060847.tif 000020
【０１０９】
緑の色情報を持つ合成画像ｈｇは（数１９）を用いて作成する。【０１１０】
【数１９】
2007060847.tif 000021
【０１１１】
青の色情報を持つ合成画像ｈｂは（数２０）を用いて作成する。【０１１２】
【数２０】
2007060847.tif 000022
【０１１３】
Ｄｓｒ（ｘ、ｙ）の絶対値が最大となる場合は、赤の色情報を持つ合成画像ｈｒは（数２１）を用いて作成する。【０１１４】
【数２１】
2007060847.tif 000023
【０１１５】
緑の色情報を持つ合成画像ｈｇは（数２２）を用いて作成する。【０１１６】
【数２２】
2007060847.tif 000024
【０１１７】
青の色情報を持つ合成画像ｈｂは（数２３）を用いて作成する。【０１１８】
【数２３】
2007060847.tif 000025
【０１１９】
Ｄｓｌ（ｘ、ｙ）の絶対値が最大となる場合は、赤の色情報を持つ合成画像ｈｒは（数２４）を用いて作成する。【０１２０】
【数２４】
2007060847.tif 000026
【０１２１】
緑の色情報を持つ合成画像ｈｇは（数２５）を用いて作成する。【０１２２】
【数２５】
2007060847.tif 000027
【０１２３】
青の色情報を持つ合成画像ｈｂは（数２６）を用いて作成する。【０１２４】
【数２６】
2007060847.tif 000028
【０１２５】
図１０Ａの被写体像はＹ軸方向に延びるエッジであるため、（数１８）から（数２０）を用いて合成画像ｈｒ、ｈｇ、ｈｂが作成される。算出した赤、緑、青の合成画像ｈｒ、ｈｇ、ｈｂを合成することにより、図１０Ｄに示すように、図１０Ｃの画像に発生していた色むらが無くなり、２・ｍ×２・ｎの画素数を有する高解像度の色むらの無いカラー画像ｈ＿ｒｇｂを得る。図１０Ｄでは、濃淡を線の密度で表現しており、濃い色ほど線の密度を高くし、薄い色ほど線の密度を低くして表現している。【０１２６】
図１０Ｄのように色むらの低減された画像が得られる理由は以下の通りである。図１０ＡのようにＹ軸方向に延びたエッジを有する局所領域では、Ｙ軸方向に隣り合う画素の輝度値の相関性は高いため、Ｙ軸方向に隣り合う画素の輝度値を同一の値にしても出力画像に対する影響は小さい。したがって、（数１８）から（数２０）に示すように、Ｙ軸方向に隣り合う画素に同一の値を代入する。これにより、Ｙ軸方向に延びたエッジ画像の直線性が再現され、図１０Ｄのように色むらのない画像が得られる。【０１２７】
また、図示していないが、Ｘ軸方向に延びたエッジを有する局所領域では、Ｘ軸方向に隣り合う画素の輝度値の相関性は高いため、Ｘ軸方向に隣り合う画素の輝度値を同一の値にしても出力画像に対する影響は小さい。したがって、（数１５）から（数１７）に示すように、Ｘ軸方向に隣り合う画素に同一の値を代入する。これにより、Ｘ軸方向に延びたエッジ画像の直線性が再現され、色むらがない画像が得られる。【０１２８】
また、図示していないが、右上がり斜め方向に延びたエッジを有する局所領域では、右上がり斜め方向に隣り合う画素の輝度値の相関性は高いため、右上がり斜め方向に隣り合う画素の輝度値を同一の値にしても出力画像に対する影響は小さい。したがって、（数２１）から（数２３）に示すように、右上がり斜め方向に隣り合う画素に同一の値を代入する。これにより、右上がり斜め方向に延びたエッジ画像の直線性が再現され、色むらがない画像が得られる。【０１２９】
また、図示していないが、左上がり斜め方向に延びたエッジを有する局所領域では、左上がり斜め方向に隣り合う画素の輝度値の相関性は高いため、左上がり斜め方向に隣り合う画素の輝度値を同一の値にしても出力画像に対する影響は小さい。したがって、（数２４）から（数２６）に示すように、左上がり斜め方向に隣り合う画素に同一の値を代入する。これにより、左上がり斜め方向に延びたエッジ画像の直線性が再現され、色むらがない画像が得られる。【０１３０】
なお、撮像素子１０３に結像される被写体像はレンズ１０２ａ〜１０２ｄにより反転する特性を考慮し、図８に示すようにカラー合成画像ｈ＿ｒｇｂの画素配列をＹ軸方向に反転している。上記の右上がり斜め方向、左上がり斜め方向は反転後の画像における方向を意味する。【０１３１】
以上のような本実施の形態の複眼方式の撮像装置によれば、４つの単レンズからそれぞれ投影された４つの被写体像間のずれ量が、理想的なずれ量である０．５画素から外れている場合であっても、被写体距離によらず常に高解像度で色むらが少ないカラー画像を出力することができる。【０１３２】
なお、例えば図１１に示すように、被写体の濃淡が変化する場合は、（数１５）から（数２６）を、補間式を含む以下の（数２７）から（数３８）に変更することが好ましい。これにより、４つの単レンズからそれぞれ投影された４つの被写体像間のずれ量が、理想的なずれ量である０．５画素から外れている場合であっても、被写体距離によらず常に高解像度で、色むらが少ないカラー画像を出力することができ、且つ、濃淡の変化を滑らかに表現することができる。図１１では、濃淡を線の密度で表現しており、濃い色ほど線の密度を高くし、薄い色ほど線の密度を低くして表現している。【０１３３】
合成画像ｈｒ、ｈｇ、ｈｂの画素の輝度値として、（数１５）から（数２６）では、ある画素に、この画素に対してエッジ方向において一方の隣に位置する画素の輝度値を代入したが、（数２７）から（数３８）では、この画素に対してエッジ方向において両隣に位置する２つの画素の輝度値を線形補間して得られた値を代入している。なお、補間方法としては、線形補間に限られず、両隣に位置する２つの画素の輝度値を用いた３次補間などを用いても良い。【０１３４】
算出したＤｘ（ｘ、ｙ）、Ｄｙ（ｘ、ｙ）、Ｄｓｒ（ｘ、ｙ）、Ｄｓｌ（ｘ、ｙ）の各絶対値のうち、Ｄｘ（ｘ、ｙ）の絶対値が最大となる場合は、合成画像ｈｒ、ｈｇ、ｈｂは（数２７）、（数２８）、（数２９）を用いて作成する。【０１３５】
【数２７】
2007060847.tif 000029
【０１３６】
【数２８】
2007060847.tif 000030
【０１３７】
【数２９】
2007060847.tif 000031
【０１３８】
Ｄｙ（ｘ、ｙ）の絶対値が最大となる場合は、合成画像ｈｒ、ｈｇ、ｈｂは（数３０）、（数３１）、（数３２）を用いて作成する。【０１３９】
【数３０】
2007060847.tif 000032
【０１４０】
【数３１】
2007060847.tif 000033
【０１４１】
【数３２】
2007060847.tif 000034
【０１４２】
Ｄｓｒ（ｘ、ｙ）の絶対値が最大となる場合は、合成画像ｈｒ、ｈｇ、ｈｂは（数３３）、（数３４）、（数３５）を用いて作成する。【０１４３】
【数３３】
2007060847.tif 000035
【０１４４】
【数３４】
2007060847.tif 000036
【０１４５】
【数３５】
2007060847.tif 000037
【０１４６】
Ｄｓｌ（ｘ、ｙ）の絶対値が最大となる場合は、合成画像ｈｒ、ｈｇ、ｈｂは（数３６）、（数３７）、（数３８）を用いて作成する。【０１４７】
【数３６】
2007060847.tif 000038
【０１４８】
【数３７】
2007060847.tif 000039
【０１４９】
【数３８】
2007060847.tif 000040
【０１５０】
なお、被写体距離によっては、撮像領域１０４ｄの画素ｄ（ｘ、ｙ）が、撮像領域１０４ａの画素ａ（ｘ、ｙ）に対して、Ｘ軸の正方向に約０．５画素、Ｙ軸の正方向に約０．５画素ずれた被写体像１１４を受光している場合がある。この場合は、（数２７）から（数３２）に代えて（数３９）から（数４４）を用いることが好ましい。これにより、特定の被写体距離では緑の色再現性を向上させることができるので、より高解像度の輝度情報を得ることが可能となり、視覚的により高解像度の画像を得ることが可能となる。【０１５１】
算出したＤｘ（ｘ、ｙ）、Ｄｙ（ｘ、ｙ）、Ｄｓｒ（ｘ、ｙ）、Ｄｓｌ（ｘ、ｙ）の各絶対値のうち、Ｄｘ（ｘ、ｙ）の絶対値が最大となる場合は、合成画像ｈｒ、ｈｇ、ｈｂは（数３９）、（数４０）、（数４１）を用いて作成する。【０１５２】
【数３９】
2007060847.tif 000041
【０１５３】
【数４０】
2007060847.tif 000042
【０１５４】
【数４１】
2007060847.tif 000043
【０１５５】
Ｄｙ（ｘ、ｙ）の絶対値が最大となる場合は、合成画像ｈｒ、ｈｇ、ｈｂは（数４２）、（数４３）、（数４４）を用いて作成する。【０１５６】
【数４２】
2007060847.tif 000044
【０１５７】
【数４３】
2007060847.tif 000045
【０１５８】
【数４４】
2007060847.tif 000046
【０１５９】
被写体に曲線が含まれる場合は、合成されたカラー画像ｈ＿ｒｇｂでその曲線が滑らかでない場合がある。また、局所領域での各色の画像情報間の相関性を利用した画像合成方法の影響により色むらが生じる場合がある。このような場合は、合成画像ｈｒ、ｈｇ、ｈｂに（数４５）に示すような重み付き平滑フィルタ及び（数４６）に示すようなエッジ強調フィルタを作用させて得られる合成画像ＥＤＧＥ＿ｈｒ、ＥＤＧＥ＿ｈｇ、ＥＤＧＥ＿ｈｂからカラー画像ｈ＿ｒｇｂを合成することが好ましい。これにより、４つの単レンズからそれぞれ投影された４つの被写体像間のずれ量が、理想的なずれ量である０．５画素から外れている場合であっても、被写体距離によらず常に高解像度で色むらが少ないカラー画像を出力することができる。更に、濃淡の変化を滑らかに表現でき、且つ、被写体に曲線が含まれる場合であってもその曲線を滑らかな曲線として表現することができ、且つ、局所領域での各色の画像情報間の相関性を利用した画像合成方法の影響により生じた色むらを軽減することができる。【０１６０】
【数４５】
2007060847.tif 000047
【０１６１】
【数４６】
2007060847.tif 000048
【０１６２】
画像の端では、重み付き平滑フィルタの計算などができない場合があるが、その場合はそのフィルタを作用させないなど適切な処理をする。【０１６３】
被写体距離が無限遠と実質的に同等であり、且つ、図１２に示すように、撮像領域１０４ｃでの光軸１０５ｃの位置が撮像領域１０４ａでの光軸１０５ａの位置に対してＸ軸方向に約０．５画素ずれており、撮像領域１０４ｂでの光軸１０５ｂの位置が撮像領域１０４ａでの光軸１０５ａの位置に対してＹ軸方向に約０．５画素ずれている場合、上記と同様の考え方に基づいて、被写体のエッジ方向に応じて合成画像ｈｒ，ｈｇ，ｈｂの合成方法を変更し、重み付き平滑フィルタ及びエッジ強調フィルタを作用させることができる。これにより、４つの単レンズからそれぞれ投影された４つの被写体像間のずれ量が、理想的なずれ量である０．５画素から外れている場合であっても、常に高解像度で色むらが少ないカラー画像を出力することができる。更に、濃淡の変化を滑らかに表現でき、且つ、被写体に曲線が含まれる場合であってもその曲線を滑らかな曲線として表現することができ、且つ、局所領域での各色の画像情報間の相関性を利用した画像合成方法の影響により生じた色むらを軽減することができる。【０１６４】
また、視差により、撮像領域１０４ｃにおける被写体像の位置が撮像領域１０４ａにおける被写体像の位置に対してＸ軸方向に約０．５画素ずれており、且つ、撮像領域１０４ｂにおける被写体像の位置が撮像領域１０４ａにおける被写体像の位置に対してＹ軸方向に約０．５画素ずれている場合、上記と同様の考え方に基づいて、被写体のエッジ方向に応じて合成画像ｈｒ，ｈｇ，ｈｂの合成方法を変更し、重み付き平滑フィルタ及びエッジ強調フィルタを作用させることができる。これにより、４つの単レンズからそれぞれ投影された４つの被写体像間のずれ量が、理想的なずれ量である０．５画素から外れている場合であっても、常に高解像度で色むらが少ないカラー画像を出力することができる。更に、濃淡の変化を滑らかに表現でき、且つ、被写体に曲線が含まれる場合であってもその曲線を滑らかな曲線として表現することができ、且つ、局所領域での各色の画像情報間の相関性を利用した画像合成方法の影響により生じた色むらを軽減することができる。【０１６５】
図１の４つのレンズ１０２ａ〜１０２ｄがレンズアレイ上に一体成型されている場合、温度変化によりレンズの光軸１０５ａ〜１０５ｄの位置が移動する。しかしながら、レンズアレイは等方的に膨張・収縮するため、レンズの光軸１０５ａ〜１０５ｄの位置の移動方向は、被写体距離が変化した場合に視差により被写体像が移動する方向と同じである。従って、温度変化による影響は視差の補正の処理に吸収される。よって、本実施の形態によれば、温度が変化しても、常に高解像度で色むらが少ないカラー画像を出力することができる。更に、濃淡の変化を滑らかにでき、且つ、被写体に曲線が含まれる場合であってもその曲線を滑らかな曲線として表現することができ、且つ、局所領域での各色の画像情報間の相関性を利用した画像合成方法の影響により生じた色むらを軽減することができる。【０１６６】
上記の実施の形態は一例であり、本発明はこれに限定されない。例えば、異なる色の画像情報間の相関性を利用した画像合成方法や、被写体のエッジ方向に応じた画像の合成方法の選択、重み付き平滑フィルタやエッジ強調フィルタにおける重み係数の値などは、上記の例に限定されず、同様の考え方に基づく別の方法や値を用いても良く、その場合も上記と同様の効果を得ることができる。【０１６７】
図１の撮像装置において、４つの単レンズからそれぞれ投影された４つの被写体像間のずれ量が、理想的なずれ量である０．５画素から外れている場合、演算時間やメモリ量を削減する目的でエッジ方向検出部１０８を除去し、（数８）から（数１０）を用いて赤、緑、青の合成画像ｈｒ、ｈｇ、ｈｂを算出しても良い。この場合、合成画像ｈｒ、ｈｇ、ｈｂに図１の平滑フィルタ部１０９及びエッジ強調部１１０を作用させることにより、４つの被写体像間のずれ量が、理想的なずれ量である０．５画素から外れていることに起因する色むらを低減することができ、被写体距離が変化しても、常に高解像度で色むらが少ないカラー画像を出力することができる。更に、局所領域での各色の画像情報間の相関性を利用した画像合成方法の影響により生じた色むらも軽減することができる。【０１６８】
本実施の形態の撮像装置において、カラーフィルタ１１３ａ，１１３ｂ，１１３ｃ，１１３ｄを除去しても良い。この場合、（数５）を下記（数４７）に変更することにより、４つの単レンズからそれぞれ投影された４つの被写体像間のずれ量が、理想的なずれ量である０．５画素から外れている場合であっても、被写体距離や温度変化によらず常に高解像度で色むらが無い白黒画像を出力することができる。更に、濃淡の変化を滑らかに表現でき、且つ、被写体に曲線が含まれる場合であってもその曲線を滑らかな曲線として表現することができる、白黒映像を出力する薄型の撮像装置を実現できる。【０１６９】
【数４７】
2007060847.tif 000049
【０１７０】
本実施の形態では、撮像領域１０４ｃに対する光軸１０５ｃの相対的位置関係が、撮像領域１０４ａに対する光軸１０５ａの相対的位置関係に対して、Ｙ軸方向に約０．５画素ずれていれば良い（ここで、「約０．５画素」とは、後述するように０．２５画素から０．７５画素の範囲を意味する）。図１はこの条件を満足する。また、図１３Ａは、撮像素子１０３上では光軸１０５ｃは光軸１０５ａに対してＹ軸方向に２．５画素ずれているが、撮像領域１０４ｃに対する光軸１０５ｃの相対的位置関係は、撮像領域１０４ａに対する光軸１０５ａの相対的位置関係に対して、Ｙ軸方向に約０．５画素ずれているので、上記の条件を満足している。【０１７１】
撮像領域１０４ａ〜１０４ｄは、図１及び図１３Ａに示すように共通する１つの撮像素子１０３上に形成されている必要はなく、図１３Ｂに示すように別個の４つの撮像素子１０３ａ〜１０３ｄ上にそれぞれ形成されていても良い。但し、撮像領域１０４ａ〜１０４ｄのそれぞれの画素の水平方向及び垂直方向の配列方向が撮像領域１０４ａ〜１０４ｄ間で互いにほぼ同一である必要がある。この場合も、撮像領域１０４ｃに対する光軸１０５ｃの相対的位置関係が、撮像領域１０４ａに対する光軸１０５ａの相対的位置関係に対して、Ｙ軸方向に約０．５画素ずれているという上記の条件を満足していれば良い。【０１７２】
但し、上記の条件を満足している場合であっても、光軸１０５ｃの光軸１０５ａに対するＹ軸方向のずれ量が大きすぎると、被写体距離が短い場合（即ち、近距離撮影の場合）には問題が生じる可能性がある。なぜなら、被写体距離が短い場合、光軸１０５ｃの光軸１０５ａに対するＹ軸方向のずれに起因して発生するＹ軸方向の視差が無視できなくなるからである。従って、被写体距離の下限値が分かっている場合には、光軸１０５ｃの光軸１０５ａに対するＹ軸方向のずれ量Ｇｓは（数４８）を満たすことが好ましい。ここで、Ａ１は被写体距離の下限値、ｆは単レンズ１０２ａ〜１０２ｄと撮像素子１０３との間の距離（合焦点距離）、ｐは撮像素子１０３の画素ピッチである。【０１７３】
また、撮像領域１０４ｂに対する光軸１０５ｂの相対的位置関係は、撮像領域１０４ａに対する光軸１０５ａの相対的位置関係に対して、Ｘ軸方向に約０．５画素ずれていればば良い（ここで、「約０．５画素」とは、後述するように０．２５画素から０．７５画素の範囲を意味する）。図１はこの条件を満足する。また、図１３Ａは、撮像素子１０３上では光軸１０５ｂは光軸１０５ａに対してＸ軸方向に１．５画素ずれているが、撮像領域１０４ｂに対する光軸１０５ｂの相対的位置関係は、撮像領域１０４ａに対する光軸１０５ａの相対的位置関係に対して、Ｘ軸方向に約０．５画素ずれているので、上記の条件を満足している。【０１７４】
撮像領域１０４ａ〜１０４ｄが、図１３Ｂに示すように別個の４つの撮像素子１０３ａ〜１０３ｄ上にそれぞれ形成されていても良い。但し、撮像領域１０４ａ〜１０４ｄのそれぞれの画素の水平方向及び垂直方向の配列方向が撮像領域１０４ａ〜１０４ｄ間で互いにほぼ同一である必要がある。この場合も、撮像領域１０４ｂに対する光軸１０５ｂの相対的位置関係が、撮像領域１０４ａに対する光軸１０５ａの相対的位置関係に対して、Ｘ軸方向に約０．５画素ずれているという上記の条件を満足していれば良い。【０１７５】
但し、上記の条件を満足している場合であっても、光軸１０５ｂの光軸１０５ａに対するＸ軸方向のずれ量が大きすぎると、被写体距離が短い場合（即ち、近距離撮影の場合）には問題が生じる可能性がある。なぜなら、被写体距離が短い場合、光軸１０５ｂの光軸１０５ａに対するＸ軸方向のずれに起因して発生するＸ軸方向の視差が無視できなくなるからである。従って、被写体距離の下限値が分かっている場合には、光軸１０ｂｃの光軸１０５ａに対するＸ軸方向のずれ量Ｇｓは（数４８）を満たすことが好ましい。【０１７６】
【数４８】
2007060847.tif 000050
【０１７７】
（数４８）を満たしていれば、撮像領域１０４ｃに対する光軸１０５ｃの相対的位置関係が、撮像領域１０４ａに対する光軸１０５ａの相対的位置関係に対して、Ｙ軸方向に０．５画素ずれているとき、撮像領域１０４ｃでの被写体像と撮像領域１０４ａでの被写体像とのＹ軸方向のずれ量は、被写体距離によらず常に０．２５画素以上０．７５画素以下となる。【０１７８】
また、（数４８）を満たしていれば、撮像領域１０４ｂに対する光軸１０５ｂの相対的位置関係が、撮像領域１０４ａに対する光軸１０５ａの相対的位置関係に対して、Ｘ軸方向に０．５画素ずれているとき、撮像領域１０４ｂでの被写体像と撮像領域１０４ａでの被写体像とのＸ軸方向のずれ量は、被写体距離によらず常に０．２５画素以上０．７５画素以下となる。【０１７９】
つまり、（数４８）を満たしていれば、被写体距離が変化しても、常に高解像度で、色むらが少ないカラー及び白黒画像を出力することができる。更に、濃淡の変化を滑らかにでき、且つ、被写体に曲線が含まれる場合であってもその曲線を滑らかな曲線として表現することができ、且つ、局所領域での各色の画像情報間の相関性を利用した画像合成方法の影響により生じた色むらを軽減することができる。【０１８０】
本発明において、レンズ１０２ａ〜１０２ｄは同一平面状に形成されることが望ましいが、成型誤差等により厳密に同一平面状に形成されていなくても、本発明の撮像装置を実現可能であることは言うまでも無い。【０１８１】
本発明では、撮像領域間での被写体像の位置のずれ量が約０．５画素であると、画像合成により高解像度画像を得ることができる。ここで、「約０．５画素」とは０．２５画素以上０．７５画素以下を意味する。これを図１４Ａ〜図１４Ｃを用いて説明する。【０１８２】
撮像領域１０４ｂ上の被写体像と撮像領域１０４ａ上の被写体像とがＸ軸方向に０．５画素ずれており、且つ、Ｙ軸方向に０画素ずれている場合に、撮像領域１０４ｂから得られる画像と撮像領域１０４ａから得られる画像とを合成した合成画像において、撮像領域１０４ｂ上の被写体像を構成する画素と撮像領域１０４ａ上の被写体像を構成する画素とのＸ軸方向の１ライン上での位置関係を図１４Ａに示す。内側が白の円は撮像領域１０４ａ上の被写体像を構成する画素２０１、内側にハッチングを施した円は撮像領域１０４ｂ上の被写体像を構成する画素２０２である。画素２０１のＸ軸方向のピッチ及び画素２０２のＸ軸方向のピッチはいずれもｐである。画素２０１と画素２０２の間隔は０．５ｐである。したがって、合成画像の見かけ上のＸ軸方向画素ピッチは０．５ｐとなり、サンプリング周波数が見かけ上２倍になりＸ軸方向の高解像度化が可能となる。【０１８３】
次に、図１４Ｂ及び図１４Ｃに、撮像領域１０４ｂ上の被写体像と撮像領域１０４ａ上の被写体像とがＸ軸方向にα画素（０．５＜α＜１）ずれており、且つ、Ｙ軸方向に０画素ずれている場合に、撮像領域１０４ｂから得られる画像と撮像領域１０４ａから得られる画像とを合成した合成画像において、撮像領域１０４ｂ上の被写体像を構成する画素２０２と撮像領域１０４ａ上の被写体像を構成する画素２０１とのＸ軸方向の１ライン上での位置関係を示す。画素２０１のＸ軸方向のピッチ及び画素２０２のＸ軸方向のピッチはいずれもｐである。画素２０１と画素２０２の間隔は、長い方でα・ｐ、短い方で（１−α）・ｐである。この場合、長い方の画素ピッチが見かけ上α・ｐとなることから、画素ピッチがｐである画像のサンプリング周波数をｆｓとすると、図１４Ｂ及び図１４Ｃの画像の見かけ上のサンプリング周波数はｆｓ／αとなる。サンプリング周波数がｆｓである画像を肉眼にて認識できる程度に高解像度化するためには、サンプリング周波数を４／３・ｆｓ以上に向上させることが好ましいことを、本発明者らは実験により確認している。従って、α＝０．７５である必要がある。即ち、図１４Ｂ及び図１４Ｃにおいて、画素２０１と画素２０２の間隔は、長い方で０．７５ｐ、短い方で０．２５ｐである必要がある。【０１８４】
上記の理由により、高解像度化された合成画像を得るためには、撮像領域間での被写体像の位置のずれ量は０．２５画素以上０．７５画素以下であることが好ましく、本発明ではこの範囲を「約０．５画素」と表現している。上記の説明は、Ｘ軸方向における高解像度化を説明したが、Ｙ軸方向についても同様に適用されることはいうまでもない。【０１８５】
本発明の撮像装置の量産時において、撮像領域１０４ｃ上の被写体像を撮像領域１０４ａ上の被写体像に対してＹ軸方向に約０．５画素ずらし、且つ、撮像領域１０４ｂ上の被写体像を撮像領域１０４ａ上の被写体像に対してＸ軸方向に約０．５画素ずらすためには、例えば、レンズ１０２ａ〜１０２ｄを精密に成型加工したり、あるいは、レンズ１０２ａ〜１０２ｄ及び撮像素子１０３の相対的位置を精密に位置決めしたりすることで実現できる。また、レンズ１０２ａ〜１０２ｄと撮像素子１０３とのレンズの光軸１０５ａ〜１０５ｄと平行な軸回りの相対的回転位置を調整することによっても実現できる。【０１８６】
図１の画像処理部１０６の処理はプログラミング言語やＨＤＬ（Ｈａｒｄｗａｒｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｌａｎｇｕａｇｅ）などで記述され、その処理のフローチャートを図１５に示す。ディジタル信号入力ステップ３０１では図１のＡ／Ｄ変換器１１１からのディジタル信号を入力し、エッジ方向検出ステップ３０２では図１のエッジ方向検出部１０８と同様の処理を行い、画像合成ステップ３０３では図１の画像合成部１０７と同様の処理を行い、平滑フィルタステップ３０４では図１の平滑フィルタ部１０９と同様の処理を行い、エッジ強調ステップ３０５では図１のエッジ強調部１１０と同様の処理を行い、画像出力ステップ３０６では処理を行った画像をモニタやメモリ等に出力する。処理のフローチャートは図１５に限定されず、同様の処理が含まれるフローチャートであれば良く、その場合も本発明の効果が得られる。【０１８７】
上記の実施の形態は、本発明を具現化した一例であり、本発明の技術的範囲を限定するものではない。【０１８８】
上記した実施の形態により、本発明は上述した２つ課題を解決でき、以下の効果が得られる。【０１８９】
第１に、被写体と撮像装置との距離が所定の固定値でなく変化する場合、もしくは温度変化等により複数のレンズ間の間隔が変化する場合であっても、画素ずらしのずらし量が変化しないため、アクチュエータなどによる物理的な調整なしで被写体距離や温度の変化にかかわらず常に高解像度の画像を得ることができる。【０１９０】
第２に、レンズ成型誤差、実装誤差、被写体距離、温度などに起因して、異なる撮像領域での被写体像間のずれ量が、理想的なずれ量である０．５画素から外れている場合であっても、色むらの目立たない高画質の画像を得ることができる。【０１９１】
これら第１、第２の効果により、レンズ成型誤差、実装誤差、被写体距離、温度などによらず、薄型で、常に高画素及び高画質な画像を撮像できる撮像装置を得ることが可能となる。【０１９２】
以上に説明した実施の形態は、いずれもあくまでも本発明の技術的内容を明らかにする意図のものであって、本発明はこのような具体例にのみ限定して解釈されるものではなく、その発明の精神と請求の範囲に記載する範囲内でいろいろと変更して実施することができ、本発明を広義に解釈すべきである。
【産業上の利用可能性】
【０１９３】
本発明の撮像装置の利用分野は、特に制限はないが、例えば、携帯機器、車載、医療、監視、ロボット用途などに有用である。
【図１】
2007060847.tif 000051
【図２】
2007060847.tif 000052
【図３】
2007060847.tif 000053
【図４】
2007060847.tif 000054
【図５】
2007060847.tif 000055
【図６Ａ】
2007060847.tif 000056
【図６Ｂ】
2007060847.tif 000057
【図７Ａ】
2007060847.tif 000058
【図７Ｂ】
2007060847.tif 000059
【図８】
2007060847.tif 000060
【図９】
2007060847.tif 000061
【図１０Ａ】
2007060847.tif 000062
【図１０Ｂ】
2007060847.tif 000063
【図１０Ｃ】
2007060847.tif 000064
【図１０Ｄ】
2007060847.tif 000065
【図１１】
2007060847.tif 000066
【図１２】
2007060847.tif 000067
【図１３Ａ】
2007060847.tif 000068
【図１３Ｂ】
2007060847.tif 000069
【図１４Ａ】
2007060847.tif 000070
【図１４Ｂ】
2007060847.tif 000071
【図１４Ｃ】
2007060847.tif 000072
【図１５】
2007060847.tif 000073
【図１６】
2007060847.tif 000074
【図１７Ａ】
2007060847.tif 000075
【図１７Ｂ】
2007060847.tif 000076
【図１８】
2007060847.tif 000077
【図１９Ａ】
2007060847.tif 000078
【図１９Ｂ】
2007060847.tif 000079
【図１９Ｃ】
2007060847.tif 000080
【図１９Ｄ】
2007060847.tif 000081
【手続補正書】
【提出日】平成20年5月9日(2008.5.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
同一平面上に配置された複数のレンズと、
前記複数のレンズによる複数の被写体像をそれぞれ受光する複数の撮像領域とを有し、
前記複数の撮像領域のそれぞれにおける画素配置の垂直ラインの方向及び水平ラインの方向が前記複数の撮像領域間で互いに同一であり、且つ、
前記複数の撮像領域のうち、前記垂直ラインの方向に視差を有する少なくとも一対の撮像領域に受光される少なくとも一対の被写体像が、前記水平ラインの方向に互いに所定量ずれていることを特徴とする撮像装置。
【請求項２】
同一平面上に配置された複数のレンズと、
前記複数のレンズによる複数の被写体像をそれぞれ受光する複数の撮像領域とを有し、
前記複数の撮像領域のそれぞれにおける画素配置の垂直ラインの方向及び水平ラインの方向が前記複数の撮像領域間で互いに同一であり、且つ、
前記複数の撮像領域のうち、前記水平ラインの方向に視差を有する少なくとも一対の撮像領域に受光される少なくとも一対の被写体像が、前記複垂直ラインの方向に互いに所定量ずれていることを特徴とする撮像装置。
【請求項３】
前記所定量が、前記所定量のずれ方向における前記複数の撮像領域の画素ピッチの０．２５倍から０．７５倍の範囲である請求項１または２に記載の撮像装置。
【請求項４】
前記複数のレンズと前記複数の撮像領域との間に複数のカラーフィルタが設けられている請求項１または２に記載の撮像装置。
【請求項５】
前記複数のカラーフィルタのうち、少なくとも２つが同一の分光透過率特性を有する請求項４に記載の撮像装置。
【請求項６】
前記複数の撮像領域からそれぞれ出力される複数の画像データを処理する画像処理手段をさらに有し、
前記画像処理手段は、前記複数の画像データを合成して前記複数の画像データよりも高解像度の合成画像データを作成し出力する画像合成手段を有し、
前記画像合成手段は、前記複数の画像データのうちの少なくとも一つの画像データに含まれる局所領域でのエッジ方向を検出するエッジ方向検出手段を有し、
前記画像合成手段は、前記エッジ方向検出手段が判断したエッジの方向に基づき前記複数の画像データの合成方法を変更する請求項１または２に記載の撮像装置。
【請求項７】
前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記垂直ラインの方向と同一と判断したとき、前記画像合成手段は、前記合成画像データの前記局所領域では垂直方向に同一の画素信号値を連続して配置する請求項６に記載の撮像装置。
【請求項８】
前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記垂直ラインの方向と同一と判断したとき、前記画像合成手段は、前記合成画像データの前記局所領域では、前記複数の画像データのうち前記水平ラインの方向に互いにずれた少なくとも２つの画像データの画素信号値を前記水平ラインの方向に並べて配置し、且つ、前記垂直ラインの方向に隣り合う２つの画素間には、前記２つの画素の画素信号値の補間値を配置する請求項６に記載の撮像装置。
【請求項９】
前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記水平ラインの方向と同一と判断したとき、前記画像合成手段は、前記合成画像データの前記局所領域では水平方向に同一の画素信号値を連続して配置する請求項６に記載の撮像装置。
【請求項１０】
前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記水平ラインの方向と同一と判断したとき、前記画像合成手段は、前記合成画像データの前記局所領域では、前記複数の画像データのうち前記垂直ラインの方向に互いにずれた少なくとも２つの画像データの画素信号値を前記垂直ラインの方向に並べて配置し、且つ、前記水平ラインの方向に隣り合う２つの画素間には、前記２つの画素の画素信号値の補間値を配置する請求項６に記載の撮像装置。
【請求項１１】
前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記垂直ラインの方向に対して傾斜していると判断したとき、前記画像合成手段は、前記合成画像データの前記局所領域では前記エッジ方向に同一の画素信号値を連続して配置する請求項６に記載の撮像装置。
【請求項１２】
前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記垂直ラインの方向に対して傾斜していると判断したとき、前記画像合成手段は、前記合成画像データの前記局所領域では、前記複数の画像データのうち前記水平ラインの方向又は前記垂直ラインの方向に互いにずれた少なくとも２つの画像データの画素信号値と、前記エッジ方向に隣り合う２つの画素の画素信号値の補間値とを配置する請求項６に記載の撮像装置。
【請求項１３】
前記複数の撮像領域からそれぞれ出力される複数の画像データを処理する画像処理手段をさらに有し、
前記画像処理手段は、前記複数の画像データを合成して前記複数の画像データよりも高解像度の合成画像データを作成し出力する画像合成手段を有し、
前記画像合成手段は、前記複数の撮像領域のずれ量に応じて前記複数の画像データの中から合成に使用する複数の画像データを選択する請求項６に記載の撮像装置。
【請求項１４】
前記画像合成手段は、前記ずれ量が所定の値に最も近い画像データを前記複数の画像データの中から選択する請求項１３に記載の撮像装置。
【請求項１５】
前記画像合成手段は、前記ずれ量が所定の範囲に含まれる画像データを前記複数の画像データの中から選択する請求項１３に記載の撮像装置。
【請求項１６】
前記所定の範囲が、前記所定量のずれ方向における前記複数の撮像領域の画素ピッチの０．２５倍から０．７５倍の範囲である請求項１５に記載の撮像装置。
【請求項１７】
前記複数の撮像領域からそれぞれ出力される複数の画像データを処理する画像処理手段をさらに有し、
前記画像処理手段は、
前記複数の画像データを合成して前記複数の画像データよりも高解像度の合成画像データを作成し出力する画像合成手段と、
前記合成画像データもしくは前記合成画像データに処理を施した画像データの各画素の画素信号値をこの画素の近傍の画素の画素信号値に基づき平滑化した平滑化画像データを出力する平滑フィルタ手段と、
前記平滑化画像データもしくは前記平滑化画像データに処理を施した画像データの各画素の画素信号値をこの画素の近傍の画素信号値に基づきエッジを強調したエッジ強調化画像データを出力するエッジ強調フィルタ手段と
を有することを特徴とする請求項１または２に記載の撮像装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯機器、車載、医療、監視、ロボットなどの用途に用いられる、複数の光学系により画像を撮像する複眼方式の撮像装置に関する。
【背景技術】
【０００２】
近年、撮像装置には、高画素化に加えて小型化に対する要求が強くなってきている。小型化するためには、光学レンズの大きさや焦点距離、撮像素子の大きさが障害となることが多い。
【０００３】
一般的に、光の波長が異なれば材料の屈折率が異なるため、焦点距離も異なる。従って、全波長の光の情報が含まれる被写体像を単レンズで撮像面に結像することはできない。その為、通常の撮像装置の光学系では、赤、緑、青の各波長の光を同一の撮像面に結像するため、光軸方向に複数の光学レンズが配置されている。従って、光学長が長くなり、撮像装置が厚くなる。
【０００４】
そこで、撮像装置の小型化、特に薄型化に有効な技術として、焦点距離が短い複数の単レンズを略同一平面上に配置した複眼方式の撮像装置が提案されている（たとえば、特許文献１参照）。複眼方式のカラー画像撮像装置では、青色の波長の光を結像させるレンズと、緑色の波長の光を結像させるレンズと、赤色の波長の光を結像させるレンズとが同一平面上に並べられ、それぞれのレンズの光軸上に撮像素子の撮像面が配置されている。各レンズが受け持つ光の波長域が狭く限定されるため、各レンズの焦点距離を同一にすることにより、複数の単レンズを用いて複数の被写体像を同一平面上に配置された複数の撮像面に結像することが可能となる。従って、撮像装置の厚みを大幅に小さく出来る。
【０００５】
図１６に複眼方式の撮像装置の一例の斜視図を示す。５００はレンズアレイであり、一体成型された４つのレンズ５０１ａ、５０１ｂ、５０１ｃ、５０１ｄを備える。レンズ５０１ａは、赤色の波長の光を結像させるレンズであり、赤色の波長分離フィルタ（カラーフィルタ）が撮像面に貼り付けられた撮像素子の撮像領域５０２ａに被写体像を結像させる。レンズ５０１ｂ，５０１ｄは、緑色の波長の光を結像させるレンズであり、緑色の波長分離フィルタ（カラーフィルタ）が撮像面に貼り付けられた撮像素子の撮像領域５０２ｂ、５０２ｄに被写体像を結像させる。レンズ５０１ｃは、青色の波長の光を結像させるレンズであり、青色の波長分離フィルタ（カラーフィルタ）が撮像面に貼り付けられた撮像素子の撮像領域５０２ｃに被写体像を結像させる。撮像素子は、各撮像領域５０２ａ〜５０２ｄに結像された被写体像の光強度を画像データに変換して出力する。これらの画像データを重ね合わせて合成することによりカラー画像を取得することができる。なお、レンズの個数は４個に限定する必要はない。
【０００６】
このように複眼方式の撮像装置によれば撮像装置を薄くすることができるが、ベイヤー配列されたカラーフィルタを備えた一般的な単眼方式の撮像装置に比べて解像度が劣るという問題がある。その理由を以下に説明する。
【０００７】
この単眼方式の撮像装置では、撮像素子の各画素が所定の色情報を取り出すことができるように、多数の画素の入射面にカラーフィルタがベイヤー配列で設けられている。即ち、縦横方向に配置された多数の画素の配置に対応して、緑色光を透過させるカラーフィルタが市松模様に配置され、残りの画素に、赤色光を透過させるカラーフィルタおよび青色光を透過させるカラーフィルタが交互に配置されている。このようなカラーフィルタの配列は一般にベイヤー配列と呼ばれる。撮像素子の各画素からは、カラーフィルタを透過した光の波長域の色情報のみが得られ、カラーフィルタを透過しない光の波長域の色情報を得ることはできない。しかしながら、画像の局所領域では３色の画像情報間に相関性があることが知られており（たとえば、非特許文献１）、例えば赤や青の画像情報から緑の画像情報を推測することができる。この特性を利用して不足している色の画像情報の補完処理が行われる。したがって、撮像素子の有効画素数と同じ画素数の解像度のカラー画像を得ることができる。たとえば、有効画素数が１００万画素である撮像素子を用いた場合、５０万個の画素が緑色の画像情報を検出し、２５万個の画素が青色の画像情報を検出し、２５万個の画素が赤色の画像情報を検出するが、上記補間処理により、赤、緑、青のいずれの色についても１００万画素の解像度の画像情報を得ることができる。
【０００８】
一方、複眼方式の撮像装置では、撮像素子の各色に対応する各撮像領域が赤、緑、青のいずれかの色の画像情報を取得するため、各撮像領域の画素数と同じ画素数の解像度を有するカラー画像が得られる。たとえば、赤、緑、青の各色に対応する撮像領域がいずれも２５万画素を有するためには、撮像素子は合計１００万画素を有している必要があるが、重ね合わせて得られるカラー画像の解像度は２５万画素となる。
【０００９】
画像の解像度を向上させる方法として、アクチュエータによりレンズと被写体との相対的位置を時系列的にずらすことによって、被写体像と撮像素子の画素との相対的位置関係が相互にずれた複数の画像を取得し、それらを合成することにより、高解像度画像を得る「画素ずらし」と呼ばれる技術がある（たとえば、特許文献２）。この画素ずらし技術におけるずらし量は、ずらす方向と取得する画像の数により最適な値が決まる。たとえば、２つの画像を合成する場合は、被写体像と画素との相対的位置関係が画素の配置ピッチ（以下、「画素ピッチ」という）の半分だけ２つの画像間でずれていると、もっとも高解像度の画像を得ることができる。画素ずらし技術は、レンズにより結像された被写体像と撮像素子の画素との相対的位置関係が互いにずれた複数の画像が得られれば利用可能であり、複眼方式の撮影装置にも適用可能である。但し、レンズと被写体との相対的位置を時系列的にずらすことにより行う画素ずらし技術は、被写体像が静止している場合には有効であるが、静止していない場合はレンズと被写体との相対的位置を時系列的にずらすことに起因して撮影タイミングがずれるため、高解像度画像を得ることは難しい。
【００１０】
また、例えば特許文献３には、複数のレンズで複数の被写体像を複数の撮像領域上にそれぞれ結像させる複眼方式の撮像装置において、所定距離にある被写体の被写体像がレンズの光軸を結ぶ方向に所定量ずれて結像された画素ずらしが実現されるように、撮像素子の画素に対して複数のレンズの各光軸を位置決めをすることにより、高解像度の合成画像を取得する方法が提案されている。この方式は、被写体と撮像装置との距離が一定であれば、被写体像が静止していなくても高解像度画像を得ることが可能である。
【特許文献１】特開２００２−２０４４６２号公報
【特許文献２】特開平１０−３０４２３５号公報
【特許文献３】特開２００２−２０９２２６号公報
【非特許文献１】小寺宏曄、他２名、「色信号の相関を利用した単色画像からのフルカラー画像の表示方式」、昭和６３年度画像電子学会全国大会予稿２０、ｐ．８３−８６（１９８８）
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、特許文献３に記載の方法には２つの課題がある。
【００１２】
第１に、被写体と撮像装置との距離が所定値でない場合、もしくは温度変化等により複数のレンズの光軸間隔が変わった場合に、画素ずらしのずれ量が変化するため、高解像度画像を得ることはできないという課題がある。以下、この第１の課題について詳細に説明する。
【００１３】
画素ずらし技術により確実に高解像度画像を得るためには、合成される複数の画像間において、被写体像と画素との相対的位置関係が常にずれている必要がある。図１７Ａ及び図１７Ｂは、複眼方式の撮像装置において、被写体と、光軸が異なる２つのレンズと、この２つのレンズで結像された２つの被写体像との位置関係を示した図であり、図１７Ａは２つのレンズの光軸を含む平面における断面図、図１７Ｂは、撮像素子の撮像面を光軸と平行な方向から見た平面図である。６００ａ、６００ｂはレンズ６０１ａ、６０１ｂの光軸であり、６０２ａ、６０２ｂは光軸６００ａ、６００ｂが撮像素子の撮像領域６０３と交わる位置である。６０５ａ、６０５ｂは、光軸６００ａ上にある被写体６０４の、レンズ６０１ａ、６０１ｂによって結像された被写体像である。複眼方式の撮像装置においては複数のレンズの光軸が互いに異なるため、撮像装置から被写体までの距離に応じて、撮像領域６０３上での被写体像６０５ｂの位置は、レンズの光軸６００ａ、６００ｂを結ぶ方向（図中の一点鎖線６１０の方向）に移動する。この現象は「視差」と呼ばれ、レンズ光軸６００ｂと撮像領域６０３とが交わる位置６０２ｂから被写体像６０５ｂまでのずれ量Ｓは、レンズ６０１ａから被写体６０４までの距離（以下、「被写体距離」という）をＡ、レンズ６０１ａ，６０１ｂの光軸６００ａ，６００ｂ間の距離をｄ、レンズ６０１ａ，６０１ｂから撮像領域６０３までの距離をｆとすると、（数１）で表される。
【００１４】
【数１】
2007060847.tif 000082
【００１５】
このように、レンズの光軸６００ａ、６００ｂを結ぶ一点鎖線６１０の方向における被写体像６０５ｂと撮像領域６０３の画素との相対的位置関係は、被写体距離Ａによって変化する。したがって、特許文献３のように、２つのレンズの光軸を結ぶ方向における被写体像のずれ量が所定値となるように予め設定した場合には、レンズから被写体までの距離Ａによってずれ量Ｓが変わるため、被写体距離によっては常に高解像度の合成画像を得られるとは限らない。また、温度変化によりレンズの光軸間の距離ｄが変化した場合も、同様にずれ量Ｓが変化するため、常に高解像度の合成画像を得られるとは限らない。
【００１６】
第２に、画素ずらしのずれ量が所定量になるように光学系を設定したとしても、レンズ成型誤差、実装誤差、被写体距離、温度などに起因して、図１８に示すように、異なる撮像領域間で被写体像のずれ量が画素ピッチの０．５倍（以下「０．５画素」という）とならない場合が多いという課題がある。図１８において、５０２ａは赤色光を受光する撮像領域、５０２ｂは緑色光を受光する撮像領域、５０２ｃは青色光を受光する撮像領域、５０２ｄは緑色光を受光する撮像領域、７０２ａ、７０２ｂ、７０２ｃ、７０２ｄは各撮像領域５０２ａ，５０２ｂ，５０２ｃ，５０２ｄを構成する画素、７０１ａ、７０１ｂ、７０１ｃ、７０１ｄは各撮像領域５０２ａ，５０２ｂ，５０２ｃ，５０２ｄにおける被写体像の位置である。水平方向に並んだ撮像領域５０２ｃと撮像領域５０２ｂとの間のずれ量は、高解像度の合成画像を得るためには水平方向に０．５画素、垂直方向に０画素であることが理想的であるが、図１８では水平方向に０．６画素、垂直方向に０．１画素となっている。また、垂直方向に並んだ撮像領域５０２ａと撮像領域５０２ｂとのずれ量は、高解像度の合成画像を得るためには水平方向に０画素、垂直方向に０．５画素であることが理想的であるが、図１８では水平方向に０．１画素、垂直方向に０．４画素となっている。また、撮像領域５０２ｄと撮像領域５０２ｂとのずれ量は、高解像度の合成画像を得るためには水平方向に０．５画素、垂直方向に０．５画素であることが理想的であるが、図１８では水平方向に０．５画素、垂直方向に０．５画素となっている。複数の撮像領域の画素と複数の被写体像との位置関係が図１８の場合において、複数の撮像領域から得た複数の画像を画素ずらし技術を用いて合成した場合にどのような画像が得られるかを図１９Ａ〜図１９Ｄを用いて説明する。
【００１７】
図１９Ａは、白地に垂直方向に延びた３本の黒線（被写体）を撮像した場合において、撮像領域５０２ｂに結像された被写体像を示した図である。図１９Ｂは、複数の撮像領域の画素と複数の被写体像とが図１８の位置関係を有している場合において、複数の撮像領域５０２ａ，５０２ｂ，５０２ｃ，５０２ｄから得た複数の画像を画素ずらし技術を用いて合成して得た合成画像を示した図である。図１９Ｃは、複数の撮像領域と複数の被写体像とが理想的な位置ずれ関係を有している場合において、複数の撮像領域５０２ａ，５０２ｂ，５０２ｃ，５０２ｄから得た複数の画像を画素ずらし技術を用いて合成して得た合成画像を示した図である。図１９Ｄは、図１８の撮像領域５０２ｂから得た画像を示した図である。図１９Ａ〜図１９Ｄでは、濃淡を線の密度で表現しており、濃い色ほど線の密度を高くし、薄い色ほど線の密度を低くして表現している。複数の撮像領域に対する複数の被写体像のずれ量が理想値から外れた場合に得られる図１９Ｂに示す合成画像は、複数の画像を合成する前の図１９Ｄに示す画像に比べて３本の黒線の識別は容易であり解像度は向上しているが、複数の撮像領域に対する複数の被写体像のずれ量が理想値である場合に得られる図１９Ｃに示す合成画像に比べて色むらが目立っている。
【００１８】
本発明は、上記の従来の課題を解決し、被写体距離によらず常に高解像度且つ高画質の画像を得ることができる薄型の複眼方式の撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１９】
本発明の撮像装置は、同一平面上に配置された複数のレンズと、前記複数のレンズによる複数の被写体像をそれぞれ受光する複数の撮像領域とを有する。前記複数の撮像領域のそれぞれにおける画素配置の垂直ラインの方向及び水平ラインの方向が前記複数の撮像領域間で互いに同一である。
【００２０】
本発明の第１の撮像装置では、前記複数の撮像領域のうち、前記垂直ラインの方向に視差を有する少なくとも一対の撮像領域に受光される少なくとも一対の被写体像が、前記水平ラインの方向に互いに所定量ずれていることを特徴とする。
【００２１】
本発明の第２の撮像装置では、前記複数の撮像領域のうち、前記水平ラインの方向に視差を有する少なくとも一対の撮像領域に受光される少なくとも一対の被写体像が、前記複垂直ラインの方向に互いに所定量ずれていることを特徴とする。
【発明の効果】
【００２２】
本発明によれば、薄型で、高解像度且つ高画質の画像を得ることができる複眼方式の撮像装置を実現することができる。
【発明を実施するための最良の形態】
【００２３】
本発明の第１の撮像装置では、前記複数の撮像領域のうち、前記垂直ラインの方向に視差を有する少なくとも一対の撮像領域に受光される少なくとも一対の被写体像が、前記水平ラインの方向に互いに所定量ずれている。これにより、垂直ライン方向に延びる細線画像がより精細に見えるなど、水平ライン方向の解像度を被写体距離によらず常に高解像度化することが可能となる。
【００２４】
また、本発明の第２の撮像装置では、前記複数の撮像領域のうち、前記水平ラインの方向に視差を有する少なくとも一対の撮像領域に受光される少なくとも一対の被写体像が、前記複垂直ラインの方向に互いに所定量ずれている。これにより、水平ライン方向に延びる細線画像がより精細に見えるなど、垂直ライン方向の解像度を被写体距離によらず常に高解像度化することが可能となる。
【００２５】
本発明の上記第１及び第２の撮像装置において、前記所定量が、前記所定量のずれ方向における前記複数の撮像領域の画素ピッチの０．２５倍から０．７５倍の範囲であることが好ましい。これにより、水平ライン方向もしくは垂直ライン方向の解像度を被写体距離によらず常に高解像度化することが可能となる。なお、本発明において、「前記所定量のずれ方向」を「画素ずらし方向」と呼ぶ。
【００２６】
本発明の上記第１及び第２の撮像装置において、前記複数のレンズと前記複数の撮像領域との間に複数のカラーフィルタが設けられていることが好ましい。これにより、薄型でカラー画像の撮影が可能な撮像装置を実現できる。
【００２７】
この場合において、前記複数のカラーフィルタのうち、少なくとも２つが同一の分光透過率特性を有することが好ましい。これにより、薄型でカラー画像の撮影が可能で、更に高精度な被写体像の合成が可能となる。
【００２８】
本発明の上記第１及び第２の撮像装置は、前記複数の撮像領域からそれぞれ出力される複数の画像データを処理する画像処理手段をさらに有することが好ましい。この場合、前記画像処理手段は、前記複数の画像データを合成して前記複数の画像データよりも高解像度の合成画像データを作成し出力する画像合成手段を有し、前記画像合成手段は、前記複数の画像データのうちの少なくとも一つの画像データに含まれる局所領域でのエッジ方向を検出するエッジ方向検出手段を有することが好ましい。そして、前記画像合成手段は、前記エッジ方向検出手段が判断したエッジの方向に基づき前記複数の画像データの合成方法を変更することが好ましい。これにより、前記所定量が、厳密に、前記所定量のずれ方向における前記複数の撮像領域の画素ピッチの０．５倍でない場合であっても、画素ピッチの０．２５倍以上０．７５倍以下であれば、常に高解像度で、色むらが少なく、濃淡の変化の滑らかな画像を出力することが可能となる。
【００２９】
この場合、前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記垂直ラインの方向と同一と判断したとき、前記画像合成手段は、前記合成画像データの前記局所領域では垂直方向に同一の画素信号値を連続して配置することが好ましい。これにより、前記所定量が、厳密に、前記所定量のずれ方向における前記複数の撮像領域の画素ピッチの０．５倍でない場合であっても、画素ピッチの０．２５倍以上０．７５倍以下であれば、垂直ライン方向に延びたエッジを有する画像領域を常に高解像度で、色むらを少なく出力することが可能となる。
【００３０】
あるいは、前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記垂直ラインの方向と同一と判断したとき、前記画像合成手段は、前記合成画像データの前記局所領域では、前記複数の画像データのうち前記水平ラインの方向に互いにずれた少なくとも２つの画像データの画素信号値を前記水平ラインの方向に並べて配置し、且つ、前記垂直ラインの方向に隣り合う２つの画素間には、前記２つの画素の画素信号値の補間値を配置することが好ましい。これにより、前記所定量が、厳密に、前記所定量のずれ方向における前記複数の撮像領域の画素ピッチの０．５倍でない場合であっても、画素ピッチの０．２５倍以上０．７５倍以下であれば、垂直ライン方向に延びたエッジを有する画像領域を常に高解像度で、色むらが少なく、濃淡の変化を滑らかに出力することが可能となる。
【００３１】
また、前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記水平ラインの方向と同一と判断したとき、前記画像合成手段は、前記合成画像データの前記局所領域では水平方向に同一の画素信号値を連続して配置することが好ましい。これにより、前記所定量が、厳密に、前記所定量のずれ方向における前記複数の撮像領域の画素ピッチの０．５倍でない場合であっても、画素ピッチの０．２５倍以上０．７５倍以下であれば、水平ライン方向に延びたエッジを有する画像領域を常に高解像度で、色むらを少なく出力することが可能となる。
【００３２】
あるいは、前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記水平ラインの方向と同一と判断したとき、前記画像合成手段は、前記合成画像データの前記局所領域では、前記複数の画像データのうち前記垂直ラインの方向に互いにずれた少なくとも２つの画像データの画素信号値を前記垂直ラインの方向に並べて配置し、且つ、前記水平ラインの方向に隣り合う２つの画素間には、前記２つの画素の画素信号値の補間値を配置することが好ましい。これにより、前記所定量が、厳密に、前記所定量のずれ方向における前記複数の撮像領域の画素ピッチの０．５倍でない場合であっても、画素ピッチの０．２５倍以上０．７５倍以下であれば、水平ライン方向に延びたエッジを有する画像領域を常に高解像度で、色むらが少なく、濃淡の変化を滑らかに出力することが可能となる。
【００３３】
また、前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記垂直ラインの方向に対して傾斜していると判断したとき、前記画像合成手段は、前記合成画像データの前記局所領域では前記エッジ方向に同一の画素信号値を連続して配置することが好ましい。これにより、前記所定量が、厳密に、前記所定量のずれ方向における前記複数の撮像領域の画素ピッチの０．５倍でない場合であっても、画素ピッチの０．２５倍以上０．７５倍以下であれば、斜め方向に延びたエッジを有する画像領域を常に高解像度で、色むらを少なく出力することが可能となる。
【００３４】
あるいは、前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記垂直ラインの方向に対して傾斜していると判断したとき、前記画像合成手段は、前記合成画像データの前記局所領域では、前記複数の画像データのうち前記水平ラインの方向又は前記垂直ラインの方向に互いにずれた少なくとも２つの画像データの画素信号値と、前記エッジ方向に隣り合う２つの画素の画素信号値の補間値とを配置することが好ましい。これにより、前記所定量が、厳密に、前記所定量のずれ方向における前記複数の撮像領域の画素ピッチの０．５倍でない場合であっても、画素ピッチの０．２５倍以上０．７５倍以下であれば、斜め方向に延びたエッジを有する画像領域を常に高解像度で、色むらが少なく、濃淡の変化を滑らかに出力することが可能となる。
【００３５】
また、本発明の第１及び第２の撮像装置が、前記複数の撮像領域からそれぞれ出力される複数の画像データを処理する画像処理手段をさらに有することが好ましい。この場合、前記画像処理手段は、前記複数の画像データを合成して前記複数の画像データよりも高解像度の合成画像データを作成し出力する画像合成手段を有することが好ましい。そして、前記画像合成手段は、前記複数の撮像領域のずれ量に応じて前記複数の画像データの中から合成に使用する複数の画像データを選択することが好ましい。これにより、前記少なくとも一対の被写体像のずれ量である前記所定量が被写体距離や温度の変化などにより変化した場合でも、常に適切な画像データを選択して合成画像データを出力するので、常に高解像度で、色むらが少なく、濃淡の変化の滑らかな画像を出力することが可能となる。
【００３６】
この場合において、  前記画像合成手段は、前記ずれ量が所定の値に最も近い画像データを前記複数の画像データの中から選択することが好ましい。これにより、前記少なくとも一対の被写体像のずれ量である前記所定量が被写体距離や温度の変化などにより変化した場合でも、常に最適な画像データを選択して合成画像データを出力するので、常に高解像度で、色むらが少なく、濃淡の変化の滑らかな画像を出力することが可能となる。
【００３７】
あるいは、前記画像合成手段は、前記ずれ量が所定の範囲に含まれる画像データを前記複数の画像データの中から選択することが好ましい。これにより、前記少なくとも一対の被写体像のずれ量である前記所定量が被写体距離や温度の変化などにより変化した場合でも、常に適切な画像データを選択して合成画像データを出力するので、常に高解像度で、色むらが少なく、濃淡の変化の滑らかな画像を出力することが可能となる。
【００３８】
前記所定の範囲が、前記所定量のずれ方向における前記複数の撮像領域の画素ピッチの０．２５倍から０．７５倍の範囲であることが好ましい。これにより、前記少なくとも一対の被写体像のずれ量である前記所定量が被写体距離や温度の変化などにより変化した場合でも、常に適切な画像データを選択して合成画像データを出力するので、常に高解像度で、色むらが少なく、濃淡の変化の滑らかな画像を出力することが可能となる。
【００３９】
本発明の上記第１及び第２の撮像装置が、前記複数の撮像領域からそれぞれ出力される複数の画像データを処理する画像処理手段をさらに有することが好ましい。この場合において、前記画像処理手段は、前記複数の画像データを合成して前記複数の画像データよりも高解像度の合成画像データを作成し出力する画像合成手段と、前記合成画像データもしくは前記合成画像データに処理を施した画像データの各画素の画素信号値をこの画素の近傍の画素の画素信号値に基づき平滑化した平滑化画像データを出力する平滑フィルタ手段と、前記平滑化画像データもしくは前記平滑化画像データに処理を施した画像データの各画素の画素信号値をこの画素の近傍の画素信号値に基づきエッジを強調したエッジ強調化画像データを出力するエッジ強調フィルタ手段とを有することが好ましい。これにより、前記画像合成手段から出力された合成画像データの色むらを低減することが可能となる。
【００４０】
以下に、本発明の好適な実施の形態を、図面を用いて詳細に説明する。
【００４１】
本実施の形態に係る撮像装置は、ほぼ同一平面上に配置された４つのレンズと、４つのレンズに対応して配置された４つのカラーフィルタと、４つのレンズによる４つの被写体像をそれぞれ受光する４つの撮像領域とを備え、カラー画像及び／又は白黒画像を出力する薄型の複眼方式の撮像装置である。４つのレンズのうち、３つは互いに異なる光学特性を有し、残りの１つはこれら３つのうちのいずれか１つと同一の光学特性を有している。４つの撮像領域のそれぞれは、垂直方向及び水平方向に碁盤目状に配置された多数の画素を有している。４つの撮像領域のそれぞれの画素が配置された垂直ライン方向及び水平ライン方向が４つの撮像領域間で互いに一致している。撮像領域とその撮像領域上に結像される被写体像との相対的位置関係は、撮像領域間において所定方向に約０．５画素ずれている。本実施の形態の撮像装置によれば、被写体距離や温度変化によらず常に高解像度で、色むらが少なく、濃淡が滑らかに変化した画像を得ることができる。また、被写体に含まれる曲線を滑らかな曲線として表現でき、局所領域での各色の画像情報間の相関性を利用した画像合成の影響により生じる色むらを低減することができる。
【００４２】
図１に本発明の一実施の形態に係る撮像装置の概略構成を示す。また、図２は図１のII−II線に沿った撮像部１０１の断面図である。
【００４３】
まず、本実施の形態の撮像装置が、レンズ間の視差が補正されたカラー画像を出力する原理を説明する。
【００４４】
図１において、１０１は被写体側から見た撮像部である。被写体からの光は、ほぼ同一平面上に配置された４枚の単レンズ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄに入射し、４枚の単レンズ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄは、カラーフィルタ１１３ａ，１１３ｂ，１１３ｃ，１１３ｄ（図２参照。但し、カラーフィルタ１１３ｂ，１１３ｄは図示せず。）を介して撮像素子１０３の撮像領域１０４ａ、１０４ｂ、１０４ｃ、１０４ｄ上に被写体像をそれぞれ結像させる。撮像素子１０３としては、例えば２００万画素などの高画素数の撮像素子が使用されるが、図面を簡単化するため図１では８２５画素の画素数の少ない撮像素子を示している。図１において、撮像素子１０３内に水平方向（Ｘ軸方向）及び垂直方向（Ｙ軸方向）に格子状に並んでいる各正方形は画素を表す。画素の配列方向のうち、水平方向（Ｘ軸方向）を水平ライン方向、垂直方向（Ｙ軸方向）を垂直ライン方向と呼ぶ。各正方形（各画素）内の小さな正方形は受光部を表す。
【００４５】
図２に示すように、撮像素子１０３の被写体側にはカラーフィルタ１１３ａ，１１３ｂ，１１３ｃ，１１３ｄ（カラーフィルタ１１３ｂ，１１３ｄは図示せず）が配置される。単レンズ１０２ａ、１０２ｄは、緑色の光線が撮像素子１０３の撮像面に結像されるのに適切な焦点距離を有するように設計されており、単レンズ１０２ｂは赤色の光線が撮像素子１０３の撮像面に結像されるのに適切な焦点距離を有するように設計されており、単レンズ１０２ｃは青色の光線が撮像素子１０３の撮像面に結像されるのに適切な焦点距離を有するように設計されている。撮像素子１０３の撮像面の上部には、単レンズ１０２ａ，１０２ｄに対応する撮像領域１０４ａ，１０４ｄに緑色光を透過させるカラーフィルタ１１３ａ，１１３ｄが配置されており、単レンズ１０２ｂに対応する撮像領域１０４ｂに赤色光を透過させるカラーフィルタ１１３ｂが配置されており、単レンズ１０２ｃに対応する撮像領域１０４ｃに青色光を透過させるカラーフィルタ１１３ｃが配置されている。これにより、撮像領域１０４ａ，１０４ｄには緑の光成分による被写体像が結像され、撮像領域１０４ｂには赤の光成分による被写体像が結像され、撮像領域１０４ｃには青の光成分による被写体像が結像される。撮像領域１０４ａ，１０４ｂ，１０４ｃ，１０４ｄにそれぞれ結像される被写体像は、被写体距離をＡ、レンズの光軸間の距離をｄ、焦点距離をｆとすると、（数１）で算出される視差量Ｓだけ、それぞれ光軸１０５ａ，１０５ｂ，１０５ｃ，１０５ｄに対してずれて結像される。
【００４６】
ＣＣＤやＣＭＯＳなどの固体撮像素子で構成される撮像素子１０３は、撮像素子駆動回路１１２により露光時間や信号の取込み及び転送のタイミングなどが制御されている。撮像部１０１から出力される各画素での受光量のアナログ信号値は、Ａ／Ｄ変換器１１１によりディジタル信号に変換され、このディジタル信号は画像処理部１０６に入力される。画像処理部１０６に入力された撮像領域１０４ａ、１０４ｂ、１０４ｃ、１０４ｄのディジタル化された画像データは、ホワイトバランスやシェーディング補正などの処理をされる。
【００４７】
図３に、単レンズ１０２ａの光軸１０５ａ上で被写体距離Ａ０にある被写体の撮像領域１０４ａ，１０４ｄに結像される被写体像１１４を示す。被写体像１１４は、撮像領域１０４ａ上では光軸１０５ａ上に結像され、撮像領域１０４ｄ上では光軸１０５ａと光軸１０５ｄとを結ぶ直線１１５上であって、光軸１０５ｄから距離Ｓｘｙだけ離れた位置に結像される。
【００４８】
光軸１０５ａと光軸１０５ｄとのＸ軸方向における距離をｄｘとすると、撮像領域１０４ａと撮像領域１０４ｄとの間での被写体像１１４のＸ軸方向の視差Ｓｘは（数２）で表される。
【００４９】
【数２】
2007060847.tif 000083
【００５０】
光軸１０５ａと光軸１０５ｄとのＹ軸方向における距離をｄｙとすると、撮像領域１０４ａと撮像領域１０４ｄとの間での被写体像１１４のＹ軸方向の視差Ｓｙは（数３）で表される。
【００５１】
【数３】
2007060847.tif 000084
【００５２】
したがって、距離Ｓｘｙは（数４）で表される。
【００５３】
【数４】
2007060847.tif 000085
【００５４】
画像合成部１０７は、同色（緑）の被写体像が形成される撮像領域１０４ａ及び撮像領域１０４ｄから出力される２つの画像データを用いて被写体像の相関性を求める演算を行い視差Ｓｘ及びＳｙを算出する。画素は、撮像素子１０３上の整数座標にしか存在しないが、線形補間などの補間演算を行うことにより、視差Ｓｘ、Ｓｙの小数点以下の値をも求めることができる。
【００５５】
光軸１０５ａ及び光軸１０５ｄ間のＸ軸方向距離と、光軸１０５ａ及び光軸１０５ｃ間の距離とはほぼ等しいため、算出した視差Ｓｘを、撮像領域１０４ａと撮像領域１０４ｃとの間での被写体像の視差量として用いる。光軸１０５ａ及び光軸１０５ｄ間のＸ軸方向距離と、光軸１０５ａ及び光軸１０５ｃ間の距離との誤差は、無限遠においた被写体（例えば黒地に白の点光源）の撮像領域１０４ａ，１０４ｃ，１０４ｄにそれぞれ結像される被写体像の位置を比較するなどして補償する。
【００５６】
同様に、光軸１０５ａ及び光軸１０５ｄ間のＹ軸方向の距離と、光軸１０５ａ及び光軸１０５ｂ間の距離とはほぼ等しいため、算出したＳｙを、撮像領域１０４ａと撮像領域１０４ｂとの間での被写体像の視差量として用いる。光軸１０５ａ及び光軸１０５ｄ間のＹ軸方向距離と、光軸１０５ａ及び光軸１０５ｂ間の距離との誤差は、上述したＸ軸方向距離の誤差の補償方法と同様の方法により補償する。
【００５７】
画像合成部１０７は、緑の光成分よる被写体像が結像される撮像領域１０４ａからの画像に対する、赤の光成分による被写体像が結像される撮像領域１０４ｂからの画像、及び青の光成分による被写体像が結像される撮像領域１０４ｃからの画像のずれを、算出した視差Ｓｘ及びＳｙを用いて補正し、次いで、これら３つの画像を合成する。かくして、被写体像のカラー画像を得ることができる。
【００５８】
次に図１の撮像装置が被写体距離によらず常に高解像度な画像を出力する原理について説明する。
【００５９】
図４に単レンズ１０２ａの光軸１０５ａ上で被写体距離Ａ０にある被写体の撮像領域１０４ａ〜１０４ｄに結像される被写体像１１４ａ〜１１４ｄの位置を示す。
【００６０】
撮像領域１０４ａでは被写体像１１４ａは光軸１０５ａ上に存在する。
【００６１】
撮像領域１０４ｃでの光軸１０５ｃの位置は、撮像領域１０４ａでの光軸１０５ａの位置に対してＹ軸の負方向に約０．５画素ずれている。被写体像１１４ｃは、光軸１０５ｃからＸ軸の負方向に（数２）で求めた視差Ｓｘ離れた位置に結像される。
【００６２】
撮像領域１０４ｂでの光軸１０５ｂの位置は、撮像領域１０４ａでの光軸１０５ａの位置に対してＸ軸の負方向に約０．５画素ずれている。被写体像１１４ｂは、光軸１０５ｂからＹ軸の負方向に（数３）で求めた視差Ｓｙ離れた位置に結像される。
【００６３】
撮像素子１０３としては、図４では説明を容易にするため実際より少ない画素数の撮像素子を示しているが、実際には２００万画素などの高画素数の撮像素子が用いられる。従って、光軸１０５ａと光軸１０５ｃとのＹ軸方向のずれ量は非常に小さいため、撮像領域１０４ｃでの被写体像１１４ｃのＹ軸方向における視差は無視できる。同様に、光軸１０５ａと光軸１０５ｂとのＸ軸方向のずれ量も非常に小さいため、撮像領域１０４ｂでの被写体像１１４ｂのＸ軸方向における視差は無視できる。
【００６４】
したがって、被写体距離Ａ０が変化すると、被写体像１１４ｃは、撮像領域１０４ｃにおいてＸ軸方向に移動する。この時、被写体像１１４ｃは、光軸１０５ａに対してＹ軸方向に常に約０．５画素ずれた状態を保ってＸ軸方向に移動する。
【００６５】
また、被写体距離Ａ０が変化すると、被写体像１１４ｂは、撮像領域１０４ｂにおいてＹ軸方向に移動する。この時、被写体像１１４ｂは、光軸１０５ａに対してＸ軸方向に常に約０．５画素ずれた状態を保ってＹ軸方向に移動する。
【００６６】
つまり、撮像領域１０４ｃ上の被写体像１１４ｃは、被写体距離によらず撮像領域１０４ａ上の被写体像１１４ａに対して常にＹ軸の負方向に約０．５画素ずれており、撮像領域１０４ｂ上の被写体像１１４ｂは、被写体距離によらず撮像領域１０４ａ上の被写体像１１４ａに対して常にＸ軸の負方向に約０．５画素ずれている。
【００６７】
視差による画像のずれの補正は算出した視差Ｓｘ，Ｓｙを用いて以下のようにして行う。図５に示すように、撮像領域１０４ｃをＸ軸方向にＳｘだけ補正する。また、撮像領域１０４ｂをＹ軸方向にＳｙだけ補正する。更に、撮像領域１０４ｄをＸ軸方向にＳｘ、Ｙ軸方向にＳｙだけそれぞれ補正する。なお、各撮像領域の座標値は整数値のみであるので、補正量Ｓｘ、Ｓｙが小数点以下の値を含む時は四捨五入などの処理を行う。
【００６８】
各撮像領域１０４ａ〜１０４ｄはｍ×ｎ（縦×横）画素を有し、撮像領域１０４ａの各画素の座標をａ（ｘ、ｙ）、撮像領域１０４ｂの各画素の座標をｂ（ｘ、ｙ）、撮像領域１０４ｃの各画素の座標をｃ（ｘ、ｙ）、撮像領域１０４ｄの各画素の座標をｄ（ｘ、ｙ）、但し、ｘ＝１、２、・・・、ｍ、ｙ＝１、２、・・・、ｎとする。撮像領域１０４ｃの画素ｃ（ｘ、ｙ）は、撮像領域１０４ａの画素ａ（ｘ、ｙ）に対して、Ｙ軸の正方向に約０．５画素だけずれた位置にある被写体像を受光する。また、撮像領域１０４ｂの画素ｂ（ｘ、ｙ）は、撮像領域１０４ａの画素ａ（ｘ、ｙ）に対して、Ｘ軸の正方向に約０．５画素だけずれた位置にある被写体像を受光する。また、撮像領域１０４ｄの画素ｄ（ｘ、ｙ）が受光する被写体像の、撮像領域１０４ａの画素ａ（ｘ、ｙ）が受光する被写体像に対するＸ軸方向及びＹ軸方向におけるずれ量は、被写体距離の変化に応じて変化する。
【００６９】
したがって、Ｘ軸方向及びＹ軸方向にそれぞれ約０．５画素ずつずれたｍ×ｎの画素数を有する画像から、２・ｍ×２・ｎ（縦×横）の画素数を有する高解像度の合成画像ｈを作成するためには、図６Ａに示すように、合成画像の座標ｈ（２・ｘ−１，２・ｙ−１）には画素ａ（ｘ，ｙ）の輝度値を代入し、座標ｈ（２・ｘ−１，２・ｙ）には画素ｃ（ｘ，ｙ）の輝度値を代入し、座標ｈ（２・ｘ，２・ｙ−１）には画素ｂ（ｘ，ｙ）の輝度値を代入し、座標ｈ（２・ｘ，２・ｙ）にはその４近傍の画素の輝度値の平均値を代入する（ｘ＝１，２，・・・，ｍ、ｙ＝１，２，・・・，ｎ）。ここで、座標ｈ（２・ｘ，２・ｙ）にはその４近傍の画素の輝度値の平均値ではなく、その近傍の画素の輝度値を用いて他の補間方法により算出した値を代入してもよい。
【００７０】
なお、被写体距離によっては、撮像領域１０４ｄの画素ｄ（ｘ，ｙ）が、撮像領域１０４ａの画素ａ（ｘ，ｙ）に対して、Ｘ軸の正方向に約０．５画素、Ｙ軸の正方向に約０．５画素ずれた被写体像１１４を受光している場合がある。この場合は、図６Ｂに示すように、合成画像の座標ｈ（２・ｘ−１，２・ｙ−１）には画素ａ（ｘ，ｙ）の輝度値を代入し、、座標ｈ（２・ｘ−１，２・ｙ）には画素ｃ（ｘ，ｙ）の輝度値を代入し、座標ｈ（２・ｘ，２・ｙ−１）には画素ｂ（ｘ，ｙ）の輝度値を代入し、座標ｈ（２・ｘ，２・ｙ）には画素ｄ（ｘ，ｙ）の輝度値を代入する。
【００７１】
以上のようにして、ｍ×ｎの画素数を有し、且つ互いにずれた撮像領域１０４ａ、１０４ｂ、１０４ｃ、１０４ｄから得た４つの画像から、２・ｍ×２・ｎの画素数を有する合成画像ｈを作成することができる。つまり、撮像領域１０４ａ、１０４ｂ、１０４ｃ、１０４ｄからそれぞれ得られる図７Ａに示すｍ×ｎの画素数を有するの４つの画像を合成することにより、図７Ｂに示す２・ｍ×２・ｎの画素数を有する高解像度の画像を得ることができる。
【００７２】
被写体が白黒の場合は、上記の方法で高解像度の合成画像を作成することができる。しかし、被写体がカラーの場合は、赤、緑、青の３つの合成画像を作成する。赤の色情報を持つ合成画像をｈｒ、緑の色情報を持つ合成画像をｈｇ、青の合成画像をｈｂとする。画像の局所領域では赤、緑、青の各画像情報間に相関性があるという特性を利用して、合成画像ｈｒ，ｈｇ，ｈｂを作成する。赤及び緑間の画像情報の相関を表す行列ｃ＿ｒｇ、青及び緑間の画像情報の相関を表す行列ｃ＿ｂｇ、青及び赤間の画像情報の相関を表す行列ｃ＿ｂｒを（数５）で算出する。
【００７３】
【数５】
2007060847.tif 000086
【００７４】
次に（数５）で求めた各行列にメディアンフィルタを作用させてノイズを除去し、（数６）の行列ｍｅｄｉａｎ＿ｃ＿ｒｇ、ｍｅｄｉａｎ＿ｃ＿ｂｇ、ｍｅｄｉａｎ＿ｃ＿ｂｒを算出する。
【００７５】
【数６】
2007060847.tif 000087
【００７６】
次に（数６）で求めた各行列に重み係数を用いたローパスフィルタを作用させ、（数７）のＬＰＦ＿ｃ＿ｒｇ、ＬＰＦ＿ｃ＿ｂｇ、ＬＰＦ＿ｃ＿ｂｒを算出する。
【００７７】
【数７】
2007060847.tif 000088
【００７８】
この局所領域での各色の相関を表すＬＰＦ＿ｃ＿ｒｇ、ＬＰＦ＿ｃ＿ｂｇ、ＬＰＦ＿ｃ＿ｂｒを用いて、赤の色情報を持つ合成画像ｈｒ、緑の色情報を持つ合成画像ｈｇ、青の合成画像ｈｂを作成する。
【００７９】
赤の色情報を持つ合成画像ｈｒは（数８）を用いて作成する。
【００８０】
【数８】
2007060847.tif 000089
【００８１】
緑の色情報を持つ合成画像ｈｇは（数９）を用いて作成する。
【００８２】
【数９】
2007060847.tif 000090
【００８３】
青の色情報を持つ合成画像ｈｂは（数１０）を用いて作成する。
【００８４】
【数１０】
2007060847.tif 000091
【００８５】
算出した赤、緑、青の合成画像ｈｒ、ｈｇ、ｈｂをカラー合成することにより、２・ｍ×２・ｎの画素数を有する高解像度なカラー合成画像ｈ＿ｒｇｂを得る。なお、撮像素子１０３に結像される被写体像がレンズ１０２ａ〜１０２ｄにより反転する特性を考慮し、図８に示すようにカラー合成画像ｈ＿ｒｇｂの画素配列をＹ軸方向に反転する。
【００８６】
次に、図１の撮像装置において、４つのレンズから投影された４つの被写体像間のずれ量が、理想的なずれ量である０．５画素から外れている場合であっても、常に高解像度で色むらが少ない画像を出力できる原理について説明する。
【００８７】
図１の撮像領域１０４ａ〜１０４ｄにおける光軸１０５ａ〜１０５ｄのずれ量は、レンズ１０２ａ〜１０２ｄの成型誤差や実装の際の実装誤差などに起因して、各画素ずらし方向において理想的なずれ量である０．５画素でない場合が多い。図９に撮像領域１０４ａ〜１０４ｃにおける被写体像１１４ａ〜１１４ｃ及び光軸１０５ａ〜１０５ｃとこれらの近傍の画素を拡大して示す。図９は視差補正処理後の被写体像１１４ａ〜１１４ｃと光軸１０５ａ〜１０５ｃとの関係を示している。
【００８８】
撮像領域１０４ｃの被写体像１１４ｃは、撮像領域１０４ａの被写体像１１４ａに対してＹ軸の負方向に０．６画素ずれており、Ｘ軸の負方向に０．１画素ずれている。被写体距離が変化すると、被写体像１１４ｃは、被写体像１１４ａに対するＹ軸方向のずれ量をほぼ０．６画素に保ったままＸ軸方向に移動する。この時、被写体像１１４ｃの被写体像１１４ａに対するＹ軸方向のずれ量が０．２５画素から０．７５画素の範囲内であれば、高解像度の合成画像を得ることができる。撮像領域１０４ｃの被写体像１１４ｃと撮像領域１０４ａの被写体像１１４ａとのＸ軸方向のずれ量が±０．５画素の範囲内に入るように視差補正処理される。
【００８９】
撮像領域１０４ｂの被写体像１１４ｂは、撮像領域１０４ａの被写体像１１４ａに対してＹ軸の負方向に０．１画素ずれており、Ｘ軸の負方向に０．６画素ずれている。被写体距離が変化すると、被写体像１１４ｂは、被写体像１１４ａに対するＸ軸方向のずれ量をほぼ０．６画素に保ったままＹ軸方向に移動する。この時、被写体像１１４ｂの被写体像１１４ａに対するＸ軸方向のずれ量が０．２５画素から０．７５画素の範囲内であれば、高解像度の合成画像を得ることができる。撮像領域１０４ｂの被写体像１１４ｂと撮像領域１０４ａの被写体像１１４ａとのＹ軸方向のずれ量が±０．５画素の範囲内に入るように視差補正処理される。
【００９０】
各被写体像のずれ量が上記の場合において、垂直方向に延びたエッジを持つ被写体を撮影した時の出力画像について述べる。撮像素子１０３上に結像された垂直方向に延びた三本の太線からなる被写体像を図１０Ａに、撮像領域１０４ａに取り込まれた画像の画素配列をＹ軸方向に反転して得られた画像を図１０Ｂに、高解像度のカラー合成画像ｈ＿ｒｇｂを図１０Ｃに示す。図１０Ａ〜図１０Ｃでは、濃淡を線の密度で表現しており、濃い色ほど線の密度を高くし、薄い色ほど線の密度を低くして表現している。
【００９１】
図１０Ｃの画像は、図１０Ｂの画像に比べて三本の太線からなる被写体像の識別がより容易であり、より高解像度の画像となっている。しかし、撮像領域１０４ｃ上の被写体像１１４ｃの撮像領域１０４ａ上の被写体像１１４ａに対するＸ軸方向及びＹ軸方向のずれ量が、理想的なずれ量であるＸ軸方向に０画素、Ｙ軸方向に０．５画素から外れていることに起因して、図１０Ｃの画像には色むらが発生している。そこで、被写体像の局所領域でのエッジの方向を検出し、エッジの方向に応じて赤の色情報を持つ合成画像ｈｒ、緑の色情報を持つ合成画像ｈｇ、青の色情報を持つ合成画像ｈｂの合成方法を以下のように変更する。
【００９２】
（数１１）は撮像領域１０４ａの各座標でのＹ軸方向に延びるエッジの強さ、つまりＸ軸方向の平均化された微分成分Ｄｙ（ｘ、ｙ）を算出する式である。
【００９３】
【数１１】
2007060847.tif 000092
【００９４】
（数１２）は撮像領域１０４ａの各座標でのＸ軸方向に延びるエッジの強さ、つまりＹ軸方向の平均化された微分成分Ｄｘ（ｘ、ｙ）を算出する式である。
【００９５】
【数１２】
2007060847.tif 000093
【００９６】
（数１３）は撮像領域１０４ａの各座標での右上がり斜め方向に延びるエッジの強さ、つまり左上がり斜め方向の平均化された微分成分Ｄｓｒ（ｘ、ｙ）を算出する式である。
【００９７】
【数１３】
2007060847.tif 000094
【００９８】
（数１４）は撮像領域１０４ａの各座標での左上がり斜め方向に延びるエッジの強さ、つまり右上がり斜め方向の平均化された微分成分Ｄｓｌ（ｘ、ｙ）を算出する式である。
【００９９】
【数１４】
2007060847.tif 000095
【０１００】
算出したＤｘ（ｘ、ｙ）、Ｄｙ（ｘ、ｙ）、Ｄｓｒ（ｘ、ｙ）、Ｄｓｌ（ｘ、ｙ）の各絶対値のうち、Ｄｘ（ｘ、ｙ）の絶対値が最大となる場合は、赤の色情報を持つ合成画像ｈｒは（数１５）を用いて作成する。
【０１０１】
【数１５】
2007060847.tif 000096
【０１０２】
緑の色情報を持つ合成画像ｈｇは（数１６）を用いて作成する。
【０１０３】
【数１６】
2007060847.tif 000097
【０１０４】
青の色情報を持つ合成画像ｈｂは（数１７）を用いて作成する。
【０１０５】
【数１７】
2007060847.tif 000098
【０１０６】
Ｄｙ（ｘ、ｙ）の絶対値が最大となる場合は、赤の色情報を持つ合成画像ｈｒは（数１８）を用いて作成する。
【０１０７】
【数１８】
2007060847.tif 000099
【０１０８】
緑の色情報を持つ合成画像ｈｇは（数１９）を用いて作成する。
【０１０９】
【数１９】
2007060847.tif 000100
【０１１０】
青の色情報を持つ合成画像ｈｂは（数２０）を用いて作成する。
【０１１１】
【数２０】
2007060847.tif 000101
【０１１２】
Ｄｓｒ（ｘ、ｙ）の絶対値が最大となる場合は、赤の色情報を持つ合成画像ｈｒは（数２１）を用いて作成する。
【０１１３】
【数２１】
2007060847.tif 000102
【０１１４】
緑の色情報を持つ合成画像ｈｇは（数２２）を用いて作成する。
【０１１５】
【数２２】
2007060847.tif 000103
【０１１６】
青の色情報を持つ合成画像ｈｂは（数２３）を用いて作成する。
【０１１７】
【数２３】
2007060847.tif 000104
【０１１８】
Ｄｓｌ（ｘ、ｙ）の絶対値が最大となる場合は、赤の色情報を持つ合成画像ｈｒは（数２４）を用いて作成する。
【０１１９】
【数２４】
2007060847.tif 000105
【０１２０】
緑の色情報を持つ合成画像ｈｇは（数２５）を用いて作成する。
【０１２１】
【数２５】
2007060847.tif 000106
【０１２２】
青の色情報を持つ合成画像ｈｂは（数２６）を用いて作成する。
【０１２３】
【数２６】
2007060847.tif 000107
【０１２４】
図１０Ａの被写体像はＹ軸方向に延びるエッジであるため、（数１８）から（数２０）を用いて合成画像ｈｒ、ｈｇ、ｈｂが作成される。算出した赤、緑、青の合成画像ｈｒ、ｈｇ、ｈｂを合成することにより、図１０Ｄに示すように、図１０Ｃの画像に発生していた色むらが無くなり、２・ｍ×２・ｎの画素数を有する高解像度の色むらの無いカラー画像ｈ＿ｒｇｂを得る。図１０Ｄでは、濃淡を線の密度で表現しており、濃い色ほど線の密度を高くし、薄い色ほど線の密度を低くして表現している。
【０１２５】
図１０Ｄのように色むらの低減された画像が得られる理由は以下の通りである。図１０ＡのようにＹ軸方向に延びたエッジを有する局所領域では、Ｙ軸方向に隣り合う画素の輝度値の相関性は高いため、Ｙ軸方向に隣り合う画素の輝度値を同一の値にしても出力画像に対する影響は小さい。したがって、（数１８）から（数２０）に示すように、Ｙ軸方向に隣り合う画素に同一の値を代入する。これにより、Ｙ軸方向に延びたエッジ画像の直線性が再現され、図１０Ｄのように色むらのない画像が得られる。
【０１２６】
また、図示していないが、Ｘ軸方向に延びたエッジを有する局所領域では、Ｘ軸方向に隣り合う画素の輝度値の相関性は高いため、Ｘ軸方向に隣り合う画素の輝度値を同一の値にしても出力画像に対する影響は小さい。したがって、（数１５）から（数１７）に示すように、Ｘ軸方向に隣り合う画素に同一の値を代入する。これにより、Ｘ軸方向に延びたエッジ画像の直線性が再現され、色むらがない画像が得られる。
【０１２７】
また、図示していないが、右上がり斜め方向に延びたエッジを有する局所領域では、右上がり斜め方向に隣り合う画素の輝度値の相関性は高いため、右上がり斜め方向に隣り合う画素の輝度値を同一の値にしても出力画像に対する影響は小さい。したがって、（数２１）から（数２３）に示すように、右上がり斜め方向に隣り合う画素に同一の値を代入する。これにより、右上がり斜め方向に延びたエッジ画像の直線性が再現され、色むらがない画像が得られる。
【０１２８】
また、図示していないが、左上がり斜め方向に延びたエッジを有する局所領域では、左上がり斜め方向に隣り合う画素の輝度値の相関性は高いため、左上がり斜め方向に隣り合う画素の輝度値を同一の値にしても出力画像に対する影響は小さい。したがって、（数２４）から（数２６）に示すように、左上がり斜め方向に隣り合う画素に同一の値を代入する。これにより、左上がり斜め方向に延びたエッジ画像の直線性が再現され、色むらがない画像が得られる。
【０１２９】
なお、撮像素子１０３に結像される被写体像はレンズ１０２ａ〜１０２ｄにより反転する特性を考慮し、図８に示すようにカラー合成画像ｈ＿ｒｇｂの画素配列をＹ軸方向に反転している。上記の右上がり斜め方向、左上がり斜め方向は反転後の画像における方向を意味する。
【０１３０】
以上のような本実施の形態の複眼方式の撮像装置によれば、４つの単レンズからそれぞれ投影された４つの被写体像間のずれ量が、理想的なずれ量である０．５画素から外れている場合であっても、被写体距離によらず常に高解像度で色むらが少ないカラー画像を出力することができる。
【０１３１】
なお、例えば図１１に示すように、被写体の濃淡が変化する場合は、（数１５）から（数２６）を、補間式を含む以下の（数２７）から（数３８）に変更することが好ましい。これにより、４つの単レンズからそれぞれ投影された４つの被写体像間のずれ量が、理想的なずれ量である０．５画素から外れている場合であっても、被写体距離によらず常に高解像度で、色むらが少ないカラー画像を出力することができ、且つ、濃淡の変化を滑らかに表現することができる。図１１では、濃淡を線の密度で表現しており、濃い色ほど線の密度を高くし、薄い色ほど線の密度を低くして表現している。
【０１３２】
合成画像ｈｒ、ｈｇ、ｈｂの画素の輝度値として、（数１５）から（数２６）では、ある画素に、この画素に対してエッジ方向において一方の隣に位置する画素の輝度値を代入したが、（数２７）から（数３８）では、この画素に対してエッジ方向において両隣に位置する２つの画素の輝度値を線形補間して得られた値を代入している。なお、補間方法としては、線形補間に限られず、両隣に位置する２つの画素の輝度値を用いた３次補間などを用いても良い。
【０１３３】
算出したＤｘ（ｘ、ｙ）、Ｄｙ（ｘ、ｙ）、Ｄｓｒ（ｘ、ｙ）、Ｄｓｌ（ｘ、ｙ）の各絶対値のうち、Ｄｘ（ｘ、ｙ）の絶対値が最大となる場合は、合成画像ｈｒ、ｈｇ、ｈｂは（数２７）、（数２８）、（数２９）を用いて作成する。
【０１３４】
【数２７】
2007060847.tif 000108
【０１３５】
【数２８】
2007060847.tif 000109
【０１３６】
【数２９】
2007060847.tif 000110
【０１３７】
Ｄｙ（ｘ、ｙ）の絶対値が最大となる場合は、合成画像ｈｒ、ｈｇ、ｈｂは（数３０）、（数３１）、（数３２）を用いて作成する。
【０１３８】
【数３０】
2007060847.tif 000111
【０１３９】
【数３１】
2007060847.tif 000112
【０１４０】
【数３２】
2007060847.tif 000113
【０１４１】
Ｄｓｒ（ｘ、ｙ）の絶対値が最大となる場合は、合成画像ｈｒ、ｈｇ、ｈｂは（数３３）、（数３４）、（数３５）を用いて作成する。
【０１４２】
【数３３】
2007060847.tif 000114
【０１４３】
【数３４】
2007060847.tif 000115
【０１４４】
【数３５】
2007060847.tif 000116
【０１４５】
Ｄｓｌ（ｘ、ｙ）の絶対値が最大となる場合は、合成画像ｈｒ、ｈｇ、ｈｂは（数３６）、（数３７）、（数３８）を用いて作成する。
【０１４６】
【数３６】
2007060847.tif 000117
【０１４７】
【数３７】
2007060847.tif 000118
【０１４８】
【数３８】
2007060847.tif 000119
【０１４９】
なお、被写体距離によっては、撮像領域１０４ｄの画素ｄ（ｘ、ｙ）が、撮像領域１０４ａの画素ａ（ｘ、ｙ）に対して、Ｘ軸の正方向に約０．５画素、Ｙ軸の正方向に約０．５画素ずれた被写体像１１４を受光している場合がある。この場合は、（数２７）から（数３２）に代えて（数３９）から（数４４）を用いることが好ましい。これにより、特定の被写体距離では緑の色再現性を向上させることができるので、より高解像度の輝度情報を得ることが可能となり、視覚的により高解像度の画像を得ることが可能となる。
【０１５０】
算出したＤｘ（ｘ、ｙ）、Ｄｙ（ｘ、ｙ）、Ｄｓｒ（ｘ、ｙ）、Ｄｓｌ（ｘ、ｙ）の各絶対値のうち、Ｄｘ（ｘ、ｙ）の絶対値が最大となる場合は、合成画像ｈｒ、ｈｇ、ｈｂは（数３９）、（数４０）、（数４１）を用いて作成する。
【０１５１】
【数３９】
2007060847.tif 000120
【０１５２】
【数４０】
2007060847.tif 000121
【０１５３】
【数４１】
2007060847.tif 000122
【０１５４】
Ｄｙ（ｘ、ｙ）の絶対値が最大となる場合は、合成画像ｈｒ、ｈｇ、ｈｂは（数４２）、（数４３）、（数４４）を用いて作成する。
【０１５５】
【数４２】
2007060847.tif 000123
【０１５６】
【数４３】
2007060847.tif 000124
【０１５７】
【数４４】
2007060847.tif 000125
【０１５８】
被写体に曲線が含まれる場合は、合成されたカラー画像ｈ＿ｒｇｂでその曲線が滑らかでない場合がある。また、局所領域での各色の画像情報間の相関性を利用した画像合成方法の影響により色むらが生じる場合がある。このような場合は、合成画像ｈｒ、ｈｇ、ｈｂに（数４５）に示すような重み付き平滑フィルタ及び（数４６）に示すようなエッジ強調フィルタを作用させて得られる合成画像ＥＤＧＥ＿ｈｒ、ＥＤＧＥ＿ｈｇ、ＥＤＧＥ＿ｈｂからカラー画像ｈ＿ｒｇｂを合成することが好ましい。これにより、４つの単レンズからそれぞれ投影された４つの被写体像間のずれ量が、理想的なずれ量である０．５画素から外れている場合であっても、被写体距離によらず常に高解像度で色むらが少ないカラー画像を出力することができる。更に、濃淡の変化を滑らかに表現でき、且つ、被写体に曲線が含まれる場合であってもその曲線を滑らかな曲線として表現することができ、且つ、局所領域での各色の画像情報間の相関性を利用した画像合成方法の影響により生じた色むらを軽減することができる。
【０１５９】
【数４５】
2007060847.tif 000126
【０１６０】
【数４６】
2007060847.tif 000127
【０１６１】
画像の端では、重み付き平滑フィルタの計算などができない場合があるが、その場合はそのフィルタを作用させないなど適切な処理をする。
【０１６２】
被写体距離が無限遠と実質的に同等であり、且つ、図１２に示すように、撮像領域１０４ｃでの光軸１０５ｃの位置が撮像領域１０４ａでの光軸１０５ａの位置に対してＸ軸方向に約０．５画素ずれており、撮像領域１０４ｂでの光軸１０５ｂの位置が撮像領域１０４ａでの光軸１０５ａの位置に対してＹ軸方向に約０．５画素ずれている場合、上記と同様の考え方に基づいて、被写体のエッジ方向に応じて合成画像ｈｒ，ｈｇ，ｈｂの合成方法を変更し、重み付き平滑フィルタ及びエッジ強調フィルタを作用させることができる。これにより、４つの単レンズからそれぞれ投影された４つの被写体像間のずれ量が、理想的なずれ量である０．５画素から外れている場合であっても、常に高解像度で色むらが少ないカラー画像を出力することができる。更に、濃淡の変化を滑らかに表現でき、且つ、被写体に曲線が含まれる場合であってもその曲線を滑らかな曲線として表現することができ、且つ、局所領域での各色の画像情報間の相関性を利用した画像合成方法の影響により生じた色むらを軽減することができる。
【０１６３】
また、視差により、撮像領域１０４ｃにおける被写体像の位置が撮像領域１０４ａにおける被写体像の位置に対してＸ軸方向に約０．５画素ずれており、且つ、撮像領域１０４ｂにおける被写体像の位置が撮像領域１０４ａにおける被写体像の位置に対してＹ軸方向に約０．５画素ずれている場合、上記と同様の考え方に基づいて、被写体のエッジ方向に応じて合成画像ｈｒ，ｈｇ，ｈｂの合成方法を変更し、重み付き平滑フィルタ及びエッジ強調フィルタを作用させることができる。これにより、４つの単レンズからそれぞれ投影された４つの被写体像間のずれ量が、理想的なずれ量である０．５画素から外れている場合であっても、常に高解像度で色むらが少ないカラー画像を出力することができる。更に、濃淡の変化を滑らかに表現でき、且つ、被写体に曲線が含まれる場合であってもその曲線を滑らかな曲線として表現することができ、且つ、局所領域での各色の画像情報間の相関性を利用した画像合成方法の影響により生じた色むらを軽減することができる。
【０１６４】
図１の４つのレンズ１０２ａ〜１０２ｄがレンズアレイ上に一体成型されている場合、温度変化によりレンズの光軸１０５ａ〜１０５ｄの位置が移動する。しかしながら、レンズアレイは等方的に膨張・収縮するため、レンズの光軸１０５ａ〜１０５ｄの位置の移動方向は、被写体距離が変化した場合に視差により被写体像が移動する方向と同じである。従って、温度変化による影響は視差の補正の処理に吸収される。よって、本実施の形態によれば、温度が変化しても、常に高解像度で色むらが少ないカラー画像を出力することができる。更に、濃淡の変化を滑らかにでき、且つ、被写体に曲線が含まれる場合であってもその曲線を滑らかな曲線として表現することができ、且つ、局所領域での各色の画像情報間の相関性を利用した画像合成方法の影響により生じた色むらを軽減することができる。
【０１６５】
上記の実施の形態は一例であり、本発明はこれに限定されない。例えば、異なる色の画像情報間の相関性を利用した画像合成方法や、被写体のエッジ方向に応じた画像の合成方法の選択、重み付き平滑フィルタやエッジ強調フィルタにおける重み係数の値などは、上記の例に限定されず、同様の考え方に基づく別の方法や値を用いても良く、その場合も上記と同様の効果を得ることができる。
【０１６６】
図１の撮像装置において、４つの単レンズからそれぞれ投影された４つの被写体像間のずれ量が、理想的なずれ量である０．５画素から外れている場合、演算時間やメモリ量を削減する目的でエッジ方向検出部１０８を除去し、（数８）から（数１０）を用いて赤、緑、青の合成画像ｈｒ、ｈｇ、ｈｂを算出しても良い。この場合、合成画像ｈｒ、ｈｇ、ｈｂに図１の平滑フィルタ部１０９及びエッジ強調部１１０を作用させることにより、４つの被写体像間のずれ量が、理想的なずれ量である０．５画素から外れていることに起因する色むらを低減することができ、被写体距離が変化しても、常に高解像度で色むらが少ないカラー画像を出力することができる。更に、局所領域での各色の画像情報間の相関性を利用した画像合成方法の影響により生じた色むらも軽減することができる。
【０１６７】
本実施の形態の撮像装置において、カラーフィルタ１１３ａ，１１３ｂ，１１３ｃ，１１３ｄを除去しても良い。この場合、（数５）を下記（数４７）に変更することにより、４つの単レンズからそれぞれ投影された４つの被写体像間のずれ量が、理想的なずれ量である０．５画素から外れている場合であっても、被写体距離や温度変化によらず常に高解像度で色むらが無い白黒画像を出力することができる。更に、濃淡の変化を滑らかに表現でき、且つ、被写体に曲線が含まれる場合であってもその曲線を滑らかな曲線として表現することができる、白黒映像を出力する薄型の撮像装置を実現できる。
【０１６８】
【数４７】
2007060847.tif 000128
【０１６９】
本実施の形態では、撮像領域１０４ｃに対する光軸１０５ｃの相対的位置関係が、撮像領域１０４ａに対する光軸１０５ａの相対的位置関係に対して、Ｙ軸方向に約０．５画素ずれていれば良い（ここで、「約０．５画素」とは、後述するように０．２５画素から０．７５画素の範囲を意味する）。図１はこの条件を満足する。また、図１３Ａは、撮像素子１０３上では光軸１０５ｃは光軸１０５ａに対してＹ軸方向に２．５画素ずれているが、撮像領域１０４ｃに対する光軸１０５ｃの相対的位置関係は、撮像領域１０４ａに対する光軸１０５ａの相対的位置関係に対して、Ｙ軸方向に約０．５画素ずれているので、上記の条件を満足している。
【０１７０】
撮像領域１０４ａ〜１０４ｄは、図１及び図１３Ａに示すように共通する１つの撮像素子１０３上に形成されている必要はなく、図１３Ｂに示すように別個の４つの撮像素子１０３ａ〜１０３ｄ上にそれぞれ形成されていても良い。但し、撮像領域１０４ａ〜１０４ｄのそれぞれの画素の水平方向及び垂直方向の配列方向が撮像領域１０４ａ〜１０４ｄ間で互いにほぼ同一である必要がある。この場合も、撮像領域１０４ｃに対する光軸１０５ｃの相対的位置関係が、撮像領域１０４ａに対する光軸１０５ａの相対的位置関係に対して、Ｙ軸方向に約０．５画素ずれているという上記の条件を満足していれば良い。
【０１７１】
但し、上記の条件を満足している場合であっても、光軸１０５ｃの光軸１０５ａに対するＹ軸方向のずれ量が大きすぎると、被写体距離が短い場合（即ち、近距離撮影の場合）には問題が生じる可能性がある。なぜなら、被写体距離が短い場合、光軸１０５ｃの光軸１０５ａに対するＹ軸方向のずれに起因して発生するＹ軸方向の視差が無視できなくなるからである。従って、被写体距離の下限値が分かっている場合には、光軸１０５ｃの光軸１０５ａに対するＹ軸方向のずれ量Ｇｓは（数４８）を満たすことが好ましい。ここで、Ａ１は被写体距離の下限値、ｆは単レンズ１０２ａ〜１０２ｄと撮像素子１０３との間の距離（合焦点距離）、ｐは撮像素子１０３の画素ピッチである。
【０１７２】
また、撮像領域１０４ｂに対する光軸１０５ｂの相対的位置関係は、撮像領域１０４ａに対する光軸１０５ａの相対的位置関係に対して、Ｘ軸方向に約０．５画素ずれていればば良い（ここで、「約０．５画素」とは、後述するように０．２５画素から０．７５画素の範囲を意味する）。図１はこの条件を満足する。また、図１３Ａは、撮像素子１０３上では光軸１０５ｂは光軸１０５ａに対してＸ軸方向に１．５画素ずれているが、撮像領域１０４ｂに対する光軸１０５ｂの相対的位置関係は、撮像領域１０４ａに対する光軸１０５ａの相対的位置関係に対して、Ｘ軸方向に約０．５画素ずれているので、上記の条件を満足している。
【０１７３】
撮像領域１０４ａ〜１０４ｄが、図１３Ｂに示すように別個の４つの撮像素子１０３ａ〜１０３ｄ上にそれぞれ形成されていても良い。但し、撮像領域１０４ａ〜１０４ｄのそれぞれの画素の水平方向及び垂直方向の配列方向が撮像領域１０４ａ〜１０４ｄ間で互いにほぼ同一である必要がある。この場合も、撮像領域１０４ｂに対する光軸１０５ｂの相対的位置関係が、撮像領域１０４ａに対する光軸１０５ａの相対的位置関係に対して、Ｘ軸方向に約０．５画素ずれているという上記の条件を満足していれば良い。
【０１７４】
但し、上記の条件を満足している場合であっても、光軸１０５ｂの光軸１０５ａに対するＸ軸方向のずれ量が大きすぎると、被写体距離が短い場合（即ち、近距離撮影の場合）には問題が生じる可能性がある。なぜなら、被写体距離が短い場合、光軸１０５ｂの光軸１０５ａに対するＸ軸方向のずれに起因して発生するＸ軸方向の視差が無視できなくなるからである。従って、被写体距離の下限値が分かっている場合には、光軸１０ｂの光軸１０５ａに対するＸ軸方向のずれ量Ｇｓは（数４８）を満たすことが好ましい。
【０１７５】
【数４８】
2007060847.tif 000129
【０１７６】
（数４８）を満たしていれば、撮像領域１０４ｃに対する光軸１０５ｃの相対的位置関係が、撮像領域１０４ａに対する光軸１０５ａの相対的位置関係に対して、Ｙ軸方向に０．５画素ずれているとき、撮像領域１０４ｃでの被写体像と撮像領域１０４ａでの被写体像とのＹ軸方向のずれ量は、被写体距離によらず常に０．２５画素以上０．７５画素以下となる。
【０１７７】
また、（数４８）を満たしていれば、撮像領域１０４ｂに対する光軸１０５ｂの相対的位置関係が、撮像領域１０４ａに対する光軸１０５ａの相対的位置関係に対して、Ｘ軸方向に０．５画素ずれているとき、撮像領域１０４ｂでの被写体像と撮像領域１０４ａでの被写体像とのＸ軸方向のずれ量は、被写体距離によらず常に０．２５画素以上０．７５画素以下となる。
【０１７８】
つまり、（数４８）を満たしていれば、被写体距離が変化しても、常に高解像度で、色むらが少ないカラー及び白黒画像を出力することができる。更に、濃淡の変化を滑らかにでき、且つ、被写体に曲線が含まれる場合であってもその曲線を滑らかな曲線として表現することができ、且つ、局所領域での各色の画像情報間の相関性を利用した画像合成方法の影響により生じた色むらを軽減することができる。
【０１７９】
本発明において、レンズ１０２ａ〜１０２ｄは同一平面状に形成されることが望ましいが、成型誤差等により厳密に同一平面状に形成されていなくても、本発明の撮像装置を実現可能であることは言うまでも無い。
【０１８０】
本発明では、撮像領域間での被写体像の位置のずれ量が約０．５画素であると、画像合成により高解像度画像を得ることができる。ここで、「約０．５画素」とは０．２５画素以上０．７５画素以下を意味する。これを図１４Ａ〜図１４Ｃを用いて説明する。
【０１８１】
撮像領域１０４ｂ上の被写体像と撮像領域１０４ａ上の被写体像とがＸ軸方向に０．５画素ずれており、且つ、Ｙ軸方向に０画素ずれている場合に、撮像領域１０４ｂから得られる画像と撮像領域１０４ａから得られる画像とを合成した合成画像において、撮像領域１０４ｂ上の被写体像を構成する画素と撮像領域１０４ａ上の被写体像を構成する画素とのＸ軸方向の１ライン上での位置関係を図１４Ａに示す。内側が白の円は撮像領域１０４ａ上の被写体像を構成する画素２０１、内側にハッチングを施した円は撮像領域１０４ｂ上の被写体像を構成する画素２０２である。画素２０１のＸ軸方向のピッチ及び画素２０２のＸ軸方向のピッチはいずれもｐである。画素２０１と画素２０２の間隔は０．５ｐである。したがって、合成画像の見かけ上のＸ軸方向画素ピッチは０．５ｐとなり、サンプリング周波数が見かけ上２倍になりＸ軸方向の高解像度化が可能となる。
【０１８２】
次に、図１４Ｂ及び図１４Ｃに、撮像領域１０４ｂ上の被写体像と撮像領域１０４ａ上の被写体像とがＸ軸方向にα画素（０．５＜α＜１）ずれており、且つ、Ｙ軸方向に０画素ずれている場合に、撮像領域１０４ｂから得られる画像と撮像領域１０４ａから得られる画像とを合成した合成画像において、撮像領域１０４ｂ上の被写体像を構成する画素２０２と撮像領域１０４ａ上の被写体像を構成する画素２０１とのＸ軸方向の１ライン上での位置関係を示す。画素２０１のＸ軸方向のピッチ及び画素２０２のＸ軸方向のピッチはいずれもｐである。画素２０１と画素２０２の間隔は、長い方でα・ｐ、短い方で（１−α）・ｐである。この場合、長い方の画素ピッチが見かけ上α・ｐとなることから、画素ピッチがｐである画像のサンプリング周波数をｆｓとすると、図１４Ｂ及び図１４Ｃの画像の見かけ上のサンプリング周波数はｆｓ／αとなる。サンプリング周波数がｆｓである画像を肉眼にて認識できる程度に高解像度化するためには、サンプリング周波数を４／３・ｆｓ以上に向上させることが好ましいことを、本発明者らは実験により確認している。従って、α＝０．７５である必要がある。即ち、図１４Ｂ及び図１４Ｃにおいて、画素２０１と画素２０２の間隔は、長い方で０．７５ｐ、短い方で０．２５ｐである必要がある。
【０１８３】
上記の理由により、高解像度化された合成画像を得るためには、撮像領域間での被写体像の位置のずれ量は０．２５画素以上０．７５画素以下であることが好ましく、本発明ではこの範囲を「約０．５画素」と表現している。上記の説明は、Ｘ軸方向における高解像度化を説明したが、Ｙ軸方向についても同様に適用されることはいうまでもない。
【０１８４】
本発明の撮像装置の量産時において、撮像領域１０４ｃ上の被写体像を撮像領域１０４ａ上の被写体像に対してＹ軸方向に約０．５画素ずらし、且つ、撮像領域１０４ｂ上の被写体像を撮像領域１０４ａ上の被写体像に対してＸ軸方向に約０．５画素ずらすためには、例えば、レンズ１０２ａ〜１０２ｄを精密に成型加工したり、あるいは、レンズ１０２ａ〜１０２ｄ及び撮像素子１０３の相対的位置を精密に位置決めしたりすることで実現できる。また、レンズ１０２ａ〜１０２ｄと撮像素子１０３とのレンズの光軸１０５ａ〜１０５ｄと平行な軸回りの相対的回転位置を調整することによっても実現できる。
【０１８５】
図１の画像処理部１０６の処理はプログラミング言語やＨＤＬ（Ｈａｒｄｗａｒｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｌａｎｇｕａｇｅ）などで記述され、その処理のフローチャートを図１５に示す。ディジタル信号入力ステップ３０１では図１のＡ／Ｄ変換器１１１からのディジタル信号を入力し、エッジ方向検出ステップ３０２では図１のエッジ方向検出部１０８と同様の処理を行い、画像合成ステップ３０３では図１の画像合成部１０７と同様の処理を行い、平滑フィルタステップ３０４では図１の平滑フィルタ部１０９と同様の処理を行い、エッジ強調ステップ３０５では図１のエッジ強調部１１０と同様の処理を行い、画像出力ステップ３０６では処理を行った画像をモニタやメモリ等に出力する。処理のフローチャートは図１５に限定されず、同様の処理が含まれるフローチャートであれば良く、その場合も本発明の効果が得られる。
【０１８６】
上記の実施の形態は、本発明を具現化した一例であり、本発明の技術的範囲を限定するものではない。
【０１８７】
上記した実施の形態により、本発明は上述した２つ課題を解決でき、以下の効果が得られる。
【０１８８】
第１に、被写体と撮像装置との距離が所定の固定値でなく変化する場合、もしくは温度変化等により複数のレンズ間の間隔が変化する場合であっても、画素ずらしのずらし量が変化しないため、アクチュエータなどによる物理的な調整なしで被写体距離や温度の変化にかかわらず常に高解像度の画像を得ることができる。
【０１８９】
第２に、レンズ成型誤差、実装誤差、被写体距離、温度などに起因して、異なる撮像領域での被写体像間のずれ量が、理想的なずれ量である０．５画素から外れている場合であっても、色むらの目立たない高画質の画像を得ることができる。
【０１９０】
これら第１、第２の効果により、レンズ成型誤差、実装誤差、被写体距離、温度などによらず、薄型で、常に高画素及び高画質な画像を撮像できる撮像装置を得ることが可能となる。
【０１９１】
以上に説明した実施の形態は、いずれもあくまでも本発明の技術的内容を明らかにする意図のものであって、本発明はこのような具体例にのみ限定して解釈されるものではなく、その発明の精神と請求の範囲に記載する範囲内でいろいろと変更して実施することができ、本発明を広義に解釈すべきである。
【産業上の利用可能性】
【０１９２】
本発明の撮像装置の利用分野は、特に制限はないが、例えば、携帯機器、車載、医療、監視、ロボット用途などに有用である。
【図面の簡単な説明】
【０１９３】
【図１】図１は、本発明の一実施の形態に係る撮像装置の概略構成図である。
【図２】図２は、図１のII−II線に沿った、本発明の一実施の形態に係る撮像装置の撮像部の矢視断面図である。
【図３】図３は、本発明の一実施の形態に係る撮像装置において、視差が発生する原理を説明するための図である。
【図４】図４は、本発明の一実施の形態に係る撮像装置において、視差補正の原理を説明する図である。
【図５】図５は、本発明の一実施の形態に係る撮像装置において、視差補正の方法を説明する図である。
【図６Ａ】図６Ａは、本発明の一実施の形態に係る撮像装置において、画像の合成方法の一例を説明する図である。
【図６Ｂ】図６Ｂは、本発明の一実施の形態に係る撮像装置において、画像の合成方法の別の例を説明する図である。
【図７Ａ】図７Ａは、本発明の一実施の形態に係る撮像装置において、１つの撮像領域から得られるｍ×ｎの画素数を有する画像を示した図である。
【図７Ｂ】図７Ｂは、本発明の一実施の形態に係る撮像装置において、画像合成により得られた２・ｍ×２・ｎの画素数を有する高解像度画像を示した図である。
【図８】図８は、本発明の一実施の形態に係る撮像装置において、合成されたカラー画像を示した図である。
【図９】図９は、本発明の一実施の形態に係る撮像装置において、撮像領域における被写体像及び光軸の位置を示した部分拡大図である。
【図１０Ａ】図１０Ａは、本発明の一実施の形態に係る撮像装置において、１つの撮像領域に結像された被写体像を示した図である。
【図１０Ｂ】図１０Ｂは、本発明の一実施の形態に係る撮像装置において、１つの撮像領域から得られた画像の画素配列を垂直方向に反転して得られた画像を示した図である。
【図１０Ｃ】図１０Ｃは、本発明の一実施の形態に係る撮像装置において、高解像度のカラー合成画像を示した図である。
【図１０Ｄ】図１０Ｄは、本発明の一実施の形態に係る撮像装置において、画像のエッジ方向に応じた画像合成を行って得られた高解像度のカラー合成画像を示した図である。
【図１１】図１１は、濃淡が変化する被写体を示した図である。
【図１２】図１２は、被写体距離が変化しない、本発明の別の実施の形態に係る撮像装置の概略構成図である。
【図１３Ａ】図１３Ａは、本発明の別の実施の形態に係る撮像装置の撮像部の概略構成図である。
【図１３Ｂ】図１３Ｂは、本発明の更に別の実施の形態に係る撮像装置の撮像部の概略構成図である。
【図１４Ａ】図１４Ａは、本発明の一実施の形態に係る撮像装置において、２つの撮像領域上の２つの被写体像が水平方向に０．５画素ずれている場合に、合成画像において２つの被写体像を構成する画素の水平方向の位置関係を示した図である。
【図１４Ｂ】図１４Ｂは、本発明の一実施の形態に係る撮像装置において、２つの撮像領域上の２つの被写体像が水平方向にα画素（０．５＜α＜１）ずれている場合に、合成画像において２つの被写体像を構成する画素の水平方向の位置関係の一例を示した図である。
【図１４Ｃ】図１４Ｃは、本発明の一実施の形態に係る撮像装置において、２つの撮像領域上の２つの被写体像が水平方向にα画素（０．５＜α＜１）ずれている場合に、合成画像において２つの被写体像を構成する画素の水平方向の位置関係の別の例を示した図である。
【図１５】図１５は、本発明の一実施の形態に係る撮像装置の画像処理部が行う処理を示したフローチャートである。
【図１６】従来の複眼方式の撮像装置の概略構成を示した図である。
【図１７Ａ】図１７Ａは、複眼方式の撮像装置において、複数のレンズと被写体と被写体像との位置関係を示した断面図である。
【図１７Ｂ】図１７Ｂは、複眼方式の撮像装置において、複数のレンズの光軸と被写体像との位置関係を示した平面図である。
【図１８】図１８は、従来の複眼方式の撮像装置において、複数のレンズの光軸の位置と複数の撮像領域との関係を示した平面図である。
【図１９Ａ】図１９Ａは、従来の複眼方式の撮像装置において、１つの撮像領域に結像された被写体像を示した図である。
【図１９Ｂ】図１９Ｂは、従来の複眼方式の撮像装置において、複数の撮像領域と複数の被写体像とが図１８に示す位置関係を有している場合において、画素ずらし技術を用いて複数の画像を合成して得た合成画像を示した図である。
【図１９Ｃ】図１９Ｃは、従来の複眼方式の撮像装置において、複数の撮像領域と複数の被写体像とが理想的な位置ずれ関係を有している場合において、画素ずらし技術を用いて複数の画像を合成して得た合成画像を示した図である。
【図１９Ｄ】図１９Ｄは、従来の複眼方式の撮像装置において、１つの撮像領域が撮像した画像を示した図である。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2007060847.tif 000130
【図２】
2007060847.tif 000131
【図３】
2007060847.tif 000132
【図４】
2007060847.tif 000133
【図５】
2007060847.tif 000134
【図６Ａ】
2007060847.tif 000135
【図６Ｂ】
2007060847.tif 000136
【図７Ａ】
2007060847.tif 000137
【図７Ｂ】
2007060847.tif 000138
【図８】
2007060847.tif 000139
【図９】
2007060847.tif 000140
【図１０Ａ】
2007060847.tif 000141
【図１０Ｂ】
2007060847.tif 000142
【図１０Ｃ】
2007060847.tif 000143
【図１０Ｄ】
2007060847.tif 000144
【図１１】
2007060847.tif 000145
【図１２】
2007060847.tif 000146
【図１３Ａ】
2007060847.tif 000147
【図１３Ｂ】
2007060847.tif 000148
【図１４Ａ】
2007060847.tif 000149
【図１４Ｂ】
2007060847.tif 000150
【図１４Ｃ】
2007060847.tif 000151
【図１５】
2007060847.tif 000152
【図１６】
2007060847.tif 000153
【図１７Ａ】
2007060847.tif 000154
【図１７Ｂ】
2007060847.tif 000155
【図１８】
2007060847.tif 000156
【図１９Ａ】
2007060847.tif 000157
【図１９Ｂ】
2007060847.tif 000158
【図１９Ｃ】
2007060847.tif 000159
【図１９Ｄ】
2007060847.tif 000160
【国際調査報告】
2007060847.tif 000161
2007060847.tif 000162
2007060847.tif 000163
2007060847.tif 000164