(57)【要約】      （修正有）【課題】複数の撮像系を用いて撮像した画像を合成することにより高解像度な画像を生成する撮像装置において、ハードウェア化した際のメモリの使用量を減らす。【解決手段】撮像装置に光学系１０２，１０５，１０８と撮像素子１０３，１０６，１０９とを有する撮像系１０１，１０４，１０７を少なくとも３つ備え、前記撮像系は、前記撮像素子の画素の配列方向に配置され、所定範囲の撮像距離内にある被写体が、第一の撮像系の撮像画像に対し、他のいずれかの撮像系により、前記配列方向のサンプリング位相が０．２から０．８画素ずれて撮像されるようにする。【選択図】図１
2011239372.tif 000002
【特許請求の範囲】
【請求項１】
光学系と撮像素子とを有する撮像系を少なくとも３つ備え、前記撮像系は、前記撮像素子の画素の配列方向に配置され、第一の撮像系の撮像画像中の所定範囲内の撮像距離にある被写体が、前記第一の撮像系の撮像画像に対し、他のいずれかの撮像系により、前記配列方向のサンプリング位相が０．２から０．８画素ずれて撮像されることを特徴とする撮像装置。
【請求項２】
前記撮像系は前記配列方向に略等間隔に配置され、前記撮像系の光軸は略平行であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
所定範囲の撮像距離内にある被写体が、いずれかの撮像系の撮像画像に対し、他のいずれかの撮像系により、前記配列方向と垂直な方向のサンプリング位相が０．２から０．８画素ずれて撮像されることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
所定範囲の撮像距離内にある被写体が、いずれかの撮像系の撮像画像に対し、他のいずれかの撮像系により、前記配列方向と垂直な方向のサンプリング位相が略０．５画素ずれて撮像されることを特徴とする請求項１または２に記載の撮像装置。
【請求項５】
所定範囲の撮像距離内にある被写体が、いずれかの撮像系の撮像画像に対し、他のいずれかの撮像系により、前記配列方向と垂直な方向のサンプリング位相がほぼずれなく撮像されることを特徴とする請求項３または４に記載の撮像装置。
【請求項６】
所定範囲の撮像距離内にある被写体が、いずれかの撮像系の撮像画像に対し、他のいずれか２つの撮像系により、前記配列方向と垂直な方向のサンプリング位相が略１／３画素ずつずれて撮像されることを特徴とする請求項１または２に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像系を複数用いた撮像装置に関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置の多画素化や高精細化が進み、その光学性能を十分に出すためにレンズなどの光学系が大きくなってしまったり、撮像素子そのものが大きくなってしまうという問題がある。
【０００３】
光学系や撮像素子の大きさを変えずに画像の解像度を向上させる方法として、光学系と撮像素子との相対的位置関係を時間的にずらしたり、プリズムを用いて光を複数に分離し、複数の撮像素子に入射させたりすることにより、被写体像と撮像素子の画素との位置関係が相互にずれた複数の画像情報を取得し、これらの複数の画像情報を合成することにより高解像度な画像を取得する「画素ずらし」と呼ばれる技術が知られている。例えば、特許文献１では、図２１に示すように撮像素子を変位させる変位手段を備え、被写体像と撮像素子との相対的位置関係を撮像素子の画素の配列方向に対して斜め方向に変位させることで、水平方向と垂直方向の解像度を向上させる技術が提案されている。ここで、水平方向、垂直方向とは、図２２に示すように、画素の配列方向を意味する。
【０００４】
また、画素ずらしの技術は、複数の撮像系を用いる複眼方式においても提案されている。特許文献２では、複数の撮像系を、画素の配列方向に対して垂直な方向に画素ずらしを実現するよう配置することで、解像度を向上させる技術が提案されている。
【０００５】
複眼方式における画素ずらしの技術の理解を深めるため、図２３から図２６を用いて画素ずらしについて説明する。
【０００６】
図２３は、２つの撮像系２３０２、撮像系２３０３で共通の被写体２３０１を撮像している様子を示している。図２４は、撮像系２３０２の撮像する領域を格子２４０１で示し、撮像系２３０３の撮像する領域を格子２４０２（破線）で示しており、最小の四角形の１つ１つが１つの画素によって撮像される領域を示している。図２４では、２つの撮像系の各画素によって撮像される領域がほぼ重なりあっており、サンプリング位相が揃っている。一方、図２５では、２つの撮像系の撮像素子の各画素が撮像する領域が水平方向に３／２画素、垂直方向に１／２画素分ずれており、サンプリング位相がずれている。ここでいうサンプリング位相とは、複数の撮像系における、被写体のある点の撮像素子上の結像点と画素との相対的な位置関係を意味する。例えば、図２５においては、水平方向に３／２画素ずれて撮像されており、水平方向のサンプリング位相のずれは、小数部分である1／２画素となる。画素ずらしとは、このサンプリング位相がずれた状態を意味する。
【０００７】
次に、図２６を用いて、複眼方式において、撮像距離が変化した場合のサンプリング位相の変化について説明する。図２６において、撮像系２６０１は光学系２６０２と撮像素子２６０３とを備え、撮像系２６０５は光学系２６０６と撮像素子２６０７とを備えている。光学系２６０２と光学系２６０６は同一平面上に配置されており、それぞれの光軸は上記平面に垂直であり、図２６はその様子を上から見た図である。図２６において、被写体は、光学系２６０２の光軸上の点Ｐ０もしくは点Ｐ１に位置している。点Ｐ０に位置する被写体の被写体像は、撮像素子２６０３の画素２６０４の中心に結像し、また、撮像素子２６０７の画素２６０８の中心に結像している。つまり、サンプリング位相が揃った状態にある。被写体がＰ０にある撮像距離Ｈ０の状態から、Ｐ１にある撮像距離Ｈ１の状態に変化した場合、撮像素子２６０７での結像位置がシフトし、そのシフト量の差は、ｕ０−ｕ１となり、
ｕ０−ｕ１＝ｆ×Ｂ×（（１／Ｈ０）−（１／Ｈ１）)・・・（１）
と表せる。ここで、ｆは焦点距離、Ｂは基線長である。ここで、基線長Ｂは、光学系２６０２の主点Ｑと光学系２６０６の主点Ｒの距離とする。
【０００８】
例えば、焦点距離ｆを５ｍｍ、基線長Ｂを１２ｍｍ、撮像距離Ｈ０を７００ｍｍ、撮像距離Ｈ１を７２５ｍｍとすると、結像位置のシフト量の差は、（１）式より約３μｍとなる。撮像素子の画素ピッチが６μｍである場合、撮像距離が７００ｍｍから７２５ｍｍに変化することで、サンプリング位相が約１／２画素シフトすることになる。撮像距離７００ｍｍでサンプリング位相が１／２画素ずれた状態にあるとすると、撮像距離が７２５ｍｍに変化した場合、１／２＋１／２＝１と整数となり、即ち、サンプリング位相が揃ってしまい、高解像度化できなくなる。撮像距離に依らずサンプリング位相がずれた状態にするには、（１）式より、結像位置がシフトしないよう焦点距離ｆまたは基線長Ｂを小さくすればよい。基線長Ｂとは２つの撮像系の光学系の主点間距離であるが、図２７に示すように、基準となる撮像系の撮像素子の画素の配列方向を水平方向、垂直方向とし、基線長Ｂの水平成分を水平方向の基線長ＢＨ、垂直成分を垂直方向の基線長ＢＶと表現する。
【０００９】
特許文献２では、水平方向の基線長と垂直方向の基線長が小さくなるように複数の撮像系を配置することで、撮像距離が変化してもサンプリング位相の変化が少なく、撮像距離に依らず画素ずらしする技術を提案している。
【００１０】
図２８、２９を用いて、特許文献２に開示されている複眼方式を説明する。図２８に示すように、特許文献２では、光学系３０１ａ、３０１ｂ、３０１ｃを、同一平面内に各光軸３００ａ、３００ｂ、３００ｃが平行となるよう配置し、光学系を平面内で回転させることで、被写体像の結像位置をずらし、画素ずらしを実現している。このとき、図２９に示すように光軸３００ｂと光軸３００ｃのＹ方向（図中に記載）のずれが十分に小さいため、すなわち、Ｙ方向の基線長が十分に小さいため、撮像距離が変化してもＹ方向のサンプリング位相の変化を小さく抑えることが出来る。
【００１１】
Ｘ方向（図中に記載）に関しては、Ｘ方向の基線長が大きいため、撮像距離によってはサンプリング位相が揃うが、光学系３０１ａと光学系３０１ｂのＸ方向の基線長が十分に小さいため、撮像距離が変化してもＸ方向のサンプリング位相の変化を小さく抑えることが出来る。
【００１２】
このように、特許文献２では、撮像距離が変化に伴うサンプリング位相の変化が小さくなるよう撮像系を配置し、撮像距離に依らず画素ずらしを実現する技術を提案している。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開平１０−３０４２３５号公報
【特許文献２】国際公開ＷＯ２００７／０１３２５０公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、複眼方式の画素ずらしにより高解像度画像を得るためには、各撮像素子における画像間のずれ量（視差）を計算しなければならない。特許文献２において、画素ずらし方向における撮像素子のずれ量は撮像距離に依らず約１／２画素であるが、画素ずらし方向と垂直な方向に関しては、基線長が大きく、撮像距離によって画像間のずれ量が変化するため、そのずれ量を知る必要がある。その方法として、例えば、ステレオマッチングという方法がある。ステレオマッチングとは、同一の被写体を撮影した視点の異なる複数の画像上において、一方の画像を基準とし、その画像中の各画素に対し対応点（同じ空間点の投影点）を他方の画像中から探索することである。ステレオマッチングには、テンプレートマッチングを利用して対応点を求める領域ベースマッチングやエッジやコーナーなどの特徴点を抽出して求める特徴ベースマッチングなど様々な方法がある。そして、このようにして得られた画像間のずれ量をもとに、各画素を生成する高解像度画像上の対応する点に配置する事により、高解像度画像を生成する。この際、特許文献２に示すように、垂直方向に異なる高さに配置された撮像系の画像を合成して高解像度画像を生成する際には、対応点が画像中の垂直方向にずれた場所に位置する。従って、ハードウェアによる処理時に画像の読み出しを画像左上から行う際、各撮像系で対応点の存在する領域に到達するタイミングが異なるため、データを保持しておく必要があり、ラインメモリあるいはフレームメモリを利用する必要がある。
【００１５】
また、特許文献２の構成では水平垂直全ての方向について高解像度化をするためには、水平垂直にそれぞれ１／２画素ずれた２眼が必要となり、水平あるいは垂直方向に各カメラを並置し、一方向に薄い構成を実現する事が出来ない。
【００１６】
本発明は、このような事情に鑑みてなされたもので、水平、あるいは垂直の一方向に各カメラを配置し、ハードウェア化した際にメモリの使用量が少ない構成で、被写体の距離に依らず高解像度化することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明は上述した課題を解決するためになされたもので、本発明の第一の技術手段は、光学系と撮像素子とを有する撮像系を少なくとも３つ備え、前記撮像系は、前記撮像素子の画素の配列方向に配置され、第一の撮像系の撮像画像中の所定範囲内の撮像距離にある被写体が、前記第一の撮像系の撮像画像に対し、他のいずれかの撮像系により、前記配列方向のサンプリング位相が０．２から０．８画素ずれて撮像されることを特徴とする。
【００１８】
第二の技術手段は、第一の技術手段において、前記撮像系は前記配列方向に略等間隔に配置され、前記撮像系の光軸は略平行であることを特徴とする。
【００１９】
第三の技術手段は、第一または第二の技術手段において、所定範囲の撮像距離内にある被写体が、いずれかの撮像系の撮像画像に対し、他のいずれかの撮像系により、前記配列方向と垂直な方向のサンプリング位相が０．２から０．８画素ずれて撮像されることを特徴とする。
【００２０】
第四の技術手段は、第一または第二の技術手段において、所定範囲の撮像距離内にある被写体が、いずれかの撮像系の撮像画像に対し、他のいずれかの撮像系により、前記配列方向と垂直な方向のサンプリング位相が略０．５画素ずれて撮像されることを特徴とする。
【００２１】
第五の技術手段は、第三または第四の技術手段において、所定範囲の撮像距離内にある被写体が、いずれかの撮像系の撮像画像に対し、他のいずれかの撮像系により、前記配列方向と垂直な方向のサンプリング位相がほぼずれなく撮像されることを特徴とする。
【００２２】
第六の技術手段は、第一または第二の技術手段において、所定範囲の撮像距離内にある被写体が、いずれかの撮像系の撮像画像に対し、他のいずれか２つの撮像系により、前記配列方向と垂直な方向のサンプリング位相が略１／３画素ずつずれて撮像されることを特徴とする。
【００２３】
第七の技術手段は、光学系と撮像素子とを有する撮像系を少なくとも３つ備え、前記撮像系は略直線上に配置され、前記直線を含む平面の法線と前記撮像系の光軸とが略平行をなし、前記直線と前記撮像素子の画素の一方の配列方向とが略平行をなし、前記撮像系のいずれかの撮像系により、所定範囲内の撮像距離にある被写体が、前記配列方向のサンプリング位相がずれて撮像されるように構成されることを特徴とする。
【００２４】
第八の技術手段は、第七の技術手段において、前記撮像系のいずれかの撮像系により、所定範囲内の撮像距離にある被写体が、前記配列方向のサンプリング位相が０．２から０．８画素ずれて撮像されるように構成されることを特徴とする。
【００２５】
第九の技術手段は、第七の技術手段において、前記撮像系の光軸は、前記配列方向に等間隔に配置されることを特徴とする。
【００２６】
第十の技術手段は、第七から第九のいずれかの技術手段において、前記撮像系のいずれかの撮像系により、所定範囲内の撮像距離にある被写体が、前記配列方向と垂直な方向のサンプリング位相がずれて撮像されるように構成されることを特徴とする。
【００２７】
第十一の技術手段は、第七から第九のいずれかの技術手段において、前記撮像系のいずれかの撮像系により、所定範囲内の撮像距離にある被写体が、前記配列方向と垂直な方向のサンプリング位相が０．２から０．８画素ずれて撮像されるように構成されることを特徴とする。
【００２８】
第十二の技術手段は、第七から第九のいずれかの技術手段において、前記撮像系のいずれかの撮像系により、所定範囲内の撮像距離にある被写体が、前記配列方向と垂直な方向のサンプリング位相が０．５画素ずれて撮像されるように構成されることを特徴とする。
【００２９】
第十三の技術手段は、第十一または第十二の技術手段において、前記撮像系のいずれかの撮像系により、所定範囲内の撮像距離にある被写体が、前記配列方向と垂直な方向のサンプリング位相がずれなく撮像されるように構成されることを特徴とする。
【００３０】
第十四の技術手段は、第十または第十一の技術手段において、前記撮像系のいずれか３つの撮像系により、所定範囲内の撮像距離にある被写体が、前記配列方向と垂直な方向のサンプリング位相が１／３画素ずつずれて撮像されるように構成されることを特徴とする。
【発明の効果】
【００３１】
本発明によれば、複数の撮像系を用いて共通の被写体を撮像する撮像装置において、撮像系を水平あるいは垂直のどちらか一方向に並置することにより、得られた複数の画像を合成し画素数が多く解像度の高い画像を生成する際に、メモリの使用量を低減することが可能となる。また、一方向に並置することにより薄型化することが可能となる。
【図面の簡単な説明】
【００３２】
【図１】本発明の第一の実施形態の構成を示す図である。
【図２Ａ】撮像素子の画素の配列方向とＸ軸、Ｙ軸、Ｚ軸との関係を説明する図である。
【図２Ｂ】３つの撮像素子の配置を説明する図である。
【図３】撮像装置を上から見たＸＺ平面図である。
【図４】撮像距離を変化させた場合の結像位置のシフト量を示すグラフである。
【図５】サンプリング位相の撮像距離依存性を示すグラフである。
【図６】サンプリング位相のずれを計算した結果を示すグラフである。
【図７】図５のサンプリング位相のずれと図６のサンプリング位相のずれを重ねた結果を示すグラフである。
【図８】図７の縦軸の表示範囲を０．２５画素から０．７５画素にした結果を示すグラフである。
【図９】撮像素子１０６と１０９を光軸方向から見た図である。
【図１０】３つの撮像系の配置の他の例を示す図である。
【図１１】３つの撮像系の配置のさらに他の例を示す図である。
【図１２】３つの撮像系の配置のさらに他の例を示す図である。
【図１３】垂直方向に並置された２つの撮像系が被写体を撮像している様子を示す図である。
【図１４】図１３の状態で撮像した場合の撮像画像を示す図である。
【図１５】水平方向に並置された２つの撮像系が被写体を撮像している様子を示す図である。
【図１６】図１５の状態で撮像した場合の撮像画像を示す図である。
【図１７】ＱＲ＝１１．７ｍｍの場合のサンプリング位相のずれ量を示すグラフである。
【図１８】ＱＲ＝１１．０ｍｍの場合のサンプリング位相のずれ量を示すグラフである。
【図１９】水平方向に並置した２つの撮像系で撮像した画像を示す図である。
【図２０】水平方向に並置した２つの撮像系で撮像した画像を示す図である。
【図２１】特許文献１に記載の技術を説明する図である。
【図２２】撮像素子に対する水平方向および垂直方向を説明する図である。
【図２３】２つの撮像系で共通の被写体を撮像している様子を示す図である。
【図２４】２つの撮像系の撮像する領域を格子で示した図である。
【図２５】画素ずらしの状態を説明する図である。
【図２６】複眼方式において撮像距離が変化した場合のサンプリング位相の変化を説明する図である。
【図２７】水平方向の基線長ＢＨおよび垂直方向の基線長ＢＶを説明する図である。
【図２８】特許文献２に開示されている複眼方式を説明する図である。
【図２９】特許文献２に開示されている複眼方式を説明する図である。
【図３０】２つの撮像系による高解像度化を検証した結果を示すグラフである。
【発明を実施するための形態】
【００３３】
＜第一の実施形態＞
以下、本発明の第一の実施形態について、図面を参照して説明する。図１は本実施形態の構成を示す図である。図１は、本実施形態における撮像装置内に備えられる３つの撮像系の配置を示す図である。撮像系１０１は光学系１０２と撮像素子１０３を備え、撮像系１０４は光学系１０５と撮像素子１０６を備え、撮像系１０７は光学系１０８と撮像素子１０９を備えている。３つの光学系１０１、１０４、１０７は略同一平面上に配置されており、それぞれの光軸は略平行である。また、３つの撮像素子１０３、１０６、１０９は略同一平面上に配置されており、光学系が配置されている平面と撮像素子が配置されている平面は略平行である。
【００３４】
本実施形態では、図２Ａに示すように、撮像素子１０６の画素の配列方向を水平方向（Ｘ軸）、垂直方向（Ｙ軸）とし、光軸と平行な方向を撮像距離Ｚ軸とし、原点を光学系１０５の主点とする。また、図２Ｂに示すように、撮像素子１０３と１０９の画素の配列方向は撮像素子１０６の画素の配列方向と略平行である。また、撮像素子１０３、１０６、１０９の水平方向の画素ピッチは等しく、垂直方向の画素ピッチも等しい。また、各撮像素子の画素の読み出し方向はＸ方向であるものとする。
【００３５】
図３は、図１に示す撮像装置を上から見たＸＺ平面図である。図３を用いて、撮像系１０４と１０７の水平方向のサンプリング位相の関係について述べる。図３に示すように、Ｚ＝Ｈ０の点Ｐ０にある被写体は、撮像系１０４では撮像素子１０６の画素１０６ａの中央に結像しており、撮像系１０７では撮像素子１０９の画素１０９ａの中央に結像している。即ち、撮像距離Ｈ０では、撮像系１０４と１０７の水平方向のサンプリング位相は揃っている。サンプリング位相は光学系と撮像素子の相対的な位置関係を変化させることで変わるが、図３においては、撮像距離Ｐ０において撮像系１０４と１０７の水平方向のサンプリング位相が揃っている状態にあるとする。次に、撮像距離を変化させた場合のサンプリング位相の変化について述べる。
【００３６】
図４に、焦点距離ｆを５ｍｍ、基線長Ｂ（＝ＲＳ）を１２ｍｍ、撮像距離Ｈ０を５００ｍｍとして、撮像距離をＨ０から変化させた場合の結像位置のシフト量を（１）式より計算した結果を示す。横軸は撮影距離、縦軸が結像位置のシフト量である。撮像距離の変化とともに、シフト量が変化している。
【００３７】
次に、サンプリング位相のずれ量を計算する。サンプリング位相は、前記シフト量を撮像素子の画素ピッチで除した値と撮像距離Ｈ０でのサンプリング位相のずれ量の和の小数点以下の値から算出出来る。例えば、図４において、撮像距離Ｈ１（＝６００ｍｍ）でのシフト量は（１）式より、
ｕ０−ｕ１＝５×１２×（（１／５００）−（１／６００）)＝０．０２  （ｍｍ）
となり、画素ピッチを６μｍとして、シフト量を画素ピッチで除すると、
０．０２÷０．００６≒３．３３  （画素）
となり、撮像距離Ｈ０（＝５００ｍｍ）から３．３３画素シフトしている。撮像距離Ｈ０でサンプリング位相が０．５画素ずれているとすると、撮像距離Ｈ１でのサンプリング位相のずれ量は、
３．３３＋０．５＝３．８３  （画素）
となり、小数点以下の０．８３画素が撮像距離Ｈ１でのサンプリング位相のずれ量となる。上記計算によりサンプリング位相のずれ量が負の値となる場合は、１を足した値がサンプリング位相のずれ量となる。
【００３８】
図５にサンプリング位相の撮像距離依存性を示す。水平方向の画素ピッチは６μｍとする。基準とした撮像距離Ｈ０（＝５００ｍｍ）ではサンプリング位相が揃っているとする。撮像距離を変えるとサンプリング位相が変化することがわかる。従って、撮像系１０４と１０７は撮像距離によってサンプリング位相が揃う距離があり、撮像距離に依っては高解像度化出来ない距離がある。
【００３９】
そこで、本実施形態では、撮像系１０４と１０７では高解像度化出来ない撮像領域を、撮像系１０４と１０１により高解像度化し、撮像領域全体に渡る高解像度化を実現する。
前述のように、基準とした撮像距離Ｈ０で撮像系１０４と１０７のサンプリング位相が揃っているため、撮像系１０４と１０１のサンプリング位相が１／２画素ずれるよう、撮像素子１０３を配置する。図３において、点Ｐ０にある被写体は、撮像系１０４では撮像素子１０６の画素１０６ａの中央に結像しているが、撮像系１０１では撮像素子１０３の画素１０３ａと撮像素子１０３ｂの間に結像しており、サンプリング位相が１／２画素ずれている。
【００４０】
次に、撮像距離を変化させた場合のサンプリング位相の変化について述べる。
図６に、焦点距離ｆを５ｍｍ、基線長Ｂ（＝ＱＲ）を１２ｍｍ、撮像距離Ｈ０を５００ｍｍとして、撮像距離をＨ０から変化させた場合の結像位置のシフト量を（１）式より計算しサンプリング位相のずれを計算した結果を示す。基準とした撮像距離Ｈ０（＝５００ｍｍ）ではサンプリング位相が１／２が画素ずれており、撮像距離を変えるとサンプリング位相が変化することがわかる。
【００４１】
次に、図５に示した撮像系１０４と１０７のサンプリング位相のずれと、図６に示した撮像系１０４と１０１のサンプリング位相のずれを重ねた結果を図７に示す。撮像系１０４と１０７のサンプリング位相のずれを細線で、撮像系１０４と１０１のサンプリング位相のずれを太線で示している。図７からわかるように、一方のサンプリング位相が揃う撮像距離において、他方のサンプリング位相がずれており、すべての撮像距離において少なくとも一方は画素ずらしの状態となっている。図７の縦軸の表示範囲を０．２５画素から０．７５画素にしたものを、図８に示す。すべての撮像距離において、サンプリング位相のずれ量のどちらか一方が必ず０．２５画素から０．７５画素の範囲内に入っていることがわかる。
【００４２】
次に、高解像度化するために必要なサンプリング位相のずれ量について述べる。図３０に、２つの撮像系を用いて高解像度化の検証を行った結果を示す。水平に配置した２つの撮像系で解像度測定用のチャートを撮像し、２つの画像を合成し、合成画像の水平方向の解像度を評価した。図の横軸は撮像系からチャートまでの撮像距離を示しており、チャートを１００ｃｍから１ｃｍ刻みで１２５ｃｍまで、順に計２６点に配置して撮像した。図の縦軸は、合成画像の水平方向の解像度を示している。また、縦軸には、サンプリング位相のずれ量も合わせて示している。サンプリング位相のずれ量は、撮像系の焦点距離や画素ピッチ、撮像距離等を用いて、上述の方法で算出した。図より、十分に解像度を向上させるには、０．２０画素から０．８０画素のサンプリング位相のずれが必要であることがわかる。したがって、３つの撮像系を用い、すべての撮像距離において、サンプリング位相のずれ量のどちらか一方が必ず０．２５画素から０．７５画素の範囲内に入っている図８の条件においては、すべての撮像距離において高解像度化出来る。
【００４３】
本実施形態では、撮像系１０４と１０１の水平方向の基線長ＱＲと、撮像系１０４と１０７の水平方向の基線長ＲＳをいずれも１２ｍｍと等しい構成とし、焦点距離ｆも５ｍｍと等しくした。基線長、焦点距離を等しくすることで、撮像距離に変化に伴うシフト量の変化量が等しくなり、基準とする距離において、ある１つの撮像系（ここでは撮像系１０４）とサンプリング位相の揃う撮像系（ここでは撮像系１０７）と、サンプリング位相の１／２画素ずれる撮像系（ここでは撮像系１０１）を備えることで、すべての撮像距離にある被写体を、高解像度化可能な画素ずらしの状態で撮像することが可能となる。
【００４４】
次に、垂直方向の高解像度化について述べる。図９に、撮像素子１０６と１０９を光軸方向から見た図を示す。Ｒ’とＳ’は撮像系１０４と１０７のそれぞれの光軸と撮像素子が交わる点を示しており、光軸の高さは一致している。撮像素子１０９は、撮像素子１０６に対し、垂直方向にサンプリング位相が１／２画素ずれるよう配置されている。光軸の高さが一致していることから、垂直方向の基線長は零であり、式（１）より、撮像距離が変化してもサンプリング位相が変化しない。従って、すべての撮像距離において垂直方向のサンプリング位相が１／２画素ずれており、すべての撮像距離において高解像度化出来る。また、水平方向と同様、垂直方向の高解像度化についても、３つの撮像系のうち、少なくとも２つの撮像系のサンプリング位相が高解像度化可能な０．２０から０．８０画素ずれていればよい。
【００４５】
以上のような構成により、撮像系を水平方向に３つ配置することで、撮像距離に依らず、垂直方向にも水平方向にも高解像度化可能となる。
【００４６】
なお、垂直方向の高解像度化については、３つの撮像系のうち、少なくとも２つの撮像系のサンプリング位相が高解像度化可能な０．２０から０．８０画素ずれた状態であればよいため、３つの撮像系の配置は、上記に限らない。例えば、図１０に示すように、３つの撮像系のサンプリング位相が１／３画素ずつずれた構成でもよいし、図１１に示すように、基準の撮像系に対し、一方の撮像系のサンプリング位相が１／２画素ずれており、他方の撮像系のサンプリング位相が揃う構成でもよいし、図１２に示すように、基準の撮像系に対し、２つの撮像系のサンプリング位相が共に１／２画素ずれており、その２つの撮像系のサンプリング位相が揃う構成にしてもよい。
【００４７】
次に、複眼方式の画素ずらしにより高解像度画像を得るために必要な、複数の画像のずれ量（視差）の計算について述べる。図１３は、２つの撮像系１３０１と１３０２が垂直方向に並置され、被写体１３０３を撮像している。図１４に、図１３の状態で撮像した場合の撮像系１３０１の撮像画像１４０１と、撮像系１３０２の撮像画像１４０２を示す。被写体１３０３は垂直方向にずれて撮像される。ハードウェア処理により、撮影画像１４０２を基準とし撮影画像１４０１中から対応点を探索する場合、例えば、網掛けで示す撮影画像１４０２中の画素１４０４に対応する点は、撮影画像１４０１中の画素１４０３となるが、対応点の探索を斜線で示す左上の画素１４０５から行うと、対応点である画素１４０３に到達するまでデータを保持しておく必要があり、ラインメモリあるいはフレームメモリを利用する必要が生じる。
【００４８】
一方、図１５は、２つの撮像系１５０１と１５０２が水平方向に並置され、被写体１５０３を撮像している。図１６に、図１５の状態で撮像した場合の撮像系１５０１の撮像画像１６０１と、撮像系１５０２の撮像画像１６０２を示す。被写体１５０３は水平方向にずれて撮像される。ハードウェア処理により、撮影画像１６０２を基準とし撮影画像１６０１中から対応点を探索する場合、例えば、網掛けで示す撮影画像１６０２中の画素１６０４に対応する点は、撮影画像１６０１中の画素１６０３となるが、垂直方向のずれがないため、対応点の探索を斜線で示す左上の画素１６０５から行う必要はなく、対応点である画素１６０３と同じ高さのライン上の左端の画素である横線で示す画素１６０６から探索すればよく、対応点に到達するまで保持しておくデータ量を、撮像系を垂直に並置する場合に比べて大幅に低減することが可能となる。
【００４９】
また、３つの撮像系を水平方向に並置することにより、従来の垂直方向と水平方向に並置する構成と比較し、垂直方向に薄型化することが可能となる。
【００５０】
＜第二の実施形態＞
次に、本発明の第二の実施形態について述べる。第一の実施形態では、焦点距離の等しい３つの撮像系を水平方向の基線長が等しくなるよう配置することで、撮像距離に依らず垂直方向、水平方向ともに高解像度化可能な構成を実現した。
【００５１】
第二の実施形態では、撮像装置の実際の製造過程において位置精度に誤差が生じた場合においても撮像距離に依らず高解像度化可能な構成について説明する。
【００５２】
３つの撮像系が等間隔に並んでいない場合、撮像距離の変化に伴うシフト量の大きさが異なるが、基線長の違いが微小であれば、サンプリング位相に与える影響も微小となり、撮像距離に依らず高解像度化可能となる。
【００５３】
例えば、図３において、３つの撮像系の焦点距離ｆを５ｍｍ、基線長ＲＳとＱＲを１２ｍｍとして、高解像度化したい撮像距離の範囲を１０００ｍｍから３０００ｍｍとした場合において、上記撮像距離範囲内において高解像度化出来るよう撮像するための基線長ＱＲの許容誤差を求める。撮像距離１５００ｍｍで撮像系１０４と撮像系１０７のサンプリング位相が１／２画素ずれる状態とし、撮像系１０１と撮像系１０４のサンプリング位相が揃った状態とする。ＱＲをＱＲ＝１２ｍｍの状態から１ｍｍずつ変化させると、ＱＲ＝１１．７ｍｍからＱＲ＝１２．４ｍｍの範囲においては、撮像距離１０００ｍｍから３０００ｍｍの間における撮像系１０４と撮像系１０７のサンプリング位相と、撮像系１０１と撮像系１０４のサンプリング位相の少なくとも一方が０．２０から０．８０画素ずれており、撮像距離に依らず高解像度化出来ると言える。図１７にＱＲ＝１１．７ｍｍの場合のサンプリング位相のずれ量を示し、図１８にＱＲ＝１１．０ｍｍの場合のサンプリング位相のずれ量を示す。図１８では、丸で示した撮像距離２３２０ｍｍ付近と２９８０ｍｍ付近において２つのサンプリング位相のずれ量が共に０．２０から０．８０画素の範囲に入っておらず、高解像度化出来ない状態となっている。一方、図１７では、すべての距離において２つのサンプリング位相のずれ量のいずれか一方が０．２０から０．８０画素の範囲に入っており、高解像度化出来る状態となっている。
【００５４】
以上のように、第二の実施形態では、撮像系１０１と１０４の基線長ＱＲと撮像系１０４と１０７の基線長ＲＳ基線長に誤差がある場合においても、許容範囲内にその誤差を抑えることにより、所定の撮像距離の範囲内において、撮像距離に依らず高解像度化することが可能となる。
【００５５】
なお、サンプリング位相は基線長だけでなく、光軸と撮像素子の相対的な位置関係、焦点距離、画素ピッチによっても変化し、また、高解像度化したい撮像距離の範囲にも依存するため、許容される誤差の範囲を基線長だけで定義することは出来ないが、光学系の光軸と撮像素子の相対的な位置関係、焦点距離、画素ピッチ、高解像度化したい撮像距離の範囲が決まれば、許容範囲は式（１）から求まるシフト量より計算することが可能となる。
【００５６】
本実施形態では、所定の撮像距離の範囲内において、２つのサンプリング位相のずれ量のうち、少なくとも一方が、高解像度化可能な０．２０から０．８０画素の範囲に入るよう３つの撮像系を配置することで、撮像距離に依らず、水平方向の解像度を向上させることが可能となる。
【００５７】
また、垂直方向に関しては、第一の実施形態と同様の構成にすることで、撮像距離に依らず高解像度化可能となる。
【００５８】
＜第三の実施形態＞
次に、本発明の第三の実施形態について述べる。第三の実施形態では、図１１や図１２に示すように、水平方向に配置した３つの撮像系のうち、２つの撮像系の垂直方向のサンプリング位相が揃い、もう１つの撮像系の垂直方向のサンプリング位相が他の２つの撮像系に対し１／２画素ずれる構成とする。
【００５９】
本発明では、基線長の小さな垂直方向については撮像距離に依らずサンプリング位相のずれがほぼ一定であるが、基線長の大きな水平方向については撮像距離によってサンプリング位相のずれが変化するため、画像間のずれ量（視差）をステレオマッチングなどの方法を用いて求める必要がある。ステレオマッチング法において対応点を探索する際、サンプリング位相にずれがある場合には、完全に一致する対応点は存在せず、所定の対応点は画素と画素の間に存在することになる。
【００６０】
図１９を用いて説明する。図１９は、水平方向に並置した２つの撮像系で撮像した画像１９０１と１９０２を示している。撮像画像１９０２中の画素１９０３に対応する点を撮像画像１９０１中から探索すると、対応する点は画素１９０４と画素１９０５の間に存在する。
【００６１】
更に、垂直方向にもサンプリング位相にずれがある場合について、図２０を用いて説明する。図２０は、水平方向に並置した２つの撮像系で撮像した画像２００１と２００２を示しており、垂直方向のサンプリング位相も１／２画素ずれている。図２０において、撮像画像２００２中の画素２００３に対応する点は、撮像画像２００１中の４つの画素２００４、２００５、２００６、２００７の間に存在する。
【００６２】
このように、対応点探索の際、サンプリング位相にずれがある場合は完全に一致する対応点が存在せず、計算精度が低下する恐れがある。第三の実施形態では、２つの撮像系の垂直方向のサンプリング位相が揃っており、対応点探索をする際、少なくとも垂直方向にはずれのない２つの画像から検索することが可能となり、計算精度が向上する。計算精度が向上することにより、画像間のずれ量をもとに各画素を対応する点に配置し高解像度画像上を生成する際の誤差が小さくなり、より解像度の高い画像を生成することが可能となる。
【００６３】
＜第四の実施形態＞
次に、本発明の第四の実施形態について述べる。第四の実施形態では、図１０に示すように、３つの撮像系の垂直方向のサンプリング位相が１／３画素ずつずれる構成とする。上述のように、２つの撮像系で高解像度化する場合、サンプリング位相が１／２画素ずれている状態が最適な条件であるが、これは、サンプリングの間隔が最も狭くなるためである。例えば、垂直方向のサンプリング位相が０．３画素ずれている状態であるとすると、上下方向のうち、一方は０．３画素ずれているが、他方は０．７画素ずれており、サンプリングの間隔が広い。垂直方向のサンプリング位相が１／２画素ずれている状態であれば、上下方向ともに１／２画素となる。したがって、撮像系を３つ備える場合は、サンプリング位相が１／３画素ずつずれている状態が、サンプリングの間隔が最も狭くなる構成であり、高解像度化に好適である。
【００６４】
上述のように、本発明は、３つの撮像系を画素の配列方向に配置し、所定範囲の撮像距離内にある被写体が、いずれか２つの撮像系により、高解像度化の条件であるサンプリング位相のずれが０．２から０．８画素ずれた状態で撮像される構成にすることで、水平・垂直両方向を高解像度化するとともに、３つの撮像系を一方向に配置することで、ハードウェアで視差算出などの画像処理を行うために必要な処理量やメモリ量を削減することが出来る。
【産業上の利用可能性】
【００６５】
本発明は撮像系を複数用いた撮像装置に利用可能である。
【符号の説明】
【００６６】
１０１、１０４、１０７、１３０１、１３０２、１５０１、１５０２  撮像系
１０２、１０５、１０８  光学系
１０３、１０６、１０９  撮像素子
１３０３、１５０３  被写体
１４０１、１４０２、１６０１、１６０２、１９０１、１９０２、２００１、２００２  撮像画像
１４０３、１４０４、１４０５、１６０３、１６０４、１６０５、１６０６、１９０３、１９０４、１９０５、２００３、２００４、２００５、２００６、２００７  画素
【図１】
2011239372.tif 000003
【図２Ａ】
2011239372.tif 000004
【図２Ｂ】
2011239372.tif 000005
【図３】
2011239372.tif 000006
【図４】
2011239372.tif 000007
【図５】
2011239372.tif 000008
【図６】
2011239372.tif 000009
【図７】
2011239372.tif 000010
【図８】
2011239372.tif 000011
【図９】
2011239372.tif 000012
【図１０】
2011239372.tif 000013
【図１１】
2011239372.tif 000014
【図１２】
2011239372.tif 000015
【図１３】
2011239372.tif 000016
【図１４】
2011239372.tif 000017
【図１５】
2011239372.tif 000018
【図１６】
2011239372.tif 000019
【図１７】
2011239372.tif 000020
【図１８】
2011239372.tif 000021
【図１９】
2011239372.tif 000022
【図２０】
2011239372.tif 000023
【図２１】
2011239372.tif 000024
【図２２】
2011239372.tif 000025
【図２３】
2011239372.tif 000026
【図２４】
2011239372.tif 000027
【図２５】
2011239372.tif 000028
【図２６】
2011239372.tif 000029
【図２７】
2011239372.tif 000030
【図２８】
2011239372.tif 000031
【図２９】
2011239372.tif 000032
【図３０】
2011239372.tif 000033