(57)【要約】【課題】臨場感の高い立体画像を得る撮像装置を提供する。【解決手段】被写体の複数の画像を撮像し、前記複数の撮像画像より前記被写体の距離画像を生成する立体画像撮像装置であって、第１のレンズアレイと、前記第１のレンズアレイの各レンズに１対１に対応する複数の撮像領域とを有する第１の撮像部２０２と、第２のレンズアレイと、前記第２のレンズアレイの各レンズに１対１に対応する複数の撮像領域とを有する第２の撮像部２０３とを有し、前記第１の撮像部に含まれるレンズの光軸と前記第２の撮像部に含まれるレンズの光軸との最短距離は、第１の撮像部の各レンズの光軸間距離および第２の撮像部の各レンズの光軸間距離のいずれよりも大きい、立体画像撮像装置である。【選択図】図２
2009048033.tif 000002
【特許請求の範囲】
【請求項１】
被写体の複数の画像を撮像し、前記複数の撮像画像より前記被写体の距離画像を生成する立体画像撮像装置であって、
第１のレンズアレイと、前記第１のレンズアレイの各レンズに１対１に対応する複数の撮像領域とを有する第１の撮像部と、
第２のレンズアレイと、前記第２のレンズアレイの各レンズに１対１に対応する複数の撮像領域とを有する第２の撮像部と、を有し、
前記第１の撮像部に含まれるレンズの光軸と前記第２の撮像部に含まれるレンズの光軸との最短距離は、第１の撮像部の各レンズの光軸間距離および第２の撮像部の各レンズの光軸間距離のいずれよりも大きい、立体画像撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、臨場感の高い立体画像を得る撮像装置に関するものである。
【背景技術】
【０００２】
立体画像表示装置には、眼鏡を必要とする方式と必要としない方式がある。眼鏡を必要としない方式としてレンチキュラーレンズを用いる立体画像表示装置が知られている。図１１はレンチキュラーレンズの斜視図であり、図１２はレンチキュラーレンズによる立体視の原理図である。
【０００３】
図１２において、１２０１はレンチキュラーレンズ、１２０２は画像面である。一つのレンチキュラーレンズの画像面に右目用の画像である右画像１２０３と左目用の画像である左画像１２０４が表示される。右画像１２０３と左画像１２０４の各々は、右目で見た画像と左目で見た画像の様に互いに視差を持つ画像を、短冊状に分割したものである。右画像１２０３からの光はレンチキュラーレンズによる光線の進行方向により右目１２０５だけに見え、左画像１２０４からの光はレンチキュラーレンズによる光線の進行方向により左目１２０６だけに見える。以上の様に、右画像と左画像を分割・合成して画像面に表示し、右目と左目では互いに視差を持つ画像を見て、立体的な画像を認識できる。
【０００４】
図１２の左右の画像は、被写体を２つのカメラを用いて撮像して得る事ができる。図１３は２つのカメラを用いた左右画像撮像の構成図である。
【０００５】
図１３において、被写体１３０１を、左右の眼の位置に置いた２つのカメラ１３０２および１３０３で撮像する。これらの左右の画像は互いに視差を持ち、それらを短冊状に分割し一つに合成した画像が図１２の画像面１２０２に表示される。
【０００６】
互いに視差を持つ右画像と左画像を得る立体画像撮像装置として、２つの撮像部を並列させた撮像装置があり、図１４は、その様な従来の双眼カメラの構成図である。
【０００７】
図１４において、１４０１は双眼カメラ本体、１４０２および１４０３は撮像部であり、２つの撮像部１４０２と１４０３は人間の目の間隔程度（約６５ｍｍ）離れた位置に設置されている。各々の撮像部はレンズ系と撮像素子を持ち、右目で見たカラー画像と左目で見たカラー画像を撮像し、それらの各々の画像を短冊状に分割して図１２の右画像と左画像の位置に表示して、レンチキュラーレンズの効果により立体的に見える様になる。
【０００８】
図１３の方法で実現できる立体画像は臨場感が乏しい。より臨場感を高めるために多くの視点方向から見た画像を表示する方法が知られている。図１５（Ａ）および図１５（Ｂ）は、多視点画像による立体視の原理図である。
【０００９】
図１５（Ａ）および図１５（Ｂ）において、１５０１はレンチキュラーレンズ、１５０２は画像面である。一つのレンチキュラーレンズの画像面１５０２に、多くの視点方向から見た互いに視差を持つ画像を短冊状に分割して合成した画像１５０３を表示する。図１５（Ａ）および図１５（Ｂ）は１０視点の例を示している。図１５（Ａ）の様に右目１５０４と左目１５０５から見た場合は、右目１５０４には画像１５０６が入射し、左目１５０５には画像１５０７が入射して立体的に見える。また、頭の位置を移動させて、図１５（Ｂ）の様に右目１５０４と左目１５０５から見た場合は、右目１５０４には画像１５０８が入射し、左目１５０５には画像１５０９が入射して立体的に見える。頭を移動する事で、立体的に見える方向が変わり、図１５（Ａ）では見えなかった物が図１５（Ｂ）では見える様になり、臨場感が高くなる。
【００１０】
図１５の様な多視点画像を得る一つの方法は、多くの方向から画像を撮像する事である。図１６は複数個のカメラを用いた多視点画像撮像の構成図である。
【００１１】
図１６において、被写体１６０１を複数の方向から複数のカメラを用いて撮像する。図１６では５つのカメラ１６０２ないし１６０６を用いる例を示す。これらの複数の撮像画像は互いに視差を持ち、それらの複数の撮像画像から内挿して実際にはカメラが置かれていない位置から見た内挿画像を創り、それらの撮像画像と内挿画像を短冊状に分割し一つに合成した画像が図１５の画像面１５０２に表示される。
【００１２】
図１６の様な撮像方法にはいくつかの問題点がある。第１に複数のカメラを配置する必要があり、小型の撮像装置では実現できない。第２に複数の画像を記録しておかなければならず、大きな容量の記録媒体が必要である。そこで、以下の様な方法が提案されている。（１）被写体の「平面画像」と、被写体各部の距離を示す「距離画像」を得る。（２）平面画像と距離画像から被写体の３次元形状を生成する。（３）その３次元形状を基に複数の視点方向の画像を作る。（４）それらの複数画像を短冊状に分割して図１５の１５０３の様に合成する。この方法はＤＩＢＲ（Depth image based rendering）として知られている。このＤＩＢＲを用いれば、複数の視差方向に複数のカメラを設置して撮像しなくても立体画像を生成できるが、如何にして「平面画像」と「距離画像」を得るかが重要になる。
【００１３】
以上に説明してきた背景技術は、最近の学会においても報告され、例えば非特許文献１あるいは非特許文献２が参考になる。
【００１４】
図１４の双眼カメラでも、最低限のＤＩＢＲは可能である。図１４の２つの撮像部１４０２および１４０３で撮像した画像は「平面画像」であり、さらに、それらの２つの撮像部で撮像された２つの画像を用いて、被写体の各部の距離を求める事ができ、「距離画像」を生成できる。
【００１５】
図１７は、２つの撮像部が持つ視差の説明図である。
【００１６】
図１７において、２つの撮像部の各々は、レンズ系と撮像素子から構成され、１７０１および１７０２はレンズ系、１７０３および１７０４は撮像素子である。実際のレンズ系は複数枚の組み合わせレンズを用いるのが一般的であるが、簡単のため図１７では単レンズで表している。これらの撮像部を用いて被写体１７０５を撮像する。被写体１７０５の像は、レンズ系１７０１を通じて撮像素子１７０３上に光学像１７０６として結像される。これと同時に、被写体１７０５の像は、レンズ系１７０２を通じて撮像素子１７０４上に光学像１７０７として結像される。この時、レンズ系１７０１とレンズ系１７０２とで、異なる位置から同一被写体１７０５を観察する事になるので、光学像１７０６と光学像１７０７との間には視差が生じる。例えば、光学像１７０６がレンズ系１７０１の光軸上に結像されるとしても、光学像１７０７はレンズ系１７０２の光軸に対して視差Δだけ変位した位置に結像される。視差Δは（数１）で与えられる。
【００１７】
【数１】
2009048033.tif 000003
【００１８】
ここで、Ｄはレンズ系１７０１の光軸とレンズ系１７０２の光軸との間隔（基線長）、ｆはレンズ系１７０１および１７０２の焦点距離、Ｌは被写体１７０５とレンズ系１７０１および１７０２との距離である。以上の説明から、視差が生じる方向は、撮像素子１７０３の画像中心（レンズの光軸が対応する撮像素子と交わる位置）と撮像素子１７０５の画像中心を結ぶ方向に平行である事がわかる。被写体１７０５がレンズ系１７０１および１７０２から無限遠の位置にある場合（Ｌ＝∞）は、実質的に視差は無い（Δ＝０）。被写体１７０５がレンズ系１７０１および１７０２に近づく（Ｌが小さくなる）に従って、視差Δは大きくなり、各撮像素子上の被写体の光学像は互いに遠ざかる。即ち、撮像素子１７０４上の光学像を基準とした場合は、撮像素子１７０４上の光学像は、各々の画像中心（光軸上の画素）を結ぶ線に平行に遠ざかる。
【００１９】
以上の様に、被写体の距離Ｌと視差Δは（数１）で与えられ、被写体の各部の視差を求めれば被写体の各部の距離が求まり「距離画像」が生成できる。また、２つの撮像部で撮像された画像がそのまま「平面画像」になり、前述のＤＩＢＲにより、被写体の３次元形状モデルを生成する事ができる。従って、２つの撮像部で撮像された画像から視差を求める事が重要であり、その視差を検出する方法が非特許文献３に要約されている。
【００２０】
撮像画像を多くの領域（ブロック）に分割し、各領域に対してブロックマッチングにより視差を求める事ができる。図１８を用いて、互いに視差を持つ２つの撮像画像を用いてブロックマッチングにより視差を求める方法を説明する。
【００２１】
図１８において、領域（ブロック）の例として長方形を用いる。１８０１、１８０２は撮像された画像であり、これら２つの画像を比較して被写体の視差を検出する。撮像画像１８０１内の注目ブロック１８０３に対して、撮像画像１８０２内の注目ブロック１８０３と最もよく似た（相関の高い）ブロックの位置を探す。まず、撮像画像１８０１内の注目ブロック１８０３の位置に相当する撮像画像１８０２の中のブロック（０）を選択し、注目ブロック１８０３とブロック（０）の相関を求める。ここで、注目ブロック１８０３とブロック（０）は、それぞれの撮像画像１８０１、１８０２の中で同じ座標を持つ。次に、撮像画像１８０１の注目ブロック１８０３内の被写体の像は、撮像画像１８０２の中で視差により矢印Ｘで示す方向に移動するので、視差方向にずれたブロック（１）と注目ブロック１８０３の相関を求める。この様に、逐次、視差方向Ｘにずれた撮像画像１８０２内のブロックと注目ブロック１８０３の相関を求め、最も相関の高いブロック（ｎ）の位置を求める。このブロック（ｎ）がブロック（０）からずれた量が視差に相当する。実際は、ブロック（０）（１）・・・（ｎ）・・は、視差方向Ｘに平行にずれていくが、見易くするために、図１８ではブロックの移動を故意に若干下方にずらしている。撮像画像の中に複数の被写体がある場合は、それら複数の被写体とレンズとの距離によって視差が異なり、被写体毎に視差を求めなければならない。その方法としては、一つのブロック内に複数の距離を持つ被写体があれば、上記の相関の値が小さくなり正確な視差が求められなくなる。その場合はブロックを細分化して視差を求め、できる限り小さなブロック毎に視差を求めれば、撮像画像の各部分毎の視差を求める事ができる。
【００２２】
以上の様に、図１４の双眼カメラを用いても、平面画像と共に距離画像も求められるが、その場合の問題点について述べる。図１９は双眼カメラを用いて被写体を撮像する場合の構成図であり、図２０（Ａ）および図２０（Ｂ）は、各々、双眼カメラの内の一方の撮像部を用いて撮像した被写体画像であり、また、図２０（Ｃ）は双眼カメラにより３次元形状が測定できる部分を示す図である。
【００２３】
図１９において、被写体としてＴ字形物体１９０１を用い、これは前面１９０２、側面１９０３および１９０４、底面１９０５および１９０６などの面から構成される。このＴ字形物体１９０１を双眼カメラ１９０７で撮像する。この双眼カメラ１９０７は２つの撮像部１９０８および１９０９を持ち、図２０（Ａ）は左の撮像部１９０９から被写体１９０１を撮像した画像であり、図２０（Ｂ）は右の撮像部１９０８から被写体１９０１を撮像した画像である。左画像（図２０（Ａ））では見えるが右画像（図２０（Ｂ））では見えない部分（オクリュージョン）が存在し、また、右画像（図２０（Ｂ））では見えるが左画像（図２０（Ａ））では見えない部分（オクリュージョン）も存在する。これらのオクリュージョン部は、一方の画像にしか撮像されないので、前述した視差による測距ができない。従って、それらのオクリュージョン部の３次元形状を求める事ができない。結局、双眼カメラ１９０７では図２０（Ｃ）の実線部分の３次元形状だけが求まり、破線部分は測定できない。これでは、３次元形状を用いて多視点画像に分解する事ができず、臨終感の高い立体画像を表示できない。
【特許文献１】特開平９−１２７３２１号公報
【特許文献２】特開２００５−２９２２４４号公報
【特許文献３】国際公開第２００５／０４１５６２号パンフレット
【非特許文献１】３次元画像コンファレンス 2005 講演論文集 （July 7-8, 2005, 東京）
【非特許文献２】Conference Proceeding of 2006 International Conference on Media and Expo., 3D-TV: Primed for Success (July 9-12, 2006, Toronto, Canada)
【非特許文献３】Nagashima, et. al.; New camera module with thin structure, high resolution and distance-detection capability, Proceeding of SPIE Photonics Europe 6196-9, April 5-6, 2006, Strasbourg, France
【発明の開示】
【発明が解決しようとする課題】
【００２４】
３次元物体の臨場感の高い立体画像を得るには、３次元物体を多視点方向から見た複数の画像が必要である。多視点方向に複数のカメラを配置すれば、多視点方向から見た複数画像を撮像できるが、装置が複雑になり、複数の画像を記録できる大容量の記録媒体も必要になる。また、一つの撮像装置に２つの撮像部を持つ双眼カメラを用いても立体画像を得る事はできるが、２つの撮像部の内、一方の撮像部には見えるが他方の撮像部には見えないオクリュージョン部は３次元形状が測定できず、臨場感の高い立体画像を得る事ができない。
【００２５】
本発明は、従来の課題を解決するもので、小型で臨場感の高い立体画像を得る立体画像撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００２６】
本発明の立体画像撮像装置は、被写体の複数の画像を撮像し、前記複数の撮像画像より前記被写体の距離画像を生成する立体画像撮像装置であって、第１のレンズアレイと、前記第１のレンズアレイの各レンズに１対１に対応する複数の撮像領域とを有する第１の撮像部と、第２のレンズアレイと、前記第２のレンズアレイの各レンズに１対１に対応する複数の撮像領域とを有する第２の撮像部とを有し、前記第１の撮像部に含まれるレンズの光軸と前記第２の撮像部に含まれるレンズの光軸との最短距離は、第１の撮像部の各レンズの光軸間距離および第２の撮像部の各レンズの光軸間距離のいずれよりも大きい、立体画像撮像装置である。
【発明の効果】
【００２７】
本発明の立体画像撮像装置によれば、被写体を複数の方向から見た平面画像と距離画像を得る事ができ、それらの平面画像と距離画像より被写体の３次元形状を求める事ができ、その３次元形状を基に被写体を多くの視点から見た画像を作り、臨場感の高い立体画像を生成できる。
【発明を実施するための最良の形態】
【００２８】
以下、本発明の実施の形態について、添付図面を参照しながら説明する。
【００２９】
（実施形態１）
撮像部として、複数のレンズ系から成る複眼カメラモジュールを用いる。図１は、本発明の実施形態１の基本要素である複眼カメラモジュールの構成図である。
【００３０】
図１において、レンズアレイ１０１は２つの単レンズ１０２および１０３から成り、１０４および１０５は２つの単レンズの各々の光軸である。撮像素子１０６は２つの撮像領域１０７および１０８に分割され、単レンズ１０２および１０３の各々の光軸１０４および１０５が２つの撮像部１０７および１０８の各々の中心近傍を通る様に構成されている。この図１の複眼カメラモジュールは２つの平面画像を撮像する。その２つの平面画像は互いに小さい視差を持ち、視差は図１８で説明した方法を用いて求める事ができ、視差が求まれば被写体距離が計算できる。
【００３１】
図２は、本発明の実施形態１の撮像装置の構成図である。図２において、２０１は撮像装置の本体であり、２つの撮像部２０２および２０３を持つ。これらの撮像部は、共に図１の複眼カメラモジュールにより構成され、従って、撮像装置２０１は２つの撮像部２０２および２０３から被写体を見る方向の平面画像と距離画像を得る事ができる。図２において、撮像部２０２に含まれるレンズの光軸と、撮像部２０３に含まれるレンズの光軸との最短距離、すなわち撮像部２０２と撮像部２０３の最も近接したレンズ同士の光軸間距離は、撮像部２０２の各レンズの光軸間距離および撮像部２０３の各レンズの光軸間距離のいずれよりも大きく設定している。
【００３２】
図３は本発明の実施形態１の撮像装置を用いて被写体を撮像する場合の構成図であり、図４（Ａ）ないし図４（Ｄ）は、各々、実施形態１の撮像装置の内の一つのレンズを通して撮像した被写体画像であり、また、図４（Ｅ）は実施形態１の撮像装置により３次元形状が測定できる部分を示す図である。図３において、図２および図１９と同じ構成要素については同じ符号を用い説明を省略する。
【００３３】
図３において、被写体として図１９と同様のＴ字形物体を用いる。撮像装置２０１の撮像部２０２は図１の複眼カメラモジュールにより構成され、２つの画像を撮像し、それら２つの画像は互いに小さな視差を持ち図４（Ｃ）および図４（Ｄ）で示す。また、撮像装置２０１の撮像部２０３も図１の複眼カメラモジュールにより構成され、２つの画像を撮像し、それらは同様に小さな視差を持ち図４（Ａ）および図４（Ｂ）で示す。
【００３４】
図４（Ｃ）と図４（Ｄ）は、小さいけれども互いに視差を持ち、図１８で説明した方法で被写体の距離を求める事ができる。ここで、図１の複眼カメラモジュールを用いた測距精度について説明しておく。本発明の実施形態１の複眼カメラモジュールの具体例として、図１７の基線長（Ｄ）は３ｍｍ、焦点距離（ｆ）は５ｍｍとし、レンズと被写体の距離（Ｌ）が５０ｃｍの場合、視差（Δ）は（数１）により求める事ができΔ＝３０μｍとなる。画素ピッチが１．８μｍの撮像素子を用いれば、視差量は１６．７画素である。この複眼カメラモジュールは基線長が小さく、図４（Ｃ）と図４（Ｄ）は、互いの視差は小さく僅かに異なる画像であるが、視差が小さいからこそ非常に似た画像であり相関も高い。従って、２つの画像のキャリブレーションを行えば、画素と画素の中間の値を内挿する事により、０．１画素分の視差までも検出できる様になる。視差量が１６．７画素である距離５０ｃｍの被写体に対して０．１画素の精度、即ち、０．６％（３ｍｍ）の精度で距離を測定でき、通常の物体では十分な３次元形状を求める事ができる。
【００３５】
また、撮像部２０２または２０３のどちらかで見えた部分の距離が測定できるので、図４（Ｅ）の様な３次元形状が得られる。この３次元形状を基に多くの視点からの画像を生成する事ができ、図１５（Ａ）および図１５（Ｂ）に示した様な多視点画像を表示する事ができ、臨場感の高い立体画像を得る事ができる。
【００３６】
図１の複眼カメラモジュールでは、レンズアレイの各々のレンズには単レンズを用いている。その理由は、アレイを構成する各々の光学系に複数枚の組み合わせレンズを用いれば光軸調整が極めて困難な事である。単レンズを用いれば、その光軸調整が不必要になるが、次の様な欠点が生じる。それは、単レンズでは合計画素が１０万画素以下に限りカラー画像を撮像でき、より画素数が多い高画質のカラー画像撮像には適さない。
【００３７】
次に、単レンズより構成されるレンズアレイを用いて高画質のカラー画像を得る方法を説明する。画素数の多い高画質のカラー画像を撮像可能な１枚のレンズが、特許文献１および特許文献２に提案されている。図５は、そのカラー回折格子レンズアレイの断面図である。
【００３８】
図５において、カラー回折格子レンズアレイは単レンズアレイ５０１と色収差補償膜５０２とから成り、単レンズアレイ５０１の光入射側あるいは光出射側の少なくとも一つの表面に回折格子５０３を設けている。回折格子５０３により、像面湾曲の補正や解像度の向上などレンズ特性を改善して高画質化できる。しかし、一般に回折格子はある範囲の波長帯域の光には効果があるが、その波長帯域以外では回折効率が劣化して画質が劣化する。そこで、色収差補償膜５０２を回折格子５０３の上に設けて、色収差補償膜の屈折率と色分散の波長依存性を適切に選べば、青色から赤色までの広い波長帯域で回折効率を向上させる。青色から赤色までを含む白色光に対して回折格子が効果を持つ様になり、１枚の単レンズアレイでも高画質なカラー画像を撮像できる。図１の複眼カメラモジュールのレンズアレイ１０１として、図５のカラー回折格子レンズアレイを用いる事で、高画質のカラー平面画像と距離画像を得る事ができる様になる。従って、カラーの３次元形状を得る事ができ、図１５（Ａ）および図１５（Ｂ）の様な臨場感の高いカラー立体画像を生成できる。
【００３９】
（実施形態２）
他の方法により、単レンズより構成されるレンズアレイを用いて高画質のカラー画像を得る事もできる。４つの単レンズより成る複眼カメラモジュールを用いて、カラー画像を撮像する方法が特許文献３に提案されている。図６は、その４眼カメラモジュールの構成図である。
【００４０】
図６において、４眼カメラモジュールはレンズアレイ６０１および撮像素子６０２を持ち、レンズアレイ６０１は４個の単レンズ６０３、６０４、６０５、６０６から構成され、撮像素子６０２は４個の撮像領域６０７、６０８，６０９、６１０に分割されている。４個の単レンズ６０３、６０４、６０５、６０６の光軸６１１、６１２、６１３、６１４は、撮像領域６０７、６０８，６０９、６１０と一対一に対応し、各々の光軸は各々の撮像領域の中心近傍を通る様に構成されている。
【００４１】
図６には図示していないが、４つの単レンズと４つの撮像領域の間にカラーフィルターを設置し、単レンズ６０３と撮像領域６０７により構成される光学系は緑色波長帯域の光を受光して緑色画像を撮像し、単レンズ６０４と撮像領域６０８により構成される光学系は赤色波長帯域の光を受光して赤色画像を撮像し、単レンズ６０５と撮像領域６０９により構成される光学系は青色波長帯域の光を受光して青色画像を撮像し、さらに、単レンズ６０６と撮像領域６１０により構成される光学系は緑色波長帯域の光を受光して緑色画像を撮像する。このように、被写体からの光は緑色波長帯域光、赤色波長帯域光、および青色波長帯域光に分離されて、撮像領域６０７、６０８，６０９、６１０で撮影されるので、各々のレンズに要求される色収差を緩和する事ができ、単レンズを用いても、赤色、青色、緑色のそれぞれの波長帯域では色収差の小さい画像が得られ、レンズアレイを用いる事ができる。対角に配置された撮像領域６０７および６１０により２つの緑色画像が撮像され、この２つの緑色画像は視差を除いては殆ど同じである。この２つの緑色画像を用いて、図１８と同様に被写体の視差を求める。図６に示す様に、２つの緑色画像、赤色画像、青色画像は格子状に配列され、２つの緑色画像は対角に配置される。従って、２つの緑色画像のお互いの視差が検出されれば、赤色画像および青色画像の視差も求める事ができ、それらの視差を補正後、緑色画像、赤色画像、および青色画像を合成してカラー画像を得る。また、２つの緑色画像により求めた視差を用いて被写体の距離が計算される。
【００４２】
図７は、この４眼カメラモジュールを用いた、本発明の実施形態２の撮像装置の構成図である。図７において、７０１は撮像装置の本体であり、２つの撮像部７０２および７０３は、共に図６の４眼カメラモジュールにより構成される。撮像装置７０１は２つの撮像部７０２および７０３から被写体を見る方向のカラー平面画像と距離画像を得る事ができ、３次元形状を得る事ができ、図１５（Ａ）および図１５（Ｂ）の様な臨場感の高いカラー立体画像を生成できる。
【００４３】
（実施形態３）
以上に述べた様に、図１あるいは図６の複眼カメラモジュールを用いた図２あるいは図７の撮像装置は、平面画像と距離画像を得て３次元形状を求める事ができ、臨場感の高い立体画像を生成できる。しかし、次の様な欠点も持っている。それは、図１あるいは図６の複眼カメラモジュールは一つの撮像素子を複数に分割するので、被写体像を撮像する画素数が減少し解像度などの画質が低下してしまう。そこで、撮像装置が少なくとも３つの撮像部を持ち、少なくとも２つの撮像部は図１あるいは図６の複眼カメラモジュールであり、少なくとも１つのカメラモジュールは従来の一般カメラモジュールとする。
【００４４】
図８は、従来の一般カメラモジュールの構成図である。図８において、一般カメラモジュールは複数の単レンズを組み合わせたレンズ系８０１と撮像素子８０２から構成される。図８では３枚の単レンズを組み合わせる場合を示す。レンズ系８０１は３数の単レンズ８０３，８０４，８０５が重ねられ、それらの単レンズの各々の光軸はほぼ一致し、その光軸８０６が撮像素子８０２の中心近傍を通る様に構成されている。３枚の単レンズを適切に組み合わせる事により色収差を補正してカラー画像が撮像される。また、撮像素子は分割されずに、被写体が撮像素子全面で撮像されるので、解像度の高い高画質のカラー画像が得られる。
【００４５】
図９は、本発明の実施形態３の撮像装置の構成図である。
【００４６】
図９において、立体撮像装置本体９０１は３つの撮像部９０２，９０３、９０４を持ち、撮像部９０２は図８の一般カメラモジュールであり高解像度のカラー画像を撮像する。他の２つの撮像部９０３および９０４は図１の複眼カメラモジュールであり、平面画像と距離画像を得る。撮像部９０２からは見えない被写体の部分も、撮像部９０３あるいは９０４からは見る事ができ、オクリュージョン部分も含めて被写体の３次元形状を求める。一つ一つの画素毎に距離が分からなくても、幾つかの画素の集まり毎に距離が分かれば十分に被写体の３次元形状を求める事ができる。従って、撮像部９０３および９０４を構成する図１の複眼カメラモジュールの解像度はそれ程高くなくてもよい。
【００４７】
撮像部９０２により得られた高解像度カラー画像と、撮像部９０３および９０４により得られた画像を、それらの特徴点を比較してつなぎ合わせれる。撮像部９０２から見える被写体の部分は高解像度カラーであるが、撮像部９０３あるいは９０４のみから見える被写体の部分は解像度が高くない事は容認しなければならない。
【００４８】
なお、図１の複眼カメラモジュールに図５のカラー回折格子レンズアレイを用いれば、距離画像に加えてカラーの平面画像を得る事ができ、撮像部９０２からは見えないが撮像部９０３あるいは９０４からは見えるオクリュージョン部もカラー画像が得られて、より臨場感の高い立体画像が生成できる。
【００４９】
（実施形態４）
図１０は、本発明の実施形態４の撮像装置の構成図である。
【００５０】
図１０において、立体撮像装置本体１００１は３つの撮像部１００２，１００３、１００４を持ち、撮像部１００２は図８の一般カメラモジュールであり高解像度のカラー画像を撮像する。他の２つの撮像部１００３および１００４は図６の複眼カメラモジュールであり平面画像と距離画像を得る。実施形態３でも述べた様に、撮像部１００３および１００４を構成する図６の複眼カメラモジュールの解像度はそれ程高くなくてもよい。撮像部１００２からは見えない被写体の部分も、撮像部１００３あるいは１００４からは見る事ができ、オクリュージョン部分も含めて被写体の３次元形状を求める事ができる。図６の複眼カメラモジュールは、距離画像に加えてカラーの平面画像を得る事ができ、撮像部１００２からは見えないが撮像部１００３あるいは１００４からは見えるオクリュージョン部もカラー画像が得られて、より臨場感の高い立体画像が生成できる。
【００５１】
以上に開示した実施形態１ないし４は、いずれも本発明の一例を示したに過ぎず、本発明はこれらの実施形態により制限的に解釈されない。
【００５２】
例えば、図６の４眼カメラモジュールにおいては、２つの緑色画像、赤色画像、および青色画像を撮像する例を示したが、他の撮像方法も可能である。図６の単レンズ６０３および６０４として、図５に示したカラー回折格子レンズアレイを用い、単レンズ６０５および６０６は赤外の波長帯域の画像を撮像する様に設計すれば、昼間はカラー平面画像と距離画像を得て、夜間は赤外光を用いた平面画像と距離画像を得る事ができ、昼夜ともに立体画像を生成できる様になる。
【００５３】
また、図２および図７においては、２つの複眼カメラモジュールを用いる例を示したが、２つに限るものではなく、３つの複眼カメラモジュール、あるいは４つ以上の複眼カメラモジュールを持つ撮像装置でも同様に平面画像と距離画像を得る事ができる。更に、図９および図１０においては、２つの複眼カメラモジュールと１つの一般カメラモジュールを用いる例を示したが、複眼カメラモジュールは２つに限るものではなく、３つの複眼カメラモジュール、あるいは４つ以上の複眼カメラモジュールを持つ撮像装置でも同様に高解像度カラー平面画像と距離画像を得る事ができる。
【産業上の利用可能性】
【００５４】
本発明の撮像装置の利用分野は特に限定はないが、被写体の立体画像を生成する立体カメラなどに有用である。
【図面の簡単な説明】
【００５５】
【図１】本発明の実施形態１の基本要素である複眼カメラモジュールの構成図
【図２】本発明の実施形態１の撮像装置の構成図
【図３】本発明の実施形態１の撮像装置を用いて被写体を撮像する場合の構成図
【図４】（Ａ）本発明の実施形態１の撮像装置の内の一つのレンズを通して撮像した被写体画像を示す図（Ｂ）本発明の実施形態１の撮像装置の内の一つのレンズを通して撮像した被写体画像を示す図（Ｃ）本発明の実施形態１の撮像装置の内の一つのレンズを通して撮像した被写体画像を示す図（Ｄ）本発明の実施形態１の撮像装置の内の一つのレンズを通して撮像した被写体画像を示す図（Ｅ）本発明の実施形態１の撮像装置により被写体の３次元形状が測定できる部分を示す図
【図５】カラー回折格子レンズアレイの断面図
【図６】４眼カメラモジュールの構成図
【図７】本発明の実施形態２の撮像装置の構成図
【図８】従来の一般カメラモジュールの構成図
【図９】本発明の実施形態３の撮像装置の構成図
【図１０】本発明の実施形態４の撮像装置の構成図
【図１１】レンチキュラーレンズの斜視図
【図１２】レンチキュラーレンズによる立体視の原理図
【図１３】２つのカメラを用いた左右画像撮像の構成図
【図１４】双眼カメラの構成図
【図１５】（Ａ）多視点画像による立体視の原理図（Ｂ）多視点画像による立体視の原理図
【図１６】複数個のカメラを用いた多視点画像撮像の構成図
【図１７】２つの撮像部が持つ視差の説明図
【図１８】視差を求める説明図
【図１９】双眼カメラを用いて被写体を撮像する場合の構成図
【図２０】（Ａ）双眼カメラの内の一方の撮像部を用いて撮像した被写体画像を示す図（Ｂ）双眼カメラの内の一方の撮像部を用いて撮像した被写体画像を示す図（Ｃ）双眼カメラにより３次元形状が測定できる部分を示す図
【符号の説明】
【００５６】
１０１    レンズアレイ
１０２    単レンズ
１０３    単レンズ
１０４    単レンズの光軸
１０５    単レンズの光軸
１０６    撮像素子
１０７    撮像領域
１０８    撮像領域
２０１    撮像装置の本体
２０２    撮像部
２０３    撮像部
５０１    単レンズアレイ
５０２    色収差補償膜
５０３    回折格子
６０１    レンズアレイ
６０２    撮像素子
６０３    単レンズ
６０４    単レンズ
６０５    単レンズ
６０６    単レンズ
６０７    撮像領域
６０８    撮像領域
６０９    撮像領域
６１０    撮像領域
６１１    単レンズの光軸
６１２    単レンズの光軸
６１３    単レンズの光軸
６１４    単レンズの光軸
７０１    撮像装置の本体
７０２    撮像部
７０３    撮像部
８０１    レンズ系
８０２    撮像素子
８０３    単レンズ
８０４    単レンズ
８０５    単レンズ
８０６    光軸
９０１    立体撮像装置本体
９０２    撮像部
９０３    撮像部
９０４    撮像部
１００１    立体撮像装置本体
１００２    撮像部
１００３    撮像部
１００４    撮像部
１２０１    レンチキュラーレンズ
１２０２    画像面
１２０３    右画図
１２０４    左画図
１２０５    右目
１２０６    左目
１３０１    被写体
１３０２    カメラ
１３０３    カメラ
１４０１    双眼カメラ本体
１４０２    撮像部
１４０３    撮像部
１５０１    レンチキュラーレンズ
１５０２    画像面
１５０３    多視点から見た画像を短冊状に分割・合成した画像
１５０４    右目
１５０５    左目
１５０６    一つの短冊状画像
１５０７    一つの短冊状画像
１５０８    一つの短冊状画像
１５０９    一つの短冊状画像
１６０１    被写体
１６０２    カメラ
１６０３    カメラ
１６０４    カメラ
１６０５    カメラ
１６０６    カメラ
１７０１    レンズ系
１７０２    レンズ系
１７０３    撮像素子
１７０４    撮像素子
１７０５    被写体
１７０６    光学像
１７０７    光学像
１８０１    撮像画像
１８０２    撮像画像
１８０３    注目ブロック
１９０１    Ｔ字形物体
１９０２    Ｔ字形物体の全面
１９０３    Ｔ字形物体の側面
１９０４    Ｔ字形物体の側面
１９０５    Ｔ字形物体の底面
１９０６    Ｔ字形物体の底面
１９０７    双眼カメラ
１９０８    撮像部
１９０９    撮像部
【図１】
2009048033.tif 000004
【図２】
2009048033.tif 000005
【図３】
2009048033.tif 000006
【図４】
2009048033.tif 000007
【図５】
2009048033.tif 000008
【図６】
2009048033.tif 000009
【図７】
2009048033.tif 000010
【図８】
2009048033.tif 000011
【図９】
2009048033.tif 000012
【図１０】
2009048033.tif 000013
【図１１】
2009048033.tif 000014
【図１２】
2009048033.tif 000015
【図１３】
2009048033.tif 000016
【図１４】
2009048033.tif 000017
【図１５】
2009048033.tif 000018
【図１６】
2009048033.tif 000019
【図１７】
2009048033.tif 000020
【図１８】
2009048033.tif 000021
【図１９】
2009048033.tif 000022
【図２０】
2009048033.tif 000023