(57)【要約】【課題】簡単な光学系でも撮影レンズの画角と同程度の視差方向の画角を確保しつつ、右眼用と左眼用の画像間で共通する領域を広くできるステレオアダプタを提供する。【解決手段】ステレオアダプタ８は、撮像部２の前面に、視差方向と直交する方向に沿って配置される第１及び第２の反射面（８１ａ、８１ｂ）と、視差方向に沿って、第１の反射面よりも撮像部から離れた位置に配置される第３の反射面（８２ａ）と、視差方向に沿って、第２の反射面よりも撮像部から離れ、かつ、撮像部の光軸を挟んで第３の反射面の反対側に配置される第４の反射面（８２ｂ）とを有する。各反射面は、被写体からの光束が撮像部に達するように視差方向及び光軸と直交する第１の軸周りに入射瞳面または物体面から所定角度回転され、かつ、入射する際に光軸に平行な光線が、ステレオアダプタから出射する際に光軸に対して撮像部の垂直画角の1/4の角度をなすように傾けられる。【選択図】図２
2015191186.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影することにより画像を生成する撮像部の前面に配置されるステレオアダプタであって、
前記撮像部の前面に、視差方向と直交する方向に沿って配置される第１及び第２の反射面と、
前記視差方向に沿って、前記第１の反射面よりも前記撮像部から離れた位置に配置される第３の反射面と、
前記視差方向に沿って、前記第２の反射面よりも前記撮像部から離れ、かつ、前記撮像部の光軸を挟んで前記第３の反射面の反対側に配置される第４の反射面とを有し、
前記第１の反射面は、前記撮像部及び前記第３の反射面と対向するように、前記視差方向及び前記光軸と直交する第１の軸周りに、前記撮像部の入射瞳面に対して第１の角度回転されるとともに、前記第１の反射面に平行、かつ、前記第１の軸に直交する軸周りに、前記光軸及び前記視差方向を含む面に直交する方向から前記光軸側へ向けて第２の角度回転され、
前記第３の反射面は、前記第１の反射面及び被写体と対向するように、前記第１の軸周りに前記撮像部の像面と結像関係にある物体面に対して前記第１の角度回転されるとともに、前記第３の反射面に平行かつ前記第１の軸と直交する軸周りに前記光軸及び前記視差方向を含む面に直交する方向から第３の角度回転され、
前記第２の反射面は、前記撮像部及び前記第４の反射面と対向するように、前記第１の軸周りに、前記撮像部の入射瞳面に対して、前記第１の反射面の回転方向と逆向きに前記第１の角度回転されるとともに、前記第２の反射面に平行、かつ、前記第１の軸に直交する軸周りに、前記光軸及び前記視差方向を含む面に直交する方向から前記光軸側へ向けて前記第２の角度回転され、
前記第４の反射面は、前記第２の反射面及び被写体と対向するように、前記第１の軸周りに前記物体面に対して前記第３の反射面の回転方向と逆向きに前記第１の角度回転されるとともに、前記第４の反射面に平行かつ前記第１の軸と直交する軸周りに、前記光軸及び前記視差方向を含む面に直交する方向から前記第３の反射面の回転方向と逆向きに前記第３の角度回転され、
前記第２の角度と前記第３の角度の合計が、被写体から前記第３の反射面及び前記第１の反射面を経由して前記撮像部に入射する第１の光束のうちの該ステレオアダプタに入射する際に前記撮像部の光軸に平行な光線が該ステレオアダプタから出射する際に前記光軸に対して前記撮像部の垂直画角の1/4の角度をなして前記光軸へ近づくように設定される、ステレオアダプタ。
【請求項２】
前記第２の角度は、前記画像上で前記第１の光束により生成される第１の被写体領域と前記第２の光束により生成される第２の被写体領域との境界が前記画像上での前記視差方向と平行となるように設定される、請求項１に記載のステレオアダプタ。
【請求項３】
被写体を撮影することにより画像を生成する撮像部と、
前記撮像部の前面に配置され、前記被写体からの光を視差方向に沿った第１の光束と第２の光束に分割し、かつ前記第１及び第２の光束が前記撮像部に入射するときに前記視差方向に対して直交する方向に並ぶように前記第１及び前記第２の光束を導くステレオアダプタと、
前記画像に基づいてステレオ画像を生成するステレオ画像生成部とを有し、
前記ステレオアダプタは、
前記撮像部の前面に、前記視差方向と直交する方向に沿って配置される第１及び第２の反射面と、
前記視差方向に沿って、前記第１の反射面よりも前記撮像部から離れた位置に配置される第３の反射面と、
前記視差方向に沿って、前記第２の反射面よりも前記撮像部から離れ、かつ、前記撮像部の光軸を挟んで前記第３の反射面の反対側に配置される第４の反射面とを有し、
前記第１の反射面は、前記撮像部及び前記第３の反射面と対向するように、前記視差方向及び前記光軸と直交する第１の軸周りに、前記撮像部の入射瞳面に対して第１の角度回転されるとともに、前記第１の反射面に平行、かつ、前記第１の軸に直交する軸周りに、前記光軸及び前記視差方向を含む面に直交する方向から前記光軸側へ向けて第２の角度回転され、
前記第３の反射面は、前記第１の反射面及び被写体と対向するように、前記第１の軸周りに前記撮像部の像面と結像関係にある物体面に対して前記第１の角度回転されるとともに、前記第３の反射面に平行かつ前記第１の軸と直交する軸周りに第３の角度回転され、
前記第２の反射面は、前記撮像部及び前記第４の反射面と対向するように、前記第１の軸周りに、前記撮像部の入射瞳面に対して、前記第１の反射面の回転方向と逆向きに前記第１の角度回転されるとともに、前記第２の反射面に平行、かつ、前記第１の軸に直交する軸周りに、前記光軸及び前記視差方向を含む面に直交する方向から前記光軸側へ向けて前記第２の角度回転され、
前記第４の反射面は、前記第２の反射面及び被写体と対向するように、前記第１の軸周りに前記物体面に対して前記第３の反射面の回転方向と逆向きに前記第１の角度回転されるとともに、前記第４の反射面に平行かつ前記第１の軸と直交する軸周りに、前記第３の反射面の回転方向と逆向きに前記第３の角度だけ傾けられ、
前記第２の角度と前記第３の角度の合計が、被写体から前記第３の反射面及び前記第１の反射面を経由して前記撮像部に入射する第１の光束のうちの該ステレオアダプタに入射する際に前記撮像部の光軸に平行な光線が該ステレオアダプタから出射する際に前記光軸に対して前記撮像部の垂直画角の1/4の角度をなして前記光軸へ近づくように設定され、
前記ステレオ画像生成部は、
前記画像を、前記視差方向に対して直交する方向に沿って、前記第１の光束が入射する第１の領域と、前記第２の光束が入射する第２の領域とに分割し、前記第１の領域を前記ステレオ画像のうちの一方の眼用の第１のサブ画像とし、かつ前記第２の領域を前記ステレオ画像のうちの他方の眼用の第２のサブ画像とする分割部と、
前記第１及び第２のサブ画像上の被写体の台形状の歪みを補正する台形歪み補正部と、
を有するステレオ撮像装置。
【請求項４】
前記画像上での前記視差方向が前記撮像部の水平方向と一致するだけ、前記ステレオアダプタの前記視差方向が前記撮像部の水平方向に対して傾くように、前記ステレオアダプタは前記撮像部に取り付けられる、請求項３に記載のステレオ撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、被写体を互いに異なる２方向から撮影可能とするステレオアダプタ、及び、そのようなステレオアダプタを用いてステレオ画像を生成するステレオ撮像装置に関する。
【背景技術】
【０００２】
従来より、立体的な像を再生するための研究がなされている。立体的な像を再生するための一つの方法として、被写体を異なる方向から撮影した二つの画像を並べて表示し、その二つの画像のそれぞれを、観察者の左右それぞれの眼に見せる方法が知られている。このような方法で用いられる２枚一組の画像は、ステレオ画像と呼ばれる。
【０００３】
ステレオ画像を生成するために、単眼のカメラの撮影レンズの前面に取り付け、被写体を互いに異なる方向から見た二つの像を、それぞれ、カメラの像面の左半分と右半分に結像させるステレオアダプタが知られている（例えば、特許文献１を参照）。ステレオアダプタは、被写体を互いに異なる２方向から見たそれぞれの被写体の像をカメラが結像できるように、例えば、ステレオアダプタの水平方向の中心に対して線対称となるように配置された２枚のミラーのペアを２組有する。それぞれのミラーのペアに含まれる内側のミラーは、撮影レンズの正面に位置し、かつ、反射面が撮影レンズの方を向くとともに撮影レンズの光軸に対して水平方向に傾けて配置される。そして各内側のミラーは、撮影レンズに対して水平方向かつ内側のミラーよりも外側に配置され、反射面が被写体側へ向けられた各外側のミラーによって反射された被写体からの光束を撮影レンズに導く。これにより、撮影レンズの像面の左半分と右半分とに、それぞれ、被写体を、それぞれの外側のミラーの位置から見たときの被写体の像が結像される。したがって、ステレオアダプタを用いて被写体を撮影することにより得られた画像の左半分と右半分とから、被写体の像が写っている領域を切出して、それぞれ、左眼用の画像と右眼用の画像とすることにより、ステレオ画像が得られる。
【０００４】
しかし、特許文献１に開示されたステレオアダプタを利用してステレオ画像を作成する場合、視差を生じる方向である視差方向に沿った、右眼用の画像と左眼用の画像のそれぞれの画角は撮影レンズの水平画角の半分となる。そのため、各画像に写る視差方向の範囲が狭くなる。この問題に対して、二つのカメラを用いて、それぞれ、別個に左眼用の画像と右眼用の画像を作成することが考えられる。しかし、被写体が移動物体である場合、二つのカメラの撮影タイミングが同期されていないと、左眼用画像に写っている被写体の位置と右眼用画像に写っている被写体の位置または向きが異なってしまう。その結果、その左眼用画像と右眼用画像からは、立体的な像を正しく再現することが困難となる。特に、移動物体を測距する用途にステレオ画像を用いる場合、立体的な像が正確に再現されないことは、測定精度を著しく低下させてしまう。そのため、二つのカメラを用いてステレオ画像を作成するためには、それら二つのカメラの撮影タイミングを同期させるための構成が必要となる。
【０００５】
一方、ステレオ画像撮影用のアタッチメントにおいて、撮影レンズに対して視差方向と直交する方向に並ぶように右眼用の光束と左眼用の光束を導くことで、視差方向の視野を広くする技術が提案されている（例えば、特許文献２〜６を参照）。
【０００６】
さらに、ステレオ画像撮影用のアタッチメントを用いて得られた、左右の眼のそれぞれ用の画像に対して、ボケの補正またはノイズ除去といった画像処理を行うことで、それぞれの眼用の画像の画質を改善することが提案されている（特許文献７を参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１−２７９２３５号公報
【特許文献２】特開平７−１３４３４５号公報
【特許文献３】特開２０００−８１３３１号公報
【特許文献４】特開平８−１７１１５１号公報
【特許文献５】特開平８−２３４３３９号公報
【特許文献６】特開２００４−４８６９号公報
【特許文献７】特開２０１２−１８２７３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
視差方向と直交する方向に左眼用の光束と右眼用の光束が並べられると、左眼用の画像と右眼用の画像とで、視差と直交する方向における被写体の位置がずれる。そこで上記の特許文献２〜６に記載の技術では、その位置のずれを補償するためにアタッチメントの光学系が複雑化し、その結果として、アタッチメントが大型化するとともに、アタッチメントのコストも高くなる。
【０００９】
例えば、特許文献２に開示された技術では、左眼用の光束と右眼用の光束間の上下方向の位置のずれを補償するために、プリズムが利用される。
【００１０】
また、特許文献３に開示された技術では、左眼用の光束及び右眼用の光束は、それぞれ、ドーププリズムを用いて９０°回転されて、イメージセンサ上に横に並ぶように結像される。
【００１１】
さらに、特許文献４〜６に開示された技術では、右眼用の光学系と左眼用の光学系のそれぞれに結像レンズが含まれているので、このアタッチメントは実質的に２眼系の構成を有している。そのため、このアタッチメントを撮像光学系の前面に取り付けて利用できるようにするためには、各結像レンズにより収束光とされた光束を再度平行化するためのコンバージョンレンズが必要となる。そのため、アタッチメント自体が大型化するので、ユーザにとって取扱いが難しくなる。また光学系が複雑化することによりアタッチメントのコストも高くなってしまう。
【００１２】
一方、特許文献７に開示された技術では、右眼用の画像を生成するための光束と左眼用の画像を生成するための光束とを分割するために、右眼用と左眼用とに、それぞれ２枚のミラーを有し、撮像光学系の前面に配置されるミラー機構が用いられる。このように、特許文献７に開示された技術では、簡単な光学系を用いてステレオ画像が生成される。しかし、この技術における画像処理では、ボケの補正またはノイズ除去といった処理しか行われないので、各ミラーの向きによる、画像の傾きなどは補正されず、その結果として右眼用の画像と左眼用の画像とで共通する領域が有効に活用されない。
【００１３】
そこで本明細書は、簡単な光学系でも撮影レンズの画角と同程度の視差方向の画角を確保しつつ、右眼用の画像と左眼用の画像間で共通する領域を広くできるステレオアダプタを提供することを目的とする。
【課題を解決するための手段】
【００１４】
一つの実施形態によれば、被写体を撮影することにより画像を生成する撮像部の前面に配置されるステレオアダプタが提供される。このステレオアダプタは、撮像部の前面に、視差方向と直交する方向に沿って配置される第１及び第２の反射面と、視差方向に沿って、第１の反射面よりも撮像部から離れた位置に配置される第３の反射面と、視差方向に沿って、第２の反射面よりも撮像部から離れ、かつ、撮像部の光軸を挟んで第３の反射面の反対側に配置される第４の反射面とを有する。第１の反射面は、撮像部及び第３の反射面と対向するように、視差方向及び光軸と直交する第１の軸周りに、撮像部の入射瞳面に対して第１の角度回転されるとともに、第１の反射面に平行、かつ、第１の軸に直交する軸周りに、光軸及び視差方向を含む面に直交する方向から光軸側へ向けて第２の角度回転される。また第３の反射面は、第１の反射面及び被写体と対向するように、第１の軸周りに撮像部の像面と結像関係にある物体面に対して第１の角度回転されるとともに、第３の反射面に平行かつ第１の軸と直交する軸周りに光軸及び視差方向を含む面に直交する方向から第３の角度回転される。さらに、第２の反射面は、撮像部及び第４の反射面と対向するように、第１の軸周りに、撮像部の入射瞳面に対して、第１の反射面の回転方向と逆向きに第１の角度回転されるとともに、第２の反射面に平行、かつ、第１の軸に直交する軸周りに、光軸及び視差方向を含む面に直交する方向から光軸側へ向けて第２の角度回転される。そして第４の反射面は、第２の反射面及び被写体と対向するように、第１の軸周りに物体面に対して第３の反射面の回転方向と逆向きに第１の角度回転されるとともに、第４の反射面に平行かつ第１の軸と直交する軸周りに、光軸及び視差方向を含む面に直交する方向から第３の反射面の回転方向と逆向きに第３の角度回転される。
さらに、第２の角度と第３の角度の合計が、被写体から第３の反射面及び第１の反射面を経由して撮像部に入射する第１の光束のうちのステレオアダプタに入射する際に撮像部の光軸に平行な光線がステレオアダプタから出射する際に、光軸に対して撮像部の垂直画角の1/4の角度をなして光軸へ近づくように設定される。
【００１５】
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。
【発明の効果】
【００１６】
ここに開示されるステレオ撮像装置は、簡単な光学系でも撮影レンズの画角と同程度の視差方向の画角を確保しつつ、右眼用の画像と左眼用の画像間で共通する領域を広くできる。
【図面の簡単な説明】
【００１７】
【図１】ステレオアダプタが装着された、ステレオ撮像装置の一例であるデジタルカメラの概略構成図である。
【図２】（ａ）は、ステレオアダプタの光学系の平面図であり、（ｂ）は、（ａ）で示された矢印Ａの方向から見たステレオアダプタの光学系の側面図であり、（ｃ）は、（ａ）で示された矢印Ｂの方向から見たステレオアダプタの光学系の側面図である。
【図３】ステレオアダプタの一方のミラーのペアについてのミラー間の相対的な位置関係の一例を示す図である。
【図４】反射面への入射光の入射角と反射光の反射角の関係を示す図である。
【図５】ステレオアダプタの一方のミラーのペアについての各ミラーによる光線の入射角と反射角の関係の一例を示す図である。
【図６】（ａ）は、外側のミラーの前傾角が0°の場合に撮像部により作成される画像の一例を表し、（ｂ）は、外側のミラーの前傾角が設けられた場合に撮像部により作成される画像の一例を表す。（ｃ）は、外側のミラーの前傾角に応じて、内側のミラーの前傾角を調節したときの撮像部により作成される画像の一例を表す。
【図７】内側ミラーの前傾角と画像上の被写体領域間の境界の関係を表す図である。
【図８】（ａ）〜（ｃ）は、それぞれ、内側のミラーの前傾角と、画像上での、上下二つの被写体領域間の境界の水平方向に対する傾きの組み合わせの例を示す。
【図９】内側ミラー及び外側ミラーを、それぞれ、撮像部の光軸に対して、水平面内で45°の角度をなすように配置したときの、垂直方向における光線の軌跡を示す図である。
【図１０】（ａ）〜（ｃ）は、それぞれ、内側のミラーの前傾角と外側のミラーの前傾角の組み合わせに応じて得られる画像のシミュレーション結果を示す図である。
【図１１】（ａ）は、被写体の回転を補正するためのステレオアダプタに対する撮像部の回転を示す図であり、（ｂ）は、ステレオアダプタに対する、撮像部の回転により被写体の回転が補正された画像の一例を示す図である。
【図１２】ステレオ画像生成装置の構成図である。
【図１３】台形歪みを生じない物体面と垂直面との関係を示す図である。
【図１４】平面射影変換のモデルを示す図である。
【図１５】平面射影変換のモデルの変形を示す図である。
【図１６】ステレオ画像生成処理の動作フローチャートである。
【発明を実施するための形態】
【００１８】
図を参照しつつ、一つの実施形態によるステレオアダプタ及びステレオアダプタが装着されたステレオ撮像装置について説明する。このステレオ撮像装置は、視差方向と直交する方向に沿って右眼用の光束と左眼用の光束が並んで単眼のカメラの撮影光学系に入射するように各光束を導く二組のミラーのペアを有するステレオアダプタを用いて被写体を撮影した画像からステレオ画像を生成する。このステレオアダプタは、左眼用の光束のうち、ステレオアダプタに入射する際に撮像光学系の光軸に平行な光線がステレオアダプタから出射する際にその光軸に対して所定の角度をなして右眼用の光束へ近づくように左眼用の光束を導く。同様に、このステレオアダプタは、右眼用の光束のうち、ステレオアダプタに入射する際に撮像光学系の光軸に平行な光線がステレオアダプタから出射する際にその光軸に対して所定の角度をなして左眼用の光束へ近づくように右眼用の光束を導く。ステレオ撮像装置は、画像を視差方向に対して直交する方向に沿って、左眼用の画像と右眼用の画像に分割する。
さらに、このステレオアダプタは、画像上における、左眼用の光束により形成される被写体領域と右眼用の光束により形成される被写体領域間の境界の傾きと、視差方向の傾きとの差が小さくなるように、各ミラーの傾きが設定される。
【００１９】
図１は、ステレオアダプタが装着されたデジタルカメラの概略構成図である。図１に示すように、デジタルカメラ１は、ステレオ撮像装置の一例であり、撮像部２と、操作部３と、表示部４と、記憶部５と、ステレオ画像生成装置６と、制御部７と、ステレオアダプタ８とを有する。さらにデジタルカメラ１は、デジタルカメラ１をコンピュータ、またはテレビといった他の機器と接続するために、ユニバーサルシリアルバスなどのシリアルバス規格に従ったインターフェース回路（図示せず）を有していてもよい。また制御部７と、デジタルカメラ１のその他の各部とは、例えば、バスにより接続されている。
【００２０】
撮像部２は、２次元状に配置された固体撮像素子のアレイを有するイメージセンサと、そのイメージセンサ上に、ステレオアダプタ８を介して、被写体の像をイメージセンサの上半分と下半分とにそれぞれ結像する撮像光学系を有する。そして撮像部２は、画像上の上半分の領域と下半分の領域とに、それぞれ、被写体の像が写った画像を生成する。撮像部２は、画像を生成する度に、その生成した画像をステレオ画像生成装置６へ送信する。
【００２１】
操作部３は、例えば、デジタルカメラ１をユーザが操作するための各種の操作ボタンまたはダイヤルスイッチを有する。そして操作部３は、ユーザの操作に応じて、撮影または合焦の開始などの制御信号またはシャッター速度、絞り径などを設定するための設定信号を制御部７へ送信する。
【００２２】
表示部４は、例えば、液晶ディスプレイ装置といった表示装置を有し、制御部７から受け取った各種の情報、または撮像部２により生成された画像を表示する。なお、操作部３と表示部４とは、例えば、タッチパネルディスプレイを用いて一体的に形成されてもよい。
【００２３】
記憶部５は、例えば、読み書き可能な揮発性または不揮発性の半導体メモリ回路を有する。そして記憶部５は、ステレオ画像生成装置６により生成されたステレオ画像を記憶する。また記憶部５は、撮像部２から受け取った画像を記憶してもよい。さらに、ステレオ画像生成装置６が有する各機能が、制御部７が有するプロセッサ上で実行されるコンピュータプログラムにより実現される場合、そのコンピュータプログラムを記憶してもよい。
【００２４】
ステレオ画像生成装置６は、被写体をステレオアダプタ８を用いて撮影した画像から、その画像の上半分に写っている被写体の像を含む領域を左眼用画像として切り出し、下半分に写っている被写体の像を含む領域を右眼用画像として切り出す。なお、以下では、便宜上、左眼用画像を左画像と呼び、右眼用画像を右画像と呼ぶ。そしてステレオ画像生成装置６は、ステレオアダプタ８のミラーのペアにより生じる左画像及び右画像上の被写体の台形状の歪みを補正する。なお、ステレオ画像生成装置６の詳細については後述する。
【００２５】
制御部７は、少なくとも一つのプロセッサ及びその周辺回路を有する。そして制御部７は、デジタルカメラ１全体を制御する。
【００２６】
ステレオアダプタ８は、撮像部２が有する撮像レンズ系の前面に着脱自在に装着される。そのために、ステレオアダプタ８は、撮像部２の前面に対してステレオアダプタ８を取り付けるためのマウント機構（図示せず）を有する。さらに、ステレオアダプタ８は、撮像部２の像面に対して被写体を互いに異なる２方向から見た像を結像させるためのミラーのペアを二つ有する。なお、ステレオアダプタ８と撮像部２とは、一つの鏡枠内に一体的に形成されてもよい。
本実施形態では、ステレオアダプタ８は、視差方向が水平方向となり、視差方向と直交する方向が垂直方向となるように撮像部２に装着される。したがって、左画像及び右画像の視差方向の画角は、撮像部２の水平画角と同程度となる。
【００２７】
図２（ａ）は、ステレオアダプタ８の光学系の平面図である。図２（ｂ）は、また図２（ａ）で示された矢印Ａの方向から見たステレオアダプタの光学系の側面図である。そして図２（ｃ）は、図２（ａ）で示された矢印Ｂの方向から見たステレオアダプタの光学系の側面図である。図２（ａ）〜図２（ｃ）に示されるように、ステレオアダプタ８は、その内部に、左眼用のミラー８１ａ、８２ａのペアと、右眼用のミラー８１ｂ、８２ｂのペアとを有する。本実施形態では、各ミラーは、それぞれ、光学パワーを有さない平板ミラーである。なお、左眼用のミラー８１ａ、８２ａと右眼用のミラー８１ｂ、８２ｂとは、デジタルカメラ１に装着した状態で、ステレオアダプタ８の水平方向において、撮像部２の光軸ＯＡに対して線対称に配置される。そしてミラー８１ａ、８１ｂは、それぞれ、撮像部２の撮像光学系の正面に位置し、ステレオアダプタ８の垂直方向、すなわち、視差方向に直交する方向に沿って並べて配置される。なお、撮像部２の光軸ＯＡを含む水平面がミラー８１ａとミラー８１ｂの境界となる。
【００２８】
ミラー８２ａ、８２ｂは、それぞれ、被写体２００からの光束Ｂ１、Ｂ２を、ミラー８１ａ、８１ｂへ向けて反射する。そして光束Ｂ１、Ｂ２は、それぞれ、ミラー８１ａ、８１ｂにより反射されて撮像部２の撮像光学系に入射する。被写体２００が、撮像部２のイメージセンサ上の上半分の領域と下半分の領域とにそれぞれ結像されるように、各ミラーの向きが調節される。
【００２９】
具体的には、ミラー８１ａは、その反射面が撮像部２側を向き、かつ、撮像部２の入射瞳面に対して垂直軸周りに角度−θ、例えば−45°だけ回転するように配置される。一方、ミラー８１ｂは、その反射面が撮像部２側を向き、かつ、撮像部２の入射瞳面に対して垂直軸周りに、ミラー８１ａとは逆向きに角度θ、例えば45°だけ回転するように配置される。なお、角度θは、入射瞳面に対して反時計回りに回転する方向を正とする。
【００３０】
ミラー８２ａ、８２ｂは、ミラー８１ａ、８１ｂよりも外側に配置される。その反射面は被写体側へ向けられる。ミラー８２ａは、その反射面が撮像部２の像面と結像関係にある物体面に対して垂直軸周りにθ°回転するように配置される。すなわち、ミラー８２ａは、撮像部２の入射瞳面に対して垂直軸周りに角度(π−θ)、例えば135°だけ回転して配置される。一方、ミラー８２ｂは、その反射面が物体面に対して垂直軸周りに、かつ、ミラー８２ａとは逆向きに-θ°回転するように配置される。すなわち、ミラー８２ａは、撮像部２の入射瞳面に対して垂直軸周りに角度(θ-π)、例えば-135°だけ回転して配置される。
【００３１】
各ミラーの反射面が垂直方向に対して平行になるように各ミラーが配置されると、光束Ｂ１は撮像部２の光軸を含む水平面よりも上側を通り、一方、光束Ｂ２は、その水平面よりも下側を通る。そのため、撮像部２により生成される画像の上半分に写る像と下半分に写る像とで共通する部分が無く、ステレオ画像生成装置６はその画像からステレオ画像を生成することはできない。
【００３２】
そこで、光束Ｂ１と光束Ｂ２がステレオアダプタ８よりも物体側で少なくとも部分的に重なるように、ミラー８１ａは、その反射面に平行、かつ、水平な軸周りにおいて、反射面が垂直方向から光軸ＯＡ側へ向けて倒れるように角度αだけ回転される。同様に、ミラー８１ｂは、その反射面に平行、かつ、垂直軸と直交する水平軸周りにおいて、反射面が垂直方向から光軸ＯＡ側へ向けて倒れるように角度(-α)だけ回転される。この角度αは、撮像部２のイメージセンサ上において、視差方向と、左画像と右画像間の境界とができるだけ平行となるように設定される。なお、角度αの決定方法の詳細については後述する。
【００３３】
また、ミラー８２ａの反射面は、垂直軸に直交し、かつその反射面に平行な軸周りに角度ψだけ垂直方向から回転される。同様に、ミラー８２ｂの反射面は、垂直軸に直交し、かつその反射面に平行な軸周りに角度(-ψ)だけ垂直方向から回転される。そのため、光軸ＯＡと平行な入射光線２０１は、ミラー８２ａにより、その回転角に応じて光軸ＯＡを含む水平面に対して下向きに反射される。逆に、光軸ＯＡと平行な入射光線２０２は、ミラー８２ｂにより、その回転角に応じて光軸ＯＡを含む水平面に対して上向きに反射される。なお、回転角α及び回転角ψを、便宜上、前傾角と呼ぶ。
【００３４】
以下、各ミラーの位置関係の詳細について、右眼用のミラーのペア８１ｂ、８２ｂの配置を示す図３を参照しつつ説明する。図３において、撮像部２の撮像光学系の入射瞳面に平行な方向をx軸とし、撮像部２の光軸に平行な方向をz軸とする。また垂直方向をy軸とする。なお、y=0の水平面は、左眼用のミラーのペア８１ａ、８２ａと右眼用のミラーのペア８１ｂ、８２ｂとの境界面に対応する。ここで、撮像部２の水平画角をφとし、x軸に対するミラー８１ｂの傾きをθ(a=tanθ)とする。また入射瞳面からミラー８１ｂまでの撮像部２の光軸上の距離をm1とし、入射瞳からステレオアダプタ８の物体側の開口面までの光軸に沿った長さをlとする。
【００３５】
この場合、長さl、入射瞳面上の頂点から水平画角φで広がる三角形で表される主光線の束Ｂの物体側の開口面の端点を通る角度θの切断面３０１を、内側のミラー８１ｂの反射面に対して線対称に移動した位置が、外側のミラー８２ｂの位置となる。なお、ミラー８１ｂの反射面は、直線z=ax+m1で表される。以上から、左眼の視点と右眼の視点間の距離である基線長Bl及びステレオアダプタ８の各ミラーの左右端距離が定式化される。具体的には、ミラー８２ｂの右端の座標(xR,zR)およびミラー８２ｂの反射面と撮像部２の光軸に平行な主光線が交差する点の座標(x0,z0)が、直線z=ax+m1に対して線対称となる点A(ltanψ/2,l)、B(0,m2')の座標との関係から算出される。
【００３６】
具体的には、ミラー８２ｂの右端の座標(xR,zR)は、次式によって算出される。
【数１】
2015191186.tif 000003
ここで、θ=45°(a=1)とすると、(xR,zR)は、以下のようになる。
【数２】
2015191186.tif 000004
【００３７】
一方、座標(x0,z0)は、以下のように求まる。
【数３】
2015191186.tif 000005
ここで、θ=45°(a=1)とすると、x0は、以下のようになる。
【数４】
2015191186.tif 000006
x0の2倍が基線長Blであるため、基線長Blの半分は、m1が固定されるとxRからステレオアダプタ８の開口の半分だけ引いた値になる。すなわち、xRが決定されると、水平画角が小さいほど基線長Blを長くすることができる。
【００３８】
次に、入射瞳面から内側のミラー８１ｂのまでの距離m1についての制約条件の定式化について説明する。光束Ｂがミラー８１ｂでケラレないようにするためには、物体側から外側のミラー８２ｂに入射する左端の光線が、ミラー８１ｂの右端(x1, z1)よりも右側に位置する必要がある。ここで、入射瞳面からの距離zR（すなわち、入射瞳面からミラー８２ｂの右端までの距離）の位置における、その左端の光線が通る座標(xL, zL)は、次式で表される。
【数５】
2015191186.tif 000007
またミラー８１ｂの右端の座標(x1, z1)は、ミラー８１ｂの反射面を表す直線z=ax+m1と、光束Ｂの右端の光線を表す直線z=x/tan(ψ/2)の交点となる。そこで、次式が成立する。
【数６】
2015191186.tif 000008
（６）式において、θ=45°(a=1)であるとすると、xR=l-m1なので、次式が成立する。
【数７】
2015191186.tif 000009
すなわち、距離m1は、（７）式を満たすように設定される必要がある。
【００３９】
次に、外側のミラー８２ａ及びミラー８２ｂの前傾角ψの制約について説明する。なお、この前傾角は、垂直軸周りのミラーの傾きθと撮像部２の撮像光学系の垂直画角φVで定まる。またここでは、説明の簡単化のために、内側のミラー８１ａ及び８１ｂの前傾角αが0°の場合について説明する。前傾角αが0°以外の値に設定される場合における、外側のミラー８２ａ及びミラー８２ｂの前傾角の決定方法については後述する。
【００４０】
撮像部２から被写体までの距離によらずに、撮像部２により生成される画像の上半分に写る像と下半分に写る像とで共通する部分が存在するために、その上半分の視野の中心に相当する光線と、下半分の視野の中心に相当する光線とが、被写体側で平行になることが好ましい。すなわち、撮像部２の入射瞳の上半分に光束を導くミラー８２ａの中心に撮像部２の光軸と平行に入射する光線が、ステレオアダプタ８から出射するときに、その光軸に対して垂直方向にφV/4の角をなすように、ミラー８２ａの前傾角ψが定められることが好ましい。同様に、撮像部２の入射瞳の下半分に光束を導くミラー８２ｂの中心に、撮像部２の光軸と平行に入射する光線がステレオアダプタ８から出射するときに、その光軸に対して垂直方向にφV/4の角をなすように、ミラー８２ｂの前傾角(-ψ)が定められることが好ましい。
【００４１】
図４は、反射面への入射光の入射角と反射光の反射角の関係を示す図である。図４において、反射面４００への入射光の単位方向ベクトルをf、反射面４００の法線ベクトルをn、反射光の単位方向ベクトルをrとする。入射角と反射角は等しいので、各ベクトル間には以下の関係が成立する。
【数８】
2015191186.tif 000010
ここで、左眼用のミラーのペア８１ａ、８２ａについて、図５に示されるように、内側のミラー８１ａに撮像部２側から入射する光線の単位方向ベクトルをa=(0, sinφV/4, cosφV/4)とする。また、ミラー８１ａの反射面の法線ベクトルの逆ベクトルをn1=(sinθ, 0, cosθ)とし、ミラー８１ａによる反射光の単位方向ベクトルをb=(x,y,z)とする。この場合、（８）式から、以下の式が成立する。
【数９】
2015191186.tif 000011
したがって、反射光の単位方向ベクトルの各要素は以下のようになる。
【数１０】
2015191186.tif 000012
【００４２】
次に、外側のミラー８２ａに対する入射光の単位方向ベクトルの逆ベクトルをcとする。ただし、c=bである。また、ミラー８２ａを、その反射面に沿った水平方向軸周りに前傾角ψだけ回転させたときのミラー８２ａの反射面の法線ベクトルをn2=(sinθ,-sinψ, cosθcosψ)とする。そしてミラー８２ａによる反射光の単位方向ベクトルをd=(sinλ,0,cosλ)とする。この場合、（８）式から、以下の式が成立する。
【数１１】
2015191186.tif 000013
したがって、以下の関係が成立する。
【数１２】
2015191186.tif 000014
（１２）式からx,y,zを消去すると、垂直軸周りのミラー８１ａ、８２ａの回転角θから、λ及び前傾角ψについて解くことができる。特に、θ=45°の場合、前傾角ψは、撮像部２の垂直画角φVを用いて以下のように表される。
【数１３】
2015191186.tif 000015
【００４３】
例えば、撮像部２の水平画角が30°であり、撮像部２により生成される画像のアスペクト比4:3であるとすると、撮像部２の垂直画角は22.76°となる。この場合、（１３）式から、撮像部２の上側に被写体からの光束が導かれる左眼用の外側のミラー８２ａの前傾角は約4°となる。ただし、反射面が水平面よりも下側を向く場合に前傾角は正の値を持つとする。逆に、撮像部２の下側に被写体からの光束が導かれる右眼用の外側のミラー８２ｂの後傾角は、約-4°となる。
【００４４】
図６（ａ）は、外側のミラー８２ａ及び８２ｂの前傾角が0°の場合に撮像部２により作成される画像の一例を表す。この場合、画像６００の上側に写っている被写体と下側に写っている被写体に共通する部分がないので、ステレオ画像生成装置は、画像６００からステレオ画像を作成することはできない。一方、図６（ｂ）は、内側のミラー８１ａ及び８１ｂの前傾角を0°とし、一方、（１３）式に従って、ミラー８２ａ及びミラー８２ｂの前傾角が設定された場合に撮像部２により作成される画像の一例を表す。この場合、画像６１０の上側に写っている被写体と下側に写っている被写体に共通する部分６１５がある。そこでステレオ画像生成装置は、画像６１０の上半分６１１と下半分６１２からその共通部分６１５をそれぞれ切り出して左画像、右画像とすることにより、ステレオ画像を作成できる。
【００４５】
しかし、外側のミラーを光軸ＯＡ側へ向けて前傾させたことにより、画像上で被写体が回転する。また、画像の上半分に写る像と下半分に写る像が、それぞれ台形形状に歪む。これは、撮像部２の光軸よりも上側の光束と撮像部２の光軸よりも下側の光束は、本来、撮像部２から遠ざかるほど離れるところ、ステレオアダプタ８の外側のミラーを光軸ＯＡ側へ向けて前傾させたことにより、その二つの光束の中心が互いに平行となることに起因する。
【００４６】
さらに、図６（ｂ）に示される例では、画像６１０の上半分６１１と下半分６１２の境界６１３は、水平方向に対して平行となっているのに対して、上半分６１１及び下半分６１２に写っている被写体領域では、視差方向６１４が水平方向に対して傾いている。そのため、上半分６１１と下半分６１２に共通している部分６１５は、その上半分６１１及び下半分６１２の被写体領域と比較して、大幅に狭くなっている。
【００４７】
図６（ｃ）は、（１３）式に従って設定された、ミラー８２ａ及びミラー８２ｂの前傾角に応じて、内側のミラー８１ａ及び８１ｂの前傾角を調節したときの撮像部２により作成される画像の一例を表す。
この例では、画像６２０の上半分に写る被写体領域６２１と、画像６２０の下半分に写る被写体領域６２２間の境界６２３も、水平方向に対して傾いている。そのため、各被写体領域における視差方向６２４と、各被写体領域間の境界６２３は略平行となり、その結果として、上半分６２１と下半分６２２とで共通部分６２５は、図６（ｂ）に示される例における共通部分６１５よりも広い。
【００４８】
以下、視差方向と、各ミラーペアによる、被写体が写っている二つの領域間の境界を平行にするための、内側のミラー８１ａ及び８１ｂの前傾角の決定方法について説明する。
【００４９】
最初に、内側のミラー８１ａ及び８１ｂの前傾角と、画像上での被写体が写っている二つの領域間の境界の水平方向に対する傾きの関係について、図７を参照しつつ説明する。
図７に示されるように、二つの被写体領域間の境界７０１の水平方向７０２に対する傾きをγとすると、次式が成立する。
【数１４】
2015191186.tif 000016
ここで、wは、二つの被写体領域間の境界７０１の中心Ｏから端点までの長さであり、hは、中心Ｏを通る水平線に対する、境界７０１の端点の、ミラー８１ａに沿った高さを表す。ただし、中心Ｏは、説明の便宜上設定される点であり、例えば、水平方向における位置が撮像部２の光軸ＯＡと一致するように設定される。
【００５０】
ここで、画像上での被写体が写っている二つの被写体領域間の境界の水平方向に対する傾きは、ミラー８１ａ上で水平、かつ、ミラー８１ａの法線に平行な面が、撮像部２の像面と平行な物体面と交差する線の水平方向に対する傾きと等しい。
【００５１】
また、ミラー８１ａが、光軸ＯＡを通る水平面において、光軸ＯＡに対してミラー８１ａの反射面が45°をなすようにミラー８１ａが配置されているとする。この場合、図７に示されるように、ミラー８１ａ上で水平、かつ、ミラー８１ａの法線に平行な面とミラー８１ａとの交線７０３に沿った、境界７０１の中心Ｏに対応する、ミラー８１ａ上の点から、境界７０１の端点までの長さは、tan45°×w=√2wとなる。さらに、ミラー８１ａが、その反射面に平行、かつ、水平な回転軸を中心として角度αだけ前傾するように傾けられている場合、次式が成立する。
【数１５】
2015191186.tif 000017
（１４）式及び（１５）式を組み合わせることにより、上下二つの被写体領域間の境界の水平方向に対する傾きγは、ミラー８１ａの前傾角αにより、次式のように表される。
【数１６】
2015191186.tif 000018
【００５２】
図８（ａ）〜図８（ｃ）は、それぞれ、ミラー８１ａ及び８１ｂの前傾角αと、画像８００上での、上下二つの被写体領域間の境界８０１の水平方向に対する傾きγの組み合わせの例を示す。図８（ａ）は、α=γ=0°の場合に対応し、図８（ｂ）は、α=1°、γ=1.4°の場合に対応し、図８（ｃ）は、α=2°、γ=2.8°の場合に対応する。
【００５３】
図８（ａ）〜図８（ｃ）に示されるように、ミラー８１ａ及び８１ｂの前傾角αが大きくなるほど、傾きγも大きくなることが分かる。一方、前傾角αが大きくなるほど、境界８０１から上下の領域のそれぞれに写っている被写体８１０までの距離も大きくなる。そのため、ミラー８１ａ及び８１ｂの前傾角αに応じて、視差方向に直交する方向における、上側の被写体領域における被写体の位置と、下側の被写体領域における被写体の位置関係が変化する。
【００５４】
しかし、上下の被写体領域からそれぞれ左画像及び右画像を切り出してステレオ画像とするためには、上下の被写体領域間で共通する部分における、視差方向に直交する方向における被写体の位置は、上側と下側の被写体領域で一致していることが好ましい。そこで、本実施形態では、各ミラーの前傾角を適切に設定することで、上下の被写体領域間の境界の傾きと、それら被写体領域における視差方向の傾きの差を抑制しつつ、各被写体領域における、視差方向と直交する方向における被写体の位置ずれを抑制する。
【００５５】
図９は、内側ミラー８１ａ及び外側ミラー８２ａを、それぞれ、撮像部２の光軸ＯＡに対して、水平面内で45°の角度をなすように配置したときの、垂直方向における光線の軌跡を示す図である。
内側ミラー８１ａの前傾角をα、外側ミラー８２ａの前傾角をψとする。このとき、内側ミラー８１ａで反射されて撮像部２へ向かう光線が撮像部２の光軸ＯＡに対して平行となるように、ステレオアダプタ８に入射する光線が水平面となす角は、2(α+ψ)となる。このことから、次式の条件が満たされれば、光軸ＯＡに対する撮像部２に入射する光線の角度を一定に保つことが可能となる。すなわち、視差方向に直交する方向における、画像上での被写体の位置がずれない。
【数１７】
2015191186.tif 000019
【００５６】
図１０（ａ）〜（ｃ）は、それぞれ、（１７）式の条件を満たすαとψの組み合わせによる、撮像画像のシミュレーション結果を示す。図１０（ａ）は、α=0°、ψ=4°の場合の画像１０００を表す。図１０（ｂ）は、α=3°、ψ=1°の場合の画像１０１０を表す。そして図１０（ｃ）は、α=6°、ψ=-2°の場合の画像１０２０を表す。何れの画像においても、上下の被写体領域の境界１００１から、被写体１００２までの距離が、上側の被写体領域と下側の被写体領域とでほぼ一定に保たれていることが分かる。
【００５７】
したがって、上記の条件を満たしつつ、画像上での被写体領域における視差方向の傾きと、上下の被写体領域間の境界の傾きを同一とするように、α及びψを決定する。α及びψは以下のフローに従って決定される。
ステップ１: 画像上での被写体領域における視差方向の傾きΔを決定。
視差方向の傾きΔは、撮像部２の垂直画角φVによって定められる。上述したように、撮像部２から被写体までの距離によらずに、撮像部２により生成される画像の上半分に写る像と下半分に写る像とで共通する部分が存在することが好ましいい。この場合、撮像部２の上半分の視野の中心に相当する光線（すなわち、撮像部２に入射する時点で光軸に対して垂直画角φVの1/4の入射角を持つ光線）と、下半分の視野の中心に相当する光線とが、被写体側で平行になることが好ましい。この場合、画像上での被写体領域における視差方向の傾きは次式で与えられる。
【数１８】
2015191186.tif 000020
【００５８】
ステップ２：内側ミラーの前傾角αを決定。
（１６）式に従って、画像上での被写体領域における視差方向の傾きΔと、上下の被写体領域間の境界の傾きγとを等しくする。すなわち、γ=Δとすることで、次式に従って内側ミラーの前傾角αが決定される。
【数１９】
2015191186.tif 000021
【００５９】
ステップ３：外側ミラーの前傾角ψを決定。
（１７）式の右辺の一定値は、撮像部２の視野の上半分の中心に相当する光線と、下半分の中心に相当する光線とが、被写体側で平行になるように決定されることが好ましい。そのため、この一定値は、（１３）式に示される、内側ミラーの前傾角αが0°のときの外側ミラーの前傾角とすることができる。したがって、（１３）式と（１７）式から、次式が成立する。
【数２０】
2015191186.tif 000022
（１８）式〜（２０）式に示されるように、α、ψとも、撮像部２の垂直画角φVに基づいて決定される。
【００６０】
例えば、内側ミラー８１ａ及び外側ミラー８２ａを、それぞれ、撮像部２の光軸ＯＡに対して、水平面内で45°の角度をなすように配置されたとする。また、撮像部２の水平画角が30°であり、撮像面の縦横比が３：４であったとする。この場合、撮像部２の垂直画角φv=22.726°であるので、撮像部２の内側ミラー８１ａの前傾角αは、（１８）式及び（１９）式により、4.024°となる。また、外側ミラー８２ａの前傾角ψは、前傾角α=4.024°として、（２０）式により、-0.001964°となる。
【００６１】
本実施形態では、内側ミラー８１ａ及び８１ｂは、それぞれ、反射面が撮像部２の光軸ＯＡと直交する面よりも光軸ＯＡ側に傾いている。そのため、内側ミラー８１ａ及び外側ミラー８２ａを経由する光束の下端が内側ミラー８１ａの下端よりも下方へ向かう。そこで、内側ミラー８１ａよりも下側に位置する内側ミラー８１ｂの上端は、内側ミラー８１ａ及び外側ミラー８２ａを経由する光束を遮らないように、撮像部２の光軸ＯＡを通り、かつ、内側ミラー８１ａに直交する面でカットされることが好ましい。同様に、内側ミラー８１ａの下端は、撮像部２の光軸ＯＡを通り、かつ、内側ミラー８１ｂに直交する面でカットされることが好ましい。
【００６２】
あるいは、内側ミラー８１ｂの上端が、撮像部２の光軸ＯＡを通り、かつ、内側ミラー８１ａに直交する面と交差しないように、光軸ＯＡと内側ミラー８１ｂの上端の間に間隔を空けて内側ミラー８１ｂは配置されてもよい。同様に、内側ミラー８１ａの下端が、撮像部２の光軸ＯＡを通り、かつ、内側ミラー８１ｂに直交する面と交差しないように、光軸ＯＡと内側ミラー８１ａの下端の間に間隔を空けて内側ミラー８１ａは配置されてもよい。
【００６３】
上記のように、ステレオアダプタ８の水平方向と、撮像部２の撮像面の水平方向が一致するようにステレオアダプタ８が撮像部２に取り付けられている場合、外側及び内側のミラーを傾けたことにより、画像上で被写体が回転する。
【００６４】
この被写体の回転は、画像上での水平方向に対する視差方向の傾きを打ち消せるだけ、ステレオアダプタ８の水平方向に対して撮像部２の水平方向が傾くように、撮像部２またはステレオアダプタ８を撮像部２の光軸ＯＡを回転軸として回転させることで補正される。図１１（ａ）に示されるように、（１８）式で与えられる角度Δだけ、ステレオアダプタ８の水平方向（すなわち、視差方向）１１００に対して撮像部２の水平方向１１０１が傾くように、撮像部２を光軸ＯＡを回転軸として回転させればよい。上記の例のように、撮像部２の垂直画角φv=22.726°である場合、撮像部２の回転角は、5.6815°となる。
【００６５】
図１１（ｂ）は、ステレオアダプタ８の水平方向に対する、撮像部２の回転により被写体の回転が補正された画像の一例を示す図である。図１１（ｂ）に示されるように、画像１１１０上では、被写体領域における視差方向１１１１、及び、上下の被写体領域の境界１１１２は、水平方向に対して略平行となっていることが分かる。したがって、画像の上半分と下半分とが、それぞれ、被写体の回転を補正せずに、左画像及び右画像として利用できる。
【００６６】
ただし、外側及び内側のミラーを傾けたことにより、画像の上半分に写る像と下半分に写る像が、それぞれ台形形状に歪む。
そこで、ステレオ画像生成装置６は、撮像部２により生成された画像の上半分と下半分とを、それぞれ、左画像及び右画像として切り出し、左画像及び右画像における被写体の台形状の歪みを補正する。これにより、ステレオ画像生成装置６は、左画像と右画像の組からなるステレオ画像を生成する。
【００６７】
以下、ステレオ画像生成装置６の詳細について説明する。
図１２に、ステレオ画像生成装置６の構成図を示す。ステレオ画像生成装置６は、バッファ１０と、分割部１１と、台形歪み補正部１２とを有する。ステレオ画像生成装置６が有するこれらの各部は、それぞれ、別個の回路としてステレオ画像生成装置６に実装されてもよく、あるいはそれらの各部の機能を実現する一つの集積回路であってもよい。
【００６８】
あるいは、ステレオ画像生成装置６は、制御部７と一体的に形成されていてもよい。この場合、ステレオ画像生成装置６が有するこれらの各部は、例えば、制御部７が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。そしてステレオ画像生成装置が生成し、またはステレオ画像生成装置が利用する各種のデータは記憶部５に記憶される。
【００６９】
バッファ１０は、例えば、揮発性の半導体メモリ回路を有し、撮像部２により生成され、かつ、ステレオ画像生成装置６に入力された画像を一時的に記憶する。またバッファ１０は、分割部１１により切り出された左画像及び右画像を一時的に記憶してもよい。
【００７０】
分割部１１は、ステレオアダプタ８を用いて被写体を撮影した画像を、上半分と下半分に分割する。分割された上半分は、ステレオアダプタ８の左眼用のミラーのペアにより導かれた光束による被写体の像が写る部分に相当する。一方、分割された下半分は、ステレオアダプタ８の右眼用のミラーのペアにより導かれた光束による被写体の像が写る部分に相当する。そして分割部１１は、その画像の上半分を左画像とし、その画像の下半分を右画像とする。
【００７１】
なお、ステレオアダプタ８の筐体または何れかのミラーによる光束のケラレが生じる場合、分割部１１は、画像の上半分のうち、光束が入射する範囲に相当する領域をトリミングして左画像としてもよい。同様に、分割部１１は、画像の下半分のうち、光束が入射する範囲に相当する領域をトリミングして右画像としてもよい。
分割部１１は、左画像及び右画像を台形歪み補正部１２へ出力する。
【００７２】
ステレオアダプタ８の内側及び外側のミラーが水平方向の軸周りに傾いているので、撮像部２の像面に対応する物体面は、光がステレオアダプタ８を経由することによって傾く。そのため、像面と平行な物体面上の物体は、ステレオアダプタ８及び撮像部２によって、像面に対して斜めに投影されることになる。その結果として、撮像部２により生成された画像上で、被写体の形状が台形状に歪む。
【００７３】
そこで台形歪み補正部１２は、その斜投影による台形状の歪みを補正する。
まず画像に生じる台形歪について検討する。図１３に示されるように、ステレオアダプタ８を経由することにより撮像部２の光軸に沿った光線となる光線１３０１と直交する平面１３０２は、台形状に歪むことなく撮像部２の像面上に結像することに着目する。台形歪み補正部１２は、この平面を垂直面１３０３に対して平面射影変換することでで、台形状の歪みを補正できる。本実施形態では、撮像部２の光軸に平行な光線がステレオアダプタ８を経由することにより、光軸に対してφV/4だけ傾くように、各ミラーの前傾角が設定されている。のため、垂直面１３０３に対する平面１３０２の傾き角は、直角三角形の補角の関係から、φV/4になる。
【００７４】
画像の台形歪補正に関して、カメラ座標系(u, v)で表される画像を補正する行列式は、3x3の平面射影変換で与えられる。図１４に示されるように、平面射影変換を求めるために、World座標の点P(X, Y, Z)に対応する、光軸がZ軸に一致したカメラによる像面の点sの座標(x, y, z)と、光軸がX軸周りにθ°回転したカメラによる像面の点s'の座標(x', y', z')が求められる。
さらに、座標(x, y, z)及び(x', y', z')を、そのカメラによるカメラ座標系上の点(u, v)、(u', v')に変換して、座標(u, v)から(u', v')への対応関係を求めることで、所望の平面射影行列が得られる。なおカメラ座標系への変換を考えやすくするため、World座標系は右手系とする。
【００７５】
図１４に示される平面射影変換のモデルは、一般性を失うことなく図１５に示されるように、図１４に示された座標系をX軸周りに-θだけ回転させて得られる座標系上でも与えられる(ただし、θは右回りの向きが正とする)。
ここで、座標(x', y', z')は、式(y-h)=tan(90-θ)(z-f)=(1/tanθ)(z-f)とy=(Y/Z)zとの交点である。これらの式からz'は以下のように算出される。
【数２１】
2015191186.tif 000023
なお、fは、カメラの焦点距離を表す。
【００７６】
さらに、x'=(z'/Z)X及びy'=(z'/Z)Yの関係式により、カメラによる透視変換式が以下のように求められる。
【数２２】
2015191186.tif 000024
【００７７】
一方、座標(x, y, z)についての透視変換は、（２２）式においてθ=0の場合に対応するので、以下の式で与えられる。
【数２３】
2015191186.tif 000025
【００７８】
これら二つの透視変換式から、(X, Y, Z)を消去し、さらに、s'/sをs'と再定義することで次式が得られる。
【数２４】
2015191186.tif 000026
【００７９】
さらに、World座標系からカメラ座標系に変換するために、カメラ座標系上の点(u, v)と点(u', v')を対応付ける。ここで、光軸がZ軸に一致したカメラによる像面の座標(x, y, z)とそのカメラによるカメラ座標系上の対応座標(u, v)との関係は次式により表される。
【数２５】
2015191186.tif 000027
同様に、光軸がX軸周りにθ°回転したカメラによる像面の座標(x', y', z') とそのカメラによるカメラ座標系上の対応座標(u, v)との関係は次式により表される。
【数２６】
2015191186.tif 000028
（２５）式及び（２６）式を（２４）式に代入することにより、（２４）式をカメラ座標系(u, v)及び、(u', v')により表現される式に変換することで、所望の補正式が得られる。
【数２７】
2015191186.tif 000029
を得る。ただし、FOVHは、カメラの水平画角を表し、FOVVは、カメラの垂直画角を表す。
【００８０】
台形歪み補正部１２は、左画像及び右画像の各画素の座標を、（２７）式に従って変換することで、被写体の台形状の歪みを補正できる。ただし、FOVH、FOVVは、それぞれ、撮像部２の水平画角及び垂直画角であり、fは撮像部２の焦点距離である。また本実施形態では、ステレオアダプタ８の各ミラーにより、撮像部２の像面に対応する物体面はφV/4だけ傾けられているので、（２７）式においてθ=φV/4とすればよい。
【００８１】
台形歪み補正部１２により台形状の歪みが補正された左画像用及び右画像は、ステレオ画像として利用できる。ステレオ画像生成装置６は、得られたステレオ画像を表示部４に表示させ、あるいは、記憶部５に記憶する。
【００８２】
図１６は、ステレオ画像生成装置６により実行されるステレオ画像生成処理の動作フローチャートである。
ステレオ画像生成装置６は、撮像部２から、ステレオアダプタ８を用いて被写体を撮影した画像を取得する（ステップＳ１０１）。そしてステレオ画像生成装置６は、その画像をバッファ１０に記憶する。
分割部１１は、バッファ１０から画像を読み出す。そして分割部１１は、その画像を、左眼用のミラーのペアに対応する上半分と右眼用のミラーのペアに対応する下半分に分割し、それぞれ、左画像及び右画像とする（ステップＳ１０２）。
【００８３】
台形歪み補正部１２は、ミラーの前傾角による被写体の台形状の歪みを補正する（ステップＳ１０３）。そしてステレオ画像生成装置６は、被写体の台形状の歪みが補正された左画像と右画像の組をステレオ画像として出力し、ステレオ画像生成処理を終了する。
【００８４】
以上に説明してきたように、このステレオアダプタを装着したステレオ撮像装置は、撮像部の視野を視差方向と直交する方向に２等分し、その視野の上半分と下半分とに、それぞれ左眼用の光束と右眼用の光束を導く。そのため、このステレオ撮像装置は、視差方向の画角が広いステレオ画像を生成できる。またこのステレオ撮像装置は、ステレオアダプタが有する各ミラーの前傾角を調節することで、画像上での視差方向と、各光束により形成されるそれぞれの被写体領域間の境界とを略平行化できる。そのため、このステレオ撮像装置は、各被写体領域間で共通する部分を広くできる。
【００８５】
なお、変形例によれば、ステレオアダプタ８の水平方向（視差方向）と、撮像部２の水平方向とが一致するようにステレオアダプタ８は撮像部２に取り付けられてもよい。この場合には、ステレオ画像生成装置は、画像上での水平方向に対する視差方向の傾きを打ち消せるだけ、左画像及び右画像の各画素を、アフィン変換に従って回転すればよい。すなわち、ステレオ画像生成装置は、（１８）式で与えられる角度Δだけ、左画像及び右画像の各画素を回転させればよい。
【００８６】
なお、変形例によれば、ステレオアダプタが有する左眼用のミラーのペア及び右眼用のミラーのペアの代わりに、それぞれ、内側のミラーの反射面に相当する反射面と外側のミラーの反射面に相当する反射面を持つプリズムが用いられてもよい。プリズムでは、反射面間の位置関係が固定されているので、ステレオアダプタにプリズムを取り付ける際の位置合わせが、ステレオアダプタにミラーのペアを取り付ける際の位置合わせよりも簡単化できる。
【００８７】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【符号の説明】
【００８８】
１    デジタルカメラ
２    撮像部
３    操作部
４    表示部
５    記憶部
６    ステレオ画像生成装置
７    制御部
８    ステレオアダプタ
８１ａ、８１ｂ    内側ミラー
８２ａ、８２ｂ    外側ミラー
１０    バッファ
１１    分割部
１２    台形歪み補正部
【図１】
2015191186.tif 000030
【図２】
2015191186.tif 000031
【図３】
2015191186.tif 000032
【図４】
2015191186.tif 000033
【図５】
2015191186.tif 000034
【図７】
2015191186.tif 000035
【図９】
2015191186.tif 000036
【図１２】
2015191186.tif 000037
【図１３】
2015191186.tif 000038
【図１４】
2015191186.tif 000039
【図１５】
2015191186.tif 000040
【図１６】
2015191186.tif 000041
【図６】
2015191186.tif 000042
【図８】
2015191186.tif 000043
【図１０】
2015191186.tif 000044
【図１１】
2015191186.tif 000045