(57)【要約】【課題】撮影レンズの画角と同程度の視差方向の画角が得られるステレオアダプタの光学系の簡単化を達成できるステレオ撮像装置を提供する。【解決手段】ステレオ撮像装置１は、画像を生成する撮像部２と、撮像部２の前面に配置され、被写体からの光を視差方向に沿った第１の光束と第２の光束に分割し、かつ第１及び第２の光束が撮像部２に入射するときに視差方向に対して直交する方向に並ぶように第１及び第２の光束を導くステレオアダプタ８と、画像に基づいてステレオ画像を生成するステレオ画像生成部６とを有する。ステレオ画像生成部６は、画像を、視差方向に対して直交する方向に沿って第１及び第２のサブ画像に分割する分割部１１と、第１及び第２のサブ画像上の被写体の回転を補正する水平方向補正部１２と、第１及び第２のサブ画像上の被写体の台形状の歪みを補正する台形歪み補正部１３とを有する。【選択図】図７
2015059988.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影することにより画像を生成する撮像部と、
前記撮像部の前面に配置されるステレオアダプタであって、前記被写体からの光を視差方向に沿った第１の光束と第２の光束に分割し、かつ前記第１及び第２の光束が前記撮像部に入射するときに前記視差方向に対して直交する方向に並び、かつ、前記第１の光束のうちの該ステレオアダプタに入射する際に前記撮像部の光軸に平行な光線が該ステレオアダプタから出射する際に前記光軸に対して第１の角度をなして前記第２の光束へ近づき、前記第２の光束のうちの該ステレオアダプタに入射する際に前記光軸に平行な光線が該ステレオアダプタから出射する際に前記光軸に対して前記第１の角度をなして前記第１の光束へ近づくように前記第１及び第２の光束を導くステレオアダプタと、
前記画像に基づいてステレオ画像を生成するステレオ画像生成部とを有し、
前記ステレオ画像生成部は、
前記画像を、前記視差方向に対して直交する方向に沿って、前記第１の光束が入射する第１の領域と、前記第２の光束が入射する第２の領域とに分割し、前記第１の領域を前記ステレオ画像のうちの一方の眼用の第１のサブ画像とし、かつ前記第２の領域を前記ステレオ画像のうちの他方の眼用の第２のサブ画像とする分割部と、
前記第１の角度に応じた前記第１及び第２のサブ画像上の被写体の回転を補正する水平方向補正部と、
前記第１の角度に応じた前記第１及び第２のサブ画像上の被写体の台形状の歪みを補正する台形歪み補正部と、
を有するステレオ撮像装置。
【請求項２】
前記ステレオアダプタは、
前記撮像部の前面に、前記視差方向と直交する方向に沿って配置される第１及び第２の反射面と、
前記視差方向に沿って、前記第１の反射面よりも前記撮像部から離れた位置に配置される第３の反射面と、
前記視差方向に沿って、前記第２の反射面よりも前記撮像部から離れ、かつ、前記撮像部の光軸を挟んで前記第３の反射面の反対側に配置される第４の反射面とを有し、
前記第１の反射面は、前記撮像部及び前記第３の反射面と対向するように、前記視差方向及び前記光軸と直交する第１の軸周りに、前記撮像部の入射瞳面に対して第２の角度回転され、
前記第３の反射面は、前記第１の反射面及び被写体と対向するように、前記第１の軸に沿って前記撮像部の像面と結像関係にある物体面に対して前記第２の角度回転されるとともに、前記第３の反射面の中心に入射する前記光軸と平行な光線が、前記第１の角度で前記撮像部に近づくにつれて前記光軸に近づくように、前記第３の反射面に平行かつ前記第１の軸と直交する軸周りに第３の角度だけ傾けられ、
前記第２の反射面は、前記撮像部及び前記第４の反射面と対向するように、前記第１の軸に沿って、前記撮像部の入射瞳面に対して、前記第１の反射面の回転方向と逆向きに前記第２の角度回転され、
前記第４の反射面は、前記第２の反射面及び被写体と対向するように、前記第１の軸に沿って前記物体面に対して前記第３の反射面の回転方向と逆向きに前記第２の角度回転されるとともに、前記第４の反射面の中心に入射する前記光軸と平行な光線が、前記第１の角度で前記撮像部に近づくにつれて前記光軸に近づくように、前記第４の反射面に平行かつ前記第１の軸と直交する軸周りに前記第３の角度だけ傾けられ、
前記第１の光束は、前記第３の反射面により反射されてから前記第１の反射面により再度反射されて前記撮像部に達し、一方、前記第２の光束は、前記第４の反射面により反射されてから前記第２の反射面により再度反射されて前記撮像部に達する、請求項１に記載のステレオ撮像装置。
【請求項３】
前記第１の角度は、前記視差と直交する方向における前記撮像部の画角の１／４である、請求項１または２に記載のステレオ撮像装置。
【請求項４】
前記水平方向補正部は、前記第３の反射面において前記視差方向に沿って互いに異なる位置で反射された二つの光線間の当該第３の反射面から前記撮像部までの前記第２の角度に応じた光路長差と、前記第１の角度とに応じた前記第１のサブ画像上の被写体の回転量を打ち消すように前記第１のサブ画像を回転させる、請求項１〜３の何れか一項に記載のステレオ撮像装置。
【請求項５】
前記台形歪み補正部は、前記第３の反射面及び前記第１の反射面で反射されることにより前記光軸と平行になる光線に対して直交する面から前記光軸に直交する面への正射影変換を前記被写体の回転が補正された前記第１のサブ画像に対して行うことにより、前記第１のサブ画像上の被写体の台形状の歪みを補正する、請求項１〜４の何れか一項に記載のステレオ撮像装置。
【請求項６】
被写体を撮影することにより画像を生成する撮像部と、前記撮像部の前面に配置されるステレオアダプタであって、前記被写体からの光を視差方向に沿った第１の光束と第２の光束に分割し、かつ前記第１及び第２の光束が前記撮像部に入射するときに前記視差方向に対して直交する方向に並び、かつ、前記第１の光束のうちの該ステレオアダプタに入射する際に前記光軸に平行な光線が該ステレオアダプタから出射する際に前記光軸に対して第１の角度をなして前記第２の光束へ近づき、前記第２の光束のうちの該ステレオアダプタに入射する際に前記光軸に平行な光線が該ステレオアダプタから出射する際に前記光軸に対して前記第１の角度をなして前記第１の光束へ近づくように前記第１及び第２の光束を導くステレオアダプタとを有する撮像装置により生成された画像からステレオ画像を生成するステレオ画像生成方法であって、
前記画像を、前記視差方向に対して直交する方向に沿って、前記第１の光束が入射する第１の領域と、前記第２の光束が入射する第２の領域とに分割し、前記第１の領域を前記ステレオ画像のうちの一方の眼用の第１のサブ画像とし、かつ前記第２の領域を前記ステレオ画像のうちの他方の眼用の第２のサブ画像とし、
前記第１の角度に応じた前記第１及び第２のサブ画像上の被写体の回転を補正し、
前記第１の角度に応じた前記第１及び第２のサブ画像上の被写体の台形状の歪みを補正する、
ことを含むステレオ画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、被写体を互いに異なる２方向から撮影可能とするステレオアダプタを用いてステレオ画像を生成するステレオ撮像装置及びステレオ画像生成方法に関する。
【背景技術】
【０００２】
従来より、立体的な像を再生するための研究がなされている。立体的な像を再生するための一つの方法として、被写体を異なる方向から撮影した二つの画像を並べて表示し、その二つの画像のそれぞれを、観察者の左右それぞれの眼に見せる方法が知られている。このような方法で用いられる２枚一組の画像は、ステレオ画像と呼ばれる。
【０００３】
ステレオ画像を生成するために、単眼のカメラの撮影レンズの前面に取り付け、被写体を互いに異なる方向から見た二つの像を、それぞれ、カメラの像面の左半分と右半分に結像させるステレオアダプタが知られている（例えば、特許文献１を参照）。ステレオアダプタは、被写体を互いに異なる２方向から見たそれぞれの被写体の像をカメラが結像できるように、例えば、ステレオアダプタの水平方向の中心に対して線対称となるように配置された２枚のミラーのペアを２組有する。それぞれのミラーのペアに含まれる内側のミラーは、撮影レンズの正面に位置し、かつ、反射面が撮影レンズの方を向くとともに撮影レンズの光軸に対して水平方向に傾けて配置される。そして各内側のミラーは、撮影レンズに対して水平方向かつ内側のミラーよりも外側に配置され、反射面が被写体側へ向けられた各外側のミラーによって反射された被写体からの光束を撮影レンズに導く。これにより、撮影レンズの像面の左半分と右半分とに、それぞれ、被写体を、それぞれの外側のミラーの位置から見たときの被写体の像が結像される。したがって、ステレオアダプタを用いて被写体を撮影することにより得られた画像の左半分と右半分とから、被写体の像が写っている領域を切出して、それぞれ、左眼用の画像と右眼用の画像とすることにより、ステレオ画像が得られる。
【０００４】
しかし、特許文献１に開示されたステレオアダプタを利用してステレオ画像を作成する場合、視差を生じる方向である視差方向に沿った、右眼用の画像と左眼用の画像のそれぞれの画角は撮影レンズの水平画角の半分となる。そのため、各画像に写る視差方向の範囲が狭くなる。この問題に対して、二つのカメラを用いて、それぞれ、別個に左眼用の画像と右眼用の画像を作成することが考えられる。しかし、被写体が移動物体である場合、二つのカメラの撮影タイミングが同期されていないと、左眼用画像に写っている被写体の位置と右眼用画像に写っている被写体の位置または向きが異なってしまう。その結果、その左眼用画像と右眼用画像からは、立体的な像を正しく再現することが困難となる。特に、移動物体を測距する用途にステレオ画像を用いる場合、立体的な像が正確に再現されないことは、測定精度を著しく低下させてしまう。そのため、二つのカメラを用いてステレオ画像を作成するためには、それら二つのカメラの撮影タイミングを同期させるための構成が必要となる。
【０００５】
一方、ステレオ画像撮影用のアタッチメントにおいて、撮影レンズに対して視差方向と直交する方向に並ぶように右眼用の光束と左眼用の光束を導くことで、視差方向の視野を広くする技術が提案されている（例えば、特許文献２〜６を参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１−２７９２３５号公報
【特許文献２】特開平７−１３４３４５号公報
【特許文献３】特開２０００−８１３３１号公報
【特許文献４】特開平８−１７１１５１号公報
【特許文献５】特開平８−２３４３３９号公報
【特許文献６】特開２００４−４８６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
視差方向と直交する方向に左眼用の光束と右眼用の光束が並べられると、左眼用の画像と右眼用の画像とで、視差と直交する方向における被写体の位置がずれる。そこで上記の各特許文献に記載の技術では、その位置のずれを補償するためにアタッチメントの光学系が複雑化し、その結果として、アタッチメントが大型化するとともに、アタッチメントのコストも高くなる。
【０００８】
例えば、特許文献２に開示された技術では、左眼用の光束と右眼用の光束間の上下方向の位置のずれを補償するために、プリズムが利用される。
【０００９】
また、特許文献３に開示された技術では、左眼用の光束及び右眼用の光束は、それぞれ、ドーププリズムを用いて９０°回転されて、イメージセンサ上に横に並ぶように結像される。
【００１０】
さらに、特許文献４〜６に開示された技術では、右眼用の光学系と左眼用の光学系のそれぞれに結像レンズが含まれているので、このアタッチメントは実質的に２眼系の構成を有している。そのため、このアタッチメントを撮像光学系の前面に取り付けて利用できるようにするためには、各結像レンズにより収束光とされた光束を再度平行化するためのコンバージョンレンズが必要となる。そのため、アタッチメント自体が大型化するので、ユーザにとって取扱いが難しくなる。また光学系が複雑化することによりアタッチメントのコストも高くなってしまう。
【００１１】
そこで本明細書は、撮影レンズの画角と同程度の視差方向の画角を確保しつつステレオアダプタの光学系を簡単化できるステレオ撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
一つの実施形態によれば、ステレオ撮像装置が提供される。このステレオ撮像装置は、被写体を撮影することにより画像を生成する撮像部と、撮像部の前面に配置されるステレオアダプタであって、被写体からの光を視差方向に沿った第１の光束と第２の光束に分割し、かつ第１及び第２の光束が撮像部に入射するときに視差方向に対して直交する方向に並び、かつ、第１の光束のうちのステレオアダプタに入射する際に撮像部の光軸に平行な光線がステレオアダプタから出射する際に光軸に対して第１の角度をなして第２の光束へ近づき、第２の光束のうちのステレオアダプタに入射する際に光軸に平行な光線がステレオアダプタから出射する際に光軸に対して第１の角度をなして第１の光束へ近づくように第１及び第２の光束を導くステレオアダプタと、画像に基づいてステレオ画像を生成するステレオ画像生成部とを有する。ステレオ画像生成部は、画像を、視差方向に対して直交する方向に沿って、第１の光束が入射する第１の領域と、第２の光束が入射する第２の領域とに分割し、第１の領域をステレオ画像のうちの一方の眼用の第１のサブ画像とし、かつ第２の領域をステレオ画像のうちの他方の眼用の第２のサブ画像とする分割部と、第１の角度に応じた第１及び第２のサブ画像上の被写体の回転を補正する水平方向補正部と、第１の角度に応じた第１及び第２のサブ画像上の被写体の台形状の歪みを補正する台形歪み補正部とを有する。
【００１３】
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。
【発明の効果】
【００１４】
ここに開示されるステレオ撮像装置は、撮影レンズの画角と同程度の視差方向の画角を確保しつつステレオアダプタの光学系を簡単化できる。
【図面の簡単な説明】
【００１５】
【図１】ステレオ画像生成装置が組み込まれたステレオ撮像装置の一例であるデジタルカメラの概略構成図である。
【図２】（ａ）は、ステレオアダプタの光学系の平面図であり、（ｂ）は、（ａ）で示された矢印Ａの方向から見たステレオアダプタの光学系の側面図であり、（ｃ）は、（ａ）で示された矢印Ｂの方向から見たステレオアダプタの光学系の側面図である。
【図３】ステレオアダプタの一方のミラーのペアについてのミラー間の相対的な位置関係の一例を示す図である。
【図４】反射面への入射光の入射角と反射光の反射角の関係を示す図である。
【図５】ステレオアダプタの一方のミラーのペアについての各ミラーによる光線の入射角と反射角の関係の一例を示す図である。
【図６】（ａ）は、外側のミラーの前傾角及び後傾角が0°の場合に撮像部により作成される画像の一例を表し、（ｂ）は、外側のミラーの前傾角及び後傾角が設けられた場合に撮像部により作成される画像の一例を表す。
【図７】一つの実施形態によるステレオ画像生成装置の構成図である。
【図８】ステレオアダプタの外側のミラーによる被写体の像の回転を説明する図である。
【図９】台形歪みを生じない物体面と垂直面との関係を示す図である。
【図１０】平面射影変換のモデルを示す図である。
【図１１】平面射影変換のモデルの変形を示す図である。
【図１２】ステレオ画像生成処理の動作フローチャートである。
【図１３】各実施形態またはその変形例によるステレオ画像生成装置の各部の機能を実現するコンピュータプログラムが動作することにより、ステレオ画像生成装置として動作するコンピュータの構成図である。
【発明を実施するための形態】
【００１６】
図を参照しつつ、一つの実施形態によるステレオ画像生成装置及びステレオ画像生成装置が組み込まれたステレオ撮像装置について説明する。このステレオ撮像装置は、視差方向と直交する方向に沿って右眼用の光束と左眼用の光束が並んで単眼のカメラの撮影光学系に入射するように各光束を導く二組のミラーのペアを有するステレオアダプタを用いて被写体を撮影した画像からステレオ画像を生成する。このステレオアダプタは、左眼用の光束のうち、ステレオアダプタに入射する際に撮像光学系の光軸に平行な光線がステレオアダプタから出射する際にその光軸に対して所定の角度をなして右眼用の光束へ近づくように左眼用の光束を導く。同様に、このステレオアダプタは、右眼用の光束のうち、ステレオアダプタに入射する際に撮像光学系の光軸に平行な光線がステレオアダプタから出射する際にその光軸に対して所定の角度をなして左眼用の光束へ近づくように右眼用の光束を導く。ステレオ撮像装置は、画像を視差方向に対して直交する方向に沿って、左眼用の画像（第１のサブ画像）と右眼用の画像（第２のサブ画像）に分割する。そしてステレオ画像生成装置は、上記の所定の角度に応じた左眼用の画像及び右眼用の画像上の被写体の回転と台形状の歪みを補正する。
【００１７】
本実施形態では、ステレオ画像生成装置は、ステレオアダプタを装着可能なデジタルカメラ、カメラ付携帯電話あるいはカメラ付携帯情報端末に組み込まれる。
【００１８】
図１は、ステレオ画像生成装置が組み込まれたデジタルカメラの概略構成図である。図１に示すように、デジタルカメラ１は、ステレオ撮像装置の一例であり、撮像部２と、操作部３と、表示部４と、記憶部５と、ステレオ画像生成装置６と、制御部７と、ステレオアダプタ８とを有する。さらにデジタルカメラ１は、デジタルカメラ１をコンピュータ、またはテレビといった他の機器と接続するために、ユニバーサルシリアルバスなどのシリアルバス規格に従ったインターフェース回路（図示せず）を有していてもよい。また制御部７と、デジタルカメラ１のその他の各部とは、例えば、バスにより接続されている。
【００１９】
撮像部２は、２次元状に配置された固体撮像素子のアレイを有するイメージセンサと、そのイメージセンサ上に、ステレオアダプタ８を介して、被写体の像をイメージセンサの上半分と下半分とにそれぞれ結像する撮像光学系を有する。そして撮像部２は、画像上の上半分の領域と下半分の領域とに、それぞれ、被写体の像が写った画像を生成する。撮像部２は、画像を生成する度に、その生成した画像をステレオ画像生成装置６へ送信する。
【００２０】
操作部３は、例えば、デジタルカメラ１をユーザが操作するための各種の操作ボタンまたはダイヤルスイッチを有する。そして操作部３は、ユーザの操作に応じて、撮影または合焦の開始などの制御信号またはシャッター速度、絞り径などを設定するための設定信号を制御部７へ送信する。
【００２１】
表示部４は、例えば、液晶ディスプレイ装置といった表示装置を有し、制御部７から受け取った各種の情報、または撮像部２により生成された画像を表示する。なお、操作部３と表示部４とは、例えば、タッチパネルディスプレイを用いて一体的に形成されてもよい。
【００２２】
記憶部５は、例えば、読み書き可能な揮発性または不揮発性の半導体メモリ回路を有する。そして記憶部５は、ステレオ画像生成装置６により生成されたステレオ画像を記憶する。また記憶部５は、撮像部２から受け取った画像を記憶してもよい。さらに、ステレオ画像生成装置６が有する各機能が、制御部７が有するプロセッサ上で実行されるコンピュータプログラムにより実現される場合、そのコンピュータプログラムを記憶してもよい。
【００２３】
ステレオ画像生成装置６は、被写体をステレオアダプタ８を用いて撮影した画像から、その画像の上半分に写っている被写体の像を含む領域を左眼用画像として切り出し、下半分に写っている被写体の像を含む領域を右眼用画像として切り出す。なお、以下では、便宜上、左眼用画像を左画像と呼び、右眼用画像を右画像と呼ぶ。そしてステレオ画像生成装置６は、ステレオアダプタ８のミラーのペアにより生じる左画像及び右画像上の被写体の回転及び台形状の歪みを補正する。なお、ステレオ画像生成装置６の詳細については後述する。
【００２４】
制御部７は、少なくとも一つのプロセッサ及びその周辺回路を有する。そして制御部７は、デジタルカメラ１全体を制御する。
【００２５】
ステレオアダプタ８は、撮像部２が有する撮像レンズ系の前面に着脱自在に装着される。そのために、ステレオアダプタ８は、撮像部２の前面に対してステレオアダプタ８を取り付けるためのマウント機構（図示せず）を有する。さらに、ステレオアダプタ８は、撮像部２の像面に対して被写体を互いに異なる２方向から見た像を結像させるためのミラーのペアを二つ有する。なお、ステレオアダプタ８と撮像部２とは、一つの鏡枠内に一体的に形成されてもよい。
本実施形態では、ステレオアダプタ８は、視差方向が水平方向となり、視差方向と直交する方向が垂直方向となるように撮像部２に装着される。したがって、左画像及び右画像の視差方向の画角は、撮像部２の水平画角と同程度となる。
【００２６】
図２（ａ）は、ステレオアダプタ８の光学系の平面図である。図２（ｂ）は、また図２（ａ）で示された矢印Ａの方向から見たステレオアダプタの光学系の側面図である。そして図２（ｃ）は、図２（ａ）で示された矢印Ｂの方向から見たステレオアダプタの光学系の側面図である。図２（ａ）〜図２（ｃ）に示されるように、ステレオアダプタ８は、その内部に、左眼用のミラー８１ａ、８２ａのペアと、右眼用のミラー８１ｂ、８２ｂのペアとを有する。本実施形態では、各ミラーは、それぞれ、光学パワーを有さない平板ミラーである。なお、左眼用のミラー８１ａ、８２ａと右眼用のミラー８１ｂ、８２ｂとは、デジタルカメラ１に装着した状態で、ステレオアダプタ８の水平方向において、撮像部２の光軸ＯＡに対して線対称に配置される。そしてミラー８１ａ、８１ｂは、それぞれ、撮像部２の撮像光学系の正面に位置し、ステレオアダプタ８の垂直方向、すなわち、視差方向に直交する方向に沿って並べて配置される。なお、撮像部２の光軸ＯＡを含む水平面がミラー８１ａとミラー８１ｂの境界となる。
【００２７】
ミラー８２ａ、８２ｂは、それぞれ、被写体２００からの光束Ｂ１、Ｂ２を、ミラー８１ａ、８１ｂへ向けて反射する。そして光束Ｂ１、Ｂ２は、それぞれ、ミラー８１ａ、８１ｂにより反射されて撮像部２の撮像光学系に入射する。ここで、被写体２００が、撮像部２のイメージセンサ上の上半分の領域と下半分の領域とにそれぞれ結像されるように、各ミラーの向きが調節される。
【００２８】
具体的には、ミラー８１ａは、その反射面が撮像部２側を向き、かつ、撮像部２の入射瞳面に対して垂直軸周りに角度−θ、例えば−45°だけ回転するように配置される。一方、ミラー８１ｂは、その反射面が撮像部２側を向き、かつ、撮像部２の入射瞳面に対して垂直軸周りに、ミラー８１ａとは逆向きに角度θ、例えば45°だけ回転するように配置される。なお、角度θは、入射瞳面に対して反時計回りに回転する方向を正とする。
【００２９】
ミラー８２ａ、８２ｂは、ミラー８１ａ、８１ｂよりも外側に配置される。その反射面は被写体側へ向けられる。ミラー８２ａは、その反射面が撮像部２の像面と結像関係にある物体面に対して垂直軸周りにθ°回転するように配置される。すなわち、ミラー８２ａは、撮像部２の入射瞳面に対して垂直軸周りに角度(π−θ)、例えば135°だけ回転して配置される。一方、ミラー８２ｂは、その反射面が物体面に対して垂直軸周りに、かつ、ミラー８２ａとは逆向きに-θ°回転するように配置される。すなわち、ミラー８２ａは、撮像部２の入射瞳面に対して垂直軸周りに角度(θ-π)、例えば-135°だけ回転して配置される。
【００３０】
各ミラーの反射面が垂直方向に対して平行になるように各ミラーが配置されると、光束Ｂ１は撮像部２の光軸を含む水平面よりも上側を通り、一方、光束Ｂ２は、その水平面よりも下側を通る。そのため、撮像部２により生成される画像の上半分に写る像と下半分に写る像とで共通する部分が無く、ステレオ画像生成装置６はその画像からステレオ画像を生成することはできない。
【００３１】
そこで、本実施形態では、光束Ｂ１と光束Ｂ２がステレオアダプタ８よりも物体側で少なくとも部分的に重なるように、ミラー８２ａの反射面は、垂直軸に直交し、かつその反射面に平行な軸周りに角度ψだけ前傾させられる。同様に、ミラー８２ｂの反射面は、垂直軸に直交し、かつその反射面に平行な軸周りに角度ψだけ後傾させられる。そのため、光軸ＯＡと平行な入射光線２０１は、ミラー８２ａにより、その前傾角に応じて光軸ＯＡを含む水平面に対して下向きに反射される。逆に、光軸ＯＡと平行な入射光線２０２は、ミラー８２ｂにより、その後傾角に応じて光軸ＯＡを含む水平面に対して上向きに反射される。
【００３２】
以下、各ミラーの位置関係の詳細について、右眼用のミラーのペア８１ｂ、８２ｂの配置を示す図３を参照しつつ説明する。図３において、撮像部２の撮像光学系の入射瞳面に平行な方向をx軸とし、撮像部２の光軸に平行な方向をz軸とする。また垂直方向をy軸とする。なお、y=0の水平面は、左眼用のミラーのペア８１ａ、８２ａと右眼用のミラーのペア８１ｂ、８２ｂとの境界面に対応する。ここで、撮像部２の水平画角をφとし、x軸に対するミラー８１ｂの傾きをθ(α=tanθ)とする。また入射瞳面からミラー８１ｂまでの撮像部２の光軸上の距離をm1とし、入射瞳からステレオアダプタ８の物体側の開口面までの光軸に沿った長さをlとする。
【００３３】
この場合、長さl、入射瞳面上の頂点から水平画角φで広がる三角形で表される主光線の束Ｂの物体側の開口面の端点を通る角度θの切断面３０１を、内側のミラー８１ｂの反射面に対して線対称に移動した位置が、外側のミラー８２ｂの位置となる。なお、ミラー８１ｂの反射面は、直線z=ax+m1で表される。以上から、左眼の視点と右眼の視点間の距離である基線長Bl及びステレオアダプタ８の各ミラーの左右端距離が定式化される。具体的には、ミラー８２ｂの右端の座標(xR,zR)およびミラー８２ｂの反射面と撮像部２の光軸に平行な主光線が交差する点の座標(x0,z0)が、直線z=ax+m1に対して線対称となる点A(ltanψ/2,l)、B(0,m2')の座標との関係から算出される。
【００３４】
具体的には、ミラー８２ｂの右端の座標(xR,zR)は、次式によって算出される。
【数１】
2015059988.tif 000003
ここで、θ=45°(a=1)とすると、(xR,zR)は、以下のようになる。
【数２】
2015059988.tif 000004
【００３５】
一方、座標(x0,z0)は、以下のように求まる。
【数３】
2015059988.tif 000005
ここで、θ=45°(a=1)とすると、x0は、以下のようになる。
【数４】
2015059988.tif 000006
x0の2倍が基線長Blであるため、基線長Blの半分は、m1が固定されるとxRからステレオアダプタ８の開口の半分だけ引いた値になる。すなわち、xRが決定されると、水平画角が小さいほど基線長Blを長くすることができる。
【００３６】
次に、入射瞳面から内側のミラー８１ｂのまでの距離m1についての制約条件の定式化について説明する。光束Ｂがミラー８１ｂでケラレないようにするためには、物体側から外側のミラー８２ｂに入射する左端の光線が、ミラー８１ｂの右端(x1, z1)よりも右側に位置する必要がある。ここで、入射瞳面からの距離zR（すなわち、入射瞳面からミラー８２ｂの右端までの距離）の位置における、その左端の光線が通る座標(xL, zL)は、次式で表される。
【数５】
2015059988.tif 000007
また及びミラー８１ｂの右端の座標(x1, z1)は、ミラー８１ｂの反射面を表す直線z=ax+m1と、光束Ｂの右端の光線を表す直線z=x/tan(ψ/2)の交点となる。そこで、次式が成立する。
【数６】
2015059988.tif 000008
（６）式において、θ=45°(a=1)であるとすると、xR=l-m1なので、次式が成立する。
【数７】
2015059988.tif 000009
すなわち、距離m1は、（７）式を満たすように設定される必要がある。
【００３７】
次に、外側のミラー８２ａの前傾角及びミラー８２ｂの後傾角の制約について説明する。なお、この前傾角及び後傾角は、垂直軸周りのミラーの傾きθと撮像部２の撮像光学系の垂直画角φVで定まる。
【００３８】
撮像部２からの距離によらずに、撮像部２により生成される画像の上半分に写る像と下半分に写る像とで共通する部分が存在するために、その上半分の視野の中心に相当する光線と、下半分の視野の中心に相当する光線とが、被写体側で平行になることが好ましい。すなわち、撮像部２の入射瞳の上半分に光束を導くミラー８２ａの中心に、撮像部２の光軸と平行に入射する光線がステレオアダプタ８から出射するときに、その光軸に対して垂直方向にφV/4の角をなすように、ミラー８２ａの前傾角が定められることが好ましい。同様に、撮像部２の入射瞳の下半分に光束を導くミラー８２ｂの中心に、撮像部２の光軸と平行に入射する光線がステレオアダプタ８から出射するときに、その光軸に対して垂直方向にφV/4の角をなすように、ミラー８２ｂの後傾角が定められることが好ましい。
【００３９】
図４は、反射面への入射光の入射角と反射光の反射角の関係を示す図である。図４において、反射面４００への入射光の単位方向ベクトルをf、反射面４００の法線ベクトルをn、反射光の単位方向ベクトルをrとする。入射角と反射角は等しいので、各ベクトル間には以下の関係が成立する。
【数８】
2015059988.tif 000010
ここで、左眼用のミラーのペア８１ａ、８２ａについて、図５に示されるように、内側のミラー８１ａに撮像部２側から入射する光線の単位方向ベクトルをa=(0, sinφV/4, cosφV/4)とする。また、ミラー８１ａの反射面の法線ベクトルの逆ベクトルをn1=(sinθ, 0, cosθ)とし、ミラー８１ａによる反射光の単位方向ベクトルをb=(x,y,z)とする。この場合、（８）式から、以下の式が成立する。
【数９】
2015059988.tif 000011
したがって、反射光の単位方向ベクトルの各要素は以下のようになる。
【数１０】
2015059988.tif 000012
【００４０】
次に、外側のミラー８２ａに対する入射光の単位方向ベクトルの逆ベクトルをcとする。ただし、c=bである。また、ミラー８２ａを、その反射面に沿った水平方向軸周りに前傾角ψだけ回転させたときのミラー８２ａの反射面の法線ベクトルをn2=(sinθ,-sinψ, cosθcosψ)とする。そしてミラー８２ａによる反射光の単位方向ベクトルをd=(sinλ,0,cosλ)とする。この場合、（８）式から、以下の式が成立する。
【数１１】
2015059988.tif 000013
したがって、以下の関係が成立する。
【数１２】
2015059988.tif 000014
（１２）式からx,y,zを消去すると、垂直軸周りのミラー８１ａ、８２ａの回転角θから、λ及び前傾角ψについて解くことができる。特に、θ=45°の場合、前傾角ψは、カメラの垂直画角φVを用いて以下のように表される。
【数１３】
2015059988.tif 000015
【００４１】
例えば、撮像部２の水平画角が30°であり、撮像部２により生成される画像のアスペクト比4:3であるとすると、撮像部２の垂直画角は22.76°となる。この場合、（１３）式から、撮像部２の上側に被写体からの光束が導かれる左眼用の外側のミラー８２ａの前傾角は約4°となる。ただし、反射面が水平面よりも下側を向く場合に前傾角は正の値を持つとする。逆に、撮像部２の下側に被写体からの光束が導かれる右眼用の外側のミラー８２ｂの後傾角は、約-4°となる。
【００４２】
図６（ａ）は、外側のミラー８２ａの前傾角及び８２ｂの後傾角が0°の場合に撮像部２により作成される画像の一例を表す。この場合、画像６００の上側に写っている被写体と下側に写っている被写体に共通する部分がないので、ステレオ画像生成装置は、画像６００からステレオ画像を作成することはできない。一方、図６（ｂ）は、（１３）式に従って、ミラー８２ａの前傾角及びミラー８２ｂの後傾角が設定された場合に撮像部２により作成される画像の一例を表す。この場合、画像６１０の上側に写っている被写体と下側に写っている被写体に共通する部分がある。そこでステレオ画像生成装置は、画像６１０の上半分と下半分からその共通部分をそれぞれ切り出して左画像、右画像とすることにより、ステレオ画像を作成できる。
【００４３】
しかし、外側のミラーを前傾または後傾させたことにより、画像上で被写体が回転する。また、画像の上半分に写る像と下半分に写る像が、それぞれ台形形状に歪む。これは、撮像部２の光軸よりも上側の光束と撮像部２の光軸よりも下側の光束は、本来、撮像部２から遠ざかるほど離れるところ、ステレオアダプタ８の外側のミラーを前傾または後傾させたことにより、その二つの光束の中心が互いに平行となることに起因する。
そこで、ステレオ画像生成装置６は、撮像部２により生成された画像の上半分と下半分とを、それぞれ、左画像及び右画像として切り出し、左画像及び右画像における被写体の回転及び台形状の歪みを補正する。これにより、ステレオ画像生成装置６は、左画像と右画像の組からなるステレオ画像を生成する。
【００４４】
以下、ステレオ画像生成装置６の詳細について説明する。
図７に、ステレオ画像生成装置６の構成図を示す。図７に示すように、ステレオ画像生成装置６は、バッファ１０と、分割部１１と、水平方向補正部１２と、台形歪み補正部１３とを有する。ステレオ画像生成装置６が有するこれらの各部は、それぞれ、別個の回路としてステレオ画像生成装置６に実装されてもよく、あるいはそれらの各部の機能を実現する一つの集積回路であってもよい。
【００４５】
あるいは、ステレオ画像生成装置６は、制御部７と一体的に形成されていてもよい。この場合、ステレオ画像生成装置６が有するこれらの各部は、例えば、制御部７が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。そしてステレオ画像生成装置が生成し、またはステレオ画像生成装置が利用する各種のデータは記憶部５に記憶される。
【００４６】
バッファ１０は、例えば、揮発性の半導体メモリ回路を有し、撮像部２により生成され、かつ、ステレオ画像生成装置６に入力された画像を一時的に記憶する。またバッファ１０は、分割部１１により切り出された左画像及び右画像を一時的に記憶してもよい。
【００４７】
分割部１１は、ステレオアダプタ８を用いて被写体を撮影した画像を、上半分と下半分に分割する。分割された上半分は、ステレオアダプタ８の左眼用のミラーのペアにより導かれた光束による被写体の像が写る部分に相当する。一方、分割された下半分は、ステレオアダプタ８の右眼用のミラーのペアにより導かれた光束による被写体の像が写る部分に相当する。そして分割部１１は、その画像の上半分を左画像とし、その画像の下半分を右画像とする。
【００４８】
なお、ステレオアダプタ８の筐体または何れかのミラーによる光束のケラレが生じる場合、分割部１１は、画像の上半分のうち、光束が入射する範囲に相当する領域をトリミングして左画像としてもよい。同様に、分割部１１は、画像の下半分のうち、光束が入射する範囲に相当する領域をトリミングして右画像としてもよい。
分割部１１は、左画像及び右画像を水平方向補正部１２へ出力する。
【００４９】
水平方向補正部１２は、左画像及び右画像のそれぞれについて、ステレオアダプタ８に対して撮像部２の光軸と平行に入射する光線がミラーのペアによって傾けられた角度に応じた被写体の回転を打ち消すように左画像及び右画像を補正する。まず、被写体の回転角について説明する。
【００５０】
図８は、ステレオアダプタ８の外側のミラー８２ａによる被写体の像の回転を説明する図である。
ミラー８２ａは前傾されているので、水平面に平行な線状の光束８０１は、ミラー８２ａによって、下方へ傾いて反射される。ミラー８２ａの外側の端点（すなわち、左端）で反射された光がその外側の端点から撮像部２に達するまでの光路長は、ミラー８２ａの内側の端点（すなわち、右端）で反射された光がその内側の端点から撮像部２に達するまでの光路長よりも長い。そのため、光８０１のうち、ミラー８２ａの外側に近いところで反射された光ほど、ミラー８１ａで再度反射された後、撮像部２の入射瞳面において下方かつ左側に入射する。そのため、撮像部２により生成された画像上では、物体面における水平線は、左側へ行くほど下がるように傾く。このことに基づき、撮像部２により生成される画像上での水平線の回転角度が算出可能である。
【００５１】
具体的には、撮像部２の光軸に平行かつ水平方向位置が光軸と同一の光線がミラーのペア８１ａ及び８２ａで反射されてからステレオアダプタ８の入射開口面と交わる点に着目することで、画像上での被写体の回転を補正する角度αが求められる。ここでは、簡単化のために、ミラー８２ａの外側の端部のz軸上の位置、すなわち撮像部２の光軸に沿った位置は、入射開口面のz軸上の位置と同じとする。
【００５２】
図８に示したベクトル８０２は、ミラー８２ａの反射点８０３（座標(-x0, 0, z0)）で反射された、撮像部２の光軸に平行な光線を表す。本実施形態では、被写体側からミラー８２ａに対して入射する、撮像部２の光軸と平行な光線が、ミラー８２ａ及びミラー８１ａで反射された後に、光軸に対してφV/4の角度をなすようにミラー８２ａは前傾されている。そのため、ベクトル８０２は、水平面に対して下向きにφV/4の角度をなして水平面より下方へ向かう。ミラー８２ａでの反射点からステレオアダプタ８の入射開口面におけるベクトル８０２で表された光線の交点までの下方へのシフト量をＡとする。この場合、ベクトル８０２、シフト量Ａ及び水平面からなる直角三角形に着目すると、次式が成立する。
【数１４】
2015059988.tif 000016
【００５３】
一方、ステレオアダプタ８の入射開口面における端点８０４（座標(-xR, 0, zR)）、ミラー８２ａの前傾角が0である場合のベクトル８０２と入射開口面との交点８０５（座標(-x0, 0, zR)）及び交点８０５からシフト量Ａだけ下の点のなす直角三角形に着目する。この場合、次式が成立する。
【数１５】
2015059988.tif 000017
（１４）式と（１５）式から、シフト量Ａを消去して、（１）式及び（３）式で与えられるxR, zR, x0, z0の座標を代入することで、次式が成立する。
【数１６】
2015059988.tif 000018
【００５４】
（１６）式に示されるように、左画像上での被写体の回転角αは、ミラー８１ａ、８２ａの垂直軸周りの回転角θと、撮像部２の垂直画角φVにより表されることが分かる。また、ミラー８１ｂ、８２ｂは、ミラー８１ａ、８２ａと、撮像部２の光軸を通る垂直面に対して線対称に配置されているので、右画像上での被写体の回転角も（１６）式により算出できる。
【００５５】
上記のように、被写体の回転角αが回転角θと撮像部２の垂直画角φVにより表されるのは、ミラー８２ａが垂直方向軸に沿って入射瞳面及び物体面に対して傾けて配置されており、光軸に対して直交していないことに起因している。その結果、ミラー８２ａの外側端で反射された光線のミラー８２ａから撮像部２までの光路長とミラー８２ａの内側端で反射された光線のミラー８２ａから撮像部２までの光路長が異なる。そしてこの光路長差は、回転角θに依存する。そのため、垂直方向のパラメータである垂直画角が、回転角度θに応じて画像上の被写体の回転に作用する。
【００５６】
左画像及び右画像における、被写体の回転を補正する行列式は、撮像部２により生成される画像上の被写体の回転角αの逆方向の回転角(-α)を与える2x2のアフィン変換で与えられ、次式で表される。
【数１７】
2015059988.tif 000019
ここでu及びvは、撮像部２により生成された画像の中心、すなわち、撮像部２の光軸に相当する画像上の画素を原点とする画像上の任意の画素の水平座標及び垂直座標を表す。そしてu'及びv'は、それぞれ、座標(u, v)の画素に対応する補正後の画像上の画素の水平座標及び垂直座標を表す。
【００５７】
水平方向補正部１２は、左画像及び右画像の各画素の座標を、（１７）式に従って変換することで、ミラー８２ａの前傾及びミラー８２ｂの後傾による画像上の被写体の回転を補正できる。
水平方向補正部１２は、被写体の回転が補正された左画像及び右画像を台形歪み補正部１３へ出力する。
【００５８】
ステレオアダプタ８の外側のミラーが前傾または後傾しているので、撮像部２の像面に対応する物体面は、光がステレオアダプタ８を経由することによって傾く。そのため、像面と平行な物体面上の物体は、ステレオアダプタ８及び撮像部２によって、像面に対して斜めに投影されることになる。その結果として、撮像部２により生成された画像上で、被写体の形状が台形状に歪む。
【００５９】
そこで台形歪み補正部１３は、その斜投影による台形状の歪みを補正する。
まず画像に生じる台形歪について検討する。図９に示されるように、ステレオアダプタ８を経由することにより撮像部２の光軸に沿った光線となる光線９０１と直交する平面９０２は、台形状に歪むことなく撮像部２の像面上に結像することに着目する。台形歪み補正部１３は、この平面を垂直面９０３に対して平面射影変換することでで、台形状の歪みを補正できる。本実施形態では、撮像部２の光軸に平行な光線がステレオアダプタ８を経由することにより、光軸に対してφV/4だけ傾くようにミラー８２ａ、８２ｂの傾きが設定されている。のため、垂直面９０３に対する平面９０２の傾き角は、直角三角形の補角の関係から、φV/4になる。
【００６０】
画像の台形歪補正に関して、カメラ座標系(u, v)で表される画像を補正する行列式は、3x3の平面射影変換で与えられる。図１０に示されるように、平面射影変換を求めるために、World座標の点P(X, Y, Z)に対応する、光軸がZ軸に一致したカメラによる像面の点sの座標(x, y, z)と、光軸がX軸周りにθ°回転したカメラによる像面の点s'の座標(x', y', z')が求められる。
さらに、座標(x, y, z)及び(x', y', z')を、そのカメラによるカメラ座標系上の点(u, v)、(u', v')に変換して、座標(u, v)から(u', v')への対応関係を求めることで、所望の平面射影行列が得られる。なおカメラ座標系への変換を考えやすくするため、World座標系は右手系とする。
【００６１】
図１０に示される平面射影変換のモデルは、一般性を失うことなく図１１に示されるように、図１０に示された座標系をX軸周りに-θだけ回転させて得られる座標系上でも与えられる(ただし、θは右回りの向きが正とする)。
ここで、座標(x', y', z')は、式(y-h)=tan(90-θ)(z-f)=(1/tanθ)(z-f)とy=(Y/Z)zとの交点である。これらの式からz'は以下のように算出される。
【数１８】
2015059988.tif 000020
なお、fは、カメラの焦点距離を表す。
【００６２】
さらに、x'=(z'/Z)X及びy'=(z'/Z)Yの関係式により、カメラによる透視変換式が以下のように求められる。
【数１９】
2015059988.tif 000021
【００６３】
一方、座標(x, y, z)についての透視変換は、（１９）式においてθ=0の場合に対応するので、以下の式で与えられる。
【数２０】
2015059988.tif 000022
【００６４】
これら二つの透視変換式から、(X, Y, Z)を消去し、さらに、s'/sをs'と再定義することで次式が得られる。
【数２１】
2015059988.tif 000023
【００６５】
さらに、World座標系からカメラ座標系に変換するために、カメラ座標系上の点(u, v)と点(u', v')を対応付ける。ここで、光軸がZ軸に一致したカメラによる像面の座標(x, y, z)とそのカメラによるカメラ座標系上の対応座標(u, v)との関係は次式により表される。
【数２２】
2015059988.tif 000024
同様に、光軸がX軸周りにθ°回転したカメラによる像面の座標(x', y', z') とそのカメラによるカメラ座標系上の対応座標(u, v)との関係は次式により表される。
【数２３】
2015059988.tif 000025
（２２）式及び（２３）式を（２１）式に代入することにより、（２１）式をカメラ座標系(u, v)及び、(u', v')により表現される式に変換することで、所望の補正式が得られる。
【数２４】
2015059988.tif 000026
を得る。ただし、FOVHは、カメラの水平画角を表し、FOVVは、カメラの垂直画角を表す。
【００６６】
台形歪み補正部１３は、被写体の回転が補正された左画像及び右画像の各画素の座標を、（２４）式に従って変換することで、台形状の歪みを補正できる。ただし、FOVH、FOVVは、それぞれ、撮像部２の水平画角及び垂直画角であり、fは撮像部２の焦点距離である。また本実施形態では、ステレオアダプタ８の外側ミラーにより、撮像部２の像面に対応する物体面はφV/4だけ傾けられているので、（２４）式においてθ=φV/4とすればよい。
【００６７】
台形歪み補正部１３により台形状の歪みが補正された左画像用及び右画像は、ステレオ画像として利用できる。ステレオ画像生成装置６は、得られたステレオ画像を表示部４に表示させ、あるいは、記憶部５に記憶する。
【００６８】
図１２は、ステレオ画像生成装置６により実行されるステレオ画像生成処理の動作フローチャートである。
ステレオ画像生成装置６は、撮像部２から、ステレオアダプタ８を用いて被写体を撮影した画像を取得する（ステップＳ１０１）。そしてステレオ画像生成装置６は、その画像をバッファ１０に記憶する。
分割部１１は、バッファ１０から画像を読み出す。そして分割部１１は、その画像を、左眼用のミラーのペアに対応する上半分と右眼用のミラーのペアに対応する下半分に分割し、それぞれ、左画像及び右画像とする（ステップＳ１０２）。
【００６９】
水平方向補正部１２は、分割部１１から左画像及び右画像を受け取り、ミラーの前傾または後傾による左画像及び右画像上の被写体の回転を補正する（ステップＳ１０３）。そして台形歪み補正部１３は、ミラーの前傾または後傾による被写体の台形状の歪みを補正する（ステップＳ１０４）。そしてステレオ画像生成装置６は、被写体の回転及び台形状の歪みが補正された左画像と右画像の組をステレオ画像として出力し、ステレオ画像生成処理を終了する。
【００７０】
以上に説明してきたように、このステレオ画像生成装置及びステレオ撮像装置は、撮像部の視野を視差方向と直交する方向に２等分し、その視野の上半分と下半分とに、それぞれ左眼用の光束と右眼用の光束を導くステレオアダプタを利用する。これにより、このステレオ画像生成装置及びステレオ撮像装置は、視差方向の画角が広いステレオ画像を生成できる。またこのステレオ画像生成装置及びステレオ撮像装置は、ステレオアダプタが有する光学系のミラーにより生じる画像上の被写体の回転量及び台形状の歪み量を、そのミラーの傾き及び撮像部の垂直画角から求める。そしてこのステレオ画像生成装置及びステレオ撮像装置は、被写体の回転及び台形状の歪みを画像処理によって補正するので、ステレオアダプタの光学系を簡単化できる。
【００７１】
なお、変形例によれば、ステレオアダプタが有する左眼用のミラーのペア及び右眼用のミラーのペアの代わりに、それぞれ、内側のミラーの反射面に相当する反射面と外側のミラーの反射面に相当する反射面を持つプリズムが用いられてもよい。プリズムでは、反射面間の位置関係が固定されているので、ステレオアダプタにプリズムを取り付ける際の位置合わせが、ステレオアダプタにミラーのペアを取り付ける際の位置合わせよりも簡単化できる。
【００７２】
また、撮像部から被写体までの距離が予め設定される場合には、その距離において左画像に写る範囲と右画像に写る範囲との間で共通する領域が最大となるように、外側のミラーの前傾角及び後傾角が決定されてもよい。この場合、その距離が近いほど、前傾角及び後傾角は大きくなる。そして前傾角及び後傾角が大きくなるほど、ステレオアダプタに対して撮像部の光軸に平行な入射光線がステレオアダプタから出射する際の、撮像部の光軸となす角φ1も大きくなる。この場合、画像上の被写体の回転の補正量αは、（１６）式において(φV/4)の代わりにφ1を代入することで求められる。また、台形歪み補正部１３は、台形歪みを補正する正射影変換を表す（２４）式において、角度θとしてφ1を用いればよい。
【００７３】
上記の実施形態によるステレオ画像生成装置の各部の機能は、プロセッサ上で実行されるコンピュータプログラムにより実現されてもよい。そのようなコンピュータプログラムは、磁気記録媒体、光記録媒体といったコンピュータ読み取り可能な記録媒体に記録された形で提供されてもよい。
【００７４】
図１３は、上記の実施形態によるステレオ画像生成装置の各部の機能を実現するコンピュータプログラムが動作することにより、ステレオ画像生成装置として動作するコンピュータの構成図である。
コンピュータ１００は、ユーザインターフェース部１０１と、通信インターフェース部１０２と、記憶部１０３と、記憶媒体アクセス装置１０４と、プロセッサ１０５とを有する。プロセッサ１０５は、ユーザインターフェース部１０１、通信インターフェース部１０２、記憶部１０３及び記憶媒体アクセス装置１０４と、例えば、バスを介して接続される。
【００７５】
ユーザインターフェース部１０１は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース部１０１は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース部１０１は、例えば、ユーザの操作に応じて、ステレオ画像生成処理を開始させる操作信号をプロセッサ１０５へ出力する。
【００７６】
通信インターフェース部１０２は、コンピュータ１００を、ステレオアダプタを着脱可能な撮像装置（図示せず）と接続するための通信インターフェース及びその制御回路を有してもよい。そのような通信インターフェースは、例えば、Universal Serial Bus（ユニバーサル・シリアル・バス、USB）とすることができる。
さらに、通信インターフェース部１０２は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。
この場合には、通信インターフェース部１０２は、撮像装置、カメラまたは通信ネットワークに接続された他の機器から、ステレオアダプタを用いて被写体を撮影した画像を取得し、その画像とをプロセッサ１０５へ渡す。また通信インターフェース部１０２は、プロセッサ１０５から受け取った、ステレオ画像を通信ネットワークを介して他の機器へ出力してもよい。
【００７７】
記憶部１０３は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部１０３は、プロセッサ１０５上で実行される、ステレオ画像生成処理を実行するためのコンピュータプログラム、及びステレオ画像生成処理で利用される、参照領域の範囲、上記の（１７）式及び（２４）式の各係数といったデータを記憶する。また記憶部１０３は、通信インターフェース部１０２を介して受け取った画像、またはプロセッサ１０５により生成されたステレオ画像などを記憶する。
【００７８】
記憶媒体アクセス装置１０４は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１０６にアクセスする装置である。記憶媒体アクセス装置１０４は、例えば、記憶媒体１０６に記憶されたプロセッサ１０５上で実行される、ステレオ画像生成処理用のコンピュータプログラムを読み込み、プロセッサ１０５に渡す。また記憶媒体アクセス装置１０４は、プロセッサ１０５により生成されたステレオ画像を記憶媒体１０６に書き込んでもよい。
【００７９】
プロセッサ１０５は、上記の実施形態によるステレオ画像生成処理用コンピュータプログラムを実行することにより、ステレオアダプタを用いて被写体を撮影した画像からステレオ画像を生成する。そしてプロセッサ１０５は、生成されたステレオ画像を記憶部１０３に保存し、または通信インターフェース部１０２を介して他の機器へ出力する。
【００８０】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【００８１】
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
被写体を撮影することにより画像を生成する撮像部と、前記撮像部の前面に配置されるステレオアダプタであって、前記被写体からの光を視差方向に沿った第１の光束と第２の光束に分割し、かつ前記第１及び第２の光束が前記撮像部に入射するときに前記視差方向に対して直交する方向に並び、かつ、前記第１の光束のうちの該ステレオアダプタに入射する際に前記光軸に平行な光線が該ステレオアダプタから出射する際に前記光軸に対して第１の角度をなして前記第２の光束へ近づき、前記第２の光束のうちの該ステレオアダプタに入射する際に前記光軸に平行な光線が該ステレオアダプタから出射する際に前記光軸に対して前記第１の角度をなして前記第１の光束へ近づくように前記第１及び第２の光束を導くステレオアダプタとを有する撮像装置により生成された画像からステレオ画像を生成するステレオ画像生成装置であって、
前記画像を前記視差方向に対して直交する方向に沿って、前記第１の光束が入射する第１の領域と、前記第２の光束が入射する第２の領域に分割し、前記第１の領域を前記ステレオ画像のうちの一方の眼用の第１のサブ画像とし、かつ前記第２の領域を前記ステレオ画像のうちの他方の眼用の第２のサブ画像とする分割部と、
前記第１の角度に応じた前記第１及び第２のサブ画像上の被写体の回転を補正する水平方向補正部と、
前記第１の角度に応じた前記第１及び第２のサブ画像上の被写体の台形状の歪みを補正する台形歪み補正部と、
を有するステレオ画像生成装置。
【符号の説明】
【００８２】
１    デジタルカメラ
２    撮像部
３    操作部
４    表示部
５    記憶部
６    ステレオ画像生成装置
７    制御部
８    ステレオアダプタ
１０    バッファ
１１    分割部
１２    水平方向補正部
１３    台形歪み補正部
１００    コンピュータ
１０１    ユーザインターフェース部
１０２    通信インターフェース部
１０３    記憶部
１０４    記憶媒体アクセス装置
１０５    プロセッサ
１０６    記憶媒体
【図１】
2015059988.tif 000027
【図２】
2015059988.tif 000028
【図３】
2015059988.tif 000029
【図４】
2015059988.tif 000030
【図５】
2015059988.tif 000031
【図７】
2015059988.tif 000032
【図８】
2015059988.tif 000033
【図９】
2015059988.tif 000034
【図１０】
2015059988.tif 000035
【図１１】
2015059988.tif 000036
【図１２】
2015059988.tif 000037
【図１３】
2015059988.tif 000038
【図６】
2015059988.tif 000039