(57)【要約】【課題】ステレオアダプタを用いて撮影された画像に写った被写体の二つの像の位置合わせ精度を向上する補正パラメータを算出するステレオ画像生成装置を提供する。【解決手段】ステレオ画像生成装置は、ステレオアダプタ８を用いて撮影された画像中の被写体の像を含む第１及び第２の領域から、被写体上の同一の点に対応する特徴点の組を複数抽出して、各領域間で被写体の像を位置合わせする補正パラメータを算出するために利用する。ステレオ画像生成装置は、第１の領域から抽出した第１の特徴点に対して、第２の領域内でステレオアダプタの構造に起因する第１の領域の被写体の像と第２の領域の被写体の像間の移動量だけずれた位置を基点とする、ステレオアダプタの取り付け位置のずれに起因する移動範囲に存在し、かつ、第１の特徴点の周辺領域との類似度が高いほど高くなる評価値が最大となる第２の特徴点を求め、第１及び第２の特徴点を特徴点の組とする。【選択図】図４
2013123123.tif 000002
【特許請求の範囲】
【請求項１】
被写体からの光を二つの光束に分割して撮像部に導くステレオアダプタを用いて該被写体を撮影することにより生成された画像から、前記二つの光束のうちの一方による前記被写体の像を含む第１の領域と前記二つの光束のうちの他方による前記被写体の像を含む第２の領域とを抽出する被写体領域抽出部と、
前記第１の領域及び前記第２の領域から、それぞれ、前記被写体上の同一の点に対応する特徴点の組を複数抽出する特徴点抽出部と、
前記複数の特徴点の組に基づいて、前記第１の領域上の前記被写体の像と前記第２の領域上の被写体の像とを位置合わせする少なくとも一つの補正パラメータを算出する補正パラメータ算出部と、
前記補正パラメータを用いて前記第１の領域上の前記被写体の像と前記第２の領域上の前記被写体の像のうちの少なくとも一方を補正することによりステレオ画像を生成する補正部と、
を有し、
前記特徴点抽出部は、前記第１の領域から第１の特徴点を抽出し、該第１の特徴点の座標に応じて決定される、前記ステレオアダプタの構造に起因して前記第１の領域内の前記被写体の像から前記第２の領域内の前記被写体の像まで移動した位置を基点として、前記ステレオアダプタの前記撮像部に対する取り付け位置のずれに起因する前記第１の領域内の前記被写体の像から前記第２の領域内の前記被写体の像の対応する点への移動範囲内に存在し、かつ、前記第１の特徴点の周辺領域との類似度が高いほど高くなる評価値を、前記第２の領域内の複数の点について算出し、該評価値が最大となる点を第２の特徴点とし、該第１の特徴点と該第２の特徴点とを前記特徴点の組とする、
ステレオ画像生成装置。
【請求項２】
被写体からの光を二つの光束に分割して撮像部に導くステレオアダプタを用いて該被写体を撮影することにより生成された画像を取得し、
前記画像から、前記二つの光束のうちの一方による前記被写体の像を含む第１の領域と前記二つの光束のうちの他方による前記被写体の像を含む第２の領域とを抽出し、
前記第１の領域及び前記第２の領域から、それぞれ、前記被写体上の同一の点に対応する特徴点の組を複数抽出し、
前記複数の特徴点の組に基づいて、前記第１の領域上の前記被写体の像と前記第２の領域上の被写体の像とを位置合わせする少なくとも一つの補正パラメータを算出し、
前記補正パラメータを用いて前記第１の領域上の前記被写体の像と前記第２の領域上の前記被写体の像のうちの少なくとも一方を補正することによりステレオ画像を生成する
ことを含み、
前記特徴点の組を抽出することは、前記第１の領域から第１の特徴点を抽出し、該第１の特徴点の座標に応じて決定される、前記ステレオアダプタの構造に起因して前記第１の領域内の前記被写体の像から前記第２の領域内の前記被写体の像まで移動した位置を基点として、前記ステレオアダプタの前記撮像部に対する取り付け位置のずれに起因する前記第１の領域内の前記被写体の像から前記第２の領域内の前記被写体の像の対応する点への移動範囲内に存在し、かつ、前記第１の特徴点の周辺領域との類似度が高いほど高くなる評価値を、前記第２の領域内の複数の点について算出し、該評価値が最大となる点を第２の特徴点とし、該第１の特徴点と該第２の特徴点とを前記特徴点の組とする、
ステレオ画像生成方法。
【請求項３】
被写体からの光を二つの光束に分割して撮像部に導くステレオアダプタを用いて該被写体を撮影することにより生成された画像から、前記二つの光束のうちの一方による前記被写体の像を含む第１の領域と前記二つの光束のうちの他方による前記被写体の像を含む第２の領域とを抽出し、
前記第１の領域及び前記第２の領域から、それぞれ、前記被写体上の同一の点に対応する特徴点の組を複数抽出し、
前記複数の特徴点の組に基づいて、前記第１の領域上の前記被写体の像と前記第２の領域上の被写体の像とを位置合わせする少なくとも一つの補正パラメータを算出し、
前記補正パラメータを用いて前記第１の領域上の前記被写体の像と前記第２の領域上の前記被写体の像のうちの少なくとも一方を補正することによりステレオ画像を生成する
ことを含み、
前記特徴点の組を抽出することは、前記第１の領域から第１の特徴点を抽出し、該第１の特徴点の座標に応じて決定される、前記ステレオアダプタの構造に起因して前記第１の領域内の前記被写体の像から前記第２の領域内の前記被写体の像まで移動した位置を基点として、前記ステレオアダプタの前記撮像部に対する取り付け位置のずれに起因する前記第１の領域内の前記被写体の像から前記第２の領域内の前記被写体の像の対応する点への移動範囲内に存在し、かつ、前記第１の特徴点の周辺領域との類似度が高いほど高くなる評価値を、前記第２の領域内の複数の点について算出し、該評価値が最大となる点を第２の特徴点とし、該第１の特徴点と該第２の特徴点とを前記特徴点の組とする、
ことをコンピュータに実行させるステレオ画像生成用コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、被写体を互いに異なる２方向から撮影可能とするステレオアダプタを装着したカメラにより撮影された画像からステレオ画像を生成するステレオ画像生成方法、ステレオ画像生成装置及びステレオ画像生成用コンピュータプログラムに関する。
【背景技術】
【０００２】
従来より、３次元的な像を再生するための研究がなされている。３次元的な像を再生するための一つの方法として、被写体を異なる方向から撮影した二つの画像を並べて表示し、その二つの画像のそれぞれを、観察者の左右それぞれの眼に見せる方法が知られている。このような方法で用いられる２枚一組の画像は、ステレオ画像と呼ばれる。
【０００３】
ステレオ画像を生成するために、単眼のカメラの撮影レンズの前面に取り付け、被写体を互いに異なる方向から見た二つの像を、それぞれ、カメラの像面の左半分と右半分に結像させるステレオアダプタが知られている（例えば、特許文献１及び２を参照）。ステレオアダプタは、被写体を互いに異なる２方向から見たそれぞれの被写体の像をカメラが結像できるように、例えば、ステレオアダプタの水平方向の中心に対して線対称となるように配置された２枚のミラーのペアを２組有する。それぞれのミラーのペアに含まれる内側のミラーは、撮影レンズの正面に位置し、かつ、反射面が撮影レンズの方を向くとともに撮影レンズの光軸に対して水平方向に傾けて配置される。そして各内側のミラーは、撮影レンズに対して水平方向かつ内側のミラーよりも外側に配置され、反射面が被写体側へ向けられた各外側のミラーによって反射された被写体からの光束を撮影レンズに導く。これにより、撮影レンズの像面の左半分と右半分とに、それぞれ、被写体を、それぞれの外側のミラーの位置から見たときの被写体の像が結像される。したがって、ステレオアダプタを用いて被写体を撮影することにより得られた画像の左半分と右半分とから、被写体の像が写っている領域を切出して、それぞれ、左目用の画像と右目用の画像とすることにより、ステレオ画像が得られる。
【０００４】
ステレオ画像に含まれる２枚の画像は、観察者の左右それぞれの眼で観察されるものであるため、質の良い３次元像を再生するために、その２枚の画像に写された像は、観察者が一般的に物を見る条件と同じ条件で撮影されていることが好ましい。一方、ステレオアダプタでは、カメラから被写体までの所定の距離（例えば、2m）において、画像の左半分に写る範囲と画像の右半分に写る範囲とができるだけ広く重なることが好ましい。そのために、被写体から各外側のミラーで反射される光束の主光線が撮影レンズの光軸に対して傾くように各ミラーが配置される。その結果、画像上に写ったそれぞれの被写体の像は、画像上で歪むことになる。例えば、撮影レンズよりも左側に位置するミラーのペアによる被写体の像は、撮影レンズの像面と平行な物面において左側に近づくほど撮影レンズまでの距離が短くなるので、被写体の像の左側が被写体の像の右側よりも大きくなり、被写体の像は台形状に歪む。逆に、撮影レンズよりも右側に位置するミラーのペアによる被写体の像は、被写体の像の右側が被写体の像の左側よりも大きくなるように、台形状に歪む。
【０００５】
また、ステレオアダプタを撮影レンズの前面に装着する際の、適切な位置からの位置ずれ量によっても、画像上の左半分に写る被写体の像と右半分に写る被写体の像の間の歪み及び位置の差が変化する。
【０００６】
一方、ステレオ画像を用いて良好な３次元像を再生するためには、左半分に写る被写体の像の形状及び位置と右半分に写る被写体の像の形状及び位置とができるだけ一致していることが好ましい。そこで、被写体の同一の点に対応する左目用の画像上の特徴点と右目用の画像上の特徴点との組を複数求め、それら特徴点の組に基づいて各画像上の像の位置合わせをする技術が提案されている（例えば、特許文献３を参照）。そして、二つの画像のうちの少なくとも一方の各画素の位置が、複数の特徴点の組から算出された位置合わせ用の射影変換行列を規定する補正パラメータに従って変換される（例えば、非特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平８−３６２２９号公報
【特許文献２】特開２００４−１０１６６６号公報
【特許文献３】特開２００４−３５４２５６号公報
【非特許文献】
【０００８】
【非特許文献１】高木幹夫、下田陽久監修、「画像解析ハンドブック」、東京大学出版会、1991年、p.584-585
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記のように、ステレオアダプタを用いて撮影された画像では、その画像の左半分の領域に写った被写体の像の歪みと右半分の領域に写った被写体の像の歪みが異なる。そのために、一方の領域から抽出された特徴点の近傍の被写体の像の形状が、他方の領域においては、その特徴点に対応する位置とは異なる部位での被写体の像の形状に類似することがある。そのため、被写体のある点に対応する一方の領域における特徴点が、その被写体の点と異なる点に対応する他方の領域における特徴点に誤って関連付けられてしまい、その結果として補正パラメータが不適切になるおそれがあった。
【００１０】
そこで本明細書は、ステレオアダプタを用いて被写体を撮影した画像に写った被写体の二つの像の位置合わせの精度を向上する補正パラメータを算出するステレオ画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
一つの実施形態によれば、ステレオ画像生成装置が提供される。このステレオ画像生成装置は、被写体からの光を二つの光束に分割して撮像部に導くステレオアダプタを用いて被写体を撮影することにより生成された画像から、二つの光束のうちの一方による被写体の像を含む第１の領域と二つの光束のうちの他方による被写体の像を含む第２の領域とを抽出する被写体領域抽出部と、第１の領域及び第２の領域から、それぞれ、被写体上の同一の点に対応する特徴点の組を複数抽出する特徴点抽出部と、複数の特徴点の組に基づいて、第１の領域上の被写体の像と第２の領域上の被写体の像とを位置合わせする少なくとも一つの補正パラメータを算出する補正パラメータ算出部と、補正パラメータを用いて第１の領域上の被写体の像と第２の領域上の被写体の像のうちの少なくとも一方を補正することによりステレオ画像を生成する補正部とを有する。
そして特徴点抽出部は、第１の領域から第１の特徴点を抽出し、その第１の特徴点の座標に応じて決定される、ステレオアダプタの構造に起因して第１の領域内の被写体の像から第２の領域内の被写体の像まで移動した位置を基点として、ステレオアダプタの撮像部に対する取り付け位置のずれに起因する第１の領域内の被写体の像から第２の領域内の被写体の像の対応する点への移動範囲内に存在し、かつ、第１の特徴点の周辺領域との類似度が高いほど高くなる評価値を、第２の領域内の複数の点について算出し、その評価値が最大となる点を第２の特徴点とし、第１の特徴点と第２の特徴点とを特徴点の組とする。
【００１２】
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。
【発明の効果】
【００１３】
ここに開示されるステレオ画像生成装置は、ステレオアダプタを用いて被写体を撮影した画像に写った被写体の二つの像の位置合わせの精度を向上する補正パラメータを算出できる。
【図面の簡単な説明】
【００１４】
【図１】ステレオ画像生成装置が組み込まれたデジタルカメラの概略構成図である。
【図２】ステレオアダプタの構成と画像上の被写体の像との関係を示す模式図である。
【図３】（ａ）及び（ｂ）は、それぞれ、撮像部に対するステレオアダプタの相対的な位置と撮像部により生成される画像上の被写体の像の歪みとの関係の一例を示す図である。
【図４】第１の実施形態によるステレオ画像生成装置の構成図である。
【図５】左画像における被写体の像と右画像における被写体の像の関係の一例を示す図である。
【図６】（ａ）は、ステレオアダプタの構造に起因する、左画像上の被写体の像の歪みによる被写体上の点の移動方向を表す図であり、（ｂ）は、ステレオアダプタの構造に起因する、右画像上の被写体の像の歪みによる被写体上の点の移動方向を表す図である。（ｃ）は、左画像上の被写体の像から右画像上の被写体の像の対応する点への移動方向を表す図である。
【図７】ステレオアダプタの取り付け位置のずれに起因する左画像上の被写体の像から右画像上の被写体の像の対応する点への移動範囲を表す図である。
【図８】ステレオ画像生成処理の動作フローチャートである。
【図９】第２の実施形態によるステレオ画像生成装置の構成図である。
【図１０】（ａ）及び（ｂ）は、それぞれ、特徴点の分布と偏在度の関係の一例を示す図である。
【図１１】第３の実施形態によるステレオ画像生成装置の構成図である。
【図１２】第５の実施形態によるステレオ画像生成装置の構成図である。
【図１３】各実施形態またはその変形例によるステレオ画像生成装置の各部の機能を実現するコンピュータプログラムが動作することにより、ステレオ画像生成装置として動作するコンピュータの構成図である。
【発明を実施するための形態】
【００１５】
図を参照しつつ、様々な実施形態またはその変形例によるステレオ画像生成装置について説明する。このステレオ画像生成装置は、ステレオアダプタを用いて被写体を撮影した画像の左半分の領域に写った被写体の像と右半分の領域に写った被写体の像とから被写体上の同一の点に対応する特徴点の組を複数検出する。そしてこのステレオ画像生成装置は、それら複数の特徴点の組に基づいて補正パラメータの組を算出する。その際、このステレオ画像生成装置は、一方の領域から抽出された特徴点が表す被写体上の点に対応する特徴点らしさを表す評価値を、他方の領域における各点について算出する。この評価値は、一方の領域から抽出された特徴点に対して、ステレオアダプタの構造及び取り付け位置のずれに起因する像の歪み及び位置ずれに起因する移動範囲内において高くなる。そしてこのステレオ画像生成装置は、一方の領域から抽出された特徴点と、その特徴点に対して評価値が最も高くなる、他方の領域における点とを、被写体上の同一の点に対応する特徴点の組とする。これにより、このステレオ画像生成装置は、被写体のある点に対応する一方の領域における特徴点が、その被写体の点と異なる点に対応する他方の領域における特徴点に誤って関連付けられることを抑制して、補正パラメータの精度向上を図る。
【００１６】
本実施形態では、ステレオ画像生成装置は、ステレオアダプタを装着可能なデジタルカメラ、カメラ付携帯電話あるいはカメラ付携帯情報端末に組み込まれる。
【００１７】
図１は、ステレオ画像生成装置が組み込まれたデジタルカメラの概略構成図である。図１に示すように、デジタルカメラ１は、ステレオ撮像装置の一例であり、撮像部２と、操作部３と、表示部４と、記憶部５と、ステレオ画像生成装置６と、制御部７とを有する。また、撮像部２が有する撮像レンズ系の前面には、ステレオアダプタ８が装着されている。さらにデジタルカメラ１は、デジタルカメラ１をコンピュータ、またはテレビといった他の機器と接続するために、ユニバーサルシリアルバスなどのシリアルバス規格に従ったインターフェース回路（図示せず）を有していてもよい。また制御部７と、デジタルカメラ１のその他の各部とは、例えば、バスにより接続されている。
【００１８】
撮像部２は、２次元状に配置された固体撮像素子のアレイを有するイメージセンサと、そのイメージセンサ上に、ステレオアダプタ８を介して、被写体の像をイメージセンサの左半分と右半分とにそれぞれ結像する撮像光学系を有する。そして撮像部２は、画像上の左半分の領域と右半分の領域とに、それぞれ、被写体の像が写った画像を生成する。撮像部２は、画像を生成する度に、その生成した画像をステレオ画像生成装置６へ送信する。
【００１９】
操作部３は、例えば、デジタルカメラ１をユーザが操作するための各種の操作ボタンまたはダイヤルスイッチを有する。そして操作部３は、ユーザの操作に応じて、撮影または合焦の開始などの制御信号またはシャッター速度、絞り径などを設定するための設定信号を制御部７へ送信する。
【００２０】
表示部４は、例えば、液晶ディスプレイ装置といった表示装置を有し、制御部７から受け取った各種の情報、または撮像部２により生成された画像を表示する。なお、操作部３と表示部４とは、例えば、タッチパネルディスプレイを用いて一体的に形成されてもよい。
【００２１】
記憶部５は、例えば、読み書き可能な揮発性または不揮発性の半導体メモリ回路を有する。そして記憶部５は、ステレオ画像生成装置６により生成されたステレオ画像を記憶する。また記憶部５は、撮像部２から受け取った画像を記憶してもよい。さらに、ステレオ画像生成装置６が有する各機能が、制御部７が有するプロセッサ上で実行されるコンピュータプログラムにより実現される場合、そのコンピュータプログラムを記憶してもよい。
【００２２】
ステレオ画像生成装置６は、被写体をステレオアダプタ８を用いて撮影した画像から、その画像の左半分に写っている被写体の像を含む領域を左目用画像として切り出し、右半分に写っている被写体の像を含む領域を右目用画像として切り出す。なお、以下では、便宜上、左目用画像を左画像と呼び、右目用画像を右画像と呼ぶ。そしてステレオ画像生成装置６は、左画像に写っている被写体の像と右画像に写っている被写体の像とを位置合わせするための補正パラメータの組を求める。そしてステレオ画像生成装置６は、その補正パラメータの組を用いて左画像と右画像のうちの少なくとも一方を補正する。なお、ステレオ画像生成装置６の詳細については後述する。
【００２３】
制御部７は、少なくとも一つのプロセッサ及びその周辺回路を有する。そして制御部７は、デジタルカメラ１全体を制御する。
【００２４】
ステレオアダプタ８は、撮像部２の前面に対してステレオアダプタ８を取り付けるためのマウント機構（図示せず）と、撮像部２の像面に対して被写体を互いに異なる２方向から見た像を結像させるためのミラーのペアを二つ有する。
【００２５】
図２は、ステレオアダプタ８の構成と撮像部２により生成された画像上の被写体の像との関係を示す模式図である。図２に示されるように、ステレオアダプタ８は、その内部に、左目用のミラー８１ａ、８２ａと、右目用のミラー８１ｂ、８２ｂとを有する。なお、左目用のミラー８１ａ、８２ａと右目用のミラー８１ｂ、８２ｂとは、デジタルカメラ１に装着した状態で、ステレオアダプタ８の水平方向の中心に対して線対称に配置される。そしてミラー８１ａ、８１ｂは、それぞれ、撮像部２の撮像光学系の正面に位置し、その反射面が撮像部２側を向き、かつ、撮像光学系の光軸ＯＡに対して水平方向について傾けて配置される。一方、ミラー８２ａ、８２ｂは、ミラー８１ａ、８１ｂよりも外側に配置され、その反射面は物面２００側へ向けられる。そしてミラー８２ａ、８２ｂは、それぞれ、物面２００に位置する被写体２１０からの光束Ｂ１、Ｂ２を、ミラー８１ａ、８１ｂへ向けて反射する。そして光束Ｂ１、Ｂ２は、それぞれ、ミラー８１ａ、８１ｂにより反射されて撮像部２の撮像光学系に入射する。ここで、被写体２１０を含む領域２１１が、撮像部２のイメージセンサ上の左半分の領域と右半分の領域とにそれぞれ結像されるように、各ミラーの向きが調節される。その結果、被写体２１０からミラー８２ａまでの光束Ｂ１の主光線Ｂ１ａと、被写体２１０からミラー８２ｂまでの光束Ｂ２の主光線Ｂ２ａとは、光軸ＯＡに対して傾いている。
【００２６】
また図２において、撮像部２により生成される画像２２０の左半分には、光束Ｂ１による被写体２１０の像２２１が形成されており、画像２２０の右半分には、光束Ｂ２による被写体２１０の像２２２が形成されている。光束Ｂ１については、被写体２１０の左端に近いほど、被写体２１０から撮像部２までの光路長が短いので、被写体２１０の像２２１の左側が大きく、像２２１の右側が小さくなるよう、像２２１は台形状に歪む。逆に、光束Ｂ２については、被写体２１０の右端に近いほど、被写体２１０から撮像部２までの光路長が短いので、被写体２１０の像２２２の右側が大きく、像２２２の左側が小さくなるよう、像２２２は台形状に歪む。
【００２７】
図３（ａ）及び図３（ｂ）は、それぞれ、撮像部２に対するステレオアダプタ８の相対的な位置と撮像部２により生成される画像上の被写体の像の歪みとの関係の一例を示す図である。図３（ａ）では、撮像部２の前面２ａに対してステレオアダプタ８の背面８ａが平行になり、かつ、ステレオアダプタ８の水平方向の中心が撮像部２の撮像光学系の光軸ＯＡと一致するようにステレオアダプタ８が撮像部２に適切に取り付けられている。この場合、撮像部２により生成された画像３００上の左半分に写る被写体３１０の像３１１の水平方向の幅は、画像３００上の右半分に写る被写体３１０の像３１２の水平方向の幅と等しい。
【００２８】
一方、図３（ｂ）では、ステレオアダプタ８の左端に近づくほど撮像部２の前面２ａとテレオアダプタ８の背面８ａ間の間隔が拡がるようにステレオアダプタ８が撮像部２に対して傾いて取り付けられている。そのため、左側のミラー８１ａ、８２ａを有する光学系の方が、右側のミラー８１ｂ、８２ｂを有する光学系よりも被写体３１０を斜めから見ることになるので、像３１１の水平方向の幅が、像３１２の水平方向の幅よりも短くなる。また、ステレオアダプタ８の水平方向の中心位置が光軸ＯＡに対してずれると、その位置ずれ量に応じて像３１１及び像３１２の位置も画像３００上で水平方向にずれる。
【００２９】
このように、画像の左側半分の領域に写る被写体の像の歪み及び位置は、右側半分に写る被写体の像の歪み及び位置に対して、ステレオアダプタ８の構造及び撮像部２に対する取り付け位置のずれ量に応じて異なる。したがって、ステレオ画像生成装置６は、画像上に写る被写体の二つの像間の歪み及び位置の差を考慮して、それら二つの被写体を位置合わせする。
【００３０】
以下、ステレオ画像生成装置６の詳細について説明する。
図４に、ステレオ画像生成装置６の構成図を示す。図４に示すように、ステレオ画像生成装置６は、バッファ１０と、被写体領域抽出部１１と、特徴点抽出部１２と、補正パラメータ算出部１３と、補正部１４とを有する。ステレオ画像生成装置６が有するこれらの各部は、それぞれ、別個の回路としてステレオ画像生成装置６に実装されてもよく、あるいはそれらの各部の機能を実現する一つの集積回路であってもよい。
【００３１】
あるいは、ステレオ画像生成装置６は、制御部７と一体的に形成されていてもよい。この場合、ステレオ画像生成装置６が有するこれらの各部は、例えば、制御部７が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。そしてステレオ画像生成装置が生成し、またはステレオ画像生成装置が利用する各種のデータは記憶部５に記憶される。
【００３２】
バッファ１０は、例えば、揮発性の半導体メモリ回路を有し、ステレオ画像生成装置６に入力された画像及び被写体領域抽出部１１により切り出された左画像及び右画像を一時的に記憶する。
【００３３】
被写体領域抽出部１１は、バッファ１０から撮像部２により生成された画像を読み出し、被写体の像を含む領域を、画像の左半分及び右半分からそれぞれ切り出して、左画像及び右画像を生成する。そのために、被写体領域抽出部１１は、例えば、画像の左半分及び右半分において、それぞれ、被写体の像が位置すると想定される領域を予め設定し、その設定した領域を切り出して左画像及び右画像とする。
【００３４】
また、画像上で被写体及びその周囲は明るいものの、ステレオアダプタ８によるケラレのために、その他の領域では光が殆ど照射されず暗くなることがある。そこで被写体領域抽出部１１は、所定の閾値よりも輝度値が高い画素の集合を画像の左半分において求め、その画素の集合の重心を中心とする所定のサイズを持つ矩形領域を左画像として切り出してもよい。同様に、被写体領域抽出部１１は、所定の閾値よりも輝度値が高い画素の集合を画像の右半分において求め、その画素の集合の重心を中心とする所定のサイズを持つ矩形領域を右画像として切り出す。なお、所定の閾値は、例えば、画像全体の輝度の平均値、あるいは、輝度ヒストグラムにおいて輝度の最小値から、画像の全画素数の10％〜30%に相当する輝度値としてもよい。また画像上でケラレが生じない領域のサイズは予め分かるので、所定のサイズは、そのケラレが生じない領域のサイズとすることができる。
【００３５】
被写体領域抽出部１１は、左画像及び右画像をバッファ１０に記憶する。
【００３６】
特徴点抽出部１２は、バッファ１０から左画像及び右画像を読み出し、その左画像及び右画像のそれぞれから、被写体上の同一の点に対応する特徴点の組を複数抽出する。
【００３７】
上記のように、左画像に写っている被写体の像の歪みと右画像に写っている被写体の像の歪みとは異なる。そのために、一方の領域から抽出された特徴点の近傍の被写体の像の形状が、他方の領域においては、その特徴点に対応する位置とは異なる部位での被写体の像の形状に類似することがある。
【００３８】
図５は、左画像における被写体の像と右画像における被写体の像の関係の一例を示す図である。図５において、左画像５００における被写体の像５０１の右下端近傍のコーナー５０２が特徴点として抽出される場合、拡大図５０３に示されるように、そのコーナー５０２は鈍角状となっている。一方、右画像５１０における被写体の像５１１の右下端近傍のコーナー５１２は、拡大図５１３に示されるように、直角状になっている。むしろ、被写体の像５１１の右上端近傍のコーナー５１４が、拡大図５１５に示されるように鈍角状となっており、そのため、コーナー５１２の周囲よりもコーナー５１４の周囲の方が、左画像５００上の像５０１の右下端のコーナー５０２の周囲と類似している。したがって、右画像５１０全体から左画像上の像５０１の右下端のコーナー５０２に対応する特徴点を探索すると、コーナー５１４が対応する特徴点として誤って検出されるおそれがある。そのため、特徴点の組を正確に抽出するために、特徴点抽出部１２は、ステレオアダプタ８の構造及び取り付け位置のずれに応じた、一方の画像における被写体の像から他方の画像における被写体の像までの移動方向及び移動量を考慮することが好ましい。
【００３９】
図６（ａ）は、ステレオアダプタ８の構造に起因する、左画像上の被写体の像の歪みによる被写体上の点の移動方向を表す図であり、図６（ｂ）は、ステレオアダプタ８の構造に起因する、右画像上の被写体の像の歪みによる被写体上の点の移動方向を表す図である。そして図６（ｃ）は、左画像上の被写体の像から右画像上の被写体の像の対応する点への移動方向を表す図である。
【００４０】
図６（ａ）において、左画像６００上の複数の黒点６０１は、被写体の像が歪んでいない場合の被写体の像上の点を表し、複数の白点６０２は、ステレオアダプタ８の構造に起因して歪んだ被写体の像上の点を表す。そして各矢印６０３は、歪みによる被写体の像の移動方向及び移動量を表す。図６（ａ）に示されるように、左画像６００の右側では、歪みによって、被写体の像上の点は水平方向に関して右から左へシフトし、垂直方向に関して左画像６００の中心へ向かう方向へシフトする。一方、左画像６００の左側では、歪みによって、被写体の像上の点は水平方向に関して右から左へシフトし、垂直方向に関して左画像６００の中心から離れる方向へシフトする。そして左画像６００の中心から離れるほど、移動量が大きくなる。
【００４１】
同様に、図６（ｂ）において、右画像６１０上の複数の黒点６１１は、被写体の像が歪んでいない場合の被写体の像上の点を表し、複数の白点６１２は、ステレオアダプタ８の構造に起因して歪んだ被写体の像上の点を表す。そして各矢印６１３は、歪みによる被写体の像の移動方向及び移動量を表す。左画像とは逆に右画像６１０の右側では、歪みによって、被写体の像上の点は水平方向に関して左から右へシフトし、垂直方向に関して右画像６１０の中心から離れる方向へシフトする。一方、右画像６１０の左側では、歪みによって、被写体の像上の点は水平方向に関して左から右へシフトし、垂直方向に関して右画像６１０の中心に向かう方向へシフトする。そして右画像６１０についても、その中心から離れるほど、移動量が大きくなる。
【００４２】
そのため、図６（ｃ）において、矢印６２１及び６２２に示されるように、右画像６１０の左上側及び右下側では、被写体の像６３１は、左画像上の被写体の像６３２の対応する部分よりも右下方向にシフトしている。一方、矢印６２３及び６２４に示されるように、右画像６１０の左下側及び右上側では、被写体の像６３１は、左画像上の被写体の像６３２の対応する部分よりも右上方向にシフトしている。
【００４３】
図７は、ステレオアダプタ８の取り付け位置のずれに起因する左画像上の被写体の像から右画像上の被写体の像の対応する点への移動範囲を表す図である。ステレオアダプタ８の取り付け位置のずれによる左画像上の被写体の像の点から右画像上の被写体の像の対応する点までの移動方向及び移動量の変動は、想定される取り付け位置のずれの最大値に応じた一定範囲に収まる。ただし、取り付け位置のずれにより、被写体の像は、水平方向だけでなく、垂直方向にも移動する。そのため、左画像上の被写体の像のある点について、図７において矢印７０１で示される、ステレオアダプタ８の構造に起因する被写体の像の移動先を中心とし、一定の幅及び高さを持つ矩形領域７０２内に右画像上の被写体の像の対応する点が存在する可能性が高い。
【００４４】
そこで特徴点抽出部１２は、例えば、左画像及び右画像の一方から特徴点の候補を抽出する。特徴点抽出部１２は、ステレオアダプタ８の構造に起因する歪みにより移動した位置を基点として、ステレオアダプタの撮影部に対する取り付け位置ずれにおいて想定される最大移動量に応じた移動範囲内に存在し、かつ、その候補の周囲の構造と類似するほど高い値となる評価値を他方の画像上の各点について求める。そして特徴点抽出部１２は、評価値が最も高くなる点を、一方の画像における特徴点の候補に対応する、他方の画像における特徴点とする。
【００４５】
特徴点抽出部１２は、例えば、左画像から特徴点の候補を複数抽出する。そのために、特徴点抽出部１２は、例えば、左画像に対してコーナー検出器を適用することにより検出される複数の点をそれぞれ特徴点の候補とする。なお、特徴点抽出部１２は、そのようなコーナー検出器として、例えば、Harris検出器を用いることができる。また特徴点抽出部１２は、左画像から特徴点の候補を抽出するために、コーナー検出器以外の特徴的な点を検出する検出器を用いてもよい。そのような検出器として、例えば、特徴点抽出部１２は、Scale-invariant feature transform(SIFT)検出器を用いてもよい。
【００４６】
次に、特徴点抽出部１２は、左画像から抽出された特徴点の候補ごとに、その候補を中心とする所定の領域をテンプレートとして設定する。そして特徴点抽出部１２は、例えば、そのテンプレートと右画像との間で相対的な位置を変えつつテンプレートマッチングを行って、次の評価関数に従って対応する特徴点らしさを表す評価値を求める。
【数１】
2013123123.tif 000003
ここで、（１）式は、特徴点の候補が、左画像の左上方または右下方の第１の部分領域内または左画像の左下方の所定範囲内または右上方の第２の部分領域内に位置する場合の評価関数であり、（２）式は、特徴点の候補が、左画像の中心を含む第３の部分領域内に位置する場合に用いられる評価関数である。s(x,y,vx,vy)は、特徴点の候補の水平座標及び垂直座標が(x,y)であり、その座標(x,y)から水平方向にvx画素、垂直方向にvy画素だけ移動した右画像上の点(x+vx,y+vy)を中心とする領域とテンプレートとの類似度を表す。その類似度s(x,y,vx,vy)は、例えば、テンプレートと点(x+vx,y+vy)を中心とする領域間の正規化相互相関値とすることができる。また関数fstep(a)は、変数aが0以上である場合に相対的に大きな値、例えば、類似度s(x,y,vx,vy)が取り得る最大値または1を出力し、変数aが0未満の場合に相対的に小さな値、例えば、類似度s(x,y,vx,vy)が取り得る最小値または0を出力するステップ関数である。そしてVxth1、Vyth1は、それぞれ、ステレオアダプタ８の取り付け位置のずれに起因する左画像上の被写体の像から右画像上の被写体の像への水平方向及び垂直方向の最大移動量を表す。またVxth2、Vyth2は、それぞれ、ステレオアダプタ８の構造に起因する、左画像上の被写体の像から右画像上の被写体の像への水平方向及び垂直方向の移動量を表す。本実施形態では、左画像における座標系が、左画像の左上端の画素を原点とし、水平方向については原点から右側へ向かう方向が正であり、垂直方向については原点から下側へ向かう方向が正であるとする。この場合、第１の部分領域内では、Vxth2 > 0、かつ、Vyth2 > 0である。一方、第２の部分領域内では、Vxth2 > 0、かつ、Vyth2 < 0である。またα、βは、それぞれ正の値を持つ係数であり、例えば、0<α、β<1である。なお、αとβは等しくてもよく、あるいは、αとβは異なっていてもよい。そしてe(x,y,vx,vy)は、点(x+vx,y+vy)についての評価値である。
【００４７】
再度図７を参照すると、第１〜第３の部分領域を設定するために、例えば、右画像７００は、水平方向に３個の部分領域に等分割され、かつ、左端及び右端の部分領域が垂直方向に２個の部分領域に分割される。これにより、右画像７００には、５個の部分領域７１１〜７１５が設定される。このうち、左上端の部分領域７１１及び右下端の部分領域７１５が、第１の部分領域に設定される。また、左下端の部分領域７１２及び右上端の部分領域７１４が、第２の部分領域に設定される。そして中央の部分領域７１３が第３の部分領域に設定される。
【００４８】
特徴点抽出部１２は、特徴点の候補ごとに、右画像中で評価値が最大となる点を、左画像上のその特徴点の候補に対応する右画像上の特徴点として求める。そのために、特徴点抽出部１２は、注目する特徴点の候補に対して、例えば、右画像の全画素について（１）式または（２）式に従って評価値を求め、評価値が最大値となる画素を特徴点として求めてもよい。
あるいは、特徴点抽出部１２は、注目する特徴点の候補について、右画像上の対応する画素を最初の探索点に設定する。そして特徴点抽出部１２は、探索点及びその周囲の８近傍画素あるいは２４近傍画素について（１）式または（２）式に従って評価値を求め、そのうちで評価値が最大となる画素を次の探索点に設定する。そして特徴点抽出部１２は、探索点が移動しなくなるまで上記の処理を繰り返し、最終的に求められた探索点を特徴点としてもよい。
さらにまた、特徴点抽出部１２は、（１）式または（２）式で表された評価関数を変数vx及びvyで偏微分することにより得られる偏微分値が0となる場合に評価関数が最大値になることを利用して、特徴点を求めてもよい。この場合には、特徴点抽出部１２は、注目する特徴点の候補について、例えば、（１）式または（２）式の右辺をvx及びvyで偏微分することにより得られる式において、左辺を0とする方程式を解くことで、対応する特徴点を求めてもよい。
【００４９】
変形例によれば、左画像上の各画素ごとに、上記の（１）式におけるvxth2、vyth2が定められてもよい。この場合、全ての特徴点の候補について、（１）式に基づいて評価値が算出されてもよい。そして左画像の中心から離れるほど、vxth2の絶対値及びvyth2の絶対値が大きくなるように、vxth2、vyth2は定められることが好ましい。また、左画像の中心よりも左側かつ上側の部分領域内、または左画像の中心よりも右側かつ下側の部分領域内では、Vxth2 > 0、かつ、Vyth2 > 0となるように、vxth2、vyth2が定められる。一方、左画像の中心よりも左側かつ下側の部分領域内、または左画像の中心よりも右側かつ上側の部分領域内では、Vxth2 > 0、かつ、Vyth2 < 0となるように、vxth2、vyth2が定められる。そして左画像の中心では、Vxth2 = Vyth2 = 0となるように、vxth2、vyth2が定められる。各座標におけるvxth2及びvyth2の値は、それぞれ、対応する左画像の座標と関連付けて、例えば、特徴点抽出部１２が有するメモリに予め記憶される。そして特徴点抽出部１２は、特徴点の候補ごとに、その候補の座標に応じて、（１）式で利用されるvxth2及びvyth2の値を選択すればよい。なお、この変形例においても、vxth1及びvyth1は、左画像上の全ての画素について同一の値であってもよい。
【００５０】
特徴点抽出部１２は、上記の評価値e(x,y,vx,vy)の最大値が所定の閾値以上であれば、左画像上の特徴点の候補点(x,y)と右画像上の点(x+vx,y+vy)とを、被写体の同一の部位に対応する特徴点の組とする。
【００５１】
一方、特徴点抽出部１２は、上記の評価値e(x,y,vx,vy)の最大値が所定の閾値未満である場合には、そのテンプレートに対応する特徴点の候補と一致する特徴点が右画像には存在しないとして、その特徴点の候補を、特徴点の組の探索対象から外してもよい。この所定の閾値が高く設定されるほど、特徴点抽出部１２は、特徴点の組が、同一の部位に対応していることの確からしさを向上できる。例えば、所定の閾値は、評価値が取り得る最大値に0.8〜0.9を乗じた値に設定される。あるいは、特徴点抽出部１２は、左画像から抽出された特徴点の候補の数が多いほど、所定の閾値を高くしてもよい。これにより、特徴点抽出部１２は、一方の画像から抽出された特徴点の候補の数が多いときには、同一の部位に対応している可能性が高い特徴点の組だけを抽出できる。また、一方の画像から抽出された特徴点の候補数が少なくても、特徴点抽出部１２は補正パラメータを求めるために十分な数の特徴点の組を抽出できる。
特徴点抽出部１２は、得られた特徴点の組ごとに、二つの特徴点の画像上の水平座標値及び垂直座標値を補正パラメータ算出部１３へ通知する。
【００５２】
補正パラメータ算出部１３は、左画像に写っている被写体の像と右画像に写っている被写体の像とを位置合わせするべく、左画像と右画像のうちの少なくとも一方に写っている像を修正するための補正パラメータの組を算出する。
【００５３】
左画像上での被写体の像の位置及び歪みと右画像上での被写体の像の位置及び歪み間のずれは、少なくとも一方の画像上の像を、仮想的に他方の画像を撮影する方向と同一の方向から見たときの像となるように射影変換することで補正できる。このような射影変換は、例えば、次式により表される。
【数２】
2013123123.tif 000004
ここで(x,y)は、補正対象の画像（この例では、左画像）上の注目する点の水平方向座標及び垂直方向座標であり、(x',y')は、補正後の画像上の注目する点の水平方向座標及び垂直方向座標である。またθx及びθyは、それぞれ、二つの画像のうちの補正対象でない画像（この例では、右画像）に対応する撮像光学系の光軸に対する、補正対象の画像に対応する撮像光学系の光軸の水平方向及び垂直方向の回転角を表す。またθzは、補正対象でない画像に対応する撮像光学系の光軸を回転中心とする、補正対象の画像の回転角を表す。またfは、補正対象の画像及び補正対象でない画像に対応する撮像光学系の焦点距離であり、本実施形態では、撮像部２の撮像光学系の焦点距離である。そして撮像光学系の光軸と像面が交差する点に相当する画像上の点の座標が、画像の水平方向の幅W、垂直方向の高さHとして、(W/2,H/2)で表される。したがって、パラメータθx、θy及びθzが、それぞれ、補正パラメータである。また、補正パラメータ算出部１３は、射影変換が３行×３列の任意の行列として、その行列に含まれる９個の要素を、それぞれ補正パラメータとしてもよい。あるいは、補正パラメータ算出部１３は、３行×３列の射影変換行列が有する９個の要素のうち、ゼロではない要素の一つが1となるように全ての要素を正規化することで８個の要素を補正パラメータとしてもよい。
【００５４】
補正パラメータ算出部１３は、例えば、最小二乗法により、パラメータθx、θy及びθzを決定する。すなわち、補正パラメータ算出部１３は、パラメータθx、θy及びθzを変数として、複数の特徴点の組のそれぞれについて（３）式に従って左画像及び右画像の少なくとも一方の特徴点の座標を変換し、変換後の特徴点間の距離の二乗を求める。そして補正パラメータ算出部１３は、各特徴点の組についてのその距離の二乗の平均値を求める。補正パラメータ算出部１３は、この二乗平均値が最小となるパラメータθx、θy及びθzを、補正パラメータの組とする。本実施形態では、補正パラメータ算出部１３は、（３）式に従って左画像を射影変換するための補正パラメータの組(θx,θy,θz)を求める。しかし、補正パラメータ算出部１３は、（３）式に従って右画像を射影変換するための補正パラメータの組(θx,θy,θz)を求めてもよい。
補正パラメータ算出部１３は、補正パラメータの組(θx,θy,θz)を補正部１４へ渡す。
【００５５】
補正部１４は、算出された補正パラメータの組を用いて、左画像上の被写体の像と右画像上の被写体の像のうちの少なくとも一方を補正することによりステレオ画像を生成する。本実施形態では、補正部１４は、補正パラメータの組を（３）式に適用することにより得られる式に従って、左画像の各画素を射影変換する。そして得られた左画像と対応する右画像との組がステレオ画像となる。
なお、補正部１４は、左画像の各画素の位置を補正する代わりに、右画像の各画素の位置を補正してもよい。この場合、補正部１４は、（３）式において、補正パラメータの組(θx,θy,θz)を、それぞれ、(-θx,-θy,-θz)とすればよい。また補正部１４は、左画像の各画素の位置及び右画像の各画素の位置を、それぞれ（３）式に従って補正してもよい。この場合には、左画像に対して適用される補正パラメータの組を、(θx/2,θy/2,θz/2)とし、一方、右画像に対して適用される補正パラメータの組を、(-θx/2,-θy/2,-θz/2)としてもよい。
ステレオ画像生成装置６は、得られたステレオ画像を表示部４に表示させ、あるいは、記憶部５に記憶する。
【００５６】
図８は、ステレオ画像生成装置６により実行されるステレオ画像生成処理の動作フローチャートである。
ステレオ画像生成装置６は、撮像部２から、ステレオアダプタ８を用いて被写体を撮影した画像を取得する（ステップＳ１０１）。そしてステレオ画像生成装置６は、その画像をバッファ１０に記憶する。被写体領域抽出部１１は、バッファ１０から画像を読み出し、その画像の左半分及び右半分からそれぞれ被写体領域を抽出して左画像及び右画像を生成する（ステップＳ１０２）。そして被写体領域抽出部１１は、左画像及び右画像をバッファ１０に記憶する。
【００５７】
特徴点抽出部１２は、バッファ１０から左画像及び右画像を読み出し、左画像から複数の特徴点の候補を抽出する。そして特徴点抽出部１２は、左画像上の各特徴点候補に対して、対応する特徴点らしさを表す評価値を右画像上の各点について算出する（ステップＳ１０３）。なおこの評価値は、上記のように、ステレオアダプタ８の構造及び取り付け時の位置ずれに応じた移動範囲内に存在し、かつその特徴点の候補周辺と類似しているほど値が高くなる。さらに、特徴点抽出部１２は、左画像上の特徴点の候補ごとに、右画像上で評価値が最も高くなる点を求め、その点とその特徴点の候補とを被写体の同一の点に対応する特徴点の組として抽出する（ステップＳ１０４）。そして特徴点抽出部１２は、その特徴点の組に含まれる各特徴点の座標を補正パラメータ算出部１３へ渡す。
【００５８】
補正パラメータ算出部１３は、特徴点の組に基づいて補正パラメータの組を算出する（ステップＳ１０５）。そして補正パラメータ算出部１３は、補正パラメータの組を補正部１４へ渡す。
【００５９】
補正部１４は、バッファ１０から左画像及び右画像を読み出し、補正パラメータの組を用いて左画像と右画像のうちの少なくとも一方の画像の各画素の位置を補正することでステレオ画像を生成する（ステップＳ１０６）。そしてステレオ画像生成装置６は、生成されたステレオ画像を出力し、ステレオ画像生成処理を終了する。
【００６０】
以上に説明してきたように、このステレオ画像生成装置は、ステレオアダプタを用いて被写体を撮影した画像から切り出した左画像と右画像とから、被写体上の同一の点に対応する特徴点の組を抽出する。その際、このステレオ画像生成装置は、ステレオアダプタの構造及び取り付け位置のずれに応じた移動方向及び移動量を考慮して特徴点の組を抽出する。これにより、このステレオ画像生成装置は、互いに異なる被写体上の点に対応する二つの特徴点を誤って被写体上の同一の点に対応する特徴点の組とすることを抑制できる。したがって、このステレオ画像生成装置は、位置補正の精度を向上させた補正パラメータの組を求めることができる。
【００６１】
次に、第２の実施形態によるステレオ画像生成装置について説明する。このステレオ画像生成装置は、一旦算出された補正パラメータの組がステレオ画像の生成に適しているか否かを判定し、適していると判定した場合にのみ、その補正パラメータの組を用いて左画像と右画像のうちの少なくとも一方の被写体の像を補正する。
【００６２】
図９は、第２の実施形態によるステレオ画像生成装置の構成図である。第２の実施形態によるステレオ画像生成装置６１は、バッファ１０と、被写体領域抽出部１１と、特徴点抽出部１２と、補正パラメータ算出部１３と、補正部１４と、判定部１５とを有する。図９において、ステレオ画像生成装置６１の各部には、図４に示された第１の実施形態によるステレオ画像生成装置６の対応する構成要素の参照番号と同じ参照番号を付した。
第２の実施形態によるステレオ画像生成装置６１は、第１の実施形態によるステレオ画像生成装置６と比較して、判定部１５に関して相違する。そこで以下では、判定部１５及びその関連部分について説明する。ステレオ画像生成装置６１のその他の構成要素については、第１の実施形態によるステレオ画像生成装置の対応する構成要素についての説明を参照されたい。
【００６３】
判定部１５は、補正パラメータ算出部１３により算出された補正パラメータの組がステレオ画像を生成するのに適切か否か判定する。
【００６４】
そのために、判定部１５は、例えば、補正パラメータ算出部１３から補正パラメータの組を受け取る。そして判定部１５は、その補正パラメータの組を用いて、左画像の特徴点の座標をそれぞれ変換し、変換後の左画像上での特徴点と、右画像の対応する特徴点との間の距離の統計量を補正誤差量として求める。判定部１５は、補正誤差量として、例えば、複数の特徴点の組のそれぞれについての距離の絶対値の平均値または２乗平均値を算出する。そして判定部１５は、補正誤差量が所定の閾値以下か否か判定する。補正誤差量が所定の閾値よりも大きければ、補正パラメータの組はステレオ画像の生成に適していないと判定し、補正パラメータの組を補正部１４に廃棄させる。そしてステレオ画像生成装置６は、例えば、デジタルカメラ１の制御部７へ、適切な補正パラメータの組が得られなかったことを表す信号を通知する。制御部７は、その信号を受け取ると、例えば、表示部４を介して再撮影することを促すメッセージをユーザに通知する。そしてステレオ画像生成装置６は、再度撮像部２から画像を取得し、新たに得られた画像に基づいて再度補正パラメータの組を求めてもよい。
【００６５】
一方、補正誤差量が所定の閾値以下であれば、判定部１５は、補正パラメータの組はステレオ画像の生成に適していると判定し、その旨を補正部１４へ通知する。補正部１４は、その通知を受け取ると、補正パラメータの組を用いて、左画像上の被写体の像の位置と右画像上の被写体の像の位置のうちの少なくとも一方を補正することによりステレオ画像を生成する。
【００６６】
なお、補正誤差量に対する閾値は、例えば、補正パラメータの組を用いて生成されたステレオ画像を用いて表示される立体像の画質が許容限界内となる補正誤差量の上限値に設定される。このような補正誤差量の上限値、すなわち補正誤差量に対する閾値は、例えば、左画像と右画像の組である複数のサンプルデータに基づいて、それぞれ補正誤差量とステレオ画像を生成することにより、実験的に決定できる。
【００６７】
あるいは、判定部１５は、複数の特徴点の組のそれぞれに含まれる、何れか一方の画像上の特徴点がその画像に偏在している度合いを表す偏在度を、補正パラメータの組がステレオ画像の生成に適しているか否かを判定するために用いてもよい。
【００６８】
特徴点の偏在度が高いほど、左画像及び右画像上の一部の領域のみに基づいて補正パラメータの組が求められていることになるので、その特徴点に基づいて決定された補正パラメータの組は、画像全体を適切に位置補正できない可能性が高い。そこで偏在度は、補正パラメータの組がステレオ画像の生成に適しているか否かを判定するための指標となる。
本実施形態では、判定部１５は、右画像上の複数の特徴点に基づいて偏在度を求める。しかし、判定部１５は、左画像上の複数の特徴点に基づいて偏在度を求めてもよい。
【００６９】
判定部１５は、例えば、右画像を水平方向にm個に等分割し、かつ垂直方向にn個に等分割することで、m×n個のブロックを設定する。ただし、m、nのうち、一方は2以上の整数であり、他方は1以上の整数である。例えば、m=n=3に設定される。そして判定部１５は、ブロックごとに、そのブロック内に含まれる特徴点の数を求める。そして判定部１５は、特徴点が一つも含まれない、あるいは、特徴点数が所定値未満であるブロックの数を偏在度とする。所定値は、例えば、ブロックごとの特徴点数の平均値の1/5〜1/10、あるいは1〜3といった固定値に設定される。
【００７０】
図１０（ａ）及び図１０（ｂ）は、それぞれ、特徴点の分布と偏在度の関係の一例を示す図である。図１０（ａ）及び図１０（ｂ）において、画像１０００は3×3個のブロックに分割されている。そして画像１０００上の複数の点１００１は、それぞれ、特徴点を表す。図１０（ａ）に示される例では、全てのブロックに特徴点１００１が存在するため、偏在度は0である。一方、図１０（ｂ）に示される例では、左端の３個のブロック１０１１〜１０１３の何れにも特徴点が存在せず、その他のブロックには１個以上の特徴点１００１が存在している。従って、この例では、偏在度は3である。
【００７１】
なお、右画像が3×3個のブロックに分割される場合(すなわち、m=n=3)、判定部１５は、中央のブロックを除いた他の8個のブロックのうちで、特徴点が１つも含まれないブロックの数を偏在度としてもよい。中央のブロックに特徴点が含まれていなくても、その周囲の各ブロックに特徴点が含まれていれば、右画像全体にわたって存在する特徴点が補正パラメータの算出に利用されているので、特徴点は偏在していないとみなせるためである。
【００７２】
あるいは、判定部１５は、右画像を水平方向または垂直方向に二つのブロックに当分割し、各ブロックに含まれる特徴点の数を求めてもよい。そして判定部１５は、特徴点の総数に対する二つのブロックのうち、特徴点の数が多い方のブロックに含まれる特徴点数の比を偏在度として算出してもよい。
【００７３】
あるいはまた、判定部１５は、次式に従って、偏在度を算出してもよい。
【数３】
2013123123.tif 000005
ここで、bは偏在度である。また関数|a=(ax,ay)|は、(ax2+ay2)1/2である。そしてα、βは、係数であり、α≧0、β≧0、α+β=1という条件を満たす。例えば、α=β=0.5である。W、Hは、それぞれ、右画像の水平方向の幅及び垂直方向の高さである。m=(mx,my)は、右画像上に存在する特徴点の座標の平均値を表し、mxは水平方向の平均座標、myは垂直方向の平均座標である。またme=(W/2,H/2)は、特徴点が右画像全体に一様に分布している場合の特徴点の座標の平均値、すなわち、画像の中心座標を表す。さらに、s=(sx,sy)は、右画像上に存在する特徴点の座標の分散を表し、sxは水平方向の分散、syは垂直方向の分散である。se=(W2/12,H2/12)は特徴点が右画像全体に一様に分布している場合の特徴点の分散の期待値であり、例えば、水平方向についてのその分散の期待値は以下のように算出される。
【数４】
2013123123.tif 000006
なお、p(n)は、特徴点の水平座標がnとなる確率を表し、本実施形態では一様分布であるので、nの値によらず1/Wとなる。また垂直方向の分散の期待値に関しても、同様に求められる。
【００７４】
判定部１５は、求めた偏在度が所定の閾値以下か否か判定する。偏在度が所定の閾値よりも大きければ、補正パラメータの組はステレオ画像の生成に適していないと判定し、補正パラメータの組を補正部１４に廃棄させる。一方、偏在度が所定の閾値以下であれば、判定部１５は、補正パラメータの組はステレオ画像の生成に適していると判定し、その旨を補正部１４へ通知する。補正部１４は、その通知を受け取ると、補正パラメータの組を用いて、左画像上の被写体の像と右画像上の被写体の像のうちの少なくとも一方を補正することによりステレオ画像を生成する。なお、偏在度に対する閾値は、例えば、補正パラメータの組を用いて生成されたステレオ画像を用いて表示される立体像の画質が許容限界内となる偏在度の上限値に設定される。このような偏在度の上限値、すなわち偏在度に対する閾値は、例えば、左画像と右画像の組である複数のサンプルデータに基づいて、それぞれ偏在度とステレオ画像を生成することにより、実験的に決定できる。
【００７５】
さらにまた、判定部１５は、偏在度と補正誤差量の両方に基づいて、補正パラメータの組がステレオ画像の生成に適しているか否かを判定してもよい。例えば、判定部１５は、偏在度が上記の偏在度に対する閾値以下であり、かつ、補正誤差量が上記の補正誤差量に対する閾値以下である場合に限り、補正パラメータの組がステレオ画像の生成に適していると判定してもよい。
【００７６】
このような判定処理は、例えば、図８に示されたステレオ画像生成処理において、ステップＳ１０５の処理とステップＳ１０６の処理の間で実行される。
【００７７】
この第２の実施形態によれば、ステレオ画像生成装置は、算出された補正パラメータの組がステレオ画像の生成に適しているか否かを判定し、適していると判定された補正パラメータの組のみを、ステレオ画像の生成に利用する。そのため、このステレオ画像生成装置は、生成されるステレオ画像の画質を向上できる。
【００７８】
次に、第３の実施形態によるステレオ画像生成装置について説明する。このステレオ画像生成装置は、キャリブレーション処理を実行することで一旦補正パラメータの組を算出するとその補正パラメータの組を記憶しておく。そしてこのステレオ画像生成装置は、その後に得られた左画像と右画像の組に対して、その補正パラメータの組を用いて少なくとも一方の画像上の被写体の像の位置を補正することで、ステレオ画像を生成する。
【００７９】
図１１は、第３の実施形態によるステレオ画像生成装置の構成図である。第３の実施形態によるステレオ画像生成装置６２は、バッファ１０と、被写体領域抽出部１１と、特徴点抽出部１２と、補正パラメータ算出部１３と、補正部１４と、判定部１５と、補正パラメータ記憶部１６とを有する。図１１において、ステレオ画像生成装置６２の各部には、図９に示された第２の実施形態によるステレオ画像生成装置６１の対応する構成要素の参照番号と同じ参照番号を付した。
第３の実施形態によるステレオ画像生成装置６２は、第２の実施形態によるステレオ画像生成装置６１と比較して、補正パラメータ記憶部１６に関して相違する。そこで以下では、補正パラメータ記憶部１６及びその関連部分について説明する。ステレオ画像生成装置６２のその他の構成要素については、第１または第２の実施形態によるステレオ画像生成装置の対応する構成要素についての説明を参照されたい。
【００８０】
補正パラメータ記憶部１６は、例えば、不揮発性の読み書き可能な半導体メモリ回路を有する。そして補正パラメータ記憶部１６は、補正パラメータ算出部１３から受け取った補正パラメータの組を記憶する。
【００８１】
この実施形態では、補正パラメータの組は、例えば、ステレオ画像生成装置６２が実装されたデジタルカメラのキャリブレーション処理が実行されたときに、図８に示された動作フローチャートのうちのステップＳ１０１〜Ｓ１０５が実行されることにより求められる。その後、判定部１５が、補正パラメータの組はステレオ画像を生成するのに不適切であると判定すれば、補正パラメータ記憶部１６から補正パラメータの組を消去する。そしてステレオ画像生成装置６２は、ステップＳ１０１以降の処理を繰り返す。一方、判定部１５が、補正パラメータの組はステレオ画像を生成するのに適していると判定すれば、ステレオ画像生成装置６２は、キャリブレーション処理を終了する。
【００８２】
また、通常撮影時には、ステレオ画像生成装置６２は、ステップＳ１０３〜Ｓ１０５の処理を行わず、ステップＳ１０１、Ｓ１０２及びＳ１０６の処理のみを実行する。具体的には、ステレオ画像生成装置６２は、撮像部２からステレオアダプタ８を用いて被写体を撮影した画像を得る度に、左画像及び右画像を生成する。そしてステレオ画像生成装置６２は、補正パラメータ記憶部１６に記憶された補正パラメータの組を用いて、（３）式に従って左画像と右画像のうちの少なくとも一方の各画素の位置を補正することでステレオ画像を生成する。
【００８３】
この第３の実施形態によれば、ステレオ画像生成装置は、撮影の度に補正パラメータの組を算出しなくてよいので、撮影時におけるステレオ画像生成のための演算量を軽減できる。また、ステレオ画像生成装置は、動画像のように時間的に連続する複数の画像のそれぞれからステレオ画像を生成する場合でも、各画像に対して同一の補正パラメータの組を用いることができる。そのため、このステレオ画像生成装置は、補正後の被写体の像間の位置関係が時間によって変動することを抑制できる。
【００８４】
次に、第４の実施形態によるステレオ画像生成装置について説明する。このステレオ画像生成装置は、撮像部により生成されたオリジナルの画像の解像度よりも低い解像度を持つ画像、例えば、確認用のプレビュー画像に基づいて補正パラメータの組を算出する。そしてこのステレオ画像生成装置は、プレビュー画像に基づいて求められた補正パラメータの組により規定される射影変換行列を、プレビュー画像の解像度とオリジナルの画像の解像度の比に基づいて補正する。
【００８５】
第４の実施形態によるステレオ画像生成装置は、第１の実施形態によるステレオ画像生成装置６が有する構成要素と同じ構成要素を有する。ただし、第４の実施形態によるステレオ画像生成装置は、第１の実施形態によるステレオ画像生成装置６と比較して、補正パラメータの組の算出用にプレビュー画像を受け取ることと、補正部１４に関して相違する。そこで以下では、プレビュー画像の利用に関する部分及び補正部１４について説明する。ステレオ画像生成装置のその他の構成要素については、第１の実施形態によるステレオ画像生成装置の対応する構成要素についての説明を参照されたい。
【００８６】
ステレオ画像生成装置は、撮像部２から、ステレオアダプタ８を用いて被写体を撮影したオリジナルの画像を受け取り、バッファ１０に記憶する。またステレオ画像生成装置は、デジタルカメラ１の制御部７からプレビュー画像を受け取り、バッファ１０に記憶する。プレビュー画像は、例えば、制御部７により、オリジナルの画像から、表示部４に表示可能な画素数を持つように、所定のピッチで画素を間引くことにより生成される。例えば、オリジナルの画像が水平方向に約1900画素、垂直方向に約1300画素を有しているのに対して、プレビュー画像は、水平方向に640画素、垂直方向480画素を有する。このように、プレビュー画像のデータ量は、オリジナルの画像のデータ量よりも小さい。
【００８７】
被写体領域抽出部１１は、オリジナルの画像の左半分及び右半分からそれぞれ被写体領域を抽出して左画像及び右画像を生成する。同様に、被写体領域抽出部１１は、プレビュー画像の左半分及び右半分からそれぞれ被写体領域を抽出して左画像及び右画像を生成する。ただし、プレビュー画像から生成された左画像及び右画像のアスペクト比は、オリジナル画像から生成された左画像及び右画像のアスペクト比と同一とすることが好ましい。さらに、プレビュー画像から生成された左画像に写っている被写体の範囲とオリジナル画像から生成された左画像に写っている被写体の範囲とは同一であることが好ましい。同様に、プレビュー画像から生成された右画像に写っている被写体の範囲とオリジナル画像から生成された右画像に写っている被写体の範囲とは同一であることが好ましい。そして被写体領域抽出部１１は、オリジナル画像から生成された左画像及び右画像をバッファ１０に記憶し、一方、プレビュー画像から生成された左画像及び右画像を特徴点抽出部１２へ渡す。特徴点抽出部１２は、プレビュー画像から生成された左画像及び右画像から複数の特徴点の組を抽出する。そして補正パラメータ算出部１３は、プレビュー画像から生成された左画像及び右画像から抽出された複数の特徴点の組に基づいて補正パラメータの組を算出する。補正パラメータの組は、補正部１４に渡される。
【００８８】
補正部１４は、補正パラメータの組に基づいて得られる射影変換行列の各要素を、次式に従って、プレビュー画像の画素数とオリジナル画像の画素数の比に応じて変換する。
【数５】
2013123123.tif 000007
ここで、Hij(i,j=1,2,3)は、プレビュー画像に基づいて算出された補正パラメータの組に基づく射影変換行列における、i行j列の要素である。この射影変換行列は、例えば、（３）式における変換行列ARA-1、変換行列Rzを一つにまとめて表現した行列とすることができる。また（３）式において画像の水平方向の幅W及び垂直方向の高さHは、オリジナル画像の水平方向の幅及び垂直方向の高さとなる。また、Rhは、プレビュー画像から抽出された左画像または右画像の水平方向の画素数Nhpに対する、オリジナルの画像におけるその左画像または右画像に相当する領域に含まれる水平方向の画素数Nhoの比(Nho/Nhp)である。同様に、Rvは、プレビュー画像から抽出された左画像または右画像の垂直方向の画素数Nvpに対する、オリジナルの画像におけるその左画像または右画像に相当する領域に含まれる垂直方向の画素数Nvoの比(Nvo/Nvp)である。そしてH'は、変換後の射影変換行列である。
補正部１４は、変換後の射影変換行列を用いて、オリジナルの画像から抽出された左画像及び右画像のうちの少なくとも一方の各画素の位置を補正することで、ステレオ画像を生成する。
【００８９】
この実施形態によれば、ステレオ画像生成装置は、オリジナルの画像よりも、画素数の少ないプレビュー画像に基づいて補正パラメータの組を算出できるので、補正パラメータの組の算出に要する演算量を削減できる。
【００９０】
変形例によれば、第２の実施形態または第３の実施形態によるステレオ画像生成装置が、第４の実施形態と同様に、プレビュー画像に基づいて補正パラメータの組を算出してもよい。
【００９１】
また他の変形例によれば、ステレオ画像生成装置自身が、オリジナルの画像から所定のピッチで画素を間引くことによりプレビュー画像を生成し、そのプレビュー画像に基づいて補正パラメータの組を算出してもよい。
【００９２】
次に、第５の実施形態によるステレオ画像生成装置について説明する。このステレオ画像生成装置は、一旦補正パラメータの組を算出するとその補正パラメータの組を記憶しておく。そしてこのステレオ画像生成装置は、その後に再度求めた補正パラメータの組と記憶してある補正パラメータの組とを比較して、補正パラメータ間の差が許容限界以上であれば、警告をユーザに通知する。
【００９３】
図１２は、第５の実施形態によるステレオ画像生成装置の構成図である。第５の実施形態によるステレオ画像生成装置６３は、バッファ１０と、被写体領域抽出部１１と、特徴点抽出部１２と、補正パラメータ算出部１３と、補正部１４と、補正パラメータ記憶部１６と、比較部１７とを有する。図１２において、ステレオ画像生成装置６３の各部には、図１１に示された第３の実施形態によるステレオ画像生成装置６２の対応する構成要素の参照番号と同じ参照番号を付した。
第５の実施形態によるステレオ画像生成装置６３は、第３の実施形態によるステレオ画像生成装置６２と比較して、判定部１５の代わりに比較部１７を有する点で相違する。そこで以下では、比較部１７及びその関連部分について説明する。ステレオ画像生成装置６３のその他の構成要素については、第１または第３の実施形態によるステレオ画像生成装置の対応する構成要素についての説明を参照されたい。
【００９４】
補正パラメータ算出部１３は、所定の期間が経過するごとに、撮像部２から得た画像に基づいて補正パラメータの組を算出する。なお、所定の期間は、例えば、1分、1時間、あるいは1日とすることができる。あるいは、補正パラメータ算出部１３は、デジタルカメラ１の電源が投入される度に、その電源投入後、ステレオアダプタ８を装着した状態で最初に撮影された画像に基づいて補正パラメータの組を算出してもよい。そして補正パラメータ算出部１３は、その補正パラメータの組を比較部１７に渡す。
【００９５】
比較部１７は、以前に算出され、補正パラメータ記憶部１６に記憶されている補正パラメータの組と、補正パラメータ算出部１３から受け取った補正パラメータの組とを比較する。なお、補正パラメータ記憶部１６に記憶されている補正パラメータの組を以下では、便宜上、過去の補正パラメータの組と呼び、補正パラメータ算出部１３から受け取った補正パラメータの組を、以下では、便宜上、現在の補正パラメータの組と呼ぶ。
【００９６】
比較部１７は、過去の補正パラメータの組に含まれる全ての補正パラメータと現在の補正パラメータの組に含まれる対応する補正パラメータの差の絶対値が所定の閾値以下である場合、現在の補正パラメータの組を補正パラメータ記憶部１６に記憶する。これにより、比較部１７は、補正パラメータの組を更新する。
【００９７】
一方、過去の補正パラメータの組に含まれる何れかの補正パラメータと現在の補正パラメータの組に含まれる対応する補正パラメータの差の絶対値が所定の閾値よりも大きいことがある。この場合、比較部１７は、過去の補正パラメータの組の算出時から、ステレオアダプタ８が経年変化したか、あるいはデジタルカメラに対するステレオアダプタの取り付け位置がずれたと判定する。なお、所定の閾値は、例えば、生成されたステレオ画像の画質の変化がユーザに感知されない補正パラメータの差の絶対値の上限値に設定される。そして比較部１７は、デジタルカメラ１の制御部７へ、その判定結果を通知する。制御部７は、表示部４に、ステレオアダプタ８が経年変化したか、あるいはデジタルカメラに対するステレオアダプタの取り付け位置がずれたことを示すメッセージ、及び現在の補正パラメータの組を使用するか否かを選択させるメッセージを表示させる。そしてユーザが操作部３を操作することにより、操作部３から制御部７へ、現在の補正パラメータの組を使用する旨の制御信号が通知されると、制御部７は、その旨をステレオ画像生成装置６３に通知する。この場合、比較部１７は、現在の補正パラメータの組を補正パラメータ記憶部１６に記憶することで、補正パラメータの組を更新する。
【００９８】
一方、操作部３から制御部７へ、現在の補正パラメータの組を使用しない旨の制御信号が通知されると、制御部７は、その旨をステレオ画像生成装置６３に通知する。この場合、比較部１７は、現在の補正パラメータの組を廃棄する。そしてステレオ画像生成装置６３は、補正パラメータの組を更新しない。また、制御部７は、表示部４に、ステレオアダプタ８の取り付け位置を確認することを薦めるメッセージを表示させてもよい。
【００９９】
補正部１４は、ステレオ画像生成装置６３が撮像部２から画像を受け取る度に、補正パラメータ記憶部１６に記憶されている補正パラメータの組を読み出す。そして補正部１４は、その補正パラメータの組を例えば（３）式に入力して得られる射影変換行列を用いて、左画像及び右画像の少なくとも一方の各画素の位置を補正することにより、ステレオ画像を生成する。
【０１００】
この実施形態によれば、ステレオ画像生成装置は、過去に生成された補正パラメータの組と最新の補正パラメータの組とを比較することで、ステレオアダプタの取り付け位置のずれまたはステレオアダプタの経年劣化を検知できる。そのため、このステレオ画像生成装置は、ステレオアダプタの取り付け位置のずれ等、補正パラメータの組に影響を与える事態が生じた後に、過去に生成され、もはや不適切となった補正パラメータの組を用いてステレオ画像を生成することを防止できる。
【０１０１】
上記の各実施形態に対する変形例によれば、ステレオアダプタが、撮像部に対するステレオアダプタの取り付け位置のずれを無視できるほど小さくできる精密なマウント機構を有することがある。この場合、特徴点抽出部は、（１）式または（２）式の代わりに次式に従って評価値e(x,y,vx,vy)を算出してもよい。
【数６】
2013123123.tif 000008
ここで関数g(a)は、変数aが大きくなるほど相対的に小さな値を出力する単調減少関数であり、例えば、g(a)=1/(1+a)とすることができる。なお、（７）式では、ステレオアダプタの構造に起因する、左画像上の被写体の像の歪みと右画像上の被写体の像の歪みの差による水平方向の移動量Vxth2及び垂直方向の移動量Vyth2は、左画像上の画素ごとに予め設定される。
【０１０２】
上記の実施形態またはその変形例によるステレオ画像生成装置の各部の機能は、プロセッサ上で実行されるコンピュータプログラムにより実現されてもよい。そのようなコンピュータプログラムは、磁気記録媒体、光記録媒体といったコンピュータ読み取り可能な記録媒体に記録された形で提供されてもよい。
【０１０３】
図１３は、上記の実施形態またはその変形例によるステレオ画像生成装置の各部の機能を実現するコンピュータプログラムが動作することにより、ステレオ画像生成装置として動作するコンピュータの構成図である。
コンピュータ１００は、ユーザインターフェース部１０１と、通信インターフェース部１０２と、記憶部１０３と、記憶媒体アクセス装置１０４と、プロセッサ１０５とを有する。プロセッサ１０５は、ユーザインターフェース部１０１、通信インターフェース部１０２、記憶部１０３及び記憶媒体アクセス装置１０４と、例えば、バスを介して接続される。
【０１０４】
ユーザインターフェース部１０１は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース部１０１は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース部１０１は、例えば、ユーザの操作に応じて、ステレオ画像生成処理を開始させる操作信号をプロセッサ１０５へ出力する。
【０１０５】
通信インターフェース部１０２は、コンピュータ１００を、ステレオアダプタを着脱可能な撮像装置（図示せず）と接続するための通信インターフェース及びその制御回路を有してもよい。そのような通信インターフェースは、例えば、Universal Serial Bus（ユニバーサル・シリアル・バス、USB）とすることができる。
さらに、通信インターフェース部１０２は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。
この場合には、通信インターフェース部１０２は、撮像装置、カメラまたは通信ネットワークに接続された他の機器から、ステレオアダプタを用いて被写体を撮影した画像を取得し、その画像とをプロセッサ１０５へ渡す。また通信インターフェース部１０２は、プロセッサ１０５から受け取った、ステレオ画像を通信ネットワークを介して他の機器へ出力してもよい。
【０１０６】
記憶部１０３は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部１０３は、プロセッサ１０５上で実行される、ステレオ画像生成処理を実行するためのコンピュータプログラム、及びステレオ画像生成処理で利用される、左画像上の被写体の像に対する右画像上の被写体の像の推定移動量を表すパラメータVxth1,Vyth1,Vxth2及びVyth2といったデータを記憶する。また記憶部１０３は、通信インターフェース部１０２を介して受け取った画像、またはプロセッサ１０５により生成されたステレオ画像などを記憶する。
【０１０７】
記憶媒体アクセス装置１０４は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１０６にアクセスする装置である。記憶媒体アクセス装置１０４は、例えば、記憶媒体１０６に記憶されたプロセッサ１０５上で実行される、ステレオ画像生成処理用のコンピュータプログラムを読み込み、プロセッサ１０５に渡す。また記憶媒体アクセス装置１０４は、プロセッサ１０５により生成されたステレオ画像を記憶媒体１０６に書き込んでもよい。
【０１０８】
プロセッサ１０５は、上記の各実施形態の何れかまたは変形例によるステレオ画像生成処理用コンピュータプログラムを実行することにより、ステレオアダプタを用いて被写体を撮影した画像からステレオ画像を生成する。そしてプロセッサ１０５は、生成されたステレオ画像を記憶部１０３に保存し、または通信インターフェース部１０２を介して他の機器へ出力する。
【０１０９】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【０１１０】
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
被写体を撮影することにより画像を生成する撮像部と、
前記撮像部の前面に配置され、前記被写体からの光を二つの光束に分割して前記撮像部に導き、前記画像上に前記被写体の像を二つ生成させるステレオアダプタと、
前記画像に写っている前記二つの被写体の像に基づいてステレオ画像を生成するステレオ画像生成部とを有し、
前記ステレオ画像生成部は、
前記画像から、前記二つの光束のうちの一方による前記被写体の像を含む第１の領域と前記二つの光束のうちの他方による前記被写体の像を含む第２の領域とを抽出する被写体領域抽出部と、
前記第１の領域及び前記第２の領域から、それぞれ、前記被写体上の同一の点に対応する特徴点の組を複数抽出する特徴点抽出部と、
前記複数の特徴点の組に基づいて、前記第１の領域上の前記被写体の像と前記第２の領域上の被写体の像とを位置合わせする少なくとも一つの補正パラメータを算出する補正パラメータ算出部と、
前記補正パラメータを用いて前記第１の領域上の前記被写体の像と前記第２の領域上の前記被写体の像のうちの少なくとも一方を補正することによりステレオ画像を生成する補正部と、
を有し、
前記特徴点抽出部は、前記第１の領域から第１の特徴点を抽出し、該第１の特徴点の座標に応じて決定される、前記ステレオアダプタの構造に起因して前記第１の領域内の前記被写体の像から前記第２の領域内の前記被写体の像まで移動した位置を基点として、前記ステレオアダプタの前記撮像部に対する取り付け位置のずれに起因する前記第１の領域内の前記被写体の像から前記第２の領域内の前記被写体の像の対応する点への移動範囲内に存在し、かつ、前記第１の特徴点の周辺領域との類似度が高いほど高くなる評価値を、前記第２の領域内の複数の点について算出し、該評価値が最大となる点を第２の特徴点とし、該第１の特徴点と該第２の特徴点とを前記特徴点の組とする
ステレオ撮像装置。
【符号の説明】
【０１１１】
１    デジタルカメラ
２    撮像部
３    操作部
４    表示部
５    記憶部
６、６１−６３    ステレオ画像生成装置
７    制御部
８    ステレオアダプタ
１０    バッファ
１１    被写体領域抽出部
１２    特徴点抽出部
１３    補正パラメータ算出部
１４    補正部
１５    判定部
１６    補正パラメータ記憶部
１７    比較部
１００    コンピュータ
１０１    ユーザインターフェース部
１０２    通信インターフェース部
１０３    記憶部
１０４    記憶媒体アクセス装置
１０５    プロセッサ
１０６    記憶媒体
【図１】
2013123123.tif 000009
【図２】
2013123123.tif 000010
【図３】
2013123123.tif 000011
【図４】
2013123123.tif 000012
【図５】
2013123123.tif 000013
【図６】
2013123123.tif 000014
【図７】
2013123123.tif 000015
【図８】
2013123123.tif 000016
【図９】
2013123123.tif 000017
【図１０】
2013123123.tif 000018
【図１１】
2013123123.tif 000019
【図１２】
2013123123.tif 000020
【図１３】
2013123123.tif 000021