(57)【特許請求の範囲】
【請求項１】
被写体からの光を二つの光束に分割して撮像部に導くステレオアダプタを用いて該被写体を撮影することにより生成された画像上で、該ステレオアダプタの前記撮像部に対する取り付け位置によらずに前記二つの光束が入射しない第１の領域の基準輝度値を求める輝度算出部と、
前記画像上で前記第１の領域に含まれる画素と、前記二つの光束のうちの一方が入射する第２の領域及び前記二つの光束のうちの他方が入射する第３の領域のうちの何れかに含まれる画素とを区別するための輝度閾値と前記基準輝度値との関係に基づいて、前記基準輝度値に対応する該輝度閾値を決定する輝度閾値決定部と、
前記画像上で前記輝度閾値よりも高い輝度を持つ画素の二つの集合を、それぞれ、前記第２の領域及び前記第３の領域として抽出し、該抽出された前記第２の領域内から切り出した第１の部分画像と前記第３の領域内から切り出した第２の部分画像との組をステレオ画像とする被写体領域抽出部と、
を有するステレオ画像生成装置。
【請求項２】
前記輝度閾値決定部は、前記基準輝度値が高いほど、前記輝度閾値を高くする請求項１に記載のステレオ画像生成装置。
【請求項３】
被写体からの光を二つの光束に分割して撮像部に導くステレオアダプタを用いて該被写体を撮影することにより生成された画像上で、該ステレオアダプタの前記撮像部に対する取り付け位置によらずに前記二つの光束が入射しない第１の領域の基準輝度値を求め、
前記画像上で前記第１の領域に含まれる画素と、前記二つの光束のうちの一方が入射する第２の領域及び前記二つの光束のうちの他方が入射する第３の領域のうちの何れかに含まれる画素とを区別するための輝度閾値と前記基準輝度値との関係に基づいて、前記基準輝度値に対応する該輝度閾値を決定し、
前記画像上で前記輝度閾値よりも高い輝度を持つ画素の二つの集合を、それぞれ、前記第２の領域及び前記第３の領域として抽出し、該抽出された前記第２の領域内から切り出した第１の部分画像と前記第３の領域内から切り出した第２の部分画像との組をステレオ画像とする、
ことを含むステレオ画像生成方法。
【請求項４】
被写体からの光を二つの光束に分割して撮像部に導くステレオアダプタを用いて該被写体を撮影することにより生成された画像上で、該ステレオアダプタの前記撮像部に対する取り付け位置によらずに前記二つの光束が入射しない第１の領域の基準輝度値を求め、
前記画像上で前記第１の領域に含まれる画素と、前記二つの光束のうちの一方が入射する第２の領域及び前記二つの光束のうちの他方が入射する第３の領域のうちの何れかに含まれる画素とを区別するための輝度閾値と前記基準輝度値との関係に基づいて、前記基準輝度値に対応する該輝度閾値を決定し、
前記画像上で前記輝度閾値よりも高い輝度を持つ画素の二つの集合を、それぞれ、前記第２の領域及び前記第３の領域として抽出し、該抽出された前記第２の領域内から切り出した第１の部分画像と前記第３の領域内から切り出した第２の部分画像との組をステレオ画像とする、
ことをコンピュータに実行させるステレオ画像生成用コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、被写体を互いに異なる２方向から撮影可能とするステレオアダプタを装着したカメラにより撮影された画像からステレオ画像を生成するステレオ画像生成方法、ステレオ画像生成装置及びステレオ画像生成用コンピュータプログラムに関する。
【背景技術】
【０００２】
従来より、３次元的な像を再生するための研究がなされている。３次元的な像を再生するための一つの方法として、被写体を異なる方向から撮影した二つの画像を並べて表示し、その二つの画像のそれぞれを、観察者の左右それぞれの眼に見せる方法が知られている。このような方法で用いられる２枚一組の画像は、ステレオ画像と呼ばれる。
【０００３】
ステレオ画像を生成するために、単眼のカメラの撮影レンズの前面に取り付け、被写体を互いに異なる方向から見た二つの像を、それぞれ、カメラの像面の左半分と右半分に結像させるステレオアダプタが知られている（例えば、特許文献１及び２を参照）。ステレオアダプタは、被写体を互いに異なる２方向から見たそれぞれの被写体の像をカメラが結像できるように、例えば、ステレオアダプタの水平方向の中心に対して線対称となるように配置された２枚のミラーのペアを２組有する。それぞれのミラーのペアに含まれる内側のミラーは、撮影レンズの正面に位置し、かつ、反射面が撮影レンズの方を向くとともに撮影レンズの光軸に対して水平方向に傾けて配置される。そして各内側のミラーは、撮影レンズに対して水平方向かつ内側のミラーよりも外側に配置され、反射面が被写体側へ向けられた各外側のミラーによって反射された被写体からの光束を撮影レンズに導く。これにより、撮影レンズの像面の左半分と右半分とに、それぞれ、被写体を、それぞれの外側のミラーの位置から見たときの被写体の像が結像される。したがって、ステレオアダプタを用いて被写体を撮影することにより得られた画像の左半分と右半分とから、被写体の像が写っている領域を切出して、それぞれ、左目用の画像と右目用の画像とすることにより、ステレオ画像が得られる。
【０００４】
ステレオアダプタを用いて被写体を撮影すると、ステレオアダプタの内側の二つのミラーのサイズが撮影レンズの撮影範囲よりも狭いため、ステレオアダプタの筺体により、光のケラレが発生する。そのため、ステレオアダプタを用いて被写体を撮影した画像には、ケラレによって殆ど光が当たらず、その結果として暗い領域が存在する。なお、以下では、便宜上、画像上でケラレによって生じた暗い領域をケラレ領域と呼ぶ。そしてケラレ領域が、左目用画像または右目用画像の一部に含まれていると、それらの画像を用いて再生された３次元的な像の一部に暗い領域が含まれることになり、３次元再生像の品質が損なわれてしまう。そこで、ステレオアダプタを用いて被写体を撮影した画像上に、ケラレ領域が含まれないように、左目用及び右目用の画像を切り出す領域を予め設定する技術が開示されている（例えば、特許文献３及び４を参照）。
【０００５】
しかしながら、ステレオアダプタをカメラの鏡筒に取り付ける度に、レンズに対するステレオアダプタの取り付け位置がずれることがある。そしてステレオアダプタの取り付け位置がずれると、画像上でのケラレ領域の位置もずれる。そのため、ステレオアダプタの取り付け位置によっては、予め設定された、左目用及び右目用の画像を切り出す領域内に、ケラレ領域の一部が含まれてしまうおそれがあった。
【０００６】
一方、撮影レンズの前面に取り付けたワイドコンバータによりケラレが生じたか否かを画像の４隅の輝度値が所定の閾値以下となるか否かで判定する技術が開示されている（例えば、特許文献５を参照）。また、画像を複数のブロックに分割し、輝度が閾値以下となるブロックの分布によって、閃光装置からの光をレンズ鏡筒が遮ることによるケラレが生じたか否かを判定する技術が開示されている（例えば、特許文献６を参照）。さらにこの特許文献には、閾値を発光量等の撮影条件に応じて変更することが開示されている。
【０００７】
しかしながら、被写体またはその周囲の明るさなどによって、ケラレ領域内の輝度も変化する。これは、例えば、ステレオアダプタの筺体内に入った迷光の一部も、筺体内部で反射されて撮影レンズに達することがあり、被写体の明るさなどによって迷光の量も変動するためである。そのため、撮影条件によって閾値を変更しても、ケラレ領域と、被写体からの光束が入射した領域とを正確に識別できないおそれがあった。
【０００８】
一方、ケラレによって光が入射しない無効画素領域内の画素値のレベルを黒レベルの輝度値として、光学系による集光範囲内の画素の画素値を補正する技術が開示されている（例えば、特許文献７を参照）。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平８−３６２２９号公報
【特許文献２】特開２００４−１０１６６６号公報
【特許文献３】特開２００４−１２９１８６号公報
【特許文献４】特開２００４−４５３２８号公報
【特許文献５】特開２０００−３１４８３４号公報
【特許文献６】特開２００６−４１７４１号公報
【特許文献７】特開２００８−１６０５６１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献７に記載された技術では、ステレオアダプタの取り付け位置がずれることによってケラレ領域の位置がずれることが考慮されていない。そのため、ステレオアダプタの取り付け位置によっては、予め設定された無効画素領域内に、被写体またはその周囲の像の一部が写ることがある。そして被写体またはその周囲の像が写った画素の輝度値は、ケラレ領域内の画素の輝度値よりも高くなる。その結果として、特許文献７に記載された技術を、ステレオアダプタを用いて被写体を撮影した画像からケラレ領域を除くために利用しても、ケラレ領域の輝度値が正確に求められないおそれがあった。
【００１１】
そこで本明細書は、ステレオアダプタを用いて被写体を撮影した画像から、ケラレ領域を含まないように被写体の像が写った領域を切り出せるステレオ画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
一つの実施形態によれば、ステレオ画像生成装置が提供される。このステレオ画像生成装置は、被写体からの光を二つの光束に分割して撮像部に導くステレオアダプタを用いて被写体を撮影することにより生成された画像上で、ステレオアダプタの撮像部に対する取り付け位置によらずに二つの光束が入射しない第１の領域の輝度代表値を求める輝度算出部と、予め設定された、画像上で第１の領域に含まれる画素と、二つの光束のうちの一方が入射する第２の領域及び二つの光束のうちの他方が入射する第３の領域のうちの何れかに含まれる画素とを区別するための閾値と輝度代表値との関係に基づいて、輝度代表値に対応する閾値を決定する閾値決定部と、画像上で閾値よりも高い輝度を持つ画素の二つの集合を、それぞれ、第２の領域及び第３の領域として抽出し、抽出された第２の領域内から切り出した第１の部分画像と第３の領域内から切り出した第２の部分画像との組をステレオ画像とする被写体領域抽出部とを有する。
【００１３】
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。
【発明の効果】
【００１４】
ここに開示されるステレオ画像生成装置は、ステレオアダプタを用いて被写体を撮影した画像から、ケラレ領域を含まないように被写体の像が写った領域を切り出すことができる。
【図面の簡単な説明】
【００１５】
【図１】ステレオ画像生成装置が組み込まれたデジタルカメラの概略構成図である。
【図２】ステレオアダプタの構成と画像上の被写体の像との関係を示す模式図である。
【図３】（ａ）及び（ｂ）は、撮像部に対するステレオアダプタの相対的な位置と撮像部により生成される画像上の被写体領域の位置関係の一例を示す図である。
【図４】第１の実施形態によるステレオ画像生成装置の構成図である。
【図５】ステレオ画像生成処理の動作フローチャートである。
【図６】第２の実施形態によるステレオ画像生成装置の構成図である。
【図７】第４の実施形態によるステレオ画像生成装置の構成図である。
【図８】各実施形態またはその変形例によるステレオ画像生成装置の各部の機能を実現するコンピュータプログラムが動作することにより、ステレオ画像生成装置として動作するコンピュータの構成図である。
【発明を実施するための形態】
【００１６】
図を参照しつつ、様々な実施形態またはその変形例によるステレオ画像生成装置について説明する。このステレオ画像生成装置は、ステレオアダプタを用いて被写体を撮影した画像から、所定の輝度閾値より高い輝度値を持つ画素の二つの集合を、それぞれ、被写体の像が写った二つの領域として切り出すことにより、ステレオ画像を生成する。そしてこのステレオ画像生成装置は、ステレオアダプタの取り付け位置によらず、被写体からステレオアダプタを介して入射する二つの光束の両方が入射しない領域、すなわちケラレ領域に含まれる画像上の参照領域の輝度値の代表値に基づいて輝度閾値を決定する。これにより、このステレオ画像生成装置は、ステレオアダプタの取り付け位置がずれても、被写体が写った領域を正確に切り出す。
【００１７】
なお、本明細書では、便宜上、被写体の像を含む画像上の領域を、被写体領域と呼ぶ。
【００１８】
本実施形態では、ステレオ画像生成装置は、ステレオアダプタを装着可能なデジタルカメラ、カメラ付携帯電話あるいはカメラ付携帯情報端末に組み込まれる。
【００１９】
図１は、ステレオ画像生成装置が組み込まれたデジタルカメラの概略構成図である。図１に示すように、デジタルカメラ１は、ステレオ撮像装置の一例であり、撮像部２と、操作部３と、表示部４と、記憶部５と、ステレオ画像生成装置６と、制御部７とを有する。また、撮像部２が有する撮像レンズ系の前面には、ステレオアダプタ８が装着されている。さらにデジタルカメラ１は、デジタルカメラ１をコンピュータ、またはテレビといった他の機器と接続するために、ユニバーサルシリアルバスなどのシリアルバス規格に従ったインターフェース回路（図示せず）を有していてもよい。また制御部７と、デジタルカメラ１のその他の各部とは、例えば、バスにより接続されている。
【００２０】
撮像部２は、２次元状に配置された固体撮像素子のアレイを有するイメージセンサと、そのイメージセンサ上に、ステレオアダプタ８を介して、被写体の像をイメージセンサの左半分と右半分とにそれぞれ結像する撮像光学系を有する。そして撮像部２は、画像上の左半分の領域と右半分の領域とに、それぞれ、被写体の像が写った画像を生成する。撮像部２は、画像を生成する度に、その生成した画像をステレオ画像生成装置６へ送信する。
【００２１】
操作部３は、例えば、デジタルカメラ１をユーザが操作するための各種の操作ボタンまたはダイヤルスイッチを有する。そして操作部３は、ユーザの操作に応じて、撮影または合焦の開始などの制御信号またはシャッター速度、絞り径などを設定するための設定信号を制御部７へ送信する。
【００２２】
表示部４は、例えば、液晶ディスプレイ装置といった表示装置を有し、制御部７から受け取った各種の情報、または撮像部２により生成された画像を表示する。なお、操作部３と表示部４とは、例えば、タッチパネルディスプレイを用いて一体的に形成されてもよい。
【００２３】
記憶部５は、例えば、読み書き可能な揮発性または不揮発性の半導体メモリ回路を有する。そして記憶部５は、ステレオ画像生成装置６により生成されたステレオ画像を記憶する。また記憶部５は、撮像部２から受け取った画像を記憶してもよい。さらに、ステレオ画像生成装置６が有する各機能が、制御部７が有するプロセッサ上で実行されるコンピュータプログラムにより実現される場合、そのコンピュータプログラムを記憶してもよい。
【００２４】
ステレオ画像生成装置６は、被写体をステレオアダプタ８を用いて撮影した画像から、その画像の左半分に写っている被写体の像を含む領域を左目用画像として切り出し、右半分に写っている被写体の像を含む領域を右目用画像として切り出す。なお、以下では、便宜上、左目用画像を左画像と呼び、右目用画像を右画像と呼ぶ。そしてステレオ画像生成装置６は、左画像に写っている被写体の像と右画像に写っている被写体の像とを位置合わせするための補正パラメータの組を求める。そしてステレオ画像生成装置６は、その補正パラメータの組を用いて左画像と右画像のうちの少なくとも一方を補正する。なお、ステレオ画像生成装置６の詳細については後述する。
【００２５】
制御部７は、少なくとも一つのプロセッサ及びその周辺回路を有する。そして制御部７は、デジタルカメラ１全体を制御する。
【００２６】
ステレオアダプタ８は、撮像部２の前面に対してステレオアダプタ８を取り付けるためのマウント機構（図示せず）と、撮像部２の像面に対して被写体を互いに異なる２方向から見た像を結像させるためのミラーのペアを二つ有する。
【００２７】
図２は、ステレオアダプタ８の構成と撮像部２により生成された画像上の被写体の像との関係を示す模式図である。図２に示されるように、ステレオアダプタ８は、その内部に、左目用のミラー８１ａ、８２ａと、右目用のミラー８１ｂ、８２ｂとを有する。なお、左目用のミラー８１ａ、８２ａと右目用のミラー８１ｂ、８２ｂとは、デジタルカメラ１に装着した状態で、ステレオアダプタ８の水平方向の中心に対して線対称に配置される。そしてミラー８１ａ、８１ｂは、それぞれ、撮像部２の撮像光学系の正面に位置し、その反射面が撮像部２側を向き、かつ、撮像光学系の光軸ＯＡに対して水平方向について傾けて配置される。一方、ミラー８２ａ、８２ｂは、ミラー８１ａ、８１ｂよりも外側に配置され、その反射面は物面２００側へ向けられる。そしてミラー８２ａ、８２ｂは、それぞれ、物面２００に位置する被写体２１０からの光束Ｂ１、Ｂ２を、ミラー８１ａ、８１ｂへ向けて反射する。そして光束Ｂ１、Ｂ２は、それぞれ、ミラー８１ａ、８１ｂにより反射されて撮像部２の撮像光学系に入射する。ここで、被写体２１０を含む領域２１１が、撮像部２のイメージセンサ上の左半分の領域と右半分の領域とにそれぞれ結像されるように、各ミラーの向きが調節される。
【００２８】
また図２において、撮像部２により生成される画像２２０の左半分には、光束Ｂ１による被写体２１０の像を含む被写体領域２２１が形成されており、画像２２０の右半分には、光束Ｂ２による被写体２１０の像を含む被写体領域２２２が形成されている。そして、被写体領域２２１及び２２２の周囲には、ステレオアダプタ８によるケラレのために光束Ｂ１及びＢ２が入射しないケラレ領域２３０が存在する。
【００２９】
ケラレ領域２３０内の輝度は、一般に、被写体領域２２１または被写体領域２２２内の輝度よりも低い。したがって、適切な輝度閾値を用いて画像を２値化することにより、ケラレ領域と被写体領域とが区別される。しかし、ケラレ領域であっても、迷光は入射するので、被写体またはその周囲の明るさなどによってケラレ領域内の画素の輝度も変動する。そのため、輝度閾値が低過ぎれば、ケラレ領域の一部も誤って被写体領域として抽出されてしまう。逆に、輝度閾値が高過ぎれば、被写体領域内の相対的に暗い画素が被写体領域に含まれなくなってしまう。
【００３０】
一方、上述したように、ケラレ領域内の画素の輝度値は、ステレオアダプタ８の筺体内で反射され、撮像部２の像面に達する迷光の量、及び撮像部２のイメージセンサの感度などによって変動する。そして迷光の量は、撮像部２の撮像光学系の絞りの径、シャッター速度、被写体またはその周囲の明るさに応じて変化する。これらは、ケラレ領域に含まれる画素の輝度だけでなく、被写体領域に含まれる画素の輝度にも影響する。すなわち、ケラレ領域に含まれる画素の輝度値が高ければ、被写体領域に含まれる画素の輝度値も高くなるという相関関係がある。したがって、ステレオアダプタ８の取り付け位置によらずに、画像上でケラレ領域に含まれる領域が特定されれば、ステレオ画像生成装置６は、その領域内の輝度に基づいて適切な輝度閾値を決定できる。
【００３１】
図３（ａ）及び図３（ｂ）は、それぞれ、撮像部２に対するステレオアダプタ８の相対的な位置と撮像部２により生成される画像上の被写体領域の位置関係の一例を示す図である。図３（ａ）では、撮像部２の前面２ａに対してステレオアダプタ８の背面８ａが平行になり、かつ、ステレオアダプタ８の水平方向の中心が撮像部２の撮像光学系の光軸ＯＡと一致するようにステレオアダプタ８が撮像部２に適切に取り付けられている。この場合、撮像部２により生成された画像３００上には、画像３００の中心に対して線対称に二つの被写体領域３０１及び３０２が形成される。
【００３２】
一方、図３（ｂ）では、ステレオアダプタ８の中心が撮像部２の撮像光学系の光軸ＯＡよりも右側にずれるようにステレオアダプタ８が取り付けられている。そのため、画像３１０上に形成される被写体領域３１１及び３１２も、点線で示された、ステレオアダプタ８が適切に取り付けられている場合の被写体領域３０１及び３０２よりも右側へずれる。
なお、ステレオアダプタ８が、撮像部２の撮像光学系に対して垂直方向にずれれば、そのずれ量に応じて被写体領域の位置も画像上で垂直方向にずれる。
【００３３】
このように、被写体領域の位置は、撮像部２に対するステレオアダプタ８の取り付け位置に応じて変化する。しかし、撮像部２に対するステレオアダプタ８の取り得る位置の範囲は無制限に拡がっているわけではない。その位置の範囲は、一般に、ステレオアダプタ８が有するマウント機構（図示せず）の構造、及び撮像部２の鏡筒の構造などによって制限される。そのため、撮像２により生成された画像には、ステレオアダプタ８の取り付け位置によらず、ケラレ領域となる領域が存在する。例えば、図３（ｂ）において点線で示された、画像３１０の水平方向における中央の上端付近の領域３２０及び下端付近の領域３２１は、常に被写体領域を含まず、領域３２０及び３２１全体がケラレ領域に含まれる。
【００３４】
そこで、ステレオ画像生成装置６は、ステレオアダプタ８の取り付け位置によらずに、常にその全体がケラレ領域に含まれる画像上の領域の輝度値の代表値に基づいて、被写体領域を抽出するための輝度閾値を決定する。
【００３５】
以下、ステレオ画像生成装置６の詳細について説明する。
図４に、ステレオ画像生成装置６の構成図を示す。図４に示すように、ステレオ画像生成装置６は、バッファ１０と、輝度算出部１１と、輝度閾値決定部１２と、被写体領域抽出部１３と、特徴点抽出部１４と、補正パラメータ算出部１５と、補正部１６とを有する。ステレオ画像生成装置６が有するこれらの各部は、それぞれ、別個の回路としてステレオ画像生成装置６に実装されてもよく、あるいはそれらの各部の機能を実現する一つの集積回路であってもよい。
【００３６】
あるいは、ステレオ画像生成装置６は、制御部７と一体的に形成されていてもよい。この場合、ステレオ画像生成装置６が有するこれらの各部は、例えば、制御部７が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。そしてステレオ画像生成装置が生成し、またはステレオ画像生成装置が利用する各種のデータは記憶部５に記憶される。
【００３７】
バッファ１０は、例えば、揮発性の半導体メモリ回路を有し、ステレオ画像生成装置６に入力された画像及び被写体領域抽出部１３により切り出された左画像及び右画像を一時的に記憶する。
【００３８】
輝度算出部１１は、ステレオアダプタ８を用いて被写体を撮影した画像上で、ステレオアダプタ８の取り付け位置によらず、ステレオアダプタ８が有する左右のミラー系を通る二つの光束の何れもが入射しないケラレ領域内の参照領域の輝度値の代表値を求める。そして輝度算出部１１は、その輝度代表値を、輝度閾値を決定するための基準輝度値とする。
【００３９】
上記のように、撮像部２に対するステレオアダプタ８の取り付け位置の取り得る範囲は制限されている。そこで参照領域を決定するために、その範囲内でステレオアダプタ８の位置を様々に変えつつ撮像部２により撮影した画像が予め複数生成される。そして各画像において共通してケラレ領域に含まれる領域が参照領域として決定される。参照領域の境界を表す情報（例えば、参照領域が矩形である場合、参照領域の左上端の座標と右下端の座標であり、参照領域が円形である場合、参照領域の中心座標と半径）は、輝度算出部１１が有する不揮発性のメモリに予め記憶される。
なお、参照領域は複数設定されてもよい。例えば、図３（ｂ）に示された領域３２０と領域３２１の両方が参照領域として設定されてもよい。この場合、輝度算出部１１は、例えば、それぞれの参照領域の輝度代表値の平均値を基準輝度値としてもよい。
【００４０】
輝度算出部１１は、撮像部２からステレオアダプタ８を用いて被写体を撮影した画像を受け取ると、メモリを参照して画像中の参照領域を特定する。そして輝度算出部１１は、参照領域の輝度値の代表値を基準輝度値として算出する。なお、参照領域内の輝度値の代表値は、例えば、参照領域内に含まれる各画素の輝度値の平均値、中央値または輝度値の累積ヒストグラムにおいて最小輝度値から所定の割合（例えば、20%、30%、60%など）となる輝度値とすることができる。
輝度算出部１１は、基準輝度値を輝度閾値決定部１２へ渡す。
【００４１】
輝度閾値決定部１２は、基準輝度値に基づいて、画像を被写体領域とその他の領域に区分するために用いられる輝度閾値を決定する。上記のように、基準輝度値が高いほど、被写体領域に含まれる画素の輝度値も高いと推定される。特に、撮像光学系の絞り径、シャッター速度、被写体またはその周囲の明るさの変化に応じて光量が多くなると、参照領域の輝度値の代表値である基準輝度値も高くなる。そこで、輝度閾値決定部１２は、基準輝度値が高いほど輝度閾値も高くなるように、基準輝度値と輝度閾値との関係に基づいて、輝度閾値を決定する。
【００４２】
例えば、基準輝度値と輝度閾値との関係は、次式によって定められる。
【数１】
0005857712.tif 000002
ここで、brは基準輝度値であり、Thは輝度閾値である。またα及びβは、それぞれ定数である。α及びβは、例えば、撮影感度、シャッター速度または絞り径といった撮影条件、または被写体及びその周囲の明るさといった環境条件が異なる、撮像部２により撮影された複数のサンプル画像に基づいて予め決定される。具体的にはそれらサンプル画像から、それぞれ、基準輝度値と、被写体領域を正確に切り出せる輝度閾値とが、例えば実験的に求められる。そして各サンプル画像について求められた基準輝度値と輝度閾値の組に対して、（１）式を適用したときの誤差の二乗和が最小となるように、例えば、最急降下法またはシミュレーティッドアニーリング法を用いてα及びβが決定される。例えば、各画素の輝度値が8ビットで表され、輝度値の最大値が255、かつ輝度値の最小値が0である場合、α=90、β=30に設定される。
【００４３】
α及びβは、例えば、輝度閾値決定部１２が有する不揮発性のメモリに予め記憶される。そして輝度閾値決定部１２は、（１）式に従って、基準輝度値に対応する輝度閾値を算出する。
【００４４】
なお、輝度閾値決定部１２は、基準輝度値が高くなるについて輝度閾値も高くなる、（１）式以外の単調増加関数に基づいて輝度閾値を決定してもよい。例えば、輝度閾値決定部１２は、（１）式の代わりに、次式に従って輝度閾値を決定してもよい。
【数２】
0005857712.tif 000003
【００４５】
あるいはまた、（１）式または（２）式に従って、基準輝度値が取り得るそれぞれの値に対する輝度閾値を算出することにより、基準輝度値と輝度閾値との関係を示した参照テーブルが予め作成されてもよい。そしてこの参照テーブルが、輝度閾値決定部１２が有するメモリに予め記憶されてもよい。この場合には、輝度閾値決定部１２は、その参照テーブルを参照することにより、基準輝度値に対応する輝度閾値を決定すればよい。
【００４６】
輝度閾値決定部１２は、輝度閾値を被写体領域抽出部１３へ渡す。
【００４７】
被写体領域抽出部１３は、バッファ１０から撮像部２により生成された画像を読み出し、その画像から、ステレオアダプタ８の左右それぞれのミラー系を通る二つの光束のうちの何れか一方が入射する二つの被写体領域をそれぞれ抽出する。さらに、被写体領域抽出部１３は、各被写体領域から、被写体の像を含む予め定められたサイズを持つ領域をそれぞれ切り出して、左画像及び右画像とする。
【００４８】
被写体領域抽出部１３は、輝度閾値よりも輝度値が高い画素の集合を画像の左半分において求め、その画素の集合を左側の被写体領域とする。同様に、被写体領域抽出部１３は、輝度閾値よりも輝度値が高い画素の集合を画像の右半分において求め、その画素の集合を右側の被写体領域とする。あるいは、被写体領域抽出部１３は、画像全体に対して各画素と輝度閾値とを比較することにより、輝度閾値よりも輝度値が高い画素を抽出してもよい。そして被写体領域抽出部１３は、抽出された画素に対してラベリング処理を行うことにより、輝度閾値よりも輝度値が高い画素の集合を求め、そのうち、含まれる画素数が多い方から順に二つの領域を、それぞれ被写体領域として抽出してもよい。これにより、ステレオアダプタ８の取り付け位置によって、二つの被写体領域のうちの一方が画像の水平方向の中心と重なっていても、被写体領域抽出部１３は、その二つの被写体領域を抽出できる。
【００４９】
さらに、被写体領域抽出部１３は、輝度閾値よりも輝度値が画素の集合に対してモルフォロジーの膨張収縮演算を行って、輝度閾値よりも輝度値が高い画素のうちで孤立している画素を、被写体領域に含めてもよい。
【００５０】
被写体領域抽出部１３は、それぞれの被写体領域について、その被写体領域の重心を中心とする所定のサイズを持つ矩形領域を、それぞれ、左画像及び右画像の切り出し範囲として設定する。そして被写体領域抽出部１３は、画像から、各切り出し範囲内の領域を、それぞれ、左画像及び右画像として切り出す。また画像上でケラレが生じない領域のサイズは予め分かるので、所定のサイズは、そのケラレが生じない領域のサイズとすることができる。
【００５１】
被写体領域抽出部１３は、左画像及び右画像をバッファ１０に記憶するとともに、特徴点抽出部１４へ渡す。
【００５２】
特徴点抽出部１４は、左画像及び右画像のそれぞれから、被写体上の同一の点に対応する特徴点の組を複数抽出する。
【００５３】
特徴点抽出部１４は、例えば、左画像及び右画像の一方から特徴点の候補を抽出する。例えば、左画像から特徴点の候補を複数抽出する。そのために、特徴点抽出部１４は、例えば、左画像に対してコーナー検出器を適用することにより検出される複数の点をそれぞれ特徴点の候補とする。なお、特徴点抽出部１４は、そのようなコーナー検出器として、例えば、Harris検出器を用いることができる。また特徴点抽出部１４は、左画像から特徴点の候補を抽出するために、コーナー検出器以外の特徴的な点を検出する検出器を用いてもよい。そのような検出器として、例えば、特徴点抽出部１４は、Scale-invariant feature transform(SIFT)検出器を用いてもよい。
【００５４】
次に、特徴点抽出部１４は、左画像から抽出された特徴点の候補ごとに、その候補を中心とする所定の領域をテンプレートとして設定する。そして特徴点抽出部１４は、例えば、そのテンプレートと右画像との間で相対的な位置を変えつつテンプレートマッチングを行って類似度を求め、類似度が最大となる位置を、左画像上のその特徴点の候補に対応する右画像上の特徴点として求める。その際、特徴点抽出部１４は、注目する特徴点の候補について、右画像上の対応する画素を最初の探索点に設定する。そして特徴点抽出部１４は、探索点及びその周囲の８近傍画素あるいは２４近傍画素について類似度を求め、そのうちで類似度が最大となる画素を次の探索点に設定する。そして特徴点抽出部１４は、探索点が移動しなくなるまで上記の処理を繰り返し、最終的に求められた探索点を特徴点としてもよい。なお、特徴点抽出部１４は、類似度として、例えば、テンプレートと右画像上の比較する領域との正規化相互相関値を算出する。あるいは、特徴点抽出部１４は、テンプレートと右画像上の比較する領域との対応画素間の輝度差の絶対値の総和Δの逆数、あるいは1/(1+Δ)を類似度としてもよい。
【００５５】
特徴点抽出部１４は、上記の類似度の最大値が所定の閾値以上である場合に限り、左画像上の特徴点の候補点と右画像上の対応する点とを、被写体の同一の部位に対応する特徴点の組としてもよい。この場合、類似度の最大値が閾値未満であれば、特徴点抽出部１４は、そのテンプレートに対応する特徴点の候補と一致する特徴点が右画像には存在しないとして、その特徴点の候補を、特徴点の組の探索対象から外してもよい。この所定の閾値が高く設定されるほど、特徴点抽出部１４は、特徴点の組が、同一の部位に対応していることの確からしさを向上できる。例えば、所定の閾値は、類似度が取り得る最大値に0.8〜0.9を乗じた値に設定される。あるいは、特徴点抽出部１４は、左画像から抽出された特徴点の候補の数が多いほど、所定の閾値を高くしてもよい。これにより、特徴点抽出部１４は、一方の画像から抽出された特徴点の候補の数が多いときには、同一の部位に対応している可能性が高い特徴点の組だけを抽出できる。また、一方の画像から抽出された特徴点の候補数が少なくても、特徴点抽出部１４は補正パラメータを求めるために十分な数の特徴点の組を抽出できる。
特徴点抽出部１４は、得られた特徴点の組ごとに、二つの特徴点の画像上の水平座標値及び垂直座標値を補正パラメータ算出部１５へ通知する。
【００５６】
補正パラメータ算出部１５は、左画像に写っている被写体の像と右画像に写っている被写体の像とを位置合わせするべく、左画像と右画像のうちの少なくとも一方に写っている像を修正するための補正パラメータの組を算出する。
【００５７】
左画像上での被写体の像の位置と右画像上での被写体の像の位置との間のずれは、少なくとも一方の画像上の像を、仮想的に他方の画像を撮影する方向と同一の方向から見たときの像となるように射影変換することで補正できる。このような射影変換は、例えば、次式により表される。
【数３】
0005857712.tif 000004
ここで(x,y)は、補正対象の画像（この例では、左画像）上の注目する点の水平方向座標及び垂直方向座標であり、(x',y')は、補正後の画像上の注目する点の水平方向座標及び垂直方向座標である。またθx及びθyは、それぞれ、二つの画像のうちの補正対象でない画像（この例では、右画像）に対応する撮像光学系の光軸に対する、補正対象の画像に対応する撮像光学系の光軸の水平方向及び垂直方向の回転角を表す。またθzは、補正対象でない画像に対応する撮像光学系の光軸を回転中心とする、補正対象の画像の回転角を表す。またfは、補正対象の画像及び補正対象でない画像に対応する撮像光学系の焦点距離であり、本実施形態では、撮像部２の撮像光学系の焦点距離である。そして撮像光学系の光軸と像面が交差する点に相当する画像上の点の座標が、画像の水平方向の幅W、垂直方向の高さHとして、(W/2,H/2)で表される。したがって、パラメータθx、θy及びθzが、それぞれ、補正パラメータである。また、補正パラメータ算出部１５は、射影変換が３行×３列の任意の行列として、その行列に含まれる９個の要素を、それぞれ補正パラメータとしてもよい。あるいは、補正パラメータ算出部１５は、３行×３列の射影変換行列が有する９個の要素のうち、ゼロではない要素の一つが1となるように全ての要素を正規化することで８個の要素を補正パラメータとしてもよい。
【００５８】
補正パラメータ算出部１５は、例えば、最小二乗法により、パラメータθx、θy及びθzを決定する。すなわち、補正パラメータ算出部１５は、パラメータθx、θy及びθzを変数として、複数の特徴点の組のそれぞれについて（３）式に従って左画像及び右画像の少なくとも一方の特徴点の座標を変換し、変換後の特徴点間の距離の二乗を求める。そして補正パラメータ算出部１５は、各特徴点の組についてのその距離の二乗の平均値を求める。補正パラメータ算出部１５は、この二乗平均値が最小となるパラメータθx、θy及びθzを、補正パラメータの組とする。本実施形態では、補正パラメータ算出部１５は、（３）式に従って左画像を射影変換するための補正パラメータの組(θx,θy,θz)を求める。しかし、補正パラメータ算出部１５は、（３）式に従って右画像を射影変換するための補正パラメータの組(θx,θy,θz)を求めてもよい。
補正パラメータ算出部１５は、補正パラメータの組(θx,θy,θz)を補正部１６へ渡す。
【００５９】
補正部１６は、算出された補正パラメータの組を用いて、左画像上の被写体の像と右画像上の被写体の像のうちの少なくとも一方を補正することによりステレオ画像を生成する。本実施形態では、補正部１６は、補正パラメータの組を（３）式に適用することにより得られる式に従って、左画像の各画素を射影変換する。そして得られた左画像と対応する右画像との組がステレオ画像となる。
なお、補正部１６は、左画像の各画素の位置を補正する代わりに、右画像の各画素の位置を補正してもよい。この場合、補正部１６は、（３）式において、補正パラメータの組(θx,θy,θz)を、それぞれ、(-θx,-θy,-θz)とすればよい。また補正部１６は、左画像の各画素の位置及び右画像の各画素の位置を、それぞれ（３）式に従って補正してもよい。この場合には、左画像に対して適用される補正パラメータの組を、(θx/2,θy/2,θz/2)とし、一方、右画像に対して適用される補正パラメータの組を、(-θx/2,-θy/2,-θz/2)としてもよい。
ステレオ画像生成装置６は、得られたステレオ画像を表示部４に表示させ、あるいは、記憶部５に記憶する。
【００６０】
図５は、ステレオ画像生成装置６により実行されるステレオ画像生成処理の動作フローチャートである。
ステレオ画像生成装置６は、撮像部２から、ステレオアダプタ８を用いて被写体を撮影した画像を取得する（ステップＳ１０１）。そしてステレオ画像生成装置６は、その画像をバッファ１０に記憶する。輝度算出部１１は、画像中でケラレ領域に含まれる参照領域から基準輝度値を決定する（ステップＳ１０２）。そして輝度算出部１１は、基準輝度値を輝度閾値決定部１２へ渡す。輝度閾値決定部１２は、基準輝度値が高いほど高い値となるように輝度閾値を決定する（ステップＳ１０３）。そして輝度閾値決定部１２は、輝度閾値を被写体領域抽出部１３へ渡す。
【００６１】
被写体領域抽出部１３は、バッファ１０から画像を読み出し、その画像から輝度閾値よりも高い輝度値を持つ画素の二つの集合をそれぞれ被写体領域として抽出する（ステップＳ１０４）。そして被写体領域抽出部１３は、各被写体領域から、被写体の像を含み、かつ、ケラレ領域を含まない領域をそれぞれ切り出すことで左画像及び右画像を生成する（ステップＳ１０５）。被写体領域抽出部１３は、左画像及び右画像をバッファ１０に記憶するとともに、特徴点抽出部１４へ渡す。
【００６２】
特徴点抽出部１４は、左画像及び右画像から被写体の同一の点に対応する特徴点の組を抽出する（ステップＳ１０６）。そして特徴点抽出部１４は、その特徴点の組に含まれる各特徴点の座標を補正パラメータ算出部１５へ渡す。
【００６３】
補正パラメータ算出部１５は、特徴点の組に基づいて補正パラメータの組を算出する（ステップＳ１０７）。そして補正パラメータ算出部１５は、補正パラメータの組を補正部１６へ渡す。
【００６４】
補正部１６は、バッファ１０から左画像及び右画像を読み出し、補正パラメータの組を用いて左画像と右画像のうちの少なくとも一方の画像の各画素の位置を補正することでステレオ画像を生成する（ステップＳ１０８）。そしてステレオ画像生成装置６は、生成されたステレオ画像を出力し、ステレオ画像生成処理を終了する。
【００６５】
以上に説明してきたように、このステレオ画像生成装置は、ステレオアダプタを用いて被写体を撮影した画像上で、ステレオアダプタの取り付け位置によらず、ケラレ領域に含まれる参照領域の輝度に基づいて、被写体領域を抽出するための輝度閾値を決定する。そのため、このステレオ画像生成装置は、ステレオアダプタの取り付け位置がずれても、被写体領域を正確に抽出できるので、ステレオ画像に含まれる左画像及び右画像にケラレ領域が含まれることを防止できる。
【００６６】
次に、第２の実施形態によるステレオ画像生成装置について説明する。このステレオ画像生成装置は、キャリブレーション処理を実行することで一旦補正パラメータの組を算出するとその補正パラメータの組を記憶しておく。そしてこのステレオ画像生成装置は、その後に得られた左画像と右画像の組に対して、その補正パラメータの組を用いて少なくとも一方の画像上の被写体の像の位置を補正することで、ステレオ画像を生成する。
【００６７】
図６は、第２の実施形態によるステレオ画像生成装置の構成図である。第２の実施形態によるステレオ画像生成装置６１は、バッファ１０と、輝度算出部１１と、輝度閾値決定部１２と、被写体領域抽出部１３と、特徴点抽出部１４と、補正パラメータ算出部１５と、補正部１６と、補正パラメータ記憶部１７とを有する。図６において、ステレオ画像生成装置６１の各部には、図４に示された第１の実施形態によるステレオ画像生成装置６１の対応する構成要素の参照番号と同じ参照番号を付した。
第２の実施形態によるステレオ画像生成装置６１は、第１の実施形態によるステレオ画像生成装置６と比較して、補正パラメータ記憶部１７に関して相違する。そこで以下では、補正パラメータ記憶部１７及びその関連部分について説明する。ステレオ画像生成装置６１のその他の構成要素については、第１の実施形態によるステレオ画像生成装置の対応する構成要素についての説明を参照されたい。
【００６８】
補正パラメータ記憶部１７は、例えば、不揮発性の読み書き可能な半導体メモリ回路を有する。そして補正パラメータ記憶部１７は、被写体領域抽出部１３から受け取った、左画像及び右画像の切り出し範囲と、補正パラメータ算出部１５から受け取った補正パラメータの組とを記憶する。
【００６９】
この実施形態では、補正パラメータの組は、例えば、ステレオ画像生成装置６１が実装されたデジタルカメラのキャリブレーション処理が実行されたときに、図５に示された動作フローチャートのうちのステップＳ１０１〜Ｓ１０７が実行されることにより求められる。そしてステレオ画像生成装置６１は、キャリブレーション処理を終了する。
【００７０】
また、通常撮影時には、ステレオ画像生成装置６１は、ステップＳ１０２〜Ｓ１０４、Ｓ１０６及びＳ１０７の処理を行わず、ステップＳ１０１、Ｓ１０５及びＳ１０８の処理のみを実行する。具体的には、ステレオ画像生成装置６１は、撮像部２からステレオアダプタ８を用いて被写体を撮影した画像を得る度に、補正パラメータ記憶部１７に記憶された左画像及び右画像の切り出し範囲に基づいて、その画像をトリミングすることで左画像及び右画像を生成する。そしてステレオ画像生成装置６１は、補正パラメータ記憶部１７に記憶された補正パラメータの組を用いて、（３）式に従って左画像と右画像のうちの少なくとも一方の各画素の位置を補正することでステレオ画像を生成する。
【００７１】
この第２の実施形態によれば、ステレオ画像生成装置は、撮影の度に左画像及び右画像の切り出し範囲の決定及び補正パラメータの組を算出しなくてよいので、撮影時におけるステレオ画像生成のための演算量を軽減できる。また、ステレオ画像生成装置は、動画像のように時間的に連続する複数の画像のそれぞれからステレオ画像を生成する場合でも、各画像に対して同一の切り出し範囲を用いることができる。そのため、このステレオ画像生成装置は、左画像上の被写体の像と右画像上の被写体の像間の位置関係が時間によって変動することを抑制できる。
【００７２】
なお、第１の実施形態の変形例によれば、ステレオ画像生成装置は、撮像部から受け取った画像から被写体領域抽出部により切り出された左画像及び右画像を、そのままステレオ画像としてもよい。この場合には、特徴点抽出部、補正パラメータ算出部及び補正部は省略されてもよい。そして図５に示したステレオ画像生成処理の動作フローチャートにおける、ステップＳ１０６〜Ｓ１０８の処理も省略される。
同様に、第２の実施形態の変形例によれば、ステレオ画像生成装置は、キャリブレーション処理において、補正パラメータの組を算出せずに、左画像及び右画像の切り出し範囲を求めて補正パラメータ記憶部に記憶する。そして通常撮影時には、ステレオ画像生成装置は、左画像及び右画像の切り出し範囲に従って画像をトリミングすることにより左画像及び右画像を生成し、その左画像及び右画像の組をステレオ画像とする。そのため、この変形例でも、特徴点抽出部、補正パラメータ算出部及び補正部は省略されてもよい。これらの変形例は、特に、左画像上の被写体の像と右画像上の被写体の像との間の形状の差が無視できるほど小さい場合に、ステレオ画像の画質の劣化を抑制しつつ、ステレオ画像生成処理の演算量を削減できる。
【００７３】
次に、第３の実施形態によるステレオ画像生成装置について説明する。このステレオ画像生成装置は、撮像部により生成されたオリジナルの画像の解像度に基づいて決定された左画像及び右画像の切り出し範囲を、オリジナルの画像と異なる解像度を持つ画像に適用するために、その切り出し範囲を補正する。
【００７４】
第３の実施形態によるステレオ画像生成装置は、第２の実施形態によるステレオ画像生成装置６１が有する構成要素と同じ構成要素を有する。ただし、第３の実施形態によるステレオ画像生成装置は、第２の実施形態によるステレオ画像生成装置６１と比較して、オリジナルの画像の解像度と異なる解像度を持つ処理対象画像を受け取ること、及び被写体領域抽出部１３に関して相違する。そこで以下では、処理対象画像の利用に関する部分、及び被写体領域抽出部１３について説明する。ステレオ画像生成装置のその他の構成要素については、第１または第２の実施形態によるステレオ画像生成装置の対応する構成要素についての説明を参照されたい。
【００７５】
ステレオ画像生成装置は、撮像部２から、ステレオアダプタ８を用いて被写体を撮影したオリジナルの画像を受け取り、バッファ１０に記憶する。またステレオ画像生成装置は、デジタルカメラ１の制御部７から処理対象画像を受け取り、バッファ１０に記憶する。処理対象画像は、例えば、制御部７により、オリジナルの画像から所定のピッチで画素を間引いたり、あるいは、一つの画素を複数の画素に分割することにより生成される。
【００７６】
被写体領域抽出部１３は、キャリブレーション実行時において、オリジナルの画像に基づいて左画像及び右画像の切り出し範囲を決定する。そして被写体領域抽出部１３は、左画像及び右画像の切り出し範囲の境界を示す情報を、補正パラメータ記憶部１７に記憶する。
【００７７】
通常撮影時において、被写体領域抽出部１３は、処理対象画像をバッファ１０から読み込む。また被写体領域抽出部１３は、補正パラメータ記憶部１７から左画像及び右画像の切り出し範囲の境界を示す情報を読み込む。そして被写体領域抽出部１３は、切り出し範囲の境界を示す水平座標を、オリジナルの画像の水平方向の画素数Wに対する処理対象画像の水平方向の画素数W'の比(W'/W)をその境界の水平座標に乗じることにより補正する。同様に、被写体領域抽出部１３は、切り出し範囲の境界を示す垂直座標を、オリジナルの画像の垂直方向の画素数Hに対する処理対象画像の垂直方向の画素数H'の比(H'/H)をその境界の垂直座標に乗じることにより補正する。
そして被写体領域抽出部１３は、処理対象画像から、補正された切り出し範囲に従って左画像及び右画像を切り出して、その左画像及び右画像を補正部１６へ渡す。
【００７８】
補正部１６も、オリジナル画像の水平方向及び垂直方向の画素数に対する、処理対象画像の水平方向及び垂直方向の画素数の比に従って、補正パラメータの組に基づいて得られる射影変換行列の各要素を補正する。例えば、補正部１６は、次式に従って、オリジナルの画像の画素数と処理対象画像の画素数の比に応じて変換する。
【数４】
0005857712.tif 000005
ここで、Hij(i,j=1,2,3)は、オリジナルの画像に基づいて算出された補正パラメータの組に基づく射影変換行列における、i行j列の要素である。この射影変換行列は、例えば、（３）式における変換行列ARA-1、変換行列Rzを一つにまとめて表現した行列とすることができる。また（３）式において画像の水平方向の幅W及び垂直方向の高さHは、処理対象画像の水平方向の幅及び垂直方向の高さとなる。また、Rhは、オリジナルの画像から抽出された左画像または右画像の水平方向の画素数Nhpに対する、処理対象画像におけるその左画像または右画像に相当する領域に含まれる水平方向の画素数Nhoの比(Nho/Nhp)である。同様に、Rvは、オリジナルの画像から抽出された左画像または右画像の垂直方向の画素数Nvpに対する、処理対象画像におけるその左画像または右画像に相当する領域に含まれる垂直方向の画素数Nvoの比(Nvo/Nvp)である。そしてH'は、変換後の射影変換行列である。
補正部１６は、変換後の射影変換行列を用いて、処理対象画像から抽出された左画像及び右画像のうちの少なくとも一方の各画素の位置を補正することで、ステレオ画像を生成する。
【００７９】
この実施形態によれば、ステレオ画像生成装置は、オリジナルの画像のサイズと異なるサイズを持つ画像からも、左画像及び右画像の切り出し範囲を再度求めることなく、左画像及び右画像を切り出すことができる。そのため、このステレオ画像生成装置は、左画像及び右画像の切り出し範囲の決定に要する演算量を削減できる。
【００８０】
変形例によれば、ステレオ画像生成装置は、処理対象画像そのものから、左画像及び右画像の切り出し範囲を決定してもよい。この場合には、ステレオ画像生成装置は、オリジナル画像に対して予め設定された参照領域のサイズ、及び処理対象画像から切り出す左画像及び右画像のサイズを、オリジナル画像の画素数に対する処理対象画像の画素数の比に基づいて変換する。その後に、ステレオ画像生成装置は、第１の実施形態によるステレオ画像生成装置が実行するステレオ画像生成処理と同様の処理を処理対象画像に対して行うことにより、左画像及び右画像の切り出し範囲を決定すればよい。
【００８１】
次に、第４の実施形態によるステレオ画像生成装置について説明する。このステレオ画像生成装置は、撮影条件または環境条件が異なる状態でステレオアダプタを用いて撮影された複数のサンプル画像からそれぞれ求められた、基準輝度値と輝度閾値の組に基づいて、基準輝度値と輝度閾値の関係式を求める。
【００８２】
図７は、第４の実施形態によるステレオ画像生成装置の構成図である。第４の実施形態によるステレオ画像生成装置６２は、バッファ１０と、輝度算出部１１と輝度閾値決定部１２と、被写体領域抽出部１３と、特徴点抽出部１４と、補正パラメータ算出部１５と、補正部１６と、サンプル記憶部１８と、係数決定部１９とを有する。図７において、ステレオ画像生成装置６２の各部には、図４に示された第１の実施形態によるステレオ画像生成装置６の対応する構成要素の参照番号と同じ参照番号を付した。
第４の実施形態によるステレオ画像生成装置６２は、第１の実施形態によるステレオ画像生成装置６と比較して、サンプル記憶部１８及び係数決定部１９を有する点で相違する。そこで以下では、サンプル記憶部１８、係数決定部１９及びその関連部分について説明する。ステレオ画像生成装置６２のその他の構成要素については、第１の実施形態によるステレオ画像生成装置の対応する構成要素についての説明を参照されたい。
【００８３】
サンプル記憶部１８は、例えば、不揮発性の半導体メモリ回路を有し、撮影条件または環境条件が異なる状態でステレオアダプタ８を用いて撮影された複数のサンプル画像からそれぞれ求められた、基準輝度値と輝度閾値の組を複数記憶する。なお、サンプル画像に対する輝度閾値は、第１の実施形態に関して述べたように、例えば、被写体領域を正確に抽出できるように、実験的に求められる。一方、サンプル画像に対する基準輝度値は、輝度算出部１１により行われる処理と同様の処理をサンプル画像に対して行うことにより求められる。
【００８４】
係数決定部１９は、サンプル記憶部１８に記憶されている基準輝度値と輝度閾値の複数の組に基づいて、基準輝度値と輝度閾値の関係式を求める。例えば、係数決定部１９は、ステレオ画像生成装置６２が実装されたデジタルカメラの電源が最初にオンになったとき、またはそのデジタルカメラについてキャリブレーション処理が行われたとき、サンプル記憶部１８から基準輝度値と輝度閾値の組を読み込む。そして係数決定部１９は、第１の実施形態に関して述べたように、各サンプル画像について求められた基準輝度値と輝度閾値の組に対して、（１）式または（２）式を適用したときの誤差の二乗和が最小となるように、α及びβを決定する。その際、係数決定部１９は、例えば、最急降下法またはシミュレーティッドアニーリング法を用いればよい。
【００８５】
係数決定部１９は、求めた係数α及びβを輝度閾値決定部１２へ通知する。そして輝度閾値決定部１２は、係数決定部１９から受け取った係数α及びβを用いて、輝度算出部１１により算出された基準輝度値に対応する輝度閾値を決定する。
【００８６】
上記の実施形態またはその変形例によるステレオ画像生成装置の各部の機能は、プロセッサ上で実行されるコンピュータプログラムにより実現されてもよい。そのようなコンピュータプログラムは、磁気記録媒体、光記録媒体といったコンピュータ読み取り可能な記録媒体に記録された形で提供されてもよい。
【００８７】
図８は、上記の実施形態またはその変形例によるステレオ画像生成装置の各部の機能を実現するコンピュータプログラムが動作することにより、ステレオ画像生成装置として動作するコンピュータの構成図である。
コンピュータ１００は、ユーザインターフェース部１０１と、通信インターフェース部１０２と、記憶部１０３と、記憶媒体アクセス装置１０４と、プロセッサ１０５とを有する。プロセッサ１０５は、ユーザインターフェース部１０１、通信インターフェース部１０２、記憶部１０３及び記憶媒体アクセス装置１０４と、例えば、バスを介して接続される。
【００８８】
ユーザインターフェース部１０１は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース部１０１は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース部１０１は、例えば、ユーザの操作に応じて、ステレオ画像生成処理を開始させる操作信号をプロセッサ１０５へ出力する。
【００８９】
通信インターフェース部１０２は、コンピュータ１００を、ステレオアダプタを着脱可能な撮像装置（図示せず）と接続するための通信インターフェース及びその制御回路を有してもよい。そのような通信インターフェースは、例えば、Universal Serial Bus（ユニバーサル・シリアル・バス、USB）とすることができる。
さらに、通信インターフェース部１０２は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。
この場合には、通信インターフェース部１０２は、撮像装置、カメラまたは通信ネットワークに接続された他の機器から、ステレオアダプタを用いて被写体を撮影した画像を取得し、その画像とをプロセッサ１０５へ渡す。また通信インターフェース部１０２は、プロセッサ１０５から受け取った、ステレオ画像を通信ネットワークを介して他の機器へ出力してもよい。
【００９０】
記憶部１０３は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部１０３は、プロセッサ１０５上で実行される、ステレオ画像生成処理を実行するためのコンピュータプログラム、及びステレオ画像生成処理で利用される、参照領域の範囲、上記の（１）式または（２）式の係数α及びβ、左画像及び右画像のサイズといったデータを記憶する。また記憶部１０３は、通信インターフェース部１０２を介して受け取った画像、またはプロセッサ１０５により生成されたステレオ画像などを記憶する。
【００９１】
記憶媒体アクセス装置１０４は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１０６にアクセスする装置である。記憶媒体アクセス装置１０４は、例えば、記憶媒体１０６に記憶されたプロセッサ１０５上で実行される、ステレオ画像生成処理用のコンピュータプログラムを読み込み、プロセッサ１０５に渡す。また記憶媒体アクセス装置１０４は、プロセッサ１０５により生成されたステレオ画像を記憶媒体１０６に書き込んでもよい。
【００９２】
プロセッサ１０５は、上記の各実施形態の何れかまたは変形例によるステレオ画像生成処理用コンピュータプログラムを実行することにより、ステレオアダプタを用いて被写体を撮影した画像からステレオ画像を生成する。そしてプロセッサ１０５は、生成されたステレオ画像を記憶部１０３に保存し、または通信インターフェース部１０２を介して他の機器へ出力する。
【００９３】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【００９４】
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
被写体を撮影することにより画像を生成する撮像部と、
前記撮像部の前面に配置され、前記被写体からの光を二つの光束に分割して前記撮像部に導き、前記画像上に前記被写体の像を二つ生成させるステレオアダプタと、
前記画像に基づいてステレオ画像を生成するステレオ画像生成部とを有し、
前記ステレオ画像生成部は、
前記画像上で、前記ステレオアダプタの前記撮像部に対する取り付け位置によらずに前記二つの光束が入射しない第１の領域の輝度代表値を求める輝度算出部と、
前記画像上で前記第１の領域に含まれる画素と、前記二つの光束のうちの一方が入射する第２の領域及び前記二つの光束のうちの他方が入射する第３の領域のうちの何れかに含まれる画素とを区別するための閾値と前記輝度代表値との関係に基づいて、前記輝度代表値に対応する該閾値を決定する閾値決定部と、
前記画像上で前記閾値よりも高い輝度を持つ画素の二つの集合を、それぞれ、前記第２の領域及び前記第３の領域として抽出し、該抽出された前記第２の領域内から切り出した第１の部分画像と前記第３の領域内から切り出した第２の部分画像との組をステレオ画像とする被写体領域抽出部と、
を有するステレオ撮像装置。
【符号の説明】
【００９５】
１    デジタルカメラ
２    撮像部
３    操作部
４    表示部
５    記憶部
６、６１、６２    ステレオ画像生成装置
７    制御部
８    ステレオアダプタ
１０    バッファ
１１    輝度算出部
１２    輝度閾値決定部
１３    被写体領域抽出部
１４    特徴点抽出部
１５    補正パラメータ算出部
１６    補正部
１７    補正パラメータ記憶部
１８    サンプル記憶部
１９    係数決定部
１００    コンピュータ
１０１    ユーザインターフェース部
１０２    通信インターフェース部
１０３    記憶部
１０４    記憶媒体アクセス装置
１０５    プロセッサ
１０６    記憶媒体
【図１】
0005857712.tif 000006
【図２】
0005857712.tif 000007
【図３】
0005857712.tif 000008
【図４】
0005857712.tif 000009
【図５】
0005857712.tif 000010
【図６】
0005857712.tif 000011
【図７】
0005857712.tif 000012
【図８】
0005857712.tif 000013