(57)【要約】【課題】視差画像を構成する複数の画像間の画角のばらつきを、本来画像間に生じるべき視差による画角ずれを残しつつ、幾何変形により吸収できるようにする。【解決手段】複数の視点から同一被写体を撮影した複数の画像のうちの所定の基準画像と前記基準画像以外の対象画像との間で特徴が略一致する複数の組の対応点を検出し、前記検出した複数の組の対応点のうちの一方の対応点のｘｙ座標値と、他方の対応点のｘｙ座標値とのうち、ｙ座標値（視差方向と直交する方向の座標値）のみが一致するように前記対象画像を幾何変形するための幾何変形パラメータを推定する。このようにして推定した幾何変形パラメータに基づいて前記対象画像を幾何変形することで、本来、基準画像と対象画像間に生じるべき視差による画角ずれを残しつつ、視差方向と直交する方向の画角ずれを補正できるようにする。【選択図】  図７
2010128820.tif 000002
【特許請求の範囲】
【請求項１】
複数の視点から同一被写体を撮影した複数の画像を取得する画像取得手段と、
前記取得した複数の画像のうちの所定の画像を基準画像として選択し、前記基準画像以外の画像を対象画像として選択し、前記基準画像と対象画像との間で特徴が略一致する複数の組の対応点を検出する対応点検出手段と、
前記検出した複数の組の対応点のうちの一方の対応点のｘｙ座標値と、他方の対応点のｘｙ座標値とのうち、前記複数の視点の視差方向と直交する方向のｙ座標値のみが略一致するように前記対象画像を幾何変形するための幾何変形パラメータを推定するパラメータ推定手段と、
前記推定した幾何変形パラメータに基づいて前記対象画像を幾何変形する画像変形手段と、
を備えたことを特徴とする立体画像処理装置。
【請求項２】
前記幾何変形パラメータは、複数のパラメータからなり、
前記パラメータ推定手段は、少なくとも前記検出した複数の組の対応点のうちの一方の対応点のｘｙ座標値と他方の対応点のｙ座標値とを用いて、前記複数のパラメータの少なくとも一部を推定することを特徴とする請求項１に記載の立体画像処理装置。
【請求項３】
前記パラメータ推定手段は、前記推定した複数のパラメータの一部を用いて、前記複数のパラメータの残りのパラメータを算出することを特徴とする請求項２に記載の立体画像処理装置。
【請求項４】
前記幾何変形パラメータは射影変換パラメータであり、
前記パラメータ推定手段は、前記検出した複数の組の対応点のうちの５組以上を選択し、前記選択した各組の対応点の座標値に基づいて、少なくとも射影変換先のｙ座標値を決定するためのパラメータを推定することを特徴とする請求項２に記載の立体画像処理装置。
【請求項５】
前記パラメータ推定手段は、前記推定した少なくとも射影変換先のｙ座標値を決定するためのパラメータに基づいて、射影変換先のｘ座標値を決定するために必要な残りのパラメータを算出することを特徴とする請求項４に記載の立体画像処理装置。
【請求項６】
前記幾何変形パラメータはヘルマート変換パラメータであり、
前記パラメータ推定手段は、前記検出した複数の組の対応点のうちの３組以上を選択し、前記選択した各組の対応点の座標値に基づいて前記ヘルマート変換パラメータを推定することを特徴とする請求項２に記載の立体画像処理装置。
【請求項７】
複数の視点から同一被写体を撮影した複数の画像を取得する画像取得工程と、
前記取得した複数の画像のうちの所定の画像を基準画像として選択し、前記基準画像以外の画像を対象画像として選択し、前記基準画像と対象画像との間で特徴が略一致する複数の組の対応点を検出する対応点検出工程と、
前記検出した複数の組の対応点のうちの一方の対応点のｘｙ座標値と、他方の対応点のｘｙ座標値とのうち、前記複数の視点の視差方向と直交する方向のｙ座標値のみが略一致するように前記対象画像を幾何変形するための幾何変形パラメータを推定するパラメータ推定工程と、
前記推定した幾何変形パラメータに基づいて前記対象画像を幾何変形する画像変形工程と、
を含むことを特徴とする立体画像処理方法。
【請求項８】
前記幾何変形パラメータは、複数のパラメータからなり、
前記パラメータ推定工程は、少なくとも前記検出した複数の組の対応点のうちの一方の対応点のｘｙ座標値と他方の対応点のｙ座標値とを用いて、前記複数のパラメータの少なくとも一部を推定することを特徴とする請求項７に記載の立体画像処理方法。
【請求項９】
前記パラメータ推定工程は、
前記複数の組の総数をＮ個とすると、前記Ｎ個の組から前記幾何変形パラメータのうちの少なくとも変換先のｙ座標値を決定するためのパラメータの推定に必要な数の組をランダムに選択する第１の工程と、
前記第１の工程によりランダムに選択された各対応点の座標値に基づいて推定したパラメータを用いて、前記Ｎ個の組についてそれぞれ一方の対応点の変換先のｙ座標値を算出する第２の工程と、
前記第２の工程により算出された一方の対応点の変換先のｙ座標値と他方の対応点のｙ座標値との差分を前記Ｎ個の組についてそれぞれ算出する第３の工程と、
前記第３の工程により算出された差分が予め設定した第１の閾値未満となる対応点の組の個数を計数する第４の工程と、
前記計数した組の個数と前記Ｎ個との割合に基づいて前記推定したパラメータの信頼度を判定する第５の工程と、を含み、
前記判定された信頼度が予め設定した信頼度に達するまで、又は予め設定した反復回数に達するまで前記第１の工程から第５の工程の処理を繰り返すことを特徴とする請求項８に記載の立体画像処理方法。
【請求項１０】
前記パラメータ推定工程は、
前記判定された信頼度が予め設定した信頼度に達したときの前記推定したパラメータ、又は前記反復回数中で最も信頼度が高いときの前記推定したパラメータを用いて、前記Ｎ個の組についてそれぞれ一方の対応点の変換先のｙ座標値を算出する第６の工程と、
前記第６の工程により算出された一方の対応点の変換先のｙ座標値と他方の対応点のｙ座標値との差分をＮ個の組についてそれぞれ算出する第７の工程と、
前記第７の工程により算出された差分が予め設定した第２の閾値未満となる対応点の組のみを前記Ｎ個の組から選択する第８の工程と、
前記第８の工程で選択された対応点の組のみを用いて前記複数のパラメータを算出する第９の工程と、
を含むことを特徴とする請求項９に記載の立体画像処理方法。
【請求項１１】
前記第９の工程は、前記第８の工程で選択された複数の組の一方の対応点の変換先のｙ座標値と他方の対応点のｙ座標値との差の自乗和を最小にする前記複数のパラメータを算出することを特徴とする請求項１０に記載の立体画像処理方法。
【請求項１２】
複数の視点から同一被写体を撮影した複数の画像を取得する画像取得機能と、
前記取得した複数の画像のうちの所定の画像を基準画像として選択し、前記基準画像以外の画像を対象画像として選択し、前記基準画像と対象画像との間で特徴が略一致する複数の組の対応点を検出する対応点検出機能と、
前記検出した複数の組の対応点のうちの一方の対応点のｘｙ座標値と、他方の対応点のｘｙ座標値とのうち、前記複数の視点の視差方向と直交する方向のｙ座標値のみが略一致するように前記対象画像を幾何変形するための幾何変形パラメータを推定するパラメータ推定機能と、
前記推定した幾何変形パラメータに基づいて前記対象画像を幾何変形する画像変形機能と、
をコンピュータに実現させるための立体画像処理プログラム。
【請求項１３】
請求項１から６のいずれかに記載の立体画像処理装置と、
複数の視点位置にそれぞれ配置され、該視点位置から同一被写体をそれぞれ撮像する複数の撮像ユニットと、を備え、
前記画像取得手段は、前記複数の撮像ユニットによってそれぞれ撮像された複数の画像を取得することを特徴とする立体撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は立体画像処理装置、方法及びプログラム並びに立体撮像装置に係り、特に複数の撮像ユニットの設置姿勢、ズーム率等のばらつきに起因する複数の画像間の画角のばらつきを幾何学的に補正する技術に関する。
【背景技術】
【０００２】
１台のカメラに複数の撮像ユニットを備えた、いわゆる複眼カメラは、同一被写体を複数の視点から撮像することができるため、被写体の３次元情報の取得などに用いられる。映像観賞の分野においては、各撮像ユニットから得られた視差のある画像を用い、レンチキュラーレンズシートを利用したプリントなどの３次元映像の観賞媒体が存在し、それら媒体向けの画像入力手段として複眼カメラが用いられている。
【０００３】
前述の通り複眼カメラは、複数の撮像ユニットから構成されているため、各撮像ユニットのレンズ、撮像素子などの特性のばらつき、あるいは撮像ユニットをマウントする際に撮像ユニットごとに設置姿勢にばらつきがあると、良好な視差画像が得られない。特に、後者のばらつきは、正確な視差情報の取得には大きな影響を与えるため、３次元映像の立体感、見やすさなどが損なわれないためにも、撮像ユニットの設置姿勢のばらつきを抑制することが重要である。
【０００４】
図１１（Ａ）に示すように被写体（人物）を２つの撮像ユニットにより撮像した場合、図１１（Ｂ）に示すような理想的な視差画像（視差に起因して被写体が水平方向にずれ、カメラの姿勢ばらつきがない視差画像）を得ることは難しく、実際に得られる視差画像は視差だけでなく、撮像ユニットの姿勢に起因する画像のずれが生じる（図１１（Ｃ））。
【０００５】
複眼カメラ製造の過程において、上記ばらつきが発生しないよう撮像ユニットを高精度にマウントすることが望ましいが、精度を求めるがゆえに生産性の低下、作業工数の増加などといった問題が発生する。
【０００６】
このような課題に対して、従来、複眼カメラにて撮影された画像を幾何学的に変形させることで、撮像ユニット間の幾何学的な特性差を吸収する方法が提案されている（特許文献１、２）。
【０００７】
特許文献１に記載の方法は、複数台のカメラの位置や向きのずれから生じる射影歪みを補正するために、各カメラで撮影された画像をそれぞれ同一平面上に投影し、各カメラの画像を同一平面上の画像に補正するようにしている。
【０００８】
また、特許文献２に記載の方法は、２つの撮像部により被写体を同時に撮影した際に生じる画角のずれのうち、撮像部の姿勢・ズーム率の差に起因するものを補正することを目的とし、各撮像部から得られた画像間で対応点検出を行い、各画像の対応点が一致するような幾何補正パラメータを算出し、それを用いて画像を変形するようにしている。
【特許文献１】特開平７−２９４２１５号公報
【特許文献２】特開２００６−１５７４３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１に記載の方法は、各画像を強制的に同一平面上に投影する画像処理を行うため、投影後の画像間に生じる視差は、意図しない不適切なものとなる問題がある。
【００１０】
一方、特許文献２に記載の方法は、２つの画像間の対応点が一致するように画像を変形させるため、本来残したい視差に起因する画角ずれも補正されてしまい、視差の情報が失われるという問題がある。
【００１１】
本発明はこのような事情に鑑みてなされたもので、複数の撮像ユニットの設置姿勢、ズーム率等のばらつきに起因する複数の画像間の画角のばらつきを幾何変形により吸収する際に、本来画像間に生じるべき視差による画角ずれを残すように幾何変形することができ、これにより理想的な視差画像を得ることができる立体画像処理装置、方法及びプログラム並びに立体撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
前記目的を達成するために請求項１に係る立体画像処理装置は、複数の視点から同一被写体を撮影した複数の画像を取得する画像取得手段と、前記取得した複数の画像のうちの所定の画像を基準画像として選択し、前記基準画像以外の画像を対象画像として選択し、前記基準画像と対象画像との間で特徴が略一致する複数の組の対応点を検出する対応点検出手段と、前記検出した複数の組の対応点のうちの一方の対応点のｘｙ座標値と、他方の対応点のｘｙ座標値とのうち、前記複数の視点の視差方向と直交する方向のｙ座標値のみが略一致するように前記対象画像を幾何変形するための幾何変形パラメータを推定するパラメータ推定手段と、前記推定した幾何変形パラメータに基づいて前記対象画像を幾何変形する画像変形手段と、を備えたことを特徴としている。
【００１３】
請求項１に係る発明によれば、複数の視点から同一被写体を撮影した複数の画像のうちの所定の画像（基準画像）と前記基準画像以外の画像（対象画像）のそれぞれの対応点間
の変位のうち、前記複数の視点の視差方向と直交する方向の成分を略ゼロにするという拘束条件を設けた上で、対象画像を幾何変形するための幾何変形パラメータを推定するようにしている。即ち、前記検出した複数の組の対応点のうちの一方の対応点のｘｙ座標値と、他方の対応点のｘｙ座標値とのうち、前記複数の視点の視差方向と直交する方向のｙ座標値のみが略一致するように前記対象画像を幾何変形するための幾何変形パラメータを推定する。このようにして推定した幾何変形パラメータに基づいて対象画像を幾何変形することで、本来、基準画像と対象画像間に生じるべき視差による画角ずれを残しつつ、視差方向と直交する方向の画角ずれを補正することができ、理想的な視差画像を得ることができる。
【００１４】
請求項２に示すように請求項１に記載の立体画像処理装置において、前記幾何変形パラメータは、複数のパラメータからなり、前記パラメータ推定手段は、少なくとも前記検出した複数の組の対応点のうちの一方の対応点のｘｙ座標値と他方の対応点のｙ座標値とを用いて、前記複数のパラメータの少なくとも一部を推定することを特徴としている。
【００１５】
請求項３に示すように請求項２に記載の立体画像処理装置において、前記パラメータ推定手段は、前記推定した複数のパラメータの一部を用いて、前記複数のパラメータの残りのパラメータを算出することを特徴としている。
【００１６】
即ち、幾何変形を行うための変換式の種類によっては、前記検出した複数の組の対応点のうちの一方の対応点のｘｙ座標値と他方の対応点のｙ座標値とを用いて、複数のパラメータのうちの全てのパラメータを推定することができる場合と、一部のパラメータしか推定できない場合があるが、後者の場合であっても、推定した一部のパラメータから残りのパラメータを算出することができる。
【００１７】
請求項４に示すように請求項２に記載の立体画像処理装置において、前記幾何変形パラメータは射影変換パラメータであり、前記パラメータ推定手段は、前記検出した複数の組の対応点のうちの５組以上を選択し、前記選択した各組の対応点の座標値に基づいて、少なくとも射影変換先のｙ座標値を決定するためのパラメータを推定することを特徴としている。
【００１８】
請求項５に示すように請求項４に記載の立体画像処理装置において、前記パラメータ推定手段は、前記推定した少なくとも射影変換先のｙ座標値を決定するためのパラメータに基づいて、射影変換先のｘ座標値を決定するために必要な残りのパラメータを算出することを特徴としている。
【００１９】
即ち、画像の幾何変形を射影変換により行う場合には、５組以上の一方の対応点のｘｙ座標値と他方の対応点のｙ座標値に基づいて射影変換パラメータのうち、一部のパラメータ（少なくとも射影変換先のｙ座標値を決定するためのパラメータ）しか推定することができないが、残りのパラメータ（射影変換先のｘ座標値を決定するために必要なパラメータ）は、前記推定したパラメータに基づいて算出することができる。
【００２０】
請求項６に示すように請求項２に記載の立体画像処理装置において、前記幾何変形パラメータはヘルマート変換パラメータであり、前記パラメータ推定手段は、前記検出した複数の組の対応点のうちの３組以上を選択し、前記選択した各組の対応点の座標値に基づいて前記ヘルマート変換パラメータを推定することを特徴としている。
【００２１】
即ち、画像の幾何変形をヘルマート変換により行う場合には、３組以上の一方の対応点のｘｙ座標値と他方の対応点のｙ座標値に基づいてヘルマート変換パラメータの全てを推定することができる。
【００２２】
請求項７に係る立体画像処理方法は、複数の視点から同一被写体を撮影した複数の画像を取得する画像取得工程と、前記取得した複数の画像のうちの所定の画像を基準画像として選択し、前記基準画像以外の画像を対象画像として選択し、前記基準画像と対象画像との間で特徴が略一致する複数の組の対応点を検出する対応点検出工程と、前記検出した複数の組の対応点のうちの一方の対応点のｘｙ座標値と、他方の対応点のｘｙ座標値とのうち、前記複数の視点の視差方向と直交する方向のｙ座標値のみが略一致するように前記対象画像を幾何変形するための幾何変形パラメータを推定するパラメータ推定工程と、
前記推定した幾何変形パラメータに基づいて前記対象画像を幾何変形する画像変形工程と、を含むことを特徴としている。
【００２３】
請求項８に示すように請求項７に記載の立体画像処理方法において、前記幾何変形パラメータは、複数のパラメータからなり、前記パラメータ推定工程は、少なくとも前記検出した複数の組の対応点のうちの一方の対応点のｘｙ座標値と他方の対応点のｙ座標値とを用いて、前記複数のパラメータの少なくとも一部を推定することを特徴としている。
【００２４】
請求項９に示すように請求項８に記載の立体画像処理方法において、前記パラメータ推定工程は、前記複数の組の総数をＮ個とすると、前記Ｎ個の組から前記幾何変形パラメータのうちの少なくとも変換先のｙ座標値を決定するためのパラメータの推定に必要な数の組をランダムに選択する第１の工程と、前記第１の工程によりランダムに選択された各対応点の座標値に基づいて推定したパラメータを用いて、前記Ｎ個の組についてそれぞれ一方の対応点の変換先のｙ座標値を算出する第２の工程と、前記第２の工程により算出された一方の対応点の変換先のｙ座標値と他方の対応点のｙ座標値との差分を前記Ｎ個の組についてそれぞれ算出する第３の工程と、前記第３の工程により算出された差分が予め設定した第１の閾値未満となる対応点の組の個数を計数する第４の工程と、前記計数した組の個数と前記Ｎ個との割合に基づいて前記推定したパラメータの信頼度を判定する第５の工程と、を含み、前記判定された信頼度が予め設定した信頼度に達するまで、又は予め設定した反復回数に達するまで前記第１の工程から第５の工程の処理を繰り返すことを特徴としている。
【００２５】
請求項９に係る発明によれば、前記検出された複数の対応点の組の総数がＮ個ある場合に、Ｎ個の組の中から、幾何変形パラメータのうちの少なくとも変換先のｙ座標値を決定するためのパラメータの推定に必要な数の組（射影変換の場合は５組、ヘルマート変換の場合は３組）として、適切な組み合わせのものを決定できるようにしている。即ち、Ｎ個の組からパラメータの推定に必要な数の組をランダムに選択し、その選択した組の各対応点の座標値に基づいて推定したパラメータを用いて、Ｎ個の組についてそれぞれ一方の対応点の変換先のｙ座標値を算出する。この算出された変換先のｙ座標値と、他方の対応点のｙ座標値との差分をＮ個の組についてそれぞれ算出し、この算出した差分が予め設定した第１の閾値未満となる対応点の組の個数を計数する。この計数した組の個数と前記Ｎ個との割合に基づいて、前記推定したパラメータの信頼度を判定している。そして、前記推定したパラメータの信頼度の判定結果が予め設定した信頼度に達するまで、又は予め設定した反復回数に達するまで前記ランダムな組の選択等の処理を繰り返し、これにより、少なくとも変換先のｙ座標値を決定するためのパラメータの推定に必要な数の組として、適切な組み合わせのものを決定できるようにしている。
【００２６】
請求項１０に示すように請求項９に記載の立体画像処理方法において、前記パラメータ推定工程は、前記判定された信頼度が予め設定した信頼度に達したときの前記推定したパラメータ、又は前記反復回数中で最も信頼度が高いときの前記推定したパラメータを用いて、前記Ｎ個の組についてそれぞれ一方の対応点の変換先のｙ座標値を算出する第６の工程と、前記第６の工程により算出された一方の対応点の変換先のｙ座標値と他方の対応点のｙ座標値との差分をＮ個の組についてそれぞれ算出する第７の工程と、前記第７の工程により算出された差分が予め設定した第２の閾値未満となる対応点の組のみを前記Ｎ個の組から選択する第８の工程と、前記第８の工程で選択された対応点の組のみを用いて前記複数のパラメータを算出する第９の工程と、を含むことを特徴としている。
【００２７】
即ち、前記推定したパラメータは所望の信頼度を有するものであり、このパラメータにより変換された一方の対応点の変換先のｙ座標値と他方の対応点のｙ座標値とは本来ならば略一致し、その差分は予め設定した第２の閾値未満となる。一方、前記差分が前記第２の閾値未満にならない対応点の組は不適切な組とみなして排除し、前記差分が前記第２の閾値未満になる対応点の組のみを抽出する。そして、このようにして抽出した組のみを用いて複数のパラメータを再度算出し、更にパラメータの信頼度を向上させるようにしている。
【００２８】
請求項１１に示すように請求項１０に記載の立体画像処理方法において、前記第９の工程は、前記第８の工程で選択された複数の組の一方の対応点の変換先のｙ座標値と他方の対応点のｙ座標値との差の自乗和を最小にする前記複数のパラメータを算出することを特徴としている。即ち、最小自乗法により最終の複数のパラメータの推定を行っている。
【００２９】
請求項１２に係る立体画像処理プログラムは、複数の視点から同一被写体を撮影した複数の画像を取得する画像取得機能と、前記取得した複数の画像のうちの所定の画像を基準画像として選択し、前記基準画像以外の画像を対象画像として選択し、前記基準画像と対象画像との間で特徴が略一致する複数の組の対応点を検出する対応点検出機能と、前記検出した複数の組の対応点のうちの一方の対応点のｘｙ座標値と、他方の対応点のｘｙ座標値とのうち、前記複数の視点の視差方向と直交する方向のｙ座標値のみが略一致するように前記対象画像を幾何変形するための幾何変形パラメータを推定するパラメータ推定機能と、前記推定した幾何変形パラメータに基づいて前記対象画像を幾何変形する画像変形機能と、をコンピュータに実現させることを特徴としている。
【００３０】
請求項１３に係る立体撮像装置は、請求項１から６のいずれかに記載の立体画像処理装置と、複数の視点位置にそれぞれ配置され、該視点位置から同一被写体をそれぞれ撮像する複数の撮像ユニットと、を備え、前記画像取得手段は、前記複数の撮像ユニットによってそれぞれ撮像された複数の画像を取得することを特徴としている。
【発明の効果】
【００３１】
本発明によれば、複数の視点から同一被写体を撮影した複数の画像のうちの所定の画像（基準画像）と前記基準画像以外の画像（対象画像）のそれぞれの対応点間の変位のうち、前記複数の視点の視差方向と直交する方向の成分を略ゼロにするという拘束条件を設けた上で、対象画像を幾何変形するための幾何変形パラメータを推定するようにしたため、本来画像間に生じるべき視差による画角ずれを残しつつ、視差方向と直交する方向の画角ずれを補正することができ、理想的な視差画像を得ることができる。
【発明を実施するための最良の形態】
【００３２】
以下、添付図面に従って本発明に係る立体画像処理装置、方法及びプログラム並びに立体撮像装置の好ましい実施の形態について説明する。
【００３３】
［立体撮像装置の全体構成］
図１は本発明に係る立体撮像装置の全体構成を示すブロック図である。
【００３４】
同図に示すように立体撮像装置１０は、６台の撮像ユニット１〜６を備えており、同一の被写体を６視点から撮影した６枚の画像（視差画像）を取得し、所定の形式の記録用画像データとして記録する装置である。
【００３５】
中央処理装置（ＣＰＵ１２）には、制御バス１６を介して撮像ユニット１〜６及び発光部１８が接続されるとともに、メインメモリ２０、デジタル信号処理部２２、積算部２４、圧縮伸張処理部２６、外部記録部２８、表示部３０、対応点検出部３２、幾何変形部３４、及び幾何変形パラメータ推定部３６が接続されており、ＣＰＵ１２は、操作部１４からの操作入力に基づき所定の制御プログラムに従って立体撮像装置１０全体の動作を統括制御する制御手段として機能する。
【００３６】
また、撮像ユニット１〜６、メインメモリ２０、デジタル信号処理部２２、積算部２４、圧縮伸張処理部２６、外部記録部２８、表示部３０、対応点検出部３２、幾何変形部３４、及び幾何変形パラメータ推定部３６は、それぞれデータバス３８を介して接続されている。
【００３７】
撮像ユニット１〜６は、それぞれ図２に示すように同一の構成を有するものであり、撮影レンズ４０、絞り４１、ＩＲカットフィルタ４２、光学ローパスフィルタ４３、撮像素子（ＣＣＤ）４４、Ａ／Ｄ変換器４５、レンズ駆動部４６、絞り駆動部４７、及びＣＣＤ駆動部４８から構成されている。
【００３８】
撮影レンズ４０は、フォーカスレンズ、ズームレンズ等を含み、レンズ駆動部４６に駆動されて光軸に沿って前後に移動する。ＣＰＵ１２は、レンズ駆動部４６の駆動を制御することにより、フォーカスレンズの位置を制御して被写体に焦点が合うように焦点調節を行うとともに、操作部１４からのズーム指令に応じてズームレンズの位置を制御してズーミングを行う。
【００３９】
絞り４１は、例えば、アイリス絞りで構成されており、絞り駆動部４７に駆動されて動作する。ＣＰＵ１２は、絞り駆動部４７を介して絞り４１の開口量（絞り値）を制御し、ＣＣＤ４４への入射光量を制御する。
【００４０】
ＣＣＤ４４は、２次元のカラーＣＣＤ固体撮像素子により構成されている。ＣＣＤ４４の受光面には、多数のフォトダイオードが２次元的に配列されており、各フォトダイオードには所定の配列でカラーフィルタが配置されている。撮影レンズ４０、絞り、ＩＲカットフィルタ４２、及び光学ローパスフィルタ４３を介してＣＣＤ受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１２の指令に従ってＣＣＤ駆動部４８から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）としてＣＣＤ４４から順次読み出される。ＣＣＤ４４は、電子シャッタ機能を備えており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間（シャッタ速度）が制御される。尚、本実施形態では、撮像素子としてＣＣＤ４４を用いているが、ＣＭＯＳセンサ等の他の構成の撮像素子を用いることもできる。
【００４１】
ＣＣＤ４４から読み出された画像信号は、Ａ／Ｄ変換器４５によりデジタル信号に変換された後、データバス３８を介して一旦、メインメモリ２０に格納される。
【００４２】
上記構成の撮像ユニット１〜６は、図３に示すように立体撮像装置１０の装置本体に対して水平方向に、かつ所定の間隔（所定の基線長）で配置されており、更に各撮像ユニット１〜６の撮影レンズの光軸が一点で交差するように輻輳角（各光軸のなす角度）が調整されて配置されている。
【００４３】
ＣＰＵ１２は、各撮像ユニット１〜６を同期させて駆動する。即ち、各撮影レンズ４０は、常に同じ被写体にピントが合うように焦点調整が行われ、常に同じ焦点距離（ズーム倍率）に設定される。また、常に同じ入射光量（絞り値）となるように絞り４１が調整される。
【００４４】
操作部１４は、シャッタボタン、電源スイッチ、モードダイヤル、十字ボタン、ズームボタン等の公知の操作入力手段を含んでいる。シャッタボタンは、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。撮影モード時には、シャッタボタンが半押しされると、撮影準備処理（即ち、ＡＥ（Automatic Exposure：自動露出）、ＡＦ（Auto Focus：自動焦点合わせ）、ＡＷＢ（Automatic White Balance：自動ホワイトバランス））が行われ、シャッタボタンが全押しされると、画像の撮影・記録処理が行われる。
【００４５】
発光部１８は、例えば、放電管（キセノン管）により構成され、暗い被写体を撮影する場合や逆光時等に必要に応じて発光される。
【００４６】
メインメモリ２０は、ＣＰＵ１２によるプログラムの実行時におけるワークエリアとして、また、撮像ユニット１〜６により撮像され取得されたデジタル画像信号を一時保持する記憶手段として使用される。
【００４７】
デジタル信号処理部２２は、ホワイトバランス調整回路、階調変換処理回路（例えば、ガンマ補正回路）、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、輪郭補正回路、輝度・色差信号生成回路等を含む画像処理手段として機能し、メインメモリ２０に格納されたＲ、Ｇ、Ｂの画像データに対して所定の信号処理を行う。即ち、Ｒ、Ｇ、Ｂの画像信号は、デジタル信号処理部２２において輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｂ信号）からなるＹＵＶ信号に変換されるとともに、階調変換処理（例えば、ガンマ補正）等の所定の処理が施される。デジタル信号処理部２２により処理された画像信号はメインメモリ２０に格納される。
【００４８】
積算部２４は、シャッタボタンの半押し時に取り込まれる画像信号に基づいてＡＦ制御に必要な焦点評価値を算出したり、ＡＥ制御に必要な被写体輝度を算出する。ＣＰＵ１２は、ＡＦ制御時には積算部２４により算出される焦点評価値が極大となる位置をサーチし、その位置にフォーカスレンズを移動させることにより、被写体（主要被写体）への焦点合わせを行い、ＡＥ制御時には積算部２４により算出された被写体輝度に基づいて適正な露光量を得るための露出設定を行う。即ち、撮影感度、絞り値、シャッタ速度、フラッシュ発光の要否を設定する。
【００４９】
圧縮伸張処理部２６は、ＣＰＵ１２からの指令に従い、入力された画像データに圧縮処理を施し、所定形式の圧縮画像データを生成する。例えば、静止画に対してはＪＰＥＧ規格に準拠した圧縮処理が施され、動画に対してはＭＰＥＧ２やＭＰＥＧ４、Ｈ．２６４規格に準拠した圧縮処理が施される。また、圧縮伸張処理部２６は、ＣＰＵ１２からの指令に従い、入力された圧縮画像データに伸張処理を施し、非圧縮の画像データを生成する。
【００５０】
外部記録部２８は、上記圧縮伸張処理部２６により生成されたＪＰＥＧ形式等の画像データを格納した画像ファイルし、メモリカード等の着脱自在な外部記録媒体に記録し、又は外部記録媒体から画像ファイルの読み出しを行う。
【００５１】
表示部３０は、例えば、カラー液晶パネルを備えた表示装置により構成され、撮影済み画像を表示するための画像表示部として使用されるとともに、各種設定時にＧＵＩとして使用される。また、表示部３０は、撮影モード時に画角を確認するための電子ファインダとして利用される。表示部３０の表面には、かまぼこ状のレンズ群を有したいわゆるレンチキュラレンズが配置されており、複数の視点の画像（視差画像）による３次元画像（３Ｄ画像）の再生モード時には、外部記録部２８から読み出された視差画像が表示され、ユーザは立体視が可能となる。
【００５２】
図４（Ａ）に示すように撮像ユニット１〜６から得られる６枚の画像は、理想的には各画像間には視差のみによる被写体のずれが生じるが、実際は、図４（Ｂ）に示すように視差に加えて撮像ユニット１〜６の姿勢やズーム倍率のばらつきに因って被写体のずれが生じる。
【００５３】
対応点検出部３２、幾何変形部３４、及び幾何変形パラメータ推定部３６は、画像を幾何変形させて上記被写体のずれを補正する本発明の特徴部分であり、以下、図５に示すフローチャートを参照しながら説明する。
【００５４】
＜立体画像処理の全体的な流れ＞
図５は本発明に係る立体画像処理の全体の流れを示すフローチャートである。
【００５５】
［ステップＳ１０］
視差画像の撮像時には、６台の撮像ユニット１〜６により同一被写体が撮像され、得られた６枚の画像が記録される。この際、各画像はデジタル信号処理部２２により前述した各種の信号処理が施された後、メインメモリ２０に一時的に格納される。尚、外部記録部２８により外部記録媒体に記録するようにしてもよい。
【００５６】
［ステップＳ１２］
メインメモリ２０に格納された６枚の画像のうち、所定の１枚の画像（この実施の形態では、撮像ユニット３から得られた画像）が基準画像として設定され、その設定された基準画像がメインメモリ２０から読み出される。尚、この実施の形態では、撮像ユニット３から得られた画像を基準画像として設定するようにしたが、これに限らず、６枚の画像のうち、いずれの画像を基準画像に設定してもよい。
【００５７】
［ステップＳ１４］
前記設定された基準画像以外の５画像のうち所定の１画像が対象画像として選択され、その選択された対象画像がメインメモリ２０から読み出される。
【００５８】
［ステップＳ１６］
対応点検出部３２は、前記設定された基準画像と前記選択された対象画像との間で特徴が略一致する複数の組の対応点を検出する。
【００５９】
対応点検出部３２による対応点検出については、従来から様々な手法が提案されている。本発明はその手法には限定されないが、例えば、ブロックマッチング法、ＫＬＴ法(Tomasi & Kanade,1991,Detection and Tracking of Point Features)、ＳＩＦＴ(Scale Invariant Feature Transform)などの従来技術を用いることができる。
【００６０】
尚、この実施の形態では、便宜上、対応点検出部３２により検出された各組（ペア）の対応点のうち、基準画像から検出された対応点を特徴点と称す。
【００６１】
［ステップＳ１８］
幾何変形パラメータ推定部３６は、前記特徴点と対応点の複数の組の座標値に基づいて射影変換パラメータを推定・算出する。尚、このステップＳ１８の詳細については後述する。
【００６２】
［ステップＳ２０］
前記射影変換パラメータが正常なものとして推定されたかを判別し、正常の場合（「ｙｅｓ」の場合）には、ステップＳ２２に遷移し、正常でない場合（「ｎｏ」の場合）には、ステップＳ２２を飛ばしてステップＳ２４に遷移する。
【００６３】
［ステップＳ２２］
幾何変形部３４は、正常に推定された射影変換パラメータに基づいて対象画像を射影変換する。射影変換後の画像は、画像記録部２８にて外部記録媒体に記録される。
【００６４】
［ステップＳ２４］
前記基準画像と５枚の対象画像の全ての画像間において、上記ステップＳ１４〜Ｓ２２の処理が終了したか否かが判別される。終了していない場合にはステップＳ１４に遷移し、ここで他の対象画像の選択が行われ、終了した場合には、本立体画像処理を終了させる。
【００６５】
＜射影変換パラメータ推定の流れ＞
次に、複数の特徴点と対応点の組に基づいて射影変換パラメータを推定する手順について説明する。
【００６６】
ここで、射影変換式は、次式の通りである。
【００６７】
【数１】
2010128820.tif 000003
【００６８】
射影変換パラメータは、［数１］式中のａ、ｂ、ｓ、ｃ、ｄ、ｔ、ｐ、ｑの８個のパラメータを指す。また、(x,y)、(X,Y)は、それぞれ射影変換前後の座標値を示す。
【００６９】
図６（Ａ）は基準画像から抽出された特徴点（●）を基準画像上に重畳した図であり、図６（Ｂ）は対象画像から検出された対応点（○）を対象画像上に重畳した図である。
【００７０】
また、図６（Ｃ）には、それぞれ対応する特徴点と対応点とを結ぶベクトルが示されている。尚、図６において、特徴点Ａ(x1,y1)と対応点Ａ’(x2,y2)とは、ある１組の特徴点と対応点を示している。
【００７１】
本来、特徴点と対応点は、同じ高さ（＝ｙ座標値が略同じ）になるはずであるが、撮像ユニット１〜６の姿勢、ズーム率のばらつきに起因して被写体のずれが生じているため、特徴点Ａと対応点Ａ’の高さ（ｙ座標値）は一致していない。
【００７２】
そこで、本発明は射影変換パラメータを推定するに当たっては、特徴点と対応点を結ぶ線分（以下、「ベクトル」という）が略水平になる（つまり、特徴点と対応点のｙ座標値が略一致する）ことを１つの拘束条件とする。この拘束条件は、６つの撮像ユニット１〜６が装置本体に水平に設置されていることに基づく。もし、複数の撮像ユニットが垂直に設置されている場合には、ベクトルが垂直になるという仮定を置く必要がある。要は、複数の視点の視差方向と直交する方向の座標値が略一致するという拘束条件を設ける。
【００７３】
図７は本発明に係るパラメータ推定の概念を示す図である。
【００７４】
図７に示すように、特徴点と対応点のずれ（同図の複合ベクトル）を生じさせる要因を分離して考えると、「視差」と「撮像ユニットの姿勢等のばらつき」とがある。同図からも分かるように、複合ベクトルのｙ成分には、視差の影響はなく、撮像ユニットの姿勢等のばらつきによる成分のみが現れる。
【００７５】
そこで、本発明はベクトルのｙ成分からカメラ姿勢等に関連する射影変換パラメータを推定・算出する。
【００７６】
＜射影変換パラメータ推定の処理フロー＞
図８及び図９は本発明に係る射影変換パラメータの推定手順の一例を示すフローチャートである。
【００７７】
［ステップＳ１００］
基準画像から抽出した特徴点と対象画像から検出した各特徴点に対応する特徴点のペア（組）の全ての組数をＮ組とした場合、このＮ組の特徴点の座標（x,y）と対応点の座標(X,Y)を読み込む。ｉ番目（１≦ｉ≦Ｎ）の組の特徴点の座標を(xi,yi)、対応点の座標を(Xi,Yi)とする。
【００７８】
［ステップＳ１０２］
対応点検出部３２によって得られた特徴点と対応点の組の数が少ない場合は、射影変換パラメータの推定ができないため、ペア数Ｎに対する閾値処理を行う。
【００７９】
即ち、特徴点と対応点の組の数Ｎに対する閾値ＴＨ１を設け、以下の条件分岐を行う。
【００８０】
IF  Ｎ＜ＴＨ１  →パラメータの推定に失敗したというフラグを立て推定を終了する（図９のステップＳ１２４）。
【００８１】
ELSE            →パラメータの推定を続行する。
【００８２】
尚、射影変換パラメータを推定するためには、最低５つの組の座標値が必要であるため、前記閾値ＴＨ１は、５以上の所定の値とする。
【００８３】
［ステップＳ１０４］
反復回数irandとパラメータ信頼度の最大値n_vote_maxを初期化する（両者ともに０にする）。
【００８４】
［ステップＳ１０６］
特徴点と対応点のＮ組のうち、５つの組をランダムに選択する。５組のランダムな選択は、乱数を使用して行うことができる。
【００８５】
［ステップＳ１０８］
ステップＳ１０６で選択された５組の特徴点と対応点の座標値（５つの特徴点のｘｙ座標値と、５つの対応点のｙ座標値）に基づいて、５組の特徴点と対応点のｙ座標値を一致させるための射影変換パラメータを算出する。
【００８６】
前述の［数１］式に示したように、ｙ方向に関する射影変換パラメータは、ｃ、ｄ、ｔ、ｐ、ｑの５つであるため、５つの点の座標値を［数１］式に代入して得られる５つ式による連立方程式を解けば、一意にパラメータ（ｃ、ｄ、ｔ、ｐ、ｑ）を算出することができる。
【００８７】
［ステップＳ１１０］
前記算出されたパラメータ（ｃ、ｄ、ｔ、ｐ、ｑ）を代入した射影変換式に、全ての点の組（Ｎ組）を当てはめ、以下の条件式１を満たす点の数n_voteを計数する。
【００８８】
【数２】
2010128820.tif 000004
【００８９】
この条件式１の意図するところは、５つの点の組から定めた射影変換パラメータにより、その他の点の組のｙ座標値が一致したかどうかを判断することにある。つまり、Ｎ本あるベクトルのうち、いくつのベクトルが水平になったかを表すのが、n_voteの値である。このn_voteが大きければ大きいほど、該射影変換パラメータの信頼度が高いと判断できる。
【００９０】
［ステップＳ１１２］
ステップＳ１１０で算出した数n_voteと、信頼度最大値n_vote_maxとを比較し、n_voteがn_vote_maxよりも大きい場合（n_vote＞n_vote_max）には、ステップＳ１１４に遷移し、小さい場合（n_vote≦n_vote_max）には、ステップＳ１１８に遷移する。
【００９１】
［ステップＳ１１４］
前記算出されたパラメータ（ｃ、ｄ、ｔ、ｐ、ｑ）を、中間パラメータ（c_tmp、d_tmp、t_tmp、p_tmp、q_tmp）として一時記憶するとともに、n_voteを最大値n_vote_maxとして一時記憶する。
【００９２】
射影変換パラメータを推定する際は、以下に説明するようにステップＳ１０６からステップＳ１１８の処理を既定回数nrand繰り返し行うが、そのうち最もn_voteが大きくなったときのパラメータが、最も信頼度が高いと考えられる。そのため、前回の信頼度n_voteをn_vote_maxとして保持しておき、今回の信頼度が前回の信頼度よりも大きくなる場合に、各パラメータを更新していく。
【００９３】
［ステップＳ１１６］
信頼度最大値n_vote_maxの全ての組の数Ｎに対する比率（n_vote_max／Ｎ）を求め、この比率に対する閾値処理を行う。
【００９４】
即ち、予め設定した閾値ＴＨ２により、以下の条件分岐を行う。
【００９５】
IF   n_vote_max／Ｎ＜ＴＨ２  →パラメータの推定を続行する。
【００９６】
ELSE                         →パラメータの反復推定を終了し、最終の射影変換パラメータの算出に遷移する（図９のステップＳ１２６）。
【００９７】
尚、前記閾値ＴＨ２は、１よりも小さい１近傍の値として設定することができる。
【００９８】
信頼度最大値n_vote_maxは、Ｎ個の点の組のうち、推定されたパラメータによる射影変換によりｙ座標値が略一致する点の組の数であるから、n_vote_max／Ｎは、全ての点の数Ｎに対する適正に補正される点の数の割合を示す。従って、n_vote_max／ＮがＴＨ２以上の場合は、推定されたパラメータは十分信頼できるとして、パラメータの反復推定を終了し、最終の射影変換パラメータの算出に移行する。一方、n_vote_max／ＮがＴＨ２未満の場合は、パラメータの反復推定を続行する。
【００９９】
［ステップＳ１１８］
パラメータを反復推定した反復回数irandが、既定回数nrandより大きいか否かを判別する。反復回数irandが既定回数nrand以下の場合（「ｎｏ」の場合）には、ステップＳ１２０に遷移し、既定回数nrandよりも大きい場合（（「ｙｅｓ」の場合）には、ステップＳ１２２に遷移する。既定回数nrandとしては、画像中の特徴点と対応点の組の数Ｎにもよるが、１０００から１００００回程度が考えられる。
【０１００】
［ステップＳ１２０］
反復回数irandを１だけインクリメントし、ステップＳ１０６に遷移する。
【０１０１】
［ステップＳ１２２］
反復回数irandが既定回数nrandよりも大きくなった場合には、ステップＳ１１４にて保持されている現在の信頼度最大値n_vote_maxの全ての組の数Ｎに対する比率（n_vote_max／Ｎ）を求め、この比率に対する閾値処理を行う。
【０１０２】
即ち、予め設定した閾値ＴＨ３により、以下の条件分岐を行う。
【０１０３】
IF   n_vote_max／Ｎ＜ＴＨ３  →パラメータの推定に失敗したというフラグを立て推定を終了する（図９のステップＳ１２４）。
【０１０４】
ELSE                         →パラメータの反復推定を終了し、最終の射影変換パラメータを算出するためのステップ（図９のステップＳ１２６）に遷移する。
【０１０５】
尚、前記閾値ＴＨ３は、ステップＳ１１４の閾値ＴＨ２よりも小さい値であることは言うまでもない。
【０１０６】
［ステップＳ１２４（図９）］
前述したように、特徴点と対応点の組の数Ｎが閾値ＴＨ１未満の場合（ステップＳ１０２）、又は推定したパラメータの信頼度が低い場合（n_vote_max／Ｎ＜ＴＨ３）に、射影変換パラメータの推定に失敗したという推定失敗フラグを立て、射影変換パラメータの推定を終了させる。
【０１０７】
［ステップＳ１２６］
ステップＳ１１４で保持した中間パラメータ（c_tmp、d_tmp、t_tmp、p_tmp、q_tmp）を代入した射影変換式に、全ての点の組（Ｎ組）を当てはめ、Ｎ組から以下の条件式２を満たす組のみを残す（条件式２を満たさない組を排除する）。
【０１０８】
【数３】
2010128820.tif 000005
【０１０９】
これにより、信頼度の高い特徴点と対応点の組のみを残すことができる。
【０１１０】
［ステップＳ１２８］
上記条件式２を満たした点の組のみを用い、最小自乗法による最終的なパラメータの推定を行う。ここで、条件式２を満たした点の組をｎとすると、最小自乗法によるパラメータ推定は、次式の評価関数Ｊ２が最小となるようにパラメータを推定する。
【０１１１】
【数４】
2010128820.tif 000006
【０１１２】
尚、評価関数Ｊ２は、評価関数Ｊ１と等価なものである。
【０１１３】
具体的には、次式に示すように、評価関数Ｊ２を各パラメータ（ｃ、ｄ、ｔ、ｐ、ｑ）で偏微分して得られる５つの式それぞれを０とおき、これら５つの式により連立方程式を解けば、パラメータ（ｃ、ｄ、ｔ、ｐ、ｑ）が求められる。
【０１１４】
【数５】
2010128820.tif 000007
【０１１５】
以上の連立方程式を解くことで、最終のパラメータ（ｃ、ｄ、ｔ、ｐ、ｑ）が得られる。
【０１１６】
［ステップＳ１３０］
次に、８個の射影変換パラメータ（ａ、ｂ、ｓ、ｃ、ｄ、ｔ、ｐ、ｑ）のうち、前記推定したパラメータ（ｃ、ｄ、ｔ、ｐ、ｑ）以外の射影変換先のｘ座標値を決定するために必要な残りのパラメータ（ａ，ｂ，ｓ）を決定する。
【０１１７】
ここで、パラメータｓは、ｘ方向（視差の生じる方向）の平行移動量に相当するパラメータである。視差量が未知で、ｓを一意に定めることはできないため、ｓ＝０とする。
【０１１８】
一方、パラメータａ，ｂの算出は、例えば、次のようにする。
【０１１９】
今、図１０に示すような座標系を考える。原点Ｏから距離１のところに画像面があるとし、画像面上の各点を、射影面上に射影する、つまり、Ｐ１の点をＰ２に写すことを考える。
【０１２０】
ここで、画像面と射影面のなす角度をθ、射影面をｘ’軸上にとる。また、射影面とｚ軸（画像の奥行き方向）の交点をＯ’とし、ｘ’軸上の原点とする。
【０１２１】
Ｐ１のｘ座標値をｘ、ｘ’軸で考えたときのＰ２のｘ座標値をｘ’とすると、以下の式が成り立つ。
【０１２２】
【数６】
2010128820.tif 000008
【０１２３】
これを一般化し、射影面がｘ軸となる角度をθｘ，ｙ軸（図１０上で紙面と直交する方向の軸）となす角度をθｙとすれば、以下の式が得られる。
【０１２４】
【数７】
2010128820.tif 000009
【０１２５】
上記［数７］式上で、(x,y)は画像面上の座標値、(x',y')は射影面上での座標値である。また、ｗとｈはそれぞれ画像の幅と高さを表しており、画像の幅と高さについて規格化している。この操作は、撮像ユニットの光軸の方向を調整していることに該当する。
【０１２６】
続いて、射影面上に射影された画像に対して、回転とスケール変化、平行移動を行う。この操作は、撮像ユニットのズーム率や、光軸の回転を調整していることに該当する。ここで、回転角度をθ０、ズームに起因するスケール変化率をｋ、平行移動量を(s',t')とすると、以下の式が成り立つ。
【０１２７】
【数８】
2010128820.tif 000010
【０１２８】
上記［数８］式に［数７］式を代入すると、以下の式が得られる。
【０１２９】
【数９】
2010128820.tif 000011
【０１３０】
これを射影変換式（［数１］式）と比較すると、以下の関係が導かれる。
【０１３１】
【数１０】
2010128820.tif 000012
【０１３２】
上記［数１０］式において、既にｃ、ｄ、ｔ、ｐ、ｑは既知であるため、これらの式からθｘ、θｙ、θ０、ｋを求めることができ、これらのθｘ、θｙ、θ０、ｋからａ，ｂを算出することができる。ただし、上述したようにｓ＝ｓ’＝０としてａ、ｂを算出する。
【０１３３】
［ステップＳ１３２］
以上の手順により、８個の射影変換パラメータ（ａ、ｂ、ｓ、ｃ、ｄ、ｔ、ｐ、ｑ）の推定・算出が終了すると、推定成功フラグを立て、射影変換パラメータの推定を終了させる。
【０１３４】
尚、この実施の形態では、［数３］式に示した条件を満たした点の組のみを用い、最小自乗法により最終的なパラメータの推定を行うようにしたが、これに限らず、前記中間パラメータをそのまま使用するようにしてもよい。
【０１３５】
＜その他＞
以上の推定手法によれば、特徴点を射影変換するための射影変換パラメータが算出される。つまり、得られた射影変換パラメータは、基準画像を変形させるためのものと言える。本来、算出すべきパラメータは、対象画像を変形させるためのパラメータであるが、そうしていないことには以下の理由がある。
【０１３６】
通常、入力された画像を変形して出力する際には、出力画像の各画素位置が入力画像上でどこに位置するかを計算する。これは、入力画像の各画素が出力画像上でどこに位置するかを計算していくと、データのない領域が発生してしまうことを回避するための一般的な手法である。つまり、対象画像を変形するために必要となるパラメータは、実際のところ、特徴点を変換するためのパラメータで良い。
【０１３７】
また、この実施の形態では、画像の幾何変形の手法として、射影変換を用いたが、ヘルマート変換や、アフィン変換などの幾何変形を用いることも当然可能である。その場合、パラメータの推定方法が射影変換の場合と比較して若干異なる。例えば、ヘルマート変換式は、次式のように表される。
【０１３８】
【数１１】
2010128820.tif 000013
【０１３９】
射影変換パラメータの推定方法と同様の考え方をするならば、Ｙを求める５つのパラメータ（ｃ、ｄ、ｔ、ｐ、ｑ）を５組の特徴点と対応点を用いて算出していたところを、３組の特徴点と対応点を用いて、［数１１］式のＹを求めるためのパラメータ（ａ、ｂ、ｔ）を推定するように変更すればよい。また、最小自乗法による最終的なパラメータの推定を行う場合には、評価関数Ｊを次式のようにすればよい。
【０１４０】
【数１２】
2010128820.tif 000014
【０１４１】
尚、ヘルマート変換式では、［数１１］式に示したように、Ｘを求めるパラメータにもａ、ｂが含まれているため、Ｙを定めるパラメータを推定しさえすれば、Ｘを定めるパラメータも必然と得られることになる。また、射影変換の場合と同様、Ｘに対する平行移動成分であるパラメータｓについては、ｓ＝０として考えればよい。その他の幾何変形を行う場合も同様の考え方でその幾何変形用のパラメータを推定することが可能である。
【０１４２】
また、この実施の形態の立体撮像装置は、６つの撮像ユニットを有する複眼カメラであるが、撮像ユニットの数は２以上あればよく、この実施の形態のものに限定されず、更に撮像ユニットが複数備わった複眼カメラに限らず、単眼のカメラが複数台備わったカメラシステムにおいても本発明を適用することができる。
【０１４３】
更に、本発明に係る立体画像処理は、立体撮像装置によって行う場合に限らず、視差画像の撮影機能を持たないパーソナルコンピュータ等で行うようにしてもよい。この場合、従来の複眼カメラ等によって撮影された複数の画像（視差画像）をパーソナルコンピュータ等に取り込むようにすればよい。また、本発明は、理想的な視差画像を得るための幾何変形処理を行う機能を、パーソナルコンピュータに実現させるプログラムとして提供することも可能である。
【０１４４】
また、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【図面の簡単な説明】
【０１４５】
【図１】図１は本発明に係る立体撮像装置の全体構成を示すブロック図である。
【図２】図２は図１に示した撮像ユニットの構成を示すブロック図である。
【図３】図３は複数の撮像ユニットの装置本体への配置と被写体との関係を説明するために用いた図である。
【図４】図４は６台の撮像ユニットにより撮像される理想的な視差画像と実際の視差画像との対応関係を示す図である。
【図５】図５は本発明に係る立体画像処理の全体の流れを示すフローチャートである。
【図６】図６は基準画像及び対象画像における特徴点と対応点との関係を示す図である。
【図７】図７は本発明に係る幾何変形のパラメータ推定の概念を説明するために用いた図である。
【図８】図８は射影変換パラメータの推定手順の一例を示すフローチャートの一部を示す図である。
【図９】図９は射影変換パラメータの推定手順の一例を示すフローチャートの残り部分を示す図である。
【図１０】図１０は射影変換パラメータのうちの射影変換先のｘ座標値を決定するために必要な残りのパラメータの決定方法を説明するために用いた図である。
【図１１】図１１は複数の撮像ユニットのカメラ姿勢に起因する画像のずれを説明するための図である。
【符号の説明】
【０１４６】
１〜６…撮像ユニット、１０…立体撮像装置、１２…中央処理装置（ＣＰＵ）、２０…メインメモリ、２２…デジタル信号処理部、２８…外部記録部、３０…表示部、３２…対応点検出部、３４…幾何変形部、３６…幾何変形パラメータ推定部
【図１】
2010128820.tif 000015
【図２】
2010128820.tif 000016
【図３】
2010128820.tif 000017
【図４】
2010128820.tif 000018
【図５】
2010128820.tif 000019
【図６】
2010128820.tif 000020
【図７】
2010128820.tif 000021
【図８】
2010128820.tif 000022
【図９】
2010128820.tif 000023
【図１０】
2010128820.tif 000024
【図１１】
2010128820.tif 000025