【手続補正書】
【提出日】平成23年6月21日(2011.6.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の視点から同一被写体を撮影した複数の画像を取得する画像取得手段と、
前記取得した複数の画像のうちの所定の画像を基準画像として選択し、前記基準画像以外の画像を対象画像として選択し、前記基準画像から複数の特徴点を、前記対象画像から対応点を検出して、同じ組に含まれる特徴点と対応点の特徴が略一致するような特徴点と対応点の組を生成する対応点検出手段と、
前記同じ組に含まれる特徴点と対応点について、前記複数の視点の視差方向と直交する方向のｙ座標値が略一致するように前記対象画像を幾何変形するための幾何変形パラメータを推定するパラメータ推定手段と、
前記推定した幾何変形パラメータに基づいて前記対象画像を幾何変形する画像変形手段と、
を備える立体画像処理装置。
【請求項２】
前記幾何変形パラメータは、複数のパラメータからなり、
前記パラメータ推定手段は、前記対応点のｘｙ座標値と前記特徴点のｙ座標値とに基づいて、前記複数のパラメータの少なくとも一部を推定する、請求項１に記載の立体画像処理装置。
【請求項３】
前記パラメータ推定手段は、前記推定した一部のパラメータに基づいて、前記一部のパラメータ以外のパラメータを算出する、請求項２に記載の立体画像処理装置。
【請求項４】
前記幾何変形パラメータは射影変換パラメータであり、
前記パラメータ推定手段は、前記検出した特徴点と対応点の複数の組のうちの５組以上を選択し、前記選択した各組の特徴点と対応点の座標値に基づいて、少なくとも射影変換先のｙ座標値を決定するための射影変換パラメータを推定する、請求項２に記載の立体画像処理装置。
【請求項５】
前記パラメータ推定手段は、前記推定した少なくとも射影変換先のｙ座標値を決定するためのパラメータに基づいて、射影変換先の対応点のｘ座標値を決定するために必要な残りのパラメータを算出する、請求項４に記載の立体画像処理装置。
【請求項６】
前記幾何変形パラメータはヘルマート変換パラメータであり、
前記パラメータ推定手段は、前記検出した特徴点と対応点の複数の組のうちの３組以上を選択し、前記選択した各組の特徴点と対応点の座標値に基づいて前記ヘルマート変換パラメータを推定する、請求項２に記載の立体画像処理装置。
【請求項７】
複数の視点から同一被写体を撮影した複数の画像を取得する画像取得工程と、
前記取得した複数の画像のうちの所定の画像を基準画像として選択し、前記基準画像以外の画像を対象画像として選択し、前記基準画像から複数の特徴点を、前記対象画像から対応点を検出して、同じ組に含まれる特徴点と対応点の特徴が略一致するような特徴点と対応点の組を生成する対応点検出工程と、
前記同じ組に含まれる特徴点と対応点について、前記複数の視点の視差方向と直交する方向のｙ座標値が略一致するように前記対象画像を幾何変形するための幾何変形パラメータを推定するパラメータ推定工程と、
前記推定した幾何変形パラメータに基づいて前記対象画像を幾何変形する画像変形工程と、
を備える立体画像処理方法。
【請求項８】
前記幾何変形パラメータは、複数のパラメータからなり、
前記パラメータ推定工程においては、前記対応点のｘｙ座標値と前記特徴点のｙ座標値とに基づいて、前記複数の幾何変形パラメータの少なくとも一部を推定する、請求項７に記載の立体画像処理方法。
【請求項９】
前記パラメータ推定工程は、
前記複数の組の総数をＮ個とすると、前記Ｎ個の組から少なくとも変換先のｙ座標値を決定するための幾何変形パラメータの推定に必要な数の組をランダムに選択する第１の工程と、
前記第１の工程によりランダムに選択された各対応点の座標値に基づいて推定したパラメータに基づいて、前記Ｎ個の組について変換後の対応点のｙ座標値を算出する第２の工程と、
前記第２の工程により算出された前記変換後の対応点のｙ座標値と、前記特徴点のｙ座標値との差分を、前記Ｎ個の組についてそれぞれ算出する第３の工程と、
前記第３の工程により算出された差分が予め設定した第１の閾値未満となる特徴点と対応点の組の個数を計数する第４の工程と、
前記計数した組の個数と前記Ｎとの割合に基づいて前記推定したパラメータの信頼度を判定する第５の工程と、
前記判定された信頼度が予め設定した信頼度に達するまで、又は予め設定した反復回数に達するまで前記第１の工程から第５の工程の処理を繰り返す工程と、
を備える請求項８に記載の立体画像処理方法。
【請求項１０】
前記パラメータ推定工程は、
前記判定された信頼度が予め設定した信頼度に達したときの前記推定したパラメータ、又は前記反復回数中で最も信頼度が高いときの前記推定したパラメータを用いて、前記Ｎ個の組について変換後の対応点のｙ座標値を算出する第６の工程と、
前記第６の工程により算出された変換後の対応点のｙ座標値と前記特徴点のｙ座標値との差分をＮ個の組についてそれぞれ算出する第７の工程と、
前記第７の工程により算出された差分が予め設定した第２の閾値未満となる特徴点と対応点の組のみを前記Ｎ個の組から選択する第８の工程と、
前記第８の工程で選択された特徴点と対応点の組のみを用いて前記複数のパラメータを算出する第９の工程と、
を含む、請求項９に記載の立体画像処理方法。
【請求項１１】
前記第９の工程において、前記第８の工程で選択された複数の組の変換後の対応点のｙ座標値と特徴点のｙ座標値との差の自乗和を最小にする前記複数のパラメータを算出する、請求項１０に記載の立体画像処理方法。
【請求項１２】
複数の視点から同一被写体を撮影した複数の画像を取得し、
前記取得した複数の画像のうちの所定の画像を基準画像として選択し、前記基準画像以外の画像を対象画像として選択し、前記基準画像から複数の特徴点を、前記対象画像から対応点を検出して、同じ組に含まれる特徴点と対応点の特徴が略一致するような特徴点と対応点の組を生成し、
前記同じ組に含まれる特徴点と対応点について、前記複数の視点の視差方向と直交する方向のｙ座標値が略一致するように前記対象画像を幾何変形するための幾何変形パラメータを推定し、
前記推定した幾何変形パラメータに基づいて前記対象画像を幾何変形する、
立体画像処理プロセスをコンピュータに実行させるためのコンピュータプログラムを備えるコンピュータ読み取り可能な記録媒体。
【請求項１３】
請求項１から６のいずれかに記載の立体画像処理装置と、
複数の視点位置にそれぞれ配置され、前記視差方向に沿う視点位置から同一被写体をそれぞれ撮像する複数の撮像ユニットとを備え、
前記画像取得手段は、前記複数の撮像ユニットによってそれぞれ撮像された複数の画像を取得する、立体撮像装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
前記目的を達成するために、本発明の第１の態様に係る立体画像処理装置は、複数の視点から同一被写体を撮影した複数の画像を取得する画像取得手段と、前記取得した複数の画像のうちの所定の画像を基準画像として選択し、前記基準画像以外の画像を対象画像として選択し、前記基準画像と対象画像との間で特徴が略一致する複数の組の対応点を検出する対応点検出手段と、前記検出した複数の組の対応点のうちの一方の対応点のｘｙ座標値と、他方の対応点のｘｙ座標値とのうち、前記複数の視点の視差方向と直交する方向のｙ座標値のみが略一致するように前記対象画像を幾何変形するための幾何変形パラメータを推定するパラメータ推定手段と、前記推定した幾何変形パラメータに基づいて前記対象画像を幾何変形する画像変形手段と、を備えたことを特徴としている。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
上記第１の態様に係る発明によれば、複数の視点から同一被写体を撮影した複数の画像のうちの所定の画像（基準画像）と前記基準画像以外の画像（対象画像）のそれぞれの対応点間の変位のうち、前記複数の視点の視差方向と直交する方向の成分を略ゼロにするという拘束条件を設けた上で、対象画像を幾何変形するための幾何変形パラメータを推定するようにしている。即ち、前記検出した複数の組の対応点のうちの一方の対応点のｘｙ座標値と、他方の対応点のｘｙ座標値とのうち、前記複数の視点の視差方向と直交する方向のｙ座標値のみが略一致するように前記対象画像を幾何変形するための幾何変形パラメータを推定する。このようにして推定した幾何変形パラメータに基づいて対象画像を幾何変形することで、本来、基準画像と対象画像間に生じるべき視差による画角ずれを残しつつ、視差方向と直交する方向の画角ずれを補正することができ、理想的な視差画像を得ることができる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
本発明の第２の態様は、上記第１の態様に係る立体画像処理装置において、前記幾何変形パラメータは、複数のパラメータからなり、前記パラメータ推定手段は、少なくとも前記検出した複数の組の対応点のうちの一方の対応点のｘｙ座標値と他方の対応点のｙ座標値とを用いて、前記複数のパラメータの少なくとも一部を推定することを特徴としている。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
本発明の第３の態様は、上記第２の態様に係る立体画像処理装置において、前記パラメータ推定手段は、前記推定した複数のパラメータの一部を用いて、前記複数のパラメータの残りのパラメータを算出することを特徴としている。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
本発明の第４の態様は、上記第２の態様に係る立体画像処理装置において、前記幾何変形パラメータは射影変換パラメータであり、前記パラメータ推定手段は、前記検出した複数の組の対応点のうちの５組以上を選択し、前記選択した各組の対応点の座標値に基づいて、少なくとも射影変換先のｙ座標値を決定するためのパラメータを推定することを特徴としている。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
本発明の第５の態様は、上記第４の態様に係る立体画像処理装置において、前記パラメータ推定手段は、前記推定した少なくとも射影変換先のｙ座標値を決定するためのパラメータに基づいて、射影変換先のｘ座標値を決定するために必要な残りのパラメータを算出することを特徴としている。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
本発明の第６の態様は、上記第２の態様に係る立体画像処理装置において、前記幾何変形パラメータはヘルマート変換パラメータであり、前記パラメータ推定手段は、前記検出した複数の組の対応点のうちの３組以上を選択し、前記選択した各組の対応点の座標値に基づいて前記ヘルマート変換パラメータを推定することを特徴としている。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
本発明の第７の態様に係る立体画像処理方法は、複数の視点から同一被写体を撮影した複数の画像を取得する画像取得工程と、前記取得した複数の画像のうちの所定の画像を基準画像として選択し、前記基準画像以外の画像を対象画像として選択し、前記基準画像と対象画像との間で特徴が略一致する複数の組の対応点を検出する対応点検出工程と、前記検出した複数の組の対応点のうちの一方の対応点のｘｙ座標値と、他方の対応点のｘｙ座標値とのうち、前記複数の視点の視差方向と直交する方向のｙ座標値のみが略一致するように前記対象画像を幾何変形するための幾何変形パラメータを推定するパラメータ推定工程と、前記推定した幾何変形パラメータに基づいて前記対象画像を幾何変形する画像変形工程と、を含むことを特徴としている。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
本発明の第８の態様は、上記第７の態様に係る立体画像処理方法において、前記幾何変形パラメータは、複数のパラメータからなり、前記パラメータ推定工程は、少なくとも前記検出した複数の組の対応点のうちの一方の対応点のｘｙ座標値と他方の対応点のｙ座標値とを用いて、前記複数のパラメータの少なくとも一部を推定することを特徴としている。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
本発明の第９の態様は、上記第８の態様に係る立体画像処理方法において、前記パラメータ推定工程は、前記複数の組の総数をＮ個とすると、前記Ｎ個の組から前記幾何変形パラメータのうちの少なくとも変換先のｙ座標値を決定するためのパラメータの推定に必要な数の組をランダムに選択する第１の工程と、前記第１の工程によりランダムに選択された各対応点の座標値に基づいて推定したパラメータを用いて、前記Ｎ個の組についてそれぞれ一方の対応点の変換先のｙ座標値を算出する第２の工程と、前記第２の工程により算出された一方の対応点の変換先のｙ座標値と他方の対応点のｙ座標値との差分を前記Ｎ個の組についてそれぞれ算出する第３の工程と、前記第３の工程により算出された差分が予め設定した第１の閾値未満となる対応点の組の個数を計数する第４の工程と、前記計数した組の個数と前記Ｎ個との割合に基づいて前記推定したパラメータの信頼度を判定する第５の工程と、を含み、前記判定された信頼度が予め設定した信頼度に達するまで、又は予め設定した反復回数に達するまで前記第１の工程から第５の工程の処理を繰り返すことを特徴としている。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
上記第９の態様に係る発明によれば、前記検出された複数の対応点の組の総数がＮ個ある場合に、Ｎ個の組の中から、幾何変形パラメータのうちの少なくとも変換先のｙ座標値を決定するためのパラメータの推定に必要な数の組（射影変換の場合は５組、ヘルマート変換の場合は３組）として、適切な組み合わせのものを決定できるようにしている。即ち、Ｎ個の組からパラメータの推定に必要な数の組をランダムに選択し、その選択した組の各対応点の座標値に基づいて推定したパラメータを用いて、Ｎ個の組についてそれぞれ一方の対応点の変換先のｙ座標値を算出する。この算出された変換先のｙ座標値と、他方の対応点のｙ座標値との差分をＮ個の組についてそれぞれ算出し、この算出した差分が予め設定した第１の閾値未満となる対応点の組の個数を計数する。この計数した組の個数と前記Ｎ個との割合に基づいて、前記推定したパラメータの信頼度を判定している。そして、前記推定したパラメータの信頼度の判定結果が予め設定した信頼度に達するまで、又は予め設定した反復回数に達するまで前記ランダムな組の選択等の処理を繰り返し、これにより、少なくとも変換先のｙ座標値を決定するためのパラメータの推定に必要な数の組として、適切な組み合わせのものを決定できるようにしている。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
本発明の第１０の態様は、上記第９の態様に係る立体画像処理方法において、前記パラメータ推定工程は、前記判定された信頼度が予め設定した信頼度に達したときの前記推定したパラメータ、又は前記反復回数中で最も信頼度が高いときの前記推定したパラメータを用いて、前記Ｎ個の組についてそれぞれ一方の対応点の変換先のｙ座標値を算出する第６の工程と、前記第６の工程により算出された一方の対応点の変換先のｙ座標値と他方の対応点のｙ座標値との差分をＮ個の組についてそれぞれ算出する第７の工程と、前記第７の工程により算出された差分が予め設定した第２の閾値未満となる対応点の組のみを前記Ｎ個の組から選択する第８の工程と、前記第８の工程で選択された対応点の組のみを用いて前記複数のパラメータを算出する第９の工程と、を含むことを特徴としている。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
本発明の第１１の態様は、上記第１０の態様に係る立体画像処理方法において、前記第９の工程は、前記第８の工程で選択された複数の組の一方の対応点の変換先のｙ座標値と他方の対応点のｙ座標値との差の自乗和を最小にする前記複数のパラメータを算出することを特徴としている。即ち、最小自乗法により最終の複数のパラメータの推定を行っている。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
本発明の第１２の態様に係る立体画像処理プログラムは、複数の視点から同一被写体を撮影した複数の画像を取得する画像取得機能と、前記取得した複数の画像のうちの所定の画像を基準画像として選択し、前記基準画像以外の画像を対象画像として選択し、前記基準画像と対象画像との間で特徴が略一致する複数の組の対応点を検出する対応点検出機能と、前記検出した複数の組の対応点のうちの一方の対応点のｘｙ座標値と、他方の対応点のｘｙ座標値とのうち、前記複数の視点の視差方向と直交する方向のｙ座標値のみが略一致するように前記対象画像を幾何変形するための幾何変形パラメータを推定するパラメータ推定機能と、前記推定した幾何変形パラメータに基づいて前記対象画像を幾何変形する画像変形機能と、をコンピュータに実現させることを特徴としている。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
本発明の第１３の態様に係る立体撮像装置は、上記第１から第６のいずれかの態様に係る立体画像処理装置と、複数の視点位置にそれぞれ配置され、該視点位置から同一被写体をそれぞれ撮像する複数の撮像ユニットと、を備え、前記画像取得手段は、前記複数の撮像ユニットによってそれぞれ撮像された複数の画像を取得することを特徴としている。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】立体画像処理装置、方法及び記録媒体並びに立体撮像装置
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
ＣＣＤ４４は、２次元のカラーＣＣＤ固体撮像素子により構成されている。ＣＣＤ４４の受光面には、多数のフォトダイオードが２次元的に配列されており、各フォトダイオードには所定の配列でカラーフィルタが配置されている。撮影レンズ４０、絞り４１、ＩＲカットフィルタ４２、及び光学ローパスフィルタ４３を介してＣＣＤ受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１２の指令に従ってＣＣＤ駆動部４８から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）としてＣＣＤ４４から順次読み出される。ＣＣＤ４４は、電子シャッタ機能を備えており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間（シャッタ速度）が制御される。尚、本実施形態では、撮像素子としてＣＣＤ４４を用いているが、ＣＭＯＳセンサ等の他の構成の撮像素子を用いることもできる。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００５０
【補正方法】変更
【補正の内容】
【００５０】
外部記録部２８は、上記圧縮伸張処理部２６により生成されたＪＰＥＧ形式等の画像データを格納した画像ファイルを、メモリカード等の着脱自在な外部記録媒体に記録し、又は外部記録媒体から画像ファイルの読み出しを行う。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００６３
【補正方法】変更
【補正の内容】
【００６３】
［ステップＳ２２］
幾何変形部３４は、正常に推定された射影変換パラメータに基づいて対象画像を射影変換する。射影変換後の画像は、外部記録部２８にて外部記録媒体に記録される。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００７７
【補正方法】変更
【補正の内容】
【００７７】
［ステップＳ１００］
基準画像から抽出した特徴点と対象画像から検出した各特徴点に対応する対応点のペア（組）の全ての組数をＮ組とした場合、このＮ組の特徴点の座標（x,y）と対応点の座標(X,Y)を読み込む。ｉ番目（１≦ｉ≦Ｎ）の組の特徴点の座標を(xi,yi)、対応点の座標を(Xi,Yi)とする。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００９８
【補正方法】変更
【補正の内容】
【００９８】
信頼度最大値n_vote_maxは、Ｎ個の点の組のうち、推定されたパラメータによる射影変換によりｙ座標値が略一致する点の組の数であるから、n_vote_max／Ｎは、全ての点の組の数Ｎに対する適正に補正される点の数の割合を示す。従って、n_vote_max／ＮがＴＨ２以上の場合は、推定されたパラメータは十分信頼できるとして、パラメータの反復推定を終了し、最終の射影変換パラメータの算出に移行する。一方、n_vote_max／ＮがＴＨ２未満の場合は、パラメータの反復推定を続行する。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】０１１０
【補正方法】変更
【補正の内容】
【０１１０】
［ステップＳ１２８］
上記条件式２を満たした点の組のみを用い、最小自乗法による最終的なパラメータの推定を行う。ここで、条件式２を満たした点の組の数をｎとすると、最小自乗法によるパラメータ推定は、次式の評価関数Ｊ２が最小となるようにパラメータを推定する。
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】０１２３
【補正方法】変更
【補正の内容】
【０１２３】
これを一般化し、射影面がｘ軸となす角度をθｘ，ｙ軸（図１０上で紙面と直交する方向の軸）となす角度をθｙとすれば、以下の式が得られる。