(57)【要約】      （修正有）【課題】多眼ステレオ画像を用いて平面パラメータを短時間で安定且つ精度良く推定する平面パラメータ推定装置を提供する。【解決手段】多眼ステレオ画像の画像ペア毎に定まるヘッセ行列を含めて繰返し計算ごとに変化しない諸量を１度だけ計算する前処理計算部と、各画像ペアのヘッセ行列に基づき、１つの画像ペア又は２つの画像ペアを選択する画像ペア選択部と、選択された画像ペアに対して基準画像と参照画像の役割を入れ替えて定式化されたＳＳＤを第１のコスト関数とし、第１推定を別々に行う第１推定部と、第１のコスト関数の値の小さい方の第１推定の平面パラメータ推定値を初期値とし、ＳＳＤを全画像ペアから選択された多数の画像ペアについて加算したＳＳＳＤを第２のコスト関数とし、第２推定を行い、得られた推定値を平面パラメータとする第２推定部とを備える。また、第１推定及び第２推定における繰返し計算を行う際に諸量を利用する。【選択図】図１
2009186287.tif 000002
【特許請求の範囲】
【請求項１】
既知の視点位置を持つ校正済みの多眼ステレオカメラによって撮影された多眼ステレオ画像を用いて、撮影対象の平面パラメータを推定する平面パラメータ推定装置であって、
１つの基準画像、前記基準画像上に設定された注目領域、複数の参照画像、カメラ内部パラメータ、カメラ間の外部パラメータを入力とし、画像ペア毎に定まるヘッセ行列を含めて繰返し計算ごとに変化しない複数のパラメータを１度だけ計算する、前処理計算部と、
前記前処理計算部で算出された各画像ペアのヘッセ行列に基づき、前記多眼ステレオ画像の全画像ペアから、１つの画像ペア又は２つの画像ペアを選択する、画像ペア選択部と、
前記画像ペア選択部で選択された、前記１つの画像ペア又は前記２つの画像ペアに対して、基準画像と参照画像の役割を入れ替えて定式化されたＳＳＤを第１のコスト関数とし、前記第１のコスト関数を最適化アルゴリズムにより最適化することにより、２眼ステレオ画像による平面パラメータ推定（以下、第１推定と言う。）を別々に行い、前記第１のコスト関数の値の小さい方の前記第１推定の平面パラメータ推定値を前記平面パラメータとする、第１推定部と、
を備え、
前記第１推定部で行われる前記第１推定において、前記第１のコスト関数を最適化するための繰返し計算を行う際に、前記複数のパラメータを利用することを特徴とする平面パラメータ推定装置。
【請求項２】
前記最適化アルゴリズムは、Guass-Newton法に基づくアルゴリズムである請求項１に記載の平面パラメータ推定装置。
【請求項３】
前記画像ペア選択部では、前記全画像ペアのうち、画像ペアにおけるヘッセ行列の条件数が最小で、且つその画像ペアを撮影したカメラ間のベースライン長が最小の画像ペアを、前記１つの画像ペア又は前記２つの画像ペアとして選択する請求項２に記載の平面パラメータ推定装置。
【請求項４】
前記画像ペア選択部では、前記全画像ペアのうち、画像ペアにおけるヘッセ行列から算出された曲率が最大で、且つその画像ペアを撮影したカメラ間のベースライン長が最小の画像ペアを、前記１つの画像ペア又は前記２つの画像ペアとして選択する請求項２に記載の平面パラメータ推定装置。
【請求項５】
前記曲率とは、主曲率、平均曲率、ガウス曲率の何れかである請求項４に記載の平面パラメータ推定装置。
【請求項６】
前記第１のコスト関数は、
2009186287.tif 000245
によって表され、
ただし、
2009186287.tif 000246
と表される座標変換式と等価な座標変換関数であり、
2009186287.tif 000247
の関係は、
2009186287.tif 000248
によって定められ、
2009186287.tif 000249
2009186287.tif 000250
が成立し、
そして、ＲＯＩは注目領域を表し、Ｔは基準画像であり、基準画像上の点
2009186287.tif 000251
とｎ番目の参照画像上における対応点
2009186287.tif 000252
との関係は同次座標表現
2009186287.tif 000253
を用いて、
2009186287.tif 000254
で表され、
2009186287.tif 000255
は３×３の平面射影変換行列を表し、
2009186287.tif 000256
は基準カメラ座標系とｎ番目のカメラ座標系との間の回転行列を表し、
2009186287.tif 000257
は平行移動ベクトルを表し、
2009186287.tif 000258
は、基準カメラ座標系における平面Πを一意に定める３次元ベクトルで、推定する平面パラメータを表し、
2009186287.tif 000259
は前記複数のパラメータである請求項２乃至請求項５のいずれかに記載の平面パラメータ推定装置。
【請求項７】
既知の視点位置を持つ校正済みの多眼ステレオカメラによって撮影された多眼ステレオ画像を用いて、撮影対象の平面パラメータを推定する平面パラメータ推定装置であって、
１つの基準画像、前記基準画像上に設定された注目領域、複数の参照画像、カメラ内部パラメータ、カメラ間の外部パラメータを入力とし、画像ペア毎に定まるヘッセ行列を含めて繰返し計算ごとに変化しない複数のパラメータを１度だけ計算する、前処理計算部と、
前記前処理計算部で算出された各画像ペアのヘッセ行列に基づき、前記多眼ステレオ画像の全画像ペアから、１つの画像ペア又は２つの画像ペアを選択する、画像ペア選択部と、
前記画像ペア選択部で選択された、前記１つの画像ペア又は前記２つの画像ペアに対して、基準画像と参照画像の役割を入れ替えて定式化されたＳＳＤを第１のコスト関数とし、前記第１のコスト関数を最適化アルゴリズムにより最適化することにより、２眼ステレオ画像による平面パラメータ推定（以下、第１推定と言う。）を別々に行う、第１推定部と、
前記第１のコスト関数の値の小さい方の前記第１推定の平面パラメータ推定値を初期値とし、前記ＳＳＤを前記全画像ペアから選択された多数の画像ペアについて加算したＳＳＳＤを第２のコスト関数とし、前記第２のコスト関数を前記最適化アルゴリズムにより最適化することにより、多眼ステレオ画像による平面パラメータ推定（以下、第２推定と言う。）を行い、得られた第２推定の平面パラメータ推定値を前記平面パラメータとする、第２推定部と、
を備え、
前記第１推定部で行われる前記第１推定において、前記第１のコスト関数を最適化するための繰返し計算を行う際に、前記複数のパラメータを利用し、
前記第２推定部で行われる前記第２推定において、前記第２のコスト関数を最適化するための繰返し計算を行う際に、前記複数のパラメータを利用することを特徴とする平面パラメータ推定装置。
【請求項８】
前記最適化アルゴリズムは、Guass-Newton法に基づくアルゴリズムである請求項７に記載の平面パラメータ推定装置。
【請求項９】
前記画像ペア選択部では、前記全画像ペアのうち、画像ペアにおけるヘッセ行列の条件数が最小で、且つその画像ペアを撮影したカメラ間のベースライン長が最小の画像ペアを、前記１つの画像ペア又は前記２つの画像ペアとして選択する請求項８に記載の平面パラメータ推定装置。
【請求項１０】
前記画像ペア選択部では、前記全画像ペアのうち、画像ペアにおけるヘッセ行列から算出された曲率が最大で、且つその画像ペアを撮影したカメラ間のベースライン長が最小の画像ペアを、前記１つの画像ペア又は前記２つの画像ペアとして選択する請求項８に記載の平面パラメータ推定装置。
【請求項１１】
前記曲率とは、主曲率、平均曲率、ガウス曲率の何れかである請求項１０に記載の平面パラメータ推定装置。
【請求項１２】
前記全画像ペアを、前記第２推定部で利用される前記多数の画像ペアとして利用する請求項８乃至請求項１１のいずれかに記載の平面パラメータ推定装置。
【請求項１３】
所定の複数画像ペア選択基準により、前記全画像ペアから選択した、前記画像ペア選択部で選択された前記１つの画像ペア又は前記２つの画像ペアも含めた複数の画像ペアを、前記第２推定部で利用される前記多数の画像ペアとして利用する請求項８乃至請求項１１のいずれかに記載の平面パラメータ推定装置。
【請求項１４】
前記所定の複数画像ペア選択基準とは、前記第２推定の初期値として利用された前記第１推定の平面パラメータ推定値を用いて、前記全画像ペアに対し、前記ＳＳＤを計算し、計算した結果が小さい画像ペアのみを前記第２推定部で利用される前記多数の画像ペアとして選択するものである請求項１３に記載の平面パラメータ推定装置。
【請求項１５】
前記第１のコスト関数は、
2009186287.tif 000260
によって表され、
前記第２のコスト関数は、
2009186287.tif 000261
によって表され、
ただし、
2009186287.tif 000262
と表される座標変換式と等価な座標変換関数であり、
2009186287.tif 000263
の関係は、
2009186287.tif 000264
によって定められ、
2009186287.tif 000265
2009186287.tif 000266
が成立し、
そして、ＲＯＩは注目領域を表し、Ｔは基準画像であり、基準画像上の点
2009186287.tif 000267
とｎ番目の参照画像上における対応点
2009186287.tif 000268
との関係は同次座標表現
2009186287.tif 000269
を用いて、
2009186287.tif 000270
で表され、
2009186287.tif 000271
は３×３の平面射影変換行列を表し、
2009186287.tif 000272
は基準カメラ座標系とｎ番目のカメラ座標系との間の回転行列を表し、
2009186287.tif 000273
は平行移動ベクトルを表し、
2009186287.tif 000274
は、基準カメラ座標系における平面Πを一意に定める３次元ベクトルで、推定する平面パラメータを表し、
2009186287.tif 000275
は前記複数のパラメータである請求項８乃至請求項１４のいずれかに記載の平面パラメータ推定装置。
【請求項１６】
既知の視点位置を持つ校正済みの多眼ステレオカメラによって撮影された多眼ステレオ画像を用いて、撮影対象の平面パラメータを推定する平面パラメータ推定装置における平面パラメータ推定方法であって、
１つの基準画像、前記基準画像上に設定された注目領域、複数の参照画像、カメラ内部パラメータ、カメラ間の外部パラメータを入力とし、画像ペア毎に定まるヘッセ行列を含めて繰返し計算ごとに変化しない複数のパラメータを１度だけ計算する、前処理計算ステップと、
前記前処理計算ステップで算出された各画像ペアのヘッセ行列に基づき、前記多眼ステレオ画像の全画像ペアから、１つの画像ペア又は２つの画像ペアを選択する、画像ペア選択ステップと、
前記画像ペア選択ステップで選択された、前記１つの画像ペア又は前記２つの画像ペアに対して、基準画像と参照画像の役割を入れ替えて定式化されたＳＳＤを第１のコスト関数とし、前記第１のコスト関数を最適化アルゴリズムにより最適化することにより、２眼ステレオ画像による平面パラメータ推定（以下、第１推定と言う。）を別々に行い、前記第１のコスト関数の値の小さい方の前記第１推定の平面パラメータ推定値を前記平面パラメータとする、第１推定ステップと、
を有し、
前記平面パラメータ推定装置は、前記第１推定ステップで行われる前記第１推定において、前記第１のコスト関数を最適化するための繰返し計算を行う際に、前記複数のパラメータを利用することを特徴とする平面パラメータ推定方法。
【請求項１７】
前記最適化アルゴリズムは、Guass-Newton法に基づくアルゴリズムである請求項１６に記載の平面パラメータ推定方法。
【請求項１８】
前記画像ペア選択ステップにおいて、前記平面パラメータ推定装置は、前記全画像ペアのうち、画像ペアにおけるヘッセ行列の条件数が最小で、且つその画像ペアを撮影したカメラ間のベースライン長が最小の画像ペアを、前記１つの画像ペア又は前記２つの画像ペアとして選択する請求項１７に記載の平面パラメータ推定方法。
【請求項１９】
前記画像ペア選択ステップにおいて、前記平面パラメータ推定装置は、前記全画像ペアのうち、画像ペアにおけるヘッセ行列から算出された曲率が最大で、且つその画像ペアを撮影したカメラ間のベースライン長が最小の画像ペアを、前記１つの画像ペア又は前記２つの画像ペアとして選択する請求項１７に記載の平面パラメータ推定方法。
【請求項２０】
前記曲率とは、主曲率、平均曲率、ガウス曲率の何れかである請求項１９に記載の平面パラメータ推定方法。
【請求項２１】
前記第１のコスト関数は、
2009186287.tif 000276
によって表され、
ただし、
2009186287.tif 000277
と表される座標変換式と等価な座標変換関数であり、
2009186287.tif 000278
の関係は、
2009186287.tif 000279
によって定められ、
2009186287.tif 000280
2009186287.tif 000281
が成立し、
そして、ＲＯＩは注目領域を表し、Ｔは基準画像であり、基準画像上の点
2009186287.tif 000282
とｎ番目の参照画像上における対応点
2009186287.tif 000283
との関係は同次座標表現
2009186287.tif 000284
を用いて、
2009186287.tif 000285
で表され、
2009186287.tif 000286
は３×３の平面射影変換行列を表し、
2009186287.tif 000287
は基準カメラ座標系とｎ番目のカメラ座標系との間の回転行列を表し、
2009186287.tif 000288
は平行移動ベクトルを表し、
2009186287.tif 000289
は、基準カメラ座標系における平面Πを一意に定める３次元ベクトルで、推定する平面パラメータを表し、
2009186287.tif 000290
は前記複数のパラメータである請求項１７乃至請求項２０のいずれかに記載の平面パラメータ推定方法。
【請求項２２】
既知の視点位置を持つ校正済みの多眼ステレオカメラによって撮影された多眼ステレオ画像を用いて、撮影対象の平面パラメータを推定する平面パラメータ推定装置における平面パラメータ推定方法であって、
１つの基準画像、前記基準画像上に設定された注目領域、複数の参照画像、カメラ内部パラメータ、カメラ間の外部パラメータを入力とし、画像ペア毎に定まるヘッセ行列を含めて繰返し計算ごとに変化しない複数のパラメータを１度だけ計算する、前処理計算ステップと、
前記前処理計算ステップで算出された各画像ペアのヘッセ行列に基づき、前記多眼ステレオ画像の全画像ペアから、１つの画像ペア又は２つの画像ペアを選択する、画像ペア選択ステップと、
前記画像ペア選択ステップで選択された、前記１つの画像ペア又は前記２つの画像ペアに対して、基準画像と参照画像の役割を入れ替えて定式化されたＳＳＤを第１のコスト関数とし、前記第１のコスト関数を最適化アルゴリズムにより最適化することにより、２眼ステレオ画像による平面パラメータ推定（以下、第１推定と言う。）を別々に行う、第１推定ステップと、
前記第１のコスト関数の値の小さい方の前記第１推定の平面パラメータ推定値を初期値とし、前記ＳＳＤを前記全画像ペアから選択された多数の画像ペアについて加算したＳＳＳＤを第２のコスト関数とし、前記第２のコスト関数を前記最適化アルゴリズムにより最適化することにより、多眼ステレオ画像による平面パラメータ推定（以下、第２推定と言う。）を行い、得られた第２推定の平面パラメータ推定値を前記平面パラメータとする、第２推定ステップと、
を有し、
前記平面パラメータ推定装置は、前記第１推定ステップで行われる前記第１推定において、前記第１のコスト関数を最適化するための繰返し計算を行う際に、前記複数のパラメータを利用し、
前記平面パラメータ推定装置は、前記第２推定ステップで行われる前記第２推定において、前記第２のコスト関数を最適化するための繰返し計算を行う際に、前記複数のパラメータを利用することを特徴とする平面パラメータ推定方法。
【請求項２３】
前記最適化アルゴリズムは、Guass-Newton法に基づくアルゴリズムである請求項２２に記載の平面パラメータ推定方法。
【請求項２４】
前記画像ペア選択ステップにおいて、前記平面パラメータ推定装置は、前記全画像ペアのうち、画像ペアにおけるヘッセ行列の条件数が最小で、且つその画像ペアを撮影したカメラ間のベースライン長が最小の画像ペアを、前記１つの画像ペア又は前記２つの画像ペアとして選択する請求項２３に記載の平面パラメータ推定方法。
【請求項２５】
前記画像ペア選択ステップにおいて、前記平面パラメータ推定装置は、前記全画像ペアのうち、画像ペアにおけるヘッセ行列から算出された曲率が最大で、且つその画像ペアを撮影したカメラ間のベースライン長が最小の画像ペアを、前記１つの画像ペア又は前記２つの画像ペアとして選択する請求項２３に記載の平面パラメータ推定方法。
【請求項２６】
前記曲率とは、主曲率、平均曲率、ガウス曲率の何れかである請求項２５に記載の平面パラメータ推定方法。
【請求項２７】
前記平面パラメータ推定装置は、前記全画像ペアを、前記第２推定ステップで利用される前記多数の画像ペアとして利用する請求項２３乃至請求項２６のいずれかに記載の平面パラメータ推定方法。
【請求項２８】
前記平面パラメータ推定装置は、所定の複数画像ペア選択基準により、前記全画像ペアから選択した、前記画像ペア選択ステップで選択された前記１つの画像ペア又は前記２つの画像ペアも含めた複数の画像ペアを、前記第２推定ステップで利用される前記多数の画像ペアとして利用する請求項２３乃至請求項２６のいずれかに記載の平面パラメータ推定方法。
【請求項２９】
前記所定の複数画像ペア選択基準とは、前記第２推定の初期値として利用された前記第１推定の平面パラメータ推定値を用いて、前記全画像ペアに対し、前記ＳＳＤを計算し、計算した結果が小さい画像ペアのみを前記第２推定ステップで利用される前記多数の画像ペアとして選択するものである請求項２８に記載の平面パラメータ推定方法。
【請求項３０】
前記第１のコスト関数は、
2009186287.tif 000291
によって表され、
前記第２のコスト関数は、
2009186287.tif 000292
によって表され、
ただし、
2009186287.tif 000293
と表される座標変換式と等価な座標変換関数であり、
2009186287.tif 000294
の関係は、
2009186287.tif 000295
によって定められ、
2009186287.tif 000296
2009186287.tif 000297
が成立し、
そして、ＲＯＩは注目領域を表し、Ｔは基準画像であり、基準画像上の点
2009186287.tif 000298
とｎ番目の参照画像上における対応点
2009186287.tif 000299
との関係は同次座標表現
2009186287.tif 000300
を用いて、
2009186287.tif 000301
で表され、
2009186287.tif 000302
は３×３の平面射影変換行列を表し、
2009186287.tif 000303
は基準カメラ座標系とｎ番目のカメラ座標系との間の回転行列を表し、
2009186287.tif 000304
は平行移動ベクトルを表し、
2009186287.tif 000305
は、基準カメラ座標系における平面Πを一意に定める３次元ベクトルで、推定する平面パラメータを表し、
2009186287.tif 000306
は前記複数のパラメータである請求項２３乃至請求項２９のいずれかに記載の平面パラメータ推定方法。
【請求項３１】
既知の視点位置を持つ校正済みの多眼ステレオカメラによって撮影された多眼ステレオ画像を用いて、撮影対象の平面パラメータを推定するためにコンピュータを、
１つの基準画像、前記基準画像上に設定された注目領域、複数の参照画像、カメラ内部パラメータ、カメラ間の外部パラメータを入力とし、画像ペア毎に定まるヘッセ行列を含めて繰返し計算ごとに変化しない複数のパラメータを１度だけ計算する、前処理計算手段、
前記前処理計算手段で算出された各画像ペアのヘッセ行列に基づき、前記多眼ステレオ画像の全画像ペアから、１つの画像ペア又は２つの画像ペアを選択する、画像ペア選択手段、
前記画像ペア選択手段で選択された、前記１つの画像ペア又は前記２つの画像ペアに対して、基準画像と参照画像の役割を入れ替えて定式化されたＳＳＤを第１のコスト関数とし、前記第１のコスト関数を最適化アルゴリズムにより最適化することにより、２眼ステレオ画像による平面パラメータ推定（以下、第１推定と言う。）を別々に行い、前記第１のコスト関数の値の小さい方の前記第１推定の平面パラメータ推定値を前記平面パラメータとする、第１推定手段、
として機能させるための平面パラメータ推定プログラムであって、
前記第１推定手段で行われる前記第１推定において、前記第１のコスト関数を最適化するための繰返し計算を行う際に、前記複数のパラメータを利用することを特徴とする平面パラメータ推定プログラム。
【請求項３２】
前記最適化アルゴリズムは、Guass-Newton法に基づくアルゴリズムである請求項３１に記載の平面パラメータ推定プログラム。
【請求項３３】
前記画像ペア選択手段では、前記全画像ペアのうち、画像ペアにおけるヘッセ行列の条件数が最小で、且つその画像ペアを撮影したカメラ間のベースライン長が最小の画像ペアを、前記１つの画像ペア又は前記２つの画像ペアとして選択する請求項３２に記載の平面パラメータ推定プログラム。
【請求項３４】
前記画像ペア選択手段では、前記全画像ペアのうち、画像ペアにおけるヘッセ行列から算出された曲率が最大で、且つその画像ペアを撮影したカメラ間のベースライン長が最小の画像ペアを、前記１つの画像ペア又は前記２つの画像ペアとして選択する請求項３２に記載の平面パラメータ推定プログラム。
【請求項３５】
前記曲率とは、主曲率、平均曲率、ガウス曲率の何れかである請求項３４に記載の平面パラメータ推定プログラム。
【請求項３６】
前記第１のコスト関数は、
2009186287.tif 000307
によって表され、
ただし、
2009186287.tif 000308
と表される座標変換式と等価な座標変換関数であり、
2009186287.tif 000309
の関係は、
2009186287.tif 000310
によって定められ、
2009186287.tif 000311
2009186287.tif 000312
が成立し、
そして、ＲＯＩは注目領域を表し、Ｔは基準画像であり、基準画像上の点
2009186287.tif 000313
とｎ番目の参照画像上における対応点
2009186287.tif 000314
との関係は同次座標表現
2009186287.tif 000315
を用いて、
2009186287.tif 000316
で表され、
2009186287.tif 000317
は３×３の平面射影変換行列を表し、
2009186287.tif 000318
は基準カメラ座標系とｎ番目のカメラ座標系との間の回転行列を表し、
2009186287.tif 000319
は平行移動ベクトルを表し、
2009186287.tif 000320
は、基準カメラ座標系における平面Πを一意に定める３次元ベクトルで、推定する平面パラメータを表し、
2009186287.tif 000321
は前記複数のパラメータである請求項３２乃至請求項３５のいずれかに記載の平面パラメータ推定プログラム。
【請求項３７】
既知の視点位置を持つ校正済みの多眼ステレオカメラによって撮影された多眼ステレオ画像を用いて、撮影対象の平面パラメータを推定するためにコンピュータを、
１つの基準画像、前記基準画像上に設定された注目領域、複数の参照画像、カメラ内部パラメータ、カメラ間の外部パラメータを入力とし、画像ペア毎に定まるヘッセ行列を含めて繰返し計算ごとに変化しない複数のパラメータを１度だけ計算する、前処理計算手段、
前記前処理計算手段で算出された各画像ペアのヘッセ行列に基づき、前記多眼ステレオ画像の全画像ペアから、１つの画像ペア又は２つの画像ペアを選択する、画像ペア選択手段、
前記画像ペア選択手段で選択された、前記１つの画像ペア又は前記２つの画像ペアに対して、基準画像と参照画像の役割を入れ替えて定式化されたＳＳＤを第１のコスト関数とし、前記第１のコスト関数を最適化アルゴリズムにより最適化することにより、２眼ステレオ画像による平面パラメータ推定（以下、第１推定と言う。）を別々に行う、第１推定手段、
前記第１のコスト関数の値の小さい方の前記第１推定の平面パラメータ推定値を初期値とし、前記ＳＳＤを前記全画像ペアから選択された多数の画像ペアについて加算したＳＳＳＤを第２のコスト関数とし、前記第２のコスト関数を前記最適化アルゴリズムにより最適化することにより、多眼ステレオ画像による平面パラメータ推定（以下、第２推定と言う。）を行い、得られた第２推定の平面パラメータ推定値を前記平面パラメータとする、第２推定手段
として機能させるための平面パラメータ推定プログラムであって、
前記第１推定手段で行われる前記第１推定において、前記第１のコスト関数を最適化するための繰返し計算を行う際に、前記複数のパラメータを利用し、
前記第２推定手段で行われる前記第２推定において、前記第２のコスト関数を最適化するための繰返し計算を行う際に、前記複数のパラメータを利用することを特徴とする平面パラメータ推定プログラム。
【請求項３８】
前記最適化アルゴリズムは、Guass-Newton法に基づくアルゴリズムである請求項３７に記載の平面パラメータ推定プログラム。
【請求項３９】
前記画像ペア選択手段では、前記全画像ペアのうち、画像ペアにおけるヘッセ行列の条件数が最小で、且つその画像ペアを撮影したカメラ間のベースライン長が最小の画像ペアを、前記１つの画像ペア又は前記２つの画像ペアとして選択する請求項３８に記載の平面パラメータ推定プログラム。
【請求項４０】
前記画像ペア選択手段では、前記全画像ペアのうち、画像ペアにおけるヘッセ行列から算出された曲率が最大で、且つその画像ペアを撮影したカメラ間のベースライン長が最小の画像ペアを、前記１つの画像ペア又は前記２つの画像ペアとして選択する請求項３８に記載の平面パラメータ推定プログラム。
【請求項４１】
前記曲率とは、主曲率、平均曲率、ガウス曲率の何れかである請求項４０に記載の平面パラメータ推定プログラム。
【請求項４２】
前記全画像ペアを、前記第２推定手段で利用される前記多数の画像ペアとして利用する請求項３８乃至請求項４１のいずれかに記載の平面パラメータ推定プログラム。
【請求項４３】
所定の複数画像ペア選択基準により、前記全画像ペアから選択した、前記画像ペア選択手段で選択された前記１つの画像ペア又は前記２つの画像ペアも含めた複数の画像ペアを、前記第２推定手段で利用される前記多数の画像ペアとして利用する請求項３８乃至請求項４１のいずれかに記載の平面パラメータ推定プログラム。
【請求項４４】
前記所定の複数画像ペア選択基準とは、前記第２推定の初期値として利用された前記第１推定の平面パラメータ推定値を用いて、前記全画像ペアに対し、前記ＳＳＤを計算し、計算した結果が小さい画像ペアのみを前記第２推定手段で利用される前記多数の画像ペアとして選択するものである請求項４３に記載の平面パラメータ推定プログラム。
【請求項４５】
前記第１のコスト関数は、
2009186287.tif 000322
によって表され、
前記第２のコスト関数は、
2009186287.tif 000323
によって表され、
ただし、
2009186287.tif 000324
と表される座標変換式と等価な座標変換関数であり、
2009186287.tif 000325
の関係は、
2009186287.tif 000326
によって定められ、
2009186287.tif 000327
2009186287.tif 000328
が成立し、
そして、ＲＯＩは注目領域を表し、Ｔは基準画像であり、基準画像上の点
2009186287.tif 000329
とｎ番目の参照画像上における対応点
2009186287.tif 000330
との関係は同次座標表現
2009186287.tif 000331
を用いて、
2009186287.tif 000332
で表され、
2009186287.tif 000333
は３×３の平面射影変換行列を表し、
2009186287.tif 000334
は基準カメラ座標系とｎ番目のカメラ座標系との間の回転行列を表し、
2009186287.tif 000335
は平行移動ベクトルを表し、
2009186287.tif 000336
は、基準カメラ座標系における平面Πを一意に定める３次元ベクトルで、推定する平面パラメータを表し、
2009186287.tif 000337
は前記複数のパラメータである請求項３８乃至請求項４４のいずれかに記載の平面パラメータ推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像処理技術に関し、特に、多眼ステレオカメラで撮影された多眼ステレオ画像（多眼ステレオカメラで取得された複数の画像データ）から、撮影対象の平面の３次元パラメータを推定する平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラムに関するものである。
【背景技術】
【０００２】
ステレオ画像を利用して、平面の３次元パラメータ（即ち、平面の単位法線と基準カメラの光学中心から平面までの距離）を推定する「平面パラメータ推定技術」は、例えば、ロボット歩行のための床面センシング（非特許文献１を参照）や、ヘリコプターの着陸のための地平面センシング、実物体のサーフェス生成（非特許文献２を参照）など、様々なアプリケーションに応用できる有用な技術である。以下、「平面の３次元パラメータ」を単に「平面パラメータ」とも称する。
【０００３】
ステレオ画像を利用して平面パラメータを精度よく求めるには、画像間のＳＳＤ(Sum of Squared Differences)をコスト関数とし、最適化アルゴリズムによってそのコスト関数を最小にする平面パラメータを求める、いわゆる直接法が有効である（非特許文献３を参照）。
【０００４】
しかし、２眼ステレオカメラで撮影された２眼ステレオ画像を用いて、平面パラメータを推定する場合、撮影対象のテクスチャがエピポーラ線と平行なエッジによって構成されていると、奥行き（基準カメラの光学中心から平面までの距離）推定に曖昧性が生じる問題が存在することが知られており、このような問題が生じた場合、２眼ステレオ画像による平面パラメータ推定が不可能となる。
【０００５】
ステレオ計測の分野では、上記のような問題を解決する方法として、多眼ステレオカメラで撮影された多眼ステレオ画像を利用し、ＳＳＳＤ(Sum  of  SSD)を評価するマルチベースラインアルゴリズムが知られている（非特許文献４を参照）。
【非特許文献１】淺谷南己・杉本茂樹・奥富正敏共著,「二足歩行ロボットのための歩行計画に基づくステレオ画像センシング」,画像の認識・理解シンポジウム(MIRU2007)論文集,p.899-904,2007年
【非特許文献２】エス.  スギモト（S.  Sugimoto）、エム.  オクトミ（M.  Okutomi）共著,「ア  ダイレクト  アンド  エフィシェント  メソッド  フォー  ピースワイズ  プラーナ  サーフェス  リーコンストラクション  フロム  ステレオ  イメージズ（A  direct  and  efficient  method  for  piecewise-planar  surface  reconstruction  from  stereo  images）」,ＩＥＥＥ  コンピュータ  ソサイアティ  カンファレンス  オン  コンピュータ  ビジョン  アンド  パターン  リコグニション（IEEE  Computer  Society  Conference  on  Computer  Vision  and  Pattern  Recognition）,2007年
【非特許文献３】キュー.  ケ（Q.  Ke）、ティー.  カナデ（T.  Kanade）共著,「トランスフォーミング  カメラ  ジオメトリー  トゥー  ア  バーチャル  ダウンワード  ルッキング  カメラ：  ローバスト  エゴモーション  エスティメイション  アンド  グラウンド  レイヤー  デテクション（Transforming  camera  geometry  to  a  virtual  downward-looking  camera:  Robust  ego-motion  estimation  and  ground-layer  detection）」,CVPR,  第1巻,  p.390-397,2003年
【非特許文献４】エム.  オクトミ（M.  Okutomi）、ティー.  カナデ（T.  Kanade）共著,「ア  マルチプル  ベースライン  ステレオ（Amultiple-baseline  stereo）」.ＩＥＥＥ  トランスアクションズ  オン  パターン  アナリシス  アンド  マシン  インテリジェンス（IEEE  Transactions  on  Pattern  Analysis  and  Machine  Intelligence）,第15巻,第4号,p.353-367,1993年4月
【非特許文献５】エム.  ハッベクケ（M.  Habbecke）、エル.  コブベルト（L.  Kobbelt）共著,「（Iterative  multi-view  plane  fitting）」,プロシーデングズ  オフ  ザ  １１ｔｈ  インターナショナル  フォール  ワークショップ  オン  ビジョン,  モデリング,  アンド  ビジュアライザション（ＶＭＶ２００６）（Proceedings  of  the  11th  International  Fall  Workshop  on  Vision,  Modeling,  and  Visualization  (VMV2006)）,p.73-80,2006年
【非特許文献６】マーティン  ハッベクケ（Martin  Habbecke）、ライフ  コブベルト（Leif  Kobbelt）共著,「（A  Surface-Growing  Approach  to  Multi-View  Stereo  Reconstruction）」,プロシーデングズ  オフ  ＩＥＥＥ  カンファレンス  オン  コンピュータ  ビジョン  アンド  パターン  リコグニション（ＣＶＰＲ２００７）（proceedings  of  IEEE  Conference  on  Computer  Vision  and  Pattern  Recognition  (CVPR2007)）,p.1-8,2007年
【非特許文献７】杉本茂樹・奥富正敏共著,「ステレオ画像を用いた高速な平面パラメータ推定法」,情報処理学会論文誌：コンピュータビジョンとイメージメディア,第48巻,第SIG  1(CVIM  17)号,p.24-34,2007年
【非特許文献８】オー.  ファゲラス（O.  Faugeras）、エフ.  ラストマン（F.  Lustman）共著,「モーション  アンド  ストラクチャー  フロム  モーション  イン  ア  ピースワイズ  プラーナ  インバイアロンメント（Motion  and  structure  from  motion  in  a  piecewise  planar  environment）」,レポート  デ  レチャルチャ  デ  １’  ＩＮＲＩＡ（Report  de  Recherche  de  l’INRIA）,1988年
【非特許文献９】ケイ.  チン（K.  Chen）著,「マトリクス  プレコンディショニング  テクニックズ  アンド  アプリケイションズ（Matrix  Preconditioning  Techniques  and  Applications）」,  ケンブリッジ  ユニバーシティー  プレス（Cambridge  University  Press）,2005年
【非特許文献１０】ジェー.  ワイ.  ボウグエト（J.-Y.  Bouguet）著,「カメラ  キャリブレーション  ツールボックス  フォー  マットラブ（Camera  Calibration  Toolbox  for  Matlab）」,URL（http://www.vision.caltech.edu/bouguetj/calibdoc/”）
【非特許文献１１】ヴィ.  ビシュ(V.  Vaish)他共著,「シンセティック  アパーチャー  フォーカシング  ユーシング  ア  シーアワープ  ファクトライザション  オフ  ザ  ビューイング  トランスフォーム（Synthetic  aperture  focusing  using  a  shear-warp  factorization  of  the  viewing  transform）」,ＩＥＥＥ  コンピュータ  ソサイアティ  カンファレンス  オン  コンピュータ  ビジョン  アンド  パターン  リコグニション（IEEE  Computer  Society  Conference  on  Computer  Vision  and  Pattern  Recognition）,p.129,2005年
【非特許文献１２】ティー.  ゴト（T.  Goto）、エム.  オクトミ（M.  Okutomi）共著,「ダイレクト  スーパーレゾルーション  アンド  レジストレーション  ユーシング  ロー  ＣＦＡ  イメージズ（Direct  super-resolution  and  registration  using  raw  CFA  images）」,ＩＥＥＥ  コンピュータ  ソサイアティ  カンファレンス  オン  コンピュータ  ビジョン  アンド  パターン  リコグニション（IEEE  Computer  Society  Conference  on  Computer  Vision  and  Pattern  Recognition）,第II巻,p.600607,2004年
【非特許文献１３】池田薫・清水雅夫・奥富正敏共著,「撮影位置の異なる複数の画像を用いた高解像仮想焦点面画像生成」,情報処理学会研究報告(コンピュータビジョンとイメージメディア2006-CVIM-156),第2006巻,第13号,p.101108,2006年
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来、ＳＳＳＤをコスト関数として利用した多眼ステレオカメラで撮影された多眼ステレオ画像による平面パラメータ推定方法は、非特許文献５において定式化されており、そして、非特許文献６において実用のための平面パラメータの初期値の推定方法が提案されている。非特許文献６では、８自由度の平面射影変換パラメータを求めてから、３自由度の平面パラメータを求めて平面パラメータの初期値としている。
【０００７】
しかし、非特許文献５及び非特許文献６に提案された、多眼ステレオカメラで撮影された多眼ステレオ画像による平面パラメータ推定方法を利用して、平面パラメータを推定する場合では、次のような問題点がある。
問題点その１：
８自由度を持つ平面射影変換パラメータを事前に推定することは、平面パラメータ推定の安定性を損なう。
問題点その２：
ＳＳＳＤのコスト関数を最小化するための最適化計算アルゴリズムが非効率である。
問題点その３：
多眼ステレオカメラで撮影された多眼ステレオ画像の全ての画像ペア（全画像ペア）について加算したＳＳＳＤをコスト関数としているため、つまり、平面パラメータ推定に悪影響を与える画像ペアをも含めて、ＳＳＳＤのコスト関数を最適化しているため、平面パラメータ推定の収束の安定性が悪い。
問題点その４：
多眼ステレオカメラで撮影された多眼ステレオ画像の画像ペア数に比例して、平面パラメータ推定するための計算コストが大きくなる。また、各画像ペアにおけるＳＳＤは、常に同一の更新量によって小さくなるとは言えないため、算出される更新量に競合が発生することがある。このことにより、コスト関数の最適化処理における繰返し計算回数が増加し、また、平面パラメータ推定の失敗を引き起こす。
【０００８】
本発明は、上述のような事情から成されたものであり、本発明の目的は、多眼ステレオカメラで撮影された多眼ステレオ画像を利用して、撮影対象の平面パラメータを短時間（少ない計算コスト）で安定且つ精度良く推定する、平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラムを提供することにある。
【課題を解決するための手段】
【０００９】
本発明は、既知の視点位置を持つ校正済みの多眼ステレオカメラによって撮影された多眼ステレオ画像を用いて、撮影対象の平面パラメータを推定する平面パラメータ推定装置に関し、本発明の上記目的は、１つの基準画像、前記基準画像上に設定された注目領域、複数の参照画像、カメラ内部パラメータ、カメラ間の外部パラメータを入力とし、画像ペア毎に定まるヘッセ行列を含めて繰返し計算ごとに変化しない複数のパラメータを１度だけ計算する、前処理計算部と、前記前処理計算部で算出された各画像ペアのヘッセ行列に基づき、前記多眼ステレオ画像の全画像ペアから、１つの画像ペア又は２つの画像ペアを選択する、画像ペア選択部と、前記画像ペア選択部で選択された、前記１つの画像ペア又は前記２つの画像ペアに対して、基準画像と参照画像の役割を入れ替えて定式化されたＳＳＤを第１のコスト関数とし、前記第１のコスト関数を最適化アルゴリズムにより最適化することにより、２眼ステレオ画像による平面パラメータ推定（以下、第１推定と言う。）を別々に行い、前記第１のコスト関数の値の小さい方の前記第１推定の平面パラメータ推定値を前記平面パラメータとする、第１推定部とを備え、前記第１推定部で行われる前記第１推定において、前記第１のコスト関数を最適化するための繰返し計算を行う際に、前記複数のパラメータを利用することにより、或いは、１つの基準画像、前記基準画像上に設定された注目領域、複数の参照画像、カメラ内部パラメータ、カメラ間の外部パラメータを入力とし、画像ペア毎に定まるヘッセ行列を含めて繰返し計算ごとに変化しない複数のパラメータを１度だけ計算する、前処理計算部と、前記前処理計算部で算出された各画像ペアのヘッセ行列に基づき、前記多眼ステレオ画像の全画像ペアから、１つの画像ペア又は２つの画像ペアを選択する、画像ペア選択部と、前記画像ペア選択部で選択された、前記１つの画像ペア又は前記２つの画像ペアに対して、基準画像と参照画像の役割を入れ替えて定式化されたＳＳＤを第１のコスト関数とし、前記第１のコスト関数を最適化アルゴリズムにより最適化することにより、２眼ステレオ画像による平面パラメータ推定（以下、第１推定と言う。）を別々に行う、第１推定部と、前記第１のコスト関数の値の小さい方の前記第１推定の平面パラメータ推定値を初期値とし、前記ＳＳＤを前記全画像ペアから選択された多数の画像ペアについて加算したＳＳＳＤを第２のコスト関数とし、前記第２のコスト関数を前記最適化アルゴリズムにより最適化することにより、多眼ステレオ画像による平面パラメータ推定（以下、第２推定と言う。）を行い、得られた第２推定の平面パラメータ推定値を前記平面パラメータとする、第２推定部とを備え、前記第１推定部で行われる前記第１推定において、前記第１のコスト関数を最適化するための繰返し計算を行う際に、前記複数のパラメータを利用し、前記第２推定部で行われる前記第２推定において、前記第２のコスト関数を最適化するための繰返し計算を行う際に、前記複数のパラメータを利用することによって、効果的に達成される。
【００１０】
また、本発明の上記目的は、前記最適化アルゴリズムは、Guass-Newton法に基づくアルゴリズムであることにより、或いは、前記画像ペア選択部では、前記全画像ペアのうち、画像ペアにおけるヘッセ行列の条件数が最小で、且つその画像ペアを撮影したカメラ間のベースライン長が最小の画像ペアを、前記１つの画像ペア又は前記２つの画像ペアとして選択することにより、或いは、前記画像ペア選択部では、前記全画像ペアのうち、画像ペアにおけるヘッセ行列から算出された曲率が最大で、且つその画像ペアを撮影したカメラ間のベースライン長が最小の画像ペアを、前記１つの画像ペア又は前記２つの画像ペアとして選択することにより、或いは、前記曲率とは、主曲率、平均曲率、ガウス曲率の何れかであることにより、或いは、前記全画像ペアを、前記第２推定部で利用される前記多数の画像ペアとして利用することにより、或いは、所定の複数画像ペア選択基準により、前記全画像ペアから選択した、前記画像ペア選択部で選択された前記１つの画像ペア又は前記２つの画像ペアも含めた複数の画像ペアを、前記第２推定部で利用される前記多数の画像ペアとして利用することにより、或いは、前記所定の複数画像ペア選択基準とは、前記第２推定の初期値として利用された前記第１推定の平面パラメータ推定値を用いて、前記全画像ペアに対し、前記ＳＳＤを計算し、計算した結果が小さい画像ペアのみを前記第２推定部で利用される前記多数の画像ペアとして選択するものであることにより、或いは、前記第１のコスト関数は、
2009186287.tif 000003
によって表され、前記第２のコスト関数は、
2009186287.tif 000004
によって表され、ただし、
2009186287.tif 000005
と表される座標変換式と等価な座標変換関数であり、
2009186287.tif 000006
の関係は、
2009186287.tif 000007
によって定められ、
2009186287.tif 000008
2009186287.tif 000009
が成立し、そして、ＲＯＩは注目領域を表し、Ｔは基準画像であり、基準画像上の点
2009186287.tif 000010
とｎ番目の参照画像上における対応点
2009186287.tif 000011
との関係は同次座標表現
2009186287.tif 000012
を用いて、
2009186287.tif 000013
で表され、
2009186287.tif 000014
は３×３の平面射影変換行列を表し、
2009186287.tif 000015
は基準カメラ座標系とｎ番目のカメラ座標系との間の回転行列を表し、
2009186287.tif 000016
は平行移動ベクトルを表し、
2009186287.tif 000017
は、基準カメラ座標系における平面Πを一意に定める３次元ベクトルで、推定する平面パラメータを表し、
2009186287.tif 000018
は前記複数のパラメータであることによってより効果的に達成される。
【００１１】
また、本発明は、既知の視点位置を持つ校正済みの多眼ステレオカメラによって撮影された多眼ステレオ画像を用いて、撮影対象の平面パラメータを推定する平面パラメータ推定装置における平面パラメータ推定方法に関し、本発明の上記目的は、１つの基準画像、前記基準画像上に設定された注目領域、複数の参照画像、カメラ内部パラメータ、カメラ間の外部パラメータを入力とし、画像ペア毎に定まるヘッセ行列を含めて繰返し計算ごとに変化しない複数のパラメータを１度だけ計算する、前処理計算ステップと、前記前処理計算ステップで算出された各画像ペアのヘッセ行列に基づき、前記多眼ステレオ画像の全画像ペアから、１つの画像ペア又は２つの画像ペアを選択する、画像ペア選択ステップと、前記画像ペア選択ステップで選択された、前記１つの画像ペア又は前記２つの画像ペアに対して、基準画像と参照画像の役割を入れ替えて定式化されたＳＳＤを第１のコスト関数とし、前記第１のコスト関数を最適化アルゴリズムにより最適化することにより、２眼ステレオ画像による平面パラメータ推定（以下、第１推定と言う。）を別々に行い、前記第１のコスト関数の値の小さい方の前記第１推定の平面パラメータ推定値を前記平面パラメータとする、第１推定ステップとを有し、前記平面パラメータ推定装置は、前記第１推定ステップで行われる前記第１推定において、前記第１のコスト関数を最適化するための繰返し計算を行う際に、前記複数のパラメータを利用することにより、或いは、１つの基準画像、前記基準画像上に設定された注目領域、複数の参照画像、カメラ内部パラメータ、カメラ間の外部パラメータを入力とし、画像ペア毎に定まるヘッセ行列を含めて繰返し計算ごとに変化しない複数のパラメータを１度だけ計算する、前処理計算ステップと、前記前処理計算ステップで算出された各画像ペアのヘッセ行列に基づき、前記多眼ステレオ画像の全画像ペアから、１つの画像ペア又は２つの画像ペアを選択する、画像ペア選択ステップと、前記画像ペア選択ステップで選択された、前記１つの画像ペア又は前記２つの画像ペアに対して、基準画像と参照画像の役割を入れ替えて定式化されたＳＳＤを第１のコスト関数とし、前記第１のコスト関数を最適化アルゴリズムにより最適化することにより、２眼ステレオ画像による平面パラメータ推定（以下、第１推定と言う。）を別々に行う、第１推定ステップと、前記第１のコスト関数の値の小さい方の前記第１推定の平面パラメータ推定値を初期値とし、前記ＳＳＤを前記全画像ペアから選択された多数の画像ペアについて加算したＳＳＳＤを第２のコスト関数とし、前記第２のコスト関数を前記最適化アルゴリズムにより最適化することにより、多眼ステレオ画像による平面パラメータ推定（以下、第２推定と言う。）を行い、得られた第２推定の平面パラメータ推定値を前記平面パラメータとする、第２推定ステップとを有し、前記平面パラメータ推定装置は、前記第１推定ステップで行われる前記第１推定において、前記第１のコスト関数を最適化するための繰返し計算を行う際に、前記複数のパラメータを利用し、前記平面パラメータ推定装置は、前記第２推定ステップで行われる前記第２推定において、前記第２のコスト関数を最適化するための繰返し計算を行う際に、前記複数のパラメータを利用することによって、効果的に達成される。
【００１２】
更に、本発明は、既知の視点位置を持つ校正済みの多眼ステレオカメラによって撮影された多眼ステレオ画像を用いて、撮影対象の平面パラメータを推定するために、コンピュータを機能させるための平面パラメータ推定プログラムに関し、本発明の上記目的は、コンピュータを、１つの基準画像、前記基準画像上に設定された注目領域、複数の参照画像、カメラ内部パラメータ、カメラ間の外部パラメータを入力とし、画像ペア毎に定まるヘッセ行列を含めて繰返し計算ごとに変化しない複数のパラメータを１度だけ計算する、前処理計算手段、前記前処理計算手段で算出された各画像ペアのヘッセ行列に基づき、前記多眼ステレオ画像の全画像ペアから、１つの画像ペア又は２つの画像ペアを選択する、画像ペア選択手段、前記画像ペア選択手段で選択された、前記１つの画像ペア又は前記２つの画像ペアに対して、基準画像と参照画像の役割を入れ替えて定式化されたＳＳＤを第１のコスト関数とし、前記第１のコスト関数を最適化アルゴリズムにより最適化することにより、２眼ステレオ画像による平面パラメータ推定（以下、第１推定と言う。）を別々に行い、前記第１のコスト関数の値の小さい方の前記第１推定の平面パラメータ推定値を前記平面パラメータとする、第１推定手段として機能させ、前記第１推定手段で行われる前記第１推定において、前記第１のコスト関数を最適化するための繰返し計算を行う際に、前記複数のパラメータを利用することにより、或いは、コンピュータを、１つの基準画像、前記基準画像上に設定された注目領域、複数の参照画像、カメラ内部パラメータ、カメラ間の外部パラメータを入力とし、画像ペア毎に定まるヘッセ行列を含めて繰返し計算ごとに変化しない複数のパラメータを１度だけ計算する、前処理計算手段、前記前処理計算手段で算出された各画像ペアのヘッセ行列に基づき、前記多眼ステレオ画像の全画像ペアから、１つの画像ペア又は２つの画像ペアを選択する、画像ペア選択手段、前記画像ペア選択手段で選択された、前記１つの画像ペア又は前記２つの画像ペアに対して、基準画像と参照画像の役割を入れ替えて定式化されたＳＳＤを第１のコスト関数とし、前記第１のコスト関数を最適化アルゴリズムにより最適化することにより、２眼ステレオ画像による平面パラメータ推定（以下、第１推定と言う。）を別々に行う、第１推定手段、前記第１のコスト関数の値の小さい方の前記第１推定の平面パラメータ推定値を初期値とし、前記ＳＳＤを前記全画像ペアから選択された多数の画像ペアについて加算したＳＳＳＤを第２のコスト関数とし、前記第２のコスト関数を前記最適化アルゴリズムにより最適化することにより、多眼ステレオ画像による平面パラメータ推定（以下、第２推定と言う。）を行い、得られた第２推定の平面パラメータ推定値を前記平面パラメータとする、第２推定手段として機能させ、前記第１推定手段で行われる前記第１推定において、前記第１のコスト関数を最適化するための繰返し計算を行う際に、前記複数のパラメータを利用し、前記第２推定手段で行われる前記第２推定において、前記第２のコスト関数を最適化するための繰返し計算を行う際に、前記複数のパラメータを利用することによって、効果的に達成される。
【発明の効果】
【００１３】
本発明は、多眼ステレオカメラで撮影された多眼ステレオ画像を利用して、撮影対象の平面パラメータを短時間で安定且つ精度良く推定できるようにした、平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラムに関するものである。
【００１４】
本発明では、多眼ステレオ画像の全画像ペアから選択した多数の画像ペアを用いて、多眼ステレオ画像による平面パラメータ推定（第２推定）を行う前に、まず、平面パラメータ推定に好ましい画像ペアを選択して、選択された画像ペアを用いて、２眼ステレオ画像による平面パラメータ推定（第１推定）を行うようにする。次に、第１推定で得られた平面パラメータ推定値を、第２推定の平面パラメータの初期値とし、多眼ステレオ画像の全画像ペアから選択した多数の画像ペアを用いて第２推定を行う。
【００１５】
本発明によれば、多眼ステレオ画像による平面パラメータ推定を２段階（第１推定、第２推定）で順次行うことにより、また、基準画像と参照画像の役割を入れ替えて定式化したＳＳＤ及びＳＳＳＤをそれぞれ第１推定及び第２推定のコスト関数とすることにより、コスト関数を最適化するための計算コストを大幅に抑えることができ、平面パラメータを短時間（少ない計算コスト）で安定且つ精度良く推定できるという優れた効果を奏する。
【発明を実施するための最良の形態】
【００１６】
まず、本発明の着眼点について説明する。
【００１７】
多眼ステレオカメラで撮影された多眼ステレオ画像（多眼ステレオカメラで取得された複数の画像データ）を用いて、撮影対象の平面パラメータを推定する平面パラメータ推定技術では、画像ペアの画素値の差分二乗和(ＳＳＤ)を全画像ペアについて加算したＳＳＳＤを、コスト関数とする場合に、そのコスト関数を最適化するのにGauss-Newton法による繰返し計算が有効である。
【００１８】
しかし、非特許文献５及び非特許文献６に記載された従来の多眼ステレオ画像による平面パラメータ推定方法のコスト関数を最適化するのに、Gauss-Newton法を適用すると、ヘッセ行列を繰返しごとに計算し直さなければならず、収束解を得るまでの計算コストが非常に大きいという問題が発生してしまう。
【００１９】
一方、非特許文献７に開示されたように、本発明の発明者らにより提案された「ステレオ画像を用いた高速な平面パラメータ推定法」では、２眼ステレオ画像を用いた平面パラメータ推定において、基準画像と参照画像の役割を入れ替えてＳＳＤを定式化することにより、Gauss-Newton法における繰返し計算ごとのヘッセ行列がスケール倍を除いて固定されることが見出されている。つまり、本発明の発明者らが提案した「２眼ステレオ画像による平面パラメータ推定方法」では、ヘッセ行列がスケール倍を除いて固定されることから、Gauss-Newton法による高速な平面パラメータ推定アルゴリズムを実現している。
【００２０】
そこで、本発明の発明者らは、自らの研究成果である「２眼ステレオ画像による平面パラメータ推定方法」（非特許文献７を参照）を、多眼ステレオ画像による平面パラメータ推定に拡張し、更に、多眼ステレオ画像による平面パラメータ推定を２段階で順次行うことにより、多眼ステレオ画像による高精度な平面パラメータ推定を安定に実現すると同時に、平面パラメータ推定の計算コストの大幅な低減をも実現するようにした、本発明の平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラムを発明した。
【００２１】
また、前述したように、非特許文献５及び非特許文献６に記載された従来の多眼ステレオ画像を用いた平面パラメータ推定方法では、多眼ステレオ画像の全画像ペアについて加算したＳＳＳＤをコスト関数としているため、全画像ペアの中に平面パラメータ推定に悪影響を与える画像ペアが存在することがあり、その画像ペアが原因で多数の繰返し計算を必要としたり、解が適切に収束しなかったりするという問題点がある。
【００２２】
そこで、本発明では、多眼ステレオ画像の全画像ペアから平面パラメータ推定に悪影響を与える画像ペアを排除する、つまり、多眼ステレオ画像の全画像ペアから平面パラメータ推定に悪影響を与えない画像ペアのみを選択して、選択された画像ペアを用いて平面パラメータ推定を２段階で順次行うという技術的思想を採用することにより、この問題点を解決した。
【００２３】
要するに、本発明では、本発明の発明者らに提案された非特許文献７の２眼ステレオ画像を用いた平面パラメータ推定方法を多眼ステレオ画像による平面パラメータ推定に拡張することにより、多眼ステレオ画像の全画像ペアについて、画像ペア毎に異なるヘッセ行列を算出することができる。そして、算出されたヘッセ行列は、対応する画像ペアのみを用いて平面パラメータ推定を行う際に利用され、そのヘッセ行列は繰返し計算を通して変化しない。特に、ヘッセ行列の条件数の小ささは、そのヘッセ行列が対応する画像ペアのみを用いて平面パラメータ推定を行う際の解の安定性を示していると言える。よって、ヘッセ行列が解に与える影響を調べ、良好な解が得られるヘッセ行列を特定することができれば、そのヘッセ行列を持つ画像ペア、即ち、そのヘッセ行列が対応する画像ペアは、平面パラメータ推定に好ましい画像ペアであると言える。
【００２４】
そこで、本発明では、多眼ステレオ画像の全画像ペアから得られた多数の画像ペアを用いて、多眼ステレオ画像による平面パラメータ推定（以下、単に「第２推定」とも言う。）を行う前に、まず、後述する本発明の独自の画像ペア選択基準により、平面パラメータ推定に好ましい画像ペアを選択して、選択された画像ペアを用いて、２眼ステレオ画像による平面パラメータ推定（以下、単に「第１推定」とも言う。）を行う。
【００２５】
次に、第１推定で得られた平面パラメータ推定結果（平面パラメータ推定値）を、第２推定の平面パラメータの初期値とし、多眼ステレオ画像の全画像ペアから得られた多数の画像ペアを用いて第２推定を行う。つまり、第２推定では、多眼ステレオ画像の全画像ペアから得られた多数の画像ペアを用いて、第１推定で得られた平面パラメータ推定値を平面パラメータの初期値とし、コスト関数（ＳＳＳＤ）を最適化することにより平面パラメータを推定する。
【００２６】
本発明では、このように平面パラメータ推定を２段階で順次行うことにより、効率的に（少ない計算コストで）高精度な平面パラメータを安定に推定することができる。
【００２７】
以下、本発明を実施するための最良の形態について、図面を参照しながら詳細に説明する。
【００２８】
図１は、本発明に係る平面パラメータ推定装置の一実施形態を示すブロック構成図である。図１に示されたように、本発明の平面パラメータ推定装置１は、前処理計算部１０と、画像ペア選択部２０と、第１推定部３０と、第２推定部４０とから構成される。
【００２９】
本発明の平面パラメータ推定装置１では、多眼ステレオカメラで撮影された多眼ステレオ画像（多眼ステレオカメラで取得された複数の画像データ）を入力とし、前処理計算部１０、画像ペア選択部２０、第１推定部３０、及び第２推定部４０での一連の処理により、撮影対象の平面パラメータを推定し、推定した平面パラメータを出力する。
【００３０】
本発明では、多眼ステレオ画像を撮影するための多眼ステレオカメラの一台を基準カメラとし、基準カメラで撮影された画像（基準カメラで取得された画像データ）を基準画像とする。また、多眼ステレオカメラから基準カメラを除いて他の全てのカメラを参照カメラとし、これら複数の参照カメラで撮影された複数の画像（複数の参照カメラで取得された複数の画像データ）を複数の参照画像とする。即ち、基準画像以外の多眼ステレオ画像を参照画像とする。
【００３１】
そして、多眼ステレオカメラについて、各カメラの画角や焦点距離等の内部パラメータ（以下、単に「カメラ内部パラメータ」とも言う。）、及び基準カメラ座標系に対する各カメラの位置や傾きを示す外部パラメータ（以下、単に「カメラ間の外部パラメータ」とも言う。）は、予めキャリブレーションにより求められているものとする。即ち、本発明では、既知の視点位置を持つ校正済みの多眼ステレオカメラによって撮影された多眼ステレオ画像を用いて、平面パラメータを推定する。
【００３２】
ここで、本発明の平面パラメータ推定装置１及び平面パラメータ推定方法を用いて、多眼ステレオ画像（１枚の基準画像及び複数の参照画像）から、撮影対象の平面パラメータを推定する平面パラメータ推定処理の処理手順について説明する。
【００３３】
ここで、まず、基準画像が前処理計算部１０に入力される前に、基準画像上に３次元平面を観測した領域を注目領域(ＲＯＩ)として定める。即ち、３次元平面（以下、単に平面とも言う。）が観測されている基準画像上の領域を注目領域(ＲＯＩ)と設定する。基準画像上に定めた注目領域（ＲＯＩ）に関して平面パラメータを以下のように推定する。
【００３４】
最初に、前処理計算部１０では、入力された基準画像、複数の参照画像、カメラ内部パラメータ、カメラ間の外部パラメータ、注目領域(ＲＯＩ)内の画像座標と画素値に基づいて、画像ペア毎に定まるヘッセ行列を含めて繰返し計算ごとに変化しない諸量を計算する。
【００３５】
次に、画像ペア選択部２０では、前処理計算部１０で算出された各画像ペアのヘッセ行列から、本発明の独自の画像ペア選択基準により、平面パラメータ推定に好ましい画像ペアを選択する。
【００３６】
本発明の画像ペア選択基準の第１実施形態とは、多眼ステレオ画像の全画像ペアのうち、画像ペアから算出されるヘッセ行列の条件数が最小で、且つ画像ペアを撮影したカメラ間のベースライン長が最短（最小）の画像ペアを、平面パラメータ推定に好ましい画像ペアとして選択することである。つまり、全画像ペアのうち、ヘッセ行列の条件数とカメラ間のベースライン長がともに最小値を持つ画像ペアを、平面パラメータ推定に好ましい画像ペアとして選択する。
【００３７】
本発明では、画像ペア選択部２０で画像ペア選択基準の第１実施形態により、画像ペアを選択する際に、例えば、まず、カメラ間のベースライン長の小さい画像ペアを複数個選択しておき、次に、選択された小さいベースライン長を有する複数の画像ペアの中から最小の条件数を持つ画像ペアを、平面パラメータ推定に好ましい画像ペアとして選択するようにしても良い。また、逆に、まず、ヘッセ行列の条件数の小さい画像ペアを複数個選択しておき、次に、選択された小さい条件数を有する複数の画像ペアの中から最小のカメラ間のベースライン長を持つ画像ペアを、平面パラメータ推定に好ましい画像ペアとして選択するようにしても良い。
【００３８】
そして、本発明の画像ペア選択基準の第２実施形態とは、多眼ステレオ画像の全画像ペアのうち、画像ペアから算出されるヘッセ行列から導出されるコスト関数の曲率が最大で、且つ画像ペアを撮影したカメラ間のベースライン長が最短（最小）の画像ペアを、平面パラメータ推定に好ましい画像ペアとして選択することである。つまり、全画像ペアのうち、ヘッセ行列から導出されるコスト関数の曲率が最大値で、カメラ間のベースライン長が最小値を持つ画像ペアを、平面パラメータ推定に好ましい画像ペアとして選択する。なお、本発明で言うコスト関数の曲率とは、主曲率、平均曲率、ガウス曲率などの何れかを意味する。
【００３９】
本発明では、画像ペア選択部２０で画像ペア選択基準の第２実施形態により、画像ペアを選択する際に、例えば、まず、カメラ間のベースライン長の小さい画像ペアを複数個選択しておき、次に、選択された小さいベースライン長を有する複数の画像ペアの中から最大の曲率を持つ画像ペアを、平面パラメータ推定に好ましい画像ペアとして選択するようにしても良い。また、逆に、まず、ヘッセ行列から導出されるコスト関数の曲率が大きい画像ペアを複数個選択しておき、次に、選択された大きい曲率を有する複数の画像ペアの中から最小のカメラ間のベースライン長を持つ画像ペアを、平面パラメータ推定に好ましい画像ペアとして選択するようにしても良い。
【００４０】
次に、第１推定部３０では、画像ペア選択部２０で選択された画像ペアを用いて、基準画像と参照画像の役割を入れ替えて定式化されたＳＳＤをコスト関数として、Gauss-Newton法などの最適化アルゴリズムを利用して、２眼ステレオ画像による平面パラメータ推定（第１推定）を行う。
【００４１】
即ち、第１推定部３０では、選択された画像ペアにおいて、注目領域内の基準画像座標における画素値と、平面パラメータが定める座標変換によって決まる参照画像座標における画素値との差分を、注目領域内の全ての画素について加算した二乗和(ＳＳＤ: Sum of Squared Differences)をコスト関数とし、そのコスト関数を最小化する平面パラメータを、例えばGauss-Newton法などの最適化アルゴリズムを用いて推定する。
【００４２】
そして、第２推定部４０では、第１推定部３０で行った第１推定によって得られた平面パラメータ推定値を、第２推定部４０自身で行う多眼ステレオ画像による平面パラメータ推定（第２推定）の平面パラメータの初期値として、基準画像と参照画像の役割を入れ替えて定式化されたＳＳＤを、多眼ステレオ画像の全画像ペアから得られた「多数の画像ペア」について加算したＳＳＳＤ（Ｓｕｍ  ｏｆ  ＳＳＤ）をコスト関数として、Gauss-Newton法などの最適化アルゴリズムを利用して、多眼ステレオ画像による平面パラメータ推定（第２推定）を行う。
【００４３】
即ち、第２推定部４０では、第１推定部３０で行った第１推定によって得られた平面パラメータ推定値を平面パラメータの初期値として、画像ペアにおいて、注目領域内の基準画像座標における画素値と、平面パラメータが定める座標変換によって決まる参照画像座標における画素値との差分を注目領域内の全ての画素について加算したＳＳＤを、多眼ステレオ画像の全画像ペアから得られた「多数の画像ペア」について加算したＳＳＳＤをコスト関数とし、そのコスト関数を最小化する平面パラメータを、例えばGauss-Newton法などの最適化アルゴリズムを用いて推定する。
【００４４】
ここでは、第２推定部４０で利用される「多数の画像ペア」とは、多眼ステレオ画像の全画像ペアから得られた複数の画像ペアを意味し、当該複数の画像ペアに第１推定部３０において利用された画像ペアが含まれている。
【００４５】
多眼ステレオ画像の全画像ペアから第２推定部４０で利用される「多数の画像ペア」を決定（選択）するのに、
（１）複数画像ペア選択基準を設けずに、多眼ステレオカメラによって取得された全ての画像ペア（全画像ペア）を、第２推定部４０で利用される「多数の画像ペア」として利用する方法と、
（２）所定の複数画像ペア選択基準により、多眼ステレオカメラによって取得された全ての画像ペア（全画像ペア）から、複数の画像ペアを第２推定部４０で利用される「多数の画像ペア」として選択する方法がある。
【００４６】
上記方法（２）では、所定の複数画像ペア選択基準の第１実施形態とは、第１推定部３０による第１推定によって得られた平面パラメータ推定値を用いて、２枚の画像においてその３次元平面（ここで言う「その３次元平面」とは、「基準画像上に３次元平面を観測した領域を注目領域(ＲＯＩ)として定める」における３次元平面を意味する。）が観測されていると判断される画像ペアのみを、第２推定部４０で利用される「多数の画像ペア」として選択することである。
【００４７】
また、上記方法（２）では、所定の複数画像ペア選択基準の第２実施形態とは、第１推定部３０による第１推定によって得られた平面パラメータ推定値を用いて、ＳＳＤを計算した結果が小さい画像ペアのみを、第２推定部４０で利用される「多数の画像ペア」として選択することである。
【００４８】
以上では、図１に基づき、本発明に係る平面パラメータ推定装置の一実施形態を説明したが、本発明はそれに限定されることはなく、他の実施形態を有することもできる。
【００４９】
つまり、本発明に係る平面パラメータ推定装置の他の実施形態（以下、単に「本発明の平面パラメータ推定装置２」という。）では、即ち、本発明の平面パラメータ推定装置２は、図１の前処理計算部１０と、図１の画像ペア選択部２０と、図１の第１推定部３０とから構成される。
【００５０】
本発明の平面パラメータ推定装置２では、多眼ステレオカメラで撮影された多眼ステレオ画像（多眼ステレオカメラで取得された複数の画像データ）を入力とし、前処理計算部１０、画像ペア選択部２０、及び第１推定部３０での一連の処理により、撮影対象の平面パラメータを推定し、推定した平面パラメータを出力する。
【００５１】
本発明の平面パラメータ推定装置２の特徴とは、平面パラメータ推定装置１に必要である「第２推定部４０による第２推定処理」が不要で、第１推定部３０による第１推定処理により得られた平面パラメータ推定値を、第２推定部４０の初期値とせずにそのまま平面パラメータとすることである。
【００５２】
つまり、本発明の平面パラメータ推定装置２における第１推定部３０では、画像ペア選択部２０で選択された、画像ペアに対して、基準画像と参照画像の役割を入れ替えて定式化されたＳＳＤをコスト関数とし、そのコスト関数をGauss-Newton法などの最適化アルゴリズムにより最適化することにより、２眼ステレオ画像による平面パラメータ推定（第１推定）を行い、第１推定によって得られた平面パラメータ推定値を平面パラメータとする。
【００５３】
また、本発明の平面パラメータ推定装置２における第１推定部３０では、画像ペア選択部２０で選択された画像ペアが２つの画像ペアである場合に、その２つの画像ペアに対して、基準画像と参照画像の役割を入れ替えて定式化されたＳＳＤをコスト関数とし、そのコスト関数をGauss-Newton法などの最適化アルゴリズムにより最適化することにより、２眼ステレオ画像による平面パラメータ推定（第１推定）を別々に行い、そのコスト関数の値の小さい方の第１推定の平面パラメータ推定値を前記平面パラメータとする。
以下では、本発明の平面パラメータ推定装置１（図１を参照）及び平面パラメータ推定方法に用いられる平面パラメータ推定アルゴリズムについて、詳細に説明する。
＜１＞平面射影変換と平面パラメータ
Ｎ台のカメラＣｎ，（ｎ＝１，…，Ｎ）を用いて３次元平面Πを撮影し、それぞれのカメラから得られる画像をＩｎ，（ｎ＝１，…，Ｎ）とする。ただし、Ｃｍ，ｍ∈{１，…，Ｎ}を基準カメラとし、Ｔを基準画像(基準カメラから得られる画像)とする。基準画像上の座標（基準画像座標）を
2009186287.tif 000019
とし、ｎ番目の画像（参照画像）上における対応点座標を
2009186287.tif 000020
と表す。
【００５４】
ただし、以下では、煩雑さを避けるために、画像座標を、内部パラメータが正規化された座標（正規化画像座標）で示すものとする。また、行列及びベクトルをそれぞれ大文字と小文字の太字体で表記する。
【００５５】
基準画像上の点
2009186287.tif 000021
と、ｎ番目の画像上における対応点
2009186287.tif 000022
との関係は、同次座標表現
2009186287.tif 000023
を用いて、下記数１及び数２で表される（非特許文献８を参照）。
【００５６】
【数１】
2009186287.tif 000024
【００５７】
【数２】
2009186287.tif 000025
ただし、
2009186287.tif 000026
は３×３の平面射影変換行列を表し、
2009186287.tif 000027
は基準カメラ座標系とｎ番目のカメラ座標系との間の回転行列を表し、
2009186287.tif 000028
は平行移動ベクトルを表す。また、
2009186287.tif 000029
は、基準カメラ座標系における平面Πを一意に定める３次元ベクトルである（非特許文献７を参照）。以下では、
2009186287.tif 000030
を求めるべき平面パラメータベクトルとする。
【００５８】
また、座標変換関数
2009186287.tif 000031
を用いることにより、上記数１で表される座標変換は、下記数３のようになる（非特許文献７を参照）。
【００５９】
【数３】
2009186287.tif 000032
ただし、
2009186287.tif 000033
は、平面射影変換行列
2009186287.tif 000034
の要素をラスタ順に並べた９次元のベクトルであり、その要素は、上記数２式で表されるように、
2009186287.tif 000035
の関数となる。
＜２＞多眼ステレオ画像による高速平面パラメータ推定アルゴリズム
ここで、本発明の発明者らが提案した２眼ステレオ画像による高速平面パラメータ推定アルゴリズム（非特許文献７を参照）を多眼ステレオ画像による平面パラメータ推定に拡張した方法について述べる。
【００６０】
基準画像Ｔと、ｎ番目の画像（参照画像）Ｉｎの２枚の画像を利用して、平面パラメータベクトル（以下、単に、平面パラメータとも言う）
2009186287.tif 000036
を求めるには、現在の推定量
2009186287.tif 000037
と微小変化量
2009186287.tif 000038
を用いて
2009186287.tif 000039
とおき、下記数４で表す評価関数（即ち、コスト関数）を最小にする
2009186287.tif 000040
の推定と
2009186287.tif 000041
の更新を繰返し行う（非特許文献３を参照）。
【００６１】
【数４】
2009186287.tif 000042
ただし、ＲＯＩは基準画像上の注目領域を表し、即ち、基準画像上に３次元平面を観測した領域である。
【００６２】
上記数４のように、二乗和(ＳＳＤ)で表現されたコスト関数を最適化するにはGuass-Newton法が有効である。しかし、数４で表すコスト関数を利用した場合は、その計算コストが大きい。これに対し、本発明の発明者らによる提案した非特許文献７では、数４を下記数５のように書き換えることにより、換言すれば、基準画像と参照画像の役割を入れ替えて数４のコスト関数を定式化して得られた下記数５のコスト関数を用いることにより、平面パラメータ推定の精度を損なうことなく平面パラメータ推定の高速化を実現している。
【００６３】
【数５】
2009186287.tif 000043
ただし、
2009186287.tif 000044
と表される座標変換式と等価な座標変換関数である。また、
2009186287.tif 000045
の関係
2009186287.tif 000046
は、下記数６によって定められる。
【００６４】
【数６】
2009186287.tif 000047
上記数５で表すコスト関数は、２枚の画像間のＳＳＤ(Sum  of  Squared  Differences)を表している。多眼ステレオカメラで撮影された全ての画像（多眼ステレオ画像）による平面パラメータ推定に、数５のコスト関数を適用する場合は、多眼ステレオ画像の全画像ペアに関するＳＳＳＤ(Sum  of  SSD)をコスト関数とし、そのコスト関数を最小にする
2009186287.tif 000048
を求めればよい。
【００６５】
つまり、２枚の画像間のＳＳＤを表す数５のコスト関数を、多眼ステレオ画像に拡張して得られたコスト関数は、下記数７である。
【００６６】
【数７】
2009186287.tif 000049
上記数７のコスト関数にGauss-Newton法を適用することにより、下記数８〜数１６が得られる。
【００６７】
【数８】
2009186287.tif 000050
【００６８】
【数９】
2009186287.tif 000051
【００６９】
【数１０】
2009186287.tif 000052
【００７０】
【数１１】
2009186287.tif 000053
【００７１】
【数１２】
2009186287.tif 000054
【００７２】
【数１３】
2009186287.tif 000055
【００７３】
【数１４】
2009186287.tif 000056
【００７４】
【数１５】
2009186287.tif 000057
【００７５】
【数１６】
2009186287.tif 000058
ただし、
2009186287.tif 000059
の積によって得られる１×３の行ベクトルである。
2009186287.tif 000060
は、基準画像上の座標（基準画像座標）
2009186287.tif 000061
における基準画像勾配を表す１×２の行ベクトルを示し、下記数１７で表す（非特許文献７を参照）。
【００７６】
【数１７】
2009186287.tif 000062
2009186287.tif 000063
は、基準画像座標
2009186287.tif 000064
における２×９のヤコビ行列を示し、下記数１８で表す（非特許文献７を参照）。
【００７７】
【数１８】
2009186287.tif 000065
2009186287.tif 000066
は、どちらも
2009186287.tif 000067
において評価されているため、座標
2009186287.tif 000068
ごと異なるものの、繰返し計算ごとに変化しない。
2009186287.tif 000069
のみで定まる９×３のヤコビ行列であり、下記数１９で表す（非特許文献７を参照）。なお、
2009186287.tif 000070
の結果には、繰返し計算ごとに変化するスカラー項
2009186287.tif 000071
が存在しているので、そのスカラー項をキャンセルするために、数１９に示すように、
2009186287.tif 000072
が積算されている。
【００７８】
【数１９】
2009186287.tif 000073
【００７９】
【数２０】
2009186287.tif 000074
ただし、
2009186287.tif 000075
をラスタ順に並べたベクトルである。また、
2009186287.tif 000076
である。
2009186287.tif 000077
はカメラ外部パラメータ
2009186287.tif 000078
にのみ依存しているため、繰返し計算ごとに変化しない。
【００８０】
以上のことから、
2009186287.tif 000079
は画素ごと異なる値を持つものの、繰返し計算ごとに変化せず、よって、
2009186287.tif 000080
の加算によって得られる
2009186287.tif 000081
は、一度だけ計算すればよいことが明らかである。
【００８１】
これにより、数５のコスト関数を用いた２眼ステレオ画像による平面パラメータ推定を行った場合は、数４のコスト関数を用いた２眼ステレオ画像による平面パラメータ推定を行った場合と比較して、繰返しごとの計算コストが大幅に削減された高速平面パラメータ推定アルゴリズムを実現した（詳細は非特許文献７を参照）。
【００８２】
さらに、数７のコスト関数を用いた多眼ステレオ画像による平面パラメータ推定（多眼ステレオ画像による高速平面パラメータ推定アルゴリズム）では、各画像ペアにおける
2009186287.tif 000082
が固定されるため、ヘッセ行列
2009186287.tif 000083
を計算する際に、
2009186287.tif 000084
を画像ペア数だけ加算するだけでよく、非特許文献６で利用されている多眼ステレオ画像による平面パラメータ推定アルゴリズムより、高速な平面パラメータ推定アルゴリズムを提供する。ただし、繰返し計算の前処理として、ｎ番目の画像ペア（基準画像Ｔ及びｎ番目の画像（参照画像）Ｉｎ）に対する座標
2009186287.tif 000085
ごとの
2009186287.tif 000086
を計算する必要があり、繰返し計算ごとに
2009186287.tif 000087
を計算する必要があるため、その計算コストは画像ペア数に比例する。
＜３＞本発明の画像ペア選択部における画像ペア選択アルゴリズム
多眼ステレオ画像による平面パラメータ推定の利点は、複数のベースラインを組み合わせることにより、ベースラインとテクスチャによって生じる曖昧性の問題を回避できる点と、多くの情報を利用することによる高精度な平面パラメータ推定ができる点が挙げられる。
【００８３】
一方で、多眼ステレオ画像を用いた平面パラメータ推定では、上述のように、画像ペア数に比例して計算コストが増大するとの問題がある。例えば、２５眼ステレオカメラ(２４ペアの画像ペア)を用いた場合は、２眼ステレオカメラ（１ペアの画像ペア）を用いた場合と比較して、２４倍の計算コストが必要となる。
【００８４】
また、多眼ステレオカメラ（多眼ステレオ画像）による平面パラメータ推定では、推定に悪影響を与える画像ペアが存在することがあり、悪影響を与える画像ペアの存在が原因で、収束が遅くなったり、場合によっては推定に失敗したりするとの問題がある。
【００８５】
本発明を適用した多眼ステレオ画像による平面パラメータ推定は、多眼ステレオ画像による平面パラメータ推定の利点を保持したまま、上述の問題を解決した。
【００８６】
つまり、本発明において、まず、画像ペア選択部２０では、多眼ステレオ画像の全画像ペアから、曖昧性と初期値の両方に関して問題がない画像ペア（即ち、平面パラメータ推定に好ましい画像ペア）を、独自の画像ペア選択基準により選択する。
【００８７】
次に、第１推定部３０では、選択された画像ペアを用いて第１推定（２眼ステレオ画像による高速平面パラメータ推定アルゴリズムによる推定）を行う。そして、第２推定部４０では、第１推定で得られた平面パラメータ推定結果（平面パラメータ推定値）を初期値として、全画像ペアから得られた「多数の画像ペア」を用いて第２推定（多眼ステレオ画像による高速平面パラメータ推定アルゴリズムによる推定）を行う。
【００８８】
以下、本発明の画像ペア選択部における画像ペア選択アルゴリズム（画像ペア選択基準）の詳細について説明する。
＜３−１＞ヘッセ行列の条件数による画像ペア選択
上記数８及び数９より、２眼ステレオ画像のみによる平面パラメータ推定では、Gauss-Newton法によって導かれるヘッセ行列
2009186287.tif 000088
は、下記数２１で表される。
【００８９】
【数２１】
2009186287.tif 000089
2009186287.tif 000090
はスカラーであるため、ヘッセ行列
2009186287.tif 000091
の条件数は
2009186287.tif 000092
と同じである。＜２＞で述べたように、
2009186287.tif 000093
は繰返し計算ごとに変化しない行列であるから、ヘッセ行列
2009186287.tif 000094
の条件数も繰返し計算ごとに変化せず一定値となる。即ち、繰返し計算を行う前に、各画像ペアにおけるヘッセ行列の条件数を評価することができる。
【００９０】
また、ヘッセ行列の条件数の画像ペアごとの違いは、数２０により、ベクトル
2009186287.tif 000095
の要素のみによって生じることがわかる。ここで、
2009186287.tif 000096
とおくと、
2009186287.tif 000097
は、基準カメラ座標系で定義された参照カメラの光学中心の位置を表わすため、このヘッセ行列の条件数は、実質的に平行移動
2009186287.tif 000098
の方向のみに依存していると言える。
【００９１】
即ち、基準カメラと、基準カメラの光学中心を通る直線上に光学中心を持つ全ての参照カメラとの画像ペアでは、参照カメラがいかなる方向を向いていても、ヘッセ行列の条件数は全て同じになる。
【００９２】
ｎ番目の画像ペア（基準画像Ｔ及びｎ番目の画像（参照画像）Ｉｎ）におけるヘッセ行列が特異ではないということは、基準カメラによって観測されたテクスチャから平面パラメータを推定する目的において、ｎ番目の画像ペアを利用すれば解の曖昧性を生じないことを示している。
【００９３】
また、ヘッセ行列の条件数は、２眼ステレオ画像を用いた平面パラメータ推定法（非特許文献７を参照）の解の安定性に寄与するものであり、ヘッセ行列の条件数の値が小さいほど、画像ノイズなどのデータ誤差に対して堅牢であることが広く知られている（非特許文献９を参照）。即ち、最小の条件数を持つ画像ペアを選択して平面パラメータ推定を行うことにより、テクスチャとエピポーララインによって生じる曖昧性の問題を回避することができるとともに、マルチベースラインの利点を損なうことなく効率的な平面パラメータ推定も可能となる。
【００９４】
よって、本発明では、最小のヘッセ行列の条件数を持つ画像ペアを、曖昧性と初期値の両方に関して問題がない画像ペア（即ち、平面パラメータ推定に好ましい画像ペア）として選択する。
＜３−２＞カメラ間のベースライン長による画像ペア選択
上述のように、ヘッセ行列の条件数が最小の画像ペアを選択することにより、テクスチャによる曖昧性を回避しつつ画像ノイズ等の影響を受けにくい平面パラメータ推定が可能となる。しかし、ヘッセ行列の条件数が最小の画像ペアを選択しても、常に正しい平面パラメータ推定ができるとは限らない。
【００９５】
上述のように、ヘッセ行列の条件数の違いは、平行移動ベクトル
2009186287.tif 000099
の向きに依存しており、基準カメラの光学中心を通る直線上に他のカメラ（参照カメラ）の光学中心を並べた場合に、基準画像と参照画像との画像ペアでは、カメラの視線方向によらず、ヘッセ行列の条件数は全て同じになる。このとき、真値と大きく異なる、平面パラメータの初期値
2009186287.tif 000100
を与えると、基準画像
2009186287.tif 000101
と参照画像
2009186287.tif 000102
との間の位置ずれが大きい画像ペアでは、最適化による推定に失敗する可能性が大きい。このような問題を回避するためには、ヘッセ行列の条件数が小さいだけでなく、基準画像と参照画像との間の位置ずれが小さい画像ペアを選択する必要がある。
【００９６】
図２は、本発明で利用される、多眼ステレオカメラ配置及び画像ペアインデックスを説明するための模式図である。図２（Ａ）に多眼ステレオカメラ配置を示しており、図２（Ｂ）にカメラインデックス（各画像の番号ｎ）及び画像ペアインデックスを示している（即ち、基準画像と参照画像の画像ペアのインデックスは、参照カメラのインデックスによって定めた）。図２から分かるように、多眼ステレオカメラ配置の中央にあるカメラ（即ち、基準カメラ）で撮影された画像を基準画像（１３番目の画像）とし、他のカメラ（即ち、参照カメラ）で撮影された画像を参照画像（１番目の画像〜２５番目の画像、ただし、１３番目の画像を除く。）とする。また、全てのカメラの光学中心は、同一の平面上に配置され、平行な視線方向を持つものとする。ただし、視点の同一平面性や視線方向の平行性などは厳密である必要はない。
【００９７】
更に、無限遠に存在する平面パラメータ
2009186287.tif 000103
を平面パラメータの初期値として与え、数２により、平面射影変換行列
2009186287.tif 000104
となり、ｎ番目の画像（参照画像）を変形した結果
2009186287.tif 000105
は、基準カメラと完全に平行な視線方向を持つ画像となる。
【００９８】
即ち、平面パラメータの初期値によってｎ番目の画像（参照画像）を変形した結果は、基準カメラと平行な視線を持つ画像として、自動的にレクティフィケーションされる。このとき、基準画像上の座標（基準画像座標）
2009186287.tif 000106
との間の位置ずれを
2009186287.tif 000107
と表わすと、
2009186287.tif 000108
が十分小さいとき、下記数２２が成立する。
【００９９】
【数２２】
2009186287.tif 000109
ただし、ｄは基準カメラの光学中心から撮影対象（平面）までの奥行き（距離）を示す。これにより、位置ずれ量
2009186287.tif 000110
の小さい画像ペアを選択するためには、
2009186287.tif 000111
が小さい、即ち、カメラ間のベースライン長が小さい画像ペアを選択すればよいことがわかる。
【０１００】
よって、本発明では、ヘッセ行列の条件数が最小で、且つ、最小のカメラ間のベースライン長を持つ画像ペアを、曖昧性と初期値の両方に関して問題がない画像ペア（即ち、平面パラメータ推定に好ましい画像ペア）として選択する。
＜３−３＞オクルージョンを考慮した画像ペア選択
上記＜３−１＞及び＜３−２＞で述べた画像ペア選択基準（画像ペア選択基準の第１実施形態）を用いて、平面パラメータ推定に好ましい画像ペアとして、画像ペアを１つだけ選択すると、その画像ペアにオクルージョンが発生していた場合には、平面パラメータ推定に失敗することがある。
【０１０１】
そこで、オクルージョンが原因で平面パラメータ推定が失敗してしまうとの問題を回避するために、本発明では、画像ペア選択部にて画像ペアを選択する際に、画像ペア選択基準を用いて、基準画像を中心に対称な２つの画像ペアを選択するようにする。
【０１０２】
次に、選択された対称な２つの画像ペアを用いて、第１推定部にて、それぞれ独立に２眼ステレオ画像による平面パラメータ推定（第１推定）を行い、そして、選択された対称な２つの画像ペアについて、第１推定における繰返しの最後に得られたコスト関数の値、若しくは、画像間の輝度差に関するＲＭＳＥ(Root  Mean  Squared  Error)を評価し、コスト関数の値若しくはＲＭＳＥの小さい方の画像ペアから得られた平面パラメータ推定結果を「第１推定の平面パラメータ推定結果」とする。
【０１０３】
このようにすることにより、選択された対称な２つの画像ペアにおいて、どちらかの画像ペアでオクルージョンが発生していても（その一例として、例えば、注目領域が柱のすぐ横にあった場合）、平面パラメータ推定に成功した一方の画像ペアの平面パラメータ推定結果を利用することができる。
【０１０４】
本発明では、全てのカメラが均等な間隔で配置され、かつ平行視線を持つ理想的なステレオカメラ配置を有する多眼ステレオカメラによって撮影された多眼ステレオ画像を用いて平面パラメータ推定を行う場合、画像ペアを選択する際に、まず、各画像ペアのヘッセ行列の条件数を先に評価し、その後にカメラ間のベースライン長を評価することにより、基準カメラに隣接する２台の参照カメラ（基準カメラについて対称配置を有する２台の参照カメラ）が選択され、選択された２台の参照カメラで得られた参照画像と基準画像とで構成された２つの画像ペアを第１推定に利用する。
【０１０５】
しかし、多眼ステレオカメラは、必ず理想的なステレオカメラ配置を有するとは限らない。例えば、実際に複数のカメラを配置して多眼ステレオカメラとして利用する場合、
2009186287.tif 000112
の方向が全て異なるため、ヘッセ行列の条件数を先に評価すると、基準カメラに隣接しない参照カメラが１つだけ選択される可能性がある。この場合、画像のずれが大きいという問題が発生する可能性があるため、本発明の画像ペア選択アルゴリズムでは、先に、ベースライン長の小さい（即ち、基準カメラに隣接する）参照カメラグループを選択しておき、次に、選択した参照カメラグループの中でヘッセ行列の条件数を評価して、最小の条件数を持つ画像ペアを選択し、そして、選択された画像ペアと対称な配置をもつ画像ペアをもう一つ選択する。
＜４＞本発明の平面パラメータ推定装置における処理手順
本発明では、画像ペア選択部にて選択された画像ペアを用いて第１推定（数５のコスト関数を用いた２眼ステレオ画像による平面パラメータ推定）によって得られた平面パラメータ推定結果を、第２推定の平面パラメータの初期値として、数７のコスト関数を用いた多眼ステレオ画像による平面パラメータ推定（第２推定）を行う。
【０１０６】
つまり、数５のコスト関数を用いた２眼ステレオ画像による平面パラメータ推定（第１推定）において得られた平面パラメータ推定結果は、数７のコスト関数を用いた多眼ステレオ画像による平面パラメータ推定（第２推定）にとって良好な初期値であり、本発明では、このように、ともに高速化した２段階の平面パラメータ推定（第１推定及び第２推定）を行うことにより、少ない計算コスト（短時間）で安定且つ精度良く平面パラメータを推定することを実現した。
【０１０７】
上記＜３＞で述べた画像ペア選択アルゴリズムを実装した本発明の平面パラメータ推定装置の処理手順を図３に示す。ただし、図３に沿って本発明の平面パラメータ推定装置の処理手順を説明する前に、前提条件として、予め基準カメラに隣接するカメラグループ（参照カメラグループ）は選択されたものとする。また、基準画像中の注目領域（ＲＯＩ）は、予め指定されたものとする。更に、繰返し計算の終了条件として、例えは、繰返し回数の最大数や、算出された
2009186287.tif 000113
のノルムの最小値などを事前に指定する。
【０１０８】
図３に示されたように、本発明の平面パラメータ推定装置では、注目領域（ＲＯＩ）が指定された（与えられた）直後に、座標
2009186287.tif 000114
に関する全ての画像ペアｎの
2009186287.tif 000115
を、数１３を用いて計算し、更に、数１０により、全ての画像ペアｎについて、
2009186287.tif 000116
を計算する。全ての画像ペアｎについての
2009186287.tif 000117
は、繰返し計算の前処理(pre-computation)として前処理計算部にて行われる。
【０１０９】
そして、予め選択された、基準カメラに隣接する参照カメラグループについて、それらのヘッセ行列の条件数を計算し、最小値の条件数を持つ画像ペアｉ（即ち、基準画像と参照画像ｉで構成された画像ペア）を１つ選ぶ。更に、基準画像に関して、参照画像ｉと対称配置を持つ参照画像ｊをもう１つ選ぶことにより、画像ペアｊ（即ち、基準画像と参照画像ｊで構成された画像ペア）を選択する。
【０１１０】
選択された２つの画像ペア（画像ペアｉ及び画像ペアｊ）について、それぞれ独立に平面パラメータを推定する。つまり、画像ペアｉ及び画像ペアｊに対し、それぞれ独立に、数５のコスト関数を用いてGauss-Newton法を利用し、２眼ステレオ画像による平面パラメータ推定（第１推定）を行う。
【０１１１】
なお、画像ペアｉ及び画像ペアｊによる第１推定では、一方の画像ペアによる第１推定が終了した後に、もう一方の画像ペアによる第１推定を実行させる手順、又は、両者の繰返し回数を同期させておき、一方の画像ペアによる第１推定が終了条件に達した時点で、もう一方の画像ペアによる第１推定を終了させる手順を採用することができる。
【０１１２】
いずれの手順でも、第１推定により得られた２つの平面パラメータ推定値（２つの平面パラメータベクトル）のうち、最後の繰返し計算において得た画像間のＲＭＳＥが小さい方を、第２推定（数７のコスト関数を用いた多眼ステレオ画像による平面パラメータ推定）の平面パラメータベクトルの初期値
2009186287.tif 000118
とする。
【０１１３】
さらに、第２推定（数７のコスト関数を用いた多眼ステレオ画像による平面パラメータ推定）に利用する「多数の画像ペア」を選択するために、
2009186287.tif 000119
を画像間のＲＭＳＥの値
2009186287.tif 000120
とする
2009186287.tif 000121
ただし、
2009186287.tif 000122
は２眼ステレオ画像による平面パラメータ推定（第１推定）において得られた小さい方の画像間のＲＭＳＥとし、ｓはユーザが定めた定数とする。
【０１１４】
つまり、多眼ステレオ画像の全画像ペアから、画像間のＲＭＳＥの値
2009186287.tif 000123
を超えない画像ペアのみを「多数の画像ペア」として選択する。
【０１１５】
次に、数７のコスト関数を用いた第２推定（多眼ステレオ画像による平面パラメータ推定）を行う。このとき、多眼ステレオ画像の全画像ペアに対し、先に求めた
2009186287.tif 000124
を利用して、繰返しごとに、数９を用いて
2009186287.tif 000125
を計算することができるが、
2009186287.tif 000126
を算出する前に、まず、多眼ステレオ画像の全画像ペアについて、各画像ペアにおける画像間のＲＭＳＥの値
2009186287.tif 000127
を計算する。そして、計算された画像間のＲＭＳＥの値
2009186287.tif 000128
が先に定めた閾値
2009186287.tif 000129
を超えない画像ペアのみについて、
2009186287.tif 000130
を利用して数９により
2009186287.tif 000131
を算出し、算出された
2009186287.tif 000132
に基づき、数８により、第２推定における平面パラメータベクトルの更新値
2009186287.tif 000133
を求める。
【０１１６】
本発明では、このようにすることにより、多眼ステレオ画像のうち、特定の画像にオクルージョンが発生した場合に、その画像を排除して、即ち、計算された画像間のＲＭＳＥの値
2009186287.tif 000134
が先に定めた閾値
2009186287.tif 000135
を超えた画像ペアを排除して、オクルージョンの影響を受けずに第２推定を行うことができる。
【０１１７】
以下では、図４〜図７を通して、本発明の平面パラメータ推定装置の処理手順を、平面パラメータ推定装置起動後の処理手順、前処理計算部及び画像ペア選択部の処理手順、第１推定部の処理手順、及び第２推定部の処理手順に分けて、説明する。
【０１１８】
なお、以下で述べる本発明の平面パラメータ推定装置による推定処理に利用される多眼ステレオ画像は、図２（Ａ）に示すような平行視線を持つ多眼ステレオカメラを用いて撮影された多眼ステレオ画像である。また、図２（Ｂ）に示すように、画像ペアは、基準カメラ（基準画像）とペアになる参照カメラ（参照画像）のインデックスｎによって表される。以下では、参照カメラ（参照画像）のインデックスｎを画像ペアの番号（画像ペアインデックス）として扱い、つまり、図２（Ａ）に示すような２５眼ステレオカメラを用いた場合に、画像ペアインデックスは、基準画像（１３番）のみを除いた１〜２５の値を持つものとする。
【０１１９】
本発明の平面パラメータ推定装置による処理は、大きく分けると、４つの処理に分けることができる。図４に示す「１つ目の処理」は、本発明の平面パラメータ推定装置起動時に行われる処理であり、前処理計算部にて行われる前処理の一部であり、シーンや注目領域(ＲＯＩ)に依存しないパラメータを求める。
【０１２０】
図５に示す「２つ目の処理」は、注目領域(ＲＯＩ)が選択された後に行われる処理であり、前処理計算部及び画像ペア選択部にて行われる前処理及び画像ペア選択処理であり、繰返し計算に必要な諸量（ヘッセ行列を含む、画像ペア毎に定まり、且つ繰返し計算ごとに変化しない複数のパラメータ）を求め、そして、各画像ペアのヘッセ行列の条件数を計算し、算出された各ヘッセ行列の条件数及び画像ペアを撮影したカメラ間のベースライン長に基づき、「３つ目の処理」において利用する２つの画像ペアを選択する。
【０１２１】
図６に示す「３つ目の処理」は、「２つ目の処理」で選択された２つの画像ペアから、第１推定部にてそれぞれ独立に、数５のコスト関数を用いた２眼ステレオ画像による平面パラメータ推定（第１推定）を行い、得られた２つの平面パラメータ推定値（２つの平面パラメータベクトル）のうち、最後の繰返し計算において得た画像間のＲＭＳＥが小さい方を、「４つ目の処理」にて行う第２推定の平面パラメータベクトルの初期値とするとともに、第２推定に利用する画像ペアを選択するための閾値
2009186287.tif 000136
を求める処理である。
【０１２２】
図７に示す「４つ目の処理」は、「３つ目の処理」で得られた閾値
2009186287.tif 000137
に基づき、全画像ペアから選択された「多数の画像ペア」を用いて、第２推定（数７のコスト関数を用いた多眼ステレオ画像による平面パラメータ推定）を行う処理である。
以下では、それぞれの処理手順について詳細に説明する。
＜４−１＞平面パラメータ推定装置起動後の処理手順
図４には本発明の平面パラメータ推定装置起動後の処理手順を示す。つまり、図４に示す「１つ目の処理」は、本発明の平面パラメータ推定装置が起動した直後に行われる処理である。
【０１２３】
平面パラメータ推定では、座標
2009186287.tif 000138
における列ベクトル
2009186287.tif 000139
を、画像ペアごとに求める必要がある。１×３の列ベクトルである
2009186287.tif 000140
は、数１３によって計算されるが、このうち、シーンによって変化するものは、画像勾配
2009186287.tif 000141
だけである。よって、事前に
2009186287.tif 000142
を求めておくことによって、平面パラメータ推定時の計算コストを低減することができる。行列
2009186287.tif 000143
は、２×３のサイズを有するため、ここでは、基準画像中の全ての座標
2009186287.tif 000144
における行列
2009186287.tif 000145
の６個の値を画像ペアごとに求め、求めた全ての値を本発明の平面パラメータ推定装置のメモリに格納する。
【０１２４】
基準画像における画素単位の座標
2009186287.tif 000146
は、基準カメラの内部パラメータ行列
2009186287.tif 000147
を用いて、全て正規化画像座標
2009186287.tif 000148
（内部パラメータが正規化された画像座標）に変換され、そして、数１８により
2009186287.tif 000149
が算出される。また、各画像ペアの行列
2009186287.tif 000150
は、画像ペアインデックスｎに対応するカメラ間の外部パラメータ
2009186287.tif 000151
を用いて、数１９により算出される。そして、算出された
2009186287.tif 000152
を積算した値、即ち、
2009186287.tif 000153
を本発明の平面パラメータ推定装置のメモリに格納する。
＜４−２＞前処理計算部及び画像ペア選択部の処理手順
図５には本発明の平面パラメータ推定装置の前処理計算部及び画像ペア選択部の処理手順を示す。つまり、本発明の平面パラメータ推定装置起動時に、図４に示す「１つ目の処理」が行われた後に、ユーザが注目領域（ＲＯＩ）を選択する。そして、注目領域（ＲＯＩ）が選択された後に、図５に示す「２つ目の処理」が開始される。
【０１２５】
まず、前処理計算部で前処理として、ＲＯＩ中の座標
2009186287.tif 000154
に対して計算された行列
2009186287.tif 000155
と画像勾配
2009186287.tif 000156
とに基づき、列ベクトル
2009186287.tif 000157
を計算する。そして、ＲＯＩ中の全ての座標に対して計算された
2009186287.tif 000158
の値に基づき、画像ペアｎにおけるヘッセ行列
2009186287.tif 000159
を算出する。列ベクトル
2009186287.tif 000160
もヘッセ行列
2009186287.tif 000161
も、全画像ペアについて計算される。ここで、算出された全ての
2009186287.tif 000162
は、本発明の平面パラメータ推定装置のメモリに格納される。ちなみに、前述した「繰返し計算に必要な諸量」とは
2009186287.tif 000163
のことである。
【０１２６】
ただし、画像勾配
2009186287.tif 000164
は、画像座標
2009186287.tif 000165
における画素単位の勾配値を、正規化画像座標
2009186287.tif 000166
における勾配値に変換することで求められる。また、行列
2009186287.tif 000167
は、「１つ目の処理」によって既に算出されている。
【０１２７】
次に、画像ペア選択部で画像ペア選択処理（図５の下部の網がけされた部分）として、各画像ペアのヘッセ行列
2009186287.tif 000168
の条件数
2009186287.tif 000169
を計算し、小さなベースライン長を持つカメラグループ（例えば、図２に示す２５眼ステレオカメラで撮影した多眼ステレオ画像を用いた場合に、カメラインデックス７、８、９、１２、１４、１７、１８、１９から構成される参照カメラグループ）の中で、最小の条件数を持つ画像ペアを選択する。
【０１２８】
小さなベースライン長を持つカメラグループの中で最小の条件数を持つ画像ペアが２つある場合は、その２つの画像ペアを「３つ目の処理」において利用する画像ペアとして選択する。また、小さなベースライン長を持つカメラグループの中で最小の条件数を持つ画像ペアが１つしかない場合は、その１つの画像ペアを「３つ目の処理」において利用する画像ペアとして選択した上で、更に、基準画像に関して対称配置となるもう１つの画像ペアを「３つ目の処理」において利用する画像ペアとして選択する。
【０１２９】
なお、本発明の画像ペア選択部で画像ペアを選択する際に、必ずしも２つの画像ペアを選択する必要はなく、１つの画像ペアのみを選択するようにしても良く、また、ヘッセ行列の条件数がある程度小さい画像ペアを複数選択しても良い。ちなみに、図２に示す２５眼ステレオカメラを用いた場合は、条件数とベースライン長から選択される画像ペアは、常に２つとなる。
【０１３０】
以下では、画像ペア選択部で２つの画像ペアを選択したものとし、選択したカメラインデックスをｉ、ｊとする。
＜４−３＞第１推定部の処理手順
図６には本発明の平面パラメータ推定装置の第１推定部の処理手順を示す。つまり、図６に示す「３つ目の処理」は、「２つ目の処理」で選択された２つの画像ペアを用い、それぞれ独立に第１推定を行い、得られた２つの平面パラメータ推定値から、「４つ目の処理」にて行う第２推定の平面パラメータベクトルの初期値とするものを選択するとともに、第２推定に利用する画像ペアを選択するための閾値
2009186287.tif 000170
をも求める処理である。
【０１３１】
「２つ目の処理」で２つの画像ペア（２つのカメラインデックス）が選択された後に、第１推定部では、「２つ目の処理」で選択されたカメラインデックスｉ、ｊ（参照画像ｉ、参照画像ｊ）それぞれと基準画像との２つの画像ペアを用いて、それぞれ独立に、数５のコスト関数を用いた２眼ステレオ画像による平面パラメータ推定を行う。
【０１３２】
図６に示すように、第１推定処理では、平面パラメータベクトルの初期値として与えられた
2009186287.tif 000171
が、２つの平面パラメータベクトル
2009186287.tif 000172
の初期値として用いられ、平面パラメータベクトル
2009186287.tif 000173
は、繰返し計算によってそれぞれ別々に更新される。なお、平面パラメータベクトルの初期値として、無限遠に存在するの平面、即ち、
2009186287.tif 000174
を用いても良く、また、基準カメラの光軸に垂直で十分遠方にある平面を用いても良く、更に、ユーザが与えた平面を用いても良い。
【０１３３】
ここで、基準画像と参照画像ｉとの画像ペアによる第１推定の処理手順について説明する。
【０１３４】
まず、現在の平面パラメータベクトル
2009186287.tif 000175
を用いて、基準画像の注目領域内の座標
2009186287.tif 000176
を変換した座標
2009186287.tif 000177
を求める。ただし、座標
2009186287.tif 000178
を計算するのに、
2009186287.tif 000179
カメラの外部パラメータ
2009186287.tif 000180
基準カメラの内部パラメータ行列
2009186287.tif 000181
参照カメラ（カメラインデックスｉ）の内部パラメータ行列
2009186287.tif 000182
を利用する。
【０１３５】
次に、参照画像ｉの画素値
2009186287.tif 000183
を計算することによって、参照画像ｉを変形する。そして、基準画像と変形後の参照画像ｉとの画素値の差分
2009186287.tif 000184
を算出する。
【０１３６】
さらに、算出された画素値の差分
2009186287.tif 000185
と前処理計算部で求めた
2009186287.tif 000186
とを積算し、注目領域（ＲＯＩ）の画素ごとの積算値を加算することにより、つまり、
2009186287.tif 000187
に基づき、
2009186287.tif 000188
を求める。一方で、現在の平面パラメータベクトル
2009186287.tif 000189
を用いて、
2009186287.tif 000190
に基づき、
2009186287.tif 000191
を求めておく。
【０１３７】
そして、上述のように求めた
2009186287.tif 000192
及び前処理計算部で求めたヘッセ行列
2009186287.tif 000193
を用いて、
2009186287.tif 000194
に基づき、平面パラメータベクトルの更新値
2009186287.tif 000195
を求め、
2009186287.tif 000196
により平面パラメータベクトル
2009186287.tif 000197
を更新する。
【０１３８】
上述した一連の処理は、所定の推定処理終了条件を満たすまで繰り返される。換言すれば、所定の推定処理終了条件を満たしたら、第１推定処理を終了する。そして、第１推定処理を終了する直前に更新された平面パラメータベクトル
2009186287.tif 000198
を、基準画像と参照画像ｉとの画像ペア（画像ペアｉ）による第１推定処理の平面パラメータ推定値とする。
【０１３９】
ここで、所定の推定処理終了条件として、例えば、平面パラメータベクトルの更新値のノルム
2009186287.tif 000199
が十分小さくなった場合に第１推定処理を終了するようにしても良く、又、繰返しが所定の回数に達した場合に第１推定処理を終了するようにしても良い。
【０１４０】
基準画像と参照画像ｉとの画像ペア（画像ペアｉ）による第１推定処理は、以上の手順に沿って行われる。同様に、基準画像と参照画像ｊとの画像ペア（画像ペアｊ）による第１推定処理も、以上のような手順で行われる。
【０１４１】
要するに、上述の第１推定処理は、画像ペアｉ、画像ペアｊについて、それぞれ行われ、どちらか一方が先に所定の推定処理終了条件を満たしたら、両方の繰返し計算（第１推定処理）を終了する。ただし、両方終了するまで繰返し計算を別々に行うこともできる。
【０１４２】
そして、繰返し計算を終了する直前に、即ち、一番最後の繰返し計算により算出された
2009186287.tif 000200
から、
2009186287.tif 000201
に基づき、輝度差のＲＭＳＥ（Root  Mean  Squared  Error）
2009186287.tif 000202
をそれぞれ求める。
【０１４３】
求めた
2009186287.tif 000203
から、値の小さい方のＲＭＳＥを
2009186287.tif 000204
とする。
2009186287.tif 000205
に対応する平面パラメータ推定値を、「４つ目の処理」で行われる第２推定処理（多眼ステレオ画像による平面パラメータ推定）の平面パラメータベクトルの初期値とする。さらに、
2009186287.tif 000206
を第２推定処理に利用される画像ペアを選択するための閾値
2009186287.tif 000207
とする
2009186287.tif 000208
ただし、ｓは事前に定めた定数であり、例えば、２〜３という程度の実数値を利用する。
＜４−４＞第２推定部の処理手順
図７には本発明の平面パラメータ推定装置の第２推定部の処理手順を示す。つまり、図７に示す「４つ目の処理」は、「３つ目の処理」で得られた閾値
2009186287.tif 000209
に基づき、全画像ペアから選択された「多数の画像ペア」を用いて、第２推定（数７のコスト関数を用いた多眼ステレオ画像による平面パラメータ推定）を行う処理である。
【０１４４】
図７に示すように、第２推定部では、「３つ目の処理」で得られた平面パラメータ推定結果、即ち、
2009186287.tif 000210
に対応する平面パラメータ推定値を平面パラメータベクトル
2009186287.tif 000211
の初期値として、第２推定処理（数７のコスト関数を用いた多眼ステレオ画像による平面パラメータ推定）を行う。
【０１４５】
第２推定処理（数７のコスト関数を用いた多眼ステレオ画像による平面パラメータ推定処理）では、各参照画像に関して、例えば、図２に示す２５眼ステレオカメラで撮影した多眼ステレオ画像を用いた場合、ｎ＝１、２、…、２５の各画像（ただし、１３番基準画像は除く）に関して、各参照画像の変形から
2009186287.tif 000212
の計算までの手順は、前述の第１推定処理の場合と、基本的に同じである。
【０１４６】
ただし、第２推定処理では、図７の中央部の網がけされた部分で示すように、基準画像と変形後の参照画像ｎとの画素値の差分
2009186287.tif 000213
を算出した後に、まず、
2009186287.tif 000214
に基づき、輝度差のＲＭＳＥ
2009186287.tif 000215
を計算する。そして、算出した
2009186287.tif 000216
の条件を満たすｎ（参照画像ｎ）のみについて、
2009186287.tif 000217
に基づき、
2009186287.tif 000218
を求める。つまり、第２推定処理では、このようにして、閾値
2009186287.tif 000219
に基づき、全ての参照画像から第２推定で使用する多数の参照画像（多数の画像ペア）を選択している訳である。
【０１４７】
次に、
2009186287.tif 000220
（ただし、ｎは
2009186287.tif 000221
の条件を満たす。）に基づき、
2009186287.tif 000222
を算出する。
【０１４８】
そして、上述のように求めた
2009186287.tif 000223
を用いて、
2009186287.tif 000224
に基づき、平面パラメータベクトルの更新量
2009186287.tif 000225
を求め、
2009186287.tif 000226
によって平面パラメータベクトル
2009186287.tif 000227
を更新する。上述した一連の処理は、所定の推定処理終了条件を満たすまで繰り返される。換言すれば、所定の推定処理終了条件を満たしたら、第２推定処理を終了する。
【０１４９】
そして、第２推定処理を終了する直前に更新された平面パラメータベクトル
2009186287.tif 000228
を、第２推定処理の平面パラメータ推定値とする。つまり、第２推定処理の平面パラメータ推定値は、本発明の平面パラメータ推定装置によって推定された平面パラメータ（平面パラメータベクトル）である。
【０１５０】
ここで、所定の推定処理終了条件として、例えば、平面パラメータベクトルの更新値のノルム
2009186287.tif 000229
が十分小さくなった場合に第２推定処理を終了するようにしても良く、又、繰返しが所定の回数に達した場合に第２推定処理を終了するようにしても良い。
以上のように、図４〜図７を通して、本発明の平面パラメータ推定装置の処理手順を、平面パラメータ推定装置起動後の処理手順、前処理計算部及び画像ペア選択部の処理手順、第１推定部の処理手順、及び第２推定部の処理手順に分けて説明した。
【０１５１】
なお、本発明の平面パラメータ推定装置は、上述した処理手順に限定されることはなく、画像ペア選択部で行う画像ペア選択処理と、第１推定部で行う第１推定処理を行わずに、上述した平面パラメータ推定装置起動後の処理手順、上述した前処理計算部の処理手順、上述した第２推定部の処理手順を行うことによって平面パラメータを推定することもできる。ただし、その場合は、第２推定部の処理手順について、図７の中央部の網がけされた部分で示す処理は行わない。つまり、第２推定部において、画像ペアを選択せずに、全画像ペアを用いて第２推定処理を行う。また、第２推定処理の平面パラメータベクトル
2009186287.tif 000230
の初期値として、無限遠に存在する平面、即ち、
2009186287.tif 000231
を用いても良く、また、基準カメラの光軸に垂直で十分遠方にある平面を用いても良く、更に、ユーザが与えた平面を用いても良い。
【０１５２】
また、上述した本発明に係る平面パラメータ推定装置及び平面パラメータ推定方法（平面パラメータ推定アルゴリズム）は、コンピュータシステムを利用し、ソフトウェア（コンピュータプログラム）により実装されることができ、そして、ＡＳＩＣ（Application  Specific  Integrated  Circuit）、ＧＰＵ（Graphics  Processing  Unit）やＦＰＧＡ（Field  Programmable  Gate  Array）などのハードウェアにより実装されることも勿論できる。
＜５＞本発明を適用した具体的な実施例
以下では、本発明を適用した具体的な実施例（合成画像による実施例１、及び実画像による実施例２）について説明する。
＜５−１＞合成画像による実施例１
実施例１では、図２に示す２５台のカメラアレイ（２５眼ステレオカメラ）を用いて、コンピュータグラフィックス（ＣＧ：Computer Graphic）によって生成された図８に示す２５枚の合成画像（画像サイズは、全て６４０×４８０ピクセルである。）を利用した。なお、生成した２５枚の合成画像は全てカラー画像であるが、本実施例では、これら２５枚の合成画像を全てモノクロ画像に変換してから、変換後のモノクロ画像を用いて平面パラメータ推定処理を行った。また、合成画像のシーンは、床面、２枚の壁面、及び１つの柱によって構成され、それぞれの面にテクスチャを貼り付けたものである。
【０１５３】
実施例１で使用する２５眼ステレオカメラは、全てのカメラの光軸は平行とし、各カメラは水平方向及び垂直方向に等間隔に並んでおり、水平方向及び垂直方向に隣接するカメラ間のベースライン長は、全て０.２[ｍ]とし、全てのカメラは、同じカメラ内部パラメータ行列
2009186287.tif 000232
を持ち、画角は約４０°とした。基準カメラの光学中心から最遠方点（２枚の壁面と床面の交差点）までの距離は２５.５[ｍ]であった。
【０１５４】
各画像ペアは、基準画像１３(reference  image)とペアになる参照画像を撮影した参照カメラのインデックスｎ（参照画像ｎ）によって表され、ｎは基準画像(１３番)を除外した１〜２５の値を持つものとする。
【０１５５】
本実施例では、作成した全ての合成画像に、標準偏差３[gray  level]のガウスノイズを加えるとともに、平面パラメータ推定処理では、σ＝３[pixel]のガウシアンフィルタを用いて画像を平滑化した。また、第１推定処理でも、第２推定処理でも、繰返しごと算出された平面パラメータベクトルの更新値のノルムが１０−４以下になった場合を、繰返しの終了条件（所定の推定処理終了条件）とした。そして、第１推定処理の平面パラメータベクトル
2009186287.tif 000233
の初期値は、無限遠の平面、即ち
2009186287.tif 000234
とした。更に、第２推定処理に利用される画像ペアを選択するための閾値
2009186287.tif 000235
について、ｓ＝３により定めた。
【０１５６】
図９には、図８の２５眼ステレオ画像から選択した基準画像１３（合成画像）及び当該基準画像上に定めた注目領域（ＲＯＩ）を示している。図９で四角の枠で示された注目領域（ＲＯＩ）のサイズは、１００×１００ピクセルである。この注目領域（ＲＯＩ）は、シーンの右壁面の一部を示しており、この注目領域（ＲＯＩ）を利用して、右壁面の３次元平面パラメータ（平面パラメータベクトル）を推定した。
【０１５７】
まず、ここで、図８の２５眼ステレオ画像（合成画像）を用いて、１つの画像ペアによる平面パラメータ推定処理を２４組別々に行った場合と、全画像ペアを用いて平面パラメータ推定処理を行った場合との違いを検証した。
【０１５８】
図１０は、図８の２５眼ステレオ画像（合成画像）を用いた場合に、各画像ペアによる平面パラメータ推定及び全画像ペアによる平面パラメータ推定の画像間のＲＭＳＥと繰返し回数との関係を示すグラフである。つまり、図１０には、基準画像と参照画像との役割を入れ替えて定式化したコスト関数（即ち、数５及び数７で表すコスト関数）を利用し、Gauss-Newton法を適用した繰返し計算結果の様子を示している。
【０１５９】
以下、説明の便宜上、図１０における各画像ペア及び数５のコスト関数を利用した２眼ステレオ画像による平面パラメータ推定を、単に「従来の高速化した２眼ステレオ画像による平面パラメータ推定」とも言う。また、図１０における全画像ペア及び数７のコスト関数を利用した多眼ステレオ画像による平面パラメータ推定を、単に、「従来の高速化した多眼ステレオ画像による平面パラメータ推定」とも言う。
【０１６０】
図１０では、繰返し回数を横軸に示し、また、コスト関数値を画素サイズで割った値の根（ルート）を縦軸に示しており、即ち、縦軸は、画素値の差分に関するＲＭＳＥ（Root  Mean  Squared  Differences）であり、その単位は画素値のグレイレベルである。また、図１０では、全画像ペア（２４つの画像ペア）を用いて平面パラメータ推定処理を行った場合を太い実線で示しており、１つの画像ペアのみを利用して平面パラメータ推定処理を行った場合を細線で示しており、それぞれに画像ペアインデックスを付与している。図１０では、繰返し終了条件（推定処理終了条件）として、繰返しごとに算出される平面パラメータベクトルの更新量
2009186287.tif 000236
が０.０００１よりも小さくなった場合に、コスト関数の最適化処理が収束したものとして繰返し計算（平面パラメータ推定処理）を終了した。
【０１６１】
図１０を見ると、各画像ペアによる平面パラメータ推定処理の場合も、全画像ペアによる平面パラメータ推定処理の場合も、１２０回までの繰返しまでに、繰返し終了条件に達しており、それぞれのＲＭＳＥのグラフの終端付近に、対応する画像ペアインデックスｎを付与している。
【０１６２】
図１０を見ると、各画像ペアをそれぞれ独立に用いて平面パラメータ推定処理（従来の高速化した２眼ステレオ画像による平面パラメータ推定）を行った場合、全画像ペアのうち、約半分の画像ペアは終了時のＲＭＳＥ値が小さいことから（ＲＭＳＥの値が２０グレイレベル以下で、即ち、コスト関数の値が十分小さくなっていることから）、平面パラメータ推定処理に成功しており、それ以外の画像ペアは局所解に陥り、平面パラメータ推定処理に失敗していることが分かる。これに対し、全画像ペアを用いた平面パラメータ推定処理（従来の高速化した多眼ステレオ画像による平面パラメータ推定）は成功しており、多くの画像を利用することにより、解を安定に得られることが示されている。
【０１６３】
一方で、図１０において、２眼ステレオ画像による平面パラメータ推定処理では、特にコスト関数の最適化処理の収束が速い画像ペアは、画像ペアインデックス８番と１８番の画像ペアであり、約１０回の繰返しで平面パラメータ推定処理に成功している。また、図１０において、全画像ペアを用いた平面パラメータ推定処理を行った場合に、平面パラメータ推定処理に成功しているものの、約１２０回の繰返しを必要としている。これは、従来の高速化した多眼ステレオ画像による平面パラメータ推定処理では、多眼ステレオ画像の全画像ペアを利用しているため、即ち、平面パラメータ推定処理に失敗する可能性のある約半分の画像ペアも利用しているため、コスト関数の最適化処理の収束が遅くなる現象を生じた訳である。
【０１６４】
ここで、本発明では、前処理計算部及び画像ペア選択部にて行われる前処理及び画像ペア選択処理を行うことによって、第１推定部に利用する画像ペアを選択するようにしている。まず、本発明では、図８の２５眼ステレオ画像（合成画像）について、各画像ペアにおけるヘッセ行列の条件数を算出することができる。図１１は、図８の２５眼ステレオ画像（合成画像）を用いた場合に、各画像ペアにおけるヘッセ行列の条件数を示す図であり、横軸に各画像ペアのインデックス番号を示している。図１１から、画像ペアインデックス３番、８番、１８番、２３番の各画像ペアにおけるヘッセ行列の条件数が一番小さいことが分かる。
【０１６５】
また、図１１では、小さなベースライン長を持つ画像ペアグループ（画像ペアインデックス７番、８番、９番、１２番、１４番、１７番、１８番、１９番、合計８つの画像ペア）を黒い実線で表示しており、本発明の画像ペア選択部では、最小の条件数を持ち、かつベースライン長の小さい画像ペア（画像ペアインデックス８番、１８番の２つの画像ペア）を、第１推定部に利用する画像ペアとして、選択する。このように選択された画像ペアを第１推定に利用することにより、効率よく平面パラメータを推定することができる。
【０１６６】
図１２は、図８の２５眼ステレオ画像（合成画像）を用いた場合に、各画像ペアのヘッセ行列から導出されたコスト関数のガウス曲率（ヘッセ行列の行列式の値）を、カメラベースライン長によって正規化したものを示しており、横軸に各画像ペアのインデックス番号を示している。図１２から、画像ペアインデックス３番、８番、１８番、２３番の各画像ペアにおけるヘッセ行列から導出されたコスト関数のガウス曲率が一番大きいことが分かる。
【０１６７】
図１１と同じように、図１２では、小さなベースライン長を持つ画像ペアグループ（画像ペアインデックス７番、８番、９番、１２番、１４番、１７番、１８番、１９番、合計８つの画像ペア）を黒い実線で表示している。
【０１６８】
図１２により、図１０においてコスト関数の最適化処理の収束の速かった画像ペアインデックス８番と１８番の画像ペアは、最大のガウス曲率を持ち、かつベースライン長の小さい画像ペアであることがわかる。
【０１６９】
そこで、本発明では、画像ペア選択部で画像ペア選択処理を行う際に、ヘッセ行列から算出された条件数の代わりに、ヘッセ行列から導出されたコスト関数のガウス曲率を用いて、第１推定部で利用する画像ペアを選択することも可能である。つまり、本発明では、最大のガウス曲率を持ち、かつベースライン長の小さい画像ペアを、第１推定部で利用する画像ペアとして選択することもできる。
【０１７０】
図１３は、図８の２５眼ステレオ画像（合成画像）を用いた場合に、各画像ペアのヘッセ行列から導出されたコスト関数の平均曲率（３個の固有値の値の平均）を、カメラベースライン長によって正規化したものを示しており、横軸に各画像ペアのインデックス番号を示している。図１３から、画像ペアインデックス３番、８番、１８番、２３番の各画像ペアにおけるヘッセ行列から導出されたコスト関数の平均曲率が一番大きいことが分かる。
【０１７１】
図１１と同じように、図１３では、小さなベースライン長を持つ画像ペアグループ（画像ペアインデックス７番、８番、９番、１２番、１４番、１７番、１８番、１９番、合計８つの画像ペア）を黒い実線で表示している。
【０１７２】
図１３により、図１０においてコスト関数の最適化処理の収束の速かった画像ペアインデックス８番と１８番の画像ペアは、最大の平均曲率を持ち、かつベースライン長の小さい画像ペアであることがわかる。
【０１７３】
そこで、本発明では、画像ペア選択部で画像ペア選択処理を行う際に、ヘッセ行列から算出された条件数の代わりに、ヘッセ行列から導出されたコスト関数の平均曲率を用いて、第１推定部で利用する画像ペアを選択することも可能である。つまり、本発明では、最大の平均曲率を持ち、かつベースライン長の小さい画像ペアを、第１推定部で利用する画像ペアとして選択することもできる。
【０１７４】
次に、図８の２５眼ステレオ画像（合成画像）を用いて本発明を適用した平面パラメータ推定を行った結果を示す。ここでは、画像ペア選択部では、画像ペアごとのヘッセ行列の条件数と、画像ペアのカメラベースライン長とに基づき、第１推定部で利用する画像ペアを選択する。つまり、まず、画像ペア選択部では、ベースライン長の小さい画像ペア、即ち、７番、８番、９番、１２番、１４番、１７番、１８番、１９番の画像ペアを先に選択し、その中から最小の条件数を持つ画像ペア、即ち、８番と１８番の画像ペアを選択する。そして、第１推定部では、選択された２つの画像ペア（８番と１８番の画像ペア）に対して別々に、２眼ステレオ画像による平面パラメータ推定（第１推定）を行った。次に、２つの画像ペア（８番と１８番の画像ペア）それぞれの第１推定結果から、コスト関数の値の小さい方の第１推定結果を選択し、選択したその第１推定結果を、第２推定の平面パラメータの初期値として、全画像ペア（２４つの画像ペア）による平面パラメータ推定処理を行った。だだし、ここでも、第１推定処理及び第２推定処理において、繰返しごとに算出される平面パラメータの微小変化量が０.０００１よりも小さくなった場合に、最適化処理が収束したものとして繰返し計算を終了した。
【０１７５】
図１４は、図８の２５眼ステレオ画像（合成画像）を用いて本発明を適用した場合の繰返し計算ごとの推定精度
2009186287.tif 000237
の変化を対数スケールで示したものである。図１４では、画像ペアインデックス８番と１８番の画像ペアが選択され、この２つの画像ペアを独立に用いた平面パラメータ推定処理（第１推定処理）が行われ、どちらも９回の繰返し計算で所定の推定処理終了条件に達している。第１推定処理の初期段階では、
2009186287.tif 000238
の傾きが大きく変化するため、
2009186287.tif 000239
の値は一時的に大きくなることがあるが、９回の繰返し計算により誤差の小さい平面パラメータ推定値が得られた。
【０１７６】
図１４から分かるように、第１推定処理の終了時に、画像ペアインデックス８番の画像ペアのＲＭＳＥの方が小さかった（画像ペアインデックス８番の画像ペアのコスト関数の値が小さかった）ため、画像ペアインデックス８番の画像ペアによって推定された平面パラメータを、第２推定処理（多眼ステレオ画像による推定処理）の平面パラメータの初期値として利用し、全画像ペア（２４つの画像ペア）による第２推定処理は２回の繰返し計算（トータルでは１０回目と１１回目の繰返し計算）で終了している。
【０１７７】
即ち、図１０に示すような従来の高速化した多眼ステレオ画像による平面パラメータ推定処理では、平面パラメータを推定するために、１２０回の繰返し計算を必要としたのに対し、本発明を適用した平面パラメータ推定処理では、第１推定処理と第２推定処理を含めてトータル１１回の繰返し計算のみで、平面パラメータ推定を行うことが出来た。図１０及び図１４を比較することにより、本発明を適用した平面パラメータ推定処理が、安定かつ効率的な平面パラメータ推定を実現できたことが分かる。
【０１７８】
図１４から分かるように、全画像ペアによる第２推定処理では、２眼ステレオ画像による平面パラメータ推定処理（第１推定処理）よりも推定誤差が一桁小さくなり、推定された平面パラメータの精度は、多眼ステレオ画像を用いることによって改善された。
【０１７９】
ここで、１つの画像ペアのみを用いた２眼ステレオ画像による平面パラメータ処理を行った場合と、本発明の全画像ペアによる第２推定処理を行った場合との平面パラメータ推定精度の比較を、表１に示す。
【０１８０】
【表１】
2009186287.tif 000240
つまり、表１は、１つの画像ペアのみを用いた「従来の高速化した２眼ステレオ画像による平面パラメータ推定処理」を行った場合と、本発明を適用して全画像ペア（２４つの画像ペア）による第２推定処理を行った場合における、推定された平面パラメータのエラーを示したものである。表１では、差分ノルム
2009186287.tif 000241
平面パラメータの真値と平面パラメータ推定値におけるＲＯＩ中心の距離（奥行き）の差(|depth  err|)、及び、平面パラメータの角度差(|angle  err|)を示したものである。平面パラメータの真値は
2009186287.tif 000242
で、ＲＯＩ中心の距離（奥行き）は２１.１６９４６[ｍｍ]である。
【０１８１】
また、表１では、１つの画像ペアのみを用いた「従来の高速化した２眼ステレオ画像による平面パラメータ推定処理」において表示した画像ペアインデックス（Image  Index）は、画像間のＲＭＳＥが１５[gray  level]以下になり、平面パラメータ推定に成功したと判断できるもののみを表示している。そして、表１の「Image  Index」の欄の「All」は、本発明を適用して全画像ペア（２４つの画像ペア）による第２推定処理を行う場合を意味する。
【０１８２】
表１を見ると、差分ノルム及び平面パラメータの角度差においては、本発明による第２推定処理（All）で得られた平面パラメータ推定値が最も精度がよいことが分かる。また、真値と推定値におけるＲＯＩ中心の距離の差は、ベースライン長の比較的長い画像ペアインデックス１６番の画像ペアが最も良いが、平面パラメータの角度差は、本発明による第２推定処理（All）で得られた平面パラメータ推定値がはるかに良好であるため、本発明による多眼推定結果（本発明による第２推定処理結果）が最も精度が良いと言える。
【０１８３】
表２は、従来の高速化した多眼ステレオ画像による平面パラメータ推定処理に必要な計算時間と、本発明を適用した平面パラメータ推定処理（本発明による画像ペア選択を伴う多眼ステレオ画像による平面パラメータ推定処理）に必要な計算時間をそれぞれ示したものである。また、表２に示す推定処理は、Pentium-IV（登録商標）2.8GHz及びLinux（登録商標）を搭載したパーソナルコンピュータによって実行される。
【０１８４】
【表２】
2009186287.tif 000243
表２において、「pre-computation」は、繰返し計算を行う前に、ヘッセ行列等の諸量
2009186287.tif 000244
を計算するために要した時間を示しており、つまり、前処理計算時間を示している。また、「per  iteration」は、１回の繰返し計算に要する計算時間を示しており、本発明を用いた場合では、第１推定処理では、２眼ステレオ画像による平面パラメータ推定処理を２つの画像ペア利用して別々に行ったため、第１推定処理に要する時間と、第２推定処理に要する時間との両方を併記している。そして、「total  (for  Fig.9)」は、図９に示す注目領域（ＲＯＩのサイズ：１００×１００ピクセル）に対して平面パラメータ推定処理を行った場合に要するトータルの計算時間を示している。
【０１８５】
表２から分かるように、従来の高速化した多眼ステレオ画像による平面パラメータ推定処理を行った場合では、繰返し計算の回数が１１７回であることから、トータルの計算時間は１４４２６.７［ミリ秒］であるのに対して、本発明を適用した平面パラメータ推定処理を行った場合では、２眼ステレオ画像による第１推定処理の繰返し計算の回数が９回で、多眼ステレオ画像による第２推定処理の繰返し計算の回数が２回である（合計で１１回である）ことから、トータルの計算時間は５６３.８２［ミリ秒］である。
【０１８６】
本発明による平面パラメータ推定処理は、従来の高速化した多眼ステレオ画像による平面パラメータ推定処理よりも、約２５倍短い時間で推定できており、又は、非常に少ない繰返し回数で平面パラメータ推定処理を終了しており、本発明の効率の良さ（少ない計算コストで平面パラメータを安定に推定できたこと）が実証された。
【０１８７】
なお、多眼ステレオ画像による平面パラメータ推定を行うことは、全ての参照画像を基準画像に重ね合わせるための平面射影変換パラメータを推定することと等価である。本発明の応用例として、本発明によって推定された平面パラメータを利用して、多眼ステレオ画像の全画像を統合することにより、仮想焦点面画像（非特許文献１１を参照）や超解像度画像（非特許文献１２及び非特許文献１３を参照）を生成することができる
図１５は、図８の２５眼ステレオ画像（合成画像）を用いて本発明によって推定された平面パラメータを利用して生成された仮想焦点面画像を示す図である。仮想焦点面画像とは、被写界深度の大きな複数の画像から生成された被写界深度の小さい画像である。
【０１８８】
図１５の仮想焦点面画像は、本発明によって推定された平面パラメータを利用して、全ての参照画像（合計２４枚の参照画像）を基準画像に重なるように変形し、変形後の２４枚の参照画像と基準画像とを含む合計２５枚の画像を平均化することによって、生成された。本発明によって推定された平面パラメータの精度が非常に高いため、図１５を見れば分かるように、右側の壁面全体に対してのみ焦点のあった画像が生成されている。
＜５−２＞実画像による実施例２
実施例２では、図１６に示す２５眼カメラを利用して、図１７に示す２５眼ステレオ画像（実画像）を利用した。２５枚の実画像の画像サイズは、全て６４０×４８０ピクセルである。また、Matlabのカメラキャリブレーションツール（非特許文献１０を参照）を利用して、図１６に示す２５眼カメラの全カメラのキャリブレーションを行ったところ、隣接するカメラの平均のベースライン長は１２.３[ｍｍ]であることが分かった。
【０１８９】
図１７の２５眼ステレオ画像（実画像）を用いて本発明によって推定された平面パラメータを利用して生成された仮想焦点面画像を図１８に示す。図１８（Ａ）、（Ｂ）、（Ｃ）の四角の枠で囲まれた１００×１００ピクセルのＲＯＩを定め、それらの注目領域（ＲＯＩ）に関して、本発明を利用して平面パラメータを推定した。
【０１９０】
本発明による平面パラメータ推定処理では、第１推定処理の繰返し計算の回数がそれぞれのＲＯＩについて６回、８回、８回で、第２推定処理の繰返し計算の回数が３回、３回、４回であり、それぞれのＲＯＩに関するトータルの計算時間は、６５６.２ミリ秒、６７５.５ミリ秒、７９６.８ミリ秒であり、全ての平面パラメータ推定処理は、１秒以内に計算を終えていることが分かった。このように、実画像の多眼ステレオ画像に本発明を適用することによって、少ない計算コストで平面パラメータを精度良く推定できたことは、実証された。
【０１９１】
また、図１８（Ｂ）、（Ｃ）において、その２つの注目領域（ＲＯＩ）の対象が平面とは言えない。それにもかかわらず、本発明により推定された平面パラメータを利用することにより、良好な仮想焦点面画像が生成されており、本発明の有効性が実証された。
【図面の簡単な説明】
【０１９２】
【図１】本発明に係る平面パラメータ推定装置の一実施形態を示すブロック構成図である。
【図２】多眼ステレオカメラ配置及び画像ペアインデックスを説明するための模式図である。
【図３】本発明に係る平面パラメータ推定装置の処理手順を示す図である。
【図４】本発明に係る平面パラメータ推定装置起動後の処理手順を示す図である。
【図５】本発明に係る平面パラメータ推定装置の前処理計算部及び画像ペア選択部の処理手順を示す図である。
【図６】本発明に係る平面パラメータ推定装置の第１推定部の処理手順を示す図である。
【図７】本発明に係る平面パラメータ推定装置の第２推定部の処理手順を示す図である。
【図８】コンピュータグラフィックスによって生成された２５眼ステレオ画像（合成画像）を示す図である。
【図９】図８の２５眼ステレオ画像から選択した基準画像（合成画像）を示す図である。
【図１０】図８の２５眼ステレオ画像（合成画像）を用いた場合に、各画像ペアによる平面パラメータ推定及び全画像ペアによる平面パラメータ推定のＲＭＳＥと繰返し回数との関係を示すグラフである。
【図１１】図８の２５眼ステレオ画像（合成画像）を用いた場合に、各画像ペアにおけるヘッセ行列の条件数を示す図である。
【図１２】図８の２５眼ステレオ画像（合成画像）を用いた場合に、各画像ペアにおけるヘッセ行列から導出されたガウス曲率を示す図である。
【図１３】図８の２５眼ステレオ画像（合成画像）を用いた場合に、各画像ペアにおけるヘッセ行列から導出された平均曲率を示す図である。
【図１４】図８の２５眼ステレオ画像（合成画像）を用いて本発明を適用した場合に、本発明における繰返し回数による平面パラメータ推定精度の変化を示す図である。
【図１５】図８の２５眼ステレオ画像（合成画像）を用いて本発明によって推定された平面パラメータを利用して生成された仮想焦点面画像を示す図である。
【図１６】本発明の実施例２に利用された実画像を撮影したViewplus社製の２５眼カメラを示す図である。
【図１７】図１６の２５眼カメラで撮影した２５眼ステレオ画像（実画像）を示す図である。
【図１８】図１７の２５眼ステレオ画像（実画像）を用いて本発明によって推定された平面パラメータを利用して生成された仮想焦点面画像を示す図である。
【符号の説明】
【０１９３】
１      平面パラメータ推定装置
１０    前処理計算部
２０    画像ペア選択部
３０    第１推定部
４０    第２推定部
【図１】
2009186287.tif 000338
【図２】
2009186287.tif 000339
【図５】
2009186287.tif 000340
【図６】
2009186287.tif 000341
【図７】
2009186287.tif 000342
【図３】
2009186287.tif 000343
【図４】
2009186287.tif 000344
【図８】
2009186287.tif 000345
【図９】
2009186287.tif 000346
【図１０】
2009186287.tif 000347
【図１１】
2009186287.tif 000348
【図１２】
2009186287.tif 000349
【図１３】
2009186287.tif 000350
【図１４】
2009186287.tif 000351
【図１５】
2009186287.tif 000352
【図１６】
2009186287.tif 000353
【図１７】
2009186287.tif 000354
【図１８】
2009186287.tif 000355