(57)【要約】      （修正有）【課題】立体画像撮影用の２台のカメラ間のずれ量を算出する。【解決手段】第１の画像内の特徴点の位置と、第２の画像内の対応する特徴点の位置とを特定する特定器と、上記第１の画像および上記第２の画像内において、上記第１の画像および上記第２の画像のそれぞれを撮影するカメラの光軸を確定する確定器と、所定のモデルを用いて、上記第１の画像内の上記特徴点の位置と、上記第２の画像内の上記対応する特徴点の位置との間のずれ量を演算する演算器と、ランダムサンプルコンセンサス技術を用いて、上記演算されたずれ量の妥当性を試験する試験器とを具備し、上記ずれ量は、上記第１の画像および上記第２の画像のそれぞれの上記確定された光軸に関する、上記第１の画像の上記特徴点の位置と、上記第２の画像の上記対応する特徴点の位置とに応じて算出され、上記試験されたずれ量は、所定の条件を達成したときに妥当とされる。【選択図】図２
2011182397.tif 000002
【特許請求の範囲】
【請求項１】
立体的に視認可能な第１の画像と第２の画像との間のずれ量を算出するずれ量算出方法であって、
前記第１の画像内の特徴点の位置と、前記第２の画像内の対応する特徴点の位置とを特定し、
前記第１の画像および前記第２の画像内において、前記第１の画像および前記第２の画像のそれぞれを撮影するカメラの光軸を確定し、
所定のモデルを用いて、前記第１の画像内の前記特徴点の位置と、前記第２の画像内の前記対応する特徴点の位置との間のずれ量を演算し、
ランダムサンプルコンセンサス技術を用いて、前記演算されたずれ量の妥当性を試験し、
前記ずれ量は、前記第１の画像および前記第２の画像のそれぞれの前記確定された光軸に関する、前記第１の画像の前記特徴点の位置と、前記第２の画像の前記対応する特徴点の位置とに応じて算出され、
前記試験されたずれ量は、前記ランダムサンプルコンセンサス技術が所定の条件を達成したときに妥当とされる
ずれ量算出方法。
【請求項２】
請求項１に記載のずれ量算出方法であって、
前記ずれ量は、当該ずれ量が正確である確率が閾値を上回るときに妥当とされる
ずれ量算出方法。
【請求項３】
請求項１に記載のずれ量算出方法であって、
前記所定の条件は、前記ランダムサンプルコンセンサス技術が所定回数反復されることである
ずれ量算出方法。
【請求項４】
請求項３に記載のずれ量算出方法であって、
前記反復の回数は、下記の式に基づいて算出され、
【数１】
2011182397.tif 000030
式中、target_incorrect_est_probは、前記モデルが不正確である確率であり、incorrect_est_probは、前記対応する特徴点が不正確である確率である。
ずれ量算出方法。
【請求項５】
請求項１に記載のずれ量算出方法であって、
前記モデルは、下記の式によって定義され、
【数２】
2011182397.tif 000031
式中、ｙは、前記第２の画像内の前記特徴点の垂直位置、ｘＬおよびｙＬはそれぞれ、前記第１の画像内の前記特徴点の水平位置および垂直位置であり、θは回転ずれ量であり、Ｓはスケールずれ量であり、かつ、Ｔは、前記第１の画像と前記第２の画像との間の垂直ずれ量である
ずれ量算出方法。
【請求項６】
請求項１に記載のずれ量算出方法であって、さらに、
ブロックマッチング技術を用いて、元の第１の画像および元の第２の画像の各縮小版から特徴点を取得するステップを含む
ずれ量算出方法。
【請求項７】
請求項６に記載のずれ量算出方法であって、さらに、
前記元の第１の画像および前記元の第２の画像の前記各縮小版から取得された前記特徴点を、前記元の第１の画像および前記元の第２の画像におけるブロックマッチング技術の開始点として用い、前記元の第１の画像および前記元の第２の画像から第１の特徴点および第２の特徴点を取得するステップを含む
ずれ量算出方法。
【請求項８】
請求項１に記載のずれ量算出方法であって、さらに、
前記第１の画像内において少なくとも１つのさらなる特徴点の位置を特定し、前記第２の画像内において少なくとも１つの対応するさらなる特徴点の位置を特定するステップを含み、
前記第１の画像において２つの特徴点の位置を選択し、前記第２の画像において対応する２つの特徴点の位置を選択し、前記第１の画像と前記第２の画像との間の所与の回転ずれ量に基づいて、前記第１の画像と前記第２の画像との間の垂直ずれ量を算出する
ずれ量算出方法。
【請求項９】
請求項８に記載のずれ量算出方法であって、
前記第１の画像内の前記特徴点の位置と、前記第２の画像内の前記対応する特徴点の位置とが、前記確定された光軸の上方に位置し、かつ
前記第１の画像内の前記さらなる特徴点の位置と、前記第２の画像内の前記対応する特徴点の位置とが、前記確定された光軸の下方に位置する
ずれ量算出方法。
【請求項１０】
請求項１に記載のずれ量算出方法であって、
前記第１の画像内において特徴点の位置を選択し、前記第２の画像内において対応する特徴点の位置を選択し、前記第１の画像と前記第２の画像との間の所与の垂直ずれ量に基づいて、前記第１の画像と前記第２の画像との間のスケールずれ量を算出する
ずれ量算出方法。
【請求項１１】
請求項１０に記載のずれ量算出方法であって、
前記第１の画像内の前記特徴点の位置と、前記第２の画像内の前記対応する特徴点の位置とが、前記確定された光軸の上方に位置するか、または
前記第１の画像内の前記特徴点の位置と、前記第２の画像内の前記対応する特徴点の位置とが、前記確定された光軸の下方に位置する
ずれ量算出方法。
【請求項１２】
請求項１に記載のずれ量算出方法であって、さらに、
前記第１の画像内において少なくとも１つのさらなる特徴点の位置を特定し、前記第２の画像内において少なくとも１つの対応するさらなる特徴点の位置を特定するステップを含み、
前記第１の画像内において２つの特徴点の位置を選択し、前記第２の画像内において対応する２つの特徴点の位置を選択し、前記第１の画像と前記第２の画像との間の所与のスケールずれ量に基づいて、前記第１の画像と前記第２の画像との間の回転ずれ量を算出する
ずれ量算出方法。
【請求項１３】
請求項１２に記載のずれ量算出方法であって、
前記第１の画像内の前記特徴点の位置と、前記第２の画像内の前記対応する特徴点の位置とが、前記確定された光軸の左側に位置し、かつ
前記第１の画像内の前記さらなる特徴点の位置と、前記第２の画像内の前記対応する特徴点の位置とが、前記確定された光軸の右側に位置する
ずれ量算出方法。
【請求項１４】
請求項１に記載のずれ量算出方法であって、
前記特徴点の位置および前記さらなる特徴点の位置は、ランダムに生成される
ずれ量算出方法。
【請求項１５】
請求項１に記載のずれ量算出方法であって、
前記特徴点の位置は、前記第１の画像および前記第２の画像内の画素位置である
ずれ量算出方法。
【請求項１６】
コンピュータに、請求項１に記載のずれ量算出方法の各ステップを実行させるプログラム。
【請求項１７】
請求項１６に記載のプログラムが記録された記録媒体。
【請求項１８】
立体的に視聴可能な第１の画像と第２の画像との間のずれ量を算出するずれ量算出装置であって、
前記第１の画像内の特徴点の位置と、前記第２の画像内の対応する特徴点の位置とを特定する特定器と、
前記第１の画像および前記第２の画像内において、前記第１の画像および前記第２の画像のそれぞれを撮影するカメラの光軸を確定する確定器と、
所定のモデルを用いて、前記第１の画像内の前記特徴点の位置と、前記第２の画像内の前記対応する特徴点の位置との間のずれ量を演算する演算器と、
ランダムサンプルコンセンサス技術を用いて、前記演算されたずれ量の妥当性を試験する試験器とを具備し、
前記ずれ量は、前記第１の画像および前記第２の画像のそれぞれの前記確定された光軸に関する、前記第１の画像の前記特徴点の位置と、前記第２の画像の前記対応する特徴点の位置とに応じて算出され、
前記試験されたずれ量は、前記ランダムサンプルコンセンサス技術が所定の条件を達成したときに妥当とされる
ずれ量算出装置。
【請求項１９】
請求項１８に記載のずれ量算出装置であって、
前記ずれ量は、当該ずれ量が正確である確率が閾値を上回るときに妥当とされる
ずれ量算出装置。
【請求項２０】
請求項１８に記載のずれ量算出装置であって、
前記所定の条件は、前記ランダムサンプルコンセンサス技術が所定回数反復されることである
ずれ量算出装置。
【請求項２１】
請求項２０に記載のずれ量算出装置であって、
前記反復の回数は、下記の式に基づいて算出され、
【数３】
2011182397.tif 000032
式中、target_incorrect_est_probは、前記モデルが不正確である確率であり、incorrect_est_probは、前記対応する特徴点が不正確である確率である
ずれ量算出装置。
【請求項２２】
請求項１８に記載のずれ量算出装置であって、
前記モデルは、下記の式によって定義され、
【数４】
2011182397.tif 000033
式中、ｙは、前記第２の画像内の前記特徴点の垂直位置、ｘＬおよびｙＬはそれぞれ、前記第１の画像内の前記特徴点の水平位置および垂直位置であり、θは回転ずれ量であり、Ｓはスケールずれ量であり、かつ、Ｔは、前記第１の画像と前記第２の画像との間の垂直ずれ量である
ずれ量算出装置。
【請求項２３】
請求項１８に記載のずれ量算出装置であって、さらに、
ブロックマッチング技術を用いて、元の第１の画像および元の第２の画像の各縮小版から特徴点を取得する取得器を具備する
ずれ量算出装置。
【請求項２４】
請求項２３に記載のずれ量算出装置であって、
前記取得器はさらに、前記元の第１の画像および前記元の第２の画像の前記各縮小版から取得された前記特徴点を、前記元の第１の画像および前記元の第２の画像におけるブロックマッチング技術の開始点として用い、前記元の第１の画像および前記元の第２の画像から第１の特徴点および第２の特徴点を取得するように動作可能である
ずれ量算出装置。
【請求項２５】
請求項１８に記載のずれ量算出装置であって、
前記特定器はさらに、前記第１の画像内において少なくとも１つのさらなる特徴点の位置を特定し、前記第２の画像内において少なくとも１つの対応するさらなる特徴点の位置を特定するように動作可能であり、
前記第１の画像において２つの特徴点の位置を選択し、前記第２の画像において対応する２つの特徴点の位置を選択し、前記第１の画像と前記第２の画像との間の所与の回転ずれ量に基づいて、前記第１の画像と前記第２の画像との間の垂直ずれ量を算出する
ずれ量算出装置。
【請求項２６】
請求項２５に記載のずれ量算出装置であって、
前記第１の画像内の前記特徴点の位置と、前記第２の画像内の前記対応する特徴点の位置とが、前記確定された光軸の上方に位置し、かつ
前記第１の画像内の前記さらなる特徴点の位置と、前記第２の画像内の前記対応する特徴点の位置とが、前記確定された光軸の下方に位置する
ずれ量算出装置。
【請求項２７】
請求項１８に記載のずれ量算出装置であって、
前記第１の画像内において特徴点の位置を、前記第２の画像内において対応する特徴点の位置を選択し、前記第１の画像と前記第２の画像との間の所与の垂直ずれ量に基づいて、前記第１の画像と前記第２の画像との間のスケールずれ量を算出する
ずれ量算出装置。
【請求項２８】
請求項２７に記載のずれ量算出装置であって、
前記第１の画像内の前記特徴点の位置と、前記第２の画像内の前記対応する特徴点の位置とが、前記確定された光軸の上方に位置するか、または
前記第１の画像内の前記特徴点の位置と、前記第２の画像内の前記対応する特徴点の位置とが、前記確定された光軸の下方に位置する
ずれ量算出装置。
【請求項２９】
請求項１８に記載のずれ量算出装置であって、
前記特定器はさらに、前記第１の画像内において少なくとも１つのさらなる特徴点の位置を特定し、前記第２の画像内において少なくとも１つの対応するさらなる特徴位置を特定するように動作可能であり、
前記第１の画像内において２つの特徴点の位置を選択し、前記第２の画像内において対応する２つの特徴点の位置を選択し、前記第１の画像と前記第２の画像との間の所与のスケールずれ量に基づいて、前記第１の画像と前記第２の画像との間の回転ずれ量を算出する
ずれ量算出装置。
【請求項３０】
請求項２９に記載のずれ量算出装置であって、
前記第１の画像内の前記特徴点の位置と、前記第２の画像内の前記対応する特徴点の位置とが、前記確定された光軸の左側に位置し、かつ
前記第１の画像内の前記さらなる特徴点の位置と、前記第２の画像内の前記対応する特徴点の位置とが、前記確定された光軸の右側に位置する
ずれ量算出装置。
【請求項３１】
請求項１８に記載のずれ量算出装置であって、
前記特徴点の位置および前記さらなる特徴点の位置は、ランダムに生成される
ずれ量算出装置。
【請求項３２】
請求項１８に記載のずれ量算出装置であって、
前記特徴点の位置は、前記第１の画像および前記第２の画像内の画素位置である
ずれ量算出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ずれ量算出方法およびずれ量算出装置に関する。
【背景技術】
【０００２】
３Ｄ画像を視聴するために立体映像を撮影する場合、当該映像を２台のカメラを用いて撮影することが一般的である。映像が正確に撮影されることを保証するためには、２台のカメラは、同じズームレベルと、最小の垂直視差とを有する必要がある。また、２台のカメラのロールずれ量が最小である必要もある。
【０００３】
通常、上記ずれ量は、可能である場合はカメラの操作者によって修正される。２台のカメラ間のずれは単独ではなく、２つ以上のずれが組み合わさって起こることが典型的であるため、カメラ操作者がこれらのずれ量を確定して修正することは困難である。さらに、特に生放送のビデオ映像の場合、このようなエラーを迅速にかつ正確に修正することが重要である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】欧州特許出願公開第２１１２６３０号明細書
【特許文献２】英国特許出願公開第２３７２６５９号明細書
【非特許文献】
【０００５】
【非特許文献１】LACEY他著、"An evaluation of the performance of RANSAC algorithms for stereo camera calibration" BMVC 200: Proceedings of the 11th British Machine Vision Conference; 11-14 September 200, University of Bristol, UK; Conference Paper, Vol 2, Pages 646-655
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の実施形態は、上記問題に対処することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の実施形態によれば、立体的に視聴可能な第１の画像と第２の画像との間のずれ量を算出する方法であって、上記第１の画像内の特徴点の位置と、上記第２の画像内の対応する特徴点の位置とを特定し、上記第１の画像および上記第２の画像内において、上記第１の画像および上記第２の画像のそれぞれを撮影するカメラの光軸を確定し、所定のモデルを用いて、上記第１の画像内の上記特徴点の位置と、上記第２の画像内の上記対応する特徴点の位置との間のずれ量を計算し、ランダムサンプルコンセンサス技術を用いて、上記計算されたずれ量の妥当性をテストし、上記ずれ量は、上記第１の画像および上記第２の画像のそれぞれの上記確定された光軸に関する、上記第１の画像の上記特徴点の位置と、上記第２の画像の上記対応する特徴点の位置とに応じて算出され、上記テストされたずれ量は、上記ランダムサンプルコンセンサス技術が所定の条件を達成したときに妥当とされる、ずれ量算出方法が提供される。
【０００８】
上記ずれ量は、上記ずれ量が正確である確率が閾値を上回るときに妥当であってもよい。
【０００９】
上記所定の条件は、上記ランダムサンプルコンセンサス技術が所定回数反復されることであってもよい。
【００１０】
上記反復の回数は、下記の式に基づいて算出されてもよい。
【００１１】
【数１】
2011182397.tif 000003
式中、target_incorrect_est_probは、上記モデルが不正確である確率であり、incorrect_est_probは、上記対応する特徴点が不正確である確率である。
【００１２】
上記モデルは、下記の式によって定義されてもよい。
【００１３】
【数２】
2011182397.tif 000004
式中、ｙは、上記第２の画像内の上記特徴点の垂直位置、ｘＬおよびｙＬはそれぞれ、上記第１の画像内の上記特徴点の水平位置および垂直位置であり、θは回転ずれ量であり、Ｓはスケールずれ量であり、かつ、Ｔは、上記第１の画像と上記第２の画像との間の垂直ずれ量である。
【００１４】
上記ずれ量算出方法はさらに、ブロックマッチング技術を用いて、元の第１の画像および元の第２の画像の縮小版から特徴点を取得するステップを含んでもよい。
【００１５】
上記ずれ量算出方法はさらに、上記元の第１の画像および上記元の第２の画像の上記縮小版から取得された上記特徴点を、上記元の第１の画像および上記元の第２の画像におけるブロックマッチング技術の開始点として用い、上記元の第１の画像および上記元の第２の画像から第１の特徴点および第２の特徴点を取得するステップを含んでもよい。
【００１６】
上記ずれ量算出方法はさらに、上記第１の画像内において少なくとも１つのさらなる特徴点の位置を特定し、上記第２の画像内において少なくとも１つの対応するさらなる特徴点の位置を特定するステップを含んでもよく、上記第１の画像において２つの特徴点の位置を、上記第２の画像において対応する２つの特徴点の位置を選択し、上記第１の画像と上記第２の画像との間の所与の回転ずれ量に基づいて、上記第１の画像と上記第２の画像との間の垂直ずれ量を算出してもよい。
【００１７】
上記第１の画像内の上記特徴点の位置と、上記第２の画像内の上記対応する特徴点の位置とが、上記確定された光軸の上方に位置してもよく、かつ上記第１の画像内の上記さらなる特徴点の位置と、上記第２の画像内の上記対応する特徴点の位置とが、上記確定された光軸の下方に位置してもよい。
【００１８】
上記第１の画像内において特徴点の位置を選択し、上記第２の画像内において対応する特徴点の位置を選択し、上記第１の画像と上記第２の画像との間の所与の垂直ずれ量に基づいて、上記第１の画像と上記第２の画像との間のスケールずれ量を算出してもよい。
【００１９】
上記第１の画像内の上記特徴点の位置と、上記第２の画像内の上記対応する特徴点の位置とが、上記確定された光軸の上方に位置してもよいか、または上記第１の画像内の上記特徴点の位置と、上記第２の画像内の上記対応する特徴点の位置とが、上記確定された光軸の下方に位置してもよい。
【００２０】
上記ずれ量算出方法はさらに、上記第１の画像内において少なくとも１つのさらなる特徴点の位置を特定し、上記第２の画像内において少なくとも１つの対応するさらなる特徴点の位置を特定するステップを含んでもよく、上記第１の画像内において２つの特徴点の位置を選択し、上記第２の画像内において対応する２つの特徴点の位置を選択し、上記第１の画像と上記第２の画像との間の所与のスケールずれ量に基づいて、上記第１の画像と上記第２の画像との間の回転ずれ量を算出してもよい。
【００２１】
上記第１の画像内の上記特徴点の位置と、上記第２の画像内の上記対応する特徴点の位置とが、上記確定された光軸の左側に位置してもよく、かつ上記第１の画像内の上記さらなる特徴点の位置と、上記第２の画像内の上記対応する特徴点の位置とが、上記確定された光軸の右側に位置してもよい。
【００２２】
上記特徴点の位置および上記さらなる特徴点の位置は、ランダムに生成されてもよい。
【００２３】
上記特徴点の位置は、上記第１の画像および上記第２の画像内の画素位置であってもよい。
【００２４】
本発明の第２の実施形態によれば、コンピュータに、上記ずれ量算出方法の各ステップを実行させるプログラムが提供される。
【００２５】
本発明の第３の実施形態によれば、プログラム（請求項１６に対応）が記録された記録媒体が提供される。
【００２６】
本発明の第４の実施形態によれば、立体的に視聴可能な第１の画像と第２の画像との間のずれ量を算出する装置であって、上記第１の画像内の特徴点の位置と、上記第２の画像内の対応する特徴点の位置とを特定する特定器と、上記第１の画像および上記第２の画像内において、上記第１の画像および上記第２の画像のそれぞれを撮影するカメラの光軸を確定する確定器と、モデルを用いて、上記第１の画像内の上記特徴点の位置と、上記第２の画像内の上記対応する特徴点の位置との間のずれ量を演算する演算器と、ランダムサンプルコンセンサス技術を用いて、上記演算されたずれ量の妥当性を試験する試験器とを具備し、上記ずれ量は、上記第１の画像および上記第２の画像のそれぞれの上記確定された光軸に関する、上記第１の画像の上記特徴点の位置と、上記第２の画像の上記対応する特徴点の位置とに応じて算出され、上記テストされたずれ量は、上記ランダムサンプルコンセンサス技術が所定の条件を達成したときに妥当とされる、ずれ量算出装置が提供される。
【００２７】
上記ずれ量は、上記ずれ量が正確である確率が閾値を上回るときに妥当であってもよい。
【００２８】
上記所定の条件は、上記ランダムサンプルコンセンサス技術が所定回数反復されることであってもよい。
【００２９】
上記反復の回数は、下記の式に基づいて算出されてもよい。
【００３０】
【数３】
2011182397.tif 000005
式中、target_incorrect_est_probは、上記モデルが不正確である確率であり、incorrect_est_probは、上記対応する特徴点が不正確である確率である。
【００３１】
上記モデルは、下記の式によって定義されてもよい。
【００３２】
【数４】
2011182397.tif 000006
式中、ｙは、上記第２の画像内の上記特徴点の垂直位置、ｘＬおよびｙＬはそれぞれ、上記第１の画像内の上記特徴点の水平位置および垂直位置であり、θは回転ずれ量であり、Ｓはスケールずれ量であり、かつ、Ｔは、上記第１の画像と上記第２の画像との間の垂直ずれ量である。
【００３３】
上記ずれ量算出装置はさらに、ブロックマッチング技術を用いて、元の第１の画像および元の第２の画像の縮小版から特徴点を取得する取得器を具備してもよい。
【００３４】
上記取得器はさらに、上記元の第１の画像および上記元の第２の画像の上記縮小版から取得された上記特徴点を、上記元の第１の画像および上記元の第２の画像におけるブロックマッチング技術の開始点として用い、上記元の第１の画像および上記元の第２の画像から第１の特徴点および第２の特徴点を取得するように動作可能であってもよい。
【００３５】
上記特定器はさらに、上記第１の画像内において少なくとも１つのさらなる特徴点の位置を特定し、上記第２の画像内において少なくとも１つの対応するさらなる特徴点の位置を特定するように動作可能であってもよく、上記第１の画像において２つの特徴点の位置を、上記第２の画像において対応する２つの特徴点の位置を選択し、上記第１の画像と上記第２の画像との間の所与のロールずれ量に基づいて、上記第１の画像と上記第２の画像との間の垂直ずれ量を算出してもよい。
【００３６】
上記第１の画像内の上記特徴点の位置と、上記第２の画像内の上記対応する特徴点の位置とが、上記確定された光軸の上方に位置してもよく、かつ上記第１の画像内の上記さらなる特徴点の位置と、上記第２の画像内の上記対応する特徴点の位置とが、上記確定された光軸の下方に位置してもよい。
【００３７】
上記第１の画像内において特徴点の位置を選択し、上記第２の画像内において対応する特徴点の位置を選択し、上記第１の画像と上記第２の画像との間の所与の垂直ずれ量に基づいて、上記第１の画像と上記第２の画像との間のスケールずれ量を算出してもよい。
【００３８】
上記第１の画像内の上記特徴点の位置と、上記第２の画像内の上記対応する特徴点の位置とが、上記確定された光軸の上方に位置してもよいか、または上記第１の画像内の上記特徴点の位置と、上記第２の画像内の上記対応する特徴点の位置とが、上記確定された光軸の下方に位置してもよい。
【００３９】
上記特定器はさらに、上記第１の画像内において少なくとも１つのさらなる特徴点の位置を特定し、上記第２の画像内において少なくとも１つの対応するさらなる特徴点の位置を特定するように動作可能であってもよく、上記第１の画像内において２つの特徴点の位置を選択し、上記第２の画像内において対応する２つの特徴点の位置を選択し、上記第１の画像と上記第２の画像との間の所与のスケールずれ量に基づいて、上記第１の画像と上記第２の画像との間の回転ずれ量を算出してもよい。
【００４０】
上記第１の画像内の上記特徴点の位置と、上記第２の画像内の上記対応する特徴点の位置とが、上記確定された光軸の左側に位置してもよく、かつ上記第１の画像内の上記さらなる特徴点の位置と、上記第２の画像内の上記対応する特徴点の位置とが、上記確定された光軸の右側に位置してもよい。
【００４１】
上記特徴点の位置および上記さらなる特徴点の位置は、ランダムに生成されてもよい。
【００４２】
上記特徴点の位置は、上記第１の画像および上記第２の画像内の画素位置であってもよい。
【００４３】
本発明の上記および他の課題、特徴および利点が、添付の図面を参照して読まれるべき例示的な実施形態の以下の詳細な説明から明らかになるであろう。
【図面の簡単な説明】
【００４４】
【図１】本発明の一実施形態によるずれ量演算器に接続されるカメラシステムを示す図である。
【図２】図１のずれ量演算器を示す図である。
【図３】図１のずれ量演算器においてエッジ検出器と対応点算出器とによって実行される処理を説明するフローチャートである。
【図４】図３のフローチャートの図解を示す図である。
【図５】ずれ量の演算を説明するフローチャートである。
【図６】垂直ずれ量を算出する原理を説明するフローチャートである。
【図７】画素位置を光軸に関する画素位置に変換する方法を示す図である。
【図８】スケールずれ量を算出する原理を説明するフローチャートである。
【図９】回転ずれ量を算出する原理を説明するフローチャートである。
【図１０】垂直ずれ量アルゴリズムの算出を説明する図である。
【図１１】回転ずれ量アルゴリズムの算出を説明する図である。
【図１２】回転ずれ量アルゴリズムの算出を説明する図である。
【図１３Ａ】対応点を正確に確定する技術を説明するフローチャートである。
【図１３Ｂ】対応点を正確に確定する技術を説明するフローチャートである。
【発明を実施するための形態】
【００４５】
［方法の概要］
実施形態において、立体画像についてずれ量を計算するために、概ね以下の方法が行われる。
１）２枚の画像のうちの一方の画像内の主要特徴点を選択する。実施形態において、左画像内の主要特徴点を選択する。
２）主要特徴点をブロックマッチング処理の基準として用いて、右画像内の対応する主要特徴点を算出する。
３）一連の幾何学的演算を実行して、３つの歪み量（ずれ量）を得る。具体的には、垂直視差を示すずれ量を算出し、スケール（拡大縮小）視差を示すずれ量を算出し、最後に、ロール（回転）視差を示すずれ量を算出する。実施形態において、先行のステップにおいて算出されたずれ量を、後述のステップのずれ量演算において用いる。３つのずれ量を特定の順序で算出するように記載されているが、後述するように、本発明はこれに限定されない。ずれ量はあらゆる順序で計算することが可能である。次いで、ずれ量を用いて、カメラの物理的な位置および／またはカメラのパラメータを調整するか、または、ずれ量に基づいて、撮影画像を電子的に調整することができる。
【００４６】
図１は、本発明の実施形態のうちの一実施態様を示す。２台のカメラ１１０および１２０が立体画像を撮影するように設定される。これらの立体画像用カメラによって、カメラシステム１００が構成される。各カメラからの出力が、本発明の実施形態によるずれ量演算器２００に供給される。ずれ量演算器２００は、カメラシステム１００の２台のカメラ間のずれ量を算出する。なお、立体画像を撮影するように設定されたカメラは水平変位を行うものだが、水平変位を行う画像用のアルゴリズムは必須ではない。それゆえ、ずれ量演算器２００が、垂直視差を示すずれ量と、回転視差を示すずれ量とを算出し、スケール視差を示すずれ量が生成される。これらのずれ量をカメラの操作者が用いることによって、カメラのずれを物理的に修正するか、当該ずれ量を用いてサーボモータを制御してずれを修正させることができる。実際には、ずれ量を用いることで、カメラの向きを一切物理的に修正することなく、カメラシステム１００によって生成される画像を電子的に修正することも可能である。
【００４７】
図２は、ずれ量演算器２００をより詳細に示す。まず、従来の技術を用いて、２台のカメラからの画像を１／４ＨＤに（すなわち、１２８０×７２０ｐから４８０×２７０解像度または３６０×１８０へ）縮小し、エッジ検出器２１０に供給する。画像の解像度を減らすことは、エッジ検出がより速やかに行われることを意味する。エッジ検出器２１０を用いて、左画像における水平エッジを算出する。検出されたエッジを対応点算出器２２０に供給し、対応点算出器２２０は、左画像内の点に対応する右画像内の点を算出する。換言すると、対応点算出器２２０は、左画像内において、右画像の一定の画素がどこに位置するかを算出する。ずれ量をずれ量算出器２３０において計算して出力する。
【００４８】
図３は、エッジ検出器２１０と対応点算出器２２０とによって実行される処理を説明するフローチャートである。当該フローチャートは、図４のイラストを用いて説明される。
【００４９】
図４では、（左側のカメラ１２０によって撮影された）左画像１２０Ａに自動車１２５Ａの像が含まれている。これはまず、従来技術を用いて１／４ＨＤ解像度に縮小される。解像度を減らすことは、エッジ検出がより速やかに行われることを意味する。図３のステップ２１０１において、左画像内の水平エッジを検出する。実施形態において、これは、例えば、ゾーベルエッジ検出アルゴリズム等のエッジ検出アルゴリズムによって達成される。水平エッジを検出するのは、計算されるずれ量のうちの１つが２枚の画像間の垂直変位であるためである。このようにして、水平エッジのみを計算することで、候補特徴点の数が、実質的に結果の精度に影響を与えることなく減る。
【００５０】
左画像内の水平エッジを計算した後、１２０Ｂ（図４を参照）のような画像を生成する。図４に見られるように、エラーエッジ１２５Ｂが生成されている。エラーエッジ１２５Ｂは、右画像おいて対応する点を有しない。したがって、検出された水平エッジの数を減らすことが望まれる。水平エッジの数の削減は、図３のステップＳ２１０２において行われる。これを達成するために、エッジが検出された画像をタイルに分割する。実施形態において、各タイルは、幅１６画素×高さ１６画素である。図４において、１つのタイルに参照符号１２５Ｃが付されている。しかし、任意のサイズのタイルを選択可能である。同様に、任意の形状のタイル、例えば、矩形のタイルを選択可能である。タイルに引っかからないエッジは全て無視する。換言すると、検出されたエッジのうち、長さが１６画素未満のものは無視される。この削減を行うことによって、誤ったエラーエッジが無視される。これによって、結果の信頼性が向上するとともに、本方法の演算にかかる費用が削減される。
【００５１】
検出されたエッジの数を減らした後、画像を象限に分割する。象限の中心は画像の光軸である。実施形態において、象限の中心を光軸に置くのは、光軸が不変の線だからである。つまり、光軸は、スケール歪みの影響も、ロール歪むの影響も受けない。説明の便宜上、画像の光軸は、画像の中心と想定する。しかし、当業者であれば、これがただ有効な仮定であって、常に適用される訳ではないことが理解されるであろう。これを図４に１２０Ｄで示す。象限画像の一区画が参照符号付き（１２５Ｄ）で示されている。
【００５２】
画像を象限に分割した後、象限毎に複数のサンプルエッジ画素を選択する。実施形態において、象限毎に２０個の画素が選択されているが、本発明はこれに限定されず、任意の数の画素を選択することができる。この選択は、理解されるように、演算の精度と速度との兼ね合いに基づいてもよい。さらに、実施形態において、画素はランダムに選択されているが、本発明はこれに限定されない。
【００５３】
複数の選択画素が選択された典型的な画像を図４の１２０Ｅに示す。このような画素の１つの画素位置が参照符号付き（１２５Ｅ）で示されている。なお、画素位置は好適な特徴点として確定されているが、本発明はこれに限定されない。理解されるように、１／４解像度画像におけるサブ画素位置等の他の特徴点を算出することもできる。複数のサブ画素のうちの任意の１つが「通常の」画素位置（すなわち、フル解像度ＨＤ信号の画素位置）に存在する場合、サブ画素の値をランダムにまたは何らかの他の方法によって選択してもよい。さらに、ユーザに、「通常」画素位置にある、存在し得る異なるサブ画素値を知らせてもよい。
【００５４】
これまでのところ、本方法は、左画像内の特徴位置を識別した。これらの特徴位置は、左画像内の画素位置である。次に、右画像内の対応する画素位置がどこに存在するのかを算出する必要がある。
【００５５】
右画像内において確定される画素位置毎に探索を実行する。換言すると、複数の画素位置が左画像内に確定されているため、対応する画素位置を算出するために右画像内の同じ画素位置の周囲において探索を実行する必要がある。これは、ブロックマッチング技術を用いて達成される。
【００５６】
ステップ２１０４において、従来のブロックマッチング技術を、右画像の画素位置毎に実行し、対応する画素位置を算出する。これを図４の１１０Ｂに図示する。当該画像１１０Ｂに見られるように、左画像から導出された画素位置１２５Ｅが、右画像１１０Ｂにおいて探索エリアの中心をなしている。探索エリアのサイズは、立体視聴を達成するために必要とされる意図的な水平変位およびエラーに起因するずれ量に対処するものでなければならない。したがって、画像が典型的なフル解像度画像である場合、探索エリアは、幅２５０画素×高さ１００画素である。しかし、本発明はこれに限定されず、他のサイズおよび形状の探索エリアを採用することが可能である。具体的には、１／４解像度に対して、探索エリアは、幅６３画素×高さ４５画素である。
【００５７】
ブロックマッチング技術の結果は、確率のマップであり、これは、左画像内において確定された画素位置１２５Ｅに対応する探索エリア内の各画素位置の確率を提供する。最も高い確率を有する右画像内の画素位置が、左画像１２５Ｅにおける画素位置に対応する右画像内の画素位置として選択される。図４に示されるように、右画像の画素位置は、画素位置１１９Ｂとして確定される。これは、ステップＳ２１０５において示されるように、左画像内において確定された全ての画素位置に対して繰り返される。
【００５８】
エラー結果の数を確実に減らすために、ステップＳ２１０５からの結果はフィルタリングにかけられる。第１のフィルタとして、右画像内の明確に対応する画素位置が確率１を有する場合、例えば、０．９８（または確率９８％）の一定の閾値未満の全ての結果が無視される。これによって、エラー結果の数が減る。これは例示の閾値であるため、他の好適な閾値が想定可能であり、本発明はこれに限定されない。
【００５９】
さらに、左画像内の画素位置がエッジ画素位置である場合、右画像内の対応する点もエッジ画素位置であるはずである。それゆえ、右画像も、水平エッジを検出するために、ゾーベルエッジ検出アルゴリズム等のエッジ検出アルゴリズムにかけられる。右画像内の対応する画素位置が３つの水平エッジのうちの１つのエッジ上に位置している場合、右画像内の画素位置が、左画像内において算出された画素位置に対応する確率が高くなる。なお、上記技術の一方または両方を用いてエラー結果が生じる可能性を低減することができる。実際には、両方の技術の組合せが用いられる。
【００６０】
図２を参照すると、対応点算出器２２０からの出力は、左画像内の画素位置のリストおよび右画像内の対応する点のリストである。
【００６１】
対応点算出器２２０の精度を向上させるために、対応点が識別されたフル解像度（１９２０×１０８０）画像を用いてブロックマッチング技術を繰り返す。具体的には、左画像において１６画素×１６画素探索ウィンドウを、右画像において３２画素×３２画素探索ウィンドウを用いて、ブロックマッチング技術を繰り返す。各探索ウィンドウの中心は、対応点算出器２２０によって算出された点に位置決めされる。フル解像度ブロックマッチングの結果は、ずれ量計算機２３０に供給される。上述のように説明してきたが、第１の画像内の位置と、第２の画像内の対応する点とを算出する従来技術を同様に用いてもよい。しかし、ＳＩＦＴ（Scale-Invariant Feature Transform）等の従来技術より、上記方法の方が速く、演算にかかる費用が安く済むことに留意されたい。
【００６２】
［ずれ量の計算］
対応特徴点を導出し、画像の光軸に関する位置に変換した後、下記のずれ量を導出する方法を用いてもよい。
【００６３】
図１０を参照すると、垂直オフセット（vertical offset）が一定であると仮定すると、垂直オフセットは、スケールおよびロール回転に対して不変であることになり、以下の式が成り立つ。
【００６４】
【数５】
2011182397.tif 000007
式中、ｙ２ｒは点ｐ２ｒ（光軸に関して）の垂直位置であり、ｘ２ｌおよびｙ２ｌはそれぞれ、点ｐ２ｌの水平位置および垂直位置であり、θはロール角（回転ずれ量）であり、Ｓはスケールずれ量であり、そして、Ｔは、２枚の画像間の垂直ずれ量である。
【００６５】
さらに、ブロックマッチングを用いて、点ｐ２ｌおよびｐ２ｒ間の垂直位置の差ｄを測定することが可能である。
【００６６】
【数６】
2011182397.tif 000008
したがって、［１］および［２］を用いると、以下の式が明らかになる。
【００６７】
【数７】
2011182397.tif 000009
【００６８】
３つの未知のパラメータ、Ｔ、Ｓおよびθ（またはＴ、ａおよびｂ）が存在する場合、左画像において光軸に関して表される座標（ｘ，ｙ）を有するこれらの３点、ｐ１ｌ、ｐ２ｌおよびｐ３ｌおよび右画像において対応する点を見出すことが可能であり、以下の式が示される。
【００６９】
【数８】
2011182397.tif 000010
【００７０】
［３］、［４］および［５］から、Ｔ、θおよびＳが立証されることが明白である
【００７１】
４つ以上の特徴点が測定される場合、実施形態において、画像の降順に（すなわち、始めの画像から最後の画像へ）点をリスト化することが可能である。これらの対応の３点が選択される。選択される３点は、ｉ番目、ｉ番目＋ｎ／３およびｉ番目＋２ｎ／３の特徴点であり、式中、ｉは、特徴点選択（０〜ｎ／３−１）の反復回数であり、ｎは測定された特徴点の数である。ａ、ｂおよびＴの値は、反復される度に計算され、全ての反復が行われた後、値が順番に並べられる。ａ、ｂおよびＴの中央値が、最良の推定値として選ばれ、これらの値は、Ｔ、Ｓおよびθを計算するのに用いられる。
【００７２】
図１３Ａおよび１３Ｂを参照すると、上述したθ、ＳおよびＴをより正確に立証する方法が開示される。対応点の精度、θの精度を立証する際にエラーがあると、スケールおよびＴは誤ったものになる。それゆえ、対応点を確定する際に、不正確さ、したがって、計算したずれ量の不正確さを低減することが望まれる。計算したずれ量の精度を上げるためには、ＲＡＮＳＡＣ（RANdom Sample Consensus）法を用いて、θ、ＳおよびＴを計算するのに必要とされる３つの対応点を立証する。図１３Ａおよび１３Ｂは、このような方法を説明するフローチャートを示す。
【００７３】
当該方法を、ステップＳ１３０５において開始する。ステップ１３１０において、ＲＡＮＳＡＣ技術の反復回数を計算する。必要とされる反復回数は、必要とされる結果の精度と、対応点の精度とに依存する。通常、任意の一対応点が正確である確率は、ＳＩＦＴ、ＳＵＲＦまたはブロックマッチング等の高性能対応アルゴリズムの場合、約８０％である（または対応点が不正確である確率は２０％）。
【００７４】
必要とされる反復回数ｎを計算するために、ＲＡＮＳＡＣ技術後の対応点が正確である確率を算出する。実施形態において、θ、ＳおよびＴの値が正確である可能性は９９．９９９９％である。それゆえ、以下の式が成り立つ。
【００７５】
【数９】
2011182397.tif 000011
式中、target_incorrect_est_probは、θ、ＳおよびＴの値が正確である確率であり、incorrect_est_probは、対応点が不正確である確率である。
【００７６】
値ｎを算出した後、左画像内の３つの対応点をランダムに選択する。さらに、右画像の対応する点も立証する（Ｓ１３１５）。選択されたこれらの点を用いて、上記式においてθ、スケールおよびＴを計算する（Ｓ１３２０）。ランダムに選択された点を、ステップＳ１３２５において、コンセンサスセットに追加する。
【００７７】
次いで、他の全ての対応点を個々にモデルに挿入して、右画像内の点の位置と、ＳおよびＴの値を用いて計算した予測位置および測定位置間の距離とを計算する。これらの立証された値を、ランダムに選択された対応点によって算出された上記値と比較する（ステップＳ１３３５）。上記値の差異が閾値を下回る場合、対応点をコンセンサスセットに追加する（Ｓ１３４０）。上記差異が閾値を上回る場合、点はコンセンサスセットに追加しない（Ｓ１３４５）。
【００７８】
全ての対応点をテストした後、コンセンサスセットに存在する点の数を計数する。点の数が閾値を上回る場合、すなわち、点対応アルゴリズムの精度以下である場合、中央値法（median of values method）をコンセンサスセット全体に用い、より良好なモデルＳ１３５５Ａを生成する。当該モデルは、全ての対応点を用いて再びテストされる（Ｓ１３６０）。一方、コンセンサスセットにある点の数が閾値を下回る場合、別の３つのコンセンサス点をランダムに選択して処理を繰り返す（Ｓ１３５５）。
【００７９】
上述したように、コンセンサスセット内の全ての対応点を用いて、モデルを先行のモデルに対してテストする。テスト中のモデルと、先行のモデルとの間の差異がエラー閾値を下回る場合、テスト中のモデルを先行のものより良好なモデルであると判定する（Ｓ１３６５）。テスト中のモデルが先行のモデルよりも良好ではない場合、当該テスト中のモデルを無視する（Ｓ１３７０）。
【００８０】
テスト中のモデルが先行のモデルよりも良好である場合、次の反復に用いるためにコンセンサスセット、モデル、およびエラー値を記憶する。エラー値を閾値エラーと比較し、エラーが閾値を下回る場合、ＲＡＮＳＡＣ処理を停止する。代替的に、エラーが閾値を上回るが、ＲＡＮＳＡＣ処理の反復回数がｎを下回る場合、別の３つの対応点をランダムに選択する。しかし、エラーが閾値を上回り、かつ反復回数がｎを上回る場合、ＲＡＮＳＡＣ処理は終了する。なお、全体的な閾値停止技術（overall threshold abort technique）（ステップＳ１３８０）は、用いても用いなくてもよい。実施形態において、このステップは、含めなくてもよい。
【００８１】
ＲＡＮＳＡＣ処理の終了により、出力されたθ、ＳおよびＴの値が立証される。
【００８２】
図５は、対応する点が算出された後にずれ量を計算する別の方法を説明するフローチャートである。
【００８３】
アルゴリズムの構造から分かるように、本実施形態のずれ量は反復して計算される。アルゴリズムの各反復中に、ずれ量は、一定値にまとまり始める。なお、アルゴリズムはリアルタイムで実行される。これは、映像の１フレームでは、アルゴリズムが、必要とされる定常状態に達しない可能性があることを意味する。この場合、アルゴリズムは複数の異なるフレームに対して実行される。これは、定常状態に達するまで必要とされる少数のフレームにわたってずれ量が変化する可能性が低いためである。なお、ずれ量アルゴリズムを映像の別のフレームに対して実行する必要がある場合、図３に記載した対応アルゴリズムを映像の新たなフレームに対して実行する必要がある。一方、映像の１フレーム中に定常状態に達する場合、図３の対応アルゴリズムは、一回だけ実行すればよい。
【００８４】
定常状態に達した後、アルゴリズムを周期的に、例えば１０秒に一回のペースで、または所定数のフレーム後に実行して、カメラがミスアライメント状態に確実にならないようにしてもよい。代替的に、カメラの焦点距離が変わった後に、または、任意の他の行為に応答して、アルゴリズムを実行してもよい。
【００８５】
ステップ５０１において、ずれ量計算の１回目の反復の前に、ロール（回転）ずれ量を０度に設定する。回転ずれ量のこの値は、ずれ量計算アルゴリズムの１回目の反復中に更新される。回転ずれ量を、想定されるずれ量の他の任意の値ではなく、０度に設定する理由は、回転ずれ量が零に近いためである。これは、カメラ操作者による初期設定中に、ロール差が、画像に対する回転のミスマッチの影響によって小さい可能性が高いためである。それゆえ、回転ずれ量が０度であると初期に仮定すると、他のずれ量の精度が初期に高い値をとるため、全体のアルゴリズムがより迅速に好適な精度レベルに到達することになる。
【００８６】
ステップ５０２において、ロール値を用いて垂直ずれ（移動）量を計算する。これは、図６を参照して後述する。
【００８７】
ステップ５０３において、計算された垂直ずれ量を用いてスケールずれ量を計算する。これは、図８を参照して後述する。
【００８８】
ステップ５０４において、計算されたスケールずれ量を用いてロールずれ量を計算する。これは、図９を参照して後述する。
【００８９】
ずれ量を反復して計算する場合、ステップＳ５０５において、映像の１フレームのずれ量計算の反復回数を算出する。反復回数が閾値を下回る場合（例えば５）、初期値として先行の反復において計算した値を用いて、アルゴリズムを再実行する。
【００９０】
反復回数が閾値を上回る場合、アルゴリズムをチェックすることで、定常状態に達したかどうかを確認する（ステップＳ５０６）。反復間のずれ量が０．０５％等の閾値だけしか変化しなかった場合に定常状態に達したと判断してもよい。ずれ量が定常状態である場合、ずれ量を出力して、再び必要になる時、例えば、カメラ設定が上述のように変更される場合までアルゴリズムは待機する。
【００９１】
［垂直ずれ量計算（図５のステップＳ５０２）］
図６は、垂直ずれ量を算出するための原理を説明するフローチャートである。
【００９２】
光軸がスケールに関して不変のものである場合、カメラによって撮影された画像の光軸に関して垂直ずれ（移動）値を計算するのに有利である。これを行うために、対応点算出器２２０によって算出された画素位置を、光軸に関する画素位置に変換する必要がある。図７は、画素位置を光軸に関する画素位置に変換する方法を示す。なお、同図において寸法はフルＨＤ信号に関しているが、実施形態において、解像度は、これよりも低くてもよい。従来の画像ラベリング手法では、高解像度画像に関して、左上画素位置を（０，０）とし、右下画素位置を（１９２０，１０８０）とする。それゆえ、係る従来システムにおいて、（上記のように光軸位置として想定される）画像の中心は、（９６０，５４０）の画素位置を有する（上記参照）。しかし、本発明の実施形態において、画像の中心は、（０，０）の画素位置を有する。（４００，４００）の従来の画素位置を光軸に関するものに変換するために、画素位置と、画像の中心との間の距離を算出する必要がある。図７から、従来の画素位置（４００，４００）が、光軸から左に５６０画素、上に２００画素にあることは明らかである。それゆえ、従来の画素位置（４００，４００）は、光軸に関して画素位置（−５６０、２００）にある。
【００９３】
垂直ずれ量を算出するために、左画像からの２つの特徴点の位置を選択する。具体的には、特徴点の位置は、左画像において光軸の下方に位置するものを１つ、光軸の上方に位置するものを１つ選択する（Ｓ６０２）。実施形態において、これらの特徴点はランダムに選択されるが、本発明はこれに限定されない。また、右画像から対応する特徴点の位置を選択する（Ｓ６０３）。
【００９４】
点を選択した後、これらを下記の式６に当てはめ、移動値を算出する（Ｓ６０４）。
【００９５】
【数１０】
2011182397.tif 000012
式中、Ｔは移動値であり、ｙｌｒは第２の画像における特徴位置のｙ座標であり、ｙ２ｌは第１の画像におけるさらなる特徴位置のｙ座標であり、ｘ１ｒは、第１の画像における特徴位置に対応する第２の画像における特徴位置のｘ座標、ｙ１ｒは、第２の画像における対応する特徴位置のｙ座標であり、ｘ２ｒは、第２の画像における対応するさらなる特徴位置のｘ座標であり、かつｙ２ｒは、第２の画像における対応するさらなる特徴位置のｙ座標である。
【００９６】
この式の導出については、明細書の最後に記載する。
【００９７】
なお、Ｒ１およびＲ２の値におけるθの値の正負は、特徴点ｐ１およびｐ２が位置する象限によって決まる。具体的には、特徴点（または特徴位置）が右下の象限または左上の象限にある場合、ロール値は−θとなる。他方、特徴点が左下の象限または右上の象限にある場合、ロール値は＋θとなる。これは、ロールが光軸に関して測定されるためである。
【００９８】
これらの点の移動を算出した後、計算された垂直ずれ量の数を１だけインクリメントする（ステップＳ６０５）。この数を閾値と比較する（ステップＳ６０６）。計算されたずれ量の数が閾値を下回る場合、別の２つの点を選択して、垂直ずれ量アルゴリズムを再実行する。実施形態において、閾値は２０になっているが、任意の他の値も予期される。
【００９９】
計算されたずれ値の数が閾値を上回る場合、計算された値を昇順に並べる（ステップＳ６０７）。順序付けられたリストの中央値を選択し（ステップＳ６０８）、これを図５のステップＳ５０２用の計算されたずれ値であると見なす。このずれ値中央値を垂直ずれ量として出力し、スケールずれ量アルゴリズムに供給する（図５のステップＳ５０３）。なお、中央値は、導出された値から直接選択してもよい。換言すると、中央値を選択する前にずれ量を順番に並べる必要がなくてもよい。これは、他のずれ量計算にも適用される。
【０１００】
［スケールずれ量計算（図５のステップＳ５０３）］
図８は、スケールずれ量を算出するための原理を説明するフローチャートである。
【０１０１】
ステップ８０１において、対応点算出器２２０において算出された画素位置を、図７を参照して説明したように、光軸に関する画素位置に変換する。
【０１０２】
スケールずれ量を算出するために、左画像からの特徴位置を選択する（Ｓ８０２）。実施形態において、特徴点はランダムに選択されるが、本発明はこれに限定されない。また、右画像から対応する特徴位置を選択する（Ｓ８０３）。
【０１０３】
点を選択した後、これを下記の式７に当てはめ、スケールの値を算出する（Ｓ８０４）。
【０１０４】
【数１１】
2011182397.tif 000013
式中、移動ずれ量Tの正負は、点の位置によって決まり、ｙｌは、第１の画像における特徴位置のｙ座標であり、ｙｒは、第２の画像における特徴位置のｙ座標であり、ｘｒは、第２の画像における特徴位置のｘ座標である。Ｐが光軸の上方に位置する場合、値は＋Ｔとなり、他方、点が光軸の下方に位置する場合、値は−Ｔとなる。また、θの正負は、後述するように点ｐが位置する象限によって決まる。
【０１０５】
この式の導出についても、明細書の最後に記載する。
【０１０６】
スケールを算出した後、計算されたスケールずれ量の数を１だけインクリメントする（ステップＳ８０５）。この数を閾値と比較する（ステップＳ８０６）。計算されたずれ値の数が閾値を下回る場合、別の点を選択して、スケールずれ量アルゴリズムを再実行する。実施形態において、閾値は２０になっているが、任意の他の値も予期される。
【０１０７】
計算されたずれ値の数が閾値を上回る場合、計算された値を昇順に並べる（ステップＳ８０７）。順序付けられたリストの中央値を選択し（ステップＳ８０８）、これを図５のステップＳ５０３用の計算されたずれ値であると見なす。このずれ値中央値をスケールずれ量として出力し、回転ずれ量アルゴリズムに供給する（図５のステップＳ５０４）。
【０１０８】
［回転ずれ量計算］
図９は、回転ずれ量を算出するための原理を説明する図である。
【０１０９】
ステップ９０１において、図７を参照して説明したように、対応点算出器２２０によって算出された画素位置を光軸に関する画素位置に変換する。
【０１１０】
回転ずれ量を算出するために、左画像からの２つの特徴位置を選択する。具体的には、特徴位置は、左画像において光軸の左側に位置するものを１つ、光軸の右側に位置するものを１つ選択する（Ｓ９０２）。実施形態において、これらの特徴点はランダムに選択されるが、本発明はこれに限定されない。また、右画像から対応する特徴位置を選択する（Ｓ９０３）。
【０１１１】
点を選択した後、これらを下記の式８に当てはめ、移動値を算出する（Ｓ９０４）。
【０１１２】
【数１２】
2011182397.tif 000014
式中、Ｓは第１の画像と第２の画像との間のスケールずれ量であり、ｙ２ｌは、第１の画像におけるさらなる特徴位置のｙ座標であり、ｙ１ｌは、第１の画像における特徴位置のｙ座標であり、ｙ１ｒは第２の画像における対応する特徴位置のｙ座標、ｘ２ｒは第２の画像における対応するさらなる特徴位置のｘ座標、かつｘ１ｒは、第２の画像における対応する特徴位置のｘ座標である。
【０１１３】
この式の導出ついても、明細書の最後に記載する。
【０１１４】
これらの点を算出した後、計算されたロールずれ値の数を１だけインクリメントする（ステップＳ９０５）。この数を閾値と比較する（ステップＳ９０６）。計算されたずれ値の数が閾値を下回る場合、別の２つの点を選択して、ロールずれ量アルゴリズムを再実行する。実施形態において、閾値は２０になっているが、任意の他の値も予期される。
【０１１５】
計算されたずれ値の数が閾値を上回る場合、計算された値を昇順に並べる（ステップＳ９０７）。順序付けられたリストの中央値を選択し（ステップＳ９０８）、これを図５のステップＳ５０４用の計算されたずれ値であると見なす。このずれ値中央値をロールずれ量として出力する。
【０１１６】
ステップＳ５０５またはＳ５０６において、ずれ量計算アルゴリズムを再実行する場合、ステップＳ９０８において計算されたロール値を次の反復において用いる。しかし、ずれ量計算アルゴリズムを再実行しない場合、ステップＳ９０８において計算されたロールずれ量、ならびに、ステップＳ６０８からの垂直ずれ量、およびステップＳ８０８からのスケールずれ量をずれ量計算アルゴリズムの結果として出力する。
【０１１７】
［他の実施形態］
以上、定常状態に言及した。しかし、これは本発明にとって必須ではない。アルゴリズムの一回のみの反復が、修正が行われるミスマッチレベルを示す。実際には、任意の回数の反復によってミスマッチ量が特定される。
【０１１８】
本発明の実施形態は、コンピュータにロードされると、コンピュータに、上述の方法の各ステップを実行させるコンピュータ可読指示（コンピュータプログラム）として提供してもよい。コンピュータ可読指示は、任意のコンピュータ可読言語で、または、実際には、適切なマイクロプロセッサによって理解され得る任意の言語で書き込むことができる。コンピュータプログラムは、磁気ディスク、または光ディスク、または任意の固体メモリ等の記録媒体に記憶されてもよい。さらに、コンピュータプログラムは、インターネット等のネットワーク上のキャリアとして存在してもよい。
【０１１９】
各個々のアルゴリズムにおける画像の光軸に関する画素の変換について説明したが、本発明はこれに限定されない。実際には、変換は、対応点計算と、ずれ量計算機２３０への特徴点の供給との間に行ってもよい。これによって、ずれ量計算機２３０における演算の負荷が減る。さらに、同じか他の実施形態において、各アルゴリズムにおいて用いられる選択された画素位置のみが光軸に関して変換される。換言すると、ずれ量の計算用に点が選択された後にだけ、これらは変換される。
【０１２０】
異なるずれ量が或る特定の順序で計算される場合について説明したが、本発明はこれに限定されない。ずれ量は、あらゆる順序で計算することができる。
【０１２１】
高解像度画像からずれ量を取得する場合について説明したが、本発明はこれに限定されない。例えば、ずれ量を標準画質画像から、または高解像度画像のスケール縮小版から取得することが可能である。例えば、ずれ量を４：１スケール縮小から取得することができる。この場合、縮小画像内では１つの画素が高解像度画像において４つの画素から成る。この状況では、縮小画像の実際の画素値は、高解像度画像における４つのあり得る画素から選択することができる。係る選択は、ランダムに行ってもよい。
【０１２２】
さらに、ずれ量の１つまたは複数の値によって、エラーが整数の画素値のものではないことを示す場合、ずれ量値の上下の、最も近傍の整数画素値をユーザに表示して、ユーザが用いたい画素を選択可能とするようにしてもよい。または、最も近傍の整数に四捨五入される最も近傍の画素値を選択させてもよい。
【０１２３】
添付の図面を参照して本発明の例示的な実施形態を説明してきたが、本発明は厳格な上記実施形態に限定されず、添付の特許請求の範囲に規定される発明の範囲および精神から逸脱しない範囲で、当業者は種々の変更および変形形態をなすことができることを理解されたい。
【０１２４】
［移動量の導出］
図１０を参照すると、座標の組（ｘ１、ｙ１）によって表されるｐ１と、座標の組（ｘ２、ｙ２）によって表されるｐ２という２つの点を仮定すると、点ｙ１ｒおよびｙ２ｒの回転、移動、スケーリングに関してｙ１ｌおよびｙ２ｌの位置を表すことができる。
ｙ１ｌが光軸の上方に位置すると仮定すると、以下のように記述される。
【０１２５】
【数１３】
2011182397.tif 000015
ｙ２ｌが光軸の上方に位置すると仮定すると、以下のように記述される。
【０１２６】
【数１４】
2011182397.tif 000016
式中、Ｓは、スケールを表す定数であり、Ｔは、垂直移動を表す定数である。
［１５］から、光軸の上方に位置する点ｐ１に関して、
【０１２７】
【数１５】
2011182397.tif 000017
［１６］から、光軸の下方に位置する点ｐ２に関して、
【０１２８】
【数１６】
2011182397.tif 000018
［１７］および［１８］においてＳは等価であるため、以下のようにＴが導き出される。
【０１２９】
【数１７】
2011182397.tif 000019
【０１３０】
［スケール量の導出］
上記式［１７］および［１８］から、スケールＳは以下のように計算されることが分かる。
【０１３１】
【数１８】
2011182397.tif 000020
これを以下のように一般化することができる。
【０１３２】
【数１９】
2011182397.tif 000021
式中、移動量Ｔの正負は、点の位置によって決まり、ｐが光軸の上方に位置している場合、値＋Ｔとなり、点が光軸の下方に位置している場合、値は−Ｔとなる。また、θ正負は、点ｐがいずれの象限に位置しているかによって決まる。
【０１３３】
［回転量の導出］
回転計算に用いる点の選択を示す図１１と、垂直位置に基づく角度測定を示す図１２とを参照すると、光軸（ｐ１）の左側から１つ、光軸（ｐ２）の右側から１つ、ランダム主要特徴位置が選択される。
点ｐ１およびｐ２の相対的な回転を測定するために、ｐ１ｌとｐ２ｌとの間の勾配を算出して、当該勾配をｐ１ｒとｐ２ｒとの間の勾配と比較する、換言すると、左画像内の二点間の勾配と、右画像の対応の点間の勾配とを比較する必要がある。なお、回転計算は移動に対して不変であるが、スケールに対しては可変である。それゆえ、スケール（Ｓ）は、計算において説明される。
ｐ１ｒとｐ２ｒとの間の勾配は、以下のように計算される。
【０１３４】
【数２０】
2011182397.tif 000022
垂直視差がなく、スケール（Ｓ）による影響しかないと仮定すると、すなわち、
【０１３５】
【数２１】
2011182397.tif 000023
とすると、垂直視差がない勾配は以下のようになる。
【０１３６】
【数２２】
2011182397.tif 000024
［１９］は、以下のように表される。
【０１３７】
【数２３】
2011182397.tif 000025
［２０］  は、以下のように表される。
【０１３８】
【数２４】
2011182397.tif 000026
次いで、ロール量の実際の角度を以下のように計算することができる。
【０１３９】
【数２５】
2011182397.tif 000027
三角恒等式を仮定すると以下のようになる。
【０１４０】
【数２６】
2011182397.tif 000028
ロール量を以下の式に表すことができる。
【０１４１】
【数２７】
2011182397.tif 000029
【図１】
2011182397.tif 000034
【図２】
2011182397.tif 000035
【図３】
2011182397.tif 000036
【図４】
2011182397.tif 000037
【図５】
2011182397.tif 000038
【図６】
2011182397.tif 000039
【図７】
2011182397.tif 000040
【図８】
2011182397.tif 000041
【図９】
2011182397.tif 000042
【図１０】
2011182397.tif 000043
【図１１】
2011182397.tif 000044
【図１２】
2011182397.tif 000045
【図１３Ａ】
2011182397.tif 000046
【図１３Ｂ】
2011182397.tif 000047