(57)【特許請求の範囲】
【請求項１】
２台のカメラでステレオ視した対象物のある点のワールド座標と、その点がカメラ画像中に見えている３点以上の座標点を計測し、この３点以上の座標点とワールド座標からカメラ姿勢を検出するための行列Ｔを求める手段と、
前記行列からカメラのロール・ピッチ・ヨー角、ヨー・ピッチ・ロール角およびオイラー角で使用する行列要素の全ての組み合わせから各カメラの回転角をそれぞれ求める手段と、
前記手段で求めた各カメラのｎ個の回転角からロール・ピッチ・ヨー角、ヨー・ピッチ・ロール角、およびオイラー角で回転させた行列Ｔ’をそれぞれ求める手段と、
前記ロール・ピッチ・ヨー角、ヨー・ピッチ・ロール角、およびオイラー角で回転させた各行列Ｔと行列Ｔ’との差Ｓの絶対値が最も小さい値になる回転角をカメラの姿勢として求める手段とを備えたことを特徴とするカメラ姿勢の検出装置。
【請求項２】
前記カメラ姿勢の行列Ｔは、複数の座標点から自己回帰モデルを使用して求めることを特徴とする請求項１に記載のカメラ姿勢の検出装置。
【請求項３】
前記カメラ姿勢の行列Ｔは、複数の座標点から予測誤差モデルを使用して求めることを特徴とする請求項１に記載のカメラ姿勢の検出装置。
【請求項４】
前記カメラ姿勢の行列Ｔは、複数の座標点からハフ変換によって求めることを特徴とする請求項１に記載のカメラ姿勢の検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、２つのカメラを用いて対象物をステレオ視した画像情報から対象物の位置を求める３次元位置計測装置に係り、特に、画像処理によってカメラの姿勢を検出する装置に関する。
【０００２】
【従来の技術】
図２に示すように、２つのカメラを用いて対象物をステレオ視した場合、カメラで撮影される画像Ａ，Ｂの座標系から対象物Ｍの３次元位置（ｘ，ｙ，ｚ）は以下の式により求められる。
【０００３】
【数１】
0003608305.tif 000002
【０００４】
この方式により求める対象物の３次元位置は、画像処理で対象物の位置を計測するために、精度のあるカメラ姿勢（３次元の回転角）が必要となる。
【０００５】
このため、カメラを精度良く固定する方法や、画像処理によってカメラの姿勢を求める方法がある。
【０００６】
前者は、カメラを所定の向きと場所に固定する方法であるが、カメラの姿勢を精度良く固定するには極めて煩雑な作業が必要となる。
【０００７】
後者の画像処理によってカメラの姿勢を求める方法では、実際のある点のワールド座標と、その点が画像中に見えている点の座標を３点以上求めることでカメラの姿勢を得る。実際の座標には量子化誤差やレンズ収差の誤差があるため、複数の座標点から最小二乗法で行列を求め、この行列からカメラ姿勢を検出している。
【０００８】
この方法による３次元位置計測装置は、図３に示すように、左右カメラ１Ｌ，１Ｒからの撮影画像を３次元位置計測装置本体２に入力し、その対応付け回路２１によって対象物の各部の対応付けを行い、対応付けされた画像から３次元位置処理回路２２によって対象物の３次元位置を求める。
【０００９】
カメラ姿勢校正装置３は、図４に示すように、左右カメラ１Ｌ，１Ｒにより各種の色になる校正ポールをランダムに立てた校正テーブル４を撮影した画像を対応付け回路３１に入力し、各ポールの対応付けを行った画像から校正係数処理回路３２により最小二乗法で行列を求め、この行列からカメラ姿勢を求めて３次元位置処理回路２２のカメラ姿勢を校正する。
【００１０】
【発明が解決しようとする課題】
従来の画像処理によってカメラの姿勢を求める方法は、以下の行列を求めることでカメラ姿勢を検出する。なお、式中で、実際のある点のワールド座標を（ｘ，ｙ，ｚ）、その点が画像中に見えている点を（ｕ，ｖ）とする。
【００１１】
【数２】
0003608305.tif 000003
【００１２】
この係数ａ１１〜ａ３４について、上記３つの式を最小二乗法で求めれば、行列として求めることができる。しかし、最小二乗法で求めた行列から姿勢を求める際には以下の問題がある。
【００１３】
最小二乗法で求めた行列には、量子化誤差やレンズ収差による誤差が残っている。したがって、この行列からカメラの姿勢（回転角度）を求める際、使用する行列要素によって得られる姿勢（回転角度）が全く異なってしまう問題がある。
【００１４】
例えば、カメラの３次元の回転角（ロール角、ピッチ角、ヨー角）ψ、θ、φを求める場合、まずピッチ角θを求める式は以下のように複数存在する。
【００１５】
θ１＝ａｔａｎ（−ａ１３・ｓｉｎφ／ａ１２）
θ２＝ａｔａｎ（ａ１３・ｃｏｓφ／ａ１１）
θ３＝ａｔａｎ（ａ１３／−ａ２３・ｓｉｎψ＋ｃｏｓψ）
…
θ９＝…
したがって、行列要素ａ１１，ａ１２，ａ２３の値によって、θが全く異なってしまう問題がある。同様に、ψ、φについても、行列要素によって異なった値を求めてしまう。
【００１６】
本発明の目的は、最小二乗法で求めた行列から最も精度の良いカメラの姿勢を求めて３次元位置情報を得る計測装置を提供することにある。
【００１７】
【課題を解決するための手段】
本発明は、２台のカメラでステレオ視した対象物のある点のワールド座標と、その点がカメラ画像中に見えている３点以上の座標点を計測し、この３点以上の座標点とワールド座標からカメラ姿勢を検出するための行列Ｔを求める手段と、
前記行列からカメラのロール・ピッチ・ヨー角、ヨー・ピッチ・ロール角およびオイラー角で使用する行列要素の全ての組み合わせから各カメラの回転角をそれぞれ求める手段と、
前記手段で求めた各カメラのｎ個の回転角からロール・ピッチ・ヨー角、ヨー・ピッチ・ロール角、およびオイラー角で回転させた行列Ｔ’をそれぞれ求める手段と、
前記ロール・ピッチ・ヨー角、ヨー・ピッチ・ロール角、およびオイラー角で回転させた各行列Ｔと行列Ｔ’との差Ｓの絶対値が最も小さい値になる回転角をカメラの姿勢として求める手段とを備えたことを特徴とする。
【００１８】
また、前記カメラ姿勢の行列Ｔは、複数の座標点から自己回帰モデルを使用して求めることを特徴とする。
【００１９】
また、前記カメラ姿勢の行列Ｔは、複数の座標点から予測誤差モデルを使用して求めることを特徴とする。
【００２０】
また、前記カメラ姿勢の行列Ｔは、複数の座標点からハフ変換によって求めることを特徴とする。
【００２１】
【発明の実施の形態】
（第１の実施形態）
図１は、本発明の実施形態を示すカメラ姿勢検出手段の処理手順である。まず、処理Ｓ１では、ワールド座標（ｘ，ｙ，ｚ）と画像中の座標（ｕ，ｖ）は、従来と同様に３点以上計測する。この計測は、図４における校正テーブル４をカメラ１Ｌ又は１Ｒで撮影し、実際のある点のワールド座標（ｘ，ｙ，ｚ）と、その点が見えているカメラの撮影画像中の座標（ｕ，ｖ）とを求める。
【００２２】
処理Ｓ２では、上記の計測で求めた座標から線形回帰で行列Ｔ（４×４行列）を求める。
【００２３】
処理Ｓ３では、行列Ｔからカメラの回転角（ψｎ，θｎ，φｎ）をｎ個求める（ｎ＝ｒ＋ｙ＋ｅ＋…）。この回転角（ψｎ，θｎ，φｎ）は、以下の方法で求められる。
【００２４】
（ａ）ロールピッチヨー角：ロールピッチヨー角で使用する行列要素の全ての組み合わせについて求めた角度（ψｒ，θｒ，φｒ）を求める。この演算は以下のようになる。
【００２５】
【数３】
0003608305.tif 000004
【００２６】
（ｂ）ヨーピッチロール角：ヨーピッチロール角で使用する行列要素の全ての組み合わせについて求めた角度（ψｙ，θｙ，φｙ）を求める。この演算は以下のようになる。
【００２７】
【数４】
0003608305.tif 000005
【００２８】
（ｃ）オイラー角：オイラー角で使用する行列要素の全ての組み合わせについて求めた角度（ψｅ，θｅ，φｅ）を求める。この演算は以下のようになる。
【００２９】
【数５】
0003608305.tif 000006
【００３０】
なお、上記のオイラー角、ロールピッチヨー角以外にピッチヨーロール角などの回転を追加して使用しても良い。
【００３１】
次に、処理Ｓ４では、処理Ｓ３で求めたｎ個の回転角（ψｎ，θｎ，φｎ）から行列Ｔ’をｎ個求める。例えば、角度（ψｅ，θｅ，φｅ）ならオイラー角で回転させた行列Ｔ’ｅをｅ個求め、角度（ψｒ，θｒ，φｒ）ならロールピッチヨー角で回転させた行列Ｔ’ｒをｒ個求める。
【００３２】
次に、処理Ｓ５では、行列ＴとＴ’の差Ｓを求める。この差Ｓの演算には、行列Ｔ，Ｔ’の各要素をその最大値ｍａｘ（Ｔ）、ｍａｘ（Ｔ’）でそれぞれ割算した行列Ｔ１、Ｔ２とし行列要素の最大値を一致させておき、各要素の差の絶対値の和を差Ｓとして求める。
【００３３】
【数６】
Ｔ１＝Ｔ／ｍａｘ（Ｔ）
Ｔ２＝Ｔ’／ｍａｘ（Ｔ’）
Ｓ＝ΣΣ｜Ｔ１−Ｔ２｜
次に、処理Ｓ６では、処理Ｓ５で求めた差Ｓのうち最も小さい差Ｓを求め、この最小差Ｓのときの回転角（ψ，θ，φ）を求め、それをカメラの姿勢（回転角）として出力する。例えば、Ｓ１〜Ｓｒ、Ｓ１〜Ｓｅのうち、最も小さい値がＳｒ（ｒ＝３）になるとき、ロールピッチヨー角から求めた回転角（ψ３，θ３，φ３）をカメラの姿勢として出力する。
【００３４】
（第２の実施形態）
前記の第１の実施形態では、処理Ｓ２では行列Ｔを線形回帰により求めるのに対して、本実施形態では線形回帰に代えてＡＲモデル（自己回帰モデル）を使用して行列Ｔを求める。
【００３５】
ＡＲモデルは、ｎ次の非線形回帰に拡張されているため、レンズ収差のような非線形成分を近似することができる。
【００３６】
したがって、レンズ収差などの非線形要素が大きい場合、第１の実施形態での線形回帰よる方法よりもＡＲモデルによると精度の良いカメラ姿勢を得ることができる。
【００３７】
（第３の実施形態）
前記の線形回帰による行列Ｔを求めるのに代えて、ＡＲＭＡＸモデル（予測誤差モデル）を使用する。
【００３８】
カメラで撮影した画像中の座標点の誤差がホワイトノイズでない場合、前記のＡＲモデルよりＡＲＭＡＸモデルの方が近似精度が良い。
【００３９】
したがって、本実施形態では、座標点の誤差がホワイトノイズでない場合、ＡＲＭＡＸモデルを使用して精度の良いカメラ姿勢を得る。
【００４０】
（第４の実施形態）
前記の線形回帰に代えて、ハフ変換を使用して行列Ｔを求める。ハフ変換は、減点法でなく、得点法である。したがって、本実施形態では、座標点の濃さの分布が誤差ゼロと誤差大の２つ以上のピークをもつ場合、ハフ変換により精度の良いカメラ姿勢を求めることができる。
【００４１】
【発明の効果】
以上のとおり、本発明によれば、２台のカメラでステレオ視した対象物のある点のワールド座標と、その点がカメラ画像中に見えている複数の座標点を求め、この複数の座標点から最小二乗法等でカメラ姿勢の行列を求め、この行列から複数のカメラ回転角を求め、この回転角を行列にしたものとカメラ姿勢の行列との差の絶対値が最も小さい回転角をカメラの姿勢として求めるようにしたため、以下の効果がある。
【００４２】
（１）カメラを精度良く固定する手間を不要にしながら精度良い３次元位置計測ができる。
【００４３】
（２）最小二乗法等で求めた行列に量子化誤差やレンズ収差による誤差が含まれる場合にも、最も信頼できるカメラの姿勢を求めることができる。
【図面の簡単な説明】
【図１】本発明の実施形態を示すカメラ姿勢の検出処理手順。
【図２】ステレオ視による３次元位置計測の原理図。
【図３】３次元位置計測装置。
【図４】校正テーブルの撮影構造。
【符号の説明】
１Ｌ、１Ｒ…カメラ
２…３次元位置計測装置本体
３…カメラ姿勢校正装置
４…校正テーブル
【図１】
0003608305.tif 000007
【図２】
0003608305.tif 000008
【図３】
0003608305.tif 000009
【図４】
0003608305.tif 000010