(57)【要約】【課題】  輪郭が線状とならない回転体をステレオビジョンにより三次元姿勢を測定する。【解決手段】  回転体を異なる２方向から撮像した一対の画像を取得し、前記一対の画像ごとに、測定対象である前記回転体の画像領域を抽出し、前記一対の画像ごとに、主成分分析により前記回転体の画像領域の主成分軸を算出して一の主成分軸を前記回転体の中心軸として設定し、前記一対の画像の中心軸上の点を対応付け、前記対応付けされた一対の画像から三角測量の原理により中心軸の三次元情報を求め、前記回転体の三次元姿勢を算出する。【選択図】  図１
2011022084.tif 000002
【特許請求の範囲】
【請求項１】
回転体を異なる２方向から撮像した一対の画像を取得する画像取得部、
前記一対の画像ごとに、測定対象である前記回転体の画像領域を抽出する測定対象抽出部、
前記一対の画像ごとに、主成分分析により前記回転体の画像領域の主成分軸を算出し、該主成分軸を前記回転体の第１の中心軸として設定する中心軸設定部、
一方の画像における前記回転体の第１の中心軸上の点と、当該点に応じた他方の画像におけるエピポーラ線と他方の画像における前記回転体の第１の中心軸との交点と、を対応付け、前記一対の画像における中心軸を対応付ける中心軸対応付け部、
三角測量の原理により前記対応付けされた中心軸の三次元情報を求め、前記回転体の三次元姿勢を算出する三次元情報算出部、
から構成される三次元姿勢測定装置。
【請求項２】
請求項１に記載の三次元姿勢測定装置であって、
前記画像取得部で取得した一対の画像を各エピポーラ線が平行である一対の変換画像に変換する平行化部を備え、
前記一対の変換画像を前記測定対象抽出部、前記中心軸設定部、前記中心軸対応付け部および前記三次元情報算出部にて処理し、前記回転体の三次元姿勢を算出することを特徴とする三次元姿勢測定装置。
【請求項３】
請求項２に記載の三次元姿勢測定装置であって、
前記中心軸対応付け部にて得られる中心軸が対応付けされた一対の変換画像を、対応付けを維持しつつ前記平行化部における変換とは逆の変換を行い、中心軸が対応付けられた一対の画像を生成する平行化逆変換部を備え、
前記平行化逆変換部で得られた中心軸が対応つけられた一対の画像を、三次元情報算出部にて処理し、前記回転体の三次元姿勢を算出することを特徴とする三次元姿勢測定装置。
【請求項４】
請求項１乃至３のいずれか１項に記載の三次元姿勢測定装置であって、
前記三次元情報算出部で算出した三次元姿勢に基づき、前記一対の画像のいずれか一方の画像に対応するモデル画像を生成するモデル画像生成部と、
前記一対の画像のいずれか一方と前記モデル画像とを比較し、両画像が一致するか否かを判断するマッチング部と、
前記マッチング部にて両画像が一致しない場合に、前記中心軸設定部における主成分分析による別の主成分軸を第２の中心軸として設定する中心軸再設定部とをさらに備え、
前記第２の中心軸が設定された場合に、前記第１の中心軸に換わって前記第２の中心軸に基づいて改めて前記中心軸対応付け部にて前記第２の中心軸を対応付けし、前記回転体の三次元姿勢を算出することを特徴とする三次元姿勢測定装置。
【請求項５】
回転体を異なる２方向から撮像した一対の画像を取得する画像取得ステップ、
前記一対の画像ごとに、測定対象である前記回転体の画像領域を抽出する測定対象抽出ステップ、
前記一対の画像ごとに、主成分分析により前記回転体の画像領域の主成分軸を算出し、該主成分軸を前記回転体の第１の中心軸として設定する中心軸設定ステップ、
一方の画像における前記回転体の中心軸上の点を、当該点に応じた他方の画像におけるエピポーラ線と他方の画像における前記回転体の中心軸との交点と、を対応付け、前記一対の画像における中心軸を対応付ける中心軸対応付けステップ、
三角測量の原理により前記対応付けされた中心軸の三次元情報を求め、前記回転体の三次元姿勢を算出する三次元情報算出ステップ、
からなる三次元姿勢測定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、回転体を異なる２方向から撮像し、この２方向からの一対の画像に基づいて回転体の三次元姿勢を求める三次元姿勢測定装置および三次元姿勢測定方法に関する。
【背景技術】
【０００２】
従来、物体の撮像画像からその物体の三次元姿勢を取得する方法として三角測量の原理を利用したステレオビジョンが知られている。ステレオビジョンは、複数のカメラを用いて２つ以上の視点（異なる視線方向）から同一対象物を撮影し、物体における同一部分の像である複数の画像の対応点を検出し、対応点の画像における視差から三角測量の原理により測定対象物の三次元空間における位置を算出するものである。
【０００３】
ステレオビジョンは、対応点を用いて測定対象物の三次元空間における位置を算出するため、対応点をどの様に検出するかがステレオビジョンにおける重要な技術的課題であり広く研究が行われている。
【０００４】
対応点検出の方法として、エッジ画像による対応付けが広く知られている。物体が直方体であれば、物体の同一部位と認識できる輪郭線を抽出し、その輪郭線の頂点等を対応点として検出することができる。しかし、対象物が円柱などの回転体の場合には、輪郭線から物体の同一点を検出することは非常に困難であり、対応付けの精度に問題が生じる。
【０００５】
図１７は、対象物が円柱である場合におけるステレオビジョンで撮像される画像である。図１７において、Ｓ１はステレオビジョンの一方の画像であり、Ｓ２はステレオビジョンの他方の画像である。画像Ｓ１においては、円柱の輪郭線１Ｌ，１Ｒがそれぞれ１Ｌｓ，１Ｒｓとして撮像される。画像Ｓ２においては、円柱の輪郭線２Ｌ，２Ｒがそれぞれ２Ｌｓ，２Ｒｓとして撮像される。つまり、画像Ｓ１と画像Ｓ２とにおける輪郭線は異なる部分となるため、輪郭線１Ｌｓ，１Ｒｓ，２Ｌｓ，２Ｒｓにて対応付けはできない。
【０００６】
これに対し、特許文献１では、画像Ｓ１において輪郭線１Ｌｓと１Ｒｓによって規定される２等分線を画像Ｓ１における円柱の中心線とし、画像Ｓ２において輪郭線２Ｌｓと２Ｒｓによって規定される２等分線を画像Ｓ２における円柱の中心線として算出する。さらに、画像Ｓ１および画像Ｓ２の中心線上の点を対応点として対応付けを行い、その対応点を用いて円柱の三次元位置を算出している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００２−９９９０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献１で開示された手法では、円柱や円錐のように輪郭が線状の場合にしか適用ができないといった課題がある。
そこで本発明は、輪郭が線状とならない回転体にも適用可能な、ステレオビジョンによる三次元姿勢測定装置および三次元姿勢測定方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明における三次元姿勢測定装置は、回転体を異なる２方向から撮像した一対の画像を取得する画像取得部、前記一対の画像ごとに、測定対象である前記回転体の画像領域を抽出する測定対象抽出部、前記一対の画像ごとに、主成分分析により前記回転体の画像領域の主成分軸を算出し、該主成分軸を前記回転体の第１の中心軸として設定する中心軸設定部、一方の画像における前記回転体の第１の中心軸上の点と、当該点に応じた他方の画像におけるエピポーラ線と他方の画像における前記回転体の第１の中心軸との交点と、を対応付け、前記一対の画像における中心軸を対応付ける中心軸対応付け部、三角測量の原理により前記対応付けされた中心軸の三次元情報を求め、前記回転体の三次元姿勢を算出する三次元情報算出部、から構成されている。
【００１０】
さらに、本発明における三次元姿勢測定装置は、前記画像取得部で取得した一対の画像を各エピポーラ線が平行である一対の変換画像に変換する平行化部を備え、前記一対の変換画像を前記測定対象抽出部、前記中心軸設定部、前記中心軸対応付け部および前記三次元情報算出部にて処理し、前記回転体の三次元姿勢を算出することを特徴とする
なおさらに、本発明における三次元姿勢測定装置は、前記中心軸対応付け部にて得られる中心軸が対応付けされた一対の変換画像を、対応付けを維持しつつ前記平行化部における変換とは逆の変換を行い、中心軸が対応付けられた一対の画像を生成する平行化逆変換部を備え、前記平行化逆変換部で得られた中心軸が対応つけられた一対の画像を、三次元情報算出部にて処理し、前記回転体の三次元姿勢を算出することを特徴とする。
【００１１】
なおさらに、本発明における三次元姿勢測定装置は、前記三次元情報算出部で算出した三次元姿勢に基づき、前記一対の画像のいずれか一方の画像に対応するモデル画像を生成するモデル画像生成部と、前記一対の画像のいずれか一方と前記モデル画像とを比較し、両画像が一致するか否かを判断するマッチング部と、前記マッチング部にて両画像が一致しない場合に、前記中心軸設定部における主成分分析による別の主成分軸を第２の中心軸として設定する中心軸再設定部とをさらに備え、前記第２の中心軸が設定された場合に、前記第１の中心軸に換わって前記第２の中心軸に基づいて改めて前記中心軸対応付け部にて前記第２の中心軸を対応付けし、前記回転体の三次元姿勢を算出することを特徴とする。
【００１２】
本発明における三次元姿勢測定方法は、回転体を異なる２方向から撮像した一対の画像を取得する画像取得ステップ、前記一対の画像ごとに、測定対象である前記回転体の画像領域を抽出する測定対象抽出ステップ、前記一対の画像ごとに、主成分分析により前記回転体の画像領域の主成分軸を算出し、該主成分軸を前記回転体の第１の中心軸として設定する中心軸設定ステップ、一方の画像における前記回転体の中心軸上の点を、当該点に応じた他方の画像におけるエピポーラ線と他方の画像における前記回転体の中心軸との交点と、を対応付け、前記一対の画像における中心軸を対応付ける中心軸対応付けステップ、三角測量の原理により前記対応付けされた中心軸の三次元情報を求め、前記回転体の三次元姿勢を算出する三次元情報算出ステップ、を備えていることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、輪郭が線状とならない回転体でもステレオビジョンにより三次元姿勢を測定することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明に係る第１の実施形態における三次元姿勢計測装置の概略構成図である。
【図２】空間上の点とその点に対応する一対のステレオ画像上の点との関係を示したものである。
【図３】対応点とエピポーラ線との関係を示したものである。
【図４】画像Ｓ１，Ｓ２と変換行列Ｈ１，Ｈ２により平行化された画像ＳＨ１、ＳＨ２の関係を示したものである。
【図５】エピポールと視点との関係を示すものである。
【図６】抽出画像の例を示したものである。
【図７】対象物が円柱である場合の平行化画像における中心軸を示すものである。
【図８】対象物が円柱である場合の平行化処理前の画像における中心軸を示すものである。
【図９】本発明に係る第１の実施形態における三次元姿勢計測装置のフローチャートである。
【図１０】本発明に係る第２の実施形態における三次元姿勢計測装置の概略構成図である。
【図１１】本発明に係る第２の実施形態における三次元姿勢計測装置のフローチャートである。
【図１２】本発明に係る第３の実施形態における三次元姿勢計測装置の概略構成図である。
【図１３】本発明に係る第３の実施形態における三次元姿勢計測装置のフローチャートである。
【図１４】本発明に係る第４の実施形態における三次元姿勢計測装置の概略構成図である。
【図１５】本発明に係る第４の実施形態における三次元姿勢計測装置のフローチャートである。
【図１６】輪郭が線状でない場合における中心軸を示すものである。
【図１７】対象物が円柱である場合におけるステレオビジョンで撮像される画像である。
【発明を実施するための形態】
【００１５】
本発明に係る第１の実施形態について、図を用いて説明をする。
図１は本発明に係る第１の実施形態における三次元姿勢計測装置の概略構成図である。図１において１００は三次元姿勢計測装置、１１１は第１カメラ、１１２は第２カメラ、１２１は入力部、１２２は出力部、２００は画像処理演算部である。なお、画像処理演算部２００は中央処理演算装置（ＣＰＵ）、記憶装置等からなるコンピュータによって実現される。
【００１６】
第１カメラ１１１および第２カメラ１１２は、異なる視線方向から同一対象物を撮影するように相対位置および相対姿勢が固定され、一対のステレオ画像を撮像することができる。
【００１７】
入力部１２１は、キーボード、マウス等であって、使用者による三次元姿勢計測装置１００への初期設定値の入力、処理内容の選択の入力等に使用される。
出力部１２２は、ディスプレイ、プリンタ等であって、使用者への第１カメラ１１１および第２カメラ１１２で撮像された画像の表示、初期設定値の入力画面の表示等に使用される。
【００１８】
画像処理演算部２００は、パラメータ記憶部２０１、ステレオ画像取得部２０２、ステレオ画像平行化部２０３、対象抽出部２０４、中心軸設定部２０５、対応付け部２０６、平行化逆変換部２０７、三次元情報算出部２０８から構成されている。
【００１９】
パラメータ記憶部２０１は、後述する各部の処理で必要になるパラメータを記憶している。例えば、パラメータとして、第１カメラ１１１と第２カメラ１１２とのキャリブレーションで得られる第１カメラ１１１および第２カメラ１１２の相対位置および相対姿勢を表すＦ行列、ステレオ画像平行化部２０３で用いる変換行列Ｈ１，Ｈ２、対象抽出部２０４で用いる画像抽出条件設定値等を記憶している。パラメータ記憶部２０１に記憶されているパラメータは、使用者が入力部１２１より入力したデータ等や、使用者の入力部１２１から入力された指示による処理を行い、その処理により得られた結果等である。
【００２０】
ステレオ画像取得部２０２は、第１カメラ１１１および第２カメラ１１２に撮像信号を出力し、撮像された画像を読み込み、一対の画像として図示しない画像処理演算部２００の記憶領域に記憶させる。
【００２１】
ステレオ画像平行化部２０３は、前記一対の画像を平行カメラで撮影したかのようなステレオ画像に変換する。これは、ステレオビジョンの基本的な原理である三角測量において必要となる対応点の検索を容易にするためである。よって、ステレオ画像平行化部２０３による処理は必須の処理ではない。
【００２２】
ここで、ステレオ画像平行化部２０３による処理のメリットについて説明する。図２は、空間上の点とその点に対応する一対のステレオ画像上の点との関係を示したものである。ここで、Ｐ（Ｘ，Ｙ，Ｚ）は空間上の点、Ｓ１は第１カメラ１１１による画像、Ｓ２は第２カメラ１１２による画像である。ステレオビジョンにおいて、ある空間点Ｐの三次元位置を測定するためには、一対の画像ごとに投影された点Ｐの位置を特定する必要がある。つまり、点Ｐが画像Ｓ１において位置（ｕ１，ｖ１）に投影されているとすると、点Ｐが画像Ｓ２において投影されている位置(ｕ２，ｖ２)を探索する必要がある。ここで、点（ｕ１，ｖ１）と点(ｕ２，ｖ２)は対応点と呼ばれ、このような処理は対応点探索とよばれる。
【００２３】
通常は対応点探索を画像全体に対して行うため、探索時間及び精度が課題となる。ここで、図３は対応点とエピポーラ線との関係を示したものである。図３に示すように、空間上の点Ｐは、画面Ｓ１上にある点Ｐの像と第１カメラ１１１の視点Ｃ１とを結んだ直線上に存在することとなる。よって、画像Ｓ１上にある点に対する画面Ｓ２上の対応点は、この直線の画像Ｓ２における像であるエピポーラ線ＥＬ２上を探索すれば、探索時間を短縮することができる。
【００２４】
しかし、エピポーラ線ＥＬ２が画像Ｓ２上において水平ではない場合には、対応点を斜めに探索するため、探索処理の複雑化や量子化誤差の影響により探索精度の悪化等の問題が十分に解決されないことがある。
【００２５】
そこで、図４のように、画像Ｓ１および画像Ｓ２をそれぞれ変換行列Ｈ１，Ｈ２にて変換画像ＳＨ１および変換画像ＳＨ２に変換し、あたかも平行カメラで撮影したかのようなステレオ画像に変換する。これにより、エピポーラ線ＥＬ２がエピポーラ線ＥＬＨ２に変換され、探索方向が水平方向に限定することができる。このように、エピポーラ線ＥＬＨ２が画像ＳＨ１および画像ＳＨ２に対して水平となり、あたかも平行カメラで撮像したかのようなステレオ画像に変換することを平行化という。
【００２６】
平行化の手順としては種々の方法があるが、例えば、第１カメラ１１１および第２カメラ１１２のキャリブレーションを実行し、Ｆ行列を算出する。ここで、Ｆ行列とは３×３の行列で、２つのカメラ間の相対関係（位置・姿勢）を表現したものである。画像Ｓ１におけるエピポールをＥ1、画像Ｓ２におけるエピポールをＥ2とする。Ｆ行列とエピポールＥ1，Ｅ2の関係は以下の式で表される。
【００２７】
【数１】
2011022084.tif 000003
エピポールとは、図５に示すように、視点Ｃ１，Ｃ２を結ぶ直線と画像平面Ｓ１，Ｓ２とが交わる点である。なお、図５において、ＥＰはエピポーラ平面である。２つの画像が平行の場合、エピポールは画像平面Ｓ１，Ｓ２の水平軸の無限遠点に存在する。つまりエピポールＥ1，Ｅ2を無限遠点に移動させる行列を算出することで、画像を平行化する変換行列Ｈ１，Ｈ２を求めることができる。具体的には、以下の式を満たす変換行列Ｈ１，Ｈ２を求めればよい。
【００２８】
【数２】
2011022084.tif 000004
なお、変換行列Ｈ１，Ｈ２は事前に求めておき、パラメータ記憶部２０１に記憶しておくことが望ましい。また、ステレオ画像平行化部２０３において、平行化された変換画像ＳＨ１，ＳＨ２はさらにＹ座標が一致している。
【００２９】
対象抽出部２０４は、平行化された画像ＳＨ１，ＳＨ２ごとに対象物の領域を抽出する。例えば、抽出方法としては、予めパラメータ記憶部２０１に記憶されたしきい値に基づいて、二値化により対象物の画素領域を抽出することができる。なお、対象物の画素領域の抽出方法は、二値化に限定されることはなく他の方法を用いることもできる。
【００３０】
なお、対象抽出部２０４は、ステレオ画像平行化部２０３による平行化処理をしていない画像Ｓ１，Ｓ２から対象物の領域を抽出することもできる。
中心軸設定部２０５は、対象抽出部２０４で処理した画像ごとに主成分分析を行い、抽出した対象物の画素領域の複数の主成分軸を求め、予め定められた一の主成分軸を対象物の中心軸として設定する。
【００３１】
以下、中心軸設定部２０５について詳細に説明する。まず画像における対象物の画素領域の重心Ｇ（Ｘｇ，Ｙｇ）を求める。例えば、各画像の画素がｎ個あり（ｎは自然数）、ｉ番目（ｉはｎ以下の自然数）の画素データをＰｉ（Ｘｉ，Ｙｉ，Ｗｉ）とする。ここで、Ｘｉ，Ｙｉはそれぞれ画素のＸ座標，Ｙ座標である。Ｗｉは画素の重みを表すデータであって、対象物領域の画素は１、対象物領域外の画素は０となる。
【００３２】
図６の抽出画像の例を用いてさらに説明する。図６はＸ方向の２０画素、Ｙ方向の２０画素の４００画素の画像であり、黒色部が対象物の画素領域である。画素番号と画素座標の対応は以下の例のようになっている。画素番号１の画素座標は（１，１）、画素番号２の画像座標は（２，１）、・・・、画素番号２０の画素座標は（２０，１）、画素番号２１の画素座標は（１，２）、・・・、画素番号４０の画素座標は（２０，２）、画素番号４１の画素座標は（１，３）、・・・とする。係る場合、図６の各画素データは、Ｐ１（１，１，０）、・・・、Ｐ１３１（１１，７，１）、・・・、Ｐ１５０（１０，８，１）、Ｐ１５１(１１，８，０)、Ｐ１５２(１２，８，１)、・・・、となる。
【００３３】
次に抽出画像における対象物領域の重心Ｇ(Ｘｇ，Ｙｇ)を求める。対象物領域の重心Ｇ(Ｘｇ，Ｙｇ)は、下記の式にて算出する。なお、画像における抽出領域の重心を求める他の公知の手法を用いても良い。
【００３４】
【数３】
2011022084.tif 000005
次に共分散を求める。抽出画像における対象物領域の共分散は、以下の式で表される。
【００３５】
【数４】
2011022084.tif 000006
次に、求めた共分散の値を用いて下式に示す共分散行列を作成する。ここで、固有値をλ、固有ベクトルをａとする。
【００３６】
【数５】
2011022084.tif 000007
上記式を変形すると、
【００３７】
【数６】
2011022084.tif 000008
となる。
上記式が自明の解を持つには、固有多項式と呼ばれる次式が０である必要がある。
【００３８】
【数７】
2011022084.tif 000009
上式を解くと複数の固有値λが得られる。この得られた固有値λを大きい順に並べ替え、指定されたｍ番目（ｍは自然数）の解λmを選び、そのときの固有ベクトルをａ＝（ａ1m，ａ2m）Tとすると、以下の式からａ1m，ａ2mが求まる。なお、ｍ番目の指定は予めパラメータ記憶部２０１に記憶し、対象物に合わせて読み出すことができる。
【００３９】
【数８】
2011022084.tif 000010
求めたａ1m，ａ2mを用いて第ｍ主成分軸を表すと以下の式になる。
【００４０】
【数９】
2011022084.tif 000011
なお、ここでＺが未知となっているが、ａ1m，ａ2m、および重心Ｇ（Ｘｇ，Ｙｇ）を上式に代入することで得ることができる。
【００４１】
例えば円柱の場合のモデルを図７に示す。図７の平行化画像ＳＨ１，ＳＨ２においては、主成分分析による第１主成分軸が対象物である円柱の中心軸を投影した中心線ＣＬＨ１，ＣＬＨ２となる。これは、第１主成分軸は標準偏差が最大の軸となるからである。よって、固有値λの最大値を選択し、第１主成分軸を求めることとなる。
【００４２】
なお、中心軸設定部２０５は、図８のように平行化処理をしていない画像Ｓ１，Ｓ２における対象物の画素領域から、画像Ｓ１，Ｓ２における中心線ＣＬ１，ＣＬ２を設定することもできることは明らかである。
【００４３】
対応付け部２０６は、中心線設定部２０５で設定された画像ＳＨ１，ＳＨ２の中心線ＣＬＨ１，ＣＬＨ２の対応付けを行う。具体的には、ステレオ画像平行化部２０３により画像ＳＨ１と画像ＳＨ２のＹ座標は等しい値となっているので、中心線ＣＬＨ２の式をｘ＝ｆ（ｙ）とすると、画像ＳＨ１における中心線ＣＬＨ１上のある点（Ｘ１，Ｙ１）の画像ＳＨ２対応点を（ｆ（Ｙ１），Ｙ１）と求める。これにより画素単位ではなく直線式により対応付けを行うことができるので、画素単位（整数）より細かい実数単位で対応付けが行うことができる。
【００４４】
なお、対応付け部２０６は、図８のように平行化処理をしていない画像Ｓ１，Ｓ２において設定された中心線ＣＬ１，ＣＬ２を、前記の通りエピポーラ線ＥＬ２を利用して対応付けることができることは明らかである。
【００４５】
平行化逆変換部２０７は、平行化画像ＳＨ１，ＳＨ２における対応付け部２０６で対応付けされた中心線ＣＬＨ１，ＣＬＨ２を、変換行列Ｈ１-1，Ｈ２-1にて画像Ｓ１，Ｓ２上に変換する。変換された中心線は、図８における中心線ＣＬ１，ＣＬ２となる。ただし、対応付け部２０６での対応付けは維持した状態とする。変換行列Ｈ１-1，Ｈ２-1は、ステレオ画像平行化部での変換行列Ｈ１，Ｈ２の逆行列であり、平行化逆変換部２０７はステレオ画像平行化部における変換の逆変換をおこなうこととなる。
【００４６】
なお、平行化逆変換部２０７は、平行化処理をしていない画像Ｓ１，Ｓ２を用いて処理を進めている場合には不要である。また、後述する三次元情報算出部２０８は、対応付けがなされていれば良く、平行化逆変換部２０７による処理は省略することもできる。
【００４７】
三次元情報算出部２０８は、平行化逆変換部２０７により得られた対応付けされた中心線ＣＬ１と中心線ＣＬ２を用いて、公知の三角測量の原理より回転体の中心軸の三次元情報を求める。さらに、中心軸の三次元情報と画像Ｓ１，Ｓ２または平行化画像ＳＨ１，ＳＨ２における対象物の画素領域とから、対象物の三次元情報を求める。例えば、対象物の中心軸の三次元情報は、少なくとも２つの対応点から求めることができる。さらに、対象物は求められた中心軸上にあるため、画像Ｓ１，Ｓ２または平行化画像ＳＨ１，ＳＨ２における対象物の画素領域から中心軸上のある対象物の位置を特定できる。これにより、対象物の三次元情報（位置・姿勢）を求めることができる。もちろん、他の公知の方法を適用することは可能である。
【００４８】
なお、上記のように、平行化画像ＳＨ１，ＳＨ２における対応付けされた中心線ＣＬＨ１，ＣＬＨ２を用いても、公知の三角測量の原理より回転体の中心軸の三次元情報を得ることがきる。
【００４９】
次に、図９のフローチャートに基づいて、三次元姿勢計測装置１００の処理手順を説明する。
ステップ１（Ｓ１）では、ステレオ画像取得部２０２にて、第１カメラ１１１および第２カメラ１１２に撮像信号を出力し、撮像された画像Ｓ１，Ｓ２を読み込み、一対の画像として図示しない画像処理演算部２００の記憶領域に記憶させる。
【００５０】
ステップ２（Ｓ２）では、ステレオ画像平行化部２０３にて、第１カメラ１１１および第２カメラ１１２で撮像した一対の画像Ｓ１，Ｓ２を平行カメラで撮影したかのようなステレオ画像ＳＨ１，ＳＨ２に変換する。より詳細には、第１カメラ１１１および第２カメラ１１２で撮像した一対の画像を平行カメラで撮影したかのようなステレオ画像に変換する変換行列Ｈ１，Ｈ２を求め、この変換行列Ｈ１，Ｈ２を用いて第１カメラ１１１，第２カメラ１１２で撮像した画像Ｓ１，Ｓ２を平行化した画像ＳＨ１，ＳＨ２に変換する。なお、変換行列Ｈ１，Ｈ２は予めパラメータ記憶部２０１に記憶されているものを用いることができる。
【００５１】
ステップ３（Ｓ３）では、対象抽出部２０４にて、画像ＳＨ１，ＳＨ２ごとに対象物の領域を抽出する。
ステップ４（Ｓ４）では、中心軸設定部２０５にて、対象抽出部２０４で処理した画像ごとに主成分分析を行い、抽出した対象物の画素領域の主成分軸を求め、予め定められた主成分軸を対象物の中心軸として設定する。例えば、第１主成分軸を中心軸とするように予めパラメータ記憶部２０１に設定を記憶しておくことができる。
【００５２】
ステップ５（Ｓ５）では、対応付け部２０６にて、中心線設定部２０５で設定された画像ＳＨ１，ＳＨ２の中心線ＣＬＨ１，ＣＬＨ２の対応付けを行う。
ステップ６（Ｓ６）では、平行化逆変換部２０７にて、平行化画像ＳＨ１，ＳＨ２における対応付け部２０６で対応付けされた中心線ＣＬＨ１，ＣＬＨ２を、変換行列Ｈ１-1，Ｈ２-1にて画像Ｓ１，Ｓ２上に変換する。
【００５３】
ステップ７（Ｓ７）では、三次元情報算出部２０８にて、平行化逆変換部２０７により得られた対応付けされた中心線ＣＬ１と中心線ＣＬ２を用いて、公知の三角測量の原理より回転体の中心軸の三次元情報を求める。さらに、中心軸の三次元情報と画像Ｓ１，Ｓ２または平行化画像ＳＨ１，ＳＨ２における対象物の画素領域とから、対象物の三次元情報（位置・姿勢）を求める。
【００５４】
次に、本発明に係る第２の実施形態について、図を用いて説明をする。
図１０は本発明に係る第２の実施形態における三次元姿勢計測装置の概略構成図である。本発明に係る第１の実施形態における三次元姿勢計測装置との差異点は、平行化逆変換部２０７の有無にある。よって、共通する部分に関する説明は省略する。
【００５５】
図１０において１００ａは三次元姿勢計測装置、１１１は第１カメラ、１１２は第２カメラ、１２１は入力部、１２２は出力部、２００ａは画像処理演算部である。なお、画像処理演算部２００ａは中央処理演算装置（ＣＰＵ）、記憶装置等からなるコンピュータによって実現される。
【００５６】
画像処理演算部２００ａは、パラメータ記憶部２０１、ステレオ画像取得部２０２、ステレオ画像平行化部２０３、対象抽出部２０４、中心軸設定部２０５、対応付け部２０６、三次元情報算出部２０８から構成されている。
【００５７】
なお、パラメータ記憶部２０１、ステレオ画像取得部２０２、ステレオ画像平行化部２０３、対象抽出部２０４、中心軸設定部２０５、対応付け部２０６は、第１の実施形態と共通なので説明を省略する。
【００５８】
三次元情報算出部２０８は、対応付け部２０６により得られた対応付けされた中心線ＣＬＨ１と中心線ＣＬＨ２を用いて、公知の三角測量の原理より回転体の中心軸の三次元情報を求める。さらに、中心軸の三次元情報と画像Ｓ１，Ｓ２または平行化画像ＳＨ１，ＳＨ２における対象物の画素領域とから、対象物の三次元情報を求める。例えば、対象物の中心軸の三次元情報は、少なくとも２つの対応点から求めることができる。さらに、対象物は求められた中心軸上にあるため、画像Ｓ１，Ｓ２または平行化画像ＳＨ１，ＳＨ２における対象物の画素領域から中心軸上のある対象物の位置を特定できる。これにより、対象物の三次元情報（位置・姿勢）を求めることができる。もちろん、他の公知の方法を適用することは可能である。
【００５９】
次に、図１１のフローチャートに基づいて、三次元姿勢計測装置１００ａの処理手順を説明する。
なお、ステップ１（Ｓ１）からステップ５（Ｓ５）までは、第１の実施形態と共通しているので、説明を省略する。
【００６０】
ステップ７（Ｓ７）では、三次元情報算出部２０８にては、対応付け部２０６により得られた対応付けされた中心線ＣＬＨ１と中心線ＣＬＨ２を用いて、公知の三角測量の原理より回転体の中心軸の三次元情報を求める。さらに、中心軸の三次元情報と画像Ｓ１，Ｓ２または平行化画像ＳＨ１，ＳＨ２における対象物の画素領域とから、対象物の三次元情報を求める。
【００６１】
次に、本発明に係る第３の実施形態について、図を用いて説明をする。
図１２は本発明に係る第３の実施形態における三次元姿勢計測装置の概略構成図である。本発明に係る第１の実施形態における三次元姿勢計測装置との差異点は、ステレオ画像平行化部２０３と平行化逆変換部２０７の有無にある。よって、共通する部分に関する説明は省略する。
【００６２】
図１２において１００ｂは三次元姿勢計測装置、１１１は第１カメラ、１１２は第２カメラ、１２１は入力部、１２２は出力部、２００ｂは画像処理演算部である。なお、画像処理演算部２００ｂは中央処理演算装置（ＣＰＵ）、記憶装置等からなるコンピュータによって実現される。
【００６３】
画像処理演算部２００ｂは、パラメータ記憶部２０１、ステレオ画像取得部２０２、対象抽出部２０４、中心軸設定部２０５、対応付け部２０６、三次元情報算出部２０８から構成されている。
【００６４】
なお、パラメータ記憶部２０１、ステレオ画像取得部２０２は、第１の実施形態とまったく同じ処理を行うので説明を省略する。
対象抽出部２０４は、画像Ｓ１，Ｓ２ごとに対象物の領域を抽出する。例えば、抽出方法としては、予めパラメータ記憶部２０１に記憶されたしきい値に基づいて、二値化により対象物の画素領域を抽出することができる。なお、対象物の画素領域の抽出方法は、二値化に限定されることはなく他の方法を用いることもできる。
【００６５】
中心軸設定部２０５は、対象抽出部２０４で処理した画像ごとに主成分分析を行い、抽出した対象物の画素領域の主成分軸を求め、予め定められた主成分軸を対象物の中心軸として設定する。
【００６６】
例えば円柱の場合のモデルを図８に示す。図８の画像Ｓ１，Ｓ２においては、主成分分析による第１主成分軸が対象物である円柱の中心軸を投影した中心線ＣＬ１，ＣＬ２となる。これは、第１主成分軸は標準偏差が最大の軸となるからである。よって、固有値λの最大値を選択し、第１主成分軸を求めることとなる。
【００６７】
対応付け部２０６は、中心線設定部２０５で設定された画像Ｓ１，Ｓ２の中心線ＣＬ１，ＣＬ２の対応付けを行う。具体的には、画像Ｓ１，Ｓ２において設定された中心線ＣＬ１，ＣＬ２を、前記の通りエピポーラ線ＥＬ２を利用して対応付けを行う。
【００６８】
三次元情報算出部２０８は、対応付け部２０６により得られた対応付けされた中心線ＣＬ１と中心線ＣＬ２を用いて、公知の三角測量の原理より回転体の中心軸の三次元情報を求める。さらに、中心軸の三次元情報と画像Ｓ１，Ｓ２における対象物の画素領域とから、対象物の三次元情報を求める。例えば、対象物の中心軸の三次元情報は、少なくとも２つの対応点から求めることができる。さらに、対象物は求められた中心軸上にあるため、画像Ｓ１，Ｓ２における対象物の画素領域から中心軸上のある対象物の位置を特定できる。これにより、対象物の三次元情報（位置・姿勢）を求めることができる。もちろん、他の公知の方法を適用することは可能である。
【００６９】
次に、図１３のフローチャートに基づいて、三次元姿勢計測装置１００ｂの処理手順を説明する。
ステップ１（Ｓ１）では、ステレオ画像取得部２０２にて、第１カメラ１１１および第２カメラ１１２に撮像信号を出力し、撮像された画像Ｓ１，Ｓ２を読み込み、一対の画像として図示しない画像処理演算部２００ｂの記憶領域に記憶させる。
【００７０】
ステップ３（Ｓ３）では、対象抽出部２０４にて、画像Ｓ１，Ｓ２ごとに対象物の領域を抽出する。
ステップ４（Ｓ４）では、中心軸設定部２０５にて、対象抽出部２０４で処理した画像ごとに主成分分析を行い、抽出した対象物の画素領域の主成分軸を求め、予め定められた主成分軸を対象物の中心軸として設定する。例えば、第１主成分軸を中心軸とするように予めパラメータ記憶部２０１に設定を記憶しておくことができる。
【００７１】
ステップ５（Ｓ５）では、対応付け部２０６にて、中心線設定部２０５で設定された画像Ｓ１，Ｓ２の中心線ＣＬ１，ＣＬ２の対応付けを行う。
ステップ７（Ｓ７）では、三次元情報算出部２０８にては、対応付け部２０６により得られた対応付けされた中心線ＣＬ１と中心線ＣＬ２を用いて、公知の三角測量の原理より回転体の中心軸の三次元情報を求める。さらに、中心軸の三次元情報と画像Ｓ１，Ｓ２２における対象物の画素領域とから、対象物の三次元情報を求める。
【００７２】
次に、本発明に係る第４の実施形態について、図を用いて説明をする。
図１４は本発明に係る第４の実施形態における三次元姿勢計測装置の概略構成図である。本発明に係る第１の実施形態における三次元姿勢計測装置との差異点は、モデル画像生成部２０９、パターンマッチング部２１０、物体位置姿勢算出部２１１の有無にある。よって、共通する部分に関する説明は省略する。
【００７３】
図１４において１００ｃは三次元姿勢計測装置、１１１は第１カメラ、１１２は第２カメラ、１２１は入力部、１２２は出力部、２００ｃは画像処理演算部である。なお、画像処理演算部２００ｃは中央処理演算装置（ＣＰＵ）、記憶装置等からなるコンピュータによって実現される。
【００７４】
画像処理演算部２００ｃは、パラメータ記憶部２０１、ステレオ画像取得部２０２、ステレオ画像平行化部２０３、対象抽出部２０４、中心軸設定部２０５、対応付け部２０６、平行化逆変換部２０７、三次元情報算出部２０８、モデル画像生成部２０９、パターンマッチング部２１０、物体位置姿勢算出部２１１から構成されている。
【００７５】
なお、パラメータ記憶部２０１、ステレオ画像取得部２０２、ステレオ画像平行化部２０３、対象抽出部２０４、中心軸設定部２０５、対応付け部２０６、平行化逆変換部２０７、三次元情報算出部２０８は、第１の実施形態と共通なので説明を省略する。なお、中心軸設定部２０５において、初期値としては第１主成分軸を中心軸とするように設定されている。
【００７６】
モデル画像生成部２０９は、三次元情報算出部２０８で得られた対象物の三次元情報に一致する画像Ｓ１またはＳ２における対象物のモデル画像を生成する。
例えば、画像処理演算部２００ｃに予め仮想空間における対象物の３Ｄモデルを記憶しておき、その３Ｄモデルを三次元情報算出部２０８で得られた三次元情報と一致する位置・姿勢にて仮想空間で配置し、仮想空間における第１カメラ１１１または第２カメラ１１２から撮像される仮想の対象物の画像を生成することで、モデル画像を生成できる。また、予め多数の姿勢で撮像された対象物の画像を、撮像時の対象物の中心軸の三次元情報と共に記憶しておき、最も対象物の三次元情報と近似する対象物の画像をモデル画像として抽出するようにしても良い。
【００７７】
パターンマッチング部２１０は、第１カメラ１１１または第２カメラ１１２で撮像された画像Ｓ１または画像Ｓ２と、モデル画像生成部２０９で生成されたモデル画像とを、パターンマッチング処理により一致するか否かを確認する。パターンマッチングにおいて、マッチングの度合いを示す値と、予め定められたしきい値とを比較し、マッチングの度合いが高い場合には、三次元情報算出部２０８で得られた三次元情報を対象物の位置・姿勢情報とする。一方、マッチングの度合いが低い場合には、中心軸算出部２０５における中心軸の設定において、第２主成分軸を中心軸と設定するように設定変更を行う。
【００７８】
なお、パターンマッチング部２１０にて、第２主成分軸を中心軸と設定するように設定変更された場合には、再び中心軸算出部２０５から処理を開始する。
次に、図１５のフローチャートに基づいて、三次元姿勢計測装置１００ｃの処理手順を説明する。
【００７９】
ステップ１（Ｓ１）では、ステレオ画像取得部２０２にて、第１カメラ１１１および第２カメラ１１２に撮像信号を出力し、撮像された画像Ｓ１，Ｓ２を読み込み、一対の画像として図示しない画像処理演算部２００の記憶領域に記憶させる。
【００８０】
ステップ２（Ｓ２）では、ステレオ画像平行化部２０３にて、第１カメラ１１１および第２カメラ１１２で撮像した一対の画像Ｓ１，Ｓ２を平行カメラで撮影したかのようなステレオ画像ＳＨ１，ＳＨ２に変換する。より詳細には、第１カメラ１１１および第２カメラ１１２で撮像した一対の画像を平行カメラで撮影したかのようなステレオ画像に変換する変換行列Ｈ１，Ｈ２を求め、この変換行列Ｈ１，Ｈ２を用いて第１カメラ１１１，第２カメラ１１２で撮像した画像Ｓ１，Ｓ２を平行化した画像ＳＨ１，ＳＨ２に変換する。なお、変換行列Ｈ１，Ｈ２は予めパラメータ記憶部２０１に記憶されているものを用いることができる。
【００８１】
ステップ３（Ｓ３）では、対象抽出部２０４にて、画像ＳＨ１，ＳＨ２ごとに対象物の領域を抽出する。
ステップ４（Ｓ４）では、中心軸設定部２０５にて、対象抽出部２０４で処理した画像ごとに主成分分析を行い、抽出した対象物の画素領域の第１主成分軸を求め、対象物の中心軸として設定する。
【００８２】
ステップ５（Ｓ５）では、対応付け部２０６にて、中心線設定部２０５で設定された画像ＳＨ１，ＳＨ２の中心線ＣＬＨ１，ＣＬＨ２の対応付けを行う。
ステップ６（Ｓ６）では、平行化逆変換部２０７にて、平行化画像ＳＨ１，ＳＨ２における対応付け部２０６で対応付けされた中心線ＣＬＨ１，ＣＬＨ２を、変換行列Ｈ１-1，Ｈ２-1にて画像Ｓ１，Ｓ２上に変換する。
【００８３】
ステップ７（Ｓ７）では、三次元情報算出部２０８にて、平行化逆変換部２０７により得られた対応付けされた中心線ＣＬ１と中心線ＣＬ２を用いて、公知の三角測量の原理より回転体の中心軸の三次元情報を求める。さらに、中心軸の三次元情報と画像Ｓ１，Ｓ２または平行化画像ＳＨ１，ＳＨ２における対象物の画素領域とから、対象物の三次元情報（位置・姿勢）を求める。
【００８４】
ステップ８（Ｓ８）では、モデル画像生成部２０９にて、三次元情報算出部２０８で得られた対象物の三次元情報に一致する画像Ｓ１またはＳ２における対象物のモデル画像を生成する。
【００８５】
ステップ９（Ｓ９）では、パターンマッチング部２１０にて、第１カメラ１１１または第２カメラ１１２で撮像された画像Ｓ１または画像Ｓ２と、モデル画像生成部２０９で生成されたモデル画像とを、パターンマッチング処理を行い、マッチングの度合い示す値を算出する。
【００８６】
ステップ１０（Ｓ１０）では、パターンマッチング部２１０にて、マッチングの度合いを示す値と、予め定められたしきい値とを比較し、マッチングの度合いが高い場合には、ステップ１２（Ｓ１２）に進み、三次元情報算出部２０８で得られた三次元情報を対象物の位置・姿勢情報とする。
【００８７】
一方、ステップ１０（Ｓ１０）にて、マッチングの度合いが低いと判断された場合には、ステップ１１（Ｓ１１）に進み、中心軸算出部２０５において第２主成分軸を中心軸と設定し、再びステップ５（Ｓ５）にて中心軸の対応付けから処理を開始する。
【００８８】
なお、第４の実施形態においては、第２および第３の実施形態にモデル画像生成部２０９、パターンマッチング部２１０、物体位置姿勢算出部２１１を追加した実施形態とすることもできることは、上記第１乃至３の実施形態の説明から明らかである。
【００８９】
また、上記いずれの実施形態においても、主成分分析により対象物の中心線を算出するので、図１６のように輪郭が線状ではない回転体にも適用することができる。
なお、上記いずれの実施形態においても、第１カメラ１１１と第２カメラ１１２とを用いているが、３つ以上の異なる方向から撮像するカメラを画像処理部２００に接続し、ステレオ画像取得部２０２にて３つ以上のカメラで撮像された画像から一対となる異なる２方向から撮像された画像を選択し、選択された異なる２方向から撮像した一対の画像を用いることもできる。
【００９０】
上記の画像の選択に際しては、予めユーザによって選択されたカメラによって撮像された画像とすることができる。また、予め条件をユーザが定めておき、撮像された画像から所定の条件の適合度をステレオ画像取得部２０２にて演算し、適合度が１番目に高い画像と２番目に高い画像とをステレオ画像取得部２０２にて選択することもできる。勿論、他の方法により複数のカメラで撮像された画像から一対となる異なる２つの方向から撮像された画像を選択するようにしても良い。
【符号の説明】
【００９１】
１００    三次元位置姿勢測定装置
１１１    第１カメラ
１１２    第２カメラ
１２１    入力部
１２２    出力部
２００    画像処理演算部
２０１    パラメータ記憶部
２０２    ステレオ画像取得部
２０３    ステレオ画像平行化部
２０４    対象抽出部
２０５    中心軸算出部
２０６    対応付け部
２０７    平行化逆変換部
２０８    三次元情報算出部
２０９    モデル画像生成部
２１０    パターンマッチング部
２１１    物体位置姿勢算出部
【図１】
2011022084.tif 000012
【図９】
2011022084.tif 000013
【図１０】
2011022084.tif 000014
【図１１】
2011022084.tif 000015
【図１２】
2011022084.tif 000016
【図１３】
2011022084.tif 000017
【図１４】
2011022084.tif 000018
【図１５】
2011022084.tif 000019
【図２】
2011022084.tif 000020
【図３】
2011022084.tif 000021
【図４】
2011022084.tif 000022
【図５】
2011022084.tif 000023
【図６】
2011022084.tif 000024
【図７】
2011022084.tif 000025
【図８】
2011022084.tif 000026
【図１６】
2011022084.tif 000027
【図１７】
2011022084.tif 000028