(57)【要約】【課題】対象物が光沢面を有する場合や文様のない場合や黒色などの物体であっても位置・姿勢を高精度で認識することができる３次元物体位置検出装置及び検出方法を提供する。【解決手段】測定対象となる対象物を構成する各面のモデル画像をモデル画像記憶部に記憶し、撮像装置で、測定対象物を多視点画像として撮像し、撮像した３次元画像情報を画像情報記憶部に記憶し、記憶された３次元画像情報から平面抽出部で平面を抽出し、抽出した平面を、法線方向画像変換部で、第１の変換行列を使用して法線方向画像に変換し、モデル対応画像変換部で、変換した法線方向画像と各モデル画像とのパターンマッチングを行って対応するモデル画像を決定し、決定したモデル画像を第２の変換行列に基づきモデル対応画像に変換し、演算した第１及び第２の変換行列に基づいて対象物の位置及び姿勢を認識する。【選択図】  図１
2010127819.tif 000002
【特許請求の範囲】
【請求項１】
測定対象となる既知の対象物を構成する各面の法線方向から撮像された画像をモデル画像として予め記憶するモデル画像記憶部と、
前記対象物を多視点画像として撮像し、３次元画像情報を出力する撮像装置と、
該撮像装置から出力される３次元画像情報を記憶する画像情報記憶部と、
該画像情報記憶部に記憶された３次元画像情報から平面を抽出する平面抽出部と、
前記３次元画像情報の対象物の位置および姿勢を前記平面抽出部で抽出した平面の法線方向からの画像である法線方向画像における対象物の位置および姿勢に変換するパラメータを表す第１のパラメータを求め、前記３次元画像情報の画像を法線方向画像に変換する法線方向画像変換部と、
該法線方向画像変換部で変換した法線方向画像と前記モデル画像記憶部に記憶されている各モデル画像とを比較して対応するモデル画像を決定するモデル画像決定部と、
前記モデル画像決定部で決定したモデル画像の前記法線方向画像での対応位置における対象物の位置および姿勢を表す第２のパラメータを求め、前記モデル画像をその対応位置における画像であるモデル対応画像に変換するモデル対応画像変換部と、
前記演算した第１及び第２のパラメータに基づいて測定された対象物の位置及び姿勢を認識する位置及び姿勢認識部と
を備えたことを特徴とする多面体位置検出装置。
【請求項２】
測定対象となる既知の対象物を構成する各面の法線方向から撮像された画像をモデル画像として予め記憶するモデル画像記憶部と、
前記対象物を多視点画像として撮像し、３次元画像情報を出力する撮像装置と、
該撮像装置から出力される３次元画像情報を記憶する画像情報記憶部と、
該画像情報記憶部に記憶された３次元画像情報から平面を抽出する平面抽出部と、
前記３次元画像情報の対象物の位置および姿勢を前記平面抽出部で抽出した平面の法線方向からの画像である法線方向画像における対象物の位置および姿勢に変換するパラメータを表す第１のパラメータを求め、前記３次元画像情報の画像を法線方向画像に変換する法線方向画像変換部と、
該法線方向画像変換部で変換した法線方向画像と前記モデル画像記憶部に記憶されている各モデル画像とを比較して対応するモデル画像を決定するモデル画像決定部と、
前記モデル画像決定部で決定したモデル画像の前記法線方向画像での対応位置における対象物の位置および姿勢を表す第２のパラメータを求め、前記モデル画像をその対応位置における画像であるモデル対応画像に変換するモデル対応画像変換部と、
前記モデル画像に基づく画像と前記３次元画像情報に基づく画像とを用い、繰り返し処理により両者間の誤差の補正量を表す第３のパラメータを求める誤差演算部と、
前記演算した第１、第２及び第３のパラメータに基づいて測定された対象物の位置及び姿勢を認識する位置及び姿勢認識部と
を備えたことを特徴とする多面体位置検出装置。
【請求項３】
測定対象となる既知の対象物を多視点画像として撮像し、３次元画像情報を出力する撮像装置を用いて、前記対象物を構成する各面の法線方向から撮像された画像をモデル画像としてモデル画像記憶部に予め記憶するモデル画像記憶ステップと、
前記撮像装置から出力される３次元画像情報を記憶する画像情報記憶ステップと、
記憶された前記３次元画像情報から平面を抽出する平面抽出ステップと、
前記３次元画像情報の対象物の位置および姿勢を前記平面抽出部で抽出した平面の法線方向からの画像である法線方向画像における対象物の位置および姿勢に変換するパラメータを表す第１のパラメータを求め、前記３次元画像情報の画像を法線方向画像に変換する法線方向画像変換ステップと、
変換した法線方向画像とモデル画像記憶ステップで記憶されているモデル画像とを比較して対応するモデル画像を決定するモデル画像決定ステップと、
前記モデル画像決定ステップで決定したモデル画像の前記法線方向画像での対応位置における対象物の位置および姿勢を表す第２のパラメータを求め、前記モデル画像をその対応位置における画像であるモデル対応画像に変換するモデル対応画像変換ステップと、
前記演算した第１及び第２のパラメータに基づいて測定された対象物の位置及び姿勢を認識する位置及び姿勢認識ステップと
を備えたことを特徴とする多面体位置検出方法。
【請求項４】
測定対象となる既知の対象物を多視点画像として撮像し、３次元画像情報を出力する撮像装置を用いて、前記対象物を構成する各面の法線方向から撮像された画像をモデル画像としてモデル画像記憶部に予め記憶するモデル画像記憶ステップと、
前記撮像装置から出力される３次元画像情報を記憶する画像情報記憶ステップと、
記憶された前記３次元画像情報から平面を抽出する平面抽出ステップと、
前記３次元画像情報の対象物の位置および姿勢を前記平面抽出部で抽出した平面の法線方向からの画像である法線方向画像における対象物の位置および姿勢に変換するパラメータを表す第１のパラメータを求め、前記３次元画像情報の画像を法線方向画像に変換する法線方向画像変換ステップと、
変換した法線方向画像とモデル画像記憶ステップで記憶されている各モデル画像とを比較して対応するモデル画像を決定するモデル画像決定ステップと、
前記モデル画像決定ステップで決定したモデル画像の前記法線方向画像での対応位置における対象物の位置および姿勢を表す第２のパラメータを求め、前記モデル画像をその対応位置における画像であるモデル対応画像に変換するモデル対応画像変換ステップと、
前記モデル画像に基づく画像と前記３次元画像情報に基づく画像とを用い、繰り返し処理により両者間の誤差の補正量を表す第３のパラメータを求める誤差演算ステップと、
前記演算した第１、第２及び第３のパラメータに基づいて測定された対象物の位置及び姿勢を認識する位置及び姿勢認識ステップと
を備えたことを特徴とする多面体位置検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の平面部を含んで構成される対象物を撮像装置で多視点画像として撮像し、撮像した多視点画像から対象物の姿勢及び位置を検出する多面体位置検出装置及び検出方法に関する。
【背景技術】
【０００２】
従来の対象物の３次元位置・姿勢を認識する装置としては、例えば１視点からの円柱型物体の形状を３次元計測装置（レーザスキャナ）で計測し、この３次元計測装置で計測した点群データのうちの任意の複数の点に係わる法線ベクトル算出し、この複数の法線ベクトルに基づいて回転軸直線算出部で円柱型物体の回転軸の方向（ベクトル）を算出し、さらに特定の座標平面上で回転軸直線が通る点求めて回転軸直線を求め、この回転軸直線に基づいてターゲット位置特定部で円柱型物体の位置を特定するようにした３次元物体位置検出装置が提案されている（例えば、特許文献１参照）。
【０００３】
また、測定対象物体をステレオビジョンで撮像し、撮像した測定対象物体の距離画像から位置・姿勢を認識する方法も提案されている（例えば、特許文献２〜４参照）。
さらに、１個のカメラから撮像された２次元画像と事前に想定される複数の姿勢を撮影した２次元画像とを２次元パターンマッチにより対応付けることにより測定対象物の姿勢を認識する画像処理装置も提案されている（例えば、特許文献５参照）。
【特許文献１】特開２００６−１３９７１３号公報
【特許文献２】特許第２９６１２６４号公報
【特許文献３】特開平２００７−１８３９０８号公報
【特許文献４】特開平２００１−１４３０７３号公報
【特許文献５】特開２００４−３３３４２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述したように、対象物の３次元位置・姿勢を認識する特許文献１〜５に記載の従来例にあっては、大別すると、レーザースキャナにより測定された対象物の３次元点群データから位置・姿勢を認識する方式と、ステレオビジョンにより測定された対象物の距離画像から位置・姿勢を認識する方式と、１カメラから撮像された２次元画像と事前に想定される複数の姿勢を撮影した２次元画像を２次元パターンマッチにより対応付けることにより姿勢を認識する方式とがある。
【０００５】
ここで、レーザースキャナにより測定され対象物の３次元点群データから位置・姿勢を認識する方式では、レーザースキャナにより３次元点群データを測定することが困難な対象物、例えば光沢面（金属など）のようにレーザー光を高い反射率で反射させる物体や、黒色などレーザー光を吸収する物体は、点群データを計測することが困難であるため、位置・姿勢の認識を行うことができないという未解決の課題がある。
【０００６】
また、ステレオビジョンにより測定された対象物の距離画像から位置・姿勢を認識する方式では、ステレオビジョンにより距離を測定することが困難な対象物、例えば光沢面（金属等）のように撮影される対象物の文様が対象物自体の文様でなく対象物に写った周辺の文様であるため、複数の画像間の対応がとれない場合や、文様がないため複数の画像間の対応がとれない場合は、距離画像を作成することが困難なため、位置・姿勢認識もできないという未解決の課題がある。こうした対象物ではエッジ部分などの距離計測は可能であるが、エッジ部分のみに基づいて位置・姿勢認識を行うことは、情報量が少ないために困難である。
【０００７】
しかも、上記２つの方式では、測定データ（３次元点群データや距離データ）から３次元特徴量を抽出し、事前に用意してある３次元モデルと３次元特徴量の辞書と、３次元特徴量のマッチングを行うことにより、測定データとモデルとの間の３次元対応点を複数求め、両者を関係付ける変換行列を求めることにより、位置・姿勢認識を行う方式である。例えば、特許文献２では、エッジを抽出し、セグメンテーションして生成される３次元幾何特徴と３次元輪郭線を特徴量とし、特許文献３では、対象物のコーナーを３次元特徴量とし、特許文献４では、エッジから直線群を検出し、直線群の交点を特徴量としている。こうした特徴量は、３次元点群データや距離画像が正しく測定されることを前提としているので、３次元点群データや距離画像が測定できない場合には認識もできないといった共通の未解決の課題がある。
【０００８】
また、１カメラから撮影された２次元画像と事前に想定される複数の姿勢を撮影した２次元画像を２次元パターンマッチにより対応付けることにより姿勢を認識する方式では、レーザースキャナやステレオビジョンのように距離計測を行わないため、光沢面や文様がない対象物の撮影が可能であり、姿勢認識は可能である。しかし、対象物の位置（距離）は、画像の大小関係から推定することになるため、位置（距離）を高精度で検出することは困難であるという未解決の課題がある。また、想定される複数の姿勢を撮影した２次元画像として、膨大な量の画像を用意しなければならないという未解決の課題もある。
【０００９】
そこで、本発明は、上記従来例の未解決の課題に着目してなされたものであり、対象物が光沢面を有する場合や文様のない場合や黒色などの物体であっても位置・姿勢を高精度で認識することができる３次元物体位置検出装置及び検出方法を提供することを目的としている。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、一の形態に係る多面体位置検出装置は、測定対象となる既知の対象物を構成する各面の法線方向から撮像された画像をモデル画像として予め記憶するモデル画像記憶部と、前記対象物を多視点画像として撮像し、３次元画像情報を出力する撮像装置と、該撮像装置から出力される３次元画像情報を記憶する画像情報記憶部とを備えている。そして、前記画像情報記憶部に記憶された３次元画像情報に基づいて平面抽出部で平面を抽出する。次に、法線方向画像変換部で、前記３次元画像情報の対象物の位置および姿勢を前記平面抽出部で抽出した平面の法線方向からの画像である法線方向画像における対象物の位置および姿勢に変換するパラメータを表す第１のパラメータを求め、前記３次元画像情報の画像を法線方向画像に変換する。この法線方向画像変換部で変換した法線方向画像と前記モデル画像記憶部に記憶されている各モデル画像とを、モデル画像決定部で比較して対応するモデル画像を決定する。モデル対応画像変換部では、前記モデル画像決定部で決定したモデル画像の前記法線方向画像での対応位置における対象物の位置および姿勢を表す第２のパラメータを求め、前記モデル画像をその対応位置における画像であるモデル対応画像に変換する。そして、位置及び姿勢認識部で、前記演算した第１及び第２のパラメータに基づいて測定された対象物の位置及び姿勢を認識する。
【００１１】
また、他の形態に係る多面体位置検出装置は、測定対象となる既知の対象物を構成する各面の法線方向から撮像された画像をモデル画像として予め記憶するモデル画像記憶部と、前記対象物を多視点画像として撮像し、３次元画像情報を出力する撮像装置と、該撮像装置から出力される３次元画像情報を記憶する画像情報記憶部とを備えている。そして、前記画像情報記憶部に記憶された３次元画像情報に基づいて平面抽出部で平面を抽出する。次に、法線方向画像変換部で、前記３次元画像情報の対象物の位置および姿勢を前記平面抽出部で抽出した平面の法線方向からの画像である法線方向画像における対象物の位置および姿勢に変換するパラメータを表す第１のパラメータを求め、前記３次元画像情報の画像を法線方向画像に変換する。この法線方向画像変換部で変換した法線方向画像と前記モデル画像記憶部に記憶されている各モデル画像とを、モデル画像決定部で比較して対応するモデル画像を決定する。モデル対応画像変換部では、前記モデル画像決定部で決定したモデル画像の前記法線方向画像での対応位置における対象物の位置および姿勢を表す第２のパラメータを求め、前記モデル画像をその対応位置における画像であるモデル対応画像に変換する。誤差演算部で、前記モデル画像に基づく画像と前記３次元画像情報に基づく画像とを用い、繰り返し処理により両者間の誤差の補正量を表す第３のパラメータを求める。そして、位置及び姿勢認識部で、前記演算した第１、第２及び第３のパラメータに基づいて測定された対象物の位置及び姿勢を認識する。
【００１２】
さらに、一の形態に係る多面体位置検出方法は、測定対象となる既知の対象物を多視点画像として撮像し、３次元画像情報を出力する撮像装置を用いて、前記対象物を構成する各面の法線方向から撮像された画像をモデル画像としてモデル画像記憶部に予め記憶するモデル画像記憶ステップと、前記撮像装置から出力される３次元画像情報を記憶する画像情報記憶ステップと、記憶された前記３次元画像情報から平面を抽出する平面抽出ステップと、前記３次元画像情報の対象物の位置および姿勢を前記平面抽出部で抽出した平面の法線方向からの画像である法線方向画像における対象物の位置および姿勢に変換するパラメータを表す第１のパラメータを求め、前記３次元画像情報の画像を法線方向画像に変換する法線方向画像変換ステップと、変換した法線方向画像とモデル画像記憶ステップで記憶されているモデル画像とを比較して対応するモデル画像を決定するモデル画像決定ステップと、前記モデル画像決定ステップで決定したモデル画像の前記法線方向画像での対応位置における対象物の位置および姿勢を表す第２のパラメータを求め、前記モデル画像をその対応位置における画像であるモデル対応画像に変換するモデル対応画像変換ステップと、前記演算した第１及び第２のパラメータに基づいて測定された対象物の位置及び姿勢を認識する位置及び姿勢認識ステップとを備えている。
【００１３】
また、他の形態に係る多面体位置検出方法は、測定対象となる既知の対象物を多視点画像として撮像し、３次元画像情報を出力する撮像装置を用いて、前記対象物を構成する各面の法線方向から撮像された画像をモデル画像としてモデル画像記憶部に予め記憶するモデル画像記憶ステップと、前記撮像装置から出力される３次元画像情報を記憶する画像情報記憶ステップと、記憶された前記３次元画像情報から平面を抽出する平面抽出ステップと、前記３次元画像情報の対象物の位置および姿勢を前記平面抽出部で抽出した平面の法線方向からの画像である法線方向画像における対象物の位置および姿勢に変換するパラメータを表す第１のパラメータを求め、前記３次元画像情報の画像を法線方向画像に変換する法線方向画像変換ステップと、変換した法線方向画像とモデル画像記憶ステップで記憶されている各モデル画像とを比較して対応するモデル画像を決定するモデル画像決定ステップと、前記モデル画像決定ステップで決定したモデル画像の前記法線方向画像での対応位置における対象物の位置および姿勢を表す第２のパラメータを求め、前記モデル画像をその対応位置における画像であるモデル対応画像に変換するモデル対応画像変換ステップと、前記モデル画像に基づく画像と前記３次元画像情報に基づく画像とを用い、繰り返し処理により両者間の誤差の補正量を表す第３のパラメータを求める誤差演算ステップと、前記演算した第１、第２及び第３のパラメータに基づいて測定された対象物の位置及び姿勢を認識する位置及び姿勢認識ステップとを備えている。
【発明の効果】
【００１４】
本発明によれば、対象物を複数の平面を有する物体に特定し、多視点画像を撮像する撮像装置から出力される３次元画像情報に基づいて第１のパラメータを演算して法線方向画像に変換し、変換した法線方向画像と記憶されている各モデル画像とを比較して対応するモデル画像を決定し、決定したモデル画像の法線方向画像での対応位置から第２のパラメータを求めてモデル画像をモデル対応画像に変換し、第１及び第２のパラメータに基づいて対象物の位置及び姿勢を認識することにより、３次元特徴量では認識できないような少ない３次元測定点により対象物の位置・姿勢を検出することができるという効果を有する。
【００１５】
また、決定したモデル画像に基づく画像と、３次元画像情報に基づく画像とを用いた繰り返し処理により両者間の誤差を表す第３のパラメータを求め、第１〜第３のパラメータに基づいて対象物の位置及び姿勢を認識することにより、各種変換や測定誤差或いは量子誤差よる位置および姿勢の認識誤差を高精度で補正することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態を、図面を伴って説明する。
図１は本発明のシステム構成図、図２には図１の演算処理装置の具体的構成を示すブロック図、図３は測定対象となる対象物の斜視図である。
図１において、１は多視点画像を撮像する撮像装置としてのステレオビジョンである。このステレオビジョン１では、２台以上の相対位置関係が既知である１組のカメラによって対象物を撮像して得られるステレオ画像間で画素毎の対応を探索し、三角測量の原理によって多視点画像情報としての３次元画像情報を復元する。このステレオビジョン１で撮像した対象物の３次元画像情報が例えばマイクロコンピュータで構成される演算処理装置２に供給される。
【００１７】
この演算処理装置２には、モデル画像記憶部としてのモデル画像データベース３及び表示装置４が接続されている。モデル画像データベース３には、測定対象となる既知の例えば少なくとも上下左右前後の６つの平面部を有する６面体で構成される対象物毎に、その各平面部の法線方向から１つのカメラで撮像した２次元法線方向画像情報と各２次元法線方向画像情報の夫々について９０度、１８０度、２７０度回転させた画像情報とを合わせて２４種類の法線方向画像情報がモデル画像情報として記憶されている。なお、２次元法線方向画像情報には、撮像時の対象物の３次元座標系における位置および姿勢を表す情報が含まれている。
【００１８】
また、演算処理装置２は、機能ブロック図で表すと図２に示すように、３次元計測部２１、画像情報記憶部を含む情報記憶部２２、点・エッジ選択部２３、平面抽出部２４、法線方向画像変換部２５、モデル対応画像生成部２６、誤差演算部としての補正変換行列演算部２７及び変換行列演算部２８を備えている。
ここで、本実施形態における対象物の条件としては、主として平面部により構成され、平面部のなす角が既知である多面体であるものとする。多面体の例としては、立方体、直方体、多角柱、多角錐、正多面体、切頂多面体、斜方多面体等がある。多面体の各面は完全な平面である必要はないが平面部とする。平面部とは、基礎となる平面に対して突起物や穴、凹凸などが存在する場合を言う。平面部のなす角が既知とは、対象物の平面の法線方向から撮像された２次元画像において、エッジ検出より検出されるエッジ部のなす角度が既知であるものをいう。
【００１９】
さらに、３次元位置・姿勢認識の定義は以下の通りである。例えば、３次元座標系の原点をステレオビジョン１の撮像原点とした場合には、撮像された対象物の位置・姿勢は、３次元座標系の原点に位置する対象物を３次元剛体変換したものである。したがって、この剛体変換行列（回転の自由度３、平行移動の自由度３）を求めることが、３次元位置・姿勢認識となる。なお、３次元座標系はステレオビジョン１の撮像原点を原点とするものに限定されるものではない。つまり、剛体変換行列は対象物の３次元位置・姿勢認識の一の表現形態であって、対象物の３次元位置・姿勢をパラメータとして表現できれば剛体変換行列に限られるものではない。よって、回転の３自由度と平行移動の３自由度による表現である必要はなく、さらに、方程式等の数式で表現されるものでも良い。
【００２０】
ステレオビジョン１による３次元計測は、先ず、公知の技術であるステレオビジョンにより、距離計測可能な点について距離計測を行う。精度の高い少数の点計測が目的であり、３次元点群データや距離画像のように密度の高い３次元形状を計測することは目的ではなく、金属面や文様のない対象物であっても、平面を構成するエッジとなる少数の点の計測は可能である。
【００２１】
３次元計測部２１は、キーボード、マウス等の入力装置から画像情報読込要求が入力されたときに、ステレオビジョン１を作動させて、図３に示す直方体１０の上面に直方体状の突起１１を形成した対象物１２を撮像した多視点画像情報に基づく３次元画像情報を読込み、読込んだ３次元画像情報を情報記憶部２２の３次元画像情報記憶領域に記憶する。ここで、ステレオビジョン１で撮像した多視点画像は、図４に示すようになる。
【００２２】
情報記憶部２２は、３次元計測部２１で計測した３次元画像情報を記憶する３次元画像情報記憶領域を有すると共に、平面抽出部２４での演算結果、法線方向画像変換部２５、モデル対応画像生成部２６、補正変換行列演算部２７の演算結果等を記憶する。
点・エッジ選択部２３は、３次元計測部２１で読込んだ３次元画像情報に基づいて公知のステレオビジョン画像処理技術を用いて対応点を探索し、複数の点の距離（３次元座標）を求める。ここで、距離を求める点は、各平面に一様であることが望ましいが、平面を検出するために十分な数であればよく、数点で可能である。また、各平面のエッジを求め、ハフ変換等の公知の技術によって線分を求めておく。すなわち、点・エッジ選択部２３では、図５に示すように、●で示す点と、太線で示すエッジ部の直線とを３次元計測する。
【００２３】
平面抽出部２４は、法線ベクトル演算部２４ａ、平面検出部２４ｂ及び平面選択部２４ｃを備えている。
法線ベクトル演算部２４ａでは、点・エッジ選択部２３で選択された点及び線分は３次元座標を持っていることから、これらの３次元座標で表される各点が含まれる平面の法線ベクトルを演算する。この法線ベクトルの演算は、計測点数が少ないことから最小二乗法により平面を求めることが困難であるため、図６に示すように、先ず、基準点となる点▲とその近傍の２つの点●を選択し、基準点▲と２つの点●とにより定まる２つのベクトルの外積を法線ベクトルとする。次いで、基準点▲と他の２点との全ての組み合せについて、法線ベクトルを求める。求められた複数の法線ベクトルから最も度数の大きい法線ベクトルを基準点▲が含まれる平面の法線ベクトルとして採用する。
【００２４】
具体的には、図７に示すように、３次元ベクトル（ｘｉ，ｙｉ，ｚｉ）をＸＹ平面での傾斜角θｉとＸＹ平面からＺ軸に対する傾斜角φｉとし、（θｉ，φｉ）で表される２次元表現に変換する。ここで、θは０〜３６０度、φは０〜１８０度である。ベクトルは全て上向き（Ｚ＞０）とすることで一般性は失われない。全ベクトル（ｘｉ，ｙｉ，ｚｉ）を、図８に示す所定角度（例えば５度区分）に区切ってθ及びφの２次元度数分布を計数する。計数した２次元度数分布において、度数が最大の区分に属する法線ベクトルを基準点が含まれる平面の法線ベクトルとして採用する。
【００２５】
平面検出部２４ｂでは、法線ベクトル演算部２４ａで演算された各基準点が含まれる平面の法線ベクトルから最も度数の大きい法線ベクトルを検出する。抽出された法線ベクトルを構成する点は、平面を構成する可能性のある点の集合となる。
最も度数の大きい法線ベクトルを（ａ，ｂ，ｃ）とするとき、平面の方程式は、
ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０
で表されるが、この段階ではｄは求まっていない。
【００２６】
平面選択部２４ｃでは、平面検出部２４ｂで抽出された法線ベクトルを構成する全ての点（ｘｉ，ｙｉ，ｚｉ）につき、平面の方程式ａｘ＋ｂｙ＋ｃｚ＝−ｄにより−ｄを演算し、−ｄの度数分布を作成し、最も度数の高い区分に属する点を、求めるべき「平面に属する点」の集合として決定する。これは平行な平面群のなかで、最も属する点の数が多い平面となる。
【００２７】
具体的には、図９（ａ）に示すように、平面の方程式を算出したときに、定数ｄが例えばｄ１、ｄ２及びｄ３となり、ｄ１の平面に属する点が５個、ｄ２の平面に属する点が２個、ｄ３に属する点が３個であるときには、度数分布は図９（ｂ）に示すように、定数ｄ１の度数が最も大きくなることから、ａｘ＋ｂｙ＋ｃｚ＋ｄ１＝０と表現される平面が抽出される。
【００２８】
法線方向画像変換部２５は、ステレオビジョン１で撮像された３次元画像情報の対象物の位置・姿勢を、平面抽出部２４で抽出された平面の法線方向からの画像における対象物の位置・姿勢に変換するような第1のパラメータとしての変換行列を求め、この変換行列を用いて測定画像を法線方向画像に変換する。なお、法線方向画像とは、平面抽出部で抽出された平面の法線方向から視た場合の画像のことをいうものとする。以下、具体的に説明する。
【００２９】
まず、法線方向画像変換行列（Ｐ）演算部２５ａについて説明する。図１０（ａ）及び（ｂ）に示すように、２次元画像上の２次元座標系では、変換前後において、抽出された同一平面上の任意の３点が構成する２つのベクトルＶ１及びＶ２と、抽出された３点以外の任意の１点のベクトルＶ３はベクトルＶ１及びＶ２の線形結合にて一意に示すことができ、且つ変換前後で同一表現される。この条件を用いることで、図１０（ａ）に示す３次元画像情報の画像における抽出された平面の全ての点が、図１０（ｂ）に示すような法線方向画像における点となるような、２次元座標の対応付けを求めることができる。
【００３０】
３次元画像情報の画像を法線方向画像に変換することを考えると、この変換を表す行列は透視変換行列である。よって、透視変換行列を求めることは、測定された３次元画像情報における対象物の位置・姿勢を、法線方向画像における対象物の位置・姿勢に変換するための変換行列を求めることとなる。上述の対応付けされた点を用い、例えば公知の技術であるＤＬＴ（Ｄｉｒｅｃｔ  Ｌｉｎｅａｒ  Ｔｒａｎｓｆｏｒｍ）法を用いて、第1のパラメータとしての法線方向画像変換行列Ｐを求めることができる。
【００３１】
座標（Ｘ０，Ｙ０，Ｚ０）を座標（Ｘ１，Ｙ１，Ｚ１）に変換する法線方向画像変換行列Ｐは下式のようになる。法線方向変換では入力は（Ｘ０，Ｙ０，Ｚ０）を、出力側は（Ｘ１，Ｙ１，Ｚ１）を使用する。
【００３２】
【数１】
2010127819.tif 000003
【００３３】
ここで、法線方向画像変換行列ＰをＤＬＴ法で演算するには、２次元の変換前後の点対応｛ｘi⇔ｘi′｝が与えられた時、ｘi′＝Ｈｘiとなるような平面射影変換行列Ｈを求めることになる。ここで、行列Ｈは行列Ｐと等しい行列となる。
ｘi′＝Ｈｘiの式の意味はｘi′とＨｘiとが大きさの異なる同方向ベクトルであることを示す。つまり、ｘi′×Ｈｘi＝０であることと等価である。
【００３４】
このため、先ず、各点対応ｘi⇔ｘi′について下記行列Ａiを演算する。
【００３５】
【数２】
2010127819.tif 000004
【００３６】
なお、数式２の行例Ａiの３行目は、１行目と２行目の線形結合である。よって、行列Ａiは、実質的に２×９行列として取り扱うことができる。
次いで、点対応の数をｎとするとき、ｎ個の２×９行列Ａiをもとめて２ｎ×９行列Ａとする。
【００３７】
行列Ａを特異値分解し、最小特異値に対応する特異ベクトルをｈとする。
ｈ＝（ｈ１１,ｈ１２,ｈ１３,ｈ２１,ｈ２２,ｈ２３,ｈ３１,ｈ３２,ｈ３３）
【００３８】
【数３】
2010127819.tif 000005
【００３９】
法線方向画像変換部２５は、法線方向画像変換行列（Ｐ）演算部２５ａで求めた法線方向画像変換行列Ｐを用い、各点について前述した数１の演算を行い，演算結果に基づいて法線方向画像情報を生成し、生成した法線方向画像情報を表示装置４に表示すると共に情報記憶部２２に記憶する。
【００４０】
ここで、法線方向画像において同一平面として抽出された平面は抽出した平面の法線方向から視た場合の正しい形状に変換されるが、その他の面は実際にあり得ない変形状態になるが差し支えない。また、前述したように点・エッジ選択部２３で、各エッジから線分を求めてあり、これらの線分は既知の角度となるはずである。このため、２次元座標の対応付けを求める際に、既知の角度となる線分が法線方向画像で取り得る方向となるように対応付けを選択することにより、図１１に示すように選択した平面について正確な法線方向画像を得ることができ、図１２に示すように、不適切な法線方向画像となることを防止することができる。
【００４１】
モデル対応画像生成部２６は、モデル画像決定部としてのモデル画像マッチング部２６ａ及びモデル対応画像変換部としての剛体変換行列（Ｔ１）演算部２６ｂを備えている。
モデル画像マッチング部２６ａは、法線方向画像変換部２５で生成した法線方向画像情報と、モデル画像データベース３に記憶されている図１３に示す各面のモデル画像情報との間で、公知の２次元パターンマッチ処理を行って、該当するモデル画像情報を決定する。
【００４２】
ここで、モデル画像情報の画像サイズ（１画素サイズ）と法線方向画像情報の画像サイズとは等しくなるように調整する。すなわち、図１４（ａ）に示すように、モデル画像データベース３に格納されているモデル画像情報の１画素のサイズをａ（ミリメートル）とすると、対象物の実際のサイズがＡ（ミリメートル）である場合には、画像上での画素数はＡ／ａ画素となる。
【００４３】
法線方向画像変換前の３次元画像情報は、図１４（ｂ）に示すように、任意の２つの特徴点の２次元座標（αｘ１，αｙ１）及び（αｘ２，αｙ２）間の３次元距離は既知である。この３次元距離をＢ（ミリメートル）とすると、法線方向画像における画素数は、必ずしもＢ／ａ画素とは限らない。
よって、法線方向画像変換後の法線方向画像情報では、図１４（ｃ）に示すように、上記特徴点の２次元座標（αｘ１，αｙ１）及び（αｘ２，αｙ２）に対応する特徴点の２次元座標（βｘ１，βｙ１）及び（βｘ２，βｙ２）間の３次元距離Ｂ（ミリメートル）の画素数がＢ／ａ画素となるように法線方向画像を決定する。
【００４４】
したがって、変換前の特徴点座標（αｘｉ，αｙｉ）に対応する法線方向画像変換後の特徴点座標（βｘｉ，βｙｉ）を求めるときに、画素数がＢ／ａ画素となるように特徴点の２次元座標をγ（βｘｉ，βｙｉ）に設定して、法線方向画像情報とモデル画像情報とを等しいサイズとして比較・パターンマッチすることができる。
剛体変換行列（Ｔ１）演算部２６ｂは、モデル画像マッチング部２６ａで決定したモデル画像情報が２次元画像のどの位置に存在するかが判明するので、モデル画像情報における対象物の位置・姿勢とに基づきマッチング位置における対象物の位置・姿勢を把握できる。よって、３次元座標系の原点にある対象物をマッチング位置における対象物の位置・姿勢に変換する第２のパラメータとしての剛体変換行列を求めることができる。３次元座標系の原点にある対象物の３次元座標（Ｘｏｒｇ，Ｙｏｒｇ，Ｚｏｒｇ）に対する、マッチング位置の対象物の３次元座標（Ｘ１，Ｙ１，Ｚ１）は下式で表すことができる。
【００４５】
【数４】
2010127819.tif 000006
【００４６】
ここで、剛体変換行列の算出方法の具体例は、入力（点数＝Ｎ）は、
ターゲット上の点の集合（３次元座標）：｛Ｐ′ｉ｝、Ｐ′ｉ＝（ｐ′ｉ（ｘ），ｐ′ｉ（ｙ），ｐ′（ｚ））
対応するモデル上の点：｛Ｐｉ｝、Ｐｉ＝（ｐｉ（ｘ），ｐｉ（ｙ），ｐｉ（ｚ））
であり、課題は｛Ｐ′ｉ｝を｛Ｐｉ｝に変換する剛体変換行列を求めることである。
【００４７】
最小二乗解を求めるため、｛Ｐ′ｉ｝と剛体変換した｛Ｐｉ｝の差異の二乗和を最小化する。
【００４８】
【数５】
2010127819.tif 000007
【００４９】
上記数式５において、Ｒは回転行列、Ｔは平行移動ベクトルを意味する。
中心点座標が等しいという仮定により、原点へ移動した点集合において下記関係がある。また、最後の式が最小化すべきターゲットである。
【００５０】
【数６】
2010127819.tif 000008
【００５１】
先ず、回転行列Ｒを求め、続いて平行移動ベクトルＴを求める。
回転行列Ｒを求めるために、行列Ｈを使用する。
Ｈ＝Σｑiｑ′it
行列Ｈを特異値分解（Ｓｉｎｇｕｌａｒ  Ｖａｌｕｅ  Ｄｅｃｏｍｐｏｓｉｔｉｏｎ）する。
【００５２】
Ｈ＝ＵΛＶt
ここで、特異値分解においてＵとＶは正規直交行列、Λは特異値を対角成分に持つ対角行列を意味する。
続いて、行列Ｘを演算する。
Ｘ＝ＶＵt
行列Ｘの行列式が１の場合は、行列Ｘは回転行列Ｒに等しい、行列式が−１の場合は、本課題は解くことができないが、−１となることは殆どない。
【００５３】
行列式の計算には、行列ＸをＬＵ分解し、対角要素の積和を求める。この積和は行列式に等しい。
続いて、下式により平行移動ベクトルＴを求めることができる。
Ｔ＝ｐ′−Ｒｐ
そして、剛体変換行列（Ｔ１）演算部２６ｂで求めたＴ１行列に基づくマッチング位置における対象物の位置・姿勢と、モデル画像データベースに記憶されているモデル画像情報における対象物の位置・姿勢とに基づき、モデル画像をマッチング位置における画像であるモデル対応画像に変換して生成することで、生成したモデル対応画像情報を表示装置４に表示すると共に情報記憶部２２に記憶する。
【００５４】
補正変換行列（Ｔ２）演算部２７は、法線方向画像情報が、変換や測定誤差あるいは量子化誤差によって対象物の線が正し方向へ変換されていないことが想定されるので、モデル画像情報を変換行列Ｔ１に基づき変換して生成したモデル対応画像と、３次元画像情報の画像を変換行列Ｐにより変換して生成した法線方向画像とを、繰り返し法（ＩＣＰ：Ｉｔｅｒａｔｉｖｅ  Ｃｌｏｓｅｓｔ  Ｐｏｉｎｔｓ）によって最適位置に合致させる補正量を演算する。ここで、合致させるとは、両者の関係を表す第３のパラメータとしての剛体変換行列Ｔ２を求めることである。なお、補正量を求めるためには上記のようにモデル対応画像と法線方向画像との関係に限定されることはなく、モデル画像に基づく画像と３次元画像情報の画像に基づく画像との関係であれば良い。よって、例えばモデル画像と３次元画像情報の画像を変換によりモデル画像に対応する画像に変換した画像との関係とすることもできる。
【００５５】
この剛体変換行列Ｔ２を求めるには、変換行列Ｔ１により特定される位置および姿勢で対象物が存在する画像であるモデル対応画像に対応する３次元点群Ｍ＝｛Ｍｉ｝＝｛（ｍｘｉ，ｍｙｉ，ｍｚｉ）｝と、３次元画像情報の画像を変換行列Ｐにより変換した法線方向画像とに対応する３次元点群Ｓ＝｛Ｓｉ｝＝｛（ｓｘｉ，ｓｙｉ，ｓｚｉ）｝とが与えられ、両者の点数は必ずしも等しくなく、両者の点対応もわかっていない場合に、点群Ｓを点群Ｍへ変換する剛体変換行列を求めることである。
【００５６】
法線方向画像に対応する３次元点群Ｓの各点に対して、最も近い距離にあるモデル対応画像に対応する３次元点群Ｍの点を探索し、両者を対応点とする。距離としては、ユークリッド距離が一般的にもちいられるが、他の距離尺度を適用することもできる。
両者を対応付ける剛体変換行列Ｔ２を求める。この段階では、対応点が分かっており、且つ両者の点数も等しいので、前述した数４の剛体変換行列の算出方法を利用する。
【００５７】
次いで、測定画像に対応する法線方向画像情報に対応する３次元点群Ｓの全点を剛体変換する。
次いで、剛体変換した３次元点群Ｓと３次元点群Ｍの差異が所定の閾値以下であれば、補正処理を終了し、そうでないときには剛体変換した３次元点群Ｓを新たな３次元点群Ｓとして上記補正処理を繰り返す。
【００５８】
ここで、一般的な繰り返し法ＩＣＰは３次元点群間の剛体変換行列を求める手法であるが、本実施形態では、２つの画像間の剛体変換行列を求めるように応用している。また、繰り返し法では、計算量が膨大であり，局所的最小値に陥るので、初期値依存性が強いという難点があるので、他の手法によりおおよその位置合わせ（剛体変換行列の初期値）を求め、両者をほぼ合わせた状態を初期値として繰り返し法を適用することが一般的である。
【００５９】
具体的には、本実施形態では、図１５（ａ）に示すように、実線図示の法線方向画像Ｓと、破線図示のモデル対応画像Ｍとでは両者の位置はほぼ合っている。
このため、先ず、図１５（ｂ）に示すように、法線方向画像Ｓから、例えば格子状に点を選択する（ランダムであってもよく、エッジ等の特徴のある点に限定することも効果的である）。
【００６０】
続いて、図１５（ｃ）に示すように、法線方向画像Ｓにおいて抽出された点の座標（ｉ，ｊ）に対して、モデル対応画像Ｍの座標（ｉ，ｊ）を中心とした矩形領域１を対応させる。
続いて、図１６に示すように、法線方向画像Ｓにおける点（ｉ，ｊ）を中心とした矩形領域１より小さい矩形領域２を設け、一方のモデル対応画像Ｍの矩形領域１において、矩形領域２のサイズの２次元パターンマッチングを行い、最も類似した点を抽出し、これを法線方向画像Ｓの座標（ｉ，ｊ）に対応する点とする。
【００６１】
続いて、複数の対応する点を求め、両者の剛体変換行列Ｔ２を求める。
続いて、法線方向画像Ｓを剛体変換した点と、モデル対応画像Ｍの点の差異が閾値以下になれば終了し、そうでなければ剛体変換した正面視画像を新たな法線方向画像Ｓとして設定してから上記剛体変換処理を繰り返す。
変換行列演算部２８では、３次元座標の原点に対象物がある場合の３次元座標（Ｘｏｒｇ，Ｙｏｒｇ，Ｘｏｒｇ）tを測定画像の３次元座標（Ｘ０，Ｙ０，Ｚ０）tに変換する変換式Ｐ-1・Ｔ２・Ｔ１を演算する。
【００６２】
すなわち、上述した変換式の関係をまとめると、
測定画像の３次元座標（Ｘ０，Ｙ０，Ｚ０）t
法線方向画像の３次元座標Ｐ（Ｘ０，Ｙ０，Ｚ０）t
３次元座標の原点にある対象物の３次元座標（Ｘｏｒｇ，Ｙｏｒｇ，Ｘｏｒｇ）t
法線方向画像情報とマッチするモデル対応画像の３次元座標Ｔ１（Ｘｏｒｇ，Ｙｏｒｇ，Ｚｏｒｇ）t
同、誤差補正済画像の３次元座標Ｔ２・Ｔ１（Ｘｏｒｇ，Ｙｏｒｇ，Ｚｏｒｇ）t
となる。法線方向画像の３次元座標と誤差補正済み画像の３次元座標とは等しいので、
Ｐ（Ｘ０，Ｙ０，Ｚ０）t＝Ｔ２・Ｔ１（Ｘｏｒｇ，Ｙｏｒｇ，Ｚｏｒｇ）t
（Ｘ０，Ｙ０，Ｚ０）t＝Ｐ-1・Ｔ２・Ｔ１（Ｘｏｒｇ，Ｙｏｒｇ，Ｚｏｒｇ）t
となる。
【００６３】
したがって、３次元座標の原点にある対象物の３次元座標（Ｘｏｒｇ，Ｙｏｒｇ，Ｚｏｒｇ）tを測定画像の３次元座標（Ｘ０，Ｙ０，Ｚ０）tに変換するための変換式は、Ｐ-1・Ｔ１・Ｔ２として求めることができ、３次元画像情報における対象物の位置・姿勢を認識できたことになる。
次に、上記実施形態の動作を説明する。
【００６４】
今、図３に示す直方体１０の上面に直方体状の突起１１を形成した対象物１２がステレオビジョン１の視野範囲内に存在し、この対象物１２の位置及び姿勢を認識するには、予めモデル画像データベース３に、図１３に示す該当する対象物１２の上下左右前後の６平面における平面の法線方向から撮像したモデル画像と、各モデル画像の９０度、１８０度及び２７０度回転させた２４種類のモデル画像を記憶させておく。
【００６５】
この状態で、演算処理装置２の３次元計測部２１で、ステレオビジョン１に対して撮像指令を出力する。ステレオビジョン１では、図４に示す対象物１２の多視点画像情報（ステレオ画像）を撮像し、演算処理装置２では、撮像した多視点画像情報に基づく３次元画像情報を読込み、読込んだ３次元画像情報を情報記憶部２２の３次元画像情報記憶領域に記憶する。点・エッジ選択部２３は、３次元計測部２１で読込んだ３次元画像情報に基づいて公知のステレオビジョン画像処理技術を用いて対応点を探索し、複数の点の距離（３次元座標）を求める。求めた３次元画像情報を情報記憶部２２の３次元画像情報記憶領域に記憶する。
【００６６】
そして、平面抽出部２４で、３次元画像情報記憶領域に記憶されている３次元画像情報を読出し、法線ベクトル演算部２４ａで、３次元画像情報に表される２つ又は３つの平面で、所定数の特徴点を選択し、平面の法線ベクトルを演算する基準となる特徴点と他の２つの特徴点とのベクトルの外積から平面の法線ベクトルを求める。次いで、基準となる特徴点と近傍の全ての２点との組合わせについて平面の法線ベクトルを求める。そして、演算した平面の法線ベクトル（ｘｉ，ｙｉ，ｘｉ）を２次元表現（θｉ，Φｉ）へ変換する。
【００６７】
そして、例えば５度区分に区切ってθ及びΦの２次元度数分布を計数し、計数した２次元度数分布において、度数が最大の区分の法線ベクトルを基準となる特徴点が含まれる平面の法線ベクトルとして採用する。
そして、平面検出部２４ｂで、採用された基準となる特徴点が含まれる平面の法線ベクトルで表される平面の方程式を算出する。算出した平面の方程式に基づいて平面選択部２４ｃで、平面の方程式の定数項−ｄの度数分布を作成し、最も度数の高い区分に属する点を求めるべき注視する平面に属する点の集合として決定する。
【００６８】
このようにして、注視する平面の検出が終了すると、法線方向画像変換部２５では、法線方向画像変換行列演算部２５ａにて３次元画像情報における対象物の位置・姿勢を平面抽出部で抽出した平面の法線方向画像における対象物の位置・姿勢に変換する第１の変換行列となる法線方向画像変換行列Ｐを、例えばＤＬＴ法を用いて求める。そして、法線方向画像変換行列Ｐに基づいて数１の演算を行って３次元画像情報の３次元座標（ｘ０，ｙ０，ｚ０）から法線方向画像の３次元座標（ｘ１，ｙ１，ｚ１）を演算して、さらに図１１に示す法線方向画像情報を生成し、この法線方向画像情報を表示装置４に表示する。
【００６９】
そして、モデル対応画像生成部２６では、法線方向画像情報と、モデル画像データベース３に格納されている対象物の各平面の法線方向から撮像された画像に対応する２４種類のモデル画像情報とを、モデル画像マッチング部２６ａで２次元パターンマッチングして、図１３で□で囲った該当するモデル画像情報を決定する。
この２次元パターンマッチングの結果として、決定したモデル画像が２次元画像のどの位置に存在するかが判明するので、モデル画像情報における対象物の位置・姿勢とに基づきマッチング位置における対象物の位置・姿勢を把握する。これにより、３次元座標の原点にある対象物の位置・姿勢をマッチング位置における対象物の位置・姿勢に変換する剛体変換行列Ｔ１を求めることができる。これにより、３次元座標の原点に対象物がある場合の３次元座標（Ｘｏｒｇ，Ｙｏｒｇ，Ｚｏｒｇ）に対するモデル対応画像の３次元座標（Ｘ１，Ｙ１，Ｚ１）を数４から算出することができる。さらに、モデル対応画像はモデル画像情報における対象物の位置・姿勢と剛体変換行列Ｔ１とに基づき、モデル画像を変換することでモデル対応画像を生成できる。
【００７０】
この算出結果から、法線方向画像とモデル対応画像とを表示すると図１５（ａ）に示すように、法線方向画像Ｓとモデル対応画像Ｍとが略一致した初期状態となる。
このとき、法線方向画像Ｓとモデル対応画像Ｍとは略一致しているが、図１５（ａ）に示すように、モデル対応画像Ｍに対して法線方向画像Ｓが反時計方向に多少回転している場合には、繰り返し法（ＩＣＰ）によって第３の変換行列Ｔ２を用いる補正を行ない、この補正を剛体変換した法線方向画像Ｓとモデル対応画像Ｍとの差異が所定の閾値以下となるまで繰り返すことにより、高精度の補正を行なって剛体変換した法線方向画像Ｓとモデル対応画像Ｍとを正確に合致させることができる。
【００７１】
そして、法線方向画像に変換するための法線方向変換行列（第１の変換行列）Ｐと、３次元座標系の原点に対象物がある場合の３次元座標をモデル対応画像での３次元座標に変換するための剛体変換行列（第２の変換行列）Ｔ１と、補正変換行列（第３の変換行列）Ｔ２とに基づいて３次元座標系の原点に対象物がある場合の３次元座標を測定画像情報の３次元座標に変換するための変換式は前述したＰ-1・Ｔ１・Ｔ２として求めることができ、対象物１２の位置及び姿勢を正確に認識することができる。
【００７２】
また、平面抽出部２４で３次元画像情報から平面を抽出する場合に、３点の特徴点で、法線ベクトルを算出し、算出した法線ベクトルに基づいて平面を抽出するようにしているので、最小二乗法を適用する場合のように多数の特徴点を選択する必要がなく、対象物が光を反射する光沢面を有する場合や文様ない場合や黒色などの物体であっても、少ない特徴点の選択によって平面を抽出することができる。しかも、法線方向画像情報を生成する際に、エッジに対応する直線のなす角度が既知の線分を検出するようにしているので、法線方向画像情報を生成したときに、主たる直線のなす角度が既知であるので、主たる直線が既知の角度となるように、法線方向画像への変換を行なうことにより、法線方向画像を正確に生成することができる。
【００７３】
そして、モデル画像データベース３に記憶されている２４種のモデル画像と、法線方向画像との２次元パターンマッチングを行なう際に、図１４（ａ）〜（ｃ）に示すサイズ合わせ処理を実行することにより、法線方向画像とモデル画像とを等しいサイズとして、比較・パターンマッチすることができる。
なお、上記実施形態においては、法線方向画像変換行列Ｐを算出した後に、剛体変換行列Ｔ１を算出し、次いで補正変換行列Ｔ２を算出し、各行列に基づいて対象物の位置及び姿勢を認識する場合について説明した。しかしながら、法線方向画像Ｓとモデル対応画像Ｍとが一致している場合には、補正変換行列Ｔ２の算出処理を省略して、法線方向変換行列Ｐ及び剛体変換行列Ｔ１に基づいて対象物の位置及び姿勢を認識するようにしてもよい。
【００７４】
また、上記実施形態においては、法線方向画像変換行列Ｐの算出にＤＬＴ法を適用した場合について説明したが、これに限定されるものではなく、ゴールドスタンダートアルゴリズムやＤＬＴ法より精度の高い正規化ＤＬＴアルゴリズムを適用するようにしてもよい。さらに、上述したＤＬＴ法は、点対応にガウシアンノイズは含まれるが誤った対応が含まれないことを前提としているが、誤った対応が含まれることを想定する場合には、ＲＡＳＡＣ（Ｒａｎｄｏｍ  Ｓａｍｐｌｅ  Ｃｏｍｓｅｎｓｕｓ）法、最尤推定（Ｍａｘｉｍｕｍ  Ｌｉｋｅｈｏｏｄ  Ｅｓｔｉｍａｔｉｏｎ）法、ＬＭＳ（Ｌｅａｓｔ  Ｍｅｄｉａｎ  ｏｆ  Ｓａｕａｒｅ）法などを適用することができる。
【００７５】
さらに、上記実施形態においては、ステレオビジョン１として２つのステレオカメラで２視点画像情報を撮像する場合について説明したが、これに限定されるものではなく、３つ以上のカメラを適用して多視点画像情報を撮像するようにしてもよい。
【図面の簡単な説明】
【００７６】
【図１】本発明のシステム構成の概略を示すシステム構成図である。
【図２】演算処理装置の機能ブロックを示す機能ブロック図である。
【図３】測定対象となる対象物の斜視図である。
【図４】ステレオビジョンで撮像した多視点画像を示す説明図である。
【図５】特徴点及びエッジの選択状況を示す説明図である。
【図６】法線ベクトルを示す説明図である。
【図７】法線ベクトルを２次元表現した場合の説明図である。
【図８】法線ベクトルの度数分布を示す説明図である。
【図９】平面の方程式と度数表示を表す説明図である。
【図１０】法線方向画像への座標変換の前後を表す説明図である。
【図１１】正確な法線方向画像を示す説明図である。
【図１２】不適切な法線方向画像を示す説明図である。
【図１３】モデル画像データベースに記憶されているモデル画像を示す説明図である。
【図１４】法線方向画像のサイズあわせ処理を示す説明図である。
【図１５】法線方向画像Ｓとモデル対応画像Ｍとの関係を示す説明図である。
【図１６】正面視画像Ｓと正面視モデル画像Ｍとの補正を説明するための説明図である。
【符号の説明】
【００７７】
１…ステレオビジョン、２…演算処理装置、３…モデル画像データベース、４…表示装置、１０…直方体、１１…突起、１２…対象物、２１…３次元計測部、２２…情報記憶部、２３…点・エッジ選択部、２４…平面抽出部、２４ａ…法線ベクトル演算部、２４ｂ…平面検出部、２４ｃ…平面選択部、２５…法線方向画像変換部、２５ａ…法線方向画像変換行列演算部、２６…モデル対応画像生成部、２６ａ…モデル画像マッチング部、２６ｂ…剛体変換行列演算部、２７ａ…対応点検索部、２７ｂ…Ｔ２行列演算部、２８…変換行列演算部
【図１】
2010127819.tif 000009
【図２】
2010127819.tif 000010
【図３】
2010127819.tif 000011
【図４】
2010127819.tif 000012
【図５】
2010127819.tif 000013
【図６】
2010127819.tif 000014
【図７】
2010127819.tif 000015
【図８】
2010127819.tif 000016
【図９】
2010127819.tif 000017
【図１０】
2010127819.tif 000018
【図１１】
2010127819.tif 000019
【図１２】
2010127819.tif 000020
【図１３】
2010127819.tif 000021
【図１４】
2010127819.tif 000022
【図１５】
2010127819.tif 000023
【図１６】
2010127819.tif 000024