(57)【特許請求の範囲】
【請求項１】
計測対象物が有する取付け具の３次元寸法を計測する装置であって、
複数のマーカーが規則的に並べられ前記計測対象物の背景として撮影される基準プレートと、
前記取付け具を含む前記計測対象物と前記基準プレートとを固定位置で撮影する位置計測カメラと、
複数の視点位置で前記計測対象物を撮影することにより、それら計測対象物と前記基準プレートが写りこんだ画像を取得する３次元計測カメラと、
複数の前記視点位置に前記３次元計測カメラを移動させるアクチュエータと、
前記アクチュエータ及び前記３次元計測カメラを制御する制御装置を有し、
前記制御装置は、
前記位置計測カメラが撮影した画像に基づき、前記基準プレートを基準とした座標系である基準プレート座標系での前記計測対象物の２次元座標を演算するための２次元座標演算手段、
前記２次元座標演算手段が演算した前記２次元座標に基づき、前記３次元計測カメラの複数の前記視点位置を前記取付け具の画像認識によって探査する探査手段、及び
前記探査手段が探査した前記視点位置において、前記３次元計測カメラが形成した画像に基づき、前記３次元計測カメラの位置を基準とした座標系である３次元計測カメラ基準座標系での、前記取付け具の３次元座標を求める３次元座標演算手段を有することを特徴とする３次元寸法を計測する装置。
【請求項２】
前記探査手段は、前記計測対象物の前記基準プレート座標系での２次元座標に基づき、前記３次元計測カメラの前記視点位置を決定するために、標準的な前記計測対象物の前記取付け具の位置を基準として、予め決定された複数の探査領域内の画像認識を実行して前記視点位置を決定することを特徴とする請求項１に記載の３次元寸法を計測する装置。
を特徴としている。
【請求項３】
前記取付け具は、前記計測対象物のピンまたはブラケットであり、前記３次元座標演算手段は、前記３次元計測カメラが撮影した画像に基づき、前記ピン相互間または前記ブラケット相互間の３次元寸法を計測することを特徴とする請求項１または２に記載の３次元寸法を計測する装置。
【請求項４】
前記アクチュエータは多軸直交ロボットからなり、
前記アクチュエータは前記多軸直交ロボットを制御するロボットコントローラにより制御され、
前記探査手段は、前記ロボットコントローラ内において、前記計測対象物の前記基準プレート座標系での２次元座標に基づき、前記３次元計測カメラの複数の前記視点位置を決定することを特徴とする請求項１ないし３のいずれか一項に記載の３次元寸法を計測する装置。
【請求項５】
前記３次元計測カメラは、受動的ステレオ法による３次元計測に必要な画像を撮影するステレオカメラからなり、前記アクチュエータで駆動されて複数の前記視点位置において前記取付け具を撮影し、この取付け具と前記基準プレートが写り込んだ画像を前記制御装置に送信することを特徴とする請求項１ないし４のいずれか一項に記載の３次元寸法を計測する装置。
【請求項６】
前記制御装置は、前記３次元計測カメラを基準とする座標系から、前記基準プレートを基準とする世界座標系への座標変換パラメータを演算するパラメータ演算を行い、
複数の前記視点位置より前記３次元計測カメラが撮影した画像から、複数の前記視点位置毎の３次元計測カメラを基準とする３次元座標系を、前記パラメータ演算で求めた前記視点位置毎の前記座標変換パラメータを用いて、共通の前記世界座標系に統合し、
前記世界座標系での３次元座標に基づき、前記計測対象物の寸法を計測することを特徴とする請求項１ないし５のいずれか一項に記載の３次元寸法を計測する装置。
【請求項７】
計測対象物が有する取付け具の３次元寸法を測定する３次元寸法を計測する装置を用いた３次元寸法を計測する方法であって、
前記３次元寸法を計測する装置が、前記計測対象物の背景に規則的に並べられた複数のマーカーを有する基準プレートと、少なくとも前記取付け具と前記基準プレートを撮影する位置計測カメラと、前記取付け具の３次元計測に必要な画像を前記視点位置まで移動して撮影し前記計測対象物と前記基準プレートとが写り込んだ画像を撮影する３次元計測カメラと、前記位置計測カメラで撮影して演算された前記視点位置に前記３次元計測カメラを移動させるアクチュエータと、前記アクチュエータ及び前記３次元計測カメラを制御する制御装置を用い、
前記基準プレートに対向して配置された前記位置計測カメラにより前記基準プレートを撮影し、前記基準プレートと該基準プレートに置かれた前記計測対象物とを含んだ画像を撮影する位置計測カメラ撮影ステップ、
前記位置計測カメラ撮影ステップで撮影した画像内の前記マーカーと前記計測対象物の位置関係に基づき、前記計測対象物の基準プレート座標系での２次元座標を演算する２次元座標演算ステップ、
前記２次元座標上において予めティーチング入力された複数の探査領域の位置を特定する探査領域特定ステップ、
前記探査領域内において前記取付け具の画像認識を行って、前記３次元計測カメラの撮影位置である複数の前記視点位置を演算する視点位置演算ステップ、
前記アクチュエータにより前記３次元計測カメラを前記視点位置まで駆動し、前記視点位置から、前記基準プレートと、該基準プレートを背景とする前記計測対象物とを撮影する３次元計測カメラ撮影ステップ、
複数の前記視点位置の各々について、前記３次元計測カメラ撮影ステップで撮影した画像から、前記計測対象物及び前記マーカーの前記３次元計測カメラの位置を基準とした複数の３次元座標系を演算する３次元座標演算ステップ、
前記３次元計測カメラを基準とした複数の３次元座標系から、前記基準プレートを基準とした世界座標系への座標変換パラメータを演算するパラメータ演算ステップ、
前記パラメータ演算ステップで演算された前記座標変換パラメータを使用して、前記３次元計測カメラを基準とした複数の３次元座標系を、前記世界座標系に統合する座標系統合ステップ、及び
前記座標系統合ステップで統合された前記世界座標系に基づき、前記計測対象物の寸法を演算する寸法演算ステップを含むことを特徴とする３次元寸法を計測する方法。
【請求項８】
前記計測対象物は、表面及び裏面を持ち、この表面及び裏面の縦寸法及び横寸法よりも小さい寸法の奥行き寸法を持ち、かつ奥行き寸法の範囲内に前記取付け具が設けられた扁平な組付部品であり、
前記基準プレートの平面に前記表面及び裏面のいずれか一方を重ね合わせて、前記基準プレートに対向して配置された前記位置計測カメラで前記基準プレートと該基準プレート上に載置された前記計測対象物の両方を含んだ画像を撮影する前記位置計測カメラ撮影ステップを含むことを特徴とする請求項７に記載の３次元寸法を計測する方法。
【請求項９】
前記探査領域特定ステップは、測定すべき前記取付け具の位置を含んだ前記探査領域がティーチング入力されるステップを含み、
前記視点位置演算ステップは、前記探査領域内の前記取付け具の形状を画像認識して前記取付け具の位置に関わる２次元座標位置に基づき、前記３次元計測カメラの撮影位置である複数の前記視点位置を演算することを特徴とする請求項７または８に記載の３次元寸法を計測する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、非接触で計測対象物の３次元寸法を高精度かつ高速で計測する３次元寸法を計測する装置及び３次元寸法を計測する方法に関するものである。
【背景技術】
【０００２】
近年では、カメラを例えば手に持って、自由な位置から撮影した画像から、対象物の三次元形状を復元する手法が研究されている。この場合、各撮影時点でのカメラの位置及び姿勢を求める必要があるが、そのための手法の１つにカメラ校正（カメラキャリブレーションとも呼ばれる）がある。
【０００３】
カメラ校正にはいくつかの手法がある。その１つの特許文献１には、光切断法により三次元形状を計測する測定ヘッドの上面に、ＬＥＤ（発光ダイオード）からなるマーカーを複数設け、対象物に対して自由に配置した測定ヘッドを上方から３次元計測カメラで撮影することで、測定ヘッドの座標系（世界座標系とも言う）での位置及び姿勢を求める方式が示されている。
【０００４】
この方式では、測定ヘッドで計測した測定ヘッド中心座標系での対象物の各点の座標を、３次元計測カメラで求めた測定ヘッドの位置及び姿勢の情報を用いて変換することで、世界座標系での対象物の形状を求めている。
【０００５】
この特許文献１の方式は、測定ヘッドの位置及び姿勢を求めるためのマーカーとして自ら発光するＬＥＤを用いているので、照明の違いがマーカー識別に与える影響はかなり低減できる。
【０００６】
しかし、この方式では、複数のマーカーに同じＬＥＤを用い、個々のマーカーの識別は、１つ１つのマーカーの特徴から行うのではなく、それらマーカーのヘッド上面での配置パターンに基づき判定している。
【０００７】
このため、ヘッド上面のマーカーのどれかが対象物の影になるなどして、３次元計測カメラで撮影できなくなると、撮影画像中のマーカーが複数のマーカーのうちのどれに当たるのか、自動判定することが事実上不可能になる場合がある。
【０００８】
これを改善するため、特許文献２の方式が開発されている。この特許文献２では、カメラ校正の基準として用いるマーカーとして、明暗状態を能動的に切り換えることができる発光ダイオード等の発光マーカーを用い、それら発光マーカーをそれぞれ一意な切換パターンに従って明暗を切換している。
【０００９】
そして、それら発光マーカーを連続撮影した画像フレーム群からマーカーごとに明暗変化のパターンを求め、求めたパターンから各マーカーを識別している。このような仕組みにより、環境光が変化したり、物体により一部のマーカーが隠されたりした場合でも、個々のマーカーの識別を行うことができるとされている。
【００１０】
この特許文献２に記載の三次元計測システムにおける計測手順では、まず撮影者が自由に選んだＮ（自然数）箇所の視点位置に、三次元計測装置を順に移動させながら、各視点位置から、基準パネルとその上に置かれた計測対象物とを撮影することから作業工程を開始している。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００１−２４１９２７号公報
【特許文献２】特許第３７７９３０８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
上述のように、撮影者が自由に選んだ複数の各視点位置から撮影装置が撮影した画像から、撮影装置中心座標系での画像内各点の３次元座標を共通の世界座標系に変換する装置が知られているが、工場で製造された部品等を次々に計測して行くような用途では、計測対象物のセット位置がずれて不定となるため、基準パネル全体を撮影装置で撮影する必要がある。
【００１３】
このような、勝手に選んだ任意の位置から３次元計測を始める方法として、基準パネル全体を一度に撮影する方法、または、基準パネル全体を分割して撮影する方法が考えられるが、全体を一度に撮影する方法では、計測精度を高めるために、高精細な画像が必要になり、撮影装置が高価という問題が生じる。また、全体を分割して撮影する方法では、多数回の撮影が必要になり、計測時間が長いという問題が生じる。
【００１４】
本発明は、このような従来の技術に存在する問題点に着目して成されたものであり、その目的は、計測対象物の位置に合わせて３次元計測カメラの視点位置を自動的に決定し、計測精度を高精度化でき、また計測時間を短縮することができる非接触で３次元寸法を計測する装置及びその方法を提供することにある。
【００１５】
従来技術として列挙された特許文献の記載内容は、この明細書に記載された技術的要素の説明として、参照によって導入ないし援用することができる。
【課題を解決するための手段】
【００１６】
本発明は上記目的を達成するために、下記の技術的手段を採用する。すなわち、請求項１に記載の発明では、計測対象物が有する取付け具の３次元寸法を計測する装置であって、複数のマーカーが規則的に並べられ計測対象物の背景として撮影される基準プレートと、取付け具を含む計測対象物と基準プレートとを固定位置で撮影する位置計測カメラと、複数の視点位置で計測対象物を撮影することにより、それら計測対象物と基準プレートが写りこんだ画像を取得する３次元計測カメラと、複数の視点位置に３次元計測カメラを移動させるアクチュエータと、アクチュエータ及び３次元計測カメラを制御する制御装置を有し、制御装置は、位置計測カメラが撮影した画像に基づき、基準プレートを基準とした座標系である基準プレート座標系での計測対象物の２次元座標を演算するための２次元座標演算手段、２次元座標演算手段が演算した２次元座標に基づき、３次元計測カメラの複数の視点位置を取付け具の画像認識によって探査する探査手段、及び探査手段が探査した視点位置において、３次元計測カメラが形成した画像に基づき、３次元計測カメラの位置を基準とした座標系である３次元計測カメラ基準座標系での、取付け具の３次元座標を求める３次元座標演算手段を有することを特徴としている。
【００１７】
この発明によれば、基準プレート全体を位置計測カメラで撮影し、取り付け具の３次元位置を計測しやすい視点位置を探査し、この視点位置に、３次元計測カメラを移動させて、最適な位置からの３次元計測のための撮影を行うことができるため、計測精度を高精度化できる。また、位置計測カメラが撮影した画像に基づき基準プレート座標系での２次元座標を求め、この２次元座標に基づき、視点位置を探査し、アクチュエータで視点位置まで３次元計測カメラを駆動して撮影するから、任意の視点位置から撮影するものに比べて、計測時間を短縮することができる。
【００１８】
請求項２に記載の発明では、探査手段は、計測対象物の基準プレート座標系での２次元座標に基づき、３次元計測カメラの視点位置を決定するために、標準的な計測対象物の取付け具の位置を基準として、予め決定された複数の探査領域内の画像認識を実行して視点位置を決定することを特徴としている。
【００１９】
この発明によれば、複数の探査領域内の画像認識を実行する探査手段を有するから、基準プレート上に計測対象物がずれて置かれても、予め決定された探査領域内の画像認識により、比較的短時間内に取付け具の位置に関わる３次元計測カメラの視点位置を演算することができる。
【００２０】
請求項３に記載の発明では、取付け具は、計測対象物のピンまたはブラケットであり、３次元座標演算手段は、３次元計測カメラが撮影した画像に基づき、ピン相互間またはブラケット相互間の３次元寸法を計測することを特徴としている。
【００２１】
この発明によれば、３次元計測カメラが撮影した画像に基づき、ピン相互間またはブラケット相互間の３次元寸法を計測するから、これらの寸法が正規のものでない不良品を排除することができる。
【００２２】
請求項４に記載の発明では、アクチュエータは多軸直交ロボットからなり、アクチュエータは多軸直交ロボットを制御するロボットコントローラにより制御され、探査手段は、ロボットコントローラ内において、計測対象物の基準プレート座標系での２次元座標に基づき、３次元計測カメラの複数の視点位置を決定することを特徴としている。
【００２３】
この発明によれば、アクチュエータは多軸直交ロボットからなり、このロボットのコントローラ内において、視点位置を決定するから、高速で３次元計測カメラを視点位置まで移動させることができる。
【００２４】
請求項５に記載の発明では、３次元計測カメラは、受動的ステレオ法による３次元計測に必要な画像を撮影するステレオカメラからなり、アクチュエータで駆動されて複数の視点位置において取付け具を撮影し、この取付け具と基準プレートが写り込んだ画像を制御装置に送信することを特徴としている。
【００２５】
この発明によれば、受動的ステレオ法による３次元計測を行うステレオカメラをアクチュエータで視点位置に移動して、取付け具の３次元計測を容易に行うことができる。
【００２６】
請求項６に記載の発明では、制御装置は、３次元計測カメラを基準とする座標系から、基準プレートを基準とする世界座標系への座標変換パラメータを演算するパラメータ演算を行い、複数の視点位置より３次元計測カメラが撮影した画像から、複数の視点位置毎の３次元計測カメラを基準とする３次元座標系を、パラメータ演算で求めた視点位置毎の座標変換パラメータを用いて、共通の世界座標系に統合し、世界座標系での３次元座標に基づき、計測対象物の寸法を計測することを特徴としている。
【００２７】
この発明によれば、アクチュエータで移動した３次元計測カメラの各視点位置を基準とした複数の３次元座標系から、基準プレートを基準とした世界座標系への座標変換パラメータを演算し、共通の世界座標系での３次元座標に基づいて計測対象物の位置ならびに寸法を演算することができるから、３次元計測カメラを駆動する汎用のアクチュエータ内の座標系で特定する場合のようにアクチュエータの座標系での位置精度の影響を受けずに、より高精度な、計測対象物における寸法の計測が可能になる。
【００２８】
請求項７に記載の発明では、計測対象物が有する取付け具の３次元寸法を測定する３次元寸法を計測する装置を用いた３次元寸法を計測する方法であって、３次元寸法を計測する装置が、計測対象物の背景に規則的に並べられた複数のマーカーを有する基準プレートと、少なくとも取付け具と基準プレートを撮影する位置計測カメラと、取付け具の３次元計測に必要な画像を視点位置まで移動して撮影し計測対象物と基準プレートとが写り込んだ画像を撮影する３次元計測カメラと、位置計測カメラで撮影して演算された視点位置に３次元計測カメラを移動させるアクチュエータと、アクチュエータ及び３次元計測カメラを制御する制御装置を用い、基準プレートに対向して配置された位置計測カメラにより基準プレートを撮影し、基準プレートと該基準プレートに置かれた計測対象物とを含んだ画像を撮影する位置計測カメラ撮影ステップ、位置計測カメラ撮影ステップで撮影した画像内のマーカーと計測対象物の位置関係に基づき、計測対象物の基準プレート座標系での２次元座標を演算する２次元座標演算ステップ、２次元座標上において予めティーチング入力された複数の探査領域の位置を特定する探査領域特定ステップ、探査領域内において取付け具の画像認識を行って、３次元計測カメラの撮影位置である複数の視点位置を演算する視点位置演算ステップ、アクチュエータにより３次元計測カメラを視点位置まで駆動し、視点位置から、基準プレートと、該基準プレートを背景とする計測対象物とを撮影する３次元計測カメラ撮影ステップ、複数の視点位置の各々について、３次元計測カメラ撮影ステップで撮影した画像から、計測対象物及びマーカーの３次元計測カメラの位置を基準とした複数の３次元座標系を演算する３次元座標演算ステップ、３次元計測カメラを基準とした複数の３次元座標系から、基準プレートを基準とした世界座標系への座標変換パラメータを演算するパラメータ演算ステップ、パラメータ演算ステップで演算された座標変換パラメータを使用して、３次元計測カメラを基準とした複数の３次元座標系を、世界座標系に統合する座標系統合ステップ、及び座標系統合ステップで統合された世界座標系に基づき、計測対象物の寸法を演算する寸法演算ステップを含むことを特徴としている。
【００２９】
この発明によれば、２次元座標上において、複数の探索領域を演算し、この限られた大きさの探索領域内から複数の視点位置を演算するから、高速な探索演算が可能となる。また、３次元計測カメラを基準とした座標系から、基準プレートを基準とした世界座標系への座標変換パラメータを演算し、精度の高い世界座標系での３次元座標に基づいて計測対象物の位置ならびに寸法を演算することができるから、３次元計測カメラを駆動するアクチュエータ内の座標系で寸法を演算する場合のようにアクチュエータの座標系での位置精度の影響を受けずに、高精度な計測が可能になる。
【００３０】
請求項８に記載の発明では、計測対象物は、表面及び裏面を持ち、この表面及び裏面の縦寸法及び横寸法よりも小さい寸法の奥行き寸法を持ち、かつ奥行き寸法の範囲内に取付け具が設けられた扁平な組付部品であり、基準プレートの平面に表面及び裏面のいずれか一方を重ね合わせて、基準プレートに対向して配置された位置計測カメラで基準プレートと該基準プレート上に載置された計測対象物の両方を含んだ画像を撮影する位置計測カメラ撮影ステップを含むことを特徴としている。
【００３１】
この発明によれば、計測対象物が扁平な組付部品であり、取付け具に関する複数の視点位置が、基準プレート上の２次元位置を特定するだけで、定まるから、アクチュエータとして平面上を高速移動するＸＹプロッタと同様のアクチュエータで３次元計測カメラを視点位置まで駆動すればよいため、アクチュエータの構造をシンプルにすることができ、かつ高速駆動することが可能になる。これにより、高速で３次元寸法を計測できる３次元寸法計測方法が得られる。
【００３２】
請求項９に記載の発明では、探査領域特定ステップは、測定すべき取付け具の位置を含んだ探査領域がティーチング入力されるステップを含み、視点位置演算ステップは、探査領域内の取付け具の形状を画像認識して取付け具の位置に関わる２次元座標位置に基づき、３次元計測カメラの撮影位置である複数の視点位置を演算することを特徴としている。
【００３３】
この発明によれば、ティーチング入力された探査領域内を画像認識して視点位置を探すから、基準プレート上に載置される計測対象物の位置が多少ずれて変位しても、つまり傾斜するとか平行移動するとかしても、限られた探査領域内を画像認識して取付け具の位置を特定し、この特定された取付け具の位置から３次元計測カメラの撮影位置である複数の視点位置を自動的に演算することができる。
【図面の簡単な説明】
【００３４】
【図１】本発明の一実施形態としての３次元寸法を計測する装置を示す摸式的斜視図である。
【図２】図１の３次元寸法を計測する装置における３次元寸法計測の処理手順を示すフローチャートである。
【図３】上記実施形態における計測対象物となるコンデンサの斜視図である。
【図４】上記実施形態における計測対象物のピンの模式拡大図である。
【図５】上記実施形態における計測対象物のブラケットの模式拡大図である。
【図６】上記実施形態における実際のピンの構成を示す構成図である。
【図７】上記実施形態における実際のブラケットの構成を示す構成図である。
【発明を実施するための形態】
【００３５】
（一実施形態）
以下、本発明の一実施形態について図１ないし図７を用いて詳細に説明する。図１は、本発明の一実施形態としての３次元寸法を計測する装置を示す摸式的斜視図である。図２は、図１の３次元寸法を計測する装置における３次元寸法計測の処理手順を示すフローチャートである。
【００３６】
先ず、一実施形態の概要について説明する。この一実施形態では、特許文献２に似た構成を使用するが、図１の基準プレート６の発光マーカー８の点滅パターンを変えるという構成は採用していない。しかし、本発明は、この採用を制限するものではなく、上記点滅パターンを変えても良い。
【００３７】
また、この一実施形態は、計測対象物１の位置に合わせて、３次元計測カメラ３の視点位置を決定している。そのために、基本的には、３次元計測カメラ３とは別の位置計測カメラ２を用いて（後述するように、同じカメラを兼用することもできる）、あらかじめ台座となる基準プレート６上の計測対象物１の位置を撮影して、３次元計測カメラ３で撮影する箇所である複数の視点位置を決定しておく。
【００３８】
この視点位置の決定において、所定の大きさの探査領域を設定することで画像認識時間を短縮し、従来のように、任意の位置を視点位置とするものに比べて、計測精度を高精度化し、かつ計測時間を短縮している。
【００３９】
ちなみに、任意の位置を視点位置とするものでは、基準プレート６のどこかの位置に計測対象物１が設置されていることで、基準プレート６全体を高精度カメラで１回撮影するか、または、細分化された視野で多数回撮影する必要がある。
【００４０】
なお、上記カメラ校正方法における、カメラの校正とは、カメラの設置位置や方向の校正を言い、具体的には、基準プレート６に設置された計測対象物１の３次元計測カメラ３に対する位置関係を、図１の水玉状に描かれたマーカー８の使用によって特定することを言う。
【００４１】
車両用空調装置において圧縮器で加圧された冷媒の熱を放熱する熱交換器をなすコンデンサ（この一実施形態での計測対象物１であり、この一実施形態では、コンデンサのことを計測対象物と言う）は、図３に示すように、熱交換用の空気流が流れる四角形の表面１０と裏面１１を持ち、この四角形の縦寸法、及び横寸法よりも小さい寸法の奥行き寸法（図３上下方向）を持つ比較的扁平な形状である。
【００４２】
この計測対象物１は、図示しない車両側の取付部にピン１２を差込み、他の車両の取付部となるブラケットに自身のブラケット１３の孔１４を重ねて、図示しないボルトで締め付けて固定される。
【００４３】
従って、計測対象物１の取付け具をなすピン１２やブラケット１３の位置を正確に製造することが、その後の車両への組付けにとって重要である。たとえば、ピン１２やブラケット１３等からなる取付け具（以下取付け具１２、１３という）の相互間隔が、車両側とずれていると、車両への組付けに苦慮することとなる。
【００４４】
よって、この一実施形態の３次元寸法を計測する装置を用いて、計測対象物１を検査して、取付け具１２、１３の相互間隔に関して不良品が発見された場合には、不良箇所を修復して計測対象物１を製造することが重要になる。
【００４５】
この一実施形態では、計測対象物１を車両に取付ける取付け具１２、１３の３次元寸法計測において、複数の取付け具１２、１３の位置に合わせて、３次元計測カメラ３の撮影位置である視点位置を決定することで、３次元計測カメラ３での撮影視野限定による３次元計測の高精度化、及び撮影位置限定による高速化を実現している。
【００４６】
以下、図１及び図２基づき、３次元寸法を計測する装置及びその方法の一実施形態を具体的に説明する。図１において、１は３次元形状を有する物体となる計測対象物である。この計測対象物１には、計測対象となる車両への取付け具１２、１３が設けられている。
【００４７】
２は、計測対象物１の全体の位置を計測するために設置された位置計測カメラである。この位置計測カメラ２は、単眼のＣＣＤカメラからなり、基準プレート６全体を一回撮影し、計測対象物１と基準プレート６が写り込んだ１フレームの画像を後述する計算装置７に送信する。この位置計測カメラ２の基準プレート６に対する位置関係は、計算装置７において事前に把握している必要は無い。
【００４８】
この位置計測カメラ２で撮影する計測対象物１の２つのブラケット１３（図３）の孔１４の位置、２つのピン１２の先端の位置は、この３次元寸法を計測する装置の運転者によって計算装置７に教えられる。このための手順について以下に説明する。
【００４９】
先ず、各部の寸法が正確なマスターワーク（この場合は、図示しない標準計測対象物となる標準コンデンサ）を図１の基準プレート６上の決められた位置に載置する。その状態で、位置計測カメラ２で、マスターワークを撮影し、マスターワークの四隅の位置、及びブラケット１３（図３）及びピン１２が存在する探査領域（枠）の位置をティーチング入力する。なお、このティーチング入力は、図示しないキーボードを使用して作業者により行われ、同じ計測対象物でも形状・寸法が変わる品番ごとに行う。
【００５０】
具体的には、測定すべきピン１２及びブラケット１３の位置を基準とした画素の集合領域からなる図３において模式的に示す探査領域ＳＡ１、ＳＡ２、ＳＡ３、ＳＡ４を運転者が計算装置７または後述するロボットコントローラ５にティーチング入力する。
【００５１】
この探査領域ＳＡ１〜ＳＡ４は、後述の画像認識を行って、３次元計測カメラ３が撮影すべき視点位置を探す範囲となる枠である。図１の基準プレート６上に載置される計測対象物１の位置が多少ずれて置かれても、つまり傾斜するとか平行移動するとかしても、計測対象物１となるコンデンサの四隅を画像認識して特定し、この特定された四隅を基に四角形の探査領域ＳＡ１〜ＳＡ４を自動的に特定する。
【００５２】
次に、特定された探査領域ＳＡ１〜ＳＡ４内の位置計測カメラ２（図１）が撮影した画像を画像認識して取付け具１２、１３の形状を探せば、その計測対象物１のピン１２及びブラケット１３の位置を基準とした３次元計測カメラ３の視点位置を特定することができる。
【００５３】
なお、図１の位置計測カメラ２で撮影された画面上の計測対象物１とアクチュエータ４、ひいては３次元計測カメラ３の位置とを、予めキャリブレーション（校正）しておく必要がある。この結果、位置計測カメラ２で撮影した所望の視点位置に、アクチュエータ４で３次元計測カメラ３を移動させることができる。
【００５４】
この校正作業は、周知の方法で行うことができる。この結果、位置計測カメラ２で計測した位置と、３次元計測カメラ３で撮影した位置と、アクチュエータ４の動く位置との対応関係を計算装置７において把握できる。
【００５５】
３は、受動的ステレオ法による３次元計測に必要な画像を撮影するカメラをなす３次元計測カメラであり、計測対象物１に組付けられた図３のピン１２やブラケット１３といった取付け具１２、１３をアクチュエータ４で移動しながら撮影し、計測対象物１と基準プレート６とが写り込んだ画像を計算装置７に送信する。
【００５６】
なお、受動的ステレオ法とは、三角測量の原理を用いて、計測対象物１の３次元形状を計測する手法であり、複数の視点位置から３次元計測カメラ３で計測対象物１を撮影して、３次元計測カメラ３の位置を基準とする３次元位置を計測する手法である。受動的ステレオ法において、視点位置に設けられた２つのカメラからなる３次元計測カメラは、ステレオカメラとも呼ばれる。
【００５７】
４は、指定した視点位置に３次元計測カメラ３を移動するためのアクチュエータであり、多軸直交ロボットからなる。５は、アクチュエータ制御装置となるロボットコントローラである。
【００５８】
このロボットコントローラ５は、計算装置７から送信された計測対象物１の基準プレート座標系での２次元座標に基づき、３次元計測カメラ３の視点位置を演算し、アクチュエータ４の駆動軸を制御する。ここで、基準プレート座標系とは、基準プレート６の任意の位置を基準とした座標系のことである。
【００５９】
また、３次元計測カメラ３の視点位置とは、３次元計測カメラ３で撮影する複数の位置及び撮影する方向を含む情報である。前述のように、特定された探査領域ＳＡ１〜ＳＡ４内を画像認識して探せば、その計測対象物１のピン１２及びブラケット１３の視点位置を特定することができる。
【００６０】
視点位置が特定された後は、計算装置７から送信された計測対象物１の基準プレート座標系での２次元座標に基づき、３次元計測カメラの視点位置をコントローラ５内の座標系で計算する。
【００６１】
この一実施形態では、位置計測カメラ２からの平面情報だけで視点位置を特定する。従って、アクチュエータ４は、平面のＸ軸Ｙ軸上の任意の位置に３次元計測カメラ３を移動させることのできるＸＹプロッタとしての機能があればよい。これは、計測対象物１が扁平形状であり、基準プレート６上に載置されたときに、図１の上下方向であるＺ軸方向に探すべき位置が大きく動かないからである。
【００６２】
６は、計測対象物１が載置され、計測対象物１と共に位置計測カメラ２及び３次元計測カメラ３に撮影される基準プレートである。この基準プレート６上の異なる位置に、それぞれ行列状に設けられた複数のマーカー８（図１）を備える。
【００６３】
この基準プレート６は、図１の水玉模様のように、決められた位置に多数のマーカー８を構成する孔が空けられた不透光性のプレート部（図１では簡略化して図示しているが黒く表面が塗装され、複数の孔の開いたガラスプレートから構成されている）と、この不透光性のプレート部の裏面に設置された光源となる図示しない発光ダイオードを有する。
【００６４】
この発光ダイオードの数は、マーカー８を構成する孔の数より少ないが、各孔の照度がなるべく均一になるように並べられている。このプレート部の孔が発光することにより、マーカー８は発光マーカーとして機能している。
【００６５】
基準プレート６の不透光性の上記プレート部の上面には、図示しない黒いアルミニウムの多数の桟が並べられ、この桟上に計測対象物１が置かれ、金属の計測対象物１によって基準プレート６のガラス製のプレート部に傷がつかないようにされている。
【００６６】
プレート部に設けられた多数の孔からなるマーカー８は、計測対象物１の裏面が上記桟上に載置されることにより、一部が隠れるが、マーカー８の位置には規則性があるため、位置計測カメラ２及び３次元計測カメラ３から見える画像から発光マーカーの位置は、特定可能である。
【００６７】
計算装置７は、位置計測カメラ２が撮影した画像に基づき、この画像内の計測対象物１の基準プレート座標系での２次元座標を求めるための２次元計算を行う。また、計算装置７は、３次元計測カメラ３が撮影した画像に基づき、視点位置毎の３次元計測カメラ基準座標系での３次元座標を求める３次元計算を行う。ここで３次元計測カメラ基準座標系とは、３次元計測カメラの位置を基準とした座標系である。また、計算装置７は、３次元計測カメラ基準座標系から所定の世界座標系への座標変換パラメータを計算するパラメータ計算を行う。
【００６８】
次に、計算装置７は、各視点位置から３次元計測カメラ３が撮影した画像から、３次元計測カメラ基準座標系での各視点位置毎の３次元座標を、パラメータ計算で求めた各視点位置についての座標変換パラメータを用いて、共通の世界座標系に変換し座標系を統合する。このような統合計算は周知であり、特許文献２にも開示されている。
【００６９】
次に、３次元寸法計測の処理手順を示すフローチャートである図２を参照して説明する。計測対象物１をなすコンデンサは、図３のように、表面１０及び裏面１１を持ち、この表面１０及び裏面１１の縦寸法及び横寸法よりも小さい寸法の奥行き寸法（図３上下方向）を持ち、かつ奥行き寸法の範囲内に取付け具１２、１３が設けられた扁平な車両への組付部品である。
【００７０】
図２において、制御が開始されると、ステップＳ１では、基準プレート６上方に配置された図１の位置計測カメラ２で基準プレート６全体を撮影し、基準プレート６とその上に置かれた計測対象物１の両方を含んだ画像を撮影する。なお、この撮影前に基準プレート６の平面上に計測対象物１の裏面側が載置され、計測対象物１の表面側が位置計測カメラ２側になるように載置されている。
【００７１】
ステップＳ２では、ステップＳ１で撮影した画像内の基準プレート６上の複数のマーカー８と計測対象物１の位置関係に基づき、計測対象物１の基準プレート座標系での２次元座標を計算する。よって、ステップＳ２は２次元座標演算手段を構成している。そして、予め２次元座標上において、ティーチング入力されている４箇所の探査領域ＳＡ１〜ＳＡ４（図３）の位置を特定する。
【００７２】
従って、ステップＳ２は、位置計測カメラ撮影ステップで撮影した画像内の基準プレート６上のマーカー８と計測対象物１の位置関係に基づき、計測対象物１の基準プレート座標系での２次元座標を演算する２次元座標演算ステップと、２次元座標上において複数の探査領域ＳＡ１〜ＳＡ４の位置を特定する探査領域特定ステップとを実行している。
【００７３】
ステップＳ３では、ステップＳ２で計算した計測対象物１の４箇所の探査領域ＳＡ１〜ＳＡ４に関わる２次元座標位置に基づき、３次元計測カメラ３の撮影位置である視点位置を計算する。このステップＳ３は、３次元計測カメラ３の視点位置を決定するために、取付け具１２，１３の位置を基準とした予め決定された複数の探査領域ＳＡ１〜ＳＡ４内の画像認識を実行する探査手段を構成する。
【００７４】
ステップＳ４及びステップＳ５では、ステップＳ３で計算したＮ（自然数、この場合は４）箇所の視点位置に、順に３次元計測カメラ３をアクチュエータ４で移動させながら、各視点位置から、基準プレート６と、その上に置かれた計測対象物１の両方を含んだ画像を撮影し、撮像された画像データを蓄積する。
【００７５】
ステップＳ６では、Ｎ箇所の視点位置の各々について、ステップＳ５で撮影した３次元計測カメラ３の画像から、計測対象物１及び基準プレート６上の各マーカー８の３次元座標を受動ステレオ法のアルゴリズムに従って計算する。
【００７６】
このステップＳ６は３次元座標演算手段を構成している。なお、各マーカー８の３次元座標とは、図１の水玉模様の白い点の３次元的位置であり、ガラス製のプレート部の光を透過する孔の中心位置を表している。
【００７７】
２台のカメラを使用して三角測量の原理で３次元の位置を特定する受動ステレオ法のアルゴリズムは周知なので説明は省略する。この計算で得られる各マーカー８等の３次元座標は、３次元計測カメラ３を基準位置とする３次元座標系での座標である。
【００７８】
ステップＳ７では、Ｎ箇所の視点位置の各々について、ステップＳ６で計算した各マーカー８の３次元座標に基づき、３次元計測カメラ３を基準とした座標系から、基準プレート６を基準とした世界座標系への変換パラメータを計算する。
【００７９】
３次元計測カメラ３を基準とした座標系から、基準プレート６を基準とした世界座標系への変換パラメータを計算する理由は、アクチュエータ４の分解能が比較的低いためである。
【００８０】
３次元計測カメラ３が動いた位置関係を特定するアクチュエータ４内の座標系で取付け具１２、１３の寸法を特定してもよいが、このアクチュエータ４、つまり、ロボットの座標系での位置精度が比較的低いため、基準プレート６を基準とした世界座標系への変換を行っている。
【００８１】
今回は、４箇所の位置を３次元計測カメラ３で撮影しているから、３次元計測カメラ３を基準とした座標系は４つの座標系からなる。この４つの座標系を、基準プレート６を基準とした単一の世界座標系に統合している。
【００８２】
具体的には、ステップＳ７で４箇所の視点位置毎の変換パラメータが求められると、ステップＳ８では、各視点位置から見た計測対象物１の３次元計測カメラ基準座標系での３次元形状を、それぞれ対応する変換パラメータを用いて、共通の世界座標系へと座標変換する。
【００８３】
次に、ステップＳ９では、Ｎ個の視点位置での撮影ならびに計算が完了したか否かを確認し、完了したならばステップＳ１０に進み、完了していない場合は、ステップＳ4に戻り、次の視点位置に移動する。
【００８４】
ステップＳ１０では、ステップＳ８で求めた計測対象物１の世界座標系での３次元座標に基づき、計測対象物１の取付け具１２、１３相互間の距離（寸法）を計算する。具体的には、計測対象物１のブラケット１３の取付け孔１４相互間の寸法、及びピン１２中心軸相互間の寸法を世界座標系での３次元座標に基づき特定する。
【００８５】
図４は計測対象物１のピン１２の模式拡大図であり、図５は計測対象物１のブラケット１３の模式拡大図である。計測対象物１のピン１２及びブラケット１３の位置は、３次元的に把握され、図４のピン１２の中心軸Ｊ１２が通るピン１２の円形側面の中心位置Ｐ１２と、図５のブラケット１３表面の平面上の孔の中心位置Ｐ１３との３次元の位置が世界座標系で特定される。
【００８６】
図６は、探査領域ＳＡ２内の実際のピンの構成を示す図面であり、図６の（ａ）は、図１の位置計測カメラ２から見たピン１２の平面図であり、図６の（ｂ）はピン１２の側面図である。
【００８７】
このように、ピン１２が計測対象物１の表面１０と裏面１１の中間より一方にずれて位置している場合においても、３次元計測カメラ３によって、正確にピン１２の中心軸Ｊ１２が通るピン１２の円形側面の中心位置Ｐ１２を測定できる。矢印Ｙ６は、３次元計測カメラ３の視点位置の方向を示しており、ピン１２の円形側面の中心位置Ｐ１２が撮影されるように、斜め方向から３次元計測カメラ３が撮影する。
【００８８】
図７は、探査領域ＳＡ４内の実際のブラケット１３の構成を示す図面であり、図７の（ａ）はブラケット１３の平面図であり、図７の（ｂ）はブラケット１３の側面図である。このように、ブラケット１３が計測対象物１の表面１０と裏面１１の中間より一方に偏移して位置している場合や曲げ部Ｃ１３が存在する場合においても、３次元計測カメラ３によって、正確にブラケット１３表面の平面上の孔の中心位置Ｐ１３の３次元の位置が世界座標系で特定できる。
【００８９】
これにより、車両への計測対象物１の組み付けにおいて、ピン１２の中心位置Ｐ１２とブラケット１３の孔の中心位置Ｐ１３とを規制できるため、車両組み付けにあたり、取付け具１２、１３の寸法が合わないという弊害をなくすことができる。
【００９０】
また、取付け具１２、１３の寸法が正規のものと異なる場合は、車両への計測対象物１の組付け時に組付け不良が生じるため、不良品を予め排除することができる。これにより従来は治具を用いて測定していた大量生産品の取付け具相互間の寸法が、非接触で３次元的に特定され、検査の高速化と高精度化が同時に達成できる。
【００９１】
（その他の実施形態）
本発明は上述した実施形態にのみ限定されるものではなく、次のように変形または拡張することができる。例えば、上記一実施形態では、３次元寸法を計測する装置を受動的ステレオ法に基づいて構成したが、受動的ステレオ法の代わりに、レーザパターンによって空間をくさび形の領域に分割し、 それぞれの領域をスリット光平面とみなして距離を計測する空間コード化法、または特許文献１に記載された光切断法等を用いて３次元計測装置を構成することができる。
【００９２】
また、上記一実施形態では、基準プレートとして、四角形の平板を用いたが、平板の形状は四角形でなくてもよい。また、平板ではなく、凹凸がある立体形状でもよい。また、計測対象物を設置する台として使用するものに限らず、例えば、基準プレートを計測対象物の横に立てて計測対象物の背景物としてもよい。
【００９３】
また、アクチュエータは、多軸直交ロボットに限らず、例えば、垂直多関節ロボットを使用してもよい。この垂直多関節ロボットを使用した場合は、任意の動きが可能になるが、その分、動作が遅くなる傾向がある。また、ロボット以外の専用アクチュエータであってもよい。
【００９４】
また、上記一実施形態では、位置計測カメラと３次元計測カメラとは別のカメラを使用したが、位置計測用カメラとして、３次元計測カメラを使用してもよい。このカメラを兼用する場合、２台のカメラからなる３次元計測カメラのうちの１台のカメラのみを位置計測用カメラとして使用し、３次元計測カメラの２台のカメラの回転角度を調整するカメラ軸を垂直多関節ロボット等で回転してカメラの向きを調整する必要がある。
【００９５】
また、計測対象物１をコンデンサ（凝縮器）としたが、これは、車両用空調装置のエバポレータ（蒸発器）やラジエータ等の車両用熱交換器であってもよいし、ブラケットまたはピン等の取付け具を持ったその他の製品であってもよい。
【００９６】
なお、アクチュエータとして３次元計測カメラのＸ軸Ｙ軸の位置だけを特定する簡単な構造のものを用いて、作動を高速化しするためには、位置計測用カメラと３次元計測カメラとを別物とし、平板状の基準プレートに載置される計測対象物は、位置計測用カメラの撮影画面上で視野位置が特定できる比較的扁平な形状が、コストと高速化の点で好ましい。
【００９７】
また、本発明では、計算装置とロボットのコントローラとを総合して制御装置と呼んだが、計算装置とロボットのコントローラとを統合して一つの装置とすることもできる。また、マーカーは発光マーカーである必要はない。単なる黒丸パターンまたは白丸パターンやその他の容易に識別できる形状の集合であっても良い。
【００９８】
また、３次元計測カメラ基準座標系は、３次元計測カメラ自体を直接的に基準としなくても、３次元計測カメラと一体に移動する部位を基準とした座標系であれば良い。また、視点位置の探査は、ロボットコントローラ内で行ったが、計算装置内で行っても良い。
【符号の説明】
【００９９】
１  計測対象物
２  位置計測カメラ
３  ３次元計測カメラ
４  多軸直交ロボットからなるアクチュエータ
５  ロボットコントローラ
５、７  制御装置
６  基準プレート
７  計算装置
８  マーカー
１０  計測対象物の表面
１１  計測対象物の裏面
１２  ピン
１２、１３  取付け具
１３  ブラケット
ＳＡ１〜ＳＡ４  視点位置を探すための探査領域
【図１】
0005561109.tif 000002
【図２】
0005561109.tif 000003
【図３】
0005561109.tif 000004
【図４】
0005561109.tif 000005
【図５】
0005561109.tif 000006
【図６】
0005561109.tif 000007
【図７】
0005561109.tif 000008