(57)【要約】      （修正有）【課題】カメラ視野範囲外の部品等に対して設計データを校正することができる校正装置、校正方法および校正プログラムを提供する。【解決手段】校正装置は、設計データに従って撮像装置１０の視野範囲に配置され、鏡面を有する第１ターゲット７０と、設計データに従って撮像装置の視野範囲外に配置され、鏡面を介して撮像装置によって撮像される第２ターゲット８０と、撮像装置によって得られる画像に基づいて、第２ターゲットに係る情報を推定する推定部５４と、推定部によって推定された情報に基づいて、設計データを校正する校正部６２と、を備える。【選択図】図４
2015232464.tif 000002
【特許請求の範囲】
【請求項１】
設計データに従って撮像装置の視野範囲に配置され、鏡面を有する第１ターゲットと、
前記設計データに従って前記撮像装置の視野範囲外に配置され、前記鏡面を介して前記撮像装置によって撮像される第２ターゲットと、
前記撮像装置によって得られる画像に基づいて、前記第２ターゲットに係る情報を推定する推定部と、
前記推定部によって推定された情報に基づいて、前記設計データを校正する校正部と、を備えることを特徴とする校正装置。
【請求項２】
前記推定部は、前記撮像装置によって得られる画像に基づいて前記第１ターゲットの位置および姿勢を推定し、当該位置と前記第２ターゲットの虚像とから前記第２ターゲットの位置を推定することを特徴とする請求項１記載の校正装置。
【請求項３】
前記第１ターゲットの鏡面には、拡散面のマークが付され、
前記撮像装置によって撮像される前記第２ターゲットのいずれかの面は、拡散面であり、当該拡散面にマークが付され、
前記推定部は、前記撮像装置によって得られる画像に含まれる前記第１ターゲットのマークと前記第２ターゲットのマークとに基づいて、前記第２ターゲットのマークの位置を推定することを特徴とする請求項１または２記載の校正装置。
【請求項４】
前記第１ターゲットの鏡面は、マークが付された拡散面に貼り付けられたハーフミラーの表面であることを特徴とする請求項３記載の校正装置。
【請求項５】
前記第２ターゲットのマークは、前記第１ターゲットのマークよりも大きいことを特徴とする請求項３または４記載の校正装置。
【請求項６】
設計データに従って撮像装置の視野範囲に配置され、鏡面を有する第１ターゲットと、前記設計データに従って前記撮像装置の視野範囲外に配置された第２ターゲットとを前記鏡面を利用して撮像し、
前記撮像によって得られた画像に基づいて、前記第２ターゲットに係る情報を推定し、
推定された前記情報に基づいて、前記設計データを校正する、ことを特徴とする校正方法。
【請求項７】
設計データに従って撮像装置の視野範囲に配置され、鏡面を有する第１ターゲットと、前記設計データに従って前記撮像装置の視野範囲外に配置された第２ターゲットとを前記鏡面を利用して撮像する処理と、
前記撮像によって得られた画像に基づいて、前記第２ターゲットに係る情報を推定する処理と、
推定された前記情報に基づいて、前記設計データを校正する処理と、をコンピュータに実行させることを特徴とする校正プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本件は、校正装置、校正方法および校正プログラムに関する。
【背景技術】
【０００２】
近年、ものづくり分野におけるデジタル化が進み、設計データをデザインや設計工程のみならず試作、製造、販売・サービス等の工程にも活用し、ＰＬＭ(Product Life cycle Management)全体の効率化、省力化等を図る動きが進んでいる。例えば、設計データに従って検査装置や組み立て装置の仮想装置をＰＣ上で生成して現実装置のティーチング作業をオフラインで行い、現実装置の動作をシミュレーションすることで、現実装置の運用効率化などを行うことができる。
【０００３】
仮想装置を用いて現実装置のオフラインティーチングや動作シミュレーションを行う際に、仮想装置と現実装置との差異を少なくすることが好ましい。ここで、仮想装置は設計データと相違なく生成することが可能であるが、現実装置は必ずしも設計データと一致するようには製作されてはおらず、設計データとの誤差が存在する。したがって、設計データに従って仮想装置を生成した後は、現実装置との差異が解消するように仮想装置側の設計データを修正する作業（以下、仮想装置キャリブレーションと称する）を行うことが望ましい。カメラを備える装置に関するカメラキャリブレーションの手法については、非特許文献１で開示されている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Z. Zhang. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、非特許文献１の技術では、カメラの視野の範囲外に配置された部品等についてはキャリブレーションを実施することができない。
【０００６】
１つの側面では、本件は、カメラ視野範囲外の部品等に対して設計データを校正することができる校正装置、校正方法および校正プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
１つの態様では、校正装置は、設計データに従って撮像装置の視野範囲に配置され、鏡面を有する第１ターゲットと、前記設計データに従って前記撮像装置の視野範囲外に配置され、前記鏡面を介して前記撮像装置によって撮像される第２ターゲットと、前記撮像装置によって得られる画像に基づいて、前記第２ターゲットに係る情報を推定する推定部と、前記推定部によって推定された情報に基づいて、前記設計データを校正する校正部と、を備える。
【０００８】
１つの態様では、校正方法は、設計データに従って撮像装置の視野範囲に配置され、鏡面を有する第１ターゲットと、前記設計データに従って前記撮像装置の視野範囲外に配置された第２ターゲットとを前記鏡面を利用して撮像し、前記撮像によって得られた画像に基づいて、前記第２ターゲットに係る情報を推定し、推定された前記情報に基づいて、前記設計データを校正する。
【０００９】
１つの態様では、校正プログラムは、設計データに従って撮像装置の視野範囲に配置され、鏡面を有する第１ターゲットと、前記設計データに従って前記撮像装置の視野範囲外に配置された第２ターゲットとを前記鏡面を利用して撮像する処理と、前記撮像によって得られた画像に基づいて、前記第２ターゲットに係る情報を推定する処理と、推定された前記情報に基づいて、前記設計データを校正する処理と、をコンピュータに実行させる。
【発明の効果】
【００１０】
カメラ視野範囲外の部品等に対して設計データを校正することができる。
【図面の簡単な説明】
【００１１】
【図１】キャリブレーションターゲットを例示する図である。
【図２】比較例に係る仮想装置キャリブレーションについて例示する図である。
【図３】部品の配置を例示する図である。
【図４】実施例１に係るシミュレーション装置の全体構成を例示する図である。
【図５】（ａ）および（ｂ）は第１ターゲットおよび第２ターゲットを例示する斜視図である。
【図６】シミュレーション装置を用いたキャリブレーションの原理について説明する図である。
【図７】キャリブレーションの詳細について説明するフローチャートの一例である。
【図８】第１ターゲットおよび第２ターゲットの他の例を例示する斜視図である。
【図９】キャリブレーションの原理について説明する図である。
【図１０】キャリブレーションの原理について説明する図である。
【図１１】第1ターゲットの別例である。
【図１２】ハードウェア構成を説明するためのブロック図である。
【発明を実施するための形態】
【００１２】
実施例の説明に先立って、現実装置に対して仮想装置を生成するシミュレーション装置に対するキャリブレーション（比較例）の概要について説明する。
【００１３】
現実装置は、カメラを備える装置である。例えば、現実装置は、ＣＣＤカメラ、ＣＭＯＳカメラなどで部品の位置・姿勢を検出し、その情報を元に部品の組み立てを行う組み立て装置または部品の欠陥などを検査・測定する検査/計測装置などである。この現実装置の設計データに従って生成された仮想装置のキャリブレーションは、例えば、カメラとキャリブレーションターゲットとを用いて行う。キャリブレーションターゲットとは、位置や寸法が既知のマークが印刷あるいは配置されたものである。例えば、図１で例示するように、キャリブレーションターゲット１０１は、位置関係が既知のマーク１０２が付された面を有している。以下にカメラを用いた仮想装置キャリブレーションの手順を示す。
【００１４】
図２は、比較例に係る仮想装置キャリブレーションについて例示する図である。図２で例示するように、現実装置は、カメラ１０３、ステージ機構１０４などを備える。仮想装置キャリブレーションの際には、キャリブレーションターゲット１０１を、マーク１０２が付された面がカメラ１０３と対向するようにステージ機構１０４に載置する。次に、ステージ機構１０４によってキャリブレーションターゲット１０１の姿勢を複数に変化させながら、マーク１０２をカメラ１０３で撮像する。
【００１５】
次に、複数の姿勢においてカメラ１０３による撮像によって得られた画像１０５におけるマーク１０２の２次元座標を求め、得られた座標からカメラ１０３の内部パラメータ（焦点距離、主点位置など）を推定する。例えば、非特許文献１の技術を用いることができる。次に、カメラ１０３の内部パラメータと、複数姿勢におけるマーク１０２の２次元座標とから、カメラ１０３の座標を基準としたマーク１０２の３次元座標ｐｍｎを推定する。ここで「ｍ」は、撮像した姿勢の数であり、「ｎ」は、キャリブレーションに用いたマーク１０２の数である。
【００１６】
次に、パーソナルコンピュータ（ＰＣ）１０６において、現実装置の設計データ（設計値、動作仕様等）に従って、仮想キャリブレーションターゲット１０７、仮想カメラ１０８および仮想ステージ機構１０９を仮想的に生成する。仮想キャリブレーションターゲット１０７は、設計データに従ってキャリブレーションターゲット１０１を仮想的に生成したものである。仮想カメラ１０８は、設計データに従ってカメラ１０３を仮想的に生成したものである。また、仮想ステージ機構１０９は、設計データに従ってステージ機構１０４を仮想的に生成したものである。次に、仮想ステージ機構１０９によって仮想キャリブレーションターゲット１０７の姿勢を複数に変化させながら、マークを仮想カメラ１０８で撮像する。次に、複数の姿勢における仮想画像１１０におけるマークの２次元座標を求め、得られた座標から仮想カメラ１０８の座標を基準としたマークの３次元座標Ｐｍｎを推定する。
【００１７】
次に、仮想装置キャリブレーションを行う。具体的には、現実装置におけるマークの３次元座標ｐｍｎと仮想装置におけるマークの３次元座標Ｐｍｎとの差異が小さくなるように設計データを校正する。例えば、以下の関数が最小となるようなキャリブレーションパラメータｃを最適化処理により求め、設計データに反映させる。なお、キャリブレーションパラメータｃは、例えば、機構系ベース座標や各機構系の原点位置など現実装置と仮想装置との差異を校正するために必要なパラメータ群である。
【数１】
2015232464.tif 000003
【００１８】
しかしながら、この方式では、カメラ１０３の視野範囲外の部品について、キャリブレーションを実施することができない。例えば、図３で例示するように、ステージ機構１０４に光を照射する照明用部品１１１は、カメラ１０３の視野範囲外に配置されているため、キャリブレーションの対象とすることができない。そこで、キャリブレーション用のカメラを複数設置することが考えられる。しかしながら、キャリブレーション用の専用カメラを追加する必要がある、複数台のカメラを設置するスペースが無い場合がある、複数のカメラ間のキャリブレーションを行う必要がある、といった問題が生じる。そこで、以下の実施例では、カメラ視野範囲外の部品等に対してキャリブレーションを実施することができる校正装置、校正方法および校正プログラムについて説明する。
【実施例１】
【００１９】
図４は、実施例１に係るシミュレーション装置１００の全体構成を例示する図である。図４で例示するように、シミュレーション装置１００は、カメラ１０、ステージ機構２０、照明３０、ステージ機構４０、ＰＣ５０、ＰＣ６０などを備える。カメラ１０、ステージ機構２０，４０および照明３０は、現実装置として機能し、設計データ（設計値、動作仕様等）に従って作成されている。
【００２０】
カメラ１０および照明３０は、例えば、組み立て、検査、計測などを行うための機器である。ステージ機構２０，４０は、例えば、サンプルを設置、移動等させるための機器である。ステージ機構２０は、カメラ１０の視野範囲内に設置されている。照明３０およびステージ機構４０は、カメラ１０の視野範囲外に設置されている。本実施例においては、照明３０をステージ機構４０により動かすことができる。
【００２１】
ＰＣ５０は、現実装置の各部を制御する制御部としての機能を有し、カメラ制御部５１、機構制御部５２、画像処理制御部５３、マーク座標推定部５４として機能する。ＰＣ６０は、仮想装置を生成および制御する制御部としての機能を有し、最適化計算部６１および仮想装置校正部６２として機能する。シミュレーション装置１００においては、ＰＣ６０を用いて仮想装置を操作することによって、シミュレーションを行うことができる。その一方で、仮想装置キャリブレーションを行う際には、シミュレーション装置１００は、校正装置として機能する。
【００２２】
シミュレーション装置１００を校正装置として用いる場合、ステージ機構２０に第１ターゲット７０が載置され、ステージ機構４０に第２ターゲット８０が載置される。ステージ機構２０，４０が設計データに従って作成されているため、第１ターゲット７０は、設計データに従ってステージ機構２０に配置され、第２ターゲット８０は、設計データに従ってステージ機構４０に配置されることになる。第１ターゲット７０および第２ターゲット８０は、両方ともキャリブレーションターゲットである。また、ＰＣ６０は、設計データに従って、仮想装置を生成する。ＰＣ６０は、カメラ１０、ステージ機構２０，４０、照明３０、第１ターゲット７０および第２ターゲット８０に対応させて、仮想カメラ１０ａ、仮想ステージ機構２０ａ，４０ａ、仮想照明３０ａ、仮想第１ターゲット７０ａおよび仮想第２ターゲット８０ａを生成する。
【００２３】
図５（ａ）は、第１ターゲット７０を例示する斜視図である。図５（ｂ）は、第２ターゲット８０を例示する斜視図である。図５（ａ）および図５（ｂ）で例示するように、本実施例においては、２種類のキャリブレーションターゲットを使用する。第１ターゲット７０は、鏡面７１上に、拡散面のマーク７２が複数付された構成を有する。第２ターゲット８０は、拡散面８１上に、拡散面のマーク８２が複数付された構成を有する。
【００２４】
図６は、シミュレーション装置１００を用いたキャリブレーションの原理について説明する図である。図６で例示するように、第１ターゲット７０をステージ機構２０上に載置し、照明３０を介して第２ターゲット８０をステージ機構４０上に載置する。また、第２ターゲット８０が第１ターゲット７０の鏡面７１で反射してカメラ１０で撮像できるようにステージ機構２０，４０を制御する。次に、得られた画像９０からマーク７２とマーク８２とを分離抽出し、マーク７２の３次元座標を推定する。また、カメラ１０の光軸上のマーク８２の虚像８０ｂの３次元座標を推定する。マーク７２の３次元座標から第１ターゲット７０の位置・姿勢（法線）を算出する。第１ターゲット７０の位置・姿勢とマーク８２の虚像の３次元座標から第２ターゲット８０に係る情報を推定する。例えば、第２ターゲット８０に係る情報として、マーク８２の３次元座標、第２ターゲット８０の姿勢などが挙げられる。次に、第２ターゲット８０に係る情報に関して、現実装置と仮想装置との差異が小さくなるように、現実装置の設計データ（仮想装置を生成するための設計データ）を校正する。
【００２５】
図７は、以上のキャリブレーションの詳細について説明するフローチャートの一例である。機構制御部５２は、第２ターゲット８０が第１ターゲット７０の鏡面７１で反射してカメラ１０で撮像できるように、ステージ機構２０およびステージ機構４０を制御する（ステップＳ１）。次に、カメラ制御部５１は、第１ターゲット７０および第２ターゲット８０が撮像されるように、カメラ１０を制御する（ステップＳ２）。それにより、第１ターゲットの実像および第２ターゲットの鏡像が撮像される。
【００２６】
次に、画像処理制御部５３は、ステップＳ２で得られた画像から、第１ターゲット７０のマーク７２と第２ターゲット８０のマーク８２とを別々に分離・抽出する処理を行う（ステップＳ３）。なお、マーク７２とマーク８２とを容易に分離できるように、マーク７２の色とマーク８２の色とを異ならせておいてもよい。
【００２７】
次に、マーク座標推定部５４は、抽出されたマーク７２の２次元座標からマーク７２の３次元座標を推定することで、カメラ１０の位置を基準とする第１ターゲット７０の位置および姿勢（法線ベクトル）を推定する（ステップＳ４）。次に、マーク座標推定部５４は、抽出されたマーク８２の２次元座標からカメラ１０の位置を基準とする虚像３次元座標ｑ´ｎを推定する（ステップＳ５）。「ｎ」はマーク８２の数である。カメラキャリブレーションでは、マークの設計データ（マークサイズや相対位置）が必要であるが、本実施例では第２ターゲット８０の鏡像を扱うため、正規の第２ターゲット８０の設計とは左右が反転している。そのため本実施例においては、正規の設計データを左右反転させたデータを一時的に生成してカメラキャリブレーションを行う。
【００２８】
次に、マーク座標推定部５４は、ステップＳ４およびステップＳ５で得られた情報から、カメラ１０の位置を基準とする第２ターゲット８０のマーク８２の３次元座標ｑｎを推定する（ステップＳ６）。次に、最適化計算部６１は、３次元座標ｑｎと、仮想装置におけるマーク８２の３次元座標Ｑｎとを含む下記の関数が最小となるように、キャリブレーションパラメータｃを最適化処理により求める（ステップＳ７）。次に、仮想装置校正部６２は、得られたキャリブレーションパラメータｃを用いて設計データを校正する（ステップＳ８）。
【数２】
2015232464.tif 000004
【００２９】
本実施例によれば、カメラの視野範囲外の第２ターゲットを、視野範囲内の第1ターゲットの鏡面を介して撮像することから、カメラ視野範囲外の部品等に対して設計データを校正することができる。また、撮像によって得られる画像に基づいて第1ターゲットの位置および姿勢を推定し、当該位置および姿勢と第２ターゲットの虚像とから第２ターゲットの３次元座標を推定することから、高い精度で第２ターゲットの３次元座標を推定することができる。第１ターゲットの鏡面に拡散面のマークを付し、第２ターゲットの拡散面にマークを付し、画像におけるこれらのマークを用いることから、高い精度で第２ターゲットの３次元座標を推定することができる。
【００３０】
なお、上記例では、複数の姿勢における画像を取得していないが、第１ターゲット７０および第２ターゲット８０の両方がカメラ１０で撮像できる範囲で、第１ターゲット７０および第２ターゲット８０の姿勢を変動させてもよい。この場合においては、現実装置と仮想装置との差異をより小さくすることができる。また、ＰＣ５０およびＰＣ６０として、１台の装置を用いてもよい。
【００３１】
（変形例）
第１ターゲット７０および第２ターゲット８０を同じ大きさにした場合、レンズパースペクティブの影響によりカメラ１０より遠い位置にある第２ターゲット８０の鏡面像は第１ターゲット７０より小さく映る。また、第１ターゲット７０の付近でピントが合うように焦点位置が調整されていれば、第２ターゲット８０は、ボケた画像となるおそれがある。小さく映り、さらにボケの影響が加わると、第２ターゲット８０のマーク８２の２次元座標検出が非常に困難になる。
【００３２】
そこで、図８で例示するように、第２ターゲット８０を第１ターゲット７０よりも大きくすることで、マーク８２をマーク７２よりも大きくすることが好ましい。この場合、図９で例示するように、カメラ１０と虚像８０ｂとの距離がカメラ１０と第１ターゲット７０との距離より大きくても、図１０で例示するように、画像９０において、マーク７２，８２を同じ程度の大きさにすることができる。あるいは、ボケの影響を考慮してマーク７２よりもマーク８２が大きく見えるようにマークサイズを設定してもよい。なお、この場合には、第１ターゲットと第２ターゲットの設計データをそれぞれ用意し、それぞれのターゲットのキャリブレーションに応じて使用する設計データを適宜切り替える。
【００３３】
図１１は、第１ターゲット７０の別例である。第１ターゲット７０の鏡面７１に拡散面のマーク７２を付した場合、マーク７２上では第２ターゲット８０が写らない。そこで、図１１のように、マーク７２が付された拡散面７３にハーフミラー７４を結合するように第１ターゲット７０を作成すると、第１ターゲット７０および第２ターゲット８０が混合された形で撮像される。この場合、両者のマークが互いに遮られることがないため、マーク位置の検出が高精度に行える。ただし、マーク７２およびマーク８２の色は、同系の色とならないようにすることが好ましい。
【００３４】
図１２は、カメラ制御部５１、機構制御部５２、画像処理制御部５３、マーク座標推定部５４、最適化計算部６１および仮想装置校正部６２のハードウェア構成を説明するためのブロック図である。図１２を参照して、カメラ制御部５１、機構制御部５２、画像処理制御部５３、マーク座標推定部５４、最適化計算部６１および仮想装置校正部６２は、ＣＰＵ２０１、ＲＡＭ２０２、記憶装置２０３、表示装置２０４等を備える。
【００３５】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０１は、中央演算処理装置である。ＣＰＵ２０１は、１以上のコアを含む。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０２は、ＣＰＵ２０１が実行するプログラム、ＣＰＵ２０１が処理するデータなどを一時的に記憶する揮発性メモリである。記憶装置２０３は、不揮発性記憶装置である。記憶装置２０３として、例えば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリなどのソリッド・ステート・ドライブ（ＳＳＤ）、ハードディスクドライブに駆動されるハードディスクなどを用いることができる。記憶装置２０３は、校正プログラムを記憶している。表示装置２０４は、液晶ディスプレイ、エレクトロルミネッセンスパネルなどであり、仮想装置、校正結果などを表示する。上記例ではカメラ制御部５１、機構制御部５２、画像処理制御部５３、マーク座標推定部５４、最適化計算部６１および仮想装置校正部６２は、プログラムの実行によって実現されているが、専用の回路等のハードウェアを用いてもよい。
【００３６】
なお、上記例において、カメラ１０が撮像装置の一例である。マーク座標推定部５４が、第２ターゲットの３次元座標を推定する推定部として機能し、仮想装置構成部６２が、推定部によって推定された３次元座標に基づいて設計データを校正する校正部として機能する。
【００３７】
以上、本発明の実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００３８】
１０  カメラ
２０，４０  ステージ機構
３０  照明
５１  カメラ制御部
５２  機構制御部
５３  画像処理制御部
５４  マーク座標推定部
６１  最適化計算部
６２  仮想装置校正部
７０  第１ターゲット
７１  鏡面
７２，８２  マーク
８０  第２ターゲット
８１  拡散面
【図１】
2015232464.tif 000005
【図２】
2015232464.tif 000006
【図３】
2015232464.tif 000007
【図４】
2015232464.tif 000008
【図５】
2015232464.tif 000009
【図６】
2015232464.tif 000010
【図７】
2015232464.tif 000011
【図８】
2015232464.tif 000012
【図９】
2015232464.tif 000013
【図１０】
2015232464.tif 000014
【図１１】
2015232464.tif 000015
【図１２】
2015232464.tif 000016