(57)【要約】      （修正有）【課題】被検物の形状を高精度に計測する計測装置を提供する。【解決手段】計測装置は、照明部１，２と撮像部３と処理部４とを備える。照明部は、パターン形状を有する第１波長領域の第１光で被検物５を照明し、第１波長領域とは異なる第２波長領域の第２光で被検物を同時に照明する。撮像部は、軸上色収差を有する結像光学系６と、被検物の第１波長領域の像と被検物の第２波長領域の像とを分離する波長分離フィルタ８と、２つの像を撮影する撮像素子７とを含む。処理部は、撮像部から出力された被検物の第１波長領域の第１画像および第２波長領域の第２画像のうちデフォーカスが大きな一方の画像をデコンボリューション処理し、デコンボリューション処理された一方の画像と、第１画像および第２画像のうちデコンボリューション処理されなかった他方の画像とを用いて、形状の情報を取得する。【選択図】図３
2016170122.tif 000002
【特許請求の範囲】
【請求項１】
被検物の形状を計測する計測装置であって、
パターン形状を有する第１波長領域の第１光で前記被検物を照明し、前記第１波長領域とは異なる第２波長領域の第２光で前記被検物を同時に照明する照明部と、
前記第１波長領域と前記第２波長領域との間で軸上色収差を有する結像光学系と、前記被検物の前記第１波長領域の像と前記被検物の前記第２波長領域の像とを分離する波長分離フィルタと、前記２つの像を撮影する撮像素子とを含む撮像部と、
前記撮像部から出力された前記被検物の前記第１波長領域の第１画像および前記第２波長領域の第２画像を処理する処理部と、
を備え、
前記処理部は、前記第１画像および前記第２画像のうちデフォーカスが大きな一方の画像をデコンボリューション処理し、該デコンボリューション処理された一方の画像と、前記第１画像および前記第２画像のうちデコンボリューション処理されなかった他方の画像とを用いて、前記形状の情報を取得することを特徴とする計測装置。
【請求項２】
前記結像光学系の軸上色収差をΔＦとし、前記計測装置の被写界深度をＤＯＦとし、前記結像光学系の近軸倍率をβとするとき、ΔＦは、ΔＦ＞ＤＯＦ×β２の関係を満たすことを特徴とする請求項１に記載の計測装置。
【請求項３】
前記照明部は、前記第１光で前記被検物を照明する第１照明部と、前記第２光で前記被検物を照明する第２照明部と、を含むことを特徴とする請求項１または２のいずれか１項に記載の計測装置。
【請求項４】
前記撮像素子は、前記結像光学系の前記第１波長領域の焦点位置からの距離が前記結像光学系の前記第２波長領域の焦点位置からの距離よりも大きいように配置され、
前記処理部は、前記第１画像をデコンボリューション処理し、デコンボリューション処理された前記第１画像を用いて前記被検物の三次元形状の情報を取得し、デコンボリューション処理されなかった前記第２画像を用いて前記被検物の二次元形状の情報を取得することを特徴とすることを特徴とする請求項１ないし３のいずれか１項に記載の計測装置。
【請求項５】
前記撮像素子は、前記結像光学系の前記第２波長領域の焦点位置に配置されることを特徴とする請求項４に記載の計測装置。
【請求項６】
前記処理部は、前記第２画像を微分処理し、微分処理された前記第２画像を用いて前記二次元形状の情報を取得することを特徴とすることを特徴とする請求項４または５に記載の計測装置。
【請求項７】
前記パターン形状は、周期構造を有することを特徴とする請求項４ないし６のいずれか１項に記載の計測装置。
【請求項８】
前記処理部は、前記第１画像における前記パターン形状の周波数成分をデコンボリューション処理することを特徴とする請求項７に記載の計測装置。
【請求項９】
前記第２照明部は、前記被検物をリング照明、同軸落射照明またはドーム照明することを特徴とする請求項３に記載の計測装置。
【請求項１０】
前記第１波長領域の光は、青の波長帯および緑の波長帯の光を含み、前記第２波長領域の光は、赤の波長帯の光を含み、波長分離フィルタは、ベイヤ配列型のカラーフィルタであることを特徴とする請求項１ないし９のいずれか１項に記載の計測装置。
【請求項１１】
前記処理部は、前記一方の画像をフーリエ変換し、該フーリエ変換された画像を周波数ごとに回復処理し、該回復処理された画像を逆フーリエ変換することによってデコンボリューション処理することを特徴とする請求項１ないし１０のいずれか１項に記載の計測装置。
【請求項１２】
前記処理部は、デコンボリューションフィルタまたは前記一方の画像のエッジを回復するフィルタを含むことを特徴とする請求項１ないし１０のいずれか１項に記載の計測装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被検物の形状を計測する計測装置に関する。
【背景技術】
【０００２】
近年、工業製品の組立のようなこれまで人間が行ってきた複雑なタスクをロボットが行うようになりつつある。ロボットは、ハンド等のエンドエフェクタによって部品を把持して組立を行う。ロボットによりこのような組立を実現するためには、把持対象部品（ワーク）の位置姿勢を計測することが必要となる。特許文献１には、濃淡画像から得られる計測情報（エッジデータ）と、距離画像から得られる計測情報（距離点群データ）を同時に利用したモデルフィッティングによりワークの位置姿勢を計測する方法が開示されている。特許文献１の計測方法では、濃淡画像上の誤差と距離画像上の誤差がそれぞれ別々の確率分布に従うものとして、最尤推定によって同時利用して位置姿勢を推定する。そのため、高精度かつ初期条件が悪い場合でもより安定的に位置姿勢を推定することが可能となる。
【０００３】
組立工程を高速化するためにロボットを移動させながらワークの位置姿勢を計測する場合、濃淡画像と距離画像の視野ずれを保証するために濃淡画像と距離画像を同時計測しなければならない。この課題を解決する方法として、特許文献２で開示された方法が知られている。特許文献２の計測方法では、波長が異なる濃淡画像用照明部と距離画像用照明部によりワークを同時に照明し、波長分離プリズムによりそれぞれの波長に分割した後、濃淡画像用センサと距離画像用センサを用いて両画像を同時に撮像する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許５３９３３１８号公報
【特許文献２】特許５１２２７２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献２で開示された計測方法では、濃淡画像用と距離画像用でそれぞれセンサが必要となるため、以下のような問題点があった。
（１）複数のセンサを必要とするのでコストが増加する。
（２）複数のセンサを配置する必要があるので計測装置のサイズが大型化する。
（３）濃淡画像と距離画像を別々のセンサで計測するので、センサ間のアライメント誤差や発熱などの温度変動に対する精度安定性に課題がある。
【０００６】
上記問題を解決するために、カラーカメラを用いて一つのカメラで濃淡画像と距離画像を同時計測してワークの位置姿勢を計測する方法が考えられる。カラーカメラは各画素表面に形成されたカラーフィルタによって分光が可能である。よって、濃淡画像の取得と距離画像の取得に異なる波長を適用する。例えば、濃淡画像の取得に６５０ｎｍの波長を、距離画像の取得に５００ｎｍの波長をそれぞれ使用するアクティブステレオ法を適用する。距離画像の取得に５００ｎｍの波長を使用することで、青（４５０ｎｍ）に感度を持つ画素と緑（５５０ｎｍ）に感度を持つ画素の両方の画素で距離画像としてパターン投影画像が取得できる。
【０００７】
一つのカラーカメラを用いて濃淡画像と距離画像を同時に取得する場合、カラーカメラ上のカラーフィルタによる分光特性が重要となる。図１にカラーカメラ上のカラーフィルタの各波長の分光感度の例を示す。それぞれのフィルタの分光感度は広帯域な特性を持つため、単一波長の光束を考えるとＲＧＢのいずれかの画素で検出されるわけでは無く、異なる感度でそれぞれの画素で検出されることになる。一般的にはカラーカメラ上のカラーフィルタ厚は厚膜化することが困難である。このため、光線入射角度が大きくなるにつれ分光性能を向上させることが困難となる。通常、カラーカメラ上に入射する光束は収束光となっているため、光束内光線は部分的にある入射角度を持つ。このように、濃淡画像とパターン投影画像を異なる波長で撮像しても分光感度に応じて双方の画像が混ざり合って検出されてしまうことになる。濃淡画像とパターン画像の双方の画像が混じり合うことをクロストークという。
【０００８】
濃淡画像と距離画像が混在しクロストークが発生すると、パターンをエッジと誤って認識することで計測精度に影響が生じる。図２に濃淡画像とパターン投影画像が混在しクロストークが発生した概略図を示す。図２の（Ａ）の実線は赤波長に対応した画素で取得した理想的な濃淡画像の断面図を示す。この画像に対してエッジ検出処理を行うことで図中の□で示した正しいエッジ位置が求まる。一方、図２の（Ｂ）の点線は、赤波長に対応した画素で濃淡画像と距離画像のクロストークが生じた画像の断面図を示す。この画像に対してエッジ検出処理を行うと濃淡画像に上に距離画像が写り込むことで、複数の誤ったエッジが認識されてしまう（図２中の○で示した位置）。このため、誤ったエッジ位置がモデルフィッティング時に影響し大きな位置姿勢誤差が生じてしまう。
【０００９】
本発明は、被検物の形状を高精度に計測する計測装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、被検物の形状を計測する計測装置であって、パターン形状を有する第１波長領域の第１光で前記被検物を照明し、前記第１波長領域とは異なる第２波長領域の第２光で前記被検物を同時に照明する照明部と、前記第１波長領域と前記第２波長領域との間で軸上色収差を有する結像光学系と、前記被検物の前記第１波長領域の像と前記被検物の前記第２波長領域の像とを分離する波長分離フィルタと、前記２つの像を撮影する撮像素子とを含む撮像部と、前記撮像部から出力された前記被検物の前記第１波長領域の第１画像および前記第２波長領域の第２画像を処理する処理部と、を備え、前記処理部は、前記第１画像および前記第２画像のうちデフォーカスが大きな一方の画像をデコンボリューション処理し、該デコンボリューション処理された一方の画像と、前記第１画像および前記第２画像のうちデコンボリューション処理されなかった他方の画像とを用いて、前記形状の情報を取得することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、被検物の形状を高精度に計測する計測装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】波長分割素子の分光感度特性を示した図。
【図２】濃淡画像の断面概略図。
【図３】計測装置の概略図。
【図４】本発明における波長分離フィルタの配列の一例を示した図。
【図５】本発明における距離画像の一部の一例を示した図。
【図６】本発明における濃淡画像の一部の一例を示した図。
【図７】本発明における取得した濃淡画像の断面概略図。
【図８】微分フィルタとエッジ位置の関係を説明する図。
【発明を実施するための形態】
【００１３】
以下に、本発明の計測装置の実施形態を添付の図面に基づいて詳細に説明する。図３は、本発明の被検物の三次元形状および二次元形状を計測し、被検物の位置姿勢を計測する計測装置を示す。図３で示される通り、計測装置は、三次元形状画像（距離画像、第１画像）用の照明部（第１照明部）１、二次元形状画像（濃淡画像、第２画像）用の照明部（第２照明部）２、撮像部３、処理部４を含む。本実施形態では、距離画像用の照明部と濃淡画像用の照明部とを別々に構成した。しかし、波長分離フィルタを用いて距離画像用の照明部と濃淡画像用の照明部とを一つの照明部に構成することもできる。
【００１４】
計測装置は、撮像部３により三次元形状画像（距離画像）と二次元形状画像（濃淡画像）を同時に撮像し、処理部４により二つの画像を利用してモデルフィッティングすることにより、ワーク（被検物）５の位置姿勢を計測する。なお、モデルフィッティングは、事前に作成されたワーク５のＣＡＤモデルに対して行うものであり、ワーク５の三次元形状が既知であることを前提とする。
【００１５】
以下に、距離画像の取得と濃淡画像の取得の概要をそれぞれ述べる。まず、距離画像の取得について説明する。距離画像は、被検物の表面上の点の三次元情報を示すパターン投影画像であり、各画素が奥行きの情報をもつ。距離画像の取得では、第１照明部１からパターン形状を有する第１波長領域の第１光でワーク５を照明し、第１光により照明されたワーク５の第１波長領域の像を、第１照明部１と異なる方向から撮像部３により撮影する。処理部４は、撮像部３から出力されたワーク５の第１波長領域の画像(第１画像)から三角測量の原理に基づいて距離情報（三次元形状の情報）を算出する。本実施形態では、ワーク５に投影されるパターンは、一枚の第１波長領域の画像(第１画像)から距離情報を算出できるパターンとする。
【００１６】
第１照明部１の照明光学系１０は、光源９から射出された光束でマスク１１を均一に照明する。マスク１１は、ワーク５に投影するパターン形状を描画したものであり、例えば、ガラス基板をクロムメッキすることによりパターン形状が形成されている。第１光のパターン形状は、計測方式により様々である。第１光のパターン形状は、例えば、ドットやスリット（ライン）である。第１光のパターン形状がドットである場合、第１光は、単一のドットであっても、ラインパターンのライン上に座標が識別可能な複数のドットが配置されたドットラインパターンであってもよい。また、第１光のパターン形状がラインである場合、第１光は、１つのラインからなるスリット光であっても、ラインの識別のために個々のライン幅を変化させたライン幅変調パターンであってもよい。投影光学系１２は、マスク１１に描画されたパターン形状の像をワーク５上に結像させる。なお、本実施形態では、第１照明部１内に固定されたマスク１１を用いてパターン形状の第１光を投影する方法に関して述べた。しかし、本発明はこれに限定されるものではなく、デジタルミラーデバイス（ＤＭＤ）を用いたプロジェクタや液晶プロジェクタを用いてパターンを投影しても構わない。また、ＤＭＤを切り替えたパターンを変えながら計測しても構わない。
【００１７】
続いて、第１波長領域とは異なる第２波長領域の第２光で照明して濃淡画像（第２画像）を取得することについて説明する。濃淡画像は、撮像部（カメラ）３で撮像したグレースケール画像であり、本実施形態では、濃淡画像から物体の輪郭や稜線に相当するエッジを検出し、エッジを画像特徴として位置姿勢の算出に用いる。濃淡画像を取得するために、濃淡画像用の第２照明部２により均一に照明されたワーク５を、撮像部３により撮像する。第２照明部２は、複数の光源１３をリング状に配列したリング照明となっており、リング照明によりワーク５を均一に照明し影が極力できないようにすることが可能となっている。なお、照明部２による照明は、リング照明に限定されるものではなく、同軸落射照明やドーム照明等を採用しても構わない。処理部４は、取得された濃淡画像に対してエッジ検出処理を行うことによってワーク５のエッジを算出する。エッジ検出アルゴリズムは、Ｃａｎｎｙ法やその他様々な方法があるが、本発明ではどの方式でも構わない。
【００１８】
撮像部３の説明を行う。撮像部３は、距離画像と濃淡画像を同時に撮像する。撮像部３は、結像光学系６とイメージセンサー（撮像素子）７と波長分離フィルタ８とを含む。結像光学系６は、ワーク５に投影されたパターンをイメージセンサー７に結像するための光学系である。本実施形態では、第２照明部２と第１照明部１は、互いに異なる２つの波長領域でワーク５を照明し、撮像部３は、イメージセンサー７の各画素に青・緑・赤のいずれかの一つの色を割り当てる波長分離フィルタ８を備える。したがって、本実施形態の撮像部３は、距離画像と濃淡画像を波長領域で分離し、２つの波長領域の画素の画像と１つの波長領域の画素の画像に分離する。つまり、距離画像と濃淡画像の２つの画像をカラーイメージセンサー７の波長分割機能を用いて一つのイメージセンサー７で同時に取得する。イメージセンサー７は、距離画像を撮像するための素子であり、例えば、ＣＭＯＳセンサ、ＣＣＤセンサなどを用いることができる。
【００１９】
イメージセンサー７はカラーイメージセンサーであり、波長分離フィルタ８が、各画素に対して、青・緑・赤のいずれかの一つの色を割り当てる。波長分離フィルタ８として、例えば、図４に示すベイヤ配列型のカラーフィルタを使用する。ベイヤ配列型のカラーフィルタは、青：緑：赤の比率が１：２：１の図４で示されるような配列をもつ。図４において、Ｂは青の波長帯の光、Ｇは緑の波長帯の光、Ｒは赤の波長帯の光を透過することを示す。本発明はこれに限定されるものではなく、他の画素配置でも構わない。例えば、カラーフィルタは各画素に対して青、赤のいずれか一つの色を割り当て、青：赤が１：１の配列であっても構わない。
【００２０】
距離画像と濃淡画像を同時に計測するために、２つの画像をＢ・Ｇ・Ｒの３つの波長の画素に割り当てる必要がある。情報量をできるだけ欠損させないためには、パターン投影画像と濃淡画像との一方に２つの波長の画素、他方に残り一つの波長の画素を割り当てることができる。本実施形態では、パターン投影画像の撮像に青波長と緑波長対応の画素を用い、濃淡画像の撮像に赤波長対応の画素を用いる。
【００２１】
青波長と緑波長対応の画素のみを用いて画像を取得した場合、撮像画像（距離画像算出用のパターン投影画像）は、図５で示されたような赤波長対応の画素が欠落した画像として取得される。一方、赤波長対応の画素のみを用いて画像を取得した場合、撮像画像（濃淡画像）は、図６で示されたような青波長と緑波長対応の画素が欠落した画像として取得される。そのため、本実施形態においては、欠落個所を周辺の画素の輝度値を用いて補間処理（デモザイキング処理）することにより元の解像度と同等の画像を生成する。それぞれの画像から位置姿勢を計算する手法は、従来例と同様に実施可能である。
【００２２】
本発明のポイントは、結像光学系６に第１波長領域と第２波長領域との間で軸上色収差を持つ光学系を適用し、濃淡画像を取得する波長の焦点位置またはその近傍にカラーイメージセンサー７を配置することである。この結果、距離画像は、結像光学系６の軸上色収差に起因してデフォーカスが大きなすなわちぼけた画像として取得される。濃淡画像と距離画像が混在しクロストークが発生した概略図を図７に示す。図７の（Ａ）の実線は、図２の（Ａ）の実線と同じく、濃淡画像と距離画像のクロストークが無い場合の濃淡画像の断面を示す。図７の（Ｂ）の点線は、濃淡画像と距離画像のクロストークが生じた場合の濃淡画像の断面を示す。図２の（Ｂ）の点線に対して、図７の（Ｂ）の点線は、距離画像が焦点位置からずれているため、ぼけた像として写り込んでいる。
図７の（Ｂ）で示される画像に対してエッジ検出処理を行うとき、閾値判定を行うことで正しいエッジ位置のみの検出が可能となる。ここで、閾値判定とは、例えば、取得した濃淡画像に微分フィルタをかけた場合の極値の位置がエッジ位置に相当するが、この極値に閾値を設定して閾値以下の極値はエッジとみなさない判定を行うことである。図８に図２と図７の各々の画像に微分フィルタをかけた像の断面図を示す。図８の（Ａ）は、図２、図７の（Ａ）の実線の画像を微分処理した画像の図である。微分処理された画像の極値とエッジ位置が一致しているのが分かる。
【００２３】
図８の（Ｂ）は、図２の（Ｂ）の点線の画像を微分処理した画像の図である。微分処理された画像には、正しいエッジ位置部分以外にも写り込んだ距離画像のパターン像に起因して極値が発生している。図８の（Ｃ）は、図７の（Ｂ）の点線の画像を微分処理した画像の図である。図８の（Ｂ）の画像と比較して図８の（Ｃ）の画像は、正しいエッジ位置で画像微分の極値が発生している一方で、距離画像起因の偽エッジ位置では距離画像がぼけているので、偽エッジ位置でも極値をもつものの、極値は非常に小さくなる。よって、閾値判定でよって容易に偽エッジの判断が可能となる。なお、図８の（Ｂ）の距離画像起因の偽エッジを除くために極値の閾値をあまりに大きく設定すると、正しいエッジ位置まで除かれてしまう。
【００２４】
距離画像は、焦点位置から外れたカラーイメージセンサー７により取得されるため、ぼけた画像となる。このぼけた距離画像に関しては、処理部４において像回復を行ことでシャープな像を得る。像回復とは例えばデコンボリューション処理を行うことである。デコンボリューション処理の例として、取得した距離画像をフーリエ変換し各周波数に回復処理を行い、逆フーリエ変換を行う手法がある。また、単純にデコンボリューションフィルタをかける手法や、エッジ回復フィルタをかける手法もある。しかし、デコンボリューション処理は、特にこれらの手法に限定するものではない。
【００２５】
計測装置においては、位置計測精度を保証する被写界深度の範囲がある。このことから、本実施形態では、例えば、結像光学系６の持つ軸上色収差が次式１を満たすようにする。ここで、ΔＦは結像光学系６の第１光と第２光の焦点位置の差、つまり、第１波長領域と第２波長領域との間の軸上色収差である。ＤＯＦは、計測装置が保障する被写界深度、βは結像光学系６の近軸倍率を表す。
ΔＦ＞ＤＯＦ×β２・・・・（１）
結像光学系６の持つ軸上色収差ΔＦが式１の関係を満たすことで、濃淡画像の被写界深度の範囲から、距離画像の画像コントラストが最も高くなる焦点位置が外れることになる。また、距離画像は周期構造を有するパターンの像とすることができる。距離画像が周期的なパターン画像の場合、焦点からずれぼけると均一強度になる。よって、濃淡画像に写り込みぼけた距離画像は、均一強度となり、偽エッジになりにくくなる。一方、距離画像が非周期的なパターン像の場合、焦点からずれるとパターン密度が高いところは強度が高く、パターン密度が低いところは強度が低くなる。したがって、距離画像が非周期的なパターン像の場合には、強度ムラが偽エッジとなりうる場合がある。
【００２６】
更に、実際には、カラーフィルタの分光特性に起因して距離画像に濃淡画像が写り込んでしまう。この対策として、距離画像の像回復を行う場合、距離画像の特定の周波数成分のみを回復することができる。ここでの特定の周波数成分は距離画像のパターンのもつ基本周波数でありパターンピッチ相当の周波数のことである。このように、軸上色収差を持つ結像光学系６を適用し濃淡画像と距離画像とが異なる焦点位置となるように構成することで、カラーイメージセンサー７のカラーフィルタの分光特性に起因したエッジ検出の誤差の低減が可能となる。
【００２７】
本実施形態では、距離画像をデフォーカスが大きくなるようにした。しかし、距離画像ではなく濃淡画像の方をデフォーカスが大きくなるようにして２つの画像のクロストークを低減させることもできる。
【符号の説明】
【００２８】
１：第１照明部。２：第２照明部。３：撮像部。４：処理部。５：ワーク（被検物）。６：結像光学系。７：イメージセンサー（撮像素子）。８：カラーフィルタ（波長分離フィルタ）。
【図１】
2016170122.tif 000003
【図２】
2016170122.tif 000004
【図３】
2016170122.tif 000005
【図４】
2016170122.tif 000006
【図５】
2016170122.tif 000007
【図６】
2016170122.tif 000008
【図７】
2016170122.tif 000009
【図８】
2016170122.tif 000010