(57)【要約】      （修正有）【課題】計測精度、コスト、サイズ又は安定性の点で有利な計測装置を提供する。【解決手段】被計測物の位置及び姿勢の少なくとも一方を計測する計測装置で、第１波長のパターン光で被計測物を照明する第１照明部と、第２波長の光で被計測物を照明する第２照明部と、赤の波長帯に分光感度のピークを有する第１画素、緑の波長帯に分光感度のピークを有する第２画素、青の波長帯に分光感度のピークを有する第３画素からなるＲＧＢ画素部を含み、第１波長のパターン光に対応する第１画像及び第２波長の光に対応する第２画像を取得する撮像部と、第１画像及び第２画像に基づいて、被計測物の位置及び姿勢の少なくとも一方を計測する。第１画素及び第３画素のうち、一方の画素で第１波長のパターン光が検出され、他方の画素で第２波長の光が検出され、第２画素で第１波長のパターン光又は第２波長の光が検出されるように、第１波長及び第２波長が設定される計測装置。【選択図】図１
2017173259.tif 000002
【特許請求の範囲】
【請求項１】
被計測物の位置及び姿勢の少なくとも一方を計測する計測装置であって、
第１波長のパターン光で前記被計測物を照明する第１照明部と、
前記第１波長とは異なる第２波長の光で前記被計測物を照明する第２照明部と、
赤の波長帯に分光感度のピークを有する第１画素、緑の波長帯に分光感度のピークを有する第２画素、青の波長帯に分光感度のピークを有する第３画素からなるＲＧＢ画素部を含み、前記第１波長のパターン光に対応する第１画像及び前記第２波長の光に対応する第２画像を取得する撮像部と、
前記第１画像及び前記第２画像に基づいて、前記被計測物の位置及び姿勢の少なくとも一方の情報を求める処理を行う処理部と、を有し、
前記第１画素及び前記第３画素のうち、一方の画素で前記第１波長のパターン光が検出され、他方の画素で前記第２波長の光が検出され、前記第２画素で前記第１波長のパターン光又は前記第２波長の光が検出されるように、前記第１波長及び前記第２波長が設定されていることを特徴とする計測装置。
【請求項２】
前記第１波長をλ１、前記第２波長をλ２、前記第１画素の第１分光感度特性における前記第１波長の分光感度をＴｒ（λ１）、前記第２画素の第２分光感度特性における前記第１波長の分光感度をＴｇ（λ１）、前記第３画素の第３分光感度特性における前記第１波長の分光感度をＴｂ（λ１）、前記第１分光感度特性における前記第２波長の分光感度をＴｒ（λ２）、前記第２分光感度特性における前記第２波長の分光感度をＴｇ（λ２）、前記第３分光感度特性における前記第２波長の分光感度をＴｂ（λ２）とすると、
2017173259.tif 000008
で示される第１関係式、
2017173259.tif 000009
で示される第２関係式、
2017173259.tif 000010
で示される第３関係式、及び、
2017173259.tif 000011
で示される第４関係式
のいずれか１つを満たすように、前記第１波長及び前記第２波長が設定されていることを特徴とする請求項１に記載の計測装置。
【請求項３】
前記第１関係式を満たす場合、前記第１波長は、前記第３分光感度特性における前記第１波長の分光感度と前記第２分光感度特性における前記第１波長の分光感度とが同じとなる波長の０．８倍から１．２倍の範囲の波長に設定されることを特徴とする請求項２に記載の計測装置。
【請求項４】
前記第２関係式を満たす場合、前記第２波長は、前記第３分光感度特性における前記第２波長の分光感度と前記第２分光感度特性における前記第２波長の分光感度とが同じとなる波長の０．８倍から１．２倍の範囲の波長に設定されることを特徴とする請求項２に記載の計測装置。
【請求項５】
前記第３関係式を満たす場合、前記第１波長は、前記第２分光感度特性における前記第１波長の分光感度と前記第１分光感度特性における前記第１波長の分光感度とが同じとなる波長の０．８倍から１．２倍の範囲の波長に設定されることを特徴とする請求項２に記載の計測装置。
【請求項６】
前記第４関係式を満たす場合、前記第２波長は、前記第２分光感度特性における前記第２波長の分光感度と前記第１分光感度特性における前記第２波長の分光感度とが同じとなる波長の０．８倍から１．２倍の範囲の波長に設定されることを特徴とする請求項２に記載の計測装置。
【請求項７】
前記第１関係式を満たす場合、前記処理部は、前記第３分光感度特性における前記第１波長の分光感度と前記第２分光感度特性における前記第１波長の分光感度との比に基づいて、前記第３画素の輝度値又は前記第２画素の輝度値を補正することを特徴とする請求項２に記載の計測装置。
【請求項８】
前記第２関係式を満たす場合、前記処理部は、前記第３分光感度特性における前記第２波長の感度と前記第２分光感度特性における前記第２波長の感度との比に基づいて、前記第３画素の輝度値又は前記第２画素の輝度値を補正することを特徴とする請求項２に記載の計測装置。
【請求項９】
前記第３関係式を満たす場合、前記処理部は、前記第２分光感度特性における前記第１波長の感度と前記第１分光感度特性における前記第１波長の感度との比に基づいて、前記第２画素の輝度値又は前記第１画素の輝度値を補正することを特徴とする請求項２に記載の計測装置。
【請求項１０】
前記第４関係式を満たす場合、前記処理部は、前記第２分光感度特性における前記第２波長の感度と前記第１分光感度特性における前記第２波長の感度との比に基づいて、前記第２画素の輝度値又は前記第１画素の輝度値を補正することを特徴とする請求項２に記載の計測装置。
【請求項１１】
前記処理部は、前記第１波長のパターン光及び前記第２波長の光のうちの一方の光が入射すべき注目画素の輝度値を、前記注目画素の周囲に位置する、前記第１波長のパターン光及び前記第２波長の光のうちの他方の光が入射すべき画素の輝度値、及び、前記ＲＧＢ画素部の分光感度特性に基づいて補正することを特徴とする請求項２に記載の計測装置。
【請求項１２】
前記第１画像は、前記第１波長のパターン光が入射した有効画素と、前記第１波長のパターン光が入射していない欠落画素とを含み、
前記第２画像は、前記第２波長の光が入射した有効画素と、前記第２波長の光が入射していない欠落画素とを含み、
前記処理部は、前記第１画像及び前記第２画像のそれぞれについて、前記欠落画素を含む行及び列の少なくとも一方に配列された画素群を削除して新たな第１画像及び第２画像を生成することを特徴とする請求項１１に記載の計測装置。
【請求項１３】
前記ＲＧＢ画素部は、ベイヤ配列型のカラーフィルタを含むことを特徴とする請求項１乃至１２のうちいずれか１項に記載の計測装置。
【請求項１４】
前記ＲＧＢ画素部は、前記第１波長のパターン光及び前記第２波長の光の入射方向に３つの画素が重ねられた３層構造を有することを特徴とする請求項１乃至１２のうちいずれか１項に記載の計測装置。
【請求項１５】
請求項１乃至１４のうちいずれか１項に記載の計測装置と、
前記計測装置によって計測された被計測物の位置及び姿勢の少なくとも一方に基づいて、前記被計測物を保持して移動させるロボットと、
を有することを特徴とするシステム。
【請求項１６】
請求項１５に記載の計測装置を用いて計測された被計測物をロボットで保持して移動させる工程と、
前記工程で移動させた前記被計測物を加工又は組立する工程と、
を有することを特徴とする物品の製造方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、計測装置、システム及び物品の製造方法に関する。
【背景技術】
【０００２】
近年、工業製品の組立工程などのこれまで人間が行ってきた複雑なタスクをロボットが代わりに行うようになってきている。ロボットはハンドなどのエンドエフェクタによって部品を把持して組立を行うが、このような組立を実現するためには、把持対象の物品（ワーク）の位置や姿勢を計測する必要がある。
【０００３】
例えば、濃淡画像から得られる計測情報（エッジデータ）と、距離画像から得られる計測情報（距離点群データ）とを利用したモデルフィッティングによって、ワークの位置や姿勢を計測する技術が提案されている（特許文献１参照）。かかる技術では、濃淡画像における誤差と距離画像における誤差とがそれぞれ別々の確率分布に従うものとして、最尤推定を用いてワークの位置や姿勢を推定している。従って、初期条件が悪い場合であっても、ワークの位置や姿勢を安定的に推定することが可能となる。
【０００４】
ここで、組立工程を高速化するために、ロボットを移動させながらワークの位置や姿勢を計測する場合を考える。この場合、濃淡画像と距離画像との視野ずれを保証するために、濃淡画像と距離画像とを同時に取得しなければならない。そこで、濃淡画像用照明部と距離画像用照明部とを用いて、波長が異なる光でワークを同時に照明し、波長分離プリズムでそれぞれの波長の光に分離して、濃淡画像用センサと距離画像用センサとで両画像を同時に撮像する技術が提案されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第５３９３３１８号公報
【特許文献２】特許第５１２２７２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献２に開示された技術では、濃淡画像と距離画像とでそれぞれセンサが必要となるため、以下のような問題（１）、（２）及び（３）が生じてしまう。
（１）複数のセンサが必要となるため、装置コストが増大する。
（２）複数のセンサを配置する必要があるため、装置サイズが大型化する。
（３）濃淡画像と距離画像とを別々のセンサで取得するため、照明部やセンサの発熱などの温度変動に対する安定性に課題がある。
【０００７】
本発明は、このような従来技術の課題に鑑みてなされ、計測精度、コスト、サイズ又は安定性の点で有利な計測装置を提供することを例示的目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の一側面としての計測装置は、被計測物の位置及び姿勢の少なくとも一方を計測する計測装置であって、第１波長のパターン光で前記被計測物を照明する第１照明部と、前記第１波長とは異なる第２波長の光で前記被計測物を照明する第２照明部と、赤の波長帯に分光感度のピークを有する第１画素、緑の波長帯に分光感度のピークを有する第２画素、青の波長帯に分光感度のピークを有する第３画素からなるＲＧＢ画素部を含み、前記第１波長のパターン光に対応する第１画像及び前記第２波長の光に対応する第２画像を取得する撮像部と、前記第１画像及び前記第２画像に基づいて、前記被計測物の位置及び姿勢の少なくとも一方の情報を求める処理を行う処理部と、を有し、前記第１画素及び前記第３画素のうち、一方の画素で前記第１波長のパターン光が検出され、他方の画素で前記第２波長の光が検出され、前記第２画素で前記第１波長のパターン光又は前記第２波長の光が検出されるように、前記第１波長及び前記第２波長が設定されていることを特徴とする。
【０００９】
本発明の更なる目的又はその他の側面は、以下、添付図面を参照して説明される好ましい実施形態によって明らかにされるであろう。
【発明の効果】
【００１０】
本発明によれば、例えば、計測精度、コスト、サイズ又は安定性の点で有利な計測装置を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一側面としての計測装置の構成を示す概略図である。
【図２】図１に示す計測装置における第１照明部のマスクの構成の一例を示す図である。
【図３】ベイヤ配列型のカラーフィルタの構成の一例を示す図である。
【図４】ベイヤ配列型のカラーフィルタの各波長の分光感度特性の一例を示す図である。
【図５】図１に示す計測装置で取得される距離画像の一例を示す図である。
【図６】図１に示す計測装置で取得される濃淡画像の一例を示す図である。
【図７】クロストークノイズを補正するための処理の一例を説明するための図である。
【図８】クロストークノイズを補正するための処理の一例を説明するための図である。
【図９】クロストークノイズを補正するための処理の一例を説明するための図である。
【図１０】クロストークノイズを補正するための処理の一例を説明するための図である。
【図１１】３層構造のカラーイメージセンサーの構成を示す図である。
【図１２】図１に示す計測装置と、ロボットとを有するシステムの構成を示す図である。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照して、本発明の好適な実施の形態について説明する。なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【００１３】
＜第１実施形態＞
図１は、本発明の一側面としての計測装置１００の構成を示す概略図である。計測装置１００は、パターン投影法を用いて、例えば、被計測物であるワーク５の位置及び姿勢の少なくとも一方を計測する。計測装置１００は、図１に示すように、距離画像用の第１照明部１と、濃淡画像用の第２照明部２と、撮像部３と、処理部４とを有する。処理部４は、後述するように、撮像部３で取得された距離画像と濃淡画像とに基づいて、ワーク５の３次元情報やエッジなどの形状の情報を求める。
【００１４】
計測装置１００は、距離画像計測部と濃淡画像計測部とによって距離画像と濃淡画像とを同時に取得し、距離画像及び濃淡画像の２つの画像を利用してモデルフィッティングすることによって、ワーク５の位置や姿勢を計測する装置である。なお、モデルフィッティングは、予め作成されたワーク５のＣＡＤモデルに対して行われるものであって、ワーク５の３次元形状が既知であることを前提とする。
【００１５】
まず、計測装置１００の主要部である、距離画像を取得する距離画像計測部及び濃淡画像を取得する濃淡画像計測部のそれぞれについて説明する。
【００１６】
距離画像計測部について説明する。距離画像とは、被計測物であるワーク５（の表面上の点）の３次元の情報を示すものであって、各画素が奥行きの情報を含む画像である。距離画像計測部は、第１照明部１、撮像部３及び処理部４によって構成される。第１照明部１は、第１波長のパターン光（パターンを有する光）でワーク５を照明する。撮像部３は、第１照明部１からワーク５に投影されたパターン（パターン光）を、第１照明部１と異なる方向から撮像して距離画像を取得する。処理部４は、撮像部３で取得された距離画像から、三角測量の原理に基づいて、ワーク５の３次元情報を求める。また、距離画像からワーク５の３次元情報を求める方式は、三角測量方式に限定されるものではなく、光の飛行時間を利用するＴｉｍｅ−ｏｆ−ｆｌｉｇｈｔ方式であってもよい。
【００１７】
距離画像計測部において、第１照明部１からワーク５に投影するパターンは、１つの距離画像からワーク５の３次元情報を求めることが可能なパターンである。これは、計測装置１００は、ロボットを移動させながらワーク５の位置や姿勢を計測することを想定した装置であるからである。複数の距離画像からワーク５の３次元情報を求める計測方式では、ロボットの移動によって各距離画像の視野ずれが生じ、３次元情報を高精度に求めることができない。１つの距離画像から３次元情報を求めることが可能なパターンとしては、図２に示すようなドットによって符号化されたドットラインパターンが知られている。ワーク５に投影されたドットパターンのドットの位置関係に基づいて、ラインパターンと距離画像との対応付けを行うことで、１つの距離画像からワーク５の３次元情報を求めることができる。なお、本実施形態では、第１照明部１からワーク５に投影するパターンの具体例として、ドットラインパターンを説明した。但し、第１照明部１からワーク５に投影するパターンは、ドットラインパターンに限定されるものではなく、１つの距離画像からワーク５の３次元情報を求めることができるパターンであればよい。
【００１８】
第１照明部１は、本実施形態では、光源９と、照明光学系１０と、マスク１１と、投影光学系１２とを含む。照明光学系１０は、光源９から射出された第１波長の光でマスク１１を均一に照明する、例えば、ケーラー照明するための光学系である。マスク１１には、例えば、ガラス基板をクロムめっきすることによって、ワーク５に投影するパターンが形成されている。本実施形態では、マスク１１には、図２に示すように、ドットラインパターンが形成されている。投影光学系１２は、マスク１１に形成されたパターンの像をワーク５に投影するための光学系である。
【００１９】
このように、第１照明部１は、照明光学系１０によって、光源９からの光でマスク１１を均一に照明し、投影光学系１２によって、マスク１１のパターンからの光をワーク５に結像する。本実施形態では、マスク１１を用いてパターンをワーク５に投影する方式（固定マスクパターン方式）について説明したが、これに限定されるものではない。例えば、ＤＬＰ（Ｄｉｇｉｔａｌ  Ｌｉｇｈｔ  Ｐｒｏｃｅｓｓｉｎｇ）プロジェクタや液晶プロジェクタを用いてパターンをワーク５に投影してもよい。
【００２０】
濃淡画像計測部について説明する。濃淡画像とは、均一に照明されたワーク５を撮像して取得される画像であって、白黒の濃淡を有するグレースケールの画像である。本実施形態では、濃淡画像からワーク５の輪郭や稜線に対応するエッジを検出し、エッジを画像特徴としてワーク５の位置や姿勢を求める際に用いる。濃淡画像計測部は、第２照明部２、撮像部３及び処理部４によって構成される。第２照明部２は、第１波長とは異なる第２波長の光でワーク５を均一に照明する。撮像部３は、第２照明部２によって均一に照明されたワーク５を撮像して濃淡画像を取得する。処理部４は、撮像部３で取得された濃淡画像にエッジ検出処理を施してワーク５のエッジを求める。エッジ検出処理には、Ｃａｎｎｙ法やその他の様々な方法を用いた方式があるが、いずれの方式であってもよい。
【００２１】
第２照明部２は、複数の光源１３を含み、本実施形態では、リング照明を実現するために、複数の光源１３をリング状に配列して構成されている。第２照明部２は、リング照明によって、ワーク５に影が発生しないように、ワーク５を均一に照明する。但し、ワーク５を均一に照明するための照明方式は、リング照明に限定されるものではなく、同軸落射照明やドーム照明などであってもよい。
【００２２】
撮像部３は、第１照明部１からの第１波長のパターン光と第２照明部２からの第２波長の光とで同時に照明されたワーク５を撮像し、距離画像（第１波長のパターン光に対応する第１画像）と濃淡画像（第２波長の光に対応する第２画像）とを同時に取得する。撮像部３は、撮像光学系６と、撮像素子７と、波長分割素子８とを含む。撮像光学系６は、ワーク５に投影されたパターン及び均一に照明されたワーク５を撮像素子７に結像するための光学系である。また、撮像素子７は、距離画像及び濃淡画像を取得するためのイメージセンサーであって、例えば、ＣＭＯＳセンサやＣＣＤセンサなどを含む。波長分割素子８は、撮像素子７の画素ごとに、赤、緑、青のいずれか１つの色を割り当てる機能を有し、距離画像と濃淡画像とを波長差で分離して、２波長画素の画像と１波長画素の画像に分離する。
【００２３】
撮像素子７及び波長分割素子８は、赤の波長帯に分光感度のピークを有するＲ画素（第１画素）、緑の波長帯に分光感度のピークを有するＧ画素（第２画素）、青の波長帯に分光感度のピークを有するＢ画素（第３画素）からなるＲＧＢ画素部を構成する。本実施形態では、撮像素子７及び波長分割素子８をカラーイメージセンサーで実現し、カラーイメージセンサーの波長分割機能を用いて、距離画像及び濃淡画像の２つの画像を同時に取得する。
【００２４】
カラーイメージセンサーは、各画素に対して、赤、緑、青のいずれか１つの色を割り当てるためのフィルタ、例えば、図３に示すように、一般的に多く使用されるベイヤ配列型のカラーフィルタを備えている。ベイヤ配列型のカラーフィルタは、赤：緑：青の比率が１：２：１となる、図３に示すような配列を有する。図３において、Ｒは、赤の波長帯の光を透過するフィルタ（Ｒ画素）を示し、Ｇは、緑の波長帯の光を透過するフィルタ（Ｇ画素）を示し、Ｂは、青の波長帯の光を透過するフィルタ（Ｂ画素）を示す。
【００２５】
距離画像と濃淡画像とを同時に取得するためには、各画像をＲ画素、Ｇ画素、Ｂ画素のいずれかに割り当てる必要がある。距離画像及び濃淡画像のそれぞれに含まれる情報量の欠損を低減するためには、距離画像及び濃淡画像のうち、一方の画像に２波長分の画素を割り当て、他方の画像に１波長分の画素を割り当てるとよい。本実施形態では、距離画像の取得にＢ画素及びＧ画素を用い、濃淡画像の取得にＲ画素を用いるものとする。
【００２６】
図４は、ベイヤ配列型のカラーフィルタの各波長の分光感度特性の一例を示す図である。図４では、縦軸に分光感度を採用し、横軸に波長［ｎｍ］を採用している。図４を参照するに、ベイヤ配列型のカラーフィルタの各フィルタの分光感度特性は、広帯域な特性を有しているため、単一波長の光を考えると、かかる光はＲ、Ｇ、Ｂのいずれかの画素で検出されるのではなく、それぞれの画素で異なる感度で検出される。従って、距離画像と濃淡画像とを異なる波長の光で取得しても、各フィルタの分光感度に応じて、双方の画像が混ざり合って取得されることになる。距離画像と濃淡画像とが混在してクロストークが発生すると、パターンをエッジと誤認識したり、エッジをパターンと誤認識したりしてしまうため、計測精度に影響を与えてしまう。ここで、クロストークとは、第１波長の光及び第２波長の光のうちの一方の光が入射すべき画素（注目画素）に他方の光が入射することで生じるノイズ（クロストークノイズ）である。
【００２７】
そこで、本実施形態では、Ｒ画素及びＢ画素のうち、一方の画素で第１波長のパターン光が検出され、他方の画素で第２波長の光が検出され、Ｇ画素で第１波長のパターン光又は第２波長の光が検出されるように、第１波長及び第２波長が設定されている。具体的には、第１照明部１からのパターン光の波長、即ち、第１波長をλ１とし、第２照明部２からの光の波長、即ち、第２波長をλ２とすると、以下の式（１）（第１関係式）を満たすように、第１波長λ１及び第２波長λ２が設定されている。ここで、Ｒ画素の分光感度特性における第１波長の分光感度をＴｒ（λ１）とし、Ｇ画素の分光感度特性における第１波長の分光感度をＴｇ（λ１）とし、Ｂ画素の分光感度特性における第１波長の分光感度をＴｂ（λ１）とする。
また、Ｒ画素の分光感度特性における第２波長の分光感度をＴｒ（λ２）とし、Ｇ画素の分光感度特性における第２波長の分光感度をＴｇ（λ２）とし、Ｂ画素の分光感度特性における第２波長の分光感度をＴｂ（λ２）とする。
【００２８】
【数１】
2017173259.tif 000003
【００２９】
式（１）を満たす場合、Ｂ画素及びＧ画素において距離画像（第１波長λ１のパターン光）が濃淡画像（第２波長λ２の光）よりも支配的に撮像され、且つ、Ｒ画素において濃淡画像が距離画像よりも支配的に撮像される。これにより、Ｒ画素、Ｇ画素、Ｂ画素の３つの画素を利用しながら、クロストークの少ない距離画像及び濃淡画像を取得することができる。
【００３０】
但し、Ｂ画素とＧ画素との画素間での感度差（強度差）は計測精度に影響を与えるため、配慮が必要である。具体的には、画素間の感度の補正と狭スペクトル幅の光源による照明が必要となる。
【００３１】
画素間の感度の補正については、Ｂ画素の分光感度特性における第１波長の分光感度とＧ画素の分光感度特性における第１波長の分光感度とが同じとなる波長（Ｔｂ（λ１）＝Ｔｇ（λ１））を選択することで実現することができる。例えば、図４を参照するに、波長λａは、Ｂ画素の分光感度とＧ画素の分光感度とが同じとなる波長であり、波長λａを第１波長として設定することで、Ｂ画素とＧ画素との画素間での感度差をなくすことができる。なお、実際には、波長λａの０．８倍から１．２倍の範囲の波長を第１波長として設定したとしても、Ｂ画素とＧ画素との画素間での感度差による影響を無視できる程度にすることができる。
【００３２】
波長λａを第１波長として設定することができない場合には、Ｂ画素の分光感度特性における第１波長の分光感度とＧ画素の分光感度特性における第１波長の分光感度との比に基づいて、Ｂ画素の輝度値又はＧ画素の輝度値を補正すればよい。具体的には、Ｇ画素の輝度値を補正する場合、Ｇ画素の補正前及び補正後のそれぞれの輝度値をＩｂ（ｘ，ｙ）及びＩ’ｂ（ｘ，ｙ）として、以下の式（２）に基づいて補正を行えばよい。なお、式（２）において、ｘ及びｙは、カラーイメージセンサーの画素のｘ方向及びｙ方向のそれぞれの番地を示している。また、式（２）の代わりに、Ｇ画素の輝度値を補正するための式を用いてもよい。
【００３３】
【数２】
2017173259.tif 000004
【００３４】
狭スペクトル幅の光源による照明については、ワーク５の分光反射率特性の影響によって生じる波長変化を抑制するために必要である。具体的には、距離画像計測部の光源９に、スペクトル幅の狭い光源、例えば、ＬＥＤ光源やレーザー光源などを用いればよい。
【００３５】
カラーイメージセンサーのＢ画素及びＧ画素のみを用いて画像を取得すると、図５に示すように、Ｒ画素が欠落した距離画像が取得される。このように、カラーイメージセンサーのＢ画素及びＧ画素のみを用いて取得された距離画像は、第１波長のパターン光が入射した有効画素（Ｂ画素及びＧ画素）と、第１波長のパターン光が入射していない欠落画素（Ｒ画素）とを含む。一方、カラーイメージセンサーのＲ画素のみを用いて画像を取得すると、図６に示すように、Ｂ画素及びＧ画素が欠落した濃淡画像が取得される。このように、カラーイメージセンサーのＲ画素のみを用いて取得された濃淡画像は、第２波長の光が入射した有効画素（Ｒ画素）と、第２波長の光が入射していない欠落画素（Ｂ画素及びＧ画素）とを含む。
【００３６】
そこで、処理部４において、距離画像及び濃淡画像のそれぞれについて、有効画素を用いて欠落画素を補間する。例えば、欠落画素の周囲に存在する有効画素の輝度値を用いて欠落画素の輝度値を補間（デモザイキング処理）する。これにより、カラーイメージセンサーの全ての画素を用いて画像を取得する場合と同等の解像度を有する距離画像及び濃淡画像を生成することが可能である。このようにして生成された距離画像及び濃淡画像からワーク５の位置や姿勢を求める手法については、当業界で周知の如何なる手法をも適用することができる。
【００３７】
本実施形態では、距離画像の取得にＢ画素及びＧ画素を用い、濃淡画像の取得にＲ画素を用いる場合について説明したが、これに限定されるものではない。２波長分の画素で取得される画像は、１波長分の画素で取得される画像に比べて、欠落画素が少ないため、デモザイキング処理による補間誤差が小さく、より高精度な計測が可能である。従って、距離画像及び濃淡画像のうち、最終的なワーク５の位置や姿勢の精度への寄与率が高い画像に対して、２波長分の画素を割り当てるとよい。距離画像及び濃淡画像のそれぞれに対して、長波長側（赤の波長帯側）と短波長側（青の波長帯側）、長波長側が２波長である場合と短波長側が２波長である場合の２つの自由度がある。従って、上述した式（１）、以下の式（３）（第２関係式）、式（４）（第３関係式）及び式（５）（第４関係式）のいずれか１つを満たすように、第１波長λ１及び第２波長λ２を設定すればよい。
【００３８】
【数３】
2017173259.tif 000005
【００３９】
本実施形態の計測装置１００では、波長分割素子８の分光感度特性に基づいて、距離画像を取得するためのパターン光の第１波長λ１及び濃淡画像を取得するための光の第２波長λ２を設定している。そして、距離画像と濃淡画像とを波長差で分離して２波長画素の画像と１波長画素の画像として取得することで、クロストークの影響を抑えながら、画素を有効に利用することが可能となる。また、距離画像と濃淡画像とを１つの撮像素子で同時に取得することが可能となるため、従来技術（複数センサ方式）と比べて、コスト、サイズ及び安定性に対する優位性を有しながら、最終的なワーク５の位置や姿勢の計測精度の低下を抑えることができる。
【００４０】
＜第２実施形態＞
図５及び図６に示す欠落画素に対する別の処理について説明する。第１実施形態では、欠落画素の周囲に存在する有効画素の輝度値を用いて欠落画素の輝度値を補間処理することで全ての画素を用いて画像を取得する場合と同等の解像度を有する距離画像及び濃淡画像を生成する場合を説明した。一方、第２実施形態では、デモザイキング処理などの補間処理を行わない。
【００４１】
まず、カラーイメージセンサーのＢ画素及びＧ画素で取得された距離画像（図５）に対する処理について説明する。本実施形態では、クロストークノイズの影響を最小化するために、Ｂ画素及びＧ画素に対して、第２波長λ２の光が入射することによるノイズの影響を除去する。例えば、図７に示すＢ画素において、第２波長λ２の光の影響を除去するためには、Ｂ画素の周囲に存在する（最近接する）Ｒ画素の輝度値の平均を求め、かかる平均輝度値と、図４に示す分光感度特性の比とに基づいて、Ｂ画素の輝度値を補正する。具体的には、補正前のＢ画素の輝度値をＩｂ（ｘ，ｙ）、かかるＢ画素の周囲に存在するＲ画素の平均輝度値をＩｒ＿ａ（ｘ，ｙ）、補正後のＢ画素の輝度値をＩ’ｂ（ｘ，ｙ）として、以下の式（６）に基づいて補正を行う。
【００４２】
【数４】
2017173259.tif 000006
【００４３】
Ｇ画素に対しても同様に処理し、Ｂ画素及びＧ画素の全画素に対してクロストークノイズの補正を行う。そして、距離演算可能な画像に変換するために、図８（ａ）及び図８（ｂ）に示すように、欠落画素を含む行又は列に配列された画素群を削除して新たな距離画像を生成する。本実施形態では、ワーク５に投影するパターンとして図２に示すドットラインパターンを用いているため、Ｘ方向（紙面横方向）の計測点は、Ｙ方向（紙面縦方向）の計測点に対して十分に密である。従って、Ｙ方向の計測点を減少させないように、図８（ｂ）に示すように、欠落画素を含む列に配列された画素群を削除する。
【００４４】
なお、２波長画素の画像が濃淡画像である場合、縦方向のエッジを検出する際には欠落画素を含む列に配列された画素群を削除し、横方向のエッジを検出する際には欠落画素を含む行に配列された画素群を削除する。このように、エッジを検出する方向に応じて、削除する画素群を変更する。
【００４５】
次いで、カラーイメージセンサーのＲ画素で取得された濃淡画像（図６）に対する処理について説明する。上述したように、クロストークノイズの影響を最小化するために、Ｒ画素に対して、第１波長λ１のパターン光が入射することによるノイズの影響を除去する。例えば、図９に示すＲ画素において、第１波長λ１のパターン光の影響を除去するためには、Ｒ画素の周囲に存在するＢ画素及びＧ画素の輝度値の平均を求め、かかる平均輝度値と、図４に示す分光感度特性の比とに基づいて、Ｒ画素の輝度値を補正する。具体的には、補正前のＲ画素の輝度値をＩｒ（ｘ，ｙ）、かかるＲ画素の周囲に存在するＢ画素及びＧ画素のそれぞれの平均輝度値をＩｂ＿ａ（ｘ，ｙ）及びＩｇ＿ａ（ｘ，ｙ）、補正後のＲ画素の輝度値をＩ’ｒ（ｘ，ｙ）とする。そして、以下の式（７）に基づいて補正を行う。
【００４６】
【数５】
2017173259.tif 000007
【００４７】
Ｒ画素の全画素に対してクロストークノイズの補正を行う。そして、エッジ検出可能な画像に変換するために、図１０に示すように、欠落画素を含む行及び列に配列された画素群を削除して新たな濃淡画像を生成する。
【００４８】
本実施形態によれば、注目画素の周囲の画素の輝度値と、カラーイメージセンサーの分光感度特性とを用いることで、クロストークノイズを積極的に補正することが可能となる。従って、最終的なワーク５の位置や姿勢の計測精度を向上させることができる。
【００４９】
＜第３実施形態＞
第１実施形態及び第２実施形態では、撮像素子７及び波長分割素子８をカラーイメージセンサー（即ち、波長分割素子８をベイヤ配列型のカラーフィルタ）で実現したが、これに限定されるものではない。例えば、撮像素子７及び波長分割素子８は、３層構造のカラーイメージセンサーで実現してもよい。３層構造のカラーイメージセンサーは、図１１に示すように、光（第１波長のパターン光及び第２波長の光）の入射方向に３つの画素が重ねられた３層構造を有する。３層構造のカラーイメージセンサーは、具体的には、シリコンを３層に重ね、シリコンを通過する光の深度で色を識別するイメージセンサーである。３層構造のカラーイメージセンサーは、厚さ（深度）によって吸収する光の波長が異なるというシリコンの特性を利用して、センサの表面で青の波長帯の光を、中深度で緑の波長帯の光を、高深度で赤の波長帯の光を捉える。
【００５０】
３層構造のカラーイメージセンサーを用いた場合においても、第１実施形態と同様に、式（１）、式（３）、式（４）及び式（５）のいずれか１つを満たすように、第１波長及び第２波長を設定する。また、第２実施形態と同様に、注目画素の周囲の画素の輝度値と、カラーイメージセンサーの分光感度特性とに基づいて、クロストークノイズの補正を行う。これにより、クロストークノイズの影響を最小化することが可能となる。
【００５１】
＜第４実施形態＞
計測装置１００は、例えば、支持部材に支持された状態で使用される。本実施形態では、一例として、図１２に示すように、ロボットアーム（把持装置）３００に計測装置１００を取り付けたシステムＳＴについて説明する。計測装置１００は、支持台３５０に配置された被計測物２１０を第１波長のパターン光及び第２波長の光で照明し、かかる被計測物２１０を撮像して距離画像及び濃淡画像を取得する。そして、計測装置１００は、距離画像及び濃淡画像に基づいて、被計測物２１０の位置及び姿勢の少なくとも一方の情報を求め、かかる情報を制御部３１０に入力する。制御部３１０は、被計測物２１０の位置及び姿勢の少なくとも一方の情報に基づいて、ロボットアーム３００に駆動指令を与えてロボットアーム３００を制御する。ロボットアーム３００は、先端に取り付けられたロボットハンド（把持部）によって被計測物２１０を保持して移動（例えば、並進又は回転）させる。更に、ロボットアーム３００（ロボットハンド）によって被計測物２１０を他の部品に組み付ける（組立）ことで、複数の部品で構成された物品、例えば、電子回路基板や機械などを製造することができる。また、ロボットアーム３００によって移動させた被計測物２１０を加工することで、物品を製造することができる。制御部３１０は、ＣＰＵなどの演算装置やメモリなどの記憶装置を含む。なお、本実施形態では、計測装置１００において、被計測物２１０の位置及び姿勢の少なくとも一方の情報を求めている。但し、制御部３１０が計測装置１００から距離画像及び濃淡画像を取得して、被計測物２１０の位置及び姿勢の少なくとも一方の情報を求めてもよい。また、システムＳＴは、計測装置１００によって計測された被計測物２１０の計測データや得られた画像をディスプレイなどの表示部３２０に表示してもよい。
【００５２】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００５３】
１００：計測装置    １：第１照明部    ２：第２照明部    ３：撮像部    ４：処理部    ５：ワーク
【図１】
2017173259.tif 000012
【図２】
2017173259.tif 000013
【図３】
2017173259.tif 000014
【図４】
2017173259.tif 000015
【図５】
2017173259.tif 000016
【図６】
2017173259.tif 000017
【図７】
2017173259.tif 000018
【図８】
2017173259.tif 000019
【図９】
2017173259.tif 000020
【図１０】
2017173259.tif 000021
【図１１】
2017173259.tif 000022
【図１２】
2017173259.tif 000023