(57)【要約】【課題】発光部Ｃeから射出された光が対象物Ｊで反射されて受光部Ｃrに入射するまでの光の飛行時間から対象物Ｊまでの距離を取得する構成において、誤差の小さい距離画像ＩＭを取得可能とする。【解決手段】発光部Ｃeから受光部Ｃrまでの光の飛行時間から求まる対象物Ｊまでの距離データＤを画素Ｐ毎に取得した結果に基づいて、対象物Ｊの距離画像ＩＭを構成する。この際、低反射率領域Ｒlまでの距離データＤは、内部走行経路の光Ｌiの影響を受けて実際より長く求められて、距離画像ＩＭはこれに起因する誤差を含む。そこで、高反射率領域Ｒhに隣接する低反射率領域Ｒlを対象物Ｊ表面において特定し、低反射率領域Ｒlに対応する画素Ｐについて求められた距離データＤを短く補正して、距離画像ＩＭを構成する。その結果、誤差の小さい距離画像ＩＭを取得することが可能となる。【選択図】図５
2013195138.tif 000002
【特許請求の範囲】
【請求項１】
発光部と複数の画素からなる受光部とを有し、前記発光部から射出されて対象物で反射された光を前記受光部で検出した結果に基づき、前記発光部から前記受光部までの光の飛行時間から求まる前記対象物までの距離を前記画素毎に取得する距離取得手段と、
高反射率領域に隣接して前記高反射率領域より反射率の低い低反射率領域を前記対象物表面において特定する領域特定手段と、
前記距離取得手段が前記画素毎に取得した前記距離に基づいて、前記対象物の距離画像を構成する距離画像構成手段と
を備え、
前記距離画像構成手段は、前記低反射率領域に対応する前記画素について前記距離取得手段が求めた前記距離を短く補正して、前記距離画像を構成することを特徴とする距離画像取得装置。
【請求項２】
前記距離画像構成手段は、前記低反射率領域に対応する前記画素のうち、前記高反射率領域により近い位置に対応する前記画素について求められた前記距離ほど、より短く補正する請求項１に記載の距離画像取得装置。
【請求項３】
前記距離画像構成手段は、前記低反射率領域と前記高反射率領域の反射率の差が大きいほど、前記低反射率領域に対応する前記画素について求められた前記距離を、より短く補正する請求項１または２に記載の距離画像取得装置。
【請求項４】
前記距離画像構成手段は、前記対象物の材質に応じて、前記低反射率領域に対応する前記画素について求められた前記距離を短くする程度を変える請求項１ないし３のいずれか一項に記載の距離画像取得装置。
【請求項５】
前記対象物表面の輝度に関する輝度情報を取得する輝度情報取得手段をさらに備え、
前記領域特定手段は、前記輝度情報取得手段が取得した前記対象物表面の前記輝度情報に基づいて前記低反射率領域を特定する請求項１ないし４のいずれか一項に記載の距離画像取得装置。
【請求項６】
前記輝度情報取得手段は、前記受光部が受光した光量から前記輝度情報を取得する請求項５に記載の距離画像取得装置。
【請求項７】
請求項１ないし６のいずれか一項に記載の距離画像取得装置と、
前記距離画像取得装置が有する前記距離画像構成手段により構成された前記距離画像に基づいて、前記対象物の外観を認識する外観認識手段と
を備えることを特徴とする外観認識装置。
【請求項８】
発光部から射出されて対象物で反射された光を複数の画素からなる受光部で検出した結果に基づき、前記発光部から前記受光部までの光の飛行時間から求まる前記対象物までの距離を前記画素毎に取得する距離取得工程と、
高反射率領域に隣接して前記高反射率領域より反射率の低い低反射率領域を前記対象物表面において特定する領域特定工程と、
前記距離取得工程で前記画素毎に取得された前記距離に基づいて、前記対象物の距離画像を構成する距離画像構成工程と
を備え、
前記距離画像構成工程では、前記距離取得工程において前記低反射率領域に対応する前記画素について求められた前記距離を短く補正して、前記距離画像を構成することを特徴とする距離画像取得方法。
【請求項９】
発光部から射出されて対象物で反射された光を複数の画素からなる受光部で検出した結果に基づき、前記発光部から前記受光部までの光の飛行時間から求まる前記対象物までの距離を前記画素毎に取得する距離取得工程と、
高反射率領域に隣接して前記高反射率領域より反射率の低い低反射率領域を前記対象物表面において特定する領域特定工程と、
前記距離取得工程で前記画素毎に取得された前記距離に基づいて、前記対象物の距離画像を構成する距離画像構成工程と
を、コンピューターに実行させ、
前記距離画像構成工程では、前記距離取得工程において前記低反射率領域に対応する前記画素について求められた前記距離を短く補正して、前記距離画像を構成することを特徴とするプログラム。
【請求項１０】
請求項９に記載のプログラムが記録されており、コンピューターにより読み取りが可能であることを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、発光部から射出された光が対象物で反射されて受光部に入射するまでの光の飛行時間に基づいて、対象物の距離画像を取得する距離画像取得技術に関する。
【背景技術】
【０００２】
特許文献１では、ＴＯＦ(Time Of Flight)方式を用いて対象物の距離画像を取得するＴＯＦカメラが記載されている。このＴＯＦカメラは、ＬＥＤ(Light Emitting Diode)等の発光部と、ＣＣＤ(Charge Coupled Device)イメージセンサー等の複数の画素からなる受光部とを有する。そして、発光部から射出された光が対象物で反射されて受光部に入射するまでの光の飛行時間に基づいて、対象物までの距離を画素毎に示した距離画像が取得される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１２３０７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、発光部から射出されて受光部に到る光の経路には、対象物の表面で反射されて受光部に到る光の経路のほかに、対象物の表面から侵入して対象物の内部を走行した後に対象物の表面から射出されて受光部に到る光の経路も存在する。つまり、対象物表面で反射される光の経路（表面反射経路）のほかに、対象物内部を走行する光の経路（内部走行経路）が存在する。これらの経路のうち、対象物までの距離を正確に反映するのは、表面反射経路を飛行した光の飛行時間である。換言すれば、光が対象物内部の走行に時間を要するために、内部走行経路を飛行した光の飛行時間は長くなり、対象物までの距離を正確に反映しない。
【０００５】
したがって、表面反射経路を飛行した光のほかに、飛行時間の長い内部走行経路を飛行した光が受光部に到達することで、対象物までの距離が実際より長く求められるといった誤測定が生じうる。特にこの誤測定は、対象物の表面において高反射率領域に隣接する低反射率領域の距離を求める際に問題となっていた。これについて詳述すると、次のとおりである。
【０００６】
上述した理由により、低反射率領域から射出されて受光部に到達する光には、低反射率領域の表面で反射された表面反射経路の光と、隣接する高反射率領域から進入して低反射率領域から射出された内部走行経路の光とが含まれる。この際、低反射率領域の反射率は低いため、低反射率領域から射出される表面反射経路の光は少ない。したがって、低反射率領域から射出されて受光部に到達する光では、表面反射経路の光に対する内部走行経路の光の割合が比較的高い。そのため、高反射率領域に隣接する低反射率領域までの距離は、内部走行経路の光の影響を大きく受けて実際より長く求められて、距離画像はこれに起因する大きな誤差を含むものとなっていた。
【０００７】
この発明は上記課題に鑑みなされたものであり、発光部から射出された光が対象物で反射されて受光部に入射するまでの光の飛行時間から対象物までの距離を取得する構成において、誤差の小さい距離画像を取得可能とする技術の提供を目的とする。
【課題を解決するための手段】
【０００８】
この発明にかかる距離画像取得装置は、上記目的を達成するために、発光部と複数の画素からなる受光部とを有し、発光部から射出されて対象物で反射された光を受光部で検出した結果に基づき、発光部から受光部までの光の飛行時間から求まる対象物までの距離を画素毎に取得する距離取得手段と、高反射率領域に隣接して高反射率領域より反射率の低い低反射率領域を対象物表面において特定する領域特定手段と、距離取得手段が画素毎に取得した距離に基づいて、対象物の距離画像を構成する距離画像構成手段とを備え、距離画像構成手段は、低反射率領域に対応する画素について距離取得手段が求めた距離を短く補正して、距離画像を構成することを特徴とする。
【０００９】
この発明にかかる距離画像取得方法は、上記目的を達成するために、発光部から射出されて対象物で反射された光を複数の画素からなる受光部で検出した結果に基づき、発光部から受光部までの光の飛行時間から求まる対象物までの距離を画素毎に取得する距離取得工程と、高反射率領域に隣接して高反射率領域より反射率の低い低反射率領域を対象物表面において特定する領域特定工程と、距離取得工程で画素毎に取得された距離に基づいて、対象物の距離画像を構成する距離画像構成工程とを備え、距離画像構成工程では、距離取得工程において低反射率領域に対応する画素について求められた距離を短く補正して、距離画像を構成することを特徴とすることを特徴とする。
【００１０】
この発明にかかる外観認識装置は、上記目的を達成するために、上記距離画像取得装置と、距離画像取得装置が有する距離画像構成手段により構成された距離画像に基づいて、対象物の外観を認識する外観認識手段とを備えることを特徴とする。
【００１１】
この発明にかかるプログラムは、上記目的を達成するために、発光部から射出されて対象物で反射された光を複数の画素からなる受光部で検出した結果に基づき、発光部から受光部までの光の飛行時間から求まる対象物までの距離を画素毎に取得する距離取得工程と、高反射率領域に隣接して高反射率領域より反射率の低い低反射率領域を対象物表面において特定する領域特定工程と、距離取得工程で画素毎に取得された距離に基づいて、対象物の距離画像を構成する距離画像構成工程とを、コンピューターに実行させ、距離画像構成工程では、距離取得工程において低反射率領域に対応する画素について求められた距離を短く補正して、距離画像を構成することを特徴とする。
【００１２】
この発明にかかる記録媒体は、上記プログラムが記録されており、コンピューターにより読み取りが可能であることを特徴とする。
【００１３】
このように構成された発明（距離画像取得装置、距離画像取得方法、外観認識装置、プログラム、記録媒体）では、発光部から受光部までの光の飛行時間から求まる対象物までの距離が画素毎に取得され、この取得された距離に基づいて対象物の距離画像が構成される。このような構成では、上述したとおり、高反射率領域に隣接する低反射率領域までの距離は、内部走行経路の光の影響を大きく受けて実際より長く求められて、距離画像はこれに起因する誤差を含むものとなっていた。これに対して、この発明では、高反射率領域に隣接して高反射率領域より反射率の低い低反射率領域が対象物表面において特定される。そして、低反射率領域に対応する画素について求められた距離を短く補正して、距離画像が構成される。その結果、誤差の小さい距離画像を取得することが可能となる。
【００１４】
なお、低反射率領域のうち、隣接する高反射率領域により近い位置ほど、高反射率領域から侵入して内部走行経路を飛行した光がより多く射出する。そのため、隣接する高反射率領域により近い位置ほど、内部走行経路の光の影響がより大きくなって、対応する距離がより長く求められる傾向にある。そこで、距離画像構成手段は、低反射率領域に対応する画素のうち、高反射率領域により近い位置に対応する画素について求められた距離ほど、より短く補正するように距離画像取得装置を構成しても良い。これによって、低反射率領域に対応する画素について求められた距離を、当該画素に対応する位置と高反射率領域の距離に応じて適切に補正することができる。その結果、より誤差の小さい正確な距離画像を取得することが可能となる。
【００１５】
また、低反射率領域と高反射率領域の反射率の差が大きいほど、低反射率領域について求められる距離は、高反射率領域から侵入して内部走行経路を飛行した光の影響を強く受けて、より長くなる。そこで、距離画像構成手段は、低反射率領域と高反射率領域の反射率の差が大きいほど、低反射率領域に対応する画素について求められた距離を、より短く補正するように距離画像取得装置を構成しても良い。これによって、低反射率領域と高反射率領域との反射率の差に応じて、低反射率領域に対応する画素について求められた距離を適切に補正することができる。その結果、より誤差の小さい正確な距離画像を取得することが可能となる。
【００１６】
また、対象物の材質が異なると、対象物の内部を走行する光の量も異なる。したがって、対象物の材質によって、低反射率領域について求められる距離が内部走行経路を飛行した光の影響を受ける程度は異なる。そこで、距離画像構成手段は、対象物の材質に応じて、低反射率領域に対応する画素について求められた距離を短くする程度を変えるように距離画像取得装置を構成しても良い。
【００１７】
なお、低反射率領域を特定する具体的手法については、種々の手法を採用可能である。そこで、対象物表面の輝度に関する輝度情報を取得する輝度情報取得手段をさらに備え、領域特定手段は、輝度情報取得手段が取得した対象物表面の輝度情報に基づいて低反射率領域を特定するように距離画像取得装置を構成しても良い。つまり、対象物表面において、反射率の低い低反射率領域は比較的暗いのに対して、反射率の高い高反射率領域は比較的明るい。したがって、対象物表面の輝度に関する輝度情報を取得することで、低反射率領域を特定することが可能となる。
【００１８】
この際、輝度情報取得手段は、受光部が受光した光量から輝度情報を取得するように距離画像取得装置を構成することができる。
【発明の効果】
【００１９】
発光部から射出された光が対象物で反射されて受光部に入射するまでの光の飛行時間から対象物までの距離を取得する構成において、誤差の小さい距離画像を取得することが可能となる。
【図面の簡単な説明】
【００２０】
【図１】本発明を適用可能な塗装ロボットの一例を模式的示す斜視図である。
【図２】図１の塗装ロボットが具備する電気的構成を模式的に示すブロック図である。
【図３】三次元カメラの概略構成を模式的に示した斜視図である。
【図４】三次元カメラの動作例を模式的に示したタイミングチャートである。
【図５】距離画像を取得するフローの一例を示すフローチャートである。
【図６】低反射率領域から射出される光を模式的に示す断面図である。
【図７】低反射率領域の距離データを補正するフローを示すフローチャートである。
【図８】補正係数を求める動作を模式的に説明する図である。
【図９】低反射率領域の距離データを補正する動作の一例を示す図である。
【発明を実施するための形態】
【００２１】
図１は、本発明を適用可能な塗装ロボットの一例を模式的示す斜視図である。図２は、図１の塗装ロボットが具備する電気的構成を模式的に示すブロック図である。図１および図２に示す塗装ロボットは、三次元カメラにより対象物の外観を認識した結果に基づいて、対象物への塗装を実行するものである。以下では、この塗装ロボットに本発明を適用した場合を例示して、本発明の実施形態について説明する。
【００２２】
塗装ロボット１は、図１に示される機械的構成であるロボット本体２と、コンピューター３（図２）とで構成される。ロボット本体２は、ベース部２２から上方へ伸びるアーム２３の先端にスプレーガン２４を取り付けた概略構成を備える。ベース部２２は、ロボット本体２の設置場所に対して固定される固定ベース２２１と、固定ベース２２１の上部に取り付けられて鉛直周りに旋回する旋回ベース２２２とを有する。そして、旋回ベース２２２の上部からアーム２３が伸びている。したがって、アーム２３は、旋回ベース２２２の旋回に伴って、鉛直軸周りに回転自在となっている。
【００２３】
アーム２３は、第１アーム部材２３１および第２アーム部材２３２で構成されている。第１アーム部材２３１の一端は、水平軸周りに回転自在な関節を介して旋回ベース２２２に取り付けられている。また、この第１アーム部材２３１の他端に、水平軸周りに回転自在な関節を介して、第１アーム部材２３２の一端が取り付けられている。そして、第１アーム部材２３２の他端に、スプレーガン２４が取り付けられている。したがって、旋回ベースおよび各関節の回転を制御して、スプレーガン２４を対象物に対して位置決めしつつ、スプレーガン２４の先端２４Aから塗料を噴射することで、対象物の所定位置を塗布することができる。
【００２４】
また、第２アーム部材２３２の他端には、ＴＯＦ式の三次元カメラＣが取り付けられている。この三次元カメラＣは、スプレーガン２４の塗料噴射方向を向きつつアーム２３と一体的に移動して、対象物の距離画像を適宜取得するものである。そして、後述するように、三次元カメラＣにより対象物の距離画像を取得した結果に基づいて、アーム２３およびスプレーガン２４の動作が制御されて、対象物への塗装が実行される。
【００２５】
図３は、三次元カメラの概略構成を模式的に示した斜視図である。図３に示すように、三次元カメラは、対象物Ｊに向けて光（同図の一点鎖線）を射出する光源Ｃeと、対象物Ｊで反射された光（同図の一点鎖線）を受光するイメージセンサーＣrと、カメラコントローラーＣcとで構成される。光源Ｃeは、８５０[nm]の波長の近赤外光を射出する。イメージセンサーＣrは、ＣＣＤ等の固体撮像素子であり、複数の画素Ｐ（受光素子）を二次元的に配列した構成を具備する。
【００２６】
カメラコントローラーＣcは、光源Ｃeから射出されて対象物Ｊで反射された光をイメージセンサーＣrで検出する光検出を実行する。具体的には、カメラコントローラーＣcは、所定の変調周波数ｆm（例えば３０[MHz]）の入力信号Ｓeを光源Ｃeに入力して、変調周波数ｆmで強度変調された光を光源Ｃeに射出させる。また、カメラコントローラーＣcは、光源Ｃeから射出されて対象物Ｊで反射された変調光をイメージセンサーＣrにより検出する。つまり、変調光を受光したイメージセンサーＣrは、変調周波数ｆmを有する受光信号Ｓrを画素Ｐ毎に出力し、カメラコントローラーＣcはこの受光信号Ｓrを受信して、対象物Ｊで反射された変調光を検出する。
【００２７】
そして、カメラコントローラーＣcでは、この光検出の実行結果から、対象物Ｊまでの距離を示す距離データＤが画素Ｐ毎に求められる。具体的には、入力信号Ｓeと受光信号Ｓrとの位相差に基づいて、光源ＣeからイメージセンサーＣrまでの光の飛行時間が画素Ｐ毎に求められる。続いて、この飛行時間と光速度から算出される対象物Ｊまでの距離が、距離データＤとして画素Ｐ毎に求められて、カメラコントローラーＣcから出力される。この距離データＤは、１４ビット（＝２１４）のデータ構造を具備しており、対象物Ｊまでの距離を表すほかに、対応する画素Ｐの受光量が過小で有効な距離が求められないことを示すエラーフラグや、対応する画素Ｐが飽和していることを示す飽和フラグを表すことができる。
【００２８】
さらに、カメラコントローラーＣcは、光検出において画素Ｐが受光した光量を示す反射強度データＩを画素Ｐ毎に出力する。この反射強度データＩは、１４ビット（＝２１４）のデータ構造を具備しており、対応する画素Ｐの受光量を表すほかに、対応する画素Ｐが飽和していることを示す飽和フラグを表すことができる。
【００２９】
ところで、上述のような光の飛行時間は極めて短い。そのため、１回の光検出から求められる飛行時間は大きな誤差を含むことが多く、このような飛行時間から正確な距離データＤを求めることは困難であった。そこで、三次元カメラＣでは、カメラコントローラーＣcが、入力信号Ｓeを出力して受光信号Ｓrを検出するといった動作（すなわち光検出）を複数回実行する。そして、複数の光検出結果に基づいて一の距離データＤが求められる（図４）。
【００３０】
図４は、三次元カメラの動作例を模式的に示したタイミングチャートである。この三次元カメラＣでは、インテグレーションタイムＩＴが、例えばユーザーによりユーザーインターフェース４（図２）を介してカメラコントローラーＣcに設定される（図４の上のチャート）。このインテグレーションタイムＩＴは、複数回の光検出を行う期間を指定するパラメータであり、インテグレーションタイムＩＴが長いほど、光検出の実行回数Ｆが増大する（図４の下のチャート）。具体的には、インテグレーションタイムＩＴの間に、数千回から数万回の光検出が実行される。そして、カメラコントローラーＣcは、光検出毎に光の飛行時間を求めて、全飛行時間の平均値を算出し、この平均値と光速度から計算した距離データＤを画素Ｐ毎に出力する（測距処理）。これによって、光の飛行時間の誤差による影響を排除して、正確な距離データＤを画素Ｐ毎に求めることができる。
【００３１】
図１および図２に戻って説明を続ける。このようなロボット本体２の動作は、コンピューター３により制御される。コンピューター３は、ユーザーインターフェース４、ドライバー５および三次元認識部６を具備している。ユーザーインターフェース４は、ディスプレイ、キーボードおよびマウス等で構成されており、ユーザーからの入力を受け付けたり、ユーザーに対して所定の表示を行なったりする。ドライバー５は、コンピューター３により読み取りが可能な記録媒体７に記録されたプログラム８を読み出す機能を果たす。このような記録媒体７としては、例えば、ＣＤ(Compact Disc)、ＤＶＤ(Digital Versatile Disc)、ＵＳＢ(Universal Serial Bus)メモリー等の種々のものが挙げられる。
【００３２】
三次元認識部６は、三次元カメラＣを用いて対象物Ｊの距離画像ＩＭを取得して、対象物Ｊを三次元で認識するものである。つまり、三次元認識部６は、三次元カメラＣを用いて取得した距離画像ＩＭに基づいて、対象物Ｊの三次元での外観を認識する。そして、三次元認識部６は、外観の認識結果に基づいて、旋回ベース２２２ならびに各関節を駆動する駆動モーターＭやスプレーガン２４の動作を制御して、対象物Ｊの塗装を制御する。
【００３３】
具体的には、三次元認識部６は、メインコントローラー６０によって、距離画像取得のために構築された各回路６１、６２、６３を制御する概略構成を備えるものであり、コンピューター３に備えられたＣＰＵ(Central Processing Unit)およびメモリーにより実現される。メインコントローラー６０は、各回路６１、６２、６３の制御を担うほかに、三次元カメラＣと各回路６１、６２、６３とのデータ通信制御も担う。そして、三次元認識部６は、ドライバー５が記録媒体７から読み出したプログラム８に従って、対象物Ｊの距離画像ＩＭの取得を実行する。続いては、三次元認識部６が実行する距離画像取得フローの説明を通じて、三次元認識部６の構成について説明する。
【００３４】
図５は、距離画像を取得するフローの一例を示すフローチャートである。このフローチャートはプログラム８に従って三次元認識部６により実行される。ステップＳ１０１では、データ取得回路６１が三次元カメラＣを用いて距離データＤおよび反射強度データＩを画素Ｐ毎に取得する。そして、データ取得回路６１は、取得した距離データＤを距離画像構成回路６２に出力するとともに、取得した反射強度データＩを領域特定回路６３に出力する。
【００３５】
ステップＳ１０２では、領域特定回路６３が反射強度データＩに基づいて、反射率の高い高反射率領域Ｒhに隣接する、反射率の低い低反射率領域Ｒlを特定する。具体的には、反射強度データＩが示す光量が高閾値Ｑ1以上である画素Ｐに対応する領域が高反射率領域Ｒhとして認識され、反射強度データＩが示す光量が低閾値Ｑ2（＜Ｑ1）以下である画素Ｐに対応する領域が低反射率領域Ｒlとして認識される。そして、高反射率領域Ｒhに隣接する低反射率領域Ｒlが特定されて、領域特定回路６３から距離画像構成回路６２へと出力される。
【００３６】
ステップＳ１０３では、ステップＳ１０２で特定された低反射率領域Ｒlの距離データＤの補正が実行される。この距離データＤの補正は、低反射率領域Ｒlから射出される光に内部走行経路を飛行する光が含まれることに対応するために実行される。低反射率領域Ｒlの距離データＤに対して補正を行う理由について、図６を用いて詳述する。
【００３７】
図６は、低反射率領域から射出される光を模式的に示す断面図である。同図では、対象物Ｊとして光透過性を有するシート状のものが示されている。対象物Ｊが光透過性を有する場合、低反射率領域Ｒlから射出される光には、低反射率領域Ｒlの表面で反射された表面反射経路の光Ｌr（同図の一点鎖線）と、隣接する高反射率領域Ｒhから進入して低反射率領域Ｒlから射出された内部走行経路の光Ｌi（同図の二点鎖線）とが含まれる。
【００３８】
この際、低反射率領域Ｒlの反射率は低いため、低反射率領域Ｒlから射出される表面反射経路の光Ｌrは少ない。したがって、低反射率領域Ｒlから射出される光では、表面反射経路の光Ｌrに対する内部走行経路の光Ｌiの割合が比較的高い。そして、このように内部走行経路の光Ｌiを多く含む射出光がイメージセンサーＣrに到達する。そのため、高反射率領域Ｒhに隣接する低反射率領域Ｒlまでの距離データＤは、内部走行経路の光Ｌiの影響を大きく受けて実際より長い距離を示すものとなってしまう。これに対応するために、ステップＳ１０３では、低反射率領域Ｒlの距離データＤが短く補正される。具体的には、後述する補正係数により、距離データＤの補正が実行される。
【００３９】
ちなみに、表面反射経路の光Ｌrとともに内部走行経路Ｌiの光が表面より射出されるといった現象は、高反射率領域Ｒhにおいても発生しうる。ただし、高反射率領域Ｒhの反射率は高いため、高反射率領域Ｒhから射出される表面反射経路の光Ｌrは多い。したがって、高反射率領域Ｒhから射出される光では、表面反射経路の光Ｌrに対する内部走行経路の光Ｌiの割合が比較的低い。そのため、高反射率領域Ｒlの距離データＤは、内部走行経路の光Ｌiの影響をほとんど受けず、比較的正確な距離を示す。よって、ステップＳ１０３では、高反射率領域Ｒhの距離データＤに対しては、補正が行われない。
【００４０】
図７は、低反射率領域の距離データを補正するフローを示すフローチャートである。つまり、図７のフローチャートは、図５のフローチャートのステップＳ１０３で実行されるサブルーチンである。まず、ステップＳ２０１では、対象物Ｊの材質に関する情報が取得される。つまり、対象物Ｊとしては、上質紙、コート紙、ボール紙、樹脂、ガラス等の多様な材質のものを用いることができる。この際、材質が異なれば、低反射率領域Ｒlから射出される内部走行経路の光Ｌiの量が異なる。これに対応するために、ステップＳ２０１では、例えばユーザーにより予め入力された、対象物Ｊの材質に関する情報が取得される。そして、ステップＳ２０２では、対象物Ｊの材質に応じて補正係数が選択される。この補正係数は、低反射率領域Ｒlの距離データＤを補正するための係数であり、工場出荷時等のタイミングで実験的に求められて、距離画像構成回路６２に記憶される。
【００４１】
図８は、補正係数を求める動作を模式的に説明する図である。同図に示すように、補正係数Ｅ(r)を求めるにあたっては、高反射率領域Ｒhと低反射率領域ＲlとからなるテストターゲットＴＴが用いられる。同図の「テストターゲットＴＴ」の欄に示すように、テストターゲットＴＴの表面では、例えば９５％の反射率を有する矩形状の高反射率領域Ｒhと５％の反射率を有する矩形状の低反射率領域Ｒlとが隣接する。また、テストターゲットＴＴの表面は平坦に仕上げられている。そして、テストターゲットＴＴ上の各位置と三次元カメラＣとの距離が距離Ｄtで一定となるように、テストターゲットＴＴに対して三次元カメラＣが位置決めされる。こうして位置決めされた三次元カメラＣによって、テストターゲットＴＴの距離データＤが測定される。
【００４２】
上述のとおり、テストターゲットＴＴ上の各位置と三次元カメラＣとの距離は一定であるため、測定された距離データＤは、テストターゲットＴＴ上の位置によらず距離Ｄtで一定となるはずである。しかしながら、同図の「距離データＤ(r)」の欄に示すように、距離データＤは一定にはならない。なお、同欄では、高反射率領域Ｒhと低反射率領域Ｒlが隣接する境界からの距離ｒに対する距離データＤの変化が、距離データＤ(r)として示されている。この距離データＤ(r)の詳細は次のとおりである。
【００４３】
高反射率領域Ｒhの範囲では、距離データＤ(r)は距離Ｄtで一定している。一方、低反射率領域Ｒlの範囲では、距離データＤ(r)は、距離Ｄtよりも長い距離を示している。これは、低反射率領域Ｒlまでの距離データＤ(r)が、内部走行経路の光Ｌiの影響を受けたためである。ちなみに、低反射率領域Ｒlのうち、隣接する高反射率領域Ｒhにより近い位置ほど、高反射率領域Ｒhから侵入して内部走行経路を飛行した光Ｌiがより多く射出する。そのため、隣接する高反射率領域Ｒhにより近い位置ほど、内部走行経路の光Ｌiの影響がより大きくなって、対応する距離データＤ(r)がより長くなっている。
【００４４】
このように、低反射率領域Ｒlに対応する距離データＤ(r)は、実距離Ｄtよりも長く求められる。そこで、距離データＤ(r)から実距離Ｄtを減算して、補正係数Ｅ(r)（＝Ｄ(r)−Ｄt）が求められて、距離画像構成回路６２に記憶される。なお、上記の距離データＤ(r)の特性を反映して、低反射率領域Ｒlでは、隣接する高反射率領域Ｒhにより近い位置ほど、補正係数Ｅ(r)がより大きくなる。かかる補正係数Ｅ(r)は、テストターゲットＴＴの異なる材質毎に求められて、距離画像構成回路６２に例えばテーブル形式で記憶される。こうして、高反射率領域Ｒhから入射して対象物Ｊ内部を透過した後に低反射率領域Ｒlから射出する光が低反射率領域Ｒlの距離データＤに与える影響を補正する補正情報として、補正係数Ｅ(r)が求められる。以上が、補正係数を求める動作の概要である。
【００４５】
図７に戻って説明を続ける。ステップＳ２０２で、対象物Ｊの材質に応じた補正係数Ｅ(r)が選択されると、ステップＳ２０３では、補正対象である低反射率領域Ｒlとこれに隣接する高反射率領域Ｒhとの反射率の差ΔＲ（＞０）が、反射強度データＩに基づいて求められる。つまり、反射強度データＩと反射率との関係を示す反射率テーブルが、工場出荷時等のタイミングで求められて、距離画像構成回路６２に記憶されている。そして、距離画像構成回路６２は、反射強度データＩに対応する反射率を反射率テーブルから求めることで、高反射率領域Ｒhおよび低反射率領域Ｒlそれぞれの反射率を求めて、これらの領域Ｒh、Ｒlの反射率の差ΔＲを算出する。
【００４６】
なお、互いに隣接する高反射率領域Ｒhと低反射率領域Ｒlとの反射率の差ΔＲを算出する理由は、この反射率差ΔＲによって、低反射率領域Ｒlから射出される内部走行経路の光Ｌiの量が異なるからである。つまり、低反射率領域Ｒlから射出される内部走行経路の光Ｌiの量が異なれば、低反射率領域Ｒlの距離データＤが実際よりも長く求められる程度も異なる。そのため、領域Ｒh、Ｒl間の反射率差ΔＲに応じて、距離データＤを補正する量を調整する必要がある。そこで、ステップＳ２０３では、反射率差ΔＲが取得される。
【００４７】
ステップＳ２０４では、補正係数Ｅ(r)と反射率差ΔＲとに基づいて、低反射率領域Ｒlの距離データＤが補正される。図９は、低反射率領域の距離データを補正する動作の一例を示す図である。ここでは、低反射率領域Ｒl内の位置（ｘ，ｙ）に対応する距離データＤ(x,y)を補正する場合を例示して、補正動作について説明する。同図の例では、低反射率領域Ｒlは四方から高反射率領域Ｒhに囲まれている。そのため、四方のそれぞれに入射した光が、内部走行経路の光Ｌiとなって低反射率領域Ｒlから射出される。そこで、以下に説明する動作では、四方それぞれについて、距離データＤ(x,y)の補正が実行される。
【００４８】
まず、低反射率領域Ｒlの左側の高反射率領域から位置（ｘ，ｙ）までの距離ｒ1に対応する補正係数Ｅ(r1)が求められる。さらに、対象物Ｊでの反射率差ΔＲとテストターゲットＴＴでの反射率差ΔＲt（＝９０％）との比を補正係数Ｅ(r1)に乗じることで、反射率差ΔＲに応じて補正係数Ｅ(r1)を調整する。つまり、この調整値Ｅa(r1)は、次式
Ｅa(r1)＝Ｅ(r1)×ΔＲ／ΔＲt
で与えられる。同様に、低反射率領域Ｒlの上・右・下側それぞれについて、次式
Ｅa(r2)＝Ｅ(r2)×ΔＲ／ΔＲt
Ｅa(r3)＝Ｅ(r3)×ΔＲ／ΔＲt
Ｅa(r4)＝Ｅ(r4)×ΔＲ／ΔＲt
で与えられる調整値Ｅa(r2)、Ｅa(r3)、Ｅa(r4)が求められる。そして、距離データＤ(x,y)はこれらの和、すなわち次式で与えられる補正距離データＤc(x,y)
Ｄc(x,y)＝Ｅa(r1)＋Ｅa(r2)＋Ｅa(r3)＋Ｅa(r4)
に補正される。かかる動作が、低反射率領域Ｒlの全域に対して実行されて、低反射率領域Ｒlの距離データＤが補正距離データＤcとして補正される。
【００４９】
ちなみに、上述したとおり、隣接する高反射率領域Ｒhにより近い位置（ｘ，ｙ）ほど、補正係数Ｅ(r)はより大きくなる。したがって、高反射率領域Ｒhにより近い位置（ｘ，ｙ）に対応する画素Ｐについて求められた距離データＤほど、より短く補正されることとなる。
【００５０】
以上が、図７に示したサブルーチンの概要である。図５に戻って説明を続ける。図７のサブルーチンが実行されて、ステップＳ１０３が完了すると、ステップＳ１０４において距離画像構成回路６２は対象物Ｊの距離画像ＩＭを構成する。具体的には、高反射率領域Ｒhまでの距離として距離データＤが用いられるとともに、高反射率領域Ｒlまでの距離として補正距離データＤcが用いられて、距離画像ＩＭが構成される。こうして構成された距離画像ＩＭは、メインコントローラー６０に出力されて、対象物Ｊの外観認識に供する。
【００５１】
以上に説明したように、上記実施形態では、光源ＣeからイメージセンサーＣrまでの光の飛行時間から求まる対象物Ｊまでの距離データＤが画素Ｐ毎に取得され、この取得された距離データＤに基づいて対象物Ｊの距離画像ＩＭが構成される。このような構成では、上述したとおり、高反射率領域Ｒhに隣接する低反射率領域Ｒlまでの距離データＤは、内部走行経路の光Ｌiの影響を大きく受けて実際より長く求められて、距離画像ＩＭはこれに起因する誤差を含むものとなっていた。これに対して、この実施形態では、高反射率領域Ｒhに隣接する低反射率領域Ｒlが対象物Ｊ表面において特定される。そして、低反射率領域Ｒlに対応する画素Ｐについて求められた距離データＤを短く補正して、距離画像ＩＭが構成される。その結果、誤差の小さい距離画像ＩＭを取得することが可能となっている。
【００５２】
なお、低反射率領域Ｒlのうち、隣接する高反射率領域Ｒhにより近い位置ほど、高反射率領域Ｒhから侵入して内部走行経路を飛行した光Ｌiがより多く射出する。そのため、隣接する高反射率領域Ｒhにより近い位置ほど、内部走行経路の光Ｌiの影響がより大きくなって、対応する距離データＤがより長く求められる傾向にある。これに対して、この実施形態では、低反射率領域Ｒlに対応する画素Ｐのうち、高反射率領域Ｒhにより近い位置に対応する画素Ｐについて求められた距離データＤほど、より短く補正される。これによって、低反射率領域Ｒlに対応する画素Ｐについて求められた距離データＤを、当該画素Ｐに対応する位置と高反射率領域Ｒhの距離ｒに応じて適切に補正することができる。その結果、より誤差の小さい正確な距離画像ＩＭを取得することが可能となる。
【００５３】
また、低反射率領域Ｒlと高反射率領域Ｒhの反射率の差ΔＲが大きいほど、低反射率領域Ｒlについて求められる距離データＤは、高反射率領域Ｒhから侵入して内部走行経路を飛行した光Ｌiの影響を強く受けて、より長くなる。これに対して、この実施形態では、低反射率領域Ｒlと高反射率領域Ｒhの反射率の差ΔＲが大きいほど、低反射率領域Ｒlに対応する画素Ｐについて求められた距離データＤが、より短く補正される。これによって、低反射率領域Ｒlと高反射率領域Ｒhとの反射率の差ΔＲに応じて、低反射率領域Ｒlに対応する画素Ｐについて求められた距離データＤを適切に補正することができる。その結果、より誤差の小さい正確な距離画像ＩＭを取得することが可能となる。
【００５４】
また、対象物Ｊの材質が異なると、対象物Ｊの内部を走行する光の量も異なる。したがって、対象物Ｊの材質によって、低反射率領域Ｒlについて求められる距離データＤが内部走行経路を飛行した光Ｌiの影響を受ける程度は異なる。これに対して、この実施形態では、対象物Ｊの材質に応じて、低反射率領域Ｒlに対応する画素Ｐについて求められた距離データＤを短くする程度が調整されている。
【００５５】
なお、低反射率領域Ｒlを特定する具体的手法については、種々の手法を採用可能である。そこで、この実施形態では、対象物表面の輝度を実質的に表す各画素の受光量が反射強度データＩとして取得される。そして、この反射強度データＩ（輝度情報）に基づいて低反射率領域Ｒlが特定される。つまり、対象物Ｊ表面において、反射率の低い低反射率領域Ｒlは比較的暗いのに対して、反射率の高い高反射率領域Ｒhは比較的明るい。したがって、対象物Ｊ表面の輝度を示す反射強度データＩを取得することで、低反射率領域Ｒlを特定することが可能となっている。
【００５６】
このように、上記実施形態では、三次元カメラＣと三次元認識部６とが協働して本発明の「距離画像取得装置」として機能し、塗装ロボット１が本発明の「外観認識装置」に相当し、記録媒体７が本発明の「記録媒体」に相当し、プログラム８が本発明の「プログラム」に相当する。また、三次元カメラＣおよびデータ取得回路６１が協働してが本発明の「距離取得手段」として機能し、光源Ｃeが本発明の「発光部」に相当し、イメージセンサーＣrが本発明の「受光部」に相当し、画素Ｐが本発明の「画素」に相当し、領域特定回路６３が本発明の「領域特定手段」に相当し、高反射率領域Ｒhが本発明の「高反射率領域」に相当し、低反射率領域Ｒlが本発明の「低反射率領域」に相当し、距離画像構成回路６２が本発明の「距離画像構成手段」に相当し、三次元カメラＣおよびデータ取得回路６１が本発明の「輝度情報取得手段」として機能する。また、距離データＤが本発明の「距離」を表し、反射強度データＩが本発明の「距離情報」を表し、対象物Ｊが本発明の「対象物」に相当している。また、ステップＳ１０１が本発明の「距離取得工程」に相当し、ステップＳ１０２が本発明の「領域特定工程」に相当し、ステップＳ１０３、Ｓ１０４が本発明の「距離画像構成工程」に相当する。
【００５７】
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態では、高反射率領域Ｒhの距離データＤについては特に補正を行っていなかった。しかしながら、高反射率領域Ｒhの距離データＤに対しても内部走行経路を飛行した光Ｌiが影響するような場合等には、必要に応じて高反射率領域Ｒhの距離データＤに対する補正を行っても良い。
【００５８】
また、上記実施形態では、三次元カメラＣが出力する反射強度データＩから低反射率領域Ｒlが特定されていた。しかしながら、低反射率領域Ｒlを特定する具体的手法はこれに限られない。そこで、三次元カメラＣとは別に二次元での撮像を行うカメラを別途設けておき、これの撮像結果から低反射率領域Ｒlを特定するように構成しても良い。
【００５９】
また、上記実施形態では、対象物Ｊにおける反射率差ΔＲとテストターゲットＴＴでの反射率差ΔＲtとの比を距離データＤに乗じることで、領域Ｒh、Ｒl間の反射率差ΔＲに応じて、距離データＤを補正する量を調整していた。しかしながら、反射率差ΔＲに応じて距離データＤを補正する具体的手法はこれに限られない。したがって、反射率差ΔＲと低反射率領域Ｒlでの距離データＤとの相関関係を実験的に求めて距離画像構成回路６２等に記憶しておき、この相関関係に基づいて距離データＤを補正する量を調整しても良い。
【００６０】
また、補正係数Ｅ(r)を求める具体的手法は上述した内容に限られず、適宜変更可能である。具体例を挙げると、テストターゲットＴＴの構成等を適宜変更しても良い。
【００６１】
また、三次元カメラＣの取り付け位置等についても上述したものに限られず、適宜変更可能である。
【００６２】
また、本発明の適用対象は、上述の塗装ロボット１に限られないことは言うまでもない。
【産業上の利用可能性】
【００６３】
この発明は、距離画像を取得する技術の全般に対して適用可能であり、特に対象物の外観を認識したり、この認識結果に基づいて塗装等の処理を実行する技術に好適に適用することができる。
【符号の説明】
【００６４】
１…塗装ロボット
３…コンピューター
６…三次元認識部
６０…メインコントローラー
６１…データ取得回路
６２…距離画像構成回路
６３…領域特定回路
７…記録媒体
８…プログラム
Ｃ…三次元カメラ
Ｄ，Ｄ(r)…距離データ
Ｉ…反射強度データ
ＩＭ…距離画像
Ｊ…対象物
Ｃe…光源
Ｃr…イメージセンサー
Ｐ…画素
Ｒh…高反射率領域
Ｒl…低反射率領域
【図１】
2013195138.tif 000003
【図２】
2013195138.tif 000004
【図３】
2013195138.tif 000005
【図４】
2013195138.tif 000006
【図５】
2013195138.tif 000007
【図６】
2013195138.tif 000008
【図７】
2013195138.tif 000009
【図８】
2013195138.tif 000010
【図９】
2013195138.tif 000011