(57)【要約】　　　（修正有）【課題】スパイクノイズが発生しても、披観測物体上の空間位置を確実に算出する。【解決手段】レーザー光源など、物体表面に強制的に光パタンを発生させるための光パタン投影部５０１と、発生したパタンを撮影するための、第１〜第ｎ番目の画像入力手段である撮像部５０２，５０５と、撮影された画像の輝度分布を算出し、そこから輝度のピーク値を検出するためのピーク検出部５０３，５０６と、ピーク検出部において検出された点から、物体上のサンプル点の空間座標を算出するための位置算出部５０４，５０７と、第１〜ｎ番目までの撮像部５０２，５０５から算出された物体表面の点をε範囲のクラスタに分類し、クラスタ内の点の個数によってクラスタの得点を決定するための得点計算部５０８と、得点計算部で最高得点を得たクラスタの代表点を空間位置情報として出力する出力部５０９とで構成し、空間位置を算出する。【選択図】　　　図３
2004028990.tif 000002
【特許請求の範囲】
【請求項１】
被観測物体表面の光パタンを撮像する２つ以上の撮像手段と、
これら撮像手段によってそれぞれ撮像された画像から光パタンの像と推定される１以上の輝度ピークを検出するピーク検出手段と、
このピーク検出手段によって検出された輝度ピークの軌跡と前記光パタンの軌跡の交点とから、この輝度ピークに対応する空間中の点の位置座標を算出する位置算出手段と、
この位置算出手段から得られた点を所定の距離以内に分布するクラスタに分類し、各クラスタに含まれる点の数をこのクラスタの得点とする得点計算手段と、
この得点計算手段により得られたクラスタの内、最も得点の高いクラスタを構成する点の平均座標を計算する平均座標計算手段と、
この平均座標計算手段により計算された平均座標を、前記光パタンによりサンプリングされた前記被観測物体上の点の座標として出力する出力手段とを具備する
ことを特徴とする画像処理装置。
【請求項２】
前記撮像手段を３つ以上有し、かつ、前記被観測物体表面に発生された光パタンを、少なくとも１つの撮像手段が撮像できるように配された
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
画像処理装置が行う画像処理方法であって、
被観測物体表面の光パタンを撮像する２つ以上の撮像ステップと、
これら撮像ステップにおいてそれぞれ撮像された画像から光パタンの像と推定される１以上の輝度ピークを検出するピーク検出ステップと、
このピーク検出ステップにおいて検出された輝度ピークの軌跡と前記光パタンの軌跡の交点とから、この輝度ピークに対応する空間中の点の位置座標を算出する位置算出ステップと、
この位置算出ステップにおいて得られた点を所定の距離以内に分布するクラスタに分類し、各クラスタに含まれる点の数をこのクラスタの得点とする得点計算ステップと、
この得点計算ステップにおいて得られたクラスタの内、最も得点の高いクラスタを構成する点の平均座標を計算する平均座標計算ステップと、
この平均座標計算ステップにおいて計算された平均座標を、前記光パタンによりサンプリングされた前記被観測物体上の点の座標として出力する出力ステップとを具備する
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、画像処理装置及びその方法に関するものである。
【０００２】
【従来の技術】
従来より３次元位置を観測する装置として、レンジファインダが提案されている。
【０００３】
図６に従って、レーザースポットを光パタンとして利用し、３次元位置を計測するレンジファインダの原理を説明する。
【０００４】
レーザー光源５１７を発したレーザービーム５１８は物体に到達するまで直進する。いま物体５１９がビーム直線上に存在するなら、ビーム５１８は点５２０にスポットを発生させ、撮像面５２３上の点５２４に結像する。
【０００５】
また、物体５１９ではなく、物体５２１が存在する場合には、ビーム５１８は点５２２にスポットを発生させ、撮像面５２３上の点５２５に結像される。この点は撮像面上の輝度分布における最大ピーク値を持つ点として抽出される。
【０００６】
このとき、ビーム直線５１８と視線５２０−５２４の交点座標値を求めると点５２０の空間位置が得られ、ビーム直線５１８と視線５２２−５２５の交点座標値を求めると点５２２の空間位置が得られる。
【０００７】
これが、レンジファインダの座標計算の原理である。
【０００８】
このレンジファインダでは、パタン投影手段と画像入力手段とが別々の位置に配置される必要があるため、物体上の箇所のうち、両者を同時に見ることのできる箇所しか入力できず、各手段の配置と物体表面の形状によって偶然にも両者を同時に見ることのできない箇所が入力不可能な箇所として残る。
【０００９】
このような箇所をオクルージョンと呼ぶことにする。
【００１０】
このオクルージョンの例を図７に示す。
【００１１】
レーザー光源５２６を発したレーザービーム５２７は、物体５２８上の点５２９にスポットを発生させる。しかし、このスポットは物体５２８上の点５３０によって進路を阻まれて撮像面５３１上の点５３２に到達しない。この結果、点５２９の像が検出されないので、この点の空間位置を算出することができない。これがオクルージョンである。
【００１２】
上記のオクルージョンに対処する方法として、例えば、　ＩＥＩＣＥ　ＴＲＡＮＳ．　Ｖｏｌ．Ｅ７４，　Ｎｏ．１０，　ｐｐ３４０７“Ａ　Ｍｅｔｈｏｄ　ｆｏｒ　ｔｈｅ　Ｓｙｎｃｈｒｏｎｉｚｅｄ　Ａｃｑｕｉｓｉｔｉｏｎ　ｏｆ　Ｃｙｌｉｎｄｒｉｃａｌ　Ｒａｎｇｅ　ａｎｄ　Ｃｏｌｏｒ　Ｄａｔａ”　にて提案される生き残り法が上げられる。
【００１３】
これを図８に従って説明する。
【００１４】
画像入力手段を２箇所に置き、撮像面５３８及び５４０を設置する。
【００１５】
レーザー光源５３３を発したレーザービーム５３４は物体に到達するまで直進する。いま、物体５３５がビーム直線上に存在するなら、このレーザービーム５３４は点５３６にスポットを発生させ、撮像面５３８上及び撮像面５４０上の点５３９及び５４１に結像するはずである。
【００１６】
しかし、図８に示す通り、点５３６に発生したスポットは点５３７によって進路を阻まれて点５３９に到達しない。
【００１７】
一方、撮像面５４０上の点５４１には結像するので、座標計算の原理により、この点をもとにして点５３６の空間位置を得ることができる。
【００１８】
このように複数の画像入力手段を用いて、入力の得られたものから空間位置を得る方法を「生き残り法」といい、この方法によってオクルージョンを回避できる。
【００１９】
従来の複数撮像面（もしくは複数光路）を持つ装置はこの生き残り法を実現している。
【００２０】
また、一般にレーザービームが、物体表面に直接作る１次反射スポットが観測されれば、レンジファインダの原理により算出された空間座標値は正しく物体表面のサンプル点の座標値を与えてくれる。
【００２１】
ところが、このレーザービームがさらに反射して物体表面の別の場所に当たって作る２次以降のスポットが最も強い反射を示すとき、このスポットが観測されて誤った空間座標点が算出されることがある。このようなノイズをスパイクノイズと呼ぶ。
【００２２】
このスパイクノイズ発生の原理を図９に示す。
【００２３】
レーザー光源５４２を発したレーザービーム５４３は、物体５４４の点５４５に１次スポットを発生させ、撮像面５５０上の点５４６に像を結ぶ。
【００２４】
一方、レーザービーム５４３は点５４５で反射し物体上の点５４７に２次スポットを発生させ、撮像面５５０上の点５４８に像を結ぶ。
【００２５】
たまたま点５４８の輝度が点５４６よりも明るい場合、撮像面上に現われた輝度分布中で最大ピーク値を持つ点は点５４８となり、この点から空間位置を算出すると点５４９が得られる。この結果、実際の点５４５ではなく、空中に浮いた点５４９に物体表面のサンプル点があるものと錯覚する。これがスパイクノイズである。
【００２６】
上記のスパイクノイズに対処する方法としては、現在、ローパスフィルタが用いられている。
【００２７】
これは、物体表面の周囲のデータと比較して過度に突出している点があれば、それをスパイクノイズとみなし、この点の算出値を棄却して周囲の点から局所平均などで算出しなおす方法である。
【００２８】
しかし、この方法には３つの問題点が挙げられる。
【００２９】
（１）スパイクノイズかどうかを判断するために周囲のデータを必要とすることである。つまり、その点だけを見てスパイクノイズか否かの判断をし、除去することができない。
【００３０】
（２）スパイクノイズであると判断するための閾値を決定する指標がないことである。従って、現在は人間の判断によって閾値を決定しているのが実情である。
【００３１】
（３）起伏に富んだ物体の場合、周囲のデータと比較してもスパイクノイズが否かの判断が困難である点が挙げられる。また、オクルージョン及びスパイクノイズが同時に発生した場合、その両方を回避することは不可能であった。
【００３２】
【発明が解決しようとする課題】
以上述べたように、従来のレンジファインダではスパイクノイズへの対処方法に、多数のデータを必要とすること、スパイク検出の閾値が自動的に決定できないことなどの問題点が存在した。
【００３３】
そして、オクルージョン、スパイクノイズそれぞれの回避方法があったものの、両方同時に対処することは不可能であった。
【００３４】
本発明は、このような問題点に鑑みて成されたものであり、その目的とするところは上記の問題点を解決してより利便性の向上した画像処理装置を提供することである。
【００３５】
【課題を解決するための手段】
請求項１の発明は、被観測物体表面の光パタンを撮像する２つ以上の撮像手段と、これら撮像手段によってそれぞれ撮像された画像から光パタンの像と推定される１以上の輝度ピークを検出するピーク検出手段と、このピーク検出手段によって検出された輝度ピークの軌跡と前記光パタンの軌跡の交点とから、この輝度ピークに対応する空間中の点の位置座標を算出する位置算出手段と、この位置算出手段から得られた点を所定の距離以内に分布するクラスタに分類し、各クラスタに含まれる点の数をこのクラスタの得点とする得点計算手段と、この得点計算手段により得られたクラスタの内、最も得点の高いクラスタを構成する点の平均座標を計算する平均座標計算手段と、この平均座標計算手段により計算された平均座標を、前記光パタンによりサンプリングされた前記被観測物体上の点の座標として出力する出力手段とを具備することを特徴とする画像処理装置である。
【００３６】
請求項２の発明は、前記撮像手段を３つ以上有し、かつ、前記被観測物体表面に発生された光パタンを、少なくとも１つの撮像手段が撮像できるように配されたことを特徴とする請求項１記載の画像処理装置である。
【００３７】
請求項３の発明は、画像処理装置が行う画像処理方法であって、被観測物体表面の光パタンを撮像する２つ以上の撮像ステップと、これら撮像ステップにおいてそれぞれ撮像された画像から光パタンの像と推定される１以上の輝度ピークを検出するピーク検出ステップと、このピーク検出ステップにおいて検出された輝度ピークの軌跡と前記光パタンの軌跡の交点とから、この輝度ピークに対応する空間中の点の位置座標を算出する位置算出ステップと、この位置算出ステップにおいて得られた点を所定の距離以内に分布するクラスタに分類し、各クラスタに含まれる点の数をこのクラスタの得点とする得点計算ステップと、この得点計算ステップにおいて得られたクラスタの内、最も得点の高いクラスタを構成する点の平均座標を計算する平均座標計算ステップと、この平均座標計算ステップにおいて計算された平均座標を、前記光パタンによりサンプリングされた前記被観測物体上の点の座標として出力する出力ステップとを具備することを特徴とする画像処理方法である。
【００３８】
【作　用】
本発明の画像処理装置について説明する。
【００３９】
２つ以上の撮像手段は、非観測物体表面の光パタンを撮像する。
【００４０】
ピーク検出手段は、これら撮像手段によって撮像された画像から光パタンの像と推定される１以上の輝度ピークを検出する。
【００４１】
位置算出手段は、このピーク検出手段によって検出されたピークと前記光パタンの軌跡とから、このピークに対応する空間中の点の１座標を算出する。すなわち、ピークと光パタンの軌跡の交点を１座標とする。
【００４２】
得点計算手段は、この位置算出手段から得られた点を所定の距離以内に分布するクラスタに分布させ、各クラスタに含まれる点の数をこのクラスタの得点とする。
【００４３】
平均座標検出手段は、この得点計算手段により得られたクラスタのうち、最も得点の高いクラスタを構成する点の平均座標を計算する。
【００４４】
出力手段は、この平均座標検出手段により計算された平均座標を、前記光パタンによりサンプリングされた前記非観測物体上の点の座標として出力する。
【００４５】
この画像処理装置によれば、最も得点の高いクラスタを構成する点をサンプリングされた被観測物体上の点の座標とするため、スパイクノイズを除去することができる。
【００４６】
【実施例】
（第１の実施例）
本発明の画像処理装置に係る３次元センサー装置の第１の実施例を図面に従って説明する。
【００４７】
図１は、本実施例の３次元センサー装置の全体構成図である。
【００４８】
符号５０１は、レーザー光源など、物体表面に強制的に光パタンを発生させるための光パタン投影部である。
【００４９】
符号５０２，５０５は、発生したパタンを撮影するための、第１〜第ｎ番目の画像入力手段である撮像部である。
【００５０】
符号５０３，５０６は、撮影された画像の輝度分布を算出し、そこから輝度のピーク値を検出するためのピーク検出部である。
【００５１】
符号５０４，５０７は、ピーク検出部において検出された点から、物体上のサンプル点の空間座標を算出するための位置算出部である。
【００５２】
符号５０８は、第１〜ｎ番目までの撮像部５０２，５０５から算出された物体表面の点をε範囲のクラスタに分類し、クラスタ内の点の個数によってクラスタの得点を決定するための得点計算部である。
【００５３】
符号５０９は、得点計算部で最高得点を得たクラスタの代表点を空間位置情報として出力する出力部である。
【００５４】
図２に従って、本発明として提案するスパイクノイズを回避可能とする「多数決法」の原理を説明する。
【００５５】
多数決法では、画像入力手段であるカメラの撮像部５５５，５５７を置く。図２の場合、説明簡略のため２箇所に置くこととする。
【００５６】
レーザー光源５５１を発したレーザービーム５５２は、物体５５３の点５５４に到達し、１次スポットを発生させる。そして、撮像面５５５上の点５５６及び撮像面５５７上の点５５８に像を結ぶ。
【００５７】
一方、レーザービーム５５２は、点５５４で反射して、点５５９に２次スポットを作り、撮像面５５５上の点５６０及び撮像面５５７上の点５６１に像を結ぶ。
【００５８】
従って、撮像部５５５，５５７からピーク検出を行うと点５５６，５５８，５６０及び５６１の４点が候補点に挙がる。
【００５９】
次に、この４点及びレーザービーム５５２から空間座標を算出する。
【００６０】
ここで、物体表面上のサンプル点を真の点とすると、２つのカメラから別々に位置を算出しても真の点の位置は、ほぼ同一の点を示すはずである。ただし、カメラのセッティング時の誤差、あるいは量子化誤差を含んでいるので、全く同一の点を示すとは限らない。
【００６１】
よってそれぞれの点を中心としたε範囲のクラスタを発生させる。クラスタ内に含まれる点の個数をこのクラスタの得点とし、最高得点のクラスタ内の点の空間座標を平均し、この平均した空間座標を真の点とみなす。
【００６２】
図２の場合、レーザー光源５５１を発したビームの軌道、及び物体５５３から反射し、この５点を得たビームの軌道（５５２−５５６、５５２−５５８、５５２−５６０、５５２−５６１）の交点を得て空間座標を算出する。すなわち、点５５６及び５５８からは点５５４が、点５６０からは物体からかけ離れた点が、点５６１からは点５６２が算出される。
【００６３】
それぞれのクラスタを発生させた場合、点５５４を含むクラスタが最高の２点を獲得するため、点５５４が真の点であり、その他の点がスパイクノイズであったことが確認される。
【００６４】
以上の方法を多数決法と呼ぶ。この方法は撮像部の数が２以上から利用可能であり、多ければ多いほどその安定性が増す。
【００６５】
（第２の実施例）
次に、本発明の第２の実施例を図３及び図４に従って示す。
【００６６】
本実施例は、オクルージョン及びスパイクノイズの両方を同時に回避可能とするために、生き残り法と多数決法を併用したものである。
【００６７】
この方法では、３つ以上の画像入力手段を配置する。図３は画像入力手段としてカメラを３つ配置した例であり、そのカメラの撮像面を５６８，５７０，５７２に置く。
【００６８】
図３において、レーザー光源５６３を発したレーザービーム５６４は物体５６５上の点５６６に到達し、１次スポットを発生させる。
【００６９】
この時、撮像面５６８上の点５６９では、点５６７によってオクルージョンが発生し像は結ばれないが、複数カメラにより画像撮影したことにより、生き残り法の原理通り、撮像面５７０及び５７２上の点５７１及び５７３には像を結ぶ。従って、オクルージョンは回避されたことになる（図４のＤ０１）。
【００７０】
一方、レーザービーム５６４は、点５６６で反射して点５７４で２次スポットを作り、３つの撮像面５６８，５７０及び５７２上の点５７５，５７６及び５７７に像を結び、スパイクノイズを発生させる。
【００７１】
ここで、周囲の点の輝度値が自分よりも低い値である点をピーク候補として抽出し（図４のＤ０２）、閾値処理を行ってピーク候補の中から輝度ピークを検出する。
【００７２】
図３の場合、３つの撮像部からピーク検出を行うと、点５７１，５７３，５７５，５７６及び５７７の５点が輝度ピーク値を持つ点として検出される（図４のＤ０３）。
【００７３】
よって、光源５６３を発したビームの軌道、及び物体５６５から反射しこの５点を得たビームの軌道（５６６−５７１、５６６−５７３、５７４−５７５、５７４−５７６、５７４−５７７）の交点を得ることにより、点５６６，５７８及び５７９周辺の空間座標を算出する（図４のＤ０４）。
【００７４】
多数決法と同様に、この交点よりε範囲のクラスタを生成する。図３の場合、点５６６を含むクラスタ、点５７８を含むクラスタ、点５７９を含むクラスタが生成される（図４のＤ０５）。
【００７５】
次に、個々のクラスタについて、クラスタが含む点の個数を得点と見なし得点計算を行う（図４のＤ０６）。
【００７６】
図３において、点５７１及び５７３から算出された点５６６を含むクラスタが、最高点２点を獲得するため、点５６６を含むクラスタ内に真の点が存在する。この得点計算により、スパイクノイズであった点５７８及び５７９は除去されたことになる（図４のＤ０７）。
【００７７】
最後は、点５６６を含むクラスタ内の点を平均することにより真の点を決定する（図４のＤ０８）。
【００７８】
このように、オクルージョンとスパイクノイズが同時に発生していても、カメラを３つ以上置くことで生き残り法と多数決法を併用することによって、両方を同時に回避することが可能である。
【００７９】
（第３の実施例）
また、本発明における第３の実施例を以下に説明する。
【００８０】
図５に示すように、前記画像入力手段である撮像部５１１または５１２などを複数配置し、各々で撮像された画像を順次ピーク検出部５１３によって処理し、全ての画像について輝度ピークの検出を行う。このピーク検出により検出されたピークに基づいて、位置検出部５１４にて空間中の点の位置座標を算出及び蓄積する。同時に撮像された複数画像の処理を終えた時点で、蓄積した位置座標を得点計算部５１５に出力し、得点計算を行って真の点を導き、結果を出力部５１６に出力する。
【００８１】
（変形例）
なお、本発明は上記の実施例に限定されるものではなく、様々に変形して実施可能である。すなわち、少なくとも多数決法が実行可能でありさえすれば、撮像手段、ピーク検出手段、位置算出手段の数量関係は、様々に設定可能である。
【００８２】
例えば、ｎ個の撮像手段とｍ個のピーク検出手段と１個の位置算出手段による構成をとることも可能である。
【００８３】
要するに、本発明においては少なくとも多数決法が実行可能であるか、もしくは多数決法と生き残り法が両立可能であるならば、構成上の細部の差異は問わない。
【００８４】
【発明の効果】
本発明によれば、最も得点の高いクラスタを構成する点をサンプリングされた被観測物体上の点の座標とする多数決法により、スパイクノイズを除去できるため、被観測物体上の空間位置を確実に算出することができる。
【図面の簡単な説明】
【図１】本発明に係る実施例の３次元センサー装置の全体構成図である。
【図２】３次元センサー装置におけるスパイクノイズ回避のための多数決法を例示した図である。
【図３】３次元センサー装置におけるオクルージョン及びスパイクノイズ発生時の動作を示した図である。
【図４】３次元センサー装置における処理の流れを示したフローチャート図である。
【図５】第２の発明に係る３次元センサー装置の他の実施例の全体構成部である。
【図６】レンジファインダの原理図である。
【図７】レンジファインダにおけるオクルージョン発生の原理を示した図である。
【図８】レンジファインダにおけるオクルージョン回避のための生き残り法の原理を示した図である。
【図９】レンジファインダにおけるスパイクノイズ発生の原理を示した図である。
【符号の説明】
５０１　光パタン投影部
５０２　第１の撮像部
５０３　第１のピーク検出部
５０４　第１の位置算出部
５０５　第ｎの撮像部
５０６　第ｎのピーク検出部
５０７　第ｎの位置算出部
５０８　得点計算部
５０９　出力部
【図１】
2004028990.tif 000003
【図２】
2004028990.tif 000004
【図３】
2004028990.tif 000005
【図４】
2004028990.tif 000006
【図５】
2004028990.tif 000007
【図６】
2004028990.tif 000008
【図７】
2004028990.tif 000009
【図８】
2004028990.tif 000010
【図９】
2004028990.tif 000011