(57)【特許請求の範囲】
【請求項１】
大きさおよび形状が同一若しくは異なる複数の物体から被検出対象となる物体を検出する物体検出装置において、
距離計測装置により前記被検出対象となる物体を含む前記の複数の物体までの距離情報を分布させた距離画像を取得する手段と、
前記出力された距離画像を２値化手段により２値化して２値画像を作成する手段と、
前記作成された距離画像に関する２値画像の演算対象となる各画素に対して、論理演算される演算用画素範囲の初期値を、前記２値画像の中の前記被検出対象となる物体の内の１つを示す領域の幅方向の画素数に１を加算した値ｄを用いて１画素×ｄ画素の範囲とし、
前記演算対象となる各画素の前記距離情報が大きいほど前記値ｄを小さい値とし、前記距離情報が小さいほど前記値ｄを大きい値として、前記演算対象となる各画素毎に前記演算用画素範囲を変更させ、前記演算対象となる各画素に前記演算用画素範囲をあてはめて前記演算用画素範囲内の画素との論理積をとる収縮処理を実行する手段と、
前記収縮処理により取得された収縮処理画像に対して、前記演算対象となる各画素の前記距離情報が大きいほど前記値ｄを小さい値とし、前記距離情報が小さいほど前記値ｄを大きい値として、前記演算対象となる各画素毎に前記演算用画素範囲を変更させ、前記演算対象となる各画素に前記演算用画素範囲をあてはめて前記演算用画素範囲内の画素との論理和を取る膨張処理を実行し、物体検出画像を取得する手段と、を有している
ことを特徴とする物体検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、少なくとも１つの物体を含む距離画像から物体を検出する物体検出方法に関する。
【０００２】
【従来の技術】
従来、少なくとも１つの物体を含む画像から物体の存在（領域）を検出する方法として、撮像装置から入力された画像である濃淡画像を２値化した２値画像に対し、収縮処理、膨張処理または収縮処理及び膨張処理の併用といった手段を適用する方法が知られている。
例えば、このような収縮処理あるいは膨張処理には、入力画像上の全ての画素に対し、データの存在するところを起点として、画素とオペレータとの論理積（Erosion）を取ることによる画像を収縮させる機能と、論理和（Dilation）を取ることによる画像を膨張させる機能とを有するMathematical  Morphologyといった手法が提案されている（例えば、“Image  Analysis  Using  Mathematical  Morphology”、IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.PAMI-9, No.4, 1987）。
次に、上記のMathematical  Morphologyを用いた物体の画像処理の一例を、図６の従来の物体検出方法を示すフローチャートを基に説明する。なお、フローチャートは以下のステップＳＴ２１〜２４で示される。また、図７は物体検出における画像取得手段と対象物との位置関係を表した図である。
まず、ステップＳＴ２１で、撮像装置により被検出対象の物体の濃淡画像を取得する。これは例えば、図７に示すように、画像取得手段６０２としてＣＣＤカメラなどの撮像装置を用いると共に、テーブル６０３上に撮像装置６０２から異なる距離に置かれた第１の対象物６０４、第２の対象物６０５、第３の対象物６０６を、撮像装置６０２によって撮像すると、撮像装置６０２上で各々の対象物６０４、６０５、６０６に対する濃淡画像６０７、６０８、６０９並びにテーブル６０３に対する濃淡画像６１０が取得される。
この場合、第１の対象物６０４と第３の対象物６０６は実際の大きさおよび形状が同じであるものの、撮像装置６０２からの距離が異なるため、撮像装置の濃淡画像上６０１で比較すると、第１の対象物６０４の濃淡画像６０７の方が大きく表される。また、第１の対象物６０４と第２の対象物６０５とで比較すると、実際の大きさおよび形状は第１の対象物６０４の方が大きいが、逆に撮像装置６０２からの距離は第２の対象物６０５の方が近いため、撮像装置の濃淡画像６０１上では二つの対象物６０４、６０５の濃淡画像６０７、６０８とも同じ大きさで表されている。
次にステップＳＴ２２で、濃淡画像６０１を２値化手段（図示せず）で２値化し、２値画像を作成する。この濃淡画像６０１に関する２値化結果を図８に示す。
図８は従来の方法による濃淡画像に関する２値化結果である。７０１は濃淡画像６０１に関する２値画像、７０２は第１の対象物６０４に対する２値画像、７０３は第２の対象物６０５に対する２値画像、７０４が第３の対象物６０６に対する２値画像である。ここで、テーブル６０３に対する濃淡画像６１０は、濃淡画像に関する２値化手段（図示せず）により適当な閾値を設定することで、濃淡画像に関する２値画像７０１上で消去される。
ステップＳＴ２３では、濃淡画像に関する２値画像７０１に対して、濃淡画像に関する収縮処理を行う。ここでは、濃淡画像に関する収縮処理にMathematical Morphologyの論理積（Erosion）を用いる。この論理積には濃淡画像に関するオペレータを用いて行う。濃淡画像に関するオペレータを１画素×ｅ画素とし、ｅを濃淡画像に関する第１の対象物６０４に対する２値画像７０２あるいは濃淡画像に関する第２の対象物６０５に対する２値画像７０３の横幅の画素＋１とする。濃淡画像に関する収縮処理結果を図９に示す。
図９は従来の方法による濃淡画像に関する収縮処理結果である。８０１が濃淡画像に関する収縮処理画像、８０２が濃淡画像に関する第１の対象物６０４に対する収縮処理画像、８０３が濃淡画像に関する第２の対象物６０５に対する収縮処理画像である。このように濃淡画像に関する収縮処理を行うと、濃淡画像に関する２値画像７０１から、第３の対象物６０６に対する２値画像７０４が消去される。
さらにステップＳＴ２４で、濃淡画像に関する収縮処理画像８０１に対して濃淡画像に関する膨張処理を行う。ここでは、濃淡画像に関する膨張処理手段にMathematical Morphologyの論理和（Dilation）を用いる。論理和には濃淡画像に関するオペレータを用いて行う。濃淡画像に関する膨張処理結果を図１０に示す。
図１０は従来の方法による濃淡画像に関する膨張処理結果である。６１１は濃淡画像に関する物体検出画像、９０１は濃淡画像に関する第１の対象物に対する膨張処理画像、９０２は濃淡画像に関する第２の対象物に対する膨張処理画像である。
これより、第１の対象物６０４と第２の対象物６０５を、濃淡画像６０１あるいは濃淡画像に関する２値画像７０１上で検出することができる。
【０００３】
【発明が解決しようとする課題】
ところが、上記の従来技術では、撮像装置から互いに距離が異なる位置に置かれた複数の物体が存在する場合であって、互いに大きさおよび形状が異なる物体同士の存在については物体を検出することができるが、互いに大きさおよび形状が同じである物体同士の存在については物体を検出することができないという問題があった。その結果、異なる大きさの物体を同じ大きさの物体と検出してしまう問題が生じた。
そこで、本発明は、画像取得手段からの距離が互いに異なる位置に複数の物体の存在した場合であっても、画像上から互いに大きさおよび形状が同じである物体同士の存在を正しく検出することのできる物体検出方法を提供することを目的とする。
【０００４】
【課題を解決するための手段】
上記課題を解決するため、本発明は、大きさおよび形状が同一若しくは異なる複数の物体から被検出対象となる物体を検出する物体検出装置において、距離計測装置により前記被検出対象となる物体を含む前記の複数の物体までの距離情報を分布させた距離画像を取得する手段と、前記出力された距離画像を２値化手段により２値化して２値画像を作成する手段と、前記作成された距離画像に関する２値画像の演算対象となる各画素に対して、論理演算される演算用画素範囲の初期値を、前記２値画像の中の前記被検出対象となる物体の内の１つを示す領域の幅方向の画素数に１を加算した値ｄを用いて１画素×ｄ画素の範囲とし、前記演算対象となる各画素の前記距離情報が大きいほど前記値ｄを小さい値とし、前記距離情報が小さいほど前記値ｄを大きい値として、前記演算対象となる各画素毎に前記演算用画素範囲を変更させ、前記演算対象となる各画素に前記演算用画素範囲をあてはめて前記演算用画素範囲内の画素との論理積をとる収縮処理を実行する手段と、前記収縮処理により取得された収縮処理画像に対して、前記演算対象となる各画素の前記距離情報が大きいほど前記値ｄを小さい値とし、前記距離情報が小さいほど前記値ｄを大きい値として、前記演算対象となる各画素毎に前記演算用画素範囲を変更させ、前記演算対象となる各画素に前記演算用画素範囲をあてはめて前記演算用画素範囲内の画素との論理和を取る膨張処理を実行し、物体検出画像を取得するものである。
【０００５】
【発明の実施の形態】
以下、本発明の実施例を図に基づいて説明する。
図１は、本発明の実施例を示す物体検出方法のフローチャートである。なお、本発明が従来と同じ構成要素についてはその説明を省略し異なる点のみ説明する。
まず、ステップＳＴ１１において、距離計測装置により被検出対象となる物体の距離画像を求める。距離画像は対象物までの距離情報を分布させた画像であり、該距離画像を求めるには例えば、図７に示すように、画像取得手段６０２（撮像装置）に替えてレーザレンジファインダやステレオカメラ等の距離計測装置（６０２）を使用する。この距離計測装置でテーブル６０３上に置かれた第１の対象物６０４、第２の対象物６０５および第３の対象物６０６を計測すると、距離計測装置（６０２）上で各々の対象物６０４、６０５、６０６に対する距離画像を取得できる。
図２は距離計測装置を用いて取得したテーブルおよび各々の対象物のシーンの距離画像である。２０１が距離画像、２０２が第１の対象物６０４に対する距離画像、２０３が第２の対象物６０５に対する距離画像、２０４が第３の対象物６０６に対する距離画像である。距離画像２０１は距離計測装置（６０２）に近い部分ほど白く表現されている。なお、テーブル６０３に対する距離画像は、距離計測装置の計測範囲外のため、距離画像には現れない。
次にステップＳＴ１２で、距離画像２０１を２値化手段（図示せず）で２値化し、２値画像を作成する。
図３はこの距離画像に関する２値化結果を示す。３０１は距離画像に関する２値画像、３０２は距離画像に関する第１の対象物に対する２値画像、３０３は距離画像に関する第２の対象物に対する２値画像、３０４は距離画像に関する第３の対象物に対する２値画像である。
続いてステップＳＴ１３で、距離画像に関する２値画像３０１に対して距離画像に関する収縮処理を行う。
すなわち、距離画像に関する収縮処理で行うMathematical MorphologyのErosionを、オペレータのサイズを距離情報に応じて変更しながら実行するようにしたものである。距離情報は、焦点距離と距離画像の各画素の距離とで構成する。従って、距離画像に関する収縮処理は距離画像に関するオペレータ、焦点距離、各画素の距離データを入力として、オペレータのサイズを各画素の距離に応じて変更しながらErosionを行う。距離画像に関するオペレータを１画素×ｄ画素とし、ｄを距離画像に関する第３の対象物に対する２値画像３０４の横幅の画素＋１とする。ここで、焦点距離は距離画像２０１を取得する際の距離計測装置の焦点距離でｆとする。また、各画素の距離データは距離画像２０１の各画素の距離値でｈ（ｉ，ｊ）とする。ｈ（ｉ，ｊ）は、画素（ｉ，ｊ）に対する距離値である。距離画像に関する収縮処理手段では、以下の式のようにオペレータのサイズを決定する。
【０００６】
【数１】
0004458210.tif 000002
【０００７】
ここで、ｒは調整率で、ｄの大きさを調整する定数である。ｄ'（ｉ，ｊ）は距離画像２０１の各画素で演算されるオペレータサイズである。図４にこのオペレータを用いて行ったErosionによる収縮処理結果を示す。
４０１が距離画像に関する収縮処理画像、４０２が距離画像に関する第１の対象物に対する収縮処理画像、４０３が距離画像に関する第３の対象物に対する収縮処理画像である。第２の対象物６０５は距離計測装置に近いため、すなわち、ｈ（ｉ，ｊ）が小さいため、ｄ'（ｉ，ｊ）が大きくなり、Erosionの結果、距離画像に関する２値画像３０１から消えてしまう。第３の対象物６０６は距離計測装置から遠いため、すなわち、ｈ（ｉ，ｊ）が大きいため、ｄ'（ｉ，ｊ）が小さくなり、Erosionの結果、距離画像に関する２値画像３０１から残る。
さらにステップＳＴ１４で、距離画像に関する収縮処理画像４０１に対して膨張処理を行うが、ここではオペレータサイズは式（１）による演算によって決定する。図５にこのオペレータを用いて行ったDilationによる膨張処理結果を示す。
１０７は距離画像に関する物体検出画像、５０１は距離画像に関する第１の対象物に対する膨張処理画像、５０２が距離画像に関する第３の対象物に対する膨張処理画像である。
このように第１の対象物６０４と第３の対象物６０６とが距離画像あるいは距離画像に関する２値画像上で検出できる。
したがって、本発明の実施例は、上記のような方法にしたので、距離測定装置から互いに距離が異なる位置に置かれた複数の物体が存在する場合であっても、大きさおよび形状が同じである物体同士の存在を正しく検出することができる。これにより、異なる大きさの物体を同じ大きさの物体と誤って検出してしまう問題は全く生じない。
なお、本実施例では、大きさおよび形状の異なる物体の存在を検出することを目的として、距離画像に関する２値画像に対し、収縮処理、さらに膨張処理を施した方法について説明したが、膨張処理を行わずに収縮処理だけを用いた方法でも構わない。
【０００８】
【発明の効果】
以上説明したように、本発明によれば、距離画像あるいは距離画像の２値画像に対し、距離画像の焦点距離および各画素の距離データに応じてサイズを決定できるオペレータを用いたMathematical  Morphologyによる収縮処理あるいは膨張処理あるいは収縮処理及び膨張処理を行うようにしたので、距離の異なる位置に、大きさ及び形状が同じ物体が置かれていても、画像上から正しく物体の存在を検出することができるという効果がある。
【図面の簡単な説明】
【図１】  本発明の実施例を示す物体検出方法のフローチャートである。
【図２】  本発明の実施例により取得された距離画像である。
【図３】  本発明の実施例により取得された距離画像の２値化結果である。
【図４】  本発明の実施例により取得された距離画像に関する収縮処理結果である。
【図５】  本発明の実施例により取得された距離画像に関する膨張処理結果である。
【図６】  従来の物体検出方法を示すフローチャート図である。
【図７】  従来の物体検出方法による撮像装置と対象物の位置関係を表した図である。
【図８】  従来の方法による濃淡画像に関する２値化結果である。
【図９】  従来の方法による濃淡画像に関する収縮処理結果である。
【図１０】  従来の方法による濃淡画像に関する膨張処理結果である。
【符号の説明】
２０１  距離画像
２０２  第１の対象物に対する距離画像
２０３  第２の対象物に対する距離画像
２０４  第３の対象物に対する距離画像
２０５  距離画像に関する物体検出画像
３０１  距離画像に関する２値画像
３０２  距離画像に関する第１の対象物に対する２値画像
３０３  距離画像に関する第２の対象物に対する２値画像
３０４  距離画像に関する第３の対象物に対する２値画像
４０１  距離画像に関する収縮処理画像
４０２  距離画像に関する第１の対象物に対する収縮処理画像
４０３  距離画像に関する第３の対象物に対する収縮処理画像
５０１  距離画像に関する第１の対象物に対する膨張処理画像(物体検出画像)
５０２  距離画像に関する第３の対象物に対する膨張処理画像(物体検出画像)
６０１  濃淡画像
６０２  画像取得手段
６０３  テーブル
６０４  第１の対象物
６０５  第２の対象物
６０６  第３の対象物
６０７  第１の対象物に対する濃淡画像
６０８  第２の対象物に対する濃淡画像
６０９  第３の対象物に対する濃淡画像
６１０  テーブルに対する濃淡画像
６１１  濃淡画像に関する物体検出画像
７０１  濃淡画像に関する２値画像
７０２  濃淡画像に関する第１の対象物に対する２値画像
７０３  濃淡画像に関する第２の対象物に対する２値画像
７０４  濃淡画像に関する第３の対象物に対する２値画像
８０１  濃淡画像に関する収縮処理画像
８０２  濃淡画像に関する第１の対象物に対する収縮処理画像
８０３  濃淡画像に関する第２の対象物に対する収縮処理画像
９０１  濃淡画像に関する第１の対象物に対する膨張処理画像(物体検出画像)
９０２  濃淡画像に関する第２の対象物に対する膨張処理画像(物体検出画像)
【図１】
0004458210.tif 000003
【図２】
0004458210.tif 000004
【図３】
0004458210.tif 000005
【図４】
0004458210.tif 000006
【図５】
0004458210.tif 000007
【図６】
0004458210.tif 000008
【図７】
0004458210.tif 000009
【図８】
0004458210.tif 000010
【図９】
0004458210.tif 000011
【図１０】
0004458210.tif 000012