(57)【要約】【課題】  対象物の有無を精度良く認識することができる画像認識装置を提供する。【解決手段】  画像認識装置１は、対象物を撮像する２つのカメラと演算処理ユニットとを備えている。演算処理ユニットは、各カメラによる対象物の撮像画像に基づいて、対象物の表面形状を多数の点の集合として三次元空間上に復元し、これらの復元点を含む三次元空間をボクセルに分割して三次元ボクセル群を生成し、更にその三次元ボクセル群をスライスして複数の二次元ボクセル群に変換する。そして、演算処理ユニットは、各二次元ボクセル群における各ボクセルに含まれる復元点の数をカウントし、そのカウント数から各ボクセルにおける対象物の存在確率を決定し、その結果に応じて対象物の有無を認識する。【選択図】  図２
2008225785.tif 000002
【特許請求の範囲】
【請求項１】
撮像部により取得した対象物の撮像画像を用いて前記対象物を認識する画像認識装置において、
前記対象物の撮像画像に基づいて、前記対象物の表面に対応する複数の点を三次元空間上に復元する三次元復元手段と、
前記三次元復元手段により復元された複数の点を含む三次元空間を複数のボクセルに分割する空間分割手段と、
前記空間分割手段により分割して得られた各ボクセルに含まれる点の数をカウントし、前記各ボクセルにおける前記対象物の存在確率を決定する存在確率決定手段とを備えることを特徴とする画像認識装置。
【請求項２】
前記空間分割手段により分割して得られた前記複数のボクセルからなる三次元ボクセル群を複数の二次元ボクセル群に変換する手段を更に備え、
前記存在確率決定手段は、前記各二次元ボクセル群毎に、前記各ボクセルに含まれる点の数をカウントすることを特徴とする請求項１記載の画像認識装置。
【請求項３】
前記空間分割手段は、前記撮像部から遠くなるにつれて前記ボクセルのサイズが大きくなるように、前記復元された複数の点を含む三次元空間を複数のボクセルに分割することを特徴とする請求項１または２記載の画像認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物の撮像画像を用いて対象物を認識する画像認識装に関するものである。
【背景技術】
【０００２】
従来の画像認識装置としては、例えば非特許文献１に記載されているように、物体の表面形状を点の集合として三次元空間上に復元し、その三次元空間の各ボクセルに点が存在するかどうかを検出するものが知られている。
【非特許文献１】FANG,S. AND CHEN,H.2000.Hardware AcceleratedVoxelization.Computers&Graphics 24,3(June),433-442.
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来技術においては、以下の問題点が存在する。即ち、画像認識装置を例えばロボットに適用し、画像認識装置の認識結果に応じてロボットの移動経路を求める場合、ノイズ等の影響により誤って点が１つでも復元されると、本来ならば存在しないはずの場所に障害物が存在すると判断されてしまう。この場合には、ロボットの正しい移動経路が得られなくなる。
【０００４】
本発明の目的は、対象物の有無を精度良く認識することができる画像認識装置を提供することである。
【課題を解決するための手段】
【０００５】
本発明は、撮像部により取得した対象物の撮像画像を用いて対象物を認識する画像認識装置において、対象物の撮像画像に基づいて、対象物の表面に対応する複数の点を三次元空間上に復元する三次元復元手段と、三次元復元手段により復元された複数の点を含む三次元空間を複数のボクセルに分割する空間分割手段と、空間分割手段により分割して得られた各ボクセルに含まれる点の数をカウントし、各ボクセルにおける対象物の存在確率を決定する存在確率決定手段とを備えることを特徴とするものである。
【０００６】
このような画像認識装置においては、復元された複数の点を含む三次元空間を複数のボクセルに分割し、各ボクセルに含まれる点の数をカウントし、各ボクセルにおける対象物の存在確率を決定する。このとき、ボクセルに含まれる復元点の数が多くなるほど、ボクセルにおける対象物の存在確率を高くする。そして、ボクセルにおける対象物の存在確率が所定値よりも低いときは、そのボクセルに含まれる復元点はノイズ等の影響により誤って復元されたものと判断し、当該ボクセルに対応する位置には対象物は存在していないとみなす。これにより、ノイズ等の影響を除外して、対象物の有無を精度良く認識することができる。
【０００７】
好ましくは、空間分割手段により分割して得られた複数のボクセルからなる三次元ボクセル群を複数の二次元ボクセル群に変換する手段を更に備え、存在確率決定手段は、各二次元ボクセル群毎に、各ボクセルに含まれる点の数をカウントする。このように三次元ボクセル群を二次元ボクセル群に変換することにより、各ボクセルに含まれる点の数のカウントする処理を、二次元画像の処理に好適なＧＰＵ等を用いて高速に行うことが可能となる。
【０００８】
また、好ましくは、空間分割手段は、撮像部から遠くなるにつれてボクセルのサイズが大きくなるように、復元された複数の点を含む三次元空間を複数のボクセルに分割する。この場合には、撮像部から遠く離れるほどボクセルの数が少なくなるので、存在確率決定手段の処理時間を短縮すると共に、存在確率データの格納に必要なメモリサイズを小さくすることができる。なお、撮像部から遠く離れた復元点については位置精度が低いため、撮像部から遠く離れたボクセルのサイズを大きくしても、対象物の有無の認識処理には殆ど支障は無い。
【発明の効果】
【０００９】
本発明によれば、対象物の有無を精度良く認識することができる。これにより、例えば画像認識装置の認識結果を用いてロボットを任意の位置に移動させる場合に、ロボットの正しい移動経路を求めることが可能となる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明に係わる画像認識装置の好適な実施形態について、図面を参照して詳細に説明する。
【００１１】
図１は、本発明に係わる画像認識装置の一実施形態を示す概略構成図である。同図において、本実施形態の画像認識装置１は、例えば産業用ロボット（図示せず）等に搭載されるものである。
【００１２】
同図において、画像認識装置１は、ロボット前方を撮像するカメラ２，３と、これらのカメラ２，３と接続された演算処理ユニット４とを備えている。カメラ２，３は、例えばＣＣＤカメラであり、異なる２つの視点から対象物Ａを撮像するようにロボットの両眼部（図示せず）に設けられている。カメラ２，３により対象物Ａが撮像されると、その対象物Ａの画像がカメラ２，３の撮像面２ａ，３ａにそれぞれ投影される。
【００１３】
演算処理ユニット４は、カメラ２，３により取得した対象物Ａの撮像画像を入力し、所定の画像処理を行い、ロボット前方に障害物や把持物体等が実際に存在しているかどうかを判定する。演算処理ユニット４による演算処理手順の詳細を図２に示す。
【００１４】
同図において、まず例えば三角測量の原理を利用したステレオ視を用いて、図３（ａ）に示すように、カメラ２，３により撮像された対象物Ａの表面形状（凹凸）を多数の点Ｐの集合として三次元空間上に復元する（手順Ｓ５１）。カメラ２，３の画像面２ａ，３ａにおいて同一の点Ｐの対応付けを行うことで、三角測量の原理により奥行きを知ることができる。
【００１５】
続いて、図３（ｂ）に示すように、手順Ｓ５１で得られた全ての点（復元点）Ｐを含む三次元空間を小空間（ボクセル）Ｑに分割することにより、三次元的に配列された複数のボクセルＱからなる三次元ボクセル群Ｒを生成する（手順Ｓ５２）。これにより、全ての復元点Ｐは、何れかのボクセルＱに含まれることとなる。
【００１６】
続いて、図３（ｃ）に示すように、手順Ｓ５２で得られた三次元ボクセル群Ｒをスライスすることで、複数のボクセルＱがマトリクス状に配列されてなる二次元ボクセル群Ｓを複数生成する（手順Ｓ５３）。つまり、三次元ボクセル群Ｒを複数の二次元ボクセル群Ｓに変換する。
【００１７】
続いて、二次元ボクセル群Ｓにおける各ボクセルＱに含まれる復元点Ｐの数をカウントし、そのカウント数に応じて各ボクセルＳに対象物Ａが存在する確率（存在確率）を決定する（手順Ｓ５４）。このとき、ボクセルＳに含まれる復元点Ｑの数が多くに従って、例えば線形的または指数関数的に存在確率を高くする。
【００１８】
二次元ボクセル群Ｓは、１枚の二次元画像とみなして処理することができる。従って、本処理は、例えば二次元画像を高速で処理することが可能とされるＧＰＵ（Graphic Processing Unit）を用いて実行する。このとき、各ボクセルＱに含まれる復元点Ｐの数は、例えば図４に示すように輝度の階調値として表わされる。
【００１９】
続いて、手順Ｓ５３で得られた各ボクセルＱの存在確率データを、各ボクセルＱの位置データと共にメモリ（図示せず）に記憶させる（手順Ｓ５５）。
【００２０】
続いて、全てのボクセルＰにおける対象物Ａの存在確率を求めたかどうかを判断し（手順Ｓ５５）、全ボクセルＰにおける対象物Ａの存在確率が未だ求められていないときは、他の二次元ボクセル群Ｓについて上記の手順Ｓ５４，Ｓ５５を繰り返し実行する。一方、全ボクセルＰにおける対象物Ａの存在確率が求められたときは、メモリ（図示せず）に記憶された各ボクセルＱの存在確率データを読み出し、カメラ２，３の撮像範囲内に障害物や把持物体等があるかどうかを判断する（手順Ｓ５７）。その判断は、具体的に以下のようにして行う。
【００２１】
即ち、実際に障害物等が存在する位置では、その位置に対応するボクセルＱに含まれる復元点Ｐの数が多くなる。しかし、上記の手順Ｓ５１において、カメラ２，３間で同一の点の対応がうまくとれていないと、本来ならば障害物等が存在しない位置に対応するボクセルＱに復元点Ｐがノイズ等として出てくることがある。ただし、このノイズ等による復元点Ｐはまとまって出ることは無い。
【００２２】
そこで、ボクセルＱにおける対象物の存在確率が予め設定された閾値よりも高いときは、そのボクセルＱに含まれる復元点Ｐは正規のもの（実復元点）であり、当該ボクセルＱに対応する位置に障害物等が存在するものと判断する。一方、ボクセルＱにおける対象物の存在確率が予め設定された閾値よりも低いときは、そのボクセルＱに含まれる復元点Ｐはノイズ等の影響により誤って生成されたものであり、当該ボクセルＱに対応する位置には障害物等が存在しないものと判断する。
【００２３】
以上において、手順Ｓ５１は、対象物の撮像画像に基づいて、対象物の表面に対応する複数の点を三次元空間上に復元する三次元復元手段を構成する。手順Ｓ５２は、三次元復元手段により復元された複数の点を含む三次元空間を複数のボクセルに分割する空間分割手段を構成する。手順Ｓ５３は、空間分割手段により分割して得られた複数のボクセルからなる三次元ボクセル群を複数の二次元ボクセル群に変換する手段を構成する。手順Ｓ５６は、空間分割手段により分割して得られた各ボクセルに含まれる点の数をカウントし、各ボクセルにおける対象物の存在確率を決定する存在確率決定手段を構成する。
【００２４】
以上のように本実施形態にあっては、各ボクセルＱに含まれる復元点Ｐの数をカウントし、そのカウント数から各ボクセルＱにおける実復元点つまり対象物Ａの存在確率を求め、その存在確率に基づいて各ボクセルＱに対応する位置に対象物Ａが存在するかどうかを判断する。従って、ノイズ等の影響を除外して対象物Ａの存在が判断されることになるため、対象物Ａの有無を精度良く認識することができる。
【００２５】
従って、例えばロボットが移動するときに、ロボットの進路に実際には障害物が無いにも拘わらず、誤って障害物があると認識して、その位置をよけるような移動経路をとるという不具合を防止することができる。或いはロボットが何らかの物体を把持するときに、実際には把持物体が無いにも拘わらず、誤って把持物体があると認識して、それを掴むように動作するという不具合を防止することも可能となる。
【００２６】
また、多数の復元点Ｐを含む三次元ボクセル群Ｒをスライスして２次元ボクセル群Ｓを生成するので、ＧＰＵ等を用いて、各ボクセルＱにおける対象物Ａの存在確率を決定する処理を高速に行うことができる。これにより、障害物や把持物体等の認識に要する時間を短縮することが可能となる。
【００２７】
なお、本発明は、上記実施形態に限定されるものではない。例えば上記実施形態では、多数の復元点Ｐが含まれる三次元空間を全て同じサイズのボクセルＱに分割するようにしたが、カメラ２，３から遠い位置にある復元点Ｐは、カメラ２，３に近い位置にある復元点Ｐに比べて位置精度が低い。このため、カメラ２，３から遠い位置にあるボクセルＱのサイズとカメラ２，３に近い位置にあるボクセルＱのサイズとを必ずしも同等にする必要は無い。
【００２８】
そこで、図２に示す手順Ｓ５２において、各復元点Ｐを含む三次元空間をボクセルＱに分割する際には、図５に示すように、カメラ２，３から遠く離れるにつれてボクセルＱのサイズを大きくしても良い。このとき、カメラ２，３の何れか一方の画像面を基準にして、カメラ２，３の画像面に投影されたボクセルサイズが一定値（ｅ×ｅ）になるように、各ボクセルＱのサイズを設定するのが望ましい。
【００２９】
この場合には、カメラ２，３から遠く離れるほど、１つの２次元ボクセル群Ｓに含まれるボクセルＱの数が少なくなるので、対象物Ａの認識に要する時間を一層短縮することができる。また、対象物Ａの認識処理に必要なメモリ（前述）として小容量メモリを使用可能となるので、コスト的にも有利となる。
【００３０】
また、上記実施形態では、演算処理ユニット４がロボットに搭載されているものとしたが、演算処理ユニット４をロボット以外の箇所に設置しても良い。この場合には、カメラ２，３による撮像画像を無線通信によりロボットから演算処理ユニットに送り、更に演算処理ユニットによる処理結果を同様に無線通信によりロボットに送るようにすれば良い。
【００３１】
さらに、本発明の画像認識装置は、ロボット以外、例えば車両等にも適用可能であることは言うまでもない。
【図面の簡単な説明】
【００３２】
【図１】本発明に係わる画像認識装置の一実施形態を示す概略構成図である。
【図２】図１に示した演算処理ユニットによる演算処理手順の詳細を示すフローチャートである。
【図３】図２に示した三次元復元処理、空間分割処理及びスライス処理を概念的に示す図である。
【図４】図２に示した存在確率決定処理を概念的に示す図である。
【図５】図２に示した空間分割処理の変形例を概念的に示す図である。
【符号の説明】
【００３３】
１…画像認識装置、２，３…カメラ（撮像部）、４…演算処理ユニット（三次元復元手段、空間分割手段、存在確率決定手段）、Ａ…対象物、Ｐ…復元点、Ｑ…ボクセル、Ｒ…三次元ボクセル群、Ｓ…二次元ボクセル群。
【図１】
2008225785.tif 000003
【図２】
2008225785.tif 000004
【図３】
2008225785.tif 000005
【図４】
2008225785.tif 000006
【図５】
2008225785.tif 000007