(57)【要約】【課題】認識対象物体を適正な大きさで復元可能な画像処理方法及び画像処理装置を提供することを課題とする。【解決手段】認識対象物体をステレオカメラで撮影して得られたステレオ画像から認識対象物体を復元する画像処理方法であって、ステレオ画像に基づいて認識対象物体を示す形状を直線類似形状と曲線類似形状とに別けるステップ（Ｓ１２，Ｓ１３）と、直線類似形状に別けられた場合、当該直線類似形状の端部を含む平面を生成するステップ（Ｓ１５）と、曲線類似形状に別けられた場合、当該曲線類似形状の曲線を含む曲面を生成するステップ（Ｓ１６）と、生成した平面及び／又は曲面を統合し、認識対象物体を復元するステップ（Ｓ１７）とを含むことを特徴とする。【選択図】  図７
2004185507.tif 000002
【特許請求の範囲】
【請求項１】
認識対象物体をステレオカメラで撮影して得られたステレオ画像から認識対象物体を復元する画像処理方法であって、
前記ステレオ画像に基づいて前記認識対象物体を示す形状を直線類似形状と曲線類似形状とに別けるステップと、
前記直線類似形状に別けられた場合、当該直線類似形状の端部を含む平面を生成するステップと、
前記曲線類似形状に別けられた場合、当該曲線類似形状の曲線を含む曲面を生成するステップと、
前記生成した平面及び／又は曲面を統合し、前記認識対象物体を復元するステップと
を含むことを特徴とする画像処理方法。
【請求項２】
認識対象物体をステレオカメラで撮影して得られたステレオ画像から認識対象物体を復元する画像処理装置であって、
前記ステレオ画像に基づいて前記認識対象物体を示す形状を直線類似形状と曲線類似形状とに別ける形状分別手段と、
前記直線類似形状に別けられた場合、当該直線類似形状の端部を含む平面を生成する平面生成手段と、
前記曲線類似形状に別けられた場合、当該曲線類似形状の曲線を含む曲面を生成する曲面生成手段と、
前記生成した平面及び／又は曲面を統合し、前記認識対象物体を復元する復元手段と
を備えることを特徴とする画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ステレオ画像による画像処理方法及び画像処理装置に関する。
【０００２】
【従来の技術】
ステレオカメラで認識対象となる物体を撮影し、そのステレオ画像に対して各種画像処理を行い、認識対象物体の情報を検出する画像処理方法がある。この画像処理方法には、ステレオ画像から認識対象物体の形状を示す三次元座標点を求め、さらに、その三次元座標点から形成された外形線に接する立体を当てはめて認識対象物体を復元する方法がある。また、当てはめによる画像処理方法には、認識対象物体の撮影した画像から得られる画像特徴と認識対象の三次元モデルの姿勢や大きさを変化させた投影像とを比較し、その当てはめの程度から認識対象物体の情報を検出する方法もある（特許文献１参照）。
【０００３】
【特許文献１】
特開平１１−５１６１１号公報（図３〜図８等参照）
【０００４】
【発明が解決しようとする課題】
しかしながら、ステレオ画像を用いる場合、その画像にノイズが含まれたりあるいは複数のカメラで撮影するので、ステレオ画像から求められた三次元座標点には誤差が含まれる。そのため、この三次元座標点によって直線や曲線を形成すると、その誤差によって直線や曲線が波打ってしまう。この波打った直線等による外形線に立体を当てはめた場合、その波打った部分の最外部等に合わせて立体を当てはめるので、復元された物体の大きさが認識対象物体の実際の大きさからずれてしまう。
【０００５】
そこで、本発明は、認識対象物体を適正な大きさで復元可能な画像処理方法及び画像処理装置を提供することを課題とする。
【０００６】
【課題を解決するための手段】
本発明に係る画像処理方法は、認識対象物体をステレオカメラで撮影して得られたステレオ画像から認識対象物体を復元する画像処理方法であって、ステレオ画像に基づいて認識対象物体を示す形状を直線類似形状と曲線類似形状とに別けるステップと、直線類似形状に別けられた場合、当該直線類似形状の端部を含む平面を生成するステップと、曲線類似形状に別けられた場合、当該曲線類似形状の曲線を含む曲面を生成するステップと、生成した平面及び／又は曲面を統合し、認識対象物体を復元するステップとを含むことを特徴とする。
【０００７】
この画像処理方法では、認識対象物体をステレオカメラで撮影して得られたステレオ画像から認識対象物体の形状を求め、その認識対象物体の形状を直線類似形状と曲線類似形状とに別ける。そして、この方法では、直線類似形状に別けられた場合、その直線類似形状の端部を含む平面を生成する。また、この方法では、曲線類似形状に別けられた場合、その曲線類似形状の曲線を含む曲面を生成する。さらに、この方法では、生成した平面及び／又は曲面を統合し、立体を当てはめて認証対象物体を復元する。この方法では、認証対象物体を示す形状の外形線に沿って立体を当てはめるのでなく、直線類似形状の端点を含む平面や曲線類似形状の曲線を含む曲面を生成することによって立体を当てはめるので、ステレオ画像による誤差の影響を受けない。そのため、この方法では、認識対象物体の大きさに応じた適正な大きさで復元することできる。
【０００８】
なお、直線類似形状は、ステレオ画像から求められた認識対象物体の形状のうち直線状の形状であり、同じ方向を有する形状が集まっている。また、曲線類似形状は、ステレオ画像から求められた認識対象物体の形状のうち曲線状の形状であり、曲線で形成される面が平行な形状が集まっている。
【０００９】
本発明に係る画像処理装置は、認識対象物体をステレオカメラで撮影して得られたステレオ画像から認識対象物体を復元する画像処理装置であって、ステレオ画像に基づいて認識対象物体を示す形状を直線類似形状と曲線類似形状とに別ける形状分別手段と、直線類似形状に別けられた場合、当該直線類似形状の端部を含む平面を生成する平面生成手段と、曲線類似形状に別けられた場合、当該曲線類似形状の曲線を含む曲面を生成する曲面生成手段と、生成した平面及び／又は曲面を統合し、認識対象物体を復元する復元手段とを備えることを特徴とする。
【００１０】
この画像処理装置は、上記の画像処理方法と同様の作用及び効果を有する。
【００１１】
【発明の実施の形態】
以下、図面を参照して、本発明に係る画像処理方法及び画像処理装置の実施の形態を説明する。
【００１２】
本実施の形態では、本発明に係る画像処理装置を、２台のカメラで三次元物体を撮影し、そのステレオ画像に基づいて物体を復元する画像処理装置に適用する。本実施の形態に係る画像処理装置では、処理結果をモニタに表示出力する態様としているが、その処理結果を表示することなく、他の用途に利用してもよい。
【００１３】
図１〜図５を参照して、画像処理装置１の構成について説明する。図１は、本実施の形態に係る画像処理装置の構成図である。図２は、図１の三次元座標生成部の説明図であり、（ａ）が認識対象の三次元物体の一例の円柱の斜視図であり、（ｂ）が三次元座標生成部で求めた円柱の形状を示す曲線部分の三次元座標点であり、（ｃ）が三次元座標生成部で求めた円柱の形状を示す直線部分の三次元座標点である。図３は、図１のベクトル処理部の説明図であり、（ａ）が円柱の曲線部分の任意の三次元座標点に対して法線ベクトルを生成する場合であり、（ｂ）が円柱の直線部分の任意の三次元座標点に対して直線ベクトルを生成する場合である。図４は、図１の物体復元部の説明図であり、（ａ）が認識対象の一例の立方体の斜視図であり、（ｂ）がクラスタリングによる各クラスの分別を示す図であり、（ｃ）が平面又は曲面の生成を示す図であり、（ｄ）が立体の当てはめを示す図である。図５は、図１の物体復元部の説明図であり、（ａ）が認識対象の一例の円柱の斜視図であり、（ｂ）がクラスタリングによる各クラスの分別を示す図であり、（ｃ）が平面又は曲面の生成を示す図であり、（ｄ）が立体の当てはめを示す図である。
【００１４】
画像処理装置１は、２台のカメラ２，３及びモニタ４が接続されている。画像処理装置１は、２台のカメラ２，３からのステレオ画像に基づいて認識対象の三次元物体を復元し、その処理結果をモニタ４に表示出力する。そのために、画像処理装置１は、前処理部１０、三次元座標生成部１１、ベクトル処理部１２、物体復元部１３、出力部１４を備えている。なお、物体復元部１３は、形状分別手段、平面生成手段、曲面生成手段及び復元手段に相当する機能を有している。
【００１５】
カメラ２，３は、認識対象の三次元物体の左右に配置され、同一の三次元物体を撮影するステレオカメラである。カメラ２，３は、アナログカメラでもあるいはデジタルカメラでもよく、アナログカメラの場合には画像処理装置１にアナログ画像を出力し、デジタルカメラの場合には画像処理装置１にデジタル画像を出力する。モニタ４は、液晶モニタでもあるいはＣＲＴ［Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ］モニタでもよく、画像処理装置１の処理結果を表示出力する。
【００１６】
ちなみに、画像処理装置１は、車自体や車外の物体等の復元するために利用される場合がある。例えば、画像処理装置１が車両に搭載される場合には、画像処理装置１が車室内の適宜の位置に設置され、ＣＣＤ［Ｃｈａｒｇｅ  ｃｏｕｐｌｅｄ  ｄｅｖｉｃｅ］カメラからなるカメラ２，３が車両の側面、前面あるいは後面の左右に設置され、液晶モニタからなるモニタ４が車室内のドライバに視認可能な位置（例えば、インストルメントパネル）に取り付けられる。
【００１７】
前処理部１０では、２台のカメラ２，３から、認識対象の三次元物体を左右から撮影した各ステレオ画像が入力される。前処理部１０では、ステレオ画像がアナログ画像の場合、アナログデータをデジタルデータに変換してデジタル画像とする。そして、前処理部１０では、デジタルデータからなるステレオ画像に対してカメラキャリブレーションを行い、さらに、左右のステレオ画像の平行化を行う。
【００１８】
三次元座標生成部１１では、左右のステレオ画像から撮影した三次元物体の形状を示す三次元座標点を求める。例えば、対象の三次元物体が図２（ａ）に示すような円柱Ｃの場合、円柱Ｃの形状を示す線分としては、２つの円の曲線分ＣＳ，ＣＳ，ＣＳ，ＣＳと２つの円を結ぶ直線分ＳＳ，ＳＳである。円柱Ｃの形状を示す三次元座標点としては、曲線分ＣＳを示す三次元座標点ＴＣ，・・・（図２（ｂ）参照）や直線分ＳＳを示す三次元座標点ＴＣ，・・・（図２（ｃ）参照）である。これらの三次元座標点には、誤差が含まれており、撮影した三次元物体の形状を示す線を忠実に示していない。
【００１９】
ベクトル処理部１２では、まず、三次元物体の形状を示す三次元座標点ＴＣ，・・・の各座標点を中心として球体を設定する。例えば、図２に示す円柱Ｃの場合、曲線分ＣＳを示す任意の三次元座標点ＴＣ１に対して球体Ｓ１を設定し（図３（ａ）参照）、直線分ＳＳを示す任意の三次元座標点ＴＣ２に対して球体Ｓ２を設定する（図３（ｂ）参照）。この球体の半径としては、認識対象の三次元物体の形状や三次元座標点間隔等を考慮して設定され、中心点の三次元座標点と線分を形成する他の三次元座標点を１０個前後含む半径である。
【００２０】
次に、ベクトル処理部１２では、設定した球体の内側でかつ最も球体の表面に近い三次元座標点を選択する。通常、中心となる三次元座標点から三次元座標点列が２方向に分かれており、その２方向の列から三次元座標点を各々選択する。しかし、立方体の頂点等、中心となる三次元座標点から三次元座標点列が３方向以上分かれている場合、２方向単位にグループ分けをし、各グループの２方向の列から三次元座標点を各々選択する。例えば、図３（ａ）の例では球体Ｓ１の表面内側の２つの三次元座標点ＴＣ１１，ＴＣ１２を選択し、図３（ｂ）の例では球体Ｓ２の表面内側の２つの三次元座標点ＴＣ２１，ＴＣ２２を選択する。
【００２１】
次に、ベクトル処理部１２では、中心となる三次元座標点を始点とし、選択した２つの三次元座標点を終点として２つのベクトルを生成する。例えば、図３（ａ）の例では三次元座標点ＴＣ１と三次元座標点ＴＣ１１との間でベクトルＶ１１を生成するとともに三次元座標点ＴＣ１と三次元座標点ＴＣ１２との間でベクトルＶ１２を生成し、図３（ｂ）の例では三次元座標点ＴＣ２と三次元座標点ＴＣ２１との間でベクトルＶ２１を生成するとともに三次元座標点ＴＣ２と三次元座標点ＴＣ２２との間でベクトルＶ２２を生成する。
【００２２】
そして、ベクトル処理部１２では、生成した２つのベクトルが平行か否か（すなわち、２つのベクトルが直線状か否か）を判定する。この平行判定では、中心となる三次元座標点を頂点として２つのベクトルのなす角度が厳密に１８０°の場合のみを平行とするのでなく、１８０°±１〜５°程度の場合も平行と判定する。というのは、カメラ２，３の精度やデジタルデータのステレオ画像の解像度あるいはステレオ画像に混入したノイズの影響等を考慮すると、直線の場合でも２つのベクトルで一直線とならない場合があるからである。例えば、図３の（ａ）の例では２つのベクトルＶ１１，Ｖ１２は平行ではないと判定され、図３の（ｂ）の例では２つのベクトルＶ２１，Ｖ２２は平行と判定される。ちなみに、２つのベクトルが平行にならないのは、三次元座標点が曲線分を示している場合である。
【００２３】
球体Ｓにおける２つのベクトルが平行と判定した場合、ベクトル処理部１２では、中心の三次元座標点を始点として、その２つのベクトルと重なる直線ベクトルを生成する。例えば、図３の（ｂ）の例では２つのベクトルＶ２１、Ｖ２２と重なる直線ベクトルＳＶが生成される。
【００２４】
さらに、ベクトル処理部１２では、処理中の球体に隣接する球体において直線ベクトルを生成しているか否かを判定し、隣接する球体内で直線ベクトルを生成している場合にはこの判定を次に隣接する球体に対しても順次行っていく。この判定は、隣接する球体で法線ベクトルを生成していると判定するまであるいは隣接する球体が存在しなくなるまで、処理中の三次元座標点から判定範囲内に存在する球体に対して順次判定を行う。そして、ベクトル処理部１２では、判定範囲内に存在する球体のうち直線ベクトルを生成している球体までの長さに応じて、直線ベクトルに重み付けを行う。重み付け値は、０〜１の間の値とする。すなわち、三次元座標点列が直線を形成しているか否かを検出し、直線を形成している三次元座標点列の長さ分の重み付けを行って直線であることの確度を示す。
【００２５】
球体Ｓにおける２つのベクトルが平行でないと判定した場合、ベクトル処理部１２では、中心の三次元座標点を始点として、その２つのベクトルで形成される面に対して垂直な法線ベクトルを生成する。例えば、図３の（ａ）の例では２つのベクトルＶ１１、Ｖ１２によって面Ｆが形成され、その面Ｆに対して垂直な法線ベクトルＮＶが生成される。
【００２６】
さらに、ベクトル処理部１２では、球体Ｓにおける２つのベクトルのなす角度に基づいて法線ベクトルに重み付けをする。この際、２つのベクトルのなす角度が９０°の時に重み付け値が最大の１とし、角度が９０°を中心にして重み付け値を減少させ、角度が０°及び１８０°で重み付け値が０とする。
【００２７】
例えば、図４（ａ）に示すように認識対象が立方体Ｂの場合、立方体Ｂの外形を示す各直線分ＳＳ１〜ＳＳ９を形成する各三次元座標点に対しては直線ベクトルが生成される。ちなみに、多数の直線ベクトルが生成されるが、直線ベクトルのベクトル方向としては３方向である。また、図５（ａ）に示すように認識対象が円柱Ｃの場合、円柱Ｃの外形を示す各直線分ＳＳ１０，ＳＳ１１を形成する各三次元座標点に対しては直線ベクトルが生成されるとともに各曲線分ＣＳ１〜ＣＳ３を形成する各三次元座標点に対して法線ベクトルが生成される。ちなみに、多数の直線ベクトル及び法線ベクトルが生成されるが、直線ベクトル及び法線ベクトルのベクトル方向としては１方向である。
【００２８】
そして、ベクトル処理部１２では、重み付けした直線ベクトル又は法線ベクトルを三次元の単位ベクトル空間に記録する。この際、重み付け値（０〜１）と直線ベクトル又は法線ベクトルのベクトル方向に応じた点が、単位ベクトル空間に配置される。
【００２９】
物体復元部１３では、まず、三次元座標生成部１１で生成した三次元座標点を投影図（ＸＹＺ平面）に投影し、その投影図から認識対象が球体か否かを識別する。球体と識別した場合、物体復元部１３では、その投影像から球体の半径を検出し、その半径からなる球体を当てはめる。
【００３０】
球体ではないと識別した場合、物体復元部１３では、クラスタリングによって、単位ベクトル空間に配置されている直線ベクトル及び法線ベクトルを各クラスに分別する。例えば、図４（ａ）の立方体Ｂの場合、図４（ｂ）に示すように、破線で描かれている直線分ＳＳ１〜ＳＳ３のクラス、実線で描かれている直線分ＳＳ４〜ＳＳ６のクラス、一点鎖線で描かれている直線分ＳＳ７〜ＳＳ９のクラスに分別される。この各クラスには、同一のベクトル方向の直線ベクトルが集まっている。また、図５（ａ）の円柱Ｃの場合、図５（ｂ）に示すように、実線で描かれている直線分ＳＳ１０，ＳＳ１１及び曲線分ＣＳ１〜ＣＳ３の１つのクラスに分別される。というのは、直線分ＳＳ１０，ＳＳ１１を形成する各三次元座標点に対して生成される直線ベクトルと曲線分ＣＳ１〜ＣＳ３を形成する各三次元座標点に対して生成される法線ベクトルとは同じベクトル方向を示すからである。したがって、このクラスには、同一のベクトル方向の直線ベクトル及び法線ベクトルが集まっている。
【００３１】
次に、物体復元部１３では、クラス毎に、直線成分と曲線成分と（直線ベクトルと法線ベクトルと）に分別する。この時点で、同じ方向を有する直線形状の集まり（直線類似形状）及び／又は曲線で形成される面が平行な曲線形状の集まり（曲線類似形状）に別けられる。例えば、図４（ａ）の立方体Ｂの場合、図４（ｂ）に示すように、各クラスに分別されたベクトルは全て直線ベクトルなので、ここでは、特に分別されなが、３つのグループの直線成分に別けられている。また、図５（ａ）の円柱Ｃの場合、図５（ｂ）に示すように、直線ベクトルで示される直線分ＳＳ１０，ＳＳ１１と法線ベクトルで示される曲線分ＣＳ１〜ＣＳ３とに分別され、１つの直線成分と１つの曲線成分とに別けられる。
【００３２】
直線成分に分別したものに対して、物体復元部１３では、直線成分のグループ毎に（直線ベクトルの同じ方向を示すグループ毎に）、各直線分の両端の端点を抽出し、全ての直線ベクトル（直線分）に垂直かつ抽出した端点を含む平面を張る。例えば、図４（ａ）の立方体Ｂの場合、図４（ｂ）に示すように、直線分ＳＳ１から端点ＳＳ１１と端点ＳＳ１２が抽出され、直線分ＳＳ２から端点ＳＳ２１と端点ＳＳ２２が抽出され、直線分ＳＳ３から端点ＳＳ３１と端点ＳＳ３２が抽出される。そして、図４（ｃ）に示すように、端点ＳＳ１１，ＳＳ２１，ＳＳ３１を含む平面Ｐ１が張られ、端点ＳＳ１２，ＳＳ２２，ＳＳ３２を含む平面Ｐ２が張られる。同様に、端点ＳＳ４１，ＳＳ４２，ＳＳ５１，ＳＳ５２，ＳＳ６１，ＳＳ６２が抽出され、端点ＳＳ４１，ＳＳ５１，ＳＳ６１を含む平面Ｐ３が張られ、端点ＳＳ４２，ＳＳ５２，ＳＳ６２を含む平面Ｐ４が張られる。同様に、端点ＳＳ７１，ＳＳ７２，ＳＳ８１，ＳＳ８２，ＳＳ９１，ＳＳ９２が抽出され、端点ＳＳ７１，ＳＳ８１，ＳＳ９１を含む平面Ｐ５が張られ、端点ＳＳ７２，ＳＳ８２，ＳＳ９２を含む平面Ｐ６が張られる。また、図５（ａ）の円柱Ｃの場合、図５（ｂ）に示すように、直線分ＳＳ１０から端点ＳＳ１０１と端点ＳＳ１０２が抽出され、直線分ＳＳ１１から端点ＳＳ１１１と端点ＳＳ１１２が抽出される。そして、図５（ｃ）に示すように、端点ＳＳ１０１，ＳＳ１１１を含む平面Ｐ７が張られ、端点ＳＳ１０２，ＳＳ１１２を含む平面Ｐ８が張られる。
【００３３】
ここでは、同じ方向を有する直線分の端点を含む平面を生成するので、三次元座標点に含まれる誤差によってその直線分が波打っていても、その波打っている部分の影響を受けない。したがって、この張られた平面によって、認識対象の三次元物体の面を高精度に復元することができる。
【００３４】
曲線成分に分別したものに対して、物体復元部１３では、曲線成分のグループ毎に（法線ベクトルの同じ方向を示すグループ毎に）、全ての法線ベクトルに平行かつ全ての曲線分を被う曲面を張る。例えば、図５（ａ）の円柱Ｃの場合、図５（ｃ）に示すように、曲線分ＣＳ１，ＣＳ２と曲線分ＣＳ３とを被う曲面ＣＶが張られる。
【００３５】
そして、物体復元部１３では、生成した全ての平面及び／又は曲面を組み合わせて、その全ての面で形成される立体を当てはめる。例えば、図４（ａ）の立方体Ｂの場合、図４（ｃ）の６つの平面Ｐ１〜Ｐ６が組み合わせられ、図４（ｄ）に示すような立方体ＲＢが当てはめられる。図５（ａ）の円柱Ｃの場合、図５（ｃ）の２つの平面Ｐ７，Ｐ８及び１つの曲面ＣＶが組み合わせられ、図５（ｄ）に示すような円柱ＲＣが当てはめられる。
【００３６】
なお、クラスタリングとしては、ＮＮ［Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｒ］法やＫ−ｍｅａｎ法等の適宜の手法を利用する。
【００３７】
出力部１４では、物体復元部１３で当てはめた立体をＸＹＺ空間に配置し、モニタ４にＸＹＺ空間内に配置させた立体を表示させる。
【００３８】
図１を参照して、画像処理装置１における動作（画像処理方法）を図６のフローチャートに沿って説明する。図６は、本実施の形態に係る画像処理方法を示すフローチャートである。
【００３９】
カメラ２，３では、左右から認識対象の三次元物体を撮影し、そのステレオ画像を画像処理装置１に出力する。
【００４０】
画像処理装置１では、入力されたステレオ画像がアナログデータの場合にデジタルデータに変換し、デジタルデータからなるステレオ画像に対してカメラキャリブレーションを行い、左右のステレオ画像の平行化を行う（Ｓ１）。
【００４１】
続いて、画像処理装置１では、ステレオ画像から三次元物体の形状を示す三次元座標点データを求める（Ｓ２）（図２（ｂ）、（ｃ）参照）。
【００４２】
そして、画像処理装置１では、三次元座標点データの各座標点について直線を形成する座標点に対して直線ベクトルを生成するとともに曲線を形成する座標点に対して法線ベクトルを生成し、その生成した全ての直線ベクトル及び／又は法線ベクトルを単位ベクトル空間にプロットする（Ｓ３）（図３参照）。
【００４３】
さらに、画像処理装置１では、認識対象の物体を球体かあるいは球体以外かに識別し、球体の場合には球体を当てはめ、球体以外の場合にはクラスタリングによって直線ベクトル及び法線ベクトルとを直線成分の各グループと曲線成分の各グループとに別け、その直線成分の各グループに基づいて生成した平面及び／又は曲線成分の各グループに基づいて生成した曲面を統合することによって球体以外の立体を当てはめる（Ｓ４）（図４、図５参照）。なお、この物体復元処理については、後で詳細に説明する。
【００４４】
そして、画像処理装置１では、その当てはめた立体をＸＹＺ空間内に配置させ、モニタ４にＸＹＺ空間内に復元させた三次元物体を表示させる（Ｓ５）。
【００４５】
図１を参照して、図６のフローチャートの物体復元処理（Ｓ４）を図７のフローチャートに沿って詳細に説明する。図７は、図６のフローチャートにおける物体復元処理を示すフローチャートである。
【００４６】
ベクトル処理が終了すると、画像処理装置１では、三次元座標点データによる投影図を用い、その投影像が球体を示しているか否かを識別する（Ｓ１０）。Ｓ１０にて球体と識別した場合、画像処理装置１では、その投影像から球体の半径を検出し、その半径を有する球体を当てはめる（Ｓ１１）。
【００４７】
Ｓ１０にて球体以外と識別した場合、画像処理装置１では、クラスタリングによって、単位ベクトル空間にプロットされた直線ベクトル及び／又は法線ベクトルをクラス別けする（Ｓ１２）（図４（ｂ）、図５（ｂ）参照）。同じクラスに別けられた直線ベクトルのグループは同じ方向の直線分の集まりであり、同じクラスに別けられた法線ベクトルのグループは曲線分で形成される面が平行な曲線分に集まりである。
【００４８】
さらに、画像処理装置１では、各クラスにおいて直線成分と曲線成分とに別ける（Ｓ１３）（図４（ｂ）、図５（ｂ）参照）。直線成分は直線ベクトルからなる成分であり、曲線成分は法線ベクトルからなる成分である。
【００４９】
続いて、画像処理装置１では、クラス毎に、直線成分と曲線成分とに判別する（Ｓ１４）。
【００５０】
Ｓ１４にて直線成分と判別した場合、画像処理装置１では、クラス毎に、直線ベクトルに直交かつ直線分の両端の端点を含む２つの平面を生成する（Ｓ１５）（図４（ｃ）、図５（ｃ）参照）。このように、三次元座標点によって構成される直線分に沿って面を生成するのでなく、直線分の端点を含む平面を生成するので、三次元座標点データに含まれる誤差を反映する直線分の変化の影響を受けない。
【００５１】
Ｓ１４にて曲線成分と判別した場合、画像処理装置１では、クラス毎に、法線ベクトルに平行かつ曲線分を被う曲面を生成する（Ｓ１６）（図５（ｃ）参照）。三次元座標点によって構成される直線分に沿って面を生成しないが、曲線分を被う面を生成することによって、立体を当てはめる際の面に不足を生じない。
【００５２】
そして、画像処理装置１では、生成した全ての平面及び／又は曲面を統合し、その平面と曲面から形成される立体を当てはめる（Ｓ１７）（図４（ｄ）、図５（ｄ）参照）。
【００５３】
このように、画像処理装置１では、単位ベクトル空間にプロットされた直線ベクトル及び／又は法線ベクトルからなるベクトル群の情報に基づいて同じ方向を有する直線成分及び／又は平行な曲線成分に分別する。そして、画像処理装置１では、直成成分の各直線分の端点により平面及び／又は曲線成分の各曲線分の曲線により曲面を形成し、その平面及び／又は曲面を統合することによって三次元物体を復元する。
【００５４】
この画像処理装置１によれば、直線の端点を含む平面を生成するとともに曲線を含む曲面を生成し、その平面及び／又は曲面によって立体を当てはめるので、高精度に立体を当てはめることができる。そのため、認識対象の三次元物体の実際の大きさに忠実な大きさの立体を復元することができる。
【００５５】
さらに、画像処理装置１では、各三次元座標点に対して直線ベクトル又は法線ベクトルを生成することによって、同じ方向を有する直線成分と平行な面を形成する曲線成分とに簡単に別けることができる。
【００５６】
以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。
【００５７】
例えば、本実施の形態では三次元座標点に対して球体を設定し、その球体表面の２つの三次元座標点を利用して２つのベクトルを形成することによって直線ベクトルや法線ベクトルを生成したが、三次元座標点間の関係から形成された線分に対して直線ベクトルや法線ベクトルを生成する等、他の方法により直線ベクトルや法線ベクトルを生成してもよい。
【００５８】
また、本実施の形態では直線ベクトルと法線ベクトルとを用いて直線成分と曲線成分とを別けたが、ステレオ画像から求められる他の情報を用いて直線成分と曲線成分とを別けてもよい。
【００５９】
また、本実施の形態ではクラスタリングを利用して直線成分と曲線成分とを別けたが、ハフ変換等の別の手法を利用して直線成分と曲線成分とを別けてもよい。
【００６０】
【発明の効果】
本発明によれば、認識対象物体を適正な大きさで復元することができる。
【図面の簡単な説明】
【図１】本実施の形態に係る画像処理装置の構成図である。
【図２】図１の三次元座標生成部の説明図であり、（ａ）が認識対象の三次元物体の一例の円柱の斜視図であり、（ｂ）が三次元座標生成部で求めた円柱の形状を示す曲線部分の三次元座標点であり、（ｃ）が三次元座標生成部で求めた円柱の形状を示す直線部分の三次元座標点である。
【図３】図１のベクトル処理部の説明図であり、（ａ）が円柱の曲線部分の任意の三次元座標点に対して法線ベクトルを生成する場合であり、（ｂ）が円柱の直線部分の任意の三次元座標点に対して直線ベクトルを生成する場合である。
【図４】図１の物体復元部の説明図であり、（ａ）が認識対象の一例の立方体の斜視図であり、（ｂ）がクラスタリングによる各クラスの分別を示す図であり、（ｃ）が平面又は曲面の生成を示す図であり、（ｄ）が立体の当てはめを示す図である。
【図５】図１の物体復元部の説明図であり、（ａ）が認識対象の一例の円柱の斜視図であり、（ｂ）がクラスタリングによる各クラスの分別を示す図であり、（ｃ）が平面又は曲面の生成を示す図であり、（ｄ）が立体の当てはめを示す図である。
【図６】本実施の形態に係る画像処理方法を示すフローチャートである。
【図７】図６のフローチャートにおける物体復元処理を示すフローチャートである。
【符号の説明】
１…画像処理装置、２，３…カメラ、４…モニタ、１０…前処理部、１１…三次元座標生成部、１２…ベクトル処理部、１３…物体復元部、１４…出力部
【図１】
2004185507.tif 000003
【図２】
2004185507.tif 000004
【図３】
2004185507.tif 000005
【図４】
2004185507.tif 000006
【図５】
2004185507.tif 000007
【図６】
2004185507.tif 000008
【図７】
2004185507.tif 000009