(57)【要約】【課題】  画像中の物体を高精度に分離することができる画像処理方法及び画像処理装置を提供することを課題とする。【解決手段】  撮像画像中の物体を分離する画像処理方法であって、基準の視点での撮像画像を取得する撮像ステップと、基準の視点での撮像画像を領域に過分割する過分割ステップと、隣接する過分割領域間の境界をまたぐように複数の参照点を設定する参照点設定ステップと、複数の参照点の三次元位置を求める三次元復元ステップと、視点の異なる複数の視点変化画像を取得する視点変化撮像ステップと、三次元位置の複数の参照点を各視点変化画像に投影する投影ステップと、複数の視点変化画像間での隣接する過分割領域における投影点の相対変位に基づいて隣接する過分割領域間の結合度を求める結合度処理ステップと、結合度に基づいて隣接する過分割領域間を結合又は分離することによって物体を分離する分離ステップとを含むことを特徴とする。【選択図】  図１０
2006302193.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像中の物体を分離する画像処理方法であって、
基準の視点での撮像画像を取得する撮像ステップと、
基準の視点での撮像画像を領域に過分割する過分割ステップと、
前記過分割ステップで過分割した過分割領域における隣接する過分割領域間の境界をまたぐように複数の参照点を設定する参照点設定ステップと、
前記参照点設定ステップで設定した複数の参照点の三次元位置をそれぞれ求める三次元復元ステップと、
視点を変えて撮像対象をそれぞれ撮像し、視点の異なる複数の視点変化画像を取得する視点変化撮像ステップと、
前記三次元復元ステップで求めた三次元位置の複数の参照点を各視点変化画像にそれぞれ投影する投影ステップと、
複数の視点変化画像間での前記投影ステップで投影した隣接する過分割領域における投影点の相対変位を求め、当該複数の視点変化画像間での相対変位に基づいて隣接する過分割領域間の結合度を求める結合度処理ステップと、
前記結合度処理ステップで求めた結合度に基づいて隣接する過分割領域間を結合又は分離することによって物体を分離する分離ステップと
を含むことを特徴とする画像処理方法。
【請求項２】
撮像画像中の物体を分離する画像処理装置であって、
基準の視点での撮像画像を取得する撮像手段と、
基準の視点での撮像画像を領域に過分割する過分割手段と、
前記過分割手段で過分割した過分割領域における隣接する過分割領域間の境界をまたぐように複数の参照点を設定する参照点設定手段と、
前記参照点設定手段で設定した複数の参照点の三次元位置をそれぞれ求める三次元復元手段と、
視点を変えて撮像対象をそれぞれ撮像し、視点の異なる複数の視点変化画像を取得する視点変化撮像手段と、
前記三次元復元手段で求めた三次元位置の複数の参照点を各視点変化画像にそれぞれ投影する投影手段と、
複数の視点変化画像間での前記投影手段で投影した隣接する過分割領域における投影点の相対変位を求め、当該複数の視点変化画像間での相対変位に基づいて隣接する過分割領域間の結合度を求める結合度処理手段と、
前記結合度処理手段で求めた結合度に基づいて隣接する過分割領域間を結合又は分離することによって物体を分離する分離手段と
を備えることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中の複数の物体を個々に分離するために領域分割を行う画像処理方法及び画像処理装置に関する。
【背景技術】
【０００２】
撮像画像中の複数の物体をそれぞれ分離するための画像処理方法が各種開発されている。この処理方法として、撮像画像からエッジ情報、色情報、テクスチャ情報などを取得し、これらの情報を利用して類似している領域毎に分割することによって物体を分離する方法がある（特許文献１、特許文献２参照）。
【特許文献１】特開２００３−８７５４５号公報
【特許文献２】特開２００４−１７８２７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、同じ物体でも、表面の模様や色あるいは影などによって、エッジ情報、色情報、テクスチャ情報などが異なる。このような場合、同じ物体でも別々の領域に分割され、正確に個々の物体に分離することができない。
【０００４】
そこで、本発明は、画像中の物体を高精度に分離することができる画像処理方法及び画像処理装置を提供することを課題とする。
【課題を解決するための手段】
【０００５】
本発明に係る画像処理方法は、撮像画像中の物体を分離する画像処理方法であって、基準の視点での撮像画像を取得する撮像ステップと、基準の視点での撮像画像を領域に過分割する過分割ステップと、過分割ステップで過分割した過分割領域における隣接する過分割領域間の境界をまたぐように複数の参照点を設定する参照点設定ステップと、参照点設定ステップで設定した複数の参照点の三次元位置をそれぞれ求める三次元復元ステップと、視点を変えて撮像対象をそれぞれ撮像し、視点の異なる複数の視点変化画像を取得する視点変化撮像ステップと、三次元復元ステップで求めた三次元位置の複数の参照点を各視点変化画像にそれぞれ投影する投影ステップと、複数の視点変化画像間での投影ステップで投影した隣接する過分割領域における投影点の相対変位を求め、当該複数の視点変化画像間での相対変位に基づいて隣接する過分割領域間の結合度を求める結合度処理ステップと、結合度処理ステップで求めた結合度に基づいて隣接する過分割領域間を結合又は分離することによって物体を分離する分離ステップとを含むことを特徴とする。
【０００６】
この画像処理方法では、撮像ステップで基準となる視点での撮像画像を取得する。そして、画像処理方法では、過分割ステップでその基準視点の撮像画像を各領域に過分割する。領域分割においては、例えば、撮像画像からエッジ情報、色情報、テクスチャ情報などを取得し、これらの情報を利用して類似している領域に分割する。この領域分割によって１つの物体でも複数の領域に分割されるので、過分割と呼んでいる。そして、画像処理方法では、参照点設定ステップで過分割した過分割領域の中の隣接する過分割領域間の境界をまたぐように複数の参照点を設定する。さらに、画像処理方法では、三次元復元ステップで設定した複数の参照点についての三次元位置をそれぞれ求める。次に、画像処理方法では、視点変化撮像ステップで視点を順次変化させて撮像対象を撮像し、視点の異なる複数の撮像画像（視点変化画像）を取得する。撮像対象として複数の物体が存在する場合、ある視点から撮像したとき（例えば、物体の真横から撮像したとき）にはその撮像画像上では物体同士が重なった状態となるが、視点を変えて撮像したとき（例えば、物体の真上から撮像したとき）にはその撮像画像上では物体同士が重ならない状態となることもある。そして、画像処理方法では、投影ステップで三次元位置の複数の参照点を複数の視点変化画像にそれぞれ投影する。隣接する過分割領域が同じ物体の領域の場合には隣接する過分割領域間をまたぐ投影点の位置関係は複数の視点変化画像間でもそれほど変化しないが、隣接する過分割領域が異なる物体の領域の場合には隣接する過分割領域間をまたぐ投影点の位置関係は複数の視点変化画像間で大きく変化する。つまり、異なる物体の場合、視点変化画像上で物体同士が重ならない状態になったときには、一方の過分割領域に属する投影点と他方の過分割領域に属する投影点とが分断されることになる。そこで、画像処理方法では、結合度処理ステップで複数の視点変化画像間での隣接する過分割領域間の投影点の相対変位を求める。さらに、画像処理方法では、その複数の視点変化画像間での相対変位に基づいて隣接する過分割領域間の結合度（つまり、その隣接する過分割領域間を同じ物体の領域として結合してもよいか否かの尺度であり、異なる物体の境界として分離してもよいか否かの尺度でもある）を求める。つまり、複数の視点変化画像間での隣接する過分割領域間の投影点の相対変化が小さい場合には同じ物体の領域である可能性が高く、一方、複数の視点変化画像間での隣接する過分割領域間の投影点の相対変化が大きい場合には異なる物体の領域である可能性が高いので、そのような視点変化画像間での投影点の相対変位に応じて結合度を求める。さらに、画像処理方法では、分離ステップで結合度に基づいて各過分割領域を結合又は分離し（つまり、同じ物体の領域とみなしてよい過分割領域間を結合し、異なる物体の境界とみなしてよい過分割領域間を分離し）、この結合又は分隣した過分割領域によって個々の物体に分離する。このように、この画像処理方法では、視点を変えた撮像画像間での隣接する過分割領域間における参照点（投影点）の相対変位に基づいて結合度を定義し、結合度に応じてその隣接する過分割領域が同じ物体の領域か否かを判断することにより、物体毎に過分割領域を正確に結合できるとともに異なる物体間を正確に分離でき、高精度に個々の物体に分離することができる。
【０００７】
本発明に係る画像処理装置は、撮像画像中の物体を分離する画像処理装置であって、基準の視点での撮像画像を取得する撮像手段と、基準の視点での撮像画像を領域に過分割する過分割手段と、過分割手段で過分割した過分割領域における隣接する過分割領域間の境界をまたぐように複数の参照点を設定する参照点設定手段と、参照点設定手段で設定した複数の参照点の三次元位置をそれぞれ求める三次元復元手段と、視点を変えて撮像対象をそれぞれ撮像し、視点の異なる複数の視点変化画像を取得する視点変化撮像手段と、三次元復元手段で求めた三次元位置の複数の参照点を各視点変化画像にそれぞれ投影する投影手段と、複数の視点変化画像間での投影手段で投影した隣接する過分割領域における投影点の相対変位を求め、当該複数の視点変化画像間での相対変位に基づいて隣接する過分割領域間の結合度を求める結合度処理手段と、結合度処理手段で求めた結合度に基づいて隣接する過分割領域間を結合又は分離することによって物体を分離する分離手段とを備えることを特徴とする。なお、この画像処理装置は、上記した画像処理方法と同様の作用効果を有している。
【発明の効果】
【０００８】
本発明によれば、視点を変えた撮像画像間での隣接する過分割領域における参照点の相対変位に基づいて結合度を定義することにより、撮像画像中の個々の物体を高精度に分離することができる。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照して、本発明に係る画像処理方法及び画像処理装置の実施の形態を説明する。
【００１０】
本実施の形態では、本発明を、撮像画像内の物体を個々に分離する画像処理装置に適用する。本発明に係る画像処理装置は、ステレオカメラを備えており、ステレオカメラによって所定の対象を撮像し、その撮像画像中の複数の物体を個々の物体に分離するために各物体に相当する領域に分割する。
【００１１】
図１を参照して、本実施の形態に係る画像処理装置１について説明する。図１は、本実施の形態に係る画像処理装置の構成図である。
【００１２】
画像処理装置１は、基準となる視点からステレオカメラで撮像対象を撮像し、その左右の撮像画像中の基準画像（例えば、左撮像画像）を領域に過分割する。そして、画像処理装置１は、隣接する過分割領域間を結合／分離し、個々の物体に分離する。特に、画像処理装置１では、個々の物体を高精度に分離するために、視点を変化させてステレオカメラで同じ撮像対象を順次撮像し、複数の視点変化画像間での隣接する過分割領域間の参照点の相対変位から結合度を算出し、結合度に基づいて隣接する過分割領域間を結合するかあるいは分離するかを判断する。画像処理装置１は、ステレオカメラを構成する２台のカメラ２，３、モニタ４及び画像処理部５を備えている。
【００１３】
なお、本実施の形態ではカメラ２，３が特許請求の範囲に記載する撮像手段及び視点変化撮像手段に相当し、画像処理部５で行われる各処理が特許請求の範囲に記載する過分割手段、参照点設定手段、三次元復元手段、投影手段、結合度処理手段、分離手段に相当する。
【００１４】
カメラ２，３は、所定の間隔をあけて平行に撮像対象に配置され、撮像対象を撮像するカラーのステレオカメラである。カメラ２で撮像された画像は左撮像画像（基準画像とする）であり、カメラ３で撮像された画像は右撮像画像（参照画像とする）であり、視点の異なる二枚の撮像画像が同時に得られる。カメラ２，３は、ＣＣＤ［Charge coupled device］などの撮像素子を備えるデジタルカメラであり、デジタル画像データからなる撮像画像を画像信号として画像処理部５に送信する。なお、間隔などのカメラ２，３の位置関係についての情報やカメラ２，３の内部パラメータ、外部パラメータは、画像処理部５に予め保持されている。
【００１５】
また、カメラ２，３は、カメラ間隔を一定に保持しかつ平行状態を保持した状態で移動自在に構成されている。カメラ２，３では、処理開始時に、基準位置で（基準となる視点から）撮像対象の物体を撮像する。さらに、カメラ２，３では、基準位置で撮像後、移動しながら異なる複数の位置で撮像対象の物体を撮像する（つまり、カメラ２，３の視点を変化させて撮像対象を撮像する）。移動させる複数の位置としては、少なくとも、複数の物体が存在する場合に撮像画像上で物体が重ならないような撮像位置を含むこととする。図２には、ステレオカメラが基準位置で撮像したときの左右の撮像画像の一例を示しており、缶、直方体の箱、ボールの３つの物体が置かれている。図２では、各物体に絵柄や文字などを描いていないが、実際には、各物体に絵柄や文字などがあり、影も存在する。図５、図６には、ステレオカメラが基準位置から移動した異なる５箇所の位置で撮像したときの左右の撮像画像（視点変化画像）の一例を示している。図２と図５、図６から判るように、基準位置で撮像した場合には撮像画像上で箱と缶とが重なっているが、視点を変えて撮像した場合には撮像画像上で箱と缶とが重なっていないときもある。
【００１６】
モニタ４は、液晶モニタでもあるいはＣＲＴ[Cathode Ray Tube]モニタでもよく、画像処理部５の処理結果を表示出力する。モニタ４では、画像処理部５からの出力信号に応じて画像などを表示する。
【００１７】
画像処理部５は、パーソナルコンピュータなどのコンピュータ上に構成され、専用のアプリケーションプログラムを実行することによって各処理を行う。画像処理部５では、カメラ２，３から基準視点の左右の撮像画像（ステレオ画像）をそれぞれ取り入れ、撮像画像の基準画像を領域に過分割する（領域過分割処理）。そして、画像処理部５では、過分割領域において隣接する過分割領域間にまたがる多数の参照点を設定し（参照点設定処理）、各参照点の三次元位置を求める（三次元復元処理）。次に、画像処理部５では、カメラ２，３から視点の異なる左右の撮像画像（視点変化画像）を順次取り入れ、視点変化画像毎に、視点変化画像の基準画像に三次元位置の各参照点を投影する（投影処理）。そして、画像処理部５では、全ての視点変化画像間での隣接する過分割領域間の参照点の相対変位に基づいて結合度を算出する（結合度算出処理）。最後に、画像処理部５では、隣接する過分割領域間を結合度に基づいて結合又は分離し、個々の物体に分離する（物体分離処理）。
【００１８】
領域過分割処理について説明する。画像処理部５では、基準画像のエッジ情報、色情報、テクスチャ情報などの画像情報を用いて、基準画像を領域に過分割する。過度な領域分割を行うので、撮像画像における各物体の存在する領域が多数の領域に分かれる。領域の分割手法としては、特に限定するものでなく、例えば、Ｍｅａｎ−ｓｈｉｆｔ法を用いることにより高速に分割を行うことができる。各種手法で領域分割を行う際に、閾値を高く設定することにより（つまり、分割条件を厳しくすることにより）、過度に領域を分割するようにする。図３には、図２の左撮像画像を領域に過分割した過分割領域画像を示しており、各物体が多数の領域に分割されている。
【００１９】
参照点設定処理について説明する。画像処理部５では、過分割した全ての過分割領域から、隣接する２つの過分割領域ｉ，ｊを順次選択する。そして、画像処理部５では、その２つの過分割領域ｉ，ｊが接している境界線を所定本数（例えば、３本）の線分からなる折れ線によって近似する。さらに、画像処理部５では、折れ線の線分毎に、その線分を中心として、多数個の格子点（参照点）を定義する（図７参照）。多数個の参照点は、過分割領域ｉと過分割領域ｊとに同程度の数の参照点がそれぞれ分布され、過分割領域ｉに属する参照点の数をＮｉとし、過分割領域ｊに属する参照点の数をＮｊとする。参照点の個数（＝Ｎｉ＋Ｎｊ）については、視点変化画像間で過分割領域ｉと過分割領域ｊが離れているかあるいは接しているかを判断することができる必要な十分な個数とする。参照点の間隔については、画素間隔を考慮して、隣接する過分割領域内に十分な個数の参照点を配置できる間隔とする。図４には、参照点群を設定する隣接する過分割領域ＡＤ１，ＡＤ２の一例を示している。隣接する過分割領域ＡＤ１は、過分割領域Ａ１と過分割領域Ａ２とが共に箱の領域であり、同じ物体の領域である。一方、隣接する過分割領域ＡＤ２は、過分割領域Ａ３が箱の領域であり、過分割領域Ａ４が缶の領域であり、異なる物体の境界である。図７に示す例では、１２×５個の参照点ＲＰ，・・・が、折れ線ＦＬの線分を中心として左右に配置されている。
【００２０】
三次元復元処理について説明する。画像処理部５では、全ての隣接する過分割領域ｉ，ｊについて、設定した参照点毎に、左右の撮像画像に基づいて三次元位置を求める。この三次元位置の復元では、例えば、左右の撮像画像間で相関演算を行い、その演算結果から得られた視差を用いて物体までの奥行き距離を算出し、奥行き距離から三次元座標点データを取得する。
【００２１】
画像処理部５では、三次元復元処理が終了すると、カメラ２，３から視点変化画像を順次取り入れる。図５には、５つの異なる視点での視点変化画像の左右の撮像画像において、図４に示す隣接する過分割領域ＡＤ１が描かれており、２つの過分割領域Ａ１、Ａ２は、共に箱上に位置し、常に接している。また、図６には、５つの異なる視点での視点変化画像の左右の撮像画像において、図４に示す隣接する過分割領域ＡＤ２が描かれており、２つの過分割領域Ａ３，Ａ４は、箱上、缶上に位置し、撮像画像上で箱と缶が重なっていないときには離れている。
【００２２】
投影処理について説明する。視点変化画像を取り入れる毎に、画像処理部５では、全ての隣接する過分割領域ｉ，ｊについて、三次元位置の各参照点を視点変化画像の基準画像（二次元画像）上に投影し、各参照点の二次元座標を取得する。過分割領域ｉに属する参照点（投影点）の二次元座標は、横軸座標をｘｋｉとし、縦軸座標をｙｋｉとし、ｋ＝１，・・・Ｎｉである。過分割領域ｊに属する参照点（投影点）の二次元座標は、横軸座標をｘｋｊとし、縦軸座標をｙｋｊとし、ｋ＝１，・・・Ｎｊである。この投影によって、基準の視点での画像上に設定された参照点群は、視点が異なる画像上ではその分布が変化し、異なる物体間に設定されている場合には視点によっては参照点群が分断されることになる。図８には、隣接する過分割領域ｉ，ｊが異なる物体の場合において、ある視点での基準画像上に投影した参照点群を示しており、過分割領域ｉに属する参照点ＲＰ１，・・・と過分割領域ｊに属する参照点ＲＰ２，・・・とが分断されている。このように、視点変化画像間では、隣接する過分割領域が同じ物体の場合には投影される参照点群の位置関係はあまり変化しないが、隣接する過分割領域が異なる物体の場合には投影される参照点群の位置関係は大きく変化する。
【００２３】
結合度算出処理について説明する。各視点変化画像について投影処理が終了する毎に、画像処理部５では、全ての隣接する過分割領域ｉ，ｊについて、過分割領域ｉに属する全ての投影点のｘｋｉと過分割領域ｊに属する全ての投影点のｘｋｊを用いて式（１）によりαｋｉｊを算出するとともに、過分割領域ｉに属する全ての投影点のｙｋｉと過分割領域ｊに属する全ての投影点のｙｋｊを用いて式（２）によりβｋｉｊを算出する。αｋｉｊは、過分割領域ｉに属する投影点群と過分割領域ｊに属する投影点群との横軸方向のくっつき度合い（接しているかあるいは離れているかの度合い）を示す。βｋｉｊは、過分割領域ｉに属する投影群と過分割領域ｊに属する投影点群との縦軸方向のくっつき度合いを示す。
【００２４】
【数１】
2006302193.tif 000003
【００２５】
式（１）、式（２）では、ｘｋｉ，ｙｋｉの各平均値は過分割領域ｉに属する全ての投影点のｘｋｉ，ｙｋｉについての各平均値であり、ｘｋｉ，ｙｋｉの各標準偏差は過分割領域ｉに属する全ての投影点のｘｋｉ，ｙｋｉについての各標準偏差であり、ｘｋｊ，ｙｋｊの各平均値は過分割領域ｊに属する全ての投影点についてのｘｋｊ，ｙｋｊの各平均値であり、ｘｋｊ，ｙｋｊの各標準偏差は過分割領域ｉに属する全ての投影点のｘｋｊ，ｙｋｊについての各標準偏差である。
【００２６】
式（１）、式（２）における平均値の差が大きいほど過分割領域ｉ，ｊ間が離れており、標準偏差が大きいほど各過分割領域ｉ，ｊの投影点群が広い範囲に分布されている。また、式（１）、式（２）において平均値の差が小さくても（つまり、過分割領域ｉ，ｊ間が近づいていても）、標準偏差が小さい（つまり、各過分割領域ｉ，ｊの投影点群が狭い範囲に集まっている）場合、過分割領域ｉと過分割領域ｊとは分断している可能性が高い。また、式（１）、式（２）において平均値の差が大きく（つまり、過分割領域ｉ，ｊ間が離れていても）、標準偏差が大きい（つまり、各過分割領域ｉ，ｊの投影点群が広い範囲に散らばっている）場合、過分割領域ｉと過分割領域ｊとは接している可能性が高い。
【００２７】
全ての視点変化画像について全ての隣接する過分割領域ｉ，ｊのαｋｉｊ、βｋｉｊを算出すると、画像処理部５では、隣接する過分割領域ｉ，ｊ毎に、全ての視点変化画像のαｋｉｊ、βｋｉｊを用いて式（３）によりｒｉｊを算出する。隣接する過分割領域ｉ，ｊが異なる物体間の場合、αｋｉｊ、βｋｉｊの値はばらつくので、ｒｉｊは大きくなる。隣接する過分割領域ｉ，ｊが同じ物体の場合、αｋｉｊ、βｋｉｊの値はばらつかないので、ｒｉｊは小さくなる。
【００２８】
【数２】
2006302193.tif 000004
【００２９】
式（３）では、αｋｉｊの標準偏差は全ての視点変化画像についての隣接する過分割領域ｉ，ｊのαｋｉｊの標準偏差であり、βｋｉｊの標準偏差は全ての視点変化画像についての隣接する過分割領域ｉ，ｊのβｋｉｊの標準偏差である。
【００３０】
さらに、結合度を０〜１の値で表すために、画像処理部５では、隣接する過分割領域ｉ，ｊ毎に、ｒｉｊを用いて、式（４）により、過分割領域ｉ，ｊ間の結合度ｕｉｊを算出する。結合度ｕｉｊは、全ての視点変化画像間での隣接する過分割領域ｉ，ｊにおける投影点の相対変位からその２つの過分割領域ｉ，ｊを１つの物体の領域として結合してよいか否かの度合い（言い換えれば、２つの過分割領域ｉ，ｊを異なる物体の境界として分離してよいか否かの度合い）を示し、０〜１の値である。結合度ｕが１に近いほどその隣接する過分割領域が同じ物体である確率が高く、結合度ｕが０に近いほどその隣接する過分割領域が異なる物体である確率が高い。
【００３１】
【数３】
2006302193.tif 000005
【００３２】
式（４）では、ｍａｘ（ｒｉｊ）は隣接する全ての組み合わせの過分割領域ｉ，ｊ間のｒｉｊのうちの最大値であり、ｍｉｎ（ｒｉｊ）は隣接する全ての組み合わせの過分割領域ｉ，ｊ間のｒｉｊのうちの最小値であり、ρは調整パラメータ（閾値）である。但し、結合度ｕｉｊが存在しない過分割領域間ではｕｉｊ＝ｕｊｉ＝０とする。
【００３３】
なお、αｋｉｊ、βｋｉｊ、ｒｉｊ、ｕｉｊを算出する際に、全ての視点変化画像の基準画像に投影された参照点群を用いたが、基準位置での画像に最初に設定された参照点群も用いてもよい。
【００３４】
物体分離処理について説明する。画像処理部５では、全ての過分割領域について、隣接する過分割領域間を結合度の大小に基づいて結合／分離する。つまり、結合度の大きい隣接する過分割領域間については同じ物体と判断して結合し、結合度の小さい隣接する過分割領域間については異なる物体と判断して分離する。画像処理部５では、この隣接する過分割領域間の結合／分離によって隣接する複数の過分割領域からなる領域を生成し、この生成された領域から個々の物体に分離する。図９には、図２の撮像画像中の物体を分離した結果を示す分離結果画像を示しており、缶に対応する領域Ａ１、直方体の箱に対応する領域Ａ２、ボールに対応する領域Ａ３にそれぞれ分割され、その撮像画像上で３つの物体に接する領域Ａ４も分割されている。
【００３５】
画像処理部５では、その個々に分離した物体を示す画像あるいは個々の物体の情報などの出力結果を出力信号として設定し、その出力信号をモニタ４に送信する。また、必要に応じて、画像処理部５では、処理過程で生成される過分割画像、各視点変化画像の基準画像への投影画像などを出力信号として設定し、その出力信号をモニタ４に送信する。
【００３６】
図１を参照して、画像処理装置１における動作について説明する。特に、画像処理部５における全体的な処理の流れについては図１０のフローチャートに沿って説明し、結合度算出処理の流れについては図１１のフローチャートに沿って説明する。図１０は、本実施の形態に係るメイン処理を示すフローチャートである。図１１は、本実施の形態に係る結合度算出処理を示すフローチャートである。
【００３７】
カメラ２，３では、基準位置から撮像対象をそれぞれ撮影し、その各撮像画像を画像信号として画像処理部５に送信する。
【００３８】
画像処理部５では、カメラ２，３から各画像信号を受信し、基準位置での視点の左右の撮像画像（ステレオ画像）を取り入れる（図１０のＳ１）。そして、画像処理部５では、ステレオ画像のうち基準画像を領域に過分割する（図１０のＳ２）。さらに、画像処理部５では、過分割領域のうちで隣接する過分割領域ｉ，ｊ間をまたぐように格子状の参照点を設定し（図１０のＳ３）、各参照点についてステレオ画像に基づいて三次元位置を復元する（図１０のＳ４）。ここで、基準視点での基準画像上の全ての隣接する過分割領域ｉ，ｊ間に参照点群がそれぞれ定義され、その参照点の三次元位置が求められる。
【００３９】
次に、カメラ２，３は、カメラ間隔と平行を保持しながら所定の位置まで移動する。そして、カメラ２，３では、その移動した位置から撮像対象をそれぞれ撮影し、その各撮像画像を画像信号として画像処理部５に送信する。このカメラ２，３の移動及び移動した位置での撮像は、幾つかの位置で行われる。
【００４０】
画像処理部５では、カメラ２，３から各画像信号を受信し、移動した位置での視点のステレオ画像（視点変化画像）を取り入れる（図１０のＳ５）。視点の異なる視点変化画像を取り入れる毎に、画像処理部５では、全ての隣接する過分割領域ｉ，ｊ間について、視点変化画像の基準画像に三次元位置の各参照点を投影し、各参照点の二次元位置を取得する（図１０のＳ６）。ここで、視点を変えた基準画像上に全ての参照点群が投影され、その二次元位置が求められる。
【００４１】
そして、画像処理部５では、視点変化画像間での投影点の相対変位から隣接する過分割領域ｉ，ｊ間の結合度をそれぞれ算出する（図１０のＳ７）。この際、画像処理部５では、各視点変化画像に対する投影処理が終了する毎に、全ての隣接する過分割領域ｉ，ｊについて、過分割領域ｉに属する全ての投影点の二次元位置（ｘｋｉ，ｙｋｉ）と過分割領域ｊに属する全ての投影点の二次元位置（ｘｋｊ，ｙｋｊ）を用いて、式（１）によりαｋｉｊを算出するとともに（図１１のＳ１０）、式（２）によりβｋｉｊを算出する（図１１のＳ１１）。そして、画像処理部５では、全ての視点変化画像について、全ての隣接する過分割領域ｉ，ｊ間のαｋｉｊ、βｋｉｊを算出したか否かを判定する（図１１のＳ１２）。Ｓ１２にて全ての視点変化画像についての算出が終了していないと判定した場合、画像処理部５では、Ｓ１０に戻って、次の視点変化画像につていのαｋｉｊ、βｋｉｊを算出する。ここで、全ての視点変化画像について、全ての隣接する過分割領域ｉ，ｊにおける過分割領域ｉに属する投影点群と過分割領域ｊに属する投影点群とのくっつき度合いが求められる。
【００４２】
Ｓ１２にて全ての視点変化画像についての算出が終了したと判定した場合、画像処理部５では、隣接する過分割領域ｉ，ｊ毎に、全ての視点変化画像でのαｋｉｊ、βｋｉｊを用いて式（３）によりｒｉｊを算出する（図１１のＳ１３）。さらに、画像処理部５では、隣接する過分割領域ｉ，ｊ毎に、そのｒｉｊを用いて、式（４）によりその隣接する過分割領域ｉ，ｊ間の結合度ｕｉｊを算出する（図１１のＳ１４）。ここで、全ての組み合わせの隣接する過分割領域ｉ，ｊ間についての結合度が求められる。
【００４３】
全ての隣接する過分割領域間の結合度を算出すると、画像処理部５では、全ての過分割領域について、結合度に基づいて隣接する過分割領域間を結合又は分離する。そして、画像処理部５では、複数個の過分割領域からなる領域を生成し、個々の物体に分離する（図１０のＳ８）。ここで、過分割した全ての過分割領域についての結合状態が確定し、各結合状態の過分割領域群からなる領域によって個々の物体に分離されたことになる。
【００４４】
画像処理部５では、物体の分離結果（画像など）を示す出力信号を生成し、その出力信号をモニタ４に送信する。モニタ４では、受信した出力信号に応じた分離結果を表示する。
【００４５】
画像処理装置１によれば、隣接する過分割領域における視点変化画像間での参照点の相対変位に着目して結合度を定義することにより、隣接する過分割領域が異なる物体かあるいは同じ物体かを高精度に判断できる。そのため、各物体に相当する領域を正確に分割でき、個々の物体を高精度に分離することができる。
【００４６】
以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。
【００４７】
例えば、本実施の形態ではコンピュータ上でアプリケーションプログラム（ソフトウエア）を実行することによって各処理を行う構成としたが、ハードウエアによって各処理部を構成してもよい。
【００４８】
また、本実施の形態では２台のカメラによるステレオカメラで撮像手段及び視点変化撮像手段を構成したが、３台以上のカメラで構成してもよいし、あるいは、１台のカメラで構成してもよい。また、本実施の形態ではステレオカメラを移動させながら視点の異なる複数の視点変化画像を取得する視点変化撮像手段を構成としたが、複数台のカメラを撮像対象に対して視点の異なる位置にそれぞれ配置させ、各カメラで視点の異なる複数の視点変化画像を取得するようにしてもよい。
【００４９】
また、本実施の形態では参照点を基準画像（左撮像画像）にのみ設定し、基準画像での参照点の相対変位に基づいて結合度を求める構成としたが、参照点を基準画像と参照画像（右撮像画像）の両方に設定し、基準画像と参照画像の両方での参照点の相対変位に基づいて結合度を求めるようにしてもよい。この場合、結合度を求めるための情報源が増加するので、更に高精度な結合度を求めることができ、物体の分離精度も向上する。
【００５０】
また、本実施の形態では参照点として格子点を設定したが、格子点以外の配列の参照点としてもよい。
【００５１】
また、本実施の形態では全ての過分割領域における隣接する過分割領域間の結合度を求め、その結合度から個々の物体に分離する構成としたが、全ての過分割領域から分離対象の物体が存在する可能性の高い過分割領域を抽出し、その抽出した過分割領域における隣接する過分割領域間の結合度を求め、その結合度から個々の物体に分離するようにしてもよい。
【００５２】
また、本実施の形態では全ての参照点の投影位置から式（１）、式（２）によりαｉｊ，βｉｊを求め、全ての視点変化画像のαｉｊ，βｉｊから式（３）によりｒｉｊを求め、ｒｉｊから式（４）により結合度ｕｉｊを求める構成としたが、他の方法により視点変化画像間での参照点の相対変位に基づいて隣接する過分割領域間の結合度を求めてもよい。
【００５３】
また、本実施の形態では隣接する過分割領域間を結合するかあるいは分離するかを結合度の大小によって判断する構成としたが、結合度の他に、隣接した過分割領域からなる領域に対して立体プリミティブを当てはめ、その当てはめ精度が閾値以上の領域を分離対象の物体とし、当てはめ精度が閾値未満の領域を結合度に基づいて分離する立体プリミティブの当てはめなども用いた他の方法により隣接する過分割領域間を結合／分離してもよい。
【図面の簡単な説明】
【００５４】
【図１】本実施の形態に係る画像処理装置の構成図である。
【図２】基準位置におけるステレオカメラで撮像した左右の撮像画像の一例である。
【図３】図２の撮像画像の過分割領域画像の一例である。
【図４】図２の過分割領域画像において参照点群を設定する隣接する過分割領域を示す一例である。
【図５】移動した各位置におけるステレオカメラで撮像した撮像画像（視点変化画像）に隣接する過分割領域を示した一例であり、（ａ）が左の撮像画像であり、（ｂ）が右の撮像画像である。
【図６】移動した各位置におけるステレオカメラで撮像した撮像画像（視点変化画像）に隣接する過分割領域を示した他の例であり、（ａ）が左の撮像画像であり、（ｂ）が右の撮像画像である。
【図７】基準位置での画像において隣接する過分割領域に設定した参照点群を示す一例である。
【図８】移動したある位置での画像において図７に示す参照点群（三次元位置）を投影した参照点群を示す一例である。
【図９】図２の撮像画像中の物体を分離した結果を示す分離結果画像の一例である。
【図１０】本実施の形態に係るメイン処理を示すフローチャートである。
【図１１】本実施の形態に係る結合度算出処理を示すフローチャートである。
【符号の説明】
【００５５】
１…画像処理装置、２，３…カメラ、４…モニタ、５…画像処理部
【図１】
2006302193.tif 000006
【図２】
2006302193.tif 000007
【図３】
2006302193.tif 000008
【図４】
2006302193.tif 000009
【図５】
2006302193.tif 000010
【図６】
2006302193.tif 000011
【図７】
2006302193.tif 000012
【図８】
2006302193.tif 000013
【図９】
2006302193.tif 000014
【図１０】
2006302193.tif 000015
【図１１】
2006302193.tif 000016