(57)【要約】【課題】  計算機資源が限られた処理系においても、認識対象物に追従して、その移動追跡が容易となる立体プリミティブを用いた画像処理方法を提供する。【解決手段】  認識対象物を撮影した複数の画像を取得し（ステップＳ１）、画像から認識対象物の３次元復元を行い（ステップＳ３、Ｓ４）、復元結果に立体プリミティブを当てはめ（ステップＳ５）、この立体プリミティブの主軸方向に方向が略一致する３次元復元結果中の特徴要素を抽出し（ステップＳ６）、抽出した特徴要素の各画像内での移動を追跡し（ステップＳ７、Ｓ１０）、追跡結果として得られた特徴要素の各画像内での位置を基にして特徴要素の３次元復元を行い（ステップＳ１１）、復元した特徴要素に立体プリミティブを当てはめることで、認識対象物の画像中での移動を追跡する（ステップＳ１２）。【選択図】  図２
2005309687.tif 000002
【特許請求の範囲】
【請求項１】
認識対象物を撮影した複数の画像に基づき認識対象物の３次元復元を行い、復元された認識対象物に立体プリミティブを当てはめ、該立体プリミティブを用いて認識対象物の画像中での移動を追跡する画像処理方法において、
認識した立体プリミティブの主軸方向を求め、
３次元復元結果中の特徴要素中から該主軸方向に方向が略一致する特徴要素を抽出し、
抽出した特徴要素の各画像内での移動を追跡し、
追跡結果として得られた特徴要素の各画像内での位置を基にして特徴要素の３次元復元を行い、
復元した特徴要素に立体プリミティブを当てはめることで、認識対象物の画像中での移動を追跡することを特徴とする画像処理方法。
【請求項２】
前記特徴要素は、認識対象物画像のエッジであることを特徴とする請求項１記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、認識対象物を撮影した一連の画像中から認識対象物の移動を追跡するための画像処理方法に関する。
【背景技術】
【０００２】
対象物を撮影した画像から画像処理方法により物体の位置と姿勢を認識する方法として、たとえば特許文献１に開示された位置姿勢認識方法がある。この位置姿勢認識方法は、認識対象を撮影して得られる画像の特徴と、予め用意しておいた認識対象の３次元モデルの投影像とを比較し、両者の合致の度合いに応じてモデルの位置姿勢を求め、認識対象物体の３次元的な位置と姿勢を認識するものである。
【０００３】
しかしながら、この手法では、３次元形状のデータを投影面に投影した投影像を形成して比較を行っているため、物体の姿勢によっては、物体の形状を正確に復元することができない場合があるという問題があった。
【０００４】
そこで、本発明者はステレオカメラの取得画像から対象物に立体プリミティブ（基本立体モデル）をあてはめて、この立体プリミティブの位置・姿勢に基づいて対象物の位置・姿勢を求める手法を発明し、出願を行った（特願２００２−３０７３０２号）。
【特許文献１】特開平１１−５１６１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、対象物が画面内で移動している場合（対象物自体が移動している場合のほか、静止対象物に対してカメラが移動したり、ズーム、パン等を行っている場合を含む。）に、対象物の移動を追跡する手法としては、各画面中における対象物の位置・姿勢を上述の手法により認識して、認識結果に基づいて対象物の移動状況を判定する手法が考えられる。
【０００６】
しかしながら、立体プリミティブの判定は計算負荷を必要とするため、画面中で対象物が比較的高速で移動する場合、その移動に追従することが困難である。このため、計算機資源が限られた処理系においては、リアルタイムでの追従が困難であるという問題がある。
【０００７】
そこで本発明は、計算機資源が限られた処理系においても、認識対象物に追従して、その移動追跡が容易となる立体プリミティブを用いた画像処理方法を提供することを課題とする。
【課題を解決するための手段】
【０００８】
認識対象物を撮影した複数の画像に基づき認識対象物の３次元復元を行い、復元された認識対象物に立体プリミティブを当てはめ、この立体プリミティブを用いて認識対象物の画像中での移動を追跡する画像処理方法において、（１）認識した立体プリミティブの主軸方向を求め、（２）３次元復元結果中の特徴要素中から該主軸方向に方向が略一致する特徴要素を抽出し、（３）抽出した特徴要素の各画像内での移動を追跡し、（４）追跡結果として得られた特徴要素の各画像内での位置を基にして特徴要素の３次元復元を行い、（５）復元した特徴要素に立体プリミティブを当てはめることで、認識対象物の画像中での移動を追跡する、ことを特徴とする。
【０００９】
本発明によれば、認識対象物を立体プリミティブにあてはめ、あてはめた立体プリミティブの主軸（直交する３軸）方向と方向が略一致する特徴要素を抽出する。各画像内での認識対象物の移動の追跡にあたっては、この特徴要素を追跡し、求めた位置・方向から特徴要素の３次元復元を行うことで、認識対象物を簡素化した状態で３次元復元する。特徴要素の主軸方向と立体プリミティブの主軸方向とは一致しているから、３次元復元された特徴要素の位置・方向を基に３次元空間中での立体プリミティブの位置・方向が求まる。
【００１０】
この特徴要素は、例えば、認識対象物画像のエッジであるとよい。
【発明の効果】
【００１１】
本発明によれば、追跡の際に画像ごとに立体プリミティブへの当てはめを行うのではなく、立体プリミティブの主軸方向に一致する特徴要素を追跡している。このため、追跡を行うのに必要な計算負荷を削減することができる。また、特徴要素の方向と立体プリミティブの主軸方向が一致しているため、特徴要素の位置・方向がわかれば、その時点の立体プリミティブの位置・方向も簡単な演算で求めることができる。このため、認識対象物の移動を精度よく、高速に追跡することができ、計算機資源の少ない処理系においてもリアルタイムでの認識対象物の追跡が可能となる。
【発明を実施するための最良の形態】
【００１２】
以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の参照番号を附し、重複する説明は省略する。
【００１３】
図１は、本発明に係る画像処理方法を実施する物体認識システムのブロック構成図である。このシステム１００は、対象物２００を異なる視点から撮像する複数のカメラ１１〜１ｎと、カメラの映像信号を受信して画像処理を行う画像処理装置２と、処理結果を表示するモニタ３とからなる。
【００１４】
カメラ１１〜１ｎは、例えば、ビデオカメラであって、毎秒３０フレームで画像を画像処理装置２へ転送することができる。このときの映像信号は、１画面が６４０×４８０ドットで構成され、各画素は、ＲＧＢそれぞれ８ビットで表されるデジタル信号である。なお、カメラ１１〜１ｎ側でデジタル信号へと変換して画像処理装置２へ転送する形態のほか、カメラ１１〜１ｎに、アナログ映像信号（例えば、ＮＴＳＣ形式）の信号を出力するタイプのものを使用し、画像処理装置２にＡ／Ｄ変換器を設ける構成や、画像処理装置２との間に独立のＡ／Ｄ変換器を設ける構成を採用してもよい。カメラ１１〜１ｎは、２台（つまり、ｎ＝２）であれば、対象物の立体視が可能であるが、３台以上としてもよい。さらに、３台以上用いる場合には、全部のカメラの映像を用いるのではなく、任意の２台以上の画像を組み合わせて画像処理を行ってもよい。
【００１５】
画像処理装置２は、ＣＰＵ、ＲＯＭ、ＲＡＭ等によって構成されており、入力された映像信号の各画像に対して所定の画像処理を施し、処理結果をモニタ３へと出力するものである。この画像処理装置２は、本発明に係る画像処理方法に特化した専用のハードウェアとして構成されていてもよいし、パーソナルコンピュータやワークステーションといったコンピュータを用いて、ソフトウェアによって本発明に係る画像処理を実現してもよい。
【００１６】
この画像処理システム１００を用いた、本発明に係る画像処理方法について、以下に具体的に説明する。図２はこの画像処理方法の処理内容を示すフローチャートであり、図３〜図１２は、個々の処理を説明する図である。以下、２台のカメラ１１、１２を用いて処理を行う例を説明するが、３台以上のカメラ１１〜１ｎを用いる場合も同様の処理が行われる。この処理は、追跡処理中所定間隔の画像フレームを対象として繰り返し実行されるものである。
【００１７】
まず、各カメラ１１〜１ｎから１画像フレーム分の映像信号を取得する（ステップＳ１）。図３は、各カメラから取得した画像を示す例である。ここでは、対象物２００としてミニカー２台が画像中に写っている。以下、左側のミニカーを参照番号２０１で、右側のミニカーを参照番号２０２で表すものとする。次に、事前のタイムステップにおいて特徴要素を設定済みか否かを判定する（ステップＳ２）。特徴要素の設定が行われていない場合には、最初に、特徴要素の設定処理を行う。
【００１８】
特徴要素の設定処理においては、まず、取得した画像から対象物であるミニカー２０１と２０２のエッジを抽出する（ステップＳ３）。次に、各画像中のエッジからミニカー２０１、２０２の３次元復元を行う（ステップＳ４）。具体的には、各画像中で対応しあうエッジの位置とカメラの向き、カメラの位置情報を基にして各エッジの３次元空間における位置を求める。この復元結果は図４に示されるように、ミニカー２０１、２０２それぞれの外形の一部に合致する３次元形状となる。
【００１９】
次に、この３次元復元結果に立体プリミティブをあてはめる（ステップＳ５）。例えば、エッジの方向の分布をクラスタリングすることにより、ミニカー２０１、２０２それぞれの主軸方向を決定し（図５参照）、立体プリミティブの種類、位置、大きさを決定する（図６参照）。ここでは、立体プリミティブとして４角柱にあてはめを行った例を示している。ミニカー２０１、２０２に対応する立体プリミティブを３０１、３０２とする。クラスタリングの手法としては、ＮＮ（Nearest Neighbor）法やＫ−ｍｅａｎ法を用いることができる。立体プリミティブの種類は主軸の数（クラスタ数）によって決定される。あてはめる立体プリミティブとしては、球、楕円球、円柱、四角柱、円錐、四角錐等を用いればよい。ミニカー２０１と２０２を構成するエッジの分離は、各種の領域分割手法や色分離、閉曲線となるエッジの抽出等によって行うことができる。ここでは、ミニカー２０１、２０２が並列に置かれているため、両立体プリミティブ３０１、３０２の主軸方向は略一致しているが、画像内に複数の対象物が存在する場合、それらの立体プリミティブの主軸方向は異なりうる。
【００２０】
対象物に立体プリミティブをあてはめたら、立体プリミティブ３０１、３０２の主軸方向に近い方向のエッジを特徴要素として抽出する（ステップＳ６）。ここで主軸方向に近い方向のエッジとは、図７に示すように、その方向ベクトルといずれかの主軸ベクトルとのなす角度が所定角度以内、つまり、エッジの方向ベクトルを原点Ｏに位置させたときに、方向ベクトルが主軸を中心軸とし、原点Ｏを頂点とする所定の頂角の円錐Ｃ１〜Ｃ３の内部に存在する場合を指している。図８には、こうして抽出した特徴要素となるエッジをＲ１〜Ｒ７で示している。ここで、Ｒ１〜Ｒ４がミニカー２０１の外形に対応するエッジであり、Ｒ５〜Ｒ７がミニカー２０２の外形に対応するエッジである。
【００２１】
次に、抽出した特徴要素Ｒ１〜Ｒ７を元画像のそれぞれに逆投影する（ステップＳ７）。図９は、カメラ１１の画像へ特徴要素Ｒ１〜Ｒ７を逆投影した投影結果であり、特徴要素Ｒ１〜Ｒ７を逆投影した逆投影画像をＰ１〜Ｐ７で示している。特徴要素は、ミニカー２０１、２０２の車両の底辺や後端、ウィンドウ下端であり、対象物が移動しても対象物自身によって隠れることの少ない部位といえ、その追跡は容易なポイントといえる。特徴要素の抽出処理は以上で終了し、求めた立体プリミティブ３０１、３０２の種別、位置、方向を出力して（ステップＳ８）、当該タイムステップの処理を終了する。
【００２２】
ステップＳ２で、既に特徴要素を抽出済みと判定された場合には、ステップＳ１０へと移行して、前回のタイムステップにおける特徴要素を逆投影した画像と今回カメラから取得した画像とを比較することにより、画面内での特徴要素を追跡して、その画面内での位置を求める。図１０は、画像中に追跡結果として得られた特徴要素Ｐ１’〜Ｐ７’を重ね合わせて表示した例である。特徴要素の追跡は２つの画像間での相関度を比較することで求めたり、エッジや色、輝度、テクスチャー等を比較することにより行うとよい。
【００２３】
次に、求めた特徴要素Ｐ１’〜Ｐ７’の３次元復元を行う（ステップＳ１１）。具体的にはステップＳ４と同様に、各画像中で対応しあう特徴要素の位置とカメラの向き、カメラの位置情報を基にして各特徴要素の３次元空間における位置を求める。図１１は、こうして求めた３次元復元結果を示している。ここでは、各特徴要素を符号Ｒ１’〜Ｒ７’で示している。
【００２４】
次に、３次元空間内の特徴要素Ｒ１’〜Ｒ７’の位置から立体プリミティブ３０１、３０２の位置、方向を算出する（ステップＳ１２）。特徴要素Ｒ１’〜Ｒ４’の方向は、立体プリミティブ３０１の主軸方向と略一致しており、特徴要素Ｒ５’〜Ｒ７’の方向は、立体プリミティブ３０２の主軸方向と略一致しているから、特徴要素Ｒ１’〜Ｒ７’の位置から立体プリミティブ３０１、３０２の主軸方向とその位置を算出することが容易である。図１２は、求めた立体プリミティブ３０１、３０２の位置を示す図である。
【００２５】
そして、ステップＳ８へと移行することにより、求めた立体プリミティブ３０１、３０２の位置、方向情報を出力して当該タイムステップの処理を終了する。
【００２６】
本発明によれば、画像中で対象物そのものを追跡するのではなく、物体を単純な形状を有する立体プリミティブに近似してその位置・方向を求めるので、複雑な形状を有する対象物に対しても適用することができる。また、画像フレームごとに立体プリミティブを新たに求めるのではなく、立体プリミティブ中から特徴要素を抽出して、追跡を行うため、計算時間を必要とするクラスタリング処理を毎回行う必要がなく、短時間で立体プリミティブの追跡が可能となる。
【００２７】
このとき、抽出する特徴要素を立体プリミティブの主軸方向に近い要素に着目することにより、最初の立体プリミティブ設定時における３次元復元処理のノイズの影響を抑制することができる。特に、主軸に近い方向の特徴要素（例えば、エッジ）は、比較的大きくその追跡が容易である。また、追跡点が少なくなるため、処理も高速化できる。
【００２８】
例えば、特に、高速で処理を行う必要がある場合（画像処理装置の処理能力が低い場合を含む）には、ステップＳ５における円錐の頂角を小さくして、主軸方向と一致度の高い特徴要素を厳選することで、追跡処理の高速化が実現でき、計算機資源の少ない処理系でもリアルタイムでの追従が容易になる。一方、精度を要する場合には、ステップＳ５における円錐の頂角を比較的大きくして、主軸方向と略一致するとして選定する特徴要素の数を増やすとよい。
【００２９】
ここでは、特徴要素としてエッジを用いる例を説明したが、例えばテクスチャー、パターン等を用いてもよい。この場合は、法線ベクトルまたはその境界が主軸方向と一致するテクスチャー、パターンを特徴要素として取り出せばよい。
【００３０】
また、立体プリミティブを最初に求める際にも、エッジ抽出処理以外の手法で求めてもよい。例えば、色、輝度による方法やテクスチャーを用いる手法がある。
【産業上の利用可能性】
【００３１】
本発明は、例えば、ロボットの視覚センサにおいて、物体を把持する場合の物体認識に適用可能である。本発明によれば、物体を把持する際に、把持に失敗して対象物が動いた場合等に、ロボットに再度物体を把持させようとする際に、対象物を再認識する処理に用いる等の利用が可能である。
【図面の簡単な説明】
【００３２】
【図１】本発明に係る画像処理方法を実施する物体認識システムのブロック構成図である。
【図２】本発明に係る画像処理方法の処理内容を示すフローチャートである。
【図３】各カメラから取得した画像を示す例である。
【図４】抽出した各エッジの３次元空間への復元結果を示す例である。
【図５】主軸方向の決定手法を説明する図である。
【図６】立体プリミティブのあてはめ結果の例示である。
【図７】特徴要素の抽出手法を説明する図である。
【図８】抽出した特徴要素の例示である。
【図９】カメラ１１の画像へ特徴要素Ｒ１〜Ｒ７を逆投影した投影結果である。
【図１０】画像中に追跡結果として得られた特徴要素Ｐ１’〜Ｐ７’を重ね合わせて表示した例である。
【図１１】追跡結果として得られた各特徴要素の３次元復元結果を示す例示である。
【図１２】追跡結果として得られた立体プリミティブ３０１、３０２の位置を示す図である。
【符号の説明】
【００３３】
１１〜１ｎ…カメラ、２…画像処理装置、３…モニタ、１００…画像処理システム、２００…対象物、２０１、２０２…ミニカー、３０１、３０２…立体プリミティブ、Ｐ１〜Ｐ７、Ｒ１〜Ｒ７…特徴要素。
【図１】
2005309687.tif 000003
【図２】
2005309687.tif 000004
【図３】
2005309687.tif 000005
【図４】
2005309687.tif 000006
【図５】
2005309687.tif 000007
【図６】
2005309687.tif 000008
【図７】
2005309687.tif 000009
【図８】
2005309687.tif 000010
【図９】
2005309687.tif 000011
【図１０】
2005309687.tif 000012
【図１１】
2005309687.tif 000013
【図１２】
2005309687.tif 000014