(57)【要約】【課題】  計算機資源が限られた処理系においても、認識対象物に追従して、その移動追跡が容易となる画像処理方法を提供する。【解決手段】  認識対象物を撮像した画像（ステップＳ１）中から認識対象物を３次元復元し（ステップＳ３、４）、復元された認識対象物に立体プリミティブを当てはめ（ステップＳ５）、この立体プリミティブの基準軸方向と、立体プリミティブの形状によって基準軸方向に対して方向が設定される互いに直交する２つの方向における長さの比λを求め（ステップＳ６）、この基準軸方向と、比λに基づいて立体プリミティブの移動方向を推定し（ステップＳ８）、立体プリミティブ内の特徴点を検出して（ステップＳ９）、推定した立体プリミティブの移動方向から特徴点の移動方向を推定し（ステップＳ１１）、推定した移動方向を基にして次の画像内での特徴点の移動を追跡する（ステップＳ１２、１３）。【選択図】  図２
2005309689.tif 000002
【特許請求の範囲】
【請求項１】
認識対象物を撮像した映像を画像処理することで該認識対象物の移動を検出する画像処理方法において、
認識対象物を撮影した複数の画像に基づき認識対象物の３次元復元を行い、
復元された認識対象物に立体プリミティブを当てはめ、
該立体プリミティブの基準軸方向と、立体プリミティブの形状によって基準軸方向に対して方向が設定される互いに直交する２つの方向における長さの比を求め、
前記基準軸方向と、前記比に基づいて立体プリミティブの移動方向を推定し、
立体プリミティブ内の特徴点を検出して、前記立体プリミティブの移動方向から前記特徴点の移動方向を推定し、
推定した移動方向を基にして次の画像内での特徴点の移動を追跡することを特徴とする画像処理方法。
【請求項２】
前記立体プリミティブは、円柱であって、基準軸方向は円柱の中心軸方向であり、前記長さの比は、中心軸方向の長さと断面の直径との比であることを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記立体プリミティブは、楕円球であって、基準軸方向は楕円球の長軸方向であり、前記長さの比は、短軸方向の長さと長軸方向の長さの比であることを特徴とする請求項１記載の画像処理方法。
【請求項４】
前記立体プリミティブは、四角柱であって、基準軸方向は最長の辺方向であり、前記長さの比は、最長辺と１点で交わる他の２辺の長さの比（ただし、１以下）であることを特徴とする請求項１記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、認識対象物を撮影した一連の画像中から認識対象物の移動を追跡するための画像処理方法に関する。
【背景技術】
【０００２】
対象物を撮影した画像から画像処理方法により物体の位置と姿勢を認識する方法として、たとえば特許文献１に開示された位置姿勢認識方法がある。この位置姿勢認識方法は、認識対象を撮影して得られる画像の特徴と、予め用意しておいた認識対象の３次元モデルの投影像とを比較し、両者の合致の度合いに応じてモデルの位置姿勢を求め、認識対象物体の３次元的な位置と姿勢を認識するものである。
【０００３】
しかしながら、この手法では、３次元形状のデータを投影面に投影した投影像を形成して比較を行っているため、物体の姿勢によっては、物体の形状を正確に復元することができない場合があるという問題があった。
【０００４】
そこで、本発明者はステレオカメラの取得画像から対象物に立体プリミティブ（基本立体モデル）をあてはめて、この立体プリミティブの位置・姿勢に基づいて対象物の位置・姿勢を求める手法を発明し、出願を行った（特願２００２−３０７３０２号）。
【特許文献１】特開平１１−５１６１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、対象物が画面内で移動している場合（対象物自体が移動している場合のほか、静止対象物に対してカメラが移動したり、ズーム、パン等を行っている場合を含む。）に、対象物の移動を追跡する手法としては、各画面中における対象物の位置・姿勢を上述の手法により認識して、認識結果に基づいて対象物の移動状況を判定する手法が考えられる。
【０００６】
しかしながら、立体プリミティブの判定は計算負荷を必要とするため、画面中で対象物が比較的高速で移動する場合、その移動に追従することが困難である。このため、計算機資源が限られた処理系においては、リアルタイムでの追従が困難であるという問題がある。
【０００７】
そこで本発明は、計算機資源が限られた処理系においても、認識対象物に追従して、その移動追跡が容易となる画像処理方法を提供することを課題とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明に係る画像処理方法は、認識対象物を撮像した映像を画像処理することでこの認識対象物の移動を検出する画像処理方法において、（１）認識対象物を撮影した複数の画像に基づき認識対象物の３次元復元を行い、（２）復元された認識対象物に立体プリミティブを当てはめ、（３）この立体プリミティブの基準軸方向と、立体プリミティブの形状によって基準軸方向に対して方向が設定される互いに直交する２つの方向における長さの比を求め、（４）これらの基準軸方向と、比に基づいて立体プリミティブの移動方向を推定し、（５）立体プリミティブ内の特徴点を検出して、立体プリミティブの移動方向から特徴点の移動方向を推定し、推定した移動方向を基にして次の画像内での特徴点の移動を追跡することを特徴とする。
【０００９】
物体の形状、配置に応じて移動しやすい方向が存在する。本発明によれば、複数の画像に基づいて認識対象物を３次元復元し、復元された形状に立体プリミティブをあてはめて、その立体プリミティブの移動しやすい方向を立体プリミティブの基準軸方向とこの基準方向に対して所定の関係を有する互いに直交する２方向の長さの比からこの移動しやすい方向を推定する。この推定方向は、１つとは限らず、複数存在し得るが、複数存在する場合は、どの方向へ移動しやすいかが判定される。そして、推定した移動方向に立体プリミティブが移動した場合の立体プリミティブ中の特徴点の移動方向を推定し、次の画像フレーム中ではこの移動方向を優先して、画面全体ではなく移動方向に基づいた所定の領域から特徴点の検出を行う。これにより、移動する特徴点を追跡する。
【００１０】
立体プリミティブが円柱の場合、基準軸方向は円柱の中心軸方向とし、長さの比は、中心軸方向の長さと断面の直径との比とするとよい。
【００１１】
立体プリミティブが楕円球の場合、基準軸方向は楕円球の長軸方向とし、長さの比は、短軸方向の長さと長軸方向の長さの比とするとよい。
【００１２】
また、立体プリミティブが四角柱の場合、基準軸方向は最長の辺方向とし、長さの比は、最長辺と１点で交わる他の２辺の長さの比（ただし、１以下）とするとよい。
【発明の効果】
【００１３】
本発明によれば、認識対象物の形状、姿勢から認識対象物が移動しやすい方向を推定して、特徴点の追跡を行っている。つまり、移動中の特徴点を検出する際に推定した移動方向に基づいて画面全体ではなく所定の領域から特徴点を検出することで、１画面ごとに立体プリミティブの判定を行う必要がなく、また、特徴点を画面全体から検出する必要もないため、計算負荷を大幅に削減することができる。このため、計算機資源の限られた処理系においても高速で特徴点の追跡を行うことができ、リアルタイムでの追従が可能となる。また、特徴点検出の際に移動可能性の低い領域まで対象とすることがないため、このような領域まで検出処理を行うことに伴う誤検出を抑制できる。
【００１４】
立体プリミティブが円柱・楕円球・四角柱の場合、基準軸方向と長さの比を上記のように設定することで、移動方向の推定精度が向上する。
【発明を実施するための最良の形態】
【００１５】
以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の参照番号を附し、重複する説明は省略する。
【００１６】
図１は、本発明に係る画像処理方法を実施する物体認識システムのブロック構成図である。このシステム１００は、対象物２００を異なる視点から撮像する複数のカメラ１１〜１ｎと、カメラの映像信号を受信して画像処理を行う画像処理装置２と、処理結果を表示するモニタ３とからなる。
【００１７】
カメラ１１〜１ｎは、例えば、ビデオカメラであって、毎秒３０フレームで画像を画像処理装置２へ転送することができる。このときの映像信号は、１画面が６４０×４８０ドットで構成され、各画素は、ＲＧＢそれぞれ８ビットで表されるデジタル信号である。なお、カメラ１１〜１ｎ側でデジタル信号へと変換して画像処理装置２へ転送する形態のほか、カメラ１１〜１ｎに、アナログ映像信号（例えば、ＮＴＳＣ形式）の信号を出力するタイプのものを使用し、画像処理装置２にＡ／Ｄ変換器を設ける構成や、画像処理装置２との間に独立のＡ／Ｄ変換器を設ける構成を採用してもよい。カメラ１１〜１ｎは、２台（つまり、ｎ＝２）であれば、対象物の立体視が可能であるが、３台以上としてもよい。さらに、３台以上用いる場合には、全部のカメラの映像を用いるのではなく、任意の２台以上の画像を組み合わせて画像処理を行ってもよい。
【００１８】
画像処理装置２は、ＣＰＵ、ＲＯＭ、ＲＡＭ等によって構成されており、入力された映像信号の各画像に対して所定の画像処理を施し、処理結果をモニタ３へと出力するものである。この画像処理装置２は、本発明に係る画像処理方法に特化した専用のハードウェアとして構成されていてもよいし、パーソナルコンピュータやワークステーションといったコンピュータを用いて、ソフトウェアによって本発明に係る画像処理を実現してもよい。
【００１９】
この画像処理システム１００を用いた、本発明に係る画像処理方法について、以下に具体的に説明する。図２はこの画像処理方法の処理内容を示すフローチャートであり、図３〜図  は、個々の処理を説明する図である。以下、２台のカメラ１１、１２を用いて処理を行う例を説明するが、３台以上のカメラ１１〜１ｎを用いる場合も同様の処理が行われる。この処理は、追跡処理中所定間隔の画像フレームを対象として繰り返し実行されるものである。
【００２０】
まず、各カメラ１１〜１ｎから１画像フレーム分の映像信号を取得する（ステップＳ１）。次に、事前のタイムステップにおいて特徴点を設定済みか否かを判定する（ステップＳ２）。特徴点の設定が行われていない場合には、最初に、特徴点の設定処理を行う。
【００２１】
特徴点の設定処理においては、まず、取得した画像から対象物２００のエッジを抽出する（ステップＳ３）。次に、各画像中のエッジから対象物２００の３次元復元を行う（ステップＳ４）。具体的には、各画像中で対応しあうエッジの位置とカメラの向き、カメラの位置情報を基にして各エッジの３次元空間における位置を求める。この復元結果は対象物２００の外形の一部に合致する３次元形状となる。
【００２２】
次に、この３次元復元結果に立体プリミティブをあてはめる（ステップＳ５）。例えば、エッジの方向の分布をクラスタリングすることにより、対象物２００の主軸方向を決定し、立体プリミティブの種類、位置、大きさを決定する。このクラスタリングの手法としては、ＮＮ（Nearest Neighbor）法やＫ−ｍｅａｎ法を用いることができる。立体プリミティブの種類は主軸の数（クラスタ数）によって決定される。あてはめる立体プリミティブとしては、球、楕円球、円柱、四角柱、円錐、四角錐等を用いればよい。対象物が複数ある場合には、各対象物を構成するエッジの分離は、各種の領域分割手法や色分離、閉曲線となるエッジの抽出等によって行うことができる。
【００２３】
対象物に立体プリミティブをあてはめたら、立体プリミティブの形状、寸法に応じて基準軸方向と、所定の互いに直交する方向の長さの比λを求める（ステップＳ６）。
【００２４】
当てはめた立体プリミティブが円柱の場合は、図３に示されるように、中心軸方向を基準軸方向とし、λは、中心軸方向の長さ（円柱の高さ）Ｈと断面（および底面）の直径Ｄとの比Ｈ／Ｄとする。この場合、λは０より大きくなる。
【００２５】
当てはめた立体プリミティブが四角柱の場合は、図４に示されるように、四角柱の辺の長さを長い順にＬ１、Ｌ２、Ｌ３とすると、Ｌ１方向の軸１を基準軸方向とする。そして、比λは、Ｌ２／Ｌ３として設定される。つまり、この場合には、λは１以上となる。なお、Ｌ２方向、Ｌ３方向をそれぞれ軸２、軸３と呼ぶ。
【００２６】
当てはめた立体プリミティブが楕円球の場合は、、図５に示されるように、長軸方向を基準軸方向とし、短軸の長さＬ２と長軸の長さＬ１の比Ｌ２／Ｌ１をλに設定する。この場合、λは０を超え、１未満となる。λが１の場合とは真球であり、軸方向を明確に設定することができないため、判定を行うことはできない。
【００２７】
そこで、ステップＳ７では、基準軸方向と比λの設定が行えたか否かを判定し、行えなかった場合には、本発明による追跡処理は行わずに処理を終了する。ステップＳ７で基準軸方向と比λの設定が行えた場合には、ステップＳ８へと移行してさらに処理を継続する。
【００２８】
ステップＳ８では、設定した基準軸の方向と比λに基づいて、その立体プリミティブが３次元空間内で移動しやすい方向を判定する。
【００２９】
立体プリミティブの種類が円柱の場合、移動方向としては、図６に示されるように、基準軸回りの回転（動きＡ）、基準軸方向への転動（動きＢ）、基準軸に直交する方向への移動（動きＣ）、基準軸に直交する方向の回転（動きＤ）の４種類に分類され、実際の動きはこれらの合成として考えることができる。そして、基準軸が垂直向きか水平向きか、また、λが小さい（形状が円盤に近い）かλが大きい（形状が棒状に近い）かによって図７に示されるように、動きやすさが異なってくる。
【００３０】
例えば、底面を下にして（基準軸方向を垂直にして）、λの小さい円盤状の物体が置かれている場合には、物体は安定しているから、底面に沿った方向の移動、つまり動きＣが主体となる。λが大きくなるにしたがって、安定度が低下するため、転倒（動きＤ）しやすくなり、λが大きくなると、転倒、つまり動きＤが主体となる。したがって、λをパラメータとして各動きの確率を表すと、基準軸方向が垂直な場合には、図８に示されるようになる。
【００３１】
また、軸を水平にして、円柱を横倒しに配置した場合、λの小さい円盤状の物体の場合には、不安定な状態であるため、基準軸が垂直な方向になるよう移動しやすく、動きＢが主体となる。λが大きくなるにしたがって、軸方向の安定度は増すため、動きＢの確率は低下し、転がる方向、つまり、動きＡが主体となっていく。一方、垂直軸を中心とした回転（動きＤ）もある確率で起こりうる。したがって、λをパラメータとして各動きの確率を表すと、基準軸方向が水平な場合には、図９に示されるようになる。
【００３２】
立体プリミティブの種類が四角柱の場合、移動方向としては、図１０に示されるように、垂直方向の軸以外の２辺のうち長い辺方向を軸とする回転（動きＡ）、短い辺方向を軸とする回転（動きＢ）、長い辺方向への移動（動きＣ）、短い辺方向への移動（動きＤ）に分類され、実際の動きはこれらの合成として考えることができる。そして、基準軸が垂直向きか水平向きか、また、λが小さい（形状が正方柱に近い）かλが大きい（形状が薄板に近い）かによって図１１に示されるように、動きやすさが異なってくる。
【００３３】
例えば、基準軸方向を垂直にして、λが１に近い略正方柱形の物体が置かれている場合には、物体は底面に沿った方向の移動（動きＣ、Ｄ）のほか、倒れる方向（動きＡ、動きＢ）がそれぞれ起こりうる。λが大きくなるにしたがって、動きＢ、Ｃ方向の安定度は高くなるが、動きＡ方向の安定度は低下していき、動きＡが主体となる。したがって、λをパラメータとして各動きの確率を表すと、基準軸方向が垂直な場合には、図１２に示されるようになる。
【００３４】
また、軸を水平にして、四角柱が横倒しに配置されている場合、λの小さい状態（Ｌ２方向の辺を底面とする場合を含む。）では、動きＡ、Ｂは起こりにくく、動きＣ、Ｄが主体となる。λが大きくなるにつれて、動きＡ方向の安定度が低下していき、動きＡが主体となる。したがって、λをパラメータとして各動きの確率を表すと、基準軸方向が水平、かつ、Ｌ３方向が底面方向となる場合には、図１３に示されるようになる。
【００３５】
そして、立体プリミティブの種類が楕円球の場合、移動方向としては、図１４に示されるように、短軸方向の移動（動きＡ）、短軸回りの回転（動きＢ）、長軸方向への移動（動きＣ）、長軸の端点回りの回転（動きＤ）の４種類に分類され、実際の動きはこれらの合成として考えることができる。そして、基準軸が垂直向きか水平向きか、また、λが小さい（形状が円盤に近い）かλが大きい（形状が真球に近い）かによって図１５に示されるように、動きやすさが異なってくる。
【００３６】
例えば、基準軸方向を垂直にして、λの小さい円盤状の物体が置かれている場合には、物体は不安定であるから、底部の端点回りの転倒、つまり動きＤが主体となる。λが大きくなるにしたがって、安定度が増すため、転倒（動きＤ）しにくくなり、λが大きくなると、短軸方向の移動、つまり動きＡが主体となる。したがって、λをパラメータとして各動きの確率を表すと、基準軸方向が垂直な場合には、図１６に示されるようになる。
【００３７】
また、軸を水平にして、楕円球を横倒しに配置した場合、λの小さい円盤状の物体の場合には、比較的安定した状態であるため、短軸回りの回転である動きＢが主体となり、短軸方向の移動である動きＡがこれに続く。λが大きくなるにしたがって、寵児句法項へと移動しやすくなり、動きＢの確率は低下し、動きＣの確率が増えていく。したがって、λをパラメータとして各動きの確率を表すと、基準軸方向が水平な場合には、図１７に示されるようになる。
【００３８】
こうして移動しやすい方向を判定したら、立体プリミティブ内で追跡が容易な特徴点を検出する（ステップＳ９）。例えば、色、輝度、エッジや立体プリミティブの頂点を構成する要素といった立体プリミティブの位置変更にかかわらず、その追跡が容易な点を設定するとよい。図１８はこうして設定した特徴点位置の例を示している。特徴点の設定処理は以上で終了し、求めた立体プリミティブの種別、位置、方向等を出力して（ステップＳ１０）、当該タイムステップの処理を終了する。
【００３９】
ステップＳ２で、既に特徴点を検出済みと判定された場合には、ステップＳ１１へと移行して、先に判定した移動しやすい方向から特徴点を検出すべき領域を限定する。そして、限定した範囲内において特徴点を追跡することで、その画面内での位置を求める（ステップＳ１２）。図１９はこのような追跡処理を行う領域の例を示している。移動方向と移動速度に応じて特徴点が所定の画像領域に存在する確率を計算し、しきい値以上の確率を有する画像領域を検出すべき領域として設定するとよい。ここで、移動速度は立体プリミティブ当てはめ後最初の追跡処理時には予め設定された速度を用い、２回目以降の追跡処理時には、前回の移動速度を基にして予想移動速度を設定して判定を行うとよい。このように、追跡する画像領域を限定することで、計算機資源の限られた処理系においても高速で特徴点の追跡を行うことができる。
【００４０】
次に、特徴点位置から立体プリミティブの３次元的な空間位置・姿勢を復元する（ステップＳ１３）。これは、特徴点と立体プリミティブの相対位置を記憶しておき、画像中の特徴点位置からこの相対位置関係を利用して立体プリミティブの３次元的位置を算出することにより行えばよい。そして、ステップＳ１０へと移行することにより、求めた立体プリミティブの位置、方向情報を出力して当該タイムステップの処理を終了する。
【００４１】
本発明によれば、画像中で対象物そのものを追跡するのではなく、物体を単純な形状を有する立体プリミティブに近似してその位置・方向を求めるので、複雑な形状を有する対象物に対しても適用することができる。また、画像フレームごとに立体プリミティブを新たに求めるのではなく、立体プリミティブの移動のしやすさを考慮して、追跡範囲を限定するとともに、特徴点のみを限定された追跡範囲内で追跡することで、計算時間を必要とするクラスタリング処理を毎回行う必要がなく、短時間で立体プリミティブの追跡が可能となる。
【００４２】
このとき、立体プリミティブの寸法を代表するパラメータであるλを利用して、基準となる移動方向それぞれの確率を定義することで、移動のしやすさの判定が容易になる。そして、任意の方向への移動を基準となる移動方向への移動の合成として考えることで、移動しやすい方向＝追跡処理をする方向を限定することが容易であり、限定された領域内に特徴点が存在する確率も高くなり、高精度の追跡が可能となる。
【００４３】
立体プリミティブを最初に求める際の処理として、ここでは、エッジ抽出処理を用いたが、例えば、色、輝度による方法やテクスチャーを用いて求めてもよい。
【産業上の利用可能性】
【００４４】
本発明は、例えば、ロボットの視覚センサにおいて、物体を把持する場合の物体認識に適用可能である。本発明によれば、物体を把持する際に、把持に失敗して対象物が動いた場合等に、ロボットに再度物体を把持させようとする際に、対象物を再認識する処理に用いる等の利用が可能である。
【図面の簡単な説明】
【００４５】
【図１】本発明に係る画像処理方法を実施する物体認識システムのブロック構成図である。
【図２】画像処理方法の処理内容を示すフローチャートである。
【図３】立体プリミティブが円柱の場合の基準軸方向とλの設定法を示す図である。
【図４】立体プリミティブが四角柱の場合の基準軸方向とλの設定法を示す図である。
【図５】立体プリミティブが楕円球の場合の基準軸方向とλの設定法を示す図である。
【図６】立体プリミティブが円柱の場合の移動方向を示す図である。
【図７】立体プリミティブが円柱の場合の基準軸方向とλによる移動のしやすさの違いを説明する図である。
【図８】立体プリミティブが円柱で、基準軸方向が垂直な場合のλをパラメータとした各動きの確率を示す図である。
【図９】立体プリミティブが円柱で、基準軸方向が水平な場合のλをパラメータとした各動きの確率を示す図である。
【図１０】立体プリミティブが四角柱の場合の移動方向を示す図である。
【図１１】立体プリミティブが四角柱の場合の基準軸方向とλによる移動のしやすさの違いを説明する図である。
【図１２】立体プリミティブが四角柱で、基準軸方向が垂直な場合のλをパラメータとした各動きの確率を示す図である。
【図１３】立体プリミティブが四角柱で、基準軸方向が水平な場合のλをパラメータとした各動きの確率を示す図である。
【図１４】立体プリミティブが楕円球の場合の移動方向を示す図である。
【図１５】立体プリミティブが楕円球の場合の基準軸方向とλによる移動のしやすさの違いを説明する図である。
【図１６】立体プリミティブが楕円球で、基準軸方向が垂直な場合のλをパラメータとした各動きの確率を示す図である。
【図１７】立体プリミティブが楕円球で、基準軸方向が水平な場合のλをパラメータとした各動きの確率を示す図である。
【図１８】立体プリミティブ内に設定した特徴点の例を示す図である。
【図１９】追跡処理を行う領域を示す図である。
【符号の説明】
【００４６】
１１〜１ｎ…カメラ、２…画像処理装置、３…モニタ、１００…画像処理システム、２００…対象物。
【図１】
2005309689.tif 000003
【図２】
2005309689.tif 000004
【図３】
2005309689.tif 000005
【図４】
2005309689.tif 000006
【図５】
2005309689.tif 000007
【図６】
2005309689.tif 000008
【図７】
2005309689.tif 000009
【図８】
2005309689.tif 000010
【図９】
2005309689.tif 000011
【図１０】
2005309689.tif 000012
【図１１】
2005309689.tif 000013
【図１２】
2005309689.tif 000014
【図１３】
2005309689.tif 000015
【図１４】
2005309689.tif 000016
【図１５】
2005309689.tif 000017
【図１６】
2005309689.tif 000018
【図１７】
2005309689.tif 000019
【図１８】
2005309689.tif 000020
【図１９】
2005309689.tif 000021