(57)【要約】【課題】  画像中の対象物の特徴点検出を利用して物体の追跡を行う画像処理装置において、誤検出した特徴点を識別することが容易な画像処理装置を提供する。【解決手段】  相互の位置関係が既知の視点の異なる複数のカメラを用いて対象物の動画像を撮影し（ステップＳ１）、画像中の対象物の特徴点を検出して（ステップＳ４）、その追跡を行う（ステップＳ１１）画像処理装置において、追跡時の特徴点抽出処理の際に、カメラ間の幾何学的拘束条件に基づいて抽出した特徴点が画像間で満たすべき位置関係を求め（ステップＳ２）、求めた位置関係を満たしていない特徴点を誤追跡点として除外し（ステップＳ１３〜Ｓ１５）、満たしている特徴点に基づいて追跡を行う（ステップＳ１３、Ｓ１４、Ｓ１６）。【選択図】  図２
2005309782.tif 000002
【特許請求の範囲】
【請求項１】
相互の位置関係が既知の視点の異なる複数のカメラを用いて対象物の動画像を撮影し、画像中の対象物の特徴点を検出して、その追跡を行う画像処理装置において、
追跡時の特徴点抽出処理の際に、カメラ間の幾何学的拘束条件に基づいて抽出した特徴点が画像間で満たすべき位置関係を求める位置関係判定手段と、
求めた位置関係を満たしていない特徴点を誤追跡点として除外し、満たしている特徴点に基づいて追跡を行う追跡手段と、
を備えていることを特徴とする画像処理装置。
【請求項２】
前記位置関係判定手段は、カメラ間の幾何学的拘束条件に基づいて各取得画像中における同一の点が略同一の水平位置に配置されるよう取得画像を画像変換し、前記追跡手段は、抽出した特徴点の各画像間における水平位置のずれ量が所定のしきい値以内にある場合に、求めた位置関係を満たしていると判定することを特徴とする請求項１記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は視点の異なる複数のカメラを用いて対象物を撮像し、画像中における対象物の特徴点を検出することで、画像中における対象物の移動を追跡する技術に関する。
【背景技術】
【０００２】
物体の移動前、移動後それぞれの画像を複数の視点から撮影し、それぞれの画像中における物体の特徴点を抽出して、その空間位置の変化を求めることで、対象物の移動状態を検出する技術が知られている。このような物体追跡を行う場合には、特徴点位置を正確に把握する必要があるが、そのためには、視点の異なる画像中において対応する特徴点相互の位置を正確に把握する必要がある。しかし、画像信号中のノイズや対象物以外の物体や照明条件等の影響により常に特徴点を正確に検出できるとは限らない。そこで、特徴点の誤検出を見越した追跡処理が必要となる。
【０００３】
特許文献１の技術はこうした技術の一例であって、移動前に取得した特徴点を頂点とする仮想剛体を想定し、この仮想剛体の頂点が移動後に取得した特徴点にバネ連結されていると仮定して、その力学的な運動をシミュレートすることで、物体の移動量を算出するものである。これにより、移動後に取得した特徴点を誤検出した場合でも物体の移動量を正確に検出することができる、と記載されている。
【特許文献１】特開平１１−２４８４２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、この手法では、力学的な運動をシミュレートしているため、特徴点が多いと計算量が多くなる可能性がある。また、複数の物体を追跡する必要がある場合には、物体ごとに仮想剛体を設定する必要があるため、計算量の増大を招く。また、移動前に特徴点を誤検出していたような場合には、その誤検出結果に影響されてしまう。
【０００５】
そこで本発明は、画像中の対象物の特徴点検出を利用して物体の追跡を行う画像処理装置において、誤検出した特徴点を識別することが容易な画像処理装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明に係る画像処理装置は、相互の位置関係が既知の視点の異なる複数のカメラを用いて対象物の動画像を撮影し、画像中の対象物の特徴点を検出して、その追跡を行う画像処理装置において、追跡時の特徴点抽出処理の際に、カメラ間の幾何学的拘束条件に基づいて、抽出した特徴点が画像間で満たすべき位置関係を求める位置関係判定手段と、求めた位置関係を満たしていない特徴点を誤追跡点として除外し、満たしている特徴点に基づいて追跡を行う追跡手段と、を備えていることを特徴とする。
【０００７】
カメラから物体を撮像する場合、物体上の特定点は、物体位置とカメラの位置に応じて画像中の所定の位置に投影される。ここで、視点の異なる複数のカメラで撮像を行った場合、物体上の特定点は、各カメラの幾何学的拘束条件に依存して各カメラに投影される。つまり、空間上の各カメラで撮像した画像中において物体の特定点が投影されている位置は、各カメラの幾何学的拘束条件に依存して相違する。このことは、追跡中に撮影する個々の画像間でも成り立つ。したがって、物体上の特定のポイントである特徴点位置を正確に認識できていれば、各カメラで撮像された画像中における特徴点位置は、各カメラの幾何学的拘束条件によって定まる所定の位置関係が満たされる位置に配置されるはずである。本発明に係る画像処理装置においては、この関係を利用して検出した特徴点位置の妥当性を検証する。
【０００８】
位置関係判定手段は、カメラ間の幾何学的拘束条件に基づいて各取得画像中における同一の点が略同一の水平位置に配置されるよう取得画像を画像変換し、追跡手段は、抽出した特徴点の各画像間における水平位置のずれ量が所定のしきい値以内にある場合に、求めた位置関係を満たしていると判定するとよい。
【０００９】
各カメラで取得した画像中において空間上の同一の点が各画面上で同一の水平位置に配置されるよう画像を変換する。正確に検出された特徴点は、各画面上で同一の水平位置に存在するはずであるから、特徴点の水平位置のずれ量から誤検出の有無を判定する。
【発明の効果】
【００１０】
本発明によれば、カメラ間の幾何学的拘束条件を基にして誤検出した特徴点を除外できる。この処理は、比較的簡単な計算処理で済むため、計算機資源の限られた処理系においてもリアルタイムでの処理が可能であり、精度よく特徴点の検証を行うことができる。また、カメラ間の幾何学的拘束条件を利用することで、それぞれの画像において誤検出した特徴点を除外することができるので、追跡開始時に誤検出した特徴点の影響を受けることがなく、追跡点の数を生かして正確な追跡が可能となる。
【００１１】
同一の水平位置に配置されるよう画像を変換することで、特徴点の誤検出判定がさらに容易になるため、精度が向上するとともに計算時間の短縮化が図れる。特に繰り返し計算を用いて誤追跡の除去、修正を行う場合に、計算回数を減らして、計算時間をよりいっそう短縮することができる。
【発明を実施するための最良の形態】
【００１２】
以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の参照番号を附し、重複する説明は省略する。
【００１３】
図１は、本発明に係る画像処理装置の実施形態を示すブロック構成図である。この画像処理装置１００は、対象物２００を異なる視点から撮像する複数のカメラ１１〜１ｎと、カメラの映像信号を受信して画像処理を行う画像処理部２と、処理結果を表示するモニタ３とからなる。
【００１４】
カメラ１１〜１ｎは、例えば、ビデオカメラであって、毎秒３０フレームで取得した動画像を画像処理部２へ転送することができる。このときの映像信号は、例えば、１画面が６４０×４８０ドットで構成され、各画素は、ＲＧＢそれぞれ８ビットで表されるデジタル信号である。なお、カメラ１１〜１ｎ側でデジタル信号へと変換して画像処理部２へ転送する形態のほか、カメラ１１〜１ｎに、アナログ映像信号（例えば、ＮＴＳＣ形式）を出力するタイプのものを使用し、画像処理部２内にＡ／Ｄ変換器を設ける構成や、画像処理部２との間に独立してＡ／Ｄ変換器を設ける構成を採用してもよい。カメラ１１〜１ｎは、２台（つまり、ｎ＝２）あれば、対象物の立体視が可能であるが、３台以上としてもよい。さらに、３台以上用いる場合には、全部のカメラの映像を用いるのではなく、任意の２台以上の画像を適宜組み合わせて画像処理を行ってもよい。
【００１５】
カメラ１１〜１ｎは共通の架台１０上に固定されており、この架台１０を移動可能な構成とすることで、各カメラ１１〜１ｎ間の幾何学的拘束条件を維持したまま、それらの視点を変更することができる。
【００１６】
画像処理部２は、ＣＰＵ、ＲＯＭ、ＲＡＭ等によって構成されており、入力された映像信号中の各画像に対して所定の画像処理を施し、処理結果をモニタ３へと出力するものである。この画像処理部２は、内部に入力処理手段２０と、特徴点検出手段２１と、位置関係判定手段２２と、追跡手段２３と、出力処理手段２４と、を備えている。各手段２０〜２４は、それぞれがハードウェア的に区分されていてもよいが、そのうちの一部または全部がハードウェアの一部または全部を共用していてもよい。さらに、特徴点追跡処理に特化した専用のハードウェアとして構成されていてもよいし、パーソナルコンピュータやワークステーションといった汎用の計算機を用い、これらの計算機上で作動するソフトウェアによって本発明に係る画像処理装置を実現してもよい。
【００１７】
この本発明に係る画像処理装置１００の動作について、以下に具体的に説明する。図２は、その処理内容を示すフローチャートであり、図３〜図５は、個々の処理を説明する図である。以下、２台のカメラ１１、１２を用いて処理を行う例を説明するが、３台以上のカメラ１１〜１ｎを用いる場合も同様の処理が行われる。
【００１８】
まず、入力処理手段２０が、各カメラ１１、１２から対応する１画像フレーム分の映像信号を取得する（ステップＳ１）。ここでは、対象物２００として四角柱を撮像した場合を考える。位置関係判定手段２２は、各カメラ１１、１２間の幾何学的拘束条件を用いて得られた各画像を幾何変換する（ステップＳ２）。この変換はエピポーラ幾何学を用いて行われる。
【００１９】
図３は、その原理を説明する図である。カメラ１１、１２の焦点をそれぞれＦ１、Ｆ２とし、イメージプレーンをＩ１、Ｉ２とする。このとき、空間上の任意の点Ｐｔは、イメージプレーンＩ１、Ｉ２上にそれぞれＰｔ１、Ｐｔ２として投影される。このとき、Ｆ１、Ｐｔ１、Ｐｔを結ぶ投影線ＢＬ１は、カメラ１２のイメージプレーンＩ２上には直線ＥＬ２として投影される。このＥＬ２をエピポーラ線と称する。同様に、Ｆ２、Ｐｔ２、Ｐｔを結ぶ投影線ＢＬ２はカメラ１１のイメージプレーンＩ１上には直線ＥＬ１として投影される。
【００２０】
このことは、カメラ１１のイメージプレーンＩ１上の直線ＥＬ１上に投影されている任意の点は、カメラ１２のイメージプレーンＩ２上においては、直線ＥＬ２上かその延長上のいずれかに位置することを意味する。直線ＥＬ１、ＥＬ２を含む平面をエピポーラ平面ＥＰと呼ぶ。
【００２１】
ここで、エピポーラ平面ＥＰは焦点Ｆ１、Ｆ２を含む任意の平面として表せる。そして、エピポーラ平面ＥＰとイメージプレーンＩ１、Ｉ２の交線がエピポーラ線ＥＬ１、ＥＬ２である。ステップＳ２における幾何変換は、エピポーラ線の取り扱いを容易にするためのものであり、カメラ１１、１２からの変換画像中で対応するエピポーラ線が同一高さの水平線となるように変換を行う。この変換は、カメラの幾何学的拘束条件を基に行うことができる。また、位置の特定されている複数の点を撮像した結果に基づいて事前にキャリブレーションを行ってもよい。
【００２２】
次に、事前のタイムステップにおいて特徴点を設定済みか否かを判定する（ステップＳ３）。特徴点の設定が行われていない場合には、最初に、特徴点の設定処理を行う。これは、特徴点検出手段２１が、画像中から特徴点を抽出することにより行う（ステップＳ４）。この特徴点としては、画像をエッジ抽出処理して、そのエッジの端部やエッジの中央を選択する手法や、テクスチャーを抽出して、テクスチャーの代表点（境界位置あるいは重心位置等）を選択する手法や、前述した距離画像から距離境界または距離差の少ない領域の重心位置をとる手法等を選ぶことができる。
【００２３】
図４は、検出した特徴点を対象物である四角柱の画像（上述の幾何変換後の画像）上に重ね合わせたものである。前述したように、ステップＳ２における画像変換によって得られた各画像間では、対応するエピポーラ線が同一の水平位置に配置されるよう変換されている。そのため、カメラ１１の変換後の画像中の特徴点Ｐ１〜Ｐ５とカメラ１２の変換後の画像中の対応する特徴点Ｑ１〜Ｑ５は、同じ水平位置に配置される。
【００２４】
特徴点を設定したら、その空間位置を求め（ステップＳ５）、出力処理手段２４が求めた空間位置を出力して（ステップＳ６）、当該タイムステップの処理を終了する。
【００２５】
ステップＳ３で、既に特徴点を検出済みと判定された場合には、ステップＳ１１へと移行して、特徴点の追跡処理を行う。具体的には、前回のタイムステップにおける画像(変換後の画像）と今回取得した画像（変換後の画像）とを対比することで、今回取得した画像中における個々の特徴点の位置を求める。
【００２６】
図５は、追跡後に求めた特徴点Ｐ１’〜Ｐ５’およびＱ１’〜Ｑ５’の位置を変換後の画像とともに例示して示す図である。ここで追跡前における四角柱２０１を２０１’として合わせて示す。追跡後の画像中においても、対応するエピポーラ線は同一の水平位置に配置されている。したがって、対象物の表面を構成する任意の点は、両方の画像において同一の水平位置に配置されなればならない。
【００２７】
本発明では、追跡中に抽出した特徴点が、この水平位置条件を満たしているか否かを判定することで特徴点の追跡の成否を判定する。ここでは、判定を１追跡点ごとに行い、判定後次の追跡点の判定処理に移行するループ処理を行うものとして説明する。
【００２８】
まず、ステップＳ１２では、ループ処理のカウンタｉに１をセットする。そして、抽出したＰｉ’とＱｉ’の画面上における水平位置の差の絶対値ΔＨｉを求める（ステップＳ１３）。次に、このΔＨｉとしきい値ΔＨｔｈとを比較する（ステップＳ１４）。
【００２９】
ΔＨｉがしきい値ΔＨｔｈ以下の場合には、エピポーラ線からのずれ量が小さく、追跡結果は妥当であると判定して、抽出した特徴点の対（Ｐｉ’，Ｑｉ’）を追跡結果として採用する（ステップＳ１５）。これに対して、ΔＨｉがしきい値ΔＨｔｈを超えている場合には、エピポーラ線からのずれ量が大きく、少なくともいずれかの検出結果（Ｐｉ’またはＱｉ’の一方または双方）が不適当であると判定して、抽出した特徴点の対（Ｐｉ’，Ｑｉ’）を追跡結果から除外する（ステップＳ１６）。図５に示される例では、（Ｐ１’，Ｑ１’）、（Ｐ２’，Ｑ２’）、（Ｐ４’，Ｑ４’）、（Ｐ５’，Ｑ５’）は水平位置が略同一なため、追跡結果として採用される。これに対して、（Ｐ３’，Ｑ３’）は水平位置のずれ量が大きいため、追跡結果から除外されることになる。
【００３０】
判定後、ｉが抽出した特徴点の数ｎに達したか否かを判定することで、特徴点全ての判定処理が終了したか否かをチェックする（ステップＳ１７）。ｉがｎ未満の場合には、ｉに１を加算して（ステップＳ１８）、ステップＳ１３へ戻るループ処理を実行する。一方、ｉがｎ以上で特徴点全ての判定処理が終了したと判定した場合には、ステップＳ５へと移行して、追跡結果として採用された特徴点の空間位置を検出し、検出結果を出力して（ステップＳ６）、処理を終了する。
【００３１】
本発明によれば、各カメラの幾何学的拘束条件に基づいて特徴点が各カメラの取得画像中で満たすべき位置関係を設定し、この位置関係を基にして追跡結果の妥当性を検証している。このため、妥当性検証のロジックを簡略化することができ、検証の精度も確保することができる。したがって、複雑な計算を行うことなく、高速で精度良く妥当性の検証を行うことができるため、追跡精度が向上する。
【００３２】
ここでは、追跡前の特徴点の妥当性検証は省略したが、追跡前の特徴点の妥当性についても同様の手法により検証することができる。このため、連続して追跡を行う場合には、追跡を行う特徴点は、追跡前に正確に位置検出できた特徴点だけに限らず、追跡中の任意の２つのタイミングで誤検出なく追跡できた特徴点を有効に活用することができる。このため、カメラ群と対象物との位置関係の変動によって、初期に設定した特徴点が影に隠れた場合や、一度隠れた特徴点が再度現れた場合にも特徴点の追跡が容易になる。
【００３３】
特徴点の軌跡をＲＡＮＳＡＣ（RANdam SAmple Consensus）により、誤追跡の除去・修正を行う処理に本発明に係る画像処理装置を応用した結果を、本発明に係る特徴点の妥当性検証を行わずにＲＡＮＳＡＣにより、誤追跡の除去・修正を行った場合の結果との比較結果について説明する。
【００３４】
この比較では、カメラ群として２台のカメラを左右に配置したステレオカメラを用い、同一の取得画像に対して本発明の画像処理装置を用いた処理と、用いない処理の両方を行ってその結果を比較した。まず、カメラ群を対象物に対して１１０度回転させ、３００ｍｍ並進移動させて移動前後の画像を取得し、全追跡点に対する誤追跡点の割合が異なる４つのケースそれぞれについて１０回ずつ処理を行った場合に、回転角、並進量をＲＡＮＳＡＣにより求めて比較した。
【００３５】
図６〜図８は、推定回転角、推定並進量と処理に要した繰り返し計算回数を比較したグラフである。従来の手法では、誤追跡点自体の判定もＲＡＮＳＡＣにより行うため、誤追跡点の比率が増えるほど繰り返し計算が増大し（図８参照。）、推定回転角、推定並進量が実際の値と異なってくるほか、計算による差も大きくなる。これに対して、本発明によれば、誤追跡点を有効に排除することができるため、誤追跡点の比率が増えても、繰り返し計算回数の変化が少なく、従来に比べて計算回数の削減が可能であり、高速での処理が可能となる。また、誤追跡点の数が増えても回転角、並進量の検出精度に大きな変化がなく、高精度での追跡が可能であることが確認された。
【００３６】
次に、カメラ群を対象物に対して３９度回転させ、８１．７ｍｍ並進移動させて移動前後の画像を取得し、ＲＡＮＳＡＣにより追跡点の軌跡を求めた。移動前の左右のカメラの取得画像を図９に、移動後の左右のカメラの取得画像を図１０に、判定した追跡結果を図１１に示す。図１１中で太い灰色の線が正しいと判断した追跡結果であり、白線は誤りとして判定された追跡軌跡である。図に示されるように、本発明によれば軌跡を正しく判定できることが確認された。
【００３７】
また、本発明によれば、画像中で対象物そのものを追跡するのではなく、特徴点を追跡するため、計算時間を必要とする対象物の３次元復元処理を行う必要がなく、短時間で複数の対象物を追跡することも可能となる。
【００３８】
ここでは、カメラが移動する場合を例に説明したが、固定されたカメラ群に対して物体が移動する場合や両方が移動する場合についても同様に追跡処理を行うことができる。また、ここでは、エピポーラ線が水平線となるよう幾何変換を行ったが、エピポーラ線からの距離（水平線への変換後の水平方向の位置ずれに相当）を計算により求めて比較してもよい。カメラ間の幾何学的拘束条件から予想される画面内における対応点の位置関係に基づいて検定を行うものであれば、他の手法を採用してもよい。
【００３９】
以上の説明では、追跡時には、追跡前と異なる手法で特徴点を検出する例を説明したが、追跡前と追跡中で同様の手法、例えば、エッジ処理結果を用いて特徴点を抽出して、
抽出後に特徴点同士の対応関係を求めることにより、追跡を行ってもよい。
【産業上の利用可能性】
【００４０】
本発明は、例えば、ロボットの視覚装置や物体の移動状態を認識する装置、あるいは監視カメラ等に適用することができる。
【図面の簡単な説明】
【００４１】
【図１】本発明に係る画像処理装置の実施形態を示すブロック構成図である。
【図２】図１の画像処理装置の処理内容を示すフローチャートである。
【図３】エピポーラ幾何学による幾何変換の原理を説明する図である。
【図４】検出した特徴点を対象物である四角柱の幾何変換後の画像上に重ね合わせたものである。
【図５】追跡後に求めた特徴点Ｐ１’〜Ｐ５’およびＱ１’〜Ｑ５’の位置を変換後の画像とともに例示して示す図である。
【図６】推定回転角を従来の手法と本発明に係る装置を利用した手法とで比較したグラフである。
【図７】推定並進量を従来の手法と本発明に係る装置を利用した手法とで比較したグラフである。
【図８】処理に要した繰り返し計算回数を従来の手法と本発明に係る装置を利用した手法とで比較したグラフである。
【図９】移動前の左右のカメラの取得画像を示している。
【図１０】移動後の左右のカメラの取得画像を示している。
【図１１】判定した追跡結果を示している。
【符号の説明】
【００４２】
１１〜１ｎ…カメラ、２…画像処理部、３…モニタ、１０…架台、２０…入力処理手段、２１…特徴点検出手段、２２…位置関係判定手段、２３…追跡手段、２４…出力処理手段、１００…画像処理装置、２００…対象物、２０１…四角柱、ＢＬ…投影線、ＥＬ…エピポーラ線、ＥＰ…エピポーラ平面、Ｆ…焦点、Ｉ…イメージプレーン、Ｐｔ…点、Ｐ１〜Ｐ５、Ｑ１-Ｑ５…特徴点。
【図１】
2005309782.tif 000003
【図２】
2005309782.tif 000004
【図３】
2005309782.tif 000005
【図４】
2005309782.tif 000006
【図５】
2005309782.tif 000007
【図６】
2005309782.tif 000008
【図７】
2005309782.tif 000009
【図８】
2005309782.tif 000010
【図９】
2005309782.tif 000011
【図１０】
2005309782.tif 000012
【図１１】
2005309782.tif 000013