(57)【要約】【課題】連続画像の途中で対象点が消失したり、目的の点の周辺に類似の点が含まれる場合においても最適な特徴点追跡を実現する。【解決手段】異なるタイミングで画像を取得する画像取得手段と、画像を格納する画像格納手段と、画像から特徴点の画像属性を抽出する画像属性抽出手段と、特徴点の対応付け候補を生成する対応付け手段と、対応付け候補を格納する対応付け候補格納手段と、望ましい対応付けの条件を格納する対応付けルールデータベースと、対応付け候補の中から最も適切な対応付けを選択する最適対応付け選択手段とを有し、複数の画像を時間的対応付けし、望ましい対応付けの条件から最も適切な対応付けを選択する。【選択図】　　　　図１
2004005089.tif 000002
【特許請求の範囲】
【請求項１】
異なるタイミングで複数の画像を取得する画像取得手段と、前記画像取得手段によって取得された複数の画像を格納する画像格納手段と、前記画像格納手段に格納された画像から特徴点の画像属性を抽出する画像属性抽出手段と、前記特徴点の時間的対応付け候補を生成する対応付け手段と、前記時間的対応付け候補を格納する対応付け候補格納手段と、対応付けの条件を格納する対応付けルールデータベースと、前記時間的対応付け候補の中から前記対応付けの条件に適合する対応付けを選択する最適対応付け選択手段とを有し、複数の前記画像を時間的対応付けし、対応付けの条件に適合する対応付けを選択することを特徴とする画像処理装置。
【請求項２】
２つ以上の画像間の対応付け結果を用いて前記特徴点の３次元座標を計算する特徴点３次元座標算出手段を有し、前記最適対応付け選択手段が前記特徴点の３次元座標の変化を用いて対応付けの条件に適合する対応付けであると判定することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像取得手段の位置を出力する画像取得手段位置センサを有し、前記センサの出力データを用いて前記特徴点の３次元座標を計算することを特徴とする請求項２記載の画像処理装置。
【請求項４】
異なるタイミングで複数の画像を取得するステップと、前記画像取得手段によって取得された複数の画像を格納するステップと、前記画像格納手段に格納された画像から特徴点の画像属性を抽出するステップと、前記特徴点の時間的対応付け候補を生成するステップと、前記時間的対応付け候補を格納するステップと、対応付けの条件を格納するステップと、前記時間的対応付け候補の中から前記対応付けの条件に適合する対応付けを選択するステップとを有し、複数の前記画像を時間的対応付けし、対応付けの条件に適合する対応付けを選択することを特徴とする画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、連続画像中の多数の特徴点を追跡する画像処理装置および画像処理方法に関する。
【０００２】
【従来の技術】
従来の画像処理装置は、固定カメラにより移動する物体（車両）を画像上で追跡する技術に関するものであり、濃淡テンプレートと入力画像でのパターンマッチングを実行する装置において、記憶しておく濃淡テンプレートを入力濃淡画像を用いて順次更新するテンプレート更新回路を有することを特徴としている。このような画像処理装置は、たとえば特開平６−３０４１７号公報に示されている。ここでは、画像取得手段は固定され、撮影対象の物体が移動する状況を想定しているが、これは画像取得手段を移動させて固定した対象物の画像を取得する状況と等価である。
【０００３】
図７は前記技術を適用して構成した画像特徴点対応付け装置の構成図で特開平６−３０４１７号公報に記載されたものである。まず、テレビカメラ７０１によって画像が撮像され、Ａ／Ｄ変換器７０２により画像がデジタル化され、画像メモリ７０３に格納される。マッチングされるべきテンプレートは濃淡テンプレート格納手段７０５に格納されている。パターンマッチング回路７０４では、前記画像メモリ７０３に格納された画像と前記濃淡テンプレート格納手段７０５に格納された濃淡テンプレートとの位置関係が照合される。すなわち、アドレスプロセッサ７０６によって濃淡テンプレートは画像メモリ７０３内の画像上の特定の位置に重ね合わされ、その類似度が計算される。アドレスプロセッサ７０６は、濃淡テンプレートと画像メモリ７０３内の画像との相対的位置を順次変化させるように読み出しアドレスを発生する。したがって、前記パターンマッチング回路７０４においては、前記相対位置ごとに類似度が計算される。最終的に、ＣＰＵ７０７ではパターンマッチング回路において計算された各アドレスプロセッサ出力ごとの類似度のうち最も値の大きいものを検出する。このときのアドレスプロセッサの値がすなわち、濃淡テンプレートと画像メモリ７０３内の画像との相対位置である。
【０００４】
従来技術においては、このようにして検出された画像メモリにおける濃淡テンプレートに相当する部分を切り出すことによって次回のテンプレートマッチングにおける濃淡テンプレートを生成する。
つまり、濃淡テンプレートはあらかじめ濃淡テンプレート格納手段７０５に格納されている必要はなく、時系列に取得した画像を順次利用していくこととなる。そのようにすれば、ある画像とその次のタイミングで取得した画像を比較して特徴点を対応付けることができる。
そのようにして、順次画像の特徴点を対応付けていけば、連続画像中の特徴点を追跡していくことが可能となる。
【０００５】
【発明が解決しようとする課題】
従来の画像処理装置では、前回のマッチング結果を用いて今回のマッチングを行い、さらにその結果を用いて次回のマッチングを行うというように、順次マッチング結果を次回に利用するため、一旦マッチングを誤ればその次のマッチングに失敗するという、マッチング失敗の連鎖を引き起こす。そのために、上記の装置を用いて、連続画像中の特徴点を順次対応付けしようとすると、連続画像の途中段階で対象点が消失したり、目的の点の周辺に類似の点が多数含まれる場合には、マッチングに失敗し、その結果が累積してしまうという問題点があった。
【０００６】
本発明は上記の課題を解決し、連続画像の途中段階で対象点が消失したり、目的の点の周辺に類似の点が多数含まれる場合においても最適な特徴点追跡を実現する画像処理装置を提供するものである。
【０００７】
【課題を解決するための手段】
第１の発明に係る画像処理装置は、異なるタイミングで複数の画像を取得する画像取得手段と、前記画像取得手段によって取得された複数の画像を格納する画像格納手段と、前記画像格納手段に格納された画像から特徴点の画像属性を抽出する画像属性抽出手段と、前記特徴点の時間的対応付け候補を生成する対応付け手段と、前記時間的対応付け候補を格納する対応付け候補格納手段と、対応付けの条件を格納する対応付けルールデータベースと、前記時間的対応付け候補の中から前記対応付けの条件に適合する対応付けを選択する最適対応付け選択手段とを有し、複数の前記画像を時間的対応付けし、対応付けの条件に適合する対応付けを選択することを特徴とするものである。
【０００８】
また、第２の発明に係る画像処理装置は２つ以上の画像間の対応付け結果を用いて前記特徴点の３次元座標を計算する特徴点３次元座標算出手段を有し、前記最適対応付け選択手段が前記特徴点の３次元座標の変化を用いて対応付けの条件に適合する対応付けであると判定することを特徴とするものである。
【０００９】
さらに、第３の発明に係る画像処理装置は前記画像取得手段の位置を出力する画像取得手段位置センサを有し、前記センサの出力データを用いて前記特徴点の３次元座標を計算することを特徴とするものである。
【００１０】
また、第４の発明に係る画像処理方法は異なるタイミングで複数の画像を取得するステップと、前記画像取得手段によって取得された複数の画像を格納するステップと、前記画像格納手段に格納された画像から特徴点の画像属性を抽出するステップと、前記特徴点の時間的対応付け候補を生成するステップと、前記時間的対応付け候補を格納するステップと、対応付けの条件を格納するステップと、前記時間的対応付け候補の中から前記対応付けの条件に適合する対応付けを選択するステップとを有し、複数の前記画像を時間的対応付けし、対応付けの条件に適合する対応付けを選択することを特徴とするものである。
【００１１】
【発明の実施の形態】
実施の形態１．
以下、本発明を実施の形態１にもとづいて説明する。なお、本実施の形態においては一例として画像数が５の場合について説明するが、取得された画像の数については特に限定はない。
【００１２】
まず本実施の形態の画像処理装置の構成について説明する。図１は本実施の形態の画像処理装置の構成図である。１０１はカメラなどの画像取得手段であり、１０２、１０３、１０４、１０５は画像取得手段１０１によって取得した画像を格納する手段である。なお、ここでは取得した画像の数に応じて格納手段を有すれば格納する画像の数に制限はない。また、１０６は各画像格納手段に格納された画像から特徴点を抽出しその特徴点の属性を抽出する画像属性抽出手段である。また、１０７は抽出された特徴点を対応付ける対応付け手段である。さらに、１０８は対応付け手段１０７の対応付け結果を用いて対応付け候補を生成する対応付け候補生成手段である。また、１０９は対応付け候補生成手段１０８により生成された対応付け候補を格納する対応付け候補格納手段である。１１０は最適な対応付けを定義したデータベースを格納した対応付けルールデータベースであり、１１１は前記対応付け候補格納手段１１０に格納された前記対応付け候補の中から最も適切な候補を選択する最適対応付け選択手段である。また、１１２は最適対応付け選択手段１１１で選択した対応付けを格納する最適対応付け格納手段である。
【００１３】
次に本実施の形態の動作について説明する。図２は処理の流れを示すフローチャートである。まず最初に、図２に示すＳＴ２０１において、図１のたとえばＣＣＤカメラなどの画像取得手段１０１によって取得した画像が、画像格納手段１０２、１０３、１０４、１０５に格納される。なお、ここでは取得した画像の数に応じて格納手段を有すれば格納する画像の数に制限はない。なお、画像取得については、５つの画像が各々異なる画像撮像手段によって撮影されてもよい。
【００１４】
次に、ＳＴ２０２において、各画像から、画像属性抽出手段１０６によって画像の属性が抽出される。
画像属性の抽出の具体的な方法について説明する。まず、画像を格子状の小領域に分割する。たとえば、６４０Ｘ４８０画素の画像に対して、１６Ｘ１６画素の正方領域をたてよこ１画素づつずらしながら設定する。各領域内の２５６個の画素データに関して輝度値の分散を計算し、あらかじめ設定したしきい値より大きな分散を有する小領域は特徴的であると判定する。この方法は１例であり、画像属性として特徴点を抽出できる方法であればこれ以外の方法を用いてもよい。
この特徴的である判定された小領域のたとえば左上隅の１画素を特徴点と定義する。ただし、この定義は一例であり、どの座標を特徴点とするかの定義付けを行っておけばどの座標を用いてもよい
また、画像属性としては、特徴点の位置、および特徴点の点としての先鋭度がなどがあるが、これ以外の物理量を用いてもよい。
【００１５】
次に、ＳＴ２０３において、抽出された各特徴点を、対応付け手段１０７において対応付け、ＳＴ２０４において、それら対応付け結果を用いて対応付け候補生成手段１０８によって対応付け候補を生成し、対応付け候補格納手段１０９に対応付け候補が格納される。
【００１６】
各特徴点の対応付けの方法としては、たとえば、テンプレートマッチングを用いる。第１の画像中の前記特徴点を有する小領域を、第２の画像に位置を変えながら順次重ね合わせ、その類似度を逐次計算する。小領域の走査がすべて完了した時点で、最も類似度の高い位置を、前記小領域の第２の画像における対応位置であると判定する。なお、このとき、画像同士の類似としては、たとえば、正規化相互相関値を用いる。
【００１７】
ここで、特徴点の対応付けの結果についてさらに詳しく説明する。図３に示したのは、５つの画像に撮影された特徴点の一例である。第１の画像３０１には、３つの特徴点Ｐ１、Ｑ１、Ｒ１が存在する。同様に、第２の画像３０２にはＰ２、Ｑ２、Ｒ２、第３の画像３０３にはＰ３、Ｑ３、Ｒ３、第４の画像３０４にはＰ４、Ｑ４、第５の画像３０５にはＰ５、Ｑ５が存在している。第４、第５の画像において各々Ｒ４、Ｒ５は視野外に存在するので表示されていない。各特徴点を接続している矢印は、真の対応付け関係を示している。たとえば、Ｐ１はＰ２に対応づけられ、Ｐ２はＰ３に、Ｐ３はＰ４に、Ｐ４はＰ５に対応づけられていることを示している。すなわち、対応関係を「→」で表示すれば、
Ｐ１→Ｐ２→Ｐ３→Ｐ４→Ｐ５
Ｑ１→Ｑ２→Ｑ３→Ｑ４→Ｑ５
Ｒ１→Ｒ２→Ｒ３
が、各特徴点の対応関係となる。
【００１８】
この場合において、各特徴点の対応付け候補の例をあげる。図４に示したのは、取得された５枚の画像において生成された４種類の対応付け候補である。
対応付け候補１は
Ｐ１→Ｐ２→Ｐ３→Ｐ４→Ｐ５
Ｑ１→Ｑ２→Ｑ３→Ｑ４→Ｑ５
Ｒ１→Ｒ２→Ｒ３
と対応点が特徴付けられている。
対応付け候補２は
Ｐ１→Ｐ２→Ｐ３
Ｑ１→Ｑ２→Ｑ３→Ｐ４
Ｒ１→Ｒ２→Ｒ３→Ｑ４→Ｐ５
と対応点が特徴付けられている。
対応付け候補３は
Ｐ１→Ｐ２→Ｐ３
Ｑ１→Ｑ２→Ｑ３→Ｐ４→Ｐ５
Ｒ１→Ｒ２→Ｒ３→Ｑ４→Ｑ５
と対応点が特徴付けられている。
一方、対応付け候補４では、第３の画像においてＰ３が消失している例を示している。この場合の対応付け候補は、
Ｐ１→Ｐ２→ｎｏｎｅ→Ｐ４→Ｐ５
Ｑ１→Ｑ２→Ｑ３→Ｑ４→Ｑ５
Ｒ１→Ｒ２→Ｒ３
である。
このうち、対応付け候補１が本実施の形態における正しい候補であり、対応付け候補２、対応付け候補３は誤った候補である。また、対応付け候補４は途中で特徴点が消失してしまった例を示しているが、対応付けは正しく行われている。
【００１９】
次に、図２中のＳＴ２０５において、前記対応付け候補格納手段１０９に格納された前記対応付け候補の中から対応付けの条件に適合する対応付け候補を、図１における最適対応付け選択手段１１２により選択する。この際、対応付けルールデータベース１１０に格納された最適な対応付けを定義したデータベースを選択基準にする。対応付けルールデータベースの内容としては、本実施の形態では、以下のルールを用いる。
ルール１：対応する特徴点の先鋭度が類似しているほどよい。
ルール２：特徴点の画像上での移動ベクトルが時間的に一定なほどよい。
ルール１は、ある画像上の特徴点と、別の画像上の特徴点とが対応している場合、それぞれの特徴点または特徴点近傍の領域における画像属性の一致度合いが高いほどよいとする評価基準である。なお、画像属性としては、たとえば前記小領域内の分散値の他、小領域内の中央値、小領域内の最大値と最小値の差、あるいは特徴点まわりの微分値の最大値などがある。また、それらの画像属性を用いてもよい。
ルール２は、第１の画像と第２の画像との関係と、第２の画像と第３の画像との関係が類似しているほどよいとする評価基準にもとづくものである。このような評価基準をもつルールであれば他のルールを用いてもよい。
【００２０】
上記２つのルールに照らしてみることにより、図４の対応付け候補１〜３のうち、対応付け候補１が最も条件に適合していると判定される。この結果が、図２中のＳＴ２０６において、図１中の最適対応付け格納手段１１２に格納される。これで本実施の形態における一連の動作がすべて終了する。
【００２１】
ここで、図４中の対応付け候補４では、第３の画像においてＰ３に対応する特徴点が消失している。しかし、上記２つのルールに従えば、ルール１においてＰ２とＰ４が類似していると判定し、ルール２において移動ベクトルが時間的に一定であることから、Ｐ２とＰ４を関連付けることができ、正しい対応付けを行うことができる。
【００２２】
本実施の形態では、特徴点の時系列対応付けを複数通り列挙し、その中から最も合理的な対応付け結果を選択することにより、連続画像の途中段階で追跡中の特徴点が消失したりあるいは突然新たな類似特徴点が出現することによって生じる特徴点対応付けの中断あるいは一時的な誤対応に影響されることなく、時間的に最適な特徴点追跡が実現することができる。
【００２３】
実施の形態２．
実施の形態２は、本発明の他の画像処理装置の動作に関するものである。本実施の形態の構成を図５に示す。本実施の形態においては対応付けられた特徴点は時間的に移動せず、画像取得手段１０１の位置姿勢のみが変化している。本実施の形態では、対応付け候補格納手段１０９に格納された各々の対応付け候補において２つ以上の画像間の対応付け結果を用いて当該特徴点の３次元座標を計算する特徴点３次元座標算出手段１１３を有する点が実施の形態１における発明の構成と異なる点であり、それ以外の構成は実施の形態１と同様であるからここでは説明を省略する。
２枚の画像間において、８点以上の特徴点が対応づけられている場合に、それら２枚の画像を撮像した画像取得手段１０１の位置姿勢の変化および、当該特徴点のワールド座標系（地球上のある１点を座標原点とする３次元直交座標系）における３次元位置座標を計算する手法はすでに徐剛ら著の「３次元ビジョン」（共立出版、１９９８）に掲載されている「９章　動画像からの運動と形状の復元」に記載されている。
すなわち、ワールド座標系において、３次元点があり、それをカメラで撮影したとき、前記３次元点がカメラ画像上でどこに映っているか、すなわち画像上の点の位置は、前記３次元点のワールド座標、カメラの内部パラメータ（焦点距離などのカメラの諸元）、カメラのワールド座標系における位置と姿勢、によって完全に一意に記述できる。つまり、カメラ１の位置と姿勢およびカメラの内部パラメータが既知であれば、ワールド座標系の任意の点はカメラ１における画像での位置に変換可能である。
次に、カメラをワールド座標系内で、並進ｔ、回転Ｒだけ動かしたとする。動かした後のカメラの位置姿勢は、動かす前のカメラの位置と姿勢に前記ｔ、Ｒを作用させることによってこれも一意に求まるから、前記３次元点が移動後のカメラによってどのように撮像されるか、すなわち移動後のカメラの画像上の点の位置は、同じく、前記３次元点のワールド座標、カメラの内部パラメータ、移動前のカメラのワールド座標系における位置と姿勢、カメラの並進ならびに回転の運動パラメータｔとＲ、が既知であれば求めることができる。
いま、移動前のカメラ画像における点と、移動後のカメラ画像における点が、ともに同じ３次元点を撮像して得られたものであることがわかっているならば、移動前のカメラ画像における点と、移動後のカメラ画像における点の関係は、３次元点のワールド座標、カメラ内部パラメータ、カメラの並進ならびに回転の運動パラメータに依存して決定される。
この関係を用いれば、移動前のカメラにおける画像座標と、それら各々の点の移動後のカメラにおける画像座標の組が与えられ、しかもカメラの内部パラメータがわかっているときには、３次元点のワールド座標とカメラの並進ならびに回転の運動パラメータを同時に推定できる。なお、このとき、推定すべき変数の数の関係から、移動前のカメラにおける画像座標と、それら各々の点の移動後のカメラにおける画像座標の組は８組以上必要である。
【００２４】
この手法を用いて、それぞれの画像間の対応付け候補それぞれを用いて３次元位置座標を特徴点３次元座標算出手段１１３において算出する。その３次元位置座標を用いて最適対応付け選択手段１１１において対応付け候補格納手段１０９に格納された対応付け候補の中から対応付けルールデータベース１１０に格納したルールデータベースを基準に対応付けを選択する。選択の際のルールとして、特徴点が時間的に移動せず、画像取得手段１０１の位置姿勢のみが変化しているために本実施の形態においては、前記特徴点ごとの３次元座標が、時間的に不変あるいは変動ができるだけ小さいことをもって最適であると判定する。
【００２５】
この実施の形態２を用いれば、対応付けの適切さの判定において、撮像されている特徴点の３次元座標の位置変動が少ないという対象物に関する物理的性質を利用することができ、２次元画像データのみによる判定よりも信頼性が向上する効果を有する。
【００２６】
実施の形態３．
図６に本実施の形態の構成を示す。本実施の形態では、各々の画像が撮影された時刻におけるある撮影時刻から次の撮影時刻までに画像取得手段の相対移動量を出力する画像取得手段相対移動量センサ１１４を有していることが実施の形態２と異なる点である。それ以外の構成は実施の形態２と同様であるからここでは説明を省略する。
画像取得手段相対移動量センサ１１４としては、たとえば慣性航法装置（ＩＮＳ：Ｉｎｅｒｔｉａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓｙｓｔｅｍ）などが適用可能である。
画像取得手段相対移動量センサ１１４を用いることにより、ある画像取得時刻と、別の画像取得時刻における各々のカメラ間の相対関係を特徴点３次元座標算出手段１１３に入力することができる。そうすることにより、特徴点のワールド座標系における３次元座標を得ることができる。
本実施の形態では、画像取得手段相対移動量センサの場合について説明したが、画像取得手段の位置を検出するたとえば全地球無線測位システム（ＧＰＳ：Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）を用いてもよい。
【００２７】
本実施の形態においては、上記のセンサ出力を利用することにより、画像情報のみから３次元座標を算出するのに比べて高精度に３次元座標を計算することができ、２次元画像データのみによる判定よりも信頼性が向上する効果を有する。
【００２８】
【発明の効果】
以上説明したように、本発明を用いることにより、複数の前記画像を時間的対応付けし、望ましい対応付けの条件から最も適切な対応付けを選択することができ、連続画像の途中段階で追跡中の特徴点が消失したりあるいは突然新たな類似特徴点が出現することによって生じる特徴点対応付けの中断あるいは一時的な誤対応に影響されることなく、時間的に最適な特徴点追跡が実現することができる効果がある。
【図面の簡単な説明】
【図１】実施の形態１に係る画像処理装置の構成を説明する図である。
【図２】実施の形態１に係る画像処理装置の動作を説明する図である。
【図３】特徴点の対応付けを示す図である。
【図４】特徴点の対応付け候補の例を示す図である。
【図５】実施の形態２に係る画像処理装置の構成を説明する図である。
【図６】実施の形態３に係る画像処理装置の構成を説明する図である。
【図７】従来の画像処理装置の構成を説明する図である。
【符号の説明】
１０１　画像取得手段、１０２　１０３　１０４　１０５画像格納手段、１０６　画像属性抽出手段、１０７　対応付け手段、１０８　対応付け候補生成手段、１０９　対応付け候補格納手段、１１０　対応付けルールデータベース、１１１　最適対応付け選択手段、１１２　最適対応付け格納手段、１１３　特徴点３次元座標算出手段、１１４　画像取得手段移動量センサ
【図１】
2004005089.tif 000003
【図２】
2004005089.tif 000004
【図３】
2004005089.tif 000005
【図４】
2004005089.tif 000006
【図５】
2004005089.tif 000007
【図６】
2004005089.tif 000008
【図７】
2004005089.tif 000009