(57)【特許請求の範囲】
【請求項１】
対象物を撮影するカメラを有し映像信号を生成する画像入力部と、映像信号をディジタル画像に変換するディジタル変換部と、ディジタル画像を記憶する画像格納部と、ディジタル画像を処理する画像処理部と、画像入力部の移動を制御するカメラコントロール部を設けた移動物体追跡装置において、
上記画像処理部は、
上記対象物の形状モデルをモデル特徴の形で記憶するモデルデータ格納手段と、
上記対象物の位置姿勢を規定する位置姿勢パラメータの時刻ｔn における値ｐ（ｔn ）を、時刻ｔn 以前の時刻ｔn-m （m=1,2,3,…,n;nは整数）において推定された位置姿勢パラメータ値ｐ（ｔn-m ）を利用して予測する位置姿勢予測手段と、
上記時刻ｔn における位置姿勢パラメータの予測値とカメラコントロール部が生成する時刻ｔn におけるカメラの位置姿勢パラメータを利用して、対象物を規定するモデル特徴のうち、撮影される画像で可視と予測される少なくとも一部のモデル特徴を選択し、そのモデル特徴が画像内でとり得る上記時刻ｔnにおけるモデルパラメータの予測値を算出するモデル特徴予測手段と、
上記時刻ｔnにおけるモデルパラメータの予測値に基いて、上記モデルデータ格納手段に記憶されたモデル特徴に対応可能な画像特徴の候補を画像入力部により撮影された画像内から抽出し、時刻ｔnにおけるその画像特徴の画像パラメータを算出する画像特徴抽出手段と、
上記モデルデータ格納手段に記憶されたモデル特徴と時刻ｔnにおける画像特徴との間の対応を探索し、対応のとれたモデル特徴のモデルパラメータと画像特徴の画像パラメータ間の関係を利用して対象物の位置姿勢パラメータの予測値を更新する特徴対応探索手段と、
を有し、上記の処理を各時刻で繰り返しながら対象物の追跡を行うことを特徴とする移動物体追跡装置。
【請求項２】
対象物を撮影するカメラを有し映像信号を生成する画像入力部と、映像信号をディジタル画像に変換するディジタル変換部と、ディジタル画像を記憶する画像格納部と、ディジタル画像を処理する画像処理部とを設けた移動物体追跡装置において、
上記画像処理部は、
上記対象物の形状モデルをモデル特徴の形で記憶するモデルデータ格納手段と、
上記対象物の位置姿勢を規定する位置姿勢パラメータの時刻ｔn における値ｐ（ｔn ）を、時刻ｔn 以前の時刻ｔn-m （m=1,2,3,…,n;nは整数）において推定された位置姿勢パラメータ値ｐ（ｔn-m ）を利用して予測する位置姿勢予測手段と、
上記時刻ｔn における位置姿勢パラメータの予測値を利用して、対象物を規定するモデル特徴のうち、撮影される画像で可視と予測される少なくとも一部のモデル特徴を選択し、そのモデル特徴が画像内でとり得る上記時刻ｔnにおけるモデルパラメータの予測値を算出するモデル特徴予測手段と、
上記時刻ｔnにおけるモデルパラメータの予測値に基いて、上記モデルデータ格納手段に記憶されたモデル特徴に対応可能な画像特徴の候補を画像入力部により撮影された画像内から抽出し、時刻ｔnにおけるその画像特徴の画像パラメータを算出する画像特徴抽出手段と、
上記モデルデータ格納手段に記憶されたモデル特徴と時刻ｔnにおける画像特徴との間の対応を探索し、対応のとれたモデル特徴のモデルパラメータと画像特徴の画像パラメータ間の関係を利用して対象物の位置姿勢パラメータの予測値を更新する特徴対応探索手段と、
を有し、上記の処理を各時刻で繰り返しながら対象物の追跡を行うことを特徴とする移動物体追跡装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は移動物体の３次元の位置パラメ―タと３個の角度回転パラメ―タの合わせて６次元での物体の移動を検出して次の物体の動きを予測する装置に係り、特に移動物体の６次元解析を行うことにより、移動物体の追尾やバーチャルリアリティの為の移動物体６次元解析などに用いられる移動物体追跡装置に関する。
【０００２】
【従来の技術】
従来、文献「Ｃｈｒｉｓｔ  Ｈａｒｒｉｓ  ，“Ｔｒａｃｋｉｎｇ  ｗｉｔｈ  Ｒｉｇｉｄ  Ｍｏｄｅｌｓ，”ｉｎ  Ａｃｔｉｖｅ  Ｖｉｓｉｏｎ  ｅｄｉｔｅｄ  ｂｙ  Ａｎｄｒｅｗ  Ｂｌａｋｅ  ａｎｄ  Ａｌａｎ  Ｙｕｉｌｌｅ  ，ＭＩＴ  Ｐｒｅｓｓ  ，１９９３，ｐｐ．５９−７４」には、移動する既知形状の物体をトラッキングしながら、物体の３次元空間内の平行運動と回転運動をカルマンフィルタ（Ｋａｌｍａｎ  Ｆｉｌｔｅｒ）  を用いて推定する技術が示されている。
【０００３】
この技術では既知形状物体のモデル特徴線分と画像から入力された画像線分の対応を検索する手段において、既知物体のモデル線分上にコントロールポイント（Ｃｏｎｔｒｏｌ  Ｐｏｉｎｔｓ）を予め設定しておき、トラッキングする物体の予測線画を現時点での対象物の位置姿勢推定値を用いて作成し、予測線画上に設定されたコントロールポイントから抽出された画像線分特徴までの距離を画像内で計測する。
そして、この計測された距離がゼロとなるような対象物の微小回転θ＝（θｘ  ，θｙ  ，θｚ  ）と微小平行移動Δ＝（Δｘ  ，Δｙ  ，Δｚ  ）を算出して物体の位置姿勢の推定値の修正を行う。
【０００４】
こうして新たに得られた位置姿勢の推定値と速度の推定値とカルマンフィルタを利用して、次の時刻での物体の位置姿勢の推定値を算出して、物体のトラッキングを実現している。
【０００５】
【発明が解決しようとする課題】
しかしながら、前述の従来技術に係る移動物体追跡装置にあっては、既知物体のモデル線分上にコントロールポイントを予め設定しておき、トラッキングする物体の予測線画を現時点での対象物の位置姿勢推定値を用いて作成し、予測線画上に設定されたコントロールポイントから抽出された画像線分特徴までの距離を画像内で計測するために、予測線画内のモデル線分特徴と抽出すべき画像線分は充分近くに存在しなければならず、更に対象物の写っている背景の画像線分が対応を取るべき対象物の画像線分よりモデル特徴線分の近くに存在する場合、誤って背景の画像線分とモデル線分が対応をとる可能性が高い。
【０００６】
つまり、予測線画内のモデル線分特徴と抽出すべき画像線分が離れている場合や背景が複雑な場合などには、不安定に対象物のトラッキングを行うといった問題があった。
【０００７】
本発明は上記問題に鑑みてなされたもので、その目的とするところは、モデル特徴線分が抽出すべき画像線分とある程度離れていて、更に背景が複雑で対象物と非常に類似している場合においても、迅速且つ適確に対象物のトラッキングを行うことにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、本発明の第１の態様による移動物体追跡装置は、対象物を撮影するカメラを有し映像信号を生成する画像入力部と、映像信号をディジタル画像に変換するディジタル変換部と、ディジタル画像を記憶する画像格納部と、ディジタル画像を処理する画像処理部と、画像入力部の移動を制御するカメラコントロール部を設けた移動物体追跡装置において、上記画像処理部は、上記対象物の形状モデルをモデル特徴の形で記憶するモデルデータ格納手段と、上記対象物の位置姿勢を規定する位置姿勢パラメータの時刻ｔn における値ｐ（ｔn ）を、時刻ｔn 以前の時刻ｔn-m （m=1,2,3,…,n;nは整数）において推定された位置姿勢パラメータ値ｐ（ｔn-m ）を利用して予測する位置姿勢予測手段と、上記時刻ｔn における位置姿勢パラメータの予測値とカメラコントロール部が生成する時刻ｔn におけるカメラの位置姿勢パラメータを利用して、対象物を規定するモデル特徴のうち、撮影される画像で可視と予測される少なくとも一部のモデル特徴を選択し、そのモデル特徴が画像内でとり得る上記時刻ｔnにおけるモデルパラメータの予測値を算出するモデル特徴予測手段と、上記時刻ｔnにおけるモデルパラメータの予測値に基いて、上記モデルデータ格納手段に記憶されたモデル特徴に対応可能な画像特徴の候補を画像入力部により撮影された画像内から抽出し、時刻ｔnにおけるその画像特徴の画像パラメータを算出する画像特徴抽出手段と、上記モデルデータ格納手段に記憶されたモデル特徴と時刻ｔnにおける画像特徴との間の対応を探索し、対応のとれたモデル特徴のモデルパラメータと画像特徴の画像パラメータ間の関係を利用して対象物の位置姿勢パラメータの予測値を更新する特徴対応探索手段とを有し、上記の処理を各時刻で繰り返しながら対象物の追跡を行うことを特徴とする。
本発明の第２の態様による移動物体追跡装置は、対象物を撮影するカメラを有し映像信号を生成する画像入力部と、映像信号をディジタル画像に変換するディジタル変換部と、ディジタル画像を記憶する画像格納部と、ディジタル画像を処理する画像処理部とを設けた移動物体追跡装置において、上記画像処理部は、上記対象物の形状モデルをモデル特徴の形で記憶するモデルデータ格納手段と、上記対象物の位置姿勢を規定する位置姿勢パラメータの時刻ｔn における値ｐ（ｔn ）を、時刻ｔn 以前の時刻ｔn-m （m=1,2,3,…,n;nは整数）において推定された位置姿勢パラメータ値ｐ（ｔn-m ）を利用して予測する位置姿勢予測手段と、上記時刻ｔn における位置姿勢パラメータの予測値を利用して、対象物を規定するモデル特徴のうち、撮影される画像で可視と予測される少なくとも一部のモデル特徴を選択し、そのモデル特徴が画像内でとり得る上記時刻ｔnにおけるモデルパラメータの予測値を算出するモデル特徴予測手段と、上記時刻ｔnにおけるモデルパラメータの予測値に基いて、上記モデルデータ格納手段に記憶されたモデル特徴に対応可能な画像特徴の候補を画像入力部により撮影された画像内から抽出し、時刻ｔnにおけるその画像特徴の画像パラメータを算出する画像特徴抽出手段と、上記モデルデータ格納手段に記憶されたモデル特徴と時刻ｔnにおける画像特徴との間の対応を探索し、対応のとれたモデル特徴のモデルパラメータと画像特徴の画像パラメータ間の関係を利用して対象物の位置姿勢パラメータの予測値を更新する特徴対応探索手段とを有し、上記の処理を各時刻で繰り返しながら対象物の追跡を行うことを特徴とする。
【０００９】
【作用】
即ち、本発明の移動物体追跡装置では、位置姿勢予測手段が次の時刻における移動物体の位置姿勢パラメ―タを予測することで、次の時刻でカメラコントロ―ル部がカメラを移動制御することによって、移動物体をカメラで確実に撮影できる。また、モデル特徴予測手段は、位置姿勢予測手段が予測した移動物体の３次元的位置と姿勢のパラメ―タを利用することで、そのカメラ画像で観察される可視のモデル特徴だけを選択し、限定されたモデル特徴だけを選択可能となる。また、それら可視モデル特徴が画像内に現れる際の取り得るパラメ―タの値を予測しかつ制限するために、モデル特徴以外の特徴を排除し、画像特徴を抽出する領域を減少させることができる。このためモデル特徴と画像特徴が対応する可能性のある特徴だけを優先的に抽出することができる。一方、画像特徴抽出手段は、上記の可視モデル特徴に類似した画像特徴だけを制限された領域内で抽出するため、画像内に現れる外乱を減少させることができる。さらに、この画像特徴抽出手段では、モデル特徴に類似した画像特徴を１個ばかりでなく、対応する可能性のある候補を複数個抽出し、特徴対応探索手段では、これらの候補のうちで最適なものを、対象物の位置姿勢パラメ―タの取り得る値を考慮しながら探索するので、誤った候補を選択する可能性を減少させる。そして、この対応関係を利用して次の時刻の移動物体の位置姿勢を予測するといった全体のサイクルを構成するので、安定した移動対象物の追跡が実現できるのである。かかる作用により、モデル特徴線分が抽出すべき画像特徴線分がある程度離れていても更に背景が複雑かつ対象物と非常に類似していても本移動物体追跡装置は、安定且つ高速に対象物のトラッキングする。
【００１０】
【実施例】
以下、図面を参照して、本発明の実施例について説明する。
【００１１】
図１は本発明の第１の実施例に係る移動物体追跡装置の構成を示すブロック図である。尚、第１の実施例に係る移動物体追跡装置においては、対象物の形状が判っているものと仮定して、以下の説明を行うことにする。
【００１２】
この図１に示されるように、対象物を撮影する画像入力部（カメラ）１を介して画像は撮像され、その映像信号６はディジタル変換器２でディジタル画像信号７に変換される。こうして変換されたディジタル画像信号７は、一旦、画像格納部（メモリ部）３に格納され、この格納された画像デ―タ８はデ―タ処理を行う画像処理部４に送られる。尚、画像処理部４に画像メモリに対応する格納部があれば、画像格納部３は画像処理部４に含まれてもよいことは勿論であり、画像処理部４は汎用のコンピュ―タシステムでもよいことは勿論である。
【００１３】
上記画像処理部４では、カメラの位置姿勢の情報を算出することができるカメラ姿勢デ―タ１０と画像デ―タ８とを解析し、その中に撮影された移動物体を解析することにより、移動物体の位置姿勢に関するパラメ―タから構成される移動物体デ―タ９を算出する。そして、この移動物体デ―タ９はカメラコントロ―ル部５に送出される。
【００１４】
カメラコントロ―ル部５では、この移動物体デ―タ９を解析して、移動物体を追跡しながら撮影する為にどのようにカメラを移動すればよいかを示すカメラ姿勢デ―タ１０を算出する。そして、該カメラ姿勢デ―タ１０は画像入力処理部１と画像処理部４とに送出され、カメラの移動を実行しながらの撮影が行われる。ここで、上記画像処理部４では、その処理が図２に示される構成要素に基づいて実行される。即ち、画像処理部４は、対象物である移動物体の３次元モデルデ―タを格納するモデルデ―タ格納部２０とモデル特徴が画像内でとり得るパラメ―タの予測をするモデル特徴予測部２１、画像特徴を抽出する画像特徴抽出部２２、モデル特徴と画像特徴との対応の探索を行う特徴対応探索部２３、対象物の位置姿勢パラメ―タを予測する位置姿勢予測部２４とで構成されている。
【００１５】
上記モデルデ―タ格納部２０には、移動物体の３次元モデルが格納されており、その３次元モデルデ―タ２５はモデル特徴予測部２１に送られる。モデル特徴予測部２１は、カメラコントロ―ル部５が算出するカメラなどの撮影装置の位置姿勢（視点）の情報であるカメラ姿勢デ―タ１０と、対象物の位置や姿勢に関する情報である対象物の位置姿勢予測パラメ―タ２８と、モデルデ―タ格納部２０が送出する３次元モデルデ―タ２５とを利用して、対象物である移動物体をカメラで撮影した時に該対象物を規定する特徴がそのカメラ画像でとり得るパラメ―タと、該パラメ―タがどのように画像内で誤差を持つかを予測し、該予測値をモデルパラメ―タとして送出する。
【００１６】
こうして予測されたモデルパラメ―タ２６は、次の画像特徴抽出部２２に送られる。そして、画像特徴抽出部２２は、その各モデル特徴のモデルパラメ―タを利用してモデル特徴に対応し得る画像特徴を抽出し、その画像特徴を規定するパラメ―タである画像パラメ―タ２７を測定値とその測定値の誤差分散の推定値の形で算出する。そして、モデル特徴予測部２１で算出されたモデルパラメ―タ２６と画像特徴抽出部２２で算出された画像パラメ―タ２７とを利用して、特徴対応探索部２３は所定の評価式を利用しながら、モデル特徴と画像特徴間の最適な対応を探索すると同時に、その対応関係から移動物体の位置姿勢を規定する位置姿勢パラメ―タの予測値を更新する。この結果である更新された対象物の位置姿勢パラメ―タ２９の更新値は、位置姿勢予測部２４に送出される。
【００１７】
そして、位置姿勢予測部２４では、次に移動物体が撮影される時刻における移動物体の位置姿勢を予測し、該予測値を移動物体デ―タ９としてカメラコントロ―ル部５に送ると同時に、該予測値を位置姿勢パラメ―タ予測値２８としてモデル特徴予測部２１に送出する。
【００１８】
以下、上記画像処理部４を構成する各部２０乃至２４について説明するに先立ち、第１の実施例で使用する座標系について説明する。
【００１９】
対象物が世界座標系（ｘｗ  ，ｙｗ  ，ｘｗ  ）の中に置かれているとすると、該対象物は世界座標系の中で、ある位置である姿勢を有して存在することになる。
【００２０】
従って、対象物の各点を世界座標系（ｘｗ  ，ｙｗ  ，ｘｗ  ）で表現すためには、対象物の基準点Ｐ０  と基準姿勢Ｑ０  が世界座標系でどのように表現できるかを示せばよいことになる。
【００２１】
いま、基準原点Ｐ０  の世界座標系（ｘｗ  ，ｙｗ  ，ｚｗ  ）での位置をＰ０  ＝（ｐｘ  ，ｐｙ  ，ｐｚ  ）とし、基準姿勢Ｑ０  をＱ０  ＝（φｘ  ，φｙ  ，φｚ  ）とする。
【００２２】
ここに、（ｐｘ  ，ｐｙ  ，ｐｚ  ）はＰ０  の世界座標系におけるｘ，ｙ，ｚ座標系を表し、φｘ  ，φｙ  ，φｚ  は図３に示すように、それぞれ世界座標系から見てｘｗ  軸，ｙｗ  軸，ｚｗ  軸に対する回転角度を示している。対象物内の各点Ｐのｘ，ｙ，ｚ座標が局所座標系でＰ（ｘｒ  ，ｙｒ  ，ｚｒ  ）の値をとるとすると、その世界座標系での位置（ｘｗ  ，ｙｗ  ，ｚｗ  ）は、
【数１】
0003610087.tif 000002
と、斉次変換行列Ｈ＝Ｈ（ｐｘ  ，ｐｙ  ，ｐｚ  ；φｘ  ，φｙ  ，φｚ  ）を用いて示すことができる。ここで、Ｈは、
【数２】
0003610087.tif 000003
といった移動パラメ―タと回転パラメ―タの項に分解され、それぞれは、
【数３】
0003610087.tif 000004
と示される。
【００２３】
このように、対象物の各点の世界座標系での位置は、対象物の基準原点Ｐ０  ＝（ｐｘ  ，ｐｙ  ，ｐｚ  ）と基準姿勢Ｑ０  ＝（φｘ  ，φｙ  ，φｚ  ）の世界座標系での表現と、対象物の局所的座標系（ｘｒ  ，ｙｒ  ，ｚｒ  ）での対象物点の相対座標を利用して示すことができる。
【００２４】
次に図２に示す画像処理部４の各部で行われる処理を具体的に説明する。
【００２５】
図２に示すモデルデ―タ格納部２０には、対象物を記述するモデルが格納されており、該対象モデルとしては対象物を多面体として近似したものを利用する。
図４はこの多面体の一例を示す図である。例えば、この図４に示すような直方体を表現するには、それを構成する６個の面である側面１００，上面１０１，側面１０２，底面１０３，側面１０４，側面１０５を定義し、次にその面を構成する１２本の稜線１０６乃至１１７を定義し、最後にそれに稜線を構成する頂点１１８（Ｐ０  （ｘ０  ，ｙ０  ，ｚ０  ）），…，１２５（Ｐ７（ｘ７  ，ｙ７  ，ｚ７  ））を定義することになる。いずれにしても、こうした特徴はそれを記述する座標からなるパラメ―タに基づいて表現される。
【００２６】
また、このモデル化に際して、その対象物に対して基準となる、ある一点Ｐ０  （１１８）と基準となる回転姿勢Ｑ０  を考える。例えば、この基準原点Ｐ０  （１１８）と基準姿勢Ｑ０  を用いると、対象物の局所座標系（ｘｒ  ，ｙｒ  ，ｚｒ  ）を構成することができる。
【００２７】
この図４に示されるように、Ｐ０  （１１８）によって、局所座標系の原点が定義され、Ｑ０  によってその座標系のｘｒ  ，ｙｒ  ，ｚｒ  軸の方向が定義されるのである。対象物を構成する全ての点は、この局所座標系の３次元点Ｐ（ｘｒ  ，ｙｒ  ，ｚｒ  ）として表現することができる。
【００２８】
モデルデ―タ格納部２０では、多面体のモデルを上記のように３種のデ―タタイプ、即ち、（１）対象物を構成する面領域、（２）面領域の輪郭を構成する稜線、（３）稜線の２端点を構成する頂点を用いる。
【００２９】
具体的には、
多面体：    ｛面１，面２，…｝
面１：      ｛稜線１，稜線２，稜線３，…｝
面２：      ｛稜線８，稜線９，稜線１０，…｝
稜線１：    ｛点１，点２｝
稜線２：    ｛点３，点４｝
点１：      （ｘ１，ｙ１，ｚ１）
点２：      （ｘ２，ｙ２，ｚ２）
といった形の階層構造により対象物を定義する。
【００３０】
ここで、多面体は、それを構成する面の集合からなる。この各面である面１，面２等は、その面の輪郭を構成する稜線から構成される。一方、各稜線は、その稜線の２端点から構成され、最後の点は、その３次元座標から構成される。この階層構造を有する多面体デ―タはモデル特徴予測部２１に送出される。
【００３１】
次に図２における位置姿勢予測部２４は、前時刻の２つの位置姿勢パラメ―タを利用して次時刻での位置姿勢パラメ―タを予測するものである。時刻を表すインデックスをｋとして、前時刻とその１時刻前をｔｋ−２  とｔｋ−１  とした場合、これら前時刻での上記位置姿勢パラメ―タのそれぞれの時刻の値をｐ（ｋ−２），ｐ（ｋ−１）  とする。このとき、ｋ＞３ならば、ｐ（ｋ−２），ｐ（ｋ−１）  の値を利用して、ｐ（ｋ）  の値を予測する。尚、予測手段としては、例えば次式に表される線形予測による方法が考えられる。
【００３２】
【数４】
0003610087.tif 000005
ここに、ε（ｋ）  は対象物の運動に関する予測しきれない誤差要素を示し、ａ，ｂは定数である。このようにして、線形予測ができると、該予測値ｐ（ｋ）  に関して、その予測値の誤差の期待値と誤差の分散値を考えることができる。ここでいう誤差とは、上記式におけるε（ｋ）  に関するものである。これらの予測値の誤差の期待値と分散は対象となる移動物体の性質によるものである。
【００３３】
本実施例では、移動物体毎に該予測値の誤差の期待値と誤差分散の性質が予め判っていると仮定する。ε（ｋ）  は６次元ベクトルであるので、その期待値も６次元ベクトルとなり、誤差分散は６×６の共分散行列で表現することができる。
【００３４】
いま、このε（ｋ）  の期待値をεｍ  （ｋ）  とし、その誤差共分散行列をＢ（ｋ）  で表すこととする。これらの予測誤差の期待値と誤差共分散行列が求められると、時刻ｋにおけるｐ（ｋ）  の予測の期待値と誤差共分散行列を求めることがきる。
【００３５】
これは、位置姿勢予測部２４において時々刻々ｐ（ｋ）  の予測値の期待値と誤差共分散行列を算出することになる。これからｐ（ｋ−１）  とｐ（ｋ−２）  における予測値の期待値と誤差共分散行列が与えられたときに、どのようにしてｐ（ｋ）  の予測期待値と誤差共分散行列を算出するかについて解説する。尚、ｐ（ｋ）  の予測期待値をｐｍ  （ｋ）  とし、その誤差共分散行列をΣ（ｋ）  とする。
【００３６】
いま、ｐ（ｋ−１），ｐ（ｋ−２）  において、特徴対応探索部が算出した予測期待値の更新値と誤差共分散行列の更新値をｐｍ  （ｋ−１），ｐｍ  （ｋ−２），Σ（ｋ−１），Σ（ｋ−２）  とし、このときの予測期待値ｐｍ  （ｋ）  を算出する方法について説明する。
【００３７】
上記（４）式において、期待値のオペレータＥ［］をとることにより、
ｐｍ  （ｋ）  ＝Ｅ  ［ｐ（ｋ）］＝ａｐｍ  （ｋ−１）  ＋ｂｐｍ  （ｋ−２）  ＋εｍ  （ｋ）
を求めることができる。
【００３８】
一方、ε（ｋ）  の誤差共分散行列に関しては以下の２通りについて説明する。
【００３９】
第１の場合はｐ（ｋ−１）  とｐ（ｋ−２）  の誤差の大きさがε（ｋ）  の誤差に比べて小さい場合である。この場合には、ｐ（ｋ）  の誤差共分散行列はε（ｋ）の誤差共分散行列により近似することができる。
【００４０】
即ち、
Σ（ｋ）  ＝Ｂ（Ｋ）
とおくことができる。
【００４１】
第２の場合はｐ（ｋ−１）  とｐ（ｋ−２）  の誤差間の相関が小さい場合である。一般的に、特徴対応探索部２３では、各時刻位置姿勢の更新が行われるので、ｐ（ｋ−１）  とｐ（ｋ−２）  の誤差間の相関は小さくなることが予期される。この時には、ｐ（ｋ）  の誤差共分散行列Σ（ｋ）  は、
Σ（ｋ）  ＝ａ２  Σ（ｋ−１）  ＋ｂ２  Σ（ｋ−２）  ＋Ｂ（Ｋ）
により近似することができる。ｐ（ｋ−１）  とｐ（ｋ−２）  の誤差の間の相関が無視できないときには、式（４）に立ち返ってΣ（ｋ）  を計算できるのは勿論である。
【００４２】
このように、第１の実施例では予測期待値とその誤差共分散行列を利用して、各種パラメ―タの予測値を表現する。位置姿勢予測部２４は、この予測期待値と誤差の共分散行列を予測値として別の部に送出する。
【００４３】
ここで、先に図１に示した第１の実施例で使用されるカメラコントロ―ル部５と画像入力部１について説明する。画像入力部１は、対象物体の移動に伴って、その対象物体が撮影できるような自動移動機構が装着されている。
【００４４】
図５は画像入力部１の構成を示した図である。画像入力部１は、画像を撮影するカメラ１３０と、カメラの位置姿勢を移動させる自動移動機構である回転装置と移動装置１３１乃至１３３とからなる。ここで、回転装置１３１，１３２は、それぞれｘ軸とｙ軸に関する回転を行わせる回転装置であり、移動装置１３３はｚ軸方向の移動を行うための移動装置である。尚、これら回転装置１３１，１３２と移動装置１３３は、カメラコントロ―ル部５からのカメラ姿勢デ―タにより駆動される。
【００４５】
そして、カメラコントロ―ル部５は、画像処理部４の位置姿勢予測部２４が時々刻々予測する移動物体の位置姿勢パラメ―タに基づいて、画像入力部１をどの位置姿勢に移動すべきかを制御するカメラ姿勢デ―タ１０を算出する。
【００４６】
この図５に示す自動移動機構１３１乃至１３３では、画像入力部１内のカメラの位置と姿勢が３自由度で変更できるようになっている。さらに、この図５に示される３自由度ではカメラの位置姿勢をｘ軸の回転Ψｘ  とｙ軸の回転Ψｙ  とｚ軸方向の移動ｄｚ  により制御できるようになっている。これらの制御機構の動作は正確で再現性のあるものであると仮定する。この仮定の下では、カメラが有するカメラ座標系での点（ｘ，ｙ，ｚ）と回転Ψｘ  ，Ψｙ  と移動ｄｚ  により変換された座標系における対応点（ｘｃ  ，ｙｃ  ，ｚｃ  ）との関係は、
【数５】
0003610087.tif 000006
によって示される。ここに、Ｍはカメラの移動を表す変換行列であり、Ψｘ  ，Ψｙ  ，ｄｚ  の関数であり、具体的には、
【数６】
0003610087.tif 000007
と示される。
【００４７】
そして、回転後の座標系内の点（ｘｃ  ，ｙｃ  ，ｚｃ  ）をカメラで撮影したときには、その対応する画像点（ｕ，ｖ）は、
【数７】
0003610087.tif 000008
により表現することができる。ここで、カメラはピンホ―ル型のカメラでモデル化した。また、ｗは遠近効果を表すパラメ―タであり、ｕ，ｖの値はｕ＝ｕｗ／ｗ，ｖ＝ｖｗ／ｗにより算出できる。さらに、Ｃは３×４のカメラ較正行列であり、カメラの焦点距離ｆや固定されたカメラ位置に関するパラメ―タに関する関数である。例えばズ―ム機構が装着されているカメラシステムでは、上記のＣをカメラ焦点距離ｆにより較正することにより、３次元点（ｘｃ  ，ｙｃ  ，ｚｃ  ）とカメラ画像内の点（ｕ，ｖ）との対応を取ることができる。
【００４８】
即ち、Ｃは、
【数８】
0003610087.tif 000009
といった形の関数として示されるので、行列Ｃの要素をｆの関数として較正することができる。従って、ズ―ム機能はこのカメラ較正行列だけを変更することにより、座標系の変換を考えることができる。
【００４９】
さらに、回転前のカメラ座標系での３次元点（ｘ，ｙ，ｚ）を回転後のカメラ座標系で観察したときに、その画像点（ｕ，ｖ）との対応関係は、
【数９】
0003610087.tif 000010
により示される。
【００５０】
第１の実施例ではカメラの座標系を３個のパラメ―タとズ―ムに関する焦点距離ｆの関数として示したが、こうした座標系の取り方は上記の方法だけによるものではない。即ち、カメラを移動させるｓ自由度の移動軸等を制御するパラメ―タをｍ＝（ｍ１  ，ｍ２  ，…，ｍｓ  ）とすれば、行列Ｍはｍの関数として、Ｍ＝Ｍ（ｍ）という関数形で表現することができる。
【００５１】
さて、カメラコントロ―ル部５では、位置姿勢予測部２４が算出した次時刻における対象物の位置姿勢パラメ―タの予測値の期待値を利用して、カメラのコントロ―ルを行う。具体的には、対象物の重心の位置を（ｘｇ  ，ｙｇ  ，ｚｇ  ）として、その画像内の位置が画像内の中心（ｕｇ  ，ｖｇ  ）になるようにカメラを移動する。この計算のためには、
【数１０】
0003610087.tif 000011
となるカメラ移動パラメ―タｍを算出すればよい。この算出にあたって、カメラの移動パラメ―タｍの次元が上式の制約条件数の２より大きいときには、解は一意に定まらない問題点があるが、そのときは現時点から次時点までの移動距離が最小になるような解ｍを求めればよい。
【００５２】
即ち、現時刻のカメラ移動パラメ―タをｍ０  としたとき、
【数１１】
0003610087.tif 000012
を最小とするｍで制約式（１０）を満たすものを解として求めればよい。
【００５３】
この解法は、非線形方程式の最適解として求められることは明確である。このようにして算出されたカメラ移動パラメ―タｍ１  ，ｍ２  ，…，ｍｓ  は、カメラ移動デ―タとして、画像入力部１に装着されている自動移動機構１３１，１３２，１３３に送出され、画像入力部１ではカメラの移動が行われる。
【００５４】
次に図２に示すモデル特徴予測部２１では、モデルデ―タ格納部２０が格納している３次元モデルデ―タ２５と、位置姿勢予測部２４が算出する対象物の位置姿勢予測パラメ―タ２８を利用して、カメラ画像内で可視と思わるモデル特徴を選択し、そのモデル特徴がカメラ画像内のどの位置に存在するかを予測する。
【００５５】
そして、このモデル特徴に関する３種類のモデルパラメ―タ２６を画像特徴抽出部２２と特徴対応探索部２３に送出する。以下、この３種類のモデルパラメ―タ２６がどのようなものかを説明する。
【００５６】
対象物の基準となる位置Ｐ０  と姿勢Ｑ０  の世界座標系での表現に対して推定値を利用することができる。
【００５７】
具体的には、ｐ（ｋ）  ＝（ｐｘ  ，ｐｙ  ，ｐｚ  ；φｘ  ，φｙ  ，φｚ  ）で使用される６個のパラメ―タを確率的に表現したり、ある領域制限を用いて示すことができる。こうしたパラメ―タを確率的に表現する方法は、先に位置姿勢予測部２４で説明したように、（ｐｘ  ，ｐｙ  ，ｐｚ  ；φｘ  ，φｙ  ，φｚ  ）の予測値の期待値とその誤差の共分散行列を用いるものである。こうした確率的な表現を利用すると、更に適当な閾値を用いることでパラメ―タの存在範囲を制限することができる。  いま、ｐの予測期待値ｐｍ  とｐの誤差共分散行列Σを利用すると、適当な閾値ｄを利用して、
【数１２】
0003610087.tif 000013
なる集合を定義すると、閾値ｄを制御することによってｐの存在する範囲を制限することができる。第１の実施例では、この領域のことを位置姿勢パラメ―タ限定領域と称する。
【００５８】
先に説明したように、第１の実施例では、対象物を認識するときには、各時刻毎に対象となる移動物体の位置や姿勢の予測値と誤差共分散行列が推定できると仮定している。このような場合、モデル特徴予測部２１では、対象物を撮影装置（カメラ等）の位置や姿勢情報と移動物体の位置や姿勢の推定値の情報とに基づいて、対象物がどのように撮影装置に映るかを予測する。これは、例えば対象物は３次元的に位置するところの平均的予測値ｐｍ  を利用して、対象モデルから予測画像を生成する方法によって実現することができる。
【００５９】
こうした予測画像を生成する方法については文献「Ｏ．Ｉ．Ｃａｍｐｓ  ，Ｌ．Ｇ．Ｓｎａｐｉｒｏ  ，ａｎｄ  Ｒ．Ｍ．Ｈａｒａｌｉｃｋ，“Ｏｂｊｅｃｔ  Ｒｅｃｏｇｎｉｔｉｏｎ  ｕｓｉｎｇ  Ｐｒｅｄｉｃｔｉｏｎ  ａｎｄ  Ｐｒｏｂａｂｉｌｉｓｔｉｃ  Ｍａｔｃｈｉｎｇ，”Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  １９９２  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｉｎｔｅｌｌｉｇｅｎｔ  Ｒｏｂｏｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  ，Ｒａｌｅｉｇｎ  ，ＮＣ，１９９２，ｐｐ．１０４４−１０５２．」に記述されているように、対象物のモデルを利用することにより実現できる。
【００６０】
ここで、多面体を例にとって、こうした予測図が生成される過程について説明する。モデルデ―タ格納部２０が格納している３次元モテルデ―タ２５は、多面体を面要素、稜線要素、点要素の階層構造で表現することを先に述べた。
【００６１】
多面体の場合には、各面を構成するのはその境界を表す線分である。従って、予測図では、そうした線分のどの部分がカメラが置かれている視点から見えるか否か（可視か、不可視か）を決定すればよい。
【００６２】
これを実現するために、各線分上の点と視点とを結ぶ線分が他の面と交差するか否かを順次調べ、いずれの面とも交差しなければ、その点は可視な点として登録してゆくという方法を取ることにより予測画を生成することができる。
【００６３】
ここで、図６はその出力例を示したものである。この図６に示されるように、２３本の線分１４０乃至１６２が可視線分として選択される。これらの線分は各々の線分を構成する２端点の座標によって表現される。
【００６４】
例えば可視線分１４０の場合には、その２端点あるＰ０  （  ｘ０，ｙ０，ｚ０  ）  （符号１６３）とＰ１  （  ｘ１，ｙ１，ｚ１）（符号１６４）によって表現される。そして、こうして一つの予測画像が生成されると、次にその予測画像から対象物を規定する特徴を選択することができる。この特徴としては、特徴点や線分或いは曲線などを考えることができる。
【００６５】
第１の実施例では、モデル特徴として、図６に示される直線成分（線分）をモデル特徴として利用する。このように算出されるモデル特徴である線分の端点の３次元座標が第１種のモデルパラメ―タとして、画像特徴抽出部２２と特徴対応探索部２３に送出される。
【００６６】
次のステップでは、こうしたモデル特徴が画像内またはパラメ―タ空間内でどのような特徴を示すかを説明する。いま、対象物の特徴を規定する対象物の局所座標系でのパラメ―タをｓとする。尚、話を簡単にするために、モデル特徴となる線分の端点Ｐの座標について考える。そして、対象物局所座標系での位置座標ｓ＝（ｘ，ｙ，ｚ）を有する３次元点Ｐに関して、その点をカメラによって観察する場合を考える。
【００６７】
世界座標系での対象物の位置Ｐ０  と姿勢Ｑ０  が不確定であるために、カメラでこの点Ｐを観察すると、その像のカメラ画像内で予測される位置と姿勢も不確定となる。それが、どの程度不確定かを表現するためには、対象物の原点の位置姿勢パラメ―タが有するＰ０  とＱ０  の予測誤差共分散行列をカメラ画像内の像に伝播すればよい。
【００６８】
文献２「Ａ．Ｋｏｓａｋａ  ａｎｄ  Ａ．Ｃ．Ｋａｋ，“Ｆａｓｔ  ｖｉｓｉｏｎ−ｇｕｉｄｅｄ  ｍｏｂｉｌｅ  ｒｏｂｏｔ  ｎａｖｉｇａｔｉｏｎ  ｕｓｉｎｇ  ｍｏｄｅｌ−ｂａｓｅｄ  ｒｅａｓｏｎｉｎｇ  ａｎｄ  ｐｒｅｄｉｃｔｉｏｎ  ｏｆ  ｕｎｃｅｒｔａｉｎｔｉｅｓ，“Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ，Ｇｒａｐｈｉｃｓ，ａｎｄ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ−−Ｉｍａｇｅ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ  ，Ｎｏｖｅｍｂｅｒ    １９９２，２７１−３２９」に示されているように、先ず対象局所座標系での３次元点Ｐ：ｓ＝（ｘ，ｙ，ｚ）と、そのカメラ像Ｐ′との関係を定式化する。
【００６９】
簡単のために、撮影装置をＴＶカメラとして、それをピンホ―ル型のカメラとしてモデル化したものとし、更にカメラが正しく較正されているとすると、カメラ画像内の点Ｐ′の位置ｑ＝（ｕ，ｖ）は、
【数１３】
0003610087.tif 000014
となる。ここに、Ｃ＝（ｃｉｊ）（ｉ＝１，２，３；ｊ＝１，２，３，４）はカメラ較正行列と呼ばれ３×４の実行列である。そして、Ｍ＝Ｍ（ｍ１  ，ｍ２  ，…，ｍｎ  ）は、世界座標の原点に対するカメラの移動を表すカメラ移動行列であり、ｍ１  ，ｍ２  ，…，ｍｎ  はその移動パラメ―タを示す。さらに、Ｈ＝Ｈ（ｐｘ  ，ｐｙ  ，ｐｚ  ；φｘ  ，φｙ  ，φｚ  ）は４×４の行列、上記（２），（３）式に示される対象物局所座標系から世界座標系への変換行列である。ここでは、計算を簡単にするために、Ｔ＝（ｔｉｊ）＝ＣＭとおく。ｗは遠近効果を表すパラメ―タであり、実際の画像内の位置ｑ（ｕ，ｖ）は（ｕｗ／ｗ，ｖｗ／ｗ）の演算によって得ることができる。
【００７０】
さて、Ｐ０  とＱ０  の予測に含まれている誤差成分を３次元点Ｐのカメラ像ｑ＝（ｕ，ｖ）に伝播するためには、先ずＰ０  とＱ０  が持つ予測の不確定さをｐの予測期待値ｐｍ  とｐの誤差共分散行列Σによって表現しておく。この方法に関しては前述した通りである。
【００７１】
すると、ｑ＝（ｕ，ｖ）の予測期待値ｑｍ  ＝（ｕｍ  ，ｖｍ  ）は、遠近効果を表すパラメ―タｗの期待値ｗｍ  を利用して、
【数１４】
0003610087.tif 000015
で求められる。さらに、上記（１３）式を変形し、ｗｍ  の項を除去した後、ｕｍ  ，ｖｍ  をｐの関数として表す。その後、その方程式に関して、ｐｍ  ，ｑｍ  ＝（ｕｍ  ，ｖｍ  ）のまわりでの変分δｐ＝ｐ−ｐｍ  ，δｑ＝ｑ−ｑｍ  を考えれば、
【数１５】
0003610087.tif 000016
と示される。ここで、Ｆは（ｕｍ  ，ｖｍ  ）のｐｍ  に対するＪａｃｏｂｉ行列である。
【００７２】
ｑの誤差共分散行列Ωは、期待値をとるオペレ―タをＥ［＊  ］とすると、
【数１６】
0003610087.tif 000017
と示される。ここでは、対象物の位置姿勢パラメ―タｐの誤差共分散に関する次式で示される関係を用いた。
【００７３】
【数１７】
0003610087.tif 000018
以上のように、ｑ＝（ｕ，ｖ）の予測期待値とその誤差共分散行列を求めることができる。さらに、このｑ＝（ｕ，ｖ）の予測期待値と誤差共分散行列に基づいて、ｑの存在する範囲を確率的に制限することができる。
【００７４】
例えば、
【数１８】
0003610087.tif 000019
で示される空間を定義し、ある閾値ｄを制御変数として、領域をＡ（ｑｍ  ，Σｑ  ；ｄ）によって制限すればよい。ここで、制御変数ｄを大きくとれば、より大きな確率でｑはＡ（ｑｍ  ，Σｑ  ；ｄ）の中に含まれることになる。
【００７５】
第１の実施例では、このようにして制限される画像内限定領域のことを画像探索限定領域と称する。
【００７６】
以上の説明では、３次元点に対して、その画像内の予測できる位置の期待値とその誤差成分の算出を説明した。実際に、本実施例で用いるモデル特徴は、線分特徴であるので、線分自体が画像内で存在し得ると予測できる領域も限定する必要がある。これを行うためには、まずモデル特徴である線分の各端点に関して、カメラ画像内の画像探索限定領域を求め、それらを組み合わせることにより直線の画像探索限定領域を実現することができる。
【００７７】
ここで、図７はこの方法を示す図である。即ち、図７（ａ）は、直線成分１７０の２端点Ｐ１  （１７１）とＰ２  （１７２）の画像探索限定領域１７３，１７４が構築される。図７（ｂ）は、これら端点１７１，１７２の画像探索限定領域１７３，１７４から、それを含む凸閉包を作り、それを直線成分１７０（Ｐ１  Ｐ２  ）のが画像探索限定領域１７５とするものである。
【００７８】
この画像探索限定領域は必ずしも、図７に示されるように、最小の閉領域で構成する必要はない。例えば、図７（ｃ）に示されるように、直方領域１７６で近似しても構わない。このようにして算出される画像探索限定領域は、第２種のモデルパラメ―タとして画像特徴抽出部２２と特徴対応探索部２３に送出される。直線成分の抽出に関しては、ハフ変換が有効な部であることが知られている（文献２「Ａ．Ｋｏｓａｋａ  ａｎｄ  Ａ．Ｃ．Ｋａｋ，“Ｆａｓｔ  ｖｉｓｉｏｎ−ｇｕｉｄｅｄ  ｍｏｂｉｌｅ  ｒｏｂｏｔ  ｎａｖｉｇａｔｉｏｎ  ｕｓｉｎｇ  ｍｏｄｅｌ−ｂａｓｅｄ  ｒｅａｓｏｎｉｎｇ  ａｎｄ  ｐｒｅｄｉｃｔｉｏｎ  ｏｆ  ｕｎｃｅｒｔａｉｎｔｉｅｓ，“Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ，Ｇｒａｐｈｉｃｓ，ａｎｄ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ−−Ｉｍａｇｅ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ  ，Ｎｏｖｅｍｂｅｒ  １９９２  ，  ２７１−３２９」に記載）。
【００７９】
さらに、予め直線成分は３次元空間内で、
【数１９】
0003610087.tif 000020
と示される。ここに、［ｘ１  ，ｙ１  ，ｚ１  ］Ｔ  と［ｘ２  ，ｙ２  ，ｚ２  ］Ｔ  は直線上の任意の２点、ｔは媒介変数である。こうした３次元上の直線をピンホ―ルモデルで近似できるカメラで撮影すると、その撮影像は直線としてカメラ画像上に現れる。
【００８０】
ここで、図８に示されるように、上記直線１８０を原点１８１からの距離ρ（１８２）と、直線の法線の方向γ（１８３）によって表現したのがハフ変換であり、（ρ，γ）が作る空間はハフ空間と称される。対象物の位置と姿勢の基準パラメ―タＰ０  とＱ０  の値が不確定のときには、こうしたハフ変換のパラメ―タのカメラ画像内での値も不確定となる。
【００８１】
ところで、前述したように、Ｐ０  とＱ０  の位置姿勢パラメ―タ限定領域をハフ空間パラメ―タに伝播することにより、ハフ空間パラメ―タの画像探索限定領域も計算することができる。
【００８２】
いま、このｑ＝（ρ，γ）の対応するパラメ―タの予測期待値をｑｍ  ＝（ρｍ  ，γｍ  ）、誤差共分散行列をΩとする。ハフ空間パラメ―タ等のパラメ―タに関連する画像探索限定領域を計算するためには、以下のような方法（１）乃至（４）を取ればよい。
【００８３】
（１）位置姿勢予測部２４から対象物の予測された位置姿勢パラメ―タを受け取って、例えばその値をｐとする。そして、このｐに関する予測期待値ｐｍ  と誤差共分散行列Σを受け取る。
【００８４】
（２）モデルデータ格納部２０から対象物のモデル特徴を線分の端点の座標パラメ―タとして受け取る。そのパラメ―タは、対象物の局所座標系で表現されるものである。そして、例えば該モデル特徴のパラメ―タをｓとする。
【００８５】
（３）モデル特徴に対応するカメラ画像内での可視モデル特徴線分を選択し、その特徴をカメラ画像内で表現するためのハフ空間パラメ―タｑを設定する。
【００８６】
（４）ｓ，ｑ，ｐを関連づけるパラメ―タ間の方程式ｆ（ｓ，ｑ，ｐ）＝０を求める。次に、ハフ空間パラメ―タｑに関連する予測値を計算する。先ず期待値ｑｍ  を求めるには、方程式、
【数２０】
0003610087.tif 000021
を解けばよい。一方、共分散行列Ωを求めるためには、ｆ（ｓ，ｑ，ｐ）＝０の方程式の予測期待値ｐｍ  ，ｑｍ  のまわりでの変分をとることで求められる。
【００８７】
具体的には、
【数２１】
0003610087.tif 000022
の変分方程式において、ｆ（ｓ，ｑｍ  ，ｐｍ  ）＝０であることを利用すると、
【数２２】
0003610087.tif 000023
を利用することができ、最後に、
【数２３】
0003610087.tif 000024
といった線形方程式によって、変分δｑを変分δｐによって表現することができる。いま、前式の変換行列の部分をＦで表すと、
δｑ＝Ｆδｐ                      （２６）
で表現される方程式が求められ、このことからｑの誤差共分散行列Σｑ  は、
Ω＝ＦΣＦＴ                        （２７）
の形で示される。その後、適当な閾値ｄを選択して、式（１８）で示されるようなパラメ―タ領域Ａ（ｑｍ  ，Σｑ  ；ｄ）を算出する。
【００８８】
一旦、ハフ空間パラメ―タの予測期待値と誤差共分散行列から生成される画像探索限定領域は、
【数２４】
0003610087.tif 000025
の形で示される。尚、第１の実施例では、上記のハフ空間内での画像探索限定領域のことをハフ空間探索限定領域と称することにする。
【００８９】
次に図９はハフ空間探索限定領域１８４を示す図である。前述のようにして算出されるハフ空間探索限定領域は、第３種のモデルパラメ―タとして、画像特徴抽出部と特徴探索部に送出される。
【００９０】
実際に直線成分であるモデル特徴を画像内から抽出するためには、このように限定した領域の範囲だけについて、対応する直線成分を抽出すればよいことになる。このことは、後に画像特徴抽出部２２の説明で詳細に説明する。このようにして、モデル特徴予測部２１で対象物を規定する特徴がどのような見え方をし、その特徴を表現するパラメ―タがどのような値を取り得るかが計算される。
【００９１】
以上の説明をまとめると、モデル特徴予測部２１では３種のパラメ―タを予測し、それをモデルパラメ―タ２６として画像特徴抽出部２２と特徴対応探索部２３に送出することになる。
【００９２】
これら３種のモデルパラメ―タ２６とは、
（１）可視線分の端点の３次元座標
（２）上記（１８）式で示される線分の端点の画像探索限定領域
（３）上記（２６）式で示される線分のハフ空間探索限定領域
である。これらのモデルパラメ―タは、画像特徴抽出部２２において画像内からモデル特徴を抽出する際に利用される。
【００９３】
次に図２における画像特徴抽出部２２ではモデル特徴予測部２１で選択されたモデル特徴に対応する画像特徴をカメラ画像の中から抽出することが行われる。
ここでは、Ｐ１  ，Ｐ２  を端点とする直線成分Ｐ１  ，Ｐ２  の抽出を例として説明する。モデル特徴予測部で作られた線分に関する情報で画像特徴抽出部２２が利用するのは、
（１）線分の端点のカメラ画像内での位置の画像探索限定領域
（２）線分のハフ変換パラメ―タのハフ空間探索限定領域
の２点である。以下、画像特徴抽出部が、こうした情報を利用して、どのようにして直線成分の画像特徴を抽出するかについて説明する。
【００９４】
直線成分の画像特徴を抽出するには、以下のような方法を用いる。
【００９５】
（１）直線成分のハフ空間探索限定領域に対応するハフ累積行列Ｄ（ρ，γ）を用意する。ここで、ハフ空間は適当に離散化しておく。この行列の大きさは、ハフ変換パラメ―タの限定された大きさに対応する。例えば、いまρの取り得る範囲を［ρｍｉｎ  ，ρｍａｘ  ］、γの取り得る範囲を［γｍｉｎ  ，γｍａｘ  ］の長方領域で近似すれば、この行列は、上記のρ，γの範囲を包含するものであればよい。そして、次に該ハフ累積行列Ｄ（ρ，γ）を零初期化する。
【００９６】
（２）限定された画像空間を長方領域［ｕｍｉｎ  ，ｕｍａｘ  ］×［ｖｍｉｎ  ，ｖｍａｘ  ］で近似し、その領域に対して、所望の直線の平均的傾き（ハフ空間パラメ―タγは直線成分の法線方向を表すので、γに直交する方向が直線成分の傾きに相当する）に特に感度のある微分オペレ―タを施す。こうしたオペレ―タの例は、例えば文献３「Ｒ．Ｍ．Ｈａｒａｌｉｃｋ  ａｎｄ  Ｌ．Ｇ．Ｓｈａｐｉｒｏ，Ｃｏｍｐｕｔｅｒ  ａｎｄ  Ｒｐｂｏｔ  Ｖｉｓｉｏｎ  ，Ａｄｄｉｓｏｎ  Ｗｅｓｌｅｙ，１９９２，ｐｐ．  ３７１−４５２」の第８章に示されているように、線形型のフィルタで構成することができる。この特別なフィルタを適用するのは、できるだけノイズの影響を抑えて、所望の方向の直線成分を検出するためである。そしてこのフィルタを限定された画像領域に適用する。フィルタの出力の絶対値がある閾値より大きな画素（ｕ，ｖ）に関しては、その画素は直線成分に対応するエッジを構成する可能性があると考え、γの取り得る全ての範囲の角度方向についてそれに対応するρを計算する。即ちγをγｍｉｎ  からγｍａｘ  まで値を変えながら、
ρ＝ｕｃｏｓ  γ＋ｖｓｉｎ  γ                    （２９）
を計算し、それに対応する（ρ，γ）のハフ累積行列の値Ｄ（ρ，γ）を１増やす。以上のことを、限定された画像領域内の全ての画素について繰り返す。
【００９７】
（３）ハフ累積行列Ｄ（ρ，γ）の中からピ―クを捜し、そのピ―クに対応する直線成分を限定された画像内で本当に直線成分として存在する時には、そのピ―クに対応する直線成分として登録する。この（３）の操作をある所望の直線成分が検出できるか、ある一定以上の大きさのピ―クを検出できるまで繰り返す。
【００９８】
ハフ変換により画像特徴である直線成分を抽出することができるが、こうして抽出された画像特徴はハフ空間のパラメ―タによって測定される。この測定値（ρ，γ）には、勿論、誤差成分が含まれている可能性がある。こうした誤差成分の大きさは予め推定することができる。ここでは、このような誤差成分をその推定誤差共分散行列Λで示す。
【００９９】
この結果、画像特徴抽出部２２が特徴対応探索部２３へ出力する画像パラメ―タ２７は、各モデル特徴に対応する画像特徴の候補についてのハフパラメ―タの測定値ｒ＝（ρ，γ）とその測定値に関する推定誤差共分散行列Λとなる。
【０１００】
次に図２における特徴対応探索部２３の処理について説明する。
【０１０１】
上記画像特徴抽出部２２により抽出された画像特徴候補は、画像パラメ―タとして特徴対応探索部２３に送出されるが、その候補は各モデル特徴について複数個存在する可能性がある。
【０１０２】
この図２における特徴対応探索部２３は、各モデル特徴について最適な画像特徴を選択し、その結果を用いて対象物の位置姿勢パラメ―タの予測値を更新し、その予測値２９を位置姿勢予測部２４へ送出するものである。
【０１０３】
以下の説明では、モデル特徴の名称と画像特徴の名称をそのパラメ―タ値を持って表現することにする。例えば、モデル特徴パラメ―タｓによって規定されるモデル特徴のことを簡略的にモデル特徴ｓと称し、画像特徴パラメ―タｒによって規定される画像特徴のことを簡略的に画像特徴ｒと称することにする。
【０１０４】
先ずこのような場合における最適な対応探索について説明する。この説明をするために、モデル特徴はｓ１  ，ｓ２  ，…，ｓｎ  で表され、各モデル特徴ｓｉ  について、画像特徴抽出部２２で抽出された画像特徴候補がｍｉ  個であり、それは｛ｒｉ  １  ，ｒｉ  ２  ，…，ｒｉ  ｍｉ｝で示されるものとする。
【０１０５】
このとき対応関係とは、
（ｓ１  ，ｒ１  ），（ｓ２  ，ｒ２  ），…，（ｓｎ  ，ｒｎ  ）        （３０）
で示されるようなｒ１  ，ｒ２  ，…，ｒｎ  を、それぞれ｛ｒ１  １  ，ｒ１  ２  ，…，ｒ１  ｍ１，ｎｉｌ  ｝，｛ｒ２  １  ，ｒ２  ２  ，…，ｒ２  ｍ２，ｎｉｌ  ｝，｛ｒｎ  １  ，ｒｎ  ２  ，…，ｒｎ  ｎｍ，ｎｉｌ  ｝から選択することになる。
【０１０６】
ここで、各候補の集合に含まれているｎｉｌ  のシンボルは、モデル特徴に対応する画像特徴候補がないことを表すものである。
【０１０７】
このようなｎｉｌ  を含めて対応を考えるのは、遮蔽等の影響でモデル特徴が他の物体に覆い隠されているために対応する画像特徴が抽出できない場合やノイズ等の影響で正しいパラメ―タが算出できない場合等に対処するためのものである。
一方、最適な対応を探索するために、所定の評価式を導入する。
【０１０８】
ここで、最適性を評価としては、文献２「Ａ．Ｋｏｓａｋａ  ａｎｄ  Ａ．Ｃ．Ｋａｋ，“Ｆａｓｔ  ｖｉｓｉｏｎ−ｇｕｉｄｅｄ  ｍｏｂｉｌｅ  ｒｏｂｏｔ  ｎａｖｉｇａｔｉｏｎ  ｕｓｉｎｇ  ｍｏｄｅｌ−ｂａｓｅｄ  ｒｅａｓｏｎｉｎｇ  ａｎｄ  ｐｒｅｄｉｃｔｉｏｎ  ｏｆ  ｕｎｃｅｒｔａｉｎｔｉｅｓ，”Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ，Ｇｒａｐｈｉｃｓ，ａｎｄ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ−−Ｉｍａｇｅ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ  ，Ｎｏｖｅｍｂｅｒ  １９９２，２７１−３２９  」に記載されているのと同様な評価の方法をとる。
【０１０９】
即ち、（ｓ１  ，ｒ１  ），（ｓ２  ，ｒ２  ），…，（ｓｎ  ，ｒｎ  ）で示されるモデル特徴ｓｉ  と画像特徴候補ｒｉ  の組について、ｒｉ  がｎｉｌ  となる数が最も少なく、且つ、これらの（ｓ１  ，ｒ１  ），（ｓ２  ，ｒ２  ），…，（ｓｎ  ，ｒｎ  ）の間で評価されるある評価関数Ｄが最適となる組み合わせを最適解とする。
【０１１０】
上記の文献２では、このような最適な対応探索を行う方法を詳述している。
【０１１１】
この方法はカルマンフィルタを利用して対象物の位置姿勢パラメ―タの予測値を更新することで、その予測値に含まれる誤差分散を減少させ、各モデル特徴に対応可能な画像特徴候補の数を減少させるアルゴリズムを利用している。
【０１１２】
そして、このアルゴリズムを対応探索の探索空間で最適な解が発見できるまで実行している。先ず、この方法で最適解を定義するために、その評価関数Ｄをいかに作成するかについて説明する。
【０１１３】
いま、対象物の位置姿勢パラメ―タの予測値ｐ＝（ｐｍ  ，Σ）が与えられているとき、ｓで表されるモデル特徴がｒで表される画像特徴が対応する確率を、
ｐｒｏｂ（ｓ→ｒ｜ｐ）                    （３１）
と定義する。
【０１１４】
対象物の位置姿勢パラメ―タの予測値ｐ＝（ｐｍ  ，Σ）とモデル特徴パラメ―タｓが加えられると、画像特徴パラメ―タの予測値を算出することができる。
【０１１５】
そのパラメ―タをｑ＝（ｑｍ  ，Ω）とすると、ｒが期待値ｑｍ  に近ければ近い程、高い確率でモデル特徴ｓが画像特徴ｒに対応すると考えることがきるので、この確率を平均がｑｍ  で分散行列がΩの正規分布で近似する。
【０１１６】
即ち、
【数２５】
0003610087.tif 000026
により定義するのである。
【０１１７】
次に２個のモデル特徴ｓ１  ，ｓ２  と２個の画像特徴候補ｒ１  ，ｒ２  とが対応する確率を考えると、式（３１）を拡張して、
【数２６】
0003610087.tif 000027
で示される。
【０１１８】
上式の第２項の条件付き確率は、モデル特徴ｓ１  が画像特徴候補ｒ１  と対応すると仮定したときに、モデル特徴ｓ２  が画像特徴候補ｒ２  に対応する確率を示したものである。
【０１１９】
ここで、実際にこの条件付き確率を考える。対象物の位置姿勢パラメ―タｐ、モデル特徴を表すパラメ―タｓ，モデル特徴に対応する画像特徴パラメ―タをｑとすると、この３個のパラメ―タ間には以下のような非線形制約式が成立する。
ｆ（ｓ，ｑ，ｐ）＝０                    （３４）
例えば、モデル特徴として２端点（ｘ１  ，ｙ１  ，ｚ１  ），（ｘ２  ，ｙ２  ，ｚ２  ）からなる線分を取り上げると、その画像特徴は線分として扱うことができ、そのハフパラメ―タをｑとすれば、
ｓ＝（ｘ１  ，ｙ１  ，ｚ１  ；ｘ２  ，ｙ２  ，ｚ２  ），ｑ＝（ρ，γ）（３５）
として扱うことができる。
【０１２０】
対象物の位置姿勢パラメ―タｐ＝（ｐｘ  ，ｐｙ  ，ｐｚ  ，φｘ  ，φｙ  ，φｚ  ）について考えると、上記（３４）式は、
【数２７】
0003610087.tif 000028
で示される。このような制約式に対して、パラメ―タｓで規定されるモデル特徴とパラメ―タｑで規定される画像特徴が対応することが判ったならば、その値を上式に代入することによりｐの値を算出することができる。
【０１２１】
しかしながら、実際には画像特徴を規定するパラメ―タｑの値には、測定誤差が含まれているために上式は必ずしも成立するとは限らない。
【０１２２】
これに対して、先に説明した第１の実施例で扱うような問題ではｐには予測値ｐｍ  とその誤差成分の共分散行列Σが存在し、またｑの測定値ｒがどの程度の誤差成分を含むかを予め測定しておくことができる。その誤差成分としては測定値ｒをその平均値で、その誤差成分を誤差共分散行列Λで表現することができる。文献２「Ａ．Ｋｏｓａｋａ  ａｎｄ  Ａ．Ｃ．Ｋａｋ，“Ｆａｓｔ  ｖｉｓｉｏｎ−ｇｕｉｄｅｄ  ｍｏｂｉｌｅ  ｒｏｂｏｔ  ｎａｖｉｇａｔｉｏｎ  ｕｓｉｎｇ  ｍｏｄｅｌ−ｂａｓｅｄ  ｒｅａｓｏｎｉｎｇ  ａｎｄ  ｐｒｅｄｉｃｔｉｏｎ  ｏｆ  ｕｎｃｅｒｔａｉｎｔｉｅｓ，”Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ，Ｇｒａｐｈｉｃｓ，ａｎｄ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ−−Ｉｍａｇｅ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ  ，Ｎｏｖｅｍｂｅｒ  １９９２，２７１−３２９  」に記載されているように、上記（３４）式で示されるようなモデル特徴ｓと画像特徴ｒが対応し、対象物の位置姿勢パラメ―タの予測値が与えられているときには、条件の部分に含まれる対象物の位置姿勢パラメ―タを更新すると解釈することができる。
【０１２３】
このような解釈を実現する方法としては、カルマンフィルタの利用がある。このフィルタでは、モデル特徴と画像特徴の各対応関係が形成する上記（３４）式で表される制約式を利用して、１個１個の対応が確定すると同時にもとの対象物の位置姿勢パラメ―タの予測値ｐｍ  と誤差成分の共分散行列を更新するものである。例えば画像特徴の測定値をｒとしたときに、その誤差の期待値を０、その誤差共分散行列をΛとすれば、１個のモデル特徴と画像特徴の対応関係により、対象物の位置姿勢パラメ―タの予測値と誤差共分散行列は（ｐｍ  ，Σ）は、以下の（ｐｍ  ′，Σ′）に更新することができる。
【０１２４】
【数２８】
0003610087.tif 000029
但し、Ｋ，Ｍ，Ｗは、
【数２９】
0003610087.tif 000030
で示される。ここで重要なことは上式により対象物の位置姿勢パラメ―タの誤差共分散Σ′は更新され、その予測値の誤差成分の大きさは減少することである。即ち、モデル特徴と画像特徴の対応関係は、予め与えられる対象物の位置姿勢パラメ―タの予測誤差に含まれる誤差分散を減少させ、予測に関する不確定さを減少させることになる。このように対象物の位置姿勢パラメ―タの予測誤差の大きさが一旦減少すると、モデル特徴が画像内に存在する画像探索限定領域もより減少することが判る。
【０１２５】
以上より、上記（３３）式は、
【数３０】
0003610087.tif 000031
のように示すことができる。ここで、ｐ（１）  はカルマンフィルタにより更新された対象物の位置姿勢パラメ―タの予測値を表している。ここで重要なことは、このように更新された対象物の位置姿勢パラメ―タの予測値においては、その画像特徴とパラメ―タの予測値（ｑｍ  （１）  ，Ω’（１））も更新されることである。
【０１２６】
従って、次のモデル特徴ｓ２  の画像特徴候補の集合の中で、確率ｐｒｏｂ（ｓ２  →ｒ２  ｜ｐ（１）  ）の値がある一定値より小さくなったときには、その候補を画像特徴候補から除去できることとなる。ここで、ｐ（ｉ）  （ｉ＝１，２，３…，ｎ−１）  は、上記ｐ（１）  と同様にカルマンフィルタにより更新されたパラメータ予測値を表す。
【０１２７】
次にモデル特徴ｓ１  ，ｓ２  ，…，ｓｎ  のｎ個が与えられたとき、それらが画像特徴ｒ１  ，ｒ２  ，…，ｒｎ  と対応する確率を考え、この確率をＰとすれば、
【数３１】
0003610087.tif 000032
実際には、この値の対数をとった値Ｄを評価式とし、Ｄを最大とするような組み合せを探索することになる。
【０１２８】
【数３２】
0003610087.tif 000033
いままでの説明をまとめると、以下のようになる。
【０１２９】
即ち、ｎ個のモデル特徴ｓｉ  （ｉ＝１，２，…，ｎ）に対して、それに対応する可能性のある画像特徴候補の集合｛γｉ  １  ，γｉ  ２  ，…，γｉ  ｍｉ，ｎｉｌ  ｝が与えられているとき、ｎｉｌ  が対応することが最も少ない組み合せの中で、評価関数Ｄを最小にするもとを選択せよというのが与えられた問題である。
【０１３０】
次に最適対応の探索の実際について説明する。
【０１３１】
図１０乃至図１３は最適な対応探索を行う処理を示すフローチャートである。
尚、この図１０乃至図１３において、最適対応探索は、手続き「対応探索」及び「ｍａｔｃｈ  」により行う。
【０１３２】
先ず手続き「対応探索」から説明する。この手続きは最適対応探索を実際に行うための主手続きである。以下、図１０に従ってこれを説明する。
【０１３３】
手続き「対応探索」においては、数種のパラメータが使用される。対象物の位置姿勢パラメータである（ｐｍ  ，Σ）、最適性を評価するための２個の尺度Ｄ，Ｃ、モデル特徴と画像特徴の対応関係を格納する集合Ｇ、集合Ｇが形成する対象物の位置姿勢パラメータの更新値（ｐＧ  ，ΣＧ  ）である。ここで、Ｓはモデル特徴と画像特徴候補の対応関係を保存するための変数である。
【０１３４】
いま、対応探索すべきモデル特徴をｓ１  ，ｓ２  ，…，ｓｎ  とし、画像特徴候補を、それぞれ｛ｒ１  １  ，ｒ１  ２  ，…，ｒ１  ｍ１，ｎｉｌ  ｝，｛ｒ２  １  ，ｒ２  ２  ，…，ｒ２  ｍ２，ｎｉｌ  ｝，｛ｒｎ  １  ，ｒｎ  ２  ，…，ｒｎ  ｍｎ，ｎｉｌ  ｝とする。このときＳはモデル特徴と画像特徴候補の組から構成される集合であり、
Ｓ＝｛（ｓ１  ，ｒ１  ），（ｓ２  ，ｒ２  ），…，（ｓｉ  ，ｒｉ  ）  （４６）
と示すことができる。ここに、ｒｊ  （ｊ＝１，２，…，ｉ）は｛ｒｊ  １  ，ｒｊ  ２  ，…，ｒｊ  ｍｊ，ｎｉｌ  ｝の中のいずれかの要素であり、Ｓの要素の個数ｉはｎ以下の整数である。変数Ｄは上記（４５）式で示した評価式の部分和を表すものであり、変数ＣはＳ内に含まれる画像特徴候補のうちのｎｉｌ  の個数を表している。
【０１３５】
変数（ｐｍ  ，Σ）は対象物の位置姿勢パラメ―タの予測値を示すもので、この対応探索の手続きを始める際に判っている位置姿勢パラメ―タの予測値を表している。ＧはＳと同様な形をしたモデル特徴と画像特徴の集合であり、これは後に説明する手続き「ｍａｔｃｈ  」において、それまでに探索できた最適解を格納するものである。（ｐＧ  ，ΣＧ  ）は、解Ｇに対応する対象物の位置姿勢パラメ―タを示している。
【０１３６】
続いて、手続き対応探索のステップＳ２では、上記のパラメータの初期化が行われる。即ち、ＳとＧは空集合として初期化され、ＤとＣの値は“０”で初期化される。尚、（ｐｍ  ，Σ）の初期値は、この対応探索が行われる前の対象物の位置姿勢パラメ―タを示している。
【０１３７】
このステップＳ２で、これらＳ，Ｄ，Ｃ，（ｐｍ  ，Σ），Ｇの初期値が設定されると、次のステップＳ３で再帰的手続き「ｍａｔｃｈ  」が呼ばれて、最適解が存在する場合にはＧの中にその解が格納される。
【０１３８】
ステップＳ４では、解Ｇが空集合であるか否かが判定される。そして、空でないときには、ステップＳ５で、その解を最適解として扱い、そのときの対応する対象物の位置姿勢パラメ―タ（ｐＧ  ，ΣＧ  ）が位置姿勢予測部に報告される。これに対して、Ｇが空であるときには、ステップＳ７で対応探索が失敗したことを報告し、その結果は位置姿勢予測部に送られる。
【０１３９】
次に第２の手続き「ｍａｔｃｈ  」を、図１１乃至１３を参照して説明する。
【０１４０】
ステップＳ１０１では、現在探索中の解Ｓの適性がチェックされる。その具体的内容は図１２に示されている。
【０１４１】
先ずステップＳ２００では、今までに発見された最適な解Ｇと現在探索中の部分解Ｓとが比較される。そして、いままでに解Ｇが発見できている場合にはステップＳ２０１でＧとＳとが比較される。この比較は解Ｇと部分解Ｓのいずれかが優れた解かを比較することになる。具体的には、Ｓ内のｎｉｌ  の数がＧ内のｎｉｌ  の数より大きいときにはＳはもはや最適解とはなり得ないので、Ｇの方が優れた解であると判定する。
【０１４２】
一方、ＧとＳのｎｉｌ  の数が等しい場合には、Ｇに対応するＤの値とＳに対応するＤの値を比較し、Ｇに対応するＤの方がＳに対応するＤより大きい場合には、やはりＧの方が優れた解であると判定する。
【０１４３】
このステップＳ２０１で、Ｇの方がＳより優れた解であると判定できた場合には、現在探索中の部分解Ｓは最適解となり得ないので、この手続きｍａｔｃｈ  を終了するようにリターンする（ステップＳ２０２）。
【０１４４】
そして、ステップ２０３では、Ｓの中にあるｎｉｌ  の数はある一定値と比較される。この一定値よりＳ内のｎｉｌ  の数が大きければ、やはりこの部分解Ｓに基づいた解は最適解とはなり得ないとして、この解の探索は中止するため、この手続きｍａｔｃｈ  からリターンする（ステップＳ２０４）。これは、ある一定以上の個数分のｎｉｌ  を含んだ解は自動的に排除するためのものである。
【０１４５】
続いて、ステップ２０５では、Ｓの中に含まれるｎｉｌ  以外に対応する画像特徴候補の数を数える。この数がある一定以上のときには、自動的にこの解を近似最適解としてステップ２０６に移り、部分解として表現されるＳ，ｐｍ，Σを解Ｇ，ｐＧ，ΣＧに代入して、この手続きからリターンする（ステップＳ２０７）。
【０１４６】
そして、ステップＳ２０８では、ｎ個の全てのモデル特徴が調べ終わったか否かが判定される。ｎ個の全てのモデル特徴が調べ終わったときには、ステップＳ２０９で解Ｇが存在するか否かが判定される。そして、Ｇが空集合であるときにはステップＳ２１４でＳをモデル特徴ｎ個からなる最良解としてＧに登録する。また、その解が算出する対象物の位置姿勢パラメータの値（ｐｍ  ，Σ）を（ｐＧ  ，ΣＧ  ）として登録する。そして、ステップＳ２１５で、この手続きからリターンする。
【０１４７】
一方、ステップ２０９で解Ｇが存在していることがわかった場合には、ステップ２１０で解ＧとＳが比較される。ステップＳ２０１と同様に、ＤとＣの値から判断して、Ｓの方が優れた解であることが判断できたときには、ステップＳ２１２でこの解ＳをＧに代入し、その解が算出する対象物の位置姿勢パラメ―タの値（ｐｍ  ，Σ）を（ｐＧ  ，ΣＧ  ）として登録し、この手続きからリターンする（ステップＳ２１３）。
【０１４８】
ステップ２１０で解Ｇの方がＳより優れた解であることが判ったときには、この手続きを終了する（ステップＳ２１１）。そして、ステップＳ２０８で、部分解Ｓがモデル特徴の全てを含んでいないことが判ったときには部分解の適性チェック１０１を終了し、次のステップである図１１のＳ１０２へと移行する（ステップＳ２１６）。
【０１４９】
図１１のステップＳ１０２では、次に処理すべきモデル特徴の選択とその画像特徴候補の集合Ｒｓ  の作成が行われる。この処理に関して、以下、図１３を参照して説明する。
【０１５０】
先ずステップＳ３００において、部分解Ｓに含まれていないモデル特徴を集め、その集合をＱに設定する。この後のステップＳ３０１からステップＳ３０９の間で、次に考慮すべきモデル特徴ｓを集合Ｑから選択し、それに対応する可能性のある画像特徴候補の集合Ｒｓ  を決定することになる。
【０１５１】
この処理のために、ステップＳ３０１でＲｓ  を仮に全モデル特徴の全画像特徴候補からなる集合に設定する。続いて、Ｑが空集合になるまでステップＳ３０４からステップＳ３０８が処理される。
【０１５２】
ステップＳ３０３では、Ｑが空集合であるかを判定する。そして、空集合となったならば、図１３で示される処理は終了し、ステップＳ３０９を経て、図１１のステップＳ１０３へと移行する。そうでなければステップＳ３０４へと移行する。次いで、ステップＳ３０４では、集合Ｑ内の先頭のモデル特徴ｓｉ  が選択され、このｓｉ  はＱから除去される。
【０１５３】
続いて、ステップＳ３０５では、このモデル特徴ｓｉ  に対応する画像パラメータ（ｑｍ  ，Ω）が算出される。この算出においては、手続きｍａｔｃｈ  が呼ばれた時点での対象物の位置姿勢パラメータの予測値（ｐｍ  ，Σ）と上記（２２）乃至（２７）式が利用される。この後、ステップＳ３０６では、この予測値（ｑｍ  ，Ω）と式（２８）のマハラノビス距離を利用してモデル特徴ｓｉ  に現時点で対応し得る画像特徴候補を集合Ｒに格納する。このＲ内の要素数とＲｓ  内の要素数がステップＳ３０７で比較される。
【０１５４】
そして、Ｒの要素数がＲＳ  の要素数より大きいときには、ステップＳ３０８でｓｉ  がｓに、ＲがＲｓ  に変更される。一方、そうでない場合とステップＳ３０８を終了したときには再びステップＳ３０３へと移行する。
【０１５５】
このようなステップＳ３００からＳ３０９を処理することにより、モデル特徴ｓには最も画像特徴候補の数がもっとも小さいモデル特徴が、Ｒｓ  はｓに対応する画像特徴候補の集合が代入される。
【０１５６】
ステップＳ１０３では、画像特徴候補の集合Ｒｓ  が空集合であるか否かが判定される。そして、Ｒｓ  が空集合でないときにはステップＳ１０４へと移る。Ｒｓ  の中にはマハラノビス距離の２乗が小さい順に整列している。
【０１５７】
一般的にマハラノビス距離の２乗が小さい有望な画像特徴候補を先に選択し、その候補とモデル特徴が要素となる解の探索を進める。具体的には、Ｒｓ  の先頭にある画像特徴候補ｒが選択され、Ｒｓ  からこの画像特徴候補ｒが除去される。続いて、ステップＳ１０５では、モデル特徴ｓと画像特徴候補ｒの組（ｓ，ｒ）をＳに加えたものをＳｎｅｗ  とし、ｐ＝（ｐｍ  ，Σ）におけるモデル特徴ｓと画像特徴候補ｒの対応を評価するための評価値ｌｏｇ  ｐｒｏｂ（ｓ→  ｒ｜ｐ）が算出され、この値とＤとを加えたものをＤｎｅｗ  とする。一方、ｒはｎｉｌ  ではなかったので、Ｃの値はこの対応関係により増えないためＣｎｅｗ  にＣを代入する。
【０１５８】
さらに、ステップＳ１０６では、現時点での対象物の位置姿勢パラメータの予測値（ｐｍ  ，Σ）を対応関係（ｓ，ｒ）を用いて更新する。この方法は、先に述べた通りである。そして、この更新された対象物の位置姿勢パラメータの予測値を（ｐｍ  ｎｅｗ  、Σｎｅｗ  ）とする。
【０１５９】
このように更新された対象物の位置姿勢パラメータ（ｐｍｎｅｗ，Σｎｅｗ  ）と、Ｓｎｅｗ  ，Ｄｎｅｗ  ，Ｃｎｅｗ  の値を利用して、ステップＳ１０７では再帰的に本手続きｍａｔｃｈ  が呼ばれ、最適解の探索を進める。
【０１６０】
ステップＳ１０７が終了すると、再びステップＳ１０３へと移行する。前述のステップＳ１０３からステップＳ１０７では、画像特徴候補の集合ＲＳ  内の候補が各々確認されることになる。
【０１６１】
一方、ステップＳ１０３でＲｓ  が空集合となったときには、モデル特徴に対応するものが、ｎｉｌ  しかなくなったことを意味する。
【０１６２】
そして、ステップＳ１０８では、まず現在の部分解であるＳに（ｓ，ｎｉｌ  ）を加えたものをＳｎｅｗ  とし、続いてＤｎｅｗ  の値を現時点でのＤに設定し、Ｃの値を１増やしてＣｎｅｗ  に格納し、位置姿勢パラメータの予測値は更新しないまま、ｐｍｎｅｗとΣｎｅｗ  はｐｍ  とΣの値を代入する。この後、ステップＳ１０９では、再帰的に本手続きｍａｔｃｈ  が呼ばれる。最後にステップＳ１１０では、この手続き「ｍａｔｃｈ  」が終了する。
【０１６３】
このように、特徴対応探索部２３では、モデル特徴と画像特徴間の最適な対応探索が行われる。このようにして対応探索した結果、対象物の新しい位置姿勢パラメータの予測値が算出され、この予測値は位置姿勢予測部に送出される。
【０１６４】
以上、本発明の第１の実施例に係る移動物体追跡装置について説明したが、第１実施例では、位置姿勢予測部が対象物の位置姿勢パラメ―タ探索限定領域を予測し、その限定領域をモデル特徴予測部が各モデル特徴についての画像内とハフパラメ―タ空間内の探索限定領域を設定するため、画像特徴抽出部が安定にかつ高速に対応する可能性のある画像特徴だけを抽出することができる。
【０１６５】
また、特徴対応探索部２３は、モデル特徴と画像特徴間の最適な対応を探索するので、誤った対応の画像特徴を選択する確率が減少し、位置姿勢パラメ―タの誤った推定を行う確率を減少させることができる。以上のような点で従来の方法で行われていたものより、安定な移動物体の追跡が可能となる。
【０１６６】
次に本発明の第２実施例に係る移動物体追跡装置について説明する。尚、第２の実施例で述べられている移動物体追跡装置においては、第１の実施例と同様に対象物の形状が判っているものと仮定する。
【０１６７】
図１４は、第２の実施例に係る移動物体追跡装置の構成を示すブロック図である。基本的な情報の流れは第１実施例で示された概観と同様であるが、第２の実施例はカメラを移動させる必要がないときにその使用が限るため、先に図５に示したようなカメラコントロ―ル部５を有しない構成となっている。
【０１６８】
この概観を説明すると、カメラにより対象物を撮影する画像入力部（カメラ）１を介して画像は撮影され、その映像信号６はディジタル変換器２でディジタル画像信号７に変換される。こうして変換されたディジタル画像信号７は、一旦、画像格納部（メモリ部）３に格納され、格納された画像デ―タ８は、デ―タ処理を行う画像処理部４に送られる。
【０１６９】
勿論、画像処理部４に画像メモリに対応する格納部があれば、画像格納部３は画像処理部４に含まれてもよい。また、画像処理部４は、汎用のコンピュ―タシステムであってもよい。そして、画像処理部４では画像デ―タ８を解析し、その中に撮影された移動物体を解析することで、移動物体の位置姿勢に関するパラメ―タから構成される移動物体デ―タ９を算出する。
【０１７０】
画像処理部４では、その処理が図１５の示すような構成要素に基づいて実行される。この画像処理部４の構成はカメラが移動する必要がないために、カメラコントロ―ル部５が必要ないという点において第１実施例と異なる。また、モデルデ―タ格納部２０に少なくとも２枚の異った時刻の画像を入力し、画像特徴抽出部２２において、その少なくとも２枚の画像デ―タから差分画像を生成し、差分画像内で差異が現れた部分の輪郭や領域から抽出される画像特徴のうち、モデル特徴と対応するものを優先的に選択するという方法を取っている。
【０１７１】
このため、モデルデ―タ格納部２０、モデル特徴予測部２１、位置姿勢予測部２４、特徴対応探索部２３の構成は第１実施例と全く同様であるので、その説明は省略する。また、第２の実施例で使用する座標系についても第１実施例と同様であるため説明を省略する。
【０１７２】
この第２の実施例においては、特徴のある画像特徴抽出部２２及び上記優先的に選択された画像特徴とモデル特徴との対応の探索を行う特徴対応探索部２３についてのみ詳細に説明する。
【０１７３】
図１５において、画像処理部４の情報の流れとその中で第１実施例と異なる画像特徴抽出部２２と、画像特徴抽出部で優先的に抽出された画像特徴とモデル特徴との対応探索方法を説明する。
【０１７４】
モデルデ―タ格納部２０には、移動物体の３次元モデルデ―タ２５が格納されており、その３次元モデルデ―タ２５はモデル特徴予測部２１に送られる。モデル特徴予測部２１は、対象物の位置や姿勢に関する情報である対象物の位置姿勢予測パラメ―タ２８とモデルデ―タ格納部が送出する３次元モデルデ―タ２５とを利用して、対象物である移動物体をカメラで撮影した時に、その対象物を規定する特徴がそのカメラ画像でとり得るパラメ―タとそのパラメ―タがどのように画像内で制限されるかを予測する。
【０１７５】
こうして予測されたパラメ―タであるモデルパラメ―タ２６は次の画像特徴抽出部２２に送られ、その各モデル特徴を制限された予測パラメ―タを利用しモデル特徴に対応し得る画像特徴を抽出する。
【０１７６】
その際、モデルデ―タ格納部２０に２枚の異なった時刻の画像を入力し、画像特徴抽出部２２において、その２枚の画像デ―タから差分画像を生成し、差分画像で差異が現れた部分の輪郭や領域から生成される画像特徴のうち、モデル特徴と対応するものに対してその画像特徴を選択する。
【０１７７】
この選択された画像特徴を規定するパラメ―タである画像パラメ―タ２７を算出する。そして、モデル特徴予測部２１で算出されたモデルパラメ―タ２６と画像特徴抽出部２２で算出された画像パラメ―タ２７を利用して、特徴対応探索部２３は上記画像パラメ―タ２７とモデルパラメ―タ２６を利用してモデル特徴と画像特徴間の最適な対応を探索すると同時に、その対応関係から移動物体の位置姿勢を規定する位置姿勢パラメ―タ２９を算出する。
【０１７８】
この結果である更新された対象物の位置姿勢パラメ―タは、位置姿勢予測部２４に送出される。そして、位置姿勢予測部２４では、次に移動物体が撮影される時刻における移動物体の位置姿勢を予測しモデル特徴予測部２１に送出する。
【０１７９】
次に画像特徴抽出部２２で行われる処理を具体的に説明する。
【０１８０】
画像特徴抽出部２２では、モデル特徴予測部２１で選択されたモデル特徴に対応する画像特徴をカメラ画像の中から抽出することが行われる。ここでは、Ｐ１  ，Ｐ２  を端点とする直線成分Ｐ１  ，Ｐ２  の抽出を例として説明する。
【０１８１】
モデル特徴予測部２１で作成されたある直線に関する情報は、
（１）直線成分の端点のカメラ画像内での画像探索限定領域
（２）直線成分のハフ変換パラメ―タのハフ空間探索限定領域
の２点である。
【０１８２】
第２の実施例における画像特徴抽出部２２では、先ず少なくとも２枚の画像デ―タから差分画像を生成し、差分画像で差異が現れた部分の輪郭や領域から上記（１），（２）の条件を満たす画像特徴候補を抽出することにより、特徴対応探索部が必要とする画像特徴を準備するものである。
【０１８３】
以下、画像特徴抽出部２２で行われる処理について、モデル特徴が線分要素の場合を例にして説明する。勿論、方法は別種類のモデル特徴についても応用可能なことは明らかである。画像特徴抽出部２２では以下のステップをとる。
【０１８４】
（１）画像格納部３から撮影時刻の異質なる２枚の画像を画像特徴抽出部２２に入力する。このうち少なくとも１枚の画像は、該当時刻に関する画像とする。
【０１８５】
（２）この画像特徴抽出部２２において上記２枚の画像からその差分画像を生成する。その差分画像はある閾値において２値化される。
【０１８６】
ここで、図１６は差分画像を作成する様子を表したものである。この図１６において、画像２００から画像２０１の差分をとり、画像２０２を作成する。このために図中の画像２００と画像２０１の２枚の画像を画像格納部３から画像特徴抽出部２２に入力する。この２枚の画像２００、２０１から差分画像である画像２０２を生成する。画像２０２では８ビットの濃淡値を持つ場合、その閾値を０から２５５の間の適当なしきい値を利用して２値化画像に変換する。
【０１８７】
変換された画像は図１６の画像２０２に示すように０又は１の値となる。ここで差がしきい値より大きかった部分は黒（１）で表されており、しきい値以下であった部分は白（０）で表されている。
【０１８８】
（３）２値化された画像２０２から対象物の輪郭に対応するエッジ部分を抽出する。エッジ抽出方法は画像２０２において３×３画素からなるマスクを走査し、３×３画素の中に１画素でも濃度（０，１）が異なった画素を含むような中心画素をエッジ成分として画像２１１に登録することによる。こうしてエッジ画素として登録された画像２１１を細線化することで、輪郭成分からなる画像２１２を生成する。
【０１８９】
（４）先に第１の実施例に示した各モデル特徴の画像探索規定領域とハフ空間探索限定領域を利用して、上記の画像２１２からモデル線分に対応可能な画像特徴線分候補を抽出する。これを実現する方法としては、モデル特徴パラメ―タ予測値の期待値と誤差分散共分散行列が作り出す画像探索限定領域内にある輪郭成分について、その輪郭を追跡することにより行う。この追跡に関しては、ある一定間隔ごとの輪郭上の点を利用して、その輪郭の接線の傾きのなす角度を求め、その角度が限定されたハフ空間内にあれば、画像特徴候補となるエッジ点として登録する。以下、この処理を輪郭線分を追跡しながら施し、そうした点がある一定以上の長さにわたり、連続しているときには、その連続した線分領域を画像特徴候補として登録することを行なう方法である。図１６において、線分２０３，２０４，…，２１０はこうした画像特徴を表したものである。
【０１９０】
（５）こうして抽出された画像特徴線分について各々のハフパラメ―タｑ＝（ρ，γ）を求める。更に、このハフパラメ―タ測定値ｑに関連する誤差成分の推定誤差共分散行列を付加し、これらの組を画像パラメ―タとする。
【０１９１】
このようにして、各モデル特徴について、画像特徴候補が抽出され、画像パラメ―タが算出される。第１の実施例の場合と異なり、ハフパラメ―タ空間上でヒストグラムを生成する必要がなくなる為、処理の高速化を実現できる。
【０１９２】
即ち、抽出された画像特徴候補に関する画像パラメ―タ２７は特徴対応探索部２３に送出される。第１の実施例と同様に、特徴対応探索部２３でモデル特徴との最適な対応が探索され、その結果から対象物の位置姿勢パラメ―タの予測値が更新される。以後の処理は第１の実施例の場合と同様であるので説明を省略する。
【０１９３】
以上説明したように、第２の実施例に係る移動物体追跡装置では、モデル特徴に対応する可能性のある画像特徴を差分画像内から抽出することにより、請求項１に記載の安定に移動物体を追跡する効果をさらに増加させることができる。即ち、本移動物体追跡装置の処理部にある画像特徴抽出部の計算量が減少すると共に、確実に画像特徴を抽出できるので、高速にかつ安定に移動物体を追跡することができる。
【０１９４】
次に本発明の第３の実施例に係る移動物体追跡装置について説明する。尚、第３の実施例における実現可能な装置の概観は第１実施例と同様である為、その図示と説明を省略する。
【０１９５】
第３の実施例で扱う移動物体は、第１の実施例で扱う物体を更に拡張したものである。即ち、第１実施例で扱った物体では、全体が剛体として扱われていたのであるが、第３の実施例で扱う物体は移動物体が部分的に剛体な部材から成り立っており、それらの結合が変化するものである。
【０１９６】
ここでは、図１７に示すロボットのグリッパ―形状をした移動物体の場合を考える。この図１７に示されるように、移動物体は、剛体３００、剛体３０１、剛体３０２から成り、剛体３００に対して剛体３０１と剛体３０２は、それぞれｄ／２と−ｄ／２だけスライドするように構成されている。すなわち、剛体３０１と剛体３０２の位置姿勢パラメ―タは、剛体３００の位置姿勢パラメ―タと剛体間の結合関係を表すパラメ―タｄ（３０３）により決定することができる。
【０１９７】
このため、対象物の移動をパラメ―タにより表現するには、剛体３００の位置姿勢パラメ―タｐ＝（ｐｘ  ，ｐｙ  ，ｐｚ  ；φｘ  ，φｙ  ，φｚ  ）と、剛体３００から剛体３０１、剛体３０２への相対距離を規定するパラメ―タｄ（３０３）の７個のパラメ―タをもってすれば充分である。
【０１９８】
このように、対象物が剛体のパ―ツから構成される場合には１個の基準となる剛体パ―ツの位置姿勢パラメ―タｐ＝（ｐｘ  ，ｐｙ  ，ｐｚ  ；φｘ  ，φｙ  ，φｚ  ）と、この基準とした剛体パ―ツから別の剛体パ―ツへの結合関係を表すパラメ―タ群ｄ＝（ｄ１  ，ｄ２  ，…，ｄｍ  ）を利用して新たなパラメ―タｐｃ＝（ｐ，ｑ）＝（ｐｘ  ，ｐｙ  ，ｐｚ  ；φｘ  ，φｙ  ，φｚ  ；ｄ１  ，ｄ２  ，…，ｄｍ  ）を定義することにより、新たなパラメ―タｐｃをもって、剛体全体の位置姿勢を決定することができる。以下、このよう新たなパラメ―タｐｃのことを一般化位置姿勢パラメ―タと称することにする。
【０１９９】
第３の実施例は、第１実施例とは異なる移動物体の一般化位置姿勢パラメ―タを設定することを特徴とする。また、第３の実施例における画像処理部４での作用又は構成は移動物体の位置姿勢パラメ―タに関して新たなパラメ―タが追加されているだけなので、第１実施例におけるモデルデ―タ格納部２０においてどのようなパラメ―タが追加されたかを例を挙げて説明するのみとする。他の画像処理部４の作用と構成は第１実施例と同様である為、その図示と説明を省略する。モデルデ―タ格納部２０では、基本要素となる剛体パ―ツを各々別々に第１実施例で示されるようなモデルデ―タとして格納してある。即ち、各剛体パ―ツには基準となる原点とその姿勢に基づき、その原点からの相対的座標をもってモデル特徴が定義されている。
【０２００】
例えば図１８の剛体３０１は、その原点がＰ０  （ｘ０  ，ｙ０  ，ｚ０  ）（３０４）に設定されており、第１の実施例と同様に、面情報、稜線の情報、頂点の情報によって記述されるのである。
【０２０１】
モデル特徴予測部２１では、上記の一般化位置姿勢パラメ―タにより、可視のモデル特徴を選択することかできる。これを実現する方法としては、一般化位置姿勢パラメ―タの予測期待値を利用して、世界座標系における各パ―ツの原点の位置姿勢を算出し、続いて、各剛体が持つモデル特徴の世界座標における位置を算出する。このようにすることで、対象物全体の全モデル特徴の世界座標における位置を算出することがきる。この後は、第１の実施例のモデル特徴予測部２１が行ったのと同様に、モデル特徴のうち可視であるモデル特徴の選択とその画像探索限定領域とハフ空間探索限定領域を抽出することができる。
【０２０２】
画像特徴抽出部２２においては、第１の実施施例の場合と等価な処理が行われるので、ここではその説明を省略する。
【０２０３】
そして、この画像特徴抽出部２２で抽出された画像特徴候補とモデル特徴の間の対応が探索される。この対応探索において、その方法は第１の実施例と同様である。異なる点は位置姿勢パラメ―タだけを推定するのではなく、一般化位置姿勢パラメ―タｐｃ  を推定する必要があることである。
【０２０４】
これを行うためには、モデル特徴ｓと画像特徴ｒと一般化位置姿勢パラメ―タｐｃ  の間の非線形制約式、
ｆ（ｓ，ｒ，ｐｃ  ）＝０
を構築し、非線形制約式とカルマンフィルタを利用して、一般化位置姿勢パラメ―タの予測値の更新を行ってゆけばよい。この方法では、一般化位置姿勢パラメ―タの次元が６以上である点が異なる点である以外は、第１の実施例と同様であるので説明は省略する。
【０２０５】
以上説明したように、第３の実施例に係る移動物体追跡装置では、各パ―ツ毎に位置姿勢パラメ―タを追跡する必要がなくなり、処理の高速化を図ることができる。また、剛体パ―ツ間の制約関係がパラメ―タ推定中いつも満たされているので、安定した位置姿勢推定が可能となり、移動物体追跡を安定化させることができる。
【０２０６】
次に本発明の第４実施例に係る移動物体追跡装置について説明する。
【０２０７】
第４の実施例における移動物体追跡装置の構成は第１の実施例と同様であるため、その図示と説明を省略する。また、該装置の概観における画像処理部４の各部の構成も同様に第１実施例と同様であるため、その図示と説明は省略する。
【０２０８】
第４の実施例では、第１実施例に対してモデル特徴予測部２１と特徴対応探索部２３に多少の異なりがある。この異なった手段により、第１実施例よりも更に効果のある、高速且つ安定な対象物の追跡装置を提案する。
【０２０９】
モデル特徴予測部２１における第１実施例と異なる点とは、可視と予測されるモデル特徴線分に関して画像特徴と対応が得られる可能性の高いモデル特徴に優先順位を付け、この優先順位に基づいて特徴対応探索部２３でモデル特徴と画像特徴を対応探索を行う。この可視と予測されるモデル特徴の優先順位をつけるにあたっては、モデル特徴を優先順位別のグル―プに分類する方法を提案する。
【０２１０】
モデル特徴予測部２１において、可視と予測されるモデル特徴を周辺に類似したモデル特徴があるか否かによりグル―プ化し、類似したモデル特徴がないグル―プ内のモデル特徴を優先的に処理することにより、特徴対応探索部２３が安定的に最適の対応が探索できるようにしたことに特徴がある。
【０２１１】
第１実施例と同様の画像処理部４では、対象物である移動物体の３次元モデルデ―タを格納するモデルデ―タ格納部２０とモデル特徴が画像内でとり得るパラメ―タの予測をするモデル特徴予測部２１、画像特徴を抽出する画像特徴抽出部２２、モデル特徴と画像特徴との対応の探索を行う特徴対応探索部２３、対象物の位置姿勢パラメ―タを予測する位置姿勢予測部２４とで構成される。
【０２１２】
第４の実施例ではモデル特徴として線分特徴を考える。モデル特徴予測部２１において可視と予測されたモデル特徴に対して、そのモデル特徴である線分特徴を調査し、その調査においてそれぞれのモデル特徴をグル―プ化する。
【０２１３】
そして、そのグル―プ化されたモデル特徴は、続いてモデル特徴と画像特徴との対応探索のための優先順位を付け、その優先順位において特徴対応探索部２３において対応探索を実行する。
【０２１４】
以下、こうしたグル―プ化が行われるモデル特徴予測部２１と、このグル―プ化により特徴対応探索が実行される特徴対応探索部２３での処理について説明する。モデル特徴予測部２１において、カメラ画像上で可視と予測されたモデル特徴のモデルパラメ―タの画像探索限定領域とハフ空間探索限定領域を算出する部は第１実施例と同様であるため、その説明を省略する。この算出された可視と予測されるモデル特徴線分をある基準に従ってグル―プに分類する。そして、この分類されたグル―プの優先順位付けを行う。
【０２１５】
このグル―プ分類方法と優先順位を付ける方法について、図１９を参照して説明する。この図１９中には移動対象物の可視モデル特徴線分を４０１から４２６までの記号で示してある。各可視モデル特徴線分の位置や傾き、長さは全て上記モデル特徴予測部２１により算出することが可能な為、その情報を利用する。
【０２１６】
優先順位を決定するためのグル―プ化に関しては、第４の実施例では、以下の２種のグル―プ化の方法を説明するが、どちらの方法でも、その効果は同様である。第１グル―プ化の方法は以下の通りである。
【０２１７】
先ず、第１グル―プ化方法について説明する。
【０２１８】
（１）異なる２個のモデル特徴に関して、それらの画像探索限定領域とハフ探索限定領域の両方に共通部分がある組は、同一のグル―プに加える。そして、こうして生成されたグル―プ内で、画像内で予測される線分の長さが大きい順に並べ替える。例えば図１９について、そうしたグル―プ化を行うと、｛４０６，４１６，４１４｝，｛４０７，４１７，４１５，４０８｝，｛４１０，４０９，４０１｝，｛４１２，４１１，４０５｝，｛４０４，４１３｝，｛４２２，４２１｝，｛４２３，４２５，４２０，４１９｝が一つのクル―プにまとめられる。また、｛４０２｝，｛４０３｝，｛４１８｝，｛４２４｝，｛４２６｝は周辺に類似したモデル線分が存在しないため、単独で一つのグル―プを生成する。
【０２１９】
（２）上記で決定された各グル―プに関して、次の評価尺度を用いて優先順位を付ける。即ち、グル―プ内のモデル特徴数が小さいグル―プに高い優先順位を与える。そして、モデル特徴数が同一グル―プにおいては、先頭にある最も長いモデル特徴を比較し、その長さが大きい方のグル―プに高い優先順位を与える。
【０２２０】
以上の操作により、モデル特徴はグル―プ化され、且つ各グル―プには優先順位が付けられる。例えば図１９によれば｛４０２｝，｛４０３｝，｛４２６｝の順位が付けられ、次に｛４１３，４０４｝，｛４１２，４１１，４０５｝，｛４１０，４０９，４０１｝，｛４０６，４１６，４１４｝，｛４０７，４１７，４１５，４０８｝，｛４２３，４２５，４２０，４１９｝，｛４２４，４２２，４２１，４１８｝のグル―プが続くような優先順位の付け方になる。
【０２２１】
（３）こうしてグル―プ化と優先順位付けが行われたモデル特徴が、その優先順位を保ったまま画像特徴抽出部と特徴対応探索部に送出される。
【０２２２】
例えば上記の例では、｛４０２，４０３，４２６，４１３，４０４，４１２，４１１，４０５，４１０，４０９，４０１，４０６，４１６，４１４，４０７，４１７，４１５，４０８，４２３，４２５，４２０，４１９，４２４，４２２，４２１，４１８｝という具合になる。
【０２２３】
このような優先順位を付けることにより、高い優先順位のモデル特徴に対応する画像特徴候補の数は低い優先順位のモデル特徴に比べて小さいことが予想されること、及び長さの大きいモデル特徴の方が画像内から抽出され易いことの２点が満足されることとなる。
【０２２４】
次に第２のグル―プ化方法について説明する。
【０２２５】
図１９で示されているような移動対象物において、直線成分をモデル特徴として扱っていた。こうしたモデル特徴では、３次元的に平行な直線群が多く存在することが判る。特徴対応探索部２３において、モデル特徴に対応する画像特徴を探索する際に、対象物の位置姿勢パラメ―タを更新しながら、その誤差分散量を減少させてゆくには、各段階で幾何学的な見地から有効なモデル特徴の選択が重要となる。例えば、同一平面上にある直線成分だけを利用して対象物の位置姿勢パラメ―タの予測値を更新しようとしても、モデル特徴が作る空間が縮退しているので、対象物の位置姿勢パラメ―タの更新が必ずしも順調に行われないとう問題点がある。こうした問題が生じないように、第４の実施例の第２のモデル特徴のグル―プ化では、モデル特徴が張る空間も分類基準に入れるのである。
【０２２６】
そして、このグル―プ化の基準は以下のとおりである。
【０２２７】
（１）３次元遷移座標で互いに平行であるモデル特徴を同一のグル―プとする。
例えば、図１９においては、
グル―プ１：｛４０１，４０４，４０５，４０９，４１０，４１１，４１２，４１３｝
グル―プ２：｛４０２，４０６，４１４，４１６，４１８，４２１，４２２，４２４，４２６｝
グル―プ３：｛４０３，４０７，４０８，４１５，４１７，４１９，４２０，４２３，４２５｝
がこれらのグル―プに対応する。これらを大グル―プと称することにする。
【０２２８】
（２）（１）で生成された各大グル―プの中のモデル特徴において、画像探索限定範囲とハフ空間探索限定範囲の両方が共通部分を持つものを更にグル―プ化する。このようにしてグル―プ化されたグル―プ内で、要素数の小さい順に且つ画像内での長さの大きい順に整列させる。大グル―プ内のグル―プのことを小グル―プと称する。
【０２２９】
大グル―プ１：｛｛４１３，４０４｝，｛４１２，４１１，４０５｝，｛４１０，４０９，４０１｝｝
大グル―プ２：｛｛４０２｝，｛４２６｝，｛４０６，４１４，４１６｝，｛４２４，４２２，４２１，４１８｝｝
大グル―プ３：｛｛４０３｝，｛４０７，４１７｝，｛４１５，４０８｝，｛４２３，４２５，４２０，４１９｝｝
（３）（２）で求められた大グル―プ内の先頭の小クル―プを比較し、要素数の少ない小グル―プを優先する（条件１）、先頭が最も長いモデル特徴を含んだ小グル―プを優先する（条件２）といった条件のもとで、小グル―プの優先順位を付ける。先の例では、
｛４０２，４０３，４１３，４０４，４２６，４０７，４１７，４１２，４１１，４０５，４１５，４０８，４０６，４１４，４１６，４１０，４０９，４０１，４２３，４２５，４２０，４２４，４２２，４２１，４１８｝
の順になる。
【０２３０】
このような処理にすることにより、特徴対応探索部２３において、対象物の位置姿勢パラメ―タの更新を行う際、幾何学的な縮退等が起こる可能性が減少し、効果的に位置姿勢パラメ―タの誤差分散の減少を達成することができる。従って、少数のモデル特徴が画像特徴の組み合わせにより、対象物の位置姿勢パラメ―タの誤差分散の絞り込みができるようになり、処理の高速化が実現できる。
【０２３１】
以上、２つのグル―プ化の例を挙げて、モデル特徴予測部２１における処理を説明してきたが、グル―プ化によってモデル特徴に優先順位をけることにより、モデル特徴の個数を制限することもできる。
【０２３２】
即ち、モデル特徴予測部２１において、ある一定値より多数のモデル特徴が可視であると判断できたときには、第４の実施例で処理すべきモデル特徴し優先順位が高い順に可視モデル特徴を選択することができる。これにより、画像特徴抽出部２２や特徴対応探索部２３で、常に一定量の処理だけをするように制御できる。
【０２３３】
ところで、画像特徴抽出部２２により抽出された画像特徴候補は、各モデル特徴について複数個存在する可能性がある。特徴対応探索部２３は各モデル特徴について最適な画像特徴を選択することを行うものである。
【０２３４】
第４の実施例において、各モデル特徴について最適な画像特徴を選択する手段は第１実施例と同様であるが、この各モデル特徴について上記優先順位の付けられたモデル特徴を優先して、最適な画像特徴を選択することを特徴とする特徴対応探索部２３を特色とする構成になっている。つまり、上記モデル特徴予測部２１において各々のモデル特徴について優先順位が付けられる。この優先順位とは各モデル特徴について最適な画像特徴を選択する特徴対応探索部２３において、モデル特徴と画像特徴の対応の探索を実行する際、上記優先順位のついたモデル特徴についての対応探索を優先的に実行することを意味する。
【０２３５】
ここで、図２０は特徴対応探索部２３における手続きを示す図である。
【０２３６】
この図２０では、手続き「対応探索」の部分は、第１の実施例と同様であるので省略してある。手続き「ｍａｔｃｈ  」において、第１の実施例と異なる部分はステップＳ１０２の処理である。
【０２３７】
図１３で示される第１の実施例のステップＳ１０２では、集合Ｑに含まれる全てのモデル特徴ｓについて、対応可能性のある画像特徴候補の数を算出して、その中から最も少ない候補数のモデル特徴を選択していた。
【０２３８】
第４の実施例では、ステップＳ４００において、予め定められたモデル特徴の優先順位に従って最も優先順位の高いモデル特徴ｓを選択する。続いて、第１の実施例のステップＳ３０５と同様に、ステップＳ４０１において、そのｓに対応する可能性のある画像特徴を順序集合Ｒｓ  に格納することになる。このようにしてモデル特徴ｓと画像特徴候補集合Ｒｓ  が決定された後、手続き「ｍａｔｃｈ  」のステップＳ１０３へ移行する。
【０２３９】
従って、第１の実施例の場合と異なり、残りのモデル特徴全てについて、画像特徴候補の対応の検証をする必要がなくなる点、及び優先順位の高いモデル特徴については、そのモデル特徴の画像探索制限領域内とハフ空間探索制限領域内に類似した画像特徴が存在する可能性がないため、抽出される画像特徴候補の数は１以下であることが期待できる点で対応探索が容易になる可能性が高くなる。
【０２４０】
以上説明したように、第４の実施例に係る移動物体追跡装置では、モデル特徴と画像特徴の対応探索を実行する際に、各モデル特徴の中でも対応関係の可能性の高いモデル特徴を優先して対応探索をすることにより、特徴対応探索部２３の対応の検索処理時間を短縮することができる上、対応の信頼性が高くなる。このため移動対象物のトラッキングを行う際、高速且つ安定に追跡することを可能にする。
【０２４１】
次に第５実施例に係る移動物体追跡装置について説明する。
【０２４２】
第５の実施例に係る移動物体追跡装置においては、対象物の形状が判っているものと仮定する。そして、第５の実施例に係る移動物体追跡装置の構成は第１実施例と同様である為、その図示と説明を省略する。さらに、画像処理部４におけるモデルデ―タ格納部２０、モデル特徴抽出部２１、画像特徴抽出部２２、特徴対応探索部２３、位置姿勢予測部２４の基本構成は第１実施例と同様であるのでその図示と説明を省略する。
【０２４３】
第５の実施例の特徴は、対象物の位置姿勢パラメ―タを予測する位置姿勢予測部２４から得られる次の時刻の対象物の位置姿勢パラメ―タの推定値を利用して、カメラコントロ―ル部５でズ―ムフォ―カスなどの画像の拡大縮小機能を作用させ、画像内の対象物の大きさを制御し、位置姿勢パラメ―タの推定値により、対象物とカメラとの距離を算出して、カメラの対象物への焦点距離をカメラコントロ―ラ部５で制御することにある。
【０２４４】
図２１は第５の実施例の説明で使用される画像処理部４とカメラコントロ―ル部５の内容を示したものである。第１実施例との違いは、モデル特徴予測部２１が生成するモデルデ―タがカメラコントロ―ル部５に送出される点にある。
【０２４５】
先ず前者のカメラコントロ―ル部５で画像内の対象物の大きさを制御する方法について詳しく説明する。
【０２４６】
第１の例では、モデル特徴予測部２１が次の時刻の可視のモデル特徴の画像内の位置を予測したモデルデ―タ２６を利用することにより、カメラコントロ―ル部５では、それら全てのモデル特徴を包み込む最小円を計算する。
【０２４７】
この最小円の計算の方法は図２２を参照して説明する。モデル特徴予測部２１は、画像内に出現すると予測される可視モデル特徴の端点を算出する。カメラコントロ―ル部５では、この算出された画像内に出現すると予測されるモデル特徴の端点の画像内座標を受け取り、この全ての端点の座標内平均値を計算する。
【０２４８】
例えばｎ個の端点の座標が（ｕ１  ，ｖ１  ），（ｕ２  ，ｖ２  ），…，（ｕｎ  ，ｖｎ  ）とすると、この端点の座標内の平均座標値は（（ｕ１  ＋ｕ２  ＋…＋ｕｎ  ）／ｎ，（ｖ１  ＋ｖ２  ＋…＋ｖｎ  ）／ｎ）となる。この座標内の平均座標値を対象物を包み込む最小円の中心点とする。
【０２４９】
この図２２において、中心点５００はこの点を示す。この中心点から一番離れている端点を包み込む最小円の半径とする。つまり、図２２中の端点５０１（ｕ１  ，ｖ１  ）がこの中心点から最も離れている端点として、その中心点と端点との距離をこの最小円の半径としている。この作用により、次時刻で可視と予測されるモデル特徴の全てを包み込む最小円を設定することができる。
【０２５０】
この最小円を利用して、画像内の対象物をカメラコントロ―ル部５では、どの程度のズ―ムフォ―カスをするのかの制御信号を算出し、その制御信号を画像入力部１に送出する。具体的には、最小円の半径がある値より小さくなった場合は、この最小円の半径が画像内でほぼ一定になるように拡大するズ―ムフォ―カス信号を生成する。また、最小円の半径がある値より大きくなった場合は、この最小円の半径が画像内でほぼ一定になるように縮小するズ―ムフォ―カス信号を生成する。この最小円の利用方法も当然、各種の変形、変更が可能である。
【０２５１】
例えば、この最小円の面積がある閾値より、小さくなった場合に限りズ―ムフォ―カスをかけるように制御信号を生成することが考えられる。また、同様に、この最小円がある閾値より大きくなったときに限りズ―ムフォ―カスをかけて、最小円の半径を小さくして、ほぼ一定値になるようにしてもよい。
【０２５２】
こうして、カメラコントロ―ル部５によって算出されたこの最小円の情報でカメラコントロ―ル部により拡大するか縮小するかを決定し、その決定により、カメラコントロ―ル部のズ―ムフォ―カス機能を働かせることにより、対象物の画像内での大きさをおおむね一定に保つことができる。
【０２５３】
一方、第２の例では、対象物の位置姿勢パラメ―タを予測する位置姿勢予測部２４から得られる次の時刻の対象物の位置姿勢パラメ―タの推定値を利用することにより、カメラコントロ―ル部５では、カメラから対象物までの距離を算出しその算出値に基づいて、カメラフォ―カス位置を変更することを特徴とする。
【０２５４】
このカメラコントロ―ル部５でのカメラから対象物までの距離の算出方法とその距離情報からカメラフォ―カス位置を更新する方法について以下に詳述する。いま、世界座標における時刻ｔにおけるカメラ位置をｃ（ｔ）  とし、時刻ｔにおける移動物体の位置姿勢パラメ―タのうち、移動物体の位置を表すパラメ―タをｐ（ｔ）  とすれば、移動物体からカメラまでのベクトルはｐ（ｔ）  −ｃ（ｔ）  によって示すことができる。尚、カメラの光軸を表す世界座標系でのベクトルａ（ｔ）  で表すものとする。但し、ａ（ｔ）  の大きさは１とする。このとき物体からカメラまでの距離はベクトルｐ（ｔ）  −ｃ（ｔ）  とベクトルａ（ｔ）  の内積の絶対値、
｜（ｐ（ｔ）  −ｃ（ｔ）  ，ａ（ｔ）  ）｜
により示すことができる。この距離に応じてカメラコントロ―ル部５のフォ―カス機能がカメラを常に対象物に焦点を合わせるように制御信号を画像入力部１に送出する。カメラに取りつけられているカメラフォ―カス機能は従来カメラに取り付けられているフォ―カス機能で充分である。これらの作用により、対象物の位置姿勢に応じて、ぼけの少ない画像を撮影することができる。
【０２５５】
以上説明したように第５の実施例によれば、対象物の画像内での大きさをおおむね一定に保つことができるので、画像内のモデル特徴を抽出することが容易になり、認識の安定化を図ることや、抽出すべき可視モデル特徴の数をある一定数以上に観察できるので、遮蔽や陰影などの影響があっても、対象物の位置姿勢パラメ―タを安定に推定することができる。
【０２５６】
さらに、第５の実施例の第２の例の作用により、カメラから対象物への焦点距離を対象物が移動することでカメラコントロ―ル部５を制御することによって、対象物の位置姿勢に応じてぼけの少ない画像を撮影することができるので、ぼけによる画像特徴の抽出の困難さを解消することができ、安定した移動物体の追跡をするなどの特徴がある。
【０２５７】
次に第６の実施例に係る移動物体追跡装置ついて説明する。
【０２５８】
第６実施例は、前の時刻の画像特徴又は対応探索の結果を利用して現時刻の対応探索の処理時間を短縮したり、対応探索の信頼性を向上させるものである。
【０２５９】
この第６の実施例では、前の時刻の画像の濃淡情報を利用して対応探索時間の短縮を実現する方法（第１の例）、前の時刻の画像の濃淡情報を利用して対応探索の信頼性を向上させる方法（第２の例）、前の時刻のモデル特徴と画像特徴の対応探索結果を利用して現時刻の対応探索の処理時間を短縮する方法（第３の例）、前の時刻の更新された対象物の位置姿勢パラメ―タを利用して対象物の速度を計算し対応探索するモデル特徴の数を制御し対応探索処理時間を短縮する方法（第４の例）の４つの例を挙げて説明する。
【０２６０】
尚、第６の実施例における装置の構成は、第１実施例と同様であるため、その図示と説明を省略する（図１を参照）。また、モデルデ―タ格納部２０、モデル特徴予測部２１、位置姿勢予測段２４、画像特徴抽出部２２、特徴対応探索部２３の基本的作用は、第１実施例や第４実施例と同様である為、その説明を簡略化する。この第６の実施例の特徴は前の時刻の画像特徴（濃淡値）、又は対応探索の結果をそれぞれの情報格納部に格納しておき、その情報格納部に格納されていた前の時刻の種々の情報を利用して、新しい作用と効果を生み出しているため、それぞれの画像処理部の構成要素に情報格納部が設けられている。
【０２６１】
その為、第１実施例とは情報の流れなどが異なるが、以下、画像処理部４の各構成要素を４つの例により説明し、その情報の流れを詳述する。
【０２６２】
先ず前の時刻の濃淡情報を利用する第１の例について説明する。
【０２６３】
第６の実施例の第１の例における前の時刻の濃淡情報を利用して対応探索を安定に作動させる方法の画像処理部は図２３に示すような構成要素に基づいて実行される。この画像処理部４は対象物である移動物体の３次元モデルデ―タ２５を格納するモデルデ―タ格納部２０とモデル特徴が画像内でとり得るパラメ―タの予測をするモデル特徴予測部２１、画像特徴を抽出する画像特徴抽出部２２、モデル特徴と画像特徴との対応の検索を行う特徴対応探索部２３、対象物と位置姿勢パラメ―タを予測する位置姿勢予測部２４、更に特徴対応探索部２３により得られたモデル特徴と画像特徴の対応関係が成立したモデル特徴に関して該モデル特徴の左右または上下近傍の画像の濃淡値を格納する前時刻対応デ―タ格納部３０とで構成される。
【０２６４】
この図２３を参照して情報の流れを説明すると、第１実施例と同様にモデル特徴予測部２１はカメラコントロ―ル部５からのカメラ姿勢デ―タ１０と位置姿勢予測パラメ―タ２８と、モデルデ―タ格納部２０からの３次元モデルデ―タ２５とを利用して、その対象物を規定する特徴がカメラ画像でとり得るパラメ―タとそのパラメ―タがどのように画像内で制限されるかを予測する。
【０２６５】
こうして予測されたパラメ―タであるモデルパラメ―タ２６は次の画像特徴抽出部２２ではモデル特徴に対応し得る画像特徴を抽出し、その画像特徴を規定するパラメ―タである画像パラメ―タ２７を算出する。
【０２６６】
この２つのパラメ―タを利用して、特徴対応探索部２３は所定の評価式を利用しながら、モデル特徴と画像特徴間の最適な対応を探索すると同時に、その対応関係から移動物体の位置姿勢を規定する位置姿勢パラメ―タ２９を算出する。
【０２６７】
ここまでは第１の実施例による処理と同様であるが、第６の実施例の第１の例では、この最適なモデル特徴と画像特徴の対応探索の結果、画像デ―タからモデル特徴線分の近傍の濃淡値を前時刻対応デ―タ格納部３０に格納する。つまり、特徴対応探索部２３で得られたモデル特徴の近傍の濃淡情報３２を画像デ―タから前時刻対応デ―タ格納部３０に格納する。
【０２６８】
この前時刻対応デ―タ格納部３０に格納された濃淡情報３２は、次の時刻でのモデル特徴と画像特徴の対応探索を行う際に、その対応が正確に対応しているかどうかについて新たな検証条件として利用する。このように濃淡情報を利用する理由は、ある時刻ｔ１  と近接する時刻ｔ２  において、同一のモデル特徴に対応する画像特徴付近の濃淡値は時刻ｔ１  と時刻ｔ２  の差が十分小さければほぼ同様であるということに基づくものである。このような理由のもとで、上記の例を実現するために、画像特徴抽出部２２は画像特徴のハフパラメ―タの測定値と推定誤差共分散行列の他に、その画像特徴の近傍の濃淡情報も算出する。
【０２６９】
図２４は、この様子を表したものである。即ち、この図２４において、時刻ｔ１  に撮影された対象物６００、抽出された画像特徴線分６０２、抽出された画像特徴６０２を境界線として分離される２個の領域において画像特徴６０２の近傍領域を考える。これらには、左（上）近傍領域６０４と右（下）近傍領域６０５がある。画像特徴抽出部２２では、これら２個の近傍内の濃淡情報を抽出する。濃淡情報としては以下の数種を考えることができ、これらのいずれの情報を使うかは対象物の種類などに依存する。
【０２７０】
（１）近傍内の平均濃度値
（２）近傍内の平均濃度値と分散値
（３）カラ―画像を扱うときには色情報など
さて、このように抽出された濃淡情報は、特徴対応探索部２３に送出される。
そして、特徴対応探索部２３では、モデル特徴予測部２１で可視と予測されたモデル特徴と、画像特徴抽出部２２で探索された画像特徴とが照合される。
【０２７１】
いま、時刻ｔ１  において、この特徴対応探索部２３でモデル特徴ｍ１  と画像特徴ｒ１  の対応が正しいと照合されたとする。このとき、特徴対応探索部２３は、モデル特徴ｍ１  の近傍条件を調査し、その近傍の一方が対象物の面内にある場合には、その面に対応する画像特徴ｒ１  の濃淡情報ｎ１  を含めて前時刻対応デ―タ格納部３０に送出する。一方、両方とも対象物の面内にあるときには、その両面に対応する画像特徴ｒ１  の濃淡情報ｎ１  を前時刻対応デ―タ格納部に送出する。
次の時刻ｔ２  において、前記時刻対応デ―タ格納部に格納されたモデル特徴ｍ１  に関する濃淡情報ｎ１  が特徴対応探索部２３に送出される。モデル特徴ｍ１  がモデル特徴予測部２３が生成するモデルデ―タ内に含まれている場合には、即ちモデル特徴ｍ１  が時刻ｔ２  においても可視の場合には、特徴対応探索部２３は第１の実施例で述べられる処理を実行する前に、画像特徴抽出部２２が抽出した画像特徴候補の確認を行う。具体的には、モデル特徴ｍ１  の各画像特徴候補ｒの濃淡情報ｎについて、
（１）濃淡情報が平均濃淡値で示されるならば、前時刻対応デ―タ格納部３０が送出したモデル特徴ｍ１  の平均濃淡値ｎ１  と画像特徴候補ｒの平均濃淡値ｎとの差（ｎ−ｎ１  ）を計算する。そして、この濃度差の絶対値がしきい値より大きければ、画像特徴候補ｒは、モデル特徴ｍ１  の候補から除外する。
【０２７２】
（２）濃淡情報が平均濃淡値と分散量で示されるならば、前時刻対応デ―タ格納部３０が送出したモデル特徴ｍ１  の平均濃淡値ｎ１  と標準偏差σ１  と画像特徴候補ｒの平均濃淡値ｎと標準偏差σから、以下の値を算出する。
【０２７３】
【数３３】
0003610087.tif 000034
この値ｄがあるしきい値より大きければ、画像特徴候補ｒは、モデル特徴ｍ１  の候補から除外する。
【０２７４】
（３）濃淡情報が色情報で示されるならば、前時刻対応デ―タ格納部３０が送出したモデル特徴ｍ１  の色相ｎ１  と画像特徴候補ｒの色相ｎとの差（ｎ−ｎ１  ）を算出する。そして、この差の絶対値がしきい値より大きければ、画像特徴候補ｒは、モデル特徴ｍ１  の候補から除外する。
【０２７５】
以上の処理を施すことにより、対応探索の処理を実行する前に、対応しえない画像特徴候補を除去することができる。
【０２７６】
以上説明したように、第６の実施例の第１の例では、モデル特徴と画像特徴候補の対応探索に先立ち、対応し得ない画像特徴を予め除去できるので、対応探索処理の安定化と高速化を図ることができる。
【０２７７】
次に前の時刻の濃淡情報を利用する第２の例について説明する。
【０２７８】
第６の実施例の第２の例における前の時刻の濃淡情報を利用して対応探索を高速に且つ安定に作動させる方法の画像処理部４は、図２５に示すような構成要素に基づいて実行される。この画像処理部４は、第１の例と同様に対象物である移動物体の３次元モデルデ―タ２５を格納するモデルデ―タ格納部２０とモデル特徴が画像内でとり得るパラメ―タの予測をするモデル特徴予測部２１、画像特徴を抽出する画像特徴抽出部２２、モデル特徴と画像特徴との対応の探索を行う特徴対応探索部２３、対象物の位置姿勢パラメ―タを予測する位置姿勢予測部２４、更に特徴対応探索部２３により得られたモデル特徴と画像特徴の対応関係が成立したモデル特徴に関して、そのモデル特徴の左右（又は上下）近傍の画像の濃淡値を格納する前時刻対応デ―タ格納部３０とで構成されている。
【０２７９】
図２５を参照しながら情報の流れを説明すると、第１の例と同様に、モデル特徴予測部２１は、カメラコントロ―ル部５からのカメラ姿勢デ―タ１０と位置姿勢予測パラメ―タ２８と、モデルデ―タ格納部２０からの３次元モデルデ―タ２５を利用して、その対象物を規定する特徴がそのカメラ画像でとり得るパラメ―タとそのパラメ―タがどのように画像内で制限されるかを予測する。
【０２８０】
こうして予測されたパラメ―タであるモデルパラメ―タ２６は、次の画像特徴抽出部２２ではモデル特徴に対応し得る画像特徴を抽出し、その画像特徴を規定するパラメ―タである画像パラメ―タ２７を算出する。この２つのパラメ―タを利用して特徴対応探索部２３は所定の評価式を利用しながら、モデル特徴と画像特徴間の最適な対応を探索すると同時に、その対応関係から移動物体の位置姿勢を規定する位置姿勢パラメ―タ２９を算出する。
【０２８１】
ここまでは第１の例と同様であるが、この対応のとれたモデル特徴線分の近傍の濃淡値情報の流れが第６の実施例の第２の例は異なり、その作用により、第２の例の独特の効果を生み出す。勿論、この第２の例での濃淡情報としては、第１の例で示された濃淡情報と同様なものが送られるのでその説明は省略する。
【０２８２】
この最適なモデル特徴と画像特徴の対応探索の結果、特徴対応探索部２３で得られたモデル特徴の近傍の濃淡情報３８を画像デ―タから前時刻対応デ―タ格納部３７に格納する。そして、この前時刻対応デ―タ格納部３７に格納された濃淡情報３８は、モデル特徴予測部２１において、現時刻では上記濃淡値情報が得られたモデル特徴が可視であるかどうかを判定する。
【０２８３】
そして、そのモデル特徴が可視であると判定されたなら、次の画像特徴抽出部２２において、そのモデル特徴の推定領域に画像デ―タから算出して得られた複数の画像特徴が上記濃度情報を満足するかどうかを個々の画像特徴線分に対して調査し、上記濃度情報を満足する画像特徴だけを選択して特徴対応探索部２３でモデル特徴と対応探索を実行する。
【０２８４】
この作用によって、モデル特徴と画像特徴の対応探索を行う際、対応探索する画像特徴に対応の可能性の高い画像特徴が優先して探索される為、対応探索処理時間を短縮することができ、また安定した対応探索を実行することができる。
【０２８５】
時刻ｔ１  においてモデル特徴と画像特徴の対応探索が終了した後、各モデル特徴ｍｉ  （ｉ＝１，２，３，  …，ｎ）  に対応した画像特徴ｒｉ  の左右近傍の濃淡情報が前時刻対応デ―タ格納部３７に送出され格納される。
【０２８６】
位置姿勢予測部２４が次時刻ｔ２  における対象物の位置姿勢パラメ―タの予測値を算出したとき、モデル特徴予測部２１は時刻ｔ２  における可視モデル特徴を選択する。モデル特徴予測部２１は更に前時刻対応デ―タ格納部から前時刻で対応のとれたモデル特徴に関するデ―タと、その左右または上下近傍の濃淡情報を受け取る。
【０２８７】
そして、モデル特徴ｍｉ  が時刻ｔ１  で対応がとれ、時刻ｔ２  で可視であると予測されたときには、モデル特徴に関するモデルデ―タには、前時刻対応デ―タ格納部３７に格納されていたモデル特徴ｍｉ  の濃淡情報が画像特徴抽出部２２に転送される。
【０２８８】
画像特徴抽出部２２では、こうして濃淡情報が付加されたモデル特徴に対応する画像特徴を抽出する際、この濃淡情報を利用して画像特徴を抽出する。即ち、線分を画像探索限定領域とハフ空間探索限定領域内から抽出した後、その抽出された画像線分要素の近傍の濃淡情報を算出する。そして、その算出された濃淡情報と前時刻対応デ―タ格納部が送出したモデル特徴の濃淡情報とを比較する。
【０２８９】
この比較方法は第１の例の場合と同様である。この比較の結果、抽出された画像特徴線分がモデル特徴に対応し得ないと判定された場合には、この画像特徴線分をモデル特徴の候補とはせずに除外する。よって、特徴対応探索部２３においてモデル特徴と画像特徴の対応探索を行う前に、上記の方法により優先して探索する画像特徴線分を決定することができる。
【０２９０】
以上説明したように、第６の実施例の第２の例によれば、優先して探索する画像特徴線分を決定することができるため、対応する可能性の高い画像線分からモデル特徴と探索を開始するため、モデル特徴と画像特徴の対応探索時間を短縮することができる。また、対応する可能性の高い画像線分からモデル特徴と探索を開始する為、対応探索結果の信頼性が向上する。
【０２９１】
次に前の時刻において対応のとれたモデル線分を優先して探索する第３の例について説明する。第３の例では、前の時刻で対応がとれたモデル特徴を利用して現時刻において上記モデル特徴を優先して対応探索を行うことで、高速に且つ安定に装置を作動させる。尚、画像処理部４は、図２６に示すような構成要素に基づいて処理を実行する。
【０２９２】
この画像処理部４は、第１の例と同様に対象物である移動物体の３次元モデルデ―タを格納するモデルデ―タ格納部２０とモデル特徴が画像内でとり得るパラメ―タの予測をするモデル特徴予測部２１、画像特徴を抽出する画像特徴抽出部２２、モデル特徴と画像特徴との対応の探索を行う特徴対応探索部２３、対象物の位置姿勢パラメ―タを予測する位置姿勢予測部２４、特徴対応探索部２３により得られたモデル特徴と画像特徴の対応関係が成立してモデル特徴に関して、そのモデル特徴を格納する前時刻対応デ―タ格納部３３とで構成されている。
【０２９３】
図２６を参照して、その情報の流れを説明すると、第１の例と同様にモデル特徴予測部２１は、カメラコントロール部５からのカメラ姿勢データ１０と位置姿勢予測パラメータ２８と、モデルデータ格納部からの３次元モデルデータ２５を利用して、その対象物を規定する特徴がそのカメラ画像でとり得るパラメータとそのパラメータがどのように画像内で制限されるかを予測する。
【０２９４】
そして、予測されたパラメータであるモデルパラメータ２６は次の画像特徴抽出部２２では、モデル特徴に対応し得る画像特徴を抽出し、その画像特徴を規定するパラメータである画像パラメータ２７を算出する。この２つのパラメータを利用して、特徴対応探索部２３は、所定の評価式を利用しながら、モデル特徴と画像特徴間の最適な対応を探索すると同時に、その対応関係から移動物体の位置姿勢を規定する位置姿勢パラメータ２９を算出する。
【０２９５】
ここまでは、第２の例と同様であるが、モデル特徴と画像特徴が対応探索した結果、対応のとれたモデル特徴のデータ３４が一時的に前時刻対応データ格納部３３に格納された後にモデル特徴予測部２１に流れた後の処理の点で第２の例と異なり、その作用により、第３の例の独特の効果を生み出す。
【０２９６】
この最適なモデル特徴と画像特徴の対応探索の結果、特徴対応探索部２３で対応が確認されたモデル特徴の情報３４を前時刻対応データ格納部３３に格納する。位置姿勢予測部２４が算出した次時刻の対象物の位置姿勢パラメータの予測値を利用して、モデル特徴予測部２１は次時刻で可視と予測されるモデル特徴を選択する。続いて、モデル特徴予測部２１は、前時刻対応データ格納部３３が格納していたモデル特徴データ３４とこの可視と予想されるモデル特徴を比較し、モデル特徴を２グループに分類する。
【０２９７】
いま、前時刻対応データ格納部３３が格納しているモデル特徴の集合をＡで表し、モデル特徴予測部２１が次時刻で可視と予測したモデル特徴の集合をＢで表す。このとき第１のモデル特徴のグループを、集合Ａと集合Ｂの共通部分を、
【数３４】
0003610087.tif 000035
で示し、この第２のモデル特徴のグループを集合Ｂから集合Ａを差し引いたモデル特徴の集合Ｄ＝Ｂ−Ａで表す。この後、集合Ｃと集合Ｄ内のモデル特徴を実施例４で説明した方法で各々優先順位を付ける。そして、順序付けられた集合をＣの方を優先順位が高くなるように集合ＣとＤを結合する。
【０２９８】
こうして結合されたモデル集合の順序集合Ｅを画像特徴抽出部２２と特徴対応探索部２３に送出する。そして、特徴対応探索部２３では、第４の実施例で示された方法と同様の方法でモデル特徴と画像特徴の最適な対応が探索される。これにより、前時刻で対応できたモデル特徴が次時刻でも優先的に扱われるようになる。
【０２９９】
以上説明したように、第６の実施例の第３の例によれば、モデル特徴と画像特徴の対応探索を行う場合、対応探索する画像特徴に対応の可能性の高いモデル特徴が優先して探索されるため、対応探索処理時間を短縮することができ、また安定した対応探索を実行することができる。
【０３００】
次に対象物の移動速度に応じて抽出すべきモデル特徴の数を制御する第４の例について説明する。第４の例は、モデル特徴予測部２１が、対象物の位置姿勢推定値から算出される移動速度に応じて次の時刻で選択する抽出すべきモデル特徴の数を制御することを特徴とする。
【０３０１】
第４の例により対象物の移動速度に応じて高速に本装置を作動させる画像処理部４は、図２７に示すような構成要素に基づいて実行される。この画像処理部４は第１実施例と同様に対象物である移動物体の３次元モデルデータを格納するモデルデータ格納部２０とモデル特徴が画像内でとり得るパラメータの予測をするモデル特徴予測部２１、画像特徴を抽出する画像特徴抽出部２２と、モデル特徴と画像特徴との対応の探索を行う特徴対応探索部２３、対象物の位置姿勢パラメータを予測する位置姿勢予測部２４とで構成されている。
【０３０２】
図２７を参照しながら図中の情報の流れを説明すると、第１実施例と同様にモデル特徴予測部２１は、カメラコントロール部５からのカメラ姿勢データ１０と位置姿勢予測パラメータ２８と、モデルデータ格納部２０からの３次元モデルデータ２５を利用して、その対象物を規定する特徴がそのカメラ画像でとり得るパラメータと、そのパラメータがどのように画像内で制限されるかを予測する。
【０３０３】
こうして予測されたパラメータであるモデルパラメータ２６は、次の画像特徴抽出部２２では、モデル特徴に対応し得る画像特徴を抽出し、その画像特徴を規定するパラメータである画像パラメータ２７を算出する。この２つのパラメータを利用して、特徴対応探索部２３は所定の評価式を利用しながら、モデル特徴と画像特徴間の最適な対応を探索すると同時に、その対応関係から移動物体の位置姿勢を規定する位置姿勢パラメータ２９を算出する。
【０３０４】
ここまでは第１の実施例と同様であるが、第４の例では、位置姿勢パラメータ２９は位置姿勢予測部２４にて、対象物の次の時刻の位置姿勢予測パラメータを算出すると同時に、前の時刻の対象物の位置姿勢パラメータと新しく更新された現時刻の対象物の位置姿勢パラメータを利用して対象物の速度を予測する。この速度情報をモデル特徴予測部２１に送って、モデル特徴予測部２１が対象物の移動速度に応じて次の時刻で選択する抽出すべきモデル特徴の数を制御する。ここで、位置姿勢予測部２４にてどのように対象物の速度情報を予測するかを説明すると共に、可視のモデル特徴線分に優先順位を付けて、どのモデル特徴線分を抽出するべきかを決定する方法を説明する。
【０３０５】
先ず位置姿勢予測部２４は対象物の位置姿勢パラメータの予測値と同時に対象物の速度も決定する。例えば、時刻ｔｎ  と時刻ｔｎ−１  における対象物の位置姿勢パラメータの予測期待値ｐｍ  （ｔｎ  ）とｐｍ  （ｔｎ−１  ）との差分をとることにより、対象物の位置姿勢速度ｖを算出することができる。
【０３０６】
ｖ＝（ｐｍ  （ｔｎ  ）−ｐｍ  （ｔｎ−１  ））／（ｔｎ  −ｔｎ−１  ）
続いて、位置姿勢予測部２４は、カメラコントロール部５のカメラ姿勢データを利用してカメラの移動に要する時間を予測する。この速度により、時刻ｔ＝ｔｎ＋１  におけるｐ（ｔｎ＋１  ）が予測されたとき、その時刻ｔｎ＋１  において対象物の重心がカメラ画像の中心になるような位置にカメラを移動させるとするとき、該位置までカメラを移動するまでに要する時間をｓとすると、対象物の処理をすることができる時間はｔｎ  −ｔｎ−１  −ｓで示すことができる。これら対象物の速度の予測値ｖとカメラの移動に要する時間の予測値ｓがモデル特徴予測部２１に搬出される。モデル特徴予測部２１は、これらの対象物の速度予測値ｖとカメラの移動に要する時間の予測値ｓを受け取り、次の位置姿勢パラメータの更新に最大何個のモデル特徴が利用できるかを推定する。具体的には１個のモデル特徴を処理するのに要する時間が平均的にあるいは最長ｕであるとすると、モデル特徴として処理できる数の総数は、Ｍ０  ＝（ｔｎ  −ｔｎ−１  −ｓ）／ｕで表現できるので、この数Ｍ０  によりモデル特徴数の限定をする。
【０３０７】
一方、モデル特徴予測部２１では、可視と予測されるモデル特徴を全て選択し、それを第４の実施例で示された方法により優先順位を付けて可視モデル特徴を整列させる。そして、上記整列された可視モデル特徴から最大Ｍ０  個のモデル特徴を優先順位の高いものから選択するのである。
【０３０８】
このようにして選択された可視モデル特徴に関するモデルパラメータは、画像特徴抽出部２２と特徴探索対応部２３に送出され、画像特徴抽出部２２では第４の実施例と同様の方法で画像特徴が抽出され、特徴対応探索部２３でも第４の実施例と同様の方法でモデル特徴及び画像特徴の最適な対応が探索される。
【０３０９】
以上説明したように、第６の実施例の第４の例によれば、対象物が高速で移動するときには、少数のモデル特徴を選択することで対象物がカメラで追跡できるようにし、対象物の追跡を安定化させることができる。また、対象物が低速で移動するときには、多数のモデル特徴を選択することで対象物の位置姿勢パラメターの推定精度を向上することができる。
【０３１０】
尚、本発明によれば、以下のような実施態様を得ることができる。
【０３１１】
（１）対象物を撮影するカメラを有し映像信号を生成する画像入力部と、映像信号をディジタル画像に変換するディジタル変換部と、ディジタル画像を記憶する画像格納部と、ディジタル画像を処理する画像処理部と、画像入力部の移動を制御するカメラコントロール部を設けた移動物体追跡装置において、
上記画像処理部は、
上記対象物の形状モデルをモデル特徴の形で記憶するモデルデータ格納手段と、
上記対象物の位置姿勢を規定する位置姿勢パラメータの時刻ｔｎ  における値ｐ（ｔｎ  ）を、時刻ｔｎ  以前の時刻ｔｎ−ｍ  （ｍ＝１，２，３  …ｎ；ｎ  は整数）において推定された位置姿勢パラメータ値ｐ（ｔｎ−ｍ  ）を利用して予測する位置姿勢予測手段と、
上記時刻ｔｎ  における位置姿勢パラメータの予測値とカメラコントロール部が生成する時刻ｔｎ  におけるカメラの位置姿勢パラメータを利用して、対象物を規定するモデル特徴のうち、撮影される画像で可視と予測される少なくとも一部のモデル特徴を選択し、そのモデル特徴が画像内でとり得るモデルパラメータの予測値を算出するモデル特徴予測手段と、
上記モデルパラメータの予測値に基いてモデル特徴に対応可能な画像特徴の候補を画像入力部により撮影された画像内から抽出し、その画像特徴の画像パラメータを算出する画像特徴抽出手段と、
上記モデル特徴と画像特徴との間の対応を探索し、対応のとれたモデル特徴のモデルパラメータと画像特徴の画像パラメータ間の関係を利用して対象物の位置姿勢パラメータの予測値を更新する特徴対応探索手段と、
を有し、上記の処理を各時刻で繰り返しながら対象物の追跡を行うことを特徴とする移動物体追跡装置。
【０３１２】
（２）上記（１）に記載の移動物体追跡装置において、少なくともある一定時間カメラを移動させる必要のないときには、画像特徴抽出手段において、画像入力部から上記対象物が撮影された時間的に異なる少なくとも２枚の画像を画像格納部に入力し、その少なくとも２枚の画像データから差分画像を生成し、その差異が現れた部分の輪郭や領域などを画像特徴の抽出に利用することを特徴とする移動物体追跡装置。
【０３１３】
このような構成にて、画像特徴抽出手段において、カメラの移動のない時間において撮影された少なくとも２枚の画像デ―タから差分画像を生成し、その差異が現れた部分の輪郭や領域などを画像特徴の抽出に利用する。即ち、差分画像で差異が現れた部分の輪郭や領域から生成される画像特徴のうち、モデル特徴と対応するものを優先的に選択でき、且つその抽出に関する外乱を減少させることで画像特徴を抽出する処理時間を短縮する。
【０３１４】
従って、モデル特徴に対応する可能性のある画像特徴を差分画像内から抽出することにより、上記（１）に記載の移動物体追跡装置の安定に移動物体を追跡する効果を更に増加させることができ、また、予め設定された画像内のモデル特徴が存在し得る推定値の誤差情報を減少させることにより、本移動物体追跡装置の処理部にある画像特徴抽出部の計算量が減少し、（１）に記載の移動物体追跡装置の安定に移動移動物体を追跡する効果に加えて高速に移動物体を追跡することができる。
【０３１５】
（３）上記（１）または（２）のいずれか一方に記載の移動物体追跡装置において、モデルパラメ―タの算出値に基づいて画像内からモデル特徴に対応可能な画像特徴の候補を抽出し、その画像特徴の画像パラメ―タを算出する画像特徴抽出手段において、画像特徴の近傍の濃淡値の情報を利用して、時刻ｔ以前にモデル特徴と対応のとれた画像特徴の左右または上下近傍の濃淡値の情報と時刻ｔにおける同一モデル特徴に対応する可能性のある画像特徴の左右または上下近傍の濃淡値の情報を算出し、上記（１）に記載の特徴対応探索手段において、モデル特徴と画像特徴と間の対応を探索する際、上記濃淡値情報を利用する特徴対応探索手段を有することを特徴とする移動物体追跡装置。
【０３１６】
このような構成にて、以前にモデル特徴と対応のとれた画像特徴の左右近傍の濃淡値情報を利用して、特徴対応探索手段でモデル特徴と画像特徴との対応を探索する時に、上記濃淡値情報を探索処理の過程に加え、そのモデル特徴と画像特徴が対応しているかを検証する。もし、その対応に関して濃淡値情報に基づく対応がとれない画像特徴については対応不可とする。この対応探索に濃淡値情報を付加することにより、モデル特徴と画像特徴の対応探索結果の検証を行う。
【０３１７】
従って、モデル特徴と画像特徴の対応探索結果の検証を行うことができるので対応探索処理の安定化を図ることができる。
【０３１８】
（４）上記（３）に記載の移動物体追跡装置において、上記モデル特徴と画像特徴の対応がとれたモデル特徴の濃淡値の情報を利用して、次の時刻の対象物がモデル特徴予測手段において上記モデル線分が可視と判明された場合、画像特徴抽出手段において上記モデル線分の濃淡値情報を前時刻特徴デ―タ格納手段に格納し、その情報をモデル特徴予測手段において利用することを特徴とする移動物体追跡装置。
【０３１９】
このような構成にて、特徴対応探索手段が上記モデル特徴と画像特徴の対応がとれたモデル特徴の濃淡値の情報を利用して、次の時刻の対象物がモデル特徴予測手段において上記モデル線分が可視と判明された場合、画像特徴抽出手段において上記モデル線分の濃淡値情報と対応のある画像特徴線分を優先して上記画像特徴線分を探索する。
【０３２０】
従って、画像特徴抽出手段においてモデル特徴線分と対応する可能性の高い、画像特徴線分を優先してモデル特徴線分との対応探索を実行するため、特徴対応探索手段において対応探索のための処理時間を短縮することができる。また、対応の可能性の高い画像特徴線分との対応を優先させて対応探索するため、その対応探索結果の信頼性が向上する。これらの作用により、高速に且つ安定に対象物を追跡することを可能にする。
【０３２１】
（５）上記（３）に記載の移動物体追跡装置において、モデル特徴の近傍の濃淡値を利用する際、濃淡情報としては濃淡値の平均値と分散値を利用することを特徴とする移動物体追跡装置。
【０３２２】
このような構成にて、以前にモデル特徴と対応のとれた画像特徴の左右または上下近傍の濃淡値の平均と分散値を利用して、特徴対応探索手段でモデル特徴と画像特徴との対応を探索する時に、上記濃淡値の平均値と分散値を検索過程に加え、そのモデル特徴と画像特徴が対応しているかを検証する。もし、その対応に関して濃淡値の平均値と分散値に基づくと対応がとれない画像特徴については対応不可とする。この対応探索に濃淡値の平均値と分散値を付加することにより、画像特徴候補の数を減少させることができる。
【０３２３】
従って、上記（３）に記載の移動物体追跡装置の濃淡値情報に対して濃淡値の平均値と分散値を利用しているため、画像特徴の近傍の画像にテクスチャ―など模様が含まれている場合にも処理の安定化を図ることができる。
【０３２４】
（６）上記（３）に記載の移動物体追跡装置において、モデル特徴の近傍の濃淡値を利用する際、濃淡情報としては、対象物の面を含む近傍の濃淡情報だけを利用することを特徴とする移動物体追跡装置。
【０３２５】
このような構成にて、上記（３）に記載の移動物体追跡装置の変更例として、さらに高速化を目的とした構成を説明すると、以前にモデル特徴と対応のとれた画像特徴の面を含む近傍の濃淡値の情報を利用して、特徴対応探索手段でモデル特徴と画像特徴との対応を探索するので、本クレ―ムの作用は、濃淡値情報に対して画像特徴の面を含む近傍の濃淡値情報のみを利用しているので、背景などと境界に存在する画像特徴に関して、背景の濃淡値情報を利用することが必要となくなる。この作用により、画像特徴候補の数を減少させ、無駄な濃淡値情報を排除することができる。
【０３２６】
従って、上記（３）に記載の移動物体追跡装置の濃淡値情報に対して画像特徴の面を含む近傍の濃淡値情報のみを利用しているので、背景などと境界に存在する画像特徴に関して、背景の濃淡値情報を利用することが必要となくなるので、更にモデル特徴と画像特徴の対応を検索処理が安定に且つ高速に処理することができる。
【０３２７】
（７）上記（３）に記載の移動物体追跡装置において、濃淡情報として、対象物の色情報を利用することを特徴とする移動物体追跡装置。
【０３２８】
このような構成にて、上記（３）に記載の移動物体追跡装置の特殊例として、カラ―画像などを画像処理する場合、基本的構成と作用は同様であるが、濃淡値情報に対して、カラ―情報値を利用することにより、画像特徴候補の数を減少させることができる。
【０３２９】
従って、上記（３）に記載の移動物体追跡装置と同様の効果がある。
【０３３０】
（８）上記（１）乃至（７）のいずれか一方に記載の移動物体追跡装置において、モデル特徴と画像特徴と間の対応を探索しそのモデル特徴のモデルパラメ―タと対応できた画像特徴の画像パラメ―タの間の関係を利用して対象物の位置姿勢パラメ―タを更新する特徴対応探索手段において、ある時刻ｔｉ−１  でマッチングに成功したモデルパラメ―タが、次の時刻ｔｉ  で可視であると予想されるならば、そのモデル特徴を先行して対応する画像パラメ―タの抽出と対応関係の探索を行うことを特徴とする移動物体追跡装置。
【０３３１】
このような構成にて、特徴対応探索手段において、ある時刻ｔｉ−１  でマッチングに成功したモデルパラメ―タが、次の時刻ｔｉ  で可視であると予想されるならば、そのモデル特徴を先行して対応する画像パラメ―タの抽出と対応関係の探索を行うことにより、以前の対応探索の際、その対応が正解であったモデルパラメ―タと画像パラメ―タの対応は正解率が他のモデルパラメ―タの検索より高い、これにより正解率の高いモデルパラメ―タから検索を順次行っていくことが可能になり、ある一定以上のモデルバラメ―タと画像パラメ―タの正解の対応が検索されたならば検索処理を終了する場合など、検索処理時間を上記の作用により短縮することができる。
【０３３２】
従って、上記の作用により、特徴対応探索手段の対応の検索処理時間を短縮することができる上、正解率の高いモデルパラメ―タと画像パラメ―タを優先的に検索しているため、対応の信頼性が高くなる。このため移動対象物のトラッキングを行う際、高速にかつ安定に追跡することを可能にする。
【０３３３】
（９）上記（１）〜（８）のいずれか一つに記載の移動物体追跡装置において、モデル特徴と画像特徴と間の対応を探索しそのモデル特徴のモデルパラメ―タと対応できた画像特徴の画像パラメ―タの間の関係を利用して対象物の位置姿勢パラメ―タを更新する特徴対応探索手段において、可視と予測されるモデル特徴を複数のグル―プに分類し、分類されたモデル特徴に優先順位を付けて、その順位に基づいてモデル特徴に対応する画像特徴を抽出することを特徴とする移動物体追跡装置。
【０３３４】
このような構成にて、特徴対応探索手段において、可視と予測されるモデル特徴を複数のグル―プに分類する。このグル―プの分類方法は、例えば周辺に類似したモデル特徴がない場合は、一つグル―プとし、またそのモデル特徴があるユニ―クな特徴を保有してる場合はその特徴を登録し、一つのグル―プとし、また周辺に類似したモデル特徴が複数存在する場合などはまとめて一つのグル―プとする。この分類されたモデル特徴に優先順位を付ける。例えばグル―プのモデル特徴の数が少ないグル―プから順番に処理を実行するといったようにする。その順位に基づいてモデル特徴に対応する画像特徴を抽出するので、ユニ―クな特徴を保有するモデル特徴などは画像と対応する可能性が他のモデル特徴より高い。これにより正解率の高いモデルパラメ―タから検索を順次行っていくことが可能になり、ある一定以上のモデルパラメ―タと画像パラメ―タの正解の対応が検索されたなら検索処理を終了する場合など、検索処理時間を上記の作用により短縮することができる。
【０３３５】
従って、上記の作用により、特徴対応探索手段の対応の検索処理時間を短縮することができる上、正解率の高いモデルパラメ―タと画像パラメ―タを優先的に検索しているため、対応の信頼性が高くなる。このため移動対象物のトラッキングを行う際、高速なかつ安定に追跡することを可能にする。
【０３３６】
（１０）上記（１）乃至（９）のいずれか一つに記載の移動物体追跡方法において、その対象物の位置姿勢を規定する位置姿勢パラメ―タの時刻ｔにおける値ｐ（ｔ）  の推定値とその推定値の誤差情報を過去の時刻ｔ−ｍ  （ｍ＝１，２，３  …ｎ；ｎ  は整数）における値ｐ（ｔ−ｍ）  の推定値あるいはその推定値と誤差情報を利用して予測する位置姿勢予測手段において、上記位置姿勢予測手段が対象物の位置姿勢パラメ―タを予測した結果を利用して、カメラコントロ―ラがカメラから対象物までの距離を算出し、その算出値に基づいて、カメラフォ―カス値を制御することを特徴とする移動物体追跡装置。
【０３３７】
このような構成にて、位置姿勢予測手段が対象物の位置姿勢パラメ―タを予測した結果を利用して、カメラコントロ―ラがカメラから対象物までの距離を算出し、その算出値に基づいて、カメラフォ―カス値を制御するため、カメラと移動物体までの距離が推測できる。つまり、対象物の位置姿勢パラメ―タの予測値を位置姿勢予測手段が算出した後、その算出値に基づいてカメラコントロ―ラがカメラのフォ―カス位置を変更する。このカラメラのフォ―カス位置の変更により、ぼけの少ない画像を撮影することができる。
【０３３８】
従って、対象物の位置姿勢に応じて、ぼけの少ない画像を撮影することができるので、ぼけによる画像特徴の抽出の困難さを解消することができ、安定した移動物体の追跡をすることができる。
【０３３９】
（１１）上記（１）乃至（１０）のいずれか一つに記載の移動物体追跡方法において、その対象物の位置姿勢を規定する位置姿勢パラメ―タの時刻ｔにおける値ｐ（ｔ）  の推定値とその推定値の誤差情報を過去の時刻ｔ−ｍ（ｍ＝１，２，３  …ｎ；  ｎは整数）  における値ｐ（ｔ−ｍ）  の推定値あるいはその推定値と誤差情報を利用して予測する位置姿勢予測手段において、位置姿勢予測手段が予測した対象物の位置姿勢パラメ―タを用いて、カメラコントロ―ル部がカメラを移動するか、あるいはズ―ムフォ―カスをかけることにより、対象物の画像内の大きさを制御することを特徴とする移動物体追跡装置。
【０３４０】
このような構成にて、位置姿勢予測手段が次時刻での対象物の位置姿勢パラメ―タを予測したとき、カメラから移動物体までの距離を算出し、その距離と対象物の画像内との関係を考えて、移動物体がカメラ視野内でほぼ同一となるように、カメラを移動させるか、ズ―ムフォ―カスを調節する。上記構成により、対象物の奥行きの動きにより対象物が画像に対してはみ出したり、また小さくなり対象物が認知できなくなるようなことを事前に回避する。
【０３４１】
従って、対象物の画像内での大きさをおおむね一定に保つことができるので、画像内のモデル特徴を抽出することが容易になり、認識の安定化を図ることができる。
【０３４２】
（１２）上記（１）乃至（１１）のいずれか一つに記載の移動物体追跡装置において、その対象物の位置姿勢を規定する位置姿勢パラメ―タの時刻ｔにおける値ｐ（ｔ）  の推定値とその推定値の誤差情報を過去の時刻ｔ−ｍ（ｍ＝１，２，３，…，ｎ；ｎは整数）  における値ｐ（ｔ−ｍ）  の推定値あるいはその推定値と誤差情報を利用して予測する位置姿勢予測手段において、対象物が複数個の剛体を結合した形でモデル化できるときには、その剛体間の結合を規定する結合パラメ―タを付加し、対象物の位置姿勢パラメ―タと上記の結合パラメ―タを同時に推定することを特徴とする移動物体追跡装置。
【０３４３】
このような構成にて、対象物が複数個の剛体を結合した形でモデル化できるときには、その剛体間の結合を規定する結合パラメ―タを付加しているため、この新しいパラメ―タにおいて上記（１）に記載の構成に結合パラメ―タが付加された構成になり、上記（１）に記載の装置と同様な作用がある。この結合パラメ―タが付加されたことにより、さらに複雑な動き構造をしている物体を動的追跡する際にも容易に動的追跡を実現できる。
【０３４４】
従って、各パ―ツごとに位置姿勢パラメ―タを追跡する必要がなくなり、処理の高速化を図ることができる。また、剛体パ―ツ間の制約関係がパラメ―タ推定中いつも満たされているので、安定した位置姿勢推定が可能となり、移動物体追跡を安定化させることができる。
【０３４５】
（１３）上記（１）乃至（１２）のいずれか一つに記載の移動物体追跡装置において、位置姿勢パラメ―タの予測された位置姿勢パラメ―タ推定値とカメラコントロ―ル部が生成するカメラの位置姿勢パラメ―タを利用して、対象物を規定するモデル特徴のうち、撮影される画像内で可視と予測される少なくとも一部のモデル特徴を選択し、そのモデル特徴が画像内でとり得るモデルパラメ―タの予測値を算出するモデル特徴予測手段において、対象物の位置姿勢推定値から算出される移動速度に応じて、次の時刻で選択する抽出すべきモデル特徴の数を制御することを特徴とする移動物体追跡装置。
【０３４６】
このような構成にて、対象物の位置姿勢推定値から算出される移動速度に応じて、次の時刻で選択する抽出すべきモデル特徴の数を制御する。この構成により、移動物体が高速に移動している場合、その抽出すべきモデル特徴の数を減少させることにより、抽出すべき画像特徴の数を減少させ、最適な対応を探索する処理時間を減少させる。この作用により、対象物が高速に移動しても、少数のモデル特徴を選択することにより、処理時間を最小限にすることができる。
【０３４７】
従って、対象物が高速で移動するときには、少数のモデル特徴を選択することで対象物がカメラで追跡できるようにし、対象物の追跡を安定化させることができる。また対象物が低速で移動するときには、多数のモデル特徴を選択することで対象物の位置姿勢パラメ―タの推定精度を向上することができる。
【０３４８】
尚、本発明は上記実施態様に限定されることなく、その主旨を逸脱しない範囲で種々の改良・変更が可能であることは勿論である。
【０３４９】
【発明の効果】
本発明によれば、モデル特徴が抽出すべき画像とある程度離れていて、更に背景が複雑で対象物と非常に類似している場合においても、迅速且つ適確に対象物のトラッキングすることが可能な移動物体追跡装置を提供することができる。
【図面の簡単な説明】
【図１】第１実施例に係る移動物体追跡装置の構成を示す図である。
【図２】第１実施例の画像処理部の構成要素を示すブロック図である。
【図３】ｘ，ｙ，ｚ軸の座標図である。
【図４】直方体を表現する稜線、頂点の構成図である。
【図５】第１実施例で使用するカメラコントロール部と画像入力部の模式図である。
【図６】第１実施例の対象物のモデル特徴線分を示す図である。
【図７】画像探索限定領域を構築するための構築方法図である。
【図８】ハフパラメータ変換を説明する図である。
【図９】ハフ空間探索限定領域を示す２次元座標図である。
【図１０】手続き対応探索のシーケンスを示すフローチャートである。
【図１１】手続きｍａｔｃｈのシーケンスを示すフローチャートである。
【図１２】部分解Ｓの適正チェックのシーケンスを示すフローチャートである。
【図１３】モデル特徴Ｓの選択と画像特徴候補集合Ｒｓ  の作成のシーケンスを示すフローチャートである。
【図１４】第２実施例に係る移動物体追跡装置の構成を示す図である。
【図１５】第２実施例の画像処理部の構成要素のブロック図である。
【図１６】２枚の画像から差分画像を生成する方法を示す図である。
【図１７】第３実施例における３つの剛体パラメータの結合の様子を示す図である。
【図１８】３つの剛体のうちの一つの頂点の座標を示す図である。
【図１９】第４実施例の対象物のモデル特徴線分を示す図である。
【図２０】特徴対応探索手段における手続きを示すフローチャートである。
【図２１】第５実施例の画像処理部の構成要素のブロック図である。
【図２２】対象物を包み込む最小円の生成方法を示す図である。
【図２３】第６実施例の第１の例の画像処理部の構成要素のブロック図である。
【図２４】第６実施例の第１の例における濃淡情報利用方法を示す図である。
【図２５】第６実施例の第２の例の画像処理部の構成要素のブロック図である。
【図２６】第６実施例の第３の例の画像処理部の構成要素のブロック図である。
【図２７】第６実施例の第４の例の画像処理部の構成要素のブロック図である。
【符号の説明】
１…画像入力部、２…ディジタル変換器、３…画像格納部、４…画像処理部、５…カメラコントロール部、６…映像信号、７…ディジタル画像信号、８…画像データ、９…移動物体データ、１０…カメラ姿勢データ。
【図１】
0003610087.tif 000036
【図２】
0003610087.tif 000037
【図３】
0003610087.tif 000038
【図４】
0003610087.tif 000039
【図５】
0003610087.tif 000040
【図６】
0003610087.tif 000041
【図７】
0003610087.tif 000042
【図８】
0003610087.tif 000043
【図９】
0003610087.tif 000044
【図１０】
0003610087.tif 000045
【図１１】
0003610087.tif 000046
【図１２】
0003610087.tif 000047
【図１３】
0003610087.tif 000048
【図１４】
0003610087.tif 000049
【図１５】
0003610087.tif 000050
【図１６】
0003610087.tif 000051
【図１７】
0003610087.tif 000052
【図１８】
0003610087.tif 000053
【図１９】
0003610087.tif 000054
【図２０】
0003610087.tif 000055
【図２１】
0003610087.tif 000056
【図２２】
0003610087.tif 000057
【図２３】
0003610087.tif 000058
【図２４】
0003610087.tif 000059
【図２５】
0003610087.tif 000060
【図２６】
0003610087.tif 000061
【図２７】
0003610087.tif 000062