(57)【要約】【課題】観測誤差を含む時系列画像データであっても、複数物体上の点の位置情報と運動情報を、雑音に対してロバストに復元する。【解決手段】入力された時系列画像データに設定した画像座標系において各フレーム画像で観測される特徴点の画像座標値に、予め設定された安定化係数に基づいて座標変換した座標値を要素とする分解行列データ[Ｂ]を生成する（１３）。前記分解行列データ[Ｂ]を特異値分解し、その行列分解を利用して雑音成分を除去し、カメラ射影情報を表す行列データ[Ｐ’]と被写体の運動を表す行列データ[Ｘ’]を得て、それらに基づいて仮の運動情報を復元する（１４）。その時点でのカメラ射影情報と物体運動情報から再投影誤差を算出し、その誤差が所定の許容値以下にならない場合は、前記安定化係数を更新し、上述の処理を繰り返す（１５）。前記再投影誤差が所定の許容値以下になった時点で、各特徴点の位置情報と運動情報を復元する（１６）。【選択図】図２
2009151358.tif 000002
【特許請求の範囲】
【請求項１】
画像データを入力する画像入力部から入力された時系列画像データにおいて観測した複数の特徴点の画像座標値に基づき、その特徴点の３次元運動に関する情報を復元する３次元運動復元装置であって、
前記時系列画像データに設定した画像座標系において各フレーム画像Ｉi（ｉ＝１，２，…，Ｍ）で観測されるＮ個の特徴点の画像座標値（ｘij，ｙij）（ｉ＝１，２，…，Ｍ，ｊ＝１，２，…，Ｎ）に、予め設定された安定化係数λijをかけて座標変換して座標値（λijｘij，λijｙij）を座標値（ｕij，ｖij）と見做し、該座標値（ｕij，ｖij）を要素とする行列データ[Ｂ]を生成する行列データ生成部と、
前記分解行列データ[Ｂ]を特異値分解し、その行列分解を利用して雑音成分を除去し、カメラ射影情報を表す行列データ[Ｐ’]と被写体の運動を表す行列データ[Ｘ’]を得て、そのカメラ射影情報を表す行列データ[Ｐ’]の行列要素から所定のカメラ射影行列へ補正するための変換行列[Ｑ]を求め、被写体の運動情報を表す行列データ[Ｘ’]にその変換行列の逆行列[Ｑ]-1を作用（[Ｑ]-1[Ｘ’]）させて仮の運動情報（Ｘj／Ｚj，Ｙj／Ｚj，Ｖｘj／Ｚj，Ｖｙj／Ｚj）を復元する行列分解処理部と、
その時点でのカメラ射影情報と物体運動情報から算出される各点の再投影座標と該当する分解行列データ要素との間の平均二乗誤差△Ｅである再投影誤差を算出し、その再投影誤差が所定の許容値以下にならない場合は、安定化係数λijを更新し、
前記行列データ生成手段、前記行列分解処理手段を繰り返し使用して実行する反復処理部と、
前記再投影誤差が所定の許容値以下になった時点で、各特徴点の位置情報（Ｘj／Ｚj，Ｙj／Ｚj）と運動情報（Ｖｘj／Ｚj，Ｖｙj／Ｚj，Ｖｚj／Ｚj）を復元する運動情報復元部と、
を備えることを特徴とする３次元運動復元装置。
【請求項２】
請求項１に記載の３次元運動復元装置において、
各特徴点の仮の位置情報と仮の運動情報から、ある基準平面に対するカメラ姿勢情報を求めるカメラ姿勢推定部、
を備え、
前記運動情報復元部が、
前記再投影誤差が所定の許容値以下になった時点で出力される各特徴点の仮の位置情報と仮の運動情報を出力する手段と、
前記出力された各特徴点の仮の位置情報と仮の運動情報を用いたカメラ姿勢推定部から求められたカメラ姿勢情報を使って所定の運動情報として位置情報（Ｘj／Ｚj，Ｙj／Ｚj）と運動情報（Ｖｘj／Ｚj，Ｖｙj／Ｚj，Ｖｚj／Ｚj）を復元する手段と、
を備える、
ことを特徴とする３次元運動復元装置。
【請求項３】
請求項１に記載の３次元運動復元装置において、
カメラ姿勢情報を取得し入力するカメラ情報入力部、
を備え、
前記運動情報復元部が、
前記再投影誤差が所定の許容値以下になった時点で、各特徴点の仮の位置情報と仮の運動情報を出力する手段と、
前記出力された各特徴点の仮の位置情報と仮の運動情報から、前記カメラ情報入力部を用いて入力されたカメラ姿勢情報を使って、所定の運動情報として位置情報（Ｘj／Ｚj，Ｙj／Ｚj）と運動情報（Ｖｘj／Ｚj，Ｖｙj／Ｚj，Ｖｚj／Ｚj）を復元する手段と、
を備える
ことを特徴とする３次元運動復元装置。
【請求項４】
画像データを入力する画像入力部から入力された時系列画像データにおける特徴点の座標値を観測する特徴点観測部と、
行列分解のための行列データを生成する行列データ生成部と、
その行列データから行列分解の処理をする行列分解処理部と、
所定の許容値に収束するまで反復処理を繰り返す反復処理部と、
所定の物体運動情報を復元する運動情報復元部と、
を備え、
前記入力された時系列画像データにおいて観測した複数の特徴点の画像座標値に基づき、その特徴点の３次元運動に関する情報を復元する装置に使用する
３次元運動復元方法であって、
前記行列データ生成部が、前記時系列画像データに設定した画像座標系において各フレーム画像Ｉi（ｉ＝１，２，…，Ｍ）で観測されるＮ個の特徴点の画像座標値（ｘij，ｙij）（ｉ＝１，２，…，Ｍ，ｊ＝１，２，…，Ｎ）に、予め設定された安定化係数λijをかけて座標変換して座標値（λijｘij，λijｙij）を座標値（ｕij，ｖij）と見做し、該座標値（ｕij，ｖij）を要素とする分解行列データ[Ｂ]を生成する行列データ生成ステップと、
前記行列分解処理部が、前記分解行列データ[Ｂ]を特異値分解し、その行列分解を利用して雑音成分を除去し、カメラ射影情報を表す行列データ[Ｐ’]と被写体の運動を表す行列データ[Ｘ’]を得て、そのカメラ射影情報を表す行列データ[Ｐ’]の行列要素から所定のカメラ射影行列へ補正するための変換行列[Ｑ]を求め、被写体の運動情報を表す行列データ[Ｘ’]にその変換行列の逆行列[Ｑ]-1を作用（[Ｑ]-1[Ｘ’]）させて仮の運動情報（Ｘj／Ｚj，Ｙj／Ｚj，Ｖｘj／Ｚj，Ｖｙj／Ｚj）を復元する行列分解処理ステップと、
前記反復処理部が、その時点でのカメラ射影情報と物体運動情報から算出される各点の再投影座標と該当する分解行列データ要素との間の平均二乗誤差△Ｅである再投影誤差を算出し、その再投影誤差が所定の許容値以下にならない場合は、安定化係数λijを更新し、
前記行列データ生成ステップ、前記行列分解処理ステップの処理を繰り返す反復処理ステップと、
前記運動情報復元部が、前記再投影誤差が所定の許容値以下になった時点で、各特徴点の位置情報（Ｘj／Ｚj，Ｙj／Ｚj）と運動情報（Ｖｘj／Ｚj，Ｖｙj／Ｚj，Ｖｚj／Ｚj）を復元する運動情報復元ステップと、
を有することを特徴とする３次元運動復元方法。
【請求項５】
画像データを入力する画像入力部から入力された時系列画像データにおける特徴点の座標値を観測する特徴点観測部と、
行列分解のための行列データを生成する行列データ生成部と、
その行列データから行列分解の処理をする行列分解処理部と、
所定の許容値に収束するまで反復処理を繰り返す反復処理部と、
ある基準平面に対するカメラ姿勢を推定するカメラ姿勢推定部と、
その基準平面に対して所定の物体運動情報を復元する運動情報復元部と、
を備え、
前記入力された時系列の画像データにおいて観測した複数の特徴点の画像座標値に基づき、その特徴点の３次元運動に関する情報を復元する装置に使用する
３次元運動復元方法であって、
前記行列データ生成部が、前記時系列画像データに設定した画像座標系において各フレーム画像Ｉi（ｉ＝１，２，…，Ｍ）で観測されるＮ個の特徴点の画像座標値（ｘij，ｙij）（ｉ＝１，２，…，Ｍ，ｊ＝１，２，…，Ｎ）に、予め設定された安定化係数λijをかけて座標変換して座標値（λijｘij，λijｙij）を座標値（ｕij，ｖij）と見做し、該座標値（ｕij，ｖij）を要素とする分解行列データ[Ｂ]を生成する行列データ生成ステップと、
前記行列分解処理部が、前記分解行列データ[Ｂ]を特異値分解し、その行列分解を利用して雑音成分を除去し、カメラ射影情報を表す行列データ[Ｐ’]と被写体の運動を表す行列データ[Ｘ’]を得て、そのカメラ射影情報を表す行列データ[Ｐ’]の行列要素から所定のカメラ射影行列へ補正するための変換行列[Ｑ]を求め、被写体の運動情報を表す行列データ[Ｘ’]にその変換行列の逆行列[Ｑ]-1を作用（[Ｑ]-1[Ｘ’]）させて仮の運動情報（Ｘj／Ｚj，Ｙj／Ｚj，Ｖｘj／Ｚj，Ｖｙj／Ｚj）を復元する行列分解処理ステップと、
前記反復処理部が、その時点でのカメラ射影情報と物体運動情報から算出される各点の再投影座標と該当する分解行列データ要素との間の平均二乗誤差△Ｅである再投影誤差を算出し、その再投影誤差が所定の許容値以下にならない場合は、安定化係数λijを更新し、
前記行列データ生成ステップ、前記行列分解処理ステップの処理を繰り返す反復処理ステップと、
前記運動情報復元部が、前記再投影誤差が所定の許容値以下になった時点で、各特徴点の位置情報（Ｘj／Ｚj，Ｙj／Ｚj）と運動情報（Ｖｘj／Ｚj，Ｖｙj／Ｚj，Ｖｚj／Ｚj）を復元する運動情報復元ステップと、
前記運動情報復元部が、前記再投影誤差が所定の許容値以下になった時点で、各特徴点の仮の位置情報と仮の運動情報を出力するステップと、
前記カメラ姿勢推定部が、前記出力された各特徴点の仮の位置情報と仮の運動情報から、ある基準平面に対するカメラ姿勢情報を求めるカメラ姿勢推定ステップと、
前記運動情報復元部が、前記求めたカメラ姿勢情報を使って所定の運動情報として位置情報（Ｘj／Ｚj，Ｙj／Ｚj）と運動情報（Ｖｘj／Ｚj，Ｖｙj／Ｚj，Ｖｚj／Ｚj）を復元するステップと、
を有することを特徴とする３次元運動復元方法。
【請求項６】
画像データを入力する画像入力部から入力された時系列画像データにおける特徴点の座標値を観測する特徴点観測部と、
行列分解のための行列データを生成する行列データ生成部と、
その行列データから行列分解の処理をする行列分解処理部と、
所定の許容値に収束するまで反復処理を繰り返す反復処理部と、
カメラ姿勢に関する情報を与えるカメラ情報入力部と、
その基準平面に対して所定の物体運動情報を復元する運動情報復元部と、
を備え、
前記入力された時系列の画像データにおいて観測した複数の特徴点の画像座標値に基づき、その特徴点の３次元運動に関する情報を復元する装置に使用する
３次元運動復元方法であって、
前記行列データ生成部が、前記時系列画像データに設定した画像座標系において各フレーム画像Ｉi（ｉ＝１，２，…，Ｍ）で観測されるＮ個の特徴点の画像座標値（ｘij，ｙij）（ｉ＝１，２，…，Ｍ，ｊ＝１，２，…，Ｎ）に、予め設定された安定化係数λijをかけて座標変換して座標値（λijｘij，λijｙij）を座標値（ｕij，ｖij）と見做し、該座標値（ｕij，ｖij）を要素とする分解行列データ[Ｂ]を生成する行列データ生成ステップと、
前記行列分解処理部が、前記分解行列データ[Ｂ]を特異値分解し、その行列分解を利用して雑音成分を除去し、カメラ射影情報を表す行列データ[Ｐ’]と被写体の運動を表す行列データ[Ｘ’]を得て、そのカメラ射影情報を表す行列データ[Ｐ’]の行列要素から所定のカメラ射影行列へ補正するための変換行列[Ｑ]を求め、被写体の運動情報を表す行列データ[Ｘ’]にその変換行列の逆行列[Ｑ]-1を作用（[Ｑ]-1[Ｘ’]）させて仮の運動情報（Ｘj／Ｚj，Ｙj／Ｚj，Ｖｘj／Ｚj，Ｖｙj／Ｚj）を復元する行列分解処理ステップと、
前記反復処理部が、その時点でのカメラ射影情報と物体運動情報から算出される各点の再投影座標と該当する分解行列データ要素との間の平均二乗誤差△Ｅである再投影誤差を算出し、その再投影誤差が所定の許容値以下にならない場合は、安定化係数λijを更新し、
前記行列データ生成ステップ、前記行列分解処理ステップの処理を繰り返す反復処理ステップと、
前記運動情報復元部が、前記再投影誤差が所定の許容値以下になった時点で、各特徴点の位置情報（Ｘj／Ｚj，Ｙj／Ｚj）と運動情報（Ｖｘj／Ｚj，Ｖｙj／Ｚj，Ｖｚj／Ｚj）を復元する運動情報復元ステップと、
前記運動情報復元部が、前記再投影誤差が所定の許容値以下になった時点で、各特徴点の仮の位置情報と仮の運動情報を出力するステップと、
カメラ情報入力部が、カメラ姿勢情報を取得し入力するカメラ情報入力ステップと、
前記運動情報復元部が、前記出力された各特徴点の仮の位置情報と仮の運動情報から、入力されたカメラ姿勢情報を使って、所定の運動情報として位置情報（Ｘj／Ｚj，Ｙj／Ｚj）と運動情報（Ｖｘj／Ｚj，Ｖｙj／Ｚj，Ｖｚj／Ｚj）を復元するステップと、
を有することを特徴とする３次元運動復元方法。
【請求項７】
コンピュータを請求項１乃至３のいずれかに記載の３次元運動復元装置における各部及び各手段として機能させることを特徴とする３次元運動復元プログラム。
【請求項８】
請求項７に記載の３次元運動復元プログラムを記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時系列画像から複数物体の位置情報と運動情報を同時に復元する技術に関するものである。
【背景技術】
【０００２】
画像入力装置（例えば、カメラ，デジタルカメラなど；以下、単にカメラという）が動くことによって剛体（もしくは被写体）の３次元形状を復元する原理は、Ｓｔｒｕｃｔｕｒｅ  Ｆｒｏｍ  Ｍｏｔｉｏｎとして知られており、エピポーラ解析，マルチカメラステレオ，因子分解法などのアルゴリズムへ応用されている。これらのアルゴリズムは、カメラに対して被写体が静止すること、あるいは、静止したカメラに対して被写体が動くこと、を前提としている。
【０００３】
しかし、運動するカメラに対して、独立に複数の被写体が動く場合にも、例えば、同じ動きをする剛体のグループを検出し、各グループに対してＳｔｒｕｃｔｕｒｅ  Ｆｒｏｍ  Ｍｏｔｉｏｎの原理に基づく手法を適用することは可能である。この手法を適用するためには、観測座標から複数運動への分離及び分割（例えば、非特許文献１参照）を必要とし、通常、カメラをアフィンカメラ（即ち、透視投影を線形近似したカメラ投影モデル）へ簡略化する手段（例えば、非特許文献２参照）を採用する。
【０００４】
また、因子分解法によっては、各グループに付属する特徴点群から各運動へ特徴点を振り分けるとともに、被写体の３次元形状を復元する方法（以下、３次元形状復元方法という；例えば、非特許文献３参照）も知られている。特に、複数の剛体がカメラに対して時間的に線形運動する（すなわち、各被写体の速度が一定）と仮定した場合に限定すれば、各グループへ分離及び分割する必要なく複数物体の運動を同時に復元する手法（例えば、特許文献１参照）や未校正カメラへ拡張した方法（例えば、非特許文献４参照）も公知である。このような手法は移動物体に対してカメラが相対的に運動することを前提とする。
【特許文献１】特開２００３−２５６８４８号公報（段落［００３１］〜［００６９］等）。
【非特許文献１】市村  直幸，富田  文明、“形状行列からの特徴選択に基づく動きの分割”、電子情報通信学会論文誌Ｄ−ＩＩ、Ｊ８１−Ｄ−ＩＩ−１２、電子情報通信学会、１９９８（平成１０）年、ｐｐ．２７５７−２７６６。
【非特許文献２】菅谷  保之，金谷  健一、“運動物体分離のためのカメラモデルの自動選択”、情報処理学会技術報告ＣＶＩＭ，２００２−ＣＶＩＭ−１３４−２、情報処理学会、２００２（平成１４）年、ｐｐ．９−１６。
【非特許文献３】Ｊ．Ｐ．Ｃｏｓｔｅｉｒａ，Ｔ．Ｋａｎａｄｅ、”Ａ  Ｍｕｌｔｉｂｏｄｙ  Ｆａｃｔｏｒｉｚａｔｉｏｎ  Ｍｅｔｈｏｄ  ｆｏｒ  Ｉｎｄｅｐｅｎｄｅｎｔｌｙ  Ｍｏｖｉｎｇ  Ｏｂｊｅｃｔｓ”、Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ、Ｖｏｌ．２９，Ｎｏ．３、Ｋｌｕｗｅｒ  Ａｃａｄｅｍｉｃ  Ｐｕｂｌｉｓｈｅｒｓ、１９９８（平成１０）、ｐｐ．１５９−１７９。
【非特許文献４】Ｍ．Ｈａｎ，Ｔ．Ｋａｎａｄｅ、”Ｍｕｌｔｉｐｌｅ  Ｍｏｔｉｏｎ  Ｓｃｅｎｅ  Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ  ｗｉｔｈ  Ｕｎｃａｌｉｂｒａｔｅｄ  Ｃａｍｅｒａｓ”、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ、Ｖｏｌ．２５，Ｎｏ．７、ＩＥＥＥ、２００３（平成１５）年、ｐｐ．８８４−８９４。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述の従来の多くの３次元形状復元技術は、単眼カメラが被写体に対して相対的に運動することに着眼したＳｔｒｕｃｔｕｒｅ  Ｆｒｏｍ  Ｍｏｔｉｏｎの原理を利用している。しかし、監視カメラのような固定カメラ（例えば、固定された単眼カメラ）は、一般的にその運動は固定されており、一度設置した後に内部パラメータなども変化させることは少ない。したがって、独立に運動する複数の物体を固定カメラで撮影した場合、これまでの従来方法では、その物体の３次元運動の復元、あるいは、その運動を分離及び分割することは困難であった。
【０００６】
さらに、複数物体の分離及び分割を行う場合でも、透視投影カメラモデルは非線形であるため、計算処理上、アフィンカメラモデルによる線形近似モデルが頻繁に使われていた。アフィンカメラモデルを使って複数運動を扱う場合には、線形モデルとして近似が妥当なようなカメラと被写体の状況が前提となる。したがって、一般的な固定カメラにおいて、その固定カメラの投影モデルをアフィンカメラモデルと仮定するには無理があり、復元される３次元情報の精度は必ずしも保証されない。
【０００７】
また、特徴点は、時系列に撮像された（もしくは順序付けられた）時系列画像データ（以下、単に時系列画像）から特徴となる点を各フレームにわたって測定することで得られるため、その観測座標に基づいた３次元情報の復元誤差は観測座標の測定精度に左右される。このような問題は、高精度で画像座標を測定することによって低減できるが、全てのフレームに関して精度良く特徴点を追跡することは一般的に難しい。現実的には、ある程度の観測誤差を含む画像座標からでも、雑音に対してロバストに３次元情報を復元することが課題である。
【０００８】
本発明は、前記課題に対してなされたものであって、固定された単眼カメラで撮像された観測誤差を含む時系列画像データであっても、一定速度で運動する複数の物体上の点の位置情報と運動情報を、雑音に対してロバストに同時に復元する３次元運動復元装置，３次元運動復元方法，３次元運動復元プログラム及びそのプログラムを記録した記録媒体を提供することにある。
【課題を解決するための手段】
【０００９】
前記課題の解決を図るための本発明における数式を定義し、基本原理を以下に説明する。
【００１０】
固定カメラと運動する物体上の点Ｐ(i)j（ｊ＝１，２，…，Ｎ）の関係を図１１に基づいて説明する。なお、図１１は、前記関係を簡略的に示したものである。
【００１１】
図１１中のカメラの視点を原点Ｏとし、画像面Ｆにおける主点ＰPを通過する光軸をＺ軸としたカメラ座標系ＸＹＺを設定する。カメラは一定のフレームレートで参照点を観測するとき、短いフレーム区間（ｉ＝１，２，…，Ｍ）では物体点の運動は時間に対して線形に移動すると考えられる。
【００１２】
そこで、フレームｉを撮像した時間における点Ｐ(i)jの空間座標は、初期位置Ｐ(1)j（＝（Ｘj、Ｙj，Ｚj））から一定速度Ｖj（＝（Ｖｘj，Ｖｙj，Ｖｚj））で移動すると仮定し、参照点位置Ｐ(i)jを式（１）と記述する。
【００１３】
【数１】
2009151358.tif 000003
【００１４】
このとき、画像面Ｆに観測される透視投影像ｒij（座標ｘij，ｙij）は式（２）で与えられる。なお、固定カメラのカメラパラメータは事前に校正されているとする。
【００１５】
【数２】
2009151358.tif 000004
【００１６】
式（２）を整理すると式（３）を得る。
【００１７】
【数３】
2009151358.tif 000005
【００１８】
さらに、式（３）を全フレームｉ＝１，２，…，Ｍにわたり、Ｎ個の点に展開して行列表記すると式（４）と表される。
【００１９】
【数４】
2009151358.tif 000006
【００２０】
仮に、λij＝１（すなわちＶｚj＝０）、または、何らかの方法で各点のλijが与えられるならば、式（４）左辺に示す２Ｍ×Ｎの行列は式（４）右辺に示すランク４の２Ｍ×４の行列と４×Ｎの行列に行列分解できることを示している。
【００２１】
以上のように、本発明の基本原理は、式（４）に基づく行列分解である。
【００２２】
前記課題の解決を図るために、請求項１記載の発明は、画像データを入力する画像入力部から入力された時系列画像データにおいて観測した複数の特徴点の画像座標値に基づき、その特徴点の３次元運動に関する情報を復元する３次元運動復元装置であって、前記時系列画像データに設定した画像座標系において各フレーム画像Ｉi（ｉ＝１，２，…，Ｍ）で観測されるＮ個の特徴点の画像座標値（ｘij，ｙij）（ｉ＝１，２，…，Ｍ，ｊ＝１，２，…，Ｎ）に、予め設定された安定化係数λijをかけて座標変換して座標値（λijｘij，λijｙij）を座標値（ｕij，ｖij）と見做し、該座標値（ｕij，ｖij）を要素とする行列データ[Ｂ]を生成する行列データ生成部と、前記分解行列データ[Ｂ]を特異値分解し、その行列分解を利用して雑音成分を除去し、カメラ射影情報を表す行列データ[Ｐ’]と被写体の運動を表す行列データ[Ｘ’]を得て、そのカメラ射影情報を表す行列データ[Ｐ’]の行列要素から所定のカメラ射影行列へ補正するための変換行列[Ｑ]を求め、被写体の運動情報を表す行列データ[Ｘ’]にその変換行列の逆行列[Ｑ]-1を作用（[Ｑ]-1[Ｘ’]）させて仮の運動情報（Ｘj／Ｚj，Ｙj／Ｚj，Ｖｘj／Ｚj，Ｖｙj／Ｚj）を復元する行列分解処理部と、その時点でのカメラ射影情報と物体運動情報から算出される各点の再投影座標と該当する分解行列データ要素との間の平均二乗誤差△Ｅである再投影誤差を算出し、その再投影誤差が所定の許容値以下にならない場合は、安定化係数λijを更新し、前記行列データ生成手段、前記行列分解処理手段を繰り返し使用して実行する反復処理部と、前記再投影誤差が所定の許容値以下になった時点で、各特徴点の位置情報（Ｘj／Ｚj，Ｙj／Ｚj）と運動情報（Ｖｘj／Ｚj，Ｖｙj／Ｚj，Ｖｚj／Ｚj）を復元する運動情報復元部と、を備えることを特徴とする。
【００２３】
請求項２記載の発明は、請求項１に記載の発明において、各特徴点の仮の位置情報と仮の運動情報から、ある基準平面に対するカメラ姿勢情報を求めるカメラ姿勢推定部、を備え、前記運動情報復元部が、前記再投影誤差が所定の許容値以下になった時点で出力される各特徴点の仮の位置情報と仮の運動情報を出力する手段と、前記出力された各特徴点の仮の位置情報と仮の運動情報を用いたカメラ姿勢推定部から求められたカメラ姿勢情報を使って所定の運動情報として位置情報（Ｘj／Ｚj，Ｙj／Ｚj）と運動情報（Ｖｘj／Ｚj，Ｖｙj／Ｚj，Ｖｚj／Ｚj）を復元する手段と、を備える、ことを特徴とする。
【００２４】
請求項３記載の発明は、請求項１に記載の発明において、カメラ姿勢情報を取得し入力するカメラ情報入力部、を備え、前記運動情報復元部が、前記再投影誤差が所定の許容値以下になった時点で、各特徴点の仮の位置情報と仮の運動情報を出力する手段と、前記出力された各特徴点の仮の位置情報と仮の運動情報から、前記カメラ情報入力部を用いて入力されたカメラ姿勢情報を使って、所定の運動情報として位置情報（Ｘj／Ｚj，Ｙj／Ｚj）と運動情報（Ｖｘj／Ｚj，Ｖｙj／Ｚj，Ｖｚj／Ｚj）を復元する手段と、を備えることを特徴とする。
【００２５】
請求項４記載の発明は、画像データを入力する画像入力部から入力された時系列画像データにおける特徴点の座標値を観測する特徴点観測部と、行列分解のための行列データを生成する行列データ生成部と、その行列データから行列分解の処理をする行列分解処理部と、所定の許容値に収束するまで反復処理を繰り返す反復処理部と、所定の物体運動情報を復元する運動情報復元部と、を備え、前記入力された時系列画像データにおいて観測した複数の特徴点の画像座標値に基づき、その特徴点の３次元運動に関する情報を復元する装置に使用する３次元運動復元方法であって、前記行列データ生成部が、前記時系列画像データに設定した画像座標系において各フレーム画像Ｉi（ｉ＝１，２，…，Ｍ）で観測されるＮ個の特徴点の画像座標値（ｘij，ｙij）（ｉ＝１，２，…，Ｍ，ｊ＝１，２，…，Ｎ）に、予め設定された安定化係数λijをかけて座標変換して座標値（λijｘij，λijｙij）を座標値（ｕij，ｖij）と見做し、該座標値（ｕij，ｖij）を要素とする分解行列データ[Ｂ]を生成する行列データ生成ステップと、前記行列分解処理部が、前記分解行列データ[Ｂ]を特異値分解し、その行列分解を利用して雑音成分を除去し、カメラ射影情報を表す行列データ[Ｐ’]と被写体の運動を表す行列データ[Ｘ’]を得て、そのカメラ射影情報を表す行列データ[Ｐ’]の行列要素から所定のカメラ射影行列へ補正するための変換行列[Ｑ]を求め、被写体の運動情報を表す行列データ[Ｘ’]にその変換行列の逆行列[Ｑ]-1を作用（[Ｑ]-1[Ｘ’]）させて仮の運動情報（Ｘj／Ｚj，Ｙj／Ｚj，Ｖｘj／Ｚj，Ｖｙj／Ｚj）を復元する行列分解処理ステップと、前記反復処理部が、その時点でのカメラ射影情報と物体運動情報から算出される各点の再投影座標と該当する分解行列データ要素との間の平均二乗誤差△Ｅである再投影誤差を算出し、その再投影誤差が所定の許容値以下にならない場合は、安定化係数λijを更新し、前記行列データ生成ステップ、前記行列分解処理ステップの処理を繰り返す反復処理ステップと、前記運動情報復元部が、前記再投影誤差が所定の許容値以下になった時点で、各特徴点の位置情報（Ｘj／Ｚj，Ｙj／Ｚj）と運動情報（Ｖｘj／Ｚj，Ｖｙj／Ｚj，Ｖｚj／Ｚj）を復元する運動情報復元ステップと、を有することを特徴とする。
【００２６】
請求項５記載の発明は、画像データを入力する画像入力部から入力された時系列画像データにおける特徴点の座標値を観測する特徴点観測部と、行列分解のための行列データを生成する行列データ生成部と、その行列データから行列分解の処理をする行列分解処理部と、所定の許容値に収束するまで反復処理を繰り返す反復処理部と、ある基準平面に対するカメラ姿勢を推定するカメラ姿勢推定部と、その基準平面に対して所定の物体運動情報を復元する運動情報復元部と、を備え、前記入力された時系列の画像データにおいて観測した複数の特徴点の画像座標値に基づき、その特徴点の３次元運動に関する情報を復元する装置に使用する３次元運動復元方法であって、前記行列データ生成部が、前記時系列画像データに設定した画像座標系において各フレーム画像Ｉi（ｉ＝１，２，…，Ｍ）で観測されるＮ個の特徴点の画像座標値（ｘij，ｙij）（ｉ＝１，２，…，Ｍ，ｊ＝１，２，…，Ｎ）に、予め設定された安定化係数λijをかけて座標変換して座標値（λijｘij，λijｙij）を座標値（ｕij，ｖij）と見做し、該座標値（ｕij，ｖij）を要素とする分解行列データ[Ｂ]を生成する行列データ生成ステップと、前記行列分解処理部が、前記分解行列データ[Ｂ]を特異値分解し、その行列分解を利用して雑音成分を除去し、カメラ射影情報を表す行列データ[Ｐ’]と被写体の運動を表す行列データ[Ｘ’]を得て、そのカメラ射影情報を表す行列データ[Ｐ’]の行列要素から所定のカメラ射影行列へ補正するための変換行列[Ｑ]を求め、被写体の運動情報を表す行列データ[Ｘ’]にその変換行列の逆行列[Ｑ]-1を作用（[Ｑ]-1[Ｘ’]）させて仮の運動情報（Ｘj／Ｚj，Ｙj／Ｚj，Ｖｘj／Ｚj，Ｖｙj／Ｚj）を復元する行列分解処理ステップと、前記反復処理部が、その時点でのカメラ射影情報と物体運動情報から算出される各点の再投影座標と該当する分解行列データ要素との間の平均二乗誤差△Ｅである再投影誤差を算出し、その再投影誤差が所定の許容値以下にならない場合は、安定化係数λijを更新し、前記行列データ生成ステップ、前記行列分解処理ステップの処理を繰り返す反復処理ステップと、前記運動情報復元部が、前記再投影誤差が所定の許容値以下になった時点で、各特徴点の位置情報（Ｘj／Ｚj，Ｙj／Ｚj）と運動情報（Ｖｘj／Ｚj，Ｖｙj／Ｚj，Ｖｚj／Ｚj）を復元する運動情報復元ステップと、前記運動情報復元部が、前記再投影誤差が所定の許容値以下になった時点で、各特徴点の仮の位置情報と仮の運動情報を出力するステップと、前記カメラ姿勢推定部が、前記出力された各特徴点の仮の位置情報と仮の運動情報から、ある基準平面に対するカメラ姿勢情報を求めるカメラ姿勢推定ステップと、前記運動情報復元部が、前記求めたカメラ姿勢情報を使って所定の運動情報として位置情報（Ｘj／Ｚj，Ｙj／Ｚj）と運動情報（Ｖｘj／Ｚj，Ｖｙj／Ｚj，Ｖｚj／Ｚj）を復元するステップと、を有することを特徴とする。
【００２７】
請求項６記載の発明は、画像データを入力する画像入力部から入力された時系列画像データにおける特徴点の座標値を観測する特徴点観測部と、行列分解のための行列データを生成する行列データ生成部と、その行列データから行列分解の処理をする行列分解処理部と、所定の許容値に収束するまで反復処理を繰り返す反復処理部と、カメラ姿勢に関する情報を与えるカメラ情報入力部と、その基準平面に対して所定の物体運動情報を復元する運動情報復元部と、を備え、前記入力された時系列の画像データにおいて観測した複数の特徴点の画像座標値に基づき、その特徴点の３次元運動に関する情報を復元する装置に使用する３次元運動復元方法であって、前記行列データ生成部が、前記時系列画像データに設定した画像座標系において各フレーム画像Ｉi（ｉ＝１，２，…，Ｍ）で観測されるＮ個の特徴点の画像座標値（ｘij，ｙij）（ｉ＝１，２，…，Ｍ，ｊ＝１，２，…，Ｎ）に、予め設定された安定化係数λijをかけて座標変換して座標値（λijｘij，λijｙij）を座標値（ｕij，ｖij）と見做し、該座標値（ｕij，ｖij）を要素とする分解行列データ[Ｂ]を生成する行列データ生成ステップと、前記行列分解処理部が、前記分解行列データ[Ｂ]を特異値分解し、その行列分解を利用して雑音成分を除去し、カメラ射影情報を表す行列データ[Ｐ’]と被写体の運動を表す行列データ[Ｘ’]を得て、そのカメラ射影情報を表す行列データ[Ｐ’]の行列要素から所定のカメラ射影行列へ補正するための変換行列[Ｑ]を求め、被写体の運動情報を表す行列データ[Ｘ’]にその変換行列の逆行列[Ｑ]-1を作用（[Ｑ]-1[Ｘ’]）させて仮の運動情報（Ｘj／Ｚj，Ｙj／Ｚj，Ｖｘj／Ｚj，Ｖｙj／Ｚj）を復元する行列分解処理ステップと、前記反復処理部が、その時点でのカメラ射影情報と物体運動情報から算出される各点の再投影座標と該当する分解行列データ要素との間の平均二乗誤差△Ｅである再投影誤差を算出し、その再投影誤差が所定の許容値以下にならない場合は、安定化係数λijを更新し、前記行列データ生成ステップ、前記行列分解処理ステップの処理を繰り返す反復処理ステップと、前記運動情報復元部が、前記再投影誤差が所定の許容値以下になった時点で、各特徴点の位置情報（Ｘj／Ｚj，Ｙj／Ｚj）と運動情報（Ｖｘj／Ｚj，Ｖｙj／Ｚj，Ｖｚj／Ｚj）を復元する運動情報復元ステップと、前記運動情報復元部が、前記再投影誤差が所定の許容値以下になった時点で、各特徴点の仮の位置情報と仮の運動情報を出力するステップと、カメラ情報入力部が、カメラ姿勢情報を取得し入力するカメラ情報入力ステップと、前記運動情報復元部が、前記出力された各特徴点の仮の位置情報と仮の運動情報から、入力されたカメラ姿勢情報を使って、所定の運動情報として位置情報（Ｘj／Ｚj，Ｙj／Ｚj）と運動情報（Ｖｘj／Ｚj，Ｖｙj／Ｚj，Ｖｚj／Ｚj）を復元するステップと、を有することを特徴とする。
【００２８】
請求項７記載の発明は、コンピュータを請求項１乃至３のいずれかに記載の３次元運動復元装置における各部及び各手段として機能させることを特徴とする３次元運動復元プログラム。
【００２９】
請求項８記載の発明は、請求項７に記載の３次元運動復元プログラムを記録したことを特徴とする記録媒体。
【００３０】
前記請求項１，４に記載の発明は、入力された時系列画像データに基づき、一定速度で運動する複数物体上の点の位置情報と運動情報を復元できる。復元までの処理を全て線形演算で処理できる。アフィンカメラモデルによる線形モデルのような近似計算をする必要がない。特異値分解を利用して雑音成分を除去し、かつ、常にカメラ射影行列［Ｐ］を使って行列分解の安定性を補償できる。
【００３１】
前記請求項２，５に記載の発明は、推定されたカメラ姿勢情報を取得し、該カメラ姿勢情報を考慮して、特徴点の位置と運動情報を復元できる。
【００３２】
前記請求項３，６に記載の発明は、カメラ姿勢情報（例えば、外部センサから入力されたカメラ姿勢情報）を取得し利用できる。さらに、そのカメラ姿勢情報を使って特徴点の位置と運動情報を復元できる。
【００３３】
前記請求項７に記載の発明は、請求項１乃至３のいずれかに記載の３次元運動復元装置をコンピュータプログラムとして記載できる。
【００３４】
前記請求項８に記載の発明は、３次元運動復元プログラムを記録媒体に記録できる。
【発明の効果】
【００３５】
以上示したように請求項１，４の発明によれば、固定された単眼カメラ（固定カメラ）から入力された観測誤差を含む画像データであっても、一定速度で運動する複数物体上の点の位置情報と運動情報を復元できる。復元された物体上の点の位置情報と運動情報に基づいて、複数物体の分離及び分割に応用できる。線形演算で処理で処理するため、計算コストが低く、処理速度に乏しい計算機でも容易に実行できる。近似計算をすることなく、反復処理を続けることによって、現実のカメラに近い透視投影像での運動情報を復元できる。運動情報の精度が時系列画像上での観測座標に測定精度に左右される問題に対しては、特異値分解を利用して雑音成分を除去し、かつ、常にカメラ射影行列［Ｐ］を使って行列分解の安定性を補償するため、画像雑音に対してロバストな運動情報を復元できる。
【００３６】
請求項２，５の発明によれば、推定されたカメラ姿勢情報に基づいて、基準平面に対して傾いた固定カメラで撮像された画像データを入力された場合でも、時系列画像から得た複数物体上の特徴点の画像座標値から、各点の位置情報と運動情報を同時に復元することができる。
【００３７】
請求項３，６の発明によれば、基準軸に対して傾いた固定カメラで撮像した画像データを入力された場合でも、時系列画像から得た複数物体上の特徴点の画像座標値から、各点の位置情報と運動情報を同時に復元できる。
【００３８】
請求項７の発明によれば、３次元運動復元装置としてコンピュータを動作させるコンピュータプログラムを提供できる。
【００３９】
請求項８の発明によれば、３次元運動復元プログラムとしてコンピュータを動作させるコンピュータプログラムを記録した記録媒体を提供できる。
【００４０】
これらを以って３次元形状認識技術分野に貢献できる。
【発明を実施するための最良の形態】
【００４１】
［第１実施形態］
第１実施形態における観測状況を図１に基づいて説明する。図１中のカメラ光軸Ｚが基準平面ＦXY2に垂直となるように設定した（固定した）カメラＣ1（あるいは、カメラ光軸Ｚが基準平面ＦXY2と垂直な平面ＦZに平行となるように設置したカメラＣ2）で観測する。また、図１中では、空間中の点を符号Ｐ(i)j、一定速度を符号Ｖjで表す。
【００４２】
第１実施形態における３次元運動復元装置の構成を図２に基づいて説明する。図２中の３次元運動復元装置は、時系列画像データ（以下、単に時系列画像）を蓄積した時系列画像データベース１１，各画像における特徴点の座標値を観測する特徴点観測部１２，行列分解のための行列データを生成する行列データ生成部１３，その行列データから行列分解の処理をする行列分解処理部１４，所定の許容値に収束するまで反復処理を繰り返すための反復処理部１５，反復処理部１５から出力されたデータから所定の物体運動情報を復元する運動情報復元部１６と，計算を行い、各部を制御する制御部（図示省略；例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）やＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）を含む制御部），メモリなどの一般的な記憶装置を含み、当該３次元運動復元装置に関する情報を記憶し管理する記憶部（図示省略）を備える。
【００４３】
時系列画像データベース１１は、例えば、ハードディスクドライブ装置，ＲＡＩＤ（Ｒｅｄｕｎｄａｎｔ  Ａｒｒａｙｓ  ｏｆ  Ｉｎｅｘｐｅｎｓｉｖｅ  Ｄｉｓｋｓ）装置，ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの記録媒体上に構築されても良いし、または、通信回線（ネットワークなど）を介して遠隔にある（リモートな）データ資源を利用する形態でもどちらでも構わない。また、上述の３次元運動復元装置が、時系列画像データベース１１もしくは通信回線から画像データを入力する画像入力部（図示省略）を備えていると考えて良い。
【００４４】
さらに、図３は、リアルタイムで処理する３次元運動復元装置の構成図であって、時系列画像データベース１１の代わりに画像入力部１７を導入している。即ち、第１実施形態における３次元運動復元装置には、必ずしも各データベース部などの（永続的な）記録装置を必要としない。
【００４５】
まず、図２中の時系列画像データベース１１からフレーム数Ｍの画像系列データ（以下、単に、画像系列という）を取り出し、この取り出した画像系列において特徴点観測部１２にて特徴点追跡を行う。なお、特徴点は従来から用いられている以下の特徴点抽出手順によって抽出する。
（手順Ａ１）図４中の初期画像とした画像Ｉ1のある領域Ｈにおいて、各画素に対する２×２のヘッセ行列を求める。
（手順Ａ２）次に、各点の３×３近傍領域において極大点か否かを判定し、極大点以外の点を削除する（ｎｏｎ−ｍａｘｉｍａ  ｓｕｐｐｒｅｓｓｉｏｎ）。
（手順Ａ３）さらに、得られた各点のヘッセ行列の固有値σl、σs（σl≦σs）を求め、σsが所定のσp以上となる点を抽出する。
（手順Ａ４）最後に、抽出した点のσsの大きさの順にソートし、上位の点から順番にその点ｐlより上位の点ｐhが所定のσd画素以内の距離に存在するか否かを判定する。所定のσd画素以内の距離に存在する場合、下位の点ｐlを削除する。
【００４６】
以上の手順によって、初期画像においてＮ個の特徴点の画像座標ｒ1j（ｘ1j，ｙ1j）（ｊ＝１，２，…，Ｎ）を得る。引き続き、抽出した全ての特徴点をＫＬＴ（Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ）法によって画像ｉ＝２，３，…，Ｍにわたって追跡し、画像座標値ｒij（ｘij，ｙij）（例えば、図４中のＩiの画像座標値ｒij）を得る。
【００４７】
以上によって、得られた特徴の画像座標値を、式（５）に示す配列に並べた２Ｍ×Ｎの行列データ［Ａ］を、図２中の行列データ生成部１３に保持しておく。例えば、その行列データ［Ａ］を予め備えられた記憶部に保持しておく。
【００４８】
【数５】
2009151358.tif 000007
【００４９】
行列データ生成部１３，行列分解処理部１４，反復処理部１５における各処理を図５の処理フロー図に基づいて説明する。
【００５０】
まず、処理を動作させる前に、本発明において安定化係数と呼んでいるλijを式（６）に示すように「１」にセット（初期化）する（Ｓ１０１：安定化係数の初期化ステップ）。
【００５１】
【数６】
2009151358.tif 000008
【００５２】
次に、行列データ生成部１３は、保持しておいた２Ｍ×Ｎの行列データ[Ａ]の行列要素（ｘij，ｙij）を取り出し（Ｓ１０２：観測座標値の入力ステップ）、各座標値に対応する安定化係数λijをかけて、式（７）の（ｕij，ｖij）を得て、その（ｕij，ｖij）を式（７）に示す配列に並べた２Ｍ×Ｎの行列[Ｂ]として生成する（Ｓ１０３：行列データの生成ステップ）。この行列[Ｂ]が、行列データ生成部１３から行列分解処理部１４へ入力データとして渡される。
【００５３】
【数７】
2009151358.tif 000009
【００５４】
次に、行列分解処理部１４は、特異値分解によって式（８）に示す３つの行列[Ｕ]，[Ｗ]，[Ｖ]に分解する（Ｓ１０４：特異値分解ステップ）。なお、このステップＳ１０４で得られる行列[Ｕ]は、２Ｍ×Ｎの行列，行列[Ｗ]はＮ×Ｎの対角行列，行列[Ｖ]はＮ×Ｎの行列であって、特異値分解によって一意に分解できる。
【００５５】
【数８】
2009151358.tif 000010
【００５６】
次に、雑音除去処理ステップ（Ｓ１０５）では、行列分解処理部１４が、式（９）右辺第二項に示したランク５以降の各サブ行列の成分を式（１０）のように削除する。
【００５７】
【数９】
2009151358.tif 000011
【００５８】
【数１０】
2009151358.tif 000012
【００５９】
この雑音除去処理ステップ（Ｓ１０５）における削除のときは、次のような手順で行う。
（手順Ｂ１）行列[Ｕ]を取り出し、この行列[Ｕ]の要素において第５から第Ｎ列目までを削除して残りの成分からなる行列を保持する。
（手順Ｂ２）次に、行列[Ｗ]を取り出し、この行列[Ｗ]の要素において第５から第Ｎ行目並びに第５から第Ｎ列目までを削除して残りの成分からなる行列を保持する。
（手順Ｂ３）さらに、行列[Ｖ]を取り出し、この行列[Ｖ]の要素において第５から第Ｎ行目までを削除して残りの成分からなる行列をそれぞれ保持する。
【００６０】
次に、行列分解処理部１４が、式（１０）右辺に示したサブ行列から、式（１１）に示す２Ｍ×４の行列[Ｐ’]、式（１２）に示す４×Ｎの行列[Ｘ’]に分ける。
【００６１】
【数１１】
2009151358.tif 000013
【００６２】
【数１２】
2009151358.tif 000014
【００６３】
このとき、行列［Ｂ］から式（１１）と式（１２）への行列分解は、式（１３）に示すように４×４の行列［Ｑ］による不定性が含まれている。
【００６４】
【数１３】
2009151358.tif 000015
【００６５】
元々、行列［Ｐ’］は、式（４）右辺の左側の行列（カメラ射影行列）でなければならないため、変換行列算出ステップ（Ｓ１０７）では、式（１４）に示す行列［Ｐ］を与え（Ｓ１０６：カメラ射影行列［Ｐ］の入力ステップ）、行列［Ｐ’］から行列［Ｐ］へ変換する行列［Ｑ］を式（１５）の計算によって求める。なお、式（１５）右辺の行列［Ｐ’］の肩の†は、行列［Ｐ’］のＭｏｏｒｅ−Ｐｅｎｒｏｓｅ型一般化逆行列であることを意味する。この行列［Ｑ］を使って式（１６）の計算を行い、４×Ｎの物体運動情報を含む行列［Ｘ］を得る（Ｓ１０８：仮の運動情報の復元ステップ）。また、カメラ射影行列［Ｐ］を、例えば、予め備えられた記憶部に保持する。
【００６６】
【数１４】
2009151358.tif 000016
【００６７】
【数１５】
2009151358.tif 000017
【００６８】
【数１６】
2009151358.tif 000018
【００６９】
続いて、図２の反復処理部１５は、保持しておいたカメラ射影行列［Ｐ］（ステップＳ１０６で入力されたもの）から各行ベクトルｍTiとｎTi、並びに、行列［Ｘ］の列ベクトルＳ’j，Ｖ’jを使って式（１７）に示す計算により、再投影誤差△Ｅを算出する（Ｓ１０９：再投影誤差ΔＥの算出ステップ）。
【００７０】
【数１７】
2009151358.tif 000019
【００７１】
このとき、再投影誤差△Ｅと所定の許容値を比較する（Ｓ１１０）。再投影誤差△Ｅが所定の許容値より大きい場合は、式（１８）に示す計算に従って全ての安定化係数λij（ｉ＝１，２，…，Ｍ，ｊ＝１，２，…，Ｎ）を更新する（Ｓ１１１：安定化係数の更新ステップ）。安定化係数が更新されると、行列データ生成部１３に処理を移し、行列データ生成ステップ（Ｓ１０３）からの一連の反復処理を繰り返す。再投影誤差△Ｅが所定の許容値以下の場合は、その時点で反復を終了し、その時点での行列［Ｘ］と安定化係数λijを出力する。
【００７２】
【数１８】
2009151358.tif 000020
【００７３】
最後に、運動情報復元部１６は、反復が完了した時点での安定化係数λijからＶｚj／Ｚj（ｊ＝１，２，…，Ｎ）を式（１９）の計算により求め、行列［Ｘ］の各行ベクトルＳ’j，Ｖ’jから、各特徴点の位置情報Ｓ’j（＝（Ｘj／Ｚj，Ｙj／Ｚj））と運動情報（Ｖ’j，Ｖｚj／Ｚj）（＝（Ｖｘj／Ｚj，Ｖｙj／Ｚj，Ｖｚj／Ｚj））を出力する（運動情報算出ステップ）。
【００７４】
【数１９】
2009151358.tif 000021
【００７５】
なお、上述の説明では、その時系列の順番に従ったフレーム数Ｍの時系列画像Ｉi（ｉ＝１，２，…，Ｍ）を扱ったが、例えば、ｉ＝１，５，６，７，９，１１，１５，２０などと順番通りではなく飛び飛びなフレーム、あるいは、順番を入れ替えた時系列画像にしても、特徴点追跡やこれまでの添え字のｉをセットする値をその飛び飛びや入れ子の順番に合わせるだけで、上記の計算手順を何ら変更することなく実行できる。
【００７６】
以上のように、第１実施形態によれば、時系列画像から得た複数物体上の特徴点の画像座標値から、各点の位置情報と運動情報を同時に復元できる。
【００７７】
［第２実施形態］
第２実施形態は、図６に示すような観測状況で取得した時系列画像から、複数物体上の特徴点の位置情報と運動情報を復元する。
【００７８】
図６における観測状況を以下に説明する。図６中の固定カメラＣ3は、基準平面ＦXY1から角度ψ（あるいは基準平面ＦXY1に垂直な平面からπ／２−ψ）だけ傾いて設置されている。
【００７９】
図６中では、固定カメラＣ3が、フレームｉの画像を撮像した時間における点Ｐ(i)jの空間座標は式（２０）と記述できる。
【００８０】
【数２０】
2009151358.tif 000022
【００８１】
点Ｐ(i)jの空間座標を上記式で表した場合は、式（２１）により透視投影像（ｘij，ｙij）が関係付けられる。なお、内部パラメータが事前に既知であるとする。
【００８２】
【数２１】
2009151358.tif 000023
【００８３】
ここで、式（２２）〜式（２６）に従って変数を置換すると、式（２７）と式（２８）にまとめられる。
【００８４】
【数２２】
2009151358.tif 000024
【００８５】
【数２３】
2009151358.tif 000025
【００８６】
【数２４】
2009151358.tif 000026
【００８７】
【数２５】
2009151358.tif 000027
【００８８】
【数２６】
2009151358.tif 000028
【００８９】
【数２７】
2009151358.tif 000029
【００９０】
【数２８】
2009151358.tif 000030
【００９１】
すなわち、第１実施形態において、（Ｘj，Ｙj，Ｚj）←（Ｘ’j，Ｙ’j，Ｚj）、かつ、（Ｖｘj，Ｖｙj，Ｖｚj）←（Ｖｘ’j，Ｖｙ’j，Ｖｚ’j）と置き換えることによって、第１実施形態で説明した同様の処理手順を利用できる。つまり、（Ｘ’j，Ｙ’j，Ｚj）と（Ｖｘ’j，Ｖｙ’j，Ｖｚ’j）はカメラ姿勢を考慮しないときの３次元位置と速度ベクトルである。
【００９２】
第２実施形態における３次元運動復元装置の構成を図７に基づいて説明する。図７中の３次元運動復元装置は、時系列画像を蓄積した時系列画像データベース１１，各画像における特徴点の座標値を観測する特徴点観測部１２，行列分解のための行列データを生成する行列データ生成部１３，その行列データから行列分解の処理をする行列分解処理部１４，所定の許容値に収束するまで反復処理を繰り返すための反復処理部１５，ある基準平面に対するカメラ姿勢を推定するカメラ姿勢推定部１８，その基準平面に対して物体運動情報を復元する運動情報復元部１６，計算を行い、各部を制御する制御部（図示省略；例えば、ＣＰＵやＯＳを含む制御部），メモリなどの一般的な記憶装置を含み、当該３次元運動復元装置に関する情報を記憶し管理する記憶部（図示省略）を備える。
【００９３】
時系列画像データベース１１は、例えば、ハードディスクドライブ装置，ＲＡＩＤ装置，ＣＤ−ＲＯＭなどの記録媒体上に構築されても良いし、または、通信回線（ネットワークなど）を介して（リモートな）データ資源を利用する形態でもどちらでも構わない。また、上述の３次元運動復元装置が、時系列画像データベース１１もしくは通信回線から画像データを入力する画像入力部（図示省略）を備えていると考えて良い。
【００９４】
さらに、図８は、リアルタイムで処理する３次元運動復元装置の構成図であって、第２実施形態は必ずしも各データベース部などの（永続的な）記憶装置を必要としない。
【００９５】
第２実施形態において、各点の位置情報（Ｘj／Ｚj，Ｙj／Ｚj）（ｊ＝１，２，…，Ｎ）と運動情報（Ｖｘj／Ｚj，Ｖｙj／Ｚj，Ｖｚj／Ｚj）（ｊ＝１，２，…，Ｎ）を復元するために、カメラ姿勢推定処理部１８が基準平面（例えば、基準平面ＦXY2）に対するカメラの傾きを推定するために、第１実施形態と比べ、その姿勢を使った運動情報復元部１６の処理が異なる。以下では、運動情報復元部１６の異なる処理内容を中心に記述する。
【００９６】
まず、第２実施形態における３次元運動復元装置は、第１実施形態と同様に、特徴点観測部１２において特徴点の画像座標（ｘij，ｙij）を測定し、行列データ生成部１３、行列分解処理部１４、反復処理部１５からなる一連の反復処理において再投影誤差△Ｅが所定の許容値以下になった時点、あるいは収束したと判断した時点で物体運動情報を含む行列［Ｘ］と安定化係数λ’ijを出力する（Ｓ１０１〜Ｓ１１１）。
【００９７】
運動情報復元部１６は、安定化係数λ’ijから式（１９）の計算によりＶｚ’j／Ｚ’jを求める。なお、式（１９）においてλij←λ’ijとＶｚj／Ｚｊ←Ｖｚ’j／Ｚ’jに置き換えて計算する（置換計算に基づく運動情報算出ステップ）。
【００９８】
一方、カメラ姿勢推定部１８は、カメラの基準平面に対する傾き角度ψ（カメラ姿勢情報）を求める。簡単のために、空間中の点は平面運動であると仮定するとＶｚj＝０とおける。Ｖｚj＝０として、式（２５）と式（２６）の関係から式（２９）が導き出せるため、傾き角ψを式（３０）により得る（カメラ姿勢推定ステップ）。
【００９９】
【数２９】
2009151358.tif 000031
【０１００】
【数３０】
2009151358.tif 000032
【０１０１】
さらに、運動情報復元部１６が、求めた傾き角ψと式（２３）の置換関係から式（３１）を使ってＶｙj／Ｚjを得る。同様に、式（２２）の関係と先に得たＹj／Ｚjを使って式（３２）によりＸj／Ｚjを得て、式（２４）の関係とＶｘ’j／Ｚ’jを使って式（３３）によりＶｘj／Ｚjを得る（傾き角に基づく運動情報算出ステップ）。
【０１０２】
【数３１】
2009151358.tif 000033
【０１０３】
【数３２】
2009151358.tif 000034
【０１０４】
【数３３】
2009151358.tif 000035
【０１０５】
最後に、Ｖｚj＝０とした式（２５）の関係とＶｙ’j／Ｚ’jを使って式（３４）によりＶｙj／Ｚjを求めて、第１実施形態と同様に、各特徴点の位置情報（Ｘj／Ｚj，Ｙj／Ｚj）と運動情報（Ｖｘj／Ｚj，Ｖｙj／Ｚj）を出力する（運動情報算出ステップ）。
【０１０６】
【数３４】
2009151358.tif 000036
【０１０７】
以上のように第２実施形態によれば、図６のように基準平面に対して傾きψのカメラの場合でも、時系列画像から得た複数物体上の特徴点の画像座標値から、各点の位置情報と運動情報を同時に復元できる。
【０１０８】
［第３実施形態］
第３実施形態は、固定カメラの姿勢情報（以下、単に、カメラ姿勢情報という）が既知である（あるいは、カメラキャリブレーション作業によって事前にカメラ姿勢情報が得られている）ことを前提に、そのカメラ姿勢情報を使って複数物体上の特徴点の位置情報と運動情報を復元するものである。
【０１０９】
第３実施形態における３次元運動復元装置の構成を図９に基づいて説明する。図９中の３次元運動復元装置は、時系列画像を蓄積した時系列画像データベース１１，各画像における特徴点の座標値を観測する特徴点観測部１２，行列分解のための行列データを生成する行列データ生成部１３，その行列データから行列分解の処理をする行列分解処理部１４，所定の許容値に収束するまで反復処理を繰り返すための反復処理部１５，外部センサなどを含み、カメラ姿勢に関する情報を与えるカメラ情報入力部１９，そのカメラ情報を使って物体運動情報を復元する運動情報復元部１６，計算を行い、各部を制御する制御部（図示省略；例えば、ＣＰＵやＯＳを含む制御部），メモリなどの一般的な記憶装置を含み、当該３次元運動復元装置に関する情報を記憶し管理する記憶部（図示省略）を備える。
【０１１０】
時系列画像データベース１１は、例えば、ハードディスクドライブ装置，ＲＡＩＤ装置，ＣＤ−ＲＯＭなどの記録媒体上に構築されても良いし、または、通信回線（ネットワークなど）を介して（リモートな）データ資源を利用する形態でもどちらでも構わない。また、上述の３次元運動復元装置が、時系列画像データベース１１もしくは通信回線から画像データを入力する画像入力部（図示省略）を備えていると考えて良い。
【０１１１】
さらに、図１０は、リアルタイムで処理する３次元運動復元装置の構成図であって、第１実施形態は必ずしも各データベース部などの（永続的な）記憶装置を必要としない。
【０１１２】
第３実施形態において、第１及び第２実施形態と比べて、カメラ情報入力部１９と運動情報復元部１６の処理に差異があるため、その処理内容を以下に説明する。
【０１１３】
第３実施形態を図６に示すような観測状況に基づいて説明する。第２実施形態と同様に、特徴点観測部において特徴点の画像座標（ｘij，ｙij）を測定し、行列データ生成部、行列分解処理部、反復処理部からなる一連の反復処理において再投影誤差△Ｅが所定の許容値以下になった時点、あるいは収束したと判断した時点で物体運動情報を含む行列［Ｘ］と安定化係数λ’ijを出力する（Ｓ１０１〜Ｓ１１１）。
【０１１４】
ここで、一旦、運動情報復元部１６において、安定化係数λ’ijから式（１９）の計算によりＶｚ’j／Ｚ’jを求めておく（置換計算に基づく運動情報算出ステップ）。
【０１１５】
カメラ情報入力部１９によって傾き角ψが与えられる（カメラ情報入力ステップ）ため、第２実施形態と同様に、運動情報復元部１６が、式（３１），式（３２），式（３３）から、それぞれＹj／Ｚj，Ｘj／Ｚj，Ｖｘj／Ｚjを得る。なお、第３実施形態ではＶｚj＝０に限定する必要は無く、式（２５）と式（２６）の関係から式（３５）が導出できるため、式（３５）に従ってＶｙj／ＺjとＶｚj／Ｚjを復元する（カメラ情報に基づく運動情報算出ステップ）。
【０１１６】
【数３５】
2009151358.tif 000037
【０１１７】
次に、第３実施形態おいて、固定カメラが基準軸に対して回転角ψ，ω，θで傾いている場合の一般的な例を説明する。
【０１１８】
空間中の点Ｐ(i)jは、式（３６）と表され、回転行列の要素は回転角ψ，ω，θを使って式（３７）と表される。第２実施形態で説明したように式（４０）〜式（４４）に従って変数を置換すれば、式（３８）と式（３９）の関係にまとめることができる。すなわち、第１実施形態において（Ｘj，Ｙj，Ｚj）←（Ｘ’’j，Ｙ’’j，Ｚ’’j）、かつ、（Ｖｘj，Ｖｙj，Ｖｚj）←（Ｖｘ’’j，Ｖｙ’’j，Ｖｚ’’j）と置き換えることにより、第１実施形態で説明した同様の処理手順を利用できる。
【０１１９】
【数３６】
2009151358.tif 000038
【０１２０】
【数３７】
2009151358.tif 000039
【０１２１】
【数３８】
2009151358.tif 000040
【０１２２】
【数３９】
2009151358.tif 000041
【０１２３】
【数４０】
2009151358.tif 000042
【０１２４】
【数４１】
2009151358.tif 000043
【０１２５】
【数４２】
2009151358.tif 000044
【０１２６】
【数４３】
2009151358.tif 000045
【０１２７】
【数４４】
2009151358.tif 000046
【０１２８】
第１実施形態と同様に反復処理部１５において、再投影誤差△Ｅが所定の許容値以下になった時点、あるいは収束したと判断した時点で物体運動情報を含む行列［Ｘ］と安定化係数λ’’ijを出力する。
【０１２９】
さらに、λ’’ijから式（１９）の計算によりＶｚ’’j／Ｚ’’jを求める。なお、式（１９）においてλij←λ’’ijとＶｚj／Ｚj←Ｖｚ’’j／Ｚ’’jに置き換えて計算する。ここで、式（４０）〜式（４４）の置換関係から式（４５）のように記述できるため、運動情報復元部１６では、カメラ情報入力部１９から回転角ψ，ω，θを与え、式（４５）の連立方程式を計算して、位置情報（Ｘj／Ｚj，Ｙj／Ｚj）（ｊ＝１，２，…，Ｎ）と運動情報（Ｖｘj／Ｚj，Ｖｙj／Ｚj，Ｖｚj／Ｚj）（ｊ＝１，２，…，Ｎ）を求める（カメラ情報に基づく運動情報算出ステップ）。
【０１３０】
【数４５】
2009151358.tif 000047
【０１３１】
以上のように第３実施形態によれば、固定カメラが基準軸に対して回転角ψ，ω，θで傾いている場合でも、時系列画像から得た複数物体上の特徴点の画像座標値から、各点の位置情報と運動情報を同時に復元できる。
【０１３２】
また、第１乃至第３実施形態の３次元運動復元装置における各部（もしくは各手段）の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、第１乃至第３実施形態の３次元運動復元装置に関する方法（手順）をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体（記憶媒体）、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標）  Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【０１３３】
第１乃至第３実施形態の３次元運動復元装置に関する方法（手順）における各ステップを手段（コンピュータプログラムによる手段）として構成し、３次元運動復元装置を実装しても良い。例えば、図５中のステップＳ１０１〜Ｓ１１０の各ステップを手段（コンピュータプログラムによる手段）として構成し、３次元運動復元装置を実装しても良い。
【０１３４】
さらに、第１乃至第３実施形態の３次元運動復元装置に関する方法を記述したコンピュータプログラムを、その方法に必要とされる入出力データを格納したメモリや外部記憶部等にアクセスするように実装してもよい。
【０１３５】
以上、本発明の実施形態について説明したが、本発明は説明した実施形態に限定されるものでなく、各請求項に記載した範囲において各種の変形を行うことが可能である。
【図面の簡単な説明】
【０１３６】
【図１】第１実施形態における観測状況を示す図。
【図２】第１実施形態における３次元運動復元装置（画像蓄積型）の構成図。
【図３】第１実施形態における３次元運動復元装置（リアルタイム処理型）の構成図。
【図４】時系列画像での特徴点の観測を示す図。
【図５】行列データ生成部、行列分解処理部、反復処理部に関する処理フロー図。
【図６】第２実施形態における観測状況を示す図。
【図７】第２実施形態における３次元運動復元装置（画像蓄積型）の構成図。
【図８】第２実施形態における３次元運動復元装置（リアルタイム処理型）の構成図。
【図９】第３実施形態における３次元運動復元装置（画像蓄積型）の構成図。
【図１０】第３実施形態における３次元運動復元装置（リアルタイム処理型）の構成図。
【図１１】空間中の点と固定カメラの位置関係を説明する図。
【符号の説明】
【０１３７】
１１…時系列画像データベース
１２…特徴点観測部
１３…行列データ生成部
１４…行列分解処理部
１５…反復処理部
１６…運動情報復元部
１７…画像入力部
１８…カメラ姿勢推定部
１９…カメラ情報入力部
Ｃ1，Ｃ2，Ｃ3…固定カメラ
Ｆ…画像面
ＦXY1，ＦXY2…基準平面
ＦZ…基準平面と垂直な平面
Ｈ…画像中のある領域
Ｉ1，Ｉi，ＩM…画像
Ｐ(i)j…運動する物体上の点（もしくは空間中の点）
Ｐ(1)j…初期位置
ＰP…主点
Ｖj…一定速度
ｒ1j，ｒij，ｒMj…座標
ψ…角度
【図１】
2009151358.tif 000048
【図２】
2009151358.tif 000049
【図３】
2009151358.tif 000050
【図４】
2009151358.tif 000051
【図５】
2009151358.tif 000052
【図６】
2009151358.tif 000053
【図７】
2009151358.tif 000054
【図８】
2009151358.tif 000055
【図９】
2009151358.tif 000056
【図１０】
2009151358.tif 000057
【図１１】
2009151358.tif 000058