(57)【特許請求の範囲】
【請求項１】
画像入力装置を使って取得した時系列画像中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、被写体の物体形状、並びに、時系列に関する画像入力装置の運動を復元する方法であって、
時系列画像中の特徴点の時間的変動量を集計した計測行列データから、移動物体を検出するための雑音除去を行い、画像入力装置の運動、物体の形状、並びに、物体の移動速度を表現する部分行列に分解する第１の手順と、
画像入力装置の姿勢に関してセンシング装置を使って、前記で使用した時系列画像と同期しながら、画像入力装置の姿勢を計測し、該時系列に対する姿勢情報から、各時系列画像に対応する運動行列を生成する第２の手順と、
前記第１の手順にて分解した部分行列から画像入力装置の運動を表現する行列を抽出し、該抽出した画像入力装置の運動を表現する行列と前記第２の手順で姿勢情報から生成した運動行列との間の変換行列を算出する第３の手順と、
前記第３の手順にて算出した変換行列を用いて、前記第１の手順で分解した物体の形状、並びに、物体の速度を表現する行列に作用させて、物体形状行列、並びに、物体の移動速度行列を復元する第４の手順とを有し、
前記第４の手順にて物体形状行列と物体の移動速度行列を復元した後、物体の移動速度行列から、個々の物体の速度ベクトル量を抽出し、閾値以上の速度ベクトル量を有すると判定した場合、その速度ベクトルを有する特徴点を、計測行列データから除外し、移動物体を削除した残りの特徴点から構成される計測行列データに対して前記第１〜第４の手順を繰り返すことで移動物体を次第に除去し、残った特徴点全体から物体形状行列、並びに物体の移動速度行列を復元した後、その移動速度行列において、速度ベクトルが閾値以下であると判定した時点で、移動物体を除去した静止物体点のみの物体形状を復元することにより、
物体に関する形状と物体に関する移動速度を同時に復元することを特徴とする物体形状復元・移動物体検出方法。
【請求項２】
画像入力装置を使って取得した時系列画像中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、被写体の物体形状、並びに、時系列に関する画像入力装置の運動を復元する方法であって、
時系列画像中の特徴点の時間的変動量を集計した計測行列データから、移動物体を検出するための雑音除去を行い、画像入力装置の運動、物体の形状、並びに、物体の移動速度を表現する部分行列に分解する第１の手順と、
画像入力装置の姿勢に関してセンシング装置を使って、前記で使用した時系列画像と同期しながら、画像入力装置の姿勢を計測し、該時系列に対する姿勢情報から、各時系列画像に対応する運動行列を生成する第２の手順と、
前記第１の手順にて分解した部分行列から画像入力装置の運動を表現する行列を抽出し、該抽出した画像入力装置の運動を表現する行列と前記第２の手順で姿勢情報から生成した運動行列との間の変換行列を算出する第３の手順と、
前記第３の手順にて算出した変換行列を用いて、前記第１の手順で分解した物体の形状、並びに、物体の速度を表現する行列に作用させて、物体形状行列、並びに、物体の移動速度行列を復元する第４の手順とを有し、
前記第４の手順にて物体形状行列と物体の移動速度行列を復元した後、画像入力装置運動、物体形状、並びに物体の移動速度行列から、各時系列での画像面へ逆投影し、計測行列データを測定したときの時系列にわたる画像座標値と逆投影時との間の誤差が収束しているかの判定を行い、収束していないと判定した場合は、次の反復で使用する計測行列データを生成して前記第１〜第４の手順を繰り返し、収束していれば、その時点での物体形状と物体の移動速度行列を出力することにより、
物体に関する形状と物体に関する移動速度を同時に復元することを特徴とする物体形状復元・移動物体検出方法。
【請求項３】
画像入力装置を使って取得した時系列画像中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、被写体の物体形状、並びに、時系列に関する画像入力装置の運動を復元する方法であって、
時系列画像中の特徴点の時間的変動量を集計した計測行列データから、移動物体を検出するための雑音除去を行い、画像入力装置の運動、物体の形状、並びに、物体の移動速度を表現する部分行列に分解する第１の手順と、
画像入力装置の姿勢に関してセンシング装置を使って、前記で使用した時系列画像と同期しながら、画像入力装置の姿勢を計測し、該時系列に対する姿勢情報から、各時系列画像に対応する運動行列を生成する第２の手順と、
前記第１の手順にて分解した部分行列から画像入力装置の運動を表現する行列を抽出し、該抽出した画像入力装置の運動を表現する行列と前記第２の手順で姿勢情報から生成した運動行列との間の変換行列を算出する第３の手順と、
前記第３の手順にて算出した変換行列を用いて、前記第１の手順で分解した物体の形状、並びに、物体の速度を表現する行列に作用させて、物体形状行列、並びに、物体の移動速度行列を復元する第４の手順とを有し、
前記第４の手順にて物体形状行列と物体の移動速度行列を復元した後、画像入力装置運動、物体形状、並びに物体の移動速度行列から、各時系列での画像面へ逆投影し、計測行列データを測定したときの時系列での画像座標値と逆投影時との間の誤差が収束しているかの判定を行い、また、同時に物体の移動速度行列から、指定した閾値を越えているかの判定を行い、逆投影時での誤差が収束していないと判定した場合は、閾値を超える特徴点を計測行列データから除去して、次の反復で使用する計測行列データを生成して前記第１〜第４の手順を繰り返し、逆投影時での誤差が収束していると判定された場合、その時点での物体形状を出力して、移動物体を除去した静止物体点のみの物体形状を復元することにより、
物体に関する形状と物体に関する移動速度を同時に復元することを特徴とする物体形状復元・移動物体検出方法。
【請求項４】
画像入力装置を使って取得した時系列画像中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、被写体の物体形状、並びに、時系列に関する画像入力装置の運動を復元する方法であって、
時系列画像中の特徴点の時間的変動量を集計した計測行列データから、移動物体を検出するための雑音除去を行い、画像入力装置の運動、物体の形状、並びに、物体の移動速度を表現する部分行列に分解する第１の手順と、
画像入力装置の姿勢に関してセンシング装置を使って、前記で使用した時系列画像と同期しながら、画像入力装置の姿勢を計測し、該時系列に対する姿勢情報から、各時系列画像に対応する運動行列を生成する第２の手順と、
前記第１の手順にて分解した部分行列から画像入力装置の運動を表現する行列を抽出し、該抽出した画像入力装置の運動を表現する行列と前記第２の手順で姿勢情報から生成した運動行列との間の変換行列を算出する第３の手順と、
前記第３の手順にて算出した変換行列を用いて、前記第１の手順で分解した物体の形状、並びに、物体の速度を表現する行列に作用させて、物体形状行列、並びに、物体の移動速度行列を復元する第４の手順とを有し、
前記第４の手順にて物体形状行列と物体の移動速度行列を復元した後、画像入力装置運動、物体形状、並びに物体の移動速度行列から、各時系列での画像面へ逆投影し、計測行列データを測定したときの時系列での画像座標値と逆投影時との間の誤差が収束しているかの判定を行い、また、同時に物体の移動速度行列から、指定した閾値を越えているかの判定を行い、逆投影時での誤差が収束していないと判定した場合は、閾値を超える特徴点を計測行列データから除去して、次の反復で使用する計測行列データを生成して前記第１〜第４の手順を繰り返し、逆投影時での誤差が収束していると判定した場合で、かつ、物体の移動速度行列が閾値以下であると判定した場合、その時点での特徴点からなる計測行列データを分解した部分行列から運動を表現する行列を抽出し、その行列と、センシング装置から得た姿勢情報から復元した画像入力装置運動行列との間の変換行列を算出し、該変換行列を用いて、分解した物体を表現する行列に作用させて、物体形状行列を復元することにより、
物体に関する形状と物体に関する移動速度を同時に復元することを特徴とする物体形状復元・移動物体検出方法。
【請求項５】
画像入力装置を使って取得した時系列画像中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、被写体の物体形状、並びに、時系列に関する画像入力装置の運動を復元する方法であって、
時系列画像中の特徴点の時間的変動量を集計した計測行列データから、移動物体を検出するための雑音除去を行い、画像入力装置の運動、物体の形状、並びに、物体の移動速度を表現する部分行列に分解する第１の手順と、
画像入力装置の姿勢に関してセンシング装置を使って、前記で使用した時系列画像と同期しながら、画像入力装置の姿勢を計測し、該時系列に対する姿勢情報から、各時系列画像に対応する運動行列を生成する第２の手順と、
前記第１の手順にて分解した部分行列から画像入力装置の運動を表現する行列を抽出し、該抽出した画像入力装置の運動を表現する行列と前記第２の手順で姿勢情報から生成した運動行列との間の変換行列を算出する第３の手順と、
前記第３の手順にて算出した変換行列を用いて、前記第１の手順で分解した物体の形状、並びに、物体の速度を表現する行列に作用させて、物体形状行列、並びに、物体の移動速度行列を復元する第４の手順とを有し、
前記第４の手順にて物体形状行列と物体の移動速度行列を復元した後、画像入力装置運動、物体形状、並びに物体の移動速度行列から、各時系列での画像面へ逆投影し、計測行列データを測定した時系列での画像座標値と逆投影時との間の誤差が収束しているかの判定を行い、また、同時に速度ベクトルから、指定した閾値を越えているかの判定を行い、逆投影時での誤差が収束していないと判定した場合は、閾値を超える特徴点を除去して、次の反復で使用する計測行列データを生成して前記第１〜第４の手順を繰り返し、逆投影時での誤差が収束していると判定した場合で、かつ、物体の速度行列が閾値以下であると判定した場合、その時点での特徴点からなる計測行列データに対して、それを分解して得た部分行列から運動を表現する行列を抽出し、その行列と、センシング装置から得た姿勢情報から復元した画像入力装置運動行列との間の変換行列を算出し、該変換行列を用いて、分解した物体を表現する行列に作用させて、物体形状行列を復元し、さらに、画像入力装置運動と物体形状から画像面へ逆投影し、時系列での画像座標値と逆投影時との間の誤差が収束しているかの判定を行い、この誤差が収束していないと判定した場合は、次の反復で使用する計測行列データを生成し、上記の分解を繰り返し、逆投影時の誤差が収束していると判定した場合は、その時点での物体形状行列を出力することにより、
物体に関する形状と物体に関する移動速度を同時に復元することを特徴とする物体形状復元・移動物体検出方法。
【請求項６】
画像入力装置を使って取得した時系列画像中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、被写体の物体形状、並びに、時系列に関する画像入力装置の運動を復元する装置であって、
時系列画像中の特徴点の時間的変動量を集計した計測行列データから、移動物体を検出するための雑音除去を行い、画像入力装置の運動、物体の形状、並びに、物体の移動速度を表現する部分行列に分解する第１の手段と、
画像入力装置の姿勢に関してセンシング装置を使って、前記で使用した時系列画像と同期しながら、画像入力装置の姿勢を計測し、該時系列に対する姿勢情報から、各時系列画像に対応する運動行列を生成する第２の手段と、
前記第１の手段にて分解した部分行列から画像入力装置の運動を表現する行列を抽出し、該抽出した画像入力装置の運動を表現する行列と前記第２の手段で姿勢情報から生成した運動行列との間の変換行列を算出する第３の手段と、
前記第３の手段にて算出した変換行列を用いて、前記第１の手段で分解した物体の形状、並びに、物体の速度を表現する行列に作用させて、物体形状行列、並びに、物体の移動速度行列を復元する第４の手段とを有し、
前記第４の手段にて物体形状行列と物体の移動速度行列を復元した後、物体の移動速度行列から、個々の物体の速度ベクトル量を抽出し、閾値以上の速度ベクトル量を有すると判定した場合、その速度ベクトルを有する特徴点を、計測行列データから除外し、移動物体を削除した残りの特徴点から構成される計測行列データに対して前記第１〜第４の手段を繰り返すことで移動物体を次第に除去し、残った特徴点全体から物体形状行列、並びに物体の移動速度行列を復元した後、その移動速度行列において、速度ベクトルが閾値以下であると判定した時点で、移動物体を除去した静止物体点のみの物体形状を復元することにより、
物体に関する形状と物体に関する移動速度を同時に復元することを特徴とする物体形状復元・移動物体検出装置。
【請求項７】
画像入力装置を使って取得した時系列画像中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、被写体の物体形状、並びに、時系列に関する画像入力装置の運動を復元する装置であって、
時系列画像中の特徴点の時間的変動量を集計した計測行列データから、移動物体を検出するための雑音除去を行い、画像入力装置の運動、物体の形状、並びに、物体の移動速度を表現する部分行列に分解する第１の手段と、
画像入力装置の姿勢に関してセンシング装置を使って、前記で使用した時系列画像と同期しながら、画像入力装置の姿勢を計測し、該時系列に対する姿勢情報から、各時系列画像に対応する運動行列を生成する第２の手段と、
前記第１の手段にて分解した部分行列から画像入力装置の運動を表現する行列を抽出し、該抽出した画像入力装置の運動を表現する行列と前記第２の手段で姿勢情報から生成した運動行列との間の変換行列を算出する第３の手段と、
前記第３の手段にて算出した変換行列を用いて、前記第１の手段で分解した物体の形状、並びに、物体の速度を表現する行列に作用させて、物体形状行列、並びに、物体の移動速度行列を復元する第４の手段とを有し、
前記第４の手段にて物体形状行列と物体の移動速度行列を復元した後、画像入力装置運動、物体形状、並びに物体の移動速度行列から、各時系列での画像面へ逆投影し、計測行列データを測定したときの時系列にわたる画像座標値と逆投影時との間の誤差が収束しているかの判定を行い、収束していないと判定した場合は、次の反復で使用する計測行列データを生成して前記第１〜第４の手段を繰り返し、収束していれば、その時点での物体形状と物体の移動速度行列を出力することにより、
物体に関する形状と物体に関する移動速度を同時に復元することを特徴とする物体形状復元・移動物体検出装置。
【請求項８】
画像入力装置を使って取得した時系列画像中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、被写体の物体形状、並びに、時系列に関する画像入力装置の運動を復元する装置であって、
時系列画像中の特徴点の時間的変動量を集計した計測行列データから、移動物体を検出するための雑音除去を行い、画像入力装置の運動、物体の形状、並びに、物体の移動速度を表現する部分行列に分解する第１の手段と、
画像入力装置の姿勢に関してセンシング装置を使って、前記で使用した時系列画像と同期しながら、画像入力装置の姿勢を計測し、該時系列に対する姿勢情報から、各時系列画像に対応する運動行列を生成する第２の手段と、
前記第１の手段にて分解した部分行列から画像入力装置の運動を表現する行列を抽出し、該抽出した画像入力装置の運動を表現する行列と前記第２の手段で姿勢情報から生成した運動行列との間の変換行列を算出する第３の手段と、
前記第３の手段にて算出した変換行列を用いて、前記第１の手段で分解した物体の形状、並びに、物体の速度を表現する行列に作用させて、物体形状行列、並びに、物体の移動速度行列を復元する第４の手段とを有し、
前記第４の手段にて物体形状行列と物体の移動速度行列を復元した後、画像入力装置運動、物体形状、並びに物体の移動速度行列から、各時系列での画像面へ逆投影し、計測行列データを測定したときの時系列での画像座標値と逆投影時との間の誤差が収束しているかの判定を行い、また、同時に物体の移動速度行列から、指定した閾値を越えているかの判定を行い、逆投影時での誤差が収束していないと判定した場合は、閾値を超える特徴点を計測行列データから除去して、次の反復で使用する計測行列データを生成して前記第１〜第４の手段を繰り返し、逆投影時での誤差が収束していると判定された場合、その時点での物体形状を出力して、移動物体を除去した静止物体点のみの物体形状を復元することにより、
物体に関する形状と物体に関する移動速度を同時に復元することを特徴とする物体形状復元・移動物体検出装置。
【請求項９】
画像入力装置を使って取得した時系列画像中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、被写体の物体形状、並びに、時系列に関する画像入力装置の運動を復元する装置であって、
時系列画像中の特徴点の時間的変動量を集計した計測行列データから、移動物体を検出するための雑音除去を行い、画像入力装置の運動、物体の形状、並びに、物体の移動速度を表現する部分行列に分解する第１の手段と、
画像入力装置の姿勢に関してセンシング装置を使って、前記で使用した時系列画像と同期しながら、画像入力装置の姿勢を計測し、該時系列に対する姿勢情報から、各時系列画像に対応する運動行列を生成する第２の手段と、
前記第１の手段にて分解した部分行列から画像入力装置の運動を表現する行列を抽出し、該抽出した画像入力装置の運動を表現する行列と前記第２の手段で姿勢情報から生成した運動行列との間の変換行列を算出する第３の手段と、
前記第３の手段にて算出した変換行列を用いて、前記第１の手段で分解した物体の形状、並びに、物体の速度を表現する行列に作用させて、物体形状行列、並びに、物体の移動速度行列を復元する第４の手段とを有し、
前記第４の手段にて物体形状行列と物体の移動速度行列を復元した後、画像入力装置運動、物体形状、並びに物体の移動速度行列から、各時系列での画像面へ逆投影し、計測行列データを測定したときの時系列での画像座標値と逆投影時との間の誤差が収束しているかの判定を行い、また、同時に物体の移動速度行列から、指定した閾値を越えているかの判定を行い、逆投影時での誤差が収束していないと判定した場合は、閾値を超える特徴点を計測行列データから除去して、次の反復で使用する計測行列データを生成して前記第１〜第４の手段を繰り返し、逆投影時での誤差が収束していると判定した場合で、かつ、物体の移動速度行列が閾値以下であると判定した場合、その時点での特徴点からなる計測行列データを分解した部分行列から運動を表現する行列を抽出し、その行列と、センシング装置から得た姿勢情報から復元した画像入力装置運動行列との間の変換行列を算出し、該変換行列を用いて、分解した物体を表現する行列に作用させて、物体形状行列を復元することにより、
物体に関する形状と物体に関する移動速度を同時に復元することを特徴とする物体形状復元・移動物体検出装置。
【請求項１０】
画像入力装置を使って取得した時系列画像中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、被写体の物体形状、並びに、時系列に関する画像入力装置の運動を復元する装置であって、
時系列画像中の特徴点の時間的変動量を集計した計測行列データから、移動物体を検出するための雑音除去を行い、画像入力装置の運動、物体の形状、並びに、物体の移動速度を表現する部分行列に分解する第１の手段と、
画像入力装置の姿勢に関してセンシング装置を使って、前記で使用した時系列画像と同期しながら、画像入力装置の姿勢を計測し、該時系列に対する姿勢情報から、各時系列画像に対応する運動行列を生成する第２の手段と、
前記第１の手段にて分解した部分行列から画像入力装置の運動を表現する行列を抽出し、該抽出した画像入力装置の運動を表現する行列と前記第２の手段で姿勢情報から生成した運動行列との間の変換行列を算出する第３の手段と、
前記第３の手段にて算出した変換行列を用いて、前記第１の手段で分解した物体の形状、並びに、物体の速度を表現する行列に作用させて、物体形状行列、並びに、物体の移動速度行列を復元する第４の手段とを有し、
前記第４の手段にて物体形状行列と物体の移動速度行列を復元した後、画像入力装置運動、物体形状、並びに物体の移動速度行列から、各時系列での画像面へ逆投影し、計測行列データを測定した時系列での画像座標値と逆投影時との間の誤差が収束しているかの判定を行い、また、同時に速度ベクトルから、指定した閾値を越えているかの判定を行い、逆投影時での誤差が収束していないと判定した場合は、閾値を超える特徴点を除去して、次の反復で使用する計測行列データを生成して前記第１〜第４の手段を繰り返し、逆投影時での誤差が収束していると判定した場合で、かつ、物体の速度行列が閾値以下であると判定した場合、その時点での特徴点からなる計測行列データに対して、それを分解して得た部分行列から運動を表現する行列を抽出し、その行列と、センシング装置から得た姿勢情報から復元した画像入力装置運動行列との間の変換行列を算出し、該変換行列を用いて、分解した物体を表現する行列に作用させて、物体形状行列を復元し、さらに、画像入力装置運動と物体形状から画像面へ逆投影し、時系列での画像座標値と逆投影時との間の誤差が収束しているかの判定を行い、この誤差が収束していないと判定した場合は、次の反復で使用する計測行列データを生成し、上記の分解を繰り返し、逆投影時の誤差が収束していると判定した場合は、その時点での物体形状行列を出力することにより、
物体に関する形状と物体に関する移動速度を同時に復元することを特徴とする物体形状復元・移動物体検出装置。
【請求項１１】
請求項１〜５のいずれか１項に記載の物体形状復元・移動物体検出方法における処理手順をコンピュータで実行可能に構成したことを特徴とするプログラム。
【請求項１２】
請求項１〜５のいずれか１項に記載の物体形状復元・移動物体検出方法における処理手順をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像入力装置等により取得した時系列画像データから、対象物の３次元形状または構造を計測、または、獲得、並びに復元、さらには画像入力装置（カメラ）の光学的透視投影視点の運動、並びに、被写体（物体）の時間的運動を復元する方法、装置に係り、特に、コンピュータビジョンにおけるカメラ運動、並びに物体形状復元、並びに、被写体（物体）のカメラ運動に対する相対的な運動の復元に関する。
【０００２】
また、本発明は、車載映像、船上からの海上映像、空撮などの時系列画像全般に対して利用可能であり、特に、カメラ視点の姿勢や時系列映像に写っている外界の形状、すなわち、被写体（物体）の外観の形状の空間情報を復元すること、並びに、時系列映像中の移動物体の運動を検出し、静止物体、または、被写体（移動物体）の画像認識に関する。
【０００３】
【従来の技術】
コンピュータビジョン分野では、時系列画像データから、対象物の形状を計測、または、獲得する手法には、ステレオ計測やエピポーラ解析を用いた３次元解析手法がある。また、最近では、カメラの運動と被写体（物体）の形状に関する３次元情報を、同時に、計測または獲得する手法の代表的な手法として、下記の文献に示される因子分解法がある。
【０００４】
文献
〔Ａ〕C.Tomasi, T.Kanade,“Shape and Motion from Image Streames Under Orthography A Factorization Method" International Journal of Computer Vision,Vol.9 No.2 1992
〔Ｂ〕C.Tomasi, T.Kanade,“A Paraperspective Factorization Method for  Shape and Motion Recovery"IEEE Transactions Pattern Analysis and Machine Intelligence,Vol.19,No.3,1997
これらの手法によれば、物体が撮影されている複数の時系列画像から、３次元の形状に関する情報、並びに、カメラ視点に関する運動を同時に獲得、復元することができる。
【０００５】
しかし、移動手段などを利用して撮影カメラを動かしながら撮影した時系列映像においては、撮影時の環境、撮影カメラの微小な動きによりシームレスに映像取得が困難であり、時系列映像中にランダム性の雑音が混入し、カメラ運動を正確に復元することが困難な場合がある。
【０００６】
さらに、時系列映像中には、静止物体以外に、移動物体も存在し、特徴点からの物体形状を前提したモデル獲得、復元においては、移動物体か、静止物体かの自動認識が重要な課題となっている。
【０００７】
また、因子分解法を反復的に作用させることで、近似カメラモデルから、現実のカメラモデルに近い透視投影での因子分解が可能であるが、この手法を反復させても、移動物体が混在する場合、物体形状復元に悪影響を及ぼすことがあった。
【０００８】
【発明が解決しようとする課題】
一般に、画像入力装置（カメラ）を使って取得した時系列画像から、カメラの動き、並びに、対象物の形状を同時に復元する場合、時系列画像に混入するランダム雑音の影響や、撮影時のカメラの微小な動きを正確に復元することは困難である。
【０００９】
このような問題を扱うべく、コンピュータビジョンでは、因子分解法、特に、下記の文献〔１〕〔２〕〔３〕に示す反復的透視投影型因子分解法があり、透視投影モデルを幾何的な線形モデルで近似した因子分解法を反復的に作用させることにより、カメラの動き、並びに、物体形状を復元することが可能である。
【００１０】
また、移動物体を線形運動と仮定した下記文献〔４〕に示す因子分解法は、カメラ運動、物体形状、物体の移動速度行列を同時に復元する手法として提案された。
【００１１】
しかし、同時に、かつ、高精度に、カメラの動きと物体形状を復元することは難しい。特に、移動手段を使って撮影カメラを動かしながら撮影する撮影環境では、移動手段との関係、屋外環境との関係でカメラが微小に動くため、容易にシームレスな時系列画像を取得できない。
【００１２】
そのため、ランダム性雑音の影響も大きく、従来の因子分解法（反復的透視投影型因子分解法）では、常に、安定的に、カメラの動きと物体の形状を、同時に、かつ、高精度に復元することは不可能である。さらに、その状況下で、移動物体と静止物体を画像認識することは難しい。
【００１３】
本発明の目的は、上記の各課題を解決した物体形状復元・移動物体検出方法、その装置、そのプログラム、そのプログラムを記録した記録媒体を提供することにある。
【００１４】
文献
〔１〕S.Clisty and R.Horaud,
“Euclidean Shape and Motion from Multiple Perspective Views by Affine Iterations",INRIA Technical Report RR-2421,1994.
〔２〕S.Clisty and R.Horaud,
“Euclidean Shape and Motion from Multiple Perspective Views by Affine Iterations",IEEE Transactions PAMI,Vol.〜18,No.〜11,pp.2495-2503,1996.
〔３〕S.Clisty and R.Horaud,
“Euclidean Reconstruction:from Paraperspective to Perspective",ECCV96,1996.
〔４〕M.Han and T.Kanade,
“The Factorization Method with Linear Motion",CMU-RI-TR-99-23,1999
【００１５】
【課題を解決するための手段】
本発明は、図１に基本構成を示すように、時系列映像特有の画像入力装置の振動に対しても、正確に画像入力装置運動を復元し、かつ、物体の移動速度行列を復元するため、時系列画像から特徴点を追跡し、測定した特徴点の時問的動きから、前記文献〔４〕の線形運動を仮定した因子分解法において、画像入力装置運動を時系列にわたりセンシング装置を使って計測した姿勢情報から生成し、移動物体を２次元平面運動と限定して行列分解し、さらに、生成した画像入力装置運動と、復元した物体形状と物体の移動速度行列を使って、画像面に逆投影し、逆投影した画像座標値と、時系列画像から計測した特徴点の画像座標値との誤差を算出し、その誤差が収束していない場合は、計測行列を生成して、文献〔１〕〜〔３〕と同様の因子分解を反復的に実行し、収束する場合は、その時点での物体形状と物体の移動速度行列を同時に復元することを特徴とする。
【００１６】
この本発明によれば、時系列画像全般（移動手段を利用して撮影した車載映像、海上映像、空撮映像、屋内映像など）から、対象物に関する物体形状とその物体の時系列に関する速度を高精度に獲得、復元することを可能とし、また、これまでの測量技術並の高精度な３次元立体視を可能とし、時系列映像中の移動物体の運動を正確に復元することを可能とし、また、時系列映像から、静止物体、並びに移動物体の画像認識、画像理解を可能とするもので、以下の物体形状復元・移動物体検出方法、装置、プログラムおよび記録媒体を特徴とする。
【００１８】
（方法の発明）
（１）画像入力装置を使って取得した時系列画像中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、被写体の物体形状、並びに、時系列に関する画像入力装置の運動を復元する方法であって、
時系列画像中の特徴点の時間的変動量を集計した計測行列データから、移動物体を検出するための雑音除去を行い、画像入力装置の運動、物体の形状、並びに、物体の移動速度を表現する部分行列に分解する第１の手順と、
画像入力装置の姿勢に関してセンシング装置を使って、前記で使用した時系列画像と同期しながら、画像入力装置の姿勢を計測し、該時系列に対する姿勢情報から、各時系列画像に対応する運動行列を生成する第２の手順と、
前記第１の手順にて分解した部分行列から画像入力装置の運動を表現する行列を抽出し、該抽出した画像入力装置の運動を表現する行列と前記第２の手順で姿勢情報から生成した運動行列との間の変換行列を算出する第３の手順と、
前記第３の手順にて算出した変換行列を用いて、前記第１の手順で分解した物体の形状、並びに、物体の速度を表現する行列に作用させて、物体形状行列、並びに、物体の移動速度行列を復元する第４の手順とを有し、
前記第４の手順にて物体形状行列と物体の移動速度行列を復元した後、物体の移動速度行列から、個々の物体の速度ベクトル量を抽出し、閾値以上の速度ベクトル量を有すると判定した場合、その速度ベクトルを有する特徴点を、計測行列データから除外し、移動物体を削除した残りの特徴点から構成される計測行列データに対して前記第１〜第４の手順を繰り返すことで移動物体を次第に除去し、残った特徴点全体から物体形状行列、並びに物体の移動速度行列を復元した後、その移動速度行列において、速度ベクトルが閾値以下であると判定した時点で、移動物体を除去した静止物体点のみの物体形状を復元することにより、
物体に関する形状と物体に関する移動速度を同時に復元することを特徴とする。
【００１９】
（２）画像入力装置を使って取得した時系列画像中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、被写体の物体形状、並びに、時系列に関する画像入力装置の運動を復元する方法であって、
時系列画像中の特徴点の時間的変動量を集計した計測行列データから、移動物体を検出するための雑音除去を行い、画像入力装置の運動、物体の形状、並びに、物体の移動速度を表現する部分行列に分解する第１の手順と、
画像入力装置の姿勢に関してセンシング装置を使って、前記で使用した時系列画像と同期しながら、画像入力装置の姿勢を計測し、該時系列に対する姿勢情報から、各時系列画像に対応する運動行列を生成する第２の手順と、
前記第１の手順にて分解した部分行列から画像入力装置の運動を表現する行列を抽出し、該抽出した画像入力装置の運動を表現する行列と前記第２の手順で姿勢情報から生成した運動行列との間の変換行列を算出する第３の手順と、
前記第３の手順にて算出した変換行列を用いて、前記第１の手順で分解した物体の形状、並びに、物体の速度を表現する行列に作用させて、物体形状行列、並びに、物体の移動速度行列を復元する第４の手順とを有し、
前記第４の手順にて物体形状行列と物体の移動速度行列を復元した後、画像入力装置運動、物体形状、並びに物体の移動速度行列から、各時系列での画像面へ逆投影し、計測行列データを測定したときの時系列にわたる画像座標値と逆投影時との間の誤差が収束しているかの判定を行い、収束していないと判定した場合は、次の反復で使用する計測行列データを生成して前記第１〜第４の手順を繰り返し、収束していれば、その時点での物体形状と物体の移動速度行列を出力することにより、
物体に関する形状と物体に関する移動速度を同時に復元することを特徴とする。
【００２０】
（３）画像入力装置を使って取得した時系列画像中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、被写体の物体形状、並びに、時系列に関する画像入力装置の運動を復元する方法であって、
時系列画像中の特徴点の時間的変動量を集計した計測行列データから、移動物体を検出するための雑音除去を行い、画像入力装置の運動、物体の形状、並びに、物体の移動速度を表現する部分行列に分解する第１の手順と、
画像入力装置の姿勢に関してセンシング装置を使って、前記で使用した時系列画像と同期しながら、画像入力装置の姿勢を計測し、該時系列に対する姿勢情報から、各時系列画像に対応する運動行列を生成する第２の手順と、
前記第１の手順にて分解した部分行列から画像入力装置の運動を表現する行列を抽出し、該抽出した画像入力装置の運動を表現する行列と前記第２の手順で姿勢情報から生成した運動行列との間の変換行列を算出する第３の手順と、
前記第３の手順にて算出した変換行列を用いて、前記第１の手順で分解した物体の形状、並びに、物体の速度を表現する行列に作用させて、物体形状行列、並びに、物体の移動速度行列を復元する第４の手順とを有し、
前記第４の手順にて物体形状行列と物体の移動速度行列を復元した後、画像入力装置運動、物体形状、並びに物体の移動速度行列から、各時系列での画像面へ逆投影し、計測行列データを測定したときの時系列での画像座標値と逆投影時との間の誤差が収束しているかの判定を行い、また、同時に物体の移動速度行列から、指定した閾値を越えているかの判定を行い、逆投影時での誤差が収束していないと判定した場合は、閾値を超える特徴点を計測行列データから除去して、次の反復で使用する計測行列データを生成して前記第１〜第４の手順を繰り返し、逆投影時での誤差が収束していると判定された場合、その時点での物体形状を出力して、移動物体を除去した静止物体点のみの物体形状を復元することにより、
物体に関する形状と物体に関する移動速度を同時に復元することを特徴とする。
【００２１】
（４）画像入力装置を使って取得した時系列画像中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、被写体の物体形状、並びに、時系列に関する画像入力装置の運動を復元する方法であって、
時系列画像中の特徴点の時間的変動量を集計した計測行列データから、移動物体を検出するための雑音除去を行い、画像入力装置の運動、物体の形状、並びに、物体の移動速度を表現する部分行列に分解する第１の手順と、
画像入力装置の姿勢に関してセンシング装置を使って、前記で使用した時系列画像と同期しながら、画像入力装置の姿勢を計測し、該時系列に対する姿勢情報から、各時系列画像に対応する運動行列を生成する第２の手順と、
前記第１の手順にて分解した部分行列から画像入力装置の運動を表現する行列を抽出し、該抽出した画像入力装置の運動を表現する行列と前記第２の手順で姿勢情報から生成した運動行列との間の変換行列を算出する第３の手順と、
前記第３の手順にて算出した変換行列を用いて、前記第１の手順で分解した物体の形状、並びに、物体の速度を表現する行列に作用させて、物体形状行列、並びに、物体の移動速度行列を復元する第４の手順とを有し、
前記第４の手順にて物体形状行列と物体の移動速度行列を復元した後、画像入力装置運動、物体形状、並びに物体の移動速度行列から、各時系列での画像面へ逆投影し、計測行列データを測定したときの時系列での画像座標値と逆投影時との間の誤差が収束しているかの判定を行い、また、同時に物体の移動速度行列から、指定した閾値を越えているかの判定を行い、逆投影時での誤差が収束していないと判定した場合は、閾値を超える特徴点を計測行列データから除去して、次の反復で使用する計測行列データを生成して前記第１〜第４の手順を繰り返し、逆投影時での誤差が収束していると判定した場合で、かつ、物体の移動速度行列が閾値以下であると判定した場合、その時点での特徴点からなる計測行列データを分解した部分行列から運動を表現する行列を抽出し、その行列と、センシング装置から得た姿勢情報から復元した画像入力装置運動行列との間の変換行列を算出し、該変換行列を用いて、分解した物体を表現する行列に作用させて、物体形状行列を復元することにより、
物体に関する形状と物体に関する移動速度を同時に復元することを特徴とする。
【００２２】
（５）画像入力装置を使って取得した時系列画像中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、被写体の物体形状、並びに、時系列に関する画像入力装置の運動を復元する方法であって、
時系列画像中の特徴点の時間的変動量を集計した計測行列データから、移動物体を検出するための雑音除去を行い、画像入力装置の運動、物体の形状、並びに、物体の移動速度を表現する部分行列に分解する第１の手順と、
画像入力装置の姿勢に関してセンシング装置を使って、前記で使用した時系列画像と同期しながら、画像入力装置の姿勢を計測し、該時系列に対する姿勢情報から、各時系列画像に対応する運動行列を生成する第２の手順と、
前記第１の手順にて分解した部分行列から画像入力装置の運動を表現する行列を抽出し、該抽出した画像入力装置の運動を表現する行列と前記第２の手順で姿勢情報から生成した運動行列との間の変換行列を算出する第３の手順と、
前記第３の手順にて算出した変換行列を用いて、前記第１の手順で分解した物体の形状、並びに、物体の速度を表現する行列に作用させて、物体形状行列、並びに、物体の移動速度行列を復元する第４の手順とを有し、
前記第４の手順にて物体形状行列と物体の移動速度行列を復元した後、画像入力装置運動、物体形状、並びに物体の移動速度行列から、各時系列での画像面へ逆投影し、計測行列データを測定した時系列での画像座標値と逆投影時との間の誤差が収束しているかの判定を行い、また、同時に速度ベクトルから、指定した閾値を越えているかの判定を行い、逆投影時での誤差が収束していないと判定した場合は、閾値を超える特徴点を除去して、次の反復で使用する計測行列データを生成して前記第１〜第４の手順を繰り返し、逆投影時での誤差が収束していると判定した場合で、かつ、物体の速度行列が閾値以下であると判定した場合、その時点での特徴点からなる計測行列データに対して、それを分解して得た部分行列から運動を表現する行列を抽出し、その行列と、センシング装置から得た姿勢情報から復元した画像入力装置運動行列との間の変換行列を算出し、該変換行列を用いて、分解した物体を表現する行列に作用させて、物体形状行列を復元し、さらに、画像入力装置運動と物体形状から画像面へ逆投影し、時系列での画像座標値と逆投影時との間の誤差が収束しているかの判定を行い、この誤差が収束していないと判定した場合は、次の反復で使用する計測行列データを生成し、上記の分解を繰り返し、逆投影時の誤差が収束していると判定した場合は、その時点での物体形状行列を出力することにより、
物体に関する形状と物体に関する移動速度を同時に復元することを特徴とする。
【００２４】
（装置の発明）
（６）画像入力装置を使って取得した時系列画像中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、被写体の物体形状、並びに、時系列に関する画像入力装置の運動を復元する装置であって、
時系列画像中の特徴点の時間的変動量を集計した計測行列データから、移動物体を検出するための雑音除去を行い、画像入力装置の運動、物体の形状、並びに、物体の移動速度を表現する部分行列に分解する第１の手段と、
画像入力装置の姿勢に関してセンシング装置を使って、前記で使用した時系列画像と同期しながら、画像入力装置の姿勢を計測し、該時系列に対する姿勢情報から、各時系列画像に対応する運動行列を生成する第２の手段と、
前記第１の手段にて分解した部分行列から画像入力装置の運動を表現する行列を抽出し、該抽出した画像入力装置の運動を表現する行列と前記第２の手段で姿勢情報から生成した運動行列との間の変換行列を算出する第３の手段と、
前記第３の手段にて算出した変換行列を用いて、前記第１の手段で分解した物体の形状、並びに、物体の速度を表現する行列に作用させて、物体形状行列、並びに、物体の移動速度行列を復元する第４の手段とを有し、
前記第４の手段にて物体形状行列と物体の移動速度行列を復元した後、物体の移動速度行列から、個々の物体の速度ベクトル量を抽出し、閾値以上の速度ベクトル量を有すると判定した場合、その速度ベクトルを有する特徴点を、計測行列データから除外し、移動物体を削除した残りの特徴点から構成される計測行列データに対して前記第１〜第４の手段を繰り返すことで移動物体を次第に除去し、残った特徴点全体から物体形状行列、並びに物体の移動速度行列を復元した後、その移動速度行列において、速度ベクトルが閾値以下であると判定した時点で、移動物体を除去した静止物体点のみの物体形状を復元することにより、
物体に関する形状と物体に関する移動速度を同時に復元することを特徴とする。
【００２５】
（７）画像入力装置を使って取得した時系列画像中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、被写体の物体形状、並びに、時系列に関する画像入力装置の運動を復元する装置であって、
時系列画像中の特徴点の時間的変動量を集計した計測行列データから、移動物体を検出するための雑音除去を行い、画像入力装置の運動、物体の形状、並びに、物体の移動速度を表現する部分行列に分解する第１の手段と、
画像入力装置の姿勢に関してセンシング装置を使って、前記で使用した時系列画像と同期しながら、画像入力装置の姿勢を計測し、該時系列に対する姿勢情報から、各時系列画像に対応する運動行列を生成する第２の手段と、
前記第１の手段にて分解した部分行列から画像入力装置の運動を表現する行列を抽出し、該抽出した画像入力装置の運動を表現する行列と前記第２の手段で姿勢情報から生成した運動行列との間の変換行列を算出する第３の手段と、
前記第３の手段にて算出した変換行列を用いて、前記第１の手段で分解した物体の形状、並びに、物体の速度を表現する行列に作用させて、物体形状行列、並びに、物体の移動速度行列を復元する第４の手段とを有し、
前記第４の手段にて物体形状行列と物体の移動速度行列を復元した後、画像入力装置運動、物体形状、並びに物体の移動速度行列から、各時系列での画像面へ逆投影し、計測行列データを測定したときの時系列にわたる画像座標値と逆投影時との間の誤差が収束しているかの判定を行い、収束していないと判定した場合は、次の反復で使用する計測行列データを生成して前記第１〜第４の手段を繰り返し、収束していれば、その時点での物体形状と物体の移動速度行列を出力することにより、
物体に関する形状と物体に関する移動速度を同時に復元することを特徴とする。
【００２６】
（８）画像入力装置を使って取得した時系列画像中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、被写体の物体形状、並びに、時系列に関する画像入力装置の運動を復元する装置であって、
時系列画像中の特徴点の時間的変動量を集計した計測行列データから、移動物体を検出するための雑音除去を行い、画像入力装置の運動、物体の形状、並びに、物体の移動速度を表現する部分行列に分解する第１の手段と、
画像入力装置の姿勢に関してセンシング装置を使って、前記で使用した時系列画像と同期しながら、画像入力装置の姿勢を計測し、該時系列に対する姿勢情報から、各時系列画像に対応する運動行列を生成する第２の手段と、
前記第１の手段にて分解した部分行列から画像入力装置の運動を表現する行列を抽出し、該抽出した画像入力装置の運動を表現する行列と前記第２の手段で姿勢情報から生成した運動行列との間の変換行列を算出する第３の手段と、
前記第３の手段にて算出した変換行列を用いて、前記第１の手段で分解した物体の形状、並びに、物体の速度を表現する行列に作用させて、物体形状行列、並びに、物体の移動速度行列を復元する第４の手段とを有し、
前記第４の手段にて物体形状行列と物体の移動速度行列を復元した後、画像入力装置運動、物体形状、並びに物体の移動速度行列から、各時系列での画像面へ逆投影し、計測行列データを測定したときの時系列での画像座標値と逆投影時との間の誤差が収束しているかの判定を行い、また、同時に物体の移動速度行列から、指定した閾値を越えているかの判定を行い、逆投影時での誤差が収束していないと判定した場合は、閾値を超える特徴点を計測行列データから除去して、次の反復で使用する計測行列データを生成して前記第１〜第４の手段を繰り返し、逆投影時での誤差が収束していると判定された場合、その時点での物体形状を出力して、移動物体を除去した静止物体点のみの物体形状を復元することにより、
物体に関する形状と物体に関する移動速度を同時に復元することを特徴とする。
【００２７】
（９）画像入力装置を使って取得した時系列画像中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、被写体の物体形状、並びに、時系列に関する画像入力装置の運動を復元する装置であって、
時系列画像中の特徴点の時間的変動量を集計した計測行列データから、移動物体を検出するための雑音除去を行い、画像入力装置の運動、物体の形状、並びに、物体の移動速度を表現する部分行列に分解する第１の手段と、
画像入力装置の姿勢に関してセンシング装置を使って、前記で使用した時系列画像と同期しながら、画像入力装置の姿勢を計測し、該時系列に対する姿勢情報から、各時系列画像に対応する運動行列を生成する第２の手段と、
前記第１の手段にて分解した部分行列から画像入力装置の運動を表現する行列を抽出し、該抽出した画像入力装置の運動を表現する行列と前記第２の手段で姿勢情報から生成した運動行列との間の変換行列を算出する第３の手段と、
前記第３の手段にて算出した変換行列を用いて、前記第１の手段で分解した物体の形状、並びに、物体の速度を表現する行列に作用させて、物体形状行列、並びに、物体の移動速度行列を復元する第４の手段とを有し、
前記第４の手段にて物体形状行列と物体の移動速度行列を復元した後、画像入力装置運動、物体形状、並びに物体の移動速度行列から、各時系列での画像面へ逆投影し、計測行列データを測定したときの時系列での画像座標値と逆投影時との間の誤差が収束しているかの判定を行い、また、同時に物体の移動速度行列から、指定した閾値を越えているかの判定を行い、逆投影時での誤差が収束していないと判定した場合は、閾値を超える特徴点を計測行列データから除去して、次の反復で使用する計測行列データを生成して前記第１〜第４の手段を繰り返し、逆投影時での誤差が収束していると判定した場合で、かつ、物体の移動速度行列が閾値以下であると判定した場合、その時点での特徴点からなる計測行列データを分解した部分行列から運動を表現する行列を抽出し、その行列と、センシング装置から得た姿勢情報から復元した画像入力装置運動行列との間の変換行列を算出し、該変換行列を用いて、分解した物体を表現する行列に作用させて、物体形状行列を復元することにより、
物体に関する形状と物体に関する移動速度を同時に復元することを特徴とする。
【００２８】
（１０）画像入力装置を使って取得した時系列画像中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、被写体の物体形状、並びに、時系列に関する画像入力装置の運動を復元する装置であって、
時系列画像中の特徴点の時間的変動量を集計した計測行列データから、移動物体を検出するための雑音除去を行い、画像入力装置の運動、物体の形状、並びに、物体の移動速度を表現する部分行列に分解する第１の手段と、
画像入力装置の姿勢に関してセンシング装置を使って、前記で使用した時系列画像と同期しながら、画像入力装置の姿勢を計測し、該時系列に対する姿勢情報から、各時系列画像に対応する運動行列を生成する第２の手段と、
前記第１の手段にて分解した部分行列から画像入力装置の運動を表現する行列を抽出し、該抽出した画像入力装置の運動を表現する行列と前記第２の手段で姿勢情報から生成した運動行列との間の変換行列を算出する第３の手段と、
前記第３の手段にて算出した変換行列を用いて、前記第１の手段で分解した物体の形状、並びに、物体の速度を表現する行列に作用させて、物体形状行列、並びに、物体の移動速度行列を復元する第４の手段とを有し、
前記第４の手段にて物体形状行列と物体の移動速度行列を復元した後、画像入力装置運動、物体形状、並びに物体の移動速度行列から、各時系列での画像面へ逆投影し、計測行列データを測定した時系列での画像座標値と逆投影時との間の誤差が収束しているかの判定を行い、また、同時に速度ベクトルから、指定した閾値を越えているかの判定を行い、逆投影時での誤差が収束していないと判定した場合は、閾値を超える特徴点を除去して、次の反復で使用する計測行列データを生成して前記第１〜第４の手段を繰り返し、逆投影時での誤差が収束していると判定した場合で、かつ、物体の速度行列が閾値以下であると判定した場合、その時点での特徴点からなる計測行列データに対して、それを分解して得た部分行列から運動を表現する行列を抽出し、その行列と、センシング装置から得た姿勢情報から復元した画像入力装置運動行列との間の変換行列を算出し、該変換行列を用いて、分解した物体を表現する行列に作用させて、物体形状行列を復元し、さらに、画像入力装置運動と物体形状から画像面へ逆投影し、時系列での画像座標値と逆投影時との間の誤差が収束しているかの判定を行い、この誤差が収束していないと判定した場合は、次の反復で使用する計測行列データを生成し、上記の分解を繰り返し、逆投影時の誤差が収束していると判定した場合は、その時点での物体形状行列を出力することにより、
物体に関する形状と物体に関する移動速度を同時に復元することを特徴とする。
【００２９】
（プログラムの発明）
（１１）上記（１）〜（５）のいずれか１項に記載の物体形状復元・移動物体検出方法における処理手順をコンピュータで実行可能に構成したことを特徴とする。
【００３０】
（記録媒体の発明）
（１２）上記（１）〜（５）のいずれか１項に記載の物体形状復元・移動物体検出方法における処理手順をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする。
【００３１】
【発明の実施の形態】
（実施形態１）
図２は、請求項１，３等の方法発明に対応する処理フローである。この図を元に本実施形態を説明するが各部を装置として構成することもできる。
【００３２】
まず、時系列画像を、時間管理で格納されている時系列画像データベース（ＤＢ１）から、１枚取り出し、これを初期画像として、その画像上に特徴点を配置する。このとき、エッジ検出、ハフ変換、並びに、濃淡の２次元勾配などの画像処理により自動的に特徴点を配置するなどして、初期画像上に特徴点を配置する。このとき配置する特徴点の数をＰ個（ｊ＝１，２，…，Ｐ）とし、配置したときの特徴点の２次元座標値（ｘ1j，ｙ1j）：ｊ＝１，２，…，Ｐを記録しておく。
【００３３】
次に、初期画像に続く時系列画像をデータベース（ＤＢ１）から１枚ずつ読み込み、時系列画像追跡部（Ｓ１）にて、初期画像に配置した特徴点を、時系列画像問の濃淡の変化などに着目した手法などを利用することで画像追跡し、計測行列記録部（Ｓ２）にて、各時系列画像（初期画像から第ｉ番目の画像）の特徴点の画像座標値（ｘij，ｙij）を記録する。
【００３４】
時系列画像を読み出し続けた場合、初期画像に配置した特徴点の中で、画像中から消失したり、オクルージョンなどにより隠れてしまったときは、画像追跡を停止し、特徴点追跡を終了する。特徴点追跡が終了した時点で、読み出した時系列画像の数ｉ＝１，２，…，Ｆは、初期画像を含めてＦ枚とする。
【００３５】
計測行列記録部（Ｓ２）では、各時系列画像における特徴点の時間的な画像座標的配置の変化量が記録されている。特徴点の時問的な画像座標的配置の変化を行列としてデータ化したものを計測行列〔Ａ〕と称し、下記の式（１）のデータ形式とする。
【００３６】
【数１】
0003871582.tif 000002
【００３７】
まず、反復回数が１回目か２回目以上なのかを判定し（Ｓ３）、反復回数１回目のときは、計測行列記録部（Ｓ２）から出力される計測行列を読み出し（Ｓ４）、それ以上の反復ループであるときは、前回の反復にて復元したカメラ運動行列、物体形状行列、並びに物体の移動速度行列から生成した計測行列を読み出す（Ｓ５）。以下は、１回目の反復ループでの処理、並びに、反復回数が２回目以降で、同様の処理を行う。
【００３８】
次のステップの因子分解法処理部（Ｓ６）にて、物体形状と物体の移動速度行列を復元する。図３に、因子分解法処理部での処理フローを示す。まず。図２で記録した計測行列〔Ａ〕を、計測行列データ入力部（Ｓ４）において読み込む（Ｓ６１）。次に、下記の式（２）に従って計測行列から各フレームにわたり特徴点の重心座標値を計算する。この重心座標値を、各時系列での並進成分として、計測行列から差し引いた下記の式（３）に示す〔Ｂ〕行列とする。
【００３９】
【数２】
0003871582.tif 000003
【００４０】
【数３】
0003871582.tif 000004
【００４１】
次に、特異値分解処理部（Ｓ６２）において、この行列データ〔Ｂ〕を下記の式（４）に示す特異値分解で行列分解する。
【００４２】
【数４】
0003871582.tif 000005
【００４３】
さらに、行列分解した後、ランク５により、行列分解した行列を下記の式（５）のように分離する（Ｓ６３）。さらに、式（５）の第二項を雑音成分と見なして、式（６）のように雑音除去する（Ｓ６４）。
【００４４】
【数５】
0003871582.tif 000006
【００４５】
【数６】
0003871582.tif 000007
【００４６】
一方、姿勢情報とは、各時系列におけるＲｏｌｌ，Ｐｉｔｃｈ，Ｙａｗとしてのカメラ視点を原点とした直交座標系上の回転角としてセンシング装置により測定し、これをデータベースなどに蓄積しておく、次に、これらのデータから各時系列画像に対応する姿勢情報を、姿勢データ入力によって読み込み（Ｓ６５）、これを、姿勢情報（αi、βi、γi）とする。このときのカメラ運動行列〔Ｍ〕は、下記の式（７）（８）に従って生成する（Ｓ６６）。
【００４７】
さらに、物体の運動を、地上のＸＹ平面上のカメラ運動に対して線形に運動していると想定して、下記の式（７）（１０）（１１）に従って計算し、これを運動行列〔Ｎ〕として生成する（Ｓ６７）。
【００４８】
なお、式（７）、（８）中のｉ1，ｋ1，ｉ2，ｋ2，ｉF，ｋF，ｊ1，ｊ2，ｊF、ｊi，ｊi，ｋiは３×１サイズのベクトルである。また、式（１１）中のＭ，Ｍ’は２Ｆ×３，２Ｆ×２サイズの行列である。また、ｍ1，ｍ2，ｍ3は３×１のベクトル、ｍ1’，ｍ2’，ｍ3’は２×１のベクトル、ｎ1，ｎ2，ｎ3は３×１のベクトル、ｎ1’，ｎ2’，ｎ3’は２×１のベクトルである。
【００４９】
【数７】
0003871582.tif 000008
【００５０】
【数８】
0003871582.tif 000009
【００５１】
【数９】
0003871582.tif 000010
【００５２】
【数１０】
0003871582.tif 000011
【００５３】
【数１１】
0003871582.tif 000012
【００５４】
次に、式（６）に示すように雑音除去した後、前記の式（９）の５×５サイズの変換行列〔Ｑ〕を設定し、この行列〔Ｑ〕の各要素を求める（Ｓ６８）。ここで、下記の式（１２）が成立しなければならないため、式（１１）の運動行列〔Ｎ〕から、下記の式（１３）を使って変換行列〔Ｑ〕を求める。
【００５５】
【数１２】
0003871582.tif 000013
【００５６】
【数１３】
0003871582.tif 000014
【００５７】
さらに、前記の式（９）の後半部分の部分行列と、変換行列〔Ｑ〕により、下記の式（１４）に従って物体形状〔Ｓ〕、並びに物体の速度行列〔Ｖ〕を算出・出力する（Ｓ６９〜Ｓ７１）。これで図３での処理が終了する。
【００５８】
なお、式（１４）中のＳ1，Ｓ2，ＳPは３×１のベクトル、Ｖ1，Ｖ2，ＶPは２×１のベクトルである。
【００５９】
【数１４】
0003871582.tif 000015
【００６０】
引き続き、図２に戻って、復元した物体形状行列と物体の移動速度行列から逆投影計算を行う（Ｓ７）。逆投影計算とは、復元した解のペアから、画像面での画像座標値を計算することであり、具体的に、前記の式（７）（８）（１０）（１４）から、下記の式（１５）の逆投影計算を行い、時系列での逆投影画像座標値（ｕij，ｖij）を得る。なお、式（１５）中のｍi，Ｓi，ｍi’，Ｖi，ｎi，ｎi’，ｋiはベクトルである。
【００６１】
【数１５】
0003871582.tif 000016
【００６２】
なお、εijを奥行き情報とし、ここでのｋ1、並びに、Ｔiは、式（８）から算出する。ここで、式（１５）で求めた投影結果（ｕij，ｖij）と（ｘij，ｙij）を成分とする計測行列〔Ａ〕との誤差行列〔δＡ〕を下記の式（１６）で計算し、この誤差行列〔δＡ〕から、〔δＡ〕T〔δＡ〕を求め、この対角要素を加算した量を計測行列との誤差ΔＡ（フロベニウス・ノルム）を求める（Ｓ８）。この誤差ΔＡは下記の式（１７）で計算される。
【００６３】
【数１６】
0003871582.tif 000017
【００６４】
【数１７】
0003871582.tif 000018
【００６５】
この誤差ΔＡが、１つ前の反復時の誤差との差が許容範囲σ以下であるか否かを判定し（Ｓ９）、以下であると判定した場合は、収束したと判定し、このときの物体形状行列〔Ｓ〕と物体の速度行列〔Ｖ〕を出力する。
【００６６】
一方、許容誤差σ以上と判定した場合は、下記の式（１８）（１９）に従って、次の反復で使用する計測行列〔Ｂ(t)〕を生成する（Ｓ１０）。
【００６７】
【数１８】
0003871582.tif 000019
【００６８】
【数１９】
0003871582.tif 000020
【００６９】
以上の処理により、時系列映像からの物体形状を表現する３次元座標値と、その物体の空撮映像中の移動量を表現する速度行列を同時に復元することが可能となる。
【００７０】
（実施形態２）
図４は、請求項２，４等に対応するものであり、実施形態１の処理フローで得られた物体形状行列と、物体の移動速度行列に対して、移動物体を計測行列から削除して、静止物体に関する物体形状と物体の速度移動を復元する処理フローである。
【００７１】
図４において、実施形態１の図２と異なる部分は、収束したと判定し出力した物体形状行列と物体の移動速度行列について、物体の速度行列を取り出し、その速度ベクトル量を計測する（Ｓ１１）。このベクトル量が許容範囲（σx，σy）以上と判定した場合は、移動物体有りと判定し（Ｓ１２）、それに該当する特徴点を、計測行列の要素から除外する（Ｓ１３）。すなわち、物体の移動速度行列の各速度ベクトルＶj＝（Ｖ1j，Ｖ2j）の値に対して、
【００７２】
【数２０】
0003871582.tif 000021
【００７３】
または、
【００７４】
【数２１】
0003871582.tif 000022
【００７５】
であるとき、移動物体と判定し、下記の式（２２）に示すように、第ｊ番目の特徴点を、計測行列から削除し、削除した計測行列を〔Ａ〕とする。
【００７６】
【数２２】
0003871582.tif 000023
【００７７】
次に、この計測行列から、下記の式（２３）に従って、各時系列での重心位置、すなわち、並進成分を求め、さらには下記の式（２４）に従って計測行列からこの並進成分を差し引いた行列を〔Ｂ〕を求める。
【００７８】
【数２３】
0003871582.tif 000024
【００７９】
【数２４】
0003871582.tif 000025
【００８０】
すなわち、本実施形態では、前記の実施形態において、特徴点の数ＰをＰ−１に置換したものであるため、前記の実施形態に対して、Ｐ−１とした場合の実施形態になる。
【００８１】
このように、各反復において、物体の移動速度行列の各速度ベクトルが閾値（σx，σy）以上と判定し、移動物体有りとした場合は、その該当する特徴点について、式（２２）のように、計測行列から除外し、前記の反復的処理を行い、物体形状行列、並びに、物体の移動速度行列を復元する。このとき、物体形状は、全て、静止物体のみから構成されており、該当する物体の移動速度行列の各速度ベクトルも閾値以下の微小な値を有するものとなる。
【００８２】
（実施形態３）
本実施形態は、請求項５，６等に対応するものである。すなわち、本実施形態は、実施形態２（静止物体のみの物体形状行列を求めている）において、静止物体のみに関する物体形状行列を獲得終了後（処理フロー全体が終了した後）に、さらに継続して、静止物体のみに関する物体形状行列を、再度、高精度に求めるために、図３における因子分解法処理の部分を、図５に示す因子分解処理に置き換えた処理フローを使った処理を行う。
【００８３】
本実施形態では、前記の実施形態１または実施形態２の処理フローで得られた物体形状行列と、物体の移動速度行列に対して、移動物体を計測行列から削除し終えた後、図５の処理フローにより、静止物体のみと判定した特徴点から構成される計測行列から物体形状を復元する。
【００８４】
以下は、図５における因子分解法処理部での説明である。まず、図４においては、前記したように、移動物体と判定した場合、計測行列から、これに対応する特徴点を削除する。これを反復的に処理することで、実質、残った特徴点（Ｐ-Ｒ個）から復元した物体の移動速度行列の要素は、その速度ベクトルが許容範囲以下となっている。次に、前記の実施形態で残った特徴点からなる計測行列を下記の式（２５）に示す〔Ｃ〕とする。
【００８５】
【数２５】
0003871582.tif 000026
【００８６】
まず、反復回数が１回目か２回目以上なのかを判定し、反復回数１回目のときは、計測行列記録部から出力される計測行列を読み出し、それ以上の反復ループであるときは、前回の反復にて復元したカメラ運動行列、物体形状行列、並びに物体の移動速度行列から生成した計測行列を読み出す。以下は、１回目の反復ループでの処理、並びに、反復回数が２回目以降で、同様の処理を行う。
【００８７】
次のステップの因子分解法処理部（Ｓ６）にて、物体形状と物体の移動速度行列を復元する。図５に、因子分解法処理部での処理フローを示す。まず。図４で記録した計測行列〔Ｃ〕を、計測行列データ入力部において読み込む（Ｓ６１）。次に、下記の式（２６）に従って計測行列から各フレームにわかり特徴点の重心座標値を計算する。この重心座標値を、各時系列での並進成分として、計測行列から差し引き、下記の式（２７）に示す〔Ｄ〕行列を求める。
【００８８】
【数２６】
0003871582.tif 000027
【００８９】
【数２７】
0003871582.tif 000028
【００９０】
次に、特異値分解処理部（Ｓ６２）において、この行列データ〔Ｄ〕を下記の式（２８）に示す特異値分解で行列分解する（Ｓ６２）。
【００９１】
【数２８】
0003871582.tif 000029
【００９２】
さらに、行列分解した後、ランク３により、行列分解した行列を下記の式（２９）のように分離する（Ｓ６３）。さらに、式（２９）の第二項を雑音成分と見なして、下記の式（３０）のように雑音除去する（Ｓ６４）。
【００９３】
【数２９】
0003871582.tif 000030
【００９４】
【数３０】
0003871582.tif 000031
【００９５】
一方、姿勢情報とは、各時系列におけるＲｏｌｌ，Ｐｉｔｃｈ，Ｙａｗとしてのカメラ視点を原点とした直交座標系上の回転角としてセンシング装置により測定し、これをデータベースなどに蓄積しておく、次に、これらのデータから各時系列画像に対応する姿勢情報を、姿勢データ入力において読み込み（Ｓ６５）、これを、姿勢情報（αi、βi、γi）とする。カメラ運動行列〔Ｍ〕は、前記の式（７）（８）に従って生成する（Ｓ６６）。
【００９６】
次に、式（３０）に示すように雑音除去した後、下記の式（３１）の３×３サイズの変換行列〔Ｑ〕を設定し、この行列〔Ｑ〕の各要素を求める（Ｓ６８）。ここで、下記の式（３２）が成立しなければならないため、式（７）（８）のカメラ運動行列〔Ｍ〕から、式（３３）を使って変換行列〔Ｑ〕を求める。
【００９７】
【数３１】
0003871582.tif 000032
【００９８】
【数３２】
0003871582.tif 000033
【００９９】
【数３３】
0003871582.tif 000034
【０１００】
さらに、式（３１）の後半部分の部分行列と、変換行列〔Ｑ〕により、下記の式（３４）に従って物体形状〔Ｓ〕を算出する。これで図５での処理が終了する。
【０１０１】
【数３４】
0003871582.tif 000035
【０１０２】
引き続き、図４において、復元した物体形状行列から逆投影計算を行う。逆投影計算とは、復元した解のペアから、画像面での画像座標値を計算することであり、具体的に、前記の式（７）（８）（３４）から、下記の式（３５）の逆投影計算を行い、時系列での逆投影画像座標値（ｕij，ｖij）を得る。なお、式（３５）中のｍi，Ｓi，ｎi，ｋiはベクトルである。
【０１０３】
【数３５】
0003871582.tif 000036
【０１０４】
なお、εijを奥行き情報とし、ここでのｋ1、並びに、Ｔiは、式（８）から算出する。ここで、式（３５）で求めた投影結果（ｕij，ｖij）と（ｘij，ｙij）を成分とする計測行列〔Ａ〕との誤差行列〔δＡ〕を下記の式（３６）に従って計算し、この誤差行列〔δＡ〕から、〔δＡ〕T〔δＡ〕を求め、この対角要素を加算した量を計測行列との誤差ΔＡ（フロベニウス・ノルム）とする。これら式は下記の式（３７）で求められる。
【０１０５】
【数３６】
0003871582.tif 000037
【０１０６】
【数３７】
0003871582.tif 000038
【０１０７】
この誤差ΔＡが、１つ前の反復時の誤差との差が許容範囲σ以下であると判定した場合は、収束したと判定し、このときの物体形状行列〔Ｓ〕と物体の速度行列〔Ｖ〕を出力する。一方、許容誤差σ以上と判定した場合は、下記の式（３８）（３９）に従って、次の反復で使用する計測行列〔Ｄ(t)〕を生成する。
【０１０８】
【数３８】
0003871582.tif 000039
【０１０９】
【数３９】
0003871582.tif 000040
【０１１０】
以上のことにより、時系列映像からの静止物体のみに関する物体形状を表現する３次元座標値を復元することが可能となる。
【０１１１】
なお、本発明は、図２〜図５に示した装置または方法の一部又は全部の処理機能をプログラムとして構成してコンピュータを用いて実現すること、あるいはその処理手順をプログラムとして構成してコンピュータに実行させることができる。また、コンピュータでその各部の処理機能を実現するためのプログラム、あるいはコンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ（フロッピーディスク：登録商標）、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。
【０１１２】
【発明の効果】
以上のとおり、本発明によれば、時系列画像から、対象物に関する物体形状を表現する３次元座標値と、その物体の時系列に関する移動量を表現する速度行列を同時に復元できる。
【０１１３】
また、時系列画像から、静止物体のみに関する物体形状を表現する３次元座標値を復元できる。
【図面の簡単な説明】
【図１】本発明の基本構成図。
【図２】本発明の実施形態１、３における処理フロー。
【図３】実施形態１、３における因子分解法処理フロー。
【図４】実施形態２、４、５、６における処理フロー。
【図５】実施形態５、６における因子分解法処理フロー。
【図１】
0003871582.tif 000041
【図２】
0003871582.tif 000042
【図３】
0003871582.tif 000043
【図４】
0003871582.tif 000044
【図５】
0003871582.tif 000045