(57)【特許請求の範囲】
【請求項１】
接地する物体が地面から離れて再び接地するまでの軌道を示す軌道データを、前記物体を１台のカメラで撮影した動画を用いて演算する物体軌道演算装置であって、
時刻に関連付けられた前記動画と、予め設定された前記カメラのカメラパラメータと、予め設定された前記地面を示す第１曲面情報と、を記憶する記憶手段と、
前記動画において、前記物体が前記地面に接地する開始時刻と、前記物体が前記地面から離れている中間時刻と、前記物体が前記地面に再び接地する終了時刻と、を含む指定時刻を入力する時刻指定手段と、
前記時刻指定手段から入力された指定時刻における前記動画を構成するフレームを、静止画として表示する画像表示手段と、
前記画像表示手段に表示される静止画において、前記開始時刻、前記中間時刻及び前記終了時刻における前記物体の２次元座標を入力する座標入力手段と、
前記カメラパラメータと、前記第１曲面情報と、前記開始時刻及び前記終了時刻における前記物体の２次元座標とに基づいて、前記開始時刻及び前記終了時刻における前記物体の３次元座標を演算する交点演算手段と、
前記開始時刻及び前記終了時刻における前記物体の３次元座標を２点含むと共に、前記地面に垂直な鉛直面又は前記地面に対して所定の角度傾斜させた傾斜面を示す第２曲面情報を生成する曲面生成手段と、
前記交点演算手段が演算した物体の３次元座標を時刻順に並べた前記軌道データを生成する軌道データ生成手段と、を備え、
前記交点演算手段は、前記カメラパラメータと、前記第２曲面情報と、前記中間時刻における前記物体の２次元座標とに基づいて、前記中間時刻における前記物体の３次元座標を演算することを特徴とする物体軌道演算装置。
【請求項２】
前記記憶手段は、水平面を示す前記第１曲面情報を記憶することを特徴とする請求項１に記載の物体軌道演算装置。
【請求項３】
前記軌道データ生成手段が生成した軌道データに、任意の時刻における前記物体の３次元座標が含まれない場合、前記任意の時刻に前後する前記物体の３次元座標を２点取得し、当該２点を含む所定の線を用いて、前記任意の時刻における前記物体の３次元座標を補完する軌道データ補完手段、
をさらに備えることを特徴とする請求項１又は請求項２に記載の物体軌道演算装置。
【請求項４】
前記軌道データ補完手段は、前記所定の線として、放物線を用いることを特徴とする請求項３に記載の物体軌道演算装置。
【請求項５】
前記軌道データ補完手段は、前記所定の線として、線分又は複数の前記線分が連続する線分群を用いることを特徴とする請求項３に記載の物体軌道演算装置。
【請求項６】
接地する物体が地面から離れて再び接地するまでの軌道を示す軌道データを、前記物体を１台のカメラで撮影した動画を用いて演算するために、時刻に関連付けられた前記動画と、予め設定された前記カメラのカメラパラメータと、予め設定された前記地面を示す第１曲面情報と、を記憶する記憶手段、を備えるコンピュータを、
前記動画において、前記物体が前記地面に接地する開始時刻と、前記物体が前記地面から離れている中間時刻と、前記物体が前記地面に再び接地する終了時刻と、を含む指定時刻を入力する時刻指定手段、
前記時刻指定手段から入力された指定時刻における前記動画を構成するフレームを、静止画として表示する画像表示手段、
前記画像表示手段に表示される静止画において、前記開始時刻、前記中間時刻及び前記終了時刻における前記物体の２次元座標を入力する座標入力手段、
前記カメラパラメータと、前記第１曲面情報と、前記開始時刻及び前記終了時刻における前記物体の２次元座標とに基づいて、前記開始時刻及び前記終了時刻における前記物体の３次元座標を演算する交点演算手段、
前記開始時刻及び前記終了時刻における前記物体の３次元座標を２点含むと共に、前記地面に垂直な鉛直面又は前記地面に対して所定の角度傾斜させた傾斜面を示す第２曲面情報を生成する曲面生成手段、
前記交点演算手段が演算した物体の３次元座標を時刻順に並べた前記軌道データを生成する軌道データ生成手段、として機能させ、
前記交点演算手段は、前記カメラパラメータと、前記第２曲面情報と、前記中間時刻における前記物体の２次元座標とに基づいて、前記中間時刻における前記物体の３次元座標を演算することを特徴とする物体軌道演算プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影した動画に含まれる飛翔する物体の３次元座標を演算し、その軌道データを生成する物体軌道演算装置に関する。
【背景技術】
【０００２】
従来、ＸＹ平面内の位置と、Ｚ軸方向の位置とを切り替えつつ、ポインティングデバイスにより３次元座標を入力する３次元座標入力方式が提案されている（例えば、特許文献１参照）。
また、複数のカメラで撮影した画像を使用し、各画像において物体の画像座標（２次元座標）を入力し、三角測量を行うことで、物体の３次元座標を算出する３次元オブジェクトモデル作成方法が提案されている（例えば、特許文献２参照）。
【特許文献１】特開平２−３７４１４号公報
【特許文献２】特開平８−２６３６９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に記載の３次元座標入力方式では、ＸＹ平面内の位置と、Ｚ軸方向の位置とを切り替えるので、画像に映っている物体の画像座標を手がかりに物体の座標を入力できず、視線方向（Ｚ軸方向）における物体の位置が曖昧になるため、座標の入力が難しく、入力された座標の精度が低いという問題がある。
【０００４】
特許文献２に記載の３次元オブジェクトモデル作成方法では、複数のカメラが必要となり、システムが大規模化する。また、この３次元オブジェクトモデル作成方法では、複数の画像に対して物体の座標を入力する必要があるため、座標の入力に手間がかかる問題がある。
【０００５】
本発明は、座標の入力が行い易く、座標の入力に手間がかからず、簡易な構成で精度の高い軌道データを生成することができる物体軌道演算装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記した課題を解決するため、請求項１に係る物体軌道演算装置は、接地する物体が地面から離れて再び接地するまでの軌道を示す軌道データを、物体を１台のカメラで撮影した動画を用いて演算する物体軌道演算装置であって、記憶手段と、時刻指定手段と、画像表示手段と、座標入力手段と、交点演算手段と、曲面生成手段と、軌道データ生成手段と、を備える構成とした。
【０００７】
かかる構成において、物体軌道演算装置は、時刻指定手段によって、物体が地面に接地する開始時刻を入力する。また、物体軌道演算装置は、画像表示手段によって、地面を離れる前の物体が撮影されたフレームを、静止画として読み出す。ここで、物体軌道演算装置は、１台のカメラで撮影した動画を用いることができる。また、物体軌道演算装置は、座標入力手段によって、地面を離れる前の物体が撮影された静止画において、物体の２次元座標を入力する。ここで、物体軌道演算装置は、画像表示手段に表示された静止画を手掛かりに、物体の２次元座標を入力することができる。また、物体軌道演算装置は、交点演算手段によって、カメラパラメータと、第１曲面情報と、開始時刻における物体の２次元座標とに基づいて、開始時刻における物体の３次元座標を演算する。
【０００８】
また、物体軌道演算装置は、時刻指定手段によって、物体が地面に再び接地する終了時刻を入力する。そして、物体軌道演算装置は、開始時刻における物体の３次元座標と同様に、終了時刻における物体の３次元座標を演算する。さらに、物体軌道演算装置は、開始時刻及び終了時刻における物体の３次元座標を２点含むと共に、地面に垂直な鉛直面又は地面に対して所定の角度傾斜させた傾斜面を示す第２曲面情報を生成する。
【０００９】
また、物体軌道演算装置は、時刻指定手段によって、物体が地面から離れている中間時刻を入力する。また、物体軌道演算装置は、開始時刻における物体の２次元座標と同様に、中間時刻における物体の２次元座標と同様を入力する。そして、物体軌道演算装置は、カメラパラメータと、第２曲面情報と、中間時刻における物体の２次元座標とに基づいて、中間時刻における物体の３次元座標を演算する。さらに、物体軌道演算装置は、軌道データ生成手段によって、交点演算手段が演算した、開始時刻における物体の３次元座標、中間時刻における物体の３次元座標及び終了時刻における物体の３次元座標を時刻順に並べた軌道データを生成する。
【００１０】
請求項２に係る物体軌道演算装置は、請求項１に係る物体軌道演算装置において、記憶手段が、水平面を示す第１曲面情報を記憶することを特徴とする。
【００１１】
かかる構成において、物体軌道演算装置は、第１曲面が単純な形状なので、交点を求める際、交点演算手段の演算量を低減することができる。
【００１２】
請求項３に係る物体軌道演算装置は、請求項１又は請求項２に係る物体軌道演算装置において、軌道データ生成手段が生成した軌道データに、任意の時刻における物体の３次元座標が含まれない場合、任意の時刻に前後する物体の３次元座標を２点取得し、２点を含む所定の線を用いて、任意の時刻における物体の３次元座標を補完する軌道データ補完手段、をさらに備えることを特徴とする。
【００１３】
かかる構成において、物体軌道演算装置は、軌道データに、少なくとも２点の物体の３次元座標が含まれていれば、任意時刻における物体の３次元座標を補完することができる。
【００１４】
請求項４に係る物体軌道演算装置は、請求項３に係る物体軌道演算装置において、軌道データ補完手段が、所定の線として放物線を用いることを特徴とする。
【００１５】
かかる構成において、物体軌道演算装置は、放物運動を行う物体の３次元座標の補完に適する。
【００１６】
請求項５に係る物体軌道演算装置は、請求項３に係る物体軌道演算装置において、軌道データ補完手段が、所定の線として線分、又は、複数の線分が連続する線分群を用いることを特徴とする。
【００１７】
かかる構成において、物体軌道演算装置は、線分が単純な形状なので、軌道データ補完手段の補完処理を簡略化することができる。
【００１８】
また、前記した課題を解決するため、請求項６に係る物体軌道演算プログラムは、接地する物体が地面から離れて再び接地するまでの軌道を示す軌道データを、物体を１台のカメラで撮影した動画を用いて演算するために、時刻に関連付けられた動画と、予め設定されたカメラのカメラパラメータと、予め設定された地面を示す第１曲面情報と、を記憶する記憶手段、を備えるコンピュータを、時刻指定手段、画像表示手段、座標入力手段、交点演算手段、曲面生成手段、軌道データ生成手段、として機能させる構成とした。
【発明の効果】
【００１９】
本発明に係る物体軌道演算装置によれば、以下のような優れた効果を奏する。
請求項１，６に係る発明によれば、１台のカメラで撮影された動画を用いるので、動画の撮影に複数のカメラを必要とせず、物体軌道演算装置を簡易な構成にすることができる。また、請求項１に係る発明によれば、複数のカメラで撮影した動画に対して２次元座標を入力する必要がなく、その入力に手間がかからない。さらに、請求項１，６に係る発明によれば、画像表示手段に表示される静止画を手掛かりに、物体の２次元座標の入力することができるので、その入力が行い易く、その精度も高くなる。従って、請求項１，６に係る発明によれば、軌道データの精度を高くすることができる。
【００２０】
請求項２に係る発明によれば、交点演算手段の演算量を低減できるので、物体軌道演算装置を高速化することができる。
請求項３に係る発明によれば、物体の３次元座標を補完するので、物体の２次元座標を最小限入力すればよく、その入力により手間がかからなくなる。
請求項４に係る発明によれば、放物運動を行う物体の軌道データの補完精度を高くすることができる。
請求項５に係る発明によれば、軌道データ補完手段の補完処理を簡略化できるので、物体軌道演算装置を高速化することができる。
【発明を実施するための最良の形態】
【００２１】
［飛翔物体軌道演算装置の構成］
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。図１を参照して、飛翔物体軌道演算装置の構成について説明する。図１は、本発明の実施形態に係る飛翔物体軌道演算装置のブロック図である。飛翔物体軌道演算装置（物体軌道演算装置）１は、後記する各機能を実現するために、動画記憶手段１０と、画像読出手段１１と、時刻指定手段１２と、画像表示手段１３と、切替入力手段１４と、曲面切替手段１５と、曲面情報記憶手段１６と、座標入力手段１７と、交点演算手段１８と、軌道データ書込手段（軌道データ生成手段）１９と、軌道データ記憶手段２０と、軌道データ読出手段２１と、曲面生成手段２２と、軌道データ補完手段２３とを備える。
【００２２】
動画記憶手段１０は、時刻に関連付けられた動画と、動画を撮影したカメラのカメラパラメータと、を記憶するものである。例えば、動画記憶手段１０は、磁気テープ、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の記録媒体である。また、この動画としては、例えば、各種ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）フォーマット、各種ＳＤＩ（Ｓｅｒｉａｌ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）フォーマット、Ｒａｗフォーマット等のデジタルフォーマットで記録された動画、又は、モノクロビデオ信号による動画、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ、ＭＵＳＥ等のコンポジットカラー信号、コンポーネントカラー信号若しくはＹ／Ｃ分離信号（Ｓ信号）による動画がある。
また、動画記憶手段１０は、動画を撮影した日時（絶対時刻）を関連付して記憶しても良く、動画の開始を基準とした経過時間（相対時刻）を関連付けして記憶しても良い。
【００２３】
このカメラパラメータには、動画を撮影したカメラの各種パラメータ、例えば、カメラの光学主点（第１光学主点）、実空間に対するカメラの位置、姿勢及びカメラのレンズの焦点距離が含まれる。さらに、カメラパラメータには、カメラのレンズの絞り値、レンズの焦点位置、レンズのフローティング機構の状態、レンズの歪パラメータ、光軸と画像面の傾き、光軸と画像面の交点位置、レンズの各種収差が含まれても良い。
【００２４】
ここで、固定カメラを用いる場合には、予め、固定カメラの設置位置と設置姿勢を、計測する。例えば、距離計や傾斜計を用いて計量し、又は、既知のランドマークの見え方から画像測量によって計量する。また、レンズの焦点距離は、レンズの公称値を用いて計測し、また、既知の図形を既知の距離に置いて撮影することで計測する。
一方、カメラが固定されていない場合は、予めカメラの姿勢や位置を一旦固定し、前記と同様の手法で計量する。また、レンズについては、予め、ズームリングの回転角と焦点距離の関係を測定する。さらに、レンズの焦点距離は、ズームリングに取り付けたロータリーエンコーダで計測する。
そして、撮影中には、カメラの姿勢変化をロータリーエンコーダで計測し、位置変化を位置測定装置（例えば、３次元カメラトラッキングシステム）やデッドレコニング（内界センサによる測位）により計測する。固定時の初期位置や姿勢に位置変化や姿勢変化を加えた結果及びロータリーエンコーダで測定されたレンズの焦点距離を、動画記憶手段１０に記憶する。
【００２５】
なお、図１の飛翔物体軌道演算装置１は、動画記憶手段１０と、曲面情報記憶手段１６と、軌道データ記憶手段２０と、を別々に構成したが、これらを１の記憶手段として一体で構成しても良い。
【００２６】
画像読出手段１１は、時刻指定手段１２に入力された指定時刻における動画を構成するフレームを、静止画として動画記憶手段１０から読み出すものである。
時刻指定手段１２は、物体が地面に接地する開始時刻と、物体が地面から離れている中間時刻と、物体が地面に再び接地する終了時刻と、を含む指定時刻を入力するものである。時刻指定手段１２は、例えば、ジョグダイヤル、シャトルダイヤル、キーボード、マウスである。例えば、時刻指定手段１２をジョグダイヤルとした場合、ジョグダイヤルの回転速度と回転方向に応じて指定時刻を前後させる。また、時刻指定手段１２をキーボードとした場合、テンキーにより指定時刻を入力し、カーソルキーにより指定時刻を前後させる。さらに、以上の指定時刻の入力動作又は指定動作は、マウスで模擬することもできる。
【００２７】
画像表示手段１３は、画像読出手段１２が読み出した静止画を表示するものである。例えば、画像表示手段１３は、ＣＲＴ（Ｃａｔｈｏｄ  Ｒａｙ  Ｔｕｂｅ）、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ）、ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）、ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｓｓｉｏｎ  Ｄｉｏｄｅ）等のディスプレイ、又は、投射型ディスプレイである。また、画像表示手段１３は、単色、２原色又は３原色以上のカラー等の任意の表示方法を用いることができる。
【００２８】
切替入力手段１４は、後記する第１曲面情報又は第２曲面情報の一方に切り替えることを示す切替情報を入力するものである。例えば、切替入力手段１４は、ボタン又はキー等を１以上設け、どのキー等が押されたか、又は、キー等が何回押されたかに応じて、第１曲面又は第２曲面の一方を選択可能とする。このとき、キー等を模擬する図面や文字を画像表示手段１３に表示しておき、マウスやスタイラスペンの操作、タッチパネルを指で触れる操作によって仮想的にキー等の押下を模擬しても良い。ここでは、切替入力手段１４は、切替情報として、第１曲面情報又は第２曲面情報の一方を示す識別子を、出力する。
【００２９】
曲面切替手段１５は、切替入力手段１４に入力された切替情報に基づいて、後記する曲面情報記憶手段１６から第１曲面情報又は第２曲面情報を読み出すものである。ここで、曲面切替手段１５は、例えば、切替情報の識別子が「１」であるときは、第１曲面情報を読み出し、一方、切替情報の識別子が「２」であるときは、第２曲面情報を読み出す。また、曲面切替手段１５は、読み出した第１曲面情報又は第２曲面情報を交点演算手段１８に出力する。以下、第１曲面情報が示す曲面を第１曲面とし、第２曲面情報が示す曲面を第２曲面とする。
なお、図１では、曲面切替手段１５が読み出した第１曲面情報又は第２曲面情報の一方を、曲面情報と示す。
【００３０】
曲面情報記憶手段１６は、予め設定された第１曲面情報、及び、後記する曲面生成手段２２が生成する第２曲面情報を記憶するものである。例えば、曲面情報記憶手段１６は、前記した動画記憶手段１０と同様の記録媒体である。ここで、第１曲面情報は、動画に含まれる地面を示すものである。また、第２曲面情報は、開始時刻及び終了時刻における物体の３次元座標を２点含むと共に、地面に垂直な鉛直面又は地面に対して所定の角度傾斜させた傾斜面を示すものである。なお、第２曲面情報の生成については、後記する。
【００３１】
第１曲面情報及び第２曲面情報の記述方法としては、例えば、空間平面や空間曲面を示す方程式、ポリゴン形式、ＤＥＭ（Ｄｉｇｉｔａｌ  Ｅｌｅｖａｔｉｏｎ  Ｍａｐ）がある。以下、実空間における３次元座標を世界座標と記す。
世界座標を（Ｘ，Ｙ，Ｚ）としたとき、空間平面を示す方程式は、例えば、点（Ｘ０，Ｙ０，Ｚ０）を通る法線ベクトル（Ａ，Ｂ，Ｃ）の平面として、下記式（１）で表すことができる。
【００３２】
【数１】
0005075659.tif 000002
【００３３】
また、式（１）において、−ＡＸ０−ＢＹ０−ＣＺ０＝Ｄと置き換えることによって、空間平面の方程式は、下記式（２）で表すことができる。このとき、係数Ａ，Ｂ，Ｃ及び定数Ｄが、第１曲面情報及び第２曲面情報となる。
【００３４】
【数２】
0005075659.tif 000003
【００３５】
また、空間平面は、下記式（３）で表される２次曲面とすることもできる。このとき、係数Ａ，Ｂ，Ｃ，Ｅ，Ｆ、Ｇ及び定数Ｄが、第１曲面情報及び第２曲面情報となる。
【００３６】
【数３】
0005075659.tif 000004
【００３７】
ポリゴン形式による場合、Ｎ個（Ｎは、３以上の整数）の頂点を網目状に三角パッチし、その各頂点の座標と、三角パッチを構成する頂点を示す情報とにより、第１曲面情報及び第２曲面情報が記述される。
【００３８】
ＤＥＭによる場合、２次元ルックアップテーブルＭを用いて、下記式（４）で表される形式で、Ｘ座標及びＹ座標が指定されたときの曲面のＺ座標を表現することができる。このとき、２次元ルックアップテーブルＭが、第１曲面情報及び第２曲面情報となる。なお、Ｘ座標及びＹ座標は、有限のステップに離散化されているものとする。
【００３９】
【数４】
0005075659.tif 000005
【００４０】
また、ＤＥＭによる場合、表現したい曲面の形状に応じて、下記式（５）で表される表現形式を用いても良い。
【００４１】
【数５】
0005075659.tif 000006
【００４２】
さらに、ＤＥＭによる場合、表現したい曲面の形状に応じて、下記式（６）で表される表現形式を用いても良い。
【００４３】
【数６】
0005075659.tif 000007
【００４４】
座標入力手段１７は、画像表示手段１３に表示される静止画において、開始時刻、中間時刻及び終了時刻における物体の２次元座標を入力するものである。例えば、座標入力手段１７は、画像表示手段１３に設けられたタッチパネル、又は、この表示部に接触するスタイラスペンの座標や筆圧を電磁気的に検出する手段である。また、マウスやカーソルキーを用いて、画像表示手段１３に表示されるカーソルを操作して２次元座標を入力しても良い。以後、静止画における物体の２次元座標を画像座標と記す。
【００４５】
また、座標入力手段１７が出力する画像座標は、画像表示手段１３が表示する静止画に対して一意に定義されるものであれば、どのような座標系によって表現しても良い。例えば、画像表示手段１３に表示される静止画の中央を原点とし、静止画の右方向に第１軸（Ｘ軸）及び静止画の下方向に第２軸（Ｙ軸）とすることができる。このとき、座標系の単位としては、画素のピッチ数を用いることができる。
【００４６】
交点演算手段１８は、カメラパラメータと、第１曲面情報と、開始時刻及び終了時刻における物体の画像座標とに基づいて、開始時刻及び終了時刻における物体の世界座標を演算するものである。また、交点演算手段１８は、カメラパラメータと、第２曲面情報と、中間時刻における物体の画像座標とに基づいて、中間時刻における物体の世界座標を演算する。
【００４７】
以下、図２を参照して、投影操作を説明する。図２は、本発明における投影を説明する説明図である。なお、図２において、世界座標系におけるカメラ座標系の原点の位置ベクトルを符号Ｑ、世界座標系における方向ベクトルをカメラ座標系における方向ベクトルに変換する回転行列を符号Ｒで記す。
【００４８】
まず、カメラの第１光学主点にカメラ座標系の原点をとる。画像面を平面とし、画像平面の右方向にｘ軸、画像平面の下方向にｙ軸、及び、光軸の被写界方向にｚ軸をとる。ここで、光軸は、画像平面に対して垂直とする。また、画像座標の各軸の方向は、カメラ座標系と同一とし、画像座標の原点は、カメラ座標系において（０，０，ｆ）とする。ここで、符号ｆは、レンズの焦点距離を示す。
ここで、世界座標系において位置ベクトルＳの位置に存在する物体を、カメラ座標系から見たときの座標Ｐは、下記式（７）で表される。
【００４９】
【数７】
0005075659.tif 000008
【００５０】
また、その画像平面上における像（物体）、すなわち、画像座標ｐは、下記式（８）で表される。
【００５１】
【数８】
0005075659.tif 000009
【００５２】
以下、図３を参照して、飛翔物体軌道演算装置の逆投影を説明する。図３は、図１の飛翔物体軌道演算装置の逆投影を説明する説明図である。なお、座標入力手段１７には、画像座標ｐが入力される。
交点演算手段１８は、画像座標の位置ベクトルｐを延長した延長線（視線）ｖと、曲面切替手段１５が読み出した第１曲面情報又は第２曲面情報が示す曲面（曲面π）との交点を求め、交点の世界座標Ｓ＾を求める逆投影操作を行う。
【００５３】
まず、画像座標の位置ベクトルｐをｋ（ｋは、１以上の実数）倍に延長した延長線が曲面π上にあるので、これを世界座標系で統一して表現した下記式（９）を満たすｋを求めれば良い。なお、式（９）において、Ｔは、回転行列Ｒの転置である。
【００５４】
【数９】
0005075659.tif 000010
【００５５】
ここで、式（９）を満たすｋが複数存在する場合、それらのうち、最小の値となるｋを最小値ｋ＾とする。一方、式（９）を満たすｋが存在しない場合、座標入力手段１７で入力された画像座標ｐに対する交点の世界座標Ｓ＾が存在しないので、交点演算手段１８は、以降の処理を行わない。
交点演算手段１８は、交点の世界座標Ｓ＾を下記式（１０）により求めることができる。そして、交点演算手段１８は、このようにして求めた交点の世界座標Ｓ＾を、物体の世界座標Ｓ（ｔ）として出力する。
【００５６】
【数１０】
0005075659.tif 000011
【００５７】
曲面πの表現形式毎に、式（９）を用いた最小値ｋ＾の求め方を説明する。曲面πが式（２）で表される空間平面である場合、式（９）を下記式（１１）で表すことができる。
【００５８】
【数１１】
0005075659.tif 000012
【００５９】
そして、下記式（１２）を満たすとき、
【００６０】
【数１２】
0005075659.tif 000013
交点演算手段１８は、下記式（１３）によって最小値ｋ＾を求めることができる。
【数１３】
0005075659.tif 000014
このとき、式（１３）によって求められた最小値ｋ＾が１未満であった場合、交点演算手段１８は、以下の処理を行わない。また、式（１２）を満たさない場合も、交点演算手段１８は、以下の処理を行わない。
【００６１】
曲面πがポリゴン形式の場合、まず、三角パッチの１個に注目し、その三角パッチが含まれる平面を式（２）で表す。次に、式（１１）から式（１３）を適用し、最小値ｋ＾の候補を求める。
最小値ｋ＾の候補が存在する場合、式（１０）により交点の世界座標Ｓ＾を求める。この交点の世界座標Ｓ＾が、注目した三角パッチ上にあれば、最小値ｋ＾の候補として残す。さらに、別の三角パッチに対しても上記処理を繰り返して行い、最小値ｋ＾の候補を絞る。このように得られた最小値ｋ＾の候補で最小のものを、最小値ｋ＾とする。
【００６２】
曲面πがＤＥＭによる場合、これをポリゴン形式に変換することによって、上記ポリゴン形式と同様の手順により最小値ｋ＾を得ることができる。
例えば、ＤＥＭにおいて、隣接する４サンプル点、Ｍ（Ｘ，Ｙ）、Ｍ（Ｘ＋ΔＸ，Ｙ）、Ｍ（Ｘ，Ｙ＋ΔＹ）、Ｍ（Ｘ＋ΔＸ，Ｙ＋ΔＹ）からは２個の三角パッチを生成できる。なお、ΔＸ及びΔＹは、ＤＥＭにおけるＸ方向及びＹ方向のサンプリング間隔とする。例えば、１個目の三角パッチは、下記式（１４）により生成することができる。
【００６３】
【数１４】
0005075659.tif 000015
【００６４】
また、２個目の三角パッチは、下記式（１５）により生成することができる。
【００６５】
【数１５】
0005075659.tif 000016
【００６６】
以下、図１に戻り、飛翔物体軌道演算装置の構成について説明を続ける。
軌道データ書込手段１９は、交点演算手段１８が演算した物体の世界座標を時刻順に並べた軌道データを生成する。例えば、軌道データ書込手段１９は、交点演算手段１８が演算した交点の世界座標Ｓ＾を、下記式（１６）に示すように、物体の世界座標Ｓ（ｔ）として、軌道データ記憶手段２０に書き込む。ここでは、指定時刻をｔとする。
【００６７】
【数１６】
0005075659.tif 000017
【００６８】
軌道データ記憶手段２０は、軌道データ生成手段１９が生成した軌道データを記憶するものである。軌道データ記憶手段２０は、例えば、前記した動画記憶手段１０と同様の記録媒体である。
ここで、軌道データ記憶手段２０は、軌道データとして、物体の世界座標Ｓ（ｔ）を、指定時刻ｔの順に軌道データ記憶手段２０のアドレスに対応付けて記憶しても良い。また、軌道データ記憶手段２０は、軌道データとして、指定時刻ｔに対応付けた物体の世界座標Ｓ（ｔ）を、軌道データ記憶手段２０に任意の順番で記憶しても良い。
【００６９】
指定時刻ｔにおける物体の世界座標Ｓ（ｔ）が演算されていない場合には、例えば、ＮａＮ（Ｎｏｔ  ａ  Ｎｕｍｂｅｒ）値等のビット列を記憶する。また、指定時刻ｔにおける物体の世界座標Ｓ（ｔ）が演算されているか否かを示すフラグを軌道データ記憶手段２０に別途記憶し、物体の世界座標Ｓ（ｔ）が演算されているか否かを区別することができる。以下、指定時刻ｔにおける物体の世界座標Ｓ（ｔ）が演算されていない場合、Ｓ（ｔ）＝φと記す。
【００７０】
ここで、軌道データ記憶手段２０には、指定時刻ｔにおける物体の世界座標Ｓ（ｔ）を設定した際の切替情報を別途記憶しても良い。これによって、物体の世界座標Ｓ（ｔ）の入力の際、交点演算手段１８が第１曲面情報又は第２曲面情報の何れを利用したかを知ることができる。以下、指定時刻ｔにおける切替情報をＵ（ｔ）する。以下、切替情報Ｕ（ｔ）が記憶されていない場合、Ｕ（ｔ）＝０とし、指定時刻ｔにおいて第１曲面が選択された場合、Ｕ（ｔ）＝１とし、指定時刻ｔにおいて第２曲面が選択された場合、Ｕ（ｔ）＝２とする。
【００７１】
軌道データ読出手段２１は、軌道データ記憶手段２０が記憶する軌道データを読み出し、時刻指定手段１２に入力された指定時刻ｔに前後する物体の世界座標Ｓ（ｔ）を取得する。以下、軌道データ読出手段２１の動作について、第１例及び第２例をあげて具体的に説明する。
【００７２】
＜軌道データ読出手段の動作：第１例＞
軌道データ読出手段２１は、指定時刻ｔに前後する物体の世界座標Ｓ（ｔ）をそれぞれ取得する。これら物体の両世界座標Ｓ（ｔ）を取得する条件式を以下に示す。ここで、符号ｔ０は、指定時刻ｔより前の時刻を示し、符号ｔ１は、指定時刻ｔより後の時刻を示す。なお、軌道データ読出手段２１は、物体の両世界座標Ｓ（ｔ）を取得できない場合、以下の処理を行わない。
ｔ０＜ｔ、かつ、Ｓ（ｔ０）≠φを満たす最大のｔ０におけるＳ（ｔ０）
ｔ１＞ｔ、かつ、Ｓ（ｔ１）≠φを満たす最小のｔ１におけるＳ（ｔ１）
【００７３】
＜軌道データ読出手段の動作：第２例＞
軌道データ読出手段２１は、指定時刻ｔの前後において、第１曲面情報を用いて演算された物体の世界座標Ｓ（ｔ）をそれぞれ取得する。これら物体の両世界座標Ｓ（ｔ）を取得する条件式を以下に示す。なお、軌道データ読出手段２１は、物体の両世界座標Ｓ（ｔ）を取得できない場合、以下の処理を行わない。
ｔ０＜ｔ、かつ、Ｕ（ｔ０）＝１を満たす最大のｔ０におけるＳ（ｔ０）
ｔ１＞ｔ、かつ、Ｕ（ｔ１）＝１を満たす最小のｔ１におけるＳ（ｔ１）
【００７４】
曲面生成手段２２は、開始時刻及び終了時刻における物体の両世界座標Ｓ（ｔ）を２点含むと共に、地面に垂直な鉛直面を示す第２曲面情報を生成するものである。また、曲面生成手段２２は、生成した第２曲面情報を曲面情報記憶手段１６に書き込む。
例えば、曲面生成手段２２は、第２曲面を、物体の世界座標Ｓ（ｔ０）及び物体の世界座標Ｓ（ｔ１）を含む鉛直面とすることができる。下記式（１７）とおいたとき、鉛直面は、下記式（１８）で表すことができる。
【００７５】
【数１７】
0005075659.tif 000018
【００７６】
【数１８】
0005075659.tif 000019
【００７７】
なお、式（１８）は、式（２）において、下記式（１９）とおいたものに相当する。
【数１９】
0005075659.tif 000020
【００７８】
また、曲面生成手段２２は、第２曲面を、物体の世界座標Ｓ（ｔ０）及び物体の世界座標Ｓ（ｔ１）を含み、地面に対して所定の角度傾斜させた傾斜面としても良い。ここでは、この所定の角度は、曲面情報記憶手段１６に予め記憶しておく。
【００７９】
軌道データ補完手段２３は、軌道データ書込手段１９が生成した軌道データに、任意の時刻における物体の世界座標Ｓ（ｔ）が含まれない場合、任意の時刻に前後する物体の世界座標Ｓ（ｔ）を２点取得し、２点を含む所定の線を用いて、任意の時刻における物体の世界座標Ｓ（ｔ）を補完するものである。
【００８０】
ここで、軌道データ補完手段２３は、所定の線として、放物線を用いても良い。この場合、軌道データ補完手段２３は、物体の軌道に放物線をあてはめて、物体の世界座標Ｓ（ｔ）を補完する。
また、軌道データ補完手段２３は、所定の線として、線分、又は、複数の線分が連続する線分群を用いても良い。この場合、軌道データ補完手段２３は、物体の軌道に線分又は線分群をあてはめて、物体の世界座標Ｓ（ｔ）を補完する。
以上、飛翔物体軌道演算装置１の構成について説明した。
【００８１】
＜画像座標の入力手順：第１例＞
以下、図４を参照して、飛翔物体軌道演算装置による画像座標の入力手順の第１例について説明する（適宜図１参照）。図４は、図１の飛翔物体軌道演算装置による画像座標の入力手順の第１例を説明する説明図である。なお、図４において、時刻ｔとは、指定時刻を示す。ここでは、第１曲面として、式（２）及び下記式（２０）で表される平面を用いる。また、第２曲面として、式（２）、式（１７）及び式（１９）で表される鉛直面を用いる。
【００８２】
【数２０】
0005075659.tif 000021
【００８３】
まず、図４（Ａ）に示すように、時刻指定手段１２を操作して、物体（例えば、ボール）が地面に接地する状態（物体は接地）の静止画を画像表示手段１３に表示させる。この指定時刻ｔ＝１は、開始時刻を示す。
また、切替入力手段１４を操作して、曲面切替手段１５に入力する切替情報Ｕ（１）の識別子を「１」に設定することで、交点演算手段１８に第１曲面情報が与えられるようにする。
【００８４】
また、座標入力手段１７を操作して、画像表示手段１３に表示されている静止画において、物体の画像座標ｐを入力する。そして、交点演算手段１８は、第１曲面（Ｚ＝０）と入力された画像座標ｐの延長線との交点を、指定時刻ｔ＝１における物体の世界座標Ｓ（１）として、式（２）及び式（１３）により演算する。
【００８５】
続いて、図４（Ｂ）に示すように、時刻指定手段１２を操作して、物体が地面に再び接地した状態にある静止画を画像表示手段１３に表示させる。この指定時刻ｔ＝４は、終了時刻を示す。
また、座標入力手段１７を操作して、画像表示手段１３に表示されている静止画において、物体の画像座標ｐを入力する。そして、交点演算手段１８は、第１曲面（Ｚ＝０）と入力された画像座標ｐの延長線との交点を、指定時刻ｔ＝４における物体の世界座標Ｓ（４）として、式（２）及び式（１３）により演算する。
【００８６】
次に、図４（Ｃ）に示すように、時刻指定手段１２を操作して、物体が地面から離れている状態（物体は飛翔）の静止画を画像表示手段１３に表示させる。この指定時刻ｔ＝２は、中間時刻を示す。
また、切替入力手段１４を操作して、曲面切替手段１５に入力する切替情報Ｕ（２）の識別子を「２」に設定することで、交点演算手段１８に第２曲面情報が与えられるようにする。
【００８７】
ここで、軌道データ読出手段２１は、指定時刻ｔ＝２に前後する物体の世界座標Ｓ（ｔ）を取得する。この場合、軌道データ読出手段は、図４（Ａ）及び図４（Ｂ）で演算した物体の世界座標Ｓ（１）及び物体の世界座標Ｓ（４）を取得する。そして、図４（Ｄ）に示すように、曲面生成手段２２が動作し、ｔ０＝１及びｔ１＝４として、式（２）、式（１７）及び式（１９）を適用し、物体の世界座標Ｓ（１）と物体の世界座標Ｓ（４）の２点を通る鉛直面を第２曲面として生成する。
【００８８】
図４（Ｃ）に戻り、座標入力手段１７を操作して、画像表示手段１３に表示されている静止画において、物体の画像座標ｐを入力する。そして、交点演算手段１８は、第２曲面（物体の世界座標Ｓ（１）と物体の世界座標Ｓ（４）の２点を通る鉛直面）と、入力された画像座標ｐの延長線との交点を、指定時刻ｔ＝２における物体の世界座標Ｓ（２）として、式（１３）、式（１７）及び式（１９）により演算する。
【００８９】
さらに、図４（Ｅ）に示すように、時刻指定手段１２を操作して、物体が飛翔中の静止画を画像表示手段１３に表示させる。この指定時刻ｔ＝３は、中間時刻を示す。
ここで、軌道データ読出手段は、指定時刻ｔ＝３に前後する物体の世界座標Ｓ（ｔ）を取得する。この場合、軌道データ読出手段は、図４（Ｂ）及び図４（Ｃ）で演算した物体の世界座標Ｓ（２）及び物体の世界座標Ｓ（４）を取得する。そして、図４（Ｆ）に示すように、曲面生成手段２２が動作し、ｔ０＝２及びｔ１＝４として、式（２）、式（１７）及び式（１９）を適用し、物体の世界座標Ｓ（２）と物体の世界座標Ｓ（４）の２点を通る鉛直面を第２曲面として生成する。
【００９０】
図４（Ｅ）に戻り、座標入力手段１７を操作して、画像表示手段１３に表示されている静止画において、物体の画像座標ｐを入力する。そして、交点演算手段１８は、第２曲面（物体の世界座標Ｓ（２）と物体の世界座標Ｓ（４）の２点を通る鉛直平面）と、入力された画像座標ｐの延長線との交点を、指定時刻ｔ＝３における物体の世界座標Ｓ（３）として、式（１３）、式（１７）及び式（１９）により演算する。さらに、軌道データ書込手段１９は、物体の世界座標Ｓ（１）から物体の世界座標Ｓ（４）を時刻順に並べて軌道データを生成し、軌道データ記憶手段２０に書き込む。
【００９１】
＜画像座標の入力手順：第２例＞
以下、図５を参照して、飛翔物体軌道演算装置による画像座標の入力手順の第２例について説明する（適宜図１参照）。図５は、図１の飛翔物体軌道演算装置による画像座標の入力手順の第２例を説明する説明図である。図４に示す画像座標の入力手順の第１例との相違点は、軌道データ記憶手段２０に、物体の世界座標Ｓ（ｔ）と共に、切替情報Ｕ（ｔ）が記憶されることである。
【００９２】
まず、図４（Ａ）と同様に、指定時刻ｔ＝１における物体の世界座標Ｓ（１）を演算する（図５（Ａ）参照）。ここでは、切替情報Ｕ（１）＝１が、軌道データ記憶手段２０に記憶される。
【００９３】
続いて、図４（Ｂ）と同様に、指定時刻ｔ＝４における物体の世界座標Ｓ（４）を演算する（図５（Ｂ）参照）。ここでは、切替情報Ｕ（４）＝１が、軌道データ記憶手段２０に記憶される。
【００９４】
次に、図４（Ｃ）と同様に、指定時刻ｔ＝２における物体の世界座標Ｓ（２）を演算する（図５（Ｃ）参照）。ここでは、切替情報Ｕ（２）＝２が、軌道データ記憶手段２０に記憶される。
【００９５】
このとき、軌道データ読出手段２１は、指定時刻ｔ＝２に前後し、かつ、第１曲面を用いて生成された物体の世界座標Ｓ（ｔ）を取得する。この場合、軌道データ読出手段２１は、図５（Ａ）及び図５（Ｂ）で演算した物体の世界座標Ｓ（１）及び物体の世界座標Ｓ（４）を取得する。そして、図５（Ｄ）に示すように、曲面生成手段２２が動作し、ｔ０＝１及びｔ１＝４として、式（２）、式（１７）及び式（１９）を適用し、物体の世界座標Ｓ（１）と物体の世界座標Ｓ（４）の２点を通る鉛直面を第２曲面として生成する。
【００９６】
さらに、図４（Ｅ）と同様に、指定時刻ｔ＝３における物体の世界座標Ｓ（３）を演算する（図５（Ｅ）参照）。ここでは、切替情報Ｕ（３）＝２が、軌道データ記憶手段２０に記憶される。
【００９７】
このとき、軌道データ読出手段は、指定時刻ｔ＝３に前後し、かつ、第１曲面を用いて生成された物体の世界座標Ｓ（ｔ）を取得する。この場合、軌道データ読出手段は、図５（Ｂ）及び図５（Ｃ）で演算した物体の世界座標Ｓ（２）及び物体の世界座標Ｓ（４）を取得する。そして、図５（Ｆ）に示すように、曲面生成手段２２が動作し、ｔ０＝２及びｔ１＝４として、式（２）、式（１７）及び式（１９）を適用し、物体の世界座標Ｓ（１）と物体の世界座標Ｓ（４）の２点を通る鉛直面を第２曲面として生成する。さらに、軌道データ書込手段１９は、物体の世界座標Ｓ（１）から物体の世界座標Ｓ（４）を時刻順に並べて軌道データを生成し、軌道データ記憶手段２０に書き込む。
【００９８】
［飛翔物体軌道演算装置の動作］
以下、図６を参照して、飛翔物体軌道演算装置の動作について説明する（適宜図１参照）。図６は、図１の飛翔物体軌道演算装置の動作を示すフローチャートである。
【００９９】
飛翔物体軌道演算装置１は、画像読出手段１１によって、時刻指定手段１２に入力された指定時刻における動画を構成するフレームを、静止画として動画記憶手段１０から読み出す（ステップＳ１）。また、飛翔物体軌道演算装置１は、曲面切替手段１５によって、切替入力手段１４に入力された切替情報に基づいて、曲面情報記憶手段１６から第１曲面情報又は第２曲面情報を読み出す（ステップＳ２）。
【０１００】
ステップ２において、第１曲面情報が読み出された場合、飛翔物体軌道演算装置１は、交点演算手段１８によって、カメラパラメータと、第１曲面情報と、開始時刻及び終了時刻における物体の画像座標とに基づいて、開始時刻及び終了時刻における物体の世界座標を演算する。そして、飛翔物体軌道演算装置１は、曲面生成手段２２によって、開始時刻及び終了時刻における物体の世界座標を２点含むと共に、地面に垂直な鉛直面又は地面に対して所定の角度傾斜させた傾斜面を示す第２曲面情報を生成する。
一方、第２曲面情報が読み出された場合、飛翔物体軌道演算装置１は、交点演算手段１８によって、カメラパラメータと、第２曲面情報と、中間時刻における物体の画像座標とに基づいて、中間時刻における物体の世界座標を演算する（ステップＳ３）。
【０１０１】
ステップＳ３に続いて、飛翔物体軌道演算装置１は、軌道データ書込手段１９によって、物体の世界座標を時刻順に並べて軌道データを生成する（ステップＳ４）。また、飛翔物体軌道演算装置１は、任意の時刻における物体の世界座標を補完する（ステップＳ５）。また、飛翔物体軌道演算装置１は、曲面生成手段２２によって、生成した第２曲面情報を曲面情報記憶手段１６に書き込む（ステップＳ６）。
【０１０２】
なお、以上、本発明に係る物体軌道演算装置を独立した装置として説明したが、本発明では、一般的なコンピュータを、前記した各手段として機能させるプログラムによって動作させることもできる。このプログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布しても良い。
【図面の簡単な説明】
【０１０３】
【図１】本発明の実施形態に係る飛翔物体軌道演算装置のブロック図である。
【図２】本発明の実施形態における投影を説明する説明図である。
【図３】図１の飛翔物体軌道演算装置の逆投影を説明する説明図である。
【図４】図１の飛翔物体軌道演算装置による画像座標の入力手順の第１例を説明する    説明図である。
【図５】図１の飛翔物体軌道演算装置による画像座標の入力手順の第２例を説明する    説明図である。
【図６】図１の飛翔物体軌道演算装置の動作を示すフローチャートである。
【符号の説明】
【０１０４】
１    飛翔物体軌道演算装置（物体軌道演算装置）
１０  動画記憶手段
１１  画像読出手段
１２  時刻指定手段
１３  画像表示手段
１４  切替入力手段
１５  曲面切替手段
１６  曲面情報記憶手段
１７  座標入力手段
１８  交点演算手段
１９  軌道データ書込手段（軌道データ生成手段）
２０  軌道データ記憶手段
２１  軌道データ読出手段
２２  曲面生成手段
２３  軌道データ補完手段
【図１】
0005075659.tif 000022
【図２】
0005075659.tif 000023
【図３】
0005075659.tif 000024
【図４】
0005075659.tif 000025
【図５】
0005075659.tif 000026
【図６】
0005075659.tif 000027