(57)【要約】【課題】３Ｄディスプレイに表示される３Ｄ動画像上の間接編集を空間マウスで行う場合に適切な３次元動画像再生装置を提供する。【解決手段】空間マウスの位置の変化に応じて３Ｄ動画像中の空間マウスによる指定位置を検出し、その指定位置のうち、３Ｄ動画像中の３Ｄメタデータの表示位置を、空間マウスから受信した位置特定情報、または所定の時間間隔における空間マウスによる指定位置に基づいて複数検出する。そして、３Ｄ動画像の開始時刻と、３Ｄメタデータの表示位置を検出した時刻とに基づいて、３Ｄ動画像中において３Ｄメタデータを表示する３Ｄ動画像の開始時刻からの経過時間を検出し、３Ｄメタデータの表示位置とその表示位置において３Ｄメタデータを表示する３Ｄ動画像の開始時刻からの経過時間とからなる表示属性情報を、当該３Ｄメタデータの表示位置毎に３ＤメタデータＤＢへ複数記録する。【選択図】図１
2010061231.tif 000002
【特許請求の範囲】
【請求項１】
予め記憶する３次元動画像を３次元動画像表示手段に再生出力する３次元動画像再生装置であって、
実空間に存在する空間入力装置の位置を検出し、当該位置の変化に応じて前記３次元動画像中の前記空間入力装置による指定位置を検出する指定位置検出手段と、
前記空間入力装置による指定位置のうち、前記３次元動画像中の付加情報の表示位置を、前記空間入力装置から受信した位置特定情報、または所定の時間間隔における前記空間入力装置による指定位置の何れかに基づいて複数検出する付加情報表示位置検出手段と、
前記３次元動画像の開始時刻と、前記付加情報の表示位置を検出した時刻とに基づいて、前記３次元動画像中において前記付加情報を表示する前記開始時刻からの経過時間を検出する表示時刻検出手段と、
前記付加情報の前記表示位置とその表示位置において前記付加情報を表示する前記３次元動画像の開始時刻からの経過時間とからなる表示属性情報を、当該付加情報の表示位置毎に表示属性情報記憶手段へ複数記録する表示属性情報記録手段と、
を備えることを特徴とする３次元動画像再生装置。
【請求項２】
前記付加情報の複数の前記表示位置から、当該複数の表示位置を結んだ表示軌跡を特定する表示軌跡情報を算出する表示軌跡算出手段と、を備え、
前記表示属性情報記録手段は、前記算出した表示軌跡情報をさらに含む前記表示属性情報を、前記付加情報の表示位置毎に表示属性情報記憶手段へ複数記録する
ことを特徴とする請求項１に記載の３次元動画像再生装置。
【請求項３】
前記表示軌跡情報は、前記付加情報の複数の前記表示位置を結んだ各直線を表わす式の各係数である
ことを特徴とする請求項２に記載の３次元動画像再生装置。
【請求項４】
前記表示軌跡情報は、前記付加情報の複数の前記表示位置を結んだスプライン曲線を表わす式の各係数である
ことを特徴とする請求項２に記載の３次元動画像再生装置。
【請求項５】
前記複数検出した前記３次元動画像中の付加情報の表示位置のうち連続する複数の表示位置が、当該連続する複数の表示位置の始点の表示位置と次点の表示位置とを結ぶ直線の延伸線を中心とした所定の半径の仮想円柱内に位置するかを、前記次点の表示位置の次の表示位置から順に判定し、当該仮想円柱内に初めて位置しないと判定した表示位置の１つ前の表示位置と前記始点の表示位置とを結んだ直線を表わす式の係数からなる表示軌跡情報を算出する表示軌跡算出手段と、を備え、
前記表示軌跡算出手段は、前記仮想円柱内に初めて位置しないと判定した表示位置の１つ前の表示位置を始点として前記表示軌跡情報を繰り返し算出し、
前記表示属性情報記録手段は、前記算出した表示軌跡情報をさらに含む前記表示属性情報を、前記付加情報の表示位置毎に表示属性情報記憶手段へ複数記録する
ことを特徴とする請求項１に記載の３次元動画像再生装置。
【請求項６】
前記表示軌跡情報で表わされる、前記付加情報の複数の前記表示位置を結んだ表示軌跡と、予め定められた軌跡テンプレートとを比較して、一致する軌跡テンプレートを特定する軌跡テンプレート特定手段と、を備え、
前記表示属性情報記録手段は、前記軌跡テンプレートをさらに含む前記表示属性情報を、前記付加情報の表示位置毎に表示属性情報記憶手段へ複数記録する
ことを特徴とする請求項１または請求項２または請求項５の何れかに記載の３次元動画像再生装置。
【請求項７】
前記複数検出した前記３次元動画像中の付加情報の表示位置のうち２つの連続する各表示位置とそれら表示位置の表示時刻とに基づいて、それら２つの連続する各表示位置における前記付加情報の移動速度と移動方向とを算出する移動情報算出手段と、
前記表示属性情報記録手段は、前記算出した移動速度と移動方向とをさらに含む前記表示属性情報を、前記付加情報の表示位置毎に表示属性情報記憶手段へ複数記録する
ことを特徴とする請求項１または請求項２または請求項５の何れかに記載の３次元動画像再生装置。
【請求項８】
前記３次元動画像を３次元動画像表示手段に再生出力する３次元動画像再生手段と、
前記付加情報の表示属性情報を前記表示属性情報記憶手段から読み取って、当該表示属性情報に基づいて前記付加情報を前記３次元動画像中に表示する付加情報表示手段と、
前記空間入力装置による指定位置に基づいて、前記付加情報が選択されたかを判定する付加情報選択有無判定手段と、
前記空間入力装置による指定位置の移動を検出する指定位置移動検出手段と、
前記付加情報が選択されている間に、前記指定位置の移動を検出した場合に、前記３次元動画像中に表示している付加情報の前記移動後の表示軌跡情報を、当該付加情報に関する表示軌跡情報と、前記指定位置の移動量に基づいて再計算する軌跡再計算手段と、を備え、
前記付加情報表示手段は、前記移動後の表示軌跡情報に基づいて、前記３次元動画像中に前記付加情報を表示する
ことを特徴とする請求項２から請求項７の何れかに記載の３次元動画像再生装置。
【請求項９】
予め記憶する３次元動画像を３次元動画像表示手段に再生出力する３次元動画像再生装置における処理方法であって、
前記３次元動画像再生装置の指定位置検出手段が、実空間に存在する空間入力装置の位置を検出し、当該位置の変化に応じて前記３次元動画像中の前記空間入力装置による指定位置を検出し、
前記３次元動画像再生装置の付加情報表示位置検出手段が、前記空間入力装置による指定位置のうち、前記３次元動画像中の付加情報の表示位置を、前記空間入力装置から受信した位置特定情報、または所定の時間間隔における前記空間入力装置による指定位置の何れかに基づいて複数検出し、
前記３次元動画像再生装置の表示時刻検出手段が、前記３次元動画像の開始時刻と、前記付加情報の表示位置を検出した時刻とに基づいて、前記３次元動画像中において前記付加情報を表示する前記開始時刻からの経過時間を検出し、
前記３次元動画像再生装置の表示属性情報記録手段が、前記付加情報の前記表示位置とその表示位置において前記付加情報を表示する前記３次元動画像の開始時刻からの経過時間とからなる表示属性情報を、当該付加情報の表示位置毎に表示属性情報記憶手段へ複数記録する
ことを特徴とする処理方法。
【請求項１０】
前記３次元動画像再生装置の表示軌跡算出手段が、前記付加情報の複数の前記表示位置から、当該複数の表示位置を結んだ表示軌跡を特定する表示軌跡情報を算出し、
前記３次元動画像再生装置の前記表示属性情報記録手段は、前記算出した表示軌跡情報をさらに含む前記表示属性情報を、前記付加情報の表示位置毎に表示属性情報記憶手段へ複数記録する
ことを特徴とする請求項９に記載の処理方法。
【請求項１１】
前記３次元動画像再生装置の表示軌跡算出手段が、前記複数検出した前記３次元動画像中の付加情報の表示位置のうち連続する複数の表示位置が、当該連続する複数の表示位置の始点の表示位置と次点の表示位置とを結ぶ直線の延伸線を中心とした所定の半径の仮想円柱内に位置するかを、前記次点の表示位置の次の表示位置から順に判定し、当該仮想円柱内に初めて位置しないと判定した表示位置の１つ前の表示位置と前記始点の表示位置とを結んだ直線を表わす式の係数からなる表示軌跡情報を算出し、
前記３次元動画像再生装置の前記表示軌跡算出手段が、前記仮想円柱内に初めて位置しないと判定した表示位置の１つ前の表示位置を始点として前記表示軌跡情報を繰り返し算出し、
前記３次元動画像再生装置の前記表示属性情報記録手段が、前記算出した表示軌跡情報をさらに含む前記表示属性情報を、前記付加情報の表示位置毎に表示属性情報記憶手段へ複数記録する
ことを特徴とする請求項９に記載の処理方法。
【請求項１２】
前記３次元動画像再生装置の軌跡テンプレート特定手段が、前記表示軌跡情報で表わされる、前記付加情報の複数の前記表示位置を結んだ表示軌跡と、予め定められた軌跡テンプレートとを比較して、一致する軌跡テンプレートを特定し、
前記３次元動画像再生装置の前記表示属性情報記録手段が、前記軌跡テンプレートをさらに含む前記表示属性情報を、前記付加情報の表示位置毎に表示属性情報記憶手段へ複数記録する
ことを特徴とする請求項９から請求項１１の何れかに記載の処理方法。
【請求項１３】
前記３次元動画像再生装置の移動情報算出手段が、前記複数検出した前記３次元動画像中の付加情報の表示位置のうち２つの連続する各表示位置とそれら表示位置の表示時刻とに基づいて、それら２つの連続する各表示位置における前記付加情報の移動速度と移動方向とを算出し、
前記３次元動画像再生装置の前記表示属性情報記録手段が、前記算出した移動速度と移動方向とをさらに含む前記表示属性情報を、前記付加情報の表示位置毎に表示属性情報記憶手段へ複数記録する
ことを特徴とする請求項９から請求項１１の何れかに記載の処理方法。
【請求項１４】
前記３次元動画像再生装置の３次元動画像再生手段が、前記３次元動画像を３次元動画像表示手段に再生出力し、
前記３次元動画像再生装置の付加情報表示手段が、前記付加情報の表示属性情報を前記表示属性情報記憶手段から読み取って、当該表示属性情報に基づいて前記付加情報を前記３次元動画像中に表示し、
前記３次元動画像再生装置の付加情報選択有無判定手段が、前記空間入力装置による指定位置に基づいて、前記付加情報が選択されたかを判定し、
前記３次元動画像再生装置の指定位置移動検出手段が、前記空間入力装置による指定位置の移動を検出し、
前記３次元動画像再生装置の軌跡再計算手段が、前記付加情報が選択されている間に、前記指定位置の移動を検出した場合に、前記３次元動画像中に表示している付加情報の前記移動後の表示軌跡情報を、当該付加情報に関する表示軌跡情報と、前記指定位置の移動量に基づいて再計算し、
前記３次元動画像再生装置の前記付加情報表示手段が、前記移動後の表示軌跡情報に基づいて、前記３次元動画像中に前記付加情報を表示する
ことを特徴とする請求項１０から請求項１３の何れかに記載の処理方法。
【請求項１５】
予め記憶する３次元動画像を３次元動画像表示手段に再生出力する３次元動画像再生装置のコンピュータを、
実空間に存在する空間入力装置の位置を検出し、当該位置の変化に応じて前記３次元動画像中の前記空間入力装置による指定位置を検出する指定位置検出手段、
前記空間入力装置による指定位置のうち、前記３次元動画像中の付加情報の表示位置を、前記空間入力装置から受信した位置特定情報、または所定の時間間隔における前記空間入力装置による指定位置の何れかに基づいて複数検出する付加情報表示位置検出手段、
前記３次元動画像の開始時刻と、前記付加情報の表示位置を検出した時刻とに基づいて、前記３次元動画像中において前記付加情報を表示する前記開始時刻からの経過時間を検出する表示時刻検出手段、
前記付加情報の前記表示位置とその表示位置において前記付加情報を表示する前記３次元動画像の開始時刻からの経過時間とからなる表示属性情報を、当該付加情報の表示位置毎に表示属性情報記憶手段へ複数記録する表示属性情報記録手段、
として機能させるためのプログラム。
【請求項１６】
前記コンピュータを、さらに、
前記付加情報の複数の前記表示位置から、当該複数の表示位置を結んだ表示軌跡を特定する表示軌跡情報を算出する表示軌跡算出手段、
として機能させ、
前記表示属性情報記録手段が、前記算出した表示軌跡情報をさらに含む前記表示属性情報を、前記付加情報の表示位置毎に表示属性情報記憶手段へ複数記録する
ことを特徴とする請求項１５に記載のプログラム。
【請求項１７】
前記コンピュータを、さらに、
前記３次元動画像を３次元動画像表示手段に再生出力する３次元動画像再生手段、
前記付加情報の表示属性情報を前記表示属性情報記憶手段から読み取って、当該表示属性情報に基づいて前記付加情報を前記３次元動画像中に表示する付加情報表示手段、
前記空間入力装置による指定位置に基づいて、前記付加情報が選択されたかを判定する付加情報選択有無判定手段、
前記空間入力装置による指定位置の移動を検出する指定位置移動検出手段、
前記付加情報が選択されている間に、前記指定位置の移動を検出した場合に、前記３次元動画像中に表示している付加情報の前記移動後の表示軌跡情報を、当該付加情報に関する表示軌跡情報と、前記指定位置の移動量に基づいて再計算する軌跡再計算手段、
として機能させ、
前記付加情報表示手段が、前記移動後の表示軌跡情報に基づいて、前記３次元動画像中に前記付加情報を表示する
ことを特徴とする請求項１６に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３Ｄディスプレイに３Ｄ動画像とメタデータとを表示する３次元動画像再生装置及び３次元動画像再生方法ならびにそのプログラムに関する。
【背景技術】
【０００２】
動画像中に表示された対象画像を編集する技術は多く存在しており、例えば、２Ｄ（2Dimension）ディスプレイ上に表示された２次元画像中の対象物に対するマウス等の入力装置を用いた編集や、２Ｄディスプレイ上に表示された３次元動画像中の対象物に対する空間マウス等の入力装置を用いた編集が、動画像編集ソフトや、コンピュータゲームアプリケーションなどで応用されている。なお空間マウスとは、実空間の位置の変動によってその変動に基づく移動量から画像上の指定位置を特定入力するための入力装置である。そして、動画像中に表示されている３Ｄ（3Dimension）情報により表示されている２Ｄ画像上において動画像の編集を行う技術が特許文献１および特許文献２に開示されている。
【非特許文献１】“ソリッドレイ研究所  オメガスペース概要”、「online」、「平成２０年７月７日検索」、インターネット＜ＵＲＬ：http://www.solidray.co.jp/product/omega/index.html#1＞
【非特許文献２】“Autodesk 3ds Max”、「online」、「平成２０年７月７日検索」、インターネット＜ＵＲＬ：http://usa.autodesk.com/adsk/servlet/index?id=5659302&siteID=123112＞
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ここで動画像の編集には、オリジナルの動画像中の編集対象画像を編集する直接編集と、オリジナルの動画像とは別の情報として記憶させ当該動画像中に表示させる付加情報を編集する間接編集とがあるが、間接編集を空間マウスで行う場合に適切な技術の開発が望まれている。
【０００４】
そこでこの発明は、３Ｄディスプレイに表示される３Ｄ動画像上の間接編集を空間マウスで行う場合に適切な３次元動画像再生装置及び３次元動画像再生方法ならびにそのプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明は、予め記憶する３次元動画像を３次元動画像表示手段に再生出力する３次元動画像再生装置であって、実空間に存在する空間入力装置の位置を検出し、当該位置の変化に応じて前記３次元動画像中の前記空間入力装置による指定位置を検出する指定位置検出手段と、前記空間入力装置による指定位置のうち、前記３次元動画像中の付加情報の表示位置を、前記空間入力装置から受信した位置特定情報、または所定の時間間隔における前記空間入力装置による指定位置の何れかに基づいて複数検出する付加情報表示位置検出手段と、前記３次元動画像の開始時刻と、前記付加情報の表示位置を検出した時刻とに基づいて、前記３次元動画像中において前記付加情報を表示する前記開始時刻からの経過時間を検出する表示時刻検出手段と、前記付加情報の前記表示位置とその表示位置において前記付加情報を表示する前記３次元動画像の開始時刻からの経過時間とからなる表示属性情報を、当該付加情報の表示位置毎に表示属性情報記憶手段へ複数記録する表示属性情報記録手段と、を備えることを特徴とする３次元動画像再生装置である。
【０００６】
また本発明は、上述の３次元動画像再生装置において、前記付加情報の複数の前記表示位置から、当該複数の表示位置を結んだ表示軌跡を特定する表示軌跡情報を算出する表示軌跡算出手段と、を備え、前記表示属性情報記録手段は、前記算出した表示軌跡情報をさらに含む前記表示属性情報を、前記付加情報の表示位置毎に表示属性情報記憶手段へ複数記録することを特徴とする。
【０００７】
また本発明は、上述の３次元動画像再生装置において、前記表示軌跡情報は、前記付加情報の複数の前記表示位置を結んだ各直線を表わす式の各係数であることを特徴とする。
【０００８】
また本発明は、上述の３次元動画像再生装置において、前記表示軌跡情報は、前記付加情報の複数の前記表示位置を結んだスプライン曲線を表わす式の各係数であることを特徴とする。
【０００９】
また本発明は、上述の３次元動画像再生装置において、前記複数検出した前記３次元動画像中の付加情報の表示位置のうち連続する複数の表示位置が、当該連続する複数の表示位置の始点の表示位置と次点の表示位置とを結ぶ直線の延伸線を中心とした所定の半径の仮想円柱内に位置するかを、前記次点の表示位置の次の表示位置から順に判定し、当該仮想円柱内に初めて位置しないと判定した表示位置の１つ前の表示位置と前記始点の表示位置とを結んだ直線を表わす式の係数からなる表示軌跡情報を算出する表示軌跡算出手段と、を備え、前記表示軌跡算出手段は、前記仮想円柱内に初めて位置しないと判定した表示位置の１つ前の表示位置を始点として前記表示軌跡情報を繰り返し算出し、前記表示属性情報記録手段は、前記算出した表示軌跡情報をさらに含む前記表示属性情報を、前記付加情報の表示位置毎に表示属性情報記憶手段へ複数記録することを特徴とする。
【００１０】
また本発明は、上述の３次元動画像再生装置において、前記表示軌跡情報で表わされる、前記付加情報の複数の前記表示位置を結んだ表示軌跡と、予め定められた軌跡テンプレートとを比較して、一致する軌跡テンプレートを特定する軌跡テンプレート特定手段と、を備え、前記表示属性情報記録手段は、前記軌跡テンプレートをさらに含む前記表示属性情報を、前記付加情報の表示位置毎に表示属性情報記憶手段へ複数記録することを特徴とする。
【００１１】
また本発明は、上述の３次元動画像再生装置において、前記複数検出した前記３次元動画像中の付加情報の表示位置のうち２つの連続する各表示位置とそれら表示位置の表示時刻とに基づいて、それら２つの連続する各表示位置における前記付加情報の移動速度と移動方向とを算出する移動情報算出手段と、前記表示属性情報記録手段は、前記算出した移動速度と移動方向とをさらに含む前記表示属性情報を、前記付加情報の表示位置毎に表示属性情報記憶手段へ複数記録することを特徴とする。
【００１２】
また本発明は、上述の３次元動画像再生装置において、前記３次元動画像を３次元動画像表示手段に再生出力する３次元動画像再生手段と、前記付加情報の表示属性情報を前記表示属性情報記憶手段から読み取って、当該表示属性情報に基づいて前記付加情報を前記３次元動画像中に表示する付加情報表示手段と、前記空間入力装置による指定位置に基づいて、前記付加情報が選択されたかを判定する付加情報選択有無判定手段と、前記空間入力装置による指定位置の移動を検出する指定位置移動検出手段と、前記付加情報が選択されている間に、前記指定位置の移動を検出した場合に、前記３次元動画像中に表示している付加情報の前記移動後の表示軌跡情報を、当該付加情報に関する表示軌跡情報と、前記指定位置の移動量に基づいて再計算する軌跡再計算手段と、を備え、前記付加情報表示手段は、前記移動後の表示軌跡情報に基づいて、前記３次元動画像中に前記付加情報を表示することを特徴とする。
【００１３】
また本発明は、予め記憶する３次元動画像を３次元動画像表示手段に再生出力する３次元動画像再生装置における処理方法であって、前記３次元動画像再生装置の指定位置検出手段が、実空間に存在する空間入力装置の位置を検出し、当該位置の変化に応じて前記３次元動画像中の前記空間入力装置による指定位置を検出し、前記３次元動画像再生装置の付加情報表示位置検出手段が、前記空間入力装置による指定位置のうち、前記３次元動画像中の付加情報の表示位置を、前記空間入力装置から受信した位置特定情報、または所定の時間間隔における前記空間入力装置による指定位置の何れかに基づいて複数検出し、前記３次元動画像再生装置の表示時刻検出手段が、前記３次元動画像の開始時刻と、前記付加情報の表示位置を検出した時刻とに基づいて、前記３次元動画像中において前記付加情報を表示する前記開始時刻からの経過時間を検出し、前記３次元動画像再生装置の表示属性情報記録手段が、前記付加情報の前記表示位置とその表示位置において前記付加情報を表示する前記３次元動画像の開始時刻からの経過時間とからなる表示属性情報を、当該付加情報の表示位置毎に表示属性情報記憶手段へ複数記録することを特徴とする処理方法である。
【００１４】
また本発明は、上述の処理方法において、前記３次元動画像再生装置の表示軌跡算出手段が、前記付加情報の複数の前記表示位置から、当該複数の表示位置を結んだ表示軌跡を特定する表示軌跡情報を算出し、前記３次元動画像再生装置の前記表示属性情報記録手段は、前記算出した表示軌跡情報をさらに含む前記表示属性情報を、前記付加情報の表示位置毎に表示属性情報記憶手段へ複数記録することを特徴とする。
【００１５】
また本発明は、上述の処理方法において、前記３次元動画像再生装置の表示軌跡算出手段が、前記複数検出した前記３次元動画像中の付加情報の表示位置のうち連続する複数の表示位置が、当該連続する複数の表示位置の始点の表示位置と次点の表示位置とを結ぶ直線の延伸線を中心とした所定の半径の仮想円柱内に位置するかを、前記次点の表示位置の次の表示位置から順に判定し、当該仮想円柱内に初めて位置しないと判定した表示位置の１つ前の表示位置と前記始点の表示位置とを結んだ直線を表わす式の係数からなる表示軌跡情報を算出し、前記３次元動画像再生装置の前記表示軌跡算出手段が、前記仮想円柱内に初めて位置しないと判定した表示位置の１つ前の表示位置を始点として前記表示軌跡情報を繰り返し算出し、前記３次元動画像再生装置の前記表示属性情報記録手段が、前記算出した表示軌跡情報をさらに含む前記表示属性情報を、前記付加情報の表示位置毎に表示属性情報記憶手段へ複数記録することを特徴とする。
【００１６】
また本発明は、上述の処理方法において、前記３次元動画像再生装置の軌跡テンプレート特定手段が、前記表示軌跡情報で表わされる、前記付加情報の複数の前記表示位置を結んだ表示軌跡と、予め定められた軌跡テンプレートとを比較して、一致する軌跡テンプレートを特定し、前記３次元動画像再生装置の前記表示属性情報記録手段が、前記軌跡テンプレートをさらに含む前記表示属性情報を、前記付加情報の表示位置毎に表示属性情報記憶手段へ複数記録することを特徴とする。
【００１７】
また本発明は、上述の処理方法において、前記３次元動画像再生装置の移動情報算出手段が、前記複数検出した前記３次元動画像中の付加情報の表示位置のうち２つの連続する各表示位置とそれら表示位置の表示時刻とに基づいて、それら２つの連続する各表示位置における前記付加情報の移動速度と移動方向とを算出し、前記３次元動画像再生装置の前記表示属性情報記録手段が、前記算出した移動速度と移動方向とをさらに含む前記表示属性情報を、前記付加情報の表示位置毎に表示属性情報記憶手段へ複数記録することを特徴とする。
【００１８】
また本発明は、上述の処理方法において、前記３次元動画像再生装置の３次元動画像再生手段が、前記３次元動画像を３次元動画像表示手段に再生出力し、前記３次元動画像再生装置の付加情報表示手段が、前記付加情報の表示属性情報を前記表示属性情報記憶手段から読み取って、当該表示属性情報に基づいて前記付加情報を前記３次元動画像中に表示し、前記３次元動画像再生装置の付加情報選択有無判定手段が、前記空間入力装置による指定位置に基づいて、前記付加情報が選択されたかを判定し、前記３次元動画像再生装置の指定位置移動検出手段が、前記空間入力装置による指定位置の移動を検出し、前記３次元動画像再生装置の軌跡再計算手段が、前記付加情報が選択されている間に、前記指定位置の移動を検出した場合に、前記３次元動画像中に表示している付加情報の前記移動後の表示軌跡情報を、当該付加情報に関する表示軌跡情報と、前記指定位置の移動量に基づいて再計算し、前記３次元動画像再生装置の前記付加情報表示手段が、前記移動後の表示軌跡情報に基づいて、前記３次元動画像中に前記付加情報を表示することを特徴とする。
【００１９】
また本発明は、予め記憶する３次元動画像を３次元動画像表示手段に再生出力する３次元動画像再生装置のコンピュータを、実空間に存在する空間入力装置の位置を検出し、当該位置の変化に応じて前記３次元動画像中の前記空間入力装置による指定位置を検出する指定位置検出手段、前記空間入力装置による指定位置のうち、前記３次元動画像中の付加情報の表示位置を、前記空間入力装置から受信した位置特定情報、または所定の時間間隔における前記空間入力装置による指定位置の何れかに基づいて複数検出する付加情報表示位置検出手段、前記３次元動画像の開始時刻と、前記付加情報の表示位置を検出した時刻とに基づいて、前記３次元動画像中において前記付加情報を表示する前記開始時刻からの経過時間を検出する表示時刻検出手段、前記付加情報の前記表示位置とその表示位置において前記付加情報を表示する前記３次元動画像の開始時刻からの経過時間とからなる表示属性情報を、当該付加情報の表示位置毎に表示属性情報記憶手段へ複数記録する表示属性情報記録手段、として機能させるためのプログラムである。
【００２０】
また本発明は、前記コンピュータを、さらに、前記付加情報の複数の前記表示位置から、当該複数の表示位置を結んだ表示軌跡を特定する表示軌跡情報を算出する表示軌跡算出手段、として機能させ、前記表示属性情報記録手段が、前記算出した表示軌跡情報をさらに含む前記表示属性情報を、前記付加情報の表示位置毎に表示属性情報記憶手段へ複数記録することを特徴とするプログラムである。
【００２１】
また本発明は、前記コンピュータを、さらに、前記３次元動画像を３次元動画像表示手段に再生出力する３次元動画像再生手段、前記付加情報の表示属性情報を前記表示属性情報記憶手段から読み取って、当該表示属性情報に基づいて前記付加情報を前記３次元動画像中に表示する付加情報表示手段、前記空間入力装置による指定位置に基づいて、前記付加情報が選択されたかを判定する付加情報選択有無判定手段、前記空間入力装置による指定位置の移動を検出する指定位置移動検出手段、前記付加情報が選択されている間に、前記指定位置の移動を検出した場合に、前記３次元動画像中に表示している付加情報の前記移動後の表示軌跡情報を、当該付加情報に関する表示軌跡情報と、前記指定位置の移動量に基づいて再計算する軌跡再計算手段、として機能させ、前記付加情報表示手段が、前記移動後の表示軌跡情報に基づいて、前記３次元動画像中に前記付加情報を表示することを特徴とするプログラムである。
【発明の効果】
【００２２】
本発明によれば、３Ｄ動画像上に合成表示させる３Ｄメタデータの作成を、空間マウスを用いた容易な操作（空間における空間マウスの上下左右前後への移動のみ）により行うことができる。
また、本発明によれば、３Ｄメタデータの作成時に、空間マウスにより指定した３Ｄ動画像上の全ての位置を３Ｄメタデータの表示軌跡の情報として保持せず、離散的な複数のサンプルポイントのみを軌跡情報として保持することとなるため、格納するデータの削減を行うことができる。
また、本発明によれば、３Ｄメタデータの表示軌跡の編集を、空間マウスを用いた容易な操作（空間における空間マウスの上下左右前後への移動のみ）により行うことができる。
また、本発明によれば、３Ｄメタデータの表示軌跡の編集時においてユーザが表示軌跡を選択する際には、３Ｄメタデータを直接指定しなくとも、一定の範囲であれば３Ｄメタデータを選択可能とするため、容易に編集のための３Ｄメタデータの選択を行うことができる。
また、各３Ｄメタデータの表示軌跡についての、定型テンプレートや、移動速度や移動方向を動き表現情報として記憶しておくことができるため、３Ｄ動画像において表示される３Ｄメタデータの検索などを行う機能が備えられていた場合には、定型テンプレートや移動速度や移動方向を被検索用データとして指定することにより、３Ｄ動画像上に表示される３Ｄメタデータの検索の処理を行うことが可能となる。
また、本発明によれば、ユーザが３Ｄ動画像再生時に表示されている３Ｄメタデータの編集を行うと、直ちにその編集後の表示軌跡が算出されて、その表示軌跡により３Ｄメタデータの合成表示が行われるため、３Ｄメタデータの編集をリアルタイムで行うことが可能となる。
また、本発明によれば、３Ｄメタデータの作成時にユーザが空間マウスを移動させることで、自動的に３Ｄメタデータの表示位置が特定されるため、容易に３Ｄメタデータの表示軌跡を入力することができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の一実施形態による３次元動画像再生装置を図面を参照して説明する。
図１は同実施形態による３次元動画像再生装置の構成を示すブロック図である。
この図より、３次元動画像再生装置は、空間マウス１１、空間マウス制御部１２、３Ｄ動画ＤＢ１３、３ＤメタデータＤＢ１４（表示属性情報記憶手段）、３Ｄディスプレイ１５、再生処理部１６（付加情報表示位置検出手段、表示時刻検出手段、３次元動画像再生手段、付加情報表示手段）、動き表現情報生成部１７（表示軌跡算出手段、軌跡テンプレート特定手段、移動情報算出手段、軌跡再計算手段）、サンプルポイント生成部１８（指定位置検出手段、付加情報選択有無判定手段、指定位置移動検出手段）、３Ｄメタデータ生成編集部１９（表示属性情報記録手段）の各処理部および記憶部を備えている。ここで、空間マウス１１はユーザが手に持って実空間における位置を変化させることによって情報の入力を３次元動画像再生装置へ行うものであり、３次元動画像再生装置はこの空間マウス１１の変動によってその変動に基づく移動量から画像上の指定位置等を検出する。具体的な処理としては、ユーザが空間マウス１１を実空間で移動させると、その空間マウスとの距離や相対位置を３次元動画像再生装置に接続または取り付けられた検出部が赤外線などにより計測し、その計測結果に基づいて空間マウス制御部１２が３Ｄ画像上の位置を特定する処理を行う。また空間マウス制御部１２は、空間マウス１１からの情報を受信して空間マウスの指定位置等の検出を行う処理部である。また、３Ｄ動画ＤＢ１３は３Ｄ動画像のデータを記憶するＤＢ（データベース）である。また３ＤメタデータＤＢ１４は３Ｄ動画像に合成表示させる付加情報である３Ｄメタデータを記憶している。また３Ｄディスプレイ１５は、パララックスバリア方式（視差バリア方式）等の技術により、平面に表示された画像を観た人間が３次元に見えるような３Ｄ画像表示専用のディスプレイである。
【００２４】
また再生処理部１６は３Ｄ動画像の３Ｄディスプレイ１５への出力や３Ｄメタデータの３Ｄ動画像上への出力の処理をおこなう処理部である。また動き表現情報生成部１７は、３Ｄメタデータの表示位置や表示時間、３Ｄメタデータの３Ｄ動画像上における移動速度、移動方向、軌跡を特定するための表示軌跡情報、などからなる動き表現情報を生成する処理部である。またサンプルポイント生成部１８は、空間マウス制御部１２による３Ｄ動画像上の指定位置のうち、３Ｄ動画像中の３Ｄメタデータの表示位置を検出する処理を行う。また３Ｄメタデータ生成編集部１９は、動き表現情報生成部１７の生成した動き表現情報などに基づいて３ＤメタデータＤＢ１４で記憶する情報を書き換える等の処理を行う。
【００２５】
そして、本実施形態による３次元動画像再生装置は、予め記憶する３Ｄ動画像を３Ｄディスプレイ１５に再生出力するものであって、実空間に存在する空間マウス１１の位置を検出し、当該位置の変化に応じて３Ｄ動画像中の空間マウス１１による指定位置を検出し、空間マウス１１による指定位置のうち、３Ｄ動画像中の３Ｄメタデータの表示位置を、空間マウス１１から受信した位置特定情報、または所定の時間間隔における空間マウス１１による指定位置に基づいて複数検出する。そして、３次元動画像再生装置は、３Ｄ動画像の開始時刻と、３Ｄメタデータの表示位置を検出した時刻とに基づいて、３Ｄ動画像中において３Ｄメタデータを表示する３Ｄ動画像の開始時刻からの経過時間を検出し、３Ｄメタデータの表示位置とその表示位置において３Ｄメタデータを表示する３Ｄ動画像の開始時刻からの経過時間とからなる表示属性情報を、当該３Ｄメタデータの表示位置毎に３ＤメタデータＤＢ１４へ複数記録する処理を行う。
【００２６】
また、３次元動画像再生装置は、３Ｄメタデータの複数の表示位置から、当該複数の表示位置を結んだ表示軌跡を特定する表示軌跡情報を算出し、その算出した表示軌跡情報をさらに含む表示属性情報を生成して、３Ｄメタデータの表示位置毎に３ＤメタデータＤＢ１４へ複数記録する処理を行う。さらに、３次元動画像再生装置は、３Ｄ動画像を３Ｄディスプレイ１５に再生出力し、３Ｄメタデータの表示属性情報を３ＤメタデータＤＢ１４から読み取って、当該表示属性情報に基づいて３Ｄメタデータを３Ｄ動画像中に表示する。そして、３次元動画像再生装置は、空間マウス１１による指定位置に基づいて、３Ｄメタデータが選択されたかを判定し、空間マウス１１による指定位置の移動を検出し、３Ｄメタデータが選択されている間に、空間マウス１１による指定位置の移動を検出した場合に、３Ｄ動画像中に表示している３Ｄメタデータの移動後の表示軌跡情報を、その３Ｄメタデータに関する元の表示軌跡情報と、指定位置の移動量に基づいて再計算し、移動後の表示軌跡情報に基づいて、３Ｄ動画像中に３Ｄメタデータを再表示する処理を行う。
【００２７】
図２は３Ｄメタデータ情報テーブルを示す図である。
図３はサンプルポイント情報テーブルを示す図である。
次に、図２、図３を用いて３ＤメタデータＤＢ１４が記憶するデータテーブルについて説明する。図２で示す３Ｄメタデータ情報テーブルは、３Ｄメタデータ毎に記憶するものであり、３Ｄメタデータを特定するためのＩＤ、３Ｄメタデータのタイプ（文字情報や図形情報など）、３Ｄメタデータの３Ｄ動画像上への表示の開始時刻、３Ｄ動画像上への表示開始時刻からの表示時間幅、表示開始時刻において３Ｄ動画像上に表示する位置である空間座標、３Ｄメタデータのタイプ別の個別情報、３Ｄメタデータを３Ｄ動画像上に表示するために用いられるサンプルポイント情報（表示属性情報）を対応付けて記憶している。
【００２８】
図３で示すサンプルポイント情報テーブルは、図２で示した３Ｄメタデータ情報テーブル内のサンプルポイント情報の詳細を記憶するデータテーブルである。この図が示すようにサンプルポイント情報テーブルは、３Ｄメタデータの３Ｄ動画像上の離散的な各表示位置を識別するためのサンプルポイント番号、そのサンプルポイント番号で示される表示位置の３Ｄ動画像の仮想空間上の座標、２つの連続する離散的なサンプルポイントの表示位置と各表示時刻に基づいて算出される３Ｄメタデータの移動方向、移動速度、３Ｄメタデータの軌跡のテンプレート、また、３Ｄメタデータの軌跡の線を表す数式の係数、を対応付けて記憶している。なお図３では、３Ｄメタデータの軌跡が、サンプルポイントを結んだスプライン曲線で表現する場合の当該軌跡の線を現す数式の係数を記憶する場合の例を示している。
【００２９】
図４は３Ｄメタデータの作成時の処理フローを示す図である。
次に、３次元動画像再生装置の処理フローについて図４を用いて説明する。
３次元動画像再生装置における３Ｄメタデータの作成は、３Ｄディスプレイ１５上に３Ｄ動画像が表示された状況で行われる。この時、まず、再生処理部１６が、ユーザによって指定された３Ｄ動画像データを３Ｄ動画ＤＢ１３から読み取って再生処理し（ステップＳ１０１）、３Ｄディスプレイ１５上に出力する。そして、ユーザはこの３Ｄディスプレイ１５に出力された３Ｄ動画像上に表示させたい３Ｄメタデータを、空間マウス１１を用いて選択する（例えば一覧などから選択する）。すると、再生処理部１６は選択された３Ｄメタデータの情報を３Ｄ動画像上に合成して表示する（ステップＳ１０２）。ここでユーザは、３Ｄ動画像上に表示された３Ｄメタデータを、空間マウス１１を用いて選択し、選択しながら空間マウス１１を実空間の上下左右前後のいずれかの方向に移動させることにより、３Ｄ動画像上に表示された３Ｄメタデータを移動させることができる。具体的にこの処理は、空間マウス制御部１２が空間マウス１１の移動方向や移動量を検出し、その移動方向や移動量を再生処理部１６に通知することにより、再生処理部１６が、３Ｄメタデータの３Ｄ動画像上における表示位置を移動させる処理を行う。
【００３０】
そして、３Ｄ動画像上を３Ｄメタデータが移動表示されている際に、ユーザは空間マウス１１を用いてメタデータの作成開始を指示する。すると、サンプルポイント生成部１８は、メタデータの作成開始の指示を空間マウス制御部１２から受け付け（ステップＳ１０３）、また空間マウス１１から空間マウス制御部１２を介して位置特定情報を受信する（ステップＳ１０４）。この位置特定情報は、ユーザが空間マウス１１を用いて３Ｄメタデータを表示すると指定した位置を特定するためのものである。そしてサンプルポイント生成部１８は、位置特定情報を受信した時における、３Ｄメタデータの３Ｄ動画像上の表示位置（３Ｄ動画像の仮想空間内での座標）と、その表示位置に３Ｄメタデータが表示されている時刻の３Ｄ動画像の再生開始時刻からの経過時間を再生処理部１６へ問い合わせる。再生処理部１６は、位置特定情報の受信時刻における３Ｄメタデータの３Ｄ動画像上の表示位置（３Ｄ動画像の仮想空間内での座標）を検出し（ステップＳ１０５）、また再生開始時刻からの経過時間を計測しているため、そのときの経過時間を検出して（ステップＳ１０６）、当該検出した３Ｄメタデータの表示位置と再生開始時刻からの経過時間と３ＤメタデータのＩＤとからなる表示属性情報を、サンプルポイント生成部１８へ送信する。するとサンプルポイント生成部１８は受信した表示属性情報と、３Ｄメタデータの作成指示を３Ｄメタデータ生成編集部１９に送信する。
【００３１】
次に表示属性情報と、３Ｄメタデータの作成指示を受け付けた３Ｄメタデータ生成編集部１９は、表示属性情報を一時的に記憶する。また、ユーザが空間マウス１１を用いて表示位置の入力を複数回行うことを契機に、または、所定の間隔で表示位置が自動的に検出されることにより、その都度サンプルポイント生成部１８が位置特定情報を再生処理部１６へ送信し、その結果、サンプルポイント生成部１８が、再生処理部１６から表示属性情報を受信して、３Ｄメタデータ生成編集部１９へ送信する。これにより３Ｄメタデータ生成編集部１９は、複数の表示属性情報を一時的に記憶することとなる。そして、空間マウス制御部１２は、ユーザの操作に基づいて空間マウス１１から３Ｄメタデータの表示終了の入力を受け付けたかを判定し（ステップＳ１０７）、表示終了の入力を受け付けると、その表示終了時点までのメタデータの作成を行うようサンプルポイント生成部１８に通知する。するとサンプルポイント生成部１８は３Ｄメタデータの生成を３Ｄメタデータ生成編集部１９へ通知し、３Ｄメタデータ生成編集部１９が、一時的に記憶している複数の表示属性情報を、動き表現情報生成部１７に送信し、被検索用データの生成を指示する。
【００３２】
次に動き表現情報生成部１７は、受信した複数の表示属性情報に基づいて、被検索用データの生成を開始する（ステップＳ１０８）。ここで被検索用データとは、表示属性情報で示される３Ｄメタデータの表示位置、再生開始時刻からの経過時刻に基づいて算出される、３Ｄメタデータの３Ｄ動画像上での移動方向、移動速度、軌跡の形状テンプレートである。そして、これら移動方向、移動速度、軌跡の形状テンプレートなどの被検索用データは、３Ｄ動画像中に表示される３Ｄメタデータの検索に利用される情報となる。そして被検索用データの生成が完了すると、動き表現情報生成部１７は、その生成した被検索用データを３Ｄメタデータ生成編集部１９へ送信する。被検索用データは表示属性情報で示される３Ｄメタデータの表示位置（サンプルポイント）ごとに計算されることとなる。そして、３Ｄメタデータ生成編集部１９は、一時的に記憶している各表示属性情報と、それら各表示属性情報について算出された被検索用データを対応付けて、３ＤメタデータＤＢ１４のサンプルポイント情報テーブルに登録する（ステップＳ１０９）。つまり、各表示属性情報には、３ＤメタデータのＩＤと、当該３Ｄメタデータの表示位置と、その表示位置に表示される再生開始時刻からの経過時間と、その表示位置における移動方向、移動速度、軌跡の形状テンプレートがサンプルポイント情報テーブルに登録される。なお、上記のようなサンプルポイント情報テーブルに記録した情報を用いて、３Ｄメタデータを３Ｄ動画像の再生時に出力することとなる。
【００３３】
以上の処理により、３Ｄ動画像上に表示される３Ｄメタデータの、ユーザが指定した、または自動的に検出した表示位置における移動方向、移動速度、軌跡の形状テンプレートや、その表示位置、表示位置に表示させる再生開始時刻からの経過時刻を登録しておくことができる。そして、このように離散的な表示位置（サンプルポイント）の情報を登録しておくため、データベースに記憶させておく情報を削減することができる。
【００３４】
図５は３Ｄ動画像再生時における３Ｄメタデータの合成表示の処理フローを示す図である。
以下、３Ｄ動画像再生時における３Ｄメタデータの合成表示の処理について説明する。
３Ｄ動画像の再生が指示されると再生処理部１６は、その再生指示された３Ｄ動画像のデータを３Ｄ動画ＤＢ１３から読み取って再生し（ステップＳ２０１）、３Ｄディスプレイ１５へ出力する。また、再生した３Ｄ動画像に合成させる３ＤメタデータのＩＤが、３Ｄ動画像データのＩＤに対応付けられて３ＤメタデータＤＢ１４に格納されており、再生処理部１６はその３ＤメタデータのＩＤを読み取ると共に、その３ＤメタデータＩＤに対応付けられて３ＤメタデータＤＢ１４に登録されているサンプルポイント情報を取得する（ステップＳ２０２）。そして再生処理部１６は取得したサンプルポイント情報に格納されている各サンプルポイントの表示位置とその表示位置における再生開始時刻からの経過時間の組と、合成表示する３ＤメタデータのＩＤを動き表現情報生成部１７に出力して、表示軌跡情報の生成を指示する（ステップＳ２０３）。
【００３５】
次に動き表現情報生成部１７は、表示軌跡情報の生成にあたり、各サンプルポイントの表示位置とその表示位置における再生開始時刻からの経過時間の組に基づいて、表示軌跡情報（サンプルポイントの表示位置を結んだ軌跡を現す数式の係数）を算出し（ステップＳ２０４）、その表示軌跡情報と、各サンプルポイントの表示位置とその表示位置における再生開始時刻からの経過時間の組の情報とを、３ＤメタデータＩＤに対応付けて自処理部内のメモリ等に記憶する（ステップＳ２０５）。そして、動き表現情報生成部１７は、再生処理部１６による３Ｄ動画像の再生時に、合成表示する３Ｄメタデータの各サンプルポイントの表示位置とその表示位置における再生開始時刻からの経過時間の組と、その３Ｄメタデータの表示軌跡情報とに基づいて、３Ｄ動画像の再生開始時刻からの経過時間に対応する表示位置を算出し（ステップＳ２０６）、その表示位置に３Ｄメタデータを表示するよう指示する処理を再生処理部１６に対して行う（ステップＳ２０７）。これにより、再生処理部１６は、３Ｄ動画像を再生すると共に、その３Ｄ動画像上に３Ｄメタデータを合成表示する処理を行う（ステップＳ２０８）。なおこの表示軌跡情報の算出は、３Ｄ動画像の再生処理前に事前に行っても良いし、３Ｄ動画像の再生と同時に行うようにしてもよい。また表示軌跡情報は３Ｄメタデータの作成時に予め行っておき、動き表現情報の一部としてサンプルポイント情報テーブル（図３）に記録しておくようにしても良い。また表示軌跡を、各サンプルポイントの表示位置を直線に結ぶ軌跡とする場合や、各サンプルポイントの表示位置をスプライン曲線により結ぶ軌跡とする場合、あるいは定型軌跡テンプレートとして特定する場合などがあるが、これらの各表示軌跡とする場合のそれぞれの表示軌跡情報の算出例について後述する。
【００３６】
図６は表示軌跡情報算出処理の処理フローを示す第１の図である。
図７は表示軌跡情報算出処理の概要を示す第１の図である。
次に、表示軌跡を各サンプルポイントの表示位置を直線に結ぶ軌跡とする場合の表示軌跡情報の算出例について図６および図７を用いて説明する。
まず、動き表現情報生成部１７は、各サンプルポイントの表示位置とその表示位置における再生開始時刻からの経過時間の組と、合成表示する３ＤメタデータのＩＤの情報を再生処理部１６から受信する（ステップＳ３０１）。すると動き表現情報生成部１７は、各サンプルポイントの表示位置のうち、再生開始時刻からの経過時間が最も早いサンプルポイントＰ１の表示位置と、その次に再生開始時刻からの経過時間が早いサンプルポイントＰ２の表示位置との２点間の直線式（３Ｄ動画像の仮想空間における直線式）の各係数を求める。また同様に、動き表現情報生成部１７はサンプルポイントＰ２の表示位置と、その次に再生開始時刻からの経過時間が早いサンプルポイントＰ３の表示位置との２点間の直線式の各係数を求め、経過時間が近い２つの表示位置の組み毎に、その２点間を結ぶ直線式の各係数を求める（ステップＳ３０２）。この直線式の各係数を表示軌跡情報とする。
【００３７】
そして、この表示軌跡情報の算出が３Ｄ動画像の再生時や再生直前に計算される場合には、動き表現情報生成部１７は、生成した各直線式の各係数を示す表示軌跡情報を一時的に記憶し（ステップＳ３０３）、再生処理部１６に表示軌跡情報の算出完了を通知する（ステップＳ３０４）。また表示軌跡情報の算出が３Ｄメタデータの作成時に行われる場合には、動き表現情報生成部１７は生成した表示軌跡情報を３Ｄメタデータ生成編集部１９へ送信し、当該３Ｄメタデータ生成編集部１９が、その表示軌跡情報を、３ＤメタデータＩＤに対応付けて３ＤメタデータＤＢ１４へ登録する。そして、動き表現情報生成部１７は、再生処理部１６による３Ｄ動画像の再生時に、合成表示する３Ｄメタデータの各サンプルポイントの表示位置とその表示位置における再生開始時刻からの経過時間の組と、その３Ｄメタデータの表示軌跡情報とに基づいて、３Ｄ動画像の再生開始時刻からの経過時間に対応する表示位置を算出し（ステップＳ３０５）、その表示位置に３Ｄメタデータを表示するよう指示する処理を再生処理部１６に対して行う（ステップＳ３０６）。これにより、再生処理部１６は、３Ｄ動画像を再生すると共に、その３Ｄ動画像上における指示された表示位置に３Ｄメタデータを合成表示する処理を行う（ステップＳ３０７）。
【００３８】
図８は表示軌跡情報算出処理の処理フローを示す第２の図である。
図９は表示軌跡情報算出処理の概要を示す第２の図である。
次に、表示軌跡を、各サンプルポイントの表示位置をスプライン曲線により結ぶ軌跡とする場合の表示軌跡情報の算出例について図８および図９を用いて説明する。
動き表現情報生成部１７は、各サンプルポイントの表示位置とその表示位置における再生開始時刻からの経過時間の組、合成表示する３ＤメタデータのＩＤの情報を再生処理部１６から受信する（ステップＳ４０１）。すると動き表現情報生成部１７は全てのサンプルポイントの表示位置を滑らかな曲線で結ぶスプライン曲線の計算式を求め、さらに、その各計算式の係数を求め、このスプライン曲線を表わす式の各係数を表示軌跡情報とする（ステップＳ４０２）。ここで本実施形態においてはスプライン曲線の式は、下記で示すような再生開始時刻からの経過時間ｔの３次関数で表わすものとする。
ｘ＝ａ１ｔ３＋ｂ１ｔ２＋ｃ１ｔ＋ｄ１
ｙ＝ａ２ｔ３＋ｂ２ｔ２＋ｃ２ｔ＋ｄ２
ｚ＝ａ３ｔ３＋ｂ３ｔ２＋ｃ３ｔ＋ｄ３
【００３９】
そして、表示軌跡情報の算出が３Ｄ動画像の再生時や再生直前に計算される場合には、動き表現情報生成部１７は、生成した各直線式の各係数で示される表示軌跡情報を一時的に記憶し（ステップＳ４０３）、再生処理部１６に表示軌跡情報の算出完了を通知する（ステップＳ４０４）。また表示軌跡情報の算出が３Ｄメタデータの作成時に行われる場合には、動き表現情報生成部１７は生成した表示軌跡情報を３Ｄメタデータ生成編集部１９へ送信し、当該３Ｄメタデータ生成編集部１９が、その表示軌跡情報を、３ＤメタデータＩＤに対応付けて３ＤメタデータＤＢ１４へ登録する。そして、動き表現情報生成部１７は、再生処理部１６による３Ｄ動画像の再生時に、合成表示する３Ｄメタデータの各サンプルポイントの表示位置とその表示位置における再生開始時刻からの経過時間の組と、その３Ｄメタデータの表示軌跡情報とに基づいて、３Ｄ動画像の再生開始時刻からの経過時間に対応する表示位置を算出し（ステップＳ４０５）、その表示位置に３Ｄメタデータを表示するよう指示する処理を再生処理部１６に対して行う（ステップＳ４０６）。これにより、再生処理部１６は、３Ｄ動画像を再生すると共に、その３Ｄ動画像上に３Ｄメタデータを合成表示する処理を行う（ステップＳ４０７）。
【００４０】
図１０は表示軌跡情報算出処理の処理フローを示す第３の図である。
図１１は表示軌跡情報の算出処理の概要を示す第３の図である。
次に、表示軌跡を、各サンプルポイントの表示位置に基づいて特定した定型軌跡テンプレートとする場合の表示軌跡情報の算出例について図１０および図１１を用いて説明する。
この場合、動き表現情報生成部１７は、予め定型軌跡テンプレートのデータを記憶しているものとする。まず、動き表現情報生成部１７は、各サンプルポイントの表示位置を再生処理部１６から受信する（ステップＳ５０１）。そして動き表現情報生成部１７は、各サンプルポイントの表示位置の重心と、定型軌跡テンプレートの重心とを一致させ、各サンプルポイントの表示位置が定型軌跡テンプレートで示される軌跡から一定距離以内にあるかどうかを判定する（ステップＳ５０２）。そして、複数の定型軌跡テンプレートを用いて各サンプルポイントの表示位置が定型軌跡テンプレートで示される軌跡から一定距離以内にあるかどうかを判定し、各サンプルポイントの表示位置の全てが一定距離以内にあると判定された定型軌跡テンプレートの数式の係数を、その各サンプルポイントの表示位置に基づいて算出される表示軌跡情報と特定する（ステップＳ５０３）。なお、定型軌跡テンプレートとしては仮想空間上の円、楕円、３つの直線により表わされる三角形、４つの直線により表わされる四角形、サインやコサインの曲線などであり、その軌跡は再生開始時刻からの経過時間ｔの関数により表わされるものである。また複数の定型軌跡テンプレートを特定できた場合には、例えば、各サンプルポイントの表示位置の定型軌跡テンプレートからの距離の平均が最も小さい場合の、定型軌跡テンプレートを特定する。
【００４１】
そして、表示軌跡情報の算出が３Ｄ動画像の再生時や再生直前に計算される場合には、動き表現情報生成部１７は、特定した表示軌跡情報を一時的にメモリ等に記憶し（ステップＳ５０４）、再生処理部１６に表示軌跡情報の算出完了を通知する（ステップＳ５０５）。また表示軌跡情報の算出が３Ｄメタデータの作成時に行われる場合には、動き表現情報生成部１７は特定した表示軌跡情報を３Ｄメタデータ生成編集部１９へ送信し、当該３Ｄメタデータ生成編集部１９が、その表示軌跡情報を、３ＤメタデータＩＤに対応付けて３ＤメタデータＤＢ１４へ登録する。そして、動き表現情報生成部１７は、再生処理部１６による３Ｄ動画像の再生時に、合成表示する３Ｄメタデータの各サンプルポイントの表示位置とその表示位置における再生開始時刻からの経過時間の組と、その３Ｄメタデータの表示軌跡情報とに基づいて、３Ｄ動画像の再生開始時刻からの経過時間に対応する表示位置を算出し（ステップＳ５０６）、その表示位置に３Ｄメタデータを表示するよう指示する処理を再生処理部１６に対して行う（ステップＳ５０７）。これにより、再生処理部１６は、３Ｄ動画像を再生すると共に、その３Ｄ動画像上に３Ｄメタデータを合成表示する処理を行う（ステップＳ５０８）。
【００４２】
図１２は表示軌跡情報算出処理の処理フローを示す第４の図である。
図１３は表示軌跡情報算出処理の概要を示す第４の図である。
次に、各サンプルポイントの表示位置に基づいてそれらサンプルポイントによる近似曲線により表示軌跡情報を算出する例について図１２および図１３を用いて説明する。
動き表現情報生成部１７は、各サンプルポイントの表示位置Ｐ１〜Ｐ１７とその表示位置における再生開始時刻からの経過時間の組と、合成表示する３ＤメタデータのＩＤの情報を再生処理部１６から受信する（ステップＳ６０１）。すると動き表現情報生成部１７は、各サンプルポイントの表示位置のうち連続する複数の表示位置Ｐ１〜Ｐ１７が、当該連続する複数の表示位置Ｐ１〜Ｐ１７のうちの始点の表示位置Ｐ１とその始点Ｐ１の次点の表示位置Ｐ２とを結ぶ直線の延伸線を中心とした所定の半径の仮想円柱Ｄ１内に位置するかを、次点の表示位置Ｐ２の次の表示位置Ｐ３から順に判定し（ステップＳ６０２）、当該仮想円柱Ｄ１内に位置しないと初めて判定した表示位置Ｐ７の１つ前の表示位置Ｐ６と始点の表示位置Ｐ１とを結んだ直線Ｔ１を表わす式の係数からなる表示軌跡情報を算出する（ステップＳ６０３）。そして全てのサンプルポイントの表示位置が表示軌跡情報で示される直線に含まれたかを判定し（ステップＳ６０４）、含まれない場合には、当該表示軌跡情報の直線に含まれない表示位置のうち最も早い再生開始時刻からの経過時間に表示されるポイントを示すサンプルポイントの表示位置を始点と設定し（ステップＳ６０５）、上述のステップＳ６０２およびステップＳ６０３の表示軌跡情報の算出処理を繰り返す。
【００４３】
つまり、動き表現情報生成部１７は、仮想円柱内Ｄ１に初めて位置しないと判定した表示位置Ｐ７の１つ前の表示位置Ｐ６を始点として同様に表示軌跡情報の算出を繰り返す。つまり、始点の表示位置Ｐ６とその始点Ｐ６の次点の表示位置Ｐ７とを結ぶ直線の延伸線を中心とした所定の半径の仮想円柱Ｄ２内に位置するかを、次点の表示位置Ｐ７の次の表示位置Ｐ８から順に判定し、当該仮想円柱Ｄ２内に位置しないと初めて判定した表示位置Ｐ８の１つ前の表示位置Ｐ７と始点の表示位置Ｐ６とを結んだ直線Ｔ２を表わす式の係数からなる表示軌跡情報を算出する。
また同様に、次に始点と判定される表示位置Ｐ７とその始点Ｐ７の次点の表示位置Ｐ８とを結ぶ直線の延伸線を中心とした所定の半径の仮想円柱Ｄ３内に位置するかを、次点の表示位置Ｐ８の次の表示位置Ｐ９から順に判定し、当該仮想円柱Ｄ３内に位置しないと初めて判定した表示位置Ｐ９の１つ前の表示位置Ｐ８と始点の表示位置Ｐ７とを結んだ直線Ｔ３を表わす式の係数からなる表示軌跡情報を算出する。
また同様に、次に始点と判定される表示位置Ｐ８とその始点Ｐ８の次点の表示位置Ｐ９とを結ぶ直線の延伸線を中心とした所定の半径の仮想円柱Ｄ４内に位置するかを、次点の表示位置Ｐ９の次の表示位置Ｐ１０から順に判定し、当該仮想円柱Ｄ４内に位置しないと初めて判定した表示位置Ｐ１０の１つ前の表示位置Ｐ９と始点の表示位置Ｐ８とを結んだ直線Ｔ４を表わす式の係数からなる表示軌跡情報を算出する。
【００４４】
また同様に、次に始点と判定される表示位置Ｐ９とその始点Ｐ９の次点の表示位置Ｐ１０とを結ぶ直線の延伸線を中心とした所定の半径の仮想円柱Ｄ５内に位置するかを、次点の表示位置Ｐ１０の次の表示位置Ｐ１１から順に判定し、当該仮想円柱Ｄ５内に位置しないと初めて判定した表示位置Ｐ１２の１つ前の表示位置Ｐ１１と始点の表示位置Ｐ９とを結んだ直線Ｔ５を表わす式の係数からなる表示軌跡情報を算出する。
また同様に、次に始点と判定される表示位置Ｐ１１とその始点Ｐ１１の次点の表示位置Ｐ１２とを結ぶ直線の延伸線を中心とした所定の半径の仮想円柱Ｄ６内に位置するかを、次点の表示位置Ｐ１２の次の表示位置Ｐ１３から順に判定し、当該仮想円柱Ｄ６内に位置しないと初めて判定した表示位置Ｐ１５の１つ前の表示位置Ｐ１４と始点の表示位置Ｐ１１とを結んだ直線Ｔ６を表わす式の係数からなる表示軌跡情報を算出する。
また同様に、次に始点と判定される表示位置Ｐ１４とその始点Ｐ１４の次点の表示位置Ｐ１５とを結ぶ直線の延伸線を中心とした所定の半径の仮想円柱Ｄ７内に位置するかを、次点の表示位置Ｐ１５の次の表示位置Ｐ１６から順に判定し、当該仮想円柱Ｄ７内に位置しない表示位置がＰ１７までないため、その表示位置Ｐ１７と始点の表示位置Ｐ１４とを結んだ直線Ｔ７を表わす式の係数からなる表示軌跡情報を算出する。
【００４５】
そして、表示軌跡情報の算出が３Ｄ動画像の再生時や再生直前に計算される場合には、動き表現情報生成部１７は、算出した各表示軌跡情報を一時的に記憶し（ステップＳ６０６）、再生処理部１６に表示軌跡情報の算出完了を通知する（ステップＳ６０７）。また表示軌跡情報の算出が３Ｄメタデータの作成時に行われる場合には、動き表現情報生成部１７は算出した各表示軌跡情報を３Ｄメタデータ生成編集部１９へ送信し、当該３Ｄメタデータ生成編集部１９が、その表示軌跡情報を、３ＤメタデータＩＤに対応付けて３ＤメタデータＤＢ１４へ登録する。そして、動き表現情報生成部１７は、再生処理部１６による３Ｄ動画像の再生時に、合成表示する３Ｄメタデータの各サンプルポイントの表示位置とその表示位置における再生開始時刻からの経過時間の組と、その３Ｄメタデータの表示軌跡情報とに基づいて、３Ｄ動画像の再生開始時刻からの経過時間に対応する表示位置を算出し（ステップＳ６０８）、その表示位置に３Ｄメタデータを表示するよう指示する処理を再生処理部１６に対して行う（ステップＳ６０９）。これにより、再生処理部１６は、３Ｄ動画像を再生すると共に、その３Ｄ動画像上に３Ｄメタデータを合成表示する処理を行う（ステップＳ６１０）。
【００４６】
図１４は３Ｄメタデータ合成表示の処理フローを示す図である。
図１５は３Ｄメタデータ合成表示の処理概要を示す図である。
次に、表示軌跡情報を用いた３Ｄ動画像上への３Ｄメタデータ合成表示の処理について、図１４および図１５を用いて説明する。
再生処理部１６は、３Ｄ動画像を再生している際には、その３Ｄ動画像のＩＤに対応付けられて３ＤメタデータＤＢ１４で記録されている３Ｄメタデータと、その３ＤメタデータのＩＤを読み取る（ステップＳ７０１）。そして再生処理部１６は、動き表現情報生成部１７に対して合成表示する３ＤメタデータのＩＤを通知するとともに３Ｄメタデータの表示位置を問い合わせる（ステップＳ７０２）。なお、表示軌跡情報が予め計算されたサンプルポイント情報テーブル（図３）に登録されているという実施形態の場合には、再生処理部１６は、３ＤメタデータのＩＤに基づいてサンプルポイント情報テーブル（図３）から表示軌跡情報を取得して、動き表現情報生成部１７に送信し、動き表現情報生成部１７が一時的に３ＤメタデータのＩＤと表示軌跡情報を対応付けて記憶する。
【００４７】
動き表現情報生成部１７は３ＤメタデータのＩＤの通知を受けると、そのＩＤに対応付けて記憶している各サンプルポイントの表示位置とその表示位置における再生開始時刻からの経過時間と、表示軌跡情報とを自処理部内の記憶部から読み取る（ステップＳ７０３）。そして再生開始時刻からの現在の経過時間を再生処理部１６より取得し（ステップＳ７０４）、各サンプルポイントの再生開始時刻からの経過時間に基づいて、現在の経過時間と最も近い経過時間を示す２つのサンプルポイントの表示位置を特定する（ステップＳ７０５）。そして、それら特定した２つのサンプルポイントの経過時間の差における現在の経過時間の割合ｗを求める（ステップＳ７０６）。そして、特定した２つのサンプルポイントを通過する表示軌跡情報で示される軌跡における割合ｗの位置を、現在の経過時間における３Ｄメタデータの表示位置と算出し（ステップＳ７０７）、その表示位置を再生処理部１６に通知する（ステップＳ７０８）。再生処理部１６は、動き表現情報生成部１７から通知を受けた３Ｄ動画像上の表示位置に３Ｄメタデータを合成表示する（ステップＳ７０９）。そしてこの処理を所定の時間ごとに繰り返して行うことで、３Ｄ動画像上を３Ｄメタデータが移動する動画像を３Ｄディスプレイ１５に表示することができる。
【００４８】
図１６は動画像再生中における３Ｄメタデータの編集の処理フローを示す第１の図である。
図１７は動画像再生中における３Ｄメタデータの編集処理の概要を示す第１の図である。
次に、３Ｄ動画像と３Ｄメタデータが再生されている状況において、ユーザが３Ｄメタデータの編集を行う処理について説明する。ここで３Ｄメタデータの編集とは３Ｄメタデータが３Ｄ動画像上を移動する表示軌跡を修正することを言う。
まず、再生処理部１６が３Ｄ動画像を再生し（ステップＳ８０１）、その動画像上に３Ｄメタデータを合成表示している（ステップＳ８０２）。そのような状況において、ユーザが空間マウス１１を操作して当該空間マウス１１の３Ｄディスプレイ上に表示されているマウスポインタを移動させ、３Ｄメタデータの表示位置に合わせ、さらに選択ボタンを押下したとする。すると空間マウス制御部１２が３Ｄメタデータの選択イベントを空間マウス１１より受信し（ステップＳ８０３）、その選択イベントの受信を契機とした選択開始通知をサンプルポイント生成部１８へ行う（ステップＳ８０４）。サンプルポイント生成部１８は、選択開始通知を受け付けると、現在のマウスポインタの表示位置と３Ｄメタデータの表示位置とを比較して、マウスポインタが３Ｄメタデータを選択しているかどうかを判定する（ステップＳ８０５）。この判定においては、マウスポインタの表示位置と３Ｄメタデータの表示位置が一致した場合に３Ｄメタデータが選択されたと判定する処理と、マウスポインタの表示位置が３Ｄメタデータの表示位置から一定距離以内であるかを判定し、一定距離以内であれば３Ｄメタデータが選択されたと判定する処理のいずれかを行う。なお、マウスポインタの表示位置が３Ｄメタデータの表示位置から一定距離以内であればその３Ｄメタデータが選択されたと判定する処理であれば、空間マウス１１によるマウスポインタの３Ｄメタデータへの位置合わせが難しい場合でも、簡単にユーザが選択できるようになる。
【００４９】
そして、サンプルポイント生成部１８は、マウスポインタが３Ｄメタデータを選択していると判定した場合には、その３ＤメタデータのＩＤを３Ｄメタデータ生成編集部１９へ通知する。そして３Ｄメタデータ生成編集部１９は、選択された３Ｄメタデータの移動要求を受信するまで待機する。ユーザは、空間マウス１１を用いて選択した３Ｄメタデータの３Ｄ動画像上における表示軌跡を修正したい場合などに、その３Ｄメタデータを選択しながら空間マウスを操作してマウスポインタを移動させる。空間マウス制御部１２は空間マウス１１の操作による３Ｄメタデータの移動量を検出すると（ステップＳ８０６）、その移動量を再生処理部１６とサンプルポイント生成部１８とへ通知する。再生処理部１６は移動量の通知を受けると、その移動量に基づいて３Ｄ動画像上に表示しているサンプルポイントを移動表示させるとともに、そのサンプルポイントの移動表示に伴って、選択されている３Ｄメタデータも移動表示させる（ステップＳ８０７）。またサンプルポイント生成部１８は、再生処理部１６が移動表示させた３Ｄメタデータの３Ｄ動画像上の移動量と、その３ＤメタデータのＩＤとを格納した移動要求を３Ｄメタデータ生成編集部１９へ送信する。すると３Ｄメタデータ生成編集部１９は、受信した３Ｄメタデータの移動量を一時的に記憶すると共に、その移動要求を動き表現情報生成部１７へ転送する。
【００５０】
動き表現情報生成部１７では移動要求を受信すると、その移動要求で示される移動量を検出し、３Ｄメタデータの表示軌跡全体を、検出した移動量分変更するための表示軌跡情報の再計算処理を行う（ステップＳ８０８）。ここで移動量は３Ｄ動画像の仮想空間における（ｘ，ｙ，ｚ）の各移動量で示される。したがって、動き表現情報生成部１７は、移動要求で示される３ＤメタデータのＩＤから表示軌跡情報を特定し、その表示軌跡情報で示される軌跡を表す数式を、移動量で示される分だけ変換し、その移動後の表示軌跡を表す数式の各係数を算出し、その算出した各係数を示す表示軌跡情報を、新たな表示軌跡情報として３ＤメタデータＩＤに対応付けて記憶する（ステップＳ８０９）。また動き表現情報生成部１７は、再計算後の新たな表示軌跡情報に基づいて、再生開始時刻からの経過時間における３Ｄメタデータの表示位置を算出し（ステップＳ８１０）、再生処理部１６に通知することにより、再生処理部１６は新たな表示軌跡の３Ｄメタデータを３Ｄ動画像上に合成表示する（ステップＳ８１１）。また動き表現情報生成部１７は、再計算後の新たな表示軌跡情報を３Ｄメタデータ生成編集部１９に送信する。３Ｄメタデータ生成編集部１９は、空間マウス制御部１２からサンプルポイント生成部１８を介して編集終了の通知を受けた場合には（例えばユーザが空間マウス１１を操作して選択していた３Ｄメタデータ以外の３Ｄ動画像上をクリックすることによりこのイベントが空間マウス制御部１２に通知される）、再計算後の新たな表示軌跡情報を、選択された３ＤメタデータのＩＤに対応付けて３ＤメタデータＤＢ１４におけるサンプルポイント情報テーブルに記録する（ステップＳ８１２）。
【００５１】
図１８は動画像再生中における３Ｄメタデータの編集の処理フローを示す第２の図である。
図１９は動画像再生中における３Ｄメタデータの編集処理の概要を示す第２の図である。
上述のステップＳ８０１〜８０１２処理においては、選択された３Ｄメタデータの移動量に応じて、その３Ｄメタデータの表示軌跡全体を移動させて新たな表示軌跡情報を再計算した場合の例について説明したが、選択された３Ｄメタデータのあるサンプルポイントの表示位置の変更の指示を受け付け、そのサンプルポイントの表示位置のみを変更した、新たな表示軌跡情報を再計算するようにしてもよい。
【００５２】
つまりこの場合、上述同様に、ステップＳ８０１〜ステップＳ８０５を行う。そして、ユーザが空間マウス１１を用いて選択した３Ｄメタデータの３Ｄ動画像上における表示軌跡を修正したい場合などに、その３Ｄメタデータの表示軌跡中におけるサンプルポイントを選択しながら空間マウスを操作してマウスポインタを移動させる。空間マウス制御部１２は空間マウス１１の操作による移動量を検出すると（ステップＳ９０６）、その移動量を再生処理部１６とサンプルポイント生成部１８とへ通知する。再生処理部１６は移動量の通知を受けると、その移動量に基づいて３Ｄ動画像上に表示しているサンプルポイントを移動表示させる（ステップＳ９０７）。またサンプルポイント生成部１８は、再生処理部１６が移動表示させたサンプルポイントの３Ｄ動画像上の移動量と、そのサンプルポイントに対応する３ＤメタデータのＩＤとを格納した移動要求を３Ｄメタデータ生成編集部１９へ送信する。すると３Ｄメタデータ生成編集部１９は、受信した３Ｄメタデータの移動量を一時的に記憶すると共に、その移動量を示す移動要求を動き表現情報生成部１７へ転送する。
【００５３】
動き表現情報生成部１７では移動要求を受信すると、その移動要求で示される移動量を検出し、３Ｄメタデータの表示軌跡のうち移動されたサンプルポイントの箇所における移動軌跡を、検出した移動量分変更する、表示軌跡情報の再計算処理を行う（ステップＳ９０８）。ここで移動量は３Ｄ動画像の仮想空間における（ｘ，ｙ，ｚ）の各移動量で示される。したがって、動き表現情報生成部１７は、移動要求で示される３ＤメタデータのＩＤから表示軌跡情報を特定し、その表示軌跡情報で示される各サンプルポイントのうち、移動されたサンプルポイントの表示位置を変更し、その表示軌跡を表す数式の各係数を算出し、その算出した各係数を示す表示軌跡情報を、新たな表示軌跡情報として３ＤメタデータＩＤに対応付けて記憶する（ステップＳ９０９）。また動き表現情報生成部１７は再計算後の新たな表示軌跡情報に基づいて、再生開始時刻からの現在の経過時間における３Ｄメタデータの表示位置を算出し（ステップＳ９１０）、再生処理部１６に通知することにより、再生処理部１６は新たな表示軌跡の３Ｄメタデータを３Ｄ動画像上に合成表示する（ステップＳ９１１）。また動き表現情報生成部１７は、再計算後の新たな表示軌跡情報を３Ｄメタデータ生成編集部１９に送信する。３Ｄメタデータ生成編集部１９は、空間マウス制御部１２からサンプルポイント生成部１８を介して編集終了の通知を受けた場合には（例えばユーザが空間マウス１１を操作して選択していた３Ｄメタデータ以外の３Ｄ動画像上をクリックすることによりこのイベントが空間マウス制御部１２に通知される）、再計算後の新たな表示軌跡情報を、選択された３ＤメタデータのＩＤに対応付けて３ＤメタデータＤＢ１４におおけるサンプルポイント情報テーブルに記録する（ステップＳ９１２）。
【００５４】
以上、本発明の実施形態について説明したが、上述の処理によれば、３Ｄ動画像上に合成表示させる３Ｄメタデータの作成を、空間マウスを用いた容易な操作（空間における空間マウスの上下左右前後への移動のみ）により行うことができる。
また、本発明によれば、３Ｄメタデータの作成時に、空間マウスにより指定した３Ｄ動画像上の全ての位置を３Ｄメタデータの表示軌跡の情報として保持せず、離散的な複数のサンプルポイントのみを軌跡情報として保持することとなるため、格納するデータの削減を行うことができる。
また、本発明によれば、３Ｄメタデータの表示軌跡の編集を、空間マウスを用いた容易な操作（空間における空間マウスの上下左右前後への移動のみ）により行うことができる。
また、本発明によれば、３Ｄメタデータの表示軌跡の編集時においてユーザが表示軌跡を選択する際には、３Ｄメタデータを直接指定しなくとも、一定の範囲であれば３Ｄメタデータを選択可能とするため、容易に編集のための３Ｄメタデータの選択を行うことができる。
また、各３Ｄメタデータの表示軌跡についての、定型テンプレートや、移動速度や移動方向を動き表現情報として記憶しておくことができるため、３Ｄ動画像において表示される３Ｄメタデータの検索などを行う機能が備えられていた場合には、定型テンプレートや移動速度や移動方向を被検索用データとして指定することにより、３Ｄ動画像上に表示される３Ｄメタデータの検索の処理を行うことが可能となる。
また、本発明によれば、ユーザが３Ｄ動画像再生時に表示されている３Ｄメタデータの編集を行うと、直ちにその編集後の表示軌跡が算出されて、その表示軌跡により３Ｄメタデータの合成表示が行われるため、３Ｄメタデータの編集をリアルタイムで行うことが可能となる。
また、本発明によれば、３Ｄメタデータの作成時にユーザが空間マウスを移動させることで、自動的に３Ｄメタデータの表示位置が特定されるため、容易に３Ｄメタデータの表示軌跡を入力することができる。
【００５５】
なお、上述の３次元動画像再生装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００５６】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【図面の簡単な説明】
【００５７】
【図１】３次元動画像再生装置の構成を示すブロック図である。
【図２】３Ｄメタデータ情報テーブルを示す図である。
【図３】サンプルポイント情報テーブルを示す図である。
【図４】３Ｄメタデータの作成時の処理フローを示す図である。
【図５】３Ｄメタデータの合成表示の処理フローを示す図である。
【図６】表示軌跡情報算出処理の処理フローを示す第１の図である。
【図７】表示軌跡情報算出処理の概要を示す第１の図である。
【図８】表示軌跡情報算出処理の処理フローを示す第２の図である。
【図９】表示軌跡情報算出処理の概要を示す第２の図である。
【図１０】表示軌跡情報算出処理の処理フローを示す第３の図である。
【図１１】表示軌跡情報の算出処理の概要を示す第３の図である。
【図１２】表示軌跡情報算出処理の処理フローを示す第４の図である。
【図１３】表示軌跡情報算出処理の概要を示す第４の図である。
【図１４】３Ｄメタデータ合成表示の処理フローを示す図である。
【図１５】３Ｄメタデータ合成表示の処理概要を示す図である。
【図１６】３Ｄメタデータの編集の処理フローを示す第１の図である。
【図１７】３Ｄメタデータの編集処理の概要を示す第１の図である。
【図１８】３Ｄメタデータの編集の処理フローを示す第２の図である。
【図１９】３Ｄメタデータの編集処理の概要を示す第２の図である。
【符号の説明】
【００５８】
１１・・・空間マウス
１２・・・空間マウス制御部
１３・・・３Ｄ動画ＤＢ
１４・・・３ＤメタデータＤＢ
１５・・・３Ｄディスプレイ
１６・・・再生処理部
１７・・・動き表現情報生成部
１８・・・サンプルポイント生成部
１９・・・３Ｄメタデータ生成編集部
【図１】
2010061231.tif 000003
【図２】
2010061231.tif 000004
【図３】
2010061231.tif 000005
【図４】
2010061231.tif 000006
【図５】
2010061231.tif 000007
【図６】
2010061231.tif 000008
【図７】
2010061231.tif 000009
【図８】
2010061231.tif 000010
【図９】
2010061231.tif 000011
【図１０】
2010061231.tif 000012
【図１１】
2010061231.tif 000013
【図１２】
2010061231.tif 000014
【図１３】
2010061231.tif 000015
【図１４】
2010061231.tif 000016
【図１５】
2010061231.tif 000017
【図１６】
2010061231.tif 000018
【図１７】
2010061231.tif 000019
【図１８】
2010061231.tif 000020
【図１９】
2010061231.tif 000021