(57)【要約】【課題】ユーザが視点位置や視線方向を変えた場合に，伝送の往復伝播遅延を考慮した適切なカメラ位置の画像情報を効率よくユーザに表示することを可能とする。【解決手段】動画像受信表示装置２の予測カメラ位置決定部２０８が，過去に表示した画像のカメラ位置情報と，現在表示している画像のカメラ位置情報と，設定された遅延量とに基づき，平均予測カメラ位置情報とその統計誤差による誤差予測カメラ位置情報を決定し，動画像送信装置へ送信する。動画像送信装置は，受信した平均予測カメラ位置情報を中心として誤差予測カメラ位置情報で指定される範囲内のカメラ位置に対応した動画像データとカメラ位置情報を動画像受信表示装置２へ送信し，動画像受信表示装置２は受信した動画像データの中から適切な動画像データを選択して表示する。【選択図】図５
2005303769.tif 000002
【特許請求の範囲】
【請求項１】
動画像受信表示装置が動画像送信装置からカメラ位置情報と動画像データを受信して画像を表示する動画像受信表示方法であって，
前記動画像受信表示装置が，
画像を表示する画像表示ステップと，
前記動画像受信表示装置と前記動画像送信装置間の伝送に関する往復伝播遅延の遅延量を設定する遅延設定ステップと，
過去に表示した画像のカメラ位置情報と，現在表示している画像のカメラ位置情報と，前記遅延設定ステップで設定した遅延量とを使って，平均予測カメラ位置情報を決定する予測カメラ位置決定ステップと，
平均予測カメラ位置情報を前記動画像送信装置へ送信する平均予測カメラ位置送信ステップと，
を実行することを特徴とする動画像受信表示方法。
【請求項２】
動画像受信表示装置が動画像送信装置からカメラ位置情報と動画像データを受信して画像を表示する動画像受信表示方法であって，
前記動画像受信表示装置が，
画像を表示する画像表示ステップと，
前記動画像受信表示装置と前記動画像送信装置間の伝送に関する往復伝播遅延の遅延量を設定する遅延設定ステップと，
過去に表示した画像のカメラ位置情報と，現在表示している画像のカメラ位置情報と，前記遅延設定ステップで設定した遅延量とを使って，平均予測カメラ位置情報とその統計誤差に基づく誤差予測カメラ位置情報を決定する予測カメラ位置決定ステップと，
平均予測カメラ位置情報を前記動画像送信装置へ送信する平均予測カメラ位置送信ステップと，
誤差予測カメラ位置情報を前記動画像送信装置へ送信する誤差予測カメラ位置送信ステップと，
を実行することを特徴とする動画像受信表示方法。
【請求項３】
請求項１または請求項２に記載の動画像受信表示方法であって，
前記動画像受信表示装置が，さらに，
現在表示している画像のカメラ位置を示す現在カメラ位置情報を，前記動画像送信装置へ送信する現在カメラ位置送信ステップ，
を実行することを特徴とする動画像受信表示方法。
【請求項４】
動画像送信装置が動画像受信表示装置へカメラ位置情報と動画像データを送信する動画像送信方法であって，
前記動画像送信装置が，
平均予測カメラ位置情報を受信する平均予測カメラ位置受信ステップと，
平均予測カメラ位置情報の動画像データを探索するカメラ位置動画像探索ステップと，
前記カメラ位置動画像探索ステップで探索された動画像データとカメラ位置情報を，前記動画像受信表示装置へ送信する動画像データ送信ステップと，
を実行することを特徴とする動画像送信方法。
【請求項５】
動画像送信装置が動画像受信表示装置へカメラ位置情報と動画像データを送信する動画像送信方法であって，
前記動画像送信装置が，
平均予測カメラ位置情報を受信する平均予測カメラ位置受信ステップと，
誤差予測カメラ位置情報を受信する誤差予測カメラ位置受信ステップと，
平均予測カメラ位置情報を中心として誤差予測カメラ位置情報で指定される範囲内のカメラ位置に対応する動画像データを探索するカメラ位置動画像探索ステップと，
前記カメラ位置動画像探索ステップで探索された複数の動画像データとカメラ位置情報とを，前記動画像受信表示装置へ送信する動画像データ送信ステップと，
を実行することを特徴とする動画像送信方法。
【請求項６】
請求項４または請求項５に記載の動画像送信方法であって，
前記動画像送信装置が，さらに，
現在カメラ位置情報を受信する現在カメラ位置受信ステップと，
現在カメラ位置情報に対応した動画像データとカメラ位置情報とを，前記動画像受信表示装置へ送信する静止位置動画像データ送信ステップと，
を実行することを特徴とする動画像送信方法。
【請求項７】
動画像受信表示装置が動画像送信装置から光線位置情報と動画像データを受信して画像を表示する動画像受信表示方法であって，
前記動画像受信表示装置が，
画像を表示する画像表示ステップと，
前記動画像受信表示装置と前記動画像送信装置間の伝送に関する往復伝播遅延の遅延量を設定する遅延設定ステップと，
過去に表示した画像の光線位置情報と，現在表示している画像の光線位置情報と，前記遅延設定ステップで設定した遅延量とを使って，平均予測光線位置情報を決定する予測光線位置決定ステップと，
平均予測光線位置情報を前記動画像送信装置へ送信する平均予測光線位置送信ステップと，
を実行することを特徴とする動画像受信表示方法。
【請求項８】
動画像受信表示装置が動画像送信装置から光線位置情報と動画像データを受信して画像を表示する動画像受信表示方法であって，
前記動画像受信表示装置が，
画像を表示する画像表示ステップと，
前記動画像受信表示装置と前記動画像送信装置間の伝送に関する往復伝播遅延の遅延量を設定する遅延設定ステップと，
過去に表示した画像の光線位置情報と，現在表示している画像の光線位置情報と，前記遅延設定ステップで設定した遅延量とを使って，平均予測光線位置情報とその統計誤差に基づく誤差予測光線位置情報を決定する予測光線位置決定ステップと，
平均予測光線位置情報を前記動画像送信装置へ送信する平均予測光線位置送信ステップと，
誤差予測光線位置情報を前記動画像送信装置へ送信する誤差予測光線位置送信ステップと，
を実行することを特徴とする動画像受信表示方法。
【請求項９】
請求項７または請求項８に記載の動画像受信表示方法であって，
前記動画像受信表示装置が，さらに，
現在表示している画像の光線位置を示す現在光線位置情報を，前記動画像送信装置へ送信する現在光線位置送信ステップ，
を実行することを特徴とする動画像受信表示方法。
【請求項１０】
動画像送信装置が動画像受信表示装置へ光線位置情報と動画像データを送信する動画像送信方法であって，
前記動画像送信装置が，
平均予測光線位置情報を受信する平均予測光線位置受信ステップと，
平均予測光線位置情報の動画像データを探索する光線位置動画像探索ステップと，
前記光線位置動画像探索ステップで探索された動画像データと光線位置情報を，前記動画像受信表示装置へ送信する動画像データ送信ステップと，
を実行することを特徴とする動画像送信方法。
【請求項１１】
動画像送信装置が動画像受信表示装置へ光線位置情報と動画像データを送信する動画像送信方法であって，
平均予測光線位置情報を受信する平均予測光線位置受信ステップと，
誤差予測光線位置情報を受信する誤差予測光線位置受信ステップと，
平均予測光線位置情報を中心として誤差予測光線位置情報で指定される範囲内の光線位置に対応する動画像データを探索する光線位置動画像探索ステップと，
前記光線位置動画像探索ステップで探索された複数の動画像データと光線位置情報を，前記動画像受信表示装置へ送信する動画像データ送信ステップと，
を実行することを特徴とする動画像送信方法。
【請求項１２】
請求項１０または請求項１１に記載の動画像送信方法であって，
前記動画像送信装置が，さらに，
現在光線位置情報を受信する現在光線位置受信ステップと，
現在光線位置情報に対応した動画像データと光線位置情報を送信する静止位置動画像データ送信ステップと，
を実行することを特徴とする動画像送信方法。
【請求項１３】
動画像送信装置が送信したカメラ位置情報と動画像データを受信して画像を表示する動画像受信表示装置であって，
画像を表示する画像表示部と，
前記動画像送信装置との間の伝送に関する往復伝播遅延の遅延量を設定する遅延設定部と，
過去に表示した画像のカメラ位置情報と，現在表示している画像のカメラ位置情報と，前記遅延設定部で設定した遅延量とを使って，平均予測カメラ位置情報を決定する予測カメラ位置決定部と，
平均予測カメラ位置情報を前記動画像送信装置へ送信する平均予測カメラ位置送信部と，
を備えることを特徴とする動画像受信表示装置。
【請求項１４】
動画像送信装置からカメラ位置情報と動画像データを受信して画像を表示する動画像受信表示装置であって，
画像を表示する画像表示部と，
前記動画像送信装置との間の伝送に関する往復伝播遅延の遅延量を設定する遅延設定部と，
過去に表示した画像のカメラ位置情報と，現在表示している画像のカメラ位置情報と，前記遅延設定部で設定した遅延量とを使って，平均予測カメラ位置情報とその統計誤差に基づく誤差予測カメラ位置情報を決定する予測カメラ位置決定部と，
平均予測カメラ位置情報を前記動画像送信装置へ送信する平均予測カメラ位置送信部と，
誤差予測カメラ位置情報を前記動画像送信装置へ送信する誤差予測カメラ位置送信部と，
を備えることを特徴とする動画像受信表示装置。
【請求項１５】
請求項１３または請求項１４に記載の動画像受信表示装置であって，
現在表示している画像のカメラ位置を示す現在カメラ位置情報を，前記動画像送信装置へ送信する現在カメラ位置送信部，
を備えることを特徴とする動画像受信表示装置。
【請求項１６】
動画像受信表示装置へカメラ位置情報と動画像データを送信する動画像送信装置であって，
平均予測カメラ位置情報を受信する平均予測カメラ位置受信部と，
平均予測カメラ位置情報の動画像データを探索するカメラ位置動画像探索部と，
前記カメラ位置動画像探索部で探索された動画像データとカメラ位置情報を，前記動画像受信表示装置へ送信する動画像データ送信部と，
を備えることを特徴とする動画像送信装置。
【請求項１７】
動画像受信表示装置へカメラ位置情報と動画像データを送信する動画像送信装置であって，
平均予測カメラ位置情報を受信する平均予測カメラ位置受信部と，
誤差予測カメラ位置情報を受信する誤差予測カメラ位置受信部と，
平均予測カメラ位置情報を中心として誤差予測カメラ位置情報で指定される範囲内のカメラ位置に対応する動画像データを探索するカメラ位置動画像探索部と，
前記カメラ位置動画像探索部で探索された複数の動画像データとカメラ位置情報を，前記動画像受信表示装置へ送信する動画像データ送信部と，
を備えることを特徴とする動画像送信装置。
【請求項１８】
請求項１６または請求項１７に記載の動画像送信装置であって，
現在カメラ位置情報を受信する現在カメラ位置受信部と，
現在カメラ位置情報に対応した動画像データとカメラ位置情報を，前記動画像受信表示装置へ送信する静止位置動画像データ送信部と，
を備えることを特徴とする動画像送信装置。
【請求項１９】
動画像送信装置から光線位置情報と動画像データを受信して画像を表示する動画像受信表示装置であって，
画像を表示する画像表示部と，
前記動画像送信装置との間の伝送に関する往復伝播遅延の遅延量を設定する遅延設定部と，
過去に表示した画像の光線位置情報と，現在表示している画像の光線位置情報と，前記遅延設定部で設定した遅延量とを使って，平均予測光線位置情報を決定する予測光線位置決定部と，
平均予測光線位置情報を前記動画像送信装置へ送信する平均予測光線位置送信部と，
を備えることを特徴とする動画像受信表示装置。
【請求項２０】
動画像送信装置から光線位置情報と動画像データを受信して画像を表示する動画像受信表示装置であって，
画像を表示する画像表示部と，
前記動画像送信装置との間の伝送に関する往復伝播遅延の遅延量を設定する遅延設定部と，
過去に表示した画像の光線位置情報と，現在表示している画像の光線位置情報と，前記遅延設定部で設定した遅延量とを使って，平均予測光線位置情報とその統計誤差に基づく誤差予測光線位置情報を決定する予測光線位置決定部と，
平均予測光線位置情報を前記動画像送信装置へ送信する平均予測光線位置送信部と，
誤差予測光線位置情報を前記動画像送信装置へ送信する誤差予測光線位置送信部と，
を備えることを特徴とする動画像受信表示装置。
【請求項２１】
請求項１９または請求項２０に記載の動画像受信表示装置であって，
現在表示している画像の光線位置を示す現在光線位置情報を，前記動画像送信装置へ送信する現在光線位置送信部，
を備えることを特徴とする動画像受信表示装置。
【請求項２２】
動画像受信表示装置へ光線位置情報と動画像データを送信する動画像送信装置であって，
平均予測光線位置情報を受信する平均予測光線位置受信部と，
平均予測光線位置情報の動画像データを探索する光線位置動画像探索部と，
前記光線位置動画像探索部で探索された動画像データと光線位置情報を，前記動画像受信表示装置へ送信する動画像データ送信部と，
を備えることを特徴とする動画像送信装置。
【請求項２３】
動画像受信表示装置へ光線位置情報と動画像データを送信する動画像送信装置であって，
平均予測光線位置情報を受信する平均予測光線位置受信部と，
誤差予測光線位置情報を受信する誤差予測光線位置受信部と，
平均予測光線位置情報を中心として誤差予測光線位置情報で指定される範囲内の光線位置に対応する動画像データを探索する光線位置動画像探索部と，
前記光線位置動画像探索部で探索された複数の動画像データと光線位置情報を，前記動画像受信表示装置へ送信する動画像データ送信部と，
を備えることを特徴とする動画像送信装置。
【請求項２４】
請求項２２または請求項２３に記載の動画像送信装置であって，
現在光線位置情報を受信する現在光線位置受信部と，
現在光線位置情報に対応した動画像データと光線位置情報を，前記動画像受信表示装置へ送信する静止位置動画像データ送信部と，
を備えることを特徴とする動画像送信装置。
【請求項２５】
請求項１，請求項２，請求項３，請求項７，請求項８または請求項９に記載の動画像受信表示方法を，動画像受信表示装置が備えるコンピュータに実行させるための動画像受信表示プログラム。
【請求項２６】
請求項４，請求項５，請求項６，請求項１０，請求項１１または請求項１２に記載の動画像送信方法を，動画像送信装置が備えるコンピュータに実行させるための動画像送信プログラム。
【請求項２７】
請求項１，請求項２，請求項３，請求項７，請求項８または請求項９に記載の動画像受信表示方法を，動画像受信表示装置が備えるコンピュータに実行させるためのプログラムを，コンピュータ読み取り可能な記録媒体に記録したことを特徴とする動画像受信表示プログラム記録媒体。
【請求項２８】
請求項４，請求項５，請求項６，請求項１０，請求項１１または請求項１２に記載の動画像送信方法を，動画像送信装置が備えるコンピュータに実行させるためのプログラムを，コンピュータ読み取り可能な記録媒体に記録したことを特徴とする動画像送信プログラム記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，動画像受信表示方法，動画像送信方法，動画像受信表示装置，動画像送信装置，動画像受信表示プログラム，動画像送信プログラムおよびそれらのプログラム記録媒体に関し，特に視点位置や視線方向を変更することを可能とする映像通信と映像配信と映像蓄積に関する技術である。
【背景技術】
【０００２】
一般的に映像符号化では，時間方向の相関を使って高い符号化効率を実現するため，フレーム間予測符号化を用いている。フレームの符号化モードには，フレーム間の相関を使わずに符号化するＩフレームと，過去に符号化した１フレームから予測するＰフレームと，過去に符号化した２フレームから予測することができるＢフレームがある。Ｐフレームでは，ＩフレームまたはＰフレームから予測し，Ｂフレームでは，ＩフレームまたはＰフレームまたはＢフレームから予測することができる。特に映像符号化方式Ｈ．２６３では，参照画像メモリに複数フレーム分の復号画像を蓄積しておき，そのメモリから参照画像を選択して予測することができる。
【０００３】
また，Ｐフレームは入力動画像における時間が過去のフレームから予測するが，Ｂフレームでは過去のフレームだけではなく未来のフレームから予測することができる。図１（Ａ）に動画像の予測関係の例を示す。Ｂフレームで２フレームから予測する場合（両方向予測）には，２フレームからの画像情報を補間して，１フレーム分の画像情報を作成して予測画像を作成する。
【０００４】
第１フレームから第７フレームの符号化モードをＩＢＢＰＢＢＰの順序で符号化する場合には，図１（Ａ）に示す予測関係があるため，実際に符号化する場合には，図１（Ｂ）に示すように１４２３７５６の順序でフレームを符号化する。
【０００５】
ここで，インタレース動画像は１フレーム内に２フィールド持つ構成となるが，同様にフィールド毎に予測関係を設定することができる。一般的にフレームとフィールドを総称してピクチャと呼ぶ。またＢフレームの両方向予測では，過去の２フレームまたは未来の２フレームから予測することも可能である。例えば映像符号化方式Ｈ．２６４では参照画像メモリに複数フレーム分の復号画像を蓄積しておき，そのメモリから参照画像を２フレーム分選択して予測することができる。ここで選択したフレームの表示時刻は符号化対象フレームの未来であっても過去であってもよい。
【０００６】
複数のカメラ入力映像を予め持っていれば，入力映像を切り替えることによって視点位置と視線方向を変更することが可能である。これらは撮影した位置での映像が得られるが，更に撮影されていない視点位置や視線方向の映像を生成する技術が提案されている。
【０００７】
例えば，下記の非特許文献１では，複数のカメラ入力画像から光線空間を生成して，その光線空間から画像情報を取り出すことにより，撮影されていない視点位置または視線方向の映像を生成する手法が提案されている。光線空間は下記の非特許文献２で紹介するような最大７次元の空間における光線の強度Ｉｌとして定義されるものである。式（１）に定義を示す。ここで，引数ｘ，ｙ，ｚはそれぞれ光線の通過点の３次元空間上の位置を，引数θ，φは光線方向を，引数λは波長を，引数ｔは時刻を示す。ここで光線空間における位置情報は，必ずしも実空間の位置やスケールとは同じにならない。
【０００８】
Ｉｌ＝Ｉ（ｘ，ｙ，ｚ，θ，φ，λ，ｔ）                              （１）
このような物理量を実際に観測するのは現状のデバイスでは困難なため，実際には（空間２次元＋時間１次元）の画像情報を撮影するカメラから得られる情報を複数用いて，式（１）よりも次元の少ない（次元を縮退した）光線空間を定義して，任意視点位置や視線方向の映像を生成する。
【０００９】
一般的にこのような映像を生成する技術では，複数のカメラ入力画像で同じ被写体が撮影されている場合に，それらの撮影されている画像情報を使って，その被写体について撮影されていない視点位置や視線方向の画像情報を生成する。複数のカメラ入力画像にまたがって撮影されている被写体について，すなわち，複数のカメラ入力画像の一部分を使って画像情報を生成している。
【００１０】
カメラの世界座標系を示す方法に米国の標準方式，"SMPTE 315M-1999 Camera Positioning Information Conveyed by Ancillary Data Packets" がある。この方法によれば，カメラで映像を撮影したときのカメラ位置情報やカメラパラメータを表現することができ，撮影された画像情報と合わせてこれらの位置情報を蓄積することができる。位置情報としては，カメラの世界座標における位置情報や基準位置からの相対位置をメートル単位で表現できる。また，カメラの撮影方向を度単位で表現できる。カメラパラメータとしては，フォーカス距離をメール単位で表現できる。
【００１１】
カメラをピンホールモデルで定義すると，カメラで撮影される画像情報は，式（１）で表現されるような光線を捕らえているとみなすことができる。すなわち上記 "SMPTE 315M" で定義されるカメラの位置情報について通過する光線の強度Ｉc は，式（１）と同様に式（２）で示される。ここで，引数ｘ，ｙ，ｚはそれぞれカメラの３次元空間上の位置を，引数θ，φはカメラの撮影方向を，引数ｔはカメラの撮影時刻を示す。ここで示されるカメラ位置情報は，実空間上での位置情報である。
【００１２】
Ｉc ＝Ｉ（ｘ，ｙ，ｚ，θ，φ，ｔ）                                  （２）
ストリーミング映像配信では，配信サーバからクライアントへ映像データが配信されるが，クライアントへ定刻通りに安定して映像データが配信される必要がある。ここでクライアントがデータを要求する配信サーバが映像データを持っていない場合には，ネットワーク上の他のコンテンツサーバから映像データを転送してもらう。このとき，これらのサーバ間の映像データの転送が安定して行われないと，クライアントへ安定して配信することができない。これを防止するために，サーバ間でプリフェッチ（Prefetch）技術が適用される。
【００１３】
プリフェッチはデータの先読み技術であり，通常の映像配信の場合には，クライアントが要求する時刻の映像データよりも未来の映像データを，配信サーバがコンテンツサーバに要求する。このプリフェッチを適切に利用することによって，配信サーバとコンテンツサーバの帯域が混んでいる場合にも，配信サーバはクライアントへ安定して映像データを配信することができる（例えば，非特許文献３参照）。また，プリフェッチ技術は，クライアントが配信サーバに対して行ってもよい。例えばＷ３Ｃ勧告ＳＭＩＬ２．０では，クライアントのコンテンツの先読みのためにプリフェッチ・タグを定義している。
【非特許文献１】藤井，木本，谷本：“光線群表現における３次元空間情報の圧縮”，３次元画像コンファレンス'96, pp.1-6 (1996.7)
【非特許文献２】Heung-Yeung Shun，Sing Bing Kang，Shing-Chow Chan,“Survey of Image-Based Representations and Compression Techniques”，IEEE Trans., Circuits Syst., Video Technol., vol.13, no.11，pp.1020-1037，2003
【非特許文献３】小林ら，“ストリームプロキシサーバのためのマルチコネクションを用いたプリフェッチ方式の提案”，信学技報  CQ2002-73, 2002
【発明の開示】
【発明が解決しようとする課題】
【００１４】
ユーザの所望する視点位置や視線方向の映像を表示するためには，その近傍のカメラ入力映像からその視点位置や視線方向の映像を生成する必要がある。ユーザが時々刻々と視点位置や視線方向を変えると，生成に必要なカメラ入力映像も変わる。これを応用した通信サービスを実現することを考える。
【００１５】
例えば映像配信の場合，ユーザが遠隔地にあるサーバに蓄積されている映像データを受信して映像を再生する。映像通信の場合には他のユーザ側にある複数のカメラ入力映像を受信して再生する。このとき，ユーザの所望する視点位置や視線方向が変わると，合わせて必要なカメラ入力画像も変わる。
【００１６】
ここで，遠隔地や他ユーザから全カメラ入力映像を受信する場合には，そのうちから必要な映像のみを使って画像を生成すればよい。しかしながら，全カメラ映像を受信するには膨大な通信帯域が必要となる問題がある。このため生成に必要な画像情報のみを受信する方法の方が通信帯域を低下できるため効果的である。
【００１７】
しかしながら，従来の映像配信や映像通信プロトコルでは，カメラ入力映像を指定する仕組みがないため，必要な画像情報のみを送信するように指示することができない。また伝送に伴う往復伝播遅延があるため，ユーザの視点位置や視線方向が大きく変化する場合には，ユーザ側がデータを要求する信号を送信する時期とユーザが映像データを受信する時期が大きく異なるため，ユーザが所望している映像を生成することができない。
【００１８】
本発明は，上記従来技術の問題点を解決し，ユーザが視点位置や視線方向を変えた場合に，対応した画像情報を効率よくユーザの表示装置に表示することができる技術を提供することを目的とする。
【課題を解決するための手段】
【００１９】
以上の課題を解決するため，本発明は，例えば複数のカメラ位置に対応する画像を配信可能なサーバ（動画像装置装置）に対して，ユーザの動画像受信表示装置からユーザが見たい視点位置や視線方向の情報（カメラ位置）を送り，動画像受信表示装置がサーバからそのカメラ位置に対応する画像を受信して表示する場合に，ユーザが要求してからその画像を受信して表示するまでの遅延を考慮し，過去の視点位置や視線方向の変化の履歴と，現時点で要求された視点位置や視線方向とから，往復伝播遅延時間後にユーザが要求する可能性の大きい視点位置や視線方向を予測し，その予測した視点位置や視線方向に対応するカメラ位置情報をサーバへ送信することを最も主要な特徴とする。
【００２０】
予測したカメラ位置情報を送信する他に，実際に現在表示している画像のカメラ位置情報を送信してもよい。また，カメラ位置情報を送信するのではなく，光線空間上における位置情報などの光線位置情報を送信するようにしてもよい。
【００２１】
具体的には，第１の本発明は，カメラ位置情報と動画像データを受信して画像を表示する動画像受信表示方法であって，画像を表示する画像表示ステップと，遅延量を設定する遅延設定ステップと，過去に表示した画像のカメラ位置情報と，現在表示している画像のカメラ位置情報と，遅延設定ステップで設定した遅延量を使って，平均予測カメラ位置情報を決定する平均予測カメラ位置決定ステップと，平均予測カメラ位置情報を送信する平均予測カメラ位置送信ステップと，を実行することを特徴とする。遅延量は，画像の受信表示装置から位置情報を送信し，送信装置から画像を受信するまでの信号の往復伝播遅延時間であるが，遅延量は絶対時間に限らず，実質的に時間に相当する量であれば例えばフレーム数などでもよい。
【００２２】
第２の本発明は，カメラ位置情報と動画像データを受信して画像を表示する動画像受信表示方法であって，画像を表示する画像表示ステップと，遅延量を設定する遅延設定ステップと，過去に表示した画像のカメラ位置情報と，現在表示している画像のカメラ位置情報と，遅延設定ステップで設定した遅延量を使って，平均予測カメラ位置情報と誤差予測カメラ位置情報を決定する予測カメラ位置決定ステップと，平均予測カメラ位置情報を送信する平均予測カメラ位置送信ステップと，誤差予測カメラ位置情報を送信する誤差予測カメラ位置送信ステップと，を実行することを特徴とする。
【００２３】
第３の本発明は，第１の本発明または第２の本発明の動画像受信表示方法であって，現在表示している画像のカメラ位置を示す現在カメラ位置情報を送信する現在カメラ位置送信ステップを実行することを特徴とする。
【００２４】
第４の本発明は，カメラ位置情報と動画像データを送信する動画像送信方法であって，平均予測カメラ位置情報を受信する平均予測カメラ位置受信ステップと，平均予測カメラ位置情報の動画像データを探索するカメラ位置動画像探索ステップと，カメラ位置動画像探索ステップで探索された動画像データとカメラ位置情報を送信する動画像データ送信ステップと，を実行することを特徴とする。
【００２５】
第５の本発明は，カメラ位置情報と動画像データを送信する動画像送信方法であって，平均予測カメラ位置情報を受信する平均予測カメラ位置受信ステップと，誤差予測カメラ位置情報を受信する誤差予測カメラ位置受信ステップと，平均予測カメラ位置情報を中心として誤差予測カメラ位置情報で指定される範囲内のカメラ位置に対応する動画像データを探索するカメラ位置動画像探索ステップと，カメラ位置動画像探索ステップで探索された複数の動画像データとカメラ位置情報を送信する動画像データ送信ステップと，を実行することを特徴とする。
【００２６】
第６の本発明は，第４の本発明または第５の本発明の動画像送信方法であって，現在カメラ位置情報を受信する現在カメラ位置受信ステップと，現在カメラ位置情報に対応した動画像データとカメラ位置情報を送信する静止位置動画像データ送信ステップと，を実行することを特徴とする。
【００２７】
第７の本発明は，光線位置情報と動画像データを受信して画像を表示する動画像受信表示方法であって，画像を表示する画像表示ステップと，遅延量を設定する遅延設定ステップと，過去に表示した画像の光線位置情報と，現在表示している画像の光線位置情報と，遅延設定ステップで設定した遅延量を使って，平均予測光線位置情報を決定する平均予測光線位置決定ステップと，平均予測光線位置情報を送信する平均予測光線位置送信ステップと，を実行することを特徴とする。
【００２８】
第８の本発明は，光線位置情報と動画像データを受信して画像を表示する動画像受信表示方法であって，画像を表示する画像表示ステップと，遅延量を設定する遅延設定ステップと，過去に表示した画像の光線位置情報と，現在表示している画像の光線位置情報と，遅延設定ステップで設定した遅延量を使って，平均予測光線位置情報と誤差予測光線位置情報を決定する予測光線位置決定ステップと，平均予測光線位置情報を送信する平均予測光線位置送信ステップと，誤差予測光線位置情報を送信する誤差予測光線位置送信ステップと，を実行することを特徴とする。
【００２９】
第９の本発明は，第７の本発明または第８の本発明の動画像受信表示方法であって，現在表示している画像の光線位置を示す現在光線位置情報を送信する現在光線位置送信ステップ，を実行することを特徴とする。
【００３０】
第１０の本発明は，光線位置情報と動画像データを送信する動画像送信方法であって，平均予測光線位置情報を受信する平均予測光線位置受信ステップと，平均予測光線位置情報の動画像データを探索する光線位置動画像探索ステップと，光線位置動画像探索ステップで探索された動画像データと光線位置情報を送信する動画像データ送信ステップと，を実行することを特徴とする。
【００３１】
第１１の本発明は，光線位置情報と動画像データを送信する動画像送信方法であって，平均予測光線位置情報を受信する平均予測光線位置受信ステップと，誤差予測光線位置情報を受信する誤差予測光線位置受信ステップと，平均予測光線位置情報を中心として誤差予測光線位置情報で指定される範囲内の光線位置に対応する動画像データを探索する光線位置動画像探索ステップと，光線位置動画像探索ステップで探索された複数の動画像データと光線位置情報を送信する動画像データ送信ステップと，を実行することを特徴とする。
【００３２】
第１２の本発明は，第１０の本発明または第１１の本発明の動画像送信方法であって，現在光線位置情報を受信する現在光線位置受信ステップと，現在光線位置情報に対応した動画像データと光線位置情報を送信する静止位置動画像データ送信ステップと，を実行することを特徴とする。
【００３３】
第１の本発明によれば，ユーザが遅延時間後に見るであろうカメラ位置を受信側（ユーザ側）で予測し，そのカメラ位置の画像情報を送信側へ要求することができる。予測する方法としては，図２，図３に示すように，過去から現在までのカメラ位置の移動量を測定し，受信側から送信側までの往復伝播遅延時間分だけ遅延した場合のカメラ位置を平均予測カメラ位置として計算する。例えば，過去に平均予測カメラ位置として算出した複数のカメラ位置の移動量を平均して，現在のカメラ位置からの移動量を計算する。そして現在のカメラ位置に移動量を加算して平均予測カメラ位置を算出する。なお平均予測カメラ位置の計算方法はこれに限らない。
【００３４】
第２の本発明によれば，第１の本発明に加えて，予測カメラ位置の誤差を受信側で計算して，送信側へ指定することができる。予測カメラ位置の誤差（誤差予測カメラ位置）の計算方法としては，図３に示すように，過去に平均予測カメラ位置の決定に用いられたカメラ位置の移動量の統計誤差を使用することができる。例えば，過去に平均予測カメラ位置として算出した複数のカメラ位置の移動量の標準偏差を算出することによって誤差予測カメラ位置を求める。計算方法はこれに限らない。
【００３５】
第３の本発明によれば，第１の本発明または第２の本発明に加えて，受信側で現在見ているカメラ位置を送信側へ指定することができる。これに対応した第６の本発明の動画像送信方法と組み合わせることにより，例えば受信側が平均予測カメラ位置情報を送信側へ指定した直後で，ユーザが視点位置や視線方向の変更を止めた時に，指定した時点でのカメラ位置の画像情報を受信側は受信することができ，ユーザは引き続き同じカメラ位置での画像を見ることができる。
【００３６】
第７の本発明から第１０の本発明によれば，カメラ位置情報を動画像データと同時に送信または受信する代わりに，画像データを写像する光線空間での位置情報を送信または受信することができる。これにより，カメラ位置情報を使って画像データを光線空間へ写像する際に必要な変換処理を省くことができ，画像を生成する処理量を削減することができる。
【００３７】
なお，第７，第８の本発明における平均予測光線位置情報の決定は，図２，図３に示すように，過去から現在までの光線位置の移動量を測定し，受信側から送信側までの往復伝播遅延時間分だけ遅延した場合の光線位置を平均予測光線位置とし，第８の本発明における誤差予測光線位置情報の決定は，図３に示すように，過去に平均予測光線位置情報の決定に用いた光線位置の移動量の統計誤差（例えば標準偏差）を使用して行う。
【００３８】
これらの発明を適用する動画像データのデータフォーマットや符号化方式は特定のものに限らない。フレーム間予測符号化を適用しても良いし，画像に対してサブバンド符号化を適用してもよい。
【発明の効果】
【００３９】
本発明によれば，ユーザが遅延時間後に見るであろうカメラ位置をユーザ側で予測し，そのカメラ位置の画像情報を送信側へ要求することができる。これにより，ユーザが視点位置や視線方向を変えた場合に，対応した画像情報をユーザに表示することが可能となる。
【発明を実施するための最良の形態】
【００４０】
本発明の実施の形態を図面を参照して説明する。第１の実施の形態として，動画像データにＭｏｔｉｏｎＪＰＥＧ符号化方式が適用されており，各画像データにカメラ位置情報が同時に符号化されている場合について説明する。このような動画像データを送受信する手順を説明する。また，送信側と受信側の間で現在カメラ位置情報を送受信するものとする。カメラ位置は初期位置を原点とした場合の，３次元相対位置と，カメラ撮像方向を示す２つの角度情報とで構成される，合計５次元の情報とする。
【００４１】
動画像送信装置の構成の一例を図４に，動画像受信表示装置の構成の一例を図５に示す。図４に示す動画像送信装置１は，平均予測カメラ位置情報を受信する平均予測カメラ位置受信部１０７と，誤差予測カメラ位置情報を受信する誤差予測カメラ位置受信部１０８と，現在カメラ位置情報を受信する現在カメラ位置受信部１０５と，平均予測カメラ位置情報を中心として誤差予測カメラ位置情報で指定される範囲内のカメラ位置である予測カメラ位置を決定する予測カメラ位置決定部１０４と，カメラ位置に対応する動画像データを探索するカメラ位置動画像探索部１０１と，予測カメラ位置に対応する複数の動画像データとカメラ位置情報を送信する動画像データ送信部１０９と，現在カメラ位置情報に対応した動画像データとカメラ位置情報を送信する静止位置動画像データ送信部１０６と，カメラ位置情報を蓄積したカメラ位置情報蓄積メモリ１０２と，動画像データを蓄積した動画像データ蓄積メモリ１０３とで構成される。なお，図中の５は通信路である。
【００４２】
図５に示す動画像受信表示装置２では，画像を表示する画像表示部２１３と，遅延時間を設定する遅延設定部２１２と，過去に表示した画像のカメラ位置情報を蓄積するカメラ位置記録メモリ２１１と，表示カメラ位置を指定する表示カメラ位置指定部２１０と，平均予測カメラ位置と誤差予測カメラ位置を決定する予測カメラ位置決定部２０８と，平均予測カメラ位置情報を送信する平均予測カメラ位置送信部２０３と，誤差予測カメラ位置情報を送信する誤差予測カメラ位置送信部２０４と，現在表示している画像のカメラ位置を示す現在カメラ位置情報を送信する現在カメラ位置送信部２０１と，過去に現在カメラ位置送信部２０１で送信側に指定したカメラ位置での画像データとカメラ位置情報を受信して動画像データを復号する静止位置動画像データ受信部２０２と，静止位置動画像データ受信部２０２で得られる画像情報を蓄積する静止位置動画像データ蓄積メモリ２０６と，過去に平均予測カメラ位置送信部２０３と誤差予測カメラ位置送信部２０４で送信側に指定したカメラ位置での画像データとカメラ位置情報を受信して動画像データを復号する予測位置動画像データ受信部２０５と，予測位置動画像データ受信部２０５で得られる画像情報を蓄積する予測位置動画像データ蓄積メモリ２０７と，静止位置動画像データ蓄積メモリ２０６と予測位置動画像データ蓄積メモリ２０７に蓄積した動画像のどちらを表示するのかを判定する表示判定部２０９とで構成される。
【００４３】
動画像送信装置１において，予測カメラ位置決定部１０４は，図６に示すように，平均予測カメラ位置を中心にして，半径が誤差予測カメラ位置となる５次元の球内に入るカメラ位置を決定する。カメラ位置動画像探索部１０１は，この範囲に該当するカメラ位置を探索する。
【００４４】
動画像受信表示装置２において，表示カメラ位置指定部２１０はユーザによって指定されるカメラ位置を指定する。カメラ位置の指定方法としては，例えばＧＵＩ（Graphical User Interface）により，ディスプレイに表示された空間の位置をユーザにマウス等のポインティングデバイスによって指定させるとか，視点位置や視線方向を変更するボタンをポインティングデバイスによって操作させる方法などがあるが，例えばマウスのドラッグ操作によって方向を指定させるようにしてもよい。また，ユーザの動きを検出して，ユーザが希望していると思われるカメラ位置を決定してもよい。このカメラ位置の指定方法は，これらに限らず，どのような方法を用いてもよい。
【００４５】
予測カメラ位置決定部２０８は，過去に平均予測カメラ位置として算出した複数のカメラ位置の移動量を平均して，現在のカメラ位置からの移動量を計算する。そして現在のカメラ位置に移動量を加算して平均予測カメラ位置を算出する。また過去に平均予測カメラ位置として算出した複数のカメラ位置の移動量の標準偏差を計算して，誤差予測カメラ位置情報を計算する。
【００４６】
予測位置動画像データ受信部２０５で受信して復号して得られる画像情報は複数あり，それぞれカメラ位置情報で区別される。
【００４７】
表示判定部２０９は，予測位置動画像データ受信部２０５で受信したカメラ位置と，静止位置動画像データ受信部２０２で受信したカメラ位置とで，現在の表示カメラ位置との間の評価値Ｅc が最も小さいカメラ位置の動画像データを表示画像に判定する。ここでの評価値Ｅc は式（３）で計算される。ここで（ｘ１，ｙ１，ｚ１）は現在の表示カメラ位置（現時点で表示カメラ位置指定部２１０によって指定されているカメラ位置）を示し，（ｘ２，ｙ２，ｚ２）は，評価する対象のカメラ位置を示す。
【００４８】
Ｅc ＝（（ｘ１−ｘ２）2 ＋（ｙ１−ｙ２）2 ＋（ｚ１−ｚ２）2 ）1/2   （３）
ここで，動画像受信表示装置２は，既に動画像データを受信しているとする。また遅延設定部２１２で設定される，送信側と受信側の間の往復伝播遅延時間は測定されているものとする。このような前提で，動画像送信装置１と動画像受信表示装置２は，次のように動作する。
【００４９】
動画像受信表示装置２において，静止位置動画像データ受信部２０２は，動画像データを受信して復号して，復号画像とカメラ位置情報を静止位置動画像データ蓄積メモリ２０６に蓄積する。予測位置動画像データ受信部２０５は，動画像データを受信して復号して，復号画像とカメラ位置情報を予測位置動画像データ蓄積メモリ２０７に蓄積する。
【００５０】
表示カメラ位置指定部２１０は，表示するカメラ位置を指定して，カメラ位置をカメラ位置記録メモリ２１１に蓄積する。表示判定部２０９は，表示するカメラ位置に関して式（３）で計算される評価値Ｅc が最も小さいカメラ位置を，静止位置動画像データ蓄積メモリ２０６に蓄積されているカメラ位置情報と，予測位置動画像データ蓄積メモリ２０７に蓄積されているカメラ位置情報のうちから判定する。画像表示部２１３は，判定されたカメラ位置の画像情報を表示する。
【００５１】
予測カメラ位置決定部２０８は，カメラ位置記録メモリ２１１に蓄積されている過去のカメラ位置情報と，表示カメラ位置指定部２１０で指定されるカメラ位置とから，平均予測カメラ位置と誤差予測カメラ位置を決定する。平均予測カメラ位置送信部２０３は，平均予測カメラ位置情報を送信し，誤差予測カメラ位置送信部２０４は，誤差予測カメラ位置情報を送信する。現在カメラ位置送信部２０１は，現在カメラ位置情報を送信する。これらのカメラ位置情報は，比較的短い時間間隔で常時，定期的に送信してもよく，また変更があったときだけ送信してもよい。
【００５２】
動画像送信装置１において，現在カメラ位置受信部１０５は，現在カメラ位置情報を受信する。カメラ位置動画像探索部１０１は，現在カメラ位置で指定されるカメラ位置をカメラ位置情報蓄積メモリ１０２から探索する。式（３）と同様な評価値を設定して，評価値が最も小さいカメラ位置を探索する。
【００５３】
静止位置動画像データ送信部１０６は，探索して得られたカメラ位置に対応した動画像データを動画像データ蓄積メモリ１０３から読み出して，動画像データとカメラ位置情報を送信する。平均予測カメラ位置受信部１０７は，平均予測カメラ位置情報を受信し，誤差予測カメラ位置受信部１０８は，誤差予測カメラ位置情報を受信する。予測カメラ位置決定部１０４は，平均予測カメラ位置情報と誤差予測カメラ位置情報とから，予測カメラ位置を決定する。
【００５４】
カメラ位置動画像探索部１０１は，決定されたカメラ位置で指定される範囲にあるカメラ位置をカメラ位置情報蓄積メモリ１０２から探索する。動画像データ送信部１０９は，探索して得られたカメラ位置に対応した動画像データを動画像データ蓄積メモリ１０３から読み出して，動画像データとカメラ位置情報を送信する。
【００５５】
以上の手順を繰り返し実行する。これにより，ユーザが視点位置や視線方向を変えた場合に，対応した最も適切な画像情報をユーザに表示することが可能となる。
【００５６】
第２の実施の形態として，動画像データにＭＰＥＧ−１符号化方式が適用されており，各フレームに光線位置情報が同時に符号化されている場合について説明する。ＭＰＥＧ−１で符号化された動画像データはＧＯＰを構成しており，ＧＯＰ単位でランダムアクセスが可能であるとする。このような動画像データを送受信する手順を説明する。光線位置は初期位置を原点とした場合の，３次元相対位置と，光線方向を示す２つの角度情報と，時刻情報で構成される，合計６次元の情報とする。
【００５７】
動画像送信装置の構成の一例を図７に，動画像受信表示装置の構成の一例を図８に示す。図７に示す動画像送信装置３では，平均予測光線位置情報を受信する平均予測光線位置受信部３１３と，光線位置に対応する動画像データを探索する光線位置動画像探索部３１１と，光線位置動画像探索部３１１で探索する光線の範囲を指定する予測光線探索範囲指定部３１０と，光線位置に対応する複数の動画像データとカメラ位置情報を送信する動画像データ送信部３０９と，光線位置情報を蓄積した光線位置情報蓄積メモリ３１２と，動画像データを蓄積した動画像データ蓄積メモリ３０３とで構成される。
【００５８】
図８に示す動画像受信表示装置４では，画像を表示する画像表示部４１３と，遅延時間を設定する遅延設定部４１２と，過去に表示した画像の光線位置情報を蓄積する光線位置記録メモリ４１４と，表示光線位置を指定する表示光線位置指定部４１７と，平均予測光線位置を決定する予測光線位置決定部４１５と，平均予測光線位置情報を送信する平均予測光線位置送信部４１６と，過去に平均予測光線位置送信部４１６で送信側に指定した光線位置での画像データと光線位置情報を受信して動画像データを復号する予測位置動画像データ受信部４０５と，予測位置動画像データ受信部４０５で得られる画像情報を蓄積する予測位置動画像データ蓄積メモリ４０７と，予測位置動画像データ蓄積メモリ４０７に蓄積した複数の動画像のいずれを表示するのかを判定する表示判定部４０９とで構成される。
【００５９】
動画像送信装置３において，光線位置情報蓄積メモリ３１２には，光線位置情報として，ＭＰＥＧ−１で符号化されている動画像データのＧＯＰの先頭フレームに関して，その光線空間上での位置情報と時刻情報が蓄積されているものとする。光線位置動画像探索部３１１は，図９に示すように，平均予測光線位置を中心とし，予測光線探索範囲指定部３１０で指定される探索範囲を半径とした，６次元球内の入る光線位置を探索するものとする。
【００６０】
動画像受信表示装置４において，表示光線位置指定部４１７は，例えばＧＵＩ等を用いてユーザによって指定されるカメラ位置に対応した光線位置を指定する。予測光線位置決定部４１５は，過去に平均予測光線位置として算出した複数の光線位置の移動量を平均して，現在の光線位置からの移動量を計算する。そして現在の光線位置に移動量を加算して平均予測光線位置を算出する。予測位置動画像データ受信部４０５で受信して復号して得られる画像情報は複数あり，それぞれ光線位置情報で区別される。
【００６１】
表示判定部４０９は，予測位置動画像データ受信部４０５で受信した光線位置のうち，現在の表示光線位置（現時点での表示光線位置指定部４１７が指定した光線位置）との間の評価値Ｅl が最も小さい光線位置の動画像データを表示画像に判定する。ここでの評価値Ｅl は，式（４）で計算される。ここで（ｘ１，ｙ１，ｚ１）は現在の表示光線位置を示し，（ｘ２，ｙ２，ｚ２）は評価する対象の光線位置を示す。
【００６２】
Ｅl ＝（（ｘ１−ｘ２）2 ＋（ｙ１−ｙ２）2 ＋（ｚ１−ｚ２）2 ）1/2   （４）
ここで，動画像受信表示装置４は，既に動画像データを受信しているとする。また遅延設定部４１２で設定される，送信側と受信側の間の往復伝播遅延時間は測定されているものとする。このような前提で，動画像送信装置３と動画像受信表示装置４は，次のように動作する。
【００６３】
動画像受信表示装置４において，予測位置動画像データ受信部４０５は，動画像データを受信して復号して，復号画像と光線位置情報を予測位置動画像データ蓄積メモリ４０７に蓄積する。表示光線位置指定部４１７は，表示する光線位置を指定して，光線位置を光線位置記録メモリ４１４に蓄積する。
【００６４】
表示判定部４０９は，表示する光線位置に関して式（４）で計算される評価値Ｅl が最も小さい光線位置を，予測位置動画像データ蓄積メモリ４０７に蓄積されている光線位置情報のうちから判定する。画像表示部４１３は，判定された光線位置の画像情報を表示する。
【００６５】
予測光線位置決定部４１５は，光線位置記録メモリ４１４に蓄積されている過去の光線位置情報と，表示光線位置指定部４１７で指定される光線位置とから，平均予測光線位置を決定する。平均予測光線位置送信部４１６は，平均予測光線位置情報を送信する。
【００６６】
動画像送信装置３において，平均予測光線位置受信部３１３は，平均予測光線位置情報を受信する。予測光線探索範囲指定部３１０は，光線位置の探索範囲を指定する。光線位置動画像探索部３１１は，指定された範囲内の光線位置を光線位置情報蓄積メモリ３１２から探索する。動画像データ送信部３０９は，探索して得られたカメラ位置に対応した，複数の動画像データを動画像データ蓄積メモリ３０３から読み出して，動画像データとカメラ位置情報を送信する。
【００６７】
以上の手順を繰り返し実行する。これにより，ユーザが視点位置や視線方向を変えた場合に，対応した画像情報をユーザに表示することが可能となる。
【００６８】
動画像送信装置３は，さらに現在表示している画像の光線位置を示す現在光線位置情報を受信する現在光線位置受信部（図４の現在カメラ位置受信部１０５に相当）を備えてもよい。この場合，動画像受信表示装置４は，現在表示している画像の光線位置を示す現在光線位置情報を送信する現在光線位置送信部（図５の現在カメラ位置送信部２０１に相当）を備える。
【００６９】
また，動画像送信装置３は，さらに誤差予測光線位置情報を受信する誤差予測光線位置受信部（図４の誤差予測カメラ位置受信部１０８に相当）を備えてもよい。この場合，動画像受信表示装置４は，誤差予測光線位置情報を送信する誤差予測光線位置送信部（図５の誤差予測カメラ位置送信部２０４に相当）を備える。
【００７０】
以上説明した動画像送信装置１，３および動画像受信表示装置２，４が行う処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。
【図面の簡単な説明】
【００７１】
【図１】動画像の予測関係の例を示す図である。
【図２】平均予測カメラ位置の決定方法の例を示す図である。
【図３】平均予測カメラ位置と誤差予測カメラ位置の決定方法の例を示す図である。
【図４】動画像送信装置の構成の一例を示す図である。
【図５】動画像受信表示装置の構成の一例を示す図である。
【図６】予測カメラ位置の決定方法の例を示す図である。
【図７】動画像送信装置の構成の一例を示す図である。
【図８】動画像受信表示装置の構成の一例を示す図である。
【図９】予測光線位置の決定方法の例を示す図である。
【符号の説明】
【００７２】
１，３  動画像送信装置
２，４  動画像受信表示装置
５  通信路
１０１  カメラ位置動画像探索部
１０２  カメラ位置情報蓄積メモリ
１０３  動画像データ蓄積メモリ
１０４  予測カメラ位置決定部
１０５  現在カメラ位置受信部
１０６  静止位置動画像データ送信部
１０７  平均予測カメラ位置受信部
１０８  誤差予測カメラ位置受信部
１０９，３０９  動画像データ送信部
２０１  現在カメラ位置送信部
２０２  静止位置動画像データ受信部
２０３  平均予測カメラ位置送信部
２０４  誤差予測カメラ位置送信部
２０５，４０５  予測位置動画像データ受信部
２０６  静止位置動画像データ蓄積メモリ
２０７，４０７  予測位置動画像データ蓄積メモリ
２０８  予測カメラ位置決定部
２０９，４０９  表示判定部
２１０  表示カメラ位置指定部
２１１  カメラ位置記録メモリ
２１２，４１２  遅延設定部
２１３，４１３  画像表示部
３１０  予測光線探索範囲指定部
３１１  光線位置動画像探索部
３１２  光線位置情報蓄積メモリ
３１３  平均予測光線位置受信部
４１４  光線位置記録メモリ
４１５  予測光線位置決定部
４１６  平均予測光線位置送信部
４１７  表示光線位置指定部
【図１】
2005303769.tif 000003
【図２】
2005303769.tif 000004
【図３】
2005303769.tif 000005
【図４】
2005303769.tif 000006
【図５】
2005303769.tif 000007
【図６】
2005303769.tif 000008
【図７】
2005303769.tif 000009
【図８】
2005303769.tif 000010
【図９】
2005303769.tif 000011