(57)【要約】      （修正有）【課題】ウォークスルーする様子を記録したビデオ映像を再生することで利用者に対して空間内の移動を提示し、自由にかつ滑らかに視線移動を行い視野の変更ができるビデオ映像提示システムを提供する。【解決手段】ビデオ映像送出装置３からビデオ映像提示装置１に対しビデオ映像を送出し、ビデオ映像提示装置１によりビデオ映像を提示するビデオ映像提示システムにおいて、ビデオ映像送出装置３が、ビデオ映像提示装置１から通知されるビデオ映像を見る利用者の視線方向の指定に基づいて、ビデオ映像中の視線方向に対応する切り出し範囲を算出し、ビデオ映像を切り出し範囲で切り出して新たなビデオ映像としてビデオ映像提示装置１に送出し、ビデオ映像提示装置１が送出されたビデオ映像を受信して提示することを特徴とするビデオ映像提示システム。【選択図】図１
2006081205.tif 000002
【特許請求の範囲】
【請求項１】
撮影したビデオ映像を提示するビデオ映像提示システムにおいて、前記ビデオ映像を見る利用者の視線方向の指定を受け付け、前記ビデオ映像中の、前記視線方向に対応する切り出し範囲を算出し、前記ビデオ映像を前記算出した切り出し範囲に基づいて切り出し、新たなビデオ映像として提示することを特徴とするビデオ映像提示システム。
【請求項２】
前記ビデオ映像を提示するビデオ映像提示装置と、前記ビデオ映像を切り出して、前記ビデオ映像提示装置に対して新たなビデオ映像を送出するビデオ映像送出装置を備えることを特徴とする請求項１に記載のビデオ映像提示システム。
【請求項３】
前記ビデオ映像送出装置が、前記ビデオ映像提示装置から通知された前記利用者の視線方向に対応する前記ビデオ映像中の前記切り出し範囲を算出し、前記ビデオ映像を前記算出した切り出し範囲に基づいて切り出し、新たなビデオ映像として前記ビデオ映像提示装置に送出することを特徴とする請求項２に記載のビデオ映像提示システム。
【請求項４】
前記ビデオ映像提示装置が、前記利用者の視線方向に対応する前記ビデオ映像中の前記切り出し範囲を算出し、前記ビデオ映像送出装置からの前記ビデオ映像から、前記切り出し範囲に基づいて新たなビデオ画像を切り出して提示することを特徴とする請求項２に記載のビデオ映像提示システム。
【請求項５】
前記ビデオ映像送出装置が、前記ビデオ映像提示装置から通知された前記利用者の視線方向に対応する前記ビデオ映像中の切り出し範囲を算出し、前記ビデオ映像の画面を定められたサイズ毎に分割した各ブロックの内で、前記ビデオ映像中の前記切り出し範囲を含む範囲の各前記ブロックの領域を新たなビデオ映像として切り出して前記ビデオ映像提示装置に送出することを特徴とする請求項２に記載のビデオ映像提示システム。
【請求項６】
前記ビデオ映像提示装置が、前記利用者の視線方向に対応する前記ビデオ映像中の第１の切り出し範囲を算出し、前記ビデオ映像送出装置が、前記第１の切り出し範囲に基づいて、前記第１の切り出し範囲より大きい範囲の第２の切り出し範囲を算出し、前記第２の切り出し範囲に基づいて、前記ビデオ映像を切り出し、新たなビデオ映像として前記ビデオ映像提示装置に送出し、前記新たなビデオ画像を受けた前記ビデオ映像提示装置が、前記新たなビデオ画像を前記第１の切り出し範囲に基づいて切り出して提示することを特徴とする請求項２に記載のビデオ映像提示システム。
【請求項７】
前記ビデオ映像提示装置が、前記第２の切り出し範囲を前記画像送出装置から受け取り、前記第１の切り出し範囲と前記第２の切り出し範囲を比較することにより、前記第１の切り出し範囲が前記第２の切り出し範囲に含まれる場合に、前記新たなビデオ画像を前記第１の切り出し範囲に基づいて切り出し、前記第１の切り出し範囲が前記第２の切り出し範囲に含まれない場合には、前記第２の切り出し範囲内に含まれるように前記第１の切り出し範囲を変更し、前記新たなビデオ画像を変更した第１の切り出し範囲に基づいて切り出すことを特徴とする請求項６に記載のビデオ映像提示システム。
【請求項８】
前記ビデオ映像送出装置が、前記ビデオ映像の送出先の前記ビデオ映像提示装置の台数に基づいて、前記ビデオ映像提示装置に送出する前記ビデオ映像の画像のサイズを所定の拡大率に変更することにより、前記ビデオ映像送出装置と前記ビデオ映像提示装置との間の通信帯域以下に、前記ビデオ映像の通信量を抑制することを特徴とする請求項１から請求項７のいずれか１つに記載のビデオ映像提示システム。
【請求項９】
前記ビデオ映像送出装置が、前記ビデオ映像提示装置に送出する前記ビデオ映像の画像のサイズを、前記ビデオ映像提示装置からの指示に基づいて所定の拡大率に変更することにより、前記ビデオ映像送出装置と前記ビデオ映像提示装置との間の通信帯域以下に、前記ビデオ映像の通信量を抑制することを特徴とする請求項１から請求項７のいずれか１つに記載のビデオ映像提示システム。
【請求項１０】
前記ビデオ映像提示装置が、前記ビデオ映像送出装置に対し、当該ビデオ映像送出装置が送出する前記ビデオ映像の画像のサイズを、前記ビデオ映像の受信状態に基づいて指示することを特徴とする請求項９に記載のビデオ映像提示システム。
【請求項１１】
前記ビデオ映像提示装置が、前記ビデオ映像送出装置に対し、当該ビデオ映像送出装置が送出する前記ビデオ映像の画像のサイズを、受信した前記ビデオ映像の処理状況に基づいて指定することを特徴とする請求項９に記載のビデオ映像提示システム。
【請求項１２】
前記ビデオ映像提示装置から前記ビデオ映像提示装置に、ネットワークを介して前記ビデオ映像を送出することを特徴とする請求項１から請求項１１のいずれか１つに記載のビデオ映像提示システム。
【請求項１３】
前記ビデオ映像提示装置が、送出する前記ビデオ映像を圧縮した上で送出し、前記ビデオ映像提示装置が、前記ビデオ映像提示装置から受信した前記圧縮されたビデオ映像を復号した上で提示することを特徴とする請求項１２に記載のビデオ映像提示システム。
【請求項１４】
前記ビデオ映像送出装置から同時に複数の切り出した前記ビデオ映像を受信し、各前記ビデオ映像を選択的に切り替えて前記ビデオ映像提示装置に対し、当該ビデオ映像提示装置との間のコネクションを変更することなく送信する切り替え装置を備えることを特徴とする請求項１２又は請求項１３に記載のビデオ映像提示システム。
【請求項１５】
前記ビデオ映像が、街路や建物内を移動する様子を記録したウォークスルー映像であることを特徴とする請求項１から請求項１４のいずれか１つに記載のビデオ映像提示システム。
【請求項１６】
前記ビデオ映像が、前記利用者が視線移動する範囲の映像を含む広視野ビデオ映像であることを特徴とする請求項１５に記載のビデオ映像提示システム。
【請求項１７】
ビデオ映像提示装置に対してビデオ映像を送出するビデオ映像送出装置において、前記ビデオ映像提示装置から通知された前記ビデオ映像を見る利用者の視線方向に対応する前記ビデオ映像中の切り出し範囲を算出する手段と、前記ビデオ映像の前記切り出し範囲を新たなビデオ映像として切り出して前記ビデオ映像提示装置に送出する切り出し手段を備えることを特徴とするビデオ映像送出装置。
【請求項１８】
前記ビデオ映像の画面を定められたサイズ毎に分割した各ブロックの内で、前記ビデオ映像中の前記利用者の視線方向に対応して算出した前記切り出し範囲を含む範囲の各前記ブロックの領域を新たなビデオ映像として切り出して前記ビデオ映像提示装置に送出する手段を備えることを特徴とする請求項１７に記載のビデオ映像送出装置。
【請求項１９】
前記ビデオ映像の送出先の前記ビデオ映像提示装置の台数に基づいて、前記ビデオ映像提示装置に送出する前記ビデオ映像の画像のサイズを所定の拡大率に変更する手段を備えることにより、前記ビデオ映像提示装置との間の通信帯域以下に、前記ビデオ映像の通信量を抑制することを特徴とする請求項１７又は請求項１８に記載のビデオ映像送出装置。
【請求項２０】
前記ビデオ映像提示装置に送出する前記ビデオ映像の画像のサイズを、前記ビデオ映像提示装置からの指示に基づいて所定の拡大率に変更する手段を備えることにより、前記ビデオ映像提示装置との間の通信帯域以下に、前記ビデオ映像の通信量を抑制することを特徴とする請求項１７又は請求項１８に記載のビデオ映像送出装置。
【請求項２１】
前記ビデオ映像を圧縮した上で送出する手段を備えることを特徴とする請求項１７から請求項２０のいずれか１つに記載のビデオ映像送出装置。
【請求項２２】
前記ビデオ映像提示装置に対し、ネットワークを介して前記ビデオ映像を送出することを特徴とする請求項１７から請求項２１のいずれか１つに記載のビデオ映像送出装置。
【請求項２３】
ビデオ映像送出装置から送出されるビデオ映像を提示するビデオ映像提示装置において、前記ビデオ映像を見る利用者の視線方向の指定を前記ビデオ映像送出装置に指示する手段を備え、前記ビデオ映像送出装置にて前記視線方向に対応した切り出し範囲で前記ビデオ映像から切り出された新たなビデオ映像を受信して提示することを特徴とするビデオ映像提示装置。
【請求項２４】
前記利用者の視線方向に対応する前記ビデオ映像中の第１の切り出し範囲を算出する手段と、前記第１の切り出し範囲に基づいて、前記ビデオ映像送出装置で算出された前記第１の切り出し範囲より大きい範囲の第２の切り出し範囲で切り出された新たなビデオ映像を受け取り、前記新たなビデオ画像を前記第１の切り出し範囲に基づいて切り出して提示する切り出し手段を備えることを特徴とする請求項２３に記載のビデオ映像提示装置。
【請求項２５】
前記切り出し手段は、前記第１の切り出し範囲を前記画像送出装置から受け取り、前記第１の切り出し範囲と前記第２の切り出し範囲を比較することにより、前記第１の切り出し範囲が前記第２の切り出し範囲に含まれる場合に、前記新たなビデオ画像を前記第１の切り出し範囲に基づいて切り出し、前記第１の切り出し範囲が前記第２の切り出し範囲に含まれない場合には、前記第２の切り出し範囲内に含まれるように前記第１の切り出し範囲を変更し、前記新たなビデオ画像を変更した第１の切り出し範囲に基づいて切り出すことを特徴とする請求項２４に記載のビデオ映像提示装置。
【請求項２６】
前記ビデオ映像送出装置に対し、前記ビデオ映像の画像のサイズを、前記ビデオ映像の受信状態に基づいて所定の拡大率に変更する指示を行なう手段を備えることを特徴とする請求項２４または請求項２５に記載のビデオ映像提示装置。
【請求項２７】
前記ビデオ映像送出装置に対し、前記ビデオ映像の画像のサイズを、受信した前記ビデオ映像の処理状況に基づいて所定の拡大率に変更する指示を行なう手段を備えることを特徴とする請求項２４または請求項２５に記載のビデオ映像提示装置。
【請求項２８】
前記ビデオ映像送出装置から、ネットワークを介して前記ビデオ映像を受信することを特徴とする請求項２３から請求項２７のいずれか１つに記載のビデオ映像提示装置。
【請求項２９】
前記ビデオ映像送出装置から同時に複数の前記ビデオ映像を受信し、各前記ビデオ映像を選択的に切り替えて提示する手段を備えることを特徴とする請求項２８に記載のビデオ映像提示装置。
【請求項３０】
前記ビデオ映像送出装置から圧縮されて送出された前記ビデオ映像を、復号した上で提示することを特徴とする請求項２３から請求項２９のいずれか１つに記載のビデオ映像提示装置。
【請求項３１】
コンピュータを制御することにより、ビデオ映像送出装置からビデオ映像提示装置に対してビデオ映像を送出するビデオ映像処理プログラムにおいて、前記ビデオ映像提示装置から通知された前記ビデオ映像を見る利用者の視線方向に対応する前記ビデオ映像中の切り出し範囲を算出する機能と、前記ビデオ映像を前記算出した切り出し範囲に基づいて切り出し、新たなビデオ映像として前記ビデオ映像提示装置に提示する機能を備えることを特徴とするビデオ映像処理プログラム。
【請求項３２】
コンピュータを制御することにより、ビデオ映像送出装置からビデオ映像提示装置に対してビデオ映像を送出して提示するビデオ映像処理プログラムにおいて、前記ビデオ映像を見る利用者の視線方向の指定を前記ビデオ映像送出装置に指示する機能を備え、前記ビデオ映像送出装置にて前記視線方向に対応した切り出し範囲で前記ビデオ映像から切り出された新たなビデオ映像を受信して提示する機能を備えることを特徴とするビデオ映像処理プログラム。
【請求項３３】
前記利用者の視線方向に対応する前記ビデオ映像中の第１の切り出し範囲を算出する機能と、前記第１の切り出し範囲に基づいて、前記ビデオ映像送出装置で算出された前記第１の切り出し範囲より大きい範囲の第２の切り出し範囲で切り出された新たなビデオ映像を受け取り、前記新たなビデオ画像を前記第１の切り出し範囲に基づいて切り出して提示する機能を備えることを特徴とする請求項３２に記載のビデオ映像処理プログラム。
【請求項３４】
前記切り出し機能は、前記第１の切り出し範囲を前記画像送出装置から受け取り、前記第１の切り出し範囲と前記第２の切り出し範囲を比較することにより、前記第１の切り出し範囲が前記第２の切り出し範囲に含まれる場合に、前記新たなビデオ画像を前記第１の切り出し範囲に基づいて切り出し、前記第１の切り出し範囲が前記第２の切り出し範囲に含まれない場合には、前記第２の切り出し範囲内に含まれるように前記第１の切り出し範囲を変更し、前記新たなビデオ画像を変更した第１の切り出し範囲に基づいて切り出すことを特徴とする請求項３３に記載のビデオ映像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ映像提示システムに関し、特に蓄積されたビデオ映像を提示する場合でも利用者の視野変更要求に応じることが可能なビデオ映像提示システム、ビデオ映像送出装置、ビデオ映像提示装置、ビデオ映像処理プログラムに関する。
【背景技術】
【０００２】
従来より、街路や建物内に移動経路を設定し、その経路上を移動する様子を、人間が歩行しながら観測した場合や、自動車で移動しながら観測した場合と同じように連続的にビデオ映像に記録しておき、再生にあたっては、記録したビデオ映像の中から利用者の位置に応じたビデオ映像を再生し、あたかも人間が歩行して観測した場合や、自動車で移動した場合と同じような映像を提供するビデオ映像提示装置が知られている。
【０００３】
以下、街路や建物内を移動する様子を記録したビデオ映像を、ウォークスルー映像と呼ぶ。
【０００４】
ウォークスルー映像を提供するビデオ映像提示装置の一例として、「NTT R&D、Vol.49、No.1 PP.25〜30、2000年発行」では、実際の街路や建物内を移動するウォークスルー映像を提供するビデオ映像提示装置の一例が報告されており、また特開平１０−２１４０６９号公報には、３次元コンピュータグラフィックス技術を用いて構築した仮想空間を移動するウォークスルー映像を提供するビデオ映像提示装置の一例が報告されている。
【０００５】
更に、これらビデオ映像提示装置は、ＶＯＤ（Video On Demand：ビデオオンデマンド）システムを利用することで、利用者にネットワーク越しにウォークスルー映像を提供することができる。
【０００６】
ＶＯＤシステムとは、サーバマシンとクライアントマシンがネットワークで結ばれた環境において、サーバマシン内にビデオ映像を格納しておき、クライントマシンからの要求に従ってサーバマシン内に格納したビデオ映像をネットワーク経由で配信し、クライアントマシンでビデオ映像を提示するシステムであり、例えば「ＮＥＣ技報、Vol.51、No.8、（1998年8月）」等に開示されている。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、上述した従来の技術では、以下に述べるような問題点があった。
【０００８】
第１に、利用者が経路上を移動するウォークスルー映像の提示を受けている際に、視線方向を上下左右に自由に動かして視野を変更することができないという問題点があった。
【０００９】
これは、予めビデオ映像を記録し、それを再生することで利用者にウォークスルー映像を提示するというシステムの特性に起因する問題点である。
【００１０】
視線方向に自由度を持たせるために、同一経路上を移動する際に様々な方向を観測したビデオ映像を記録しておき、ウォークスルー映像を提示する際には、利用者の要求に従って再生するビデオ映像を切り替えるという方法も考えられる。
【００１１】
しかし、例えば水平方向に１８０度視線方向を移動する場合に１度刻みでの視線移動を実現するためには、１８０個のビデオ映像を準備しなければならないため、ビデオ映像を記録する工数や、ビデオ映像の格納場所などを考えると実現は事実上困難であるといえる。
【００１２】
第２に、例えば、複数の経路を移動する様子をその経路毎に分割してビデオ映像として格納し、利用者の経路選択操作に応じてビデオ映像を切り替えて、ウォークスルー映像を提示するという様に、複数のビデオ映像を組み合わせて利用者に対してサービスを行う場合において、ビデオ映像を切り替える際に、その繋ぎ目で映像が一時停止してしまい、利用者に不自然な印象を与えてしまうという問題点があった。
【００１３】
これは、ビデオ映像を表示開始するまでに、まずビデオ映像の所在を確認し、ビデオ映像を読み込んだ上で、再生を開始する必要があるためである。特に、サーバマシン上に格納したビデオ映像に対して、ストリーミングビデオの形態でネットワークを介してビデオ映像を取得し表示する場合に顕著となる。
【００１４】
これは、ストリーミングビデオ方式においては、一般に１つのビデオ再生について１つの仮想コネクションをサーバとクライアントとの間で確立する必要があるためで、ビデオ映像を切り替える際には、コネクションの廃棄、確立のオーバーヘッドを生じる事、更にストリーミングビデオ方式では、ネットワークの通信状況が変化した場合にも円滑な再生を維持するために５秒程度のバッファリング処理が行われるので、ビデオ映像切り替え時に新たにビデオ再生を開始したとしても実際の再生開始までにはバッファリング時間が経過するのを待つ必要があることに起因している。
【００１５】
本発明の第１の目的は、上記従来技術の欠点を解決し、自由に、かつ滑らかに視線移動を行うことが可能なビデオ映像提示システム、ビデオ映像送出装置、ビデオ映像提示装置、ビデオ映像処理プログラムを提供することにある。
【００１６】
本発明の第２の目的は、上記従来技術の欠点を解決し、特にネットワークを介した場合に顕著になるこれらの問題を解決し、複数のビデオ映像を切り替える際に、利用者にビデオ映像間の繋ぎ目を意識させることなく円滑にビデオ映像を表示可能なビデオ映像提示システム、ビデオ映像送出装置、ビデオ映像提示装置、ビデオ映像処理プログラムを提供することにある。
【課題を解決するための手段】
【００１７】
上記目的を達成するため本発明は、撮影したビデオ映像を提示するビデオ映像提示システムにおいて、前記ビデオ映像を見る利用者の視線方向の指定を受け付け、前記ビデオ映像中の、前記視線方向に対応する切り出し範囲を算出し、前記ビデオ映像を前記算出した切り出し範囲に基づいて切り出し、新たなビデオ映像として提示することを特徴とする。
【００１８】
請求項２の本発明のビデオ映像提示システムは、前記ビデオ映像を提示する映像提示装置と、前記ビデオ映像を切り出して、前記映像提示装置に対して新たなビデオ映像を送出するビデオ映像送出装置を備えることを特徴とする。
【００１９】
請求項３の本発明のビデオ映像提示システムは、前記ビデオ映像送出装置が、前記映像提示装置から通知された前記利用者の視線方向に対応する前記ビデオ映像中の前記切り出し範囲を算出し、前記ビデオ映像を前記算出した切り出し範囲に基づいて切り出し、新たなビデオ映像として前記映像提示装置に送出することを特徴とする。
【００２０】
請求項４の本発明のビデオ映像提示システムは、前記映像提示装置が、前記利用者の視線方向に対応する前記ビデオ映像中の前記切り出し範囲を算出し、前記ビデオ映像送出装置からの前記ビデオ映像から、前記切り出し範囲に基づいて新たなビデオ画像を切り出して提示することを特徴とする。
【００２１】
請求項５の本発明のビデオ映像提示システムは、前記ビデオ映像送出装置が、前記映像提示装置から通知された前記利用者の視線方向に対応する前記ビデオ映像中の切り出し範囲を算出し、前記ビデオ映像の画面を定められたサイズ毎に分割した各ブロックの内で、前記ビデオ映像中の前記切り出し範囲を含む範囲の各前記ブロックの領域を新たなビデオ映像として切り出して前記映像提示装置に送出することを特徴とする。
【００２２】
請求項６の本発明のビデオ映像提示システムは、前記映像提示装置が、前記利用者の視線方向に対応する前記ビデオ映像中の第１の切り出し範囲を算出し、前記映像送出装置が、前記第１の切り出し範囲に基づいて、前記第１の切り出し範囲より大きい範囲の第２の切り出し範囲を算出し、前記第２の切り出し範囲に基づいて、前記ビデオ映像を切り出し、新たなビデオ映像として前記映像提示装置に送出し、前記新たなビデオ画像を受けた前記映像提示装置が、前記新たなビデオ画像を前記第１の切り出し範囲に基づいて切り出して提示することを特徴とする。
【００２３】
請求項７の本発明のビデオ映像提示システムは、前記映像提示装置が、前記第２の切り出し範囲を前記画像送出装置から受け取り、前記第１の切り出し範囲と前記第２の切り出し範囲を比較することにより、前記第１の切り出し範囲が前記第２の切り出し範囲に含まれる場合に、前記新たなビデオ画像を前記第１の切り出し範囲に基づいて切り出し、前記第１の切り出し範囲が前記第２の切り出し範囲に含まれない場合には、前記第２の切り出し範囲内に含まれるように前記第１の切り出し範囲を変更し、前記新たなビデオ画像を変更した第１の切り出し範囲に基づいて切り出すことを特徴とする。
【００２４】
請求項８の本発明のビデオ映像提示システムは、前記ビデオ映像送出装置が、前記ビデオ映像の送出先の前記映像提示装置の台数に基づいて、前記映像提示装置に送出する前記ビデオ映像の画像のサイズを所定の拡大率に変更することにより、前記ビデオ映像送出装置と前記映像提示装置との間の通信帯域以下に、前記ビデオ映像の通信量を抑制することを特徴とする。
【００２５】
請求項９の本発明のビデオ映像提示システムは、前記ビデオ映像送出装置が、前記映像提示装置に送出する前記ビデオ映像の画像のサイズを、前記映像提示装置からの指示に基づいて所定の拡大率に変更することにより、前記ビデオ映像送出装置と前記映像提示装置との間の通信帯域以下に、前記ビデオ映像の通信量を抑制することを特徴とする。
【００２６】
請求項１０の本発明のビデオ映像提示システムは、前記映像提示装置が、前記ビデオ映像送出装置に対し、当該ビデオ映像送出装置が送出する前記ビデオ映像の画像のサイズを、前記ビデオ映像の受信状態に基づいて指示することを特徴とする。
【００２７】
請求項１１の本発明のビデオ映像提示システムは、前記映像提示装置が、前記ビデオ映像送出装置に対し、当該ビデオ映像送出装置が送出する前記ビデオ映像の画像のサイズを、受信した前記ビデオ映像の処理状況に基づいて指定することを特徴とする。
【００２８】
請求項１２の本発明のビデオ映像提示システムは、前記映像提示装置から前記映像提示装置に、ネットワークを介して前記ビデオ映像を送出することを特徴とする。
【００２９】
請求項１３の本発明のビデオ映像提示システムは、前記映像提示装置が、送出する前記ビデオ映像を圧縮した上で送出し、前記映像提示装置が、前記映像提示装置から受信した前記圧縮されたビデオ映像を復号した上で提示することを特徴とする。
【００３０】
請求項１４の本発明のビデオ映像提示システムは、前記映像送出装置から同時に複数の切り出した前記ビデオ映像を受信し、各前記ビデオ映像を選択的に切り替えて前記映像提示装置に対し、当該映像提示装置との間のコネクションを変更することなく送信する切り替え装置を備えることを特徴とする。
【００３１】
請求項１５の本発明のビデオ映像提示システムは、前記ビデオ映像が、街路や建物内を移動する様子を記録したウォークスルー映像であることを特徴とする。
【００３２】
請求項１６の本発明のビデオ映像提示システムは、前記ビデオ映像が、前記利用者が視線移動する範囲の映像を含む広視野ビデオ映像であることを特徴とする。
【００３３】
請求項１７の本発明は、映像提示装置に対してビデオ映像を送出するビデオ映像送出装置において、前記映像提示装置から通知された前記ビデオ映像を見る利用者の視線方向に対応する前記ビデオ映像中の切り出し範囲を算出する手段と、前記ビデオ映像の前記切り出し範囲を新たなビデオ映像として切り出して前記映像提示装置に送出する切り出し手段を備えることを特徴とする。
【００３４】
請求項１８の本発明のビデオ映像送出装置は、前記ビデオ映像の画面を定められたサイズ毎に分割した各ブロックの内で、前記ビデオ映像中の前記利用者の視線方向に対応して算出した前記切り出し範囲を含む範囲の各前記ブロックの領域を新たなビデオ映像として切り出して前記映像提示装置に送出する手段を備えることを特徴とする。
【００３５】
請求項１９の本発明のビデオ映像送出装置は、前記ビデオ映像の送出先の前記映像提示装置の台数に基づいて、前記映像提示装置に送出する前記ビデオ映像の画像のサイズを所定の拡大率に変更する手段を備えることにより、前記映像提示装置との間の通信帯域以下に、前記ビデオ映像の通信量を抑制することを特徴とする。
【００３６】
請求項２０の本発明のビデオ映像送出装置は、前記映像提示装置に送出する前記ビデオ映像の画像のサイズを、前記映像提示装置からの指示に基づいて所定の拡大率に変更する手段を備えることにより、前記映像提示装置との間の通信帯域以下に、前記ビデオ映像の通信量を抑制することを特徴とする。
【００３７】
請求項２１の本発明のビデオ映像送出装置は、前記ビデオ映像を圧縮した上で送出する手段を備えることを特徴とする。
【００３８】
請求項２２の本発明のビデオ映像送出装置は、前記映像提示装置に対し、ネットワークを介して前記ビデオ映像を送出することを特徴とする。
【００３９】
請求項２３の本発明は、ビデオ映像送出装置から送出されるビデオ映像を提示する映像提示装置において、前記ビデオ映像を見る利用者の視線方向の指定を前記ビデオ映像送出装置に指示する手段を備え、前記ビデオ映像送出装置にて前記視線方向に対応した切り出し範囲で前記ビデオ映像から切り出された新たなビデオ映像を受信して提示することを特徴とする。
【００４０】
請求項２４の本発明の映像提示装置は、前記利用者の視線方向に対応する前記ビデオ映像中の第１の切り出し範囲を算出する手段と、前記第１の切り出し範囲に基づいて、前記映像送出装置で算出された前記第１の切り出し範囲より大きい範囲の第２の切り出し範囲で切り出された新たなビデオ映像を受け取り、前記新たなビデオ画像を前記第１の切り出し範囲に基づいて切り出して提示する切り出し手段を備えることを特徴とする。
【００４１】
請求項２５の本発明の映像提示装置は、前記切り出し手段が、記第１の切り出し範囲を前記画像送出装置から受け取り、前記第１の切り出し範囲と前記第２の切り出し範囲を比較することにより、前記第１の切り出し範囲が前記第２の切り出し範囲に含まれる場合に、前記新たなビデオ画像を前記第１の切り出し範囲に基づいて切り出し、前記第１の切り出し範囲が前記第２の切り出し範囲に含まれない場合には、前記第２の切り出し範囲内に含まれるように前記第１の切り出し範囲を変更し、前記新たなビデオ画像を変更した第１の切り出し範囲に基づいて切り出すことを特徴とする。
【００４２】
請求項２６の本発明の映像提示装置は、前記ビデオ映像送出装置に対し、前記ビデオ映像の画像のサイズを、前記ビデオ映像の受信状態に基づいて所定の拡大率に変更する指示を行なう手段を備えることを特徴とする。
【００４３】
請求項２７の本発明の映像提示装置は、前記ビデオ映像送出装置に対し、前記ビデオ映像の画像のサイズを、受信した前記ビデオ映像の処理状況に基づいて所定の拡大率に変更する指示を行なう手段を備えることを特徴とする。
【００４４】
請求項２８の本発明の映像提示装置は、前記ビデオ映像送出装置から、ネットワークを介して前記ビデオ映像を受信することを特徴とする。
【００４５】
請求項２９の本発明の映像提示装置は、前記ビデオ映像送出装置から同時に複数の前記ビデオ映像を受信し、各前記ビデオ映像を選択的に切り替えて提示する手段を備えることを特徴とする。
【００４６】
請求項３０の本発明の映像提示装置は、前記ビデオ映像送出装置から圧縮されて送出された前記ビデオ映像を、復号した上で提示することを特徴とする。
【００４７】
請求項３１の本発明は、コンピュータを制御することにより、映像送出装置から映像提示装置に対してビデオ映像を送出する映像処理プログラムにおいて、前記映像提示装置から通知された前記ビデオ映像を見る利用者の視線方向に対応する前記ビデオ映像中の切り出し範囲を算出する機能と、前記ビデオ映像を前記算出した切り出し範囲に基づいて切り出し、新たなビデオ映像として前記映像提示装置に提示する機能を備えることを特徴とする。
【００４８】
請求項３２の本発明は、コンピュータを制御することにより、映像送出装置から映像提示装置に対してビデオ映像を送出して提示する映像処理プログラムにおいて、前記ビデオ映像を見る利用者の視線方向の指定を前記ビデオ映像送出装置に指示する機能を備え、前記ビデオ映像送出装置にて前記視線方向に対応した切り出し範囲で前記ビデオ映像から切り出された新たなビデオ映像を受信して提示する機能を備えることを特徴とする。
【００４９】
請求項３３の本発明の映像処理プログラムは、前記利用者の視線方向に対応する前記ビデオ映像中の第１の切り出し範囲を算出する機能と、前記第１の切り出し範囲に基づいて、前記映像送出装置で算出された前記第１の切り出し範囲より大きい範囲の第２の切り出し範囲で切り出された新たなビデオ映像を受け取り、前記新たなビデオ画像を前記第１の切り出し範囲に基づいて切り出して提示する機能を備えることを特徴とする。
【００５０】
請求項３４の本発明の映像処理プログラムは、前記切り出し機能は、前記第１の切り出し範囲を前記画像送出装置から受け取り、前記第１の切り出し範囲と前記第２の切り出し範囲を比較することにより、前記第１の切り出し範囲が前記第２の切り出し範囲に含まれる場合に、前記新たなビデオ画像を前記第１の切り出し範囲に基づいて切り出し、前記第１の切り出し範囲が前記第２の切り出し範囲に含まれない場合には、前記第２の切り出し範囲内に含まれるように前記第１の切り出し範囲を変更し、前記新たなビデオ画像を変更した第１の切り出し範囲に基づいて切り出すことを特徴とする。
【００５１】
本発明では、ビデオ映像を見る利用者の視線方向の指定に基づいて、前記ビデオ映像から前記視線方向に対応する領域を切り出して提示することにより、視線方向の上下左右への連続的な変更と、その変更に応じたビデオ映像の切り替えができる。
【００５２】
また本発明では、ビデオ映像送出装置において前記ビデオ映像から前記視線方向に対応する領域をブロック単位に大まかに切り出して、前記大まかに切り出されたビデオ映像を映像提示装置が受信して、精密な視線方向に対応する範囲を切り出して表示することができる。
【００５３】
また本発明では、ビデオ映像送出装置と映像提示装置との間のネットワーク帯域に基づいて、ビデオ映像の画像のサイズを制御して配信することができる。
【００５４】
また本発明では、ネットワーク状況の変動により生じたビデオ映像の送信の遅延やそのフレーム欠損などを検知した場合に、それらの状況を緩和するためにビデオ映像送出装置が送出するビデオ映像の画像のサイズを制御することにより、ＱｏＳ制御を実現することができる。
【００５５】
また本発明では、１つのコネクションにおいてビデオ映像の切り換えを行うことにより、円滑な映像切り換えを実現できる。
【発明の効果】
【００５６】
以上説明したように本発明によれば、以下のような効果が達成される。
【００５７】
第１に、３次元コンピュータグラフィックス技術を用いて構築した仮想空間内をウォークスルーする様子を記録したビデオ映像、あるいは実際の街路をウォークスルーする様子を記録したビデオ映像を再生することで、利用者に対して空間内の移動を提示するシステムにおいて、利用者の自由な、かつ滑らかな視線移動を実現することができる。
【００５８】
第２に、複数のビデオ映像を組み合わせて利用者に対して空間内の移動を提示するシステムにおいて、利用者にビデオ映像間の繋ぎ目を意識させることなく円滑にビデオ映像を表示することができる。つまり、ビデオ映像間の接続を滑らかにすることで、利用者の自然な空間移動を実現することができる。
【発明を実施するための最良の形態】
【００５９】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００６０】
図１は、本発明の第１の実施の形態によるビデオ映像提示システムの構成を示すブロック図である。
【００６１】
図１を参照すると、本実施の形態のビデオ映像提示システムは、ウォークスルー映像を利用者に提示するウォークスルー映像提示装置１（ウォークスルー映像提示クライアント）と、街路や建物内を移動する様子を連続的に記録したビデオ映像を格納するビデオ映像格納装置２と、ビデオ映像格納装置２に格納されているビデオ映像に処理を施し、ウォークスルー映像提示装置１で表示すべきビデオ映像を生成してウォークスルー映像提示装置１に送出するビデオ映像送出装置３（ビデオ映像送出サーバ）を備える。
【００６２】
ウォークスルー映像提示装置１とビデオ映像送出装置３は、図２に示すようにネットワーク１０を介して互いに接続されており、ビデオ映像送出装置３から送出されるウォークスルー映像を各ウォークスルー映像提示装置１で受信して再生する。
【００６３】
本実施の形態のウォークスルー映像提示装置１は、プログラム制御されるＣＰＵ等で実現され、利用者からの入力などに従って再生するビデオ映像を選択するビデオ映像選択部１１と、利用者からの入力などに従って観測する視線方向を決定する視線方向入力部１２と、ビデオ映像送出装置３から受信したビデオ映像をエンコード方式に合わせてデコードするビデオ映像デコード部１３と、ビデオ映像デコード部１３によってデコードされたビデオ映像を利用者に対して表示するビデオ映像表示部１４を備える。
【００６４】
本実施の形態のビデオ映像送出装置３は、プログラム制御されるＣＰＵ等で実現され、ウォークスルー映像提示装置１から受信したビデオ映像名を保持し、ビデオ映像格納装置２から該当するビデオ映像を連続的に読み出すビデオ映像読み出し部３１と、ウォークスルー映像提示装置１から受信した視線方向に従ってビデオ映像中のどの部位を切り出して表示するかを算出する切り出し部位算出部３２と、切り出し部位算出部３２で算出した切り出し部位情報Ｓ３を格納する切り出し部位格納部３３と、切り出し部位格納部３３に格納した切り出し部位に従ってビデオ映像読み出し部３１で読み出したビデオ映像からウォークスルー映像提示装置１で表示すべき部位の切り出しを行うブロック切り出し部３４を備える。
【００６５】
次に、本実施の形態によるビデオ映像提示システムの動作について説明する。
【００６６】
ビデオ映像格納装置２には、３次元コンピュータグラフィックス技術を用いて構築した仮想空間内をウォークスルーする様子を記録したビデオ映像、あるいは実際の街路をウォークスルーする様子を記録したビデオ映像が格納されている。なお、ビデオ映像格納装置２に格納されているビデオ映像は、利用者が視線方向を移動させる上下左右の範囲をも含めた広視野のビデオ映像とする。
【００６７】
まず、ウォークスルー映像表示の流れについてビデオ映像送出装置３の処理を示す図３のフローチャートを参照して説明する。
【００６８】
ビデオ映像選択部１１において、利用者からの指示入力などに従って再生すべきビデオ映像（ビデオ映像名）を決定する。ビデオ映像の決定に際しては、例えば、ビデオ映像名の一覧を提示し、その中からビデオ映像名を選択する決定方法や、ビデオ映像名のＵＲＬを直接指定する決定方法などの実施例が考えられるが、決定の方法は何れでもよい。ビデオ映像選択部１１で選択されたビデオ映像名は、ビデオ映像情報Ｓ１としてビデオ映像送出装置３へと伝えられる。
【００６９】
ビデオ映像送出装置３においては、送られてきたビデオ映像情報Ｓ１がビデオ映像読み出し部３１で保持され、このビデオ映像情報Ｓ１に従ってビデオ映像格納装置２に格納されているビデオ映像をフレーム毎に順次読み出すことにより（ステップ３０１）、ブロック切り出し部３４へと送る。
【００７０】
ウォークスルー映像提示装置１の視線方法入力部１２から利用者の視線方向が入力された場合（ステップ３０２）、入力された視線方向情報Ｓ２（すなわち、利用者の視線の向いている方向）と、ビデオ映像表示部１４から取得したビデオ映像表示領域の形状、サイズを示す表示領域情報Ｓ５とに基づいて、切り出し部位算出部３２により、ビデオ映像のどの部位を切り出してウォークスルー映像として表示するかを指定する切り出し部位情報Ｓ３が算出される（ステップ３０３）。
【００７１】
視線方向入力部１２には、利用者の視線の向いている方向（視線方向）が入力される。視線方向は、利用者がビデオ画像のどの部分を注視しているかを示す値で、その指定方法は何れでもよいが、ビデオ画像の中央からの差分値（横方向、縦方向のピクセル数）として指定する方法が一例として挙げられる。視線方向は、視線方向情報Ｓ２として視線方向入力部１２から切り出し部位算出部３２とへと送られる。
【００７２】
また、視線方向入力部１２としては、例えばウォークスルー映像提示装置１のビデオ映像表示部１４の表示画面上に利用者が操作して視線方向を入力する十字の方向指示キー等を表示することでも実現可能である。
【００７３】
一方、切り出し部位格納部３３には、切り出し部位算出部３２で算出された切り出し部位情報Ｓ３が格納される（ステップ３０４）。
【００７４】
また、視線方法入力部１２から視線方向が入力されない場合（初期状態または視線方向に変更がない場合）（ステップ３０２）、切り出し部位算出部３２において切り出し部位情報は算出されず、初期値として予め切り出し部位格納部３３に格納されている切り出し部位情報、または前回算出されて切り出し部位格納部３３に格納されている切り出し部位情報が、後述するブロック切り出し部３４に送られる。
【００７５】
なお、初期値として切り出し部位格納部３３に格納されている切り出し部位情報としては、例えばビデオ映像の予め決められた範囲（全体または一部）を示す情報とする。
【００７６】
切り出し部位格納部３３に格納する切り出し部位情報Ｓ３としては、切り出すべき部位のビデオ映像中での座標値（ピクセル値）や、切り出すべき部位のビデオ映像中での比率などが考えられるが、切り出し部位を特定できる情報であれば、その他の情報であってもよい。
【００７７】
ブロック切り出し部３４では、ビデオ映像読み出し部３１から送られてくるビデオ映像の各フレームに対して、切り出し部位格納部３３に格納されている切り出し部位情報Ｓ３に従って、表示すべきビデオ映像の切り出し処理を行う（ステップ３０５）。切り出したビデオ映像は、ウォークスルー映像として、ストリーミングビデオの形態でウォークスルー映像提示装置１へと送出される（ステップ３０６）。
【００７８】
ウォークスルー映像提示装置１では、送られてきたウォークスルー映像（ビデオ映像）のエンコード方式に応じて適宜デコードし、ビデオ映像表示部１４へと送る。ビデオ映像表示部１４では、利用者に対してビデオ映像の提示を行う。
【００７９】
図４と図５により、ビデオ映像格納装置２に格納されているビデオ映像と利用者が実際に提示されるウォークスルー映像との関係を示す。
【００８０】
図４に示すビデオ映像１０１は、ビデオ映像格納装置２に格納されているビデオ映像の一場面である。ビデオ映像送出装置３では、利用者の視線方向に従って切り出し範囲１０２（切り出し部位情報）を決定して、図５に示すようにビデオ映像１０３を切り出し、ウォークスルー映像提示装置１へと送る。ウォークウォークスルー映像提示装置１では、ビデオ映像１０３をウォークスルー映像として利用者に提示する。
【００８１】
ここで、ブロック切り出し部３４におけるビデオ映像の切り出し方法の例について、ビデオ映像格納装置２に格納されているビデオ映像の種類毎に説明する。
【００８２】
（１）  ビデオ映像格納装置２に格納されているビデオ映像が非圧縮形式である場合は、以下の方法が考えれる。
【００８３】
ビデオ映像読み出し部３１からブロック切り出し部３４へと送られてくる各フレームのデータは、非圧縮のビットマップ画像の列である。この場合、送られてきた各フレームのビットマップ画像から、切り出し部位格納部３３に格納されている部位を切り出す。
【００８４】
（２）  ビデオ映像格納装置２に格納されているビデオ映像が、ＭＰＥＧ４ビデオ映像である場合は、以下の方法が考えられる。
【００８５】
ＭＰＥＧ４ビデオ映像は、１６×１６ピクセルのブロック（マクロブロック）単位でエンコードされている。従って、切り出し単位をマクロブロックの単位で切り出すこととすると、各フレーム毎にデコード、切り出し、再エンコードすることなく切り出し処理を行うことが可能である。切り出し時の計算量を軽減するために、ＭＰＥＧ４ビデオ映像の場合には、切り出し処理はマクロブロック単位で行うことを推奨する。なお、ＭＰＥＧ４形式と同様にマクロブロックに分割してエンコードされたビデオ映像には、ＭＰＥＧ２やＨ．２６３などがある。これらのビデオ映像の場合も、ＭＰＥＧ４ビデオ映像と同様の方法で切り出し処理を行う。
【００８６】
（３）  ビデオ映像格納装置２に格納されているビデオ映像が、上記（１）、（２）に当てはまらない場合には、ブロック切り出し部３４では、送られてきたビデオ映像をデコードし非圧縮画像としてから切り出しを行い、再度エンコード処理を行う。
【００８７】
次に、切り出し部位を変更する際の手順について説明する。
【００８８】
視線方向入力部１２において、利用者からの指示入力などに従って視線方向の変更が行われると、変更された視線方向情報Ｓ２が、切り出し部位算出部３２へと送られる。切り出し部位算出部３２では、送られてきた視線方向の変更情報に従って切り出し部位情報Ｓ３を算出し、切り出し部位格納部３３に格納している切り出し部位に関する情報を更新する（図３のステップ３０３、３０４）。切り出し部位格納部３３に格納された切り出し部位情報Ｓ３が変更されると、ブロック切り出し部３４でビデオ映像から切り出されるビデオ映像の範囲が変更される。
【００８９】
これにより、ビデオ映像からウォークスルー映像として切り出される映像部位が変更されるため、視線方向を変更したのと同様の視野の変化が得られ、利用者の視線方向の変更に応じたビデオ映像の変更が可能となる。
【００９０】
図６〜８に、切り出し部位を変更した際のウォークスルー映像の変化の様子を示した模式図を示す。ここでは、説明の簡単化のため、ビデオ映像読み出し部３１からは常に同一のビデオ映像がブロック切り出し部３４に送られてくるものとして図式化してある。
【００９１】
図６において、ビデオ映像１１１はビデオ映像読み出し部３１から送られてくるビデオ映像である。今、切り出し部位格納部３３に、部位１１２で示す切り出し部位情報Ｓ３が格納されているとする。このとき、ブロック切り出し部３４により切り出され、ウォークスルー映像提示装置１で表示されるウォークスルー映像は、図７に示すビデオ映像１１３となる。
【００９２】
次に、切り出し部位格納部３３に格納された切り出し部位が部位１１４で示す切り出し部位に変更されたとする。このとき、ブロック切り出し部３４により切り出され、ウォークスルー映像提示装置１で表示されるウォークスルー映像は、図８に示すビデオ映像１１５となる。
【００９３】
ウォークスルー映像提示装置１で提示されるウォークスルー映像が、ビデオ映像１１３からビデオ映像１１５に変化することにより、利用者はあたかも視線方向を右に移動した様な表示を得ることができる。
【００９４】
ここで、切り出し部位算出部３２において切り出し部位格納部３３に格納されている切り出し部位情報Ｓ３を変更する際に、変更前の切り出し部位から変更後の切り出し部位にいきなり変更するのではなく、切り出し部位を段階的に変更する機能を切り出し部位算出部３２に備えることで、利用者に提示するウォークスルー映像を滑らかに移動させることが可能な実施例も考えられる。
【００９５】
図９は、この機能を実装した切り出し部位算出部３２を用いた場合の切り出し部位の変化について説明した模式図である。図９において、最初の状態でビデオ映像１１１に対して切り出し部位が部位１１６が設定されているとする。
【００９６】
このとき、視線方向入力部１２からの信号によって切り出し部位格納部３３に格納されている切り出し部位を部位１１７に変更する際に、切り出し部位算出部３２では、切り出し部位を部位１１８、１１９、１２０、１１７と４段階に順次変更する。すなわち、部位１１７のビデオ映像が提示されるまでに、部位１１８、１１９、１２０のように、少しずつ位置を移動させたビデオ映像が順次提示されるものである。これにより、ウォークスルー映像提示装置１で表示するウォークスルー映像を滑らかにスクロールさせることができる。
【００９７】
なお、この例では、４段階に変更する場合について説明したが、段階数は何段階であっても構わない。
【００９８】
以上説明したように本実施の形態のビデオ映像提示システムでは、ビデオ映像格納装置２に格納するビデオ映像を、利用者が視線移動する上下左右の範囲をも含めた広視野ビデオ映像とし、ビデオ映像送出装置３においては、広視野ビデオ映像の一部領域をウォークスルー映像として切り出して送出すると共に、利用者が視線方向の変更操作を行った場合には、その都度、新たな視線方向を中心とした領域に映像切り出し位置を変更することによって、利用者がウォークスルーすると同時に視線方向の上下左右への連続的な変更が可能である。
【００９９】
次に、本発明の第２の実施の形態について説明する。図１０は、本発明の第２の実施の形態によるビデオ映像提示システムの構成を示すブロック図である。
【０１００】
図１０を参照すると本実施の形態のビデオ映像提示システムは、ウォークスルー映像を利用者に提示するウォークスルー映像提示装置（クライアント）１ａと、街路や建物内を移動する様子を連続的に記録したビデオ映像を格納するビデオ映像格納装置２と、ビデオ映像格納装置２に格納されているビデオ映像に処理を施し、ウォークスルー映像提示装置１ａで表示すべきビデオ映像を生成して、ウォークスルー映像提示装置１ａに送出するビデオ映像送出装置（サーバ）３を備える。この実施の形態においても、ビデオ映像送出装置３とウォークスルー映像提示装置１ａとは、図２に示すようにネットワーク１０を介して互いに接続されている。
【０１０１】
本実施の形態のウォークスルー映像提示装置１ａは、利用者からの入力などに従って再生するビデオ映像を選択するビデオ映像選択部１１と、利用者からの入力などに従って観測する視線方向を決定する視線方向入力部１２と、視線方向入力部１２で決定した視線方向に従って表示すべき部位を算出する表示部位算出部１５と、表示部位算出部１５で算出した切り出し部位情報Ｓ３を格納する表示部位格納部１６と、ビデオ映像送出装置３から受信したビデオ映像をエンコード形式に合わせてデコードするビデオ映像デコード部１３と、ビデオ映像デコード部１３によってデコードされたビデオ映像から表示部位格納部１６に格納した表示部位に従って表示すべき部位の切り出しを行う表示部位切り出し部１７と、表示部位切り出し部１７で切り出したビデオ映像を利用者に対して表示するビデオ映像表示部１４を備える。
【０１０２】
本実施の形態のビデオ映像送出装置３は、ウォークスルー映像提示装置１ａから受信したビデオ映像情報Ｓ１（ビデオ映像名）を保持しておき、ビデオ映像格納装置２から該当するビデオ映像を連続的に読み出すビデオ映像読み出し部３１と、ウォークスルー映像提示装置１ａで算出した表示部位に従ってウォークスルー映像提示装置１ａに送出する部位を算出する切り出し部位算出部３２と、切り出し部位算出部３２で算出した切り出し部位を格納する切り出し部位格納部３３と、切り出し部位格納部３３に格納した切り出し部位に従ってビデオ映像読み出し部３１で読み出したビデオ映像からウォークスルー映像提示装置１ａに送出すべき部位の切り出しを行うブロック切り出し部３４を備える。
【０１０３】
次に、本実施の形態によるビデオ映像提示システムの動作について説明する。
【０１０４】
ビデオ映像格納装置２には、３次元コンピュータグラフィックス技術を用いて構築した仮想空間内をウォークスルーする様子を記録したビデオ映像、あるいは実際の街路をウォークスルーする様子を記録したビデオ映像が格納されている。なお、ビデオ映像格納装置２に格納されているビデオ映像は、利用者が視線方向を移動させる上下左右の範囲をも含めた広視野のビデオ映像とする。
【０１０５】
まず、ウォークスルー映像表示の流れについてビデオ映像送出装置３の処理を示す図１１及びウォークスルー映像提示装置１ａの処理を示す図１２のフローチャートを参照して説明する。
【０１０６】
ビデオ映像選択部１１において、利用者からの指示入力などに従って再生すべきビデオ映像（ビデオ映像名）を決定する。決定に際しては、例えば、第１の実施の形態と同じように、ビデオ映像名の一覧からビデオ映像名を選択する決定方法や、ビデオ映像名のＵＲＬを直接指定する決定方法などが考えられる。ビデオ映像選択部１１で選択されたビデオ映像名は、ビデオ映像情報Ｓ１としてビデオ映像送出装置３へと伝えられる。
【０１０７】
ビデオ映像送出装置３においては、送られてきたビデオ映像情報Ｓ１がビデオ映像読み出し部３１で保持され、このビデオ映像情報Ｓ１に従ってビデオ映像格納装置２に格納されているビデオ映像をフレーム毎に順次読み出すことにより（ステップ１１０１）、ブロック切り出し部３４へと送る。
【０１０８】
一方、ウォークスルー映像提示装置１ａにおいては、視線方向入力部１２で、利用者の視線の向いている方向（視線方向）が入力される（ステップ１２０１）。視線方向は、利用者がビデオ画像のどの部分を注視しているかを示す値で、その指定方法は何れでもよいが、ビデオ画像の中央からの差分値（横方向、縦方向のピクセル数）として表す方法が一例として挙げられる。視線方向は、視線方向情報Ｓ２として視線方向入力部１２から表示部位算出部１５とへと送られる。
【０１０９】
表示部位算出部１５では、視線方向入力部１２から受信した視線方向情報Ｓ２と、ビデオ映像表示部１４から取得したビデオ映像表示領域の形状、サイズを示す表示領域情報Ｓ５とに基づいて、表示部位情報Ｓ４を算出し（ステップ１２０２）、表示部位格納部１６に格納する（ステップ１２０３）。表示部位情報Ｓ４は、視線方向、及びビデオ表示領域の形状、サイズの組で表される。
【０１１０】
これと合わせて、表示部位算出部１５では、表示部位外接矩形情報として表示部位情報の外接矩形を算出し（ステップ１２０２）、表示部位外接矩形情報Ｓ６としてビデオ映像送出装置３の切り出し部位算出部３２へと送る（ステップ１２０３）。この表示部位外接矩形情報Ｓ６は、視線方向と外接矩形の縦横の大きさとから構成される。
【０１１１】
ビデオ映像送出装置３の切り出し部位算出部３２では、表示部位算出部１５から表示部位外接矩形情報Ｓ６が送られてきた場合（ステップ１１０２）、送られてきた表示部位外接矩形情報Ｓ６を予め定められた拡大率に合わせて横方向にα倍、並びに縦方向にβ倍拡大する算出を行い（ステップ１１０３）、切り出し部位情報Ｓ３として切り出し部位格納部３３に格納する（ステップ１１０４）。ここで、拡大率α及びβは１以上の任意の値を設定できるが、それぞれ１．１〜１．５程度の値が望ましい。
【０１１２】
また、表示部位算出部１５から表示部位外接矩形情報Ｓ６が入力されない場合（初期状態または視線方向に変更がない場合）（ステップ１１０２）、切り出し部位算出部３２において切り出し部位情報Ｓ３は算出されず、初期値として予め切り出し部位格納部３３に格納されている切り出し部位情報、または前回算出されて切り出し部位格納部３３に格納されている切り出し部位情報Ｓ３が、後述するブロック切り出し部３４に送られる。
【０１１３】
なお、初期値として切り出し部位格納部３３に格納されている切り出し部位情報としては、例えばビデオ映像の予め決められた範囲（全体または一部）を示す情報とする。
【０１１４】
図１３は、視線方向、表示部位情報、表示部位外接矩形情報、切り出し部位情報の関係についての模式図である。
【０１１５】
図１３の模式図において、点２００は視線方向を表し、領域２０１は表示部位情報を表し、領域２０２は領域２０１の外接矩形である表示部位外接情報を表し、領域２０３は領域２０２を左右方向及び上下方向にそれぞれα倍、β倍した切り出し部位を表している。図１３の模式図では、ビデオ映像表示領域を楕円形状として図示しているが、ビデオ映像表示領域の形状は、矩形など他の形状であっても構わない。
【０１１６】
一方、ビデオ映像送出装置３のブロック切り出し部３４では、ビデオ映像読み出し部３１から送られてくるビデオ映像の各フレームに対して、切り出し部位格納部３３に格納されている切り出し部位情報Ｓ３に従って、表示すべきビデオ映像の切り出し処理を行う（ステップ１１０５）。切り出したビデオ映像は、ウォークスルー映像として、ストリーミングビデオの形態でウォークスルー映像提示装置１ａのビデオ映像デコード部１３へと送出される（ステップ１１０６）。また同時に、切り出し部位情報Ｓ３をブロック切り出し部３４から表示部位切り出し部１７へと送る（ステップ１１０７）。
【０１１７】
ウォークスルー映像提示装置１ａのビデオ映像デコード部１３では、ブロック切り出し部３４からビデオストリームとして次々と送られてくるビデオ映像の各フレームを、そのエンコード形式に合わせてデコードし、デコードしたビデオ映像を表示部位切り出し部１７へと送る。
【０１１８】
表示部位切り出し部１７では、ブロック切り出し部３４から送られてきた切り出し部位情報Ｓ３と、表示部位格納部１６に格納されている表示部位情報Ｓ４とを基に、ビデオ映像デコード部１３から送られてきたビデオ映像の中からどの部位を表示すべきかを算出し（ステップ１２０４）、表示すべきビデオ映像の切り出しを行う（ステップ１２０５）。切り出したビデオ映像は、ビデオ映像表示部１４へと送られる。
【０１１９】
ビデオ映像表示部１４では、ビデオ映像をウォークスルー映像として表示を行う（ステップ１２０６）。
【０１２０】
ここで、上述した表示部位切り出し部１７の処理内容について、図１４のフローチャートを参照して詳細に説明する。
【０１２１】
ビデオ映像デコード部１３からビデオ映像を受信すると（ステップ１４０１）、表示部位格納部１６から表示部位情報Ｓ４を取得しかつブロック切り出し部３４から切り出し部位情報Ｓ３を取得する（ステップ１４０２）。
【０１２２】
次いで、表示部位情報Ｓ４と切り出し部位情報Ｓ３とを比較することにより、切り出し部位情報Ｓ３で示される領域の中に表示部位情報Ｓ４で示される領域が完全に含まれるかどうかを判定する（ステップ１４０３）。
【０１２３】
完全に含まれる場合には、受信したビデオ映像から表示部位情報Ｓ４で示される領域を切り出し（ステップ１４０４）、その切り出したビデオ映像をビデオ映像表示部１４へ送る（ステップ１４０５）。
【０１２４】
ステップ１４０３で切り出し部位情報Ｓ３で示される領域の中に表示部位情報Ｓ４で示される領域が完全に含まれない場合、表示部位情報Ｓ４で示される領域を以下に述べる所定の規則に従って変更し（ステップ１４０６）、変更した表示部位情報に基づいて受信したビデオ映像の切り出しを行う。
【０１２５】
表示部位情報Ｓ４の変更は以下の規則（１）、（２）に従って行われる。（１）領域の形状及びサイズの変更は行わない。（２）領域の位置を、切り出し部位情報で示される領域に収まり、かつ表示部位情報で示される領域に最も近くなる位置に変更する。
【０１２６】
図１５〜１７に、ビデオ映像格納装置２に格納されているビデオ映像と、ブロック切り出し部３４からビデオ映像デコード部１３を経て表示部位切り出し部１７へと送られるビデオ映像と、ビデオ映像表示１４上で利用者が実際に観測するウォークスルー映像との関係を示す。
【０１２７】
ビデオ映像２１１は、ビデオ映像格納装置２に格納されているビデオ映像の一場面である。範囲２１２は、表示部位算出部１５において算出された表示部位情報Ｓ４で示される範囲、範囲２１３は、切り出し部位算出部３２において算出された切り出し部位情報Ｓ３で示される範囲である（図１５）。ビデオ映像２１４は、範囲２１３を示す切り出し部位情報Ｓ３に従ってブロック切り出し部３４で切り出されたビデオ映像である（図１６）。
【０１２８】
ブロック切り出し部３４では、範囲２１３に基づいて図１５のビデオ映像２１１から図１６のビデオ映像２１４を切り出す。ビデオ映像２１５は、このビデオ映像２１４が表示部位切り出し部１７によってウォークスルー映像として切り出されたビデオ映像である（図１７）。
【０１２９】
この例においては、表部部位情報Ｓ４の範囲２１２が切り出し部位情報Ｓ３の範囲２１３に完全に含まれているので、表示部位切り出し部１７では、範囲２１２に基づいてビデオ映像２１５を切り出す。このビデオ映像２１５が、ビデオ映像表示部１４によって利用者に提示される。
【０１３０】
ここで、ビデオ映像格納装置２に格納されているビデオ映像がＭＰＥＧ４形式でエンコードされている場合に、ブロック切り出し部３４で行われる切り出しについて説明する。
【０１３１】
ＭＰＥＧ４形式でエンコードされているビデオ映像は、１６ｘ１６ピクセルのブロック（マクロブロックと呼ぶ）単位でエンコードされている。従ってブロック切り出し部３４において切り出しをマクロブロックの単位で切り出すことと規定すると、各フレーム毎にデコード、切り出し、再エンコードすることなく切り出し処理を行うことができ、計算量の軽減、処理の高速化を図ることができる。
【０１３２】
そこで、ＭＰＥＧ４形式のビデオ映像の場合には、ブロック切り出し部３４では、切り出し部位格納部３３に格納されている切り出し部位で示される領域を含むマクロブロックを列挙し、列挙した全てのマクロブロックを切り出すこととする。すなわち、切り出し部位格納部３３に格納されている切り出し部位情報Ｓ３で示される領域よりも若干大きい領域が切り出されることとなる。
【０１３３】
図１８、図１９は、ビデオ画像をマクロブロック単位で切り出した場合の切り出し領域を示す模式図である。
【０１３４】
領域２２１はビデオ映像格納装置２に格納されているビデオ映像のある時刻におけるビデオ映像の領域を示したものである。また、領域２２２は切り出し部位格納部３３に格納された切り出し部位情報Ｓ３の領域を示す。ビデオ映像のマクロブロックと切り出し領域が図１８に示すような関係にある場合、ブロック切り出し部３４が実際に切り出すビデオ映像の領域は、図１９に示す領域２２４となる。すなわち、この例においては、切り出し部位情報Ｓ３の領域２２２を含むマクロブロックＭＢ５、ＭＢ６、ＭＢ７、ＭＢ９、ＭＢ１０、ＭＢ１１で囲まれる領域２２４が切り出される。
【０１３５】
なお、ＭＰＥＧ４形式と同様にマクロブロックに分割してエンコードされたビデオ映像には、Ｈ．２６３などがある。これらのビデオ映像の場合も、ＭＰＥＧ４ビデオ映像と同様の方法で処理を行うことが可能である。ビデオ映像格納装置２に格納するビデオ映像は、この種の形式でエンコードされたものであることが望ましい。
【０１３６】
次に、視線方向入力部１２に入力される視線方向が変更した場合の処理手順について説明する。
【０１３７】
視線方向入力部１２において、利用者からの指示入力などに従って視線方向の変更が行われると、変更された視線方向情報Ｓ２が表示部位算出部１５へと送られる。表示部位算出部１５では、送られてきた視線方向の変更情報に従って前述の手順で表示部位情報Ｓ４、表示部位外接矩形情報Ｓ６を算出し（図１２のステップ１２０２）、それぞれを表示部位格納部１６、切り出し部位算出部３２へと送る（図１２のステップ１２０３）。
【０１３８】
切り出し部位算出部３２では、送られてきた表示部位外接矩形情報Ｓ６に従って、前述の手順で切り出し部位情報Ｓ３を算出し（図１１のステップ１１０３）、切り出し部位の変更を行う。切り出し部位情報Ｓ３が変更されることにより、ブロック切り出し部３４でビデオ映像から切り出されるビデオ映像の範囲が変更される。
【０１３９】
一方、表示部位格納部１６に格納されている表示部位情報Ｓ４が変更されたことに伴い、表示部位切り出し部１７で切り出されるビデオ映像が変更される。これにより、ビデオ映像からウォークスルー映像として切り出される映像部位が変更されるため、視線方向を変更したのと同様の視野の変化が得られることとなり、利用者の視線方向の変更に応じたビデオ映像の変更が可能となる。
【０１４０】
図２１〜図２３に、視線方向を変更した際のウォークスルー映像の変化の様子を示した模式図を示す。ここでは、説明の簡単化のため、ビデオ映像読み出し部３１からは常に同一のビデオ映像がブロック切り出し部３４に送られてくるものとして図式化してある。
【０１４１】
図２１において、ビデオ映像２５１はビデオ映像読み出し部３１から送られてくるビデオ映像である。今、表示部位格納部１６に格納されている表示部位情報Ｓ４で示される部位が部位２５２、切り出し部位格納部３３に格納されている切り出し部位情報Ｓ３で示される部位が部位２５３であったとき、ブロック切り出し部３４、及び表示部位切り出し部１７を経て最終的にビデオ映像表示部１４で表示されるビデオ映像は、図２２に示すビデオ映像２５４となる。
【０１４２】
次に、視線方向入力部１２において視線方向が変更され、図２１に示すように、表示部位格納部１６に格納されている表示部位情報Ｓ４で示される部位がが部位２５５、切り出し部位格納部３３に格納されている切り出し部位情報Ｓ３で示される部位がが部位２５６と変更されたとする。このとき、ブロック切り出し部３４、及び表示部位切り出し部１７を経て最終的にビデオ映像表示部１４で表示されるビデオ映像は、図２３に示すビデオ映像２５７となる。
【０１４３】
最後に、視線方向入力部１２において視線方向が変更され、図２１に示すように、表示部位格納部１６に格納されている表示部位情報Ｓ４で示される部位がが部位２５８、切り出し部位格納部３３に格納されている切り出し部位情報Ｓ３で示される部位がが部位２５９と変更されたとする。このとき、ブロック切り出し部３４、及び表示部位切り出し部１７を経て最終的にビデオ映像表示部１４で表示されるビデオ映像は、図２４に示すビデオ映像２６０となる。
【０１４４】
図２１〜図２４に示すように、ウォークスルー映像提示装置１ａで提示されるウォークスルー映像が、ビデオ映像２５４からビデオ映像２５７、さらにビデオ映像２６０へと変化することにより、利用者はあたかも視線方向を右に移動した様な表示を得ることができる。
【０１４５】
図２５、図２６に、視線方向を変更した際のウォークスルー映像の変化の他例示した模式図を示す。ここでは、説明の簡単化のため、ビデオ映像読み出し部３１からは常に同一のビデオ映像がブロック切り出し部３４に送られてくるものとして図式化してある。
【０１４６】
図２５において、ビデオ映像２５１はビデオ映像読み出し部３１から送られてくるビデオ映像である。今、表示部位格納部１６に格納されている表示部位情報Ｓ４で示される部位が部位２７１、切り出し部位格納部３３に格納されている切り出し部位情報Ｓ３で示される部位が部位２７２であったとする。
【０１４７】
この場合、表示部位情報Ｓ４で示される部位２７１が、切り出し部位情報Ｓ３で示される部位２７２に完全に含まれていないので、表示部位切り出し部１７により前述した規則に従って表示部位情報Ｓ４が変更される。その結果、変更後の表示部位情報Ｓ４で示される部位は、図２５の部位２７３となる。
【０１４８】
これにより、表示部位切り出し部１７を経て最終的にビデオ映像表示部１４で表示されるビデオ映像は、図２６に示すビデオ映像２７４となる。
【０１４９】
図２５、図２６に示すように、ビデオ映像の切り出し部位の更新が遅れた場合においても、ウォークスルー映像提示装置１ａに送られてくるビデオ映像が、表示部位格納部１６に格納されている表示部位よりも大きいサイズであるため、表示部位切り出し部１７での切り出しが遅れることなく視線移動を行なうことができる。
【０１５０】
なお、表示部位算出部１５において表示部位を算出する際に、変更前の表示部位から変更後の表示部位にいきなり変更するのではなく、表示部位を段階的に変更する機能を表示部位算出部１５に備えることで、視線変更に伴うウォークスルー映像の変化を滑らかに移動させることが可能な実施例も考えられる。
【０１５１】
図２０は、この機能を実装した表示部位切り出し部１７を用いた場合の表示部位の変化について説明した模式図である。図２０において、最初の状態でビデオ映像２４１に対して表示部位が部位２４２が設定されているとする。
【０１５２】
このとき、視線方向入力部１２からの信号によって表示部位格納部１６に格納されている表示部位を部位２４３に変更する際に、表示部位算出部１５では、表示部位２４２を部位２４４、２４５、２４６、２４３と４段階に順次変更する。すなわち、部位２４３の映像が提示されるまでに、部位２４４、２４５、２４６のように、少しずつ位置を移動させた映像が順次提示されるものである。これにより、ウォークスルー映像提示装置１ａで表示するウォークスルー映像を滑らかにスクロールさせることができる。なお、この例では、４段階に変更する場合について説明したが、段階数は何段階であっても構わない。
【０１５３】
ここで、本実施の形態のビデオ映像提示システムを実施する際には、ウォークスルー映像提示装置１ａとビデオ映像送出装置３とが、ＬＡＮやＷＡＮなどのネットワークを介して接続されている実施例が考えられる。
【０１５４】
この実施例の場合、サーバマシン上にビデオ映像送出装置３並びにビデオ映像格納装置２を設置し、クライアントマシン上にウォークスルー映像提示装置１ａを設けることで１台のサーバマシンで、複数のクライアントマシンにサービスを提供することが可能となる。
【０１５５】
この様に、ウォークスルー映像提示装置１ａとビデオ映像送出装置３とがネットワークを介して接続している場合、表示部位算出部１５から切り出し部位算出部３２へと表示部位外接矩形情報Ｓ６を伝える際に若干の時間遅延が発生する場合があり、これに起因し、ブロック切り出し部３４から送られてくるビデオ映像の部位が変更されるのが遅れることが予想される。
【０１５６】
つまり、表示部位格納部１６に格納されている表示部位情報Ｓ４は更新されるが、ブロック切り出し部３４から送られてくるビデオ映像の部位が変更前のままという事態が起こり得る。このような事態では、表示部位情報Ｓ４が切り出し部位情報Ｓ３に含まれなくなる可能性が発生するが、その場合表示部位切り出し部１７が図１４で説明したように表示部位情報Ｓ４を変更して切り出しを行う。
【０１５７】
このように送られてくるビデオ映像の部位の更新が遅れた場合においても、本実施の形態によるビデオ映像提示システムでは、ウォークスルー映像提示装置１ａに送られてくるビデオ映像（すなわち、ブロック切り出し部３４で切り出されるビデオ映像）が、表示部位格納部１６に格納されている表示部位よりも大きいサイズであるため、表示部位切り出し部１７での切り出しが遅れることなく視線移動を実現することが可能である。
【０１５８】
以上説明したように本実施の形態によるビデオ映像提示システムは、第１の実施の形態の効果に加えて、１つのビデオ映像送出装置３から複数のウォークスルー映像提示装置１ａに対して、ネットワークを介してビデオ映像を効率よく配信することができる。例えば、サーバマシン上にビデオ映像送出装置３並びにビデオ映像格納装置２を設置し、クライアントマシン上にウォークスルー映像提示装置１ａを設けることで、１台のサーバマシンから複数のクライアントマシンへビデオ映像のサービスを効率よく提供することができる。
【０１５９】
次に、本発明の第３の実施の形態を説明する。図２７は、本発明の第３の実施の形態によるビデオ映像提示システムの構成を示すブロック図である。
【０１６０】
本実施の形態のビデオ映像提示システムは、図１０に示した第２の実施の形態におけるビデオ映像提示システムの構成に加え、切り出し部位算出部３２で表示部位外接矩形情報Ｓ６を拡大するために定められている拡大率を変更する拡大率変更部３５をビデオ映像送出装置３ａの中に新たに備えている。
【０１６１】
拡大率変更部３５は、他のモジュールからの信号などに従って、切り出し部位算出部３２に格納されている表示部位外接矩形情報Ｓ６を拡大するための拡大率の値を変更する。拡大率が変更されると、切り出し部位算出部３２で算出される切り出し部位情報Ｓ３で示される部位の大きさが変更される。そして、ブロック切り出し部３４において切り出されるビデオ映像の大きさが変更される。
【０１６２】
つまり、拡大率変更部３５によって、ビデオ映像送出装置３ａからウォークスルー映像提示装置１ａへと送られるビデオ映像のサイズ、すなわち、ビデオ映像送出装置３ａからウォークスルー映像提示装置１ａへと送られるデータ量を変更することができるので、ビデオ映像提示システムに必要なネットワーク帯域を変更することが可能となる。
【０１６３】
本実施の形態によるビデオ映像提示システムの実施例の１つとして、ビデオ映像送出装置３ａを有する１つのサーバマシンに接続するウォークスルー映像提示装置１ａの台数に応じて、拡大率を変更する実施例が挙げられる。
【０１６４】
この実施例では、ウォークスルー映像提示装置１ａの台数が多い場合には、拡大率を下げて１つのセッションが使用するネットワーク帯域を少なく押さえる。また、セッション数が少ない場合には、拡大率を上げて大きなサイズのビデオ映像をウォークスルー映像提示装置１ａに対して送信し、視線方向入力部１２で受けた視線方向変更要求に即座に反応できるようにする。
【０１６５】
ただし、拡大率を下げる場合でも、第２の実施の形態による効果を有効なものとするためには、できるだけ拡大率の下げ幅を小さくして切り出し部位をより大きく保つことが好ましい。
【０１６６】
以上説明したように本実施の形態では、第１、第２の実施の形態の効果に加えて、拡大率を変更する拡大率変更部３５を設けることで、例えば、ビデオ映像送出装置３ａが稼動しているサーバマシン側で利用できるネットワーク帯域を随時計算してその帯域幅に適合するデータ通信量でビデオ映像を配信することができ、様々な環境下でビデオ映像提示システムを稼動させることができる。
【０１６７】
次に、本発明の第４の実施の形態を説明する。図２８は、本発明の第４の実施の形態によるビデオ映像提示システムの構成を示すブロック図である。
【０１６８】
第４の実施の形態においては、図２７に示した第３の実施の形態におけるビデオ映像提示システムの構成に加え、ウォークスルー映像提示装置１ｂに送信されるビデオ映像の品質や、その処理状況等に基づいて拡大率変更部３５に対し拡大率の変更を要求するＱｏＳ制御部１８を新たに備える構成としている。
【０１６９】
本実施の形態によるビデオ映像提示システムの実施例の１つとして、次の例が挙げられる。
【０１７０】
ＱｏＳ制御部１８が、ビデオ映像送出装置３ａから送られてくるビデオ映像について、データ遅延や、ビデオフレーム欠損等を監視し、データ遅延、ビデオフレーム欠損等がある程度の頻度で発生する場合に、拡大率変更部３５に対して拡大率の低減を指示する。
【０１７１】
これにより、ビデオ映像送出装置３ａからウォークスルー映像提示装置１ｂに送られてくるビデオ映像のサイズが小さくなることで、ビデオ映像送出装置３ａとウォークスルー映像提示装置１ｂとの間でビデオ映像の送受信するのに要するネットワーク帯域が軽減される。すなわち、データ遅延やビデオフレーム欠損を防ぐことが可能になる。
【０１７２】
また、本実施の形態によるビデオ映像提示システムの別の実施例として、次の例が挙げられる。
【０１７３】
ＱｏＳ制御部１８が、表示部位切り出し部１７における処理状況を監視し、表示部位切り出し部１７における処理がビデオ映像のフレームレートを下回る場合に、拡大率変更部３５に対して拡大率の低減を指示する。
【０１７４】
これにより、ビデオ映像送出装置３ａからウォークスルー映像提示装置１ｂに送られてくるビデオ映像のサイズが小さくなることで表示部位切り出し部１７における処理を軽減する。すなわち提示されるビデオ映像のフレームレート低下を防ぐことが可能となる。
【０１７５】
以上説明したように、本実施の形態によるビデオ映像提示システムでは、第１〜第３の実施の形態の効果に加えて、ウォークスルー映像提示装置１ｂにおいて、ネットワーク状況の変動により生じた、サーバからのビデオ映像の遅延やフレーム欠損などを検知した場合に、それらの現象を緩和することを目的に送出するビデオ映像のデータ通信量を制御するいわゆるネットワークのＱｏＳ（Qualityof Service）制御が可能となる。つまり、ネットワークの状態に応じた品質で利用者に対してビデオ映像提示システムを提供することが可能となる。
【０１７６】
また更に、受信したビデオ映像に対する処理がウォークスルー映像提示装置１ｂの処理能力を超過した場合にも、同様にして、ビデオ映像の拡大率の低減をビデオ映像送出装置３ａに指示することにより、ビデオ映像を安定して処理することができる。
【０１７７】
次に、本発明の第５の実施の形態を説明する。図２９は、本発明の第５の実施の形態によるビデオ映像提示システムの構成を示すブロック図である。
【０１７８】
本実施の形態のビデオ映像提示システムは、ウォークスルー映像を利用者に提示するウォークスルー映像提示装置１ｃと、街路や建物内を移動する様子を連続的に記録したビデオ映像を格納するビデオ映像格納装置２と、ビデオ映像格納装置２に格納されているビデオ映像に処理を施し、ウォークスルー映像提示装置１ｃで表示すべきビデオ映像を生成して、ウォークスルー映像提示装置１ｃに送出する２つ以上のｎ台のビデオ映像送出装置３−１、３−２、…、３−ｎと、ウォークスルー映像提示装置１ｃとの間に常に１つの仮想コネクションを確立しつつ、２つ以上のｎ台のビデオ映像送出装置３−１、３−２、…、３−ｎからのビデオ映像を選択的に切り替えて同一のコネクションを通してウォークスルー映像提示装置１ｃへと送るビデオ映像切り替え部４と、ｎ台のビデオ映像送出装置３−１、３−２、…、３−ｎで読み出されるビデオ映像の中から表示すべきビデオ映像をビデオ映像切り替え部４に指示するビデオ映像決定部５を備える。
【０１７９】
本実施の形態のウォークスルー映像提示装置１ｃ、ビデオ映像格納装置２、並びにビデオ映像送出装置３−１、３−２、…、３−ｎは、第１、第２、第３、第４の実施の形態の何れかの構成を適用する。
【０１８０】
つまり、本実施の形態のウォークスルー映像提示装置１ｃとして、第１、第２、第３、第４の実施の形態のウォークスルー映像提示装置１、１ａ、１ｂを用いることができ、本実施の形態のビデオ映像送出装置３−１、３−２、…、３−ｎとして、第１、第２、第３、第４の実施の形態のビデオ映像送出装置３、３ａを用いることができる。また、本実施の形態のビデオ映像送出装置３−１、３−２、…、３−ｎの台数ｎは、特に限定する必要はなく、２台以上の任意の台数により実施することができる。
【０１８１】
また、ビデオ映像送出装置３−１、３−２、…、３−ｎとビデオ映像格納装置２がサーバマシン上に設けれ、ウォークスルー映像提示装置１ｃとビデオ映像決定部５がクライアントマシン上に設けられる。ビデオ映像切り替え部４については、サーバ及びクライアントマシンから独立してネットワーク上に位置している。
【０１８２】
次に、本実施の形態によるビデオ映像提示システムの動作について図３０のフローチャートを参照して説明する。
【０１８３】
まず、ビデオ映像決定部５において、ウォークスルー映像提示装置１ｃで表示するビデオ映像の候補を複数決定し、そのビデオ映像名を別々のビデオ映像送出装置３−１、３−２、…、３−ｎへと伝達する（ステップ３００１）。
【０１８４】
ビデオ映像名を受信したビデオ映像送出装置３−１、３−２、…、３−ｎでは、ビデオ映像格納装置２からの該当ビデオ映像の読み出しとブロック切り出し部３４での切り出し処理を含む送出の準備を行う（ステップ３００２）。ビデオ映像送出装置３−１、３−２、…、３−ｎでの動作は、第１、第２、第３、第４の実施の形態で説明したいずれかの方法に従って行なわれる。
【０１８５】
一方、ビデオ映像決定部５では、ビデオ映像の候補の中から最初に表示すべきビデオ映像を決定しビデオ映像切り替え部４に伝達する（ステップ３００３）。ビデオ映像切り替え部４では、ビデオ映像決定部５からの指示に従って該ビデオ映像をウォークスルー映像提示装置１ｃへと伝達する（ステップ３００４）。ウォークスルー映像提示装置１ｃでは、送られてきたビデオ映像を利用者に対して提示する（ステップ３００５）。
【０１８６】
ここで、ビデオ映像決定部５において表示するビデオ映像を変更すると（ステップ３００６）、変更したビデオ映像名がビデオ映像切り替え部４へと伝達される。ビデオ映像決定部５からの信号を受けたビデオ映像切り替え部４では、即座にウォークスルー映像提示装置１ｃへと送信するビデオ映像を該ビデオ映像へと切り替えて送信する（ステップ３００７）。
【０１８７】
なお、本実施の形態によるビデオ映像提示システムでは、切り替え後のビデオ映像は、既に送出準備を終えた状態で待機しているので、ビデオ映像の切り替えを行う際、切り替え前後のビデオ映像を繋ぎ目で途切れることなく連続的に送出することができる。
【０１８８】
また、ビデオ映像決定部５では、その時々の状況に応じて候補となるビデオ映像を随時決定し、ビデオ映像送出装置３−１、３−２、…、３−ｎへとビデオ映像名を伝達し、ビデオ映像の送出準備を指示する。同時に、再生候補から外れたビデオ映像に対しては、ビデオ映像送出装置３−１、３−２、…、３−ｎに準備終了を指示する。
【０１８９】
次に、本実施の形態における具体的な実施例を幾つか挙げる。まず本実施の形態の第１の実施例を説明する。
【０１９０】
本実施例では、ビデオ映像決定部５で候補として決定するビデオ映像を、異なるビットレートで同一の場面を記録したビデオ映像とする。そして、ビデオ映像切り替え部４とウォークスルー映像提示装置１ｃとを結ぶネットワーク環境に応じて、送信に適したビットレートのビデオ映像を選択し表示を行う。
【０１９１】
このようにすることで、本実施例では、ネットワークの利用可能帯域が広い場合には、高ビットレートで詳細なビデオ映像を表示し、ネットワークの利用可能帯域が狭まった場合には、即座に低ビットレートのビデオ映像に切り替えてビデオ映像の表示を行うことができる。
【０１９２】
次に、本実施の形態の第２の実施例を説明する。
【０１９３】
ビデオ映像決定部５で候補として決定するビデオ映像を、同一経路を移動しているが、異なる方向を記録したビデオ映像とする。例えば、同一経路について、前方、後方、左方、右方を記録したビデオ映像を候補として決定する。
【０１９４】
このため本実施例では、利用者の指示入力により、表示するビデオ映像を適宜切り替えることで、利用者が視線方向を更に自由に移動することができる。
【０１９５】
次に、本実施の形態の第３の実施例を説明する。
【０１９６】
図３１は、３次元空間における視点の移動経路を説明する図である。ここでは、経路５１１は、地点５１５において３つの経路、経路５１２、５１３、５１４と接続している。これら、経路５１１、５１２、５１３、５１４を移動する様子を記録したビデオ映像をそれぞれビデオ映像５２１、５２２、５２３、５２４とする。
【０１９７】
このとき、ビデオ映像決定部５では、ビデオ映像５２１、５２２、５２３、５２４の４つのビデオを候補として決定し、そのそれぞれをビデオ映像送出装置３−１、３−２、３−３、３−４に送り、ビデオ映像送出装置３−１、３−２、３−３、３−４では該ビデオ映像を読み出し、送出の準備を行う。
【０１９８】
そして実際に利用者にウォークスルー映像を提示するときには、まず、ビデオ映像決定部５において、ビデオ映像５２１の再生を決定してビデオ映像切り替え部４に伝達し、ウォークスルー映像提示装置１ｃにおいてビデオ映像５２１の再生を行う。つまり、経路５１１を歩いている様子を利用者に対して提示する。
【０１９９】
次に、ビデオ映像５２１の再生が地点５１５に至るまでに、経路５１１の次に通るべき経路を経路５１２、５１３、５１４の中から選択する。
【０２００】
ここでは、経路５１２が選択されたものとし、次に再生すべきビデオ映像がビデオ映像５２２であるとして説明する。ビデオ映像決定部５において決定されたビデオ映像名は、ビデオ映像切り替え部４へと伝達される。ビデオ映像切り替え部４では、ビデオ映像５２１を最終フレームまで再生後、直ちにビデオ映像５２２の再生を開始する。
【０２０１】
このように、本実施例では、複数の経路を連続的に、かつ選択的に移動する様子を利用者に対して提示することができる。
【０２０２】
以上説明したように本実施の形態のビデオ映像提示システムでは、表示するビデオ映像を適宜切り替えることにより、適切なビットレートによる表示や、利用者が視線方向を更に自由に移動させることや、複数の経路を連続的にかつ選択的に移動する様子を提示することができる。
【０２０３】
また本実施の形態を、第１〜第４の各実施の形態と組み合わせることにより（つまり、ウォークスルー映像提示装置１ｃや各ビデオ映像送出装置３−１、３−２、…、３−ｎとして、その第１〜第４の実施の形態のものを用いることにより）、第１〜第４の各実施の形態の効果を合わせて実現することができる。
【０２０４】
なお、上記各実施の形態のビデオ映像提示システムは、ウォークスルー映像提示装置１におけるビデオ映像選択部１１、視線方向入力部１２、ビデオ映像デコード部１３、ビデオ映像表示部１４、表示部位算出部１５、表示部位格納部１６、表示部位切り出し部１７、ＱｏＳ制御部１８の機能や、ビデオ映像送出装置３、３ａ、３−１、３−２、…、３−ｎにおけるビデオ映像読み出し部３１、切り出し部位算出部３２、切り出し部位格納部３３、ブロック切り出し部３４、拡大率変更部３５の機能や、ビデオ映像切り替え部４の機能や、ビデオ映像決定部５の機能や、その他の機能をハードウェア的に実現することは勿論として、各機能を備えるコンピュータプログラムである映像処理プログラム９０、９０ａ、９０ｂ、９０ｃ、９１、９１ａを、コンピュータ処理装置のメモリにロードされることで実現することができる。この映像処理プログラム９０、９０ａ、９０ｂ、９０ｃ、９１、９１ａは、磁気ディスク、半導体メモリその他の記録媒体に格納される。そして、その記録媒体からコンピュータ処理装置にロードされ、コンピュータ処理装置の動作を制御することにより、上述した各機能を実現する。
【０２０５】
以上好ましい実施の形態及び実施例をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形して実施することができる。
【図面の簡単な説明】
【０２０６】
【図１】本発明の第１の実施の形態によるビデオ映像提示システムの構成を示すブロック図である。
【図２】本発明の第１の実施の形態によるビデオ映像提示システムを適用したネットワーク構成を示すブロック図である。
【図３】本発明の第１の実施の形態によるビデオ映像提示システムのビデオ映像送出装置の動作を説明するフローチャートである。
【図４】本発明の第１の実施の形態のビデオ映像の一例を示す模式図である。
【図５】本発明の第１の実施の形態の図２のビデオ映像による利用者提示映像を示す模式図である。
【図６】本発明の第１の実施の形態における利用者の視線移動時のビデオ映像変化を示す模式図である。
【図７】本発明の第１の実施の形態における利用者の視線移動時のビデオ映像変化を示す模式図である。
【図８】本発明の第１の実施の形態における利用者の視線移動時のビデオ映像変化を示す模式図である。
【図９】本発明の第１の実施の形態における切り出し部位の変化を示す模式図である。
【図１０】本発明の第２の実施の形態によるビデオ映像提示システムの構成を示すブロック図である。
【図１１】本発明の第２の実施の形態におけるビデオ映像送出装置の動作を説明するフローチャートである。
【図１２】本発明の第２の実施の形態におけるウォークスルー映像提示装置の動作を説明するフローチャートである。
【図１３】本発明の第２の実施の形態における視線方向、表示部位情報、表示部位外接矩形情報、切り出し部位情報の関係についての模式図である。
【図１４】本発明の第２の実施の形態における表示部位切り出し部の動作を説明するフローチャートである。
【図１５】本発明の第２の実施の形態におけるビデオ映像と利用者提示映像を示す模式図である。
【図１６】本発明の第２の実施の形態におけるビデオ映像と利用者提示映像を示す模式図である。
【図１７】本発明の第２の実施の形態におけるビデオ映像と利用者提示映像を示す模式図である。
【図１８】本発明の第２の実施の形態における切り出し部位算出方法を示す模式図である。
【図１９】本発明の第２の実施の形態における切り出し部位算出方法を示す模式図である。
【図２０】本発明の第２の実施の形態における切り出し部位の変化を示す模式図である。
【図２１】本発明の第２の実施の形態における利用者の視線移動時のビデオ映像変化を示す模式図である。
【図２２】本発明の第２の実施の形態における利用者の視線移動時のビデオ映像変化を示す模式図である。
【図２３】本発明の第２の実施の形態における利用者の視線移動時のビデオ映像変化を示す模式図である。
【図２４】本発明の第２の実施の形態における利用者の視線移動時のビデオ映像変化を示す模式図である。
【図２５】本発明の第２の実施の形態における利用者の視線移動時のビデオ映像変化の他の例を示す模式図である。
【図２６】本発明の第２の実施の形態における利用者の視線移動時のビデオ映像変化の他の例を示す模式図である。
【図２７】本発明の第３の実施の形態によるビデオ映像提示システムの構成を示すブロック図である。
【図２８】本発明の第４の実施の形態によるビデオ映像提示システムの構成を示すブロック図である。
【図２９】本発明の第５の実施の形態によるビデオ映像提示システムの構成を示すブロック図である。
【図３０】本発明の第５の実施の形態によるビデオ映像提示システムの動作を説明するフローチャートである。
【図３１】本発明の第５の実施の形態における３次元空間における視点の移動経路の説明図である。
【符号の説明】
【０２０７】
１、１ａ、１ｂ、１ｃ  ウォークスルー映像提示装置１１  ビデオ映像選択部１２  視線方向入力部１３  ビデオ映像デコード部１４  ビデオ映像表示部１５  表示部位算出部１６  表示部位格納部１７  表示部位切り出し部１８  ＱｏＳ制御部２  ビデオ映像格納装置３、３ａ、３−１、３−２、…、３−ｎ  ビデオ映像送出装置３１  ビデオ映像読み出し部３２  切り出し部位算出部３３  切り出し部位格納部３４  ブロック切り出し部３５  拡大率変更部４  ビデオ映像切り替え部５  ビデオ映像決定部９０、９０ａ、９０ｂ、９０ｃ、９１、９１ａ  映像処理プログラムＳ１  ビデオ映像情報Ｓ２  視線入力情報Ｓ３  切り出し部位情報Ｓ４  表示部位情報Ｓ５  表示領域情報Ｓ６  表示部位外接矩形情報
【図１】
2006081205.tif 000003
【図２】
2006081205.tif 000004
【図３】
2006081205.tif 000005
【図４】
2006081205.tif 000006
【図５】
2006081205.tif 000007
【図６】
2006081205.tif 000008
【図７】
2006081205.tif 000009
【図８】
2006081205.tif 000010
【図９】
2006081205.tif 000011
【図１０】
2006081205.tif 000012
【図１１】
2006081205.tif 000013
【図１２】
2006081205.tif 000014
【図１３】
2006081205.tif 000015
【図１４】
2006081205.tif 000016
【図１５】
2006081205.tif 000017
【図１６】
2006081205.tif 000018
【図１７】
2006081205.tif 000019
【図１８】
2006081205.tif 000020
【図１９】
2006081205.tif 000021
【図２０】
2006081205.tif 000022
【図２１】
2006081205.tif 000023
【図２２】
2006081205.tif 000024
【図２３】
2006081205.tif 000025
【図２４】
2006081205.tif 000026
【図２５】
2006081205.tif 000027
【図２６】
2006081205.tif 000028
【図２７】
2006081205.tif 000029
【図２８】
2006081205.tif 000030
【図２９】
2006081205.tif 000031
【図３０】
2006081205.tif 000032
【図３１】
2006081205.tif 000033