(57)【要約】【課題】  遠隔地の多視点映像において視点移動しつつスムーズに表示できる視点連動画像表示システムを提供し、かつ視点位置に不要な表示の画像配列を制限して通信帯域を最小化し、利用者の満足度を向上させる。【解決手段】  映像配信サーバ５に、視点位置を取得する配信制御部２１と、必要領域４１を決定するステップＳ１４〜Ｓ１６を実行する配信制御部２１と、決定した必要領域４１に基づく転送必要領域４４の各視点位置から観た各視点画像をグループ画像情報ＧＧＯＰとして伝送する配信制御部２１とを備え、操作表示端末３に、視点位置検出器１１と、該視点位置検出器１１による視点情報を前記映像配信サーバ５へ送信する通信装置１５と、前記グループ画像情報ＧＧＯＰを前記映像配信サーバ５から受信する通信装置１５と、前記グループ画像情報ＧＧＯＰに基づいて前記視点位置に対応する視点画像を表示する表示装置１７とを備えた。【選択図】  図９
2012094990.tif 000002
【特許請求の範囲】
【請求項１】
画像情報を取得する画像情報取得手段を有するサーバと、
前記サーバと通信可能なクライアント端末とを備え、
前記サーバは、
視点位置の情報である視点情報を取得する視点情報取得手段と、
前記視点位置の移動範囲を決定する視点移動範囲決定手段と、
前記視点移動範囲決定手段により決定した視点移動範囲に基づく所定範囲の各視点位置から観た各視点画像をグループ視点画像として伝送するグループ視点画像伝送手段とを備え、
前記クライアント端末は、
前記視点位置の移動入力を許容する視点位置移動入力手段と、
前記視点位置移動入力手段で入力された視点位置の視点情報を前記サーバへ送信する視点情報送信手段と、
前記グループ視点画像を前記サーバから受信するグループ視点画像受信手段と、
前記グループ視点画像に基づいて前記視点位置移動入力手段で入力された視点位置に対応する視点画像を表示する視点画像表示手段とを備えた
視点連動画像表示システム。
【請求項２】
前記所定範囲は、
現在の視点位置を示す現在視点位置情報と、
時刻の経過に伴って視点を切替可能な視点切替範囲を示す最大視点切替範囲情報と、
時刻経過に伴って画像の表示切替をしていく時間範囲情報とで定められる
請求項１記載の視点連動画像表示システム。
【請求項３】
前記所定範囲は、
前記現在の視点位置を基点にして時間進行に伴って範囲が広くなる末広がり形状の少なくとも末側の範囲である
請求項２記載の視点連動画像表示システム。
【請求項４】
前記所定範囲は、所定時間単位で複数定める構成であり、
前記グループ視点画像伝送手段は、
前回送信時の所定範囲と今回送信時の所定範囲に重複がある場合、重複する部分の視点画像を除いて送信する構成である
請求項１、２または３記載の視点連動画像表示システム。
【請求項５】
前記サーバは、
前記画像情報取得手段により視点の異なる複数の入力画像を取得する構成であり、
前記各入力画像の間の視点での画像である間画像を前記入力画像に基づく演算により算出する間画像算出手段を備えた
請求項１から４のいずれか１つに記載の視点連動画像表示システム。
【請求項６】
コンピュータを、
画像情報を取得する画像情報取得手段と、
視点位置の情報である視点情報を取得する視点情報取得手段と、
前記視点位置の移動範囲を決定する視点移動範囲決定手段と、
前記視点移動範囲決定手段により決定した視点移動範囲に基づく所定範囲の各視点位置から観た各視点画像をグループ視点画像として伝送するグループ視点画像伝送手段として機能させる
視点連動画像表示用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば視点の移動に連動して画像を表示させるような視点連動画像表示システムに関する。
【背景技術】
【０００２】
従来、映像情報の録画、配信、再生などにおいて、ＭＰＥＧなどの標準技術をベースにした方式が普及している。そして、高画質化の提案とともに、新たな画像データの圧縮技術も提案されている。
【０００３】
一方、２眼カメラの映像情報を用いた３Ｄ映像表示システムも提案されている。近年では、３ＤＴＶなど２眼カメラによる映像を再生するシステムも実用化が進んでいる。しかし、このようなシステムは、２眼カメラが固定であるから映像情報にカメラの死角が存在し、必ずしも対象物の視点位置からリアルな再現ができているわけではない。対象物をじっくり観察したい場合、あらゆる角度から観ることが求められるが、２眼カメラからの３Ｄ画像の再生では、死角による限界が存在している。
【０００４】
ここで、複数台のカメラにより多視点で撮影された映像（連続画像）を用いれば、様々な位置に視点を移動しつつ画像を表示することができる。これにより、対象物を様々な視点から見て３次元的にとらえることも可能となる。
【０００５】
多視点映像の符号化方式として、異なる視点映像に対してイントラピクチャ（Ｉフレーム）を配置することで、全ての視点に対して画像劣化を最小化する方法などが提案されている（特許文献１参照）。
しかし、画像再生時においては、特定視点映像（１〜２視点）のみが表示されることになり、視点位置で必要とする映像を配信し、保存する場合には、視点映像の数に応じて多大なリソース（ネットワーク負荷、記録容量）を用いることになる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特表２０１０−５０６５３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
この発明は、上述の問題点に鑑み、遠隔地の映像を視点移動に応じてスムーズに表示でき、かつネットワークの帯域を最小限に抑制する視点連動画像表示システムを提供し、利用者の満足度を向上させることを目的とする。
【課題を解決するための手段】
【０００８】
この発明は、画像情報を取得する画像情報取得手段を有するサーバと、前記サーバと通信可能なクライアント端末とを備え、前記サーバは、視点位置の情報である視点情報を取得する視点情報取得手段と、前記視点位置の移動範囲を決定する視点移動範囲決定手段と、前記視点移動範囲決定手段により決定した視点移動範囲に基づく所定範囲の各視点位置から観た各視点画像をグループ視点画像として伝送するグループ視点画像伝送手段とを備え、前記クライアント端末は、前記視点位置の移動入力を許容する視点位置移動入力手段と、前記視点位置移動入力手段で入力された視点位置の視点情報を前記サーバへ送信する視点情報送信手段と、前記グループ視点画像を前記サーバから受信するグループ視点画像受信手段と、前記グループ視点画像に基づいて前記視点位置移動入力手段で入力された視点位置に対応する視点画像を表示する視点画像表示手段とを備えた視点連動画像表示システムであることを特徴とする。
【発明の効果】
【０００９】
この発明により、遠隔地の映像を視点移動しつつスムーズに表示することができる。
【図面の簡単な説明】
【００１０】
【図１】移動視点映像表示システムのシステム構成を示すブロック図。
【図２】グループ画像情報を抽出する概念の説明図。
【図３】グループ画像情報を抽出する概念の説明図。
【図４】視点移動とその数値化の説明図。
【図５】視点移動の経路と表示可能性のある範囲を求める計算式の説明図。
【図６】必要フレームと不要フレームの比率を求める計算式の説明図。
【図７】操作表示端末の動作を示すフローチャート。
【図８】映像配信サーバの動作を示すフローチャート。
【図９】転送されるグループ画像情報と視点移動と表示画像の説明図。
【発明を実施するための形態】
【００１１】
以下、この発明の一実施形態を図面と共に説明する。  
【実施例】
【００１２】
図１は、移動視点映像表示システム１のシステム構成と機能を示すブロック図である。  
移動視点映像表示システム１は、操作表示端末３と、映像配信サーバ５とがそれぞれ通信可能に接続されて構成されている。
【００１３】
操作表示端末３および映像配信サーバ５は、いずれも、ＣＰＵとＲＯＭとＲＡＭ（メモリ）等で構成される制御手段、ハードディスク等で構成される記憶手段、キーボードやマウス等で構成される入力手段、液晶ディスプレイ等で構成される表示手段、ＬＡＮボード等で構成される通信手段、およびＵＳＢ等で構成される外部接続手段といったハードウェアで構成されており、記憶手段に記憶されているプログラムに従って制御手段が各種動作を実行する。
【００１４】
操作表示端末３は、前記プログラムに従って制御手段が各ハードウェアを用いて動作する機能ブロックとして、視点位置検出器１１、視点切替部１２、視点移動履歴部１３、視点切替速度算定部１４、通信装置１５、多視点映像復号化部１６、および表示装置１７を備えている。
【００１５】
視点位置検出器１１は、視点となるユーザ（人）の位置を検出するカメラ、センサ等の装置で構成されており、検出した視点位置を視点切替部１２へ送信する。なお、この実施例では、ユーザの動作により視点位置を変更することを想定しているが、これに限らず、タッチパネルやマウス等で視点を入力するなど、視点を特定可能な適宜の装置によって視点位置検出器１１を構成してもよい。
【００１６】
視点切替部１２は、ユーザからの視点となる位置情報から多視点映像を選択するための装置である。図示では、１台の視点位置検出器１１に接続されているが、複数台の操作表示端末の視点位置検出器１１が接続されてもよい。これにより、どの視点位置検出器１１から入力されている視点かを認識し、複数のユーザがそれぞれ視点を移動させても、各ユーザの視点を区別して認識することができる。
【００１７】
視点移動履歴部１３は、視点の移動履歴を記憶する部位であり、視点切替部１２から送信される視点位置の移動履歴と次の視点切替速度算定部の結果を記憶する。
【００１８】
視点切替速度算定部１４は、視点移動から視点切替速度を算出する。視点移動履歴部１３に記憶されている移動履歴の情報も参照し、最大視点切替速度も算出する。また、視点切替速度算定部１４は、算出した視点切替速度を通信装置１５に送信する。
【００１９】
通信装置１５は、映像配信サーバ５と通信する有線あるいは無線による適宜の通信装置である。映像配信サーバ５に対して、視点位置と最大視点切替速度などの情報を送信する処理と、映像配信サーバ５から映像情報を受信する処理とを実行する。
【００２０】
多視点映像復号化部１６は、通信装置１５から受信した映像情報と、視点切替部１２から送信される視点位置とに基づいて、映像情報を復号化する。  
表示装置１７は、多視点映像復号化部１６により復号化された映像を表示する。
【００２１】
映像配信サーバ５は、配信制御部２１、セッション管理部２２、および多視点映像符号化装置２３および多視点映像入力装置を備えている。
【００２２】
配信制御部２１は、操作表示端末３の通信装置１５との通信、および視点映像を配信する通信制御を実行する。操作表示端末３との通信について、映像伝送品質を確保する通信プロトコル（ＲＴＰ／ＵＤＰ、および、ネットワーク状況最適化できるＤＣＣＰなどのプロトコル）をサポートする。通信装置１５からは、視点位置変更要求（Ｒｅｑｕｅｓｔ）として視点位置情報等を受信する。
【００２３】
セッション管理部２２は、マルチユーザに対応した視点映像を配信するために、複数の操作表示端末からの要求に対応したユーザ視点を管理する装置である。
【００２４】
多視点映像符号化装置２３は、多視点映像入力装置２４から受信する複数の視点からの映像情報を記憶する。また、セッション管理部２２から受信する視点位置等に基づいて、必要な範囲の映像情報を符号化し、配信制御部２１に送信する。
【００２５】
多視点映像入力装置２４は、複数台のカメラ若しくは複数の映像を記録した映像情報等により構成されており、複数の視点からの映像情報を多視点映像符号化装置２３に送信する。
【００２６】
図２、図３は、多数の視点からの映像情報のうちスムーズな映像再生に必要となる映像情報を抽出する概念の説明図である。
【００２７】
図２（Ａ）は、複数台のカメラで取得する画像情報と時系列とを示す概念図である。なお、ここで言う画像情報は、連続して撮影した連続画像によって動画表示される映像情報の１コマ（１フレーム）としてのフレーム画像の画像情報を指す。
【００２８】
図２（Ａ）は、上下方向が視点位置の違いを示し、左右方向が時間の経過を示している。各視点で取得する映像情報は同期がとられており、同じタイミング毎に１フレームの画像情報を取得する構成となっている。
【００２９】
画像情報は、Ｉフレーム３１とＢフレーム３２とＰフレーム３３の３種類が設定されている。この３種類の画像は、圧縮のための画像の性質によって異なるものである。
【００３０】
すなわち、Ｉフレーム３１は、フレーム（画面）内符号化によって得られる画像を示す。このＩフレーム３１は、１つのＩフレーム３１の画像情報のみで復号できる基準フレームであり、原画像の順序と同じように符号化する。
【００３１】
Ｂフレーム３２は、双予測符号化によって得られる画像を示す。この双予測符号化は、進行方向の前後からの差分の画像であり、Ｉフレーム３１とＰフレーム３３間に符号化して挿入される。
【００３２】
Ｐフレーム３３は、フレーム（画面）間順方向予測符号化によって得られる画像を示す。このＰフレーム３３は、進行方向の手前のＩフレーム３１かＰフレーム３３からの差分の画像であり、原画像の順序と同じように符号化される。
【００３３】
このＩフレーム３１、Ｂフレーム３２、Ｐフレーム３３の３種類の画像情報を復号して連続再生することにより、なめらかな動画再生とデータ量の圧縮とを実現している。
【００３４】
図２（Ｂ）は、複数台のカメラと、ユーザの視点位置の変化と時間経過を示す視点移動説明図である。  
図中の上下方向に並ぶＶｉｅｗ１〜Ｖｉｅｗ１１は、カメラを示している。この図示の例では、１１台のカメラが横並びに配置されている。なお、例えば、Ｖｉｅｗ１，３，５，７，９，１１と間をあけてカメラを配置し、その間の視点での画像（間画像）を合成や補正等によって作成する間画像算出手段を有する構成としてもよい。この場合、間画像算出手段は、視点間を補完する視点間補完画像を間画像として取得する構成にすればよい。
【００３５】
図中の矢印Ｙは、視点が移動する経路を示している。ユーザが歩きながら横移動等をして視点を変えるといった状況を想定した場合、この図に示すように、視点は、時間経過に伴ってなだらかに連続的に移動する。
【００３６】
図２（Ｃ）は、画像圧縮の工夫を説明する説明図である。複数視点の画像情報の場合、図２（Ａ）に示したように、通常は全視点、全タイミングの画像情報が必要となる。
【００３７】
しかし、図２（Ｂ）に示したように移動範囲が限られることを考えれば、図２（Ｃ）に示すように、左上のＩフレーム３１を起点とすると、その下方の三角形の領域３５ａは、視点となり得ない領域となる。したがって、少なくともこの領域の画像情報は、任意視点での連続した画像情報の再生には不要となる。
【００３８】
同様に、図２（Ｄ）に示すように左端の上下方向中央位置のＩフレーム３１を起点とする場合、Ｉフレーム３１から時間経過とともに視点が離れていく斜め方向より手前側（図示左側）の領域３５ｂ，３５ｃの画像情報は不要となる。
【００３９】
ここで、Ｂフレーム３２およびＰフレーム３３は、差分の画像情報であるため、その差分の基礎となる画像情報が必要になる。そして、図２（Ａ）に示した参照状態で上述した領域３５（３５ａ，３５ｂ，３５ｃ）の画像情報を削除すると、差分の参照元画像が存在しないために正しく復号できない。
【００４０】
このため、図２（Ｃ）および図２（Ｄ）に示すように、領域３５の傾斜ライン３６（３６ａ，３６ｂ，３６ｃ）の外側に並ぶフレームについては、図に矢印で示すように斜め方向に参照する差分画像とする。これにより、領域３５の画像情報を削除しても復号できる。
【００４１】
図３（Ａ）は、必要な画像情報をさらに絞り込むための概念を示している。図示するように、時間経過の範囲Ｗ（Ｗ１，Ｗ２）を所定範囲に区切り、この範囲Ｗ単位で上述した不要な領域３５を削除して、三角形の必要領域４１（４１ａ，４１ｂ）のフレームのみで１つのグループとしている。このグループの画像情報を全て含めてグループ画像情報ＧＧＯＰとする。
【００４２】
ここで、図示するように、範囲Ｗは、時間経過における前端の頂点４２が、時間経過における後端の底辺４３より時間経過の過去となる前段側（図示左側）に位置し、換言すれば必要領域４１の内側に位置する。
【００４３】
このため、連続する範囲Ｗは、図示の範囲Ｗ１，Ｗ２に示すように重複部分が生じる。このため、時間経過の後段側の範囲Ｗ２に対応する必要領域４１ｂのうち、図形的に範囲Ｗ１との重複部分を除いた台形の領域を転送すべき必要領域４４としている。
【００４４】
図３（Ｂ）は、処理時間の遅延を示している。図中の（Ｂ１）に示す画像情報の取得から、（Ｂ２）に示す符号化遅延、および（Ｂ３）に示す復号遅延が生じ、表示された後に、視点移動の変更（入力）を発するため、これらの遅延時間が経過してから画像表示に視点移動が反映される。
【００４５】
図３（Ｃ）は、必要領域４１ｂのうち重複部分より後段側のフレームで構成される転送必要領域４４を示している。図示するように、転送必要領域４４には、Ｉフレーム３１、Ｂフレーム３２、およびＰフレーム３３が全て存在している。特に、Ｉフレーム３１が必ず１つは存在するように構成される。これにより、通信や復号等で前後の画像グループにエラーが生じた場合でも、Ｉフレーム３１を用いて単独で画像グループの表示を行うことができる。
【００４６】
図４は、視点移動と、その視点移動の数値化を説明する説明図である。図４（Ａ）に示すように、タイムが１経過すると視点画像（ビュー）が１移動する場合、フレームレートｆ＝スイッチスピードｓとなり、このフレームレートｆをスイッチスピードｓで除算した値の床関数の整数部分である移動レベルｋは１となる。
【００４７】
図４（Ｂ）に示すように、タイムが２経過すると視点画像が１移動する場合、フレームレートｆはスイッチスピードｓの２倍（ｆ＝２ｓ）となり、移動レベルｋは２となる。
【００４８】
図４（Ｃ）に示すように、タイムが１経過すると視点画像が２移動する場合、フレームレートｆはスイッチスピードｓの半分（ｆ＝ｓ／ｓ）となり、移動レベルｋは０となる。
【００４９】
図５は、時刻（ｔ）で表示すべきフレームＦｉ，ｊ（ｔ）を求める計算式と、時刻（ｔ）で表示される可能性のある範囲を示すＲｉ，ｊ’（ｔ）を求める計算式の説明図である。
【００５０】
図５（Ａ）に示すように、まず表示経路Ｎは、Ｎ（ｐ，ｆ，Ｓｒ，Ｔ）で表すことができる。ここで、Ｓｒは図中でＳの上に矢印を記載したものを表している。
【００５１】
ｐは、初期位置であるＦｉ０，ｊ０を示す。  
ｆは、フレームレートを示す。  
Ｓｒは、方向と速度を含むスイッチベクトルリストを示す。  
Ｔは、Ｓｒに対応するタイムリストを示す。
【００５２】
図５（Ｂ）に示すように、時刻ｔで表示されるべきフレームＦｉ，ｊ（ｔ）は、上記表示経路Ｎを表す各変数ｆ，ｔ，Ｓｒおよび初期位置のｉ０，ｊ０を用いて算出することができる。
【００５３】
図５（Ｃ）に示すように、視点移動によって表示される可能性のある予測範囲Ｎ’は、Ｎ’（ｐ，ｆ，ｓ）で表すことができる。
【００５４】
ｐは、初期位置であるＦｉ０，ｊ０を示す。  
ｆは、フレームレートを示す。  
ｓは、最大スイッチスピードを示す。
【００５５】
図５（Ｄ）に示すように、時刻ｔで表示される可能性のある予測範囲Ｒｉ，ｊ’（ｔ）は、上記予測範囲Ｎ’を表す各変数ｆ，ｔ，ｓおよび初期位置のｉ０，ｊ０を用いて算出することができる。なお、式中のＭは、多視点映像における映像番号を示す。
【００５６】
図６は、予測範囲Ｎ’を用いて、必要フレームＰＦｓと不要フレームＲＦｓの比率を求める計算式の説明図である。
【００５７】
図６（Ａ）に示すように、視点ｊにおける必要フレームＰＦｓは、視点Ｊから初期視点Ｊ０を除算した絶対値に移動レベルｋを乗算した値となる。
【００５８】
図６（Ｂ）に示すように、視点ｊの不要フレームＲＦｓの数は、範囲長さＬと前記必要フレームＰＦｓのうち小さいものとなり、これをＥ（ｊ）で表す。
【００５９】
図６（Ｃ）に示すように、各範囲の不要フレームＲＦｓの数は、このＥ（ｊ）をｊ＝１からｊ＝視点の数Ｍまで合計して求められる。
【００６０】
そして、図６（Ｄ）に示すように、必要フレームＰＦｓと不要フレームＲＦｓの比率Ｒは、ＭにＬを乗算した値からｊ＝１からｊ＝ＭまでのＥ（ｊ）の合計値を除算し、その値からｊ＝１からｊ＝ＭまでのＥ（ｊ）の合計値を除算して求められる。
【００６１】
図７は、操作表示端末３の制御手段がプログラムに従って各機能ブロックにより実行する視点送信表示処理の動作を示すフローチャートである。
【００６２】
視点位置検出器１１により視点移動を検出すると（ステップＳ１：Ｙｅｓ）、操作表示端末３は、視点切替部１２、視点移動履歴部１３、および視点切替速度算定部１４を介して視点情報を通信装置１５によって映像配信サーバ５へ送信する（ステップＳ２）。
【００６３】
このとき送信する視点情報は、例えば現在の視点位置を示す座標（ｉ，ｊ）、および移動レベルｋとすることができる。  
また、操作表示端末３は、視点切替部１２から多視点映像復号化部１６にも視点情報を送信する。この送信は、表示する画像を定めるためのものである。
【００６４】
操作表示端末３は、映像配信サーバ５からグループ画像情報ＧＧＯＰを受信すると（ステップＳ３：Ｙｅｓ）、ＲＡＭ等の記憶部に一時記憶する(ステップＳ４)。
【００６５】
操作表示端末３は、次フレームを表示するタイミングであれば（ステップＳ５）、グループ画像情報ＧＧＯＰのうち表示するフレーム画像を決定する（ステップＳ６）。この表示するフレーム画像は、直前の視点位置を示す座標（ｉ，ｊ）と、移動レベルｋとによって定まる。
【００６６】
すなわち、例えば図４（Ａ）に示したようにｋ＝１であれば、時刻が一つ先（図示右側）で視点方向（図示下方）に一つ移動した斜め方向のフレームのフレーム画像に決定する。図４（Ｂ）に示したようにｋ＝２であれば、時刻が一つ先のフレームか、またはそのフレームから視点方向に一つ移動した斜め方向のフレームのフレーム画像に決定する。
【００６７】
このフレーム画像を表示するタイミングか否かは、時間経過とフレームレートｆとに基づいて定めるなど、連続する画像を表示する適宜のタイミングに定めるとよい。
【００６８】
操作表示端末３は、ステップＳ６で表示対象に定めたフレーム画像を表示装置１７に表示する。
【００６９】
操作表示端末３は、不要なフレーム画像があればＲＡＭ等の一時記憶部から削除する（ステップＳ８）。この削除は、例えばグループ画像情報ＧＧＯＰ単位で実行し、表示しているフレームの位置が次のグループ画像情報ＧＧＯＰに入れば、それまで使用していたグループ画像情報ＧＧＯＰを削除するように実行すればよい。これにより、画面表示に必要で参照しなければならないフレーム画像（Ｉフレーム３１、Ｂフレーム３２、Ｐフレーム３３）は残しておき、参照されなくなったフレーム画像を削除することができる。
【００７０】
ステップＳ５で次フレームを表示するタイミングでなければ（ステップＳ：Ｎｏ）、ステップＳ９に処理を進める。  
操作表示端末３は、終了されなければ（ステップＳ９：Ｎｏ）、ステップＳ１に処理を戻して繰り返し、終了されれば（ステップＳ９：Ｙｅｓ）終了する。
【００７１】
図８は、映像配信サーバ５の制御手段がプログラムに従って各機能ブロックにより実行するグループ画像情報作成送信処理の動作を示すフローチャートである。  
映像配信サーバ５は、操作表示端末３から視点情報を受信すると（ステップＳ１１：Ｙｅｓ）、受信した視点情報をメモリ等に一時記憶する（ステップＳ１２）。
【００７２】
映像配信サーバ５は、所定条件か否かを判定する（ステップＳ１３）。ここで、所定条件とは、新たな視点位置のグループ画像情報ＧＧＯＰを送信するタイミングになったか否か判定できる条件とすることができる。
【００７３】
例えば、図３（Ａ）に示した例であれば、１回目のグループ画像情報ＧＧＯＰのフレームレートｆが６で移動レベルｋが２であり、２回目のグループ画像情報ＧＧＯＰの頂点の位置は５フレーム目に位置する。フレーム４３のタイミングで視点位置情報を取得した場合、この５フレーム目での視点位置を頂点４２とする三角形の必要領域４１ｂが定まる。そして、この必要領域４１ｂから１回目の必要領域４１ａとの重複部分を除いた台形状の転送必要領域４４が定まる。従って、現在表示中のフレーム画像が存在しているグループ画像情報ＧＧＯＰ（必要領域４１若しくは転送必要領域４４）において、表示しているフレーム画像が次の転送必要領域４４が定まる次転送領域確定フレームにまで進んだタイミングを、次のグループ画像情報ＧＧＯＰを送信するタイミング、すなわち所定条件とする。
【００７４】
映像配信サーバ５は、所定条件にならなければ（ステップＳ１３：Ｎｏ）ステップＳ１９へ処理を進め、所定条件になれば（ステップＳ１３：Ｙｅｓ）、基準視点を決定する（ステップＳ１４）。このとき決定する基準視点は、上述した次転送領域確定フレームのタイミングで表示するフレーム画像の座標（ｉ，ｊ）とするとよい。
【００７５】
映像配信サーバ５は、決定した基準視点と、移動レベルｋ（最大視点切替速度）とに基づいて、三角形の必要領域４１を決定する（ステップＳ１５）。この必要領域４１は、基準視点の座標（ｉ，ｊ）を頂点として時間の進行方向に末広がりな二等辺三角形をなし、この二等辺三角形の斜面の角度が移動レベルｋによって定められているものである。
【００７６】
映像配信サーバ５は、この必要領域４１と、現在のグループ画像情報ＧＧＯＰの最終時点のフレーム位置（図３（Ａ）の例では６フレーム目）に基づいて、重複部分を除いた台形状の転送必要領域４４を決定する（ステップＳ１６）。
【００７７】
映像配信サーバ５は、転送必要領域４４のグループ画像情報ＧＧＯＰを取得する（ステップＳ１７）。このグループ画像情報ＧＧＯＰは、台形状の転送必要領域４４に含まれているフレーム画像の集合であり、Ｉフレーム３１、Ｂフレーム３２、およびＰフレーム３３が含まれている。
【００７８】
このグループ画像情報ＧＧＯＰの取得は、多視点映像入力装置２４から取得した画像からその都度Ｉフレーム３１、Ｂフレーム３２、およびＰフレーム３３を求める構成とするとよい。このとき、三角形の必要領域４１における斜辺に存在するＢフレーム３２、およびＰフレーム３３については、前後の参照を時間軸のまっすぐ前後ではなく、図２（Ｃ），（Ｄ）とともに説明したとおり斜辺に沿った前後とするようにしている。
【００７９】
映像配信サーバ５は、生成したグループ画像情報ＧＧＯＰを操作表示端末３に送信する（ステップＳ１８）。
【００８０】
映像配信サーバ５は、終了でなければ(ステップＳ１９：Ｎｏ)、ステップＳ１１に処理を戻し、終了であれば（ステップＳ１９：Ｙｅｓ）、処理を終了する。
【００８１】
以上の構成および動作により、ユーザが任意に視点を変更すると、その視点の移動に追従して動画再生する画像の視点を変化させるリアリティの高い映像表示システムを提供することができる。
【００８２】
図９（Ａ）の説明図に示すように、画像情報の転送の際、ユーザの視点位置４０の視点移動の可能性がある範囲に限ってフレーム画像５０をグループ化したグループ画像情報ＧＧＯＰ単位で行い、それ以外の領域に存在するフレーム画像を転送しないため、転送データ量を必要最小限にするとともに、操作表示端末３での視点移動に追従して視点の異なる画像を連続的に表示する動作をスムーズに実行することができる。すなわち、視点移動に伴って必要となり得る範囲のフレーム画像は全て操作表示端末３に転送されているため、スムーズな再生が可能となる。
【００８３】
グループ画像情報ＧＧＯＰの範囲を定める際に、頂点４２の位置を前のグループ画像情報ＧＧＯＰの範囲内に定めているため、表示するフレーム画像が途切れるということがなく、連続してグループ画像情報ＧＧＯＰを送信することができる。
【００８４】
また、視点移動が行われていても、その移動後の視点位置に基づいてグループ画像情報ＧＧＯＰの頂点４２が定まるため、視点移動に追従するためのフレーム画像が存在しないということを防止できる。
【００８５】
また、グループ画像情報ＧＧＯＰの各フレーム画像は、隣接するカメラの映像情報からの差分圧縮を行ってＢフレーム３２やＰフレーム３３を用いて符号化することで、転送する際の全体のデータ容量を削減することができる。
【００８６】
また、グループ画像情報ＧＧＯＰ内に１つはＩフレーム３１を存在させていることにより、ＧＧＯＰ間の再生途中でエラーが生じても当該Ｉフレーム３１に基づいて表示映像を継続させることができる。
【００８７】
したがって、エラー後に不適切な画像が表示され続けることを防止でき、エラーの後も適宜自動的に次のＧＧＯＰで修正して適切な画像を継続表示していくことができる。
【００８８】
なお、以上の実施形態では、複数台のカメラを横並びに設置しておき、ユーザが横方向に視点を移動可能にすることを想定しているが、これに限らず視点移動可能な適宜の構成とすることができる。
【００８９】
例えば、図９（Ｂ）に示すように、３６０度の全方位の映像情報を取得できる広角の全方位カメラでの広角撮影画像５１を使用し、この撮影画像を画像加工して３６０度のパノラマ画像５２とし、このパノラマ画像５２のどの領域を表示するか視点移動によって任意に選択できるようにしてもよい。この場合、パノラマ画像５２のうち、利用者が見たいと思う領域５３を視点移動に伴って移動する構成にすればよい。
【００９０】
この場合でも、複数の領域５３の画像を、複数台のカメラでそれぞれ撮影しているカメラ別画像のようにとらえ、視点移動に追従して表示する画像の視点を変更することができる。
【００９１】
また、対象物の周囲を囲むように複数台のカメラを配置し、この各カメラからの映像を多視点映像として取得する構成にしてもよい。この場合、対象物の周りを移動するように視点移動して様々な角度から対象物を視認することができ、対象物の追尾を実施できる。
【００９２】
また、視点移動の入力は、ユーザが歩く方向や顔を向ける方向を全方位カメラや通常のカメラ等で撮影して画像処理によって視点の方向と移動を検出する構成にする、利用者が体を右に寄せるか左に寄せるかによって右移動と左移動を切り替える構成にする、あるいはマウスやタッチパネルや方向キーといった適宜の入力手段により移動方向と移動速度を入力させるなど、適宜の方法によって実行することができる。
【００９３】
これにより、人の視点位置（ビューポイント）をリアルタイムに検出し、そのビューポイントに最適な映像情報を送出して、リアルな間隔で詳細な３Ｄ映像をも再現することができる。
【００９４】
また、上述した操作表示端末３と映像配信サーバ５の代わりに、図９（Ｃ）のブロック図に示すクライアント端末７０とサーバ８０を備える構成にしてもよい。  
この場合、クライアント端末７０は、視点検出装置７１と、視点位置移動入力部７２と、視点情報送信部７３と、視点画像表示部７５と、Ｇ視点画像受信部７６と、視点画像表示装置７９とで構成してもよい。この場合、視点検出装置７１で視点を検出し、視点位置移動入力部７２で視点の移動を入力し、視点情報送信部７３でサーバ８０に視点情報を送信すればよい。また、Ｇ視点画像受信部７６で前記サーバ８０からＧ視点画像情報を受信し、視点画像表示部７５が、前記視点情報送信部７３から受信した視点情報と前記Ｇ視点画像情報に基づいて視点画像表示装置７９に視点画像を表示すればよい。
【００９５】
また、サーバ８０は、視点情報取得部８１と、視点移動範囲決定部８２と、画像情報取得部８３と、Ｇ視点画像伝送部８４とで構成してもよい。この場合、視点情報取得部８１でクライアント端末７０から視点情報を取得し、視点移動範囲決定部８２で視点移動の可能性がある所定範囲を決定し、画像入力装置８７から必要な画像情報を取得し、Ｇ視点画像伝送部８４で前記所定範囲の画像情報をクライアント端末７０に送信するとよい。  
このように構成した場合でも、上述した実施例と同一の作用効果を奏することができる。
【００９６】
この発明の構成と、上述の実施形態との対応において、
この発明の視点連動画像表示システムは、実施形態の移動視点映像表示システム１に対応し、
以下同様に、
クライアント端末は、操作表示端末３に対応し、
サーバおよびコンピュータは、映像配信サーバ５に対応し、
視点位置移動入力手段は、視点位置検出器１１に対応し、
視点情報送信手段は、ステップＳ２を実行する通信装置１５に対応し、
グループ視点画像受信手段は、ステップＳ３を実行する通信装置１５に対応し、
視点画像表示手段は、表示装置１７に対応し、
グループ視点画像伝送手段は、ステップＳ１８を実行する配信制御部２１に対応し、
視点情報取得手段は、ステップＳ１１を実行する配信制御部２１に対応し、
視点移動範囲決定手段は、ステップＳ１４〜Ｓ１６を実行する配信制御部２１に対応し、
画像情報取得手段は、多視点映像入力装置２４に対応し、
視点移動範囲は、必要領域４１に対応し、
所定範囲は、転送必要領域４４に対応し、
グループ視点画像は、グループ画像情報ＧＧＯＰに対応し、
現在視点位置情報および視点位置は、座標（ｉ，ｊ）に対応し、
視点情報は、座標（ｉ，ｊ）および移動レベルｋに対応し、
最大視点切替範囲情報は、許容する最大の視点切替時の移動レベルｋに対応し、
時間範囲情報は、フレーム数に対応し、
所定時間単位は、６フレーム分の時間単位に対応し、
重複する部分は、必要領域４１ａと必要領域４１ｂの重複部分に対応し、
視点の異なる複数の入力画像は、Ｖｉｅｗ１〜Ｖｉｅｗ１１の撮影画像に対応し、
視点連動画像表示用プログラムは、ステップS11〜S19を実行するプログラムに対応し、
画像情報は、画像情報およびフレーム画像に対応するが、
この発明は、上述の実施形態の構成のみに限定されるものではなく、多くの実施の形態を得ることができる。
【産業上の利用可能性】
【００９７】
この発明は、遠隔地から視点を移動させて対象物や対象風景等を動画で視認する様々なシステムに利用することができ、例えば、遠隔医療システム、３Ｄゲームシステム、映像監視システム、水族館や動物園などのバーチャル鑑賞システム等、適宜の用途に使用することができる。また、全体の超広域映像を録画したデータから、対象物を追尾するシステム（海上の全方位映像、航空写真からの対象物の映像を追尾するシステム）に応用することや、録画データのトラッキングを目的に再エンコーディングしてネットワーク越しで遠隔再生するシステムに応用することもできる。
【符号の説明】
【００９８】
１…移動視点映像表示システム、３…操作表示端末、５…映像配信サーバ、１１…視点位置検出器、１５…通信装置、１７…表示装置、２１…配信制御部、２４…多視点映像入力装置、４０…視点位置、４１，４１ａ，４１ｂ…必要領域、４４…転送必要領域、５０…フレーム画像、ＧＧＯＰ…グループ画像情報、ｋ…移動レベル
【図１】
2012094990.tif 000003
【図２】
2012094990.tif 000004
【図３】
2012094990.tif 000005
【図４】
2012094990.tif 000006
【図５】
2012094990.tif 000007
【図６】
2012094990.tif 000008
【図７】
2012094990.tif 000009
【図８】
2012094990.tif 000010
【図９】
2012094990.tif 000011