(57)【要約】【課題】画像データの必要な範囲を高解像度にし、かつ、通信する画像データ量を最小限に抑える。【解決手段】画像サーバは、カメラにより取り込まれた画像を、ネットワークを介して、ヘッドマウントディスプレイに送信する。ヘッドマウントディスプレイは、受信した画像を表示すると共に、ユーザの眼球の位置を検出し、この視点の分散を画像サーバに送信する。画像サーバは、視点の分散に基づいて、ユーザの視点１５４を中心とする所定の範囲を高解像度画像１５３に、それ以外の範囲を低解像度画像１５２にして、画像データをエンコードし、ヘッドマウントディスプレイに送信する。結果的に、送信される画像データのデータ量を少なくすると共に、ユーザが注視している範囲を高解像度にすることができる。本発明は、ネットワークを介して取得した画像を表示する表示装置に適用することができる。【選択図】　　　図３
2004056335.tif 000002
【特許請求の範囲】
【請求項１】
画像の第１の領域をそれ以外の第２の領域より高解像度にして符号化する符号手段と、
前記符号手段により符号化された前記画像を表示装置に送信する送信手段と、
前記表示装置より、予め設定された所定の時間内における、前記画像に対するユーザの視点の座標の平均値、および分散値を受信する受信手段と、
前記受信手段により受信された前記画像に対する前記ユーザの前記視点の座標の平均値、および前記分散値に基づいて、前記画像内における前記第１の領域を指定する指定手段と
を備え、
前記符号手段は、前記指定手段により指定された前記第１の領域を高解像度にして符号化する
ことを特徴とする情報処理装置。
【請求項２】
前記画像を撮影する撮影手段をさらに備える
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記指定手段は、前記分散値の大きさに比例して、前記第１の領域を広範囲に指定する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記指定手段は、前記視点の座標の平均値を中心にして、前記第１の領域を指定する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項５】
画像の第１の領域をそれ以外の第２の領域より高解像度にして符号化する符号ステップと、
前記符号ステップの処理により符号化された前記画像を表示装置に送信する送信ステップと、
前記表示装置より、前記画像に対するユーザの視点の座標の平均値、および分散値を受信する受信ステップと、
前記受信ステップの処理により受信された前記画像に対する前記ユーザの前記視点の座標の平均値、および前記分散値に基づいて、前記画像内における前記第１の領域を指定する指定ステップと
を含み、
前記符号ステップの処理は、前記指定ステップの処理により指定された前記第１の領域を高解像度にして符号化する
ことを特徴とする情報処理方法。
【請求項６】
画像の第１の領域をそれ以外の第２の領域より高解像度にして符号化する符号ステップと、
前記符号ステップの処理により符号化された前記画像の表示装置への送信を制御する送信制御ステップと、
前記表示装置からの、前記画像に対するユーザの視点の座標の平均値、および分散値の受信を制御する受信制御ステップと、
前記受信制御ステップの処理により受信が制御された前記画像に対する前記ユーザの前記視点の座標の平均値、および前記分散値に基づいて、前記画像内における前記第１の領域を指定する指定ステップと
をコンピュータに実行させることを特徴とするプログラム。
【請求項７】
情報処理装置より、第１の領域がそれ以外の第２の領域より高解像度にして符号化された画像を受信する受信手段と、
前記受信手段により受信された前記画像を復号する復号手段と、
前記復号手段により復号された前記画像を表示する表示手段と、
前記表示手段により表示されている前記画像に対するユーザの視点の座標を検出する検出手段と、
前記検出手段により検出された前記ユーザの視点の座標を、予め設定された所定の時間毎に取得する取得手段と、
前記取得手段により取得された、所定の個数の前記視点の座標の平均値、および分散を演算する演算手段と、
前記演算手段により演算された、前記ユーザの視点の座標の前記平均値および前記分散値を、前記情報処理装置に送信する送信手段と
を備えることを特徴とする表示装置。
【請求項８】
情報処理装置より、第１の領域がそれ以外の第２の領域より高解像度にして符号化された画像を受信する受信ステップと、
前記受信ステップの処理により受信された前記画像を復号する復号ステップと、
前記復号ステップの処理により復号された前記画像を表示する表示ステップと、
前記表示ステップの処理により表示されている前記画像に対するユーザの視点の座標を検出する検出ステップと、
前記検出ステップの処理により検出された前記ユーザの視点の座標を、予め設定された所定の時間毎に取得する取得ステップと、
前記取得ステップの処理により取得された、所定の個数の前記視点の座標の平均値、および分散を演算する演算ステップと、
前記演算ステップの処理により演算された、前記ユーザの視点の座標の前記平均値および前記分散値を、前記情報処理装置に送信する送信ステップと
を含むことを特徴とする表示方法。
【請求項９】
情報処理装置からの、第１の領域がそれ以外の第２の領域より高解像度にして符号化された画像の受信を制御する受信制御ステップと、
前記受信制御ステップの処理により受信が制御された前記画像を復号する復号ステップと、
前記復号ステップの処理により復号された前記画像の表示を制御する表示制御ステップと、
前記表示制御ステップの処理により表示が制御されている前記画像に対するユーザの視点の座標を検出する検出ステップと、
前記検出ステップの処理により検出された前記ユーザの視点の座標を、予め設定された所定の時間毎に取得する取得ステップと、
前記取得ステップの処理により取得された、所定の個数の前記視点の座標の平均値、および分散を演算する演算ステップと、
前記演算ステップの処理により演算された、前記ユーザの視点の座標の前記平均値および前記分散値の、前記情報処理装置への送信を制御する送信制御ステップと
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、情報処理装置および方法、表示装置および方法、並びにプログラムに関し、特に、画像の必要な範囲を高解像度にしつつ、かつ、通信する画像データ量を最小限に抑えることができるようにした情報処理装置および方法、表示装置および方法、並びにプログラムに関する。
【０００２】
【従来の技術】
従来、例えばパーソナルコンピュータが、エンコードされた画像データをサーバからダウンロードし、同時に再生する、所謂、ストリーミング再生の技術が知られている。この場合、サーバからパーソナルコンピュータに送信される画像データは、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）２、またはＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）などの画像圧縮規格により圧縮（符号化）されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、ＭＰＥＧ２やＪＰＥＧなどの画像圧縮規格においては、画像の解像度、すなわち、圧縮係数は１つの画面で一定であった。従って、サーバからパーソナルコンピュータに、高解像度の画像を送信する場合、画面全体を高解像度で圧縮する必要があり、送信する画像データのデータ量が多くなるという課題があった。
【０００４】
従って、画像データの送信時間が長くなってしまったり、ネットワークに大きな負荷をかけてしまうという課題があった。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、ユーザの視点のばらつきにもとづいて、画像の最適な範囲を高解像度にし、かつ、通信する画像データ量を最小限に抑えることを目的とする。
【０００６】
【課題を解決するための手段】
本発明の情報処理装置は、画像の第１の領域をそれ以外の第２の領域より高解像度にして符号化する符号手段と、符号手段により符号化された画像を表示装置に送信する送信手段と、表示装置より、予め設定された所定の時間内における、画像に対するユーザの視点の座標の平均値、および分散値を受信する受信手段と、受信手段により受信された画像に対するユーザの視点の座標の平均値、および分散値に基づいて、画像内における第１の領域を指定する指定手段とを備え、符号手段は、指定手段により指定された第１の領域を高解像度にして符号化することを特徴とする。
【０００７】
前記画像を撮影する撮影手段をさらに設けるようにすることができる。
【０００８】
前記指定手段には、前記分散値の大きさに比例して、前記第１の領域を広範囲に指定するようにさせることができる。
【０００９】
前記指定手段には、前記視点の座標の平均値を中心にして、前記第１の領域を指定するようにさせることができる。
【００１０】
本発明の情報処理方法は、画像の第１の領域をそれ以外の第２の領域より高解像度にして符号化する符号ステップと、符号ステップの処理により符号化された画像を表示装置に送信する送信ステップと、表示装置より、記画像に対するユーザの視点の座標の平均値、および分散値を受信する受信ステップと、受信ステップの処理により受信された画像に対するユーザの視点の座標の平均値、および分散値に基づいて、画像内における第１の領域を指定する指定ステップとを含み、符号ステップの処理は、指定ステップの処理により指定された第１の領域を高解像度にして符号化することを特徴とする。
【００１１】
本発明の第１のプログラムは、画像の第１の領域をそれ以外の第２の領域より高解像度にして符号化する符号ステップと、符号ステップの処理により符号化された画像の表示装置への送信を制御する送信制御ステップと、表示装置からの、画像に対するユーザの視点の座標の平均値、および分散値の受信を制御する受信制御ステップと、受信制御ステップの処理により受信が制御された画像に対するユーザの視点の座標の平均値、および分散値に基づいて、画像内における第１の領域を指定する指定ステップとをコンピュータに実行させることを特徴とする。
【００１２】
本発明の表示装置は、情報処理装置より、第１の領域がそれ以外の第２の領域より高解像度にして符号化された画像を受信する受信手段と、受信手段により受信された画像を復号する復号手段と、復号手段により復号された画像を表示する表示手段と、表示手段により表示されている画像に対するユーザの視点の座標を検出する検出手段と、検出手段により検出されたユーザの視点の座標を、予め設定された所定の時間毎に取得する取得手段と、取得手段により取得された、所定の個数の視点の座標の平均値、および分散を演算する演算手段と、演算手段により演算された、ユーザの視点の座標の平均値および分散値を、情報処理装置に送信する送信手段とを備えることを特徴とする。
【００１３】
本発明の表示方法は、情報処理装置より、第１の領域がそれ以外の第２の領域より高解像度にして符号化された画像を受信する受信ステップと、受信ステップの処理により受信された画像を復号する復号ステップと、復号ステップの処理により復号された画像を表示する表示ステップと、表示ステップの処理により表示されている画像に対するユーザの視点の座標を検出する検出ステップと、検出ステップの処理により検出されたユーザの視点の座標を、予め設定された所定の時間毎に取得する取得ステップと、取得ステップの処理により取得された、所定の個数の視点の座標の平均値、および分散を演算する演算ステップと、演算ステップの処理により演算された、ユーザの視点の座標の平均値および分散値を、情報処理装置に送信する送信ステップとを含むことを特徴とする。
【００１４】
本発明の第２のプログラムは、情報処理装置からの、第１の領域がそれ以外の第２の領域より高解像度にして符号化された画像の受信を制御する受信制御ステップと、受信制御ステップの処理により受信が制御された画像を復号する復号ステップと、復号ステップの処理により復号された画像の表示を制御する表示制御ステップと、表示制御ステップの処理により表示が制御されている画像に対するユーザの視点の座標を検出する検出ステップと、検出ステップの処理により検出されたユーザの視点の座標を、予め設定された所定の時間毎に取得する取得ステップと、取得ステップの処理により取得された、所定の個数の視点の座標の平均値、および分散を演算する演算ステップと、演算ステップの処理により演算された、ユーザの視点の座標の平均値および分散値の、情報処理装置への送信を制御する送信制御ステップとをコンピュータに実行させることを特徴とする。
【００１５】
本発明の情報処理装置および方法、並びにプログラムにおいては、画像の第１の領域がそれ以外の第２の領域より高解像度にして符号化され、符号化された画像が表示装置に送信され、表示装置より、予め設定された所定の時間内における、画像に対するユーザの視点の座標の平均値、および分散値が受信され、受信された画像に対するユーザの視点の座標の平均値、および分散値に基づいて、画像内における第１の領域が指定され、指定された第１の領域が高解像度にして符号化される。
【００１６】
本発明の表示装置および方法、並びにプログラムにおいては、情報処理装置より、第１の領域がそれ以外の第２の領域より高解像度にして符号化された画像が受信され、受信された画像が復号され、復号された画像が表示され、表示されている画像に対するユーザの視点の座標が検出され、検出されたユーザの視点の座標が、予め設定された所定の時間毎に取得され、取得された、所定の個数の視点の座標の平均値、および分散が演算され、演算された、ユーザの視点の座標の平均値および分散値が、情報処理装置に送信される。
【００１７】
【発明の実施の形態】
図１は、本発明を適用したサービス提供システムの一実施の形態を示す図である。本実施の形態においては、図１において、インターネットなどのネットワーク１０には、ヘッドマウントディスプレイ（ＨＭＤ）１１、および画像サーバ１２が接続されている。また、画像サーバ１２は、カメラ１３に接続されている。カメラ１３により撮影された画像は、画像サーバ１２により加工され、ネットワーク１０を介して、ヘッドマウントディスプレイ１１に供給される。ヘッドマウントディスプレイ１１は、ネットワーク１０を介して、画像サーバ１２から供給された画像を表示し、ユーザに視聴させる。
【００１８】
図２は、ヘッドマウントディスプレイ１１の外観の構成例を示している。ユーザは、ヘッドマウントディスプレイ１１を、図２に示されるように、メガネをかけるように装着する。ヘッドマウントディスプレイ１１においては、ユーザの目の前方の位置に、映像を表示する表示部２５８（図５）が配置されている。ユーザは、この表示部２５８に表示される映像を見ることができる。ヘッドマウントディスプレイ１１には、視点検出部１０１が内蔵されている。視点検出部１０１は、例えば角膜（強膜）反射方式（眼球の黒目と白目の反射率の違いを利用する）により、ユーザの眼球の位置を検出する。視点検出部１０１の視点検出の原理について以下に説明する。
【００１９】
視点検出部１０１は、水平方向の眼球の位置を検出するセンサと、垂直方向の眼球の位置を検出するセンサにより構成される。水平方向の眼球の位置を検出するセンサは、１つの発光素子（赤外ＬＥＤ）、および発光素子を挟むように左右に配置された２つの受光素子（フォトダイオード）により構成される。発光素子は、眼球の中央に位置する黒目に赤外光を照射する。受光素子は、発光素子が眼球に照射した赤外光の反射光を受光する。左右の受光素子によりそれぞれ受光された反射光の強度の差に基づいて、水平方向の眼球の位置が検出される。
【００２０】
すなわち、眼球の黒目の部分は、反射率が低く、白目の部分は、反射率が高い。よって、黒目の部分の面積が大きくなる側の受光素子は、黒目の部分の面積が小さい側の受光素子と比べて、より少ない反射光しか受光しない。従って、黒目が右側の受光素子側に移動した場合、右側の受光素子が受光する反射光の光量は左側の受光素子と比べて少ないものとなる。反対に、黒目が左側の受光素子側に移動した場合、左側の受光素子が受光する反射光の光量は右側の受光素子と比べて少ないものとなる。以上のような、左右の受光素子が受光する反射光の強度の差に基づいて、眼球の水平方向の位置が検出される。
【００２１】
垂直方向の眼球の位置を検出するセンサも、１つの発光素子（赤外ＬＥＤ）、および発光素子を挟むように左右に配置された２つの受光素子（フォトダイオード）により構成される。発光素子は、眼球の表面下縁に向かって赤外光を照射する。受光素子は、発光素子が眼球に照射した赤外光の反射光を受光する。左右の受光素子によりそれぞれ受光された反射光の強度の和に基づいて、垂直方向の眼球の位置が検出される。
【００２２】
すなわち、眼球が下を向くと、眼球の表面下縁における黒目の面積が多くなるため、左右の受光素子が受光する反射光強度が低くなる。反対に、眼球が上を向くと、黒目の面積が少なくなるため、左右の受光素子が受光する反射光強度が高くなる。左右の受光素子が受光した反射光の強度を足し算することにより、眼球の垂直方向の眼球の位置が検出される。
【００２３】
なお、以上のような視点検出方法は、例えば、特開平８−２２９００８号公報に開示されている。また、視点検出部１０１の視点検出方法としては、上記した角膜反射方式に限定されるものではなく、角膜反射方式以外の方法を用いても良い。例えば、ＶＯＧ（Ｖｉｄｅｏ−ｏｃｕｌｏｇｒａｍ）方式を用いるようにすることもできる。
【００２４】
ヘッドマウントディスプレイ１１は、視点検出部１０１により検出されたユーザの眼球の位置に基づいて、表示部２５８に表示されている画像の中で、ユーザの視線が注がれている部分を特定する。その後、ヘッドマウントディスプレイ１１は、ユーザの視線が注がれている部分を特定する情報を、ネットワーク１０を介して、画像サーバ１２に通知する。画像サーバ１２は、ヘッドマウントディスプレイ１１からの通知に基づいて、ユーザの視線が注がれている部分の画像を、それ以外の部分より高解像度にした画像データを、ヘッドマウントディスプレイ１１に供給する。その結果、ヘッドマウントディスプレイ１１の表示部２５８には、例えば図３に示されるような画像が表示される。
【００２５】
図３の画面１５１は、表示部２５８に表示されている画面を示している。画面１５１中、視点１５４は、ユーザの視線が注がれていた部分である。視点１５４を中心として所定の領域が高解像度画像１５３となっている。また、画面１５１中、高解像度画像１５３以外の領域が低解像度画像１５２となっている。このように、送信する画像データのうち、ユーザが注視している部分のみを高解像度とし、それ以外の部分を低解像度とすることにより、画像データ全体のデータ量を少なくすることが可能である。従って、画像サーバ１２からヘッドマウントディスプレイ１１に送信する画像データのデータ量が少なくなるため、より短時間で、画像サーバ１２からヘッドマウントディスプレイ１１に画像データを送信することができる。
【００２６】
本発明は、図３の高解像度画像の領域が、ユーザの視点の位置の分散に基づいて可変であることを１つの特徴とする。すなわち、ユーザが、１点を凝視している場合、ユーザの視点の座標の分散が小さくなるため、高解像度画像１５３の領域を、ユーザが凝視している点を中心とした小さい範囲にとどめる。一方、ユーザが、画面１５１の１点を凝視せず、視点が移動している場合、ユーザの視点の分散が大きくなるため、高解像度画像１５３の領域をより広い範囲に取る。このようにすることにより、画像サーバ１２からヘッドマウントディスプレイ１１に送信すべき画像データのデータ量を必要最小限にしつつ、ユーザが注視する部分については、より高解像度の画像とすることができる。
【００２７】
このように、画像データのうち、所定の領域のみを高解像度画像１５３にし、それ以外の領域を低解像度画像１５２にする画像圧縮方式として、本実施の形態においては、ＪＰＥＧ２０００を利用する。ＪＰＥＧ２０００は、画像の一部分だけを高い解像度で実現する機能を有している。なお、このことは、本発明の画像圧縮方式がＪＰＥＧ２０００に限定されることを意味するものではない。画像データのうち、所定の領域のみを高解像度にし、それ以外の領域を低解像度にすることが可能な、ＪＰＥＧ２０００以外の画像圧縮方式を利用することも勿論可能である。
【００２８】
次に、図４は、画像サーバ１２の内部の構成例を表している。図４において、操作部２０１は、画像サーバ１２の管理者の操作の入力を受け付け、入力された操作に対応する操作情報を制御部２０２に送信する。制御部２０２は、操作部２０１から受信した操作情報に従って、画像サーバ１２内の各部の動作を制御する。また、制御部２０２は、タイマを内蔵しており、タイマに基づいた所定のタイミングで、予め設定された所定のプログラムを実行し、画像サーバ１２内の各部の動作を制御する。
【００２９】
エンコーダ２０３は、カメラ１３により取り込まれている画像を、キャプチャする。そして、エンコーダ２０３は、キャプチャした画像データを、ＲＯＩ（Ｒｅｇｉｏｎ　ｏｆ　Ｉｎｔｅｒｅｓｔ）指定部２０５からの指定に従って、ＪＰＥＧ２０００の画像圧縮方式により圧縮（符号化）して、所定の領域を高解像度にし、それ以外の部分を低解像度にした画像データを作成する。そして、エンコーダ２０３は、作成した画像データを通信部２０４に送信する。
【００３０】
通信部２０４は、エンコーダ２０３から供給されたＪＰＥＧ２０００方式でエンコードされた画像データを、ネットワーク１０を介して、ヘッドマウントディスプレイ１１に送信する。また、通信部２０４は、ネットワーク１０を介して、ヘッドマウントディスプレイ１１より、視点情報を受信し、これをＲＯＩ指定部２０５に供給する。なお、視点情報とは、ユーザが注視している部分を特定するための情報であり、詳細な説明は後述する。
【００３１】
ＲＯＩ指定部２０５は、通信部２０４から供給された視点情報に基づいて、高解像度にする領域とそれ以外の領域を、エンコーダ２０３に対して指定する。
【００３２】
次に、図５は、ヘッドマウントディスプレイ１１の内部の構成例を表している。図５において、操作部２５１は、ユーザの操作の入力を受け付け、入力された操作に対応する操作情報を制御部２５２に送信する。制御部２５２は、操作部２５１から受信した操作情報に従って、ヘッドマウントディスプレイ１１内の各部の動作を制御する。また、制御部２５２は、タイマを内蔵しており、タイマに基づいた所定のタイミングで、予め設定された所定のプログラムを実行し、ヘッドマウントディスプレイ１１内の各部の動作を制御する。
【００３３】
視点検出部１０１は、ユーザの眼球の位置を検出して（詳細な説明は上記した通り）、画面１５１上のユーザが注視している座標（以下、画面１５１上のユーザが注視している座標を視点座標とも称する）を演算し、この視点座標を視点座標保持部２５３に供給する。視点座標保持部２５３は、視点検出部１０１から供給された視点座標を記憶する。また、視点座標保持部２５３は、視点座標を演算処理部２５４に供給すると共に、演算処理部２５４より、演算結果としての視点情報を受信し記憶する。そして、視点座標保持部２５３は、記憶した視点情報を、所定のタイミングで、パケット作成部２５５に供給する。
【００３４】
演算処理部２５４は、視点座標保持部２５３より、視点座標を取得し、この視点座標に基づいて視点情報を演算する。そして、演算処理部２５４は、演算結果の視点情報を視点座標保持部２５３に供給し、記憶させる。
【００３５】
パケット作成部２５５は、所定のタイミングで、視点座標保持部２５３より視点情報を取得し、この視点情報をパケット通信により画像サーバ１２に送信するためのパケットを作成し、これを通信部２５６に供給する。通信部２５６は、パケット作成部２５５から供給された、視点情報を含むパケットを、ネットワーク１０を介して、画像サーバ１２に送信する。また、通信部２５６は、ネットワーク１０を介して、画像サーバ１２から、ＪＰＥＧ２０００方式で圧縮（符号化）された画像データを受信し、これをデコーダ２５７に供給する。
【００３６】
デコーダ２５７は、通信部２５６から供給された画像データを伸長（復号）し、これを表示部２５８に供給する。表示部２５８は、例えば小型のＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）により構成され、デコーダ２５７から供給された、伸長された画像データに基づいて、画像を出力し、ユーザの目の前に表示させ、閲覧させる。
【００３７】
次に、図６および図７のフローチャートを参照して、画像データ表示処理、すなわち、画像サーバ１２からヘッドマウントディスプレイ１１に画像データを供給し、ヘッドマウントディスプレイ１１の表示部２５８に表示するまでの処理について説明する。
【００３８】
なお、図６はヘッドマウントディスプレイ１１の処理を、図７は画像サーバ１２の処理を、それぞれ示している。また、ヘッドマウントディスプレイ１１と画像サーバ１２間の通信は、全てネットワーク１０を介して行われるものとして、以下の説明においては、ネットワーク１０を介する旨の記載は省略する。
【００３９】
図６のステップＳ１０１において、ヘッドマウントディスプレイ１１の制御部２５２は、操作部２５１からの操作情報に基づいて、ユーザから画像視聴開始の指示が入力されたか否かを判定して、待機する。そして、ユーザから画像視聴開始の指示が入力された場合、ステップＳ１０２に進み、制御部２５２は、通信部２５６を介して、画像サーバ１２に、画像データを要求する。
【００４０】
図７のステップＳ１３１において、画像サーバ１２の制御部２０２は、通信部２０４を介して、ヘッドマウントディスプレイ１１より画像データの要求を受信すると、ステップＳ１３２において、画像データ送信処理を実行する。
【００４１】
画像データ送信処理の詳細について、図８のフローチャートを参照して説明する。図８のステップＳ１７１において、制御部２０１は、エンコードするタイミングか否かを判定し、エンコードするタイミングである場合、処理はステップＳ１７１に進む。なお、今回は、ヘッドマウントディスプレイ１１より画像データの要求を受信してから初めての画像データ送信処理なので、制御部２０２は、ステップＳ１７１において、エンコードするタイミングであると判定し、処理はステップＳ１７２に進む。
【００４２】
ステップＳ１７２において、制御部２０２は、エンコーダ２０３に指示して、カメラ１３から供給されている画像データをキャプチャさせる。ステップＳ１７３において、制御部２０２は、ＲＯＩ指定部２０５に、ＲＯＩパラメータをエンコーダ２０３に供給するように指示する。ここで、ＲＯＩパラメータとは、高解像度の領域を指定する情報のことである。
【００４３】
ただし、今回は、ヘッドマウントディスプレイ１１より画像データの要求を受信してから初めての画像データ送信処理であり、ヘッドマウントディスプレイ１１から、視点情報を取得していないので、ＲＯＩ指定部２０５は、高解像度領域を指定しない。従って、ステップＳ１７３において、ＲＯＩ指定部２０５からエンコーダ２０３へは、高解像度領域が無いことを示すＲＯＩパラメータが供給される。エンコーダ２０３は、ＲＯＩ指定部２０５より、高解像度領域がないことを示すＲＯＩパラメータを取得する。
【００４４】
ステップＳ１７４において、制御部２０２からの指示により、エンコーダ２０３は、ステップＳ１７３で取得したＲＯＩパラメータに従って、ステップＳ１７２でキャプチャした画像データをエンコードする。なお、今回は、ヘッドマウントディスプレイ１１より画像データの要求を受信してから初めての画像データ送信処理であり、上記したように、ステップＳ１７３で高解像度領域が無いことを示すＲＯＩパラメータを取得しているので、エンコーダ２０３は、画像データ全体を低解像度にして画像をエンコードする。
【００４５】
ステップＳ１７５において、制御部２０２からの指示により、エンコーダ２０３は、ステップＳ１７４でエンコードした画像データを、通信部２０４に供給する。通信部２０４は、エンコーダ２０３から供給された、エンコードされた画像データを、ヘッドマウントディスプレイ１１に送信する。なお、この送信には、例えばＲＴＰ（Ｒｅａｌ−ｔｉｍｅ　Ｔｒａｎｓｐｏｒｔ　Ｐｒｏｔｏｃｏｌ）が利用される。
【００４６】
ステップＳ１７６において、制御部２０２は、エンコード時間を更新する。すなわち、一旦画像をエンコードして送信して（ステップＳ１７１乃至ステップＳ１７６）から次に画像をエンコードして送信するまでの時間は予め設定されている。その時間は、例えば、０．１秒とされる。そこで、制御部２０２は、例えば０．１秒後に、再度、ステップＳ１７１乃至ステップＳ１７６の処理を開始するように、内蔵するタイマを更新する。
【００４７】
以上で、画像データ送信処理を終了する。
【００４８】
ヘッドマウントディスプレイ１１の制御部２５２は、ステップＳ１０３において、画像サーバ１２が図８のステップＳ１７５で送信した画像データを、通信部２５６を介して受信する。ステップＳ１０４において、制御部２５２は、ステップＳ１０３で受信されたパケットの受信状況に基づいて、パケット喪失率を算出し、パケット損失率を含むＲＴＣＰ（ＲＴＰ　Ｃｏｎｔｒｏｌ　Ｐｒｏｔｏｃｏｌ）レシーバレポートを、通信部２５６を介して、画像サーバ１２に送信する。図９は、ステップＳ１０４で、ヘッドマウントディスプレイ１１から画像サーバ１２に送信されるＲＴＣＰレシーバレポートのフォーマットを示す図である。なお、ＲＴＣＰ　Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃは、ＲＦＣ（Ｒｅｑｕｅｓｔ　Ｆｏｒ　Ｃｏｍｍｅｎｔｓ）１８８９に定義されている。
【００４９】
図９のＲＴＣＰレシーバレポートにおいて、１番上の段の１番左側から右に向かって、バージョン番号（ｖ）、パディング（ｐ）、ペイロードタイプ（Ｐｔ＝２０１）、メッセージ長が記録されている。上から２段目には、送信者の同期ソース識別子（ＳＳＲＣ）が記録されている。上から３段目には、左からパケット損失率、および累計喪失パケット数が記録されている。上から４段目には、最大受信シーケンス番号が記録されている。上から５段目には、パケット間隔ジッタが記録されている。上から６段目には、最新送信レポート時刻が記録されている。１番下の段には、送信レポート経過時間が記録されている。
【００５０】
図７に戻って、ステップＳ１３３において、画像サーバ１２の制御部２０２は、図６のステップＳ１０４でヘッドマウントディスプレイ１１が送信したパケット喪失率を、通信部２０４を介して受信し、記憶する。すなわち、制御部２０２は、図９のＲＴＣＰレシーバレポートからパケット喪失率を読み出し、記憶する。
【００５１】
ここで、図６に戻り、ステップＳ１０５において、ヘッドマウントディスプレイ１１の制御部２５２は、ステップＳ１０３で受信した画像データを、通信部２５６からデコーダ２５７に供給させる。そして、デコーダ２５７は、制御部２５２からの指示により、供給された画像データをデコードし、表示部２５８に供給する。表示部２５８は、供給された画像データに対応する画像を表示させる。ユーザは、表示部２５８に表示された画像を見ることができる。
【００５２】
ステップＳ１０６において、ヘッドマウントディスプレイ１１の制御部２５２は、操作部２５１からの操作情報に基づいて、ユーザにより視聴停止の指示が入力されたか否かを判定し、ユーザにより視聴停止の指示が入力された場合、処理はステップＳ１０７に進む。
【００５３】
ステップＳ１０７において、ヘッドマウントディスプレイ１１の制御部２５２は、通信部２５６を介して、画像サーバ１２に視聴停止を通知する。そして、ヘッドマウントディスプレイ１１は、画像データ表示処理を終了する。
【００５４】
このとき、画像サーバ１２の制御部２０２は、ヘッドマウントディスプレイ１１がステップＳ１０７で送信した視聴停止の通知を受信するため、図７のステップＳ１３４において、視聴停止の通知が受信されたと判定し、画像データ表示処理を終了する。
【００５５】
視聴停止の指示が入力されていない場合、図６のステップＳ１０６において、ヘッドマウントディスプレイ１１の制御部２５２は、視聴停止の指示が入力されていないと判定し、ステップＳ１０３に戻り、ステップＳ１０３以降の処理を繰り返し実行する。すなわち、画像サーバ１２の制御部２０２は、図７のステップＳ１３４において、ヘッドマウントディスプレイ１１より、視聴停止の通知が受信されていないと判定し、ステップＳ１３２以降の処理を繰り返す。従って、ヘッドマウントディスプレイ１１は、ステップＳ１０３において、画像サーバ１２より、次の画像データを受信し、それ以降の処理を繰り返す。
【００５６】
ところで、画像サーバ１２からヘッドマウントディスプレイ１１に、１つ目の画像データ（全体が低解像度領域の画像データ）が送信され、ヘッドマウントディスプレイ１１の表示部２５８に表示されたとき、ヘッドマウントディスプレイ１１は、ユーザの視点の位置に基づいて、視点情報を算出し、これを画像サーバ１２に送信する。画像サーバ１２は、この視点情報に基づいて、図８のステップＳ１７４で、高解像度領域を含む画像データを作成し、ヘッドマウントディスプレイ１１に供給する。ヘッドマウントディスプレイ１１は、供給された高解像度領域のある画像データを表示する。
【００５７】
そこで、次に、図１０のフローチャートを参照して、ヘッドマウントディスプレイ１１の視点情報送信処理、すなわち、ヘッドマウントディスプレイ１１が視点情報を算出し、ヘッドマウントディスプレイ１１から、画像サーバ１２に視点情報を送信するまでの処理について説明する。なお、視点情報送信処理は、視聴開始の指示が入力された後、１回目のステップＳ１０５の処理により、表示部２５８に画像が表示されたとき、開始される。
【００５８】
図１０のステップＳ２０１において、制御部２５２からの指示により、演算処理部２５４は、変数ｎを初期化して、ｎ＝０に設定する。各変数の具体的な説明は後述する。
【００５９】
ステップＳ２０２において、ヘッドマウントディスプレイ１１の制御部２５２は、内蔵するタイマに基づいて、視点情報の計算時刻か否かを判定し、計算時刻である場合、処理はステップＳ２０３に進む。なお、図１０のステップＳ２０１の後、１回目のステップＳ２０２の処理においては、制御部２５２は、視点情報の計算時刻であると判定し、処理はステップＳ２０３に進む。
【００６０】
ステップＳ２０３において、制御部２５２からの指示により、視点座標保持部２５３は、視点検出部１０１から供給される視点座標を記憶する。ここで、視点座標について、図１１を参照して説明する。図１１において、画面領域４０１は、表示部２５８に表示される画面全体を示している。画面領域４０１の横方向にＸ軸を、縦方向にＹ軸をとる。画面領域４０１のＸ軸方向を０乃至１００の１０１個の座標に分割する。同様に、画面領域４０１のＹ軸方向を０乃至１００の１０１個の座標に分割する。視点検出部１０１は、ユーザの眼球の位置を検出した後、その眼球の位置において、眼球が注視している画面領域４０１の座標を算出する。
【００６１】
視点検出部１０１は、例えば、眼球が注視している位置が、図１１の視点４０２であると算出する。その後、視点検出部１０１は、視点４０２の画面領域４０１内での座標を算出する。例えば、視点４０２が、図１１のように、画面領域４０１の中央に位置していた場合、視点検出部１０１は、視点座標を（ｘ，ｙ）＝（５０，５０）と算出する。視点検出部１０１は、所定のタイミングで、視点座標を算出し、視点座標保持部２５３に出力している。視点検出部２５４は、１秒間にａ回以上、視点座標を算出する。なお、ａは、予め設定された所定の定数のことであり、後述するステップＳ２０５の処理で利用される。視点検出部２５４は、例えば、１秒間に１００回、視点座標を算出する。
【００６２】
視点座標保持部２５３は、視点検出部１０１から供給された視点座標を記憶する。
【００６３】
ステップＳ２０４において、制御部２５２からの指示により、演算処理部２５４は、変数ｎの値を１だけインクリメントする。ステップＳ２０５において、演算処理部２０５は、ｎ≧ａ（ただし、ａは予め設定された定数）か否かを判定する。なお、以下の例においては、ａ＝１０に設定されている。ただし、勿論、ａ＝１０は一例であり、ａは１０以外の値でも良い。
【００６４】
そして、演算処理部２０５がｎ≧ａではないと判定した場合、処理はステップＳ２０２に戻り、ステップＳ２０２以降の処理が繰り返し実行される。
【００６５】
ステップＳ２０５で、演算処理部２０５がｎ≧ａであると判定するまで、ステップＳ２０２乃至ステップＳ２０５の処理は繰り返される。そして、そのたびに、ｎが１ずつインクリメントされてゆく。
【００６６】
以下に、２回目以降のステップＳ２０２乃至ステップＳ２０５の処理について説明する。１回目のステップＳ２０５の処理で、演算処理部２０５がｎ≧ａではないと判定した後、２回目のステップＳ２０２において、制御部２５２は、計算時刻であるか否かを判定する。なお、ステップＳ２０１の処理の後、ステップＳ２０５で演算処理部２０５がｎ≧ａであると判定するまでの間、制御部２５２に内蔵されているタイマは、例えば０．１秒毎に、計算時刻であると判定するようになっている。そこで、２回目のステップＳ２０２において、制御部２５２は、計算時刻であると判定する。そして、制御部２５２が、計算時刻であると判した後、ステップＳ２０３で、視点座標保持部２５３は、視点検出部１０１から入力される視点座標を記憶し、ステップＳ２０４で、演算処理部２５４はｎの値を１だけインクリメントして、ｎ＝２とする。
【００６７】
その後、２回目のステップＳ２０５の処理で、演算処理部２０５がｎ≧ａではないと判定した後、３回目のステップＳ２０２において、制御部２５２は、計算時刻であるか否かを判定する。そして、制御部２５２が、計算時刻であると判した後、ステップＳ２０３で、視点座標保持部２５３は、視点検出部１０１から入力される視点座標を記憶し、ステップＳ２０４で、演算処理部２５４はｎの値を１だけインクリメントして、ｎ＝３とする。
【００６８】
以降、同様にして、４回目乃至９回目のステップＳ２０２乃至ステップＳ２０５の処理が実行されたとき、視点座標保持部２５３には、９個の視点座標が記憶され、ｎはｎ＝９になっている。その後、１０回目のステップＳ２０２において、制御部２５２は、計算時刻であるか否かを判定する。そして、制御部２５２が、計算時刻であると判した後、ステップＳ２０３で、視点座標保持部２５３は、視点検出部１０１から入力される視点座標を記憶し、ステップＳ２０４で、演算処理部２５４はｎの値を１だけインクリメントして、ｎ＝１０とする。
【００６９】
その後、ステップＳ２０５において、演算処理部２５４は、ｎ≧ａであると判定し、処理はステップＳ２０６に進む。
【００７０】
以上のステップＳ２０２乃至ステップＳ２０５の処理の繰り返しにおいて、視点座標保持部２５３が視点座標を記憶する仕組みについて説明する。
【００７１】
視点座標保持部２５３は、ａ＝１０個分の視点座標を記憶する領域を有している。視点座標保持部２５３が、視点座標を記憶する際の概念図を、図１２乃至図１５に示す。図１２に示されている輪は、１０個の領域に分割されており、分割された各領域が、ａ乃至ｊにより示されている。ａ乃至ｊの各領域には、それぞれ１つずつ、視点座標が記憶される。書き込みポイントの矢印が示す位置の領域（図１２においてはａで示された領域）に、視点座標が記憶される。
【００７２】
図１０において、１回目のステップＳ２０３の処理において、図１２に示される領域ａに、視点座標（ｘ０，ｙ０）が記憶される。その後、図１２に示された輪は、視点座標の記憶領域１つ分だけ回転し、図１３に示されるように、書き込みポイントの位置に、領域ｂが位置する。２回目のステップＳ２０３の処理において、図１３に示される領域ｂに、視点座標（ｘ１，ｙ１）が記憶される。その後、図１３に示された輪は、視点座標の記憶領域１つ分だけ回転し、図１４に示されるように、書き込みポイントの位置に、領域ｃが位置する。３回目のステップＳ２０３の処理において、図１４に示される領域ｃに、視点座標（ｘ２，ｙ２）が記憶される。
【００７３】
以下、同様にして、４回目のステップＳ２０３において、領域ｄに、視点座標（ｘ３，ｙ３）が記憶され、５回目のステップＳ２０３において、領域ｅに、視点座標（ｘ４，ｙ４）が記憶され、６回目のステップＳ２０３において、領域ｆに、視点座標（ｘ５，ｙ５）が記憶され、７回目のステップＳ２０３において、領域ｇに、視点座標（ｘ６，ｙ６）が記憶され、８回目のステップＳ２０３において、領域ｈに、視点座標（ｘ７，ｙ７）が記憶され、９回目のステップＳ２０３において、領域ｉに、視点座標（ｘ８，ｙ８）が記憶される。
【００７４】
そして、１０回目のステップＳ２０３において、図１５に示されるように、領域ｊに、視点座標（ｘ９，ｙ９）が記憶される。
【００７５】
このようにして、領域ａ乃至ｊに記憶された視点座標の例を、図１６に示す。図１６において、１番左側の列は、上から順番に領域ａ乃至ｊを示す。また、図１６において、中央の列は、視点座標保持部２５３に記憶されたｘ座標の例を示している。また、図１６において、１番右側の列は、視点座標保持部２５３に記憶されたｙ座標の例を示している。
【００７６】
図１６に示されるように、領域ａには、視点座標（ｘ，ｙ）＝（１０，２０）が記憶されている。また、領域ｂには、視点座標（ｘ，ｙ）＝（３０，３０）が記憶されている。以下、同様に、領域ｃには、視点座標（ｘ，ｙ）＝（１０，４０）が記憶され、領域ｄには、視点座標（ｘ，ｙ）＝（４０，４０）が記憶され、領域ｅには、視点座標（ｘ，ｙ）＝（５０，５０）が記憶され、領域ｆには、視点座標（ｘ，ｙ）＝（５０，５０）が記憶され、領域ｇには、視点座標（ｘ，ｙ）＝（６０，２０）が記憶され、領域ｈには、視点座標（ｘ，ｙ）＝（１０，１０）が記憶され、領域ｉには、視点座標（ｘ，ｙ）＝（５，１）が記憶され、領域ｊには、視点座標（ｘ，ｙ）＝（９０，９０）が記憶されている。
【００７７】
このように、視点座標保持部２５３に、所定の個数の視点座標が記憶されたとき、ステップＳ２０５において、演算処理部２５４は、ｎ≧ａである（予め設定された所定の個数の視点座標が、視点座標保持部２５３に記憶された）と判定し、処理はステップＳ２０６に進む。
【００７８】
ステップＳ２０６において、演算処理部２５４は、ｘ座標の平均値（以下、ｘ座標の平均値をｘｍとする）、およびｙ座標の平均値（以下、ｙ座標の平均値をｙｍとする）を算出する。図１６の例においては、演算処理部２５４は、ｘｍ＝（１０＋３０＋１０＋４０＋５０＋５０＋６０＋１０＋５＋９０）／１０＝３５．５、およびｙｍ＝（２０＋３０＋４０＋４０＋５０＋５０＋２０＋１０＋１＋３０）／１０＝２９．１を計算する。
【００７９】
次に、ステップＳ２０７において、演算処理部２５４は、ｘの分散（以下、ｘの分散をσ＾２ｘとする）、およびｙの分散（以下、ｙの分散をσ＾２ｙとする）を算出する。ここで、ｘの分散を算出する式は、以下のようになっている。
【００８０】
【数１】
2004056335.tif 000003
【００８１】
以上の式を式（１）とする。式（１）に関する以下の説明においては、ｘの添え字ｉは、ｘ＿ｉのように記す。同様に、ｆの添え字ｉは、ｆ＿ｉのように記す。式１に示されるようにｉは１乃至１０１の値をとる。すなわち、図１１を参照して説明したように、ｘ座標は、０乃至１００の１０１個の座標に分割されている。従って、ｉの値１乃至１０１は、それぞれ、ｘ座標０乃至１００に対応している。
【００８２】
ｘ＿ｉは、ｘ座標の値である。すなわち、ｘ＿ｉの値は、（ｉ−１）である。ｘｍは、ステップＳ２０６で算出したｘ座標の平均値である。ｆ＿ｉは、視点座標のｘ座標の、０乃至１００の各ｘ座標における度数分布を示す値である。例えば、図１６の例において、ｘ＝５０は領域ｅと領域ｆの２個あるので、ｘ＝５０の度数分布であるｆ＿５１はｆ＿５１＝２である。
【００８３】
つまり、式（１）は、変量の値ｘ＿ｉの、平均値ｘｍからの偏差を２乗し、それに度数ｆ＿ｉを掛け算した値を、ｉが１の場合乃至１０１の場合分だけ足し算し、これを、視点座標の個数１０で割り算したものである。
【００８４】
ｙの分散を算出する式は、以下のようになっている。
【００８５】
【数２】
2004056335.tif 000004
【００８６】
以上の式を式（２）とする。式（２）は、式（１）におけるｘ＿ｉおよびｘｍを、それぞれｙ＿ｉおよびｙｍに置き換えたものである。つまり、式（２）は、変量の値ｙ＿ｉの、平均値ｙｍからの偏差を２乗し、それに度数ｆ＿ｉを掛け算した値を、ｉが１の場合乃至１０１の場合分だけ足し算し、これを、視点座標の個数１０で割り算したものである。
【００８７】
図１０に戻って、ステップＳ２０８において、ヘッドマウントディスプレイ１１の演算処理部２５４は、ステップＳ２０６で算出したｘｍおよびｙｍ、並びにステップＳ２０７で算出したσ＾２ｘおよびσ＾２ｙを、視点座標保持部２５３に記憶させる。
【００８８】
ステップＳ２０９において、制御部２５２は、ステップＳ２０８で視点座標保持部２５３に記憶されたｘｍ、ｙｍ、σ＾２ｘ、およびσ＾２ｙを、パケット作成部２５５に供給させる。そして、制御部２５２は、パケット作成部２５５に、ｘｍ、ｙｍ、σ＾２ｘ、およびσ＾２ｙを含む、送信用のパケットを作成させる。図１７は、パケット作成部２５５により作成されたパケットの例を示している。図１７は、ＲＴＣＰ　Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃのフォーマットを表している。なお、ＲＴＣＰ　Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃは、ＲＦＣ１８８９に定義されている。
【００８９】
図１７において、１番上の段には、左側から右側に向かって順番に、バージョン番号（ｖ）、パディング（ｐ）、パケットタイプ、メッセージ長が記録されている。上から２段目には、送信者の同期ソース識別子（ＳＳＲＣ）が記録されている。上から３段目には、アプリケーション名が記録されている。上から４段目には、データ、すなわち、ｘｍ、ｙｍ、σ＾２ｘ、およびσ＾２ｙが記録されている。
【００９０】
ステップＳ２０９の処理の後、ステップＳ２１０において、ヘッドマウントディスプレイ１１の制御部２５２は、入力モードが１であるか否かを判定し、入力モードが１である場合、処理はステップＳ２１１に進む。ユーザは、操作部２５１を操作して、入力モードを０または１のいずれかに設定することができる。入力モード＝１の場合、制御部２５２は、計算時刻までのタイマを０．１秒に設定する（前回、ステップＳ２０２で計算時刻であると判定された時刻から０．１秒後に、再度計算時刻がくるように設定する）。その後、処理はステップＳ２０２に戻る。
【００９１】
この場合、ステップＳ２０２において、制御部２５２は、前回、ステップＳ２０２で計算時刻であると判定してから０．１秒後に、再び、計算時刻であると判定する。結果的に、前回、演算処理部２５４がｘｍ、ｙｍ、σ＾２ｘ、およびσ＾２ｙを算出してから０．１秒後に、演算処理部２５４は、次のｘｍ、ｙｍ、σ＾２ｘ、およびσ＾２ｙを算出する。
【００９２】
ステップＳ２１０において、制御部２５２が、入力モードは１ではない、すなわち入力モードは０であると判定した場合、処理はステップＳ２１２に進む。
【００９３】
ステップＳ２１２において、制御部２５２は、計算時刻までのタイマを０．２秒に設定する（前回、ステップＳ２０２で計算時刻であると判定された時刻から０．２秒後に、再度計算時刻がくるように設定する）。その後、処理はステップＳ２０２に戻る。
【００９４】
この場合、ステップＳ２０２において、制御部２５２は、前回、ステップＳ２０２で計算時刻であると判定してから０．２秒後に、再び、計算時刻であると判定する。結果的に、前回、演算処理部２５４がｘｍ、ｙｍ、σ＾２ｘ、およびσ＾２ｙを算出してから０．２秒後に、演算処理部２５４は、次のｘｍ、ｙｍ、σ＾２ｘ、およびσ＾２ｙを算出する。
【００９５】
以上のように、入力モードの切り替えにより、ｘｍ、ｙｍ、σ＾２ｘ、およびσ＾２ｙを算出する間隔を調節することができる。したがって、入力モード＝１を選択することにより、より細かい眼球の位置の変化を検出することができ、入力モード＝０を選択することにより、より大雑把な眼球の位置の変化を検出することができる。なお、以上の例においては、入力モードは０か１の２パターンしかないが、入力モードは３パターン以上にすることも勿論可能である。
【００９６】
ところで、図１０において、ステップＳ２１１、またはステップＳ２１２の処理によりタイマをセットした後、ステップＳ２０２で計算時刻であると判定された場合、処理はステップＳ２０３に進む。このとき、視点座標保持部２５３は、すでに１０個の視点座標を記憶しているので、ステップＳ２０３において、視点座標保持部２５３は、記憶している１０個の視点座標のうち最も古い視点座標に、視点検出部１０１から入力された視点座標を上書きして、記憶させる。この処理の概念を、図１５および図１８を参照して説明する。
【００９７】
すなわち、例えば、図１５には、領域ａ乃至ｊの全ての領域に視点座標が既に記憶されている場合の例が示されている。図１５において、１番古く記憶されている視点座標は、領域ａの（ｘ０，ｙ０）である。そこで、新しい視点座標を記憶させるとき、図１８に示されるように、領域ａに記憶されていた（ｘ０，ｙ０）を消去し、領域ａに新しい視点座標（ｘ１０，ｙ１０）を記憶させる。
【００９８】
より一般的な概念図を図１９に示す。図１９において、書き込みポイントに位置する領域には最新の視点座標（ｘｎ，ｙｎ）が記憶される。その１つ下の領域には、１つ前に取得された視点座標（ｘｎ−１，ｙｎ−１）が記憶されている。さらに、その１つ下の領域には、２つ前に取得された視点座標（ｘｎ−２，ｙｎ−２）が記憶されている。以下、同様に、より古い視点座標が記憶され、輪の１番上の領域には最新の視点座標（ｘｎ，ｙｎ）の８つ前に取得された視点座標（ｘｎ−８，ｙｎ−８）が記憶されている。視点座標（ｘｎ−８，ｙｎ−８）の下には、最新の視点座標（ｘｎ，ｙｎ）の９つ前に取得された視点座標（ｘｎ−９，ｙｎ−９）が記憶されている。このように、視点座標保持部２５３は、新しい視点座標を順次上書きしてゆく。
【００９９】
図１０のステップＳ２０９で、ヘッドマウントディスプレイ１１が送信した視点情報（ｘｍ、ｙｍ、σ＾２ｘ、およびσ＾２ｙ）は、画像サーバ１２により受信され記憶される。次に、図２０のフローチャートを参照して、画像サーバ１２の視点情報受信処理について説明する。
【０１００】
ステップＳ２５１において、画像サーバ１２の通信部２０４は、ヘッドマウントディスプレイ１１が図１０のステップＳ２０９で送信した視点情報（ｘｍ、ｙｍ、σ＾２ｘ、およびσ＾２ｙ）を受信する。
【０１０１】
ステップＳ２５２において、画像サーバ１２の制御部２０２は、ステップＳ２５１で通信部２０４が受信した視点情報を、ＲＯＩ指定部２０５に供給させる。そして、制御部２０２は、ＲＯＩ指定部２０５に、視点情報を記憶させる。
【０１０２】
以上で、画像サーバ１２の視点情報受信処理を終了する。
【０１０３】
画像サーバ１２のＲＯＩ指定部２０５は、以上のようにして記憶した視点情報を基に、高解像度領域を指定するＲＯＩパラメータを演算し、エンコーダ２０３に供給する。エンコーダ２０３は、図８のステップＳ１７４において、このＲＯＩパラメータに基づいて、高解像度領域を含む画像データを作成する。
【０１０４】
次に、図２１のフローチャートを参照して、画像サーバ１２のＲＯＩ範囲決定処理、すなわち、視点情報に基づいて、高解像度領域を指定する処理について説明する。
【０１０５】
図２１のステップＳ３０１において、制御部２０２からの指示に基づいて、ＲＯＩ指定部２０５は、変数ａ，ｂ，Ｃを初期化する。ここで、変数ａ，ｂ，Ｃについて、図２２を参照して説明する。
【０１０６】
図２２においては、画面領域４０１の中で、視点４０２を中心とした所定の範囲が、高解像度領域５０１として指定されている。視点４０２の座標は、視点情報に含まれている（ｘ，ｙ）＝（ｘｍ，ｙｍ）である。この高解像度領域５０１は、Ｙ軸方向の辺の長さをαとし、Ｘ軸方向の辺の長さをβとする長方形（正方形を含む）である。
【０１０７】
ここで、αは、例えば、
α＝ａσ＾２ｙ
により算出される。この式を式（３）とする。
【０１０８】
また、βは、例えば、
β＝ｂσ＾２ｘ
により算出される。この式を式（４）とする。
【０１０９】
上記の式（３）および式（４）の中のａおよびｂは、ネットワークの状況に応じて設定される。例えば、パケット喪失率が高くなった場合、ａおよびｂを小さな値にすることにより、αおよびβの長さを短くすることができる。結果的に、高解像度領域５０１を少なくして、エンコードした画像データのデータ量を少ないものにすることができる。
【０１１０】
また、ユーザが、視点４０２を凝視して、眼球の位置を移動させなかった場合、分散σ＾２ｘ、または分散σ＾２ｙは限りなく０に近づいてしまう。その場合、上記の式（３）または式（４）においては、α、またはβの長さも限りなく０に近づいてしまう。結果的に、ユーザが、１点を凝視すればするほど、高解像度領域５０１がほとんどなくなってしまう。
【０１１１】
また、ネットワーク１０の輻輳が続いた場合、ａおよびｂの値が、０になってしまう可能性がある。その場合も、上記の式（３）または式（４）においては、α、またはβの長さが０になってしまう。結果的に、高解像度領域５０１がなくなってしまう。
【０１１２】
このような事態を避けるために、αおよびβには、最小値Ｃが設定され、もし式（３）または式（４）において、α、またはβの値が最小値Ｃを下回った場合、その辺の長さは、Ｃとされる。
【０１１３】
変数ａ，ｂ，Ｃには、予め設定された所定の初期値があり、ステップＳ３０１で、画像サーバ１２のＲＯＩ指定部２０５は、変数ａ，ｂ，Ｃを、予め設定された初期値に設定する。
【０１１４】
ステップＳ３０２において、制御部２０２は、ヘッドマウントディスプレイ１１から、パケット喪失率、および視点情報を受信したか否かを判定し、パケット喪失率、および視点情報を受信していた場合、処理はステップＳ３０３に進む。ここで、パケット喪失率は、図７のステップＳ１３３で受信したものである。また、視点情報は、図２０のステップＳ２５１で受信したものである。
【０１１５】
ステップＳ３０３において、制御部２０２は、記憶していたパケット喪失率をＲＯＩ指定部２０５に供給する。ＲＯＩ指定部２０５は、制御部２０２から供給されたパケット喪失率を、予め設定されている所定の基準値Ｘと比較し、パケット喪失率がＸ以上であるか否かを判定する。その結果、パケット喪失率がＸ以上ではなかった場合、処理はステップＳ３０４に進む。
【０１１６】
ステップＳ３０４において、ＲＯＩ指定部２０５は、ａの値に１足して、これを新たなａとして設定する。また、ＲＯＩ指定部２０５は、ｂの値に１足して、これを新たなｂとして設定する。
【０１１７】
ステップＳ３０３において、ＲＯＩ指定部２０５が、パケット喪失率がＸ以上ではない、すなわちＸ未満であると判定した場合、処理はステップＳ３０５に進む。
【０１１８】
ステップＳ３０５において、ＲＯＩ指定部２０５は、ａの値から１引いて、これを新たなａとして設定する。また、ＲＯＩ指定部２０５は、ｂの値から１引いて、これを新たなｂとして設定する。
【０１１９】
ステップＳ３０４、またはステップＳ３０５の処理の後、処理はステップＳ３０６に進み、ＲＯＩ指定部２０５は、式（３）および式（４）を実行し、αおよびβの値を算出する。
【０１２０】
ステップＳ３０７において、ＲＯＩ指定部２０５は、α＜Ｃであるか否かを判定し、α＜Ｃである場合、処理はステップＳ３０８に進む。ステップＳ３０８において、ＲＯＩ指定部２０５は、α＝Ｃに設定する。その後、処理はステップＳ３０９に進む。
【０１２１】
ステップＳ３０７において、ＲＯＩ指定部２０５が、α＜Ｃではないと判定した場合、すなわち、α≧Ｃであると判定した場合、ステップＳ３０８の処理はスキップされ、処理はステップＳ３０９に進む。
【０１２２】
ステップＳ３０９において、ＲＯＩ指定部２０５は、β＜Ｃであるか否かを判定し、β＜Ｃである場合、処理はステップＳ３１０に進む。ステップＳ３１０において、ＲＯＩ指定部２０５は、β＝Ｃに設定する。その後、処理はステップＳ３１１に進む。
【０１２３】
ステップＳ３０９において、ＲＯＩ指定部２０５が、β＜Ｃではないと判定した場合、すなわち、β≧Ｃであると判定した場合、ステップＳ３１０の処理はスキップされ、処理はステップＳ３１１に進む。
【０１２４】
ステップＳ３１１において、ＲＯＩ指定部２０５は、ステップＳ３０６乃至ステップＳ３１０の処理により設定された値α、β、並びに視点情報に含まれているｘｍおよびｙｍを、１グループとして、記憶する。ステップＳ３１１の処理の後、処理はステップＳ３０２に戻り、ステップＳ３０２以降の処理が繰り返される。
【０１２５】
以上のようにして、高解像度領域５０１が決定される。ＲＯＩ指定部２０５は、以上の処理により設定された値α、β、ｘｍ、およびｙｍをもとに、高解像度領域５０１を指定するためのＲＯＩパラメータを作成し、所定のタイミングで、ＲＯＩパラメータを、エンコーダ２０３に供給する（図８のステップＳ１７３）。エンコーダ２０３は、このＲＯＩパラメータに従って、高解像度領域５０１を含む画像データを作成する（図８のステップＳ１７４）。
【０１２６】
なお、図２１のフローチャートにおいては、高解像度領域５０１の辺αおよびβは、それぞれ、式（３）および式（４）により算出する場合を例にして説明したが、このことは、本発明が、高解像度領域５０１の辺αおよびβを、それぞれ、式（３）および式（４）により算出することに限定されることを意味するものではない。
【０１２７】
例えば、式（３）および式（４）において、ｂ∝ａとしても良い。また、α∝βとしてもよい。この場合、αおよびβを算出する式を、例えば、
α＝ａ（σ＾２ｘ＋σ＾２ｙ）
β＝ｂ（σ＾２ｘ＋σ＾２ｙ）
としても良い。
【０１２８】
また、ａおよびｂを、パケット喪失率とは無関係に、定数にするようにしても良い。さらに、上記で説明した例は、高解像度領域５０１が長方形（正方形を含む）の場合であるが、高解像度領域５０１は、長方形以外の形状でも良い。ＪＰＥＧ２０００においては、高解像度領域は、任意の形状を指定することができる。高解像度領域は、例えば、図２３に示されるように、円形でも良い。
【０１２９】
図２３において、高解像度領域５１１は、視点４０２を中心とし、半径をｒとする円形である。この場合、半径ｒは、例えば、
ｒ＝ｋ（ａσ＾２ｘ＋ｂσ＾２ｙ）
により算出してもよい。なお、ｋは、予め設定された定数である。また、ａおよびｂの算出方法は、図２１のフローチャートのステップＳ３０３乃至ステップＳ３０５の処理と同様の方法にすることができる。
【０１３０】
また、高解像度領域は、例えば、図２４に示されるように、楕円形でも良い。図２４において、高解像度領域５２１は、視点４０２を中心とした楕円形である。αおよびβの算出方法は、図２１のフローチャートと同様でも良い。
【０１３１】
以上、本実施の形態において説明したように、ユーザの視点の分散に基づいて、高解像度領域を指定するようにすることにより、画像サーバ１２からヘッドマウントディスプレイ１１に送信する画像データ全体のデータ量を必要最小限に抑えつつ、ユーザが注視している領域は高解像度にすることができる。
【０１３２】
ヒトの眼球運動は、一般的にサッケード（跳躍性眼球運動）と滑動性眼球運動に分類される。サッケードとは、ある注視点から、他の注視点へ高速に視点を移動させる眼球運動であり、サッケード中は、表示部２５８に表示された画像を知覚することができない。滑動性眼球運動とは、注視している対象物（例えば、表示部２５８に表示されている人物など）が低速で移動してゆく場合に、その対象物を追従してゆく眼球運動であり、滑動性眼球運動中は、表示部２５８に表示された画像を知覚することができる。
【０１３３】
サッケードが生じた場合、分散の値は大きくなる。従って、高解像度領域は、より広い範囲になる。このようにすることにより、ユーザの注視点が瞬間的に、遠い位置に移動しても（例えば、ユーザの注視点が、図３の画面１５１の左上端から、右下端へと、瞬間的に移動しても）、注視点の移動先が高解像度領域内である確率を高めることができる。また、仮に、注視点の移動先が、視点の移動直後には高解像度領域ではなかったとしても、速やかに、高解像度領域内とすることができる。
【０１３４】
それに対して、滑動性眼球運動が生じた場合、分散は、サッケードの場合と比較して、より小さい値となる。従って、高解像度領域は、サッケードの場合と比較して、より狭い範囲となる。このようにすることにより、ユーザの注視点が低速で移動した場合（例えば、ユーザの注視点が、図３の画面１５１の視点１５４から、徐々に下方へと移動した場合）、高解像度領域の範囲を必要最小限の広さに抑えた上で（従って、画像サーバ１２からヘッドマウントディスプレイ１１に送信する画像データのデータ量を少なく抑えた上で）、注視点の移動先が高解像度領域内であるようにすることができる。
【０１３５】
また、ヒトの視野は、一般的に中心視野と周辺視野に分類される。視野とは、眼前の１点を固視している場合に、同時に見える空間の範囲をいう。ヒトが対象物を見るとき、眼球のレンズを通過した光は網膜に像が倒置した状態で結ばれる。網膜の部分によって、得られる視力は異なり、網膜の中心部（網膜中心窩）において、最も良好な視力を得ることができる。中心視野とは、網膜中心窩に結ばれた像の範囲である。また、周辺視野とは、網膜の網膜中心窩以外の部分に結ばれた像の範囲である。周辺視野においては、中心視野ほど、良好な視力を得ることができない。
【０１３６】
視力は、網膜中心窩から離れるに従い、急激に低下する。例えば、網膜中心窩に結像された画像に対して１．０乃至１．２の視力を有するヒトにおいて、網膜中心窩から、角度が５度離れた部分に結像された画像に対する視力は、０．１程度であり、角度が１０度離れた部分に結像された画像に対する視力は、０．０５程度である。
【０１３７】
例えば、図２２において、ユーザの視点４０２の位置する部分の画像が、網膜中心窩に結像される。よって、ユーザの視力は、視点４０２において最も良好であり、視点４０２から離れるにつれて急激に低下する。従って、仮に、図２２の画面１５１全体の画像を高解像度にしたとしても、ユーザは、視点４０２から離れた部分の画像を鮮明に知覚することができない。
【０１３８】
そこで、本発明のように、視点４０２から離れた部分の画像を低解像度の画像にしても、ユーザが画面４０１に表示されている画像全体を知覚する際に、ユーザの知覚能力に大きな影響を与えることはない。
【０１３９】
また、網膜上には、光を受容する光受容細胞が存在する。光受容細胞には、錐体細胞と桿体細胞の２種類ある。錐体細胞は、網膜中心窩に多く分布し、桿体細胞は、網膜の周辺部に多く分布している。つまり、中心視野は、主に錐体細胞の働きにより得られ、周辺視野は、主に桿体細胞の働きにより得られる。
【０１４０】
錐体細胞は、赤の波長を吸収するタイプ、青の波長を吸収するタイプ、および緑の波長を吸収するタイプに分類される。錐体細胞は、明るいところで、色彩を識別するために働く。一方、桿体細胞は、可視光の全波長を吸収する。桿体細胞は、暗いなかで、物の形を識別するために働く。
【０１４１】
従って、中心視野内の画像（例えば、図３の高解像度画像１５３）をカラー表示にし、周辺視野内の画像（例えば、図３の低解像度画像１５２）を、グレースケールで表示するようにしても良い。
【０１４２】
なお、本実施の形態において説明したヘッドマウントディスプレイ１１の外観の構成は、図２に示されたものに限定されるものではなく、任意の形状のヘッドマウントディスプレイを採用することができる。また、図２においては、視点検出部１０１は、ヘッドマウントディスプレイ１１に内蔵されているが、視点検出部１０１は、ヘッドマウントディスプレイ１１の本体とは別体として構成するようにしても良い。また、視点検出部１０１は、図２においては、ユーザの右眼の前方に設置され、右眼の眼球の位置を検出するようになっているが、視点検出部１０１は、ユーザの左眼の前方に設置され、ユーザの左眼の眼球の位置を検出するようにしても良い。
【０１４３】
また、本発明は、ヘッドマウントディスプレイ１１以外の表示装置に適用することも可能である。例えば、ユーザから所定の距離だけ前方に位置する筐体に画面を設置したディスプレイ、ユーザの前方に位置するスクリーンに画像を投影するプロジェクタなどに、本発明を適用することができる。その場合、ユーザには、眼球の位置を検出するための検出装置が装着される。
【０１４４】
また、本実施の形態においては、ＲＴＣＰ　Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ、およびＲＴＣＰ　Ｒｅｃｅｉｖｅｒ　Ｒｅｐｏｒｔを利用して、ヘッドマウントディスプレイ１１から画像サーバ１２へ、視点情報やパケット喪失率を送信しているが、このことは、本発明が、ＲＴＣＰ　Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ、およびＲＴＣＰ　Ｒｅｃｅｉｖｅｒ　Ｒｅｐｏｒｔを利用することに限定されることを意味するものではない。
【０１４５】
また、本実施の形態においては、説明を簡単にするために、画像サーバ１２は、１台のヘッドマウントディスプレイ１１に対してのみ、画像データを送信する場合を例にして説明したが、画像サーバ１２は、複数のヘッドマウントディスプレイ１１に対して、独立並行に画像データを送信するようにすることもできる。その場合、各ヘッドマウントディスプレイ１１は、例えば、ＲＴＣＰ　Ａｐｐｌｉｃａｔｉｏｎ　ＳｐｅｃｉｆｉｃやＲＴＣＰ　Ｒｅｃｅｉｖｅｒ　Ｒｅｐｏｒｔに含まれる送信者の同期ソース識別子により、個々に識別される。そして、画像サーバ１２は、識別した各ヘッドマウントディスプレイ１１に対して、それぞれ、独立して、本実施の形態で説明した処理を実行する。
【０１４６】
また、本実施の形態においては、高解像度領域（例えば、図２２の高解像度領域５０１、図２３の高解像度領域５１１、または図２４の高解像度領域５２１）を指定する場合、視点４０２の座標として、（ｘｍ，ｙｍ）を利用しているが、視点４０２の座標は、例えば、ヘッドマウントディスプレイ１１が図１９の書き込みポイントで書き込んだばかりの（ｘｎ，ｙｎ）とすることができる。
【０１４７】
また、本実施の形態においては、画像サーバ１２は、ヘッドマウントディスプレイ１１に対して、エンコードした画像データのみを送信する場合について説明したが、画像サーバ１２は、勿論、画像データと共に、音声データを送信するようにすることができる。すなわち、画像サーバ１２は、カメラ１３に備えられたマイクロフォンにより集音された音声データを、エンコーダ２０３により、画像データと共にエンコードし、通信部２０４を介して、ヘッドマウントディスプレイ１１に送信することができる。
【０１４８】
また、図４には、画像サーバ１２から受信した音声データを再生するスピーカが記載されていないが、スピーカをさらに備えるようにすることもできる。すなわち、ヘッドマウントディスプレイ１１が、通信部２５６を介して、画像サーバ１２から受信したデータは、デコーダ２５７によりデコードされ、デコードされたデータのうち、画像データは、表示部２５８に表示され、音声データは、スピーカに供給され、音声データに対応する音声が出力される。
【０１４９】
また、本実施の形態においては、画像サーバ１２は、カメラ１３から取り込まれた画像をエンコードする場合を例として説明しているが、このことは、本発明がカメラ１３から取り込まれた画像をエンコードする場合に限定されることを意味するものではない。画像サーバ１２は、例えば、予め所定の記録媒体に記録された画像データをキャプチャし、エンコーダ２０３でエンコードし、通信部２０４を介して、ヘッドマウントディスプレイ１１に送信することもできる。また、勿論、予め所定の記録媒体に記録された画像データをエンコードする際に、視点情報に基づいて、高解像度領域を指定することも可能である。
【０１５０】
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウェアにより実行させることもできる。この場合、例えば、画像サーバ１２、またはヘッドマウントディスプレイ１１は、図２５に示されるような汎用のパーソナルコンピュータ７００により構成される。
【０１５１】
図２５において、ＣＰＵ７０１は、ＲＯＭ７０２に記憶されているプログラム、または記憶部７０９からＲＡＭ７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１５２】
ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インターフェース７０５も接続されている。
【０１５３】
入出力インターフェース７０５には、キーボード、マウスなどよりなる操作部７０６、スピーカなどよりなり、音声を出力する音声出力部７０７、ＬＣＤ、またはＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）などよりなるディスプレイ７０８、ハードディスクなどより構成される記憶部７０９、モデム、ターミナルアダプタなどより構成される通信部７１０が接続されている。通信部７１０は、インターネットを含むネットワーク１０を介しての通信処理を行う。
【０１５４】
入出力インターフェース７０５にはまた、必要に応じてドライブ７１１が接続され、磁気ディスク７２１、光ディスク７２２、光磁気ディスク７２３、或いは半導体メモリ７２４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０９にインストールされる。
【０１５５】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１５６】
この記録媒体は、図２５に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク７２１（フレキシブルディスクを含む）、光ディスク７２２（ＣＤ−ＲＯＭ，ＤＶＤを含む）、光磁気ディスク７２３（ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）を含む）、もしくは半導体メモリ７２４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ７０２や、記憶部７０９に含まれるハードディスクなどで構成される。
【０１５７】
また、記録媒体へのプログラムの格納は、必要に応じて通信部７１０を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった有線または無線の通信媒体を利用して行われるようにしても良い。
【０１５８】
なお、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１５９】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１６０】
【発明の効果】
以上のように、第１の本発明によれば、ネットワークを介して表示装置に、画像を送信することが可能となる。
【０１６１】
また、第１の本発明によれば、ネットワークを介して送信する画像データのうち、ユーザが注視している範囲の画像解像度を高解像度に保ちつつ、画像データのデータ量を必要最小限に抑えることが可能となる。従って、画像データの送信時間を短縮することができる。また、ネットワークが輻輳することを防ぐことができる。
【０１６２】
さらに、第１の本発明によれば、ユーザの眼球運動、すなわちサッケード、滑動性眼球運動、および眼球を動かさずに１点を固視した場合のそれぞれにおいて、高解像度の画像にする領域が、最適な範囲に指定された画像を、表示装置に送信することができる。
【０１６３】
また第２の本発明によれば、ネットワークを介して、画像を受信することができる。
【０１６４】
また、第２の本発明によれば、ネットワークを介して受信する画像データのうち、ユーザが注視している範囲の画像解像度を高解像度に保ちつつ、画像データのデータ量を必要最小限に抑えることが可能となる。従って、画像データの受信時間を短縮することができる。また、ネットワークが輻輳することを防ぐことができる。
【０１６５】
さらに、第２の本発明によれば、ユーザの眼球運動、すなわちサッケード、滑動性眼球運動、および眼球を動かさずに１点を固視した場合のそれぞれにおいて、高解像度の画像にする領域が、最適な範囲に指定された画像を表示することができる。
【図面の簡単な説明】
【図１】本発明を適用したサービス提供システムの構成例を示すブロック図である。
【図２】ヘッドマウントディスプレイの外観の構成例を示す図である。
【図３】ヘッドマウントディスプレイの表示部に表示される画面の例を示す図である。
【図４】画像サーバの内部の構成例を示すブロック図である。
【図５】ヘッドマウントディスプレイの内部の構成例を示すブロック図である。
【図６】ヘッドマウントディスプレイの画像データ表示処理を説明するフローチャートである。
【図７】画像サーバの画像データ表示処理を説明するフローチャートである。
【図８】画像サーバの画像データ送信処理を説明するフローチャートである。
【図９】図６のステップＳ１０４で送信されるパケットのフォーマットの例を示す図である。
【図１０】ヘッドマウントディスプレイの視点情報送信処理を説明するフローチャートである。
【図１１】視点座標の特定方法を説明する図である。
【図１２】視点情報保持部の視点座標の記憶方法を概念的に説明する図である。
【図１３】視点情報保持部の視点座標の記憶方法を概念的に説明する、図１２に続く図である。
【図１４】視点情報保持部の視点座標の記憶方法を概念的に説明する、図１３に続く図である。
【図１５】視点情報保持部の視点座標の記憶方法を概念的に説明する、図１４に続く図である。
【図１６】視点座標保持部に記憶される視点座標の例を示す図である。
【図１７】図１０のステップＳ２０９図でで送信されるパケットのフォーマットの例を示す図である。
【図１８】視点情報保持部の視点座標の記憶方法を概念的に説明する、図１５に続く図である。
【図１９】視点情報保持部の視点座標の記憶方法を概念的に説明する図である。
【図２０】画像サーバの視点情報受信処理を説明するフローチャートである。
【図２１】画像サーバのＲＯＩ範囲決定処理を説明するフローチャートである。
【図２２】ＲＯＩ範囲の指定方法を説明する図である。
【図２３】ＲＯＩ範囲の指定方法を説明する他の図である。
【図２４】ＲＯＩ範囲の指定方法を説明するさらに他の図である。
【図２５】本発明を適用したパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
１０　ネットワーク，　１１　ヘッドマウントディスプレイ，　１２　画像サーバ，　１３　カメラ，　１０１　視点検出部，　１５２　低解像度画像，　１５３高解像度画像，　１５４　視点，　２０１　操作部，　２０２　制御部，　２０３エンコーダ，　２０４　通信部，　２５１　操作部，　２５２　制御部，　２５３視点座標保持部，　２５４　演算処理部，　２５５　パケット作成部，　２５６
通信部，　２５７　デコーダ，　２５８　表示部
【図１】
2004056335.tif 000005
【図２】
2004056335.tif 000006
【図３】
2004056335.tif 000007
【図４】
2004056335.tif 000008
【図５】
2004056335.tif 000009
【図６】
2004056335.tif 000010
【図７】
2004056335.tif 000011
【図８】
2004056335.tif 000012
【図９】
2004056335.tif 000013
【図１０】
2004056335.tif 000014
【図１１】
2004056335.tif 000015
【図１２】
2004056335.tif 000016
【図１３】
2004056335.tif 000017
【図１４】
2004056335.tif 000018
【図１５】
2004056335.tif 000019
【図１６】
2004056335.tif 000020
【図１７】
2004056335.tif 000021
【図１８】
2004056335.tif 000022
【図１９】
2004056335.tif 000023
【図２０】
2004056335.tif 000024
【図２１】
2004056335.tif 000025
【図２２】
2004056335.tif 000026
【図２３】
2004056335.tif 000027
【図２４】
2004056335.tif 000028
【図２５】
2004056335.tif 000029