(57)【特許請求の範囲】
【請求項１】
観察者の視線方向に応じた画像データを、表示部を有する受信装置に送信する送信装置であって、
観察者の視線方向を取得する取得手段と、
全周囲方向からの輝度情報からなる環境マップを保持する保持手段と、
視線方向に応じた視野範囲を参照して、前記環境マップから前記視野範囲の部分画像データを抽出する抽出手段と、
前記部分画像データに対して前記表示部に応じた射影変換を行い、表示用画像データを生成する生成手段と、
前記部分画像データのデータ量と前記表示用画像データのデータ量とを比較し、前記部分画像データと前記表示用画像データのうちデータ量の小さい方を前記受信装置に送信すると判定する判定手段と、
前記判定手段により判定された結果に基づいて、前記部分画像データと前記表示用画像データの一方を送信する送信手段とを有することを特徴とする送信装置。
【請求項２】
前記判定手段は、前記視野範囲の大きさと、前記環境マップにおける各画素のビット数とに基づいて、前記部分画像データのデータ量を算出することを特徴とする請求項１に記載の送信装置。
【請求項３】
前記判定手段は、前記表示部に表示される画像のサイズと、前記表示部が表示可能なビット数とに基づいて、前記表示用画像データのデータ量を算出することを特徴とする請求項１または２に記載の送信装置。
【請求項４】
さらに、前記部分画像データに対して可逆圧縮を実行する第一の圧縮手段と、
前記表示用画像データに対して非可逆圧縮を実行する第二の圧縮手段とを有し、
前記送信手段は、前記部分画像データを送信する場合は、前記第一の圧縮手段から得られる圧縮データを送信し、前記表示用画像データを送信する場合は、前記第二の圧縮手段から得られる圧縮データを送信することを特徴とする請求項１乃至３のいずれか一項に記載の送信装置。
【請求項５】
前記視野範囲は、前記視線方向に応じてサイズが異なることを特徴とする請求項１乃至４のいずれか一項に記載の送信装置。
【請求項６】
コンピュータに読み込ませ実行させることで、前記コンピュータを請求項１乃至５の何れか一項に記載された送信装置として機能させることを特徴とするコンピュータプログラム。
【請求項７】
観察者の視線方向に応じた画像データを、表示部を有する受信装置に送信する送信方法であって、
観察者の視線方向を取得し、
全周囲方向からの輝度情報からなる環境マップを保持し、
視線方向に応じた視野範囲を参照して、前記環境マップから前記視野範囲の部分画像データを抽出し、
前記部分画像データに対して前記表示部に応じた射影変換を行い、表示用画像データを生成し、
前記部分画像データのデータ量と前記表示用画像データのデータ量とを比較し、前記部分画像データと前記表示用画像データのうちデータ量の小さい方を前記受信装置に送信すると判定し、
前記判定された結果に基づいて、前記部分画像データと前記表示用画像データのうちいずれかを送信することを特徴とする送信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ヘッドマウントディスプレイなどに表示する画像データを効率的に転送する技術に関する。
【背景技術】
【０００２】
観察者の頭部に固定するヘッドマウントディスプレイ（以降、ＨＭＤ）を用いて、観察者の視線方向に合わせて画像を表示する技術が知られている。ＨＭＤに表示される画像データは、全周囲方向の映像をその都度切り出した領域の画像であり、元となる画像は環境マップとも呼ばれる。環境マップは例えば、魚眼レンズを用いた撮影やミラーボールに反射した光をカメラで撮像する手法により取得できる。高解像度の環境マップを取得した場合は、データ量が多くなる。
【０００３】
環境マップをサーバ端末に保持しておき、ユーザーの要望を受けた環境マップの必要な領域のみを切り出し、ＨＭＤが接続されたクライアント端末に送信することが知られている。観察者の視線方向に合わせて表示画像を自然に表示するためには、データを転送する遅延を防ぐことが望まれる。
【０００４】
特許文献１には、環境マップを取得した魚眼レンズ特有のカメラ特性を考慮し、環境マップを取得する際の歪みの程度に応じてデータを圧縮する圧縮率を変化させる方法を開示している。これにより環境マップのデータ量を高画質に圧縮できる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−５５３６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の方法では、歪みの大きな領域には高い圧縮率で圧縮するのに対し、歪みの少ない領域やレンズ性能の良い歪みの少ないカメラで撮影した環境マップでは、データ量の削減はできない。
【０００７】
そこで本発明では、観察者の動きに応じて転送する表示用画像のためのデータ量を削減することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため本発明は、観察者の視線方向に応じた画像データを、表示部を有する受信装置に送信する送信装置であって、観察者の視線方向を取得する取得手段と、全周囲方向からの輝度情報からなる環境マップを保持する保持手段と、視線方向に応じた視野範囲を参照して、前記環境マップから前記視野範囲の部分画像データを抽出する抽出手段と、前記部分画像データに対して前記表示部に応じた射影変換を行い、表示用画像データを生成する生成手段と、前記部分画像データのデータ量と前記表示用画像データのデータ量とを比較し、前記部分画像データと前記表示用画像データのうちデータ量の小さい方を前記受信装置に送信すると判定する判定手段と、前記判定手段により判定された結果に基づいて、前記部分画像データと前記表示用画像データの一方を送信する送信手段とを有する。
【発明の効果】
【０００９】
本発明では、観察者の動きに応じて転送する表示用画像のためのデータ量を削減することができる。
【図面の簡単な説明】
【００１０】
【図１】ＨＭＤに画像を表示する画像処理システムの構成を示すブロック図。
【図２】環境マップの構成を示す図。
【図３】ＨＭＤの構成を示す図。
【図４】環境マップと視野との関連を説明する図。
【図５】ＨＭＤに画像を表示する週報を概念的に示す図。
【図６】環境マップの配信処理を示すフローチャート。
【図７】環境マップの配信処理を示すフローチャート。
【図８】サーバ端末およびクライアント端末の詳細な構成を示すブロック図。
【図９】サーバ端末およびクライアント端末の詳細な構成を示すブロック図。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。
【００１２】
＜第１実施形態＞
本実施形態では、環境マップを保存し画像を送信する送信側であるサーバ端末と、視線方向に応じて環境マップの一部を受信し、表示するクライアント端末との間で効率的に画像データを配信する方法について説明する。図１は、第１実施形態に適用可能な画像処理装置のシステム構成を示すブロック図である。環境マップから切り出した部分画像データを送信するサーバ端末（送信装置）は、ＣＰＵ１０１、メインメモリ１０２、記憶装置１０３、ＧＰＵ１０４、通信装置１０５、バス１０６を備える。まず、ＣＰＵ１０１は、演算処理や各種プログラムの実行を行う。メインメモリ１０２は、処理に必要なプログラム、データ、作業領域などをＣＰＵ１０１に提供する。記憶装置１０３は、画像処理プログラムや複数枚画像データを蓄積する装置で、例えばハードディスクが用いられる。ＧＰＵ１０４は、画像データやＧＵＩを表示するための装置であり、通常ディスプレイが接続されている。通信装置１０５は、各種ネットワークと接続する装置であり、通信装置１０５を経由して、クライアント端末に環境マップから切り出して生成した部分画像データを配信する。バス１０６は上述の各部をつなぐバスである。
【００１３】
サーバ端末から環境マップの一部データを受信するクライアント端末（受信装置）は、基本構成はサーバ端末と同等であるが、画像の表示手段としてＨＭＤ（ヘッドマウントディスプレイ）１０７が接続されている。クライアント端末は、ＨＭＤにおいて検出した観察者の視線方向をサーバ端末に送信し、サーバ端末から、視線方向に応じた環境マップの部分画像データを受信する。クライアント端末は、受信した部分画像データに対して必要に応じて画像処理を実行し、表示用画像を表示する。
【００１４】
図２は、環境マップを説明する図である。図２（ａ）に示すように、観察者の視点位置２０１からの視線方向は、極座標（θ、φ）を用いて表すことができる。この極座標を量子化し、各極座標における輝度をマップにした画像データが環境マップである。環境マップを構成する各画素は、輝度ベクトルを保持し、輝度ベクトルの大きさが輝度値を表し、輝度ベクトルの向きは常に視点位置２０１を向いている。すなわち、環境マップは観察者に入射する全周囲からの輝度情報である。環境マップの保持方法は、図２（ｂ）に示す正距円筒マップ方式と、図２（ｃ）に示す球状マップ方式などが存在する。正距円筒マップ方式は、θを横軸、φを縦軸として平面に展開した方式であるが、球状のデータを平面に投射するため歪みを生じる。球状マップ方式は、円の中心から円弧に向けた軸をφ、円の中心からの回転方向をθとして展開したデータであるが、この場合も球状を２次元に投影するため歪みを生じる。そのため、双方の方式ともＨＭＤで表示する際には、切り出した領域の部分画像を射影変換する必要がある。
【００１５】
図３は、ＨＭＤ１０７の構成を説明する図である。図３（ａ）に示すようにＨＭＤ１０７は、画像を表示する表示部３０１と、観察者の視線方向を検出するための３軸加速度センサ３０３が搭載されている。また、頭部に固定するための固定部３０２があり、観察者は固定部３０２を耳にかけることで、ＨＭＤ１０７を頭部に装着することができる。表示部３０１は、図３（ｂ）に示すように、観察者の眼３０４から仮想視野３０７を見た映像を、表示部３０１が有する液晶ディスプレイ３０６に表示する。その際、レンズ３０５を通すことで、焦点位置を調整する。液晶ディスプレイ３０６に環境マップから切り出した領域の部分画像に基づいて生成される表示用画像を表示することによって、環境マップの視点位置２０１に居るような臨場感のある映像再現が可能となる。
【００１６】
図４は、仮想視野と環境マップとの関係を説明する図である。図４（ａ）のように、視点位置４０１から見た視線方向を視線ベクトルＶ（θ、φ）とする。このとき視線ベクトルＶ（θ、φ）を中心に観察者が視点位置４０１から見えていると想定される仮想視野３０７を覆う領域（視野範囲４０２）を４つのベクトルＶ０（θ、φ）、Ｖ１（θ、φ）、Ｖ２（θ、φ）、Ｖ３（θ、φ）で定義する。図４（ｂ）は、環境マップと視野範囲を規定する４つのベクトルとの関係を表す。図４（ｂ）には、２つの異なる視線方向の場合を例示している。視線ベクトルＶ（θ、φ）を中心とし４つのベクトルにより規定される視野範囲は、ここでは図４（ｂ）に示す通り矩形領域であるとする。この視野範囲が、視線方向に応じてＨＭＤ１０７の表示部３０１に表示すべき領域となる。さらに、視野範囲となる矩形領域は視線ベクトルＶ（θ、φ）の方向によって異なる。環境マップにおける原点を（θ、φ）＝（０、０）としたとき、視野範囲の大きさは、角度情報φ＝０で最小となり、φが大きくなるにつれて矩形領域も増大する。矩形領域のサイズＳｅｎｖは、図４（ｃ）で表す式を用いて算出することができる。ここで、Ｂｉｔは環境マップにおける各画素のビット数である。この矩形領域に対して、接眼レンズの光学特性を考慮した射影変換処理を実行することで、表示用画像を得ることができる。表示用画像のサイズは、図４（ｄ）に示す式によって表される。表示用画像のサイズは、液晶ディスプレイ３０６の画素数（ＷＬＣＤ×ＨＬＣＤ）と表示可能なビット数Ｂｉｔを掛け合わせたＳｄｉｓｐｌａｙとなり、常に一定である。そこでサーバ端末は、クライアント端末に部分画像データを配信する際には、環境マップにおける部分画像データと表示画像データのうち、データ量が小さい方を配信することにより、データの転送量を出来る限り小さくできる。
【００１７】
図５は、ＨＭＤを用いて環境マップを表示する流れを説明する図である。サーバ端末は、環境マップを記憶装置１０３から読み出す。クライアント端末はＨＭＤ１０７に内蔵された加速度センサから角度情報（θ、φ）５２０を取得する。この角度情報は、図４を用いて説明した視線ベクトルＶ（θ、φ）である。クライアント端末は、角度情報５２０と角度情報に応じた視野範囲（４つのベクトルＶ０（θ、φ）、Ｖ１（θ、φ）、Ｖ２（θ、φ）、Ｖ３（θ、φ）を規定する情報）をサーバ端末に送信する。サーバ端末は、クライアント端末から受信した情報に基づいて、メインメモリ１０２に展開した環境マップから表示に必要なデータを抽出し、クライアント端末に転送する。
【００１８】
図８は、サーバ端末とクライアント端末それぞれの詳細な論理構成を示すブロック図である。サーバ端末は、環境マップを保持する保持部９０１から、画像切り出し部８０２は、取得した角度情報および視野範囲に応じた領域の部分画像データを切り出す。判定部８０３は、切り出した部分画像データをそのままクライアント端末に転送するか、表示用画像に変換してからクライアント端末に転送するかを判定する。部分画像出力８０４は、切り出した部分画像データをそのままクライアント端末に出力する。一方射影変換部８０５は、ＨＭＤ１０７の液晶ディスプレイ３０６に合わせて、切り出した部分画像データを射影変換する。射影変換に必要な情報は予めクライアント端末から取得しておく。
【００１９】
ここで、クライアント端末も射影変換部８０９を有する。この遮蔽変換部８０９は、射影変換部８０５と同様に、ＨＭＤ１０７の液晶でスプレイ３０６に合わせた射影変換を実行する。射影変換部８０９は、サーバ端末から切り出した部分画像データをそのまま受け取った場合にのみ、射影変換を実行する。表示制御部８１０は、クライアント端末内の射影変換部８０９が変換して得られた表示用画像か、サーバ端末から取得した表示用画像を、ＨＭＤ１０７の液晶ディスプレイ３０６に出力し、表示させる。
【００２０】
図６は、第１実施形態におけるサーバ端末とクライアント端末間におけるデータ転送の流れを示すフローチャート図である。サーバ端末およびクライアント端末は、それぞれの端末内のＣＰＵが、フローチャートに示す処理を実現するコンピュータプログラムを実行することにより、各処理を実現する。
【００２１】
ステップＳ６０１において画像保持部８０１は、観察者が視聴する環境マップを記憶装置１０３から読み出し、メインメモリ１０２に展開する。ここで複数の環境マップが記憶装置１０３に保持されている場合は、観察者が環境マップに対応づけられたモードのうち、視聴したいモードを選択するように構成してもよい。
【００２２】
ステップＳ６０２において角度情報取得部８０７は、ＨＭＤ１０７に内蔵された加速度センサ３０３は、観察者の頭部がどの方向を向いているかを検出した情報を取得し、観察者の視線方向を角度情報（θ、φ）として算出する。
【００２３】
ステップＳ６０３においてクライアント端末の視野範囲算出部８０８は、取得した角度情報に基づいて、視野範囲を特定する。ここで視野範囲は、図４（ｂ）に示したように角度情報が示す位置を中心とする矩形領域であり。また、視野範囲として特定される矩形領域は、φの大きさに応じてサイズが異なる。このように視野範囲を特定する４つのベクトルＶ０（θ、φ）、Ｖ１（θ、φ）、Ｖ２（θ、φ）、Ｖ３（θ、φ）をサーバ端末に転送する。
【００２４】
ステップＳ６０４において判定部８０３は、クライアント端末から視線ベクトルである角度情報と４つのベクトルにより特定される視野範囲に基づいて、環境マップから切り出す部分画像データのデータ量Ｓｅｎｖを、図４（ｃ）に示す式に従って算出する。
【００２５】
ステップＳ６０５において画像切り出し部８０２は、視野範囲を特定する４つのベクトルに基づいて、環境マップから視野範囲の部分画像データを抽出する。ステップＳ６０６において判定部８０３は、切り出した部分画像データのデータ量ＳｅｎｖとＨＭＤ１０７の液晶ディスプレイ３０６に表示する表示用画像のデータ量Ｓｄｉｓｐｌａｙを比較する。なお判定部８０３は、予めクライアント端末から液晶ディスプレイ３０６の表示画像の画素数および各画素が表示可能なビット数を取得している。表示用画像のデータ量Ｓｄｉｓｐｌａｙを、図４（ｄ）に示す式に従って算出しておく。切り出した部分画像データのデータ量Ｓｅｎｖが大きい場合は、ステップＳ６０７に進み、小さい場合はステップＳ６０８に進む。
【００２６】
ステップＳ６０７において射影変換部８０５は、切り出した部分画像データに対して、ＨＭＤで表示するための射影変換を実施し、表示用画像データを生成する。ステップＳ６１０において表示用画像出力部８０６は、表示用画像データをクライアント端末に転送する。このとき、転送するデータのデータ量Ｓｄｉｓｐｌａｙは、切り出した部分画像データのデータ量Ｓｅｎｖよりも小さい。そのため、サーバ端末からクライアント端末に転送するデータのデータ量をより抑えることができる。
【００２７】
一方ステップＳ６０８において部分画像出力部８０４は、視野範囲に対応する切り出した部分画像データを、射影変換することなくそのままクライアント端末に転送する。これにより、表示用画像に射影変換してからデータを転送するよりも転送するデータ量を抑えることができる。
【００２８】
ステップＳ６０９において、クライアント端末の射影変換部８０９は、サーバ装置から受信した部分画像データに対して、射影変換を実施する。ステップＳ６１１において表示制御部８１０は、表示用画像データをＨＭＤ１０７の液晶ディスプレイ３０６に表示させる。
【００２９】
以上のように本実施形態では、観察者の視線方向に応じてサーバ端末からクライアント端末に画像データを転送するデータ形式が異なる。射影変換せずに環境マップから切り出した部分画像データと、切り出した部分画像データに射影変換して得られる表示画像データのうち、データ量の小さい方をクライアント端末に転送する。これにより、サーバ端末からクライアント端末へのデータ通信量を削減でき、データ量が多いための発生する画像表示の遅延を抑制することができる。
【００３０】
＜第２実施形態＞
第２実施形態ではさらに、サーバ端末がクライアント端末に転送するデータを圧縮する圧縮工程を追加する場合の好適な形態を説明する。なお、第２実施形態におけるシステム構成は、第１実施形態と同一であるため説明を省略する。
【００３１】
図９は、第２実施形態におけるサーバ端末およびクライアント端末それぞれの詳細な論理構成を示すブロック図である。処理部９０１〜９１０は、図８における８０１〜８１０それぞれと同様である。可逆圧縮部９１１は、環境マップを切り出した部分画像データに対して所定の可逆圧縮を実行する。可逆圧縮を用いるのは、表示用画像を生成する射影変換が未実施であり、圧縮によるデータの欠損が生じると、射影変換により画質の劣化が生じてしまう場合があるためである。一方非可逆圧縮部９１２は、射影変換部９０５から得られる表示用画像データに対して、所定の非可逆圧縮を実行する。非可逆圧縮は一般に、可逆圧縮方式よりも圧縮率が高い。表示用画像データは、射影変換済なので、圧縮効率を優先して非可逆圧縮を実行する。
【００３２】
図７は、第２実施形態に適用可能なサーバ端末とクライアント端末間におけるデータ転送と処理の流れを示すフローチャートである。サーバ端末およびクライアント端末は、それぞれの端末内のＣＰＵが、フローチャートに示す処理を実現するコンピュータプログラムを実行することにより、各処理を実現する。
【００３３】
ステップＳ７０１〜ステップＳ７０５までは、第１実施形態におけるステップＳ６０１〜ステップＳ６０５までの処理と同様である。Ｓ７０６において判定部９０３は、環境マップから切り出した部分画像データに対して所定の可逆圧縮方式により圧縮した際のデータ量ＳＬを算出する。可逆圧縮部９１１が実行する圧縮アルゴリズムによって、大まかなデータはあらかじめ予測できるので、予測値をデータ量ＳＬとして用いる。なお判定部９０３は、可逆圧縮後のデータ量は、実際に可逆圧縮部９１１が可逆圧縮を実行した後、可逆圧縮部９１１が算出したデータ量を取得する構成としてもよい。
【００３４】
ステップＳ７０７において判定部９０３は、表示用画像データに対して非可逆圧縮部９１２が非可逆圧縮した際のデータ量ＳＣを算出する。可逆圧縮の場合と同様、非可逆圧縮部９１２が実行する圧縮アルゴリズムによって、大まかなサイズはあらかじめ予測できる。判定部９０３は、予め非可逆圧縮部９１２が実行する非可逆圧縮のパラメータを保持し、データ量を予測する。なおここでも、判定部９０３は、実際に非可逆圧縮部９１２が非可逆圧縮を実行した後、非可逆圧縮９１１が算出したデータ量を取得する構成としてもよい。
【００３５】
ステップＳ７０８において判定部９０３は、データ量ＳＬとデータ量ＳＣを比較する。部分画像データを可逆圧縮した際のデータ量ＳＬの方が大きい場合はＳ７０９に進み、小さい場合はＳ７１２に進む。ステップＳ７０９において射影変換部９０５は、切り出した部分画像データに対して、ＨＭＤ１０７で表示するための射影変換を実施する。これにより、ＨＭＤでの表示用画像データを生成する。ステップＳ７１０において非可逆圧縮部９１２は、表示用画像データに対して非可逆圧縮を適用する。ステップＳ７１１において表示用画像出力部９０６は、非可逆圧縮した表示用画像データをクライアント端末に送信する。
【００３６】
ステップＳ７１２において可逆圧縮部９１１は、切り出した部分画像データに対して可逆圧縮を適用する。ステップＳ７１３において部分画像出力部９０４は、可逆圧縮した部分画像データをクライアント端末に送信する。Ｓ７１４においてクライアント端末の復号部９１３は、受信した圧縮データを復号する。さらに射影変換部９０９は、復号して得られる部分画像データに対して、表示用の射影変換を実施する。
【００３７】
ステップＳ７１５において表示制御部９１０は、表示用画像データをＨＭＤ１０７に出力し、液晶ディスプレイ３０６に表示させる。このとき、表示用画像データをサーバ端末から受信した場合は、復号部９１４が圧縮データを復号する。
【００３８】
以上第２実施形態では、サーバ端末からクライアント端末に転送するデータの通信量を削減できる。
【００３９】
＜その他の実施形態＞
なお、前述の実施形態では、転送するデータのデータ量をその都度、計算式に従って算出したが、画像のデータ量をその都度算出せず、あらかじめ入力値と算出結果の組み合わせで構成されるルックアップテーブルを利用しておいてもよい。視野範囲に対応する部分画像データのサイズは、φ方向に依存しているため、φ方向毎の部分画像データのデータ量と表示用画像データのデータ量とを比較した結果に基づきルックアップテーブルを作成する。角度情報としてクライアント端末から角度情報φを受信すると、ルックアップテーブルを参照することにより、切り出した部分画像データと射影変換済の画像データのうちいずれを転送すべきか判定することができる。本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４０】
８０２  画像切り出し部
８０３  判定部
８０４  部分画像出力部
８０５  射影変換部
８０６  表示用画像出力部
【図１】
0006639205.tif 000002
【図２】
0006639205.tif 000003
【図３】
0006639205.tif 000004
【図４】
0006639205.tif 000005
【図５】
0006639205.tif 000006
【図６】
0006639205.tif 000007
【図７】
0006639205.tif 000008
【図８】
0006639205.tif 000009
【図９】
0006639205.tif 000010