(57)【要約】【課題】ユーザーの頭部の動きに追従した画像を表示する。【解決手段】画像表示システム１００は、表示装置４００で表示する画角を切り替える機能を備えている。描画装置３００は、全天球画像や４Ｋ画像などの広角の原画像の中の、頭部動作追跡装置２００が検出した姿勢情報に対応する位置から、画像切り替え機能により決定した画角で切り出すようにしている。ユーザーが原画像中の特定の狭い領域に着目して観察したいときには狭い画角に切り替え、ユーザーが原画像の様子を概略的に理解したときには広い画角に切り替え、ユーザーが効率的に広角画像を視聴できるようにする。【選択図】  図１
2015125502.tif 000002
【特許請求の範囲】
【請求項１】
表示装置の表示画像を観察するユーザーの頭部の姿勢情報を取得する姿勢情報取得部と、
前記表示画像の画角を切り替える画角切り替え部と、
前記姿勢情報と前記画角に基づいて前記表示画像を生成する描画処理部と、
生成した前記画像を前記表示装置に送信する送信部と、
を具備する画像処理装置。
【請求項２】
前記表示装置は、前記ユーザーの頭部又は顔部に固定して用いられる、
請求項１に記載の画像処理装置。
【請求項３】
前記姿勢情報取得部は、ユーザーの頭部の姿勢を検出する姿勢検出装置から姿勢情報を受信する、
請求項１に記載の画像処理装置。
【請求項４】
前記描画処理部は、原画像の前記姿勢情報に対応する位置から前記画角に対応する領域を切り出して、前記表示画像を生成する、
請求項１に記載の画像処理装置。
【請求項５】
ユーザーが操作するユーザー操作部をさらに備え、
前記画角切り替え部は、前記ユーザー操作部に対してユーザーが行なった操作に応じて前記画角を切り替える、
請求項１に記載の画像処理装置。
【請求項６】
前記ユーザー操作部はタッチパネルを備え、
前記画角切り替え部は、前記タッチパネルに対するユーザーのタッチ操作に応じて前記画角を切り替える、
請求項５に記載の画像処理装置。
【請求項７】
前記画角切り替え部は、ユーザーが前記タッチパネルをタッチする度に、第１の画角と第２の画角のいずれかに交互に切り替える、
請求項６に記載の画像処理装置。
【請求項８】
前記画角切り替え部は、前記第１の画角及び前記第２の画角を固定値とする、
請求項７に記載の画像処理装置。
【請求項９】
前記画角切り替え部は、前記第１の画角を前記表示装置の解像度に基づいて決定し、前記第２の画角を前記表示装置の解像度と前記描画処理部が処理する原画像の解像度に基づいて決定する、
請求項７に記載の画像処理装置。
【請求項１０】
前記画角切り替え部は、原画像の特徴量に基づいて、画角を決定する、
請求項１に記載の画像処理装置。
【請求項１１】
前記画角切り替え部は、被写体の合計数が所定値を超える最も小さい画角に決定する、
請求項１０に記載の画像処理装置。
【請求項１２】
前記画角切り替え部は、被写体の重み付け加算値が所定値を超える最も小さい画角に決定する、
請求項１０に記載の画像処理装置。
【請求項１３】
表示装置の表示画像を観察するユーザーの頭部の姿勢情報を取得する姿勢情報取得ステップと、
前記表示画像の画角を切り替える画角切り替えステップと、
前記姿勢情報と前記画角に基づいて前記表示画像を生成する描画処理ステップと、
生成した前記画像を前記表示装置に送信する送信ステップと、
を有する画像処理方法。
【請求項１４】
表示部と、
前記表示部の表示画像を観察するユーザーの頭部の姿勢情報を取得する姿勢情報取得部と、
前記表示画像の画角を切り替える画角切り替え部と、
前記姿勢情報と前記画角に基づいて前記表示画像を生成する描画処理部と、
を具備する表示装置。
【請求項１５】
ユーザーが操作するユーザー操作部をさらに備え、
前記画角切り替え部は、前記ユーザー操作部に対してユーザーが行なった操作に応じて前記画角を切り替える、
請求項１４に記載の表示装置。
【請求項１６】
前記画角切り替え部は、ユーザー操作が行なわれる度に、第１の画角と第２の画角のいずれかに交互に切り替える、
請求項１５に記載の表示装置。
【請求項１７】
表示部の表示画像を観察するユーザーの頭部の姿勢情報を取得する姿勢情報取得ステップと、
前記表示画像の画角を切り替える画角切り替えステップと、
前記姿勢情報と前記画角に基づいて前記表示画像を生成する描画処理ステップと、
を有する表示方法。
【請求項１８】
表示装置の表示画像を観察するユーザーの頭部の姿勢情報を取得する姿勢情報取得部、
前記表示画像の画角を切り替える画角切り替え部、
前記姿勢情報と前記画角に基づいて前記表示画像を生成する描画処理部、
生成した前記画像を前記表示装置に送信する送信部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。
【請求項１９】
表示部、
前記表示部の表示画像を観察するユーザーの頭部の姿勢情報を取得する姿勢情報取得部、
前記表示画像の画角を切り替える画角切り替え部、
前記姿勢情報と前記画角に基づいて前記表示画像を生成する描画処理部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。
【請求項２０】
画像を表示する表示装置と、
前記表示装置の表示画像を観察するユーザーの頭部の姿勢を測定する頭部動作追跡装置と、
前記表示装置で画像を表示する画角を切り替え、前記姿勢情報と前記画角に基づく画像を生成する描画装置と、
を具備する画像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で開示する技術は、ユーザーの頭部の動きに追従した画像を処理する画像処理装置及び画像処理方法、ユーザーの頭部の動きに追従した画像を表示する表示装置及び表示方法、コンピューター・プログラム、並びに画像表示システムに関する。
【背景技術】
【０００２】
画像を観察するユーザーの頭部又は顔部に固定される画像表示装置、すなわち、ヘッド・マウント・ディスプレイが知られている。ヘッド・マウント・ディスプレイは、例えば左右の眼毎の画像表示部を持ち、また、ヘッドフォンと併用し、視覚及び聴覚を制御できるように構成されている。頭部に装着した際に外界を完全に遮るように構成すれば、視聴時の仮想現実感が増す。また、ヘッド・マウント・ディスプレイは、左右の眼に違う映像を映し出すことも可能であり、左右の眼に対して視差のある画像を表示すれば３Ｄ画像を提示することができる。
【０００３】
この種のヘッド・マウント・ディスプレイは、虚像を眼の網膜上に結像させて、ユーザーに観察させる。ここで、虚像は、物体が焦点距離よりレンズに近い位置にある場合に、その物体側に形成される。例えば、瞳孔の前方に２５ミリメートルだけ離間して広視野角の虚像光学系を配置し、この広視野角光学系のさらに前方に約０．７インチの有効画素範囲の大きさを持つ表示パネルを配置して、表示画像の拡大虚像をユーザーの瞳に結像するヘッド・マウント・ディスプレイについて提案がなされている（例えば、特許文献１を参照のこと）。
【０００４】
また、ユーザーは、この種のヘッド・マウント・ディスプレイを用いて、広角画像の一部を切り出した画像を観察することができる。例えば、頭部にジャイロ・センサーなどからなる頭部動作追跡装置を取り付け、ユーザーの頭部の動きに追従させた全空間の３６０度の映像を実感できるようにしたヘッド・マウント・ディスプレイについて提案がなされている（例えば、特許文献２、特許文献３を参照のこと）。ジャイロ・センサーが検出した頭部の動きを打ち消すように、広角画像中で表示領域を移動させることで、頭部の動きに追従した画像を再現することができ、ユーザーは全空間を見渡すような体験をする。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本明細書で開示する技術の目的は、ユーザーの頭部の動きに追従した画像を提示することができる、優れた画像処理装置及び画像処理方法、表示装置及び表示方法、コンピューター・プログラム、並びに画像表示システムを提供することにある。
【課題を解決するための手段】
【０００６】
本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
表示装置の表示画像を観察するユーザーの頭部の姿勢情報を取得する姿勢情報取得部と、
前記表示画像の画角を切り替える画角切り替え部と、
前記姿勢情報と前記画角に基づいて前記表示画像を生成する描画処理部と、
生成した前記画像を前記表示装置に送信する送信部と、
を具備する画像処理装置である。
【０００７】
本願の請求項２に記載の技術によれば、前記表示装置は、前記ユーザーの頭部又は顔部に固定して用いられる。
【０００８】
本願の請求項３に記載の技術によれば、請求項１に記載の画像処理装置の前記姿勢情報取得部は、ユーザーの頭部の姿勢を検出する姿勢検出装置から姿勢情報を受信するように構成されている。
【０００９】
本願の請求項４に記載の技術によれば、請求項１に記載の画像処理装置の前記描画処理部は、原画像の前記姿勢情報に対応する位置から前記画角に対応する領域を切り出して、前記表示画像を生成するように構成されている。
【００１０】
本願の請求項５に記載の技術によれば、請求項１に記載の画像処理装置は、ユーザーが操作するユーザー操作部をさらに備えている。そして、前記画角切り替え部は、前記ユーザー操作部に対してユーザーが行なった操作に応じて前記画角を切り替えるように構成されている。
【００１１】
本願の請求項６に記載の技術によれば、請求項５に記載の画像処理装置の前記ユーザー操作部はタッチパネルを備えている。そして、前記画角切り替え部は、前記タッチパネルに対するユーザーのタッチ操作に応じて前記画角を切り替えるように構成されている。
【００１２】
本願の請求項７に記載の技術によれば、請求項６に記載の画像処理装置の前記画角切り替え部は、ユーザーが前記タッチパネルをタッチする度に、第１の画角と第２の画角のいずれかに交互に切り替えるように構成されている。
【００１３】
本願の請求項８に記載の技術によれば、請求項７に記載の画像処理装置において、前記画角切り替え部は、前記第１の画角及び前記第２の画角を固定値とする。
【００１４】
本願の請求項９に記載の技術によれば、請求項７に記載の画像処理装置の前記画角切り替え部は、前記第１の画角を前記表示装置の解像度に基づいて決定し、前記第２の画角を前記表示装置の解像度と前記描画処理部が処理する原画像の解像度に基づいて決定するように構成されている。
【００１５】
本願の請求項１０に記載の技術によれば、請求項１に記載の画像処理装置の前記画角切り替え部は、原画像の特徴量に基づいて、画角を決定するように構成されている。
【００１６】
本願の請求項１１に記載の技術によれば、請求項１０に記載の画像処理装置の前記画角切り替え部は、被写体の合計数が所定値を超える最も小さい画角に決定するように構成されている。
【００１７】
本願の請求項１２に記載の技術によれば、請求項１０に記載の画像処理装置の前記画角切り替え部は、被写体の重み付け加算値が所定値を超える最も小さい画角に決定するように構成されている。
【００１８】
また、本願の請求項１３に記載の技術は、
表示装置の表示画像を観察するユーザーの頭部の姿勢情報を取得する姿勢情報取得ステップと、
前記表示画像の画角を切り替える画角切り替えステップと、
前記姿勢情報と前記画角に基づいて前記表示画像を生成する描画処理ステップと、
生成した前記画像を前記表示装置に送信する送信ステップと、
を有する画像処理方法である。
【００１９】
また、本願の請求項１４に記載の技術は、
表示部と、
前記表示部の表示画像を観察するユーザーの頭部の姿勢情報を取得する姿勢情報取得部と、
前記表示画像の画角を切り替える画角切り替え部と、
前記姿勢情報と前記画角に基づいて前記表示画像を生成する描画処理部と、
を具備する表示装置である。
【００２０】
本願の請求項１５に記載の技術によれば、請求項１４に記載の表示装置は、ユーザーが操作するユーザー操作部をさらに備えている。そして、前記画角切り替え部は、前記ユーザー操作部に対してユーザーが行なった操作に応じて前記画角を切り替えるように構成されている。
【００２１】
本願の請求項１６に記載の技術によれば、請求項１５に記載の表示装置の前記画角切り替え部は、ユーザー操作が行なわれる度に、第１の画角と第２の画角のいずれかに交互に切り替えるように構成されている。
【００２２】
また、本願の請求項１７に記載の技術は、
表示部の表示画像を観察するユーザーの頭部の姿勢情報を取得する姿勢情報取得ステップと、
前記表示画像の画角を切り替える画角切り替えステップと、
前記姿勢情報と前記画角に基づいて前記表示画像を生成する描画処理ステップと、
を有する表示方法である。
【００２３】
また、本願の請求項１８に記載の技術は、
表示装置の表示画像を観察するユーザーの頭部の姿勢情報を取得する姿勢情報取得部、
前記表示画像の画角を切り替える画角切り替え部、
前記姿勢情報と前記画角に基づいて前記表示画像を生成する描画処理部、
生成した前記画像を前記表示装置に送信する送信部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラムである。
【００２４】
また、本願の請求項１９に記載の技術は、
表示部、
前記表示部の表示画像を観察するユーザーの頭部の姿勢情報を取得する姿勢情報取得部、
前記表示画像の画角を切り替える画角切り替え部、
前記姿勢情報と前記画角に基づいて前記表示画像を生成する描画処理部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラムである。
【００２５】
本願の請求項１８、１９に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムをそれぞれ定義したものである。換言すれば、本願の請求項１８、１９に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用がそれぞれ発揮され、本願の請求項１に係る画像処理装置、請求項１４に係る表示装置と同様の作用効果を得ることができる。
【００２６】
また、本願の請求項２０に記載の技術は、
画像を表示する表示装置と、
前記表示装置の表示画像を観察するユーザーの頭部の姿勢を測定する頭部動作追跡装置と、
前記表示装置で画像を表示する画角を切り替え、前記姿勢情報と前記画角に基づく画像を生成する描画装置と、
を具備する画像表示システムである。
【００２７】
但し、ここで言う「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。
【発明の効果】
【００２８】
本明細書で開示する技術によれば、ユーザーの頭部の動きに追従した画像を好適に処理することができる、優れた画像処理装置及び画像処理方法、表示装置及び表示方法、コンピューター・プログラム、並びに画像表示システムを提供することができる。
【００２９】
本明細書で開示する技術によれば、全天球画像や４Ｋ画像などの広角の原画像の中のユーザーの頭部の姿勢情報に対応する位置から切り出す画像の画角を適切に切り替えることができる。したがって、ユーザーが原画像中の特定の狭い領域に着目して観察したいときには狭い画角に切り替え、ユーザーが原画像の様子を概略的に理解したときには広い画角に切り替えるなどして、ユーザーが効率的に広角画像を視聴することができる。
【００３０】
なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
【００３１】
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【００３２】
【図１】図１は、本明細書で開示する技術を適用した画像表示システム１００の構成例を模式的に示した図である。
【図２】図２は、画像表示システム１００の変形例を模式的に示した図である。
【図３】図３は、表示装置４００の外観構成を示した図（斜視図）である。
【図４】図４は、表示装置４００の外観構成を示した図（左側面図）である。
【図５】図５は、図１又は図２に示した画像表示システム１００において、ユーザーの頭部の動きに追従した画像を表示装置４００で表示する仕組みを説明するための図である。
【図６】図６は、画角切り替え機能を備えた描画装置３００の構成を模式的に示した図である。
【図７】図７は、表示画角を切り替えながら表示部４００に画像を表示する処理手順を示したフローチャートである
【図８】図８は、画像切り替え部６０１がユーザー操作に応じて画像の切り出し画角を切り替える処理手順を示したフローチャートである。
【図９】図９は、原画像の画角と切り取を行なった画角の関係を例示した図である。
【図１０】図１０は、画角切り替え操作によって画面が遷移する様子を示した図である。
【図１１】図１１は、表示の解像度と原画像の解像度に基づいて自動的に決定した決定した第１の画角及び第２の画角の候補を例示した図である。
【図１２】図１２は、画角切り替え部６０１が表示装置４００の表示部４０２の解像度と原画像の解像度に基づいて自動的に決定するための処理手順を示したフローチャートである。
【図１３】図１３は、画角切り替え部６０１がデフォルトでおすすめ画角を設定するとともに、ユーザー操作に応じて画像の切り出し画角を切り替える処理手順を示したフローチャートである。
【図１４】図１４は、同じ中心位置で画角の大きさにより被写体の数が変化する様子を例示した図である。
【図１５】図１５は、画角切り替え部６０１が被写体の合計数に基づいて原画像に最適な画角を決定するための処理手順を示したフローチャートである。
【図１６】図１６は、原画像１６０１に含まれる被写体１６０１〜１６２４の重要度を濃淡で示した図である。
【図１７】図１７は、画角切り替え部６０１が被写体を重み付け加算した合計値に基づいて原画像に最適な画角を決定するための処理手順を示したフローチャートである。
【発明を実施するための形態】
【００３３】
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
【００３４】
図１には、本明細書で開示する技術を適用した画像表示システム１００の構成例を模式的に示している。図示の画像表示システム１００は、頭部動作追跡装置２００と、描画装置３００と、表示装置４００で構成される。
【００３５】
頭部動作追跡装置２００は、表示装置４００が表示する画像を観察するユーザーの頭部に装着して用いられ、所定の送信周期でユーザーの頭部の姿勢情報を描画装置２００に出力する。図示の例では、頭部動作追跡装置２００は、センサー部２０１と、姿勢角演算部２０２と、得られた姿勢情報を描画装置３００に送信する送信部２０３を備えている。
【００３６】
センサー部２０１は、例えば、ジャイロ・センサーと加速度センサーと地磁気センサーなど複数のセンサー素子を組み合わせて構成されている。ここでは、３軸ジャイロ・センサー、３軸加速度センサー、３軸地磁気センサーの合計９軸を検出可能なセンサーとする。姿勢角演算部２０２は、センサー部２０１による９軸の検出結果に基づいて、ユーザーの頭部の姿勢情報を演算する。送信部２０３は、求められた姿勢情報を描画装置３００に送信する。
【００３７】
図示の画像表示システム１００では、頭部動作追跡装置２００と描画装置３００間はＢｌｕｅｔｏｏｔｈ（登録商標）通信などの無線通信により相互接続されているものとする。勿論、無線通信ではなく、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）のような高速な有線インフェース経由で頭部動作追跡装置２００と描画装置３００間を接続するようにしてもよい。
【００３８】
描画装置３００は、表示装置４００で表示する画像のレンダリング処理を行なう。描画装置３００は、例えばスマートフォンなどのＡｎｄｒｏｉｄ（登録商標）搭載端末、あるいはパーソナル・コンピューター、ゲーム機として構成されるが、これらの装置に限定される訳ではない。
【００３９】
図示の例では、描画装置３００は、頭部動作追跡装置２００から姿勢情報を受信する受信部３０１と、姿勢情報に基づいて画像のレンダリング処理を行なう描画処理部３０２と、レンダリングした画像を表示装置４００に送信する送信部３０２と、画像データの供給源となる画像ソース３０４を備えている。
【００４０】
受信部３０１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信などを介して、頭部動作追跡装置２００から姿勢情報を受信する。上述したように、姿勢情報は回転マトリックスで表現されている。
【００４１】
画像ソース３０４は、例えば、画像コンテンツを記録するＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）などの記憶装置、ブルーレイ（登録商標）などの記録メディアを再生するメディア再生装置、ディジタル放送信号を選局受信する放送チューナー、インターネットのサーバーなどから画像コンテンツを受信する通信インターフェースなどからなる。
【００４２】
描画処理部３０２は、画像ソース３０４の画像データから、表示装置４００側で表示する画像をレンダリングする。描画処理部３０２は、例えば画像ソース３０４から供給される全天球型の原画像や４Ｋなどの広画角の原画像から、受信部３０１で受信した姿勢情報に対応した表示画角を切り出した画像をレンダリングする。
【００４３】
描画装置３００と表示装置４００間は、例えばＨＤＭＩ（登録商標）（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）やＭＨＬ（Ｍｏｂｉｌｅ  Ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ  Ｌｉｎｋ）などの有線ケーブルにより接続されている。あるいは、ｗｉｒｅｌｅｓｓＨＤやＭｉｒａｃａｓｔのような無線通信で接続してもよい。送信部３０３は、いずれかの通信路を用いて、描画処理部３０２でレンダリングされた画像データを非圧縮のまま表示装置４００に送信する。
【００４４】
表示装置４００は、描画装置３００から画像を受信する受信部４０１と、受信した画像を表示する表示部４０２を備えている。表示装置４００は、例えば、画像を観察するユーザーの頭部又は顔部に固定されるヘッド・マウント・ディスプレイとして構成される。
【００４５】
受信部４０１は、例えばＨＤＭＩ（登録商標）やＭＨＬなどの通信路を介して、描画装置３００から非圧縮の画像データを受信する。表示部４０２は、受信した画像データを画面に表示する。
【００４６】
表示装置４００がヘッド・マウント・ディスプレイとして構成される場合、例えば、表示部４０２は、ユーザーの左右の眼にそれぞれ固定された左右の画面を備え、左眼用画像及び右眼用画像を表示する。表示部４０２の画面は、例えば有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子や液晶ディスプレイなどのマイクロ・ディスプレイなどの表示パネル、あるいは、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。また、表示部４０２の表示画像を拡大投影して、ユーザーの瞳に所定の画角からなる拡大虚像を結像する虚像光学部を備えている。
【００４７】
描画装置３００側では、例えば全天球型の原画像や４Ｋなどの広画角の原画像から、ユーザーの頭部の姿勢情報に対応した表示画角を切り出した画像をレンダリングする。表示装置４００側では、ユーザーの頭部の姿勢角を打ち消すように原画像中の表示領域が移動することになる。したがって、頭部の動きに追従した画像を再現することができ、ユーザーは大画面を見渡す体験をすることができる。また、表示装置４００は、画像の動きに合わせて音声の出力も変化させるようにしてもよい。
【００４８】
図２には、画像表示システム１００の変形例を模式的に示している。図１に示した例では、画像表示システム１００は、頭部動作追跡装置２００、描画装置３００、表示装置４００という３台の独立した装置で構成されるが、図２に示す例では、描画装置３００の機能が表示装置４００内に搭載されている。図１に示したように、頭部動作追跡装置２００を表示装置４００に外付けされるオプション製品として構成すれば、表示装置４００の小型・軽量化、低廉化になる。
【００４９】
図３並びに図４には、表示装置４００の外観構成を示している。図示の例では、表示装置４００は、画像を観察するユーザーの頭部又は顔部に固定して用いられるヘッド・マウント・ディスプレイとして構成される。但し、図３はヘッド・マウント・ディスプレイの斜視図であり、図４はヘッド・マウント・ディスプレイの左側面図である。
【００５０】
図示の表示装置４００は、帽子形状、若しくは、頭部の全周を包む帯状の構造とし、装置の荷重を頭部全体に分散させて、ユーザーの負担を軽減して装着することができるヘッド・マウント・ディスプレイである。
【００５１】
表示装置４００は、表示系統を含む大部分の部品を含んだ本体部４１と、本体部４１の上面から突設した額当て部４２と、上バンド４４及び下バンド４５に分岐されるヘッド・バンドと、左右のヘッドフォンからなる。本体部４１内には、表示部や回路基板が収容される。また、本体部４１の下方には、鼻背に倣うように鼻当て部４３が形設されている。
【００５２】
ユーザーが表示装置４００を頭部に装着したとき、額当て部４２がユーザーの額に当接するとともに、ヘッド・バンドの上バンド４４及び下バンド４５がそれぞれ頭部の後方に当接する。すなわち、額当て部４２、上バンド４４、下バンド４５の３点支持によって、表示装置４００がユーザーの頭部に装着される。したがって、主に鼻当て部で重量を支える通常の眼鏡の構造とは相違し、この表示装置４００は、その荷重を頭部全体に分散させて、ユーザーの負担を軽減して装着することができる。図示の表示装置４００も鼻当て部４３を備えているが、補助的な支持しか寄与しない。また、額当て部４２をヘッド・バンドで締め付けることで、表示装置４００が装着されたユーザーの頭部から回転しないように、回転方向の動きを支持することができる。
【００５３】
頭部動作追跡装置２００は、ヘッド・マウント・ディスプレイとして構成される表示装置４００の本体部４１内に搭載することもできる。但し、本実施形態では、表示装置４００の小型・軽量化、低廉化などを意図して、頭部動作追跡装置２００は、表示装置４００に外付けされるオプション製品として提供されるものとする。頭部動作追跡装置２００は、例えばアクセサリーとして、表示装置４００の上バンド４４、下バンド４５、額当て部４２などのいずれかの場所に取り付けて用いられる。
【００５４】
図５には、図１又は図２に示した画像表示システム１００において、ユーザーの頭部の動きに追従した画像を表示装置４００で表示する仕組みを図解している。
【００５５】
ユーザーの視線の奥行き方向がｚw軸、水平方向がｙw軸、垂直方向がｘw軸であり、ユーザーの基準軸ｘwｙwｚwの原点位置はユーザーの視点位置とする。したがって、ロールθzはユーザーの頭部のｚw軸回りの運動、チルトθyはユーザーの頭部のｙw軸回りの運動、パンθzはユーザーの頭部のｘw軸回りの運動に相当する。
【００５６】
頭部動作追跡装置２００は、ユーザーの頭部のロール、チルト、パンの各方向の動き（θz，θy，θz）や頭部の平行移動からなる姿勢情報を検出して、回転マトリックスＭRとして描画装置３００に出力する。
【００５７】
描画装置３００は、ユーザーの頭部の姿勢に追従するように、例えば全天球型の原画像や４Ｋなどの広画角の原画像５０１から切り出す領域５０２の中心を移動させ、その中心位置で所定の画角で切り出した領域５０２の画像をレンダリングする。描画装置３００は、ユーザーの頭部運動のロール成分に応じて領域５０２−１を回転させたり、ユーザーの頭部運動のチルト成分に応じて領域５０２−２を移動させたり、ユーザーの頭部運動のパン成分に応じて領域５０２−３を移動させたりして、頭部動作追跡装置２００が検出した頭部の動きを打ち消すように表示領域を移動させる。表示装置４００側では、ユーザーの頭部の動きに追従するように原画像５０１中で表示領域が移動する画像を提示することができる。
【００５８】
図５に示したように、本実施形態に係る画像表示システム１００では、原画像の中から表示装置４００に表示するために切り出す領域の位置は、頭部追跡装置２００が検出するユーザーの頭部の姿勢情報に従って移動していく。ここで、姿勢情報で決まる位置で、どのようなサイズの画角で切り出せばよいかという問題がある。
【００５９】
狭い画角で切り出すと、ユーザーは原画像中の特定の狭い領域に着目して観察することができるが、原画像がぼやけてしまい、また、原画像のどの部分を見ているのかを把握し難くなる。一方広い画角で切り出すと、ユーザーは原画像のどの部分を見ているのか、原画像がどのようなものかを把握し易くなるが、詳細を観察し難くなる。
【００６０】
そこで、本実施形態に係る画像表示システム１００は、表示装置４００で表示する画角を切り替える機能を備えている。そして、描画装置３００は、全天球画像や４Ｋ画像などの広角の原画像の中の、頭部動作追跡装置２００が検出した姿勢情報に対応する位置から、画像切り替え機能により決定した画角で切り出すようにしている。したがって、ユーザーが原画像中の特定の狭い領域に着目して観察したいときには狭い画角に切り替え、ユーザーが原画像の様子を概略的に理解したときには広い画角に切り替えるなどして、ユーザーが効率的に広角画像を視聴できるようにしている。
【００６１】
図６には、画角切り替え機能を備えた描画装置３００の構成を模式的に示している。
【００６２】
画像切り替え部６０１は、所定の手続きに従って、表示装置４００に表示する画像の画角を切り替える。例えば、ユーザーのマニュアル操作に従って画角を切り替えるようにしてもよい。あるいは、表示装置４００が備える表示能力や、表示する画像の特徴に基づいて、自動的に画角を切り替えるようにしてもよい。
【００６３】
描画処理部３０２は、画像ソース３０４から供給される全天球型の原画像や４Ｋなどの広画角の原画像から、受信部３０１で受信した姿勢情報に対応した位置で、画像切り替え部６０１で決定した画角を切り出して、表示装置４００で表示する画像をレンダリングする。そして、送信部３０３は、描画処理部３０２でレンダリングされた画像データを非圧縮のまま表示装置４００に送信する。
【００６４】
図７には、画像表示システム１００において、表示画角を切り替えながら表示部４００に画像を表示する処理手順をフローチャートの形式で示している。
【００６５】
まず、画角切り替え部６０１が原画像から切り出す画角を決定する（ステップＳ７０１）。画角切り替え部６０１は、ユーザーのマニュアル操作に従って画角を切り替えるたり、表示装置４００が備える表示能力や表示する画像の特徴に基づいて自動的に画角を切り替えたりすることができるが、切り出し画角を決定する処理の詳細については後述する。
【００６６】
そして、描画装置３００内では、受信部３０１で頭部動作追跡装置２００からユーザーの頭部の姿勢情報を受信すると（ステップＳ７０２のＹｅｓ）、描画処理部３０２が、原画像の中の姿勢情報に対応する位置から、画像切り替え部６０１が決定した画角で画像を切り出して、表示装置４００で表示する画像をレンダリングする（ステップＳ７０３）。
【００６７】
レンダリングされた画像は送信部３０３から表示装置４００に送信され、表示部４００は受信した画像を表示部４０２で表示する（ステップＳ７０４）。
【００６８】
上述した処理ステップＳ７０１〜Ｓ７０４を、画像の表示が終了するまで（ステップＳ７０５のＮｏ）、繰り返し実行する。
【００６９】
画角切り替え部６０１は、ステップＳ７０１で、ユーザーのマニュアル操作に従って画角を切り替えることができる。このため、描画装置３００は、ユーザーが入力操作を行なうユーザー操作部を備えていてもよい。描画装置３００が例えばスマートフォンなどの多機能携帯端末として構成される場合、ユーザー操作部はタッチパネルでよい。画角切り替え部６０１は、タッチパネルに対するユーザーのタッチ操作など、ユーザー操作部に対する入力操作の情報を入力して、画角を切り替える。
【００７０】
図８には、ステップＳ７０１で、画角切り替え部６０１がユーザー操作に応じて画像の切り出し画角を切り替える処理手順をフローチャートの形式で示している。
【００７１】
タッチパネルなどのユーザー操作部で、切り出し画角の切り換えを指示するユーザーの操作が行なわれたことが検出されると（ステップＳ８０１のＹｅｓ）、画角切り替え部６０１は、現在設定している画角以外の切り出し画角に切り替える（ステップＳ８０２）。一方、ユーザーの操作が検出されないときには（ステップＳ８０１のＮｏ）、ステップＳ８０２をスキップし、画角の切り替えを行なわない。その後、ステップＳ８０１に戻り、画角の切り換え処理を、画像の表示が終了するまで（ステップＳ８０３のＮｏ）、繰り返し実行する。
【００７２】
図９には、原画像から切り取った画角を例示している。図示の例では、原画像９０１の画角を視野角１４０度とする。描画装置３００は、この原画像９０１から、視野角６０度の第１の画角９０２、又は、視野角９０度の第２の画角９０３のいずれかを切り出してレンダリングする。
【００７３】
また、図１０には、画角切り替え操作によって画面が遷移する様子を示している。例えば、ユーザーがタッチパネルを利用して画角切り替え操作を行なう場合、画角切り替え部６０１は、ユーザーがタッチパネルをタッチする度に、原画像から切り出す画角を切り替える。そして、描画処理部３０２は、切り替えた画角で、姿勢情報に対応する位置の画像１００１、１００２をそれぞれ切り出してレンダリングする。図１０に示す例では、原画像から視野角６０の第１の画角で切り出した画像１００１が表示されているときに、ユーザーが画角切り替えボタン１００２をタッチすると、原画像から視野角９０度の第２の画角で切り出した画像１０１１に切り替わる。また、第２の画角で切り出した画像１０１１が表示されているときに、ユーザーが画角切り替えボタン１０１２をタッチすると、第１の画角で切り出した画像１００１に切り替わる。ユーザーが画角切り替えボタン１００２、１０１２をタッチする度に、画角切り替え部６０１は、第１の画角と第２の画角の間で交互に切り替える。
【００７４】
また、第１の画角並び第２の画角を図９、図１０に示したように特定の視野角６０度、９０度に限定する必要はなく、ユーザーが指定できるようにしてもよい。例えば狭い視野角を６０度以外に、広い視野角を９０度以外に、それぞれ変更してもよい。
【００７５】
あるいは、画角切り替え部６０１は、第１の画角並び第２の画角の候補を、表示装置４００が備える表示能力に基づいて自動的に決定するようにしてもよい。例えば、表示装置４００の表示部４０２の解像度や、原画像の解像度に基づいて決定することができる。
【００７６】
図１１には、表示装置４００の表示部４０２の解像度と原画像の解像度に基づいて自動的に決定した第１の画角及び第２の画角の候補を例示している。例えば、解像度が４Ｋ（３８４０×２１６０画素）の原画像１１０１を、表示部４０２の解像度をフルＨＤ（１９２０×１０８０画素）に表示する場合について考察する。画像がぼやけて見えない切り出し範囲の限界は、１９２０×１０８０画素となる。したがって、第１の画角１１０２の解像度の候補の１つを１９２０×１０８０画素とする。また、ユーザーの好みに合わせるために、第１の画角１１０２の解像度と原画像の解像度の間をとった２９１０×１６２０画素を第２の画角１１０３の解像度とする。
【００７７】
表示部４０２の解像度に基づいて切り出し画角の候補を自動的に決定する場合、描画装置４００の画角切り出し部６０１は、表示部４０２の解像度の情報を取得する必要がある。例えば、画像の解像度やフレームレート、製造業者識別情報（ＶｅｎｄｏｒＩＤ）、製品識別情報（ＰｒｏｄｕｃｔＩＤ）など表示装置の属性情報を記憶するファイル・フォーマットとしてＥＤＩＤ（Ｅｘｔｅｎｄｅｄ  Ｄｉｓｐｌａｙ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ  Ｄａｔａ）を利用することができる。画角切り出し部６０１は、例えば、ＤＤＣ（Ｄｉｓｐｌａｙ  Ｄａｔａ  Ｃｈａｎｎｅｌ）のような伝送プロトコルを用いてＥＤＩＤの情報を取得することができる。但し、ＥＤＩＤやＤＤＣを用いる方法には限定されない。
【００７８】
図１２には、画角切り替え部６０１が表示装置４００の表示部４０２の解像度と原画像の解像度に基づいて自動的に決定するための処理手順をフローチャートの形式で示している。
【００７９】
画角切り替え部６０１は、表示装置４００の表示部４０２の解像度の情報を取得し（ステップＳ１２０１）、その解像度に基づいて第１の画角の解像度を決定する（ステップＳ１２０２）。例えば、画角切り替え部６０１は、画像がぼやけて見えない切り出し範囲の限界である、表示部４０２の解像度を第１の画角の解像度に決定する。
【００８０】
次いで、画角切り替え部６０１は、原画像の解像度の情報を取得すると（ステップＳ１２０３）、第１の画角の解像度と原画像の解像度に基づいて、第２の画角の解像度を決定する（ステップＳ１２０４）。例えば、画角切り替え部６０１は、第１の画角の解像度と原画像の解像度の間をとった第２の画角の解像度に決定する。
【００８１】
例えば、画角切り替え部６０１は、デフォルトでは「おすすめ画角」として第２の画角を設定し、第２の画角で画像を提示するが、タッチパネルなどのユーザー操作に応じて、第１の画角に切り替える。
【００８２】
図１３には、ステップＳ７０１で、画角切り替え部６０１が、デフォルトでおすすめ画角を設定するとともに、ユーザー操作に応じて画像の切り出し画角を切り替える処理手順をフローチャートの形式で示している。
【００８３】
画角切り替え部６０１は、表示部４０１の解像度に基づく第１の画角の解像度と原画像の解像度の間に設定された第２の画角をおすすめ画角に設定する（ステップＳ１３０１）。
【００８４】
その後、タッチパネルなどのユーザー操作部で、切り出し画角の切り換えを指示するユーザーの操作が行なわれたことが検出されると（ステップＳ１３０２のＹｅｓ）、画角切り替え部６０１は、現在設定している画角以外の切り出し画角に切り替える（ステップＳ１３０３）。一方、ユーザーの操作が検出されないときには（ステップＳ１３０３のＮｏ）、ステップＳ８０２をスキップし、画角の切り換えを行なわない。その後、ステップＳ１３０２に戻り、上記の画角の切り換え処理を、画像の表示が終了するまで（ステップＳ１３０４のＮｏ）、繰り返し実行する。
【００８５】
また、画角切り替え部６０１は、原画像の特徴に基づいて自動的に画角を決定するようにしてもよい。例えば、画角切り替え部６０１は、原画像に含まれる被写体に着目して、最適な画角を決定することができる。例えば、２点画素の輝度差に関する弱仮説の集合からなる被写体検出器を用いて、画像内に含まれる被写体を検出することができる（例えば、特許文献４を参照のこと）。
【００８６】
ユーザーの頭部の姿勢情報に基づいて決まる切り出しの中心位置で、狭い画角で画像を切り出すと、被写体を観察し易くなるが、映っている被写体の数が少ない、あるいは重要な被写体が画角から外れてしまう場合がある。一方、切り出しの中心位置で、広い画角で画像を切り出すと、より多くの被写体を取り込み、重要な被写体を画角に含み易くなるが、被写体数が多くて煩雑な画像になり、個々の被写体を観察し難くなる。被写体は、人物、ペットなどの動物、植物、自動車などの乗り物（例えば、サーキットを走行中のレース車など）、建物などさまざまである。
【００８７】
図１４には、同じ中心位置で画角の大きさにより被写体の数が変化する様子を例示している。同図では、説明の便宜上、被写体を人物とする。原画像１４０１は、２４人の被写体１４０１〜１４２４が写っている。参照番号１４０２で示す狭い画角内には、３人の被写体１４１１〜１４１３しか含まれていない。同じ切り出しの中心位置で、参照番号１４０３で示す広い画角にすると、さらに５人の被写体１４１４〜１４１８も含まれ、合計で８人の被写体が写っている。画角１４０３まで広げると、十分な被写体数となるので、最適な画角となる。
【００８８】
画角切り替え部６０１は、ユーザーの頭部の姿勢情報に応じて決定される切り出しの中心位置で、画角の大きさを変更しながら、画角に含まれる被写体の合計数を逐次求める。例えば、画角切り替え部６０１は、被写体の合計数が所定値を超える最も小さい画角に自動的に設定するようにする。
【００８９】
図１５には、画角切り替え部６０１が被写体の合計数に基づいて原画像に最適な画角を決定するための処理手順をフローチャートの形式で示している。
【００９０】
まず、画角切り替え部６０１は、画角を初期値に設定する（ステップＳ１５０１）。
【００９１】
そして、画角切り替え部６０１は、現在の画角に含まれている被写体の数を計算して（ステップＳ１５０２）、被写体の合計数が所定値を超えるかどうかをチェックする（ステップＳ１５０３）。ここで言う所定値は、予め定められた値や、ユーザーが設定した値でよい。あるいは、原画像全体に含まれる被写体の合計数に対する割合（例えば３分の１）に基づいて所定値を決めるようにしてもよい。
【００９２】
被写体の合計数が所定値を超えているときには（ステップＳ１５０３のＹｅｓ）、現在の画角を最適な画角として出力して（ステップＳ１５０４）、本処理ルーチンを終了する。
【００９３】
一方、被写体の合計数が所定値未満のときには（ステップＳ１５０３のＮｏ）、現在の画角が画角の上限値かどうかをチェックする（ステップＳ１５０５）。
【００９４】
現在の画角が上限値に達しているときには（ステップＳ１５０５のＹｅｓ）、画角に被写体数を増やすことを諦めて、現在の画角を最適な画角として出力して（ステップＳ１５０４）、本処理ルーチンを終了する。
【００９５】
また、現在の画角が上限値未満であれば（ステップＳ１５０５のＮｏ）、現在の画角を所定量だけ拡張してから（ステップＳ１５０６）、ステップＳ１５０２に戻り、最適な画角の探索処理を繰り返し実行する。
【００９６】
あるいは、画角切り替え部６０１は、切り出しの中心位置で、含まれる被写体を重み付け加算して、合計値が所定値を超える最も小さい画角に自動的に設定するようにしてもよい。ここで言う重みは、被写体の重要度を表す。被写体が人物であれば、画像を観察するユーザーの近親者や友人、上司、同僚など、親密度に基づいて重み値が割り当てられる。あるいは、ユーザーが自分で各被写体の重みを設定するようにしてもよい。勿論、画角切り替え部６０１は被写体以外の原画像の特徴量に基づいて画角を決定するようにしてもよい。
【００９７】
図１６には、原画像１６０１に含まれる被写体１６０１〜１６２４の重要度を濃淡で示している（濃い色で描いている被写体ほど重要度が高いものとする）。参照番号１６０２で示す狭い画角内には、４人の被写体１６１１〜１６１４が含まれており、被写体数からすれば十分かもしれないが、重要度は高くない。一方、参照番号１６０３で示す広い画角まで広げると、さらに４に人の被写体１６１５〜１６１８も含まれるようになり、重要な被写体を取り込むことができるので、最適な画角となる。
【００９８】
図１７には、画角切り替え部６０１が被写体を重み付け加算した合計値に基づいて原画像に最適な画角を決定するための処理手順をフローチャートの形式で示している。
【００９９】
まず、画角切り替え部６０１は、画角を初期値に設定する（ステップＳ１７０１）。
【０１００】
そして、画角切り替え部６０１は、現在の画角に含まれている被写体を重み付け加算して（ステップＳ１６０２）、その合計値が所定値を超えるかどうかをチェックする（ステップＳ１６０３）。
【０１０１】
被写体の重み付け加算値が所定値を超えているときには（ステップＳ１６０３のＹｅｓ）、現在の画角を最適な画角として出力して（ステップＳ１６０４）、本処理ルーチンを終了する。
【０１０２】
一方、被写体の重み付け加算値が所定値未満のときには（ステップＳ１６０３のＮｏ）、現在の画角が画角の上限値かどうかをチェックする（ステップＳ１６０５）。
【０１０３】
現在の画角が上限値に達しているときには（ステップＳ１６０５のＹｅｓ）、画角に被写体数を増やすことを諦めて、現在の画角を最適な画角として出力して（ステップＳ１６０４）、本処理ルーチンを終了する。
【０１０４】
また、現在の画角が上限値未満であれば（ステップＳ１６０５のＮｏ）、現在の画角を所定量だけ拡張してから（ステップＳ１６０６）、ステップＳ１６０２に戻り、最適な画角の探索処理を繰り返し実行する。
【０１０５】
このように、本実施形態では、全天球画像や４Ｋ画像などの広角の原画像の中のユーザーの頭部の姿勢情報に対応する位置から切り出す画像の画角を適切に切り替えるようになっている。したがって、ユーザーが原画像中の特定の狭い領域に着目して観察したいときには狭い画角に切り替え、ユーザーが原画像の様子を概略的に理解したときには広い画角に切り替えるなどして、ユーザーが効率的に広角画像を視聴することができる。
【先行技術文献】
【特許文献】
【０１０６】
【特許文献１】特開２０１２−１４１４６１号公報
【特許文献２】特開平９−１０６３２２号公報
【特許文献３】特開２０１０−２５６５３４号公報
【特許文献４】特許４９４６７３０号公報
【産業上の利用可能性】
【０１０７】
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【０１０８】
本明細書で開示する技術は、頭部動作追跡装置２００が、ヘッド・マウント・ディスプレイとして構成される表示装置４００に外付けされるオプション製品として提供される場合に特に有効であるが、勿論、表示装置４００の本体部４１内に頭部動作追跡装置２００が搭載される場合であっても、同様に本明細書で開示する技術を適用することができる。また、表示装置４００がヘッド・マウント・ディスプレイ以外の製品であっても、ユーザーの頭部の動きに追従した画像を再現する際に、同様に本明細書で開示する技術を適用することができる。
【０１０９】
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【０１１０】
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）表示装置の表示画像を観察するユーザーの頭部の姿勢情報を取得する姿勢情報取得部と、
前記表示画像の画角を切り替える画角切り替え部と、
前記姿勢情報と前記画角に基づいて前記表示画像を生成する描画処理部と、
生成した前記画像を前記表示装置に送信する送信部と、
を具備する画像処理装置。
（２）前記表示装置は、前記ユーザーの頭部又は顔部に固定して用いられる、
上記（１）に記載の画像処理装置。
（３）前記姿勢情報取得部は、ユーザーの頭部の姿勢を検出する姿勢検出装置から姿勢情報を受信する、
上記（１）又は（２）のいずれかに記載の画像処理装置。
（４）前記描画処理部は、原画像の前記姿勢情報に対応する位置から前記画角に対応する領域を切り出して、前記表示画像を生成する、
上記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）ユーザーが操作するユーザー操作部をさらに備え、
前記画角切り替え部は、前記ユーザー操作部に対してユーザーが行なった操作に応じて前記画角を切り替える、
上記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）前記ユーザー操作部はタッチパネルを備え、
前記画角切り替え部は、前記タッチパネルに対するユーザーのタッチ操作に応じて前記画角を切り替える、
上記（５）に記載の画像処理装置。
（７）前記画角切り替え部は、ユーザーが前記タッチパネルをタッチする度に、第１の画角と第２の画角のいずれかに交互に切り替える、
上記（６）に記載の画像処理装置。
（８）前記画角切り替え部は、前記第１の画角及び前記第２の画角を固定値とする、
上記（７）に記載の画像処理装置。
（９）前記画角切り替え部は、前記第１の画角を前記表示装置の解像度に基づいて決定し、前記第２の画角を前記表示装置の解像度と前記描画処理部が処理する原画像の解像度に基づいて決定する、
上記（７）に記載の画像処理装置。
（１０）前記画角切り替え部は、原画像の特徴量に基づいて、画角を決定する、
上記（１）乃至（６）のいずれかに記載の画像処理装置。
（１１）前記画角切り替え部は、被写体の合計数が所定値を超える最も小さい画角に決定する、
上記（１０）に記載の画像処理装置。
（１２）前記画角切り替え部は、被写体の重み付け加算値が所定値を超える最も小さい画角に決定する、
上記（１０）に記載の画像処理装置。
（１３）表示装置の表示画像を観察するユーザーの頭部の姿勢情報を取得する姿勢情報取得ステップと、
前記表示画像の画角を切り替える画角切り替えステップと、
前記姿勢情報と前記画角に基づいて前記表示画像を生成する描画処理ステップと、
生成した前記画像を前記表示装置に送信する送信ステップと、
を有する画像処理方法。
（１４）表示部と、
前記表示部の表示画像を観察するユーザーの頭部の姿勢情報を取得する姿勢情報取得部と、
前記表示画像の画角を切り替える画角切り替え部と、
前記姿勢情報と前記画角に基づいて前記表示画像を生成する描画処理部と、
を具備する表示装置。
（１５）ユーザーが操作するユーザー操作部をさらに備え、
前記画角切り替え部は、前記ユーザー操作部に対してユーザーが行なった操作に応じて前記画角を切り替える、
上記（１４）に記載の表示装置。
（１６）前記画角切り替え部は、ユーザー操作が行なわれる度に、第１の画角と第２の画角のいずれかに交互に切り替える、
上記（１５）に記載の表示装置。
（１７）表示部の表示画像を観察するユーザーの頭部の姿勢情報を取得する姿勢情報取得ステップと、
前記表示画像の画角を切り替える画角切り替えステップと、
前記姿勢情報と前記画角に基づいて前記表示画像を生成する描画処理ステップと、
を有する表示方法。
（１８）表示装置の表示画像を観察するユーザーの頭部の姿勢情報を取得する姿勢情報取得部、
前記表示画像の画角を切り替える画角切り替え部、
前記姿勢情報と前記画角に基づいて前記表示画像を生成する描画処理部、
生成した前記画像を前記表示装置に送信する送信部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。
（１９）表示部、
前記表示部の表示画像を観察するユーザーの頭部の姿勢情報を取得する姿勢情報取得部、
前記表示画像の画角を切り替える画角切り替え部、
前記姿勢情報と前記画角に基づいて前記表示画像を生成する描画処理部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。
（２０）画像を表示する表示装置と、
前記表示装置の表示画像を観察するユーザーの頭部の姿勢を測定する頭部動作追跡装置と、
前記表示装置で画像を表示する画角を切り替え、前記姿勢情報と前記画角に基づく画像を生成する描画装置と、
を具備する画像表示システム。
【符号の説明】
【０１１１】
４１…本体部、４２…額当て部、４３…鼻当て部
４４…上バンド、４５…下バンド
１００…画像表示システム
２００…頭部動作追跡装置、２０１…センサー部、２０２…姿勢角演算部
２０３…送信部
３００…描画装置、３０１…受信部、３０２…描画処理部、３０３…送信部
３０４…画像ソース
４００…表示装置、４０１…受信部、４０２…表示部
６０１…画角切り替え部
【図１】
2015125502.tif 000003
【図２】
2015125502.tif 000004
【図６】
2015125502.tif 000005
【図７】
2015125502.tif 000006
【図８】
2015125502.tif 000007
【図９】
2015125502.tif 000008
【図１１】
2015125502.tif 000009
【図１２】
2015125502.tif 000010
【図１３】
2015125502.tif 000011
【図１４】
2015125502.tif 000012
【図１５】
2015125502.tif 000013
【図１７】
2015125502.tif 000014
【図３】
2015125502.tif 000015
【図４】
2015125502.tif 000016
【図５】
2015125502.tif 000017
【図１０】
2015125502.tif 000018
【図１６】
2015125502.tif 000019