(57)【要約】  ユーザーの頭部又は顔部に固定された画面に表示する広角画像を処理する。  表示画角が元の広角画像７０１の境界に到達すると、自由視点画像７０２に、境界に到達したことを示すインジケーター７０３を付加する。インジケーター７０３は、自由視点画像７０２のうち広角画像７０１の境界７０４に接触し又は境界７０４からはみ出した部分を黒塗りの額縁のように表示される。ユーザーは、このようなインジケーター７０３を観察することで、表示エリアが広角画像の限界に達したことを直感的には理解できる。
2016013272.tif 000002
【特許請求の範囲】
【請求項１】
ユーザーの頭部姿勢の情報を取得する頭部姿勢取得部と、
前記ユーザーの頭部姿勢に基づいて、前記ユーザーの頭部又は顔部に固定された表示装置の表示画像を生成する描画処理部と、
を具備し、
前記描画処理部は、見回し角が３６０度未満の原画像から前記ユーザーの頭部姿勢に適合する表示画角の画像を切り出して前記表示画像を生成し、前記表示画角が前記原画像の境界に到達したときに、前記境界に到達したことを示すインジケーターを前記表示画像に付加する、
情報処理装置。
【請求項２】
前記描画処理部は、前記ユーザーの頭部姿勢に適合する表示画角が前記原画像の境界をさらに超えたときには、前記境界に達したときの表示画角のままで前記表示画像を生成する、
請求項１に記載の情報処理装置。
【請求項３】
前記描画処理部は、表示画角が前記境界を超えたときの表示画像に前記インジケーターを付加する、
請求項２に記載の情報処理装置。
【請求項４】
前記描画処理部は、動画情報を再生している場合において、表示画角が前記原画像から一定以上外に出たときには、動画の再生を停止させる、
請求項１に記載の情報処理装置。
【請求項５】
前記描画処理部は、表示画角が前記原画像内に一定割合以上復帰すると、動画の再生を開始させる、
請求項４に記載の情報処理装置。
【請求項６】
前記描画処理部は、表示画角が前記原画像の境界を超えた後、前記ユーザーの頭部姿勢が以前と逆方向に動いたことに応答して、前記境界に達した表示画角からの表示画像の生成を再開する、
請求項１乃至５のいずれかに記載の情報処理装置。
【請求項７】
前記描画処理部は、表示画角が前記原画像の境界を超えた後、前記ユーザーの頭部姿勢が以前と逆方向に動いたときには、前記ユーザーの頭部姿勢に適合する表示画角が前記原画像内に復帰したことに応答して、前記境界に達した表示画角からの表示画像の生成を再開する、
請求項１乃至５のいずれかに記載の情報処理装置。
【請求項８】
ユーザーの頭部姿勢の情報を取得する頭部姿勢取得ステップと、
前記ユーザーの頭部姿勢に基づいて、前記ユーザーの頭部又は顔部に固定された表示装置の表示画像を生成する描画処理ステップと、
を有し、
前記描画処理ステップでは、見回し角が３６０度未満の原画像から前記ユーザーの頭部姿勢に適合する表示画角の画像を切り出して前記表示画像を生成し、前記表示画角が原画像の境界に到達したときに、前記境界に到達したことを示すインジケーターを前記表示画像に付加する、
情報処理方法。
【請求項９】
ユーザーの頭部又は顔部に固定して用いられる表示装置と、
前記ユーザーの頭部姿勢を計測する頭部動作追跡装置と、
前記ユーザーの頭部姿勢に基づいて、前記表示装置の表示画像を生成する描画装置と、
を具備し、
前記描画装置は、見回し角が３６０度未満の原画像から前記ユーザーの頭部姿勢に適合する表示画角の画像を切り出して前記表示画像を生成し、前記表示画角が原画像の境界に到達したときに、前記境界に到達したことを示すインジケーターを前記表示画像に付加する、
画像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で開示する技術は、ユーザーの頭部又は顔部に固定された画面に表示する画像情報を処理する情報処理装置及び情報処理方法、並びに画像表示システムに関する。
【背景技術】
【０００２】
画像を観察するユーザーの頭部又は顔部に固定される画像表示装置、すなわち、ヘッド・マウント・ディスプレイが知られている。ヘッド・マウント・ディスプレイは、例えば左右の眼毎の画像表示部を持ち、また、ヘッドフォンと併用し、視覚及び聴覚を制御できるように構成されている。頭部に装着した際に外界を完全に遮るように構成すれば、視聴時の仮想現実感が増す。また、ヘッド・マウント・ディスプレイは、左右の眼に違う映像を映し出すことも可能であり、左右の眼に対して視差のある画像を表示すれば３Ｄ画像を提示することができる。【０００３】
この種のヘッド・マウント・ディスプレイは、虚像を眼の網膜上に結像させて、ユーザーに観察させる。ここで、虚像は、物体が焦点距離よりレンズに近い位置にある場合に、その物体側に形成される。例えば、瞳孔の前方に２５ミリメートルだけ離間して広視野角の虚像光学系を配置し、この広視野角光学系のさらに前方に約０．７インチの有効画素範囲の大きさを持つ表示パネルを配置して、表示画像の拡大虚像をユーザーの瞳に結像するヘッド・マウント・ディスプレイについて提案がなされている（例えば、特許文献１を参照のこと）。【０００４】
また、ユーザーは、この種のヘッド・マウント・ディスプレイを用いて、広角画像の一部を切り出した画像を観察することができる。例えば、頭部にジャイロ・センサーなどからなる頭部動作追跡装置を取り付け、ユーザーの頭部の動きに追従させた広角画像を実感できるようにしたヘッド・マウント・ディスプレイについて提案がなされている（例えば、特許文献２、特許文献３を参照のこと）。ジャイロ・センサーが検出した頭部の動きを打ち消すように、広角画像中で表示領域を移動させることで、頭部の動きに追従した画像を再現することができ、ユーザーは広い空間を見渡しているような体験をする。【０００５】
このようにユーザーが頭部動作に追従して広角画像を提示するシステムでは、元の広角画像が全方位画像でない場合には、ユーザーが画像の画角を超える角度まで首を振ると、表示すべき画像情報がなくなってしまう。【０００６】
例えば、頭部に装着することにより映像及び音声を視聴でき、頭部が回転して表示エリアが映像信号内容全エリアの限界に達したときには、その時点で映像及び音像定位位置を頭部に対して固定する映像音声再生装置について提案がなされている（例えば、特許文献４を参照のこと）。【０００７】
しかしながら、単に画面の映像を固定するという動作では、ユーザーは表示エリアが広角画像の限界に達したのか、あるいは故障により画面がフリーズしたのかを直感的には理解し難いという問題がある。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１２−１４１４６１号公報
【特許文献２】特開平９−１０６３２２号公報
【特許文献３】特開２０１０−２５６５３４号公報
【特許文献４】特許第３７９６７７６号公報、段落００７２
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本明細書で開示する技術の目的は、ユーザーの頭部又は顔部に固定された画面に表示する画像情報を好適に処理することができる、優れた情報処理装置及び情報処理方法、並びに画像表示システムを提供することにある。
【課題を解決するための手段】
【００１０】
本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
ユーザーの頭部姿勢の情報を取得する頭部姿勢取得部と、
前記ユーザーの頭部姿勢に基づいて、前記ユーザーの頭部又は顔部に固定された表示装置の表示画像を生成する描画処理部と、
を具備し、
前記描画処理部は、見回し角が３６０度未満の原画像から前記ユーザーの頭部姿勢に適合する表示画角の画像を切り出して前記表示画像を生成し、前記表示画角が前記原画像の境界に到達したときに、前記境界に到達したことを示すインジケーターを前記表示画像に付加する、
情報処理装置である。【００１１】
本願の請求項２に記載の技術によれば、請求項１に記載の情報処理装置の前記描画処理部は、前記ユーザーの頭部姿勢に適合する表示画角が前記原画像の境界をさらに超えたときには、前記境界に達したときの表示画角のままで前記表示画像を生成するように構成されている。【００１２】
本願の請求項３に記載の技術によれば、請求項２に記載の情報処理装置の前記描画処理部は、表示画角が前記境界を超えたときの表示画像に前記インジケーターを付加するように構成されている。【００１３】
本願の請求項４に記載の技術によれば、請求項１に記載の情報処理装置の前記描画処理部は、動画情報を再生している場合において、表示画角が前記原画像から一定以上外に出たときには、動画の再生を停止させるように構成されている。【００１４】
本願の請求項５に記載の技術によれば、請求項４に記載の情報処理装置の前記描画処理部は、表示画角が前記原画像内に一定割合以上復帰すると、動画の再生を開始させるように構成されている。【００１５】
本願の請求項６に記載の技術によれば、請求項１乃至５のいずれかに記載の情報処理装置の前記描画処理部は、表示画角が前記原画像の境界を超えた後、前記ユーザーの頭部姿勢が以前と逆方向に動いたことに応答して、前記境界に達した表示画角からの表示画像の生成を再開するように構成されている。【００１６】
本願の請求項７に記載の技術によれば、請求項１乃至５のいずれかに記載の情報処理装置の前記描画処理部は、表示画角が前記原画像の境界を超えた後、前記ユーザーの頭部姿勢が以前と逆方向に動いたときには、前記ユーザーの頭部姿勢に適合する表示画角が前記原画像内に復帰したことに応答して、前記境界に達した表示画角からの表示画像の生成を再開するように構成されている。【００１７】
また、本願の請求項８に記載の技術は、
ユーザーの頭部姿勢の情報を取得する頭部姿勢取得ステップと、
前記ユーザーの頭部姿勢に基づいて、前記ユーザーの頭部又は顔部に固定された表示装置の表示画像を生成する描画処理ステップと、
を有し、
前記描画処理ステップでは、見回し角が３６０度未満の原画像から前記ユーザーの頭部姿勢に適合する表示画角の画像を切り出して前記表示画像を生成し、前記表示画角が原画像の境界に到達したときに、前記境界に到達したことを示すインジケーターを前記表示画像に付加する、
情報処理方法である。【００１８】
また、本願の請求項９に記載の技術は、
ユーザーの頭部又は顔部に固定して用いられる表示装置と、
前記ユーザーの頭部姿勢を計測する頭部動作追跡装置と、
前記ユーザーの頭部姿勢に基づいて、前記表示装置の表示画像を生成する描画装置と、
を具備し、
前記描画装置は、見回し角が３６０度未満の原画像から前記ユーザーの頭部姿勢に適合する表示画角の画像を切り出して前記表示画像を生成し、前記表示画角が原画像の境界に到達したときに、前記境界に到達したことを示すインジケーターを前記表示画像に付加する、
画像表示システムである。【００１９】
但し、ここで言う「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。
【発明の効果】
【００２０】
本明細書で開示する技術によれば、ユーザーの頭部又は顔部に固定された画面に表示する画像情報を好適に処理することができる、優れた情報処理装置及び情報処理方法、並びに画像表示システムを提供することができる。【００２１】
なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。【００２２】
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【００２３】
【図１】図１は、本明細書で開示する技術を適用した画像表示システム１００の構成例を模式的に示した図である。
【図２】図２は、画像表示システム１００の変形例を模式的に示した図である。
【図３】図３は、ヘッド・マウント・ディスプレイを頭部に装着しているユーザーを正面から眺めた様子を示した図である。
【図４】図４は、図３に示したヘッド・マウント・ディスプレイを着用したユーザーを上方から眺めた様子を示した図である。
【図５】図５は、ユーザーの頭部の動きに追従した画像を表示装置４００で表示する仕組みを説明するための図である。
【図６】図６は、広角画像からユーザーの頭部姿勢に適合した表示画角の画像を切り出す処理手順を示した図である。
【図７】図７は、境界に到達したことを示すインジケーター７０３を自由視点画像７０２に付加する様子を示した図である
【図８】図８は、境界に達したときの表示画角のままで自由視点画像７０２を表示する様子を示した図である。
【図９】図９は、表示画角が一定割合以上元の広角画像７０１の外に出たときに動画の再生を停止する様子を示した図である。
【図１０】図１０は、表示画角がはみ出た分だけ原画像７０２を移動させる様子を示した図である。
【図１１】図１１は、頭部姿勢に応じた表示画角７０２が絶対位置が固定された広角画像７０１内に復帰するまでインジケーター７０３の表示を残し続ける様子を示した図である。
【図１２】図１２は、インジケーターの変形例を示した図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
【００２５】
図１には、本明細書で開示する技術を適用した画像表示システム１００の構成例を模式的に示している。図示の画像表示システム１００は、頭部動作追跡装置２００と、描画装置３００と、表示装置４００で構成される。
【００２６】
頭部動作追跡装置２００は、表示装置４００が表示する画像を観察するユーザーの頭部に装着して用いられ、所定の送信周期でユーザーの頭部の姿勢情報を描画装置２００に出力する。図示の例では、頭部動作追跡装置２００は、センサー部２０１と、姿勢角演算部２０２と、得られた姿勢情報を描画装置３００に送信する送信部２０３を備えている。
【００２７】
センサー部２０１は、例えば、ジャイロ・センサーと加速度センサーと地磁気センサーなど複数のセンサー素子を組み合わせて構成されている。ここでは、３軸ジャイロ・センサー、３軸加速度センサー、３軸地磁気センサーの合計９軸を検出可能なセンサーとする。姿勢角演算部２０２は、センサー部２０１による９軸の検出結果に基づいて、ユーザーの頭部の姿勢情報を演算する。送信部２０３は、求められた姿勢情報を描画装置３００に送信する。姿勢角演算部２０２は、姿勢情報を、例えば姿勢情報は回転マトリックス又はクォータニオンの形式で表現する。クォータニオンは、回転軸（ベクトル）と回転角（スカラー）からなる４元数であり、特異点がないことから計算に適している。コンピューター・グラフィックスの分野では、物体の姿勢をクォータニオンで表現するのが一般的である。なお、姿勢角演算部２０２は、頭部動作追跡装置２００ではなく描画装置３００内に配設してもよく、この場合はセンサー部２０１の検出データが描画装置３００に送信される。
【００２８】
図示の画像表示システム１００では、頭部動作追跡装置２００と描画装置３００間はＢｌｕｅｔｏｏｔｈ（登録商標）通信などの無線通信により相互接続されているものとする。勿論、無線通信ではなく、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）のような高速な有線インフェース経由で頭部動作追跡装置２００と描画装置３００間を接続するようにしてもよい。
【００２９】
描画装置３００は、表示装置４００で表示する画像のレンダリング処理を行なう。描画装置３００は、例えばスマートフォンなどのＡｎｄｒｏｉｄ（登録商標）搭載端末、あるいはパーソナル・コンピューター、ゲーム機として構成されるが、これらの装置に限定される訳ではない。
【００３０】
図示の例では、描画装置３００は、頭部動作追跡装置２００から姿勢情報を受信する受信部３０１と、姿勢情報に基づいて画像のレンダリング処理を行なう描画処理部３０２と、レンダリングした画像を表示装置４００に送信する送信部３０２と、画像データの供給源となる画像ソース３０４を備えている。
【００３１】
受信部３０１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信などを介して、頭部動作追跡装置２００から姿勢情報を受信する。上述したように、姿勢情報は回転マトリックス又はクォータニオンの形式で表現されている。なお、姿勢角演算部２０２は、頭部動作追跡装置２００ではなく描画装置３００内に配設してもよく、この場合はセンサー部２０１の検出データが描画装置３００に送信される。
【００３２】
画像ソース３０４は、例えば、画像コンテンツを記録するＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）などの記憶装置、ブルーレイ（登録商標）などの記録メディアを再生するメディア再生装置、ディジタル放送信号を選局受信する放送チューナー、インターネットのサーバーなどから画像コンテンツを受信する通信インターフェースなどからなる。
【００３３】
描画処理部３０２は、画像ソース３０４の画像データから、表示装置４００側で表示する画像をレンダリングする。描画処理部３０２は、例えば画像ソース３０４から供給される全天球型の原画像や４Ｋなどの広画角の原画像から、受信部３０１で受信した姿勢情報に対応した表示画角を切り出した画像をレンダリングする。
【００３４】
描画装置３００と表示装置４００間は、例えばＨＤＭＩ（登録商標）（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）やＭＨＬ（Ｍｏｂｉｌｅ  Ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ  Ｌｉｎｋ）などの有線ケーブルにより接続されている。あるいは、ｗｉｒｅｌｅｓｓＨＤやＭｉｒａｃａｓｔのような無線通信で接続してもよい。送信部３０３は、いずれかの通信路を用いて、描画処理部３０２でレンダリングされた画像データを表示装置４００に送信する。
【００３５】
表示装置４００は、描画装置３００から画像を受信する受信部４０１と、受信した画像を表示する表示部４０２を備えている。表示装置４００は、例えば、画像を観察するユーザーの頭部又は顔部に固定されるヘッド・マウント・ディスプレイとして構成される。
【００３６】
受信部４０１は、例えばＨＤＭＩ（登録商標）やＭＨＬなどの通信路を介して、描画装置３００から画像データを受信する。表示部４０２は、受信した画像データを画面に表示する。
【００３７】
表示装置４００がヘッド・マウント・ディスプレイとして構成される場合、例えば、表示部４０２は、ユーザーの左右の眼にそれぞれ固定された左右の画面を備え、左眼用画像及び右眼用画像を表示する（但し、両眼式の場合。単眼式であってもよい）。表示部４０２の画面は、例えば有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子や液晶ディスプレイなどのマイクロ・ディスプレイなどの表示パネル、あるいは、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。また、表示部４０２は、表示画像を拡大投影して、ユーザーの瞳に所定の画角からなる拡大虚像を結像する虚像光学部を備えている。
【００３８】
描画装置３００側では、例えば全天球型の原画像や４Ｋなどの広画角の原画像から、ユーザーの頭部の姿勢情報に対応した表示画角を切り出した画像をレンダリングする。表示装置４００側では、ユーザーの頭部の姿勢角を打ち消すように原画像中の表示領域が移動することになる。したがって、頭部の動きに追従した画像を再現することができ、ユーザーは大画面を見渡す体験をすることができる。また、表示装置４００は、画像の動きに合わせて音声の出力も変化させるようにしてもよい。
【００３９】
図２には、画像表示システム１００の変形例を模式的に示している。図１に示した例では、画像表示システム１００は、頭部動作追跡装置２００、描画装置３００、表示装置４００という３台の独立した装置で構成されるが、図２に示す例では、描画装置３００の機能が表示装置４００内に搭載されている。図１に示したように、頭部動作追跡装置２００を表示装置４００に外付けされるオプション製品として構成すれば、表示装置４００の小型・軽量化、低廉化になる。
【００４０】
図３並びに図４には、表示装置４００の外観構成を示している。図示の例では、表示装置４００は、画像を観察するユーザーの頭部又は顔部に固定して用いられるヘッド・マウント・ディスプレイとして構成される。但し、図３はヘッド・マウント・ディスプレイを頭部に装着しているユーザーを正面から眺めた様子を示し、図４はヘッド・マウント・ディスプレイを着用したユーザーを上方から眺めた様子を示している。
【００４１】
図示のヘッド・マウント・ディスプレイは、いわゆる没入型のヘッド・マウント・ディスプレイに分類され、ユーザーが頭部又は顔部に装着した際にユーザーの眼を直接覆い、画像視聴中のユーザーに没入感を与えることができる。また、表示画像は、外側（すなわち他人）からは見えないので、情報表示に際してプライバシーが守られ易い。シースルーのタイプとは相違し、ヘッド・マウント・ディスプレイを着用したユーザーは現実世界の風景を直接眺めることはできない。ヘッド・マウント・ディスプレイがユーザーの視線方向の風景を撮影する外側カメラを装備していれば、その撮像画像を表示することにより、ユーザーは間接的に現実世界の風景を眺める（すなわち、ビデオ・シースルーで風景を表示する）ことができる。なお、本明細書では没入型のヘッド・マウント・ディスプレイに関する実施形態について説明するが、本明細書で開示する技術は、光学シースルー型ヘッド・マウント・ディスプレイ及びビデオ・シースルー型ヘッド・マウント・ディスプレイにも適用することができる。
【００４２】
図３に示すヘッド・マウント・ディスプレイは、帽子形状に類似した構造体であり、着用したユーザーの左右の眼を直接覆うように構成されている。ヘッド・マウント・ディスプレイ本体の内側の左右の眼に対向する位置には、ユーザーが観察する表示パネルが配設されている。表示パネルは、例えば有機ＥＬ素子や液晶ディスプレイなどのマイクロ・ディスプレイや、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。
【００４３】
ヘッド・マウント・ディスプレイ本体の左右の両端付近にそれぞれマイクロフォンが設置されている。左右ほぼ対称的にマイクロフォンを持つことで、中央に定位した音声（ユーザーの声）だけを認識することで、周囲の雑音や他人の話声と分離することができ、例えば音声入力による操作時の誤動作を防止することができる。
【００４４】
また、ヘッド・マウント・ディスプレイ本体の外側には、ユーザーが指先などを使ってタッチ入力することができるタッチパネルが配設されている。図示の例では、左右一対のタッチパネルを備えているが、単一又は３以上のタッチパネルを備えていてもよい。
【００４５】
また、ヘッド・マウント・ディスプレイは、図４に示すように、ユーザーの顔面と対向する側面に、左眼用及び右眼用の表示パネルを持つ。表示パネルは、例えば有機ＥＬ素子や液晶ディスプレイなどのマイクロ・ディスプレイや網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。表示パネルの表示画像は、虚像光学部を通過するにより拡大虚像としてユーザーの左右の目でそれぞれ観察される。また、眼の高さや眼幅にはユーザー毎に個人差があるため、着用したユーザーの眼と左右の各表示系とを位置合わせする必要がある。図４に示す例では、右眼用の表示パネルと左眼用の表示パネルの間に眼幅調整機構を装備している。
【００４６】
図５には、図１又は図２に示した画像表示システム１００において、ユーザーの頭部の動きに追従した画像を表示装置４００で表示する仕組みを図解している。
【００４７】
ユーザーの視線の奥行き方向がｚw軸、水平方向がｙw軸、垂直方向がｘw軸であり、ユーザーの基準軸ｘwｙwｚwの原点位置はユーザーの視点位置とする。したがって、ロールθzはユーザーの頭部のｚw軸回りの運動、チルトθyはユーザーの頭部のｙw軸回りの運動、パンθzはユーザーの頭部のｘw軸回りの運動に相当する。
【００４８】
頭部動作追跡装置２００は、ユーザーの頭部のロール、チルト、パンの各方向の動き（θx，θy，θz）や頭部の平行移動からなる姿勢情報を検出して、回転マトリックスＭRとして描画装置３００に出力する。
【００４９】
描画装置３００は、ユーザーの頭部の姿勢（ＭR）に追従するように、例えば全天球型の原画像や４Ｋなどの広画角の原画像５０１から切り出す領域５０２の中心を移動させ、その中心位置で所定の画角で切り出した領域５０２の画像をレンダリングする。描画装置３００は、ユーザーの頭部運動のロール成分に応じて領域５０２−１を回転させたり、ユーザーの頭部運動のチルト成分に応じて領域５０２−２を移動させたり、ユーザーの頭部運動のパン成分に応じて領域５０２−３を移動させたりして、頭部動作追跡装置２００が検出した頭部の動きを打ち消すように表示領域を移動させる。表示装置４００側では、ユーザーの頭部の動きに追従するように原画像５０１中で表示領域が移動する画像を提示することができる。
【００５０】
図６には、広角画像からユーザーの頭部姿勢に適合した表示画角の画像を切り出す処理手順を示している。
【００５１】
描画装置３００内では、画像ソース３０４から広角画像が入力される（Ｆ６０１）。一方、頭部動作追跡装置２００内では、センサー部２０１がユーザーの頭部の姿勢角を検出し、姿勢角演算部２０２がセンサー部２０１による検出結果に基づいてユーザーの頭部の姿勢角ｑhを演算する（Ｆ６０２）。そして、算出した頭部姿勢角ｑhを、通信部２０３を介して描画装置３００に送信する。
【００５２】
描画装置３００側では、通信部３０１で、頭部動作追跡装置２００からユーザーの頭部姿勢角ｑhを受信すると、描画処理部３０２が、ユーザーの頭部姿勢角ｑhに応じた表示画角を広角画像から切り出して、画像をレンダリングする（Ｆ６０３）。画像をレンダリングする際、拡大縮小や変形を行なうようにしてもよい。ユーザーの視点位置と視野角に応じて表示画角を変化させた画像のことを「自由視点画像」と呼ぶことにする。そして、描画装置３００は、描画処理部３０２がレンダリングした自由視点画像を、通信部３０１を介して表示装置４００に送信し、表示装置４００で表示が行なわれる（Ｆ６０４）。
【００５３】
図５及び図６に示したように、本実施形態に係る画像表示システム１００では、頭部追跡装置２００が検出するユーザーの頭部の姿勢情報に従って視野角を計算し、この視野角に適合する表示画角を元の広角画像から切り出していく。
【００５４】
提供される広角画像が全方位画像であれば、ユーザーが３６０度見回しても、頭部の姿勢変化に追従して、現実世界と同じように画像が途切れることなく楽しむことができる。一方、広角画像が全方位画像でない、３６０度未満である場合には、ユーザーが首を振って見回し続けると、いずれは広角画像の境界に到達し、境界より先の画像情報は存在しないので表示することはできない。
【００５５】
頭部に装着することにより映像及び音声を視聴でき、頭部が回転して表示エリアが映像信号内容全エリアの限界に達したときには、その時点で映像及び音像定位位置を頭部に対して固定するという技術も提案されている（例えば、特許文献４を参照のこと）。しかしながら、単に画面の映像を固定するという動作では、ユーザーは表示エリアが広角画像の限界に達したことを直感的には理解し難いという問題がある。また、ユーザーは、故障により画面がフリーズしたと錯覚して、混乱を招くおそれもある。
【００５６】
そこで、本実施形態では、表示画角が元の広角画像７０１の境界に到達したときには、図７に示すように、描画処理部３０２は、表示装置４００に表示する自由視点画像７０２に、境界に到達したことを示すインジケーター７０３を付加する。図示のインジケーター７０３は、自由視点画像７０２のうち広角画像７０１の境界７０４に接触し又は境界７０４からはみ出した部分を黒塗りの額縁のように表示される。なお、インジケーター７０３は、黒塗りには限定されず、白塗り、あるいは元の画像とは明らかに相違する色（対照色など）やテクスチャーで塗り潰したイメージで構成することもできる。ユーザーは、このようなインジケーター７０３を観察することで、表示エリアが広角画像の限界に達したことを直感的には理解することができるであろう。
【００５７】
インジケーター７０３が表示されたことにより、ユーザーは、広角画像の限界に達したと認識すると、それ以上に首を振ることを差し控えることが期待される。しかしながら、境界を超えてさらに首を振った場合には、図８に示すように、描画処理部３０２は、境界に達したときの表示画角のままで自由視点画像７０２をレンダリングする。また、境界を超えた自由視点画像７０２には、インジケーター７０３を表示して、ユーザーが頭部姿勢を反対方向に戻すように促す。
【００５８】
ここで、動画情報を再生している場合には、表示画角が一定割合以上（例えば３分の１以上）元の広角画像７０１の外に出たときには、図９に示すように、動画の再生を停止して、ユーザーが必要な情報の見落とすのを防止するようにする。また、表示画角が元の広角画像内に一定割合以上（又は完全に）復帰すると、動画の再生を開始する。
【００５９】
ユーザーの首振りにより表示画角が元の広角画像７０１の境界７０４に到達してインジケーター７０３が表示された以降は、自由視点画像７０２は頭部の姿勢への追従を停止する（あるいは、境界７０４で表示画角が固定されたままとなり、自由視点画像ではなくなる）。ユーザーがさらに同じ方向に頭を回し続けても（あるいは、表示画角の移動を指示し続けても）、表示画角は変化しないが、図７に示したように、インジケーター７０３が表示されるので、ユーザーは視覚的に明示的に理解し易くなる。
【００６０】
ユーザーは、インジケーター７０３に気づいて、この状態を解消すべく、表示画角を広角画像内に復帰させるよう、これまでとは逆の方向に頭を回し始める（あるいは、逆方向への表示画角の移動を指示する）。この場合に、画面アクションとして、例えば以下の（１）、（２）の方法が考えられる。
【００６１】
（１）その状態からすぐに頭部姿勢への追従を再開し、ユーザーが速やかに画面内に戻れるようにする。
図１０に示すように、表示画角がはみ出た分だけ原画像７０２を移動させる処理を行なう。ユーザーは途切れなく自由視点画像の視聴を行なうことができるので、利便性が高い。例えば、表示装置４００がスマートフォンなどの携帯型の多機能端末により広角画像を見回している場合や、頭部姿勢の検出結果ではなく、指やマウス操作で表示画角の移動を指示する場合には有効である。一方、表示装置４００が図３及び図４に示したような没入型のヘッド・マウント・ディスプレイである場合は、ユーザーは仮想空間内の自己位置を見失い易いという点に留意すべきである。
【００６２】
（２）広角画像７０１を仮想空間の絶対位置に固定する。そして、ユーザーの頭部姿勢を追跡し続け、図１１に示すように、頭部姿勢に応じた表示画角７０２が絶対位置が固定された広角画像７０１内に復帰するまでは、インジケーター７０３の表示を残し続ける。ユーザーから見ると、すぐには頭部動作に追従した自由視点画像が回復しないようにする。
この場合、ユーザーは、あとどれくらい逆方向に首を回せば自由視点画像が回復するのか、直観的に把握し難い。そこで、広角画像７０１を絶対位置に固定した仮想空間におけるユーザーの頭部の位置や方向の変位（残差）を、インジケーター７０３を用いて表現するようにしてもよい。
【００６３】
例えば、絶対空間における広角画像７０１と頭部の位置や方向との変位に応じて、インジケーター７０３としての黒縁部分の大きさを変化させる。但し、黒縁部分の表示量を変位残差に完全に対応させてしまうと、頭部姿勢に応じて自由視点画像を表示することと相違がなくなってしまい、問題の解決にはならない。
【００６４】
そこで、インジケーター７０３を、変位残差を縮小させた大きさにするというインジケーター表示方法（Ａ）を適用してもよい。例えば、表示画角７０２が３０度だけ広角画像７０１からはみ出ると１度の黒縁にし、９０度だけ広角画像７０１からはみ出ると３度の黒縁にする。あるいは、線形的なスケールではなく、非線形のスケール（例えば、ゴムの弾性を連想させる）でもよい。
【００６５】
あるいは、黒縁部分の大きさは固定するものの、縁付近の画像を変位残差に応じて歪ませるというインジケーター表示方法（Ｂ）を適用することで、表示画角７０２が広角画像７０１からはみ出した程度を直感的に把握し易くするようにしてもよい。
【００６６】
上述した２つの方法（１）及び（２）の中間として、表示画角７０２が広角画像７０１からはみ出した期間の長さやはみ出した量の時間積分に応じて、仮想空間内に設置する広角画像７０１の位置を少しずつ現在のユーザーの頭部姿勢（頭部姿勢に応じた表示画角７０２）に近づけていくという画面アクション方法（３）も考えられる。この画面アクション方法（３）は、図８に示したような実施例に対して併用するようことが好ましい。また、上述したインジケーター表示方法（Ａ）又は（Ｂ）と、画面アクション方法（３）を併用してもよい。
【００６７】
また、ユーザーの頭部姿勢（空間的な方向）に応じて、適用するインジケーター表示方法を選択的に用いるようにしてもよい。例えば、水平面内の見回しを行なう頭部動作に対しては、画面アクション方法（１）又は（３）を用いる。
【００６８】
他方、鉛直面内での見上げ並びに見下ろしを行なう頭部動作に対しては、画面アクション方法（２）を用いることができる。鉛直方向に関しては、重力方向という基準軸があるので、絶対位置基準を用いた方が人間の感覚にフィットするためである。広角画像から鉛直方向及び水平方向の両方向にはみ出した場合には、図７に示した線条のインジケーターに代えて、図１２に示すような、両方のはみ出し具合に応じたインジケーター１２０１をＬ字型で表示するようにしてもよい。
【００６９】
本明細書で開示する技術によれば、３６０度でない広角画像からユーザーの頭部姿勢に応じた自由視点画像を表示する際に、頭部姿勢が元の広角画像の境界を行き過ぎてしまう問題を緩和することができる。
【００７０】
具体的には、広角画像の外の無情報領域を表示することが少なくなる。特に、動画再生中には、意図せぬ行き過ぎによる情報の欠落（動画の見落とし）を防ぐことができる。また、行き過ぎている場合、どちらにどのくらい行き過ぎてしまっているのかを、ユーザーはインジケーターの表示を見て、視覚的に直感的に把握することができ、正しい表示画角となるように頭部姿勢を修正し易くなる。また、画像表示システム１００側で画面表示位置を調整してやれば、正しい表示画角に復帰するようなユーザーの頭部の動きを自然にサポートすることができる。
【産業上の利用可能性】
【００７１】
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。【００７２】
本明細書で開示する技術を没入型のヘッド・マウント・ディスプレイで視聴する際に好適に適用することができるが、勿論、透過型のヘッド・マウント・ディスプレイにも適用することができる。また、本明細書で開示する技術は、両眼式及び単眼式の双方のヘッド・マウント・ディスプレイに好適に適用することができる。【００７３】
さらに、本明細書で開示する技術は、ヘッド・マウント・ディスプレイだけでなく、スマートフォンやタブレットなどの多機能端末の画面を利用した見回し操作にも同様に適用することができる。また、ジャイロ・センサーなどを用いてユーザーの頭部の姿勢を現実に計測するのではなく、タッチパネルに対する指の操作や、パーソナル・コンピューターなどのＧＵＩ画面上でのマウス操作による画面の移動、回転、拡大縮小などの指示で置き換えることもできる。【００７４】
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。【００７５】
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）ユーザーの頭部姿勢の情報を取得する頭部姿勢取得部と、
前記ユーザーの頭部姿勢に基づいて、前記ユーザーの頭部又は顔部に固定された表示装置の表示画像を生成する描画処理部と、
を具備し、
前記描画処理部は、見回し角が３６０度未満の原画像から前記ユーザーの頭部姿勢に適合する表示画角の画像を切り出して前記表示画像を生成し、前記表示画角が前記原画像の境界に到達したときに、前記境界に到達したことを示すインジケーターを前記表示画像に付加する、
情報処理装置。
（２）前記描画処理部は、前記ユーザーの頭部姿勢に適合する表示画角が前記原画像の境界をさらに超えたときには、前記境界に達したときの表示画角のままで前記表示画像を生成する、
上記（１）に記載の情報処理装置。
（３）前記描画処理部は、表示画角が前記境界を超えたときの表示画像に前記インジケーターを付加する、
上記（２）に記載の情報処理装置。
（４）動画情報を再生している場合において、前記描画処理部は、表示画角が前記原画像から一定以上外に出たときには、動画の再生を停止させる、
上記（１）に記載の情報処理装置。
（５）前記描画処理部は、表示画角が前記原画像内に一定割合以上復帰すると、動画の再生を開始させる、
上記（４）に記載の情報処理装置。
（６）前記描画処理部は、表示画角が前記原画像の境界を超えた後、前記ユーザーの頭部姿勢が以前と逆方向に動いたことに応答して、前記境界に達した表示画角からの表示画像の生成を再開する、
上記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）前記描画処理部は、表示画角が前記原画像の境界を超えた後、前記ユーザーの頭部姿勢が以前と逆方向に動いたときには、前記ユーザーの頭部姿勢に適合する表示画角が前記原画像内に復帰したことに応答して、前記境界に達した表示画角からの表示画像の生成を再開する、
上記（１）乃至（５）のいずれかに記載の情報処理装置。
（８）ユーザーの頭部姿勢の情報を取得する頭部姿勢取得ステップと、
前記ユーザーの頭部姿勢に基づいて、前記ユーザーの頭部又は顔部に固定された表示装置の表示画像を生成する描画処理ステップと、
を有し、
前記描画処理ステップでは、見回し角が３６０度未満の原画像から前記ユーザーの頭部姿勢に適合する表示画角の画像を切り出して前記表示画像を生成し、前記表示画角が原画像の境界に到達したときに、前記境界に到達したことを示すインジケーターを前記表示画像に付加する、
情報処理方法。
（９）ユーザーの頭部又は顔部に固定して用いられる表示装置と、
前記ユーザーの頭部姿勢を計測する頭部動作追跡装置と、
前記ユーザーの頭部姿勢に基づいて、前記表示装置の表示画像を生成する描画装置と、
を具備し、
前記描画装置は、見回し角が３６０度未満の原画像から前記ユーザーの頭部姿勢に適合する表示画角の画像を切り出して前記表示画像を生成し、前記表示画角が原画像の境界に到達したときに、前記境界に到達したことを示すインジケーターを前記表示画像に付加する、
画像表示システム。
【符号の説明】
【００７６】
１００…画像表示システム
２００…頭部動作追跡装置、２０１…センサー部
２０２…姿勢角演算部、２０３…送信部
３００…描画装置、３０１…受信部、３０２…描画処理部
３０３…送信部、３０４…画像ソース
４００…表示装置、４０１…受信部、４０２…表示部
【図１】
2016013272.tif 000003
【図２】
2016013272.tif 000004
【図３】
2016013272.tif 000005
【図４】
2016013272.tif 000006
【図５】
2016013272.tif 000007
【図６】
2016013272.tif 000008
【図７】
2016013272.tif 000009
【図８】
2016013272.tif 000010
【図９】
2016013272.tif 000011
【図１０】
2016013272.tif 000012
【図１１】
2016013272.tif 000013
【図１２】
2016013272.tif 000014
【国際調査報告】
2016013272.tif 000015
2016013272.tif 000016
2016013272.tif 000017
2016013272.tif 000018