(57)【要約】  本技術は、映像内での位置をユーザに認識させるための表示を行うことができるようにする情報処理装置、情報処理方法、並びにプログラムに関する。３次元映像のうちの一部の領域を表示する視野映像と、３次元映像の３次元方向を表す形状のインジケータと、インジケータ内に、視野映像として表示されている領域を表すウィンドウとを含む画面の表示を制御する。３次元映像は、全天球映像である。またインジケータは、ワイヤーフレームの３次元球体である。本技術は、全天球映像などの３次元映像を表示する、例えばヘッドマウントディスプレイ等に適用できる。
2018043135.tif 000002
【特許請求の範囲】
【請求項１】
３次元映像のうちの一部の領域を表示する視野映像と、
前記３次元映像の３次元方向を表す形状のインジケータと、
前記インジケータ内に、前記視野映像として表示されている前記領域を表すウィンドウと
を含む画面の表示を制御する制御部を
備える情報処理装置。
【請求項２】
前記３次元映像は、全天球映像である
請求項１に記載の情報処理装置。
【請求項３】
前記インジケータは、ワイヤーフレームの３次元球体である
請求項１に記載の情報処理装置。
【請求項４】
前記インジケータは、前記３次元球体に、前記３次元映像をテクスチャとして貼付した３次元球体である
請求項３に記載の情報処理装置。
【請求項５】
前記インジケータは、前記ウィンドウが３次元球体に対して持つ方向および面積を、３次元極座標または４元数と角錐で表した３次元球体である
請求項１に記載の情報処理装置。
【請求項６】
前記インジケータは、２次元に前記３次元映像を投影した図形である
請求項１に記載の情報処理装置。
【請求項７】
前記ウィンドウは、固定とされ、
前記インジケータは、可動とされ、
前記インジケータが動き、前記ウィンドウ内の映像が変化した場合、その変化に応じて前記視野映像も変化する
請求項１に記載の情報処理装置。
【請求項８】
前記ウィンドウは、可動とされ、
前記インジケータは、固定とされ、
前記ウィンドウが動き、前記ウィンドウ内の映像が変化した場合、その変化に応じて前記視野映像も変化する
請求項１に記載の情報処理装置。
【請求項９】
前記ウィンドウは、可動とされ、
前記インジケータは、可動とされ、
前記インジケータに対する前記ウィンドの位置は、固定とされている
請求項１に記載の情報処理装置。
【請求項１０】
前記インジケータが前記視野映像の中央部分に移動された場合、前記インジケータを拡大表示し、前記視野映像上に表示する
請求項１に記載の情報処理装置。
【請求項１１】
前記インジケータを拡大表示し、前記視野映像を、前記インジケータ内に居るときに見える映像に切り換える
請求項１に記載の情報処理装置。
【請求項１２】
前記ウィンドウが前記インジケータの陰面側にある場合、前記インジケータの陰面側を不透明で表示し、手前側を半透明で表示する
請求項１に記載の情報処理装置。
【請求項１３】
前記インジケータ上に、所定の情報があることを示すアイコンを表示する
請求項１に記載の情報処理装置。
【請求項１４】
前記アイコンが操作された場合、前記アイコンに関連付けられている情報が、前記視野映像内に表示される
請求項１３に記載の情報処理装置。
【請求項１５】
前記アイコンは、方位、地図記号、地図上のランドマークを表す図形である
請求項１３に記載の情報処理装置。
【請求項１６】
前記アイコンは、前記３次元映像のうちの視聴済である領域を表す
請求項１３に記載の情報処理装置。
【請求項１７】
前記アイコンは、前記３次元映像のうち、他のユーザが視聴している領域を表す
請求項１３に記載の情報処理装置。
【請求項１８】
前記ウィンドウを前記インジケータの陰面側に表示し、
前記アイコンを前記インジケータの手前側に表示する
請求項１３に記載の情報処理装置。
【請求項１９】
３次元映像のうちの一部の領域を表示する視野映像と、
前記３次元映像の３次元方向を表す形状のインジケータと、
前記インジケータ内に、前記視野映像として表示されている前記領域を表すウィンドウと
を含む画面の表示を制御する
ステップを含む情報処理方法。
【請求項２０】
コンピュータに、
３次元映像のうちの一部の領域を表示する視野映像と、
前記３次元映像の３次元方向を表す形状のインジケータと、
前記インジケータ内に、前記視野映像として表示されている前記領域を表すウィンドウと
を含む画面の表示を制御する
ステップを含む処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は情報処理装置、情報処理方法、並びにプログラムに関し、例えば、全天球映像などの３次元映像を表示する情報処理装置、情報処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
例えば、複数の広角レンズを用いて撮像した画像を合成することで、全天球映像を取得することが提案されている（例えば、特許文献１参照）。【０００３】
また全天球映像の空間的なイメージを、ユーザが容易に把握できるようにするための表示を行うことが提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−４５０８９号公報
【特許文献２】特開２０１５−２３０６２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献２によると、ユーザは、全天球映像全体に対する注視位置や視点経路を確認することができるが、例えば、現在の視野内の画像が、全天球映像に対してどの領域を切り取った画像であるのかを確認することはできない。よりユーザが全天球映像を楽しめる表示が行われることが望まれている。【０００６】
本技術は、このような状況に鑑みてなされたものであり、全天球映像をより楽しめる表示を行うことができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の一側面の情報処理装置は、３次元映像のうちの一部の領域を表示する視野映像と、前記３次元映像の３次元方向を表す形状のインジケータと、前記インジケータ内に、前記視野映像として表示されている前記領域を表すウィンドウとを含む画面の表示を制御する制御部を備える。【０００８】
本技術の一側面の情報処理方法は、３次元映像のうちの一部の領域を表示する視野映像と、前記３次元映像の３次元方向を表す形状のインジケータと、前記インジケータ内に、前記視野映像として表示されている前記領域を表すウィンドウとを含む画面の表示を制御するステップを含む。【０００９】
本技術の一側面のプログラムは、コンピュータに、３次元映像のうちの一部の領域を表示する視野映像と、前記３次元映像の３次元方向を表す形状のインジケータと、前記インジケータ内に、前記視野映像として表示されている前記領域を表すウィンドウとを含む画面の表示を制御するステップを含む処理を実行させるためのプログラムである。【００１０】
本技術の一側面の情報処理装置、情報処理方法、およびプログラムにおいては、３次元映像のうちの一部の領域を表示する視野映像と、３次元映像の３次元方向を表す形状のインジケータと、インジケータ内に、視野映像として表示されている領域を表すウィンドウとを含む画面の表示が制御される。【００１１】
なお、情報処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。【００１２】
また、プログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。
【発明の効果】
【００１３】
本技術の一側面によれば、全天球映像をより楽しめる表示を行うことができる。【００１４】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１５】
【図１】本技術を適用した情報処理装置の一実施の形態の構成を示す図である。
【図２】情報処理装置の機能を説明するための図である。
【図３】表示部に表示される画面の一例を示す図である。
【図４】インジケータの一例を示す図である。
【図５】インジケータの他の例を示す図である。
【図６】インジケータの他の例を示す図である。
【図７】インジケータの他の例を示す図である。
【図８】インジケータの他の例を示す図である。
【図９】インジケータの他の例を示す図である。
【図１０】インジケータの他の例を示す図である。
【図１１】表示に係わる処理について説明するためのフローチャートである。
【図１２】表示の切り替え係わる処理について説明するためのフローチャートである。
【図１３】インジケータに対する操作について説明するための図である。
【図１４】インジケータに対する操作について説明するための図である。
【図１５】インジケータに対する操作について説明するための図である。
【図１６】ダイブインモードについて説明するための図である。
【図１７】リトルプラネットモードについて説明するための図である。
【図１８】リトルプラネットモードのときの表示について説明するための図である。
【図１９】リトルプラネットモードのときの表示について説明するための図である。
【図２０】アイコンについて説明するための図である。
【図２１】ウインドウの表示について説明するための図である。
【発明を実施するための形態】
【００１６】
以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。
【００１７】
＜情報処理装置の構成＞
【００１８】
図１は、本技術を適用した情報処理装置の一実施の形態の構成を示す図である。図１に示した情報処理装置１０のＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３は、バス１４により相互に接続されている。バス１４には、さらに、入出力インタフェース１５が接続されている。入出力インタフェース１５には、入力部１６、出力部１７、記憶部１８、通信部１９、およびドライブ２０が接続されている。
【００１９】
入力部１６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１７は、ディスプレイ、スピーカなどよりなる。記憶部１８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１９は、ネットワークインタフェースなどよりなる。ドライブ２０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア２１を駆動する。
【００２０】
情報処理装置１０は、例えば、パーソナルコンピュータ、タブレット、スマートフォン、ゲームコンソールなどの情報端末であり、所定の映像（画像）を表示する機能を有する装置である。また情報処理装置１０は、ヘッドマウントディスプレイなどと称されるユーザに装着されて用いられる情報端末であっても良い。
【００２１】
図示はしないが、情報処理装置１０は、サーバなどであっても良く、ネットワークを介して他の装置にデータを供給したり、制御したりする装置であっても良い。例えば、他の装置が、表示機能を有する表示装置（例えば、出力部１７を構成するディスプレイなど）であり、情報処理装置１０と表示装置は、ネットワークを介して接続され、情報処理装置１０は、ネットワークを介して、表示装置にデータを供給し、そのデータに基づく映像の表示を制御する。
【００２２】
また情報処理装置１０は、１つの装置として構成されていても良いし、複数の装置として構成されていても良い。複数の装置として構成されている場合、ネットワークを介してデータの授受を行う構成とすることもできる。
【００２３】
また、情報処理装置１０をヘッドマウントディスプレイとした場合、表示部やセンサなどが備えられるが、その表示部やセンサは、情報処理装置１０とは別体で構成することもできる。
【００２４】
＜情報処理装置の機能＞
図２は、情報処理装置１０が有する機能について説明するための図である。図２に示す各機能は、情報処理装置１０がハードウエアとして実現する機能であっても良いし、情報処理装置１０（ＣＰＵ１１）がプログラムを実行することで実現する機能であっても良い。
【００２５】
情報処理装置１０は、表示部５１、インジケータ設定部５２、センサ５３、映像データ入力部５４、インジケータ生成部５５、透視変換部５６、デコード部５７、および映像合成部５８を含む構成とされている。
【００２６】
表示部５１は、ユーザに提供する映像を表示する。表示部５１に表示される画面は、後述するように、メインの画像とサブの画像が表示されており、サブの画像は、インジケータと称する画像である。インジケータは、メインの画像が、全体のどの部分を表示しているかをユーザに示す画像である。
【００２７】
インジケータ設定部５２は、表示するインジケータを設定する。インジケータとして、複数の表示方法があり、ユーザの指示や所定の条件により選択され、設定される。また、ユーザの指示によりインジケータを表示しないという設定もできるように構成されている。
【００２８】
センサ５３は、加速度センサ、ジャイロセンサ、ＧＰＳセンサなど、ユーザの姿勢やユーザの位置を検出するためのセンサや、気温や圧力など、ユーザの周りの環境の状態を検出するためのセンサなどから構成される。
【００２９】
インジケータ設定部５２とセンサ５３は、ユーザからの指示を受け付ける操作部としても機能する。例えば、画像の拡大や縮小などの画像に対するユーザからの指示を受け付ける操作部を有する。また、ユーザがＧＵＩ（Graphical User Interface）等を用いて具体的に指示を出せる操作部も含まれている。
【００３０】
インジケータ設定部５２からの設定情報と、センサ５３からのセンサ情報は、インジケータ生成部５５に供給される。インジケータ生成部５５は、設定情報から、設定されているインジケータを判定し、その判定結果に基づくインジケータ上に、センサ情報から得られるユーザが視聴している領域に該当する領域を示すウインドウが表示されたインジケータ画像を生成する。
【００３１】
映像データ入力部５４は、AVC（Advanced Video Coding）やHEVC（High Efficiency Video Coding）などの方式で圧縮されている映像データを入力（取得）する。この入力される映像データは全天球映像であるとする。また、映像データ入力部５４は、記録媒体から映像データを読み出すことで、映像データを取得したり、ネットワークを介して他の装置から供給される映像データを取得したりする。
【００３２】
ここでは、全天球映像を扱う場合を例にあげて説明を続けるが、３次元映像などでも良い。全天球映像とは、視点の周りの360度の映像を同時に撮像した映像、またはそのような映像を想定してコンピュータグラフィック（ＣＧ）等で作成された映像である。より一般的には、球面内部または球面上に投影した場合に、いかなる点においても、不連続とならない映像である。
【００３３】
また３次元映像（３Ｄ映像）とは、元データが、３次元モデルで、それを２次元に透視投影した映像、または視差付きで立体可能な映像のことである。
【００３４】
映像データ入力部５４に入力された映像データは、デコード部５７に供給される。デコード部５７は、圧縮されている映像データをデコードし、非圧縮の映像データを生成する。デコード部５７により生成される映像データは、非圧縮の全天球映像であるとする。デコード部５７により生成された映像データは、透視変換部５６に供給される。
【００３５】
映像データ入力部５４に入力され、デコード部５７でデコードされる映像データは、例えば、複数のカメラユニットで撮像されたベースバンド映像信号や、それらをスティッチ処理により連結された全天球ベースバンド映像信号でも良い。
【００３６】
センサ５３からのセンサ情報と、デコード部５７からの映像データは、透視変換部５６に供給される。透視変換部５６は、姿勢センサの情報とズーム設定の情報から、透視変換に必要なパラメータを決定する。さらに、全天球映像を３Ｄモデル（球体）にマッピングして仮想球を生成し、上記透視変換を適用するか、あるいは仮想球を生成せずに、直接に透視変換を  適用して、全天球部分映像を生成する。
【００３７】
インジケータ生成部５５で生成されたインジケータ画像と、透視変換部５６で生成された全天球部分映像は、映像合成部５８に供給される。映像合成部５８は、全天球部分映像とインジケータ画像を合成し、全天球部分映像の一部に、インジケータ画像が表示されている全天球部分映像を生成し、表示部５１に出力する。
【００３８】
表示部５１は、映像合成部５８で生成された全天球部分映像を表示する。ユーザは、全天球部分映像と、その部分映像の全体に対する位置を示すインジケータを、同時に見ることができる。この表示部５１に表示される画面の一例を、図３に示す。
【００３９】
＜画面例＞
図３に示した画面例は、表示部５１に視野映像１０１（全天球部分映像）が表示され、その視野映像１０１の左上にインジケータ１０２が表示されている。インジケータ１０２内には、ウインドウ１０３が表示されている。このウインドウ１０３内に表示されている映像が、視野映像１０１として表示されている。
【００４０】
インジケータ１０２は、全天球映像を表し、その全天球映像内の一部が、視野映像１０１として表示されている。その視野映像１０１として表示されているのが、全天球映像のどの部分であるかをユーザに認識させるために、インジケータ１０２が表示されている。
【００４１】
すなわち、インジケータ１０２は、全天球の全方向をカバ−可能（全方向を表すことが可能）な形状の図形であり、そのような図形が、視野映像１０１に重畳された画面が、ユーザに提示される。またインジケータ１０２内に表示されているウィンドウ１０３は、視野映像１０１として、ユーザに提供されている全天球映像の一部が、インジケータ１０２内のどの領域であるか、換言すれば、全天球映像のうちのどの領域であるかを示す。
【００４２】
例えば、ユーザが上方向を向いた場合、センサ５３により、ユーザが上方向を向いたということが検知される。その検知に基づき、透視変換部５６は、視野映像１０１を、全天球映像の上方向にある映像に切り替える。また、インジケータ生成部５５も、全天球映像の上方向にある映像に、インジケータ１０２内の画像を切り替える。このような切り替えが行われることで、例えば、図４に示すような画面が、表示部５１に表示される。
【００４３】
図４に示した視野映像１０１は、ユーザが上方向を向いたために、ビルの屋上や空が、図３に示した視野映像１０１よりも多く見える映像に切り替えられている。この切り替えにともない、インジケータ１０２内の全天球映像も切り替えられている。ウインドウ１０３は、インジケータ１０２内で移動することなく、同一の位置に表示されている。
【００４４】
この場合、ウインドウ１０３はインジケータ１０２内で固定とされ、インジケータ１０２内の画像が、切り替えられる。換言すれば、ウインドウ１０３は固定されており、インジケータ１０２としての球体が回されるような感じをユーザに与える表示が行われる。
【００４５】
インジケータ１０２内の画像は固定とされ、ウインドウ１０３が移動されるようにしても良い。換言すれば、インジケータ１０２としての球体は固定とされており、その球体の表面を、ウインドウ１０３が移動するような感じをユーザに与える表示が行われるようにしても良い。例えば、上方向を向いたと検出されたときには、ウインドウ１０３は、インジケータ１０２内の上の方に移動した位置に表示されるようにしても良い。
【００４６】
ウインドウ１０３が固定であり、インジケータ１０２が可動の場合と、ウインドウ１０３が可動であり、インジケータ１０２が固定の場合は、メインの画像である視野映像１０１に変更があったときに、その変更に追従して、インジケータ１０２内の画像が変更される。
【００４７】
さらに、ウインドウ１０３が可動であり、インジケータ１０２も可動であるようにしても良い。後述するように、インジケータ１０２に情報を載せたり、インジケータ１０２自体をユーザが操作したりすることができるように構成することもできる。そのように構成した場合、例えばインジケータ１０２がユーザの指示により回転されるような操作が行われる場合もある。
【００４８】
そのようなインジケータ１０２自体が操作された場合、インジケータ１０２内の画像も、ユーザの指示に応じて変更され、その変更に追従してウインドウ１０３の表示位置も変更される。この場合、メインの画像である視野映像１０１は変更されない。視野映像１０１が変更されないため、ウインドウ１０３は、インジケータ１０２の変更に追従して移動することになる。
【００４９】
すなわち、インジケータ１０２内におけるウィンドウ１０３の相対的な位置に変更はなく、インジケータ１０２内におけるウィンドウ１０３の位置は固定とされているため、インジケータ１０２やウィンドウ１０３が動いても、視野映像１０１は変更されない。
【００５０】
このようなインジケータ１０２が表示されることで、例えば、ユーザは、インジケータ１０２を操作することで、見たい場所や情報を探し出した場合、インジケータ１０２に対して所定の操作を行うことで、その見たい場所や情報が、視野映像１０１として表示されるようにすることができる。
【００５１】
インジケータ１０２は、図２や図３では、画面内の左上の領域に表示されている例を示したが、左上の領域に表示領域が限定されるわけではなく、他の領域、例えば、左下、右上、右下などの領域に表示されるようにしても良い。また、インジケータ１０２は、ユーザが指定した領域に表示されるようにしても良い。
【００５２】
また、表示部５１に視野映像１０１を表示し、その上下左右のいずれかの領域に、黒帯部分がある場合、その黒帯部分にインジケータ１０２が表示されるようにしても良い。
【００５３】
さらに後述するように、インジケータ１０２の表示位置は固定ではなく、所定の条件により、インジケータ１０２の表示位置が変更されるようにしても良い。
【００５４】
また、インジケータ１０２の大きさは、固定サイズでも良いし、何らかの条件が満たされたときや、ユーザからの指示があったときなどに、所定のサイズに変更される構成としても良い。
【００５５】
インジケータ１０２と共に表示される視野映像１０１は、既に作成されている映像であっても良いし、視聴されている時点で生成された映像であっても良い。例えば、仮想空間としてＣＧ（Computer Graphics）で作成された映像や、予め撮影された風景が編集された映像とすることができる。
【００５６】
また、情報処理装置１０に撮像部（不図示）を設け、その撮像部で撮像されている映像が、視野映像１０１として表示されるようにしても良い。また、表示部５１を透明ディスプレイとし、ユーザが装着したときに目視した風景が、ディスプレイ越しに見えるようにしても良い。そして、そのようなディスプレイ越しに見える風景を、視野映像１０１としても良い。このようにした場合、インジケータ１０２は、例えば、ユーザがその時点でいる位置を表すようなインジケータとすることができる。
【００５７】
＜インジケータの種類＞
インジケータ１０２の表示例を以下に説明する。
【００５８】
図５に示したインジケータ１０２ａは、ワイヤーフレームの３次元球体（スフィア）を２次元に透視変換した画像とした場合を表している。ワイヤーフレームの３次元球体の表面に、略四角形状のウインドウ１０３が表示されている。このウインドウ１０３は、上記したように、全天球映像のうち、視野映像１０１としてユーザに提供されている映像のある位置（領域）を表す。
【００５９】
なお、ウインドウ１０３の色は、黒以外の例えば、赤や青といった色でも勿論良い。また、ウインドウ１０３内が、所定の色で塗りつぶされて表示されていても良いし、塗りつぶされて表示される場合、その色が半透明とされていても良い。このようなウインドウ１０３の枠の色や内部の色は、図５に示したウインドウ１０３に限らず、他の図に示したウインドウ１０３に対しても適宜適用できる。
【００６０】
図６に示したインジケータ１０２ｂは、図５に示したインジケータ１０２ａと同じく、ワイヤーフレームの３次元球体（スフィア）を２次元に透視変換した画像とした場合を表している。図６に示したインジケータ１０２ｂ上に表示されているウインドウ１０３ｂは、曲線形状のウインドウとされている。このように、ウインドウ１０３の形状は、四角形状以外の形状であっても良い。また、表示部５１（図２）の形状（表示枠の形状）と略同一の形状としてもよい。
【００６１】
図７に示したインジケータ１０２ｃは、図５に示したインジケータ１０２ａと同じく、ワイヤーフレームの３次元球体（スフィア）を２次元に透視変換した画像とした場合であるが、その表面に全天球映像をテクスチャとして貼付した画像とした場合を表している。このように、インジケータ１０２に全天球映像をテクスチャとして貼付しても良い。ウインドウ１０３ｃは、図５に示したウインドウ１０３ａと同じく略四角形状の場合を示しているが、図６に示したウインドウ１０３ｂと同じく曲線形状でも良い。
【００６２】
図８に示したインジケータ１０２ｄは、ウインドウ１０３ｄが３次元球体で表されるインジケータ１０２ｄに対して持つ方向や面積を、３次元極座標または４元数と角錐で表した場合を示している。このように、インジケータ１０２ｄに、角度や座標を表す数値（テキスト）が表示されるようにしても良い。
【００６３】
なお、図８に示したインジケータ１０２ｄのような表示に限らず、図５に示したインジケータ１０２ａ等に対しても、テキストが表示されるようにしても良い。
【００６４】
図９に示したインジケータ１０２ｅは、２次元図形で表した画像とした場合である。ユーザの中には、例えば、２次元の地図が見慣れており、そのような２次元の地図で、視野範囲が示された方が良いと思うユーザもいるため、そのようなユーザに対応するために、２次元図形のインジケータ１０２ｅを用意しても良い。
【００６５】
図１０に示したインジケータ１０２ｆは、球面を平面に投影するステレオ投影で生成された画像とした場合を表している。全天球映像をステレオ投影で、平面に投影し、その投影後の全天球映像をインジケータ１０２ｆとしても良い。
【００６６】
インジケータ１０２は、このように、全天球映像（立体的な映像）を、２次元に投影した画像（例えば、図７に示したインジケータ１０２ｃ）や、全天球映像を模写した画像（例えば、図５に示したインジケータ１０２ａ）とされる。
【００６７】
例えば、図７に示したインジケータ１０２ｃのように、テクスチャを所定の形状（図７では球体）に貼り付ける場合、その貼り付け先の形状や貼り付け方は、上記した球体に限定されるものではない。
【００６８】
例えば、正距円筒図法（Equirectangular projection）を適用してテクスチャを貼り付けることができる。また、キューブ図法（Cube projection）を適用して立方体の各面に投影表示したり、２次元展開図として表示したりすることができる。
【００６９】
また、正多面体、例えば正四面体から正二十面体への投影を適用して、多面体の各面に中心投影で投影表示することもできる。また、ステレオ投影（Stereographic projection）を適用し、例えば、北半球または南半球のみをインジケータ１０２として表示したり、北半球と南半球を上下または左右に表示するインジケータ１０２を適用したりすることもできる。
【００７０】
＜インジケータの表示に係わる処理＞
次に、インジケータ１０２の表示に係わる処理について、図１１に示したフローチャートを参照して説明する。例えば、図３に示した画面が、表示部５１に表示されるときの処理である。
【００７１】
ステップＳ１０１において、インジケータ設定部５２（図２）は、インジケータタイプ情報を取得する。インジケータタイプ情報とは、例えば、インジケータ１０２として、図５乃至図１０に示したインジケータａ乃至ｆがあるとき、どのインジケータを用いるかを決定するときに参照される情報である。
【００７２】
インジケータタイプ情報は、表示が開始されるときにはデフォルトとして設定されているインジケータタイプ情報が用いられるようにすることができる。デフォルトとして設定されている場合、ユーザが予めインジケータタイプを設定できるようにしておき、その設定されているインジケータタイプの情報が用いられるようにすることができる。
【００７３】
また、表示される全天球映像に応じて設定されるようにしても良い。インジケータタイプ情報を、表示される全天球映像に応じて設定されるようにした場合、取得される全天球映像に付随する情報（メタ情報）が参照され、設定されるようにしても良い。
【００７４】
全天球映像に付随する情報が、例えば、地球儀のような映像であることを示しているような場合、図７に示したインジケータ１０２ｃが設定されるインジケータタイプ情報が設定される。また全天球映像に付随する情報が、例えば、天球のような映像であることを示しているような場合、星の位置が正確にわかる図８に示したインジケータ１０２ｄが設定されるインジケータタイプ情報が設定される。
【００７５】
ステップＳ１０２において、センサ５３（図２）は、姿勢やズーム情報を取得する。ユーザがどこを見ているか、どの部分を拡大しているか（注視しているか）などの情報が取得される。
【００７６】
ステップＳ１０３において、インジケータ生成部５５（図２）は、インジケータ画像を生成する。例えば、インジケータタイプ情報から、図７に示すようなインジケータ１０２ｃをインジケータとして設定し、姿勢やズーム情報などからウインドウ１０３ｃのインジケータ１０２ｃ内での表示位置が設定されることで、インジケータ画像が生成される。またインジケータのタイプにより、テクスチャが生成され、例えば、３次元球体に貼り付けられるといった処理も行われる。
【００７７】
ステップＳ１０４において、映像データ入力部５４（図２）は、圧縮された全天球映像の映像データを取得する。なおここでは、ステップＳ１０４において映像データが取得されるとしたが、インジケータタイプ情報を、映像データ、または映像データに付随する情報から取得する場合、ステップＳ１０１の処理よりも前の処理で映像データは取得される。このように、図１１に示したフローチャートに基づく処理は一例であり、適宜順序を入れ替えるなどの変更は可能である。
【００７８】
ステップＳ１０５において、デコード部５７（図２）は、映像データ入力部５４に入力された映像データをデコードし、非圧縮の全天球映像の映像データを、透視変換部５６（図２）に供給する。
【００７９】
ステップＳ１０６において、透視変換部５６は、デコード済の全天球映像、３Ｄモデル、位置情報から全天球部分映像（表示部５１に表示して、ユーザに提供する映像）を生成する。透視変換部５６は、３Ｄモデル（球体）に全天球映像をマッピングし、映像が貼付された仮想球を内部生成し、姿勢やズーム等の情報から透視変換行列を生成し、透視変換処理を行い、全天球部分映像を生成する。
【００８０】
ステップＳ１０７において、映像合成部５８（図２）は、透視変換部５６により生成された全天球部分映像（画像）内の所定の領域、例えば左上の領域に、インジケータ生成部５５で生成されたインジケータ画像を合成し、インジケータ付き全天球映像を生成する。
【００８１】
ステップＳ１０８において、表示部５１（図２）は、映像合成部５８で生成されたインジケータ付き全天球映像（映像）を表示する。例えば、表示部５１には、図３に示したようなインジケータ付き全天球映像が表示される。
【００８２】
＜インジケータの切り替えに係わる処理＞
このような処理により表示部５１に表示されたインジケータ１０２は、切り替えることができる。このインジケータ１０２の切り替えに係わる処理について、図１２に示したフローチャートを参照して説明する。
【００８３】
ステップＳ１５１において、インジケータタイプが切り替わったか否かが判定される。インジケータタイプが切り替わったと判定されるのは、例えば、ユーザにより表示されているインジケータ１０２を他のインジケータ１０２に変更すると指示されたときである。
【００８４】
例えば、ユーザは、コントローラなどのデバイスのインジケータの切り替えを指示するボタンを操作することで、インジケータの切り替えの指示を出す。またはユーザは、例えば、モーションセンサに対して、インジケータの切り替えに割り当てられているジェスチャーを行うことで、インジケータの切り替えの指示を出す。
【００８５】
またはユーザは、例えば、音声センサに対して、インジケータの切り替えに割り当てられているフレーズやメロディーを発することで、インジケータの切り替えの指示を出す。
【００８６】
またはユーザは、ウェアラブルデバイスに対して、インジケータの切り替えに割り当てられているセンサ入力などを行うことで、インジケータの切り替えの指示を出す。このセンサ入力としては、例えば、姿勢制御、圧力、生体反応などである。
【００８７】
またＧＰＳなどの位置情報を取得し、特定の領域に入ったときにインジケータの切り替えが指示されたと判定されるようにしても良い。また、天候、温度、湿度、気圧、光量など、ユーザの周りの環境の変化により、インジケータの切り替えが指示されたと判定されるようにしても良い。
【００８８】
また、映像の種類、内容などに変更があったときに、インジケータの切り替えが指示されたと判定されるようにしても良い。
【００８９】
ステップＳ１５１において、インジケータタイプは切り替えられたと判定されるまで、ステップＳ１５１における判定処理が繰り返され、インジケータタイプが切り替えられたと判定された場合、ステップＳ１５２に処理が進められる。
【００９０】
ステップＳ１５２乃至Ｓ１５６の処理は、図１１に示したステップＳ１０２乃至Ｓ１０８（ステップＳ１０４，Ｓ１０５を除く）と同様の処理のため、その説明は省略する。すなわち、切り替え先のインジケータタイプに基づき、インジケータ画像が生成され、インジケータ付きの全天球部分画像が生成される。
【００９１】
このような処理によりインジケータタイプが切り替えられることにより、例えば、上記したように、図５乃至図１０に示したインジケータ１０２ａ乃至ｆのうち、表示されているインジケータ１０２から、他のインジケータ１０２に表示が切り替えられる。
【００９２】
例えば、図５に示したワイヤーフレームのインジケータ１０２ａが表示されているときに、ユーザにより、図７に示したテクスチャが貼り付けられているインジケータ１０２ｃの切り替えが指示された場合、表示部５１に表示されているインジケータ１０２は、インジケータ１０２ａからインジケータ１０２ｃに切り替えられる。
【００９３】
また例えば、視野映像１０１が街中を散策しているような映像であるときに、建物内に入り、建物内を歩く映像に切り替わった場合、地球をイメージさせる球体のインジケータ１０２（例えば、図５に示したインジケータ１０２ａ）から、建物（室内）をイメージさせる立方体のインジケータ１０２（不図示）に切り替えられるようにしても良い。
【００９４】
このように、視野映像１０１に応じてインジケータ１０２が切り換えられるようにしても良い。例えば地図や地形データなどを表示するときには、正距円筒投影やステレオ投影などの選択肢をユーザに提示し、そのような投影によるインジケータ１０２の表示に誘導するような仕組みを設けても良い。
【００９５】
また、インジケータタイプとしてインジケータの大きさも含まれるようにした場合、インジケータ１０２の切り替えとして、大きさが変更されるようにしても良い。
【００９６】
またインジケータ１０２の切り替えとして、表示されているインジケータ１０２が、表示されてない状態に変更されたり、逆に、表示されていない状態から、表示されるようにしたりする切り替えが行われるようにすることも可能である。そのようなインジケータ１０２の表示、非表示は、ユーザの指示により行われるようにすることができる。
【００９７】
また例えば、インジケータ１０２が表示されてから所定の時間が経過した場合、インジケータ１０２が消えるようにしても良い。または、インジケータ１０２が小さく表示されるようにしても良い。このようにした場合、ステップＳ１５１における処理は、インジケータ１０２が表示されてから所定の時間が経過したか否かが判定され、所定の時間が経過したと判定された場合、インジケータタイプが切り替わったと判定される。
【００９８】
また例えば、インジケータ１０２が消されている（小さく表示されている）状態において、ユーザがインジケータ１０２の表示（大きく表示すること）を指示した場合、インジケータ１０２が表示されるようにしても良い。また例えば、ユーザの移動量が大きくなったときに、インジケータ１０２が再表示されるようにしても良い。
【００９９】
インジケータ１０２は、ユーザが全天球映像内のどの部分を見ているかを確認できる手段として表示されている。ユーザは、インジケータ１０２を確認することで、自己がいる位置を確認することができる。例えば、ユーザがあまり移動していないようなとき（移動量が少ないとき）には、ユーザは、その付近の映像を楽しんでいると考えられる。一方で、ユーザが移動しているようなとき（移動量が大きいとき）には、ユーザは、他の位置に移動したいと考えていると推定できる。
【０１００】
そのような他の位置に移動したいとユーザが考えていると判定できるときなどには、インジケータ１０２を表示し、ユーザの移動の手助けとなる表示を行うようにする。また、後述するように、インジケータ１０２に情報を載せることができ、ユーザは情報があるところに移動したい、何らかの情報を求めて探索を始めたなどと判定できるときに、インジケータ１０２を表示するように構成しても良い。
【０１０１】
このようにした場合、ステップＳ１５１における処理は、ユーザの移動速度（移動量）が閾値を超えたか否かを判定し、閾値を超えたと判定した場合に、インジケータタイプが切り替わったと判定する処理とされる。
【０１０２】
なおこのようにした場合の移動速度（移動量）は、表示部５１に表示されている空間内での移動において測定される数値であっても良いし、ユーザが実際に歩いた（その場で足を動かした）量に応じて測定される数値であっても良い。
【０１０３】
またユーザの視線をトリガーとして、インジケータタイプが切り替えられるようにしても良い。例えば、ユーザが注視している部分にインジケータ１０２を表示しないように、ユーザが注視している領域にインジケータ１０２が表示されていた場合、ユーザが注視していない領域にインジケータ１０２が表示されるようにする。この場合、インジケータタイプとして、表示位置もタイプとして含まれるようにすれば良い。
【０１０４】
また、ユーザが注視している領域にインジケータ１０２が表示されていた場合、インジケータ１０２を消す（薄くする）ようにしても良い。そして、注視が他の領域に移動したときに、再度表示されるようにしても良い。
【０１０５】
また、ユーザが、インジケータ１０２が表示される領域を注視しているときには、その領域にインジケータ１０２を表示するようにしても良い。また、ユーザの視線方向が一定量変化した直後に、一定の時間だけインジケータ１０２を表示するようにしても良い。
【０１０６】
また、ユーザの視線方向の変化に追従し、インジケータ１０２の表示位置が変更されるようにしても良い。例えば、ユーザの視線が左上から右上に移動した場合、インジケータ１０２も、左上から右上に表示が変更されるようにしても良い。または、ユーザの視線が左上から右上に移動した場合、インジケータ１０２は、右上から左上に表示が変更されるようにしても良い。
【０１０７】
このように、ユーザの視線によりインジケータ１０２の表示位置を変更する（インジケータタイプを切り替える）ようにした場合、ステップＳ１５１における処理は、ユーザの視線を検出し、その視線の先の領域を検出したり、注視している時間を計測したりし、その結果、所定の条件が満たされたか否かを判定し、満たされたと判定された場合に、インジケータタイプが切り替わったと判定される。
【０１０８】
またユーザの視線に応じて、インジケータ１０２の種類が変更されるようにしても良い。例えば、ユーザがインジケータ１０２を注視していると判定できるときには、そのインジケータ１０２の種類の変更が指示されたと判定し、その時点で表示されているインジケータ１０２から異なる種類のインジケータ１０２に変更されるようにしても良い。
【０１０９】
例えば、ユーザが注視していたインジケータ１０２が、図７に示すようなインジケータ１０２ｃであった場合、図９に示したようなインジケータ１０２ｅに表示が切り替えられるようにしても良い。
【０１１０】
さらに、ユーザが注視を継続していたような場合、さらに他のインジケータ１０２に表示が切り替えられるようにしても良い。すなわち、ユーザがインジケータ１０２を注視している間、インジケータ１０２の種類は順次切り替えられ、ユーザが、所望のインジケータ１０２が表示された時点で注視を中止することで、所望のインジケータ１０２が選択できるようにしても良い。
【０１１１】
また例えば、ユーザの視線により、インジケータ１０２の大きさが変更されるようにしても良い。例えば、ユーザがインジケータ１０２を注視していると判定できるときには、インジケータ１０２は大きく表示されるようにしても良い。
【０１１２】
なお視線は、ユーザの虹彩の方向を検出することで検出されるようにしてもよい。例えば、情報処理装置１０（図１）が、タブレットなどの端末である場合、センサ５３として、ユーザの顔（主に目）を撮像する撮像部を設け、その撮像部で撮像された画像を解析することで、ユーザの視線が求められるようにすることができる。
【０１１３】
また、情報処理装置１０がヘッドマウントディスプレイのようなユーザの頭部に装着されるような装置である場合、センサ５３として、ユーザの顔（頭）が向いている方向を検出する姿勢センサなどを設け、その姿勢センサで検出されるユーザの顔が向いている向きを視線の方向として検出するようにすることもできる。
【０１１４】
または、情報処理装置１０がヘッドマウントディスプレイのような装置の場合、実際に顔が向いている方向と、ユーザがヘッドマウントディスプレイで見ている映像（例えば仮想空間）内で向いている方向とは一致していない可能性がある。よって、仮想空間内でユーザが向いている方向（視線が向いている方向）が検出されるようにしても良い。
【０１１５】
情報処理装置１０が、ヘッドマウントディスプレイのような装置の場合、その内部に、赤外線ＬＥＤや光学センサが設置され、それらで視線が検出される構成とすることができる。
【０１１６】
視線検出には、一般的な技術を適用することができる。例えば、眼球に偏光した赤外光を照射し、その赤外光の角膜反射像を撮影し、その撮影された画像から視線方向の推定に必要な瞳孔と輝点が検出される。そして、検出された瞳孔と角膜反射像に基づいて、３次元眼球モデルを用い、幾何学的な手法により、光軸が推定され、視軸（視線方向）が推定される。
【０１１７】
インジケータ１０２の表示として、上記した表示方法とは異なる表示方法を適用することも可能である。例えば、表示されているインジケータ１０２を、他の領域に移動させる場合、表示されているインジケータ１０２を薄く表示し、消し、その後、移動先で薄く表示し、濃く表示するといったように、徐々に表示される濃さが変更されたり、表示領域が移動されたりするようにしても良い。
【０１１８】
またユーザの年齢によりインジケータタイプが設定されるようにしても良い。例えば、ユーザが子供であると判定されるときには、インジケータ１０２として直感的に位置が確認できるような、例えば、図９に示したようなインジケータ１０２ｅがインジケータタイプとして設定されるようにしても良い。
【０１１９】
また、例えば、ユーザが高齢者であると判定されるときには、インジケータ１０２が大きく表示されるようにしても良い。
【０１２０】
＜インジケータに対する処理＞
次に、インジケータ１０２に対して所定の操作を行うことで、視野映像１０１の映像を切り替える場合について説明する。
【０１２１】
図１３に示すように、インジケータ１０２に表示されているウインドウ１０３を拡大または縮小することで、その拡大または縮小に応じて、視野映像１０１が切り替えられる。ユーザは、ウインドウ１０３の一部（ウィンドウ１０３の辺）を、例えばグラブし、所望の大きさにウインドウ１０３の大きさを変更することができる。
【０１２２】
ウインドウ１０３の大きさが変更されることで、全天球映像のうちのウインドウ１０３内の画像の範囲も変化するため、その変化に応じて、視野映像１０１も変更される。このように、ユーザはウインドウ１０３を操作することで、視野映像１０１として表示される範囲を拡大したり、縮小したりすることができる。
【０１２３】
なお、ウインドウ１０３が拡大されると、全天球映像のうち、視野映像１０１として切り出される領域が大きくなるため、視野映像１０１として表示される画像、例えば人や建物といった被写体は小さくなる。
【０１２４】
同様に、ウインドウ１０３が縮小されると、全天球映像のうち、視野映像１０１として切り出される領域が小さくなるため、視野映像１０１として表示される画像、例えば人や建物といった被写体は大きくなる。
【０１２５】
また、ユーザが、ウインドウ１０３を、インジケータ１０２上で移動させた場合、視野映像１０１の画像は、ウインドウ１０３が移動した先の領域に表示されている全天球映像の画像に変更される。このように、ユーザは、ウインドウ１０３を操作することで、視野映像１０１として表示される部分を変更することができる。
【０１２６】
図１３に示した例は、インジケータ１０２内の画像は固定とされ、ウインドウ１０３が移動される場合の例である。換言すれば、インジケータ１０２としての球体は固定とされており、その球体の表面を、ウインドウ１０３が移動するような感じをユーザに与える表示が行われる場合の例である。
【０１２７】
図１４に示すように、インジケータ１０２がグラブされ、回転などの操作が行えるようにしても良い。ユーザは、インジケータ１０２のいずれかの位置をグラブし、上下、左右方向に移動して、インジケータ１０２を回転させることができる。
【０１２８】
ウインドウ１０３が固定されていた場合、インジケータ１０２が回転されることで、全天球映像のうちのウインドウ１０３内に表示されている画像が変更されるため、その変更にともない、視野映像１０１も変更される。
【０１２９】
ただし、このようなインジケータ１０２の回転に合わせて視野映像１０１が変更される場合、急激な視野の変化が発生し、ユーザが酔ってしまう（所謂ＶＲ酔い）可能性があるため、そのような酔いを誘発してしまうようなことを防ぐ処理が行われるようにしても良い。
【０１３０】
例えば、急激な視野変化によるＶＲ酔いの誘発を回避するため、視野が安定する迄の間、画面を一時的に暗くするなどの処理が行われるようにしても良い。
【０１３１】
図１４に示した例は、ウインドウ１０３はインジケータ１０２内で固定とされ、インジケータ１０２内の画像は切り替えられ、視野映像１０１は切り替えられる例である。換言すれば、ウインドウ１０３は固定されており、インジケータ１０２としての球体が回されるような感じをユーザに与える表示が行われる例である。
【０１３２】
図１５に示したインジケータ１０２には、アイコン１５１が表示されている。このアイコン１５１は、後述するように、アイコン１５１がある位置に、何らかの情報があることを示す印である。ユーザは、アイコン１５１（情報）をインジケータ１０２上に設定したり、インジケータ１０２のアイコン１５１を操作して、情報を閲覧したりすることができる。
【０１３３】
ユーザがアイコン１５１に対して操作を行いたいときに、インジケータ１０２が回転してしまうことを防ぐために、“LOCK”というチェック欄１５２がインジケータ１０２の近傍に表示されている。チェック欄１５２にチェックが入っているときには、インジケータ１０２は回転されないように、ロックされた状態にされる。
【０１３４】
例えば、ユーザは、アイコン１５１をグラブすることで、アイコン１５１をつかむことができるように構成されていた場合、チェック欄１５２にチェックが入っているときに操作を行われると、アイコン１５１がグラブされる。一方、チェック欄１５２にチェックが入っていないときに操作が行われると、インジケータ１０２がグラブされたとして処理され、インジケータ１０２の回転などの操作が行われる。
【０１３５】
この場合、インジケータ１０２が回転されると、その回転にともない、ウインドウ１０３も移動される。すなわちインジケータ１０２とウインドウ１０３との相対位置は変わらず、ウインドウ１０３内の画像に変更は無い。
【０１３６】
この場合、ウインドウ１０３が可動であり、インジケータ１０２も可動である。インジケータ１０２自体が操作された場合、インジケータ１０２内の画像も、ユーザの指示に応じて変更され、その変更に追従してウインドウ１０３の表示位置も変更されるが、視野映像１０１は変更されない。
【０１３７】
このように、インジケータ１０２にアイコン１５１を表示し、チェック欄１５２を設けることでアイコン１５１に対する操作を行えるようになる。例えば、インジケータ１０２上に配置されているアイコン１５１の種類（形状）や色を変更したり、削除したりすることができる。また例えば、インジケータ１０２上にアイコン１５１を新たに配置する（新たな情報を追加する）こともできる。
【０１３８】
また、アイコン１５１の形状や色に所定の意味を紐付けしておき、ユーザの所望の位置に配置できるようにしても良い。またそのようにした場合、方向に対する付帯情報を付与すること（アノテーション）も可能となる。
【０１３９】
＜ダイブインモード＞
さらに、インジケータ１０２を拡大表示し、操作できるようにすることができる。ここではダイブインモードと称する。
【０１４０】
図１６はダイブインモードのときの表示部５１に表示されている画面例を示す図である。時刻ｔ１において、表示部５１には、視野映像１０１が表示され、その視野映像１０１の左上にインジケータ１０２が表示されている。
【０１４１】
このような表示がなされているときに、ユーザがインジケータ１０２をつかみ、中央部分に引っ張るような操作をしたとする。時刻ｔ２において、このような操作がインジケータ１０２に対して行われると、インジケータ１０２は、徐々に拡大しながら、視野映像１０１の中央部分に移動してくる。
【０１４２】
なおこのような操作ではなく、例えば、ダイブインモードに移行するボタンが表示され、そのボタンが操作されると、インジケータ１０２が徐々に拡大されながら、中央部分に移動してくるアニメーションが行われるようにしても良い。
【０１４３】
インジケータ１０２が、視野映像１０１の中央部分に移動してくるとともに、視野映像１０１自体は、後に倒れるようなアニメーションがなされる。
【０１４４】
時刻ｔ３において、インジケータ１０２が視野映像１０１の中央部分に移動し、その位置で拡大表示される。時刻ｔ３においては、視野映像１０１は、後側に倒れきり、インジケータ１０２の下側に表示される。
【０１４５】
このように、ダイブインモードに移行するときには、視野映像１０１が奥行き方向に倒れて足下に表示されるアニメーションが行われると共に、インジケータ１０２が画面中央に拡大しながら移動してくるアニメーションが行われる。
【０１４６】
このように、ダイブインモードのときには、視野映像１０１とインジケータ１０２の表示位置が入れ替わる。すなわち、ダイブインモードの前の時点では、視野映像１０１がメインで表示され、インジケータ１０２がサブで表示されている状態であったが、ダイブインモードが完了した状態では、視野映像１０１がサブで表示され、インジケータ１０２がメインで表示されている状態となる。
【０１４７】
また図１６の時刻ｔ３の画面例として示したようにユーザの手を洗わす画像も、画面内に表示されるようにしても良い。例えば情報処理装置１０がヘッドマウントディスプレイの場合、ユーザの手が、画面内のインジケータ１０２の近傍に表示されることで、あたかも目の前のインジケータ１０２を操作しているような間隔を与えることができる。
【０１４８】
ユーザの手を撮像部で撮像し、その撮像された画像を、画面内に合成して表しても良いし、ＣＧで作成された擬似的なユーザの手が画面内に表示されるようにしても良い。またユーザの指先検出が可能なセンサを併用し、そのセンサから得られるユーザの指先の情報も、画面内のユーザの指の画像に反映される。
【０１４９】
ユーザは拡大表示されたインジケータ１０２を操作し、閲覧したい位置を探したり、情報を探したりすることができる。
【０１５０】
なお、ダイブインモードのときに、インジケータ１０２が回転されるなどされた場合、背景に表示されている視野映像１０１は変化しない。
【０１５１】
＜リトルプラネットモード＞
さらに、インジケータ１０２を拡大表示し、そのインジケータ１０２内を散策することができる。ここではリトルプラネットモードと称する。リトルプラネットモードは、インジケータ１０２が小さな惑星として、画面内においてユーザの足下に表示されるモードである。
【０１５２】
図１７はリトルプラネットモードのときの表示部５１に表示されている画面例を示す図である。時刻ｔ１１において、表示部５１には、視野映像１０１が表示され、その視野映像１０１の左上にインジケータ１０２が表示されている。このインジケータ１０２は、図１０に示したインジケータ１０２ｆであり、全天球映像をステレオ投影で、平面に投影し、その投影後の全天球映像である。
【０１５３】
時刻ｔ１１において、例えば、図１６を参照して説明したダイブインモードのときと同じように、インジケータ１０２がつかまれ、中央部分に引っ張られるような操作がされた場合、リトルプラネットモードに移行する。または、例えば、リトルプラネットモードに移行するボタンが表示され、そのボタンが操作されると、リトルプラネットモードに移行するようにしても良い。
【０１５４】
時刻ｔ１２において、リトルプラネットモードに移行されると、ユーザが、インジケータ１０２内（リトルプラネット内）に居るような表示が行われる。すなわちまず、インジケータ１０２が拡大表示される。また視野映像１０１はフェードアウトし、表示されない状態となる。
【０１５５】
リトルプラネット（インジケータ１０２）を地面とし、その地面に立っているような位置に、ユーザの視野が移動される。ユーザは、そのような視野のまま、リトルプラネット内を散策することができる。
【０１５６】
なお、ユーザがリトルプラネット内にいることをより実感できるように、図１８，図１９に示すようにユーザを表す表示が行われるようにしても良い。図１８に示した例は、ユーザを表す頭部が表示されている。また、図１９に示した例は、ユーザを表す人が表示されている。このように、表示されているインジケータ１０２内に、ユーザを表す頭部や人（全身）を表示することで、あたかもリトルプラネット内にユーザが居るような感覚をよりリアルに提供することができる。
【０１５７】
また、情報処理装置１０がヘッドマウントディスプレイの場合、図１８や図１９に示したユーザを表す頭部や人を表示せずに、図１７に示したように見える風景だけを表示するようにしても良い。そのようにした場合であっても、例えばユーザが下を向いたとき（地面を見たとき）には、ユーザの足下や影が表示されるようにしても良い。またその足下の画像は自己投射されたものであっても良い。
【０１５８】
このように、リトルプラネットモードのときには、ユーザは、インジケータ１０２内を歩くことができる。例えばインジケータ１０２が地球儀である場合、リトルプラネットモードのときには、地球上を歩いているような感覚をユーザに提供することができる。またユーザは、地球上を歩き、行ってみたいところ（国など）まで、歩いて行くことができる。
【０１５９】
そして、ユーザは、所望とするところまで移動した場合、リトルプラネットモードから通常のモードに戻すことで、その所望としたところにおける散策を開始することができる。
【０１６０】
＜インジケータ上に情報を表示する＞
図１５を参照して説明したようにインジケータ１０２上に情報を重畳することができる。
【０１６１】
インジケータ１０２上に重畳される情報としては、情報があることを表す２次元形状のアイコンや、３次元形状のアイコンとすることができる。例えば、図２０に示したアイコン１５１ａのように、円柱形など、インジケータ１０２上に重畳されたときに、ユーザが一目することで情報があることを認識できる形状のアイコンとすることができる。
【０１６２】
また情報として、方位、地図記号、地図上のランドマーク、例えば公共建造物、商業施設などがあることを情報とし、それらを表すアイコンがインジケータ１０２上に重畳されるようにすることもできる。例えば、図２０に示したアイコン１５１ｂのように、タワーなどを表す形状のアイコンとすることができる。
【０１６３】
例えば、図２０に示したように、インジケータ１０２上にアイコン１５１ｂが表示され、そのアイコン１５１ｂが表示されている位置には、例えば、公共建造物や商業施設があり、ユーザがそのような公共構造物や商業施設を見たいときには、アイコン１５１ｂに対して所定の操作を行うことで、そのような公共構造物や商業施設を見ることができるように構成されている。
【０１６４】
また、例えば、同一のコンテンツを同時に視聴している他のユーザの視野が、インジケータ１０２上に情報として重畳されるようにしても良い。また、例えば、過去にユーザ自身または他のユーザが視聴した視野が、インジケータ１０２上に情報として重畳されるようにしても良い。参照頻度や回数に応じて、アイコン（領域）の色や濃度が異なるようにしても良い。
【０１６５】
例えば、図２０のアイコン１５１ｃとして示したように、同一のコンテンツを同時に視聴している他のユーザの視野の部分に該当するインジケータ１０２の領域が塗りつぶされて表示される。
【０１６６】
また、例えば、図２０のアイコン１５１ｃとして示したように、過去にユーザ自身または他のユーザが視聴した視野の部分に該当するインジケータ１０２の領域が塗りつぶされて表示される。このアイコン１５１ｃは、参照頻度や回数に応じた色や濃度で表示されるようにすることができる。
【０１６７】
このように、例えば、ユーザ自身が視聴した視野が、アイコン１５１として表示されるようにした場合、ウインドウ１０３がインジケータ１０２上で移動した領域が履歴として表示されていることになる。このように、ユーザが再生開始以降、または一定時間内に視聴した領域（履歴）をインジケータ１０２上に残すことで、ユーザは、自己が全体のどの部分を視聴済であるかを認識することができるようになる。
【０１６８】
なお、このような履歴の表示は、一定時間ハイライト表示されるようにしても良い。また、時間の経過や視聴頻度に応じて、濃度を変えて表示するようにしても良い。
【０１６９】
また、視野映像１０１として天球画像などが提供される場合、インジケータ１０２には、星座や惑星などの天体の位置が、情報として表示されるようにしても良い。このように、インジケータ１０２に、例えば、星座の情報を重畳させた場合、ユーが、インジケータ１０２上の星座をクリックするなどの所定の操作を行ったとき、視野映像１０１内で、その星座を構成する星々が繋がれ、星座が形成されるようにしても良い。
【０１７０】
また、仮想球面上（インジケータ１０２上）に入射する光の分布の濃淡画像を、情報としてインジケータ１０２に重畳するようにしても良い。
【０１７１】
また、インジケータ１０２に、メールやメッセージなどを受信したことを知らせるアイコン１５１を重畳するようにしても良い。このようにした場合、アイコン１５１が操作されると、視野映像１０１内に、メールやメッセージの内容が表示される。
【０１７２】
ユーザは、インジケータ１０２に重畳された情報（アイコン１５１）を操作することで、その情報を閲覧したり、その場所に移動したりすることができる。
【０１７３】
インジケータ１０２に重畳されている情報（アイコン１５１）は、視野映像１０１にも重畳されて表示されるようにすることができる。視野映像１０１は、インジケータ１０２に表示されている全天球映像の一部であり、全天球映像のうちのウインドウ１０３内の映像である。よって、ウインドウ１０３内にアイコン１５１がある場合、視野映像１０１内にも該当する位置にアイコン１５１が表示されるようにしても良い。
【０１７４】
またユーザの視野が、アイコン１５１に近づいた場合や遠ざかった場合などで、アイコン１５１の表示が変えられるようにしても良い。例えば、ユーザの視野がアイコン１５１に近づいた場合、より濃く表示されるようにし、遠ざかった場合、より薄く表示されるようにしても良い。
【０１７５】
または、例えば、ユーザの視野がアイコン１５１から遠ざかった場合、より濃く表示されるようにし、ユーザに気付かれやすい表示にしても良い。
【０１７６】
また、ユーザの視線が近づいたときだけアイコン１５１が表示されるようにしても良い。例えばユーザは、宝探しのような感覚で、アイコン１５１（情報）を探し、楽しむことができる。
【０１７７】
インジケータ１０２に情報を重畳させたときの具体的な使用例を挙げる。例えば、災害救助の遠隔操作に用いることができる。インジケータ１０２に、例えば、生体情報がある方向、位置をアイコン１５１で示したり、瓦礫や崩落した建物内で、出口がある方向、位置をアイコン１５１で表示したりする。
【０１７８】
遠隔操作できる装置が撮像し、その装置から送信されてくる映像は、視野映像１０１に表示し、インジケータ１０２に生体情報がある位置にアイコン１５１を表示するようする。そして、遠隔操作を行うユーザは、インジケータ１０２上に表示されているアイコン１５１を参照し、そのアイコン１５１の方向に装置を移動させる。このような装置に適用することができる。
【０１７９】
また例えば、MMORPG（Massively Multiplayer Online Role-Playing Game）に用いることができる。MMORPGとは、オンラインゲームの一種でコンピュータRPGをモチーフとしたものであり、大規模で多人数が同時に参加して行われるゲームの一種である。
【０１８０】
そのようなゲームの画面において、視野映像１０１には、ゲームの画面を表示し、その画面の一部にインジケータ１０２も表示する。そのインジケータ１０２に、イベントが発生する方向、位置をアイコン１５１で示す。このようにイベントの発生箇所を、インジケータ１０２上に表示することで、ユーザは、イベントの発生箇所を認識しやすくなり、イベントに参加しやすくなる。
【０１８１】
さらに、イベントが発生したことをユーザに認識させるために、イベントが発生したときには、インジケータ１０２を大きく表示するようにしても良い。インジケータ１０２が大きく表示されることで、ユーザはイベントが発生したことを知ることができ、アイコン１５１によりイベントの発生箇所を確認することができる。
【０１８２】
このようなインジケータ１０２の拡大表示は、この例に限らず、インジケータ１０２にユーザを注目させたいときに行われるようにすることができる。
【０１８３】
また例えば、スポーツ観戦、コンサート、観劇などを見るときに用いることができる。例えば、ユーザが事前に登録した選手、歌手、役者などがいる方向、位置をインジケータ１０２上にアイコン１５１として表示する。
【０１８４】
ユーザは、インジケータ１０２上に表示されているアイコン１５１を参照することで、事前に登録した選手、歌手、役者を探し出すことができ、スポーツ観戦、コンサート、観劇などをより楽しむことが可能となる。
【０１８５】
また例えば、バードウォッチングなどを楽しむときに用いることができる。例えば、インジケータ１０２上に、鳥の群れや個体が多くいる方向、位置をアイコン１５１で示すようにする。ユーザは、アイコン１５１を参照することで、鳥を探し出し、観察することが可能となる。
【０１８６】
このように、インジケータ１０２にウインドウ１０３と情報（アイコン１５１）を表示することで、ユーザはインジケータ１０２を参照することで、全天球映像のうちの自分が視聴している部分を確認することができる。また、自己の位置から、情報がある位置までの相対関係を確認し、所望の情報の方に移動したり、情報（アイコン１５１）を直接操作して、情報を取得したりすることができる。
【０１８７】
ところで、インジケータ１０２にアイコン１５１（情報）を表示するようにした場合、図２０に示したように、ウインドウ１０３の近傍にあるアイコン１５１は、ユーザに提供されるが、ウインドウ１０３がある面とは逆の面（陰面）にあるアイコン１５１は、ユーザに提供されづらい表示となってしまう。
【０１８８】
そこで、ユーザに見ていない部分に情報があることを知らせるために、換言すれば、ウインドウ１０３外のところに情報があることを知らせるために、図２１に示すように、ウインドウ１０３を陰面側に表示し、ユーザが見ていない側が、インジケータ１０２の表面として表示されるようにしても良い。
【０１８９】
この場合、ユーザが見ている映像、すなわち視野映像１０１には、ユーザが見える範囲内にある情報（アイコン１５１）が表示され、インジケータ１０２には、ユーザが見える範囲外にある情報（アイコン１５１）が表示されている。ユーザは、全天球映像内の情報（情報があること）を、視野映像１０１とインジケータ１０２を見ることで、取得することができる。
【０１９０】
このように、視野映像１０１にも、アイコン１５１（アイコン１５１が示す情報そのもの）が表示される場合、視野映像１０１内に表示されるアイコン１５１が多くなり、視野映像１０１が見づらくなる可能性がある。このようなときには、視野映像１０１内に表示される情報（アイコン１５１）のうち、一部の情報を、インジケータ１０２のウインドウ１０３内に表示する。
【０１９１】
ユーザは、インジケータ１０２のウインドウ１０３内に、アイコン１５１が表示されていることを見ることで、視野映像１０１内に表示されていない情報があることを認識し、確認することができる。
【０１９２】
上記したように、ウインドウ１０３がインジケータ１０２の陰面側に表示されるようにした場合、また、ユーザがインジケータ１０２に対して操作、例えば回転という操作を行い、ウインドウ１０３もインジケータ１０２の回転にともない移動すると設定されていた場合、ウインドウ１０３が、インジケータ１０２の陰面側にあるときには、インジケータ１０２は、手前側（表面側）が半透明で、奥側（陰面側）が不透明で表示されるようにしても良い。
【０１９３】
また、ウインドウ１０３が、インジケータ１０２の陰面側に定常的に留まる場合、一定時間経過後に、手前側の半球が完全に非表示とされるようにしても良い。
【０１９４】
このように表示されることで、ウインドウ１０３がインジケータ１０２の陰面側にあっても、手前側が半透明で表示されることで、陰面側にあるウインドウ１０３の位置を確認することができる表示とすることができる。また、手前側に表示されているアイコン１５１も、ユーザが確認できる表示であるため、ユーザはアイコン１５１とウインドウ１０３を確認することができる。
【０１９５】
またウインドウ１０３が陰面側にはない場合、換言すれば、ウインドウ１０３が表面側にある場合、インジケータ１０２は、不透明で表示される。このように、ウインドウ１０３が陰面側にあるか否かにより、インジケータ１０２の表示が異なるようにしても良い。
【０１９６】
なお、例えば、図９に示したインジケータ１０２ｅは、２次元的なインジケータ１０２であるため、ウインドウ１０３ｅが陰面側に表示されることはない。このような平面的なインジケータ１０２の場合には、常に不透明に表示されるようにしても良い。
【０１９７】
このように、本技術によれば、全天球映像の一部を視野映像１０１として視聴しているときに、その視聴している映像が、全天球映像のどの部分であるかを示すインジケータ１０２とウインドウ１０３を表示することができる。ユーザは、インジケータ１０２とウインドウ１０３を見ることで、自己が全天球映像内のどの部分にいるのかを、容易に把握することができる。
【０１９８】
また、ユーザは、インジケータ１０２（ウィンドウ１０３）が示す位置と範囲を手がかりに、自己が見たいところ（行きたいところ）まで、どのように行けばよいかを決定でき、視聴時の利便性を向上させることができる。
【０１９９】
また、例えば、地面や天空など、方向に対して特徴的な映像がないコンテンツを、ユーザが視聴している場合などに、ユーザは、インジケータ１０２が示す方向（インジケータ１０２内のウインドウ１０３がある位置）を参考にすることで、現在の視野範囲（視野映像１０１）が、空間内のどの方向、位置なのかを直感的に把握できるようになる。よって、視聴時の心理的な不安などを解消することができる。
【０２００】
上記した実施の形態においては、全天球映像を扱う場合を例に挙げて説明したが、全天球映像は、例えば、縮小しても、一度に閲覧できない映像（画像）である。例えば、前面を見ているときには、背面は見ることができず、上面を見ているときには、下面を見ることはできない。換言すれば、全天球映像は、全方位を一度に見ることはできない映像である。
【０２０１】
このように、１度に閲覧できない映像（画像）を閲覧しているときに、ユーザに、どの部分を視聴しているのかの情報、すなわち本実施の形態においては、インジケータ１０２を表示することで、上記したような効果を得ることができる。
【０２０２】
本技術は、全天球映像に限らず、全方位を一度に見ることはできない映像（画像）などのコンテンツ、例えば、３次元空間的に広がりを有する映像などのコンテンツに適用することができる。
【０２０３】
また、インジケータ１０２上に情報を載せることで、ユーザは、インジケータ１０２を見るだけで、全天球映像内の情報の位置を把握することができる。また、その情報をアイコン１５１で表示し、アイコン１５１を、情報にあった形状や色などで表すことで、よりユーザに情報を伝達しやすくなる。さらに、ユーザは、アイコン１５１を操作することで、情報を得ることができる。
【０２０４】
ユーザは、インジケータ１０２に対しても操作できるため、例えば、所望とする場所を探し出したり、その所望とする場所に移動したりするといったことを、容易に行うことができ、視聴時の利便性をさらに向上させることが可能となる。
【０２０５】
また、全天球映像のコンテンツオーサリングソフトウェア等に、本技術を組み込むことにより、コンテンツの方向を意志した加工や編集を、容易に行うことが可能となる。
【０２０６】
＜記録媒体について＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０２０７】
例えば図１に示した情報処理装置１０のＣＰＵ１１が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０２０８】
コンピュータでは、プログラムは、リムーバブルメディア２１をドライブ２０に装着することにより、入出力インタフェース１５を介して、記憶部１８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１９で受信し、記憶部１８にインストールすることができる。その他、プログラムは、ＲＯＭ１２や記憶部１８に、あらかじめインストールしておくことができる。
【０２０９】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２１０】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０２１１】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【０２１２】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２１３】
なお、本技術は以下のような構成も取ることができる。
（１）
３次元映像のうちの一部の領域を表示する視野映像と、
前記３次元映像の３次元方向を表す形状のインジケータと、
前記インジケータ内に、前記視野映像として表示されている前記領域を表すウィンドウと
を含む画面の表示を制御する制御部を
備える情報処理装置。
（２）
前記３次元映像は、全天球映像である
前記（１）に記載の情報処理装置。
（３）
前記インジケータは、ワイヤーフレームの３次元球体である
前記（１）または（２）に記載の情報処理装置。
（４）
前記インジケータは、前記３次元球体に、前記３次元映像をテクスチャとして貼付した３次元球体である
前記（３）に記載の情報処理装置。
（５）
前記インジケータは、前記ウィンドウが３次元球体に対して持つ方向および面積を、３次元極座標または４元数と角錐で表した３次元球体である
前記（１）または（２）に記載の情報処理装置。
（６）
前記インジケータは、２次元に前記３次元映像を投影した図形である
前記（１）または（２）に記載の情報処理装置。
（７）
前記ウィンドウは、固定とされ、
前記インジケータは、可動とされ、
前記インジケータが動き、前記ウィンドウ内の映像が変化した場合、その変化に応じて前記視野映像も変化する
前記（１）乃至（６）のいずれかに記載の情報処理装置。
（８）
前記ウィンドウは、可動とされ、
前記インジケータは、固定とされ、
前記ウィンドウが動き、前記ウィンドウ内の映像が変化した場合、その変化に応じて前記視野映像も変化する
前記（１）乃至（６）のいずれかに記載の情報処理装置。
（９）
前記ウィンドウは、可動とされ、
前記インジケータは、可動とされ、
前記インジケータに対する前記ウィンドの位置は、固定とされている
前記（１）乃至（６）のいずれかに記載の情報処理装置。
（１０）
前記インジケータが前記視野映像の中央部分に移動された場合、前記インジケータを拡大表示し、前記視野映像上に表示する
前記（１）に記載の情報処理装置。
（１１）
前記インジケータを拡大表示し、前記視野映像を、前記インジケータ内に居るときに見える映像に切り換える
前記（１）に記載の情報処理装置。
（１２）
前記ウィンドウが前記インジケータの陰面側にある場合、前記インジケータの陰面側を不透明で表示し、手前側を半透明で表示する
前記（１）に記載の情報処理装置。
（１３）
前記インジケータ上に、所定の情報があることを示すアイコンを表示する
前記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
前記アイコンが操作された場合、前記アイコンに関連付けられている情報が、前記視野映像内に表示される
前記（１３）に記載の情報処理装置。
（１５）
前記アイコンは、方位、地図記号、地図上のランドマークを表す図形である
前記（１３）または（１４）に記載の情報処理装置。
（１６）
前記アイコンは、前記３次元映像のうちの視聴済である領域を表す
前記（１３）または（１４）に記載の情報処理装置。
（１７）
前記アイコンは、前記３次元映像のうち、他のユーザが視聴している領域を表す
前記（１３）に記載の情報処理装置。
（１８）
前記ウインドウを前記インジケータの陰面側に表示し、
前記アイコンを前記インジケータの手前側に表示する
前記（１３）乃至（１７）のいずれかに記載の情報処理装置。
（１９）
３次元映像のうちの一部の領域を表示する視野映像と、
前記３次元映像の３次元方向を表す形状のインジケータと、
前記インジケータ内に、前記視野映像として表示されている前記領域を表すウィンドウと
を含む画面の表示を制御する
ステップを含む情報処理方法。
（２０）
コンピュータに、
３次元映像のうちの一部の領域を表示する視野映像と、
前記３次元映像の３次元方向を表す形状のインジケータと、
前記インジケータ内に、前記視野映像として表示されている前記領域を表すウィンドウと
を含む画面の表示を制御する
ステップを含む処理を実行させるためのプログラム。
【符号の説明】
【０２１４】
１０  情報処理装置，  １１  ＣＰＵ，  ５１  表示部，  ５２  インジケータ設定部，  ５３  センサ，  ５４  映像データ入力部，  ５５  インジケータ生成部，  ５６  透視変換部，  ５７  デコード部，  ５８  映像合成部，  １０１  視野映像，  １０２  インジケータ，  １０３  ウインドウ，  １５１  アイコン
【図１】
2018043135.tif 000003
【図２】
2018043135.tif 000004
【図３】
2018043135.tif 000005
【図４】
2018043135.tif 000006
【図５】
2018043135.tif 000007
【図６】
2018043135.tif 000008
【図７】
2018043135.tif 000009
【図８】
2018043135.tif 000010
【図９】
2018043135.tif 000011
【図１０】
2018043135.tif 000012
【図１１】
2018043135.tif 000013
【図１２】
2018043135.tif 000014
【図１３】
2018043135.tif 000015
【図１４】
2018043135.tif 000016
【図１５】
2018043135.tif 000017
【図１６】
2018043135.tif 000018
【図１７】
2018043135.tif 000019
【図１８】
2018043135.tif 000020
【図１９】
2018043135.tif 000021
【図２０】
2018043135.tif 000022
【図２１】
2018043135.tif 000023
【国際調査報告】
2018043135.tif 000024
2018043135.tif 000025
2018043135.tif 000026
2018043135.tif 000027
2018043135.tif 000028