(57)【要約】  重畳表示における表示内容の改善。表示装置（１）は、表示対象領域を特定する全天球画像描画部（１２）と、撮像画像を撮像した撮像装置とは異なる撮像装置で撮像対象の少なくとも一部を撮像した重畳画像を部分画像に重畳して表示させる合成部（１６）と、を備えている。
2018101227.tif 000002
【特許請求の範囲】
【請求項１】
撮像対象を撮像した撮像画像の画像領域のうち指定された表示対象領域の部分画像を表示装置に表示させる表示制御装置であって、
上記表示対象領域を特定する領域特定部と、
上記撮像画像を撮像した撮像装置とは異なる撮像装置で上記撮像対象の少なくとも一部を撮像した重畳画像を上記部分画像に重畳して表示させる重畳部と、を備えていることを特徴とする表示制御装置。
【請求項２】
上記重畳画像の重畳位置を上記部分画像の内容に応じて決定する位置決定部を備えていることを特徴とする請求項１に記載の表示制御装置。
【請求項３】
上記位置決定部は、上記撮像画像の所定領域が上記表示対象領域に含まれている場合に、上記重畳画像の表示位置を当該所定領域内と決定することを特徴とする請求項２に記載の表示制御装置。
【請求項４】
上記表示対象領域内で上記重畳画像を重畳させない重畳禁止領域を特定する禁止領域特定部を備え、
上記位置決定部は、上記重畳画像の表示位置を、上記禁止領域特定部が特定した上記重畳禁止領域外とすることを特徴とする請求項２または３に記載の表示制御装置。
【請求項５】
上記撮像対象のうち上記重畳画像を重畳させない重畳禁止対象を上記撮像画像から検出する禁止対象検出部を備え、
上記禁止領域特定部は、上記禁止対象検出部が上記表示対象領域内で上記重畳禁止対象を検出した場合に、該重畳禁止対象を含む上記重畳禁止領域を特定することを特徴とする請求項４に記載の表示制御装置。
【請求項６】
上記重畳画像と上記表示対象領域内の基準位置とが所定の位置関係となるように上記重畳画像の表示位置を決定する位置決定部を備えていることを特徴とする請求項１に記載の表示制御装置。
【請求項７】
上記撮像対象のうち所定の外観を有する検出対象を上記撮像画像から検出する対象検出部を備え、
上記重畳部は、上記対象検出部が上記表示対象領域内で上記検出対象を検出した場合に、該検出対象に関連付けて、該検出対象に関連する上記重畳画像を表示させることを特徴とする請求項１から５の何れか１項に記載の表示制御装置。
【請求項８】
撮像対象を撮像した撮像画像の画像領域のうち指定された表示対象領域の部分画像を表示装置に表示させる表示制御装置であって、
上記表示対象領域を特定する領域特定部と、
上記撮像対象の少なくとも一部を撮像した画像であって上記撮像画像よりも解像度の高い画像を上記部分画像に重畳して表示させる重畳部と、を備えていることを特徴とする表示制御装置。
【請求項９】
撮像対象を撮像した撮像画像の画像領域のうち指定された表示対象領域の部分画像を表示装置に表示させる表示制御装置であって、
上記部分画像に重畳して表示する重畳画像の重畳位置を上記部分画像の内容に応じて決定する位置決定部と、
上記位置決定部が決定した重畳位置に上記重畳画像を重畳して表示させる重畳部と、を備えていることを特徴とする表示制御装置。
【請求項１０】
請求項１から９の何れか１項に記載の表示制御装置と、上記表示制御装置の制御に従って画像を表示する表示装置と、を備えていることを特徴とするヘッドマウントディスプレイ。
【請求項１１】
撮像対象を撮像した撮像画像の画像領域のうち指定された表示対象領域の部分画像を表示装置に表示させる表示制御装置の制御方法であって、
上記表示対象領域を特定する領域特定ステップと、
上記撮像画像を撮像した撮像装置とは異なる撮像装置で上記撮像対象の少なくとも一部を撮像した重畳画像を上記部分画像に重畳して表示させる重畳ステップと、を含むことを特徴とする表示制御装置の制御方法。
【請求項１２】
請求項１または８に記載の表示制御装置としてコンピュータを機能させるための制御プログラムであって、上記領域特定部および上記重畳部としてコンピュータを機能させるための制御プログラム。
【請求項１３】
請求項９に記載の表示制御装置としてコンピュータを機能させるための制御プログラムであって、上記位置決定部および上記重畳部としてコンピュータを機能させるための制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の一態様は、画像領域のうち指定された表示対象領域の部分画像を表示させた上で、その部分画像にさらに画像を重畳表示させる表示制御装置等に関する。
【背景技術】
【０００２】
下記の特許文献１には、パノラマ映像の配信に関する技術が開示されている。また、下記の特許文献２には、全天球画像の表示に関する技術が開示されている。これらの文献は、何れも表示装置の一画面に収まらないサイズの画像領域を有する全天球画像等の画像について、指定された表示対象領域の部分画像を表示装置に表示させる技術に関する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】日本国公開特許公報「特開２０１５−１７３４２４号公報（２０１５年１０月１日公開）」
【特許文献２】日本国公開特許公報「特開２０１５−１８２９６号公報（２０１５年１月２９日公開）」
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のような技術において、画像領域のうち指定された表示対象領域の部分画像を表示させた上で、その部分画像にさらに画像を重畳表示させれば、多面的な情報をユーザに認識させることができて好ましい。しかし、このような技術には改善の余地がある。【０００５】
例えば、上記特許文献２には、視点一覧画像の所定の位置に部分画像のサムネイルを表示することが記載されている。しかし、サムネイルは部分画像の縮小版であり、部分画像以上の情報は含まないから、ユーザは、その表示画面からは部分画像以上の情報は得られない。また、重畳したサムネイルによって部分画像の閲覧が妨げられることもあり得る。しかし、上記特許文献１、２ではこのような問題が認識されておらず、このためこのような問題を解決する手段も提示されていない。【０００６】
本発明の一態様は、画像領域のうち指定された表示対象領域の部分画像を表示させた上で、その部分画像にさらに画像を重畳表示させる技術において、表示内容を改善することができる表示制御装置等を実現することを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明の一態様に係る表示制御装置は、撮像対象を撮像した撮像画像の画像領域のうち指定された表示対象領域の部分画像を表示装置に表示させる表示制御装置であって、上記表示対象領域を特定する領域特定部と、上記撮像画像を撮像した撮像装置とは異なる撮像装置で上記撮像対象の少なくとも一部を撮像した重畳画像を上記部分画像に重畳して表示させる重畳部と、を備えている構成である。【０００８】
上記の課題を解決するために、本発明の一態様に係る表示制御装置は、撮像対象を撮像した撮像画像の画像領域のうち指定された表示対象領域の部分画像を表示装置に表示させる表示制御装置であって、上記表示対象領域を特定する領域特定部と、上記撮像対象の少なくとも一部を撮像した画像であって上記撮像画像よりも解像度の高い画像を上記部分画像に重畳して表示させる重畳部と、を備えている構成である。【０００９】
上記の課題を解決するために、本発明の一態様に係る表示制御装置は、撮像対象を撮像した撮像画像の画像領域のうち指定された表示対象領域の部分画像を表示装置に表示させる表示制御装置であって、上記部分画像に重畳して表示する重畳画像の重畳位置を上記部分画像の内容に応じて決定する位置決定部と、上記位置決定部が決定した重畳位置に上記重畳画像を重畳して表示させる重畳部と、を備えている構成である。【００１０】
上記の課題を解決するために、本発明の一態様に係る表示制御装置の制御方法は、撮像対象を撮像した撮像画像の画像領域のうち指定された表示対象領域の部分画像を表示装置に表示させる表示制御装置の制御方法であって、上記表示対象領域を特定する領域特定ステップと、上記撮像画像を撮像した撮像装置とは異なる撮像装置で上記撮像対象の少なくとも一部を撮像した重畳画像を上記部分画像に重畳して表示させる重畳ステップと、を含む方法である。
【発明の効果】
【００１１】
本発明の一態様によれば、画像領域のうち指定された表示対象領域の部分画像を表示させた上で、その部分画像にさらに画像を重畳表示させる技術において、表示内容を改善することができるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態１に係る表示装置の要部構成の一例を示すブロック図である。
【図２】全天球画像と表示対象領域との関係を示す図である。
【図３】本発明の実施形態１に係る表示装置が表示する画像を示す図である。
【図４】本発明の実施形態１に係る表示装置の記憶部に含まれる重畳画像管理情報の一例を示す図である。
【図５】本発明の実施形態１に係る表示装置が画像を表示する処理の一例を示すフローチャートである。
【図６】本発明の実施形態２に係る表示装置の記憶部に含まれる重畳画像管理情報の一例を示す図である。
【図７】本発明の実施形態２における重畳禁止領域を示す情報の一例を示す図である。
【図８】本発明の実施形態２に係る表示装置が画像を表示する処理の一例を示すフローチャートである。
【図９】本発明の実施形態３に係る表示装置が表示する画像を示す図である。
【図１０】本発明の実施形態３における重畳禁止領域を示す情報の一例を示す図である。
【図１１】本発明の実施形態３における検出対象を示す情報の一例を示す図である。
【図１２】本発明の実施形態３に係る表示装置が画像を表示する処理の一例を示すフローチャートである。
【図１３】本発明の実施形態４に係る表示制御システムの要部構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１３】
〔実施形態１〕
本発明の一実施形態について図１から図５に基づいて説明する。
【００１４】
〔装置構成〕
図１は、本実施形態に係る表示装置１の要部構成の一例を示すブロック図である。表示装置１は、コンテンツを表示させる装置である。本実施形態では、表示装置１が、ユーザの頭部に装着され使用されるヘッドマウントディスプレイ（ＨＭＤ）である例を説明する。なお、表示装置１は、ＨＭＤに限られず、ディスプレイを備えたパーソナルコンピュータやテレビジョン受像機、スマートフォン、タブレット端末等であってもよい。表示装置１は、制御部１０、センサ１８、表示部１９、入力部２０、および記憶部２１を備えている。
【００１５】
制御部１０は、表示装置１の各部を統括して制御するものであり、全天球画像描画部（領域特定部）１２、対象検出部（禁止対象検出部、対象検出部）１３、重畳画像選択部１４、重畳位置決定部（禁止領域特定部、位置決定部）１５、合成部（重畳部）１６、および視線方向特定部１７を含む。このうち、全天球画像描画部１２、対象検出部１３、重畳画像選択部１４、重畳位置決定部１５、および合成部１６は、表示制御部１１を構成する。
【００１６】
全天球画像描画部１２は、視線方向特定部１７が特定した視線方向から、全天球画像２２における表示対象領域を特定する。そして、全天球画像描画部１２は、全天球画像２２の画像領域のうち、上記特定した表示対象領域の部分画像を、合成部１６を介して表示部１９に表示させる。つまり、表示装置１が表示させるコンテンツには全天球画像２２が含まれる。全天球画像２２は、動画像であってもよいし、静止画像であってもよい。
【００１７】
対象検出部１３は、重畳対象を重畳させない重畳禁止対象を全天球画像２２から検出する。重畳対象は、全天球画像２２に重畳して表示させるものである。重畳対象の詳細は後述する。
【００１８】
重畳画像選択部１４は、重畳対象を選択する。より詳細には、重畳画像選択部１４は、全天球画像描画部１２が特定した表示対象領域に表示させる重畳対象があるか否かを判定し、表示させる重畳対象があると判定した場合にはその重畳対象を、全天球画像２２に重畳して表示させるものとして選択する。
【００１９】
重畳位置決定部１５は、重畳画像選択部１４が選択した重畳対象の重畳位置を、部分画像の内容に応じて決定する。また、重畳位置決定部１５は、重畳対象の表示態様を決定する。
【００２０】
合成部１６は、全天球画像２２の表示対象領域を表示部１９に表示させる。また、合成部１６は、重畳画像選択部１４が重畳対象を選択したときには、重畳位置決定部１５が決定した位置に、重畳位置決定部１５が決定した態様で、その重畳対象を全天球画像２２の部分画像に重畳して表示させる。
【００２１】
視線方向特定部１７は、センサ１８の出力値から、表示装置１のユーザの視線方向を判定する。センサ１８は、表示装置１の向き、すなわち表示装置１を装着しているユーザの顔の向き（正面方向）を検出するものである。センサ１８は、３軸のジャイロセンサ、３軸の加速度センサ、３軸の磁力センサ等のうち少なくとも２つを組み合わせた６軸センサによって構成してもよい。視線方向特定部１７は、これらセンサの出力値から特定したユーザの顔の向きを、ユーザの視線方向とする。また、センサ１８は、ユーザの黒目の位置を検出するものであってもよい。この場合、視線方向特定部１７は、ユーザの黒目の位置から視線方向を特定する。また、センサ１８には、ユーザの顔の向きを検出するセンサと、ユーザの黒目の位置を検出するセンサとが含まれていてもよい。なお、視線方向の特定は、上記以外の構成で実現することもできる。例えば、センサ１８の代わりに、表示装置１の外部に設置したカメラを用いてもよい。この場合、表示装置１には発光装置を設けてこれを明滅させ、この様子を上記カメラで撮影し、その画像から表示装置１の位置や向きを検出することができる。また、例えば、外部の発光装置から発射されるレーザー等を表示装置１に備えられた受光器で受光した受光時間や各点受光の角度、時間差から逆算して視線方向を割り出すこともできる。
【００２２】
表示部１９は、画像を表示する装置（表示装置）である。表示部１９は、非透過型であってもよいし、透過型であってもよい。透過型の表示部１９を用いた場合、ユーザに、表示装置１外（現実空間）の視野に、表示部１９が表示する画像が重ね合わされた複合現実空間を提供することができる。また、表示部１９は、表示装置１に外付けされた表示装置であってもよく、通常のフラットパネルディスプレイ等であってもよい。
【００２３】
入力部２０は、ユーザの入力操作を受け付けるものであり、受け付けた入力操作の内容を示す情報を制御部１０に出力する。入力部２０は、例えば図示しないコントローラに対するユーザの入力操作の内容を示す信号を、当該コントローラから受信する受信部であってもよい。
【００２４】
記憶部２１は、表示装置１が使用する各種データを記憶するものである。記憶部２１には、全天球画像（撮像画像）２２、重畳画像管理情報２３、および重畳画像２４が格納されている。全天球画像２２は、撮像地点から全方位を撮像した画像である。重畳画像管理情報２３は、重畳対象の表示制御に用いられる情報である。重畳画像２４は、全天球画像２２に重畳して表示させる画像である。
【００２５】
〔視線方向に応じた画像の表示〕
視線方向に応じた画像を表示する方法について、図２に基づいて説明する。図２は、全天球画像と表示対象領域との関係を示す図である。図２では、互いに直交するｘ、ｙ、ｚ軸で規定される三次元座標空間上にて全天球画像Ａ０を示している。全天球画像Ａ０は、中心Ｑ、半径ｒの球体である全天球を構成している。中心Ｑは全天球画像Ａ０を撮像した撮像地点に対応する。ｚ軸方向は現実空間における垂直方向と一致しており、ｙ軸方向は現実空間におけるユーザの正面方向と一致しており、ｘ軸方向は現実空間におけるユーザの左右方向と一致している。
【００２６】
視線方向特定部１７は、センサ１８の出力値から、センサ１８が何れの方向を向いているかを判定する。センサ１８は表示装置１に所定の向きで搭載されるので、表示装置１をユーザが正しい向きに装着していれば、センサ１８の向きをユーザの視線方向とみなすことが可能である。よって、以下ではセンサ１８の向きをユーザの視線方向として説明する。視線方向特定部１７は、視線方向を、垂直軸（ｚ軸）周りの回転角である方位角（ヨー）θ（−１８０°≦θ≦１８０°）と、水平軸（ｘ軸）周りの回転角である仰角（ピッチ）φ（−９０°≦φ≦９０°）との組み合わせで表すことができる。
【００２７】
視線方向特定部１７が視線方向を示す方位角と仰角を特定すると、全天球画像描画部１２は、ユーザの視点位置である中心Ｑから上記特定した方位角および仰角が示す方向に延びる直線と、全天球画像Ａ０との交点Ｐを求める。そして、全天球画像Ａ０において、この交点Ｐを中心とする高さｈ、幅ｗの領域を表示対象領域Ａ１と特定する。そして、全天球画像描画部１２は、全天球画像Ａ０のうち、この表示対象領域Ａ１内の部分である部分画像を表示部１９に表示させる。これにより、ユーザの視線方向と連動して、表示対象領域Ａ１が変化し、これにより表示部１９に表示される画像も変化する。なお、本実施形態では説明を簡単にするため、全天球内での視点位置は、Ｑから不動であるとするが、現実空間でのユーザの移動と連動して、全天球内での視点位置をＱから移動させてもよい。
【００２８】
〔表示する画像〕
表示装置１が表示する画像について図３に基づいて説明する。図３は、表示装置１が表示する画像を説明する図である。図３では、全天球画像Ａ０を平面状に表している。上述のように、表示対象領域Ａ１は、全天球画像Ａ０の表示領域の一部であり、その中心位置はＰ（図２参照）である。全天球画像Ａ０上の位置は、方位角θ（−１８０°≦θ≦１８０°）と、水平軸（ｘ軸）周りの回転角である仰角φ（−９０°≦φ≦９０°）との組み合わせで表すことができる。図示の例では、全天球画像Ａ０の左端の方位角が−１８０°、右端の方位角が１８０°、上端の仰角が９０°、下端の仰角が−９０°である。
【００２９】
全天球画像Ａ０には、重畳画像Ｂ１、Ｂ２、アノテーションＤ１、Ｄ２が重畳表示されている。これらは、全天球画像Ａ０に重畳表示する重畳対象である。なお、重畳画像Ｂ１とＢ２を区別する必要のないときには単に重畳画像Ｂと記載する。アノテーションＤ１、Ｄ２についても同様である。また、全天球画像Ａ０には、重畳禁止領域Ｃ１〜Ｃ３が設定されている。重畳禁止領域Ｃ１〜Ｃ３については実施形態２で説明する。
【００３０】
重畳画像Ｂは、全天球画像Ａ０の撮像対象（本例では街並み）と同じ撮像対象を撮像した画像であるが、撮像に使用した撮像装置が、全天球画像Ａ０を撮像した撮像装置と異なっている。また、重畳画像Ｂは、全天球画像Ａ０よりも解像度が高く、それゆえ全天球画像Ａ０よりも高精細な画像である。重畳画像Ｂは、例えば全天球画像Ａ０の撮像対象を、全天球画像Ａ０と同じアングルで撮影した画像であってもよいし、全天球画像Ａ０とは異なるアングルで撮影した画像であってもよい。また、重畳画像Ｂは、全天球画像Ａ０の撮像対象の一部を拡大した画像であってもよい。そして、重畳画像Ｂは、動画像であってもよいし、静止画像であってもよい。
【００３１】
重畳画像Ｂを表示させることにより、全天球画像Ａ０の撮像対象についての多面的な情報をユーザに与えることができる。例えば、表示対象領域Ａ１内の特定の建物を拡大した高解像度画像を重畳画像Ｂとすることにより、ユーザは、街並みの全体像を確認しながら、特定の建物の一部を詳細に確認することができる。また、例えば、表示対象領域Ａ１内の特定の建物を全天球画像Ａ０とは異なるアングルで撮像した画像を重畳画像Ｂとすることにより、ユーザは、特定の建物の、全天球画像Ａ０の撮像アングルでは撮像されない部分についても確認することができる。
【００３２】
アノテーションＤは、全天球画像Ａ０または重畳画像Ｂに関する注釈として表示される情報であり、重畳画像の一種である。アノテーションＤの内容は、全天球画像Ａ０または重畳画像Ｂに関するものであれば特に限定されない。例えば、全天球画像Ａ０に関する情報は、撮像対象の状態、動作、名称、全天球画像Ａ０の注目すべき部分等を示す情報であってもよい。なお、全天球画像Ａ０の注目すべき部分が表示対象領域Ａ１内に含まれていない場合、アノテーションＤはその注目すべき部分が表示対象領域Ａ１内に含まれるようにユーザを誘導する内容とすることが好ましい。例えば、「視線を右方向に移動させて三角形の建物に注目して下さい」のようなメッセージをアノテーションＤとして表示してもよい。また、「視界の中央に円筒形の低い建物が位置するように、視線を少し左方向に移動させて下さい」等のように、ユーザの視線方向を所定の視線方向に誘導するメッセージをアノテーションＤとして表示してもよい。また、重畳画像Ｂに関する情報としては、どのようなアングルで撮像したか、拡大画像であるか否か、撮像対象の何れの部分の画像であるか等が挙げられる。この他にも例えば、表示装置１を操作するＵＩ（User Interface）メニュー等をアノテーションＤとして表示してもよい。
【００３３】
図３の例では、全天球画像Ａ０は、街並みを撮像対象とした画像であるが、撮像対象は任意である。例えば、全天球画像Ａ０を、手術が行われている手術室内の全体の様子を撮像した画像としてもよい。この場合、撮像対象には、執刀医、助手、患者、手術器具、各種機器等が含まれていてもよい。全天球画像Ａ０をこのような画像とすることにより、表示装置１を医療教育に利用することができる。
【００３４】
例えば、重畳画像Ｂを執刀医や助手等の全天球画像Ａ０中の人物の目線の画像とすることにより、ユーザは、全天球画像Ａ０にて手術全体の進行を確認しながら、各人物が手術中にどのような目配りをすればよいかを学習することができる。なお、学習目的に応じて、何れの人物の目線の画像を表示させるかを切り替え可能にしてもよい。例えば、執刀医の教育に使用する場合には執刀医の目線の重畳画像Ｂを表示させ、助手の教育に使用する場合には助手の目線の重畳画像Ｂを表示させてもよい。また、患者のバイタルデータを表示する画面を撮像した画像を重畳画像Ｂとすることにより、手術中のバイタルデータの遷移と、それに対する各人物の動作との関係をユーザに認識させることができる。この他にも、例えば術野の高解像度画像を重畳画像Ｂとしてもよく、これにより執刀医の細かな作業の内容もユーザに認識させることができる。さらに、手術で必要な情報や、機器の操作情報（例えば人工心肺のオン／オフ）等をアノテーションＤとして表示してもよい。また、注目すべき部分が表示対象領域Ａ１内に含まれていない場合、「視線を右方向に移動させて計器の数値を確認しましょう」等のメッセージをアノテーションＤとして表示して、ユーザの視線の移動を促してもよい。
【００３５】
〔重畳画像管理情報の例〕
重畳画像管理情報２３は、例えば図４のような情報であってもよい。図４は、重畳画像管理情報２３の一例を示す図である。図４の（ａ）の重畳画像管理情報２３は、「重畳対象」、「方位角の範囲」、「仰角の範囲」、「表示位置（奥行き）」、「パース有／無」、「透過率」、および「重畳装飾方法」の情報が対応付けられたテーブル形式のデータである。
【００３６】
「重畳対象」は重畳対象を示す情報であり、本例では重畳対象の名称を記述している。「方位角の範囲」および「仰角の範囲」は重畳対象の表示領域を示す情報である。例えば、重畳画像Ｂ１は、方位角の範囲が２０°〜８０°であり、仰角の範囲が２０°〜５０°である。よって、重畳画像Ｂ１は、左端の方位角が２０°、右端の方位角が８０°、下端の仰角が２０°、上端の仰角が５０°である矩形領域に表示される。「表示位置（奥行き）」は重畳対象の奥行き方向の表示位置を示す情報である。ここでは最も奥側の表示位置をｒ（図２参照）として各重畳対象の奥行き方向の表示位置を示している。
【００３７】
「パース有／無」、「透過率」、および「重畳装飾方法」は、重畳対象の表示態様を示す情報である。より詳細には、「パース有／無」は、パース（perspective）表示、すなわち透視投影による表示を行うか否かを示す情報である。パース有の重畳対象は、透視投影により３次元的に表示され、パース無の重畳対象は、透視投影を用いずに表示される。また、「透過率」は、重畳対象の透過率を示す情報である。重畳対象の透過率がゼロより大きければ、重畳対象が重畳された部分における全天球画像が視認できる。そして、「重畳装飾方法」は、重畳対象の輪郭をぼかす画像処理を行うか否かを示す情報である。
【００３８】
一方、図４の（ｂ）の重畳画像管理情報２３は、同図の（ａ）の重畳画像管理情報２３に含まれていた「方位角の範囲」および「仰角の範囲」が、「幅」、「高さ」、「方位角」、および「仰角」に置き換わったものである。つまり、図４の（ｂ）の重畳画像管理情報２３では、「幅」、「高さ」、「方位角」、および「仰角」が、重畳対象の表示領域を示す情報である。より詳細には、「幅」および「高さ」は、重畳対象の幅および高さをそれぞれ示している。また、「方位角」および「仰角」は、重畳対象の表示領域を特定するための基準位置を示している。この基準位置は重畳対象上の任意の位置とすることができるが、例えば重畳対象が矩形である場合、その左下隅の位置を基準位置としてもよい。この場合、左下隅が「方位角」および「仰角」で示される位置となり、「幅」および「高さ」で示される幅および高さを有する領域が重畳対象の表示領域となる。
【００３９】
〔処理の流れ〕
表示装置１が実行する処理の流れ（表示装置の制御方法）の一例を図５に基づいて説明する。図５は、表示装置１が画像を表示する処理の一例を示すフローチャートである。
【００４０】
Ｓ１（領域特定ステップ）では、視線方向特定部１７は、表示装置１を装着しているユーザの視線方向を特定し、全天球画像描画部１２は、視線方向特定部１７が特定した視線方向から、全天球画像２２における表示対象領域を特定する。そして、Ｓ２では、全天球画像描画部１２は、上記特定した表示対象領域に対応する、全天球画像２２の部分画像を、合成部１６を介して表示部１９に描画（表示）させる。
【００４１】
Ｓ３では、重畳画像選択部１４は、全天球画像描画部１２が特定した表示対象領域に表示させる重畳対象があるか否かを判定する。具体的には、重畳画像選択部１４は、重畳画像管理情報２３に示される所定領域（方位角の範囲および仰角の範囲で特定される領域）の少なくとも一部が、表示対象領域に含まれているか否かを判定する。含まれていれば重畳対象ありと判定し、含まれていなければ重畳対象なしと判定する。ここで、重畳画像選択部１４は、重畳対象がありと判定した場合（Ｓ３でＹＥＳ）、その重畳対象を全天球画像に重畳する対象と特定して、処理はＳ４に進む。一方、重畳対象なしと判定した場合（Ｓ３でＮＯ）処理はＳ１に戻る。
【００４２】
Ｓ４（位置決定ステップ）では、重畳位置決定部１５は、重畳画像選択部１４が特定した重畳対象の重畳位置や表示態様等を示す情報を重畳画像管理情報２３から取得する。例えば、図２の（ａ）の重畳画像管理情報２３を用いた場合、重畳位置決定部１５は、方位角の範囲、仰角の範囲、表示位置（奥行き）、パースの有無、透過率、および重畳装飾方法を示す情報をそれぞれ取得する。そして、重畳位置決定部１５は、取得したこれらの情報を用いて、重畳対象の重畳位置を部分画像の内容に応じたものに決定する。ここでは、上記方位角の範囲および上記仰角の範囲で特定される所定領域が表示対象領域に含まれているから、重畳位置決定部１５は、重畳対象の表示位置を当該所定領域内と決定する。さらに、重畳位置決定部１５は、上記表示位置（奥行き）の情報から重畳対象の奥行き方向の表示位置を決定する。また、重畳位置決定部１５は、パースの有無、透過率、および重畳装飾方法を示す情報を用いて、重畳対象の表示態様を決定する。
【００４３】
Ｓ５（重畳ステップ）では、合成部１６は、Ｓ２で描画した全天球画像の表示対象領域部分に重畳対象を合成して表示部１９に表示させる。この際、合成部１６は、記憶部２１から読み出した重畳画像２４を、Ｓ４で重畳位置決定部１５が決定した位置に、重畳位置決定部１５が決定した態様で全天球画像の表示対象領域部分に合成する。この後、処理はＳ１に戻る。
【００４４】
なお、ユーザの視線方向の移動、あるいはコンテンツの再生の進行等により、重畳表示すべき重畳対象がなくなったときには、重畳表示を終了してもよい。また、ユーザの視線方向の移動、あるいはコンテンツの再生の進行等にかかわらず、継続して重畳表示させる重畳対象を設定してもよい。このような重畳対象には、例えば重畳画像管理情報２３等において、継続して重畳表示させることを示す属性情報を対応付けておけばよい。また、継続して重畳表示させる条件についても併せて対応付けておいてもよい。これにより、例えば動画像である重畳対象を、その再生時間が終了するまでの間、ユーザの視線から外れない位置に継続して表示させることもできる。
【００４５】
〔実施形態２〕
本発明の他の実施形態について、図６〜図８に基づいて説明する。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。実施形態３以降も同様である。
【００４６】
本実施形態の表示装置１は、表示対象領域の所定位置に重畳対象を表示する。ただし、この所定位置が重畳禁止領域に含まれている場合には、重畳対象の表示位置を補正して、重畳対象が重畳禁止領域外に表示されるようにする。
【００４７】
〔重畳画像管理情報の例〕
上述のように、本実施形態の表示装置１は、表示対象領域の所定位置に重畳対象を表示するので、本実施形態の重畳画像管理情報２３は、表示対象領域内の基準位置と、重畳対象との位置関係を示すものとなる。本実施形態の重畳画像管理情報２３は、例えば図６のような情報であってもよい。
【００４８】
図６は、表示対象領域内の基準位置と、重畳対象との位置関係を示す重畳画像管理情報２３の一例を示す図である。図６の重畳画像管理情報２３は、図４の（ａ）の重畳画像管理情報２３に「方位角のオフセット」、および「仰角のオフセット」が加わったものである。また、図４の（ａ）の重畳画像管理情報２３における「方位角の範囲」および「仰角の範囲」は重畳対象の表示領域を示していたが、図６の重畳画像管理情報２３における「方位角の範囲」および「仰角の範囲」は重畳対象の表示条件を示している。つまり、本実施形態では、重畳画像選択部１４は、表示対象領域の基準位置が、図６の重畳画像管理情報２３における「方位角の範囲」内にあり、かつ「仰角の範囲」内にある重畳対象を、重畳表示するものとして選択する。
【００４９】
「方位角のオフセット」および「仰角のオフセット」は、表示対象領域内の基準位置に対する重畳対象の表示位置のオフセットを示している。表示対象領域内の基準位置は予め定めておけばよく、例えば表示対象領域の中心を基準位置としてもよい。この場合、例えば、図６に示されている重畳画像Ｂ１は、表示対象領域の中心から方位角方向に−９０°、仰角方向に＋２０°移動した位置を中心（左上隅等であってもよい）として表示される。このように、重畳対象と基準位置とが所定の位置関係となるように重畳対象の表示位置を決定することにより、重畳対象の閲覧性を向上させることができる。
【００５０】
〔重畳禁止領域の抽出〕
本実施形態の表示装置１は、重畳禁止領域に重畳対象を表示しないようにするため、表示対象領域から重畳禁止領域を抽出する。重畳禁止領域の抽出について図７に基づいて説明する。図７は、重畳禁止領域を示す情報の例を示す図である。重畳禁止領域は、表示装置１が画像を表示しているとき（コンテンツ再生中）に設定してもよいし、予め設定しておいてもよい。ここではまず図７の（ａ）に基づいて画像表示中（コンテンツ再生中）に重畳禁止領域を設定する例を説明し、その次に同図の（ｂ）に基づいて重畳禁止領域を予め設定する例を説明する。
【００５１】
コンテンツ再生中に重畳禁止領域を設定する場合、対象検出部１３は、重畳対象を重畳させない対象である重畳禁止対象を全天球画像の部分画像から検出する。なお、全天球画像の全画像領域を検出対象としてもよい。また、どのようなオブジェクトを重畳禁止対象とするかは予め定めておけばよい。例えば、所定の外観（形状、大きさ、色等）を予め定めておくことにより、対象検出部１３は、そのような外観のオブジェクトを重畳禁止対象として自動で検出することができる。また、機械学習等を用いて、重畳禁止対象とすべきオブジェクトを検出してもよい。
【００５２】
そして、重畳位置決定部１５は、検出された重畳禁止対象を含む重畳禁止領域を特定する。特定した重畳禁止領域は、例えば図７の（ａ）に示すような情報として表すことができる。図７の（ａ）の例では、各「重畳禁止領域」について、その「方位角の範囲」および「仰角の範囲」を対応付けている。「方位角の範囲」および「仰角の範囲」は、重畳禁止対象が、当該「方位角の範囲」および「仰角の範囲」に含まれるような値とする。例えば、重畳禁止対象の左端の方位角と右端の方位角とをそれぞれ「方位角の範囲」の下限と上限としてもよい。同様に、重畳禁止対象の上端の仰角と下端の仰角とをそれぞれ「仰角の範囲」の下限と上限としてもよい。
【００５３】
なお、ユーザの視線方向の移動によって重畳禁止対象が表示対象領域外となったり、コンテンツの再生が進行して、重畳禁止対象が全天球画像に含まれなくなったりしたときには、重畳位置決定部１５は、重畳禁止領域の設定を解除する。
【００５４】
重畳禁止領域を予め設定する場合、設定された重畳禁止領域を示す禁止領域情報を記憶部２１等に格納しておけばよい。この場合の禁止領域情報は、例えば図７の（ｂ）に示すようなものであってもよい。この禁止領域情報は、同図の（ａ）の情報に「再生時刻」がさらに対応付けられたものである。「再生時刻」は、重畳禁止領域を設定する再生時間帯を示す情報である。重畳位置決定部１５は、このような禁止領域情報から重畳禁止領域を特定する。例えば、コンテンツの再生時刻が１分〜５分の時間帯に含まれていれば、重畳位置決定部１５は、重畳禁止領域は重畳禁止領域Ｃ１であると特定し、方位角が−９０°〜−７０°、仰角が−１０°〜３０°の領域を重畳禁止領域として抽出する。
【００５５】
〔処理の流れ〕
表示装置１が実行する処理の流れ（表示装置の制御方法）の一例を図８に基づいて説明する。図８は、表示装置１が画像を表示する処理の一例を示すフローチャートである。なお、図８のＳ１１（領域特定ステップ）、Ｓ１２、Ｓ１９（重畳ステップ）は、図５のＳ１、Ｓ２、Ｓ５とそれぞれ同様の処理であるからここでは説明を省略する。
【００５６】
Ｓ１３では、重畳画像選択部１４は、全天球画像描画部１２が特定した表示対象領域に表示させる重畳対象があるか否かを判定する。具体的には、重畳画像選択部１４は、表示対象領域の基準位置の方位角および仰角を特定し、重畳画像管理情報２３を参照して、これらの方位角および仰角が表示条件を満たす重畳対象があるか否かを判定する。ここで、重畳画像選択部１４は、重畳対象があると判定した場合（Ｓ１３でＹＥＳ）、その重畳対象を、全天球画像に重畳する対象と特定して、処理はＳ１４に進む。一方、重畳対象はないと判定した場合（Ｓ１３でＮＯ）処理はＳ１１に戻る。
【００５７】
Ｓ１４では、重畳位置決定部１５は、重畳画像選択部１４が特定した重畳対象の重畳位置や表示態様等を示す情報を重畳画像管理情報２３から取得する。例えば、図６の重畳画像管理情報２３を用いた場合、重畳位置決定部１５は、方位角のオフセット、仰角のオフセット、表示位置（奥行き）、パースの有無、透過率、および重畳装飾方法を示す情報をそれぞれ取得する。
【００５８】
Ｓ１５では、重畳位置決定部１５は、重畳禁止領域を抽出する。重畳禁止領域の抽出方法は図７に基づいて上述した通りである。なお、Ｓ１４よりも先にＳ１５の処理を行ってもよいし、Ｓ１４とＳ１５の処理を並行で行ってもよい。
【００５９】
Ｓ１６では、重畳位置決定部１５は、Ｓ１４で取得した方位角のオフセット、仰角のオフセット、および表示位置（奥行き）の情報を用いて重畳対象の重畳位置を決定する。また、重畳位置決定部１５は、Ｓ１４で取得したパースの有無、透過率、および重畳装飾方法を示す情報に基づき、重畳対象の表示態様を決定する。
【００６０】
Ｓ１７では、重畳位置決定部１５は、Ｓ１６で決定した重畳位置がＳ１５で抽出した重畳禁止領域に重なるか否かを判定する。ここで重なると判定した場合（Ｓ１７でＹＥＳ）、処理はＳ１８に進み、重ならないと判定した場合（Ｓ１７でＮＯ）、処理はＳ１９に進む。
【００６１】
Ｓ１８（位置決定ステップ）では、重畳位置決定部１５は、上記決定した重畳位置を、Ｓ１５で抽出した重畳禁止領域に重ならないように補正する。このように、重畳対象の重畳位置を部分画像の内容に応じて補正（決定）することにより、部分画像の内容に応じた適切な位置に重畳対象を表示させることができる。補正は仰角方向への補正であってもよいし、方位角方向への補正であってもよいし、これらの組み合わせであってもよい。例えば、仰角のオフセットが正の値であれば、Ｓ１５で抽出された領域に重ならない状態となるまで重畳位置の仰角を増加させてもよい。一方、仰角のオフセットが負の値であれば、Ｓ１５で抽出された領域に重ならない状態となるまで重畳位置の仰角を減少させてもよい。これにより、重畳対象の表示位置は重畳禁止領域外となる。Ｓ１８の後、処理はＳ１９に進む。
【００６２】
〔実施形態３〕
本発明のさらに他の実施形態について、図９〜図１２に基づいて説明する。本実施形態では、全天球画像に含まれる所定の検出対象に関連付けて重畳対象を表示させる例を説明する。
【００６３】
〔表示する画像〕
本実施形態の表示装置１が表示する画像について図９に基づいて説明する。図９は、全天球画像に含まれる所定の検出対象に関連付けて重畳対象を表示させる例を説明する図である。
【００６４】
図９の例では、全天球画像内にＥ１〜Ｅ３の３つの検出対象が設定されている。また、各検出対象を含む矩形の領域Ｆ１〜Ｆ３も設定されている。本実施形態の表示装置１は、表示対象領域内に検出対象Ｅ１〜Ｅ３が含まれている場合、その検出対象Ｅ１〜Ｅ３に関連付けて重畳対象を表示させる。例えば、図９の例では、表示対象領域Ａ１に検出対象Ｅ１およびＥ２が含まれているから、表示装置１は、検出対象Ｅ１に関連付けて重畳画像Ｂ１およびアノテーションＤ１を表示し、検出対象Ｅ２に関連付けて重畳画像Ｂ２を表示している。また、表示対象領域Ａ１が移動して、該領域に検出対象Ｅ３が含まれる状態となった場合には、表示装置１は、検出対象Ｅ３に関連付けてアノテーションＤ２を表示する。
【００６５】
このように、本実施形態の表示装置１は、検出対象に関連付けて重畳対象を表示させるので、検出対象と重畳対象との関連性をユーザに容易に認識させることができる。例えば、検出対象を全天球画像とは別アングルで撮影した画像を重畳画像として当該検出対象と関連付けて表示させることにより、その重畳画像が検出対象を別アングルで撮影したものであることをユーザに容易に認識させることができる。
【００６６】
〔重畳画像管理情報の例〕
本実施形態で用いる重畳画像管理情報２３は、例えば図１０のような情報であってもよい。図１０は、検出対象に関連付けて重畳対象を表示させる場合に用いる重畳画像管理情報２３の一例を示す図である。
【００６７】
図１０の重畳画像管理情報２３は、図４の（ａ）の重畳画像管理情報２３に含まれていた「方位角の範囲」および「仰角の範囲」が、「検出対象」、「方位角のオフセット」、および「仰角のオフセット」に置き換わったものである。
【００６８】
検出対象は、全天球画像に含まれる所定の検出対象を示す。本例では、図９の検出対象Ｅ１〜Ｅ３を例示している。また、方位角のオフセットおよび仰角のオフセットは、検出対象の位置に対する重畳対象の相対的な表示位置を示している。つまり、検出対象の位置から、方位角のオフセットおよび仰角のオフセットの値だけずらした位置が重畳対象の表示位置となる。例えば、本例では、重畳画像Ｂ２には、検出対象Ｅ２が対応付けられており、方位角のオフセットが−１０°、仰角のオフセットが−１０°である。よって、重畳画像Ｂ２の表示位置は、検出対象Ｅ２の基準位置を、方位角方向に−１０°、仰角方向に−１０°移動させた位置を基準に定められる。なお、上記基準位置は、検出対象Ｅ２またはこれを含む領域Ｆ２（図９参照）内の位置であればよく、例えば領域Ｆ２の中心位置であってもよい。この場合、領域Ｆ２の中心位置から、方位角方向に−１０°、仰角方向に−１０°移動した位置が中心位置（左上隅等であってもよい）となるように、重畳画像Ｂ２を表示させてもよい。
【００６９】
〔検出対象を含む領域の抽出〕
検出対象を含む領域（図９の領域Ｆ１〜Ｆ３参照）の抽出について図１１に基づいて説明する。図１１は、検出対象を含む領域を示す情報の例を示す図である。検出対象を含む領域は、表示装置１が画像を表示しているとき（コンテンツ再生中）に設定してもよいし、予め設定しておいてもよい。ここではまず図１１の（ａ）に基づいてコンテンツ再生中に検出対象が占める領域を設定する例を説明し、その次に同図の（ｂ）に基づいて検出対象が占める領域を予め設定する例を説明する。
【００７０】
コンテンツ再生中に検出対象を含む領域を設定する場合、対象検出部１３は、検出対象を全天球画像の部分画像から検出する。なお、全天球画像の全画像領域を検出対象としてもよい。また、どのようなオブジェクトを検出対象とするかは予め定めておけばよい。例えば、所定の外観（形状、大きさ、色等）を予め定めておくことにより、対象検出部１３は、そのような外観のオブジェクトを検出対象として自動で検出することができる。また、機械学習等を用いて、検出対象とすべきオブジェクトを検出してもよい。
【００７１】
そして、重畳位置決定部１５は、検出された検出対象を含む領域を特定する。特定した領域は、例えば図１１の（ａ）に示すような情報として表すことができる。図１１の（ａ）の例では、各「検出対象」について、その「方位角の範囲」および「仰角の範囲」と、「重畳／非重畳」とを対応付けている。「方位角の範囲」および「仰角の範囲」は、検出対象が、当該「方位角の範囲」および「仰角の範囲」に含まれるような値とする。例えば、検出対象の左端の方位角と右端の方位角とをそれぞれ「方位角の範囲」の下限と上限としてもよい。同様に、検出対象の上端の仰角と下端の仰角とをそれぞれ「仰角の範囲」の下限と上限としてもよい。「重畳／非重畳」は、検出対象に重畳対象を重畳することを許可するか、重畳することを許可しないかを示す情報である。
【００７２】
なお、ユーザの視線方向の移動によって検出対象が表示対象領域外となったり、コンテンツの再生が進行して、検出対象が全天球画像に含まれなくなったりしたときには、重畳位置決定部１５は、上記領域の設定を解除する。
【００７３】
検出対象を含む領域を予め設定する場合、設定された領域を示す検出対象情報を記憶部２１等に格納しておけばよい。検出対象情報は、例えば図１１の（ｂ）に示すようなものであってもよい。この検出対象情報は、同図の（ａ）の情報に「再生時刻」がさらに対応付けられたものである。「再生時刻」は、検出対象を含む領域を設定する再生時間帯を示す情報である。重畳位置決定部１５は、このような検出対応情報から検出対象を含む領域を特定する。例えば、コンテンツの再生時刻が１分〜５分の時間帯に含まれていれば、重畳位置決定部１５は、検出対象が検出対象Ｅ１であると特定し、方位角が−９０°〜−７０°、仰角が−１０°〜２０°の領域を検出対象を含む領域として抽出する。
【００７４】
〔処理の流れ〕
表示装置１が実行する処理の流れ（表示装置の制御方法）の一例を図１２に基づいて説明する。図１２は、表示装置１が画像を表示する処理の一例を示すフローチャートである。なお、図１２のＳ３１（領域特定ステップ）、Ｓ３２、Ｓ３８（重畳ステップ）は、図５のＳ１、Ｓ２、Ｓ５とそれぞれ同様の処理であるからここでは説明を省略する。
【００７５】
Ｓ３３では、対象検出部１３は、全天球画像の表示対象領域において検出対象を含む領域を抽出する。この領域の抽出方法は図１１に基づいて上述した通りである。なお、表示対象領域に検出対象が含まれない場合、Ｓ３３では領域の抽出を行うことなくＳ３４の処理に進む。
【００７６】
Ｓ３４では、重畳画像選択部１４は、対象検出部１３が抽出した領域に関連付けて表示する重畳対象があるか否かを判定する。具体的には、重畳画像選択部１４は、重畳画像管理情報２３において、上記抽出された領域（または該領域に含まれる検出対象）に対応付けられている重畳対象があるか否かを判定する。ここで、重畳画像選択部１４は、重畳対象があると判定した場合（Ｓ３４でＹＥＳ）、その重畳対象を、全天球画像に重畳する対象と特定して、処理はＳ３５に進む。一方、重畳対象はないと判定した場合（Ｓ３４でＮＯ）処理はＳ３１に戻る。
【００７７】
Ｓ３５では、重畳位置決定部１５は、重畳画像選択部１４が特定した重畳対象の重畳位置や表示態様等を示す情報を重畳画像管理情報２３から取得する。例えば、図１０の重畳画像管理情報２３を用いた場合、重畳位置決定部１５は、方位角のオフセット、仰角のオフセット、表示位置（奥行き）、パースの有無、透過率、および重畳装飾方法を示す情報をそれぞれ取得する。
【００７８】
Ｓ３６では、重畳位置決定部１５は、上記取得した方位角のオフセット、仰角のオフセット、および表示位置（奥行き）の情報を用いて重畳対象の重畳位置を決定する。また、重畳位置決定部１５は、Ｓ３５で取得したパースの有無、透過率、および重畳装飾方法を示す情報に基づき、重畳対象の表示態様を決定する。そして、重畳位置決定部１５は、決定した重畳位置がＳ３３で抽出した領域に重なるか否かを判定する。ここで重なると判定した場合（Ｓ３６でＹＥＳ）、処理はＳ３７に進み、重ならないと判定した場合（Ｓ３６でＮＯ）、処理はＳ３８に進む。なお、重畳対象が「重畳」の属性（図１１参照）を有している場合、Ｓ３６の判定は省略してＳ３８の処理に進む。
【００７９】
Ｓ３７（位置決定ステップ）では、重畳位置決定部１５は、上記決定した重畳位置を、Ｓ３３で抽出された領域に重ならないように補正する。このように、重畳対象の重畳位置を部分画像の内容に応じて補正（決定）することにより、部分画像の内容に応じた適切な位置に重畳対象を表示させることができる。この補正は図８のＳ１８と同様にして行うことができる。補正により、図９の例のように、検出対象Ｅ２と重畳しないように重畳画像Ｂ２を表示させることができる。Ｓ３７の後、処理はＳ３８に進む。
【００８０】
〔実施形態４〕
上記各実施形態の表示装置１の機能は、サーバと表示装置とを含む表示制御システムによって実現することもできる。図１３は、本発明の一実施形態に係る表示制御システム３を構成する表示装置３０とサーバ４０の要部構成の一例を示すブロック図である。
【００８１】
表示装置３０は、記憶部２１に全天球画像２２、重畳画像管理情報２３、および重畳画像２４が格納されていない点、通信部３１を備えている点で表示装置１と相違している。また、制御部１０に全天球画像要求部３２、管理情報要求部３３、および重畳画像要求部３４が含まれている点でも表示装置１と相違している。
【００８２】
通信部３１は、表示装置３０が他の装置と通信するためのものである。全天球画像要求部３２は全天球画像２２を他の装置から取得するものであり、管理情報要求部３３は重畳画像管理情報２３を他の装置から取得するものであり、重畳画像要求部３４は重畳画像２４を他の装置から取得するものである。なお、本実施形態では、上記「他の装置」が何れもサーバ４０である例を説明するが、全天球画像２２、重畳画像管理情報２３、および重畳画像２４の少なくとも何れかをサーバ４０以外の装置から取得してもよい。
【００８３】
サーバ４０は、表示装置３０が画像を表示するために必要な情報を当該表示装置３０に送信する装置である。サーバ４０は、サーバ４０が他の装置（本実施形態では表示装置３０）と通信するための通信部４１、サーバ４０の各部を統括して制御する制御部４２、およびサーバ４０が使用する各種データを記憶する記憶部４６を備えている。
【００８４】
また、制御部４２には、他の装置からの要求に応じて全天球画像２２を送信する全天球画像送信部４３、他の装置からの要求に応じて重畳画像管理情報２３を送信する管理情報送信部４４、および他の装置からの要求に応じて重畳画像２４を送信する重畳画像送信部４５が含まれている。なお、本実施形態では、上記「他の装置」は何れも表示装置３０である。
【００８５】
表示制御システム３では、表示装置３０の全天球画像要求部３２は、通信部３１を介した通信により、サーバ４０から全天球画像２２を取得し、この全天球画像２２を表示制御部１１が表示部１９に表示させる。また、管理情報要求部３３は、通信部３１を介した通信により、サーバ４０から重畳画像管理情報２３を取得し、表示制御部１１は、この重畳画像管理情報２３を用いて全天球画像２２に重畳表示させる重畳対象を選択し、またその表示位置および表示態様を決定する。そして、重畳画像要求部３４は、通信部３１を介した通信により、サーバ４０から重畳画像２４を取得し、表示制御部１１は、この重畳画像２４を全天球画像２２に重畳表示する。
【００８６】
なお、表示制御部１１は、サーバ４０に設けてもよい。この場合、サーバ４０は、表示装置３０の表示を制御する表示制御装置となる。そして、サーバ４０の表示制御部１１は、表示装置３０の視線方向特定部１７が特定した視線方向から表示対象領域を特定し、該表示対象領域内の部分画像に重畳して重畳画像を表示させる。また、サーバ４０の表示制御部１１は、重畳画像の重畳位置を部分画像の内容に応じて決定する。
【００８７】
〔変形例〕
上記各実施形態では、ユーザが、視線を所望の方向に向けることによって表示対象領域の指定を行う例を説明したが、表示対象領域の指定方法は特に限定されない。例えば、表示対象領域の指定を行うためのコントローラ等によって表示対象領域を指定してもよい。
【００８８】
また、上記各実施形態では、全天球画像の部分画像上に重畳対象を表示させる例を説明したが、重畳対象の重畳先は、画像領域全体のうち指定された一部である表示対象領域の部分画像であればよく、全天球画像の部分画像に限られない。例えば、半天球画像の部分画像であってもよいし、表示装置１または３０の一画面に収まらない表示サイズの平面画像（パノラマ写真等）であってもよい。また、例えば、通常の縮尺で表示した場合には、表示装置１または３０の一画面に収まる表示サイズの画像であっても、これを拡大表示した際には一画面に収まらなくなる場合があるので、画像を拡大表示した状態において重畳対象を表示させてもよい。
【００８９】
〔ソフトウェアによる実現例〕
表示装置１、表示装置３０、およびサーバ４０の制御ブロック（特に制御部１０および制御部４２に含まれる各部）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
【００９０】
後者の場合、表示装置１、表示装置３０、およびサーバ４０は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の一態様の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【００９１】
〔まとめ〕
本発明の態様１に係る表示制御装置（表示装置１、３０、サーバ４０）は、撮像対象を撮像した撮像画像（全天球画像２２）の画像領域のうち指定された表示対象領域の部分画像を表示装置（表示部１９）に表示させる表示制御装置であって、上記表示対象領域を特定する領域特定部（全天球画像描画部１２）と、上記撮像画像を撮像した撮像装置とは異なる撮像装置で上記撮像対象の少なくとも一部を撮像した重畳画像（２４）を上記部分画像に重畳して表示させる重畳部（合成部１６）と、を備えている構成である。
【００９２】
上記の構成によれば、表示対象領域を特定し、撮像画像を撮像した撮像装置とは異なる撮像装置で、撮像画像と同じ撮像対象を撮像した画像である重畳画像を部分画像に重畳して表示させる。これにより、部分画像によって撮像対象をユーザに示すことができると共に、重畳画像によっても撮像対象をユーザに示すことができる。そして、重畳画像と部分画像は、撮像した撮像装置が異なっているため、これらの画像にはそれぞれ異なる情報が含まれている。よって、撮像対象に関して多面的な情報をユーザに認識させることができる。つまり、上記の構成によれば、画像領域のうち指定された表示対象領域の部分画像に画像を重畳表示させる技術において表示内容を改善することができるという効果を奏する。
【００９３】
本発明の態様２に係る表示制御装置は、上記態様１において、重畳画像の重畳位置を上記部分画像の内容に応じて決定する位置決定部（重畳位置決定部１５）を備えている構成である。
【００９４】
上記の構成によれば、重畳画像の重畳位置を上記部分画像の内容に応じて決定する位置決定部を備えているので、部分画像の内容に応じた位置に重畳画像を表示させることができる。よって、表示内容に応じた適切な位置に重畳画像を表示させることが可能になる。
【００９５】
本発明の態様３に係る表示制御装置は、上記態様２において、上記位置決定部は、上記撮像画像の所定領域が上記表示対象領域に含まれている場合に、上記重畳画像の表示位置を当該所定領域内と決定してもよい。
【００９６】
上記の構成によれば、撮像画像の所定領域が表示対象領域に含まれている場合に、当該所定領域に重畳画像が表示される。よって、表示装置のユーザが所定領域を含む表示対象領域を指定したときに、その所定領域に重畳画像を表示させることができる。
【００９７】
本発明の態様４に係る表示制御装置は、上記態様２または３において、上記表示対象領域内で上記重畳画像を重畳させない重畳禁止領域を特定する禁止領域特定部（重畳位置決定部１５）を備え、上記位置決定部は、上記重畳画像の表示位置を、上記禁止領域特定部が特定した上記重畳禁止領域外としてもよい。
【００９８】
上記の構成によれば、重畳画像を重畳させない重畳禁止領域を特定し、表示対象領域のうち重畳禁止領域外に重畳画像を表示させる。よって、重畳禁止領域内の画像が重畳画像によって見えなくなることを防ぐことができる。また、重畳禁止領域内の画像と、重畳画像との両方を一画面でユーザに見せることができる。
【００９９】
本発明の態様５に係る表示制御装置は、上記態様４において、上記撮像対象のうち上記重畳画像を重畳させない重畳禁止対象を上記撮像画像から検出する禁止対象検出部（対象検出部１３）を備え、上記禁止領域特定部は、上記禁止対象検出部が上記表示対象領域内で上記重畳禁止対象を検出した場合に、該重畳禁止対象を含む上記重畳禁止領域を特定する構成としてもよい。
【０１００】
上記の構成によれば、表示対象領域内で重畳禁止対象を検出した場合に、該重畳禁止対象を含む重畳禁止領域を特定する。よって、重畳禁止対象の画像が重畳画像によって見えなくなることを防ぐことができる。また、重畳禁止対象の画像と、重畳画像との両方を一画面でユーザに見せることができる。
【０１０１】
本発明の態様６に係る表示制御装置は、上記態様１において、上記重畳画像と上記表示対象領域内の基準位置とが所定の位置関係となるように上記重畳画像の表示位置を決定する位置決定部（重畳位置決定部１５）を備えている構成としてもよい。
【０１０２】
上記の構成によれば、表示対象領域内の基準位置に対して所定の位置関係となるように重畳画像が表示される。よって、ユーザがどのような表示対象領域を指定した場合にも、表示画面における所定の位置に重畳画像が表示されるので、重畳画像の閲覧性を向上させることができる。
【０１０３】
本発明の態様７に係る表示制御装置は、上記態様１から５の何れかにおいて、上記撮像対象のうち所定の外観を有する検出対象を上記撮像画像から検出する対象検出部（１３）を備え、上記重畳部は、上記対象検出部が上記表示対象領域内で上記検出対象を検出した場合に、該検出対象に関連付けて、該検出対象に関連する上記重畳画像を表示させる構成としてもよい。
【０１０４】
上記の構成によれば、所定の外観を有する検出対象を表示対象領域内で検出した場合に、該検出対象に関連付けて該検出対象に関連する重畳画像を表示させる。よって、所定の外観を有する検出対象が表示対象領域に入ったときに、その検出対象に関して多面的な情報をユーザに認識させることができる。
【０１０５】
本発明の態様８に係る表示制御装置（表示装置１、３０、サーバ４０）は、撮像対象を撮像した撮像画像の画像領域のうち指定された表示対象領域の部分画像を表示装置（表示部１９）に表示させる表示制御装置であって、上記表示対象領域を特定する領域特定部（全天球画像描画部１２）と、上記撮像対象の少なくとも一部を撮像した画像であって上記撮像画像よりも解像度の高い画像を上記部分画像に重畳して表示させる重畳部（合成部１６）と、を備えている構成である。
【０１０６】
上記の構成によれば、表示対象領域を特定し、撮像対象の少なくとも一部を撮像した画像であって撮像画像よりも解像度の高い画像を部分画像に重畳して表示させる。これにより、部分画像によって撮像対象をユーザに示すことができると共に、部分画像に重畳する画像によっても撮像対象をユーザに示すことができる。そして、重畳する画像は撮像画像よりも解像度が高いので、重畳する画像によれば、部分画像よりも高精細に撮像対象を示すことができる。よって、撮像対象に関して多面的な情報をユーザに認識させることができる。つまり、上記の構成によれば、画像領域のうち指定された表示対象領域の部分画像に画像を重畳表示させる技術において表示内容を改善することができるという効果を奏する。
【０１０７】
本発明の態様９に係る表示制御装置（表示装置１、３０、サーバ４０）は、撮像対象を撮像した撮像画像の画像領域のうち指定された表示対象領域の部分画像を表示装置（表示部１９）に表示させる表示制御装置（表示装置１）であって、上記部分画像に重畳して表示する重畳画像の重畳位置を上記部分画像の内容に応じて決定する位置決定部（重畳位置決定部１５）と、上記位置決定部（重畳位置決定部１５）が決定した重畳位置に上記重畳画像を重畳して表示させる重畳部（合成部１６）と、を備えている構成である。
【０１０８】
上記の構成によれば、重畳画像の重畳位置を表示対象領域の表示内容に応じて決定する。よって、表示内容に応じた適切な位置に重畳画像を表示させることが可能になる。つまり、上記の構成によれば、画像領域のうち指定された表示対象領域の部分画像に画像を重畳表示させる技術において表示内容を改善することができるという効果を奏する。
【０１０９】
本発明の態様１０に係るヘッドマウントディスプレイ（表示装置１、３０）は、上記態様１から９の何れかに記載の表示制御装置（表示制御部１１）と、上記表示制御装置の制御に従って画像を表示する表示装置（表示部１９）と、を備えている構成である。よって、上記態様１から９と同様の効果を奏する。
【０１１０】
本発明の態様１１に係る表示制御装置（表示装置１、３０、サーバ４０）の制御方法は、撮像対象を撮像した撮像画像の画像領域のうち指定された表示対象領域の部分画像を表示装置（表示部１９）に表示させる表示制御装置の制御方法であって、上記表示対象領域を特定する領域特定ステップ（Ｓ１、Ｓ１１、Ｓ３１）と、上記撮像画像を撮像した撮像装置とは異なる撮像装置で上記撮像対象の少なくとも一部を撮像した重畳画像を上記部分画像に重畳して表示させる重畳ステップ（Ｓ５、Ｓ１９、Ｓ３８）と、を含む方法である。よって、上記態様１と同様の効果を奏する。
【０１１１】
本発明の各態様に係る表示制御装置（表示装置１、３０、サーバ４０）は、コンピュータによって実現してもよく、この場合には、コンピュータを上記表示制御装置（表示装置１）が備える各部（ソフトウェア要素）として動作させることにより上記表示制御装置（表示装置１）をコンピュータにて実現させる表示制御装置（表示装置１）の表示制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【０１１２】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【０１１３】
（関連出願の相互参照）
本出願は、2016年11月29日に出願された日本国特許出願：特願2016-231676に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
【符号の説明】
【０１１４】
１  表示装置（表示制御装置）
１２  全天球画像描画部（領域特定部）
１３  対象検出部（禁止対象検出部、対象検出部）
１５  重畳位置決定部（禁止領域特定部、位置決定部）
１６  合成部（重畳部）
１９  表示部（表示装置）
４０  サーバ（表示制御装置）
【図１】
2018101227.tif 000003
【図２】
2018101227.tif 000004
【図３】
2018101227.tif 000005
【図４】
2018101227.tif 000006
【図５】
2018101227.tif 000007
【図６】
2018101227.tif 000008
【図７】
2018101227.tif 000009
【図８】
2018101227.tif 000010
【図９】
2018101227.tif 000011
【図１０】
2018101227.tif 000012
【図１１】
2018101227.tif 000013
【図１２】
2018101227.tif 000014
【図１３】
2018101227.tif 000015
【国際調査報告】
2018101227.tif 000016
2018101227.tif 000017
2018101227.tif 000018
2018101227.tif 000019