(57)【要約】【課題】重畳された動画を適切に再生できる表示装置を提供すること。【解決手段】第一の画像に動画として表示可能な第二の画像が重畳された前記第一の画像を表示する表示装置３０であって、前記第二の画像が閲覧されるか否かを判断する判断手段３５と、前記判断手段の判断結果に応じて、前記第二の画像を動画として再生するか又は静止画として表示するかを切り替える表示切替手段３６と、を有する。【選択図】図２
2018110375.tif 000002
【特許請求の範囲】
【請求項１】
第一の画像に動画として表示可能な第二の画像が重畳された前記第一の画像を表示する表示装置であって、
前記第二の画像が閲覧されるか否かを判断する判断手段と、
前記判断手段の判断結果に応じて、前記第二の画像を動画として再生するか又は静止画として表示するかを切り替える表示切替手段と、
を有する表示装置。
【請求項２】
前記判断手段が前記第二の画像が閲覧されると判断した場合、前記表示切替手段は前記第二の画像を動画として再生し、
前記判断手段が前記第二の画像が閲覧されないと判断した場合、前記表示切替手段は前記第二の画像を静止画として表示する請求項１に記載の表示装置。
【請求項３】
前記判断手段は、前記第二の画像が表示された領域に対する表示装置に表示された前記第一の画像の閲覧領域の比率を閾値と比較し、
前記比率が閾値より大きい場合、前記表示切替手段は、前記第二の画像を静止画として表示し、前記比率が閾値以下の場合、前記第二の画像を動画として表示する請求項１又は２に記載の表示装置。
【請求項４】
前記判断手段は、表示装置に表示される前記第二の画像の大きさを閾値と比較し、
前記大きさが閾値より大きい場合、前記表示切替手段は前記第二の画像を動画として表示し、
前記大きさが閾値以下の場合、前記第二の画像を静止画として表示する請求項１又は２に記載の表示装置。
【請求項５】
前記第一の画像に対する操作を受け付ける操作受付手段を有し、
前記操作受付手段が操作を受け付けた座標が前記第二の画像に重なっているか否かを前記判断手段が判断し、
前記座標が前記第二の画像に重なっていると前記判断手段が判断した場合、前記表示切替手段は前記第二の画像を動画として表示する請求項１又は２に記載の表示装置。
【請求項６】
前記第二の画像が前記表示装置に表示されている場合に、前記座標が前記第二の画像に重なっていると前記判断手段が判断した場合、
前記第二の画像を前記表示装置の表示サイズまで徐々に拡大して表示する画像表示手段を有する請求項５に記載の表示装置。
【請求項７】
前記第一の画像には動画として表示可能な前記第二の画像と静止画としてのみ表示可能な前記第二の画像が重畳されており、
動画として表示可能な前記第二の画像及び静止画としてのみ表示可能な前記第二の画像が重畳されている旨をそれぞれ表示する重畳画像表示手段を有する請求項１〜６のいずれか１項に記載の表示装置。
【請求項８】
前記第二の画像の再生方法として、再生開始時刻、再生終了時刻、再生方向、再生速度、繰返し有無、繰返し回数、及び、繰返し方法の１つ以上が指定されることを特徴とする請求項１〜７のいずれか１項に記載の表示装置。
【請求項９】
第一の画像に動画として表示可能な第二の画像が重畳された前記第一の画像を表示する表示装置を、
前記第二の画像が閲覧されるか否かを判断する判断手段と、
前記判断手段の判断結果に応じて、前記第二の画像を動画として再生するか又は静止画として表示するかを切り替える表示切替手段、
として機能させるためのプログラム。
【請求項１０】
第一の画像に動画として表示可能な第二の画像が重畳された前記第一の画像を表示する表示装置が行う表示方法であって、
判断手段が、前記第二の画像が閲覧されるか否かを判断するステップと、
表示切替手段が、前記判断手段の判断結果に応じて、前記第二の画像を動画として再生するか又は静止画として表示するかを切り替えるステップと、
を有する表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置、プログラム、及び表示方法に関する。
【背景技術】
【０００２】
従来のデジタルカメラよりも広角な画像を撮像できる撮像装置が普及しはじめている。このような撮像装置の１つとして魚眼レンズ等を複数組み合わせ、１回の撮像で周囲３６０度が撮像された全天球画像を作成する全天球カメラが知られている。全天球画像に対しユーザは任意に視線方向を決定して全天球画像を様々な方向から閲覧することができる。
【０００３】
しかしながら、画像処理の負荷などを考慮すると撮像範囲が広い全天球画像の画像処理には制約が生じやすく、通常のデジタルカメラの画像と比較すると画質が低下（例えば解像度が低い、白飛びしやすい、色再現性が低い等）する傾向がある。このため、ユーザが全天球画像の一部を拡大して閲覧するような場合に、画質の低下が気になったり詳細な情報を得られにくかったりするという不都合がある。
【０００４】
このような不都合に対し、広角画像に望遠画像を嵌め込む技術が考案されている（例えば、特許文献１参照。）。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術では動画の重畳について考慮されていないという問題がある。ユーザが対象を動画で閲覧できれば状況を把握しやすいが、全天球画像は画素数が多いため表示装置が動画の全天球画像を表示すると多くのリソースを費やしてしまうおそれがある。これに対し、ユーザが見たい領域や動きがある領域は一部である場合が多い。そこで、表示装置が全天球画像の一部に動画を重畳することが検討されるが、全天球画像は画角が広いため、動画の領域をユーザが見ているとは限らない。見られているとは限らない動画を再生する必要性は低いし、表示装置の処理負荷を増大させるおそれがある。
【０００６】
本発明は、上記課題に鑑み、重畳された動画を適切に再生できる表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、第一の画像に動画として表示可能な第二の画像が重畳された前記第一の画像を表示する表示装置であって、前記第二の画像が閲覧されるか否かを判断する判断手段と、前記判断手段の判断結果に応じて、前記第二の画像を動画として再生するか又は静止画として表示するかを切り替える表示切替手段と、を有する。
【発明の効果】
【０００８】
重畳された動画を適切に再生できる表示装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】全天球画像について説明する図の一例である。
【図２】全天球画像に重畳された動画の表示方法を説明する図の一例である。
【図３】全天球カメラと表示装置を有する画像処理システムのシステム構成例を示す図である。
【図４】撮像装置のハードウェア構成図の一例である。
【図５】表示装置のハードウェア構成図の一例である。
【図６】全天球カメラの使用イメージ図である。
【図７】全天球カメラで撮像された画像から全天球画像が作成されるまでの処理の概略を説明する図である。
【図８】全天球カメラで撮像された画像から全天球画像が作成されるまでの処理の概略を説明する図である。
【図９】正距円筒図法による全天球画像の立体球への貼り付けを説明する図の一例である。
【図１０】ユーザの視線を説明する図の一例である。
【図１１】全天球画像の閲覧領域の拡大と縮小を模式的に説明する図の一例である。
【図１２】デジタルカメラ、全天球カメラ、及び表示装置が有する機能をブロック状に示す機能ブロック図の一例である。
【図１３】平面画像の一致領域への射影方式変換及び平面画像と一致領域とを対応付ける位置パラメータの一例を示す図である。
【図１４】射影方式変換部が作成する射影方式変換画像とマスクデータを説明する図の一例である。
【図１５】全天球画像への平面画像の重畳を模式的に説明する図の一例である。
【図１６】全天球画像に重畳された平面画像を模式的に示す図である。
【図１７】表示装置が全天球画像に平面画像を重畳する手順を示すフローチャート図の一例である。
【図１８】画像重畳部の機能をブロック状に説明する機能ブロック図の一例である。
【図１９】閲覧領域に対する平面画像の相対位置を説明する図の一例である。
【図２０】画角ａと画角ｂの求め方を説明する図の一例である。
【図２１】閲覧領域と平面画像の対角頂点の関係を説明する図の一例である。
【図２２】ユーザが全天球画像を拡大することで再生が開始される平面画像の例を説明する図である。
【図２３】表示装置が動画を再生するか否かを制御する手順を示すフローチャート図の一例である。
【図２４】ユーザが動画再生を操作するメニューの一例を示す図である。
【図２５】表示装置が動画を再生するか否かを制御する手順を示すフローチャート図の一例である。
【図２６】閲覧領域への平面画像の自動拡大の処理を説明する図の一例である。
【図２７】閲覧領域に平面画像の全体が含まれていない場合の平面画像の自動拡大の処理を説明する図の一例である。
【図２８】表示装置が動画を再生するか否かを判断する手順を示すフローチャート図の一例である。
【図２９】動画再生のメタデータを説明する図の一例である。
【図３０】射影方式変換により得られた枠を模式的に説明する図の一例である。
【図３１】枠の重畳を模式的に説明する図の一例である。
【図３２】動画と静止画で異なる態様で表示された枠の一例を示す図である。
【図３３】表示装置が全天球画像に平面画像の枠を表示する手順を示すフローチャート図の一例である。
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態について図面を参照しながら説明する。
【実施例１】
【００１１】
＜全天球画像の概略＞
図１は、全天球画像ＣＥについて説明する図の一例である。図１（ａ）は、三次元の立体球ＣＳで表わされた全天球画像ＣＥを示し、図１（ｂ）は正距円筒図法で表された全天球画像ＣＥを示す。全天球カメラで生成された全天球画像ＣＥは図１（ｂ）のような画像が立体球ＣＳに張り合わされた三次元の構造を有している。仮想カメラＩＣはユーザの視点に対応し、図１では全天球画像ＣＥの中心に視点がある。ユーザは仮想カメラＩＣを通るＸ軸、Ｙ軸、Ｚ軸を中心とする３軸の回転を行わせて、全天球画像ＣＥの任意の閲覧領域Ｔ（ディスプレイ又は表示用のソフトウェアに表示される範囲）を表示させることができる。また、ユーザは閲覧領域Ｔを拡大又は縮小することもできる。
【００１２】
＜本実施形態の表示装置の概略＞
図２は、全天球画像に重畳された動画の表示方法を説明する図の一例である。図２の全天球画像ＣＥには動画の平面画像Ｐが重畳されており、図２（ａ）から図２（ｂ）にかけてユーザが平面画像Ｐを大きして見るために全天球画像ＣＥを拡大している。ユーザは動画を意識していても無意識でもよい。ユーザに意識させるために平面画像Ｐが存在する旨（後述する枠など）を表示装置が表示してもよい。
【００１３】
図２（ａ）から図２（ｂ）でユーザは全天球画像ＣＥを徐々に拡大している。図２（ａ）の平面画像Ｐが図２（ｂ）（ｃ）の平面画像Ｐの全体に対応する。図２（ｂ）のように、ユーザが全天球画像ＣＥをある程度拡大すると、ユーザが平面画像Ｐを見たいと推定し、表示装置は動画の再生を開始する。図２（ｃ）ではモノレールの列車３５１が右から左方向に動いている動画が表示されている。
【００１４】
このように、ユーザが平面画像Ｐを見ると推定されると動画が再生されるので、ユーザが平面画像Ｐを見たい場合に動画を再生でき、不要な動画の再生を抑制できる。また、ユーザは動画を最初から閲覧できる。仮に常に再生されていると、ユーザが動画の閲覧を開始した際に再生されてからどのくらいの時間が経っているか分からない。また、ユーザが平面画像Ｐを拡大していくと動画の再生が始まるので、急に画面が動き始めるように見え、ユーザの注意を引くことができる。
【００１５】
＜用語について＞
重畳とは、２つ以上のものを合わせて１つのものにすることをいう。また、本実施形態では、重畳に、貼り付け、嵌め込み、合成、重ね合わせという意味が含まれてよい。
【００１６】
特許請求の範囲の閲覧とは、ユーザが第二の画像を意識して見ることをいう。第一の画像は例えば全天球画像であり、第二の画像は例えば平面画像である。
【００１７】
動画とは、ほぼ一定時間間隔で撮像された一連の画像（フレーム）を短い間隔で連続表示することにより得られる動きのある映像をいう。
【００１８】
また、高画質の定義は画像によっても異なるため、ユーザの閲覧目的によって種々でよいが、一般に画像が忠実に光景を表すことをいう。例えば、解像度が高い、ダイナミックレンジが広い、色再現性が高い、ノイズが少ない、画像をいう。
【００１９】
＜システム構成例＞
図３は、全天球カメラ２０と表示装置３０を有する画像処理システム１００のシステム構成例を示す図である。図３（ａ）は全天球カメラ２０と通常のデジタルカメラ９を有する画像処理システム１００を示す。通常のデジタルカメラ９とは、一般に３５ｍｍフィルムに換算した場合に焦点距離３５ｍｍ以上で撮像する撮像装置（カメラ）であるが、２４ｍｍ〜３５ｍｍ程度の広角画像を撮像できる撮像装置が含まれてよい。簡単には、全天球カメラ２０ではなく平面画像Ｐを撮像する撮像装置ということができる。換言すると、閲覧領域Ｔに全体を表示可能な画像を撮像する撮像装置である。
【００２０】
デジタルカメラ９は、全天球画像ＣＥよりも少なくとも解像度が高い（撮像する画角に対する画素数が多い）撮像素子を有している。また、全天球カメラ２０よりも狭い撮像範囲で撮像条件（露出時間、シャッター速度、ホワイトバランス等）を最適化するため、白飛びしにくく、色再現性も高く、ノイズが少ない場合が多い。このようにデジタルカメラ９はいわゆる高画質の平面画像を生成する。
【００２１】
これにより、全天球画像ＣＥでは拡大時に粗くなる画像を、平面画像Ｐの高い画質の画像で補うことができる。図３（ａ）の構成では、デジタルカメラ９が表示装置３０を兼ねている。デジタルカメラ９の具体例は、例えばデジタルスチルカメラ、又はデジタルビデオカメラであるが、撮像装置を備えたその他の装置であってもよい。例えば、スマートフォン、タブレット端末、ＰＤＡ(Personal Digital Assistant)、ウェアラブルＰＣ（Personal Computer）等でもよい。この場合、スマートフォン等に全天球カメラ２０が外付けされてよい。
【００２２】
全天球カメラ２０とデジタルカメラ９はＵＳＢ，Bluetooth（登録商標）、無線ＬＡＮなどで通信することができる。全天球カメラ２０が撮像した全天球画像ＣＥはデジタルカメラ９に送信される。デジタルカメラ９も同様に平面画像Ｐを撮像する。全天球画像ＣＥには周囲３６０度の風景が写っているので平面画像Ｐは全天球画像ＣＥの一部になる。
【００２３】
デジタルカメラ９は表示装置３０として、全天球画像ＣＥに平面画像Ｐを重畳する。具体的には、例えばユーザＵが平面画像Ｐと全天球画像ＣＥを選択して、重畳を指示する。あるいは、デジタルカメラ９を重畳モードに設定して平面画像Ｐを撮像すると、平面画像Ｐがマッチングする全天球画像ＣＥに自動的に重畳する。画像の一致度が低ければ重畳されないので不都合は少ない。また、表示装置３０としてのデジタルカメラ９は動画の再生と停止を切り替えてデジタルカメラ９が有するディスプレイに表示したりする。このように、デジタルカメラ９が表示装置３０である場合は、全天球カメラ２０とデジタルカメラ９という構成で、全天球画像ＣＥと平面画像Ｐを重畳したり動画の再生と停止を替えたりすることができる。
【００２４】
図３（ｂ）は、全天球カメラ２０、通常のデジタルカメラ９、及び表示装置３０を有する画像処理システム１００を示す。全天球カメラ２０と表示装置３０、及び、デジタルカメラ９と表示装置３０はＵＳＢ、Bluetooth（登録商標）、無線ＬＡＮなどで通信することができる。全天球カメラ２０が撮像した全天球画像ＣＥは表示装置３０に送信される。デジタルカメラ９が撮像した平面画像Ｐも表示装置３０に送信される。送信の他、記憶媒体に格納された全天球画像ＣＥ又は平面画像Ｐを表示装置３０が記憶媒体から読み取ってもよい。
【００２５】
表示装置３０は、例えばＰＣ、スマートフォン、タブレット端末、ＰＤＡなどの情報処理装置である。この他、情報処理装置としての機能を有する複合機、プロジェクタ、テレビ会議端末などでもよい。
【００２６】
図３（ｂ）の構成では、表示装置３０が全天球画像ＣＥに平面画像Ｐを重畳する。また、動画の再生と停止を切り替えて表示装置３０のディスプレイに表示する。より具体的には、ユーザＵは、平面画像Ｐと全天球画像ＣＥを見比べることなどで、どの平面画像Ｐがどの全天球画像ＣＥの一部か分かるので、全天球画像ＣＥとこれに貼り付ける平面画像Ｐを選択し、表示装置３０に貼り付けを行わせる。デジタルカメラ９のように自動的に重畳させてもよい。このように、表示装置３０は全天球画像ＣＥと平面画像Ｐを取得して、全天球画像ＣＥに平面画像Ｐを重畳し、動画の再生と停止を切り替えることができる。図４以下の説明では、特に言及しない限り、図３（ｂ）の構成を念頭に説明する。
【００２７】
図３（ｃ）は、全天球カメラ２０、通常のデジタルカメラ９、表示装置３０、及び画像重畳サーバ７０がネットワークＮを介して接続された画像処理システム１００を示す。ネットワークＮは、ユーザＵ環境に構築されているＬＡＮ、ＬＡＮをインターネットに接続するプロバイダのプロバイダネットワーク、及び、回線事業者が提供する回線等により構築されている。ネットワークＮが複数のＬＡＮを有する場合、ネットワークＮはＷＡＮやインターネットと呼ばれる。ネットワークＮは有線又は無線のどちらで構築されてもよく、また、有線と無線が組み合わされていてもよい。また、全天球カメラ２０及びデジタルカメラ９が直接、公衆回線網に接続する場合は、ＬＡＮを介さずにプロバイダネットワークに接続することができる。
【００２８】
画像重畳サーバ７０は一般的な情報処理装置又はサーバ装置でよいし、表示装置３０の具体例は図３（ｂ）と同様でよい。しかしながら、画像重畳サーバ７０はクラウドコンピューティングに対応していることが好ましい。クラウドコンピューティングとは、特定ハードウェア資源が意識されずにネットワーク上のリソースが利用される利用形態をいう。
【００２９】
全天球カメラ２０が撮像した全天球画像ＣＥは画像重畳サーバ７０に送信される。デジタルカメラ９が撮像した平面画像Ｐも画像重畳サーバ７０に送信される。図３（ｃ）の構成では、画像重畳サーバ７０が全天球画像ＣＥに平面画像Ｐを重畳する。より具体的には、表示装置３０はユーザＵの操作を受け付けて画像重畳サーバ７０にアクセスして、全天球画像ＣＥ及び平面画像Ｐのリスト（サムネイル画像など）を表示する。ユーザＵは、平面画像Ｐと全天球画像ＣＥを見比べることなどで、どの平面画像Ｐがどの全天球画像ＣＥの一部か分かるので、全天球画像ＣＥとこれに貼り付ける平面画像Ｐを選択し、画像重畳サーバ７０に通知する。画像重畳サーバ７０が自動的に重畳してもよい。
【００３０】
画像重畳サーバ７０は、全天球画像ＣＥに平面画像Ｐを重畳すると共に、閲覧領域Ｔの画像データを表示装置３０に送信する。初期状態の視線方向と画角は予め決まっているものとする。画像重畳サーバ７０はＷｅｂサーバとして閲覧領域Ｔの画像データとユーザＵの操作を受け付けるための表示プログラム（スクリプト言語で記述されている）を表示装置３０に送信する。表示装置３０は表示プログラムを実行しユーザＵの操作を受け付け、視線方向と画角を画像重畳サーバ７０に送信する。画像重畳サーバ７０は視線方向と画角に応じて閲覧領域Ｔを更新し、閲覧領域Ｔの画像データを表示装置３０に送信する。画像重畳サーバ７０は、動画の再生と停止を切り替えるため、表示装置３０は動画が再生される画像と再生されない画像を表示できる。
【００３１】
全天球画像ＣＥ、平面画像Ｐ及び表示プログラムを画像重畳サーバ７０が表示装置３０に送信してもよい。この場合、表示装置３０がユーザＵの操作に応じて閲覧領域Ｔを決定し、動画の再生と停止を切り替える。
【００３２】
また、全天球画像ＣＥと平面画像Ｐから画像重畳サーバ７０が位置パラメータ（後述する）を算出し、全天球画像ＣＥと平面画像Ｐ及び位置パラメータを表示装置３０がダウンロードしてもよい。ユーザは任意に視線方向を変えるが、表示装置３０は同じ位置パラメータを使って全天球画像ＣＥに平面画像Ｐを重畳できる。後述する図１３の位置パラメータ作成部８が画像重畳サーバ７０にあり、変換表示部７を表示装置３０が有する形態となる。
【００３３】
＜ハードウェア構成＞
<<全天球カメラのハードウェア構成>>
図４は、全天球カメラのハードウェア構成図である。以下では、全天球カメラ２０は、２つの撮像素子を使用した全方位撮像装置とするが、撮像素子は３つ以上いくつでもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラ９やスマートフォン等に後付けの全方位撮像ユニットを取り付けることで、実質的に全天球カメラ２０と同じ機能を有するようにしてもよい。
【００３４】
図４に示されているように、全天球カメラ２０は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、アンテナ１１７ａ、電子コンパス１１８、ジャイロセンサ１１９、及び、加速度センサ１２０なども接続される。
【００３５】
このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子１０３ａ，１０３ｂを備えている。撮像素子１０３ａ，１０３ｂは、魚眼レンズによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。
【００３６】
撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４とはパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、撮像制御ユニット１０５とは別に、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４及び撮像制御ユニット１０５は、バス１１０を介してＣＰＵ１１１と接続される。更に、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及び電子コンパス１１８なども接続される。
【００３７】
画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを重畳処理して、図１（ｂ）に示されているような正距円筒図法による画像のデータを作成する。
【００３８】
撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、該撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。
【００３９】
また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。撮像装置によっては、ディスプレイによるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。
【００４０】
また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮像装置には表示部が設けられていないが、表示部を設けてもよい。
【００４１】
マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。
【００４２】
ＣＰＵ１１１は、全天球カメラ２０の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みの正距円筒図法による画像のデータを記憶する。
【００４３】
操作部１１５は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。ユーザＵは操作ボタンを操作することで、種々の撮像モードや撮像条件などを入力する。
【００４４】
ネットワークＩ／Ｆ１１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ１１６としては、無線、有線を問わずにネットワークインタフェースである場合も考えられる。ＤＲＡＭ１１４に記憶された正距円筒図法による画像のデータは、このネットワークＩ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／ＦとなるネットワークＩ／Ｆ１１６を介して表示装置３０等の外部装置に送信されたりする。
【００４５】
通信部１１７は、全天球カメラ２０に設けられたアンテナ１１７ａを介して、Wi-Fi(wireless fidelity)やＮＦＣ等の短距離無線技術によって、表示装置３０等の外部装置と通信を行う。この通信部１１７によっても、正距円筒図法による画像のデータを表示装置３０等の外部装置に送信することができる。
【００４６】
電子コンパス１１８は、地球の磁気から全天球カメラ２０の方位を算出し、方位情報を出力する。この方位情報はExifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮像日時、及び画像データのデータ容量の各データも含まれている。
【００４７】
ジャイロセンサ１１９は、全天球カメラ２０の移動に伴う角度の変化（ロール角、ピッチング角、ヨー角）を検出する。角度の変化はExifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。
【００４８】
加速度センサ１２０は３軸方向の加速度を検出する。検出した加速度に基づいて全天球カメラ２０の姿勢（重力方向に対する角度）を検出する。ジャイロセンサ１１９と加速度センサ１２０は両方を有することで画像補正の精度が向上する。
【００４９】
なお、一眼レフのハードウェア構成は図４と同様であるか又は相違があるとしても本実施形態の説明には支障がないものとする。
【００５０】
<<表示装置のハードウェア構成>>
図５は、表示装置のハードウェア構成図である。表示装置３０は、表示装置全体の動作を制御するＣＰＵ５０１、ＩＰＬ（Initial Program Loader）等のＣＰＵ５０１の駆動に用いられるプログラムを記憶したＲＯＭ５０２、ＣＰＵ５０１のワークエリアとして使用されるＲＡＭ５０３、表示装置用のプログラム等の各種データを記憶するＨＤ（Hard Disk）５０４を有する。また、ＣＰＵ５０１の制御に従ってＨＤ５０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ(Hard Disk Drive)５０５、フラッシュメモリ等の記録メディア５０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ５０７を有する。また、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ５０８、ネットワークＮを利用してデータ通信するためのネットワークＩ／Ｆ５０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード５１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス５１２、を有する。また、着脱可能な記録媒体の一例としての光記憶媒体５１３に対する各種データの読み出し又は書き込みを制御する光メディアドライブ５１４、及び、上記各構成要素を図５に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン５１０を備えている。
【００５１】
なお、画像重畳サーバ７０のハードウェア構成は図５と同様であるか又は相違があるとしても本実施形態の説明には支障がないものとする。
【００５２】
＜全天球画像ＣＥの作成＞
図６〜図１０を用いて全天球画像ＣＥについて説明する。図６は、全天球カメラ２０の使用イメージ図である。全天球カメラ２０は、図６に示されているように、ユーザＵが手に持ってユーザＵの周りの被写体を撮像するために用いられる。全天球カメラ２０は、２つの撮像素子の背面同士が対向させられた構造を有しており、それぞれユーザＵの周りの被写体を撮像することで、２つの半球画像を得る。
【００５３】
次に、図７〜図９を用いて、全天球カメラ２０で撮像された画像から全天球画像ＣＥが作成されるまでの処理の概略を説明する。なお、図７（ａ）は全天球カメラ２０で撮像された半球画像（前側）、図７（ｂ）は全天球カメラ２０で撮像された半球画像（後側）、図７（ｃ）は正距円筒図法による全天球画像を示した図である。図８（ａ）は正距円筒図法による画像で球を被う状態を示した概念図、図８（ｂ）は全天球画像ＣＥを示した図である。
【００５４】
図７（ａ）に示されているように、全天球カメラ２０によって得られた画像は、魚眼レンズによって湾曲した半球画像（前側）となる。また、図７（ｂ）に示されているように、全天球カメラ２０によって得られた画像は、魚眼レンズによって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは、全天球カメラ２０によってつなぎ合わされ、図７（ｃ）に示されているように、正距円筒図法による画像が作成される。
【００５５】
そして、OpenGL ES（Open Graphics Library for Embedded Systems）が利用されることで、図８（ａ）に示されているように、正距円筒図法による画像が球面を覆うように貼り付けられ、図８（ｂ）に示されているような全天球画像ＣＥが作成される。このように、全天球画像ＣＥは、正距円筒図法による画像が球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2-Dimensions)及び３Ｄ(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。全天球画像ＣＥは、静止画であっても動画であってもよい。具体的には図８（ａ）の正距円筒図法による画像から図８（ｂ）の三次元の全天球画像へ変換は図９にて説明される式（１）が利用される。
【００５６】
図９（ａ）は、全天球画像ＣＥを正距円筒図法により示す図であり、図９（ｂ）は正距円筒図法の全天球画像ＣＥが全天球に貼り付けられた全天球画像ＣＥを示す。図９（ａ）の画像から図９（ｂ）の画像への変換が、図１で説明した全天球カメラ２０の撮像時に全天球カメラ２０で行われている処理である。
【００５７】
正距円筒図法の任意の点(λ,φ)に対応する三次元上の点(x,y,z)の座標は、球の半径を1.0とすると下記の式で求めることができる。
Ｘ = cos(φ)*cos(λ)
Ｙ= sin(φ)        …（１）
Ｚ = cos(φ)*sin(λ)    
このように、正距円筒図法の全天球画像ＣＥから三次元の全天球画像ＣＥが得られる。全天球画像ＣＥは、球面を覆うように貼り付けられた画像であるため湾曲しており、人間が見ると違和感を持ってしまう。そこで、表示装置３０は、全天球画像ＣＥの一部の閲覧領域Ｔを湾曲の少ない平面画像Ｐとして表示することで、人間に違和感を与えないように表示する。閲覧領域Ｔは、三次元の仮想空間における座標（Ｘ，Ｙ，Ｚ）によって示される。一方、ディスプレイ５０８は二次元平面なので閲覧領域Ｔのままでは表示装置３０が表示できない。
【００５８】
そこで、３Ｄコンピュータグラフィックの技法を用いて三次元の物体を二次元平面に投影する透視投影変換により、表示装置３０は湾曲の少ない画像を得る。以上のようにして、全天球画像ＣＥの閲覧領域Ｔがディスプレイ５０８に表示される。
【００５９】
図１０は、ユーザＵの視線を説明する図の一例である。全天球画像ＣＥは三次元の座標を有しているので、視線方向は三次元の座標や緯度・経度などの球体の座標を特定する情報で特定される。本実施形態では、閲覧領域Ｔの中心ｃｐを視線方向とする。
【００６０】
ユーザＵはキーボード５１１又はマウス５１２により視線方向を変えることができるが、仮想カメラＩＣが平行移動しないと仮定すると、仮想カメラＩＣは剛体としてロール（Ｚ軸を中心とする回転）、ヨー（Ｙ軸を中心とする回転）、及びピッチ（Ｘ軸を中心とする回転）の３つの回転が可能である。この３つの回転のいずれが生じても視線方向が変化する。例えば、ユーザＵが全天球画像ＣＥを水平方向に回転させるとヨー角が変化し、上下方向に回転させるとピッチ角が変化し、ディスプレイ５０８の中心を軸に全天球画像ＣＥを回転させるとロール角が変化する。本実施形態では、ユーザＵのＷｅｂページに対する操作が、視線方向（ロール角、ヨー角、ピッチ角）等に反映される。どのように反映されるかは表示装置３０が実行するプログラムに予め記述されている。
【００６１】
図１１は、全天球画像ＣＥの閲覧領域Ｔの拡大と縮小を模式的に説明する図の一例である。図１１（ａ）は初期の閲覧領域Ｔを示す。仮想カメラＩＣが立体球ＣＳの中央に存在する場合、閲覧領域Ｔは画角αにより決定される。画角αは、例えば閲覧領域Ｔの対角頂点を立体球ＣＳの中央から臨む角度である。
【００６２】
初期状態の画角αをα０とする。図１１（ｂ）に示すように画角を小さくすれば（α１＜α０）閲覧領域Ｔが狭くなるのでディスプレイ５０８上では画像が拡大され、図１１（ｃ）に示すように、画角を大きくすれば（α２＞α０）閲覧領域Ｔが広くなるのでディスプレイ５０８上では画像が縮小される。ユーザＵが全天球画像ＣＥを拡大する操作又は縮小の操作を行うと、表示装置３０は操作量に応じて画角を小さくしたり大きくしたりする。
【００６３】
図１１（ｃ）のように画角が大きくなったとしても、仮想カメラＩＣが中央にある限り、仮想カメラＩＣの後方にある画像を表示装置３０が表示することができない。このため、ユーザＵが図１１（ｃ）の状態から更に縮小する操作を行うと、表示装置３０は仮想カメラＩＣを後方に移動する。図１１（ｄ）では画角α２は図１１（ｃ）と変わっていないが、仮想カメラＩＣが後方に移動することで、閲覧領域Ｔが更に広くなっている。このため、図１１（ｃ）よりも更に画像を縮小することが可能である。
【００６４】
＜全天球画像ＣＥへの平面画像Ｐの重畳に関する機能＞
図１２〜図１７を用いて、全天球画像ＣＥへの平面画像Ｐの重畳に関する機能について説明する。上記のように、図３（ｂ）の構成を念頭に説明する。
【００６５】
図１２は、デジタルカメラ９、全天球カメラ２０、及び表示装置３０が有する機能をブロック状に示す機能ブロック図の一例である。デジタルカメラ９は平面画像取得部１１を有している。平面画像取得部１１はデジタルカメラ９の撮像機能により実現され、所定の解像度の画素がそれぞれ濃淡を表す画像データ（平面画像Ｐ）を作成する。平面画像Ｐは１つの静止画、複数の静止画、又は動画のいずれでもよいが、本実施形態において断らない限り動画であるとする。
【００６６】
全天球カメラ２０は全天球画像取得部１２を有している。全天球画像取得部１２は全天球カメラ２０の撮像機能により実現され、全天球カメラ２０の周囲３６０度の画像データ（全天球画像ＣＥ）を作成する。全天球画像ＣＥは、１つの静止画、複数の静止画、又は動画のいずれでもよいが、本実施形態において断らない限り静止画であるとする。
【００６７】
表示装置３０は、主に、位置パラメータ作成部８、及び変換表示部７を有している。表示装置３０が有するこれらの機能は、図５に示した表示装置３０のＣＰＵ５０１がＨＤ５０４からＲＡＭ５０３に展開されたプログラムを実行することで実現される機能又は手段である。
【００６８】
位置パラメータ作成部８は、更に全天球画像読込部２１、平面画像読込部２２、位置パラメータ算出部２３、及び位置パラメータ書出部２４を有する。全天球画像読込部２１は、全天球画像取得部１２から全天球画像ＣＥを読み込む。平面画像読込部２２は、平面画像取得部１１から平面画像Ｐを読み込む。読み込むとは、取得する、受信する、記憶媒体から読み出す、又は、入力を受け付けるという意味である。
【００６９】
位置パラメータ算出部２３は、平面画像Ｐと一致する全天球画像ＣＥの一致領域を特定し、一致領域を特定するための位置パラメータＰＰを求める。位置パラメータＰＰの詳細は図１３にて説明される。正距円筒図法により全天球画像ＣＥは歪んだ状態になるため、平面画像Ｐにも同じ変換を施し、歪んだ状態にすることが好ましい。そして、両方の特徴点を抽出しマッチングを行うことで、位置パラメータＰＰを求めることができる。特徴点の検出については、エッジ検出、コーナ検出、SIFT特徴量とSURF特徴量、連続した同一色の中心点など様々な検出方法が知られている。あるいは、全天球画像ＣＥと平面画像Ｐの画素値の差の絶対値の合計又は差の二乗和を１画素ずつずらして算出し、絶対値の合計又は二乗和が最も小さくなった時の平面画像Ｐの位置を一致領域としてもよい。
【００７０】
本実施形態では全天球画像ＣＥが静止画、平面画像Ｐが動画であるため、ある時刻のフレーム（動画に含まれる各静止画）しか全天球画像ＣＥと一致しない。位置パラメータ算出部２３は平面画像Ｐの最初のフレームから順番に全天球画像とマッチングを行う。そして、一致度が閾値以上のフレームに基づいて位置パラメータＰＰを算出する。あるいは、ユーザＵが一致するフレームを表示装置３０に指示してよい。この全天球画像ＣＥと一致するフレームのフレームＩＤ６を位置パラメータ書出部２４が変換表示部７に通知する。なお、ＩＤはIdentificationの略であり識別子や識別情報という意味である。ＩＤは複数の対象から、ある特定の対象を一意的に区別するために用いられる名称、符号、文字列、数値又はこれらのうち１つ以上の組み合わせをいう。フレームＩＤ以外のＩＤについても同様である。
【００７１】
また、平面画像Ｐをメッシュ状に領域分割してそれぞれで全天球画像ＣＥとマッチングをすれば、レンズ歪等によるずれ補正も加味することができる。
【００７２】
全天球画像ＣＥと平面画像Ｐの対応は一意に定まるので位置パラメータＰＰは、一度、求めるだけでよい。平面画像読込部２２が複数の平面画像Ｐを読み込んだ場合、平面画像Ｐごとに位置パラメータＰＰを算出する。
【００７３】
変換表示部７は、更に平面画像読込部２５、視線方向画角指示部２６、全天球画像読込部２７、射影方式変換部１（符号は２８）、射影方式変換部２（符号は２９）、画像重畳部３３、位置パラメータ読込部３２、及び画像表示部３１を有する。全天球画像読込部２７の機能は位置パラメータ作成部８と同様である。また、位置パラメータ読込部３２は位置パラメータ作成部８から位置パラメータＰＰとフレームＩＤを取得する。
【００７４】
平面画像読込部２５は平面画像Ｐの各フレームを読み込む。後述する画像重畳部３３が動画読込ＯＮを平面画像読込部２５に通知するまでは、位置パラメータ算出部２３が指示したフレームＩＤのフレームを読み込む。画像重畳部３３が動画読込ＯＮを平面画像読込部２５に通知した後は、動画の再生速度に応じて時間的に後のフレーム（逆再生の場合は前のフレーム）を読み込む。画像重畳部３３が動画読込ＯＦＦを平面画像読込部２５に通知した場合、フレームＩＤのフレーム又は最後に読み取ったフレームを繰り返し読み込む。
【００７５】
視線方向画角指示部２６は、ユーザＵが操作した視線方向と画角（拡大・縮小）を受け付ける。視線方向と画角が操作により入力されるため閲覧領域Ｔが定まる。
【００７６】
また、ユーザＵが任意に視線方向と画角（拡大・縮小）を操作するため、射影方式変換された平面画像Ｐの一部のみしか閲覧領域Ｔに入らない場合、又は、射影方式変換された平面画像Ｐが全く閲覧領域Ｔに入らない場合がある。このため、射影方式変換部１は、射影方式変換画像のうち閲覧領域Ｔに含まれている領域を示すマスクデータを生成する。詳細は図１４にて説明される。
【００７７】
射影方式変換部２は、視線方向画角指示部２６が受け付けた視線方向及び画角に対応する閲覧領域Ｔを決定し、読み込まれた全天球画像ＣＥの閲覧領域Ｔに対し画像表示部３１の表示サイズに合わせた透視投影変換を行い、表示画像を作成する。従って、表示画像は二次元平面の画像である。
【００７８】
画像重畳部３３は、マスクデータを用いて表示画像に射影方式変換画像を重畳して重畳画像を生成する。詳細は図１５にて説明される。また、画像表示部３１は重畳画像をディスプレイ５０８に表示する。
【００７９】
＜位置パラメータ＞
図１３は平面画像Ｐの一致領域への射影方式変換及び平面画像Ｐと一致領域とを対応付ける位置パラメータＰＰの一例を示す図である。マッチングによりすでに平面画像Ｐと全天球画像ＣＥの対応は得られているものとする。位置パラメータＰＰは、特徴点が最も一致した時に平面画像Ｐが存在する全天球画像ＣＥの緯度と経度である。
【００８０】
図１３(ａ)は平面画像Ｐを示し、図１３（ｂ）は正距円筒図法の全天球画像ＣＥを示す。図１３（ｂ）には一致領域３０１が示されている。位置パラメータ算出部２３は、平面画像Ｐを格子状に分割して、それぞれ格子の交点部分の座標(x,y)に対応する全天球画像ＣＥの一致領域３０１の点(λ,φ)を位置パラメータＰＰとする。なお、λは経度、φは緯度である。図１３（ｃ）は位置パラメータＰＰの一例を示す。平面画像Ｐの格子の座標と、全天球画像ＣＥの一致領域３０１の緯度と経度が格子ごとに対応付けられている。
【００８１】
＜射影方式変換部１の処理＞
図１４は、射影方式変換部１が作成する射影方式変換画像３０２とマスクデータ３０３を説明する図の一例である。図１４（ａ）は射影方式変換画像３０２を示す。射影方式変換画像３０２は正距円筒図法で表された全天球画像の閲覧領域Ｔと同じサイズの領域を有し、一致領域３０１に射影方式変換後の平面画像Ｐが貼り付けられる。一致領域３０１に平面画像Ｐが射影方式変換されることで、平面画像Ｐは台形歪みの状態になっている。射影方式変換画像３０２のうち平面画像Ｐがない部分はグレーの均一画像３０７である。均一画像３０７は重畳に使用されないのでどのような画素値でもよい。
【００８２】
図１４（ｂ）は図１４（ａ）の平面画像Ｐに対応するマスクデータ３０３を示す。マスクデータ３０３は図１４（ａ）から閲覧領域Ｔに含まれる平面画像Ｐを取り出すためのデータである。マスクデータの白画素の領域は、閲覧領域Ｔかつ平面画像Ｐの領域を示す。従って、マスクデータの白画素の領域は平面画像Ｐの領域以下となる。図１４（ｂ）のマスクデータは、閲覧領域Ｔが平面画像Ｐより大きい場合であるため、図１４（ａ）の例では一致領域３０１がマスクデータ３０３の白画素の領域とほぼ等しくなっている。閲覧領域Ｔが平面画像Ｐと全く重ならない場合、マスクデータは全面が黒画素になる。閲覧領域Ｔが平面画像Ｐより小さい場合、マスクデータ３０３は白画素のみになる。このようにマスクデータ３０３の白画素と一致領域３０１は常に同じサイズ及び同じ位置になる。
【００８３】
画像重畳部３３は射影方式変換画像３０２とマスクデータ３０３でマスク処理を行う。このマスク処理は、マスクデータ３０３の白画素に対応する画素を射影方式変換画像３０２から取り出す処理である。画像重畳部３３は、射影方式変換画像３０２から白画素の位置の画素値を取り出して、表示画像の射影方式変換画像３０２と同じ位置に重畳する。
【００８４】
なお、マスクデータ３０３の黒画素と白画素の境界は、白画素から黒画素に向けて徐々に白から黒に変化する傾斜が設けられることが好適である。これにより、低解像度の全天球画像ＣＥと高解像度の平面画像Ｐとの境界を目立たなくすることができる。
【００８５】
＜画像重畳部の処理＞
図１５を用いて画像重畳部３３の処理について説明する。図１５は、全天球画像ＣＥへの平面画像Ｐの重畳を模式的に説明する図の一例である。図１５に示すように、射影方式変換部２が閲覧領域Ｔを透視投影変換した表示画像３０４、射影方式変換画像３０２（図１４（ａ））、及びマスクデータ３０３（図１４（ｂ））が画像重畳部３３に入力される。
【００８６】
画像重畳部３３はより画角が広い射影方式変換画像３０２を表示画像３０４に重畳する。マスクデータ３０３を使ったマスク処理により、マスクデータ３０３の白画素の画素位置の射影方式変換画像３０２を取り出して表示画像３０４に上書きする（この場合は、この時点で表示画像３０４の画素が損失される。）。このようにして重畳画像３０５には、低解像度の全天球画像ＣＥに高解像度の平面画像Ｐが配置される。
【００８７】
あるいは、透明なレイヤを用意して、マスクデータ３０３の白画素の画素位置の射影方式変換画像３０２を取り出して透明なレイヤに配置してもよい。この場合、表示画像３０４に損失はなく、例えばユーザＵが平面画像Ｐの表示と非表示を切り替えることができる。
【００８８】
画像重畳部３３は重畳画像３０５を出力する。重畳画像３０５には、低解像度の全天球画像ＣＥに高解像度の平面画像Ｐが配置されている。
【００８９】
なお、本実施形態では重畳の方法にも特徴がある。説明したように表示装置３０は全天球画像ＣＥの透視投影変換と平面画像Ｐの重畳を並行に行う。仮に、全天球画像ＣＥに平面画像Ｐを貼り付けてから透視投影変換を行うと、全天球画像ＣＥの解像度を平面画像Ｐと同じにする必要があり、データ量が大きくなってしまう。本実施形態では表示画像３０４が作成されてから平面画像Ｐが重畳されているので、データ量が大きくなることを抑制できる。
【００９０】
表示装置３０は、全天球画像ＣＥと平面画像Ｐの重畳を、ディスプレイ５０８の表示サイクル（例えば、１秒間に３０〜６０回）で繰り返す。こうすることで、表示装置３０は平面画像Ｐと全天球画像ＣＥを１つずつ保持しておき、ユーザＵの操作に応じた視点でリアルタイムに重畳画像３０５を生成できる。また、動画を再生できる。
【００９１】
＜全天球画像ＣＥにおける平面画像Ｐ＞
図１６は、全天球画像ＣＥに重畳された平面画像Ｐを模式的に示す図である。上記のように、平面画像Ｐは平面のまま表示画像３０４と重畳されるため、図１６のように、平面画像Ｐが立体球ＣＳに貼り付けられることはない。しかし、ユーザＵから見ると、図１６に示すように、全天球画像ＣＥと同じ中心位置、同じ半径の球体の一部に平面画像Ｐが重畳されたように見える。
【００９２】
なお、図１６のように、三次元の全天球画像ＣＥに平面画像Ｐが重畳されてもよい。マッチングにより（位置パラメータＰＰにより）平面画像Ｐが対応する経度と緯度が分かるので式（１）により表示装置３０は全天球に平面画像Ｐを貼り付けられる。この場合、奥行き情報を使った陰面消去法(いわゆるZバッファ法)等は用いず、後優先でレンダリングするとよい。
【００９３】
平面画像Ｐが複数ある場合、位置パラメータ算出部２３がそれぞれの平面画像Ｐに対して位置パラメータＰＰを算出すれば、同様に重畳できる。この場合、レンダリングの順番は広角画像を先にして、望遠を後とすることで同じ画素数のデジタルカメラ９で撮像された場合、解像度が高い平面画像Ｐの上に、解像度の低い平面画像Ｐが覆いかぶさることを回避できる。
【００９４】
＜重畳手順＞
図１７は、表示装置３０が全天球画像ＣＥに平面画像Ｐを重畳する手順を示すフローチャート図の一例である。図１７の処理は、ユーザが重畳を指示すること等によりスタートされる。ステップＳ１０〜Ｓ３０とＳ４０〜Ｓ６０は並行的に実行されるが、順番に実行されてもよい。
【００９５】
平面画像読込部２２は平面画像Ｐを読み込む（Ｓ１０）。全天球画像読込部２１は全天球画像ＣＥを読み込む（Ｓ２０）。そして、位置パラメータ算出部２３は位置パラメータＰＰを算出する（Ｓ３０）。
【００９６】
平面画像読込部２５は平面画像Ｐを読み込む（Ｓ４０）。全天球画像読込部２７は全天球画像ＣＥを読み込む（Ｓ５０）。また、視線方向画角指示部２６は視線方向と画角を受け付ける（Ｓ６０）。ステップＳ６０は随時行われる。
【００９７】
次に、射影方式変換部１は位置パラメータＰＰで平面画像Ｐに射影方式変換を施し、射影方式変換画像３０２を生成する（Ｓ７０）。
【００９８】
次に、射影方式変換部１は視線方向と画角で定まる閲覧領域Ｔ及び射影方式変換された平面画像Ｐ（一致領域）に応じてマスクデータ３０３を生成する（Ｓ８０）。
【００９９】
次に、射影方式変換部２は、閲覧領域Ｔに応じて全天球画像ＣＥを透視投影変換し、表示画像３０４を生成する（Ｓ９０）。
【０１００】
次に、画像重畳部３３はマスクデータを用いて射影方式変換画像３０２と表示画像３０４を重畳し、重畳画像３０５を生成する（Ｓ１００）。
【０１０１】
次に、画像表示部３１は重畳画像３０５を表示する（Ｓ１１０）。表示装置３０は図１７のステップＳ６０〜Ｓ１１０の処理を繰り返す。
【０１０２】
＜動画の再生に関する機能＞
次に、図１８〜図２３を用いて、全天球画像ＣＥに重畳された平面画像Ｐの再生に関する機能について説明する。図１８は、画像重畳部３３の機能をブロック状に説明する機能ブロック図の一例である。画像重畳部３３は、更に判断部３５と画像切替部３６を有している。判断部３５は、ユーザＵが重畳画像３０５に重畳された平面画像Ｐを見ると推定されるか否かを判断し、判断結果を画像切替部３６に送出する。画像切替部３６は判断結果に応じて動画読込ＯＮ又は動画読込ＯＦＦを平面画像読込部２５に通知する。
【０１０３】
＜動画の再生の判断について＞
上記のようにユーザＵが重畳画像３０５に重畳された平面画像Ｐを見ることが推定された場合、表示装置３０は動画の再生を開始する。具体的には、以下の３つの条件(i)〜(iii)が動画を再生する判断基準となる。
(i) 現在の閲覧領域Ｔの画角に対し平面画像Ｐが占める画角の比率が所定以上になった場合
(ii) 平面画像Ｐの領域が所定の画角以上となった場合
(iii) ユーザＵが平面画像Ｐをクリックした場合
なお、見ることが推定されるとは、実際にユーザＵが見る他、見る可能性がある旨を含む。また、(iii)の条件をユーザＵの閲覧のための操作に伴って、動画を再生すると称してもよい。
【０１０４】
まず「(i)現在の閲覧領域Ｔの画角に対し平面画像Ｐが占める比率が所定以上になった場合」の判断方法について説明する。
【０１０５】
図１９は、閲覧領域Ｔに対する平面画像Ｐの相対位置を説明する図の一例である。図１９（ａ）では、閲覧領域Ｔに平面画像Ｐの全体が含まれている。閲覧領域Ｔはディスプレイ５０８に表示されている全天球画像の領域なので、ユーザＵはほぼ正面から平面画像Ｐを見ている。閲覧領域の画角をａ、平面画像Ｐの画角をｂとすると、画角ａ＞画角ｂであれば、平面画像Ｐの全体と全天球画像ＣＥの一部が見えていることになる。図１９（ａ）のような状況であれば、ユーザＵが平面画像Ｐを見たいと推定される。
【０１０６】
しかし、平面画像Ｐに対して全天球画像ＣＥの方がある程度大きい場合、ユーザＵが平面画像Ｐを見たいとは判断しなくてよい。そこで、判断部３５は、例えば画角ａが画角ｂの１．２倍以下であるか否かを判断する。すなわち、画角ａが画角ｂの１．２倍以下の場合、現在の画角に対し平面画像Ｐが占める画角の比率が所定以上になったと判断する。画像切替部３６は動画再生要求ＯＮを平面画像読込部２５に送出する。画像切替部３６は、画角ａが画角ｂの１．２倍より大きいと判断された場合、動画再生要求ＯＦＦを平面画像読込部２５に送出する。
【０１０７】
閲覧領域Ｔは既知である。また、位置パラメータＰＰに平面画像Ｐの緯度・経度が登録されているので、画角ｂは位置パラメータＰＰから求められる。詳細は図２０、図２１で説明する。
【０１０８】
図１９（ｂ）では、閲覧領域Ｔの方が平面画像Ｐより狭くなっている。すなわち、ユーザＵは平面画像Ｐのみを見ている。この場合は、画角ａが画角ｂの１．２倍以下なので、当然ながら動画が再生される。
【０１０９】
図１９（ｃ）では、平面画像Ｐの上方のみが閲覧領域Ｔになっている。つまり、ユーザＵは平面画像Ｐの上方を見ている。しかし、閲覧領域Ｔが平面画像Ｐに完全に含まれているので（画角ａが画角ｂの１．２倍以下）、画像切替部３６は動画再生要求ＯＮを送出する。
【０１１０】
また、図１９（ｄ）では、閲覧領域Ｔの中心と平面画像Ｐの中心とのずれ(角度)が大きくなり、閲覧領域Ｔの一部が平面画像Ｐをはみ出している。この場合、閲覧領域Ｔに対し平面画像Ｐが小さいので（画角ａが画角ｂの１．２倍より大きい）、画像切替部３６は動画再生要求ＯＦＦ送出する。
【０１１１】
なお、動画を再生するか否かの閾値を１．２倍としたのは一例であって、１．０より大きい値であればよい。例えば、１．１〜１．５倍等のように決定できる。また、ユーザＵが閾値を設定できてもよい。
【０１１２】
図２０は、画角ａと画角ｂの求め方を説明する図の一例である。画角ａはユーザＵが操作により決定する閲覧領域Ｔにより求められる。仮想カメラＩＣから閲覧領域Ｔまでの距離をｆ、閲覧領域Ｔの対角線の長さを２Ｌとすると、画角αと、距離ｆ、及びＬには式（２）の関係がある。
Ｌｆ＝ｔａｎ（α／２）…（２）
閲覧領域Ｔの対角頂点の座標はユーザＵが操作したことで分かっているので、対角線の長さ２Ｌは容易に算出できる。距離ｆについては全天球の半径、又は、ユーザＵが操作したことで分かっている。従って、式（２）により画角αを算出できる。
【０１１３】
画角ｂも同様に算出できるが、画角ｂは閲覧領域Ｔに平面画像Ｐが一部でも含まれている場合に算出されればよい。図２１は閲覧領域Ｔと平面画像Ｐの関係を示す図である。判断部３５は、平面画像Ｐが閲覧領域Ｔに入っているか否かを４つの頂点のそれぞれで判断する。閲覧領域Ｔの４つの頂点をＡ１〜Ａ４、平面画像Ｐの４つの頂点をＢ１〜Ｂ４とする。頂点Ｂ１〜Ｂ４は例えば全天球の経度や緯度で特定されるが、ディスプレイ５０８上の座標で特定されてもよい。
【０１１４】
例えば、頂点Ｂ１については以下のように判断される。
【０１１５】
頂点Ａ１の経度≦頂点Ｂ１の経度≦頂点Ａ２の経度、かつ、
頂点Ａ１の緯度≧頂点Ｂ１の緯度≦頂点Ａ４の緯度
頂点Ｂ２、Ｂ３、Ｂ４についても同様に判断できる。対角の頂点（Ｂ１とＢ３、Ｂ２とＢ４）が閲覧領域Ｔに入っていれば、位置パラメータＰＰから式（２）により画角ｂを算出できる。図２１に示すように平面画像Ｐの頂点Ｂ１〜Ｂ４の全てが閲覧領域Ｔに入っていない場合、閲覧領域Ｔに入っている頂点Ｂ１から閲覧領域Ｔの頂点Ａ３により画角ｂを算出する。頂点Ｂ１の対角頂点が頂点Ａ３であること、頂点Ｂ２の対角頂点が頂点Ａ４であること、頂点Ｂ３の対角頂点が頂点Ａ１であること、頂点Ｂ４の対角頂点が頂点Ａ２であることは表示装置３０に設定されている。
【０１１６】
＜表示例＞
図２２は、ユーザＵが全天球画像ＣＥを拡大することで再生が開始される平面画像Ｐの例を説明する図である。図２２（ａ）では閲覧領域Ｔに小さく平面画像Ｐが含まれている。図２２（ａ）の状態では画角ａが画角ｂの１．２倍より大きいため、動画は再生されない。
【０１１７】
図２２（ｂ）では、画角ａが画角ｂの１．２倍以下となったため、動画の再生が始まる。図２２（ｃ）から図２２（ｅ）まで全天球画像ＣＥは拡大されていないため、同じ構図（画角）である。しかし、動画が再生されるためモノレールの列車３５１が右から左に徐々に移動する。
【０１１８】
つまりユーザＵが全天球画像ＣＥを拡大させ平面画像Ｐの比率が閾値以上になると、自動的に動画の再生が始まり、ユーザＵは動画により状況を把握しやすい（動きのある画像を楽しむことができる。）。また、ユーザＵが平面画像Ｐを拡大していくと動画の再生が始まるので、急に画面が動き始めるように見え、ユーザＵの注意を引くことができる。
【０１１９】
＜動作手順＞
図２３は、表示装置３０が動画を再生するか否かを制御する手順を示すフローチャート図の一例である。図２３の手順は、表示装置３０が全天球画像ＣＥを表示するとスタートする。すでに、全天球画像ＣＥに平面画像Ｐが重畳されているものとする。
【０１２０】
判断部３５は、閲覧領域Ｔが変更されたか否か、又は、マウス操作されたか否かを判断する（Ｓ２１０）。閲覧領域Ｔが変更されるとは、ユーザＵが視線方向を変更するか、拡大、又は、縮小の操作を行ったことをいう。具体的には、視線方向画角指示部２６が、ユーザＵの操作を視線方向と画角に変更して画像重畳部３３に送出する。また、単にマウス操作されたか否かを判断してもよい。これにより、閲覧領域Ｔが変更されなくても何らかのマウスイベントを契機にステップＳ２２０以降の処理が進行する。
【０１２１】
画像重畳部３３は、視線方向と画角によって閲覧領域Ｔを特定する（Ｓ２２０）。すなわち、全天球画像ＣＥのうち閲覧領域Ｔに対応する緯度と経度の範囲が特定される。
【０１２２】
次に、判断部３５は閲覧領域Ｔに平面画像Ｐの一部でも入っているか否かを判断する（Ｓ２３０）。全く入っていない場合は動画を再生する必要がないので処理はステップＳ２９０に進む。
【０１２３】
閲覧領域Ｔに一部でも平面画像Ｐが入っている場合（Ｓ２３０のＹｅｓ）、判断部３５は平面画像Ｐの画角ｂを算出する（Ｓ２４０）。また、閲覧領域の画角ａを算出する（Ｓ２５０）。
【０１２４】
そして、判断部３５は画角ａと画角ｂの比率ａ/ｂと閾値１．２を比較して、比率ａ/ｂが閾値１．２より大きいか否かを判断する（Ｓ２６０）。
【０１２５】
ステップＳ２６０の判断がＹｅｓの場合（１．２の閾値より大きい場合）、ユーザＵが平面画像Ｐを見ると推定されないので、画像切替部３６は動画読込ＯＦＦを平面画像読込部２５に通知する（Ｓ２７０）。
【０１２６】
ステップＳ２６０の判断がＮｏの場合（１．２の閾値以下の場合）、ユーザＵが平面画像Ｐを見ると推定されるので、画像切替部３６は動画読込ＯＮを平面画像読込部２５に通知する（Ｓ２８０）。
【０１２７】
画像表示部３１は、全天球画像ＣＥに動画又は静止画として平面画像Ｐが重畳された重畳画像３０５をディスプレイ５０８に表示する（Ｓ２９０）。ステップＳ２３０でＮｏと判断された場合は、平面画像Ｐは重畳されない。
【０１２８】
以上の処理によれば、ユーザＵが平面画像Ｐを大きく表示すれば動画を再生でき、別の場所を閲覧すれば動画を停止できる。動画の再生時に、動画の再生をユーザＵが制御するメニューを画像表示部３１が表示させ、ユーザＵの操作で動画の停止、再生、巻き戻し、早送り、等を受け付けてもよい。
【０１２９】
図２４は、ユーザが動画再生を操作するメニュー（ＵＩ：User Interface）の一例を示す図である。図２４のメニュー２００は、再生ボタン２０１、一時停止ボタン２０２、停止ボタン２０３、早送りボタン２０６、早戻しボタン２０５、次動画ボタン２０７、及び、前動画ボタン２０４を有する。この他、繰り返し再生ボタン等を有していてもよい。次動画ボタン２０７、及び、前動画ボタン２０４は、平面画像Ｐが複数の動画を有する場合に有効になる。なお、各ボタンのデザインは一例に過ぎない。
【０１３０】
図２４のようなメニュー２００は、動画の再生時、かつ、ユーザが動画再生領域をクリックした場合、又は、動画の再生が終了した場合、などに表示されてよい。
【０１３１】
最後まで平面画像Ｐの動画の再生が終了すると、平面画像読込部２５はフレームの最初から平面画像Ｐの読み込みを繰り返してもよいし、平面画像Ｐの読み込みを終了してもよい。
【０１３２】
＜(ii)の判断方法＞
次に、「(ii) 平面画像Ｐの領域が所定の画角以上となった場合」の判断方法について説明する。この判断は実質的に(i)と同様であり、ユーザＵが平面画像Ｐを大きく表示した場合は、平面画像Ｐを見たいと推定するという考え方に基づく。判断方法は、図２１にて説明したように、平面画像Ｐの頂点Ｂ１〜Ｂ４の座標を用いればよい。また、この座標が透視投影変換されたディスプレイ５０８上の座標を用いて判断してもよい。
【０１３３】
また、画角の比率ではなく、平面画像の中心と閲覧領域Ｔの中心との距離が閾値未満になった時に平面画像Ｐを見たいと推定してもよい。閾値は、一例として閲覧領域Ｔの画角の１/４など閲覧領域Ｔの数分の一とする。
【０１３４】
図２５は、表示装置３０が動画を再生するか否かを制御する手順を示すフローチャート図の一例である。図２５の説明では主に図２３との相違を説明する。図２５では閲覧領域Ｔの画角ａを判断部３５が算出する必要がないので、ステップＳ２５０は不要になる。
【０１３５】
また、ステップＳ２６０−２では、判断部３５は画角ｂが閾値Ｔｈより大きいか否かを判断する。ステップＳ２６０−２でＮｏと判断される場合（画角ｂが閾値以下の場合）、ユーザＵが平面画像Ｐを見ると推定されないので、画像切替部３６は動画読込ＯＦＦを平面画像読込部２５に通知する（Ｓ２７０）。
【０１３６】
ステップＳ２６０−２でＹｅｓと判断される場合（画角ｂが閾値より大きい場合）、ユーザＵが平面画像Ｐを見ると推定されるので、画像切替部３６は動画読込ＯＮを平面画像読込部２５に通知する（Ｓ２８０）。
【０１３７】
閾値Ｔｈは例えば、ユーザＵが対象を認識できる程度の画素数に対応する画角である。一般的なディスプレイ５０８の画素数を７６８×１０２４とすると例えば５００画素数に対応する画角などに決定できる。こうすることで、平面画像Ｐがある程度大きく写っている場合に動画を再生できる。
【０１３８】
＜(iii)の判断方法＞
次に、「(iii) ユーザＵが平面画像Ｐをクリックした場合」の判断方法について説明する。ユーザＵが平面画像Ｐをクリックした場合、ユーザＵが平面画像Ｐを見たいことが明らかになるので、(i)(ii)の条件を満たしていなくても、動画を再生すべきと考えられる。なお、タッチパネルを備えた機器に表示される場合には平面画像Ｐがタッチされた場合に同様の動作を行う。また、ユーザＵが平面画像Ｐを見たいことが明らかなので、射影方式変換部２が平面画像Ｐを閲覧領域Ｔの全面に表示すれば、平面画像Ｐが正面になるようにユーザＵが操作する必要がなくなり便利である。具体的には図２２（ａ）の平面画像ＰをユーザＵがクリックすることで、図２２（ａ）から図２２（ｂ）へ閲覧領域Ｔを変えるような表示方法である。このような表示方法を平面画像Ｐの自動拡大と称して説明する。
【０１３９】
図２６を用いて平面画像Ｐの自動拡大について説明する。図２６は、閲覧領域Ｔへの平面画像Ｐの自動拡大の処理を説明する図の一例である。平面画像Ｐにマウスカーソル３１１が重なった状態でユーザＵがクリックしたものとする。タッチパネルの場合は、ユーザＵが指で平面画像Ｐをタップすることが相当する。マウスカーソルやタッチパネルをポインティングデバイスという。以下では説明を簡単にするため、マウスカーソル３１１を例にして説明する。
【０１４０】
視線方向画角指示部２６はマウスカーソル３１１がクリックされたディスプレイ５０８上の座標を全天球画像ＣＥの三次元座標に変換する。この変換は、透視投影変換と逆の変換に相当する。判断部３５は、マウスカーソル３１１の三次元座標を緯度・経度に変換して、マウスカーソル３１１の座標が平面画像Ｐに含まれるか否かを判断する。判断は以下のように行う。
【０１４１】
頂点Ｂ１の経度≦マウスカーソルの座標の経度≦頂点Ｂ２の経度、かつ、
頂点Ｂ１の緯度≧マウスカーソルの座標の緯度≦頂点Ｂ４の緯度
判断部３５は、マウスカーソル３１１の座標が平面画像Ｐに含まれている場合、平面画像Ｐがクリックされたと判断する。
【０１４２】
この場合、画像表示部３１は平面画像Ｐを自動拡大する。射影方式変換部２は、平面画像Ｐを徐々に拡大して閲覧領域Ｔに一致させる画像処理を行う。具体的には、頂点Ａ１と頂点Ｂ１を結ぶ線３１２、頂点Ａ２と頂点Ｂ２を結ぶ線３１２、頂点Ａ３と頂点Ｂ３を結ぶ線３１２、頂点Ａ４と頂点Ｂ４を結ぶ線３１２、をそれぞれ等間隔に補間する。図２６では線３１２が４分割されている。補間により得られた線３１２上の補間点をＰ１ｉ〜P４ｉとする（ｉは１〜４の整数）。
【０１４３】
平面画像Ｐを自動拡大する処理は閲覧領域Ｔの画角ａを小さくする処理である。射影方式変換部２は、補間点Ｐ１３・Ｐ２３・Ｐ３３・Ｐ４３を結ぶ領域に閲覧領域Ｔを縮小する（画角ａを小さくする）。次に、補間点Ｐ１２・Ｐ２２・Ｐ３２・Ｐ４２を結ぶ領域に閲覧領域Ｔを縮小する。次に、補間点Ｐ１１・Ｐ２１・Ｐ３１・Ｐ４１を結ぶ領域に閲覧領域Ｔを縮小する。次に、平面画像Ｐの頂点Ｂ１・Ｂ２・Ｂ３・Ｂ４を結ぶ領域に閲覧領域Ｔを縮小する。
【０１４４】
このような画像処理により、ユーザＵには平面画像Ｐが徐々に大きくなるように見える。閲覧領域Ｔに対し透視投影変換が行われディスプレイ５０８の全面（表示用のソフトウェアの全面）に表示されるため、ユーザＵには平面画像Ｐが大きく見える。
【０１４５】
なお、閲覧領域Ｔに平面画像Ｐの全体が含まれていない場合も同様に自動拡大できる。図２７は、閲覧領域Ｔに平面画像Ｐの全体が含まれていない場合の平面画像Ｐの自動拡大の処理を説明する図の一例である。図２７では、平面画像Ｐの頂点Ｂ４しか閲覧領域Ｔに入っていない。しかし、平面画像Ｐの頂点Ｂ１〜Ｂ３の座標は閲覧領域Ｔに表示されていないだけで既知であるため、図２６と同様に自動拡大できる。
【０１４６】
＜動作手順＞
図２８は、表示装置３０が動画を再生するか否かを判断する手順を示すフローチャート図の一例である。なお、図２８の説明では主に図２３との相違を説明する。
【０１４７】
ステップＳ２１０、Ｓ２２０の処理は図２３と同様でよい。次に、判断部３５は平面画像Ｐがクリックされたか否かを判断する（Ｓ２２２）。ステップＳ２２２の判断がＮｏの場合、以降の処理は図２３と同様である。
【０１４８】
ステップＳ２２２の判断がＹｅｓの場合、画像切替部３６は動画読込ＯＮを平面画像読込部２５に通知する（Ｓ２２４）。これにより動画再生ありと判断される。
【０１４９】
そして、射影方式変換部２は平面画像Ｐを自動拡大する（Ｓ２２６）。以上の処理により、ユーザＵは平面画像Ｐが正面になるように操作する必要がなくなる。
【０１５０】
なお、平面画像Ｐをクリックした場合に動画を再生するか否かはユーザＵが設定できることが好ましい。動画を再生させた後、ユーザＵが別の場所を表示させステップＳ２６０の条件を満たすようになると動画を停止できる。この場合も動画の表示時に動作用のメニューが表示されてよい。
【０１５１】
＜平面画像Ｐが静止画、全天球画像ＣＥが動画の場合＞
本実施例では平面画像Ｐを動画、全天球画像ＣＥを静止画として説明したが、平面画像Ｐが静止画、全天球画像ＣＥが動画でも同様の処理で実現できる。この場合、全天球画像読込部２７が全天球画像の動画のフレームを読み出せばよい。例えば、美術館の館内の全天球画像を表示装置３０が表示する際、絵画は平面画像Ｐで用意され、館内の全体が撮像された全天球画像ＣＥが動画で用意される。平面画像Ｐには入場者が写っていないのでユーザＵは平面画像Ｐを拡大して閲覧すると共に、全天球画像ＣＥの入場者が移動する様子などから雰囲気を把握しやすい。
【０１５２】
この場合、上記(i)〜(iii)の条件が満たされるまで全天球画像は動画として表示され、(i)〜(iii)の条件が満たされると静止画として表示される。これにより、ユーザＵが平面画像Ｐを大きく表示させると全天球画像が静止画になるので見やすくなる。
【０１５３】
また、平面画像Ｐと全天球画像ＣＥの両方が動画でもよい。この場合は、上記(i)〜(iii)の条件が満たされるまで全天球画像ＣＥと平面画像Ｐは動画として表示され、(i)〜(iii)の条件が満たされると全天球画像ＣＥと平面画像Ｐが静止画として表示される。これにより、ユーザＵが平面画像Ｐを大きく表示させると全天球画像ＣＥが静止画になるので見やすくなる。
【０１５４】
＜動画再生のメタデータ＞
図２４ではメニュー２００によりユーザが動画の再生を操作できると説明したが、動画の再生に関するメタデータがあれば表示装置３０がメタデータに従って動画を再生できる。動画再生のメタデータとはどのように動画を再生するかを指定するデータである。
【０１５５】
図２９は、動画再生のメタデータを説明する図の一例である。動画再生のメタデータは再生開始時刻、再生終了時刻、再生方向、再生速度、繰返し有無、繰返し回数、繰返し方法、及び、停止後の状態を含む。適宜、図２９（ａ）〜図２９（ｃ）を参照して説明する。
・再生開始時刻
図２９（ａ）に示すように、動画の再生を動画の最初からではなく途中から再生するためのパラメータである。時刻又はフレーム番号で指定される。再生開始時刻が指定されない場合の初期値はゼロに設定される。
・再生終了時刻
動画の再生を最後までではなく途中で終了するためのパラメータである。時刻又はフレーム番号で指定される。再生開始時刻が指定されない場合の初期値は動画の長が設定される。動画再生時刻と動画終了時刻は動画ファイルの一部だけを再生したい場合に指定される。実際に再生される動画は再生開始時刻から再生終了時刻の間となる。
・再生方向
動画再生開始時の再生方向を示す。正方向又は逆方向がある。
・再生速度
スロー再生、早送り再生のためのパラメータである。通常の再生速度は１．０であり、１未満（例えば、０．５）だとスロー再生、１より大きい（例えば２．０）と早送り再生である。
・繰返し有無
動画再生時に再生を繰り返すか否かを指定するパラメータである。図２９（ｂ）では先頭から後尾まで繰返し再生される様子が示されている。繰り返しが無しの場合、先頭から始まって後尾まで再生したら動画の再生は終了する。再生方向が逆方向で繰返し無しなら後尾から先頭まで再生したら動画の再生は終了する。
・繰返し回数
動画の再生の繰返しの回数である。指定回数繰り返したら動画の再生は終了する。繰返し回数には無限に相当する回数の設定が可能であり、この場合は停止条件が成立するまで動画が繰返し再生される。
・繰返し方法
繰返して再生する際の再生方法を指定するパラメータである。ループ再生、交互再生がある。ループ再生は同じ方向に再生することであり、交互再生は図２９（ｃ）に示すように１回の再生ごとに再生方向を反転することをいう。ループ再生及び交互再生のいずれも再生方向が逆再生の場合は再生方向が逆になる。
・停止後の状態
動画の再生が停止した時の状態を指定するパラメータである。そのまま、先頭（逆方向再生の場合は後尾）、及び、透明の状態がある。
【０１５６】
従って、全天球画像にメタデータが添付されることで、画像重畳サーバ７０が表示装置３０における動画の再生を制御できる。
【０１５７】
図３（ｃ）のように、画像重畳サーバ７０と表示装置３０が通信する構成では、画像重畳サーバ７０又は表示装置３０の少なくとも一方が位置パラメータと共にメタデータを保存できる。
【０１５８】
＜まとめ＞
以上説明したように、本実施例の表示装置３０によれば、ユーザが平面画像Ｐを見ると推定されると動画が再生されるので、ユーザが平面画像Ｐを見たい場合に動画を再生でき、不要な動画の再生を抑制できる。また、ユーザは動画を最初から閲覧できる。また、ユーザが平面画像Ｐを拡大していくと動画の再生が始まるので、急に画面が動き始めるように見え、ユーザの注意を引くことができる。
【実施例２】
【０１５９】
本実施例では平面画像Ｐが存在する旨を示す枠を平面画像Ｐと共に全天球画像ＣＥに表示する表示装置３０について説明する。本実施例において、実施例１で同一の符号を付して説明した構成要素については、同様の機能を果たすので、一度説明した構成要素の説明を省略あるいは相違点についてのみ説明する場合がある。
【０１６０】
平面画像Ｐが全天球画像ＣＥのどこに重畳されているかわかりにくい場合がある。また、静止画の平面画像Ｐも重畳されている場合、ユーザＵが動画と静止画のどちらの平面画像Ｐかを判断しにくい。そこで、平面画像Ｐが存在する旨を示す枠４０を画像重畳部３３が表示することが有効である。また、動画と静止画で枠４０の態様を変更すれば、ユーザＵは枠４０をみて動画か静止画かを判断できる。
【０１６１】
動画及び静止画の平面画像Ｐは全天球画像ＣＥよりも高画質であり、ユーザＵが全天球画像ＣＥを拡大して平面画像Ｐを大きく表示させると、より高画質（例えば高解像度）の画像を閲覧できる。
【０１６２】
枠４０は、平面画像Ｐの射影方式変換と同様に表示することができる。射影方式変換部１が平面画像Ｐの外縁の矩形を射影方式変換すれば枠４０が得られる。射影方式変換部１は、位置パラメータＰＰで平面画像Ｐを射影方式変換する場合と同様に外縁の矩形を射影方式変換する。
【０１６３】
図３０は、射影方式変換により得られた枠４０を模式的に説明する図の一例である。射影方式変換部１は、正距円筒図法の全天球画像ＣＥと同じサイズ（画素数）の透明レイヤ３０８を用意しておく。このレイヤに平面画像Ｐの外縁の矩形３２１を射影方式変換する。なお、位置パラメータＰＰでｘ＝０．５、−０．５又はｙ＝０．５、−０．５の値を持つ格子の緯度と経度に枠４０となる点線を描画してもよい。
【０１６４】
射影方式変換部１は動画と静止画により枠４０の態様を変える。例えば、動画の場合は赤、静止画の場合は青などのように色を変える。また、動画の場合は実線、静止画の場合は点線などのように線種を変えてもよい。線の太さを変えてもよい。枠４０の近くに動画か静止画かを文字で表示してもよい。なお、平面画像読込部２５は平面画像Ｐが動画なのか静止画なのかを射影方式変換部１に通知する。動画又は静止画の区別は例えばファイルの拡張子（jpegは静止画、mpegは動画）により判断してもよいし、平面画像Ｐのファイル名から判断してもよい。
【０１６５】
図３１は、枠４０の重畳を模式的に説明する図の一例である。表示画像３０４、射影方式変換画像３０２、マスクデータ３０３に加え、透明レイヤ３０８が画像重畳部３３に入力される。表示画像３０４への射影方式変換画像３０２の重畳方法は図１５で説明した。
【０１６６】
画像重畳部３３はマスクデータ３０３を使って、透明レイヤ３０８からマスクデータ３０３の白画素に対応する領域を取り出す。そして、取り出した透明レイヤ３０８を重畳画像３０５に重ね合わせることで、平面画像Ｐの外縁を表す枠４０を表示する。
【０１６７】
なお、例えばユーザＵの操作によって、枠４０の表示と非表示が切り替えられてもよい。この場合、画像重畳部３３は透明なレイヤの表示と非表示をユーザＵの操作に応じて切り替える。また、マウスカーソルが平面画像Ｐと重なった場合に、重なった平面画像Ｐの枠４０が表示されてもよい。
【０１６８】
図３２は、動画と静止画で異なる態様で表示された枠４０の一例を示す図である。動画は点線の枠４０ａで囲まれているが、静止画は実線の枠４０ｂで囲まれている。ユーザは動画か静止画かを容易に判別できる。また、平面画像Ｐの位置及びサイズを判別できる。
【０１６９】
図３３は、表示装置３０が全天球画像ＣＥに平面画像Ｐの枠４０を表示する手順を示すフローチャート図の一例である。図３３の説明では主に図１７との相違を説明する。ステップＳ１０〜Ｓ３０の処理は図１７と同様である。ただし、ステップＳ３０では、位置パラメータ算出部２３は全ての平面画像Ｐの位置パラメータＰＰを算出する。
【０１７０】
次のステップＳ４０〜Ｓ９０は図１７と同様でよい。ステップＳ９０に続いて、射影方式変換部１は、動画か静止画かによって異なる平面画像Ｐの外縁の矩形３２１を用意し、位置パラメータＰＰで外縁の矩形３２１を透明レイヤ３０８に射影方式変換する（Ｓ９２）。これにより、透明レイヤ３０８に動画と静止画によって異なる枠４０が得られる。
【０１７１】
次に、画像重畳部３３は重畳画像３０５を生成し（Ｓ１００）、マスクデータ３０３を用いて透明レイヤ３０８から枠４０を抽出する（Ｓ１０２）。
【０１７２】
画像重畳部３３は全ての平面画像Ｐを重畳したか否かを判断する（Ｓ１０４）。全ての平面画像Ｐを重畳するまで、処理はステップＳ７０に戻りステップＳ７０〜Ｓ１０２が実行される。
【０１７３】
以上のようにして、表示装置３０は全天球画像ＣＥに平面画像Ｐを重畳すると共に、動画と静止画で異なる態様の枠４０を表示できる。なお、枠４０は、上記(i)〜(iii)の条件が満たされた場合に消去されることが好ましい。消去されることで、ユーザＵが平面画像Ｐを見ることを阻害しなくなる。
【０１７４】
また、画像重畳部３３は、ユーザＵがマウスカーソルを平面画像Ｐと重ねた場合にだけ枠４０を表示してもよいし、逆に、ユーザＵがマウスカーソルを平面画像Ｐと重ねていない場合にだけ表示してもよい。ユーザＵはマウスカーソルを移動させることで枠４０の表示と非表示を切り替えることができる。また、画像重畳部３３は、閲覧領域Ｔが変更されてから所定時間を経過するまで枠４０を表示し、その後、枠４０を消去してもよい。
【０１７５】
また、枠４０に焦点距離を表示してもよい。枠４０と焦点距離情報が平面画像Ｐの近くに表示されるので、ユーザＵはどのくらいの焦点距離の平面画像Ｐが重畳されているか把握できる。
【０１７６】
＜まとめ＞
以上説明したように、本実施例の表示装置３０によれば、平面画像Ｐが重畳されている位置を枠４０などで表示できる。また、ユーザは動画と静止画の判断が可能になる。
【０１７７】
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【０１７８】
例えば、上記の実施例は自動的に動画の再生と停止を切り替えるものであるが、ユーザＵが意図的に動画の再生・停止を指定してもよい。
【０１７９】
また、全天球画像の表示はブラウザソフトウェアで行ってもよいし、全天球画像ＣＥを表示するためのアプリケーションソフトで行ってもよい。
【０１８０】
また、図３（ｃ）の構成において、表示用の位置パラメータの作成までを画像重畳サーバ７０で行って、作成された表示用の位置パラメータ及びフレームＩＤをメタデータとして表示装置３０に戻し、表示装置３０が該メタデータ、全天球画像、平面画像（動画を含む）を用いて表示してよい。
【０１８１】
また、本実施形態の全天球画像は閲覧領域Ｔに表示しきない画角の画像データであればよい。例えば、水平方向にだけ１８０度〜３６０度の画角を有する画像でもよい。
【０１８２】
また、図１２、１８などの構成例は、全天球カメラ２０、表示装置３０、及びデジタルカメラ９による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。全天球カメラ２０、表示装置３０、及びデジタルカメラ９の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。図１２，１８の処理に関しては表示装置３０と画像重畳サーバ７０のどちらが処理の一部又は全てを行ってもよい。
【０１８３】
例えば、画像重畳部３３までの処理を画像重畳サーバ７０が行い、画像表示部３１が別体の表示装置３０であってもよい。
【０１８４】
なお、判断部３５は判断手段の一例であり、画像切替部３６は表示切替手段の一例であり、視線方向画角指示部２６は操作受付手段の一例であり、射影方式変換部２は画像表示手段の一例であり、画像重畳部３３は重畳画像表示手段の一例である。
【符号の説明】
【０１８５】
７        変換表示部
８        位置パラメータ作成部
９        デジタルカメラ
２０      全天球カメラ
２３      位置パラメータ算出部
２４      位置パラメータ書出部
２６      視線方向画角指示部
３０      表示装置
３２      画像重畳部
３３      画像重畳部
３５      判断部
３６      画像切替部
１００    画像処理システム
【先行技術文献】
【特許文献】
【０１８６】
【特許文献１】特開２０１６−９６４８７号公報
【図１】
2018110375.tif 000003
【図２】
2018110375.tif 000004
【図３】
2018110375.tif 000005
【図４】
2018110375.tif 000006
【図５】
2018110375.tif 000007
【図６】
2018110375.tif 000008
【図７】
2018110375.tif 000009
【図８】
2018110375.tif 000010
【図９】
2018110375.tif 000011
【図１０】
2018110375.tif 000012
【図１１】
2018110375.tif 000013
【図１２】
2018110375.tif 000014
【図１３】
2018110375.tif 000015
【図１４】
2018110375.tif 000016
【図１５】
2018110375.tif 000017
【図１６】
2018110375.tif 000018
【図１７】
2018110375.tif 000019
【図１８】
2018110375.tif 000020
【図１９】
2018110375.tif 000021
【図２０】
2018110375.tif 000022
【図２１】
2018110375.tif 000023
【図２２】
2018110375.tif 000024
【図２３】
2018110375.tif 000025
【図２４】
2018110375.tif 000026
【図２５】
2018110375.tif 000027
【図２６】
2018110375.tif 000028
【図２７】
2018110375.tif 000029
【図２８】
2018110375.tif 000030
【図２９】
2018110375.tif 000031
【図３０】
2018110375.tif 000032
【図３１】
2018110375.tif 000033
【図３２】
2018110375.tif 000034
【図３３】
2018110375.tif 000035