(57)【要約】【課題】低精細な全体画像上に高精細な部分画像を重畳して表示する技術において、全体画像等の広角動画及び部分画像等の狭角動画のデータ通信量を抑制しながらも、部分画像の精細度をできるだけ下げないようにして閲覧者がよりはっきりと注目する領域を閲覧することができるようにする。【解決手段】被写体を撮影して所定の精細度の動画データを得る全天球撮影装置１は、所定の精細度の動画データに係る動画の全て又は一部である広角動画を低精細に変更し（Ｓ１４０）、広角動画の一部の領域である狭角動画を低精細に変更後の広角動画よりも高精細な状態で射影方式変換し（Ｓ１５０）、低精細な広角動画のフレーム及び前記高精細な狭角動画のフレームのそれぞれの精細度を下げて一フレームに結合し（Ｓ１６０）、低精細に変更前の広角動画のフレームとしての広角静止画の前記一部の領域である狭角静止画を前記射影方式変換する（Ｓ２１０）。【選択図】図１８
2020162118.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影して所定の精細度の動画データを得る撮影装置であって、
前記所定の精細度の動画データに係る動画の全て又は一部である広角動画を低精細に変更す変更手段と、
前記広角動画の一部の領域である狭角動画を前記変更手段によって低精細に変更後の広角動画よりも高精細な状態で射影方式変換する射影方式変換手段と、
前記低精細な広角動画のフレーム及び前記高精細な狭角動画のフレームのそれぞれの精細度を下げて一フレームに結合する結合手段と、
を有し、
前記射影方式変換手段は、前記変更手段によって低精細に変更前の広角動画のフレームとしての広角静止画の前記一部の領域である狭角静止画を前記射影方式変換することを特徴とする撮影装置。
【請求項２】
請求項１に記載の撮影装置であって、
画像データを管理する画像管理システムが受信するように、前記結合手段によって一フレームに結合された前記広角動画のフレームデータ及び前記狭角動画のフレームデータを送信する送信手段と、
通信端末が送信した静止画の要求を受信する受信手段と、
を有し、
前記受信手段による前記静止画の要求の受信に基づき、前記送信手段は前記画像管理システムが受信するように前記射影方式変換手段による変換後の前記狭角静止画のデータを送信することを特徴とする撮影装置。
【請求項３】
前記狭角動画の一フレームの全領域が所定領域よりも小さい場合には、前記射影方式変換手段は、前記狭角静止画を前記射影方式変換しない、又は、前記送信手段は、前記射影方式変換手段による変換後の前記狭角静止画のデータを送信しないことを特徴とする撮影装置。
【請求項４】
前記広角動画は、前記被写体を撮影して得られた所定の精細度の動画データのフレームの全領域によって構成されていることを特徴とする請求項１乃至３のいずれか一項に記載の撮影装置。
【請求項５】
前記射影方式変換手段は、前記所定の精細度のままの状態で前記狭角静止画を前記射影方式変換することを特徴とする請求項１乃至４のいずれか一項に記載の撮影装置。
【請求項６】
前記撮影装置は、被写体を撮影して全天球画像データを得る全天球撮影装置であることを特徴とする請求項１乃至５のいずれか一項に記載の撮影装置。
【請求項７】
請求項１乃至６のいずれか一項に記載の撮影装置と、
前記画像管理システムと、
を有することを特徴とする撮影システム。
【請求項８】
請求項１乃至６のいずれか一項に記載の撮影装置と、
前記画像管理システムと、
前記画像管理システムから、前記広角動画のデータ及び前記狭角動画のデータを受信して、前記広角動画上の前記一部の領域に前記狭角動画を合成して表示し、前記画像管理システムから、前記狭角静止画のデータを受信して、前記広角画像上の前記一部の領域に前記狭角画像を合成して、前記狭角動画に替えて狭角静止画を表示する通信端末と、
を有することを特徴とする撮影システム。
【請求項９】
被写体を撮影して所定の精細度の動画データを処理する画像処理方法であって、
前記所定の精細度の動画データに係る動画の全て又は一部である広角動画を低精細に変更す変更ステップと、
前記広角動画の一部の領域である狭角動画を前記変更ステップによって低精細に変更後の広角動画よりも高精細な状態で射影方式変換する射影方式変換ステップと、
前記低精細な広角動画のフレーム及び前記高精細な狭角動画のフレームのそれぞれの精細度を下げて一フレームに結合する結合ステップと、
を実行し、
前記射影方式変換ステップは、前記変更ステップによって低精細に変更前の広角動画のフレームとしての広角静止画の前記一部の領域である狭角静止画を前記射影方式変換する処理を含むことを特徴とする画像処理方法。
【請求項１０】
コンピュータに、請求項１０に記載の方法を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置、撮影システム、画像処理方法、及びプログラムに関するものである。
【背景技術】
【０００２】
回転台を用いたパン・チルト及びズームレンズで構成されるカメラシステムの代わりに魚眼レンズなどを使用して被写体を撮影して得られた広角画像のデータを配信し、その画像を受信側のビューアーで部分画像を生成して表示する電子的にパン・チルト・ズームする技術が既に知られている。
【０００３】
ところが、被写体を撮影して得た広角画像のデータを配信する技術では、注目されていない領域の画像のデータも配信するため、データ通信量が多くなる問題がある。
【０００４】
これに対して、通信量を減らすべく、撮影装置が、広角画像の全体を縮小した低精細な全体画像と、広角画像内の注目する領域である高精細な部分画像のデータとを配信し、受信側で全体画像に部分画像を嵌め込む技術が開示されている（特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、全体画像及び部分画像が動画の場合、全体画像を低精細にしても、データ通信量を減らすことは難しい。一方で、閲覧者は常に動画を入念に閲覧するわけではなく、注目した動画が再生された時に、部分画像だけでも入念に閲覧することができればよいというニーズがある。
【０００６】
本発明は、上述した事情に鑑みてなされたもので、全体画像等の広角動画及び部分画像等の狭角動画のデータ通信量を抑制しながらも、部分画像の精細度をできるだけ下げないようにして閲覧者がよりはっきりと注目する領域を閲覧することができるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
請求項１に係る発明は、被写体を撮影して所定の精細度の動画データを得る撮影装置であって、前記所定の精細度の動画データに係る動画の全て又は一部である広角動画を低精細に変更す変更手段と、前記広角動画の一部の領域である狭角動画を前記変更手段によって低精細に変更後の広角動画よりも高精細な状態で射影方式変換する射影方式変換手段と、前記低精細な広角動画のフレーム及び前記高精細な狭角動画のフレームのそれぞれの精細度を下げて一フレームに結合する結合手段と、を有し、前記射影方式変換手段は、前記変更手段によって低精細に変更前の広角動画のフレームとしての広角静止画の前記一部の領域である狭角静止画を前記射影方式変換することを特徴とする撮影装置である。
【発明の効果】
【０００８】
以上説明したように本発明によれば、広角動画及び狭角動画のデータ通信量を抑制しながらも、狭角画像の精細度をできるだけ下げないようにすることで閲覧者がよりはっきりと注目する領域を閲覧することができるという効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】（ａ）は全天球撮影装置の左側面図であり、（ｂ）は全天球撮影装置の背面図であり、（ｃ）は全天球撮影装置の平面図であり、（ｄ）は全天球撮影装置の底面図である。
【図２】全天球撮影装置の使用イメージ図である。
【図３】（ａ）は全天球撮影装置で撮影された半球画像（前）、（ｂ）は全天球撮影装置で撮影された半球画像（後）、（ｃ）は正距円筒図法により表された画像を示した図である。
【図４】（ａ）は正距円筒射影画像で球を被う状態を示した概念図、（ｂ）は全天球画像を示した図である。
【図５】全天球画像を３次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。
【図６】（ａ）は図５の立体斜視図、（ｂ）は通信端末のディスプレイに所定領域の画像が表示されている状態を示す図である。
【図７】部分画像パラメータの概略を説明する図である。
【図８】本実施形態の撮影システムの構成の概略図である。
【図９】全天球撮影装置のハードウェア構成図である。
【図１０】仲介端末のハードウェア構成図である。
【図１１】スマートフォンのハードウェア構成図である。
【図１２】画像管理システムのハードウェア構成図である。
【図１３】本実施形態の全天球撮影装置の機能ブロック図である。
【図１４】本実施形態のスマートフォンの機能ブロック図である。
【図１５】画像管理システムの機能ブロック図である。
【図１６】（ａ）水平垂直画角閾値情報の概念図、（ｂ）水平画角と垂直画角の説明図である。
【図１７】全体動画及び部分動画の各データの生成及び再生の処理を示したシーケンス図である。
【図１８】全天球撮影装置が行う画像処理の過程における画像の概念図である。
【図１９】部分画像パラメータを説明する図である。
【図２０】全体動画と部分動画の各フレーム画像が結合された状態を示す概念図である。
【図２１】スマートフォンが行う画像処理の過程における画像の概念図である。
【図２２】部分平面から部分立体球の作成を説明する図である。
【図２３】本実施形態の部分立体球作成を行わずに、全天球画像に部分画像を重畳した場合の二次元の概念図である。
【図２４】本実施形態の部分立体球作成を行って、全天球画像に部分画像を重畳した場合の二次元の概念図である。
【図２５】（ａ）重畳表示しない場合のワイド画像の表示例、（ｂ）重畳表示しない場合のテレ画像の表示例、（ｃ）重畳表示する場合のワイド画像の表示例、（ｄ）重畳表示する場合のテレ画像の表示例を示した概念図である。
【図２６】部分静止画のデータの生成及び再生の処理を示したシーケンス図である。
【発明を実施するための形態】
【００１０】
以下、図面を用いて、本発明の実施形態について説明する。
【００１１】
〔実施形態の概要〕
以下、本実施形態の概要について説明する。
【００１２】
図１乃至図６を用いて、全天球画像の生成方法について説明する。
【００１３】
まず、図１を用いて、全天球撮影装置の外観を説明する。全天球撮影装置は、全天球（３６０°）パノラマ画像の元になる撮影画像を得るためのデジタルカメラである。なお、図１（ａ）は全天球撮影装置の右側面図であり、図１（ｂ）は全天球撮影装置の正面図であり、図１（ｃ）は全天球撮影装置の平面図であり、図１（ｄ）は全天球撮影装置の底面図である。
【００１４】
図１（ａ），図１（ｂ），図１（ｃ），図１（ｄ）に示されているように、全天球撮影装置の上部には、正面側（前側）に魚眼型のレンズ１０２ａ及び背面側（後側）に魚眼型のレンズ１０２ｂが設けられている全天球撮影装置の内部には、後述の撮像素子（画像センサ）１０３ａ，１０３ｂが設けられており、それぞれレンズ１０２ａ、１０２ｂを介して被写体や風景を撮影することで、半球画像（画角１８０°以上）を得ることができる。全天球撮影装置の正面側と反対側の面には、シャッターボタン１１５ａが設けられている。また、全天球撮影装置の側面には、電源ボタン１１５ｂ、Wi-Fi(Wireless Fidelity)ボタン１１５ｃ、及び撮影モード切替ボタン１１５ｄが設けられている。シャッターボタン１１５ａ、電源ボタン１１５ｂ、及びWi-Fiボタン１１５ｃは、いずれも押下される度に、オンとオフが切り替えられる。また、撮影モード切替ボタン１１５ｄは、押下される度に、静止画の撮影モード、動画の撮影モード及び動画の配信モードが切り替えられる。なお、シャッターボタン１１５ａ、電源ボタン１１５ｂ、Wi-Fiボタン１１５ｃ、及び撮影モード切替ボタン１１５ｄは、操作部１１５の一種であり、操作部１１５は、これらのボタンに限られない。
【００１５】
また、全天球撮影装置の底部１５０の中央には、カメラ用三脚に全天球撮影装置を取り付けるための三脚ねじ穴１５１が設けられている。また、底部１５０の左端側には、Micro USB(Universal Serial Bus)端子１５２が設けられている。底部１５０の右端側には、HDMI(High-Definition Multimedia Interface)端子が設けられている。なお、HDMIは登録商標である。
【００１６】
次に、図２を用いて、全天球撮影装置の使用状況を説明する。なお、図２は、全天球撮影装置の使用イメージ図である。全天球撮影装置は、図２に示されているように、例えば、利用者が手に持って利用者の周りの被写体を撮影するために用いられる。この場合、図１に示されている撮像素子１０３ａ及び撮像素子１０３ｂによって、それぞれ利用者の周りの被写体が撮像されることで、２つの半球画像を得ることができる。
【００１７】
次に、図３及び図４を用いて、全天球撮影装置で撮影された画像から正距円筒射影画像ＥＣ及び全天球画像ＣＥが作成されるまでの処理の概略を説明する。なお、図３（ａ）は全天球撮影装置で撮影された半球画像（前側）、図３（ｂ）は全天球撮影装置で撮影された半球画像（後側）、図３（ｃ）は正距円筒図法により表された画像（以下、「正距円筒射影画像」という）を示した図である。図４（ａ）は正距円筒射影画像で球を被う状態を示した概念図、図４（ｂ）は全天球画像を示した図である。
【００１８】
図３（ａ）に示されているように、撮像素子１０３ａによって得られた画像は、後述の魚眼レンズ１０２ａによって湾曲した半球画像（前側）となる。また、図３（ｂ）に示されているように、撮像素子１０３ｂによって得られた画像は、後述の魚眼レンズ１０２ｂによって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは、全天球撮影装置によって合成され、図３（ｃ）に示されているように、正距円筒射影画像ＥＣが作成される。
【００１９】
そして、OpenGL ES（Open Graphics Library for Embedded Systems）が利用されることで、図４（ａ）に示されているように、正距円筒射影画像が球面を覆うように貼り付けられ、図４（ｂ）に示されているような全天球画像ＣＥが作成される。このように、全天球画像ＣＥは、正距円筒射影画像ＥＣが球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2-Dimensions)および３Ｄ(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球画像ＣＥは、静止画であっても動画であってもよい。本実施形態において、特段の説明がない場合には、「画像」と示した場合には、「静止画」と「動画」の両方が含まれる。
【００２０】
以上のように、全天球画像ＣＥは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球画像ＣＥの一部の所定領域（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図５及び図６を用いて説明する。
【００２１】
なお、図５は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球画像ＣＥに対して、その画像を見るユーザの視点の位置に相当するものである。また、図６（ａ）は図５の立体斜視図、図６（ｂ）はディスプレイに表示された場合の所定領域画像を表す図である。また、図６（ａ）では、図４に示されている全天球画像が、三次元の立体球ＣＳで表わされている。このように生成された全天球画像ＣＥが、立体球ＣＳであるとすると、図５に示されているように、仮想カメラＩＣが全天球画像ＣＥの内部に位置している。全天球画像ＣＥにおける所定領域Ｔは、仮想カメラＩＣの撮影領域であり、全天球画像ＣＥを含む三次元の仮想空間における仮想カメラＩＣの画角を含む位置座標（ｘ(rH)，ｙ(rV)，画角α(angle)）を示す所定領域情報によって特定される。所定領域Ｔのズームは、画角αの範囲（円弧）を広げたり縮めたりすることで表現することができる。また、所定領域Ｔのズームは、仮想カメラＩＣを全天球画像ＣＥに近づいたり、遠ざけたりすることで表現することもできる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。
【００２２】
そして、図６（ａ）に示されている所定領域画像Ｑは、図６（ｂ）に示されているように、所定のディスプレイに、仮想カメラＩＣの撮影領域の画像として表示される。図６（ｂ）に示されている画像は、初期設定（デフォルト）された所定領域情報によって表された所定領域画像である。なお、所定領域情報、仮想カメラＩＣの位置座標ではなく、所定領域Ｔである仮想カメラＩＣの撮影領域（Ｘ，Ｙ，Ｚ）によって示してもよい。
【００２３】
図７は、部分画像パラメータの概略を説明する図である。ここでは、全天球画像の一部を指定する方法について説明する。全天球画像においては部分画像の中心点ＣＰを、撮影するカメラ（ここでは、仮想カメラＩＣ）の方向で表すことが可能である。全天球画像である全体画像の中心を全体画像正面として方位角を「aa」、仰角を「ea」とする。また、部分画像の範囲を表すために、例えば対角方向の画角αを用いて表す。また、縦横方向の範囲を表すために、画像のアスペクト比(幅ｗ÷高さｈ)で表すことが可能である。ここでは範囲を表すために対角画角とアスペクトを用いたが、縦画角と横画角や縦画角とアスペクト比などを用いてもよい。また、方位角、仰角のほか回転角も用いても良い。
【００２４】
〔撮影システムの概略〕
まずは、図８を用いて、本実施形態の撮影システムの構成の概略について説明する。図８は、本実施形態の撮影システムの構成の概略図である。
【００２５】
図８に示されているように、本実施形態の撮影システムは、全天球撮影装置１、仲介端末３、スマートフォン５、及び画像管理システム７によって構成されている。
【００２６】
これらのうち、全天球撮影装置１は、上述のように、被写体や風景等を撮影して全天球（パノラマ）画像の元になる２つの半球画像を得るための特殊なデジタルカメラである。
【００２７】
仲介端末３は、インターネット等の通信ネットワーク１００に直接通信できる通信端末の一例である。仲介端末３は、通信ネットワーク１００に直接通信できない全天球撮影装置１と近距離無線通信を行うことで、全天球撮影装置１と画像管理システム７との通信を仲介する役割を果たす。近距離無線通信は、例えば、Wi-Fi、Bluetooth（登録商標）、NFC（Near Field Communication）等の技術を利用して行われる通信である。図８では、仲介端末３は全天球撮影装置１が設置されるドングルレシーバーのように使用されている。
【００２８】
スマートフォン５は、有線又は無線により、通信ネットワーク１００を介して画像管理システム７と通信することができる。また、スマートフォン５では、自装置に設けられた後述のディスプレイ５１７に、全天球撮影装置１から取得した画像を表示することができる。
【００２９】
画像管理システム７は、コンピュータによって構築されており、スマートフォン５からの動画や静止画の要求を、仲介端末３を介して全天球撮影装置１に伝える。また、画像管理システム７は、全天球撮影装置１から仲介端末３を介して送られて来た動画データ及び静止画データを、スマートフォン５に送信する。
【００３０】
なお、図１では、全天球撮影装置１、仲介端末３の組が１つしか表されていないが、複数の組を用いてもよい。また、スマートフォン５も１つしか表されていないが、複数用いてもよい。スマートフォン５は、通信端末の一例である。通信端末には、スマートフォン５の他に、ＰＣ(Personal Computer)、スマートウォッチ、ゲーム機器、カーナビゲーション端末等も含まれる。更に、画像管理システム７は、単一だけでなく複数のコンピュータによって構築されていてもよい。
【００３１】
〔実施形態のハードウェア構成〕
次に、図９及び図１２を用いて、本実施形態の全天球撮影装置１、仲介端末３、スマートフォン５、及び画像管理システム７のハードウェア構成を詳細に説明する。
【００３２】
＜全天球撮影装置のハードウェア構成＞
まず、図９を用いて、全天球撮影装置１のハードウェア構成を説明する。図９は、全天球撮影装置のハードウェア構成図である。以下では、全天球撮影装置１は、２つの撮像素子を使用した４πラジアンの撮影が可能な全天球（全方位）撮影装置とするが、撮像素子は２つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位の撮像ユニットを取り付けることで、実質的に全天球撮影装置１と同じ機能を有するようにしてもよい。
【００３３】
図９に示されているように、全天球撮影装置１は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、アンテナ１１７ａ、電子コンパス１１８、ジャイロセンサ１１９、加速度センサ１２０、及び端子１２１によって構成されている。
【００３４】
このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子１０３ａ，１０３ｂを備えている。撮像素子１０３ａ，１０３ｂは、魚眼レンズ１０２ａ，１０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。
【００３５】
撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４とパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、撮像制御ユニット１０５とは、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４、撮像制御ユニット１０５及び音処理ユニット１０９は、バス１１０を介してＣＰＵ１１１と接続される。さらに、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及び電子コンパス１１８なども接続される。
【００３６】
画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図３（ｃ）に示されているような正距円筒射影画像のデータを作成する。
【００３７】
撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。
【００３８】
また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。全天球撮影装置１によっては、ディスプレイ（例えば、スマートフォン５のディスプレイ５１７）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／秒）によって連続して行われる。
【００３９】
また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、全天球撮影装置１にはディスプレイが設けられていないが、表示部を設けてもよい。
【００４０】
マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。
【００４１】
ＣＰＵ１１１は、全天球撮影装置１の全体の動作を制御すると共に必要な処理を実行する。なお、ＣＰＵ１１１は、単一でも複数でもよい。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。
【００４２】
操作部１１５は、シャッターボタン１１５ａなどの操作ボタンの総称である。ユーザは操作部１１５を操作することで、種々の撮影モードや撮影条件などを入力する。
【００４３】
ネットワークＩ／Ｆ１１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ１１６としては、無線、有線を問わない。ＤＲＡＭ１１４に記憶された正距円筒射影画像のデータは、このネットワークＩ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／Ｆ１１６を介してスマートフォン５等の外部端末（装置）に送信されたりする。
【００４４】
通信部１１７は、全天球撮影装置１に設けられたアンテナ１１７ａを介して、Wi-Fi、NFC、Bluetooth等の近距離無線通信技術によって、スマートフォン５等の外部端末（装置）と通信を行う。この通信部１１７によっても、正距円筒射影画像のデータをスマートフォン５等の外部端末（装置）に送信することができる。
【００４５】
電子コンパス１１８は、地球の磁気から全天球撮影装置１の方位を算出し、方位情報を出力する。この方位情報はExifに沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。
【００４６】
ジャイロセンサ１１９は、全天球撮影装置１の移動に伴う角度の変化（Roll角、Pitch角、Yaw角）を検出するセンサである。角度の変化はExifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。
【００４７】
加速度センサ１２０は、３軸方向の加速度を検出するセンサである。全天球撮影装置１は、加速度センサ１２０が検出した加速度に基づいて、自装置（全天球撮影装置１）の姿勢（重力方向に対する角度）を算出する。全天球撮影装置１に、ジャイロセンサ１１９と加速度センサ１２０の両方が設けられることによって、画像補正の精度が向上する。
【００４８】
端子１２１は、Micro USB用の凹状の端子である。
【００４９】
＜仲介端末のハードウェア構成＞
次に、図１０を用いて、仲介端末３のハードウェア構成を説明する。なお、図１０は、無線通信機能を有したクレードルの場合の仲介端末３のハードウェア構成図である。
【００５０】
図１０に示されているように、仲介端末３は、仲介端末３全体の動作を制御するＣＰＵ３０１、基本入出力プログラムを記憶したＲＯＭ３０２、ＣＰＵ３０１のワークエリアとして使用されるＲＡＭ３０３、ＣＰＵ３０１の制御にしたがってデータの読み出し又は書き込みを行うＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）３０４、ＣＰＵ３０１の制御に従って被写体を撮像し画像データを得る撮像素子としてのＣＭＯＳセンサ３０５を備えている。
【００５１】
なお、ＥＥＰＲＯＭ３０４には、ＣＰＵ３０１が実行するオペレーティングシステム(OS)、その他のプログラム、及び、種々データが記憶されている。また、ＣＭＯＳセンサ３０５の代わりにＣＣＤセンサを用いてもよい。
【００５２】
更に、仲介端末３は、アンテナ３１３ａ、このアンテナ３１３ａを利用して無線通信信号により、通信ネットワーク１００を介して画像管理システム７と通信を行う通信部３１３、ＧＰＳ（Global Positioning Systems）衛星又は屋内ＧＰＳとしてのＩＭＥＳ(Indoor MEssaging System）によって仲介端末３の位置情報（緯度、経度、および高度）を含んだＧＰＳ信号を受信するＧＰＳ受信部３１４、及び、上記各部を電気的に接続するためのアドレスバスやデータバス等のバスライン３１０を備えている。
【００５３】
＜スマートフォンのハードウェア構成＞
次に、図１１を用いて、スマートフォンのハードウェアについて説明する。図１１は、スマートフォンのハードウェア構成図である。図１１に示されているように、スマートフォン５は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＥＥＰＲＯＭ５０４、ＣＭＯＳセンサ５０５、撮像素子Ｉ／Ｆ５１３ａ、加速度・方位センサ５０６、メディアＩ／Ｆ５０８、ＧＰＳ受信部５０９を備えている。
【００５４】
これらのうち、ＣＰＵ５０１は、スマートフォン５全体の動作を制御する。なお、ＣＰＵ５０１は、単一でも複数でもよい。ＲＯＭ５０２は、ＣＰＵ５０１やＩＰＬ(Initial Program Loader)等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＥＥＰＲＯＭ５０４は、ＣＰＵ５０１の制御にしたがって、スマートフォン用プログラム等の各種データの読み出し又は書き込みを行う。ＣＭＯＳセンサ５０５は、ＣＰＵ５０１の制御に従って被写体（主に自画像）を撮像し画像データを得る。撮像素子Ｉ／Ｆ５１３ａは、ＣＭＯＳセンサ５１２の駆動を制御する回路である。加速度・方位センサ５０６は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ５０８は、フラッシュメモリ等の記録メディア５０７に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部５０９は、ＧＰＳ衛星からＧＰＳ信号を受信する。
【００５５】
また、スマートフォン５は、遠距離通信回路５１１、アンテナ５１１ａ、ＣＭＯＳセンサ５１２、撮像素子Ｉ／Ｆ５１３ｂ、マイク５１４、スピーカ５１５、音入出力Ｉ／Ｆ５１６、ディスプレイ５１７、外部機器接続Ｉ／Ｆ５１８、近距離通信回路５１９、近距離通信回路５１９のアンテナ５１９ａ、及びタッチパネル５２１を備えている。
【００５６】
これらのうち、遠距離通信回路５１１は、インターネット等の通信ネットワークを介して、他の機器と通信する回路である。ＣＭＯＳセンサ５１２は、ＣＰＵ５０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ５１３ｂは、ＣＭＯＳセンサ５１２の駆動を制御する回路である。マイク５１４は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ５１６は、ＣＰＵ５０１の制御に従ってマイク５１４及びスピーカ５１５との間で音信号の入出力を処理する回路である。ディスプレイ５１７は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬなどの表示手段の一種である。外部機器接続Ｉ／Ｆ５１８は、各種の外部機器を接続するためのインターフェースである。近距離通信回路５１９は、Wi-Fi、NFC、Bluetooth等の通信回路である。タッチパネル５２１は、利用者がディスプレイ５１７を押下することで、スマートフォン５を操作する入力手段の一種である。
【００５７】
また、スマートフォン５は、バスライン５１０を備えている。バスライン５１０は、ＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【００５８】
＜画像管理システムのハードウェア構成＞
次に、図１２を用いて、画像管理システムのハードウェア構成について説明する。図１２は、画像管理システムのハードウェア構成図である。
【００５９】
図１２は、画像管理システム７のハードウェア構成図である。図１２に示されているように、画像管理システム７は、コンピュータによって構築されており、図１２に示されているように、ＣＰＵ７０１、ＲＯＭ７０２、ＲＡＭ７０３、ＨＤ７０４、ＨＤＤ(Hard Disk Drive)コントローラ７０５、ディスプレイ７０８、メディアＩ／Ｆ７０７、ネットワークＩ／Ｆ７０９、データバス７１０、キーボード７１１、マウス７１２、及びＤＶＤ−ＲＷ(Digital Versatile Disk Rewritable)ドライブ７１４を備えている。
【００６０】
これらのうち、ＣＰＵ７０１は、画像管理システム７全体の動作を制御する。ＲＯＭ７０２は、ＩＰＬ等のＣＰＵ７０１の駆動に用いられるプログラムを記憶する。ＲＡＭ７０３は、ＣＰＵ７０１のワークエリアとして使用される。ＨＤ７０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ７０５は、ＣＰＵ７０１の制御にしたがってＨＤ７０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ７０８は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。メディアＩ／Ｆ７０７は、フラッシュメモリ等の記録メディア７０６に対するデータの読み出し又は書き込み（記憶）を制御する。ネットワークＩ／Ｆ７０９は、通信ネットワーク１００を利用してデータ通信をするためのインターフェースである。バスライン７１０は、図１２に示されているＣＰＵ７０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【００６１】
また、キーボード７１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。マウス７１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ−ＲＷドライブ７１４は、着脱可能な記録媒体の一例としてのＤＶＤ−ＲＷ７１３に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ−ＲＷに限らず、ＤＶＤ−ＲやＢｌｕ-ｒａｙ Ｄｉｓｃ（ブルーレイディスク）等であってもよい。
【００６２】
〔実施形態の機能構成〕
次に、図１３乃至図１６を用いて、本実施形態の機能構成について説明する。なお、仲介端末３は、全天球撮影装置１と画像管理システム７とも通信を仲介するための送受信部が主機能であるため、説明を省略する。
【００６３】
＜全天球撮影装置の機能構成＞
図１３は、本実施形態の全天球撮影装置の機能ブロック図である。全天球撮影装置１は、送受信部１１、部分画像パラメータ作成部１２、撮影制御部１３、撮像部１４ａ，１４ｂ、画像処理部１５、一時記憶部１６、低精細変更部１７、射影方式変換部１８、結合部１９、動画符号化部２０ａ、静止画符号化部２０ｂ、受付部２２、判断部２５、及び静止画記憶部２０を有している。これら各部は、図９に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された全天球撮影装置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能又は手段である。また、全天球撮影装置１は、ＳＲＡＭ１１３によって実現された閾値管理部１００１を有している。
【００６４】
（水平垂直画角閾値情報）
閾値管理部１００１には、図１６（ａ）に示されているように、水平垂直画角閾値情報が、例えば工場出荷前から記憶されている。なお、図１６（ａ）は水平垂直画角閾値情報の概念図、図１６（ｂ）は水平画角と垂直画角の説明図である。なお、図１６（ａ）は、水平垂直画角閾値情報は、テーブル形式で表されているが、これに限らず、テーブル形式で表すようにしなくてもよい。
【００６５】
図１６（ａ）に示されているように、水平垂直画角閾値情報は、全天球撮影装置１の最大撮影解像度（横Ｗ×縦Ｈ）の候補の列、利用者（閲覧者）によって設定されるスマートフォン５での最大表示解像度（横Ｗ’×縦Ｈ’）の候補の列、全天球撮影装置１から画像管理システム７を介してスマートフォン５に送信するか否かの判断に使用される画像の水平画角（ＡＨ）×垂直画角（ＡＶ）の各閾値が関連付けて管理されている。
【００６６】
ここで、図１６（ｂ）を用いて、水平画角（ＡＨ）と垂直画角（ＡＶ）について説明する。なお、図１６（ｂ）において、中心点ＣＰ、方位角「aa」、仰角「ea」は、図７と同じであるため、説明を省略する。全天球画像（動画、静止画）においては矩形の部分画像（動画、静止画）の一フレーム全領域のサイズを、撮影するカメラ（ここでは、仮想カメラＩＣ）の方向で表すことが可能である。部分画像の横の長さを仮想カメラＩＣからの水平画角（ＡＨ）で表し、部分画像の縦の長さを仮想カメラＩＣからの水平画角（ＡＨ）で表すことができる。
【００６７】
水平画角（ＡＨ）と垂直画角（ＡＶ）は変換元の解像度と変換後の解像度の差がなくなる画角で、判断部２５の判断に用いられる。この画角は次の（式１）及び(式２)で求めることができる。
【００６８】
ＡＨ = (360 / Ｗ) * Ｗ’  ・・・（式１）
ＡＶ = (180 / Ｈ) * (Ｈ’ / 2)  ・・・（式２）
なお、全天球撮影装置１の最大撮影解像度が（Ｗ：４０００，Ｈ：２０００）であっても、全天球撮影装置１は図１６に示されている各設定パターンを示す水平垂直画角閾値情報を管理している。但し、この場合、全天球撮影装置１は、図１６において、設定１と設定２のパターンしか参照しない。同じく、利用者によって設定されるスマートフォン５での最大表示解像度が（Ｗ’：１９２０，Ｈ’：１０８０）であっても、全天球撮影装置１は図１６に示されている各設定パターンを示す水平垂直画角閾値情報を管理している。
【００６９】
例えば、全天球撮影装置１の最大撮影解像度の横×縦が４０００×２０００の場合であって、利用者によってスマートフォン５から全天球撮影装置１に対して、横×縦が１９２０×１０８０の解像度の画像（動画、静止画）のデータを要求するように設定されていた場合の条件（設定１）下では、判断部２５は、指示データによって要求された部分画像の画角が横１７２．８°かつ縦４８．６°で示される閾値の未満の場合に、射影方式変換部１８に超高精細な静止画像のデータへの射影方式変換を行わせないと判断する。
【００７０】
（全天球撮影装置の各機能構成）
次に、図１３を用いて、全天球撮影装置１の各機能構成について更に詳細に説明する。
【００７１】
送受信部１１は、全天球撮影装置１の外部に対して画像データを送信したり、外部からデータを受信したりする。例えば、画像データとしては、超高精細の部分静止画、高精細の部分動画、低精細の全体動画の各データがある。また、送受信部１１は、後述の指示データを受信したり、後述の部分画像パラメータを送信したりする。
【００７２】
なお、本実施形態では、３段階の精細度の画像が取り扱われるため、最も精細度が高い画像、次に精細度が高い画像、最も精細度が低い画像について、便宜的にそれぞれ「超高精細」、「高精細」、「低精細」と示して区別する。よって、例えば、本実施形態の「超高精細」が、一般的な超高精細を意味するものではない。
【００７３】
部分画像パラメータ作成部１２は、スマートフォン５から画像管理システム７を介して送られて来た指示データに基づいて部分画像パラメータを作成する。この指示データは、スマートフォン５の受付部５２で利用者の操作によって受け付けられ、後述の重畳領域を特定するための指示を示すデータである。
【００７４】
撮影制御部１３は、撮像部１４ａ，１４ｂの画像データの出力タイミングの同期をとる指示を出力する。
【００７５】
撮像部１４ａ，１４ｂは、それぞれ、撮影制御部１３からの指示に従って被写体等を撮像し、例えば、図３（ａ），（ｂ）に示されているように、全天球画像データの元になる半球画像データを出力する。
【００７６】
画像処理部１５は、撮影部１４ａ，１４ｂで得られた２つの半球画像データを正距円筒射影方式の画像である正距円筒射影画像のデータに合成変換する。
【００７７】
一時記憶部１６は、画像処理部１５で合成変換された正距円筒射影画像のデータを一時的に記憶するバッファの役割を果たす。なお、この状態の正距円筒射影画像は超高精細である。
【００７８】
低精細変更部１７は、送受信部１１で受信されたスマートフォン５からの指示データに従って、正距円筒射影画像を画像の縮小等により、超高精細画像（ここでは動画）から低精細画像（ここでは、動画）に変更する。これにより、低精細な正距円筒射影画像（ここでは、全体動画）が生成される。なお、低精細変更部１７は、変更手段の一例である。
【００７９】
射影方式変換部１８は、送受信部１１で受信した指示データ及び動画データ要求に従って、即ち、全体画像の一部分の画像である部分画像の方向、画角及びアスペクト、並びに画像管理システム７を介してスマートフォン５へ送信する画像データのサイズに従って、正距円筒射影方式を透視射影方式に射影方式変換する。このように部分動画データが要求された場合、射影方式変換部１８は、一時記憶部１６に記憶されている超高精細な全体画像よりも精細度（又は解像度）が低いが、低精細変更部１７によって変更されることで得られた低精細画像よりも精細度（又は解像度）が高い高精細な状態の部分画像（ここでは、部分動画）を生成する。
【００８０】
更に、射影方式変換部１８は、送受信部１１で受信した指示データ及び静止画データ要求に従って、即ち、全体画像の一部分の画像である部分画像の方向、画角及びアスペクト、並びに画像管理システム７を介してスマートフォン５へ送信する画像データのサイズに従って、正距円筒射影方式を透視射影方式に射影方式変換することもできる。このように部分静止画データが要求された場合、射影方式変換部１８は、一時記憶部１６に記憶されている超高精細な状態のままで部分画像（ここでは、部分静止画）を生成する。
【００８１】
以上より、低精細変更部１７と射影方式変更部１８の相違点は、射影方式変換を実行するか否かだけでなく、低精細変更部１７から出力される全体画像（ここでは、全体動画）データは、射影方式変換部１８から出力される部分画像（ここでは、部分動画及び部分静止画）データよりも精細度（又は解像度）が低い。即ち、射影方式変換部１８から出力される部分画像データは、低精細変更部１７から出力される全体画像データよりも精細度（又は解像度）が高い。
【００８２】
ここで、超高精細の画像として、例えば、解像度が、２Ｋ、４Ｋ、８Ｋのいずれかの正距離円筒射影画像が出力される場合について説明する。これらの超高精細の正距離円筒射影画像のデータに基づき、射影方式変換部１８から出力される「部分動画」データは、解像度が、１．５Ｋ、３Ｋ、６Ｋのいずれかの状態である。また、これらの超高精細の正距離円筒射影画像のデータに基づき、射影方式変換部１８から出力される「部分静止画」データは、解像度が、２Ｋ、４Ｋ、８Ｋのいずれかのままの状態である。一方、低精細変更部１７から出力される「全体動画」データは、解像度が、１Ｋ、２Ｋ、４Ｋのいずれかの状態である。
【００８３】
結合部１９は、低精細変更部１７で変更された低精細な全体動画の各フレームと、射影方式変換部１８で変換された高精細な部分動画の各フレームを、図２０に示されているように、縦の解像度を半分に圧縮することで、それぞれのフレームの精細度を下げて一フレームに結合する。これにより、部分動画は、全体動画よりは精細度が高いが、部分静止画よりは精細度が低くなる。このように各フレームの精細度を下げて一フレームにすることで、データ通信量を抑制することができる。更に、結合される２つのフレームは、一時記憶部１６に記憶されていた同じ正距円射影画像から生成されているため、結合される２つのフレームを関連付けるためのメタデータ等を利用しなくても、同じタイミングで撮影されて生成された２つのフレームを関連付けることができる。
【００８４】
動画符号化部２０ａは、結合部１９によって結合された全体動画及び部分動画のフレームデータを符号化する。静止画符号化部２０ｂは、部分静止画のデータを符号化する。
【００８５】
受付部２２は、利用者が各種要求を行う際に全天球撮影装置の操作部１１５に対して行う操作を受け付ける。
【００８６】
判断部２５は、全体動画の一部の領域である部分画像の一フレームの全領域が、閾値管理部１００１で管理されている水平垂直画角閾値情報（図１６参照）の所定の閾値で示される所定領域よりも小さいか否かを判断する。そして、小さい場合には、判断部２５は、射影方式変換部１８に、超高精細な全体動画データから超高精細な部分静止画のデータを生成させないようにする。また、大きい場合には、判断部２５は、射影方式変換部１８に、超高精細な全体動画データから超高精細な部分静止画のデータを生成させるようにする。
【００８７】
例えば、全天球撮影装置１の最大撮影解像度の横×縦が４０００×２０００の場合であって、利用者によってスマートフォン５から全天球撮影装置１に対して、スマートフォン５における最大表示解像度の横×縦が１９２０×１０８０に設定されていた場合の条件（設定１）下で、指示データによって要求されている画像の横の画角が１７２．８°未満かつ縦の画角が４８．６°未満の場合には、判断部２５は、射影方式変換部１８に超高精細な静止画のデータに射影方式変換させないと判断する。このように、スマートフォン５から要求された画像の解像度（精細度）が低い場合には、全天球撮影装置１は、高精細な部分動画のデータを送っても、又は超高精細な部分静止画のデータを送っても、利用者はスマートフォン５で高精細な部分動画と超高精細な部分静止画の区別を付けづらいため、全天球撮影装置１は、わざわざ超高精細な部分静止画のデータを送る必要はないからである。なお、閾値の範囲に示した「未満」は「以下」としてもよい。
【００８８】
一方、上記と同じ条件（設定１）下で、指示データによって要求されている画像の横の画角が１７２．８°超または縦の画角が４８．６°超の場合には、判断部２５は、射影方式変換部１８に超高精細な静止画のデータに射影方式変換させると判断する。この場合、スマートフォン５が、高精細な部分動画を超高精細な静止画に切り替えて表示することで、利用者（閲覧者）は注目する領域をよりはっきりと（鮮明に）閲覧することができるため、入念に閲覧することができる。なお、閾値の範囲に示した「超」は「以上」としてもよい。
【００８９】
＜スマートフォンの機能構成＞
図１４は、本実施形態のスマートフォンの機能ブロック図である。スマートフォン５は、送受信部５１、受付部５２、動画復号化部５３ａ、静止画符号化部５３ｂ、重畳領域作成部５４、画像作成部５５、画像重畳部５６、射影変換部５７、及び表示制御部５８を有している。これら各部は、図１１に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ５０４からＲＡＭ５０３上に展開されたスマートフォン用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。
【００９０】
（スマートフォンの各機能構成）
次に、図１４を用いて、スマートフォン５の各機能構成について更に詳細に説明する。
【００９１】
送受信部５１は、スマートフォン５の外部に対してデータを送信したり、外部からデータを受信したりする。例えば、送受信部５１は、全天球撮影装置１の送受信部１１から画像データを受信したり、全天球撮影装置１の送受信部１１に対して指示データを送信したりする。また、送受信部５１は、全天球撮影装置１の送受信部１１から送られて来た画像データ（図２０に示す全体動画のデータ及び部分動画データ）と部分画像パラメータとを分離する。
【００９２】
受付部５２は、利用者から、部分画像の方向、画角及びアスペクト、並びにスマートフォン５で受信する画像データのサイズの指定操作を受け付ける。また、受付部５２は、利用者から、スマートフォン５における最大表示解像度（図１６の横Ｗ’×縦Ｈ’参照）の設定を受け付ける。
【００９３】
動画復号化部５３ａは、動画符号化部２０ａで符号化された低精細な全体動画及び高精細な部分動画の各データを復号化する。静止画復号化部５３ｂは、静止画符号化部２０ｂで符号化された超高精細な部分静止画のデータを復号化する。
【００９４】
重畳領域作成部５４は、部分画像パラメータにより指定された重畳領域を作成する。この重畳領域は、全体動画である全天球画像ＣＥ上において、部分動画（又は部分静止画）である重畳画像Ｓ及びマスク画像Ｍの重畳位置及び重畳範囲を示している。
【００９５】
画像作成部５５は、重畳領域に従って、重畳画像Ｓ及びマスク画像を作成し、低精細な全体画像から全天球画像ＣＥを作成する。
【００９６】
画像重畳部５６は、全天球画像ＣＥ上の重畳領域に対して、重畳画像Ｓ及びマスク画像Ｍを重畳することで、最終的な全天球画像ＣＥを作成する。
【００９７】
射影変換部５７は、受付部５２で受けられた利用者の指示に従って、最終的な全天球画像ＣＥを透視射影方式の画像に変換する。
【００９８】
表示制御部５８は、透視射影方式に変換後の画像をディスプレイ５１７等に表示させる制御を行う。
【００９９】
＜画像管理システムの機能構成＞
図１５は、画像管理システムの機能ブロック図である。画像管理システム７は、送受信部７１を有している。送受信部７１は、図１２に示されているネットワークＩ／Ｆが、ＨＤ７０４からＲＡＭ７０３上に展開された画像管理システム用プログラムに従ったＣＰＵ７０１からの命令によって動作することで実現される機能又は手段である。また、画像管理システム７は、ＨＤ７０４によって実現された記憶部７０００を有している。
【０１００】
（画像管理システムの機能構成）
次に、図１５を用いて、画像管理システム７の機能構成について更に詳細に説明する。
【０１０１】
送受信部７１は、画像管理システム７の外部に対してデータを送信したり、外部からデータを受信したりする。例えば、送受信部７１は、全天球撮影装置１の送受信部１１から仲介端末３を介して画像データを受信したり、全天球撮影装置１の送受信部１１に対して仲介端末３を介して指示データを送信したりする。また、送受信部７１は、全天球撮影装置１の送受信部１１から仲介端末３を介して送られて来た画像データ（図２０に示す全体動画のデータ及び部分動画データ）や部分画像パラメータをスマートフォン５に送信する。更に、全天球撮影装置１の送受信部１１から仲介端末３を介して送られて来た超高精細な静止画のデータを記憶部７０００に一時的に記憶したり、記憶部７０００から超高精細な静止画のデータを読み出してスマートフォン５に送信したりする。
【０１０２】
〔実施形態の処理又は動作〕
続いて、図１７乃至図２６を用いて、本実施形態の処理又は動作について説明する。本実施形態では、全天球撮影装置１で生成されてから送られて来るデータに係る全体動画及び部分動画をスマートフォン５で再生中に、閲覧者がある部分動画の１シーンをより高精細（つまり超高精細）な静止画で入念に閲覧する場合について説明する。
【０１０３】
＜＜全体動画及び部分動画の生成及び再生＞＞
まずは、図１７を用いて、全体動画と部分動画の各データの生成及び再生の処理について説明する。図１７は、全体動画及び部分動画の各データの生成及び再生の処理を示したシーケンス図である。
【０１０４】
図１７に示されているように、閲覧者（利用者）がスマートフォン５を操作することで、受付部５２が動画の配信サービスを開始する要求を受け付ける（Ｓ１１）。これにより、次に、スマートフォン５の送受信部５１は、画像管理システム７の送受信部７１に動画データの要求を送信する（Ｓ１２）。この際、閲覧者が指定した部分画像パラメータも送信される。なお、送信開始のタイミングに関して、全天球撮影装置１の送受信部１１が通信ネットワークの帯域制御などを行ってもよい。この帯域制御を行うことで、より安定してデータを送受信することが可能となる。
【０１０５】
次に、画像管理システム７の送受信部７１は、仲介端末３の送受信部に対して動画データの要求を転送する（Ｓ１３）。そして、仲介端末３の送受信部は、全天球撮影装置１の送受信部１１に対して、動画データ要求を転送する（Ｓ１４）。
【０１０６】
次に、全天球撮影装置１は、動画データの生成処理を行う（Ｓ１５）。このステップＳ１５の処理は、後ほど詳細に説明する（図１８乃至図２０参照）。
【０１０７】
次に、全天球撮影装置１の送受信部１１は、仲介端末３１の送受信部に対して、要求に応じた動画データを送信する（Ｓ１６）。この動画データには、低精細の全体動画及び高精細の部分動画の各データが含まれている。これにより、仲介端末３の送受信部は、画像管理システム７の送受信部７１に動画データを転送する（Ｓ１７）。更に、画像管理システム７の送受信部７１は、スマートフォン５の送受信部５１に動画データを転送する（Ｓ１８）。
【０１０８】
次に、スマートフォン５は、動画データの再生処理を行う（Ｓ１９）。このステップＳ１９の処理は、後ほど詳細に説明する（図２１乃至図２５参照）。
【０１０９】
＜全天球撮影装置の動画生成処理＞
次に、図１８乃至図２０を用いて、上述のステップＳ１５で示した全天球撮影装置の動画データの生成処理について詳細に説明する。図１８は、全天球撮影装置が行う画像処理の過程における画像の概念図である。
【０１１０】
画像処理部１５は、撮影部１４ａ，１４ｂで得られた２つの半球画像データを正距円筒射影方式の画像（ここでは、動画）である正距円筒射影画像のデータに合成変換する（Ｓ１２０）。この変換後のデータは、一旦、超高精細画像の状態のままで一時記憶部１６に記憶される。
【０１１１】
次に、部分画像パラメータ作成部１２は、スマートフォン５から送られて来た指示データに基づいて部分画像パラメータを作成する（Ｓ１３０）。
【０１１２】
次に、低精細変更部１７は、送受信部１１で受信されたスマートフォン５からの指示データに従って、超高精細画像から低精細画像に変更する（Ｓ１４０）。これにより、低精細な正距円筒射影画像（ここでは、全体動画）が生成される。
【０１１３】
更に、射影方式変換部１８は、送受信部１１で受信した指示データに従って、即ち、全体動画の各フレームの一部の領域である部分動画の方向、部分動画のフレームの画角及びアスペクト、並びにスマートフォン５へ送信する動画データのサイズに従って、正距円筒射影方式を透視射影方式に射影方式変換する（Ｓ１５０）。これにより、高精細な状態の部分動画が生成される。
【０１１４】
次に、結合部１９は、低精細な全体動画、高精細な部分動画の各データを結合する（Ｓ１６０）。この結合の処理については、後ほど詳細に説明する（図２０参照）。
【０１１５】
ここで、図１９及び図２０を用いて、図１８に示した処理を更に詳細に説明する。図１９は、部分画像パラメータを説明する図である。
【０１１６】
（部分画像パラメータ）
まずは、図１９を用いて、部分画像パラメータについて詳細に説明する。図１９（ａ）はＳ１２０による画像合成後の全体画像を示す。図１９（ｂ）は部分画像パラメータの一例を示す図である。図１９（ｃ）はＳ１５０により射影方式が変換された後の部分画像を示す。
【０１１７】
図７で説明した方位角は図１９（ａ）で示す正距円筒図法では横方向（緯度λ）となり、図７で説明した仰角は正距円筒射影方式では縦方向(経度φ)となる。図７の対角画角及びアスペクト比を合わせて、図１９（ｂ）で示すパラメータが部分画像パラメータである。図１９（ｃ）は図１９（ａ）の正距円筒図法上の枠で囲まれた部分を部分画像パラメータで切出した部分画像の例である。
【０１１８】
ここで、射影方式の変換について説明する。図４（ａ）に示すように、正距円筒射影画像によって立体球を被うことで、全天球画像を作成している。よって、正距円筒射影画像の各画素データは、３次元の全天球画像の立体球の表面における各画素データに対応させることができる。そこで、射影方式変換部１８による変換式は、正距円筒射影画像における座標を(緯度，経度)＝（ｅ，ａ）と表現し、３次元の立体球上の座標を直行座標（ｘ，ｙ，ｚ）で表わすと、以下の（式３）で表わすことができる。
(x, y, z) = (cos(ea) × cos(aa),  cos(ea) × sin(aa),  sin(ea))  ・・・(式３)
但し、このときの立体球の半径は１とする。
【０１１９】
一方で、透視射影画像である部分画像は２次元画像であるが、これを２次元の極座標（動径，偏角）＝（ｒ，ａ）で表現すると、動径ｒは対角画角に対応し、取り得る範囲は0 ≦ r ≦ tan(対角画角/2)となる。また、部分画像を２次元の直交座標系（ｕ，ｖ）で表わすと、極座標（動径，偏角）＝（ｒ，ａ）との変換関係は、以下の（式４）で表わすことができる。
u = r × cos(a),  v = r × sin(a)  ・・・(式４)
次に、この（式３）を３次元の座標（動径，極角，方位角）に対応させることを考える。今、立体球ＣＳの表面のみを考えているため、３次元極座標における動径は「１」である。また、立体球ＣＳの表面に張り付けた正距円筒射影画像を透視射影変換する射影は、立体球の中心に仮想カメラがあると考えると、上述の２次元極座標（動径，偏角）＝（ｒ，ａ）を使うと、以下の（式５）、（式６）で表わすことができる。
r = tan(極角)  ・・・（式５）
a = 方位角  ・・・（式６）
ここで極角をtとすると、t = arctan(r)となるため、３次元極座標（動径、極角、方位角)は、(動径、極角、方位角)＝(1, arctan(r), a)と表現することができる。
【０１２０】
また３次元極座標から、直行座標系（ｘ，ｙ，ｚ）へ変換するための変換式は、以下の（式７）で表わすことができる。
(x, y, z) = (sin(t) × cos(a),  sin(t) × sin(a), cos(t))  ・・・（式７）
上記の（式７）により、正距円筒射影方式による全体画像と、透視射影方式による部分画像の相互変換ができるようになった。即ち、作成すべき部分画像の対角画角に対応する動径rを用いることで、部分画像の各画素が、正距円筒射影画像のどの座標に対応するかを表す変換マップ座標を算出でき、この変換マップ座標に基づいて、正距円筒射影画像から、透視射影画像である部分画像作成することができる。
【０１２１】
ところで、上記射影方式の変換は、正距円筒射影画像の（緯度，経度）が（９０°，０°)となる位置が、透視射影画像である部分画像の中心点となるような変換を示している。そこで、正距円筒射影画像の任意の点を注視点として透視射影変換をする場合は、正距円筒射影画像を貼り付けた立体球を回転させることで、注視点の座標(緯度、経度)が（９０°,０°）の位置に配置されるような座標回転を行えば良い。
【０１２２】
この立体球の回転に関する変換公式は、一般の座標回転公式であるため、説明を省略する。
【０１２３】
（結合の処理）
次に、図２０を用いて、結合部１９が行うステップＳ１６０の結合の処理について説明する。図２０は、全体動画と部分動画の各フレーム画像が結合された状態を示す概念図である。図２０に示しているように、一枚のフレームの上部に全体画像、下部に部分画像が配置されるように結合されている。本実施形態では、一般的はＨＤ等のアスペクトである１６：９に合わせて配置されるがアスペクトは問わない。また、配置も上下に限らず左右でもよい。部分画像が複数あった場合は、例えば上半分に全体動画、下半分に部分動画個数分だけ分割して配置してもよい。全体動画と部分画像をフレーム毎に１つにまとめることにより、画像間の同期を保障することができる。また、全天球撮影装置１は、スマートフォン５に対して、全体動画データ及び部分動画データを別々に送信してもよい。
【０１２４】
但し、全体動画及び部分動画は、縦を半分にするため、半分にしない場合に比べてそれぞれ解像度は半分に落ちる。即ち、一時記憶部１６に記憶されていた超高精細画像よりは精細度が下がる。その結果、精細度は、高い順に、一時記憶部１６に記憶された全体画像、射影方式変換部１８によって変換された後の部分画像、及び低精細変更部１７によって変換された後の全体画像となる。
【０１２５】
＜スマートフォンの動画再生処理＞
続いて、図２１を用いて、スマートフォン５の動画データの再生処理について説明する。図２１は、スマートフォンが行う画像処理の過程における画像の概念図である。図７に示された重畳領域作成部５４は、図２１で示されているように部分画像パラメータで指示された部分立体球ＰＳを作成する（Ｓ３２０）。
【０１２６】
次に、画像作成部５５は、部分立体球ＰＳに対して、透視射影方式である部分画像を重畳することで、重畳画像Ｓを作成する（Ｓ３３０）。また、画像作成部５５は、部分立体球ＰＳに基づいて、マスク画像Ｍを作成する（Ｓ３４０）。更に、画像作成部５５は、立体球ＣＳに対して正距円筒射影方式である全体画像を貼り付けることで全天球画像ＣＥを作成する（Ｓ３５０）。そして、画像重畳部５６は、全天球画像ＣＥに対して重畳画像Ｓ及びマスク画像Ｍを重畳する（Ｓ３６０）。これにより、境目が目立たないように高精細の重畳画像（ここでは、高精細な部分動画）Ｓが重畳された低精細の全天球画像（ここでは、低精細な全体動画）ＣＥが完成する。
【０１２７】
次に、射影変換部５７は、予め定められた仮想カメラの視線方向と画角に基づいて、重畳画像Ｓが重畳された状態の全天球画像ＣＥにおける所定領域をディスプレイ５１７で閲覧できるように射影変換を行う（Ｓ３７０）。
【０１２８】
図２２は、部分平面から部分立体球の作成を説明する図である。通常、透視射影方式では平面に射影するため、図２２（ａ）で示すように３次元空間上に平面で表すことが多い。本実施形態では、図２２（ｂ）のように全天球画像に合わせて球の一部である部分立体球とする。ここでは、平面から部分立体球への変換について説明する。
【０１２９】
図２２（ａ）で示すように適切な大きさ(画角)で配置された平面上の各点（Ｘ，Ｙ，Ｚ）を球面上への射影を考える。球面への射影は球の原点から各点（Ｘ，Ｙ，Ｚ）を通る直線と球面との交点となる。球面上の各点は原点からの距離が球の半径と等しい点である。よって球の半径を１とすると図２２（ｂ）で示される球面上の点（Ｘ’，Ｙ’，Ｚ’）は下記の（式８）で表される。
【０１３０】
（Ｘ’，Ｙ’，Ｚ’）＝(Ｘ，Ｙ，Ｚ)×１／√(Ｘ２＋Ｙ２＋Ｚ２）・・・（式８）
図２３は、本実施形態の部分立体球作成を行わずに、全天球画像に部分画像を重畳した場合の二次元の概念図である。図２４は、本実施形態の部分立体球作成を行って、全天球画像に部分画像を重畳した場合の二次元の概念図である。
【０１３１】
図２３（ａ）に示されているように、仮想カメラＩＣが立体球ＣＳの中心点に位置している場合を基準にすると、被写体Ｐ１は、全天球画像ＣＥ上で像Ｐ２として表され、重畳画像Ｓ上で像Ｐ３として表されている。図２３（ａ）に示されているように、像Ｐ２及び像Ｐ３は、仮想カメラＩＣと被写体Ｐ１とを結ぶ直線上に位置しているため、全天球画像ＣＥに重畳画像Ｓが重畳された状態で表示されても、全天球画像ＣＥと重畳画像Ｓにズレが生じない。しかし、図２３（ｂ）に示されているように、仮想カメラＩＣが立体球ＣＳの中心点から離れると（画角αを小さくすると）、仮想カメラＩＣと被写体Ｐ１とを結ぶ直線上に、像Ｐ２は位置しているが、像Ｐ３はやや内側に位置している。このため、仮想カメラＩＣと被写体Ｐ１とを結ぶ直線上における重畳画像Ｓ上の像を像Ｐ３’とすると、全天球画像ＣＥと重畳画像Ｓに、像Ｐ３と像Ｐ３’との間のズレ量ｇ分のズレが生じてしまう。これにより、全天球画像ＣＥに対して重畳画像Ｓがズレて表示されてしまうが、このように、重畳した表示であっても良い。
【０１３２】
これに対して、さらに、本実施形態では、部分立体球作成を行っているため、図２４（ａ）、（ｂ）に示されているように、重畳画像Ｓを全天球画像ＣＥに沿って重畳することができる。これにより、図２４（ａ）に示されているように、仮想カメラＩＣが立体球ＣＳの中心点に位置する場合だけでなく、図２４（ｂ）に示されているように、仮想カメラが立体球ＣＳの中心点から離れた場合であっても、像Ｐ２及び像Ｐ３は、仮想カメラＩＣと被写体Ｐ１とを結ぶ直線上に位置することになる。よって、全天球画像ＣＥに重畳画像Ｓが重畳された状態で表示されても、全天球画像ＣＥと重畳画像Ｓにズレが生じない。
【０１３３】
図２５（ａ）は重畳表示しない場合のワイド画像の表示例、図２５（ｂ）は重畳表示しない場合のテレ画像の表示例、図２５（ｃ）は重畳表示する場合のワイド画像の表示例、図２５（ｄ）は重畳表示する場合のテレ画像の表示例を示した概念図である。なお、図中の波線は、説明の便宜上表しただけであり、実際にディスプレイ５１７上には表示されてもよく、表示されなくてもよい。
【０１３４】
図２５（ａ）に示されているように、全天球画像（ここでは、低精細な全体動画）ＣＥに対して部分画像（ここでは、高精細な部分動画）Ｐを重畳して表示しない場合、図２５（ａ）における波線で示される領域まで拡大表示すると、図２５（ｂ）に示されているように、低精細の画像のままとなっており、利用者は鮮明でない画像を見ることになってしまう。これに対して、図２５（ｃ）に示されているように、全天球画像ＣＥに対して部分画像Ｐを重畳して表示する場合、図２５（ｃ）における波線で示される領域まで拡大表示すると、図２５（ｄ）に示されているように、高精細の画像が表示され、利用者は鮮明な画像を見ることができる。特に、波線で示されている領域に、文字が描かれた看板等が表示されている場合、高精細な部分画像Ｐを重畳表示しなければ、拡大表示させても文字がぼやけてしまい、何が書かれてあるのか分からない。しかし、高精細な部分画像Ｐを重畳表示すれば、拡大表示させても文字が鮮明に見えるため、利用者は何が書かれているのかを把握することができる。
【０１３５】
＜＜部分静止画の生成及び再生＞＞
続いて、図２６を用いて部分静止画のデータの生成及び再生の処理について説明する。図２６は、部分静止画のデータの生成及び再生の処理を示したシーケンス図である。
【０１３６】
閲覧者（利用者）が図１７に示されているステップＳ１９によって、図２５（ｃ）に示されているような部分画像（ここでは、高精細な部分動画）Ｐが重畳された全体画像（ここでは、低精細な全体動画）を閲覧中に、部分動画を更に高精細な静止画として閲覧したい場合に、図２６に示されているように、閲覧者（利用者）がスマートフォン５を操作することで、受付部５２が部分静止画の配信サービスを開始する要求を受け付ける（Ｓ３１）。これにより、次に、スマートフォン５の送受信部５１は、画像管理システム７の送受信部７１に静止画データの要求を送信する（Ｓ３２）。この際、閲覧者が指定した部分画像パラメータも送信される。
【０１３７】
次に、画像管理システム７の送受信部７１は、仲介端末３の送受信部に対して静止画データの要求を転送する（Ｓ３３）。そして、仲介端末３の送受信部は、全天球撮影装置１の送受信部１１に対して、静止画データ要求を転送する（Ｓ３４）。
【０１３８】
次に、全天球撮影装置１は、静止画データの生成処理を行う（Ｓ３５）。このステップＳ３５の処理は、後ほど詳細に説明する。
【０１３９】
次に、全天球撮影装置１の送受信部１１は、仲介端末３１の送受信部に対して、要求に応じた静止画データを送信する（Ｓ３６）。この静止画データは、超高精細の部分静止画のデータである。なお、静止画データの送信を開始するタイミングは、夜間などネットワークのトラフィック量が少ない時間帯や、遅延時間を測定し、所定の遅延時間より短くなる時に送信するようにしてもよい。これにより、仲介端末３の送受信部は、画像管理システム７の送受信部７１に静止画データを転送する（Ｓ３７）。
【０１４０】
次に、画像管理システム７の送受信部７１が、静止画データを受信した場合は、記憶部７０００に静止画データを記憶させる(Ｓ３８)。
【０１４１】
そして、画像管理システム７の送受信部７は、スマートフォン５の送受信部５１に静止画データを転送する（Ｓ３９）。この際、転送開始のタイミングに関しては、全天球撮影装置１から仲介端末３を介して画像管理システムへのデータ送信と同様、通信ネットワーク１００の帯域制御などを行う。
【０１４２】
次に、スマートフォン５は、全体動画上にこれまで重畳していた高精細な部分動画に代えて、超高精細な部分静止画を重畳して表示させる（Ｓ４０）。この重畳の方法は、全体動画に部分動画を重畳した場合と共通する処理を含むが、異なる処理があるため、後ほど詳細に説明する。
【０１４３】
なお、上記ステップＳ３５において、判断部２５が射影方式変換部１８に、超高精細な静止画のデータに射影方式変換させないと判断した場合には、上記ステップＳ３６〜Ｓ３７において、静止画データの代わりに、「静止画を送信しない」旨、「画角は不足している」旨等のメッセージを送信するようにしてもよい。この場合、ステップＳ４０では、全体動画上に部分動画が重畳されたままの状態で上記メッセージが表示される。
【０１４４】
＜全天球撮影装置の静止画の生成＞
次に、上述のステップＳ３５で示した全天球撮影装置の静止画データの生成処理について詳細に説明する。
【０１４５】
全天球撮影装置１において静止画データの要求を受信した場合、静止画撮影判定を行う。これは部分画像の画角が比較的に狭い場合、元画像からの変換によって作成された部分静止画の解像度が送信中の部分動画の解像度との差がなくなるためである。この場合、図１６に示されている水平垂直画角閾値情報の水平画角（ＡＨ）と垂直画角（ＡＶ）を最低画角とし、部分画像パラメータで指定された画角が、当該画角より広い場合は静止画生成処理を実行する(Ｓ２１０)。
【０１４６】
より具体的には、全天球撮影装置１の送受信部１１が動画データの送信中に、静止画データの要求を受信した場合、射影方式変換部１８は、部分動画のデータの生成と同様に、超高精細の部分静止画のデータに対し、部分画像パラメータに従って正距円筒射影方式を透視射影方式に射影方式変換を行う。この場合、生成される静止画像のサイズは可変とし、超高精細画像の解像度を維持したまま変換を行う。超高精細画像の水平解像度をＷ、指定された水平画角をahとすると、生成される静止画の水平解像度Ｗｐは以下のように求めることができる。
【０１４７】
Ｗｐ＝  Ｗ / 360 * ah  ・・・（式９）
ここでのＷのサイズは、全天球撮影装置１の起動時に読み込まれた水平垂直画角閾値情報（図１６（ａ）参照）のＷ列から取得される。
【０１４８】
同様に指定された垂直画角をavとすると、生成される静止画の垂直解像度Ｈｐは次式で求めることができる。
【０１４９】
Ｈｐ= Ｈ/180 * av  ・・・（式１０）
更に、静止画符号化部２０ｂは、部分静止画のデータの符号化を行い、画像バッファに格納する。そして、送受信部１１は、ステップＳ１６，Ｓ１７と同様に、上述した通信ネットワーク帯域の制御を行い、仲介端末３を介して画像管理システム７に部分静止画のデータを送信する。この場合も部分画像パラメータが送信される。
【０１５０】
＜スマートフォンの静止画の再生＞
次に、上述のステップＳ４０で示したスマートフォン５の静止画データの再生処理について詳細に説明する。
【０１５１】
スマートフォン５側では、送受信部５１が全天球撮影装置１から送られてきた静止画データを通信部で受信した部分静止画のデータと部分画像パラメータに分離する。静止画復号化部５３ｂは、分離された後の部分静止画のデータを復号化する。その後は、上述の全体動画と部分動画の各データに対する処理が、全体動画と部分静止画の各データに対する処理に置き換わっただけであるため、その説明を省略する。
【０１５２】
〔実施形態の主な効果〕
以上説明したように本実施形態によれば、全体動画及び部分動画のデータ通信量を抑制しながらも、部分画像の精細度をできるだけ下げないようにすることで閲覧者がよりはっきりと注目する領域を閲覧することができるという効果を奏する。
【０１５３】
また、全天球撮影装置１は、超高精細の全天球画像から低精細の全体画像（ここでは、低精細の全体動画）を作成し（Ｓ１４０）、同じ超高精細の全天球画像から射影方式の異なる高精細の部分画像（ここでは、高精細の部分動画）を作成する（Ｓ１５０）。そして、全天球撮影装置１が、スマートフォン５に対して、低精細の全体画像及び高精細の部分画像の各データを送信する。これに対して、スマートフォン５は、低精細の全体画像上に高精細の部分画像を重畳して（Ｓ３６０）、利用者（閲覧者）が指定する視線方向及び画角に応じて射影方式を変換する（Ｓ３７０）。このように、全天球撮影装置１は、被写体等を撮像することによって得られた超高精細な全天球画像のうち、注目されている領域である部分画像については高精細に下げて送信し、注目されていない（全天球画像の全体を把握するための）全体画像については低精細に下げて送信し、しかも、高精細の部分画像については射影方式を変換してから送信する。更に、この送信前に、結合部１９が、図２０に示されているように、低精細の全体動画データ及び高精細の部分動画データの縦の解像度を半分に圧縮することで、それぞれのフレームの精細度を下げて一フレームに結合する。これにより、受信側のスマートフォン５では、従来に比べて、データ量が削減できるため、早く全体画像に部分画像を重畳した状態の全天球画像を表示させることができるという効果を奏する。
【０１５４】
よって、本実施形態によれば、通信量を減らすべく、全天球撮影装置１が、全天球画像の全体を縮小した低精細な全体画像と、全天球画像（全体画像）内の注目する領域である高精細な部分画像のデータとを配信し、受信側のスマートフォン５で全体画像に部分画像を合成するだけでなく、低精細な全体画像と高精細な部分画像が異なる射影方式であっても、スマートフォン５で合成して表示可能であるため、射影方式に関する汎用性が高いという効果を奏する。
【０１５５】
〔補足〕
上記実施形態では、判断部２５は、全体動画の一部の領域である部分画像の一フレームの全領域が、閾値管理部１００１で管理されている水平垂直画角閾値情報（図１６参照）の所定の閾値で示される所定領域よりも小さいか否かを判断する。そして、小さい場合には、判断部２５は、射影方式変換部１８に対して超高精細な静止画のデータに射影方式変換させないようにし、大きい場合には、判断部２５は、射影方式変換部１８に対して超高精細な静止画のデータに射影方式変換させるようにしたが、これに限るものではない。例えば、小さい場合には、送受信部１１が静止画記憶部２９に記憶されている射影方式変換後の部分静止画のデータをスマートフォン５側に送信させない処理を行い、大きい場合には、送受信部１１が静止画記憶部２９に記憶されている射影方式変換後の部分静止画のデータをスマートフォン５側に送信させる処理を行うようにしてもよい。この場合、判断部２５が送受信部１１に送信させるか否かを指示しても良いし、判断部２５が静止画記憶部２９に対して、記憶部２９に記憶されている射影方式変換後の部分静止画のデータを、送受信部１１側に送信させるか否かを指示してもよい。
【０１５６】
また、全天球撮影装置１は撮影装置の一例であり、撮影装置には、通常の平面画像を得るデジタルカメラやスマートフォン等も含まれる。通常の平面画像を得るデジタルカメラやスマートフォンの場合、全天球画像を得るのではなく、比較的広角な画像（広角画像）を得ることができる。
【０１５７】
また、スマートフォン５は、通信端末又は画像処理装置の一例であり、通信端末又は画像処理装置には、タブレット型ＰＣ（Personal Computer：パーソナルコンピュータ）、ノートＰＣ、デスクトップＰＣ等のＰＣも含まれる。また、通信端末又は画像処理装置には、スマートウォッチ、ゲーム機器、又は車両等に搭載するカーナビゲーション端末等が含まれる。
【０１５８】
上記実施形態では、低精細画像として、撮像部１４ａ，１４ｂから得られた画像データの画像の全体領域である全体動画と、高精細画像として、全体領域の一部の領域である部分動画について説明したが、これに限るものではない。低精細画像は、撮像部１４ａ，１４ｂから得られた動画データの画像の全体領域の一部の領域Ａ１の画像であってもよい。この場合、高精細画像は、一部の領域Ａ１の更に一部の領域Ａ２の画像となる。即ち、低精細な全体動画と高精細な部分動画との関係は、前者が広角動画であるのに対して後者が狭角動画像である。なお、部分静止画についても、部分動画と同様の考えで、狭角静止画ということができる。また、本実施形態において、広角画像（静止画、動画のいずれも含む）は、いわゆる広角レンズや魚眼レンズを備える撮像装置で撮影された画像の歪みが発生するような画像。また、狭角画像（静止画、動画のいずれも含む）は、広角レンズや魚眼レンズを備える撮像装置で撮影された画像の一部で、画角が広角画像よりも狭い画角の画像。
【０１５９】
上記実施形態では、全天球画像に平面画像を重畳する場合について説明したが、重畳は、合成の一例である。合成には、重畳の他に、貼り付け、嵌め込み、重ね合わせ等も含まれる。また、上記重畳画像は、合成画像の一例である。合成画像には、重畳画像の他に、貼り付け画像、嵌め込み画像、重ね合わせ画像等も含まれる。更に、画像重畳部５６は、画像合成部の一例である。
【０１６０】
また、正距円筒射影画像ＥＣと平面画像Ｐは、両方とも静止画の場合、両方とも動画のフレームの場合、一方が静止画で他方が動画のフレームの場合のいずれであってもよい。
【０１６１】
更に、上記実施形態では、射影方式変換部１８は、一時記憶部１６から取得した高精細の画像データをそのままの精細度で射影方式を変換しているが、これに限るものではない。例えば、低精細変更部１７から出力される全体画像データよりも高い精細度であれば、射影方式変換部１８は、射影方式を変換する際に一時記憶部１６から取得した画像データの精細度を低くしてもよい。
【０１６２】
図１３及び図１４に示されている各機能構成は、ソフトウェア機能ユニットの形で実現し、且つ、独立製品として販売または使用する場合に、コンピュータ読取り可能な記憶媒体に記憶することができる。この場合に、本実施形態の技術方案は、本質的、または従来技術に貢献する部分若しくは上記技術方案の部分はソフトウェア製品の形で表現される。上記コンピュータソフトウェア製品は、記憶媒体に記憶され、コンピュータ装置(パーソナルコンピュータ、サーバ、或はネットワークデバイスなど)に上記各実施形態にかかる上記方法の全部或は一部のステップを実行させる複数の指令を含む。なお、上述の記憶媒体は、USBメモリ、リムーバブルディスク、ROM、RAM、磁気ディスク、あるいは光ディスクなど、プログラムコードを格納できる様々な媒体を含む。
【０１６３】
また、上記実施形態にかかる方法は、プロセッサに適用され、またはプロセッサによって実現される。プロセッサは信号を処理する能力を持つ集積回路基板である。上記各実施形態の方法の各ステップはプロセッサにおけるハードウェアである集積論理回路又はソフトウェア形式の指令によって実現される。上記プロセッサは汎用プロセッサ、デジタル信号プロセッサ(DSP)、専用集積回路(ASIC)、既製プログラマブルゲートアレイ(FPGA)または他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタ論理デバイス、ディスクリートハードウェア部品であり、上記各実施形態に開示される各方法、ステップ及び論理ボックスを実現又は実行可能なものである。汎用処理器はマイクロプロセッサ又は任意の一般処理器などである。上記各実施形態にかかる方法の各ステップは、ハードウェアであるデコーダにより実行されることで実現されてもよく、または、デコーダにおけるハードウェアとソフトウェアとの組み合わせによって実現されても良い。ソフトウェアモジュールはランダムメモリ、フラッシュメモリ、読出し専用メモリ、プログラマブル読出し専用メモリ、あるいは電気的消去可能なプログラマブルメモリ、レジスタなど、本分野で成熟した記憶媒体に記憶される。このソフトウェアが記憶される記憶媒体を備えるメモリから、プロセッサは情報を読み取り、ハードウェアに合わせて上記方法のステップを実現させる。
【０１６４】
以上に説明した実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、またはそれらの組み合わせで実現される。その中に、ハードウェアの実現に関して、処理ユニットは一つまたは複数の専用集積回路(ASIC)、デジタル信号処理プロセッサ（DSP）、デジタル信号プロセッサ(DSPD)、プログラム可能論理回路(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、汎用プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、本発明の機能を実行する他の電子ユニット或はその組合せにより実現される。また、ソフトウェアの実現に関しては、上述した機能を実現するモジュール(たとえばプロセス、関数など)により上記技術が実現される。ソフトウェアコードは、メモリに保存され、プロセッサによって実行される。なお、メモリはプロセッサの内部または外部で実現される。
【符号の説明】
【０１６５】
１  全天球撮影装置（撮影装置の一例）
５  スマートフォン（通信端末の一例、画像処理装置の一例）
１３  撮像制御部
１４ａ  撮像部
１４ｂ  撮像部
１５  画像処理部
１６  一時記憶部
１７  低精細変更部（変更手段の一例）
１８  射影方式変換部（射影方式変換手段の一例）
１９  結合部（結合手段の一例）
２０ａ  動画符号化部
２０ｂ  静止画符号化部
２２  受付部
５１  送受信部
５２  受付部
５３ａ  動画復号化部
５３ｂ  静止画号化部
５４  重畳領域作成部
５５  画像作成部
５６  画像重畳部
５７  射影変換部
５８  表示制御部
【先行技術文献】
【特許文献】
【０１６６】
【特許文献１】特開２００６−３４００９１号公報
【図１】
2020162118.tif 000003
【図２】
2020162118.tif 000004
【図３】
2020162118.tif 000005
【図４】
2020162118.tif 000006
【図５】
2020162118.tif 000007
【図６】
2020162118.tif 000008
【図７】
2020162118.tif 000009
【図８】
2020162118.tif 000010
【図９】
2020162118.tif 000011
【図１０】
2020162118.tif 000012
【図１１】
2020162118.tif 000013
【図１２】
2020162118.tif 000014
【図１３】
2020162118.tif 000015
【図１４】
2020162118.tif 000016
【図１５】
2020162118.tif 000017
【図１６】
2020162118.tif 000018
【図１７】
2020162118.tif 000019
【図１８】
2020162118.tif 000020
【図１９】
2020162118.tif 000021
【図２０】
2020162118.tif 000022
【図２１】
2020162118.tif 000023
【図２２】
2020162118.tif 000024
【図２３】
2020162118.tif 000025
【図２４】
2020162118.tif 000026
【図２５】
2020162118.tif 000027
【図２６】
2020162118.tif 000028