(57)【要約】【課題】第１の画像としての正距円筒射影画像（背景画像）に対して、第２の画像としての平面画像（前景画像）ＰＡ、及び第３の画像としての平面画像（前景画像）ＰＢを重畳する場合、第１の画像と第２の画像（又は第３の画像）との間では画像のずれを抑制しても、第２の画像及び第３の画像同士の一部又は全部が重なるような場合には、第２の画像及び第３の画像の間で画像ずれが目立つことがあった。【解決手段】画像処理装置は、第１の画像に対して第２の画像を重畳するための重畳位置を算出し（Ｓ１１０〜Ｓ１６０；Ｓ２１０−１）、更に、第２の画像に対して第３の画像を重畳するための重畳位置を算出し（Ｓ１９０；Ｓ２１０−２−１，２）、第３の画像から第２の画像を介して第１の画像に段階的なマッチング処理を行うことで、第１の画像に対する第３の画像の重畳位置を示す重畳表示データを作成する（Ｓ２３０−２）。【選択図】図２２
2019175446.tif 000002
【特許請求の範囲】
【請求項１】
第１の射影方式の第１の画像における複数の特徴点と第２の射影方式の第２の画像における複数の特徴点との類似度に基づき、第１のホモグラフィ変換によって、前記第１の画像において前記第２の画像に対応する第１の対応領域を算出する第１の対応領域算出手段と、
前記第１の画像において前記第１の対応領域が含まれている特定領域の射影方式を、前記第２の射影方式に変換することで、特定領域画像を作成する射影方式変換手段と、
前記第２の画像における前記複数の特徴点と前記特定領域画像における複数の特徴点との類似度に基づき、第２のホモグラフィ変換によって、前記特定領域画像において前記第２の画像に対応する第２の対応領域を算出する第２の対応領域算出手段と、
前記第２の対応領域の射影方式を、前記第１の射影方式に逆変換することで、前記第１の画像において、前記第２の対応領域に対応する第１の所定対応領域によって示される第１の位置情報を算出する射影方式逆変換手段と、
前記第２の画像における複数の特徴点と前記第２の射影方式と同じ射影方式の第３の画像における複数の特徴点との類似度に基づき、第３のホモグラフィ変換によって、前記第２の画像において前記第３の画像に対応する第３の対応領域を算出する第３の対応領域算出手段と、
を有し、
前記第２の対応領域算出手段は、前記第２のホモグラフィ変換によって、前記特定領域画像において前記第３の画像に対応する第４の対応領域を算出し、
前記射影方式逆変換手段は、前記第４の対応領域の射影方式を、前記第１の射影方式に逆変換することで、前記第１の画像において、前記第４の対応領域に対応する第２の所定対応領域によって示される第２の位置情報を算出する
ことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、更に、
前記第２の画像の複数の点に関して、輝度及び色のうち少なくとも一方を補正する第１の補正情報を作成する補正情報作成手段を有することを特徴とする画像処理装置。
【請求項３】
請求項１又は２に記載の画像処理装置であって、更に、
輝度及び色の少なくとも一方の第１の補正情報を求める場合に、前記第２の対応領域を形状変換して前記第２の画像の形状に合わせる形状変換手段を有し、前記形状変換した後の第２の対応領域に含まれる複数の点の位置に対応した前記第２の画像から前記第１の補正情報を求めることを特徴とする画像処理装置。
【請求項４】
前記複数の点は、前記第２の画像を複数の格子領域に分割して得られる格子点であることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項５】
請求項１に記載の画像処理装置であって、更に、
前記第３の画像の複数の点に関して、輝度及び色のうち少なくとも一方を補正する第２の補正情報を作成する補正情報作成手段を有することを特徴とする画像処理装置。
【請求項６】
請求項１又は５に記載の画像処理装置であって、更に、
輝度及び色の少なくとも一方の第２の補正情報を求める場合に、前記第４の対応領域を形状変換して前記第３の画像の形状に合わせる形状変換手段を有し、前記形状変換した後の第４の対応領域に含まれる複数の点の位置に対応した前記第３の画像から前記第２の補正情報を求めることを特徴とする画像処理装置。
【請求項７】
前記複数の点は、前記第３の画像を複数の格子領域に分割して得られる格子点であることを特徴とする請求項１、５又は６のいずれか一項に記載の画像処理装置。
【請求項８】
前記画像処理装置は、スマートフォン、タブレット型パソコン、ノートパソコン、デスクトップパソコン、又はサーバコンピュータであることを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
【請求項９】
請求項１乃至８に記載の画像処理装置と、
被写体を撮像し、前記第１の射影方式の前記第１の画像を得る第１の撮影装置と、
被写体を撮像し、前記第２の射影方式の前記第２の画像を得る第２の撮影装置と、
を有することを特徴とする撮影システム。
【請求項１０】
前記第１の撮影装置は、被写体を撮像し、全天球画像を得るカメラであることを特徴とする請求項９に記載の撮影システム。
【請求項１１】
第１の射影方式の第１の画像における複数の特徴点と第２の射影方式の第２の画像における複数の特徴点との類似度に基づき、第１のホモグラフィ変換によって、前記第１の画像において前記第２の画像に対応する第１の対応領域を算出する第１の対応領域算出ステップと、
前記第１の画像において前記第１の対応領域が含まれている特定領域の射影方式を、前記第２の射影方式に変換することで、特定領域画像を作成する射影方式変換ステップと、
前記第２の画像における前記複数の特徴点と前記特定領域画像における複数の特徴点との類似度に基づき、第２のホモグラフィ変換によって、前記特定領域画像において前記第２の画像に対応する第２の対応領域を算出する第２の対応領域算出ステップと、
前記第２の対応領域の射影方式を、前記第１の射影方式に逆変換することで、前記第１の画像において、前記第２の対応領域に対応する第１の所定対応領域によって示される第１の位置情報を算出する射影方式逆変換ステップと、
前記第２の画像における複数の特徴点と前記第２の射影方式と同じ射影方式の第３の画像における複数の特徴点との類似度に基づき、第３のホモグラフィ変換によって、前記第２の画像において前記第３の画像に対応する第３の対応領域を算出する第３の対応領域算出ステップと、
を有し、
前記第２の対応領域算出ステップは、前記第２のホモグラフィ変換によって、前記特定領域画像において前記第３の画像に対応する第４の対応領域を算出する処理を含み、
前記射影方式逆変換ステップは、前記第４の対応領域の射影方式を、前記第１の射影方式に逆変換することで、前記第１の画像において、前記第４の対応領域に対応する第２の所定対応領域によって示される第２の位置情報を算出する処理を含む
ことを特徴とする画像処理方法。
【請求項１２】
コンピュータに、請求項１１に記載の方法を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮影システム、画像処理方法、及びプログラムに関するものである。
【背景技術】
【０００２】
従来、広角の平面画像（背景画像）のうちの一部の領域に、広角の平面画像とは別に撮影することで得られた拡大の平面画像（前景画像）を嵌め込むことで、上記一部の領域を拡大しても鮮明な画像を表示することができる技術が開示されている（特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、第１の画像としての正距円筒射影画像（背景画像）に対して、第２の画像としての平面画像（前景画像）、及び第３の画像としての平面画像（前景画像）を重畳する場合、第１の画像と第２の画像（又は第３の画像）との間では画像のずれを抑制しても、第２の画像及び第３の画像同士の一部又は全部が重なるような場合には、第２の画像及び第３の画像の間で画像ずれが目立つことがあった。
【課題を解決するための手段】
【０００４】
請求項１に係る発明は、第１の射影方式の第１の画像における複数の特徴点と第２の射影方式の第２の画像における複数の特徴点との類似度に基づき、第１のホモグラフィ変換によって、前記第１の画像において前記第２の画像に対応する第１の対応領域を算出する第１の対応領域算出手段と、前記第１の画像において前記第１の対応領域が含まれている特定領域の射影方式を、前記第２の射影方式に変換することで、特定領域画像を作成する射影方式変換手段と、前記第２の画像における前記複数の特徴点と前記特定領域画像における複数の特徴点との類似度に基づき、第２のホモグラフィ変換によって、前記特定領域画像において前記第２の画像に対応する第２の対応領域を算出する第２の対応領域算出手段と、前記第２の対応領域の射影方式を、前記第１の射影方式に逆変換することで、前記第１の画像において、前記第２の対応領域に対応する第１の所定対応領域によって示される第１の位置情報を算出する射影方式逆変換手段と、前記第２の画像における複数の特徴点と前記第２の射影方式と同じ射影方式の第３の画像における複数の特徴点との類似度に基づき、第３のホモグラフィ変換によって、前記第２の画像において前記第３の画像に対応する第３の対応領域を算出する第３の対応領域算出手段と、を有し、前記第２の対応領域算出手段は、前記第２のホモグラフィ変換によって、前記特定領域画像において前記第３の画像に対応する第４の対応領域を算出し、前記射影方式逆変換手段は、前記第４の対応領域の射影方式を、前記第１の射影方式に逆変換することで、前記第１の画像において、前記第４の対応領域に対応する第２の所定対応領域によって示される第２の位置情報を算出することを特徴とする画像処理装置である。
【発明の効果】
【０００５】
以上説明したように本発明によれば、第２の画像及び第３の画像のずれを抑制することができるという効果を奏する。
【図面の簡単な説明】
【０００６】
【図１】（ａ）は特殊撮影装置の左側面図であり、（ｂ）は特殊撮影装置の背面図であり、（ｃ）は特殊撮影装置の平面図であり、（ｄ）は特殊撮影装置の底面図である。
【図２】特殊撮影装置の使用イメージ図である。
【図３】（ａ）は特殊撮影装置で撮影された半球画像（前）、（ｂ）は特殊撮影装置で撮影された半球画像（後）、（ｃ）は正距円筒図法により表された画像を示した図である。
【図４】（ａ）は正距円筒射影画像で球を被う状態を示した概念図、（ｂ）は全天球画像を示した図である。
【図５】全天球画像を３次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。
【図６】（ａ）は図５の立体斜視図、（ｂ）は通信端末のディスプレイに所定領域の画像が表示されている状態を示す図である。
【図７】所定領域情報と所定領域Ｔの画像との関係を示した図である。
【図８】本発明の第１の実施形態に係る撮影システムの概略図である。
【図９】アダプタの斜視図である。
【図１０】撮影システムの使用イメージ図である。
【図１１】特殊撮影装置のハードウェア構成図である。
【図１２】一般撮影装置のハードウェア構成図である。
【図１３】スマートフォンのハードウェア構成図である。
【図１４】第１の実施形態に係る撮影システムの機能ブロック図である。
【図１５】（ａ）は連携撮影装置管理テーブルの概念図、（ｂ）連携撮影装置設定画面を示す概念図である。
【図１６】第１の実施形態に係る画像・音処理部の詳細な機能ブロック図である。
【図１７】親画像が全天球画像で子画像が平面画像の場合の重畳関係メタデータ（１）のデータ構成図である。
【図１８】親画像が平面画像で子画像も平面画像の場合の重畳関係メタデータ（２）のデータ構成図である。
【図１９】重畳表示データの構成図である。
【図２０】（ａ）は第２の対応領域における各格子領域を示した概念図、（ｂ）は第３の対応領域における各格子領域を示した概念図である。
【図２１】第１の実施形態に係る撮影方法を示したシーケンス図である。
【図２２】重畳関係メタデータ及び重畳表示データの作成処理の過程における画像の概念図である。
【図２３】周辺領域画像を特定する際の概念図である。
【図２４】第２の対応領域を複数の格子領域に分割する際の概念図である。
【図２５】正距円筒射影画像ＥＣにおいて、第１及び第２の所定対応領域を示す概念図である。
【図２６】第１の補正パラメータの作成処理の過程における画像の概念図である。
【図２７】（ａ）従来処理における重畳位置算出処理を示した概念図、（ｂ）本実施形態における前景画像の対応関係を示した図である。
【図２８】従来の重畳位置算出処理を示した概念図である。
【図２９】本実施形態の重畳位置算出処理を示した概念図である。
【図３０】重畳関係のグループを示した概念図である。
【図３１】重畳の処理の課程における画像の概念図である。
【図３２】全天球画像に平面画像を重畳した場合の二次元の概念図である。
【図３３】全天球画像に平面画像を重畳した場合の三次元の概念図である。
【図３４】本実施形態の位置パラメータを用いずに、全天球画像に平面画像を重畳した場合の二次元の概念図である。
【図３５】本実施形態の位置パラメータを用いて、全天球画像に平面画像を重畳した場合の二次元の概念図である。
【図３６】（ａ）重畳表示しない場合のワイド画像の表示例、（ｂ）重畳表示しない場合のテレ画像の表示例、（ｃ）重畳表示する場合のワイド画像の表示例、（ｄ）重畳表示する場合のテレ画像の表示例を示した概念図である。
【図３７】本発明の第２の実施形態に係る撮影システムの概略図である。
【図３８】画像処理サーバのハードウェア構成図である。
【図３９】第２の実施形態に係る撮影システムの機能ブロック図である。
【図４０】第２の実施形態に係る画像・音処理部の詳細な機能ブロック図である。
【図４１】第２の実施形態に係る撮影方法を示したシーケンス図である。
【発明を実施するための形態】
【０００７】
以下、図面を用いて、本発明の実施形態について説明する。なお、後述の全天球画像は第１の画像の一例であり、重畳画像は第２の画像の一例である。周辺領域画像は特定領域画像の一例である。
【０００８】
〔実施形態の概要〕
以下、本実施形態の概要について説明する。
【０００９】
まずは、図１乃至図７を用いて、全天球画像の生成方法について説明する。
【００１０】
まず、図１を用いて、特殊撮影装置１の外観を説明する。特殊撮影装置１は、全天球（３６０°）パノラマ画像の元になる撮影画像を得るためのデジタルカメラである。なお、図１（ａ）は特殊撮影装置の左側面図であり、図１（ｂ）は特殊撮影装置の背面図であり、図１（ｃ）は特殊撮影装置の平面図であり、図１（ｄ）は特殊撮影装置の底面図である。
【００１１】
図１（ａ），図１（ｂ），図１（ｃ），図（ｄ）に示されているように、特殊撮影装置１の上部には、正面側（前側）に魚眼型のレンズ１０２ａ及び背面側（後側）に魚眼型のレンズ１０２ｂが設けられている。特殊撮影装置１の内部には、後述の撮像素子（画像センサ）１０３ａ，１０３ｂが設けられており、それぞれレンズ１０２ａ、１０２ｂを介して被写体や風景を撮影することで、半球画像（画角１８０°以上）を得ることができる。特殊撮影装置１の正面側と反対側の面には、シャッターボタン１１５ａが設けられている。また、特殊撮影装置１の側面には、電源ボタン１１５ｂ、Wi-Fi(Wireless Fidelity)ボタン１１５ｃ、及び撮影モード切替ボタン１１５ｄが設けられている。電源ボタン１１５ｂ、及びWi-Fiボタン１１５ｃは、いずれも押下される度に、オンとオフが切り替えられる。また、撮影モード切替ボタン１１５ｄは、押下される度に、静止画の撮影モードと動画の撮影モードが切り替えられる。なお、シャッターボタン１１５ａ、電源ボタン１１５ｂ、Wi-Fiボタン１１５ｃ、及び撮影モード切替ボタン１１５ｄは、操作部１１５の一部であり、操作部１１５は、これらのボタンに限られない。
【００１２】
また、特殊撮影装置１の底部１５０の中央には、カメラ用三脚に特殊撮影装置１や一般撮影装置３を取り付けるための三脚ねじ穴１５１が設けられている。また、底部１５０の左端側には、Micro USB(Universal Serial Bus)端子１５２が設けられている。底部１５０の右端側には、HDMI(High-Definition Multimedia Interface)端子１５３が設けられている。なお、HDMIは登録商標である。
【００１３】
次に、図２を用いて、特殊撮影装置１の使用状況を説明する。なお、図２は、特殊撮影装置の使用イメージ図である。特殊撮影装置１は、図２に示されているように、例えば、利用者が手に持って利用者の周りの被写体を撮影するために用いられる。この場合、図１に示されている撮像素子１０３ａ及び撮像素子１０３ｂによって、それぞれ利用者の周りの被写体が撮像されることで、２つの半球画像を得ることができる。
【００１４】
次に、図３及び図４を用いて、特殊撮影装置１で撮影された画像から正距円筒射影画像ＥＣ及び全天球画像ＣＥが作成されるまでの処理の概略を説明する。なお、図３（ａ）は特殊撮影装置１で撮影された半球画像（前側）、図３（ｂ）は特殊撮影装置で撮影された半球画像（後側）、図３（ｃ）は正距円筒図法により表された画像（以下、「正距円筒射影画像」という）を示した図である。図４（ａ）は正距円筒射影画像で球を被う状態を示した概念図、図４（ｂ）は全天球画像を示した図である。
【００１５】
図３（ａ）に示されているように、撮像素子１０３ａによって得られた画像は、後述の魚眼レンズ１０２ａによって湾曲した半球画像（前側）となる。また、図３（ｂ）に示されているように、撮像素子１０３ｂによって得られた画像は、後述の魚眼レンズ１０２ｂによって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは、特殊撮影装置１によって合成され、図３（ｃ）に示されているように、正距円筒射影画像ＥＣが作成される。
【００１６】
そして、OpenGL ES（Open Graphics Library for Embedded Systems）が利用されることで、図４（ａ）に示されているように、正距円筒射影画像が球面を覆うように貼り付けられ、図４（ｂ）に示されているような全天球画像ＣＥが作成される。このように、全天球画像ＣＥは、正距円筒射影画像ＥＣが球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2-Dimensions)および３Ｄ(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球画像ＣＥは、静止画であっても動画であってもよい。
【００１７】
以上のように、全天球画像ＣＥは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球画像ＣＥの一部の所定領域（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図５及び図６を用いて説明する。
【００１８】
なお、図５は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球画像ＣＥに対して、その画像を見るユーザの視点の位置に相当するものである。また、図６（ａ）は図５の立体斜視図、図６（ｂ）はディスプレイに表示された場合の所定領域画像を表す図である。また、図６（ａ）では、図４に示されている全天球画像ＣＥが、三次元の立体球ＣＳで表わされている。このように生成された全天球画像ＣＥが、立体球ＣＳであるとすると、図５に示されているように、仮想カメラＩＣが全天球画像ＣＥの内部に位置している。全天球画像ＣＥにおける所定領域Ｔは、仮想カメラＩＣの撮影領域であり、全天球画像ＣＥを含む三次元の仮想空間における仮想カメラＩＣの撮影方向と画角を示す所定領域情報によって特定される。
【００１９】
そして、図６（ａ）に示されている所定領域画像Ｑは、図６（ｂ）に示されているように、所定のディスプレイに、仮想カメラＩＣの撮影領域の画像として表示される。図６（ｂ）に示されている画像は、初期設定（デフォルト）された所定領域情報によって表された所定領域画像である。以下では、仮想カメラＩＣの撮影方向（ea，aa）と画角（α）を用いて説明する。
【００２０】
図７を用いて、所定領域情報と所定領域Ｔの画像の関係について説明する。なお、図７は、所定領域情報と所定領域Ｔの画像の関係との関係を示した図である。図７に示されているように、「ea」はelevation angle、「aa」はazimuth angle、「α」は画角(Angle)を示す。即ち、撮影方向（ea，aa）で示される仮想カメラＩＣの注視点が、仮想カメラＩＣの撮影領域である所定領域Ｔの中心点ＣＰとなるように、仮想カメラＩＣの姿勢を変更することになる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。ｆは仮想カメラＩＣから中心点ＣＰまでの距離である。Ｌは所定領域Ｔの任意の頂点と中心点ＣＰとの距離である（２Ｌは対角線）。そして、図７では、一般的に以下の（式１）で示される三角関数が成り立つ。
【００２１】
Ｌ／ｆ＝ｔａｎ（α／２）・・・（式１）
〔第１の実施形態〕
続いて、図８乃至図３６を用いて、本発明の第１の実施形態について説明する。
【００２２】
＜撮影システムの概略＞
まずは、図８を用いて、本実施形態の撮影システムの構成の概略について説明する。図８は、本実施形態の撮影システムの構成の概略図である。
【００２３】
図８に示されているように、本実施形態の撮影システムは、特殊撮影装置１、一般撮影装置３、スマートフォン５、及びアダプタ９によって構成されている。特殊撮影装置１はアダプタ９を介して一般撮影装置３に接続されている。
【００２４】
これらのうち、特殊撮影装置１は、上述のように、被写体や風景等を撮影して全天球（パノラマ）画像の元になる２つの半球画像を得るための特殊なデジタルカメラである。
【００２５】
一般撮影装置３は、デジタル一眼レフカメラであるが、コンパクトデジタルカメラであってもよい。一般撮影装置３には、後述の操作部３１５の一部であるシャッターボタン３１５ａが設けられている。
【００２６】
スマートフォン５は、Wi-Fi、Bluetooth（登録商標）、NFC（Near Field Communication）等の近距離無線通信技術を利用して、特殊撮影装置１及び一般撮影装置３と無線通信を行なうことができる。また、スマートフォン５では、自装置に設けられた後述のディスプレイ５１７に、特殊撮影装置１及び一般撮影装置３からそれぞれ取得した画像を表示することができる。
【００２７】
なお、スマートフォン５は、近距離無線通信技術を利用せずに、有線ケーブルによって特殊撮影装置１及び一般撮影装置３と通信を行なうようにしてもよい。また、スマートフォン５は、画像処理装置の一例であり、画像処理装置には、タブレット型ＰＣ（Personal Computer：パーソナルコンピュータ）、ノートＰＣ、デスクトップＰＣも含まれる。なお、スマートフォンは、後述の通信端末の一例でもある。
【００２８】
また、図９は、アダプタの斜視図である。図９に示されているように、アダプタ９は、シューアダプタ９０１、ボルト９０２、上部アジャスタ９０３、及び下部アジャスタ９０４によって構成されている。これらのうち、シューアダプタ９０１は、一般撮影装置３のアクセサリシューにスライドして取り付けられる。このシューアダプタ９０１の中心に、三脚ねじ穴１５１に回転して取り付けられるボルト９０２が設けられている。このボルト９０２には、回転可能に、上部アジャスタ９０３及び下部アジャスタ９０４が設けられている。上部アジャスタ９０３は、ボルト９０２に取り付けた物（例えば、特殊撮影装置１）を固定する役割を果たす。下部アジャスタ９０４は、シューアダプタ９０１を取り付けた物（例えば、一般撮影装置３）を固定する役割を果たす。
【００２９】
図１０は、撮影システムの使用イメージ図である。図１０に示されているように、利用者は、スマートフォン５を衣服のポケットに入れ、アダプタ９を用いて特殊撮影装置１を取り付けた一般撮影装置３で被写体等の撮影を行なう。なお、スマートフォン５は、衣服のポケットに入れずに、特殊撮影装置１や一般撮影装置３と無線通信可能な範囲に置いてもよい。
【００３０】
＜＜実施形態のハードウェア構成＞＞
次に、図１１及び図１３を用いて、本実施形態の特殊撮影装置１、一般撮影装置３及びスマートフォン５のハードウェア構成を詳細に説明する。
【００３１】
＜特殊撮影装置のハードウェア構成＞
まず、図１１を用いて、特殊撮影装置１のハードウェア構成を説明する。図１１は、特殊撮影装置１のハードウェア構成図である。以下では、特殊撮影装置１は、２つの撮像素子を使用した全天球（全方位）特殊撮影装置とするが、撮像素子は２つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位の撮像ユニットを取り付けることで、実質的に特殊撮影装置１と同じ機能を有するようにしてもよい。
【００３２】
図１１に示されているように、特殊撮影装置１は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、アンテナ１１７ａ、電子コンパス１１８、ジャイロセンサ１１９、加速度センサ１２０、及び端子１２１によって構成されている。
【００３３】
このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子１０３ａ，１０３ｂを備えている。撮像素子１０３ａ，１０３ｂは、魚眼レンズ１０２ａ，１０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。
【００３４】
撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４とパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、撮像制御ユニット１０５とは、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４、撮像制御ユニット１０５及び音処理ユニット１０９は、バス１１０を介してＣＰＵ１１１と接続される。さらに、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及び電子コンパス１１８なども接続される。
【００３５】
画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図３（ｃ）に示されているような正距円筒射影画像のデータを作成する。
【００３６】
撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。
【００３７】
また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。特殊撮影装置１によっては、ディスプレイ（例えば、スマートフォン５のディスプレイ５１７）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。
【００３８】
また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、特殊撮影装置１にはディスプレイが設けられていないが、表示部を設けてもよい。
【００３９】
マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。
【００４０】
ＣＰＵ１１１は、特殊撮影装置１の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。
【００４１】
操作部１１５は、シャッターボタン１１５ａなどの操作ボタンの総称である。ユーザは操作部１１５を操作することで、種々の撮影モードや撮影条件などを入力する。
【００４２】
ネットワークＩ／Ｆ１１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ１１６としては、無線、有線を問わない。ＤＲＡＭ１１４に記憶された正距円筒射影画像のデータは、このネットワークＩ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／Ｆ１１６を介してスマートフォン５等の外部端末（装置）に送信されたりする。
【００４３】
通信部１１７は、特殊撮影装置１に設けられたアンテナ１１７ａを介して、Wi-Fi、NFC、Bluetooth等の近距離無線通信技術によって、スマートフォン５等の外部端末（装置）と通信を行う。この通信部１１７によっても、正距円筒射影画像のデータをスマートフォン５等の外部端末（装置）に送信することができる。
【００４４】
電子コンパス１１８は、地球の磁気から特殊撮影装置１の方位を算出し、方位情報を出力する。この方位情報はExifに沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。
【００４５】
ジャイロセンサ１１９は、全天球カメラ２０の移動に伴う角度の変化（Roll角、Pitch角、Yaw角）を検出するセンサである。角度の変化はExifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。
【００４６】
加速度センサ１２０は、３軸方向の加速度を検出するセンサである。特殊撮影装置３ａは、加速度センサ１２０が検出した加速度に基づいて、自装置（特殊撮影装置３ａ）の姿勢（重力方向に対する角度）を算出する。特殊撮影装置３ａに、ジャイロセンサ１１９と加速度センサ１２０の両方が設けられることによって、画像補正の精度が向上する。
【００４７】
端子１２１は、Micro USB用の凹状の端子である。
【００４８】
＜一般撮影装置のハードウェア構成＞
次に、図１２を用いて、一般撮影装置のハードウェアについて説明する。図１２は、一般撮影装置３のハードウェア構成図である。図１２に示されているように、一般撮影装置３は、撮像ユニット３０１、画像処理ユニット３０４、撮像制御ユニット３０５、マイク３０８、音処理ユニット３０９、バス３１０、ＣＰＵ３１１、ＲＯＭ３１２、ＳＲＡＭ３１３、ＤＲＡＭ３１４、操作部３１５、ネットワークＩ／Ｆ３１６、通信部３１７、アンテナ３１７ａ、電子コンパス３１８、及びディスプレイ３１９によって構成されている。画像処理ユニット３０４及び撮像制御ユニット３０５は、バス３１０を介してＣＰＵ３１１と接続される。
【００４９】
各構成３０４、３１０、３１１、３１２、３１３、３１４、３１５、３１６、３１７、３１７ａ、３１８は、それぞれ、図１１の特殊撮影装置１における各構成１０４、１１０、１１１、１１２、１１３、１１４、１１５、１１６、１１７、１１７ａ、１１８と同様の構成であるため、その説明を省略する。
【００５０】
更に、一般撮影装置３の撮影ユニット３０１は、図１２に示されているように、撮像素子３０３の前面にレンズユニット３０６、及びメカニカルシャッタ３０７が外部から撮像素子３０３の方向に順に設けられている。
【００５１】
撮像制御ユニット３０５は、基本的に撮像制御ユニット１０５と同様の構成及び処理を行なうが、更に、操作部３１５によって受け付けられた利用者の操作に基づいて、レンズユニット３０６、及びメカニカルシャッタ３０７の駆動を制御する。
【００５２】
また、ディスプレイ３１９は、操作メニュー、撮影中又は撮影後の画像を表示させる表示手段の一例である。
【００５３】
＜スマートフォンのハードウェア構成＞
次に、図１３を用いて、スマートフォンのハードウェアについて説明する。図１３は、スマートフォンのハードウェア構成図である。図１３に示されているように、スマートフォン５は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＥＥＰＲＯＭ５０４、ＣＭＯＳセンサ５０５、撮像素子Ｉ／Ｆ５１３ａ、加速度・方位センサ５０６、メディアＩ／Ｆ５０８、ＧＰＳ受信部５０９を備えている。
【００５４】
これらのうち、ＣＰＵ５０１は、スマートフォン５全体の動作を制御する。ＲＯＭ５０２は、ＣＰＵ５０１やＩＰＬ(Initial Program Loader)等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＥＥＰＲＯＭ５０４は、ＣＰＵ５０１の制御にしたがって、スマートフォン用プログラム等の各種データの読み出し又は書き込みを行う。ＣＭＯＳセンサ５０５は、ＣＰＵ５０１の制御に従って被写体（主に自画像）を撮像し画像データを得る。撮像素子Ｉ／Ｆ５１３ａは、ＣＭＯＳセンサ５１２の駆動を制御する回路である。加速度・方位センサ５０６は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ５０８は、フラッシュメモリ等の記録メディア５０７に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部５０９は、ＧＰＳ衛星からＧＰＳ信号を受信する。
【００５５】
また、スマートフォン５は、遠距離通信回路５１１、アンテナ５１１ａ、ＣＭＯＳセンサ５１２、撮像素子Ｉ／Ｆ５１３ｂ、マイク５１４、スピーカ５１５、音入出力Ｉ／Ｆ５１６、ディスプレイ５１７、外部機器接続Ｉ／Ｆ５１８、近距離通信回路５１９、近距離通信回路５１９のアンテナ５１９ａ、及びタッチパネル５２１を備えている。
【００５６】
これらのうち、遠距離通信回路５１１は、後述の通信ネットワーク１００を介して、他の機器と通信する回路である。ＣＭＯＳセンサ５１２は、ＣＰＵ５０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ５１３ｂは、ＣＭＯＳセンサ５１２の駆動を制御する回路である。マイク５１４は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ５１６は、ＣＰＵ５０１の制御に従ってマイク５１４及びスピーカ５１５との間で音信号の入出力を処理する回路である。ディスプレイ５１７は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬなどの表示手段の一種である。外部機器接続Ｉ／Ｆ５１８は、各種の外部機器を接続するためのインターフェースである。近距離通信回路５１９は、Wi-Fi、NFC、Bluetooth等の通信回路である。タッチパネル５２１は、利用者がディスプレイ５１７を押下することで、スマートフォン５を操作する入力手段の一種である。
【００５７】
また、スマートフォン５は、バスライン５１０を備えている。バスライン５１０は、ＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【００５８】
なお、上記各プログラムが記憶されたＨＤ(Hard Disk)やＣＤ−ＲＯＭ等の記録媒体は、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。
【００５９】
＜＜実施形態の機能構成＞＞
次に、図１１乃至図１４を用いて、本実施形態の機能構成について説明する。図１４は、本実施形態の撮影システムの一部を構成する、特殊撮影装置１、一般撮影装置３、及びスマートフォン５の各機能ブロック図である。
【００６０】
＜特殊撮影装置の機能構成＞
まず、図１１及び図１４を用いて、特殊撮影装置１の機能構成について詳細に説明する。図１４に示されているように、特殊撮影装置１は、受付部１２、撮像部１３、集音部１４、画像・音処理部１５、判断部１７、近距離通信部１８、及び記憶・読出部１９を有している。これら各部は、図１１に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された特殊撮影装置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能又は手段である。
【００６１】
また、特殊撮影装置１は、図１１に示されているＲＯＭ１１２、ＳＲＡＭ１１３、及びＤＲＡＭ１１４によって構築される記憶部１０００を有している。
【００６２】
（特殊撮影装置の各機能構成）
次に、図１１及び図１４を用いて、特殊撮影装置１の各機能構成について更に詳細に説明する。
【００６３】
特殊撮影装置１の受付部１２は、主に、図１１に示されている操作部１１５及びＣＰＵ１１１の処理によって実現され、利用者からの操作入力を受け付ける。
【００６４】
撮像部１３は、主に、図１１に示されている撮像ユニット１０１、画像処理ユニット１０４、及び撮像制御ユニット１０５、並びにＣＰＵ１１１の処理によって実現され、被写体や風景等を撮像し、撮影画像データを得る。この撮影画像データは、図３（ａ），（ｂ）に示されているように、全天球画像データの元になる２つの半球画像データである。
【００６５】
集音部１４は、図１１に示されている１０８及び音処理ユニット１０９、並びにＣＰＵ１１１の処理によって実現され、特殊撮影装置１の周囲の音を集音する。
【００６６】
画像・音処理部１５は、主にＣＰＵ１１１からの命令によって実現され、撮影部１３によって得られた撮影画像データ、又は集音部１４によって得られた音データに対して、各種処理を行なう。例えば、画像・音処理部１５は、２つの撮像素子１０３ａ，１０３ｂのそれぞれによって得られた２つの半球画像データ（図３（ａ），（ｂ）参照）に基づいて、正距円筒射影画像データ（図３（ｃ）参照）を作成する。
【００６７】
判断部１７は、ＣＰＵ１１１の処理によって実現され、各種判断を行なう。
【００６８】
近距離通信部１８は、主に、ＣＰＵ１１１の処理、並びに通信部１１７及びアンテナ１１７ａによって実現され、スマートフォン５の近距離通信部５８等と、Wi-Fi等による近距離無線通信技術によって通信することができる。
【００６９】
記憶・読出部１９は、主に、図１１に示されているＣＰＵ１１１の処理によって実現され、記憶部１０００に各種データ（または情報）を記憶したり、記憶部１０００から各種データ（または情報）を読み出したりする。
【００７０】
＜一般撮影装置の機能構成＞
続いて、図１２及び図１４を用いて、一般撮影装置３の機能構成について詳細に説明する。図１４に示されているように、一般撮影装置３は、受付部３２、撮像部３３、集音部３４、画像・音処理部３５、表示制御部３６、判断部３７、近距離通信部３８、及び記憶・読出部３９を有している。これら各部は、図１２に示されている各構成要素のいずれかが、ＳＲＡＭ３１３からＤＲＡＭ３１４上に展開された特殊撮影装置用のプログラムに従ったＣＰＵ３１１からの命令によって動作することで実現される機能又は手段である。
【００７１】
また、一般撮影装置３は、図１２に示されているＲＯＭ３１２、ＳＲＡＭ３１３、及びＤＲＡＭ３１４によって構築される記憶部３０００を有している。
【００７２】
（一般撮影装置の各機能構成）
一般撮影装置３の受付部３２は、主に、図１２に示されている操作部３１５及びＣＰＵ３１１の処理によって実現され、利用者からの操作入力を受け付ける。
【００７３】
撮像部３３は、主に、図１２に示されている撮像ユニット３０１、画像処理ユニット３０４、及び撮像制御ユニット３０５、並びにＣＰＵ３１１の処理によって実現され、被写体や風景等を撮像し、撮影画像データを得る。この撮影画像データは、透視射影方式で撮影された平面画像データである。
【００７４】
集音部３４は、図１２に示されているマイク３０８及び音処理ユニット３０９、並びにＣＰＵ３１１の処理によって実現され、一般撮影装置３の周囲の音を集音する。
【００７５】
画像・音処理部３５は、主にＣＰＵ３１１からの命令によって実現され、撮影部３３によって得られた撮影画像データ、又は集音部３４によって得られた音データに対して、各種処理を行なう。
【００７６】
表示制御部３６は、図１２に示されているＣＰＵ３１１の処理によって実現され、ディスプレイ３１９に、撮影中又は撮影後の撮影画像データに係る平面画像Ｐを表示させる。
【００７７】
判断部３７は、ＣＰＵ３１１の処理によって実現され、各種判断を行なう。例えば、判断部３７は、利用者によって、シャッターボタン３１５ａが押下されたかを判断する。
【００７８】
近距離通信部３８は、主に、ＣＰＵ３１１、並びに通信部３１７及びアンテナ３１７ａによって実現され、スマートフォン５の近距離通信部５８等と、Wi-Fi等による近距離無線通信技術によって通信することができる。
【００７９】
記憶・読出部３９は、主に、図１２に示されているＣＰＵ３１１の処理によって実現され、記憶部３０００に各種データ（または情報）を記憶したり、記憶部３０００から各種データ（または情報）を読み出したりする。
【００８０】
＜スマートフォンの機能構成＞
次に、図１３乃至図１６を用いて、スマートフォン５の機能構成について詳細に説明する。図１４に示されているように、スマートフォン５は、遠距離通信部５１、受付部５２、撮像部５３、集音部５４、画像・音処理部５５、表示制御部５６、判断部５７、近距離通信部５８、及び記憶・読出部５９を有している。これら各部は、図１３に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ５０４からＲＡＭ５０３上に展開されたスマートフォン５用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。
【００８１】
また、スマートフォン５は、図１３に示されているＲＯＭ５０２、ＲＡＭ５０３、及びＥＥＰＲＯＭ５０４によって構築される記憶部５０００を有している。この記憶部５０００には、連携撮影装置管理ＤＢ５００１が構築されている。この連携撮影装置管理ＤＢ５００１は、図１５（ａ）連携撮影装置管理テーブルによって構成されている。図１５（ａ）は連携撮影装置管理テーブルの概念図である。
【００８２】
（連携撮影装置管理テーブル）
次に、図１５（ａ）を用いて、連携撮影装置管理テーブルについて説明する。図１５（ａ）に示されているように、撮影装置毎に、各撮影装置の連携関係を示す関連関係情報、撮影装置のＩＰアドレス、及び撮影装置の装置名が関連付けて管理されている。このうち、関連関係情報は、自装置のシャッターが押下されることで撮影を開始する一の撮影装置を「メイン」とし、「メイン」の撮影装置でシャッターが押下されることに応じて撮影を開始する他の撮影装置を「サブ」として示している。なお、ＩＰアドレスは、Wi-Fiによる通信の場合であって、ＵＳＢの有線ケーブルを用いた通信の場合には製造者ＩＤ(Identification)及び製品ＩＤに代わり、Bluetoothを用いた無線通信の場合には、ＢＤ(Bluetooth Device Address）に代わる。
【００８３】
（スマートフォンの各機能構成）
スマートフォン５の遠距離通信部５１は、主に、図１３に示されている遠距離通信回路５１１及びＣＰＵ５０１の処理によって実現され、インターネット等の通信ネットワークを介して、他の装置（例えば、他のスマートフォン、サーバ）との間で各種データ（または情報）の送受信を行う。
【００８４】
受付部５２は、主にタッチパネル５２１及びＣＰＵ５０１の処理によって実現され、利用者から各種の選択又は入力を受け付ける。タッチパネル５２１はディスプレイ５１７と共用であってもよい。また、タッチパネル以外の入力手段（ボタン）等でもよい。
【００８５】
撮像部５３は、主に、図１３に示されているＣＭＯＳセンサ５０５，５１２、及びＣＰＵ５０１の処理によって実現され、被写体や風景等を撮像し、撮影画像データを得る。この撮影画像データは、透視射影方式で撮影された平面画像データである。
【００８６】
集音部５４は、図１３に示されているマイク５１４、及びＣＰＵ５０１の処理によって実現され、スマートフォン５の周囲の音を集音する。
【００８７】
画像・音処理部５５は、主にＣＰＵ５０１からの命令によって実現され、撮影部５３によって得られた撮影画像データ、又は集音部５４によって得られた音データに対して、各種処理を行なう。
【００８８】
表示制御部５６は、図１３に示されているＣＰＵ５０１の処理によって実現され、ディスプレイ５１７に、撮像部５３による撮影中又は撮影後の撮影画像データに係る平面画像Ｐを表示させる。また、表示制御部５６は、画像・音処理部５５によって作成された重畳表示データを利用して、後述の平面画像Ｐの各格子領域ＬＡ０を、位置パラメータで示された位置、並びに補正パラメータで示された明るさ値及び色値に合わせることで、全天球画像ＣＥに平面画像Ｐを重畳して表示する。なお、第１の位置パラメータは「第１の位置情報」の一例である。第２の位置パラメータは「第２の位置情報」の一例である。「位置情報」は第１の位置情報及び第２の位置情報の総称である。第１の補正パラメータは「第１の補正情報」の一例である。第２の補正パラメータは「第２の補正情報」の一例である。「補正情報」は第１の補正情報及び第２の補正情報の総称である。
【００８９】
判断部５７は、図１３に示されているＣＰＵ５０１の処理によって実現され、各種判断を行なう。
【００９０】
近距離通信部５８は、主に、ＣＰＵ５０１の処理、並びに近距離通信回路５１９及びアンテナ５１９ａによって実現され、特殊撮影装置１の近距離通信部１８、一般撮影装置３の近距離通信部３８等と、Wi-Fi等による近距離無線通信技術によって通信することができる。
【００９１】
記憶・読出部５９は、主に、図１３に示されているＣＰＵ５０１の処理によって実現され、記憶部５０００に、重畳関係メタデータ及び重畳表示データ等の各種データ（または情報）を記憶したり、記憶部５０００から重畳関係メタデータ及び重畳表示データ等の各種データ（または情報）を読み出したりする。また、記憶・読出部５９は、記憶部５０００から各種データを取得する取得部の役割を果たす。
【００９２】
（画像・音処理部の詳細な各機能構成）
ここで、図１６を用いて、画像・音処理部５５の各機能構成について詳細に説明する。図１６は、画像・音処理部の詳細な機能ブロック図である。
【００９３】
画像・音処理部５５は、大きく分けて、エンコードを行なう作成部５５ａとデコードを行なう重畳部５５ｂを有している。作成部５５ａは、図２１に示されている後述のステップＳ２２の処理を実行する。また、重畳部５５ｂは、図２１に示されている後述のステップＳ２３の処理を実行する。
【００９４】
｛｛作成部の各機能構成｝｝
まずは、作成部５５ａの各機能構成について説明する。作成部５５ａは、更に２つに分かれ、メタデータ作成部５５ａ１、及び表示データ作成部５５ａ２を有している。ここで、まず、メタデータ作成部５５ａ１について説明する。
【００９５】
｛メタデータ作成部の各機能構成｝
メタデータ作成部５５ａ１は、平面画像ＰＡ、平面画像ＰＢ、正距円筒射影画像ＥＣから、親子関係となる画像ペアを特定する。なお、平面画像は３つ以上であってもよいが、ここでは説明を簡単にするため、２つにしている。ペアとなる画像の特定方法は、例えば、入力された画像に対し２つの画像の組み合わせにより得られる画像に対し、マッチング処理を行い、重畳位置の算出を行うことで、一方の画像が他方の画像に含まれるか否かで判断できる。また、予め親子関係を指定した上でメタデータを作成しても良い。例えば、正距円筒射影画像ＥＣと平面画像ＰＡが親子関係を有し、平面画像ＰＡと平面画像ＰＢが親子関係を有している場合、平面画像ＰＡと平面画像ＰＢに対してそれぞれ重畳関係メタデータが作成される。このように、親子関係となる画像の組（先述では２つであったためペアとの表記を用いたが、組またはグループという）については、ユーザが、親子関係を設定することも考えられるし、その他、画像の画角の大きさで並び替えて、親子関係となる組を決めることができる。なお、この親子関係となる組から、正しく親子関係が適切に構成できるのかについては、先に示したようにマッチング処理を行い、重畳位置の算出を行うことで、一方の画像が他方の画像に含まれるか否かを判断して、親子関係の組を見直すことがなされる。そのため、メタデータ作成部５５ａ１は、抽出部５５０、第１の対応領域算出部５５２、注視点特定部５５４、射影方式変換部５５６、第２の対応領域算出部５５７ａ、第３の対応領域算出部５５９ａ及び重畳関係メタデータ作成部５５８を有している。なお、以下に説明する画像や領域を示す符号は図２２に示されている。図２２は、重畳関係メタデータ及び重畳表示データの作成処理の過程における画像の概念図である。
【００９６】
抽出部５５０は、各画像の局所特徴に基づき特徴点を抽出する。局所特徴とはエッジやブロブなど画像内に見られるパターンや構造で、局所特徴を数値化したものが特徴量である。本実施形態では、抽出部５５０は、異なる画像で各特徴点を抽出する。抽出部５５０が用いられる２つの画像は、歪みが著しく大きくない限り、本実施形態のように異なる射影方式であってもよい。例えば、抽出部５５０は、正距円筒射影方式によって得られた長方形の正距円筒射影画像ＥＣと、透視射影方式によって得られた長方形の平面画像Ｐとの間、及び、平面画像Ｐと、射影方式変換部５５６によって変換された後の周辺領域画像ＰＩとの間で用いられる。なお、正距円筒射影方式は第１の射影方式の一例であり、透視射影方式は第２の射影方式の一例である。また、正距円筒射影画像は第１の画像の一例であり、平面画像ＰＡは第２の画像の一例であり、平面画像ＰＢは第３の画像の一例である。「平面画像Ｐ」は、平面画像ＰＡ，ＰＢの総称である。
【００９７】
第１の対応領域算出部５５２は、最初に正距円筒射影画像ＥＣにおける複数の特徴点ｆｐ１に基づいた各特徴量ｆｖ１を求めるとともに、平面画像Ｐにおける複数の特徴点ｆｐ２に基づいた各特徴量ｆｖ２を求める。特徴量の記述方法はいくつかの方式が提案されているが、本実施形態においては、スケールや回転に対して不変又は頑強であることが望ましい。第１の対応領域算出部５５２は、続いて算出した正距円筒射影画像ＥＣの複数の特徴点ｆｐ１の特徴量ｆｖ１と、平面画像Ｐにおける複数の特徴点ｆｐ２に対する特徴量ｆｖ２の類似度に基づき画像間の対応点を算出し、算出した画像間の対応点の関係から、正距円筒射影画像ＥＣにおいて、平面画像Ｐに対応するホモグラフィを算出し、このホモグラフィを変換に用いることで、第１のホモグラフィ変換を行なう。その結果、第１の対応領域算出部５５２は、第１の対応領域ＣＡ１を算出する。この場合、平面画像Ｐの４頂点から成る四角形（矩形）の中心点ＣＰ１は、第１のホモグラフィ変換によって、正距円筒射影画像ＥＣにおける注視点ＧＰ１に変換される。ここで、対応点は、それぞれの画像から類似度に基づき選択された複数の特徴点である。
【００９８】
なお、平面画像Ｐの４頂点の頂点座標を、ｐ１＝（ｘ１，ｙ１）、ｐ２＝（ｘ２，ｙ２）、ｐ３＝（ｘ３，ｙ３）、ｐ４＝（ｘ４，ｙ４）とすると、第１の対応領域算出部５５２は、以下に示す（式２）に基づいて、中心点ＣＰ１（ｘ，ｙ）を定めることができる。
【００９９】
【数１】
2019175446.tif 000003
【０１００】
図２２では平面画像Ｐの画像形状が長方形であるが、対角線の交点を用いることによって正方形、台形、菱形等、さまざまな四角形の部分画像に対しても中心座標を算出することができる。平面画像Ｐの画像形状が、長方形、正方形に限定される場合は、計算の省略化のため、対角線の中点を部分画像の中心座標ＰＣとしてよい。対角線Ｐ１Ｐ３の中点の算出する場合の（式３）を以下に示す。
【０１０１】
【数２】
2019175446.tif 000004
【０１０２】
注視点特定部５５４は、平面画像Ｐの中心点ＣＰ１が第１のホモグラフィ変換後に位置する正距円筒射影画像ＥＣ上の点（本実施形態では「注視点」という）を特定する。
【０１０３】
ところで、注視点ＧＰ１の座標は、正距円筒射影画像ＥＣ上の座標であるため、緯度及び経度の表現に変換すると都合が良い。具体的には、正距円筒射影画像ＥＣの垂直方向を−90度(−0.5π)から+90度(+0.5π)の緯度座標として表現し、水平方向を−180度(−π)から+180度(+π)の経度座標として表現する。このようにすることで、緯度・経度座標から、正距円筒射影画像ＥＣの画像サイズに対応した画素位置座標を算出することができる。
【０１０４】
射影方式変換部５５６は、正距円筒射影画像ＥＣ内の注視点ＧＰ１を中心とした周辺領域ＰＡを、平面画像Ｐと同じ透視射影方式に変換することで、周辺領域画像ＰＩを作成する。この場合、注視点ＧＰ１が変換された後の点を中心点ＣＰ２として、平面画像Ｐの対角画角αと同じ画角を垂直画角（又は水平画角）とした場合に特定することができる正方形の周辺領域画像ＰＩを結果的に作成することができるように、射影変換元の周辺領域ＰＡを特定する。以下、更に詳細に説明する。
【０１０５】
（射影方式の変換）
まず、射影方式の変換について説明する。図３乃至図５を用いて説明したように、正距円筒射影画像ＥＣによって立体球ＣＳを被うことで、全天球画像ＣＥを作成している。よって、正距円筒射影画像ＥＣの各画素データは、３次元の全天球画像の立体球ＣＳの表面における各画素データに対応させることができる。そこで、射影方式変換部５５６による変換式は、正距円筒射影画像ＥＣにおける座標を(緯度，経度)＝（ｅａ，ａａ）と表現し、３次元の立体球ＣＳ上の座標を直行座標（ｘ，ｙ，ｚ）で表わすと、以下の（式４）で表わすことができる。
【０１０６】
(x, y, z) = (cos(ea) × cos(aa),  cos(ea) × sin(aa),  sin(ea))  ・・・(式４)
但し、このときの立体球ＣＳの半径は１とする。
【０１０７】
一方で、透過射影画像である平面画像Ｐは２次元画像であるが、これを２次元の極座標（動径，偏角）＝（ｒ，ａ）で表現すると、動径ｒは対角画角αに対応し、取り得る範囲は0 ≦ r ≦ tan(対角画角/2)となる。また、平面画像Ｐを２次元の直交座標系（ｕ，ｖ）で表わすと、極座標（動径，偏角）＝（ｒ，ａ）との変換関係は、以下の（式５）で表わすことができる。
【０１０８】
u = r × cos(a),  v = r × sin(a)  ・・・(式５)
次に、この（式５）を３次元の座標（動径，極角，方位角）に対応させることを考える。今、立体球ＣＳの表面のみを考えているため、３次元極座標における動径は「１」である。また、立体球ＣＳの表面に張り付けた正距円筒射影画像ＥＣを透視射影変換する射影は、立体球ＣＳの中心に仮想カメラＩＣがあると考えると、上述の２次元極座標（動径，偏角）＝（ｒ，ａ）を使うと、以下の（式６）、（式７）で表わすことができる。
【０１０９】
r = tan(極角)  ・・・（式６）
a = 方位角  ・・・（式７）
ここで極角をtとすると、t = arctan(r)となるため、３次元極座標（動径、極角、方位角)は、(動径、極角、方位角)＝(1, arctan(r), a)と表現することができる。
【０１１０】
また３次元極座標から、直行座標系（ｘ，ｙ，ｚ）へ変換するための変換式は、以下の（式８）で表わすことができる。
【０１１１】
(x, y, z) = (sin(t) × cos(a),  sin(t) × sin(a), cos(t))  ・・・（式８）
上記の（式８）により、正距円筒射影方式による正距円筒射影画像ＥＣと、透視射影方式による平面画像Ｐの相互変換ができるようになった。即ち、作成すべき平面画像Ｐの対角画角αに対応する動径rを用いることで、平面画像Ｐの各画素が、正距円筒射影画像ＥＣのどの座標に対応するかを表す変換マップ座標を算出でき、この変換マップ座標に基づいて、正距円筒射影画像ＥＣから、透視射影画像である周辺領域画像ＰＩを作成することができる。
【０１１２】
ところで、上記射影方式の変換は、正距円筒射影画像ＥＣの（緯度，経度）が（９０°，０°)となる位置が、透視射影画像である周辺領域画像ＰＩの中心点ＣＰ２となるような変換を示している。そこで、正距円筒射影画像ＥＣの任意の点を注視点として透視射影変換をする場合は、正距円筒射影画像ＥＣを貼り付けた立体球ＣＳを回転させることで、注視点の座標(緯度、経度)が（９０°,０°）の位置に配置されるような座標回転を行えば良い。
【０１１３】
この立体球ＣＳの回転に関する変換公式は、一般の座標回転公式であるため、説明を省略する。
【０１１４】
（周辺領域画像の特定）
次に、図２３を用いて、周辺領域画像ＰＩの領域を特定する方法について説明する。なお、図２３は、周辺領域画像を特定する際の概念図である。
【０１１５】
第２の対応領域算出部５５７ａが、平面画像Ｐと周辺領域画像ＰＩの対応関係を判断するにあたって、周辺領域画像ＰＩ内に第２の対応領域ＣＡ２ができるだけ広く含まれていることが望ましい。よって、周辺領域画像ＰＩを広い領域に設定すれば、第２の対応領域ＣＡ２を含まないという事態は生じない。しかし、周辺領域画像ＰＩを、あまりにも広い領域に設定すると、その分だけ類似度を算出する対象の画素が増えるため、処理に時間が掛かってしまう。そのため、極力、周辺領域画像ＰＩの領域は第２の対応領域ＣＡ２を含む範囲内で小さい方が良い。そこで、本実施形態では、以下に示すような方法で、周辺領域画像ＰＩを特定する。
【０１１６】
本実施形態では、周辺領域画像ＰＩの特定に、平面画像の３５ｍｍ換算焦点距離を使用するが、これは撮影時に記録されるExifデータから取得される。３５ｍｍ換算焦点距離は、いわゆる24mm x 36mmのフィルムサイズを基準とした焦点距離であるため、このフィルムの対角と、焦点距離から以下の算出式（式９）、（式１０）で対応する対角画角を算出することができる。
【０１１７】
フィルム対角 = sqrt(24*24 + 36*36)  ・・・（式９）
合成用画像画角/2 = arctan((フィルム対角/2)/合成用画像35mm換算焦点距離)・・（式１０）
ところで、この画角をカバーする画像は円形となるのだが、実際の撮像素子（フィルム）は長方形なので円に内接する長方形画像となっている。本実施形態では、周辺領域画像ＰＩの垂直画角αを、平面画像Ｐの対角画角αと同じになるように設定する。これにより、図２３（ｂ）に示されている周辺領域画像ＰＩは、図２３（ａ）に示されている平面画像Ｐの対角画角αをカバーする円に外接する正方形となり、垂直画角αは、下記（式１１）、(式１２)で示されているように、正方形の対角と平面画像Ｐの焦点距離から算出できる。
正方形対角=sqrt(フィルム対角*フィルム対角+フィルム対角*フィルム対角)・・・（式１１）
垂直画角α/2 = arctan((正方形対角/2) / 平面画像の35mm換算焦点距離))・・・（式１２）
このような垂直画角αで射影変換することで、注視点を中心に平面画像Ｐの対角画角αにおける画像をできるだけ広くカバーでき、かつ垂直画角αが大きくなりすぎない周辺領域画像ＰＩ（透視射影画像）を作成することができる。
【０１１８】
続いて、図１６に戻り、第２の対応領域算出部５５７ａは、平面画像ＰＡにおける複数の特徴点ｆｐ２Ａの特徴量ｆｖ２Ａと周辺領域画像ＰＩにおける複数の特徴点ｆｐ３Ａの特徴量ｆｖ３Ａを算出する。算出された各特徴量ｆｖ２Ａ，ｆｖ３Ａの類似度に基づき画像間の対応点を算出し、算出した画像間の対応点の関係から、周辺領域画像ＰＩにおいて、平面画像Ｐに対応するホモグラフィを算出し、このホモグラフィを変換に用いることで、第２のホモグラフィ変換を行なう。その結果、第２の対応領域算出部５５７ａは、第２の対応領域ＣＡ２を算出する。ここで、対応点は、それぞれの画像から類似度に基づき選択された複数の特徴点である。
【０１１９】
第３の対応領域算出部５５９ａは、平面画像ＰＢにおける複数の特徴点ｆｐ２Ｂの特徴量ｆｖ２Ｂと平面画像ＰＡにおける複数の特徴点ｆｐ２Ａの特徴量ｆｖ２Ａを算出する。算出された各特徴量ｆｖ２Ｂ，ｆｖ２Ａの類似度に基づき画像間の対応点を算出し、算出した画像間の対応点の関係から、平面画像ＰＡにおいて、平面画像ＰＢに対応するホモグラフィを算出し、このホモグラフィを変換に用いることで、第３のホモグラフィ変換を行なう。その結果、第３の対応領域算出部５５９ａは、第３の対応領域ＣＡ３を算出する。
【０１２０】
重畳関係メタデータ作成部５５８は、第２の対応領域算出部５５７ａによって算出された第２の対応領域ＣＡ２に基づいて図１７に示されている重畳関係メタデータ（１）を作成する。また、重畳関係メタデータ作成部５５８は、第３の対応領域算出部５５９ａによって算出された第４の対応領域ＣＡ４に基づいて図１８に示されている重畳関係メタデータ（２）を作成する。
【０１２１】
（重畳関係メタデータ（１））
図１７は、親画像が全天球画像で子画像が平面画像の場合の重畳関係メタデータ（１）のデータ構成図である。図１７に示されているように、重畳関係メタデータ（１）は、親画像情報、画像識別情報、重畳位置算出情報、及びメタデータ作成情報によって構成されている。画像識別情報、重畳位置算出情報、及びメタデータ作成情報は、本画像の情報である。
【０１２２】
これらのうち、親画像情報は、被重畳画像等の親画像の情報である。親画像情報には、親画像の識別情報、及び親画像の射影方式情報が含まれている。
【０１２３】
画像識別情報は、重畳画像等の本画像（自分自身の画像）の情報である。画像識別情報には、本画像の識別情報及び本画像の射影方式情報が含まれている。
【０１２４】
重畳位置算出情報には、算出時画像情報及び重畳位置変換情報が含まれている。算出時画像情報には、親画像情報及び本画像情報が含まれている。親画像情報には、親画像の画像サイズ、及び親画像が正距円筒射影画像の場合における生成情報が含まれている。画像サイズは、例えば、後述の周辺領域画像ＰＩのサイズであり、後述する重畳位置変換情報を算出した時の画像サイズである。生成情報には、注視点（度）、画角（度）、及び姿勢補正情報（度）（Pitch，Yaw，Roll）が含まれている。注視点（度）は、例えば、後述の図２２における注視点ＧＰ２である。画角（度）は、例えば、後述の図２３における対角画角（垂直画角度）αである。姿勢補正情報（度）は、特殊撮影装置１の天頂補正情報である。また、本画像情報は、例えば、図２２の平面画像ＰＡである本画像の画像サイズを示す。
【０１２５】
また、重畳位置変換情報は、第２のホモグラフィを示す変換マトリクスを示す。
【０１２６】
更に、メタデータ作成情報は、当該重畳関係メタデータのデータのバージョンを示す。
【０１２７】
更に説明すると、親画像を特定する情報として親画像情報、本画像（自分自身の画像）を特定する情報として画像識別情報を含んでいる。この画像識別情報としては、例えば個人のコンピュータ内で管理されているような画像である場合は、そのファイル名を使用することもできるが、一般的に不特定多数の画像からファイルを特定するためにはその画像に対して一意のＩＤを割り当てれば良く、ＵＵＩＤ(Universally Unique Identifier)の利用やネットワーク上のリソースとしてＵＲＩ(Uniform Resource Identifier)を記録することも考えられる。この例ではファイル名を記載した。いずれにせよ自分自身を特定する画像識別情報と、親画像を特定する親画像情報により２つの画像を親子関係で結びつける情報を持つのである。また親画像および自分自身の画像の射影方式情報を格納するが、射影方式情報を格納する理由について説明を行う。
【０１２８】
ある平面を、別の平面に射影する変換は、ホモグラフィと呼ばれ、その変換は単純な３×３の行列で表現できる。本実施形態においても親と子の画像の対応位置関係（射影）を表現するのにホモグラフィを用いるのである。このとき、親子間の画像の射影種別が透視射影同士である場合、親と子の画像の視差や、歪曲などを無視すれば、子画像の、親画像に対応する対応位置は、平面から平面への射影、つまりホモグラフィで表現できるのである。このような理由でそれぞれの画像の射影方式を情報として格納していると共に、子画像を親へマッピングするための重畳位置変換情報として、変換マトリクスを格納している。２つの透視射影画像間におけるホモグラフィの求め方については、それぞれの画像に対して特徴点を抽出し、対応する特徴点間のマッチング処理を用いて平面を推定するという公知の技術がある。また２つの画像間に大きな視差が無ければ単純にテンプレートマッチングを行うことにより、親画像に対応する子画像の対応平面を推定するという方法も有用である。さて、親子間の画像の対応関係をホモグラフィとして表現できると、同様に親と親の親（祖父母）間の対応関係もホモグラフィで表現できる場合、自分と親の親に対する対応関係もホモグラフィで表現できるという利点がある。
【０１２９】
また、正距円筒射影図法は、３６０度全方位の画像を表現する図法の１例であり地図や、３６０度全天球カメラが出力する画像の形式として使われるようになっている。子画像の射影方式が透視射影方式で、親画像の射影方式が正距円筒射影である場合、その対応関係はホモグラフィで記述することができない。そこで親画像である正距円筒射影画像の一部の領域を透視射影画像に変換し、変換された透視射影画像に対するホモグラフィを、正距円筒射影画像の一部を透視射影画像に変換した時の画像サイズ、注視点、画角、姿勢情報を親画像情報として格納する。発明者らはすでに異なる射影方式における背景画像と前景画像において、背景画像における前景画像に対応する領域の位置関係の算出法および記録方法について開示しており、その中で正距円筒射影方式と透視射影方式の相互変換について述べているのでここでは省略するが、注視点、画角、画像サイズが分かれば、正距円筒射影画像から生成された透視射影の位置が正距円筒射影画像のどこに対応するか算出することが可能である。実際に画像を重畳する場合は、前景画像のすべての画素に対して、背景画像に対する位置を示すデータを作成するのでは無く、縦横適切な分割数でメッシュ化した格子状の座標を、背景画像上である正距円筒図法上の緯度経度座標として算出すると良い。
【０１３０】
（重畳関係メタデータ（２））
図１８は、親画像が平面画像で子画像も平面画像の場合の重畳関係メタデータ（２）のデータ構成図である。図１８に示されているように、重畳関係メタデータ（２）は、基本的に重畳関係メタデータ（１）と同様のデータ構造である。
親画像情報、画像識別情報、重畳位置算出情報、及びメタデータ作成情報によって構成されている。画像識別情報、重畳位置算出情報、及びメタデータ作成情報は、本画像の情報である。
【０１３１】
但し、親画像情報の画像サイズは、例えば、図２２の平面画像ＰＡの全領域の画像サイズを示す。また、親画像が正距円筒射影画像の場合における生成情報はない。本画像情報の画像サイズは、例えば、図２２の平面画像ＰＢの全領域の画像サイズである。また、重畳位置変換情報は、第３のホモグラフィを示す変換マトリクスを示す。
【０１３２】
なお、第１のホモグラフィ変換の前に、第１のホモグラフィの算出時間を早めるために、平面画像ＰＡ及び正距円筒射影画像ＥＣのうちの少なくとも一方の画像サイズをリサイズしてもよい。例えは、平面画像ＰＡが４０００万画素で、正距円筒射影画像ＥＣが３０００万画素の場合、平面画像ＰＡを３０００万画素にリサイズしたり、両画像を１０００万画素になるようにそれぞれの画像をリサイズしたりする。同様に、第２のホモグラフィ算出の前に、平面画像ＰＡ及び周辺領域画像ＰＩの少なくとも一方の画像サイズをリサイズしてもよい。
【０１３３】
また、本実施形態でのホモグラフィは、正距円筒射影画像ＥＣと平面画像Ｐとの射影関係を表す変換行列であり、平面画像Ｐにおける座標に、ホモグラフィ算出処理で算出したホモグラフィ変換行列を乗算することで、正距円筒射影画像ＥＣ（全天球画像ＣＥ）上での対応座標を算出することができる。
【０１３４】
｛表示データ作成部の各機能構成｝
表示データ作成部５５ａ２は、第２の対応領域算出部５５７ｂ、第３の対応領域算出部５５９ｂ、領域分割部５６０、射影方式逆変換部５６２、形状変換部５６４、補正パラメータ作成部５６６、及び重畳表示データ作成部５７０を有している。なお、明るさや色の補正をする必要がない場合、形状変換部５６４及び補正パラメータ作成部５６６は不要である。
【０１３５】
第２の対応領域算出部５５７ｂは、第２の対応領域算出部５５７ａと同様のホモグラフィを変換に用いることで、第２のホモグラフィ変換を行なう。
【０１３６】
第３の対応領域算出部５５９ｂは、第３の対応領域算出部５５９ａと同様のホモグラフィを変換に用いることで、第３のホモグラフィ変換を行なう。
【０１３７】
領域分割部５６０は、画像における一部の領域を複数の格子領域に分割する。ここで、図２４を用いて、第２の対応領域を複数の格子領域に分割する方法を詳細に説明する。なお、図２４は、第２の対応領域を複数の格子領域に分割する際の概念図である。
【０１３８】
領域分割部５６０は、図２４（ａ）に示されているように、対応領域算出部５５２が第２のホモグラフィ変換により算出した第２の対応領域ＣＡ２の頂点座標の４つの頂点から成る四角形を、図２４（ｂ）に示されているように、複数の格子領域ＬＡ２に分割する。例えば、水平方向に３０、垂直方向に２０ほど均等分割する。
【０１３９】
次に、複数の格子領域ＬＡ２の具体的な分割方法について説明する。
【０１４０】
まず、第２の対応領域ＣＡ２を均等に分割する算出式を示す。２点をA(X1，Y1)、B(X2，Y2)として、その２点間の線分を等間隔にｎ個に分割する場合、Ａからｍ番目にあたる点Ｐｍの座標は、以下に示す（式１３）によって算出される。
【０１４１】
Pm = ( X1 + (X2 − X1) ×m / n， Y1 + (Y2 − Y1) × m / n )・・・（式１３）
上記の（式１３）によって、線分を均等に分割した座標が算出できるため、四角形の上辺、下辺をそれぞれ分割した座標を求め、分割した座標から成る線分をさらに分割すればよい。四角形の左上、右上、右下、左下の各座標をそれぞれＴＬ，ＴＲ，ＢＲ，ＢＬとした場合、線分ＴＬ−ＴＲおよび線分ＢＲ−ＢＬを均等に３０分割した座標を求める。次に、０から３０番目まで分割された各座標において、同じ順番に対応する座標同士から成る線分に対し、均等に２０分割した座標を求める。これにより、四角形領域を３０×２０個の小領域に分割するための座標を求めることができる。図２４（ｂ）では、座標一例として、ＴＬの座標(LO00,00，LA00,00)を示している。なお、第４の対応領域ＣＡ４に対しても、同様の分割の処理が行われる。
【０１４２】
続いて、図１６及び図２２に戻り、射影方式逆変換部５６２は、第２の対応領域ＣＡ２の射影方式を、正距円筒射影画像ＥＣと同じ正距円筒射影方式に逆変換することで、正距円筒射影画像ＥＣにおいて、第２の対応領域ＣＡ２に対応する第１の所定対応領域ＣＡ１１を算出する。具体的には、射影方式逆変換部５６２は、正距円筒射影画像ＥＣにおいて、第２の対応領域ＣＡ２における複数の格子領域ＬＡ２に対応する各格子領域ＬＡ３から成る第１の所定対応領域ＣＡ１１を算出する。第３の対応領域ＣＡは、図２２に示されているが、拡大図として、図２５にも示されている。なお、図２５は、正距円筒射影画像ＥＣにおいて第３の対応領域を示す概念図である。これにより、平面画像Ｐは、最終的に第１の所定対応領域ＣＡ１１に合わせるように（マッピングするように）、正距円筒射影画像ＥＣによって作成された全天球画像ＣＥに重畳表示される。この射影方式逆変換部５６２の処理により、各格子領域ＬＡ３の各格子点の座標を示す位置パラメータが作成される。位置パラメータは、図１９及び図２０（ｂ）に示されている。なお、格子点は複数の点の一例である。
【０１４３】
以上、位置パラメータを作成することにより、正距円筒射影画像ＥＣと平面画像Ｐの位置関係を算出することができる。
【０１４４】
ところで、位置パラメータは算出されたが、このまま重畳表示を行う場合、正距円筒射影画像ＥＣと平面画像Ｐとで明るさや色味が大きく異なる場合に、不自然な重畳表示となることがある。そのため、以下に示す形状変換部５６４及び補正パラメータ作成部５６６は、明るさや色味が大きく異なる場合であっても、不自然な重畳表示となることを防止する役割を果たす。
【０１４５】
形状変換部５６４は、後述の色合わせに先立って、第２の対応領域ＣＡ２の４頂点を平面画像Ｐの４頂点に射影することで、第２の対応領域ＣＡ２を平面画像Ｐと同じ形状に変換する。具体的には、図２６（ａ）に示されている第２の対応領域ＣＡ２の各格子領域ＬＡ２を、図２６（ｃ）に示されている平面画像Ｐの各格子領域ＬＡ０に合わせるために、第２の対応領域ＣＡ２の形状を平面画像Ｐと同じ形状に変換する。これにより、図２６（ａ）に示されている第２の対応領域ＣＡ２は、図２６（ｂ）に示されている第２の対応領域ＣＡ２’に形状が変換される。これに伴い、格子領域ＬＡ２が格子領域ＬＡ２’に変換されるため、平面画像Ｐの格子領域ＬＡ０と同じ形状となる。なお、第４の対応領域ＣＡ４に対しても、同様の変換の処理が行われる。
【０１４６】
補正パラメータ作成部５６６は、同じ形状に変換後の第２の対応領域ＣＡ２’における各格子領域ＬＡ２’の明るさ値及び色値に対して、各格子領域ＬＡ２’と同じ形状である平面画像Ｐの各格子領域ＬＡ０の明るさ値及び色値を合わせるための補正パラメータを作成する。具体的には、補正パラメータ作成部５６６は、各格子点ＬＡ０の１点を共通に格子点としてもつ４つの格子領域を構成する全ての画素の明るさ値及び色値（Ｒ，Ｇ，Ｂ)の平均値ａ= (Ｒave，Ｇave，Ｂave）を算出し、各格子点ＬＡ２’の１点を共通に格子点としてもつ４つの格子領域を構成する全ての画素の明るさ値及び色値（Ｒ’，Ｇ’，Ｂ’）の平均値ａ’ = (Ｒ’ave，Ｇ’ave，Ｂ’ave）を算出する。なお、上記各格子点ＬＡ０の１点および各格子点ＬＡ２’の１点が第２の対応領域ＣＡ２および第１の所定対応領域ＣＡ１１の４隅の場合、補正パラメータ作成部５６６は、１つの格子領域から明るさ値および色値の平均値aおよび平均値ａ’を算出する。また、上記各格子点ＬＡ０の１点および各格子点ＬＡ２’の１点が第２の対応領域ＣＡ２第１の所定対応領域ＣＡ１１の外周の点の場合、補正パラメータ作成部５６６は、内側２つの格子領域から明るさ値および色値の平均値aおよび平均値ａ’を算出する。そして、補正パラメータは、本実施形態では、平面画像Ｐの明るさ値及び色値を補正するためのゲインデータとなるため、以下の（式１４）に示されているように、平均値ａ’を平均値ａで除算することで、補正パラメータＰａを求める。
【０１４７】
Pa = a’/ a・・・（式１４）
これにより、後述の重畳表示において、補正パラメータが示すゲイン値を、格子領域ＬＡ０毎に乗算することで、平面画像Ｐの色味および明るさが、正距円筒射影画像ＥＣ（全天球画像ＣＥ）の画素値と近くなり、見た目が違和感なく重畳表示することが可能となる。なお、補正パラメータは、平均値から算出されるだけでなく、平均値に代えて又は平均値に加えて、中央値、最頻値等を使って算出されるようにしてもよい。
【０１４８】
また、本実施形態では明るさ値および色値の補正値の算出に画素値（R，G，B）を使用したが、輝度および色差信号であるYUVフォーマットや、JPEGのsYCC(YCbCr)フォーマット等における輝度値、色差値を用いて、同様の方法にて格子領域を構成する全ての画素の輝度値および色差値の平均値を求め、その平均値を除算することにより後述の重畳表示における補正パラメータとしてもよい。なお、RGB値からYUV、sYCC(YCbCr)に変換する方法は公知であるため詳細は省略するが、参考として（式１５）を用いて、JPEG圧縮画像のフォーマットJFIF(JPEG file interchange format)形式のRGBからYCbCrへ変換する例を挙げる。
【０１４９】
【数３】
2019175446.tif 000005
【０１５０】
重畳表示データ作成部５７０は、位置パラメータ及び補正パラメータ等を用いて、全天球画像ＣＥに対して平面画像Ｐを重畳する際の位置、並びに明るさ値及び色値の補正値を示す重畳表示データを作成する。なお、第４の対応領域ＣＡ４に対しても、同様の作成の処理が行われる。
【０１５１】
更に説明すると、第３の対応領域算出部５５９ｂは、平面画像ＰＢＡに紐付いている重畳関係メタデータ（２）を抽出し、中身の親画像識別情報を解読することで親画像は平面画像ＰＡだと判断する。また、第３の対応領域算出部５５９ｂは、平面画像ＰＡと平面画像ＰＢにおける重畳位置算出情報（算出時画像情報および重畳位置変換情報）を取得できる。次に第３の対応領域算出部５５９ｂは、親画像の重畳関係メタデータを取得する。上述したように親画像は重畳関係メタデータ（１）の親画像識別情報にファイル名やＩＤ情報として記載されているので、これをキーにして親画像の重畳メタデータを取得する。個人のＰＣなどで管理している場合は単純にファイルとして取得できる。クラウド上のサーバで管理されている場合はＩＤ情報をキーとして重畳関係メタデータを取得すれば良い。この例では重畳関係メタデータ（１）として取得でき、内容を解読すると、その親画像は正距円筒射影画像ＥＣと特定でき、その射影方式は正距円筒射影となっている。また親画像情報には、重畳位置算出情報に正距円筒射影画像ＥＣから透視射影画像（周辺領域画像ＰＩ）を生成した時の注視点、画角、画像サイズ情報が記載されている。したがって、重畳関係メタデータ（１）、（２）のそれぞれに記載されている重畳位置変換情報（ホモグラフィ）と、画像サイズ情報を用いて、平面画像ＰＡ，ＰＢ上の領域情報を、正距円筒射影画像ＥＣから生成した透視射影上の領域情報に変換される。次に、変換された対応領域を、領域分割部５６０で格子分割した位置情報を求める。さらに求めた位置情報を射影方式逆変換部５６２において、重畳関係メタデータ（１）、（２）から取得した注視点、画角情報を用いて正距円筒射影画像ＥＣ上の位置情報に第１又は第２の位置パラメータとして変換する。また領域分割部５６０で分割した位置情報から形状変換部で形状を変換し、補正パラメータ作成部５６６において、変換された形状で指定される正距円筒射影画像ＥＣから作成される透視射影画像と、平面画像ＰＡ又は平面画像ＰＢとで対応する領域の明るさや色を比較することで得られる第１又は第２の補正パラメータを算出し記憶する。このようにして生成された第１又は第２の位置パラメータおよび第１又は第２の補正パラメータを使うことで、画像に画像を重畳させることが可能となる。
【０１５２】
（重畳表示データ）
続いて、図１９を用いて、重畳表示データのデータ構造について説明する。図１９は、重畳表示データのデータ構造である。
【０１５３】
図１９に示されているように、重畳表示データは、平面画像情報、及び重畳表示情報よって構成されている。
【０１５４】
これらのうち、平面画像情報は、一般撮影装置３から撮影画像データと共に送られて来た情報である。平面画像情報は、画像識別情報及び付属情報を含んでいる。平面画像情報における画像識別情報は、平面画像Ｐを識別するための画像識別情報である。図１９では、画像識別情報の一例として、画像のファイル名が示されているが、画像を識別するための画像ＩＤであってもよい。
【０１５５】
また、平面画像情報における付属情報は、平面画像情報に付属する関連情報である。図１９では、平面画像情報における付属情報の一例として、３５ｍｍ換算焦点距離の値が示されている。３５ｍｍ換算焦点距離の値は、全天球画像ＣＥに平面画像Ｐを重畳して表示するために必須ではないが、重畳表示を行う場合に表示する画角を決めるための参考情報となるため、例として挙げている。
【０１５６】
次に、重畳表示情報は、スマートフォン５で作成された情報であり、領域分割数情報、各格子領域の格子点の位置（位置パラメータ）、及び明るさ値及び色値の補正値（補正パラメータ）を含んでいる。これらのうち、領域分割数情報は、第１の対応領域ＣＡ１を複数の格子領域に分割する際の水平（経度）方向の分割数及び垂直（緯度）方向の分割数を示している。
【０１５７】
また、位置パラメータは、平面画像Ｐを格子状の複数の領域に分割した場合の各格子点が、正距円筒射影画像ＥＣ（全天球画像ＣＥ）のどの位置に配置されるかを示す頂点マッピング情報である。補正パラメータは、本実施形態では、平面画像Ｐの色値を補正するためのゲインデータである。なお、補正対象がモノクロ画像の場合もあるため、補正パラメータは、明るさ値及び色値のうち少なくとも明るさ値を合わせるためのパラメータである。
【０１５８】
ところで、全天球画像ＣＥを得る場合、平面画像Ｐと同じ射影方式である透視射影方式を用いると、３６０°の全方位の撮影ができない。そのため、全天球画像ＣＥの一部の領域に、全天球画像ＣＥとは別に撮影することで得られた平面画像Ｐを重畳しようとしても、正距円筒射影画像ＥＣと平面画像Ｐは射影方式が異なるため、正距円筒射影画像ＥＣ（全天球画像ＣＥ）と平面画像Ｐが合わず、平面画像Ｐが全天球画像ＣＥに上手く溶け込まない。そのため、全天球画像のように広い画角の画像は、射影方式の１つとして、正距円筒射影方式で作成されることが多い。しかし、正距円筒射影方式を用いると、いわゆるメルカトル図法のように標準緯線から離れるほど横方向の長さが拡大されるため、一般的なカメラで採用されている透視射影方式の画像とは大きく異なった画像となる。よって、単純に画像の縮尺だけを変更して重ね合わせても画像が一致せず、平面画像Ｐが全天球画像ＣＥに上手く溶け込まない。そこで、本実施形態では、図２２に示されている処理により、位置パラメータを作成する。
【０１５９】
ここで、図２０を用いて、位置パラメータ及び補正パラメータについて詳細に説明する。図２０（ａ）は第２の対応領域における各格子領域を示した概念図である。図２０（ｂ）は第３の対応領域における各格子領域を示した概念図である。
【０１６０】
図２０（ａ）に示されているように、正距円筒射影画像ＥＣの一部の領域である第１の対応領域ＣＡ１が平面画像Ｐと同じ透視射影方式に変換されることで得られる第２の対応領域ＣＡ２は、本実施形態では、水平分割数が３０で垂直分割数が２０の複数の格子領域に分割される。図２０（ａ）には、各格子領域の格子点の座標(LO00,00，LA00,00)，(LO01,00，LA01,00)，…，(LO30,20，LA30,20)、及び、各格子領域の格子点における明るさ値及び色値の補正値(R00,00，G00,00，B00,00)，(R01,00，G01,00，B01,00)，…，(R30,20，G30,20，B30,20)が示されている。なお、図面を簡略化するため、４頂点における格子点の座標、並びに明るさ値及び色値の補正値が示されているが、実際には、全ての格子点の座標、並びに明るさ値及び色値の補正値が存在する。また、各明るさ値及び色値の補正値R,G,Bは、それぞれ赤色の補正ゲイン、緑色の補正ゲイン、青色の補正ゲインを示している。各明るさ値及び色値の補正値R,G,Bは、実際には、各格子点の座標を中心とする所定範囲（隣の格子点の所定範囲と重ならない範囲）内の画像の明るさ値及び色値の補正値を示している。
【０１６１】
一方、図２０（ｂ）に示されているように、第２の対応領域ＣＡ２が正距円筒射影画像ＥＣと同じ正距円筒射影方式に逆変換されることで得られた第１の所定対応領域ＣＡ１１は、本実施形態では、同じく水平分割数が３０で垂直分割数が２０の複数の格子領域に分割される。図２０（ｂ）には、各格子領域の格子点の座標(LO’00,00，LA’00,00)，(LO’01,00，LA’01,00)，…，(LO’30,20，LA’30,20)の座標、及び、第２の対応領域ＣＡ２の各補正値と同じ値の明るさ値及び色値の補正値が示されている。この場合も、図面を簡略化するため、４頂点における格子点の座標及び明るさ値及び色値の補正値が示されているが、実際には、全ての格子点の座標と明るさ値及び色値の補正値が存在する。
【０１６２】
なお、上記のように、位置パラメータは、平面画像Ｐと正距円筒射影画像ＥＣ（全天球画像ＣＥ）のそれぞれの位置対応関係を示すものである。しかし、位置パラメータで、平面画像Ｐの全ての画素位置が正距円筒射影画像ＥＣ（全天球画像ＣＥ）のどの座標に対応付けられるかの情報を表わそうとすると、一般撮影装置３が高画素数のデジタルカメラの場合、約４０００万画素数分の情報を表わさなければならない。そのため、位置パラメータのデータ量が多くなり、データ記憶等の扱いが大変である。そこで、本実施形態の位置パラメータは、平面画像Ｐを６００個（３０×２０）の領域に分割することで、平面画像の格子点の座標が、正距円筒射影画像ＥＣ（全天球画像ＣＥ）のどこに対応するかを示すだけのデータを示している。また、スマートフォン５は重畳表示する場合には、格子点の座標から各領域内の画像の位置を補間することで、重畳表示を実現することができる。なお、後述の第４の対応領域ＣＡ４と第２の所定対応領域ＣＡ１２との関係は、第２の対応領域ＣＡ２と第１の所定対応領域ＣＡ１１の関係と同様である。
【０１６３】
｛｛重畳部の機能構成｝｝
続いて、図１６を用い、重畳部５５ｂの機能構成について説明する。重畳部５５ｂは、貼付領域作成部５８２、補正部５８４、画像作成部５８６、画像重畳部５８８、及び射影変換部５９０を有している。
【０１６４】
これらのうち、貼付領域作成部５８２は、仮想の立体球ＣＳにおいて、第１の所定対応領域ＣＡ１１に対応する領域部分（以下、「部分立体球」という）ＰＳを作成する。
【０１６５】
補正部５８４は、重畳表示データ内の補正パラメータに基づいて、平面画像Ｐの明るさ値及び色値を、正距円筒射影画像ＥＣの明るさ値及び色値に合わせる補正を行なう。なお、補正部５８４は、必ずしも明るさや色の補正を行なう必要はない。また、補正部５８４が補正パラメータによって補正を行なう場合、明るさの補正を行なっても、色の補正を行なわなくてもよい。
【０１６６】
画像作成部５８６は、部分立体球ＰＳに対して、平面画像Ｐ（または、平面画像Ｐを補正した後の補正画像Ｃ）を貼り付けることで、重畳画像Ｓを作成する。また、画像作成部５８６は、部分立体球ＰＳの領域に基づいて、マスクデータＭを作成する。更に、画像作成部５８６は、立体球ＣＳに対して、正距円筒射影画像ＥＣを貼り付けることで全天球画像ＣＥを作成する。
【０１６７】
ここで、マスクデータＭは、重畳画像Ｓを全天球画像ＣＥに重畳する場合に用いることが可能な透過比率データである。マスクデータＭは、重畳画像Ｓを全天球画像ＣＥに重畳した場合の境界周辺の明るさ及び色を、内側の重畳画像Ｓ側から外側の全天球画像ＣＥ側に徐々に近づけるために、マスク周辺の透過度が、内側から外側に向けて徐々に重畳画像Ｓ寄りから全天球画像ＣＥ寄りに高くなっている。これにより、全天球画像ＣＥに重畳画像Ｓが重畳されても、極力、重畳されたことが分からないようにすることができる。なお、マスクデータＭの作成は、必須ではない。
【０１６８】
画像重畳部５８８は、全天球画像ＣＥに対して重畳画像Ｓ及びマスクデータＭを重畳する。これにより、境目が目立たないように高精細の重畳画像Ｓが重畳された低精細の全天球画像ＣＥが完成する。
【０１６９】
射影変換部５９０は、図７に示されているように、予め定められた仮想カメラＩＣの視線方向（所定領域Ｔの中心点ＣＰ）と所定領域Ｔの画角αに基づいて、重畳画像Ｓが重畳された状態の全天球画像ＣＥにおける所定領域Ｔを、ディスプレイ５１７で見ることができるように射影変換する。また、射影変換部５９０は、射影変換する際に、所定領域Ｔをディスプレイ５１７における表示領域の解像度に合わせる処理も行なう。具体的には、所定領域Ｔの解像度がディスプレイ５１７の表示領域の解像度よりも小さい場合には、射影変換部５９０は、所定領域Ｔをディスプレイ５１７の表示領域に合わせるように拡大する。一方、所定領域Ｔの解像度がディスプレイ５１７の表示領域の解像度よりも大きい場合には、射影変換部５９０は、所定領域Ｔをディスプレイ５１７の表示領域に合わせるように縮小する。これにより、表示制御部５６は、ディスプレイ５１７の表示領域の全体に亘って、所定領域Ｔを示す所定領域画像Ｑを表示することができる。
【０１７０】
＜＜実施形態の処理又は動作＞＞
続いて、図２１乃至図３６を用いて、本実施形態の処理又は動作について説明する。まず、図２１を用いて、撮影システムが実行する撮影方法を説明する。図２１は、本実施形態に係る撮影方法を示したシーケンス図である。なお、以下では、被写体や風景等の撮影を行なう場合について説明するが、撮影と同時に集音部１４によって周囲の音を録音してもよい。
【０１７１】
図２１に示されているように、スマートフォン５の受付部５２は、利用者から連携撮影開始を受け付ける（ステップＳ１１）。この場合、図１５（ｂ）に示されているように、表示制御部５６が、図１５（ｂ）に示されている連携撮影装置設定画面をディスプレイ５１７に表示させる。この画面には、撮影装置毎に、連携撮影する際のメインの撮影装置を指定するためのラジオボタン、連携撮影する際のサブの撮影装置を指定（選択）するためのチェックボックスが表示されている。更に、撮影装置毎に、撮影装置の装置名及び電波の受信強度が表示されている。そして、利用者が所望の撮影装置をメイン及びサブとして指定（選択）して、「確定」ボタンを押下することで、受付部が連携撮影開始を受け付ける。なお、サブの撮影装置は複数であってもよいため、チェックボックスにして複数の撮影装置を指定（選択）することができるようになっている。
【０１７２】
そして、スマートフォン５の近距離通信部５８は、一般撮影装置３の近距離通信部３８に対して、ポーリングにより、撮影開始の問い合わせを示す撮影開始問合情報を送信する（ステップＳ１２）。これにより、一般撮影装置３の近距離通信部３８は、撮影開始問合情報を受信する。
【０１７３】
次に、一般撮影装置３の判断部３７は、受付部３２が利用者からシャッターボタン３１５ａの押下を受け付けるか否かにより、撮影開始を行なったか否かを判断する（ステップＳ１３）。
【０１７４】
次に、一般撮影装置３の近距離通信部３８は、スマートフォン５に対して、ステップＳ１３による判断結果に応じた応答内容を示す応答情報を送信する（ステップＳ１４）。ステップＳ１３によって撮影が開始されたと判断された場合には、応答情報は、撮影開始を示す撮影開始情報を含む。この場合、応答情報は、一般撮影装置３の画像識別情報も含んでいる。一方、ステップＳ１３によって撮影が開始されたと判断されない場合には、応答情報は、撮影待機を示す撮影待機情報を含む。これにより、スマートフォン５の近距離通信部５８は、応答情報を受信する。
【０１７５】
続いて、ステップＳ１３によって、撮影が開始されたと判断された場合、及びステップＳ１４によって受信された応答情報が撮影開始情報を含む場合について説明する。
【０１７６】
まず、一般撮影装置３は、撮影を開始する（ステップＳ１５）。この撮影の処理は、シャッターボタン３１５ａが押下された後、撮像部３３が被写体や風景等を撮像することで撮影画像データ（ここでは、平面画像データ）し、記憶・読出部３９が記憶部３０００に撮影画像データを記憶するまでの処理である。
【０１７７】
次に、スマートフォン５では、近距離通信部５８が、特殊撮影装置１に対して、撮影開始の要求を示す撮影開始要求情報を送信する（ステップＳ１６）。これにより、特殊撮影装置１の近距離通信部１８は撮影開始要求情報を受信する。
【０１７８】
一方、特殊撮影装置１は、撮影を開始する（ステップＳ１７）。この撮影の処理は、撮像部１３が被写体や風景等を撮影して撮影画像データ（図３（ａ），（ｂ）に示されているような２つの半球画像データ）を生成し、画像・音処理部１５が、２つの半球画像データに基づいて、図３（ｃ）に示されているような単一の正距円筒射影画像データを作成して、記憶・読出部１９が記憶部１０００に正距円筒射影画像データを記憶するまでの処理である。
【０１７９】
次に、スマートフォン５では、近距離通信部５８が、一般撮影装置３に対して、撮影画像を要求する旨を示す撮影画像要求情報を送信する（ステップＳ１８）。この撮影画像要求情報には、ステップＳ１４で受信された画像識別情報が含まれている。これにより、一般撮影装置３の近距離通信部３８は撮影画像要求情報を受信する。
【０１８０】
次に、一般撮影装置３の近距離通信部３８は、スマートフォン５に対して、ステップＳ１５によって得られた平面画像データを送信する（ステップＳ１９）。この際、送信される平面画像データを識別するための画像識別情報、及び付属情報も送信される。画像識別情報及び付属情報は、図１９に平面画像情報として示されている。これにより、スマートフォン５の近距離通信部５８は、平面画像データ、画像識別情報、及び付属情報を受信する。
【０１８１】
一方、特殊撮影装置１の近距離通信部１８は、スマートフォン５に対して、ステップＳ１８によって得られた正距円筒射影画像データを送信する（ステップＳ２０）。この際、送信される正距円筒射影画像データを識別するための画像識別情報、及び付属情報も送信される。画像識別情報及び付属情報は、図１９に正距円筒射影画像情報として示されている。これにより、スマートフォン５の近距離通信部５８は、正距円筒射影画像データ、画像識別情報、及び付属情報を受信する。
【０１８２】
次に、スマートフォン５の記憶・読出部５９は、ステップＳ１９によって受信された平面画像データの電子ファイルと、及びステップＳ２０によって受信された正距円筒射影画像データの電子ファイルを同一の電子フォルダに格納して、記憶部５０００に記憶する（ステップＳ２１）。
【０１８３】
次に、スマートフォン５の画像・音処理部５５は、低精細画像である全天球画像ＣＥの一部の領域に高精細画像である平面画像Ｐを重畳して表示する際に利用する、重畳表示データを作成する（ステップＳ２２）。この際、記憶・読出部５９が、記憶部５０００に重畳表示データを記憶する。
【０１８４】
ここで、主に、図２２乃至図２６を用いて、重畳表示データの作成処理について詳細に説明する。なお、一般撮影装置３と特殊撮影装置１の撮像素子の解像度が、たとえ同じであっても、特殊撮影装置１の撮像素子は３６０°全天球画像ＣＥの元になる正距円筒射影画像を全て網羅しなければならないため、撮影画像における一定領域あたりの精細度が低くなる。
【０１８５】
｛重畳関係メタデータの作成処理｝
まずは、重畳関係メタデータの作成処理について説明する。
【０１８６】
（重畳関係メタデータ（１））
まず、低精細な正距円筒射影画像ＥＣによって作成される全天球画像ＣＥに対して、高精細な平面画像ＰＡを重畳するための重畳関係メタデータ（図１７参照）の作成処理について説明する。
【０１８７】
抽出部５５０は、正距円筒射影方式によって得られた長方形の正距円筒射影画像ＥＣにおける複数の特徴点ｆｐ１、及び透視射影方式によって得られた長方形の平面画像ＰＡにおける複数の特徴点ｆｐ２Ａを抽出する（ステップＳ１１０）。
【０１８８】
次に、第１の対応領域算出部５５２は、第１のホモグラフィ変換によって、正距円筒射影画像ＥＣにおける複数の特徴点ｆｐ１の特徴量ｆｖ１と、平面画像ＰＡにおける複数の特徴点ｆｐ２Ａの特徴量ｆｖ２Ａとの類似度に基づき、図２２に示されているように、正距円筒射影画像ＥＣにおいて、平面画像ＰＡに対応する四角形の第１の対応領域ＣＡ１を算出する（ステップＳ１２０）。より具体的には、第１の対応領域算出部５５２は、算出した正距円筒射影画像ＥＣの複数の特徴点ｆｐ１の特徴量ｆｖ１と、平面画像ＰＡにおける複数の特徴点ｆｐ２Ａの特徴量ｆｖ２Ａの類似度に基づき画像間の対応点を算出し、正距円筒射影画像ＥＣにおいて、平面画像ＰＡに対応するホモグラフィを求めることで得られる第１のホモグラフィ変換によって、図２２に示されているように、正距円筒射影画像ＥＣにおいて、平面画像ＰＡに対応する四角形の第１の対応領域ＣＡ１を算出する。この処理は、正距円筒射影画像ＥＣに対して射影方式が異なる平面画像ＰＡを正確に対応付けることができないが、ひとまず大まかに対応位置を推定するための処理（仮決め処理）である。
【０１８９】
次に、注視点特定部５５４は、平面画像ＰＡの中心点ＣＰ１が第１のホモグラフィ変換後に位置する正距円筒射影画像ＥＣ上の点（注視点ＧＰ１）を特定する（ステップＳ１３０）。
【０１９０】
次に、射影方式変換部５５６は、図２３に示されているように、周辺領域画像ＰＩの垂直画角αが平面画像ＰＡの対角画角αと同じになるようにすることで、結果的に周辺領域画像ＰＩが作成できるように、正距円筒射影画像ＥＣ内で注視点ＧＰ１を中心とした周辺領域ＰＡを、平面画像ＰＡと同じ透視射影方式に変換する（ステップＳ１４０）。
【０１９１】
次に、抽出部５５０は、射影方式変換部５５６によって得られた周辺領域画像ＰＩにおける複数の特徴点ｆｐ３Ａを抽出する（ステップＳ１５０）。
【０１９２】
次に、第２の対応領域算出部５５７ａは、平面画像ＰＡにおける複数の特徴点ｆｐ２Ａの特徴量ｆｖ２Ａと、周辺領域画像ＰＩにおける複数の特徴点ｆｐ３Ａの特徴量ｆｖ３Ａとの類似度に基づき画像間の対応点を算出し、算出した画像間の対応点の関係から、周辺領域画像ＰＩにおいて、平面画像ＰＡに対応する平面を推定することにより、第２のホモグラフィ変換を算出し、周辺領域画像ＰＩにおいて、平面画像ＰＡに対応する四角形の第２の対応領域ＣＡ２を算出する（ステップＳ１６０）。なお、平面画像ＰＡは、例えば４０００万画素の高精細な画像であるため、予め適切な大きさにリサイズしておく。
【０１９３】
次に、重畳関係メタデータ作成部５５８は、第２の対応領域算出部５５７ａによって算出された第２の対応領域ＣＡ２の情報、及び平面画像ＰＡの画像サイズ等に基づいて、図１７に示されているような重畳関係メタデータ（１）を作成する（ステップＳ１７０）。これにより、記憶・読出部５９は、記憶部５０００に重畳関係メタデータ（１）を記憶する。
【０１９４】
（重畳関係メタデータ（２））
次に、高精細な平面画像ＰＡに対して、高精細な平面画像ＰＢを重畳するための重畳関係メタデータ（図１８参照）の作成処理について説明する。
【０１９５】
まず、抽出部５５０は、透視射影方式によって得られた長方形の平面画像ＰＡにおける複数の特徴点ｆｐ２Ａ、及び同じく透視射影方式によって得られた長方形の平面画像ＰＢにおける複数の特徴点ｆｐ２Ｂを抽出する（ステップＳ１８０）。
【０１９６】
次に、第３の対応領域算出部５５９ａは、平面画像ＰＢにおける複数の特徴点ｆｐ２Ｂの特徴量ｆｖ２Ｂと、平面画像ＰＡにおける複数の特徴点ｆｐ３Ａの特徴量ｆｖ３Ａとの類似度に基づき画像間の対応点を算出し、算出した画像間の対応点の関係から、平面画像ＰＡにおいて、平面画像ＰＢに対応する平面を推定することにより、第３のホモグラフィ変換を算出し、平面画像ＰＡにおいて、平面画像ＰＢに対応する四角形の第３の対応領域ＣＡ３を算出する（ステップＳ１９０）。
【０１９７】
次に、重畳関係メタデータ作成部５５８は、第３の対応領域算出部５５９ａによって算出された第３の対応領域ＣＡ３の情報、及び平面画像ＰＢの画像サイズ等に基づいて、図１７に示されているような重畳関係メタデータ（２）を作成する（ステップＳ２００）。これにより、記憶・読出部５９は、記憶部５０００に重畳関係メタデータ（２）を記憶する。
【０１９８】
｛重畳表示データの作成処理｝
続いて、重畳表示データの作成処理について説明する。
【０１９９】
（重畳表示データ（１））
まず、低精細な正距円筒射影画像ＥＣによって作成される全天球画像ＣＥに対して、高精細な平面画像ＰＡを重畳するための重畳表示パラメータ（図１９参照）の作成処理について説明する。
【０２００】
第２の対応領域算出部５５７ｂは、ステップ１７０で作成した重畳関係メタデータにおける第２のホモグラフィ変換によって、周辺領域画像ＰＩにおいて、平面画像ＰＡに対応する四角形の第２の対応領域ＣＡ２を算出する（ステップＳ２１０−１）。
【０２０１】
次に、領域分割部５６０は、図２４（ｂ）に示されているように、第２の対応領域ＣＡ２を複数の格子領域ＬＡ２に分割する（ステップＳ２２０−１）。
【０２０２】
次に、射影方式逆変換部５６２は、図２２に示されているように、第２の対応領域ＣＡ２の射影方式を、正距円筒射影画像ＥＣと同じ正距円筒射影方式に変換（逆変換）する（ステップＳ２３０−１）。これにより、射影方式逆変換部５６２は、図２５に示されているように、正距円筒射影画像ＥＣにおいて、第２の対応領域ＣＡ２内の複数の格子領域ＬＡ２に対応する各格子領域ＬＡ１１から成る第１の所定対応領域ＣＡ１１を算出する。なお、図２５は、正距円筒射影画像ＥＣにおいて第１及び第２の所定対応領域を示す概念図である。この射影方式逆変換部５６２の処理により、各格子領域ＬＡ１１の各格子点の座標を示す第１の位置パラメータが作成される。
【０２０３】
続いて、図２２及び図２６を用いて、第１の補正パラメータの作成処理について説明する。図２６は、第１の補正パラメータの作成処理の過程における画像の概念図である。
【０２０４】
ステップＳ２３０−１の処理後、形状変換部５６４は、図２６（ａ）に示されているような第２の対応領域ＣＡ２の４頂点を平面画像ＰＡの４頂点に射影することで、第２の対応領域ＣＡ２を平面画像ＰＡと同じ形状に変換し、図２６（ｂ）に示されているような第２の対応領域ＣＡ２’を得る（ステップＳ２４０−１）。
【０２０５】
次に、領域分割部５６０は、図２６（ｃ）に示されているように、平面画像ＰＡを、変換後の第２の対応領域ＣＡ２’における各格子領域ＬＡ２’と同じ形状で同じ数である複数の格子領域ＬＡＡに分割する（ステップＳ２５０−１）。
【０２０６】
次に、補正パラメータ作成部５６６は、第２の対応領域ＣＡ２’における各格子領域ＬＡ２’の色値に対して、各格子領域ＬＡ２’に対応する平面画像ＰＡの各格子領域ＬＡＡの明るさ値及び色値を合わせるための第１の補正パラメータを作成する（ステップＳ２６０−１）。
【０２０７】
最後に、重畳表示データ作成部５７０は、図１９に示されているように、一般撮影装置３から取得した平面画像情報、予め定められている領域分割数情報、射影方式逆変換部５６２によって作成された第１の位置パラメータ、補正パラメータ作成部５６６によって作成された第１の補正パラメータに基づいて、重畳表示データ（１）を作成する（ステップＳ２７０−１）。この重畳表示データ（１）は、記憶・読出部５９によって、記憶部５０００に記憶される。
【０２０８】
（重畳表示データ（２））
次に、高精細な平面画像ＰＡに対して、高精細な平面画像ＰＢを重畳するための重畳表示データ（図１９参照）の作成処理について説明する。
【０２０９】
まず、第３の対応領域算出部５５９ｂは、ステップＳ２００で作成した重畳関係メタデータにおける第３のホモグラフィ変換によって、平面画像ＰＡにおいて、平面画像ＰＢに対応する四角形の第３の対応領域ＣＡ３を算出する（ステップＳ２１０−２−１）。
【０２１０】
次に、第２の対応領域算出部５５７ｂは、ステップ１７０で作成した重畳関係メタデータにおける第２のホモグラフィ変換によって、周辺領域画像ＰＩにおいて、第３の対応領域ＣＡ３に対応する四角形の第４の対応領域ＣＡ４を算出する（ステップＳ２１０−２−２）。
【０２１１】
次に、領域分割部５６０は、第４の対応領域ＣＡ４を複数の格子領域ＬＡ４に分割する（ステップＳ２２０−２）。なお、領域分割するイメージは、図２４（ｂ）と同様である。
【０２１２】
次に、射影方式逆変換部５６２は、第４の対応領域ＣＡ４の射影方式を、正距円筒射影画像ＥＣと同じ正距円筒射影方式に変換（逆変換）する（ステップＳ２３０−２）。これにより、射影方式逆変換部５６２は、図２５に示されているように、正距円筒射影画像ＥＣにおいて、第４の対応領域ＣＡ４内の複数の格子領域ＬＡ４に対応する各格子領域ＬＡ１２から成る第２の所定対応領域ＣＡ１２を算出する。この射影方式逆変換部５６２の処理により、各格子領域ＬＡ１２の各格子点の座標を示す第２の位置パラメータが作成される。
【０２１３】
続いて、第２の補正パラメータの作成処理について説明する。なお、領域分割するイメージは、図２６と同様である。
【０２１４】
ステップＳ２３０−２の処理後、形状変換部５６４は、第４の対応領域ＣＡ４の４頂点を平面画像ＰＢの４頂点に射影することで、第４の対応領域ＣＡ４を平面画像ＰＢと同じ形状に変換し、第４の対応領域ＣＡ４’を得る（ステップＳ２４０−２）。
【０２１５】
次に、領域分割部５６０は、平面画像ＰＢを、変換後の第４の対応領域ＣＡ４’における各格子領域ＬＡ４’と同じ形状で同じ数である複数の格子領域ＬＡＢに分割する（ステップＳ２５０−２）。
【０２１６】
次に、補正パラメータ作成部５６６は、第４の対応領域ＣＡ４’における各格子領域ＬＡ４’の色値に対して、各格子領域ＬＡ４’に対応する平面画像ＰＢの各格子領域ＬＡＢの明るさ値及び色値を合わせるための第２の補正パラメータを作成する（ステップＳ２６０−２）。
【０２１７】
最後に、重畳表示データ作成部５７０は、図１９に示されているように、一般撮影装置３から取得した平面画像情報、予め定められている領域分割数情報、射影方式逆変換部５６２によって作成された第２の位置パラメータ、補正パラメータ作成部５６６によって作成された第２の補正パラメータに基づいて、重畳表示データ（２）を作成する（ステップＳ２７０−２）。この重畳表示データ（２）は、記憶・読出部５９によって、記憶部５０００に記憶される。
【０２１８】
以上より、図２１に示されているステップＳ２２の処理が終了する。
【０２１９】
ここで、図２７乃至図３０を用いて、背景画像である全天球画像（正距円筒射影画像ＤＣ）に対して、複数の前景画像を積み重ねて重畳する場合について説明する。図２７（ａ）は従来処理における重畳位置算出処理を示した概念図、図２７（ｂ）は実施形態における前景画像の対応関係を示した図である。なお、背景画像Ｘは、正距円筒射影画像ＥＣである。また、背景画像Ａ，Ｂ，Ｃは、それぞれ平面画像ＰＡ，ＰＢ，ＰＣである。平面画像ＰＣは、平面画像ＰＢの一部と同じ被写体（背景）を示した画像であり、平面画像ＰＢは、更に平面画像ＰＡの一部と同じ被写体（背景）を示した画像である。よって、平面画像ＰＣは、平面画像ＰＡの一部と同じ被写体（背景）を示した画像でもある。
【０２２０】
図２７（ａ）に示されているように、従来処理においては３枚の前景画像Ａ，Ｂ，Ｃそれぞれに対して、背景画像Ｘとマッチング処理を行い（重畳位置の算出１〜３）、重畳位置パラメータを算出する。本実施形態では、前景画像Ｃを前景画像Ｂに重畳するための重畳位置の算出３と、前景画像Ｂを前景画像Ａに重畳するための重畳位置算出２と、前景画像Ａを背景画像Ｘに重畳するための重畳位置の算出１を行う。この従来処理においては、それぞれの前景画像Ａ，Ｂ，Ｃを直接背景画像Ｘに重畳するためのパラメータを算出することとなる。
【０２２１】
これに対して、本実施形態では、図２７（ｂ）に示されているように、算出している重畳位置データは矢印でリンクしている画像（前景画像Ｃならば前景画像Ｂ）となるので、背景画像に対する重畳位置ではない。そのため、前景画像Ｃを背景画像Ｘに重畳する位置を求めるには、まず前景画像Ｃ上の任意の位置が、前景画像Ｂ上でどこに対応するかの位置を求め、次に得られた前景画像Ｂ上の位置が前景画像Ａ上でどこに対応するかの位置を求め、最後に得られた前景画像Ａ上の位置が背景画像Ｘ上のどこに対応するかを求める必要がある。一見すると、本実施形態における重畳位置の算出手法は従来処理よりも煩雑に思われるが、次で説明する利点がある。
【０２２２】
図２８は、従来の重畳位置算出処理を示した概念図である。図２９は、本実施形態の重畳位置算出処理を示した概念図である。
【０２２３】
図２８及び図２９では、背景画像Ｘ，Ｙに対して、前景画像Ａ，Ｂ，Ｃそれぞれの重畳位置を算出する場合を示している。従来においては異なる背景画像Ｘ，Ｙに対する重畳位置を算出するためには、同じ前景画像においてもそれぞれの背景画像に対するマッチング処理を行っていたため、６回のマッチング処理による重畳位置算出処理が必要であった。
【０２２４】
これに対して、本実施形態では、図２９に示されているように、背景画像Ｘ，Ｙに対して行うマッチング処理は、前景画像Ａだけである。前景画像Ａ，Ｂ，Ｃに対しては既に述べたように前景画像Ａ，Ｂ，Ｃ間でマッチング処理を行うことで対応位置関係を算出する必要があるが、背景画像および前景画像との間でのマッチング処理における重畳位置算出処理は合わせて４回で済むこととなる。前景画像間の位置変換関係および背景画像に対する位置変換情報を使えば、例えば、前景画像Ｃの背景画像Ｘに対する重畳位置は位置情報を順番に変換させていくことにより求めることができ、重畳する背景画像の違いは、前景画像Ａ上の前景画像Ｃの対応位置を、背景画像Ｘ上の位置に変換するか、又は背景画像Ｙ上の位置に変化するかの違いとなる。この考え方を採用することで処理負荷の大きいマッチング処理による重畳位置算出処理を減らすことが可能となる。前景画像が増えればこの差はより顕著と成る。例えば、図２９のように、前景画像Ａ、Ｂ、Ｃは、グルーピングされた１つの組合わせとして、互いの関係を情報として備えている。より詳細には、前景画像ＡとＢ、前景画像ＢとＣが互いに関係を情報として備えているので、前景画像ＡとＣの関係も前景画像Ｂを経由して算出することができる。このため、後述するように、ユーザが、背景画像Ｘ上に、前景画像Ａのみの表示、前景画像Ｃのみの表示や、前景画像ＢとＣの組み合わせした表示など、前景画像間で表示や非表示を自在に、簡便に行うことができる。
【０２２５】
図３０は、重畳関係のグループを示した概念図である。次に、複数ある前景画像の全部または一部の画像を背景画像に重畳する場合におけるメリットを説明する。図３０は前景画像Ａ〜Ｉの一部を、背景画像Ｘ，Ｙ，Ｚに重畳する場合における関係とその時に構成されるメタデータのグループを説明する図である。背景画像Ｘには前景画像Ａ〜Ｉの全部の画像、背景画像Ｙには前景画像Ｄ〜Ｉ、背景画像Ｙには前景画像Ｇ〜Ｉが重畳される場合の対応関係およびメタデータのグルーピングを示している。本実施形態では、各画像に対し、ツリー構造が形成可能な１つのノード情報を持つため、前景画像のグルーピングや、背景画像に重畳する画像のグルーピングといったことが可能である。具体的に、この図３０の例で説明すると、前景画像Ａ，Ｂ，Ｃは前景画像Ａを根とした前景画像Ａ，Ｂ，Ｃの１つのグループとして扱うことができる。前景画像Ｄから前景画像Ｉの場合も同様に前景画像Ｄを親とした前景画像Ｄから前景画像Ｉまでのグループと、前景画像Ｅを親としたＥ−Ｆグループと、Ｅ〜Ｉグループとして扱うことができる。また背景画像もツリー構造を成す１つのノードとして捉えることで、背景画像Ｘは、前景画像Ａ，Ｄを子として持つ１つのツリー構造としてグルーピングできる。同様の考え方で背景画像Ｙおよび背景画像Ｚに対する前景画像において、それぞれの背景画像を親としたツリー構造でグルーピングでき、このグルーピングをそれぞれの背景画像に対する重畳表示データとしている。つまり各画像に付属するメタデータを単体としてではなく、グループとして機能させることにより、ある背景画像に対して重畳する前景画像の特定および重畳位置の算出ができる。
【０２２６】
つまり、ホモグラフィの積を求めるという単純な行列演算で子画像の先祖画像に対する対応位置を算出することができるのである。次にホモグラフィを算出した時に自画像と、親画像の画像サイズを格納している理由を説明する。ホモグラフィを用いることである平面画像上の点を別の平面画像上の点に射影する計算ができるが、画像上の点を別の画像に変換する位置関係を対象としているための、画像の大きさ（縦横の画素数）が既知であった上で機能する。つまり前景画像Ａと前景画像Ｂのホモグラフィを求めたときのそれぞれの画像サイズと、前景画像Ｂと前景画像Ｃのホモグラフィを求めた時のそれぞれの画像サイズが違った場合において、前景画像Ａと前景画像Ｃの間の位置（射影）関係を求めるのに、画像サイズによるスケールの違いを考慮する必要があるということである。画像サイズの違いも平面から平面の射影に違いないので、ホモグラフィにより表現でき、したがってホモグラフィの積を求めるだけで前景画像Ａから前景画像Ｃへの射影を求めることができるのである。それぞれの画像サイズを重畳位置変換情報とは別に算出時画像情報として格納することで、格納している重畳位置変換情報を特定の画像サイズから独立した情報として使うことができるようになるのである。
【０２２７】
また、本実施形態の重畳関係メタデータを使用することで、重畳関係メタデータの取り扱いが柔軟になる。例えば、複数の異なる背景画像Ｘ，Ｙに対しておいて、親画像となる前景画像に対する重畳位置算出情報を求めることで、子画像の重畳位置を算出することができる。すなわち、本実施形態では、背景画像および複数の前景画像のそれぞれに対し、画像間の親子関係が表現できるツリー構造の１つのノードとして重畳関係メタデータを付加し、各画像のメタデータが適切に結びつく（グルーピング）ことで背景画像に対する前景画像の特定や重畳位置等の算出を可能とする。本実施形態の特徴として各ノードがそれぞれの親ノードに対する重畳位置情報を独立して所持させているため、ある画像を現在のグールプに属してない新たな背景画像に重畳する際に、関連するすべての前景画像に対しマッチング処理を行うのではなく、関連する前景画像を成す部分木（ツリー構造の一部分）における根ノード前景画像とのみマッチング処理を行うことで、根ノードに結びついている子孫前景画像の重畳位置を算出することが可能となる。図３０に示した、前景画像Ｄを根に持つグループ（前景画像Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉ）は、当初、背景画像Ｙに対応づけられていたとする。その後、背景画像Ｘに対応づけたいとする時には、子孫前景画像のすべてに対して、新たな背景画像とマッチング処理を行う必要が無く、背景画像Ｘと、前景画像Ｄとのマッチング処理で対応することができる。これは、すでに計算されている位置関係を用いて新たな位置関係を求められることは非常に有益である。また重畳位置情報を、部分木を含む木という単位で扱う事ができるため、あらたなグループの作成や、グループ内の前景画像の削除や追加といった操作が柔軟になる
続いて、図２１に戻り、記憶・読出部５９及び表示制御部５６は、重畳表示データを用いて、重畳の処理を行なう（ステップＳ２３）。
【０２２８】
｛重畳の処理｝
ここで、図３１乃至図３６を用いて、図２１におけるステップＳ２３の重畳の処理について詳細に説明する。図３１は、重畳の処理の過程における画像の概念図である。
【０２２９】
まず、図１４に示されている記憶・読出部５９（取得部）が、予め、記憶部５０００から、正距円筒射影方式によって得られた正距円筒射影画像ＥＣのデータ、透視射影方式によって得られた平面画像Ｐのデータ、及び重畳表示データを読み出して取得しておく。
【０２３０】
次に、貼付領域作成部５８２は、図３１に示されているように、位置パラメータに基づき、仮想の立体球ＣＳにおいて、第１の所定対応領域ＣＡ１１に対応する部分立体球ＰＳを作成する（ステップＳ３１０）。この際、位置パラメータで示されていない格子点以外の画素に関しては、例えば、線形補間を用いて補間する。
【０２３１】
次に、補正部５８４は、重畳表示データ内の補正パラメータに基づいて、平面画像Ｐの明るさ値及び色値を、正距円筒射影画像ＥＣの明るさ値及び色値に合わせる補正を行なう（ステップＳ３２０）。以降、補正後の平面画像Ｐは、「補正画像Ｃ」という。
【０２３２】
次に、画像作成部５８６は、部分立体球ＰＳに対して、補正画像Ｃを貼り付けることで、重畳画像Ｓを作成する（ステップＳ３３０）。この際、位置パラメータで示されていない格子点以外の画素に関しては、例えば、線形補間を用いて補間する。また、画像作成部５８６は、部分立体球ＰＳに基づいて、マスクデータＭを作成する（ステップＳ３４０）。更に、画像作成部５８６は、立体球ＣＳに対して、正距円筒射影画像ＥＣを貼り付けることで全天球画像ＣＥを作成する（ステップＳ３５０）。そして、画像重畳部５８８は、全天球画像ＣＥに対して、マスクデータＭを用いて重畳画像Ｓを重畳する（ステップＳ３６０）。これにより、境目が目立たないように高精細の重畳画像Ｓが重畳された低精細の全天球画像ＣＥが完成する。
【０２３３】
次に、射影変換部５９０は、図７に示されているように、予め定められた仮想カメラＩＣの視線方向（所定領域Ｔの中心点ＣＰ）と所定領域Ｔの画角αに基づいて、重畳画像Ｓが重畳された状態の全天球画像ＣＥにおける所定領域Ｔをディスプレイ５１７で見ることができるように射影変換する（ステップＳ３７０）。この際、射影変換部５９０は、所定領域Ｔをディスプレイ５１７における表示領域の解像度に合わせる処理も行なう。これにより、表示制御部５６は、ディスプレイ５１７の表示領域の全体に亘って、所定領域Ｔを示す所定領域画像Ｑの表示の処理を行なうことができる（ステップＳ２４）。ここでは、所定領域画像Ｑ内に、平面画像Ｐが重畳された状態の平面画像Ｐ’である重畳画像Ｓが含まれている。
【０２３４】
続いて、図３２乃至図３６を用いて、重畳表示された状態について詳細に説明する。図３２は、全天球画像に平面画像を重畳した場合の二次元の概念図である。ここでは、図５に対して、平面画像Ｐを重畳している場合を示している。図３２に示されているように、高精細な重畳画像Ｓは、立体球ＣＳに張り付けられた低精細な全天球画像ＣＥに対し、位置パラメータに従って、立体球ＣＳの内側に重畳されている。
【０２３５】
図３３は、全天球画像に平面画像を重畳した場合の三次元の概念図である。図３３では、立体球ＣＳに全天球画像ＣＥ及び重畳画像Ｓが貼り付けられ、重畳画像Ｓを含む画像が所定領域画像Ｑとなっている状態を表している。
【０２３６】
図３４は、本実施形態の位置パラメータを用いずに、全天球画像に平面画像を重畳した場合の二次元の概念図である。図３５は、本実施形態の位置パラメータを用いて、全天球画像に平面画像を重畳した場合の二次元の概念図である。
【０２３７】
図３４（ａ）に示されているように、仮想カメラＩＣが立体球ＣＳの中心点に位置している場合を基準にすると、被写体Ｐ１は、全天球画像ＣＥ上で像Ｐ２として表され、重畳画像Ｓ上で像Ｐ３として表されている。図３４（ａ）に示されているように、像Ｐ２及び像Ｐ３は、仮想カメラＩＣと被写体Ｐ１とを結ぶ直線上に位置しているため、全天球画像ＣＥに重畳画像Ｓが重畳された状態で表示されても、全天球画像ＣＥと重畳画像Ｓにズレが生じない。しかし、図３４（ｂ）に示されているように、仮想カメラＩＣが立体球ＣＳの中心点から離れると、仮想カメラＩＣと被写体Ｐ１とを結ぶ直線上に、像Ｐ２は位置しているが、像Ｐ３はやや内側に位置している。このため、仮想カメラＩＣと被写体Ｐ１とを結ぶ直線上における重畳画像Ｓ上の像を像Ｐ３’とすると、全天球画像ＣＥと重畳画像Ｓに、像Ｐ３と像Ｐ３’との間のズレ量ｇ分のズレが生じてしまう。これにより、全天球画像ＣＥに対して重畳画像Ｓがズレて表示されてしまう。
【０２３８】
これに対して、本実施形態では、複数の格子領域によって示された位置パラメータを用いているため、図３５（ａ）、（ｂ）に示されているように、重畳画像Ｓを全天球画像ＣＥに沿って重畳することができる。これにより、図３５（ａ）に示されているように、仮想カメラＩＣが立体球ＣＳの中心点に位置する場合だけでなく、図３５（ｂ）に示されているように、仮想カメラが立体球ＣＳの中心点から離れた場合であっても、像Ｐ２及び像Ｐ３は、仮想カメラＩＣと被写体Ｐ１とを結ぶ直線上に位置することになる。よって、全天球画像ＣＥに重畳画像Ｓが重畳された状態で表示されても、全天球画像ＣＥと重畳画像Ｓにズレが生じない。
【０２３９】
図３６（ａ）は重畳表示しない場合のワイド画像の表示例、図３６（ｂ）は重畳表示しない場合のテレ画像の表示例、図３６（ｃ）は重畳表示する場合のワイド画像の表示例、図３６（ｄ）は重畳表示する場合のテレ画像の表示例を示した概念図である。なお、図中の波線は、説明の便宜上表しただけであり、実際にディスプレイ５１７上には表示されてもよく、表示されなくてもよい。
【０２４０】
図３６（ａ）に示されているように、全天球画像ＣＥに対して平面画像Ｐを重畳して表示しない場合、図３６（ａ）における波線で示される領域まで拡大表示すると、図３６（ｂ）に示されているように、低精細の画像のままとなっており、利用者は鮮明でない画像を見ることになってしまう。これに対して、図３６（ｃ）に示されているように、全天球画像ＣＥに対して平面画像Ｐを重畳して表示する場合、図３６（ｃ）における波線で示される領域まで拡大表示すると、図３６（ｄ）に示されているように、高精細の画像が表示され、利用者は鮮明な画像を見ることができる。特に、波線で示されている領域に、文字が描かれた看板等が表示されている場合、高精細な平面画像Ｐを重畳表示しなければ、拡大表示させても文字がぼやけてしまい、何が書かれてあるのか分からない。しかし、高精細な平面画像Ｐを重畳表示すれば、拡大表示させても文字が鮮明に見えるため、利用者は何が書かれているのかを把握することができる。
【０２４１】
＜＜本実施形態の主な効果＞＞
（１）第１の画像としての正距円筒射影画像（背景画像）に対して、第２の画像としての平面画像（前景画像）、及び第３の画像としての平面画像（前景画像）を重畳する場合、第１の画像と第２の画像（又は第３の画像）との間では画像のずれを抑制しても、第２の画像及び第３の画像同士の一部又は全部が重なるような場合には、第２の画像及び第３の画像の間で画像ずれが目立つことがあった。これに対して、本実施形態によれば、段階的なマッチング処理を行って、第１の画像に対する第３の画像の重畳位置を示す重畳表示データを作成することで、前景画像間（第２の画像と第３の画像との間）での画像のズレを抑制することができるという効果を奏する。これに関して更に詳細に説明する。
【０２４２】
前景画像が別の前景画像の内部に重畳される場合、それぞれの前景画像の背景画像に対する重畳位置を求めるよりも、前景画像同士で画像のマッチング位置を計算する方が前景画像間における画像ずれは軽減できる。これは、それぞれの前景画像と背景画像で重畳位置を算出すると、それぞれの検出結果誤差が存在するからである。一方、前景画像同士で重畳位置を算出すれば、背景画像に対する誤差は大きくなる可能性もあるが、前景画像間での重畳位置算出精度は向上する。なぜならば、一般的に背景画像よりも前景画像の方の画角は小さいが画像としての解像度は高く、マッチング処理を行うための有効な特徴量の抽出に有利である。さらに前景画像が同じ機材（カメラ）で撮影される場合は、異なる機材で撮影されるよりもレンズの歪み等の相関や画像処理を含めた生成される画像における画質の傾向が近いのは明白であり、重畳位置を算出に有利である。また、画角の狭い前景画像（狭角前景画像）よりも画角、画質差が大きい背景画像と直接マッチングすることで、少ない特徴点や特徴量に基づき、位置を算出した結果よりも、画角差の小さい中間的な画角の画像（中間画角前景画像）を仲介させることで、最終的に求める背景画像に対する重畳位置の精度を向上させることが可能である。つまり、例えば、図２９で示したように、背景画像Xに対し、前景画像Cと直接マッチングするよりも、前景画像Aや前景画像Bを仲介させることで、前景画像Cと背景画像Xの重畳位置の精度を向上させることができる。
【０２４３】
（２）正距円筒射影画像ＥＣ（背面画像）に、比較的長焦点距離の撮影によって得られた平面画像ＰＢ（前景画像Ｂ）をマッチンさせようとすると、撮影領域のサイズの差が大きいため、重畳位置が算出できない、又は大きくずれてしまう。これに対して、本実施形態によれば、平面画像ＰＢは、比較的近い焦点距離の撮影によって得られた平面画像ＰＡ（前景画像Ａ）とのマッチング処理を介することで最終的に正距円筒射影画像ＥＣとマッチングするといったように、段階的なマッチング処理を行うことで、重畳位置の算出を行う又は大きなずれを生じないようにすることができるという効果を奏する。これに関して更に詳細に説明する。
【０２４４】
前景画像と背景画像の重畳位置算出のためのマッチング処理において、前景画像の画角が狭いとその画像に対応する背景画像の領域も狭くなるためマッチング処理に使用できる特徴量が少なくなる。つまり背景画像に対し、ある程度の面積を占める前景画像に対しては、背景画像、前景画像のそれぞれから特徴を抽出することができるのだが、前景画像の占める面積が小さい場合は取得可能な特徴量も少なくなる。したがって、背景画像との重畳位置の算出精度も低くなる傾向にあり、重畳位置が検出できないこともある。本実施形態の発明に関連する段階的マッチング処理においては、中間的な画角の前景画像（中間画角前景画像）を用い、中間画角前景画像における狭角前景画像の対応する領域をマッチング処理により求め、その変換関係を重畳位置変換情報として保存する。さらに背景画像における中間画角前景画像に対応する点を算出し、中間画角前景画像における複数の点を、背景画像に対応させる対応関係を求める。発明者らはすでに異なる射影方式における背景画像と前景画像において、背景画像における前景画像に対応する領域の位置関係の算出法および記録方法について開示している。したがって、この手法を利用することで、狭角画像が中間画角画像のどの領域に対応するか知ることが出来れば、背景画像と中間画角前景との射影方式が異なっていても狭角前景画像を背景画像に重畳する位置を算出が可能となる。つまり、例えば、図２９で示したように、背景画像Xに対し、前景画像Cと直接マッチングするよりも、前景画像Aや前景画像Bを仲介させることで、前景画像Cと背景画像Xの重畳位置の精度を向上させることができる。
【０２４５】
（３）更に、本実施形態の重畳関係メタデータを使用することで、重畳関係メタデータの取り扱いが柔軟になる。例えば、複数の異なる背景画像Ｘ，Ｙにおいて、親である前景画像に対する重畳位置算出情報を求めることで、子画像の重畳位置を算出することができる。これに関して更に詳細に説明する。
【０２４６】
本実施形態では、複数の前景画像および背景画像のそれぞれ対し、画像間の親子関係が表現できるツリー構造の１つのノードとして重畳メタデータ情報を付加し、各画像のメタデータが適切に結びつく（グルーピング）ことで背景画像に対する前景画像の特定や重畳位置等の算出を可能とする。ツリー構造自体は公知の概念なので詳細は述べないが、本発明の特徴として各ノードがそれぞれの親ノードに対する重畳位置情報を独立して所持させているため、ある画像を現在のグールプに属してない新たな背景画像に重畳する際に、関連するすべての前景画像に対しマッチング処理を行うのではなく、関連する前景画像を成す部分木（ツリー構造の一部分）における根ノード前景画像とのみマッチング処理を行うことで、根ノードに結びついている子孫前景画像の重畳位置を算出することが可能となる。つまり、子孫前景画像のすべてに対して、新たな背景画像とマッチング処理を行う必要が無くなり、多くの前景画像を重畳する場合における算出処理負荷を軽減できる。画像の特徴量を求め、マッチング処理を行うことで対応位置を求める処理は負荷が大きく、すでに計算されている位置関係を用いて新たな位置関係を求められることは非常に有益である。また重畳位置情報を、部分木を含む木という単位で扱う事ができるため、あらたなグループの作成や、グループ内の前景画像の削除や追加といった操作が柔軟になる。
【０２４７】
〔第２の実施形態〕
続いて、図３７乃至図４１を用いて、本発明の第２の実施形態について説明する。
【０２４８】
＜撮影システムの概略＞
まずは、図３７を用いて、本実施形態の撮影システムの構成の概略について説明する。図３７は、本実施形態の撮影システムの構成の概略図である。
【０２４９】
図３７に示されているように、本実施形態の撮影システムは、第１の実施形態に係る各構成に対して、更に画像処理サーバ７が追加されている。第１の実施形態と同一の構成は、同一の符号を付して、その説明を省略する。スマートフォン５と画像処理サーバ７は、インターネットやイントラネット等の通信ネットワーク１００を介して、画像処理サーバ７と相互通信することができる。
【０２５０】
第１の実施形態では、スマートフォン５が、重畳表示データの作成や画像の重畳の処理を行なっているのに対して、本実施形態では、画像処理サーバ７がこれらの処理を行なう。
なお、本実施形態のスマートフォン５は、通信端末の一例となり、画像処理サーバが画像処理装置の一例となる。
【０２５１】
画像処理サーバ７は、サーバコンピュータであり、複数台のサーバコンピュータで分散して画像処理を行なう場合も含まれる。
【０２５２】
＜＜実施形態のハードウェア構成＞＞
次に、図３８を用いて、本実施形態の画像処理サーバ７のハードウェア構成を詳細に説明する。図３８は、画像処理サーバのハードウェア構成図である。なお、本実施形態の特殊撮影装置１、一般撮影装置３及びスマートフォン５のハードウェア構成は、第１の実施形態と同様であるため、それらの説明を省略する。
【０２５３】
＜画像処理サーバのハードウェア構成＞
図３８は、画像処理サーバのハードウェア構成図である。画像処理サーバ７は、コンピュータによって構築されており、図６に示されているように、ＣＰＵ７０１、ＲＯＭ７０２、ＲＡＭ７０３、ＨＤ７０４、ＨＤＤ(Hard Disk Drive)７０５、記録メディア７０６、メディアＩ／Ｆ７０７、ディスプレイ７０８、ネットワークＩ／Ｆ７０９、キーボード７１１、マウス７１２、ＣＤ−ＲＷドライブ７１４、及び、バスライン７１０を備えている。なお、画像処理サーバ７は、サーバとして機能するため、キーボード７１１やマウス７１２等の入力装置や、ディスプレイ７０８等の出力装置はなくてもよい。
【０２５４】
これらのうち、ＣＰＵ７０１は、画像処理サーバ７全体の動作を制御する。ＲＯＭ７０２は、ＣＰＵ７０１の駆動に用いられるプログラムを記憶する。ＲＡＭ７０３は、ＣＰＵ７０１のワークエリアとして使用される。ＨＤ７０４は、プログラム等の各種データを記憶する。ＨＤＤ７０５は、ＣＰＵ７０１の制御にしたがってＨＤ７０４に対する各種データの読み出し又は書き込みを制御する。メディアＩ／Ｆ７０７は、フラッシュメモリ等の記録メディア７０６に対するデータの読み出し又は書き込み（記憶）を制御する。ディスプレイ７０８は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。ネットワークＩ／Ｆ７０９は、通信ネットワーク１００を利用してデータ通信をするためのインターフェースである。キーボード７１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。マウス７１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＣＤ−ＲＷドライブ７１４は、着脱可能な記録媒体の一例としてのＣＤ−ＲＷ(Compact Disc-ReWritable)７１３に対する各種データの読み出し等を制御する。
【０２５５】
また、画像処理サーバ７は、バスライン７１０を備えている。バスライン７１０は、図３８に示されているＣＰＵ７０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【０２５６】
＜＜実施形態の機能構成＞＞
次に、図３９及び図４０を用いて、本実施形態の機能構成について説明する。図３９は、本実施形態に係る撮影システムの機能ブロック図である。なお、本実施形態の特殊撮影装置１、一般撮影装置３及びスマートフォン５の機能構成は、第１の実施形態と同様であるため、それらの説明を省略する。本実施形態の場合、スマートフォン５の画像・音処理部５５は、図１６に示されている各機能構成を有していてもよいし、有していなくてもよい。
【０２５７】
＜画像処理サーバの機能構成＞
図３９に示されているように、画像処理サーバ７は、遠距離通信部７１、受付部７２、画像・音処理部７５、表示制御部７６、判断部７７、及び記憶・読出部７９を有している。これら各部は、図３８に示されている各構成要素のいずれかが、ＨＤ７０４からＲＡＭ７０３上に展開された画像処理サーバ７用プログラムに従ったＣＰＵ７０１からの命令によって動作することで実現される機能又は手段である。
【０２５８】
また、画像処理サーバ７は、図３８に示されているＲＯＭ７０２、ＲＡＭ７０３、及びＨＤ７０４によって構築される記憶部７０００を有している。
【０２５９】
（画像処理サーバの各機能構成）
画像処理サーバ７の遠距離通信部７１は、主に、図３８に示されているネットワークＩ／Ｆ７０７及びＣＰＵ７０１の処理によって実現され、通信ネットワークを介して、他の装置（例えば、他のサーバ、スマートフォン）との間で各種データ（または情報）の送受信を行う。
【０２６０】
受付部７２は、主にキーボード７１１、マウス７１２、及びＣＰＵ７０１の処理によって実現され、利用者から各種の選択又は入力を受け付ける。
【０２６１】
画像・音処理部７５は、主にＣＰＵ７０１からの命令によって実現され、スマートフォン５から送られて来た各種データに対して、各種処理を行なう。
【０２６２】
表示制御部７６は、主にＣＰＵ７０１の処理によって実現され、第１の実施形態の表示制御部５６と異なり、スマートフォン５のディスプレイ５１７に平面画像Ｐを表示させるための所定領域画像Ｑのデータを作成する。また、表示制御部７６は、画像・音処理部７５によって作成された重畳表示データを利用して、平面画像Ｐの各格子領域ＬＡ０を、位置パラメータで示された位置、並びに補正パラメータで示された明るさ値及び色値に合わせることで、全天球画像ＣＥに平面画像Ｐを重畳して表示させるためのデータを作成する。
【０２６３】
判断部７７は、図３８に示されているＣＰＵ７０１の処理によって実現され、各種判断を行なう。
【０２６４】
記憶・読出部７９は、主に、図３８に示されているＣＰＵ７０１の処理によって実現され、記憶部７０００に、重畳表示データ等の各種データ（または情報）を記憶したり、記憶部７０００から重畳表示データ等の各種データ（または情報）を読み出したりする。また、記憶・読出部７９は、記憶部７０００から各種データを取得する取得部の役割を果たす。
【０２６５】
（画像・音処理部の詳細な各機能構成）
ここで、図４０を用いて、画像・音処理部７５の各機能構成について詳細に説明する。図４０は、画像・音処理部の詳細な機能ブロック図である。
【０２６６】
画像・音処理部７５は、大きく分けて、エンコードを行なう作成部７５ａとデコードを行なう重畳部７５ｂを有している。作成部７５ａは、図４１に示されている後述のステップＳ４４の処理を実行する。また、重畳部７５ｂは、図２１に示されている後述のステップＳ４５の処理を実行する。
【０２６７】
｛作成部の各機能構成｝
まずは、作成部７５ａの各機能構成について説明する。作成部７５ａは、更に２つに分かれ、メタデータ作成部７５ａ１、及び表示データ作成部７５ａ２を有している。ここで、まず、メタデータ作成部７５ａ１について説明する。メタデータ作成部５５ａ１は、抽出部７５０、第１の対応領域算出部７５２、注視点特定部７５４、射影方式変換部７５６、第２の対応領域算出部７５７ａ、第３の対応領域算出部７５９ａ及び重畳関係メタデータ作成部７５８を有している。これらは、それぞれ第１の実施形態における、抽出部５５０、第１の対応領域算出部５５２、注視点特定部５５４、射影方式変換部５５６、第２の対応領域算出部５５７ａ、第３の対応領域算出部５５９ａ及び重畳関係メタデータ作成部５５８と同様の機能を有するため、これらの説明は省略する。
【０２６８】
｛表示データ作成部の各機能構成｝
表示データ作成部７５ａ２は、第２の対応領域算出部７５７ｂ、第３の対応領域算出部７５９ｂ、領域分割部７６０、射影方式逆変換部７６２、形状変換部７６４、補正パラメータ作成部７６６、及び重畳表示データ作成部７７０を有している。これらは、それぞれ第１の実施形態における、第２の対応領域算出部５５７ｂ、第３の対応領域算出部５５９ｂ、領域分割部５６０、射影方式逆変換部５６２、形状変換部５６４、補正パラメータ作成部５６６、及び重畳表示データ作成部５７０と同様の機能を有するため、これらの説明は省略する。
【０２６９】
｛重畳部の機能構成｝
続いて、重畳部７５ｂの機能構成について説明する。重畳部７５ｂは、貼付領域作成部７８２、補正部７８４、画像作成部７８６、画像重畳部７８８、及び射影変換部７９０を有している。これらは、それぞれ第１の実施形態における、貼付領域作成部５８２、補正部５８４、画像作成部５８６、画像重畳部５８８、及び射影変換部５９０を有するため、これらの説明は省略する。
【０２７０】
＜＜実施形態の処理又は動作＞＞
続いて、図４１を用いて、本実施形態の処理又は動作について説明する。図４１を用いて、撮影システムが実行する撮影方法を説明する。図４１は、本実施形態に係る撮影方法を示したシーケンス図である。なお、ステップＳ３１〜Ｓ４１の処理は、第１の実施形態のステップＳ１１〜Ｓ３１と同様の処理であるため、これらの説明を省略する。
【０２７１】
スマートフォン５では、送受信部５１が通信ネットワーク１００を介して画像処理サーバ７に、射影方式が異なる一方の画像に他方の画像を重畳するための重畳要求を示す重畳要求情報を送信する（ステップＳ４２）。この重畳要求情報には、記憶部５０００に記憶された電子フォルダ内のデータ（平面画像データ、正距円筒射影画像データ）を送信する。これにより、画像処理サーバ７の送受信部７１は、電子フォルダ内のデータを受信する。
【０２７２】
次に、画像処理サーバ７では、記憶・読出部７９が、記憶部７０００に、ステップＳ４２で受信された電子フォルダ内のデータを記憶する（ステップＳ４３）。そして、図４０に示されている作成部７５ａが、重畳表示データの作成を行なう（ステップＳ４４）。更に、重畳部７５ｂが、重畳の処理を行なう（ステップＳ４５）。ステップＳ４４，Ｓ４５の処理は、それぞれステップＳ２２，Ｓ２３の処理と同様の内容であるため、これらの説明を省略する。
【０２７３】
次に、表示制御部７６は、スマートフォン５のディスプレイ５１７の表示領域の全体に亘って、所定領域Ｔを示す所定領域画像Ｑを表示させる所定領域画像Ｑのデータを作成する。ここでは、所定領域画像Ｑ内に、平面画像Ｐが重畳された状態の平面画像Ｐ’である重畳画像Ｓが含まれている。送受信部７１は、スマートフォン５に対して、表示制御部７６によって作成された所定領域画像Ｑのデータを送信する（ステップＳ４６）。これにより、スマートフォンの送受信部５１は、所定領域画像Ｑのデータを受信する。
【０２７４】
次に、スマートフォン５では。表示制御部５６が、ディスプレイ５１７上に、重畳画像Ｓが含まれた所定領域画像Ｑを表示させる（ステップＳ４７）。
【０２７５】
＜＜本実施形態の主な効果＞＞
以上説明したように本実施形態によれば、上記第１の実施形態と同様の効果を奏する。
【０２７６】
また、本実施形態では、連携撮影の処理はスマートフォン５で行い、重畳表示データの作成及び重畳の処理は画像処理サーバ７で行なうため、スマートフォン５の処理能力が比較的低い場合であっても、画像のずれを抑制することができるという効果を奏する。
【０２７７】
〔補足〕
上記各実施形態では、図１４に示されているように、スマートフォン５が、正距円筒射影画像データ、平面画像データ、及び重畳表示パラメータデータを有しているが、これに限るものではない。例えば、インターネット等の通信ネットワークを介して通信可能な管理サーバが、正距円筒射影画像データ、平面画像データ、及び重畳表示パラメータデータのうち少なくとも１つを記憶してもよい。
【０２７８】
また、上記各本実施形態では、全天球画像ＣＥに平面画像Ｐが重畳されているが、これに限るものではない。例えば、全天球画像ＣＥの一部の画像を平面画像Ｐに置き換えてもよいし、全天球画像ＣＥの一部の画像を削除して、この削除した部分に平面画像Ｐを嵌め込んでもよい。
【０２７９】
また、上記第２の実施形態では、重畳の処理が画像処理サーバ７で行なわれているが（ステップＳ４５参照）、これに限るものではない。例えば、画像処理サーバ７からスマートフォン５に重畳表示データを送信し、スマートフォン５側で重畳の処理及び表示の処理を行なってもよい。この場合、画像処理サーバ７では、図４０に示されている作成部７５ａが重畳表示データの作成を行なう。一方、スマートフォン５では、図１６に示されている重畳部５５ｂが重畳の処理を行い、図１４に示されている表示制御部５６が表示の処理を行なう。
【０２８０】
また、上記では、全天球画像に平面画像を重畳する場合について説明したが、重畳は、合成の一例である。合成には、重畳の他に、貼り付け、嵌め込み、重ね合わせ等も含まれる。また、上記重畳画像は、合成画像の一例である。合成画像には、重畳画像の他に、貼り付け画像、嵌め込み画像、重ね合わせ画像等も含まれる。更に、画像重畳部５８８，７８８は、画像合成部の一例である。
【符号の説明】
【０２８１】
１  特殊撮影装置（第１の撮影装置の一例）
３  一般撮影装置（第２の撮影装置の一例）
５  スマートフォン（画像処理装置の一例）
７  画像処理サーバ（画像処理装置の一例）
５１  送受信部
５２  受付部
５５ａ  作成部
５５ａ１  メタデータ作成部
５５ａ２  表示データ作成部
５５ｂ  重畳部
５６  表示制御部
５８  近距離通信部
５９  記憶・読出部（取得手段の一例）
７２  受付部
７５  画像・音処理部
７５ａ  作成部
７５ａ１  メタデータ作成部
７５ａ２  表示データ作成部
７５ｂ  重畳部
７６  表示制御部
７８  近距離通信部
７９  記憶・読出部（取得手段の一例）
５１７  ディスプレイ
５５０  抽出部（抽出手段の一例）
５５２  第１の対応領域算出部（第１の対応領域算出手段の一例）
５５４  注視点特定部（注視点特定手段の一例）
５５６  射影方式変換部（射影方式変換手段の一例）
５５７ａ  第２の対応領域算出部（第２の対応領域算出手段の一例）
５５７ｂ  第２の対応領域算出部（第２の対応領域算出手段の一例）
５５８  重畳関係メタデータ作成部
５５９ａ  第３の対応領域算出部（第３の対応領域算出手段の一例）
５５９ｂ  第３の対応領域算出部（第３の対応領域算出手段の一例）
５６０  領域分割部（領域分割手段の一例）
５６２  射影方式逆変換部（射影方式逆変換手段の一例）
５６４  形状変換部（形状変換手段の一例）
５６６  補正パラメータ作成部（補正情報作成手段の一例）
５７０  重畳表示作成部（位置算出手段の一例）
５８２  添付領域作成部（添付領域作成手段の一例）
５８４  補正部（補正手段の一例）
５８６  画像作成部（画像作成手段の一例）
５８８  画像重畳部（画像重畳手段の一例）
５９０  射影変換部（射影変換手段の一例）
７５０  抽出部（抽出手段の一例）
７５２  第１の対応領域算出部（第１の対応領域算出手段の一例）
７５４  注視点特定部（注視点特定手段の一例）
７５６  射影方式変換部（射影方式変換手段の一例）
７５７ａ  第２の対応領域算出部（第２の対応領域算出手段の一例）
７５７ｂ  第２の対応領域算出部（第２の対応領域算出手段の一例）
７５８  重畳関係メタデータ作成部
７５９ａ  第３の対応領域算出部（第３の対応領域算出手段の一例）
７５９ｂ  第３の対応領域算出部（第３の対応領域算出手段の一例）
７６０  領域分割部（領域分割手段の一例）
７６２  射影方式逆変換部（射影方式逆変換手段の一例）
７６４  形状変換部（形状変換手段の一例）
７６６  補正パラメータ作成部（補正情報作成手段の一例）
７７０  重畳表示作成部（位置算出手段の一例）
７８２  添付領域作成部（添付領域作成手段の一例）
７８４  補正部（補正手段の一例）
７８６  画像作成部（画像作成手段の一例）
７８８  画像重畳部（画像重畳手段の一例）
７９０  射影変換部（射影変換手段の一例）
５０００  記憶部（記憶手段の一例）
５００１  連携撮影装置ＤＢ（連携撮影装置手段の一例）
７０００  記憶部（記憶手段の一例）
【先行技術文献】
【特許文献】
【０２８２】
【特許文献１】特開２０１６−９６４８７号公報
【図１】
2019175446.tif 000006
【図２】
2019175446.tif 000007
【図３】
2019175446.tif 000008
【図４】
2019175446.tif 000009
【図５】
2019175446.tif 000010
【図６】
2019175446.tif 000011
【図７】
2019175446.tif 000012
【図８】
2019175446.tif 000013
【図９】
2019175446.tif 000014
【図１０】
2019175446.tif 000015
【図１１】
2019175446.tif 000016
【図１２】
2019175446.tif 000017
【図１３】
2019175446.tif 000018
【図１４】
2019175446.tif 000019
【図１５】
2019175446.tif 000020
【図１６】
2019175446.tif 000021
【図１７】
2019175446.tif 000022
【図１８】
2019175446.tif 000023
【図１９】
2019175446.tif 000024
【図２０】
2019175446.tif 000025
【図２１】
2019175446.tif 000026
【図２２】
2019175446.tif 000027
【図２３】
2019175446.tif 000028
【図２４】
2019175446.tif 000029
【図２５】
2019175446.tif 000030
【図２６】
2019175446.tif 000031
【図２７】
2019175446.tif 000032
【図２８】
2019175446.tif 000033
【図２９】
2019175446.tif 000034
【図３０】
2019175446.tif 000035
【図３１】
2019175446.tif 000036
【図３２】
2019175446.tif 000037
【図３３】
2019175446.tif 000038
【図３４】
2019175446.tif 000039
【図３５】
2019175446.tif 000040
【図３６】
2019175446.tif 000041
【図３７】
2019175446.tif 000042
【図３８】
2019175446.tif 000043
【図３９】
2019175446.tif 000044
【図４０】
2019175446.tif 000045
【図４１】
2019175446.tif 000046