(57)【要約】      （修正有）【課題】全天球画像等の第１の画像の一部の領域に、全天球画像とは別に撮影することで得られた平面画像等の第２の画像を重畳する場合に、両画像の明るさ又は色が異なっていても、第２の画像を第１の画像に上手く溶け込ませる画像処理を提供する。【解決手段】通信端末は、補正部が、所定領域において重畳画像の領域の面積が占める割合に応じて、重畳画像の明るさ値と色値のうち少なくとも一方を補正する。【選択図】図１９
2018109971.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像に第２の画像が重畳された状態で、前記第１の画像の所定領域を示す所定領域画像を表示する表示制御手段と、
前記所定領域において前記第２の画像の領域の面積が占める割合に応じて、前記第２の画像の明るさ値と色値のうち少なくとも一方を補正する補正手段と、
を有することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、更に、
前記第１の画像において前記所定領域の位置と範囲の少なくとも一方の変更を受け付ける受付手段を有し、
前記受付手段による変更の受け付けによって、前記所定領域において前記第２の画像の領域の面積が占める割合が変更された場合には、前記補正手段は、当該変更された後の割合に応じて、前記補正を行うことを特徴とする画像処理装置。
【請求項３】
前記補正手段は、前記所定領域における前記第２の画像の領域の面積が占める割合が小さいほど、前記第２の画像の明るさ値を前記所定領域画像の明るさ値に近づけるように前記補正を行う、又は前記第２の画像の色値を前記所定領域画像の色値に近づけるように前記補正を行うことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記補正手段は、前記所定領域における前記第２の画像の領域の面積が占める割合が大きいほど、前記第２の画像の明るさ値を補正しない明るさ値に近づけるように前記補正を抑制すること、又は前記第２の画像の色値を補正しない色値に近づけるように前記補正を抑制することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項５】
前記第１の画像は第１の射影方式によって得られた第１の射影画像に基づいて作成され、前記第２の画像は前記第１の射影方式とは異なる射影方式である第２の射影方式によって得られた第２の射影画像に基づいて作成された請求項１乃至４のいずれか一項に記載の画像処理装置であって、
前記補正手段は、前記第２の射影画像の明るさ値を前記第１の射影画像の明るさ値に合わせる前記補正を行う、又は前記第２の射影画像の色値を前記第１の射影画像の色値に合わせる前記補正を行なうことにより、補正画像を作成し、
前記補正手段は、前記補正画像を補正の最大とし、補正されていない前記第２の射影画像を補正の最小とすることで、前記所定領域において前記第２の画像の領域の面積が占める割合に応じて、前記補正画像と前記第２の射影画像との明るさ値の合成を変更すること
を特徴とする画像処理装置。
【請求項６】
前記補正手段は、前記第２の画像の領域の中心点及び当該第２の画像の領域の範囲を特定する画角に対する、前記所定領域の中心点及び当該所定領域の範囲を特定する画角に基づいて、前記所定領域において前記第２の画像の領域の面積が占める割合を算出することを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
【請求項７】
前記第１の射影画像は正距円筒射影画像であり、前記第２の射影画像は透視射影画像であることを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
【請求項８】
前記第１の画像は全天球画像であり、前記第２の画像は平面画像であることを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
【請求項９】
第１の画像に第２の画像が重畳された状態で、前記第１の画像の所定領域を示す所定領域画像を表示する表示制御手段と、
前記所定領域において前記第２の画像の領域の面積が占める割合に応じて、前記第２の画像の明るさ値と色値のうち少なくとも一方を補正する補正手段と、
を有することを特徴とする画像処理システム。
【請求項１０】
被写体を撮像し、第１の射影方式によって作成した第１の射影画像を前記画像処理装置に送信する特殊撮影装置と、
被写体を撮像し、前記第２の射影方式によって作成した前記第２の射影画像を前記画像処理装置に送信する一般撮影装置と、
前記第１の射影画像に基づいて前記第１の画像を作成し、前記第２の射影画像に基づいて前記第２の画像を作成する請求項１乃至８のいずれか一項に記載の画像処理装置と、
を有することを特徴とする撮影システム。
【請求項１１】
第１の画像に第２の画像が重畳された状態で、前記第１の画像の所定領域を示す所定領域画像を表示する表示制御ステップと、
前記所定領域において前記第２の画像の領域の面積が占める割合に応じて、前記第２の画像の明るさ値と色値のうち少なくとも一方を補正する補正ステップと、
を実行することを特徴とする画像処理方法。
【請求項１２】
コンピュータに、請求項１１に記載の方法を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示内容は、画像処理装置、画像処理システム、撮影システム、画像処理方法、及びプログラムに関するものである。
【背景技術】
【０００２】
従来、広角の平面画像のうちの一部の領域に、広角の平面画像とは別に撮影することで得られた拡大の平面画像を嵌め込むことで、上記一部の領域を拡大しても鮮明な画像を表示することができる技術が開示されている（特許文献１参照）。
【０００３】
ところで、近年、一度の撮影で、３６０°の全天球画像の元になる２つの半球画像データを得る特殊なデジタルカメラが提供されている（特許文献２参照）。このデジタルカメラは、２つの半球画像データに基づいて１つの正距円筒射影画像データを作成し、スマートフォン等の通信端末に正距円筒射影画像データを送信する。正距円筒射影画像データを得た通信端末は、正距円筒射影画像データに基づいて全天球画像を作成する。但し、そのままでは画像が湾曲して利用者が見えづらいため、通信端末に全天球画像の一部の所定領域を示す所定領域画像を表示させることで、利用者は一般のデジタルカメラで撮影された平面画像と同じ感覚で閲覧することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、全天球画像等の第１の画像の一部の領域に、全天球画像とは別に撮影することで得られた平面画像等の第２の画像を重畳しようとしても、両画像の明るさ又は色が異なる場合が生じるため、第２の画像が第１の画像に上手く溶け込むことができないという課題が生じる。
【課題を解決するための手段】
【０００５】
請求項１に係る発明は、第１の画像に第２の画像が重畳された状態で、前記第１の画像の所定領域を示す所定領域画像を表示する表示制御手段と、前記所定領域において前記第２の画像の領域の面積が占める割合に応じて、前記第２の画像の明るさ値と色値のうち少なくとも一方を補正する補正手段と、を有することを特徴とするである。
【発明の効果】
【０００６】
以上説明したように本発明によれば、第１の画像に第２の画像を重畳した場合に、上手く溶け込むことができないという課題を解決することができる。
【図面の簡単な説明】
【０００７】
【図１】（ａ）は特殊撮影装置の左側面図であり、（ｂ）は特殊撮影装置の背面図であり、（ｃ）は特殊撮影装置の平面図であり、（ｄ）は特殊撮影装置の底面図である。
【図２】特殊撮影装置の使用イメージ図である。
【図３】（ａ）は特殊撮影装置で撮影された半球画像（前）、（ｂ）は特殊撮影装置で撮影された半球画像（後）、（ｃ）は正距円筒図法により表された画像を示した図である。
【図４】（ａ）は正距円筒射影画像で球を被う状態を示した概念図、（ｂ）は全天球画像を示した図である。
【図５】全天球画像を３次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。
【図６】（ａ）は図５の立体斜視図、（ｂ）は通信端末のディスプレイに所定領域の画像が表示されている状態を示す図である。
【図７】所定領域情報と所定領域Ｔの画像との関係を示した図である。
【図８】本発明の第１の実施形態に係る撮影システムの概略図である。Ａ
【図９】アダプタの斜視図である。
【図１０】撮影システムの使用イメージ図である。
【図１１】特殊撮影装置のハードウェア構成図である。
【図１２】一般撮影装置のハードウェア構成図である。
【図１３】スマートフォンのハードウェア構成図である。
【図１４】第１の実施形態に係る撮影システムの機能ブロック図である。
【図１５】（ａ）は連携撮影装置管理テーブルの概念図、（ｂ）連携撮影装置設定画面を示す概念図である。
【図１６】第１の実施形態に係る画像・音処理部の詳細な機能ブロック図である。
【図１７】重畳表示メタデータの構成図である。
【図１８】（ａ）は第２の対応領域における各格子領域を示した概念図、（ｂ）は第３の対応領域における各格子領域を示した概念図である。
【図１９】第１の実施形態に係る撮影方法を示したシーケンス図である。
【図２０】重畳表示パラメータの作成処理の過程における画像の概念図である。
【図２１】周辺領域画像を特定する際の概念図である。
【図２２】第２の対応領域を複数の格子領域に分割する際の概念図である。
【図２３】正距円筒射影画像ＥＣにおいて第３の対応領域を示す概念図である。
【図２４】補正パラメータの作成処理の過程における画像の概念図である。
【図２５】重畳の処理の課程における画像の概念図である。
【図２６】全天球画像に平面画像を重畳した場合の二次元の概念図である。
【図２７】全天球画像に平面画像を重畳した場合の三次元の概念図である。
【図２８】本実施形態の位置パラメータを用いずに、全天球画像に平面画像を重畳した場合の二次元の概念図である。
【図２９】本実施形態の位置パラメータを用いて、全天球画像に平面画像を重畳した場合の二次元の概念図である。
【図３０】（ａ）重畳表示しない場合のワイド画像の表示例、（ｂ）重畳表示しない場合のテレ画像の表示例、（ｃ）重畳表示する場合のワイド画像の表示例、（ｄ）重畳表示する場合のテレ画像の表示例を示した概念図である。
【図３１】本発明の第２の実施形態に係る撮影システムの概略図である。
【図３２】画像処理サーバのハードウェア構成図である。
【図３３】第２の実施形態に係る撮影システムの機能ブロック図である。
【図３４】第２の実施形態に係る画像・音処理部の詳細な機能ブロック図である。
【図３５】第２の実施形態に係る撮影方法を示したシーケンス図である。
【図３６】補正処理の課程における画像の概念図である。
【図３７】平面画像の明るさ及び色を補正した場合と、明るさ及び色を補正しなかった場合の所定領域画像を示す図である。
【図３８】所定領域画像における重畳画像の占める割合に応じて明るさ値及び色値の補正の程度を示した重畳画像を示す図である。
【図３９】所定領域画像における重畳画像の占める割合に応じて色補正した重畳画像を含む所定領域画像を示す図ある。
【図４０】所定領域と重畳画像の領域との関係を示した図である。
【図４１】所定領域画像の範囲を示した図である。
【図４２】他の補正処理の過程における画像の概念図である。
【発明を実施するための形態】
【０００８】
以下、図面を用いて、本発明の実施形態について説明する。なお、後述の全天球画像は第１の画像の一例であり、重畳画像は第２の画像の一例である。周辺領域画像は第３の画像の一例である。
【０００９】
〔実施形態の概要〕
以下、本実施形態の概要について説明する。
【００１０】
まずは、図１乃至図７を用いて、全天球画像の生成方法について説明する。
【００１１】
まず、図１を用いて、特殊撮影装置１の外観を説明する。特殊撮影装置１は、全天球（３６０°）パノラマ画像の元になる撮影画像を得るためのデジタルカメラである。なお、図１（ａ）は特殊撮影装置の左側面図であり、図１（ｂ）は特殊撮影装置の背面図であり、図１（ｃ）は特殊撮影装置の平面図であり、図１（ｄ）は特殊撮影装置の底面図である。
【００１２】
図１（ａ），図１（ｂ），図１（ｃ），図（ｄ）に示されているように、特殊撮影装置１の上部には、正面側（前側）に魚眼型のレンズ１０２ａ及び背面側（後側）に魚眼型のレンズ１０２ｂが設けられている。特殊撮影装置１の内部には、後述の撮像素子（画像センサ）１０３ａ，１０３ｂが設けられており、それぞれレンズ１０２ａ、１０２ｂを介して被写体や風景を撮影することで、半球画像（画角１８０°以上）を得ることができる。特殊撮影装置１の正面側と反対側の面には、シャッターボタン１１５ａが設けられている。また、特殊撮影装置１の側面には、電源ボタン１１５ｂ、Wi-Fi(Wireless Fidelity)ボタン１１５ｃ、及び撮影モード切替ボタン１１５ｄが設けられている。電源ボタン１１５ｂ、及びWi-Fiボタン１１５ｃは、いずれも押下される度に、オンとオフが切り替えられる。また、撮影モード切替ボタン１１５ｄは、押下される度に、静止画の撮影モードと動画の撮影モードが切り替えられる。なお、シャッターボタン１１５ａ、電源ボタン１１５ｂ、Wi-Fiボタン１１５ｃ、及び撮影モード切替ボタン１１５ｄは、操作部１１５の一部であり、操作部１１５は、これらのボタンに限られない。
【００１３】
また、特殊撮影装置１の底部１５０の中央には、カメラ用三脚に特殊撮影装置１や一般撮影装置３を取り付けるための三脚ねじ穴１５１が設けられている。また、底部１５０の左端側には、Micro USB(Universal Serial Bus)端子１５２が設けられている。底部１５０の右端側には、HDMI(High-Definition Multimedia Interface)端子１５３が設けられている。なお、HDMIは登録商標である。
【００１４】
次に、図２を用いて、特殊撮影装置１の使用状況を説明する。なお、図２は、特殊撮影装置の使用イメージ図である。特殊撮影装置１は、図２に示されているように、例えば、利用者が手に持って利用者の周りの被写体を撮影するために用いられる。この場合、図１に示されている撮像素子１０３ａ及び撮像素子１０３ｂによって、それぞれ利用者の周りの被写体が撮像されることで、２つの半球画像を得ることができる。
【００１５】
次に、図３及び図４を用いて、特殊撮影装置１で撮影された画像から正距円筒射影画像ＥＣ及び全天球画像ＣＥが作成されるまでの処理の概略を説明する。なお、図３（ａ）は特殊撮影装置１で撮影された半球画像（前側）、図３（ｂ）は特殊撮影装置で撮影された半球画像（後側）、図３（ｃ）は正距円筒図法により表された画像（以下、「正距円筒射影画像」という）を示した図である。図４（ａ）は正距円筒射影画像で球を被う状態を示した概念図、図４（ｂ）は全天球画像を示した図である。
【００１６】
図３（ａ）に示されているように、撮像素子１０３ａによって得られた画像は、後述の魚眼レンズ１０２ａによって湾曲した半球画像（前側）となる。また、図３（ｂ）に示されているように、撮像素子１０３ｂによって得られた画像は、後述の魚眼レンズ１０２ｂによって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは、特殊撮影装置１によって合成され、図３（ｃ）に示されているように、正距円筒射影画像ＥＣが作成される。
【００１７】
そして、OpenGL ES（Open Graphics Library for Embedded Systems）が利用されることで、図４（ａ）に示されているように、正距円筒射影画像が球面を覆うように貼り付けられ、図４（ｂ）に示されているような全天球画像ＣＥが作成される。このように、全天球画像ＣＥは、正距円筒射影画像ＥＣが球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2-Dimensions)および３Ｄ(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球画像ＣＥは、静止画であっても動画であってもよい。
【００１８】
以上のように、全天球画像ＣＥは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球画像ＣＥの一部の所定領域（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図５及び図６を用いて説明する。
【００１９】
なお、図５は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球画像ＣＥに対して、その画像を見るユーザの視点の位置に相当するものである。また、図６（ａ）は図５の立体斜視図、図６（ｂ）はディスプレイに表示された場合の所定領域画像を表す図である。また、図６（ａ）では、図４に示されている全天球画像ＣＥが、三次元の立体球ＣＳで表わされている。このように生成された全天球画像ＣＥが、立体球ＣＳであるとすると、図５に示されているように、仮想カメラＩＣが全天球画像ＣＥの内部に位置している。全天球画像ＣＥにおける所定領域Ｔは、仮想カメラＩＣの撮影領域であり、全天球画像ＣＥを含む三次元の仮想空間における仮想カメラＩＣの撮影方向と画角を示す所定領域情報によって特定される。
【００２０】
そして、図６（ａ）に示されている所定領域画像Ｑは、図６（ｂ）に示されているように、所定のディスプレイに、仮想カメラＩＣの撮影領域の画像として表示される。図６（ｂ）に示されている画像は、初期設定（デフォルト）された所定領域情報によって表された所定領域画像である。以下では、仮想カメラＩＣの撮影方向（ea，aa）と画角（α）を用いて説明する。
【００２１】
図７を用いて、所定領域情報と所定領域Ｔの画像の関係について説明する。なお、図７は、所定領域情報と所定領域Ｔの画像の関係との関係を示した図である。図７に示されているように、「ea」はelevation angle、「aa」はazimuth angle、「α」は画角(Angle)を示す。即ち、撮影方向（ea，aa）で示される仮想カメラＩＣの注視点が、仮想カメラＩＣの撮影領域である所定領域Ｔの中心点ＣＰとなるように、仮想カメラＩＣの姿勢を変更することになる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。ｆは仮想カメラＩＣから中心点ＣＰまでの距離である。Ｌは所定領域Ｔの任意の頂点と中心点ＣＰとの距離である（２Ｌは対角線）。そして、図７では、一般的に以下の（式１）で示される三角関数が成り立つ。
【００２２】
Ｌ／ｆ＝ｔａｎ（α／２）・・・（式１）
〔第１の実施形態〕
続いて、図８乃至図３０を用いて、本発明の第１の実施形態について説明する。
【００２３】
＜撮影システムの概略＞
まずは、図８を用いて、本実施形態の撮影システムの構成の概略について説明する。図８は、本実施形態の撮影システムの構成の概略図である。
【００２４】
図８に示されているように、本実施形態の撮影システムは、特殊撮影装置１、一般撮影装置３、スマートフォン５、及びアダプタ９によって構成されている。特殊撮影装置１はアダプタ９を介して一般撮影装置３に接続されている。
【００２５】
これらのうち、特殊撮影装置１は、上述のように、被写体や風景等を撮影して全天球（パノラマ）画像の元になる２つの半球画像を得るための特殊なデジタルカメラである。
【００２６】
一般撮影装置３は、デジタル一眼レフカメラであるが、コンパクトデジタルカメラであってもよい。一般撮影装置３には、後述の操作部３１５の一部であるシャッターボタン３１５ａが設けられている。
【００２７】
スマートフォン５は、Wi-Fi、Bluetooth（登録商標）、NFC（Near Field Communication）等の近距離無線通信技術を利用して、特殊撮影装置１及び一般撮影装置３と無線通信を行なうことができる。また、スマートフォン５では、自装置に設けられた後述のディスプレイ５１７に、特殊撮影装置１及び一般撮影装置３からそれぞれ取得した画像を表示することができる。
【００２８】
なお、スマートフォン５は、近距離無線通信技術を利用せずに、有線ケーブルによって特殊撮影装置１及び一般撮影装置３と通信を行なうようにしてもよい。また、スマートフォン５は、画像処理装置の一例であり、画像処理装置には、タブレット型ＰＣ（Personal Computer：パーソナルコンピュータ）、ノートＰＣ、デスクトップＰＣも含まれる。なお、スマートフォンは、後述の通信端末の一例でもある。
【００２９】
また、図９は、アダプタの斜視図である。図９に示されているように、アダプタ９は、シューアダプタ９０１、ボルト９０２、上部アジャスタ９０３、及び下部アジャスタ９０４によって構成されている。これらのうち、シューアダプタ９０１は、一般撮影装置３のアクセサリシューにスライドして取り付けられる。このシューアダプタ９０１の中心に、三脚ねじ穴１５１に回転して取り付けられるボルト９０２が設けられている。このボルト９０２には、回転可能に、上部アジャスタ９０３及び下部アジャスタ９０４が設けられている。上部アジャスタ９０３は、ボルト９０２に取り付けた物（例えば、特殊撮影装置１）を固定する役割を果たす。下部アジャスタ９０４は、シューアダプタ９０１を取り付けた物（例えば、一般撮影装置３）を固定する役割を果たす。
【００３０】
図１０は、撮影システムの使用イメージ図である。図１０に示されているように、利用者は、スマートフォン５を衣服のポケットに入れ、アダプタ９を用いて特殊撮影装置１を取り付けた一般撮影装置３で被写体等の撮影を行なう。なお、スマートフォン５は、衣服のポケットに入れずに、特殊撮影装置１や一般撮影装置３と無線通信可能な範囲に置いてもよい。
【００３１】
＜＜実施形態のハードウェア構成＞＞
次に、図１１及び図１３を用いて、本実施形態の特殊撮影装置１、一般撮影装置３及びスマートフォン５のハードウェア構成を詳細に説明する。
【００３２】
＜特殊撮影装置のハードウェア構成＞
まず、図１１を用いて、特殊撮影装置１のハードウェア構成を説明する。図１１は、特殊撮影装置１のハードウェア構成図である。以下では、特殊撮影装置１は、２つの撮像素子を使用した全天球（全方位）特殊撮影装置とするが、撮像素子は２つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位の撮像ユニットを取り付けることで、実質的に特殊撮影装置１と同じ機能を有するようにしてもよい。
【００３３】
図１１に示されているように、特殊撮影装置１は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、アンテナ１１７ａ、及び電子コンパス１１８、ジャイロセンサ１１９、加速度センサ１２０、及び端子１２１によって構成されている。
【００３４】
このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子１０３ａ，１０３ｂを備えている。撮像素子１０３ａ，１０３ｂは、魚眼レンズ１０２ａ，１０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。
【００３５】
撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４とパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、撮像制御ユニット１０５とは、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４、撮像制御ユニット１０５及び音処理ユニット１０９は、バス１１０を介してＣＰＵ１１１と接続される。さらに、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及び電子コンパス１１８なども接続される。
【００３６】
画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図３（ｃ）に示されているような正距円筒射影画像のデータを作成する。
【００３７】
撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。
【００３８】
また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。特殊撮影装置１によっては、ディスプレイ（例えば、スマートフォン５のディスプレイ５１７）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。
【００３９】
また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、特殊撮影装置１にはディスプレイが設けられていないが、表示部を設けてもよい。
【００４０】
マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。
【００４１】
ＣＰＵ１１１は、特殊撮影装置１の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。
【００４２】
操作部１１５は、シャッターボタン１１５ａなどの操作ボタンの総称である。ユーザは操作部１１５を操作することで、種々の撮影モードや撮影条件などを入力する。
【００４３】
ネットワークＩ／Ｆ１１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ１１６としては、無線、有線を問わない。ＤＲＡＭ１１４に記憶された正距円筒射影画像のデータは、このネットワークＩ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／Ｆ１１６を介してスマートフォン５等の外部端末（装置）に送信されたりする。
【００４４】
通信部１１７は、特殊撮影装置１に設けられたアンテナ１１７ａを介して、Wi-Fi、NFC、Bluetooth等の近距離無線通信技術によって、スマートフォン５等の外部端末（装置）と通信を行う。この通信部１１７によっても、正距円筒射影画像のデータをスマートフォン５等の外部端末（装置）に送信することができる。
【００４５】
電子コンパス１１８は、地球の磁気から特殊撮影装置１の方位を算出し、方位情報を出力する。この方位情報はExifに沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。
【００４６】
ジャイロセンサ１１９は、全天球カメラ２０の移動に伴う角度の変化（Roll角、Pitch角、Yaw角）を検出するセンサである。角度の変化はExifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。
【００４７】
加速度センサ１２０は、３軸方向の加速度を検出するセンサである。特殊撮影装置３は、加速度センサ１２０が検出した加速度に基づいて、自装置（特殊撮影装置３）の姿勢（重力方向に対する角度）を算出する。特殊撮影装置３に、ジャイロセンサ１１９と加速度センサ１２０の両方が設けられることによって、画像補正の精度が向上する。
【００４８】
端子１２１は、Micro USB用の凹状の端子である。
【００４９】
＜一般撮影装置のハードウェア構成＞
次に、図１２を用いて、一般撮影装置のハードウェアについて説明する。図１２は、一般撮影装置３のハードウェア構成図である。図１２に示されているように、一般撮影装置３は、撮像ユニット３０１、画像処理ユニット３０４、撮像制御ユニット３０５、マイク３０８、音処理ユニット３０９、バス３１０、ＣＰＵ３１１、ＲＯＭ３１２、ＳＲＡＭ３１３、ＤＲＡＭ３１４、操作部３１５、ネットワークＩ／Ｆ３１６、通信部３１７、アンテナ３１７ａ、電子コンパス３１８、及びディスプレイ３１９によって構成されている。画像処理ユニット３０４及び撮像制御ユニット３０５は、バス３１０を介してＣＰＵ３１１と接続される。
【００５０】
各構成３０４、３１０、３１１、３１２、３１３、３１４、３１５、３１６、３１７、３１７ａ、３１８は、それぞれ、図１１の特殊撮影装置１における各構成１０４、１１０、１１１、１１２、１１３、１１４、１１５、１１６、１１７、１１７ａ、１１８と同様の構成であるため、その説明を省略する。
【００５１】
更に、一般撮影装置３の撮影ユニット３０１は、図１２に示されているように、撮像素子３０３の前面にレンズユニット３０６、及びメカニカルシャッタ３０７が外部から撮像素子３０３の方向に順に設けられている。
【００５２】
撮像制御ユニット３０５は、基本的に撮像制御ユニット１０５と同様の構成及び処理を行なうが、更に、操作部３１５によって受け付けられた利用者の操作に基づいて、レンズユニット３０６、及びメカニカルシャッタ３０７の駆動を制御する。
【００５３】
また、ディスプレイ３１９は、操作メニュー、撮影中又は撮影後の画像を表示させる表示手段の一例である。
【００５４】
＜スマートフォンのハードウェア構成＞
次に、図１３を用いて、スマートフォンのハードウェアについて説明する。図１３は、スマートフォンのハードウェア構成図である。図１３に示されているように、スマートフォン５は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＥＥＰＲＯＭ５０４、ＣＭＯＳセンサ５０５、撮像素子Ｉ／Ｆ５１３ａ、加速度・方位センサ５０６、メディアＩ／Ｆ５０８、ＧＰＳ受信部５０９を備えている。
【００５５】
これらのうち、ＣＰＵ５０１は、スマートフォン５全体の動作を制御する。ＲＯＭ５０２は、ＣＰＵ５０１やＩＰＬ(Initial Program Loader)等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＥＥＰＲＯＭ５０４は、ＣＰＵ５０１の制御にしたがって、スマートフォン用プログラム等の各種データの読み出し又は書き込みを行う。ＣＭＯＳセンサ５０５は、ＣＰＵ５０１の制御に従って被写体（主に自画像）を撮像し画像データを得る。撮像素子Ｉ／Ｆ５１３ａは、ＣＭＯＳセンサ５１２の駆動を制御する回路である。加速度・方位センサ５０６は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ５０８は、フラッシュメモリ等の記録メディア５０７に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部５０９は、ＧＰＳ衛星からＧＰＳ信号を受信する。
【００５６】
また、スマートフォン５は、遠距離通信回路５１１、アンテナ５１１ａ、ＣＭＯＳセンサ５１２、撮像素子Ｉ／Ｆ５１３ｂ、マイク５１４、スピーカ５１５、音入出力Ｉ／Ｆ５１６、ディスプレイ５１７、外部機器接続Ｉ／Ｆ５１８、近距離通信回路５１９、近距離通信回路５１９のアンテナ５１９ａ、及びタッチパネル５２１を備えている。
【００５７】
これらのうち、遠距離通信回路５１１は、後述の通信ネットワーク１００を介して、他の機器と通信する回路である。ＣＭＯＳセンサ５１２は、ＣＰＵ５０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ５１３ｂは、ＣＭＯＳセンサ５１２の駆動を制御する回路である。マイク５１４は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ５１６は、ＣＰＵ５０１の制御に従ってマイク５１４及びスピーカ５１５との間で音信号の入出力を処理する回路である。ディスプレイ５１７は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬなどの表示手段の一種である。外部機器接続Ｉ／Ｆ５１８は、各種の外部機器を接続するためのインターフェースである。近距離通信回路５１９は、Wi-Fi、NFC、Bluetooth等の通信回路である。タッチパネル５２１は、利用者がディスプレイ５１７を押下することで、スマートフォン５を操作する入力手段の一種である。
【００５８】
また、スマートフォン５は、バスライン５１０を備えている。バスライン５１０は、ＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【００５９】
なお、上記各プログラムが記憶されたＨＤ(Hard Disk)やＣＤ−ＲＯＭ等の記録媒体は、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。
【００６０】
＜＜実施形態の機能構成＞＞
次に、図１１乃至図１４を用いて、本実施形態の機能構成について説明する。図１４は、本実施形態の撮影システムの一部を構成する、特殊撮影装置１、一般撮影装置３、及びスマートフォン５の各機能ブロック図である。
【００６１】
＜特殊撮影装置の機能構成＞
まず、図１１及び図１４を用いて、特殊撮影装置１の機能構成について詳細に説明する。図１４に示されているように、特殊撮影装置１は、受付部１２、撮像部１３、集音部１４、画像・音処理部１５、判断部１７、近距離通信部１８、及び記憶・読出部１９を有している。これら各部は、図１１に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された特殊撮影装置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能又は手段である。
【００６２】
また、特殊撮影装置１は、図１１に示されているＲＯＭ１１２、ＳＲＡＭ１１３、及びＤＲＡＭ１１４によって構築される記憶部１０００を有している。
【００６３】
（特殊撮影装置の各機能構成）
次に、図１１及び図１４を用いて、特殊撮影装置１の各機能構成について更に詳細に説明する。
【００６４】
特殊撮影装置１の受付部１２は、主に、図１１に示されている操作部１１５及びＣＰＵ１１１の処理によって実現され、利用者からの操作入力を受け付ける。
【００６５】
撮像部１３は、主に、図１１に示されている撮像ユニット１０１、画像処理ユニット１０４、及び撮像制御ユニット１０５、並びにＣＰＵ１１１の処理によって実現され、被写体や風景等を撮像し、撮影画像データを得る。この撮影画像データは、図３（ａ），（ｂ）に示されているように、全天球画像データの元になる２つの半球画像データである。
【００６６】
集音部１４は、図１１に示されている１０８及び音処理ユニット１０９、並びにＣＰＵ１１１の処理によって実現され、特殊撮影装置１の周囲の音を集音する。
【００６７】
画像・音処理部１５は、主にＣＰＵ１１１からの命令によって実現され、撮影部１３によって得られた撮影画像データ、又は集音部１４によって得られた音データに対して、各種処理を行なう。例えば、画像・音処理部１５は、２つの撮像素子１０３ａ，１０３ｂのそれぞれによって得られた２つの半球画像データ（図３（ａ），（ｂ）参照）に基づいて、正距円筒射影画像データ（図３（ｃ）参照）を作成する。
【００６８】
判断部１７は、ＣＰＵ１１１の処理によって実現され、各種判断を行なう。
【００６９】
近距離通信部１８は、主に、ＣＰＵ１１１の処理、並びに通信部１１７及びアンテナ１１７ａによって実現され、スマートフォン５の近距離通信部５８等と、Wi-Fi等による近距離無線通信技術によって通信することができる。
【００７０】
記憶・読出部１９は、主に、図１１に示されているＣＰＵ１１１の処理によって実現され、記憶部１０００に各種データ（または情報）を記憶したり、記憶部１０００から各種データ（または情報）を読み出したりする。
【００７１】
＜一般撮影装置の機能構成＞
続いて、図１２及び図１４を用いて、一般撮影装置３の機能構成について詳細に説明する。図１４に示されているように、一般撮影装置３は、受付部３２、撮像部３３、集音部３４、画像・音処理部３５、表示制御部３６、判断部３７、近距離通信部３８、及び記憶・読出部３９を有している。これら各部は、図１２に示されている各構成要素のいずれかが、ＳＲＡＭ３１３からＤＲＡＭ３１４上に展開された特殊撮影装置用のプログラムに従ったＣＰＵ３１１からの命令によって動作することで実現される機能又は手段である。
【００７２】
また、一般撮影装置３は、図１２に示されているＲＯＭ３１２、ＳＲＡＭ３１３、及びＤＲＡＭ３１４によって構築される記憶部３０００を有している。
【００７３】
（一般撮影装置の各機能構成）
一般撮影装置３の受付部３２は、主に、図１２に示されている操作部３１５及びＣＰＵ３１１の処理によって実現され、利用者からの操作入力を受け付ける。
【００７４】
撮像部３３は、主に、図１２に示されている撮像ユニット３０１、画像処理ユニット３０４、及び撮像制御ユニット３０５、並びにＣＰＵ３１１の処理によって実現され、被写体や風景等を撮像し、撮影画像データを得る。この撮影画像データは、透視射影方式で撮影された平面画像データである。
【００７５】
集音部３４は、図１２に示されているマイク３０８及び音処理ユニット３０９、並びにＣＰＵ３１１の処理によって実現され、一般撮影装置３の周囲の音を集音する。
【００７６】
画像・音処理部３５は、主にＣＰＵ３１１からの命令によって実現され、撮影部３３によって得られた撮影画像データ、又は集音部３４によって得られた音データに対して、各種処理を行なう。
【００７７】
表示制御部３６は、図１２に示されているＣＰＵ３１１の処理によって実現され、ディスプレイ３１９に、撮影中又は撮影後の撮影画像データに係る平面画像Ｐを表示させる。
【００７８】
判断部３７は、ＣＰＵ３１１の処理によって実現され、各種判断を行なう。例えば、判断部３７は、利用者によって、シャッターボタン３１５ａが押下されたかを判断する。
【００７９】
近距離通信部３８は、主に、ＣＰＵ３１１、並びに通信部３１７及びアンテナ３１７ａによって実現され、スマートフォン５の近距離通信部５８等と、Wi-Fi等による近距離無線通信技術によって通信することができる。
【００８０】
記憶・読出部３９は、主に、図１２に示されているＣＰＵ３１１の処理によって実現され、記憶部３０００に各種データ（または情報）を記憶したり、記憶部３０００から各種データ（または情報）を読み出したりする。
【００８１】
＜スマートフォンの機能構成＞
次に、図１３乃至図１６を用いて、スマートフォン５の機能構成について詳細に説明する。図１４に示されているように、スマートフォン５は、遠距離通信部５１、受付部５２、撮像部５３、集音部５４、画像・音処理部５５、表示制御部５６、判断部５７、近距離通信部５８、及び記憶・読出部５９を有している。これら各部は、図１３に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ５０４からＲＡＭ５０３上に展開されたスマートフォン５用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。
【００８２】
また、スマートフォン５は、図１３に示されているＲＯＭ５０２、ＲＡＭ５０３、及びＥＥＰＲＯＭ５０４によって構築される記憶部５０００を有している。この記憶部５０００には、連携撮影装置管理ＤＢ５００１が構築されている。この連携撮影装置管理ＤＢ５００１は、図１５（ａ）連携撮影装置管理テーブルによって構成されている。図１５（ａ）は連携撮影装置管理テーブルの概念図である。
【００８３】
（連携撮影装置管理テーブル）
次に、図１５（ａ）を用いて、連携撮影装置管理テーブルについて説明する。図１５（ａ）に示されているように、撮影装置毎に、各撮影装置の連携関係を示す関連関係情報、撮影装置のＩＰアドレス、及び撮影装置の装置名が関連付けて管理されている。このうち、関連関係情報は、自装置のシャッターが押下されることで撮影を開始する一の撮影装置を「メイン」とし、「メイン」の撮影装置でシャッターが押下されることに応じて撮影を開始する他の撮影装置を「サブ」として示している。なお、ＩＰアドレスは、Wi-Fiによる通信の場合であって、ＵＳＢの有線ケーブルを用いた通信の場合には製造者ＩＤ(Identification)及び製品ＩＤに代わり、Bluetoothを用いた無線通信の場合には、ＢＤ(Bluetooth Device Address）に代わる。
【００８４】
（スマートフォンの各機能構成）
スマートフォン５の遠距離通信部５１は、主に、図１３に示されている遠距離通信回路５１１及びＣＰＵ５０１の処理によって実現され、インターネット等の通信ネットワークを介して、他の装置（例えば、他のスマートフォン、サーバ）との間で各種データ（または情報）の送受信を行う。
【００８５】
受付部５２は、主にタッチパネル５２１及びＣＰＵ５０１の処理によって実現され、利用者から各種の選択又は入力を受け付ける。タッチパネル５２１はディスプレイ５１７と共用であってもよい。また、タッチパネル以外の入力手段（ボタン）等でもよい。
【００８６】
撮像部５３は、主に、図１３に示されているＣＭＯＳセンサ５０５，５１２、及びＣＰＵ５０１の処理によって実現され、被写体や風景等を撮像し、撮影画像データを得る。この撮影画像データは、透視射影方式で撮影された平面画像データである。
【００８７】
集音部５４は、図１３に示されているマイク５１４、及びＣＰＵ５０１の処理によって実現され、スマートフォン５の周囲の音を集音する。
【００８８】
画像・音処理部５５は、主にＣＰＵ５０１からの命令によって実現され、撮影部５３によって得られた撮影画像データ、又は集音部５４によって得られた音データに対して、各種処理を行なう。
【００８９】
表示制御部５６は、図１３に示されているＣＰＵ５０１の処理によって実現され、ディスプレイ５１７に、撮像部５３による撮影中又は撮影後の撮影画像データに係る平面画像Ｐを表示させる。また、表示制御部５６は、画像・音処理部５５によって作成された重畳表示メタデータを利用して、後述の平面画像Ｐの各格子領域ＬＡ０を、位置パラメータで示された位置、並びに補正パラメータで示された明るさ値及び色値に合わせることで、全天球画像ＣＥに平面画像Ｐを重畳して表示する。なお、位置パラメータは「位置情報」の一例である。補正パラメータは「補正情報」の一例である。
【００９０】
判断部５７は、図１３に示されているＣＰＵ５０１の処理によって実現され、各種判断を行なう。
【００９１】
近距離通信部５８は、主に、ＣＰＵ５０１の処理、並びに近距離通信回路５１９及びアンテナ５１９ａによって実現され、特殊撮影装置１の近距離通信部１８、一般撮影装置３の近距離通信部３８等と、Wi-Fi等による近距離無線通信技術によって通信することができる。
【００９２】
記憶・読出部５９は、主に、図１３に示されているＣＰＵ５０１の処理によって実現され、記憶部５０００に、重畳表示メタデータ等の各種データ（または情報）を記憶したり、記憶部５０００から重畳表示メタデータ等の各種データ（または情報）を読み出したりする。また、記憶・読出部５９は、記憶部５０００から各種データを取得する取得部の役割を果たす。
【００９３】
（画像・音処理部の詳細な各機能構成）
ここで、図１６を用いて、画像・音処理部５５の各機能構成について詳細に説明する。図１６は、画像・音処理部の詳細な機能ブロック図である。
【００９４】
画像・音処理部５５は、大きく分けて、エンコードを行なうメタデータ作成部５５ａとデコードを行なう重畳部５５ｂを有している。メタデータ作成部５５ａは、図１９に示されている後述のステップＳ２２の処理を実行する。また、重畳部５５ｂは、図１９に示されている後述のステップＳ２３の処理を実行する。
【００９５】
｛メタデータ作成部の各機能構成｝
まずは、メタデータ作成部５５ａの各機能構成について説明する。メタデータ作成部５５ａは、抽出部５５０、第１の対応領域算出部５５２、注視点特定部５５４、射影方式変換部５５６、第２の対応領域算出部５５８、領域分割部５６０、射影方式逆変換部５６２、形状変換部５６４、補正パラメータ作成部５６６、及び重畳表示メタデータ作成部５７０を有している。なお、明るさや色の補正をする必要がない場合、形状変換部５６４及び補正パラメータ作成部５６６は不要である。また、以下に説明する画像や領域を示す符号は図２０に示されている。図２０は、重畳表示パラメータの作成処理の過程における画像の概念図である。
【００９６】
抽出部５５０は、各画像の局所特徴に基づき特徴点を抽出する。局所特徴とはエッジやブロブなど画像内に見られるパターンや構造で、局所特徴を数値化したものが特徴量である。本実施形態では、抽出部５５０は、異なる画像で各特徴点を抽出する。抽出部５５０が用いられる２つの画像は、歪みが著しく大きくない限り、本実施形態のように異なる射影方式であってもよい。例えば、抽出部５５０は、正距円筒射影方式によって得られた長方形の正距円筒射影画像ＥＣと、透視射影方式によって得られた長方形の平面画像Ｐとの間、及び、平面画像Ｐと、射影方式変換部５５６によって変換された後の周辺領域画像ＰＩとの間で用いられる。なお、正距円筒射影方式は第１の射影方式の一例であり、透視射影方式は第２の射影方式の一例である。また、正距円筒射影画像は第１の射影画像の一例であり、平面画像Ｐは第２の射影画像の一例である。
【００９７】
第１の対応領域算出部５５２は、最初に正距円筒射影画像ＥＣにおける複数の特徴点ｆｐ１に基づいた各特徴量ｆｖ１を求めるとともに、平面画像Ｐにおける複数の特徴点ｆｐ２に基づいた各特徴量ｆｖ２を求める。特徴量の記述方法はいくつかの方式が提案されているが、本実施形態においては、スケールや回転に対して不変又は頑強であることが望ましい。第１の対応領域算出部５５２は、続いて算出した正距円筒射影画像ＥＣの複数の特徴点ｆｐ１の特徴量ｆｖ１と、平面画像Ｐにおける複数の特徴点ｆｐ２に対する特徴量ｆｖ２の類似度に基づき画像間の対応点を算出し、算出した画像間の対応点の関係から、正距円筒射影画像ＥＣにおいて、平面画像Ｐに対応するホモグラフィを算出し、このホモグラフィを変換に用いることで、第１のホモグラフィ変換を行なう。その結果、第１の対応領域算出部５５２は、第１の対応領域ＣＡ１を算出する。この場合、平面画像Ｐの４頂点から成る四角形（矩形）の中心点ＣＰ１は、第１のホモグラフィ変換によって、正距円筒射影画像ＥＣにおける注視点ＧＰ１に変換される。
【００９８】
なお、平面画像Ｐの４頂点の頂点座標を、ｐ１＝（ｘ１，ｙ１）、ｐ２＝（ｘ２，ｙ２）、ｐ３＝（ｘ３，ｙ３）、ｐ４＝（ｘ４，ｙ４）とすると、第１の対応領域算出部５５２は、以下に示す（式２）に基づいて、中心点ＣＰ１（ｘ，ｙ）を定めることができる。
【００９９】
【数１】
2018109971.tif 000003
【０１００】
図２０では平面画像Ｐの画像形状が長方形であるが、対角線の交点を用いることによって正方形、台形、菱形等、さまざまな四角形の部分画像に対しても中心座標を算出することができる。平面画像Ｐの画像形状が、長方形、正方形に限定される場合は、計算の省略化のため、対角線の中点を部分画像の中心座標ＰＣとしてよい。対角線Ｐ１Ｐ３の中点の算出する場合の（式３）を以下に示す。
【０１０１】
【数２】
2018109971.tif 000004
【０１０２】
注視点特定部５５４は、平面画像Ｐの中心点ＣＰ１が第１のホモグラフィ変換後に位置する正距円筒射影画像ＥＣ上の点（本実施形態では「注視点」という）を特定する。
【０１０３】
ところで、注視点ＧＰ１の座標は、正距円筒射影画像ＥＣ上の座標であるため、緯度及び経度の表現に変換すると都合が良い。具体的には、正距円筒射影画像ＥＣの垂直方向を−90度(−0.5π)から+90度(+0.5π)の緯度座標として表現し、水平方向を−180度(−π)から+180度(+π)の経度座標として表現する。このようにすることで、緯度・経度座標から、正距円筒射影画像ＥＣの画像サイズに対応した画素位置座標を算出することができる。
【０１０４】
射影方式変換部５５６は、正距円筒射影画像ＥＣ内の注視点ＧＰ１を中心とした周辺領域ＰＡを、平面画像Ｐと同じ透視射影方式に変換することで、周辺領域画像ＰＩを作成する。この場合、注視点ＧＰ１が変換された後の点を中心点ＣＰ２として、平面画像Ｐの対角画角αと同じ画角を垂直画角（又は水平画角）とした場合に特定することができる正方形の周辺領域画像ＰＩを結果的に作成することができるように、射影変換元の周辺領域ＰＡを特定する。以下、更に詳細に説明する。
【０１０５】
（射影方式の変換）
まず、射影方式の変換について説明する。図３乃至図５を用いて説明したように、正距円筒射影画像ＥＣによって立体球ＣＳを被うことで、全天球画像ＣＥを作成している。よって、正距円筒射影画像ＥＣの各画素データは、３次元の全天球画像の立体球ＣＳの表面における各画素データに対応させることができる。そこで、射影方式変換部５５６による変換式は、正距円筒射影画像ＥＣにおける座標を(緯度，経度)＝（ｅａ，ａａ）と表現し、３次元の立体球ＣＳ上の座標を直行座標（ｘ，ｙ，ｚ）で表わすと、以下の（式４）で表わすことができる。
(x, y, z) = (cos(ea) × cos(aa),  cos(ea) × sin(aa),  sin(ea))  ・・・(式４)
但し、このときの立体球ＣＳの半径は１とする。
【０１０６】
一方で、透過射影画像である平面画像Ｐは２次元画像であるが、これを２次元の極座標（動径，偏角）＝（ｒ，ａ）で表現すると、動径ｒは対角画角αに対応し、取り得る範囲は0 ≦ r ≦ tan(対角画角/2)となる。また、平面画像Ｐを２次元の直交座標系（ｕ，ｖ）で表わすと、極座標（動径，偏角）＝（ｒ，ａ）との変換関係は、以下の（式５）で表わすことができる。
u = r × cos(a),  v = r × sin(a)  ・・・(式５)
次に、この（式５）を３次元の座標（動径，極角，方位角）に対応させることを考える。今、立体球ＣＳの表面のみを考えているため、３次元極座標における動径は「１」である。また、立体球ＣＳの表面に張り付けた正距円筒射影画像ＥＣを透視射影変換する射影は、立体球ＣＳの中心に仮想カメラＩＣがあると考えると、上述の２次元極座標（動径，偏角）＝（ｒ，ａ）を使うと、以下の（式６）、（式７）で表わすことができる。
r = tan(極角)  ・・・（式６）
a = 方位角  ・・・（式７）
ここで極角をtすると、t = arctan(r)となるため、３次元極座標（動径、極角、方位角)は、(動径、極角、方位角)＝(1, arctan(r), a)と表現することができる。
【０１０７】
また３次元極座標から、直行座標系（ｘ，ｙ，ｚ）へ変換するための変換式は、以下の（式８）で表わすことができる。
(x, y, z) = (sin(t) × cos(a),  sin(t) × sin(a), cos(t))  ・・・（式８）
上記の（式８）により、正距円筒射影方式による正距円筒射影画像ＥＣと、透視射影方式による平面画像Ｐの相互変換ができるようになった。即ち、作成すべき平面画像Ｐの対角画角αに対応する動径rを用いることで、平面画像Ｐの各画素が、正距円筒射影画像ＥＣのどの座標に対応するかを表す変換マップ座標を算出でき、この変換マップ座標に基づいて、正距円筒射影画像ＥＣから、透視射影画像である周辺領域画像ＰＩを作成することができる。
【０１０８】
ところで、上記射影方式の変換は、正距円筒射影画像ＥＣの（緯度，経度）が（９０°，０°)となる位置が、透視射影画像である周辺領域画像ＰＩの中心点ＣＰ２となるような変換を示している。そこで、正距円筒射影画像ＥＣの任意の点を注視点として透視射影変換をする場合は、正距円筒射影画像ＥＣを貼り付けた立体球ＣＳを回転させることで、注視点の座標(緯度、経度)が（９０°,０°）の位置に配置されるような座標回転を行えば良い。
【０１０９】
この立体球ＣＳの回転に関する変換公式は、一般の座標回転公式であるため、説明を省略する。
【０１１０】
（周辺領域画像の特定）
次に、図２１を用いて、周辺領域画像ＰＩの領域を特定する方法について説明する。なお、図２１は、周辺領域画像を特定する際の概念図である。
【０１１１】
対応領域算出部５５２が、平面画像Ｐと周辺領域画像ＰＩの対応関係を判断するにあたって、周辺領域画像ＰＩ内に第２の対応領域ＣＡ２ができるだけ広く含まれていることが望ましい。よって、周辺領域画像ＰＩを広い領域に設定すれば、第２の対応領域ＣＡ２を含まないという事態は生じない。しかし、周辺領域画像ＰＩを、あまりにも広い領域に設定すると、その分だけ類似度を算出する対象の画素が増えるため、処理に時間が掛かってしまう。そのため、極力、周辺領域画像ＰＩの領域は第２の対応領域ＣＡ２を含む範囲内で小さい方が良い。そこで、本実施形態では、以下に示すような方法で、周辺領域画像ＰＩを特定する。
【０１１２】
本実施形態では、周辺領域画像ＰＩの特定に、平面画像の３５ｍｍ換算焦点距離を使用するが、これは撮影時に記録されるExifデータから取得される。３５ｍｍ換算焦点距離は、いわゆる24mm x 36mmのフィルムサイズを基準とした焦点距離であるため、このフィルムの対角と、焦点距離から以下の算出式（式９）、（式１０）で対応する対角画角を算出することができる。
フィルム対角 = sqrt(24*24 + 36*36)  ・・・（式９）
合成用画像画角/2 = arctan((フィルム対角/2)/合成用画像35mm換算焦点距離)・・（式１０）
ところで、この画角をカバーする画像は円形となるのだが、実際の撮像素子（フィルム）は長方形なので円に内接する長方形画像となっている。本実施形態では、周辺領域画像ＰＩの垂直画角αを、平面画像Ｐの対角画角αと同じになるように設定する。これにより、図２１（ｂ）に示されている周辺領域画像ＰＩは、図２１（ａ）に示されている平面画像Ｐの対角画角αをカバーする円に外接する正方形となり、垂直画角αは、下記（式１１）、(式１２)で示されているように、正方形の対角と平面画像Ｐの焦点距離から算出できる。
正方形対角=sqrt(フィルム対角*フィルム対角+フィルム対角*フィルム対角)・・・（式１１）
垂直画角α/2 = arctan((正方形対角/2) / 平面画像の35mm換算焦点距離))・・・（式１２）
このような垂直画角αで射影変換することで、注視点を中心に平面画像Ｐの対角画角αにおける画像をできるだけ広くカバーでき、かつ垂直画角αが大きくなりすぎない周辺領域画像ＰＩ（透視射影画像）を作成することができる。
【０１１３】
（位置情報の算出）
続いて、図１６に戻り、第２の対応領域算出部５５８は、平面画像Ｐにおける複数の特徴点ｆｐ２と周辺領域画像ＰＩにおける複数の特徴点ｆｐ３の特徴量ｆｖ３を算出する。算出された各特徴量ｆｖ２，ｆｖ３の類似度に基づき画像間の対応点を算出し、算出した画像間の対応点の関係から、周辺領域画像ＰＩにおいて、平面画像Ｐに対応するホモグラフィを算出し、このホモグラフィを変換に用いることで、第２のホモグラフィ変換を行なう。その結果、第２の対応領域算出部５５８は、第２の対応領域ＣＡ２を算出する。
【０１１４】
なお、第１のホモグラフィ変換の前に、第１のホモグラフィの算出時間を早めるために、平面画像Ｐ及び正距円筒射影画像ＥＣのうちの少なくとも一方の画像サイズをリサイズしてもよい。例えは、平面画像Ｐが４０００万画素で、正距円筒射影画像ＥＣが３０００万画素の場合、平面画像Ｐを３０００万画素にリサイズしたり、両画像を１０００万画素になるようにそれぞれの画像をリサイズしたりする。同様に、第２のホモグラフィ算出の前に、平面画像Ｐ及び周辺領域画像ＰＩの少なくとも一方の画像サイズをリサイズしてもよい。
【０１１５】
また、本実施形態でのホモグラフィは、正距円筒射影画像ＥＣと平面画像Ｐとの射影関係を表す変換行列であり、平面画像Ｐにおける座標に、ホモグラフィ算出処理で算出したホモグラフィ変換行列を乗算することで、正距円筒射影画像ＥＣ（全天球画像ＣＥ）上での対応座標を算出することができる。
【０１１６】
領域分割部５６０は、画像における一部の領域を複数の格子領域に分割する。ここで、図２２を用いて、第２の対応領域を複数の格子領域に分割する方法を詳細に説明する。なお、図２２は、第２の対応領域を複数の格子領域に分割する際の概念図である。
【０１１７】
領域分割部５６０は、図２２（ａ）に示されているように、対応領域算出部５５２が第２のホモグラフィ変換により算出した第２の対応領域ＣＡ２の頂点座標の４つの頂点から成る四角形を、図２２（ｂ）に示されているように、複数の格子領域ＬＡ２に分割する。例えば、水平方向に３０、垂直方向に２０ほど均等分割する。
【０１１８】
次に、複数の格子領域ＬＡ２の具体的な分割方法について説明する。
【０１１９】
まず、第２の対応領域ＣＡ２を均等に分割する算出式を示す。２点をA(X1，Y1)、B(X2，Y2)として、その２点間の線分を等間隔にｎ個に分割する場合、Ａからｍ番目にあたる点Ｐｍの座標は、以下に示す（式１３）によって算出される。
Pm = ( X1 + (X2 − X1) ×m / n， Y1 + (Y2 − Y1) × m / n )・・・（式１３）
上記の（式１３）によって、線分を均等に分割した座標が算出できるため、四角形の上辺、下辺をそれぞれ分割した座標を求め、分割した座標から成る線分をさらに分割すればよい。四角形の左上、右上、右下、左下の各座標をそれぞれＴＬ，ＴＲ，ＢＲ，ＢＬとした場合、線分ＴＬ−ＴＲおよび線分ＢＲ−ＢＬを均等に３０分割した座標を求める。次に、０から３０番目まで分割された各座標において、同じ順番に対応する座標同士から成る線分に対し、均等に２０分割した座標を求める。これにより、四角形領域を３０×２０個の小領域に分割するための座標を求めることができる。図２２（ｂ）では、座標一例として、ＴＬの座標(LO00,00，LA00,00)を示している。
【０１２０】
続いて、図１６及び図２０に戻り、射影方式逆変換部５６２は、第２の対応領域ＣＡ２の射影方式を、正距円筒射影画像ＥＣと同じ正距円筒射影方式に逆変換することで、正距円筒射影画像ＥＣにおいて、第２の対応領域ＣＡ２に対応する第３の対応領域ＣＡ３を算出する。具体的には、射影方式逆変換部５６２は、正距円筒射影画像ＥＣにおいて、第２の対応領域ＣＡ２における複数の格子領域ＬＡ２に対応する各格子領域ＬＡ３から成る第３の対応領域ＣＡ３を算出する。第３の対応領域ＣＡは、図２０に示されているが、拡大図として、図２３にも示されている。なお、図２３は、正距円筒射影画像ＥＣにおいて第３の対応領域を示す概念図である。これにより、平面画像Ｐは、最終的に第３の対応領域ＣＡ３に合わせるように（マッピングするように）、正距円筒射影画像ＥＣによって作成された全天球画像ＣＥに重畳表示される。この射影方式逆変換部５６２の処理により、各格子領域ＬＡ３の各格子点の座標を示す位置パラメータが作成される。位置パラメータは、図１７及び図１８（ｂ）に示されている。なお、格子点は複数の点の一例である。
【０１２１】
以上、位置パラメータを作成することにより、正距円筒射影画像ＥＣと平面画像Ｐの位置関係を算出することができる。
【０１２２】
ところで、位置パラメータは算出されたが、このまま重畳表示を行う場合、正距円筒射影画像ＥＣと平面画像Ｐとで明るさや色味が大きく異なる場合に、不自然な重畳表示となることがある。そのため、以下に示す形状変換部５６４及び補正パラメータ作成部５６６は、明るさや色味が大きく異なる場合であっても、不自然な重畳表示となることを防止する役割を果たす。
【０１２３】
形状変換部５６４は、後述の色合わせに先立って、第２の対応領域ＣＡ２の４頂点を平面画像Ｐの４頂点に射影することで、第２の対応領域ＣＡ２を平面画像Ｐと同じ形状に変換する。具体的には、図２４（ａ）に示されている第２の対応領域ＣＡ２の各格子領域ＬＡ２を、図２４（ｃ）に示されている平面画像Ｐの各格子領域ＬＡ０に合わせるために、第２の対応領域ＣＡ２の形状を平面画像Ｐと同じ形状に変換する。これにより、図２４（ａ）に示されている第２の対応領域ＣＡ２は、図２４（ｂ）に示されている第２の対応領域ＣＡ２’に形状が変換される。これに伴い、格子領域ＬＡ２が格子領域ＬＡ２’に変換されるため、平面画像Ｐの格子領域ＬＡ０と同じ形状となる。
【０１２４】
補正パラメータ作成部５６６は、同じ形状に変換後の第２の対応領域ＣＡ２’における各格子領域ＬＡ２’の明るさ値及び色値に対して、各格子領域ＬＡ２’と同じ形状である平面画像Ｐの各格子領域ＬＡ０の明るさ値及び色値を合わせるための補正パラメータを作成する。具体的には、補正パラメータ作成部５６６は、各格子点ＬＡ０の１点を共通に格子点としてもつ４つの格子領域を構成する全ての画素の明るさ値及び色値（Ｒ，Ｇ，Ｂ)の平均値ａ= (Ｒave，Ｇave，Ｂave）を算出し、各格子点ＬＡ２’の１点を共通に格子点としてもつ４つの格子領域を構成する全ての画素の明るさ値及び色値（Ｒ’，Ｇ’，Ｂ’）の平均値ａ’ = (Ｒ’ave，Ｇ’ave，Ｂ’ave）を算出する。なお、上記各格子点ＬＡ０の１点および各格子点ＬＡ２’の１点が第２の対応領域ＣＡ２および第３の対応領域ＣＡ３の４隅の場合、補正パラメータ作成部５６６は、１つの格子領域から明るさ値および色値の平均値aおよび平均値ａ’を算出する。また、上記各格子点ＬＡ０の１点および各格子点ＬＡ２’の１点が第２の対応領域ＣＡ２第３の対応領域ＣＡ３の外周の点の場合、補正パラメータ作成部５６６は、内側２つの格子領域から明るさ値および色値の平均値aおよび平均値ａ’を算出する。そして、補正パラメータは、本実施形態では、平面画像Ｐの明るさ値及び色値を補正するためのゲインデータとなるため、以下の（式１４）に示されているように、平均値ａ’を平均値ａで除算することで、補正パラメータＰａを求める。
Pa = a’/ a・・・（式１４）
これにより、後述の重畳表示において、補正パラメータが示すゲイン値を、格子領域ＬＡ０毎に乗算することで、平面画像Ｐの色味および明るさが、正距円筒射影画像ＥＣ（全天球画像ＣＥ）の画素値と近くなり、見た目が違和感なく重畳表示することが可能となる。なお、補正パラメータは、平均値から算出されるだけでなく、平均値に代えて又は平均値に加えて、中央値、最頻値等を使って算出されるようにしてもよい。
【０１２５】
また、本実施形態では明るさ値および色値の補正値の算出に画素値（R，G，B）を使用したが、輝度および色差信号であるYUVフォーマットや、JPEGのsYCC(YCbCr)フォーマット等における輝度値、色差値を用いて、同様の方法にて格子領域を構成する全ての画素の輝度値および色差値の平均値を求め、その平均値を除算することにより後述の重畳表示における補正パラメータとしてもよい。なお、RGB値からYUV、sYCC(YCbCr)に変換する方法は公知であるため詳細は省略するが、参考として（式１５）を用いて、JPEG圧縮画像のフォーマットJFIF(JPEG file interchange format)形式のRGBからYCbCrへ変換する例を挙げる。
【０１２６】
【数３】
2018109971.tif 000005
【０１２７】
重畳表示メタデータ作成部５７０は、位置パラメータ及び補正パラメータ等を用いて、全天球画像ＣＥに対して平面画像Ｐを重畳する際の位置、並びに明るさ値及び色値の補正値を示す重畳表示メタデータを作成する。
【０１２８】
（重畳表示メタデータ）
続いて、図１７を用いて、重畳表示メタデータのデータ構造について説明する。図１７は、重畳表示メタデータのデータ構造である。
【０１２９】
図１７に示されているように、重畳表示メタデータは、正距円筒射影画像情報、平面画像情報、重畳表示情報、及びメタデータ作成情報によって構成されている。
【０１３０】
これらのうち、正距円筒射影画像情報は、特殊撮影装置１から撮影画像データと共に送られて来た情報である。正距円筒射影画像情報は、画像識別情報及び付属情報を含んでいる。正距円筒射影画像情報における画像識別情報は、正距円筒射影画像を識別するための画像識別情報である。図１７では、正距円筒射影画像情報における画像識別情報の一例として、画像のファイル名が示されているが、画像を識別するための画像ＩＤであってもよい。
【０１３１】
また、正距円筒射影画像情報における付属情報は、正距円筒射影画像情報に付属する関連情報である。図１７では、付属情報の一例として、特殊撮影装置１で撮影された際に得られた正距円筒射影画像データの姿勢補正情報(Pitch，Yaw，Roll)が示されている。この姿勢補正情報は、特殊撮影装置１の画像記録フォーマットとして規格化されているExif(Exchangeable image file format)で格納されている場合があり、GPano(Google Photo Sphere schema)で提供されている各種フォーマットで格納されている場合もある。全天球画像は、同じ位置で撮影すれば、姿勢が異なっていても３６０°全方位の画像が撮影できるという特徴があるが、全天球画像ＣＥを表示する場合に、姿勢情報や、どこを画像の中心にするか（注視点）を指定しなければ表示位置が決まらない。そのため、一般的には天頂が撮影者の真上に来るように全天球画像ＣＥを補正して表示する。これにより、水平線が真っ直ぐに補正された自然な表示が可能となる。
【０１３２】
次に、平面画像情報は、一般撮影装置３から撮影画像データと共に送られて来た情報である。平面画像情報は、画像識別情報及び付属情報を含んでいる。平面画像情報における画像識別情報は、平面画像Ｐを識別するための画像識別情報である。図１７では、画像識別情報の一例として、画像のファイル名が示されているが、画像を識別するための画像ＩＤであってもよい。
【０１３３】
また、平面画像情報における付属情報は、平面画像情報に付属する関連情報である。図１７では、平面画像情報における付属情報の一例として、３５ｍｍ換算焦点距離の値が示されている。３５ｍｍ換算焦点距離の値は、全天球画像ＣＥに平面画像Ｐを重畳して表示するために必須ではないが、重畳表示を行う場合に表示する画角を決めるための参考情報となるため、例として挙げている。
【０１３４】
次に、重畳表示情報は、スマートフォン５で作成された情報であり、領域分割数情報、各格子領域の格子点の位置（位置パラメータ）、及び明るさ値及び色値の補正値（補正パラメータ）を含んでいる。これらのうち、領域分割数情報は、第１の対応領域ＣＡ１を複数の格子領域に分割する際の水平（経度）方向の分割数及び垂直（緯度）方向の分割数を示している。
【０１３５】
また、位置パラメータは、平面画像Ｐを格子状の複数の領域に分割した場合の各格子点が、正距円筒射影画像ＥＣ（全天球画像ＣＥ）のどの位置に配置されるかを示す頂点マッピング情報である。補正パラメータは、本実施形態では、平面画像Ｐの色値を補正するためのゲインデータである。なお、補正対象がモノクロ画像の場合もあるため、補正パラメータは、明るさ値及び色値のうち少なくとも明るさ値を合わせるためのパラメータである。
【０１３６】
ところで、全天球画像ＣＥを得る場合、平面画像Ｐと同じ射影方式である透視射影方式を用いると、３６０°の全方位の撮影ができない。そのため、全天球画像ＣＥの一部の領域に、全天球画像ＣＥとは別に撮影することで得られた平面画像Ｐを重畳しようとしても、正距円筒射影画像ＥＣと平面画像Ｐは射影方式が異なるため、正距円筒射影画像ＥＣ（全天球画像ＣＥ）と平面画像Ｐが合わず、平面画像Ｐが全天球画像ＣＥに上手く溶け込まない。そのため、全天球画像のように広い画角の画像は、射影方式の１つとして、正距円筒射影方式で作成されることが多い。しかし、正距円筒射影方式を用いると、いわゆるメルカトル図法のように標準緯線から離れるほど横方向の長さが拡大されるため、一般的なカメラで採用されている透視射影方式の画像とは大きく異なった画像となる。よって、単純に画像の縮尺だけを変更して重ね合わせても画像が一致せず、平面画像Ｐが全天球画像ＣＥに上手く溶け込まない。そこで、本実施形態では、図２０に示されている処理により、位置パラメータを作成する。
【０１３７】
ここで、図１８を用いて、位置パラメータ及び補正パラメータについて詳細に説明する。図１８（ａ）は第２の対応領域における各格子領域を示した概念図である。図１８（ｂ）は第３の対応領域における各格子領域を示した概念図である。
【０１３８】
図１８（ａ）に示されているように、正距円筒射影画像ＥＣの一部の領域である第１の対応領域ＣＡ１が平面画像Ｐと同じ透視射影方式に変換されることで得られる第２の対応領域ＣＡ２は、本実施形態では、水平分割数が３０で垂直分割数が２０の複数の格子領域に分割される。図１８（ａ）には、各格子領域の格子点の座標(LO00,00，LA00,00)，(LO01,00，LA01,00)，…，(LO30,20，LA30,20)、及び、各格子領域の格子点における明るさ値及び色値の補正値(R00,00，G00,00，B00,00)，(R01,00，G01,00，B01,00)，…，(R30,20，G30,20，B30,20)が示されている。なお、図面を簡略化するため、４頂点における格子点の座標、並びに明るさ値及び色値の補正値が示されているが、実際には、全ての格子点の座標、並びに明るさ値及び色値の補正値が存在する。また、各明るさ値及び色値の補正値R,G,Bは、それぞれ赤色の補正ゲイン、緑色の補正ゲイン、青色の補正ゲインを示している。各明るさ値及び色値の補正値R,G,Bは、実際には、各格子点の座標を中心とする所定範囲（隣の格子点の所定範囲と重ならない範囲）内の画像の明るさ値及び色値の補正値を示している。
【０１３９】
一方、図１８（ｂ）に示されているように、第２の対応領域ＣＡ２が正距円筒射影画像ＥＣと同じ正距円筒射影方式に逆変換されることで得られた第３の対応領域ＣＡ３は、本実施形態では、同じく水平分割数が３０で垂直分割数が２０の複数の格子領域に分割される。図１８（ｂ）には、各格子領域の格子点の座標(LO’00,00，LA’00,00)，(LO’01,00，LA’01,00)，…，(LO’30,20，LA’30,20)の座標、及び、第２の対応領域ＣＡ２の各補正値と同じ値の明るさ値及び色値の補正値が示されている。この場合も、図面を簡略化するため、４頂点における格子点の座標及び明るさ値及び色値の補正値が示されているが、実際には、全ての格子点の座標と明るさ値及び色値の補正値が存在する。
【０１４０】
次に、メタデータ作成情報は、重畳表示メタデータのバージョンを示すバージョン情報を示している。
【０１４１】
なお、上記のように、位置パラメータは、平面画像Ｐと正距円筒射影画像ＥＣ（全天球画像ＣＥ）のそれぞれの位置対応関係を示すものである。しかし、位置パラメータで、平面画像Ｐの全ての画素位置が正距円筒射影画像ＥＣ（全天球画像ＣＥ）のどの座標に対応付けられるかの情報を表わそうとすると、一般撮影装置３が高画素数のデジタルカメラの場合、約４０００万画素数分の情報を表わさなければならない。そのため、位置パラメータのデータ量が多くなり、データ記憶等の扱いが大変である。そこで、本実施形態の位置パラメータは、平面画像Ｐを６００個（３０×２０）の領域に分割することで、平面画像の格子点の座標が、正距円筒射影画像ＥＣ（全天球画像ＣＥ）のどこに対応するかを示すだけのデータを示している。また、スマートフォン５は重畳表示する場合には、格子点の座標から各領域内の画像の位置を補間することで、重畳表示を実現することができる。
【０１４２】
｛重畳部の機能構成｝
続いて、図１６を用い、重畳部５５ｂの機能構成について説明する。重畳部５５ｂは、貼付領域作成部５８２、補正部５８４、画像作成部５８６、重畳部５８８、及び射影変換部５９０を有している。
【０１４３】
これらのうち、貼付領域作成部５８２は、仮想の立体球ＣＳにおいて、第３の対応領域ＣＡ３に対応する領域部分（以下、「部分立体球」という）ＰＳを作成する。
【０１４４】
補正部５８４は、重畳表示メタデータ内の補正パラメータに基づいて、平面画像Ｐの明るさ値及び色値を、正距円筒射影画像ＥＣの明るさ値と色値のうち少なくとも一方に合わせる補正を行なう。
【０１４５】
画像作成部５８６は、部分立体球ＰＳに対して、平面画像Ｐ（または、平面画像Ｐを補正した後の補正画像Ｃ）を貼り付けることで、重畳画像Ｓを作成する。また、画像作成部５８６は、部分立体球ＰＳの領域に基づいて、マスクデータＭを作成する。更に、画像作成部５８６は、立体球ＣＳに対して、正距円筒射影画像ＥＣを貼り付けることで全天球画像ＣＥを作成する。
【０１４６】
ここで、マスクデータＭは、重畳画像Ｓを全天球画像ＣＥに重畳する場合に用いることが可能な透過比率データである。マスクデータＭは、重畳画像Ｓを全天球画像ＣＥに重畳した場合の境界周辺の明るさ及び色を、内側の重畳画像Ｓ側から外側の全天球画像ＣＥ側に徐々に近づけるために、マスク周辺の透過度が、内側から外側に向けて徐々に重畳画像Ｓ寄りから全天球画像ＣＥ寄りに高くなっている。これにより、全天球画像ＣＥに重畳画像Ｓが重畳されても、極力、重畳されたことが分からないようにすることができる。なお、マスクデータＭの作成は、必須ではない。
【０１４７】
重畳部５８８は、全天球画像ＣＥに対して重畳画像Ｓ及びマスクデータＭを重畳する。これにより、境目が目立たないように高精細の重畳画像Ｓが重畳された低精細の全天球画像ＣＥが完成する。
【０１４８】
射影変換部５９０は、図７に示されているように、予め定められた仮想カメラＩＣの視線方向（所定領域Ｔの中心点ＣＰ）と所定領域Ｔの画角αに基づいて、重畳画像Ｓが重畳された状態の全天球画像ＣＥにおける所定領域Ｔを、ディスプレイ５１７で見ることができるように射影変換する。また、射影変換部５９０は、射影変換する際に、所定領域Ｔをディスプレイ５１７における表示領域の解像度に合わせる処理も行なう。具体的には、所定領域Ｔの解像度がディスプレイ５１７の表示領域の解像度よりも小さい場合には、射影変換部５９０は、所定領域Ｔをディスプレイ５１７の表示領域に合わせるように拡大する。一方、所定領域Ｔの解像度がディスプレイ５１７の表示領域の解像度よりも大きい場合には、射影変換部５９０は、所定領域Ｔをディスプレイ５１７の表示領域に合わせるように縮小する。これにより、表示制御部５６は、ディスプレイ５１７の表示領域の全体に亘って、所定領域Ｔを示す所定領域画像Ｑを表示することができる。
【０１４９】
＜＜実施形態の処理又は動作＞＞
続いて、図１９乃至図３０を用いて、本実施形態の処理又は動作について説明する。まず、図１９を用いて、撮影システムが実行する撮影方法を説明する。図１９は、本実施形態に係る撮影方法を示したシーケンス図である。なお、以下では、被写体や風景等の撮影を行なう場合について説明するが、撮影と同時に集音部１４によって周囲の音を録音してもよい。
【０１５０】
図１９に示されているように、スマートフォン５の受付部５２は、利用者から連携撮影開始を受け付ける（ステップＳ１１）。この場合、図１５（ｂ）に示されているように、表示制御部５６が、図１５（ｂ）に示されている連携撮影装置設定画面をディスプレイ５１７に表示させる。この画面には、撮影装置毎に、連携撮影する際のメインの撮影装置を指定するためのラジオボタン、連携撮影する際のサブの撮影装置を指定（選択）するためのチェックボックスが表示されている。更に、撮影装置毎に、撮影装置の装置名及び電波の受信強度が表示されている。そして、利用者が所望の撮影装置をメイン及びサブとして指定（選択）して、「確定」ボタンを押下することで、受付部が連携撮影開始を受け付ける。なお、サブの撮影装置は複数であってもよいため、チェックボックスにして複数の撮影装置を指定（選択）することができるようになっている。
【０１５１】
そして、スマートフォン５の近距離通信部５８は、一般撮影装置３の近距離通信部３８に対して、ポーリングにより、撮影開始の問い合わせを示す撮影開始問合情報を送信する（ステップＳ１２）。これにより、一般撮影装置３の近距離通信部３８は、撮影開始問合情報を受信する。
【０１５２】
次に、一般撮影装置３の判断部３７は、受付部３２が利用者からシャッターボタン３１５ａの押下を受け付けるか否かにより、撮影開始を行なったか否かを判断する（ステップＳ１３）。
【０１５３】
次に、一般撮影装置３の近距離通信部３８は、スマートフォン５に対して、ステップＳ１３による判断結果に応じた応答内容を示す応答情報を送信する（ステップＳ１４）。ステップＳ１３によって撮影が開始されたと判断された場合には、応答情報は、撮影開始を示す撮影開始情報を含む。この場合、応答情報は、一般撮影装置３の画像識別情報も含んでいる。一方、ステップＳ１３によって撮影が開始されたと判断されない場合には、応答情報は、撮影待機を示す撮影待機情報を含む。これにより、スマートフォン５の近距離通信部５８は、応答情報を受信する。
【０１５４】
続いて、ステップＳ１３によって、撮影が開始されたと判断された場合、及びステップＳ１４によって受信された応答情報が撮影開始情報を含む場合について説明する。
【０１５５】
まず、一般撮影装置３は、撮影を開始する（ステップＳ１５）。この撮影の処理は、シャッターボタン３１５ａが押下された後、撮像部３３が被写体や風景等を撮像することで撮影画像データ（ここでは、平面画像データ）し、記憶・読出部３９が記憶部３０００に撮影画像データを記憶するまでの処理である。
【０１５６】
次に、スマートフォン５では、近距離通信部５８が、特殊撮影装置１に対して、撮影開始の要求を示す撮影開始要求情報を送信する（ステップＳ１６）。これにより、特殊撮影装置１の近距離通信部１８は撮影開始要求情報を受信する。
【０１５７】
一方、特殊撮影装置１は、撮影を開始する（ステップＳ１７）。この撮影の処理は、撮像部１３が被写体や風景等を撮影して撮影画像データ（図３（ａ），（ｂ）に示されているような２つの半球画像データ）を生成し、画像・音処理部１５が、２つの半球画像データに基づいて、図３（ｃ）に示されているような単一の正距円筒射影画像データを作成して、記憶・読出部１９が記憶部１０００に正距円筒射影画像データを記憶するまでの処理である。
【０１５８】
次に、スマートフォン５では、近距離通信部５８が、一般撮影装置３に対して、撮影画像を要求する旨を示す撮影画像要求情報を送信する（ステップＳ１８）。この撮影画像要求情報には、ステップＳ１４で受信された画像識別情報が含まれている。これにより、一般撮影装置３の近距離通信部３８は撮影画像要求情報を受信する。
【０１５９】
次に、一般撮影装置３の近距離通信部３８は、スマートフォン５に対して、ステップＳ１５によって得られた平面画像データを送信する（ステップＳ１９）。この際、送信される平面画像データを識別するための画像識別情報、及び付属情報も送信される。画像識別情報及び付属情報は、図１７に平面画像情報として示されている。これにより、スマートフォン５の近距離通信部５８は、平面画像データ、画像識別情報、及び付属情報を受信する。
【０１６０】
一方、特殊撮影装置１の近距離通信部１８は、スマートフォン５に対して、ステップＳ１８によって得られた正距円筒射影画像データを送信する（ステップＳ２０）。この際、送信される正距円筒射影画像データを識別するための画像識別情報、及び付属情報も送信される。画像識別情報及び付属情報は、図１７に正距円筒射影画像情報として示されている。これにより、スマートフォン５の近距離通信部５８は、正距円筒射影画像データ、画像識別情報、及び付属情報を受信する。
【０１６１】
次に、スマートフォン５の記憶・読出部５９は、ステップＳ１９によって受信された平面画像データの電子ファイルと、及びステップＳ２０によって受信された正距円筒射影画像データの電子ファイルを同一の電子フォルダに格納して、記憶部５０００に記憶する（ステップＳ２１）。
【０１６２】
次に、スマートフォン５の画像・音処理部５５は、低精細画像である全天球画像ＣＥの一部の領域に高精細画像である平面画像Ｐを重畳して表示する際に利用する、重畳表示用メタデータを作成する（ステップＳ２２）。この際、記憶・読出部５９が、記憶部５０００に重畳表示用メタデータを記憶する。
【０１６３】
ここで、主に、図２０乃至図２４を用いて、重畳表示用メタデータの作成処理について詳細に説明する。なお、一般撮影装置３と特殊撮影装置１の撮像素子の解像度が、たとえ同じであっても、特殊撮影装置１の撮像素子は３６０°全天球画像ＣＥの元になる正距円筒射影画像を全て網羅しなければならないため、撮影画像における一定領域あたりの精細度が低くなる。
【０１６４】
｛重畳表示用メタデータの作成処理｝
まず、低精細な正距円筒射影画像ＥＣによって作成される全天球画像ＣＥに対して、高精細な平面画像Ｐを重畳してディスプレイ５１７に表示するための重畳表示用メタデータの作成処理について説明する。重畳表示用メタデータは、図１７に示されているように、位置パラメータ及び補正パラメータを含んでいるため、主に、位置パラメータ及び補正パラメータの作成方法について説明する。
【０１６５】
抽出部５５０は、正距円筒射影方式によって得られた長方形の正距円筒射影画像ＥＣにおける複数の特徴点ｆｐ１、及び透視射影方式によって得られた長方形の平面画像Ｐにおける複数の特徴点ｆｐ２を抽出する（ステップＳ１１０）。
【０１６６】
次に、第１の対応領域算出部５５２は、第１のホモグラフィ変換によって、正距円筒射影画像ＥＣにおける複数の特徴点ｆｐ１の特徴量ｆｖ１と、平面画像Ｐにおける複数の特徴点ｆｐ２の特徴量ｆｖ２との類似度に基づき、図２０に示されているように、正距円筒射影画像ＥＣにおいて、平面画像Ｐに対応する四角形の第１の対応領域ＣＡ１を算出する（ステップＳ１２０）。より具体的には、第１の対応領域算出部５５２は、算出した正距円筒射影画像ＥＣの複数の特徴点ｆｐ１の特徴量ｆｖ１と、平面画像Ｐにおける複数の特徴点ｆｐ２の特徴量ｆｖ２の類似度に基づき画像間の対応点を算出し、正距円筒射影画像ＥＣにおいて、平面画像Ｐに対応するホモグラフィを求めることで得られる第１のホモグラフィ変換によって、図２０に示されているように、正距円筒射影画像ＥＣにおいて、平面画像Ｐに対応する四角形の第１の対応領域ＣＡ１を算出する。この処理は、正距円筒射影画像ＥＣに対して射影方式が異なる平面画像Ｐを正確に対応付けることができないが、ひとまず大まかに対応位置を推定するための処理（仮決め処理）である。
次に、注視点特定部５５４は、平面画像Ｐの中心点ＣＰ１が第１のホモグラフィ変換後に位置する正距円筒射影画像ＥＣ上の点（注視点ＧＰ１）を特定する（ステップＳ１３０）。
【０１６７】
次に、射影方式変換部５５６は、図２１に示されているように、周辺領域画像ＰＩの垂直画角αが平面画像Ｐの対角画角αと同じになるようにすることで、結果的に周辺領域画像ＰＩが作成できるように、正距円筒射影画像ＥＣ内で注視点ＧＰ１を中心とした周辺領域ＰＡを、平面画像Ｐと同じ透視射影方式に変換する（ステップＳ１４０）。
【０１６８】
次に、抽出部５５０は、射影方式変換部５５６によって得られた周辺領域画像ＰＩにおける複数の特徴点ｆｐ３を抽出する（ステップＳ１５０）。
【０１６９】
次に、第２の対応領域算出部５５８は、第２のホモグラフィ変換によって、平面画像Ｐにおける複数の特徴点ｆｐ２の特徴量ｆｖ２と、周辺領域画像ＰＩにおける複数の特徴点ｆｐ３の特徴量ｆｖ３との類似度に基づき、周辺領域画像ＰＩにおいて、平面画像Ｐに対応する四角形の第２の対応領域ＣＡ２を算出する（ステップＳ１６０）。なお、平面画像Ｐは、例えば４０００万画素の高精細な画像であるため、予め適切な大きさにリサイズしておく。
【０１７０】
次に、領域分割部５６０は、図２２（ｂ）に示されているように、第２の対応領域ＣＡ２を複数の格子領域ＬＡ２に分割する（ステップＳ１７０）。
【０１７１】
次に、射影方式逆変換部５６２は、図２０に示されているように、第２の対応領域ＣＡ２の射影方式を、正距円筒射影画像ＥＣと同じ正距円筒射影方式に変換（逆変換）する（ステップＳ１８０）。これにより、射影方式逆変換部５６２は、図２３に示されているように、正距円筒射影画像ＥＣにおいて、第２の対応領域ＣＡ２内の複数の格子領域ＬＡ２に対応する各格子領域ＬＡ３から成る第３の対応領域ＣＡ３を算出する。なお、図２３は、正距円筒射影画像ＥＣにおいて第３の対応領域を示す概念図である。この射影方式逆変換部５６２の処理により、各格子領域ＬＡ３の各格子点の座標を示す位置パラメータが作成される。
位置パラメータは、上述のように、図１７及び図１８（ｂ）に示されている。
【０１７２】
続いて、図２０及び図２４を用いて、補正パラメータの作成処理について説明する。図２４は、補正パラメータの作成処理の過程における画像の概念図である。
【０１７３】
ステップＳ１８０の処理後、形状変換部５６４は、図２４（ａ）に示されているような第２の対応領域ＣＡ２の４頂点を平面画像Ｐの４頂点に射影することで、第２の対応領域ＣＡ２を平面画像Ｐと同じ形状に変換し、図２４（ｂ）に示されているような第２の対応領域ＣＡ２’を得る（ステップＳ１９０）。
【０１７４】
次に、領域分割部５６０は、図２４（ｃ）に示されているように、平面画像Ｐを、変換後の第２の対応領域ＣＡ２’における各格子領域ＬＡ２’と同じ形状で同じ数である複数の格子領域ＬＡ０に分割する（ステップＳ２００）。
【０１７５】
次に、補正パラメータ作成部５６６は、第２の対応領域ＣＡ２’における各格子領域ＬＡ２’の色値に対して、各格子領域ＬＡ２’に対応する平面画像Ｐの各格子領域ＬＡ０の明るさ値及び色値を合わせるための補正パラメータを作成する（ステップＳ２１０）。
【０１７６】
最後に、重畳表示メタデータ作成部５７０は、図１７に示されているように、特殊撮影装置１から取得した正距円筒射影画像情報、一般撮影装置３から取得した平面画像情報、予め定められている領域分割数情報、射影方式逆変換部５６２によって作成された位置パラメータ、補正パラメータ作成部５６６によって作成された補正パラメータ、及びメタデータ作成情報に基づいて、重畳表示メタデータを作成する（ステップＳ２２０）。この重畳表示メタデータは、記憶・読出部５９によって、記憶部５０００に記憶される。
【０１７７】
以上より、図１９に示されているステップＳ２２の処理が終了する。そして、記憶・読出部５９及び表示制御部５６は、重畳表示メタデータを用いて、重畳の処理を行なう（ステップＳ２３）。
【０１７８】
｛重畳の処理｝
続いて、図２５乃至図３０を用いて、重畳の処理について詳細に説明する。図２５は、重畳の処理の過程における画像の概念図である。
【０１７９】
まず、図１４に示されている記憶・読出部５９（取得部）が、予め、記憶部５０００から、正距円筒射影方式によって得られた正距円筒射影画像ＥＣのデータ、透視射影方式によって得られた平面画像Ｐのデータ、及び重畳表示メタデータを読み出して取得しておく。
【０１８０】
次に、貼付領域作成部５８２は、図２５に示されているように、位置パラメータに基づき、仮想の立体球ＣＳにおいて、第３の対応領域ＣＡ３に対応する部分立体球ＰＳを作成する（ステップＳ３１０）。この際、位置パラメータで示されていない格子点以外の画素に関しては、例えば、線形補間を用いて補間する。
【０１８１】
次に、補正部５８４は、重畳表示メタデータ内の補正パラメータに基づいて、平面画像Ｐの明るさ値及び色値を、正距円筒射影画像ＥＣの明るさ値及び色値に合わせる補正を行なう（ステップＳ３２０）。以降、補正後の平面画像Ｐは、「補正画像Ｃ」という。
【０１８２】
次に、画像作成部５８６は、部分立体球ＰＳに対して、補正画像Ｃを貼り付けることで、重畳画像Ｓを作成する（ステップＳ３３０）。この際、位置パラメータで示されていない格子点以外の画素に関しては、例えば、線形補間を用いて補間する。また、画像作成部５８６は、部分立体球ＰＳに基づいて、マスクデータＭを作成する（ステップＳ３４０）。更に、画像作成部５８６は、立体球ＣＳに対して、正距円筒射影画像ＥＣを貼り付けることで全天球画像ＣＥを作成する（ステップＳ３５０）。そして、重畳部５８８は、全天球画像ＣＥに対して、マスクデータＭを用いて重畳画像Ｓを重畳する（ステップＳ３６０）。これにより、境目が目立たないように高精細の重畳画像Ｓが重畳された低精細の全天球画像ＣＥが完成する。
【０１８３】
次に、射影変換部５９０は、図７に示されているように、予め定められた仮想カメラＩＣの視線方向（所定領域Ｔの中心点ＣＰ）と所定領域Ｔの画角αに基づいて、重畳画像Ｓが重畳された状態の全天球画像ＣＥにおける所定領域Ｔをディスプレイ５１７で見ることができるように射影変換する（ステップＳ３７０）。この際、射影変換部５９０は、所定領域Ｔをディスプレイ５１７における表示領域の解像度に合わせる処理も行なう。これにより、表示制御部５６は、ディスプレイ５１７の表示領域の全体に亘って、所定領域Ｔを示す所定領域画像Ｑの表示の処理を行なうことができる（ステップＳ２４）。ここでは、所定領域画像Ｑ内に、平面画像Ｐが重畳された状態の平面画像Ｐ’である重畳画像Ｓが含まれている。
【０１８４】
続いて、図２６乃至図３０を用いて、重畳表示された状態について詳細に説明する。図２６は、全天球画像に平面画像を重畳した場合の二次元の概念図である。ここでは、図５に対して、平面画像Ｐを重畳している場合を示している。図２５に示されているように、高精細な重畳画像Ｓは、立体球ＣＳに張り付けられた低精細な全天球画像ＣＥに対し、位置パラメータに従って、立体球ＣＳの内側に重畳されている。
【０１８５】
図２７は、全天球画像に平面画像を重畳した場合の三次元の概念図である。図２７では、立体球ＣＳに全天球画像ＣＥ及び重畳画像Ｓが貼り付けられ、重畳画像Ｓを含む画像が所定領域画像Ｑとなっている状態を表している。
【０１８６】
図２８は、本実施形態の位置パラメータを用いずに、全天球画像に平面画像を重畳した場合の二次元の概念図である。図２９は、本実施形態の位置パラメータを用いて、全天球画像に平面画像を重畳した場合の二次元の概念図である。
【０１８７】
図２８（ａ）に示されているように、仮想カメラＩＣが立体球ＣＳの中心点に位置している場合を基準にすると、被写体Ｐ１は、全天球画像ＣＥ上で像Ｐ２として表され、重畳画像Ｓ上で像Ｐ３として表されている。図２８（ａ）に示されているように、像Ｐ２及び像Ｐ３は、仮想カメラＩＣと被写体Ｐ１とを結ぶ直線上に位置しているため、全天球画像ＣＥに重畳画像Ｓが重畳された状態で表示されても、全天球画像ＣＥと重畳画像Ｓにズレが生じない。しかし、図２８（ｂ）に示されているように、仮想カメラＩＣが立体球ＣＳの中心点から離れると、仮想カメラＩＣと被写体Ｐ１とを結ぶ直線上に、像Ｐ２は位置しているが、像Ｐ３はやや内側に位置している。このため、仮想カメラＩＣと被写体Ｐ１とを結ぶ直線上における重畳画像Ｓ上の像を像Ｐ３’とすると、全天球画像ＣＥと重畳画像Ｓに、像Ｐ３と像Ｐ３’との間のズレ量ｇ分のズレが生じてしまう。これにより、全天球画像ＣＥに対して重畳画像Ｓがズレて表示されてしまう。
【０１８８】
これに対して、本実施形態では、複数の格子領域によって示された位置パラメータを用いているため、図２９（ａ）、（ｂ）に示されているように、重畳画像Ｓを全天球画像ＣＥに沿って重畳することができる。これにより、図２９（ａ）に示されているように、仮想カメラＩＣが立体球ＣＳの中心点に位置する場合だけでなく、図２９（ｂ）に示されているように、仮想カメラが立体球ＣＳの中心点から離れた場合であっても、像Ｐ２及び像Ｐ３は、仮想カメラＩＣと被写体Ｐ１とを結ぶ直線上に位置することになる。よって、全天球画像ＣＥに重畳画像Ｓが重畳された状態で表示されても、全天球画像ＣＥと重畳画像Ｓにズレが生じない。
【０１８９】
図３０（ａ）は重畳表示しない場合のワイド画像の表示例、図３０（ｂ）は重畳表示しない場合のテレ画像の表示例、図３０（ｃ）は重畳表示する場合のワイド画像の表示例、図３０（ｄ）は重畳表示する場合のテレ画像の表示例を示した概念図である。なお、図中の波線は、説明の便宜上表しただけであり、実際にディスプレイ５１７上には表示されてもよく、表示されなくてもよい。
【０１９０】
図３０（ａ）に示されているように、全天球画像ＣＥに対して平面画像Ｐを重畳して表示しない場合、図３０（ａ）における波線で示される領域まで拡大表示すると、図３０（ｂ）に示されているように、低精細の画像のままとなっており、利用者は鮮明でない画像を見ることになってしまう。これに対して、図３０（ｃ）に示されているように、全天球画像ＣＥに対して平面画像Ｐを重畳して表示する場合、図３０（ｃ）における波線で示される領域まで拡大表示すると、図３０（ｄ）に示されているように、高精細の画像が表示され、利用者は鮮明な画像を見ることができる。特に、波線で示されている領域に、文字が描かれた看板等が表示されている場合、高精細な平面画像Ｐを重畳表示しなければ、拡大表示させても文字がぼやけてしまい、何が書かれてあるのか分からない。しかし、高精細な平面画像Ｐを重畳表示すれば、拡大表示させても文字が鮮明に見えるため、利用者は何が書かれているのかを把握することができる。
【０１９１】
＜＜本実施形態の主な効果＞＞
以上説明したように本実施形態によれば、特殊撮影装置１と一般撮影装置３との画像作成時の射影方式が異なるため、一般撮影装置３から取得した平面画像Ｐを、特殊撮影装置１から取得した正距円筒射影画像ＥＣによって作成した全天球画像ＣＥに単純に重畳しても、全天球画像ＣＥと平面画像Ｐが合わず、平面画像が全天球画像に上手く溶け込まない。そこで、本実施形態のスマートフォン５は、図２０に示されているように、正距円筒射影画像ＥＣにおいて、平面画像Ｐに対応する第１の対応領域ＣＡ１を算出することで、まずは大まかな重畳表示の位置を定める（Ｓ１２０参照）。そして、スマートフォン５は、第１の対応領域ＣＡ１の注視点ＧＰ１の周辺領域ＰＡの射影方式を、平面画像Ｐと同じ射影方式に変換することで、周辺領域画像ＰＩを作成する（Ｓ１４０参照）。次に、スマートフォン５は、周辺領域画像ＰＩにおいて、平面画像Ｐに対応する第２の対応領域ＣＡ２を算出し（Ｓ１６０参照）、第２の対応領域ＣＡ２の射影方式を正距円筒射影画像ＥＣの射影方式に逆変換することで、正距円筒射影画像ＥＣにおいて、第２の対応領域ＣＡ２に対応する第３の対応領域ＣＡ３を算出する（Ｓ１８０参照）。これにより、図３０（ｃ）に示されているように、低精細の全天球画像ＣＥの一部である所定領域画像の一部の領域に、高精細の平面画像Ｐを重畳して表示することができるため、全天球画像と平面画像の画像が合い、平面画像が全天球画像に上手く溶け込むことができるという効果を奏する。
【０１９２】
また、本実施形態によれば、全天球画像ＣＥに重畳画像Ｓを重畳する位置を示す位置パラメータは、複数の格子領域によって構成された第３の対応領域によって示されるため、図２９に示されているように、全天球画像ＣＥに沿って重畳画像Ｓを重畳させることができる。これにより、全天球画像ＣＥに重畳画像Ｓを重畳しても画像のズレを抑制することができるという効果を奏する。
【０１９３】
〔第２の実施形態〕
続いて、図３１乃至図３５を用いて、本発明の第２の実施形態について説明する。
【０１９４】
＜撮影システムの概略＞
まずは、図３１を用いて、本実施形態の撮影システムの構成の概略について説明する。図３１は、本実施形態の撮影システムの構成の概略図である。
【０１９５】
図３１に示されているように、本実施形態の撮影システムは、第１の実施形態に係る各構成に対して、更に画像処理サーバ７が追加されている。第１の実施形態と同一の構成は、同一の符号を付して、その説明を省略する。スマートフォン５と画像処理サーバ７は、インターネットやイントラネット等の通信ネットワーク１００を介して、画像処理サーバ７と相互通信することができる。
【０１９６】
第１の実施形態では、スマートフォン５が、重畳表示メタデータの作成や画像の重畳の処理を行なっているのに対して、本実施形態では、画像処理サーバ７がこれらの処理を行なう。
なお、本実施形態のスマートフォン５は、通信端末の一例となり、画像処理サーバが画像処理装置の一例となる。
【０１９７】
画像処理サーバ７は、サーバコンピュータであり、複数台のサーバコンピュータで分散して画像処理を行なう場合も含まれる。
【０１９８】
＜＜実施形態のハードウェア構成＞＞
次に、図３２を用いて、本実施形態の画像処理サーバ７のハードウェア構成を詳細に説明する。図３２は、画像処理サーバのハードウェア構成図である。なお、本実施形態の特殊撮影装置１、一般撮影装置３及びスマートフォン５のハードウェア構成は、第１の実施形態と同様であるため、それらの説明を省略する。
【０１９９】
＜画像処理サーバのハードウェア構成＞
図３２に示されているように、画像処理サーバ７は、コンピュータによって構築されており、図６に示されているように、ＣＰＵ７０１、ＲＯＭ７０２、ＲＡＭ７０３、ＨＤ７０４、ＨＤＤ(Hard Disk Drive)７０５、記録メディア７０６、メディアＩ／Ｆ７０７、ディスプレイ７０８、ネットワークＩ／Ｆ７０９、キーボード７１１、マウス７１２、ＣＤ−ＲＷドライブ７１４、及び、バスライン７１０を備えている。なお、画像処理サーバ７は、サーバとして機能するため、キーボード７１１やマウス７１２等の入力装置や、ディスプレイ７０８等の出力装置はなくてもよい。
【０２００】
これらのうち、ＣＰＵ７０１は、画像処理サーバ７全体の動作を制御する。ＲＯＭ７０２は、ＣＰＵ７０１の駆動に用いられるプログラムを記憶する。ＲＡＭ７０３は、ＣＰＵ７０１のワークエリアとして使用される。ＨＤ７０４は、プログラム等の各種データを記憶する。ＨＤＤ７０５は、ＣＰＵ７０１の制御にしたがってＨＤ７０４に対する各種データの読み出し又は書き込みを制御する。メディアＩ／Ｆ７０７は、フラッシュメモリ等の記録メディア７０６に対するデータの読み出し又は書き込み（記憶）を制御する。ディスプレイ７０８は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。ネットワークＩ／Ｆ７０９は、通信ネットワーク１００を利用してデータ通信をするためのインターフェースである。キーボード７１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。マウス７１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＣＤ−ＲＷドライブ７１４は、着脱可能な記録媒体の一例としてのＣＤ−ＲＷ(Compact Disc-ReWritable)７１３に対する各種データの読み出し等を制御する。
【０２０１】
また、画像処理サーバ７は、バスライン７１０を備えている。バスライン７１０は、図３２に示されているＣＰＵ７０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【０２０２】
＜＜実施形態の機能構成＞＞
次に、図３３及び図３４を用いて、本実施形態の機能構成について説明する。図３３は、本実施形態に係る撮影システムの機能ブロック図である。なお、本実施形態の特殊撮影装置１、一般撮影装置３及びスマートフォン５の機能構成は、第１の実施形態と同様であるため、それらの説明を省略する。本実施形態の場合、スマートフォン５の画像・音処理部５５は、図１６に示されている各機能構成を有していてもよいし、有していなくてもよい。
【０２０３】
＜画像処理サーバの機能構成＞
図３３に示されているように、画像処理サーバ７は、遠距離通信部７１、受付部７２、画像・音処理部７５、表示制御部７６、判断部７７、及び記憶・読出部７９を有している。これら各部は、図３２に示されている各構成要素のいずれかが、ＨＤ７０４からＲＡＭ７０３上に展開された画像処理サーバ７用プログラムに従ったＣＰＵ７０１からの命令によって動作することで実現される機能又は手段である。
【０２０４】
また、画像処理サーバ７は、図３２に示されているＲＯＭ７０２、ＲＡＭ７０３、及びＨＤ７０４によって構築される記憶部７０００を有している。
【０２０５】
（画像処理サーバの各機能構成）
画像処理サーバ７の遠距離通信部７１は、主に、図３２に示されているネットワークＩ／Ｆ７０７及びＣＰＵ７０１の処理によって実現され、通信ネットワークを介して、他の装置（例えば、他のサーバ、スマートフォン）との間で各種データ（または情報）の送受信を行う。
【０２０６】
受付部７２は、主にキーボード７１１、マウス７１２、及びＣＰＵ７０１の処理によって実現され、利用者から各種の選択又は入力を受け付ける。
【０２０７】
画像・音処理部７５は、主にＣＰＵ７０１からの命令によって実現され、スマートフォン５から送られて来た各種データに対して、各種処理を行なう。
【０２０８】
表示制御部７６は、主にＣＰＵ７０１の処理によって実現され、第１の実施形態の表示制御部５６と異なり、スマートフォン５のディスプレイ５１７に平面画像Ｐを表示させるための所定領域画像Ｑのデータを作成する。また、表示制御部７６は、画像・音処理部７５によって作成された重畳表示メタデータを利用して、平面画像Ｐの各格子領域ＬＡ０を、位置パラメータで示された位置、並びに補正パラメータで示された明るさ値及び色値に合わせることで、全天球画像ＣＥに平面画像Ｐを重畳して表示させるためのデータを作成する。
【０２０９】
判断部７７は、図３２に示されているＣＰＵ７０１の処理によって実現され、各種判断を行なう。
【０２１０】
記憶・読出部７９は、主に、図３２に示されているＣＰＵ７０１の処理によって実現され、記憶部７０００に、重畳表示メタデータ等の各種データ（または情報）を記憶したり、記憶部７０００から重畳表示メタデータ等の各種データ（または情報）を読み出したりする。また、記憶・読出部７９は、記憶部７０００から各種データを取得する取得部の役割を果たす。
【０２１１】
（画像・音処理部の詳細な各機能構成）
ここで、図３４を用いて、画像・音処理部７５の各機能構成について詳細に説明する。図３４は、画像・音処理部の詳細な機能ブロック図である。
【０２１２】
画像・音処理部７５は、大きく分けて、エンコードを行なうメタデータ作成部７５ａとデコードを行なう重畳部７５ｂを有している。メタデータ作成部７５ａは、図３５に示されている後述のステップＳ４４の処理を実行する。また、重畳部７５ｂは、図１９に示されている後述のステップＳ４５の処理を実行する。
【０２１３】
｛メタデータ作成部の各機能構成｝
まずは、メタデータ作成部７５ａの各機能構成について説明する。メタデータ作成部７５ａは、抽出部７５０、第１の対応領域算出部７５２、注視点特定部７５４、射影方式変換部７５６、第２の対応領域算出部７５８、領域分割部７６０、射影方式逆変換部７６２、形状変換部７６４、補正パラメータ作成部７６６、及び重畳表示メタデータ作成部７７０を有している。これらは、それぞれ第１の実施形態における、抽出部５５０、第１の対応領域算出部５５２、注視点特定部５５４、射影方式変換部５５６、第２の対応領域算出部５５８、領域分割部５６０、射影方式逆変換部５６２、形状変換部５６４、補正パラメータ作成部５６６、及び重畳表示メタデータ作成部５７０と同様の機能を有するため、これらの説明は省略する。
【０２１４】
｛重畳部の機能構成｝
続いて、重畳部７５ｂの機能構成について説明する。重畳部７５ｂは、貼付領域作成部７８２、補正部７８４、画像作成部７８６、重畳部７８８、及び射影変換部７９０を有している。これらは、それぞれ第１の実施形態における、貼付領域作成部５８２、補正部５８４、画像作成部５８６、重畳部５８８、及び射影変換部５９０を有するため、これらの説明は省略する。
【０２１５】
＜＜実施形態の処理又は動作＞＞
続いて、図３５を用いて、本実施形態の処理又は動作について説明する。図３５を用いて、撮影システムが実行する撮影方法を説明する。図３５は、本実施形態に係る撮影方法を示したシーケンス図である。なお、ステップＳ３１〜Ｓ４１の処理は、第１の実施形態のステップＳ１１〜Ｓ２１と同様の処理であるため、これらの説明を省略する。
【０２１６】
スマートフォン５では、送受信部５１が通信ネットワーク１００を介して画像処理サーバ７に、射影方式が異なる一方の画像に他方の画像を重畳するための重畳要求を示す重畳要求情報を送信する（ステップＳ４２）。この重畳要求情報には、記憶部５０００に記憶された電子フォルダ内のデータ（平面画像データ、正距円筒射影画像データ）を送信する。これにより、画像処理サーバ７の送受信部７１は、電子フォルダ内のデータを受信する。
【０２１７】
次に、画像処理サーバ７では、記憶・読出部７９が、記憶部７０００に、ステップＳ４２で受信された電子フォルダ内のデータを記憶する（ステップＳ４３）。そして、図３４に示されているメタデータ作成部７５ａが、重畳表示用メタデータの作成を行なう（ステップＳ４４）。更に、重畳部７５ｂが、重畳の処理を行なう（ステップＳ４５）。ステップＳ４４，Ｓ４５の処理は、それぞれステップＳ２２，Ｓ２３の処理と同様の内容であるため、これらの説明を省略する。
【０２１８】
次に、表示制御部７６は、スマートフォン５のディスプレイ５１７の表示領域の全体に亘って、所定領域Ｔを示す所定領域画像Ｑを表示させる所定領域画像Ｑのデータを作成する。ここでは、所定領域画像Ｑ内に、平面画像Ｐが重畳された状態の平面画像Ｐ’である重畳画像Ｓが含まれている。送受信部７１は、スマートフォン５に対して、表示制御部７６によって作成された所定領域画像Ｑのデータを送信する（ステップＳ４６）。これにより、スマートフォンの送受信部５１は、所定領域画像Ｑのデータを受信する。
【０２１９】
次に、スマートフォン５では。表示制御部５６が、ディスプレイ５１７上に、重畳画像Ｓが含まれた所定領域画像Ｑを表示させる（ステップＳ４７）。
【０２２０】
＜＜本実施形態の主な効果＞＞
以上説明したように本実施形態によれば、上記第１の実施形態と同様の効果を奏する。
【０２２１】
また、本実施形態では、連携撮影の処理はスマートフォン５で行い、重畳表示用メタデータの作成及び重畳の処理は画像処理サーバ７で行なうため、スマートフォン５の処理能力が比較的低い場合であっても、画像のずれを抑制することができるという効果を奏する。
【０２２２】
なお、スマートフォン５及び画像処理サーバによって、画像処理システムが構成されている。
【０２２３】
〔発展例〕
続いて、図３６乃至図４２を用いて、本実施形態の発展例について説明する。図３６は、補正処理の課程における画像の概念図である。ここでは、図２５に示されている平面画像Ｐの補正処理（ステップＳ３２０）の発展例について説明する。
【０２２４】
図３６に示されているように、補正  部５８４は、上述のステップＳ３２０の処理を実行することで補正画像Ｃ１を作成する。そして、補正部５８４は、予め定められている仮想カメラＩＣの視線方向（所定領域Ｔの中心点）及び画角αに基づき、所定領域Ｔに合わせて補正画像Ｃ１及び補正前の平面画像Ｐの割合を変更して合成して、新たに補正画像Ｃ２を作成する（ステップＳ３２１）。この際、補正部５８４は、平面画像Ｐの領域の中心点及び平面画像Ｐの領域の範囲を特定する画角αに対する、所定領域Ｔの中心点及び所定領域Ｔの範囲を特定する画角αに基づいて、所定領域Ｔにおいて平面画像Ｐの領域の面積が占める割合を算出する。そして、補正部５８４は、所定領域Ｔにおいて重畳画像Ｓの領域の面積が占める割合に応じて、重畳画像Ｓの明るさ値を補正する。また、場合によって、補正部５８４は、所定領域Ｔにおいて重畳画像Ｓの領域の面積が占める割合に応じて、重畳画像Ｓの色値も補正する。
【０２２５】
次に、上述のステップＳ３３０によって、画像作成部５８６が、部分立体球ＰＳに対して、補正画像Ｃ２を貼り付けることで、重畳画像Ｓを作成する。ここで、ステップＳ３２１の処理について詳細に説明する。図３７は、平面画像の明るさ及び色を補正した場合と、明るさ及び色を補正しなかった場合の所定領域画像を示す図である。
【０２２６】
平面画像Ｐの明るさ及び色を、全天球画像ＣＥの所定領域Ｔである所定領域画像Ｑに完全に合わせる補正をした場合が、図３７における右下の図である。このように、所定領域画像Ｑ内では重畳画像Ｓは完全に溶け込んだ状態になっている。一方、平面画像Ｐの明るさ及び色を、全天球画像ＣＥの所定領域Ｔである所定領域画像Ｑに全く合わせる補正をしなかった場合が、図３７における左下の図である。このように、所定領域画像Ｑ内に重畳画像Ｓが重畳されていると明確に把握することができる状態になっている。
【０２２７】
図３８は、所定領域画像における重畳画像の占める割合に応じて明るさ値及び色値の補正の程度を示した重畳画像を示す図である。図３７では、補正ありと補正なしの２段階を示したが、図３８では、５段階を示している。図３８（ａ）は、０％補正（補正なし）の重畳画像である。図３８（ｂ）は、２５％補正の重畳画像であり、所定領域画像Ｑの明るさ値及び色値が２５％で、重畳画像の明るさ値及び色値が７５％となるような合成を行なった後の重畳画像である。図３８（ｃ）は、５０％補正の重畳画像であり、所定領域画像Ｑの明るさ値及び色値が５０％で、重畳画像の明るさ値及び色値が５０％となるような合成を行なった後の重畳画像である。図３８（ｄ）は、７５％補正の重畳画像であり、所定領域画像Ｑの明るさ値及び色値が７５％で、重畳画像の明るさ値及び色値が２５％となるような合成を行なった後の重畳画像である。図３８（ｅ）は、１００％補正の重畳画像であり、所定領域画像Ｑの明るさ値及び色値が１００％で、重畳画像の明るさ値及び色値が０％となるような合成を行なった後の重畳画像である。
【０２２８】
また、補正部５８４は、所定領域Ｔにおける平面画像Ｐ’の領域の面積が占める割合が小さいほど、平面画像Ｐ’の明るさ値を所定領域画像Ｑの明るさ値に近づけるように補正する。また、補正部５８４は、所定領域Ｔにおける平面画像Ｐ’の領域の面積が占める割合が大きいほど、平面画像Ｐ’の明るさ値を補正しない明るさ値に近づけるように補正を抑制する。なお、色値も補正する場合、補正部５８４は、明るさ値と同じように、所定領域Ｔにおける平面画像Ｐ’の領域の面積が占める割合に応じて、色値を補正する。これに関して、図３９を用いて説明する。図３９は、所定領域画像における重畳画像の占める割合に応じて色補正した重畳画像を含む所定領域画像を示す図ある。図３９（ａ）、（ｂ）、（ｃ）、（ｄ）の順番で、所定領域画像Ｑにおける重畳画像Ｓ（平面画像Ｐ’）の占める割合が小さくなり、これに応じて、重畳画像Ｓに対する補正が強くなっている。即ち、重畳画像Ｓの明るさ値及び色値が、徐々に全天球画像ＣＥの明るさ値及び色値に近づいている。
【０２２９】
続いて、図４０及び図４１を用いて、仮想カメラＩＣの視線方向（所定領域Ｔの中心点）と仮想カメラＩＣの画角αと、重畳画像Ｓ（平面画像Ｐ’）との関係について説明する。図４０は、所定領域と重畳画像の領域との関係を示した図である。図４１は、所定領域画像の範囲を示した図である。
【０２３０】
図４０（ａ）に示されているように、重畳画像Ｓの領域が所定領域Ｔ１内に含まれている場合には、図４１に示されているように、所定領域Ｔ１の画像である所定領域画像Ｑ１が表示される。図４０（ｂ）に示されているように、重畳画像Ｓの領域が所定領域Ｔ２を含んでいる場合には、図４１に示されているように、所定領域Ｔ２の画像である所定領域画像Ｑ２が表示される。図４０（ｃ）に示されているように、重畳画像Ｓの中心と視線方向とがズレ量Ｇ１だけズレており、所定領域Ｔ３の約半分に重畳画像Ｓが含まれている場合には、図４１に示されているように、所定領域Ｔ３の画像である所定領域画像Ｑ３が表示される。図４０（ｄ）に示されているように、重畳画像Ｓの中心と視線方向とがズレ量Ｇ２だけズレており、所定領域４の約１／３に重畳画像Ｓが含まれている場合には、図４１に示されているように、所定領域Ｔ４の画像である所定領域画像Ｑ４が表示される。
【０２３１】
〔発展例の他の例〕
続いて、図４２を用いて、発展例の他の例について説明する。図４２は、の補正処理の過程における画像の概念図である。
【０２３２】
図４２に示されているように、補正部５８４は、補正パラメータに従って平面画像Ｐを補正した場合を補正の最大とし、補正していない平面画像Ｐを補正の最小とすることで、予め定められている仮想カメラＩＣの視線方向（所定領域Ｔの中心点）及び画角αに基づき、所定領域Ｔにおいて平面画像Ｐの領域の面積が占める割合に応じて、補正パラメータを変更する（ステップＳ３１９）。その後、補正部５８４は、上述のステップＳ３２０と同様の処理を実行することで、補正画像Ｃ２を作成する。そして、上述のステップＳ３３０によって、画像作成部５８６が、部分立体球ＰＳに対して、補正画像Ｃ２を貼り付けることで、重畳画像Ｓを作成する。
【０２３３】
上述のように、発展例では、補正画像Ｃ１及び補正前の平面画像Ｐの割合を変更して重畳することで、補正画像Ｃ２を作成したが、本他の例では、補正パラメータを変更することで、上述の発展例と同じ補正画像Ｃ２を作成した点が特徴である。
【０２３４】
＜＜発展例の主な効果＞＞
更に、特殊撮影装置１は全天球で撮影範囲が非常に広く全体で露出やホワイトバランスが最適になるように撮影される。これに対して、一般撮影装置３は撮影範囲が狭いため、その範囲において露出やホワイトバランスが最適になるように撮影されるため、両社の露出及びホワイトバランスは異なってしまう。そのため、全天球画像ＣＥに重畳画像Ｓを重畳して表示する場合に、全天球画像ＣＥの明るさが、重畳画像Ｓの明るさと異なる場合が生じる。そこで、本実施形態では、補正部５８４が、所定領域Ｔにおいて重畳画像Ｓの領域の面積が占める割合に応じて、重畳画像の明るさ値及び色値のうち少なくとも明るさ値又は色値を補正する。これにより、平面画像が全天球画像に上手く溶け込むことができるという効果を奏しつつ、一般撮影装置３で撮影された局所的に最適な露出の画像を閲覧することが出来るという効果を奏する。
【０２３５】
〔補足〕
上記実施形態では、図１４に示されているように、スマートフォン５が、正距円筒射影画像データ、平面画像データ、及び重畳表示パラメータデータを有しているが、これに限るものではない。例えば、インターネット等の通信ネットワークを介して通信可能な管理サーバが、正距円筒射影画像データ、平面画像データ、及び重畳表示パラメータデータのうち少なくとも１つを記憶してもよい。
【０２３６】
また、上記では、全天球画像に平面画像を重畳する場合について説明したが、この「重畳」には、貼り付け、嵌め込み、合成、重ね合わせ等も含まれる。
【符号の説明】
【０２３７】
１  特殊撮影装置（第１の撮影装置の一例／第２の撮影装置の一例）
３  一般撮影装置（第２の撮影装置の一例／第１の撮影装置の一例）
５  スマートフォン（通信端末の一例）
５２  受付部（受付手段の一例）
５５  画像・音処理部
５５ａ  メタデータ作成部（メタデータ作成手段の一例）
５５ｂ  重畳部
５６  表示制御部（表示制御手段の一例）
５８  近距離通信部（受信手段の一例、送信手段の一例）
５１７  ディスプレイ（表示手段の一例）
５５０  抽出部（抽出手段の一例）
５５２  第１の対応領域算出部（第１の対応領域算出手段の一例）
５５４  注視点特定部（注視点特定手段の一例）
５５６  射影方式変換部（射影方式変換手段の一例）
５５８  第２の対応領域算出部（第２の対応領域算出手段の一例）
５６０  領域分割部（領域分割手段の一例）
５６２  射影方式逆変換部（射影方式逆変換手段の一例）
５６４  形状変換部（形状変換手段の一例）
５６６  補正パラメータ作成部（補正パラメータ作成手段の一例）
５７０  重畳表示メタデータ作成部（重畳表示メタデータ作成手段の一例）
５８２  添付領域作成部（添付領域作成手段の一例）
５８４  補正部（補正手段の一例）
５８６  画像作成部（画像作成手段の一例）
５８８  画像重畳部（画像重畳手段の一例）
５９０  射影変換部（射影変換手段の一例）
５０００  記憶部（記憶手段の一例）
５００１  連携撮影装置ＤＢ（連携撮影装置手段の一例）
【先行技術文献】
【特許文献】
【０２３８】
【特許文献１】特開２０１６−９６４８７号公報
【特許文献２】特開２０１２−１７８１３５号公報
【図１】
2018109971.tif 000006
【図２】
2018109971.tif 000007
【図３】
2018109971.tif 000008
【図４】
2018109971.tif 000009
【図５】
2018109971.tif 000010
【図６】
2018109971.tif 000011
【図７】
2018109971.tif 000012
【図８】
2018109971.tif 000013
【図９】
2018109971.tif 000014
【図１０】
2018109971.tif 000015
【図１１】
2018109971.tif 000016
【図１２】
2018109971.tif 000017
【図１３】
2018109971.tif 000018
【図１４】
2018109971.tif 000019
【図１５】
2018109971.tif 000020
【図１６】
2018109971.tif 000021
【図１７】
2018109971.tif 000022
【図１８】
2018109971.tif 000023
【図１９】
2018109971.tif 000024
【図２０】
2018109971.tif 000025
【図２１】
2018109971.tif 000026
【図２２】
2018109971.tif 000027
【図２３】
2018109971.tif 000028
【図２４】
2018109971.tif 000029
【図２５】
2018109971.tif 000030
【図２６】
2018109971.tif 000031
【図２７】
2018109971.tif 000032
【図２８】
2018109971.tif 000033
【図２９】
2018109971.tif 000034
【図３０】
2018109971.tif 000035
【図３１】
2018109971.tif 000036
【図３２】
2018109971.tif 000037
【図３３】
2018109971.tif 000038
【図３４】
2018109971.tif 000039
【図３５】
2018109971.tif 000040
【図３６】
2018109971.tif 000041
【図３７】
2018109971.tif 000042
【図３８】
2018109971.tif 000043
【図３９】
2018109971.tif 000044
【図４０】
2018109971.tif 000045
【図４１】
2018109971.tif 000046
【図４２】
2018109971.tif 000047