(57)【要約】【課題】全天球画像の所定の範囲を二次元画像として再生させる場合、二次元画像データに付随した二次元音データを生成することを目的とする。【解決手段】撮影装置１によって取得された全天球画像データ２１０を表示するとともに、撮影装置１によって取得された全天球画像データ２１０に付随して取得された三次元音データ２３０を再生する通信端末５であって、表示された全天球画像におけるクロップ指定操作を受け付ける。そして、通信端末５は、全天球画像データ２１０から、クロップ範囲６１００に対応するクロップ画像データ６１０を生成するともに、三次元音データ２３０から、クロップ範囲６１００に対応する再生用音データ６５０を生成する。【選択図】図１１
2019140667.tif 000002
【特許請求の範囲】
【請求項１】
撮影装置によって取得された全天球画像を表示するとともに、前記全天球画像に付随して取得された三次元音データを再生する情報処理装置であって、
表示された前記全天球画像における所定の表示方向の指定を受け付ける受付手段と、
前記全天球画像のデータから、前記指定された表示方向に対応する二次元画像データを生成するともに、前記三次元音データから、前記指定された表示方向に対応する二次元音データを生成する生成手段と、
を備える情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、更に、
前記生成された前記二次元画像データおよび前記二次元音データを記憶する記憶手段と、
前記記憶された前記二次元画像データおよび前記二次元音データを再生する再生手段と、を備える情報処理装置。
【請求項３】
請求項１または２に記載の情報処理装置であって、更に、
前記指定された表示方向を特定する表示方向特定手段と、
前記特定された表示方向に基づいて、前記三次元音データにおける音源方向を特定する音源方向特定手段と、を備え、
前記生成手段は、前記特定された音源方向および前記三次元音データに基づいて、前記指定された表示方向に対応する二次元音データを生成する、情報処理装置。
【請求項４】
前記音源方向特定手段は、前記表示方向から等間隔に離れた二つの方向を、前記音源方向として特定し、
前記生成手段は、前記特定した二つの前記音源方向を用いて、前記二次元音データを生成する、
請求項１乃至３のいずれか一項に記載の情報処理装置。
【請求項５】
前記生成手段は、前記二次元音データと前記二次元画像データとを用いて、二次元動画を生成し、
前記記憶手段は、前記二次元動画を記憶し、
前記再生手段は、前記記憶された二次元動画を再生する請求項２乃至４のいずれか一項に記載の情報処理装置。
【請求項６】
前記三次元音データは、アンビソニックスのＢフォーマットに基づいて生成される立体音響データである、請求項１乃至５のいずれか一項に記載の情報処理装置。
【請求項７】
撮影装置によって取得された全天球画像を表示するとともに、前記全天球画像に付随して取得された三次元音データを再生する情報処理装置と、前記情報処理装置と通信ネットワークを経由して接続された外部装置とを備える情報処理システムであって、
前記情報処理装置は、
表示された前記全天球画像における所定の表示方向の指定を受け付ける受付手段と、
前記三次元音データ、および前記指定された表示方向を示す方向情報を、前記外部装置へ送信する送信手段と、を備え、
前記外部装置は、
前記三次元音データから、前記指定された表示方向に対応する二次元音データを生成する生成手段と、
を備える情報処理システム。
【請求項８】
請求項７に記載の情報処理システムであって、
前記送信手段は、前記三次元音データ、前記方向情報および前記全天球画像のデータを、前記外部装置へ送信し、
前記生成手段は、前記全天球画像のデータから、前記指定された表示方向に対応する二次元画像データを生成するともに、前記三次元音データから、前記指定された表示方向に対応する二次元音データを生成する情報処理システム。
【請求項９】
撮影装置によって取得された全天球画像を表示するとともに、前記全天球画像に付随して取得された三次元音データを再生する情報処理装置が実行するデータ生成方法であって、
表示された前記全天球画像における所定の表示方向の指定を受け付ける受付ステップと、、
前記全天球画像のデータから、前記指定された表示方向に対応する二次元画像データを生成するともに、前記三次元音データから、前記指定された表示方向に対応する二次元音データを生成する生成ステップと、
を実行するデータ生成方法。
【請求項１０】
コンピュータに請求項９に記載の方法を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理システム、データ生成方法およびプログラムに関する。
【背景技術】
【０００２】
一度の撮影で、３６０°の全天球パノラマ画像を得る特殊なデジタルカメラが提供されている。このようなデジタルカメラにおいて、静止画のみならず、立体音響データ（三次元音データ）を含む全天球動画を撮影することができる。
【０００３】
例えば、特許文献１は、全周カメラで撮影された全周動画データに対応する立体音声データから、動画映像の表示範囲に応じた立体音声を再生して出力する内容を開示している。
【０００４】
また、スマートフォン等の情報処理装置において、全天球動画の一部である二次元動画を再生することで、利用者は従来のデジタルカメラで撮影された動画と同じ平面動画を視聴することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
全天球動画の所定の範囲を二次元動画として再生させる場合、スマートフォン等の情報処理装置は、ユーザに違和感なく二次元動画を視聴させるために、二次元画像データの表示範囲に適応した二次元音データを出力する必要がある。しかし、従来の方法では、全天球画像の所定の範囲を二次元画像として表示させる場合、二次元画像データに付随した二次元音データを生成することができないという問題があった。
【課題を解決するための手段】
【０００６】
本発明に係る情報処理装置は、撮影装置によって取得された全天球画像を表示するとともに、前記全天球画像に付随して取得された三次元音データを再生する情報処理装置であって、表示された前記全天球画像における所定の表示方向の指定を受け付ける受付手段と、前記全天球画像のデータから、前記指定された表示方向に対応する二次元画像データを生成するともに、前記三次元音データから、前記指定された表示方向に対応する二次元音データを生成する生成手段と、を備える。
【発明の効果】
【０００７】
本発明によれば、全天球画像の所定の領域を二次元画像として表示させる場合、二次元画像データに付随した二次元音データを生成することができる。
【図面の簡単な説明】
【０００８】
【図１】（ａ）は撮影装置の左側面図であり、（ｂ）は撮影装置の背面図であり、（ｃ）は撮影装置の平面図であり、（ｄ）は撮影装置の底面図である。
【図２】撮影装置の使用イメージ図である。
【図３】（ａ）は撮影装置で撮影された半球画像（前）、（ｂ）は撮影装置で撮影された半球画像（後）、（ｃ）は正距円筒図法により表された画像を示した図である。
【図４】（ａ）は正距円筒射影画像で球を被う状態を示した概念図、（ｂ）は全天球画像を示した図である。
【図５】全天球画像を３次元の立体球とした場合の仮想カメラおよび所定領域の位置を示した図である。
【図６】（ａ）は図５の立体斜視図、（ｂ）は通信端末のディスプレイに所定領域の画像が表示されている状態を示す図である。
【図７】所定領域情報と所定領域Ｔの画像との関係を示した図である。
【図８】第１の実施形態に係る情報処理システムのシステム構成の一例を示す図である。
【図９】第１の実施形態に係る撮影装置のハードウエア構成の一例を示す図である。
【図１０】第１の実施形態に係る通信端末のハードウエア構成の一例を示す図である。
【図１１】第１の実施形態に係る情報処理システムの機能構成の一例を示す図である。
【図１２】第１の実施形態に係る撮影データの一例を示す図である。
【図１３】第１の実施形態に係る画像・音処理部の詳細な機能構成の一例を示す図である。
【図１４】第１の実施形態に係る再生用データの一例を示す図である。
【図１５】第１の実施形態に係る撮影装置における撮影データの記録処理の一例を示すフローチャートである。
【図１６】アンビソニックスを採用する場合における音データの集音から再生までの処理の一例を示すフローチャートである。
【図１７】三次元音データの座標軸を説明する図である。
【図１８】第１の実施形態に係る情報処理システムにおける再生用データの生成処理の一例を示すシーケンス図である。
【図１９】第１の実施形態に係る通信端末における全天球画像データの表示処理を説明するための概略図である。
【図２０】第１の実施形態に係る通信端末における表示画像に対するクロップ処理を説明するための概略図である。
【図２１】第１の実施形態に係る通信端末における全天球画像におけるクロップ画像の位置の算出処理を説明するための概略図である。
【図２２】第１の実施形態におけるクロップ画像の座標情報の一例を示す図である。
【図２３】第１の実施形態に係る再生用音データの音源方向の一例を説明するための概略図である。
【図２４】第１の実施形態における再生用音データの生成方法の一例を示す概略図である。
【図２５】第１の実施形態における再生用音データを生成するためのパラメータの一例を示す図である。
【図２６】第２の実施形態に係る情報処理システムのシステム構成の一例を示す図である。
【図２７】第２の実施形態に係る画像処理サーバのハードウエア構成の一例を示す図である。
【図２８】第２の実施形態に係る情報処理システムの機能構成の一例を示す図である。
【図２９】第２の実施形態に係る画像・音処理部の詳細な機能構成の一例を示す図である。
【図３０】第２の実施形態に係る情報処理システムにおける再生用データの生成処理の一例を示すシーケンス図である。
【図３１】第１の実施形態の変形例１に係る撮影データの一例を示す図である。
【図３２】第１の実施形態の変形例１に係る再生用データの一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら、発明を実施するための形態を説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。
【００１０】
●実施形態の概要●
以下、実施形態の概要について説明する。まずは、図１乃至図７を用いて、全天球画像の生成方法について説明する。
【００１１】
まず、図１を用いて、撮影装置１の外観を説明する。撮影装置１は、全天球（３６０°）パノラマ画像の元になる撮影画像を得るためのデジタルカメラである。図１（ａ）は撮影装置の左側面図であり、図１（ｂ）は撮影装置の背面図であり、図１（ｃ）は撮影装置の平面図であり、図１（ｄ）は撮影装置の底面図である。
【００１２】
図１（ａ）、図１（ｂ）、図１（ｃ）、図１（ｄ）に示すように、撮影装置１の上部には、正面側（前側）に魚眼型のレンズ１０２ａおよび背面側（後側）に魚眼型のレンズ１０２ｂが設けられている。撮影装置１の内部には、後述の撮像素子（画像センサ）１０３ａ，１０３ｂが設けられている。撮影装置１は、それぞれレンズ１０２ａ、１０２ｂを介して被写体や風景を撮影することで、半球画像（画角１８０°以上）を得ることができる。撮影装置１の正面側と反対側の面には、シャッターボタン１１５ａが設けられている。また、撮影装置１の側面には、電源ボタン１１５ｂ、Ｗｉ−Ｆｉ（Wireless Fidelity（登録商標））ボタン１１５ｃおよび撮影モード切替ボタン１１５ｄが設けられている。電源ボタン１１５ｂ、およびＷｉ−Ｆｉボタン１１５ｃは、いずれも押下されるたびに、オンとオフが切り替えられる。また、撮影モード切替ボタン１１５ｄは、押下されるたびに、静止画の撮影モードと動画の撮影モードが切り替えられる。なお、シャッターボタン１１５ａ、電源ボタン１１５ｂ、Ｗｉ−Ｆｉボタン１１５ｃおよび撮影モード切替ボタン１１５ｄは、操作部１１５の一部である。操作部１１５は、これらのボタンに限られない。
【００１３】
また、撮影装置１の底部１５０の中央には、カメラ用三脚に撮影装置１を取り付けるための三脚ねじ穴１５１が設けられている。また、底部１５０の左端側には、Ｍｉｃｒｏ  ＵＳＢ（Universal Serial Bus（登録商標））端子１５２が設けられている。底部１５０の右端側には、ＨＤＭＩ（High-Definition Multimedia Interface（登録商標））端子１５３が設けられている。
【００１４】
次に、図２を用いて、撮影装置１の使用状況を説明する。図２は、撮影装置の使用イメージ図である。撮影装置１は、図２に示すように、例えば、利用者が手に持って利用者の周りの被写体を撮影するために用いられる。この場合、図１に示した撮像素子１０３ａおよび撮像素子１０３ｂによって、それぞれ利用者の周りの被写体が撮像されることで、二つの半球画像を得ることができる。
【００１５】
次に、図３および図４を用いて、撮影装置１で撮影された画像から正距円筒射影画像ＥＣおよび全天球画像ＣＥが作成されるまでの処理の概略を説明する。図３（ａ）は撮影装置で撮影された半球画像（前側）、図３（ｂ）は撮影装置で撮影された半球画像（後側）、図３（ｃ）は正距円筒図法により表された画像（以下、「正距円筒射影画像」という）を示した図である。図４（ａ）は正距円筒射影画像で球を被う状態を示した概念図、図４（ｂ）は全天球画像を示した図である。
【００１６】
図３（ａ）に示すように、撮像素子１０３ａによって得られた画像は、後述のレンズ１０２ａによって湾曲した半球画像（前側）となる。また、図３（ｂ）に示すように、撮像素子１０３ｂによって得られた画像は、後述のレンズ１０２ｂによって湾曲した半球画像（後側）となる。そして、撮影装置１は、半球画像（前側）と１８０度反転された半球画像（後側）とを合成して、図３（ｃ）に示すような正距円筒射影画像ＥＣを作成する。
【００１７】
そして、撮影装置１は、ＯｐｅｎＧＬＥＳ（Open Graphics Library for Embedded Systems）を利用することで、図４（ａ）に示すように、球面を覆うように正距円筒射影画像を貼り付け、図４（ｂ）に示すような全天球画像ＣＥを作成する。このように、全天球画像ＣＥは、正距円筒射影画像ＥＣが球の中心を向いた画像として表される。なお、ＯｐｅｎＧＬＥＳは、２Ｄ（2-Dimensions）および３Ｄ（3-Dimensions）のデータを視覚化するために使用するグラフィックスライブラリである。また、全天球画像ＣＥは、静止画であっても動画であってもよい。
【００１８】
以上のように、全天球画像ＣＥは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、撮影装置１は、所定のディスプレイに、全天球画像ＣＥの一部の所定領域（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示させることで、人間に違和感を与えない表示をすることができる。これに関して、図５および図６を用いて説明する。
【００１９】
図５は、全天球画像を三次元の立体球とした場合の仮想カメラおよび所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球画像ＣＥに対して、その画像を見るユーザの視点の位置に相当するものである。また、図６（ａ）は図５の立体斜視図、図６（ｂ）はディスプレイに表示された場合の所定領域画像を表す図である。また、図６（ａ）は、図４に示した全天球画像ＣＥを、三次元の立体球ＣＳで表している。このように生成された全天球画像ＣＥが、立体球ＣＳであるとした場合、図５に示すように、仮想カメラＩＣは、全天球画像ＣＥの内部に位置している。全天球画像ＣＥにおける所定領域Ｔは、仮想カメラＩＣの撮影領域であり、全天球画像ＣＥを含む三次元の仮想空間における仮想カメラＩＣの撮影方向と画角を示す所定領域情報によって特定される。
【００２０】
そして、図６（ａ）に示す所定領域画像Ｑは、図６（ｂ）に示すように、所定のディスプレイに、仮想カメラＩＣの撮影領域の画像として表示される。図６（ｂ）に示す画像は、初期設定（デフォルト）された所定領域情報によって表された所定領域画像である。以下、仮想カメラＩＣの撮影方向（ｅａ，ａａ）と画角（α）を用いて説明する。
【００２１】
図７を用いて、所定領域情報と所定領域Ｔの画像の関係について説明する。なお、図７は、所定領域情報と所定領域Ｔの画像の関係との関係を示した図である。「ｅａ」はｅｌｅｖａｔｉｏｎ ａｎｇｌｅ、「ａａ」はａｚｉｍｕｔｈ ａｎｇｌｅ、「α」は画角（Angle）を示す。すなわち、仮想カメラＩＣの姿勢は、撮影方向（ｅａ，ａａ）で示される仮想カメラＩＣの注視点が、仮想カメラＩＣの撮影領域である所定領域Ｔの中心点ＣＰとなるように変更される。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。ｆは、仮想カメラＩＣから中心点ＣＰまでの距離である。Ｌは所定領域Ｔの任意の頂点と中心点ＣＰとの距離である（２Ｌは対角線）。そして、図７では、一般的に以下の（式１）で示される三角関数が成り立つ。
【００２２】
【数１】
2019140667.tif 000003
【００２３】
●第１の実施形態●
続いて、図８乃至図２５を用いて、本発明の第１の実施形態について説明する。なお、以下の説明において、撮影装置１によって動画が撮影される例を説明するが、撮影装置１によって静止画が撮影される場合も同様である。この場合、撮影装置１によって撮影された静止画に対して数秒程度の音データが付随して取得される。
【００２４】
●システム構成
まず、図８を用いて、本実施形態の情報処理システムの構成の概略について説明する。図８は、第１の実施形態に係る情報処理システムのシステム構成の一例を示す図である。図８に示す情報処理システムは、撮影装置１で撮影された全天球画像の所定の領域を二次元画像として通信端末５に表示させる場合、二次元画像データに付随した二次元音データを生成することができるシステムである。
【００２５】
第１の実施形態に係る情報処理システムは、撮影装置１および通信端末５によって構成されている。撮影装置１は、上述のように、被写体や風景等を撮影して全天球（パノラマ）画像の元になる二つの半球画像を得るための特殊なデジタルカメラである。
【００２６】
通信端末５は、Ｗｉ−Ｆｉ（Wireless Fidelity（登録商標））、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near field communication）等の近距離無線通信技術を利用して、撮影装置１と無線通信を行なうことができるスマートフォンである。また、通信端末５は、自装置に設けられた後述のディスプレイ５１７に、撮影装置１から取得した画像（静止画または動画）を表示することができる。通信端末５は、情報処理装置の一例である。
【００２７】
なお、通信端末５は、近距離無線通信技術を利用せずに、有線ケーブルによって撮影装置１と通信を行なうようにしてもよい。また、通信端末５は、スマートフォンのみならず、タブレット型ＰＣ（Personal Computer:パーソナルコンピュータ）、ノートＰＣまたはデスクトップＰＣ等であってもよい。
【００２８】
●ハードウエア構成
続いて、図９および図１０を用いて、第１の実施形態における撮影装置１および通信端末５のハードウエア構成を説明する。なお、図９および図１０に示すハードウエア構成は、各実施形態において同様の構成を備えていてもよく、必要に応じて構成要素が追加または削除されてもよい。
【００２９】
〇撮影装置のハードウエア構成〇
まず、図９を用いて、撮影装置１のハードウエア構成を説明する。図９は、第１の実施形態に係る撮影装置のハードウエア構成の一例を示す図である。以下では、撮影装置１は、二つの撮像素子を使用した全天球（全方位）撮影装置とするが、撮像素子は二つ以上いくつでもよい。また、撮影装置１は、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位の撮像ユニットを取り付けることで、実質的に撮影装置１と同じ機能を有するようにしてもよい。
【００３０】
撮影装置１は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイクロフォン１０８ａ〜マイクロフォン１０８ｄ、音処理ユニット１０９、ＣＰＵ（Central Processing Unit）１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信Ｉ／Ｆ１１７、アンテナ１１７ａおよび電子コンパス１１８によって構成されている。
【００３１】
このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂと、各広角レンズに対応させて設けられている二つの撮像素子１０３ａ，１０３ｂを備えている。撮像素子１０３ａ，１０３ｂは、魚眼レンズ１０２ａ，１０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサ等の画像センサ、この画像センサの水平または垂直同期信号や画素クロック等を生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータ等が設定されるレジスタ群等を有している。
【００３２】
撮像素子１０３ａ，１０３ｂは、それぞれ画像処理ユニット１０４とパラレルＩ／Ｆバスで接続されている。また、撮像素子１０３ａ，１０３ｂは、それぞれ撮像制御ユニット１０５とシリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４、撮像制御ユニット１０５および音処理ユニット１０９は、バス１１０を介してＣＰＵ１１１と接続される。さらに、バス１１０は、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信Ｉ／Ｆ１１７および電子コンパス１１８等と接続される。
【００３３】
画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込む。そして、画像処理ユニット１０４は、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図３（ｃ）に示したような正距円筒射影画像のデータを作成する。
【００３４】
撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。
【００３５】
また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。撮影装置１は、ディスプレイ（例えば、通信端末５のディスプレイ５１７）によるプレビュー表示機能、静止画や動画の表示に対応する機能を持つ場合もある。動画の場合は、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。
【００３６】
また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態において、撮影装置１は、ディスプレイが設けられていないが、表示部を設けてもよい。
【００３７】
マイクロフォン１０８ａ〜マイクロフォン１０８ｄは、それぞれ、撮影装置１の周辺環境から集音し、集音した音を音（信号）データに変換する。音処理ユニット１０９は、マイクロフォン１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。なお、マイクロフォン１０８は、所定の配置構成を有する４つのマイクロフォン１０８ａ〜１０８ｄを含み構成されており、好ましくは、アンビソニックス・マイクロフォンである。マイクロフォン１０８は、本実施形態において、それぞれ周辺環境から集音する集音手段を構成する。また、図２は、マイクロフォン１０８が撮影装置１に内蔵される場合のみを示すが、マイクロフォン１０８は、撮影装置１に外付けされてもよい。さらに、マイクロフォン１０８の数は、４つに限られない。
【００３８】
ＣＰＵ１１１は、撮影装置１の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３およびＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特に、ＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。
【００３９】
操作部１１５は、シャッターボタン１１５ａ等の操作ボタンの総称である。ユーザは、操作部１１５を操作することで、種々の撮影モードや撮影条件等を入力する。
【００４０】
ネットワークＩ／Ｆ１１６は、ＳＤカード等の外付けのメディアまたはパーソナルコンピュータ等とのインターフェース回路（ＵＳＢＩ／Ｆ等）の総称である。ネットワークＩ／Ｆ１１６は、無線、有線を問わない。ＤＲＡＭ１１４に記憶された正距円筒射影画像のデータは、ネットワークＩ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／Ｆ１１６を介して通信端末５等の外部端末（装置）に送信されたりする。
【００４１】
通信Ｉ／Ｆ１１７は、撮影装置１に設けられたアンテナ１１７ａを介して、Ｗｉ−Ｆｉ（登録商標）、ＮＦＣまたはＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信技術によって、通信端末５等の外部端末（装置）と通信を行う。通信Ｉ／Ｆ１１７は、正距円筒射影画像のデータを通信端末５等の外部端末（装置）に送信することができる。
【００４２】
電子コンパス１１８は、地球の磁気から撮影装置１の方位を算出し、方位情報を出力する。方位情報は、Ｅｘｉｆに沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報は、画像の撮影日時、および画像データのデータ容量の各データを含む。
【００４３】
〇通信端末のハードウエア構成〇
続いて、図１０を用いて、通信端末５のハードウエア構成について説明する。図１０は、第１の実施形態に係る通信端末のハードウエア構成の一例を示す図である。通信端末５は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）５０４、ＣＭＯＳセンサ５０５、撮像素子Ｉ／Ｆ５１３ａ、加速度・方位センサ５０６、メディアＩ／Ｆ５０８およびＧＰＳ受信部５０９を備えている。
【００４４】
ＣＰＵ５０１は、通信端末５全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ(Initial Program Loader)等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＥＥＰＲＯＭ５０４は、ＣＰＵ５０１の制御にしたがって、通信端末用プログラム等の各種データの読み出しまたは書き込みを行う。
【００４５】
ＣＭＯＳセンサ５０５は、ＣＰＵ５０１の制御に従って被写体（主に自画像）を撮像し画像データを得る。撮像素子Ｉ／Ｆ５１３ａは、ＣＭＯＳセンサ５１２の駆動を制御する回路である。加速度・方位センサ５０６は、地磁気を検知する電子磁気コンパス、ジャイロコンパスおよび加速度センサ等の各種センサである。メディアＩ／Ｆ５０８は、フラッシュメモリ等の記録メディア５０７に対するデータの読み出しまたは書き込み（記憶）を制御する。ＧＰＳ受信部５０９は、ＧＰＳ衛星からＧＰＳ信号を受信する。
【００４６】
また、通信端末５は、遠距離通信回路５１１、アンテナ５１１ａ、ＣＭＯＳセンサ５１２、撮像素子Ｉ／Ｆ５１３ｂ、マイク５１４、スピーカ５１５、音入出力Ｉ／Ｆ５１６、ディスプレイ５１７、外部機器接続Ｉ／Ｆ５１８、近距離通信回路５１９、近距離通信回路５１９のアンテナ５１９ａおよびタッチパネル５２１を備えている。
【００４７】
遠距離通信回路５１１は、後述する通信ネットワーク１００を介して、他の機器と通信する回路である。ＣＭＯＳセンサ５１２は、ＣＰＵ５０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ５１３ｂは、ＣＭＯＳセンサ５１２の駆動を制御する回路である。マイク５１４は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ５１６は、ＣＰＵ５０１の制御に従ってマイク５１４およびスピーカ５１５との間で音信号の入出力を処理する回路である。
【００４８】
ディスプレイ５１７は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬ等の表示手段の一種である。外部機器接続Ｉ／Ｆ５１８は、各種の外部機器を接続するためのインターフェースである。近距離通信回路５１９は、Ｗｉ−Ｆｉ、ＮＦＣ、またはＢｌｕｅｔｏｏｔｈ等の通信回路である。タッチパネル５２１は、利用者がディスプレイ５１７を押下することで、通信端末５を操作する入力手段の一種である。
【００４９】
また、通信端末５は、バスライン５１０を備えている。バスライン５１０は、ＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【００５０】
なお、上記各プログラムが記憶されたＨＤ(Hard Disk)やＣＤ−ＲＯＭ等の記録媒体は、いずれもプログラム製品(Program Product)として、国内または国外へ提供されることができる。
【００５１】
●機能構成
続いて、第１の実施形態に係る装置および端末の機能構成について説明する。図１１は、第１の実施形態に係る情報処理システムの機能構成の一例を示す図である。
【００５２】
〇撮影装置の機能構成〇
まず、図１１を用いて、撮影装置１の機能構成について説明する。撮影装置１によって実現される機能は、通信部１１、受付部１２、撮像部１３、集音部１４、センサ情報取得部１５、判断部１６、画像・音処理部１７、記憶・読出部１８および記憶部１０００を含む。
【００５３】
通信部１１は、通信端末５等の外部装置と、Ｗｉ−Ｆｉ（登録商標）等の近距離無線通信技術によって通信を行う機能である。通信部１１は、主に、図９に示したＣＰＵ１１１の処理、並びに通信Ｉ／Ｆ１１７およびアンテナ１１７ａによって実現される。
【００５４】
受付部１２は、利用者からの操作入力を受け付ける機能である。受付部１２は、主に、図９に示した操作部１１５およびＣＰＵ１１１の処理によって実現される。
【００５５】
撮像部１３は、被写体や風景画像等を撮像し、撮影画像データを得る機能である。撮影画像データは、図３（ａ）、（ｂ）に示したように、全天球画像データの元になる二つの半球画像データである。撮影画像データは、静止画のみならず、動画であってもよい。撮像部１３は、主に、図９に示した撮像ユニット１０１、画像処理ユニット１０４および撮像制御ユニット１０５、並びにＣＰＵ１１１の処理によって実現される。
【００５６】
集音部１４は、撮影装置１の周囲の音を集音する機能である。集音部１４は、主に、図９に示したマイクロフォン１０８および音処理ユニット１０９、並びにＣＰＵ１１１の処理によって実現される。集音部１４は、図９に示した複数のマイクロフォン１０８（１０８ａ〜１０８ｄ）を用いて集音された集音データを取得する。
【００５７】
センサ情報取得部１５は、電子コンパス１１８等のセンサから、各方位（方位角、磁北）の方向等のセンサ検出結果情報を取得する機能である。計測される各方位の方向等のセンサ検出結果情報は、撮影装置１の所定時点の姿勢を示すものである。センサ情報取得部１５は、主に、図９にした電子コンパス１１８およびＣＰＵ１１１の処理によって実現される。
【００５８】
判断部１６は、図９に示したＣＰＵ１１１の処理によって実現され、各種判断を行う機能である。
【００５９】
画像・音処理部１７は、撮像部１３によって得られた撮影画像データ、または集音部１４によって得られた音データに対して、各種処理を行う機能である。画像・音処理部１７は、例えば、二つの撮像素子１０３ａ、１０３ｂのそれぞれによって得られた二つの半球画像データ（図３（ａ）、（ｂ））に基づいて、正距円筒射影画像データ（図３（ｃ））を作成する。また、画像・音処理部１７は、例えば、集音部１４によって得られた音データに基づいて、三次元音データ２３０を作成する。画像・音処理部１７は、主に、図９に示したＣＰＵ１１１からの命令によって実現される。
【００６０】
記憶・読出部１８は、記憶部１０００に各種データを記憶させ、または記憶部１０００から各種データを読み出す機能である。記憶・読出部１８は、主に、図９に示したＣＰＵ１１１の処理によって実現される。記憶部１０００は、主に、図９に示したＲＯＭ１１２、ＳＲＡＭ１１３およびＤＲＡＭ１１４によって実現される。また、記憶部１０００は、撮影データファイル２００を記憶している。
【００６１】
〇撮影データファイル
ここで、記憶部１０００に記憶されたデータの詳細について説明する。図１２は、第１の実施形態に係る撮影データファイルのデータ構造の一例を示す図である。撮影データファイル２００は、撮影装置１によって被写体が撮影されて取得された画像データおよび音データを記憶したファイルである。図１２に示す撮影データファイル２００は、全天球画像データ２１０のチャンネル、傾斜角データ２５０のチャンネル、音データ２２０のチャンネルおよび三次元音データ２３０のチャンネルを含む。撮影データファイル２００は、撮影装置１の内部におけるデータの伝送路としてのチャンネルごとに各データを記憶することによって、全天球画像データ２１０、音データ２２０、三次元音データ２３０および傾斜角データ２５０を単一ファイルで記憶することができる。
【００６２】
全天球画像データ２１０は、動画形式の一つであるＭＰＥＧ方式で記録され、ＧＯＰ（Group Of Picture）と呼ばれる単位で符号化されている。ここで、ＧＯＰは、少なくとも１つの基準フレーム（ＭＰＥＧでは、Ｉピクチャ）を含み構成される一群のフレーム集合の単位をいう。全天球画像データ２１０は、例えば、ＭＰＥＧ４  ＡＶＣ／Ｈ．２６４のメディアデータである。
【００６３】
音データ２２０、三次元音データ２３０および傾斜角データ２５０は、ＧＯＰに対応する時間区間で区切られて記録されている。音データ２２０、三次元音データ２３０および傾斜角データ２５０は、記録開始を基準として、音データ２２０、三次元音データ２３０および傾斜角データ２５０の記録された時間が一致するように関連づけられている。したがって、傾斜角データ２５０と音データ２２０と三次元音データ２３０は、記録開始からの経過時間を一致させることが可能となる。
【００６４】
音データ２２０は、マイクロフォン１０８によって集音された音信号に基づいて生成される音データである。音データ２２０は、複数のマイクロフォン１０８ａ〜１０８ｄのチャンネルごとに記録される。音データ２２０は、例えば、後述するアンビソニックのＡフォーマットに基づいて生成される。
【００６５】
三次元音データ２３０は、後述するアンビソニックスのＢフォーマットに基づいて生成される立体音響データである。三次元音データ２３０は、複数のマイクロフォン１０８ａ〜１０８ｄのチャンネルごとに記憶された音データ２２０を用いて生成される。三次元音データ２３０の生成方法の詳細は、後述する。
【００６６】
音データ２２０および三次元音データ２３０は、例えば、ＡＡＣ−ＬＣ（ＡＡＣ  Ｌｏｗ  Ｃｏｍｐｌｅｘｉｔｙ）およびＬｉｎｅａｒ  ＰＣＭ（Ｐｕｌｓｅ  Ｃｏｄｅ  Ｍｏｄｕｌａｔｉｏｎ）方式等の非圧縮音声フォーマットによって記録されている。なお、音データ２２０および三次元音データ２３０は、ＭＰ３（ＭＰＥＧ  Ｌａｙｅｒ  ３）等の圧縮音声フォーマットとして記録されていてもよい。なお、撮影データファイル２００は、音データ２２０および三次元音データ２３０の少なくとも一方を含んでいればよい。これは、先に示したように、三次元音データ２３０は、音データ２２０により生成されるものであるためである。例えば、音データ２２０のみが記録されている場合は、必要に応じて、音データ２２０から三次元音データ２３０を生成すればよいため、データ量の削減に寄与する。また、三次元音データ２３０のみが記録されている場合は、音データ２２０から生成する必要がなく、さらにデータ量の削減に寄与する。
【００６７】
傾斜角データ２５０は、撮影装置１の姿勢情報を含むメタデータである。撮影装置１の姿勢情報は、撮影装置１の所定時点における姿勢を示すデータである。傾斜角データ２５０は、全天球画像の座標系における撮影装置１の向き方向を、ｐｉｔｃｈ、ｒｏｌｌ、Ｙａｗで示される三軸のデータとして記述している。
【００６８】
なお、全天球画像データ２１０、音データ２２０、三次元音データ２３０および傾斜角データ２５０は、単一のファイル２００として保存されるものとするが、特に限定されるものではなく、別々のファイルとして保存されてもよい。また、撮影データファイル２００は、フレームの単位で、全天球画像データ２１０、音データ２２０、三次元音データ２３０および傾斜角データ２５０を関連づけた構成であってもよい。
【００６９】
〇通信端末の機能構成〇
次に、図１１を用いて、通信端末５の機能構成について説明する。通信端末５により実現される機能は、通信部５１、受付部５２、表示制御部５３、音再生部５４、判断部５５、画像・音処理部５６、記憶・読出部５７および記憶部５０００を含む。通信端末５は、全天球動画を再生するための専用のアプリケーションプログラムをインストールしている。通信端末５は、例えば、インストールされたアプリケーションプログラムをＣＰＵ５０１が実行することによって、本発明に係るデータ生成方法を実現する。
【００７０】
通信部５１は、撮影装置１等の外部装置と、Ｗｉ−Ｆｉ（登録商標）等による近距離無線通信技術によって通信を行う機能である。通信部５１は、主に、図１０に示したＣＰＵ５０１の処理、並びに近距離通信回路５１９およびアンテナ５１９ａによって実現される。
【００７１】
受付部５２は、利用者から各種選択または入力を受け付ける機能である。受付部５２は、主に、タッチパネル５２１およびＣＰＵ５０１の処理によって実現される。なお、タッチパネル５２１は、ディスプレイ５１７と共用であってもよい。また、受付部５２は、タッチパネル以外の入力手段によって実現されてもよい。受付部５２は、受付手段の一例である。
【００７２】
表示制御部５３は、通信端末５のディスプレイ５１７に各種画像を表示させる（再生する）ための制御を行う機能である。画像表示方法は、特に限定されるものではなく、全天球画像をそのまま表示させてもよいし、全天球画像の所定画角に対応する画像範囲を切り出して表示させてもよい。表示制御部５３は、例えば、再生用データ生成部６３によって生成されたクロップ画像データ６１０を再生する。表示制御部５３は、主に、図１０に示したＣＰＵ５０１の処理によって実現される。表示制御部５３は、二次元画像データを再生する再生手段の一例である。また、表示制御部５３は、二次元動画を再生する再生手段の一例である。
【００７３】
音再生部５４は、通信端末５のスピーカ５１５から音データを再生させるための制御を行う機能である。音再生部５４は、再生用データ生成部６３によって生成された再生用音データ６５０を再生する。音再生部５４は、主に、図１０に示したＣＰＵ５０１の処理によって実現される。音再生部５４は、二次元音データを再生する再生手段の一例である。また、音再生部５４は、二次元動画を再生する再生手段の一例である。
【００７４】
判断部５５は、主に、図１０に示したＣＰＵ５０１の処理によって実現され、各種判断を行う。
【００７５】
画像・音処理部５６は、撮影装置１から取得した全天球画像データ２１０および音データ（三次元音データ２３０または後述する再生用音データ６５０）を、通信端末５で再生するための各種処理を行う機能である。画像・音処理部５６は、主に、図１０に示したＣＰＵ５０１からの命令によって実現される。
【００７６】
記憶・読出部５７は、記憶部５０００に各種データを記憶させ、または記憶部５０００から各種データを読み出す機能である。記憶・読出部５７は、主に、図１０に示したＣＰＵ５０１の処理によって実現される。記憶部５０００は、主に、図１０に示したＲＯＭ５０２、ＥＥＰＲＯＭ５０４および記録メディア５０７によって実現される。また、記憶部５０００は、後述する再生用データファイル６００を記憶している。記憶部５００は、記憶手段の一例である。
【００７７】
〇画像・音処理部の詳細な機能構成
ここで、図１３を用いて、画像・音処理部５６の機能構成について詳細に説明する。図１３は、第１の実施形態に係る画像・音処理部の詳細な機能構成の一例を示す図である。画像・音処理部５６は、画像データ管理部６１、音データ管理部６２および再生用データ生成部６３を有する。
【００７８】
画像データ管理部６１は、全天球画像データ２１０の表示範囲を管理、制御、保持する機能である。画像データ管理部６１は、例えば、通信端末５の利用者によって指定された全天球画像データ２１０に含まれる所定の領域であるクロップ画像データ６１０（二次元画像データの一例）の位置または表示方向を特定する。クロップ画像データ６１０の位置または表示方向は、例えば、クロップ画像データ６１０の座標情報である。画像データ管理部６１は、主に、図１０に示したＣＰＵ５０１の処理によって実現される。画像データ管理部６１は、表示方向特定手段の一例である。
【００７９】
音データ管理部６２は、クロップ画像データ６１０に対応する再生用音データ６５０を管理、制御、保持する機能である。音データ管理部６２は、画像データ管理部６１によって特定されたクロップ画像データ６１０の位置または表示方向に基づいて、三次元音データ２３０における音源方向を特定する。音データ管理部６２は、主に、図１０に示したＣＰＵ５０１の処理によって実現される。音データ管理部６２は、音源方向特定手段の一例である。
【００８０】
再生用データ生成部６３は、撮影装置１から受信した撮影データファイル２００を用いて、再生用データファイル６００を生成する機能である。再生用データ生成部６３は、例えば、全天球画像データ２１０からクロップ画像データ６１０を生成するとともに、三次元音データ２３０から再生用音データ６５０を生成する。再生用データ生成部６３は、主に、図１０に示したＣＰＵ５０１の処理によって実現される。再生用データ生成部６３は、生成手段の一例である。
【００８１】
〇再生用データファイル
ここで、記憶部５０００に記憶されたデータの詳細について説明する。図１４は、第１の実施形態に係る再生用データの一例を示す図である。図１４に示す再生用データファイル６００は、通信端末５において、全天球動画を二次元動画として再生するためのメディアデータである。
【００８２】
再生用データファイル６００は、１フレームごとに、クロップ画像データ６１０と、再生用音データ６５０を関連づけて記憶している。クロップ画像データ６１０は、通信端末５に表示された全天球画像から、利用者によってクロップ処理された画像データである。クロップ処理は、全天球画像データの一部である所定の領域を切り出す（クロップする）処理である。所定の領域は、ユーザによる特定の入力操作によって指定された、全天球画像データの一部の領域である。クロップ画像データ６１０は、二次元画像データの一例である。
【００８３】
再生用音データ６５０は、クロップ画像データ６１０の全天球画像データにおける位置に対応する音データである。再生用音データ６５０は、左右（ＬとＲ）の二つのチャンネルの音データを有する。再生用音データ６５０は、これらの二つのチャンネルの音データ（ＬとＲ）を合成して生成されたステレオフォニックス再生のためのステレオ音データである。再生用音データ６５０は、二次元音データの一例である。
【００８４】
●撮影データの記録処理
図１５は、第１の実施形態に係る撮影装置における撮影データの記録処理の一例を示すフローチャートである。図１５に示す処理は、例えば、撮影装置１の筐体に設けられる操作部１１５の押下といった、記録開始の指示を行うための特定の動作に応答して開始される。
【００８５】
ステップＳ１０１において、撮影装置１の撮像部１３は、撮像素子１０３ａ，１０３ｂを用いて撮像された画像データを取得する。撮像部１３によって取得される画像データは、例えば、図３（ａ）、（ｂ）に示した二つの半球画像データである。
【００８６】
ステップＳ１０２において、撮影装置１の画像・音処理部１７は、ステップＳ１０１で取得した画像データに画像処理を施す。画像・音処理部１７は、例えば、取得された二つの半球画像データ（図３（ａ）、（ｂ））に基づいて、正距円筒射影画像データ（図３（ｃ））を生成する。なお、撮影装置１は、フレーム集合の単位で画像データの取得および画像処理が行うものとする。
【００８７】
撮影装置１は、図１５に示す処理を開始した場合、ステップＳ１０１およびステップＳ１０２の処理と並行して、ステップＳ１０３およびステップＳ１０４の処理を実行する。
【００８８】
ステップＳ１０３において、撮影装置１の集音部１４は、マイクロフォン１０８ａ〜１０８ｄから音処理ユニット１０９を介して、マイクロフォン１０８ごとに集音された集音データを取得する。ステップＳ１０４において、撮影装置１の画像・音処理部１７は、ステップＳ１０３で取得した集音データに音処理を施す。画像・音処理部１７は、例えば、マイクロフォン１０８ごとに集音された集音データを、音処理ユニット１０９を用いて、アンビソニックスのＡ−フォーマットに対応する音データ２２０に変換する。なお、ここでは、撮影装置１は、フレーム集合の単位に対応する時間区間の集音データの取得および音処理が行われるものとする。
【００８９】
ステップＳ１０５において、撮影装置１のセンサ情報取得部１５は、電子コンパス１１８から、ステップＳ１０１およびステップＳ１０３での画像データおよび音データの記録時のセンサ検出結果情報を取得する。ステップＳ１０６において、撮影装置１は、電子コンパス１１８を用いて取得したセンサ検出結果情報に基づいて、記録時の撮影装置１の傾斜角および方位を算出する。
【００９０】
ステップＳ１０７において、撮影装置１の画像・音処理部１７は、音データ２２０を用いて、三次元音データ２３０を生成する。三次元音データ２３０の生成方法の詳細は、後述する。
【００９１】
ステップＳ１０８において、撮影装置１の記憶・読出部１８は、記憶部１０００に、全天球画像データ２１０、三次元音データ２３０および傾斜角データ２５０を関連づけて、撮影データファイル２００として記憶させる。撮影データファイル２００は、フレーム集合分の全天球画像データ２１０、三次元音データ２３０および傾斜角データ２５０をそれぞれ関連づけて記録する。なお、図１２に示したように、撮影データファイル２００は、音データ２２０が記憶されていてもよい。
【００９２】
ステップＳ１０９において、撮影装置１は、記録終了の指示を受け付けたか否かを判定する。撮影装置１は、記録終了の指示をまだ受け付けていないと判定された場合（ＮＯ）、ステップＳ１０１およびステップＳ１０３の処理を繰り返して、次のフレーム集合に対する処理を進める。一方、撮影装置１は、記録終了の指示を受け付けたと判定された場合（ＹＥＳ）、ファイルを閉じて、本処理を終了させる。
【００９３】
●三次元音データの生成処理
以下、図１６および図１７を用いて、三次元音データ２３０としてアンビソニックスを採用する場合における、集音から再生までの流れを説明する。図１６（ａ）は、第１の実施形態における音データの集音から再生までの処理の一例を示すフローチャートである。
【００９４】
ステップＳ１５１ａにおいて、撮影装置１の集音部１４は、図９に示したマイクロフォン１０８ごとに、集音データを取得する。ステップＳ１５２ａにおいて、撮影装置１の画像・音処理部１７は、集音されたチャンネルごとの集音データを、アンビソニックスのＡフォーマットの音データ２２０（ＬＦ，ＬＢ，ＲＦ，ＲＢ）に、それぞれ変換する。変換された音データ２２０（ＬＦ，ＬＢ，ＲＦ，ＲＢ）は、傾斜角データ２５０に関連づけて撮影データファイル２００に記録される。なお、ステップＳ１５２ａの処理は、図１５に示したステップＳ１０４の処理と同様である。
【００９５】
ステップＳ１５３ａにおいて、撮影装置１の画像・音処理部１７は、音データ２２０（ＬＦ，ＬＢ，ＲＦ，ＲＢ）に天頂補正を施す。ステップＳ１５４ａにおいて、撮影装置１の画像・音処理部１７は、は、天頂補正された音データ（Ａ−フォーマットのＬＦ´，ＬＢ´，ＲＦ´，ＲＢ´）を、アンビソニックエンコーダによりエンコードして、アンビソニックスのＢフォーマットの三次元音データ２３０（Ｗ，Ｘ，Ｙ，Ｚ）を生成する。エンコードは、例えば、式２で表すことができる。撮影装置１は、正四面体の頂点に配置させた指向性マイク４つを使用して集音し、集音した４つの音データから無指向性信号Ｗおよび双指向性信号Ｘ,Ｙ,Ｚを生成する。
【００９６】
【数２】
2019140667.tif 000004
【００９７】
Ｂフォーマットへの変換処理の結果、無指向性信号Ｗおよび双指向性信号Ｘ,Ｙ,Ｚは、仮想的な無指向性マイクと双指向性マイクで集音したものとして取り扱われる。
【００９８】
図１７（ａ）は、撮影装置１における軸の定義を説明する図である。図１７（ａ）に示すように撮影装置１を利用者が保持した場合、撮影装置１の上下方向がＺ軸に対応づけられており、撮影装置１の左右方向がＸ軸に対応づけられており、撮影装置１の前後方向がＹ軸に対応づけられている。また、図１７（ｂ）〜図１７（ｅ）は、立体音響における集音指向特性を説明する図である。Ｂ−フォーマットのＷチャンネルは、図１７（ｂ）に示すような無指向なマイクロフォン１０８での集音信号に対応する。Ｂ−フォーマットのＸ，Ｙ，Ｚの各チャンネルは、図１７（ｃ）〜図１７（ｅ）に示すような双指向性のマイクロフォンでの集音信号に対応する。三次元音データ２３０は、式２に示すように、マイクロフォン１０８ごとに集音された集音データを用いた簡便な演算により生成される。
【００９９】
ステップＳ１５５ａにおいて、撮影装置１の画像・音処理部１７は、生成した三次元音データ２３０（Ｗ，Ｘ，Ｙ，Ｚ）を、アンビソニックデコーダによりデコードする。画像・音処理部１７は、このデコード処理によって、通信端末５のスピーカ５１５の構成に応じたスピーカ駆動信号を生成する。撮影装置１は、デコードされた三次元音データ２３０（生成されたスピーカ駆動信号）を、通信端末５へ送信する。なお、三次元音データ２３０のデコード処理は、通信端末５の画像・音処理部５６によって行われてもよい。
【０１００】
そして、ステップＳ１５６ａにおいて、通信端末５の音再生部５４は、デコードされた三次元音データ２３０を再生（生成したスピーカ駆動信号を放音）する。これにより、方向性を含めた音場が再現される。
【０１０１】
図１６（ｂ）は、他の実施形態における音データの集音から再生までの処理の一例を示すフローチャートである。図１６（ｂ）に示す他の実施形態において、撮影装置１は、複数のマイクロフォン１０８から取得された音データ２２０をエンコードして、三次元音データ２３０が一旦生成する。そして、撮影装置１は、三次元音データ２３０上で天頂補正が施される。
【０１０２】
ステップＳ１５１ｂにおいて、撮影装置１の集音部１４は、図９に示したマイクロフォン１０８ごとに、集音データを取得する。ステップＳ１５２ｂにおいて、撮影装置１の画像・音処理部１７は、集音されたチャンネルごとの集音データを、アンビソニックのＡフォーマットの音データ２２０（ＬＦ，ＬＢ，ＲＦ，ＲＢ）に、それぞれ変換する。なお、ステップＳ１５２ｂの処理は、図１５に示したステップＳ１０４の処理と同様である。
【０１０３】
ステップＳ１５３ｂにおいて、撮影装置１の画像・音処理部１７は、音データ２２０（ＬＦ，ＬＢ，ＲＦ，ＲＢ）をエンコードして、三次元音データ２３０（Ｂ−フォーマットのＷ，Ｘ，Ｙ，Ｚ）を生成する。生成された三次元音データ２３０は、傾斜角データ２５０に関連づけて撮影データファイル２００に記録される。
【０１０４】
ステップＳ１５４ｂにおいて、撮影装置１の画像・音処理部１７は、三次元音データ２３０（Ｗ，Ｘ，Ｙ，Ｚ）に天頂補正を施す。図１７（ａ）に示すように、水平面上でγだけ回転することに相当する天頂補正は、例えば、下記式３で表される射影変換により実現することができる。
【０１０５】
【数３】
2019140667.tif 000005
【０１０６】
ステップＳ１５５ｂにおいて、撮影装置１の画像・音処理部１７は、天頂補正された三次元音データ（Ｂ−フォーマットのＷ´,Ｘ´,Ｙ´,Ｚ´）を、アンビソニックデコーダによりデコードする。画像・音処理部１７は、このデコード処理によって、通信端末５の通信端末５のスピーカ５１５の構成に応じたスピーカ駆動信号を生成する。撮影装置１は、天頂補正およびデコード処理が施された三次元音データ２３０（生成されたスピーカ駆動信号）を、通信端末５へ送信する。なお、天頂補正された三次元音データ（Ｗ´,Ｘ´,Ｙ´,Ｚ´）のデコード処理は、通信端末５の画像・音処理部５６によって行われてもよい。
【０１０７】
そして、ステップＳ１５６ｂにおいて、通信端末５の音再生部５４は、三次元音データ２３０を再生（生成したスピーカ駆動信号を放音）する。これにより、方向性を含めた音場が再現される。
【０１０８】
このように、撮影装置１は、所定時点の音データ２２０または三次元音データ２３０に関連づけて、対応する時点の傾斜角データ２５０を記録する。撮影装置１は、音データ２２０または三次元音データ２３０に対して、傾斜角データ２５０に応じた天頂補正を施すことができる。そのため、利用者は、マイクロフォン１０８の状態を気にすることなく、撮影装置１を動かしながら、全天球動画を撮影することができる。
【０１０９】
なお、図１６（ａ）および図１６（ｂ）は、通信端末５が複数のラウドスピーカを含むものとして説明した。しかしながら、三次元音データ２３０は、ヘッドホンを用いて視聴される構成であってもよい。その場合は、撮影装置１の画像・音処理部１７は、一旦、所定の構成を有するラウドスピーカ用の信号にデコードした後、所定の頭部伝達関数（Head-Related Transfer Function：ＨＲＴＦ）を畳み込んで足し合わせることにより、バイノーラル信号として、通信端末５に接続されたヘッドホンに出力する。
【０１１０】
また、図１６（ａ）および図１６（ｂ）は、音データ２２０（Ａ−フォーマットのＬＦ，ＬＢ，ＲＦ、ＲＢ）および三次元音データ２３０（Ｂ−フォーマットのＷ，Ｘ，Ｙ，Ｚ）が、傾斜角データ２５０に関連づけて記録されるものとして説明した。しかしながら、記録される音データ２２０および三次元音データ２３０の形式は、これに限られない。
【０１１１】
さらに、図１６（ａ）および図１６（ｂ）は、音データに関する処理（音データ２２０への変換、天頂補正、エンコード、デコード）を撮影装置１によって行われるものとして説明した。しかしながら、音データに関する処理の少なくとも一部は、通信端末５によって行われる構成であってもよい。この場合、例えば、通信端末５は、例えば、全天球動画の視聴時において、撮影装置１から取得した音データ２２０に傾斜角データ２５０に応じた天頂補正を施す構成であってもよい。
【０１１２】
●第１の実施形態の処理または動作
続いて、図１８乃至図２５を用いて、第１の実施形態における二次元動画の生成および再生方法について説明する。図１８は、第１の実施形態に係る情報処理システムにおける再生用データの生成処理の一例を示すシーケンス図である。
【０１１３】
まず、ステップＳ２０１において、撮影装置１の通信部１１は、画像・音処理部１７によって生成した撮影データファイル２００を、通信端末５へ送信する。なお、撮影データファイル２００は、図１５乃至図１７により説明した方法によって、画像・音処理部１７によって生成される。撮影データファイル２００は、撮影装置１によって被写体が撮影されて取得された全天球動画のデータであり、図１２に示したように、全天球画像データ２１０、音データ２２０、三次元音データ２３０および傾斜角データ２５０を含む。
【０１１４】
ステップＳ２０２において、通信端末５の画像・音処理部５６は、通信部５１によって受信された撮影データファイル２００から基準情報を取得する。基準情報は、撮影データファイル２００に含まれる全天球画像データ２１０を、通信端末５のディスプレイ５１７に平面画像として表示させるためのメタデータである。基準情報は、例えば、画像データの表示範囲方向の角度θS、画角αおよび表示画像の奥行ｚ等を含む。
【０１１５】
図１９（ａ）は、通信端末５に表示される画像の概略を説明するための図である。通信端末５は、図１９（ａ）に示す視野範囲の画像をディスプレイ５１７に表示させる。視野範囲は、仮想カメラＩＣの撮影領域であって、表示範囲方向と画角αによって特定される。視野範囲は、図５に示した所定領域Ｔに対応するものである。表示範囲方向は、図５で説明したように、全天球画像データ２１０を含む三次元の仮想空間における仮想カメラＩＣの撮影方向（撮影方向の基準位置）である。表示範囲方向の角度θsは、仮想カメラＩＣにおける全天球画像の撮影方向の基準位置から表示範囲方向までの角度である。図１９（ａ）において、表示範囲方向の角度θsは、０°である。
【０１１６】
ステップＳ２０３において、通信端末５の表示制御部５３は、ディスプレイ５１７に画像を表示させる。図１９（ｂ）は、通信端末５に表示される表示画像の一例である。図１９（ｂ）に示す表示画面６０００は、図１９（ａ）に示した視野範囲における画像である。
【０１１７】
ステップＳ２０４において、通信端末５の受付部５２は、表示画面６０００に対するクロップ範囲指定操作を受け付ける（受付ステップの一例）。具体的には、受付部５２は、図１９（ｂ）に示した表示画面６０００の下部に表示されるクロップ画像のアイコンの選択を受け付ける。表示制御部５３は、受付部５２によってクロップ画像のアイコンの選択が受け付けられた場合、表示画面６０００に、図２０（ａ）に示すクロップ範囲６１００を表示させる。そして、受付部５２は、図２０（ａ）に示すクロップ範囲６１００に対するクロップ範囲指定操作を受け付けることにより、クロップ範囲を指定する。
【０１１８】
クロップ範囲指定操作は、例えば、クロップ範囲６１００に対するタップ、ドラッグ、スワイプ、ピンチイン、ピンチアウト等の特定の入力操作である。また、クロップ範囲は、図２０（ｂ）に示すように、全天球画像データの視野範囲における所定の領域である。通信端末５の利用者は、クロップ範囲６１００に対するクロップ範囲指定操作を行うことによって、クロップ範囲６１００の移動、およびクロップ範囲６１００の拡大もしくは縮小を行うことができる。
【０１１９】
ステップＳ２０５において、通信端末５の画像データ管理部６１は、全天球画像におけるクロップ画像の表示方向を特定する。クロップ画像の表示方向は、全天球画像における、指定されたクロップ範囲６１００の画像であるクロップ画像６２００の位置を示す。
【０１２０】
ここで、図２１および図２２を用いて、クロップ画像の表示方向の特定処理について説明する。まず、画像データ管理部６１は、図２１（ａ）に示すように、クロップ画像６２００の座標情報を算出する。クロップ画像６２００の座標情報は、通信端末５に表示された視野領域における平面画像（ＸＹ平面）上の座標データである。画像データ管理部６１は、クロップ画像６２００のＸ座標の最大値（Ｘｍａｘ）および最小値（Ｘｍｉｎ）、並びにＹ座標の最大値（Ｙｍａｘ）および最小値（Ｙｍｉｎ）を算出する。
【０１２１】
次に、画像データ管理部６１は、算出したクロップ画像６２００の座標情報を用いて、クロップ画像６２００の中心座標Ｃ（Ｘ，Ｙ）を算出する。図２２は、図２１（ａ）に示すクロップ画像６２００のパラメータの一例を示す図である。図２２に示すパラメータは、クロップ画像６２００を特定するためのパラメータであり、ステップＳ２０１で取得した表示画面６０００の基準情報、およびクロップ画像６２００の座標情報を含む。図２１（ａ）に示す表示画面６０００は、水平方向の画角αが１２０°、奥行ｚが０．５、表示範囲方向の角度θsが０°である。また、図２１（ａ）に示すクロップ画像６２００の座標情報は、Ｘ座標（Ｘｍａｘ,Ｘｍｉｎ）＝（０．９５,−０．４５）、Ｙ座標（Ｙｍａｘ,Ｙｍｉｎ）＝（−０．２０,０．２０）である。さらに、図２１（ａ）に示すクロップ画像の中心位置の座標情報Ｃ（Ｘ,Ｙ）は、（０．２５,０）である。
【０１２２】
そして、画像データ管理部６１は、算出したクロップ画像６２００の座標情報を用いて、クロップ画像の表示方向の角度θを算出する。クロップ画像の表示方向の角度θは、クロップ画像に対する画像仮想カメラＩＣにおける全天球画像の撮影方向の基準位置からクロップ画像の表示方向までの角度である。
【０１２３】
図２１（ｂ）は、クロップ画像の表示方向の角度θの算出方法の概略を説明するための図である。図２１（ｂ）に示すように、ａは、ＸＺ平面における仮想カメラＩＣにおける全天球画像の撮影方向の基準位置からクロップ画像６２００の中心位置までの距離である。ｚは、表示画面６０００の奥行である。クロップ画像６２００の表示角度θは、式４を用いて算出される。
【０１２４】
【数４】
2019140667.tif 000006
【０１２５】
図２１（ａ）に示すクロップ画像６２００の場合、ａ＝０．２５、ｚ＝０．５であるため、θは、２２．５°である。このように、画像データ管理部６１は、クロップ画像６２００の表示方向の角度θを算出することによって、クロップ画像６２００の表示方向を特定する。）
【０１２６】
なお、ステップＳ２０４におけるクロップ範囲指定操作は、図２０に示したようなクロップ範囲６１００を四角形で示される形状で指定する操作のみならず、中心位置を指定する操作であっても良い。つまり、範囲を形状で示すのではなく、表示画面６０００に表示されている全天球画像における所定の表示方向（位置）を指定する構成であってもよい。通信端末５の受付部５２は、全天球画像における所定の表示方向（位置）の指定を受け付ける。この場合、範囲は、予め設定されている形状や大きさ（例えば、４：３、１６：９等の二次元表示に適した大きさが設定されていればよい。）で範囲指定がなされる。これにより、図１８に示したステップＳ２０４およびステップＳ２０５の処理が集約され、ユーザによる全天球画像における所定の表示方向（位置）を指定する処理となる。
【０１２７】
ステップＳ２０６において、通信端末５の音データ管理部６２は、特定されたクロップ画像６２００の表示方向に基づいて、三次元音データ２３０における音源方向を特定する。具体的には、音データ管理部６２は、算出されたクロップ画像６２００の表示方向の角度θに対応する音源方向の角度θ0を算出する。音源方向の角度θ0は、「θs（表示範囲方向の角度）＋θ（クロップ画像６２００の表示方向の角度）」で表される値である。この場合において、表示範囲方向の角度θs＝０°であるため、クロップ画像６２００の表示方向に対応する音源方向の角度θ0は、θ0＝θとなる。
【０１２８】
そして、音データ管理部６２は、算出した音源方向を基準とした左右のチャンネル方向の角度θ1およびθ2を算出する。音データ管理部６２は、クロップ画像６２００の表示方向に対応する音源方向を基準として等間隔に離れた二つの方向を、再生用音データ６５０の音源方向として特定する。具体的には、音データ管理部６２は、図２３に示すように、例えば、クロップ画像６２００の表示方向に対応する音源方向から−４５°方向の左ｃｈ（チャンネル）のチャンネル方向の角度θ1、クロップ画像６２００の表示方向に対応する音源方向から＋４５°方向の右ｃｈ（チャンネル）のチャンネル方向の角度θ2を算出する。図２１（ａ）に示すクロップ画像６２００の場合、θ1は、θ0−４５°であるため、θ1＝−２２．５°となる。一方で、θ2は、θ0＋４５°であるため、θ2＝６７．５°となる。
【０１２９】
音データ管理部６２は、クロップ画像６２００の表示方向に対応する音源方向から左チャンネル方向までの角度と、クロップ画像６２００の表示方向に対応する音源方向から右チャンネル方向までの角度の和が９０°になるように、θ1とθ2を算出する。なお、クロップ画像６２００の表示方向に対応する音源方向から左チャンネル方向までの角度と、クロップ画像６２００の表示方向に対応する音源方向から右チャンネル方向までの角度の和は、９０°に限られず、クロップ画像６２００の表示方向に対応する音源方向から左右のチャンネル方向までの角度が略同一であればよい。このように、音データ管理部６２は、二チャンネル分の音源方向の角度θ1、θ2を算出することによって、三次元音データ２３０における音源方向として、再生用音データ６５０の音源方向を特定する。
【０１３０】
ステップＳ２０７において、通信端末５の音データ管理部６２は、再生用音データ６５０のチャンネル角を決定する。具体的には、音データ管理部６２は、算出した再生用音データ６５０のチャンネル方向の角度θ1、θ2から、チャンネル角θL、θRを決定する。図２４に示すように、θLは、二次元ステレオ音声の左ｃｈの角度であり、θRは、二次元ステレオ音声の右ｃｈの角度である。音データ管理部６２は、左ｃｈの音源方向の角度θ1を、撮影方向の基準位置から左回りの角度に変換したチャンネル角θLを決定する。同様に、音データ管理部６２は、右ｃｈの音源方向の角度θ2を、撮影方向の基準位置から左回りの角度に変換したチャンネル角θRを決定する。
【０１３１】
ステップＳ２０８において、再生用データ生成部６３は、通信端末５で再生するための再生用データを生成する（生成ステップの一例）。具体的には、再生用データ生成部６３は、決定された再生用音データのチャンネル角に対応する再生用音データを生成する。
【０１３２】
図２５は、第１の実施形態における再生用音データを生成するためのパラメータの一例を示す図である。図２５に示すパラメータは、図１４に示した再生用データファイル６００に含まれる１フレーム分の再生用音データ６５０を作成するためのパラメータである。図２５に示すパラメータは、上述したθ、θ0、角度θ1、角度θ2、左ｃｈ角度θLおよび右ｃｈ角度θRのデータを含む。
【０１３３】
左ｃｈの角度θLは、２２．５°であり、右ｃｈの角度θRは、２９２．５°である。再生用データ生成部６３は、式５を用いて再生用音データ６５０を生成する。
【０１３４】
【数５】
2019140667.tif 000007
【０１３５】
Ｗ、Ｘ、Ｙは、アンビソニックスのＢフォーマットのパラメータである。Ｗ、Ｘ、Ｙのパラメータは、図１６に示した方法によって、撮影データファイル２００に含まれる音データ２２０を用いて算出することができる。ｐは、所定の方向を指し示す所定の一次極パターン（無指向性、カーディオイド、ハイパーカーディオイド、８の字形等）を得るためのパラメータである。ｐのパラメータに対応する一次極パターンは、表１に記載する。そのため、右ｃｈの音データＭL（θL,ｐ）と左ｃｈの音データＭR（θR，ｐ）に用いられるＷ，Ｘ，Ｙ，Ｚ，ｐの値は、同じ値である。なお、ｐの値は、取得（生成）したい音のパターンに応じて適宜設定または変更可能である。
【０１３６】
【表１】
2019140667.tif 000008
【０１３７】
再生用データ生成部６３は、式５によって、右ｃｈの音データＭL（θL,ｐ）、左ｃｈの音データＭR（θR，ｐ）の２ｃｈ分の音データを生成する。このように、再生用データ生成部６３は、クロップ画像６２００の表示方向に基づく角度情報と、三次元音データ２３０の配列との積によって、再生用音データ６５０を生成することができる。
【０１３８】
そして、再生用データ生成部６３は、生成した再生用音データ６５０を、対応するフレームのクロップ画像データ６１０に関連づけて再生用データを生成する。再生用音データＭL（θL,ｐ）とＭR（θR，ｐ）は、図１４に示した再生用音データ６５０の１フレーム分の音データ（ＬとＲ）に対応する。
【０１３９】
ステップＳ２０９において、記憶・読出部５７は、再生用データ生成部６３によって生成された再生用データを、再生用データファイル６００として、記憶部５０００に記憶させる。
【０１４０】
ステップＳ２１０において、通信端末５の表示制御部５３および音再生部５４は、再生用データファイル６００に含まれるクロップ画像データ６１０の表示、および再生用音データ６５０の再生を行う。このように、通信端末５は、生成した再生用データを、１フレームごとに再生していくことで、全天球動画の所定の範囲を二次元動画として再生させることができる。
【０１４１】
なお、上記の説明において、撮影装置１による撮影処理によって全天球画像を取得する例を説明したが、撮影装置１によって取得される画像は、全天球画像に限られず、所定値以上の画角を有する広角画像であればよい。この場合、広角画像は、広角カメラやステレオカメラ等の撮影装置１によって取得される。すなわち、撮影装置１は、所定値より焦点距離の短いレンズを用いて撮影された画像（全天球画像、広角画像）を取得可能な撮影手段であればよい。
【０１４２】
●第１の実施形態の効果
したがって、第１の実施形態に係る情報処理システムは、全天球動画の所定の領域を二次元動画に変換した場合、二次元画像データに付随した二次元音データを生成することができる。
【０１４３】
●第１の実施形態の変形例１●
続いて、第１の実施形態の変形例１について説明する。上記の第１の実施形態において、撮影装置１によって被写体を撮影して取得された全天球動画から。被写体の一部を含む二次元動画を生成する処理を説明したが、撮影装置１によって撮影される画像または通信端末５によって再生される画像は、静止画であってもよい。この場合、撮影装置１の記憶部１０００に記憶される撮影データファイル２００（図１２参照）に変えて、図３１に示す撮影データファイル２００ａが記憶されている。図３１は、第１の実施形態の変形例１に係る撮影データの一例を示す図である。図３１に示す撮影データファイル２００ａは、静止画としての全天球画像データ２１０ａが所定のフォーマットで記憶しており、撮影時間を基準として、音データ２２０ａ、三次元音データ２３０ａおよび傾斜角データ２５０ａがそれぞれ記憶している。これにより、撮影装置１は、静止画としての全天球画像を撮影しながら、適切な時間、音データを記録することができる。なお、全天球画像データ２１０ａは、図３１のように同じ画像を記録してもよいし、時間の経過毎に異なる画像を記録してもよい。
【０１４４】
また、通信端末５の記憶部５０００には、再生用データファイル６００（図１４参照）に変えて、図３２に示す再生用データファイル６００ａが記憶されている。図３２に示す再生用データファイル６００ａは、静止画としてのクロップ画像データ６１０ａが所定のフォーマットで記憶しており、１フレームごとに再生用音データ６５０ａが記憶している。これにより、通信端末５は、静止画を再生しながら、適切な時間、音データを再生することができる。なお、クロップ画像データ６１０ａは、図３２のように同じ画像であってもよいし、時間の経過毎に異なる画像であってもよい。
【０１４５】
なお、通信端末５の表示制御部５３は、撮影装置１によって取得された静止画としての全天球画像に基づいて生成された、静止画としての二次元画像を再生する構成であってもよい。また、通信端末５の表示制御部５３は、撮影装置１によって取得された全天球動画に基づいて生成された、静止画としての二次元画像を再生する構成であってもよい。
【０１４６】
●第１の実施形態の変形例２●
続いて、第１の実施形態の変形例２について説明する。上記の第１の実施形態は、再生用データとして、クロップ画像データ６１０（二次元画像データの一例）と、音源方向が特定された再生用音データ６５０（二次元音データの一例）が生成される例を説明したが、通信端末５は、クロップ画像データ６１０を生成せずに、再生用音データ６５０のみを生成する構成であってもよい。ユーザが特定したクロップ範囲によるクロップされる二次元画像データは、撮影装置１によって撮影されて取得された全天球画像データの一部である。そのため、通信端末５は、予めクロップ範囲を記憶しておき、図１８に示した処理により、音源方向が特定された再生用音データ６５０のみを生成する。通信端末５は、再生用データを再生する場合、クロップ範囲として特定された表示方向（位置）から表示範囲の変更を受け付けないようにし、生成された再生用音データ６５０と併せて再生する。これにより、通信端末５は、二次元画像データを生成する処理を行う必要が無いため、処理時間およびデータ量を削減することができる。
【０１４７】
●第２の実施形態●
次に、第２の実施形態に係る情報処理システムついて説明する。なお、第１の実施形態と同一構成および同一機能は、同一の符号を付して、その説明を省略する。第２の実施形態に係る情報処理システムは、画像処理サーバ７が、二次元音データの生成を行う。そのため、第２の実施形態に係る情報処理システムは、通信端末５Ａの処理負担を低減しつつ、二次元画像データに付随した二次元音データを生成することができる。
【０１４８】
●システム構成
まずは、図２６を用いて、第２の実施形態の情報処理システムの構成の概略について説明する。図２６は、第２の実施形態に係る情報処理システムのシステム構成の一例を示す図である。図２６に示すように、第２の実施形態の情報処理システムは、第１の実施形態に係る構成に、更に画像処理サーバ７が追加されている。通信端末５Ａと画像処理サーバ７は、インターネットやイントラネット等の通信ネットワーク１００を介して相互通信することができる。
【０１４９】
画像処理サーバ７は、サーバコンピュータであり、複数台のサーバコンピュータで分散して画像処理を行なう場合も含まれる。画像処理サーバ７は、撮影装置１で撮影された全天球動画データおよび通信端末５Ａで表示（再生する）二次元動画のデータを記憶している。また、画像処理サーバ７は、通信端末５Ａからの要求に応じて、全天球動画データに対する画像および音声処理を行い、処理データを通信端末５Ａに提供する。画像処理サーバ７は、外部装置の一例である。
【０１５０】
●ハードウエア構成
続いて、図２７を用いて、第２の実施形態における画像処理サーバ７のハードウエア構成を説明する。なお、第２の実施形態における撮影装置１および通信端末５Ａのハードウエア構成は、第１の実施形態と同様の構成であるため、説明を省略する。
【０１５１】
〇画像処理サーバのハードウエア構成
図２７は、第２の実施形態に係る画像処理サーバのハードウエア構成の一例を示す図である。画像処理サーバ７は、一般的なコンピュータによって構築されている。画像処理サーバ７は、ＣＰＵ７０１、ＲＯＭ７０２、ＲＡＭ７０３、ＨＤＤ(Hard Disk Drive)７０５、メディアＩ／Ｆ７０７、ディスプレイ７０８、ネットワークＩ／Ｆ７０９、キーボード７１１、マウス７１２、ＣＤ−ＲＷ（Compact Disc-ReWritable）ドライブ７１４およびバスライン７１０を備えている。なお、画像処理サーバ７は、サーバとして機能するため、キーボード７１１やマウス７１２等の入力装置や、ディスプレイ７０８等の出力装置を備えていなくてもよい。
【０１５２】
ＣＰＵ７０１は、画像処理サーバ７全体の動作を制御する。ＲＯＭ７０２は、ＣＰＵ７０１の駆動に用いられるプログラムを記憶する。ＲＡＭ７０３は、ＣＰＵ７０１のワークエリアとして使用される。ＨＤＤ７０５は、ＣＰＵ７０１の制御にしたがってＨＤ７０４に対する各種データの読み出し、または書き込みを制御する。ＨＤ７０４は、プログラム等の各種データを記憶する。メディアＩ／Ｆ７０７は、フラッシュメモリ等の記録メディア７０６に対するデータの読み出し、または書き込み（記憶）を制御する。
【０１５３】
ディスプレイ７０８は、カーソル、メニュー、ウィンドウ、文字、または画像等の各種情報を表示する。ネットワークＩ／Ｆ７０９は、通信ネットワーク１００を利用してデータ通信をするためのインターフェースである。キーボード７１１は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。マウス７１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動等を行う入力手段の一種である。ＣＤ−ＲＷドライブ７１４は、着脱可能な記録媒体の一例としてのＣＤ−ＲＷ７１３に対する各種データの読み出し等を制御する。
【０１５４】
また、画像処理サーバ７は、バスライン７１０を備えている。バスライン７１０は、図３２に示すＣＰＵ７０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【０１５５】
●機能構成
図２８は、第２の実施形態に係る情報処理システムの機能構成の一例を示す図である。通信端末５Ａによって実現される機能は、通信端末５に含まれる機能に加え、サーバ通信部５８を含む。
【０１５６】
サーバ通信部５８は、インターネット等の通信ネットワーク１００を介して、他の装置（例えば、他の通信端末５Ａまたは画像処理サーバ７）との間で、各種データまたは情報の送受信を行う機能である。サーバ通信部５８は、主に、図１０に示した遠距離通信回路５１１およびＣＰＵ５０１の処理によって実現される。サーバ通信部５８は、送信手段の一例である。
【０１５７】
画像処理サーバ７によって実現される機能は、通信部７１、画像・音処理部７２、判断部７３、記憶・読出部７４および記憶部７０００を含む。
【０１５８】
通信部７１は、通信ネットワーク１００を介して、他の装置（例えば、他のサーバまたは通信端末５Ａ）との間で各種データまたは情報の送受信を行う機能である。通信部７１は、主に、図２７に示したネットワークＩ／Ｆ７０９およびＣＰＵ７０１の処理によって実現される。
【０１５９】
画像・音処理部７２は、通信端末５Ａから送られてきた各種データに対して、各種処理を行う機能である。画像・音処理部７２は、主に、図２７に示したＣＰＵ７０１からの命令によって実現される。
【０１６０】
判断部７３は、図２７に示したＣＰＵ７０１の処理によって実現され、各種判断を行う機能である。
【０１６１】
記憶・読出部７４は、記憶部７０００に各種データを記憶させ、または記憶部７０００から各種データを読み出す機能である。記憶・読出部７４は、主に、図２７に示したＣＰＵ７０１の処理によって実現される。記憶部７０００は、主に、図２７に示したＲＯＭ７０２、ＨＤ７０４および記録メディア７０６によって実現される。また、記憶部７０００は、図１２に示した撮影データファイル２００および図１４に示した再生用データファイル６００を記憶している。
【０１６２】
ここで、図２９を用いて、画像・音処理部７２の機能構成について詳細に説明する。図２９は、第２の実施形態に係る画像・音処理部の詳細な機能構成の一例を示す図である。画像・音処理部７２は、画像データ管理部８１、音データ管理部８２および再生用データ生成部８３を含む。
【０１６３】
画像データ管理部８１は、全天球画像データ２１０の表示範囲を管理、制御、保持する機能である。画像データ管理部８１は、例えば、通信端末５Ａの利用者によって指定された全天球画像データ２１０に含まれる所定の領域であるクロップ画像データ６１０（二次元画像データの一例）の表示方向（位置）を特定する。画像データ管理部８１は、主に、図２７に示したＣＰＵ７０１の処理によって実現される。画像データ管理部８１は、表示方向特定手段の一例である。
【０１６４】
音データ管理部８２は、クロップ画像データ６１０に対応する再生用音データ６５０を管理、制御、保持する機能である。音データ管理部８２は、画像データ管理部８１によって特定されたクロップ画像データ６１０の表示方向（位置）に基づいて、三次元音データ２３０における音源方向を特定する。音データ管理部８２は、主に、図２７に示したＣＰＵ７０１の処理によって実現される。音データ管理部８２は、音源方向特定手段の一例である。
【０１６５】
再生用データ生成部８３は、通信端末５Ａからの要求に応じて、記憶部７０００に記憶された撮影データファイル２００を用いて、再生用データファイル６００を生成する機能である。再生用データ生成部８３は、例えば、全天球画像データ２１０からクロップ画像データ６１０を生成するとともに、三次元音データ２３０から再生用音データ６５０を生成する。再生用データ生成部８３は、主に、図２７に示したＣＰＵ７０１の処理によって実現される。再生用データ生成部８３は、生成手段の一例である。
【０１６６】
●第２の実施形態の処理または動作
続いて、図３０を用いて、第２の実施形態における二次元動画の生成および再生方法について説明する。図３０は、第２の実施形態に係る情報処理システムにおける再生用データの生成処理の一例を示すシーケンス図である。
【０１６７】
ステップＳ３０１において、撮影装置１の通信部１１は、画像・音処理部１７によって生成した撮影データファイル２００を、近距離無線通信を用いて、通信端末５Ａへ送信する。なお、撮影データファイル２００は、図１５乃至図１７により説明した方法によって、画像・音処理部１７によって生成される。撮影データファイル２００は、撮影装置１によって撮像された全天球動画のデータであり、図１２に示したように、全天球画像データ２１０、音データ２２０、三次元音データ２３０および傾斜角データ２５０を含む。
【０１６８】
ステップＳ３０２において、通信端末５Ａのサーバ通信部５８は、通信部５１によって受信された撮影データファイル２００を、通信ネットワーク１００を経由して、画像処理サーバ７へ送信する。
【０１６９】
ステップＳ３０３において、画像処理サーバ７の記憶・読出部７４は、通信部７１によって受信された撮影データファイル２００を、記憶部７０００に記憶させる。
【０１７０】
ステップＳ３０４において、通信端末５Ａの画像・音処理部５６は、通信部５１によって受信された撮影データファイル２００から基準情報を取得する。ステップＳ３０５において、通信端末５Ａの表示制御部５３は、ディスプレイ５１７に画像（例えば、表示画面６０００）を表示させる。ステップＳ３０６において、通信端末５Ａの受付部５２は、表示画面６０００に対するクロップ範囲指定操作を受け付ける。なお、ステップＳ３０４〜ステップＳ３０６の処理は、図１８で示したステップＳ２０２〜ステップＳ２０４の処理と同様である。
【０１７１】
ステップＳ３０７において、通信端末５Ａのサーバ通信部５８は、クロップ画像６２００の表示範囲情報を、通信ネットワーク１００を経由して、画像処理サーバ７へ送信する。表示範囲情報は、クロップ画像６２００の座標情報を含む。表示範囲情報は、方向情報の一例である。なお、ステップＳ３０７において、通信端末５Ａのサーバ通信部５８は、クロップ画像６２００の表示範囲情報とともに、クロップ画像６２００に対応する撮影データファイル２００を、画像処理サーバ７へ送信してもよい。この場合、ステップＳ３０２の処理は、行われなくてもよい。
【０１７２】
ステップＳ３０８において、画像処理サーバ７の画像データ管理部８１は、全天球画像におけるクロップ画像６２００の表示方向を特定する。ステップＳ３０８の処理は、図１８で示したステップＳ２０５の処理と同様である。
【０１７３】
なお、第２の実施形態に係る情報処理システムは、通信端末５Ａの画像データ管理部６１が、ステップＳ３０７において、クロップ画像６２００の座標情報を算出する。そして、画像処理サーバ７の画像データ管理部８１は、ステップＳ３０８において、クロップ画像６２００の中心座標Ｃ（Ｘ，Ｙ）を算出し、算出したクロップ画像６２００の座標情報を用いてクロップ画像の表示方向θを算出する。
【０１７４】
ステップＳ３０９において、画像処理サーバ７の音データ管理部８２は、特定されたクロップ画像６２００の表示方向に基づいて、三次元音データ２３０における音源方向を特定する。ステップＳ３１０において、画像処理サーバ７の音データ管理部８２は、再生用音データ６５０のチャンネル角を決定する。ステップＳ３１１において、画像処理サーバ７の再生用データ生成部８３は、通信端末５Ａで再生するための再生用データを生成する。なお、ステップＳ３０９〜ステップＳ３１１の処理は、図１８で示したステップＳ２０６〜ステップＳ２０８の処理と同様である。
【０１７５】
ステップＳ３１２において、画像処理サーバ７の記憶・読出部７４は、再生用データ生成部８３によって生成された再生用データを、再生用データファイル６００として記憶部７０００に記憶させる。ステップＳ３１３において、画像処理サーバ７の通信部７１は、再生用データ生成部８３によって生成された再生用データを、通信ネットワーク１００を経由して通信端末５Ａへ送信する。なお、ステップＳ３１２の処理とステップＳ３１３の処理の順序は、前後してもよく、または並列して行われてもよい。
【０１７６】
ステップＳ３１４において、通信端末５Ａの表示制御部５３および音再生部５４は、サーバ通信部５８によって受信された再生用データに含まれるクロップ画像データ６１０の表示、および再生用音データ６５０の再生を行う。このように、通信端末５Ａは、画像処理サーバ７によって生成された再生用データを、１フレームごとに再生していくことで、全天球動画の所定の範囲を二次元動画として表示させることができる。
【０１７７】
●第２の実施形態の効果
したがって、第２の実施形態に係る情報処理システムは、画像処理サーバ７によって再生用データの生成処理を行うため、通信端末５Ａの処理負担を低減しつつ、二次元画像データに付随した二次元音データを生成することができる。
【０１７８】
●第２の実施形態の変形例●
続いて、第２の実施形態の変形例について説明する。上記の第２の実施形態は、通信端末５Ａが撮影装置１から送信された撮影データを画像処理サーバ７へ送信する例を説明したが、通信端末５Ａの記憶部５０００に撮影データファイル２００が記憶されている場合、通信端末５Ａは、画像処理サーバ７へ撮影データを送信しなくてもよい。この場合、図３０に示したステップＳ３０２の処理は省略され、ステップＳ３０７の処理において表示範囲情報とともに、撮影データファイル２００に時系列で記憶されている音データ２２０、三次元音データ２３０および傾斜角データ２５０が、通信端末５Ａから画像処理サーバ７へ送信される。そして、通信端末５Ａは、再生データを再生する場合は、撮影データを指定された表示範囲で表示するとともに、画像処理サーバ７によって生成された再生データ（再生用音データ６５０）を再生することができる。
【０１７９】
●まとめ●
以上説明したように、本発明の一実施形態に係る通信端末５（情報処理装置の一例）は、撮影装置１によって取得された全天球画像データ２１０を表示するとともに、撮影装置１によって取得された全天球画像データ２１０に付随して取得された三次元音データ２３０を再生する通信端末５であって、表示された全天球画像におけるクロップ指定操作（所定の表示方向の指定の一例）を受け付ける。そして、通信端末５は、全天球画像データ２１０から、クロップ範囲６１００（指定された表示方向の一例）に対応するクロップ画像データ６１０（二次元画像データの一例）を生成するともに、三次元音データ２３０から、クロップ範囲６１００に対応する再生用音データ６５０（二次元音データの一例）を生成する。これにより、通信端末５は、全天球画像の所定の領域を二次元画像として表示させる場合、二次元画像データに付随した二次元音データを生成することができる。
【０１８０】
また、本発明の一実施形態に係る通信端末５（情報処理装置の一例）は、撮影装置１によって撮影された、全天球画像データ２１０および三次元音データ２３０を含む全天球動画から二次元動画を生成する通信端末５であって、全天球動画におけるクロップ指定操作（所定の領域の指定の一例）を受け付ける。そして、通信端末５は、全天球動画から、クロップ範囲６１００（指定された領域の一例）に対応するクロップ画像データ６１０（二次元画像データの一例）を生成するともに、三次元音データ２３０から、クロップ範囲６１００に対応する再生用音データ６５０（二次元音データの一例）を生成する。そのため、通信端末５は、全天球動画の所定の領域を二次元動画として再生させる場合、二次元画像データに付随した二次元音データを生成することができる。
【０１８１】
さらに、本発明の一実施形態に係る通信端末５（情報処理装置の一例）は、再生用音データ６５０（二次元音データの一例）と、クロップ画像データ６１０（二次元画像データの一例）とを用いて、再生用データ（二次元動画の一例）を生成し、生成した再生用データを記憶する。そして、通信端末５は、記憶された再生用データを再生する。そのため、通信端末５は、全天球動画の所定の領域を二次元動画として再生させる場合、二次元画像データに付随した二次元音データを再生することで、利用者に感じる違和感を低減させることができる。
【０１８２】
また、本発明の一実施形態に係る通信端末５（情報処理装置の一例）は、全天球動画における、クロップ範囲６１００（指定された領域の一例）の位置を特定する。そして、通信端末５は、特定されたクロップ範囲６１００の位置に基づいて、全天球動画に含まれる三次元音データ２３０における音源方向を特定し、特定された音源方向、および三次元音データ２３０に基づいて、クロップ範囲６１００に対応する再生用音データ６５０（二次元音データの一例）を生成する。そのため、通信端末５は、全天球動画の所定の領域を二次元動画として再生させる場合、二次元画像データの位置に対応した音源方向の二次元音データを生成することができる。
【０１８３】
さらに、本発明の一実施形態に係る三次元音データ２３０は、アンビソニックスのＢフォーマットに基づいて生成される立体音響データである。そのため、通信端末５（情報処理装置の一例）は、全天球動画に含まれ三次元音データ２３０のパラメータを用いることで、二次元画像データに付随した二次元音データを生成することができる。
【０１８４】
また、本発明の一実施形態に係る情報処理システムは、撮影装置１によって取得された全天球画像データ２１０を表示するとともに、撮影装置１によって取得された全天球画像データ２１０に付随して取得された三次元音データ２３０を再生する通信端末５Ａ（情報処理装置の一例）と、通信端末５Ａと通信ネットワークを経由して接続された画像処理サーバ７（外部装置の一例）とを備える情報処理システムである。通信端末５Ａは、表示された全天球画像におけるクロップ指定操作（所定の表示方向の指定の一例）を受け付け、三次元音データ２３０、およびクロップ範囲６１００（指定された表示方向の一例）を示す表示範囲情報（方向情報の一例）を、画像処理サーバ７へ送信する。そして、画像処理サーバ７は、三次元音データ２３０から、クロップ範囲６１００に対応する再生用音データ６５０（二次元音データの一例）を生成する。そのため、本発明の一実施形態に係る情報処理システムは、画像処理サーバ７によって二次元音データの生成処理を行うため、通信端末５Ａの処理負担を低減しつつ、二次元画像データに付随した二次元音データを生成することができる。
【０１８５】
さらに、本発明の一実施形態に係る情報処理システムは、撮影装置１によって撮影された、全天球画像データ２１０および三次元音データ２３０を含む全天球動画に基づいて生成された二次元動画を再生する通信端末５Ａ（情報処理装置の一例）と、通信端末５Ａと通信ネットワーク１００を経由して接続された画像処理サーバ７（外部装置の一例）とを備える情報処理システムである。通信端末５Ａは、全天球動画におけるクロップ指定操作（所定の領域の指定の一例）を受け付け、全天球動画、およびクロップ範囲６１００（指定された領域の一例）を示す表示範囲情報（領域情報の一例）を、画像処理サーバ７へ送信する。そして、画像処理サーバ７は、全天球動画から、クロップ範囲６１００に対応するクロップ画像データ６１０（二次元画像データの一例）を生成するともに、三次元音データ２３０から、クロップ範囲６１００に対応する再生用音データ６５０（二次元音データの一例）を生成する。そのため、本発明の一実施形態に係る情報処理システムは、画像処理サーバ７によって二次元動画の生成処理を行うため、通信端末５Ａの処理負担を低減しつつ、二次元画像データに付随した二次元音データを生成することができる。
【０１８６】
また、本発明の一実施形態に係るデータ生成方法は、撮影装置１によってによって取得された全天球画像データ２１０を表示するとともに、撮影装置１によって取得された全天球画像データ２１０に付随して取得された三次元音データ２３０を再生する通信端末５（情報処理装置の一例）が実行するデータ生成方法であって、表示された全天球画像におけるクロップ指定操作（所定の表示方向の指定の一例）を受け付ける受付ステップと、全天球画像データ２１０から、クロップ範囲６１００（指定された表示方向の一例）に対応するクロップ画像データ６１０（二次元画像データの一例）を生成するともに、三次元音データ２３０から、クロップ範囲６１００に対応する再生用音データ６５０（二次元音データの一例）を生成する生成ステップと、を実行する。これにより、本発明の一実施形態に係るデータ生成方法は、全天球画像の所定の領域を二次元画像として表示させる場合、二次元画像データに付随した二次元音データを生成することができる。
【０１８７】
さらに、本発明の一実施形態に係る動画生成方法は、撮影装置１によって撮影された、全天球画像データ２１０および三次元音データ２３０を含む全天球動画から二次元動画を生成する通信端末５（情報処理装置の一例）が実行する動画生成方法であって、全天球動画におけるクロップ指定操作（所定の領域の指定の一例）を受け付ける受付ステップと、全天球動画から、クロップ範囲６１００（指定された領域の一例）に対応するクロップ画像データ６１０（二次元画像データの一例）を生成するともに、三次元音データ２３０から、クロップ範囲６１００に対応する再生用音データ６５０（二次元音データの一例）を生成する生成ステップと、を実行する。そのため、本発明の一実施形態に係る動画生成方法は、全天球動画の所定の領域を二次元動画として再生させる場合、二次元画像データに付随した二次元音データを生成することができる。
【０１８８】
●補足●
なお、各実施形態の機能は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）等のレガシープログラミング言語やオブジェクト指向プログラミング言語等で記述されたコンピュータ実行可能なプログラムにより実現でき、各実施形態の機能を実行するためのプログラムは、電気通信回線を通じて頒布することができる。
【０１８９】
また、各実施形態の機能を実行するためのプログラムは、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯ（Magneto-Optical disc）等の装置可読な記録媒体に格納して頒布することもできる。
【０１９０】
さらに、各実施形態の機能の一部または全部は、例えばＦＰＧＡ（Field Programmable Gate Array）等のプログラマブル・デバイス（PD）上に実装することができ、またはＡＳＩＣとして実装することができ、各実施形態の機能をＰＤ上に実現するためにＰＤにダウンロードする回路構成データ（ビットストリームデータ）、回路構成データを生成するためのＨＤＬ（Hardware Description Language）、ＶＨＤＬ（Very High Speed Integrated Circuits Hardware Description Language）、Ｖｅｒｉｌｏｇ−ＨＤＬ等により記述されたデータとして記録媒体により配布することができる。
【０１９１】
これまで本発明の一実施形態に係る情報処理装置、情報処理システム、データ生成方法およびプログラムについて説明してきたが、本発明は上述した実施形態に限定されるものではなく、他の実施形態の追加、変更または削除等、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【符号の説明】
【０１９２】
１    撮影装置
５    通信端末（情報処理装置の一例）
７    画像処理サーバ（外部装置の一例）
５２    受付部（受付手段の一例）
５３    表示制御部（再生手段の一例）
５４    音再生部（再生手段の一例）
６１    画像データ管理部（表示方向特定手段の一例）
６２    音データ管理部（音源方向特定手段の一例）
６３    再生用データ生成部（生成手段の一例）
５０００    記憶部(記憶手段の一例)
【先行技術文献】
【特許文献】
【０１９３】
【特許文献１】特開２０１５−２２０７４５号公報
【図１】
2019140667.tif 000009
【図２】
2019140667.tif 000010
【図３】
2019140667.tif 000011
【図４】
2019140667.tif 000012
【図５】
2019140667.tif 000013
【図６】
2019140667.tif 000014
【図７】
2019140667.tif 000015
【図８】
2019140667.tif 000016
【図９】
2019140667.tif 000017
【図１０】
2019140667.tif 000018
【図１１】
2019140667.tif 000019
【図１２】
2019140667.tif 000020
【図１３】
2019140667.tif 000021
【図１４】
2019140667.tif 000022
【図１５】
2019140667.tif 000023
【図１６】
2019140667.tif 000024
【図１７】
2019140667.tif 000025
【図１８】
2019140667.tif 000026
【図１９】
2019140667.tif 000027
【図２０】
2019140667.tif 000028
【図２１】
2019140667.tif 000029
【図２２】
2019140667.tif 000030
【図２３】
2019140667.tif 000031
【図２４】
2019140667.tif 000032
【図２５】
2019140667.tif 000033
【図２６】
2019140667.tif 000034
【図２７】
2019140667.tif 000035
【図２８】
2019140667.tif 000036
【図２９】
2019140667.tif 000037
【図３０】
2019140667.tif 000038
【図３１】
2019140667.tif 000039
【図３２】
2019140667.tif 000040