(57)【要約】【課題】  撮影された画像の補正する機能を備える撮像装置を提供すること。【解決手段】  画像を撮像する撮像装置１１０を開示する。本撮像装置１１０は、当該撮像装置１１０の傾きを検出するための傾きセンサ手段１３６を含む。撮像装置１１０は、また、画像に対して、傾きセンサ手段１３６により検出された傾きに応じて傾きを補正する傾き補正手段２２０を含む。撮像装置１１０は、さらに、傾きを補正する量を、複数の画像に対して固定する補正量設定手段２２２とを含む。【選択図】図３
2020078065.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像する撮像装置であって、
当該撮像装置の傾きを検出するための傾きセンサ手段と、
画像に対して、前記傾きセンサ手段により検出された傾きに応じて傾きを補正する傾き補正手段と、
前記傾きを補正する量を、複数の画像に対して固定する補正量設定手段と
を含む、撮像装置。
【請求項２】
前記複数の画像に対し、補正量を固定する固定補正モードを設定するモード設定手段をさらに含み、前記補正量設定手段は、前記固定補正モードが設定された場合に、複数の画像に対して前記補正する量を固定する、請求項１に記載の撮像装置。
【請求項３】
前記傾きセンサ手段により検出された傾きの変化に基づいて、撮影中の視点が固定されているかを判定する状態判定手段をさらに含み、前記補正量設定手段は、撮影中の視点が固定されていると判定された場合に、複数の画像に対して前記補正する量を固定する、請求項１または２に記載の撮像装置。
【請求項４】
固定される前記補正する量は、連続して撮影された複数の画像における最初、最後および中間のうちの少なくとも１つの画像を撮像した際に前記傾きセンサ手段により検出された少なくとも１つの傾きに基づく補正する量である、請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
前記傾き補正手段は、撮影時に、撮像する画像に対して前記傾きセンサ手段により検出された傾きに基づいて傾きを補正するか、または、閲覧時に、記録された画像に対して記録された傾きに基づいて傾きを補正する、請求項１〜４のいずれか１項に記載の撮像装置。
【請求項６】
前記撮像装置は、全天球カメラであり、前記画像は、全天球画像であり、前記傾きセンサ手段により検出される傾きは、基準方向に対する傾き角および基準方向周りの回転角の一方または両方を含み、前記傾き補正は、天頂補正および回転補正の一方または両方である、請求項１〜５のいずれか１項に記載の撮像装置。
【請求項７】
複数の画像に対する補正の補正量を設定する情報処理装置であって、
前記複数の画像が撮影された際の撮像装置の傾きを取得する取得手段と、
前記複数の画像に対し前記撮像装置の傾きに応じて傾きを補正する傾き補正機能に関し、前記傾きを補正する量を、前記複数の画像に対して固定する補正量設定手段と
を含む、情報処理装置。
【請求項８】
前記複数の画像に対し、補正量を固定する固定補正モードを設定するモード設定手段をさらに含み、前記補正量設定手段は、前記固定補正モードが設定された場合に、複数の画像に対して前記補正する量を固定する、請求項７に記載の情報処理装置。
【請求項９】
前記傾き補正機能は、前記撮像装置でもある当該情報処理装置、前記撮像装置に接続された当該情報処理装置、または当該情報処理装置の外部の前記撮像装置の手段により提供される、請求項７または８に記載の情報処理装置。
【請求項１０】
画像に対する補正の量を設定する方法であって、コンピュータが、
画像が撮影された際の撮像装置の傾きを取得するステップと、
画像に対し前記撮像装置の傾きに応じて傾きを補正する傾き補正機能に関し、前記傾きを補正する量を、複数の画像に対して固定するステップと
を実行する、補正量設定方法。
【請求項１１】
画像に対する補正の量を設定する情報処理装置を実現するためのプログラムであって、コンピュータを、
画像が撮影された際の撮像装置の傾きを取得する取得手段、および、
画像に対し前記撮像装置の傾きに応じて傾きを補正する傾き補正機能に関し、前記傾きを補正する量を、複数の画像に対して固定する補正量設定手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置、情報処理装置、補正量設定方法およびプログラムに関し、より詳細には、撮影された画像の補正する機能を備える撮像装置、情報処理装置、補正量設定方法およびプログラムに関する。
【背景技術】
【０００２】
従来、撮影された全天球画像に対し、加速度センサの出力に基づいて、鉛直方向を基準とした傾きを求め、画像の天頂方向が鉛直方向に一致するように画像の傾きを補正する、いわゆる天頂補正機能が知られている。
【０００３】
しかしながら、従来技術の装置では、インターバル撮影など、撮像装置（視点）を固定した状態で連続的に撮影する場合に、閲覧者に違和感を与えてしまう場合があった。すなわち、画像毎に加速度センサから傾きを求めて補正がかけられてしまうため、撮像装置が固定されているにもかかわらず、センサのノイズなどに起因して傾き補正量が微小に変化してしまう場合がある。そうすると、補正された連続的画像を鑑賞する際に、微小に傾きが変わってしまい、閲覧者に違和感を与えることになる。
【０００４】
インターバル撮影に関連して、特開２０１５‐１３９０２９号公報（特許文献１）が知られている。特許文献１には、インターバル撮影時の各画像の露出値のばらつきを抑える目的で、インターバル撮影の露出値モードが自動露出と固定露出モードを備えているとして、撮影開始時に得られた測光値と、一定期間内に得られた測光値の最大値と最小値の差分が閾値以上なら自動露出モードで撮影を行い、閾値以内なら、固定露出モードでの撮影に切り替える構成が開示されている。
【０００５】
特許文献１の従来技術によれば、インターバル撮影において、一定程度各画像の露出値のばらつきを抑えることができる。しかしながら、撮像装置を固定した状態で連続的に撮影する場合に、センサのノイズなどに起因して傾き補正量が微小に変化してしまい、補正された連続的画像を見る際に閲覧者に違和感を与えてしまうという点を解消できるものではなかった。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本開示は、上記点に鑑みてなされたものであり、複数の画像において、傾き補正をした場合に閲覧時の違和感を軽減させることが可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本開示によれば、上記課題を解決するために、下記特徴を有する、画像を撮像する撮像装置を提供する。本撮像装置は、当該撮像装置の傾きを検出するための傾きセンサ手段と、画像に対して、傾きセンサ手段により検出された傾きに応じて傾きを補正する傾き補正手段と、上記傾きを補正する量を、複数の画像に対して固定する補正量設定手段とを含む。
【発明の効果】
【０００８】
上記構成により、複数の画像において、傾き補正をした場合に閲覧時の違和感を軽減させることができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態による全天球画像処理システムを構成する全天球カメラの断面図。
【図２】本実施形態による全天球画像処理システムのハードウェア構成図。
【図３】本実施形態による全天球画像処理システム上に実現される全天球画像補正機能に関連する主要な機能ブロック図。
【図４】（Ａ）全天球画像の生成における画像データフロー図、および、全天球画像のデータ構造を（Ｂ）平面で表した場合および（Ｃ）球面で表した場合について説明する図。
【図５】本実施形態による全天球画像の天頂補正および回転補正について説明する図。
【図６】本実施形態による全天球画像の天頂補正および回転補正によって得られる全天球画像を説明する図。
【図７】本実施形態による全天球カメラが実行する、撮像時のモード設定に基づく全天球画像補正処理を示すフローチャート。
【図８】本実施形態による全天球カメラが実行する、閲覧時のモード設定に基づく全天球画像補正処理を示すフローチャート。
【図９】本実施形態による全天球カメラが実行する、撮像時の状態判定に基づく全天球画像補正処理を示すフローチャート。
【図１０】本実施形態による全天球カメラが実行する、閲覧時の状態判定に基づく全天球画像補正処理を示すフローチャート。
【図１１】他の実施形態による全天球画像処理システム上に実現される全天球画像補正機能に関連する主要な機能ブロック図。
【図１２】さらに他の実施形態による全天球画像処理システム上に実現される全天球画像補正機能に関連する主要な機能ブロック図。
【発明を実施するための形態】
【００１０】
以下、本実施形態について説明するが、実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下の実施形態では、撮像装置および情報処理装置の一例として、全天球カメラを用いて説明する。
【００１１】
以下、図１および図２を参照しながら、本実施形態による全天球画像処理システムの全体構成について説明する。
【００１２】
図１は、本実施形態による全天球画像処理システムを構成する全天球カメラ１１０の断面図である。図１に示す全天球カメラ１１０は、撮像体１２と、上記撮像体１２およびコントローラやバッテリなどの部品を保持する筐体１４と、上記筐体１４に設けられたシャッター・ボタン１８とを備える。
【００１３】
図１に示す撮像体１２は、２つの結像光学系２０Ａ，２０Ｂと、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの２つの撮像素子２２Ａ，２２Ｂとを含み構成される。結像光学系２０各々は、例えば６群７枚の魚眼レンズとして構成されている。上記魚眼レンズは、図１に示す実施形態では、１８０度（＝３６０度／ｎ；光学系数ｎ＝２）より大きい全画角を有し、好適には、１８５度以上の画角を有し、より好適には、１９０度以上の画角を有する。このような広角な結像光学系２０と撮像素子２２とを１個ずつ組み合わせたものを広角撮像光学系と参照する。
【００１４】
２つの結像光学系２０Ａ，２０Ｂの光学素子（レンズ、プリズム、フィルタおよび開口絞り）は、撮像素子２２Ａ，２２Ｂに対して位置関係が定められる。より具体的には、結像光学系２０Ａ，２０Ｂの光学素子の光軸が、対応する撮像素子２２の受光領域の中心部に直交して位置するように、かつ、受光領域が、対応する魚眼レンズの結像面となるように位置決めが行われる。
【００１５】
図１に示す実施形態では、結像光学系２０Ａ，２０Ｂは、同一仕様のものであり、それぞれの光軸が合致するようにして、互いに逆向きに組み合わせられる。撮像素子２２Ａ，２２Ｂは、受光した光分布を画像信号に変換し、コントローラ上の画像処理手段に順次、画像フレームを出力する。詳細は後述するが、撮像素子２２Ａ，２２Ｂでそれぞれ撮像された画像は、合成処理されて、これにより、立体角４πステラジアンの画像（以下「全天球画像」と参照する。）が生成される。全天球画像は、撮影地点から見渡すことのできる全ての方向を撮影したものとなる。そして、全天球画像の複数時点の連続するフレームにより、全天球動画を構成することができる。ここで、説明する実施形態では、全天球画像および全天球動画を生成するものとして説明するが、全天周画像および全天周動画、並びに水平面のみ３６０度を撮影した、いわゆるパノラマ画像およびパノラマ動画であってもよい。
【００１６】
図２（Ａ）は、本実施形態による全天球画像処理システムを構成する全天球カメラ１１０のハードウェア構成を示す。全天球カメラ１１０は、説明する実施形態における撮像装置および情報処理装置に対応する。
【００１７】
全天球カメラ１１０は、ＣＰＵ（Central Processing Unit）１１２と、ＲＯＭ（Read Only Memory）１１４と、画像処理ブロック１１６と、動画圧縮ブロック１１８と、ＤＲＡＭ（Dynamic Random Access Memory）インタフェース１２０を介して接続されるＤＲＡＭ１３２と、外部センサインタフェース１２４を介して接続される姿勢角センサ１３６とを含み構成される。
【００１８】
ＣＰＵ１１２は、全天球カメラ１１０の各部の動作および全体動作を制御する。ＲＯＭ１１４は、ＣＰＵ１１２が解読可能なコードで記述された制御プログラムや各種パラメータを格納する。ＲＯＭ１１４に加えて、制御プログラムを格納するためのＳＳＤなどのストレージを備えてもよい。画像処理ブロック１１６は、２つの撮像素子１３０Ａ，１３０Ｂ（図１における撮像素子２２Ａ，２２Ｂである。）と接続され、それぞれで撮像された画像の画像信号が入力される。画像処理ブロック１１６は、ＩＳＰ（Image Signal Processor）などを含み構成され、撮像素子１３０から入力された画像信号に対し、シェーディング補正、ベイヤー補間、ホワイト・バランス補正、ガンマ補正などを行う。
【００１９】
動画圧縮ブロック１１８は、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４などの動画圧縮および伸張を行うコーデック・ブロックである。ＤＲＡＭ１３２は、各種信号処理および画像処理を施す際にデータを一時的に保存する記憶領域を提供する。
【００２０】
姿勢角センサ１３６は、３軸の加速度成分および３軸の角速度成分を検出するセンサである。検出された加速度成分および角速度成分は、後述するように、重力方向（基準方向）への全天球画像の天頂補正および重力方向周りの回転補正の一方または両方を施すために用いられる。姿勢角センサ１３６は、さらに、方位角などを求めるための地磁気センサなど他のセンサを備えてもよい。姿勢角センサ１３６は、本実施形態における傾きセンサを構成する。
【００２１】
全天球カメラ１１０は、さらに、外部ストレージインタフェース１２２と、ＵＳＢ（Universal Serial Bus）インタフェース１２６と、シリアルブロック１２８とを含み構成される。外部ストレージインタフェース１２２には、外部ストレージ１３４が接続される。外部ストレージインタフェース１２２は、メモリカードスロットに挿入されたメモリカードなどの外部ストレージ１３４に対する読み書きを制御する。ＵＳＢインタフェース１２６には、ＵＳＢコネクタ１３８が接続される。ＵＳＢインタフェース１２６は、ＵＳＢコネクタ１３８を介して接続されるスマートフォンなどの外部装置とのＵＳＢ通信を制御する。シリアルブロック１２８は、スマートフォンなどの外部装置とのシリアル通信を制御し、無線ＮＩＣ（Network Interface Card）１４０が接続される。
【００２２】
電源スイッチの操作によって電源がオン状態になると、制御プログラムがメインメモリにロードされる。ＣＰＵ１１２は、メインメモリに読み込まれたプログラムに従って、装置各部の動作を制御するとともに、制御に必要なデータをメモリ上に一時的に保存する。これにより、全天球カメラ１１０の後述する各機能部および処理が実現される。制御プログラムには、ファームウェア、オペレーティング・システム（ＯＳ）、プラグイン・アプリケーションなどが含まれ得る。
【００２３】
図２（Ｂ）は、本実施形態による全天球画像処理システムを構成する情報端末１５０のハードウェア構成を示す。
【００２４】
図２（Ｂ）に示す情報端末１５０は、ＣＰＵ１５２と、ＲＡＭ１５４と、内部ストレージ１５６と、入力装置１５８と、外部ストレージ１６０と、ディスプレイ１６２と、無線ＮＩＣ１６４と、ＵＳＢコネクタ１６６とを含み構成される。
【００２５】
ＣＰＵ１５２は、情報端末１５０の各部の動作および全体動作を制御する。ＲＡＭ１５４は、ＣＰＵ１５２の作業領域を提供する。内部ストレージ１５６は、ＣＰＵ１５２が解読可能なコードで記述された、ＯＳや、本実施形態による情報端末１５０側の処理を担うアプリケーションなどの制御プログラムを格納する。
【００２６】
入力装置１５８は、タッチスクリーンなどの入力装置であり、ユーザ・インタフェースを提供する。入力装置１５８は、全天球画像の補正など操作者による各種の指示を受け付ける。外部ストレージ１６０は、メモリカードスロットなどに装着された着脱可能な記録媒体であり、動画形式の画像データや静止画データなどの各種データを記録する。ディスプレイ１６２は、ユーザ操作に応答して補正された全天球画像を画面表示する。無線ＮＩＣ１６４は、全天球カメラ１１０などの外部機器との無線通信の接続を確立する。ＵＳＢコネクタ１６６は、全天球カメラ１１０などの外部機器とのＵＳＢ接続をする。
【００２７】
情報端末１５０に電源が投入され電源がオン状態になると、内部ストレージ１５６から制御プログラムが読み出され、ＲＡＭ１５４にロードされる。ＣＰＵ１５２は、ＲＡＭ１５４に読み込まれた制御プログラムに従って、装置各部の動作を制御するとともに、制御に必要なデータをメモリ上に一時的に保存する。これにより、情報端末１５０の後述する各機能部および処理が実現される。
【００２８】
以下、図３〜図６を参照しながら、本実施形態による全天球画像処理システムが備える全天球画像補正機能について説明する。
【００２９】
図３は、本実施形態による全天球画像処理システム上で実現される全天球画像補正機能に関連する主要な機能ブロック２００を示す。全天球カメラ１１０の機能ブロック２１０は、図３に示すように、全天球撮像部２１２と、記憶部２１４と、天頂・回転補正部２２０と、画像出力部２３２とを含み構成される。
【００３０】
全天球撮像部２１２は、２つの撮像素子１３０Ａ，１３０Ｂを用いてフレームを順次撮像し、全天球フレームデータを出力する。全天球撮像部２１２は、また、撮像中、姿勢角センサ１３６を用いて３軸方向の加速度成分および３軸方向の角速度成分を計測し、メタデータとしてこれらの計測した結果を含む傾きデータを出力する。出力された全天球フレームデータおよび傾きデータは、後述する傾き補正（天頂補正および回転補正の一方または両方）が施された後、あるいは、そのまま、全天球画像データ２４０として記憶部２１４に記録される。
【００３１】
記憶部２１４は、全天球撮像部２１２によって撮像された１または複数の全天球画像データ２４０を記憶する。記憶部２１４は、図２に示した外部ストレージ１３４や他のストレージなどの記憶領域の一部として与えられる。全天球画像データ２４０は、図３に示すように、全天球カメラ１１０で撮像された全天球フレームデータ２４２と、撮影中の全天球カメラ１１０の基準方向に対する傾き角および基準方向まわりの回転角のデータである傾きデータ２４４とを含み構成される。
【００３２】
なお、全天球画像データ２４０が静止画であれば、全天球フレームデータ２４２には、１つの画像フレームデータが含まれることになる。これに対し、全天球画像データ２４０が動画であれば、全天球フレームデータ２４２は、撮像を開始してから終了するまでのそれぞれ全天球動画を構成する複数のフレームを含むことになる。なお、全天球画像データ２４０は、単一の静止画や、所定レート（３０ｆｐｓ、３３ｆｐｓや６０ｆｐｓ）のいわゆるビデオ動画であってもよいが、説明する実施形態においては、所定の時間間隔（ビデオ動画のレートと比較して通常長い間隔）でインターバル撮影されたインターバル撮影画像（連続した静止画として記録される。）または、それを動画形式としたタイムラプス動画を中心として説明する。
【００３３】
以下、図４を参照しながら、全天球画像の生成および生成される全天球画像について説明する。図４（Ａ）は、全天球画像生成における各画像のデータ構造および画像のデータフローを説明する。まず、撮像素子１３０各々で直接撮像される画像は、概ね全天球のうちの半球を視野に収めた画像である。結像光学系に入射した光は、所定の射影方式に従って撮像素子１３０の受光領域に結像される。ここで撮像される画像は、受光領域が平面エリアを成す２次元の撮像素子で撮像されたものであり、平面座標系で表現された画像データとなる。また、典型的には、得られる画像は、図４（Ａ）において「魚眼画像Ａ」および「魚眼画像Ｂ」で示されるように、各撮影範囲が投影されたイメージサークル全体を含む魚眼画像として構成される。
【００３４】
この複数の撮像素子１３０で撮像された各フレームの複数の魚眼画像が、歪み補正および合成処理されて、各フレームに対応する１つの全天球画像が構成される。合成処理では、平面画像として構成される各魚眼画像から、まず、相補的な各半球部分を含む各全天球画像が生成される。そして、各半球部分を含む２つの全天球画像が、重複領域のマッチングに基づいて位置合わせされ、画像合成され、全天球全体を含む全天球画像が生成される。
【００３５】
図４（Ｂ）は、本実施形態で用いられる全天球画像の画像データのデータ構造を平面で表して説明する図である。図４（Ｃ）は、全天球画像の画像データのデータ構造を球面で表して説明する図である。図４（Ｂ）に示すように、全天球画像の画像データは、所定の軸に対してなされる垂直角度φと、所定の軸周りの回転角に対応する水平角度θとを座標とした画素値の配列として表現される。垂直角度φは、０度〜１８０度（あるいは−９０度〜＋９０度）の範囲となり、水平角度θは、０度〜３６０度（あるいは−１８０度〜＋１８０度）の範囲となる。
【００３６】
全天球フォーマットの各座標値（θ，φ）は、図４（Ｃ）に示すように、撮影地点を中心とした全方位を表す球面上の各点と対応付けられており、全方位が全天球画像上に対応付けられる。魚眼レンズで撮影された魚眼画像の平面座標と、全天球画像の球面上の座標とは、所定の変換テーブルにて対応付けされる。変換テーブルは、それぞれのレンズ光学系の設計データ等に基づいて、所定の投影モデルに従い製造元等で予め作成されたデータであり、魚眼画像を全天球画像へ変換するデータである。
【００３７】
ここで、全天球フレームデータ２４２が全天球画像を構成するものとして説明しているが、必ずしも図４に示すような合成後の全天球画像のフォーマットで各フレームが記録されていることを要するものではない。全天球フレームデータ２４２は、再生時に全天球画像が構成可能であれば、いかなる形態で記録されていてもよい。
【００３８】
例えば、閲覧時に魚眼画像から歪み補正および合成を行って全天球画像を生成することを前提として、撮像素子１３０Ａ，１３０Ｂで直接撮像される２つの魚眼画像の静止画データまたは動画データ（図４（Ａ）に示す魚眼画像Ａおよび魚眼画像Ｂそれぞれに対応する静止画または動画データ）、または、２つの魚眼画像を接合した接合画像の静止画データまたは動画データ（魚眼画像Ａおよび魚眼画像Ｂを並べて接合して１つの画像とした場合の静止画または動画データ）が記録されていてもよい。なお、以下、説明の便宜上、全天球フレームデータ２４２は、歪み補正および合成処理後の全天球画像のフォーマットで画像を保持するものとして説明する。
【００３９】
静止画は、静止画が再生可能であればいなかる形式で記録されてよい。例えば、ＪＰＥＧ（Joint Photographic Experts Group）、ＰＮＧ（Portable Network Graphics）、ＢＭＰ（Bitmap）形式などを挙げることができる。また、動画（ビデオ動画およびタイムラプス動画を含む。）は、動画が再生可能であれば、いかなる形態で記録されてもよい。例えば、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ（Advanced Video Coding）、Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）などの所定のコーデックで、複数のフレームを圧縮した動画データとして記録されていてもよい。また、Ｍｏｔｉｏｎ  ＪＰＥＧ（Joint Photographic Experts Group）は、連続した静止画として動画を表現する形式であるが、このように、複数のフレームの静止画像の連続した系列として動画データが記録されていてもよい。さらに、インターバル撮影画像は、複数の静止画ファイルの集合として記録されてもよいし、複数の静止画を含む単一のファイルとして記録されてもよい。
【００４０】
ここで、再び図３を参照する。傾きデータ２４４は、静止画の場合は、全天球画像に関連付けて記録される、撮像した際の全天球カメラ１１０の基準方向に対する傾き角のデータである。傾きデータ２４４は、動画の場合、全天球動画の各フレームに関連付けて記録される、撮像を開始してから終了するまでの全天球カメラ１１０の基準方向に対する傾き角の時系列データである。ここで、基準方向は、典型的には、重力加速度が作用する重力方向である。重力方向に対する傾き角は、姿勢角センサ１３６に含まれる加速度センサで計測された信号に基づいて生成される。加速度センサは、重力と慣性力とを区別しないので、好ましくは、姿勢角センサ１３６に含まれる角速度センサで計測された信号に基づいて、加速度センサから得られた傾き角が補正されてもよい。また、基準方向に対する傾き角に加えて、基準方向まわりの回転角の情報を含んでいてもよい。回転角の情報は、姿勢角センサ１３６の角速度センサで計測される、撮像を開始してから終了するまでの全天球カメラ１１０（内の角速度センサ）の３軸周りで生じた角速度に基づくものであってもよいし、地磁気センサによる方位角に基づくものであってもよい。傾きデータ２４４は、例えば、ファイルのメタデータとして保存される。
【００４１】
なお、説明する実施形態では、便宜上、フレームに対して傾き角や回転角の情報が一対一で対応し、静止画の場合は、画像に対して一つの傾き角や回転角が記録され、動画の場合、フレームと傾き角や回転角とは同期されて記録されているものとして説明する。しかしながら、記録する傾き角や回転角は、必ずしもフレームレートと同一としなくともよい。フレームレートと一致しない場合は、フレームレートでのリサンプリングなどを行うことにより、フレームに一対一で対応した傾き角や回転角を得ればよいし、また、一定の間隔で記録されていることも要さず、この場合、タイムスタンプを手がかりとして、後で各フレームとの対応関係を求めることができればよい。さらに、傾き角と回転角とが、同一のサンプリング周期で取得および保存されている必要もなく、それぞれ独立した別々の時系列データとして構成されることを妨げるものではない。
【００４２】
天頂・回転補正部２２０は、全天球フレームデータの各フレーム画像に対し、傾きデータにおいて各フレームに対応付けられる傾き情報（基準方向に対する傾き角および基準方向まわりの回転角）に基づいて、傾き補正（天頂補正および回転補正の一方または両方）をかけて、補正された全天球画像データを出力する。まお、天頂・回転補正部２２０による傾き補正は、撮影後に記憶部２１４に一旦記憶された全天球画像データ２４０を読み出して行われてもよいし、撮影中に全天球撮像部２１２から出力される全天球フレームデータおよび傾きデータに基づいて行われてもよい。天頂・回転補正部２２０により補正された全天球画像データも、記憶部２１４に記録されてもよいし、情報端末１５０の表示部２５２へ送信されて画面表示されてもよい。
【００４３】
ここで、図５および図６を参照しながら、天頂補正および回転補正について説明する。図５は、本実施形態において行われる全天球画像の天頂補正および回転補正を説明する図である。図６は、本実施形態において行われる全天球画像の天頂補正および回転補正によって得られる全天球画像を説明する図である。図６（Ａ）は、天頂補正前の画像フレームを示し、図６（Ｂ）は、天頂補正後の画像フレームを示す。
【００４４】
上述したように、全天球画像フォーマットの画像データは、所定の軸ｚ０に対してなす垂直角度φと、上記所定の軸ｚ０周りの回転角に対応する水平角度θとを座標とした画素値の配列として表現される。ここで、所定の軸は、なんら補正がなされない場合は、全天球カメラ１１０を基準として定義される軸となる。例えば、図１に示す全天球カメラの撮像体１２側を頭部としてその反対側を底部として、底部から頭部へ筐体の中心を通る中心軸を、水平角度θおよび垂直角度φを定義する所定の軸ｚ０として全天球画像を定義することができる。また、例えば２つの結像光学系２０Ａ，２０Ｂのうちの一方の光学素子の光軸方向が水平角度θで中心に位置するように、全天球画像の水平角度θを定義することができる。
【００４５】
天頂補正とは、図５の左図のように実際には基準方向（重力方向）に対して中心軸ｚ０が傾いている状態で撮像された全天球画像（図６（Ａ））を、図５の右図のようにあたかも中心軸ｚ０が基準方向Ｚに一致した状態で撮影されたかのような全天球画像（図６（Ｂ））に補正する処理（Ｒｏｌｌ，Ｐｉｔｃｈ方向の補正）をいう。これに対して、回転補正とは、天頂補正により基準方向に中心軸ｚ０が一致するように補正された全天球画像において、さらに、基準方向Ｚ周りの変動（図６の水平角度θ方向の変動）を低減する補正（Ｙａｗ方向の補正）をいう。ここで、Ｙａｗ方向の補正の仕方としては、初期の姿勢に合わせるようにする方法と、所定の方位（例えば北）を固定する方法とがある。
【００４６】
なお、フレームデータ中の各フレームの画像が合成後の全天球フォーマットの画像である場合は、天頂・回転補正部２２０は、設定された補正量に基づいて、各フレームの全天球画像の回転座標変換を行う。一方で、フレームデータ中の各フレームが、合成前の複数の魚眼画像である場合は、天頂・回転補正部２２０は、設定された補正量に基づいて、フレーム各々に対し天頂補正および回転補正を施すとともに、複数の魚眼画像から全天球画像への変換を一括で行う。
【００４７】
また、説明する実施形態では、基準方向に対する傾き角に基づいて天頂補正を行うとともに、基準方向まわりの回転角に基づいて回転補正を行うものとし、傾き補正として、天頂補正および回転補正の両方を行うものとして説明する。しかしながら、これに限定されるものではなく、他の実施形態では、いずれか一方の情報のみを保持し、いずれか一方の傾き補正のみを行うこととしてもよい。
【００４８】
以下、さらに図３を参照しながら、天頂・回転補正部２２０による傾き補正の動作について、より詳細に説明する。本実施形態による全天球カメラ１１０の機能ブロック２１０は、図３に示すように、さらに、補正量設定部２２２と、モード設定部２２４と、状態判定部２２６とを含み構成される。
【００４９】
補正量設定部２２２は、上述した天頂・回転補正部２２０による傾き補正（傾き角および回転角）の補正量を設定する。より具体的には、補正量設定部２２２は、後述するモード設定部２２４および状態判定部２２６の一方または両方と連携して、傾き補正（傾き角および回転角）の補正量を、複数のフレームの画像（インターバル撮影で記録される複数の静止画フレームまたはタイムラプス動画内の複数のフレームの画像を含む。）に対して固定する。固定とは補正する量を同じとすることであり、補正する量を同じとするとは、補正する量が完全に同じでなくとも、画像に影響の出ない程度の補正する量であれば固定に含められるものとする。ここで、固定して用いられる補正量は、連続して撮影された複数の画像における最初、最後および中間のうちの少なくとも１つの画像を撮像した際に姿勢角センサ１３６により検出された少なくとも１つの傾きに基づく補正量である。特に限定されるものではないが、特定の実施形態においては、最初のフレームの傾きに基づいた補正量を、以後のフレームについても用いることができる。他の実施形態では、複数の傾きの平均値に基づく補正量を、複数のフレームの画像を通して適用することができる。補正量設定部２２２は、本実施形態における補正量設定手段を構成する。
【００５０】
モード設定部２２４は、補正量設定部２２２が傾き補正の補正量を設定する際に用いられる。モード設定部２２４は、インターバル撮影などの複数の画像を連続して撮影するモードにおいて、補正量を固定する固定補正モードまたは補正量を固定しない追従補正モード等を設定する。
【００５１】
ここで、固定補正モードとは、視点（カメラ）を固定して連続撮影を行うことが前提であるため、補正量を固定して傾きを補正するために用意されたモードを総称するものであり、必ずしもそのような名称の固有のモードがあるというものでもないし、複数のモードが、固定補正モードに分類されることもある。例えば、インターバル撮影では、通常、視点固定で行われると考えられるので、インターバル撮影モードが設定されている場合に、一律に固定補正モードを設定することとしてよい。あるいは、同じインターバル撮影でも、三脚固定の場合は、視点が固定されるため補正量を固定することが好ましいが、手持ちの場合は、通常視点がぶれるため、そのぶれに追従した通常の傾き補正が好ましいという考え方のもと、インターバル撮影（固定補正）モードおよびインターバル撮影（追従補正）モードのように複数モードが用意される場合がある。このような場合、補正量の固定を明示するインターバル撮影（固定補正）モードが選択された場合に、固定補正モードが設定されてもよい。そして、選択される具体的なモードは、全天球カメラ１１０に接続される情報端末１５０のアプリケーションから、または、本全天球カメラ１１０が備えるボタンの操作に基づいて、ユーザが適宜設定することができる。
【００５２】
モード設定部２２４は、本実施形態におけるモード設定手段を構成する。特定の実施形態においては、補正量設定部２２２は、モード設定部２２４により固定補正モードが設定される場合に、複数のフレームの画像に対して補正量を固定する。
【００５３】
状態判定部２２６は、姿勢角センサ１３６による傾きの出力を監視し、傾きの変化に基づいて、撮影中の視点が固定された状態にあるかを判定する。例えば、姿勢角センサ１３６により検出された傾きの変化が充分に小さい場合（初期値または平均値からの変動幅が閾値以下の場合）に、微小なセンサ出力の変化にかかわらず、視点が固定されていると判断することができる。状態判定部２２６は、本実施形態における状態判定手段を構成する。特定の実施形態においては、補正量設定部２２２は、状態判定部２２６により視点が固定された状態であると判定された場合に、複数のフレームの画像を通して補正量を固定する。
【００５４】
補正量設定部２２２が補正量を設定する際に、モード設定部２２４のモード設定に基づくか、または、状態判定部２２６の状態判定の結果に基づくかは、ユーザが適宜事前に設定していればよい。例えば、上述した同じインターバル撮影について、インターバル撮影（固定補正）モードおよびインターバル撮影（追従補正）モードに加えて、インターバル撮影（自動判別）モードを用意することができる。そして、インターバル撮影（固定補正）モードが選択された場合は、モード設定部２２４のモード設定に基づいて判断を行う。一方、インターバル撮影（自動判別）モードが選択された場合には、状態判定部２２６の状態判定の結果に基づいて判断を行うことができる。
【００５５】
なお、説明する実施形態では、全天球カメラ１１０がモード設定部２２４および状態判定部２２６の両方を実装しており、ユーザの選択に応じて適宜切り替えられるものとして説明するが、特に限定されるものではない。他の実施形態では、モード設定部２２４および状態判定部２２６のいずれかのみを実装し、実装した一方に対応する判断のみを行う対応としてもよい。
【００５６】
以下、さらに図３を参照しながら、情報端末１５０の機能ブロック２５０について説明する。図３に示すように、情報端末１５０の機能ブロック２５０は、表示部２５２を含み構成される。表示部２５２は、全天球画像データを閲覧する際に用いられる。
【００５７】
全天球カメラ１１０は、情報端末１５０からの各種要求を受信しており、情報端末１５０から全天球画像の補正要求（例えば閲覧に際して補正後の全天球画像を求める要求）を受信すると、天頂・回転補正部２２０に対し要求が渡される。天頂・回転補正部２２０は、全天球画像の補正要求に応答して、指定された全天球画像データ２４０の天頂補正および回転補正、並びに補正後の画像データの出力を開始する。画像出力部２３２は、天頂・回転補正部２２０により天頂補正および回転補正が施された全天球画像を要求元の情報端末１５０に出力する。
【００５８】
情報端末１５０は、全天球カメラ１１０と通信し、全天球画像を閲覧再生するためのアプリケーションがインストールされたスマートフォンやタブレットコンピュータ、パーソナルコンピュータなどの端末装置である。情報端末１５０は、アプリケーションを介して操作者から各種指示を受け付けて、全天球カメラ１１０に対し各種要求を発行し、例えば、操作者からの指定の全天球画像の補正指示（例えば補正をしながらのインターバル撮影画像の閲覧の指示）を受け付けたことに応答して、全天球カメラ１１０に対し、所定の全天球画像の補正後の画像データを求める要求を発行する。情報端末１５０の表示部２５２は、全天球カメラ１１０から出力されてくる画像データに基づいて、情報端末１５０が備えるディスプレイ１６２などの表示装置上に全天球画像を表示する。
【００５９】
なお、情報端末１５０側で、補正後の画像データに基づいてどのような画像が表示されるのかは任意である。例えば、全天球画像をそのまま表示装置上に表示してもよいし、全天球画像を球体オブジェクトに張り付けて、所定の位置から所定の視野角のカメラで球体オブジェクトを観察した場合の画像をフレームとして表示することもできる。
【００６０】
なお、説明する実施形態では、情報端末１５０のディスプレイ１６２から全天球画像を画面表示するものとして説明するが、実施形態は、これに限定されるものではない。全天球カメラ１１０が表示装置を別途備える実施形態では、全天球カメラ１１０が備える表示装置から全天球画像を画面表示してもよいし、Ｍｉｒａｃａｓｔ（登録商標）などの無線映像通信プロトコルまたはＨＤＭＩ（登録商標）などの有線映像通信プロトコルで全天球カメラ１１０と接続される表示装置がある実施形態では、全天球カメラ１１０に接続された表示装置から全天球画像を画面表示されてもよい。
【００６１】
また、補正するタイミングは、閲覧する以前であれば、任意のタイミングで行うことができる。特定の実施形態では、撮影時に、撮像した各フレームの画像に対して姿勢角センサ１３６により検出された傾きに基づいて傾き補正をかけ、補正後のものを全天球画像データ２４０として、保存することとしてもよい。あるいは、上述して説明したように、撮影時には補正をかけずに保存しておき、ユーザからの閲覧が要求（例えば補正をしながらの閲覧の指示）された時に、記録された全天球画像データ２４０を読み出して、画像に対して記録された傾きに基づいて傾きを補正するものであってもよい。撮影時には補正をかけずデータを保存し、閲覧前に補正する場合は、必ずしも撮影時の撮像モードにかかわらず、事後的に、補正モードとしての固定補正モードが指定されればよい。
【００６２】
また、説明する実施形態では、全天球カメラ１１０が、上述した天頂・回転補正部２２０、補正量設定部２２２、モード設定部２２４および状態判定部２２６を実装するものとして説明してきた。情報端末１５０ではなく、全天球カメラ１１０側のリソースを用いて天頂補正および回転補正の実体的な処理を行い、情報端末１５０には補正結果を出力して表示させる構成により、情報端末１５０が備える処理性能にかかわらず、天頂補正および回転補正を施しながらの動画再生を安定に行うことが可能となる。しかしながら、他の実施形態では、これらの補正に関わる処理の少なくとも一部が、情報端末１５０側にあることを妨げるものではない。また、情報処理装置として、全天球カメラ１１０でははく、情報端末１５０が実装する機能として、これらの補正に関わる処理の全部が、情報端末１５０側にあることを妨げるものではない。
【００６３】
以下、図７〜図１０に示すフローチャートを参照しながら、本実施形態による全天球カメラが実行する全天球画像補正処理についてより詳細に説明する。なお、図７および図８は、モード設定に基づく撮影時および閲覧時の補正処理をそれぞれ示し、図９および図１０は、状態判定に基づく撮影時および閲覧時の補正処理をそれぞれ示す。
【００６４】
図７は、本実施形態による全天球カメラ１１０が実行する、撮像時のモード設定に基づく全天球画像補正処理を示すフローチャートである。図７に示す処理は、ユーザからの撮影要求に応答して、ステップＳ１００から開始される。
【００６５】
ステップＳ１０１では、全天球カメラ１１０は、モード設定部２２４により、現在選択されている撮影モードを取得する。ステップＳ１０２では、全天球カメラ１１０は、モード設定部２２４により、選択されている撮影モードとして、固定補正モードまたは追従補正モードが設定される。例えば、１つしかインターバル撮影モードがない場合のインターバル撮影モードが設定されている場合と、複数のインターバル撮影モードがある場合の補正量の固定を明示するインターバル撮影（固定補正）モードが選択された場合に、固定補正モードが設定される。ステップＳ１０２で、固定補正モードが設定されていない場合（ＮＯ）は、ステップＳ１０９で、選択された撮影モードに応じた処理（例えば、動的に補正量を設定する通常のインターバル撮影）を行い、ステップＳ１１０で本処理を終了させる。
【００６６】
一方、ステップＳ１０２で、固定補正モードが設定されている場合（ＹＥＳ）は、ステップＳ１０３へ処理が分岐される。全天球カメラ１１０は、ステップＳ１０３で、連続撮影を開始し、ステップＳ１０４で、画像フレームを撮像する。ステップＳ１０５では、補正量設定部２２２により、１枚目であるか否かを判定する。ステップＳ１０５で、補正量設定部２２２により１枚目であると判定された場合（ＹＥＳ）は、ステップＳ１０６へ処理が分岐される。ステップＳ１０６では、全天球カメラ１１０は、補正量設定部２２２により、姿勢角センサ１３６の出力に基づき、傾き補正の補正量（検出された傾きをキャンセルするような補正量）を設定し、ステップＳ１０７へ処理を進める。
【００６７】
一方、ステップＳ１０５で、補正量設定部２２２により１枚目ではないと判定された場合（ＮＯ）は、ステップＳ１０７へ直接処理が分岐される。この場合は、補正量設定部２２２は、当該撮影された画像に対する補正量として、前回から用いられた補正量（１回目の時に計算された補正量）を設定する。
【００６８】
ステップＳ１０７では、全天球カメラ１１０は、天頂・回転補正部２２０により、撮像した画像フレームに対し、現在の傾き補正量に基づいて傾きを補正する。インターバル撮影画像の場合、その補正後の画像フレームを静止画として保存することができる。タイムラプス動画の場合、その補正後の画像フレームを複数まとめて符合化し、動画として保存することができる。
【００６９】
ステップＳ１０８では、全天球カメラ１１０は、撮影が継続されるか否かを判定する。ステップＳ１０８で、撮影が継続されると判定された場合（ＹＥＳ）は、ステップＳ１０４へ処理をループさせて、次のフレームの撮影に進める。一方、例えば、事前に設定された枚数の撮影が完了しており、ステップＳ１０８で、撮影を継続する必要がないと判定された場合（ＮＯ）は、ステップＳ１１０へ処理を分岐させて、本処理を終了させる。
【００７０】
図８は、本実施形態による全天球カメラ１１０が実行する、閲覧時の撮影モードに基づく全天球画像補正処理を示すフローチャートである。図８に示す処理は、ユーザからの閲覧要求に応答して、ステップＳ２００から開始される。
【００７１】
ステップＳ２０１では、全天球カメラ１１０は、全天球画像データ２４０を読み出す。インターバル撮影画像の場合、一群の静止画として全天球画像データ２４０が指定される。タイムラプス動画の場合、動画として全天球画像データ２４０が指定される。なお、ステップＳ２０１では、モード設定部２２４により、例えば全天球画像データ２４０のメタデータから、撮影時に選択された撮影モードが取得されてもよい。あるいは、閲覧要求に、補正モードの指定があってもよい。ステップＳ２０２では、全天球カメラ１１０は、モード設定部２２４により、撮影時に選択された撮影モードまたは要求される補正モードとして、固定補正モードまたは追従補正モード等を設定する。ステップＳ２０２で、固定補正モードが設定されていない場合（ＮＯ）は、ステップＳ２０９で、選択されたモードに応じた処理（例えば、動的に補正量が設定される通常の補正）を行い、ステップＳ２１０で本処理を終了させる。
【００７２】
一方、ステップＳ２０２で、固定補正モードが設定されている場合（ＹＥＳ）は、ステップＳ２０３へ処理が分岐される。全天球カメラ１１０は、ステップＳ２０３で、傾き補正を開始し、ステップＳ２０４で、画像フレームを取得する。ステップＳ２０５では、補正量設定部２２２により、１フレーム目であるか否かを判定する。ステップＳ２０５で、補正量設定部２２２により１フレーム目であると判定された場合（ＹＥＳ）は、ステップＳ２０６へ処理が分岐される。ステップＳ２０６では、全天球カメラ１１０は、補正量設定部２２２により、当該画像フレームに関連付けて記録されたセンサ出力値に基づき、傾き補正の補正量を設定し、ステップＳ２０７へ処理を進める。
【００７３】
一方、ステップＳ２０５で、補正量設定部２２２により１フレーム目ではないと判定された場合（ＮＯ）は、ステップＳ２０７へ直接処理が分岐される。この場合は、補正量設定部２２２は、当該画像フレームに対する補正量として、当該画像フレームに関連付けて記録されたセンサ出力値にかかわらず、前回から用いられた補正量（１フレーム目の時に計算された補正量）を設定する。
【００７４】
ステップＳ２０７では、全天球カメラ１１０は、天頂・回転補正部２２０により、当該画像フレームに対し、現在の傾き補正量に基づいて傾きを補正する。
【００７５】
ステップＳ２０８では、全天球カメラ１１０は、後続フレームがあるか否かを判定する。ステップＳ２０８で、後続フレームがあると判定された場合（ＹＥＳ）は、ステップＳ２０４へ処理をループさせて、次の画像フレームの処理に進める。一方、ステップＳ２０８で、後続フレームがないと判定された場合（ＮＯ）は、ステップＳ２１０へ処理を分岐させて、本処理を終了させる。
【００７６】
図９は、本実施形態による全天球カメラ１１０が実行する、撮像時のセンサ出力に基づく全天球画像補正処理を示すフローチャートである。図９に示す処理は、ユーザからの撮影要求に応答して、ステップＳ３００から開始される。
【００７７】
全天球カメラ１１０は、ステップＳ３０１で、連続撮影を開始し、ステップＳ３０２で、画像フレームを撮像する。ステップＳ３０３では、補正量設定部２２２により、１枚目であるか否かを判定する。ステップＳ３０３で、補正量設定部２２２により１枚目であると判定された場合（ＹＥＳ）は、ステップＳ３０４へ処理が分岐される。ステップＳ３０４では、全天球カメラ１１０は、補正量設定部２２２により、姿勢角センサ１３６の出力に基づき、傾き補正の補正量を設定し、ステップＳ３０６へ処理を進める。
【００７８】
一方、ステップＳ３０３で、補正量設定部２２２により１枚目ではないと判定された場合（ＮＯ）は、ステップＳ３０５へ処理が分岐される。この場合、ステップＳ３０５では、状態判定部２２６により、姿勢角センサ１３６の出力に基づき視点固定状態であると考えられるか否かを判定する。視点固定状態であるか否かを判断する方法は、特に限定されるものではないが、例えば、姿勢角センサ１３６を用いて、センサ出力が前回撮影から今回の撮影までずっと一定閾値以下であった場合に、固定状態と判断することができる。
【００７９】
ステップＳ３０５で、状態判定部２２６により視点固定状態ではないと判定された場合（ＮＯ）は、ステップＳ３０４へ処理が分岐される。この場合、全天球カメラ１１０の姿勢が動いた可能性があるので、全天球カメラ１１０は、ステップＳ３０４では、補正量設定部２２２により、姿勢角センサ１３６の出力に基づき、傾き補正の補正量を再度計算し、補正量を設定し、ステップＳ３０６へ処理を進める。一方、ステップＳ３０５で、状態判定部２２６により視点固定状態であると判定された場合（ＹＥＳ）は、ステップＳ３０６へ直接処理が分岐される。この場合は、補正量設定部２２２は、当該画像フレームに対する補正量として、前回から用いられた補正量（１フレーム目の時に計算された補正量または状態変化があった際に計算された補正量）を設定する。
【００８０】
ステップＳ３０６では、全天球カメラ１１０は、天頂・回転補正部２２０により、撮像した画像フレームに対し、現在の傾き補正量に基づいて傾きを補正する。
【００８１】
ステップＳ３０７では、全天球カメラ１１０は、撮影が継続されるか否かを判定する。ステップＳ３０７で、撮影が継続されると判定された場合（ＹＥＳ）は、ステップＳ３０２へ処理をループさせて、次のフレームの撮影に進める。一方、ステップＳ３０７で、撮影を継続する必要がないと判定された場合（ＮＯ）は、ステップＳ３０８へ処理を分岐させて、本処理を終了させる。
【００８２】
図１０は、本実施形態による全天球カメラ１１０が実行する、閲覧時のセンサ出力に基づく全天球画像補正処理を示すフローチャートである。図１０に示す処理は、ユーザからの閲覧要求に応答して、ステップＳ４００から開始される。
【００８３】
ステップＳ４０１では、全天球カメラ１１０は、全天球画像データ２４０を読み出す。ステップＳ４０２では、全天球カメラ１１０は、傾き補正を開始し、ステップＳ４０３で、画像フレームを取得する。ステップＳ４０４では、補正量設定部２２２により、１フレーム目であるか否かを判定する。ステップＳ４０４で、補正量設定部２２２により１フレーム目であると判定された場合（ＹＥＳ）は、ステップＳ４０５へ処理が分岐される。ステップＳ４０５では、全天球カメラ１１０は、補正量設定部２２２により、当該画像フレームに関連付けて記録されたセンサ出力値に基づき、傾き補正の補正量を設定し、ステップＳ４０７へ処理を進める。
【００８４】
一方、ステップＳ４０４で、補正量設定部２２２により１フレーム目ではないと判定された場合（ＮＯ）は、ステップＳ４０６へ処理が分岐される。この場合、ステップＳ４０６では、状態判定部２２６により、姿勢角センサ１３６の出力に基づき視点固定状態であると考えられるか否かを判定する。ステップＳ４０６で、状態判定部２２６により視点固定状態ではないと判定された場合（ＮＯ）は、ステップＳ４０５へ処理が分岐される。この場合、全天球カメラ１１０は、ステップＳ４０５では、補正量設定部２２２により、姿勢角センサ１３６の出力に基づき、傾き補正の補正量を再度計算し、設定し、ステップＳ４０７へ処理を進める。
【００８５】
一方、ステップＳ４０６で、状態判定部２２６により視点固定状態であると判定された場合（ＹＥＳ）は、ステップＳ４０７へ直接処理が分岐される。この場合は、補正量設定部２２２は、当該画像フレームに対する補正量として、前回から用いられた補正量（１フレーム目の時に計算された補正量または状態の変化があった際に計算された補正量）を設定する。
【００８６】
ステップＳ４０７では、全天球カメラ１１０は、天頂・回転補正部２２０により、当該画像フレームに対し、現在の傾き補正量に基づいて傾きを補正する。
【００８７】
ステップＳ４０８では、全天球カメラ１１０は、後続するフレームがあるか否かを判定する。ステップＳ４０８で、後続フレームがあると判定された場合（ＹＥＳ）は、ステップＳ４０３へ処理をループさせて、次の画像フレームの処理に進める。一方、ステップＳ４０８で、後続フレームがないと判定された場合（ＮＯ）は、ステップＳ４０９へ処理を分岐させて、本処理を終了させる。
【００８８】
なお、上述した説明では、傾き補正機能は、撮像装置および情報処理装置としての全天球カメラ１１０が備えるものとして説明したが、これに特に限定されるものではない。他の実施形態では、傾き補正機能は、全天球カメラ１１０に接続された情報処理装置としての情報端末１５０に、または、情報端末１５０が補正量設定部２２２、モード設定部２２４および状態判定部２２６などの機能を担うとして、該情報端末１５０の外部の撮像装置としての全天球カメラ１１０に備えられてもよい。
【００８９】
以下、図１１を参照しながら、他の実施形態について説明する。図１１は、他の実施形態による全天球画像処理システム上に実現される全天球画像補正機能に関連する主要な機能ブロック３００を示す。図１１に示す実施形態は、全天球カメラ１１０に接続された情報処理装置としての情報端末１５０に、傾き補正、補正量設定、状態判定およびモード設定にかかる機能が備えられた構成に対応する。
【００９０】
図１１に示す実施形態では、全天球カメラ１１０の機能ブロック３１０は、全天球撮像部３１２を含み構成される。全天球撮像部３１２は、情報端末１５０に対し、全天球フレームデータを出力するとともに、撮像中に姿勢角センサ１３６を用いて計測した傾きデータをメタデータとして出力する。この際に、必要に応じて、全天球フレームデータや傾きデータが自身の記憶部に一旦保存されてもよい。図１１に示す実施形態において、全天球カメラ１１０は、専ら撮像したフレームデータおよび計測した傾きデータを情報端末１５０に出力する機能を備える。
【００９１】
これに対し、情報端末１５０は、図３を参照して説明した実施形態と同様に、全天球カメラ１１０と通信し、全天球画像を閲覧再生するためのアプリケーションがインストールされた端末装置である。一方で、図１１に示す実施形態では、情報端末１５０の機能ブロック３５０は、例えば上述したアプリケーションのコンポーネントとして、記憶部３３０と、天頂・回転補正部３２０と、補正量設定部３２２と、モード設定部３２４と、状態判定部３２６と、表示部３５２とを備える。全天球カメラ１１０から出力された全天球フレームデータおよび傾きデータは、情報端末１５０において、傾き補正（天頂補正および回転補正の一方または両方）が施された後、あるいは、そのまま、全天球画像データ３４０として、記憶部３３０に記憶される。
【００９２】
記憶部３３０は、全天球カメラ１１０の全天球撮像部３１２によって撮像され、出力された１または複数の全天球画像データ３４０を記憶する。記憶部３３０は、図２（Ｂ）に示した外部ストレージ１６０やＨＤＤ１５６やＳＳＤ（Solid State Drive）などの記憶領域の一部として与えられる。全天球画像データ３４０は、同様に、全天球フレームデータ３４２と、傾きデータ３４４とを含み構成される。天頂・回転補正部３２０、補正量設定部３２２、状態判定部３２６およびモード設定部３２４は、図３を参照して説明した実施形態と同様の機能を有しており、詳細な説明は割愛する。
【００９３】
表示部３５２は、全天球画像データを閲覧する際に用いられる。表示部３５２は、天頂・回転補正部３２０により補正された全天球画像データ、または、天頂・回転補正部３２０により補正された後、記憶部３３０に記憶された全天球画像データに基づいて、情報端末１５０が備えるディスプレイ１６２などの表示装置上に全天球画像を表示する。
【００９４】
情報端末１５０は、アプリケーションを介して操作者から各種指示を受け付ける。例えば、操作者からの指定の全天球画像の補正指示（例えば補正をしながらのインターバル撮影画像の閲覧の指示）が受け付けられる。情報端末１５０においては、操作者から各種指示が受け付けられると、天頂・回転補正部３２０に対し指示が渡される。天頂・回転補正部３２０は、受け付けた指示に応答して、指定された全天球画像データ３４０の天頂補正および回転補正、並びに補正後の画像データの表示を開始する。画像表示部３５２は、天頂・回転補正部３２０により天頂補正および回転補正が施された全天球画像を情報端末１５０のディスプレイなどに表示出力する。
【００９５】
なお、図１１に示す実施形態においては、図７〜図１０に示した処理は、撮影の実体的な処理を除いて、情報端末１５０が実行することとなる。ここで、撮影の実体的な処理には、図７および図９に示した撮影時の全天球画像補正処理におけるステップＳ１０３およびステップＳ１０４、並びに、ステップＳ３０１およびステップＳ３０２の処理が含まれ得る。
【００９６】
以下、図１２を参照しながら、さらに他の実施形態について説明する。図１２は、さらに他の実施形態による全天球画像処理システム上に実現される全天球画像補正機能に関連する主要な機能ブロック４００を示す。図１２に示す実施形態は、情報端末１５０が、上述した補正量設定部２２２、モード設定部２２４および状態判定部２２６の機能を担うとして、情報端末１５０に接続された外部の撮像装置としての全天球カメラ１１０に傾き補正機能が備えられた構成に対応する。
【００９７】
図１２に示す実施形態では、全天球カメラ１１０の機能ブロック４１０は、全天球撮像部４１２と、記憶部４１４と、天頂・回転補正部４２０と、画像出力部４３２とを含み構成される。全天球撮像部４１２は、記憶部４１４に、全天球フレームデータを記憶するとともに、撮像中に姿勢角センサ１３６を用いて計測した傾きデータをメタデータとして記憶する。全天球フレームデータおよび傾きデータは、傾き補正（天頂補正および回転補正の一方または両方）が施される前に、全天球画像データ４４０として、一旦記憶部４１４に記録される。全天球画像データ４４０は、同様に、全天球フレームデータ４４２と、傾きデータ４４４とを含み構成される。
【００９８】
図１２に示す実施形態では、情報端末１５０の機能ブロック４５０は、補正量設定部４６２と、モード設定部４６４と、状態判定部４６６と、表示部４５２とを含み構成される。
【００９９】
状態判定部４６６およびモード設定部４６４は、図３を参照して説明した実施形態と同様の機能を有しており、詳細な説明は割愛する。補正量設定部４６２は、上述した実施形態と同様に、モード設定部４６４および状態判定部４６６の一方または両方と連携して、傾き補正（傾き角および回転角）の補正量を、複数のフレームの画像に対して固定して設定し、設定された補正量を全天球カメラ１１０に出力する。
【０１００】
全天球カメラ１１０の天頂・回転補正部４２０は、情報端末１５０から出力された、補正量設定部４６２による傾き補正（傾き角および回転角）の補正量に基づいて、全天球フレームデータの各フレーム画像に対し、傾き補正（天頂補正および回転補正の一方または両方）をかける。画像出力部４３２は、天頂・回転補正部４２０により天頂補正および回転補正が施された全天球画像を要求元の情報端末１５０に出力する。
【０１０１】
情報端末１５０は、アプリケーションを介して操作者から各種指示を受け付ける。例えば、操作者からの指定の全天球画像の補正指示（例えば補正をしながらのインターバル撮影画像の閲覧の指示）を受け付ける。情報端末１５０は、操作者からの指定の全天球画像の補正指示（例えば補正をしながらのインターバル撮影画像の閲覧の指示）を受け付けたことに応答して、全天球カメラ１１０に対し、全天球カメラ１１０に対し、操作者から指定された全天球画像に対応する傾きデータを求める要求を発行する。補正量設定部４６２は、全天球カメラ１１０から、対応する傾きデータを取得し、傾き補正の補正量を設定し、全天球カメラ１１０に対し、補正量を渡して、所定の全天球画像の補正後の画像データを求める要求を発行する。
【０１０２】
全天球カメラ１１０においては、情報端末１５０から全天球画像の補正要求（例えば所定の補正量に基づく補正後の全天球画像を求める要求）を受信すると、天頂・回転補正部４２０に対し要求が渡される。天頂・回転補正部４２０は、全天球画像の補正要求に応答して、指定された全天球画像データ４４０の天頂補正および回転補正、並びに補正後の画像データの生成を開始する。画像出力部４３２は、天頂・回転補正部４２０により天頂補正および回転補正が施された全天球画像を要求元の情報端末１５０に出力する。表示部４５２は、全天球カメラ１１０から出力されてくる画像データに基づいて、情報端末１５０が備えるディスプレイ１６２などの表示装置上に全天球画像を表示する。
【０１０３】
なお、図１２に示す実施形態においては、図８および図１０に示した処理は、傾き補正の実体的な処理を除いて、情報端末１５０が実行することとなる。ここで、傾き補正の実体的な処理には、図８および図１０に示した閲覧時の全天球画像補正処理におけるステップＳ２０７、および、ステップＳ４０７の処理が含まれ得る。
【０１０４】
図１２に示した実施形態は、負荷が比較的重い天頂補正および回転補正の実体的な処理を全天球カメラ１１０側に担当させて、情報端末１５０には補正結果を渡して表示させるというものである。これにより、情報端末１５０が備える処理性能にかかわらず、通常全天球カメラ１１０が備えるモジュールを用いて効率的かつ高速に天頂補正および回転補正を施しながら、動画再生を安定に行うことが可能となる。
【０１０５】
以上説明したように、上述までの実施形態によれば、複数の画像において、傾き補正をした場合に閲覧時の違和感を軽減させることが可能な撮像装置、情報処理装置およびプログラムを提供することが可能となる。
【０１０６】
好ましくは、インターバル撮影などの連続する撮影において、ユーザが傾き補正の補正量を固定するモードが設けられ、このモードが選択された場合に、撮影された画像すべてへ任意の固定傾き補正値を使って傾き補正がなされる。これにより、ユーザの意図に即した画像品質の高い画像を提供することができるようになる。あるいは、姿勢角センサの出力に基づいて視点（カメラ）が固定状態で連続撮影をしていると判断された場合に、撮影された画像すべてへ任意の固定傾き補正値を使って傾き補正がなされる。これにより、撮影状態に即した画像品質の高い画像を提供することができるようになる。
【０１０７】
また、上述した実施形態では、１８０度より大きな画角を有するレンズ光学系で撮像された２つの部分画像を重ね合わせて合成するものとしたが、これに限定されない。他の実施形態では、１または複数のレンズ光学系により撮像された３以上の部分画像の重ね合わせ合成に適用してもよい。また、上述した実施形態では、魚眼レンズを用いた撮像システムを一例に説明してきたが、超広角レンズを用いた全天球動画撮像システムに適用してもよい。さらに、傾き補正としては、全天球画像に対する天頂補正および回転補正に限定されるものではなく、他の画像の傾き補正一般に拡張することも企図される。
【０１０８】
また、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。また、上記機能部の一部または全部は、例えばフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのプログラマブル・デバイス（ＰＤ）上に実装することができ、あるいはＡＳＩＣ（特定用途向集積）として実装することができ、上記機能部をＰＤ上に実現するためにＰＤにダウンロードする回路構成データ（ビットストリームデータ）、回路構成データを生成するためのＨＤＬ（Hardware Description Language）、ＶＨＤＬ（Very High Speed Integrated Circuits Hardware Description Language）、Ｖｅｒｉｌｏｇ−ＨＤＬなどにより記述されたデータとして記録媒体により配布することができる。
【０１０９】
これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【符号の説明】
【０１１０】
１２…撮像体、１４…筐体、１８…シャッター・ボタン、２０…結像光学系、２２，１３０…撮像素子、１１０，１３０…全天球カメラ、１１２，１５２…ＣＰＵ、１１４…ＲＯＭ、１１６…画像処理ブロック、１１８…動画圧縮ブロック、１２０，１２６…インタフェース、１２２…外部ストレージインタフェース、１２４…外部センサインタフェース、１２６…ＵＳＢインタフェース、１２８…シリアルブロック、１３２…ＤＲＡＭ、１３４，１６０…外部ストレージ、１３６…姿勢角センサ、１３８，１６６…ＵＳＢコネクタ、１５０…情報端末、１５４…ＲＡＭ、１５６…内部ストレージ、１５８…入力装置、１６２…ディスプレイ、１６４…無線ＮＩＣ、２１０，２５０，３１０，３５０，４１０，４５０…機能ブロック、２１２，３１２，４１２…全天球撮像部、２１４，３３０，４１４…記憶部、２２０，３２０，４２０…天頂・回転補正部、２２２，３２２，４６２…補正量設定部、２２４，３２４，４６４…モード設定部、２２６，３２６，４６６…状態判定部、２３２，４３２…画像出力部、２４０，３４０，４４０…全天球画像データ、２４２，３４２，４４２…全天球フレームデータ、２４４，３４４，４４４…傾きデータ
【先行技術文献】
【特許文献】
【０１１１】
【特許文献１】特開２０１５‐１３９０２９号公報
【図１】
2020078065.tif 000003
【図２】
2020078065.tif 000004
【図３】
2020078065.tif 000005
【図４】
2020078065.tif 000006
【図５】
2020078065.tif 000007
【図６】
2020078065.tif 000008
【図７】
2020078065.tif 000009
【図８】
2020078065.tif 000010
【図９】
2020078065.tif 000011
【図１０】
2020078065.tif 000012
【図１１】
2020078065.tif 000013
【図１２】
2020078065.tif 000014