(57)【要約】      （修正有）【課題】撮像した映像に画像補正を適用する撮像装置において、撮像装置の姿勢によって画像補正に起因して映像が乱れてしまう現象が発生する可能性を軽減するような補正方式を事前に決定することができる、撮像装置を提供する。【解決手段】全天球撮像装置２１０は、画像補正を適用した映像の出力開始の指示を受け付ける受付手段２１６と、撮像装置の姿勢情報を取得する姿勢取得手段２１８と、受付手段２１６により出力開始の指示を受け付けたことに応答して、姿勢取得手段２１８により取得された姿勢情報に基づき、映像に適用する画像補正方式を決定する決定手段２２０と、撮像した映像に決定手段により決定された画像補正方式にて画像補正を適用して出力する出力手段２２２とを含む。【選択図】図２
2018011172.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置であって、
画像補正を適用した映像の出力開始の指示を受け付ける受付手段と、
当該撮像装置の姿勢情報を取得する姿勢取得手段と、
前記受付手段により前記出力開始の指示を受け付けたことに応答して、前記姿勢取得手段により取得された姿勢情報に基づき、映像に適用する画像補正方式を決定する決定手段と、
撮像した映像に前記決定手段により決定された画像補正方式にて画像補正を適用して出力する出力手段と
を含む、撮像装置。
【請求項２】
前記決定手段は、前記姿勢取得手段により取得された姿勢情報が第１の範囲に該当することを示す場合に第１の画像補正方式に決定し、前記姿勢取得手段により取得された姿勢情報が前記第１の範囲とは異なる第２の範囲に該当することを示す場合に第２の画像補正方式に決定することを特徴とする、請求項１に記載の撮像装置。
【請求項３】
前記画像補正は、当該撮像装置が基準状態で撮像したものと略同一の天頂座標となるよう映像を補正する天頂補正であり、前記姿勢情報は、当該撮像装置の左右方向を軸とした該軸周りの回転角を示し、前記第１の範囲は、前記回転角が０°〜９０°の範囲であり、前記第２の範囲は、前記回転角が９０°〜１８０°の範囲であり、前記第１の画像補正方式および前記第２の画像補正方式は、直立した状態および倒立した状態のいずれかを基準状態とした天頂補正である、請求項２に記載の撮像装置。
【請求項４】
前記撮像装置は、前記姿勢取得手段により取得された１以上の時点分の姿勢情報を記憶する記憶手段をさらに含み、
前記決定手段は、前記出力開始の指示を受け付ける前の１以上の時点の姿勢情報を用いて前記画像補正方式を決定することを特徴とする、請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
前記姿勢取得手段は、前記受付手段により前記出力開始の指示を受け付けたことに応答して、前記出力開始の指示を受け付けてから映像の出力が開始されるまでの１以上の時点分の姿勢情報を取得することを特徴とし、前記決定手段は、前記出力開始の指示を受け付けた以降の１以上の時点の姿勢情報を用いて前記画像補正方式を決定することを特徴とする、請求項１〜４のいずれか１項に記載の撮像装置。
【請求項６】
前記撮像装置は、
１以上の光学系と、
前記１以上の光学系により撮像された１以上の画像を取得する画像取得手段と
を含み、前記画像補正が適用された映像は、前記決定手段により決定された画像補正方式による画像補正を反映させて前記１以上の画像から生成された動画の映像である、請求項１〜５のいずれか１項に記載の撮像装置。
【請求項７】
前記１以上の光学系は、２つの光学系であり、前記１以上の光学系により撮像された１以上の画像は、２つの魚眼画像であり、前記画像補正が適用された映像は、前記決定手段により決定された画像補正方式による画像補正を反映させて前記２つの魚眼画像から生成された全天球映像である、請求項６に記載の撮像装置。
【請求項８】
撮像システムであって、
１以上の光学系と、
前記１以上の光学系により１以上の画像を撮像する撮像手段と、
画像補正を適用した映像の出力開始の指示を受け付ける受付手段と、
前記撮像手段の姿勢情報を測定する測定手段と、
前記受付手段により前記出力開始の指示を受け付けたことに応答して、前記測定手段により測定された姿勢情報に基づき、映像に適用する画像補正方式を決定する決定手段と、
前記決定手段により決定された画像補正方式による画像補正を前記１以上の画像に適用して出力する出力手段と
を含む、撮像システム。
【請求項９】
前記撮像システムは、撮像装置および画像処理装置を含み、
前記１以上の光学系、前記撮像手段および前記測定手段は、前記撮像装置に含まれており、前記受付手段および前記決定手段は、前記撮像装置または前記画像処理装置に含まれており、前記出力手段は、前記画像処理装置に含まれる、請求項８に記載の撮像システム。
【請求項１０】
撮像装置を実現するためのプログラムであって、前記撮像装置を構成するコンピュータを、
画像補正を適用した映像の出力開始の指示を受け付ける受付手段、
前記撮像装置の姿勢情報を取得する姿勢取得手段、
前記受付手段により前記出力開始の指示を受け付けたことに応答して、前記姿勢取得手段により取得された姿勢情報に基づき、映像に適用する画像補正方式を決定する決定手段、および
撮像した映像に前記決定手段により決定された画像補正方式にて画像補正を適用して出力する出力手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像システムおよびプログラムに関する。
【背景技術】
【０００２】
従来、全周囲、全方位または全天球を撮像する際の画像補正機能の一つとして、天頂補正が知られている。天頂補正機能とは、加速度センサや角速度センサを使用して撮像装置の姿勢情報を取得し、撮像装置が傾いていても直立した状態で撮影した画像と同一の天頂座標となるように画像を補正する技術である。
【０００３】
例えば、特開２０１５−０１９３４４号公報（特許文献１）は、全天球画像の静止画の画質向上を目的として、つなぎ目のパターンマッチング処理を開示しており、３軸加速度センサからの情報を得て傾き補正することができる点に言及している。
【０００４】
上述した天頂補正機能によれば、仮にピッチ方向に９０度以上、つまり二眼の全天球撮像装置の場合でレンズ正面が真下や背面を向くまで撮像装置が傾けられた場合であっても、直立した状態で撮影した画像と同じ天頂座標となるように補正することができる。
【０００５】
しかしながら、従来技術の天頂補正機能では、天頂補正の基準となる状態とは反対となった状態近傍で、画像補正に起因して映像が乱れてしまうという不具合があった。例えば、倒立状態が通常の使用状態であるにもかかわらず、直立状態を基準とした天頂補正方式が選択されていた場合、その通常の使用状態となる付近で、正面が真逆となり、映像がヨー方向（水平方向）に１８０度回転するという現象が発生する可能性がある。このような背景から、天頂補正機能などの画像補正機能に関連して、撮像装置の姿勢によって画像補正に起因して映像が乱れてしまう不具合を緩和できる技術が求められていた。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、上記点に鑑みてなされたものであり、本発明は、撮像した映像に画像補正を適用する撮像装置において、撮像装置の姿勢によって画像補正に起因して映像が乱れてしまう現象が発生する可能性を軽減するような補正方式を事前に決定することができる、撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明では、上記課題を解決するために、下記特徴を有する撮像装置を提供する。本撮像装置は、画像補正を適用した映像の出力開始の指示を受け付ける受付手段と、当該撮像装置の姿勢情報を取得する姿勢取得手段と、上記受付手段により出力開始の指示を受け付けたことに応答して、上記姿勢取得手段により取得された姿勢情報に基づき、映像に適用する画像補正方式を決定する決定手段と、撮像した映像に上記決定手段により決定された画像補正方式にて画像補正を適用して出力する出力手段とを含む。
【発明の効果】
【０００８】
上記構成により、撮像した映像に画像補正を適用する撮像装置において、撮像装置の姿勢情報に基づいて事前に適切な補正方式を決定することができるので、撮像装置の姿勢によって画像補正に起因して映像が乱れてしまう現象が発生する可能性を軽減することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態による全天球撮像装置のハードウェア構成図。
【図２】本実施形態による全天球撮像装置上に実現される全天球撮像再生機能に関連する主要な機能ブロック図。
【図３】本実施形態における全天球撮像装置の姿勢の定義を説明する図。
【図４】本実施形態における全天球撮像装置で撮像される天頂補正前の全天球画像を示す模式図。
【図５】本実施形態における全天球撮像装置をピッチ方向に回転した場合の前後の被写体と全天球撮像装置の姿勢との関係および天頂補正を説明する図。
【図６】本実施形態における全天球撮像装置で撮像される（Ａ）天頂補正前および（Ｂ）天頂補正後の映像のフレームを説明する図。
【図７】本実施形態による天頂補正に際しての天頂補正角の計算を説明する図。
【図８】本実施形態における全天球撮像装置が、基準状態と反対の状態となった場合に発生させる映像の乱れを説明する図。
【図９】本実施形態による全天球撮像装置が実行する天頂補正方式決定処理を説明するフローチャート。
【図１０】本実施形態による天頂補正方式決定処理において参照される姿勢情報を説明する図。
【図１１】他の実施形態による全天球撮像システムを構成する画像処理装置のハードウェア構成図。
【図１２】他の実施形態による全天球撮像システム上に実現される全天球撮像再生機能に関連する主要な機能ブロック図。
【発明を実施するための形態】
【００１０】
以下、本実施形態について説明するが、実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下の実施形態では、撮像装置および撮像システムの一例として、２つの魚眼レンズを光学系に含む撮像体を備える全天球撮像装置について説明する。
【００１１】
なお、以下、図１〜図１０を参照して説明する実施形態では、撮像装置単独で撮像システムが構成される。これに対して、図１１および図１２を参照して後述する他の実施形態では、撮像装置と画像処理装置とが組み合わされて撮像システムが構成される。また、説明する実施形態では、２つの光学系を備えた２眼の全天球撮像装置を一例として説明するが、これに限定されるものではなく、３以上の光学系を備えた全天球撮像装置として構成されてもよいことは言うまでもない。
【００１２】
以下、図１を参照しながら、本実施形態による全天球撮像装置の全体構成について説明する。図１は、本実施形態による全天球撮像装置１１０のハードウェア構成を示す。なお、本実施形態による全天球撮像装置１１０は、１８０度（＝３６０度／ｎ；光学系数ｎ＝２）より大きい全画角を有する２つの広角光学系を組み合わせた２眼の全天球撮像装置として構成されている。
【００１３】
全天球撮像装置１１０は、ＣＰＵ（Central Processing Unit）１１２と、ＲＯＭ（Read Only Memory）１１４と、画像処理ブロック１１６と、動画圧縮ブロック１１８と、ＤＲＡＭ（Dynamic Random Access Memory）インタフェース１２０を介して接続されるＤＲＡＭ１３２と、外部センサインタフェース１２４を介して接続される加速度センサ／ジャイロセンサ（加速度センサおよびジャイロセンサの一方または両方を含む。）１３６とを含み構成される。
【００１４】
ＣＰＵ１１２は、全天球撮像装置１１０の各部の動作および全体動作を制御する。ＲＯＭ１１４は、ＣＰＵ１１２が解読可能なコードで記述された制御プログラムや各種パラメータを格納する。
【００１５】
全天球撮像装置１１０は、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの２つの撮像素子１３０Ａ，１３０Ｂおよび２つの光学系１３１Ａ，１３１Ｂを有する。光学系１３１Ａ，１３１Ｂは、上述した２つの広角光学系に対応する。画像処理ブロック１１６は、２つの撮像素子１３０Ａ，１３０Ｂと接続され、それぞれで撮像された画像の画像信号が入力される。画像処理ブロック１１６は、ＩＳＰ（Image Signal Processor）などを含み構成され、撮像素子１３０から入力された画像信号に対し、シェーディング補正、ベイヤー補間、ホワイト・バランス補正、ガンマ補正などを行う。
【００１６】
本実施形態において、２つの撮像素子１３０Ａ，１３０Ｂでそれぞれ撮像された画像は、画像処理ブロック１１６で、重複部分を基準として合成処理されて、これにより、立体角４πステラジアンの画像（以下「全天球画像」と参照する。）が生成される。そして、全天球画像の連続するフレームにより、全天球映像が構成される。
【００１７】
ここで、説明する実施形態では、撮影地点から見渡すことのできる全ての方向を撮影した全天球映像を生成するものとして説明するが、他の実施形態では、水平面のみ３６０度を撮影した、いわゆるパノラマ映像であってもよい。
【００１８】
動画圧縮ブロック１１８は、ＭＰＥＧ（Moving Picture Experts Group）−４  ＡＶＣ（Advanced Video Coding）／Ｈ．２６４などの動画圧縮および伸張を行うコーデック・ブロックである。ＤＲＡＭ１３２は、各種信号処理および画像処理を施す際にデータを一時的に保存する記憶領域を提供する。加速度センサ／ジャイロセンサ１３６は、加速度成分や角速度成分などを検出し、検出された情報は、全天球画像の天頂補正を施すために用いられる。
【００１９】
全天球撮像装置１１０は、さらに、外部ストレージインタフェース１２２を含み構成される。外部ストレージインタフェース１２２には、外部ストレージ１３４が接続される。外部ストレージインタフェース１２２は、メモリカードスロットに挿入されたメモリカードなどの外部ストレージ１３４に対する読み書きを制御する。
【００２０】
全天球撮像装置１１０は、さらに、ＵＳＢ（Universal Serial Bus）インタフェース１２６を含み構成される。ＵＳＢインタフェース１２６には、ＵＳＢコネクタ１３８が接続される。ＵＳＢインタフェース１２６は、ＵＳＢコネクタ１３８を介して接続されるパーソナル・コンピュータやスマートフォンやタブレットコンピュータなどの外部機器とのＵＳＢ通信を制御する。
【００２１】
全天球撮像装置１１０は、さらに、シリアルブロック１２８を含み構成される。シリアルブロック１２８は、パーソナル・コンピュータなどの外部機器とのシリアル通信を制御し、無線ＮＩＣ（Network Interface Card）１４０が接続される。
【００２２】
説明する実施形態では、ＵＳＢコネクタ１３８や無線ＮＩＣ１４０を介して外部のパーソナル・コンピュータやスマートフォンやタブレットコンピュータと接続し、その外部装置が備えまたは接続されるディスプレイなどの表示装置上に映像を表示することができる。全天球撮像装置１１０は、図１に示すもののほか、ＨＤＭＩ（High-Definition Multimedia Interface，ＨＤＭＩは登録商標）などの映像出力インタフェースを有していてもよい。その場合、映像出力インタフェースを介してディスプレイなどの外部の表示装置に直接接続され、映像を表示することができる。
【００２３】
電源スイッチの操作によって電源がオン状態になると、ＲＯＭ１１４などから制御プログラムがメインメモリにロードされる。ＣＰＵ１１２は、メインメモリに読み込まれたプログラムに従って、装置各部の動作を制御するとともに、制御に必要なデータをメモリ上に一時的に保存する。これにより、全天球撮像装置１１０の後述する各機能部および処理が実現される。
【００２４】
以下、図２〜図１０を参照しながら、本実施形態による全天球撮像装置１１０が備える、天頂補正を適用しながら撮像中の全天球映像を再生する全天球撮像再生機能について説明する。
【００２５】
図２は、本実施形態による全天球撮像装置１１０上に実現される全天球撮像再生機能に関連する主要な機能ブロック２１０を示す。なお、図２には、全天球撮像装置１１０の外部の構成として、表示部２６０が併せて示されている点に留意されたい。
【００２６】
全天球撮像装置１１０の機能ブロック２１０は、図２に示すように、撮像部２１４と、撮像開始指示受付部２１６と、姿勢測定部２１８と、天頂補正方式決定部２２０と、映像出力部２２２とを含み構成される。
【００２７】
撮像部２１４は、２つの撮像素子１３０Ａ，１３０Ｂを制御し、連続したフレームを順次撮像する。撮像素子１３０各々で撮像される画像は、概ね全天球のうちの半球を視野に収めた魚眼画像であり、全天球画像の部分的な画像を構成する。以下、撮像素子１３０それぞれが撮像した画像を部分画像と参照する場合がある。撮像部２１４は、各広角光学系を通して撮像された各部分画像を取得する画像取得手段を構成する。
【００２８】
撮像開始指示受付部２１６は、ユーザ操作による動画撮像の指示を受け付ける。説明する実施形態では、全天球撮像装置１１０の動画撮像ボタンが押下されたことに応答して、撮像開始指示受付部２１６は、撮像の開始を受け付ける。なお、説明する実施形態において、動画撮像し、記録するとともに表示部２６０から撮像中の映像がリアルタイムで表示されるよう構成されており、撮像開始指示は、映像の出力開始の指示に対応し、撮像開始指示受付部２１６は、本実施形態における受付手段を構成する。なお、他の実施形態では、撮像した動画の記録を行わず、全天球撮像装置１１０から現状見える状態を確認するモードへの切り替え指示を映像の出力開始の指示としてもよい。
【００２９】
姿勢測定部２１８は、加速度センサ／ジャイロセンサ１３６を用いて、所定の方向を基準とした全天球撮像装置１１０の姿勢を検出する。ここで、所定の方向は、典型的には、鉛直方向であり、重力加速度が作用する方向である。姿勢測定部２１８は、加速度センサ／ジャイロセンサ１３６の各加速度成分や各角速度成分の信号を、画像データのフレームに同期してサンプリングし、全天球撮像装置１１０の各時点の姿勢を求める。姿勢測定部２１８は、求めた姿勢を示す情報を天頂補正方式決定部２２０および映像出力部２２２に渡す。
【００３０】
なお、説明する実施形態では、画像データ中のフレームに対し、姿勢情報が一対一で対応し、姿勢情報はフレームと同期して取得されるものとして説明するが、これに限定されるものではない。姿勢測定部２１８は、本実施形態による全天球撮像装置１１０の姿勢情報を測定ないし取得する姿勢測定手段および姿勢取得手段を構成する。
【００３１】
上述したように、本実施形態による全天球撮像装置１１０は、撮像素子１３０で動画撮影を行いながら、加速度センサ／ジャイロセンサ１３６により撮影時の全天球撮像装置１１０の姿勢情報を同時に取得するよう構成されている。
【００３２】
映像出力部２２２は、撮像部２１４から入力されるフレーム各々に対し、姿勢測定部２１８により測定された姿勢情報に基づき天頂補正を施すとともに、部分画像から全天球画像への変換を行う。
【００３３】
撮像部２１４から映像出力部２２２に入力される部分画像は、撮像素子１３０の受光領域が成す２次元の撮像素子で撮像されたものであり、平面座標系（ｘ，ｙ）で表現された画像データとなっている。これに対し、映像出力部２２２から出力される補正後の画像は、球面座標系（動径を１とし、２つの偏角を有する極座標系である。）で表現された全天球画像フォーマットの画像データとなる。この変換は、典型的には、それぞれのレンズ光学系の設計データ等に基づいて、所定の投影モデルに従い製造元等で事前に準備された、変換テーブルを用いて行われる。
【００３４】
映像出力部２２２は、上記天頂補正を担う天頂補正部２２４を含み構成される。天頂補正部２２４は、入力された全天球撮像装置１１０の姿勢情報に基づいて、画像の天頂方向（観測者の真上の点を指す方向）が、検出された鉛直線（重力が作用する鉛直方向がなす直線）に一致するものとなるように、上述した変換テーブルまたは生成された全天球画像に対し変換を施す。このとき、天頂補正部２２４は、後述する天頂補正方式決定部２２０により決定された補正方式にて天頂補正を実施することになるが、詳細は後述する。
【００３５】
映像出力部２２２は、フレーム各々に対応する２つの部分画像を、天頂補正が反映された全天球画像へと変換し、全天球画像のフレーム各々を表示部２６０に出力する。表示部２６０は、ＵＳＢコネクタ１３８や無線ＮＩＣ１４０を介して全天球撮像装置１１０と接続される外部の装置が備える、または外部の装置に接続されるディスプレイにより提供される。あるいは、表示部２６０は、ＨＤＭＩ（登録商標）などの映像インタフェースを介して接続される外部の装置であるディスプレイにより提供されてもよいし、全天球撮像装置１１０がディスプレイを有する実施形態では、全天球撮像装置１１０が有するディスプレイにより提供される。このとき、全天球映像がそのまま表示部２６０から表示されることとしてもよいが、全天球映像に基づき表示アプリケーション上で全天球において指定された特定の視野の画像が切り出されて表示されてもよい。
【００３６】
天頂補正方式決定部２２０は、撮像開始指示受付部２１６により動画撮像開始の指示を受け付けたことに応答して、姿勢測定部２１８により測定された姿勢情報に基づき、全天球撮像装置１１０の姿勢を判定し、映像に適用する画像補正方式を決定する。なお、説明する実施形態において、対象としている画像補正は、詳細を後述する天頂補正である。天頂補正方式決定部２２０は、本実施形態における決定手段を構成する。
【００３７】
なお、決定される天頂補正方式としては、これらに限定されるものではないが、直立状態を基準とした直立優先補正方式、および、倒立状態を基準とした倒立優先補正方式を挙げることができる。説明する実施形態においては、装置の設定として、天頂補正自体を適用しないか（天頂補正なし）、直立優先補正方式を適用するか（直立優先指定）、倒立優先補正方式を適用するか（倒立優先指定）、直立優先および倒立優先補正方式を自動で選択するか（自動判別）の４つの選択肢が選択可能とされているものとする。天頂補正方式決定部２２０は、上記設定において、直立優先および倒立優先補正方式を自動で選択する方式（自動判別）が選択された場合に、姿勢情報に基づいて直立優先および倒立優先補正方式を決定する役割を有する。
【００３８】
そして、決定された補正方式（直立優先補正方式または倒立優先補正方式）は、映像出力部２２２に伝達される。上記映像出力部２２２は、撮像した映像に対し、天頂補正方式決定部２２０により決定された天頂補正方式にて天頂補正を適用し、天頂補正された全天球映像を出力する。上記映像出力部２２２、本実施形態において、撮像した映像に決定された画像補正方式にて画像補正を適用して出力する出力手段を構成する。説明する実施形態において、画像補正が適用された映像は、天頂補正を反映させて上記２つの部分画像から生成された全天球の映像である。
【００３９】
以下、図３〜図７を参照しながら、まず、本実施形態による全天球撮像装置１１０で実行される天頂補正についてより詳細に説明する。
【００４０】
図３は、本実施形態における全天球撮像装置１１０の姿勢の定義を説明する図である。図３（Ａ）は、全天球撮像装置１１０の側面から見た姿勢の定義を示し、図３（Ｂ）は、全天球撮像装置１１０の正面から見た姿勢の定義を示す。
【００４１】
図３に示すように、全天球撮像装置１１０の姿勢としては、全天球撮像装置１１０の２つのレンズ中央を通る光軸方向を前後方向として、前後方向を軸とした軸周りの回転角ロール、全天球撮像装置１１０の左右方向を軸とした該軸周りの回転角ピッチ、および、上下方向を軸とした回転角ヨーが定義される。一方のレンズを正面として全天球撮像装置１１０をおじぎさせるような回転が回転角ピッチで表される。全天球撮像装置１１０のレンズ光軸周りの側方回転が回転角ロールで表され、全天球撮像装置１１０の筐体中心軸周りの回転が回転角ヨーで表される。姿勢測定部２１８により、加速度センサ／ジャイロセンサの信号から、これらの回転角ロール、ピッチ、ヨーが取得されるものとする。
【００４２】
図４は、本実施形態における全天球撮像装置１１０で撮像される、回転角ピッチを種々の角度に設定した場合に観測される天頂補正前の全天球画像を模式的に示す。図５は、本実施形態における全天球撮像装置１１０をピッチ方向に回転した場合の前後の被写体（前方を☆および後方を▲で示す。）と全天球撮像装置１１０の姿勢との関係を示し、その際の天頂補正を説明する。
【００４３】
図４および図５（Ａ）〜（Ｃ）に示すように、全天球撮像装置１１０をピッチ方向に０°から１８０°へ回転させて行くと、全天球撮像装置１１０は、ピッチ方向に上向きから背面、逆天地に向いてゆくことになる。このとき、正面および天地を向くように画像を太字矢印方向に回転しているように、ロールおよびヨー方向の補正を行うことにより天頂補正処理が行われる。
【００４４】
図４および図５（Ｄ）〜（Ｆ）に示すように、反対に、全天球撮像装置１１０をピッチ方向に０から−１８０°へ回転させて行くと、全天球撮像装置１１０は、ピッチ方向に下向きから背面、逆天地に向いていくことになる。このとき、正面および天地を向くように画像を太字矢印方向に回転しているように、ロールおよびヨー方向の補正を行うことで天頂補正処理が行われる。
【００４５】
この天頂補正により、全天球撮像装置１１０をピッチ方向に０〜１８０°または０〜−１８０°回転させていっても、直立優先補正方式の補正後の画像としては、どの角度でも、基準状態の図４に示す角度０°のものと同様な状態となるように補正される。回転角ピッチが１８０°の状態では、上下が反対になるほか、図４の１８０°の場合に示すように基準状態で後方にあった被写体（▲）が正面（全天球画像中央）に位置するように撮像されている。しかしながら、天頂補正により、基準状態で前方にあった被写体（☆）が正面（全天球画像中央）に来るように補正されることになる。
【００４６】
なお、ここでは、直立優先補正方式について説明しているが、倒立優先補正方式でも同様であり、補正後の画像としては、どの角度でも、基準状態の図４に示す角度１８０°のものと同様な状態となるように補正される。
【００４７】
図６は、本実施形態における全天球撮像装置１１０で撮像される天頂補正前後の映像のフレームを例示する。図６（Ａ）は、天頂補正前の映像のフレームを例示し、図６（Ｂ）は、天頂補正後の映像のフレームを例示する。本体カメラが傾いたままで撮像されると、天頂補正しなければ、図６（Ａ）に示すように、互いの画像の天頂がずれ、撮影者が認識する水平線は、全天球画像において曲線として歪んでしまうことになる。
【００４８】
これに対して、図６（Ｂ）に示す補正後のフレームでは、撮影者が認識する水平線が、全天球画像において赤道に一致するようになる。一般的に、人間が手持ちで撮像する場合には、厳密に水平かつ垂直に撮像することは困難であるが、上記天頂補正により、そのような本体カメラの姿勢の変化にかかわらず安定した画像を撮像することができるようになる。
【００４９】
このような直立優先および倒立優先の天頂補正は、ロドリゲスの公式に基づいて行うことができ、その際の天頂補正角は、図７（Ａ）に示す加速度センサ軸の定義に従い、図７（Ｂ）に示す計算式で計算することができる。図７（Ｂ）に示す計算式により計算された天頂補正角のパラメータに基づいて天頂補正がなされる。
【００５０】
このように、天頂補正を行うことにより、撮影者が認識する天頂と一致する映像が得られるようになるが、天頂補正の基準となる状態とは反対の状態近傍において、天頂補正に起因して映像が乱れてしまう可能性がある。
【００５１】
図８は、本実施形態における全天球撮像装置１１０が基準状態と反対の状態となった場合に発生させる映像の乱れを説明する図である。図８（Ａ）は、基準状態にある全天球撮像装置１１０の姿勢およびその際に得られる補正後の映像を模式的に示す。図８（Ｂ）は、基準状態と反対の状態にある全天球撮像装置１１０の姿勢およびその際に得られる補正後の映像を模式的に示す。なお、図８は、直立優先補正方式の場合について例示する。
【００５２】
直立優先補正方式では、全天球撮像装置１１０をピッチ方向に約１７８°傾けた位までは、直立状態である回転角ピッチ０°の状態と同様な天頂座標の画像に安定して補正することができる。しかしながら、全天球撮像装置１１０の回転角ピッチが１８０°付近になると、図８（Ｂ）に示すように、ヨー方向に画像がスライドする現象が発生する場合がある。一般的に、撮像中正確に姿勢を維持することは困難であり、所定の使用状態の姿勢を中心にブレなどで微小な角度の変化を生じさせやすい。そのような場合、微小な角度変化で画像が左右にスライドしてしまうという現象を頻発させてしまう可能性がある。
【００５３】
同様に、倒立優先補正方式でも、全天球撮像装置１１０をピッチ方向で１８０°から約２°まで傾けた位までは、安定して補正することができるが、回転角ピッチが０°付近になると、ヨー方向に画像がスライドし始め、微小な角度変化で画像が左右にスライドする現象が発生する。
【００５４】
このように、通常の使用状態とは反対の状態を基準とした天頂補正方式が選択されていた場合、その通常の使用状態となる付近で、正面が真逆となり、映像がヨー方向に１８０度回転するという現象が頻発する可能性があった。この現象は、基準状態（ピッチ角０°または１８０°）で正面だった面が、反対の状態で完全に背面に回り、ロールおよびヨーでの補正がしきれないためであると考えられる。
【００５５】
以下、図９および図１０を参照しながら、上述した不具合を軽減するために、本実施形態による全天球撮像装置１１０が実行する、天頂補正方式決定処理について説明する。図９は、本実施形態による全天球撮像装置１１０が実行する天頂補正方式決定処理を説明するフローチャートである。なお、図９では、天頂補正方式決定部２２０が担当する処理が左側に示されており、映像出力部２２２が担当する処理が右側に示されている。
【００５６】
図９に示す処理は、ステップＳ１００から開始され、ステップＳ１０１では、天頂補正方式決定部２２０は、撮像開始指示受付部２１６から撮像開始指示を受け付けた旨の通知を受領する。ステップＳ１０２では、天頂補正方式決定部２２０は、姿勢測定部２１８から、姿勢測定部２１８が加速度センサ／ジャイロセンサ１３６を用いて測定した撮像装置の姿勢情報を取得する。
【００５７】
図１０は、本実施形態による天頂補正方式決定処理において参照される姿勢情報を説明する図である。ステップＳ１０２で取得される姿勢情報としては、種々の変形例が想定される。
【００５８】
第１の例では、図１０において実線で示すように、撮像開始指示を受け付けたタイミングで加速度センサ／ジャイロセンサ１３６から取得された姿勢情報を用いることができる。第１の例では、この取得した姿勢情報をそのまま用いて、ステップＳ１０３の処理が実行される。
【００５９】
第２の例では、図１０において破線で示すように、撮像開始指示を受け付けたタイミングおよびそれ以前の１以上の時点の姿勢情報を用いる。この場合、姿勢測定部２１８は、少なくとも現時点から遡って１以上の時点分の姿勢情報の時系列データをメモリなどの記憶装置内に保持させるものとする。そして、第２の例では、複数の時点の姿勢情報の平均値を算出し、平均値としての姿勢情報を用いて、ステップＳ１０３の処理が実行される。
【００６０】
第３の例では、図１０において点線で示すように、撮像開始指示を受け付けたタイミングおよびそれ以降、映像出力開始まで取得可能な１以上の時点の姿勢情報を用いる。撮像開始ボタンが押下されてから実際の映像出力開始までタイムラグがある場合に、このタイムラグ中に取得できる姿勢情報を活用することができる。この場合、姿勢測定部２１８は、撮像開始の指示を受け付けたことに応答して、映像の出力が開始されるまで１以上の時点分の姿勢情報を取得し、天頂補正方式決定部２２０に渡す。第３の例では、第２の例と同様に、複数の時点の姿勢情報の平均値を算出し、平均値としての姿勢情報を用いて、ステップＳ１０３の処理が実行される。
【００６１】
第４の例では、図１０において一点鎖線で示すように、撮像開始指示を受け付けたタイミング前後の複数の時点の姿勢情報を用いる。第４の例では、第２および第３の例と同様に、より広い時間範囲内の複数の時点の姿勢情報を活用して、平均値としての姿勢情報を用いて、ステップＳ１０３の処理が実行される。
【００６２】
ここで、再び図９を参照する。ステップＳ１０３では、天頂補正方式決定部２２０は、取得された姿勢情報に基づいて、全天球撮像装置１１０の姿勢が直立状態に近いか、または倒立状態に近いかを判定する。
【００６３】
上述したように、第１の例では、天頂補正方式決定部２２０は、撮像開始の指示を受け付けたタイミングの姿勢情報をそのまま参照する。第２の例では、天頂補正方式決定部２２０は、撮像開始の指示を受け付ける前の１以上の時点の姿勢情報を用い、一例ではその平均値を参照する。第３の例でも同様に、天頂補正方式決定部２２０は、撮像開始の指示を受け付けた以降の１以上の時点の姿勢情報を用い、一例ではその平均値を参照する。第４の例でも同様に、天頂補正方式決定部２２０は、撮像開始の指示を受け付けた前後の１以上の時点の姿勢情報を用い、一例ではその平均値を参照する。
【００６４】
姿勢が直立状態に近いか、倒立状態に近いかは、加速度センサ／ジャイロセンサ１３６からの信号応じた回転角ピッチを用いて、より具体的には回転角ピッチおよびロールを用いて、判定することができる。天頂補正方式決定部２２０は、回転角ロールが−９０°〜９０°の範囲にある場合であって、回転角ピッチが０°〜９０度の範囲にあるとき、直立状態であると判定することができる。一方、回転角ロールが−９０°〜９０°の範囲にある場合であって、回転角ピッチが９０°〜１８０度の範囲にあるとき、天頂補正方式決定部２２０は、倒立状態であると判定することができる。回転角ロールが９０°〜１８０°または−９０°〜−１８０°の範囲にある場合は、上記の反対となる。
【００６５】
ステップＳ１０４では、天頂補正方式決定部２２０は、当該全天球撮像装置１１０の姿勢が直立状態に近いか、倒立状態に近いかに応じて処理を分岐させる。ステップＳ１０４で直立状態に近いと判定された場合（直立）は、ステップＳ１０５に分岐される。ステップＳ１０５では、天頂補正方式決定部２２０は、直立状態優先の天頂補正方式（直立優先補正方式）を選択し、その旨を映像出力部２２２に通知し、天頂補正方式決定部２２０の処理を終了させる。
【００６６】
一方、ステップＳ１０４で倒立状態に近いと判定された場合（倒立）は、ステップＳ１０６に分岐される。ステップＳ１０６では、天頂補正方式決定部２２０は、倒立状態優先の天頂補正方式（倒立優先補正方式）を選択し、その旨を映像出力部２２２に通知し、天頂補正方式決定部２２０の処理を終了させる。
【００６７】
ステップＳ１０７では、映像出力部２２２は、通知された補正方式（直立優先／倒立優先補正方式）で映像を補正して出力を開始する。ステップＳ１０８では、映像出力部２２２は、撮像が終了したか否かを判定する。ステップＳ１０８で撮像が終了していないと判定された場合（ＮＯ）は、ステップＳ１０７へループさせて、映像の補正および出力を継続する。好適な実施形態では、補正方式の切り替わりで水平方向の回転などの不自然な補正が発生しないように、当該撮像動作中、一度選択された補正方式は、変更されない。
【００６８】
一方、ステップＳ１０８で撮像が終了した判定された場合（ＹＥＳ）は、ステップＳ１０９へ処理を分岐させて、映像の出力を終了し、ステップＳ１１０で、映像出力部２２２の処理を終了させる。以降、再度、撮像開始指示がなされたタイミングで、ステップＳ１００から開始され、その都度、補正形式の選択が行われることになる。
【００６９】
以上説明した実施形態によれば、天頂補正に起因して、全天球撮像装置１１０の姿勢の微小な変化に追随して映像が左右にシフトしてしまう現象が発生する頻度を軽減するような天頂補正方式を事前に決定することが可能となる。
【００７０】
なお、図１〜図１０を参照して上述した実施形態では、全天球撮像装置１１０単独で撮像システムが構成されるものであった。以下、図１１および図１２を参照しながら、全天球撮像装置１１０と画像処理装置とが組み合わされて撮像システムが構成される他の実施形態について説明する。
【００７１】
図１１は、他の実施形態による全天球動画撮像システム１００を構成する画像処理装置１５０のハードウェア構成を示す。他の実施形態による全天球撮像装置１１０のハードウェア構成は、図１に示したものと特段の変更はないため、説明を割愛する。
【００７２】
図１１に示す画像処理装置１５０は、ＣＰＵ１５２と、ＲＡＭ１５４と、ＨＤＤ（Hard Disk Drive）１５６と、マウスやキーボードなどの入力装置１５８と、外部ストレージ１６０と、ディスプレイ１６２と、無線ＮＩＣ１６４と、ＵＳＢコネクタ１６６とを含み構成される。
【００７３】
ＣＰＵ１５２は、画像処理装置１５０の各部の動作および全体動作を制御する。ＲＡＭ１５４は、ＣＰＵ１５２の作業領域を提供する。ＨＤＤ１５６は、ＣＰＵ１５２が解読可能なコードで記述された、オペレーティング・システム、本実施形態による画像処理装置１５０側の処理を担うアプリケーションなどの制御プログラムを格納する。
【００７４】
入力装置１５８は、マウス、キーボード、タッチパッド、タッチスクリーンなどの入力装置であり、ユーザ・インタフェースを提供する。外部ストレージ１６０は、メモリカードスロットなどに装着された着脱可能な記録媒体であり、動画形式の画像データや静止画データなどの各種データを記録する。ディスプレイ１６２は、ストリームの入力に応答して全天球動画を画面表示する。無線ＮＩＣ１６４は、全天球撮像装置１１０などの外部機器との無線通信の接続を確立する。ＵＳＢコネクタ１６６は、全天球撮像装置１１０などの外部機器とのＵＳＢ接続をする。
【００７５】
画像処理装置１５０に電源が投入され電源がオン状態になると、ＲＯＭやＨＤＤ１５６から制御プログラムが読み出され、ＲＡＭ１５４にロードされる。ＣＰＵ１５２は、ＲＡＭ１５４に読み込まれた制御プログラムに従って、装置各部の動作を制御するとともに、制御に必要なデータをメモリ上に一時的に保存する。これにより、画像処理装置１５０の後述する各機能部および処理が実現される。
【００７６】
図１２は、他の実施形態による全天球撮像システム上に実現される全天球撮像再生機能に関連する主要な機能ブロック図を示す。なお、図１２に示すように、全体の機能ブロック３００は、全天球撮像装置１１０上に実現される機能ブロック３１０および画像処理装置１５０上に実現される機能ブロック３５０を含み構成される。
【００７７】
全天球撮像装置１１０の機能ブロック３１０は、図１２に示すように、撮像部３１４と、撮像開始指示受付部３１６と、姿勢測定部３１８と、天頂補正方式決定部３２０と、動画出力部３２２と、メタ情報出力部３２４とを含み構成される。
【００７８】
これに対して、画像処理装置１５０の機能ブロック３５０は、図１２に示すように、動画入力部３５２と、メタ情報入力部３５４と、映像出力部３５６と、表示部３６０とを含み構成される。
【００７９】
撮像部３１４は、図２に示す実施形態と同様に、２つの撮像素子１３０Ａ，１３０Ｂを制御し、連続したフレームを順次撮像する。撮像開始指示受付部２１６は、図２に示す実施形態と同様に、ユーザ操作による動画撮像の指示を受け付ける。本実施形態でも、動画撮像し、記録するとともに表示部３６０から撮像中の映像がリアルタイムで表示されるよう構成されており、撮像開始指示は、映像の出力開始の指示に対応する。
【００８０】
姿勢測定部３１８は、加速度センサ／ジャイロセンサ１３６を用いて全天球撮像装置１１０の各時点の姿勢を求め、求めた姿勢を示す情報を天頂補正方式決定部３２０およびメタ情報出力部３２４に渡す。
【００８１】
天頂補正方式決定部３２０は、撮像開始指示受付部３１６により動画撮像開始の指示を受け付けたことに応答して、姿勢測定部３１８により測定された姿勢情報に基づき、全天球撮像装置１１０の姿勢を判定し、映像に適用する天頂補正方式を決定する。天頂補正方式決定部３２０は、図２に示した天頂補正方式決定部２２０と同様の構成を有する。
【００８２】
動画出力部３２２は、撮像部３１４により撮像された映像のフレームを順次圧縮し画像処理装置１５０に出力する。なお、説明する実施形態では、各撮像素子１３０Ａ，１３０Ｂにより同一のタイミングで撮像された２つの魚眼画像を独立（つまり、２つの動画ストリームとして出力される。）または同一（つまり、２つの魚眼画像を並べて接合し一つの画像とした１つの動画ストリームとして出力される。）の動画として出力するものとして説明するが、特に限定されるものではない。他の実施形態では、全天球撮像装置１１０側で、天頂補正を適用せずに２つの魚眼画像から全天球画像へ変換し、全天球画像のストリームとして画像処理装置１５０に出力されてもよい。
【００８３】
メタ情報出力部３２４は、天頂補正方式決定部３２０により選択された補正方式をメタ情報として画像処理装置１５０に出力するとともに、姿勢測定部３１８により測定された姿勢情報を順次メタ情報として画像処理装置１５０に出力する。メタ情報出力部３２４は、必要に応じて、２つの魚眼画像から全天球画像へ変換するために用いられる変換テーブルをメタ情報として画像処理装置１５０に出力してもよい。
【００８４】
画像処理装置１５０側の動画入力部３５２は、全天球撮像装置１１０から入力される動画データを受信し、各フレームに展開し、映像出力部３５６へ出力する。メタ情報入力部３５４は、全天球撮像装置１１０からの選択された補正方式を映像出力部３５６に渡すとともに、全天球撮像装置１１０から順次入力される姿勢情報を映像出力部３５６に渡す。メタ情報入力部３５４は、必要に応じて、変換テーブルを映像出力部３５６に渡すことができる。
【００８５】
映像出力部３５６は、動画入力部３５２から入力されるフレーム各々に対し、メタ情報入力部３５４から入力される姿勢情報に基づき天頂補正を施すとともに、部分画像から全天球画像への変換を行う。この変換で用いられる変換テーブルは、必要に応じてメタ情報として全天球撮像装置１１０側から取得されたものを用いることができる。
【００８６】
映像出力部３５６は、上記天頂補正を担う天頂補正部３５８を含み構成される。天頂補正部３５８は、入力された全天球撮像装置１１０の姿勢情報に基づいて、画像の天頂方向が、検出された鉛直線に一致するものとなるように、上述した変換テーブルまたは生成された全天球画像に対し変換を施す。このとき、天頂補正部３５８は、全天球撮像装置１１０から、天頂補正方式決定部３２０により決定されメタ情報として通知された補正方式にて天頂補正を実施することになる。なお、全天球撮像装置１１０側で全天球画像への変換が行われる実施形態では、映像出力部３５６は、動画入力部３５２から入力される全天球画像のフレーム各々に対し、姿勢情報に基づき変換を施すことになる。
【００８７】
上記映像出力部３５６は、本実施形態において、撮像した映像に決定された画像補正方式にて画像補正を適用して出力する出力手段を構成する。
【００８８】
表示部３６０は、画像処理装置１５０が備える、または画像処理装置１５０に接続されるディスプレイにより提供される。このとき、全天球映像がそのまま表示部３６０から表示されることとしてもよいが、画像処理装置１５０が有する表示アプリケーション上で全天球において指定された特定の視野の画像が切り出されて表示されてもよい。なお、全天球撮像装置１１０で撮像中の全天球映像をリアルタイムで表示するための表示アプリケーションが事前に画像処理装置１５０にインストールされているものとする。
【００８９】
なお、説明する実施形態では、光学系１３１、撮像部３１４および姿勢測定部３１８が、全天球撮像装置１１０に含まれており、映像出力部３５６が、画像処理装置１５０に含まれている。そして、撮像開始指示受付部３１６および天頂補正方式決定部３２０が全天球撮像装置１１０に含まれているものとして説明した。しかしながら、撮像開始指示受付部３１６および天頂補正方式決定部３２０は、それぞれ、画像処理装置１５０が備えていてもよい。
【００９０】
以上説明したように、上述した実施形態によれば、撮像した映像に画像補正を適用する撮像装置において、撮像装置の姿勢によって画像補正に起因して映像が乱れてしまう現象が発生する可能性を軽減するような補正方式を事前に決定することができる、撮像装置、撮像システムおよびプログラムを提供することができる。
【００９１】
なお、上記実施形態では、鉛直方向と全天球撮像装置１１０の真上の方向とが一致するとき、傾きがない状態としていたが、これに限られない。鉛直方向以外では、たとえば水平方向やその他所望の方向を基準方向として設定し、その基準方向に対する全天球撮像装置１１０や撮像素子１３０Ａ、１３０Ｂ等所定の物体との傾きに基づいて画像の傾きを修正するようにしてもよい。なお、上記実施形態では、傾きの検出に加速度センサ／ジャイロセンサを用いたが、地磁気センサとの組合せなどのその他の傾きセンサにより、全天球撮像装置１１０や全天球撮像装置１１０に固定された撮像素子１３０Ａ、１３０Ｂ、センサ自体等の傾きを検出するようにしてもよい。
【００９２】
また、上述した実施形態では、２眼の全天球撮像装置を一例として、２つのレンズの光軸方向を前後方向として定義し説明したが、これに限定されるものではない。３以上の光学系を備えた全天球撮像装置として構成される実施形態では、全天球撮像装置１１０に対して定義される任意の方向を前後方向とすればよい。
【００９３】
なお、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。また、上記機能部の一部または全部は、例えばフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのプログラマブル・デバイス（ＰＤ）上に実装することができ、あるいはＡＳＩＣ（特定用途向集積）として実装することができ、上記機能部をＰＤ上に実現するためにＰＤにダウンロードする回路構成データ（ビットストリームデータ）、回路構成データを生成するためのＨＤＬ（Hardware Description Language）、ＶＨＤＬ（Very High Speed Integrated Circuits Hardware Description Language）、Ｖｅｒｉｌｏｇ−ＨＤＬなどにより記述されたデータとして記録媒体により配布することができる。
【００９４】
これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【符号の説明】
【００９５】
１１０…全天球撮像装置、１１２…ＣＰＵ、１１４…ＲＯＭ、１１６…画像処理ブロック、１１８…動画圧縮ブロック、１２０…ＤＲＡＭインタフェース、１２２…外部ストレージインタフェース、１２４…外部センサインタフェース、１２６…ＵＳＢインタフェース、１２８…シリアルブロック、１３０…撮像素子、１３１…広角光学系、１３２…ＤＲＡＭ、１３４…外部ストレージ、１３６…加速度センサ／ジャイロセンサ、１３８…ＵＳＢコネクタ、１４０…無線ＮＩＣ、１４２…バス、１５０…画像処理装置、１５２…ＣＰＵ、１５４…ＲＡＭ、１５６…ＨＤＤ、１５８…入力装置、１６０…外部ストレージ、１６２…ディスプレイ、１６４…無線ＮＩＣ、１６６…ＵＳＢコネクタ、１６８…バス、２１０…機能ブロック、２１４…撮像部、２１６…撮像開始指示受付部、２１８…姿勢測定部、２２０…天頂補正方式決定部、２２２…映像出力部、２２４…天頂補正部、２６０…表示部、３００，３１０，３５０…機能ブロック、３１４…撮像部、３１６…撮像開始指示受付部、３１８…姿勢測定部、３２０…天頂補正方式決定部、３２２…動画出力部、３２４…メタ情報出力部、３５２…動画入力部、３５４…メタ情報入力部、３５６…映像出力部、３５８…天頂補正部、３６０…表示部
【先行技術文献】
【特許文献】
【００９６】
【特許文献１】特開２０１５−０１９３４４号公報
【図１】
2018011172.tif 000003
【図２】
2018011172.tif 000004
【図３】
2018011172.tif 000005
【図４】
2018011172.tif 000006
【図５】
2018011172.tif 000007
【図６】
2018011172.tif 000008
【図７】
2018011172.tif 000009
【図８】
2018011172.tif 000010
【図９】
2018011172.tif 000011
【図１０】
2018011172.tif 000012
【図１１】
2018011172.tif 000013
【図１２】
2018011172.tif 000014