(57)【要約】【課題】どのような場面が撮像されているかを一目で認識できるように、サムネイル画像の視認性を向上させること。【解決手段】開示の技術の一態様に係る撮像システムは、複数の魚眼画像を撮像する撮像部と、前記撮像部により撮像された複数の魚眼画像が配置された配置画像を生成する配置画像生成部と、前記複数の魚眼画像に基づき生成された全天球画像の少なくとも一部を含むサムネイル画像を生成するサムネイル画像生成部と、前記配置画像と、前記サムネイル画像と、を含む出力データを出力する出力部と、を有する。【選択図】図６
2020123172.tif 000002
【特許請求の範囲】
【請求項１】
複数の魚眼画像を撮像する撮像部と、
前記撮像部により撮像された複数の魚眼画像が配置された配置画像を生成する配置画像生成部と、
前記複数の魚眼画像に基づき生成された全天球画像の少なくとも一部を含むサムネイル画像を生成するサムネイル画像生成部と、
前記配置画像と、前記サムネイル画像と、を含む出力データを出力する出力部と、を有する
撮像システム。
【請求項２】
前記複数の魚眼画像間の分光感度特性の差を補正する分光感度補正部と、を有し、
前記配置画像生成部は、補正された前記複数の魚眼画像が配置された配置画像を生成する
請求項１に記載の撮像システム。
【請求項３】
前記サムネイル画像生成部は、
前記複数の魚眼画像を繋ぎ合わせて全天球画像を生成する繋ぎ合わせ処理部と、
前記撮像システムの姿勢に応じて、前記全天球画像の天頂方向を補正する天頂補正処理部と、
補正された前記全天球画像を縮小する縮小処理部と、を有する
請求項１に記載の撮像システム。
【請求項４】
前記出力データは、前記繋ぎ合わせ処理部が前記全天球画像を生成するための繋ぎ条件データを含む
請求項３に記載の撮像システム。
【請求項５】
前記全天球画像は、
前記撮像システムは、
複数の魚眼画像を撮像する撮像部と、
前記撮像部により撮像された複数の魚眼画像が配置された配置画像を生成する配置画像生成部と、
前記複数の魚眼画像に基づき生成された全天球画像の少なくとも一部を含むサムネイル画像を生成するサムネイル画像生成部と、
前記配置画像と、前記サムネイル画像と、を含む出力データを出力する出力部と、を有し、
前記現像処理装置は、
前記撮像システムから入力した前記出力データに含まれる前記サムネイル画像、及び前記配置画像の少なくとも１つを画面上に表示する表示部と、
前記撮像システムから入力した前記出力データに含まれる前記配置画像に対し、現像処理を実行する現像処理部と、
を有する
現像システム。
【請求項６】
複数の魚眼画像を撮像する撮像ステップと、
前記複数の魚眼画像が配置された配置画像を生成する配置画像生成ステップと、
前記複数の魚眼画像に基づき生成された全天球画像の少なくとも一部を含むサムネイル画像を生成するサムネイル画像生成ステップと、
前記配置画像と、前記サムネイル画像と、を含む出力データを出力する出力ステップと、を含む
撮像方法。
【請求項７】
撮像システムを、
複数の魚眼画像を撮像する撮像部、
前記撮像部により撮像された複数の魚眼画像が配置された配置画像を生成する配置画像生成部、
前記複数の魚眼画像に基づき生成された全天球画像の少なくとも一部を含むサムネイル画像を生成するサムネイル画像生成部、
前記配置画像と、前記サムネイル画像と、を含む出力データを出力する出力部、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、撮像システム、現像システム、撮像方法、及びプログラムに関する。
【背景技術】
【０００２】
従来から、魚眼レンズや超広角レンズ等の広角なレンズを複数使用して全方位（以下、全天球という）を一度に撮像可能な全天球撮像システムが知られている（例えば、特許文献１参照）。
【０００３】
また、全天球撮像システムでは、全方位に存在する全ての被写体に対して適正にＲＡＷ現像処理等を行うために、撮像したＲＡＷ画像データをＰＣ（Personal Computer）やタブレット等の外部装置に出力し、外部装置でＲＡＷ現像処理等を実行できると好適である。このような全天球撮像システムとして、撮像したＲＡＷ画像データを外部装置に出力可能にしたものが知られている（例えば、非特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、全天球撮像システムのＲＡＷ画像データは、複数の魚眼画像が単純に並べられて結合された状態であるため、ユーザが外部装置の表示部等に表示されたサムネイル画像を視認して、どのような場面が撮像されているかを一目で認識することが困難な場合があった。
【０００５】
本発明は、上記の点に鑑みてなされたものであって、どのような場面が撮像されているかを一目で認識できるように、サムネイル画像の視認性を向上させることを課題とする。
【課題を解決するための手段】
【０００６】
開示の技術の一態様に係る撮像システムは、複数の魚眼画像を撮像する撮像部と、前記撮像部により撮像された複数の魚眼画像が配置された配置画像を生成する配置画像生成部と、前記複数の魚眼画像に基づき生成された全天球画像の少なくとも一部を含むサムネイル画像を生成するサムネイル画像生成部と、前記配置画像と、前記サムネイル画像と、を含む出力データを出力する出力部と、を有する。
【発明の効果】
【０００７】
本発明の一実施形態によれば、どのような場面が撮像されているかを一目で認識できるように、サムネイル画像の視認性を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】実施形態に係る現像システムの構成の一例を示す図である。
【図２】実施形態に係る全天球カメラのハードウェア構成の一例を示すブロック図である。
【図３】全天球カメラにより撮像された魚眼画像の一例を示す図である。
【図４】全天球カメラにより生成された全天球画像の一例を示す図である。
【図５】実施形態に係る現像処理装置のハードウェア構成の一例を示すブロック図である。
【図６】第１の実施形態に係る全天球カメラの機能構成の一例を示すブロック図である。
【図７】実施形態に係る現像処理装置の機能構成の一例を示すブロック図である。
【図８】実施形態に係るサムネイル画像の表示画面の一例を示す図である。
【図９】実施形態に係る配置画像の表示画面の一例を示す図である。
【図１０】第１の実施形態に係る現像システムによる処理の一例を示すシーケンス図である。
【図１１】第２の実施形態に係る全天球カメラの機能構成の一例を示すブロック図である。
【図１２】第２の実施形態に係る現像システムによる処理の一例を示すシーケンス図である。
【発明を実施するための形態】
【０００９】
以下に、図面を参照して発明を実施するための形態について説明する。各図面において、同一の構成部分には同一符号を付し、重複した説明を省略する場合がある。
【００１０】
実施形態では、全方位を一度に撮像可能な全天球カメラ（「撮像システム」の一例）と、全天球カメラにより撮像された全天球画像の現像処理を実行する現像処理装置とを備える現像システムを例として説明する。
【００１１】
ここで、現像処理とは、デジタルカメラ等により撮像され、完成状態にされていないＲＡＷ画像（生画像）の露出やホワイトバランス、色合い等の調整を、電子的に実行する処理をいう。以下の説明では、このような処理をＲＡＷ現像処理と称する。
【００１２】
＜実施形態に係る現像システムの構成＞
図１は、実施形態に係る現像システムの構成の一例を示す図である。図１に示すように、現像システム１は、現像処理装置５と、全天球カメラ６とを備える。現像処理装置５と全天球カメラ６は、インターネット等のネットワーク１００を介して接続されている。
【００１３】
現像処理装置５は、一般的なＯＳ（Operating System）が搭載されたコンピュータ等により実現することができ、無線による通信の手段又は有線による通信の手段を備えている。
【００１４】
全天球カメラ６は、複数の魚眼光学系を用いて撮像した複数の魚眼画像に基づいて全天球画像を生成する。また、全天球カメラ６は、無線による通信の手段又は有線による通信の手段を備え、ネットワーク１００を介して、全天球画像をコンピュータやスマートフォン等の外部装置に出力する。
【００１５】
ここで魚眼画像には円周魚眼画像が含まれる。また、全天球画像には正距円筒射影画像等が含まれるがこれに限らず、魚眼画像に基づき生成された全天球画像であればよい。
【００１６】
さらに、全天球カメラ６は、撮像した複数の魚眼画像のＲＡＷ画像が配置された配置画像の画像データと、詳細は後述するサムネイル画像の画像データを、ネットワーク１００を介して現像処理装置５に出力することができる。配置画像は非圧縮画像でも良く、また複数の魚眼画像を結合して１つのファイルとしても良い。複数の魚眼画像を配置する際には、横または縦に並べて配置して配置画像としても良い。
【００１７】
現像処理装置５は、ネットワーク１００を介して全天球カメラ６から入力した配置画像に対し、現像処理を実行することができる。
【００１８】
なお、図１では、現像処理装置５と全天球カメラ６がネットワーク１００を介して接続された例を示したが、これに限定されるものではなく、現像処理装置５と全天球カメラ６とが無線、又は有線により直接接続されても良い。
【００１９】
＜実施形態に係る全天球カメラのハードウェア構成＞
次に、全天球カメラ６のハードウェア構成を、図２を用いて説明する。図２は、全天球カメラ６のハードウェア構成の一例を示すブロック図である。以下では、全天球カメラ６は、２つの撮像素子を使用した全天球（全方位）のカメラとするが、撮像素子は２つ以上いくつでも良い。また、必ずしも全方位の撮像専用のカメラである必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位の撮像ユニットを取り付けることで、実質的に全天球カメラ６と同じ機能を有するようにしても良い。
【００２０】
図２に示されているように、全天球カメラ６は、撮像ユニット６０１と、画像処理ユニット６０４と、撮像制御ユニット６０５と、マイク６０８と、音処理ユニット６０９と、ＣＰＵ６１１と、ＲＯＭ６１２と、ＳＲＡＭ（Static Random Access Memory）６１３とを備える。また、全天球カメラ６は、ＤＲＡＭ（Dynamic Random Access Memory）６１４と、操作部６１５と、外部機器接続Ｉ／Ｆ６１６と、遠距離通信回路６１７と、アンテナ６１７ａと、加速度・方位センサ６１８とを備える。
【００２１】
このうち、撮像ユニット６０１は、各々半球画像を結像するための１８０°以上の画角を有する魚眼レンズ６０２ａ及び６０２ｂと、各魚眼レンズに対応させて設けられている２つの撮像素子６０３ａ及び６０３ｂとを備える。魚眼レンズ６０２ａ及び６０２ｂは、６群７枚の魚眼レンズ等により構成される。魚眼レンズ６０２ａ及び６０２ｂは、１８０度（＝３６０度／ｎ；光学系の数ｎ＝２）より大きい全画角を有し、好適には、１９０度以上の画角を有する。
【００２２】
また、図２では図示を省略するが、撮像ユニット６０１は、魚眼レンズ６０２ａに対応した絞り及びシャッタと、魚眼レンズ６０２ｂに対応した絞り及びシャッタとを備えている。
【００２３】
撮像素子６０３ａ及び６０３ｂは、魚眼レンズ６０２ａ及び６０２ｂによる光学像を、電気信号の画像データに変換して出力するＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等の画像センサを備えている。魚眼レンズ６０２ａ及び６０２ｂを用いて撮像素子６０３ａ及び６０３ｂにより撮像される画像は、魚眼画像等である。
【００２４】
また、画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路と、画像センサの動作に必要な種々のコマンドやパラメータ等が設定されるレジスタ群等を備えている。
【００２５】
撮像ユニット６０１の撮像素子６０３ａ及び６０３ｂは、各々、画像処理ユニット６０４とパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット６０１の撮像素子６０３ａ及び６０３ｂは、撮像制御ユニット６０５とは、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。
【００２６】
画像処理ユニット６０４、撮像制御ユニット６０５及び音処理ユニット６０９は、バス６１０を介してＣＰＵ６１１と接続されている。さらに、バス６１０には、ＲＯＭ６１２、ＳＲＡＭ６１３、ＤＲＡＭ６１４、操作部６１５、外部機器接続Ｉ／Ｆ（Interface）６１６、遠距離通信回路６１７、及び加速度・方位センサ６１８等も接続されている。
【００２７】
画像処理ユニット６０４は、撮像素子６０３ａ及び６０３ｂからそれぞれ出力される魚眼画像の画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、全天球画像のデータを生成することができる。
【００２８】
撮像制御ユニット６０５は、一般に撮像制御ユニット６０５をマスタデバイス、撮像素子６０３ａ及び６０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子６０３ａ及び６０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ６１１から受け取る。また、撮像制御ユニット６０５は、同じくＩ２Ｃバスを利用して、撮像素子６０３ａ及び６０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ６１１に送る。
【００２９】
また、撮像制御ユニット６０５は、操作部６１５のシャッターボタンが押下されたタイミングで、撮像素子６０３ａ及び６０３ｂに画像データの出力を指示する。全天球カメラ６によっては、ディスプレイ（例えば、スマートフォンのディスプレイ）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子６０３ａ及び６０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。
【００３０】
また、撮像制御ユニット６０５は、ＣＰＵ６１１と協働して撮像素子６０３ａ及び６０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、実施形態では、全天球カメラ６にはディスプレイが設けられていないが、表示部を設けてもよい。
【００３１】
マイク６０８は、音を音（信号）データに変換する。音処理ユニット６０９は、マイク６０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。
【００３２】
ＣＰＵ６１１は、全天球カメラ６の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ６１２は、ＣＰＵ６１１のための種々のプログラムを記憶している。ＳＲＡＭ６１３及びＤＲＡＭ６１４はワークメモリであり、ＣＰＵ６１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ６１４は、画像処理ユニット６０４での処理途中の画像データや処理済みの全天球画像のデータを記憶する。
【００３３】
操作部６１５は、シャッターボタン６１５ａなどの操作ボタンの総称である。ユーザは操作部６１５を操作することで、種々の撮影モードや撮影条件などを入力する。
【００３４】
外部機器接続Ｉ／Ｆ６１６は、各種の外部機器を接続するためのインタフェースである。この場合の外部機器は、例えば、ＵＳＢ（Universal Serial Bus）メモリやＰＣ等である。ＤＲＡＭ６１４に記憶された全天球画像のデータは、このネットワークＩ／Ｆ６１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／Ｆ６１６を介してスマートフォン等の外部端末（装置）に送信されたりする。
【００３５】
遠距離通信回路６１７は、全天球カメラ６に設けられたアンテナ６１７ａを介して、Ｗｉ−Ｆｉ、ＮＦＣ（Near Field Communication）やＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信技術によって、スマートフォン等の外部端末（装置）と通信を行う。この遠距離通信回路６１７によっても、全天球画像のデータをスマートフォン等の外部端末（装置）に送信することができる。
【００３６】
加速度・方位センサ６１８は、地球の磁気から全天球カメラ６の方位を算出し、方位情報を出力する。この方位情報はＥｘｉｆ（Exchangeable Image File Format）に沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。
【００３７】
また、加速度・方位センサ６１８は、全天球カメラ６の移動に伴う角度の変化（Ｒｏｌｌ角、Ｐｉｔｃｈ角、Ｙａｗ角）を検出するセンサである。角度の変化はＥｘｉｆに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。
【００３８】
更に、加速度・方位センサ６１８は、３軸方向の加速度を検出するセンサである。全天球カメラ６は、加速度・方位センサ６１８が検出した加速度に基づいて、全天球カメラ６の姿勢（重力方向に対する角度）を算出する。全天球カメラ６に、加速度・方位センサ６１８が設けられることによって、画像補正の精度を向上させることができる。
【００３９】
実施形態に係る全天球カメラ６は、図２に示したハードウェア構成により、別途図６を参照して説明する各種機能を実現することができる。
【００４０】
ここで、図３は、全天球カメラ６により撮像された魚眼画像の一例を示す図である。魚眼レンズ６０２ａと撮像素子６０３ａにより１つの魚眼画像３１が撮像され、魚眼レンズ６０２ｂと撮像素子６０３ｂにより１つの魚眼画像３２が撮像される。魚眼画像３１のＲＡＷ画像と、魚眼画像３２のＲＡＷ画像が並べて配置（単純結合）され、配置画像３３が生成されている。
【００４１】
また、図４は、全天球カメラ６により生成された全天球画像の一例を示す図である。それぞれ１８０度より大きい画角で撮像された魚眼画像３１及び３２が繋ぎ合わせ処理され、立体角４πステラジアン（方位３６０度）の全天球画像４１が生成される。
【００４２】
＜実施形態に係る現像処理装置のハードウェア構成＞
次に、現像処理装置５のハードウェア構成を、図５を用いて説明する。図５は、実施形態に係る現像処理装置のハードウェア構成の一例を示すブロック図である。
【００４３】
現像処理装置５は、コンピュータによって構築されている。図５に示されているように、現像処理装置５は、ＣＰＵ（Central Processing Unit）５０１と、ＲＯＭ（Read Only Memory）５０２と、ＲＡＭ（Random Access Memory）５０３と、ＨＤ（Hard Disk）５０４と、ＨＤＤ(Hard Disk Drive)コントローラ５０５とを備える。また、現像処理装置５は、ディスプレイ５０６と、外部機器接続Ｉ／Ｆ(Interface)５０８と、ネットワークＩ／Ｆ５０９と、データバス５１０と、キーボード５１１と、ポインティングデバイス５１２と、ＤＶＤ−ＲＷ(Digital Versatile Disk Rewritable)ドライブ５１４と、メディアＩ／Ｆ５１６とを備える。
【００４４】
これらのうち、ＣＰＵ５０１は、現像処理装置５全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ（Initial Program Loader）等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。
【００４５】
ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ５０６は、カーソル、メニュー、ウィンドウ、文字、又は画像等の各種情報を表示する。
【００４６】
外部機器接続Ｉ／Ｆ５０８は、各種の外部機器を接続するためのインタフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ／Ｆ５０９は、ネットワーク１００を利用してデータ通信をするためのインタフェースである。データバス５１０は、図５に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【００４７】
また、キーボード５１１は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動等を行う入力手段の一種である。
【００４８】
ＤＶＤ−ＲＷドライブ５１４は、着脱可能な記録媒体の一例としてのＤＶＤ−ＲＷ５１３に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ−ＲＷに限らず、ＤＶＤ−Ｒ等であっても良い。メディアＩ／Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。
【００４９】
実施形態に係る現像処理装置５は、図５に示したハードウェア構成により、別途図７を参照して説明する各種機能を実現することができる。
【００５０】
［第１の実施形態］
＜第１の実施形態に係る全天球カメラの機能構成＞
次に、全天球カメラ６の機能構成を、図６を参照して説明する。図６は、全天球カメラ６の機能構成の一例を示すブロック図である。なお、図６に示される各機能ブロックは概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。各機能ブロックの全部又は一部を、任意の単位で機能的又は物理的に分散・結合して構成しても良い。また、全天球カメラ６は、図６に示す機能以外に他の機能を備えていても良い。
【００５１】
図６に示されているように、全天球カメラ６は、撮像部６５１と、画像処理部６５２と、配置画像生成部６６０と、サムネイル画像生成部６７０と、出力データ生成部６８０と、出力部６９０とを備える。
【００５２】
撮像部６５１は、撮像ユニット６０１及び撮像制御ユニット６０５等から実現され、魚眼レンズ６０２ａに対応した撮像処理部６５１ａと、魚眼レンズ６０２ｂに対応した撮像処理部６５１ｂとを備える。
【００５３】
撮像部６５１は、魚眼レンズ６０２ａ及び６０２ｂのそれぞれによる魚眼画像を撮像して、魚眼画像の画像データと、画像処理部６５２が好適な画像処理を実行するために用いられる撮像条件データとを、画像処理部６５２に出力することができる。
【００５４】
撮像処理部６５１ａは、撮像素子６０３ａ及び撮像制御ユニット６０５等から構成され、撮像素子６０３ａにより撮像された魚眼画像の画像データを所定のゲイン（増幅率）で増幅して画像処理部６５２に出力する。撮像処理部６５１ｂは、撮像素子６０３ｂ及び撮像制御ユニット６０５等から構成され、撮像素子６０３ｂにより撮像された魚眼画像の画像データを所定のゲインで増幅して画像処理部６５２に出力する。
【００５５】
撮像部６５１の出力する撮像条件データには、絞り６４１ａの絞り径を示すデータＡｖ_ａと、シャッタ６４２ａのシャッタ速度を示すデータＴｖ_ａと、撮像処理部６５１ａによるゲインを示すデータＳｖ_ａとが含まれる。さらに、撮像条件データには、絞り６４１ｂの絞り径を示すデータＡｖ_ｂと、シャッタ６４２ｂのシャッタ速度を示すデータＴｖ_ｂと、撮像処理部６５１ｂによるゲインを示すデータＳｖ_ｂとが含まれる。これらは、魚眼画像の画像処理時に、露出を示すデータとして用いられる。
【００５６】
画像処理部６５２は、画像処理ユニット６０４等から実現され、魚眼レンズ６０２ａに対応した処理部６５２ａと、魚眼レンズ６０２ｂに対応した処理部６５２ｂとを備える。
【００５７】
画像処理部６５２は、２つの魚眼画像の画像データと２つの撮像条件データを撮像部６５１から入力し、撮像条件データを用いて魚眼画像に対して画像処理を実行し、処理結果を配置画像生成部６６０及び繋ぎ合わせ処理部６７１に出力することができる。
【００５８】
画像処理部６５２による画像処理として、魚眼画像の露出調整やシェーディング補正等が挙げられる。全天球カメラ６で撮像される２つの魚眼画像では、一方は明るい（露出が大きい）環境下で撮像され、他方は暗い（露出が小さい）環境下で撮像される場合がある。また、魚眼画像の円周部に近づくにつれ、明るさが低下するシェーディングが生じる場合がある。２つの魚眼画像間における露出やシェーディングの差は、後段で生成される全天球画像の画質を低下させる場合がある。
【００５９】
画像処理部６５２による露出調整やシェーディング補正により、２つの魚眼画像間で露出の差や魚眼画像の円周部のシェーディングを抑制することができる。これにより、後段で全天球画像を生成する際に、２つの魚眼画像を滑らかに繋ぎ合わせ、全天球画像の画質の低下を低減させることができる。
【００６０】
処理部６５２ａは、入力したデータＡｖ_ａ、Ｔｖ_ａ、及びＳｖ_ａを用いて、魚眼レンズ６０２ａによる魚眼画像に対して露出調整やシェーディング補正の処理を実行する。そして、処理後の魚眼画像のＲＡＷ画像データを配置画像生成部６６０に出力し、処理後の魚眼画像のＹＵＶ画像データを繋ぎ合わせ処理部６７１に出力する。
【００６１】
処理部６５２ｂは、入力したデータＡｖ_ｂ、Ｔｖ_ｂ、及びＳｖ_ｂを用いて、魚眼レンズ６０２ｂによる魚眼画像に対して露出調整やシェーディング補正の処理を実行する。そして、処理後の魚眼画像のＲＡＷ画像データを配置画像生成部６６０に出力し、処理後の魚眼画像のＹＵＶ画像データを繋ぎ合わせ処理部６７１に出力する。
【００６２】
配置画像生成部６６０は、ＣＰＵ６１１等により実現され、処理部６５２ａ及び６５２ｂから入力した２つの魚眼画像のＲＡＷ画像データを並列に配置させて、配置画像３３（図３参照）を生成する。この場合、魚眼レンズ６０２ａ及び６０２ｂ等の結像光学系の設計に応じて、魚眼画像を９０度回転させる処理や反転させる処理を行っても良い。配置画像生成部６６０は、生成した配置画像３３の画像データを出力データ生成部６８０に出力する。
【００６３】
サムネイル画像生成部６７０は、ＣＰＵ６１１等により実現され、繋ぎ合わせ処理部６７１と、天頂補正処理部６７２と、縮小処理部６７３とを備える。サムネイル画像生成部６７０は、処理部６５２ａ及び６５２ｂから入力した２つの魚眼画像のＹＵＶ画像データを用いて、縮小全天球画像の少なくとも一部を含むサムネイル画像を生成する。そして、生成したサムネイル画像を出力データ生成部６８０に出力することができる。
【００６４】
ここで、サムネイル画像とは、画像をＵＩ（ユーザインタフェース）画面等に表示する際に、視認性を高めるために画像を縮小する等して表示させた識別用の画像（見本画像）をいう。実施形態に係るサムネイル画像は、縮小した全天球画像である縮小全天球画像を含んで生成され、配置画像３３を視認性よく識別させるための見本画像として機能する。
【００６５】
繋ぎ合わせ処理部６７１は、処理部６５２ａから入力した魚眼画像のＹＵＶ画像データと、処理部６５２ｂから入力した魚眼画像のＹＵＶ画像データとを、正距円筒図法に基づく射影により繋ぎ合わせる処理を実行し、１つの全天球画像を生成する。そして、処理後の全天球画像の画像データを天頂補正処理部６７２に出力する。
【００６６】
２つの魚眼画像間で重複する画像領域では、画像間の視差、及び画像に含まれる被写体の被写体距離等に応じて、画像上で被写体が撮像される位置（座標）が動的に変化する場合がある。そのため、繋ぎ合わせ処理部６７１は、テンプレートマッチング等の画像処理手法を用いて動的な繋ぎ合わせ処理を実行することができる。
【００６７】
繋ぎ合わせ処理部６７１は、上述した繋ぎ合わせ処理に用いた繋ぎ位置等の繋ぎ条件データを保持し、出力データ生成部６８０に出力することができる。
【００６８】
天頂補正処理部６７２は、加速度・方位センサ６１８から全天球カメラ６の姿勢角を示すデータを入力し、繋ぎ合わせ処理部６７１から入力した全天球画像の天頂方向を所定の基準方向に一致させるための補正処理を実行する。加速度・方位センサ６１８から姿勢角を示すデータを入力するタイミングは、撮像素子６０３ａ及び／又は６０３ｂの露光期間の中心となるタイミング等である。
【００６９】
ここで、所定の基準方向とは、典型的には、鉛直方向であり、重力加速度が作用する方向である。全天球画像の天頂方向が鉛直方向（天方向）に一致するよう補正することにより、特に動画像において、閲覧時に視野の変更を行う場合でもユーザに３次元酔いなどの違和感を与えないようにすることが可能となる。天頂補正処理部６７２は、処理後の全天球画像を縮小処理部６７３に出力する。
【００７０】
繋ぎ合わせ処理と天頂補正処理は、何れも自由矩形変換を行うため、画素補間処理による解像度の低下を生じさせる場合がある。そのため、繋ぎ合わせ処理部６７１及び天頂補正処理部６７２は、繋ぎ合わせ処理と天頂補正処理を一度の自由矩形変換により同時に実行することが好適である。これにより、自由矩形変換に伴う画素補間処理の回数を低減し、解像度の低下を抑制することができる。
【００７１】
なお、２つの魚眼画像から全天球画像を生成する処理は、特許６２５６５１３号公報等に開示された公知の技術を適用できるため、ここでは、さらに詳細な説明は省略する。
【００７２】
縮小処理部６７３は、予め定められた所定の画像サイズになるように、入力した全天球画像を縮小する。そして、縮小した全天球画像の少なくとも一部を含むサムネイル画像を生成して出力データ生成部６８０に出力する。なお、サムネイル画像には、縮小全天球画像の他に、配置画像３３の識別情報として機能する文字や記号等が含まれても良い。
【００７３】
このように、サムネイル画像生成部６７０は、繋ぎ合わせ処理部６７１、天頂補正処理部６７２、及び縮小処理部６７３の処理結果が反映された状態で、２つの魚眼画像から縮小全天球画像を生成することができる。
【００７４】
出力データ生成部６８０は、ＣＰＵ６１１等により実現され、入力した配置画像３３の画像データと、サムネイル画像データと、繋ぎ条件データとを１つの電子ファイルに集約して出力データを生成し、出力部６９０に出力する。このような電子ファイルは、ＤＮＧ（Digital Negative）形式で記録された画像ファイル等である。出力データ生成部６８０は、繋ぎ条件データを出力データの電子ファイルのメタデータの一部として記録することができる。
【００７５】
出力部６９０は、外部機器接続Ｉ／Ｆ６１６等により実現され、出力データ生成部６８０から入力した出力データを現像処理装置５に出力する。或いは、出力部６９０は、出力データをＳＲＡＭ６１３等の内部メモリに出力して記憶させたり、外部機器接続Ｉ／Ｆ６１６１を介して外部記憶装置に出力して記憶させたりしても良い。
【００７６】
出力データに繋ぎ条件データを含めることで、現像処理装置５において２つの魚眼画像を繋ぎ合わせる処理を実行する際に、繋ぎ位置の検出処理等の処理負荷の低減、及び処理時間の短縮を図ることができる。
【００７７】
＜実施形態に係る現像処理装置の機能構成＞
次に、現像処理装置５の機能構成を、図７を参照して説明する。図７は、現像処理装置５の機能構成の一例を示すブロック図である。
【００７８】
図７に示されているように、現像処理装置５は、入力部５１と、表示部５２と、現像処理部５３と、操作部５４とを備える。
【００７９】
入力部５１は、外部機器接続Ｉ／Ｆ５０８等により実現され、全天球カメラ６から配置画像３３の画像データ、サムネイル画像の画像データ、及び繋ぎ条件データを含む出力データを、ネットワーク１００を介して入力し、表示部５２及び現像処理部５３に出力する。
【００８０】
表示部５２は、ディスプレイ５０６等により実現され、入力した配置画像３３、及び／又はサムネイル画像を、ディスプレイ５０６に表示したＵＩ画面上に表示し、ユーザに視認させる。また、表示部５２は、以前に全天球カメラ６等から入力され、ＨＤ５０４等に記憶された複数の配置画像、及び／又はサムネイル画像も併せてＵＩ画面に表示し、ユーザに視認させることができる。
【００８１】
ユーザは、ＵＩ画面上に表示された複数のサムネイル画像のうち、ＲＡＷ現像処理を行いたい配置画像に対応するサムネイル画像を、操作部５４を用いて選択する。表示部５２は、選択されたサムネイル画像に対応する配置画像をＵＩ画面上に表示する。
【００８２】
現像処理部５３は、ＵＩ画面上に表示された配置画像に対し、ＲＡＷ現像処理を実行する。ＲＡＷ現像処理の処理条件は、ユーザがＵＩ画面上に表示された現像処理中、または現像処理後の画像を視認しながら、操作部５４を用いて手動で設定することができる。或いは、予め定められた処理条件に基づき、ＲＡＷ現像処理が自動で実行されるようにしても良い。
【００８３】
ここで、表示部５２が表示するＵＩ画面について、図８及び図９を参照して説明する。図８は、実施形態に係るサムネイル画像の表示画面の一例を示す図であり、図９は、実施形態に係る配置画像の表示画面の一例を示す図である。
【００８４】
図８に示されているように、ＵＩ画面８には、実施形態に係るサムネイル画像８１及び８２と、比較例に係るサムネイル画像８３及び８４が表示されている。実施形態に係るサムネイル画像８１及び８２は、それぞれ全天球画像が縮小された縮小全天球画像である。一方、比較例に係るサムネイル画像８３及び８４は、全天球カメラのＲＡＷ画像である２つの魚眼画像が並べて配置された配置画像を、そのまま縮小した画像である。
【００８５】
ユーザは、図８のＵＩ画面８上に表示されたサムネイル画像を視認しながら、ポインティングデバイス５１２によりＵＩ画面８上のカーソルを操作する。そして、例えばサムネイル画像８２上にカーソルを位置させた状態で、キーボード５１１のリターンキーを押すと、図９に示すように、サムネイル画像８２に対応する配置画像９１がＵＩ画面８上に表示される。ユーザは、ＵＩ画面８上に表示された配置画像９１を視認しながら、配置画像９１に対してＲＡＷ現像処理を実行することができる。
【００８６】
ここで、比較例に係るサムネイル画像８３及び８４は、２つの魚眼画像が並べて配置された画像であるため、ユーザは、配置画像がどの場面を撮像（撮影）したものかをサムネイル画像を見て、一目で認識することが難しい場合がある。
【００８７】
これに対し、実施形態に係るサムネイル画像８１及び８２は、縮小全天球画像を表示するため、配置画像がどの場面を撮影したものなのかがサムネイル画像を視認することで、一目で認識しやすい。このように、サムネイル画像の視認性を向上させることで、ユーザに配置画像毎でどのような場面が撮影されているかを認識させやすくできる。そして、配置画像の管理を容易にすることができる。
【００８８】
＜第１の実施形態に係る現像システムによる処理＞
次に、本実施形態に係る現像システム１による処理について、図１０を参照して説明する。図１０は、本実施形態に係る現像システムによる処理の一例を示すシーケンス図である。
【００８９】
図１０において、先ず、ステップＳ１０１において、全天球カメラ６の撮像部６５１は、魚眼レンズ６０２ａ及び６０２ｂのそれぞれによる魚眼画像を撮像して、２つの魚眼画像の画像データと、画像処理部６５２が好適な画像処理を実行するための撮像条件データとを、画像処理部６５２に出力する。
【００９０】
続いて、ステップＳ１０２において、画像処理部６５２は、撮像条件データを用いて２つの魚眼画像に対して画像処理を実行し、処理結果を配置画像生成部６６０及び繋ぎ合わせ処理部６７１に出力する。この画像処理は、露出調整やシェーディング補正等である。
【００９１】
続いて、ステップＳ１０３において、配置画像生成部６６０は、画像処理部６５２から入力した２つの魚眼画像のＲＡＷ画像データを並列に配置して配置画像３３を生成する。そして、生成した配置画像３３の画像データを出力データ生成部６８０に出力する。
【００９２】
続いて、ステップＳ１０４において、サムネイル画像生成部６７０における繋ぎ合わせ処理部６７１は、画像処理部６５２から入力した２つの魚眼画像のＹＵＶ画像データを繋ぎ合わせる処理を実行し、処理後の全天球画像の画像データを天頂補正処理部６７２に出力する。また、繋ぎ合わせ処理部６７１は、繋ぎ合わせ処理に用いた繋ぎ位置等の繋ぎ条件データを、出力データ生成部６８０に出力する。
【００９３】
続いて、ステップＳ１０５において、天頂補正処理部６７２は、加速度・方位センサ６１８から全天球カメラ６の姿勢角を示すデータを入力し、繋ぎ合わせ処理部６７１から入力した全天球画像の天頂方向を所定の基準方向に一致させるための補正処理を実行する。そして、処理後の全天球画像を縮小処理部６７３に出力する。
【００９４】
続いて、ステップＳ１０６において、縮小処理部６７３は、予め定められた所定の画像サイズになるように、入力した全天球画像を縮小する。そして、縮小した全天球画像の少なくとも一部を含むサムネイル画像を生成し、出力データ生成部６８０に出力する。
【００９５】
続いて、ステップＳ１０７において、出力データ生成部６８０は、入力した配置画像３３の画像データと、サムネイル画像データと、繋ぎ条件データとを１つの電子ファイルに集約して出力データを生成し、出力部６９０に出力する。
【００９６】
続いて、ステップＳ１０８において、出力部６９０は、出力データ生成部６８０から入力した出力データを現像処理装置５に出力する。現像処理装置５の入力部５１は、配置画像３３の画像データ、サムネイル画像の画像データ、及び繋ぎ条件データを含む出力データを、ネットワーク１００を介して全天球カメラ６から入力し、表示部５２及び現像処理部５３に出力する。
【００９７】
続いて、ステップＳ１０９において、表示部５２は、ＵＩ画面８上にサムネイル画像を表示する。また、表示部５２は、以前に全天球カメラ６から入力され、ＨＤ５０４等に記憶された複数のサムネイル画像も併せてＵＩ画面８上に表示する。
【００９８】
続いて、ステップＳ１１０において、表示部５２は、ＵＩ画面に表示された複数のサムネイル画像のうち、ユーザにより選択されたサムネイル画像に対応する配置画像をＵＩ画面上に表示する。
【００９９】
続いて、ステップＳ１１１において、現像処理部５３は、ＵＩ画面に表示された配置画像に対し、ＲＡＷ現像処理を実行する。
【０１００】
このようにして、現像システム１は、全天球カメラ６により撮像された全天球画像の現像処理を実行することができる。
【０１０１】
＜第１の実施形態に係る現像システムの作用・効果＞
従来の現像システムでは、全天球カメラは、一度の撮影において、全天球カメラが備える複数の魚眼レンズと同じ数だけのＤＮＧファイル（ＲＡＷ画像データ）を、現像処理装置に出力する。そのため、多くのＤＮＧファイルが現像処理装置に保存されることになった。
【０１０２】
現像処理装置が多くのＤＮＧファイルを保存する場合、同じ場面が撮影されたＤＮＧファイルを紐付けて管理できると好適である。しかし、従来の現像システムでは、ＤＮＧファイルを識別するためのサムネイル画像が魚眼画像を表示するものであるため、ユーザは、サムネイル画像に対応する配置画像がどの場面を撮影したものなのかを、サムネイル画像から認識することが難しい場合があった。
【０１０３】
一方で、従来から、複数の魚眼レンズにより撮像された複数の魚眼画像が並列に配置された配置画像を、ＤＮＧファイル形式で出力する全天球カメラが知られている。しかし、従来の全天球カメラでは、配置画像が記録されたＤＮＧファイルのサムネイル画像は、複数の魚眼画像が並列に配置されたものであるため、ユーザは、サムネイル画像に対応する配置画像がどの場面を撮影したものなのかを、サムネイル画像から認識することが難しい場合があった。
【０１０４】
このように、従来技術では、サムネイル画像の視認性が低いことから、現像処理の対象とするＤＮＧファイルを管理し難い場合があった。
【０１０５】
これに対し、本実施形態では、縮小全天球画像の少なくとも一部を含むサムネイル画像をＵＩ画面上等に表示する。そのため、ユーザは、サムネイル画像に対応する配置画像がどの場面を撮影したものなのかをサムネイル画像から認識しやすい。このように、サムネイル画像の視認性を向上させることで、配置画像毎でどのような場面が撮影されているかをユーザに認識させやすくし、配置画像の管理をしやすくすることができる。
【０１０６】
また、本実施形態では、現像処理装置５に出力される出力データに、繋ぎ合わせ処理で用いられた繋ぎ位置等の繋ぎ条件データが含まれる。これにより、現像処理装置５において、２つの魚眼画像を繋ぎ合わせる処理を実行する際に、繋ぎ位置の検出処理等の処理負荷を低減させ、処理時間を短縮させることができる。
【０１０７】
［第２の実施形態］
次に、第２の実施形態に係る現像システムを説明する。なお、既に説明した実施形態と同一の構成部についての説明は省略する。
【０１０８】
魚眼レンズ６０２ａ及び６０２ａ、或いは撮像素子６０３ａ及び６０３ｂ等における部品の製造ばらつき等に起因して、撮像部６５１で撮像される２つの魚眼画像間で分光感度特性が異なる場合がある。分光感度特性の相違により色合いの異なる２つの魚眼画像を繋ぎ合わせると、生成される全天球画像が不自然になる場合がある。
【０１０９】
色合いを示す尺度として、画像の色毎のゲインで色合いを示す場合があるが、具体例として、一方の魚眼画像の赤色（Ｒ）のゲインが２．０、青色（Ｂ）のゲインが２．０で、他方の魚眼画像の赤色（Ｒ）のゲインが１．９５、青色（Ｂ）のゲインが２．０５であったとする。
【０１１０】
この場合、一方の魚眼画像に対して他方の魚眼画像は赤みがかって見える。このように色合いが異なる魚眼画像から生成された配置画像に対し、現像処理装置５におけるＲＡＷ現像処理で色合いを補正しようとすると、多くの手間と時間を要する場合がある。
【０１１１】
そこで、本実施形態に係る現像システムの備える全天球カメラは、配置画像を生成する前に、２つの魚眼画像の分光感度特性の差を補正する分光感度補正部を備えている。以下で、より詳細に説明する。
【０１１２】
＜第２の実施形態に係る全天球カメラの機能構成＞
本実施形態に係る現像システム１ａは、現像処理装置５と、全天球カメラ６ａとを備える。
【０１１３】
図１１は、本実施形態に係る全天球カメラ６ａの機能構成の一例を示すブロック図である。図１１に示されているように、全天球カメラ６ａは、分光感度補正部６６１を備える。
【０１１４】
分光感度補正部６６１は、画像処理部６５２から出力された２つの魚眼画像の分光感度特性の差を補正する機能を有する。上述の例を参照してより具体的に説明すると、赤色（Ｒ）のゲインが２．０、青色（Ｂ）のゲインが２．０である一方の魚眼画像において、分光感度補正部６６１は、赤色のゲインに対して２．００／１．９５＝１．０２６（倍）のゲイン調整を行う。
【０１１５】
また、赤色（Ｒ）のゲインが１．９５、青色（Ｂ）のゲインが２．０５である他方の魚眼画像において、分光感度補正部６６１は、青色のゲインに対して２．０５／２．００＝１．０２５（倍）のゲイン調整を行う。
【０１１６】
換言すると、分光感度補正部６６１は、飽和を確保するために、１．０倍以上のゲイン調整を行う処理を実行する。このような処理により、ＲＡＷ現像処理において、２つの魚眼画像をあたかも１つの魚眼光学系及び撮像素子の組合せカメラで撮影したように、ＲＡＷ画像を取り扱うことが可能となる。
【０１１７】
＜第２の実施形態に係る現像システムによる処理＞
図１２は、本実施形態に係る現像システム１ａによる処理の一例を示すシーケンス図である。
【０１１８】
図１２において、ステップＳ１２１の処理は、図１０におけるステップＳ１０１の処理と同じであり、また、図１２のステップＳ１２３〜Ｓ１３２の処理は、図１０におけるステップＳ１０２〜Ｓ１１１の処理と同じであるため、ここでは説明を省略する。
【０１１９】
ステップＳ１２２において、分光感度補正部６６１は、画像処理部６５２から出力された２つの魚眼画像の分光感度特性の差を補正し、補正後の２つの魚眼画像を配置画像生成部６６０に出力する。
【０１２０】
このようにして、現像システム１ａは、全天球カメラ６ａにより撮像された全天球画像の現像処理を実行することができる。
【０１２１】
以上説明したように、本実施形態では、全天球カメラ６ａが分光感度補正部６６１を備えることで、現像処理装置５におけるＲＡＷ現像処理の手間を低減し、処理時間を短縮することができる。
【０１２２】
なお、全天球カメラ６ａは、分光感度補正部６６１の他、倍率色収差の補正処理を実行する構成を備えるようにしても良い。これにより、現像処理装置５におけるＲＡＷ現像処理の手間をさらに低減し、処理時間をさらに短縮することができる。
【０１２３】
なお、上述した以外の効果は、第１の実施形態で説明したものと同様である。
【０１２４】
以上、実施形態を説明したが、本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
【０１２５】
また、実施形態は、撮像方法も含む。例えば、撮像方法は、複数の魚眼画像を撮像する撮像ステップと、前記複数の魚眼画像が配置された配置画像を生成する配置画像生成ステップと、前記複数の魚眼画像に基づき生成された全天球画像の少なくとも一部を含むサムネイル画像を生成するサムネイル画像生成ステップと、前記配置画像と、前記サムネイル画像と、を含む出力データを出力する出力ステップと、を含む。このような撮像方法により、上述の現像システムと同様の効果を得ることができる。
【０１２６】
さらに、実施形態は、プログラムも含む。例えば、プログラムは、撮像システムを、複数の魚眼画像を撮像する撮像部、前記撮像部により撮像された複数の魚眼画像が配置された配置画像を生成する配置画像生成部、前記複数の魚眼画像に基づき生成された全天球画像の少なくとも一部を含むサムネイル画像を生成するサムネイル画像生成部、前記配置画像と、前記サムネイル画像と、を含む出力データを出力する出力部、として機能させる。このようなプログラムにより、上述の現像システムと同様の効果を得ることができる。
【符号の説明】
【０１２７】
１、１ａ              現像システム
３１、３２            魚眼画像
３３                  配置画像
４１                  全天球画像
５                    現像処理装置
５１                  入力部
５２                  表示部
５３                  現像処理部
５４                  操作部
５０１                ＣＰＵ
５０６                ディスプレイ
５１２                ポインティングデバイス
６                    全天球カメラ（撮像システムの一例）
６０１                撮像ユニット
６０２ａ、６０２ｂ    魚眼レンズ
６０３ａ、６０３ｂ    撮像素子
６０４                画像処理ユニット
６０５                撮像制御ユニット
６１１                ＣＰＵ
６１８                加速度・方位センサ
６４１ａ、６４１ｂ    絞り
６４２ａ、６４２ｂ    シャッタ
６５１                撮像部
６５１ａ、６５１ｂ    撮像処理部
６５２                画像処理部
６５２ａ、６５２ｂ    処理部
６６０                配置画像生成部
６６１                分光感度補正部
６７０                サムネイル画像生成部
６７１                繋ぎ合わせ処理部
６７２                天頂補正処理部
６７３                縮小処理部
６８０                出力データ生成部
６９０                出力部
８                    ＵＩ画面
８１、８２            実施形態に係るサムネイル画像
８３、８４            比較例に係るサムネイル画像
９１                  配置画像
１００                ネットワーク
【先行技術文献】
【特許文献】
【０１２８】
【特許文献１】特許６２５６５１３号公報
【非特許文献】
【０１２９】
【非特許文献１】インターネット＜https://www.insta360.com/product/insta360-pro2/＞
【図１】
2020123172.tif 000003
【図２】
2020123172.tif 000004
【図３】
2020123172.tif 000005
【図４】
2020123172.tif 000006
【図５】
2020123172.tif 000007
【図６】
2020123172.tif 000008
【図７】
2020123172.tif 000009
【図８】
2020123172.tif 000010
【図９】
2020123172.tif 000011
【図１０】
2020123172.tif 000012
【図１１】
2020123172.tif 000013
【図１２】
2020123172.tif 000014