(57)【要約】【課題】技術的な前提知識がない撮影者であっても必要十分の画像群の撮影を行うことを可能にする。【解決手段】発明の一実施の形態の撮像装置は、撮像手段と、記録制御手段とを有する。撮像手段は、第１の画像、第２の画像の順に、画像を撮像する。記録制御手段は、撮像手段により撮像された第１の画像と、第１の画像よりあとに撮像手段により撮像された第２の画像とを比較し、第１の画像からの変化量に応じて第２の画像を記録制御することを特徴とする。【選択図】図３
2020053774.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像する撮像手段と、
前記撮像された第１の画像と、該第１の画像よりあとに撮像された第２の画像とを比較し、前記第１の画像からの変化量に応じて前記第２の画像を記録制御する記録制御手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記撮像された第２の画像毎に前記第１の画像からの前記変化量を取得する取得手段を有し、
前記記録制御手段は、前記取得された前記変化量に応じて前記第２の画像を記録制御する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第２の画像を記録するか判定する判定手段と、
前記判定手段により記録すると判定された前記第２の画像を前記記録制御手段により記録制御する、
ことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記記録制御手段は、前記撮像手段により撮像された第２の画像が前記判定手段により記録すると判定された場合に、前記第２の画像を第１の画像にして、該第１の画像よりあとに撮像される第２の画像と比較する、
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記変化量は、前記第１の画像の特徴点に対応する前記第２の画像の特徴点の数の減少率をパラメータとして有し、
前記判定手段は、前記撮像手段により撮像された前記第２の画像の前記減少率を示す値が所定値以下になった場合に記録すると判定する、
ことを特徴とする請求項３または４に記載の撮像装置。
【請求項６】
前記変化量は、さらに前記第１の画像の特徴点に含まれない前記第２の画像において新たに出現した特徴点の数の変化率をパラメータとして有し、
前記判定手段は、前記撮像手段により撮像された前記第２の画像の前記変化率を示す値が所定値以上になった場合においても記録すると判定する、
ことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記撮像手段により撮像された前記第２の画像のブレ量を計算するブレ量計算手段を、
さらに有し、
前記判定手段は、前記ブレ量計算手段により計算された前記ブレ量が所定の閾値を超える場合に前記撮像手段により撮像された前記第２の画像を記録しないものとして判定する、
ことを特徴とする請求項３乃至６のうちの何れか一項に記載の撮像装置。
【請求項８】
前記判定手段により記録すると判定された第２の画像を記録する記録手段を有する、
ことを特徴とする請求項３乃至７のうちの何れか一項に記載の撮像装置。
【請求項９】
新規性のある画像を取得してから、次の新規性のある画像を取得できる所定の撮影準備時間を経過する間に取得した新規性は採用しない、
ことを特徴とする請求項１に記載の撮像装置。
【請求項１０】
前記画像は、全天球画像である、
ことを特徴とする請求項１乃至９のうちの何れか一項に記載の撮像装置。
【請求項１１】
前記変化量から撮影者の変化量を除外する撮影者領域特定手段を、
さらに有する、
ことを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記記録手段には動画形式で記録される、
ことを特徴とする請求項８に記載の撮像装置。
【請求項１３】
撮像装置における画像記録方法であって、
画像を撮像するステップと、
前記撮像された第１の画像と、該第１の画像よりあとに撮像された第２の画像とを比較するステップと、
前記第１の画像からの変化量に応じて前記第２の画像を記録制御するステップと、
を含む画像記録方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および画像記録方法に関する。
【背景技術】
【０００２】
従来、撮像装置の一つである全天球カメラは、その場の様子を共有するのに利用されはじめている。全天球カメラは、周囲３６０度パノラマを全天球画像として撮影することができる。全天球カメラで撮影した画像の一つの応用例として、バーチャル内覧がある。バーチャル内覧では見取図に配置された撮影地点への視点移動や、その地点における３６０度の視点変更を３Ｄツアーにより行い、バーチャル空間に再構成されている各地点の様子を閲覧するものである。撮影者が予め全天球カメラにより撮影地点近辺を撮影し、そのときの記録画像に基づいてバーチャル空間内に３次元で再構成された各地点の様子を閲覧する。
【０００３】
なお、デジタルビデオカメラやデジタルスチルカメラにおける技術として、動画像の中から重要なシーンを推定し、重要なシーンを含む要約映像を作成する信号処理装置を開示した文献がある（特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、撮影を終えた画像に基づき、ＳｆＭ（Structure-from-Motion）やＶｉｓｕａｌ  ＳＬＡＭ（Simultaneous  Localization  and  Mapping)といった技術を用いて自動的に撮影地転換の相対位置姿勢を推定する場合、特殊な撮影方法が必要になる。この技術は、複数の地点で撮影した画像群で特徴点と呼ばれる他と区別が用意な局所的な領域を抽出し、それらの特徴点を画像間で対応づけることで、その特徴点の３次元位置の推定や、撮影地点の推定を行うものである。これらの技術を用いる場合、撮影者がこれらの前提知識を必要とし、その技術的な制約を踏まえながら撮影を行わなければならないという問題がある。
【０００５】
本発明は、上記に鑑みてなされたものであって、技術的な前提知識がない撮影者であっても必要十分の画像群の撮影を行うことが可能な撮像装置および画像記録方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明の一実施の形態の撮像装置は、画像を撮像する撮像手段と、前記撮像された第１の画像と、該第１の画像よりあとに撮像された第２の画像とを比較し、前記第１の画像からの変化量に応じて前記第２の画像を記録制御する記録制御手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、技術的な前提知識がない撮影者であっても必要十分の画像群の撮影を行うことが可能になるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施の形態に係る撮像装置の一例として示す全天球撮像装置の概略構成図である。
【図２】図２は、全天球撮像装置のハードウェア構成の一例を示す図である。
【図３】図３は、全天球撮像装置が撮影する全天球のフレーム画像を記録処理する画像処理部の構成の一例を示す図である。
【図４】図４は、全天球撮像装置の撮影時の処理フローの一例を示す図である。
【図５】図５は、特徴点スコアリング処理の処理フローの一例を示す図である。
【図６】図６は、ブレ量計算処理部が行うブレ量の計算処理の一例を示すフロー図である。
【図７】図７は、入力フレーム画像を記録する条件が異なる場合の入力フレーム画像の記録密度の違いを一例として示した図である。
【図８】図８は、変形例１に係る特徴点スコアリング処理の構成の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照しながら、撮像装置および画像記録方法の実施の形態を詳細に説明する。
【００１０】
（実施の形態）
図１は、実施の形態に係る撮像装置の一例として示す全天球撮像装置の概略構成図である。図１に示す全天球撮像装置１は、例えば１８０度以上の広角の画角を有する２つの魚眼レンズ１１、１２と、各魚眼レンズ１１、１２により入射する各半球画像の結像位置に設けられた２つの撮像素子２１、２２を備えている。２つの撮像素子２１、２２は、例えばＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などのイメージセンサである。全天球撮像装置１の筐体１０には撮影スイッチ１３を備えている。また、筐体１０には、待機、撮影中、録画中などのステータスを示す発光表示部としてのＬＥＤ１４（図２参照）を備えている。
【００１１】
図２は、全天球撮像装置１のハードウェア構成の一例を示す図である。図２に示すように、全天球撮像装置１は、ＣＰＵ（Central  Processing  Unit）１１０、ＧＰＵ（Graphics  Processing  Unit）１１１、ＲＯＭ（Read  Only  Memory）１１２、ＲＡＭ（Random  Access  Memory）１１３、操作部１１４、表示部１１５、撮像部１１６、ＩＭＵ（Inertial  Measurement  Unit）１１７、記憶部１１８、通信部１１９などを有し、これらはバス１００を介して接続されている。
【００１２】
ＣＰＵ１１０とＧＰＵ１１１は、全天球撮像装置１の全体制御や、各種の処理を行うプロセッサである。
【００１３】
ＲＯＭ１１２は、全天球撮像装置１の制御や各種の処理のためのプログラムを記憶する不揮発性メモリである。ＲＡＭ１１３はワークエリアとして利用される揮発性メモリである。
【００１４】
操作部１１４は、撮影スイッチ１３から撮影開始や撮影停止などの操作入力を受け付ける入力インタフェースである。
【００１５】
表示部１１５は、全天球撮像装置１のステータス（待機、撮影中、録画中など）を、ＬＥＤ１４の点灯／消灯などにより表示する表示インタフェースである。
【００１６】
撮像部１１６は、ＡＳＩＣ（Application  Specific  Integrated  Circuit）等の画像処理回路である。撮像部１１６は、撮影開始が指示されると２つの撮像素子２１、２２により２つの半球画像データを取得し、取得した２つの半球画像データのそれぞれに所定の処理（例えば黒レベル補正、色補正、欠陥画素補正など）を施し、その２つの半球画像データを合成処理して全天球画像データを生成する。２つの半球画像データは、互いにオーバーラップ領域を有しており、このオーバーラップ領域に基づいて２つの半球画像データを合成することにより、全天球画像データを生成する。撮像部１１６は、生成した全天球画像データをＲＡＭ１１３に配置する。さらに、撮像部１１６は撮像した時刻を取得し、全天球画像データに加えて撮影時刻情報をＲＡＭ１１３に記録する。本例では、「撮像画像」の一例として全天球画像データについて後段で記録のための処理を行う。
【００１７】
ＩＭＵ１１７は、全天球撮像装置１の本体の姿勢や動きなどについての各種情報（角速度など）を出力するセンサユニットである。
【００１８】
記憶部１１８は、外部メモリ（「記録手段」に相当し、一例としてフラッシュメモリとする）が接続されており、外部メモリに記録用のデータを保存する。通信部１１９は、外部機器と通信するための通信インタフェースである。通信部１１９は、外部機器からの撮影パラメータの設定や撮影指示の信号を受信する。通信部１１９が撮影パラメータの設定についての信号を受信した場合には、撮影パラメータを記憶部１１８に格納する。さらに、撮影指示の信号を受信した場合には、設定に応じて、外部機器に記録用のデータを送信する。これらのパラメータ設定や撮影指示は本体内部のＷｅｂサーバの配信するＷｅｂページを利用して実現される。この例では、記録用のデータを外部メモリと外部機器のうちのどちらかに出力することができる構成を示しているが、外部メモリあるは外部機器の何れか一方のみに出力される構成であってもよい。
【００１９】
図３は、全天球撮像装置１が撮影する全天球のフレーム画像を記録処理する画像処理部の構成の一例を示す図である。図３の画像処理部に構成される各部は、ＣＰＵ１１０がＲＯＭ１１２の所定のプログラムを実行することにより実現される。なお、各部の一部または全てをＡＳＩＣなどの専用のハードウェアにより構成してもよい。
【００２０】
図３に示すように、画像処理部２００は、指示部２１０、画像入力部２２０、特徴点スコアリング処理部２３０、ブレ量計算処理部２４０、記録判定部２５０、および記録処理部２６０を有する。ここで、指示部２１０は「撮像手段」の一部に含まれる。画像入力部２２０は「設定手段」に相当する。特徴点スコアリング処理部２３０は「取得手段」に相当する。ブレ量計算処理部２４０は「ブレ量計算手段」に相当する。記録判定部２５０は「判定手段」に相当する。記録処理部２６０は「記録制御手段」に相当する。
【００２１】
指示部２１０は、操作部１１４が受け付けた操作入力に応じ撮影処理の開始や終了を指示する。例えば、指示部２１０は、撮影開始を受け付けてから撮影終了を受け付けるまでの間、撮像部１１６に所定のタイミングで撮像を指示する。本例において、指示部２１０と、撮像部１１６と、２つの撮像素子２１、２２が「撮像手段」に相当する。
【００２２】
画像入力部２２０は、撮像部１１によりＲＡＭ１１３に配置されたプレビュー画像（処理対象のフレーム画像）と、画像入力部２２０がＲＡＭ１１３に設定した基準フレーム画像とを特徴点スコアリング処理部２３０に入力する。ここで、基準フレーム画像は「第１の画像」に相当し、プレビュー画像は、第１の画像よりも後に撮像された「第２の画像」に相当する。
【００２３】
特徴点スコアリング処理部２３０は、画像入力部２２０から入力された処理対象のフレーム画像と基準フレーム画像とを比較し、基準フレーム画像から処理対象のフレーム画像において変化した特徴点の変化量を取得する。この変化量として、本例では、基準フレーム画像にあった特徴点が処理対象のフレーム画像においてどの程度減少したかを示す特徴点の数の減少率を算出する。以下では、減少率を、基準フレーム画像の特徴点が処理対象のフレーム画像においてどの程度生存しているかを示す生存率として示す。また、本例では変化量として、さらに、処理対象のフレーム画像において新たに出現（出生）した特徴点の数の変化率（出生率）についても算出する。
【００２４】
ブレ量計算処理部２４０は、処理対象のフレーム画像のブレ量を計算する。
【００２５】
記録判定部２５０は、特徴点スコアリング処理部２３０の結果に基づき、処理対象のフレーム画像を記録するかを判定する。さらに、本例では、記録判定部２５０は、ブレ量計算処理部２４０の結果からも、処理対象のフレーム画像を記録するかを判定する。例えば出生率を示す値が所定値以上になった場合、あるいは生存率を示す値が所定値以下になった場合に、特徴点の記録更新が必要な画像として、そのフレーム画像を記録すると判定する。また、ブレが大きい場合には、出生率や生存率を正しく算出することができないため、そのフレーム画像を記録しないものとして判定とする。記録判定部２５０は、処理対象のフレーム画像を記録すると判定した場合、画像入力部２２０に通知し、画像入力部２２０が基準フレーム画像を、その処理対象のフレーム画像に更新する。
【００２６】
記録処理部２６０は、記録判定部２５０が処理対象のフレーム画像を記録すると判定した場合、その処理対象のフレーム画像を記録するための制御を行う。例えば記録処理部２６０は、記録先が記憶部１１８のフラッシュメモリに指定されている場合、記憶部１１８により、その処理対象のフレーム画像をフラッシュメモリに保存する制御を行う。また、記録処理部２６０は、記録先が外部機器に指定されている場合、通信部１１９により、その処理対象のフレーム画像を外部機器に送信する制御を行う。
【００２７】
図４は、全天球撮像装置１の撮影時の処理フロー（画像記録方法）の一例を示す図である。撮影者が全天球撮像装置１の本体の撮影スイッチ１３をＯＮするなどして撮影開始を指示すると、ＣＰＵ１１０がＲＯＭ１１２の撮影プログラムを実行し、次のように処理を開始する。なお、本体内部のＷｅｂサーバから配信されるＷｅｂページの持つＧＵＩを操作することにより、撮影プログラムを起動させてもよい。
【００２８】
先ず、指示部２１０が撮像部１１に対し撮像を指示することにより、２つの撮像素子２１、２２で１フレーム分の撮像が行われ、撮像部１１から２つの画像が合成された１フレーム分のフレーム画像がＲＡＭに配置される（ステップＳ１）。
【００２９】
次に、画像入力部２２０が、ＲＡＭ１１３に配置されているフレーム画像（処理対象のフレーム画像）と、画像入力部２２０がＲＡＭ１１３に設定した基準フレーム画像とを特徴点スコアリング処理部２３０に入力する（ステップＳ２）。なお、撮影開始直後は、基準フレーム画像が設定されていないため、画像入力部２２０は、処理対象のフレーム画像のみを特徴点スコアリング処理部２３０に入力する。
【００３０】
次に、特徴点スコアリング処理部２３０が、画像入力部２２０から入力された処理対象のフレーム画像について特徴点の出生率と生存率とを算出する（ステップＳ３）。なお、撮影開始直後の基準フレーム画像が設定されるまでの間は、この処理をとばす。
【００３１】
次に、ブレ量計算処理部２４０が、処理対象のフレーム画像のブレ量を計算する（ステップＳ４）。
【００３２】
次に、記録判定部２５０が、特徴点の出生率と生存率の算出結果と、ブレ量の計算結果とに基づき、処理対象のフレーム画像を記録するかを判定する（ステップＳ５）。例えば出生率が所定値以上の場合や生存率が所定値以下の場合に、そのフレーム画像を記録すると判定する。また、ブレ量が閾値以上の場合には、そのフレーム画像を記録しないと判定する。なお、撮影開始直後の基準フレーム画像が設定されるまでの間は、ブレ量の計算結果のみに基づいて処理対象のフレーム画像を記録するかを判定する。
【００３３】
さらに、処理対象のフレーム画像の撮影時刻と基準フレーム画像の撮影時刻を比較し、撮影間隔が設定された最短撮影間隔よりも短い場合には記録しないと判断する。生存率および出生率の所定値、最短撮影間隔の設定値は記憶部１１８に格納された値を利用する。
【００３４】
処理対象のフレーム画像を記録すると判定した場合（ステップＳ５：Ｙｅｓ判定）、記録判定部２５０は、先ず、画像入力部２２０に指示し、基準フレーム画像を、その処理対象のフレーム画像に差し替える（ステップＳ６）。それから、記録判定部２５０は、記録処理部２６０に指示し、処理対象のフレーム画像を記憶部１１８のフラッシュメモリに保存する（ステップＳ７）。なお、ステップＳ６において、撮影開始直後は基準フレーム画像が設定されていないため、その処理対象のフレーム画像を基準フレーム画像として設定する。
【００３５】
処理対象のフレーム画像を記録しないと判定した場合（ステップＳ５：Ｎｏ判定）は、ステップＳ６、ステップＳ７の処理をとばす。
【００３６】
そして、指示部２１０が撮影終了の操作を受け付けていない場合は（ステップＳ８：Ｎｏ判定）、ステップＳ１に戻り、次のフレームについて同様の手順で撮影処理を行う。一方、指示部２１０が撮影終了の操作を受け付けている場合は（ステップＳ８：Ｙｅｓ判定）、本撮影処理を終了する。その他にも、例えばフラッシュメモリの容量不足などになった場合などに本撮影処理を終了する。
【００３７】
このように、全天球撮像装置１は、撮影した各フレーム画像から、特徴点の出生率や、生存率や、ブレ量などが所定の条件を満たしたものだけをフラッシュメモリなどに保存する。
【００３８】
次に、特徴点スコアリング処理部２３０における特徴点の出生率と生存率の算出処理の具体例について示す。
【００３９】
図５は、特徴点スコアリング処理部２３０の処理フローの一例を示す図である。特徴点スコアリング処理部２３０は、先ず、基準フレーム画像と入力フレーム画像（処理対象のフレーム画像）の特徴点を対応付ける処理を行う（ステップＳ３１）。これらの対応付けは、基準フレーム画像と入力フレーム画像の特徴点の特徴量を用いた対応付けで行う方法か、基準フレーム画像の特徴点をオプティカルフローにより入力フレーム画像の中で探索していく方法かのどちらかの手法で行う。
【００４０】
例えば、特開２０１５−２０７２８１号公報などに開示されている物体検出処理を適用することにより対応付けを行うことができる。具体的には、その公報に示されるステレオカメラの２つの撮像部が出力する画像（基準画像と比較画像）を対象にした処理を、本実施例では、基準フレーム画像と入力フレーム画像を対象にして行う。
【００４１】
例えば、基準フレーム画像と入力フレーム画像とをそれぞれ輝度画像データに変換する。各輝度画像データを対象にして、基準フレーム画像のある行について、一つの注目画素を中心とした複数画素（例えば１６画素×１画素）からなるブロックを定義する。一方、入力フレーム画像における同じ行において、定義した基準フレーム画像のブロックと同じサイズのブロックを１画素ずつ横ライン方向（Ｘ方向）へずらし、基準フレーム画像において定義したブロックの画素値の特徴を示す特徴量と入力フレーム画像における各ブロックの画素値の特徴を示す特徴量との相関を示す相関値を、それぞれ算出する。そして、算出した相関値に基づき、入力フレーム画像における各ブロックの中で最も基準フレーム画像のブロックと相関があった入力フレーム画像のブロックを選定するマッチング処理を行う。マッチング処理に用いるブロックの特徴量としては、例えば、ブロック内の各画素の値（輝度値）を用いることができ、相関値としては、例えば、基準フレーム画像のブロック内の各画素の値（輝度値）と、これらの画素にそれぞれ対応する入力フレーム画像のブロック内の各画素の値（輝度値）との差分の絶対値の総和を用いることができる。この場合、当該総和が最も小さくなるブロックが最も相関があると言える。このように最も相関があるブロックを特徴点として対応づける。
【００４２】
次に、特徴点スコアリング処理部２３０は、入力フレーム画像から特徴点を抽出する（ステップＳ３２）。
【００４３】
例えば、特徴点スコアリング処理部２３０は、画像特徴点抽出部を有し、撮像装置１が撮像した画像（入力フレーム画像）から特徴点（画像特徴点）を抽出する。画像特徴点抽出部は、撮像した画像毎に特徴点を抽出する。画像特徴点抽出部は、例えば画像の輝度値を用いて特徴点を抽出したり、画像中の物体の形状等から特徴点を抽出したりする手法があるが、これらに限定されるものではない。
【００４４】
特徴点の抽出手法としては、例えばＨａｒｒｉｓオペレータやＦＡＳＴ（Features  from  Accelerated  Segment  Test）オペレータを用いることができる。Ｈａｒｒｉｓオペレータは、２つのエッジの交点をコーナーとして検出する画像処理である。ＦＡＳＴオペレータは、注目画素の周囲の円周上における１６個の画素の画素値が連続してｎ個以上、注目画素より明るいか暗い場合にコーナーを検出する画像処理である。その他、特徴点の抽出手法として、例えばＳＩＦＴ（Scale  Invariant  Feature  Transform）特徴量記述子、ＳＵＲＦ（Speeded  Up  Robust  Features）特徴量記述子を用いることができる。画像特徴点抽出部は、画像上の特徴点の座標とその特徴量（画素値、濃度、輝度など）とを画像特徴点情報として記憶部１１８に記録する。
【００４５】
次に、特徴点スコアリング処理部２３０は、入力フレーム画像から抽出された特徴点からステップＳ３１で対応付けされた特徴点に重複する点を除去する（ステップＳ３３）。これは、ステップＳ３１で対応付けに成功した特徴点の近傍の特徴点をステップＳ３２で抽出した特徴点から除去することにより行う。この除去した数が、基準フレーム画像にあった特徴点が入力フレーム画像においても生存していた数（後述する追跡点数に相当）である。除去した後の残りの特徴点が新たに出現した特徴点に相当する。
【００４６】
最後に、特徴点スコアリング処理部２３０は、フレーム新規性スコア（ｓ）ベクトルを算出する（ステップＳ３４）。フレーム新規性スコア（ｓ）ベクトルは、次に示す「生存率」と「出生率」の２つをパラメータの大きさで示される。
【００４７】
生存率＝入力フレーム画像における特徴点の追跡点数／基準フレーム画像の特徴点の数
出生率＝入力フレーム画像において新規に抽出した特徴点の数／基準フレーム画像の特徴点の数
【００４８】
ここで、新規に抽出した特徴点の数とは、入力フレーム画像において新たに出生した特徴点の数のことである。
【００４９】
記録判定部２５０は、特徴点スコアリング処理部２３０の結果と、ブレ量計算処理部２４０の結果とに基づき、処理対象のフレーム画像を記録するかを判定する。記録判定部２５０は、処理対象のフレーム画像を記録すると判定した場合、基準フレーム画像を、その処理対象のフレーム画像に更新する。
【００５０】
図６は、ブレ量計算処理部２４０が行うブレ量の計算処理の一例を示すフロー図である。ここでは、一例として撮影時の撮像素子２１（撮像素子２２）の露光時間と全天球撮像装置１の本体の角速度とをもとにブレ量を算出する方法について示す。
【００５１】
ブレ量計算処理部２４０は、先ず、撮像部１１６から撮影時の露光時間を取得する（ステップＳ４１）。さらに、ブレ量計算処理部２４０は、ＩＭＵ１１７から撮影時の角速度を取得する（ステップＳ４２）。
【００５２】
そして、ブレ量計算処理部２４０は、露光時間と角速度とから露光中における撮像素子の画素の移動量（ブレ量）を計算する（ステップＳ４３）。
【００５３】
ある点ｘｉのブレ量δｘｉは次の式（１）で計算することができる。
【数１】
2020053774.tif 000003
【００５４】
ここで、πは投影変換関数、δＲは角速度と露光時間から得られる露光中の回転量を表す回転行列である。δｔは露光中の本体の移動を示す移動ベクトル、π−１は逆投影変換関数である。
【００５５】
式（２）に球面投影モデルを示し、式（３）に逆投影変換関数を示す。
【数２】
2020053774.tif 000004
【００５６】
δＲが微小で且つπ−１（ｘ）がδｔに比べて大きい場合、δｔを無視することができるため、次の式（４）でブレ量を予想することができる。
【数３】
2020053774.tif 000005
【００５７】
センサの１ピクセルあたりの角度分解能をｆとすると
【数４】
2020053774.tif 000006
とすることでブレ量を画素単位で算出することができる。
【００５８】
この場合、ブレ量計算処理部２４０は、フレーム画像ごとに画素単位のブレ量を結果として出力することができるため、記録判定部２５０は、画素毎にブレ量が閾値以上（例えば数画素分以上のブレ量）かを判定することができる。従って、記録判定部２５０は、ブレ量を数画素分に抑えてフレーム画像を記録することができる。
【００５９】
図７は、入力フレーム画像を記録する条件が異なる場合の入力フレーム画像の記録密度の違いを一例として示した図である。図７には、入力フレーム画像を記録する条件の一つである特徴点の生存率と出生率の推移も示している。図７（ａ）には、出生率が５以上あるいは生存率が０．４以下の何れかになった場合に基準フレーム画像を更新する（つまり入力フレーム画像を記録する）条件における推移を示している。図７（ｂ）には、出生率が２以上あるいは生存率が０．８以下の何れかになった場合に基準フレーム画像を更新する条件における推移を示している。なお、図７（ａ）および図７（ｂ）はどちらも、左縦軸が出生率、右縦軸が生存率、横軸がフレーム番号を表している。
【００６０】
図７に示す例では、図７（ａ）よりも図７（ｂ）の方が基準フレーム画像を更新する頻度が多く、入力フレーム画像の記録密度も高い。生存率の閾値を上げるか、出生率の閾値を下げると、入力フレーム画像の記録密度が上がり、生存率の閾値を下げるか、出生率の閾値を上げると、入力フレーム画像の記録密度が下がる。
【００６１】
なお、新規性のある画像を取得してから、次の新規性のある画像を取得できる所定の撮影準備時間を経過する間に取得した新規性は採用しないようにすることが好ましい。
【００６２】
以上のような撮影記録方式で記録された全天球の撮影画像（各フレーム画像）は、特徴点の変化量を所定の変化に抑えた撮影間隔で自動的に記録されるようになる。記録された撮像画像（各フレーム画像：静止画）を連続して再生して動画のように見せることができる。これはいわゆる低速度撮影と呼ばれている。このとき、静止画のみの記録ではなく、Ｍｏｔｉｏｎ  ＪＰＧなど動画形式で記録することもできる。このため、技術的な前提知識がない撮影者が撮影したものであっても、例えば外部装置において、記録画像を対象にＳｆＭ（Structure-from-Motion）やＶｉｓｕａｌ  ＳＬＡＭ（Simultaneous  Localization  and  Mapping)などの技術を用いて３次元を構成した場合に特徴点の３次元再構成の精度を前提知識があるものが撮影した場合のものに近づける、あるいはそれよりも高い精度を安定して得ることができる必要十分な画像群を撮影することが可能になる。
【００６３】
（適用例）
一つの例として、不動産物件のバーチャル内覧がある。バーチャル内覧とは物件の部屋や廊下などの地点において全天球カメラで撮影された３６０度パノラマ画像を閲覧することで賃貸物件を探している人が遠隔でその物件を内覧できるようにした仕組みである。バーチャル内覧では撮影地点間の移動と視点変更を行う建築物の見取り図上に配置された撮影地点を示すアイコンや、３６０度パノラマ画像内に埋め込まれた隣接する撮影地点を示すアイコンをクリックやタップをすることによる視点移動と、３６０度画像をフリックやドラッグすることでパン・チルトの視点変更を行いながら、その物件の様子を閲覧できる。３６０度パノラマ画像での移動やパン・チルトの視点変換による空間の閲覧方法は３６０度ツアーとして知られている。
【００６４】
３Ｄツアーとして表示するために必要なある画像から見たそれ以外の画像の撮影地点の定義、見取り図や平面図上での撮影位置の定義を手作業で行うのが一般的であり、ツアー用のデータ生成のための作業工数が多くかかる。ＳｆＭやＶｉｓｕａｌ  ＳＬＡＭのような技術を用いて自動的に撮影地転換の相対位置姿勢を推定する技術がある。
【００６５】
この技術は、複数の地点で撮影した画像群で特徴点と呼ばれる他と区別が用意な局所的な領域を抽出し、それらの特徴点を画像間で対応づけることで、その特徴点の３次元位置を推定と、逆に特徴点の３次元点の画像上の配置から撮影地点の推定を行う。これらの技術を用いる場合、特殊な撮影方法が必要になり、特徴点の対応づけがうまく行われてかつ、特徴点の３次元再構成の精度が高くなるような撮影間隔での撮影を行う必要がある。
【００６６】
具体的には特徴点の見た目が大きく変わらないように撮影間隔を広げすぎないようにしかつ、３次元再構成の精度が出るように３次元再構成される点を様々な角度から撮影するようにすることが望まれる。これらのトレードオフを鑑みた最適な間隔は、撮影したい空間の構成に応じて異なるため、撮影者はＳｆＭの技術的な制約を鑑みた撮影を強いることになり、撮影の負担が増えてしまう。
【００６７】
撮影者が前提知識を持たないでツアーを生成する方法として、動画を撮影しながら現場を歩いて、あとからＳｆＭやＶｉｓｕａｌ  ＳＬＡＭでツアーを生成する方法もあるが、動画から切り出した画像は静止画よりも解像度が小さくなること、コーデックの影響による画像の劣化、移動しながらの撮影による手ブレや被写体ブレの影響などで、画質が劣化してしまうという問題や、見た目の変化がない場面も記録されてしまうため、冗長なデータが多く含まれてファイルサイズが大きくなってしまう。
【００６８】
本実施の形態に係る撮像装置、画像記録方式で撮影した記録画像を利用することにより、これらの問題点は解決される。
【００６９】
（変形例１）
全天球撮像装置で３６０度の撮影を行うと、撮影者が全天球画像に写り込むことになる。そのため、周囲の構造物等の変化ではなく撮影者により変化量が大きく変動する可能性がある。そこで、特徴点スコアリング処理部において処理対象のフレーム画像内に写り込む撮影者の領域を特定し、その領域内の特徴点を除外するような構成に変形する。
【００７０】
図８は、変形例１に係る特徴点スコアリング処理部２３０の構成の一例を示す図である。図８に示す変形例１の特徴点スコアリング処理部２３０は、撮影者検出部３２０を更に有する。撮影者検出部３２０は「撮影者領域特定手段」に相当する。
【００７１】
撮影者検出部３２０は、処理対象のフレーム画像（全天球画像データ）の中から撮影者の画像領域（撮影者領域）を検出する。撮影者検出部３２０による撮影者領域の特定は、全天球画像データ中の特定領域を撮影者探索領域として予め設定することにより行う。撮影者が全天球撮像装置１を正しく操作した場合、全天球画像データ中の撮影者探索領域は一義的に定まる。例えば、撮影者が撮影スイッチ１３を押すことにより撮影を開始することを想定する。その場合、図１に示す右の魚眼レンズ１２に撮影者が写り込む可能性が高い。よって、全天球画像データ中で、魚眼レンズ１２で撮影された画像の中央領域などを撮影者探索領域に設定する。なお、全天球画像データ中の、どの領域を撮影者探索領域とするかは、魚眼レンズ１１、１２と撮影スイッチ１３の位置関係から適宜決めてよい。
【００７２】
撮影者検出部３２０は、撮影者探索領域を対象に顔画像を検出するなどして撮影者領域を特定する。特徴点スコアリング処理部２３０は、撮影者検出部３２０により特定された撮影者領域内の特徴点を除外して変化量を算出する。
【００７３】
なお、撮影者検出部３２０における撮影者の検出は、その他の手法を用いたり、その手法を組み合わせて実施したりしてもよい。例えば、撮影者検出部３２０は、全天球画像データの全領域を対象に顔画像の検出処理を行う。撮影者検出部３２０は、顔画像が複数検出された場合、そのうちの最も大きい顔画像や、閾値を超える大きさの顔画像を撮影者領域と特定してよい。撮影者が全天球撮像装置１の撮影スイッチ１３を押すため、撮影者が最も近くに位置するはずである。したがって、複数の顔画像が検出された場合でも、そのうちの最も大きな顔画像が撮影者本人であると見做すことができる。
【００７４】
以上、撮像装置の実施の形態および変形例について示したが、撮像装置の構成や動作は一例を示すものであり、これに限定されない。例えば、撮像装置の一例として正面側と背面側にそれぞれ魚眼レンズと撮像素子の撮像センサを１組ずつ設けたものを示したが、正面側または背面側のどちらか一方だけに設けてもよい。また、正面側や背面側に、それぞれ２組以上の魚眼レンズと撮像素子の撮像センサを設けてもよい。また、魚眼レンズに限らず、その他の広角レンズであってもよい。また、プリズムを設けるなどして、光路が９０度曲げられた位置に撮像素子を設けてもよい。
【００７５】
なお、変化量は第１の画像と第２の画像の変化（一致点、相違点、差分など）を求めるものであれば良い。さらに変化量については、特徴点を用いた変化ではなく、たとえば全画素比較をしてもよく、または撮像画像の明るさ分布（ヒストグラム）を比較して変化量を求めても良い。ただし、特徴点を用いた変化量を求める例では、変化量を求める処理スピードの点で有利である。
【符号の説明】
【００７６】
１      全天球撮像装置
２００  画像処理部
２１０  指示部
２２０  画像入力部
２３０  特徴点スコアリング処理部
２４０  ブレ量計算処理部
２５０  記録判定部
２６０  記録処理部
【先行技術文献】
【特許文献】
【００７７】
【特許文献１】特開２０１１−２０５５９９号公報
【図１】
2020053774.tif 000007
【図２】
2020053774.tif 000008
【図３】
2020053774.tif 000009
【図４】
2020053774.tif 000010
【図５】
2020053774.tif 000011
【図６】
2020053774.tif 000012
【図７】
2020053774.tif 000013
【図８】
2020053774.tif 000014