(57)【要約】【課題】全方位撮影された複数の画像を結合して見栄えの良い画像を生成することが可能な制御装置を提供する。【解決手段】制御装置（１２０）は、複数の魚眼光学系（１０１ａ、１０１ｂ）をそれぞれ介して複数の画像を撮像する際に防振制御を行う防振制御手段（１１５ａ、１１５ｂ）と、複数の画像の少なくとも一つに存在する被写体を検出する被写体検出手段（１１８ａ、１１８ｂ）と、複数の画像の少なくとも一つに存在する被写体の位置に応じて防振制御における防振特性を変更する変更手段（２０８）とを有する。【選択図】図２
2018066885.tif 000002
【特許請求の範囲】
【請求項１】
複数の魚眼光学系をそれぞれ介して複数の画像を撮像する際に防振制御を行う防振制御手段と、
前記複数の画像の少なくとも一つに存在する被写体を検出する被写体検出手段と、
前記複数の画像の少なくとも一つに存在する前記被写体の位置に応じて前記防振制御における防振特性を変更する変更手段と、を有することを特徴とする制御装置。
【請求項２】
前記変更手段は、前記複数の画像の少なくとも一つの周辺部に前記被写体が存在する場合、前記防振特性を変更することを特徴とする請求項１に記載の制御装置。
【請求項３】
前記複数の画像の少なくとも一つに基づいて被写体距離を算出する距離算出手段を更に有し、
前記変更手段は、前記被写体距離が所定距離よりも小さい場合、前記防振特性を変更することを特徴とする請求項１または２に記載の制御装置。
【請求項４】
前記複数の画像の少なくとも一つに基づいて輝度を検出する輝度検出手段を更に有し、
前記変更手段は、前記輝度が所定輝度よりも小さい場合、前記防振特性を変更することを特徴とする請求項１乃至３のいずれか１項に記載の制御装置。
【請求項５】
角速度検出手段から取得された角速度信号のうち所定の周波数帯域の角速度信号を抽出する周波数変調手段と、
前記周波数変調手段により抽出された前記角速度信号を積分して振れ角度を算出する角度算出手段と、
前記振れ角度に対してゲインを掛けることにより振れ補正量を算出する補正量算出手段と、
前記振れ補正量に対して、前記魚眼光学系に含まれる防振レンズの駆動範囲を設定する駆動範囲設定手段と、を更に有することを特徴とする請求項１乃至４のいずれか１項に記載の制御装置。
【請求項６】
前記変更手段は、前記防振特性として、前記周波数変調手段のカットオフ周波数を変更することを特徴とする請求項５に記載の制御装置。
【請求項７】
前記周波数変調手段は、ハイパスフィルタと位相補償フィルタとを含み、
前記変更手段は、前記ハイパスフィルタの前記カットオフ周波数を上げることを特徴とする請求項６に記載の制御装置。
【請求項８】
前記変更手段は、前記防振特性として、前記ゲインを変更することを特徴とする請求項５乃至７のいずれか１項に記載の制御装置。
【請求項９】
前記変更手段は、前記魚眼光学系の歪曲収差の特性に応じて前記ゲインの変更方向が異なるように該ゲインを変更することを特徴とする請求項８に記載の制御装置。
【請求項１０】
前記変更手段は、
前記魚眼光学系が樽型歪曲収差の特性を有する場合、前記ゲインを下げ、
前記魚眼光学系が糸巻型歪曲収差の特性を有する場合、前記ゲインを上げることを特徴とする請求項９に記載の制御装置。
【請求項１１】
前記変更手段は、前記防振特性として、前記防振レンズの前記駆動範囲を変更することを特徴とする請求項５乃至１０のいずれか１項に記載の制御装置。
【請求項１２】
前記変更手段は、前記防振レンズの前記駆動範囲を小さくすることを特徴とする請求項１１に記載の制御装置。
【請求項１３】
前記変更手段は、前記振れ補正量が所定量以上である場合、前記防振特性を変更することを特徴とする請求項５乃至１２のいずれか１項に記載の制御装置。
【請求項１４】
前記変更手段は、加速度検出手段により検出された振動が所定値以上である場合、前記防振特性を変更することを特徴とする請求項５乃至１３のいずれか１項に記載の制御装置。
【請求項１５】
前記複数の魚眼光学系をそれぞれ介して取得された前記複数の画像に対応する球面座標系データを平面座標系データに変換する画像処理手段と、
前記複数の画像のそれぞれに対応する前記平面座標系データを結合して１枚の画像を生成する画像生成手段と、を更に有することを特徴とする請求項１乃至１４のいずれか１項に記載の制御装置。
【請求項１６】
複数の魚眼光学系をそれぞれ介して複数の画像を撮像する撮像素子と、
前記複数の画像を撮像する際に防振制御を行う防振制御手段と、
前記複数の画像の少なくとも一つに存在する被写体を検出する被写体検出手段と、
前記複数の画像の少なくとも一つに存在する前記被写体の位置に応じて前記防振制御における防振特性を変更する変更手段と、を有することを特徴とする撮像装置。
【請求項１７】
防振制御を行いながら複数の魚眼光学系をそれぞれ介して複数の画像を撮像するステップと、
前記複数の画像の少なくとも一つに存在する被写体を検出するステップと、
前記複数の画像の少なくとも一つに存在する前記被写体の位置に応じて前記防振制御における防振特性を変更するステップと、を有することを特徴とする撮像装置の制御方法。
【請求項１８】
防振制御を行いながら複数の魚眼光学系をそれぞれ介して複数の画像を撮像するステップと、
前記複数の画像の少なくとも一つに存在する被写体を検出するステップと、
前記複数の画像の少なくとも一つに存在する前記被写体の位置に応じて前記防振制御における防振特性を変更するステップと、を有することを特徴とするプログラム。
【請求項１９】
請求項１８に記載のプログラムを記憶していることを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、全方位撮影が可能な撮像装置に関する。
【背景技術】
【０００２】
近年、全方位撮影が可能な撮像装置（全方位カメラや全天球カメラなどと呼ばれる）が提案されている。このような撮像装置は、超広角の複数の魚眼レンズを組み合わせて構成されることが多い。超広角の魚眼レンズで撮影された画像は、地球儀のような球面状態であり、最終的には可視化に適した世界地図のような平面状態に展開される。特許文献１には、展開する際に撮像装置の傾き角度に応じた回転変換を行うことにより、鉛直方向での展開画像を作成する全方位視覚システムが開示されている。球面座標系の画像を平面座標系の画像に展開すると、画面周辺の歪は拡大される傾向にある。
【０００３】
また従来から、手振れによる像ブレを補正する像ブレ補正装置として、手振れをキャンセルする方向に補正レンズを駆動する光学式の像ブレ補正装置、および、手振れをキャンセルする方向に切り出した画像を補正する電子式の像ブレ補正装置が知られている。また、撮像光学系の歪曲収差として、主に中心部が膨らむ樽型歪曲収差と、主に中心部が縮小する糸巻型歪曲収差がある。特許文献２には、光学式の像ブレ補正装置に関し、歪曲収差の影響に応じて振れ補正量の駆動ゲインを変更する方法が開示されている。特許文献３には、電子式の像ブレ補正装置に関し、画像の周辺部における像ブレを効率的に補正する方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−２２３６３３号公報
【特許文献２】特開２０１５−２３３２４８号公報
【特許文献３】特開２００６−２９５６２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、例えば樽型歪曲収差が大きい場合において膨らんでいる画像中心に関して駆動ゲインの調整を行うと、画像の周辺部では、画像中心に関する適切な防振性能に対して得られる防振効果は小さい。すなわちこの場合、画像の周辺部に存在する被写体に関して、補正残り（像ブレ補正残り）が発生する。特に、全方位撮影において球面座標系画像を平面座標系画像に展開した場合、画像の周辺部ではその補正残りが拡大強調される。超広角の魚眼レンズを２枚表裏に重ねて構成される撮像装置を用いた場合、平面座標系に展開された２枚の画像に関して、一方の画像の端と他方の画像の端とが結合される。このとき、画像の周辺部に人物が存在する状況では、補正残りが拡大強調された画像を結合することになり、２枚の画像の繋ぎ目（結合部）の見栄え（画像の見た目）が低下する可能性がある。
【０００６】
そこで本発明は、全方位撮影された複数の画像を結合して見栄えの良い画像を生成することが可能な制御装置、撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一側面としての制御装置は、複数の魚眼光学系をそれぞれ介して複数の画像を撮像する際に防振制御を行う防振制御手段と、前記複数の画像の少なくとも一つに存在する被写体を検出する被写体検出手段と、前記複数の画像の少なくとも一つに存在する前記被写体の位置に応じて前記防振制御における防振特性を変更する変更手段とを有する。
【０００８】
本発明の他の側面としての撮像装置は、複数の魚眼光学系をそれぞれ介して複数の画像を撮像する撮像素子と、前記制御装置とを有する。
【０００９】
本発明の他の側面としての制御方法は、防振制御を行いながら複数の魚眼光学系をそれぞれ介して複数の画像を撮像するステップと、前記複数の画像の少なくとも一つに存在する被写体を検出するステップと、前記複数の画像の少なくとも一つに存在する前記被写体の位置に応じて前記防振制御における防振特性を変更するステップとを有する。
【００１０】
本発明の他の側面としてのプログラムは、前記撮像装置の制御方法をコンピュータに実行させる。
【００１１】
本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。
【００１２】
本発明の他の目的及び特徴は、以下の実施形態において説明される。
【発明の効果】
【００１３】
本発明によれば、全方位撮影された複数の画像を結合して見栄えの良い画像を生成することが可能な制御装置、撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本実施形態における撮像装置のブロック図である。
【図２】本実施形態における防振制御部のブロック図である。
【図３】本実施形態における撮像装置の外観図である。
【図４】本実施形態における球面座標系画像および平面座標系画像の説明図である。
【図５】本実施形態における２つの平面座標系画像の結合に関する説明図である。
【図６】本実施形態における防振制御を示すフローチャートである。
【図７】本実施形態における防振特性変更処理および防振特性初期化処理を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【００１６】
まず、図１を参照して、本実施形態における撮像装置について説明する。図１は、撮像装置１００（デジタルカメラ）のブロック図である。図１に示されるように、撮像装置１００は、２つの魚眼光学系（撮像光学系）１０１ａ、１０１ｂを有する。ただし本実施形態は、これに限定されるものではなく、３つ以上の魚眼光学系を有する撮像装置にも適用可能である。
【００１７】
図１の上側には、魚眼光学系１０１ａおよびその駆動制御に関する各部（１０５ａ〜１１８ａ）が示されており、図１の下側には、魚眼光学系１０１ｂおよびその駆動制御に関する各部（１０５ｂ〜１１８ｂ）が示されている。これらはそれぞれ共通の機能を有するため、以下、図１の上側（「ａ」が付帯されている各符号）についてのみ説明し、図１の下側（「ｂ」が付帯されている各符号）についての説明は省略する。この点は、図２、図６、および、図７に関しても同様である。
【００１８】
魚眼光学系１０１ａは、防振レンズ１０２ａ、フォーカスレンズ１０３ａ、および、絞り／シャッタ１０４ａを有する。防振レンズ１０２ａは、光軸ＯＡを偏心させる（光軸ＯＡと直交する方向に移動する）ことにより、像ブレ補正（防振制御）を行う。フォーカスレンズ１０３ａは、光軸ＯＡに沿って移動することにより、ピント位置を調整する。絞り／シャッタ１０４ａは、光量を調節する露出制御を行う。
【００１９】
撮像素子１０５ａは、ＣＣＤ（電荷結合素子）センサやＣＭＯＳ（相補型金属酸化膜半導体）センサなどを備え、魚眼光学系１０１ａを通過した光を受光して、光信号（光学像）を電気信号（画像データ）へ変換する（光電変換を行う）。撮像素子１０５ａ、１０５ｂはそれぞれ、魚眼光学系１０１ａ、１０１ｂを介して複数の画像を撮像する。画像処理回路１０６ａ（画像処理手段）は、撮像素子１０５ａから出力された画像信号に対して、座標変換処理、画素補間処理、および、色変換処理などの画像処理を行い、処理後の画像データを内部メモリ１０７ａに出力する。また画像処理回路１０６ａは、魚眼光学系１０１ａを介して取得された球面座標系データを平面座標系データに変換する処理を行う。表示部１０８ａは、撮影画像データとともに撮影情報などを表示する。
【００２０】
続いて、魚眼光学系１０１ａの各駆動部について説明する。絞り／シャッタ駆動部１０９ａは、絞り／シャッタ１０４ａを駆動する。輝度信号算出部１１２ａは、撮像素子１０５ａから出力された電気信号（画像データ）に基づいて、被写体の輝度（輝度情報）を算出する。露出制御部１１３ａ（輝度検出手段）は、輝度信号算出部１１２ａにより得られた輝度情報に基づいて露出制御値（絞り値（Ｆ値）およびシャッタ速度）を算出し、算出した露出制御値を絞り／シャッタ駆動部１０９ａへ出力する。これにより、自動露出（ＡＥ）制御が行われる。評価値算出部１１６ａは、輝度信号算出部１１２ａにより算出された輝度情報（輝度信号）から特定の周波数成分を抽出して得られる評価値を算出する。
【００２１】
フォーカスレンズ駆動部１１０ａは、フォーカスレンズ１０３ａを駆動する。フォーカス制御部１１４ａは、フォーカスレンズ１０３ａの駆動方向および駆動量を制御する。フォーカスレンズ１０３ａの位置（光軸ＯＡに沿った方向の位置）に応じて、評価値算出部１１６ａにより抽出された評価値の形状は山型になる。評価値の大小はコントラストの高低を表現しており、コントラストが最も高い状態と撮像素子１０５ａの面上で光束が１点収束している状態は同じとなる。フォーカス制御部１１４ａは、フォーカスレンズ１０３ａを所定範囲内で駆動させながら評価値算出部１１６ａにより抽出された評価値の形状のピーク位置を算出する。そしてフォーカス制御部１１４ａは、フォーカスレンズ駆動部１１０ａを制御して、フォーカスレンズ１０３ａをそのピーク位置に駆動することにより合焦させることができる。これにより、自動合焦（ＡＦ）制御が行われる。
【００２２】
被写体距離算出部１１７ａ（被写体距離算出手段）は、評価値のピーク位置に対応する被写体距離（被写体までの距離）を算出する。本実施形態において、内部メモリ１０７ａは、予め、フォーカスレンズ１０３ａの合焦位置と被写体距離との関係（テーブル）を記憶しており、被写体距離算出部１１７ａはこのテーブルを用いて被写体距離を算出することができる。顔検出部１１８ａ（被写体検出手段）は、画像処理回路１０６ａから得られた画像（画像データ）の中から被写体（例えば人の顔）の特徴点を抽出することにより、被写体（人物）を検出する。被写体検出手段は、人物以外の被写体を検出するように構成されていてもよい。なお顔検出（被写体検出）は、公知の技術であるため、その詳細についての説明は省略する。
【００２３】
防振レンズ駆動部１１１ａは、防振レンズ１０２ａを駆動する。角速度検出部１４２は、例えばジャイロセンサであり、撮影者の手振れなどの振れ情報（角速度信号）を検出する。防振制御部１１５ａ（防振制御手段）は、角速度検出部１４２により検出された振れ情報（角速度信号）に対して振れキャンセル量を算出する。そして防振制御部１１５ａは、振れをキャンセルする方向（光軸ＯＡに直交する方向）に振れキャンセル量（振れ補正量）だけ防振レンズ１０２ａを駆動することにより、像ブレを抑制する（防振制御を行う）ことができる。光学式の防振制御は、振れキャンセル量だけ防振レンズ１０２ａを駆動（移動）させることにより実現され、電子式の防振制御は振れキャンセル量だけ画像を切り出すことにより実現される。また、ジンバル式の防振制御は、防振レンズ１０２ａを駆動する方式ではなく、撮像装置１００そのものを、振れをキャンセルする方向に振れキャンセル量だけ駆動する方式である。なおジンバルの構成は、公知の技術であるため、その詳細についての説明は省略する。
【００２４】
記憶メモリ１４０は、パラメータなどの種々のデータを記憶する。操作部１４１は、撮影者が各種のメニュー操作やモード切り換え操作などを行うユーザインタフェースである。電源部１４３は、システム全体に用途に応じて電源を供給する。加速度検出部１４４（加速度検出手段）は、例えば加速度センサであり、撮像装置１００の加速度の変化を検出する。加速度検出部１４４を用いて加速度の変化を検出することにより、防振制御部１１５ａは、撮像装置１００の振動の変化および傾斜角度を取得することができる。
【００２５】
システム制御部１２０は、ＣＰＵ（中央演算処理装置）などのプロセッサ（演算装置）で構成される。システム制御部１２０は、前述の各部を有するとともに、画像処理回路１０６ａ、１０６ｂの座標変換処理により得られた２つの画像を結合して１枚の画像を生成する画像生成手段である。またシステム制御部１２０は、撮影者の操作に応じて内部メモリ１０７ａに記憶されている各種の制御プログラム、ＡＥ制御、ＡＦ制御、および、ズーム制御などの各種制御を行うためのプログラムを実行する。
【００２６】
次に、図２を参照して、本実施形態における防振制御部１１５ａの構成について詳述する。図２は、防振制御部１１５ａのブロック図である。角速度検出部１４２（角速度検出手段）は、撮像装置１００に与えられた振れ（角速度）を検出する。ハイパスフィルタ２０１は、角速度検出部１４２により検出された周波数成分のうち低域成分（オフセット成分）を除去して、高域成分を抽出する。位相補償フィルタ２０２は、ハイパスフィルタ２０１を適用することによりずれた位相を調整（補償）する。位相補償フィルタ２０２を適用することにより、ターゲットとした周波数に対してより低域の周波数範囲まで防振することが可能となる。低域を防振のターゲットにすると、振れの低域成分は振幅が大きいため防振レンズ１０２ａの駆動範囲を広げる必要がある。カットオフ周波数変更部２０７は、所定条件に応じて、ハイパスフィルタ２０１および位相補償フィルタ２０２のそれぞれのカットオフ周波数を変更する。本実施形態において、ハイパスフィルタ２０１、位相補償フィルタ２０２、および、カットオフ周波数変更部２０７は、周波数変調手段を構成する。周波数変調手段は、角速度検出部１４２から取得された角速度信号のうち所定の周波数帯域の角速度信号を抽出する。
【００２７】
積分部２０３は、角速度検出部１４２により検出された振れ（角速度信号）を積分して角度（振れ角度）に変換する。すなわち積分部２０３は、周波数変調手段により抽出された角速度信号を積分して振れ角度を算出する角度算出手段である。
【００２８】
駆動ゲイン積算部２０４は、積分部２０３により算出した振れ角度に対して駆動ゲインを掛けることにより、振れキャンセル量（振れ補正量）を取得する。一般的には、画像の中心が最も効果的に防振できるように駆動ゲインを変更するため、画像の周辺部に対しては魚眼光学系１０１ａの歪曲収差の影響により防振の効果が弱まる。例えば樽型歪曲収差の場合、画像の周辺部に対して画像の中心が縮小するため、画像の中心に着目して駆動ゲインを調整すると、画像の周辺部において過補正となる。駆動ゲイン変更部２０６は、駆動ゲイン積算部２０４にて用いられる駆動ゲインを変更する。本実施形態において、駆動ゲイン積算部２０４および駆動ゲイン変更部２０６は、振れ角度に対して駆動ゲインを掛けることにより振れ補正量を算出する補正量算出手段を構成する。
【００２９】
駆動範囲変更部２０５は、最終的な振れキャンセル量（駆動ゲイン積算部２０４により算出された振れ補正量）に対して、防振レンズ１０２ａの駆動範囲を制限する。このように駆動範囲変更部２０５は、振れ補正量に対して、防振レンズ１０２ａの駆動範囲を設定する駆動範囲設定手段である。防振レンズ１０２ａの駆動範囲が広いほど、防振の効果は高くなるが、画像の周辺部におけるシェーディングが低下して見栄えが良くない。一方、防振レンズ１０２ａの駆動範囲が狭いほど、画像の周辺部のシェーディングは良好になるが、防振の効果は低下する。
【００３０】
現在位置検出部２０９は、防振レンズ１０２ａの現在位置を検出する。防振レンズ駆動出力部２１０は、振れキャンセル量と防振レンズ１０２ａの現在位置との偏差分を、防振レンズ１０２ａの目標位置として出力する。防振特性変更部２０８（変更手段）は、画像に存在する被写体（例えば人物）の位置、画像（シーン）の明るさ、被写体距離、および、撮像装置１００の振れの程度（振動の変化および傾斜角度）などの撮影状況の少なくとも一つに基づいて、防振特性を変更する。防振特性変更部２０８は、シーンの明るさ、被写体距離、被写体の位置、および、振れの程度を、露出制御部１１３ａ、被写体距離算出部１１７ａ、顔検出部１１８ａ、および、加速度検出部１４４からそれぞれ取得する。本実施形態において、防振特性は、カットオフ周波数、駆動ゲイン、および、駆動範囲であるが、これらに限定されるものではない。これらの特性の一部を除外することや、他の特性を含めてもよい。
【００３１】
次に、図３を参照して、撮像装置１００の外観について説明する。図３は、撮像装置１００の外観図である。撮像装置１００に関して相対するように魚眼光学系１０１ａ、１０１ｂが配置されている。これにより、３６０度の全方位撮影を行うことが可能な構成となる。撮像装置１００の側面には、魚眼光学系１０１ａ、１０１ｂを介してそれぞれ取得された２つの画像を映し出す表示部１０８ａ、１０８ｂが配置されている。また、撮像装置１００の側面の空いているスペースには、操作部１４１が配置されている。
【００３２】
図４は、魚眼光学系１０１ａの球面座標系画像および平面座標系画像の説明図である。図４（ａ）は、魚眼光学系１０１ａを用いて撮影した画像そのもの（球面座標系画像）である。画像の中心（点Ａ）では被写体（人物）は存在しないが、画像の周辺部（点Ｂ）では人物が存在する状態を示している。図４（ｂ）は、図４（ａ）の展開画像（平面座標系画像）である。画像の中心（点Ａ）に対して、画像の周辺部（点Ｂ）は拡大した（引き伸ばされた）状態にある。
【００３３】
図５は、２つの平面座標系画像の結合に関する説明図であり、魚眼光学系１０１ａ、１０１ｂのそれぞれを介して得られた２枚の球面座標系画像を平面座標系画像に展開して結合する様子を示している。図５（ａ）は、魚眼光学系１０１ａ、１０１ｂをそれぞれ介して撮影された２枚の画像そのもの（２枚の球面座標系画像）であり、２枚で３６０度の全方位を撮影した状態を示している。図５（ｂ）は、図５（ａ）に示される２枚の球面座標系画像をそれぞれ展開した２枚の画像（平面座標系画像）である。図５（ｃ）は、図５（ｂ）に示される２枚の展開画像（平面座標系画像）を結合して得られた１枚の画像を示している。
【００３４】
例えば樽型歪曲収差がある場合、画像の周辺部に対して画像の中心が縮小するため、画像の中心に関してゲインを調整する。大きな振れが撮像装置１００に加わる場合、画像の周辺部が過補正となり、振れ補正残りが発生する。画像の周辺部に人物が存在する状態で、かつ、前述のように画像の周辺部で振れ補正残りが発生していると、球面座標系データ（球面座標系画像）から平面座標系データ（平面座標系画像）への展開の際に、振れ補正残りがより拡大強調されることになる。２枚の平面座標系データを結合すると、２枚の画像の繋ぎ目の見栄えが低下する可能性がある。このため、画像の周辺部に人物が存在して大きな振れが入ってきた場合、駆動ゲインを下げることとカットオフ周波数を上げて低域オフセット成分の除去を弱めることにより、画像の周辺部の振れ補正残りの影響が小さくなる。その結果、画像中心の防振効率は若干下がることになるが画面周辺の見栄えの低下を緩和することができる。
【００３５】
次に、図６を参照して、本実施形態における防振制御について説明する。図６は、防振制御を示すフローチャートである。図６の各ステップは、撮像装置１００のシステム制御部１２０の指令に基づいて、撮像装置１００の各部により実行される。
【００３６】
まずステップＳ６０１において、システム制御部１２０は、防振特性変更フラグをＯＦＦに設定する。システム制御部１２０は、以降のフローにおいて所定条件に関する判定の結果、防振特性を変更すると判定した場合には防振特性変更フラグをＯＮにし、防振特性を変更しないと判定した場合には防振特性変更フラグをＯＦＦにする。ここで防振特性とは、複数の周波数変調フィルタ（ハイパスフィルタ２０１および位相補償フィルタ２０２）のカットオフ周波数、駆動ゲイン、および、駆動範囲であるが、これらに限定されるものではない。
【００３７】
続いてステップＳ６０２において、角速度検出部１４２は、振れ量（角速度）を検出する。続いてステップＳ６０３において、防振制御部１１５ａは、ステップＳ６０２にて検出された振れ量に基づいて、振れ補正量を算出する。続いてステップＳ６０４において、システム制御部１２０は、ステップＳ６０３にて算出された振れ補正量が所定量以上であるか否かを判定する。ステップＳ６０４にて振れ補正量が所定量以上である場合、ステップＳ６０５へ進む。一方、振れ補正量が所定量よりも小さい場合、ステップＳ６１４へ進む。
【００３８】
ステップＳ６０５において、顔検出部１１８ａ（被写体検出手段）は、画像中に存在する被写体（例えば人物）の位置を検出する。続いてステップＳ６０６において、ステップＳ６０５にて検出された人物が画像中に複数存在する場合、防振制御部１１５ａは、少なくとも一人の人物が画像の周辺部に存在するか否かを判定する。ステップＳ６０６にて画像の周辺部に人物が存在する場合、ステップＳ６０７へ進む。一方、画像の周辺部に人物が存在しない場合、ステップＳ６１１へ進む。
【００３９】
ステップＳ６０７において、被写体距離算出部１１７ａは、被写体距離を算出する。続いてステップＳ６０８において、防振制御部１１５ａは、ステップＳ６０７にて算出された被写体距離が所定距離よりも大きい（遠側である）か否かを判定する。ステップＳ６０８にて被写体距離が所定距離よりも小さい（近側である）場合、ステップＳ６１２へ進み、システム制御部１２０は防振特性変更フラグをＯＮにする。一方、被写体距離が所定距離よりも大きい（遠側である）場合、ステップＳ６０９へ進む。
【００４０】
ステップＳ６０９において、露出制御部１１３ａは、輝度信号算出部１１２ａからの出力信号に基づいて、画像の輝度、すなわち明暗の程度を検出する。続いてステップＳ６１０において、防振制御部１１５ａは、ステップＳ６０９にて検出された画像の輝度が所定輝度よりも明るいか否かを判定する。ステップＳ６１０にて画像の輝度が所定輝度以下である場合、ステップＳ６１２へ進み、システム制御部１２０は防振特性変更フラグをＯＮにする。すなわち輝度が所定輝度よりも小さい場合、防振特性変更部２０８は後述のように防振特性を変更する。一方、画像の輝度が所定輝度よりも明るい場合、ステップＳ６１４へ進む。
【００４１】
ステップＳ６０６にて人物が画像の周辺部に存在しない場合、ステップＳ６１１へ進む。ステップＳ６１１において、防振制御部１１５ａは、加速度検出部１４４により検出された撮像装置１００に加わる振動を取得する。角速度検出部１４２は各軸の回転運動（角速度）を検出することができるが、加速度検出部１４４は重力の変化を検出することができるため各軸の水平方向の振動を検出することができる。例えば、撮像装置１００を急峻に上にかざす際の動作を検出することが可能である。ステップＳ６１１にて振動が所定値以上である場合、ステップＳ６１２へ進み、システム制御部１２０は防振特性変更フラグをＯＮにする。一方、振動が所定値よりも小さい場合、ステップＳ６１４へ進む。このように本実施形態において、防振特性変更部２０８は、加速度検出部１４４により検出された振動が所定値以上である場合、防振特性を変更する。
【００４２】
システム制御部１２０は、ステップＳ６１２にて防振特性変更フラグをＯＮにした後、ステップＳ６１３へ進む。ステップＳ６１３において、防振制御部１１５ａ（防振特性変更部２０８）は、防振特性変更処理を行う。防振特性変更処理の詳細は、図７（ａ）を参照して後述する。
【００４３】
ステップＳ６１４において、システム制御部１２０は、防振特性変更フラグがＯＮであるかＯＦＦであるかを判定する。防振特性フラグがＯＮである場合、システム制御部１２０は防振制御を終了する。一方、防振特性フラグがＯＦＦである場合、ステップＳ６１５へ進み、システム制御部１２０は防振特性初期化処理を行った後、防振制御を終了する。防振特性初期化処理の詳細は、図７（ｂ）を参照して後述する。
【００４４】
次に、図７（ａ）を参照して、防振特性変更処理（Ｓ６１３）について詳述する。図７（ａ）は、防振特性変更処理を示すフローチャートである。図７（ａ）の各ステップは、システム制御部１２０の指令に基づいて防振制御部１１５ａ（主に防振特性変更部２０８）により実行される。
【００４５】
まずステップＳ７０１において、システム制御部１２０は、振れ補正量が最大所定量（≧所定量）以上であるか否かを判定する。振れ補正量が最大所定量以上である場合、振れ補正残りが極めて大きい状態である。このとき防振制御部１１５ａは、駆動ゲインの変更処理、および、ハイパスフィルタ２０１および位相補償フィルタ２０２のカットオフ周波数の変更処理の両方を行うことが好ましい。このため、振れ補正量が最大所定量以上である場合、ステップＳ７０２へ進む。一方、振れ補正量が最大所定量よりも小さい場合、ステップＳ７０５へ進む。
【００４６】
ステップＳ７０２において、システム制御部１２０は、魚眼光学系１０１ａが樽型歪曲収差の特性を有するか否かを判定する。魚眼光学系１０１ａが樽型歪曲収差の特性を有する場合、ステップＳ７０３へ進む。ステップＳ７０３において、防振特性変更部２０８は、駆動ゲイン変更部２０６を制御して駆動ゲインを変更し（ゲインを下げ）、ステップＳ７０５へ進む。樽型歪曲収差の特性を有する光学系では、画像の周辺部に対して画像の中心が縮小する。このため、画像の中心に対して適切な防振制御となるように振れキャンセル量に掛ける駆動ゲインを調整すると、画像の周辺部での防振効果が過剰になるになる（過補正）。その結果、画像の周辺部に人物が存在すると、過補正により生じた振れ補正残りが強調され、２つの画像（魚眼光学系１０１ａ、１０１ｂを介してそれぞれ取得された２つの画像）を結合した際に見栄えの良くない画像となる。２つの画像の繋ぎ合わせ部分（結合部）では見栄えが良くないが、仮に画像の中心に人物が存在する場合、駆動ゲインを下げても過補正による繋ぎ目ほど振れ補正残りは目立たない。
【００４７】
一方、魚眼光学系１０１ａが糸巻型歪曲収差の特性を有する場合、ステップＳ７０４へ進む。ステップＳ７０４において、防振特性変更部２０８は、駆動ゲイン変更部２０６を制御して駆動ゲインを変更し（ゲインを上げ）、ステップＳ７０５へ進む。糸巻型歪曲収差の特性を有する光学系では、画像の周辺部に対して画像の中心が拡大する。このため、画像の中心に対して適切な防振制御となるように振れキャンセル量に掛ける駆動ゲインを調整すると、画像の周辺部での防振効果が不足する（不足補正）。その結果、画像の周辺部に人物が存在すると、不足補正により生じた振れ補正残りが強調され、２つの画像を結合した際に見栄えの良くない画像となる。このように防振特性変更部２０８は、魚眼光学系１０１ａの歪曲収差の特性に応じて駆動ゲインの変更方向が異なるように（増加または減少するように）駆動ゲインを変更する。
【００４８】
ステップＳ７０５において、防振特性変更部２０８は、カットオフ周波数変更部２０７を制御して、ハイパスフィルタ２０１のカットオフ周波数を変更する（カットオフ周波数を上げる）。防振制御では、低域の振れまでも十分に防振しようとしてハイパスフィルタ２０１のカットオフ周波数を下げた状態にあるが、このような状態では、手振れの変化に対する反応が過敏となる。このため、振れ補正量が最大所定量よりも小さい場合であっても、振れ補正量が所定量以上のやや振れ補正残りがある状態で画像の周辺部に人物が存在する場合、ハイパスフィルタ２０１のカットオフ周波数を上げる。
【００４９】
続いてステップＳ７０６において、防振特性変更部２０８は、カットオフ周波数変更部２０７を制御して、位相補償フィルタ２０２のカットオフ周波数を変更する。これにより、ステップＳ７０５にてハイパスフィルタ２０１のカットオフ周波数を上げたことによりずれた位相が調整され、画像の周辺部の見栄え（画像の見た目）を改善することができる。
【００５０】
続いてステップＳ７０７において、防振特性変更部２０８は、駆動範囲変更部２０５を制御して、防振レンズ１０２ａの駆動範囲（駆動リミット）を変更する（小さくする）。ハイパスフィルタ２０１のカットオフ周波数を上げると、低域の防振性能が緩和するため、駆動に必要な範囲は狭くなる傾向がある。その結果、周辺部のシェーディングが良好になるため、防振特性変更部２０８は駆動範囲を小さくして、防振特性変更処理を終了する。
【００５１】
次に、図７（ｂ）を参照して、防振特性初期化処理（Ｓ６１５）について詳述する。図７（ｂ）は、防振特性初期化処理を示すフローチャートである。図７（ｂ）の各ステップは、システム制御部１２０の指令に基づいて防振制御部１１５ａ（主に防振特性変更部２０８）により実行される。
【００５２】
まずステップＳ７１１において、防振特性変更部２０８は、駆動ゲインを内部メモリ１０７に保存されているデフォルトの値に設定する。続いてステップＳ７１２において、防振特性変更部２０８は、ハイパスフィルタ２０１のカットオフ周波数を内部メモリ１０７に保存されているデフォルトの値に設定する。続いてステップＳ７１３において、防振特性変更部２０８は、位相補償フィルタ２０２のカットオフ周波数を内部メモリ１０７に保存されているデフォルトの値に設定する。続いてステップＳ７１４において、防振特性変更部２０８は、駆動範囲（駆動リミット）を内部メモリ１０７に保存されているデフォルトの値に設定して、防振特性初期化処理を終了する。
【００５３】
なお本実施形態では、撮像装置としてデジタルカメラを例にして説明したが、これに限定されるものではなく、本実施形態は撮像装置を備えた携帯機器などにも適用可能である。
【００５４】
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００５５】
本実施形態の撮像装置では、全方位撮影された画像の周辺部に人物が存在する状況において、複数の撮影画像を結合した場合に手振れの影響による見栄えの低下を抑制することができる。このため本実施形態によれば、全方位撮影された複数の画像を結合して見栄えの良い画像を生成することが可能な制御装置、撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体を提供することができる。
【００５６】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００５７】
１１５ａ、１１５ｂ  防振制御部（防振制御手段）
１１８ａ、１１８ｂ  顔検出部（被写体検出手段）
１２０  システム制御部（制御装置）
２０８  防振特性変更部（変更手段）
【図１】
2018066885.tif 000003
【図２】
2018066885.tif 000004
【図３】
2018066885.tif 000005
【図４】
2018066885.tif 000006
【図５】
2018066885.tif 000007
【図６】
2018066885.tif 000008
【図７】
2018066885.tif 000009