(57)【要約】【課題】適切に像ブレ補正を行うことができる撮像装置及び像ブレ補正方法を提供する。【解決手段】一実施形態に係る撮像装置は、撮像素子と、撮影光学系と、ブレ検出部と、ブレ補正部と、撮像制御部と、射影変換部と、を具備する。撮像素子は、光を電気信号に変換する画素が配列された撮像面を備える。撮影光学系は、前記撮像面に等距離射影の被写体像を結像させる。ブレ検出部は、前記被写体像の像移動量を検出する。ブレ補正部は、前記像移動量に基づいて前記被写体像と前記撮像面との位置関係を調整する。撮像制御部は、前記撮像素子により前記被写体像に応じた等距離射影画像を取得する。射影変換部は、前記等距離射影画像を異なる射影方式の画像に変換する。【選択図】      図１
2017067954.tif 000002
【特許請求の範囲】
【請求項１】
光を電気信号に変換する画素が配列された撮像面を備える撮像素子と、
前記撮像面に等距離射影の被写体像を結像させる撮影光学系と、
前記被写体像の像移動量を検出するブレ検出部と、
前記像移動量に基づいて前記被写体像と前記撮像面との位置関係を調整するブレ補正部と、
前記撮像素子により前記被写体像に応じた等距離射影画像を取得する撮像制御部と、
前記等距離射影画像を異なる射影方式の画像に変換する射影変換部と、
を具備する撮像装置。
【請求項２】
光を電気信号に変換する画素が配列された撮像面を備える撮像素子と、
前記撮像面に等距離射影の被写体像を結像させる撮影光学系と、
前記撮像素子により前記被写体像に応じた等距離射影画像を取得する撮像制御部と、
前記被写体像の像移動量を検出するブレ検出部と、
前記像移動量に基づいて前記等距離射影画像における有効領域を特定するブレ補正部と、
前記ブレ補正部により特定された前記等距離射影画像の有効領域に対応する画像を異なる射影方式の画像に変換する射影変換部と、
を具備する撮像装置。
【請求項３】
前記ブレ補正部は、前記像移動量に基づいて前記撮像面を移動させ、
前記射影変換部は、前記撮像面の移動量に基づいて前記等距離射影画像における前記撮影光学系の光軸中心の位置を画角の中心に変換する光軸中心変換部を有し、前記光軸中心変換部により変換された画像の画角の中心を軸として中心射影展開を行い前記等距離射影画像を中心射影画像に変換する請求項１に記載の撮像装置。
【請求項４】
前記ブレ補正部は、前記像移動量に基づいて前記有効領域を移動させ、
前記射影変換部は、前記有効領域の移動量に基づいて前記等距離射影画像における前記撮影光学系の光軸中心の位置を画角の中心に変換する光軸中心変換部を有し、前記光軸中心変換部により変換された光軸中心を軸として中心射影画像に変換する請求項２に記載の撮像装置。
【請求項５】
前記射影変換部は、前記撮影光学系の光学特性に基づいて、前記等距離射影画像を異なる射影方式の画像に変換するか否か判定する請求項１または２に記載の撮像装置。
【請求項６】
前記射影変換部は、前記等距離射影画像を異なる射影方式の画像に変換する場合、前記撮影光学系の光学特性に基づいて、前記等距離射影画像を異なる射影方式の画像に変換する請求項５に記載の撮像装置。
【請求項７】
前記撮影光学系は、前記撮影光学系の光学特性を示す光学特性情報を記憶するメモリを備え、
前記撮影光学系の前記メモリから前記光学特性情報を取得する取得部を具備し、
前記射影変換部は、前記取得部により取得した前記光学特性情報に基づいて前記等距離射影画像を異なる射影方式の画像に変換するか否か判定する請求項５または６に記載の撮像装置。
【請求項８】
前記光学特性情報は、前記等距離射影画像の対角画角を算出可能な情報と、前記撮影光学系の射影方式を判別可能な情報と、を含む請求項７に記載の撮像装置。
【請求項９】
前記ブレ検出部は、前記被写体像の像回転量をさらに検出し、
前記ブレ補正部は、前記像回転量に基づいて前記撮像面を回転させる請求項１に記載の撮像装置。
【請求項１０】
前記ブレ検出部は、前記被写体像の像回転量をさらに検出し、
前記ブレ補正部は、前記像回転量に基づいて前記等距離射影画像を回転させ、前記像移動量に基づいて回転させた前記等距離射影画像における有効領域を特定する請求項２に記載の撮像装置。
【請求項１１】
光を電気信号に変換する画素が配列された撮像面を備える撮像素子と、前記撮像面に等距離射影の被写体像を結像させる撮影光学系と、を具備する撮像装置における像ブレ補正方法であって、
前記被写体像の像移動量を検出し、
前記像移動量に基づいて前記被写体像と前記撮像面との位置関係を調整し、
前記撮像素子により前記被写体像に応じた等距離射影画像を取得し、
前記等距離射影画像を異なる射影方式の画像に変換する、
像ブレ補正方法。
【請求項１２】
光を電気信号に変換する画素が配列された撮像面を備える撮像素子と、前記撮像面に等距離射影の被写体像を結像させる撮影光学系と、を具備する撮像装置における像ブレ補正方法であって、
前記撮像素子により等距離射影であり前記被写体像に応じた等距離射影画像を取得し、
前記被写体像の像移動量を検出し、
前記像移動量に基づいて前記等距離射影画像における有効領域を特定し、
特定した前記等距離射影画像の有効領域に対応する画像を異なる射影方式の画像に変換する、
像ブレ補正方法。
【請求項１３】
前記像移動量に基づいて前記撮像面を移動させ、
前記撮像面の移動量に基づいて前記等距離射影画像における前記撮影光学系の光軸中心の位置を画角の中心に変換し、
変換された画像の画角の中心を軸として中心射影展開を行い前記等距離射影画像を中心射影画像に変換する請求項１１に記載の像ブレ補正方法。
【請求項１４】
前記像移動量に基づいて前記有効領域を移動させ、
前記有効領域の移動量に基づいて前記等距離射影画像における前記撮影光学系の光軸中心の位置を画角の中心に変換し、
変換された光軸中心を軸として中心射影画像に変換する請求項１２に記載の像ブレ補正方法。
【請求項１５】
前記撮影光学系の光学特性に基づいて、前記等距離射影画像を異なる射影方式の画像に変換するか否か判定する請求項１１または１２に記載の像ブレ補正方法。
【請求項１６】
前記等距離射影画像を異なる射影方式の画像に変換する場合、前記撮影光学系の光学特性に基づいて、前記等距離射影画像を異なる射影方式の画像に変換する請求項１５に記載の像ブレ補正方法。
【請求項１７】
前記撮影光学系が備える前記撮影光学系の光学特性を示す光学特性情報を記憶するメモリから前記光学特性情報を取得し、
取得した前記光学特性情報に基づいて前記等距離射影画像を異なる射影方式の画像に変換するか否か判定する請求項１５または１６に記載の像ブレ補正方法。
【請求項１８】
前記光学特性情報は、前記等距離射影画像の対角画角を算出可能な情報と、前記撮影光学系の射影方式を判別可能な情報と、を含む請求項１７に記載の像ブレ補正方法。
【請求項１９】
前記被写体像の像回転量をさらに検出し、
前記像回転量に基づいて前記撮像面を回転させる請求項１１に記載の像ブレ補正方法。
【請求項２０】
前記被写体像の像回転量をさらに検出し、
前記像回転量に基づいて前記等距離射影画像を回転させ、前記像移動量に基づいて回転させた前記等距離射影画像における有効領域を特定する請求項１２に記載の像ブレ補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、及び撮像装置の像ブレ補正方法に関する。
【背景技術】
【０００２】
撮像装置の姿勢変化に伴って生じる撮像面上の被写体像のブレの量（像移動量）を検出し、検出した像移動量を打ち消す撮像装置が実用化されている。このような撮像装置は、例えば、撮像面と被写体像との位置関係を補正する光学式ブレ補正、または有効領域を撮像面上で移動させる電子式ブレ補正などによって、撮像装置の姿勢変化に伴う像ブレを補正する。
【０００３】
光学式ブレ補正は、例えば、像ブレを打ち消す方向に移動可能に構成された補正光学系を備える撮像レンズにより像ブレを補正するレンズシフト式ブレ補正、及び撮像レンズの光軸に対して直交する方向に移動可能に構成された撮像面を備える撮像素子により像ブレを補正するイメージセンサシフト式ブレ補正などの方式がある。また、電子式ブレ補正では撮像装置は、撮像面上の画像を取得可能な有効領域を撮像面上で移動させることにより像ブレを補正する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−０５３７２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記のような像ブレ補正では、撮像素子に結像された被写体像の位置が一律の移動量（ブレ補正量）で移動される。しかし、中心射影式の撮像レンズによって撮像素子に結像された被写体像は、撮像面上の像の長さ（像高）に対する入射角が撮像面上において一様ではない。即ち、中心射影方式では、撮像レンズに入射した光の入射角の変化に対して、撮像面上での被写体像の像移動量が一様ではない。特に、焦点距離が短い中心射影式の撮像レンズによって撮像素子に結像された被写体像は、光軸からの距離に応じてある入射角に対する像高の差が大きくなる。この為、撮像装置が撮像素子に結像された被写体像を一律のブレ補正量で移動させることにより像ブレ補正を行ったとしても、像移動量に対してブレ補正量が大きいまたは小さい可能性がある。この結果、撮像面の全域に亘って適切にブレ補正を行うことができない可能性がある。
【０００６】
本発明は、適切に像ブレ補正を行うことができる撮像装置及び像ブレ補正方法を提供することである。
【課題を解決するための手段】
【０００７】
一実施形態に係る撮像装置は、撮像素子と、撮影光学系と、ブレ検出部と、ブレ補正部と、撮像制御部と、射影変換部と、を具備する。撮像素子は、光を電気信号に変換する画素が配列された撮像面を備える。撮影光学系は、前記撮像面に等距離射影の被写体像を結像させる。ブレ検出部は、前記被写体像の像移動量を検出する。ブレ補正部は、前記像移動量に基づいて前記被写体像と前記撮像面との位置関係を調整する。撮像制御部は、前記撮像素子により前記被写体像に応じた等距離射影画像を取得する。射影変換部は、前記等距離射影画像を異なる射影方式の画像に変換する。
【発明の効果】
【０００８】
適切に像ブレ補正を行うことができる撮像装置及び像ブレ補正方法を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、一実施形態に係る撮像装置の構成例について説明する為の図である。
【図２】図２は、一実施形態に係る撮像装置のブレ補正マイコンの構成例について説明する為の図である。
【図３】図３は、等距離射影方式の光学系における入射角と像高との関係を示す図である。
【図４】図４は、一実施形態に係る撮像装置の動作の例について説明する為の図である。
【図５】図５は、一実施形態に係る撮像装置における等距離射影方式を中心射影方式に変換する動作の例について説明する為の図である。
【図６】図６は、一実施形態に係る撮像装置におけるズームポジションと、焦点距離と、対角画角と、の関係の例について説明する為の図である。
【図７】図７は、一実施形態に係る撮像装置におけるトリミングの例について説明する為の図である。
【図８】図８は、一実施形態に係る撮像装置の動作の例について説明する為の図である。
【図９】図９は、一実施形態に係る撮像装置の動作の例について説明する為の図である。
【図１０】図１０は、一実施形態に係る光軸中心変換の例について説明する為の図である。
【図１１Ａ】図１１Ａは、一実施形態に係る光軸中心変換の例について説明する為の図である。
【図１１Ｂ】図１１Ｂは、一実施形態に係る光軸中心変換の例について説明する為の図である。
【図１１Ｃ】図１１Ｃは、一実施形態に係る光軸中心変換の例について説明する為の図である。
【図１１Ｄ】図１１Ｄは、一実施形態に係る光軸中心変換の例について説明する為の図である。
【図１２】図１２は、他の実施形態に係る撮像装置の構成例について説明する為の図である。
【図１３Ａ】図１３Ａは、他の実施形態に係る光軸中心変換の例について説明する為の図である。
【図１３Ｂ】図１３Ｂは、他の実施形態に係る光軸中心変換の例について説明する為の図である。
【図１４】図１４は、他の実施形態に係る撮像装置の動作の例について説明する為の図である。
【図１５】図１５は、他の実施形態に係る撮像装置の構成例について説明する為の図である。
【図１６】図１６は、他の実施形態に係る撮像装置の動作の例について説明する為の図である。
【図１７】図１７は、他の実施形態に係る撮像装置の構成例について説明する為の図である。
【図１８】図１８は、他の実施形態に係る撮像装置の動作の例について説明する為の図である。
【発明を実施するための形態】
【００１０】
以下、図を参照しながら、一実施形態に係る撮像装置、及び撮像装置の像ブレ補正方法について詳細に説明する。
【００１１】
（第１の実施形態）
以下図１乃至図１１を用いて第１の実施形態に係る撮像装置１の例について説明する。図１は、撮像装置１の構成例を示す。撮像装置１は、像ブレ補正装置を搭載したレンズ交換式カメラである。撮像装置１は、交換レンズ２及びカメラ本体３を備える。
【００１２】
交換レンズ２は、カメラ本体３に対して着脱自在に構成されている。交換レンズ２は、カメラ本体３に装着された場合にカメラ本体３と互いに通信可能な状態で接続される。これにより、交換レンズ２とカメラ本体３とは協働して動作する。交換レンズ２は、光学系１１、変倍部１２、及びレンズコントロールユニット（ＬＣＵ）１３を備える。
【００１３】
光学系１１は、等距離射影方式の撮像レンズである。光学系１１は、図示しない被写体からの光束をカメラ本体３の撮像素子２１の撮像面上に結像させる。光学系１１は、例えば、複数のレンズと、レンズを介して撮像素子２１に入射する光束の量を調整する絞りと、光学系１１の焦点距離を変更する為のレンズ（ズームレンズ）１４と、を備える。光学系１１は、ズームレンズ１４の位置を光学系１１の光軸方向に移動させることによって光学系１１の焦点距離（画角）を変更する。さらに、光学系１１は、ピント位置を変更する為の合焦用のフォーカスレンズをさらに備える構成であってもよい。
【００１４】
変倍部１２は、ズームレンズ１４の位置を変更する為の機構である。変倍部１２は、例えば、例えば、交換レンズ２の外周に設けられたズームリングを備え、ズームリングの操作に応じてズームレンズ１４の位置を変更することにより、光学系１１の画角を変更する。
【００１５】
ＬＣＵ１３は、例えば、ＣＰＵ、及びメモリなどを含むコントローラであり、交換レンズ２の動作を制御する。例えば、ＬＣＵ１３は、カメラ本体３のシステムコントローラ２３からの指示に応じて、光学系１１のレンズ、及び絞りの駆動を制御する。また、ＬＣＵ１３は、システムコントローラ２３からの指示に応じて、ズームレンズ１４の位置を変更することにより、光学系１１の画角を変更してもよい。
【００１６】
ＬＣＵ１３は、交換レンズ２に関する種々の情報（光学特性情報）をメモリに保持する。ＬＣＵ１３は、例えば、光学特性情報として、交換レンズ２の機種名、焦点距離、ズーム位置の数（ズームレンズ１４を停止可能な位置の数）、射影方式、及び光学系１１の現在の設定を示す情報等をメモリに保持する。ＬＣＵ１３は、システムコントローラ２３からの指示に応じて、メモリに記憶されている光学特性情報をカメラ本体３に供給する。
【００１７】
カメラ本体３は、撮像素子２１、ブレ補正部２２、システムコントローラ２３、ブレ補正マイクロコンピュータ（マイコン）２４、ジャイロセンサ２５、電子ビューファインダ（ＥＶＦ）２６、記録媒体２７、及び操作部２８を備える。
【００１８】
撮像素子２１は、光を光電変換し電荷を蓄える画素が複数配列されて構成された撮像面を備える。撮像素子２１は、例えば、Charge Coupled Devices（ＣＣＤ）イメージセンサ、Complementary Metal Oxide Semiconductor（ＣＭＯＳ）イメージセンサ、または他の撮像素子により構成される。撮像素子２１は、光学系１１によって撮像面上に結像された被写体像を電気信号（画像信号）に変換する。撮像素子２１は、アナログ電気信号である画像信号をディジタル信号である画像データに変換して出力する。
【００１９】
ブレ補正部２２は、ブレ補正マイコン２４で生成される駆動信号に応じて撮像素子２１の撮像面を光学系１１の光軸と直交する面内で移動させることにより、撮像装置１の姿勢変化に伴って生じる撮像面上の被写体像のブレを補正する。
【００２０】
システムコントローラ２３は、例えばＣＰＵ、及びメモリなどを含み、カメラ本体３の動作を制御するコントローラである。例えば、システムコントローラ２３は、撮像素子２１で得られた画像データを読み出し、読み出した画像データに対して表示や記録に必要な各種の画像処理を施す。また、システムコントローラ２３は、交換レンズ２のＬＣＵ１３に対し、露出調整のための絞りの駆動やピント調整のためのレンズの駆動を指示する。また、システムコントローラ２３は、ＥＶＦ２６における画像表示の制御、記録媒体２７への画像ファイルの記録の制御、操作部２８の操作に従って動作モードを切り替える制御、及び撮影動作の開始又は終了の制御などを行う。
【００２１】
また、システムコントローラ２３は、交換レンズ２から光学特性情報を取得する。例えば、システムコントローラ２３は、起動時、及び／または定期的に交換レンズ２から光学特性情報を取得することにより、交換レンズ２の光学特性を逐次認識する。システムコントローラ２３は、取得した光学特性情報をブレ補正マイコン２４に入力する。
【００２２】
また、システムコントローラ２３は、射影変換部３１、及び画角切り出し部３２を備える。射影変換部３１は、撮像素子２１から読み出した画像データの射影方式を変換する射影変換を行う。例えば、射影変換部３１は、撮像素子２１から読み出した等距離射影方式の画像データを中心射影方式の画像データに変換する。画角切り出し部３２は、射影変換部３１によって中心射影方式に変換された画像データを切り出すトリミングを行う。
【００２３】
ブレ補正マイコン２４は、像ブレ補正に関する制御を行うマイクロコンピュータである。ブレ補正マイコン２４は、ジャイロセンサ２５から角速度信号を取得し、システムコントローラ２３から交換レンズ２の光学特性情報を取得する。ブレ補正マイコン２４は、取得した角速度信号及び光学特性情報に基づいてブレ補正部２２を制御することにより、像ブレを補正する。例えば、ブレ補正マイコン２４は、取得した角速度信号及び光学特性情報に基づいて撮像面上での被写体像の像ブレの方向と像移動量とを算出する。ブレ補正マイコン２４は、算出した像ブレの方向と像移動量とに応じて像ブレを打ち消す方向に撮像面を移動させるようにブレ補正部２２を制御することにより、像ブレを補正する。即ち、ブレ補正マイコン２４は、等距離射影方式の光学系１１により撮像面上に結像された被写体像（等距離射影像）と撮像面との位置関係を調整することにより、像ブレを補正する。
【００２４】
ジャイロセンサ２５は、カメラ本体３の姿勢の変化に伴って生じるカメラ本体３の回転運動を角速度信号として検出する。ジャイロセンサ２５は、例えば、撮像素子２１の撮像面の水平方向を軸としたピッチ方向における回転運動、及び撮像面の垂直方向を軸としたヨー方向における回転運動を検出し、角速度信号を生成する。さらに、ジャイロセンサ２５は、光学系１１の光軸を軸としたロール方向における回転運動を検出し、角速度信号を生成する。
【００２５】
ＥＶＦ２６は、種々の画面を表示する。ＥＶＦ２６は、例えば液晶ディスプレイ、または有機ＥＬディスプレイなどの表示装置と、接眼光学系と、を備える。ＥＶＦ２６は、システムコントローラ２３によって生成された画面を表示装置に表示する。これにより、ＥＶＦ２６は、撮像素子２１により撮像された画像、及び設定の為のメニュー画面などを表示装置に表示することができる。なお、ＥＶＦ２６は、上記のようにファインダ接眼部内に設けられた表示装置によって構成されていてもよいし、カメラ本体３に設けられた表示パネルによって構成されていてもよい。
【００２６】
記録媒体２７は、画像ファイルを記録する記録媒体である。記録媒体２７は、例えばメモリカードである。
【００２７】
操作部２８は、ユーザーによって操作される操作部材を備える。例えば、操作部２８は、操作部材としてレリーズボタン、及び動画記録ボタンなどを備える。レリーズボタンは、カメラ本体３による静止画撮影処理を実行させる為のボタンである。また、動画記録ボタンは、カメラ本体３に動画記録処理を実行させる為のボタンである。またさらに、操作部２８は、カメラ本体３の動作モード、または露出制御などの種々の設定を変更する為のボタンを操作部材として備えていてもよい。例えば、操作部２８は、射影変換部３１による射影変換の実施／非実施の設定、及び画角切り出し部３２によるトリミングにおける切り出しサイズの設定を変更する為のボタンを操作部材として備えていてもよい。
【００２８】
次に、ブレ補正マイコン２４の詳細について説明する。図２は、ブレ補正マイコン２４の構成の例を示す図である。図２に示すように、ブレ補正マイコン２４は、アナログデジタル変換器（ＡＤＣ）４１と、基準値減算部４２と、補正量算出部４３と、ブレ補正制御部４４とを備える。図２に示した構成により、撮像面における１方向の像ブレ補正の制御を行うことができる。即ち、ブレ補正マイコン２４は、像ブレ補正を行う方向毎に図２に示す構成を備えることにより、複数の方向の像ブレ補正の制御を行うことができる。ここでは、説明を簡単にするためにブレ補正マイコン２４の１方向の像ブレ補正の制御について説明する。
【００２９】
ＡＤＣ４１は、ジャイロセンサ２５から出力されたアナログの角速度信号をディジタル信号に変換し、ディジタルの角速度を出力する。
【００３０】
基準値減算部４２は、ＡＤＣ４１から出力された角速度信号の値から基準値を減算する。基準値は、カメラ本体３が静止状態であるときの角速度信号の値である。ＡＤＣ４１の出力から基準値を減算することにより、基準値減算部４２は、符号を持った角速度の値を出力する。このとき、角速度の値の符号は、回転方向を示すことになる。
【００３１】
補正量算出部４３は、システムコントローラ２３から供給された光学系１１の光学特性情報と、基準値減算部４２から出力された角速度の値と、に基づいて、カメラ本体３の姿勢変化に伴って生じる撮像面上の被写体像のブレの量である像移動量と、像ブレの方向と、を算出する。例えば、補正量算出部４３は、システムコントローラ２３から供給された光学系１１の光学特性情報に基づいて、対角画角（焦点距離）と射影方式とを認識する。補正量算出部４３は、対角画角と射影方式とに基づいて、入射角の変化に応じた撮像面上での被写体像の像移動量及び像ブレの方向を算出し、算出した像移動量及び像ブレの方向を補正量として出力する。
【００３２】
図３は、上記したような等距離射影方式の光学系１１に光が入射した際の入射角と像高（ここでは光軸中心からの位置）との関係を示す図である。なお、ここでの光軸中心とは、光学系１１の光軸と交わる撮像素子２１の撮像面上における位置のことを言う。等距離射影方式は、例えば所謂魚眼レンズと呼ばれる光学系に用いられる。等距離射影方式のレンズでは、入射角θと像高ｈとが比例する。例えば、光学系１１の焦点距離をｆとした場合、像高ｈと焦点距離ｆと入射角θとの間には、ｈ＝ｆ・θの関係が成り立つ。補正量算出部４３は、基準値減算部４２から出力された角速度に基づいて、入射角の変化量であるΔθを算出する。さらに、入射角の変化に伴う像移動量をΔｈとすると、補正量算出部４３は、Δｈ＝ｆ・Δθに基づいて像移動量Δｈを算出する。
【００３３】
ブレ補正制御部４４は、補正量算出部４３から出力された補正量に応じてブレ補正部２２を制御する。ブレ補正制御部４４は、補正量算出部４３から出力された補正量が示す像移動量及び像ブレの方向に基づいて、被写体像のブレを打ち消すようにブレ補正部２２動作させる為の駆動信号を生成する。ブレ補正制御部４４は、駆動信号をブレ補正部２２に対して入力することによりブレ補正部２２における像ブレ補正を制御する。駆動信号は、ブレ補正部２２に設けられたモータを駆動するための駆動パルス又はブレ補正部２２による像ブレ補正の目標駆動位置といった情報を含む信号である。
【００３４】
以下、本実施形態における撮像処理について説明する。なお、撮像処理には、静止画を撮像する静止画撮影処理と、動画像を撮像する動画記録処理とがある。
【００３５】
図４は、静止画撮影処理を行う際の撮像装置１の動作を示すフローチャートである。なお、図４では、射影変換に関する動作について示しているが、手ブレ補正に関わる制御、及び撮像素子２１の露光制御などが並行して実行されている。また、撮像素子２１の撮像面の水平方向の像ブレ補正と、撮像素子２１の撮像面の垂直方向の像ブレ補正と、が同時に行われるが、それぞれの像ブレ補正の動作は同様である為、水平方向の像ブレ補正を例に挙げて説明する。
【００３６】
静止画撮影処理を行う操作が行われた場合、カメラ本体３のシステムコントローラ２３は、交換レンズ２による自動合焦の制御、及び撮像素子２１による露光制御などの制御を行うことにより、撮像素子２１により露光を実行させる。
【００３７】
撮像素子２１における露光が完了すると、システムコントローラ２３は、映像の読み出しを行う（ステップＳ１１）。上記したように、光学系１１が等距離射影方式で構成されたレンズである場合、システムコントローラ２３は、等距離射影方式の画像データを撮像素子２１から取得する。
【００３８】
システムコントローラ２３は、射影変換を実施するかを判定する。（ステップＳ１２）。例えば、システムコントローラ２３は、予めＬＣＵ１３から取得した光学特性情報の射影方式が等距離射影方式である場合、即ち、等距離射影方式の光学系１１を備える交換レンズ２とカメラ本体３とが接続されている場合に射影変換を実施すると判定する。また、例えば、システムコントローラ２３は、射影変換部３１による射影変換の実施／非実施の設定を記憶するメモリを備える。システムコントローラ２３は、メモリを参照して射影変換部３１による射影変換を実施する設定になっており、交換レンズ２の光学系１１が等距離射影方式である場合に射影変換を行うと判定する構成であってもよい。
【００３９】
ステップＳ１２で、射影変換を実施すると判定した場合（ステップＳ１２、ＹＥＳ）、システムコントローラ２３の射影変換部３１は、ステップＳ１１で取得した等距離射影方式の画像データを中心射影方式の画像データに変換する（ステップＳ１３）。即ち、射影変換部３１は、等距離射影方式の画像データを中心射影展開する。ステップＳ１２で、射影変換を実施しないと判定した場合（ステップＳ１２、ＮＯ）、システムコントローラ２３は、射影変換を行わずにステップＳ１５の処理に移行する。
【００４０】
図５は、等距離射影方式の画像データを中心射影方式の画像データに変換する例について模式的に示す説明図である。中心射影方式によると、像高ｈと焦点距離ｆと入射角θとの間には、ｈ＝ｆ・ｔａｎθの関係が成り立つ。等距離射影方式の画像データを中心射影方式の画像データに変換する場合、射影変換部３１は、システムコントローラ２３により取得した光学特性情報に基づいて、等距離射影方式の画像データの各像点に対応する入射角θを認識する。例えば、射影変換部３１は、光学特性情報が示すズームポジションに応じて、光学系１１の焦点距離を認識する。射影変換部３１は、光学系１１の焦点距離に応じて、各像点に対応する入射角θを認識する。
【００４１】
図６は、ズームポジションと、焦点距離と、対角画角との関係の例を示す説明図である。例えば、光学特性情報が示すズームポジションが３の場合、射影変換部３１は、焦点距離が２０ｍｍであり、対角画角が１２４°であることを認識する。射影変換部３１は、画像データの対角を角度で等分割することにより、各像点に対応する入射角θを算出する。即ち、射影変換部３１は、光学系１１の光学特性情報に基づいて対角画角を取得し、取得した対角画角に基づいて、各像点に対応する入射角θを算出する。
【００４２】
射影変換部３１は、中心射影展開を行う場合、画像データ上の光学系１１の光軸中心の位置を中心として各像点の座標を変換する。例えば、図５に示されるように、射影変換部３１は、等距離射影方式の画像データにおいてｈ＝ｆ・θの位置にある各像点をｆ・ｔａｎθの位置に座標変換することにより、等距離射影方式の画像データを中心射影方式の画像データに変換する。
静止画撮影の場合、撮像面の中心と光学系１１の光軸中心とが一致した状態で露光が開始される。この為、静止画撮影における画像データの画角中心と、光学系１１の光軸中心とが一致する。射影変換部３１は、中心射影展開を行う場合、画像データの画角中心の位置を中心として各像点の座標を変換する。
なお、射影変換部３１は、等距離射影方式の画像データを中心射影方式の画像データに変換するのではなく、等距離射影方式の画像データを他の射影方式の画像データに変換する構成であってもよい。
【００４３】
画角切り出し部３２は、射影変換部３１によって中心射影方式に変換された画像データを切り出すトリミングを行う（ステップＳ１４）。図７は、画角切り出し部３２により実行されるトリミングの例について説明する為の説明図である。画角切り出し部３２は、画像ファイルとして記録する画角に応じて、中心射影方式に変換された画像データ上に切り出し領域を設定する。画角切り出し部３２は、例えば、中心射影方式に変換された画像データの中心を中心として矩形状の切り出し領域を設定する。画角切り出し部３２は、中心射影方式の画像データを切り出し領域で切り出す。
【００４４】
システムコントローラ２３は、画角切り出し部３２により切り出された画像データを記録用の画像フォーマットに変換することによって、記録用の画像ファイルを生成する（ステップＳ１５）。システムコントローラ２３は、画像ファイルを記録媒体２７に記録し（ステップＳ１６）、静止画撮影処理を終了する。
【００４５】
図８は、動画記録処理を行う際の撮像装置１の動作を示すフローチャートである。なお、図８では、射影変換に関する動作について示しているが、手ブレ補正に関わる制御、及び撮像素子２１の露光制御などが並行して実行されている。また、撮像素子２１の撮像面の水平方向の像ブレ補正と、撮像素子２１の撮像面の垂直方向の像ブレ補正と、が同時に行われるが、それぞれの像ブレ補正の動作は同様である為、水平方向の像ブレ補正を例に挙げて説明する。
【００４６】
動画記録処理を行う操作が行われた場合、カメラ本体３のシステムコントローラ２３は、交換レンズ２による自動合焦の制御、及び撮像素子２１による露光制御などの制御を行うことにより、撮像素子２１により露光を開始させる。
【００４７】
動画記録処理を行う場合、システムコントローラ２３は、撮像素子２１による露光を継続して実行させつつ、撮像素子２１から周期的に映像の読み出しを行う（ステップＳ２１）。上記したように、光学系１１が等距離射影方式で構成されたレンズである場合、システムコントローラ２３は、１フレーム分の等距離射影方式の画像データを撮像素子２１から取得する。
【００４８】
システムコントローラ２３は、射影変換処理を実施するかを判定する。（ステップＳ２２）。例えば、システムコントローラ２３は、予めＬＣＵ１３から取得した光学特性情報の射影方式が等距離射影方式である場合、即ち、等距離射影方式の光学系１１を備える交換レンズ２とカメラ本体３とが接続されている場合に射影変換処理を実施すると判定する。また、例えば、システムコントローラ２３は、射影変換部３１による射影変換処理の実施／非実施の設定を記憶するメモリを備える。システムコントローラ２３は、メモリを参照して射影変換部３１による射影変換処理を実施する設定になっており、交換レンズ２の光学系１１が等距離射影方式である場合に射影変換処理を行うと判定する構成であってもよい。
【００４９】
ステップＳ２２で、射影変換処理を実施しないと判定した場合（ステップＳ２２、ＮＯ）、システムコントローラ２３は、射影変換処理を行わずにステップＳ２５の処理に移行する。
【００５０】
また、ステップＳ２２で、射影変換処理を実施すると判定した場合（ステップＳ２２、ＹＥＳ）、システムコントローラ２３の射影変換部３１は、ステップＳ２１で取得した等距離射影方式の画像データに基づいて射影変換処理を行う（ステップＳ２３）。射影変換部３１は、射影変換処理を行う場合、ステップＳ２１で取得した等距離射影方式の画像データ上における光学系１１の光軸中心の位置を特定し、特定した光軸中心を中心として等距離射影方式の画像データを中心射影方式のデータに変換する。
【００５１】
画角切り出し部３２は、射影変換部３１によって中心射影方式に変換された画像データを切り出すトリミングを行う（ステップＳ２４）。画角切り出し部３２は、図７で示した例と同様にトリミングを行う。画角切り出し部３２は、画像ファイルとして記録する画角に応じて、中心射影方式に変換された画像データ上に切り出し領域を設定する。画角切り出し部３２は、例えば、中心射影方式に変換された画像データの中心を中心として矩形状の切り出し領域を設定する。画角切り出し部３２は、中心射影方式の画像データを切り出し領域で切り出す。
【００５２】
システムコントローラ２３は、切り出された画像データを動画フォーマットに圧縮し（ステップＳ２５）、記録媒体２７に動画データとして記録する（ステップＳ２６）。
【００５３】
さらに、システムコントローラ２３は、動画記録処理が継続されているか否か判断する（ステップＳ２７）。動画記録処理が継続されていると判断した場合（ステップＳ２７、ＹＥＳ）、システムコントローラ２３は、ステップＳ２１に移行し次のフレームの動画記録処理を行う。動画記録処理が継続されていないと判断した場合（ステップＳ２７、ＮＯ）、システムコントローラ２３は、動画記録処理を終了する。
【００５４】
次に、上記のステップＳ２３の射影変換処理について図９乃至図１１を用いて説明する。図９は、射影変換処理を行う際の撮像装置１の動作を示すフローチャートである。
【００５５】
上記したように、撮像素子２１の撮像面を移動させるセンサシフト方式によってブレ補正を行いつつ動画記録処理を行う際、１つ前のフレームの露光時に撮像面が移動している可能性がある。この為、露光開始時に撮像面の中心と光学系１１の光軸中心とが一致しない場合がある。この為、射影変換部３１は、等距離射影方式の画像データを中心射影方式の画像データに変換する前に、等距離射影方式の画像データ上での光学系１１の光軸中心の位置を画像データの画角の中心に変換する光軸中心変換を行う。
【００５６】
射影変換部３１は、センサシフト方式のブレ補正による撮像面の移動量を算出することによって、光学系１１の光軸中心の移動位置を算出する（ステップＳ３１）。センサシフト方式のブレ補正では、手ブレに伴う角度変化により生じる像の移動を打ち消すように、撮像面を移動させる。この為、撮像面の移動に応じて撮像面上での光学系１１の光軸中心の位置が移動する。等距離射影方式では、手ブレに伴う光の入射角の変化と、撮像面上での被写体像の移動量と、が一致（または比例）する。このため、射影変換部３１は、交換レンズ２の光学特性情報に基づいて撮像面上での対角画角を認識し、角速度信号に基づいて撮像面上での光学系１１の光軸中心の位置の移動量を算出する。
【００５７】
次に、射影変換部３１は、画角の中心と光学系１１の光軸の中心とがずれた画像データを、画角の中心と光学系１１の光軸の中心とが一致した画像データに変換する光軸中心変換を行なう（ステップＳ３２）。
【００５８】
図１０及び図１１は、光軸中心変換について説明する為の説明図である。図１０は、等距離射影の光学系で全天（１８０°全視野）を結像した場合の像の座標を示す。光学系が等距離射影である為、光軸の中心から視野端（９０°）までを角度に比例した等間隔で刻むことができる。図１０の例では１０°ごとに同心円状の座標を示している。等距離射影方式の光学系は、無限遠に位置し且つ光軸と重なる直線を撮影視野の一方の縁から他方の縁に亘って直線の被写体像として結像させる。しかし、等距離射影方式の光学系は、角度のずれがある場合、即ち無限遠に位置し且つ光軸と重ならない直線を撮影視野の一方の縁から他方の縁に亘って歪んだ線の被写体像として結像させる。被写体像の歪みは、像点への光の入射角と光軸とが成す角度に比例して大きくなる。
【００５９】
図１０の例では、Ｘ方向（水平方向）及びＹ方向（垂直方向）にそれぞれ１０°ずれる毎に直線の射影を破線として示している。Ｘ方向への角度のずれをθｘとし、Ｙ方向への角度のずれをθｙとした場合、縦線及び横線を以下の座標で近似することができる。  
縦線：（θｘ・ＳＩＮθｙ  ，θｙ            ）  
横線：（θｘ             ，θｙ・ＳＩＮθｘ）
例えば、図１０に示される被写体像を図１１（Ａ）により示されるように対角画角１００°、水平画角約８０°、及び垂直画角約６０°の撮影視野で切り出す。この場合、画像内の歪みは、光軸中心と、対角画角と、から推定することができる。
【００６０】
例えば、図１１（Ｂ）に示されるように画像の中心を（０，０）とし、水平方向にΔθｘ、垂直方向にΔθｙの角度変化が生じた場合、光学系１１の光軸の中心は、画角内の（Δθｘ、Δθｙ）に移動する。
【００６１】
射影変換部３１は、光学系１１の光軸の中心を撮影視野で切り出された画像の中心になるように座標変換を行う。例えば、射影変換部３１は、図１１（Ｂ）に示される画像を図１１（Ｃ）に示されるように光学系１１の光軸の中心を画像のＸ方向の中心に変換する。この場合、射影変換部３１は、座標（θｘ・ｓｉｎθｙ，θｙ）の像点を座標（θｘ・ｓｉｎ（θｙ−Δθｙ），θｙ）に移動する。さらに、射影変換部３１は、図１１（Ｃ）に示される画像を図１１（Ｄ）に示されるように光学系１１の光軸の中心を画像のＹ方向の中心に変換する。この場合、射影変換部３１は、座標（θｘ，θｙ・ｓｉｎθｘ）の像点を座標（θｘ，θｙ・ｓｉｎ（θｘ−Δθｘ））に移動する。
【００６２】
上記の処理により、射影変換部３１は、図１１（Ｂ）に示すように画角の中心と光学系１１の光軸の中心とがずれた画像を、図１１（Ｄ）に示すように画角の中心と光学系１１の光軸の中心とが一致した画像に変換する。
【００６３】
なお、射影変換部３１による光軸中心変換は、上記した方法に限られるものではない。射影変換部３１は、如何なる方法で光軸中心変換を行う構成であってもよい。
【００６４】
図９に示すように射影変換部３１は、ステップＳ３２で光軸中心変換した等距離射影方式の画像データを中心射影方式の画像データに変換する（ステップＳ３３）。例えば、射影変換部３１は、ステップＳ３２で光軸中心変換した等距離射影方式の画像データにおいてｈ＝ｆ・θの位置にある各像点をｆ・ｔａｎθの位置に座標変換することにより、等距離射影方式の画像データを中心射影方式の画像データに変換する。
【００６５】
なお、射影変換部３１によりステップＳ３１乃至ステップＳ３３に示す射影変換処理が実行されることにより画像データが引き伸ばされる。この為、射影変換部３１は、引き伸ばされた画像データのシャープネスを調整する、または再サンプリングなどの既知の手法によって引き伸ばしに伴う画像の劣化を補正する構成であってもよい。
【００６６】
上記したように、撮像装置１の光学系１１は、入射光の入射角の変化に対して被写体像の像移動量が一様である等距離射影方式で構成され、被写体からの光を撮像素子２１の撮像面に被写体像として結像させる。撮像装置１の光学系１１のブレ補正部２２及びブレ補正マイコン２４は、撮像装置１の姿勢変化に伴って生じた角速度に応じて撮像素子２１の撮像面をシフトさせることにより、撮像装置１の姿勢変化に伴って生じる被写体像のブレを補正する。撮像装置１のシステムコントローラ２３は、ブレ補正部２２及びブレ補正マイコン２４によって被写体像のブレを補正しつつ、撮像素子２１により露光を行うことにより、ブレが補正された等距離射影方式の画像データを取得する。撮像装置１は、取得した等距離射影方式の画像データを中心射影方式の画像データに変換する。
【００６７】
このような構成によると、撮像装置１は、入射光の入射角の変化に対して被写体像の像移動量が一様である被写体像と、撮像素子２１の撮像面との位置関係を調整してブレ補正を行うことができる。これにより、中心射影方式の被写体像に対してブレ補正を行うときのように、像移動量に対してブレ補正量が大きくなるまたは小さくなることを防ぐことができる。この結果、撮像装置１は、全域に亘って適切にブレ補正が行われた中心射影方式の画像データを取得することができる。
【００６８】
さらに、撮像装置１のシステムコントローラ２３は、露光開始時に既に撮像素子２１の撮像面がシフトされている場合、撮像された画像データにおいて光学系１１の光軸中心と重なる座標を特定し、特定した座標を画像データの画角の中心に変換する光軸中心変換を行った上で等距離射影方式の画像データを中心射影方式の画像データに変換する。これにより、撮像装置１は、露光開始時に既に撮像素子２１の撮像面がシフトされている場合であっても、全域に亘って適切にブレ補正が行われた中心射影方式の画像データを取得することができる。
【００６９】
（第２の実施形態）  
以下図１２乃至図１４を用いて第２の実施形態に係る撮像装置１Ａの例について説明する。なお、第１の実施形態に係る撮像装置１と同様の構成については同じ参照符号を付し、その詳細な説明を省略する。
【００７０】
図１２は、撮像装置１Ａの構成例を示す。撮像装置１Ａは、電子式ブレ補正を行うレンズ一体型カメラである。例えば、撮像装置１Ａは、動画撮影を専門とする所謂アクションカメラである。撮像装置１Ａは、光学系１１Ａ、撮像素子２１、システムコントローラ２３Ａ、ＥＶＦ２６、記録媒体２７、及び操作部２８を備える。
【００７１】
光学系１１Ａは、等距離射影方式の撮像レンズである。光学系１１Ａは、焦点距離を変更することができない単焦点レンズである点が光学系１１と異なる。
【００７２】
システムコントローラ２３Ａは、システムコントローラ２３と同様に、例えばＣＰＵ、及びメモリなどを含み、撮像装置１Ａの動作を制御するコントローラである。システムコントローラ２３Ａは、撮像素子２１による露光の制御、画像データの読み出し、及び読み出した画像データに対する画像処理を行う。システムコントローラ２３Ａは、射影変換部３１Ａ、画角切り出し部３２Ａ、ブレ検出部３３Ａ、及びブレ補正部３４Ａを備える。
【００７３】
ブレ検出部３３Ａは、連続して取得した複数の画像データに基づいて、撮像装置１の姿勢変化に伴う像移動量を検出する。例えば、ブレ検出部３３Ａは、連続して取得した複数の画像データからパターンマッチングにより移動ベクトルを検出することにより像移動量を検出する。
【００７４】
ブレ補正部３４Ａは、検出された像移動量に基づいて、撮像素子２１により取得した画像データにおける有効領域を特定する。有効領域は、画像データのファイルとして残す領域を示す。ブレ補正部３４Ａは、画像データの有効領域内の画像をフレーム画像として切り出す（抽出する）。フレーム画像は、連続して撮影された画像データであり、動画像を構成する要素である。
【００７５】
例えば、ブレ補正部３４Ａは、図１３（Ａ）に示されるように、補正を行わない場合、即ち像移動量が無い場合に有効領域の中心（画角の中心）と光学系１１の光軸中心とが一致した有効領域を特定する。さらに、ブレ補正部３４Ａは、図１３（Ａ）に示されるように、像移動量に応じて有効領域を移動させる。具体的には、ブレ補正部３４Ａは、像が移動した方向及び長さと同じ方向及び長さで有効領域を移動させる。これにより、ブレ補正部３４Ａは、連続して取得した複数のフレーム画像における被写体像の位置のブレに伴う変化を抑えることができる。さらに、ブレ補正部３４Ａは、ブレ検出部３３Ａから供給された像移動量を露光開始から累積して計算することによって、各フレーム画像の画角の中心と、光学系１１Ａの光軸中心とのずれを認識する。
【００７６】
射影変換部３１Ａは、フレーム画像の射影方式を変換する射影変換を行う。射影変換部３１Ａは、射影変換処理を行う場合、図１３（Ｂ）に示されるように、フレーム画像上における光学系１１の光軸中心の位置を特定し、特定した光軸中心を中心としてフレーム画像を中心射影方式の画像データに変換する。
【００７７】
画角切り出し部３２Ａは、射影変換部３１Ａによって中心射影方式に変換された画像データを切り出すトリミングを行う。画角切り出し部３２Ａは、射影変換部３１Ａによって中心射影方式に変換された画像データ上における、射影変換処理を行う前のフレーム画像の画角の中心に対応する像点を特定する。画角切り出し部３２Ａは、特定した像点を中心として所定の画角を切り出すトリミングを行う。
【００７８】
図１４は、動画記録処理を行う際の撮像装置１Ａの動作を示すフローチャートである。なお、撮像装置１Ａは、図１４に示す動作の他に、撮像素子２１の露光制御などを並行して実行する。
【００７９】
動画記録処理を行う操作が行われた場合、撮像装置１Ａのシステムコントローラ２３Ａは、撮像素子２１による露光制御などの制御を行うことにより、撮像素子２１により露光を開始させる。
【００８０】
動画記録処理を行う場合、システムコントローラ２３Ａは、撮像素子２１による露光を継続して実行させつつ、撮像素子２１から周期的に映像の読み出しを行う（ステップＳ４１）。上記したように、光学系１１Ａが等距離射影方式で構成されたレンズである場合、システムコントローラ２３Ａは、１フレーム分の等距離射影方式の画像データを撮像素子２１から取得する。
【００８１】
システムコントローラ２３Ａのブレ検出部３３Ａは、既に取得した画像データと、ステップＳ４１で取得した画像データとを比較することにより、移動ベクトルを抽出する（ステップＳ４２）。例えば、システムコントローラ２３Ａのブレ検出部３３Ａは、既に取得した１つ前の画像データと、ステップＳ４１で取得した画像データとでパターンマッチングなどを行うことによって、前の画像データにおける被写体像の位置とステップＳ４１で取得した画像データにおける被写体像の位置との差を移動ベクトルとして抽出する。
【００８２】
システムコントローラ２３Ａのブレ補正部３４Ａは、ステップＳ４２で抽出した移動ベクトルに基づいて、ステップＳ４１で取得した画像データ上に有効領域を特定する（ステップＳ４３）。システムコントローラ２３Ａは、有効領域内の画像をフレーム画像として切り出す。例えば、システムコントローラ２３Ａのブレ補正部３４Ａは、既に取得した１つ前の画像データの撮像時の有効領域を移動ベクトルに応じて動かすことにより新たな有効領域を特定する。
【００８３】
システムコントローラ２３Ａは、射影変換処理を実施するかを判定する。（ステップＳ４４）。例えば、システムコントローラ２３Ａは、システムコントローラ２３Ａは、射影変換部３１Ａによる射影変換処理の実施／非実施の設定を記憶するメモリを備える。システムコントローラ２３Ａは、メモリを参照して射影変換部３１Ａによる射影変換処理を実施する設定になっている場合に射影変換処理を行うと判定する構成であってもよい。
【００８４】
ステップＳ４４で、射影変換処理を実施しないと判定した場合（ステップＳ４４、ＮＯ）、システムコントローラ２３Ａは、射影変換処理を行わずにステップＳ４７の処理に移行する。
【００８５】
また、ステップＳ４４で、射影変換処理を実施すると判定した場合（ステップＳ４４、ＹＥＳ）、システムコントローラ２３Ａの射影変換部３１Ａは、ステップＳ４３で取得したフレーム画像に基づいて射影変換処理を行う（ステップＳ４５）。射影変換部３１Ａは、射影変換処理を行う場合、フレーム画像上における光学系１１の光軸中心の位置を特定し、特定した光軸中心を中心としてフレーム画像を中心射影方式のデータに変換する。例えば、射影変換部３１Ａは、ブレ補正部３４Ａにより認識した各フレーム画像の画角の中心と光学系１１Ａの光軸中心とのずれに基づいてフレーム画像上の光学系１１の光軸中心の位置を特定する。
【００８６】
なお、射影変換処理は、図９に示す例と同様である為、詳細な説明を省略する。本実施形態における射影変換処理は、以下の点で第１の実施形態の射影変換処理と異なる。第１の実施形態では、画角の中心からずれた光軸中心を画角の中心に戻す為に、角度の変化量であるΔθｘ及びΔθｙを座標（θｘ・ｓｉｎθｙ，θｙ）の像点を座標（θｘ・ｓｉｎ（θｙ−Δθｙ），θｙ）に移動し、座標（θｘ，θｙ・ｓｉｎθｘ）の像点を座標（θｘ，θｙ・ｓｉｎ（θｘ−Δθｘ））に移動した。しかし、第２の実施形態では、画角の中心にある光軸中心を、角度の変化量であるΔθｘ及びΔθｙに応じた位置に移動させる。この為、射影変換部３１Ａは、座標（θｘ・ｓｉｎθｙ，θｙ）の像点を座標（θｘ・ｓｉｎ（θｙ＋Δθｙ），θｙ）に移動し、座標（θｘ，θｙ・ｓｉｎθｘ）の像点を座標（θｘ，θｙ・ｓｉｎ（θｘ＋Δθｘ））に移動する。
【００８７】
画角切り出し部３２Ａは、射影変換部３１Ａによって中心射影方式に変換されたフレーム画像を切り出すトリミングを行う（ステップＳ４６）。画角切り出し部３２Ａは、中心射影方式に変換された画像データ上における、射影変換処理を行う前のフレーム画像の画角の中心に対応する像点を特定する。画角切り出し部３２Ａは、画像ファイルとして記録する画角に応じて、特定した像点を中心として中心射影方式に変換されたフレーム画像上に切り出し領域を設定する。画角切り出し部３２Ａは、中心射影方式のフレーム画像を切り出し領域で切り出す。
【００８８】
システムコントローラ２３Ａは、切り出されたフレーム画像を動画フォーマットに圧縮し（ステップＳ４７）、記録媒体２７に動画データとして記録する（ステップＳ４８）。
【００８９】
さらに、システムコントローラ２３Ａは、動画記録処理が継続されているか否か判断する（ステップＳ４９）。動画記録処理が継続されていると判断した場合（ステップＳ４９、ＹＥＳ）、システムコントローラ２３Ａは、ステップＳ４１に移行し次のフレームの動画記録処理を行う。動画記録処理が継続されていないと判断した場合（ステップＳ４９、ＮＯ）、システムコントローラ２３Ａは、動画記録処理を終了する。
【００９０】
上記した構成によっても、第１の実施形態と同様に、撮像装置１Ａは、入射光の入射角の変化に対して被写体像の像移動量が一様である被写体像と、撮像素子２１の撮像面との位置関係を調整してブレ補正を行うことができる。この結果、撮像装置１Ａは、全域に亘って適切にブレ補正が行われた中心射影方式の画像データを取得することができる。
【００９１】
さらに、第１の実施形態において検出されたブレが大きい場合、即ち、ジャイロセンサ２５により検出された角速度が予め設定された閾値以上である場合に、第１の実施形態で示された構成に第２の実施形態として示した電子式ブレ補正を行う構成を組み合わせてもよい。これにより、大きなブレを補正することが可能になる。
【００９２】
またさらに、第１の実施形態において露光開始時に光学系１１の光軸中心と撮像面の中心とがずれていた場合、第１の実施形態で示された構成に画像データの画角の中心を光軸中心と一致させる光軸中心変換を行う構成を組み合わせてもよい。
【００９３】
（第３の実施形態）  
以下図１５及び図１６を用いて第３の実施形態に係る撮像装置１Ｂの例について説明する。なお、第１の実施形態に係る撮像装置１と同様の構成については同じ参照符号を付し、その詳細な説明を省略する。
【００９４】
図１５は、撮像装置１Ｂの構成例を示す。撮像装置１Ｂは、レンズシフト式ブレ補正を行うレンズ一体型カメラである。例えば、撮像装置１Ｂは、携帯電話やスマートフォンなどのモバイル端末に組み込まれて使用される撮像モジュールである。撮像装置１Ｂは、光学系１１Ｂ、レンズ駆動部１５Ｂ、撮像素子２１、システムコントローラ２３Ｂ、及びジャイロセンサ２５を備える。
【００９５】
光学系１１Ｂは、等距離射影方式の撮像レンズである。光学系１１Ａは、焦点距離を変更することができない単焦点レンズであり、且つ撮像素子２１の撮像面上に結像される被写体像のブレを補正する補正レンズを備える点が光学系１１と異なる。
【００９６】
レンズ駆動部１５Ｂは、光学系１１Ｂの補正レンズを駆動することにより、撮像素子２１の撮像面上に結像される被写体像のブレを補正する。レンズ駆動部１５Ｂは、システムコントローラ２３Ｂから供給される駆動信号に応じて光学系１１Ｂの補正レンズを駆動することにより、撮像素子２１の撮像面上に結像される被写体像を撮像面上で移動させることにより、撮像面と被写体像との位置関係を調整してブレを補正する。
【００９７】
システムコントローラ２３Ｂは、システムコントローラ２３と同様に、例えばＣＰＵ、及びメモリなどを含み、撮像装置１Ｂの動作を制御するコントローラである。システムコントローラ２３Ｂは、撮像素子２１による露光の制御、画像データの読み出し、及び読み出した画像データに対する画像処理を行う。システムコントローラ２３Ｂは、例えば、撮像装置１Ｂが組み込まれる上位装置から操作信号、及び制御信号などを受けとって種々の処理を実行する。システムコントローラ２３Ｂは、射影変換部３１Ｂ、画角切り出し部３２Ｂ、ブレ補正量算出部３５Ｂ、及び映像出力部３６Ｂを備える。
【００９８】
ブレ補正量算出部３５Ｂは、例えば、ジャイロセンサ２５から供給される角速度信号、及び光学系１１Ｂの焦点距離、及び射影方式などを示す光学特性情報に基づいてレンズ駆動部１５Ｂを制御することにより、像ブレを補正する。ブレ補正量算出部３５Ｂは、角速度信号及び光学特性情報に基づいて撮像面上での被写体像の像ブレの方向と像移動量とを算出する。ブレ補正量算出部３５Ｂは、算出した像ブレの方向と像移動量とに応じて像ブレを打ち消す方向に被写体像を移動させるようにレンズ駆動部１５Ｂによって補正レンズを駆動させることにより、像ブレを補正する。即ち、ブレ補正量算出部３５Ｂは、等距離射影方式の光学系１１Ｂにより撮像面上に結像された被写体像（等距離射影像）と撮像面との位置関係を調整することにより、像ブレを補正する。なお、ブレ補正量算出部３５Ｂは、撮像装置１Ｂが組み込まれる上位装置から角速度信号を受けとってブレ補正を行う構成であってもよい。
【００９９】
射影変換部３１Ｂは、撮像素子２１から読み出した画像データの射影方式を変換する射影変換を行う。
【０１００】
画角切り出し部３２Ｂは、射影変換部３１によって中心射影方式に変換された画像データを切り出すトリミングを行う。
【０１０１】
映像出力部３６Ｂは、画角切り出し部３２Ｂによりトリミングされた画像データを撮像装置１Ｂから出力する。例えば、映像出力部３６Ｂは、トリミングされた画像データに同期信号を付加して映像信号（映像フレーム）として撮像装置１Ｂが組み込まれる上位装置に対して出力する。映像信号は、例えば垂直同期信号及び水平同期信号に同期した各画素の色情報である。映像出力部３６Ｂは、トリミングされた画像データに同期信号を付加して映像信号として撮像装置１Ｂが組み込まれる上位装置に出力することにより、上位装置にスルー画表示などを行わせることができる。
【０１０２】
図１６は、動画記録処理を行う際の撮像装置１Ｂの動作を示すフローチャートである。なお、撮像装置１Ｂは、図１６に示す動作の他に、撮像素子２１の露光制御及び手ブレ補正に関わる制御などを並行して実行する。
【０１０３】
映像出力を開始する制御信号が上位装置から入力された場合、撮像装置１Ｂのシステムコントローラ２３Ｂは、撮像素子２１による露光制御などの制御を行うことにより、撮像素子２１により露光を開始させる。
【０１０４】
映像出力を開始する場合、システムコントローラ２３Ｂは、撮像素子２１による露光を継続して実行させつつ、撮像素子２１から周期的に映像の読み出しを行う（ステップＳ５１）。上記したように、光学系１１Ｂが等距離射影方式で構成されたレンズである場合、システムコントローラ２３Ｂは、１フレーム分の等距離射影方式の画像データを撮像素子２１から取得する。
【０１０５】
システムコントローラ２３Ｂの射影変換部３１Ｂは、ステップＳ５１で取得した等距離射影方式の画像データを中心射影方式の画像データに変換する射影変換処理を行う（ステップＳ５２）。射影変換部３１Ｂは、例えば、図９に示される射影変換処理と同様の方法によって等距離射影方式の画像データを中心射影方式の画像データに変換する。
【０１０６】
画角切り出し部３２Ｂは、射影変換部３１Ｂによって中心射影方式に変換された画像データを切り出すトリミングを行う（ステップＳ５３）。画角切り出し部３２は、画像ファイルとして記録する画角に応じて、中心射影方式に変換された画像データ上に切り出し領域を設定し、トリミングする。
【０１０７】
映像出力部３６Ｂは、画角切り出し部３２Ｂにより切り出された画像データに同期信号を付加して映像信号として出力する（ステップＳ５４）。
【０１０８】
さらに、システムコントローラ２３Ｂは、映像出力を終了するか否か判断する（ステップＳ５５）。例えば、システムコントローラ２３Ｂは、上位装置から入力される制御信号に応じて、映像出力を終了するか否か判断する。映像出力を終了しないと判断した場合（ステップＳ５５、ＮＯ）、システムコントローラ２３Ｂは、ステップＳ５１に移行し次のフレームの映像出力を行う。映像出力を終了すると判断した場合（ステップＳ５５、ＹＥＳ）、システムコントローラ２３Ｂは、映像出力を終了する。
【０１０９】
上記した構成によっても、第１の実施形態と同様に、撮像装置１Ｂは、入射光の入射角の変化に対して被写体像の像移動量が一様である被写体像と、撮像素子２１の撮像面との位置関係を調整してブレ補正を行うことができる。この結果、撮像装置１Ｂは、全域に亘って適切にブレ補正が行われた中心射影方式の画像データを取得することができる。
【０１１０】
さらに、第１の実施形態において検出されたブレが大きい場合、即ち、ジャイロセンサ２５により検出された角速度が予め設定された閾値以上である場合に、第１の実施形態で示された構成に第３の実施形態として示したレンズ式ブレ補正を行う構成を組み合わせてもよい。これにより、大きなブレを補正することが可能になる。またさらに、第１の実施形態で示された構成に第２の実施形態として示した電子式ブレ補正及び第３の実施形態として示したレンズ式ブレ補正を行う構成を組み合わせてもよい。
【０１１１】
（第４の実施形態）  
以下図１７及び図１８を用いて第４の実施形態に係る撮像装置１Ｃの例について説明する。なお、第１の実施形態に係る撮像装置１と同様の構成については同じ参照符号を付し、その詳細な説明を省略する。
【０１１２】
図１７は、撮像装置１Ｃの構成例を示す。撮像装置１Ｃは、電子式ブレ補正を行うレンズ一体型カメラである。例えば、撮像装置１Ｃは、動画撮影を専門とする所謂アクションカメラである。撮像装置１Ｃは、光学系１１Ｃ、撮像素子２１、システムコントローラ２３Ｃ、ジャイロセンサ２５、ＥＶＦ２６、記録媒体２７、及び操作部２８を備える。
【０１１３】
光学系１１Ｃは、等距離射影方式の撮像レンズである。光学系１１Ｃは、焦点距離を変更することができない単焦点レンズである点が光学系１１と異なる。
【０１１４】
システムコントローラ２３Ｃは、システムコントローラ２３と同様に、例えばＣＰＵ、及びメモリなどを含み、撮像装置１Ｃの動作を制御するコントローラである。システムコントローラ２３Ｃは、撮像素子２１による露光の制御、画像データの読み出し、及び読み出した画像データに対する画像処理を行う。システムコントローラ２３Ｃは、射影変換部３１Ｃ、画角切り出し部３２Ｃ、像移動量検出部３７Ｃ、及びブレ補正部３８Ｃを備える。
【０１１５】
像移動量検出部３７Ｃは、ジャイロセンサ２５から供給される角速度信号、光学系１１Ｃの焦点距離、及び光学系１１Ｃの射影方式などを示す光学特性情報に基づいて撮像素子２１の撮像面上における被写体像の像移動量を検出する。例えば、像移動量検出部３７Ｃは、角速度信号が示す撮像素子２１の撮像面の垂直方向を軸としたヨー方向における回転運動の量に応じて、撮像面上における被写体像の水平方向の像移動量を検出する。また、像移動量検出部３７Ｃは、角速度信号が示す撮像素子２１の撮像面の水平方向を軸としたピッチ方向における回転運動の量に応じて、撮像面上における被写体像の垂直方向の像移動量を検出する。また、像移動量検出部３７Ｃは、角速度信号が示す光学系１１Ｃの光軸を軸としたロール方向における回転運動の量に応じて、撮像面上における被写体像のロール方向の像回転量を検出する。
【０１１６】
ブレ補正部３８Ｃは、検出された像移動量及び像回転量に基づいて、撮像素子２１により取得した画像データのファイルとして残す領域（有効領域）を設定し、有効領域内の画像をフレーム画像として切り出す。フレーム画像は、連続して撮影された画像データであり、動画像を構成する要素である。また、ブレ補正部３８Ｃは、像移動量検出部３７Ｃから供給された像移動量及び像回転量を露光開始から累積して計算することによって、各フレーム画像の画角の中心と、光学系１１Ｃの光軸中心とのずれを認識する。
【０１１７】
例えば、ブレ補正部３８Ｃは、像移動量検出部３７Ｃにより検出された撮像面上における被写体像のロール方向の像回転量に基づいて、画像データを回転させる。具体的には、ブレ補正部３８Ｃは、像移動量検出部３７Ｃにより検出された撮像面上における被写体像のロール方向の像回転量を打ち消すように画像データを回転させる。また、ブレ補正部３８Ｃは、像移動量検出部３７Ｃにより検出された撮像面上における被写体像の水平方向の像移動量に基づいて、回転させた画像データ上における有効領域の水平方向の画角の中心の位置を特定する。また、ブレ補正部３８Ｃは、像移動量検出部３７Ｃにより検出された撮像面上における被写体像の垂直方向の像移動量に基づいて、回転させた画像データ上における垂直方向の画角の中心の位置を特定する。ブレ補正部３８Ｃは、回転させた画像データ上に特定した位置を画角の中心とする有効領域を特定する。ブレ補正部３８Ｃは、回転させた画像データ上に特定した位置を画角の中心とする有効領域を特定する。
【０１１８】
射影変換部３１Ｃは、フレーム画像の射影方式を変換する射影変換を行う。射影変換部３１Ｃは、射影変換処理を行う場合、フレーム画像上における光学系１１Ｃの光軸中心の位置を特定し、特定した光軸中心を中心としてフレーム画像を中心射影方式の画像データに変換する。
【０１１９】
画角切り出し部３２Ｃは、射影変換部３１Ｃによって中心射影方式に変換された画像データを切り出すトリミングを行う。画角切り出し部３２Ｃは、射影変換部３１Ｃによって中心射影方式に変換された画像データ上における、射影変換処理を行う前のフレーム画像の画角の中心に対応する像点を特定する。画角切り出し部３２Ｃは、特定した像点を中心として所定の画角を切り出すトリミングを行う。
【０１２０】
図１８は、動画記録処理を行う際の撮像装置１Ｃの動作を示すフローチャートである。なお、撮像装置１Ｃは、図１８に示す動作の他に、撮像素子２１の露光制御などを並行して実行する。
【０１２１】
動画記録処理を行う操作が行われた場合、撮像装置１Ｃのシステムコントローラ２３Ｃは、撮像素子２１による露光制御などの制御を行うことにより、撮像素子２１により露光を開始させる。
【０１２２】
動画記録処理を行う場合、システムコントローラ２３Ｃは、撮像素子２１による露光を継続して実行させつつ、撮像素子２１から周期的に映像の読み出しを行う（ステップＳ６１）。上記したように、光学系１１Ｃが等距離射影方式で構成されたレンズである場合、システムコントローラ２３Ｃは、１フレーム分の等距離射影方式の画像データを撮像素子２１から取得する。
【０１２３】
システムコントローラ２３Ｃの像移動量検出部３７Ｃは、ジャイロセンサ２５から供給される角速度信号に基づいて、被写体像の像移動量及び像回転量を検出する（ステップＳ６２）。例えば、像移動量検出部３７Ｃは、角速度信号が示すヨー方向及びピッチ方向の回転運動の量に応じて、被写体像の水平方向及び垂直方向の像移動量を検出する。また、像移動量検出部３７Ｃは、角速度信号が示すロール方向における回転運動の量に応じて、被写体像のロール方向の像回転量を検出する。
【０１２４】
システムコントローラ２３Ｃのブレ補正部３８Ｃは、ステップＳ６２で抽出した像回転量に基づいて、画像データを回転させる（ステップＳ６３）。例えば、ブレ補正部３８Ｃは、被写体像のロール方向の像回転量を打ち消すように画像データを回転させる。
【０１２５】
システムコントローラ２３Ｃのブレ補正部３８Ｃは、ステップＳ６２で抽出した像移動量に基づいて、ステップＳ６３で回転させた画像データ上に有効領域を特定する（ステップＳ６４）。システムコントローラ２３Ｃは、有効領域内の画像をフレーム画像として切り出す。
【０１２６】
システムコントローラ２３Ｃは、射影変換処理を実施するかを判定する。（ステップＳ６５）。例えば、システムコントローラ２３Ｃは、射影変換部３１Ｃによる射影変換処理の実施／非実施の設定を記憶するメモリを備える。システムコントローラ２３Ｃは、メモリを参照して射影変換部３１Ｃによる射影変換処理を実施する設定になっている場合に射影変換処理を行うと判定する構成であってもよい。
【０１２７】
ステップＳ６５で、射影変換処理を実施しないと判定した場合（ステップＳ６５、ＮＯ）、システムコントローラ２３Ｃは、射影変換処理を行わずにステップＳ６８の処理に移行する。
【０１２８】
また、ステップＳ６５で、射影変換処理を実施すると判定した場合（ステップＳ６５、ＹＥＳ）、システムコントローラ２３Ｃの射影変換部３１Ｃは、ステップＳ６４で取得したフレーム画像に基づいて射影変換処理を行う（ステップＳ６６）。射影変換部３１Ｃは、射影変換処理を行う場合、フレーム画像上における光学系１１Ｃの光軸中心の位置を特定し、特定した光軸中心を中心としてフレーム画像を中心射影方式のデータに変換する。例えば、射影変換部３１Ｃは、ブレ補正部３８Ｃにより認識した各フレーム画像の画角の中心と光学系１１Ｃの光軸中心とのずれに基づいてフレーム画像上の光学系１１の光軸中心の位置を特定する。なお、射影変換処理は、図１４のステップＳ４５と同様である為、詳細な説明を省略する。
【０１２９】
画角切り出し部３２Ｃは、射影変換部３１Ｃによって中心射影方式に変換されたフレーム画像を切り出すトリミングを行う（ステップＳ６７）。画角切り出し部３２Ｃは、中心射影方式に変換されたフレーム画像上における、射影変換処理を行う前のフレーム画像の画角の中心に対応する像点を特定する。画角切り出し部３２Ｃは、画像ファイルとして記録する画角に応じて、特定した像点を中心として中心射影方式に変換されたフレーム画像上に切り出し領域を設定する。画角切り出し部３２Ｃは、中心射影方式のフレーム画像を切り出し領域で切り出す。
【０１３０】
システムコントローラ２３Ｃは、切り出されたフレーム画像を動画フォーマットに圧縮し（ステップＳ６８）、記録媒体２７に動画データとして記録する（ステップＳ６９）。
【０１３１】
さらに、システムコントローラ２３Ｃは、動画記録処理が継続されているか否か判断する（ステップＳ７０）。動画記録処理が継続されていると判断した場合（ステップＳ７０、ＹＥＳ）、システムコントローラ２３Ｃは、ステップＳ６１に移行し次のフレームの動画記録処理を行う。動画記録処理が継続されていないと判断した場合（ステップＳ７０、ＮＯ）、システムコントローラ２３Ｃは、動画記録処理を終了する。
【０１３２】
上記した構成によると、撮像装置１Ｃは、光学系１１Ｃの光軸中心を軸としたロール方向の回転ブレを打ち消した上で、被写体像と撮像面との位置関係を像移動量に応じて調整することにより、ヨー軸、ピッチ軸、及びロール軸の回転ブレ補正を行うことができる。
【０１３３】
なお、本実施形態によると、撮像装置１Ｃは、システムコントローラ２３Ｃが画像処理によって光学系１１Ｃの光軸中心を軸としたロール方向の回転ブレを補正する構成であると説明したが、この構成に限定されない。例えば、撮像装置１Ｃは、撮像素子２１の撮像面をロール方向に回転させる回転機構を備え、ステップＳ６２で抽出した像回転量に基づいて回転機構によって撮像面をロール方向に回転させることにより回転ブレを補正する構成であってもよい。なお、回転ブレは、光軸を中心に被写体像が回転する。この為、撮像装置１Ｃは、ステップＳ６６の射影変換処理を行う前に回転ブレ補正を行う構成であれば、如何なる方法により回転ブレを補正する構成であってもよい。
【０１３４】
また、第１の実施形態において検出されたブレが大きい場合、即ち、ジャイロセンサ２５により検出された角速度が予め設定された閾値以上である場合に、第１の実施形態で示された構成に第４の実施形態として示した電子式ブレ補正を行う構成を組み合わせてもよい。これにより、より大きなブレを補正することが可能になる。
【０１３５】
なお、上述の各実施の形態で説明した機能は、ハードウエアを用いて構成するに留まらず、ソフトウエアを用いて各機能を記載したプログラムをコンピュータに読み込ませて実現することもできる。また、各機能は、適宜ソフトウエア、ハードウエアのいずれかを選択して構成するものであっても良い。
【０１３６】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【０１３７】
１…撮像装置、２…交換レンズ、３…カメラ本体、１１…光学系、１２…変倍部、１３…レンズコントロールユニット、２１…撮像素子、２２…ブレ補正部、２３…システムコントローラ、２４…ブレ補正マイクロコンピュータ、２５…ジャイロセンサ、２６…電子ビューファインダ、２７…記録媒体、２８…操作部、３１…射影変換部、３２…画像切り出し部、４１…アナログデジタル変換器、４２…基準値減算部、４３…補正量算出部、４４…ブレ補正制御部。
【図１】
2017067954.tif 000003
【図２】
2017067954.tif 000004
【図３】
2017067954.tif 000005
【図４】
2017067954.tif 000006
【図５】
2017067954.tif 000007
【図６】
2017067954.tif 000008
【図７】
2017067954.tif 000009
【図８】
2017067954.tif 000010
【図９】
2017067954.tif 000011
【図１０】
2017067954.tif 000012
【図１１Ａ】
2017067954.tif 000013
【図１１Ｂ】
2017067954.tif 000014
【図１１Ｃ】
2017067954.tif 000015
【図１１Ｄ】
2017067954.tif 000016
【図１２】
2017067954.tif 000017
【図１３Ａ】
2017067954.tif 000018
【図１３Ｂ】
2017067954.tif 000019
【図１４】
2017067954.tif 000020
【図１５】
2017067954.tif 000021
【図１６】
2017067954.tif 000022
【図１７】
2017067954.tif 000023
【図１８】
2017067954.tif 000024