(57)【要約】【課題】連続撮像された複数の画像データを合成して１つの合成画像データを生成する撮像装置において、前記合成処理に係る演算負荷を軽減する。【解決手段】本発明の撮像装置は、撮像レンズの光軸上に配設される撮像素子と、本体部と、前記本体部の姿勢を検出する姿勢検出部と、像のブレを補正する像ブレ補正部と、前記ブレ補正部に対して、補正量を算出するブレ補正制御部と、前記撮像素子により連続して撮像された複数の画像データからなる連続撮像画像群から１つの合成画像データを生成する画像処理部を含む制御部と、を具備し、前記ブレ補正制御部は、連続撮像画像群中の最初に撮像される画像データを撮像する際に基準角度を設定し、２回目以降に撮像される画像データを撮像する際には、前記基準角度と個々の画像の傾きとが一致するように前記像ブレ補正部を駆動する。【選択図】図２
2017046301.tif 000002
【特許請求の範囲】
【請求項１】
撮像レンズの光軸上に配設される撮像素子と、
前記撮像素子を収容する本体部と、
前記本体部の姿勢を検出する姿勢検出部と、
前記本体部の前記光軸周りの回転に起因する像のブレを補正する像ブレ補正部と、
前記姿勢検出部の検出結果に応じて、前記ブレ補正部に対して、補正量を算出するブレ補正制御部と、
前記撮像素子により連続して撮像された複数の画像データからなる連続撮像画像群から１つの合成画像データを生成する画像処理部を含む制御部と、を具備し、
前記ブレ補正制御部は、連続撮像画像群中の最初に撮像される画像データを撮像する際に前記姿勢検知部が検出した姿勢方向に基づいて基準角度を設定し、２回目以降に撮像される画像データを撮像する際には、前記基準角度と個々の画像の傾きとが一致するように前記像ブレ補正部を駆動することを特徴とする撮像装置。
【請求項２】
前記像ブレ補正部は、前記撮像素子を光軸周りに回動可能に保持し、
前記ブレ補正制御部は、前記連続撮像画像群の最初に撮像される画像データの露光開始時における、前記撮像素子の前記光軸周りの回転方向についての姿勢を、全ての画像データの露光が終了するまで維持するように、前記像ブレ補正部を駆動する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記像ブレ補正部は、前記撮像素子を光軸周りに回動可能に保持し、
前記ブレ補正制御部は、前記連続撮像画像群の全ての画像データの露光が終了するまで、前記撮像素子の露光面の外形の長辺が水平となるように、前記像ブレ補正部を駆動する
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記連続撮像画像群は、前記本体部をパンニングしながら連続して撮像された複数の画像データからなり、
前記画像処理部は、前記連続撮像画像群をパンニング方向につなぎ合わせることによって前記合成画像データを生成し、
前記ブレ補正制御部は、前記連続撮像画像群の全ての画像データの露光が終了するまで、前記撮像素子の露光面の外形の長辺が前記パンニング方向と平行となるように前記像ブレ補正部を駆動する
ことを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、連続撮像された複数の画像データを合成して１つの合成画像データを生成する撮像装置に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置として、撮像装置の姿勢変化に起因する像のブレを補正する像ブレ補正部を有するものが知られている。例えば、特開２０００−２２４４６２号公報には、撮像装置の姿勢変化を検出する姿勢検出部と、姿勢検出部によって検出された撮像装置の姿勢変化に応じて撮像素子を移動させる像ブレ補正部と、を備える撮像装置が開示されている。
【０００３】
また、デジタルカメラ等の撮像装置として、連続して撮像した複数の画像データを合成して１つの画像データを生成する画像処理部を有するものが知られている。連続して撮像した複数の画像データを合成して１つの画像データを得る撮影手法としては、例えば手振れ軽減撮影、ＨＤＲ（Ｈｉｇｈ−Ｄｙｎａｍｉｃ−Ｒａｎｇｅ）撮像、またはパノラマ撮影等がある。例えば、手振れ軽減撮影では、手ブレの発生しにくいシャッタ速度で連続撮影することにより複数の画像データを取得し、これらを加算合成することで、像ブレがなくかつ適正露出となる合成画像データを得る。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−２２４４６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
撮像装置において、連続撮像により得られた複数の画像データを合成して１つの合成画像データを生成する場合には、まず個々の画像データにおける同一の視野または同一の方向に連続した視野となる画像領域を抽出し、その後に重ね合わせる必要がある。言い換えれば、合成画像データを生成するためには、個々の画像データから、同一の被写体が重なる、または個々の画像データが空間的に連続するように複数の画像データを位置合わせした後に、複数の画像データを合成する必要がある。
【０００６】
このような複数の画像データの位置合わせを、画像処理にて行う場合、合成処理する前に、個々の画像データの座標に対して、並進方向、および回転方向の位置合わせを行う必要がある。このため、これらの位置合わせ処理を含む、合成画像データを得るための合成処理は、演算処理に時間がかかる場合がある。特に、回転方向の位置合わせは、個々に取得した画像データを、それぞれ回転座標変換をする処理と、変換後の画像データに対して補間処理を行うため、演算処理の負荷が顕著に増大する。これら合成処理に係る演算負荷の増大は、新たに次の撮影動作が可能になるまで時間を要してしまうことにより、撮像装置の撮影動作に対する応答性の悪化や、合成処理をする際に、消費電力の増加を招いてしまう。
【０００７】
本発明は、前述した点を解決するものであって、連続撮像された複数の画像データを合成して１つの合成画像データを生成する撮像装置において、前記合成処理に係る演算負荷を軽減することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様の撮像装置は、撮像レンズの光軸上に配設される撮像素子と、前記撮像素子を収容する本体部と、前記本体部の姿勢を検出する姿勢検出部と、前記本体部の前記光軸周りの回転に起因する像のブレを補正する像ブレ補正部と、前記姿勢検出部の検出結果に応じて、前記ブレ補正部に対して、補正量を算出するブレ補正制御部と、前記撮像素子により連続して撮像された複数の画像データからなる連続撮像画像群から１つの合成画像データを生成する画像処理部を含む制御部と、を具備し、前記ブレ補正制御部は、連続撮像画像群中の最初に撮像される画像データを撮像する際に前記姿勢検知部が検出した姿勢方向に基づいて基準角度を設定し、２回目以降に撮像される画像データを撮像する際には、前記基準角度と個々の画像の傾きとが一致するように前記像ブレ補正部を駆動する。
【発明の効果】
【０００９】
本発明によれば、連続撮像された複数の画像データを合成して１つの合成画像データを生成する撮像装置において、前記合成処理に係る演算負荷を軽減することができる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態の撮像装置の構成を説明する外観図である。
【図２】第１の実施形態の撮像装置の構成を説明するブロック図である。
【図３】第１の実施形態の像ブレ補正部の構成を説明する図である。
【図４】第１の実施形態のブレ補正制御部のブロック図である。
【図５】第１の実施形態の角度ブレ量算出部のブロック図である。
【図６】第１の実施形態の撮像装置の合成画像データを取得する動作作用を説明する図である。
【図７】ブレ補正動作を行わずに連続撮像を行う場合を示す図である。
【図８】第１の実施形態の撮像装置により、ブレ補正動作を行いながら連続撮像を行う場合を示す図である。
【図９】第１の実施形態の撮像装置の連続撮像画像群を取得して合成画像データを取得する動作のフローチャートである。
【図１０】第１の実施形態のブレ補正制御部の周期動作のフローチャートである。
【図１１】第２の実施形態の像ブレ補正部の構成を説明する図である。
【図１２】第２の実施形態の撮像装置の合成画像データを取得する動作作用を説明する図である。
【図１３】ブレ補正動作を行わずに連続撮像を行う場合を示す図である。
【図１４】第２の実施形態の撮像装置により、ブレ補正動作を行いながら連続撮像を行う場合を示す図である。
【図１５】第２の実施形態の撮像装置の連続撮像画像群を取得して合成画像データを取得する動作のフローチャートである。
【図１６】第２の実施形態のブレ補正制御部の周期動作のフローチャートである。
【図１７】第３の実施形態の像ブレ補正部の構成を説明する図である。
【図１８】第３の実施形態の撮像装置の合成画像データを取得する動作作用を説明する図である。
【図１９】ブレ補正動作を行わずに連続撮像を行う場合を示す図である。
【図２０】第３の実施形態の撮像装置により、ブレ補正動作を行いながら連続撮像を行う場合を示す図である。
【図２１】第３の実施形態の撮像装置の連続撮像画像群を取得して合成画像データを取得する動作のフローチャートである。
【図２２】第３の実施形態のブレ補正制御部の周期動作のフローチャートである。
【図２３】第４の実施形態の撮像装置の構成を説明するブロック図である。
【図２４】第４の実施形態の像ブレ補正部の構成を説明する図である。
【図２５】第４の実施形態の姿勢検出部に関わる制御部の内部機能を示すブロック図である。
【図２６】第５の実施形態の撮像装置の構成を説明するブロック図である。
【発明を実施するための形態】
【００１１】
以下に、本発明の好ましい形態について図面を参照して説明する。なお、以下の説明に用いる各図においては、各構成要素を図面上で認識可能な程度の大きさとするため、構成要素毎に縮尺を異ならせてあるものであり、本発明は、これらの図に記載された構成要素の数量、構成要素の形状、構成要素の大きさの比率、および各構成要素の相対的な位置関係のみに限定されるものではない。
【００１２】
（第１の実施形態）  
図１および図２に示すように、本実施形態の撮像装置１は、撮像装置１の全体制御をする制御部１０、ＣＣＤやＣＭＯＳイメージセンサ等の撮像素子３、撮像素子３から取得する画像データに対する画像処理を行う画像処理部１０ａ、像ブレ補正部５、ブレ補正部５を駆動制御するブレ補正制御部１１、姿勢検出部６、画像表示装置７および入力装置８を含む。
【００１３】
本実施形態では一例として、撮像装置１は、撮像素子３、ブレ補正部５、ブレ補正制御部１１、画像処理部１０ａおよび制御部１０を収容する本体部２と、当該本体部２に固定されるレンズ鏡筒４とを具備し、レンズ鏡筒４が保持する撮像レンズ４ａによって結像された被写体像を撮像素子３によって電気信号に変換する、いわゆるデジタルカメラの形態を有する。なお、撮像装置１は、レンズ鏡筒４を本体部２から取り外し可能な、いわゆるレンズ交換式のデジタルカメラであってもよいし、レンズ鏡筒４を本体部２から取り外すことのできないレンズ一体式のデジタルカメラであってもよい。
【００１４】
また、撮像装置１は、商用電源、ＡＣアダプタまたは電池等の電源２０に接続される電源接続部２１、およびフラッシュメモリカード等の記憶媒体２２に接続される記憶媒体接続部２３を備える。本実施形態では一例として、電源２０は電池であって、本体部２内に着脱可能に収容される。撮像装置１は、電源２０から供給される電力により動作する。
【００１５】
また、本実施形態では一例として、記憶媒体２２はフラッシュメモリカード等の不揮発性メモリであって、記憶媒体接続部２３に接続することにより、本体部２内に着脱可能に収容される。なお、電源２０となる電池および記憶媒体２２は、本体部２内に固定される形態であってもよい。また、記憶媒体２２は、本体部２と分離されており、かつ本体部２と有線通信または無線通信により接続される他の電子機器に配設される形態であってもよい。
【００１６】
なお、撮像装置１は、図示はしないが、撮像素子３に対する入射光を入光、または遮光状態にさせるレンズシャッタ機構またはフォーカルプレーンシャッタ機構を備えている。ここでは、レンズシャッタ機構またはフォーカルプレーンシャッタ機構を用いずに、制御部１０から撮像素子３にある各画素に対して、電気信号により露出開始、終了を制御する、いわゆる電子シャッタ方式を用いて露出制御をする機能を備える構成でもよい。また、撮像装置１は、レンズ鏡筒４に、撮像素子３に対する入射光量を制御する絞り機構や、ＮＤフィルタ等減光素子を光軸上に進退させる機構等を備えていてもよい。
【００１７】
以下では、撮像装置１の姿勢方向の定義として、図１に示すように撮像レンズ４ａの光軸方向をＺ軸と定義する。また、撮像装置１を正立状態とした場合に、光軸と直交しかつ水平となる方向をＸ軸とし、光軸と直交しかつ垂直となる方向をＹ軸とする。また、撮像装置１の姿勢変化の方向を表すために、撮像装置１のＸ軸周りの回転方向をピッチ方向と称し、Ｙ軸周りの回転方向をヨー方向と称し、Ｚ軸周りの回転方向をロール方向と称する。
【００１８】
これら撮像装置１の姿勢変化に伴う、並進移動および回転移動は、後述する姿勢検知部６によって検出される。また、後述するブレ補正制御部１１は、姿勢検知部６から検出された撮像装置１の姿勢変化に応じて、像ブレ補正部５を駆動制御する。
【００１９】
制御部１０は、ＣＰＵ（演算装置）、ＲＡＭ（記憶装置）、フラッシュメモリ（補助記憶装置）、入出力装置および電力制御装置、後述するブレ補正制御部１１と通信する通信部１０ｂ等を具備して構成されており、撮像装置１の後述する動作を、所定のプログラムに基づいて制御する構成を有している。
【００２０】
通信部１０ｂは、ブレ補正制御部１１から送信された、ブレ補正制御部１１の動作状態を受信して取得する動作と、制御部１０からブレ補正制御部１１に制御信号を送信する動作を行う。制御部１０は、通信部１０ｂの入出力により、後述するブレ補正制御部１１が行う制御動作に対して、同時並列に動作する。
【００２１】
また、制御部１０は、詳しくは後述するが、連続して複数回撮像することによって得られた複数の画像データを合成して１つの画像データを生成する画像処理部１０ａを含む。
【００２２】
撮像素子３は、撮像面（受光面）が撮像レンズ４の光軸に直交するように配設されている。本実施形態の像ブレ補正部５は、撮像素子３を保持しており、撮像素子３を撮像レンズ４の光軸に直交する平面（ＸＹ平面）に沿って、Ｘ軸方向、Ｙ軸方向およびロール方向に移動させる機構を有する。
【００２３】
像ブレ補正部５は、例えば図３に示すように、基台部５ａ、ステージ５ｂ、第１ボイスコイルモータ５ｃ、第２ボイスコイルモータ５ｄ、および第３ボイスコイルモータ５ｅを備える。
【００２４】
基台部５ａは、本体部２に対して位置が固定される部位である。ステージ５ｂは、撮像素子３を保持する部位である。ステージ５ｂは、基台部５ａに対してＸＹ平面に沿って、並進方向（Ｘ方向およびＹ方向）およびロール方向となる回転方向（θ方向）へ、相対的に移動可能に配設されている。また図示しないが、像ブレ補正部５は、基台部５ａに対するステージ５ｂの並進方向への変位量および回転角を検出する位置検出部を備える。
【００２５】
第１ボイスコイルモータ５ｃおよび第２ボイスコイルモータ５ｄは、Ｙ軸方向に離間して配設されており、それぞれのボイスコイルモータは、それぞれ駆動電流を供給することによって基台部５ａに対してステージ５ｂをＸ軸方向に移動させる駆動力、および基台部５ａに対してステージ５ｂをロール方向に回転移動させる回転トルクを発生する。また、第３ボイスコイルモータ５ｅは、駆動電流を供給することによって、基台部５ａに対してステージ５ｂをＹ軸方向に移動させる駆動力を発生する。
【００２６】
像ブレ補正部５は、第１ボイスコイルモータ５ｃおよび第２ボイスコイルモータ５ｄの双方に同一方向の同一の駆動力を発生させることによって、ステージ５ｂをＸＹ平面上においてＸ軸方向に並進移動させる。また、像ブレ補正部５は、第３ボイスコイルモータ５ｅに駆動力を発生させることによって、ステージ５ｂをＸＹ平面上においてＹ軸方向に並進移動させる。また、像ブレ補正部５は、第１ボイスコイルモータ５ｃおよび第２ボイスコイルモータ５ｄが発生する駆動力の大きさおよび／または向きを異ならせることによって、ステージ５ｂに対してロール方向への回転トルクを発生させ、ステージ５ｂをＸＹ平面上においてロール方向に回転させることができる。
【００２７】
像ブレ補正部５は、ブレ補正制御部１１に電気的に接続されている。像ブレ補正部５による撮像素子３の移動および位置決めの動作は、ブレ補正制御部１１によって制御される。
【００２８】
撮像素子３をＸＹ平面上においてＸ軸方向、Ｙ軸方向およびロール方向に移動させる像ブレ補正部５の構成は公知であるため、詳細な説明は省略するものとする。なお、像ブレ補正部５の構成は本実施形態に限られるものではなく、例えば像ブレ補正部５は、一対のボイスコイルモータがステージ５ｂをＹ軸方向に移動させる駆動力と、ロール方向への回転トルクを発生し、一つのボイスコイルモータがステージ５ｂをＸ軸方向に移動させる駆動力を発生する構成であってもよい。
【００２９】
姿勢検出部６は、撮像装置１の並進移動および回転移動を検出する。具体的には、姿勢検出部６は、撮像装置１のピッチ方向、ヨー方向およびロール方向への姿勢変化に伴う角速度を検出する３軸の角速度センサ６ａ、および撮像装置１のＸ軸方向、Ｙ軸方向およびＺ軸方向の姿勢変化に伴う加速度を検出する３軸の加速度センサ６ｂを備える。また、姿勢検出部６は、前述に示す３軸の加速度センサ６ｂにより、重力加速度を検出することによって、重力方向に対する撮像装置１の姿勢を検出することができる。
【００３０】
なお、本発明に係る撮像装置１においては、姿勢検出部６は、３軸の角速度センサ６ａ、３軸の加速度センサ６ｂの双方を用いる構成のみに限られない。例えば、本第１の実施形態や、後述に示す複数の他の実施形態においては、３軸の角速度センサ６ａのみを用いて、撮像装置１の相対的な姿勢変化を検出する撮影手段も示している。（本第１の実施形態、および後述する第３の実施形態）
姿勢検出部６は、ブレ補正制御部１１に電気的に接続されており、姿勢検出部６による撮像装置１の姿勢変化の検出結果は、ブレ補正制御部１１に入力される。
【００３１】
本実施形態のレンズ鏡筒４は、撮像レンズ４ａの焦点距離やピント位置の情報を制御部１０に出力する焦点距離検出部４ｂと、撮像レンズ４ａの位置を光軸方向に駆動させる駆動部４ｃとを備える。焦点距離検出部４ｂは、具体的には、撮像レンズ４の光軸方向に対する位置を検出するエンコーダ等を有するものである。この焦点距離検出部４ｂが検出した焦点距離の情報は、制御部１０に入力される他、制御部１０から、通信部１０ｂを介して、ブレ補正制御部１１にも入力される。
【００３２】
図４は、ブレ補正制御部１１の内部構成を示すブロック図である。図４に示すように、ブレ補正制御部１１は、Ａ／Ｄ変換回路（ＡＤＣ）８１ａ、８１ｂ、８１ｃと、角度ブレ量算出部８２ａ、８２ｂ、８２ｃと、補正量算出部８３と、ドライバ８４ａ、８４ｂ、８４ｃと、通信部８５とで構成されている。
【００３３】
ＡＤＣ８１ａ、８１ｂ、８１ｃは、姿勢検知部６にある角速度センサ６ａからアナログ信号として出力された、ヨー方向、ピッチ方向、ロール方向の各３軸の角速度信号を、所定の時間間隔でサンプリングし、デジタル値に変換する回路である。
【００３４】
角度ブレ量算出部８２ａ、８２ｂ、８２ｃは、ＡＤＣ８１ａ、８１ｂ、８１ｃから出力された角速度のデジタル値に対して、撮像素子３の撮像面における、Ｘ方向、Ｙ方向、およびロール方向の像の移動量（Ｄｘ、Ｄｙ、Ｄθ）を算出する。撮像面における像の移動量とは、像のブレ量と言い換えることができる。
【００３５】
本実施形態における角度ブレ量算出部８２ａ、８２ｂ、８２ｃにおいて演算処理を実行する詳細構成を、図５に示すブロック図を用いて説明する。回転量算出ブロック８２１は、まず、ＡＤＣ８１ａ、８１ｂ、８１ｃから出力された角速度のデジタル値に対して積算演算（時間積分）をする。ここでは、積算演算（時間積分）をしてヨー方向、ピッチ方向、ロール方向の各３軸に対する相対移動角度が算出される。
【００３６】
積算処理８２２は、ヨー方向およびピッチ方向の各２軸に対する相対移動角度に対して、撮像レンズ４ａの光学特性（焦点距離）の値を乗算して、撮像面における水平、垂直方向の像面移動量（Ｄｘ、Ｄｙ）を算出する。算出制御８２３は、通信部８５を経由して制御部１０から入力される指示に基づいて、回転量算出８２３での算出に用いる値を決定する。
【００３７】
図４の説明に戻り、引き続き残りの構成を説明する。補正量算出部８３は、角度ブレ量算出部８２ａ、８２ｂ、８２ｃで算出された、Ｘ方向、Ｙ方向、およびロール方向の撮像面での像移動量（Ｄｘ、Ｄｙ、Ｄθ）から、像ブレ補正部５を駆動制御するための操作量を算出する。
【００３８】
ドライバ８４ａ、８４ｂ、８４ｃは、補正量算出部８３によって算出された操作量に応じて、像ブレ補正部５が有する第１ボイスコイルモータ５ｃ、第２ボイスコイルモータ５ｄ、および第３ボイスコイルモータ５ｅへ電圧出力を出力する。
【００３９】
通信部８５は、制御部１０からの制御指示や、レンズ鏡筒４における、撮像レンズ４ａの焦点距離情報や、撮像レンズ４ａのピント情報等のパラメータなどを制御部１０から取得する。
【００４０】
次にブレ補正制御部１１が行う動作作用を説明する。ブレ補正制御部１１には、まず、制御部１０が取得した撮像レンズ４ａの焦点距離の情報と、姿勢検出部６によって検出された撮像装置１の回転移動および並進移動の情報とが入力される。本実施形態では、姿勢検出部６による検出値のうち、角速度センサ６ａによる検出値が、ブレ補正制御部１１に入力される。
【００４１】
次に、ブレ補正制御部１１は、角度ブレ量算出部８２ａ、８２ｂ、８２ｃ、および補正量算出部８３において、姿勢検出部６による角速度検出出力を積算処理し、撮像レンズ４ａの焦点距離の情報から撮像素子３の撮像面上における、撮像装置１の回転移動および並進移動に起因した撮像素子３撮像面に対する像の移動量を算出する。
【００４２】
そして、ブレ補正制御部１１は、補正量算出部８３において、撮像素子３の露光期間中における撮像面に対する像の移動を打ち消すように、像ブレ補正部５の駆動量（補正量）を算出する。算出された駆動量に基づいて、撮像素子３を像ブレ補正部５によって、並進方向および回転方向へ移動させる。このように、本実施形態の撮像装置１は、イメージセンサ・シフト方式の手振れ補正機能やイメージ・スタビライジング機能等と称される像ブレ補正機能を有する。像ブレ補正機能を実現するための制御等の詳細については公知であるため、詳細な説明は省略するものとする。ブレ補正制御部１１は、後述するように、制御部１０が行う動作と、同時平行して動作する。
【００４３】
画像表示装置７は、例えば液晶表示装置または有機ＥＬ表示装置等からなり、制御部１０による表示出力制御に基づいて、画像を表示する。画像表示装置７は、撮像装置１のグラフィカル・ユーザー・インターフェース（ＧＵＩ）の表示、撮像動作中にファインダーとして機能するライブビューの表示、および記憶された画像の表示等を行う。
【００４４】
本実施形態では一例として、画像表示装置７は、本体部２に配設されている。なお、画像表示装置７は、本体部２と分離されており、かつ本体部２と有線通信または無線通信により接続される他の電子機器に配設される形態であってもよい。また、画像表示装置７は、本体部２に複数配設されていてもよい。
【００４５】
入力装置８は、例えばレバースイッチ、ダイヤルスイッチ、ボタンスイッチ、タッチセンサ等の、使用者が撮像装置１の動作指示を入力するための一つまたは複数の部材である。本実施形態では一例として、入力装置８は、電源操作スイッチ８ａおよびレリーズスイッチ８ｂを備える。
【００４６】
図示する本実施形態では、一例として入力装置８を構成する全ての部材が撮像装置１に設けられている。しかし、入力装置８の構成は本実施形態に限られるものではなく、例えば入力装置８の一部または全部は、本体部２と分離されており、かつ本体部２と有線通信または無線通信により接続される他の電子機器に配設される形態であってもよい。
【００４７】
本実施形態の撮像装置１では、レリーズスイッチ８ｂが使用者によって押下されることにより、撮像動作が実行される。撮像動作では、撮像レンズ４によって結像された被写体像が撮像素子３により電気信号に変換された後に、画像データとして制御部１０のＲＡＭに記憶される。制御部１０は、ＲＡＭに記憶された画像データを、所定の形式の電子ファイルとして記憶媒体２２に記憶する。
【００４８】
次に、本実施形態の撮像装置１の動作について説明する。制御部１０は、連続して複数回撮像することによって得られた複数の画像データを合成して１つの画像データを生成する画像処理部１０ａを含む。
【００４９】
また、ブレ補正制御部１１は、制御部１０が行う処理動作とは平行して動作するものである。具体的には、ブレ補正制御部１１は、姿勢検出部６によって検出された撮像装置１の回転移動の情報に基づいて、撮像装置１の回転移動に起因した撮像素子３の撮像面に対する像の移動量を算出する。そして、ブレ補正制御部１１は、撮像素子３の露光期間中における撮像面に対する像の移動を打ち消すように、像ブレ補正部５に対する駆動量を算出させる。算出された駆動量に基づいて、像ブレ補正部５によって、撮像素子３を並進方向および回転方向へ移動させる動作をさせる。
【００５０】
以下では、画像処理部１０ａにおいて複数の画像データを合成することによって生成される１つの画像データのことを、合成画像データと称するものとする。また、画像処理部１０ａが合成画像データを生成するために用いる複数の画像データの集合のことを、連続撮像画像群と称するものとする。画像処理部１０ａが合成画像データを生成する際において、連続撮像画像群は記憶媒体２２に記憶されている状態であってもよいし、制御部１０のＲＡＭに一時的に記憶されているのみであって記憶媒体２２には記憶されていない状態であってもよい。
【００５１】
本実施形態では一例として、連続撮像画像群に含まれる複数の画像データは、使用者によりレリーズスイッチ８ｂが一度押下された後に撮像装置１が自動的に撮像動作を所定回数繰り返すことによって得られるものとする。
【００５２】
なお、連続撮像画像群は、例えば使用者によりレリーズスイッチ８ｂが押下されている期間中に、所定の時間間隔で撮像動作を繰り返すことによって得られるものであってもよいし、また例えば使用者によりレリーズスイッチ８ｂが繰り返し押下される度に撮像動作を実行することによって得られるものであってもよい。
【００５３】
本実施形態の撮像装置１は、撮像装置１がなるべく移動しないように保持された状態で得られた連続撮像画像群を、画像処理部１０ａにおいて重ね合わせることによって合成画像データを得る。
【００５４】
このような、撮像装置１を所定位置に保持した状態において得られた連続撮像画像群を重ね合わせて合成画像データを得る動作は、例えば手振れ軽減撮影、ＨＤＲ（Ｈｉｇｈ−Ｄｙｎａｍｉｃ−Ｒａｎｇｅ）撮影、深度合成撮影（超解像度撮影）において実行される。
【００５５】
手振れ軽減撮影は、像のブレが発生しにくい比較的短い露光時間で連続撮影することにより連続撮像画像群を取得し、連続撮像画像群を位置合わせして加算合成することで、像ブレがなくかつ適正露出となる合成画像データを得るものである。このような撮影方法は、例えば手持ち夜景撮影等とも称される。
【００５６】
また、ＨＤＲ撮影は、被写体に対して露出値の異なる撮影を複数回行うことにより連続撮像画像群を取得し、連続撮像画像群に対して高輝度側に輝度飽和（白とび）しない画像領域と、低輝度側に輝度飽和（黒潰れ）しない画像領域を抽出して位置合わせ合成することで、明部、暗部共に諧調を確保した合成画像データを得るものである。
【００５７】
また、深度合成撮影は、被写体に対して、合焦距離が異なる撮影を複数回行うことにより連続撮像画像群を取得し、個々の画像データ中の被写体にピントが合っている部分のみを抽出して合成することで、被写界深度の深い合成画像データを得るものである。
【００５８】
図６は、本実施形態の撮像装置１が合成画像データを取得する動作作用を、模式的に図示したものである。図６には、撮像装置１が、３回の連続撮像を行って得た画像I、画像IIおよび画像IIIからなる連続撮像画像群を取得し、この連続撮像画像群から合成処理を行って１つの合成画像データを取得する動作を一例として示す。
【００５９】
図６に、横軸を時間として、撮像装置１の連続撮像画像群を取得して合成画像データを取得する際の動作のタイミングチャートと、姿勢検出部６によって検出される撮像装置１のロール方向の回転角速度ωと、補正量算出部８３において算出されるロール方向の像移動量Ｄθと、ブレ補正制御部１１が像ブレ補正部５に出力するロール方向の駆動量（補正量）Ｒの一例を示す。
【００６０】
ここで、ロール方向の像移動量Ｄθは、像ブレ補正部５によって移動可能に保持される撮像素子３の原点位置を０としている。撮像素子３の原点位置とは、撮像素子３の受光面の中心が撮像レンズ４ａの光軸に一致し、かつ受光面の外形の長辺が、本体部２の底面と平行となる位置である。
【００６１】
また、図７は、図６に示すように撮像装置１がロール方向に回転移動した場合において、ブレ補正制御部１１および像ブレ補正部５によるブレ補正動作を実行しない場合の、撮像装置１に対する撮像素子３の位置の模式図である。また、図８は、図６に示すように撮像装置１がロール方向に回転移動した場合において、ブレ補正制御部１１および像ブレ補正部５によるブレ補正動作を実行した場合の、撮像装置１に対する撮像素子３の位置の模式図である。図７および図８は、撮像装置１をＺ軸に平行な方向から見た状態を示している。
【００６２】
図９および図１０は、本実施形態の撮像装置１の連続撮像画像群を取得して合成画像データを取得する動作のフローチャートである。本実施形態では、制御部１０とブレ補正制御部１１の両者が平行して動作を行うものである。このため図９のフローチャートは、制御部１０の動作と、ブレ補正制御部１１の両者が行う処理を同時に示す。また、両者の処理ステップを区別するため、制御部１０の動作処理ステップは添え字にＳを付けた付番をし、ブレ補正制御部１１の動作処理ステップは添え字にＳＢを付けた付番をする。また、図１０のフローチャートは、ブレ補正制御部１１が、一定周期である制御周期毎に行う周期処理の流れを示す。
【００６３】
本実施形態では一例として、レリーズスイッチ８ｂは、異なる押し込み量又は異なる押し込み力によって動作する２つのスイッチを備えた、いわゆる２段の押しボタンスイッチである。撮像装置１は、レリーズスイッチ８ｂが弱い力量で押下された場合（半押し操作入力：以下１ｓｔレリーズ入力と称する）に、焦点制御や露出制御等の撮像準備動作を実行し、レリーズスイッチ８ｂがより強い力量で押下された場合（全押し操作入力：以下２ｎｄレリーズ入力と称する）に、合成画像データ取得動作を実行する。図６のタイミングチャートでは、時間Ｔ１が１ｓｔレリーズ入力時であり、時間Ｔ２が２ｎｄレリーズ入力時である。
【００６４】
図９に示すように、制御部１０は、使用者によりレリーズスイッチ８ｂが操作され、１ｓｔレリーズの入力がなされるまで待機する。１ｓｔレリーズの入力がなされた場合には、ステップＳ２に移行する。
【００６５】
ステップＳ２では、制御部１０は、ブレ補正制御部１１に動作開始指令を出力する。ステップＳ２の実行により、ブレ補正制御部１１は、ステップＳＢ１において周期処理を開始する。ブレ補正制御部１１の周期処理については後述する。
【００６６】
ブレ補正制御部１１は、ステップＳＢ１の周期処理を開始した後に、ステップＳＢ２において、像ブレ補正部５を駆動し、撮像素子３を原点位置に保持する原点位置保持動作を実行する。すなわち、１ｓｔレリーズ入力時においては、撮像素子３は原点位置に保持される。
【００６７】
次に、ステップＳ３において、制御部１０は、２ｎｄレリーズの入力がなされるまで待機する。２ｎｄレリーズの入力がなされた場合には、ステップＳ４に移行する。なお、例えば使用者がレリーズスイッチ８ｂに与える力を消失させて２ｎｄレリーズ入力が行われずに、１ｓｔレリーズ入力が消失した場合には、ステップＳ１に戻る。
【００６８】
ステップＳ４では、連続撮像画像群を取得する連続撮像のうちの１回目の撮像動作であるか否かを判定する。言い換えれば、ステップＳ４では、連続撮像画像群のうちの画像Iが撮像済みであるか否かを判定する。
【００６９】
ステップＳ４において、連続撮像のうちの１回目の撮像動作であると判定した場合には、ステップＳ５に移行する。ステップＳ４において、連続撮像のうちの１回目の撮像動作であると判定した場合には、ステップＳ５からステップＳ６をスキップしてステップＳ７に移行する。
【００７０】
ステップＳ５では、制御部１０は、ブレ補正制御部１１からロール方向初期姿勢の情報を取得する。具体的にステップＳ５では、制御部１０は、ブレ補正制御部１１に姿勢取得指令を出力する。ブレ補正制御部１１は、姿勢取得指令を受けて、姿勢検出部６の検出結果に基づいて算出された撮像装置１のロール方向の姿勢の情報であるロール方向初期姿勢検出値を制御部１０に返す（ステップＳＢ３）。ロール方向初期姿勢検出値とは、２ｎｄレリーズ入力時（時間Ｔ２）において、姿勢検出部６によって検出された撮像装置１の姿勢の検出値である。
【００７１】
次にステップＳ６では、制御部１０は、ステップＳ５においてブレ補正制御部１１から入力されたロール方向初期姿勢検出値を、ロール方向基準角度θ１と定め、当該ロール方向基準角度θ１の値をブレ補正制御部１１に指示する。ブレ補正制御部１１は、ロール方向基準角度θ１を、ブレ補正動作において撮像素子３のロール方向の姿勢を維持する目標値として定める（ステップＳＢ４）。
【００７２】
ステップＳ７では、制御部１０は、撮像素子３による露光を開始する。また、ステップＳ８において、制御部１０は、ブレ補正制御部１１にロール方向のブレ補正動作の開始指令を出力する。ブレ補正動作の開始指令を受けたブレ補正制御部１１は、姿勢検出部６による検出結果に応じてロール方向に像ブレ補正部５を駆動するロール方向ブレ補正動作を開始する（ステップＳＢ５）。
【００７３】
そして、制御部１０は、ステップＳ９において露光時間の終了まで待機した後に、ステップＳ１０において撮像素子３による露光を終了する。そして、制御部１０は、ステップＳ１１において、撮像素子３の出力信号から画像を生成する画像読み出し処理を実行する。ステップＳ７からステップＳ１１の動作を実行することにより、１つの画像データが取得される。
【００７４】
次に、ステップＳ１２において、制御部１０は、連続撮像画像群を構成する全ての画像データの取得が完了したか否かを判定する。本実施形態であれば、制御部１０は、画像IIIの取得が完了したか否かを判定する。
【００７５】
ステップＳ１２において、制御部１０は、連続撮像画像群を構成する全ての画像データの取得が完了していないと判定した場合には、ステップＳ４に戻り、前記動作を繰り返す。
【００７６】
一方、ステップＳ１２において、制御部１０は、連続撮像画像群を構成する全ての画像データの取得が完了したと判定した場合には、ステップＳ１３に移行する。ステップＳ１３では、制御部１０は、ブレ補正制御部１１にロール方向のブレ補正動作の終了指令を出力する。ブレ補正動作の終了指令を受けたブレ補正制御部１１は、ロール方向ブレ補正動作を終了し、像ブレ補正部５を駆動して撮像素子３を原点位置に保持する原点位置保持動作を開始する。（ステップＳＢ６）。
【００７７】
そして、ステップＳ１４において、制御部１０は、連続撮像画像群を画像処理部１０ａにおいて合成し、合成画像データを生成し、当該合成画像データを、記憶媒体２２に記憶する。
【００７８】
以下に、図１０に示すブレ補正制御部１１の周期処理について説明する。
【００７９】
周期処理では、まずステップＳＢ５１において、ブレ補正制御部１１は、制御部１０からの姿勢取得指令が入力されたか否かを判定する。姿勢取得指令は、前述のように、ステップＳ５において制御部１０から出力される。
【００８０】
ステップＳＢ５１において、姿勢取得指令が入力されたと判定した場合には、ブレ補正制御部１１は、ステップＳＢ５２からステップＳＢ５４を実行した後に、ステップＳＢ５５を実行する。ステップＳＢ５１において、姿勢取得指令が入力されていないと判定した場合には、ブレ補正制御部１１は、ステップＳＢ５２からステップＳＢ５４をスキップして、ステップＳＢ５５を実行する。
【００８１】
ステップＳＢ５２からステップＳＢ５４では、ブレ補正制御部１１は、姿勢検出部６によるロール方向の角速度の検出値を取得し（ステップＳＢ５２）、当該検出値に基づいて撮像装置１のロール方向の姿勢を算出し（ステップＳＢ５３）、この値をロール方向初期姿勢検出値として制御部１０に出力する（ステップＳＢ５４）。
【００８２】
ステップＳＢ５５では、ブレ補正制御部１１は、制御部１０からのブレ補正動作開始指令が入力されたか否かを判定する。ブレ補正動作開始指令は、前述のように、ステップＳ８において制御部１０から出力される。
【００８３】
ステップＳＢ５５において、ブレ補正動作開始指令が入力されていないと判定した場合には、ステップＳ６０に移行し、撮像素子３の姿勢を保持するロール方向の目標値である角度目標値を原点位置とする。そして、ステップＳＢ６１に移行して、ブレ補正制御部１１は、撮像素子３の姿勢を原点位置に移動させるために必要な、ロール方向の駆動量（補正量）Ｒを算出する。そして、ステップＳＢ６２に移行して、ブレ補正制御部１１は、ステップＳＢ６１で算出した駆動量で像ブレ補正部５を駆動し、撮像素子３を原点位置に移動させる。
【００８４】
一方、ステップＳＢ５５において、ブレ補正動作開始指令が入力されたと判定した場合には、ステップＳＢ５６に移行する。ステップＳＢ５６では、ブレ補正制御部１１は、制御部１０によってロール方向基準角度θ１の値の指示が入力されたか否かを判定する。ロール方向基準角度θ１の値の指示は、前述のように、ステップＳ６において制御部１０から出力される。
【００８５】
ステップＳＢ５６において、ロール方向基準角度θ１の値の指示が入力されていないと判定した場合には、ブレ補正制御部１１は、ステップＳＢ５７に移行して基準角度の値を０とする。一方、ステップＳＢ５６において、ロール方向基準角度θ１の値の指示が入力されていると判定した場合には、ブレ補正制御部１１は、ステップＳＢ５７に移行して基準角度の値をθ１とする。
【００８６】
そして、ステップＳＢ５９において、ブレ補正制御部１１は、撮像素子３の姿勢を保持するロール方向の目標値である角度目標値を基準角度とする。そして、ステップＳＢ６１に移行して、ブレ補正制御部１１は、撮像素子３の姿勢を基準角度に移動させるために必要な、ロール方向の駆動量（補正量）Ｒを算出する。そして、ステップＳＢ６２に移行して、ブレ補正制御部１１は、ステップＳＢ６１で算出した駆動量で像ブレ補正部５を駆動し、撮像素子３を基準角度に移動させる。
【００８７】
以上に説明したように、本実施形態の撮像装置１は、連続撮像画像群のうちの１回目に撮像される画像（画像I）の露光開始時（時間Ｔ２）から、連続撮像画像群のうちの最後の画像（画像III）の露光終了時（時間Ｔ７）までの期間において、ロール方向のブレ補正動作を実行し続ける。ここで、時間Ｔ２から時間Ｔ７までのロール方向のブレ補正動作は、撮像素子３のロール方向の姿勢を、時間Ｔ２におけるロール方向の姿勢（ロール方向基準角度θ１）に維持する。
【００８８】
例えば図７に示すように、使用者の手によって撮像装置１が保持された状態で３つの画像の連続撮像を行う場合、連続撮影の期間中に撮像装置１がロール方向に回転してしまう場合がある。このように、連続撮影の期間中に撮像装置１がロール方向に回転してしまう場合であっても、本実施形態の撮像装置１では、図８に示すように、撮像素子３の姿勢を１回目の撮像時の姿勢を保つ。
【００８９】
このため、本実施形態の撮像装置１によって取得される連続撮像画像群では、全ての画像において、画像中における被写体の角度が一定となる。このため、画像処理部１０ａにおいて連続撮像画像群から合成画像データを生成する際には、画像を回転させる位置合わせ処理が不要となり、画像を横軸および縦軸に並進移動させる位置合わせ処理のみで複数の画像の合成を実行することができる。
【００９０】
すなわち、本実施形態では、撮像装置１を所定位置に保持した状態において得られた連続撮像画像群を重ね合わせて合成画像データを得る、例えば手振れ軽減撮影、ＨＤＲ（Ｈｉｇｈ−Ｄｙｎａｍｉｃ−Ｒａｎｇｅ）撮影、または深度合成撮影（超解像度撮影）において、合成画像データを生成する合成処理に係る演算負荷を軽減することができる。合成処理に係る演算負荷を軽減することにより、例えば撮像装置の動作の応答性の向上や、消費電力の低減を実現できる。
【００９１】
（第２の実施形態）  
次に、本発明の第２の実施形態について説明する。以下では第１の実施形態との相違点のみを説明するものとし、第１の実施形態と同様の構成要素については同一の符号を付し、その説明を適宜に省略するものとする。
【００９２】
本実施形態の撮像装置１は、連続撮像画像群の取得時において、ロール方向のブレ補正動作によって撮像素子３の姿勢を維持する目標値となるロール方向基準角度θ１の値の定め方が、第１の実施形態と異なる。
【００９３】
図１１に示すように、本実施形態のブレ補正制御部１１は、角度ブレ量算出部の演算処理において、姿勢検出部６の３軸の加速度センサ６ｂからの出力に基づき、撮像素子３の重力方向に対する傾きを算出する傾き算出８２４を実行する。
【００９４】
図１２は、本実施形態の撮像装置１が合成画像データを取得する動作作用を、模式的に図示したものである。図１２には、撮像装置１が、３回の連続撮像を行って得た画像I、画像IIおよび画像IIIからなる連続撮像画像群を取得し、この連続撮像画像群から合成処理を行って１つの合成画像データを取得する動作を一例として示す。
【００９５】
図１２に、横軸を時間として、撮像装置１の連続撮像画像群を取得して合成画像データを取得する際の動作のタイミングチャートと、姿勢検出部６によって検出される撮像素子３の重力方向に対するロール方向の傾斜角度Ｌθと、ブレ補正制御部１１が像ブレ補正部５に出力するロール方向の駆動量（補正量）Ｒの一例を示す。
【００９６】
ここで、撮像素子３の重力方向に対する傾斜角度Ｌθは、撮像素子３の受光面の外形の長辺の、水平に対するロール方向の傾斜角度とする。すなわち、Ｌθの値が０の場合に、撮像素子３の受光面の外形の長辺が水平である。
【００９７】
また、図１３は、図１２に示すように撮像装置１がロール方向に回転移動した場合において、ブレ補正制御部１１および像ブレ補正部５によるブレ補正動作を実行しない場合の、撮像装置１に対する撮像素子３の位置の模式図である。また、図１４は、図１２に示すように撮像装置１がロール方向に回転移動した場合において、ブレ補正制御部１１および像ブレ補正部５によるブレ補正動作を実行した場合の、撮像装置１に対する撮像素子３の位置の模式図である。図１３および図１４は、撮像装置１をＺ軸に平行な方向から見た状態を示している。
【００９８】
図１５および図１６は、本実施形態の撮像装置１の連続撮像画像群を取得して合成画像データを取得する動作のフローチャートである。
【００９９】
図１５に示すように、制御部１０は、使用者によりレリーズスイッチ８ｂが操作され、１ｓｔレリーズの入力がなされるまで待機する。１ｓｔレリーズの入力がなされた場合には、ステップＳ２に移行する。
【０１００】
ステップＳ２では、制御部１０は、ブレ補正制御部１１に動作開始指令を出力する。ステップＳ２の実行により、ブレ補正制御部１１は、ステップＳＢ２１において周期処理を開始する。ブレ補正制御部１１の周期処理については後述する。
【０１０１】
ブレ補正制御部１１は、ステップＳＢ２１の周期処理を開始した後に、ステップＳＢ２において、像ブレ補正部５を駆動し、撮像素子３を原点位置に保持する原点位置保持動作を実行する。すなわち、１ｓｔレリーズ入力時においては、撮像素子３は原点位置に保持される。
【０１０２】
次に、ステップＳ３において、制御部１０は、２ｎｄレリーズの入力がなされるまで待機する。２ｎｄレリーズの入力がなされた場合には、ステップＳ２４に移行する。なお、例えば使用者がレリーズスイッチ８ｂに与える力を消失させて２ｎｄレリーズ入力が行われずに、１ｓｔレリーズ入力が消失した場合には、ステップＳ１に戻る。
【０１０３】
ステップＳ２４では、制御部１０は、ブレ補正制御部１１からロール方向初期姿勢の情報を取得する。具体的にステップＳ２４では、制御部１０は、ブレ補正制御部１１に姿勢取得指令を出力する。ブレ補正制御部１１は、姿勢取得指令を受けて、姿勢検出部６の検出結果に基づいて算出された撮像素子３の重力方向に対する傾斜角度Ｌθの値を、ロール方向初期姿勢検出値として制御部１０に返す（ステップＳＢ２３）。すなわち、本実施形態のロール方向初期姿勢検出値とは、２ｎｄレリーズ入力時（時間Ｔ２）において、姿勢検出部６によって検出された撮像素子３の重力方向に対する傾斜角度Ｌθである。
【０１０４】
次にステップＳ２５では、制御部１０は、ステップＳ２４においてブレ補正制御部１１から入力されたロール方向初期姿勢検出値を、ロール方向基準角度θ１と定め、当該ロール方向基準角度θ１の値をブレ補正制御部１１に指示する。ブレ補正制御部１１は、ロール方向基準角度θ１を、ブレ補正動作において撮像素子３のロール方向の姿勢を維持する目標値として定める（ステップＳＢ４）。
【０１０５】
ステップＳ７以降の制御部１０の動作、およびステップＳＢ５以降のブレ補正制御部１１の動作については第１の実施形態と同様であるため、説明を省略する。
【０１０６】
以下に、図１６に示すブレ補正制御部１１の周期処理について説明する。
【０１０７】
周期処理では、まずステップＳＢ５１において、ブレ補正制御部１１は、制御部１０からの姿勢取得指令が入力されたか否かを判定する。姿勢取得指令は、前述のように、ステップＳ２４において制御部１０から出力される。
【０１０８】
ステップＳＢ５１において、姿勢取得指令が入力されたと判定した場合には、ブレ補正制御部１１は、ステップＳＢ５２からステップＳＢ７３を実行した後に、ステップＳＢ５５を実行する。ステップＳＢ５１において、姿勢取得指令が入力されていないと判定した場合には、ブレ補正制御部１１は、ステップＳＢ５２からステップＳＢ７３をスキップして、ステップＳＢ５５を実行する。
【０１０９】
ステップＳＢ５２からステップＳＢ７３では、ブレ補正制御部１１は、姿勢検出部６によるロール方向の角速度の検出値を取得し（ステップＳＢ５２）、また姿勢検出部６の３軸の加速度センサ６ｂによる加速度の値を取得する（ステップＳＢ７１）。そして、ブレ補正制御部１１は、３軸の加速度センサ６ｂによる加速度の値に基づいて、撮像素子３の重力方向に対する傾斜角度Ｌθを算出し（ステップＳＢ７２）、この値をロール方向初期姿勢検出値として制御部１０に出力する（ステップＳＢ７３）。
【０１１０】
ステップＳＢ５５では、ブレ補正制御部１１は、制御部１０からのブレ補正動作開始指令が入力されたか否かを判定する。ブレ補正動作開始指令は、前述のように、ステップＳ８において制御部１０から出力される。
【０１１１】
ステップＳＢ５５において、ブレ補正動作開始指令が入力されていないと判定した場合には、ステップＳ６０に移行し、撮像素子３の姿勢を保持するロール方向の目標値である角度目標値を原点位置とする。そして、ステップＳＢ６１に移行して、ブレ補正制御部１１は、撮像素子３の姿勢を原点位置に移動させるために必要な、ロール方向の駆動量（補正量）Ｒを算出する。そして、ステップＳＢ６２に移行して、ブレ補正制御部１１は、ステップＳＢ６１で算出した駆動量で像ブレ補正部５を駆動し、撮像素子３を原点位置に移動させる。
【０１１２】
一方、ステップＳＢ５５において、ブレ補正動作開始指令が入力されたと判定した場合には、ステップＳＢ５６に移行する。ステップＳＢ５６では、ブレ補正制御部１１は、制御部１０によってロール方向基準角度θ１の値の指示が入力されたか否かを判定する。ロール方向基準角度θ１の値の指示は、前述のように、ステップＳ６において制御部１０から出力される。
【０１１３】
ステップＳＢ５６において、ロール方向基準角度θ１の値の指示が入力されていないと判定した場合には、ブレ補正制御部１１は、ステップＳＢ５７に移行して基準角度の値を０とする。一方、ステップＳＢ５６において、ロール方向基準角度θ１の値の指示が入力されていると判定した場合には、ブレ補正制御部１１は、ステップＳＢ５７に移行して基準角度の値を重力方向とする。
【０１１４】
そして、ステップＳＢ７９において、ブレ補正制御部１１は、撮像素子３の姿勢を保持するロール方向の目標値である角度目標値を基準角度とする。そして、ステップＳＢ６１に移行して、ブレ補正制御部１１は、撮像素子３の姿勢を基準角度に移動させるために必要な、ロール方向の駆動量（補正量）Ｒを算出する。そして、ステップＳＢ６２に移行して、ブレ補正制御部１１は、ステップＳＢ６１で算出した駆動量で像ブレ補正部５を駆動し、撮像素子３を基準角度に移動させる。
【０１１５】
以上に説明したように、本実施形態の撮像装置１は、連続撮像画像群のうちの１回目に撮像される画像（画像I）の露光開始時（時間Ｔ２）から、連続撮像画像群のうちの最後の画像（画像III）の露光終了時（時間Ｔ７）までの期間において、ロール方向のブレ補正動作を実行し続ける。ここで、時間Ｔ２から時間Ｔ７までのロール方向のブレ補正動作は、撮像素子３のロール方向の姿勢を水平（重力方向に対して傾斜のない姿勢）に維持する。
【０１１６】
例えば図１３に示すように、使用者の手によって撮像装置１が保持された状態で３つの画像の連続撮像を行う場合、連続撮影の期間中に撮像装置１がロール方向に回転してしまう場合がある。このように、連続撮影の期間中に撮像装置１がロール方向に回転してしまう場合であっても、本実施形態の撮像装置１では、図１４に示すように、撮像素子３の姿勢を水平に保つ。
【０１１７】
このため、本実施形態の撮像装置１によって取得される連続撮像画像群では、全ての画像において、画像中における被写体の角度が一定となる。このため、画像処理部１０ａにおいて連続撮像画像群から合成画像データを生成する際には、画像を回転させる位置合わせ処理が不要となり、画像を横軸および縦軸に並進移動させる位置合わせ処理のみで複数の画像の合成を実行することができる。
【０１１８】
すなわち、本実施形態では、撮像装置１を所定位置に保持した状態において得られた連続撮像画像群を重ね合わせて合成画像データを得る、例えば手振れ軽減撮影、ＨＤＲ（Ｈｉｇｈ−Ｄｙｎａｍｉｃ−Ｒａｎｇｅ）撮影、または深度合成撮影（超解像度撮影）において、合成画像データを生成する合成処理に係る演算負荷を軽減することができる。合成処理に係る演算負荷を軽減することにより、例えば撮像装置の動作の応答性の向上や、消費電力の低減を実現できる。
【０１１９】
（第３の実施形態）  
次に、本発明の第３の実施形態について説明する。以下では第１の実施形態との相違点のみを説明するものとし、第１の実施形態と同様の構成要素については同一の符号を付し、その説明を適宜に省略するものとする。
【０１２０】
本実施形態の撮像装置１は、連続撮像画像群の取得時において、ロール方向のブレ補正動作によって撮像素子３の姿勢を維持する目標値となるロール方向基準角度θ１の値の定め方が、第１の実施形態と異なる。
【０１２１】
図１７に示すように、本実施形態のブレ補正制御部１１は、角度ブレ量算出部の演算処理において、姿勢検出部６の３軸の角速度センサ６ａからの出力に基づき、撮像装置１のパンニングの移動方向の傾きを算出するパンニング傾き算出８２５を実行する。パンニングとは、撮像装置１を鉛直軸周りに回転させることである。
【０１２２】
図１８は、本実施形態の撮像装置１が合成画像データを取得する動作作用を、模式的に図示したものである。図１８には、撮像装置１が、３回の連続撮像を行って得た画像I、画像IIおよび画像IIIからなる連続撮像画像群を取得し、この連続撮像画像群から合成処理を行って１つの合成画像データを取得する動作を一例として示す。
【０１２３】
図１８に、横軸を時間として、撮像装置１の連続撮像画像群を取得して合成画像データを取得する際の動作のタイミングチャートと、姿勢検出部６によって検出される撮像装置１のヨー方向角速度φおよびピッチ方向角速度ψと、ブレ補正制御部１１が像ブレ補正部５に出力するロール方向の駆動量（補正量）Ｒの一例を示す。
【０１２４】
また、図１９は、撮像装置１をパンニングしながら連続撮像された３つの画像Ｐ１、Ｐ２、Ｐ３をつなぎ合わせることによって、撮像レンズ４の画角よりも広い範囲を捉えた１つの合成画像データを生成するパノラマ撮影の様子を示す。図１９は、パンニング中に撮像装置１がロール方向に回転移動した場合を示している。また、図２０は、図１９と同一の被写体に対してパノラマ撮影を行う場合に、ブレ補正制御部１１および像ブレ補正部５によるブレ補正動作を実行した場合を示している。
【０１２５】
図２１および図２２は、本実施形態の撮像装置１の連続撮像画像群を取得して合成画像データを取得する動作のフローチャートである。
【０１２６】
図２１に示すように、制御部１０は、使用者によりレリーズスイッチ８ｂが操作され、１ｓｔレリーズの入力がなされるまで待機する。１ｓｔレリーズの入力がなされた場合には、ステップＳ２に移行する。
【０１２７】
ステップＳ２では、制御部１０は、ブレ補正制御部１１に動作開始指令を出力する。ステップＳ２の実行により、ブレ補正制御部１１は、ステップＳＢ３１において周期処理を開始する。ブレ補正制御部１１の周期処理については後述する。
【０１２８】
ブレ補正制御部１１は、ステップＳＢ３１の周期処理を開始した後に、ステップＳＢ２において、像ブレ補正部５を駆動し、撮像素子３を原点位置に保持する原点位置保持動作を実行する。すなわち、１ｓｔレリーズ入力時においては、撮像素子３は原点位置に保持される。
【０１２９】
次に、ステップＳ３において、制御部１０は、２ｎｄレリーズの入力がなされるまで待機する。２ｎｄレリーズの入力がなされた場合には、ステップＳ４に移行する。なお、例えば使用者がレリーズスイッチ８ｂに与える力を消失させて２ｎｄレリーズ入力が行われずに、１ｓｔレリーズ入力が消失した場合には、ステップＳ１に戻る。
【０１３０】
ステップＳ４では、連続撮像画像群を取得する連続撮像のうちの１回目の撮像動作であるか否かを判定する。言い換えれば、ステップＳ４では、連続撮像画像群のうちの画像Iが撮像済みであるか否かを判定する。
【０１３１】
ステップＳ４において、連続撮像のうちの１回目の撮像動作であると判定した場合には、ステップＳ３５に移行する。ステップＳ４において、連続撮像のうちの１回目の撮像動作であると判定した場合には、ステップＳ３５からステップＳ３６をスキップしてステップＳ７に移行する。
【０１３２】
ステップＳ３５では、制御部１０は、ブレ補正制御部１１から撮像装置１のパンニング移動の方向であるパンニング方向の情報を取得する。具体的にステップＳ３５では、制御部１０は、ブレ補正制御部１１にパンニング方向取得指令を出力する。ブレ補正制御部１１は、パンニング方向取得指令を受けて、姿勢検出部６の検出結果に基づいて算出された撮像装置１のパンニング移動の方向の情報であるパンニング方向を制御部１０に返す（ステップＳＢ３３）。
【０１３３】
より詳細には、ブレ補正制御部１１は、パンニング方向は、姿勢検出部６により検出されたヨー方向角速度φおよびピッチ方向角速度ψのそれぞれの時間Ｔ１から時間Ｔ２までの期間の積分値を算出し、時間Ｔ１から時間Ｔ２までの期間中の撮像装置１のヨー方向およびピッチ方向の回転角度を取得する。そして、ブレ補正制御部１１は、時間Ｔ１から時間Ｔ２までの期間中の撮像装置１のヨー方向およびピッチ方向の回転角度から、パンニング方向を算出する。
【０１３４】
次にステップＳ３６では、制御部１０は、ステップＳ３５においてブレ補正制御部１１から入力されたパンニング方向を、ロール方向基準角度θ１と定め、当該ロール方向基準角度θ１の値をブレ補正制御部１１に指示する。ブレ補正制御部１１は、ロール方向基準角度θ１を、ブレ補正動作において撮像素子３のロール方向の姿勢を維持する目標値として定める（ステップＳＢ４）。
【０１３５】
ステップＳ７以降の制御部１０の動作、およびステップＳＢ５以降のブレ補正制御部１１の動作については第１の実施形態と同様であるため、説明を省略する。
【０１３６】
以下に、図２２に示すブレ補正制御部１１の周期処理について説明する。
【０１３７】
周期処理では、まずステップＳＢ７１において、ブレ補正制御部１１は、制御部１０からのパンニング方向取得指令が入力されたか否かを判定する。パンニング方向取得指令は、前述のように、ステップＳ３５において制御部１０から出力される。
【０１３８】
ステップＳＢ７１において、パンニング方向取得指令が入力されたと判定した場合には、ブレ補正制御部１１は、ステップＳＢ７２からステップＳＢ７４を実行した後に、ステップＳＢ５５を実行する。ステップＳＢ７１において、姿勢取得指令が入力されていないと判定した場合には、ブレ補正制御部１１は、ステップＳＢ７２からステップＳＢ７４をスキップして、ステップＳＢ５５を実行する。
【０１３９】
ステップＳＢ７２からステップＳＢ７４では、ブレ補正制御部１１は、姿勢検出部６によるヨー方向角速度φおよびピッチ方向角速度ψの検出値を取得し（ステップＳＢ７２）、当該検出値に基づいて撮像装置１のパンニング移動の方向を算出し（ステップＳＢ７３）、この値をパンニング方向として制御部１０に出力する（ステップＳＢ７４）。
【０１４０】
ステップＳＢ５５では、ブレ補正制御部１１は、制御部１０からのブレ補正動作開始指令が入力されたか否かを判定する。ブレ補正動作開始指令は、前述のように、ステップＳ８において制御部１０から出力される。
【０１４１】
ステップＳＢ５５において、ブレ補正動作開始指令が入力されていないと判定した場合には、ステップＳ６０に移行し、撮像素子３の姿勢を保持するロール方向の目標値である角度目標値を原点位置とする。そして、ステップＳＢ６１に移行して、ブレ補正制御部１１は、撮像素子３の姿勢を原点位置に移動させるために必要な、ロール方向の駆動量（補正量）Ｒを算出する。そして、ステップＳＢ６２に移行して、ブレ補正制御部１１は、ステップＳＢ６１で算出した駆動量で像ブレ補正部５を駆動し、撮像素子３を原点位置に移動させる。
【０１４２】
一方、ステップＳＢ５５において、ブレ補正動作開始指令が入力されたと判定した場合には、ステップＳＢ５６に移行する。ステップＳＢ５６では、ブレ補正制御部１１は、制御部１０によってロール方向基準角度θ１の値の指示が入力されたか否かを判定する。ロール方向基準角度θ１の値の指示は、前述のように、ステップＳ３６において制御部１０から出力される。
【０１４３】
ステップＳＢ５６において、ロール方向基準角度θ１の値の指示が入力されていないと判定した場合には、ブレ補正制御部１１は、ステップＳＢ５７に移行して基準角度の値を０とする。一方、ステップＳＢ５６において、ロール方向基準角度θ１の値の指示が入力されていると判定した場合には、ブレ補正制御部１１は、ステップＳＢ５７に移行して基準角度の値をθ１とする。
【０１４４】
そして、ステップＳＢ５９において、ブレ補正制御部１１は、撮像素子３の姿勢を保持するロール方向の目標値である角度目標値を基準角度とする。そして、ステップＳＢ６１に移行して、ブレ補正制御部１１は、撮像素子３の受光面の外形の長辺をロール方向基準角度θ１と平行にするために必要な、ロール方向の駆動量（補正量）Ｒを算出する。そして、ステップＳＢ６２に移行して、ブレ補正制御部１１は、ステップＳＢ６１で算出した駆動量で像ブレ補正部５を駆動し、撮像素子３を基準角度に移動させる。
【０１４５】
以上に説明したように、本実施形態の撮像装置１は、撮像装置１をパンニングしながら連続撮像画像群を取得する場合において、１回目に撮像される画像（画像I）の露光開始時（時間Ｔ２）から、連続撮像画像群のうちの最後の画像（画像III）の露光終了時（時間Ｔ７）までの期間において、ロール方向のブレ補正動作を実行し続ける。ここで、時間Ｔ２から時間Ｔ７までのロール方向のブレ補正動作は、撮像素子３の受光面の外形の長辺をパンニング方向（ロール方向基準角度θ１）と平行に維持する。
【０１４６】
例えば図１９に示すように、使用者の手によって撮像装置１が保持された状態で撮像装置１をパンニングしながら３つの画像の連続撮像を行う場合、パンニング方向と撮像された３つの画像Ｐ１、Ｐ２、Ｐ３の長辺とが平行とならない場合がある。この場合、図１９に示すように、画像Ｐ１、Ｐ２、Ｐ３をつなぎ合わせた後に矩形状に切り出したパノラマ画像ＰＡ１に写る範囲が狭くなってしまう。
【０１４７】
本実施形態の撮像装置１では、図２０に示すように、連続撮像の期間中において、ロール方向のブレ補正動作を実行し続けることにより撮像素子３の外形の長辺をパンニング方向と平行に保つため、取得された３つの画像Ｐ１、Ｐ２、Ｐ３の長辺が、パンニング方向と平行となる。したがって本実施形態では、画像Ｐ１、Ｐ２、Ｐ３の全体を使用してパノラマ画像ＰＡ２を生成することができるため、パノラマ画像ＰＡ２に写る範囲を広くすることができる。
【０１４８】
また、本実施形態の撮像装置１によって取得される連続撮像画像群では、隣り合う画像において、重なり合う視野中の被写体の角度が一定となる。このため、画像処理部１０ａにおいて連続撮像画像群から合成画像データを生成する際には、画像を回転させる位置合わせ処理が不要となり、画像を横軸および縦軸に並進移動させる位置合わせ処理のみで複数の画像の合成を実行することができる。
【０１４９】
すなわち、本実施形態では、撮像装置１をパンニングしながら撮像することで得られた連続撮像画像群をつなぎ合わせて合成画像データを得る、パノラマ撮影において、合成画像データを生成する合成処理に係る演算負荷を軽減することができる。合成処理に係る演算負荷を軽減することにより、例えば撮像装置の動作の応答性の向上や、消費電力の低減を実現できる。
【０１５０】
（第４の実施形態）  
次に、本発明の第４の実施形態について説明する。以下では第２の実施形態との相違点のみを説明するものとし、第２の実施形態と同様の構成要素については同一の符号を付し、その説明を適宜に省略するものとする。
【０１５１】
本実施形態の撮像装置１は、姿勢検出部６の構成が第２の実施形態と異なる。具体的には、図２３に示すように、本実施形態の撮像装置１の姿勢検出部６は、３軸の角速度センサ６ａと画像処理部１０ａとによって構成される。
【０１５２】
本実施形態の姿勢検出部６は、撮像素子３によって得られる画像データから、水平または鉛直と推定される線を認識することによって、撮像装置１の重力方向に対する姿勢を検出する。画像データ中における水平または鉛直と推定される線とは、例えば水平線（地平線）や建築物の輪郭線の一部等である。
【０１５３】
図２４は、第４の実施形態における、ブレ補正制御部１１のロール方向の角度ブレ量検出部８２ｃの詳細を示すブロック図である。本実施形態では、角度ブレ量検出部８２ｃは、画像処理部１０ａを含む制御部１０から通信部８５を経由して、撮像装置１の重力方向に対する姿勢を取得し、撮像素子３の重力方向に対する傾きを算出する傾き算出８２４を実行する。
【０１５４】
図２５は、姿勢検出部６に関わる制御部１０の内部機能を示すブロック図である。制御部１０は、カメラ動作の様々な制御を行なっているが、ここでは、本発明に関わる機能のみを記載する。制御部１０では、撮像素子３から取得した映像信号を、画像処理７１で、画像表示装置７に表示する形式や、記憶媒体２２に保存する形式に変換する。
【０１５５】
水平検出部７２は、画像処理部７１で変換された画像データから、水平または鉛直と推定される線を検出し、当該線が検出された場合には、傾き算出７３で撮像装置１の重力方向に対する傾きを算出する。算出された傾きは、通信部７４を経由して、ブレ補正制御部１１に出力する。
【０１５６】
本実施形態では、姿勢検出部６の一部の構成を画像処理部１０ａにおけるソフトウェア処理によって実現することにより、姿勢検出部６を簡略化し安価に構成することができる。
【０１５７】
（第５の実施形態）  
次に、本発明の第５の実施形態について説明する。以下では第１から第４の実施形態との相違点のみを説明するものとし、第１から第４の実施形態と同様の構成要素については同一の符号を付し、その説明を適宜に省略するものとする。
【０１５８】
本実施形態の撮像装置１は、像ブレ補正部５が、撮像素子３を本体部２に対して相対的に移動させる機構を具備しない点が前述の第１から第４の実施形態の撮像装置とは異なる。
【０１５９】
本実施形態の像ブレ補正部５は、撮像素子３の受光面上において、画像データを生成するための領域である切り出し領域を並進移動および回転移動させる。すなわち、図２６に示すように、本実施形態の像ブレ補正部５は、制御部１０に含まれる。
【０１６０】
本実施形態では、制御部１０は、撮像レンズ４の焦点距離の情報と、姿勢検出部６によって検出された撮像装置１の回転移動および並進移動の情報とに基づいて、撮像素子３の受光面上における、撮像装置１の回転移動および並進移動に起因した受光面に対する像の移動量を算出する。そして、制御部１０は、撮像素子３の露光期間中における受光面に対する像の移動を打ち消すように、切り出し領域を、撮像素子３の受光面に対して並進方向であるＸ−Ｙ方向、およびロール方向への回転方向であるθ方向に移動させる。このような本実施形態の像ブレ補正方法は、電子式の像ブレ補正機能等と称され、第１から第４の実施形態の撮像装置のようなイメージセンサ・シフト方式の像ブレ補正機能に比して簡易な構成で実現可能である。電子式の像ブレ補正機能の詳細については公知であるため、詳細な説明は省略するものとする。
【０１６１】
第１から第４の実施形態と同様に、本実施形態の撮像装置１においても、連続撮像画像群から合成画像データを生成する際に、画像を回転させる位置合わせ処理が不要となり、連続撮像画像群から合成画像データを生成する合成処理に係る演算負荷を軽減することができる。
【０１６２】
なお、本発明は、前述した実施形態に限られるものではなく、特許請求の範囲および明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う撮像装置もまた本発明の技術的範囲に含まれるものである。
【０１６３】
また、本発明に係る撮像装置は、前述の実施形態で説明したような、デジタルカメラの形態に限らず、例えば撮像機能を備えた電子機器の形態であってもよい。撮像機能を備えた電子機器としては、例えば携帯通信端末、ゲーム機、デジタルメディアプレーヤー、腕時計、ボイスレコーダー、双眼鏡等が考えられる。
【符号の説明】
【０１６４】
１    撮像装置、
２    本体部、
３    撮像素子、
４    レンズ鏡筒、
４ａ    撮像レンズ、
４ｂ    焦点距離検出部、
４ｃ    駆動部、
５    像ブレ補正部、
５ａ    基台部、
５ｂ    ステージ、
５ｃ    第１ボイスコイルモータ、
５ｄ    第２ボイスコイルモータ、
５ｅ    第３ボイスコイルモータ、
６    姿勢検出部、
６ａ    ３軸の角速度センサ、
６ｂ    ３軸の加速度センサ、
７    画像表示装置、
８    入力装置、
８ａ    電源操作スイッチ、
８ｂ    レリーズスイッチ、
１０    制御部、
１０ａ    画像処理部、
１０ｂ    通信部、
１１    ブレ補正制御部、
２０    電源、
２１    電源接続部、
２２    記憶媒体、
２３    記憶媒体接続部、
８１ａ、８１ｂ、８１ｃ    Ａ／Ｄ変換回路（ＡＤＣ）、
８２ａ、８２ｂ、８２ｃ    角度ブレ量検出部、
８３    補正量算出部、
８４ａ、８４ｂ、８４ｃ    ドライバ、
８５    通信部。
【図１】
2017046301.tif 000003
【図２】
2017046301.tif 000004
【図３】
2017046301.tif 000005
【図４】
2017046301.tif 000006
【図５】
2017046301.tif 000007
【図６】
2017046301.tif 000008
【図７】
2017046301.tif 000009
【図８】
2017046301.tif 000010
【図９】
2017046301.tif 000011
【図１０】
2017046301.tif 000012
【図１１】
2017046301.tif 000013
【図１２】
2017046301.tif 000014
【図１３】
2017046301.tif 000015
【図１４】
2017046301.tif 000016
【図１５】
2017046301.tif 000017
【図１６】
2017046301.tif 000018
【図１７】
2017046301.tif 000019
【図１８】
2017046301.tif 000020
【図１９】
2017046301.tif 000021
【図２０】
2017046301.tif 000022
【図２１】
2017046301.tif 000023
【図２２】
2017046301.tif 000024
【図２３】
2017046301.tif 000025
【図２４】
2017046301.tif 000026
【図２５】
2017046301.tif 000027
【図２６】
2017046301.tif 000028