(57)【要約】【課題】パノラマ画像の生成を容易に行えるようにする。【解決手段】フィルタ制御部５１７で、アナログ高域通過フィルタ（ＨＰＦ）部５１３を所定周期でリセットさせる。ＨＰＦ部５１３は、動き検出センサ４２からの動き検出信号のフィルタ処理を行う。振れ量算出部５１５は、ＨＰＦ部５１３がリセット状態でないときの出力信号を用いて補外処理を行い、リセット状態であるときの信号を生成する。振れ量算出部５１５は、生成した信号にリセット状態でなくなったときの出力信号を連続させて、この信号から振れ量を算出する。変位制御部５１６は、振れ量に応じてレンズ部と撮像素子との相対的位置関係を光軸に対して変位させて振れ補正を行う。パノラマ画像生成時に撮像方向をスイープさせても、スイープ動作に伴うぶれが生じていない撮像画像を容易に得ることができる。【選択図】        図２
2010220002.tif 000002
【特許請求の範囲】
【請求項１】
動き検出センサと、
前記動き検出センサから出力される動き検出信号のフィルタ処理を行うアナログ高域通過フィルタ部と、
前記アナログ高域通過フィルタ部を所定周期でリセットするフィルタ制御部と、
前記アナログ高域通過フィルタ部がリセット状態でないときの出力信号を用いた補外処理によって、前記アナログ高域通過フィルタ部がリセット状態であるときの信号の生成を行い、該生成した信号にリセット状態でなくなったときの出力信号を連続させて、該連続された信号から振れ量を算出する振れ量算出部と、
前記振れ量に応じて、レンズ部と撮像素子との相対的位置関係を光軸に対して変位させて振れ補正を行う変位制御部
とを備える撮像装置。
【請求項２】
前記フィルタ制御部は、パノラマ画像を生成する撮像モードであるとき、前記アナログ高域通過フィルタ部を所定周期でリセットする
請求項１記載の撮像装置。
【請求項３】
前記振れ量算出部は、リセット状態でないときの出力信号から一次関数または高次関数を決定して、該決定した関数を用いて補外処理を行い前記リセット状態であるときの信号の生成を行う
請求項２記載の撮像装置。
【請求項４】
前記振れ量算出部は、前記決定した関数から前記リセット状態でなくなったときの出力信号に対するオフセット量を算出して、該算出したオフセット量を前記リセット状態でなくなったときの出力信号に加算することで、前記補外処理によって生成した信号にリセット状態でなくなったときの出力信号を連続させる
請求項３記載の撮像装置。
【請求項５】
前記変位制御部は、前記アナログ高域通過フィルタ部がリセット状態でないとき前記振れ量算出部で算出された振れ量に応じて、前記レンズ部と撮像素子との相対的位置関係を光軸に対して変位させて振れ補正を行う
請求項４記載の撮像装置。
【請求項６】
前記撮像素子の露光期間は、前記振れ補正が行われている期間内である
請求項５記載の撮像装置。
【請求項７】
前記変位制御部は、前記露光期間後に前記相対的位置関係を補正動作開始位置に戻す処理を行う
請求項６記載の撮像装置。
【請求項８】
前記駆動部は前記レンズ部または前記撮像素子の少なくとも一方を駆動して、前記レンズ部と前記撮像素子との相対的位置関係を光軸に対して変位させる
請求項５記載の撮像装置。
【請求項９】
前記制御部は、前記パノラマ画像を生成する撮像モードと異なる撮像モードであるとき、レンズ部と撮像素子を所定の相対的位置関係として、前記パノラマ画像を生成する撮像モードであるとき、前記所定の相対的位置関係をオフセットさせて、前記撮像方向の移動に対する振れ補正の補正範囲を広くする
請求項８記載の撮像装置。
【請求項１０】
前記フィルタ制御部は、前記アナログ高域通過フィルタ部で用いられたコンデンサを短絡させて、前記アナログ高域通過フィルタ部をリセットとする
請求項２記載の撮像装置。
【請求項１１】
動き検出センサによって、動き検出を行うステップと、
アナログ高域通過フィルタ部で前記動き検出センサから出力される動き検出信号のフィルタ処理を行うステップと、
フィルタ制御部で前記アナログ高域通過フィルタ部を所定周期でリセットするステップと、
振れ量算出部で、前記アナログ高域通過フィルタ部がリセット状態でないときの出力信号を用いた補外処理によって、前記アナログ高域通過フィルタ部がリセット状態であるときの信号の生成を行い、該生成した信号にリセット状態でなくなったときの出力信号を連続させて、該連続された信号から振れ量を算出するステップと、
変位制御部で、前記振れ量に応じて、レンズ部と撮像素子との相対的位置関係を光軸に対して変位させて振れ補正を行うステップ
とを有する撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮像装置と撮像方法に関する。詳しくは、複数枚の撮像画像をつなぎ合わせてパノラマ画像を得られるようにする。
【背景技術】
【０００２】
従来、例えば撮像装置を用いてパノラマ画像を得るためには、特許文献１のように、撮像領域を少しずつ移動させて撮像を行い、撮像開始点から連続的にフレーム（あるいはフィールド）画像を記録する。そして、記録された撮像画像に対して、位置的に隣接する撮像画像の重複部分を抽出し、この重複部分に対して所定の演算を行うことによって、それぞれの撮像画像がシームレスに合成されてパノラマ画像が生成される。
【０００３】
例えば、ユーザは、撮像方向を水平方向に移動させながら撮像を行い、複数枚の撮像画像を記録する。この撮像画像に対して重複部分に適当な処理を加えながら撮像画像をシームレスに繋ぐことで、横長のパノラマ画像を得ることができる。
【０００４】
また、撮像時に撮像方向の移動方向と逆方向に光軸可変素子を変化させて、光軸がリニアに移動している間にシャッターを開放して、シャッターが閉じている間に速やかに光軸を元に戻す動作を繰り返して複数枚の撮像画像を記録する。このようにすれば、撮像装置を素早く動かしても解像度が悪くならず、シャッター速度を速くしなくても、良好なパノラマ画像を生成できる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−８８７５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、撮像装置では、手振れに応じて光軸を変化させて、画像のぶれを防止する手振れ補正機能が設けられている。しかし、手振れ補正機能は、手振れによる画像のぶれを防止する機能であり、パノラマ画像に用いられる撮像画像を生成するための機能ではない。
【０００７】
そこで、パノラマ画像の生成を容易に行える撮像装置と撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
この発明の第１の側面は、動き検出センサと、前記動き検出センサから出力される動き検出信号のフィルタ処理を行うアナログ高域通過フィルタ部と、前記アナログ高域通過フィルタ部を所定周期でリセットするフィルタ制御部と、前記アナログ高域通過フィルタ部がリセット状態でないときの出力信号を用いた補外処理によって、前記アナログ高域通過フィルタ部がリセット状態であるときの信号の生成を行い、該生成した信号にリセット状態でなくなったときの出力信号を連続させて、該連続された信号から振れ量を算出する振れ量算出部と、前記振れ量に応じて、レンズ部と撮像素子との相対的位置関係を光軸に対して変位させて振れ補正を行う変位制御部とを備える撮像装置にある。
【０００９】
この発明において、フィルタ制御部は、アナログ高域通過フィルタ部を構成するコンデンサを所定周期で短絡して、アナログ高域通過フィルタ部を所定周期でリセットする。振れ量算出部は、リセット状態でないときの出力信号から一次関数または高次関数を決定して、決定した関数を用いて補外処理を行いリセット状態であるときの信号を生成する。さらに、振れ量算出部は、決定した関数からリセット状態でなくなったときの出力信号に対するオフセット量を算出して、この算出したオフセット量をリセット状態でなくなったときの出力信号に加算することで、補外処理によって生成した信号にリセット状態でなくなったときの出力信号を連続させて、この連続された信号から振れ量を算出する。変位制御部は、アナログ高域通過フィルタ部がリセット状態でないとき振れ量算出部で算出された振れ量に応じて、レンズ部と撮像素子との相対的位置関係を光軸に対して変位させて振れ補正を行う。また、撮像素子の露光期間は、振れ補正が行われている期間内に設定する。さらに、露光期間後に相対的位置関係を補正動作開始位置に戻す。
【００１０】
この発明の第２の側面は、動き検出センサによって、動き検出を行うステップと、アナログ高域通過フィルタ部で前記動き検出センサから出力される動き検出信号のフィルタ処理を行うステップと、フィルタ制御部で前記アナログ高域通過フィルタ部を所定周期でリセットするステップと、振れ量算出部で、前記アナログ高域通過フィルタ部がリセット状態でないときの出力信号を用いた補外処理によって、前記アナログ高域通過フィルタ部がリセット状態であるときの信号の生成を行い、該生成した信号にリセット状態でなくなったときの出力信号を連続させて、該連続された信号から振れ量を算出するステップと、変位制御部で、前記振れ量に応じて、レンズ部と撮像素子との相対的位置関係を光軸に対して変位させて振れ補正を行うステップとを有する撮像方法にある。
【発明の効果】
【００１１】
この発明によれば、動き検出センサによって動き検出を行うことによって得られた動き検出信号のフィルタ処理が、所定周期でリセットされるアナログ高域通過フィルタ部で行われる。また、振れ量算出部で、アナログ高域通過フィルタ部がリセット状態でないときの出力信号を用いて補外処理が行われて、アナログ高域通過フィルタ部がリセット状態であるときの信号が生成される。この生成された信号にリセット状態でなくなったときの出力信号が連続されて、この連続された信号から振れ量が算出されて、算出された振れ量に応じて、レンズ部と撮像素子との相対的位置関係が光軸に対して変位されて振れ補正が行われる。したがって、撮像方向を所定方向に移動させても振れ量を算出してパノラマ画像の生成に適した振れ補正を行うことが可能となり、パノラマ画像の生成を容易に行うことができる。
【図面の簡単な説明】
【００１２】
【図１】撮像装置の構成を示す図である。
【図２】振れ補正制御部の構成を示す図である。
【図３】増幅部とアナログ低域通過フィルタ部とアナログ高域通過フィルタ部の構成を例示した図である。
【図４】撮像装置の外観を例示した図である。
【図５】アナログ高域通過フィルタ部おけるコンデンサで電荷が飽和した場合を説明するための図である。
【図６】アナログ高域通過フィルタ部おけるコンデンサの電荷を周期的に放出させた場合を説明するための図である。
【図７】補外処理とオフセット処理を説明するための図である。
【図８】補外処理とオフセット処理を行った場合を示す図である。
【図９】補外処理で二次関数を用いた場合を説明するための図である。
【図１０】補外処理とオフセット処理を行った場合の具体例を示す図である。
【図１１】撮像素子としてＣＣＤを用いた場合の動作を示す図である。
【図１２】撮像素子としてＣＭＯＳセンサを用いた場合の動作を示す図である。
【図１３】撮像素子における電荷読み出しタイミングを示す図である。
【図１４】補正レンズに対する指示位置と補正レンズの位置の具体例を示す図である。
【図１５】戻し期間と助走期間を説明するための図である。
【図１６】撮像装置の動作を示すフローチャートである。
【図１７】メニュー表示が行われた状態を示す図である。
【図１８】右方向スイープモードが選択された場合を例示した図である。
【図１９】通常モードが選択された場合を説明するための図である。
【図２０】右方向スイープモードでパノラマ画像を生成する場合を示す図である。
【図２１】右方向スイープモードに設定されているときの動作を説明するための図である。
【図２２】撮像画像生成処理を説明するための図である。
【図２３】右方向スイープモードで生成される撮像画像を説明するための図である。
【発明を実施するための形態】
【００１３】
以下、発明を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．撮像装置の構成
２．振れ補正制御部の構成
３．撮像装置の外観
４．振れ補正制御部で行われる補外処理
５．振れ補正制御部における振れ補正動作
６．撮像装置の動作
７．パノラマ画像の生成動作例（右方向スイープモードの場合）
【００１４】
＜１．撮像装置の構成＞
図１は、本発明の撮像装置の構成を示す図である。撮像装置１０は、撮像光学系ブロック１１、ドライバ１２、位置センサ１３、撮像素子２１、タイミング信号発生（ＴＧ）部２２、アナログフロントエンド（ＡＦＥ）部２３、信号処理部２４、検波部２５を備えている。さらに撮像装置１０は、画像出力部３１、表示部３２、記録再生部３３、操作部４１、動き検出センサ４２、制御部５０を備えている。
【００１５】
撮像光学系ブロック１１は、レンズ部１１ａと撮像素子２１の撮像面上に形成される光学像の光量調節する絞り機構１１ｂを備えている。レンズ部１１ａは、例えば変倍を行うズームレンズ１１１、フォーカシングを行うフォーカスレンズ１１２、後述する撮像素子２１の撮像面上に形成される光学像の位置を撮像面上で移動させる補正レンズ部１１３で構成されている。
【００１６】
補正レンズ部１１３は、例えば光軸が撮像光学系の光軸と一致するように設けられた補正レンズと、この補正レンズを撮像光学系の光軸に対して直交する方向に変位させるアクチュエータ等で構成されている。このような構成の補正レンズ部１１３は、補正レンズを撮像光学系の光軸に対して直交する方向に移動して、レンズ部１１ａと撮像素子２１との相対的位置関係を光軸に対して変位させる。
【００１７】
また、補正レンズ部１１３は、可変頂角プリズムユニットを用いるようにしてもよい。可変頂角プリズムユニットは、ベローズ等の折り曲げ自在な筒の端面に透光性を有する入射端板と出射端板を設け、筒内に所望の屈折率を持った透光性の液体を封入したものである。可変頂角プリズムユニットを用いる場合、入射端板または出射端板の一方を固定して、他方をアクチュエータで駆動して光学楔を形成する。このような構成の補正レンズ部は、例えば入射端板に対する出射端板の傾斜角度を変位させて、撮像面上に形成される光学像の位置を撮像面上で移動させる。
【００１８】
ドライバ１２は、後述する制御部５０からのレンズ制御信号に基づきズームレンズ１１１やフォーカスレンズ１１２および補正レンズ部１１３のアクチュエータを駆動する。また、ドライバ１２は、制御部５０からの絞り制御信号に基づき絞り機構１１ｂを駆動する。
【００１９】
位置センサ１３は、ズームレンズ１１１やフォーカスレンズ１１２のレンズ位置、補正レンズ部１１３の変位状態（補正レンズ部１１３の変位位置や補正角と同等）、および絞り機構１１ｂの設定位置を検出して位置信号を制御部５０に供給する。
【００２０】
撮像素子２１は、例えばＣＣＤ（Charge Coupled Devices）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサなどの撮像素子が用いられている。撮像素子２１は、撮像光学系ブロック１１によって撮像面上に形成された光学像を電気信号に変換してＡＦＥ部２３に出力する。
【００２１】
ＴＧ部２２は、撮像素子２１で撮像画を示す電気信号の出力を行うために必要とする各種の駆動パルス、並びに撮像素子２１の電荷蓄積時間を制御する電子シャッターパルス等を生成する。
【００２２】
ＡＦＥ部２３は、撮像素子２１から出力された電気信号（画像信号）に対して、ノイズ除去処理例えばＣＤＳ（Correlated Double Sampling）処理や、撮像信号を所望の信号レベルとするＡＧＣ（Automatic Gain Control）処理を行う。さらに、ＡＦＥ部２３は、ノイズ除去処理や利得制御が行われたアナログの撮像信号をディジタル信号に変換して信号処理部２４に出力する。
【００２３】
信号処理部２４は、カメラ信号前処理やカメラ信号処理、解像度変換処理、圧縮伸張処理等を行う。カメラ信号前処理では、ＡＦＥ部２３から供給された画像信号に対して、撮像素子２１における欠陥画素の信号を補正する欠陥補正処理、レンズの周辺光量落ちを補正するシェーディング補正処理などを行う。カメラ信号処理では、ホワイトバランス調整や輝度補正等の処理を行う。また、ディジタルカメラ等では、撮像素子の前面にカラー・フィルタ・アレイ（Color Filter Array）を設けることにより、１つの撮像素子で赤色，緑色，青色の各信号を得るように構成されている場合がある。このような場合、カメラ信号処理ではデモザイク（demosaic）処理を行い、周囲の画素の信号を用いた補間等によって、各画素において欠落している色の信号を生成する。解像度変換処理では、カメラ信号処理がなされた画像信号、あるいは伸張復号化された画像信号を所定の解像度に変換する。圧縮伸張処理では、カメラ信号処理後の画像信号や解像度変換処理が行われた画像信号を圧縮符号化して、例えばＪＰＥＧ方式の符号化信号を生成する。また、圧縮伸張処理では、ＪＰＥＧ方式の符号化信号を伸張復号化する。なお、圧縮伸張処理は、ＪＰＥＧ方式とは異なる方式で静止画の画像信号の圧縮符号化を行うようにしてもよい。また、圧縮伸張処理では、動画圧縮方式で動画の画像信号の圧縮符号化を行うようにしてもよい。
【００２４】
さらに、撮像装置１０でパノラマ画像の生成を行う場合、信号処理部２４は撮像画像を用いて動きベクトルの算出を行い、この算出した動きベクトルを利用して同じ被写体の画像が重なるように複数の撮像画像の合成を行って、パノラマ画像を生成する。また、撮像画像の合成は、動き検出センサからの動き検出信号を用いてもよい。この場合、動きベクトルが正しく得られなくとも、動き検出信号を利用して同じ被写体の画像が重なるように複数の撮像画像を合成することが可能となる。なお、パノラマ画像の生成に用いる撮像画像は、例えば図示していないメモリまたは後述する記録再生部３３で記録媒体に書き込むものとする。また、パノラマ画像の生成は、撮像時または再生時の何れで行ってもよく、撮像装置１０とは異なる外部機器、例えばコンピュータ等でパノラマ画像の生成を行うものとしてもよい。パノラマ画像の生成を再生時や外部機器で行う場合、再生時や外部機器でパノラマ画像の生成を可能とする識別情報（例えば一連の撮像画像であることを示す情報や撮像順序を示す情報等）を、パノラマ画像の生成に用いる撮像画像に対して設ける。このように識別情報を設けることで、正しい順序で撮像画像を合成してパノラマ画像を生成できる。
【００２５】
検波部２５は、信号処理部２４に供給された撮像信号を用いて、撮像画像の明るさレベルやフォーカス状態の検出を行い、明るさレベルやフォーカス状態を示す検波信号を生成して制御部５０に供給する。
【００２６】
画像出力部３１は、信号処理部２４で処理された画像信号を、撮像装置１０と接続される外部機器に対応したフォーマットの画像信号に変換して出力する。
【００２７】
表示部３２は、撮像装置１０によって撮像されている画像や、記録再生部３３で再生された撮像画の表示を行う。また、表示部３２は、撮像装置１０の設定等を行うためのメニュー表示等も行う。
【００２８】
記録再生部３３では、例えば、フラッシュメモリ、光ディスク、磁気テープなどの記録媒体が用いられている。記録再生部３３は、信号処理部２４から出力された撮像画の画像信号や符号化信号を記録媒体に記録する。また、記録再生部３３は、記録媒体に記録されている画像信号を読み出して画像出力部３１や表示部３２に供給する処理や、記録媒体に記録されている符号化信号を読み出して信号処理部２４に供給する処理を行う。なお、記録再生部３３は、記録媒体が着脱可能とされている構成に限られない。例えば、記録再生部３３としてハード・ディスク装置等を内蔵させるようにしてもよい。
【００２９】
操作部４１は、操作ボタンや表示部３２の画面上に設けられたタッチパネル等で構成されている。操作部４１は、ユーザ操作に応じた操作信号を生成して制御部５０に供給する。
【００３０】
動き検出センサ４２は、撮像装置１０の動きを検出する例えばジャイロセンサを用いて構成されている。動き検出センサは、ヨーイング方向における振れに応じて例えば角速度を検出するヨーイング角速度センサと、ピッチング方向における振れに応じて例えば角速度を検出するピッチング角速度センサで構成されている。なお、動き検出センサ４２は、角速度センサを用いて構成する場合に限られない。例えば、加速度センサ等を用いて動きの検出を行うようにしてもよい。加速度センサを用いる場合、加速度センサの出力を積分して速度を算出できる。
【００３１】
制御部５０は、ＣＰＵ（Central Processing Unit）やメモリ等で構成されている。メモリには、ＣＰＵが実行するプログラムや各種データが記憶されている。このメモリとしては、例えばＥＥＰＲＯＭ（Electronically Erasable and Programmable ROM）、フラッシュメモリなどの不揮発性メモリが用いられる。制御部５０のＣＰＵはメモリに記憶されているプログラムを実行して、メモリに記憶されている各種データや操作部４１から供給された操作信号に基づき、撮像装置１０の動作がユーザ操作に応じた動作となるように各部を制御する。例えば、制御部５０は、シャッター操作をユーザが行ったとき、ＴＧ部２２等の動作を制御して、所望のシャッター速度で撮像した静止画の符号化信号等を記録再生部３３の記録媒体に記録させる。また、動画記録開始操作が行われたときは、動画の符号化信号等を記録再生部３３の記録媒体に記録させる。
【００３２】
また、制御部５０は、モード選択操作をユーザが行ったとき、ユーザによって選択されたモードで撮像動作等を行う。
【００３３】
さらに、制御部５０は、位置センサ１３から供給された位置信号や、検波部２５から供給された検波信号に基づき、レンズ制御信号や絞り制御信号を生成してドライバ１２に供給する。したがって、ドライバ１２によって、所望の明るさでピントの合った撮像画が得られるようにフォーカスレンズ１１２や絞り機構１１ｂが駆動される。また、制御部５０は、ズーム操作をユーザが行ったとき、レンズ制御信号を生成してドライバ１２に供給することで、所望のズーム比の撮像画が得られるようにズームレンズ１１１を駆動する。
【００３４】
このように構成された撮像装置１０において、制御部５０には振れ補正制御部５１が設けられている。振れ補正制御部５１は、動き検出センサ４２で検出された動きに応じて、レンズ部１１ａと撮像素子２１との相対的位置関係を光軸に対して変位させることで、撮像画像の振れ補正を行う。例えば、振れ補正制御部５１は、動き検出センサ４２からの検出信号に基づき、撮像画像の振れが生じないように補正レンズ部１１３の補正レンズを駆動するためのレンズ制御信号を生成してドライバ１２に供給する。ドライバ１２は、レンズ制御信号に基づき補正レンズを駆動する駆動信号を補正レンズ部１１３に供給する。補正レンズ部１１３は、駆動信号に基づきアクチュエータで補正レンズを移動させる。このように、動き検出センサ４２からの動き検出信号に基づいて補正レンズ部１１３を駆動することで、レンズ部１１ａと撮像素子２１との相対的位置関係を光軸に対して変位させて、撮像素子の撮像面上に結像される光学像の振れ補正を行う。
【００３５】
また、補正レンズに換えて撮像素子２１を移動させて振れ補正を行うようにしてもよい。この場合、図１の点線で示すように、撮像素子２１を光軸に対して直交する方向に移動させるアクチュエータ２１ａを設ける。さらに、動き検出信号に基づいて撮像素子２１の位置をアクチュエータ２１ａによって移動させることで、レンズ部１１ａと撮像素子２１との相対的位置関係を光軸に対して変位させて、振れ補正を行う。
【００３６】
すなわち、撮像装置１０は、レンズ部１１ａまたは撮像素子２１の少なくとも一方を動き検出信号に基づいて駆動して、レンズ部と撮像素子との相対的位置関係を光軸に対して変位させれば振れ補正を行うことができる。なお、以下の説明では、補正レンズを移動させることによりレンズ部と撮像素子との相対的位置関係を光軸に対して変位させて、振れ補正を行う場合について説明する。
【００３７】
また、振れ補正制御部５１は、撮像モードがパノラマ画像を生成するモード（以下「パノラマモード」という）であるとき、動き検出センサで検出された動きに応じてレンズ部と撮像素子との相対的位置関係を変位させる。さらに、動き検出センサで検出された動きに応じてレンズ部と撮像素子との相対的位置関係を変位させることで、撮像方向を所定方向に移動してもぶれのない複数枚の撮像画像を生成させる。また、振れ補正制御部５１は、撮像画像の生成と次の撮像画像の生成との間に変位を補正動作開始状態に戻す。このような処理を行うことで、一定方向に撮像方向を移動しても、ぶれのない撮像画像を繰り返し生成可能とする。また、撮像方向を所定の方向に移動しながら生成した複数枚の撮像画像を合成して、１つの撮像画像よりも撮像範囲の広い画像を生成可能とする。
【００３８】
＜２．振れ補正制御部の構成＞
振れ補正制御部５１は、動き検出信号から不要な信号成分を除去するフィルタ処理を行う。例えば、振れ補正制御部５１は、周波数の高いノイズ成分等を除去するための低域通過フィルタ処理や直流成分等を除去のため高域通過フィルタ処理を行う。また、振れ補正制御部５１は、高域通過フィルタ処理を行ったとき、アナログ高域通過フィルタ部を構成するコンデンサで電荷が飽和状態となってしまうことがないように、アナログ高域通過フィルタ部を所定の周期でリセットさせる。すなわち、アナログ高域通過フィルタ部を所定の周期でリセット状態として、コンデンサに蓄積された電荷を放電させる。また、振れ補正制御部５１は、アナログ高域通過フィルタ部がリセット状態でないときの出力信号を用いて補外処理（外挿処理）を行い、アナログ高域通過フィルタ部がリセット状態であるときの信号を生成する。さらに、生成した信号にリセット状態でなくなったときの出力信号を連続させた信号から振れ量を算出して、この振れ量に応じて、レンズ部と撮像素子との相対的位置関係を光軸に対して変位させて振れ補正を行う。
【００３９】
図２は、振れ補正制御部５１の構成を示している。動き検出信号は、増幅部５１１を介してアナログ低域通過フィルタ（ＬＰＦ）部５１２に供給される。アナログ低域通過フィルタ部５１２は、動き検出信号よりも周波数の高いノイズ成分等を除去してアナログ高域通過フィルタ（ＨＰＦ）部５１３に供給する。アナログ高域通過フィルタ部５１３は、直流成分等を除去してＡ／Ｄ変換部５１４に供給する。また、アナログ高域通過フィルタ部５１３は、後述するフィルタ制御部５１７からの制御信号に基づき所定周期でリセットされて、アナログ高域通過フィルタ部５１３を構成するコンデンサに蓄積された電荷の放出を行う。例えば、撮像モードがパノラマモードとされて撮像方向が所定方向に移動されると、動き検出信号は周波数の低い信号となることからアナログ高域通過フィルタ部５１３を構成するコンデンサでは、電荷が飽和してしまう。このため、振れ補正制御部５１は、アナログ高域通過フィルタ部５１３を所定周期でリセットして電荷を放出させる。また、振れ補正制御部５１では、撮像モードがパノラマモードとされて撮像方向が所定方向に移動されたとき、このときの動き検出信号でアナログ高域通過フィルタ部５１３を構成するコンデンサで電荷が飽和してしまうことのないように、所定周期を設定しておく。
【００４０】
図３は、増幅部５１１とアナログ低域通過フィルタ部５１２とアナログ高域通過フィルタ部５１３の回路例を示している。増幅部５１１とアナログ低域通過フィルタ部５１２は、例えば差動増幅器を用いて、動き検出信号の低域フィルタ処理と増幅処理が行われている。アナログ高域通過フィルタ部５１３は、コンデンサ５１３ａと抵抗器５１３ｂおよび短絡スイッチ５１３ｃで構成されている。
【００４１】
フィルタ制御部５１７は、フィルタ制御信号によって短絡スイッチ５１３ｃを制御してアナログ高域通過フィルタ部５１３を所定周期でリセットさせる。すなわち、フィルタ制御部５１７は、短絡スイッチ５１３ｃをオフ状態とすることで、アナログ高域通過フィルタ部５１３からフィルタ処理後の信号を出力させる。また、フィルタ制御部５１７は、短絡スイッチ５１３ｃをオン状態とすることで、アナログ高域通過フィルタ部５１３をリセットして、アナログ高域通過フィルタ部５１３の出力を基準電圧Ｖrefとする。また、短絡スイッチ５１３ｃをオン状態としてアナログ高域通過フィルタ部５１３をリセットすることにより、コンデンサ５１３ａに蓄積された電荷を放電させる。
【００４２】
Ａ／Ｄ変換部５１４は、フィルタ処理された動き検出信号をディジタルの動き検出信号に変換して振れ量算出部５１５に供給する。
【００４３】
振れ量算出部５１５は、動き検出信号に基づいて振れ量の算出を行う。ここで、アナログ高域通過フィルタ部５１３は、コンデンサ５１３ａに蓄積された電荷が飽和してしまうことがないように所定周期でリセットされている。したがって、Ａ／Ｄ変換部５１４から供給される動き検出信号は、アナログ高域通過フィルタ部５１３がリセット状態であるとき基準電圧Ｖrefとなる。また、Ａ／Ｄ変換部５１４から供給される動き検出信号は、アナログ高域通過フィルタ部５１３がリセット状態でなくなると、基準電圧Ｖrefから動きに応じて信号レベルが変化する。このため、Ａ／Ｄ変換部５１４から供給される動き検出信号は、動き検出センサ４２から出力された動き検出信号をディジタル化した信号とは異なる信号となる。このため、振れ量算出部５１５は、アナログ高域通過フィルタ部５１３がリセット状態でないときの出力信号を用いて補外処理を行い、アナログ高域通過フィルタ部５１３がリセット状態であるときの信号を生成する。さらに、振れ量算出部５１５は、補外処理によって生成した信号にリセット状態でなくなったときの出力信号を連続させて、この連続した信号から振れ量を算出して変位制御部５１６に出力する。
【００４４】
変位制御部５１６は、振れ量算出部５１５で算出された振れ量に応じて、レンズ部と撮像素子との相対的位置関係を光軸に対して変位させて、撮像方向を所定方向に移動してもぶれのない撮像画像を生成できるように振れ補正を行う。すなわち、変位制御部５１６は、振れ量算出部５１５で算出された振れ量に基づき補正レンズの位置を算出する。さらに、変位制御部５１６は、位置センサ１３で検出された補正レンズの位置と、振れ量に基づき算出された位置に基づき、補正レンズが算出された位置となるように補正レンズ駆動信号を生成してドライバ１２に出力する。
【００４５】
フィルタ制御部５１７は、アナログ高域通過フィルタ部５１３のコンデンサ５１３ａで電荷が飽和することのないように、短絡スイッチ５１３ｃを制御してアナログ高域通過フィルタ部５１３を所定周期でリセットさせる。
【００４６】
＜３．撮像装置の外観＞
図４は、撮像装置１０の外観を例示している。撮像装置１０の筐体の背面には、表示部３２が設けられ、表示部３２の近傍には操作部４１が設けられている。操作部４１は、複数の操作キー等で構成されている。例えばメニューキー４１１は、表示部３２にメニューを表示するための操作キーである。方向キー４１２ａ〜４１２ｄは、メニュー項目の選択等を行うときに操作される操作キーである。方向キー４１２ａ〜４１２ｄの中心部分に設けられている決定キー４１３は、選択されている項目の決定操作等を行うときに操作される操作キーである。さらに、筐体の上面に設けられたシャッターキー４１５は、シャッター操作を行うための操作キーである。なお、図４に示した操作部４１は一例であり、キーの位置や種類はこの例に限定されない。また、表示部３２の画面上にタッチパネルを設けて、表示部３２の所定の位置を触れることで各種動作の設定や実行指示等を行うこともできるようにしてもよい。
【００４７】
＜４．振れ補正制御部で行われる補外処理＞
次に、振れ補正制御部５１で行われる補外処理について説明したのち、振れ補正制御部５１の動作について説明する。
【００４８】
図５は、アナログ高域通過フィルタ部５１３の動作を示している。図５の（Ａ）に示す信号をアナログ高域通過フィルタ部５１３に入力すると、コンデンサ５１３ａに電荷が蓄積されたのち飽和して、アナログ高域通過フィルタ部５１３の出力は、図５の（Ｂ）に示す信号となってしまう。このため、撮像モードがパノラマモードとされて撮像方向が所定方向に移動されたことにより、動き検出信号が図６の（Ａ）に示す信号となると、アナログ高域通過フィルタ部５１３から動き検出信号を出力することができなくなってしまう。
【００４９】
そこで、アナログ高域通過フィルタ部５１３の短絡スイッチ５１３ｃを図６の（Ｃ）に示すように所定周期でオン状態としてアナログ高域通過フィルタ部５１３をリセットすることで、コンデンサ５１３ａが飽和する前に、蓄積されている電荷を放出させる。この場合、アナログ高域通過フィルタ部５１３の出力は、図６の（Ｂ）に示すように、短絡スイッチ５１３ｃがオフ状態であるとき、オフ状態の開始時を基準電圧Ｖrefとして、その後入力された信号に応じた出力となる。また、アナログ高域通過フィルタ部５１３の出力は、短絡スイッチ５１３ｃがオン状態であるとき、基準電圧Ｖrefとなる。
【００５０】
振れ量算出部５１５は、短絡スイッチ５１３ｃがオフ状態であるときのアナログ高域通過フィルタ部５１３からの出力信号を用いた補外処理を行い、短絡スイッチ５１３ｃがオン状態である期間の信号を生成する。さらに、振れ量算出部５１５は、補外処理によって生成された信号に、短絡スイッチ５１３ｃが次にオフ状態とされたときの信号を連続させて、動き検出信号が周波数の低い信号であっても、動き検出信号を得られるようにする。
【００５１】
図７は、補外処理とオフセット処理を説明するための図である。また、黒丸印はアナログ高域通過フィルタ部５１３の出力をＡ／Ｄ変換部５１４でディジタル信号に変換したときのデータ値、四角形の枠表示は、補外処理によって生成されたデータ値を示している。
【００５２】
振れ量算出部は、リセット状態でないときの出力信号から一次関数または高次関数を決定して、決定した関数を用いて補外処理を行いリセット状態であるときの信号の生成を行う。振れ量算出部５１５は、短絡スイッチ５１３ｃがオン状態（アナログ高域通過フィルタ部がリセット状態）であるときのデータ値ＤＭａ〜ＤＭａ+3を、直前のオフ状態（アナログ高域通過フィルタ部が非リセット状態）の期間のデータ値を用いて補外処理する。
【００５３】
次に、一次関数による補外処理について例示する。振れ量算出部５１５は、直前のオフ状態の期間において、データ値ＤＭａの直前のデータ値ＤＭａ-1と、データ値ＤＭ-1の直前のデータ値ＤＭａ-2を用いて、データ値ＤＭａ-2とデータ値ＤＭａ-1を結ぶ直線の傾きＡＳ-1を算出する。また、振れ量算出部５１５は、算出した傾きＡＳ-1でデータ値ＤＭａ-1を通過する直線を設定して、短絡スイッチ５１３ｃがオン状態であるときの各サンプリングタイミングのデータ値が、設定した直線上となるように、データ値ＤＭａ〜ＤＭａ+3を決定する。
【００５４】
また、傾きは直前のオフ期間における３点以上のデータ値を用いて算出してもよい。例えば直前のオフ期間において、データ値ＤＭａの直前のデータ値ＤＭａ-1と、データ値ＤＭ-1の直前のデータ値ＤＭａ-2と、データ値ＤＭ-2の直前のデータ値ＤＭａ-3を用いる。また、データ値ＤＭａ-3とデータ値ＤＭａ-2を結ぶ直線の傾きＡＳ-2と、データ値ＤＭａ-2とデータ値ＤＭａ-1を結ぶ直線の傾きＡＳ-1を算出する。振れ量算出部５１５は、２つの傾きＡＳ-2，ＡＳ-1から傾きの変化量ＤＡＳを求めて、傾きＡＳ-1に変化量ＤＡＳを加算して傾きＡＳ0を算出する。さらに、振れ量算出部５１５は、算出した傾きＡＳ0であってデータ値ＤＭａ-1を通過する直線を設定して、データ値ＤＭａ〜ＤＭａ+3であるときの各サンプリングタイミングのデータ値が、設定した直線上となるように、データ値ＤＭａ〜ＤＭａ+3を決定する。
【００５５】
このように、振れ量算出部５１５は、一次関数による補外処理を行って、短絡スイッチ５１３ｃがオン状態（アナログ高域通過フィルタ部がリセット状態）であるときのデータ値ＤＭａ〜ＤＭａ+3を生成する。さらに、振れ量算出部５１５は、データ値ＤＭａ〜ＤＭａ+3と次のオフ状態のデータ値（アナログ高域通過フィルタ部がリセット状態でなくなったときのデータ値）が連続するように、決定した関数からリセット状態でなくなったときの出力信号に対するオフセット量を算出する。振れ量算出部５１５は、この算出したオフセット量を次のオフ状態のデータ値に加算してオフセット処理を行う。
【００５６】
振れ量算出部５１５は、例えば補外処理に用いた一次関数と短絡スイッチ５１３ｃがオフ状態とされるタイミングから、次のオフ状態のデータ値に加算するオフセット値ＤＦａを算出する。振れ量算出部５１５は、補外処理に用いた一次関数において短絡スイッチ５１３ｃがオフ状態とされたタイミングのデータ値をオフセット値ＤＦａとする。例えばデータ値ＤＭａ+3のタイミングの直後で短絡スイッチ５１３ｃがオフ状態とされる場合、データ値ＤＭａ+3をオフセット値ＤＦａとする。また、データ値ＤＭａ+4のタイミングの直前で短絡スイッチ５１３ｃがオフ状態とされる場合、補外処理に用いた一次関数においてデータ値ＤＭａ+4のタイミングのデータ値をオフセット値ＤＦａとする。
【００５７】
このような補外処理とオフセット処理を行うとすれば、短絡スイッチ５１３ｃによってコンデンサ５１３ａを短絡してアナログ高域通過フィルタ部５１３を所定周期でリセットも、図８に示すように動き検出信号を得ることができる。
【００５８】
次に、二次関数による補外処理について例示する。振れ量算出部５１５は、図９に示すように、直前のオフ期間において、データ値ＤＭａの直前のデータ値ＤＭａ-1と、データ値ＤＭ-1の直前のデータ値ＤＭａ-2と、データ値ＤＭ-2の直前のデータ値ＤＭａ-3を用いて二次関数Ｇを算出する。
【００５９】
ここで、二次関数Ｇは式（１）とする。なお、式（１）において、Ｋａ，Ｋｂ，Ｋｃは、データ値ＤＭａ-1，ＤＭａ-2，ＤＭａ-3に基づいて決定される係数を示している。
Ｇ＝Ｋaｔ２＋Ｋbｔ＋Ｋc    ・・・（１）
【００６０】
また、サンプリング間隔「Ｔ＝１／ｆ」が一定であるとき、データ値ＤＭａ-3を基準時間ｔ＝０とすると、データ値ＤＭａ-2のタイミングはｔ＝（１／ｆ）、データ値ＤＭａ-1のタイミングはｔ＝（２／ｆ）となる。したがって、係数Ｋa，Ｋb，Ｋcは、
Ｋc＝ＤＭａ-3
Ｋb＝ｆ／２（４ＤＭａ-2−ＤＭａ-1）
Ｋa＝ｆ２／２（ＤＭａ-3−２ＤＭａ-2＋ＤＭａ-1）
となる。
【００６１】
したがって、データ値ＤＭａを求めるときは式（１）においてｔ＝（３／ｆ）とする。また、データ値ＤＭａ+1を求めるときは式（１）においてｔ＝（４／ｆ）、データ値ＤＭａ+2を求めるときは式（１）においてｔ＝（５／ｆ）、データ値ＤＭａ+3を求めるときは式（１）においてｔ＝（６／ｆ）とする。
ＤＭａ  ＝Ｋa×（３／ｆ）２＋Ｋb×（３／ｆ）＋Ｋc
ＤＭａ+1＝Ｋa×（４／ｆ）２＋Ｋb×（４／ｆ）＋Ｋc
ＤＭａ+2＝Ｋa×（５／ｆ）２＋Ｋb×（５／ｆ）＋Ｋc
ＤＭａ+3＝Ｋa×（６／ｆ）２＋Ｋb×（６／ｆ）＋Ｋc
【００６２】
また、振れ量算出部５１５は、補外処理に用いた二次関数Ｇと短絡スイッチ５１３ｃがオフ状態とされるタイミングから、オフセット値ＤＦａを算出して次のオフ状態のデータ値に加算する。例えば、データ値ＤＭａ+3のタイミングの直後で短絡スイッチ５１３ｃがオフ状態とされる場合、データ値ＤＭａ+3をオフセット値ＤＦａとしてデータ値ＤＭａ+4に加算してデータ値ＤＭａ+4'とする。
【００６３】
また、このオフ期間の他のデータ値に対してもオフセット値ＤＦａを加算して、白丸印のデータ値とすることで、短絡スイッチ５１３ｃがオン状態であるときのデータ値に次のオフ状態のデータ値を連続させる。
【００６４】
このように、アナログ高域通過フィルタ部５１３を所定周期でリセットして、コンデンサ５１３ａに蓄積された電荷を放電させる。さらに、アナログ高域通過フィルタ部５１３からの出力に対して補外処理やオフセット処理を行うことで、動き検出センサ４２からの動き検出信号に対してフィルタ処理が行われた信号を得ることができる。また、補外処理で高次関数を用いれば、一次関数を用いる場合よりも補外処理の精度を向上させることが可能となる。なお、補外処理とオフセット処理を行ったときの具体例を図１０に示している。
【００６５】
＜５．振れ補正制御部の動作＞  
次に、撮像モードがパノラマモードとされたときの振れ補正制御部の動作について、例えば撮像素子としてＣＣＤを用いた場合とＣＭＯＳセンサを用いた場合について個々に説明する。図１１は、撮像素子としてＣＣＤを用いた場合の動作を説明するための図である。
【００６６】
図１１の（Ａ）は短絡スイッチ５１３ｃの動作、図１１の（Ｂ）はアナログ高域通過フィルタ部５１３の出力、図１１の（Ｃ）は、補外処理とオフセット処理を行って生成したフィルタ処理後の動き検出信号をそれぞれ示している。
【００６７】
振れ補正制御部５１は、撮像モードがパノラマモードであるとき、フィルタ処理後の動き検出信号に応じてレンズ部と撮像素子との相対的位置関係を変位させて、撮像方向を所定方向に移動してもぶれのない撮像画像を生成させる。
【００６８】
ここで、振れ補正制御部５１は、アナログ高域通過フィルタ部がリセット状態でないとき、すなわち短絡スイッチ５１３ｃがオフ期間であるとき、フィルタ処理後の動き検出信号から算出した振れ量に応じて補正レンズを移動させて振れ補正を行う。また、制御部５０は、振れ補正が行われている期間に露光期間を設定して、露光期間でＣＣＤに蓄積された電荷に基づいて画像信号を生成することで、撮像方向を所定方向に移動してもぶれのない撮像画像を生成できるようにする。このように、短絡スイッチ５１３ｃがオフ期間であるとき振れ補正を行うものとすれば、補外処理で生成された信号に応じた振れ補正が行われることがないので、補外処理で生成されたデータの誤差による影響が少ない振れ補正を行うことができる。
【００６９】
図１１の（Ｄ）は、振れ補正フラグを示している。振れ補正フラグは、オン状態であるとき、フィルタ処理後の動き検出信号に基づいて振れ補正が行われていること示しており、オフ状態であるとき、振れ補正が行われていないことを示している。
【００７０】
図１１の（Ｅ）は、補正レンズの位置を示している。なお、図１１の（Ｅ）において位置Ｑpsは、パノラマモードにおける補正レンジの補正動作開始位置を示している。振れ量算出部５１５は、振れ補正フラグがオン状態となったとき振れ補正を行い、撮像方向を所定方向に移動しても画像のぶれを生じないように指示値を算出する。すなわち、振れ量算出部５１５は、補正レンズが補正動作開始位置Ｑpsからフィルタ処理後の動き検出信号に応じて移動されるように指示値を算出する。したがって、補正レンズは、撮像方向を所定方向に移動しても画像のぶれを生じないように移動される。また、撮像画像に影響を与えることがないように、露光期間後に補正レンズを補正動作開始位置Ｑpsとする戻し処理を行う。
【００７１】
図１１の（Ｆ）は、ＣＣＤ撮像素子の露光期間を示している。露光期間は、撮像方向を所定方向に移動しても画像のぶれを生じないように、振れ補正が行われている期間内に設定する。なお、図１１の（Ｆ）では、振れ補正フラグがオン状態となって振れ補正が行われている期間を露光期間とした場合を示している。
【００７２】
ＣＣＤ撮像素子では、蓄積された電荷が各ラインで同時に転送用のレジスタ読み出される。したがって、制御部５０は、ＴＧ部２２を制御して、振れ補正が行われている期間中に設定した露光期間で蓄積された各画素の電荷を読み出して、読み出した電荷に基づき画像信号を撮像素子２１で生成させる。このように、振れ補正が行われている期間内に露光期間を設定することで、撮像方向を所定の方向に移動しながら、撮像方向の移動に伴うぶれの生じていない撮像画像を複数枚生成できる。
【００７３】
図１２は、撮像素子としてＣＭＯＳセンサを用いたときの動作を説明するための図である。なお、図１２の（Ａ）〜図１２の（Ｅ）は、図１１の（Ａ）〜図１１の（Ｅ）と対応する。すなわち図１２の（Ａ）は短絡スイッチ５１３ｃの動作、図１２の（Ｂ）はアナログ高域通過フィルタ部５１３の出力、図１２の（Ｃ）は補外処理とオフセット処理を行って生成したフィルタ処理後の動き検出信号をそれぞれ示している。また、図１２の（Ｄ）は振れ補正フラグ、図１２の（Ｅ）は補正レンズの位置を示している。
【００７４】
図１２の（Ｆ）は、ＣＭＯＳセンサの露光期間を示している。露光期間は、撮像方向を所定方向に移動しても画像のぶれを生じないように、振れ補正が行われている期間内に設定する。なお、図１２の（Ｆ）では、振れ補正フラグがオン状態となって振れ補正が行われている期間を露光期間とした場合を示している。
【００７５】
ＣＭＯＳセンサでは、ライン毎に電荷の読み出しが行われる。例えば図１３の（Ａ）に示すように、最上部のライン「Ｌｉｎｅ−S」を選択して、選択したラインの各画素の電荷読み出しを同時に行い、各画素の画素信号をマルチプレクサへ並列に出力する。マルチプレクサは並列の画素信号を直列に変換して出力することで、最上部の１ライン分の画像信号が生成される。また、このような処理を最上部のラインから下方向に順次選択して行うことで、１枚の撮像画像の画像信号を生成できる。このように、最上部のライン「Ｌｉｎｅ−S」から最下部のライン「Ｌｉｎｅ−E」までライン毎の電荷読み出しを順次行うことから、電荷読出タイミングは、ライン毎に順次遅延する。したがって、１枚の撮像画像を生成するときのＣＭＯＳセンサの露光期間は、図１３の（Ａ）に示すようになる。このため、振れ補正が行われている各期間内に、ＣＣＤの露光期間を設定すれば、補外処理による誤差の影響を少なくして、撮像方向を所定の方向に移動しながら、撮像方向の移動に伴うぶれの生じていない撮像画像を複数枚生成できる。
【００７６】
なお、図１３の（Ｂ）は、ＣＣＤ撮像素子を用いた場合の電荷読出タイミングを示している。ＣＣＤ撮像素子では、蓄積された電荷が各ラインで同時に転送用のレジスタ読み出される。したがって、最上部のライン「Ｌｉｎｅ−S」から最下部のライン「Ｌｉｎｅ−E」まで各ラインの電荷読出タイミングは、等しいタイミングとなる。
【００７７】
図１４は、振れ補正を行ったときの補正レンズに対する指示位置と補正レンズの位置の具体例を示している。なお、図１４において、位置Ｑpsは撮像モードがパノラマモードとされたときの補正動作開始位置、位置Ｑ0は撮像モードがパノラマモードとは異なるモード例えば通常モードとされたときの補正動作開始を示している。
【００７８】
変位制御部５１６は、撮像画像に影響を与えることがないように、補正レンズを補正動作開始位置Ｑpsとする戻し処理を露光期間後に行う。また、戻し処理を短期間で行うと、図１５の（Ａ）に示すように、補正レンズが補正動作開始位置Ｑpsを通り越してしまう所謂オーバーシュートを生じる場合がある。なお、図１５の（Ａ）では、補正レンズの実位置を実線で示している。したがって、変位制御部５１６は、図１５の（Ｂ）に示すようにオーバーシュートを考慮して戻し処理の期間ＲＰを設定する。また、補正レンズを動き検出信号に応じて移動させる場合、補正レンズが補正動作開始位置Ｑpsの状態から動き検出信号に応じて移動している状態となるまでに時間を要する場合もある。したがって、制御部５０は、図１５の（Ｃ）に示すように振れ補正期間ＣＰの始めに助走期間を設けて、補正レンズが動き検出信号に応じて移動している状態となってから露光が開始されるように、助走期間後に露光期間を設けてもよい。
【００７９】
＜６．撮像装置の動作＞
図１６は、撮像装置の動作を示すフローチャートである。ステップＳＴ１で制御部５０は、撮像モードがパノラマ画像を生成するパノラマモードであるか否か判別する。制御部５０は、操作部４１のメニューキー４１１が操作されたことを判別したとき、表示部３２にメニュー表示ＧＡを行う。図１７は、表示部３２でメニュー表示が行われている状態を例示している。その後、制御部５０は、上方向を示す方向キー４１２ａまたは下方向を示す方向キー４１２ｃの操作に応じてモードの切り換えを行い、選択されている撮像モードを識別可能に表示する。例えば、制御部５０は、カーソル表示ＧＢを設けて、カーソル表示ＧＢの位置を、方向キー４１２ａ，４１２ｃの操作に応じて上下に移動させて、選択されている撮像モードを識別可能とする。さらに、制御部５０は、決定キー４１３が操作されたときに選択されている撮像モードを、撮像装置１０の撮像モードに設定する。ここで、制御部５０は、撮像モードとしてパノラマモードが選択されているときステップＳＴ２に進み、撮像モードがパノラマモードと異なる撮像モードに設定されたときステップＳＴ９に進む。
【００８０】
ステップＳＴ２で制御部５０は、スイープモード判別を行う。制御部５０は、パノラマモードが選択されているとき、図１７に示すようにスイープモード選択画ＧＣを表示する。その後、制御部５０は、左方向を示す方向キー４１２ｂまたは右方向を示す方向キー４１２ｄの操作に応じてスイープモードを切り換えて、選択されているスイープモードを識別可能に表示する。例えば、選択されているスイープモードの矢印表示を他のスイープモードの矢印表示と異なる色や輝度等で表示することにより、選択されているスイープモードを容易に識別できるようにする。
【００８１】
制御部５０は、スイープモード選択画ＧＣの表示後、右方向を示す方向キー４１２ｄが操作されたとき、右方向スイープモードが選択されたと判断する。制御部５０は、右方向スイープモードが選択されたとき、図１８の（Ａ）のように、スイープモード選択画ＧＣにおいて右方向を示す矢印表示を他の方向を示す矢印表示と異なる表示とする。さらに、この状態で右方向を示す方向キー４１２ｄが操作されたとき、制御部５０は、左方向スイープモードが選択されたと判断する。制御部５０は、左方向スイープモードが選択されたとき、スイープモード選択画ＧＣにおいて左方向を示す矢印表示を他のスイープモードの矢印表示と異なる表示とする。また、右方向を示す方向キー４１２ｄがさらに操作されたとき、制御部５０は、上方向スイープモードが選択されたと判断する。制御部５０は、上方向スイープモードが選択されたとき、スイープモード選択画ＧＣにおいて上方向を示す矢印表示を他のスイープモードの矢印表示と異なる表示とする。また、右方向を示す方向キー４１２ｄがさらに操作されたとき、制御部５０は、下方向スイープモードが選択されたと判断する。制御部５０は、下方向スイープモードが選択されたとき、スイープモード選択画ＧＣにおいて下方向を示す矢印表示を他のスイープモードの矢印表示と異なる表示とする。また、左方向を示す方向キー４１２ｂが操作されたとき、制御部５０は、スイープモードを左側に位置するスイープモードに切り換える。
【００８２】
このように、制御部５０は方向キー４１２ｂ，４１２ｄの操作に応じてスイープモードの切り換えを行い、決定キー４１３が操作されたときに選択されているスイープモードを、パノラマモードにおけるスイープモードに設定する。
【００８３】
ステップＳＴ３で制御部５０は、スイープ方向に応じた光学位置オフセット設定を行う。光学位置オフセット設定では、左方向スイープモードが選択されたとき、撮像装置１０の撮像方向を右方向に移動させたとき、右方向スイープに対する振れ補正の補正範囲が広くなるように、レンズ部と撮像素子との相対的位置関係を設定する。ここで、制御部５０は、パノラマ画像を生成する撮像モードと異なる撮像モードであるときレンズ部と撮像素子を所定の相対的位置関係とする。また、制御部５０は、パノラマ画像を生成する撮像モードであるとき、所定の相対的位置関係をスイープモードに応じてオフセットさせる。例えば、撮像時に右方向スイープを行って撮像方向を右方向に移動させたとき、撮像装置１０は、補正レンズを左方向に移動させることで、撮像面上の光学像における被写体の位置が右方向スイープに応じて移動することのないように補正できるものとする。制御部５０は、レンズ部と撮像素子が所定の相対的位置関係となる中心位置（以下「所定位置」という）から図１８の（Ｂ）のように右方向にオフセットさせる。すなわち、制御部５０は、レンズ制御信号をドライバ１２に出力してアクチュエータ１１３ｂを駆動することで、補正レンズ部１１３の補正レンズ１１３ａを所定位置から右方向にオフセットさせる。したがって、補正レンズを移動させて補正が可能となる範囲は、オフセット前の状態よりも広くなる。また、このオフセットした位置を補正動作開始位置ＱpsとしてステップＳＴ４に進む。なお、図１８の（Ｂ）において、点線ＡＲで示す位置は、補正レンズ１１３ａの補正制御端の位置を示している。
【００８４】
他のスイープモードが選択された場合、選択されたスイープモードに応じて撮像方向を移動させたとき、振れ補正の補正範囲が広くなるようにオフセットした位置を補正動作開始位置Ｑpsとする。例えば、左方向スイープモードが選択されたときは、振れ補正の補正範囲が広くなるように左方向にオフセットした位置を補正動作開始位置とする。
【００８５】
ステップＳＴ４で制御部５０は、スイープ方向指示を行う。制御部５０は、スイープモードに対応した方向に撮像方向が移動されるように、スイープ方向を示すスイープ指示画像の表示を表示部３２で行い、移動方向をユーザに報知してステップＳＴ５に進む。
【００８６】
ステップＳＴ５で制御部５０は、シャッター操作を開始してステップＳＴ６に進む。シャッター操作の開始は、シャッターキー４１５の操作や動き検出信号に基づいて行う。例えば、制御部５０は、シャッターキー４１５が押された状態となったことを検出したとき、シャッター操作を開始する。
【００８７】
また、動き検出信号を利用すれば、自動的にシャッター操作を開始できる。例えば、制御部５０は、ステップＳＴ４で報知した移動方向に撮像装置１０の向きが移動したことを動き検出信号に基づいて検出したとき、シャッター操作を開始する。このようにすれば、ユーザはシャッターキー４１５を操作しなくとも、報知された方向に撮像装置１０の向きを移動させるだけで、シャッター操作を開始できる。シャッターキー４１５が押された状態となったことを検出したときシャッター操作を開始する場合、シャッターキー４１５の操作によって撮像装置のぶれが生じると、このぶれの影響がパノラマ画像に現れてしまうおそれがある。しかし、動き検出信号を利用してシャッター操作を開始すれば、シャッターキー４１５の操作が必要ないので、シャッター操作によるぶれの影響がないパノラマ画像を容易に得ることができる。
【００８８】
ステップＳＴ６で制御部５０は、撮像画像生成処理を行う。制御部５０は、補正動作開始位置とされている補正レンズ１１３ａを動き検出信号に応じて駆動して、スイープ動作によって生じる振れに対する補正（スイープ補正）を行う。すなわち、制御部５０は、撮像装置１０をスイープさせても、スイープ動作によるぶれが生じていない撮像画像を生成させてステップＳＴ７に進む。ここで、補正動作開始位置Ｑpsは、スイープ方向に応じて補正可能な範囲が広くなるようにオフセットされている。したがって、撮像装置１０をスイープさせたとき、補正動作開始位置をオフセットしていない場合に比べて補正可能期間が長くなるので、露光時間を長くすることができる。また、撮像画像生成処理では、上述のようにアナログ高域通過フィルタ部５１３の出力に対して補外処理やオフセット処理を行うことで、撮像方向がスイープ方向に移動されても、スイープ動作によるぶれが生じていない撮像画像を生成できる。
【００８９】
ステップＳＴ７で制御部５０は、シャッター操作が終了されたか否か判別する。制御部５０は、シャッター操作が終了されていないと判別したときステップＳＴ６に戻り、シャッター操作が終了されたと判別したときステップＳＴ８に進む。制御部５０は、ステップＳＴ６に戻ると、補正レンズ１１３ａを補正動作開始位置Ｑpsに戻したのち、再度、動き検出信号に応じて補正レンズ１１３ａを駆動して、撮像装置１０をスイープさせてもぶれの生じていない画像の生成を行う。
【００９０】
制御部５０は、例えば移動量が予め設定されている所定量に達したときシャッター操作の終了とする。移動量は例えば動きベクトルを用いて算出できる。また、制御部５０は、動き検出信号からスイープ量を判別して、スイープ量が所定量に達したときシャッター操作の終了としてもよい。また、シャッターキー４１５が押された状態となったことを検出してシャッター操作を開始した場合、シャッターキー４１５が押されていない状態となったことを検出したときシャッター操作の終了とすることもできる。さらに、制御部５０は、報知した移動方向に撮像装置１０の向きが移動したことを動き検出信号に基づいて検出してシャッター操作を開始した場合、報知した移動方向に撮像装置１０の向きが移動しなくなったときシャッター操作の終了とすることもできる。
【００９１】
ステップＳＴ８で制御部５０は、撮像画像合成処理を行う。制御部５０は、信号処理部２４を制御して、ステップＳＴ６とステップＳＴ７の処理によって生成された複数枚の撮像画像を生成順に用いて動きベクトルを算出する。また、制御部５０は、算出した動きベクトルに基づいて、同じ被写体の画像が重なるように複数の撮像画像の合成を行って、１つの撮像画像よりも撮像範囲の広いパノラマ画像を、複数枚の撮像画像から生成してステップＳＴ１０に進む。
【００９２】
また、ステップＳＴ１で、撮像モードがパノラマモードと異なるモード例えば通常モードに設定されたと判別されてステップＳＴ９に進むと、制御部５０は撮像画像生成処理を行う。制御部５０は、スイープ動作に対応した振れ補正を行う必要がないことから、補正レンズ１１３ａを補正動作開始位置Ｑ0とする。なお、補正動作開始位置Ｑ0は、スイープ動作に応じたオフセットが行われていない所定位置である。また、制御部５０は、動き検出信号に応じて補正レンズ１１３ａを駆動することにより、撮像時の手振れに対する補正（手振れ補正）を行う。さらに、制御部５０は、手振れ補正によってぶれを生じていない画像を、シャッターキー４１５の操作に応じて生成してステップＳＴ１０に進む。
【００９３】
図１９の（Ａ）は、例えば通常モードが選択された場合を示している。また、図１９の（Ｂ）は、通常モードに設定されたときの補正レンズ部１１３の補正動作開始位置Ｑ0を示している。また、制御部５０は、シャッターキー４１５の操作に応じて所定枚数の撮像画像を生成する。
【００９４】
通常モードでは、パノラマモードのようにスイープ動作に対応した振れ補正を行う必要がなく、手振れに対応した振れ補正を行う。ここで、手振れ方向は特定の方向に限定されるものではないことから、何れの方向に手振れが生じても手振れ補正が可能となるように、補正動作開始位置はオフセットされていない位置とする。例えば補正レンズ部１１３の移動可能範囲の中央位置を補正動作開始位置Ｑ0とする。また、手振れ方向は特定の方向に限定されるものではなく、撮像方向をスイープ方向に移動させるパノラマモードの場合に比べて、動き検出信号は周波数の高い信号となり、アナログ高域通過フィルタ部５１３のコンデンサ５１３ａで電荷の飽和が生じ難い。したがって、フィルタ制御部５１７は、アナログ高域通過フィルタ部５１３の短絡スイッチ５１３ｃをオフ状態に維持して、所定周期のリセットを行わないようにする。
【００９５】
ステップＳＴ１０で制御部５０は、ステップＳＴ８で生成したパノラマ画像またはステップＳＴ９で生成した撮像画像を記録再生部３３で記録媒体に記録させる。
【００９６】
制御部５０は以上のようにして撮像画像の記録を行い、動作モードが他のモード例えば記録されている撮像画像を再生する再生モードに切り換えられたり、撮像装置の動作終了操作が行われたとき、撮像モードを終了する。
【００９７】
このように、制御部５０は、撮像方向を移動しながら生成した複数枚の撮像画像を合成してパノラマ画像を生成する撮像モードであるとき、アナログ高域通過フィルタ部を所定周期でリセットする。また、アナログ高域通過フィルタ部がリセット状態でないときの出力信号を用いた補外処理によって、アナログ高域通過フィルタ部がリセット状態であるときの信号の生成を行う。また、生成した信号にリセット状態でなくなったときの出力信号を連続させて、この連続された信号から振れ量を算出する。さらに、振れ量に応じて、レンズ部と撮像素子との相対的位置関係を光軸に対して変位させて振れ補正を行う。このため、撮像方向をスイープ方向に移動させても、スイープ方向の動きに対する振れ補正を行うことが可能となり、ぶれの生じていない撮像画像の生成を容易に行うことができる。
【００９８】
なお、スイープ方向に応じて補正動作開始位置がオフセットされるため、撮像方向に対する振れ補正の性能が改善されて、パノラマ画像の生成に適した振れ補正が行われることになり、例えば露光時間を長くしてもぶれの生じていない撮像画像の生成が可能となる。また、スイープ速度が速くても、ぶれの生じていない撮像画像の生成が可能となる。したがって、パノラマ画像を生成する際に、被写体の明るさやスイープ速度等の制約が軽減されて、パノラマ画像の生成を容易に行うことができる。
【００９９】
＜７．パノラマ画像の生成動作例（右方向スイープモードの場合）＞
次に、パノラマ画像の生成動作、例えば右方向スイープモードでパノラマ画像を生成する場合の具体的動作について説明する。
【０１００】
撮像装置１０の撮像モードをパノラマモードで右方向スイープモードとした場合、ユーザは、図２０に示すように、撮像装置１０の向き（撮像方向）を矢印Ａで示すように右方向にスイープさせる。
【０１０１】
図２１は、右方向スイープモードに設定されているときの動作を説明するための図である。撮像モードがパノラマモードで右方向スイープモードに設定されている場合、制御部５０は、図２１の（Ａ）に示すように、右方向のスイープ動作であることを示すスイープ方向指示ＧＥを表示部３２に表示することで、スイープ方向をユーザに報知する。なお、右方向スイープモードに設定されたことから、制御部５０は、図２１の（Ｂ）に示すように、補正レンズ１１３ａの位置を中央位置から右方向にオフセットして補正動作開始位置として、この補正動作開始位置から振れ補正を開始させる。
【０１０２】
その後、制御部５０は、シャッター操作を開始して撮像画像生成処理を行う。図２２は、撮像画像生成処理を示している。図２２の（Ａ）は、補正レンズ１１３ａの動きを示している。制御部５０は、補正動作開始位置とされている補正レンズ１１３ａを動き検出信号に応じて駆動する。したがって、補正レンズ１１３ａは、右方向のスイープによる画像の振れを防止するため補正動作開始位置から左方向に移動する。ここで、アナログ高域通過フィルタ部は所定周期でリセットされて、アナログ高域通過フィルタ部がリセット状態でないときの出力信号を用いた補外処理によって、アナログ高域通過フィルタ部がリセット状態であるときの信号が生成される。さらに、生成した信号にリセット状態でなくなったときの出力信号を連続させて、この連続された信号から振れ量が算出される。したがって、右方向のスイープを行ったときでも振れ量を算出することが可能となり、算出された振れ量に応じて補正レンズ１１３ａが移動されるので、図２２の（Ｂ）に示すように、右方向のスイープを行ってもぶれの生じていない撮像画像ＰＧ1を生成できる。また、補正レンズ１１３ａの補正動作開始位置は、中央位置から右方向にオフセットされているので、補正動作開始位置をオフセットしていない場合に比べて、撮像方向の移動に対する振れ補正の補正範囲が広くなる。したがって、補正動作開始位置をオフセットした場合と補正動作開始位置をオフセットしていない場合でスイープ速度が等しいとき、補正動作開始位置をオフセットすることで、露光時間を長くしてもぶれの生じていない撮像画像を生成することが可能となる。また、補正動作開始位置をオフセットした場合と補正動作開始位置をオフセットしていない場合で露光時間が等しいとき、補正動作開始位置をオフセットすることで、スイープ速度が速くてもぶれの生じていない撮像画像を生成することが可能となる。
【０１０３】
制御部５０は、１枚の撮像画像を生成したとき、シャッター操作が終了されていない場合、補正レンズ１１３ａを補正動作開始位置に戻して、再度、補正動作開始位置から補正レンズ１１３ａを動き検出信号に応じて駆動する。なお、図２２の（Ａ）では、補正動作開始位置Ｑpsに補正レンズ１１３ａを戻す処理が行われる期間を期間ＲＰとして示している。このように、補正レンズ１１３ａを補正動作開始位置に戻してから、再度、動き検出信号に応じて駆動することで、撮像装置１０をスイープさせてもぶれの生じていない撮像画像ＰＧ2を生成できる。
【０１０４】
このような処理を繰り返して行い、制御部５０は、例えば撮像画像ＰＧ5を生成したときにシャッター操作の終了と判別した場合、撮像画像生成処理を終了する。したがって、順次生成された撮像画像ＰＧ1〜ＰＧ5は、図２３に示すように、撮像方向が順次右方向に切り換えられた画像となる。
【０１０５】
信号処理部２４は、順次に生成した撮像画像ＰＧ1〜ＰＧ5から動きベクトルを算出して、または動き検出信号に基づき動きベクトルを検出する。また、信号処理部２４は、この動きベクトルに基づいて、被写体の画像が重なり合うように撮像画像ＰＧ1〜ＰＧ5の位置あわせを行い、撮像画像ＰＧ1〜ＰＧ5を合成して、１枚の撮像画像よりも撮像範囲の広い、図２２の（Ｃ）に示すパノラマ画像を生成できる。
【０１０６】
このように本発明では、動き検出信号のフィルタ処理を行うアナログ高域通過フィルタ部を所定周期でリセットさせる。また、アナログ高域通過フィルタ部がリセット状態でないときの出力信号を用いて補外処理を行い、アナログ高域通過フィルタ部がリセット状態であるときの信号を生成する。また、生成した信号にリセット状態でなくなったときの出力信号を連続させて、連続された信号から振れ量を算出する。
【０１０７】
このような処理を行うものとすれば、アナログ高域通過フィルタ部で動き検出信号のフィルタ処理を行う場合、撮像モードをパノラマモードに設定して撮像方向をスイープ方向に移動させても、スイープ方向の移動に応じた振れ量を算出できる。したがって、算出した振れ量に応じて、レンズ部と撮像素子との相対的位置関係を光軸に対して変位させることで、パノラマ画像の生成に適した振れ補正を行うことが可能となり、パノラマ画像の生成を容易に行うことができる。
【０１０８】
また、アナログ高域通過フィルタ部がリセット状態でないとき、算出された振れ量に応じてレンズ部と撮像素子との相対的位置関係を光軸に対して変位させて振れ補正を行い、この振れ補正が行われている期間内に露光期間を設ける。このように露光期間を設けることで、補外処理によって生成された信号に誤差等を生じても、ぶれのない撮像画像を得ることができる。また、露光期間後に前記相対的位置関係を補正動作開始位置に戻す処理が行われるので、ぶれのない撮像画像を繰り返し得ることができる。さらに、スイープ方向に応じて補正動作開始位置をオフセットさせることで、撮像方向をスイープ方向に移動させたときの振れ補正範囲を広くできる。
【０１０９】
さらに、本発明は、上述した発明の実施の形態に限定して解釈されるべきではない。例えば、撮像装置の振れを検出できる構成であれば、上述のように角速度センサや加速度センサを用いた構成に限られない。例えば、撮像画像から撮像装置の振れを検出するようにしてもよい。
【０１１０】
また、レンズ交換が可能な撮像装置である場合、補正レンズをレンズ側に設けた構成としてもよく、補正レンズを撮像装置の本体側に設けた構成としてもよい。また、例えば補正レンズや補正レンズを駆動する駆動部をレンズ側に設けて、他の構成要素を撮像装置の本体側に設けた構成としてもよい。また、上述のように、撮像装置の本体側に設けた撮像素子を動き検出信号に応じて移動させてもよい。
【０１１１】
この発明の実施の形態は、例示という形態で本発明を開示しており、本発明の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【産業上の利用可能性】
【０１１２】
この発明の撮像装置および撮像方法では、動き検出センサによって動き検出を行うことによって得られた動き検出信号のフィルタ処理が、所定周期でリセットされるアナログ高域通過フィルタ部で行われる。また、振れ量算出部で、アナログ高域通過フィルタ部がリセット状態でないときの出力信号を用いて補外処理が行われて、アナログ高域通過フィルタ部がリセット状態であるときの信号が生成される。この生成された信号にリセット状態でなくなったときの出力信号が連続されて、この連続された信号から振れ量が算出されて、算出された振れ量に応じて、レンズ部と撮像素子との相対的位置関係が光軸に対して変位されて振れ補正が行われる。したがって、撮像方向を所定方向に移動させても振れ量を算出してパノラマ画像の生成に適した振れ補正を行うことが可能となり、ディジタルカメラやビデオカメラ等に適している。
【符号の説明】
【０１１３】
１０・・・撮像装置、１１・・・撮像光学系ブロック、１１ａ・・・レンズ部、１１ｂ・・・絞り機構、１２・・・ドライバ、１３・・・位置センサ、２１・・・撮像素子、２１ａ，１１３ｂ・・・アクチュエータ、２２・・・ＴＧ部、２３・・・ＡＦＥ部、２４・・・信号処理部、２５・・・検波部、３１・・・画像出力部、３２・・・表示部、３３・・・記録再生部、４１・・・操作部、４２・・・動き検出センサ、５０・・・制御部、５１・・・振れ補正制御部、１１１・・・ズームレンズ、１１２・・・フォーカスレンズ、１１３・・・補正レンズ部、１１３ａ・・・補正レンズ、４１１・・・メニューキー、４１２ａ〜４１２ｄ・・・方向キー、４１３・・・決定キー、４１５・・・シャッターキー、５１１・・・増幅部、５１２・・・アナログ低域通過フィルタ（ＬＰＦ）部、５１３・・・アナログ高域通過フィルタ（ＨＰＦ）部、５１３ａ・・・コンデンサ、５１３ｂ・・・抵抗器、５１３ｃ・・・短絡スイッチ、５１４・・・Ａ／Ｄ変換部、５１５・・・振れ量算出部、５１６・・・変位制御部、５１７・・・フィルタ制御部
【図１】
2010220002.tif 000003
【図２】
2010220002.tif 000004
【図３】
2010220002.tif 000005
【図４】
2010220002.tif 000006
【図５】
2010220002.tif 000007
【図６】
2010220002.tif 000008
【図７】
2010220002.tif 000009
【図８】
2010220002.tif 000010
【図９】
2010220002.tif 000011
【図１１】
2010220002.tif 000012
【図１２】
2010220002.tif 000013
【図１３】
2010220002.tif 000014
【図１５】
2010220002.tif 000015
【図１６】
2010220002.tif 000016
【図１７】
2010220002.tif 000017
【図１８】
2010220002.tif 000018
【図１９】
2010220002.tif 000019
【図２０】
2010220002.tif 000020
【図２１】
2010220002.tif 000021
【図２２】
2010220002.tif 000022
【図２３】
2010220002.tif 000023
【図１０】
2010220002.tif 000024
【図１４】
2010220002.tif 000025