(57)【特許請求の範囲】
【請求項１】
画像を処理する画像処理手段と、
該画像処理手段によって処理された前記画像を逐次表示するライブビュー表示を行う表示手段と、
制御手段と、
を有する撮像装置であって、
前記制御手段は、前記撮像装置が回転移動されていると判定すると、前記画像処理手段に、時系列的に並んだ複数のフレーム画像を合成させることによって合成画像を作成させ、前記表示手段に、前記画像処理手段によって作成された前記合成画像を前記ライブビュー表示のフレーム画像として表示させることを特徴とする撮像装置。
【請求項２】
前記画像処理手段は、静止画撮影のためのシャッター速度と、前記表示手段の前記ライブビュー表示における取得フレームレートから得られる合成枚数の範囲内で、前記複数のフレーム画像を合成することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記シャッター速度を設定する第１の設定手段を更に有することを特徴とする請求項２に記載の撮像装置。
【請求項４】
流し撮りをするためのモードを設定するための第２の設定手段を更に有し、
前記制御手段は、前記第２の設定手段によって前記モードが設定されると、前記シャッター速度を予め記憶された値に設定することを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記画像処理手段は、前記複数のフレーム画像を合成したものに、前記複数のフレーム画像のうち最新のフレーム画像の特定領域を切り出して貼り付けることによって前記合成画像を作成することを特徴とする請求項１乃至４のうちいずれか１項に記載の撮像装置。
【請求項６】
前記画像処理手段は、前記特定領域の輪郭を前記合成画像に加えることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記フレーム画像における複数の領域のそれぞれの動きベクトルの情報に基づいて、動体の動きベクトルを検出する動きベクトル検出手段を更に有し、
前記制御手段は、前記動きベクトル検出手段によって検出された前記動体を含むように前記特定領域を設定することを特徴とする請求項５または６に記載の撮像装置。
【請求項８】
焦点検出の対象を定める焦点検出枠を設定する第３の設定手段を更に有し、
前記制御手段は、前記第３の設定手段によって設定された前記焦点検出枠を含むように前記特定領域を設定することを特徴とする請求項５または６に記載の撮像装置。
【請求項９】
前記制御手段は、静止画撮影の操作がなされると、前記特定領域にある動体が静止した状態で流し撮りがなされるように、補正レンズを光軸に直交する方向に駆動させる命令を、前記特定領域にある動体の角速度に基づいて生成し、
前記制御手段は、前記補正レンズを駆動することによって前記動体が静止した状態で流し撮りできると判定すると、前記画像処理手段に、前記特定領域が貼り付けられた前記合成画像を作成させ、前記補正レンズを駆動しても前記動体が静止した状態で流し撮りできないと判定すると、前記画像処理手段に、前記特定領域が貼り付けられていない前記合成画像を作成させることを特徴とする請求項５乃至８のうちいずれか１項に記載の撮像装置。
【請求項１０】
前記制御手段は、前記撮像装置が回転移動されるときの角速度を検出する検出手段の検出結果に基づいて、前記撮像装置が回転移動されているかどうかを判定することを特徴とする請求項１乃至９のうちいずれか１項に記載の撮像装置。
【請求項１１】
前記表示手段が前記ライブビュー表示をするときの、前記画像処理手段が前記フレーム画像を取得する取得フレームレートは、前記撮像装置が回転移動されている場合とされていない場合とで異なることを特徴とする請求項１に記載の撮像装置。
【請求項１２】
前記撮像装置が回転移動されているときの前記取得フレームレートを設定するための第４の設定手段を更に有することを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
流し撮りをするためのモードを設定するための第２の設定手段を更に有し、
前記制御手段は、前記第２の設定手段によって前記モードが設定されると、前記撮像装置が回転移動されているときの前記取得フレームレートを予め記憶された値に設定することを特徴とする請求項１１に記載の撮像装置。
【請求項１４】
前記表示手段が前記ライブビュー表示をするときの前記フレーム画像を表示する表示フレームレートは、前記撮像装置が回転移動されている場合と前記撮像装置が回転移動されていない場合とで異なることを特徴とする請求項１に記載の撮像装置。
【請求項１５】
前記撮像装置が回転移動されているときの前記表示フレームレートを設定するための第５の設定手段を更に有することを特徴とする請求項１４に記載の撮像装置。
【請求項１６】
流し撮りをするためのモードを設定するための第２の設定手段を更に有し、
前記制御手段は、前記第２の設定手段によって前記モードが設定されると、前記撮像装置が回転移動されているときの前記表示フレームレートを予め記憶された値に設定することを特徴とする請求項１４に記載の撮像装置。
【請求項１７】
画像を処理する画像処理手段と、該画像処理手段によって処理された前記画像を逐次表示するライブビュー表示を行う表示手段と、を有する撮像装置の制御方法であって、
前記撮像装置が回転移動されているかどうかを判定する第１のステップと、
前記第１のステップによって前記撮像装置が回転移動されていると判定された場合、前記画像処理手段に、時系列的に並んだ複数のフレーム画像を合成させることによって合成画像を作成させる第２のステップと、
前記表示手段に、前記第２のステップで作成された前記合成画像を前記ライブビュー表示のフレーム画像として表示させる第３のステップと、
を有することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置およびその制御方法に関する。
【背景技術】
【０００２】
流し撮りにおいて、被写体の移動速度とパンニング速度の差を像振れ補正レンズの移動により補正し、その差に起因する主被写体のぶれを防止する流し撮り補助方法は知られている。また、特許文献１は、連続撮影された各画像を注目領域とそれ以外の領域に分割し、注目領域を複数の画像間で位置合わせしながら合成し、それ以外の領域を複数の画像間でぶらし処理を行いながら合成し、それぞれを一枚の画像に合成する方法を提案している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−７４０３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
流し撮り補助方法においては、流し撮りでユーザが設定したシャッター速度よりも高速の、主被写体がぶれないシャッター速度で連続撮影された複数の画像を用いて主被写体のベクトル検出を行う。また、移動する主被写体への追従のためにライブビュー表示がなされる。その際、撮影画像をそのままライブビュー表示すると背景が流れない画像が表示され、ユーザはライブビュー画面から流し撮り結果をイメージすることが困難になる。特許文献１の方法は、この問題を解決することができない。
【０００５】
本発明は、主被写体のぶれを防止しつつユーザが主被写体への追従と流し撮り結果の予測を容易にするライブビュー表示を行うことが可能な撮像装置およびその制御方法を提供することを例示的な目的とする。
【課題を解決するための手段】
【０００６】
本発明の撮像装置は、画像を処理する画像処理手段と、該画像処理手段によって処理された前記画像を逐次表示するライブビュー表示を行う表示手段と、制御手段と、を有する撮像装置であって、前記制御手段は、前記撮像装置が回転移動されていると判定すると、前記画像処理手段に、時系列的に並んだ複数のフレーム画像を合成させることによって合成画像を作成させ、前記表示手段に、前記画像処理手段によって作成された前記合成画像を前記ライブビュー表示のフレーム画像として表示させることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、主被写体のぶれを防止しつつユーザが主被写体への追従と流し撮り結果の予測を容易にするライブビュー表示を行うことが可能な撮像装置およびその制御方法を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の撮像装置のブロック図である。（実施例１、２、３）
【図２】本発明の流し撮り補助のフローチャートである。（実施例１、２、３）
【図３】図２に示すＳ２０２の一例を示す図である。（実施例１）
【図４】図２に示すＳ２０４の詳細を示すフローチャートである。（実施例１）
【図５】図４に示すＳ４０５のライブビュー画面の例を示す図である。（実施例１）
【図６】図４に示すＳ４０５のライブビュー画面の別の例を示す図である。（実施例１）
【図７】図２に示すＳ２０４の詳細を示すフローチャートである。（実施例２）
【図８】図７に示すＳ７０１の非合成範囲の一例を示す図である。（実施例２）
【図９】図７に示すＳ７０８のライブビュー画面の一例を示す図である。（実施例２）
【図１０】被写体の速度と撮像装置のパンニングの速度を示す図である。（実施例３）
【図１１】図２に示すＳ２０４の詳細を示すフローチャートである。（実施例３）
【図１２】図１１に示すＳ１１１１のライブビュー画面の一例を示す図である。（実施例３）
【発明を実施するための形態】
【０００９】
図１は、本実施形態の撮像装置１００の基本構成を示すブロック図である。撮像装置１００は、デジタルスチルカメラ、デジタルビデオカメラ、カメラ機能付き携帯電話、カメラ付きパーソナルコンピュータ（ＰＣ）などである。
【００１０】
撮像装置１００は、光学系１０１、撮像素子１０２、ＣＰＵ１０３、一次記憶部１０４、角速度センサ１０５、画像処理部１０６、記録媒体１０７、二次記憶部１０８、表示部１０９、操作部１１０、動きベクトル検出部１１１を有する。
【００１１】
光学系１０１は、レンズ、シャッター、絞りを含み、被写体像を形成する。レンズは、フォーカスレンズ、ズームレンズ、像振れ補正レンズを含む。フォーカスレンズは光軸方向に移動されて焦点調節を行う。ズームレンズ（変倍レンズ）は、光軸方向に移動されて焦点距離を変更する。像振れ補正レンズは、光軸に直交する方向に移動されて像振れを補正する。なお、「直交する方向」は光軸に直交する成分があれば足り、光軸に斜めに移動されてもよい。絞りは、光学系の射出瞳位置に配置され、光量を調節する。シャッターは、設定されたシャッター速度で開閉し、露光を停止させる。
【００１２】
撮像装置１００は、レンズ一体型でもよいし、光学系１０１を有するレンズ装置（交換レンズ）が撮像装置本体に着脱されるレンズ交換型であってもよい。後者の場合、カメラ本体は、一眼レフカメラやノンフレックス一眼レフカメラ（ミラーレスカメラ）であってもよい。
【００１３】
撮像素子１０２は、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどから構成され、光学系１０１が形成した被写体像を光電変換する。
【００１４】
ＣＰＵ１０３は、入力された信号や予め記憶されたプログラムに従い、撮像装置１００の各部を制御する制御手段であり、マイクロコンピュータから構成される。カメラ本体とレンズ装置からなる撮像システムにおいては、制御手段は、カメラ本体に設けられ、撮像システムを制御するカメラＣＰＵと、カメラＣＰＵの制御に基づいてレンズ装置の各部を制御するレンズＣＰＵから構成される。
【００１５】
一次記憶部１０４は、例えば、ＲＡＭのような揮発性メモリであり、一時的なデータを記憶し、ＣＰＵ１０３の作業用に使われる。また、一次記憶部１０４に記憶されている情報は、画像処理部１０６で利用されたり、記録媒体１０７へ記録されたりもする。
【００１６】
角速度センサ（検出手段）１０５は、ジャイロセンサなどから構成され、撮像装置１００の移動量を表す角速度を検出し、電気信号に変換してＣＰＵ１０３へ送信する。レンズ交換型の撮像システムにおいて、角速度センサ１０５は、カメラ本体側に設けられてもよいし、レンズ装置側に設けられてもよい。
【００１７】
なお、画像処理部（画像処理手段）１０６は、撮像素子１０２から得られる画像信号に対して現像、撮影モードに応じた色調の調整等の画像処理を施す。ユーザは、操作部１１０から、画像処理部１０６が適用する画像処理パターンを設定可能である。画像処理部１０６の機能の少なくとも一部を、ＣＰＵ１０３がソフトウェア的に実現してもよい。
【００１８】
記録媒体１０７は、一次記憶部１０４に記憶されている、撮影により得られた画像データなどを記録する。記録媒体１０７は、例えば、半導体メモリカードのように撮像装置１００から着脱可能であり、記録されたデータはパーソナルコンピュータ（ＰＣ）などに装着して読み出すことができる。撮像装置１００は、記録媒体１０７の着脱機構及び読み書き機能を有する。
【００１９】
二次記憶部１０８は、例えば、ＥＥＰＲＯＭのような不揮発性メモリであり、撮像装置１００を制御するためのプログラム（ファームウェア）や各種の設定情報を記憶し、ＣＰＵ１０３によって利用される。
【００２０】
表示部（表示手段）１０９は、撮影時のビューファインダー画像の表示、撮影した画像の表示、対話的な操作のためのＧＵＩ画像などの表示を行う、液晶ディスプレイなどである。表示部１０９は、画像処理部１０６によって処理された画像を逐次表示するライブビュー（ＬＶ）表示を行うことができる。これにより、ユーザは、ライブビュー画像を見ながら撮影する、ライブビュー撮影を行うことができる。
【００２１】
操作部１１０は、ユーザの操作を受け付けてＣＰＵ１０３へ入力情報を伝達する入力デバイス群であり、例えば、ボタン、レバー、ダイヤル、タッチパネル、音声や視線などを含む。
【００２２】
例えば、操作部１１０は、レリーズボタンを含む。ＣＰＵ１０３は、レリーズボタンの半押し（Ｓ１）に応じて、不図示の測光センサによる測光結果またはユーザが設定した絞り値に応じた絞りの駆動量を算出し、絞りを駆動させる。また、ＣＰＵ１０３は、レリーズボタンの半押しに応じて、手振れ補正レンズのロックを解除して駆動可能な状態にする。その後、ＣＰＵ１０３は、角速度センサ１０５の検出結果に従って像振れ補正レンズを駆動させる。ＣＰＵ１０３は、レリーズボタンの全押し（Ｓ２）に応じて、シャッターを駆動し、光学系１０１からの光束を撮像素子１０２に導き、露光（撮影）を行う。
【００２３】
ＣＰＵ１０３は、撮像素子１０２からの出力に基づいて画像処理部１０６を制御して画像データ（動画や静止画）を生成させ、記録媒体１０７に記録する。ＣＰＵ１０３は、光学系１０１から像振れ補正レンズが補正可能な最大角度（最大補正角度）を取得することもできる。上述した撮像システムにおいては、カメラＣＰＵが最大補正角度の情報をレンズＣＰＵから取得することができる。
【００２４】
操作部１１０は、各種のモードや撮影条件（例えば、静止画撮影のためのシャッター速度、ＡＦにおける焦点検出の対象を定める焦点検出枠）を設定する設定手段として機能する。
【００２５】
各種のモードは、流し撮り補助（アシスト）モード、ライブビュー表示モード、自動焦点調節（ＡＦ）モードを含む。
【００２６】
流し撮り補助モードは、流し撮りを補助するためのモードであり、流し撮りの際に、被写体の移動速度とパンニング速度の差を像振れ補正レンズの移動により補正し、その差に起因する主被写体のぶれを防止するモードである。また、これに加えて、ＣＰＵ１０３は、シャッター速度を自動で予め記憶された設定したり、主被写体に連続的にＡＦしたりしてもよい。流し撮り補助モードにおいて、シャッター速度は、ユーザが操作部１１０によって設定してもよい。また、ライブビュー表示モードは、表示部１０９に画像を逐次表示するモードであるが、流し撮り補助モードにおいて（一眼レフカメラに備わっている光学ファインダを用いる代わりに）選択されてもよい。これにより、ユーザは、流し撮りにおいて、表示部１０９を見ながら動体である主被写体の追跡を行うことができる。その際、操作部１１０を通じて、画像処理部１０６が撮像素子１０２からフレーム画像を取得するフレームレート（以下、「取得フレームレート」という）を設定することもできる。フレームレートは、単位時間（例えば、１秒）当たりに処理させるフレーム数（静止画像数、コマ数）であり、ｆｐｓという単位で表す。但し、本発明において、流し撮りの際に流し撮り補助モードを設定することは必須ではない。
【００２７】
後述するように、表示部１０９がライブビュー表示をするときの取得フレームレートは、撮像装置１００が回転移動されている場合とされていない場合とで異なってもよい。ユーザは、操作部１１０を通じて、撮像装置１００がパンニングされているときの取得フレームレートを設定してもよい。あるいは、ＣＰＵ１０３は、操作部１１０によって流し撮り補助モードが設定されると、撮像装置１００がパンニングされているときの取得フレームレートを予め記憶された値に設定してもよい。
【００２８】
また、表示部１０９が単位時間当たりに表示するフレーム画像の数（または表示部１０９の画面の更新回数）を、以下、「表示フレームレート」と呼ぶ。後述するように、表示部１０９がライブビュー表示をするときの表示フレームレートは、撮像装置１００が回転移動されている場合とされていない場合とで異なってもよい。ユーザは、操作部１１０を通じて、撮像装置１００がパンニングされているときの表示フレームレートを設定してもよい。あるいは、ＣＰＵ１０３は、操作部１１０によって流し撮り補助モードが設定されると、撮像装置１００がパンニングされているときの表示フレームレートを予め記憶された値に設定してもよい。
【００２９】
動きベクトル検出部１１１は、少なくとも２枚のフレーム画像を撮像素子１０２から入力し、入力した２枚のフレーム画像に設定された複数の領域のそれぞれの動きベクトルを検出する。動きベクトルの検出には、テンプレートマッチングなど周知の方法を使用することができる。このときのフレーム画像は、主被写体がぶれないような高速な（電子シャッターによる）シャッター速度で連続して撮影され、ユーザはライブビューとして確認することができる。
【００３０】
しかしながら、このライブビューのシャッター速度と、流し撮りの静止画撮影のシャッター速度が異なる場合、ライブビュー画像と流し撮り結果の間で背景の流れ具合が異なり、流し撮り結果のイメージが困難になる。
【００３１】
図２は、ＣＰＵ１０３が実行する撮像装置１００の制御方法、具体的には、流し撮り補助方法を説明するフローチャートであり、「Ｓ」はステップ（工程）、「Ｙ」はＹｅｓ（はい）、「Ｎ」はＮｏ（いいえ）を表す。図２及び他のフローチャートはコンピュータに各ステップを実行させるためのプログラムとして具現化が可能であり、かかるプログラムは非一時的なコンピュータが可読な記憶媒体に格納されてもよい。
【００３２】
まず、Ｓ２０１において、ＣＰＵ１０３は、動きベクトル検出部１１１にて撮像画像から得られた動きベクトルを用いて主被写体領域を抽出する。動きベクトルから被写体領域を抽出する手法については、ヒストグラムや周知の方法を適用することができる。ヒストグラムを使用する場合、フレーム画像における複数の領域のそれぞれの動きベクトルの情報に基づいて、動きベクトルの大きさと度数との関係を示すヒストグラムを作成する。次に、このヒストグラムにおいて、閾値以上の度数を有する動きベクトルの大きさの情報に基づいて、動体である主被写体の動きベクトルを検出する。主被写体の抽出ができないと主被写体角速度の算出が行えないため、Ｓ２０７において像振れ補正レンズを駆動しない通常の撮影方法に切り替えてもよい。
【００３３】
次に、Ｓ２０２において、ＣＰＵ１０３は、角速度センサ１０５で検出された撮像装置１００のパンニングの角速度情報を取得する。なお、ここでは、カメラの回転移動のうちカメラを左右に振るパンニングについて説明するが、本発明はパンニングだけでなく、カメラを上下に振るチルティングにも適用可能である。像振れ補正についても、例えば、横方向と縦方向といった、直交する２軸に関して検出および補正が行われるが、同様の構成により行われるので、以下では１軸分のみ説明する。
【００３４】
図３は、ＣＰＵ１０３が主被写体角速度の情報を取得する方法を説明するための図である。具体的には、図３は、主被写体がｔ秒の間に点Ａから点Ｂへ移動し、それに応じて撮像素子１０２に結像した主被写体像が点Ｃから点Ｄへと移動したことを示す図である。ここで、点Ｃと点Ｄとの距離（像面移動量）をν［ｐｉｘｅｌ］、焦点距離をｆ［ｍｍ］、撮像素子１０２の画素ピッチをｐ［μｍ／ｐｉｘｅｌ］とすると、像面上の主被写体の角速度ω［ｒａｄ／ｓｅｃ］は以下の式で表わされる。
【００３５】
【数１】
0006494386.tif 000002
【００３６】
撮像装置１００をパンニングすると、像面上の主被写体の角速度ωは、次式で示すように、主被写体自身の角速度である主被写体角速度ωｓからパンニング角速度ωｐを減算したものとなる。
【００３７】
【数２】
0006494386.tif 000003
【００３８】
数式（２）から、被写体角速度ωｓは以下のように算出される。
【００３９】
【数３】
0006494386.tif 000004
【００４０】
角速度センサ１０５からはパンニング角速度ωｐの情報が得られ、像面上の主被写体の角速度ωは、動きベクトル検出部１１１から得られる。この結果、ＣＰＵ１０３は、数式３から主被写体角速度ωｓを求めることができる。なお、被写体角速度の算出方法は、本実施例のものに限定されず、予め操作部１１０により指定された値を使用したりする方法を用いてもよい。
【００４１】
次に、Ｓ２０４において、ＣＰＵ１０３は、流し撮り時のライブビュー表示の更新を行う。Ｓ２０５において、ＣＰＵ１０３は、露光を行うかの判定を行う。ここでは、操作部１１０に含まれるレリーズボタンの全押し（Ｓ２）がなされたかどうかの判定によって行う。Ｓ２が行われない場合（Ｓ２０５のＹ）、フローはＳ２０１に戻る。Ｓ２０５でＳ２が行われた場合、Ｓ２０６へ進む。Ｓ２０６において、ＣＰＵ１０３は、光学系１０１に含まれるシャッターを走行させる。
【００４２】
次に、Ｓ２０７において、ＣＰＵ１０３は、光学系１０１の像振れ補正レンズを駆動させ、被写体の移動速度とパンニング速度に差に起因する被写体のぶれを補正する。なお、Ｓ２０７においては、数式（２）からωを算出するのであるが、このときのパンニング角速度ωｐは露光中に角速度センサ１０５によって検出された最新の情報を使用し、主被写体角速度ωｓにはＳ２０３で求めたものを使用する。そして、ＣＰＵ１０３は、この差分の角速度を積分して像振れ補正レンズの移動量を算出する。次に、Ｓ２０８において、ＣＰＵ１０３は、設定された露光時間が経過するとシャッターを閉じる。
【実施例１】
【００４３】
図４は、実施例１によるＳ２０４の詳細を示すフローチャートである。図５と図６は、流し撮り時のライブビュー画面の表示例を示す図である。
【００４４】
Ｓ４０１（第１のステップ）において、ＣＰＵ１０３は、Ｓ２０２において取得したパンニング角速度の情報に基づいて撮像装置１００がパンニング中かどうかの判定を行う。例えば、ＣＰＵ１０３は、パンニング角速度を二次記憶部１０８に記憶された閾値と比較することによって撮像装置１００がパンニング中であるかどうかを判定することができる。ＣＰＵ１０３は、パンニング中であればＳ４０２へ進み、パンニング中でなければＳ４０６へ進む。
【００４５】
Ｓ４０２において、ＣＰＵ１０３は取得フレームレートを変更する。上述したように、取得フレームレートは、画像処理部１０６が撮像素子１０２から単位時間当たりに取得するフレーム画像の数（またはライブビュー表示に使用されるフレーム画像の撮影回数）である。フレーム画像は、不図示のクロックにおいて、ＣＰＵ１０３が操作部１１０による入力あるいは設定値に従って指定するタイミングに同期して画像処理部１０６が撮像素子１０２から取得する。例えば、変更前の取得フレームレートが３０ｆｐｓである場合、ＣＰＵ１０３は、より高速な６０ｆｐｓに増加させることができる。この場合、ＣＰＵ１０３は、取得フレームレートを変更する命令を画像処理部１０６だけでなく撮像素子１０２の駆動部にも送信してもよい。
【００４６】
この結果、図５に示すように、表示部１０９に表示される画像の合成枚数を多くすることができる。図５と図６において、取得フレームは、取得フレームレートで、画像処理部１０６が撮像素子１０２から取得するフレーム画像である。表示フレームは、画像処理部１０６によって処理され、表示フレームレートで表示部１０９に表示されるフレーム画像である。
【００４７】
この時、被写体の輝度に応じて適露出が得られる露出時間が維持できるような取得フレームレートを上限として切り替えてもよいし、図６に示すように、取得フレームレートを変更しなくてもよい。取得フレームレートが高い方が、ユーザは背景の流れ量を視覚的に把握することができる。図５、図６では、取得フレームレートと表示フレームレートは同じであるが、取得フレームレートと表示フレームレートは互いに異なってもよい。
【００４８】
次に、Ｓ４０３において、ＣＰＵ１０３は、撮像に設定された静止画撮影用のシャッター速度の情報を取得する。上述したように、静止画撮影用のシャッター速度は、操作部１１０によって設定されてもよいし、二次記憶部１０８に規定値として格納されていてもよい。このため、ＣＰＵ１０３は、静止画撮影用のシャッター速度の情報を操作部１１０または二次記憶部１０８から取得することができる。
【００４９】
次に、Ｓ４０４において、ＣＰＵ１０３は、取得フレームレートとシャッター速度から、画像の合成枚数を算出する。合成枚数ｍは以下の数式（４）で求められる。
【００５０】
【数４】
0006494386.tif 000005
【００５１】
例えば、取得フレームレートｆｐｓが６０ｆｐｓでシャッター速度Ｔνが１／１０ｓｅｃの場合、合成枚数ｍは６枚となる。画像処理部１０６はこの合成枚数の範囲内で合成画像を作成する。
【００５２】
次に、Ｓ４０５（第２のステップ）において、ＣＰＵ１０３は、画像処理部１０６に、時系列的に並んだ複数のフレーム画像を合成させることによって合成画像を作成させる。図５では、時系列的に取得したフレーム画像をＳ４０４で求めた合成枚数になるまで順次合成して表示画像を作成する。最後に、Ｓ４０６（第３のステップ）において、ＣＰＵ１０３は、画像処理部１０６に、表示フレームの更新表示を行わせる。画像処理部１０６は、フレーム画像を一次記憶する内部メモリを備えるか、一次記憶部１０４を利用する。
【００５３】
例えば、画像処理部１０６は、取得フレームＦ５０１を表示フレームＦ５１１としてそのまま表示すると共に取得フレームＦ５０１を一次記憶する。次に、画像処理部１０６は、一次記憶された取得フレームＦ５０１に新たな取得フレームＦ５０２を合成することによって作成されたフレーム画像を表示フレームＦ５１２として表示する。また、画像処理部１０６は、取得フレームＦ５０１に加えて取得フレームＦ５０２を更に一次記憶する。以下、同様にして、画像処理部１０６は、取得フレームＦ５０１〜Ｆ５０３の合成画像を表示フレームＦ５１３として表示し、取得フレームＦ５０１〜Ｆ５０３を一次記憶する。次に、画像処理部１０６は、取得フレームＦ５０１〜Ｆ５０４の合成画像を表示フレームＦ５１４として表示し、取得フレームＦ５０１〜Ｆ５０４を一次記憶する。次に、画像処理部１０６は、取得フレームＦ５０１〜Ｆ５０５の合成画像を表示フレームＦ５１５として表示し、取得フレームＦ５０１〜Ｆ５０５を一次記憶する。次に、画像処理部１０６は、取得フレームＦ５０１〜Ｆ５０６の合成画像を表示フレームＦ５１６として表示し、取得フレームＦ５０２〜Ｆ５０６を一次記憶する。合成枚数が数式（４）のｍ枚になると、画像処理部１０６は、取得フレームＦ５０２〜Ｆ５０７の合成画像を表示フレームＦ５１７として表示し、取得フレームＦ５０３〜Ｆ５０７を一次記憶する。以降、順次合成枚数を保ったまま時系列的に並んだ複数の取得フレームを合成することによって表示フレームを更新する。
【００５４】
図５、６に示す表示フレームの背景が流れているため、ユーザは流し撮り前に流し撮り結果を視覚的に把握することができる。
【００５５】
以上、実施例１によれば、Ｓ２０４において、ライブビューの表示フレームに複数の取得フレームを合成した画像を用いているので、ユーザは撮影後の背景の流れ量を視覚的に把握することができる。以上より、撮影結果を予測し易いライブビュー撮影（ここでは、流し撮り）が可能なライブビュー表示を行うことが可能になる。
【００５６】
例えば、ユーザは撮影前に、現在のパンニング角速度に十分な背景の流れ量を得るための静止画撮影のシャッター速度を、ライブビュー画面を見ながら予測し、その予測結果に基づいて本撮影に臨むことが可能になる。例えば、サーキットである周回のレーシングカーのライブビュー表示更新（Ｓ２０４）の結果に基づいて本番の流し撮りを行うことによって所望の流し撮り結果を得ることが容易になる。このように、本発明は、流し撮り前に、主被写体またはそれに類似する被写体が、同様の動作を行う場合に特に効果的である。もちろん主被写体は、オリンピック競技における選手、競馬における馬や騎手などサーキットにおけるレーシングカーに限定されない。
【実施例２】
【００５７】
図７は、実施例２によるＳ２０４の詳細を示すフローチャートである。実施例２は、パンニング中のライブビューの表示フレームに取得フレームの合成画像を表示させている点で実施例１と同様であるが、表示フレームに非合成領域を設け、非合成領域に最新の取得フレームをそのまま表示している点で実施例１と相違する。画像処理部１０６は、複数のフレーム画像を合成したものに、複数のフレーム画像のうち最新のフレーム画像の非合成領域（特定領域）を切り出して張り付けることによって合成画像を作成する。
【００５８】
Ｓ７０１において、ＣＰＵ１０３は、画像処理部１０６に非合成領域の情報を取得させる。非合成領域は、図２のＳ２０１で抽出された主被写体の周囲の領域、操作部１１０からユーザによって任意で設定された範囲や焦点検出枠を含む領域などである。
【００５９】
図８は、非合成範囲の一例を示す図である。同図では、表示画像の左上を原点(０，０)として設定し、原点からの非表示領域の左上へのオフセット(ｘ１，ｙ１)と右下へのオフセット(ｘ２，ｙ２)で定義される、点線で囲まれた矩形領域を非表示領域としている。このように、非表示領域の輪郭または枠を合成画像に加えて表示してもよい。
【００６０】
図７において、Ｓ７０２からＳ７０６は、実施例１のＳ４０１からＳ４０５と同様であるため、説明を省略する。Ｓ７０７において、ＣＰＵ１０３は、画像処理部１０６に、時間的に最新のフレームから非合成範囲の切り出すように命令する。Ｓ７０８において、ＣＰＵ１０３は、画像処理部１０６に、非合成領域の貼り付けを行うことによって表示フレームを作成させる。最後に、Ｓ７０９において、ＣＰＵ１０３は、画像処理部１０６に作成した表示フレームの更新を行わせる。
【００６１】
図９は、実施例２の流し撮り時のライブビュー画面の表示例を示す図であり、Ｓ７０６までで作成された合成画像に非合成領域が貼り付けられた例を示している。取得フレームＦ９０１〜Ｆ９０８に対して表示フレームＦ９１１〜Ｆ９１８が作成されている。
【００６２】
例えば、取得フレームＦ９０１を表示フレームＦ９１１としてそのまま表示させると共に取得フレームＦ９０１を一次記憶する。次に、一次記憶された取得フレームＦ９０１に新たな取得フレームＦ９０２を合成したものに、取得フレームＦ９０２の非合成領域を貼り付けたフレーム画像を表示フレームＦ９１２として表示し、取得フレームＦ９０１とＦ９０２を一次記憶させる。以下、同様にして、取得フレームＦ９０１〜Ｆ９０３を合成したものに取得フレームＦ９０３の非合成領域を貼り付けたフレーム画像を表示フレームＦ９１３として表示し、取得フレームＦ９０１〜Ｆ９０３を一次記憶する。合成枚数が数式（４）のｍ枚になると、画像処理部１０６は、以降、順次合成枚数を保ったまま時間的に連続した取得フレームを合成することによって表示フレームを更新する。
【００６３】
図９においても、表示フレームの背景が流れているため、ユーザは流し撮り前に流し撮り結果を視覚的に把握することができる。
【００６４】
以上、実施例２によれば、Ｓ２０４において、ライブビューの表示フレームに複数の取得フレームを合成した画像を用いているので、ユーザは撮影後の背景の流れ量を視覚的に把握することができる。また、表示フレームには、非合成画像が貼り付けられているので、流し撮り結果の主被写体の写り方や、ユーザがリアルタイムで追尾したい領域や被写体のピント確認を行うことができる。以上より、撮影結果を予測し易いライブビュー撮影が可能なライブビュー表示を行うことが可能になる。
【実施例３】
【００６５】
実施例３は、パンニング中のライブビューの表示フレームに合成画像と非合成画像を表示させている点で実施例２と同様であるが、像振れ補正レンズの補正限界によって非合成領域の表示を切り替え可能にしている点で実施例２と相違する。上述したように、ＣＰＵ１０３は、静止画撮影の操作がなされると、非合成領域にある主被写体（動体）が静止した状態で流し撮りがなされるように、像振れ補正レンズを光軸に直交する方向に駆動させる命令を、主被写体の角速度に基づいて生成する。
【００６６】
図１０は、主被写体角速度とパンニング角速度を、それぞれ主点を中心として示している。被写体角速度が３０ｄｅｇ／ｓｅｃ、パンニング角速度が２４ｄｅｇ／ｓｅｃである場合は、その差の６ｄｅｇ／ｓｅｃが、システムが補助すべき（像振れ補正レンズを駆動して補正すべき）角速度である。システムが補助する角速度にシャッター速度(ｓｅｃ)を乗算すると、静止した主被写体を得るためにシステムが補助すべき補正角度が求められる。一例としてシャッター速度が１／１０ｓｅｃの場合、必要となる補正角度は０．６度となる。ただし、補正角度が、像振れ補正レンズの最大補正角度を超える場合、静止した主被写体の画像を得ることができない。ここで、システムが補助する角速度をωｒ、シャッター速度をＴν、補正角度をθ、最大補正角度θmaxとすると、以下の数式（５）が成立する。
【００６７】
【数５】
0006494386.tif 000006
【００６８】
図１１は、実施例３によるＳ２０４の詳細を示すフローチャートである。Ｓ１１０１からＳ１１０６は、図7に示すＳ７０１からＳ７０６と同様であるため、説明を省略する。
【００６９】
Ｓ１１０７において、ＣＰＵ１０３は、数式（５）を用いて補正角度を算出する。次に、Ｓ１１０８において、ＣＰＵ１０３は、最大補正角度を光学系１０１から取得する。次に、Ｓ１１０９において、ＣＰＵ１０３は、最大補正角度と数式（５）で算出された補正角度を比較し、補正角度が最大補正角度を超えていればＳ１１１２に進み、Ｓ１１０６で作成した合成画像を表示画像に用いるように画像処理部１０６に命令する。
【００７０】
Ｓ１１０９において補正角度が最大補正角度以下である場合、ＣＰＵ１０３は、Ｓ１１１０に進み、時間的に最新のフレームから非合成領域を切り出すように画像処理部１０６に命令する。また、Ｓ１１１１において、非合成領域を合成画像に貼り付けることによって表示画像を作成するように画像処理部１０６に命令する。最後に、Ｓ１１１２において、ＣＰＵ１０３は、ＣＰＵ１０３は、画像処理部１０６に作成した表示フレームの更新を行わせる。
【００７１】
図１２は、実施例３の流し撮り時のライブビュー画面の表示例を示す図であり、パンニング中に被写体の角速度とカメラのパンニング速度の差が補正できなくなった場合を示している。取得フレームＦ１２０１からＦ１２０８に対して、表示フレーム（表示画像）はＦ１２１１からＦ１２１８となっている。
【００７２】
ここで、像振れ補正レンズの最大補正角度が０．５度、シャッター速度が１／１０秒であるとする。取得フレームＦ１２０１〜Ｆ１２０４までの間は、被写体角速度が３０ｄｅｇ／ｓｅｃ、パンニング角速度が３０ｄｅｇ／ｓｅｃであるものとする。また、取得フレームＦ１２０５〜Ｆ１２０８までの間は、被写体角速度３０ｄｅｇ／ｓｅｃ、パンニング速度が２４ｄｅｇ／ｓｅｃに変動したとする。取得フレームＦ１２０１〜Ｆ１２０４までの被写体角速度、パンニング角速度、シャッター速度、補正角度、最大補正角度の関係は、数式（５）によって以下の数式（６）のようになる。
【００７３】
【数６】
0006494386.tif 000007
【００７４】
また、取得フレームＦ１２０５〜Ｆ１２０８までの被写体角速度、パンニング角速度、シャッター速度、補正角度、最大補正角度の関係は、数式（５）によって以下の数式（７）のようになる。
【００７５】
【数７】
0006494386.tif 000008
【００７６】
表示フレームＦ１２１１〜Ｆ１２１４には数式（６）が当てはまり、Ｓ１１０９において補正角度が最大補正角度以下なので、非合成領域が表示され、撮影前に被写体がぶれないことが視覚的に把握できる。表示フレームＦ１２１５〜Ｆ１２１８には数式（７）が当てはまり、Ｓ１１０９において補正角度が最大補正角度を超えているので、非合成領域は表示されずにぶれた主被写体が表示されるので、撮影前に被写体が正しく補正されないことが視覚的に把握できる。
【００７７】
このように、ＣＰＵ１０３は、像振れ補正レンズを駆動することによって主被写体が静止した状態で流し撮りできると判定すると、画像処理部１０６に非合成領域が貼り付けられた合成画像を作成させる。一方、ＣＰＵ１０３は、像振れ補正レンズを駆動しても主被写体が静止した状態で流し撮りできないと判定すると、画像処理部１０６に、非合成領域が貼り付けられていない合成画像を作成させる。即ち、画像処理部１０６は、複数のフレーム画像のそれぞれの非合成領域に相当する領域も合成することによって合成画像を作成する。
【００７８】
以上、実施例３によれば、Ｓ２０４において、ライブビューの表示フレームに複数の取得フレームを合成した画像を用いているので、ユーザは撮影後の背景の流れ量を視覚的に把握することができる。また、表示フレームには、非合成画像が貼り付けられているので、流し撮り結果の主被写体の写り方や、ユーザがリアルタイムで追尾したい領域や被写体のピント確認を行うことができる。更に、像振れ補正レンズの補正限界に応じて非合成領域の表示を切り替えることによって、被写体が流し撮り補助システムによって補正可能かどうかを視覚的に確認することが可能となる。以上より、撮影結果を予測し易いライブビュー撮影が可能なライブビュー表示を行うことが可能になる。
【００７９】
以上、本発明の実施例について説明したが、本発明はその要旨の範囲内で種々の変形及び変更が可能である。
【産業上の利用可能性】
【００８０】
本発明の撮像装置は、デジタルカメラ、デジタルビデオカメラ、カメラ付電子機器等の用途に適用することができる。
【符号の説明】
【００８１】
１０３…ＣＰＵ（制御手段）、１０５…角速度センサ（検出手段）、１０８…画像処理部（画像処理手段）、１０９…表示部（表示手段）、１１０…操作部（設定手段）
【図１】
0006494386.tif 000009
【図２】
0006494386.tif 000010
【図３】
0006494386.tif 000011
【図４】
0006494386.tif 000012
【図５】
0006494386.tif 000013
【図６】
0006494386.tif 000014
【図７】
0006494386.tif 000015
【図８】
0006494386.tif 000016
【図９】
0006494386.tif 000017
【図１０】
0006494386.tif 000018
【図１１】
0006494386.tif 000019
【図１２】
0006494386.tif 000020