(57)【要約】【課題】手振れ補正に伴う不自然な画像の記録を抑制可能な、手振れ補正装置、撮像装置、手振れ補正方法、およびプログラムを提供する。【解決手段】ビデオカメラ１０の移動量を検出する移動検出部（映像コーディック１６、センサ群３８）と、高低２つ以上の異なる応答特性を調節して手振れを補正する手振れ補正部１５と、移動量の検出値から撮影操作の開始および終了を判定する撮影操作判定部３２と、応答特性を予め「低」に設定し、撮影操作の開始時における移動量の検出値が所定の閾値を超える場合に、応答特性を「高」に設定し、撮影操作の終了時から所定の評価期間Ｔにおける移動量の検出値が所定の閾値未満である場合に、応答特性を再び「低」に設定し、撮影操作同士が行われる間隔の増減に対応するように、評価期間を増減させる手振れ判定部３６と、を備える。【選択図】図８
2010166257.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置の移動量を検出する移動検出部と、
高低２つ以上の異なる応答特性を調節して手振れを補正する手振れ補正部と、
前記移動量の検出値から撮影操作の開始および終了を判定する撮影操作判定部と、
前記応答特性を予め低に設定し、前記撮影操作の開始時における前記移動量の検出値が所定の閾値を超える場合に、前記応答特性を高に設定し、前記撮影操作の終了時から所定の評価期間における前記移動量の検出値が所定の閾値未満である場合に、前記応答特性を再び低に設定する応答特性設定部と、
前記撮影操作同士が行われる間隔の増減に対応するように、前記評価期間を増減させて設定する評価期間設定部と、
を備える手振れ補正装置。
【請求項２】
前記評価期間設定部は、直近における所定数の撮影操作同士の間隔、または直近の所定期間内における撮影操作同士の間隔から評価期間を設定する、請求項１に記載の手振れ補正装置。
【請求項３】
前記評価期間設定部は、前記設定された評価期間が所定の上限値を超えている場合に、前記評価期間を所定の上限値に設定する、請求項１に記載の手振れ補正装置。
【請求項４】
前記応答特性設定部は、前記撮影操作の終了時から前記所定の評価期間における前記移動量の検出値が所定の閾値未満である場合に前記応答特性を低に設定する代わりに、前記所定の評価期間の開始から終了までの期間において、前記応答特性が高から低に徐々に変化するように前記応答特性を設定する、請求項１に記載の手振れ補正装置。
【請求項５】
撮像素子と、
撮像装置の移動量を検出する移動検出部と、
高低２つ以上の異なる応答特性を調節して手振れを補正する手振れ補正部と、
前記移動量の検出値から撮影操作の開始および終了を判定する撮影操作判定部と、
前記応答特性を予め低に設定し、前記撮影操作の開始時における前記移動量の検出値が所定の閾値を超える場合に、前記応答特性を高に設定し、前記撮影操作の終了時から所定の評価期間における前記移動量の検出値が所定の閾値未満である場合に、前記応答特性を再び低に設定する応答特性設定部と、
前記撮影操作同士が行われる間隔の増減に対応するように、前記評価期間を増減させて設定する評価期間設定部と、
を備える撮像装置。
【請求項６】
手振れ補正の応答特性を予め低に設定するステップと、
撮像装置の移動量の検出値から撮影操作の開始を判定するステップと、
前記撮影操作の開始時における前記移動量の検出値が所定の閾値を超える場合に、前記応答特性を高に設定するステップと、
前記移動量の検出値から前記撮影操作の終了を判定するステップと、
前記撮影操作同士が行われる間隔の増減に対応するように、所定の評価期間を増減させて設定するステップと、
前記撮影操作の終了時から前記評価期間における前記移動量の検出値が所定の閾値未満である場合に、前記応答特性を低に設定するステップと、
を含む手振れ補正方法。
【請求項７】
手振れ補正の応答特性を予め低に設定するステップと、
撮像装置の移動量の検出値から撮影操作の開始時を判定するステップと、
前記撮影操作の開始時における前記移動量の検出値が所定の閾値を超える場合に、前記応答特性を高に設定するステップと、
前記移動量の検出値から前記撮影操作の終了時を判定するステップと、
前記撮影操作同士が行われる間隔の増減に対応するように、所定の評価期間を増減させて設定するステップと、
前記撮影操作の終了時から前記評価期間における前記移動量の検出値が所定の閾値未満である場合に、前記応答特性を低に設定するステップと、
を含む手振れ補正方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手振れ補正装置、撮像装置、手振れ補正方法、およびプログラムに関する。
【背景技術】
【０００２】
小型軽量化されたビデオカメラ、スチルカメラ等は、撮影時に生じる手振れによる画像の揺れを補正するために、手振れ補正機能を有している。しかし、手振れ補正機能を有するビデオカメラでは、パン操作やチルト操作等の撮影操作の開始時に、不自然な画像が記録されてしまうことが知られている。
【０００３】
これは、撮影操作の開始時にも手振れ補正が完全に機能しているので、撮影操作の開始時におけるビデオカメラの意図的な移動が手振れと判断されてしまい、ビデオカメラの移動がキャンセルされてしまうことに起因している。これにより、撮影操作の開始時の画像は、撮影操作の開始時から暫く遅れて撮影操作に追従するような不自然な画像として記録されてしまう。
【０００４】
このため、下記特許文献１では、手振れ時には撮像素子からの読出し位置をシフトさせ、撮影操作時には電子ズームによる補間画像を用いることで、不自然な画像が目立たないように手振れが補正されている。
【０００５】
下記特許文献２では、手振れ時と撮影操作時で手振れ補正の応答特性を切替えることで、不自然な画像の撮影が抑制されるように手振れが補正されている。
【０００６】
下記特許文献３では、画像の移動ベクトルを検出し、一定期間における移動ベクトルが所定の閾値未満であれば、手振れ補正をオフにすることで、不自然な画像の撮影が抑制されるように手振れが補正されている。
【０００７】
【特許文献１】特開平１０−２１０３５０号公報
【特許文献２】特許第３４７３１０５号公報
【特許文献３】特開２００８−６０７９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１、２に記載される手振れ補正方法では、手振れと撮影操作を判別するために一定の判別期間が必要となる。このため、判別期間中には、手振れ補正が完全に機能しているので、判別期間中に撮影操作が行われると、従来と同様の問題が生じてしまう。
【０００９】
一方、特許文献３に記載される手振れ補正方法では、従来の問題がある程度解消される。しかし、急な撮影操作が一定期間よりも短い間隔で繰り返されると、手振れ補正がオフにされずに、手振れ補正が完全に機能している状態で撮影操作が行われることとなり、従来と同様の問題が生じてしまう。また、手振れ補正がオン／オフで切替えられるので、手振れ補正がオフの状態では、手振れによる画像の揺れが記録されてしまう。
【００１０】
本発明は上記問題点に鑑みてなされたものであり、その目的は、手振れ補正に伴う不自然な画像の記録を抑制可能な、新規かつ改良された手振れ補正装置、撮像装置、手振れ補正方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明の第１の観点によれば、撮像装置の移動量を検出する移動検出部と、高低２つ以上の異なる応答特性を調節して手振れを補正する手振れ補正部と、移動量の検出値から撮影操作の開始および終了を判定する撮影操作判定部と、応答特性を予め低に設定し、撮影操作の開始時における移動量の検出値が所定の閾値を超える場合に、応答特性を高に設定し、撮影操作の終了時から所定の評価期間における移動量の検出値が所定の閾値未満である場合に、応答特性を再び低に設定する応答特性設定部と、撮影操作同士が行われる間隔の増減に対応するように、評価期間を増減させる評価期間設定部と、を備える手振れ補正装置が提供される。
【００１２】
かかる構成によれば、応答特性が予め低に設定され、撮影操作の開始時における移動量の検出値が所定の閾値を超えると、応答特性が高に設定される。そして、撮影操作の終了時から所定の評価期間における移動量の検出値が閾値未満であると、応答特性が再び低に設定される。
【００１３】
これにより、応答特性が予め低に設定されているので、急な撮影操作の開始時には、手振れ補正が完全に機能している場合に比して、手振れ補正に伴う不自然な画像の記録を抑制することができる。急な撮影操作の終了後の評価期間には、応答特性が高に設定されているので、急な撮影操作後に生じる手振れを適切に補正することができる。評価期間の終了後には、評価期間中に大きな移動量が検出されなければ、応答特性が再び低に設定されるので、次回の急な撮影操作の開始時には、手振れ補正に伴う不自然な画像の記録を抑制することができる。
【００１４】
また、評価期間は、撮影操作同士が行われる間隔の増減に対応するように増減されて設定される。これにより、撮影操作同士が短い／長い間隔で行われている場合には評価期間が短く／長く設定されるので、次回の急な撮影操作の開始時には、応答特性が低に設定されている確率が高くなり、手振れ補正に伴う不自然な画像の記録を抑制し易くなる。
【００１５】
また、上記評価期間設定部は、直近における所定数の撮影操作同士の間隔、または直近の所定期間内における撮影操作同士の間隔から評価期間を設定してもよい。
【００１６】
また、上記評価期間設定部は、設定された評価期間が所定の上限値を超えている場合に、評価期間を所定の上限値に設定してもよい。
【００１７】
また、上記応答特性設定部は、撮影操作の終了時から所定の評価期間における移動量の検出値が所定の閾値未満である場合に応答特性を低に設定する代わりに、所定の評価期間の開始から終了までの期間において、応答特性が高から低に徐々に変化するように応答特性を設定してもよい。
【００１８】
また、本発明の第２の実施形態によれば、撮像素子および上記第１の実施形態による手振れ補正装置を備えた撮像装置が提供される。また、本発明の第３の実施形態によれば、上記第１の実施形態による手振れ補正装置に適用可能な手振れ補正方法が提供される。また、本発明の第４の実施形態によれば、上記第３の実施形態による手振れ補正方法をコンピュータに実行させるためのプログラムが提供される。
【発明の効果】
【００１９】
本発明によれば、手振れ補正に伴う不自然な画像の記録を抑制可能な、手振れ補正装置、撮像装置、手振れ補正方法、およびプログラムを提供することができる。
【発明を実施するための最良の形態】
【００２０】
以下に、添付した図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２１】
［１．撮像装置の構成］
まず、図１を参照しながら、本発明の一実施形態に係る撮像装置の構成について説明する。撮像装置は、ビデオカメラ、スチルカメラ、携帯電話機等、動画像を記録可能な装置である。なお、以下では、撮像装置がビデオカメラである場合を一例として説明する。
【００２２】
図１に示すように、ビデオカメラ１０は、制御部１２、撮像部１４、映像コーディック１６、表示部１８、音声入力部２０、音声コーディック２２、音声出力部２４、フォーマット処理部２６、再生記録部２８、操作インタフェース（Ｉ／Ｆ）３０、撮影操作判定部３２、撮影操作情報保持部３４、手振れ判定部３６を含んで構成される。
【００２３】
制御部１２は、ＣＰＵ、ＲＯＭ、ＲＡＭ等からなり、ビデオカメラ１０の動作に必要な処理、バス４０を介して接続されている各部に対する制御を行う。ＣＰＵは、後述する手振れ補正方法を実施するためのプログラム等をＲＯＭから読出し、ＲＡＭ上に展開して実行する。
【００２４】
撮像部１４は、撮像レンズ、撮像素子、レンズ駆動機構等からなり、撮像対象を電気信号に変換し、映像情報として映像コーディック１６に出力する。撮像部１４は、操作Ｉ／Ｆ３０を用いたズーム操作に応じて撮像レンズを駆動することで、撮像レンズのズーム動作も行う。撮像部１４の一部をなす手振れ補正部１５は、電子補正および／または光学補正を用いて、高低２つ以上の異なる応答特性を調節して手振れを補正する。手振れ補正部１５は、手振れ判定部３６から通知される応答特性情報に応じて、手振れ補正の応答特性を切替えまたは調節する。
【００２５】
映像コーディック１６は、撮像部１４から入力される映像情報をＭＰＥＧ、ＡＶＣ（Advanced Video
Coding）等の映像データにエンコード処理し、フォーマット処理部２６に出力する。また、映像コーディック１６は、エンコード処理時に得られる画像の動きベクトルを撮影操作判定部３２および手振れ判定部３６に出力する。映像コーディック１６は、フォーマット処理部２６から入力される映像データを映像信号にデコード処理し、表示部１８に出力する。表示部１８は、液晶パネル等からなり、映像コーディック１６から入力される映像信号に対応する映像を出力する。
【００２６】
音声入力部２０は、マイク等からなり、撮影対象から入力される音声を音声信号に変換し、音声情報として音声コーディック２２に出力する。音声コーディック２２は、音声入力部２０から入力される音声情報をＡＡＣ（Advanced Audio
Coding）等の音声データにエンコード処理し、フォーマット処理部２６に出力する。音声コーディック２２は、フォーマット処理部２６から入力される音声データを音声信号にデコード処理し、音声出力部２４に出力する。音声出力部２４は、スピーカー等からなり、音声コーディック２２から入力される音声信号に対応する音声を出力する。
【００２７】
フォーマット処理部２６は、動画像の記録に際して、映像コーディック１６および音声コーディック２２から映像データおよび音声データを各々に入力される。フォーマット処理部２６は、映像データおよび音声データから所定の動画像データを作成し、再生記録部２８に出力する。
【００２８】
再生記録部２８は、フォーマット処理部２６から入力される動画像データを記録媒体に書込み、記録媒体から読出される動画像データをフォーマット処理部２６に出力する。操作Ｉ／Ｆ３０は、操作ボタン、操作キー等を含んでおり、ユーザ操作に応じた操作信号を制御部１２等に出力する。操作Ｉ／Ｆ３０は、ズーム操作用のズームレバーを含んでおり、ズームレバーの操作に応じて変化するズーム検出値を撮影操作判定部３２に出力する。
【００２９】
撮影操作判定部３２は、映像コーディック１６から入力される動きベクトルの解析、および操作Ｉ／Ｆ３０から入力されるズーム検出値の解析により、ビデオカメラ１０の移動量を算出する。撮影操作判定部３２は、移動量から撮影操作の状況を判定する。撮影操作判定部３２は、移動量から撮影操作の開始および終了を含む、撮影操作の状況を示す撮影操作情報を作成し、手振れ判定部３６に通知するとともに、撮影操作情報保持部３４に格納する。ここで、撮影操作情報とは、ビデオカメラ１０に対して行われるパン、チルト、ドリー、ズーム等の撮影操作の状況を示す情報であり、例えば、撮影操作の種類・緩急、開始時刻、終了時刻、間隔等を含んでいる。
【００３０】
撮影操作情報保持部３４は、メモリ等からなり、撮影操作判定部３２から入力される撮影操作情報を順次に格納する記憶媒体である。
【００３１】
手振れ判定部３６は、映像コーディック１６から入力される動きベクトルの解析により、ビデオカメラ１０の移動量（手振れ量）を算出し、移動量からビデオカメラ１０の移動状況を判定する。手振れ判定部３６は、撮影操作判定部３２から通知される撮影操作情報、またはビデオカメラ１０の移動状況に応じて、手振れ補正の応答特性を設定し、応答特性情報として撮像部１４に通知する。
【００３２】
手振れ判定部３６は、応答特性を予め低に設定し、撮影操作の開始時における移動量の検出値が所定の閾値を超える場合に、応答特性を「高」に設定し、撮影操作の終了時から所定の評価期間Ｔにおける移動量の検出値が所定の閾値未満である場合に、応答特性を再び「低」に設定する応答特性設定部として機能する。また、手振れ判定部３６は、撮影操作同士が行われる間隔の増減に対応するように、評価期間Ｔを増減させて設定する評価期間設定部としても機能する。
【００３３】
ここで、図２を参照しながら、ビデオカメラ１０の移動量について説明する。図２に示すように、レンズの光軸方向をＹ軸、Ｙ軸に直交しビデオカメラ１０の左右方向に相当する方向をＸ軸、Ｘ軸およびＹ軸に直交しビデオカメラ１０の上下方向に相当する方向をＺ軸と想定する。動きベクトルの解析によれば、例えば、Ｘ軸、Ｙ軸、Ｚ軸の各軸方向へビデオカメラ１０を移動させるための撮影操作に伴う移動量、およびＸ軸、Ｙ軸、Ｚ軸の各軸に対してビデオカメラ１０を回転させるための撮影操作に伴う移動量が算出される。
【００３４】
撮影操作情報の作成に際して、Ｘ−Ｙ平面上での回転移動からパン操作が判別され、Ｙ−Ｚ平面上での回転移動からチルト操作が判別される。また、Ｙ軸方向での移動量からドリー操作が判別され、ズーム検出値からズーム操作が判別される。なお、撮影操作情報の作成に際して、パン、チルト、ドリー、ズーム操作以外にも、Ｘ軸、Ｙ軸、Ｚ軸に対する位置、速度、加速度、方向、回転、角速度、角加速度の任意の組合せからなる移動の変化を伴う撮影操作が判定されてもよい。
【００３５】
次に、図３を参照しながら、本発明の一実施形態の変形例に係るビデオカメラ６０の構成について説明する。図３に示すように、ビデオカメラ６０では、前述したビデオカメラ１０にセンサ群３８が追加されている。センサ群３８は、加速度センサ、角速度センサ、重力センサ、方位センサ等からなり、ビデオカメラ６０に対して行われる撮影操作に応じて変化する、加速度値、角速度値、重力値、方位等を検出し、撮影操作判定部３２および手振れ判定部３６に出力する。
【００３６】
ビデオカメラ６０では、撮影操作判定部３２は、センサ群３８から入力される加速度、角速度、重力、方位等の検出値の解析、および操作Ｉ／Ｆ３０から入力されるズーム検出値の解析により、ビデオカメラ６０の移動量を算出し、移動量から撮影操作の状況を判定する。また、手振れ判定部３６は、センサ群３８から入力される加速度、角速度、重力、方位等の検出値の解析により、ビデオカメラ６０の移動量を算出し、移動量からビデオカメラ６０の移動状況を判定する。
【００３７】
［２．撮影操作の判定方法］
次に、図４〜図７を参照しながら、撮影操作の判定方法について説明する。図４および図５には、手振れ時および撮影操作時のビデオカメラ１０の移動量および累積移動量の時系列データが模式的に示されている。ビデオカメラ１０の移動量は、映像データの解析結果またはセンサ群３８の検出値から算出され、累積移動量は、移動量の累積値として算出される。
【００３８】
ここで、ビデオカメラ１０の移動量とは、ビデオカメラ１０のＸ軸、Ｙ軸、Ｚ軸の各軸方向への移動量、各軸に対する回転移動量、およびそれらの任意の組合せを含むものである。以下では、パン操作、チルト操作に伴うビデオカメラ１０の移動量を例に挙げて説明するが、他の移動量についても同様に説明することができる。
【００３９】
図４には、小さな手振れが生じている期間ｔａ１、および大きな手振れが生じている期間ｔａ２の状態が示されている。ここで、手振れの大小は、手振れによるビデオカメラ１０の移動量が所定の閾値±ｔｈ１を超えているか否かに応じて区分している。期間ｔａ１、ｔａ２では、基準線０から＋方向および−方向に変動する移動量が確認されるが、所定の閾値±ｔｈ２未満の小さな累積移動量のみが確認される。また、小さな手振れが生じている期間ｔａ１では、閾値±ｔｈ１を超える移動量が確認されないが、大きな手振れが生じている期間ｔａ２では、閾値±ｔｈ１を超える移動量が確認される。
【００４０】
図５には、緩やかな撮影操作が行われている期間ｔｂ１、および急な撮影操作が行われている期間ｔｂ２の状態が示されている。ここで、撮影操作の緩急は、撮影操作によるビデオカメラ１０の移動が所定の閾値±ｔｈ１を超えているか否かに応じて区分している。期間ｔｂ１、ｔｂ２では、基準線０から一方向（図５に示す例では＋方向）でのみ変動する移動量が確認されるとともに、所定の閾値＋ｔｈ２を超える大きな累積移動量が確認される。また、緩やかな撮影操作が行われている期間ｔｂ１では、閾値±ｔｈ１を超える移動量が確認されないが、急な撮影操作が行われている期間ｔｂ２では、＋方向の閾値＋ｔｈ１を超える移動量が確認される。
【００４１】
このため、所定の期間ｔ（＝ｔａ１、ｔａ２、ｔｂ１、ｔｂ２）における累積移動量の傾向からは、手振れと撮影操作が判別され、所定の期間ｔにおける移動量の傾向からは、手振れの大小が判別され、または、撮影操作の緩急が判別される。また、移動量の変化傾向に変動が少なく一定の規則性が認められる期間から、撮影操作の開始時点および終了時点が判定される。例えば、撮影操作の開始時点は、現時点ｔａから所定の期間ｔ（または所定の期間ｔよりも短い期間ｔ’）遡った時点ｔｐまでの判定期間ｔｐ〜ｔａ中の移動量に基づいて判定され、判定期間中の移動量の方向が＋方向または−方向のいずれかで一定である場合に時点ｔｐとして判定される。また、撮影操作の終了時点は、撮影操作の開始が判定された後において、移動量の方向が反転した時点、または移動量が０となった時点として判定される。
【００４２】
図６および図７には、撮影操作の判定結果を示す撮影操作情報の一例が示されている。撮影操作情報は、ビデオカメラ１０の所定の期間ｔにおける移動量および累積移動量に基づいて判定される、撮影操作の種類・緩急、開始時刻、終了時刻、および間隔に関する情報からなる。
【００４３】
図６および図７に示す例では、撮影操作の種類として、パン操作およびチルト操作が判定されている。ここで、撮影操作の種類は、映像データまたはセンサ群３８の検出値の解析結果から特定される移動の方向から判別される。例えば、Ｘ−Ｙ平面上における移動であればパン操作として特定され、Ｙ−Ｚ平面上における移動であればチルト操作として特定される。
【００４４】
撮影操作の緩急は、所定の期間ｔにおける移動量が所定の閾値±ｔｈ１を超えているか否かに応じて判定される。撮影操作の開始・終了時刻は、所定の期間ｔにおける移動量の変化傾向から判定される。撮影操作の間隔は、ある撮影操作の終了時刻と、次の撮影操作の開始時刻との差分として算出される。
【００４５】
また、図６に示す例では、全ての撮影操作が急な撮影操作として判定されている。一方、図７に示す例では、一部の撮影操作（第６の撮影操作１：１０〜１：１３）が急な撮影操作として判定され、他の撮影操作が緩やかな撮影操作として判定されている。
【００４６】
［３．手振れ補正方法］
次に、図８〜図１０を参照しながら、本実施形態に係る手振れ補正方法について説明する。図８には、手振れ補正方法の全体的な処理を示すフローが示されている。図９には、手振れ補正方法の全体的な処理を説明するための模式図が示されている。図１０には、手振れ補正方法の部分的な処理を示すフローが示されている。
【００４７】
まず、図８および図９を参照しながら、手振れ補正方法の全体的な処理について説明する。なお、図９には、急な撮影操作の前後における応答特性の切替状況、および緩やかな撮影操作の前後における応答特性の切替状況が示されている。制御部１２は、操作Ｉ／Ｆ３０を介して動画像の記録開始が指示されると、記録動作の開始を各部に指示する。
【００４８】
記録動作の開始を指示されると、手振れ判定部３６は、手振れ補正の応答特性を「低」に設定し（ステップＳ１０）、応答特性情報として撮像部１４に通知し、撮像部１４は、手振れ補正部１５の応答特性を「低」に切替える。よって、以降の撮像処理において、撮像部１４は、応答特性が変更されるまで、応答特性「低」で手振れを補正しながら、撮像対象の映像情報を映像コーディック１６に出力する。また、手振れ判定部３６は、後述する所定の評価期間Ｔを所定の上限値Ｔｍａｘに設定する（Ｓ１２）。
【００４９】
撮像部１４は、手振れを補正しながら、撮像対象の映像情報を映像コーディック１６に出力し、映像コーディック１６は、映像情報を映像データにエンコードし、フォーマット処理部２６に出力する。音声入力部２０は、撮影対象の音声情報を音声コーディック２２に出力し、音声コーディック２２は、音声情報を音声データにエンコードし、フォーマット処理部２６に出力する。フォーマット処理部２６は、映像データおよび音声データから所定の動画像データを作成し、再生記録部２８に出力し、再生記録部２８は、動画像データを記録媒体に格納する。
【００５０】
映像コーディック１６は、エンコード処理時に得られる画像の動きベクトルを、撮影操作判定部３２および手振れ判定部３６に出力する。操作Ｉ／Ｆ３０は、ズームレバー操作に応じて変化するズーム値を撮影操作判定部３２に出力する。そして、撮影操作判定部３２は、画像の動きベクトルおよびズーム値を解析し、ビデオカメラ１０の移動量、累積移動量等を算出する。
【００５１】
なお、図２に示した変形例に係るビデオカメラ６０では、センサ群３８は、加速度、角速度、重力、方位等のセンサ値を、撮影操作判定部３２および手振れ判定部３６に出力する。操作Ｉ／Ｆ３０は、ズームレバー操作に応じて変化するズーム値を撮影操作判定部３２に出力する。そして、撮影操作判定部３２は、センサ値およびズーム値を解析し、ビデオカメラ６０の移動量、累積移動量等を算出する。
【００５２】
撮影操作判定部３２は、移動量および累積移動量等から撮影操作状況の判定を開始する（Ｓ１４）。撮影操作状況の判定では、前述したように、所定の期間ｔにおける累積移動量から手振れと撮影操作が判別され、移動量から手振れの大小または撮影操作の緩急が判別される。また、移動量の変化傾向に変動が少なく一定の規則性が認められる期間から、撮影操作の開始が判定される。
【００５３】
撮影操作判定部３２は、撮影操作の開始が判定されるまで、撮影操作の開始を判定する（Ｓ１６）。撮影操作の開始直後の所定の期間ｔで撮影操作の開始が判定されると、撮影操作判定部３２は、開始された撮影操作が急な撮影操作であるかを判定する（Ｓ１８）。
【００５４】
ここで、応答特性が予め「低」に設定されているので、急な撮影操作の開始時には、手振れ補正が完全に機能している場合に比して、手振れ補正に伴う不自然な画像の記録を抑制することができる。つまり、撮影操作の開始時におけるビデオカメラ１０の意図的な移動が手振れと判断されても、手振れ補正の応答特性が低いので、意図的な移動が完全にキャンセルされずにすむ。これにより、撮影操作の開始時から暫く遅れて撮影操作に追従するような不自然な画像の記録を抑制することができる。
【００５５】
急な撮影操作であると判定した場合には、撮影操作判定部３２は、急な撮影操作の開始を手振れ判定部３６に通知する。手振れ判定部３６は、応答特性を「高」に設定し（Ｓ２０）、応答特性情報として撮像部１４に通知し、撮像部１４は、手振れ補正部１５の応答特性を「高」に切替える。よって、以降の撮像処理において、撮像部１４は、応答特性が変更されるまで、応答特性「高」で手振れを補正しながら、撮像対象の映像情報を映像コーディック１６に出力する。
【００５６】
一方、急な撮影操作でないと判定した場合には、撮影操作判定部３２は、応答特性の設定を「低」に維持する。よって、撮像部１４は、応答特性「低」で手振れを補正しながら、撮像対象の映像情報を映像コーディック１６に出力する。
【００５７】
撮影操作の緩急にかかわらずに撮影操作が開始されると、撮影操作判定部３２は、撮影操作の終了を判定するために、撮影操作状況の判定を継続する。撮影操作状況の判定では、移動量の変化傾向に変動が少なく一定の規則性が認められる期間から、撮影操作の終了が判定される。撮影操作判定部３２は、撮影操作の終了直後の所定の期間ｔで撮影操作の終了を判定すると（Ｓ２２）、撮影操作の種類・緩急、開始時刻、および終了時刻を撮影操作情報として撮影操作情報保持部３４に出力し、撮影操作情報保持部３４は、撮影操作情報を順次に格納する（Ｓ２４）。
【００５８】
撮影操作判定部３２は、終了した操作が急な撮影操作であると判定した場合に（Ｓ２６）、撮影操作の終了を手振れ判定部３６に通知する。手振れ判定部３６は、撮影操作の終了を通知されると、所定の評価期間Ｔを設定し（Ｓ２８）、撮影操作の終了後の所定の評価期間Ｔにわたって移動状況の判定を開始する（Ｓ３０）。なお、撮影操作判定部３２は、次回の撮影操作の開始を判定するために、撮影操作状況の判定を継続する。
【００５９】
ここで、評価期間Ｔは、撮影操作同士が行われる間隔の増減に対応するように増減されて設定される。これにより、撮影操作同士が短い／長い間隔で行われている場合には評価期間Ｔが短く／長く設定されるので、次回の急な撮影操作の開始時には、応答特性が低に設定されている確率が高くなり、手振れ補正に伴う不自然な画像の記録を抑制し易くなる。特に、急な撮影操作が短い間隔を伴って繰り返されるような場合でも、短く設定されている評価期間Ｔ中に移動量が閾値を超えなければ、応答特性が「低」に設定されるので、次回の急な撮影操作の開始時には、不自然な画像の記録を抑制することができる。なお、評価期間Ｔの設定方法の詳細については、図１０を参照しながら説明する。
【００６０】
ここで、急な撮影操作の終了後の評価期間Ｔには、応答特性が「高」に設定されているので、急な撮影操作後に生じる手振れを適切に補正することができる。これにより、特に、急な撮影操作の終了直後には手振れが生じ易くなるので、手振れを有効に補正することができる。
【００６１】
手振れ判定部３６は、画像の動きベクトルの解析、またはセンサ値の解析を通じて、ビデオカメラ１０の移動量を算出し、評価期間Ｔに大きな移動量が検出されていないかを判定する（Ｓ３２、Ｓ３４）。手振れ判定部３６は、評価期間Ｔに大きな移動量が検出されていないと判定した場合には、応答特性を「低」に設定し（Ｓ３６）、応答特性情報として撮像部１４に通知し、撮像部１４は、手振れ補正部１５の応答特性を「低」に切替える。よって、以降の撮像処理において、撮像部１４は、応答特性が変更されるまで、応答特性「低」で手振れを補正しながら、撮像対象の映像情報を映像コーディック１６に出力する。
【００６２】
ここで、評価期間Ｔの終了後には、評価期間Ｔに大きな移動量が検出されなければ、応答特性が「低」に設定されるので、次回の急な撮影操作の開始時には、手振れ補正に伴う不自然な画像の記録を抑制することができる。また、評価期間Ｔの終了から次回の急な撮影操作の開始時の直後（撮影操作の開始から所定の期間ｔが終了するまでの期間）まで、応答特性が「低」に設定されているので、撮影操作同士の間に手振れ補正機能をオフにする場合に比して、撮影操作同士の間に生じる手振れを適切に補正することができる。
【００６３】
一方、手振れ判定部３６は、評価期間Ｔに大きな移動量が生じていると判定した場合には、応答特性を「高」に維持する。よって、撮像部１４は、応答特性「高」で手振れを補正しながら、撮像対象の映像情報を映像コーディック１６に出力する。そして、この場合に、撮影操作判定部３２は、ステップＳ１６の処理で次回の急な撮影操作が開始されているかを判定する。
【００６４】
なお、撮影操作判定部３２は、次回の撮影操作の終了を判定すると、次回の撮影操作の種類・緩急、開始時刻とともに、前回の撮影操作の終了時刻および次回の撮影操作の開始時刻から、前回の撮影操作と次回の撮影操作との間の間隔を算出する。そして、撮影操作判定部３２は、撮影操作情報の一部として撮影操作情報保持部３４に出力し、撮影操作情報保持部３４は、撮影操作情報を格納する。
【００６５】
次に、図１０を参照しながら、所定の評価期間Ｔの設定方法について説明する。手振れ判定部３６は、記録動作の開始が指示されると、前述したように、所定の評価期間Ｔを所定の上限値Ｔｍａｘに設定する（Ｓ１２）。
【００６６】
そして、手振れ判定部３６は、急な撮影操作の終了を撮影操作判定部３２から通知されると（Ｓ２６）、まず、撮影操作情報保持部３４に格納されている撮影操作情報に基づいて、直近５つの撮影操作が過去２分以内の撮影操作に該当するかを判定し、評価期間Ｔを仮設定する（Ｓ４０）。ここで、条件が満たされていれば、過去２分以内の撮影操作同士の間隔のうち、最小値が評価期間Ｔとして仮設定され（Ｓ４２）、条件が満たされていなければ、直近５つの撮影操作同士の間隔のうち、最小値が評価期間Ｔとして仮設定される（Ｓ４４）。
【００６７】
なお、直近５つの撮影操作に関する撮影操作情報が格納されていなければ、直近５つ未満の撮影操作に関する撮影操作情報が参照される。また、「直近５つ」の撮影操作、「過去２分以内」の撮影操作等の具体的な判定条件は、適宜調節することができる。さらに、評価期間Ｔは、所定数または所定期間の撮影操作同士の間隔の最小値として仮設定される代わりに、平均値、中央値、降順／昇順で第ｎ番目の値等として仮設定されてもよい。
【００６８】
これにより、評価期間Ｔが直近における所定数の撮影操作同士の間隔、または直近の所定期間内における撮影操作同士の間隔に基づいて設定されるので、次回の急な撮影操作の開始時に、応答特性が低に設定されている確率を向上させることができる。撮影者は、被写体の状況等に応じて、撮影操作を行う頻度を変化させることがある。このため、直近の所定数の撮影操作同士の間隔、または所定期間内における撮影操作同士の間隔に応じて、撮影者による撮影操作の傾向に適した評価期間Ｔを設定することが有効である。
【００６９】
次に、手振れ判定部３６は、仮設定された評価期間Ｔが所定の上限値Ｔｍａｘを超えているかを判定し、評価期間Ｔを設定する（Ｓ４６）。ここで、条件が満たされていれば、所定の上限値Ｔｍａｘが評価期間Ｔとして設定され、条件が満たされていなければ、仮設定された評価期間Ｔが評価期間Ｔとして設定される（Ｓ４８）。
【００７０】
これにより、評価期間Ｔは、所定の上限値Ｔｍａｘ以下の期間として設定されるので、必要以上に長い評価期間Ｔが設定されることを防止できる。評価期間Ｔが必要以上に長くなると、急な撮影操作の開始時に応答特性が「高」に設定されている確率が高くなり、手振れ補正に伴う不自然な画像の記録を抑制することができなくなる場合がある。このため、所定の上限値Ｔｍａｘを超えないように評価期間Ｔを設定することが有効である。なお、評価期間Ｔの上限値Ｔｍａｘは、急な撮影操作の終了後に生じる手振れの影響がなくなる程度の期間に、若干の余裕を加えた期間として設定されることが望ましい。
【００７１】
［４．手振れ補正方法の具体例］
以下では、図１１および図１２を参照しながら、手振れ補正方法の具体例について説明する。図１１および図１２には、図６および図７に示した撮影操作に対して、図８〜図１０に示す手振れ補正方法を実施した場合の結果が示されている。なお、評価期間Ｔの上限値Ｔｍａｘが５秒に設定され、評価期間Ｔの初期値が上限値Ｔｍａｘに設定されている場合を想定する。
【００７２】
図１１に示す例では、応答特性「低」で時刻０：１０から第１の撮影操作が開始される。第１の撮影操作が急なパン操作であるので、撮影操作の開始直後に応答特性が「高」に設定され、応答特性「高」で撮影操作が終了する。撮影操作が終了すると、終了時刻０：１３から評価期間Ｔが開始される。ここで、評価期間Ｔが上限値Ｔｍａｘに設定されているので、評価期間Ｔが時刻０：１８まで継続する。そして、評価期間Ｔに、大きな移動量が検出されないので、評価期間Ｔの終了に伴い応答特性が「低」に設定される。
【００７３】
次に、応答特性が低の状態で時刻０：２０から第２の撮影操作が開始される。なお、第１および第２の撮影操作の間隔は、第１の撮影操作の終了時刻０：１３と第２の撮影操作の開始時刻０：２０から７秒と算出される。第２の撮影操作が急なチルト操作であるので、撮影操作の開始直後に応答特性が「高」に設定され、応答特性「高」で撮影操作が終了する。
【００７４】
撮影操作が終了すると、終了時刻０：２８から評価期間Ｔが開始される。ここで、評価期間Ｔが上限値Ｔｍａｘに設定されているので、本来であれば、評価期間Ｔが時刻０：３３まで継続する。しかし、評価期間Ｔの途中で時刻０：３０に、大きな移動量を伴う第３の撮影操作が開始される。ここで、第３の撮影操作が急なチルト操作であるので、応答特性が「高」に維持された状態で手振れが補正される。なお、第２および第３の撮影操作の間隔は、第２の撮影操作の終了時刻０：２８と第３の撮影操作の開始時刻０：３０から２秒と算出される。
【００７５】
応答特性「高」で時刻０：３５に撮影操作が終了すると、撮影操作の終了後から評価期間Ｔが開始される。ここで、過去の撮影操作の最小間隔が２秒であり、上限値Ｔｍａｘ以下であるので、評価期間Ｔが２秒に設定され、評価期間Ｔが時刻０：３７まで継続する。そして、評価期間Ｔに、大きな移動量が検出されないので、評価期間Ｔの終了に伴い応答特性が「低」に設定される。第４〜第７の撮影操作については、第３の撮影操作と同様に、撮影操作の終了時刻から２秒の評価期間Ｔが確保され、評価期間Ｔの終了に伴い応答特性が「低」に設定される。
【００７６】
また、第８の撮影操作が時刻３：００で終了すると、直近５つの撮影操作には、過去２分以内に行われた撮影操作以外の撮影操作（第４および第５の撮影操作）が含まれることになる。このため、評価期間Ｔは、過去２分以内に行われた撮影操作同士の間隔のうち最小の間隔である２５秒（第５と第６の撮影操作の間隔）に仮設定されるが、上限値Ｔｍａｘを超えているので、５秒に設定される。
【００７７】
さらに、第１０の撮影操作が時刻５：００で終了すると、直近５つの撮影操作には、過去２分以内に行われた撮影操作以外の撮影操作（第６〜第８の撮影操作）が含まれることになる。このため、評価期間Ｔは、過去２分以内に行われた撮影操作同士の間隔のうち最小の間隔である２０秒（第８と第９の撮影操作の間隔）に仮設定されるが、上限値Ｔｍａｘを超えているので、５秒に設定される。
【００７８】
ここで、評価期間Ｔが上限値Ｔｍａｘに設定されているので、本来であれば、評価期間Ｔが時刻５：０５まで継続する。しかし、評価期間Ｔの途中で時刻５：０２に、第１１の撮影操作が開始される。ここで、第１１の撮影操作が大きな移動量を伴う急なチルト操作であるので、応答特性が「高」に維持された状態で手振れが補正される。なお、第１０および第１１の撮影操作の間隔は、第１０の撮影操作の終了時刻５：００と第１１の撮影操作の開始時刻５：０２から２秒と算出される。
【００７９】
応答特性「高」で時刻５：０６に撮影操作が終了すると、撮影操作の終了後から評価期間Ｔが開始される。ここで、過去の撮影操作の最小間隔が２秒であり、上限値Ｔｍａｘ以下であるので、評価期間Ｔが２秒に設定され、評価期間Ｔが時刻５：０８まで継続する。そして、評価期間Ｔに、大きな移動量が検出されないので、評価期間Ｔの終了に伴い応答特性が「低」に設定される。第１２〜第１５の撮影操作については、第１１の撮影操作と同様に、撮影操作の終了時刻から２秒の評価期間Ｔが確保され、評価期間Ｔの終了に伴い応答特性が「低」に設定される。
【００８０】
図１２に示す例では、応答特性「低」で時刻０：１０から第１の撮影操作が開始される。そして、第１〜第５の撮影操作が緩やかなパン操作またはチルト操作であるので、第６の撮影操作の開始時刻１：１０の直後までは、応答特性が「低」に維持される。
【００８１】
そして、第６の撮影操作が急なパン操作であるので、撮影操作の開始直後に応答特性が「高」に設定され、応答特性「高」で撮影操作が終了する。撮影操作が終了すると、終了時刻１：１３から評価期間Ｔが開始される。ここで、直近５つの撮影操作同士の間隔のうち最小の間隔である２秒（第２と第３の撮影操作の間隔）に設定されるので、評価期間Ｔが時刻１：１５まで継続する。そして、評価期間Ｔに、大きな移動量が検出されないので、評価期間Ｔの終了に伴い応答特性が「低」に設定される。第７〜第１５の撮影操作については、いずれも緩やかな撮影操作であるので、応答特性が「低」に維持される。
【００８２】
よって、図１１に示す例では、第３および第１１の急な撮影操作を除く第１〜第１５の急な撮影操作の開始時には、応答特性が「低」に設定されている。また、図１２に示す例では、第６の急な撮影操作の開始時には、応答特性が「低」に設定されている。これにより、手振れ補正に伴う不自然な画像の記録を抑制することができる。
【００８３】
なお、上記実施形態では、急な撮影操作の開始直後に応答特性が「高」に設定され、撮影操作の終了後の評価期間Ｔに大きな移動量が検出されなければ、評価期間Ｔの終了後に応答特性が「低」に設定される。しかし、上記実施形態の変形例として、評価期間Ｔの開始から終了までの期間で、移動量にかかわらずに応答特性を「高」から「低」に徐々に低下させるように設定してもよい。これにより、評価期間Ｔに大きな移動量が検出されても、応答特性がある程度低下しているので、例えば図１１に示す例の第３および第１１の急な撮影操作の開始時にも、手振れ補正に伴う不自然な画像の記録をある程度抑制することができる。
【００８４】
［５．まとめ］
以上説明したように、本実施形態に係る手振れ補正方法によれば、応答特性が予め低に設定されているので、急な撮影操作の開始時には、手振れ補正が完全に機能している場合に比して、手振れ補正に伴う不自然な画像の記録を抑制することができる。急な撮影操作の終了後の評価期間Ｔには、応答特性が高に設定されているので、急な撮影操作後に生じる手振れを適切に補正することができる。評価期間Ｔの終了後には、評価期間Ｔに大きな移動量が検出されなければ、応答特性が再び低に設定されるので、次回の急な撮影操作の開始時には、手振れ補正に伴う不自然な画像の記録を抑制することができる。
【００８５】
また、本実施形態に係る手振れ補正方法によれば、評価期間Ｔは、撮影操作同士が行われる間隔の増減に対応するように増減されて設定される。これにより、撮影操作同士が短い／長い間隔で行われている場合には評価期間Ｔが短く／長く設定されるので、次回の急な撮影操作の開始時には、応答特性が低に設定されている確率が高く、手振れ補正に伴う不自然な画像の記録を抑制し易くなる。
【００８６】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【図面の簡単な説明】
【００８７】
【図１】本発明の一実施形態に係る撮像装置の構成を示すブロック図である。
【図２】ビデオカメラの移動量を説明するための図である。
【図３】本発明の一実施形態に係るビデオカメラの変形例の構成を示すブロック図である。
【図４】手振れ時のビデオカメラの移動量および累積移動量の時系列データを示す模式図である。
【図５】撮影操作時のビデオカメラの移動量および累積移動量の時系列データを示す模式図である。
【図６】撮影操作の判定結果を示す撮影操作情報の一例を示す図である。
【図７】撮影操作の判定結果を示す撮影操作情報の他の例を示す図である。
【図８】手振れ補正方法の全体的な処理を示すフロー図である。
【図９】手振れ補正方法の全体的な処理を説明するための模式図である。
【図１０】手振れ補正方法の部分的な処理を示すフロー図である。
【図１１】図６に示した撮影操作に対して、図８に示す手振れ補正方法を実施した場合の結果を示す図である。
【図１２】図７に示した撮影操作に対して、図８に示す手振れ補正方法を実施した場合の結果を示す図である。
【符号の説明】
【００８８】
１０、６０    ビデオカメラ
１５    手振れ補正部
１６    映像コーディック
３２    撮影操作判定部
３６    手振れ判定部
３８    センサ群
【図１】
2010166257.tif 000003
【図２】
2010166257.tif 000004
【図３】
2010166257.tif 000005
【図４】
2010166257.tif 000006
【図５】
2010166257.tif 000007
【図６】
2010166257.tif 000008
【図７】
2010166257.tif 000009
【図８】
2010166257.tif 000010
【図９】
2010166257.tif 000011
【図１０】
2010166257.tif 000012
【図１１】
2010166257.tif 000013
【図１２】
2010166257.tif 000014