(57)【要約】【課題】手持ちカメラによる映像撮影時において、時間遅れなく振動を抑制し、正しい補正量に基づいて手ぶれを補正できる撮影装置を提供する。【解決手段】撮影部１１の位置を示す検出位置情報を出力する動き検出部１２と、撮影部の過去の位置及び動きの速度を含むカメラ状態の情報を蓄積する状態蓄積部１４と、状態蓄積部１３に蓄積されたカメラ状態の情報及び動き検出部から出力される検出位置情報から、撮影部の現在の位置及び動きの速度を含むカメラ状態を予測して該カメラ状態の情報を状態蓄積部に蓄積させると共に撮影部の予測位置情報を出力する状態予測部１３と、検出位置情報と予測位置情報との差分を検出する差分検出部１５と、モード選択部１６によって制御され、差分が一定時間内に符号反転を繰り返す第１期間では差分に比例した補正量で手ぶれ補正を行い、前記差分の大きさが一定時間にわたり一定値以上の第２期間では一定の補正量で手ぶれ補正を行う手ぶれ補正部１７を有する。【選択図】図１
2007114466.tif 000002
【特許請求の範囲】
【請求項１】
手ぶれ補正機能を有する撮影装置において、
対象を撮影して画像信号を出力する撮影部と；
前記撮影部の動きを検出して該動きに伴って変化する該撮影部の位置を示す検出位置情報を出力する動き検出部と；
前記検出位置情報から前記撮影部の現在の位置を予測して予測位置情報を出力する予測部と；
前記検出位置情報と前記予測位置情報との差分を検出する差分検出部と；
前記差分が一定時間内に符号反転を繰り返す第１期間では前記差分に比例した第１補正量で手ぶれ補正を行い、前記差分の大きさが一定時間にわたり一定値以上の第２期間では一定の第２補正量で手ぶれ補正を行う手ぶれ補正部を具備する撮影装置。
【請求項２】
前記予測部は、前記撮影部の過去の位置及び速度を含む第１のカメラ状態の情報を蓄積する状態蓄積部と、前記状態蓄積部に蓄積された第１のカメラ状態の情報及び前記検出位置情報から前記撮影部の現在の位置及び速度を含む第２のカメラ状態を予測し、該第２のカメラ状態の情報を前記状態蓄積部に前記第１のカメラ状態の情報として新たに蓄積させると共に、前記第２のカメラ状態に含まれる現在の位置を示す情報を前記予測位置情報として出力する状態予測部とを有する請求項１記載の撮影装置。
【請求項３】
前記動き検出部は、前記撮影部の動きの角加速度を検出する角加速度検出部と、前記角加速度を積分して角速度を算出する角速度算出部と、前記角速度を積分して前記検出位置情報を得る位置算出部とを有する請求項１または２のいずれか１項記載の撮影装置。
【請求項４】
手ぶれ補正機能を有する撮影装置において、
対象を撮影して画像信号を出力する撮影部と；
前記撮影部の角加速度を検出する角加速度検出部と；
前記角加速度を積分して検出角速度情報を算出する角速度算出部と；
前記角速度の情報から前記撮影部の現在の角速度を予測して予測角速度情報を出力する予測部と；
前記検出角速度情報と前記予測角速度情報との差分を検出する差分検出部と；
前記差分を積分して前記撮影部の位置を示す検出位置情報を出力する位置算出部と；
前記検出位置情報が一定時間内に符号反転を繰り返す第１期間では前記差分に比例した第１補正量で手ぶれ補正を行い、前記検出位置情報の大きさが一定時間にわたり一定値以上の第２期間では一定の第２補正量で手ぶれ補正を行う手ぶれ補正部を具備する撮影装置。
【請求項５】
前記予測部は、前記撮影部の過去の角速度及び角加速度を含む第１のカメラ状態の情報を蓄積する状態蓄積部と、前記状態蓄積部に蓄積された第１のカメラ状態の情報及び前記角速度算出部から出力される角速度の情報から前記撮影部の現在の角速度及び角加速度を含む第２のカメラ状態を予測し、該第２のカメラ状態の情報を前記第１のカメラ状態の情報として前記状態蓄積部に新たに蓄積させると共に、前記第２のカメラ状態に含まれる現在の角速度を示す情報を前記予測角速度情報として出力する状態予測部とを有する請求項４記載の撮影装置。
【請求項６】
前記手ぶれ補正部は、前記第２補正量を前記第１期間の最後の第１補正量と等しくする請求項１または４のいずれか１項記載の撮影装置。
【請求項７】
手ぶれ補正機能を有する撮影装置において、
対象を撮影して画像信号を出力する撮影部と；
前記画像信号を記録する記録部と；
前記撮影部の動きを検出して該動きに伴って変化する該撮影部の位置を示す検出位置情報を出力する動き検出部と；
前記検出位置情報から前記撮影部の現在の位置を予測して予測位置情報を出力する予測部と；
前記検出位置情報と前記予測位置情報との差分を検出する差分検出部と；
前記差分が一定時間内に符号反転を繰り返す第１期間にのみ前記差分に比例した補正量で手ぶれ補正を行う手ぶれ補正部と；
前記差分の大きさが一定時間にわたり一定値以上の第２期間では前記記録部の記録動作を禁止する手段を具備する撮影装置。
【請求項８】
前記予測部は、前記撮影部の過去の位置及び速度を含む第１のカメラ状態の情報を蓄積する状態蓄積部と、前記状態蓄積部に蓄積された第１のカメラ状態の情報及び前記検出位置情報から前記撮影部の現在の位置及び速度を含む第２のカメラ状態を予測し、該第２のカメラ状態の情報を前記状態蓄積部に前記第１のカメラ状態の情報として新たに蓄積させると共に、前記第２のカメラ状態に含まれる現在の位置を示す情報を前記予測位置情報として出力する状態予測部とを有する請求項７記載の撮影装置。
【請求項９】
前記動き検出部は、前記撮影部の動きの角加速度を検出する角加速度検出部と、前記角加速度を積分して角速度を算出する角速度算出部、及び前記角速度を積分して前記検出位置情報を得る位置算出部を有する請求項７記載の撮影装置。
【請求項１０】
手ぶれ補正機能を有する撮影装置において、
対象を撮影して画像信号を出力する撮影部と；
前記撮影部の角加速度を検出する角加速度検出部と；
前記角加速度を積分して検出角速度情報を算出する角速度算出部と；
前記角速度の情報から前記撮影部の現在の角速度を予測して予測角速度情報を出力する予測部と；
前記検出角速度情報と前記予測角速度情報との差分を検出する差分検出部と；
前記差分を積分して前記撮影部の位置を示す検出位置情報を出力する位置算出部と；
前記検出位置情報が一定時間内に符号反転を繰り返す第１期間にのみ前記差分に比例した補正量で手ぶれ補正を行う手ぶれ補正部と；
前記検出位置情報の大きさが一定時間にわたり一定値以上の第２期間では前記記録部の動作を禁止する手段を具備する撮影装置。
【請求項１１】
前記予測部は、前記撮影部の過去の角速度及び角加速度を含む第１のカメラ状態の情報を蓄積する状態蓄積部と、前記状態蓄積部に蓄積された第１のカメラ状態の情報及び前記角速度算出部から出力される角速度の情報から前記撮影部の現在の角速度及び角加速度を含む第２のカメラ状態を予測し、該第２のカメラ状態の情報を前記第１のカメラ状態の情報として前記状態蓄積部に新たに蓄積させると共に、前記第２のカメラ状態に含まれる現在の角速度を示す情報を前記予測角速度情報として出力する状態予測部とを有する請求項１０記載の撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手ぶれ補正機能を有する撮影装置に関する。
【背景技術】
【０００２】
ビデオカメラのような撮影装置（以下、カメラという）を手で持って撮影する場合、カメラがユーザの意思に反して動いてしまうことによる画像の乱れ、いわゆる手ぶれが問題となる。そこで、カメラの動きをジャイロや画像のデジタル信号処理によって検出し、レンズの光軸を光学的に動かしたり、画像信号を電子的に動かしたりすることによって、このような手ぶれを補正することが従来から行われている。この場合、検出されたカメラの動きには手ぶれ成分の他に、ユーザがパンニングなど意図的にカメラを動かすことによるカメラワーク成分も含まれているため、これらの両成分を分離する必要がある。
【０００３】
このような分離を行うため、例えば特許文献１では平滑化フィルタによってカメラの動きからカメラワーク成分を抽出し、それをカメラの動きから差し引くことで手ぶれ成分を求めている。
【０００４】
一方、非特許文献１には状態予測フィルタによってカメラワークの運動状態を予測することでカメラの動きからカメラワーク成分を抽出し、それをカメラの動きから差し引くことで手ぶれ成分を求めることが開示されている。
【特許文献１】特許第２６９６０７３号公報（第２１頁、図７）
【非特許文献１】Andrew Litvin, Janusz Konrad, William C. Karl, “Probabilistic video stabilization using Kalman filtering and mosaicking,” Proc. of IS&T/SPIE Symposium on Electronic Imaging, Image and Video Communications and Processing, #5022-80, 2003.（２１頁、図８）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１のような平滑化フィルタを用いてカメラワーク成分を抽出して手ぶれ成分を求める方法では、手ぶれを確実に抑制しようとすると時間遅れが発生する。
【０００６】
一方、非特許文献１に記載されたような状態予測フィルタを用いてカメラワーク成分を抽出して手ぶれ成分を求める方法は、変動が大きなカメラワークが生じた場合に正しくカメラワーク成分を抽出できず、誤った補正量に基づいて手ぶれ補正がなされてしまうという問題がある。
【０００７】
本発明は、手ぶれ補正の時間遅れが小さく、また大きなカメラワークに対しても的確な補正量に基づく手ぶれ補正を可能とする撮影装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一つの態様に係る手ぶれ補正機能を有する撮影装置は、対象を撮影して画像信号を出力する撮影部と；前記撮影部の動きを検出して該動きに伴って変化する該撮影部の位置を示す検出位置情報を出力する動き検出部と；前記検出位置情報から前記撮影部の現在の位置を予測して予測位置情報を出力する予測部と；前記検出位置情報と前記予測位置情報との差分を検出する差分検出部と；前記差分が一定時間内に符号反転を繰り返す第１期間では前記差分に比例した第１補正量で手ぶれ補正を行い、前記差分の大きさが一定時間にわたり一定値以上の第２期間では一定の第２補正量で手ぶれ補正を行う手ぶれ補正部を具備する。
【０００９】
前記予測部は、例えば前記撮影部の過去の位置及び速度を含む第１のカメラ状態の情報を蓄積する状態蓄積部と、前記状態蓄積部に蓄積された第１のカメラ状態の情報及び前記検出位置情報から前記撮影部の現在の位置及び速度を含む第２のカメラ状態を予測し、該第２のカメラ状態の情報を前記状態蓄積部に前記第１のカメラ状態の情報として新たに蓄積させると共に、前記第２のカメラ状態に含まれる現在の位置を示す情報を前記予測位置情報として出力する状態予測部とを含んで構成される。
【００１０】
前記動き検出部は、前記撮影部の動きの角加速度を検出する角加速度検出部と、前記角加速度を積分して角速度を算出する角速度算出部と、前記角速度を積分して前記検出位置情報を得る位置算出部とを有していてもよい。
【００１１】
本発明の他の態様に係る手ぶれ補正機能を有する撮影装置は、対象を撮影して画像信号を出力する撮影部と；前記撮影部の角加速度を検出する角加速度検出部と；前記角加速度を積分して検出角速度情報を算出する角速度算出部と；前記角速度の情報から前記撮影部の現在の角速度を予測して予測角速度情報を出力する予測部と；前記検出角速度情報と前記予測角速度情報との差分を検出する差分検出部と；前記差分を積分して前記撮影部の位置を示す検出位置情報を出力する位置算出部と；前記検出位置情報が一定時間内に符号反転を繰り返す第１期間では前記差分に比例した第１補正量で手ぶれ補正を行い、前記検出位置情報の大きさが一定時間にわたり一定値以上の第２期間では一定の第２補正量で手ぶれ補正を行う手ぶれ補正部を具備する。
【００１２】
さらに、本発明の別の態様に係る手ぶれ補正機能を有する撮影装置は、前記差分の大きさが一定時間にわたり一定値以上の第２期間では、画像信号を記録する記録部の記録動作を禁止する手段を具備する。
【発明の効果】
【００１３】
本発明によれば、撮影部の検出位置情報から状態予測部によりカメラワーク成分である予測位置情報を求め、さらに検出位置情報と予測位置情報との差分を求める。差分が一定時間内に符号反転を繰り返す場合は、ユーザがカメラを静止しようとしながら手ぶれが発生しているか、もしくはユーザが緩やかなカメラワークをしながら手ぶれが発生していると判断して、差分に比例した補正量で手ぶれ補正を行う。一方、差分の大きさが一定時間にわたり一定値以上の場合は、ユーザがある被写体から異なる被写体への被写体を変更しているといった無意味なカメラ動きをしていると判断して手ぶれ補正を行うことにより、一定の補正量で時間遅れなく振動を抑制する。このようにして、正しい補正量に基づいて手ぶれ補正を行うことが可能となる。
【００１４】
差分の大きさが一定時間にわたり一定値以上の場合、画像信号の記録動作そのものを禁止してもよく、それによって画像信号の記録媒体の容量を節約し、あるいは記録媒体に記録された画像に対して無駄な部分を削除する処理を不要として編集作業を簡略化することができる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して本発明の実施の形態について説明する。以下に説明する撮影装置は、動画撮影用のいわゆるビデオカメラ（カムコーダ）であってもよいし、電子スチルカメラ（デジタルカメラ）でもよい。ビデオカメラでは、特にパンニングを行う場合に効果を発揮する。電子スチルカメラの場合、特にカメラを移動させつつ高速で連写を行う場合に効果を発揮する。
【００１６】
（第１の実施形態）  
図１に示されるように、本発明の第１の実施形態に係る撮影装置は撮影部１１、動き検出部１２、状態予測部１３、状態蓄積部１４、差分検出部１５、モード選択部１６、手ぶれ補正部１７、記録部１８及び記録媒体１９を有する。
【００１７】
撮影部１１は、ＣＣＤ(charge coupled device)センサやＣＭＯＳ（complementary metal-oxide semiconductor）センサのような撮像素子を用いて対象を撮影し、画像信号（撮影装置がビデオカメラの場合は映像信号ともいう）１０１を出力する。具体的には、撮影部１１は例えば我が国の現行標準テレビ方式（ＮＴＳＣ方式）の画像サイズをデジタル化したＶＧＡサイズ（６４０×４８０画素）の静止画を時系列に３０ｆｐｓ（フレーム／秒）のフレームレートで撮影する。
【００１８】
動き検出部１２は、撮影部１１の動きを検出して動きに伴って変化する撮影部１１の位置（画像表示画面上における水平方向及び垂直方向の位置）を示す検出位置情報１０２を発生する。撮影部１１の動き検出には、従来から用いられている種々の方式を用いることができる。例えば、動き検出方式の一つである角速度検出方式では、撮影部１１に対して固定された水平・垂直の２個のジャイロセンサによって、撮影部１１の動き（撮像部１１を含むカメラ全体の動き）を検出する。他の動き検出方式である映像検出方式では、画像信号１０１に対してデジタル信号処理を行うことにより、映像を構成する隣接画像間の相関を用いて画像間の動きから撮影部１１の動きを検出する。
【００１９】
状態予測部１３は、撮影部１１の位置と速度を含む状態（以下、カメラ状態という）を動き検出部１２からの検出位置情報１０２と状態蓄積部１４からの過去のカメラ状態情報１０４から予測し、予測したカメラ状態を示すカメラ状態情報１０３を出力する。例えば、撮影部１１の動きは局所的に等速直線運動をするという運動モデルを仮定し、撮影部１１の位置と速度をパラメータとしてカメラ状態及び状態方程式を定義する。
【００２０】
状態蓄積部１４は、状態予測部１３からのカメラ状態情報１０３を例えばランダムアクセスメモリ（ＲＡＭ）のような記憶媒体を用いて蓄積する。状態蓄積部１４に蓄積されたカメラ状態情報は、状態予測部１３によって適宜読み出されると共に、状態予測部１３からのカメラ状態情報１０３によって更新される。
【００２１】
差分検出部１５は、動き検出部１２からの検出位置情報１０２と状態予測部１３によって予測されたカメラ状態に含まれる予測位置を示す予測位置情報１０５との差分１０６を検出する。差分検出部１５によって検出された差分１０６は、モード選択部１６に入力される。
【００２２】
モード選択部１６は、差分検出部１５によって検出された差分１０６に従って、手ぶれ補正部１７における手ぶれ補正のモードを第１の補正モードと第２の補正モードから選択する。例えば、モード選択部１６は差分１０６が一定時間内に符号反転（符号変化）を繰り返す場合、モード選択部１６は第１の補正モードを選択する。一方、差分１０６の大きさが一定時間にわたって連続的に一定値以上を示す場合、モード選択部１６は第２の補正モードを選択する。
【００２３】
手ぶれ補正部１７は、モード選択部１６により選択された補正モードで手ぶれ補正を行う。すなわち、手ぶれ補正部１７は第１の補正モードでは差分に比例した補正量を用いて手ぶれ補正を行い、第２の補正モードでは固定の補正量を用いて手ぶれ補正を行う。
【００２４】
手ぶれ補正の具体的な手法は公知の手法でよく、例えば（ａ）撮影部１１の光学系１１のレンズの前に取り付けたアクティブプリズムを制御することで光軸を曲げて撮影範囲を移動する方法、（ｂ）当該光学系の一部のレンズを光軸に対して垂直方向に移動して撮影範囲を移動する方法、あるいは（ｃ）撮影部１１の撮像デバイスを光軸に対して垂直方向に移動するといった光学式手ぶれ補正方式を用いることができる。他の手ぶれ補正方法として、（ｄ）撮影部１１の撮像デバイスから画像信号１０１を読み出すタイミングを変えたり、あるいは（ｅ）メモリを使って切り出し画枠を移動したりするといった電子式手ぶれ補正方式を用いてもよい。図１は電子式手ぶれ補正方式の例であり、手ぶれ補正部１７から補正後の画像信号１０７が出力される。
【００２５】
次に、図２のフローチャートを用いて図１の撮影装置の動作を説明する。  
まず、撮影部１１が対象を撮影する（ステップＳ２０１）。動き検出部１２は、撮影部１１の処理に同期して撮影部１１の動き検出を行い、動きに伴って変化する撮影部１１の位置を示す検出位置情報１０２を出力する（ステップＳ２０２）。この場合、撮影部１１の位置は真の位置（手ぶれ補正の原点）に手ぶれや風揺れといったカメラ状態に対する揺らぎ（ノイズ）と、動き検出誤差や量子化誤差といった検出時の揺らぎ（ノイズ）とが加わったものとして検出されているとモデル化できる。動き検出部１２の処理は撮影部１１の撮影処理と同期しているが、撮影処理のフレームレートと同じサンプリングレートで処理される必要はない。例えば、撮影処理のフレームレートが３０ｆｐｓである場合、動き検出処理のサンプリングレートは１２０ｆｐｓというように撮影処理のフレームレートと異なっていてもよい。
【００２６】
次に、状態予測部１３によって動き検出部１２からの検出位置情報１０２と状態蓄積部１４からの過去のカメラ状態情報１０４から、撮影部１１の位置と速度からなるカメラ状態を予測し、予測したカメラ状態を示すカメラ状態情報１０３を出力する（ステップＳ２０３）。カメラ状態を予測するための状態予測処理の例として、状態予測フィルタの一つであるカルマンフィルタを用いた処理を説明する。
【００２７】
図３は、カルマンフィルタを用いた状態予測部１３の具体例であり、３つのゲインＫｔ，Ｈｔ及びＦｔを付与する部分と位置成分抽出部２０とからなる。カルマンフィルタは、よく知られているように観測（検出）データとダイナミクスに基づきノイズを除去して、モデル対象の状態を推定する手法である。カルマンフィルタを本実施形態における状態予測部１３に適用する場合、まず撮影対象（被写体）の状態のダイナミクスを線形差分運動方程式として表現する。これを状態方程式と呼ぶ。撮影部１１の動きは局所的に等速直線運動をするという運動モデルを仮定し、撮影部１１の位置と速度をパラメータとしてカメラ状態及び次式で示す状態方程式を定義する。カメラ状態には、手ぶれや風揺れなどの外乱による状態ノイズが付加される。
【数１】
2007114466.tif 000003
【００２８】
ここで、ｘｔは位置、ｖｔは速度、ｗｔは状態ノイズ、Δｔは動き検出部１２における検出時間間隔（検出位置情報１０２のサンプリングレート）をそれぞれ表す。式（１）（２）の状態方程式によって、状態予測部１３におけるゲインＦｔが決まる。
【００２９】
次に、動き検出部１２による撮影部１１の検出位置（観測位置）を検出位置情報１０２と次式で示す観測方程式によって定義する。検出位置情報１０２には、動き検出部１２が動きを検出する際のマッチング誤差や量子化誤差による検出ノイズが付加される。
【数２】
2007114466.tif 000004
【００３０】
ここで、ｙｔは検出位置情報、Ｓｔは検出ノイズをそれぞれ表す。
【００３１】
式（３）（４）の観測方程式によって、状態予測部１３におけるゲインＨｔが決まる。次に、各時刻ｔの検出位置情報ｙｔから、逐次的に時刻ｔにおける状態の濾波推定値、及び次の時刻ｔ＋１における状態の予測推定値を求める。
【数３】
2007114466.tif 000005
【００３２】
上記の逐次処理を繰り返すことにより、各時刻での濾波推定値を求めることが可能になる。また式（５）〜（９）によって、状態推定部１３におけるゲインＫｔを算出することができる。位置成分抽出部３０７は、状態の濾波推定値である位置成分と速度成分から、位置成分のみを抽出して予測位置情報１０５を出力する。
【００３３】
このようにして状態予測部１３は、動き検出部１２からの検出位置情報１０２及び状態蓄積部１４からの過去のカメラ状態情報１０４に基づいて、撮影部１１の位置と速度からなるカメラ状態を予測し、予測したカメラ状態情報１０３（予測位置情報１０５を含む）を出力する。
【００３４】
次に、差分検出部１５によって動き検出部１２からの検出位置情報１０２と状態予測部１３からの予測位置情報１０５との差分１０６を検出する（ステップＳ２０４）。次に、モード選択部１６は差分１０６に従って第１の補正モード及び第２の補正モードのいずれかの補正モードを選択する（ステップＳ２０５）。
【００３５】
すなわち、モード選択部１６は差分１０６が一定時間内に符号反転を繰り返す場合、撮影者（以下、ユーザという）がカメラを静止させようとしながら手ぶれが発生しているか、もしくはユーザが緩やかなカメラワークをしながら手ぶれが発生していると判断し、第１の補正モードを選択する。一方、差分１０６の大きさが一定時間にわたって連続的に一定値以上を示す場合、モード選択部１６はユーザがある被写体から異なる被写体へと撮影対象を変更するといったような無意味なカメラ動きをしていると判断し、第２の補正モードを選択する。なお、差分１０６が一度でも符号反転し、一定時間にわたり同符号かつある大きさ以下であり続けた場合にも、第１の補正モードを選択してもよい。
【００３６】
次に、手ぶれ補正部１７はモード選択部１６が選択した補正モードに従って撮影部１１からの画像信号１０１に対して手ぶれ補正処理を行う。すなわち、モード選択部１６が第１の補正モードを選択した場合は、手ぶれ補正部１７は差分１０６をそのまま補正量として手ぶれ補正の処理を行う（ステップＳ２０６）。一方、モード選択部１６が第２の補正モードを選択した場合、手ぶれ補正部１７は一定の補正量に従って手ぶれ補正処理を行う（ステップＳ２０７）。このように無意味なカメラ動きをしていると判断された場合、補正量を固定することで、誤った補正量に基づいて補正することがなくなる。また、第２の補正モードが選択された場合、差分１０６の次の値が現在の値と比べて原点から離れる方向であれば補正量を固定し、差分１０６の次の値が現在の値と比べて原点に向かう方向であれば補正量をセンタリングし、差分１０６の符号が反転するか、ちょうど原点であった場合は原点に固定するようにしてもよい。この結果、モードの切り替わり目における手ぶれ補正後の画像の違和感が軽減される。
【００３７】
このようにして手ぶれ補正部１７により手ぶれ補正が行われ、補正後の画像信号１０７が出力される。画像信号１０７は記録部１８によって図示しないバッファを介して記録媒体１９に送られ、記録される。記録媒体１９としては、例えば半導体メモリや小型のハードディスクが用いられる。
【００３８】
次に、撮影部１１による撮影を終了するか否かを判断し（ステップＳ２０８）、撮影を終了しない場合はステップＳ２０１に戻って撮影部１１が撮影を続ける。撮影を終了する場合は、全ての処理を終了する。
【００３９】
次に、図４〜図８を用いて本実施形態による効果を説明する。図４は、手ぶれが発生しているときの撮像部１１の検出位置と平滑化フィルタ及び状態予測フィルタによりそれぞれ抽出されるカメラワーク成分の関係をカメラワークの変動が比較的緩やかな場合について示している。図４に示されるように、特許文献１のように平滑化フィルタを用いて抽出されるカメラワーク成分は、検出位置に対して時間遅れを発生している。これに対して、非特許文献２のように状態予測フィルタを用いると時間遅れなくカメラワーク成分を抽出できる。一方、例えばユーザがパンニングを行った場合のようにカメラワークの変動が大きい場合は、図５に示すように状態予測フィルタを用いてもカメラワーク成分を的確に抽出できない。
【００４０】
図６は、図５のグラフで示した検出位置Ｏと状態予測フィルタの出力Ｅに、ユーザが手ぶれを伴わないと仮定したカメラワーク（理想のカメラワーク）Ｒを重ねて示したグラフである。非特許文献２では、図７（ａ）に示すように検出位置Ｏと状態予測フィルタの出力Ｅとの差分Ｃ＝Ｏ−Ｅを手ぶれの補正量としている。従って、図７（ｂ）に示すように差分（補正量）Ｃと理想のカメラワークＲとのずれ（Ｏ−Ｒ）−Ｃ＝（Ｏ−Ｒ）−（Ｏ−Ｅ）＝Ｅ−Ｒは、カメラワークの変動が大きい期間Ｔ２で増大している。このように非特許文献１に記載されたような状態予測フィルタを用いた手ぶれ補正では、カメラワークが大きいと正しい補正ができない。
【００４１】
図７（ａ）において差分Ｃが一定時間内に符号反転する期間、つまり０レベルを中心に交互に正負に変化する期間Ｔ１では、図７（ｂ）に示したように差分Ｃと理想のカメラワークＲとのずれが小さい。カメラワークの変動が大きい期間、すなわち差分Ｃが一定時間にわたり一定値以上の期間Ｔ２では、上述したように差分Ｃと理想のカメラワークＲとのずれは増大する。
【００４２】
そこで、本発明の実施形態では図８（ａ）に示すように期間Ｔ１では第１の補正モードとして、非特許文献１と同様に差分Ｃに比例した補正量（ここでは、差分Ｃと同じとしている）を用いて手ぶれ補正を行う。一方、期間Ｔ２では一定の補正量として手ぶれ補正を行う。この結果、図８（ｂ）に示すように期間Ｔ２においても補正量と理想のカメラワークＲとのずれは小さくなる。なお、期間Ｔ２における一定の補正量は、例えば図８（ｂ）に示されるように期間Ｔ２の直前の期間Ｔ１の最後の補正量と同じとすればよい。すなわち、期間Ｔ２の直前の期間Ｔ１の最後の補正量を期間Ｔ２において一定に保持する。
【００４３】
このように第１の実施形態に係る撮影装置では、手持ち撮影時に動き検出部１２から出力される検出位置情報１０２を状態予測部１３においてカルマンフィルタのような状態予測フィルタにかけることで、撮影部１１についての予測位置情報１０５（すなわちカメラワーク成分）を抽出する。次に、検出位置情報１０２と予測位置情報１０５との差分１０６を算出し、差分１０６が一定時間内に符号反転を繰り返す場合は、ユーザがカメラを静止しようとしながら手ぶれが発生している、もしくはユーザが緩やかなカメラワークをしながら手ぶれが発生していると判断し、差分１０６の大きさが一定時間一定値以上の場合は、ユーザがある被写体から異なる被写体への被写体を変更しているといった無意味なカメラ動きをしていると判断して、それぞれに適したモードで手ぶれ補正を行う。これによって時間遅れなく手ぶれを抑制し、正しい補正量に基づいて手ぶれを補正することが可能となる。
【００４４】
（第２の実施形態）  
手ぶれ補正に際して、ジャイロを用いてカメラの動きを検出する場合に、ジャイロにより求まる角加速度を積分して角速度を算出し、算出された角速度をさらに積分してカメラの位置を算出することが行われている。この場合、積分処理によってカメラの位置情報の原点位置がずれる現象が生じる。本発明の第２の実施形態によると、第１の実施形態の利点と同様に手ぶれ補正を行うことに加えて、このようなジャイロの特性によって生じる位置情報の原点位置のずれを補正できるという利点がある。
【００４５】
図９は、本発明の第２の実施形態に係る撮影装置であり、動き検出部１２は角加速度検出部２１と角速度算出部２２及び位置算出部２３によって構成されている。他の構成要素については図１と同様であるので、同一符号を付して説明を省略する。
【００４６】
角加速度検出部２１は撮影部１１に固定されたジャイロを用いて構成され、撮影部１１の動きで生じる角加速度を検出する。角速度算出部２２は、角加速度検出部２１により検出された角加速度を積分して角速度を算出する。角加速度検出部２１によって検出される角加速度は離散的であるため、角速度算出部２２の積分処理によって直流成分が付加され、原点位置ずれが発生する。位置算出部２３は、角速度算出部２２により算出された角速度を積分して撮影部１１の位置を算出し、検出位置情報を出力する。角速度算出部２２により算出された角速度は離散的であるため、位置算出部２３の積分処理によって直流成分が付加され、原点位置ずれが発生する。
【００４７】
本実施形態における基本動作は、第１の実施形態と同様であり、図２に示した手順によって行われる。ただし、本実施形態による図２に示したステップＳ２０２の動き検出は、角加速度検出部２１が撮影部１１の動きで生じる角加速度を検出し、角速度算出部２２が角加速度を積分することにより角速度を算出し、位置算出部２３が角速度を積分することにより撮影部１１の動きに伴う位置を検出して検出位置情報を出力するという一連の処理によって行われる。
【００４８】
位置算出部２３による検出位置は、ジャイロ特性によって生じる原点位置ずれ成分やカメラワーク成分といった撮影部１１の真の位置（補正時の原点）に、手ぶれや風揺れといったカメラ状態に対する揺らぎ（ノイズ）と、動き検出誤差や量子化誤差といった検出時の揺らぎ（ノイズ）が加わったものとして観測されるとモデル化できる。
【００４９】
状態予測部１３においては、第１の実施形態と同様に動き検出部１２からの検出位置情報１０２と状態蓄積部１４からの過去のカメラ状態情報１０４から、撮影部１１の現在の位置と速度からなるカメラ状態を予測する。ここで、予測されたカメラ状態に含まれる撮影部１１の位置を示す予測位置情報１０５には、振動成分が除去されたカメラワーク成分と共に、角加速度検出部２１のジャイロ特性によって生じた原点位置ずれ成分も含まれている。しかしながら、本実施形態では手ぶれ補正部１７が第１の補正モードにおいて手ぶれ補正を行う際に、このようなジャイロ特性による原点位置ずれについても同時に補正することができる。
【００５０】
このように第２の実施形態によれば、ジャイロを用いた角加速度検出部２１によって検出される角加速度を角速度検出部２２及び位置情報算出部２３を通して得られる検出位置情報１０２を状態予測部１３に入力し、以後第１の実施形態と同様の処理を行うことで、ジャイロ特性によって生じる原点位置ずれを補正すると同時に、手ぶれ補正を行うことが可能となる。
【００５１】
（第３の実施形態）  
図１０は、本発明の第３の実施形態に係る撮像装置であり、第１の実施形態と同様に手ぶれ補正を行うことに加えて、ジャイロ特性によって生じる角速度の原点位置ずれを補正することを可能としたものである。本実施形態では動きベクトル検出部１２は撮影部１１の動きの角加速度を検出する角加速度検出部２１と、角加速度検出部２１で検出された角加速度を積分して検出角速度情報１１２を算出する角速度算出部２２によって構成され、算出された検出角速度情報１１２は状態予測部１３に入力される。
【００５２】
状態予測部１３では、角速度算出部２２からの検出角速度情報１１２と状態蓄積部１４からの過去のカメラ状態の情報１１４から撮影部１１の現在の角速度及び角加速度からなるカメラ状態を予測し、予測したカメラ状態の情報１１３及検出角速度情報１１２の原点位置ずれ量である予測角速度情報１１５を出力する。状態予測部１３によって予測されたカメラ状態の情報１１３は、状態蓄積部１４に新たに蓄積される。
【００５３】
差分検出部１５では、角速度算出部２２からの検出角速度情報１１２と状態予測部１３からの予測角速度情報１１５との差分、すなわち原点位置ずれ量が補正された角速度である差分１１６が検出される。差分検出部１５からの原点位置ずれ量が補正された角速度である差分１１６は動き検出部１２の外部にある位置算出部２３によって積分され、撮像部１１の動きに伴う位置を示す検出位置情報１１７が生成される。以下、第１及び第２の実施形態と同様にモード選択部１６により検出位置情報１１７が一定時間内に符号反転を繰り返す場合は第１の補正モードが選択され、検出位置情報１１７の大きさが一定時間にわたって連続的に一定値以上を示す場合は第２の補正モードが選択され、選択された補正モードに従って手ぶれ検出部１７により手ぶれ補正の処理が行われる。
【００５４】
このように本実施形態によれば、ジャイロ特性によって生じる角速度の原点位置ずれを補正すると同時に、手ぶれ補正を行うことができる。
【００５５】
（第４の実施形態）  
第１〜第３の実施形態では、第２の補正モードにおいて一定の補正量で手ぶれ補正を行うとしたが、画像の記録を停止してもよい。図１１は第４の実施形態に係る撮像装置であり、差分検出部１５によって検出された差分１０６が一定時間内に符号反転を繰り返す場合は、モード選択部１６から手ぶれ補正部１７に差分１０６に比例した補正量で手ぶれ補正を行う旨の指令信号１０８が入力される。一方、差分１０６の大きさが一定時間にわたって連続的に一定値以上を示す場合は、モード選択部１６から記録部１８に記録媒体１９への画像の記録動作を禁止する旨の制御信号１０９が入力される。
【００５６】
図１２は、本実施形態の動作を示すフローチャートであり、図２中のステップＳ２０７が画像記録の一時停止処理を行うステップＳ２０９に変更されている点が図２のフローチャートと異なる。
【００５７】
このように本実施形態によれば、差分１０６の大きさが一定時間にわたって連続的に一定値以上を示す場合は、モード選択部１６においてユーザがある被写体から異なる被写体へと撮影対象を変更するといったような無意味なカメラ動きをしていると判断し、記録部１８の記録動作を禁止する。従って、記録媒体１９の容量を節約できると共に、記録媒体１９に記録された画像に対して記録された画像の無駄な部分を削除する処理を不要にすることができ、記録後の編集作業を簡略化することができる。
【００５８】
なお、本実施形態は差分の大きさが一定時間にわたって連続的に一定値以上を示す期間で画像の記録動作を禁止する処理を第１の実施形態に組み合わせた例であるが、第２の実施形態または第３の実施形態に同様の処理を組み合わせることも可能であることは言うまでもない。
【００５９】
上述した本発明の実施形態に係る撮影装置は、例えば汎用の画像処理装置やコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、例えば図２や図１２のフローチャートに示した状態予測ステップＳ２０３、モード選択ステップＳ２０５、手ぶれ補正ステップＳ２０６及びＳ２０７等については、上記の画像処理装置やコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することもできる。
【００６０】
本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００６１】
【図１】本発明の第１の実施形態に係る撮影装置の構成を示すブロック図
【図２】第１の実施形態の動作を示すフローチャート
【図３】図１中の状態予測部の詳細を示すブロック図
【図４】手ぶれが発生しているときの撮像部の検出位置と平滑化フィルタ及び状態予測フィルタによりそれぞれ抽出されるカメラワーク成分の関係をカメラワークの変動が緩やかな場合について示す図
【図５】ぶれが発生しているときの撮像部の検出位置と状態予測フィルタにより抽出されるカメラワーク成分の関係をカメラワークの変動が大きい場合について示す図
【図６】図５中の検出位置と状態予測フィルタの出力に理想のカメラワークを重ねて示した図
【図７】検出位置と状態予測フィルタの出力との差分を手ぶれの補正量としたときの補正量の変化及び補正量と理想のカメラワークとのずれを示す図
【図８】第１の実施形態に基づく手ぶれの補正量の変化及び補正量と理想のカメラワークのずれを示す図
【図９】本発明の第２の実施形態に係る撮影装置の構成を示すブロック図
【図１０】本発明の第３の実施形態に係る撮影装置の構成を示すブロック図
【図１１】本発明の第４の実施形態に係る撮影装置の構成を示すブロック図
【図１２】第４の実施形態の動作を示すフローチャート
【符号の説明】
【００６２】
１１・・・撮影部
１２・・・動き検出部
１３・・・状態予測部
１４・・・状態蓄積部
１５・・・差分検出部
１６・・・モード選択部
１７・・・手ぶれ補正部
１８・・・記録部
１９・・・記録媒体
２０・・・位置成分抽出部
２１・・・角加速度検出部
２２・・・角速度算出部
２３・・・位置算出部
【図１】
2007114466.tif 000006
【図２】
2007114466.tif 000007
【図３】
2007114466.tif 000008
【図４】
2007114466.tif 000009
【図５】
2007114466.tif 000010
【図６】
2007114466.tif 000011
【図７】
2007114466.tif 000012
【図８】
2007114466.tif 000013
【図９】
2007114466.tif 000014
【図１０】
2007114466.tif 000015
【図１１】
2007114466.tif 000016
【図１２】
2007114466.tif 000017