(57)【要約】【課題】動画撮影時の手ぶれによる画像のぶれを確実に解消する。【解決手段】撮影部２０によって撮影されたフレームについて、制御部１０は、撮影中の手ぶれ量に基づいて補正するフレーム内ぶれ補正処理と、フレームの撮影時から次のフレームの撮影時までの手ぶれ量に基づいて、次のフレームを補正するフレーム間ぶれ補正処理とを実行し、これらフレーム内ぶれ補正処理およびフレーム間ぶれ補正処理により補正されたフレームを映像出力端子５２から出力する。【選択図】図１
2007221710.tif 000002
【特許請求の範囲】
【請求項１】
動画を構成するフレームの撮影中の手ぶれ量に基づいて、前記フレームを補正するフレーム内ぶれ補正手段と、
ｎ（ｎは自然数）番目の前記フレームの撮影時からｎ＋１番目の前記フレームの撮影時までのフレーム間の手ぶれ量に基づいて、ｎ＋１番目の前記フレームを補正するフレーム間ぶれ補正手段と、
前記フレーム内ぶれ補正手段および前記フレーム間ぶれ補正手段によって補正された前記フレームを出力する画像出力手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
単位時間あたりの手ぶれ量を検出するぶれ検出手段を備え、
前記フレーム内ぶれ補正手段は、前記ぶれ検出手段により前記フレームの撮影時に検出された単位時間あたりの手ぶれ量と、前記フレームの露出時間とに基づいて、前記フレームの撮影中の手ぶれ量を求めるものであって、
前記フレーム間ぶれ補正手段は、前記ぶれ検出手段によりｎ番目の前記フレームの撮影時に検出された単位時間あたりの手ぶれ量と、ｎ番目の前記フレームの撮影を開始してからｎ＋１番目の前記フレームの撮影を開始するまでの時間とに基づいて、前記フレーム間の手ぶれ量を求めるものであること、
を特徴とする請求項１記載の画像処理装置。
【請求項３】
前記フレームの一部をトリミングすることにより出力画像を生成し、前記画像出力手段により出力させる画像生成手段を備え、
前記フレーム間ぶれ補正手段は、ｎ番目の前記フレームとｎ＋１番目の前記フレームとの間の手ぶれ量に基づいて、ｎ＋１番目の前記フレームにおいて前記画像生成手段によりトリミングする位置を変化させること、を特徴とする請求項１または２記載の画像処理装置。
【請求項４】
動画を構成するフレームを撮影する撮影手段と、
前記フレームの撮影中の手ぶれ量を取得し、この手ぶれ量に基づいて前記フレームを補正するフレーム内ぶれ補正手段と、
ｎ（ｎは自然数）番目の前記フレームの撮影時からｎ＋１番目の前記フレームの撮影時までのフレーム間の手ぶれ量に基づいて、ｎ＋１番目の前記フレームを補正するフレーム間ぶれ補正手段と、
前記フレーム内ぶれ補正手段および前記フレーム間ぶれ補正手段によって補正された前記フレームを出力する画像出力手段と、
を備えることを特徴とする撮影装置。
【請求項５】
撮影手段によってｎ番目の前記フレームが撮影された後に、ｎ＋１番目の前記フレームの撮影中の手ぶれ量を予測するぶれ予測手段と、
前記ぶれ予測手段により予測された手ぶれ量に基づいて、ｎ＋１番目の前記フレームの撮影時における露出時間を設定する露出時間設定手段と、を備えることを特徴とする請求項４記載の撮影装置。
【請求項６】
前記露出時間設定手段により設定された露出時間に対応して、ｎ＋１番目の前記フレームの撮影時における感度を設定する感度設定手段をさらに備えることを特徴とする請求項５記載の撮影装置。
【請求項７】
動画を構成するフレームの撮影中の手ぶれ量に基づいて前記フレームを補正するとともに、ｎ（ｎは自然数）番目の前記フレームの撮影時からｎ＋１番目の前記フレームの撮影時までのフレーム間の手ぶれ量に基づいて、ｎ＋１番目の前記フレームを補正し、補正した前記フレームを出力すること、を特徴とする画像処理方法。
【請求項８】
コンピュータを、
動画を構成するフレームの撮影中の手ぶれ量に基づいて前記フレームを補正するフレーム内ぶれ補正手段と、
ｎ（ｎは自然数）番目の前記フレームの撮影時からｎ＋１番目の前記フレームの撮影時までのフレーム間の手ぶれ量に基づいて、ｎ＋１番目の前記フレームを補正するフレーム間ぶれ補正手段と、
前記フレーム内ぶれ補正手段および前記フレーム間ぶれ補正手段によって補正された前記フレームを出力する画像出力手段と、
して機能させるための制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影された画像を処理して出力画像を生成する画像処理装置、動画像を撮影する機能を具備した撮影装置、上記画像処理装置における画像処理方法、および、制御プログラムに関する。
【背景技術】
【０００２】
従来、連続するフレームからなる動画像を処理する装置として、撮影されたフレームの一部を切り出して出力画像とする構成を有するものがあった。このような装置の中には、フレームから切り出す位置を、撮影時の手ぶれに合わせて変化させることで、フレームのぶれを補正するものがあった（例えば、特許文献１参照）。
【特許文献１】特開平７−５０７７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記従来の装置によれば、手ぶれによるフレーム毎の被写体位置のばらつきを補正できるという利点がある一方、各フレームを撮影している時間内に発生した手ぶれの影響を補正することはできなかった。
【０００４】
本発明は、上述した事情に鑑みてなされたものであり、動画撮影時の手ぶれによる画像のぶれを確実に解消することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明は、動画を構成するフレームの撮影中の手ぶれ量に基づいて、前記フレームを補正するフレーム内ぶれ補正手段と、ｎ（ｎは自然数）番目の前記フレームの撮影時からｎ＋１番目の前記フレームの撮影時までのフレーム間の手ぶれ量に基づいて、ｎ＋１番目の前記フレームを補正するフレーム間ぶれ補正手段と、前記フレーム内ぶれ補正手段および前記フレーム間ぶれ補正手段によって補正された前記フレームを出力する画像出力手段と、を備えることを特徴とする画像処理装置を提供する。
この構成によれば、フレームの撮影中に発生した手ぶれによる影響を補正するとともに、連続するフレーム間における手ぶれによって、例えばフレームにおける被写体の位置が変化するといった影響が生じた場合に、これを補正するので、動画撮影時の手ぶれの影響を確実に解消して見やすい動画像を得ることができる。
【０００６】
この画像処理装置において、単位時間あたりの手ぶれ量を検出するぶれ検出手段を備え、前記フレーム内ぶれ補正手段は、前記ぶれ検出手段により前記フレームの撮影時に検出された単位時間あたりの手ぶれ量と、前記フレームの露出時間とに基づいて、前記フレームの撮影中の手ぶれ量を求めるものであって、前記フレーム間ぶれ補正手段は、前記ぶれ検出手段によりｎ番目の前記フレームの撮影時に検出された単位時間あたりの手ぶれ量と、ｎ番目の前記フレームの撮影を開始してからｎ＋１番目の前記フレームの撮影を開始するまでの時間とに基づいて、前記フレーム間の手ぶれ量を求めるものとしてもよい。この場合、単位時間あたりの手ぶれ量に基づいて、フレームの撮影中における手ぶれ量とフレーム間の手ぶれ量とを各々正確に求めることができるので、フレームの撮影中に発生した手ぶれによる影響と、フレーム間の手ぶれによる影響とを、低負荷で高速な処理により確実に解消できる。
また、上記画像処理装置において、前記フレームの一部をトリミングすることにより出力画像を生成し、前記画像出力手段により出力させる画像生成手段を備え、前記フレーム間ぶれ補正手段は、ｎ番目の前記フレームとｎ＋１番目の前記フレームとの間の手ぶれ量に基づいて、ｎ＋１番目の前記フレームにおいて前記画像生成手段によりトリミングする位置を変化させる構成としてもよい。この場合、フレームからトリミングする位置を変化させることで、低負荷で高速な処理により、フレーム間の手ぶれによる影響を確実に解消できる。
【０００７】
また、上記課題を解決するため、本発明は、動画を構成するフレームを撮影する撮影手段と、前記フレームの撮影中の手ぶれ量を取得し、この手ぶれ量に基づいて前記フレームを補正するフレーム内ぶれ補正手段と、ｎ（ｎは自然数）番目の前記フレームの撮影時からｎ＋１番目の前記フレームの撮影時までのフレーム間の手ぶれ量に基づいて、ｎ＋１番目の前記フレームを補正するフレーム間ぶれ補正手段と、前記フレーム内ぶれ補正手段および前記フレーム間ぶれ補正手段によって補正された前記フレームを出力する画像出力手段と、を備えることを特徴とする撮影装置を提供する。
【０００８】
この撮影装置において、撮影手段によってｎ番目の前記フレームが撮影された後に、ｎ＋１番目の前記フレームの撮影中の手ぶれ量を予測するぶれ予測手段と、前記ぶれ予測手段により予測された手ぶれ量に基づいて、ｎ＋１番目の前記フレームの撮影時における露出時間を設定する露出時間設定手段と、を備える構成としてもよい。この場合、フレームを撮影する前に手ぶれ量を予測して、撮影前に、予測した手ぶれが発生してもフレームにぶれが生じないような露出時間を設定することができるので、手ぶれによるフレームのぶれを効果的に抑制できる。
さらに、上記撮影装置において、前記露出時間設定手段により設定された露出時間に対応して、ｎ＋１番目の前記フレームの撮影時における感度を設定する感度設定手段をさらに備える構成としてもよい。この場合、設定された露出時間が短い場合の露出不足、および設定された露出時間が長い場合の露出過多を防止し、最適な条件で動画像を撮影できる。
【０００９】
また、上記課題を解決するため、本発明は、動画を構成するフレームの撮影中の手ぶれ量に基づいて前記フレームを補正するとともに、ｎ（ｎは自然数）番目の前記フレームの撮影時からｎ＋１番目の前記フレームの撮影時までのフレーム間の手ぶれ量に基づいて、ｎ＋１番目の前記フレームを補正し、補正した前記フレームを出力すること、を特徴とする画像処理方法を提供する。
【００１０】
また、上記課題を解決するため、本発明は、コンピュータを、動画を構成するフレームの撮影中の手ぶれ量に基づいて前記フレームを補正するフレーム内ぶれ補正手段と、ｎ（ｎは自然数）番目の前記フレームの撮影時からｎ＋１番目の前記フレームの撮影時までのフレーム間の手ぶれ量に基づいて、ｎ＋１番目の前記フレームを補正するフレーム間ぶれ補正手段と、前記フレーム内ぶれ補正手段および前記フレーム間ぶれ補正手段によって補正された前記フレームを出力する画像出力手段と、して機能させるための制御プログラムを提供する。
【００１１】
また、本発明は、上述した画像処理装置、撮影装置、画像処理方法、および制御プログラムに適用するほか、上記制御プログラムを、電気通信回線を介してダウンロード可能にし、あるいは、磁気的・光学的記録媒体や半導体記憶素子を用いた記録媒体等、コンピュータにより読み取り可能な記録媒体に記録して配布する、といった態様でも実施され得る。
【００１２】
上記構成によれば、フレームの撮影中に発生した手ぶれ、および、連続するフレーム間における手ぶれによる影響を確実に解消し、見やすく美しい動画像を得ることができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して本発明の実施の形態について説明する。本実施の形態では、電子機器の一態様としての携帯型デジタルビデオカメラ（以下、単に「携帯型ビデオカメラ」と言う）に本発明を適用した場合について説明する。
図１は本実施の形態に係る携帯型ビデオカメラ１の構成を示すブロック図である。この携帯型ビデオカメラ１は、本発明の画像処理装置、撮影装置、およびコンピュータを適用したものであり、図１に示すように、制御部１０、撮影部２０、角速度検出部３０、操作部４０、リムーバブルメディア５０、Ｉ／Ｆ部５１および映像出力端子５２を備えている。
【００１４】
制御部１０は、携帯型ビデオカメラ１の各部を制御するものであり、フレーム内ぶれ補正手段、フレーム間ぶれ補正手段、画像出力手段、画像生成手段、露出時間設定手段、および感度設定手段として機能するものであり、各種プログラムの実行や演算処理をするＣＰＵ１１と、このＣＰＵ１１が実行する制御プログラム１００や各種データを格納する書き換え可能なフラッシュＲＯＭ１２と、上記ＣＰＵ１１の演算結果や各種データを一時的に格納するためのワークエリアとして機能するＲＡＭ１３を備え、さらに時間をカウントするタイマ回路（図示略）とを備えている。また、上記ＲＯＭ１２に格納された制御プログラム１００にはぶれ補正プログラム１００Ａが含まれており、制御部１０が撮影時に当該ぶれ補正プログラム１００Ａを実行することで、撮影時の手ぶれの影響を排して、ぶれのない動画表示を実現する。
【００１５】
この制御プログラム１００は、例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フレキシブルディスク、半導体記憶素子を用いた可搬型メモリ等のコンピュータ読み取り可能な記録媒体６０に記録して配布することが可能である。さらに、パーソナルコンピュータと携帯型ビデオカメラ１とを通信可能にケーブル等で接続し、パーソナルコンピュータで読み取られた記録媒体６０の制御プログラム１００を携帯型ビデオカメラ１に出力することで、フラッシュＲＯＭ１２に制御プログラム１００を格納することも可能である。
【００１６】
撮影部２０は、被写体を動画として撮影する撮影手段として機能するものであり、カメラコントロール回路２１、撮影カメラ２２、撮影部ＲＡＭ２３および表示パネル２４を備えている。カメラコントロール回路２１は、制御部１０の制御の下、撮影部２０の各部を制御する。また、撮影カメラ２２は、被写体が撮像されたフレームのデータ（以下、単に「フレーム」と言う）をカメラコントロール回路２１に所定のサンプリングレートで順次出力するものであり、ＣＣＤやＣＭＯＳ等の光電変換素子がマトリクス状あるいはハニカム状に配置されてなるイメージセンサ、複数の光学レンズを有してなる光学レンズ系、この光学レンズ系を駆動してズーム・フォーカスや絞り等を実現するためのレンズ駆動装置、イメージセンサによって取得されたアナログ信号の画像をデジタル信号に変換して画像データを出力するＡ／Ｄ変換回路等を備えて構成される。撮影部２０により撮影される動画は、例えば１秒あたり３０フレーム（３０ｆｐｓ）の連続する複数の静止画像の集合として記録され、フレーム毎に画像処理を施すことが可能である。
【００１７】
撮影部ＲＡＭ２３はフレームを一時的に格納するバッファとして機能する。また、表示パネル２４は撮影された動画や設定画面等の各種情報を表示する機能を有し、例えば液晶ディスプレイパネルや有機ＥＬパネル等のフラットディスプレイパネルにより構成される。リムーバブルメディア５０は、撮影時の動画データを格納する記録メディアであり、例えばビデオテープ、記録可能な光学ディスク、リムーバブルハードディスクにより構成されている。
このような構成の下、撮影カメラ２２から出力されたフレームはカメラコントロール回路２１によって所定の画像処理がなされた後、撮影部ＲＡＭ２３に一時的に格納され、また、制御部１０を介してリムーバブルメディア５０に動画データとして順次格納される。撮像部ＲＡＭ２３に格納されたフレームは表示パネル２４に表示する際に用いられ、また、リムーバブルメディア５０に格納された動画データは撮影後に撮影動画を表示（再生）する際に用いられる。
【００１８】
角速度検出部３０は、上記手ぶれ量を検出するぶれ検出手段として機能し、具体的には、図２に示すように、フレーム７０の横方向（以下、Ｙ軸と定義する）の移動と高さ方向（以下、Ｘ軸と定義する）の移動とのそれぞれの角速度を個別に検出すべく、前掲図１に示すように、Ｘ軸ジャイロセンサ３１およびＹ軸ジャイロセンサ３２の２つのジャイロセンサ３１、３２を有し、それぞれのジャイロセンサ３１、３２が角速度に応じた電圧値の角速度検出信号を制御部１０に出力する。制御部１０は、フレーム７０のサンプリング周期と同期して各ジャイロセンサ３１、３２の角速度検出信号を取り込み、Ｘ軸およびＹ軸のそれぞれについて手ぶれ量を算出しフレームと対応付けて、あるいは、フレームに付加してリムーバブルメディア５０に格納する。
【００１９】
上記手ぶれ量の算出について簡単に説明すると、制御部１０は上記角速度検出信号に基づいて角速度（ｒａｄ／秒）を算出し、この角速度（ｒａｄ／秒）を、ぶれ検出時間（秒）で積分することにより、移動角度量θ（ｒａｄ）を算出する。
そして、制御部１０は、移動角度量θ（ｒａｄ）に基づいて手ぶれ量を画素数（ｄｏｔ）として算出する。すなわち、図３に示すように、焦点距離をＬ、画角をαとし、画角α＞＞移動角度量θである場合、手ぶれ量Ｋ（ｄｏｔ）と移動角度量θとの間には、
手ぶれ量Ｋ（ｄｏｔ）＝移動角度量θ×補正係数ｒ  ・・・（１）
上記式（１）においては、下記式（２）の関係式が成り立つ。
補正係数ｒ＝焦点距離Ｌ×（１＋ｔａｎ2（α／２））  ・・・（２）
画角αは焦点距離Ｌとイメージセンサのサイズ（画素数）とによって決まる値
制御部１０は、上記関係式（２）に基づいて、Ｘ軸およびＹ軸についての手ぶれ量を、フレームを撮影する毎に算出する。
ここで、移動角度量θ（ｒａｄ）を算出する際のぶれ検出時間として、フレーム撮影時の露出時間（秒）を用いれば、露出時間における手ぶれ量を求めることができる。また、ぶれ検出時間としてフレームのサンプリング間隔（秒）を用いれば、フレーム間の手ぶれ量、すなわちフレーム撮影時から次のフレーム撮影時までの間の手ぶれ量を検出できる。
【００２０】
なお、ジャイロセンサ３１、３２の個体差等によって、角速度（ｒａｄ／秒）がゼロの場合における角速度検出信号の電圧値が異なるため、本実施の形態では、本体の電源が投入された後、撮影を開始する前までに、ぶれがない停止状態で各ジャイロセンサ３１、３２の角速度検出信号をサンプリングして、その平均値をゼロ点電圧値として設定している。このとき、一定時間に亘り複数のゼロ点電圧値を求め、これらのゼロ点電圧値の平均値との差が所定値以下のゼロ点電圧値が一定割合（例えば９９％）以上得られた場合に、そのゼロ点電圧値の平均値を実際のゼロ点電圧値として設定する構成としており、これにより本体が停止状態であるときのゼロ点電圧値が設定可能となる。
【００２１】
操作部４０は、ユーザによって操作される複数の操作子を有し、例えば電源ボタンや撮影開始／終了等の各種指示を入力するための操作キーを有している。Ｉ／Ｆ部５１は携帯型ビデオカメラ１をパーソナルコンピュータとケーブル等で通信可能に接続するためのインターフェースであり、リムーバブルメディア５０に格納された動画データをパーソナルコンピュータに出力する際には当該動画データがＩ／Ｆ部５１を介してパーソナルコンピュータに出力される。映像出力端子５２は、テレビやプロジェクタなどの外部ディスプレイ装置に動画の映像信号を出力するための端子である。なお、携帯型ビデオカメラ１は、上述の構成要素の他にも、音声信号を取り込み記録・再生するためのオーディオ回路や、音声信号を外部スピーカや外部アンプ等に出力するための音声出力端子などを備えて構成されている。
【００２２】
以上のように構成される携帯型ビデオカメラ１は、フラッシュＲＯＭ１２に格納されたぶれ補正プログラム１００Ａを実行することにより、撮影部２０により撮影されたフレームについて、手ぶれによる画像の乱れを補正する処理、および、手ぶれによる画像の乱れを回避する処理を実行する。詳細には、
［１］フレームの露出時間における手ぶれ量に基づいてぶれを補正するフレーム内ぶれ補正処理、
［２］フレーム間の手ぶれ量に基づいてぶれを補正するフレーム間ぶれ補正処理、
［３］フレーム撮影時の手ぶれ量に基づいて次のフレームを撮影する露出時間を設定するぶれ回避処理、
を実行する。
以下、これらの処理について説明する。
【００２３】
［１］フレーム内ぶれ補正処理
フレーム内ぶれ補正処理は、撮影部２０により撮影されたフレームを、そのフレームの各画素の輝度情報や色情報と、そのフレームの露出時間中の手ぶれ量とに基づいて補正する処理であり、例えば、Landweberアルゴリズム、Lucy-Tvアルゴリズム等の画像補正アルゴリズムを用いることができる。
図４は、フレーム内ぶれ補正処理の一例を示す図であり、詳細には、処理されるフレーム（一部）について座標（画素）と輝度との関係を示す図である。同図（ア）は、手ぶれがない状態で撮影されたフレームを示し、図４（イ）は手ぶれが生じたフレームＩを示す。
制御部１０は、まず、撮影されたフレームＩ（図４（イ））を、推測画像Ｏの初期値（図４（ウ））とする。ここで制御部１０は、上記式（１）に従って求めた手ぶれ量、および、角速度検出部３０の角速度検出信号より得られる手ぶれの方向に基づいて、推測画像Ｏに手ぶれ方向のボケを生じさせて、ボケ画像Ｂを生成する（図４（エ））。
続いて、制御部１０は、ボケ画像Ｂと推測画像Ｏとの差分を求めることにより、誤差画像Ｅ（図４（オ））を生成する。そして、誤差画像Ｅを、ボケを生じる前の推測画像Ｏに加算する演算処理を行うことにより、補正画像のエッジが強調される。ここで得られたエッジの強調された画像を、新たな推測画像Ｏとする（図４（カ））。
ここで、制御部１０は、推測画像Ｏ（図４（カ））をもとに、手ぶれ方向のボケを生じさせて、ボケ画像Ｂを生成する（図４（キ））。次に制御部１０は、ボケ画像Ｂと推測画像Ｏとの差分を求めることにより、誤差画像Ｅ（図４（ク））を生成する。そして、誤差画像Ｅを、ボケを生じる前の推測画像Ｏに加算する演算処理を行って、新たな推測画像Ｏを得る（図４（ケ））。
【００２４】
このように、制御部１０は、誤差画像Ｂを求めて推測画像Ｏに加算する処理を複数回行う。図４の（ウ）〜（カ）は１回目、（カ）〜（ク）は２回目の処理に相当し、制御部１０は、必要に応じて図４（カ）〜（ク）の処理を繰り返す。この繰り返しの回数は特に制限されず、例えば、上記処理を実行するうちにボケ画像Ｂと推測画像Ｏとの差分が小さくなるので、この差分が所定以下となった時点で終了すればよい。
そして、繰り返しが終了した推測画像Ｏを最終画像Ｏとし（図４（コ））、この最終画像Ｏをsharpeningフィルタによって処理することにより、最終的な補正画像（補正後のフレーム）を得る。
【００２５】
ここで、より具体的な演算処理について説明する。以下の説明では、撮影されたフレームをＩ（ｘ，ｙ）、推測画像をＯ（ｘ，ｙ）とし、手ぶれの方向をθm、手ぶれ量をＤmとする。
制御部１０は、まず、フレームＩ（ｘ，ｙ）を推測画像Ｏ（ｘ，ｙ）の初期値とし、続いて、手ぶれ方向θmと手ぶれ量Ｄmとに基づいて、手ぶれ方向のボケを生じるフィルタＨ（ｘ，ｙ）を生成する。
【００２６】
続いて、制御部１０は手ぶれ量Ｄmの大きさが所定値より大きいか否かを判定し、大きい場合には、画像を補正する処理を行う。この処理では、下記式（３）、（４）に示す演算を行った上、得られた値を下記式（５）によってさらに演算し、エッジ強度Ｗ（ｘ，ｙ）を求める。
【００２７】
【数１】
2007221710.tif 000003
続いて、制御部１０は、Ｗ（ｘ，ｙ）の標準化を行って、Ｗ（ｘ，ｙ）の値を０から１の範囲の値に変換する。
その後、制御部１０は、推測画像Ｏ（ｘ，ｙ）をフィルタＨ（ｘ，ｙ）によって変換して、手ぶれ方向のボケを生じたボケ画像Ｂ（ｘ，ｙ）を生成し、もとの推測画像Ｏ（ｘ，ｙ）の初期値とボケ画像Ｂ（ｘ，ｙ）との差分から、誤差画像Ｅ（ｘ，ｙ）を得る。ここで得られる誤差画像Ｅ（ｘ，ｙ）は、フレームＩ（ｘ，ｙ）のエッジのある部分を示している。
制御部１０は、誤差画像Ｅ（ｘ，ｙ）をフィルタＨ（ｘ，ｙ）で変換し、誤差画像Ｅ（ｘ，ｙ）のエッジ部分をボケさせる処理を行い、処理後の誤差画像Ｅ（ｘ，ｙ）を用いて、下記式（６）に示す演算を行う。この式（６）は、エッジ強さＷ（ｘ，ｙ）で重み付けした誤差画像Ｅ（ｘ，ｙ）を用いて、推測画像Ｏ（ｘ，ｙ）を更新する処理を示す。
Ｏ（ｘ，ｙ）＝Ｏ（ｘ，ｙ）＋β×Ｅ（ｘ，ｙ）×Ｗ（ｘ，ｙ）  ・・・（６）
続いて、制御部１０は、下記式（７）により今回の更新量Ｓを求める。
【００２８】
【数２】
2007221710.tif 000004
上記式（７）により求められた更新量Ｓは、推測画像Ｏ（ｘ，ｙ）が上記式（６）の処理で変化した量であり、この更新量Ｓが小さい場合には、本処理による補正がほぼ限界に近づいたことを示す。従って、更新量Ｓが所定のしきい値より小さくなるまでの間、上記式（３）、（４）による演算から上記式（７）により更新量Ｓを求めるまでの一連の処理を繰り返し実行すればよい。
そして、制御部１０は、最終的に得られた推測画像Ｏ（ｘ，ｙ）に対し、Sharpeningフィルタによる処理を行って画像のシャープネスを向上させ、得られた画像を補正後のフレームとする。
【００２９】
［２］フレーム間ぶれ補正処理
図５はフレーム間の手ぶれ量に基づいてぶれを補正する様子を示す図である。
図５（Ａ）に例示するように、撮影時に手ぶれが発生すると、携帯型ビデオカメラ１によって撮影される範囲と被写体との相対位置が移動する。従って、手ぶれの発生時には、連続するフレーム間で被写体の位置が異なることがあり、見た目に非常に煩雑で見づらい動画像となってしまう。このフレーム間ぶれ補正処理では、フレームと被写体との相対位置の移動を相殺することにより、連続するフレーム間で手ぶれによって被写体が移動しないようにする処理である。
【００３０】
撮影部２０が備えるイメージセンサは、出力画像の画素数よりも多くの有効画素を有するものとなっており、撮影部２０により撮影されたフレーム７０は、携帯型ビデオカメラ１から映像出力端子５２等を介して出力される画像よりも多くの画素からなる画像となっている。制御部１０は、例えば図５（Ｂ）に示すように、撮影されたフレーム７０における所定の位置（出力部７１）をトリミングして出力画像とする。フレーム７０における出力部７１の位置は、初期状態ではフレーム７０の中央位置にあるが、この初期状態から任意に変更できる。
そこで、制御部１０は、撮影時の手ぶれによるフレーム７０の移動を補償するように、手ぶれ方向と反対の方向に出力部７１を移動させ、移動後の出力部７１をトリミングする。例えば図５（Ｄ）に示すように、手ぶれにより携帯型ビデオカメラ１が動いてフレーム７０が移動量Ｍだけ移動した場合は、出力部７１を、手ぶれ方向とは逆に移動量Ｍだけ移動させる。
ここで、移動量Ｍは、処理対象のフレームがｎ＋１番目（ｎは自然数）のフレームであるとき、ｎ番目のフレームの撮影開始からｎ＋１番目のフレームの撮影開始までの時間における手ぶれ量に等しく、上記式（１）により求められる。
これにより、処理対象のフレームにおける被写体の位置は、その前のフレームにおける位置と変わらず、煩雑な印象がなく見やすい動画像が得られる。また、このフレーム間ぶれ補正処理では、手ぶれによるフレーム７０の移動の影響のみを補正し、被写体の自然な移動については影響しない。従って、フレーム間ぶれ補正処理によって被写体の動きが不自然になることはなく、自然な補正画像が得られる。
【００３１】
［３］ぶれ回避処理
図６は、ぶれ回避処理を示すフローチャートである。
この図６に示すぶれ回避処理は、フレーム撮影後に、次のフレームを撮影する際の露出時間を、ぶれを生じない時間に設定する処理である。
上述したように、撮影時に生じる手ぶれ量は露出時間における角速度の積分値である。従って、露出時間が短ければ、角速度の積分値が小さくなり、ぶれが発生しにくくなる。
【００３２】
図６のぶれ回避処理は、少なくとも１以上のフレームが撮影された後、次のフレームを撮影する前に実行される。
制御部１０は、まず、許容手ぶれ量設定値を取得する（ステップＳ１１）。許容手ぶれ量設定値とは、フレームのぶれを許容するか否かのしきい値となるぶれ量であり、予め設定されてフラッシュＲＯＭ１２に格納される。許容ぶれ量設定値は、例えば、撮影された動画像を見た人がぶれを意識しない程度の値に設定される。
続いて、制御部１０は、ステップＳ１１で取得した設定値に基づいて、手ぶれを回避可能な露出時間を算出する（ステップＳ１２）。このステップＳ１２では、下記式（８）に示す演算が行われる。
許容手ぶれ量設定値÷（露出中の手ぶれ量÷露出時間）    ・・・（８）
【００３３】
そして、制御部１０は、ステップＳ１２で算出された露出時間と、予め設定された標準の露出時間とを比較し（ステップＳ１３）、これらが等しいか、あるいは標準の露出時間の方が短い場合（ステップＳ１３；Ｙｅｓ）、制御部１０は、標準の露出時間を手ぶれ回避用露出時間として設定する（ステップＳ１４）。
また、標準の露出時間よりも、ステップＳ１２で算出された露出時間の方が短い場合（ステップＳ１３；Ｎｏ）、制御部１０は、ステップＳ１２で算出した露出時間を手ぶれ回避用露出時間として設定する（ステップＳ１５）。
【００３４】
図７は、上述した［１］フレーム内ぶれ補正処理、［２］フレーム間ぶれ補正処理、および、［３］ぶれ回避処理を含む携帯型ビデオカメラ１の動作を示すフローチャートである。制御部１０は、上述したぶれ補正プログラム１００Ａを読み込んで実行することにより、携帯型ビデオカメラ１の各部を制御して、図７の動作を実行する。
制御部１０は、手ぶれ補正を開始すると（ステップＳ２１）、角速度検出部３０から出力される角速度検出信号のサンプリングを開始する（ステップＳ２２）。
続いて制御部１０は撮影部２０を制御して、フレームの撮影を実行させ（ステップＳ２３）、このフレーム撮影の露出時間中の手ぶれ量を算出する（ステップＳ２４）。
【００３５】
ここで、露出時間中の手ぶれ量が、予めフラッシュＲＯＭ１２に格納された許容手ぶれ量設定値以上か否かを判定し、許容手ぶれ量設定値以上の場合は、撮影したフレームについて上述のフレーム内ぶれ補正処理を実行する（ステップＳ２６）。
続いて、制御部１０は、前回のフレーム撮影からステップＳ２３のフレーム撮影までの間の手ぶれ量を算出し（ステップＳ２７）、算出した手ぶれ量に基づいて、上述のフレーム間ぶれ補正処理を実行する（ステップＳ２８）。
また、露出時間中の手ぶれ量が許容手ぶれ量設定値に達しない場合（ステップＳ２５；Ｙｅｓ）、制御部１０はステップＳ２６の処理を行うことなく上記のステップＳ２７に移行する。
なお、ステップＳ２３で最初のフレームを撮影した後、最初にステップＳ２７に移行した場合は、ステップＳ２７〜Ｓ２８の処理を行わない。
【００３６】
その後、制御部１０は、補正したフレームを映像出力端子５２から出力して、外部ディスプレイ装置（図示略）にフレームの画像を表示させ（ステップＳ２９）、撮影が終了したか否かを判別する（ステップＳ３０）。
撮影を継続する場合、制御部１０は、ステップＳ２４およびＳ２７で算出した手ぶれ量に基づいて、次のフレームを撮影する際の手ぶれ量を予測する（ステップＳ３１）。このステップＳ３１では、ステップＳ２３のフレーム撮影と同じ露出時間で次のフレームを撮影した場合の露出時間を予測する。そして、制御部１０は、予測した手ぶれ量に基づいて、手ぶれ回避用露出時間を算出して設定する（ステップＳ３２）。
このステップＳ３２で、制御部１０は、上述したぶれ回避処理を実行する。詳細には、ステップＳ３１で予測した手ぶれ量を「露出中の手ぶれ量」とし、前のフレーム撮影時の露出時間を「露出時間」として、上記式（８）に示す演算を行う。
【００３７】
さらに、制御部１０は、ステップＳ３２で設定した手ぶれ回避用露出時間に対応する感度を算出して設定する（ステップＳ３３）。このステップＳ３３で、制御部１０は、手ぶれ回避用露出時間で撮影した場合に適切な輝度の画像データが得られるよう、撮影部２０のイメージセンサの感度を設定する。これにより、例えば手ぶれ回避用露出時間が、ステップＳ２３の撮影時の露出時間よりも短い場合には、イメージセンサの感度が高感度に設定されるので、露出不足を回避できる。このステップＳ３３の後、制御部１０は上述したステップＳ２３に戻ってフレームの撮影を行う。
【００３８】
この図７に示す動作により、制御部１０は、撮影部２０によって撮影されたフレームについて、フレーム内ぶれ補正処理と、フレーム間ぶれ補正処理を実行して、ぶれのない明瞭なフレームの画像を得る。さらに、続けてフレームの撮影を行う場合には、制御部１０はぶれ回避処理を行って、ぶれの発生を抑えることが可能な条件で次のフレームを撮影できるようにする。
【００３９】
図８は、フレームの撮影タイミングと手ぶれ量を算出するためのデータ取得のタイミングとを示すタイミングチャートである。ここで取得されるデータとは、具体的には、角速度検出部３０から出力される角速度検出信号から求められる携帯型ビデオカメラ１の角速度を含むデータである。
この図８に示すように、最初のフレーム（第１フレーム）の撮影が時刻Ｔ１から開始されると、制御部１０は、第１フレームに対して上述のフレーム内ぶれ補正処理を行うためのデータを取得する。このフレーム内ぶれ補正処理用のデータは、第１フレームの露出が終了するまで取得される。
また、制御部１０は、第１フレームの撮影開始に伴い、次の第２フレームに対して上述のフレーム間ぶれ補正処理を行うためのデータを取得する。このフレーム間ぶれ補正用のデータは、時刻Ｔ１から、第２フレームの撮影を開始する時刻Ｔ２までの間、取得される。そして、第１フレームの露出が終了してから第１フレームが補正され、時刻Ｔ２において第２フレームの撮影が開始されるタイミングで、補正後の第１フレームが映像出力端子５２から出力され、表示される。
このように、制御部１０は、動画像を構成するフレームを連続して撮影する場合に、第ｎフレーム（ｎは自然数）の撮影開始（露出開始）とともに、第ｎフレームのフレーム内ぶれ補正処理用のデータおよび第ｎ＋１フレームのフレーム間ぶれ補正処理用のデータの取得を開始する。そして、これらのデータに基づいてフレームを順次補正し、補正後のフレームを表示させる。
【００４０】
以上のように、本発明を適用した実施の形態における携帯型ビデオカメラ１は、撮影部２０により動画撮影時に、制御部１０によって、角速度検出部３０から出力される角速度検出信号に基づいて携帯型ビデオカメラ１の角速度を取得し、この角速度を時間で積分することで、動画を構成する各フレームの撮影中（露出時間中）における手ぶれ量、および、ｎ番目のフレームの撮影時からｎ＋１番目のフレームの撮影時までのフレーム間の手ぶれ量を取得する。そして、撮影中における手ぶれ量に基づくフレーム内ぶれ補正処理と、フレーム間の手ぶれ量に基づくフレーム間ぶれ補正処理とを実行する。これにより、フレームの撮影中に発生した手ぶれによる影響を補正するとともに、連続するフレーム間における手ぶれによって、例えばフレームにおける被写体の位置が変化するといった影響が生じた場合に、これを補正するので、動画撮影時の手ぶれの影響を確実に解消して見やすい動画像を得ることができる。また、撮影中における手ぶれ量とフレーム間の手ぶれ量とを、いずれも角速度から求めるので、低負荷で高速な演算処理によって、容易に実現可能である。
【００４１】
さらに、携帯型ビデオカメラ１は、フレームの一部をトリミングすることにより出力画像を生成するものであり、上記フレーム間ぶれ補正処理において、フレーム間の手ぶれ量に基づいて、トリミングする位置を変化させるので、低負荷で高速な処理によって、フレーム間の手ぶれによる影響、例えば連続するフレームにおける被写体の不自然な移動等を確実に解消できる。
【００４２】
なお、上述した実施の形態および変形例は、あくまでも本発明の一態様を示すものであり、本発明の範囲内で任意に変形および応用が可能である。
例えば、図７を参照して説明した携帯型ビデオカメラ１の動作では、全てのフレームを撮影する毎に、フレーム内ぶれ補正処理、フレーム間ぶれ補正処理、および手ぶれ回避処理の３つの処理を実行するものとしたが、本発明はこれに限定されるものではなく、例えば、上記の３つの処理を異なる頻度で実行してもよいし、複数のフレームを撮影する毎に上記処理を行うようにしてもよい。
また、上記実施の形態では、撮影部２０により撮影されたフレーム７０に対して、フレーム内ぶれ補正処理およびフレーム間ぶれ補正処理を行う例について説明したが、例えば、リムーバブルメディア５０等に格納された複数フレームからなる動画像について、その表示（再生）時に上記処理を行うようにしてもよい。すなわち、撮影されたフレームのデータと、各フレーム撮影時の露出中の手ぶれ量と、各フレーム撮影時間の手ぶれ量とを示す情報がリムーバブルメディア５０等に格納されていれば、撮影機能を有しない他の機器において上記処理を実行することが可能である。
さらに、上記実施の形態では、図７に示す動作により補正されたフレームを映像出力端子５２から出力するものとして説明したが、例えば、補正されたフレームからなる動画像をリムーバブルメディア５０に格納してもよい。
【００４３】
また、上記実施の形態および変形例では、デジタルカメラ１の動きを検出するため、ジャイロセンサ３１、３２を備えたジャイロセンサ部３０により角速度を検出する構成としたが、本発明はこれに限定されるものではなく、デジタルカメラ１の単位時間あたりの移動量を検出可能なものであれば、例えば加速度センサを用いることも可能である。
また、本発明は、上記実施の形態および変形例で説明した携帯型ビデオカメラ１以外の動画撮影機能を有する撮影機器にも適用することが可能であり、具体例を挙げると、動画撮影機能付きデジタルスチルカメラ、および、このようなデジタルスチルカメラを具備した携帯電話機、ＰＤＡ、ノート型パソコン等の各種電子機器においても適用可能である。
【図面の簡単な説明】
【００４４】
【図１】実施の形態に係るデジタルカメラの構成を示すブロック図である。
【図２】フレームとぶれの軸との関係を説明するための図である。
【図３】手ぶれ量の算出を説明するための図である。
【図４】フレーム内ぶれ補正処理の様子を示す図である。
【図５】フレーム間ぶれ補正処理の様子を示す図である。
【図６】ぶれ回避処理を示すフローチャートである。
【図７】携帯型ビデオカメラの動作を示すフローチャートである。
【図８】撮影時のデータ取得のタイミングを示すタイミングチャートである。
【符号の説明】
【００４５】
１…携帯型デジタルビデオカメラ（撮影装置、画像処理装置、コンピュータ）、１０…制御部（フレーム内ぶれ補正手段、フレーム間ぶれ補正手段、画像出力手段、画像生成手段、露出時間設定手段。感度設定手段）、２０…撮影部（撮影手段）、２４…表示パネル、３０…角速度検出部（ぶれ検出手段）、５０…リムーバブルメディア、６０…記録媒体、７０…フレーム、７１…出力部、７２…補正画像、１００…制御プログラム、１００Ａ…ぶれ補正プログラム。
【図１】
2007221710.tif 000005
【図２】
2007221710.tif 000006
【図３】
2007221710.tif 000007
【図４】
2007221710.tif 000008
【図５】
2007221710.tif 000009
【図６】
2007221710.tif 000010
【図７】
2007221710.tif 000011
【図８】
2007221710.tif 000012