(57)【特許請求の範囲】
【請求項１】
撮像装置により撮影された画像の手ぶれを補正する画像処理装置であって、
所定の時間間隔で連続的に被写体を撮影して複数の画像を取得する連写撮影部と、
前記取得された複数の画像のそれぞれについて、前記撮像装置の手ぶれに関する手ぶれ情報を検出する手ぶれ検出部と、
前記取得された複数の画像のうち手ぶれ補正の対象となる画像を補正対象画像として選択する選択部と、
前記複数の画像のそれぞれについて検出された前記手ぶれ情報に基づいて、前記取得された複数の画像のうち手ぶれが最小となる画像を手ぶれ最小画像として選択するとともに、その選択した手ぶれ最小画像と前記補正対象画像とに基づいて、前記補正対象画像の手ぶれ部分の補正に供する手ぶれ補正情報を算出する補正情報算出部と、
前記算出された手ぶれ補正情報を用いて、前記補正対象画像が有する手ぶれ部分を補正する手ぶれ補正部と、
を具備することを特徴とする画像処理装置。
【請求項２】
前記手ぶれ検出部により検出された前記手ぶれ情報に基づき、前記連写撮影部による連写撮影を行うか否かを決定する連写撮影判定部をさらに有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記連写撮影部により撮影された前記複数の画像に対応させて前記手ぶれ情報を検出して処理を行うように制御する手ぶれ情報制御部をさらに有することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記選択部は、前記補正対象画像として、前記連写撮影部によって撮影された前記複数の画像のうち最初に撮影された画像を選択することを特徴とする請求項１から３のいずれか１つに記載の画像処理装置。
【請求項５】
前記選択部は、前記補正対象画像として、ユーザが自ら補正を望む画像を選択することを特徴とする請求項１から３のいずれかに記載の画像処理装置。
【請求項６】
撮像装置により撮影された画像の手ぶれを補正する画像処理装置であって、
所定の時間間隔で連続的に被写体を撮影して複数の画像を取得する連写撮影部と、
前記連続的な撮影のタイミングに従って、前記撮像装置の手ぶれに関する手ぶれ情報を検出する手ぶれ検出部と、
前記手ぶれ検出部により検出された手ぶれ情報と、前記連写撮影部により得られた複数の画像とに基づき、前記複数の画像のうち少なくとも一つ以上の画像について当該画像が有する手ぶれ部分を補正する手ぶれ補正部と、
を具備することを特徴とする画像処理装置。
【請求項７】
撮像装置により撮影された画像の手ぶれを補正する画像処理方法であって、
所定の時間間隔で連続的に被写体を撮影して複数の画像を取得するステップと、
前記取得された複数の画像のそれぞれについて、前記撮像装置の手ぶれに関する手ぶれ情報を検出するステップと、
前記取得された複数の画像のうち手ぶれ補正の対象となる画像を補正対象画像として選択するステップと、
前記複数の画像のそれぞれについて検出された前記手ぶれ情報に基づいて、前記取得された複数の画像のうち手ぶれが最小となる画像を手ぶれ最小画像として選択するとともに、その選択した手ぶれ最小画像と前記補正対象画像とに基づいて、前記補正対象画像の手ぶれ部分の補正に供する手ぶれ補正情報を算出するステップと、
前記算出された手ぶれ補正情報を用いて、前記補正対象画像が有する手ぶれ部分を補正するステップと、
を具備することを特徴とする画像処理方法。
【請求項８】
撮像装置により撮影された画像の手ぶれを補正する画像処理方法をコンピュータに発揮せしめるコンピュータプログラムであって、当該画像処理方法は、
所定の時間間隔で連続的に被写体を撮影して複数の画像を取得するステップと、
前記取得された複数の画像のそれぞれについて、前記撮像装置の手ぶれに関する手ぶれ情報を検出するステップと、
前記取得された複数の画像のうち手ぶれ補正の対象となる画像を補正対象画像として選択するステップと、
前記複数の画像のそれぞれについて検出された前記手ぶれ情報に基づいて、前記取得された複数の画像のうち手ぶれが最小となる画像を手ぶれ最小画像として選択するとともに、その選択した手ぶれ最小画像と前記補正対象画像とに基づいて、前記補正対象画像の手ぶれ部分の補正に供する手ぶれ補正情報を算出するステップと、
前記算出された手ぶれ補正情報を用いて、前記補正対象画像が有する手ぶれ部分を補正するステップと、
を具備することを特徴とするコンピュータプログラム。
【請求項９】
撮像装置により撮影された画像の手ぶれを補正する処理をコンピュータに実行させる命令を含むプログラムを格納した、コンピュータが読み取り可能な記録媒体であって、前記手ぶれを補正する処理は、
所定の時間間隔で連続的に被写体を撮影して複数の画像を取得するステップと、
前記取得された複数の画像のそれぞれについて、前記撮像装置の手ぶれに関する手ぶれ情報を検出するステップと、
前記取得された複数の画像のうち手ぶれ補正の対象となる画像を補正対象画像として選択するステップと、
前記複数の画像のそれぞれについて検出された前記手ぶれ情報に基づいて、前記取得された複数の画像のうち手ぶれが最小となる画像を手ぶれ最小画像として選択するとともに、その選択した手ぶれ最小画像と前記補正対象画像とに基づいて、前記補正対象画像の手ぶれ部分の補正に供する手ぶれ補正情報を算出するステップと、
前記算出された手ぶれ補正情報を用いて、前記補正対象画像が有する手ぶれ部分を補正するステップと、
を具備することを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置及び画像処理プログラムを記録した記録媒体に関し、特に撮影画像の手ぶれを補正する場合に適用可能な画像処理装置及び記録媒体に関するものである。
【０００２】
【従来の技術】
銀塩フィルムカメラを手で持って被写体を撮影する場合、カメラの手ぶれにより撮影された写真が不自然なものになることはよく見られる現象である。これはデジタルスチルカメラと呼ばれる電子カメラでも同様であり、電子カメラにおいても銀塩フィルムカメラと同様、手ぶれを抑制するための方法、機能の実現は大きな課題となっている。銀塩フィルムカメラにおいては撮影光学系を駆動することで手ぶれを抑制して撮影する方法がよく知られているが、電子カメラでは撮影光学系の駆動以外にも、電気信号処理により撮影時の制御や撮影後の電子画像（以下単に画像と述べる）の補正等で手ぶれの影響を抑えることが可能である。
【０００３】
電気信号処理による方法で実用上効果的なものの一つとして、角速度センサ等に代表されるカメラの手ぶれの動きを検出するセンサ（手ぶれ検出センサ）を電子カメラに備え付けて手ぶれの動き（動き量、動き方向等）の検出や予測等を行い、手ぶれの時間的推移からあるタイミングで撮影するようにシャッタ制御を行うという方法がある。例えば特開平５−１０７６２２号公報では、角速度センサにより手ぶれを検出して、手ぶれが極大値を発生させてから所定時間後にシャッタをレリーズさせる旨の内容が開示されている。この方法は手ぶれの影響が比較的小さい時点で撮影されるため結果として得られる画像は比較的遜色ないものとなる。
【０００４】
また電気信号処理による手ぶれの補正としては、撮影後の画像を処理して手ぶれ部分が本来持つべき情報を推定、復元する方法がよく知られている。一般的に用いられる画像処理としては、手ぶれ部分を回復させる回復フィルタ（例えば逆フィルタやウイーナフィルタ等）によるものや、画像の点広がり関数（ＰＳＦ）から手ぶれ部分を復元するための情報を推定して適用するもの等がある。例えば特開平１１−１３４４８１号公報では、手ぶれの軌跡データに基づき生成した点広がり関数を用いて手ぶれ画像を復元する際に、手ぶれ軌跡上の画素周辺の画素の輝度値も考慮して復元を行う旨の内容が開示されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記した特開平５−１０７６２２号公報に記載の方法では本来撮影者が意図するシャッタのタイミングから時間的にずれた状態で撮影が行われるため、実際には撮影者が撮ろうとしていたシーンとは異なるシーンを撮影することがあり得るという問題がある。
【０００６】
また、上記した特開平１１−１３４４８１号公報に記載の方法では、元々存在しない情報を推定、復元することから、手ぶれ部分を忠実に再現しようとすると、画像処理における計算の手間や時間の増大につながるという問題がある。
【０００７】
本発明はこのような課題に着目してなされたものであり、その目的とするところは、手ぶれ補正を高速にかつ高い精度で行いながら撮影者が意図したシーンを撮影することができる画像処理装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記の目的を達成するために、本発明の第１の態様に係る画像処理装置は、撮像装置により撮影された画像の手ぶれを補正する画像処理装置であって、所定の時間間隔で連続的に被写体を撮影して複数の画像を取得する連写撮影部と、前記取得された複数の画像のそれぞれについて、前記撮像装置の手ぶれに関する手ぶれ情報を検出する手ぶれ検出部と、前記取得された複数の画像のうち手ぶれ補正の対象となる画像を補正対象画像として選択する選択部と、前記複数の画像のそれぞれについて検出された前記手ぶれ情報に基づいて、前記取得された複数の画像のうち手ぶれが最小となる画像を手ぶれ最小画像として選択するとともに、その選択した手ぶれ最小画像と前記補正対象画像とに基づいて、前記補正対象画像の手ぶれ部分の補正に供する手ぶれ補正情報を算出する補正情報算出部と、前記算出された手ぶれ補正情報を用いて、前記補正対象画像が有する手ぶれ部分を補正する手ぶれ補正部と、を具備する。
【０００９】
また、本発明の第２の態様に係る画像処理装置は、第１の態様に係る画像処理装置において、前記手ぶれ検出部により検出された前記手ぶれ情報に基づき、前記連写撮影部による連写撮影を行うか否かを決定する連写撮影判定部をさらに有する。
【００１０】
また、本発明の第３の態様に係る画像処理装置は、第１または第２の態様に係る画像処理装置において、前記連写撮影部により撮影された前記複数の画像に対応させて前記手ぶれ情報を検出して処理を行うように制御する手ぶれ情報制御部をさらに有する。
【００１１】
また、本発明の第４の態様に係る画像処理装置は、第１から第３のいずれか１つの態様に係る画像処理装置において、前記選択部は、前記補正対象画像として、前記連写撮影部によって撮影された前記複数の画像のうち最初に撮影された画像を選択する。
【００１２】
また、本発明の第５の態様に係る画像処理装置は、第１から第３のいずれか１つの態様に係る画像処理装置において、前記選択部は、前記補正対象画像として、ユーザが自ら補正を望む画像を選択する。
【００１３】
また、本発明の第６の態様に係る画像処理装置は、撮像装置により撮影された画像の手ぶれを補正する画像処理装置であって、所定の時間間隔で連続的に被写体を撮影して複数の画像を取得する連写撮影部と、前記連続的な撮影のタイミングに従って、前記撮像装置の手ぶれに関する手ぶれ情報を検出する手ぶれ検出部と、前記手ぶれ検出部により検出された手ぶれ情報と、前記連写撮影部により得られた複数の画像とに基づき、前記複数の画像のうち少なくとも一つ以上の画像について当該画像が有する手ぶれ部分を補正する手ぶれ補正部と、を具備する。
また、本発明の第７の態様に係る画像処理装置は、撮像装置により撮影された画像の手ぶれを補正する画像処理方法であって、所定の時間間隔で連続的に被写体を撮影して複数の画像を取得するステップと、前記取得された複数の画像のそれぞれについて、前記撮像装置の手ぶれに関する手ぶれ情報を検出するステップと、前記取得された複数の画像のうち手ぶれ補正の対象となる画像を補正対象画像として選択するステップと、前記複数の画像のそれぞれについて検出された前記手ぶれ情報に基づいて、前記取得された複数の画像のうち手ぶれが最小となる画像を手ぶれ最小画像として選択するとともに、その選択した手ぶれ最小画像と前記補正対象画像とに基づいて、前記補正対象画像の手ぶれ部分の補正に供する手ぶれ補正情報を算出するステップと、前記算出された手ぶれ補正情報を用いて、前記補正対象画像が有する手ぶれ部分を補正するステップと、を具備する。
また、本発明の第８の態様に係るコンピュータプログラムは、撮像装置により撮影された画像の手ぶれを補正する画像処理方法をコンピュータに発揮せしめるコンピュータプログラムであって、当該画像処理方法は、所定の時間間隔で連続的に被写体を撮影して複数の画像を取得するステップと、前記取得された複数の画像のそれぞれについて、前記撮像装置の手ぶれに関する手ぶれ情報を検出するステップと、前記取得された複数の画像のうち手ぶれ補正の対象となる画像を補正対象画像として選択するステップと、前記複数の画像のそれぞれについて検出された前記手ぶれ情報に基づいて、前記取得された複数の画像のうち手ぶれが最小となる画像を手ぶれ最小画像として選択するとともに、その選択した手ぶれ最小画像と前記補正対象画像とに基づいて、前記補正対象画像の手ぶれ部分の補正に供する手ぶれ補正情報を算出するステップと、前記算出された手ぶれ補正情報を用いて、前記補正対象画像が有する手ぶれ部分を補正するステップと、を具備する。
また、本発明の第９の態様に係る記録媒体は、撮像装置により撮影された画像の手ぶれを補正する処理をコンピュータに実行させる命令を含むプログラムを格納した、コンピュータが読み取り可能な記録媒体であって、前記手ぶれを補正する処理は、所定の時間間隔で連続的に被写体を撮影して複数の画像を取得するステップと、前記取得された複数の画像のそれぞれについて、前記撮像装置の手ぶれに関する手ぶれ情報を検出するステップと、前記取得された複数の画像のうち手ぶれ補正の対象となる画像を補正対象画像として選択するステップと、前記複数の画像のそれぞれについて検出された前記手ぶれ情報に基づいて、前記取得された複数の画像のうち手ぶれが最小となる画像を手ぶれ最小画像として選択するとともに、その選択した手ぶれ最小画像と前記補正対象画像とに基づいて、前記補正対象画像の手ぶれ部分の補正に供する手ぶれ補正情報を算出するステップと、前記算出された手ぶれ補正情報を用いて、前記補正対象画像が有する手ぶれ部分を補正するステップと、を具備する。
【００１４】
【発明の実施の形態】
まず本実施形態の概略を説明する。電子カメラで実現されている機能の一つに、短い時間間隔で連続して撮影を行い複数の画像を記録する「連写機能」がある。電子カメラでは画像処理により様々な加工が可能であり、この連写機能によって撮影された複数の画像から有意な情報を取り出し、これを用いて画質を向上させることが期待できる。このことは手ぶれの問題にも適用できる。即ち、手ぶれがある状態で同一シーンを連写機能により撮影することで得られる複数の画像から、本来撮影しようとしたシーンにおける手ぶれ部分を推定、復元するための情報を取り出し、この情報を元に画像の手ぶれ部分を推定、復元すれば撮影画像の手ぶれによる影響を最小限に抑えることができる。
【００１５】
本実施形態の作用を以下に説明する。撮像装置には手ぶれによる撮像装置自体の動きを検出する手ぶれ検出部を有する。また撮像装置は撮影時において、上記手ぶれ検出部によって検出される手ぶれに関する情報（手ぶれ情報）に基づき連写撮影判定部によって撮影モードを連写撮影が可能なモード（連写撮影モード）に設定して連写撮影部を機能させる。連写撮影モードにより撮像装置のシャッタレリーズを開始すると、短い時間間隔に複数の画像が撮影されると同時に、手ぶれ情報制御部により撮影のタイミングに応じて手ぶれ検出部から検出される手ぶれ情報が取得される。撮影後取得された複数の画像及び各画像に対応した手ぶれ情報は手ぶれ補正部において、複数中最初に撮影された画像やユーザから指定された画像等、手ぶれが補正される画像として少なくとも一つ以上の画像に関して、複数の画像及び手ぶれ情報を基に算出される手ぶれ補正情報を用いて手ぶれ補正対象画像が有する手ぶれ部分を補正する。手ぶれ補正情報の算出に関しては、例えば複数の画像の中から手ぶれ情報により手ぶれが最小と判断される画像から補正を行うための情報を算出し、これに基づいて補正を行う。
【００１６】
以下に図面を参照して上記した概略を詳細に説明する。図１は、本発明に係る画像処理装置としての電子カメラの基本的構成を示すブロック図である。この電子カメラは、電子シャッタ機能を有する単板式のカラーＣＣＤ撮像素子１を用いるもので、このＣＣＤ撮像素子１には、レンズ２および絞り・シャッタ機構３を経て被写体像が結像され、当該被写体像が光電変換されて画像信号として出力される。ＣＣＤ撮像素子１からの被写体像の画像信号は、図示しない相関二重サンプリング回路等でノイズ成分が除去されたのち、アンプ４で増幅され、さらにＡ／Ｄ変換器５でデジタル信号に変換されてカメラ信号処理回路６に供給され、ここで画像データとして処理される。
【００１７】
また、Ａ／Ｄ変換器５の出力は、ＡＦ、ＡＥ、ＡＷＢ検波回路７にも供給され、ここで本来の撮影に先立って、フォーカスを自動的に制御するためのＡＦ情報を取り出すＡＥ検波処理、露出を自動的に制御するためのＡＥ情報を取り出すＡＥ検波処理、およびホワイトバランスを自動的に設定するためのＡＷＢ情報を取り出すＡＷＢ検波処理が行われる。このＡＦ、ＡＥ、ＡＷＢ検波回路７からのＡＦ情報、ＡＥ情報およびＡＷＢ情報は、それぞれＣＰＵ８を介してレンズ２、絞り・シャッタ機構３およびカメラ信号処理回路６に供給される。
【００１８】
カメラ信号処理回路６およびＣＰＵ８は、バスライン９に接続され、このバスライン９には、メモリコントローラ１０を介して、画像データの色処理等を行う際に作業用メモリとして用いられるＤＲＡＭ１１が接続されていると共に、カメラ信号処理回路６からの画像データを圧縮処理する圧縮回路（ＪＰＥＧ）１２が接続されている。また、バスライン９には、圧縮回路１２で圧縮処理された画像データをメモリカード１３に記録するために、メモリカードＩ／Ｆ１４が接続されていると共に、メモリカード１３に記録された画像データを読み出して表示したり、撮影状態を表示するために表示回路１５を介して液晶表示素子（ＬＣＤ）１６が接続されている。さらに、バスライン９には、メモリカード１３に記録されている画像データをパソコン（ＰＣ）１７へ転送するためのＰＣＩ／Ｆ１８が接続されている。
【００１９】
ＣＰＵ８には、ＡＦ、ＡＥ、ＡＷＢ検波回路７からのＡＥ情報に基づいて制御されるストロボ装置１９、および各種撮影モードの設定やトリガスイッチの駆動等を行う入力キー２０がそれぞれ接続されている。なお、ＣＣＤ撮像素子１は、ＣＰＵ８の制御のもとにタイミングジェネレータ（ＴＧ）２１からのタイミングパルスによって駆動されるようになっている。また、電子カメラの手ぶれを検出するための手ぶれ検出部たる手ぶれ検出センサ２２を備え、この手ぶれ検出センサ２２から検出される手ぶれに関する情報（手ぶれ情報：例えば手ぶれによる角速度、移動量、手ぶれ方向等の手ぶれを検知する情報）がＣＰＵ８及び後述する連写撮影判定部たる手ぶれ補正撮影モード判定回路２３に伝送されて撮影の制御や手ぶれ補正処理等が行われる。
【００２０】
図１に示す電子カメラでは、手ぶれ補正を行わず一つ分の画像を取得する通常撮影モードと、手ぶれ補正を行うために複数の画像を取得する連写撮影モードとを、入力キー２０の操作あるいは手ぶれ検出センサ２２から検出される手ぶれ情報により手ぶれ補正撮影モード判定回路２３にて判定する。手ぶれ補正撮影モード判定回路２３では、入力キー２０からの撮影モードに関する情報及び手ぶれ検出センサ２２からの手ぶれ情報に基づき後述する手ぶれ補正のための連写撮影を行うか否かを判断し、判定結果の出力として撮影モードを示す撮影モード判定信号をＣＰＵ８に伝送する。そして選択された撮影モードに応じてＣＰＵ８により撮影動作を制御する。
【００２１】
即ち、通常撮影モードが選択された場合には、通常の撮影動作によって一回の撮影でＣＣＤ撮像素子１から一つ分の画像信号を得、連写撮影モードが選択された場合には、ＣＣＤ撮像素子１の電子シャッタ機能、あるいはこの電子シャッタ機能と絞り・シャッタ機構３との組み合わせ等による公知の方法で一回の撮影でＣＣＤ撮像素子１から連写撮影により複数分（例えば四つ分、等）の画像信号を得て、カメラ信号処理回路６において撮影モードに応じた画像データ処理を行う。手ぶれ補正撮影モード判定回路２３により連写撮影モードと設定される場合としては、入力キー２０からの手動による撮影モード設定の他に、手ぶれ検出センサ２２からの手ぶれ情報により手ぶれが大きい（例えば角速度が大きい、等）と判断される場合等があげられる。
【００２２】
次に、図２は、カメラ信号処理回路６内のブロック図の一例を示す図である。ＣＰＵ８から伝送される撮影モード判定信号は第１スイッチ３１及び第２スイッチ３２を駆動する。撮影モードが通常撮影モードの場合、Ａ／Ｄ変換器５から第１スイッチ３１に入る画像信号は第２スイッチ３２を経てカメラ信号処理プロセス部３９に伝送され、画像信号を画像として再現するための処理が施される。一方、撮影モードが連写撮影モードの場合、Ａ／Ｄ変換器５から第１スイッチ３１に入る画像信号（連写画像信号）は手ぶれ情報制御部たる連写撮影画像記録制御部３４に伝送される。
【００２３】
連写撮影画像記録制御部３４では、入力される連写画像信号を連写撮影画像記憶バッファ３３に記憶させる。また、ＣＰＵ８から伝送される手ぶれ情報を示す信号は、手ぶれ情報制御部たる手ぶれ情報統合制御部３５に伝送される。手ぶれ情報統合制御部３５では、連写撮影画像記録制御部３４において連写画像信号が入力されたことを受け、連写画像の撮影タイミング時における手ぶれ情報を読み込み記憶するようになっている。本実施形態では連写撮影画像を記憶する専用のバッファを設けているが、電子カメラに備え付けてあるＤＲＡＭ１１を連写撮影画像記憶バッファ３３の代用として用いてもよい。
【００２４】
連写画像信号及び手ぶれ情報がすべて伝送された後、連写撮影画像記録制御部３４は連写撮影画像記録バッファ３３から連写画像信号を逐次読み出す。同時に、手ぶれ情報統合制御部３５からは連写撮影画像記録バッファ３３から読み出される連写画像信号の撮影タイミングに対応した手ぶれ情報を連写画像信号の読み出しに合わせて逐次読み出す。
【００２５】
読み出された連写画像信号及びそれに対応した手ぶれ情報は、手ぶれ補正部たる手ぶれ補正対象画像選択部３６に伝送され、手ぶれ補正の対象となる画像を選択する。本実施形態では、連写画像群中で最初に撮影された画像を手ぶれ補正の対象画像とする。これは、シャッタレリーズを開始した瞬間の画像が、ユーザが本来撮影すべきタイミングの画像であることが多いためである。手ぶれ補正対象画像の選択はこれに限らず、例えば手ぶれ信号から判断して手ぶれが大きい（手ぶれが最大である等の）画像を選択してもよい。またＣＰＵ８からユーザの指示に関する制御信号を手ぶれ補正対象画像選択部３６に伝送することでユーザが自ら補正を望む画像を選択できるようにしてもよい。
【００２６】
読み出された連写画像信号及びそれに対応した手ぶれ情報は、さらに手ぶれ補正部たる手ぶれ補正情報算出部３７に伝送され、手ぶれ補正を行うための情報を算出する。ここでは、手ぶれ補正対象画像選択部３６から出力される手ぶれ補正対象画像信号も利用して、例えば撮影画像中手ぶれが最小となる画像に基づき、この画像からぶれ回復フィルタを構成する等により手ぶれ補正情報を算出する。
【００２７】
手ぶれ補正対象画像選択部３６で選択された手ぶれ補正対象画像信号及び手ぶれ補正情報算出部３７で算出された手ぶれ補正情報は、手ぶれ補正部たる手ぶれ補正処理部３８に伝送される。手ぶれ補正処理部３８では手ぶれ補正情報に基づき、手ぶれ補正対象画像の手ぶれ部分を補正する処理を行う。例えば手ぶれ補正情報として手ぶれ最小画像の回復フィルタが伝送されると、手ぶれ補正対象画像信号に対して回復フィルタを基にした画像復元アルゴリズムを適用する、等により手ぶれ補正処理を行う。
【００２８】
手ぶれ補正処理部３８で手ぶれ補正された手ぶれ補正対象画像信号は第２スイッチ３２を経てカメラ信号処理プロセス部３９に伝送され、画像信号を画像として再現するための処理が施される。画像として再現された信号はバスライン９に伝送され、以後の処理を行う。本実施形態では手ぶれ補正の後に画像再現のための信号処理プロセスを組み入れているが、順序を逆にして、画像再現のための信号処理プロセスを行ってから手ぶれ補正を行うようにしてもよい。
【００２９】
次に、図３は、本実施形態における手ぶれ補正処理アルゴリズムのフローの一例を示す図である。ここで言う手ぶれ補正処理アルゴリズムは、連写撮影モードの設定から手ぶれ補正済みの手ぶれ補正対象画像に対する画像信号処理までを表す。
【００３０】
まず手ぶれ補正撮影モード判定回路２３により連写撮影モードにする制御信号が出力されると、撮影モードを連写撮影（手ぶれ補正）モードに設定する（ステップＳ１）。次にシャッタレリーズが開始されるとシャッタが“開”状態になり連写撮影が開始される（ステップＳ２）。シャッタが“開”状態の間、連写撮影画像記録制御部３４により、シャッタの制御タイミングに同期して連写撮影画像及び画像に対応した手ぶれ情報を取得する（ステップＳ３）。そしてシャッタを“閉”状態にして、連写撮影を終了する（ステップＳ４）。
【００３１】
次に撮影された連写画像群に関して、手ぶれ補正対象画像選択部３６において手ぶれ補正対象画像として、連写画像群中最初に撮影された画像を選択する（ステップＳ５）。その後手ぶれ補正情報算出部３７において、手ぶれ補正情報の算出に用いる画像として、連写画像群中手ぶれ情報が最小となる画像（手ぶれ最小画像）を検出する（ステップＳ６）。ここで検出された手ぶれ最小画像について、手ぶれ補正対象画像と比較を行い（ステップＳ７）、両者が同一の画像である場合（Ｙｅｓ）は、以後の手ぶれ補正に関する処理は行わずにステップＳ１０にスキップする。両者が異なる場合（Ｎｏ）は、次のステップに進む。
【００３２】
次に手ぶれ補正情報算出部３７において、ステップＳ５で選択された手ぶれ補正対象画像およびステップＳ６で検出された手ぶれ最小画像から手ぶれ補正情報を算出する（ステップＳ８）。その後算出された手ぶれ補正情報を用いて、手ぶれ補正処理部３８において手ぶれ補正対象画像の手ぶれを補正する（ステップＳ９）。そして手ぶれが補正された手ぶれ補正対象画像もしくは手ぶれ最小画像であるため手ぶれ補正処理が行われなかった手ぶれ補正対象画像は、カメラ信号処理プロセス部３９において画像信号処理が実行される（ステップＳ１０）。
【００３３】
次に、図４は、本実施形態における手ぶれ補正処理の手順の一例を示す図である。手ぶれ補正による連写撮影モードにおいて、時間に対する手ぶれ情報の時間推移が図４の（ａ）のような場合、一定の短い時間間隔でシャッタタイミングパルス（図４の（ｂ））を発生させて撮影することで、四つの画像からなる連写画像群（図４の（ｃ））が生成される。ここで本実施形態に基づく手ぶれ補正処理を行うことを考えると、手ぶれ補正対象画像として連写画像群中最初の画像（図４の（ｄ１））が選択される。また手ぶれ補正情報を算出するための手ぶれ最小画像については、シャッタタイミングパルス発生時における手ぶれ情報の大きさから、連写画像群中最後の画像（図４の（ｄ２））が選択される。そして手ぶれ補正対象画像信号に対して、手ぶれ補正対象画像信号および手ぶれ最小画像から算出される手ぶれ補正情報を表す信号により手ぶれ補正処理（図４の（ｅ））が行われ、最終的に連写画像群中最初の画像に関する手ぶれ補正画像が生成される（図４の（ｆ））。
【００３４】
本実施形態で用いる手ぶれ補正方法としては、連写画像（即ち同一のシーン）中で手ぶれが最小となる画像から回復フィルタを生成し、これを基に補正対象となる手ぶれ画像に対して復元処理を行うことで実現可能である。回復フィルタの生成方法として、例えば手ぶれ最小画像と手ぶれ補正対象画像間で画像の位置が一致するよう補正（ＭＰＥＧ等で用いられる動きベクトル補正）を行った後、両者の画像の相関を基に生成する方法や、手ぶれ部分に関する両者の点広がり関数（ＰＳＦ）を算出した後、手ぶれ最小画像のＰＳＦを手ぶれ補正対象画像のＰＳＦに置き換えることで生成する（局所部のみの処理を行うことで手ぶれ部分のＰＳＦをキャンセルする）方法、等があるが、回復フィルタの生成方法については特に限定せず、他の一般的な方法を取り入れることも可能である。
【００３５】
以上、本実施形態では、電子カメラの手ぶれの状態から手ぶれ補正を行うための連写撮影モードを設定し、手ぶれがある状態で連写撮影して同一シーンに関する複数の画像及び画像に対応した手ぶれ情報を取得して、それらから手ぶれを補正する対象の画像を選択すると同時に手ぶれを補正するための手ぶれ補正情報を算出する。そして手ぶれ補正情報に基づいて手ぶれ補正対象の画像に対して手ぶれ補正処理を行った画像を生成するので、結果として手ぶれの影響を抑えた画像を生成することができる。
【００３６】
また、手ぶれ補正の対象画像は連写撮影された複数の画像中から最初の画像、即ちユーザがシャッタレリーズを開始した直後の本来撮るべきシーンの画像を選択することで、撮影者の意図するシーンにおいて手ぶれ補正がなされた画像を再現することができる。さらに手ぶれ補正情報の算出には連写撮影された複数の画像中から手ぶれが最小である画像を用いることで、同一シーンに関して信頼性の高い補正情報を生成することができる。従って、たとえ手ぶれがあってもユーザが撮影しようとしたシーンに対して手ぶれの影響が抑えられた画像を提供することができる。
【００３７】
他の実施形態としては、前述した手ぶれ補正処理の動作を実行するためのプログラムを記録媒体に記録しておき、画像処理装置を含む撮像装置には記録媒体のドライバを付設して、記録媒体に記録されているプログラムをドライバを介して撮像装置本体（電子カメラ）のＣＰＵ８で読み取って実行するようにすることもできる。
【００３８】
【発明の効果】
請求項１に記載の発明によれば、連写撮影部にて連写撮影される同一シーンの複数の画像及び手ぶれ検出部から検出される手ぶれ情報から手ぶれ補正部において補正対象となる少なくとも一つ以上の画像に対して手ぶれ補正を行う。即ち、補正対象画像と同一シーンである複数の画像から補正対象画像の手ぶれ部分を補正するための情報を算出して手ぶれの補正を行うので、手ぶれ補正を高速にかつ高い精度で行いながら撮影者が意図したシーンを撮影することができる。
【００３９】
また、請求項２に記載の発明によれば、請求項１と同等の効果を奏すると共に、連写撮影判定部において手ぶれ検出部からの情報に基づき連写撮影を行うか否かを判定するので、手ぶれの状況に応じて連写撮影への切替を自動的に行うことができ、手ぶれ補正が必要な場合にのみ手ぶれ補正を行うように撮影を制御することができる。
【００４０】
また、請求項３に記載の発明によれば、請求項１と同等の効果を奏すると共に、連写撮影された画像に対応させるように手ぶれ情報を検出する、処理する、記憶させる等の制御を行うので、撮影画像と手ぶれ情報の関係を適切にすることができ、以後の手ぶれ補正処理を適切に行うことができる。
【００４１】
また、請求項４に記載の発明によれば、請求項１〜請求項３のいずれかと同等の効果を奏すると共に、連写撮影された複数の画像のうち最初に撮影された画像に対して手ぶれ補正を行うので、シャッタレリーズ直後のタイミングに対応したシーンに対して適切に手ぶれ補正を行うことができる。
【００４２】
また、請求項５に記載の発明によれば、請求項１〜請求項３のいずれかと同等の効果を奏すると共に、手ぶれ補正部において複数の画像のうち手ぶれ情報が最小である画像からの情報に基づいて手ぶれ補正を行うので、信頼性の高い補正情報を手ぶれ補正部に与えることができる。
【００４３】
また、請求項６に記載の発明によれば、撮影画像の手ぶれを補正する処理を制御するためのコンピュータにおいて、連写撮影を行う機能によって撮影された同一シーンの複数の画像及び手ぶれを検出する機能によって検出される手ぶれ情報から手ぶれを補正する機能によって補正対象となる少なくとも一つ以上の画像に対して手ぶれ補正を行うよう実現する画像処理プログラムを記録した記録媒体である。即ち、補正対象画像と同一シーンである複数の画像から補正対象画像の手ぶれ部分を補正するための情報を算出して手ぶれの補正を行うので、手ぶれ補正を高速にかつ高い精度で行いながら撮影者が意図したシーンを撮影することができる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置としての電子カメラの基本的構成を示すブロック図である。
【図２】カメラ信号処理回路６内のブロック図の一例を示す図である。
【図３】本実施形態における手ぶれ補正処理アルゴリズムのフローの一例を示す図である。
【図４】本実施形態における手ぶれ補正処理の手順の一例を示す図である。
【符号の説明】
１  ＣＣＤ撮像素子
２  レンズ
３  絞り・シャッタ機構
４  アンプ
５  Ａ／Ｄ変換器
６  カメラ信号処理回路
７  ＡＦ，ＡＥ，ＡＷＢ検波回路
８  ＣＰＵ
９  バスライン
１０  メモリコントローラ
１１  ＤＲＡＭ
１２  圧縮回路
１３  メモリカード
１４  メモリカードＩ／Ｆ
１５  表示回路
１６  液晶表示素子（ＬＣＤ）
１７  パソコン（ＰＣ）
１８  ＰＣＩ／Ｆ
１９  ストロボ装置
２０  入力キー
２１  タイミングジェネレータ（ＴＧ）
２２  手ぶれ検出センサ
２３  手ぶれ補正撮影モード判定回路
３１  第１スイッチ
３２  第２スイッチ
３３  連写撮影画像記録バッファ
３４  連写撮影画像記録制御部
３５  手ぶれ情報統合制御部
３６  手ぶれ補正対象画像選択部
３７  手ぶれ補正情報算出部
３８  手ぶれ補正処理部
３９  カメラ信号処理プロセス部
【図１】
0004468598.tif 000002
【図２】
0004468598.tif 000003
【図３】
0004468598.tif 000004
【図４】
0004468598.tif 000005