(57)【要約】 【課題】  被写体の照明光量が十分でなく、高速に被写体が移動しているような条件においても、ブレやボケを増加させずに良好な画像を得ることができる画像処理装置および撮像装置を提供する。【解決手段】  動きベクトル演算部２２４は、第１フレームレートの画像信号を構成する画像フレームの部分領域である画像ブロックを、画像中の動きに基づいて複数の画像フレーム間で関連付ける動きベクトルを算出する。合成部２２５は、複数の画像フレーム間で動きベクトルによって関連付けられた画像ブロックを加算することによって、複数の画像フレームを合成して１枚の画像フレームを生成し、第１フレームレートよりも低い第２フレームレートの画像信号として出力する。【選択図】    図３
2006319784.tif 000002
【特許請求の範囲】
【請求項１】
第１のフレームレートの画像信号を構成する画像フレームの部分領域である画像ブロックを、画像中の動きに基づいて複数の前記画像フレーム間で関連付ける動きベクトルを算出する動きベクトル算出手段と、
複数の前記画像フレーム間で前記動きベクトルによって関連付けられた前記画像ブロックを加算することによって、前記複数の画像フレームを合成して１枚の画像フレームを生成し、前記第１のフレームレートよりも低い第２のフレームレートの画像信号として出力するフレーム合成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記動きベクトル算出手段は、合成の基準とする基準画像フレームの前記画像ブロックと他の前記画像フレームの前記画像ブロックとの画素値の差分を算出し、
前記フレーム合成手段は、前記差分の絶対値が所定値以上である場合には、前記基準画像フレームの前記画像ブロックと前記基準画像フレームの同一の前記画像ブロックとを加算し、前記差分の絶対値が所定値未満である場合には、前記動きベクトルによって関連付けられた前記基準画像フレームの前記画像ブロックと他の前記画像フレームの前記画像ブロックとを加算する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１のフレームレートの画像信号または前記第２のフレームレートの画像信号の輝度レベルを検出する信号レベル検出手段と、
検出された前記輝度レベルに基づいて、前記画像フレームを合成するか否かを判定するフレーム合成判定手段と、
前記第１のフレームレートの画像信号を構成する複数の前記画像フレームを蓄積するフレーム蓄積手段と、
前記フレーム合成判定手段によって、前記画像フレームを合成すると判定された場合に、前記フレーム蓄積手段に蓄積されている前記画像フレームに前記画像ブロックを設定するブロック設定手段と、
をさらに有することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
撮像を行い、第１のフレームレートの画像信号を出力する撮像手段と、
前記第１のフレームレートの画像信号を構成する画像フレームの部分領域である画像ブロックを、画像中の動きに基づいて複数の前記画像フレーム間で関連付ける動きベクトルを算出する動きベクトル算出手段と、
複数の前記画像フレーム間で前記動きベクトルによって関連付けられた前記画像ブロックを加算することによって、前記複数の画像フレームを合成して１枚の画像フレームを生成し、前記第１のフレームレートよりも低い第２のフレームレートの画像信号として出力するフレーム合成手段と、
を有することを特徴とする撮像装置。
【請求項５】
前記動きベクトル算出手段は、合成の基準とする基準画像フレームの前記画像ブロックと他の前記画像フレームの前記画像ブロックとの画素値の差分を算出し、
前記フレーム合成手段は、前記差分の絶対値が所定値以上である場合には、前記基準画像フレームの前記画像ブロックと前記基準画像フレームの同一の前記画像ブロックとを加算し、前記差分の絶対値が所定値未満である場合には、前記動きベクトルによって関連付けられた前記基準画像フレームの前記画像ブロックと他の前記画像フレームの前記画像ブロックとを加算する
ことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記第１のフレームレートの画像信号または前記第２のフレームレートの画像信号の輝度レベルを検出する信号レベル検出手段と、
検出された前記輝度レベルに基づいて、前記画像フレームを合成するか否かを判定するフレーム合成判定手段と、
前記第１のフレームレートの画像信号を構成する複数の前記画像フレームを蓄積するフレーム蓄積手段と、
前記フレーム合成判定手段によって、前記画像フレームを合成すると判定された場合に、前記フレーム蓄積手段に蓄積されている前記画像フレームに前記画像ブロックを設定するブロック設定手段と、
をさらに有することを特徴とする請求項４または請求項５に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、照度の低い条件下において、被写体の移動によって発生する画像のブレやボケの低減を図った画像処理装置および撮像装置に関する。
【背景技術】
【０００２】
従来の撮像装置においては、被写体への照明光が低照度になった場合、通常、ゲインを調整する、シャッタースピードを遅くする、または絞りを開放する等の、撮像素子の画像信号出力を高めるような調整が行われて、画像信号出力の強度、すなわち画像の明るさが確保されている。特に、照度が低い条件下においては、画像信号の強度に比較してノイズの比率が高く、感度が十分でない場合が多い。ゲインの調整により信号強度を確保する方法では、このような撮像条件でゲインの調整を図ると、ノイズの影響が大きくなる。
【０００３】
したがって、このような照度の低い条件で撮影する場合には、光量調整を図る方法が主にとられることが多い。しかし、シャッタースピードを遅くして撮像素子での電荷蓄積量を増やそうとすると、被写体が移動している場合に、画像にブレやボケが発生し、画質が低下する。また、光量絞りを開放する方法も考えられるが、被写界深度が浅くなることにより、ボケる範囲が広くなる等、別の面で画質が影響を受ける。
【０００４】
照度の低い条件で被写体を撮像する技術は、例えば特許文献１に開示されている。特許文献１には、間欠動作の期間（電化蓄積時間）とゲインを制御し、所定の出力レベルを獲得する方法が記載されている。この方法では、アンプのゲインが上がりすぎることによる画像劣化を回避するように、間欠動作の期間（電化蓄積時間）が制御される。したがって、照度の低い条件では電荷蓄積時間が長くなるので、被写体に移動体があると、画像にブレやボケが発生する。
【特許文献１】特開平７−２３１４０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述したように、外光の照度が低下した条件下で十分な信号強度、つまり画像の明るさを確保しようとすると、被写体が移動している場合に、画像にブレやボケが発生するという問題点があった。
【０００６】
本発明は、上述した問題点に鑑みてなされたものであって、被写体の照明光量が十分でなく、高速に被写体が移動しているような条件においても、ブレやボケを増加させずに良好な画像を得ることができる画像処理装置および撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上記の課題を解決するためになされたもので、請求項１に記載の発明は、第１のフレームレートの画像信号を構成する画像フレームの部分領域である画像ブロックを、画像中の動きに基づいて複数の前記画像フレーム間で関連付ける動きベクトルを算出する動きベクトル算出手段と、複数の前記画像フレーム間で前記動きベクトルによって関連付けられた前記画像ブロックを加算することによって、前記複数の画像フレームを合成して１枚の画像フレームを生成し、前記第１のフレームレートよりも低い第２のフレームレートの画像信号として出力するフレーム合成手段とを有することを特徴とする画像処理装置である。
【０００８】
請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記動きベクトル算出手段は、合成の基準とする基準画像フレームの前記画像ブロックと他の前記画像フレームの前記画像ブロックとの画素値の差分を算出し、前記フレーム合成手段は、前記差分の絶対値が所定値以上である場合には、前記基準画像フレームの前記画像ブロックと前記基準画像フレームの同一の前記画像ブロックとを加算し、前記差分の絶対値が所定値未満である場合には、前記動きベクトルによって関連付けられた前記基準画像フレームの前記画像ブロックと他の前記画像フレームの前記画像ブロックとを加算することを特徴とする。
【０００９】
請求項３に記載の発明は、請求項１または請求項２に記載の画像処理装置において、前記第１のフレームレートの画像信号または前記第２のフレームレートの画像信号の輝度レベルを検出する信号レベル検出手段と、検出された前記輝度レベルに基づいて、前記画像フレームを合成するか否かを判定するフレーム合成判定手段と、前記第１のフレームレートの画像信号を構成する複数の前記画像フレームを蓄積するフレーム蓄積手段と、前記フレーム合成判定手段によって、前記画像フレームを合成すると判定された場合に、前記フレーム蓄積手段に蓄積されている前記画像フレームに前記画像ブロックを設定するブロック設定手段とをさらに有することを特徴とする。
【００１０】
請求項４に記載の発明は、撮像を行い、第１のフレームレートの画像信号を出力する撮像手段と、前記第１のフレームレートの画像信号を構成する画像フレームの部分領域である画像ブロックを、画像中の動きに基づいて複数の前記画像フレーム間で関連付ける動きベクトルを算出する動きベクトル算出手段と、複数の前記画像フレーム間で前記動きベクトルによって関連付けられた前記画像ブロックを加算することによって、前記複数の画像フレームを合成して１枚の画像フレームを生成し、前記第１のフレームレートよりも低い第２のフレームレートの画像信号として出力するフレーム合成手段とを有することを特徴とする撮像装置である。
【００１１】
請求項５に記載の発明は、請求項４に記載の撮像装置において、前記動きベクトル算出手段は、合成の基準とする基準画像フレームの前記画像ブロックと他の前記画像フレームの前記画像ブロックとの画素値の差分を算出し、前記フレーム合成手段は、前記差分の絶対値が所定値以上である場合には、前記基準画像フレームの前記画像ブロックと前記基準画像フレームの同一の前記画像ブロックとを加算し、前記差分の絶対値が所定値未満である場合には、前記動きベクトルによって関連付けられた前記基準画像フレームの前記画像ブロックと他の前記画像フレームの前記画像ブロックとを加算することを特徴とする。
【００１２】
請求項６に記載の発明は、請求項４または請求項５に記載の撮像装置において、前記第１のフレームレートの画像信号または前記第２のフレームレートの画像信号の輝度レベルを検出する信号レベル検出手段と、検出された前記輝度レベルに基づいて、前記画像フレームを合成するか否かを判定するフレーム合成判定手段と、前記第１のフレームレートの画像信号を構成する複数の前記画像フレームを蓄積するフレーム蓄積手段と、前記フレーム合成判定手段によって、前記画像フレームを合成すると判定された場合に、前記フレーム蓄積手段に蓄積されている前記画像フレームに前記画像ブロックを設定するブロック設定手段とをさらに有することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、第２のフレームレートよりも高い第１のフレームレートの画像信号を構成する複数の画像フレームが、動きベクトルによって関連付けられたブロック同士を加算することによって合成されるので、被写体の照明光量が十分でなく、高速に被写体が移動しているような条件においても、ブレやボケを増加させずに良好な画像を得ることができるという効果が得られる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照し、本発明を実施するための最良の形態について説明する。図１は、本発明の一実施形態による撮像装置の構成を示している。図において、撮像部１は、撮像を行うための構成を備えており、画像処理部２は、撮像によって生成された画像信号を処理するための構成を備えている。撮像部１と画像処理部２を一体の装置として構成してもよいし、別個の装置として構成してもよい。撮像部１において、撮像レンズ１１は被写体からの光を集光する。撮像レンズ１１によって集光された光は、固体撮像装置１２（撮像手段）において結像される。固体撮像装置１２は、撮像を行う撮像素子を備えており、撮像レンズ１１によって集光された光を電気信号に変換し、被写体像に基づいた画像信号を出力する。固体撮像装置１２は、撮像素子から画素信号を並列に読み出すことによって、高フレームレートの動画像信号の生成を実現している。
【００１５】
固体撮像装置１２から出力された画像信号はAGC部１３に入力される。AGC部１３は画像信号を増幅してA/D変換部１４へ出力する。A/D変換部１４は画像信号を標本化・量子化し、デジタルデータに変換する。駆動回路１５は、固体撮像装置１２を駆動するための各種パルスを発生し、固体撮像装置１２の動作を制御する。
【００１６】
画像処理部２において、ビデオメモリ２１は、A/D変換部１４から出力された１フレーム分の画像データ（画像フレーム）を記憶する。フレーム合成部２２は、制御部２６からの指示に従って、蓄積用のビデオメモリ２４から必要な画像フレームを取り出し、複数の画像フレームを合成する。すなわち、照度が低い場合には、フレーム合成部２２は、必要に応じて複数の画像フレームを加算して１枚の画像フレームを生成し、第１フレームレートよりも低い第２フレームレートの画像信号を構成する画像フレームとしてカメラ信号処理部２３へ出力する。また、それ以外の場合には、フレーム合成部２２は、第１フレームレートで生成された画像フレームを間引いて、第２フレームレートの画像信号を構成する画像フレームとしてカメラ信号処理部２３へ出力する。
【００１７】
カメラ信号処理部２３は、入力された画像信号に対して、色調整やその他の信号処理を行って出力する。ビデオメモリ２４（フレーム蓄積手段）は、第１フレームレートの画像信号を構成する複数の画像フレームを蓄積する。レベル検出器２５（信号レベル検出手段）は、ビデオメモリ２１からフレーム合成部２２へ出力された画像フレームの画像信号レベル（全画素の輝度レベルの平均値等）を検出する。レベル検出器２５が、カメラ信号処理部２３から出力された第２フレームレートの画像信号を構成する画像フレームの画像信号レベル（輝度レベル）を検出すること等によって、画像信号レベルを検出するようにしてもよい。制御部２６は上記の各構成を制御する。
【００１８】
次に、固体撮像装置１２の内部構成を説明する。図２は、固体撮像装置１２が備える撮像素子の内部構成を示している。撮像素子の撮像領域は複数のエリア（分割エリア）に分割され、各分割エリアから電荷信号が取り出されて、複数の出力信号として並列に出力される。撮像領域は撮像領域Ｉ、ＩＩ、ＩＩＩ、ＩＶに４分割されている。垂直転送CCD１２５および水平転送CCD１２１によって撮像領域Ｉの電荷が読み出され、出力ａとして出力される。垂直転送CCD１２６および水平転送CCD１２２によって撮像領域ＩＩの電荷が読み出され、出力ｂとして出力される。垂直転送CCD１２７および水平転送CCD１２３によって撮像領域ＩＩＩの電荷が読み出され、出力ｃとして出力される。垂直転送CCD１２８および水平転送CCD１２４によって撮像領域ＩＶの電荷が読み出され、出力ｄとして出力される。このように、撮像領域を分割し、並列的に画素信号を読み出すことにより、高フレームレートが実現されている。なお、CCDセンサを備えた撮像素子に代えて、CMOSセンサを備えた撮像素子を用いてもよい。
【００１９】
ここで、出力ａ〜ｄが得られるが、全て（４つ）の信号出力により、全画素領域から信号が読み出されることになる。固体撮像装置１２は、上記の４つの画素信号を１フレーム単位でバッファリングし、合成して第１フレームレートの画像信号として出力する信号処理回路を備えている。第１フレームレートの画像信号を出力する場合には、第１フレームレートよりも低い第２フレームレートの画像信号を出力する場合と比較して、シャッタースピードが速くなるので、被写体が移動している場合でも、ブレやボケの発生を低減することができる。
【００２０】
次に、フレーム合成部２２の構成および画像フレームの合成の方法を説明する。図３はフレーム合成部２２の構成を示している。フレーム合成部２２はフレーム合成判定部２２１（フレーム合成判定手段）、ビデオメモリ操作部２２２、ブロック化部２２３（ブロック設定手段）、動きベクトル演算部２２４（動きベクトル演算手段）、および合成部２２５（フレーム合成手段）を備えている。これらの各構成の動作は、制御部２６によって制御される。また、ビデオメモリ２４には、ビデオメモリ操作部２２２〜合成部２２５によって処理される画像フレームが蓄積される。ビデオメモリ２４には過去複数フレーム分の画像フレームが蓄積フレームとして保存される。ビデオメモリ２１から画像フレームが出力されると、レベル検出器２５によってその画像フレームの画像信号レベルが検出され、画像フレームはフレーム合成判定部２２１に入力される。制御部２６は、レベル検出器２５によって検出された画像信号レベルをフレーム合成判定部２２１に通知する。
【００２１】
フレーム合成判定部２２１は、通知された画像信号レベルを用いて、画像フレームの合成を行うか否かを判定する。判定は、例えば画像フレームの全画素の平均輝度レベルを求めて規定レベルと比較する、あるいは輝度レベルが一定値以下である画素の占める面積と規定値を比較することによって行われる。平均輝度レベルが規定レベル以上、あるいは上記の面積が規定値以上であった場合には、フレーム合成判定部２２１は、照度が十分であると判断し、画像フレームの合成を行わないと判定する。一方、平均輝度レベルが規定値未満、あるいは上記の面積が規定値未満であった場合には、フレーム合成判定部２２１は、照度が不十分であると判断し、所望の露光量が確保された場合の画像フレームに相当する画像フレームを得るため、画像フレームの合成を行うと判定する。
【００２２】
フレーム合成判定部２２１は、判定結果を制御部２６に通知すると共に、ビデオメモリ２１から出力された画像フレームをビデオメモリ操作部２２２へ出力する。制御部２６は、通知された判定結果に基づいてビデオメモリ操作部２２２〜合成部２２５の動作を制御する。以下、フレーム合成判定部２２１によって、画像フレームの合成を行うと判定された場合の各構成の動作を説明する。ビデオメモリ操作部２２２は、フレーム合成判定部２２１から出力された画像フレームをビデオメモリ２４に格納し、合成において基準のフレームとなる基準画像フレームをビデオメモリ２４から読み出して、ブロック化部２２３へ出力する。
【００２３】
ブロック化部２２３〜合成部２２５によって、画像フレームを合成するための処理が行われる。図４に示されるように、所定数の画像フレームを合成することによって、第１フレームレートの画像信号から第２フレームレートの画像信号が生成される。一例として、３枚の画像フレームを合成して１枚の画像フレームを生成する場合について説明する。図４のフレームａ３を処理する時点で画像フレームの合成が行われる場合、フレームａ１〜ａ３から１つのフレームが生成される。このとき、フレームａ１およびａ２はビデオメモリ２４に既に格納されており、それらがビデオメモリ２４から読み出されてフレームａ３と合成される。同様に、フレームａ４〜ａ６、フレームａ７〜ａ９からそれぞれ１つのフレームが生成される。
【００２４】
以下、フレームａ１〜ａ３から１つのフレームを生成する手順を説明する。基準フレームがフレームａ２であるとすると、ビデオメモリ操作部２２２によってフレームａ２が読み出され、ブロック化部２２３へ出力される。ブロック化部２２３はフレームａ２を分割し、フレームａ２の部分領域であるブロック（画像ブロック）を複数生成する。これによって、フレームａ２に複数のブロックが設定される。ブロック化部２２３はフレームａ２を、例えばＭ×Ｎのブロックに分割し、分割したブロックを順次、動きベクトル演算部２２４へ出力する。ブロック分割の様子を図５（ａ）に示す。
【００２５】
動きベクトル演算部２２４は、画像中の動きに基づいて複数の画像フレーム間で画像ブロックを関連付ける動きベクトルを算出する。動きベクトル演算部２２４はフレームａ１（参照フレーム）をビデオメモリ２４から読み出し、ブロック化部２２３から出力されたブロック（図５（ａ）のブロックＡとする）を、フレームａ１の同一座標（図５（ｂ）のエリアＢ）を中心とし、上下にそれぞれＨ，Ｗドット広げた範囲内（図５（ｂ）のエリアＣ内、図６参照）でずらしながら、フレームａ２のブロックとフレームａ１のブロックとの画素値の絶対値差分を求める。画素値の絶対値差分は、以下の式で求められる。なお、ｆ（ｘ，ｙ）はフレームａ１における座標（ｘ，ｙ）の画素値であり、ｇ（ｘ，ｙ）はフレームａ２における座標（ｘ，ｙ）の画素値である。また、エリアＢのｘ座標の範囲はｘ０〜ｘ０＋ａであり、ｙ座標の範囲はｙ０〜ｙ０＋ｂである。
【００２６】
【数１】
2006319784.tif 000003
【００２７】
動きベクトル演算部２２４は−Ｈ≦Ｉ≦Ｈ、−Ｗ≦Ｊ≦Ｗの範囲でＩ，Ｊを変化させ、Φ（Ｉ，Ｊ）の値が最小になる位置を求める。その位置を中心とし、ブロックＡと同じ大きさのフレームａ１のブロックが、移動先のブロックとしてブロックＡと関連付けられる。ブロック内に移動物体がない場合には、ブロックＡがエリアＢに完全に重なる同一座標（Ｉ＝０，Ｊ＝０）でΦ（Ｉ，Ｊ）の値が最小となり、動きベクトルは０となる。動きの少ないエリアでは高速に処理することができる。物体が移動している場合には、Ｉ，Ｊは非零となるので、Ｉ，Ｊ方向のずれ量を動きベクトルとして、対応付けが行われる。動きベクトル演算部２２４は、求めた動きベクトルと、その動きベクトルによって関連付けられたブロックの情報を合成部２２５へ出力する。なお、基準フレームのブロックと関連付けられる参照フレームのブロックの設定は動きベクトル演算部２２４によって行われるが、ブロック化部２２３が行ってもよい。
【００２８】
続いて、合成部２２５は、動きベクトルによって対応付けられたブロック同士の画素値を加算することによって、フレームａ１とａ２を合成する。この合成において、合成部２２５は、動きベクトル演算部２２４によって算出された画素値の絶対値差分のブロック内での全画素の合計が規定値未満であった場合には、対応付けられたブロック間で、相対位置の等しい画素毎に画素値を加算する。また、画素値の絶対値差分のブロック内での全画素の合計が規定値以上であった場合には、合成部２２５は、フレームａ１とａ２を合成するのではなく、フレームａ２の画素値に元のフレームａ２の画素値を加算する。これは、移動体が変形したり、回転したり等の場合が想定されるからである。
【００２９】
同様に、フレームａ２とａ３の合成が行われる。合成部２２５は、フレームａ１とａ２の合成処理における画素値の加算結果と、フレームａ２とａ３の合成処理における画素値の加算結果とを保持し、両者の結果を画素毎にさらに加算することによって、１枚の画像フレームを生成して出力する。この結果、フレームａ１〜ａ３から１枚の画像フレームが生成され、同様にフレームａ４〜ａ６、フレームａ７〜ａ９からそれぞれ１枚ずつ画像フレームが生成されるので、第１のフレームレートの３分の１のフレームレートで画像フレームが出力される。
【００３０】
次に、フレーム合成判定部２２１によって、画像フレームの合成を行わないと判定された場合の動作を説明する。ビデオメモリ操作部２２２は、フレーム合成判定部２２１から出力された画像フレームをビデオメモリ２４に格納する。制御部２６は、ビデオメモリ２４に順次格納される画像フレームを監視し、第２フレームレートに対応した画像フレームの出力タイミングとなったときに、ビデオメモリ操作部２２２に画像フレームの出力を指示する。指示を受けたビデオメモリ操作部２２２は、最後にビデオメモリ２４に格納した画像フレームをカメラ信号処理部２３へ出力する。上記の動作によって、画像フレームの合成が行われない場合、すなわち照度が十分である場合には、第１のフレームレートで生成された画像フレームが間引かれて、第２のフレームレートで画像フレームが出力される。
【００３１】
次に、図７および図８を参照して、本実施形態における画像フレームの合成の詳細な手順の一例を説明する。レベル検出器２５は、ビデオメモリ２１からフレーム合成部２２へ出力された画像フレームの全画素の画像信号レベルの平均値を算出し、制御部２６に通知する（図７のステップＳ７０１）。制御部２６は画像信号レベルの平均値をフレーム合成判定部２２１に通知する。フレーム合成判定部２２１は、通知された画像信号レベルの平均値が規定値以上であるか否かを判定する（ステップＳ７０２）。
【００３２】
画像信号レベルの平均値が規定値以上であった場合には、フレーム合成判定部２２１は、画像フレームの合成を行うか否かの判定に用いる合成ＦＬＡＧをＯＦＦとする（ステップＳ７０３）。この合成ＦＬＡＧは内部のレジスタに設定される。また、画像信号レベルの平均値が規定値未満であった場合には、フレーム合成判定部２２１は合成ＦＬＡＧをＯＮとし、ビデオメモリ２４に蓄積された画像フレームを取り出す際に用いる取り出しＣＮＴを０とする（ステップＳ７０４）。この取り出しＣＮＴも内部のレジスタに設定される。
【００３３】
続いて、フレーム合成判定部２２１は、合成ＦＬＡＧに基づいて、画像フレームの合成を行うか否かを判定する（ステップＳ７０５）。フレーム合成判定部２２１によって画像フレームの合成を行うと判定された場合には、制御部２６は、合成に必要な分の画像フレームがビデオメモリ２４に格納されているか否かを判定する（ステップＳ７０６）。合成に必要な分の画像フレームがビデオメモリ２４に格納されていなかった場合には、制御部２６は、ビデオメモリ操作部２２２に対して画像フレームの蓄積を指示する。指示を受けたビデオメモリ操作部２２２は、フレーム合成判定部２２１から出力された画像フレームをビデオメモリ２４に格納する（ステップＳ７１３）。
【００３４】
一方、合成に必要な分の画像フレームがビデオメモリ２４に格納されていた場合には、制御部２６は、ビデオメモリ操作部２２２〜合成部２２５と協働して画像フレームの合成を行う（ステップＳ７０７）。ステップＳ７０７において、基準画像フレームとその他の１フレーム分の画像フレームとの合成が行われる。画像フレームの合成を行った後、制御部２６は、取り出しＣＮＴの値が所定値Ｎ未満であるか否かを判定する（ステップＳ７０８）。取り出しＣＮＴの値が所定値Ｎ未満であった場合には、制御部２６は取り出しＣＮＴの値を１だけ増加する（ステップＳ７０９）。続いて、処理はステップＳ７０７に戻る。また、ステップＳ７０８において、取り出しＣＮＴの値がＮ以上であった場合には、合成部２２５は、合成した画像フレームをカメラ信号処理部２３へ出力する（ステップＳ７１２）。
【００３５】
ステップＳ７０５において、合成を行わないと判定された場合、ビデオメモリ操作部２２２は、フレーム合成判定部２２１から出力された画像フレームをビデオメモリ２４に格納する（ステップＳ７１０）。続いて、制御部２６は、現在の処理対象の画像フレームのフレーム番号が、第２フレームレートに基づいた所定の番号であるか否かを判定する（ステップＳ７１１）。画像フレームのフレーム番号が所定の番号であった場合には、ビデオメモリ操作部２２２は、制御部２６からの指示に従って、現在の処理対象の画像フレームをカメラ信号処理部２３へ出力する（ステップＳ７１２）。これによって、照度が十分であり、画像フレームの合成を行わない場合には、第２フレームレートに基づいたタイミングで画像フレームが後段の処理回路へ出力される。ステップＳ７１１において、画像フレームのフレーム番号が所定の番号でなかったと判定された場合には、一連の処理が終了し、次の画像フレームの処理となる。
【００３６】
ステップＳ７０７における画像フレームの合成処理の手順は以下の通りである（図８参照）。一例として、Ｐ枚の画像フレームを合成する場合を説明する。このＰは、ステップＳ７０８において、取り出しＣＮＴと比較される所定値Ｎと同一である。合成の基準となる基準画像フレームのフレーム番号をＬとすると、フレーム番号が１，２，・・・，Ｌ−１，Ｌ＋１，・・・，Ｐの順序となるように、画像フレームがビデオメモリ２４から取り出され、フレーム番号がＬの画像フレームと順次合成される。図８は、基準画像フレームと他の１フレーム分の画像フレームとの合成処理の手順を示している。図８に示される処理がＰ−１回繰り返され、最終的に１枚の画像フレームが合成される。
【００３７】
まず、制御部２６は基準画像フレームのフレーム番号ＬをＬ＝Ｐ／２（切り捨て）によって算出し、算出したフレーム番号の画像フレームの読み出しをビデオメモリ操作部２２２に指示する。指示を受けたビデオメモリ操作部２２２は基準画像フレームをビデオメモリ２４から読み出し、ブロック化部２２３へ出力する（ステップＳ８０１）。ブロック化部２２３は基準画像フレームをＭ×Ｎのブロック（画像ブロック）に分割する（ステップＳ８０２）。
【００３８】
続いて、ブロック化部２２３は、基準画像フレームの全てのブロックの処理を終了したか否かを判定する（ステップＳ８０３）。全てのブロックの処理が終了した場合、処理は図７のステップＳ７０８に戻る。また、未処理のブロックが残っている場合には、ブロック化部２２３は、分割したブロックのうちの１つのブロックを動きベクトル演算部２２４へ出力する（ステップＳ８０４）。
【００３９】
続いて、動きベクトル演算部２２４は、フレーム番号が１，２，・・・，Ｌ−１，Ｌ＋１，・・・，Ｐの画像フレームの中から処理対象の画像フレーム（参照フレームとする）をビデオメモリ２４から読み出し、参照フレーム上に処理対象のブロックを設定すると共に、そのブロックと、ブロック化部２２３によって分割された基準画像フレームのブロックとの２つのブロック間の画素値の絶対値差分を、参照フレーム上のブロックを順次変えながら算出する（ステップＳ８０５）。動きベクトル演算部２２４は、算出した絶対値差分が最小となるブロックの位置を参照フレーム上で求め、動きベクトルを算出し、動きベクトルの情報および２つのブロックの情報を合成部２２５へ出力する（ステップＳ８０６）。
【００４０】
合成部２２５は、動きベクトルによって関連付けられた２つのブロック同士の画素値の絶対値差分が所定値未満であるか否かを判定する（ステップＳ８０７）。絶対値差分が所定値未満であった場合には、合成部２２５は、動きベクトルによって対応付けられたブロック間で、相対位置の等しい画素毎に画素値を加算し、加算結果を保持する（ステップＳ８０８）。また、絶対値差分が所定値以上であった場合には、合成部２２５は、基準画像フレームのブロックおよびそれと同一のブロック間で、相対位置の等しい画素毎に画素値を加算し、加算結果を保持する。ステップＳ８０７およびＳ８０８において加算された結果は、基準画像フレームと他の参照フレームとの加算結果となる。ステップＳ８０７およびＳ８０８以後、処理はステップＳ８０３に戻る。
【００４１】
上述したように、本実施形態によれば、より高速なシャッタースピードで撮像が行われるので、画像のブレやボケの発生を低減することができる。また、高速なシャッタースピードで取り込まれた複数の画像フレームから１つの画像フレームが生成されるので、照明光が暗い場合でも、必要な露光量を確保することができる。さらに、複数の画像フレームを合成する際に、動きベクトルによって関連付けられたブロック同士が加算されるので、被写体が高速に動いている場合でも、画像のブレやボケは少ない。したがって、被写体の照明光量が十分でなく、高速に被写体が移動しているような条件においても、ブレやボケを増加させずに良好な画像を得ることができる。
【００４２】
また、各画像フレームに発生するノイズの発生位置は、所定の確率分布に従って分散するので、複数の画像フレームを合成することによって、画像中のノイズの影響を低減することができる。さらに、動きベクトルによって関連付けられた２つのブロックの画素毎の画素値の絶対値差分の合計が所定値以上であった場合に、基準画像フレームのブロックおよびそれと同一のブロック間で、相対位置の等しい画素毎に画素値を加算することによって、被写体の変形や回転の影響を低減することができる。
【００４３】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこれらの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【図面の簡単な説明】
【００４４】
【図１】本発明の一実施形態による撮像装置の構成を示すブロック図である。
【図２】本発明の一実施形態による撮像装置が備える撮像素子の構成を示すブロック図である。
【図３】本発明の一実施形態による撮像装置が備えるフレーム合成部の構成を示すブロック図である。
【図４】本発明の一実施形態における画像フレームの合成の様子を示す概念図である。
【図５】本発明の一実施形態における動きベクトルの算出方法を説明するための参考図である。
【図６】本発明の一実施形態における動きベクトルの算出方法を説明するための参考図である。
【図７】本発明の一実施形態における画像フレームの合成の手順の一例を示すフローチャートである。
【図８】本発明の一実施形態における画像フレームの合成の手順の一例を示すフローチャートである。
【符号の説明】
【００４５】
１・・・撮像部、２・・・画像処理部、１１・・・撮像レンズ、１２・・・固体撮像装置、１３・・・AGC部、１４・・・A/D変換部、１５・・・駆動回路、２１・・・ビデオメモリ、２２・・・フレーム合成部、２３・・・カメラ信号処理部、２４・・・ビデオメモリ、２５・・・レベル検出器、２６・・・制御部、１２１，１２２，１２３，１２４・・・水平転送CCD、１２５，１２６，１２７，１２８・・・垂直転送CCD、２２１・・・フレーム合成判定部、２２２・・・ビデオメモリ操作部、２２３・・・ブロック化部、２２４・・・動きベクトル演算部、２２５・・・合成部
【図１】
2006319784.tif 000004
【図２】
2006319784.tif 000005
【図３】
2006319784.tif 000006
【図４】
2006319784.tif 000007
【図５】
2006319784.tif 000008
【図６】
2006319784.tif 000009
【図７】
2006319784.tif 000010
【図８】
2006319784.tif 000011