(57)【要約】【課題】  予め撮影された露光量の異なる複数の画像を用いて、良好な画像合成処理が可能な撮像装置を提供する。【解決手段】  被写体像を光電変換して電気信号として出力するＣＣＤ撮像素子１と、画像の色補正やエッジ強調などを行う画像処理装置２と、画像データを格納するためのメモリ３と、複数の画像を合成する画像合成装置４と、これらの各装置を制御するＣＰＵ５とを備え、メモリは撮像素子により予め撮影された露光量の異なる複数の画像を格納し、画像合成装置は、メモリに格納されている露光量の異なる複数の画像を入力して合成処理を施すように構成する。【選択図】        図１
2006325274.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を光電変換して電気信号として出力する撮像素子と、
画像データを格納するためのメモリと、
複数の画像を合成処理する画像合成装置とを備えた撮像装置であって、
前記メモリは、前記撮像素子によりあらかじめ撮影された露光量の異なる複数の画像を格納し、
前記画像合成装置は、前記メモリに格納されている前記露光量の異なる複数の画像を入力して合成処理を施すことを特徴とする撮像装置。
【請求項２】
前記画像合成装置は、
前記メモリから読み出した前記露光量の異なる複数画像を用いて動きベクトルを検出すると共に、前記露光量の異なる複数の画像の二値化画像を生成して前記メモリに格納させる動きベクトル検出部と、
前記動きベクトル及び前記メモリに格納された前記露光量の異なる複数の画像の二値化画像を用いて合成画像を切り換え出力する切換手段とを有することを特徴とする請求項１に係る撮像装置。
【請求項３】
被写体像を光電変換して電気信号として出力する撮像素子と、
画像データを格納するためのメモリと、
複数の画像を合成処理する画像合成装置とを備えた撮像装置であって、
前記メモリは、前記撮像素子によりあらかじめ撮影された露光量の異なる複数の画像を格納し、
前記画像合成装置は、前記メモリに格納されている前記露光量の異なる複数の画像を入力して、ぶれの種類を判定し、その判定結果をもとに手ぶれ補正処理もしくは被写体ぶれ補正処理のいずれかの補正処理を切り換えて行って合成画像を出力することを特徴とする撮像装置。
【請求項４】
前記画像合成装置は、
前記メモリから読み出した前記露光量の異なる複数画像を用いて動きベクトルを検出すると共に、前記露光量の異なる複数の画像の二値化画像を生成して前記メモリに格納させる動きベクトル検出部と、
前記動きベクトル及び前記メモリに格納された前記露光量の異なる複数の画像の二値化画像を用いてぶれが発生しているのか否かを判定して出力するぶれ判定部と、
前記ぶれ判定部の結果をもとに、手ぶれ補正処理もしくは被写体ぶれ補正処理のいずれかの補正処理を行って合成画像を切り換え出力する切換手段とを有することを特徴とする請求項３に係る撮像装置。
【請求項５】
前記画像合成装置は、ローパスフィルタを更に備え、前記合成処理を施された画像信号にローパスフィルタをかけるように構成されていることを特徴とする請求項１乃至４のいずれか１項に係る撮像装置。
【請求項６】
前記画像合成装置は、動きベクトルを検出する領域を特定する動きベクトル検出領域特定手段を更に備え、前記切換手段は、前記動きベクトル検出領域に対応する画像信号にローパスフィルタをかけるように構成されていることを特徴とする請求項２又は４に係る撮像装置。
【請求項７】
前記画像合成装置は、前記ぶれの種類を判定して出力するぶれ種類判定部を有し、前記切換手段は、前記ぶれ種類判定部から出力された結果が被写体ぶれを示す場合、前記一方の画像と前記他方の画像を合成して得られる画像に対して、前記動きベクトル検出領域に対応する画像信号にローパスフィルタをかけるように構成されていることを特徴とする請求項６に係る撮像装置。
【請求項８】
前記画像合成装置は、前記動きベクトルをもとに前記露光量の異なる複数の画像のうちの一方の画像の座標を水平及び垂直方向にずらした画像と、前記露光量の異なる複数の画像のうちの他方の画像とから、画像間の不一致領域を求め、
前記切換手段は、前記動きベクトルをもとに前記一方の画像を水平及び垂直方向に座標をずらした画像と前記他方の画像とを合成して得られる手ぶれ補正画像に対して、前記不一致領域に対応する画素像信号にローパスフィルタをかけるように構成されていることを特徴とする請求項４に係る撮像装置。
【請求項９】
前記画像合成装置は、前記動きベクトルをもとに前記複数の二値画像のうちの一方の画像に係る二値画像の座標を水平及び垂直方向にずらした画像と、前記複数の二値画像のうちの他方の画像とから、画像間の不一致領域を求め、
前記切換手段は、前記動きベクトルをもとに前記一方の画像を水平及び垂直方向に座標をずらした画像と前記他方の画像とを合成して得られる手ぶれ補正画像に対して、前記不一致領域に対応する画像信号にローパスフィルタをかけるように構成されていることを特徴とする請求項４に係る撮像装置。
【請求項１０】
前記切換手段は、前記ぶれ判定信号が手ぶれを示す場合、前記動きベクトルをもとに前記一方の画像を水平及び垂直方向に座標をずらした画像と前記他方の画像とを合成して得られる手ぶれ補正画像に対して、前記不一致領域に対応する画素像信号にローパスフィルタをかけるように構成されていることを特徴とする請求項９に係る撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、露光量の異なる複数の画像を合成して出力する画像合成装置を備えた撮像装置に関する。
【背景技術】
【０００２】
固体撮像素子を有する撮像装置においては、銀塩フィルムに比べて固体撮像素子のダイナミックレンジが狭いため、例えば明るい背景のもとで被写体を撮影する場合、被写体の黒つぶれや、背景の白とびが生じる。このような現象を防ぐために、被写体、背景それぞれに対し適正露出の画像を撮影し、それら露光量の異なる複数の画像を合成する方法が提案されている。
【０００３】
図20に、露光量の異なる２つの画像を合成してダイナミックレンジの広い画像を得る方法の概念図を示す。図20において、図20の（Ｂ）に示す長時間露光画像は人物や木に露出があっており背景が白とびしているとする。また、図20の（Ａ）に示す短時間露光画像は背景に露出があっており人物が黒つぶれしているとする。これらの画像の合成は、例えば以下の方法で行うことができる。まず、長時間露光画像に対して適当な閾値を設定し画素値が閾値以上の領域が白とびの領域と一致するようにする。次いで、前記閾値以上の領域については、短時間露光画像の対応する（同位置の) 画像を貼り付けて合成する。このようにして合成することで、図20の（Ｃ）に示すように、背景、人物共に露出のあったダイナミックレンジの広い画像を得ることができる。
【０００４】
しかしながら、一つの撮像素子で露光量の異なる画像を複数枚撮影する場合、各画像の撮影タイミングはずれているため、例えば被写体が移動していたり、手ぶれが発生した場合に、画像間に位置ずれが生じる。このように位置ずれを生じている複数の画像を合成すると、図21に示すように、被写体が２重になるなど不自然な画像になってしまう。
【０００５】
従来、このような画像の位置ずれを補正する方法として、特許３１１０７９７号に提案がなされている。次に、上記特許３１１０７９７号に開示されている従来の補正方法について説明する。図22は従来の補正方法を示す概念図である。図22に示すように、画像ａと画像ｂとは手ぶれにより画面全体がずれている場合、従来の補正方法では、これらの画像をずらして、図22中の共通エリアの部分が得られるように合成している。
【０００６】
図23は、従来の補正方法を実施するための画像合成装置の構成例を示すブロック図である。入力画像を用いて動き検出206 で検出された画面ぶれ情報により、メモリ制御部205 がフィールドメモリ204aを制御して、図22中の共通エリアに相当する画像を読み出す。この共通エリア画像は、拡大補間部202aで入力画像と同等のサイズに拡大された後、フィールドメモリ204bに格納される。続いて同様に処理され、拡大補間部202aから出力される画像と、フィールドメモリ204bから読み出される前フレームの画像とが加算器202bにて合成され、ぶれを補正した画像が得られる様に構成されている。なお、図23において、201 はＡ／Ｄ変換器、203 はＤ／Ａ変換器である。
【特許文献１】特許第３１１０７９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記のように、従来提案の補正技術においては、画像全体をずらして共通エリアを得て画像のぶれ補正を行っており、画像全体がぶれる手ぶれを補正するには適した方法である。しかしながら、画像のぶれには一部の被写体が動く被写体ぶれも存在する。図24の左側に示す２枚の画像は、画像全体が手ぶれをしており、且つ飛行機が手ぶれ方向とは別方向に被写体ぶれを起こしているものとする。したがって、図24に示すような画像について、飛行機の動いた方向に画面全体をずらして補正すると、人物や木など他の被写体がずれた画像として合成される。このように、被写体ぶれした画像全体をずらして合成すると適切に合成されない場合があるが、従来提案の補正技術ではかかる観点について考慮がなされていない。
【０００８】
本発明は、上記事情に鑑みてなされたものであり、予め撮影された露光量の異なる複数の画像を用いて、良好な画像合成処理が可能な画像合成装置を備えた撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、請求項１に係る発明は、被写体像を光電変換して電気信号として出力する撮像素子と、画像データを格納するためのメモリと、複数の画像を合成処理する画像合成装置とを備えた撮像装置であって、前記メモリは、前記撮像素子によりあらかじめ撮影された露光量の異なる複数の画像を格納し、前記画像合成装置は、前記メモリに格納されている前記露光量の異なる複数の画像を入力して合成処理を施すことを特徴とするものである。
【００１０】
請求項２に係る発明は、請求項１に係る撮像装置において、前記画像合成装置は、前記メモリから読み出した前記露光量の異なる複数画像を用いて動きベクトルを検出すると共に、前記露光量の異なる複数の画像の二値化画像を生成して前記メモリに格納させる動きベクトル検出部と、前記動きベクトル及び前記メモリに格納された前記露光量の異なる複数の画像の二値化画像を用いて合成画像を切り換え出力する切換手段とを有することを特徴とするものである。
【００１１】
請求項３に係る発明は、被写体像を光電変換して電気信号として出力する撮像素子と、画像データを格納するためのメモリと、複数の画像を合成処理する画像合成装置とを備えた撮像装置であって、前記メモリは、前記撮像素子によりあらかじめ撮影された露光量の異なる複数の画像を格納し、前記画像合成装置は、前記メモリに格納されている前記露光量の異なる複数の画像を入力して、ぶれの種類を判定し、その判定結果をもとに手ぶれ補正処理もしくは被写体ぶれ補正処理のいずれかの補正処理を切り換えて行って合成画像を出力することを特徴とするものである。
【００１２】
請求項４に係る発明は、請求項３に係る撮像装置において、前記画像合成装置は、前記メモリから読み出した前記露光量の異なる複数画像を用いて動きベクトルを検出すると共に、前記露光量の異なる複数の画像の二値化画像を生成して前記メモリに格納させる動きベクトル検出部と、前記動きベクトル及び前記メモリに格納された前記露光量の異なる複数の画像の二値化画像を用いてぶれが発生しているのか否かを判定して出力するぶれ判定部と、前記ぶれ判定部の結果をもとに、手ぶれ補正処理もしくは被写体ぶれ補正処理のいずれかの補正処理を行って合成画像を切り換え出力する切換手段とを有することを特徴とするものである。
【００１３】
請求項５に係る発明は、請求項１乃至４のいずれか１項に係る撮像装置において、前記画像合成装置は、ローパスフィルタを更に備え、前記合成処理を施された画像信号にローパスフィルタをかけるように構成されていることを特徴とするものである。
【００１４】
請求項６に係る発明は、請求項２又は４に係る撮像装置において、前記画像合成装置は、動きベクトルを検出する領域を特定する動きベクトル検出領域特定手段を更に備え、前記切換手段は、前記動きベクトル検出領域に対応する画像信号にローパスフィルタをかけるように構成されていることを特徴とするものである。
【００１５】
請求項７に係る発明は、請求項６に係る撮像装置において、前記画像合成装置は、前記ぶれの種類を判定して出力するぶれ種類判定部を有し、前記切換手段は、前記ぶれ種類判定部から出力された結果が被写体ぶれを示す場合、前記一方の画像と前記他方の画像を合成して得られる画像に対して、前記動きベクトル検出領域に対応する画像信号にローパスフィルタをかけるように構成されていることを特徴とするものである。
【００１６】
請求項８に係る発明は、請求項４に係る撮像装置において、前記画像合成装置は、前記動きベクトルをもとに前記露光量の異なる複数の画像のうちの一方の画像の座標を水平及び垂直方向にずらした画像と、前記露光量の異なる複数の画像のうちの他方の画像とから、画像間の不一致領域を求め、前記切換手段は、前記動きベクトルをもとに前記一方の画像を水平及び垂直方向に座標をずらした画像と前記他方の画像とを合成して得られる手ぶれ補正画像に対して、前記不一致領域に対応する画素像信号にローパスフィルタをかけるように構成されていることを特徴とするものである。
【００１７】
請求項９に係る発明は、請求項４に係る撮像装置において、前記画像合成装置は、前記動きベクトルをもとに前記複数の二値画像のうちの一方の画像に係る二値画像の座標を水平及び垂直方向にずらした画像と、前記複数の二値画像のうちの他方の画像とから、画像間の不一致領域を求め、前記切換手段は、前記動きベクトルをもとに前記一方の画像を水平及び垂直方向に座標をずらした画像と前記他方の画像とを合成して得られる手ぶれ補正画像に対して、前記不一致領域に対応する画像信号にローパスフィルタをかけるように構成されていることを特徴とするものである。
【００１８】
請求項10に係る発明は、請求項９に係る撮像装置において、前記切換手段は、前記ぶれ判定信号が手ぶれを示す場合、前記動きベクトルをもとに前記一方の画像を水平及び垂直方向に座標をずらした画像と前記他方の画像とを合成して得られる手ぶれ補正画像に対して、前記不一致領域に対応する画素像信号にローパスフィルタをかけるように構成されていることを特徴とするものである。
【発明の効果】
【００１９】
本発明によれば、予め撮影された露光量の異なる複数の画像を用いて、良好な画像合成処理が可能な撮像装置を実現できる。また、動きのある被写体を撮影した複数枚の画像を用いて、手ぶれや被写体ぶれの影響の少ない画像処理が可能な画像情報を容易に得ることができる。
【発明を実施するための最良の形態】
【００２０】
次に、本発明を実施するための最良の形態について説明する。
【実施例】
【００２１】
（実施例１）
まず、本発明に係る撮像装置の実施例１について説明する。図１は、実施例１に係る撮像装置の基本構成を示すブロック図である。１は被写体像を光電変換して電気信号として出力するＣＣＤ撮像素子、２は画像の色補正やエッジ強調などを行う画像処理装置、３は画像データを格納するためのメモリ、４は複数の画像を合成する画像合成装置、５はこれらの各装置を制御するＣＰＵ、６はメモリと他の装置（画像処理装置、画像合成装置、ＣＰＵ）を接続するためのバスである。
【００２２】
ＣＣＤ１により撮像された画像は、バス６を介してメモリ３に格納される。メモリ３には露光量の異なる複数の画像をあらかじめ撮影して格納しておく。画像合成装置４はメモリ３に格納されている前記露光量の異なる複数の画像を入力して、ぶれの種類を判定し、その判定結果に応じた合成処理を施して、ぶれ補正画像としてメモリ３に格納する。補正された画像は必要に応じてメモリ３から読み出されて画像処理装置２において処理される。
【００２３】
次に、実施例１における画像合成装置について詳細に説明する。なお、以下の説明において、前記露光量の異なる複数の画像のうち一方を画像ａ，他方を画像ｂと称する。図２は図１における画像合成装置４の構成例を示すブロック構成図である。図２において、11は動きベクトル検出部で、該動きベクトル検出部11では、メモリ３から読み出した画像ａ，ｂを用いて、画像全体として一つの動きベクトルを検出する。また、動きベクトル検出の際に、画像ａ，ｂを二値化した二値画像ａ，ｂが生成され、メモリ３に格納される。ぶれ判定部12では、前記動きベクトル及び二値画像ａ，ｂを用いて、手ぶれが発生しているのか否かを判定し出力する。切換手段13では前記手ぶれ判定の結果をもとに、スイッチ16，17を適宜切り換えて手ぶれ補正処理部14，若しくは、被写体ぶれ補正処理部15のいずれかの処理を行って合成画像を出力する。
【００２４】
次に、図２に示した画像合成装置の各構成部材の詳細について説明する。図３は図２における動きベクトル検出部11の構成例を示すブロック構成図である。動きベクトル検出領域特定手段21では、動きベクトルを検出する領域を特定する。図４に示すように、画像ａ，ｂ間で被写体のずれている部分を動きベクトル検出領域として特定する。特定した動きベクトル検出領域の情報は、一旦メモリ３に格納される。また、動きベクトル検出領域を特定する際に生成する二値画像ａ，ｂ（後述）についても、メモリ３に格納する。ブロック設定手段22では、前記動きベクトル検出領域の情報をメモリ３から読み出し、特定の一ブロックを動きベクトル検出における基準ブロックとして設定する。図５に示すように、ブロック設定手段22により設定するブロックを基準ブロックとし、その周囲に探索範囲を設け、動きベクトル算出部23で動きベクトルを検出する。基準ブロックと探索範囲は異なる画像内に設定する。例えば、基準ブロックを画像ｂに設定する場合は、探索範囲は画像ａに設定する。
【００２５】
動きベクトルは、ブロック設定手段22で設定した基準ブロックに対してのみ算出し、その結果を画像全体として一つの動きベクトルとする。動きベクトルを算出する方法としては、例えばブロックマッチング法を用いる。ブロック設定手段22により設定する基準ブロックに対して、動きベクトルの探索範囲内の各ブロックとの類似度を求め、最も類似度の高いブロックへのベクトルを動きベクトルとする。有効判定部24では、ブロック設定手段22により設定したブロックが動きベクトル検出の基準ブロックとして適切かどうかや、動きベクトル算出部により算出した動きベクトルの妥当性を判定する。もしこれらが妥当でない場合は、算出した動きベクトルを出力しないように動きベクトル算出部23を制御する。
【００２６】
上記説明では、動きベクトル検出領域の情報をメモリ３に格納するようにしたものを示したが、動きベクトル検出領域特定手段21とブロック設定手段22との間に専用のメモリを設けてもよい。
【００２７】
図６は、図３における動きベクトル検出領域特定手段21の構成例を示すブロック図である。画像ａ，ｂはそれぞれ二値化部31，32で二値化され、二値画像ａ，ｂが生成される。このとき、画像ａ，ｂの二値化閾値が次式（１）の関係を満足するように設定する。
閾値ｂ＝閾値ａ×（露光量ｂ／露光量ａ）  ・・・・・・・・・・（１）
式（１）のように各閾値を設定することで、画像ａ，ｂ間にずれがなければ、全く同一の二値画像を得ることができる。したがって、逆にずれの発生している部分は、二値画像ａ，ｂで値が異なることになる。
【００２８】
前記二値画像ａ，ｂは比較部33で比較され、値の異なる領域が「１」である二値画像として動きベクトル検出領域が出力される。図７は、比較部33の更に詳細な構成例を示すブロック構成図である。排他的論理和回路41で二値画像ａ，ｂの排他的論理和をとることにより、不一致領域が「１」となるような二値画像不一致領域情報が生成される。この二値画像不一致領域情報は、それをイネーブルとするカウンタ42により、「１」の連続した回数がカウントされ、そのカウント値が比較器43により、あらかじめ設定される連続検出量閾値を超えた場合にのみ、セレクタ44を経て「１」が出力される。この構成をとることで、ノイズ等の影響によって生じる不一致が取り除かれる。
【００２９】
図８は、図３におけるブロック設定手段22でのブロック設定方法についての説明図である。ブロック設定手段22では、メモリ３に格納されている動きベクトル検出領域内の特定の一ブロックを、動きベクトル検出の基準ブロックとして設定する。図８に示す図示例では、画像をブロック状に区切り、画面の中央のブロックから外縁に向かって螺旋状に動きベクトル検出領域の情報をサーチしていく。最初に「１」（不一致領域）が含まれるブロックを発見したら、そのブロックの位置に対応する画像ｂのブロックをメモリ３から読み出し、基準ブロックとして出力する。このような方法によれば、なるべく画像中央に近いブロックを基準ブロックとして設定できることになり、画面の端に基準ブロックをとる場合に比べて、動きベクトルを発見できる可能性を高くできる。
【００３０】
当然、ブロック設定方法は上記手法に限定されるものではない。例えば、動きベクトル検出領域を画面左上から順にサーチして、最初に不一致領域が含まれるブロックを基準ブロックとして設定してもよい。このような方法によれば、動きベクトル検出領域の情報を、メモリ３から読み出す際のアドレシングを簡易な方法で行うことができる。また、画面横方向への不一致連続数が最大の領域に含まれるブロックを基準ブロックとして設定してもよい。このような画面横方向に長い不一致領域は、画面縦方向に発生した手ぶれによるずれの可能性が高く、手ぶれによる動きベクトルを検出できる可能性を高くできる。当然、画面縦方向への不一致連続数が最大の領域に含まれるブロックを基準ブロックとして設定してもよい。上記の方法を複数組み合わせて、ブロックを設定することも可能である。
【００３１】
図９は、図３における有効判定部24の構成例を示すブロック図である。画像ｂに対して白とび、黒つぶれ、グレーの判定を行う。白とび判定部51は、画像ｂの任意領域の全画素値が白閾値以上であれば、前記領域を白とびと判定する。黒つぶれ判定部52は、画像ｂの任意領域の全画素値が黒閾値以下であれば、前記領域を黒つぶれと判定する。更に、画像ｂの任意領域の画素値最大値と最小値を、それぞれ最大値抽出部53，最小値抽出部55から求め、その差分値を減算器57にて算出する。差分値は比較器59により輝度差閾値と比較され、閾値以下であれば領域内で輝度差がなくグレーであると判定する。
【００３２】
また、類似度から動きベクトルの妥当性を判定する。動きベクトル算出部23から出力される類似度の集合に対して、最大値抽出部54，最小値抽出部56により最大値と最小値を求める。その差分値を減算器58にて算出し、その結果を比較器60により類似度差閾値と比較し、閾値以下であれば前記類似度の集合の最大値へのベクトルを、動きベクトルとする事に妥当性が無いと判定する。
【００３３】
上記画像ｂの任意領域をブロック設定手段22により設定された基準ブロックとすれば、白とび、黒つぶれ、グレーのいずれかが判定された場合、設定した基準ブロックは動きベクトル検出に適さないと判断することができる。また、基準ブロックからの動きベクトル算出における探索範囲（画像ａ）を、これらの判定部に入力すれば、前記探索範囲が動きベクトル検出に適するかどうかを判定できる。
【００３４】
図９における白とび判定、黒つぶれ判定、グレー判定、動きベクトル無効判定の各結果を組み合わせて有効信号を生成し、ブロック設定手段22及び動きベクトル算出部23に出力する。どのような組み合わせも可能だが、例えば、白とび、黒つぶれ、グレーがいずれも判定されない場合に、ブロック設定手段22に対して有効信号を出力し、動きベクトル無効と判定された場合は、動きベクトル算出部23に対して有効信号を出力する。
【００３５】
図10は、図２におけるぶれ判定手段12の構成例を示すブロック図である。座標変換手段61は、メモリ３から読み出した二値画像ｂを動きベクトルをもとに水平及び垂直方向にずらし、二値画像ｂ′として出力する。差分算出手段62では二値画像ａ，ｂ′を比較して差分画像及び差分情報を出力する。図11は差分算出手段62の更に詳細な構成例を示すブロック図である。排他的論理和回路71で二値画像ａ，ｂ′の排他的論理和をとって二値画像ａ，ｂ′間の不一致領域を求め、それを差分画像として出力する。また、差分画像の「１」の個数をカウンタ72により計数して、二値画像ａ，ｂ′間の不一致領域の画素数を差分情報として出力する。差分画像は、図12に示すように、画像全体が動きベクトルの方向に手ぶれを生じていると仮定して二つの画像を合成した場合に不一致となる領域を示し、差分情報はその不一致領域の大きさを示すものである。ぶれ判定信号生成手段63では、前記差分情報と動きベクトルから、手ぶれか被写体ぶれかを判定し、結果をぶれ判定信号として出力する。
【００３６】
図13は、ぶれ判定信号生成手段63の更に詳細な構成例を示すブロック図である。ここでは、ぶれ判定信号が「１」の場合を手ぶれ、「０」の場合を被写体ぶれとする。動きベクトル有無判定部81は、動きベクトル算出部23から動きベクトルが出力された場合は「１」を、動きベクトルが出力されない場合、すなわち動きベクトルが検出されない場合は「０」を出力する。一方、差分情報は比較器82により差分閾値と比較され、差分閾値以下の場合は「１」、以上の場合は「０」を出力する。上記二つの二値信号は、ＡＮＤ83にて論理積をとってぶれ判定信号として出力される。このような構成によれば、動きベクトルが検出され且つ差分情報が閾値以下の場合は、ぶれ判定信号が「１」となり、手ぶれと判定される。差分情報が閾値以上であった場合や、動きベクトルが検出されなかった場合は、ぶれ判定信号が「０」となり、被写体ぶれと判定される。
【００３７】
ここで、差分閾値は任意に設定することが可能である。例えば、ある特定の値を設定すれば、手ぶれとみなして補正した場合の不一致領域の大きさがある特定の値以下になる場合を、手ぶれとみなすことができる。また、二値画像ａ，ｂの不一致領域の画素数を差分閾値としてもよい。この場合、図３に示す動きベクトル検出領域特定手段21に、二値画像ａ，ｂの不一致領域の画素数を計数する手段を付加して出力した結果を、差分閾値とすればよい。このように差分閾値を設定すれば、手ぶれとみなして補正した結果、補正の前後で不一致領域が減少する場合を、手ぶれとみなすことができる。
【００３８】
図14は、図２における切換手段13の具体的な構成例を示すブロック図である。座標変換手段91は、動きベクトルをもとに画像ｂを水平及び垂直方向にずらした画像を生成する。合成手段92は、二つの画像を合成する合成手段である。二値画像ａの値が「１」（若しくは「０」) の領域に対応する画素は画像ａを、「０」（若しくは「１」) の領域に対応する画素は、もう一方の画像ｂを用いて合成される。ローパスフィルタ93は、動きベクトル検出領域に対応する入力画像内の領域にのみローパスフィルタ処理を施す。スイッチ94、95はぶれ判定信号に応じて接続の切り換わるスイッチである。
【００３９】
次に、ぶれ判定信号が被写体ぶれと手ぶれの各々の場合についての画像合成動作について説明する。ぶれ判定信号が被写体ぶれの場合、合成した画像のぶれ領域にローパスフィルタをかけて補正する。まず、スイッチ94をs2側に接続し、画像ａ，ｂを合成手段92で合成する。ここで得られる画像は、図15に示すように、動きベクトル検出領域に対応する領域の画像がぶれて合成されたものになっている。前記合成された画像に対し、動きベクトル検出領域に対応する領域にローパスフィルタ処理を行う。スイッチ95はｓ２側に接続し、前記ローパスフィルタをかけた画像を合成画像としてメモリ３に格納する。これにより、画像がぶれている部分を目立たなくし、画質の良好でダイナミックレンジの広い画像を得ることができる。
【００４０】
ぶれ判定信号が手ぶれの場合、動きベクトルの方向に画像全体をずらして合成する。まず、座標変換手段91により画像ｂを動きベクトルの方向にずらした画像を生成する。スイッチ94をｓ１側に接続し、合成手段92では、画像ａと、前記画像ｂを動きベクトルの方向にずらした画像とを合成する。スイッチ95はｓ１に接続して、ローパスフィルタはかけずにメモリ３に格納する。この処理で得られる画像は図16に示すように、手ぶれによる画像ぶれの補正された画像になっており、画質の良好でダイナミックの広い画像を得ることができる。
【００４１】
以上、本実施例によると、画像が手ぶれを生じているか被写体ぶれを生じているかを、画像として一つの動きベクトル及び二値画像間の演算のみを用いて判定し、ぶれの種類に応じて画像合成の方法を適切に切り換えるため、簡易な処理でぶれ判定が可能であり、且つ、画質の良好でダイナミックレンジの広い画像を得ることができる。
【００４２】
（実施例２）
次に、本発明の実施例２について説明する。図17は、本実施例に係る撮像装置における画像合成装置の構成を示すブロック図である。切換手段13ａ以外の構成は、実施例１の画像合成装置と同一であるので説明を割愛する。本実施例における切換手段13ａでは、スイッチ16〜18を適宜切り換えて、手ぶれ補正処理部14，若しくは、被写体ぶれ補正処理部15のいずれか、若しくは両方の処理を行って合成画像を出力する。
【００４３】
図18は、本実施例における切換手段13ａの具体的な構成例を示すブロック図である。座標変換手段91，合成手段92，ローパスフィルタ93，スイッチ94，95は、図14に示した実施例１における切換手段13と同一であるので説明を割愛する。スイッチ96は、ぶれ判定信号に応じて、ローパスフィルタをかける領域を、動きベクトル検出領域と差分画像とで切り換えるスイッチである。
【００４４】
次に、ぶれ判定信号が被写体ぶれと手ぶれの各々の場合についての画像合成動作について説明する。ぶれ判定信号が被写体ぶれの場合、スイッチ96はｓ２側に接続し、ローパスフィルタをかける領域として動きベクトル検出領域が選択されるので、実施例１と同様の処理が行われる。ぶれ判定信号が手ぶれの場合、動きベクトルの方向に画像全体をずらして合成するまでは実施例１と同様である。すなわち、座標変換手段91により画像ｂを動きベクトルの方向にずらした画像を生成し、スイッチ94をｓ１側に接続して、画像ａと、前記画像ｂを動きベクトルの方向にずらした画像とを合成手段92にて合成する。
【００４５】
次いで、スイッチ96をｓ１側に接続し、差分画像に対応する領域にローパスフィルタ処理を行う。図12で示したように、差分画像とは、二値画像ａと、二値画像ｂを動きベクトルの方向にずらした画像との不一致領域であり、手ぶれによる補正画像のぶれ発生領域と一致する。したがって、手ぶれによる補正後に残ったぶれ領域のみにローパスフィルタがかかることになる。最後にスイッチ95をｓ２側に接続し、前記ローパスフィルタをかけた画像を合成画像としてメモリ３に格納する。
【００４６】
図19は、手ぶれと被写体ぶれが共に発生している画像を合成した例を示したものである。手ぶれの補正後も飛行機の部分にはぶれが残るが、上記方法によりローパスフィルタをかける事で、飛行機のぶれ部分が目立たなくなり、更に画質の良好でダイナミックレンジの広い画像を得ることができる。
【００４７】
以上、本実施例によると、画像が手ぶれを起こしている場合は、画像をずらして合成する事により手ぶれを補正し、更に、補正後に残ったぶれ部分にはローパスフィルタをかけてぶれを目立たなくできる。したがって、手ぶれと被写体ぶれの混在した画像に対しても、画質の良好でダイナミックレンジの広い画像を得ることができる。
【図面の簡単な説明】
【００４８】
【図１】本発明に係る撮像装置の基本構成を示すブロック図である。
【図２】本発明の実施例１に係る撮像装置における画像合成装置の構成を示すブロック図である。
【図３】図２に示した画像合成装置における動きベクトル検出部の構成を示すブロック図である。
【図４】画像ａ．ｂ間で被写体のずれている動きベクトル検出領域を示す図である。
【図５】ブロック設定手段で設定される基準ブロックと、その周囲の探索範囲を示す説明図である。
【図６】図３に示した動きベクトル検出部における動きベクトル検出領域特定手段の構成を示すブロック図である。
【図７】図６に示した動きベクトル検出領域特定手段における比較部の構成を示すブロック図である。
【図８】図３におけるブロック設定手段のブロック設定手法を示す説明図である。
【図９】図３における有効判定部の構成を示すブロック図である。
【図１０】図２におけるぶれ判定手段の構成を示すブロック図である。
【図１１】図10に示したぶれ判定手段における差分算出手段の構成を示すブロック図である。
【図１２】画像全体が動きベクトルの方向に手ぶれを生じていると仮定して二つの画像を合成した場合に生じる不一致領域を示す図である。
【図１３】図10に示したぶれ判定手段におけるぶれ判定信号生成手段の構成を示すブロック図である。
【図１４】図２における切換手段の構成を示すブロック図である。
【図１５】合成画像のローパスフィルタ処理領域を示す説明図てある。
【図１６】手ぶれによる画像ぶれの補正された画像を示す説明図である。
【図１７】本発明に係る撮像装置の実施例２における画像合成装置を示すブロック図である。
【図１８】図17における切換手段の構成を示すブロック図である。
【図１９】手ぶれと被写体ぶれが共に発生している画像を合成した場合におけるローパスフィルタ処理領域を示す説明図てある。
【図２０】露光量の異なる画像を合成してダイナミックレンジの広い画像を得る方法を示す概念図である。
【図２１】被写体が移動したり手ぶれが発生している場合の合成画像を示す図である。
【図２２】従来の合成画像における手ぶれ補正手法を示す説明図である。
【図２３】従来の手ぶれ補正手法を適用した画像合成装置の構成例を示すブロック図である。
【図２４】従来の画像合成装置による合成画像を示す図である。
【符号の説明】
【００４９】
１  ＣＣＤ
２  画像処理装置
３  メモリ
４  画像合成装置
５  ＣＰＵ
６  バス
11  動きベクトル検出部
12  ぶれ判定手段
13，13ａ  切換手段
14  手ぶれ補正処理部
15  被写体ぶれ補正処理部
16，17，18  スイッチ
21  動きベクトル検出領域特定手段
22  ブロック設定手段
23  動きベクトル算出部
24  有効判定部
31，32  二値化部
33  比較部
41  排他的論理和回路
42  カウンタ
43  比較器
44  セレクタ
51  白とび判定部
52  黒つぶれ判定部
53，54  最大値抽出部
55，56  最小値抽出部
57，58  減算器
59，60  比較器
61  座標変換手段
62  差分算出手段
63  ぶれ判定信号生成手段
71  排他的論理和回路
72  カウンタ
81  動きベクトル有無判定部
82  比較器
83  ＡＮＤ回路
91  座標変換手段
92  合成手段
93  ローパスフィルタ
94，95，96  スイッチ
【図１】
2006325274.tif 000003
【図２】
2006325274.tif 000004
【図３】
2006325274.tif 000005
【図４】
2006325274.tif 000006
【図５】
2006325274.tif 000007
【図６】
2006325274.tif 000008
【図７】
2006325274.tif 000009
【図８】
2006325274.tif 000010
【図９】
2006325274.tif 000011
【図１０】
2006325274.tif 000012
【図１１】
2006325274.tif 000013
【図１２】
2006325274.tif 000014
【図１３】
2006325274.tif 000015
【図１４】
2006325274.tif 000016
【図１５】
2006325274.tif 000017
【図１６】
2006325274.tif 000018
【図１７】
2006325274.tif 000019
【図１８】
2006325274.tif 000020
【図１９】
2006325274.tif 000021
【図２０】
2006325274.tif 000022
【図２１】
2006325274.tif 000023
【図２２】
2006325274.tif 000024
【図２３】
2006325274.tif 000025
【図２４】
2006325274.tif 000026