(57)【要約】【課題】動画像から高画質のフレームを得る。【解決手段】動画像データＭ０をサンプリングしてフレームＦｒ１，Ｆｒ２，Ｆｒ３を得、フレームＦｒ１とフレームＦｒ２、Ｆｒ２との類似度Ｂ２，Ｂ３を算出する。類似度ｂ２，ｂ３に基づいて、フレームＦｒ２，Ｆｒ３をフレームＦｒ１に重み付け加算する際の寄与度β２，β３を算出し、寄与度β２，β３に応じてフレームＦｒ２，Ｆｒ３をフレームＦｒ１に対して重み付け加算して、類似しないフレームに起因するボケが除去された処理済みのフレームＦｒＧを得る。【選択図】　　　　　図１
2004030252.tif 000002
【特許請求の範囲】
【請求項１】
動画像からサンプリングした所望とするフレームに対して画像処理を施して処理済みフレームを得る画像処理方法において、
前記所望とするフレームに対して時間的に前後する少なくとも１つの他のフレームについての、前記所望とするフレームとの類似度を算出し、
該類似度が大きいほど重み付けを大きくして前記少なくとも１つの他のフレームを前記所望とするフレームと合成して処理済みフレームを得ることを特徴とする画像処理方法。
【請求項２】
前記所望とするフレームを複数の領域に分割し、
前記少なくとも１つの他のフレームにおける前記複数の領域に対応する対応領域毎に前記類似度を算出し、
前記類似度が大きいほど重み付けを大きくして前記各対応領域を該各対応領域と対応する前記領域と合成して前記処理済みフレームを得ることを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記所望とするフレームを該所望とするフレームに含まれる複数の被写体領域に分割し、
前記少なくとも１つの他のフレームにおける前記複数の被写体領域に対応する対応被写体領域毎に前記類似度を算出し、
前記類似度が大きいほど重み付けを大きくして前記各対応被写体領域を該各対応被写体領域と対応する前記被写体領域と合成して前記処理済みフレームを得ることを特徴とする請求項１記載の画像処理方法。
【請求項４】
動画像からサンプリングした所望とするフレームに対して画像処理を施して処理済みフレームを得る画像処理装置において、
前記所望とするフレームに対して時間的に前後する少なくとも１つの他のフレームについての、前記所望とするフレームとの類似度を算出する類似度算出手段と、
該類似度が大きいほど重み付けを大きくして前記少なくとも１つの他のフレームを前記所望とするフレームと合成して処理済みフレームを得る合成手段とを備えたことを特徴とする画像処理装置。
【請求項５】
前記類似度算出手段は、前記所望とするフレームを複数の領域に分割し、前記少なくとも１つの他のフレームにおける前記複数の領域に対応する対応領域毎に前記類似度を算出する手段であり、
前記合成手段は、前記類似度が大きいほど重み付けを大きくして前記各対応領域を該各対応領域と対応する前記領域と合成して前記処理済みフレームを得る手段であることを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記類似度算出手段は、前記所望とするフレームを該所望とするフレームに含まれる複数の被写体領域に分割し、前記少なくとも１つの他のフレームにおける前記複数の被写体領域に対応する対応被写体領域毎に前記類似度を算出する手段であり、
前記合成手段は、前記類似度が大きいほど重み付けを大きくして前記各対応被写体領域を該各対応被写体領域と対応する前記被写体領域と合成して前記処理済みフレームを得る手段であることを特徴とする請求項４記載の画像処理装置。
【請求項７】
動画像からサンプリングした所望とするフレームに対して画像処理を施して処理済みフレームを得る画像処理方法をコンピュータに実行させるためのプログラムにおいて、
前記所望とするフレームに対して時間的に前後する少なくとも１つの他のフレームについての、前記所望とするフレームとの類似度を算出する手順と、
該類似度が大きいほど重み付けを大きくして前記少なくとも１つの他のフレームを前記所望とするフレームと合成して処理済みフレームを得る手順とを有するプログラム。
【請求項８】
前記類似度を算出する手順は、前記所望とするフレームを複数の領域に分割する手順と、
前記少なくとも１つの他のフレームにおける前記複数の領域に対応する対応領域毎に前記類似度を算出する手順とを有し、
前記処理済みフレームを得る手順は、前記類似度が大きいほど重み付けを大きくして前記各対応領域を該各対応領域と対応する前記領域と合成して前記処理済みフレームを得る手順である請求項７記載のプログラム。
【請求項９】
前記類似度を算出する手順は、前記所望とするフレームを該所望とするフレームに含まれる複数の被写体領域に分割する手順と、
前記少なくとも１つの他のフレームにおける前記複数の被写体領域に対応する対応被写体領域毎に前記類似度を算出する手順とを有し、
前記処理済みフレームを得る手順は、前記類似度が大きいほど重み付けを大きくして前記各対応被写体領域を該各対応被写体領域と対応する前記被写体領域と合成して前記処理済みフレームを得る手順である請求項７記載のプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像からサンプリングされた１のフレームに対して画像処理を施して処理済みのフレームを得る画像処理方法および装置並びに画像処理方法をコンピュータに実行させるためのプログラムに関するものである。
【０００２】
【従来の技術】
近年、デジタルビデオカメラの普及により、撮像した動画像をパソコンに取り込んで、動画像に対して編集や加工を自由に行うことができるようになっている。また、動画像を表す動画像データをデータベースに保管し、パソコンからネットワーク経由でデータベースにアクセスして、パソコンに動画像データをダウンロードすることもできる。しかしながら、動画像データはデータ容量が大きく、かつ動画像データはそれを再生してみるまでは内容が分からないため、静止画像と比較して取り扱いにくいという問題がある。
【０００３】
このため、パソコンやデータベースに保管された動画像の内容を容易に理解できるようにするために、動画像に含まれるシーンを代表するフレームを検出し、これを動画像データに付与する方法が提案されている（特開平９−２３３４２２号公報）。この方法によれば、動画像データに付与されたフレームを参照することにより動画像の内容を把握することができるため、動画像データの取り扱いを容易に行うことが可能となる。
【０００４】
【発明が解決しようとする課題】
しかしながら、動画像は静止画像とは異なり、動画像における時間軸上の各フレームに動画像に特有のボケを含むという特性を有する。例えば、動画像に含まれる移動中の被写体はその移動方向に対して移動量に応じたボケを有するものとなっている。また、動画像はデジタルスチルカメラ等により取得された静止画像と比較して解像度が低い。したがって、上記特開平９−２３３４２２号公報に記載された方法のように動画像からサンプリングしたフレームはそれほど高画質ではないものとなっている。
【０００５】
本発明は上記事情に鑑みなされたものであり、動画像から高画質のフレームを得ることを目的とする。
【０００６】
【課題を解決するための手段】
本発明による画像処理方法は、動画像からサンプリングした所望とするフレームに対して画像処理を施して処理済みフレームを得る画像処理方法において、
前記所望とするフレームに対して時間的に前後する少なくとも１つの他のフレームについての、前記所望とするフレームとの類似度を算出し、
該類似度が大きいほど重み付けを大きくして前記少なくとも１つの他のフレームを前記所望とするフレームと合成して処理済みフレームを得ることを特徴とするものである。
【０００７】
「合成」とは、例えば、重み付け加算を用いることができる。
【０００８】
一方、動画像の一部のフレームをプリント出力する際には画質を向上させるために、動画像からサンプリングした複数のフレームから、１の高解像度フレームを合成する方法が提案されている（特開２０００−３５４２４４号公報）。
【０００９】
この方法によれば、合成の対象となる１のフレームと他のフレーム間の移動方向および移動量を表す動ベクトルを求め、この動ベクトルに基づいて、複数のフレームから高解像度のフレームを合成する際に、画素間に内挿する信号値を算出する方法である。とくにこの方法では、各フレームを複数のブロックに分割し、フレーム間で対応するブロックの直交座標係数を算出し、この直交座標係数における高周波の情報を他のブロックにおける低周波の情報と合成して内挿される画素値を算出しているため、必要な情報が低減されることなく、高画質の高解像度フレームを得ることができる。また、この方法においては、画素間距離よりもさらに細かい分解能にて動ベクトルを算出しているため、各フレーム間の動きを正確に補償してより高画質の高周波フレームを得ることができる。
【００１０】
本発明においては、上記特開２０００−３５４２４４号公報に記載された方法により少なくとも１つの他のフレームを所望とするフレームと合成して処理済み画像データを得るようにしてもよいものである。
【００１１】
なお、本発明による画像処理方法においては、前記所望とするフレームを複数の領域に分割し、
前記少なくとも１つの他のフレームにおける前記複数の領域に対応する対応領域毎に前記類似度を算出し、
前記類似度が大きいほど重み付けを大きくして前記各対応領域を該各対応領域と対応する前記領域と合成して前記処理済みフレームを得るようにしてもよい。
【００１２】
また、本発明による画像処理方法においては、前記所望とするフレームを該所望とするフレームに含まれる複数の被写体領域に分割し、
前記少なくとも１つの他のフレームにおける前記複数の被写体領域に対応する対応被写体領域毎に前記類似度を算出し、
前記類似度が大きいほど重み付けを大きくして前記各対応被写体領域を該各対応被写体領域と対応する前記被写体領域と合成して前記処理済みフレームを得るようにしてもよい。
【００１３】
本発明による画像処理装置は、動画像からサンプリングした所望とするフレームに対して画像処理を施して処理済みフレームを得る画像処理装置において、
前記所望とするフレームに対して時間的に前後する少なくとも１つの他のフレームについての、前記所望とするフレームとの類似度を算出する類似度算出手段と、
該類似度が大きいほど重み付けを大きくして前記少なくとも１つの他のフレームを前記所望とするフレームと合成して処理済みフレームを得る合成手段とを備えたことを特徴とするものである。
【００１４】
なお、本発明による画像処理装置においては、前記類似度算出手段を、前記所望とするフレームを複数の領域に分割し、前記少なくとも１つの他のフレームにおける前記複数の領域に対応する対応領域毎に前記類似度を算出する手段とし、前記合成手段を、前記類似度が大きいほど重み付けを大きくして前記各対応領域を該各対応領域と対応する前記領域と合成して前記処理済みフレームを得る手段としてもよい。
【００１５】
また、本発明による画像処理装置においては、前記類似度算出手段を、前記所望とするフレームを該所望とするフレームに含まれる複数の被写体領域に分割し、前記少なくとも１つの他のフレームにおける前記複数の被写体領域に対応する対応被写体領域毎に前記類似度を算出する手段とし、
前記合成手段を、前記類似度が大きいほど重み付けを大きくして前記各対応被写体領域を該各対応被写体領域と対応する前記被写体領域と合成して前記処理済みフレームを得る手段としてもよい。
【００１６】
なお、本発明による画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【００１７】
【発明の効果】
同一シーンについての複数の画像を合成することにより、画像のボケを低減させる方法が提案されている。このため、動画像から複数のフレームをサンプリングし、これらのフレームを合成すれば得られたフレームを高画質にすることができる。しかしながら、動画像に含まれる被写体は移動しているため、複数のフレームを単純に合成したのでは、合成により得られたフレームの画質が却って劣化してしまう。
【００１８】
本発明によれば、所望とするフレームに時間的に前後する少なくとも１つの他のフレームについて、所望とするフレームとの類似度を算出し、類似度が大きいほど重み付けを大きくして他のフレームを所望とするフレームと合成して処理済みフレームを得るようにしたものである。
【００１９】
このため、所望とするフレームと類似しないフレームがそのまま所望とするフレームと合成されることがなくなり、これにより類似が低いフレームの影響を低減することができ、その結果、類似度が低い他のフレームとの合成により生じるボケを低減して高画質の処理済みフレームを得ることができる。
【００２０】
また、所望とするフレームを複数の領域に分割し、他のフレームにおける複数の領域に対応する対応領域毎に類似度を算出し、類似度が大きいほど重み付けを大きくして対応領域のそれぞれを対応する領域と合成して処理済みフレームを得ることにより、動画像上においてある領域が移動していても、その領域毎にボケを除去することができるため、より高画質の処理済みフレームを得ることができる。
【００２１】
また、所望とするフレームをこれに含まれる複数の被写体領域に分割し、他のフレームにおける複数の被写体領域に対応する対応被写体領域毎に類似度を算出し、類似度が大きいほど重み付けを大きくして対応被写体領域のそれぞれを対応する被写体領域と合成して処理済みフレームを得ることにより、動画像上においてある被写体領域が移動していても、その被写体領域毎にボケを除去することができるため、より高画質の処理済みフレームを得ることができる。
【００２２】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による画像処理装置の構成を示す概略ブロック図である。図１に示すように、本発明の第１の実施形態による画像処理装置は、動画像データＭ０から複数のフレームＦｒ１，Ｆｒ２…Ｆｒｎをサンプリングするサンプリング手段１と、画像処理の対象となる１のフレーム（第１の実施の形態においてはフレームＦｒ１）と他のフレームＦｒ２…Ｆｒｎとの類似度ｂ２，ｂ３…ｂｎを算出する類似度算出手段２と、類似度算出手段２において算出された類似度に基づいて、フレームＦｒ２…ＦｒｎをフレームＦｒ１に重み付け加算する際の寄与度（すなわち重み係数）β２，β３…βｎを算出する寄与度算出手段３と、寄与度β２，β３…βｎに応じてフレームＦｒ２，Ｆｒ３…ＦｒｎをフレームＦｒ１に重み付け加算して処理済みフレームＦｒＧを得る合成手段４とを備える。
【００２３】
サンプリング手段１は、動画像データＭ０から等しい時間間隔によりフレームＦｒ１，Ｆｒ２…Ｆｒｎをサンプリングする。なお、第１の実施形態においては、時間的に隣接する３つのフレームＦｒ１，Ｆｒ２，Ｆｒ３を用いてフレームＦｒ１にフレームＦｒ２，Ｆｒ３を重み付け加算するものとする。
【００２４】
類似度算出手段２は、図２に示すように、フレームＦｒ１をフレームＦｒ２，Ｆｒ３のそれぞれに対して平行移動またはアフィン変換し、フレームＦｒ１およびフレームＦｒ２，Ｆｒ３間の画素値の相関が最も高くなったときのフレームＦｒ１およびフレームＦｒ２，Ｆｒ３間の画素値の差の２乗の累積和または絶対値の累積和の逆数を類似度ｂ２，ｂ３として算出する。
【００２５】
ここで、相関はフレームＦｒ１およびフレームＦｒ２，Ｆｒ３間の画素値の差の２乗の累積和または絶対値の累積和が最小となったときに最も高いものとなる。したがって、類似度ｂ２，ｂ３は、フレームＦｒ２，Ｆｒ３がフレームＦｒ１と類似するほど大きい値となる。なお、図２においては、フレームＦｒ１に含まれる被写体Ｑ０とフレームＦｒ２，Ｆｒ３に含まれる被写体Ｑ０とが一致するときに、フレームＦｒ１とフレームＦｒ２，Ｆｒ３間の画素値の相関が最も高くなる。
【００２６】
寄与度算出手段３は、予め定められた基準寄与度ｋに対して類似度ｂ２，ｂ３を乗算することにより、フレームＦｒ２，Ｆｒ３をフレームＦｒ１に重み付け加算する際の寄与度β２，β３を算出する。
【００２７】
合成手段４は、寄与度β２，β３に応じてフレームＦｒ２、Ｆｒ３をフレームＦｒ１に重み付け加算して処理済みフレームＦｒＧを得る。具体的には、フレームＦｒ１，Ｆｒ２，Ｆｒ３を表すフレームデータをそれぞれＳ１，Ｓ２，Ｓ３、処理済みフレームＦｒＧを表す処理済みフレームデータをＳＧとすると、下記の式（１）により処理済みフレームデータＳＧを算出する。
ＳＧ＝Ｓ１＋β２・Ｓ２＋β３・Ｓ３　　　（１）
【００２８】
例えば、フレームＦｒ２が４×４画素サイズを有し、各画素値が図３（ａ）に示すものであり、寄与度β２が０．１である場合、フレームＦｒ１に加算されるフレームＦｒ２の各画素の画素値は、図３（ｂ）に示すように値が０．１倍されたものとなる。
【００２９】
なお、フレームデータＳ１，Ｓ２，Ｓ３，ＳＧは、ＲＧＢそれぞれの色データであってもよく、ＲＧＢの色データから得られた輝度データおよび色差データであってもよい。また、輝度データのみであってもよい。
【００３０】
次いで、第１の実施の形態の動作について説明する。図４は第１の実施形態において行われる処理を示すフローチャートである。まず、動画像データＭ０がサンプリング手段１においてサンプリングされて、フレームＦｒ１，Ｆｒ２，Ｆｒ３が得られる（ステップＳ１）。そして、類似度算出手段２において、フレームＦｒ１およびフレームＦｒ２，Ｆｒ３間の類似度ｂ２，ｂ３が算出され（ステップＳ２）、寄与度算出手段３において、類似度ｂ２，ｂ３が基準寄与度ｋに乗算されて寄与度β２，β３が算出される（ステップＳ３）。次いで、寄与度β２，β３に応じてフレームＦｒ２、Ｆｒ３がフレームＦｒ１に重み付け加算されて処理済みフレームＦｒＧが得られ（ステップＳ４）、処理を終了する。
【００３１】
このように、第１の実施形態においては、フレームＦｒ１に時間的に前後するフレームＦｒ２，Ｆｒ３について、フレームＦｒ１との類似度ｂ２，ｂ３を算出し、類似度ｂ２，ｂ３が大きいほど寄与度β２，β３による重み付けを大きくしてフレームＦｒ２，Ｆｒ３をフレームＦｒ１に加算して処理済みフレームＦｒＧを得るようにしたものである。このため、フレームＦｒ１と類似しないフレームがそのままフレームＦｒ１に加算されることがなくなり、これにより類似しないフレームの影響を低減しつつフレームＦｒ１にフレームＦｒ２，Ｆｒ３を加算することができ、その結果、類似度が低いフレームとの合成により生じるボケを低減して高画質の処理済みフレームＦｒＧを得ることができる。
【００３２】
なお、上記第１の実施形態においては、フレームＦｒ２，Ｆｒ３に寄与度β１，β２を乗算してフレームＦｒ１に加算することにより処理済みフレームＦｒＧを得ているが、例えば特開２０００−３５４２４４号公報に記載された方法のように、寄与度β１，β２が乗算されたフレームＦｒ２，Ｆｒ３をフレームＦｒ１に内挿することにより、フレームＦｒ１よりも高解像度の処理済みフレームＦｒＧを得るようにしてもよい。
【００３３】
次いで、本発明の第２の実施形態について説明する。図５は本発明の第２の実施形態による画像処理装置の構成を示す概略ブロック図である。なお、第２の実施形態において第１の実施形態と同一の構成については同一の参照番号を付し、詳細な説明は省略する。図５に示すように、第２の実施形態においては、第１の実施形態における類似度算出手段２、寄与度算出手段３および合成手段４に代えて、フレームＦｒ１をｍ×ｎ個の複数の領域Ａ１（ｍ，ｎ）に分割し、フレームＦｒ２，Ｆｒ３における各領域Ａ１（ｍ，ｎ）に対応する対応領域Ａ２（ｍ，ｎ），Ａ３（ｍ，ｎ）毎に類似度ｂ２（ｍ，ｎ），ｂ３（ｍ，ｎ）を算出する類似度算出手段１２、対応領域Ａ２（ｍ，ｎ），Ａ３（ｍ，ｎ）毎に寄与度β２（ｍ，ｎ），β３（ｍ，ｎ）を算出する寄与度算出手段１３、および対応領域Ａ２（ｍ，ｎ），Ａ３（ｍ，ｎ）のそれぞれを寄与度β２（ｍ，ｎ），β３（ｍ，ｎ）に応じて対応する領域Ａ１（ｍ，ｎ）に重み付け加算して、処理済みフレームＦｒＧを得る合成手段１４を備えてなるものである。
【００３４】
図６は、第２の実施形態における類似度の算出を説明するための図である。図６に示すように、類似度算出手段１２は、フレームＦｒ１をｍ×ｎ個の複数の格子状の領域Ａ１（ｍ，ｎ）に分割し、複数の領域Ａ１（ｍ，ｎ）のそれぞれをフレームＦｒ２，Ｆｒ３に対して平行移動またはアフィン変換し、領域Ａ１（ｍ，ｎ）とフレームＦｒ２，Ｆｒ３間の画素値の相関が最も高くなったフレームＦｒ２，Ｆｒ３上の領域を対応領域Ａ２（ｍ，ｎ），Ａ３（ｍ，ｎ）として検出し、その際の領域Ａ１（ｍ，ｎ）および対応領域Ａ２（ｍ，ｎ），Ａ３（ｍ，ｎ）間の画素値の差の２乗の累積和または絶対値の累積和の逆数を類似度ｂ２（ｍ，ｎ），ｂ３（ｍ，ｎ）として算出する。
【００３５】
例えば、図６においては、フレームＦｒ２，Ｆｒ３上において、フレームＦｒ１に含まれる被写体Ｑ０を含み、かつ領域Ａ１（１，１）と同一サイズの領域が対応領域Ａ２（１，１），Ａ３（１，１）として検出される。
【００３６】
寄与度算出手段１３は、予め定められた基準寄与度ｋに対して類似度ｂ２（ｍ，ｎ），ｂ３（ｍ，ｎ）を乗算することにより、対応領域Ａ２（ｍ，ｎ），Ａ３（ｍ，ｎ）を領域Ａ１（ｍ，ｎ）に重み付け加算する際の寄与度β２（ｍ，ｎ），β３（ｍ，ｎ）を算出する。
【００３７】
合成手段１４は、寄与度β２（ｍ，ｎ），β３（ｍ，ｎ）に応じて対応領域Ａ２（ｍ，ｎ），Ａ３（ｍ，ｎ）を領域Ａ１（ｍ，ｎ）に重み付け加算して処理済みフレームＦｒＧを得る。具体的には、領域Ａ１（ｍ，ｎ）、対応領域Ａ２（ｍ，ｎ），Ａ３（ｍ，ｎ）を表すフレームデータをそれぞれＳ１（ｍ，ｎ），Ｓ２（ｍ，ｎ），Ｓ３（ｍ，ｎ）、処理済みフレームＦｒＧ上の領域Ａ１（ｍ，ｎ）と対応する領域（処理済み領域とする）を表す処理済みフレームデータをＳＧ（ｍ，ｎ）とすると、下記の式（２）により処理済みフレームデータＳＧ（ｍ，ｎ）を算出する。
ＳＧ（ｍ，ｎ）＝Ｓ１（ｍ，ｎ）＋β２（ｍ，ｎ）・Ｓ２（ｍ，ｎ）
＋β３（ｍ，ｎ）・Ｓ３（ｍ，ｎ）　　　　（２）
【００３８】
次いで、第２の実施形態の動作について説明する。図７は第２の実施形態において行われる処理を示すフローチャートである。まず、動画像データＭ０がサンプリング手段１においてサンプリングされて、フレームＦｒ１，Ｆｒ２，Ｆｒ３が得られる（ステップＳ１１）。そして、類似度算出手段１２において、フレームＦｒ１上における複数の領域Ａ１（ｍ，ｎ）とこれに対応する対応領域Ａ２（ｍ，ｎ），Ａ３（ｍ，ｎ）間の類似度ｂ２（ｍ，ｎ），ｂ３（ｍ，ｎ）が算出される（ステップＳ１２）。次いで、寄与度算出手段１３において、類似度ｂ２（ｍ，ｎ），ｂ３（ｍ，ｎ）が基準寄与度ｋに乗算されて寄与度β２（ｍ，ｎ），β３（ｍ，ｎ）が算出される（ステップＳ１３）。そして、寄与度β２（ｍ，ｎ），β３（ｍ，ｎ）に応じて対応領域Ａ２（ｍ，ｎ），Ａ３（ｍ，ｎ）のそれぞれが対応する領域Ａ１（ｍ，ｎ）に重み付け加算されて処理済みフレームＦｒＧが得られ（ステップＳ１４）、処理を終了する。
【００３９】
このように、第２の実施形態においては、フレームＦｒ１を複数の領域Ａ１（ｍ，ｎ）に分割し、フレームＦｒ２，Ｆｒ３における領域Ａ１（ｍ，ｎ）に対応する対応領域Ａ２（ｍ，ｎ），Ａ３（ｍ，ｎ）毎に類似度ｂ２（ｍ，ｎ），ｂ３（ｍ，ｎ）を算出し、類似度ｂ２（ｍ，ｎ），ｂ３（ｍ，ｎ）が大きいほど寄与度β２（ｍ，ｎ），β３（ｍ，ｎ）による重み付けを大きくして対応領域Ａ２（ｍ，ｎ），Ａ３（ｍ，ｎ）のそれぞれを対応する領域Ａ１（ｍ，ｎ）に加算して処理済みフレームＦｒＧを得るようにしたため、動画像上においてある領域が移動していても、その領域毎にボケを除去することができ、その結果、より高画質の処理済みフレームＦｒＧを得ることができる。
【００４０】
なお、上記第２の実施形態においては、フレームＦｒ２，Ｆｒ３の対応領域Ａ２（ｍ，ｎ），Ａ３（ｍ，ｎ）に寄与度β１（ｍ，ｎ），β２（ｍ，ｎ）を乗算して領域Ａ１（ｍ，ｎ）に加算することにより処理済みフレームＦｒＧを得ているが、例えば特開２０００−３５４２４４号公報に記載された方法のように、寄与度β１（ｍ，ｎ），β２（ｍ，ｎ）が乗算された対応領域Ａ２（ｍ，ｎ），Ａ３（ｍ，ｎ）を領域Ａ１（ｍ，ｎ）に内挿することにより、フレームＦｒ１よりも高解像度の処理済みフレームＦｒＧを得るようにしてもよい。
【００４１】
次いで、本発明の第３の実施形態について説明する。図８は本発明の第３の実施形態による画像処理装置の構成を示す概略ブロック図である。なお、第３の実施形態において第１の実施形態と同一の構成については同一の参照番号を付し、詳細な説明は省略する。図８に示すように、第３の実施形態においては、フレームＦｒ１をｍ×ｎ個の複数の領域Ａ１（ｍ，ｎ）に分割し、領域Ａ１（ｍ，ｎ）毎に領域Ａ１（ｍ，ｎ）の移動方向および移動量を表す動ベクトルＶ０（ｍ，ｎ）を算出する動ベクトル算出手段５、および複数の動ベクトルＶ０（ｍ，ｎ）の大きさを横軸に、その数を縦軸にとったヒストグラムＨ０を算出し、ヒストグラムＨ０のピークに基づいて領域Ａ１（ｍ，ｎ）をその動きに応じた被写体毎にまとめてフレームＦｒ１を複数の被写体領域（本実施形態ではＯ１，Ｏ２とする）に分割するヒストグラム処理手段６を備える。
【００４２】
また、第１の実施形態における類似度算出手段２、寄与度算出手段３および合成手段４に代えて、フレームＦｒ２，Ｆｒ３における被写体領域Ｏ１，Ｏ２に対応する対応被写体領域Ｏ１（Ｆｒ２），Ｏ２（Ｆｒ２），Ｏ１（Ｆｒ３），Ｏ２（Ｆｒ３）毎に類似度ｂ２（Ｏ１），ｂ２（Ｏ２），ｂ３（Ｏ１），ｂ３（Ｏ２）を算出する類似度算出手段２２、対応被写体領域Ｏ１（Ｆｒ２），Ｏ２（Ｆｒ２），Ｏ１（Ｆｒ３），Ｏ２（Ｆｒ３）毎に寄与度β２（Ｏ１），β２（Ｏ２），β３（Ｏ１），β３（Ｏ２）を算出する寄与度算出手段２３、および対応被写体領域Ｏ１（Ｆｒ２），Ｏ２（Ｆｒ２），Ｏ１（Ｆｒ３），Ｏ２（Ｆｒ３）のそれぞれを寄与度β２（Ｏ１），β２（Ｏ２），β３（Ｏ１），β３（Ｏ２）に応じて対応する被写体領域Ｏ１，Ｏ２に重み付け加算して、処理済みフレームＦｒＧを得る合成手段２４を備えてなるものである。
【００４３】
図９は第３の実施形態における動ベクトルＶ０（ｍ，ｎ）の算出を説明するための図である。なお、フレームＦｒ１，Ｆｒ２間における動ベクトルおよびフレームＦｒ１，Ｆｒ３間における動ベクトルのいずれかを算出すれば、フレームＦｒ１を複数の被写体領域に分割することができるため、ここではフレームＦｒ１，Ｆｒ２間における動ベクトルの算出についてのみ説明する。
【００４４】
図９に示すように、動ベクトル算出手段１２は、フレームＦｒ１をｍ×ｎ個の複数の格子状の領域Ａ１（ｍ，ｎ）に分割し、複数の領域Ａ１（ｍ，ｎ）のそれぞれをフレームＦｒ２に対して平行移動し、領域Ａ１（ｍ，ｎ）とフレームＦｒ２間の画素値の相関が最も高くなったときの領域Ａ１（ｍ，ｎ）の移動量および移動方向を、その領域Ａ１（ｍ，ｎ）についての動ベクトルＶ０（ｍ，ｎ）として算出する。なお、領域Ａ１（ｍ，ｎ）とフレームＦｒ２間の画素値の差の２乗の累積和または絶対値の累積和が最小となったときに最も相関が高いものと判断する。
【００４５】
ここで、図１０（ａ）に示すように、フレームＦｒ１に含まれる人間の顔のみがフレームＦｒ２においてフレーム上左下から右上に大きく移動していたとする。この場合、動ベクトルＶ０（ｍ，ｎ）の大きさは、図１０（ｂ）に示すようにフレームＦｒ１上左下隅を原点とした場合の４つの領域Ａ１（１，１）、Ａ１（２，１）、Ａ１（１，２）、Ａ１（２，２）については大きく、その他の領域については小さくなる。
【００４６】
このため、動ベクトルＶ０（ｍ，ｎ）の大きさ｜Ｖ０（ｍ，ｎ）｜のヒストグラムＨ０を求めると、図１１に示すように２つのピークを有するものとなる。ここで、ピークＰ１は領域Ａ１（１，１）、Ａ１（２，１）、Ａ１（１，２）、Ａ１（２，２）以外の領域の動ベクトルＶ１２（ｍ，ｎ）に、ピークＰ２は領域Ａ１（１，１）、Ａ１（２，１）、Ａ１（１，２）、Ａ１（２，２）の領域の動ベクトルＶ２２（ｍ，ｎ）にそれぞれ対応する。
【００４７】
したがって、複数の領域Ａ１（ｍ，ｎ）は、動ベクトルＶ１２（ｍ，ｎ）に近い動ベクトルを有する第１の被写体領域Ｏ１と、動ベクトルＶ２２（ｍ，ｎ）に近い動ベクトルを有する第２の被写体領域Ｏ２とにまとめられることから、フレームＦｒ１は２つの被写体領域Ｏ１，Ｏ２に分割されることとなる。
【００４８】
類似度算出手段２２は、フレームＦｒ１上の被写体領域Ｏ１，Ｏ２のそれぞれをフレームＦｒ２，Ｆｒ３に対して平行移動し、被写体領域Ｏ１，Ｏ２とフレームＦｒ２，Ｆｒ３間の画素値の相関が最も高くなったフレームＦｒ２，Ｆｒ３上の領域を対応被写体領域Ｏ１（Ｆｒ２），Ｏ２（Ｆｒ２），Ｏ１（Ｆｒ３），Ｏ２（Ｆｒ３）として検出し、その際の被写体領域Ｏ１，Ｏ２および対応被写体領域Ｏ１（Ｆｒ２），Ｏ２（Ｆｒ２）間並びに被写体領域Ｏ１，Ｏ２および対応被写体領域Ｏ１（Ｆｒ３），Ｏ２（Ｆｒ３）間の画素値の差の２乗の逆数または絶対値の累積和の逆数をそれぞれ類似度ｂ２（Ｏ１），ｂ２（Ｏ２）および類似度ｂ３（Ｏ１），ｂ３（Ｏ２）として算出する。
【００４９】
寄与度算出手段２３は、予め定められた基準寄与度ｋに対して類似度ｂ２（Ｏ１），ｂ２（Ｏ２），ｂ３（Ｏ１），ｂ３（Ｏ２）を乗算することにより、フレームＦｒ２上の対応被写体領域Ｏ１（Ｆｒ２），Ｏ２（Ｆｒ２）を被写体領域Ｏ１，Ｏ２に重み付け加算する際の寄与度β２（Ｏ１），β２（Ｏ２）、およびフレームＦｒ３上の対応被写体領域Ｏ１（Ｆｒ３），Ｏ２（Ｆｒ３）を被写体領域Ｏ１，Ｏ２に重み付け加算する際の寄与度β３（Ｏ１），β３（Ｏ２）を算出する。
【００５０】
合成手段２４は、寄与度β２（Ｏ１），β２（Ｏ２），β３（Ｏ１），β３（Ｏ２）に応じて対応被写体領域Ｏ１（Ｆｒ２），Ｏ２（Ｆｒ２），Ｏ１（Ｆｒ３），Ｏ２（Ｆｒ３）のそれぞれを対応する被写体領域Ｏ１，Ｏ２に重み付け加算して処理済みフレームＦｒＧを得る。具体的には、被写体領域Ｏ１，Ｏ２、対応被写体領域Ｏ１（Ｆｒ２），Ｏ２（Ｆｒ２），Ｏ１（Ｆｒ３），Ｏ２（Ｆｒ３）を表すフレームデータをそれぞれＳＯ１，ＳＯ２，ＳＯ１（Ｆｒ２），ＳＯ２（Ｆｒ２），ＳＯ１（Ｆｒ３），ＳＯ２（Ｆｒ３）、処理済みフレームＦｒＧ上の被写体領域を表す処理済みフレームデータをＳＧ１，ＳＧ２とすると、下記の式（３）により処理済みフレームデータＳＧを算出する。
ＳＧ１＝ＳＯ１＋β２（Ｏ１）・ＳＯ１（Ｆｒ２）＋β３（Ｏ１）・ＳＯ１（Ｆｒ３）
ＳＧ２＝ＳＯ２＋β２（Ｏ２）・ＳＯ２（Ｆｒ２）＋β３（Ｏ２）・ＳＯ２（Ｆｒ３）　　　　　（３）
【００５１】
次いで、第３の実施形態の動作について説明する。図１２は第３の実施形態において行われる処理を示すフローチャートである。まず、動画像データＭ０がサンプリング手段１においてサンプリングされて、フレームＦｒ１，Ｆｒ２，Ｆｒ３が得られる（ステップＳ２１）。そして、動ベクトル算出手段５においてフレームＦｒ１上における複数の領域Ａ１（ｍ，ｎ）毎に複数の動ベクトルＶ０（ｍ，ｎ）が算出される（ステップＳ２２）。次いで、ヒストグラム処理手段６において複数の動ベクトルＶ０（ｍ，ｎ）のヒストグラムＨ０が算出され（ステップＳ２３）、ヒストグラムＨ０のピークに応じて複数の領域Ａ１（ｍ，ｎ）がまとめられて、フレームＦｒ１が複数の被写体領域Ｏ１，Ｏ２に分割される（ステップＳ２４）。
【００５２】
そして、類似度算出手段２２において、フレームＦｒ１上における被写体領域Ｏ１，Ｏ２とこれに対応するフレームＦｒ２上の対応被写体領域Ｏ１（Ｆｒ２），Ｏ２（Ｆｒ２）およびフレームＦｒ３上の対応被写体領域Ｏ１（Ｆｒ３），Ｏ２（Ｆｒ３）間の類似度ｂ２（Ｏ１），ｂ２（Ｏ２）および類似度ｂ３（Ｏ１），ｂ３（Ｏ２）が算出される（ステップＳ２５）。次いで、寄与度算出手段２３において、類似度ｂ２（Ｏ１），ｂ２（Ｏ２），ｂ３（Ｏ１），ｂ３（Ｏ２）が基準寄与度ｋに乗算されて寄与度β２（Ｏ１），β２（Ｏ２），β３（Ｏ１），β３（Ｏ２）が算出される（ステップＳ２６）。そして、寄与度β２（Ｏ１），β２（Ｏ２）および寄与度β３（Ｏ１），β３（Ｏ２）に応じて対応被写体領域Ｏ１（Ｆｒ２），Ｏ２（Ｆｒ２）および対応被写体領域Ｏ１（Ｆｒ３），Ｏ２（Ｆｒ３）が被写体領域Ｏ１，Ｏ２にそれぞれ重み付け加算されて処理済みフレームＦｒＧが得られ（ステップＳ２７）、処理を終了する。
【００５３】
このように、第３の実施形態においては、フレームＦｒ１を複数の被写体領域Ｏ１，Ｏ２に分割し、フレームＦｒ２，Ｆｒ３における被写体領域Ｏ１，Ｏ２に対応する対応被写体領域Ｏ１（Ｆｒ２），Ｏ２（Ｆｒ２）および対応被写体領域Ｏ１（Ｆｒ３），Ｏ２（Ｆｒ３）毎に類似度ｂ２（Ｏ１），ｂ２（Ｏ２）およびｂ３（Ｏ１），ｂ３（Ｏ２）を算出し、類似度ｂ２（Ｏ１），ｂ２（Ｏ２）およびｂ３（Ｏ１），ｂ３（Ｏ２）が大きいほど寄与度β２（Ｏ１），β２（Ｏ２）および寄与度β３（Ｏ１），β３（Ｏ２）による重み付けを大きくして対応被写体領域Ｏ１（Ｆｒ２），Ｏ２（Ｆｒ２）および対応被写体領域Ｏ１（Ｆｒ３），Ｏ２（Ｆｒ３）のそれぞれを対応する被写体領域Ｏ１，Ｏ２に加算して処理済みフレームＦｒＧを得るようにしたため、動画像上においてある被写体領域が移動していても、その被写体領域毎にボケを除去することができ、その結果、より高画質の処理済みフレームＦｒＧを得ることができる。
【００５４】
なお、上記第３の実施形態においては、対応被写体領域Ｏ１（Ｆｒ２），Ｏ２（Ｆｒ２），Ｏ１（Ｆｒ３），Ｏ２（Ｆｒ３）に寄与度β２（Ｏ１），β２（Ｏ２），β３（Ｏ１），β３（Ｏ２）をそれぞれ乗算して被写体領域Ｏ１，Ｏ２に加算することにより処理済みフレームＦｒＧを得ているが、例えば特開２０００−３５４２４４号公報に記載された方法のように、寄与度β２（Ｏ１），β２（Ｏ２），β３（Ｏ１），β３（Ｏ２）が乗算された対応被写体領域Ｏ１（Ｆｒ２），Ｏ２（Ｆｒ２），Ｏ１（Ｆｒ３），Ｏ２（Ｆｒ３）を被写体領域Ｏ１，Ｏ２に内挿することにより、フレームＦｒ１よりも高解像度の処理済みフレームＦｒＧを得るようにしてもよい。
【図面の簡単な説明】
【図１】本発明の第１の実施形態による画像処理装置の構成を示す概略ブロック図
【図２】第１の実施形態における類似度の算出を説明するための図
【図３】フレームの画素値に対する寄与度の乗算を説明するための図
【図４】第１の実施形態において行われる処理を示すフローチャート
【図５】本発明の第２の実施形態による画像処理装置の構成を示す概略ブロック図
【図６】領域毎の類似度の算出を説明するための図
【図７】第２の実施形態において行われる処理を示すフローチャート
【図８】本発明の第３の実施形態による画像処理装置の構成を示す概略ブロック図
【図９】領域毎の動ベクトルの算出を説明するための図
【図１０】フレームＦｒ１の被写体領域への分割を説明するための図
【図１１】ヒストグラムの例を示す図
【図１２】第３の実施形態において行われる処理を示すフローチャート
【符号の説明】
１　　サンプリング手段
２，１２，２２　　類似度算出手段
３，１３，２３　　寄与度処理手段
４，１４，２４　　合成手段
５　　動ベクトル算出手段
６　　ヒストグラム処理手段
【図１】
2004030252.tif 000003
【図２】
2004030252.tif 000004
【図３】
2004030252.tif 000005
【図４】
2004030252.tif 000006
【図５】
2004030252.tif 000007
【図６】
2004030252.tif 000008
【図７】
2004030252.tif 000009
【図８】
2004030252.tif 000010
【図９】
2004030252.tif 000011
【図１０】
2004030252.tif 000012
【図１１】
2004030252.tif 000013
【図１２】
2004030252.tif 000014