(57)【要約】【課題】  画像間のずれ量に応じて、画像の鮮鋭化を適応的に行う。【解決手段】  ずれ量算出部は、前記指定画像を鮮鋭化対象画像とするとともに、前記鮮鋭化対象画像の前または後に並ぶいずれか１つの元画像を鮮鋭化基準画像とし、前記鮮鋭化基準画像に対する前記鮮鋭化対象画像の並進成分のずれ量と回転成分のずれ量との少なくとも一方のずれ量を求める。画像鮮鋭化部は、前記ずれ量に応じて、前記鮮鋭化対象画像の画素ごとに、対応する前記鮮鋭化基準画像の画素に対する前記鮮鋭化対象画像の画素のずれの大きさを示すずれ総量を求め、前記ずれ総量に応じた鮮鋭化を行って、前記鮮鋭化済み画像を生成する。【選択図】        図１
2006025186.tif 000002
【特許請求の範囲】
【請求項１】
時系列に連続する複数の元画像の中の１つの指定画像に対して鮮鋭化処理を施した鮮鋭化済み画像を生成するための画像処理装置であって、
前記指定画像を鮮鋭化対象画像とするとともに、前記鮮鋭化対象画像の前または後に並ぶいずれか１つの元画像を鮮鋭化基準画像とし、前記鮮鋭化基準画像に対する前記鮮鋭化対象画像の並進成分のずれ量と回転成分のずれ量との少なくとも一方のずれ量を求めるずれ量算出部と、
前記ずれ量に応じて、前記鮮鋭化対象画像の画素ごとに、対応する前記鮮鋭化基準画像の画素に対する前記鮮鋭化対象画像の画素のずれの大きさを示すずれ総量を求め、前記ずれ総量に応じた鮮鋭化を行って、前記鮮鋭化済み画像を生成する画像鮮鋭化部と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１記載の画像処理装置において、
前記画像鮮鋭化部における鮮鋭化は、前記鮮鋭化対象画像の画素ごとに、
前記ずれ総量に応じたアンシャープフィルタを求め、
前記画素の画素値から、前記アンシャープフィルタによる前記画素の画素値の処理結果を差し引いた差分値と、前記画素の画素値と、を加算することにより前記画素の画素値に対する鮮鋭化結果を求めて、
対応する前記鮮鋭化済み画像の画素を生成することにより行われる、画像処理装置。
【請求項３】
請求項１記載の画像処理装置において、
前記画像鮮鋭化部における鮮鋭化は、前記鮮鋭化対象画像の画素ごとに、
前記画素の画素値から、所定のアンシャープフィルタによる前記画素の画素値の処理結果を差し引いた差分値を求め、
求めた差分値を前記ずれ総量に応じて変化させた値と、前記画素の画素値と、を加算することにより前記画素の画素値に対する鮮鋭化結果を求めて、
対応する前記鮮鋭化済み画像の画素を生成することにより行われる、画像処理装置。
【請求項４】
請求項１ないし請求項３のいずれかに記載の画像処理装置において、
前記ずれ総量は、前記並進成分のずれ量に応じて求められる並進成分ずれベクトルと、前記回転成分のずれ量および前記鮮鋭化対象画像の中心に対する前記画素の位置に基づいて求められる回転成分ずれベクトルと、の少なくとも一方で表されるずれベクトルの大きさである、画像処理装置。
【請求項５】
請求項４記載の画像処理装置において、
前記ずれベクトルは、前記並進成分ずれベクトルと前記回転成分ずれベクトルとの合成ベクトルあるいは差ベクトルで表される、画像処理装置。
【請求項６】
時系列に連続する複数の元画像の中から指定した１つの鮮明化指定画像に対して鮮明化処理を施した鮮明化済み画像を生成するための画像処理装置であって、
前記鮮明化指定画像を鮮明化基準画像とするとともに、前記鮮明化基準画像の前または後に並ぶ１以上の元画像を鮮明化対象画像とし、
前記鮮明化基準画像および前記１以上の鮮明化対象画像のそれぞれを鮮鋭化対象画像とするとともに、それぞれの前記鮮鋭化対象画像の前または後に並ぶ１つの元画像をそれぞれの前記鮮鋭化対象画像に対応する鮮鋭化基準画像とし、
前記鮮鋭化対象画像のそれぞれについて、対応する前記鮮鋭化基準画像に対する前記鮮鋭化対象画像の並進成分のずれ量と回転成分のずれ量との少なくとも一方のずれ量を求めるずれ量算出部と、
前記鮮鋭化対象画像のそれぞれについて、対応する前記ずれ量に応じて、前記鮮鋭化対象画像の画素ごとに、対応する前記鮮鋭化基準画像の画素に対する前記鮮鋭化対象画像の画素のずれの大きさを示すずれ総量を求め、前記ずれ総量に応じた鮮鋭化を行って、鮮鋭化済みの前記鮮明化基準画像および鮮鋭化済みの前記１以上の鮮明化対象画像を生成する画像鮮鋭化部と、
鮮鋭化済みの前記１以上の鮮明化対象画像を鮮鋭化済みの前記鮮明化基準画像に合成することにより、前記鮮明化指定画像に対して鮮明化を行った前記鮮明化済み画像を生成する画像鮮明化部と、
を備えることを特徴とする画像処理装置。
【請求項７】
時系列に連続する複数の元画像の中から指定した１つの鮮明化指定画像に対して鮮明化処理を施した鮮明化済み画像を生成するための画像処理装置であって、
前記鮮明化指定画像を鮮明化基準画像とするとともに、前記鮮明化基準画像の前または後に並ぶ１以上の元画像を鮮明化対象画像とし、前記鮮明化対象画像ごとに、前記鮮明化基準画像に対する前記鮮明化対象画像の並進成分のずれ量および回転成分のずれ量を求めるずれ量算出部と、
前記鮮明化対象画像のそれぞれに対して求めた並進成分のずれ量および回転成分のずれ量に応じて、前記鮮明化対象画像のそれぞれを前記鮮明化基準画像に合成することにより、前記鮮明化指定画像に対して鮮明化を行った鮮明化済み画像を生成する画像鮮明化部と、
前記鮮明化済み画像を鮮鋭化対象画像とするとともに、前記鮮明化基準画像の前または後に並ぶ１つの前記鮮明化対象画像を鮮鋭化基準画像とし、
前記鮮鋭化基準画像の前記鮮明化基準画像に対する前記並進成分のずれ量と前記回転成分のずれ量との少なくとも一方のずれ量に応じて、前記鮮鋭化対象画像の画素ごとに、対応する前記鮮鋭化基準画像の画素に対する前記鮮鋭化対象画像の画素のずれの大きさを示すずれ総量を求め、前記ずれ総量に応じた鮮鋭化を行って、前記鮮明化済み画像を鮮鋭化した鮮鋭化済み画像を生成する画像鮮鋭化部と、
を備えることを特徴とする画像処理装置。
【請求項８】
時系列に連続する複数の元画像の中の１つの指定画像に対して鮮鋭化処理を施した鮮鋭化済み画像を生成する方法であって、
（ａ）前記指定画像を鮮鋭化対象画像とするとともに、前記鮮鋭化対象画像の前または後に並ぶいずれか１つの元画像を鮮鋭化基準画像とし、前記鮮鋭化基準画像に対する前記鮮鋭化対象画像の並進成分のずれ量と回転成分のずれ量との少なくとも一方のずれ量を求める工程と、
（ｂ）前記ずれ量に応じて、前記鮮鋭化対象画像の画素ごとに、対応する前記鮮鋭化基準画像の画素に対する前記鮮鋭化対象画像の画素のずれの大きさを示すずれ総量を求め、前記ずれ総量に応じた鮮鋭化を行って、前記鮮鋭化済み画像を生成する工程と、
を備えることを特徴とする方法。
【請求項９】
時系列に連続する複数の元画像の中から指定した１つの鮮明化指定画像に対して鮮明化処理を施した鮮明化済み画像を生成する方法であって、
（ａ）前記鮮明化指定画像を鮮明化基準画像とするとともに、前記鮮明化基準画像の前または後に並ぶ１以上の元画像を鮮明化対象画像とし、
前記鮮明化基準画像および前記１以上の鮮明化対象画像のそれぞれを鮮鋭化対象画像とするとともに、それぞれの前記鮮鋭化対象画像の前または後に並ぶ１つの元画像をそれぞれの前記鮮鋭化対象画像に対応する鮮鋭化基準画像とし、
前記鮮鋭化対象画像のそれぞれについて、対応する前記鮮鋭化基準画像に対する前記鮮鋭化対象画像の並進成分のずれ量と回転成分のずれ量との少なくとも一方のずれ量を求める工程と、
（ｂ）前記鮮鋭化対象画像のそれぞれについて、対応する前記ずれ量に応じて、前記鮮鋭化対象画像の画素ごとに、対応する前記鮮鋭化基準画像の画素に対する前記鮮鋭化対象画像の画素のずれの大きさを示すずれ総量を求め、前記ずれ総量に応じた鮮鋭化を行って、鮮鋭化済みの前記鮮明化基準画像および鮮鋭化済みの前記１以上の鮮明化対象画像を生成する工程と、
（ｃ）鮮鋭化済みの前記１以上の鮮明化対象画像を鮮鋭化済みの前記鮮明化基準画像に合成することにより、前記鮮明化指定画像に対して鮮明化を行った前記鮮明化済み画像を生成する工程と、
を備えることを特徴とする方法。
【請求項１０】
時系列に連続する複数の元画像の中から指定した１つの鮮明化指定画像に対して鮮明化処理を施した鮮明化済み画像を生成する方法であって、
（ａ）前記鮮明化指定画像を鮮明化基準画像とするとともに、前記鮮明化基準画像の前または後に並ぶ１以上の元画像を鮮明化対象画像とし、前記鮮明化対象画像ごとに、前記鮮明化基準画像に対する前記鮮明化対象画像の並進成分のずれ量および回転成分のずれ量を求める工程と、
（ｂ）前記鮮明化対象画像のそれぞれに対して求めた並進成分のずれ量および回転成分のずれ量に応じて、前記鮮明化対象画像のそれぞれを前記鮮明化基準画像に合成することにより、前記鮮明化指定画像に対して鮮明化を行った鮮明化済み画像を生成する画像鮮明化部と、
（ｃ）前記鮮明化済み画像を鮮鋭化対象画像とするとともに、前記鮮明化基準画像の前または後に並ぶ１つの前記鮮明化対象画像を鮮鋭化基準画像とし、
前記鮮鋭化基準画像の前記鮮明化基準画像に対する前記並進成分のずれ量と前記回転成分のずれ量との少なくとも一方のずれ量に応じて、前記鮮鋭化対象画像の画素ごとに、対応する前記鮮鋭化基準画像の画素に対する前記鮮鋭化対象画像の画素のずれの大きさを示すずれ総量を求め、前記ずれ総量に応じた鮮鋭化を行って、前記鮮明化済み画像を鮮鋭化した鮮鋭化済み画像を生成する工程と、
を備えることを特徴とする方法。
【請求項１１】
時系列に連続する複数の元画像の中の１つの指定画像に対して鮮鋭化処理を施した鮮鋭化済み画像を生成するためのコンピュータプログラムであって、
前記指定画像を鮮鋭化対象画像とするとともに、前記鮮鋭化対象画像の前または後に並ぶいずれか１つの元画像を鮮鋭化基準画像とし、前記鮮鋭化基準画像に対する前記鮮鋭化対象画像の並進成分のずれ量と回転成分のずれ量との少なくとも一方のずれ量を求めるずれ量算出機能と、
前記ずれ量に応じて、前記鮮鋭化対象画像の画素ごとに、対応する前記鮮鋭化基準画像の画素に対する前記鮮鋭化対象画像の画素のずれの大きさを示すずれ総量を求め、前記ずれ総量に応じた鮮鋭化を行って、前記鮮鋭化済み画像を生成する画像鮮鋭化機能と、
をコンピュータに実現させるコンピュータプログラム。
【請求項１２】
時系列に連続する複数の元画像の中から指定した１つの鮮明化指定画像に対して鮮明化処理を施した鮮明化済み画像を生成するためのコンピュータプログラムであって、
前記鮮明化指定画像を鮮明化基準画像とするとともに、前記鮮明化基準画像の前または後に並ぶ１以上の元画像を鮮明化対象画像とし、
前記鮮明化基準画像および前記１以上の鮮明化対象画像のそれぞれを鮮鋭化対象画像とするとともに、それぞれの前記鮮鋭化対象画像の前または後に並ぶ１つの元画像をそれぞれの前記鮮鋭化対象画像に対応する鮮鋭化基準画像とし、
前記鮮鋭化対象画像のそれぞれについて、対応する前記鮮鋭化基準画像に対する前記鮮鋭化対象画像の並進成分のずれ量と回転成分のずれ量との少なくとも一方のずれ量を求めるずれ量算出機能と、
前記鮮鋭化対象画像のそれぞれについて、対応する前記ずれ量に応じて、前記鮮鋭化対象画像の画素ごとに、対応する前記鮮鋭化基準画像の画素に対する前記鮮鋭化対象画像の画素のずれの大きさを示すずれ総量を求め、前記ずれ総量に応じた鮮鋭化を行って、鮮鋭化済みの前記鮮明化基準画像および鮮鋭化済みの前記１以上の鮮明化対象画像を生成する画像鮮鋭化機能と、
鮮鋭化済みの前記１以上の鮮明化対象画像を鮮鋭化済みの前記鮮明化基準画像に合成することにより、前記鮮明化指定画像に対して鮮明化を行った前記鮮明化済み画像を生成する画像鮮明化機能と、
をコンピュータに実現させるコンピュータプログラム。
【請求項１３】
時系列に連続する複数の元画像の中から指定した１つの鮮明化指定画像に対して鮮明化処理を施した鮮明化済み画像を生成するためのコンピュータプログラムであって、
前記鮮明化指定画像を鮮明化基準画像とするとともに、前記鮮明化基準画像の前または後に並ぶ１以上の元画像を鮮明化対象画像とし、前記鮮明化対象画像ごとに、前記鮮明化基準画像に対する前記鮮明化対象画像の並進成分のずれ量および回転成分のずれ量を求めるずれ量算出機能と、
前記鮮明化対象画像のそれぞれに対して求めた並進成分のずれ量および回転成分のずれ量に応じて、前記鮮明化対象画像のそれぞれを前記鮮明化基準画像に合成することにより、前記鮮明化指定画像に対して鮮明化を行った鮮明化済み画像を生成する画像鮮明化機能と、
前記鮮明化済み画像を鮮鋭化対象画像とするとともに、前記鮮明化基準画像の前または後に並ぶ１つの前記鮮明化対象画像を鮮鋭化基準画像とし、
前記鮮鋭化基準画像の前記鮮明化基準画像に対する前記並進成分のずれ量と前記回転成分のずれ量との少なくとも一方のずれ量に応じて、前記鮮鋭化対象画像の画素ごとに、対応する前記鮮鋭化基準画像の画素に対する前記鮮鋭化対象画像の画素のずれの大きさを示すずれ総量を求め、前記ずれ総量に応じた鮮鋭化を行って、前記鮮明化済み画像を鮮鋭化した鮮鋭化済み画像を生成する画像鮮鋭化機能と、
をコンピュータに実現させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を鮮鋭化する技術に関する。
【背景技術】
【０００２】
デジタルビデオカメラなどで撮影して得られた動画像データや、デジタルカメラなどで連写撮影して得られた連写画像データから、１つの静止画像データを生成することが行われている。例えば、動画像データ中の１フレームの画像データから静止画像データを生成することや、複数フレームの画像データを合成して１つの高解像度な静止画像データを生成することが行われている。また、連写画像データ中の１つの画像データから画像データを生成することや、複数枚の画像データを合成して１つの高解像度な画像データを生成することも行われている。
【０００３】
ここで、例えば、デジタルビデオカメラ（単に「カメラ」とも呼ぶ）による撮影時においては、手ぶれに起因するカメラの並進や回転（以下、「カメラの動き」とも呼ぶ）によって、得られた画像データの表す画像がぼやける場合がある。画像のぼやける度合いは、カメラの並進量や回転量（以下、「カメラの動き量」とも呼ぶ）に応じてフレームごとに変化する。また、１フレーム内においても、フレーム内の画素の位置とカメラの回転量とに応じて変化する。なお、このような画像のぼやけは、デジタルカメラによる連写撮影時における連写画像データの表す連写画像においても、同様に発生する。
【０００４】
そこで、このような画像のぼやけを補正して画像の高画質化を図るために、画像データに対して鮮鋭化処理を行って、その画像データの表す画像を鮮鋭化することが行われている。
【０００５】
画像を鮮鋭化する方法としては、例えば、特許文献１〜３に記載されたものが知られている。
【０００６】
【特許文献１】特開２０００−２２４４６０号公報
【特許文献２】特開２００３−６９８５９号公報
【特許文献３】特開２００４−３２３７４号公報
【０００７】
特許文献１に記載の鮮鋭化方法は、複数の画像から１つの高解像度な画像を生成し、生成した画像に対して画一的な鮮鋭化を行うものである。この鮮鋭化方法は、カメラの動き量に関係なく画一的であるため、鮮鋭化が過剰に行われる場合や鮮鋭化が不十分な場合が発生する。
【０００８】
特許文献２に記載の鮮鋭化方法は、手ぶれに起因するカメラの動き量として、フレーム間の動きベクトルを、画像の１フレーム内について複数のブロックに区分したブロック単位で検出し、各ブロックについて、検出した動きベクトルの大きさに応じた強調度で鮮鋭化を行うものである。また、特許文献３に記載の鮮鋭化方法は、ブロックについて、検出した動きベクトルの大きさおよび方向に応じた強調度で鮮鋭化を行うものである。
【０００９】
特許文献２および３のいずれの方法においても、動きベクトルに応じた強調度で鮮鋭化を行うことができるので、カメラの動き量に応じて発生する画像のぼやけを、発生したカメラの動き量に応じて適応的に補正することが可能である。
【００１０】
しかしながら、特許文献２および３のいずれの方法においても、動きベクトルをブロック単位で検出しているので、ブロック間の境界において、それぞれの鮮鋭化結果に大きな違いが発生し、鮮鋭化処理後の画像の連続性が損なわれて画像の境界が目立ってしまう場合がある。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
本発明は、デジタルビデオカメラやデジタルカメラなどのカメラの動き量に応じて発生する画像間のずれ量に応じて、画像の鮮鋭化を適応的に行うことにより、高画質な画像を生成することができる技術を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明による第１の画像処理装置は、時系列に連続する複数の元画像の中の１つの指定画像に対して鮮鋭化処理を施した鮮鋭化済み画像を生成するための画像処理装置であって、
前記指定画像を鮮鋭化対象画像とするとともに、前記鮮鋭化対象画像の前または後に並ぶいずれか１つの元画像を鮮鋭化基準画像とし、前記鮮鋭化基準画像に対する前記鮮鋭化対象画像の並進成分のずれ量と回転成分のずれ量との少なくとも一方のずれ量を求めるずれ量算出部と、
前記ずれ量に応じて、前記鮮鋭化対象画像の画素ごとに、対応する前記鮮鋭化基準画像の画素に対する前記鮮鋭化対象画像の画素のずれの大きさを示すずれ総量を求め、前記ずれ総量に応じた鮮鋭化を行って、前記鮮鋭化済み画像を生成する画像鮮鋭化部と、
を備えることを特徴とする。
【００１３】
この装置によれば、鮮鋭化対象画像として指定された画像の鮮鋭化を、鮮鋭化基準画像に対する鮮鋭化対象画像の並進成分のずれ量と回転成分のずれ量との少なくとも一方のずれ量に応じて、鮮鋭化対象画像の画素ごとに、対応する鮮鋭化基準画像の画素に対する鮮鋭化対象画像の画素のずれの大きさを示すずれ総量を求め、求めたずれ総量に応じた鮮鋭化を行うことができるので、手ぶれに起因するカメラの並進や回転によって、発生する画像のぼやけを補正した高画質な画像を生成することができる。また、鮮鋭化対象画像の画素ごとに、求められたずれ総量に応じた鮮鋭化を行っているので、背景技術で説明したブロック間の境界において、鮮鋭化処理後の画像の連続性が損なわれて画像の境界が目立ってしまうという問題もない。
【００１４】
なお、前記画像鮮鋭化部における鮮鋭化は、前記鮮鋭化対象画像の画素ごとに、
前記ずれ総量に応じたアンシャープフィルタを求め、
前記画素の画素値から、前記アンシャープフィルタによる前記画素の画素値の処理結果を差し引いた差分値と、前記画素の画素値と、を加算することにより前記画素の画素値に対する鮮鋭化結果を求めて、
対応する前記鮮鋭化済み画像の画素を生成することにより行われるようにしてもよい。
あるいは、前記画像鮮鋭化部における鮮鋭化は、前記鮮鋭化対象画像の画素ごとに、
前記画素の画素値から、所定のアンシャープフィルタによる前記画素の画素値の処理結果を差し引いた差分値を求め、
求めた差分値を前記ずれ総量に応じて変化させた値と、前記画素の画素値と、を加算することにより前記画素の画素値に対する鮮鋭化結果を求めて、
対応する前記鮮鋭化済み画像の画素を生成することにより行われるようにしてもよい。
【００１５】
これらの構成によれば、鮮鋭化対象画像の画素ごとに、求められたずれ総量に応じた鮮鋭化を容易に実行することが可能である。
【００１６】
ここで、前記ずれ総量は、前記並進成分のずれ量に応じて求められる並進成分ずれベクトルと、前記回転成分のずれ量および前記鮮鋭化対象画像の中心に対する前記画素の位置から求められる回転成分ずれベクトルとの少なくとも一方に応じて求められるずれベクトルの大きさを求めることにより得られることが好ましい。
【００１７】
この構成によれば、鮮鋭化対象画像の画素の、対応する鮮鋭化基準画像の画素に対するずれの大きさを示すずれ総量を、鮮鋭化基準画像に対する鮮鋭化対象画像の並進成分のずれ量および回転成分のずれ量を用いて容易に求めることができる。
【００１８】
なお、前記ずれベクトルは、前記並進成分ずれベクトルと前記回転成分ずれベクトルとの合成ベクトルあるいは差ベクトルで表すことができる。
【００１９】
本発明による第２の画像処理装置は、時系列に連続する複数の元画像の中から指定した１つの鮮明化指定画像に対して鮮明化処理を施した鮮明化済み画像を生成するための画像処理装置であって、
前記鮮明化指定画像を鮮明化基準画像とするとともに、前記鮮明化基準画像の前または後に並ぶ１以上の元画像を鮮明化対象画像とし、
前記鮮明化基準画像および前記１以上の鮮明化対象画像のそれぞれを鮮鋭化対象画像とするとともに、それぞれの前記鮮鋭化対象画像の前または後に並ぶ１つの元画像をそれぞれの前記鮮鋭化対象画像に対応する鮮鋭化基準画像とし、
前記鮮鋭化対象画像のそれぞれについて、対応する前記鮮鋭化基準画像に対する前記鮮鋭化対象画像の並進成分のずれ量と回転成分のずれ量との少なくとも一方のずれ量を求めるずれ量算出部と、
前記鮮鋭化対象画像のそれぞれについて、対応する前記ずれ量に応じて、前記鮮鋭化対象画像の画素ごとに、対応する前記鮮鋭化基準画像の画素に対する前記鮮鋭化対象画像の画素のずれの大きさを示すずれ総量を求め、前記ずれ総量に応じた鮮鋭化を行って、鮮鋭化済みの前記鮮明化基準画像および鮮鋭化済みの前記１以上の鮮明化対象画像を生成する画像鮮鋭化部と、
鮮鋭化済みの前記１以上の鮮明化対象画像を鮮鋭化済みの前記鮮明化基準画像に合成することにより、前記鮮明化指定画像に対して鮮明化を行った前記鮮明化済み画像を生成する画像鮮明化部と、
を備えることを特徴とする。
【００２０】
この装置によれば、１以上の鮮明化対象画像を鮮明化基準画像に合成することにより、鮮明化指定画像に対して鮮明化を行った鮮明化済み画像を生成する前に、鮮明化基準画像および１以上の鮮明化対象画像のそれぞれを鮮鋭化対象画像として、それぞれの鮮鋭化対象画像について、対応するずれ量に応じて、鮮鋭化対象画像の画素ごとに、対応する鮮鋭化基準画像の画素に対する鮮鋭化対象画像の画素のずれの大きさを示すずれ総量を求め、求めたずれ総量に応じた鮮鋭化を行うことができる。そして、鮮鋭化済みの１以上の鮮明化対象画像を、鮮鋭化済みの鮮明化基準画像に対して合成することにより、鮮明化指定画像に対して鮮明化を行った鮮明化済み画像を生成することができる。これにより、それぞれの鮮鋭化基準画像に対するずれ量に応じて鮮鋭化を行った高画質な鮮鋭化済みの画像を鮮明化基準画像および１以上の鮮明化対象画像として合成することにより、鮮明化指定画像に対して鮮明化を行った鮮明化済み画像を生成することができるので、より高画質な鮮明化画像を得ることができる。
【００２１】
本発明による第３の画像処理装置は、時系列に連続する複数の元画像の中から指定した１つの鮮明化指定画像に対して鮮明化処理を施した鮮明化済み画像を生成するための画像処理装置であって、
前記鮮明化指定画像を鮮明化基準画像とするとともに、前記鮮明化基準画像の前または後に並ぶ１以上の元画像を鮮明化対象画像とし、前記鮮明化対象画像ごとに、前記鮮明化基準画像に対する前記鮮明化対象画像の並進成分のずれ量および回転成分のずれ量を求めるずれ量算出部と、
前記鮮明化対象画像のそれぞれに対して求めた並進成分のずれ量および回転成分のずれ量に応じて、前記鮮明化対象画像のそれぞれを前記鮮明化基準画像に合成することにより、前記鮮明化指定画像に対して鮮明化を行った鮮明化済み画像を生成する画像鮮明化部と、
前記鮮明化済み画像を鮮鋭化対象画像とするとともに、前記鮮明化基準画像の前または後に並ぶ１つの前記鮮明化対象画像を鮮鋭化基準画像とし、
前記鮮鋭化基準画像の前記鮮明化基準画像に対する前記並進成分のずれ量と前記回転成分のずれ量との少なくとも一方のずれ量に応じて、前記鮮鋭化対象画像の画素ごとに、対応する前記鮮鋭化基準画像の画素に対する前記鮮鋭化対象画像の画素のずれの大きさを示すずれ総量を求め、前記ずれ総量に応じた鮮鋭化を行って、前記鮮明化済み画像を鮮鋭化した鮮鋭化済み画像を生成する画像鮮鋭化部と、
を備えることを特徴とする。
【００２２】
この装置によれば、鮮明化済み画像を鮮鋭化対象画像とするともに、鮮明化基準画像の前または後に並ぶ１つの鮮明化対象画像を鮮鋭化基準画像とし、鮮鋭化基準画像の鮮明化基準画像に対する並進成分のずれ量と回転成分のずれ量との少なくとも一方のずれ量に応じて、鮮鋭化対象画像の画素ごとに、対応する鮮鋭化基準画像の画素に対する鮮鋭化対象画像の画素のずれの大きさを示すずれ総量を求め、求めた記ずれ総量に応じた鮮鋭化を行って、鮮明化済み画像を鮮鋭化した鮮鋭化済み画像を生成することができるので、高画質な鮮明化画像を得ることができる。
【００２３】
なお、本発明は、種々の形態で実現することが可能であり、例えば、画像処理方法および装置、画像生成方法および装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータを含む搬送波内に具現化されたデータ信号、当の形態で実現することができる。
【００２４】
この発明における「記録媒体」としては、フレキシブルディスクやＣＤ−ＲＯＭ、光磁気ディスク、ＩＣカード、ＲＯＭカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置（ＲＡＭやＲＯＭなどのメモリ）および外部記憶装置等の、コンピュータが読取り可能な種々の媒体を利用することができる。
【発明を実施するための最良の形態】
【００２５】
次に、本発明の実施の形態を以下の手順で説明する。
Ａ．第１実施例：
Ｂ．第２実施例：
Ｃ．第３実施例：
Ｄ．変形例：
【００２６】
Ａ．第１実施例：
図１は、本発明の第１実施例としての画像処理システムを示す説明図である。この画像処理システムは、パーソナルコンピュータ(ＰＣ)１００により構成されている。ＰＣ１００は、ＰＣ本体１１０と、ＰＣ本体１１０に接続される入力装置であるキーボード１２０，ポインティングデバイス１２２と、同じくＰＣ本体１１０に接続される出力装置であるモニタ１３０と、同じくＰＣ本体１１０に接続される画像入力装置であるデジタルビデオカメラ１４０と、を備えている。
【００２７】
ＰＣ本体１１０は、画像処理部２００として機能する。画像処理部２００は、ビデオカメラ１４０で撮影された動画像を利用して作成する静止画像の鮮鋭化など種々の処理を行うことができる。
【００２８】
画像処理部２００は、ユーザインタフェース部２１０と、ずれ量算出部２２０と、画像鮮鋭化部２３０と、ずれ量記憶部２５０と、画像格納部２６０と、を備えている。ずれ量記憶部２５０および画像格納部２６０以外の各部の機能は、ＰＣ本体１１０で実行されるソフトウェアによって実現される。
【００２９】
ユーザインタフェース部２１０は、画像処理のための種々のユーザインタフェース画面をモニタ１３０に表示するとともに、キーボード１２０やポインティングデバイス１２２を介して入力されるユーザの指示を受け取って各部に伝達する。静止画像の鮮鋭化処理においては、処理対象とする動画像の選択や、動画像内のフレーム画像の選択、鮮鋭化対象フレームの指定等を行うためのインタフェース画面（後述）がユーザインタフェース部２１０によって提供される。
【００３０】
ずれ量算出部２２０は、鮮鋭化の対象となるフレーム画像（「鮮鋭化対象フレーム画像」とも呼ぶ）と、１つ前のフレーム画像（鮮鋭化基準フレーム画像とも呼ぶ）との間のフレーム間のずれ量を算出する。このずれ量は、縦横の並進成分と回転成分とで表される。画像鮮鋭化部２３０は、算出したずれ量に応じて鮮鋭化対象フレーム画像の鮮鋭化を行うことによって静止画像を生成する。
【００３１】
画像鮮鋭化部２３０は、ずれベクトル算出部２３２と、ずれ総量算出部２３４と、フィルタ作成部２３６と、鮮鋭化処理部２３８とを備えている。ずれベクトル算出部２３２は、鮮鋭化対象フレーム画像の各画素について、それぞれ、算出したずれ量に応じたずれベクトルを算出する。このずれベクトルは、算出対象となる画素の並進成分によるずれベクトル（並進成分ずれベクトルと呼ぶ）と回転成分によるずれベクトル（回転成分ずれベクトルと呼ぶ）との合成ベクトルで表される。ずれ総量算出部２３４は、鮮鋭化対象フレーム画像の各画素について、それぞれ、ずれベクトルの大きさをずれ総量として算出する。フィルタ作成部２３６は、鮮鋭化対象フレーム画像の各画素について、それぞれ、算出したずれ総量に応じて、鮮鋭化処理に用いられるアンシャープフィルタを作成する。鮮鋭化処理部２３８は、鮮鋭化対象フレーム画像の各画素について、それぞれ、作成したアンシャープフィルタを用いて鮮鋭化処理を行い、鮮鋭化した静止画像を生成する。
【００３２】
図２は、本実施例の処理手順を示すフローチャートである。ステップＳ１０では、ユーザによって処理対象となる動画像が選択される。図３は、静止画像作成用のウインドウの一例を示している。このウインドウは、複数の動画像Ｇ１，Ｇ２の代表画像が表示される画像選択領域ＧＳＡと、処理指定領域ＰＳＡと、を有している。処理指定領域ＰＳＡの中央には、画像表示領域ＧＤＡが設けられている。ユーザが、画像選択領域ＧＳＡ内に表示された複数の動画像Ｇ１，Ｇ２の中の１つを選択し、再生ボタンＢ１を押すと、選択された動画像Ｇ１の動画像データが画像格納部２６０から順に読み出され、画像表示領域ＧＤＡ内に再生される。なお、複数の動画像Ｇ１，Ｇ２を表す動画像データは、あらかじめ、ビデオカメラ１４０から入力されて、画像格納部２６０に格納されている。ただし、ビデオカメラ１４０に格納されている動画像データを直接読み出してＰＣ１００に入力し、再生することも可能である。なお、処理指定領域ＰＳＡには、再生ボタンＢ１の他に、停止ボタンＢ２や一時停止ボタンＢ３、コマ送りボタンＢ４、コマ戻しボタンＢ５、鮮鋭化ボタンＢ６などの各種の要素が設けられている。
【００３３】
図２のステップＳ１２では、ユーザが鮮鋭化対象フレーム画像を指定する。具体的には、動画像の再生が停止した状態において、ユーザが鮮鋭化ボタンＢ６を押すと、そのとき画像表示領域ＧＤＡ内に表示されているフレーム画像が、鮮鋭化対象フレーム画像として指定される。なお、動画像の再生が停止した状態は、例えば、ユーザが動画像の再生中に停止ボタンＢ２や一時停止ボタンＢ３を押すことにより実現される。また、コマ送りボタンＢ５やコマ戻しボタンＢ４を押すことによって実現される。
【００３４】
ステップ１４では、ずれ量算出部２２０が、鮮鋭化基準フレーム画像に対する鮮鋭化対象フレーム画像のずれ量を算出し、ずれ量記憶部２５０に記憶する。図４は、鮮鋭化基準フレーム画像に対する鮮鋭化対象フレーム画像のずれ量について示す説明図である。図４は、鮮鋭化対象フレーム画像Ｆｓｔが、１つ前のフレーム画像である鮮鋭化基準フレーム画像Ｆｓｒに対して画像が重なるようにずらして配置された状態を示している。説明の便宜上、鮮鋭化基準フレーム画像Ｆｓｒに対して、その中心を原点Ｏ１とし、横方向をｘ１軸、縦方向をｙ１軸とする直交座標（ｘ１，ｙ１）を仮定する。また、鮮鋭化対象フレーム画像Ｆｓｔに対して、その中心を原点Ｏ２とし、横方向をｘ２軸、縦方向をｙ２軸とする直交座標（ｘ２，ｙ２）を仮定する。この場合、鮮鋭化対象フレーム画像Ｆｓｔの鮮鋭化基準フレーム画像Ｆｓｒに対するずれ量は、横方向の並進成分ｕ（画素）、縦方向の並進成分ｖ（画素）、および、回転成分δ（ラジアン）の３つのパラメータで表される。このずれ量（ｕ，ｖ，δ）は、鮮鋭化基準フレーム画像Ｆｓｒと鮮鋭化対象フレーム画像Ｆｓｔとの間の各画素の画素値(画素データ)、例えば、輝度の階調値(階調データ)を用いて、パターンマッチ法による１画素単位の大雑把な推定および勾配法による１画素よりも細かい単位の詳細な推定を利用して推定することにより求めることができる。
【００３５】
図２のステップＳ１６〜ステップＳ２６では、以下で説明するように、画像鮮鋭化部２３０が、算出したずれ量に応じて鮮鋭化対象フレーム画像の鮮鋭化を画素単位で実行し、静止画像を生成する。
【００３６】
まず、ステップＳ１６では、鮮鋭化対象フレーム画像のうち、鮮鋭化処理を行う１つの対象画素を設定する。例えば、鮮鋭化対象フレーム画像の全画素の鮮鋭化処理が終了するまで、上の行から下の行まで各行ごとに、左側の画素から右側の画素まで１画素ずつ設定される。
【００３７】
そして、ステップＳ１８では、ずれベクトル算出部２３２が、ずれ量記憶部２５０に記憶されたずれ量に応じて、対象画素のずれベクトルを算出し、ステップＳ２０では、ずれ総量算出部２３４が、算出したずれベクトルの大きさをずれ総量として算出する。
【００３８】
図５は、ずれベクトルについて示す説明図である。図に示すように、以下で説明する鮮鋭化処理においては、鮮鋭化対象フレーム画像の中心を原点Ｏとし、横方向をｘ軸、縦方向をｙ軸に設定して、各画素の位置を座標（ｘ，ｙ）で表すこととする。
【００３９】
対象画素Ｐ（ｘ，ｙ）における並進成分ずれベクトルａ（ｘ，ｙ）の大きさ｜ａ（ｘ，ｙ）｜、および、その方向を表す角度（ｘ軸に対する反時計回りの角度）θ１は、下式（１）および（２）で表される。
｜ａ（ｘ，ｙ）｜＝（ｕ２＋ｖ２）１／２  ...（１）
θ１＝ｔａｎ−１（ｖ／ｕ）  ...（２）
【００４０】
また、対象画素Ｐ（ｘ，ｙ）における回転成分ずれベクトルｂ（ｘ，ｙ）の大きさ｜ｂ（ｘ，ｙ）｜、および、その方向を表す角度（ｘ軸に対する反時計回りの角度）θ２は、下式（３）および（４）で表される。なお、対象画素Ｐ（ｘ，ｙ）における回転成分ずれベクトルｂ（ｘ，ｙ）の方向は、原点Ｏと対象画素Ｐとを結ぶベクトルに対して反時計回りに垂直な方向で表される。
｜ｂ（ｘ，ｙ）｜＝δ・（ｕ２＋ｖ２）１／２  ...（３）
θ２＝θ３＋π／２＝ｔａｎ−１（ｙ／ｘ）＋π／２  ...（４）
【００４１】
ずれベクトルｃ（ｘ，ｙ）としては、並進成分ずれベクトルａ（ｘ，ｙ）と回転成分ずれベクトルｂ（ｘ，ｙ）の合成ベクトル（ａ（ｘ，ｙ）＋ｂ（ｘ，ｙ））を用いることとする。
【００４２】
そして、ずれ総量Ｚ（ｘ，ｙ）を示すずれベクトルの大きさ｜ｃ（ｘ，ｙ）｜は、並進成分ずれベクトルａ（ｘ，ｙ）と回転成分ずれベクトルｂ（ｘ，ｙ）とのなす角をθとすると、余弦定理を用いて下式（５）によって表すことができる。なお、角θは下式（６）から求めることができる。
Ｚ（ｘ，ｙ）２＝｜ａ（ｘ，ｙ）｜２＋｜ｂ（ｘ，ｙ）｜２−２・｜ａ（ｘ，ｙ）｜・｜ｂ（ｘ，ｙ）｜・ｃｏｓ（π−θ）＝｜ａ（ｘ，ｙ）｜２＋｜ｂ（ｘ，ｙ）｜２＋２・｜ａ（ｘ，ｙ）｜・｜ｂ（ｘ，ｙ）｜・ｃｏｓθ  ...（５）
θ＝θ２−θ１＝ｔａｎ−１（ｙ／ｘ）＋π／２−ｔａｎ−１（ｖ／ｕ）  ...（６）
【００４３】
図６は、ずれ総量の算出例を示す説明図である。このずれ総量の算出例は、ずれ量（ｕ，ｖ，ｗ）を（１，０，１／１００）とした場合の算出例を示している。
【００４４】
図６（Ａ）に示すように、対象画素Ｐの座標が（０，０）の場合には、上式（１）〜（６）式を用いてずれ総量Ｚ（０，０）を算出すると、ずれ総量Ｚ（０，０）は１となる。図６（Ｂ）に示すように、対象画素Ｐの座標が（１００，０）の場合には、同様に、上式（１）〜（６）を用いてずれ総量Ｚ（１００，０）を算出すると、ずれ総量Ｚ（１００，０）は２１／２（≒１．４１４）となる。図６（Ｃ）に示すように、対象画素Ｐの座標が（１００，１００）の場合には、上式（１）〜（６）式を用いてずれ総量Ｚ（１００，１００）を算出すると、ずれ総量Ｚ（１００，１００）は１となる。
【００４５】
上記算出例からわかるように、回転成分ずれベクトルb（ｘ，ｙ）の大きさ｜ｂ（ｘ，ｙ）｜は、対象画素Ｐの位置（座標）に応じて変化し、これに応じてずれ総量Ｚ（ｘ，ｙ）も変化する。従って、ずれ総量Ｚ（ｘ，ｙ）は、ずれ量に応じて変化するパラメータである。
【００４６】
図２のステップＳ２２では、フィルタ作成部２３６が、算出したずれ総量Ｚ（ｘ，ｙ）に応じて、対象画素の鮮鋭化処理に用いられるアンシャープフィルタを作成する。
【００４７】
図７は、アンシャープフィルタについて示す説明図である。このアンシャープフィルタは、配列の中心（図中クロスハッチで示した配列）を鮮鋭化の対象画素Ｐ（ｘ，ｙ）に対応させた、一辺の配列数をＬｆとする正方形状のマトリクスフィルタである。一辺の配列数Ｌｆは、ずれ総量Ｚ（ｘ，ｙ）の小数を切り上げた値Ｚｒｎ（ｘ，ｙ）を用いて、下式（７）で決定される。なお、Ｚｒｎ（ｘ，ｙ）を単にずれ総量と呼ぶ場合もある。
Ｌｆ＝Ｚｒｎ（ｘ，ｙ）２＋１  ...（７）
【００４８】
各配列のフィルタ係数ｆ（ｒ）は、例えば、下式（８）で表される正規分布特性により決定される。
ｆ（ｒ）＝｛１／［σ・（２π）１／２］｝・ｅｘｐ｛−（ｒ−μ）２／（２・σ２）｝  ...（８）
【００４９】
μは平均値である。σは標準偏差であり、下式（９）で表される。
σ＝ｋ・Ｚ（ｘ，ｙ）  ...（９）
【００５０】
ずれ総量Ｚ（ｘ，ｙ）が小さければ、分散（σ２）の小さな正規分布となり、アンシャープフィルタによるぼかしの度合いが小さくなって、鮮鋭化の度合いが小さくなる。反対に、ずれ総量Ｚ（ｘ，ｙ）が大きければ、分散（σ２）の大きな正規分布となり、アンシャープフィルタによるぼかしの度合いが大きくなって、鮮鋭化の度合いが大きくなる。ｋは、正規分布の計算結果を調整するための係数である。係数ｋが大きくなると、分散が大きくなって、アンシャープフィルタによるぼかしの度合いが大きくなり、鮮鋭化の度合いが大きくなる。反対に係数ｋが小さくなると、ぼかしの度合いが小さくなって、鮮鋭化の度合いが小さくなる。本実施例では、ｋを０．５に設定することとする。
【００５１】
アンシャープフィルタの中心配列には、平均値μ＝０における正規分布の中心値ｆ（０）がフィルタ係数として設定される。周囲の配列には、中心配列からの距離を上式（８）のパラメータｒとして計算した値ｆ（ｒ）をフィルタ係数として設定される。
【００５２】
図８は、アンシャープフィルタの設定例を示す説明図である。このアンシャープフィルタは、ずれ量（ｕ，ｖ，δ）が（１，０，１／１００）で、対象画素Ｐの座標が（０，０）の場合の設定例を示している。図６（Ａ）に示したように、この場合のずれ総量Ｚ（０，０）は１となるので、このアンシャープフィルタの一辺の配列数Ｌｆは上式（７）から３となる。従って、この場合のアンシャープフィルタは、３×３のマトリクスフィルタとなり、各配列のフィルタ係数は、上式（８）および（９）から図８に示すように設定される。
【００５３】
図２のステップＳ２４では、鮮鋭化処理部２３８が、作成したアンシャープフィルタを用いて、対象画素の鮮鋭化処理を実行する。具体的には、対象画素Ｐ（ｘ，ｙ）の元の画素値Ｙ（ｘ，ｙ）を、作成したアンシャープフィルタを用いて処理し、アンシャープ処理結果ＦＹ（ｘ，ｙ）を求める。そして、元の画素値Ｙ（ｘ，ｙ）に、元の画素値Ｙ（ｘ，ｙ）からアンシャープ処理結果ＦＹ（ｘ，ｙ）を差し引いた差分値（Ｙ（ｘ，ｙ）−ＦＹ（ｘ，ｙ））を加算することにより、下式（１０）に示す鮮鋭化結果ＳＹ（ｘ，ｙ）を得る。
ＳＹ（ｘ，ｙ）＝Ｙ（ｘ，ｙ）＋（Ｙ（ｘ，ｙ）−ＦＹ（ｘ，ｙ））  ...（１０）
【００５４】
例えば、対象画素Ｐ（０，０）の鮮鋭化処理では、図８のアンシャープフィルタを用いて対象画素Ｐ（０，０）の元の画素値Ｙ（０，０）に対してアンシャープ処理を実行し、下式（１１）に示すアンシャープ処理結果ＦＹ（０，０）を得る。
【００５５】
ＦＹ（０，０）＝（Ｙ（０，０）・０．８＋Ｙ（０，１）・０．１１＋Ｙ（１，０）・０，１１＋Ｙ（−１，０）・０．１１＋Ｙ（０，−１）・０．１１＋Ｙ（１，１）・０．０２＋Ｙ（−１，１）・０．０２＋Ｙ（−１，−１）・０．０２＋Ｙ（１，−１）・０．０２）／（０．８＋０．１１・４＋０．０２・４）  ...（１１）
【００５６】
そして、元の画素値Ｙ（０，０）に、元の画素値Ｙ（０，０）からアンシャープ処理結果ＦＹ（０，０）を差し引いた差分値（Ｙ（０，０）−ＦＹ（０，０））を加算することにより、下式（１２）に示す鮮鋭化結果ＳＹ（０，０）を求めることができる。
ＳＹ（０，０）＝Ｙ（０，０）＋（Ｙ（０，０）−ＦＹ（０，０））  ...（１２）
【００５７】
画像鮮鋭化部２３０は、鮮鋭化対象フレーム画像の各画素について、図２のステップＳ１６〜ステップＳ２４までの処理を繰り返し実行することにより、鮮鋭化対象フレーム画像の全ての画素に対して鮮鋭化処理を実行する。この結果、画像鮮鋭化部２３０は、指定した鮮鋭化対象フレーム画像を鮮鋭化して、１つの静止画像を生成することができる。生成した静止画像は、ユーザインタフェース部２１０によって所定のウインドウに表示される。
【００５８】
以上説明したように、本実施例によれば、指定したフレーム画像を鮮鋭化対象フレーム画像とし、その１つ前のフレーム画像を鮮鋭化基準フレーム画像として、ビデオカメラの動きによって発生する鮮鋭化対象フレーム画像の鮮鋭化基準フレーム画像に対するずれ量に応じて求められる画素ごとのずれ総量に応じて、画像の鮮鋭化の度合いを画素ごとに適応的に変化させることができるので、画素ごとに適切な鮮鋭化を実行することが可能である。これにより、指定したフレーム画像から高画質な静止画像を生成することができる。
【００５９】
特に、背景技術で説明したように、１つのフレーム画像内においても、画素ごとのずれ量は、ビデオカメラの回転成分の動き量、すなわち、鮮鋭化基準フレーム画像に対する鮮鋭化対象フレーム画像のずれの回転成分と、フレーム内の画素の位置とに応じて変化して、画像のぼやける度合いが画素ごとに変化することになる。このような画像に対して画一的な鮮鋭化を行った場合には、１つの画像内で鮮鋭化が過剰な部分や鮮鋭化が不十分な部分が発生してしまう可能性がある。しかしながら、本実施例においては、画素ごとに、並進成分によるずれ量と回転成分によるずれ量とに応じて求められるずれ総量に応じて、鮮鋭化の度合いを変化させて処理することができるので、画素ごとに適切な鮮鋭化を実行することが可能である。
【００６０】
Ｂ．第２実施例：
図９は、本発明の第２実施例としての画像処理システムを示す説明図である。この画像処理システムは、第１実施例の画像処理部２００（図１参照）に代えて画像処理部２００Ｂを備えている。画像処理部２００Ｂは、画像処理部２００のユーザインタフェース部２１０と、ずれ量算出部２２０と、画像鮮鋭化部２３０と、ずれ量記憶部２５０と、画像格納部２６０に加えて、画像鮮明化部２４０を備えている。画像鮮明化部２４０以外の各部の機能は、基本的に第１実施例で説明した機能と同じであるので、ここではその説明を省略する。
【００６１】
画像鮮明化部２４０は、画像鮮鋭化部２３０で鮮鋭化された複数のフレーム画像に基づいて、フレーム画像の解像度よりも高解像度な静止画像を生成する。
【００６２】
図１０は、本実施例の処理手順を示すフローチャートである。ステップＳ３０では、ステップＳ１０（図２参照）と同様に、ユーザによって処理対象となる動画像が選択される。図１１は、本実施例における静止画像作成用のウインドウの一例を示している。このウインドウは、第１実施例における静止画像作成用のウインドウ例（図３参照）に加えて、処理指定領域ＰＳＡに鮮明化ボタンＢ７が設けられている。第１実施例でも説明したように、ユーザが、画像選択領域ＧＳＡ内に表示された複数の動画像Ｇ１，Ｇ２の中の１つを選択し、再生ボタンＢ１を押すと、画像格納部２６０から選択された動画像Ｇ１の動画像データが順に読み出され、画像表示領域ＧＤＡ内に再生される。
【００６３】
図１０のステップＳ３２では、ユーザが鮮明化を望むフレーム画像（「鮮明化フレーム画像」とも呼ぶ）を指定する。具体的には、動画像の再生が停止した状態において、ユーザが鮮明化ボタンＢ７を押すと、そのとき画像表示領域ＧＤＡ内に表示されているフレーム画像が鮮明化フレーム画像として指定される。このとき、指定された鮮明化フレーム画像が鮮明化基準フレーム画像として設定され、この鮮明化基準フレーム画像の前１フレームおよび後２フレームの３つのフレーム画像が鮮明化対象フレーム画像として設定される。
【００６４】
ステップ３４では、ステップＳ１４（図２参照）と同様に、ずれ量算出部２２０が、鮮鋭化基準フレーム画像に対する鮮鋭化対象フレーム画像のずれ量を算出してずれ量記憶部２５０に記憶する。ただし、ここでは、ステップＳ３２で指定された４つのフレーム画像のそれぞれを鮮鋭化対象フレーム画像とし、それぞれの１つ前のフレーム画像を鮮鋭化基準フレーム画像として、それぞれの鮮鋭化対象フレーム画像のずれ量を、それぞれ対応する鮮鋭化基準フレーム画像を基準として算出する。
【００６５】
そして、ステップＳ３６〜ステップＳ４０では、画像鮮鋭化部２３０が、鮮明化フレーム画像の指定によって設定された４つのフレーム画像の１つを、鮮鋭化対象フレーム画像として順に設定し、鮮鋭化対象フレーム画像として設定されたフレーム画像ごとに鮮鋭化を行う。このステップＳ３８における画像鮮鋭化処理は、ステップＳ１６〜ステップＳ２６（図２参照）の処理と同じ処理を実行する。なお、上記ステップＳ３４のずれ量の算出処理は、ステップＳ３８の画像鮮鋭化処理の前処理として、鮮鋭化対象フレーム画像として設定されるフレーム画像ごとに順に行われるようにしてもよい。
【００６６】
ステップＳ４２では、画像鮮明化部２４０が、鮮鋭化済みの４つのフレーム画像を合成して１つの静止画像を生成する。図１２は、画像鮮明化部２４０の処理を概念的に示す説明図である。なお、図中破線で囲まれた１つのブロックは画像を構成する１画素を示している。画像鮮明化部２４０は、図に示すように、３つの鮮明化対象フレーム画像Ｆ１，Ｆ２，Ｆ３の鮮明化基準フレーム画像Ｆ０に対する相対的な位置を、鮮明化基準フレーム画像Ｆ０に対するそれぞれのずれ量（ｕ１，ｖ１，δ１），（ｕ２，ｖ２，δ２），（ｕ３，ｖ３，δ３）に基づいて補正して、これら４つのフレーム画像Ｆ０〜Ｆ３を重ね合わせて合成することにより、元の解像度よりも高い解像度（例えば、４倍の解像度）を有する静止画像Ｇを生成する。
【００６７】
具体的には、画像鮮明化部２４０は、鮮明化基準フレーム画像Ｆ０に対して相対的な位置が補正された３つの鮮明化対象フレーム画像Ｆ１，Ｆ２，Ｆ３と、鮮明化基準フレーム画像Ｆ０の４つのフレーム画像の画素値を用いて、静止画像Ｇの各画素の画素値を決定する。この際、画像鮮明化部２４０は、種々の方法を用いることによって画素値を決定することができる。例えば、４つのフレーム画像Ｆ０〜Ｆ３の重なり領域に含まれる各画素のうち、静止画像Ｇの注目画素に最も近い画素を含む所定数(例えば、４つ)の画素の画素値を用いて補間することによって、その注目画素の画素値を決定してもよい。この際、所定数の画素と注目画素との距離を重みとして用いることが好ましい。また、４つのフレーム画像Ｆ０〜Ｆ３の中から注目画素毎に１つのフレーム画像を選択し、選択したフレーム画像にバイ・リニア法等の周知の補間処理を適用して注目画素の画素値を決定してもよい。この際、注目画素に最も近い画素を有するフレーム画像を選択すればよい。
【００６８】
なお、鮮明化基準フレーム画像Ｆ０に対する鮮明化対象フレーム画像Ｆ１〜Ｆ３のずれ量は、ステップＳ３４（図１０参照）において算出された鮮鋭化のためのずれ量を基に求めることができる。例えば、第１の鮮明化対象フレーム画像Ｆ１のずれ量（ｕ１，ｖ１，δ１）は、鮮明化基準フレーム画像Ｆ０の鮮鋭化において利用したずれ量の極性を反転させることにより求めることができる。また、第２の鮮明化対象フレーム画像Ｆ２のずれ量（ｕ２，ｖ２，δ２）は、鮮鋭化で利用したずれ量をそのまま利用することができる。さらに、第３の鮮明化対象フレーム画像Ｆ３のずれ量（ｕ３，ｖ３，δ３）は、第２および第３の鮮明化対象フレーム画像Ｆ２，Ｆ３の鮮鋭化で利用したずれ量の和を計算することによりに求めることができる。もちろん、それぞれの鮮明化対象フレーム画像の鮮明化基準フレーム画像に対するずれ量を、あらためて算出するようにしてもよい。
【００６９】
以上説明したように、本実施例によれば、鮮明化基準フレーム画像および３つの鮮明化対象フレーム画像の４つのフレーム画像のそれぞれを鮮鋭化対象フレーム画像とし、それぞれに対応する鮮鋭化基準フレーム画像に対するずれ量に応じて、画素ごとのずれの大きさを示すずれ総量を求めて、求めたずれ総量に応じて、画素ごとの鮮鋭化を適応的に行うことができる。そして、鮮鋭化した４つのフレーム画像に基づいて、フレーム画像よりも高解像度の静止画像を生成することができる。これにより、鮮鋭化していない４つのフレーム画像に基づいて、フレーム画像よりも高解像度の静止画像を生成した場合や、画一的に鮮鋭化した４つのフレーム画像に基づいて、フレーム画像よりも高解像度の静止画像を生成した場合に比べて、より高画質な静止画像を得ることが可能である。
【００７０】
なお、画像鮮明化部２４０は、鮮明化基準フレーム画像の前１フレームおよび後２フレームの３つのフレーム画像が鮮明化対象フレーム画像として設定されるとして説明したが、鮮明化基準フレーム画像の前２フレームおよび後１フレームの３つのフレーム画像が鮮明化対象フレーム画像として設定されるようにしてもよいし、鮮明化基準フレーム画像の後３フレームあるいは前３フレームのフレーム画像が鮮明化対象フレーム画像として設定されようにしてもよい。また、４つのフレーム画像に基づいて１つの静止画像を生成するのではなく、２以上の複数のフレーム画像に基づいて１つの静止画像を生成するようにしてもよい。この場合、複数のフレーム画像のうち、鮮明化基準フレーム画像および鮮明化対象フレーム画像の設定は任意である。
【００７１】
Ｃ．第３実施例：
図１３は、本発明の第３実施例としての画像処理システムを示す説明図である。この画像処理システムは、第２実施例の画像処理部２００Ｂ（図９参照）に代えて画像処理部２００Ｃを備えている。画像処理部２００Ｃは、画像処理部２００Ｂと同様に、ユーザインタフェース部２１０と、ずれ量算出部２２０と、画像鮮鋭化部２３０と、画像鮮明化部２４０と、ずれ量記憶部２５０と、画像格納部２６０と、を備えている。ただし、第２実施例の画像処理部２００Ｂでは、画像鮮鋭化部２３０が４つの鮮明化フレーム画像をそれぞれ鮮鋭化し、画像鮮明化部２４０が鮮鋭化済みの４つの鮮明化フレーム画像に基づいて高解像度な静止画像を生成するのに対して、画像処理部２００Ｃでは、画像鮮明化部２４０が４つの鮮明化フレーム画像に基づいて高解像度な静止画像を生成し、画像鮮鋭化部２３０が生成した静止画像を鮮鋭化する。
【００７２】
図１４は、本実施例の処理手順を示すフローチャートである。ステップＳ５０では、ステップＳ３０（図１０参照）と同様に、ユーザによって処理対象となる動画像が選択される。
【００７３】
ステップＳ５２では、ステップＳ３２（図１０参照）と同様に、ユーザが鮮明化フレーム画像を指定する。これにより、鮮明化基準フレーム画像および３つの鮮明化対象フレーム画像が設定される。
【００７４】
ステップ５４では、ずれ量算出部２２０が、鮮明化対象フレーム画像のそれぞれについて、鮮明化基準フレーム画像に対するずれ量を算出してずれ量記憶部２５０に記憶する。ずれ量の算出方法は、ステップＳ１４（図２参照）およびステップＳ３４（図１０参照）で鮮鋭化対象フレームのずれ量を鮮鋭化基準フレーム画像に対して算出する方法と同じである。
【００７５】
そして、ステップＳ５６では、画像鮮明化部２４０が、指定した鮮明化フレーム画像に従って設定された４つのフレーム画像に基づいて、フレーム画像よりも高解像度な静止画像を生成する。
【００７６】
ステップＳ５８では、画像鮮鋭化部２３０が、生成した静止画像を鮮鋭化する。この場合に利用する鮮鋭化基準フレーム画像に対する鮮鋭化対象フレーム画像のずれ量としては、鮮明化基準フレーム画像を鮮鋭化対象フレーム画像とし、鮮明化基準フレーム画像の１フレーム前のフレーム画像である第１の鮮明化対象フレーム画像を鮮鋭化基準フレーム画像として、鮮明化基準フレーム画像に対する第１の鮮明化対象フレーム画像のずれ量を利用すればよい。４つのフレーム画像に基づいて生成される静止画像は、鮮明化基準フレーム画像を基準として生成されるものであるから、第１の鮮明化対象フレーム画像に対する鮮明化基準フレーム画像のずれ量が、実質的に第１の鮮明化対象フレーム画像に対する静止画像のずれ量を最も適切に反映したものであると考えられるからである。なお、このずれ量は、第１の鮮明化対象フレーム画像の、鮮明化基準フレーム画像に対するずれ量の極性を反転することにより容易に求めることができる。
【００７７】
以上説明したように、本実施例では、４つのフレーム画像に基づいて生成された静止画像を、鮮鋭化対象フレーム画像に実質的に相当する鮮明化基準フレーム画像の、鮮鋭化基準フレーム画像に相当する第１の鮮明化対象フレーム画像に対するずれ量に応じて、画素ごとのずれの大きさを示すずれ総量を求めて、求めたずれ総量に応じて、画素ごとの鮮鋭化を適応的に行うことができる。これにより、生成した静止画像を画一的に鮮鋭化した場合に比べて、高画質な静止画像を得ることが可能である。
【００７８】
なお、第２実施例では、上記したように、４つのフレーム画像をそれぞれ鮮鋭化した後、鮮鋭化済みの４つのフレーム画像のうち、鮮明化基準フレーム画像に対する３つの鮮明化対象フレーム画像のずれ量を、鮮鋭化で用いたずれ量を利用してそれぞれ求め、求めたずれ量を利用して鮮明化基準フレーム画像に対する３つの鮮明化対象フレーム画像それぞれの相対的な位置を補正し、補正後の４つのフレーム画像に基づいて１つの静止画像を生成している。一方、本実施例の場合、４つのフレーム画像のうち、鮮明化基準フレーム画像に対する３つの鮮明化対象フレーム画像のずれ量をそれぞれ求め、求めたずれ量を利用して鮮明化基準フレーム画像に対する３つの鮮明化対象フレーム画像それぞれの相対的な位置を補正し、補正後の４つのフレーム画像に基づいて１つの静止画像を生成する。そして、鮮明化基準フレーム画像に対する第１の鮮明化対象フレーム画像のずれ量を利用して生成した静止画像を鮮鋭化している。従って、本実施例の処理は、第２実施例の場合に比べて、全体の処理量を少なくすることができる点で有利である。
【００７９】
なお、鮮鋭化で利用するずれ量としては、鮮明化基準フレーム画像の前１フレームのフレーム画像である第１の鮮明化対象フレーム画像ではなく、後１フレームのフレーム画像である第２の鮮明化対象フレーム画像のずれ量を利用するようにしてもよい。また、鮮明化基準フレーム画像の前後１フレームのフレーム画像である第１の鮮明化対象フレーム画像や第２の鮮明化対象フレーム画像ではなく、鮮明化基準フレーム画像から離れたフレームのフレーム画像である第３の鮮明化対象フレーム画像のずれ量を利用するようにしてもよい。ただし、鮮明化基準フレーム画像の前後１フレームのフレーム画像のほうが、より適切に鮮鋭化を行える可能性が高い。
【００８０】
Ｄ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【００８１】
Ｄ１．変形例１：
上記実施例では、鮮鋭化基準フレーム画像に対する鮮鋭化対象フレーム画像の並進成分によるずれ量と回転成分によるずれ量とに応じて鮮鋭化の度合いを画素ごとに変化させて処理する場合を例に説明したが、これに限定されるものではなく、いずれか一方のずれ量のみに応じて鮮鋭化の度合いを変化させて処理するようにしてもよい。並進成分によるずれ量のみに応じて鮮鋭化の度合いを変化させる場合には、全ての画像に対して画一的な鮮鋭化を行う場合に比べて、並進成分によるずれ量に応じて、鮮鋭化の度合いを画像ごとに変化させて処理することができるので、画像ごとにより適切な鮮鋭化を実行することができる。また、回転成分によるずれ量のみに応じて鮮鋭化の度合いを変化させる場合には、回転成分によるずれ量に応じて、鮮鋭化の度合いを画素ごとに変化させることができるので、画素ごとにより適切な鮮鋭化を実行することができる。
【００８２】
Ｄ２．変形例２：
上記実施例では、ずれベクトルｃ（ｘ，ｙ）として並進成分ずれベクトルａ（ｘ，ｙ）と回転成分ずれベクトルｂ（ｘ，ｙ）の合成ベクトル（ａ（ｘ，ｙ）＋ｂ（ｘ，ｙ））を用いた場合を例に説明しているが、これに限定されるものではなく、並進成分によるずれ量と回転成分によるずれ量の変化を示す種々のベクトルをずれベクトルとして利用することも可能である。例えば、並進成分ずれベクトルａ（ｘ，ｙ）と回転成分ずれベクトルｂ（ｘ，ｙ）の差ベクトル（ｂ（ｘ、ｙ）−ａ（ｘ，ｙ））を用いるようにしてもよい。この場合のずれ総量Ｚ（ｘ，ｙ）は、下式（１３）で表される。
Ｚ（ｘ，ｙ）２＝｜ａ（ｘ，ｙ）｜２＋｜ｂ（ｘ，ｙ）｜２−２・｜ａ（ｘ，ｙ）｜・｜ｂ（ｘ，ｙ）｜・ｃｏｓ（θ）  ...（１３）
【００８３】
Ｄ３．変形例３：
上記実施例では、鮮鋭化基準フレーム画像として、鮮鋭化対象フレーム画像の前１フレームのフレーム画像を設定する場合を例に説明しているが、これに限定されるものではなく、例えば、鮮鋭化対象フレーム画像の後１フレームのフレーム画像を鮮鋭化基準フレーム画像とするようにしてもよい。
【００８４】
Ｄ４．変形例４：
上記実施例では、ずれ総量Ｚ（ｘ、ｙ）に応じて、アンシャープフィルタのマトリクスの配列数を変化させることにより、ずれ量に応じて鮮鋭度を変化させる場合を例に説明しているが、これに限定されるものではない。例えば、アンシャープフィルタは、３×３のマトリクスフィルタに固定しておき、鮮鋭化処理部２３８において、鮮鋭化の対象画素Ｐ（ｘ，ｙ）に対して、下式（１４）に示す鮮鋭化結果ＳＹ（ｘ，ｙ）を得るようにしてもよい。
ＳＹ（ｘ，ｙ）＝Ｙ（ｘ，ｙ）＋ｗ（Ｙ（ｘ，ｙ）−ＦＹ（ｘ，ｙ））  ...（１０）
【００８５】
ここでｗは、ずれ総量Ｚ（ｘ，ｙ）によって決まる重み付け係数である。ずれ総量Ｚ（ｘ，ｙ）が大きいほど、ｗの値が大きくなるように設定する。これにより、ずれ総量Ｚ（ｘ，ｙ）が大きいほどｗの値が大きくなって、元の画素値Ｙ（ｘ，ｙ）からアンシャープ処理結果ＦＹ（ｘ，ｙ）を差し引いた差分値（Ｙ（ｘ，ｙ）−ＦＹ（ｘ，ｙ））の影響、すなわち、アンシャープフィルタによる処理結果ＦＹ（ｘ，ｙ）の影響が大きくなり、鮮鋭化の度合いを高くすることができる。この変形例の場合、アンシャープフィルタを固定とすることができるので処理が容易である。
【００８６】
Ｄ５．変形例５：
上記実施例では、アンシャープフィルタは正方形のマトリクスフィルタであり、各配列のフィルタ係数は、中心からの距離に応じて設定された正規分布特性を有するように設定した場合を例に説明しているが、ずれの方向に依存してフィルタの形状やフィルタ係数の設定を変形させるようにすることも考えられる。
【００８７】
Ｄ６．変形例６：
上記実施例では、動画像に含まれる１つのフレーム画像を鮮鋭化する場合および動画像に含まれる複数のフレーム画像に基づいて生成した静止画像を鮮鋭化する場合を例に説明したが、連写画像に含まれる１つの画像を鮮鋭化する場合および連写画像に含まれる複数の画像に基づいてに生成した静止画像を鮮鋭化する場合に適用することも可能である。
【００８８】
Ｄ７．変形例７：
上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、画像処理部２００，２００Ｂ，２００Ｃの機能の一部をハードウェア回路で実行することも可能である。
【００８９】
Ｄ８．変形例８：
上記実施例では、パーソナルコンピュータを本発明の静止画像処理装置として機能させる場合を例に説明しているが、これに限定されるものではない。例えば、デジタルビデオカメラ、デジタルカメラ、カメラ付き携帯電話、ＤＶＤプレーヤ等の種々のコンピュータシステムを本発明の画像処理装置として機能させるようにしてもよい。特に、デジタルビデオカメラに適用した場合には、動画像を撮影しながら、撮影した動画像中のフレーム画像を利用して鮮鋭化した高画質な静止画像を生成することが可能である。また、デジタルカメラに適用した場合には、被写体を連写しながら、連写した画像を利用して鮮鋭化した高画質な静止画像を生成することが可能である。
【図面の簡単な説明】
【００９０】
【図１】本発明の第１実施例としての画像処理システムを示す説明図である。
【図２】第１実施例の処理手順を示すフローチャートである。
【図３】静止画像作成用のウインドウの一例を示している。
【図４】鮮鋭化基準フレーム画像に対する鮮鋭化対象フレーム画像のずれ量について示す説明図である。
【図５】ずれベクトルについて示す説明図である。
【図６】ずれ総量の算出例を示す説明図である。
【図７】アンシャープフィルタについて示す説明図である。
【図８】アンシャープフィルタの設定例を示す説明図である。
【図９】本発明の第２実施例としての画像処理システムを示す説明図である。
【図１０】第２実施例の処理手順を示すフローチャートである。
【図１１】第２実施例における静止画像作成用のウインドウの一例を示している。
【図１２】画像鮮明化部２４０の処理を概念的に示す説明図である。
【図１３】本発明の第３実施例としての画像処理システムを示す説明図である。
【図１４】第３実施例の処理手順を示すフローチャートである。
【符号の説明】
【００９１】
１００...パーソナルコンピュータ（ＰＣ）
１１０...ＰＣ本体
１２０...キーボード
１２２...ポインティングデバイス
１３０...モニタ
１４０...ビデオカメラ
２００，２００Ｂ，２００Ｃ...画像処理部
２１０...ユーザインタフェース部
２２０...ずれ量算出部
２３０...画像鮮鋭化部
２５０...ずれ量記憶部
２６０...画像格納部
２３２...ずれベクトル算出部
２３４...ずれ総量算出部
２３６...フィルタ作成部
２３８...鮮鋭化処理部
２４０...画像鮮明化部
Ｂ１...再生ボタン
Ｂ２...停止ボタン
Ｂ３...一時停止ボタン
Ｂ４...コマ戻しボタン
Ｂ５...コマ送りボタン
Ｂ６...鮮鋭化ボタン
Ｆｓｒ...鮮鋭化基準フレーム画像
Ｆｓｔ...鮮鋭化対象フレーム画像
Ｇ１，Ｇ２...動画像
ＧＤＡ...画像表示領域
ＧＳＡ...画像選択領域
ＰＳＡ...処理指定領域
Ｆ１，Ｆ２，Ｆ３...鮮明化対象フレーム画像
Ｆ０...鮮明化基準フレーム画像
Ｇ...静止画像
【図１】
2006025186.tif 000003
【図２】
2006025186.tif 000004
【図３】
2006025186.tif 000005
【図４】
2006025186.tif 000006
【図５】
2006025186.tif 000007
【図６】
2006025186.tif 000008
【図７】
2006025186.tif 000009
【図８】
2006025186.tif 000010
【図９】
2006025186.tif 000011
【図１０】
2006025186.tif 000012
【図１１】
2006025186.tif 000013
【図１２】
2006025186.tif 000014
【図１３】
2006025186.tif 000015
【図１４】
2006025186.tif 000016