(57)【要約】【課題】、撮像ボケに起因する画像劣化（ボケ画像）をさらに一段と抑制する。【解決手段】入力信号T0として、注目画素の色差データが提供される。そこで、HPF部２１乃至加算部２３およびゲイン算出部２５は、注目画素の移動量MVの大きさに応じたエンハンス量である信号T2のレベルを、その注目画素の色差データである信号T0に加えることで、注目画素の補正後データである信号T3を生成する。探索範囲検出部２６は、注目画素の移動量MVに応じて、注目画素を含む所定個数の画素からなる画素群を探索範囲S1として検出する。スイッチ部２４、その探索範囲S1から抽出された色差データの最大値および最小値、並びに、補正後データである信号T3の中から、所定規則に従って１つのデータを選択し、選択したデータを、注目画素の補正後色差データを示す信号T4として出力する。本発明はテレビジョンシステムに適用可能である。【選択図】図２
2009094615.tif 000002
【特許請求の範囲】
【請求項１】
所定の撮影装置により撮影された動画像を、アクセスユニットを単位として処理する画像処理装置において、
処理対象の前記アクセスユニットについて、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値に基づいて、処理対象の前記アクセスユニットを構成する各画素の色差データを補正する補正手段
を備える画像処理装置。
【請求項２】
前記パラメータの値は、処理対象の前記アクセスユニットを構成する前記各画素のうちの少なくとも１つの画素における移動量である
請求項１に記載の画像処理装置。
【請求項３】
前記補正手段は、
処理対象の前記アクセスユニットを構成する各画素のうちの処理対象を注目画素として、その注目画素の移動量の大きさに応じたエンハンス量を、その注目画素の前記色差データに加えることで、注目画素の補正後データを生成する補正データ生成手段と、
前記注目画素を含む所定個数の画素からなる画素群を探索範囲として、その探索範囲から抽出された色差データの最大値および最小値、並びに、前記補正データ生成手段により生成された前記補正後データの中から、所定規則に従って１つのデータを選択し、選択したデータを、前記注目画素の補正後色差データとして出力するスイッチ手段と
を有する請求項２に記載の画像処理装置。
【請求項４】
前記スイッチ手段の前記所定規則は、
前記エンハンス量がプラス、かつ、前記補正後データが前記最大値よりも大きい第１の場合、前記最大値を、前記注目画素の補正後色差データとし、
前記エンハンス量がマイナス、かつ前記補正後データが前記最小値よりも小さい第２の場合、前記最小値を、前記注目画素の補正後色差データとし、
前記第１の場合および前記第２の場合以外の第３の場合、前記補正後データを、前記注目画素の補正後色差データとする
規則である
請求項３に記載の画像処理装置。
【請求項５】
前記注目画素の前記移動量の大きさに応じて可変する前記探索範囲を検出する探索範囲検出手段をさらに備え、
前記スイッチ手段は、前記探索範囲検出手段により検出された前記探索範囲内で、前記最大値と前記最小値を抽出する
請求項３に記載の画像処理装置。
【請求項６】
所定の撮影装置により撮影された動画像を、アクセスユニットを単位として処理する画像処理装置の画像処理方法において、
処理対象の前記アクセスユニットについて、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値に基づいて、処理対象の前記アクセスユニットを構成する各画素の色差データを補正する
ステップを含む画像処理方法。
【請求項７】
所定の撮影装置により撮影された動画像を、アクセスユニットを単位として処理するコンピュータに、
処理対象の前記アクセスユニットについて、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値に基づいて、処理対象の前記アクセスユニットを構成する各画素の色差データを補正する
ステップを実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法並びにプログラムに関し、特に、撮像ボケに起因する画像劣化（ボケ画像）をさらに一段と抑制できるようになった画像処理装置および方法並びにプログラムに関する。
【背景技術】
【０００２】
カメラで撮像された動画データからなる映像信号には、その撮像時に発生する動きボケ（以下、撮像ボケと称する）に起因する画像劣化（ボケ画像）が生じていることが多々ある。そこで、かかる映像信号に対して、撮像ボケを抑制するための画像処理を施す画像処理装置が存在する。例えば、特許文献１に記載された画像処理装置や、本発明人により発明され既に特許文献２によって公開された画像処理装置が該当する。なお、かかる特許文献２の画像処理装置は、特許文献１が有する問題を解決できる画像処理装置である。
【特許文献１】特開平7-59054号公報
【特許文献２】特開2006-081150号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
現状、撮像ボケに起因する画像劣化（ボケ画像）をさらに一段と抑制したいという要望が挙げられている。
【０００４】
本発明は、このような状況に鑑みてなされたものであり、撮像ボケに起因する画像劣化（ボケ画像）をさらに一段と抑制できるようにするものである。
【課題を解決するための手段】
【０００５】
本発明の一側面の画像処理装置は、所定の撮影装置により撮影された動画像を、アクセスユニットを単位として処理する画像処理装置であって、処理対象のアクセスユニットについて、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値に基づいて、処理対象の前記アクセスユニットを構成する各画素の色差データを補正する補正手段を備える。
【０００６】
前記パラメータの値は、処理対象の前記アクセスユニットを構成する前記各画素のうちの少なくとも１つの画素における移動量である。
【０００７】
前記補正手段は、処理対象の前記アクセスユニットを構成する各画素のうちの処理対象を注目画素として、その注目画素の移動量の大きさに応じたエンハンス量を、その注目画素の前記色差データに加えることで、注目画素の補正後データを生成する補正データ生成手段と、前記注目画素を含む所定個数の画素からなる画素群を探索範囲として、その探索範囲から抽出された色差データの最大値および最小値、並びに、前記補正データ生成手段により生成された前記補正後データの中から、所定規則に従って１つのデータを選択し、選択したデータを、前記注目画素の補正後色差データとして出力するスイッチ手段とを有する。
【０００８】
前記スイッチ手段の前記所定規則は、前記エンハンス量がプラス、かつ、前記補正後データが前記最大値よりも大きい第１の場合、前記最大値を、前記注目画素の補正後色差データとし、前記エンハンス量がマイナス、かつ前記補正後データが前記最小値よりも小さい第２の場合、前記最小値を、前記注目画素の補正後色差データとし、前記第１の場合および前記第２の場合以外の第３の場合、前記補正後データを、前記注目画素の補正後色差データとする規則である。
【０００９】
前記注目画素の前記移動量の大きさに応じて可変する前記探索範囲を検出する探索範囲検出手段をさらに備え、前記スイッチ手段は、前記探索範囲検出手段により検出された前記探索範囲内で、前記最大値と前記最小値を抽出する
【００１０】
本発明の一側面の画像処理方法およびプログラムは、上述した本発明の一側面の画像処理装置に対応する方法およびプログラムである。
【００１１】
本発明の一側面の画像処理装置および方法並びにプログラムにおいては、処理対象のアクセスユニットについて、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値に基づいて、処理対象の前記アクセスユニットを構成する各画素の色差データが補正される。
【発明の効果】
【００１２】
以上のごとく、本発明によれば、撮像ボケに起因する画像劣化（ボケ画像）を抑制する画像処理を実現できる。特に、従来の画像処理と比較して、その抑制度合をさらに一段と高めることができる。
【発明を実施するための最良の形態】
【００１３】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、明細書又は図面における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００１４】
さらに、この記載は、明細書又は図面に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、明細書又は図面に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００１５】
本発明の一側面の画像処理装置（例えば、図２の画像処理装置）は、  
所定の撮影装置により撮影された動画像を、アクセスユニットを単位として処理する画像処理装置において、
処理対象のアクセスユニットについて、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値に基づいて、処理対象の前記アクセスユニットを構成する各画素の色差データ（例えば図２の入力信号T0）を補正する補正手段（例えば図２のHPF部２１乃至ゲイン算出部２５）
を備える。
【００１６】
前記パラメータの値は、処理対象の前記アクセスユニットを構成する前記各画素のうちの少なくとも１つの画素における移動量である（例えば図２の移動量MV）。
【００１７】
前記補正手段は、
処理対象の前記アクセスユニットを構成する各画素のうちの処理対象を注目画素として、その注目画素の移動量の大きさに応じたエンハンス量を、その注目画素の前記色差データに加えることで、注目画素の補正後データを生成する補正データ生成手段（例えば図２のHPF部２１乃至ゲイン算出部２５。ただし、スイッチ部２４除く）と、
前記注目画素を含む所定個数の画素からなる画素群を探索範囲として、その探索範囲から抽出された色差データの最大値および最小値、並びに、前記補正データ生成手段により生成された前記補正後データの中から、所定規則に従って１つのデータを選択し、選択したデータを、前記注目画素の補正後色差データとして出力するスイッチ手段（例えば図２のスイッチ部２４）と
を有する。
【００１８】
前記スイッチ手段（例えば図６の構成のスイッチ部２４）の前記所定規則（例えば図６のクリップ部３５が判断する規則）は、
前記エンハンス量がプラス（例えば図６の符号算出部３３の出力がプラス）、かつ、前記補正後データが前記最大値（例えば図６のMAX/MIN選択部３４により選択された最大値MAX）よりも大きい第１の場合、前記最大値を、前記注目画素の補正後色差データとし、
前記エンハンス量がマイナス（例えば図６の符号算出部３３の出力がマイナス）、かつ前記補正後データが前記最小値（例えば図６のMAX/MIN選択部３４により選択された最小値MIN）よりも小さい第２の場合、前記最小値を、前記注目画素の補正後色差データとし、
前記第１の場合および前記第２の場合以外の第３の場合、前記補正後データ（例えば図６の補正後信号T3）を、前記注目画素の補正後色差データとする
規則である。
【００１９】
前記注目画素の前記移動量の大きさに応じて可変する前記探索範囲を検出する探索範囲検出手段（例えば図２の探索範囲検出部２６）をさらに備え、
前記スイッチ手段は、前記探索範囲検出手段により検出された前記探索範囲（例えば図２と図６の探索範囲S1）内で、前記最大値と前記最小値を抽出する。
【００２０】
本発明の一側面の情報処理方法およびプログラムは、上述した本発明の一側面の画像処理方法に対応する方法およびプログラムである。詳細については後述するが、このプログラムは、例えば、図７のリムーバブルメディア１１１や、記憶部１０８に含まれるハードディスク等の記録媒体に記録され、図７の構成のコンピュータにより実行される。
【００２１】
その他、本発明の一側面としては、上述した本発明の一側面のプログラムを記録した記録媒体も含まれる。
【００２２】
以上説明した本発明の一側面の画像処理装置は、例えば、テレビジョンシステム全体またはその一構成要素として利用可能である。テレビジョンシステムとは、テレビジョン放送受像機を含む１以上のＡＶ（Audio and Visual）機器からなるシステムを指す。
【００２３】
ここで、撮像ボケとその補正手法の概略について説明する。
【００２４】
所定の撮影装置により撮影された動画像を、アクセスユニットを単位として処理する場合、処理対象のアクセスユニットから、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を取得することができる。
【００２５】
ここに、アクセスユニットとは、フレームやフィールドといった動画像の単位を指し、具体的には例えば、動画像を構成する各静止画像全体（フレーム等）またはその一部分（フィールド等）を指す。ただし、以下、説明の簡略上、動画像に対する各種画像処理の単位はフレーム単位であるとする。
【００２６】
具体的には例えば、撮像ボケの特性を示すパラメータとして、移動ベクトルの絶対値（以下、移動量と称する）を採用することができる。その理由は、次の通りである。
【００２７】
撮像ボケの特性は、一般的に被写体の移動量に依存した形態で表すことが可能である。
【００２８】
なお、被写体の移動量とは、実空間において被写体自体が移動してカメラが固定されている場合に、その被写体がカメラで撮影されたときの、フレーム内での被写体（画像）の移動量を当然ながら含む。さらに、ここで言う被写体の移動量とは、実空間において被写体が固定されてカメラが手振れ等により移動した場合、または、実空間において被写体とカメラとが共に移動した場合に、その被写体がカメラで撮影されたときの、フレーム内での被写体（画像）の相対的な移動量も含む。
【００２９】
従って、撮像ボケの特性は、被写体の画像を構成する各画素における移動量に依存した形態で表すことができる。
【００３０】
画素における移動量とは、処理対象のフレーム内の画素と、それよりも前のフレーム内の対応する画素（対応点）との間の空間的な距離を指す。例えば、処理対象のフレーム内の画素と、その直前（時間的に１つ前）のフレーム内の対応する画素（対応点）との間の空間的な距離が、Ｋ（Ｋは、０以上の任意の整数値）画素分である場合、その画素における移動量とは、Ｋ［画素/フレーム］になる。
【００３１】
この場合、被写体の画像を構成する各画素のうちの所定の１つが注目画素に設定されているとすると、注目画素における撮像ボケの特性は、注目画素における移動量Ｋ［画素/フレーム］の大小に依存した形態で表すことができる。
【００３２】
より具体的には例えば、注目画素の移動量が２，３，４［画素/フレーム］のそれぞれの場合、注目画素における撮像ボケの周波数特性のそれぞれは、図１の曲線Ｈ２乃至Ｈ４のそれぞれで表すことができる。
【００３３】
即ち、図１は、注目画素における移動量が２，３，４［画素/フレーム］のそれぞれの場合についての、注目画素における撮像ボケの周波数特性のそれぞれを示している。図１において、横軸は周波数を、縦軸はゲインのそれぞれを示している。ただし、横軸の各値は、ナイキスト周波数が１とされた場合の相対値を示している。
【００３４】
以上の内容が、移動量が、撮像ボケの特性を示すパラメータとして採用可能な理由である。
【００３５】
ところで、図１の周波数特性Ｈ２乃至Ｈ４の形態からわかるように、注目画素における撮像ボケの特性は空間領域で表現すると、ローパスフィルタで表すことが可能である。
【００３６】
換言すると、撮像ボケ後の画像信号とは、撮像ボケ前の画像信号（理想的な画像信号）に対してローパスフィルタがかけられた信号と等価な信号である。従って、撮像ボケ後の画像信号は、撮像ボケ前の画像信号と比較して、その周波数特性が落ちてしまう。即ち、撮像ボケ後の画像信号においては、撮像ボケ前の画像信号と比較して、高周波数になればなる程ゲインが一般的に落ちてしまう。
【００３７】
そして、撮像ボケを示すローパスフィルタの特性は、移動量に応じてその特性が変化すること、即ち、撮像ボケにより落ちてしまった周波数特性は、移動量に応じて変化することは上述した通りである。
【００３８】
そこで、フレームを構成する各画素値のそれぞれに対して、撮像ボケにより各移動量に応じた分だけ落ちてしまった周波数特性を改善するように、各移動量に応じて各画素値を補正することで、撮像ボケを抑制することができる。
【００３９】
このような補正を行うことが可能な画像処理装置が、本発明人により発明され、上述した特許文献２にも開示されている。
【００４０】
ただし、特許文献２を含む従来の画像処理装置では、撮像ボケを抑制するために補正を施す画素値とは、輝度値を意味していた。即ち、従来の画像処理装置は、例えば、撮像ボケを抑制すべく、撮像後の物体がどれだけ移動しているかという情報、例えば移動量を用いてボケ量を類推し、そのボケ量に対応する補正信号を輝度信号に加えることで、輝度信号の補正を行っていた。
【００４１】
しかしながら、撮像ボケは、色の3原色であるRGBに加わっている。即ち、撮像ボケは、輝度信号のみに加わっているわけではなく、色差信号にも加わっている。それにもかかわらず、従来の画像処理装置は、色差信号に加わった撮像ボケを考慮していなかった。即ち、従来の画像処理装置では、色差信号に加わった撮像ボケを正しく補正できていなかった。
【００４２】
そこで、本発明人は、撮像ボケの特性を示すパラメータの値、例えば移動量を用いて、色差信号に対して補正をする、という手法（以下、本発明の手法）を発明した。なお、補正手法自体は、特に限定されず、撮像ボケの特性に基づく処理、即ち、撮像ボケにより落ちてしまった周波数特性を改善可能な補正処理であればよい。
【００４３】
このような本発明の手法を適用することで、色差信号に加わった撮像ボケも補正することができるようになる。よって、撮像ボケに起因する画像劣化（ボケ画像）をより一段と抑制することができるようになる。
【００４４】
以下、このような本発明の手法が適用された画像処理装置、即ち本発明の実施の形態について説明する。
【００４５】
なお、以下の説明においては、次の前提事項が成立しているとする。
【００４６】
即ち、後述する各種の実施の形態では、動画像に対する各種画像処理はアクセスユニットを単位とする。ただし、以下においても、説明の簡略上、動画像に対する各種画像処理の単位はフレーム単位であるとする。
【００４７】
また、画像処理が施される動画像（映像）の形態の表現方法として、信号またはデータという呼称を使用する。
【００４８】
さらにまた、後述する画像処理装置（図２参照）を構成する各機能ブロックに入力される信号を、まとめて入力信号と適宜称する。即ち、動画像、動画像を構成する各フレーム、および、各フレームを構成する各画素（各画素値）といった入力単位によらず、一括して入力信号と適宜称する。同様に、各機能ブロックから出力される信号を、その出力単位によらず、一括して出力信号と適宜称する。換言すると、入力単位や出力単位の区別が必要な場合、その単位（主にフレーム）を用いて説明を行い、それ以外の場合、単に入力信号または出力信号を用いて説明を行う。
【００４９】
さらに、以下の説明では、画素値とは、画素の色差データを意味する点留意する。
【００５０】
図２は、本発明が適用される画像処理装置の一実施の形態を示している。
【００５１】
図２の例の画像処理装置は、HPF部２１、乗算部２２、加算部２３、スイッチ部２４、ゲイン算出部２５、および探索範囲検出部２６から構成されている。
【００５２】
図２の例の画像処理装置においては、動画像を構成する各フレームが順次処理対象フレームとなり、処理対象フレームを構成する各画素の画素値（色差データ）が入力信号T0として、HPF部２１、加算部２３、およびスイッチ部２４のそれぞれに提供される。
【００５３】
また、詳細については後述するが、移動量MVは既知であるとして、外部から与えられるとする。即ち、入力信号T0について、移動量MVを算出または検出する装置等が外部に存在し、かかる装置等から移動量MVが与えられるとする。勿論、かかる装置等の機能を、図２の例の画像処理装置に委譲することもできる。
【００５４】
HPF部２１は、入力信号T0に対してHPF(High Pass Filter)処理を施し、その結果得られる信号を出力信号T1として乗算部２２に提供する。乗算部２２は、HPF部２１の出力信号T1に対して、ゲイン算出部２５から提供されたゲインG1を乗算し、その結果得られる信号G1×T1を出力信号T2として加算部２３とスイッチ部２４に提供する。加算部２３は、入力信号T0に対して、乗算部２２の出力信号T2を加算し、その結果得られる信号T0+T2を出力信号T3としてスイッチ部２４に提供する。
【００５５】
ゲインG1は、画素毎に、その移動量MVに応じてゲイン算出部２５により可変される。具体的には例えば、ゲイン算出部２５は、図３に示されるような関数f1(α)を保持している。そこで、ゲイン算出部２５は、注目画素における移動量MVを入力値αとして関数f1(α)に代入し、その出力値f1(MV)を、注目画素についてのゲインG1として乗算部２２に提供する。
【００５６】
また、HPF部２１のタップ長は、画素毎に、その移動量MVが大きくなる程長くなるようにそれぞれ可変調整される。即ち、HPF部２１は、例えば図４に示されるような関数f2(α)を保持している。そこで、HPF部２１は、注目画素における移動量MVを入力値αとして関数f2(α)に代入し、その出力値f2(MV)の大きさに応じたタップ長に変更する。
【００５７】
また、探索範囲検出部２６は、図５に示されるような関数f3(α)を保持している。そこで、探索範囲検出部２６は、注目画素における移動量MVを入力値αとして関数f3(α)に代入し、その出力値f3(MV)を、注目画素についての探索範囲S1としてスイッチ部２４に提供する。
【００５８】
スイッチ部２４は、例えば図６に示されるように構成される。図６の例のスイッチ部２４は、探索範囲S1の最大値S1MAXと同数のDL部３１、探索範囲分MAX/MIN算出部３２、符号算出部３３、MAX/MIN選択部３４、およびクリップ部３５から構成されている。
【００５９】
S1MAX個のDL部３１は、シリアルに接続されており、入力信号T0を構成する画素値（色差データ）を、所定の時間（例えば１クロック）だけ遅延させて、後段のDL部３１に順次シフトしていく。また、各DL部３１の出力信号（各画素値）は、探索範囲分MAX/MIN算出部３２に提供される。
【００６０】
即ち、探索範囲分MAX/MIN算出部３２には、注目画素を含むS1MAX個の画素の画素値（色差データ）が提供される。また、注目画素についての探索範囲S1も探索範囲分MAX/MIN算出部３２に提供される。そこで、探索範囲分MAX/MIN算出部３２は、注目画素を含むS1MAX個の画素の画素値（色差データ）のうちの、注目画素の近傍のS1個の画素を探索範囲として、その探索範囲内の画素値（色差データ）の最大値MAXと最小値MINとを算出し、MAX/MIN選択部３４に提供する。
【００６１】
符号算出部３３は、図２の乗算部２２の出力信号T2の符号（プラス／マイナス）を算出し、MAX/MIN選択部３４とクリップ部３５に提供する。ここで、信号T2のレベルとは、注目画素の画素値（色差データ）である入力信号T0に加算されるエンハンス量である。そこで、以下、信号T2を、エンハンス信号と称する。
【００６２】
MAX/MIN選択部３４は、エンハンス信号T2の符号がプラスの場合には最大値MAXを選択し、一方、マイナスの場合最小値MINを選択し、クリップ部３５に提供する。
【００６３】
クリップ部３５は、MAX/MIN選択部３４から提供された最大値MAX若しくは最小値MINと、図２の加算部２３の出力信号T3との大小を比較する。ここで、信号T3のレベルとは、注目画素の画素値（色差データ）である入力信号T0のレベルに、エンハンス量であるエンハンス信号T2のレベルが加算されたものである。即ち、信号T3とは、注目画素の補正後の画素値（補正後の色差データ）である。そこで以下、信号T3を補正後信号T3と称する。
【００６４】
クリップ部３５は、エンハンス信号T2の符号がプラスかつ、補正後信号T3が最大値MAXよりも大きい場合には、最大値MAXを最終出力信号T4として出力する。また、クリップ部３５は、エンハンス信号T2の符号がマイナスかつ、補正後信号T3が最小値MINよりも小さい場合には、最小値MINを最終出力信号T4として出力する。さらにまた、これらの２つ以外の場合、クリップ部３５は、補正後信号T3を最終出力信号T4として出力する。
【００６５】
以下、このような図２乃至図６の構成の画像処理装置の動作について説明する。
【００６６】
この例の画像処理装置は、撮像ボケの抑制処理として、エンハンス処理を実行する。
【００６７】
ここに、エンハンス処理とは次のような処理をいう。即ち、撮像ボケを含む入力信号T0を構成する各画素、即ち処理対象フレームを構成する各画素のそれぞれを注目画素とし、その注目画素の画素値（色差データ）に対して、撮像ボケにより落ちてしまった周波数特性の改善分に相当する量をエンハンス量（補正量）として加算する処理を施すことで、撮像ボケを抑制する処理が、エンハンス処理である。
【００６８】
このエンハンス量を信号として生成する機能ブロックが、図２のHPF部２１である。即ち、HPF部２１の出力信号T1のレベルが、基本的に、エンハンス量となる。
【００６９】
ここで「基本的に」と記述した理由は次の通りである。
【００７０】
即ち、撮像ボケの特性は、常に同一ではなく、移動量MVに応じて変化することは上述した通りである。そして、上述した図１の撮像ボケの特性からわかるように、移動量MVが大きくなるに従い、撮像ボケ量は大きくなる。これに対して、移動量MVが小さくなるに従い、撮像ボケ量は小さくなる。
【００７１】
即ち、HPF部２１の出力信号T1では、この移動量MVに依存した撮像ボケの特性がまだ考慮されていない。即ち、HPF部２１の出力信号T1のレベルは、正確には、撮像ボケにより落ちてしまった周波数特性に相当する量であるとは直ちにいえない。
【００７２】
そこで、かかる撮像ボケの特性を加味すべく、乗算部２２において、HPF部２１の出力信号T1に対して、移動量MVに応じて可変するゲインG1が乗算され、その結果得られるG1×T1が出力信号T2として出力されるのである。即ち、乗算部２２の出力信号T2、即ちエンハンス信号T2のレベルが、撮像ボケにより落ちてしまった周波数特性の改善分に相当する量であり、上述のごとくエンハンス量（補正量）として加算部２３に提供されるのである。
【００７３】
そこで、加算部２３において、このエンハンス信号T2のレベルが、入力信号T0のレベルに加算されることで、撮像ボケを抑制することが可能になるのである。即ち、加算部２３の出力信号T3（＝T0+T2）が、撮像ボケを抑制するように補正された信号、即ち、上述の補正後信号として、スイッチ部２４に提供されるのである。
【００７４】
ただし、より正確には、エンハンス信号T2は、信号T1に対して移動量MVに応じたゲインG1が乗算されるとはいえ、HPF部２１の出力信号T1に基づいていることには変わりはない。即ち、図１の特性から明らかなように、撮像ボケの特性は完全なローパスフィルタでないため、単純なハイパスフィルタ後の信号T1に対してゲインG1を乗じた結果得られるエンハンス信号T2のレベルは、より厳密に言うと、撮像ボケにより落ちてしまった周波数特性に相当する量であるとは直ちにいえず、例えば、その相当量も大きい量となっている場合もある。即ち、補正後信号T3は、撮像ボケの抑制という観点からすると、過補正となっている場合がある。
【００７５】
そこで、このような場合には、過補正を適切な補正に訂正する必要がある。また、例えば、オブジェクトの画素値を第１の画素値とし、背景の画素値を第２の画素値とし、オブジェクトのエッジ部分に着目すると、本来、第１の画素値から第２の画素値への変化が１画素間で起こる。しかしながら、オブジェクトがフレーム内を相対移動して、撮像ボケが発生すると、オブジェクトのエッジ周辺の第１の画素値から第２の画素値への変化が、そのオブジェクトの移動量に応じた個数の複数の画素間で、徐々に変化してしまい、その結果、エッジ部分がボケてしまうのである。即ち、撮像ボケとは、オブジェクトのエッジの傾きが、その移動量に応じて緩やかになってしまうことである。よって、そのエッジの傾き具合を急峻にすることが、撮像ボケの抑制につながる。
【００７６】
そこで、過補正を抑制し、エッジの傾き具合を適切に修正すべく、スイッチ部２４が設けられているのである。即ち、スイッチ部２４は、撮像ボケが発生している注目画素とその近傍のS1個の画素を探索範囲として、そのうちの最小値MIN（例えば上述の第１の画素値に相当）と最大値MAX（例えば上述の第２の画素値に相当）を抽出する。そして、スイッチ部２４は、エンハンス信号T2の符号がプラスかつ、補正後信号T3が最大値MAXよりも大きい場合、即ち、過補正となっている場合、最大値MAXを最終出力信号T4として出力する。また、スイッチ部３５は、エンハンス信号T2の符号がマイナスかつ、補正後信号T3が最小値MINよりも小さい場合、即ち、過補正となっている場合、最小値MINを最終出力信号T4として出力する。さらにまた、これらの２つ以外の場合、スイッチ部２４は、補正後信号T3を最終出力信号T4として出力する。これにより、過補正が抑制され、エッジの傾き具合が適切に修正されるのである。
【００７７】
ただし、撮像ボケの範囲、即ち、エッジの始点から終点までの範囲は、上述の如く、移動量MVに応じて変化する。そこで、適切な最大値MAXと最小値MINを抽出できる範囲を探索範囲S1とすべく、図２の探索範囲検出部２６が設けられているのである。
【００７８】
ところで、上述した一連の処理（或いはそのうちの一部分の処理）は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。
【００７９】
この場合、図１の画像処理装置全体若しくはその一部分は、例えば、図７に示されるようなコンピュータで構成することができる。
【００８０】
図７において、CPU（Central Processing Unit）１０１は、ROM（Read Only Memory）１０２に記録されているプログラム、または記憶部１０８からRAM（Random Access Memory）１０３にロードされたプログラムに従って各種の処理を実行する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００８１】
CPU１０１、ROM１０２、およびRAM１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インタフェース１０５も接続されている。
【００８２】
入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、ディスプレイなどよりなる出力部１０７、ハードディスクなどより構成される記憶部１０８、および、モデム、ターミナルアダプタなどより構成される通信部１０９が接続されている。通信部１０９は、インターネットを含むネットワークを介して他の装置との通信処理を行う。
【００８３】
入出力インタフェース１０５にはまた、必要に応じてドライブ１１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア１１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１０８にインストールされる。
【００８４】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【００８５】
このようなプログラムを含む記録媒体は、図７に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア（パッケージメディア）１１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１０２や、記憶部１０８に含まれるハードディスクなどで構成される。
【００８６】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００８７】
また、上述したように、本明細書において、システムとは、複数の処理装置や処理部により構成される装置全体を表すものである。
【００８８】
また、上述した例では、説明の簡略上、移動量MVは、フレーム内の一方向例えば水平方向の動きとしたが、当然ながらそれ以外の方向の動きともなり得る。このような場合、即ち、移動量MVの移動方向が水平方向以外でも、画像処理装置は、移動量MVをベクトルとして取り扱うことで、上述した各種処理と基本的に同様の処理を実行できる。
【００８９】
さらにまた、各画素値の補正を行う際、上述した例では、移動量MV（移動ベクトルの絶対値）をパラメータとして使用したが、この移動量MVの他、撮像ボケの特性を示すパラメータであれば任意のパラメータを使用することができる。
【００９０】
具体的には例えば、撮像ボケの特性を示すパラメータとして、処理対象の動画像を撮影した時点のカメラのシャッタ速度を利用することができる。なぜならば、例えばシャッタ速度が違うとその分だけ撮像ボケの度合いも異なるからである。
【図面の簡単な説明】
【００９１】
【図１】移動ベクトル（移動量）に応じた撮像ボケの周波数特性を示す図である。
【図２】本発明が適用される画像処理装置の機能的構成の一例を示すブロック図である。
【図３】図２のゲイン算出部が保持する関数の特性例を示す図である。
【図４】図２のHPF部が保持する関数の特性例を示す図である。
【図５】図２の探索範囲検出部が保持する関数の特性例を示す図である。
【図６】図２のスイッチ部の詳細な機能的構成の一例を示すブロック図である。
【図７】本発明が適用される画像処理装置の全部または一部分のハードウエア構成の一例を示すブロック図である。
【符号の説明】
【００９２】
２１  HPF部，  ２２  乗算部，  ２３  加算部，  ２４  スイッチ部，  ２５  ゲイン算出部，  ２６  探索範囲検出部，  ３１  DL部，  ３２  探索範囲分MAX/MIN算出部，  ３３  符号算出部，  ３４  MAX/MIN選択部，  ３５  クリップ部，  １０１  ＣＰＵ，  １０２  ＲＯＭ，  １０３  ＲＡＭ，  １０８  記憶部，  １１１  リムーバブルメディア
【図１】
2009094615.tif 000003
【図２】
2009094615.tif 000004
【図３】
2009094615.tif 000005
【図４】
2009094615.tif 000006
【図５】
2009094615.tif 000007
【図６】
2009094615.tif 000008
【図７】
2009094615.tif 000009