(57)【要約】【課題】撮像ボケを生じている部分か否かを判別し、撮像ボケを抑制する処理を適応的に実行できるようにする。【解決手段】抽出信号S1とは、入力信号T0から高域周波数成分が抽出された信号である。そこで、出力決定部１３は、信号S1のレベルが閾値以下である場合には、入力信号T0には撮像ボケが生じていると判断して、撮像ボケ抑制のための補正を行う補正部１１の補正信号T1を、最終的な出力信号T2として出力する。また、出力決定部１３は、信号S1のレベルが閾値を超えている場合には、信号T１のレベル未満で入力信号T2のレベル以上のレベルを有する信号（信号S1のレベルがある一定レベル以上である場合には入力信号T0）を、最終的な出力信号T2として出力する。【選択図】図１
2007249850.tif 000002
【特許請求の範囲】
【請求項１】
撮影装置により撮影された動画像を構成する複数のアクセスユニットのそれぞれに対して処理を施す画像処理装置において、
処理対象の前記アクセスユニットを構成する各画素全体に対して、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性に基づく所定の処理を施すことで各補正値のそれぞれを算出し、前記各画素について、元の画素値に対して前記補正値を加算した値を、補正後の画素値としてそれぞれ出力する補正手段と、
処理対象の前記アクセスユニットを構成する前記各画素の前記元の画素値から、高域周波数成分値をそれぞれ抽出して出力する抽出手段と、
処理対象の前記アクセスユニットを構成する前記各画素のうちの、前記抽出手段から出力された前記高域周波数成分値が閾値以下である画素については、前記撮像ボケが生じている画素であるとして、前記補正手段から出力された前記補正後の画素値を出力画素値として決定し、それ以外の画素については、前記補正後の画素値未満で前記元の画素値以上の値を出力画素値として決定する出力決定手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記出力決定手段は、前記高域周波数成分値が前記閾値より大きく所定の値未満となっている画素については、前記補正後の画素値未満で前記元の画素値を超えた値を出力画素値として決定し、前記高域周波数成分値が前記所定の値以上となっている画素については、前記元の画素値を出力画素値として決定する
請求項１に記載の画像処理装置。
【請求項３】
前記閾値は固定値であり、
前記画像処理装置は、処理対象の前記アクセスユニットを構成する前記各画素の移動ベクトルのそれぞれを検出する検出手段をさらに備え、
前記抽出手段は、処理対象の前記アクセスユニットを構成する前記各画素のうちの、前記検出手段により検出された前記移動ベクトルの大きさが所定の値以下であった画素については、さらに、前記高域周波数成分値を、前記移動ベクトルの大きさに応じた分だけ減少させた値に更新し、更新後の高域周波数成分値を出力する
請求項１に記載の画像処理装置。
【請求項４】
前記画像処理装置は、処理対象の前記アクセスユニットを構成する前記各画素の移動ベクトルのそれぞれを検出する検出手段をさらに備え、
前記出力決定手段は、さらに、前記検出手段により検出された前記移動ベクトルの大きさが所定の値以上であった場合には所定の固定値を前記閾値として決定し、前記移動ベクトルの大きさが前記所定の値未満であった場合には、前記所定の固定値に対して、前記移動ベクトルの大きさに応じた分だけ増加させた値を前記閾値として決定し、決定された前記閾値を利用して、処理対象の前記アクセスユニットを構成する前記各画素の出力画素値のそれぞれを決定する
請求項１に記載の画像処理装置。
【請求項５】
撮影装置により撮影された動画像を構成する複数のアクセスユニットのそれぞれに対して処理を施す画像処理装置の画像処理方法において、
処理対象の前記アクセスユニットを構成する各画素全体に対して、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性に基づく所定の処理を施すことで各補正値のそれぞれを算出し、前記各画素の元の画素値に対して前記補正値を加算した値を、補正後の画素値として出力し、
処理対象の前記アクセスユニットを構成する前記各画素の前記元の画素値から、高域周波数成分値をそれぞれ抽出して出力し、
処理対象の前記アクセスユニットを構成する前記各画素のうちの、前記高域周波数成分値が閾値以下である画素については、前記撮像ボケが生じている画素であるとして、前記補正後の画素値を出力画素値として決定し、それ以外の画素については、前記補正後の画素値未満で前記元の画素値以上の値を出力画素値として決定する
ステップを含むことを特徴とする画像処理方法。
【請求項６】
撮影装置により撮影された動画像を構成する複数のアクセスユニットのそれぞれについて施す処理を制御するコンピュータに実行させるプログラムであって、
処理対象の前記アクセスユニットを構成する各画素全体に対して、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性に基づく所定の処理を施すことで各補正値のそれぞれを算出し、前記各画素の元の画素値に対して前記補正値を加算した値を、補正後の画素値として出力し、
処理対象の前記アクセスユニットを構成する前記各画素の前記元の画素値から、高域周波数成分値をそれぞれ抽出して出力し、
処理対象の前記アクセスユニットを構成する前記各画素のうちの、前記高域周波数成分値が閾値以下である画素については、前記撮像ボケが生じている画素であるとして、前記補正後の画素値を出力画素値として決定し、それ以外の画素については、前記補正後の画素値未満で前記元の画素値以上の値を出力画素値として決定する
ステップを含むことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法並びにプログラムに関し、特に、撮像ボケを生じている映像信号の部分か否かを判別し、例えば撮像された動画データの部分であるのか或いはCGコンテンツの部分であるのかを判別し、適応的に撮像ボケを抑制する画像処理を実行できるようになった画像処理装置および方法並びにプログラムに関する。
【背景技術】
【０００２】
カメラで撮像された動画データからなる映像信号には、その撮像時に発生する動きボケ（以下、撮像ボケと称する）に起因する画像劣化（ボケ画像）が生じていることが多々ある。そこで、かかる映像信号に対して、撮像ボケを抑制するための画像処理を施す画像処理装置が存在する。例えば、特許文献１に記載された画像処理装置や、本発明人により発明され既に出願された特願２００５−３１９０１７号または特願２００４−２３４０５１号の願書に添付された明細書等に記載された画像処理装置が該当する。なお、かかる画像処理装置は、特許文献１が有する問題を解決できる画像処理装置である。
【特許文献１】特開平7-59054号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、映像信号には、カメラで撮像された動画データ以外に、撮像後に挿入されたテロップのようなCG(computer Graphics)コンテンツが含まれている場合もある。このような場合、前者の動画データにおいては撮像ボケが生じている一方、後者のCGコンテンツにおいては撮像ボケが生じていない。従って、撮像ボケ抑制のための画像処理は、本来、前者の動画データのみに対して施せば足り、後者のCGコンテンツに対して施す必要はない。ところが、従来の画像処理装置では、前者の動画データのみならずCGコンテンツに対しても、即ち、撮像ボケが発生している箇所に対しても発生していない箇所に対しても一様に、撮像ボケ抑制のための画像処理を施していた。
【０００４】
本発明は、このような状況に鑑みてなされたものであり、撮像ボケを生じている映像信号の部分か否かを判別し、例えば撮像された動画データの部分であるのか或いはCGコンテンツの部分であるのかを判別し、適応的に撮像ボケを抑制する画像処理を実行できるようにするものである。
【課題を解決するための手段】
【０００５】
本発明の一側面の画像処理装置は、撮影装置により撮影された動画像を構成する複数のアクセスユニットのそれぞれに対して処理を施す画像処理装置であって、処理対象の前記アクセスユニットを構成する各画素全体に対して、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性に基づく所定の処理を施すことで各補正値のそれぞれを算出し、前記各画素について、元の画素値に対して前記補正値を加算した値を、補正後の画素値としてそれぞれ出力する補正手段と、処理対象の前記アクセスユニットを構成する前記各画素の前記元の画素値から、高域周波数成分値をそれぞれ抽出して出力する抽出手段と、処理対象の前記アクセスユニットを構成する各画素のうちの、前記抽出手段から出力された前記高域周波数成分値が閾値以下である画素については、前記撮像ボケが生じている画素であるとして、前記補正手段から出力された前記補正後の画素値を出力画素値として決定し、それ以外の画素については、前記補正後の画素値未満で前記元の画素値以上の値を出力画素値として決定する出力決定手段とを備えることを特徴とする。
【０００６】
前記出力決定手段は、前記高域周波数成分値が前記閾値より大きく所定の値未満となっている画素については、前記補正後の画素値未満で前記元の画素値を超えた値を出力画素値として決定し、前記高域周波数成分値が前記所定の値以上となっている画素については、前記元の画素値を出力画素値として決定することができる。
【０００７】
前記閾値は固定値であり、前記画像処理装置は、処理対象の前記アクセスユニットを構成する前記各画素の移動ベクトルのそれぞれを検出する検出手段をさらに備え、前記抽出手段は、処理対象の前記アクセスユニットを構成する前記各画素のうちの、前記検出手段により検出された前記移動ベクトルの大きさが所定の値以下であった画素については、さらに、前記高域周波数成分値を、前記移動ベクトルの大きさに応じた分だけ減少させた値に更新し、更新後の高域周波数成分値を出力することができる。
【０００８】
前記画像処理装置は、処理対象の前記アクセスユニットを構成する前記各画素の移動ベクトルのそれぞれを検出する検出手段をさらに備え、前記出力決定手段は、さらに、前記検出手段により検出された前記移動ベクトルの大きさが所定の値以上であった場合には所定の固定値を前記閾値として決定し、前記移動ベクトルの大きさが前記所定の値未満であった場合には、前記所定の固定値に対して、前記移動ベクトルの大きさに応じた分だけ増加させた値を前記閾値として決定し、決定された前記閾値を利用して、処理対象の前記アクセスユニットを構成する前記各画素の出力画素値のそれぞれを決定することができる。
【０００９】
本発明の一側面の画像処理方法／プログラムは、撮影装置により撮影された動画像を構成する複数のアクセスユニットのそれぞれに対して処理を施す画像処理装置の画像処理方法／そのような処理を制御するコンピュータに実行させるプログラムであって、処理対象の前記アクセスユニットを構成する各画素全体に対して、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性に基づく所定の処理を施すことで各補正値のそれぞれを算出し、前記各画素の元の画素値に対して前記補正値を加算した値を、補正後の画素値として出力し、処理対象の前記アクセスユニットを構成する前記各画素の前記元の画素値から、高域周波数成分値をそれぞれ抽出して出力し、処理対象の前記アクセスユニットを構成する前記各画素のうちの、前記高域周波数成分値が閾値以下である画素については、前記撮像ボケが生じている画素であるとして、前記補正後の画素値を出力画素値として決定し、それ以外の画素については、前記補正後の画素値未満で前記元の画素値以上の値を出力画素値として決定するステップを含むことを特徴とする。
【００１０】
本発明の一側面においては、撮影装置により撮影された動画像を構成する複数のアクセスユニットのそれぞれに対して処理が施される。詳細には、処理対象の前記アクセスユニットを構成する各画素全体に対して、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性に基づく所定の処理が施されることで各補正値のそれぞれが算出され、前記各画素の元の画素値に対して前記補正値が加算され、その結果得られる値が補正後の画素値として出力される。また、処理対象の前記アクセスユニットを構成する前記各画素の前記元の画素値から、高域周波数成分値がそれぞれ抽出されて出力される。そして、処理対象の前記アクセスユニットを構成する前記各画素のうちの、抽出された前記高域周波数成分値が閾値以下である画素については、前記撮像ボケが生じている画素であるとして、出力された前記補正後の画素値が出力画素値として決定され、それ以外の画素については、前記補正後の画素値未満で前記元の画素値以上の値が出力画素値として決定される。
【発明の効果】
【００１１】
以上のごとく、本発明によれば、撮像ボケを抑制する画像処理を実現できる。特に、撮像ボケを生じている映像信号の部分か否かを判別し、例えば撮像された動画データの部分であるのか或いはCGコンテンツの部分であるのかを判別し、適応的に撮像ボケを抑制する画像処理を実行できる。
【発明を実施するための最良の形態】
【００１２】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、明細書又は図面における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００１３】
さらに、この記載は、明細書又は図面に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、明細書又は図面に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００１４】
本発明の一側面の画像処理装置（例えば、図１、図８、図１１の画像処理装置）は、
撮影装置により撮影された動画像を構成する複数のアクセスユニットのそれぞれに対して処理を施す画像処理装置であって、
処理対象の前記アクセスユニットを構成する各画素全体に対して、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性に基づく所定の処理を施すことで各補正値のそれぞれを算出し、前記各画素について、元の画素値に対して前記補正値を加算した値を、補正後の画素値としてそれぞれ出力する補正手段（例えば図１、図８、図１１の補正部１１）と、
処理対象の前記アクセスユニットを構成する前記各画素の前記元の画素値から、高域周波数成分値をそれぞれ抽出して出力する抽出手段（例えば図１の抽出部１２、図８の抽出部５２、図１１の抽出部１２）と、
処理対象の前記アクセスユニットを構成する前記各画素のうちの、前記抽出手段から出力された前記高域周波数成分値が閾値（例えば図４の閾値TH）以下である画素については、前記撮像ボケが生じている画素であるとして、前記補正手段から出力された前記補正後の画素値を出力画素値として決定し、それ以外の画素については、前記補正後の画素値未満で前記元の画素値以上の値を出力画素値として決定する出力決定手段（例えば図１と図８の出力決定部１３、図１１の出力決定部８１）と
を備えることを特徴とする。
【００１５】
前記出力決定手段は、前記高域周波数成分値が前記閾値より大きく所定の値未満となっている画素については、前記補正後の画素値未満で前記元の画素値を超えた値を出力画素値として決定し、前記高域周波数成分値が前記所定の値以上となっている画素については、前記元の画素値を出力画素値として決定する（例えば図４の関数f1の閾値THよりも右方の特性に従ってゲインG1を決定し、そのゲインG1を利用して出力画素値に対応する出力信号T2を決定する）。
【００１６】
前記閾値は固定値（例えば図８の画像処理装置の出力決定部１３のうちの、図３の閾値決定部３５により予め決定された固定値TH）であり、
前記画像処理装置は、処理対象の前記アクセスユニットを構成する前記各画素の移動ベクトルのそれぞれを検出する検出手段（例えば図８の移動ベクトル検出部５１）をさらに備え、
前記抽出手段（例えば図９の構成の抽出部５２）は、処理対象の前記アクセスユニットを構成する前記各画素のうちの、前記検出手段により検出された前記移動ベクトルの大きさが所定の値以下であった画素については、さらに、前記高域周波数成分値を、前記移動ベクトルの大きさに応じた分だけ減少させた値に更新し（例えば図１０の関数f2の特性に従って決定されたゲインG0を乗算することで更新し）、更新後の高域周波数成分値を出力する。
【００１７】
前記画像処理装置（例えば図１１の画像処理装置）は、処理対象の前記アクセスユニットを構成する前記各画素の移動ベクトルのそれぞれを検出する検出手段（例えば図１１の移動ベクトル検出部５１）をさらに備え、
前記出力決定手段は、さらに、前記検出手段により検出された前記移動ベクトルの大きさが所定の値以上であった場合には所定の固定値を前記閾値として決定し、前記移動ベクトルの大きさが前記所定の値未満であった場合には、前記所定の固定値に対して、前記移動ベクトルの大きさに応じた分だけ増加させた値を前記閾値として決定し（例えば図１３の関数f3を利用して図１２の閾値決定部９１がその処理を実行し）、前記閾値決定処理により決定された前記閾値を利用して、処理対象の前記アクセスユニットを構成する前記各画素の出力画素値のそれぞれを決定する。
【００１８】
本発明の一側面の画像処理方法は、
撮影装置により撮影された動画像を構成する複数のアクセスユニットのそれぞれに対して処理を施す画像処理装置の画像処理方法であって、
処理対象の前記アクセスユニットを構成する各画素全体に対して、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性に基づく所定の処理を施すことで各補正値のそれぞれを算出し、前記各画素の元の画素値に対して前記補正値を加算した値を、補正後の画素値として出力し（例えば図６のステップＳ１１）、
処理対象の前記アクセスユニットを構成する前記各画素の前記元の画素値から、高域周波数成分値をそれぞれ抽出して出力し（例えば図６のステップＳ１２）、
処理対象の前記アクセスユニットを構成する前記各画素のうちの、前記高域周波数成分値が閾値以下である画素については、前記撮像ボケが生じている画素であるとして、前記補正後の画素値を出力画素値として決定し、それ以外の画素については、前記補正後の画素値未満で前記元の画素値以上の値を出力画素値として決定する（例えば図６のステップＳ１３乃至Ｓ１８）
ステップを含むことを特徴とする。
【００１９】
本発明の一側面のプログラムは、上述した本発明の一側面の画像処理方法に対応するプログラムである。詳細については後述するが、このプログラムは、例えば、図１４のリムーバブル記録媒体１１１や、記憶部１０８に含まれるハードディスク等の記録媒体に記録され、図１４の構成のコンピュータにより実行される。
【００２０】
その他、本発明の一側面としては、上述した本発明の一側面のプログラムを記録した記録媒体も含まれる。
【００２１】
以上説明した本発明の一側面の画像処理装置は、例えば、テレビジョンシステム全体またはその一構成要素として利用可能である。テレビジョンシステムとは、テレビジョン放送受像機を含む１以上のＡＶ（Audio and Visual）機器からなるシステムを指す。
【００２２】
次に、図面を参照して、本発明の実施の形態について説明する。
【００２３】
なお、以下の説明においては、次の前提事項が成立しているとする。
【００２４】
即ち、後述する各種の実施の形態では、動画像データに対する各種画像処理はアクセスユニットを単位とする。アクセスユニットとは、フレームやフィールドといった動画像の単位を指し、具体的には例えば、動画像を構成する各静止画像全体（フレーム等）またはその一部分（フィールド等）を指す。ただし、以下、説明の簡略上、動画像データに対する各種画像処理の単位はフレーム単位であるとする。
【００２５】
また、後述する各種画像処理装置（後述する図１他参照）を構成する各機能ブロック（加算部等の演算部も含む）に入力される信号を、まとめて入力信号と適宜称する。即ち、動画像、動画像を構成する各フレーム、および、各フレームを構成する各画素（各画素値）といった入力単位によらず、一括して入力信号と適宜称する。同様に、各機能ブロックから出力される信号を、その出力単位によらず、一括して出力信号と適宜称する。換言すると、入力単位や出力単位の区別が必要な場合、その単位（主にフレームまたは画素値）を用いて説明を行い、それ以外の場合、単に入力信号または出力信号を用いて説明を行う。
【００２６】
図１は、本発明が適用される画像処理装置の一実施の形態を示している。
【００２７】
図１の例の画像処理装置は、補正部１１、抽出部１２、および出力決定部１３から構成されている。
【００２８】
図１の例の画像処理装置においては、動画像を構成する各フレームが順次処理対象のフレームとなり、処理対象のフレームを構成する各画素の画素値が入力信号T0として、補正部１１、抽出部１２、および出力決定部１３のそれぞれに提供される。
【００２９】
なお、以下の説明では、本発明の理解を容易なものとするために、入力信号T0は、処理対象のフレームを構成する各画素の画素値の集合体（フレームデータ）を意味するときもあるし、それらの各画素のうちの処理対象として注目すべき画素（以下、注目画素と称する）の画素値を意味するときもあるとする。ただし、特に断りのないときは、入力信号T0は、処理対象のフレームを構成する各画素の画素値の集合体（フレームデータ）を意味するとする。
【００３０】
補正部１１は、入力信号T0（処理対象のフレームの各画素値）を、その撮像ボケを抑制するように補正し、その結果得られる信号T1（以下、補正信号T1と称する）を出力決定部１３に提供する。
【００３１】
このように、補正部１１は、撮像ボケを抑制するための補正を行う機能ブロックであれば足り、様々な機能ブロックを採用することができる。具体的には例えば、従来の撮像ボケ抑制処理を実行する機能ブロックを、補正部１１として採用してもよい。或いは、本発明人により発明され既に出願された特願２００５−３１９０１７号または特願２００４−２３４０５１号の願書に添付された明細書等に記載された機能ブロック、即ち、本発明人により発明された撮像ボケ抑制処理を実行する機能ブロックを、補正部１１として採用してもよい。
【００３２】
即ち、撮像ボケの特性は、図７等を参照して後述するように、ローパスフィルタとして表される。換言すると、撮像ボケ後の画像信号とは、撮像ボケ前の画像信号（理想的な画像信号）に対してローパスフィルタがかけられた信号と等価な信号である。従って、撮像ボケ後の画像信号は、撮像ボケ前の画像信号と比較して、その周波数特性が落ちてしまう。即ち、撮像ボケ後の画像信号においては、撮像ボケ前の画像信号と比較して、高周波数になればなる程ゲインが一般的に落ちてしまう。
【００３３】
従って、撮像ボケの特性に基づく処理、即ち、撮像ボケにより落ちてしまった周波数特性を改善可能な処理を、撮像ボケ抑制処理として実行可能な機能ブロックであれば、補正部１１として採用することができる。
【００３４】
ただし、補正部１１は、入力信号T0に対して一様に補正をかけるので、即ち、処理対象のフレームを構成する全画素を対象として補正をかけるので、その結果、撮像ボケが生じていない範囲（例えば、上述したテロップのようなCGコンテンツ等の部分）であっても補正がかかってしまう。従って、撮像ボケが生じていない範囲を含むフレームデータが入力信号T0として入力されるような場合には、補正部１１の補正信号T1をそのまま、画像処理装置の最終的な出力信号として出力してしまうのは特策ではない。
【００３５】
このため、図１の例の画像処理装置においては、撮像ボケが生じている範囲又はいない範囲を抽出するための機能ブロックとして、抽出部１２が設けられているのである。
【００３６】
即ち、撮像ボケが生じている範囲の画像信号の周波数成分は、上述したように高域周波数成分は少なくなり、低域周波数成分が多くなる。一方、撮像ボケが生じている範囲の画像信号、特に上述したテロップのようなCGコンテンツ等の画像信号の周波数成分は、高域周波数成分が多くなる。
【００３７】
従って、画像信号から高域周波数成分を抽出した信号（以下、抽出信号と称する）のレベルの大小で、撮像ボケが生じているか否かの判断ができる。即ち、抽出信号のレベルとは、撮像ボケが生じているか否かを示す指標値であるといえる。そこで、以下、抽出信号のレベルを、撮像ボケ有無指標値と適宜称する。
【００３８】
そこで、抽出部１２は、入力信号T0から高域周波数成分を抽出した抽出信号S1を生成し、出力決定部１３に提供している。具体的には、抽出部１２は、入力信号T0から高域周波数成分を抽出した抽出信号S1を生成すべく、例えば図２に示されるようにＨＰＦ（Hi pass Filter）部２１を含むように構成することができる。
【００３９】
ここで、例えば注目画素の画素値が入力信号T0であるとした場合、抽出信号S1のレベル（撮像ボケ有無指標値）が低い値であるときには、そのことは、注目画素の画素値の高域周波数成分が少なかったことを意味している。従って、撮像ボケが生ずると周波数特性が落ちることもさらに考慮すれば、結局、注目画素についての撮像ボケ有無指標値が低い値であることは、注目画素は、撮像ボケを生じている範囲の画素であることを意味する。逆に、注目画素についての撮像ボケ有無指標値が高い値であることは、注目画素は、撮像ボケを生じていない範囲の画素であることを意味する。
【００４０】
換言すると、抽出部１２が、入力信号T0から高域周波数成分を抽出した抽出信号S1を生成することとは、撮像ボケが生じていない範囲または生じている範囲を抽出していることであると捉えることもできる。即ち、一定レベル以上の抽出信号S1が抽出部１２から出力されている場合とは、撮像ボケが生じていない範囲が抽出されている場合を意味する。これに対して、一定レベル以下（ただし、ここでいう一定レベルとは、後述する閾値であって、後述するグレーゾーンを考慮するときには、上述した一定レベルと必ずしも同一のレベルとはならない）の抽出信号S1が抽出部１２から出力されている場合とは、撮像ボケが生じている範囲が抽出されている場合を意味する。
【００４１】
このようにして、図１の例では、出力決定部１３には、入力信号T0、補正部１１からの補正信号T1、および、抽出部１２からの抽出信号S1が入力されることになる。
【００４２】
そこで、出力決定部１３は、抽出信号S1のレベル（撮像ボケ有無指標値）に応じて、入力信号T0についての撮像ボケの有無を画素単位で判断し（即ちここでは入力信号T0は注目画素の元画素値を意味する）、撮像ボケ有と判断した場合には、補正部１１からの補正信号T1（注目画素の補正後画素値）を、最終的な出力信号T2として出力し、撮像ボケ無と判断した場合には、入力信号T0（注目画素の元画素値、即ち、注目画素の画素値は補正されない）を、最終的な出力信号T2として出力する。
【００４３】
このように、出力決定部１３は、抽出信号S1のレベル（撮像ボケ有無指標値）に応じて、入力信号T0と補正信号T1とのうちのいずれか一方を、出力信号T2として画素単位に選択して（切り替えて）出力している。即ち、補正信号T1とは、入力信号T0に対して、撮像ボケ抑制を目的とする補正が補正部１１により施された信号であることを考慮すると、出力決定部１３とは、撮像ボケ有無に応じて、入力信号T0に対する補正有無を画素単位で切り替えるスイッチであると把握することもできる。
【００４４】
ただし、注目画素についての撮像ボケ有無指標値が、撮像ボケ有無の判断が困難な範囲（いわゆるグレーゾーン）、例えば後述する図４の範囲Ｍに属する場合がある。このような場合には、後述するように、出力決定部１３は、補正信号T1のレベル（注目画素の補正後画素値）よりも低いレベルを有する補正信号を生成し、即ち、注目画素の補正後画素値をより低い値（ただし、元画素値以上の値）とするように更新し、更新後の注目画素の補正後画素値を、最終的な出力信号T2として出力している。即ち、出力決定部１３は、入力信号T0と補正信号T1との切り替えが所定の閾値を境にして直ちに行われるハードスイッチというよりは、入力信号T0と補正信号T1との切り替えがグレーゾーン（後述する図４の範囲Ｍ）を介して徐々に行われていくソフトスイッチであるといえる。
【００４５】
具体的には例えば、出力決定部１３は、図３のように構成することができる。即ち、図３は、出力決定部１３の詳細な構成例を示す機能ブロック図である。
【００４６】
図３の例では、出力決定部１３は、減算部３１乃至閾値決定部３５から構成されている。
【００４７】
なお、出力決定部１３は、画素単位で処理を実行するとする。即ち、出力決定部１３の説明においては、入力信号T0とは、注目画素の画素値を意味するとする。
【００４８】
減算部３１は、補正部１１（図１）による補正信号T1から入力信号T0を減算し、その結果得られる信号T1-T0を出力信号D1として乗算部３２に提供する。即ち、減算部３１の出力信号D1とは、補正部１１において入力信号T0に対して補正量として加算された加算信号（以下、補正加算用信号と称する）と等価な信号である。
【００４９】
乗算部３２は、加算部３１の出力信号D1に対して、後述するゲイン部３４からのゲインG1を乗算し、その結果得られる信号G1×D1を出力信号D2として、加算部３３に提供する。
【００５０】
加算部３３は、入力信号T0に対して、乗算部３２の出力信号D2を加算し、その結果得られる信号T0＋D2を、最終的な出力信号T2として外部に出力する。
【００５１】
ゲイン部３４は、図４に示されるような関数f1(α)を保持している。そこで、ゲイン部３４は、抽出部１２（図１）からの抽出信号S1のレベル、即ち、注目画素についての撮像ボケ有無指標値を入力値αとして関数f1(α)に代入し、その出力値f1(S1)を、注目画素についてのゲインG1として乗算部３２に提供する。
【００５２】
閾値決定部３５は、図４の閾値THとなる固定値を予め決定しておき、ゲイン部３４に提供する。即ち、図３の例のゲイン部３４は、図４の閾値THは固定値であるとして、ゲインG1の決定を行っている。
【００５３】
以上説明したように、出力決定部１３の出力信号T2、即ち、図１の画像処理装置の最終的な出力信号T2とは、入力信号T0に対して、乗算部３２の出力信号D2が加算された信号である。かかる信号D2は、補正部１１（図１）において入力信号T0に補正量として加算された補正加算用信号D1に対して、ゲインG1が乗算された信号である。かかるゲインG1は、抽出部１２（図１）の抽出信号S1のレベル、即ち、各画素毎の撮像ボケ有無指標値に応じて、各画素毎に可変される。
【００５４】
具体的には例えば、抽出信号S1のレベル、即ち、注目画素についての撮像ボケ有無指標値が図４の閾値TH以下であったときには、即ち、撮像ボケ有無指標値が図４の範囲Ｌに属していたときには、上述したように、注目画素は、撮像ボケを生じている範囲の画素であると判断することが可能である。従って、入力信号T0（注目画素の元画素値）は、撮像ボケ抑制のための補正がなされるべきであるので、ゲインG1として１が乗算部３２に提供される。即ち、補正部１１における補正量を示す補正加算用信号D1がそのまま信号D2として加算部３３に提供され、その信号D2と入力信号T0との加算信号D2+T0(=D1＋T0)、即ち、補正部１１の補正信号T1（注目画素の補正後画素値）と等価な信号が、最終的な出力信号T2として出力される。
【００５５】
これに対して、抽出信号S1のレベル、即ち、注目画素についての撮像ボケ有無指標値が図４の範囲Ｈに属していたときには、上述したように、注目画素は、撮像ボケを生じていない範囲の画素であると判断することが可能である。従って、入力信号T0（注目画素の元画素値）は、撮像ボケ抑制のための補正はなされるべきではないので、ゲインG1として０が乗算部３２に提供される。即ち、乗算部３２の出力信号D2は０信号となり、その０信号と入力信号T0との加算信号、即ち、入力信号T0（注目画素の元画素値）自身が、最終的な出力信号T2として出力される。換言すると、注目画素についての撮像ボケ有無指標値が図４の範囲Ｈに属していたときには、注目画素は、撮像ボケを生じていない範囲の画素であると判断され、入力信号T0（注目画素の元画素値）は補正されずにそのまま出力される。
【００５６】
なお、図４の範囲Ｍが、撮像ボケを生じているか否かの判断が困難なグレーゾーンである。そこで、この範囲Ｍにおいては、関数f1(α)の出力値であるゲインG1は、抽出信号S1のレベル（撮像ボケ有無指標値）が大きくなるに比例して下がっていくようになされている。従って、抽出信号S1のレベル（注目画素についての撮像ボケ有無指標値）が範囲Ｍに属するときには、補正加算用信号D1（補正部１１において、注目画素の元画素値に対して加算された補正量）に対して、１未満０以上のゲインG1が乗算された信号G1×D1（即ち、小さくなるように更新された補正量）が、信号D2として加算部３３に提供され、その信号D2と入力信号T0との加算信号D2+T0（即ち、小さくなるように更新された注目画素の補正後画素値）が、最終的な出力信号T2として出力される。
【００５７】
以上の内容を換言すると、図１の画像処理装置は、図５のフローチャートに従った処理（以下、画像処理と称する）を実行していると把握することもできる。
【００５８】
なお、以下の図５の各ステップの処理の説明では、入力信号T0は例えば注目画素の画素値であるとする。
【００５９】
ステップＳ１において、補正部１１は、入力信号T0（注目画素の元画素値）から、撮像ボケ抑制のための補正加算用信号を生成する。
【００６０】
ステップＳ１でいう撮像ボケ抑制のための補正加算用信号とは、注目画素の元画素値に対して加算される補正量に対応する信号であって、図３の加算部３１の出力信号D1と等価な信号をいう。即ち、図１の例では、補正部１１は、さらに、入力信号T0に対して補正加算用信号（＝信号D1）を加算した信号T0+D1を、補正信号T1（注目画素の補正後画素値）として出力決定部１３に出力する。そして、図３の出力決定部１３の加算部３１において、補正信号T1（注目画素の補正後画素値）から入力信号T0（注目画素の元画素値）が減算されることで、撮像ボケ抑制のための補正加算用信号（注目画素に対する補正量）が復元され、それが信号D1として乗算部３２に提供される。ただし、以下、補正部１１で生成された補正加算用信号と、加算部３１の出力信号D1（復元後の補正加算用信号D1）とを、個々に区別する必要がない場合、両者を特に区別せずに、補正加算用信号D1と称する。
【００６１】
従って、ステップＳ１の処理は、補正部１１と、出力決定部１３の加算部３１とによる処理と捉えてもよい。
【００６２】
ステップＳ２において、抽出部１２は、入力信号T0から抽出信号S1（注目画素の高域周波数成分値）を生成する。この抽出信号S1が出力決定部１３のゲイン部３４（図３）に提供されると、処理はステップＳ３に進む。
【００６３】
ステップＳ３において、ゲイン部３４は、図４の関数f1（α）を利用して、抽出信号S1のレベル（注目画素についての撮像ボケ有無指標値）に応じてゲインG1（図５の記載に併せて、以下、補正量可変ゲインG1と称する）を決定する。
【００６４】
この補正量可変ゲインG1が乗算部３２に提供され、かつ、撮像ボケ抑制のための補正加算用信号D1が乗算部３２に提供されると、処理はステップＳ４に進む。換言すると、ステップＳ１と、ステップＳ２，Ｓ３との処理の順番は、図５の順番に限定されず任意でよい。即ち、ステップＳ１の処理は、図５の例のようにステップＳ２，Ｓ３の処理の前に実行されてもよいし、逆にその後に実行されてもよいし、或いは、同時に実行されてもよい。いずれにしても、ステップＳ１の処理と、ステップＳ２，Ｓ３の処理との何れもが終了した場合、次のようなステップＳ４の処理が実行される。
【００６５】
即ち、ステップＳ４において、乗算部３２は、補正加算用信号D1に対して補正量可変ゲインG1を乗算することで、補正加算用信号D1を信号D2(=G1×D1)に更新する。即ち、ここでは、補正量可変ゲインG1が１の場合も０の場合も含めて、「補正加算用信号D1を更新する」と表現している。更新後の補正加算用信号D2が、乗算部３２から加算部３３に提供されると、処理はステップＳ５に進む。
【００６６】
ステップＳ５において、加算部３３は、更新後の補正加算用信号D2（更新後の補正量）を入力信号T0（注目画素の元画素値）に加算することで、入力信号T0を信号D2+T0に補正し、それを出力信号T2（注目画素の出力画素値）として出力する。即ち、ここでは、更新後の補正加算用信号D2が０である場合（０補正である場合）も含めて、「入力信号を補正する」と表現している。
【００６７】
また、上述したように、図１の出力決定部１３はソフトスイッチと把握することもできるので、かかる観点からは、画像処理は、図６のフローチャートに従った処理であると把握することもできる。即ち、図５と図６は、何れも等価な画像処理を説明するフローチャートであるが、表現方法（把握方法）が異なったフローチャートである。
【００６８】
なお、以下の図６の各ステップの処理の説明でも、入力信号T0は例えば注目画素の画素値であるとする。
【００６９】
図６のステップＳ１１において、補正部１１は、入力信号T0（注目画素の元画素値）から補正信号T1（注目画素の補正後画素値）を生成し、出力決定部１３に提供する。
【００７０】
ステップＳ１２において、抽出部１２は、入力信号T0（注目画素の元画素値）から抽出信号S1（注目画素の高域周波数成分値であって、撮像ボケ有無指標値）を生成し、出力決定部１３に提供する。
【００７１】
ステップＳ１３において、出力決定部１３は、抽出信号S1のレベル（撮像ボケ有無指標値）に基づいて、注目画素における撮像ボケの有無を判定する。即ち、抽出信号S1のレベルが、上述した図４の範囲Ｌ，Ｍ，Ｈのうちの何れの範囲に属するのかについての判定が、ステップＳ１３の処理として行われる。
【００７２】
ステップＳ１４において、出力決定部１３は、撮像ボケ有であるか否かを判定する。
【００７３】
ステップＳ１３の処理で、抽出信号S1のレベルが図４の範囲Ｌに属すると判定された場合には、ステップＳ１４においてＹＥＳであると判定されて、処理はステップＳ１５に進む。
【００７４】
ステップＳ１５において、出力決定部１３は、補正信号T1（注目画素の補正後画素値、即ち、図３において、G1=1である場合の信号T0+D2）を出力信号T2として出力する。
【００７５】
これに対して、ステップＳ１３の処理で、抽出信号S1のレベルが図４の範囲ＭまたはＨに属すると判定された場合には、ステップＳ１４においてＮＯであると判定されて、処理はステップＳ１６に進む。
【００７６】
ステップＳ１６において、出力決定部１３は、撮像ボケ無であるか否かを判定する。
【００７７】
ステップＳ１３の処理で、抽出信号S1のレベルが図４の範囲Ｈに属すると判定された場合には、ステップＳ１６においてＹＥＳであると判定されて、処理はステップＳ１７に進む。
【００７８】
ステップＳ１７において、出力決定部１３は、入力信号T0（注目画素の元画素値、即ち、図３において、G1=0である場合の信号T0+D2）を出力信号T2として出力する。
【００７９】
これに対して、ステップＳ１３の処理で、抽出信号S1のレベルが図４の範囲Ｍ（即ちグレーゾーン）に属すると判定された場合には、ステップＳ１６においてＮＯであると判定されて、処理はステップＳ１７に進む。
【００８０】
ステップＳ１７において、出力決定部１３は、補正信号T1のレベルより低く、入力信号T0のレベルよりも高いレベルを有する信号（図３において、0<G1<1である場合の信号T0+D2）を、出力信号T2として出力する。
【００８１】
なお、上述した説明では、入力信号T0は注目画素の画素値と捉えたが、入力信号T0は処理対象のフレームであると捉えた場合には、図６の例の画像処理は例えば次のような処理となる。
【００８２】
ステップＳ１１に相当する処理として、補正部１１は、次のような処理を実行する。即ち、補正部１１は、処理対象のフレーム（入力信号T0）を構成する各画素全体に対して、撮像ボケの特性に基づく所定の処理を施すことで各補正値のそれぞれを算出し、各画素について、元画素値に対して補正値を加算した値を補正後画素値として、各補正後画素値からなるフレームデータを補正信号T1として出力決定部１３に提供する。
【００８３】
ステップＳ１２に相当する処理として、抽出部１２は、次のような処理を実行する。即ち、抽出部１２は、処理対象のフレーム（入力信号T0）を構成する各画素の元画素値から、高域周波数成分値をそれぞれ抽出して、各画素の高域周波数成分値からなる信号を抽出信号S1として出力決定部１３に提供する。
【００８４】
ステップＳ１３乃至Ｓ１８に相当する処理として、出力決定部１３は、次のような処理を実行する。即ち、出力決定部１３は、処理対象のフレーム（入力信号T0）を構成する各画素のうちの、高域周波数成分値（抽出信号S1の構成要素）が閾値（図４の閾値TH）以下である画素については（図４の範囲Ｌに属する画素については）、撮像ボケが生じている画素であるとして、補正後画素値（補正信号T1の一構成要素であって、図３の例では、加算部３３において再生成される信号T0+D2の一構成要素）を出力画素値として決定し、それ以外の画素については（図４の範囲ＭまたはＨに属する画素については）、補正後画素値未満で元画素値以上の値（例えば図４の範囲Ｈに属する場合には元画素値、即ち、入力信号T0の一構成要素）を出力画素値としてそれぞれ決定する。そして、このようにしてそれぞれ決定された各出力画素値からなるフレームデータが、最終的な出力信号T2として出力される。
【００８５】
ところで、上述したように撮像ボケの特性はローパスフィルタとして表されるが、このローパスフィルタの特性は常に同一ではなく撮像対象の物体（被写体）の移動速度に応じて異なる。即ち、撮像ボケの特性は、一般的に被写体の移動速度に依存した形態で表すことができる。
【００８６】
なお、被写体の移動速度とは、実空間において被写体自体が移動してカメラが固定されている場合に、その被写体がカメラで撮影されたときの、フレーム内での被写体（画像）の移動速度を当然ながら含む。さらに、ここで言う被写体の移動速度とは、実空間において被写体が固定されてカメラが手振れ等により移動した場合、または、実空間において被写体とカメラとが共に移動した場合に、その被写体がカメラで撮影されたときの、フレーム内での被写体（画像）の相対的な移動速度も含む。
【００８７】
従って、撮像ボケの特性は、被写体の画像を構成する各画素の移動速度に依存した形態で表すことができる。
【００８８】
画素の移動速度とは、処理対象のフレーム内の画素と、それよりも前のフレーム内の対応する画素（対応点）との間の空間的な距離を指す。例えば、処理対象のフレーム内の画素と、その直前（時間的に１つ前）のフレーム内の対応する画素（対応点）との間の空間的な距離が、ｖ（ｖは、０以上の任意の整数値）画素分である場合、その画素の移動速度とは、ｖ［画素/フレーム］になる。
【００８９】
なお、被写体の移動方向としては実空間上の任意の方向となり得るため、被写体の像のフレーム画像内の移動方向も当然ながら任意の方向となり得る。ただし、以下、説明の簡略上、被写体の像のフレーム画像内の移動方向は水平方向であるとする。即ち、注目画素の移動速度がｖ［画素/フレーム］とは、処理対象のフレームにおける注目画素と、その直前（時間的に１つ前）のフレーム内の対応する画素（対応点）との間の水平方向の空間的な距離がｖ画素分であることを意味している。
【００９０】
この場合、フレームを構成する各画素のうちの、被写体の像の少なくとも一部分を示す画素が注目画素に設定されているとすると、注目画素における撮像ボケの特性は、注目画素の移動速度ｖ［画素/フレーム］の大小に依存した形態で表すことができる。
【００９１】
より具体的には例えば、注目画素の移動速度が２，３，４［画素/フレーム］のそれぞれの場合、注目画素における撮像ボケの周波数特性のそれぞれは、図７の曲線Ｈ２乃至Ｈ４のそれぞれで表すことができる。
【００９２】
即ち、図７は、注目画素の移動速度が２，３，４［画素/フレーム］のそれぞれであるときについての、注目画素における撮像ボケの周波数特性のそれぞれを示している。図７において、横軸は周波数を、縦軸はゲインのそれぞれを示している。ただし、横軸の各値は、ナイキスト周波数が１とされた場合の相対値を示している。
【００９３】
この図７からも明らかなように、撮像ボケの特性とは、注目画素の移動速度（被写体の移動速度）が大きくなっていくほど、高域周波数成分がなくなっていく特性である。換言すると、注目画素の移動速度が小さくなっていくほど、高域周波数成分の残存度合いは大きくなっていく特性が、撮像ボケの特性である。
【００９４】
従って、注目画素の移動速度が小さい場合にも、撮像ボケ有無の判断（撮像ボケを生じていない範囲の抽出）を精度よく行うためには、上述した手法をただ単に適用しただけでは、十分であるといえない。なお、上述した手法とは、入力信号T0に対してHPFをかけた結果得られる信号（図２のHPF部２１の出力信号S1）をそのまま抽出信号S1として利用し、かかる抽出信号S1のレベルを撮像ボケ有無指標値として利用し、かかる撮像ボケ有無指標値と、固定値である閾値THとの関係（図４の関数f1(α)で示される関係）で、撮像ボケ有無の判断を行う手法をいう。
【００９５】
即ち、撮像ボケ有無の判断（撮像ボケを生じていない範囲の抽出）を精度よく行うためには、上述した手法に加えて、さらに、注目画素の移動速度（被写体の移動速度）も考慮した手法を採用する必要がある。かかる注目画素の移動速度を考慮した手法が適用された画像処理装置、即ち、図１とは異なる形態の画像処理装置の機能的構成例が、図８と図１１にそれぞれ示されている。
【００９６】
そこで、以下、はじめに、図８の例の画像処理装置について説明し、その後、図１１の例の画像処理装置について説明する。
【００９７】
なお、図８において、図１と対応する部分（機能ブロックや信号）には対応する符号を付しており、それらの説明については同様の説明となるため、ここでは省略する。
【００９８】
図８の例の画像処理装置では、図１の例の構成に対して、移動ベクトル検出部５１が追加され、また、抽出部１２の代わりに抽出部５２が設けられている。
【００９９】
移動ベクトル検出部５１は、入力信号T0として入力された処理対象のフレームとその前後の幾つかのフレームとから、処理対象のフレームを構成する各画素のそれぞれについて、移動ベクトル（ここでは例えば水平方向の移動ベクトル）を検出する。そして、移動ベクトル検出部５１は、処理対象のフレームを構成する各画素の水平方向の移動ベクトルの大きさ（即ち、各画素の移動速度）からなる信号MV（以下、単にMVと称する）を抽出部５２に提供する。ただし、以下、入力信号T0が注目画素を意味する場合（そのようなものとして説明する場合）、MVとは、注目画素の水平方向の移動速度を意味するとする。
【０１００】
抽出部５２は、例えば図９に示されるように、HPF部６１、ゲイン部６２、および乗算部６３から構成することができる。
【０１０１】
HPF部６１は、入力信号T0（注目画素の元画素値）から高域周波数成分を抽出した信号（注目画素の高域周波数成分値）を生成し、それを出力信号S0として乗算部６３に提供する。即ち、HPF部６１の出力信号S0が、図１の例の画像処理装置に搭載されている抽出部１２から出力される抽出信号S1と等価な信号となる。
【０１０２】
ゲイン部６２は、図１０に示されるような関数f2(α)を保持している。そこで、ゲイン部６２は、移動ベクトル検出部５１（図８）からのMV（注目画素の移動速度）を入力値αとして関数f2(α)に代入し、その出力値f2(MV)を、注目画素のゲインG0として乗算部６３に提供する。
【０１０３】
乗算部６３は、HPF部６１の出力信号S0に対して、ゲイン部６２から提供されるゲインG0を乗算し、その結果得られる信号G0×S0（更新された注目画素の高域周波数成分値）を抽出信号S1として、出力決定部１３に提供する。
【０１０４】
この場合、出力決定部１３は、抽出部５２からの抽出信号S1のレベルを注目画素についての撮像ボケ有無指標値として、その抽出信号S1のレベル（撮像ボケ有無指標値）が図４の範囲Ｌ，Ｍ，Ｈのうちの何れの範囲に属するかを判断する。
【０１０５】
その後、上述したように、出力決定部１３は、範囲Ｈに属すると判断した場合には、注目画素は、撮像ボケを生じていない範囲の画素であるとして、入力信号T0（注目画素の元画素値）をそのまま出力信号T2として出力する。これに対して、出力決定部１３は、範囲Ｌに属すると判断した場合には、注目画素は、撮像ボケを生じている範囲の画素であるとして、補正信号T1（注目画素の補正後画素値）を出力信号T2として出力する。また、範囲Ｍ（グレーゾーン）に属すると判断された場合には、即ち、撮像ボケの有無の正確な判断が困難な場合には、入力信号T0より大きくかつ補正信号T1より小さいレベルの信号が、出力信号T2として出力される。
【０１０６】
このように、注目画素が、撮像ボケを生じている範囲の画素である場合、そのことを出力決定部１３が正確に判断するためには、抽出信号S1のレベルが、範囲Ｌに属していること、即ち、閾値TH以下であることが必要となる。
【０１０７】
しかしながら、上述したように、注目画素の移動速度が低い場合には、撮像ボケの特性は高域周波数成分の残存度合いが高くなっていく特性となり、その結果、撮像ボケを生じている範囲の画素が注目画素であったとしても、HPF部６１の出力信号S0のレベル（注目画素の高域周波数成分値）自体は高くなり、閾値THを超えてしまうときも発生する。このようなときに、図１の例のように、HPF部６１の出力信号S0（図２のHPF部２１の出力信号と同様の信号）そのものを抽出信号S1として出力決定部１３に提供してしまうと、その抽出信号S1のレベルは、閾値THを超えた範囲、即ち、図４の範囲Ｍまたは範囲Ｈに属するようになる。その結果、出力決定部１３は、注目画素が、撮像ボケを生じている範囲の画素であるという正確な判断ができなくなり、入力信号T0（注目画素の元画素値）に対する適切な補正ができなくなる、という問題が発生してしまう。
【０１０８】
そこで、かかる問題を解決すべく、図８の例の画像処理装置では、図１０から明らかなように、MV（注目画素の移動速度）が一定値以下の場合には、その出力値であるゲインG0を１より小さくする関数f2（α）を定義することで、HPF部６１の出力信号S0のレベルよりも低下したレベルを有する信号G0×S0（更新後の注目画素の高域周波数成分値）を生成させ、それを抽出信号S1として出力するようにしている。換言すると、MV（注目画素の移動速度）が一定値以下の場合、撮像ボケを生じている範囲の画素が注目画素であるときには、抽出信号S1のレベルを閾値TH以下まで低下させるべく、MVが小さくなるに従い出力値（ゲインG0）も小さくなっていく特性を有する関数が、関数f2（α）として定義されているのである。
【０１０９】
また、MV（注目画素の移動速度）が一定値を超えている場合には、撮像ボケの特性は高域周波数成分がなくなっていく特性となり、撮像ボケを生じている範囲の画素が注目画素であったときには、HPF部６１の出力信号S0（注目画素の高域周波数成分値）のレベルは十分に低くなる（図４の閾値TH以下となる）。従って、かかる問題はほぼ発生しないので、HPF部６１の出力信号S0をそのまま、抽出部５２の抽出信号S1としても差し支えはない。そこで、図１０から明らかなように、MV（注目画素の移動速度）が一定値を超えている場合、その出力値であるゲインG0を１とする特性を有する関数が、関数f2(α)として定義されているのである。
【０１１０】
以上の抽出部５２の説明内容を、撮像ボケを生じていない範囲の抽出（高域周波数成分の抽出）という観点から換言すると、MV（注目画素の移動速度）が小さいときには、そのMVの小ささに応じてゲインG0も小さくなっていくので（そのような特性を有する図１０の関数f2（α）が採用されているので）、抽出部５２は、本当に振幅の大きい高域周波数成分しか抽出しなくなり、その結果、撮像ボケを生じていない範囲を精度良く抽出することができるようになる。
【０１１１】
以上説明したように、上述した問題、即ち、注目画素の移動速度が低い場合には、注目画素が、撮像ボケを生じている範囲の画素であるのか否かの正確な判断が困難となり、入力信号T0（注目画素の画素値）に対する適切な補正ができなくなるという問題を解決すべく、図８の例では、閾値THは固定したままで、注目画素の移動速度が低い場合にはその移動速度の低さに応じて撮像ボケ有無指標値（図４の抽出信号S1のレベル）も低くするように更新する、といった手法（以下、撮像ボケ有無指標値低減手法と称する）が採用されている。
【０１１２】
ただし、上述した問題を解決するためには、結局、注目画素の移動速度によらず、注目画素が、撮像ボケを生じている範囲の画素である場合には、注目画素についての撮像ボケ有無指標値（図４の抽出信号S1のレベル）を図４の範囲Ｌ内に納めるようにすればよい。従って、かかる問題を解決する手法としては、撮像ボケ有無指標値低減手法とは逆の思想、即ち、閾値THの方を可変するという思想に基づく次のような手法を採用してもよい。即ち、注目画素についての撮像ボケ有無指標値（図４の抽出信号S1のレベル）自体は図１の例と同様のもの、即ち、図２のHPF部２１の出力信号（図９でいう信号S0）のレベルを利用し、その代わりに、注目画素の移動速度が低い場合にはその移動速度の低さに応じて閾値THを高くしていく、といった手法（以下、閾値可変手法と称する）を採用してもよい。
【０１１３】
かかる閾値可変手法が適用された画像処理装置の機能的構成例が図１１に示されている。即ち、上述したように、図８と図１１の例の画像処理装置はともに、注目画素の移動速度（被写体の移動速度）をさらに考慮することで撮像ボケ有無の判断（撮像ボケを生じていない範囲の抽出）を精度よく行うことが可能となった画像処理装置の一例である。ただし、このことを実現するために、図８の例では、撮像ボケ有無指標値低減手法が適用されていたのに対して、図１１の例では、閾値可変手法が適用されている。
【０１１４】
なお、図１１において、図１または図８と対応する部分（機能ブロックや信号）には対応する符号を付しており、それらの説明については同様の説明となるため、ここでは省略する。
【０１１５】
図１１の例の画像処理装置では、図８の例の構成に対して、抽出部５２の代わりに抽出部１２が設けられ、また、出力決定部１３の代わりに出力決定部８１が設けられている。
【０１１６】
換言すると、図１１の例の画像処理装置では、図１の例の構成に対して、移動ベクトル検出部５１が追加され、また、出力決定部１３の代わりに出力決定部８１が設けられている。即ち、図１１の例の画像処理装置には、閾値可変手法が適用されている故（抽出信号S1として、入力信号T0に対してHPFがかけられた信号そのものを利用するが故）、図１の例と同様の抽出部１２が設けられているのである。
【０１１７】
出力決定部８１は、例えば図１２のように構成することができる。即ち、図１２は、出力決定部８１の詳細な構成例を示す機能ブロック図である。
【０１１８】
なお、図１２において、図３と対応する部分（機能ブロックや信号）には対応する符号を付しており、それらの説明については同様の説明となるため、ここでは省略する。
【０１１９】
また、図１２の例の出力決定部８１も、図３の例の出力決定部１３と同様に、画素単位で処理を実行するとする。即ち、出力決定部８１の説明においては、入力信号T0とは、注目画素の画素値を意味するとする。
【０１２０】
図１２の例の出力決定部８１では、図３の例の出力決定部１３の構成に対して、閾値決定部３５の代わりに閾値決定部９１が設けられている。
【０１２１】
即ち、図３の例の閾値決定部３５は、注目画素の移動速度(MV)とは無関係に閾値THを予め決定し、それを固定値としてゲイン部３４に提供していた。即ち、図３の例では、ゲイン部３４は、図４の関数f1(α)として、閾値THが固定である関数を利用してゲインG1を決定して、それを乗算部３２に提供していた。
【０１２２】
これに対して、図１２の例の閾値決定部９１は、移動ベクトル検出部５１（図１１）からのMV（注目画素の移動速度）が提供される毎に、そのMVに応じて閾値THを逐次決定し（各画素毎に閾値THを更新し）、それをゲイン部３４に逐次提供している。
【０１２３】
具体的には例えば、閾値決定部９１は、図１３に示されるような関数f3(α)を保持している。そこで、閾値決定部９１は、移動ベクトル検出部５１（図１１）からのMV（注目画素の移動速度）を入力値αとして関数f3(α)に代入し、その出力値f3(MV)を閾値THとしてゲイン部３４に提供する。
【０１２４】
即ち、図１２の例では、ゲイン部３４は、図４の関数f1(α)として閾値THが可変の関数を利用しており、閾値THを、閾値決定部９１から各画素毎に提供された各値に逐次更新し、関数f1(α)の特性を、更新後の閾値THに応じた特性に各画素毎に逐次更新し、特性更新後の関数f1（α）を利用してゲインG1を各画素毎に逐次決定して、それを乗算部３２に各画素毎に逐次提供する。
【０１２５】
以上説明したように、図１１の例の画像処理装置においては、図１３から明らかなように、MV（注目画素の移動速度）が一定値以下の場合には、その出力値である閾値THを、MVが低くなるに従い高くしていく特性を有する関数が、関数f3（α）として定義されている。これにより、MV（注目画素の移動速度）が一定値以下の場合には、MVが低くなるに従い図４の範囲Ｌが広がっていく（図４中右方向に伸びていく）ので、撮像ボケを生じている範囲の画素が注目画素であるときには、抽出信号S1のレベルが、MVの低さによらず範囲Ｌ内に属するようになる。従って、図１２のゲイン部３４からは、ゲインG0として１が正確に出力され、その結果、注目画素の元画素値（入力信号T0）に対して、正しい補正量（補正加算用信号D1と同一レベルの信号D2）の加算、即ち、注目画素についての適切な補正が可能になる。
【０１２６】
以上の内容をまとめると、撮像ボケの特質として、物体の移動量（被写体の移動速度）が大きいほど高域周波数成分がなくなる一方、逆に物体の移動量が小さいほど高域周波数成分は残るという特質がある。従って、かかる特質を考慮せずに、映像の周波数成分を解析して映像信号から撮像ボケの無いところを抽出しようとしても、正確に抽出することは一般的に困難である。そこで、図８の例の画像処理装置では、物体の移動量に応じて高域周波数成分を加工したり（例えば図９のHPF部６１の出力信号S0に対して、ゲイン部６２からのゲインG0を乗算したり）、図１１の例の画像処理装置では、抽出範囲を変化させる（例えば図１２の閾値決定部９１により、図４の閾値THを変化させる）ようにした。その結果、図８と図１１の何れの例の画像処理装置も、図１の例と比較してさらに精度良く、撮像ボケの無いところを抽出できるようになった。
【０１２７】
ところで、上述した一連の処理（或いはそのうちの一部分の処理）は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。
【０１２８】
この場合、図１、図８、または図１１の画像処理装置全体若しくはその一部分は、例えば、図１４に示されるようなコンピュータで構成することができる。
【０１２９】
図１４において、CPU（Central Processing Unit）１０１は、ROM（Read Only Memory）１０２に記録されているプログラム、または記憶部１０８からRAM（Random Access Memory）１０３にロードされたプログラムに従って各種の処理を実行する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１３０】
CPU１０１、ROM１０２、およびRAM１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インタフェース１０５も接続されている。
【０１３１】
入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、ディスプレイなどよりなる出力部１０７、ハードディスクなどより構成される記憶部１０８、および、モデム、ターミナルアダプタなどより構成される通信部１０９が接続されている。通信部１０９は、インターネットを含むネットワークを介して他の装置との通信処理を行う。
【０１３２】
入出力インタフェース１０５にはまた、必要に応じてドライブ１１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア１１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１０８にインストールされる。
【０１３３】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１３４】
このようなプログラムを含む記録媒体は、図１４に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア（パッケージメディア）１１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１０２や、記憶部１０８に含まれるハードディスクなどで構成される。
【０１３５】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１３６】
また、上述したように、本明細書において、システムとは、複数の処理装置や処理部により構成される装置全体を表すものである。
【０１３７】
また、上述した例では、説明の簡略上、被写体のフレーム内の移動方向は水平方向としたが、当然ながらそれ以外の方向ともなり得る。このような場合、即ち、被写体のフレーム内の移動方向が水平方向以外でも、画像処理装置は、かかる方向の移動速度を示す移動ベクトルを用いることで、上述した各種処理と基本的に同様の処理を実行できる。
【図面の簡単な説明】
【０１３８】
【図１】本発明が適用される画像処理装置の機能的構成例を示すブロック図である。
【図２】図１の抽出部の詳細な機能的構成例を示すブロック図である。
【図３】図１の出力決定部の詳細な機能的構成例を示すブロック図である。
【図４】図３のゲイン部が保持する関数の特性例を示すブロック図である。
【図５】図１の画像処理装置が実行する画像処理の一例を説明するフローチャートである。
【図６】図５の画像処理を別の視点から捉えた処理として説明するフローチャートである。
【図７】被写体の３つの移動速度における撮像ボケの各特性例を示す図である。
【図８】本発明が適用される画像処理装置の機能的構成例であって、図１とは異なる例を示すブロック図である。
【図９】図８の抽出部の詳細な機能的構成例を示すブロック図である。
【図１０】図９のゲイン部が保持する関数の特性例を示すブロック図である。
【図１１】本発明が適用される画像処理装置の機能的構成例であって、図１や図８とは異なる例を示すブロック図である。
【図１２】図１１の出力決定部の詳細な機能的構成例を示すブロック図である。
【図１３】図１２の閾値決定部が保持する関数の特性例を示すブロック図である。
【図１４】本発明が適用される画像処理装置の全部または一部分のハードウエア構成の一例を示すブロック図である。
【符号の説明】
【０１３９】
１１  補正部，  １２  抽出部，  １３  出力決定部，  ２１  HPF部，  ３１  加算部，  ３２  乗算部，  ３３  加算部，  ３４  ゲイン部，  ３５  閾値決定部，  ５１  移動ベクトル検出部,  ６１  ＨＰＦ部,  ６２  ゲイン部，  ６３  乗算部，  ８１  出力決定部，  ９１  閾値決定部，  １０１  ＣＰＵ，  １０２  ＲＯＭ，  １０３  ＲＡＭ，  １０８  記憶部，  １１１  リムーバブル記録媒体
【図１】
2007249850.tif 000003
【図２】
2007249850.tif 000004
【図３】
2007249850.tif 000005
【図４】
2007249850.tif 000006
【図５】
2007249850.tif 000007
【図６】
2007249850.tif 000008
【図７】
2007249850.tif 000009
【図８】
2007249850.tif 000010
【図９】
2007249850.tif 000011
【図１０】
2007249850.tif 000012
【図１１】
2007249850.tif 000013
【図１２】
2007249850.tif 000014
【図１３】
2007249850.tif 000015
【図１４】
2007249850.tif 000016