(57)【要約】【課題】入力された映像信号に含まれる動きぼやけ幅を低減し、動画の画質を向上させる。【解決手段】第１の映像信号における動きベクトルを検出する動きベクトル検出部（５）で検出された動きベクトルを用い、第１の映像信号（Ｄ２）における動きぼやけを軽減する画像補正部（６）を備える。動きベクトル（Ｖ）に基づいて、動きぼやけの方向及び大きさを推定し（３２）、推定された動きぼやけの方向及び大きさに対応したフィルタ係数を用いて第１の映像信号（Ｄ２）に対するフィルタリングを行うフィルタリング部（１０）と、フィルタリングの結果（ＦＬ１（ｉ，ｊ））に基づいて、利得（ＧＡＩＮ）を求める利得計算部（１２）と、求められた利得（ＧＡＩＮ）を、第１の映像信号（Ｄ２（ｉ，ｊ））に乗算することで、補正を行う（１３）。【選択図】図１
2012032739.tif 000002
【特許請求の範囲】
【請求項１】
第１の映像信号と、前記第１の映像信号に対し１フレーム以上遅延あるいは先行している映像信号とに基づいて、前記第１の映像信号における動きベクトルを検出する動きベクトル検出部と、
前記動きベクトル検出部で検出された動きベクトルを用い、前記第１の映像信号における動きぼやけを軽減する画像補正部と
を備える画像処理装置。
【請求項２】
前記画像補正部が、
前記動きベクトルに基づいて、動きぼやけの方向及び大きさを推定する動きぼやけ推定部と、
前記推定された動きぼやけの方向及び大きさに対応したフィルタ係数を用いて前記第１の映像信号に対するフィルタリングを行うフィルタリング部と、
前記フィルタリング部におけるフィルタリングの結果に基づいて、利得を求める利得計算部と、
前記利得計算部で算出された前記利得を、前記第１の映像信号に乗算することで、前記第１の映像信号に対する補正を行う補正処理部と
を備えたことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像補正部が、
複数の動きぼやけの方向及び大きさの組合せに対応付けてフィルタ係数が保存されたフィルタ係数保存部をさらに有し、
前記動きぼやけ推定部が、前記フィルタ係数保存部に保存されたフィルタ係数の中から、前記推定された動きぼやけの方向及び大きさに対応したフィルタ係数を選択し、
前記フィルタリング部が、前記選択されたフィルタ係数を用いてフィルタリングを行う
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記フィルタリング部は、
注目画素の画素値と、その周辺領域内の画素の各々の画素値の差の絶対値が所定の閾値を超えないように前記周辺領域内の画素の各々の画素値に対するクリッピング処理をすることで得られた画素値を用いて、ローパスフィルタリングを行う
ことを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記フィルタ係数の値が、ゼロ以外の値となる領域は、動きぼやけの方向に延在した帯状の領域であり、該領域の長さは、動きぼやけの大きさに応じたものであることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記画像補正部が、
注目画素の周辺における画素値の変化の度合いに応じて、前記画素値に対する補正の度合いを調整する補正強度調整部を
備えた請求項１から５のいずれかに記載の画像処理装置。
【請求項７】
前記画素値の変化の度合いが、前記注目画素の画素値と、その周辺領域内の画素の画素値の平均値との差で表される
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
補正強度パラメータを受け、
注目画素の周辺における画素値の変化の度合いに応じて補正強度パラメータの値を調整する補正強度調整部をさらに有し、
前記利得計算部は、前記フィルタリングの結果のみならず、前記調整された補正強度パラメータにも基づいて、前記利得を求める
ことを特徴とする請求項２又は３に記載の画像処理装置。
【請求項９】
前記注目画素の画素値をＤ２（ｉ，ｊ）、
前記注目画素についての前記フィルタリング部におけるフィルタリングの結果をＦＬ１（ｉ，ｊ）、
前記注目画素についての前記調整された補正強度パラメータをＢＳＴ１（ｉ，ｊ）で表すとき、
前記利得をＧＡＩＮ（ｉ，ｊ）で表すとき、
前記利得計算部は、
ＧＡＩＮ（ｉ，ｊ）
＝１＋ＢＳＴ１（ｉ，ｊ）−ＢＳＴ１（ｉ，ｊ）＊ＦＬ１（ｉ，ｊ）／Ｄ２（ｉ，ｊ）
で表される演算により前記利得を求める
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記補正強度調整部は、画像が平坦であるときは、前記補正強度パラメータがより小さな値となるように調整を行う
ことを特徴とする請求項８又は９に記載の画像処理装置。
【請求項１１】
前記画像補正部は、
前記第１の映像信号に対して補正処理を行う補正処理部をさらに有し、
前記補正処理部は、
動きぼやけを軽減する補正処理が過補正になることを避けるためのクリッピング処理を行なう
ことを特徴とする請求項２に記載の画像処理装置。
【請求項１２】
前記補正処理部は、
前記利得計算部で算出された前記利得と注目画素の画素値の積と前記注目画素の画素値との差の絶対値が所定の閾値を超えないときは、
該積を補正後の画素値として出力し、
前記利得と注目画素の画素値の積と前記注目画素の画素値との差の絶対値が前記閾値を超えるときは、
前記注目画素の画素値に前記閾値を加算又は減算した値を補正後の画素の画素値として出力する
ことを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
請求項１から１２のいずれかの画像処理装置と、前記画像処理装置で生成された画像を表示する画像表示部とを備えた画像表示装置。
【請求項１４】
第１の映像信号と、前記第１の映像信号に対し１フレーム以上遅延あるいは先行している映像信号とに基づいて、前記第１の映像信号における動きベクトルを検出する動きベクトル検出ステップと、
前記動きベクトル検出ステップで検出された動きベクトルを用い、前記第１の映像信号における動きぼやけを軽減する画像補正ステップと
を備える画像処理方法。
【請求項１５】
前記画像補正ステップが、
前記動きベクトルに基づいて、動きぼやけの方向及び大きさを推定する動きぼやけ推定ステップと、
前記推定された動きぼやけの方向及び大きさに対応したフィルタ係数を用いて前記第１の映像信号に対するフィルタリングを行うフィルタリングステップと、
前記フィルタリングステップにおけるフィルタリングの結果に基づいて、利得を求める利得計算ステップと、
前記利得計算ステップで算出された前記利得を、前記第１の映像信号に乗算することで、前記第１の映像信号に対する補正を行う補正処理ステップと
を備えたことを特徴とする請求項１４に記載の画像処理方法。
【請求項１６】
複数の動きぼやけの方向及び大きさの組合せに対応付けてフィルタ係数がフィルタ係数保存部に予め保存されており、
前記動きぼやけ推定ステップが、前記フィルタ係数保存部に保存されたフィルタ係数の中から、前記推定された動きぼやけの方向及び大きさに対応したフィルタ係数を選択し、
前記フィルタリングステップが、前記選択されたフィルタ係数を用いてフィルタリングを行う
ことを特徴とする請求項１５に記載の画像処理方法。
【請求項１７】
前記フィルタリングステップは、
注目画素の画素値と、その周辺領域内の画素の各々の画素値の差の絶対値が所定の閾値を超えないように前記周辺領域内の画素の各々の画素値に対するクリッピング処理をすることで得られた画素値を用いて、ローパスフィルタリングを行う
ことを特徴とする請求項１５又は１６に記載の画像処理方法。
【請求項１８】
前記フィルタ係数の値が、ゼロ以外の値となる領域は、動きぼやけの方向に延在した帯状の領域であり、該領域の長さは、動きぼやけの大きさに応じたものであることを特徴とする請求項１７に記載の画像処理方法。
【請求項１９】
前記画像補正ステップが、
注目画素の周辺における画素値の変化の度合いに応じて、前記画素値に対する補正の度合いを調整する補正強度調整ステップを
備えた請求項１４から１８のいずれかに記載の画像処理方法。
【請求項２０】
前記画素値の変化の度合いが、前記注目画素の画素値と、その周辺領域内の画素の画素値の平均値との差で表される
ことを特徴とする請求項１９に記載の画像処理方法。
【請求項２１】
補正強度パラメータを受け、
注目画素の周辺における画素値の変化の度合いに応じて補正強度パラメータの値を調整する補正強度調整ステップをさらに有し、
前記利得計算ステップは、前記フィルタリングの結果のみならず、前記調整された補正強度パラメータにも基づいて、前記利得を求める
ことを特徴とする請求項１５又は１６に記載の画像処理方法。
【請求項２２】
前記注目画素の画素値をＤ２（ｉ，ｊ）、
前記注目画素についての前記フィルタリング部におけるフィルタリングの結果をＦＬ１（ｉ，ｊ）、
前記注目画素についての前記調整された補正強度パラメータをＢＳＴ１（ｉ，ｊ）で表すとき、
前記利得をＧＡＩＮ（ｉ，ｊ）で表すとき、
前記利得計算ステップは、
ＧＡＩＮ（ｉ，ｊ）
＝１＋ＢＳＴ１（ｉ，ｊ）−ＢＳＴ１（ｉ，ｊ）＊ＦＬ１（ｉ，ｊ）／Ｄ２（ｉ，ｊ）
で表される演算により前記利得を求める
ことを特徴とする請求項２１に記載の画像処理方法。
【請求項２３】
前記補正強度調整ステップは、画像が平坦であるときは、前記補正強度パラメータがより小さな値となるように調整を行う
ことを特徴とする請求項２１又は２２に記載の画像処理方法。
【請求項２４】
前記画像補正ステップは、
前記第１の映像信号に対して補正処理を行う補正処理ステップをさらに有し、
前記補正処理ステップは、
動きぼやけを軽減する補正処理が過補正になることを避けるためのクリッピング処理を行なう
ことを特徴とする請求項１５に記載の画像処理方法。
【請求項２５】
前記補正処理ステップは、
前記利得計算ステップで算出された前記利得と注目画素の画素値の積と前記注目画素の画素値との差の絶対値が所定の閾値を超えないときは、
該積を補正後の画素値として出力し、
前記利得と注目画素の画素値の積と前記注目画素の画素値との差の絶対値が前記閾値を超えるときは、
前記注目画素の画素値に前記閾値を加算又は減算した値を補正後の画素の画素値として出力する
ことを特徴とする請求項２４に記載の画像処理方法。
【請求項２６】
請求項１４から２５のいずれかの画像処理方法と、前記画像処理方法で生成された画像を表示する画像表示ステップとを備えた画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の動きぼやけ補正処理を行う画像処理装置及び方法、並びに画像表示装置に関する。
【背景技術】
【０００２】
映像表示用のディスプレイは、従来のＣＲＴから液晶ディスプレイやプラズマディスプレイといった薄型ディスプレイへの置き換えが急速に進んでいる。特に液晶ディスプレイが開発された当初は、動画表示性能がＣＲＴに比べて大きく劣ることが問題視されていた。これは液晶の応答速度が遅かったことに加え、ホールド型表示であることに起因する動画ぼやけの影響が大きかった。
【０００３】
近年の技術の進歩により、例えば液晶の応答速度が遅い問題は、液晶材料の改良や、オーバードライブ技術の開発により大きく改善された。また、ホールド型表示に起因する問題に関しても、表示するフレーム間に黒画像を表示する方法や、画像補間技術を用いて、新たにサブフレームを生成する方法等が提案されてきている。このように薄型ディスプレイの動画表示性能の改善が進む中、表示装置が受信する映像に含まれる動画のぼやけを改善したいという要求が強まっている。
【０００４】
表示装置が受信する映像信号は、カメラの受光部がフレーム蓄積時間（例えば１／６０秒）の間に被写体から受ける受光総量を量子化し、規格によって決められた画素順に並べて送られてくるものである。カメラの受光部と被写体が相対的に動く場合、被写体の輪郭部にはフレーム蓄積時間と、カメラと被写体の相対速度によって決まるぼやけ（以下では動きぼやけとする）が発生する。
【０００５】
画像に含まれるぼやけを改善する方法として、例えば特許文献１に開示されているように、映像信号の時間軸の拡大縮小回路を用い、映像信号の変化が激しい箇所では、映像信号の変化が緩やかな箇所よりも、映像信号の変化が激しい箇所で、時間軸をより短くなるように拡大縮小を制御する方法が知られている。この方法は、オーバーシュートやアンダーシュートを付加することなく、フィルタリング技術を用いて映像の輪郭部の立ち上がり、立下りを急峻にできるため、撮像時の焦点ずれ等による、等方的な、ぼやけ幅の狭いぼやけに対しては効果的であると予想される。しかし動きぼやけは、焦点ずれ等で発生する画像のぼやけとは異なり、カメラと被写体の相対速度によりぼやけの幅が大きく変動する上に、ぼやけの発生する方向が、非等方的（カメラと被写体の速度ベクトル方向のみ）であるため、上記の従来技術を適用することが困難であった。
【０００６】
また、特許文献２には、動きベクトル検出を用いた、ぼやけ関数のデコンボリューションによる手法が開示されている。この手法は、画像に数学的モデルを当てはめ、数学的モデルに含まれるぼやけ関数の逆関数でフィルタリングする手法である。しかしながら、画像の上端、下端、左端、右端における映像信号は、数学的モデルとはかけ離れたものとして得られるため、空間領域および周波数領域どちらでデコンボリューションを実行しても、補正画像の品質は悪くなってしまう。また、動きベクトルから得られたぼやけ関数と実際の動きによるぼやけ関数とでは誤差が大きく、補正画像の品質が低下する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００２−１６８２０号公報
【特許文献２】特許第３２５１１２７号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００８】
映像信号に含まれる動きぼやけは、焦点ずれ等で発生する等方的ぼやけとは異なり、ぼやけの幅が広いものから狭いものまである上に、ぼやけの発生する方向が、非等方的であるため、フィルタリング技術を用いて画面一様に周波数変換する方法では、適切な効果が得られない場合があった。
【０００９】
また、ぼやけ幅の広い動きぼやけを補正できるように、フィルタの最適化を行なった場合、ランプ画像等に見られる、輝度変化率の低い輪郭を有する画像に対してもフィルタリングを行なってしまい、本来表示したい画像と異なる画像に誤変換してしまう恐れがあった。
【００１０】
本発明は上記の課題に鑑みてなされたものであり、映像信号に含まれる動きぼやけを検出し、また検出された動きぼやけを低減することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係る画像表示装置は、
第１の映像信号と、前記第１の映像信号に対し１フレーム以上遅延あるいは先行している映像信号とに基づいて、前記第１の映像信号における動きベクトルを検出する動きベクトル検出部と、
前記動きベクトル検出部で検出された動きベクトルを用い、前記第１の映像信号における動きぼやけを軽減する画像補正部と
を備えることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、入力された映像信号に含まれる動きぼやけ部を検出し、動きぼやけ部のみを適応的に補正することによって、入力された映像信号に含まれる動きぼやけ幅を低減し、動画の画質を向上させることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態１に係る画像表示装置を示すブロック図である。
【図２】図１の画像遅延部４の構成例を示すブロック図である。
【図３】図１の動きベクトル検出部５の構成例を示すブロック図である。
【図４】（ａ）及び（ｂ）は、連続した２フレームの映像信号において、動きベクトルの探索範囲の一例を示す図である。
【図５】図１の画像補正部６の構成例を示すブロック図である。
【図６】フレーム期間と撮像期間の関係を示す図である。
【図７】動きぼやけに対する有効フィルタリング領域ＥＦＡの一例を示す図である。
【図８】動きぼやけに対する有効フィルタリング領域ＥＦＡの他の例を示す図である。
【図９】動きぼやけに対する有効フィルタリング領域ＥＦＡの他の例を示す図である。
【図１０】画素値と平均値の差と、調整後の補正強度パラメータとの関係の一例を示す図である。
【図１１】（ａ）〜（ｅ）は、図１の遅延部４の動作を説明するタイムチャートである。
【図１２】動きベクトルの各成分を示す図である。
【図１３】（ａ）及び（ｂ）は、２枚のフレームにおける動きベクトルと動きぼやけの一例を示す図である。
【図１４】（ａ）及び（ｂ）は、２枚のフレームにおける動きベクトルと動きぼやけの他の例を示す図である。
【図１５】動きベクトルの方向および大きさと、フィルタ係数テーブルへのポインタ（ＩＮＤ）の一例を示す図である。
【図１６】閾値による非線形処理を示すグラフである。
【図１７】本発明の実施の形態２における画像補正部６の構成例を示すブロック図である。
【発明を実施するための形態】
【００１４】
実施の形態１．
図１は、本発明に係る画像処理装置を備えた画像表示装置の構成を示すブロック図である。図示の画像表示装置１は、画像処理装置２と、画像表示部３とを備え、
画像処理装置２は、画像遅延部４と、動きベクトル検出部５と、画像補正部６とを備える。
画像処理装置２は、入力された映像信号Ｄ０を受けて、動きぼやけ補正処理を行うものである。映像信号Ｄ０は、画像を構成する複数の画素の画素値を表す信号の列から成り、画像処理装置２は、複数の画素を順に補正対象画素（注目画素）としてぼやけ処理を行い、補正処理後の映像信号Ｅ（補正された画素値を持つ信号の列から成る）を出力する。
【００１５】
画像処理装置２に入力された映像信号Ｄ０は、画像遅延部４に供給される。画像遅延部４はフレームメモリを用いて、入力された信号のフレーム遅延を行い、２枚の互いに異なるフレームの映像信号Ｄ２、Ｄ１を動きベクトル検出部５に出力する。
【００１６】
動きベクトル検出部５は、画像遅延部４から出力された２枚の異なるフレームの映像信号Ｄ２、Ｄ１を用い、映像信号Ｄ２に含まれる動きベクトルＶを検出し、動きベクトルＶを画像補正部６に出力する。
【００１７】
画像補正部６は、動きベクトル検出部５から出力された動きベクトルＶを入力とし、画像遅延部４から出力された映像信号Ｄ１において被写体の動きやカメラの動きにより劣化が生じた映像の動きぼやけを補正し、補正された映像信号Ｅを出力し、画像表示部３は補正された映像信号Ｅに基づく画像の表示を行なう。ここで、ユーザが調整パラメータＰＲを入力することにより、補正の度合いの調整や、補正画質の調整を可能とする。
【００１８】
以下の説明では、画像サイズを垂直方向Ｍ画素、水平方向Ｎ画素とする。このとき、変数ｉとｊをそれぞれ１≦ｉ≦Ｍ、１≦ｊ≦Ｎと定義して、画素の位置を示す座標を（ｉ，ｊ）で示し、当該座標で表される位置の画素をＰ（ｉ，ｊ）で表す。即ち、変数ｉは垂直方向位置、変数ｊは水平方向位置を表す。画像の左上隅の画素の位置においては、ｉ＝１、ｊ＝１であり、下方に１画素ピッチ進むごとにｉが１ずつ増加し、右方に１画素ピッチ進むごとにｊが１ずつ増加する。
【００１９】
図２は、画像遅延部４の構成例を示す。図示の画像遅延部４は、フレームメモリ１１と、フレームメモリ制御部１２とを備えている。フレームメモリ１１は入力された映像信号を少なくとも１フレーム分記憶可能な容量を有している。
【００２０】
フレームメモリ制御部１２は、入力された映像信号Ｄ０に含まれる同期信号を元に生成したメモリアドレスに従い、入力映像信号の書込みと、蓄積された映像信号の読み出しとを行い、連続する２フレームの映像信号Ｄ１、Ｄ２を生成する。
映像信号Ｄ１は、入力映像信号Ｄ０に対して遅延が無いものであり、現フレーム映像信号とも呼ばれる。
映像信号Ｄ２は、映像信号Ｄ１に対して１フレーム遅延したものであり、１フレーム遅延映像信号とも呼ばれる。
【００２１】
また、以下に説明するように、映像信号Ｄ２を対象として処理を行うので、映像信号Ｄ２を注目フレーム映像信号と呼び、映像信号Ｄ１を後フレーム映像信号と呼ぶこともある。映像信号Ｄ１、Ｄ２は、上記のように、画像を構成する複数の画素の信号の列から成り、座標（ｉ，ｊ）の位置にある画素Ｐ（ｉ，ｊ）の画素値はＤ１（ｉ，ｊ）、Ｄ２（ｉ，ｊ）と表される。
【００２２】
図３は動きベクトル検出部５の構成例を示す。図示の動きベクトル検出部５は、注目フレームブロック切り出し部２１と、後フレームブロック切り出し部２２と、動きベクトル決定部２３を備える。注目フレームブロック切り出し部２１は、画像遅延部４から出力される注目フレーム映像信号Ｄ２から、図４（ａ）に示されるように、注目画素Ｐ（ｉ，ｊ）の周辺領域、例えば注目画素を中心とし、高さ（垂直方向サイズ）が（２＊ＢＭ＋１）、幅（水平方向サイズ）が（２＊ＢＮ＋１）の矩形領域（ブロック）Ｄ２Ｂ（ｉ，ｊ）を切り出し、当該矩形領域Ｄ２Ｂが、後フレーム映像信号Ｄ１のどの領域に動いたかを推定し、推定された領域Ｄ１Ｂの、矩形領域Ｄ２Ｂ（ｉ，ｊ）に対する相対位置を、注目画素Ｐ（ｉ、ｊ）についての動きベクトルＶ（他の画素についての動きベクトルとの区別のため「Ｖ（ｉ，ｊ）と表すこともある）として出力する。
【００２３】
後フレームブロック切り出し部２２は、画像遅延部４より入力される映像信号Ｄ１に対し、前記注目画素Ｐ（ｉ、ｊ）毎に定義される座標の集合、
Ｓ（ｉ，ｊ）＝｛（ｉ＋ｋ，ｊ＋ｌ）｝      （１）
ただし、−ＳＶ≦ｋ≦ＳＶ、−ＳＨ≦ｌ≦ＳＨ
また、ＳＶ、ＳＨは所定の値である。
【００２４】
に含まれる位置（ｉ＋ｋ，ｊ＋ｌ）を中心として、矩形領域Ｄ２Ｂと同じサイズの矩形領域Ｄ１Ｂ（ｉ＋ｋ，ｊ＋ｌ）を切り出す（図４（ｂ））。ここで、Ｓ（ｉ，ｊ）は、注目画素Ｐ（ｉ、ｊ）についての動きベクトルの探索範囲とも呼ばれる。このように定義される探索範囲は、横方向が２Ｈ＋１、縦方向が２Ｖ＋１の矩形の領域である。
【００２５】
動きベクトル決定部２３は、注目フレームブロック切り出し部２１から入力される矩形領域Ｄ２Ｂ（ｉ,ｊ）と、後フレームブロック切り出し部２２から入力されるブロックＤ１Ｂ（ｉ＋ｋ，ｊ＋ｌ）との間で、それぞれのブロック内のすべての画素、即ち（２＊ＢＭ＋１）＊（２＊ＢＮ＋１）個の、互いに対応する位置の画素同士の差分の絶対値の総和（差分絶対値和）ＳＡＤ（ｉ＋ｋ,ｊ＋ｌ）を求める。該差分絶対値和ＳＡＤ（ｉ＋ｋ,ｊ＋ｌ）は下記の式（２）で表される。
【００２６】
【数１】
2012032739.tif 000003
【００２７】
後述のように、（２＊ＳＶ＋１）＊（２＊ＳＨ＋１）個の矩形領域Ｄ１Ｂ（ｉ＋ｋ，ｊ＋ｌ）に対応して（２＊ＳＶ＋１）＊（２＊ＳＨ＋１）個の差分絶対値和ＳＡＤ（ｉ＋ｋ,ｊ＋ｌ）が得られ、その中で値が最小となるものを生じさせた矩形領域Ｄ１Ｂ（ｉ＋ｋｍ，ｊ＋ｌｍ）を特定し、該矩形領域の、矩形領域Ｄ２Ｂに対する相対位置（ｋｍ，ｌｍ）を動きベクトルＶ＝（Ｖｙ，Ｖｘ）＝（ｋｍ，ｌｍ）として、画像補正部６へ出力する。
【００２８】
上記のような動きベクトル検出を、画像遅延部４から出力される映像信号Ｄ２の全画素に対して行い、各画素について動きベクトルを検出し、このようにして得られた動きベクトルを動きぼやけの軽減に利用する。
【００２９】
なお、動きベクトル検出部５における動きベクトル検出に当たり、画像の上端、下端、左端、右端の外側の画素が、上記の矩形領域Ｄ２Ｂ、Ｄ１Ｂの一部となり、それらの画素値が必要とされる場合は、例えば、上端、下端、左端、右端の外側の画素が、それぞれ上端、下端、左端、右端の画素と同じ値を持つものとして処理をすれば良い。後述のフィルタリング部３４、平均値算出部３７などにおける演算においても同様である。
【００３０】
また、本発明における動きベクトル検出部５の処理方法は、上記方法に限定されるものでは無く、注目フレーム映像信号、後フレーム映像信号のほかに、注目フレーム映像信号より１フレーム前の映像信号をも用いる手法や、後フレーム映像信号を用いずに、注目フレーム映像信号と、注目フレーム映像信号より１フレーム前の映像信号をも用いる手法や、注目フレーム映像信号と後フレーム映像信号とを用い、位相相関関数を用いて求める手法などを採用しても良い。
【００３１】
図５は、画像補正部６の構成例を示す。図示の画像補正部６は、補正処理部３０と、操作信号処理部３１と、動きぼやけ推定部３２と、フィルタ係数保存部３３と、フィルタリング部３４と、平均値算出部３７と、補正強度調整部３８と、利得計算部３９とを備える。
【００３２】
補正処理部３０は、映像信号Ｄ２を受け、後述の利得ＧＡＩＮにより、画素毎に補正処理を行い、補正後の映像信号Ｅを画像表示部３へ出力する。
【００３３】
操作信号処理部３１は、ユーザより図示しないインターフェースを用いて入力された信号ＰＲを解析し、解析結果として得られたパラメータを出力する。
操作信号処理部３１から出力されるパラメータには、調整パラメータＡＤＪ、補正強度パラメータＢＳＴ０、閾値ＴＨ１、ＴＨ２、ＴＨ３が含まれる。
【００３４】
調整パラメータＡＤＪは、動きベクトルから動きぼやけ量を算出するためのものであり、動きぼやけ推定部３２へ供給される。
閾値ＴＨ１は、フィルタリング部３４の特性を調整するためのものであり、フィルタリング部３４へ供給される。
補正強度パラメータＢＳＴ０は、補正強度を決定するものであり、閾値ＴＨ２は、画像の特徴の判別に用いられるものであり、これらは補正強度調整部３８へ供給される。
【００３５】
動きぼやけ推定部３２は、動きベクトル検出部５で検出した動きベクトルＶ（垂直方向成分Ｖｙ(＝ｋｍ)，水平方向成分Ｖｘ(＝ｌｍ)）を入力とし、該動きベクトルを極座標で表したときの成分（大きさ及び角度）を算出する。具体的には、動きベクトルの向きが水平方向右向きとなる場合を０度として、動きベクトルの方向Ａ（度）と大きさＬＭ（画素）を次式にて算出する。
【００３６】
【数２】
2012032739.tif 000004
【００３７】
動きぼやけ推定部３２ではさらに、動きベクトルに対応する角度及び動きぼやけの大きさ（動きの方向のぼやけ幅）を求める。例えば、動きぼやけの角度は、動きベクトルの角度Ａと同じとし、一方、動きぼやけの大きさＬＢは、動きベクトルの大きさＬＭに調整パラメータＡＤＪ（０＜ＡＤＪ≦１）を乗算した値に等しいとし、下記の式（５）により、動きぼやけの大きさＬＢを求める。
ＬＢ＝ＬＭ＊ＡＤＪ      （５）
【００３８】
調整パラメータＡＤＪは、図６に示すように、フレーム期間の長さＴｆに対する、撮像期間の長さＴｓ、例えば電荷蓄積時間の比（Ｔｓ／Ｔｆ）に相当する値を持つものであり、各フレームにおける実際の撮像期間の長さＴｓに応じて変更しても良いが、本発明が対象としている条件下での撮像期間の典型的な値、平均値、あるいは中間値に基づいて定めても良い。例えば中間値を用いる場合、撮像期間がフレーム期間のＥＸＳ倍からＥＸＬ倍（ＥＸＳ、ＥＸＬともに１より小さい）の範囲内であれば、その中間値（ＥＸＳ＋ＥＸＬ）／２をＡＤＪと定めることとする。
このように調整パラメータＡＤＪを掛けるのは、動きベクトルＶはフレーム間で検出され、従って、フレーム期間当たりの動きの量を反映したものであるのに対して、動きぼやけは、撮像期間中の被写体の動きに起因するものであるためである。
【００３９】
フィルタ係数保存部３３は、予め複数の動きぼやけの方向及び大きさの組合せに対応付けて複数のローパスフィルタ係数（２次元ＦＩＲフィルタ係数）をテーブル形式で記憶している。このフィルタ係数は、特定の方向及び大きさの動きぼやけを含む映像信号から、動きぼやけの成分を低減するためのものである。
動きぼやけ推定部３２は、上記のようにして算出した動きぼやけの方向Ａ及び大きさＬＢの組合せに対応したフィルタ係数をテーブルから読み出すため、動きぼやけの方向Ａ及び大きさＬＢからテーブルへのポインタＩＮＤを算出して、フィルタ係数保存部３３へ入力する。
フィルタ係数保存部３３は、入力されたポインタＩＮＤに対応して記憶されているフィルタ係数ＣＦ（ｐ,ｑ）を読み出し、フィルタリング部３４へ出力する。
【００４０】
フィルタリング部３４は、フィルタ係数保存部３３から読み出されるフィルタ係数ＣＦ（ｐ,ｑ）（但し、−Ｐ≦ｐ≦Ｐ、−Ｑ≦ｑ≦Ｑ）を用いて、映像信号Ｄ２の各注目画素Ｄ２（ｉ,ｊ）の周辺領域内の画素の画素値を用いて、フィルタリングを行い、フィルタリングの結果ＦＬ１（ｉ，ｊ）を出力するものであり、非線形処理部３５と、ローパスフィルタ３６とを有する。
【００４１】
非線形処理部３５は、注目画素の画素値Ｄ２（ｉ，ｊ）と、その周辺領域内の画素の画素値Ｄ２（ｉ−ｐ，ｊ−ｑ）との差分と、操作信号処理部３１より入力される閾値ＴＨ１とに基づいて下記の式（６ａ）〜（６ｆ）で示される非線形処理を行う。
【００４２】
（Ａ）  Ｄ２（ｉ−ｐ，ｊ−ｑ）−Ｄ２（ｉ，ｊ）＞ＴＨ１のとき
Ｄ２ｂ（ｉ−ｐ，ｊ−ｑ）−Ｄ２（ｉ，ｊ）＝ＴＨ１      （６ａ）
となるように、即ち、
Ｄ２ｂ（ｉ−ｐ，ｊ−ｑ）＝Ｄ２（ｉ，ｊ）＋ＴＨ１      （６ｂ）
により、
（Ｂ）  Ｄ２（ｉ，ｊ）−Ｄ２（ｉ−ｐ，ｊ−ｑ）＜−ＴＨ１のとき
Ｄ２ｂ（ｉ−ｐ，ｊ−ｑ）−Ｄ２（ｉ，ｊ）＝−ＴＨ１      （６ｃ）
となるように、即ち、
Ｄ２ｂ（ｉ−ｐ，ｊ−ｑ）＝Ｄ２（ｉ，ｊ）−ＴＨ１      （６ｄ）
により、
（Ｃ）  上記（Ａ）、（Ｂ）以外のとき
Ｄ２ｂ（ｉ−ｐ，ｊ−ｑ）−Ｄ２（ｉ，ｊ）
＝Ｄ２（ｉ−ｐ，ｊ−ｑ）−Ｄ２（ｉ，ｊ）      （６ｅ）
となるように、即ち、
Ｄ２ｂ（ｉ−ｐ，ｊ−ｑ）＝Ｄ２（ｉ−ｐ，ｊ−ｑ）      （６ｆ）
により、Ｄ２ｂ（ｉ−ｐ,ｊ−ｑ）を定める。
【００４３】
ローパスフィルタ３６は、各注目画素Ｄ２（ｉ,ｊ）の周辺領域、即ち、（２Ｐ＋１）＊（２Ｑ＋１）個の画素から成る範囲で、上記の非線形処理の結果として得られる値Ｄ２ｂ（ｉ−ｐ，ｊ−ｐ）に対して、対応するフィルタ係数ＣＦ（ｐ，ｑ）を乗算し、乗算結果の総和をフィルタリング結果ＦＬ１（ｉ，ｊ）として求める。
【００４４】
ローパスフィルタ３６で用いられるフィルタ係数ＣＦ（ｐ,ｑ）について以下に説明する。
フィルタ係数は注目画素を中心として、−Ｐ≦ｐ≦Ｐ、−Ｑ≦ｑ≦Ｑの領域内の画素について定義される。
先にも述べたように、フィルタ係数ＣＦ（ｐ，ｑ）は、動きぼやけの角度Ａ及び大きさＬＢに基づいて決められる。
図７〜図９は、フィルタ係数が定義される領域のうち、動きぼやけの幾つかの例に対して、フィルタ係数が０以外の値に定義される領域を示す。以下では、このフィルタ係数が０以外の値となる領域を有効フィルタリング領域ＥＦＡと言う。有効フィルタリング領域ＥＦＡ内の画素位置におけるフィルタ係数の総和は１である。
【００４５】
動きぼやけの大きさＬＢ及びその角度Ａに応じた帯状の領域が、有効フィルタリング領域ＥＦＡとされる。そして、有効フィルタリング領域ＥＦＡに完全に又は部分的に含まれる画素に対して、その有効フィルタリング領域ＥＦＡに含まれる割合に応じた重み付け係数を与える。例えば、有効フィルタリング領域ＥＦＡに部分的に含まれる画素に対しては、有効フィルタリング領域ＥＦＡに完全に（その全体が）含まれる画素よりも重み付け係数の値を小さくし、各画素についての重み付け係数の値は、該画素が有効フィルタリング領域ＥＦＡに含まれる割合に比例した値とする。
【００４６】
この帯状の領域は、動きぼやけの方向に延在するものであり、その長さは、動きぼやけの大きさＬＢの所定数倍、例えば２倍であり、動きぼやけの始端及び終端からその前後に所定量、例えば、動きぼやけの大きさＬＢの０．５倍ずつ延長した長さを有する。帯状の領域の幅は、１画素のサイズに相当するものとする。図７〜図９に示す例は、１画素のサイズが水平方向と垂直方向とで同じであるものとして示してある。図７〜図９ではまた、動きぼやけの始点が座標（ｉ,ｊ）で示される位置にあるものとしている。
【００４７】
図７に示される例では、動きぼやけが水平方向右向きでその大きさＬＢが４画素分である。この場合、動ききぼやけは、動きぼやけの始点の画素Ｐｓ（座標（ｉ,ｊ）の画素）の中心から終点の画素Ｐｅ（座標（ｉ、ｊ＋４）の中心まで延びていると見て、その前後に２画素（０．５×４画素）の長さを加える。即ち、始点の画素Ｐｓの中心から後方（図７で左方）へ２画素分後退した（図で左方に移動した）位置、即ち、座標（ｉ,ｊ−２）の画素の中心から、終点の画素Ｐｅの中心から前方（図７で右方）へ２画素分前進した位置（図で右方に移動した）位置、即ち、座標（ｉ,ｊ＋６）の画素の中心までの範囲を有効範囲とする。これらの画素に対して、その有効フィルタリング領域ＥＦＡに含まれる割合に応じた重み付け係数を与える。即ち、座標（ｉ,ｊ−１）の画素から、座標（ｉ,ｊ＋５）までの画素に対しては同じ値の係数を与え、座標（ｉ,ｊ−２）の画素、座標（ｉ,ｊ＋６）の画素は、各々半分のみが有効フィルタリング領域ＥＦＡに含まれるので、他の画素（座標（ｉ,ｊ−１）から座標（ｉ,ｊ＋５）までの画素）の係数の１／２の値を与える。
【００４８】
図７の例では、有効フィルタリング領域ＥＦＡ内に半分のみ含まれる画素の数が２であり、有効フィルタリング領域ＥＦＡに完全に含まれる画素の数が６であるので、有効フィルタリング領域ＥＦＡに完全に含まれる画素に対しては１／７の重み付け係数が与えられ、有効フィルタリング領域ＥＦＡに半分だけ含まれる画素に対しては１／１４の重み付け係数が与えられる。
【００４９】
図８に示される例では、動きぼやけが水平方向右向きでその大きさＬＢが３画素分である。この場合、動ききぼやけは、動きぼやけの始点の画素Ｐｓ（座標（ｉ,ｊ）の画素）の中心から終点の画素Ｐｅ（座標（ｉ、ｊ＋３）の中心まで延びていると見て、その前後に１．５画素（０．５×３画素）の長さを加える。即ち、始点の画素Ｐｓの中心から後方（図８で左方）へ１．５画素分後退した位置、即ち、座標（ｉ,ｊ−１）の画素の左端から、終点の画素Ｐｅの中心から前方（図８で右方）へ１．５画素分前進した位置、即ち、座標（ｉ,ｊ＋４）の画素の右端までの範囲を有効範囲とする。そして、図８の例では、有効フィルタリング領域ＥＦＡに部分的に含まれる画素は存在せず、有効フィルタリング領域ＥＦＡに完全に含まれる画素の数が６であるので、これらの画素の各々についての係数を１／６と定める。
【００５０】
図９に示される例では、動きぼやけの大きさＬＢは３画素分であり、図８の場合と同じであり、有効フィルタリング領域ＥＦＡの長さ及び幅は、図８の場合と同じであるが、動きぼやけの角度が３０度であり、その結果、部分的にのみ有効フィルタリング領域ＥＦＡに含まれる画素の数が多く存在する。具体的には、座標（ｉ−３,ｊ＋４）、座標（ｉ−２,ｊ＋２）、座標（ｉ−２,ｊ＋３）、座標（ｉ−２,ｊ＋４）、座標（ｉ−１,ｊ）、座標（ｉ−１,ｊ＋１）、座標（ｉ−１,ｊ＋２）、座標（ｉ−１,ｊ＋３）、座標（ｉ,ｊ−１）、座標（ｉ,ｊ）、座標（ｉ,ｊ＋１）、座標（ｉ,ｊ＋２）、座標（ｉ＋１,ｊ−１）、座標（ｉ＋１,ｊ）の画素がそれぞれ部分的に有効フィルタリング領域ＥＦＡに含まれている。そこで、これらの１４個の画素に対して有効フィルタリング領域ＥＦＡに含まれる割合に応じて重み付け係数を与える。
【００５１】
動きぼやけの大きさＬＢ、角度Ａの他の値についても同様に各画素についての重み付け係数を求める。但し、動きぼやけの大きさＬＢ、角度Ａが取り得る値のすべてについて重み付け係数を求めるのではなく、大きさＬＢ、角度Ａの各々について、互いに所定の範囲ごとの代表値ＬＲ、ＡＲに対して重み付け係数を求め、フィルタ係数としてフィルタ係数保存部３３に保存しておき、それぞれの範囲内の大きさＬＢ、角度Ａに対しては、代表値ＬＲ、ＡＲに対して求められ、保存されているフィルタ係数を用いる。代表値ＬＲ、ＡＲ（またはこれに対応する値）は、後述のポインタＩＮＤの生成に用いられる。これらの点については後にさらに詳しく説明する。
【００５２】
なお、上記の例では、有効フィルタリング領域ＥＦＡが、動きぼやけを、その始端及び終端から前後に動きぼやけの大きさＬＢの０．５倍ずつ延長した長さを有することとしたが、該延長量を動きぼやけの大きさＬＢに関係しない所定値としてもよく、例えば、該延長量を０．５画素分としても良い。また、該延長量をゼロとしても良い。
また、有効フィルタリング領域ＥＦＡに含まれる画素について、有効フィルタリング領域ＥＦＡに含まれる割合に応じた重み付けを行う一方、注目画素からの距離に応じた重み付けを行わない構成を持つ移動平均フィルタを用いているが、注目画素からの距離に応じた重み付けを行う構成であっても良い。そのようなフィルタの例としてガウスフィルタがある。
先にも述べた通り、ローパスフィルタ３６は、各注目画素Ｄ２（ｉ,ｊ）の周辺領域の画素についての非線形処理の結果として得られる値Ｄ２ｂ（ｉ−ｐ，ｊ−ｐ）に対して、フィルタリング係数保存部３３から読み出された、対応するフィルタ係数ＣＦ（ｐ，ｑ）を乗算し、乗算結果の総和をフィルタリング結果ＦＬ１（ｉ，ｊ）として求める。このフィルタリングは下記の式で表される。
【００５３】
【数３】
2012032739.tif 000005
【００５４】
式（７）によるフィルタ結果ＦＬ１（ｉ，ｊ）は、利得計算部３９へ出力される。
平均値算出部３７は、映像信号Ｄ２の各注目画素Ｄ２（ｉ,ｊ）の周辺領域内の画素の画素値の平均値ＦＬ２（ｉ，ｊ）を出力する。
ここで言う周辺領域は、例えば、（２Ｐ＋１）＊（２Ｑ＋１）個の画素から成る範囲であり、平均値算出部３７は、該範囲内の画素値Ｄ２（ｉ−ｐ，ｊ−ｑ）の平均値ＦＬ２（ｉ，ｊ）、即ち、下記の式（８）で表される値を計算し、補正強度調整部３８へ出力する。
【００５５】
【数４】
2012032739.tif 000006
【００５６】
補正強度調整部３８は、操作信号処理部３１から入力される補正強度パラメータＢＳＴ０に基づいて、調整後の補正強度パラメータＢＳＴ１を出力するものであり、画像遅延部４から入力された映像信号Ｄ２の注目画素の画素値Ｄ２（ｉ，ｊ）と、平均値算出部３７からの平均値ＦＬ２（ｉ，ｊ）との差分の絶対値が、操作信号処理部３１から入力される閾値ＴＨ２より小さい場合は、操作信号処理部３１から入力される補正強度パラメータＢＳＴ０より小さい調整後の補正強度パラメータＢＳＴ１（ｉ，ｊ）を生成して、利得計算部３９へ出力する。調整後の補正強度パラメータＢＳＴ（ｉ,ｊ）としては、例えばＢＳＴ０×β（β＜１）で与えられるものを用いることができる。調整後の補正強度パラメータＢＳＴ１（ｉ，ｊ）を補正強度パラメータＢＳＴ０に対してどの程度小さくするか（例えば、βの値）は、ユーザが決定可能としても良い。例えば、β＝１／２としても良く、β＝０としても良い。
【００５７】
画素値Ｄ２（ｉ，ｊ）と平均値ＦＬ２（ｉ，ｊ）の差分の絶対値が、閾値ＴＨ２よりも小さくないときは、補正強度パラメータＢＳＴ０をそのまま調整後の補正強度パラメータＢＳＴ１（ｉ，ｊ）として出力する。従って、（Ｄ２（ｉ，ｊ）−ＦＬ２（ｉ，ｊ））と、調整後の補正強度パラメータＢＳＴ１との関係は、図１０に示されるごとくである。
【００５８】
利得計算部３９は、フィルタリング部３４から得られるフィルタ結果ＦＬ１（ｉ，ｊ）と、補正強度調整部３８から出力される調整後の補正強度パラメータＢＳＴ１（ｉ，ｊ）と、画像遅延部４から入力される映像信号Ｄ２の注目画素の画素値Ｄ２（ｉ，ｊ）を参照し、補正処理で用いられる乗算係数乃至利得ＧＡＩＮ（ｉ，ｊ）を次式に基づき計算する。
【００５９】
ＧＡＩＮ（ｉ，ｊ）
＝１＋ＢＳＴ１（ｉ，ｊ）−ＢＳＴ１（ｉ，ｊ）＊ＦＬ１（ｉ，ｊ）／Ｄ２（ｉ，ｊ）
（９）
【００６０】
ただし、Ｄ２（ｉ，ｊ）＝０の場合は、便宜的にＤ２（ｉ，ｊ）＝１として計算する。また、式（９）を計算した結果、ＧＡＩＮ＜０となる場合は、ＧＡＩＮ（ｉ，ｊ）＝０とする。そして、得られた利得ＧＡＩＮ（ｉ，ｊ）を補正処理部３０へ出力する。
【００６１】
補正処理部３０は、画像遅延部４から入力される映像信号Ｄ２の注目画素の画素値Ｄ２（ｉ，ｊ）に対し、次式に基づく計算により画素値Ｅ（ｉ，ｊ）を求め、補正後の映像信号の画素Ｐ（ｉ,ｊ）の画素値として画像表示部３へ出力する。
Ｅ（ｉ，ｊ）＝ＧＡＩＮ（ｉ，ｊ）＊Ｄ２（ｉ，ｊ）      （１０）
【００６２】
本発明においては、画像遅延部４、動きベクトル検出部５、及び画像補正部６において、輝度信号（Ｙ）のみを処理することで、被写体の動きやカメラの動きにより劣化が生じた映像の動きぼやけを補正することができる。しかしながら、輝度信号（Ｙ）だけでなく、赤色信号（Ｒ）、青色信号（Ｇ）、緑色信号（Ｂ）を個別に処理してもよい。またＲ、Ｇ、Ｂの和を表す信号で、式（９）の利得ＧＡＩＮ（ｉ,ｊ）を求め、画像補正部６の式（１０）ではＲ、Ｇ、Ｂ個別に処理をしても良い。また、輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）を個別に処理してもよい。輝度信号（Ｙ）で利得ＧＡＩＮ（ｉ，ｊ）を求め、求めた利得ＧＡＩＮ（ｉ，ｊ）を用いて、輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）の各々に対して、式（１０）の演算により個別に処理しても良い。他の色表現フォーマットでも同様な処理が行える。
【００６３】
以下、画像処理装置２の各構成要素の動作についてさらに詳しく説明する。
画像処理装置２に入力された映像信号Ｄ０は画像遅延部４に入力される。
図１１（ａ）〜（ｅ）は、画像遅延部４に入力される映像信号Ｄ０と、画像遅延部４から出力される映像信号Ｄ１、Ｄ２の関係を説明する図である。図１１（ａ）に示される入力垂直同期信号ＳＹＩに同期して、図１１（ｂ）に示すように、フレームＦ０、Ｆ１、Ｆ２、Ｆ３、Ｆ４の入力映像信号Ｄ０が順次入力される。
【００６４】
フレームメモリ制御部１２は入力垂直同期信号ＳＹＩを元にフレームメモリ書込みアドレスを生成し、入力映像信号Ｄ０をフレームメモリ１１に記憶させると共に、図１１（ｃ）に示す出力垂直同期信号ＳＹＯ（入力垂直同期信号ＳＹＩに対して遅れがないものとして示してある）に同期して、図１１（ｄ）に示すように、入力映像信号Ｄ０に対してフレーム遅延のない映像信号Ｄ１（フレームＦ０、Ｆ１、Ｆ２、Ｆ３、Ｆ４の映像信号）を出力する。
【００６５】
フレームメモリ制御部１２はまた、出力垂直同期信号ＳＹＯを元にフレームメモリ読み出しアドレスを生成し、フレームメモリ１１に蓄えられた、１フレーム遅延映像信号Ｄ２（図１１（ｅ））を読み出して出力する。
【００６６】
この結果、画像遅延部４からは、連続する２フレームの映像信号Ｄ１、Ｄ２が同時に出力される。即ち、フレームＦ１の映像信号が映像信号Ｄ０として入力されるタイミング（フレーム期間）に、フレームＦ１、Ｆ０の映像信号が映像信号Ｄ１、Ｄ２として出力され、フレームＦ２の映像信号が映像信号Ｄ０として入力されるタイミング（フレーム期間）に、フレームＦ２、Ｆ１の映像信号が映像信号Ｄ１、Ｄ２として出力される。
【００６７】
遅延部４から出力された、連続する２フレームの映像信号Ｄ１、Ｄ２は、動きベクトル検出部５へ供給され、映像信号Ｄ２は画像補正部６へも供給される。動きベクトル検出部５に入力された映像信号Ｄ１、Ｄ２は、それぞれ後フレームブロック切り出し部２２、注目フレームブロック切り出し部２１へ入力される。
【００６８】
動きベクトル検出部５では、映像符号化でよく用いられる差分絶対値和ＳＡＤを用いた動きベクトルの検出を行う。本発明では、動きぼやけが生じている画素の動きぼやけを軽減することが目的であるため、画素毎に差分絶対値和ＳＡＤを計算し、その最小値から動きベクトルを求める。
しかし、差分絶対値和ＳＡＤを求める演算を全画素について実行すれば、演算量が莫大となってしまうため、映像符号化と同様に動きベクトルを検出するためのブロックが、隣り合うもの同士で重ならないように処理し、動きベクトルを検出しない画素に対しては、周辺で検出された動きベクトルより補間することとしても良い。
【００６９】
また、上記においては、動きベクトル検出部５で用いるブロックサイズを、注目画素Ｐ（ｉ,ｊ）を中心に上下及び左右が同じサイズの矩形の領域とし、矩形領域の高さ及び幅をそれぞれ（２＊ＢＭ＋１）、（２＊ＢＮ＋１）で表される奇数とした。しかしながら、矩形領域の高さ及び幅は、奇数でなくても良く、注目画素の矩形領域内の位置は正確に中心でなくても、若干ずれた位置であっても良い。
【００７０】
さらには、式（１）のように、探索範囲を−ＳＶ≦ｋ≦ＳＶ、−ＳＨ≦ｌ≦ＳＨと定義し、本範囲に含まれる全てのｋおよびｌに対して差分絶対値和ＳＡＤを計算するものとした。しかし、演算量を削減する目的でｋおよびｌを適度に間引き差分絶対値和ＳＡＤを計算しても良い。この場合、間引かれた（間引きにより除去された）位置（ｉ＋ｋ,ｊ＋ｌ）については、その周辺の位置についての、差分絶対値和ＳＡＤ（ｉ＋ｋ,ｊ＋ｌ）から補間をして用いても良い。また、動きベクトルの精度を検討し、精度に問題が無ければ間引いて得られた差分絶対値和ＳＡＤを用いても良い。
【００７１】
画像補正部６に入力された動きベクトルＶは、まず動きぼやけ推定部３２へ入力される。動くぼやけ推定部３２へ入力される動きベクトルＶは、図１２のように垂直方向の成分Ｖｙ（ｉ，ｊ）と水平方向の成分Ｖｘ（ｉ，ｊ）とで表されているので、式（３）より動きベクトルの方向Ａ（度）を算出し、式（４）より動きベクトルの大きさＬＭ（画素）を算出する。
【００７２】
ここで、カメラを静止し、等速直線運動をしている物体を撮影した場合を考える。この時撮像される連続した３フレームの映像信号で表される画像の要素の動きの一例を図１３（ａ）、（ｂ）に示す。図示の例では、１フレーム目（図１３（ａ））と２フレーム目（図１３（ｂ））との間で、画像の要素ＥＳが、水平方向に４画素移動し、垂直方向には移動していない（Ｖｘ＝４、Ｖｙ＝０）。従って、すなわち１フレーム目（図１３（ａ））における動きベクトルは、図１３（ａ）の矢印のように水平方向４画素、垂直方向０画素として検出される。
【００７３】
仮に、図１３（ａ）、図１３（ｂ）に示される画像の撮像期間Ｔｓが１フレーム期間Ｔｆと等しければ、動きぼやけの大きさＬＢも水平方向に４画素、垂直方向に０画素となる。
しかし、実際には撮像期間Ｔｓは、図６に示すように、１フレーム期間Ｔｆよりも短いため、図１４（ａ）、（ｂ）に示すように、動きぼやけの大きさＬＢは、動きベクトルの大きさＬＭによりも小さく、その割合は、１フレーム期間Ｔｆに対する、撮像期間Ｔｓの長さの比（Ｔｓ／Ｔｆ）に相当する。
【００７４】
このことを考慮し、動きベクトルの大きさＬＭに、１よりも小さい調整パラメータＡＤＪを掛けた値を、動きぼやけの大きさＬＢと推定する。調整パラメータＡＤＪは、先に述べたように、各フレームの実際の撮像期間の長さＴｓに基づいて決めても良く、経験的に決定することとしても良く、ユーザにより設定可能としても良い。
【００７５】
次に、フィルタ係数保存部３３のテーブルからフィルタ係数を読み出すためのポインタＩＮＤの算出方法を説明する。
例えば、フィルタ係数保存部３３に保存されているフィルタ係数が、角度（単位が「度」であるとする）の代表値としての、０度から１６５度までの１５度毎の角度、大きさの代表値としての、１から２１までの奇数に対して定義されているとする。
このとき、式（５）で得られたＬＢを四捨五入し、四捨五入の結果が偶数であれば１を加算して奇数にし（ＬＢ＝ＬＢ＋１）、このような処理の結果が「２１」よりも大きければ、「２１」にクリッピングし、このような処理をした結果を、動きぼやけの大きさの代表値ＬＲとして出力する。動きぼやけの大きさＬＢの値が代表値ＬＲを含む所定の範囲内であれば、上記の処理をすることにより、動きぼやけの大きさＬＢは代表値ＬＲに変換される。
一方、角度Ａについては、式（３）で求められたＡが０より小さければ、１８０度を加算し（Ａ＝Ａ＋１８０）、１５度単位で四捨五入（Ｒ丸め）するためＡ２＝（Ａ＋７．５）／１５を小数点以下切り捨て、その結果が１２以上であれば（Ａ２≧１２）、Ａ２＝０とする。このような処理の結果を、動きぼやけの角度の代表値ＡＲに対応する値ＡＲ２として出力する。ＡＲとＡＲ２との間には次の関係がある。
ＡＲ＝１５＊ＡＲ２
動きぼやけの角度Ａの値が代表値ＡＲを含む所定の範囲内であれば、上記の処理をすることにより、動きぼやけの角度Ａは代表値ＡＲに対応する値ＡＲ２に変換される。
動きぼやけの大きさの代表値ＬＲ、及び角度の代表値ＡＲに対応する値ＡＲ２を用いて、次式のような計算により、テーブルからの読み出しのためのポインタＩＮＤとすることができる。
ＩＮＤ＝１２＊（（ＬＲ−１）／２−１）＋ＡＲ２      （１１）
【００７６】
式（１１）に基づいてＡＲ２およびＬＲからポインタＩＮＤを求めるテーブルの具体例を図１５に示す。
【００７７】
フィルタ係数保存部３３は、動きぼやけ推定部３２よりポインタＩＮＤが入力されると、入力されたポインタＩＮＤに対応するフィルタ係数ＣＦ（ｐ,ｑ）をローパスフィルタ３６に供給する。フィルタ係数保存部３３に保存されるフィルタ係数は、ユーザが自由に設計することができる。フィルタ係数はローパスフィルタを実現するものであればよく、比較的設計しやすいことも本発明の特徴である。
【００７８】
次に、ローパスフィルタ３６を備えるフィルタリング部３４について詳細に説明する。本発明は、被写体の動きやカメラの動きにより動きぼやけが生じた領域の動きぼやけを、適切に軽減することを目的としており、次式に示すローパスフィルタを用いた手法をベースとしている。
Ｅ（ｉ，ｊ）
＝Ｄ２（ｉ，ｊ）＋ＢＳＴ１（ｉ，ｊ）＊（Ｄ２（ｉ，ｊ）−ＦＬ１（ｉ，ｊ））
（１２）
【００７９】
式（１２）を変形すると式（９）、式（１０）が得られる。式（１２）の考え方に基づいて処理を行うこととすれば、例えば緑色信号（Ｇ）を用いて式（９）による計算を行って、利得ＧＡＩＮ（ｉ，ｊ）を求め、補正処理部３０において、同じ画素の複数の色信号に対して同じ利得ＧＡＩＮ（ｉ，ｊ）を用いて式（１０）の演算を行うことで演算量を削減できる利点がある。しかしながら、式（１２）を用いる手法には以下の欠点もあり、そのため以下のような処理を行うこととしている。
【００８０】
式（１２）による手法は、フィルタ係数保存部３３より出力されたフィルタ係数ＣＦ（ｐ,ｑ）を用い、画像補正部６に入力された映像信号Ｄ２に対しローパスフィルタリングを行い、フィルタ結果ＦＬ１（ｉ，ｊ）を利得計算部３９へ出力する。しかし、式（１２）に基づくローパスフィルタリングによる動きぼやけ補正処理は、補正画像において強いエッジ部にオーバーシュートが生じる弊害が起きやすい。
【００８１】
そこで、ローパスフィルタ３６の前段に非線形処理部３５を挿入して、強いエッジ部でオーバーシュートが抑制できるような非線形処理を行う。例えば、操作信号処理部３１より入力される閾値ＴＨ１を用いて非線形処理を行い、オーバーシュートの抑制を行うこととする。具体的には、図１６に示すように、注目画素の画素値Ｄ２（ｉ，ｊ）と、その周辺領域内の画素の画素値Ｄ２（ｉ−ｐ，ｊ−ｑ）との差分値ＤＩＦ（ｉ−ｐ，ｊ−ｑ）＝Ｄ２（ｉ，ｊ）−Ｄ２（ｉ−ｐ，ｊ−ｑ）を閾値ＴＨ１によりクリッピングする。これにより、仮に抑制を行わないとすれば、差分値ＤＩＦ（ｉ−ｐ，ｊ−ｑ）が大きく、利得計算部３９で算出される利得ＧＡＩＮ（ｉ，ｊ）が大きくなる画像のエッジ部において、利得を適切に制御することができる。
【００８２】
次に、補正強度調整部３８における処理について詳細を述べる。
補正強度調整部３８は、動きぼやけ補正処理後、ノイズ増幅効果で動きぼやけ補正画像の品質が下がることを抑制するためのものであり、操作信号処理部３１より入力される補正強度パラメータＢＳＴ０を、画像の特徴に応じて小さくしもしくは０として、調整後の補正強度パラメータＢＳＴ１とし、利得計算部３９へ出力する。
【００８３】
具体的には、映像信号Ｄ２を入力し、注目画素の周辺領域内の画素の画素値（例えば輝度値）の変化を検出し、該変化の大きさに応じて調整後の補正強度パラメータＢＳＴ１の値を決める。上記画素値の変化を表す指標としては、注目画素の画素値Ｄ２（ｉ，ｊ）と平均値算出部３７から出力される平均値ＦＬ２（ｉ，ｊ）との差分値の絶対値を用いる。そして、例えば、該絶対値が操作信号処理部３１より入力される閾値ＴＨ２より小さければ、注目画素の周辺領域内の画素値の変化が少ないと判断し、例えば調整後の補正強度パラメータＢＳＴ１を調整前の補正強度パラメータＢＳＴ０の１／２とし、上記の絶対値が閾値ＴＨ２より大きければ画素値の変化が大きいと判断し、調整前の補正強度パラメータＢＳＴ０をそのまま調整後の補正強度パラメータＢＳＴ１とする。そして、このようにして定められた調整後の補正強度パラメータＢＳＴ１を利得計算部３９へ出力する。
【００８４】
以下、上記の処理を行う意義についてさらに詳しく説明する。
被写体の動きやカメラの動きにより動きぼやけが生じた領域の動きぼやけを、軽減するための処理は、必然的に映像信号中のノイズを増幅してしまうこととなる。特に、画素値の変化、例えば輝度の変化の少ない平坦な領域は、動きぼやけが生じていてもその影響は視覚的に小さく、補正処理が弱くても済む。仮にこのような領域で、補正強度パラメータ値ＢＳＴ０をそのまま用いて補正を行うと、ノイズを大きく増幅し、動きぼやけ補正結果の品質が低下することになる。そこで、平坦な領域を検出し、そのような領域では補正強度パラメータＢＳＴ０の代りにより小さい値を用いる適応処理を行う。このとき、平坦な領域か否かを判定するには、前述のように注目画素の画素値Ｄ２（ｉ，ｊ）とその周辺領域内の画素の画素値の平均ＦＬ２との差分を取り、閾値との大小で判定することとしている。
また、このような理由から、前述のように平均値算出部３７で算出された−Ｐ≦ｐ≦Ｐ、−Ｑ≦ｑ≦Ｑの領域内のすべての画素の画素値の単純平均値を用いている。
【００８５】
利得計算部３９は、フィルタリング部３４の出力ＦＬ１（ｉ,ｊ）、補正強度調整部３８から出力される調整後の補正強度パラメータＢＳＴ１（ｉ,ｊ）、映像信号Ｄ２の注目画素の画素値Ｄ２（ｉ，ｊ）を用いて上記の式（９）に基づき利得ＧＡＩＮ（ｉ，ｊ）を計算し、算出した利得ＧＡＩＮ（ｉ，ｊ）を補正処理部３０へ供給する。
ただし、式（９）に示される演算において、注目画素の画素値Ｄ２（ｉ，ｊ）で除算する必要から、Ｄ２（ｉ，ｊ）＝０の場合にはＤ２（ｉ，ｊ）＝１として計算を行う。また、ＧＡＩＮ（ｉ，ｊ）＜０となった場合は、ＧＡＩＮ（ｉ，ｊ）＝０とクリッピングする。以上の計算により得られた利得ＧＡＩＮ（ｉ，ｊ）を補正処理部３０へ出力する。
補正処理部３０では、供給された利得ＧＡＩＮ（ｉ，ｊ）を画素値Ｄ２（ｉ,ｊ）に乗算することで、動きぼやけ補正を行う。乗算結果は、動きぼやけ補正を受けた画素値Ｅ（ｉ，ｊ）として出力され、画像表示部３に供給される。
【００８６】
実施の形態２．
図１７は、実施の形態２で用いられる画像補正部６を示す。
図示の画像補正部６は、図５の画像補正部と概して同じであるが、
操作信号処理部３１から出力されるパラメータに閾値ＴＨ３が含まれ、該閾値ＴＨ３が、補正処理部３０に供給され、補正処理部３０では、閾値ＴＨ３に基づいて処理を行う点で異なる。閾値ＴＨ３は、画素値の補正が過補正とならないように、補正の度合いを抑制するためのものである。
【００８７】
補正処理部３０では、利得計算部３９から供給された利得ＧＡＩＮを用いて、動きぼやけ補正画像を得る。しかしながら、実施の形態１の方法で、フィルタリング部３４でオーバーシュートの抑制処理を行っても、動きぼやけ補正処理の結果、オーバーシュートが発生することがある。これは、補正強度パラメータＢＳＴ０の設定を高くし補正した場合に多い。
【００８８】
そこで、本実施の形態２では、動きぼやけ補正処理の結果に対して、クリッピング処理を行うことでオーバーシュートを回避する。具体的には、操作信号処理部３１より閾値ＴＨ３を入力し、フィルタリング部３４における非線形処理と同様に、補正前の注目画素の画素値Ｄ２（ｉ，ｊ）と該画素値Ｄ２（ｉ,ｊ）に利得ＧＡＩＮ（ｉ，ｊ）を乗算した値との差分値の絶対値が閾値ＴＨ３を超えるときは、｜Ｅ（ｉ，ｊ）−Ｄ（ｉ、ｊ）｜＝ＴＨ３となるようにし、補正前の注目画素の画素値Ｄ２（ｉ，ｊ）と該画素値Ｄ２（ｉ,ｊ）に利得ＧＡＩＮ（ｉ，ｊ）を乗算した値との差分値の絶対値が閾値ＴＨ３以下であれば、Ｅ（ｉ，ｊ）＝ＧＡＩＮ（ｉ，ｊ）＊Ｄ（ｉ、ｊ）となるような処理を行う。
即ち、
（Ａ）  ＧＡＩＮ（ｉ，ｊ）＊Ｄ２（ｉ，ｊ）−Ｄ（ｉ、ｊ）＞ＴＨ３であれば、
Ｅ（ｉ，ｊ）−Ｄ２（ｉ，ｊ）＝ＴＨ３      （１３ａ）
となるように、即ち、
Ｅ（ｉ，ｊ）＝Ｄ２（ｉ，ｊ）＋ＴＨ３      （１３ｂ）
により、
（Ｂ）  ＧＡＩＮ（ｉ，ｊ）＊Ｄ２（ｉ，ｊ）−Ｄ（ｉ、ｊ）＜−ＴＨ３であれば、
Ｅ（ｉ，ｊ）−Ｄ２（ｉ，ｊ）＝−ＴＨ３      （１３ｃ）
となるように、即ち、
Ｅ（ｉ，ｊ）＝Ｄ２（ｉ，ｊ）−ＴＨ３      （１３ｄ）
により、
（Ｃ）  (Ａ)、(Ｂ)のいずれでもなければ、
Ｅ（ｉ，ｊ）−Ｄ（ｉ、ｊ）
＝ＧＡＩＮ（ｉ，ｊ）＊Ｄ２（ｉ，ｊ）−Ｄ（ｉ、ｊ）      （１３ｅ）
となるように、即ち、
Ｅ（ｉ，ｊ）＝ＧＡＩＮ（ｉ，ｊ）＊Ｄ２（ｉ，ｊ）      （１３ｆ）
により、Ｅ（ｉ,ｊ）を定める。
【００８９】
以上説明したように、入力された画像信号のフレーム間における動きベクトルを画素毎に検出することで、映像中に含まれる動きぼやけの発生している領域を検出し、検出された動きぼやけの方向、大きさに合わせて利得を構成することにより、動画表示時の画質を向上させることが可能となる。
【符号の説明】
【００９０】
１  画像表示装置、  ２  画像処理装置、  ３  画像表示部、  ４  画像遅延部、  ５  動きベクトル検出部、  ６  画像補正部、  １１  フレームメモリ、  １２  フレームメモリ制御部、  ２１  注目フレームブロック切り出し部、  ２２  後フレームブロック切り出し部、  ２３  動きベクトル決定部、  ３０  補正処理部、  ３１  操作信号処理部、  ３２  動きぼやけ推定部、  ３３  フィルタ係数保存部、  ３４  フィルタリング部、  ３５  非線形処理部、  ３６  ローパスフィルタ、  ３７  平均値算出部、  ３８  補正強度調整部、  ３９  利得計算部。
【図１】
2012032739.tif 000007
【図２】
2012032739.tif 000008
【図３】
2012032739.tif 000009
【図４】
2012032739.tif 000010
【図５】
2012032739.tif 000011
【図６】
2012032739.tif 000012
【図７】
2012032739.tif 000013
【図８】
2012032739.tif 000014
【図９】
2012032739.tif 000015
【図１０】
2012032739.tif 000016
【図１１】
2012032739.tif 000017
【図１２】
2012032739.tif 000018
【図１３】
2012032739.tif 000019
【図１４】
2012032739.tif 000020
【図１５】
2012032739.tif 000021
【図１６】
2012032739.tif 000022
【図１７】
2012032739.tif 000023