(57)【特許請求の範囲】
【請求項１】
入力信号に含まれる映像を周波数変換する周波数変換部と、
前記入力信号に含まれる映像の動きを検出する動きベクトル検出部と、
前記周波数変換部による周波数変換結果および前記動きベクトル検出部が検出した動きベクトルに基づいて、前記映像に対する動画ボヤケ低減補正を行う動画ボヤケ低減部とを備え、
前記動画ボヤケ低減部は、前記周波数変換部による周波数変換結果および前記動きベクトル検出部が検出した動きベクトルに基づいて、ボヤケ低減補正の補正範囲、補正方向、補正強度を算出して、該算出したパラメータをボヤケ低減補正に用いるものであり、
前記動画ボヤケ低減部は、前記周波数変換部による周波数変換結果の周波数特性を判定し、周波数空間において一方向に広がる周波数分布を有する画像領域を、動画ボヤケが存在する可能性がある候補領域と判定することを特徴とする映像処理装置。
【請求項２】
請求項１に記載の映像処理装置であって、
前記動画ボヤケ低減部は、前記周波数特性の判定において、前記一方向に広がる周波数分布を、予め用意した周波数分布パターンとのパターン・マッチングにより検出することを特徴とする映像処理装置。
【請求項３】
前記動画ボヤケ低減部は前記動きベクトル検出部が検出した動きベクトルに基づいてボヤケ低減補正の補正範囲と補正方向を算出し、前記周波数変換部による周波数変換結果となる周波数分布からボヤケ低減補正の補正強度を算出し、前記補正範囲、前記補正方向、前記補正強度を用いてボヤケ低減補正を行うことを特徴とする請求項１に記載の映像処理装置。
【請求項４】
前記動画ボヤケ低減部は、前記動きベクトル検出部が検出した動きベクトルに基づいてボヤケ低減補正の補正強度を算出し、前記周波数変換部による周波数変換結果となる周波数分布からボヤケ低減補正の補正範囲と補正方向を算出し、前記補正強度、前記補正範囲、前記補正方向を用いてボヤケ低減補正を行うことを特徴とする請求項１に記載の映像処理装置。
【請求項５】
前記動画ボヤケ低減部は、
前記周波数変換部による周波数変換結果に基づいて、ボヤケ低減補正の補正強度を算出し、前記動きベクトル検出部が検出した動きベクトルに基づいてボヤケ低減補正の補正範囲、補正方向を算出して、ボヤケ低減補正に用いる第１のボヤケ低減補正と、
前記周波数変換部による周波数変換結果に基づいて、ボヤケ低減補正の補正範囲、補正方向を算出し、前記動きベクトル検出部が検出した動きベクトルに基づいてボヤケ低減補正の補正強度を算出して、ボヤケ低減補正に用いる第２のボヤケ低減補正とを、
切換え可能であることを特徴とする請求項１に記載の映像処理装置。
【請求項６】
前記周波数変換部による周波数変換結果または前記動きベクトル検出部が検出した動きベクトルに応じて、前記動画ボヤケ低減部の第１のボヤケ低減補正と第２のボヤケ低減補正とを切換えることを特徴とする請求項５に記載の映像処理装置。
【請求項７】
前記映像が含まれるコンテンツまたは番組のコンテンツ関連情報または番組関連情報に応じて、前記動画ボヤケ低減部の第１のボヤケ低減補正と第２のボヤケ低減補正とを切換えることを特徴とする請求項５に記載の映像処理装置。
【請求項８】
請求項１乃至７のいずれか一項に記載の映像処理装置であって、
前記動きベクトル検出部は、前記周波数変換部による周波数変換結果を用いて前記映像の動きベクトルを検出することを特徴とする映像処理装置。
【請求項９】
入力信号に含まれる映像を周波数変換する周波数変換ステップと、
前記入力信号に含まれる映像の動きを検出する動きベクトル検出ステップと、
前記周波数変換ステップによる周波数変換結果および前記動きベクトル検出ステップにて検出した動きベクトルに基づいて、前記映像に対する動画ボヤケ低減補正を行う動画ボヤケ低減ステップと
を備え、
前記動画ボヤケ低減ステップにおける前記動画ボヤケ低減補正においては、前記周波数変換ステップによる周波数変換結果および前記動きベクトル検出ステップにて検出した動きベクトルに基づいて、ボヤケ低減補正の補正範囲、補正方向、補正強度を算出して、該算出したパラメータをボヤケ低減補正に用い、
前記動画ボヤケ低減ステップにおける前記動画ボヤケ低減補正においては、前記周波数変換ステップによる周波数変換結果の周波数特性を判定し、周波数空間において一方向に広がる周波数分布を有する画像領域を、動画ボヤケが存在する可能性がある候補領域と判定することを特徴とする映像処理方法。
【請求項１０】
請求項９に記載の映像処理方法であって、
前記動画ボヤケ低減ステップの前記周波数特性の判定において、前記一方向に広がる周波数分布を、予め用意した周波数分布パターンとのパターン・マッチングにより検出することを特徴とする映像処理方法。
【請求項１１】
前記動画ボヤケ低減ステップでは、前記動きベクトル検出ステップにて検出した動きベクトルに基づいてボヤケ低減補正の補正範囲と補正方向を算出し、前記周波数変換ステップによる周波数変換結果となる周波数分布からボヤケ低減補正の補正強度を算出し、前記補正範囲、前記補正方向、前記補正強度を用いてボヤケ低減補正を行うことを特徴とする請求項９に記載の映像処理方法。
【請求項１２】
前記動画ボヤケ低減ステップでは、前記動きベクトル検出ステップにて検出した動きベクトルに基づいてボヤケ低減補正の補正強度を算出し、前記周波数変換ステップによる周波数変換結果となる周波数分布からボヤケ低減補正の補正範囲と補正方向を算出し、前記補正強度、前記補正範囲、前記補正方向を用いてボヤケ低減補正を行うことを特徴とする請求項９に記載の映像処理方法。
【請求項１３】
前記動画ボヤケ低減ステップでは、
前記周波数変換ステップによる周波数変換結果に基づいて、ボヤケ低減補正の補正強度を算出し、前記動きベクトル検出ステップにて検出した動きベクトルに基づいてボヤケ低減補正の補正範囲、補正方向を算出して、ボヤケ低減補正に用いる第１のボヤケ低減補正と、
前記周波数変換ステップによる周波数変換結果に基づいて、ボヤケ低減補正の補正範囲、補正方向を算出し、前記動きベクトル検出ステップにて検出した動きベクトルに基づいてボヤケ低減補正の補正強度を算出して、ボヤケ低減補正に用いる第２のボヤケ低減補正とを、
切換え可能であることを特徴とする請求項９に記載の映像処理方法。
【請求項１４】
前記周波数変換ステップによる周波数変換結果または前記動きベクトル検出ステップにて検出した動きベクトルに応じて、前記動画ボヤケ低減ステップの第１のボヤケ低減補正と第２のボヤケ低減補正とを切換えることを特徴とする請求項１３に記載の映像処理方法。
【請求項１５】
前記映像が含まれるコンテンツまたは番組のコンテンツ関連情報または番組関連情報に応じて、前記動画ボヤケ低減ステップにおける第１のボヤケ低減補正と第２のボヤケ低減補正とを切換えることを特徴とする請求項１３に記載の映像処理方法。
【請求項１６】
請求項９乃至１５のいずれか一項に記載の映像処理方法であって、
前記動きベクトル検出ステップでは、前記周波数変換ステップによる周波数変換結果を用いて前記映像の動きベクトルを検出することを特徴とする映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像の特徴を解析し、動画ボヤケを低減する映像処理技術に関する。
【背景技術】
【０００２】
一般に、ビデオカメラ等により撮影された映像信号には、シャッター速度（露出時間）と、被写体もしくはカメラの動きに応じて撮像時に生じる動画ボヤケが含まれることが多い。
【０００３】
この動画ボヤケを低減するために、連続して入力される映像フレーム、又は記録された映像フレームより、動きベクトルを検出し、映像の動きに応じて解像感を向上させることで、ボヤケ低減を行うことがある。例えば、特許文献１を参照。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】２００７−２０１４０号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、前記動きベクトルを用いた動画ボヤケ低減技術では、動きベクトルの誤検出により、映像の動きとは異なる方向や大きさで誤補正、例えば必要以上に解像感を向上してしまう。それ故、映像に副作用が生じないようにボヤケ低減効果を向上することは困難である。また、動きのある映像部分に必ずしも動画のボヤケが存在するわけではなく、ボヤケ部分を対象として補正するにしても、単にボヤケを低減するだけではカメラ等のフォーカス差によるボヤケまでも補正し、遠近感が失われる。
【０００６】
本発明は、上記課題を鑑みてなされたものであり、好適に動画ボヤケを抑え、画質補正をすることを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の一実施の態様は、入力信号に含まれる映像を周波数変換する周波数変換部と、前記入力信号に含まれる映像の動きを検出する動きベクトル検出部と、前記周波数変換部による周波数変換結果および前記動きベクトル検出部が検出した動きベクトルに基づいて、前記映像に対する動画ボヤケ低減補正を行う動画ボヤケ低減部とを備えるように構成すればよい。
【発明の効果】
【０００８】
本発明によれば、好適に動画ボヤケを抑え、画質補正することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施例１に係る画像処理装置の構成の一例の説明図である。
【図２】本発明の実施例３に係る画像処理装置の構成の一例の説明図である。
【図３】本発明の実施例４に係る画像処理装置の構成の一例の説明図である。
【図４ａ】本発明の実施例に係る画像処理の説明図である。
【図４ｂ】本発明の実施例に係る画像処理の説明図である。
【図４ｃ】本発明の実施例に係る画像処理の説明図である。
【図４ｄ】本発明の実施例に係る画像処理の説明図である。
【図４ｅ】本発明の実施例に係る画像処理の説明図である。
【図５ａ】本発明の実施例に係る周波数分布の一例の説明図である。
【図５ｂ】本発明の実施例に係る周波数分布の一例の説明図である。
【図５ｃ】本発明の実施例に係る周波数分布の一例の説明図である。
【図６ａ】本発明の実施例に係る周波数による周波数特性判定処理の一例の説明図である。
【図６ｂ】本発明の実施例に係る周波数特性判定処理の一例の説明図である。
【図６ｃ】本発明の実施例に係る周波数特性判定処理の一例の説明図である。
【図７】本発明の実施例に係る動きベクトル検出処理の一例の説明図である。
【図８ａ】本発明の実施例１に係る動画ボヤケ低減処理のフローチャートの一例である。
【図８ｂ】本発明の実施例２に係る動画ボヤケ低減処理のフローチャートの一例である。
【図９】本発明の実施例１に係る動画ボヤケ低減部の構成の一例の説明図である。
【図１０】本発明の実施例２に係る動画ボヤケ低減部の構成の一例の説明図である。
【図１１】本発明の実施例４に係る動画ボヤケ低減部の構成の一例の説明図である。
【図１２ａ】本発明の実施例に係る動画ボヤケ補正強度の説明図である。
【図１２ｂ】本発明の実施例に係る動画ボヤケ補正範囲の説明図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態について図面に基づいて説明する。なお、実施形態を説明するための図において、同一の構成には原則として同一の符号を付し、その繰り返しの説明は省略する。
【実施例１】
【００１１】
まず、本発明の実施例１に係る映像処理装置の一例を、図１の構成図を用いて説明する。
【００１２】
本実施例の映像処理装置は、例えば、周波数変換部３、動きベクトル検出部５、動画ボヤケ低減部７を有する。ここで、周波数変換部３、動きベクトル検出部５は、検出部２という１つのブロックを構成してもよい。
【００１３】
入力映像信号１は、例えば、内蔵されるチューナで受信した放送信号を入力信号として、デコード処理を行った後の映像信号や、ノイズ低減処理やコントラスト処理等の画質補正後の映像信号でもよい。また、出力映像信号８は、ＬＣＤパネルなどの映像表示装置の入力信号としても、ＨＤＤやＢＤ（ブルーレイディスク）等の映像記憶装置への入力信号としてもよく、また前記画質補正信号への入力信号でもよい。
【００１４】
周波数変換部３は、入力映像信号１を入力信号として、例えば８×８画素あるいは１６×１６画素ブロック内の映像を、ＦＦＴ（高速フーリエ変換）やＤＣＴ（離散コサイン変換）等で周波数変換し、ブロック内の量子化された前記ブロックサイズ周波数帯域をもったスペクトル信号４を出力する。
【００１５】
動きベクトル検出部５は、入力映像信号１を入力信号として、映像の動きを求め、そのベクトル、即ち、動きベクトル信号６を出力する。尚、動き補償型のフレームレート変換を行う映像処理装置の場合は、動きベクトル検出部５は、動き補償型のフレームレート変換時の動きベクトル検出部のブロックと共通化しても構わない。
【００１６】
映像の動きベクトルの求め方は、例えば、勾配法や位相差限定相関法、ブロックマッチング法などがある。以下、ブロックマッチング法を一例として説明するが、本発明には他の動きベクトル検出方法も適用可能である。
【００１７】
図７はブロックマッチング法によるベクトル検出方法を説明する図である。ブロックの構成は、例えば上述の８×８画素あるいは１６×１６画素等のブロックサイズでよいが、ここでは説明を簡単にするため、３×３画素ブロックで説明する。
【００１８】
動きベクトルの検出においては、現在フレームにおける補正対象の画素と同位置を中心とする、例えば２１×２１画素の範囲を検索範囲とする。ここで、上記検索範囲中において、１ｖ遅延フレームにおける補正対象の画素を中心とした３×３画素ブロックと最も輝度差分絶対値が低い３×３画素ブロックを検出し、検出したブロックの中心となる画素との相対位置が動きベクトルとして検出される。
【００１９】
また、数式１に表される通り、検索範囲で互いのブロックの輝度差分絶対値Sad(x,y)が最少となる時の (ξ,η)が動きベクトルとなる。
【数１】
0005506623.tif 000002
【００２０】
次に図９を用いて、動画ボヤケ低減部７の動作を説明する。動画ボヤケ低減部７は例えば、周波数特性判定・補正強度算出部７１と、動き領域検出・補正範囲算出部７２と、動画ボヤケ低減処理部７６を有する。
【００２１】
動画ボヤケ低減処理には、簡単のため、一例として１次元のDoG（Difference of Gaussian）を用いて説明する。DoGは、ガウシアンの差分で数式２のように表され、特性は図１２ａのようになる。
【数２】
0005506623.tif 000003
【００２２】
動き領域検出・補正範囲算出部７２は、動きベクトル信号６を入力信号とし、入力された動きベクトルにより、動きのある領域を検出する。さらに、入力された動きベクトルの大きさを補正幅とし、入力された動きベクトルの方向を補正方向とすると、当該動きのある領域が動画ボヤケである場合の補正範囲が、図１２ｂに示すように求まる。ここで、さらに、補正方向を補正角７３ａに置き換え、補正幅は分散値７４ａへ変換し、前記DoGへのパラメータとする。尚、補正幅から分散値への変換は、例えば固定係数を持つ補正幅の比例式で求めることができる。ただし、分散値が０の時は、DoGも０とする。
【００２３】
周波数特性判定・補正強度算出部７１は、スペクトル信号４を入力信号とし、入力するスペクトル信号から周波数特性を判定して、動画ボヤケの周波数特性を有する領域を検出し、検出した動画ボヤケ量に応じて、補正強度を算出し、ゲイン信号７５ａを出力する。
【００２４】
動画ボヤケ低減処理部７６は、動き領域検出・補正範囲算出部７２で算出した補正角７３ａ、分散値７４ａと、周波数特性判定・補正強度算出部７１で取得したゲイン信号７５ａにより、数２に従って、ＤｏＧフィルタによるボヤケ低減処理を行う。
【００２５】
ここで、動画ボヤケ低減処理部７６で動画ボヤケのみを低減するためには、周波数特性判定・補正強度算出部７１における周波数特性判定処理及び動画ボヤケ量の算出処理が重要となる。図４、図５および図６を用いて、上記周波数特性判定処理を及び上記動画ボヤケ量の算出方法の一例を説明する。図５ａ〜ｃは、縦軸を垂直方向の周波数成分、横軸を水平方向の周波数成分とし、斜線部分をスペクトルの分布とした図である。図５ａは、テクスチャを含む一般的な静止映像の周波数分布で、このような周波数分布を有する映像は、例えば、図４ａの映像中で木等の映像が該当する。図５ｂは、中心にスペクトルが分布すなわち低周波成分に分布している映像である。このような周波数分布を有する映像は、例えば、図４ａの映像中で、風船、背景の空や家の壁の周波数分布に該当する。図５ｃのスペクトルは、垂直方向が高周波成分に分布し、水平方向が低周波成分に分布している。このような周波数分布を有する映像は、例えば、図４ａの映像中で、屋根の横縞模様や、水平移動によって水平方向に伸びていくバスの動画ボヤケに該当する。
【００２６】
次に図６ａ〜ｃの枡は、図５ａ〜ｃのそれぞれ量子化した周波数空間の周波数帯を分割した領域を表し、太線の矩形は周波数分布を判定する範囲である。例えば、判定にはスペクトル値に対する閾値を設け、スペクトル値が該閾値以上であれば、該当する周波数帯に分布するとしてカウントする。尚、判定時にスペクトルの対数を使用してもよい。
【００２７】
図５ａの周波数分布を図６ｂの矩形で判定すると、当該矩形の範囲外にも、周波数帯分割領域でスペクトルがカウントされるが、図６ａの矩形の場合は、スペクトルがカウントされる周波数帯分割領域を図６ａの矩形の内側に包含し、矩形の外側の周波数帯分割領域ではカウントされない。このように、スペクトル値が上記閾値以上である周波数帯分割領域を全て包含する最小の矩形領域の場合に、一致と判定する。なお、ここで、当該一致判定をスペクトル値が上記閾値以上である周波数帯分割領域を全て包含する最小の矩形領域の場合と説明したが、スペクトル値が上記閾値以上である周波数帯分割領域のうち、所定の割合以上を包含する最小の矩形領域の場合としてもよい。例えば、所定の割合とは、80％や、90％など、設計に応じて設定すればよい。
【００２８】
動画ボヤケは図５ｃのような一方向に分布する映像の１つであるため、一方向に分布する図６ｃに示すような動画ボヤケ判別用パターンを複数作成し、上記一致判定によりパターン・マッチングを行うことで、動画ボヤケの周波数特性を有する領域、すなわち動画ボヤケが存在する可能性がある候補領域を検出できる。動画ボヤケ量は、図６ｃに示すように、パターン・マッチングに用いた判定領域の長方形の横幅に応じて算出できる。これにより、ゲイン信号７５ａを決定すればよい。
【００２９】
また、図６ｃの破線矩形のように、周囲のカウント値を算出すると、水平のボヤケ具合が弱い時には、破線矩形内にも多くのスペクトルがカウントされる。この分布量により補正強度を調整することができる。
【００３０】
以上説明した実施例１の映像処理装置における動画ボヤケの低減処理のフローを図８aを用いて説明する。図８ａに示す通り、動きベクトルの大きさと方向より、動きのある領域を検出して、当該動きのある領域が動画ボヤケである場合の補正範囲を算出する（Ｓ１１）。図４ａに対する当該動きのある領域の検出結果を、図４ｂに示す。図４ｂにおいて、動き領域を白色、静止領域を黒色として示す。さらに、周波数分布に対する周波数特性判定により、動画ボヤケの周波数特性を有する領域を検出し、動画ボヤケ量に応じた補正強度を算出（Ｓ１２）する。Ｓ１１で検出した動きのある領域のうち、Ｓ１２にて検出した動画ボヤケの周波数特性を有する領域に対して、Ｓ１１で算出した補正範囲を用いて、Ｓ１２で算出した補正強度のボヤケ低減処理を行うことにより、図４ｃのように動画ボヤケの存在する範囲に対してボヤケ低減補正を行うことができる（Ｓ１３）。
【００３１】
以上説明した実施例１の映像処理装置における動画ボヤケの低減処理では、入力映像から検出した動きベクトルにより、映像中の動きのある領域を検出し、当該動きのある領域が動画ボヤケである場合の補正範囲（補正方向、補正幅）を算出し、入力映像の周波数変換結果に対して周波数特性判定を行い、動画ボヤケの周波数特性を有する領域の検出及び補正強度の算出を行い、以上の処理によって算出した、補正範囲と補正強度の情報を用いて、検出された動画ボヤケの周波数特性を有する領域にボヤケ低減処理を行う。これにより、動画ボヤケ領域を好適に補正することができる。
【実施例２】
【００３２】
次に、本発明の実施例２に係る映像処理装置の一例について説明する。
【００３３】
本実施例の映像処理装置は、実施例１と同様に図１の構成を有する。例えば、周波数変換部３、動きベクトル検出部５、動画ボヤケ低減部７を有する。但し、実施例２では、動画ボヤケ低減部７の構成が実施例１と異なり、図１０に示す構成を有する。動画ボヤケ低減部７以外の他の構成については実施例と同様に動作するため、説明を省略する。
【００３４】
実施例２に係る動画ボヤケ低減部７は、周波数特性判定・補正範囲算出部７７と、補正強度算出部７８と、動画ボヤケ低減処理部７６から構成される。
【００３５】
動画ボヤケ低減処理には、実施例１と同様に、一例として１次元のDoG（Difference of Gaussian）を用いて説明する。
【００３６】
周波数特性判定・補正範囲算出部７７は、スペクトル信号４を入力とし、周波数特性を判定することで、動画ボヤケの周波数特性を有する領域を検出し、当該領域に動画ボヤケ低減処理を行う場合の補正範囲を示す補正角７３ｂと分散値７４ｂを出力する。具体的には以下の処理を行う。
【００３７】
実施例１で説明した通り、動画ボヤケは図５ｃのような一方向に分布する映像であるため、一方向に分布するパターンを作成し、パターン・マッチングを行うことで動画ボヤケを検出できる。例えば、図５ｃのパターンを３０度毎に回転させて、パターン・マッチングを行うと、３０度の精度でボヤケの方向が分かる。また、ボヤケの広がりは、図５ｃのような楕円パターンが細くなるほど大きい。この性質を利用し、補正範囲を求める。
【００３８】
尚、補正方向の検出には、前記回転による検出でも、必要な角度分のパターンを予め用意してもよい。
【００３９】
また、補正幅は、予め対応する補正幅を設定した幅の異なる複数の楕円パターンを用意して、パターン・マッチングに基づいて算出できる。
【００４０】
以上のように、補正方向と補正幅を算出した後、図１２ｂに示すように補正方向を補正角とし、補正幅を分散値に変換してDoGのパラメータとする。
【００４１】
補正強度算出部７８は、動きベクトル信号６を入力信号とし、例えば動きベクトルの大きさに比例したゲイン値を、ゲイン信号７５ｂとして出力する。
【００４２】
以上説明した実施例２の映像処理装置における動画ボヤケの低減処理のフローを図８ｂを用いて説明する。図８ｂに示す通り、周波数分布の広がりと方向より、動画ボヤケの周波数特性を有する領域を検出し、検出した動画ボヤケの周波数特性を有する領域に対する補正範囲を算出する（Ｓ２１）。図４ａに対する動画ボヤケの周波数特性を有する領域の検出結果を、図４ｄに示す。図４ｄにおいて、動画ボヤケの周波数特性を有する領域領域を白色、その他の領域を黒色として示す。さらに、動きベクトルにより動き量に応じた補正強度を算出（Ｓ２２）する。Ｓ２１では図４ｄに示すように、動画ボヤケの周波数特性を有する領域には、動画ボヤケ以外にも、屋根の横縞模様の領域も検出されてしまうが、このような、動画ボヤケと同様の周波数特性を有する動きのない領域はＳ２２の補正強度の算出において、補正強度が０となる。よって、Ｓ２１で検出した動画ボヤケの周波数特性もしくは動画ボヤケと同等の周波数特性を有する領域に対して、Ｓ２１で算出した補正強度を用いて、Ｓ２２で算出した補正強度のボヤケ低減を行うことにより、図４ｅのように、動画ボヤケの存在する範囲に対してボヤケ低減補正を行うことができる（Ｓ２３）。
【００４３】
以上説明した実施例２の映像処理装置における動画ボヤケの低減処理では、入力映像の周波数変換結果に対して周波数特性判定を行って動画ボヤケの周波数特性を有する領域の検出し、当該動きのある領域が動画ボヤケである場合の補正範囲（補正方向、補正幅）を算出し、入力映像から検出した動きベクトルにより、補正強度の算出を行い、以上の処理によって算出した、補正範囲と補正強度の情報を用いて、検出された動画ボヤケの周波数特性を有する領域にボヤケ低減処理を行う。これにより、動画ボヤケ領域を好適に補正することができる。
【実施例３】
【００４４】
次に、本発明の実施例３に係る映像処理装置の一例について説明する。を、図２の構成図を用いて説明する。
【００４５】
本実施例の映像処理装置は、例えば、図２に示す構成を有する。具体的には、例えば、周波数変換部３、動きベクトル検出部５、動画ボヤケ低減部７などを有する。動画ボヤケ低減部７は、実施例１の構成、実施例２の構成のいずれでもよい。ここで、周波数変換部３、動きベクトル検出部５は、検出部２という１つのブロックを構成してもよい。
【００４６】
以下、実施例１、実施例２と異なる点について説明する。
【００４７】
周波数変換部３はＦＦＴなどの周波数変換を使用し、現フレームと１Ｖ遅延フレームの例えば３２×３２画素範囲に対し周波数変換を行う。該画素範囲が動きベクトルを検出する範囲となる。
また、周波数変換されたスペクトル信号４は動きベクトル検出の入力信号となる。
【００４８】
動きベクトル検出部５は、数式３で示すようにＦＦＴなどの周波数変換後の周波数分布の比により、動きベクトル(ξ,η)を求める。
【数３】
0005506623.tif 000004
【００４９】
検出部の構成を、以上の説明した構成とすることにより、実施例３に係るの映像処理装置は、実施例１、２の映像処理装置の効果に加えて、動きベクトル検出に利用する周波数変換を、動画ボヤケ低減にも流用することで、ブロックマッチングによる動きベクトル検出が不要になり、回路規模低減を図ることができるという効果を有する。
【実施例４】
【００５０】
次に、本発明の実施例４に係る映像処理装置の一例について説明する。本実施例の映像処理装置は、例えば、図３に示す構成を有する。
【００５１】
本発明の実施例１では、入力映像信号に対し、動きベクトルの大きさと方向で補正範囲を算出し、周波数分布についての周波数特性判定によって補正強度を算出する例を示した（以降、方式１）。方式１は、例えば、画面一様に動きベクトルが検出できるスクロール映像等に適している。
【００５２】
一方、本発明の実施例２では、周波数分布から一定方向のボヤケ領域に対するパターン・マッチングにより補正範囲を算出し、動き量により補正強度を算出する例を示した（以降、方式２）。方式２は、方式１に比べ補正範囲に対する感度は鈍いが、検出できた動画ボヤケ領域に関しては誤補正が少ないため、例えば、動きの少ない映像や細かな動きがある映像に適している。
【００５３】
これに対し、本発明の実施例４では、コンテンツ関連情報や番組関連情報等の外部情報や、さらに、動きや、周波数分布等の信号処理情報に応じて、適応的に上記方式１と上記方式２との切換えを可能にする方式である。以下、この詳細について説明する。
【００５４】
実施例４の映像処理装置は、図３に示すように、例えば、検出部２、動画ボヤケ低減部１５、解析部１１などを有する。検出部２は、実施例１、２の構成、実施例３の構成のいずれでもよい。
【００５５】
検出部２は、入力映像信号１を入力信号として、周波数変換によりスペクトル信号４を、動きベクトル検出により動きベクトル信号６を出力する。
【００５６】
解析部１１は、スペクトル信号４と、動きベクトル信号６をを入力信号とし、１フレーム中の映像の動きや周波数分布等の特性を解析して動画ボヤケ低減部１５の処理方式の制御信号を出力する。例えば、動きベクトル信号６から映像画面中の動きベクトルヒストグラムを生成し、スペクトル信号４から周波数ヒストグラムを生成し、動きベクトルヒストグラムが映像がスクロールしていることを示している場合や周波数ヒストグラムにおいて周波数成分が一方向に偏る場合は方式１を選択し、それ以外の場合は方式２を選択する選択信号９を出力してもよい。
【００５７】
また、別の制御信号の出力例としては、スペクトル信号４から周波数ヒストグラムを生成し、周波数ヒストグラムにおいて、高周波成分が多く分布する場合は補正強度を下げ、低周波成分に分布する場合は補正強度を上げる等の操作を行うゲイン信号１０を出力してもよい。
【００５８】
また、別の制御信号の出力例としては、解析部１１は、コンテンツ番組のジャンル情報などのコンテンツ関連情報や番組関連情報等により、動きボヤケ低減処理の方式を選択し、選択信号を出力してもよい。例えば、スポーツ番組の場合は方式１にを選択する選択信号９を出力し、歌番組の場合は方式２を選択する選択信号９を出力してもよい。この場合は、解析部１１は情報１４を入力信号とし、情報１４に入力映像信号１とともに放送されるコンテンツのジャンル情報などのコンテンツ関連情報や番組関連情報を含めればよい。
【００５９】
また、ＢＤや地上波デジタル放送等のフルＨＤ映像の場合は補正強度を下げ、ＤＶＤ等のＳＤ映像の場合は補正強度を上げる等、映像の解像度に応じたゲイン信号１０の出力を行ってもよい。解析部１１は情報１４を入力信号とし、情報１４に映像の解像度の情報を含めればよい。  図１１を用いて本発明の実施例４に係る映像処理装置の動画ボヤケ低減部１５の構成を説明する。動画ボヤケ低減部１５は、入力映像信号１、スペクトル信号４、動きベクトル信号６、方式１または方式２を選択する選択信号９、全体の補正強度を調整するゲイン信号１０など制御信号を入力とし、動画ボヤケ低減を行った出力映像信号８を出力する。
【００６０】
周波数特性判定・補正範囲算出・補正強度算出部（周波数）７９は、スペクトル信号４を入力とし、方式１の処理に用いるゲイン信号７５aを出力する。周波数特性判定・補正範囲算出・補正強度算出部（周波数）７９におけるゲイン信号７５aを出力するため補正強度の算出処理は、実施例１で説明した、周波数特性判定・補正強度算出部７１によるゲイン信号７５aを出力するため補正強度の算出処理と同様であるため、説明を省略する。また、周波数特性判定・補正範囲算出・補正強度算出部（周波数）７９は、方式２の処理に用いる補正角７３ｂ、分散値７４ｂを出力する。周波数特性判定・補正範囲算出・補正強度算出部（周波数）７９における補正角７３ｂ、分散値７４ｂの算出処理は、実施例２で説明した、周波数特性判定・補正範囲算出部７７による補正角７３ｂ、分散値７４ｂの算出処理と同様であるため、説明を省略する。
【００６１】
動き領域検出・補正範囲算出・補正強度算出部（ベクトル）８０は、ベクトル信号６を入力とし、方式１の処理に用いる補正角７３a、分散値７４aを出力する。動き領域検出・補正範囲算出・補正強度算出部（ベクトル）８０における補正角７３a、分散値７４aの算出処理は、実施例１で説明した、動き領域検出・補正範囲算出部７２による補正角７３a、分散値７４aの算出処理と同様であるため、説明を省略する。また、動き領域検出・補正範囲算出・補正強度算出部（ベクトル）８０は、方式２の処理に用いるゲイン信号７５ｂを出力する。動き領域検出・補正範囲算出・補正強度算出部（ベクトル）８０におけるゲイン信号７５ｂを出力するため補正強度の算出処理は、実施例２で説明した、補正強度算出部７８によるゲイン信号７５ｂを出力するため補正強度の算出処理と同様であるため、説明を省略する。
【００６２】
セレクタ部は入力された選択信号９により、方式１の処理に用いる信号７３ａ〜７５ａと方式２の処理に用いる信号７３ｂ〜７５ｂとを選択し、選択した動画ボヤケ低減処理のパラメータ、補正角７３、分散値７４、ゲイン信号７５を動画ボヤケ低減処理部７６に出力する。ここで、ゲイン信号７５は、入力ゲイン信号１０と乗算して動画ボヤケ低減処理へ入力すれば、解析部１１の解析結果に応じた補正強度の調整が可能となる。
【００６３】
以上説明した実施例４の映像処理装置における動画ボヤケの低減処理では、映像の動き特性、周波数分布の特性、コンテンツ関連情報や番組関連情報、または映像の解像度の情報に応じて、複数の動画ボヤケ低減処理の補正特性や補正量を切り換えることにより、より好適に動画ボヤケ低減を行うことが可能となる。
【符号の説明】
【００６４】
１            入力映像信号
２            検出部
３            周波数変換部
４            スペクトル信号
５            動きベクトル検出部
６            動きベクトル信号
７            動画ボヤケ低減部
８            出力映像信号
９            選択信号
１０            ゲイン
１１            解析部
１４            情報
１５            動画ボヤケ低減部
７１            周波数特性判定・補正範囲算出部（周波数）
７２            動き領域検出・補正強度算出部（ベクトル）
７３            補正角
７３ａ          補正角（ベクトル）
７３ｂ          補正角（周波数）
７４            分散値
７４ａ          分散値（ベクトル）
７４ｂ          分散値（周波数）
７５            ゲイン
７５ａ          ゲイン（周波数）
７５ｂ          ゲイン（ベクトル）
７６            動画ボヤケ低減処理部
７７            周波数特性判定・補正強度算出部（周波数）
７８            補正範囲算出部（ベクトル）
７９            周波数特性判定・補正範囲算出・補正強度算出部（周波数）
８０            動き領域検出・補正範囲算出・補正強度算出部（ベクトル）
【図１】
0005506623.tif 000005
【図２】
0005506623.tif 000006
【図３】
0005506623.tif 000007
【図４ａ】
0005506623.tif 000008
【図４ｂ】
0005506623.tif 000009
【図４ｃ】
0005506623.tif 000010
【図４ｄ】
0005506623.tif 000011
【図４ｅ】
0005506623.tif 000012
【図５ａ】
0005506623.tif 000013
【図５ｂ】
0005506623.tif 000014
【図５ｃ】
0005506623.tif 000015
【図６ａ】
0005506623.tif 000016
【図６ｂ】
0005506623.tif 000017
【図６ｃ】
0005506623.tif 000018
【図７】
0005506623.tif 000019
【図８ａ】
0005506623.tif 000020
【図８ｂ】
0005506623.tif 000021
【図９】
0005506623.tif 000022
【図１０】
0005506623.tif 000023
【図１１】
0005506623.tif 000024
【図１２ａ】
0005506623.tif 000025
【図１２ｂ】
0005506623.tif 000026