(57)【要約】【課題】画像の変化に応じて鮮鋭化処理又はコアリング処理を制御することが可能な画像処理装置を提供すること。【解決手段】画像処理装置は、画像データに含まれた複数フレーム間の差分値を検出する検出手段と、前記検出された差分値に応じて、前記画像データに対する鮮鋭化効果ゲインを制御する鮮鋭化パラメータを設定する鮮鋭化制御手段と、前記鮮鋭化パラメータに基づき前記画像データに対して鮮鋭化処理を実行する鮮鋭化処理手段と、を備えている。【選択図】図１
2010199994.tif 000002
【特許請求の範囲】
【請求項１】
画像データに含まれた複数フレーム間の差分値を検出する検出手段と、
前記検出された差分値に応じて、前記画像データに対する鮮鋭化効果ゲインを制御する鮮鋭化パラメータを設定する鮮鋭化制御手段と、
前記鮮鋭化パラメータに基づき前記画像データに対して鮮鋭化処理を実行する鮮鋭化処理手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
画像データに含まれた複数フレーム間の差分値を検出する検出手段と、
前記検出された差分値に応じて、前記画像データに対するコアリング効果を制御するコアリングパラメータを設定するコアリング制御手段と、
前記コアリングパラメータに基づき前記画像データに対してコアリング処理を実行するコアリング処理手段と、
を備えたことを特徴とする画像処理装置。
【請求項３】
前記検出された差分値に応じて、前記画像データに対するコアリング効果を制御するコアリングパラメータを設定するコアリング制御手段と、
前記コアリングパラメータに基づき前記画像データに対してコアリング処理を実行するコアリング処理手段と、
を備えたことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記鮮鋭化制御手段は、第１の差分値の検出に基づき第１の鮮鋭化効果ゲインを得るための第１の鮮鋭化パラメータを設定し、前記第１の差分値より大きい第２の差分値の検出に基づき前記第１の鮮鋭化効果ゲインより小さい第２の鮮鋭化効果ゲインを得るための第２の鮮鋭化パラメータを設定し、
前記鮮鋭化処理手段は、前記第１又は第２の鮮鋭化パラメータに基づき前記画像データに対して鮮鋭化処理を実行する、
ことを特徴とする請求項１又は３に記載の画像処理装置。
【請求項５】
前記コアリング制御手段は、第１の差分値の検出に基づき第１のコアリング効果を得るための第１のコアリングパラメータを設定し、前記第１の差分値より大きい第２の差分値の検出に基づき前記第１のコアリング効果より大きい第２のコアリング効果を得るための第２のコアリングパラメータを設定し、
前記鮮鋭化処理手段は、前記第１又は第２のコアリングパラメータに基づき前記画像データに対してコアリング処理を実行する、
ことを特徴とする請求項２又は３に記載の画像処理装置。
【請求項６】
前記鮮鋭化制御手段は、
第１の閾値及びこの第１の閾値より大きい第２の閾値を設定し、
前記第１の閾値未満の第１の差分値の検出に基づき第１の鮮鋭化効果ゲインを得るための第１の鮮鋭化パラメータを設定し、
前記第２の閾値より大きい第２の差分値の検出に基づき前記第１の鮮鋭化効果ゲインより小さい第２の鮮鋭化効果ゲインを得るための第２の鮮鋭化パラメータを設定し、
前記第１の閾値以上で前記第２の閾値以下の第３の差分値の検出に基づき、前記第１の鮮鋭化効果ゲインより小さく前記第２の鮮鋭化効果ゲインより大きい第３の鮮鋭化効果ゲインを得るための鮮鋭化パラメータであって、且つ前記第３の差分値の増加に応じて減少する前記第３の鮮鋭化効果ゲインを得るための第３の鮮鋭化パラメータを生成し、
前記鮮鋭化処理手段は、前記第１、第２、又は第３の鮮鋭化パラメータに基づき前記画像データに対して鮮鋭化処理を実行する、
ことを特徴とする請求項１又は３に記載の画像処理装置。
【請求項７】
前記コアリング制御手段は、
第１の閾値及びこの第１の閾値より大きい第２の閾値を設定し、
前記第１の閾値未満の第１の差分値の検出に基づき第１のコアリング効果を得るための第１のコアリングパラメータを設定し、
前記第２の閾値より大きい第２の差分値の検出に基づき前記第１のコアリング効果より大きい第２のコアリング効果を得るための第２のコアリングパラメータを設定し、
前記第１の閾値以上で前記第２の閾値以下の第３の差分値の検出に基づき、前記第１のコアリング効果より大きく前記第２のコアリング効果より小さい第３のコアリング効果を得るためのコアリングパラメータであって、且つ前記第３の差分値の増加に応じて増加する前記第３のコアリング効果を得るための第３のコアリングパラメータを生成し、
前記コアリング処理手段は、前記第１、第２、又は第３のコアリングパラメータに基づき前記画像データに対してコアリング処理を実行する、
ことを特徴とする請求項２又は３に記載の画像処理装置。
【請求項８】
放送信号から所望チャンネルの信号を選局する選局手段を備え、
前記検出手段は、前記選局された信号中の画像データに含まれた複数フレーム間の差分値を検出する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
画像データに含まれた複数フレーム間の差分値を検出し、
前記検出された差分値に応じて、前記画像データに対する鮮鋭化効果ゲインを制御する鮮鋭化パラメータを設定し、
前記鮮鋭化パラメータに基づき前記画像データに対して鮮鋭化処理を実行する、
を備えたことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を鮮鋭化する鮮鋭化処理を実行する画像処理装置及び画像処理方法に関する。また、本発明は、画像中のノイズ成分を低減するコアリング処理を実行する画像処理装置に関する。
【背景技術】
【０００２】
近年、ＳＤ（Standard Definition）規格を超える解像度を持つパーソナルコンピュータ用ディスプレイで、映像コンテンツを視聴する機会が増加している。また、プリンタ性能も向上し、高密度な印刷も可能になってきている。さらに、ハイビジョン放送の本格化に伴い、ＨＤ（High Definition）規格対応のテレビジョン受信機も一般家庭に普及してきている。
【０００３】
このような高い解像度をもつ出力機器に比べて、ビデオカメラ等の撮影機器により取得された映像データやＳＤ規格対応のテレビジョン放送、ＤＶＤ等は、解像度が低い。このため、何らかの手段によって、映像データの高解像度化を図る必要がある。また、映像や画像の一部を拡大表示する場合や、ビデオカメラ使用時に、光学ズームを超えてデジタルズームによる撮影を行う場合にも、高解像度化の必要がある。
【０００４】
従来、高解像度化には、線形内挿や３次元畳み込み法（Cubic Convolution）による内挿が用いられていたが、十分な鮮鋭さが得られないという問題があった。そこで、画素と画素との間に新しい画素値データを生成し、高い周波数成分を創造し、鮮鋭化することで、画像データの元の解像度を超える画像を生成する超解像化技術の研究が進められている（特許文献１、特許文献２参照）。また、上述したような映像入出力機器に対して、超解像機能を組み込むための開発も進められている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−０６７１１０号公報
【特許文献２】特開２００８−１４６１９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、このような鮮鋭化処理を実際のデジタルテレビ等の出力機器に実装した場合、画像の状態によっては、この鮮鋭化処理により画質が低下することがあることがわかった。例えば、フレーム差分の多い入力ソース画像に多く発生するブロックノイズが、鮮鋭化処理により強調されてしまうことがある。同様に、コアリング処理によりノイズが強調されてしまうことがある。
【０００７】
本発明の目的は、画像の変化に応じて鮮鋭化処理又はコアリング処理を制御することが可能な画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の一実施形態に係る画像処理装置は、画像データに含まれた複数フレーム間の差分値を検出する検出手段と、前記検出された差分値に応じて、前記画像データに対する鮮鋭化効果ゲインを制御する鮮鋭化パラメータを設定する鮮鋭化制御手段と、前記鮮鋭化パラメータに基づき前記画像データに対して鮮鋭化処理を実行する鮮鋭化処理手段と、を備えている。
【０００９】
本発明の一実施形態に係る画像処理方法は、画像データに含まれた複数フレーム間の差分値を検出し、前記検出された差分値に応じて、前記画像データに対する鮮鋭化効果ゲインを制御する鮮鋭化パラメータを設定し、前記鮮鋭化パラメータに基づき前記画像データに対して鮮鋭化処理を実行する。
【発明の効果】
【００１０】
本発明によれば、画像の変化に応じて鮮鋭化処理又はコアリング処理を制御することが可能な画像処理装置及び画像処理方法を提供できる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係る画像処理装置の概略構成を示す図である。
【図２】フレーム差分のヒストグラム分布に対する重み付け処理の一例を示す図である。
【図３】超解像コアリング処理の効果を制御するための補正パラメータを取得するための入出力変換の一例を示す図である。
【図４】画像鮮鋭化処理の効果を制御するための補正パラメータを取得するための入出力変換の一例を示す図である。
【図５】フレーム差分に応じて、超解像コアリング処理及び画像鮮鋭化処理の効果を可変制御する画質悪化防止処理の一例を示すフローチャートである。
【図６】図１に示す画像処理装置が組み込まれたテレビジョン信号受信装置の概略構成を示す図である。
【図７】超解像コアリング処理モジュールの概略構成を示す図である。
【図８】垂直ノイズ低減回路（コアリング）の概略構成を示す図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照し、本発明の実施形態について説明する。
【００１３】
図１は、本発明の一実施形態に係る画像処理装置の概略構成を示す図である。図１に示すように、画像処理装置は、フレームバッファ１０４、減算器１０９、ヒストグラム生成モジュール１１１、重み付けテーブル記憶モジュール１１２、入出力変換モジュール１１５、加算器１１７、１２６、超解像コアリング処理モジュール１２０、画像鮮鋭化処理モジュール１２７を備えている。
【００１４】
超解像コアリング処理モジュール１２０には、入力映像信号１０１（輝度：Ｙ）、１０２（色信号：Ｃｂ／Ｐｂ）、１０３（色信号：Ｃｒ／Ｐｒ）が入力される。フレームバッファ１０４及び減算器１０９には、入力映像信号１０１（輝度：Ｙ）が入力される。超解像コアリング処理モジュール１２０は、超解像コアリング処理を実行し、ここでいう超解像コアリング処理とは、超解像処理によって生じ得るノイズ成分を抑える処理を意味する。フレームバッファ１０４は、現在フレーム入力モジュール１０５と１フレーム遅延出力モジュール１０６とを備え、現在フレーム入力モジュール１０５が現在フレームの輝度信号を入力し、１フレーム遅延出力モジュール１０６が現在フレームに対して１フレーム遅延した遅延フレームの輝度信号を出力する。これにより、減算器１０９は、現在フレームの輝度信号と遅延フレーム輝度信号との差分値１１０を出力する。
【００１５】
ヒストグラム生成部１１１は、差分値１１０に基づき、フレーム差分を示すヒストグラム分布（図２参照）を生成する。
【００１６】
図２は、ヒストグラム分布に対する重み付け処理の一例を示す図である。図２に示すように、ヒストグラム生成モジュール１１１は、ヒストグラム分布の各々のレベルの度数に対して、各々のレベルに設定された重み付け係数を乗算し、全てのレベルの度数の和を取得し、現在フレームと遅延フレームとのフレーム差分値を算出し、フレーム差分値を入出力変換モジュール１１５へ出力する。
【００１７】
入出力変換モジュール１１５は、差分値に応じた第１の補正パラメータ（オフセットデータ）を加算器１１７へ出力し、また、差分値に応じた第２の補正パラメータ（オフセットデータ）を加算器１２６へ出力する。なお、輝度レベル遷移状態判定モジュール１０８は、第１又は第２の補正パラメータが急激あるいは頻繁に変動しないように、修正した第１又は第２の補正パラメータを出力してもよい。
【００１８】
加算器１１０は、超解像コアリングイニシャルパラメータ１１８と第１の補正パラメータとを加算し超解像コアリングパラメータを生成し、超解像コアリングパラメータを超解像コアリング処理モジュール１２０へ出力する。つまり、加算器１１０は、差分値に応じて補正された超解像コアリングパラメータを超解像コアリング処理モジュール１２０に対して設定する。
【００１９】
加算器１２６は、画像鮮鋭化イニシャルパラメータ１２５と第２の補正パラメータとを加算し画像鮮鋭化パラメータを生成し、画像鮮鋭化パラメータを画像鮮鋭化処理モジュール１２７へ出力する。つまり、加算器１２６は、差分値に応じて補正された画像鮮鋭化パラメータを画像鮮鋭化処理モジュール１２７に対して設定する。
【００２０】
これにより、超解像コアリング処理モジュール１２０は、差分値に応じて、超解像コアリング効果を制御することができる。つまり、超解像コアリング処理モジュール１２０は、差分値の増大に対応して、超解像コアリング効果を強めることができる。これにより、ＭＰＥＧノイズの悪化を防止することができ、ユーザーは入力画像に最適な超解像コアリング処理が適用された映像を楽しむことができる。
【００２１】
また、画像鮮鋭化処理モジュール１２７も、差分値に応じて、画像鮮鋭化効果を制御することができる。つまり、画像鮮鋭化処理モジュール１２７も、差分値の増大に対応して、画像鮮鋭化効果を低減することができる。これにより、ＭＰＥＧノイズの悪化を防止することができ、ユーザーは入力画像に最適な画像鮮鋭化処理が適用された映像を楽しむことができる。
【００２２】
ここで、超解像コアリング処理モジュール１２０及び画像鮮鋭化処理モジュール１２７による超解像処理について補足する。例えば、画像鮮鋭化処理モジュール１２７は、第１解像度である低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、第２解像度である高解像度の画像信号を復元する鮮鋭化処理を行う。ここで、「本来の画素値」とは、例えば、低解像度（第１解像度）の画像信号を得たときと同じ被写体を、高解像度（第２解像度）のカメラで撮像したときに得られる画像信号の各画素が示す値をいう。また、「推定して画素を増やす」とは、対象とする画像の特徴を捉えて、同一フレーム内、またはフレーム間において相関の高い画像から、本来の画素値を推定して、新たな画素に対応付ける画素値とすることを意味する。つまり、画像の相関性を利用する。
【００２３】
さらに、詳しく説明すると、まず、オリジナルの入力映像から、アップコンバート処理によって、仮のフルＨＤ高解像度映像を作る。つまり、隣り合う画素の情報をもとに間の画素を補間し、仮のフルＨＤ高解像度映像を作る。補間された画素は必ずしもオリジナル映像にあったものとは言えない。つまり、計算誤差によるノイズやエッジの乱れなどが発生し得る。
【００２４】
次に、撮像モデル関数に基づき、仮のフルＨＤ高解像度映像から、オリジナル映像と同じ解像度にダウンコンバートした映像を作る。撮像モデル関数とは、一般的なカメラが撮像素子の情報を映像信号に変換するのと同じ処理を計算で再現するものである。
【００２５】
ダウンコンバートした映像はオリジナルの入力映像と同じものになるはずであるが、アップコンバート処理における計算誤差などのため、ダウンコンバートした映像とオリジナルの入力映像との間には相違部分が発生する。この相違部分を検出し、また、周辺の画素の情報などを参考に計算誤差が出ないように補正して、オリジナルの入力映像に近い超解像処理された出力映像が生成される。
【００２６】
つまり、超解像処理とは、ダウンコンバートした映像とオリジナルの入力映像とを比較し、オリジナルの入力映像が本来持っているはずの信号を復元する技術である。なお、比較と復元の処理を繰り返すほどに、超解像処理の精度は向上する。従って、比較と復元の処理を１回だけ行う処理も超解像処理であるし、比較と復元の処理を複数回繰り返す処理も超解像処理である。時間に余裕がある場合、例えば録画した映像を後で視聴する場合には、比較と復元の処理を複数回繰り返す超解像処理を利用することができる。
【００２７】
なお、本実施形態の超解像処理は、例えば、特開２００７−３１０８３７号公報、特開２００８−９８８０３号公報及び特開２０００−１８８６８０号公報等に開示された公知・公用の技術も含む。本実施形態の超解像処理としては、例えば、入力画像の標本化周期で決まるナイキスト周波数より高い周波数成分を有する画像を復元する技術を用いることができる。
【００２８】
例えば、特開２００７−３１０８３７号公報に開示された超解像処理を用いる場合には、複数の中解像度フレームのそれぞれに対してフレーム中の注目画素を含む注目画像領域中の画素値の変化パターンに最も近い複数の注目画像領域に対応する複数の対応点を基準フレームの中から選択し、対応点での輝度の標本値を対応点に対応している注目画素の画素値に設定し、複数の標本値の大きさと、複数の対応点の配置とに基づいて、基準フレームの画素数よりも多い画素数の高解像度フレームであって基準フレームに対応する高解像度フレームの画素値を算出することにより、低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する。
【００２９】
また、特開２００８−９８８０３号公報に開示された同一フレーム画像内の自己合同位置探索を利用した超解像処理を用いる場合には、中解像度フレームの探索領域の各画素の誤差を比較して最小となる第１の画素位置を算出し、第１の画素位置、及びこの第１の誤差、並びに第１の画素の周辺の第２の画素位置、及びこの第２の誤差に基づいて、探索領域のなかで誤差が最小となる位置を小数精度で算出する。そして、この位置を終点、及び注目画素を始点とする小数精度ベクトルを算出し、この小数精度ベクトルを用いて、探索領域に含まれない画面上の画素を終点とする小数精度ベクトルの外挿ベクトルを算出する。そして、小数精度ベクトル、外挿ベクトル、及び画像信号から取得された画素値に基づいて、画像信号に含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する。本実施形態の超解像処理は、このような処理を行うことにより、低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する。
【００３０】
また、特開２０００−１８８６８０号公報に開示された複数フレーム画像間でのマッピングを利用した超解像処理を用いることもできる。
【００３１】
また、本実施形態の超解像処理では、引き伸ばした映像に独自のアルゴリズムを加えることで一度低解像度映像に変換、さらにその映像をオリジナルの入力映像と比較して差分を検出して更に補正処理を施すことで、高画質処理がされてもよい。
【００３２】
ただし、本実施形態の超解像処理の手法は、上記に限定されるものではなく、低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する処理であったり、あらゆる手法を適用することができる。
【００３３】
以下、超解像コアリング処理及び画像鮮鋭化処理の効果を可変制御する処理をさらに詳細に説明する。
【００３４】
図５は、差分値に応じて、超解像コアリング処理及び画像鮮鋭化処理の効果を可変制御する画質悪化防止処理の一例を示すフローチャートである。なお、本実施形態では、差分値に応じて、超解像コアリング処理及び画像鮮鋭化処理の二つの処理を可変制御する画質悪化防止処理について説明する。しかし、本発明はこれに限定されるものではない。例えば、以下説明する画質悪化防止処理が、差分値に応じて、超解像コアリング処理及び画像鮮鋭化処理のどちらか一方だけの効果を可変制御してもよい。また、以下説明する画質悪化防止処理は、超解像コアリング処理及び画像鮮鋭化処理以外の画像処理に対して適用することもできる。
【００３５】
上記したように、ヒストグラム生成部１１１は、フレーム差分を示すヒストグラム分布を生成し（ステップＳＡ１）、重み付け処理等を経て、フレーム差分値を算出する（ステップＳＡ２）。入出力変換モジュール１１５は、フレーム差分値に応じて、図３に示す入出力変換Ｃ１を経て、第１の補正パラメータを出力する（ステップＳＡ３）。同様に、入出力変換モジュール１１５は、フレーム差分値に応じて、図４に示す入出力変換Ｃ２を経て、第２の補正パラメータを出力する（ステップＳＡ４）。
【００３６】
図３は、ステップＳＡ３の入出力変換Ｃ１の一例を示す図である。入出力変換Ｃ１では、入力−出力のスレッシュレベル（閾値）を２点とした変換関数を挙げている。図３に示すように、ＩＮ１に対してＯＵＴ１を、ＩＮ２に対してＯＵＴ２を設定する。なお、図３に示す入力スレッシュレベルと出力レベルの関係は一例であり、画質悪化防止効果を引き出すために、自由に変更することができる。
【００３７】
図３に示すように、ＩＮ１とＩＮ２の間のような入力値（ＩＮ１以上且つＩＮ２以下）に関しては線形補間を行うことでＯＵＴ１からＯＵＴ２へ遷移する値を出力する。入力値がＩＮ１未満の場合は、常にＯＵＴ１を出力する。また入力値がＩＮ２を超える場合は、ＯＵＴ２を常に出力する。
【００３８】
入出力変換Ｃ１（ステップＳＡ３）により得られた値を、超解像コアリング処理モジュール１２０への第１の補正パラメータ（オフセットデータ）として加算器１１７へ出力する。加算器１１７は、超解像コアリングイニシャルパラメータ１１８と第１の補正パラメータとを加算し超解像コアリングパラメータ（超解像コアリングオフセットパラメータ）を生成し、超解像コアリングパラメータを超解像コアリング処理モジュール１２０へ出力する（ステップＳＡ５）。
【００３９】
つまり、超解像コアリング処理モジュール１２０に入力される超解像コアリングパラメータは、以下のようになる。
【００４０】
（１）ＩＮ１未満の第１の差分値の検出時には、第１のコアリング効果を得るための第１の超解像コアリングパラメータが設定される。
【００４１】
（２）ＩＮ２より大きい第２の差分値の検出時には、第１のコアリング効果より大きい第２のコアリング効果を得るための第２の超解像コアリングパラメータが設定される。
【００４２】
（３）ＩＮ１以上でＩＮ２以下の第３の差分値の検出に基づき、第１のコアリング効果より大きく第２のコアリング効果より小さい第３のコアリング効果を得るためのコアリングパラメータであって、且つ第３の差分値の増加に応じて増加する第３のコアリング効果を得るための第３のコアリングパラメータが設定される。
【００４３】
これにより、超解像コアリング処理モジュール１２０は、差分値の変化に応じて補正された超解像コアリングパラメータ（超解像コアリングオフセットパラメータ）に基づき、差分値の変化に応じた超解像コアリング処理を実行することができる（ステップＳＡ７）。つまり、差分値の増大に応じて、超解像コアリングの効果を強め、ＭＰＥＧノイズの悪化を防止することができる。図１に示すように、超解像コアリング処理モジュール１２０は、入力映像信号１０１、１０２、１０３に対応した超解像コアリング処理済み映像信号１２１（輝度：Ｙ’）、１２２（色信号：Ｃｂ’／Ｐｂ’）、１２３（色信号：Ｃｒ’／Ｐｒ’）を出力する。
【００４４】
図４は、ステップＳＡ４の入出力変換Ｃ２の一例を示す図である。入出力変換Ｃ２では、入力−出力のスレッシュレベル（閾値）を２点とした変換関数を挙げている。図４に示すように、ＩＮ１に対してＯＵＴ１を、ＩＮ２に対してＯＵＴ２を設定する。なお、図４に示す入力スレッシュレベルと出力レベルの関係は一例であり、画質悪化防止効果を引き出すために、自由に変更することができる。
【００４５】
図４に示すように、ＩＮ１とＩＮ２の間のような入力値（ＩＮ１以上且つＩＮ２以下）に関しては線形補間を行うことでＯＵＴ１からＯＵＴ２へ遷移する値を出力する。入力値がＩＮ１未満の場合は、常にＯＵＴ２を出力する。また入力値がＩＮ２を超える場合は、ＯＵＴ１を常に出力する。
【００４６】
入出力変換Ｃ２（ステップＳＡ４）により得られた値を、画像鮮鋭化処理モジュール１２７への第２の補正パラメータとして加算器１２６へ出力する。加算器１２６は、画像鮮鋭化イニシャルパラメータと第２の補正パラメータとを加算し画像鮮鋭化パラメータ（画像鮮鋭化オフセットパラメータ）を生成し、画像鮮鋭化パラメータを画像鮮鋭化処理モジュール１２７へ出力する（ステップＳＡ６）。
【００４７】
つまり、画像鮮鋭化処理モジュール１２７に入力される画像鮮鋭化パラメータは、以下のようになる。
【００４８】
（１）ＩＮ１未満の第１の差分値の検出時には、第１の鮮鋭化効果ゲインを得るための第１の鮮鋭化パラメータが設定される。
【００４９】
（２）ＩＮ２より大きい第２の差分値の検出時には、第１の鮮鋭化効果ゲインより小さい第２の鮮鋭化効果ゲインを得るための第２の鮮鋭化パラメータが設定される。
【００５０】
（３）ＩＮ１以上でＩＮ２以下の第３の差分値の検出時には、第１の鮮鋭化効果ゲインより小さく第２の鮮鋭化効果ゲインより大きい第３の鮮鋭化効果ゲインを得るための鮮鋭化パラメータであって、且つ第３の差分値の増加に応じて減少する第３の鮮鋭化効果ゲインを得るための第３の鮮鋭化パラメータが設定される。
【００５１】
これにより、画像鮮鋭化処理モジュール１２７は、差分値の変化に応じて補正された画像鮮鋭化パラメータ（画像鮮鋭化オフセットパラメータ）に基づき、差分値の変化に応じた画像鮮鋭化処理を実行することができる（ステップＳＡ８）。つまり、差分値の増大に応じて、画像鮮鋭化ゲインを下げて、ＭＰＥＧノイズの悪化を防止することができる。図１に示すように、画像鮮鋭化処理モジュール１２７は、超解像コアリング処理済み映像信号１２１、１２２、１２３に対応した画像鮮鋭化処理済み映像信号１２８（輝度：Ｙ’’）、１２９（色信号：Ｃｂ’’／Ｐｂ’’）、１３０（色信号：Ｃｒ’’／Ｐｒ’’）を出力する。
【００５２】
上記説明した画像処理装置は、ＭＰＥＧノイズが出やすい状況を検出することができ、この検出時に超解像コアリングの効果を強め画像鮮鋭化ゲインを下げることができる。これにより、その他の画像に影響することなしに、ＭＰＥＧノイズを軽減できる。具体的には、動画成分の多い画像でのデジタル信号特有のブロックノイズによる画質品位劣化を防止することができる。
【００５３】
上記説明した画像処理装置を適用しなければ、例えば、超解像コアリングパラメータおよび画像鮮鋭化パラメータは固定されたままとなり、ＭＰＥＧノイズが出やすい状況で、ＭＰＥＧノイズを強調してしまうことになる。
【００５４】
図６は、図１に示す画像処理装置が組み込まれたテレビジョン信号受信装置の概略構成を示す図である。
【００５５】
図８に示すようにテレビジョン信号受信装置は、信号処理モジュール３４を備え、信号処理モジュール３４は、図１に示す画像処理装置を画像処理モジュールとして含む。デジタルテレビジョン放送受信用のアンテナ２２で受信したデジタルテレビジョン放送信号は、入力端子２３を介してチューナ２４に供給される。このチューナ２４は、入力されたデジタルテレビジョン放送信号から所望のチャンネルの信号を選局し復調している。そして、このチューナ２４から出力された信号は、デコーダ２５に供給されて、ＭＰＥＧデコーダ４１等により、ＭＰＥＧ（moving picture experts group）２デコード処理される。
【００５６】
またチューナ２４の出力は、セレクタ２６にも供給されている。この信号から映像・音声情報などが分離され、この映像・音声情報が制御部３５を介して記憶部において記録されることも可能である。
【００５７】
さらに、アナログテレビジョン放送受信用のアンテナ２７で受信したアナログテレビジョン放送信号は、入力端子２８を介してチューナ２９に供給される。このチューナ２９は、入力されたアナログテレビジョン放送信号から所望のチャンネルの信号を選局し復調している。そして、このチューナ２９から出力された信号は、Ａ／Ｄ（analog／digital）変換部３０によりデジタル化された後、上記セレクタ２６に出力される。
【００５８】
また、アナログ信号用の入力端子３１に供給されたアナログの映像及び音声信号は、Ａ／Ｄ変換部３２に供給されてデジタル化された後、上記セレクタ２６に出力される。さらに、デジタル信号用の入力端子３３に供給されたデジタルの映像及び音声信号は、そのまま上記セレクタ２６に供給される。
【００５９】
Ａ／Ｄ変換された信号が、記憶部にて記録される場合は、セレクタ２６に付随しているＭＰＥＧエンコーダ４２により、所定のフォーマット例えばＭＰＥＧ（moving picture experts group）２方式による圧縮処理が施された後、記憶部にて記録される。
【００６０】
上記セレクタ２６は、４箇所の入力デジタル映像及び音声信号から１つを選択して、信号処理モジュール３４に供給している。この信号処理モジュール３４は、入力されたデジタル映像信号に所定の信号処理を施して上記映像表示器１４での映像表示に供させている。この映像表示部１４としては、例えば、液晶ディスプレイやプラズマディスプレイ等でなるフラットパネルディスプレイが採用される。また、信号処理モジュール３４は、入力されたデジタル音声信号に所定の信号処理を施し、アナログ化してスピーカ１５に出力することにより、音声再生を行なっている。
【００６１】
ここで、このテレビジョン信号受信装置は、上記した各種の受信動作を含む種々の動作を制御部３５によって統括的に制御されている。この制御部３５は、ＣＰＵ（central processing unit）等を内蔵したマイクロプロセッサであり、操作部１６や操作子（図示せず）からの操作情報、または、上記リモートコントローラ１７から送信された操作情報を受光部１８で受けて処理することにより、その操作内容が反映されるように各部をそれぞれ制御している。
【００６２】
この場合、制御部３５は、メモリ３６を使用している。このメモリ３６は、主として、そのＣＰＵが実行する制御プログラムを格納したＲＯＭ（read only memory）と、該ＣＰＵに作業エリアを提供するためのＲＡＭ（random access memory）と、各種の設定情報及び制御情報等が格納される不揮発性メモリとを備えている。
【００６３】
次に、図７及び図８を参照して、超解像コアリング処理について説明する。例えば、図７に示すように、超解像コアリング処理モジュール１２０は構成されている。入力映像信号は、水平ノイズ低減回路１２０２、フレーム遅延回路１２０５、フレーム間差分情報計数回路１２０６に入力される。
【００６４】
水平ノイズ低減回路１２０２は、例えばクロック遅延素子と係数器を用いたフィルタであり、水平方向の水平ライン上のノイズの低減処理を行う。水平ノイズ低減回路１２０２の出力は、５タップライン遅延回路１２０３に入力される。５タップライン遅延回路１２０３は、複数のライン遅延回路を用いて、水平ラインを５ライン分同時化する。この同時化されたライン信号は、垂直ノイズ低減回路１２０４に入力され、垂直方向のノイズ低減処理が行われ、出力端子に出力される。
【００６５】
ここで、上記した水平ノイズ低減回路１２０２、及び垂直ノイズ低減回路１２０４に対しては、そのノイズ低減量を制御するために、上記した超解像コアリングパラメータが入力されている。水平ノイズ低減回路１２０２は、超解像コアリングパラメータに基づき、ノイズ低減レベルが制御され、水平方向の高域成分のコアリング処理によりノイズを低減している。また、垂直ノイズ低減回路１２０４も、超解像コアリングパラメータに基づき、ノイズ低減レベルが制御され、垂直方向の高域成分のコアリング処理によりノイズを低減している。
【００６６】
図８は、図７に示す垂直ノイズ低減回路１２０４の一例を示す図である。５タップライン遅延回路１２０３からの信号は、垂直バンドパスフィルタ１２０４ａに入力される。垂直バンドバスフィルタ１２０４ａは、入力信号を用いてフィルタリング処理を行い、ノイズ成分が含まれる垂直高域成分を抽出する。この垂直高域成分は、リミッタ１２０４ｂに入力され、超解像コアリングパラメータにより、例えば振幅制限を受けて、減算器１２０４ｃに入力される。減算器１２０４ｃでは、ライン遅延出力信号のセンタータップの信号からリミッタ１２０４ｂの出力を減算し、垂直高域成分であるノイズを低減する。これにより、減算器１２０４ｃからは、高域コアリング方式よるノイズ低減された映像信号を得ることができる。リミッタ１２０４ｃの出力の振幅の大きさが、ノイズ低減の程度となる。
【００６７】
なお、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【符号の説明】
【００６８】
１０４…フレームバッファ、１１１…ヒストグラム生成モジュール、１１２…重み付けテーブル記憶モジュール、１１５…入出力変換モジュール、１２０…超解像コアリング処理モジュール、１２７…画像鮮鋭化処理モジュール
【図１】
2010199994.tif 000003
【図２】
2010199994.tif 000004
【図３】
2010199994.tif 000005
【図４】
2010199994.tif 000006
【図５】
2010199994.tif 000007
【図６】
2010199994.tif 000008
【図７】
2010199994.tif 000009
【図８】
2010199994.tif 000010
【手続補正書】
【提出日】平成22年4月26日(2010.4.26)
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明の目的は、画像の変化に応じて鮮鋭化処理又はコアリング処理を制御することが可能な画像処理装置を提供することにある。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明によれば、画像の変化に応じて鮮鋭化処理又はコアリング処理を制御することが可能な画像処理装置を提供できる。
【手続補正５】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像データに含まれた複数フレーム間の差分値を検出する検出手段と、
前記検出された差分値に応じて、前記画像データに対する鮮鋭化効果ゲインを制御する鮮鋭化パラメータを設定する鮮鋭化制御手段と、
前記鮮鋭化パラメータに基づき前記画像データに対して鮮鋭化処理を実行する鮮鋭化処理手段と、
前記検出された差分値に応じて、前記画像データに対するコアリング効果を制御するコアリングパラメータを設定するコアリング制御手段と、
前記コアリングパラメータに基づき前記画像データに対してコアリング処理を実行するコアリング処理手段と、
を備え、
前記コアリング処理手段は、前記鮮鋭化処理によって生じ得るノイズ成分を抑えるための前記コアリング処理を実行することを特徴とする画像処理装置。
【請求項２】
前記鮮鋭化制御手段は、第１の差分値の検出に基づき第１の鮮鋭化効果ゲインを得るための第１の鮮鋭化パラメータを設定し、前記第１の差分値より大きい第２の差分値の検出に基づき前記第１の鮮鋭化効果ゲインより小さい第２の鮮鋭化効果ゲインを得るための第２の鮮鋭化パラメータを設定し、
前記鮮鋭化処理手段は、前記第１又は第２の鮮鋭化パラメータに基づき前記画像データに対して鮮鋭化処理を実行する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記コアリング制御手段は、第１の差分値の検出に基づき第１のコアリング効果を得るための第１のコアリングパラメータを設定し、前記第１の差分値より大きい第２の差分値の検出に基づき前記第１のコアリング効果より大きい第２のコアリング効果を得るための第２のコアリングパラメータを設定し、
前記鮮鋭化処理手段は、前記第１又は第２のコアリングパラメータに基づき前記画像データに対してコアリング処理を実行する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記鮮鋭化制御手段は、
第１の閾値及びこの第１の閾値より大きい第２の閾値を設定し、
前記第１の閾値未満の第１の差分値の検出に基づき第１の鮮鋭化効果ゲインを得るための第１の鮮鋭化パラメータを設定し、
前記第２の閾値より大きい第２の差分値の検出に基づき前記第１の鮮鋭化効果ゲインより小さい第２の鮮鋭化効果ゲインを得るための第２の鮮鋭化パラメータを設定し、
前記第１の閾値以上で前記第２の閾値以下の第３の差分値の検出に基づき、前記第１の鮮鋭化効果ゲインより小さく前記第２の鮮鋭化効果ゲインより大きい第３の鮮鋭化効果ゲインを得るための鮮鋭化パラメータであって、且つ前記第３の差分値の増加に応じて減少する前記第３の鮮鋭化効果ゲインを得るための第３の鮮鋭化パラメータを生成し、
前記鮮鋭化処理手段は、前記第１、第２、又は第３の鮮鋭化パラメータに基づき前記画像データに対して鮮鋭化処理を実行する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記コアリング制御手段は、
第１の閾値及びこの第１の閾値より大きい第２の閾値を設定し、
前記第１の閾値未満の第１の差分値の検出に基づき第１のコアリング効果を得るための第１のコアリングパラメータを設定し、
前記第２の閾値より大きい第２の差分値の検出に基づき前記第１のコアリング効果より大きい第２のコアリング効果を得るための第２のコアリングパラメータを設定し、
前記第１の閾値以上で前記第２の閾値以下の第３の差分値の検出に基づき、前記第１のコアリング効果より大きく前記第２のコアリング効果より小さい第３のコアリング効果を得るためのコアリングパラメータであって、且つ前記第３の差分値の増加に応じて増加する前記第３のコアリング効果を得るための第３のコアリングパラメータを生成し、
前記コアリング処理手段は、前記第１、第２、又は第３のコアリングパラメータに基づき前記画像データに対してコアリング処理を実行する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
放送信号から所望チャンネルの信号を選局する選局手段を備え、
前記検出手段は、前記選局された信号中の画像データに含まれた複数フレーム間の差分値を検出する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記コアリング処理手段は、前記画像データに対する前記コアリング処理により、コアリング処理済み画像データを生成し、
前記鮮鋭化処理手段は、前記コアリング処理済み画像データに対する前記鮮鋭化処理により、第１の解像度の前記コアリング処理済み画像データから前記第１の解像度より高い第２の解像度の前記コアリング処理済み画像データを生成する、
ことを特徴とする請求項１に記載の画像処理装置。