(57)【要約】【課題】  シーンチェンジや動画中に含まれるオブジェクトの高速移動、出現等によるフレームの不連続性が頻繁に発生し、高解像度処理の演算結果に誤差が多く含まれ、得られる画像が劣化する。【解決手段】  超解像処理部301に入力されるフレームｎの画像データと、位置推定部101が推定するフレームｎ’の画像データを画素単位で比較し、画像データの差分が、ある所定値よりも小さければ、該当する画素の画像データは超解像処理を実施したデータに設定し、画像データの差分が、ある所定値よりも大きければ、該当する画素の画像データはフレームｎの画像を単純拡大したデータに設定する。【選択図】図３
2009217658.tif 000002
【特許請求の範囲】
【請求項１】
入力映像の解像度を拡大する処理回路と、解像度が拡大された拡大映像を表示する表示パネルとを備えた表示装置において、
前記表示パネルに表示された１フレーム分の拡大画像内には、前記入力映像の画素に対して空間周波数が高くなった画素と、前記入力映像の画素に対して空間周波数が変化しない画素とが混在することを特徴とする表示装置。
【請求項２】
前記処理回路は、複数フレーム分の入力画像から、前記入力画像と同じ解像度の１フレーム分の推定画像を作成し、
前記推定画像と前記入力画像の画像データの差が所定値よりも大きい場合に、前記表示パネルに表示された拡大映像の画素は、前記入力映像の画素に対して空間周波数が高くなった画素となり、
前記推定画像と前記入力画像の画像データの差が所定値よりも小さい場合に、前記表示パネルに表示された拡大映像の画素は、前記入力映像の画素に対して空間周波数が変化しない画素となることを特徴とする請求項１に記載の表示装置。
【請求項３】
前記所定値は、外部から入力される値であることを特徴とする請求項２に記載の表示装置。
【請求項４】
前記所定値は、前記処理回路内で演算された前記複数の入力画像内の対象画素間のサンプリング位相差、またはその他のパラメータであることを特徴とする請求項２に記載の表示装置。
【請求項５】
前記処理回路は、
１フレーム分の入力画像内の画素データに基づいて補間画素データを算出し、前記補間画素データにより前記１フレーム分の入力画像を補間し、得られた拡大画像を画素ごとまたは分割領域ごとに出力する拡大部と、
複数フレーム分の入力画像内の対象画素間のサンプリング位相差を推定し、１フレーム分の入力映像に対して前記サンプリング位相差を演算することにより、１フレーム分の推定画像を作成する位置推定部と、
前記１フレーム分の入力画像と前記１フレーム分の推定画像のそれぞれを、原信号を透過するようなフィルタにて処理する帯域補間部と、
前記サンプリング位相に応じた重み係数に応じて、前記１フレーム分の入力画像と前記１フレーム分の推定画像を加重加算し、得られた超解像画像を画素ごとまたは分割領域ごとに出力する加重加算部と、
前記１フレーム分の入力画像と前記１フレーム分の推定画像の差分を画素ごとまたは分割領域ごとに算出し、前記差分が所定値よりも大きい場合は、前記拡大画像を選択する拡大選択信号を出力し、前記差分が所定値よりも小さい場合は、超解像画像を選択する超解像選択信号を出力する比較部と、
画素ごとまたは分割領域ごとに、前記拡大選択信号に応じて前記拡大画像を選択し出力し、画素ごとまたは分割領域ごとに、前記超解像選択信号に応じて前記超解像画像を選択し出力するセレクタとを備えたことを特徴とする請求項１に記載の表示装置。
【請求項６】
入力映像の解像度を拡大する処理回路と、解像度が拡大された拡大映像を表示する表示パネルとを備えた表示装置において、
前記表示パネルに表示された１フレーム分の拡大画像内には、前記処理回路の第１の拡大処理によって拡大された画素と、前記処理回路の第２の拡大処理によって拡大された画素とが混在することを特徴とする表示装置。
【請求項７】
前記処理回路は、複数フレーム分の入力画像から、前記入力画像と同じ解像度の１フレーム分の推定画像を作成し、
前記推定画像と前記入力画像の画像データの差が所定値よりも大きい場合に、前記表示パネルに表示された拡大映像の画素は、前記第１の拡大処理によって拡大された画素となり、
前記推定画像と前記入力画像の画像データの差が所定値よりも小さい場合に、前記表示パネルに表示された拡大映像の画素は、前記第２の拡大処理によって拡大された画素となることを特徴とする請求項６に記載の表示装置。
【請求項８】
前記所定値は、外部から入力される値であることを特徴とする請求項６に記載の表示装置。
【請求項９】
前記所定値は、前記処理回路内で演算された前記複数の入力画像内の対象画素間のサンプリング位相差、またはその他のパラメータであることを特徴とする請求項６に記載の表示装置。
【請求項１０】
前記第１の拡大処理は、複数フレーム分の入力画像から拡大画像を生成し、
前記第２の拡大処理は、単一フレーム内の入力画像から拡大画像を生成することを特徴とする請求項６から９の何れかに記載の表示装置。
【請求項１１】
前記処理回路は、
前記第１の拡大処理として、１フレーム分の入力画像内の画素データに基づいて補間画素データを算出し、前記補間画素データにより前記１フレーム分の入力画像を補間し、得られた拡大画像を画素ごとまたは分割領域ごとに出力する拡大部と、
前記第２の拡大処理として、複数フレーム分の入力画像内の対象画素間のサンプリング位相差を推定し、１フレーム分の入力映像に対して前記サンプリング位相差を演算することにより、１フレーム分の推定画像を作成する位置推定部と、
前記第２の拡大処理として、前記１フレーム分の入力画像と前記１フレーム分の推定画像のそれぞれを、原信号を透過するようなフィルタにて処理する帯域補間部と、
前記第２の拡大処理として、前記サンプリング位相に応じた重み係数に応じて、前記１フレーム分の入力画像と前記１フレーム分の推定画像を加重加算し、得られた超解像画像を画素ごとまたは分割領域ごとに出力する加重加算部と、
前記１フレーム分の入力画像と前記１フレーム分の推定画像の差分を画素ごとまたは分割領域ごとに算出し、前記差分が所定値よりも大きい場合は、前記拡大画像を選択する拡大選択信号を出力し、前記差分が所定値よりも小さい場合は、超解像画像を選択する超解像選択信号を出力する比較部と、
画素ごとまたは分割領域ごとに、前記拡大選択信号に応じて前記拡大画像を選択し出力し、画素ごとまたは分割領域ごとに、前記超解像選択信号に応じて前記超解像画像を選択し出力するセレクタとを備えたことを特徴とする請求項６に記載の表示装置。
【請求項１２】
入力映像の解像度を拡大する処理回路と、解像度が拡大された拡大映像を表示する表示パネルとを備え、前記表示パネルに表示された拡大映像は、前記入力映像の画素に対して空間周波数が高くなった画素と、前記入力映像の画素に対して空間周波数が変化しない画素とが混在することを特徴とする表示装置において、
前記前記入力映像の画素に対して空間周波数が高くなった画素と、前記入力映像の画素に対して空間周波数が変化しない画素の境界分割領域の画像データは、前記入力映像の画素に対して空間周波数が高くなった画素の画像データと、前記入力映像の画素に対して空間周波数が変化しない画素の画像データとの間の値であることを特徴とする表示装置。
【請求項１３】
入力映像の解像度を拡大する画像処理回路において、
入力画像を入力する入力回路と、
前記入力画像と、複数フレーム分の入力画像間のサンプリング位相差から推定した推定画像との差分が、所定値よりも大きい場合は、１フレーム分の入力画像から作成された拡大画像の画素を出力し、前記差分が前記所定値よりも小さい場合は、複数フレーム分の入力画像から作成された超解像画像の画素を出力することを特徴とする画像処理回路。
【請求項１４】
１フレーム分の入力画像内の画素データに基づいて補間画素データを算出し、前記補間画素データにより前記１フレーム分の入力画像を補間し、得られた拡大画像を画素ごとまたは分割領域ごとに出力する拡大部と、
複数フレーム分の入力画像内の対象画素間のサンプリング位相差を推定し、１フレーム分の入力映像に対して前記サンプリング位相差を演算することにより、１フレーム分の推定画像を作成する位置推定部と、
前記１フレーム分の入力画像と前記１フレーム分の推定画像のそれぞれを、原信号を透過するようなフィルタにて処理する帯域補間部と、
前記サンプリング位相に応じた重み係数に応じて、前記１フレーム分の入力画像と前記１フレーム分の推定画像を加重加算し、得られた超解像画像を画素ごとまたは分割領域ごとに出力する加重加算部と、
前記１フレーム分の入力画像と前記１フレーム分の推定画像の差分を画素ごとまたは分割領域ごとに算出し、前記差分が所定値よりも大きい場合は、前記拡大画像を選択する拡大選択信号を出力し、前記差分が所定値よりも小さい場合は、超解像画像を選択する超解像選択信号を出力する比較部と、
画素ごとまたは分割領域ごとに、前記拡大選択信号に応じて前記拡大画像を選択し出力し、画素ごとまたは分割領域ごとに、前記超解像選択信号に応じて前記超解像画像を選択し出力するセレクタとを備えたことを特徴とする請求項１３に記載の画像処理回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号を高解像度化するための技術に関し、特に複数の画像フレームを合成することにより、画像フレームを構成する画素数を増やすとともに不要な折返し成分を除去して高解像度化を行う技術に関する。
【背景技術】
【０００２】
最近のテレビ受像機は大画面化が進んでおり、放送や通信、蓄積媒体などから入力された画像信号をそのまま表示するのではなく、デジタル信号処理によって水平・垂直方向の画素数を増やして表示することが一般的に行われている。この際、一般的に知られているsinc関数を用いた補間ローパスフィルタやスプライン関数等によって画素数を増やすだけでは画素数を増やすことができても解像度（分解能）を上げることはできない。そこで、特許文献1、特許文献2、特許文献3、非特許文献1に記載されているように、入力された複数の画像フレーム(以下、フレームと略記)を合成して1枚のフレームとすることにより、高解像度化しながら画素数を増やす技術(以下、超解像処理技術)が提案されている。
【０００３】
これらの従来の超解像処理技術では、(1)位置推定部、(2)広帯域補間部、(3)加重加算部、の3つの処理により高解像度化を行う。ここで、(1)位置推定部は、入力された複数の画像フレームの各画像データを用いて、各画像データのサンプリング位相(標本化位置)の差を推定するものである。(2)広帯域補間部は、各画像データを折返し成分も含め、原信号の高周波成分をすべて透過する帯域の広いローパスフィルタを用いて画素数(サンプリング点)を補間して増やし、画像データを高密度化するものである。(3)加重加算部は、各高密度化データのサンプリング位相に応じた重み係数により加重和をとることによって、画素サンプリングの際に生じた折返し成分を打ち消して除去するとともに、同時に原信号の高周波成分を復元するものである。
【０００４】
特許文献4では、超解像処理に適した連続する画像データを簡便に識別に得るために、画像データ毎に、シーンの変わり目の有無、撮影カメラのＡＥ，ＡＷＢなどが所定の条件を満たしているか否かを判定し、超解像処理の適・不適を判断している。
【０００５】
【特許文献１】特開平8-336046号公報
【特許文献２】特開平9-69755号公報
【特許文献３】特開2007-324789号公報
【特許文献４】特開2007-151080号公報
【非特許文献１】青木伸  “複数のデジタル画像データによる超解像処理”, Ricoh Technical Report pp.19-25, No.24, NOVEMBER, 1998
【発明の開示】
【発明が解決しようとする課題】
【０００６】
以上説明した通り、高解像度化しながら画素数を増やす超解像処理技術においては、複数のフレームを合成して一枚の高解像度化されたフレームを得る。従って、動画像、例えばＴＶ放送等を高解像度化の対象とした場合、シーンチェンジや動画中に含まれるオブジェクトの高速移動、出現等によるフレームの不連続性が頻繁に発生する。このような場合、高解像度処理の演算結果に誤差が多く含まれるため、得られる画像が却って劣化する。
【０００７】
特許文献4では、画像フレーム毎に超解像処理の適・不適を判断しているため、画像フレーム内の個別の画素や領域で、超解像処理によって却って画質が劣化することまでは考慮されていない。また、特許文献4では、シーンの変わり目の有無、撮影カメラのＡＥ，ＡＷＢなどに基づいて超解像処理の適・不適を判断しているため、シーンの変わり目の有無、撮影カメラのＡＥ，ＡＷＢなどが所定の条件を満たしていたとしても実際に超解像処理を行った結果、却って画質が劣化してしまうことまでは考慮されていない。つまり、超解像処理の適・不適をシーンの変わり目の有無、撮影カメラのＡＥ，ＡＷＢなどだけで判断できない。
【０００８】
本発明の目的は、超解像処理の演算結果の誤差による画質劣化を回避する装置、方法を提供することである。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明では、高解像度化しながら画素数を増やす処理（以下、超解像処理）において、位置推定部の出力である動きベクトルの計算誤差の大小を画素単位で検証し、検証結果に応じて、画素単位で超解像処理の条件を選択的に変更するようにする。具体的には、超解像処理部に入力されるフレームｎの画像データと、位置推定部が推定するフレームｎ’の画像データを画素単位で比較し、画像データの差分が、ある所定値よりも小さければ、該当する画素の画像データは超解像処理を実施したデータに設定し、画像データの差分が、ある所定値よりも大きければ、該当する画素の画像データはフレームｎの画像を単純拡大したデータに設定する。この結果、表示される１画面分の画像は、超解像処理による画像の画素と画素数拡大処理による画像の画素とが混在することになる。
【発明の効果】
【００１０】
本発明によれば、高解像度化しながら画素数を増やす処理（超解像処理）によって、却って画質が劣化する画素または領域に対しては、超解像処理とは異なる拡大処理を行うことにより、超解像処理による画質劣化を抑制することができる。  本発明によれば、超解像処理の演算結果から超解像処理の適・不適を判断することにより、超解像処理による画質劣化を正確に判断でき、超解像処理による画質劣化を抑制することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施例１〜３を説明する。
【実施例１】
【００１２】
本発明の第１の実施例による画像表示方法及び表示装置について、図１〜３を用いて説明する。
【００１３】
図1は、超解像処理回路の手順について説明したものである。１０１は位置推定部、１０２は高帯域補間部、１０３は加重加算部である。超解像処理回路は、位置推定部１０１と高帯域補間部１０２と加重加算部１０３とを備える。超解像処理回路は、１又は複数のフレーム分の画像データを保持するためのフレームメモリをさらに備えるのが好ましい。超解像処理回路は、例えば、１個のＬＳＩで実現することができる。
【００１４】
位置推定部１０１は、例えば、入力されるフレーム１（１フレーム分の画像データ）とフレーム２（１フレーム分の画像データ）を使用して、画像データのサンプリング位置（標本化位置）の差、つまり動きベクトルを算出し、さらに、フレーム２と算出した動きベクトルに基づいて、つまりフレーム２に対して動きベクトル分を逆算することにより、フレーム１とほぼ等しいフレーム１’を推定、後段の高帯域補間部１０２に出力する。フレーム１とフレーム１’とは、画素数は同一である。
【００１５】
サンプリング位置（標本化位置）の差を算出する具体的方法として、青木伸  “複数のデジタル画像データによる超解像処理”, Ricoh Technical Report pp.19-25, No.24, NOVEMBER, 1998（非特許文献１）に記載された通り、標本化位置を固定し、撮影対象（f x, y）が、速度（u, v）で移動しているものと考える。この対象を微小な時間間隔:tにおいて撮影した2枚の画像のf1 （x, y）、 f2 （x,y）の関係式に対し、（f x）を1次近似し、x, y, tでそれぞれ偏微分し、近傍領域での2乗積分で評価し、これを最小化する速度（u', v'）を求める。これを2枚の画像データf1、 f2のずれの推定値とする。1枚の画像データを基準とし各データのずれを推定することにより、全ての画像データについて相対的な標本化位置のずれを推定することができる。
【００１６】
高帯域補間部１０２は、フレーム１（ｎ）とフレーム１’（ｎ’）のそれぞれに対し、画素数（サンプリング点）を補間して増やし、画像データを高密度化する。
加重加算部１０３は、各高帯域補間部１０２が出力するそれぞれの高密度化データに対して、サンプリング位相に応じた重み係数を付加した加重加算を実施する。これにより、画素のサンプリングの際に生じた折り返し成分を打ち消して除去するとともに、原信号の高周波成分を復元し、超解像画像Ａを構成する画像データを生成する。
【００１７】
この超解像処理においては、フレーム１’の推定結果によって、得られる超解像画像の画質は変化し、場合によっては、画質劣化として視認される。例えば、位置推定部１０１がフレームｎとフレームｎ＋１という連続したフレームの画像データを使用して、フレームｎ’を推定したとする。そして、フレームｎとフレームｎ’を比較した場合に、図１に示すように、大部分はほぼ等しいが、ある画素またはある領域の画像データ（階調値）において相違点があった場合、得られる超解像画像は、特に相違する画素、領域において画質劣化が発生する。
【００１８】
図２は、本発明の第一の実施例を適用した場合の拡大画像の一例を示した図である。前述したように、フレームｎと、位置推定部１０１が推定したフレームｎ’とで画像データ（階調値）に相違があると画質劣化する可能性があるため、図２（ａ）に示すように、まずは全画素データについて画素ごとに画像データ（階調値）を比較する。ここで画像データがＲＧＢ（赤、緑、青）カラーである場合に、Ｒ画素とＧ画素とＢ画素のそれぞれを１つの画素と定義してもよいし、Ｒ画素とＧ画素とＢ画素の３画素を含めて１つの画素と定義してもよい。そして、画像データ（階調値）の差分が所定値以下の場合は、対象の画素についてはフレームｎとフレームｎ’はほぼ等しいと判断して、超解像処理後の画像データ（階調値）を割り当てる。一方、画像データ（階調値）の差分が所定値以上の場合は、対象の画素についてはフレームｎとフレームｎ’が大きく異なっており、画質劣化する可能性があると判断して、フレームｎを単純拡大した画像データ（階調値）を割り当てる。この結果、拡大画像は、図２（ｂ）に示すように、超解像処理領域２０１（画素）と単純拡大処理領域２０２（画素）が混在することになる。これにより、従来技術の超解像処理の領域で発生していた画質劣化を回避することができる。尚、画素ごとではなく、複数の画素を含む領域ごとに、超解像処理か単純拡大処理かを選択するようにしてもよい。この場合、画像データ（階調値）の差分として、領域（例えば、１６分割領域）に含まれる複数の画像データ（階調値）の差分の平均値を用いてもよい。
【００１９】
ここで、超解像処理は、上記の通り、複数のフレーム分の画像に対して、位置推定処理、高帯域補間処理、加重加算処理を行い、１フレーム分の画像を得る処理をいう。そして、超解像処理により得られた１フレーム分の画像は、原画像に対して、高空間周波数成分が増えた画像、つまり原画像では０だった高空間周波数成分が超解像処理画像では増えることとなる。一方、単純拡大処理とは、上記の通り、１フレーム分の画像に対して、sinc関数を用いた補間ローパスフィルタやスプライン関数等により補間画素を生成し、その補間画素により原画像を補間して、画素数を増やす処理をいう。そして、単純拡大処理により得られた１フレーム分の画像は、原画像と同様の空間周波数成分を持つ、つまり原画像に対して高空間周波数成分が増えていない画像となる。
【００２０】
図３は、本発明の第１の実施例を実現するブロック図である。３０１は超解像処理部、３０２は単純拡大処理部、３０３は比較器、３０４は２ｔｏ１セレクタである。超解像処理回路は、超解像処理部３０１と、単純拡大処理部３０１と、比較器３０３と、２ｔｏ１セレクタ３０４とを備える。
【００２１】
超解像処理部３０１は、前述の高帯域補間部１０２と加重加算部１０３を備える、超解像処理部３０１は、入力されるフレームｎの画像データと位置推定部１０１から転送されるフレームｎ’を使用して超解像処理を実施し、超改造処理後の画像データaを画素ごとに出力するするブロックである。拡大部３０２は、入力されるフレームｎの画像データ（階調値）を使用して単純拡大処理を実施し、単純拡大処理後の画像データｂを画素ごとに出力する。
【００２２】
比較器３０３は、フレームｎの画像データ（階調値）と、位置推定部１０１から転送されるフレームｎ’の画像データ（階調値）と、外部、例えばＣＰＵから転送される設定値Ｐが入力され、これらに基づいて、後述する２ｔｏ１セレクタ３０４の動作を制御する為の信号ｑを生成する。画像データは、比較器３０３内のメモリに格納し、設定値Ｐは、比較器３０３内のレジスタに設定されるのが好ましい。この信号ｑの生成にあたっては、まず、フレームｎの画像データ（階調値）とフレームｎ’の画像データ（階調値）を画素単位の点順次で比較、減算処理を実施する。そして、比較器３０３は、画素ごとに、減算結果が設定値Ｐより小さい場合は‘１’（Ｈｉｇｈ）、減算結果が設定値Ｐより大きい場合は‘０’（Ｌｏｗ）となる信号ｑを出力する。拡大部３０２の出力と超解像処理部３０１の出力と比較部３０３の出力は、クロック信号などにより同期する（出力タイミングを合わせる）のが好ましい。設定値Ｐとして、例えば、画像データの階調範囲が２５６階調である場合に、その約５％つまり１３階調分を設定してもよい。
【００２３】
２ｔｏ１セレクタ３０４は、単純拡大部３０２から拡大処理後の画像データ（階調値）と、超解像処理部３０１から超解像処理後の画像データ（階調値）、あるいは超解像処理機能がオフ時の画像データ（階調値）、例えば固定値データと、比較器３０３から信号ｑが入力される。ここで、２ｔｏ１セレクタ３０４は、ｑ＝１（Ｈｉｇｈ）で超解像処理部３０１の出力である画像データ（階調値）を選択し、ｑ＝０（Ｌｏｗ）で拡大部３０２の出力である画像データ（階調値）を選択し、出力する。
【００２４】
なお、本実施例においては、位置推定部１０１に入力されるフレーム数を２フレームとしたが、３フレーム以上使用するのでも構わないし、拡大部３０２の処理を単純拡大としたが、一般的に知られているバイリニア処理であっても構わないし、バイキュービック処理であっても構わない。また、前述と同様な制御が実現できるのであれば、信号ｑの“１”“０”の定義は逆であっても構わない。また、本実施例では、信号ｑは比較器３０３に転送するものとしたが、併せて、超解像処理部に転送して、例えばｑ＝１（Ｈｉｇｈ）で超解像処理機能をオン（処理実施）、ｑ＝０（Ｌｏｗ）で超解像処理機能をオフ（処理未実施）として、切替えられるものとしても構わない。なお、超解像処理機能をオフ（処理未実施）時の超解像処理部３０１の出力は、特に限定されるものではないが、固定値であることが望ましい。また、判定基準として、画像データ（階調値）の差分の代わりに、色空間上の距離を用いてもよい。  以上の回路ブロックと制御方法により、超解像度処理の演算結果に誤差が含まれた場合であっても、超解像の拡大画像に単純拡大の画像データを混在させることで、得られる画像が劣化すること回避できるようになる。
【実施例２】
【００２５】
本発明の第二の実施例による画像表示方法及び表示装置について、図４を用いて説明する。
【００２６】
本発明の第二の実施例は、前述した第一の実施例で説明した、拡大映像の画像データの作成方法に対して、画素毎に実施する超解像処理と単純拡大処理と選択機能の判定基準を設定値Ｐの固定値ではなく、判定基準を、超解像処理での計算データ、例えばフレームｎとフレームｎ＋１との位相差θに応じて変化するものとし、画像に最適な拡大映像を提供するものである。
【００２７】
図４は、本発明の第二の実施例を実現するブロック図であり、４０１はスレッショルド算出部である。なお、その他の部分については、本発明の第一の実施例と同様であるため、以後の説明は省略する。
【００２８】
スレッショルド算出部４０１は、超解像処理部３０１（位置推定部１０１でもよい）が出力する位相差θが入力され、後段の比較器３０３の動作を設定する為のスレッショルド値（第一の実施例の設定値Pに相当する）を出力する。ところで、位相差θは、フレームｎとフレームｎ＋１の移動量を示しており、例えば位相差θが大きいと、位置推定部１０１の計算精度が低下し、前述した画質劣化が発生しやすいことが判っている。したがって、本実施例の適用に当たっては、位相差θが所定値よりも小さい場合（位置推定部１０１の計算精度が高い可能性が大きい場合）は、スレッショルド値を大きくするによって、１フレーム画像中の超解像処理の画素データの割合を増やす。一方位相差θが所定値よりも大きい場合（位置推定部１０１の計算精度が低い可能性が大きい場合）は、スレッショルド値を小さくすることによって、１フレーム画像中の単純拡大処理の画素データの割合を増やすことにする。なお、このスレッショルド値の選択は、位相差θに対応した値が選択可能なルックアップテーブルを設置すれば容易に実現可能であり、回路規模、及び消費電力の増大等のデメリットは小さい。ルックアップテーブルは位相差θの値が大きくなるほど、スレッショルド値が小さくなるように、スレッショルド値を格納している。ただし、本実施例の目的に合致していればルックアップテーブルによる実現以外であっても構わない。
【００２９】
また、本実施例では、超解像処理と単純拡大処理を選択する際の判定基準を位相差θとして説明したが、本実施例の目的から逸脱しない範囲であれば、その他のデータを超解像処理と単純拡大処理を選択する際の判定基準をしても構わない。
【００３０】
以上の回路ブロックと制御方法により、超解像度処理の演算結果に誤差が含まれて画質劣化が予想される場合であっても、超解像処理内容に合わせて超解像処理の画像データ（階調値）と単純拡大の画像データ（階調値）の割合を変化させることができ、得られる画像が劣化すること回避できるようになる。
【実施例３】
【００３１】
本発明の第三の実施例による画像表示方法及び表示装置について、図５〜６を用いて説明する。
【００３２】
本発明の第三の実施例は、前述した第一、及び第二の実施例で説明した、拡大映像の画像データの作成方法に対して、超解像処理と単純拡大処理とが混在する拡大画像を違和感ない画像に変換する機能を提供するものである。
【００３３】
図５は、本発明の第一、及び第二の実施例を適用した場合の拡大画像の一例を示した図であり、５０１は超解像処理領域、５０２は単純拡大処理領域、５０３は超解像処理領域５０１と単純拡大処理領域５０２の境界領域である。拡大画像のうち、境界領域５０３の画素においては、超解像処理と単純拡大処理の処理の違いにより、例えばその境界線が視認しやすくなることが予想される。そして、場合によっては、境界部分５０３は画質劣化ととらえることができる。そこで、単純拡大処理領域５０２と超解像処理領域５０１の境界部分５０３を目立たなくするため、単純拡大処理と超解像処理の切替えをデジタルで実施するのではなく、空間上段階的に切り替わるようにする。
【００３４】
図６は、本実施例を実現するブロック図を示したものである。６０１はアナログフィルタであり、６０２は演算部であり、６０３は制御信号ｋである。なお、その他の部分については、本発明の第二の実施例と同様であるため、以後の説明は省略する。
【００３５】
アナログフィルタ６０１は、例えばローパスフィルタであり、比較器３０３から転送される矩形状の信号ｑを、０から１の間のアナログ値となる制御信号ｋ６０３に変換する。
【００３６】
演算部６０２は、拡大部３０２が出力するフレームｎを単純拡大した画像データと、超解像処理部３０１が出力するフレームｎに対して超解像処理後の画像データと、アナログフィルタ６０１が出力する制御信号ｋ６０３が入力される。ここで、演算部６０２は、制御信号ｋ６０３に基づいて、単純拡大の画像データ（階調値）と超解像処理後の画像データ（階調値）に重み係数を付加し加算することで、拡大画像の画像データ（階調値）を生成する。具体的には、単純拡大の画像データ（階調値）をａ、超解像処理後の画像データ（階調値）をｂ、重み係数を制御信号ｋ６０３として、演算部６０２の出力Ｄは、Ｄ＝ａ×（１−ｋ）＋ｂ×ｋとする。
これにより、前述の第一の実施例及び第二の実施例の画像表示方法及び表示装置における、超解像処理領域５０１と単純拡大処理領域５０２のちょうどに境界に存在する画素の画像データ（階調値）は、超解像処理時の画像データ（階調値）と単純拡大処理時の画像データ（階調値）の中間値に設定する。さらに前述の境界画素を境に、画像データは段階的に超解像処理の画像データ、あるいは単純拡大処理の画像データへ遷移させることが可能になる。
【００３７】
なお、本実施例ではアナログフィルタ６０１を用いて比較器３０３の出力ｑを段階的に変化する制御信号ｋ６０３に変換したが、本実施例の目的に合致していれば、その他の処理方法であっても構わない。また、演算部６０２で実施する画素データ（階調値）を使用した処理についても、本実施例で挙げた式は一例であり、本実施例の目的に合致していれば、その他の方法であっても構わない。
【００３８】
以上のブロック構成、及び制御方法により、単純拡大処理の画素データ（階調値）と超解像処理の画像データ（階調値）が混在する拡大画像において、図６に示す構成で、本実施例の目的である、単純拡大処理と超解像処理を段階的に切替えることが可能になり、その境界が画質劣化として視認しにくくすることができる。
【００３９】
図７は、本発明の第一または第二、第三の実施例をディスプレイ装置に適用した図である。図７中、１は複数の画素がマトリックス状に配列された表示パネル、２は外部から表示データや各種信号を受信するインターフェイス機能を持った入力データ処理回路、３は表示データを高解像度化すると共にその高解像度化に応じたタイミング信号を生成する超解像処理回路、４は表示データに応じたデータ線駆動信号（例えば階調ごとに対応するレベルを有する電圧）をデータ線を介して各画素に印加するデータ線駆動回路、５はデータ線駆動信号を印加すべき画素に走査線を介して走査線駆動信号（例えば選択電圧）を印加する走査線駆動回路を示す。表示パネル１、データ線駆動回路４、走査線駆動回路５は、表示モジュールを構成する。特に、入力データ処理回路２に実施例１、２の超解像処理回路３を設ける。入力表示データの解像度（例えば、横６４０×縦４８０画素）と表示パネルの解像度（例えば、横１９２０×縦１０８０画素）が異なり、表示パネルの解像度の方が高くなっているため、超解像処理回路３において入力表示データを高解像度化処理する。これに伴い、データ線駆動回路４へのデータ量が増加すると共に制御信号が高周波数化されている。
【００４０】
表示パネル１は、列方向にデータ線が配線され、行方向に走査線が配線され、その交点に対応して画素が配列され、その画素にデータ線及び走査線が接続されている。超解像処理回路３は、１画面（フレーム）の期間（タイミング）を決める垂直同期信号、１ラインの期間（タイミング）を決める水平同期信号、表示データが入力されることを示すデータイネーブル、表示データ、１画素の期間（タイミング）を決める同期クロックを、他の装置（例えば、ＴＶチューナ、表示メモリ、ハードディスク、ＰＣ本体）から入力する。表示データのサイズは、８ビットでも、１０ビットでもよい。そして、超解像処理回路３は、入力される表示データ、同期信号から、表示パネル１の解像度に対応したデータ線制御信号、走査線制御信号を生成する。データ線駆動回路４は、データ線制御信号を入力し、データ線制御信号に含まれる表示データに応じたデータ線駆動信号を生成する。走査線駆動回路４は、走査線制御信号を入力し、走査線制御信号に従って走査線駆動信号を１又は複数の走査線に上から順次印加する。そして、走査線駆動信号が印加された画素に、データ線駆動信号が印加され、画素はデータ線駆動信号の大きさに応じた輝度を表示する。なお、画素の表示素子は、液晶素子である場合は、対向電圧に対するデータ線駆動信号の相対的な電位差に応じて輝度を表示する。
【００４１】
液晶ディスプレイを適用例としているが、プラズマディスプレイ、有機ＥＬディスプレイ、電界放射型ディスプレイ、ＣＲＴ、など表示デバイスには依存しないことは明らかである。本発明の超解像処理回路３を、ハードウエア化して入力データ処理部回路２に実装しているが、汎用プロセッサによるソフトウエア処理化も可能である。
【産業上の利用可能性】
【００４２】
本発明は、ハイビジョンテレビに利用可能である。
【図面の簡単な説明】
【００４３】
【図１】超解像処理技術を説明する図である。
【図２】本発明の実施例１の超解像処理を実施した場合の拡大画像の一例を示した図である。
【図３】本発明の実施例１の超解像処理を実現するブロック図である。
【図４】本発明の実施例２の超解像処理を実現するブロック図である。
【図５】本発明の実施例１、及び実施例２の超解像処理を実施した場合の拡大画像の一例を示した図である。
【図６】本発明の実施例３の超解像処理を実現するブロック図である。
【図７】本発明の実施例１、実施例２、実施例３を適用する表示装置の一例として、液晶パネルについて説明した図である。
【符号の説明】
【００４４】
１…表示パネル
２…入力データ処理回路
３…超解像処理回路
４…データ線駆動回路
５…走査線駆動回路
１０１…位置推定部
１０２…高帯域補間部
１０３…加重加算部
２０１…超解像処理部
２０２…単純拡大処理部
３０１…超解像処理部
３０２…拡大部
３０３…比較器
３０４…２ｔｏ１セレクタ
４０１…スレッショルド算出部
５０１…超解像処理領域
５０２…単純拡大処理領域
５０３…超解像処理領域と単純拡大処理領域の境界領域
６０１…アナログフィルタ
６０２…演算部
６０３…制御信号
【図１】
2009217658.tif 000003
【図２】
2009217658.tif 000004
【図３】
2009217658.tif 000005
【図４】
2009217658.tif 000006
【図５】
2009217658.tif 000007
【図６】
2009217658.tif 000008
【図７】
2009217658.tif 000009