(57)【要約】【課題】  入力画像を高解像度化する過程で、キーフレームと画像処理フレームを生成し、超解像処理を毎フレーム行わなくても、画質劣化の少ない動画を得る。【解決手段】  複数フレームの画像における画像内容の動きのずれを補償し、各フレームの画素のサンプリング位相間の位相差に基づき広帯域補間および加重和により補間画素の画像を算出し、その補間画素によりフレームの画像を補間することにより、超解像画像を生成する超解像処理回路５と、単一フレームの画像の周辺画素の画像から補間画素の画像を算出し、その補間画素の画像によりフレームの画像を補間することにより、補間拡大画像を生成する補間拡大処理回路６と、超解像画像と補間拡大画像とを交互に出力する表示データ切替回路７とを備える。【選択図】  図１
2009053680.tif 000002
【特許請求の範囲】
【請求項１】
画像の解像度を拡大して表示する画像表示装置において、
複数フレームの画像から補間画素を生成し、その補間画素によりフレームの画像を補間することにより、第１の拡大画像を生成する第１の拡大処理回路と、
単一フレームの画像から補間画素を生成し、その補間画素の画像によりフレームの画像を補間することにより、第２の拡大画像を生成する第２の拡大処理回路と、
前記第１の拡大処理回路によって処理された前記第１の拡大画像と前記第２の拡大処理回路によって処理された前記第２の拡大画像とを交互に出力する切替回路と、
前記切替回路から出力された画像を表示する表示モジュールとを備えることを特徴とする画像表示装置。
【請求項２】
前記第１の拡大処理回路は、前記複数フレームの画像における画像内容の動きのずれを補償し、各フレームの画素のサンプリング位相間の位相差に基づき広帯域補間および加重和により補間画素の画像を算出し、
前記第２の拡大処理回路は、前記単一フレームの画像の周辺画素の画像から補間画素の画像を算出することを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記切替回路は、前記第１の拡大画像と前記第２の拡大画像とをフレーム毎に交互に出力することを特徴とする請求項１又は２に記載の画像表示装置。
【請求項４】
前記第２の拡大処理回路が前記第２の拡大画像を生成する場合に、前記第１の拡大処理回路は、動作を休止し、
前記第１の拡大処理回路が前記第１の拡大画像を生成する場合に、前記第２の拡大処理回路は、動作を休止することを特徴とする請求項１から３の何れかに記載の画像表示装置。
【請求項５】
画像の解像度を拡大する画像処理回路において、
複数フレームの画像から補間画素を生成し、その補間画素によりフレームの画像を補間することにより、第１の拡大画像を生成する第１の拡大処理回路と、
単一フレームの画像から補間画素を生成し、その補間画素の画像によりフレームの画像を補間することにより、第２の拡大画像を生成する第２の拡大処理回路と、
前記第１の拡大処理回路によって処理された前記第１の拡大画像と前記第２の拡大処理回路によって処理された前記第２の拡大画像とを交互に出力する切替回路とを備えることを特徴とする画像処理回路。
【請求項６】
画像の解像度を拡大して表示する画像表示装置において、
解像度を拡大しても画像内容の輪郭部分が鮮明な第１の拡大画像と、解像度を拡大することにより画像内容の輪郭部分がぼやけた第２の拡大画像とを、交互に表示することを特徴とする画像表示装置。
【請求項７】
複数フレームの画像から補間画素を生成し、その補間画素によりフレームの画像を補間することにより、前記第１の拡大画像を生成する第１の拡大処理回路と、
単一フレームの画像から補間画素を生成し、その補間画素の画像によりフレームの画像を補間することにより、前記第２の拡大画像を生成する第２の拡大処理回路と、
前記第１の拡大画像と前記第２の拡大画像とを交互に出力する切替回路と、
前記切替回路から出力された画像を表示する表示モジュールとを備えることを特徴とする請求項６に記載の画像表示装置。
【請求項８】
画像の解像度を拡大する画像処理回路において、
解像度を拡大しても画像内容の輪郭部分が鮮明な第１の拡大画像を生成し、解像度を拡大することにより画像内容の輪郭部分がぼやけた第２の拡大画像を生成し、前記第１の拡大画像と前記第２の拡大画像とを、交互に出力することを特徴とする画像処理回路。
【請求項９】
画像の解像度を拡大して表示する画像表示装置において、
元画像の空間周波数スペクトルに対して空間周波数スペクトルの最大値が画像の拡大率に応じた倍率で拡大し、かつ、前記元画像の空間周波数スペクトルの最大値から拡大後の最大値まで前記元画像の空間周波数スペクトルがスライドするように拡大した第１の拡大画像と、
前記元画像の空間周波数スペクトルに対して空間周波数スペクトルの最大値が画像の拡大率よりも小さい倍率で拡大し、かつ、前記元画像の空間周波数スペクトルの最大値から拡大後の最大値まで前記元画像の空間周波数スペクトルが次第に低下するように拡大した第２の拡大画像とを、交互に表示することを特徴とする画像表示装置。
【請求項１０】
複数フレームの画像から補間画素を生成し、その補間画素によりフレームの画像を補間することにより、前記第１の拡大画像を生成する第１の拡大処理回路と、
単一フレームの画像から補間画素を生成し、その補間画素の画像によりフレームの画像を補間することにより、前記第２の拡大画像を生成する第２の拡大処理回路と、
前記第１の拡大画像と前記第２の拡大画像とを交互に出力する切替回路と、
前記切替回路から出力された画像を表示する表示モジュールとを備えることを特徴とする請求項９に記載の画像表示装置。
【請求項１１】
画像の解像度を拡大する画像処理回路において、
元画像から、元画像の空間周波数スペクトルに対して空間周波数スペクトルの最大値が画像の拡大率に応じた倍率で拡大し、かつ、前記元画像の空間周波数スペクトルの最大値から拡大後の最大値まで前記元画像の空間周波数スペクトルがスライドするように拡大した第１の拡大画像を生成し、
前記元画像から、前記元画像の空間周波数スペクトルに対して空間周波数スペクトルの最大値が画像の拡大率よりも小さい倍率で拡大し、かつ、前記元画像の空間周波数スペクトルの最大値から拡大後の最大値まで前記元画像の空間周波数スペクトルが次第に低下するように拡大した第２の拡大画像を生成し、
前記第１の拡大画像と前記第２の拡大画像とを、交互に出力することを特徴とする画像処理回路。
【請求項１２】
画像の解像度を拡大して表示し、表示データの映像特徴に応じてデータ変換と輝度制御を行う画像表示装置において、
複数フレームの画像から補間画素を生成し、その補間画素によりフレームの画像を補間することにより、第１の拡大画像を生成する第１の拡大処理回路と、
単一フレームの画像から補間画素を生成し、その補間画素の画像によりフレームの画像を補間することにより、第２の拡大画像を生成する第２の拡大処理回路と、
前記第１の拡大処理回路によって処理された前記第１の拡大画像と前記第２の拡大処理回路によって処理された前記第２の拡大画像とを交互に出力する切替回路と、
前期第２の拡大画像から前記映像特徴を抽出しデータ変換と輝度制御を行う制御回路と、
前記切替回路から出力された画像を表示する表示モジュールとを備えることを特徴とする画像表示装置。
【請求項１３】
前記第１の拡大処理回路は、前記複数フレームの画像における画像内容の動きのずれを補償し、各フレームの画素のサンプリング位相間の位相差に基づき広帯域補間および加重和により補間画素の画像を算出し、
前記第２の拡大処理回路は、前記単一フレームの画像の周辺画素の画像から補間画素の画像を算出することを特徴とする請求項１２に記載の画像表示装置。
【請求項１４】
前記切替回路は、前記第１の拡大画像と前記第２の拡大画像とをフレーム毎に交互に出力することを特徴とする請求項１２又は１３に記載の画像表示装置。
【請求項１５】
前記第２の拡大処理回路が前記第２の拡大画像を生成する場合に、前記第１の拡大処理回路は、動作を休止し、
前記第１の拡大処理回路が前記第１の拡大画像を生成する場合に、前記第２の拡大処理回路は、動作を休止することを特徴とする請求項１２から１４の何れかに記載の画像表示装置。
【請求項１６】
前記第２の拡大画像から画像の特徴を抽出し、前記画像の特徴に応じて、前記表示モジュールの備えるバックライトの発光を制御すると共に前記第１の拡大画像および前記第２の拡大画像のそれぞれを変換する制御回路を備えることを特徴とする請求項１に記載の画像表示装置。
【請求項１７】
前記第２の拡大画像の１フレーム分における１または複数の階調ごとのヒストグラム上で出現頻度の累積値が最大階調から所定割合を満足するしきい値階調を求め、ヒストグラムの上限階調に対する前記しきい値階調の割合Ｄｔｈを求め、前記表示モジュールの備えるバックライトの発光を前記Ｄｔｈまで下げると共に、前記第１の拡大画像の各階調データおよび前記第２の拡大画像の各階調データを１００／前記Ｄｔｈ倍する制御回路を備えることを特徴とする請求項１に記載の画像表示装置。
【請求項１８】
前記第２の拡大画像から画像の特徴を抽出し、前記画像の特徴に応じて、前記切替回路から出力された画像を表示する表示モジュールの備えるバックライトの発光を制御すると共に前記第１の拡大画像および前記第２の拡大画像のそれぞれを変換する制御回路を備えることを特徴とする請求項５に記載の画像処理回路。
【請求項１９】
前記第２の拡大画像の１フレーム分における１または複数の階調ごとのヒストグラム上で出現頻度の累積値が最大階調から所定割合を満足するしきい値階調を求め、ヒストグラムの上限階調に対する前記しきい値階調の割合Ｄｔｈを求め、前記切替回路から出力された画像を表示する表示モジュールの備えるバックライトの発光を前記Ｄｔｈまで下げると共に、前記第１の拡大画像の各階調データおよび前記第２の拡大画像の各階調データを１００／前記Ｄｔｈ倍する制御回路を備えることを特徴とする請求項５に記載の画像処理回路。
【請求項２０】
画像の解像度を拡大し、表示データの映像特徴に応じてデータ変換と輝度制御を行う画像処理回路において、
複数フレームの画像から補間画素を生成し、その補間画素によりフレームの画像を補間することにより、第１の拡大画像を生成する第１の拡大処理回路と、
単一フレームの画像から補間画素を生成し、その補間画素の画像によりフレームの画像を補間することにより、第２の拡大画像を生成する第２の拡大処理回路と、
前記第１の拡大処理回路によって処理された前記第１の拡大画像と前記第２の拡大処理回路によって処理された前記第２の拡大画像とを交互に出力する切替回路と、
前記第２の拡大画像から前記映像特徴を抽出し、前記映像特徴に応じて前記第１の拡大画像および前記第２の拡大画像のデータ変換とバックライトの輝度制御を行う制御回路とを備えることを特徴とする画像処理回路。
【請求項２１】
前記映像特徴を任意のフレームで抽出することを特徴とする請求項２０に記載の画像処理回路。
【請求項２２】
前記映像特徴を１フレームおきに抽出することを特徴とする請求項２０に記載の画像処理回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を高解像度化して表示する画像表示装置及びその画像処理回路に係り、特に、ブラウン管表示装置、液晶表示装置、プラズマ表示装置、有機ＥＬ表示装置、電荷放出表示装置など及びその画像処理回路に関する。
【背景技術】
【０００２】
映像が速く動いているパターンを含んでいると、人間の視覚系に存在する神経細胞群の働きにより、動いているパターンの高空間周波数成分が実際よりも若干強く認識されると知見に基づき、キーフレームと画像処理フレーム（ボヤけた映像フレーム）を交互に表示することにより、コントラストの低下を抑えつつ映像を劣化させたり、あるいは映像の見かけのコントラストを実際よりも上げることができることが知られている（非特許文献１）。
【０００３】
【非特許文献１】NTT Innovative Technology Site (http://www.ntt-tec.jp/technology/A321.html), No. A321,「映像の鮮明化をもたらす画像処理手法」
【発明の開示】
【発明が解決しようとする課題】
【０００４】
非特許文献１の第一の課題として、どのような構成により画像処理フレームを得るのか明示されていない点と、超解像技術のような、拡大映像の輪郭をシャープに処理することも考慮されていない点が挙げられる。
【０００５】
尚、超解像技術とは、連続する2フレームの画像間で共通する表示画像部分を動き補償により一致させ、それにより得られる多サンプリング点で構成される画像から、新たに高い空間周波数成分を持つ高解像度化画像を生成する処理である。
【０００６】
さらに第二の課題として、2種類の映像を交互に表示することにより、ディスプレイ側で、例えばバックライトの低電力制御のような、映像輝度の特徴からデータ変換処理等を行う場合への適用が考慮されていない点が挙げられる。つまり、2種類の映像で平均輝度が異なることにより処理に誤りが生じ、フリッカ等の表示不良が生じる恐れがある。
【０００７】
そこで、本発明は、入力画像を高解像度化する過程で、キーフレームと画像処理フレームを生成し、超解像処理を毎フレーム行わなくても、画質劣化の少ない動画を得ることができ、かつ、2種類の映像を交互に表示する場合においてもフリッカのない、バックライト低電力制御方式を可能とする装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
第一の課題を解決するための手段として、本発明（例えば、第一の実施形態）は、複数フレームの画像から補間画素を生成し、その補間画素によりフレームの画像を補間した第１の拡大画像（例えば、超解像画像）と、単一フレームの画像から補間画素を生成し、その補間画素の画像によりフレームの画像を補間した第２の拡大画像（例えば、中間調補間拡大画像）とを、交互に表示することを特徴とする。これを実現するために、複数フレームの画像における画像内容の動きのずれを補償し、各フレームの画素のサンプリング位相間の位相差に基づき広帯域補間および加重和により補間画素の画像を算出する第１の拡大処理回路（例えば、超解像処理回路）と、単一フレームの画像の周辺画素の画像から補間画素の画像を算出する第２の拡大処理回路（例えば、中間調補間拡大処理回路）と、第１の拡大処理回路によって処理された第１の拡大画像と第２の拡大処理回路によって処理された第２の拡大画像とを交互に出力する切替回路と、切替回路から出力された画像を表示する表示モジュール（例えば、表示パネルとデータ線駆動回路と走査線駆動回路）とを備える。
【０００９】
また、第１の拡大画像は、解像度を拡大しても画像内容の輪郭部分が鮮明な画像となり、第２の拡大画像は、解像度を拡大することにより画像内容の輪郭部分がぼやけた画像となる。よって、本発明は、解像度を拡大しても画像内容の輪郭部分が鮮明な画像と、解像度を拡大することにより画像内容の輪郭部分がぼやけた画像とを、交互に表示することを特徴とする。
【００１０】
また、第１の拡大画像は、元画像の空間周波数スペクトルに対して空間周波数スペクトルの最大値が画像の拡大率に応じた倍率で拡大し、かつ、元画像の空間周波数スペクトルの最大値から拡大後の最大値まで元画像の空間周波数スペクトルがスライドするように拡大した画像となり、第２の拡大画像は、元画像の空間周波数スペクトルに対して空間周波数スペクトルの最大値が画像の拡大率よりも小さい倍率で拡大し、かつ、元画像の空間周波数スペクトルの最大値から拡大後の最大値まで元画像の空間周波数スペクトルが次第に低下するように拡大した画像となる。よって、本発明は、元画像の空間周波数スペクトルに対して空間周波数スペクトルの最大値が画像の拡大率に応じた倍率で拡大し、かつ、元画像の空間周波数スペクトルの最大値から拡大後の最大値まで元画像の空間周波数スペクトルがスライドするように拡大した画像と、元画像の空間周波数スペクトルに対して空間周波数スペクトルの最大値が画像の拡大率よりも小さい倍率で拡大し、かつ、元画像の空間周波数スペクトルの最大値から拡大後の最大値まで元画像の空間周波数スペクトルが次第に低下するように拡大した画像とを、交互に表示することを特徴とする。
【００１１】
第二の課題を解決するための手段として、本発明（例えば、第二の実施形態）は、さらに、バックライト電力制御部を備え、そして、バックライト電力制御部は、第１の拡大映像と第２の拡大映像のどちらか一方の映像を切替えて出力する切替回路と、切替出力された映像全体の輝度ごとの出現頻度（ヒストグラム）を抽出する特徴抽出回路と、抽出された特徴に応じて表示データを変換するデータ変換回路と、データ変換量に応じてバックライト輝度を調光するバックライト調光回路を備え、交互に表示される第１の拡大映像と第２の拡大映像のうちのどちらか一方の映像からヒストグラムを抽出することを特徴とする。
【発明の効果】
【００１２】
本発明（例えば、第一の実施形態）によれば、所定フレーム毎に超解像画像の代わりに超解像処理よりも画質は劣るが処理の簡単な補間拡大処理により得た補間拡大画像を挿入するため、超解像処理を毎フレーム行わなくても、画質劣化の少ない動画を得ることができる。
【００１３】
そして、本発明によれば、超解像処理時のメモリ読出しや演算処理を所定のフレーム毎に休止できるため、消費電力を低減することが可能となる。
【００１４】
また、本発明によれば、超解像処理が所定のフレーム毎となり画像処理時間に余裕が出るため、映像の遅延を抑えることが可能である一方、より高画質となる複雑な超解像処理も可能となる。
【００１５】
よって、本発明によれば、高画質な高解像度映像（超解像技術）を、処理による遅延を抑え、低消費電力で実現可能となる。
【００１６】
さらに、本発明（例えば、第二の実施形態）によれば、バックライト制御におけるヒストグラム抽出を、第１の拡大映像、第２の拡大映像いずれか一方の映像から行うことにより、2種類の映像の差異によるヒストグラムの差異がデータ変換およびバックライト制御に影響することを防止するとともに、ヒストグラム抽出を行う映像によっては、例えば、空間周波数成分が低い映像から抽出を行うことにより、処理を簡略化することも期待できる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の２つの実施形態を説明する。
【実施例１】
【００１８】
動画においては、高周波成分が強調される方向に認識されることとなる。したがって、この超解像処理は毎フレーム行う必要はなく、フレームによっては、画質は劣る（ボヤけが生じる）が処理の簡単な補間拡大処理でも、最終的な映像は劣化のない映像を提供することが可能となる。
【００１９】
そこで、第一の実施形態は、高解像処理回路として、超解像処理回路に加え、中間調補間のような複数フレームの映像を必要としない簡単な補間拡大処理回路を設け、フレーム毎に処理回路、および出力映像を切り替えることを特徴とする。
【００２０】
本発明の第一の実施形態を図１〜６を用いて説明する。
【００２１】
図１は、本発明の画像表示装置の全体構成である。１は複数の画素がマトリックス状に配置された表示パネル、２は入力された表示データを高解像度化する高解像度表示制御回路（画像処理回路）、３は表示データに応じたデータ線駆動信号を画素列に配線されたデータ線に印加するデータ線駆動回路、４は走査線駆動信号を画素行に配線された走査線に順次印加することにより、データ線駆動信号を印加すべき画素行を選択・走査する走査線駆動回路である。表示パネル１、データ線駆動回路３、走査線駆動回路４は、表示モジュールを構成する。入力表示データの解像度（例えば、横640×縦480画素）と表示パネルの解像度（例えば、横1920×縦1080画素）が異なり、表示パネルの解像度の方が高くなっているため、高解像度表示制御回路において入力表示データを高解像度化処理する点を特徴とする。
【００２２】
表示パネル１は、列方向にデータ線が配線され、行方向に走査線が配線され、その交点に対応して画素が配列され、その画素にデータ線及び走査線が接続されている。表示素子は、液晶素子、プラズマ素子、有機ＥＬ素子、電荷放出素子などである。高解像度表示制御回路２は、１画面の期間（タイミング）を決める垂直同期信号、１ラインの期間（タイミング）を決める水平同期信号、表示データが入力されることを示すデータイネーブル、表示データ、１画素の期間（タイミング）を決める同期クロックを、他の装置（例えば、ＴＶチューナ、表示メモリ、ハードディスク、ＰＣ本体）から入力する。表示データのサイズは、８ビットでも、１０ビットでもよい。そして、高解像度表示制御回路２は、入力される表示データ、同期信号から、表示パネル１の解像度に対応した高解像度データ線駆動信号、高解像度走査線制御信号を生成する。データ線駆動回路３は、高解像度データ線駆動信号を入力し、高解像度データ線駆動信号に含まれる表示データに応じたデータ線駆動信号を生成する。走査線駆動回路４は、高解像度走査線駆動信号を入力し、高解像度走査線駆動信号に従って走査線駆動信号を１又は複数の走査線に上から順次印加する。そして、走査線駆動信号が印加された画素に、データ線駆動信号が印加され、画素はデータ線駆動信号の大きさに応じた輝度を表示する。
【００２３】
図２は図１記載の高解像度表示制御回路の詳細を示した図である。高解像度表示制御回路２に、高解像度化処理を行う超解像処理回路５と、空間方向の画素の補間による拡大処理を行う補間拡大処理回路６の２種類を設け、さらに、各々の表示データをフレーム毎に切替える表示データ切替回路７を設ける。また、超解像処理回路５と補間拡大処理回路６の各処理回路では、２種類の処理回路のうち、動作しない処理回路を休止させる制御も行う。休止するとは、超解像処理や補間拡大処理を停止したり、超解像処理回路５や補間拡大処理回路６そのものを停止（動作電源遮断又は動作クロック停止）することをいう。
【００２４】
高解像度表示制御回路２に、垂直同期信号、水平同期信号、データイネーブル、同期クロックを入力し、超解像処理回路５及び補間拡大処理回路６に垂直同期信号、水平同期信号、データイネーブル、同期クロックを入力する。垂直同期信号に従って、高解像度表示制御回路２に表示データを入力し、超解像処理回路５及び補間拡大処理回路６に表示データを入力する。
【００２５】
補間拡大処理回路６は、垂直同期信号に基づいて、超解像処理フレーム制御信号を生成する。例えば、補間拡大処理回路６は、垂直同期信号が“１”になる毎に、超解像処理フレーム制御信号の“０”と“１”を切り替える。これにより、超解像処理フレーム制御信号は、１フレーム毎に、“０”と“１”とが切り替わる。超解像処理フレーム制御信号は、補間拡大処理回路６から超解像処理回路５及び表示データ切替回路７に出力される。尚、超解像処理フレーム制御信号は、超解像処理回路５によって生成されてもよい。
【００２６】
補間拡大処理回路６は、水平同期信号に基づいて、高解像度水平開始信号を生成し、同期クロックに基づいて、高解像度水平シフトクロックを生成する。高解像度水平開始信号は、水平同期信号に対して、周期を何倍化したり、位相をすらしてもよいし、そのままでもよい。高解像度水平シフトクロックは、同期クロックに対して、周期を何倍化したり、位相をすらしてもよいし、そのままでもよい。補間拡大処理回路６は、垂直同期信号に基づいて、高解像度垂直開始信号を生成し、水平同期信号に基づいて、高解像度垂直シフトクロックを生成する。高解像度垂直開始信号は、垂直同期信号に対して、周期を何倍化したり、位相をすらしてもよいし、そのままでもよい。高解像度垂直シフトクロックは、水平同期信号に対して、周期を何倍化したり、位相をすらしてもよいし、そのままでもよい。そして、高解像度垂直開始信号及び高解像度水平シフトクロックは、高解像度データ線制御信号として、補間拡大処理回路６からデータ線駆動回路３へ出力され、データ線駆動回路３の動作に利用される。高解像度垂直開始信号及び高解像度垂直シフトクロックは、高解像度走査線制御信号として、補間拡大処理回路６から走査線駆動回路４へ出力され、走査線駆動回路４の動作に利用される。尚、高解像度垂直開始信号、高解像度水平シフトクロック、高解像度垂直開始信号及び高解像度垂直シフトクロックは、超解像処理回路５によって生成されてもよい。
【００２７】
超解像処理回路５は、超解像処理フレーム制御信号に従って、超解像処理（補間拡大及び動き補償）を実行し、超解像の表示データを生成し、出力する。補間拡大処理回路６は、超解像処理フレーム制御信号に従って、表示データの各画素について、周辺画素の表示データから補間画素の表示データとなる中間調の表示データを生成し、補間画素によってオリジナル画素を補間して、表示データを生成し、出力する。表示データ切替回路７は、超解像処理フレーム制御信号に従って、補間拡大処理回路６からの入力、つまり補間拡大の表示データと、超解像処理回路５からの入力、つまり超解像の表示データを、切り替えて、高解像度表示データとして出力する。これにより、高解像度表示制御回路２は、奇数フレーム期間に、補間拡大の表示データを出力し、偶数フレーム期間に、超解像の第２フレームの表示データを、高解像度データ線制御信号として出力する。
【００２８】
図３は拡大処理の概念を時間的に示す図である。ここでの拡大とは、表示解像度を拡大するという意味であり、ここでは元画像の画素数を縦方向に２倍、横方向に２倍する。ただし、縦横の画素数は２倍に限られない、図３(a)が超解像処理であり、拡大した画像（Ｎフレーム目の画像）と１フレーム遅延させた画像（（Ｎ−１）フレーム目の画像）の２フレーム合わせて処理する概念を示している（Ｎは整数である）。例えば、処理として、１フレーム遅延のための手段、例えばフレームメモリや、動き補償等の複雑な処理が必要となる。
【００２９】
複雑な処理とは、例えば、入力された複数の画像フレーム(以下、フレームと略記)を合成して1枚のフレームとすることにより、高解像度化しながら画素数を増やす。(1)位置推定、(2)広帯域補間、(3)加重和、の3つの処理により高解像度化を行う。ここで、(1)位置推定は、入力された複数の画像フレームの各画像データを用いて、各画像データのサンプリング位相(標本化位置)の差を推定するものである。(2)広帯域補間は、各画像データを折返し成分も含め、原信号の高周波成分をすべて透過する帯域の広いローパスフィルタを用いて画素数(サンプリング点)を補間して増やし、画像データを高密度化するものである。(3)加重和は、各高密度化データのサンプリング位相に応じた重み係数により加重和をとることによって、画素サンプリングの際に生じた折返し成分を打ち消して除去するとともに、同時に原信号の高周波成分を復元するものである。例えば、時間軸上のフレーム#1、フレーム#2、フレーム#3が入力され、これらを合成して出力フレームを得ることを想定する。簡単のため、まず被写体が水平方向に移動した場合を考え、水平線の上の1次元の信号処理によって高解像度化することを考える。このとき、フレーム#2とフレーム#1では、被写体の移動の量に応じて信号波形の位置ずれが生じる。上記(1)位置推定によってこの位置ずれ量を求め、位置ずれが無くなるようにフレーム#2を動き補償するとともに、各フレームの画素のサンプリング位相の間の位相差θを求める。この位相差θに基づき、上記(2)広帯域補間および(3)加重和を行うことにより、元画素のちょうど中間(位相差θ=π)の位置に新規画素を生成することにより、高解像度化を実現する。ただし、高解像度化を実現する上で、(1)位置推定、(2)広帯域補間、(3)加重和の３つの処理の全ては、必ずしも必要ではない。
【００３０】
図３(b)が中間調補間拡大処理であり、入力される画像の同一フレーム内の画素から補間画素を生成する。中間調補間拡大処理は、複数フレームを必要とする処理ではない。
【００３１】
図４は図２記載の高解像度表示制御回路の動作の詳細をタイミングチャートで示した図である。中間調補間拡大表示データは表示データを元に奇数フレームにて生成され、超解像表示データは表示データと１フレーム遅延表示データの２フレーム分のデータを元に偶数フレームにて生成される。処理上、中間調補間拡大表示データが先に生成され、超解像表示データは後に生成されるため、中間調補間拡大表示データを奇数フレーム、超解像表示データを偶数フレームとしたが、超解像表示データを奇数フレーム、中間調補間拡大表示データを偶数フレームとしてもよい。各々の動作は超解像処理フレーム制御信号で制御され、中間調補間拡大処理は、“０”のとき動作し、“１”のときは休止とし、逆に超解像処理は、“１”のとき動作し、“０”のときは休止とする。したがって、１フレーム遅延データは奇数フレームでは不要となり、例えばフレームメモリの読出し動作を休止することができる。各々の出力表示データは超解像処理フレーム制御によって切替えられ、“０”のときは中間調補間拡大表示データを、“１”のときは超解像表示データを出力することを示している。
【００３２】
垂直同期信号に従って、第１フレーム期間に高解像度表示制御回路２に第１フレームの表示データを入力し、超解像処理回路５及び補間拡大処理回路６に第１フレームの表示データを入力し、第２フレーム期間に高解像度表示制御回路２に第２フレームの表示データを入力し、超解像処理回路５及び補間拡大処理回路６に第２フレームの表示データを入力し、第３フレーム期間に高解像度表示制御回路２に第３フレームの表示データを入力し、超解像処理回路５及び補間拡大処理回路６に第３フレームの表示データを入力する。また、高解像度表示制御回路２に、垂直同期信号、水平同期信号、データイネーブル、同期クロックを入力し、超解像処理回路５及び補間拡大処理回路６に垂直同期信号、水平同期信号、データイネーブル、同期クロックを入力する。
【００３３】
超解像処理回路５は、超解像処理フレーム制御信号に従って、超解像処理フレーム制御信号が“１”である場合に、つまり第２フレーム期間に、フレームメモリなどを用いて、第１フレームの１フレーム遅延表示データを生成すると共に、生成された第１フレームの１フレーム遅延表示データと、入力された第２フレームの表示データとに基づいて、水平同期信号及び同期クロックを利用して、超解像処理（補間拡大及び動き補償）を実行し、超解像の第２フレームの表示データを生成し、出力する。超解像処理回路５は、超解像処理フレーム制御信号に従って、超解像処理フレーム制御信号が“０”である場合には、つまり第１フレーム期間には、休止している。尚、高解像度表示制御回路２の超解像処理は、１フレーム遅延表示データを生成に対して、所定期間（例えば、１フレーム期間）遅延してもよい。
【００３４】
一方、補間拡大処理回路６は、超解像処理フレーム制御信号に従って、超解像処理フレーム制御信号が“０”である場合に、つまり第１フレーム期間に、水平同期信号及び同期クロックを利用して、第１フレームの表示データの各画素について、周辺画素の表示データから補間画素の表示データとなる中間調の表示データを生成し、補間画素によってオリジナル画素を補間して、補間拡大の第１フレームの表示データを生成し、出力する。補間拡大処理回路６は、超解像処理フレーム制御信号に従って、超解像処理フレーム制御信号が“１”である場合に、つまり第２フレーム期間に、休止する。尚、補間拡大処理回路６の補間拡大処理は、表示データの入力に対して、所定期間（例えば、１フレーム期間）遅延してもよい。
【００３５】
そして、表示データ切替回路７は、超解像処理フレーム制御信号に従って、超解像処理フレーム制御信号が“０”である場合に、つまり第１フレーム期間に、補間拡大処理回路６からの入力を選択し、つまり補間拡大の第１フレームの表示データを入力し、高解像度表示データとして出力する。表示データ切替回路７は、超解像処理フレーム制御信号に従って、超解像処理フレーム制御信号が“１”である場合に、つまり第２フレーム期間に、超解像処理回路５からの入力を選択し、つまり超解像の第２フレームの表示データを入力し、高解像度表示データとして出力する。これにより、高解像度表示制御回路２は、第１フレーム期間に、補間拡大の第１フレームの表示データを出力し、第２フレーム期間に、超解像の第２フレームの表示データを、高解像度データ線制御信号として出力する。
【００３６】
図５は高解像度化映像の概略を示す図である。図５（ａ）は、元画像である。横５×縦５画素である。図５（ｄ）は、単純拡大処理後の画像である。横１０×縦１０画素である。単純拡大処理とは、横方法及び縦方向に隣接する画素に同一の画像を表示する。つまり、横方法及び縦方向に隣接する画素に対して画像を複製して表示する。よって、白画像と黒画像の輪郭部分は、横方法にも縦方向にも２画素単位となり、輪郭部分が荒くなっている。図６（ｂ）は、超解像処理後の画像である。横１０×縦１０画素である。超解像処理は複数フレームを使用し高周波成分を持つ拡大画像（高精細画像）を生成する。その結果、白画像と黒画像の輪郭部分も、１画素単位とすることができ、単純拡大画像よりも高精細で鮮明な（シャープな）画像となる。図６（ｃ）は、中間調補間処理後の画像である。横１０×縦１０画素である。中間調補間処理は同一フレーム内の周辺画素の階調情報（データ値）から、補間画素のデータを生成する。例えば、周辺画素の平均値を補間画素のデータとする方法やリニア関数やスプライン関数を用いて周辺画素のデータから補間画素のデータを算出する方法である。この場合、単純拡大画像と比較して高周波成分は増えているものの、白画像と黒画像の輪郭部分がぼやけることとなる。本発明では、超解像画像（図５（ｂ））と中間調補間画像（図５（ｃ））を、フレーム毎に交互に切り替える。
【００３７】
図６は図３記載の処理概念の経過毎の空間周波数スペクトルを示した図である。横軸が空間周波数であり、縦軸が強度を示す。図６(a)が元画像の空間周波数スペクトルであり、図６(b)が高解像度化処理後の画像の空間周波数スペクトルである。超解像では解像度が２倍となることから空間周波数が２倍のｆmax’’まで伸びる。特に、ｆmaxからｆmax’’まで、空間周波数の特性がスライドした形状となっている。中間調補間拡大ではその半分程度のfmax’までで、かつ強度も低いスペクトルとなる。特に、ｆmaxからfmax’まで、空間周波数の特性がリニアに低下している。図６(c)が動画効果による空間周波数スペクトルである。背景技術に記載のとおり、動画においては高周波成分が強調されることから、超解像、中間調補間拡大、各々の高周波成分（高周波領域の空間周波数スペクトル）の強度が、人間の認識では強まることを示している。図６(d)が動画を構成する超解像画像と中間調補間拡大画像とをフレーム交互に表示した場合の各フレームの空間周波数スペクトルである。２フレームに１回の表示であることから、図６(c)で示した超解像画像或いは中間調補間拡大画像の単一での動画表示における空間周波数スペクトルに対して、空間周波数スペクトルの強度が全体的にほぼ半分となることを示している。図６(e)が動画を構成する超解像画像と中間調補間拡大画像とをフレーム交互に表示を繰り返した結果の出力映像の空間周波数スペクトルである。図６(d)における２つの空間周波数スペクトルを合成した形となり、結果として図６(b)の超解像画像の空間周波数スペクトルと同等の波形を得る。つまり、動画像に対しては、超解像画像に中間調補間拡大画像を時間軸方向に挿入したとしても、超解像画像と同等の空間周波数スペクトルを得ることができ、人間の認識上、超解像画像と同等の画質を確保できる。
【００３８】
以上により、動画においては超解像処理を毎フレーム行わなくても高画質な画像を得ることができることを示している。ここで、超解像処理を行うフレームであるが、２フレームに１回に限定するものではなく、超解像処理と組み合わせるもう一方の処理に応じて、処理の回数を可変（１／４フレームに１回や１／２フレームに１回、３フレームに１回、４フレームに１回など）とすることも可能であり、動きの量に応じて処理の回数を可変とすることも可能である。時間あたりの超解像処理の数を増やすと、動画像のぼやけを低減できる。
【実施例２】
【００３９】
第一の実施形態では、2種類の映像が交互に表示されることとなり、ディスプレイ側で映像の特徴抽出を行う必要がある場合（例えばバックライト電力制御処理）は特徴が交互に異なる映像となるため、処理に差異が生じ、表示不良が発生する恐れがある。
【００４０】
そこで、第二の実施形態は、第１の拡大映像と第２の拡大映像のどちらか一方の映像のみから特徴抽出し、バックライト電力制御処理を行うことを特徴とする。
【００４１】
本発明の第二の実施形態を図７〜１１を用いて説明する。第一の実施形態と同じ符号、同じ名称のものに関しては、第一の実施形態と同様のものとして扱う。
【００４２】
図７は、本発明の画像表示装置の第二の実施形態の全体構成である。表示パネル１、高解像度表示制御回路２、データ線駆動回路３、走査線駆動回路４、ならびに、図１と同じ名称を付した部分は第一の実施形態と同様である。８は表示データに応じてデータ変換とバックライト調光を組合わせることによりバックライトの消費電力を抑制するバックライト電力制御回路、９は第一の実施形態では示さなかったが、表示パネル１の表示素子が液晶素子である場合に、その表示素子を背面から照射するバックライトである。バックライトからの光を液晶素子により遮光したり、バックライトそのものの発光量を変えることにより、表示素子の発光輝度を制御することができる。
【００４３】
バックライト電力制御回路８は、入力される高解像度データ線制御信号に含まれる高解像度表示データから、１または複数の階調ごとの出現頻度（ヒストグラム）を抽出し、その結果に応じてデータ変換したバックライト制御対応高解像度表示データ（後述）を含むバックライト制御対応高解像度データ線制御信号と、データ変換量に応じてバックライト輝度を調光するためのバックライト調光信号を出力する。ここで、入力される高解像度表示データは2種類の拡大映像を交互に表示するものであり、バックライト電力制御回路８は、この2種類の拡大映像のどちらか一方を選択してヒストグラム抽出を行うことを特徴とする。詳細は後で説明する。
【００４４】
図８は図７記載のバックライト電力制御回路８の動作概念を示す図である。本実施形態におけるバックライト電力制御の概念を以下に説明する。映像全体（好ましくは１フレーム分の映像）の１または複数の階調ごとのデータ出現頻度（ヒストグラム）から、映像全体中の最大輝度階調から所定％（例えば、１０％）までの高輝度階調のデータ出現頻度（ヒストグラムの上位所定％の面積）を満たす（出現頻度が少なくなる階調領域を検出し）しきい値階調を求め、ヒストグラム上で０階調を０％とし上限階調を１００％とした場合のしきい値階調の位置する割合Dth（％）を決定する（図８(a)参照）。そのしきい値階調Dthが上限階調100％となるようにデータを変換（100/Dth倍）する（図８(b)参照）。つまりヒストグラム上でしきい値階調Dth以上の階調データをカットし、しきい値階調Dthが上限階調100％になるように、ヒストグラムの０値を固定したままヒストグラム全体が高階調側へ伸張するように、各階調データを変換する。データ変換により輝度が上昇した分、つまりしきい値階調Dth以上のデータをカットした分、バックライト輝度を減光（Dth/100倍）する（図８(c)参照）。したがって、図８に示すように、映像全体のヒストグラムは元のヒストグラムとほぼ変わらず、バックライトの輝度をDth/100倍（＜１）としているため、バックライトの消費電力が下がっていることとなる。尚、１フレーム分のヒストグラムは、０階調から上限階調１００％の全てを取得する必要はなく、最大輝度階調から所定％までの高輝度階調のみを取得してもよい。
【００４５】
図９は図８記載のバックライト電力制御において、図７記載の高解像度表示制御回路２からの表示データに適用した場合に考えられる（懸念される）動作を示す図である。図７記載の高解像度データ線制御信号に含まれる高解像度表示データは、第一の実施形態で説明したとおり、フレーム毎に超解像処理映像と、中間調補間拡大映像を切替えている。したがって、図８で説明したヒストグラムが、図９に示すように異なることとなる。ここでは、超解像映像が偶数フレームに生成され、ヒストグラムを実線で表し、中間調補間拡大映像が奇数フレームで生成され、ヒストグラムを点線で表すこととする。中間調補間拡大映像のヒストグラムは、中間調領域の頻度が高く、高輝度、低輝度領域の頻度が低くなることを示している。したがって、高輝度階調のデータ出現頻度に応じて決定するしきい値階調は、偶数フレームではDth2、奇数フレームではそれより低めのDth1となる（図９(a)参照）。その結果、図８で説明したデータ変換率が、フレーム毎に（100/Dth2倍）と（100/Dth1倍）で異なる（図９(b)参照）。さらに、バックライト輝度の減光倍率も、フレーム毎に（Dth2/100倍）と（Dth1/100倍）で異なってしまう（図９(c)参照）。この違いは、表示のフリッカとして人間の目に認識されることとなる。
【００４６】
図１０は図７記載の高解像度表示制御回路２の詳細を示す図である。第一の実施形態と同じ符号、同じ名称のものに関しては、第一の実施形態と同様のものとして扱う。第一の実施形態とほとんど同様であるが、偶数フレームで“１”、奇数フレームで“０”となる超解像フレーム制御信号を、高解像度データ線制御信号に含めて出力する点のみ異なっている。後段で、フレーム交互に表示される2種類の拡大映像を選択切替するための制御信号として使用するためである。
【００４７】
図１１は図７記載のバックライト電力制御回路８の詳細を示す図である。１０は表示データ切替回路、１１はデータ変換回路、１２は映像特徴抽出回路、１３は調光制御回路であり、表示データ切替回路１０は超解像フレーム制御信号に従って、フレーム毎に超解像映像と中間調補間拡大映像が交互に入力される高解像度表示データのうち、いずれか一方の表示データを選択出力する。ここでは、選択出力される映像を中間調補間拡大映像とし、超解像フレーム制御信号が“０”のときに出力されるものとして説明する。映像特徴抽出回路１２は、抽出対象表示データとして入力される映像が中間調補間拡大映像のみとなることから、図９の点線で示すヒストグラムのみを抽出し、データ変換回路１１は、超解像映像、中間調補間拡大映像に係わらず、高解像度表示データを、中間調補間拡大映像から抽出したヒストグラムに応じた変換倍率、つまり図９に示す（100/Dth1倍）で変換する。同様に、調光制御回路１３も、超解像映像、中間調補間拡大映像に係わらず、中間調補間拡大映像から抽出したヒストグラムに応じた調光倍率、つまり図９に示す（Dth1/100倍）となるよう、バックライト調光信号を生成する。ここで、映像特徴抽出回路１２は、元映像の解像度分のヒストグラム抽出に簡略化する（中間調補間画素を抽出の対象から外すことにより、抽出対象を元画像と等しくすることができるため）ことも可能である。タイミング調整回路１４はデータ変換回路１１によるタイミング遅延を調整するための回路である。
【００４８】
尚、バックライト電力制御回路８は、高解像度表示制御回路２の出力側とデータ線駆動回路３の入力側との間ではなく、高解像度表示制御回路２内の超解像処理回路５および拡大処理回路６の出力側と表示データ切替回路７の入力側との間に接続されてもよい。
【００４９】
以上により、第一の実施形態のように、フレーム毎に超解像映像と中間調補間拡大映像を交互に表示する表示装置において、フリッカのないバックライト低消費電力制御を可能とする。ここで、2種類の映像を超解像映像と中間調補間拡大映像として説明したが、これに限定するものではなく、例えば動画性能を向上する制御のように2種類の映像をフレーム交互に表示する表示装置であれば適用可能な方式である。
【産業上の利用可能性】
【００５０】
本発明は、フラットパネルディスプレイ全般に適用可能であり、特に、高解像度（HD）TV装置に好適である。
【図面の簡単な説明】
【００５１】
【図１】本発明の画像表示装置の第一の実施形態の構成図。
【図２】本発明の高解像度表示制御回路（画像処理回路）の構成図。
【図３】拡大処理の概念図。
【図４】本発明の高解像度化処理のタイミングチャート。
【図５】高解像度化映像の概略図。
【図６】処理概念毎の空間周波数スペクトル。
【図７】本発明の画像表示装置の第二の実施形態の構成図。
【図８】本発明のバックライト電力制御の概念図。
【図９】本発明の第一の実施形態にバックライト電力制御の適用した場合の動作概念図。
【図１０】本発明の第二の実施形態の高解像度表示制御回路（画像処理回路）の構成図。
【図１１】本発明の第二の実施形態のバックライト電力制御回路の構成図。
【符号の説明】
【００５２】
１‥表示パネル、２‥高解像度表示制御回路、３‥データ線駆動回路、４‥走査線駆動回路、５‥超解像処理回路、６‥補間拡大処理回路、７‥表示データ切替回路、８…バックライト電力制御回路、９…バックライト、１０…表示データ切替回路、１１…データ変換回路、１２…映像特徴抽出回路、１３…調光制御回路、１４…タイミング調整回路
【図１】
2009053680.tif 000003
【図２】
2009053680.tif 000004
【図３】
2009053680.tif 000005
【図４】
2009053680.tif 000006
【図５】
2009053680.tif 000007
【図６】
2009053680.tif 000008
【図７】
2009053680.tif 000009
【図８】
2009053680.tif 000010
【図９】
2009053680.tif 000011
【図１０】
2009053680.tif 000012
【図１１】
2009053680.tif 000013