(57)【要約】  解像度判定装置の解像度判定部２０は、入力画像ＶＩ内の複数画素につきその輝度とその隣接画素の輝度との差に基づきエッジ強度を求めるエッジ強度計算部１２と、前記エッジ強度がノイズと判断されるとそのエッジ強度を０値に近づけるコアリング処理部２１と、隣接するエッジ強度の符号が変化する画素を検出するエッジ変化点検出部２２と、その検出結果を複数画素分累積する第１の累積部２３と、外部からのパラメータに従って累積値がパラメータ値を超える画素を1フレーム分累積する第２の累積部２４とを備え、前記入力画像ＶＩがアップコンバートされた画像か否かを前記累積結果に基づき判定する。
2013076885.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に含まれる複数の画素のそれぞれについて、画素の輝度とその画素に隣接する画素の輝度との差に基づいてエッジ強度を求めるエッジ強度計算部と、
解像度判定部とを備え、
前記解像度判定部は、
前記エッジ強度がノイズと判断される場合にはそのエッジ強度を０値に近づけるコアリング処理部と、
隣接するエッジ強度の符号が変化する画素を検出するエッジ変化点検出処理部と、
前記エッジ変化点検出処理部の結果を複数画素分累積する第１の累積処理部と、
前記解像度判定部の外部から入力されたパラメータに従って、累積値がパラメータ値を超える画素を1フレーム分累積する第２の累積処理部とを備え、
前記入力画像が所定の解像度以下の画像からアップコンバートされた画像であるか否か及び平坦な画像であるか否かを前記累積結果に基づいて判定し、その判定結果を出力する
ことを特徴とする解像度判定装置。
【請求項２】
前記請求項１に記載の解像度判定装置において、
前記解像度判定部は、
前記累積結果に応じて補正係数を生成し、前記判定結果として出力する補正係数生成部を有する
ことを特徴とする解像度判定装置。
【請求項３】
前記請求項２に記載の解像度判定装置において、
前記解像度判定部は、前記累積値を時間軸方向で平滑化するフィルタを更に有し、
前記補正係数生成部は、前記フィルタで平滑化された累積値に応じて補正係数を生成する
ことを特徴とする解像度判定装置。
【請求項４】
前記請求項３に記載の解像度判定装置において、
前記補正係数生成部は、
累積値に応じて複数の補正係数を生成する
ことを特徴とする解像度判定装置。
【請求項５】
前記請求項１に記載の解像度判定装置と、
前記解像度判定部による前記判定結果に従って、前記入力画像に高解像度化処理を行って出力する高解像度化処理部とを備える
ことを特徴とする画像処理装置。
【請求項６】
前記請求項５に記載の画像処理装置において、
前記高解像度化処理部は、
高解像度化処理によって得られた画像の輝度を、前記入力画像に基づいて求められた範囲の値に制限して出力するリミッタを有する
ことを特徴とする画像処理装置。
【請求項７】
前記請求項６に記載の画像処理装置において、
前記高解像度化処理部は、
前記入力画像が所定の解像度以下の画像からアップコンバートされた画像であると判定された場合には、前記リミッタによる制限を行わずに高解像化を行う
ことを特徴とする画像処理装置。
【請求項８】
前記請求項７に記載の画像処理装置において、
前記高解像度化処理部は、
前記入力画像が平坦な画像であると判定された場合には、前記リミッタによる制限を行って高解像化を行う
ことを特徴とする画像処理装置。
【請求項９】
前記請求項５〜８の何れか１項に記載の画像処理装置と、
前記画像処理装置で高解像度化処理された画像を表示する表示器とを備える
ことを特徴とする画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を高解像度化するための技術に関する。
【背景技術】
【０００２】
近年、テレビ受像器等の画像表示装置では、ＨＤ（high definition）画像を表示することが一般的になってきており、例えばデジタル放送では、多くの場合、ＨＤ画像信号が送信されている。ＨＤ画像の中には、従来から用いられているＳＤ（standard definition）画像をＨＤ画像の画素数を持つようにアップコンバートした画像が含まれている場合がある。このような画像を高解像度化するための技術として、例えば特許文献１には、複数の画像フレームを用いてアップコンバート後の画像を高解像度化する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−０１５０２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
機器が自らアップコンバートをする場合には、元の画像の解像度が判っているので、アップコンバート後の画像に対して高解像度化するための処理を適切に行うことができる。【０００５】
しかしながら、既にアップコンバートされた画像を受信する場合には、元の画像の解像度の情報は受信されないという問題がある。また、特許文献１では、アップコンバート後の画像を高解像度化するが、複数のフレームの画像を使用しないと処理することができない。【０００６】
本発明は、前記の問題に鑑み、その目的は、画像処理において、入力画像が、ＳＤ画像のように比較的解像度が低い画像がアップコンバートされて得られた画像であるか否かを、１フレームの画像に基づいて判定することにある。
【課題を解決するための手段】
【０００７】
前記の目的を達成するため、請求項１記載の発明の解像度判定装置は、入力画像に含まれる複数の画素のそれぞれについて、画素の輝度とその画素に隣接する画素の輝度との差に基づいてエッジ強度を求めるエッジ強度計算部と、解像度判定部とを備え、前記解像度判定部は、前記エッジ強度がノイズと判断される場合にはそのエッジ強度を０値に近づけるコアリング処理部と、隣接するエッジ強度の符号が変化する画素を検出するエッジ変化点検出処理部と、前記エッジ変化点検出処理部の結果を複数画素分累積する第１の累積処理部と、前記解像度判定部の外部から入力されたパラメータに従って、累積値がパラメータ値を超える画素を1フレーム分累積する第２の累積処理部とを備え、前記入力画像が所定の解像度以下の画像からアップコンバートされた画像であるか否か及び平坦な画像であるか否かを前記累積結果に基づいて判定し、その判定結果を出力することを特徴とする。【０００８】
また、請求項５記載の発明の画像処理装置は、前記請求項１に記載の解像度判定装置と、前記解像度判定部による前記判定結果に従って、前記入力画像に高解像度化処理を行って出力する高解像度化処理部とを備えることを特徴とする。【０００９】
更に、請求項９記載の発明の画像表示装置は、前記請求項５に記載の画像処理装置と、前記画像処理装置で高解像度化処理された画像を表示する表示器とを備えることを特徴とする。【００１０】
従って、本発明では、１フレームの画像を用いて入力画像が所定の解像度以下の画像からアップコンバートされた画像であるか否か及び平坦な画像であるか否かを１フレームの画像で知ることができるので、画像の元の解像度や画像の種別に応じて適切な高解像度化処理を少ないコストで高速に行うことができ、特に、ＳＤ画像のように比較的解像度が低い画像がアップコンバートされて得られた画像や平坦な画像を高画質化することが可能である。
【発明の効果】
【００１１】
以上説明したように、本発明によれば、１フレームの画像を用いて入力画像が所定の解像度以下の画像からアップコンバートされた画像であるか否か及び平坦な画像であるか否かを知ることができるので、ＳＤ画像のように比較的解像度が低い画像がアップコンバートされて得られた画像や平坦な画像を少ないコストで高速に高画質化することが可能である。
【図面の簡単な説明】
【００１２】
【図１】図１は本発明の実施形態に係る画像表示装置の構成例を示すブロック図である。
【図２】図２は入力画像における画素の配置の例を示す説明図である。
【図３】図３は入力画像ＶＩにおけるエッジ変化点累積値を示す図である。
【図４】図４（ａ）は図１の補正係数生成部における入力値と出力値との間の関係の例を示す図、同図（ｂ）は入力値と出力値との間の関係の他の例を示す図である。
【図５】図５（ａ）は入力画像ＶＩのエッジにおける輝度の例を示す図、同図（ｂ）は図１の高域成分抽出部の出力における同図（ａ）に対応する輝度を示す図、同図（ｃ）は図１の加算器の出力における同図（ａ）に対応する輝度を示す図、同図（ｄ）は図１のリミッタの出力における同図（ａ）に対応する輝度を示す図である。
【図６】図６（ａ）は平坦な画像以外の映像信号の補正の様子の例を示す図、同図（ｂ）は平坦な画像の映像信号の補正の様子の例を示す図である。
【図７】図７（ａ）は本発明の実施形態の効果の例を示し、同図（ａ）は解像度が高い映像の効果の一例を示す図、同図（ｂ）は解像度が低い映像の効果の一例を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００１４】
図１は、本発明の実施形態に係る画像表示装置の構成例を示すブロック図である。
【００１５】
同図の画像表示装置は、画像処理装置１００と、表示器６２とを有する。前記画像処理装置１００は、エッジ強度計算部１２と、解像度判定部２０と、高解像度化処理部４０とを有する。前記エッジ強度計算部１２と前記解像度判定部２０とは、解像度判定装置として動作する。
【００１６】
前記解像度判定部２０は、コアリング処理部２１と、エッジ強度符号変化点検出部２２と、符号変化点複数点累積部２３と、１フレーム累積処理部２４と、ＩＩＲ（infinite impulse response）フィルタ２６と、補正係数生成部２８とを有する。また、前記高解像度化処理部４０は、高域成分抽出部４２と、乗算器４４と、加算器４６と、特徴量抽出部４８と、リミッタ５２とを有する。
【００１７】
画像処理装置１００への入力画像ＶＩは、ＳＤ画像又はＨＤ画像（例えば１０８０ｐ：有効走査線数が１０８０のプログレッシブ画像）である。但し、入力画像ＶＩは、元からＨＤ画像である場合もあるし、元のＳＤ画像（例えば４８０ｐ）がアップコンバートされて得られたＨＤ画像である場合もある。アップコンバートとは、比較的解像度が低い画像（例えばＳＤ画像）を、より画素数の多い画像（例えばＨＤ画像）と同じ画素数を有するように変換することをいう。
【００１８】
図２は、入力画像ＶＩにおける画素の配置の例を示す説明図である。エッジ強度計算部１２は、入力画像ＶＩ内のある位置の画素の輝度とこれに隣接する画素の輝度との差に基づいてエッジ強度を求める。コアリング処理部２１は、外部から入力されるパラメータに基づいて、ノイズと判断されるエッジ強度について、そのエッジ強度を０値に近づける。
【００１９】
エッジ強度符号変化点検出部（エッジ変化点検出処理部）２２は、前記コアリング処理部２１の出力を受け、ある位置の画素の輝度ＹＮとその右隣の画素の輝度ＹＮ＋１との差及び前記ある位置の画素の輝度ＹＮとその左隣の画素の輝度ＹＮ-1との差の符号が異なる画素を検出する。
【００２０】
符号変化点複数点累積部（第１の累積処理部）２３は、左右に並ぶ複数画素において前記符号が異なる画素を累積して、外部から入力された閾値を超える画素を検出する。
【００２１】
１フレーム累積処理部（第２の累積処理部）２４は、前記画素を１フレーム分累積して周波数値ＥＧを求める。
【００２２】
解像度判定部２０は、入力画像ＶＩが所定の解像度以下の画像からアップコンバートされた画像であるか否か及び平坦な画像か否かを、周波数値ＥＧの度数に基づいて判定し、判定結果を出力する。
【００２３】
以下では、例として、入力画像ＶＩがＳＤ画像以下の解像度の画像がアップコンバートされた画像であるか否か及び平坦な画像か否かを、解像度判定部２０が判定する場合について説明する。平坦な画像とは、例えばアニメーション画像である。
【００２４】
図３に示すように、元からＨＤ画像である画像（ＨＤ）と、元のＳＤ画像がアップコンバートされて得られた画像（ＳＤ）と、平坦な画像とでは、周波数値ＥＧの度数が異なっている。
【００２５】
解像度判定部２０において、ＩＩＲフィルタ２６は、周波数値ＥＧを時間軸方向で平滑化し、平滑化されたカウント値ＦＴを補正係数生成部２８に出力する。ＩＩＲフィルタ２６の入力をＳ１（ｎ）、出力をＳ２（ｎ）とすると、
Ｓ２（ｎ）＝αＳ１（ｎ）＋（１−α）Ｓ２（ｎ−１）
の関係がある（αは実数係数、ｎは自然数、（ｎ）はｎ番目の画素についての信号であることを示す）。ＩＩＲフィルタ２６に代えて、入力値を時間軸方向で平滑化する他のフィルタを用いるようにしてもよい。
【００２６】
図４（ａ）は、図１の補正係数生成部２８における入力値ＦＴと出力値ＣＦとの間の関係の例を示すグラフである。補正係数生成部２８は、例えば図４（ａ）の関係に従って、カウント値ＦＴに応じて補正係数ＣＦを生成し、これを判定結果として乗算器４４に出力する。この場合、補正係数ＣＦが１より大きいときには、入力画像ＶＩはＳＤ画像以下の解像度の画像がアップコンバートされた画像であり、補正係数ＣＦが１以下であるときには、入力画像ＶＩはＳＤ画像より高い解像度の画像に基づいた画像であると判定されたことを示している。
【００２７】
図４（ｂ）は、入力値ＦＴと出力値ＣＦとの間の関係の他の例を示すグラフである。補正係数生成部２８は、図４（ａ）のグラフに代えて、図４（ｂ）のグラフの関係を用いてもよい。
【００２８】
高解像度化処理部４０は、補正係数ＣＦに従って、入力画像ＶＩに高解像度化処理を行って、処理後の画像ＶＰを表示器６２に出力する。高解像度化処理は、例えばエッジ強調処理であり、以下のように行われる。
【００２９】
図５（ａ）は、入力画像ＶＩのエッジにおける輝度の例を示す図である。図５（ａ）〜図５（ｄ）において、横軸は画素の位置、縦軸は輝度を示す。図５（ｂ）は、図１の高域成分抽出部４２の出力における図５（ａ）に対応する輝度を示す図、同図（ｃ）は図１の加算器４６の出力における図５（ａ）に対応する輝度を示す図、同図（ｄ）は図１のリミッタ５２の出力における図５（ａ）に対応する輝度を示す図である。
【００３０】
高域成分抽出部４２は、入力画像ＶＩから高域成分を抽出し、出力する。この高域成分抽出部４２は、例えば、輝度ＹＮの画素に関して、(ＹＮ−１＋２ＹＮ−ＹＮ＋１)）/２を出力する。高域成分抽出部４２の出力における輝度は、図５（ｂ）のようになる。乗算器４４は、高域成分抽出部４２の出力に補正係数ＣＦを乗算して、加算器４６に出力する。加算器４６は、入力画像ＶＩに乗算器４４の出力を加算して出力する。加算器４６の出力における輝度は、図５（ｃ）のようになる。
【００３１】
特徴量抽出部４８は、輝度ＹＮの画素に関して特徴量を求めて出力する。この特徴量抽出部４８は、例えば、輝度ＹＮの画素及びこれに隣接する周囲８個の画素のうち、最大の輝度ＬＭＡＸと最小の輝度ＬＭＩＮとを特徴量として求める。リミッタ５２は、以上の高解像度化処理によって得られた画像の輝度を、入力画像ＶＩに基づいて求められた範囲の値に制限して出力する。具体的には、リミッタ５２は、加算器４６の出力のうち、最大の輝度ＬＭＡＸを越える部分をその最大の輝度ＬＭＡＸに制限し、最小の輝度ＬＭＩＮを下回る部分をその最小の輝度ＬＭＩＮに制限して、出力する。リミッタ５２から出力される高解像度化処理された画像ＶＰは、図５（ｄ）のようになる。平坦な画像では、最大の輝度ＬＭＡＸと最小の輝度ＬＭＩＸとにより範囲を制限し、それ以外の画像では、最大の輝度ＬＭＡＸと最小の輝度ＬＭＩＸとによる制限を行わない。図６（ａ）は平坦な画像以外の映像の補正結果の例を、同図（ｂ）は平坦な画像に対する補正結果の例を示している。平坦な画像以外の画像では、図５（ｄ）のようなリミットを行わずに、オーバーシュート／アンダーシュートをつけることにより、精細感を向上させる。一方、平坦な画像である場合には、リミットを行うことにより、オーバーシュート／アンダーシュートをつけないで、鮮鋭感を向上させる。
【００３２】
図７は本実施形態の効果の例を示す。同図（ａ）は解像度が高い映像の効果の例、同図（ｂ）は解像度が低い映像の効果の例である。同図（ｂ）のように、入力映像において解像度が低い場合は、エッジ強調処理の効果を強くしている。以上のように、本実施形態では、入力映像の解像度を判別することにより、入力映像の解像度に応じて、高解像度化処理の効果を変えることが可能となる。
【００３３】
表示器６２は、表示パネル等を有し、高解像度化処理された画像ＶＰを表示する。
【００３４】
高解像度化処理部４０での高解像度化処理は、エッジ強調処理には限らない。例えば、入力画像ＶＩでパターン検出を行い、その結果に応じて適切な画像に置き換える処理を行ってもよい。入力画像ＶＩが、ＳＤ画像以下の解像度の画像がアップコンバートされた画像であると判定された場合（例えば、補正係数ＣＦが１より大きい場合）には、高解像度化処理部４０は、入力画像ＶＩよりも階調の数が多い画像を生成して出力してもよい。
【００３５】
以上で説明した各機能ブロックは、典型的にはハードウェアで実現され得る。例えば、各機能ブロックは、ＩＣ（集積回路）の一部として半導体基板上に形成され得る。ここでＩＣは、ＬＳＩ（large-scale integrated circuit）、ＡＳＩＣ（application-specific integrated circuit）、ゲートアレイ、ＦＰＧＡ（field programmable gate array）等を含む。また、代替として、各機能ブロックの一部又は全ては、ソフトウェアで実現され得る。例えば、そのような機能ブロックは、プロセッサ上で実行されるプログラムによって実現され得る。換言すれば、以上で説明した各機能ブロックは、ハードウェアで実現されてもよいし、ソフトウェアで実現されてもよいし、ハードウェアとソフトウェアとの任意の組合せで実現され得る。
【産業上の利用可能性】
【００３６】
以上説明したように、本発明は、入力画像が所定の解像度以下の画像からアップコンバートされた画像であるか否か及び平坦な画像であるか否かを少ないコストで高速に知ることができるので、解像度判定装置、画像処理装置及び画像表示装置等として有用である。
【符号の説明】
【００３７】
１２  エッジ強度計算部
２０  解像度判定部
２１  コアリング処理部
２２  エッジ強度符号変化点検出部（エッジ変化点検出処理部）
２３  符号変化点複数点累積部（第１の累積処理部）
２４  １フレーム累積処理部（第２の累積処理部）
２６  ＩＩＲフィルタ
２８  補正係数生成部
４０  高解像度化処理部
４２  高域成分抽出部
４４  乗算器
４６  加算器
４８  特徴量抽出部
５２  リミッタ
６２  表示器
１００  画像処理装置
【図１】
2013076885.tif 000003
【図２】
2013076885.tif 000004
【図３】
2013076885.tif 000005
【図４】
2013076885.tif 000006
【図５】
2013076885.tif 000007
【図６】
2013076885.tif 000008
【図７】
2013076885.tif 000009
【国際調査報告】
2013076885.tif 000010
2013076885.tif 000011
2013076885.tif 000012
2013076885.tif 000013