(57)【要約】【課題】解像度に対応して画像を処理することで，画質の向上を図った画像処理装置および画像処理方法を提供する。【解決手段】画像処理装置が，画像信号を再生する信号再生部と，前記再生される画像信号のノイズを低減するノイズ低減部と，前記ノイズが低減された画像信号の解像度を変換する解像度変換部と，前記解像度が変換された画像信号のエッジを強調するエッジ強調部と，前記変換前後の画像信号の解像度を検出する検出部と，前記検出された解像度に基づいて，前記ノイズ低減部および前記エッジ強調部を制御する制御部と，を具備する。【選択図】図１
2010109857.tif 000002
【特許請求の範囲】
【請求項１】
画像信号を再生する信号再生部と，
前記再生される画像信号のノイズを低減するノイズ低減部と，
前記ノイズが低減された画像信号の解像度を変換する解像度変換部と，
前記解像度が変換された画像信号のエッジを強調するエッジ強調部と，
前記変換前後の画像信号の解像度を検出する検出部と，
前記検出された解像度に基づいて，前記ノイズ低減部および前記エッジ強調部を制御する制御部と，
を具備することを特徴とする画像処理装置。
【請求項２】
前記ノイズ低減部が，
前記画像信号を複数の空間周波数成分に分解する分解部と，
前記複数の空間周波数成分中，閾値より強度が小さい周波数成分を除外する除外部と，を有し，
前記制御部が，前記変換前の解像度に基づいて，前記閾値を変更する
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記エッジ強調部が，
前記画像信号から，隣接する画素の輝度の差分を表す差分信号を生成する差分信号生成部と，
前記差分信号の強度に応じた信号を前記差分信号に付加する付加部と，を有し，
前記制御部が，前記変換前後の解像度に基づいて，前記付加部を制御する
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記差分信号の強度が第１の値未満の第１の範囲のときに，前記付加部で付加される信号の強度が一定となり，前記差分信号の強度が前記第１の値より大きく第２の値未満の第２の範囲のときに，前記付加部で付加される信号の強度が最大値を有し，
前記制御部が，前記変換前後の解像度に基づいて，前記第１，第２の範囲の幅，および前記最大値の少なくとも何れかを変更する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
画像信号を再生するステップと，
前記再生される画像信号のノイズを低減するステップと，
前記ノイズが低減された画像信号の解像度を変換するステップと，
前記解像度が変換された画像信号のエッジを強調するステップと，
前記変換前後の画像信号の解像度を検出するステップと，を具備し，
前記検出された解像度に基づいて，前記ノイズ低減および前記エッジ強調が制御される
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，画像を処理する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
放送や記録媒体からの映像信号を再生する画像再生装置（例えば，チューナ搭載ＨＤＤ（Hard Disk Drive）／ＤＶＤ（Digital Versatile Disk）レコーダー）が用いられている。ところで，画像再生装置が種々の解像度の映像信号を取り扱う機会が増えている。解像度として，例えば，ＤＶＤやアナログＴＶ放送等のＳＤ( Standard Definition，４８０×５７６画素)解像度や，デジタルＴＶ放送や高精細ディスク(ＨＤ（High Definition）  ＤＶＤ，ＢＤ（Blu-ray Disc）等)等のＨＤ(High definition，７２０×１０８０画素)解像度が挙げられる。このように解像度の異なる映像を視聴する機会が多くなると，高解像度（例えば，ＨＤ）の映像を見た人が低解像度（例えば，ＳＤ）の映像を見た場合に，情報量の少なさから物足りなく感じることが多くなる。即ち，低解像度の画像を高解像度の画像へと変換する需要が存在する。
なお，エッジ部を有する画像に，エッジ強調処理またはノイズ除去処理を行う技術が開示されている（特許文献１参照）。
【特許文献１】特開２００１−６９３４４号公報，段落００２７，００２８
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら，エッジの有無のみに着目して，画像処理の有無を決定しても，十分な画質を得ることは困難であることが判った。
上記に鑑み，本発明は解像度に対応して画像を処理することで，画質の向上を図った画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００４】
本発明の一態様に係る画像処理装置は，画像信号を再生する信号再生部と，前記再生される画像信号のノイズを低減するノイズ低減部と，前記ノイズが低減された画像信号の解像度を変換する解像度変換部と，前記解像度が変換された画像信号のエッジを強調するエッジ強調部と，前記変換前後の画像信号の解像度を検出する検出部と，前記検出された解像度に基づいて，前記ノイズ低減部および前記エッジ強調部を制御する制御部と，を具備することを特徴とする。
【０００５】
本発明の一態様に係る画像処理方法は，画像信号を再生するステップと，前記再生される画像信号のノイズを低減するステップと，前記ノイズが低減された画像信号の解像度を変換するステップと，前記解像度が変換された画像信号のエッジを強調するステップと，前記変換前後の画像信号の解像度を検出するステップと，を具備し，前記検出された解像度に基づいて，前記ノイズ低減および前記エッジ強調が制御されることを特徴とする。
【発明の効果】
【０００６】
本発明によれば，解像度に対応して画像を処理することで，画質の向上を図った画像処理装置および画像処理方法を提供できる。
【発明を実施するための最良の形態】
【０００７】
以下，図面を参照して，本発明の実施の形態を詳細に説明する。
図１は，本発明の一実施形態に係る画像表示システム１０を表すブロック図である。画像表示システム１０は，画像処理装置１００，画像表示装置２００を有する。画像処理装置１００は画像信号を再生し画像調整処理を施して，画像表示装置２００に出力する。画像表示装置２００は，画像処理装置１００から出力される画像信号に基づき，画像を表示するものであり，ＣＲＴ，液晶表示装置，プラズマ表示装置等を含む表示部を有する。
【０００８】
画像処理装置１００は，信号再生部１０２，復号化部１０３，画像処理部１０４，出力部１０５，ユーザインターフェース（Ｉ／Ｆ）１１１，ＣＰＵ１１２，メモリ１１３を有する。
【０００９】
信号再生部１０２は，画像信号を再生する。信号再生部１０２は，例えば，アナログチューナ，デジタルチューナ，ディスクドライブ，ＨＤＤ（Hard Disk Drive）を有し，画像信号を再生する。例えば，アナログ放送（地上波アナログ放送等），デジタル放送（地上波デジタル放送，ＢＳ（Broadcasting Satellite）／ＣＳ（Communications Satellite）デジタル放送等）の受信，ＤＶＤ（Digital Versatile Disk），ＨＤ（Hard Disk）からの情報の読み出しにより，様々な映像コンテンツを再生することができる。信号再生部１０２は，画像信号として，例えば，ＭＰＥＧ２の信号（ＭＰＥＧ２−ＰＳ（プログラムストリーム），ＭＰＥＧ２−ＴＳ（トランスポートストリーム））を出力する。
【００１０】
復号化部１０３は，信号再生部１０２から出力される画像信号を復号する。例えば，信号再生部１０２から出力されるＭＰＥＧ２の信号を伸張処理する
【００１１】
画像処理部１０４は，復号された画像信号に画像調整処理を施す。具体的には，ノイズ低減処理，解像度変換処理（例えば，解像度を大きくするアップスケーリング），エッジ強調（エッジエンハンス）処理が順に施される。画像処理部１０４は，画像信号のノイズを低減するノイズ低減部，画像信号の解像度を変換する解像度変換部，および画像信号のエッジを強調するエッジ強調部として機能する。
【００１２】
（１）ノイズ低減処理
解像度変換処理，エッジ強調処理に先だって，ノイズ低減処理がなされる。
画像の解像度の変換，特に，低解像度から高解像度への変換により，画像の高精細化がなされる。しかしながら，画像信号にノイズ（モスキートノイズ，ブロックノイズ等）が重畳されていた場合，解像度変換処理，エッジ強調処理により，画像のノイズ成分が却って目立つ可能性がある。このため，解像度変換処理，エッジ強調処理に先だって，ノイズ低減処理を施すことで，画像の表示上，不要なノイズ成分を除去し，高精細化後の画像の画質を向上できる。  
【００１３】
画像信号が空間周波数成分に分解され，信号レベルが所定の閾値より小さい信号成分を除去することで，画像信号中のノイズが低減される。即ち，画像処理部１０４は，画像信号を複数の空間周波数成分に分解する分解部と，複数の空間周波数成分中，閾値より強度が小さい周波数成分を除外する除外部と，を有するノイズ低減部として機能する。
【００１４】
図２は，ノイズ低減処理の内容の一例を表すグラフである。空間周波数成分に分解された信号が閾値Ｔｈと比較され，閾値Ｔｈより信号レベルが小さい成分が除去される。この閾値Ｔｈを調節することで，ノイズ低減処理の強度を変化することができる。即ち，閾値Ｔｈを大きくすると，ノイズ低減処理の強度も大きくなる。
【００１５】
ここで，解像度変換前の解像度（入力解像度）に対応して，ノイズ低減処理の強度を調節することが好ましい。解像度に応じた適正なノイズ低減処理の選択が可能となる。図３は，入力解像度とノイズ低減処理（ＮＲ）の閾値Ｔｈとの関係の一例を表す表である。入力解像度が１０８０から４８０へと小さくなるにつれ，閾値ＴｈはＴｈ１からＴｈ４へと増大している（Ｔｈ１＜Ｔｈ２＜Ｔｈ３＜Ｔｈ４）。入力解像度が小さければ，画像信号の情報量が小さいことから（ノイズが多い），ノイズ低減の必要性も大きくなる。これに対して，入力解像度が大きければ，画像信号の情報量が大きいことから（ノイズが少ない），ノイズ低減の必要性も小さい。ノイズの少ない画像信号に強度の大きいノイズ低減処理を施すと，却って画質が低下する可能性がある。
【００１６】
このノイズ低減処理は，水平ノイズ低減処理と垂直ノイズ低減処理に区分できる。水平ノイズ低減処理と垂直ノイズ低減処理は，順次および並列のいずれで実行しても差し支えない。例えば，次のようにこれらが順次に実行される。即ち，画像信号が水平方向の空間周波数成分に分解され，信号レベルが所定の閾値ＴｈＡより小さい信号成分を除去することで，水平方向のノイズが低減される。その後，画像信号が垂直方向の空間周波数成分に分解され，信号レベルが所定の閾値ＴｈＢより小さい信号成分を除去することで，垂直方向のノイズが低減される。なお，水平方向，垂直方向の閾値ＴｈＡ，ＴｈＢは同一であっても異なっても良い。
【００１７】
（２）解像度変換処理
画像処理部１０４は，画像表示装置２００の解像度に対応するように，入力された画像信号の解像度を変換する。例えば，画像表示装置２００の最大の解像度に対応するように，解像度が変換される。一例として，ＳＤ解像度がＨＤ解像度に変換される。信号（情報）を補完することで，解像度が変換される。低解像度から高解像度へと画像の解像度を変換することで，解像度が向上した画像信号（元の画像には存在しなかった画素を含む画像の信号）が生成され，画像が高精細化される。
【００１８】
この解像度変換処理は，水平解像度変換処理と垂直解像度変換処理に区分できる。水平解像度変換処理と垂直解像度変換処理は，順次および並列のいずれで実行しても差し支えない。
なお，変換前後の解像度の値は，メモリ１１３に記憶される。
【００１９】
（３）エッジ強調処理
画像処理部１０４は，画像のエッジ（明暗の境界，即ち，輪郭）を強調する。解像度の変換の結果として生じる画像の輪郭のぼけを低減し，画像の輪郭を明確化するためである。解像度を向上するために信号を補間することで，画像の鮮明度の低下（特に画像の輪郭のぼけ）が生じる可能性が有る。特に，低解像度から高解像度への変換では，情報量の小さい信号から見かけ上情報量の大きい信号を作り出すことになり，画像のぼけが発生し易い（Ｓ／Ｎ比の低下）。解像度変換後の画像信号へのエッジ強調処理によって，画像の輪郭が明瞭になり，画質が向上する。
【００２０】
エッジ強調は，画像信号（画素の輝度を表す信号）から差分信号（隣接する画素同士の輝度の差分を表す信号）の生成（差分演算），差分信号への信号（値）の付加，差分信号から画像信号の生成（和分演算）によって実行できる。このとき，差分信号の強度（差分の値）に応じて，差分信号に付加する信号の強度（値）を調節することで（ゲインの積算），画像のエッジが強調される。即ち，画像処理部１０４は，画像信号から，隣接する画素の輝度の差分を表す差分信号を生成する差分信号生成部と，差分信号の強度に応じた信号を前記差分信号に付加する付加部と，を有するエッジ強調部として機能する。
【００２１】
図４は，差分信号の強度とゲイン（付加される値（信号の強度））の関係の一例を表すグラフである。グラフの横軸，縦軸がそれぞれ，差分信号の強度，ゲインである。差分信号の強度の絶対値が基準値Ｖ１より小さい場合（不感帯の幅ＷＡ内の場合），ゲインは一定値（０）となる。即ち，この場合，差分信号に信号（値）が付加されず，エッジが強調されることはない。これに対して，差分信号の強度の絶対値が基準値Ｖ１より大きく，かつ基準値Ｖ２より小さい場合（処理帯の幅ＷＢ内の場合），ゲインの絶対値が０より大きくなり，エッジが強調される。ゲインＧは処理帯内で増加した後，減少する。即ち，ゲインＧの絶対値は，処理帯内で最大値Ｇｍａｘを有する。
【００２２】
不感帯は，差分信号の強度が第１の値未満の第１の範囲に対応する。また，処理帯は，差分信号の強度が第１の値より大きく第２の値未満の第２の範囲に対応する。
【００２３】
不感帯の幅ＷＡ，処理帯の幅ＷＢ，最大ゲインＧｍａｘの少なくとも何れかを調節することで，エッジ強調処理の強度を変化することができる。例えば，不感帯の幅ＷＡを小さくすること，処理帯の幅ＷＢを大きくすること，最大ゲインＧｍａｘを大きくすることのいずれか１つ，およびこれらの組み合わせにより，エッジ強調処理の強度を大きくすることができる。
【００２４】
ここで，解像度変換前後の解像度（入力解像度および出力解像度）に対応して，エッジ強調処理の強度を調節することが好ましい。解像度に応じた適正なエッジ強調処理の選択が可能となる。図５は，入出力解像度とエッジ強調処理の処理帯の幅ＷＢおよび最大ゲインＧｍａｘとの関係の一例を表す表である。なお，ここでは，基準値Ｖ２を一定としていることで，処理帯の幅ＷＢの大小は不感帯の幅ＷＡの小大と対応する（処理帯の幅ＷＢが増大すれば不感帯の幅ＷＡは減少し，処理帯の幅ＷＢが減少すれば不感帯の幅ＷＡは増大する）。
【００２５】
入力解像度が１０８０から４８０へと小さくなるにつれ（あるいは出力解像度が４８０から１０８０へと大きくなるにつれ），処理帯の幅ＷＢおよび最大ゲインＧｍａｘは増大する。処理帯の幅ＷＢが，例えば，ＷＢ１〜ＷＢ４に，最大ゲインＧｍａｘが，例えば，Ｇｍａｘ１からＧｍａｘ４へと増大する（ＷＢ１＜ＷＢ２＜…＜ＷＢ６＜ＷＢ７，Ｇｍａｘ１＜Ｇｍａｘ２＜…＜Ｇｍａｘ６＜Ｇｍａｘ７）。
【００２６】
この例では，図の左上から右下に向かう方向で処理帯の幅ＷＢおよび最大ゲインＧｍａｘを同一としている。その結果，入出力解像度の組み合わせが４＊４＝１６通りであるにも拘わらず，エッジ強調処理の強度は７段階の変化に留まっている。これと異なり，入出力解像度の組み合わせの全てに対して，エッジ強調処理の強度を異ならせることも可能である。
【００２７】
入力解像度が小さければ，画像信号の情報量が小さいことから，解像度変換後のぼけが大きく，エッジ強調の必要性も大きくなる。これに対して，入力解像度が大きければ，画像信号の情報量が大きいことから，解像度変換後のぼけが少なく，エッジ強調の必要性も小さい。画像のぼけが小さい画像信号に強度の大きいエッジ強調処理を施すと，却って画質が低下する可能性がある。
【００２８】
出力解像度が大きければ，補完による精度の低下が生じ易くなり（解像度変換後の画像のぼけが大きい），エッジ強調の必要性も大きい。これに対して，出力解像度が小さければ，補完による精度の低下が生じ難くなり（解像度変換後の画像のぼけが小さい），エッジ強調の必要性も小さい。画像のぼけが小さい画像信号に強度の大きいエッジ強調処理を施すと，却って画質が低下する可能性がある。
【００２９】
このエッジ強調処理は，水平エッジ強調処理と垂直エッジ強調処理に区分できる。水平エッジ強調処理と垂直エッジ強調処理は，順次および並列のいずれで実行しても差し支えない。
【００３０】
出力部１０５は，画像処理部１０４で処理された画像信号を画像表示装置２００に出力するインターフェース，例えば，ＨＤＭＩ（High-Definition Multimedia Interface）端子，Ｄ端子，コンポーネント端子である。
【００３１】
ユーザＩ／Ｆ１１１は，図示しない無線受信部，キー入力部に接続され，操作情報を受け付ける。無線受信部は，リモコンから無線（例えば，赤外線）で送信される操作情報を受信する。キー入力部は，リモコンと同様に，各種の操作情報の入力が可能である。
【００３２】
ＣＰＵ（Central Processing Unit：中央演算装置）１１２は，画像処理装置１００全体を制御するものであり，次の（１），（２）として機能する。
（１）変換前後の画像信号の解像度を検出する検出部
（２）ノイズ低減部およびエッジ強調部を制御する制御部
【００３３】
メモリ１１３は，ＲＯＭ（Read Only Memory），ＲＡＭ（Random Access Memory），ＮＶＲＡＭ（Non Volatile RAM：不揮発性メモリ）で構成される。ＲＯＭは，ＣＰＵ１１２が動作するためのプログラム等を記憶する。ＲＡＭは，ＣＰＵ１１２の動作時に利用され，プログラム，データ等が書き込まれる。
【００３４】
（画像表示システム１０の動作手順）
画像表示システム１０の動作手順を説明する。図６は，画像表示システム１０での処理手順の一例を表すフロー図である。
【００３５】
（１）画像信号の再生（ステップＳ１１）
信号再生部１０２によって画像信号が再生され，復号化部１０３で復号される。
【００３６】
（２）解像度の検知（ステップＳ１２）
ＣＰＵ１１２は解像度変換前後の画像信号の解像度（入力解像度，出力解像度）を検知する。ＣＰＵ１１２が，画像信号そのもの，画像処理部１０４，またはメモリ１１３にアクセスすることで，入力解像度，出力解像度を検知できる。
【００３７】
（３）ノイズ低減処理（ステップＳ１３）
画像信号にノイズ低減処理が施される。このとき，入力解像度に応じて，ノイズ低減の程度が調節される。入力解像度に応じて，例えば，ノイズ判定の閾値Ｔｈが変更されることで，解像度変換処理，エッジ強調処理後の画像の画質が向上する。
【００３８】
（４）解像度変換処理（ステップＳ１４）
映像信号の解像度が変換される。情報を補完することで，例えば，ＳＤ解像度からＨＤ解像度へと画像信号の解像度が変換される。
【００３９】
（５）エッジ強調処理（ステップＳ１５）
画像信号にエッジ強調処理が施され，画像のぼけが低減される。このとき，入力解像度および出力解像度に応じて，エッジ強調の程度が調節される。入力解像度および出力解像度に応じて，例えば，不感帯の幅ＷＡ，処理帯の幅ＷＢ，最大ゲインＧｍａｘが変更されることで，画像信号の適切な鮮鋭度が選択され，画質が向上する。
【００４０】
（６）画像信号の出力（ステップＳ１６）
画像処理装置１００から画像信号が出力され，画像表示装置２００で画像が表示される。
【００４１】
以上のように，本実施形態に係る画像表示システム１０では，以下のような利点を有する。
（１）画質の向上
入出力される画像信号の解像度の情報を取得し，これらの解像度に基づいて，ノイズ低減処理，エッジ強調処理が施される。この結果，画像表示装置２００に表示される画像の画質が向上される。即ち，入力解像度及び，出力解像度によって，ノイズ低減，エッジ強調の強度を切り替えることにより，画像信号に含まれる情報量に対応する処理の強度が選択され，映像の高精細化および鮮鋭度の双方を向上できる。
【００４２】
（２）多様な解像度の画像信号の適切な処理
画像処理装置１００において，入力解像度及び，出力解像度に応じた処理の強度が選択されることで，多様な解像度の画像信号を適切に処理できる。
ここで，画像表示装置２００側で画像調整処理（ノイズ低減処理，エッジ強調処理）を施すことも可能である。しかしながら，画像処理装置１００側で画像調整処理を施すことがより好ましいと考えられる。画像表示装置２００に出力される信号は解像度変換処理を施されていることから，画像表示装置２００側で入力解像度及び，出力解像度に応じた処理を施すことが困難だからである。画像表示装置２００が例えば，1080iの画像信号を入力した場合でも，低解像度の信号を高解像度の信号に変換した場合（アップコンバート）と，解像度を変換しない場合（画像信号が元々1080iとして製作された場合）では，画像信号に含まれる情報量が異なる。
【００４３】
（その他の実施形態）
本発明の実施形態は上記の実施形態に限られず拡張，変更可能であり，拡張，変更した実施形態も本発明の技術的範囲に含まれる。
上記実施形態では，不感帯の幅ＷＡ，処理帯の幅ＷＢ，最大ゲインＧｍａｘの全てを変化させた例を示したが，これらの内の任意の１つあるいは２つを変化させても良い。
【図面の簡単な説明】
【００４４】
【図１】本発明の一実施形態に係る画像表示システム１０を表すブロック図である。
【図２】ノイズ低減処理の内容の一例を表すグラフである。
【図３】入力解像度とノイズ低減処理（ＮＲ）の閾値Ｔｈとの関係の一例を表す表である。
【図４】差分信号の強度とゲインの関係の一例を表すグラフである。
【図５】入出力解像度とエッジ強調処理の処理帯の幅ＷＢおよび最大ゲインＧｍａｘとの関係の一例を表す表である。
【図６】画像表示システム１０での処理手順の一例を表すフロー図である。
【符号の説明】
【００４５】
１００…画像処理装置，１０２…信号再生部，１０３…復号化部，１０４…画像処理部，１０５…出力部，１１１…ユーザインタフェース，１１２…ＣＰＵ，１１３…メモリ，２００…画像表示装置
【図１】
2010109857.tif 000003
【図２】
2010109857.tif 000004
【図３】
2010109857.tif 000005
【図４】
2010109857.tif 000006
【図５】
2010109857.tif 000007
【図６】
2010109857.tif 000008