(57)【要約】第１精細度を有する第１画像（１０１）を、第２精細度を有する第２画像（１０３）に変換するための画像変換器（１００、２００、３００）であって、第２精細度は第１精細度より高い、画像変換器について開示している。画像変換器（１００、２００、３００）は、ノイズを発生させるためのノイズ発生器（１０６）と第２画像（１０３）にノイズを付加するように備えられた結合器（１０４）とを有する。好適には、付加されるノイズは、第１画像のナイキスト周波数のり高い周波数スペクトルの一部にあるスペクトル成分を有する。任意に、画像変換器は、ノイズ発生器（１０６）を制御するためにノイズ測定器（３０２）を有する。
2006506875.tif 000002
【特許請求の範囲】
【請求項１】
第１精細度を有する第１画像を、第２精細度を有する第２画像に変換するための画像変換装置であって：
前記第２精細度は前記第１精細度より高い；
画像変換装置であり、
前記画像変換装置は前記第２画像にノイズを付加するように備えられている；
ことを特徴とする画像変換装置。
【請求項２】
請求項１に記載の画像変換装置であって、前記ノイズが前記第１画像のナイキスト周波数より高い周波数スペクトルの一の一部であるスペクトル成分を有し且つ前記ノイズを発生させるように備えられている、ノイズ発生器を有する、ことを特徴とする画像変換装置。
【請求項３】
請求項２に記載の画像変換装置であって、前記ノイズ発生器はカラードノイズを発生するように備えられている、ことを特徴とする画像変換装置。
【請求項４】
請求項３に記載の画像変換装置であって、前記ノイズ発生器は、前記第１画像の前記ナイキスト周波数より低い周波数スペクトルの他の一部である更なるスペクトル成分を有するカラードノイズを発生させるように備えられており、前記スペクトル成分の全エネルギーは前記更なるスペクトル成分の全エネルギーより高い、ことを特徴とする画像変換装置。
【請求項５】
請求項１に記載の画像変換装置であって、付加されるノイズ量はノイズ測定に基づいている、ことを特徴とする画像変換装置。
【請求項６】
請求項１に記載の画像変換装置であって、前記第１画像に基づき且つ前記第２精細度を有する中間画像の構造を改善するための空間改善フィルタを有し、改善は前記第２画像にもたらされる、ことを特徴とする画像変換装置。
【請求項７】
第１精細度を有する第１画像を、第２精細度を有する第２画像に変換する方法であって：
前記第２精細度は前記第１精細度より高い；
方法であり、
ノイズは前記第２画像に付加される；
ことを特徴とする方法。
【請求項８】
第１画像に対応する信号を受信するための受信手段；及び
請求項１に記載の、第１画像を第２画像に変換するための画像変換装置；
を有することを特徴とする画像処理装置。
【請求項９】
請求項８に記載の画像処理装置であって、前記第２画像を表示するための表示装置を更に有する、ことを特徴とする画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置を有することを特徴とするテレビジョン。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、第１精細度を有する第１画像を、第２精細度を有する第２画像に変換するための画像変換器であって、第２精細度は第１精細度より高い、画像変換器に関する。
【０００２】
本発明は、画像処理装置であって：
−  第１画像に対応する信号を受信するための受信手段；及び
−  第１画像を第２画像に変換する画像変換器；
を有する画像処理装置に更に関する。
【０００３】
本発明は、第１精細度を有する第１画像を、第２精細度を有する第２画像に変換するための方法であって、第２精細度は第１精細度より高い、方法に関する。
【背景技術】
【０００４】
ＨＤＴＶ（高精細度テレビジョン）の出現は、標準精細（ＳＤ）映像素材を高精細度（ＨＤ）テレビジョン（ＴＶ）表示装置において視聴することが可能である空間アップコンバージョン技術に対する要求を際立たせている。従来技術は、バイリニア補間のような線形補間方法及びポリフェーズローパス補間フィルタを使用する方法である。前者は、低品質のためにテレビへの適用においては一般的でないが、後者は、市販のＩＣにより利用可能である。
【０００５】
従来の線形技術に加えて、多くの非線形アルゴリズムが、このアップコンバージョンを達成するために提案されてきた。ときどき、それらの技術は、コンテンツベースのアップコンバージョン又はエッジ依存性空間アップコンバージョンと呼ばれる。それらの技術の一部は、民生用エレクトロニクス市場において、既に利用可能である。
【０００６】
既知のアップコンバージョン方法を用いる場合、フレームにおける画素数は増加するが、知覚される画像のシャープネスは増加しないか又は殆ど増加しない。非線形方法は線形方法に比べて良好な性能であるが、この特徴においては、多くのアップコンバージョン画像は、しばしば、変化に乏しく又は不自然に見える。換言すれば、表示能力を十分に発揮することができない。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明の目的は、冒頭の段落において記載した種類の画像変換器であって、自然に見える鮮鋭な画像を提供するように備えられた画像変換器を提供することである。
【課題を解決するための手段】
【０００８】
この本発明の目的は、画像変換器が第２画像にノイズを付加するように備えられることにより達成される。付加されるノイズは、画像変換器を構成するランダム発生器により発生することが可能であるが、代替として、ノイズは、画像変換器の入力コネクタにより外部から発生され、画像変換器に供給される。好適には、付加されるノイズは、第１画像のナイキスト周波数より高い周波数スペクトルの一部にあるスペクトル成分を有する、即ち、そのスペクトル成分は第１画像のナイキスト周波数より高い周波数を有する。本発明者は、アップスケールド画像、即ち、ノイズが付加されない第２精細度を有するアップコンバージョン画像は、第１画像のナイキスト周波数より高い二次元周波数スペクトルにおけるエネルギーを殆ど有しないことを観測した。アナログ入力画像のナイキスト周波数の２倍に等しいサンプリング周波数を用いる場合、第１画像は、アナログ入力画像をサンプリングすることにより得られるディジタル画像であると仮定する。第２精細度は第１精細度の２倍に等しい、即ち、第１画像は第２画像を得るために２倍に拡大される。その場合、第２画像のスペクトルは又、第１画像のナイキスト周波数より２倍高い上限を有する。しかしながら、第２画像のスペクトルにおける周波数成分を検査するとき、殆どのエネルギーはそのスペクトルの下方部分にあるように見える。一般に、第１画像のナイキスト周波数より高い第２画像のスペクトルにおける新たに生成されたスペクトル成分は、既存のエッジ近くの第１画像における領域に対応する。これらのエッジの勾配を増加させることにより、第１画像のナイキスト周波数より典型的に高いスペクトル成分が生成される。しかしながら、いずれの“高周波数”スペクトル成分も殆ど存在しない、即ち、第１画像のプレーン領域に対応する、アップコンバージョンにより生成された、第１画像のナイキスト周波数より高い第２画像のスペクトルに殆ど属さない。アップコンバージョンが施された中間画像に“高周波数”ノイズを付加することにより、本発明に従った画像変換器の最終出力画像は自然に見える鮮鋭な画像である。
【０００９】
原理的に、付加されるノイズは白色ノイズであるが、好適には、付加されたノイズはカラードノイズである。所定の周波数成分を選択的に付加することを意味する、付加されたカラードノイズの優位性は、画像品質がシャープネスの改善のために向上することであり、他方、画像品質は、観測可能なノイジネスのために低下する。本発明に従った画像変換器の実施形態は、付加されるノイズが、第１画像のナイキスト周波数より低い周波数スペクトルの他の部分にある更なるスペクトル成分を有し、第１画像のナイキスト周波数より高いスペクトルに属するスペクトル成分の全エネルギーは、更なるスペクトル成分の全エネルギーより大きいことを特徴とする。換言すれば、付加されたノイズは、主に、第１画像のナイキスト周波数より高い成分を有する。
【００１０】
本発明に従った画像変換器の実施形態においては、付加されたノイズ量はノイズ測定に基づいている。好適には、ノイズ測定は第１画像に基づいて実行される。ノイズ測定は、画像変換器を構成するノイズ測定器により実行されることが可能であるが、代替として、存在しているノイズ量は、外部に位置しているノイズ測定器により測定される。後者においては、画像変換器は、ノイズ量、即ち、存在するノイズレベルを示すノイズ制御信号を供給する。本発明に従ったこの実施形態の優位性は、改善度が画像コンテンツに適応されることである。例えば、比較的低いノイズ量を有する第１画像の場合、付加されたノイズ量、即ち、第２画像が過度にノイジーになることを回避するように、改善度を比較的小さくする必要がある。
【００１１】
本発明に従った画像変換器の実施形態は、第２精細度を有する第１画像に基づく中間画像の構造を改善するための空間改善フィルタであって、その改善は第２画像をもたらす、空間改善フィルタを有する。ノイズの付加による改善に加えて、改善の他の手段を適用することは有利である。それらの、改善の他の手段は、線形フィルタリング方法であって、通常は、短いＦＩＲフィルタを用いて、高周波数又は中程度の周波数の振幅を増加させるためのアルゴリズムを有する。しかし、改善の他の手段は又、エッジの勾配を増加させる非線形技術を有し、又、輝度の過渡的改善（ＬＴＩ）と呼ばれる。これらの、改善の他の手段は、第１画像に存在する構造を改善するように備えられる一方、ノイズの付加は、殆どテクスチャのない改善領域において、主に影響を及ぼす。
【００１２】
本発明の他の目的は、自然に見える鮮鋭な画像を生成するために、冒頭の段落において記載した種類の方法を提供することである。
【００１３】
本発明のこの目的は、本発明に従った方法において、ノイズが第２画像に付加されることにより達成される。
【００１４】
本発明の他の目的は、自然に見える鮮鋭な画像を生成するために、画像変換器を備えている、冒頭の段落において記載した種類の画像処理装置を提供することである。
【００１５】
この本発明の目的は、画像処理装置の画像変換器が第２画像にノイズを付加するように備えられることにより達成される。画像処理装置は、任意に、第２画像を表示するための表示器を有する。画像処理装置は、例えば、テレビジョン（ＴＶ）、セットトップボックス、ＶＣＲ（ビデオカセットレコーダ）プレーヤ又はＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）プレーヤであることが可能である。
【００１６】
画像変換器の変更及び画像変換器の変形は、上記の画像処理装置及び方法の変更及び変形に対応させることが可能である。
【００１７】
本発明に従った画像変換器、方法及び画像処理装置の上記の及び他の特徴は、添付図面を参照して、以下に説明する実施形態に関して明らかになり、理解することができるであろう。
【００１８】
同じ参照番号は、全部の図を通して同様の要素を示すように用いられている。
【発明を実施するための最良の形態】
【００１９】
図１は、本発明に従った、画像変換器１００の実施形態を模式的に示す図である。画像変換器１００は、入力コネクタ１０８における標準精細度（ＳＤ）画像、例えば１０１と、出力コネクタ１１０における高精細度（ＨＤ）画像、例えば１０３とを備えている。画像変換器１００は次のような構成要素を有する。
−  入力ＳＤ画像から抽出される画素値の補間により中間画像を演算するように備えられているアップスケーリング器１０２。
−  ノイズ信号を発生するように備えられているノイズ発生器１０６。ノイズ信号は、中間画像の次元に等しいマトリクスの次元を有する、輝度値の二次元マトリクスの状態にあることが可能である。ノイズ生成器１０６は、ＳＤ画像の精細度とＨＤ画像の精細度とを備えている。それら２つの精細度に基づいて、ノイズの周波数スペクトルの上限及び下限それぞれが決定される。
−  ノイズ発生器１０６により発生されたノイズ信号とアップスケーリング器１０２からの中間画像とを結合するように備えられている結合器１０４。この結合器１０４は、ノイズ発生器１０６により供給されるような二次元マトリクスのそれぞれの値に中間画像の画素値を加算するように備えられている簡単な加算器であることが可能である。
【００２０】
アップスケーリング器１０２は、固定された補間係数による補間を実行するように備えられている。代替として、補間係数は画像コンテンツに基づいて決定される。そのような非線形アップスケーリング方法の例については、例えば、文献
“Ｔｏｗａｒｄｓ  ａｎ  ｏｖｅｒｖｉｅｗ  ｏｆ  ｓｐａｔｉａｌ  ｕｐ−ｃｏｎｖｅｒｔｉｏｎ  ｔｅｃｈｎｉｑｕｅｓ”，Ｍｅｎｇ  Ｚｈａｏ  ｅｔ  ａｌ．，ｔｈｅ  ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ＳＣＥ  ２００２，  Ｅｒｆｕｒｔ，Ｇｅｒｍａｎｙ，２３−２６  Ｓｅｐｔｅｍｂｅｒ  ２００２に記載されている。
【００２１】
付加されたノイズを意図的に発生することは明らかである。それは、ノイズを付加することは、付加的動作としてのノイズの発生を必要とする明示動作を意味している。特定の動作は、例えば、量子化、トランケーション又は物理現象のために、本質的に、ノイズを導入する。ノイズを付加することは、これらの種類の本質的に導入されるノイズを意味するものではない。
【００２２】
アップスケーリング器１０２、ノイズ発生器１０６及び結合器１０４は、１つの処理器を用いて実行されることが可能である。通常は、これらの機能は、ソフトウェアプログラムプロダクトの制御下で実行される。それらの実行の間、通常、ソフトウェアプログラムプロダクトは、ＲＡＭのようなバックグラウンドメモリからロードされ、それにより実行される。プログラムは、ＲＯＭ、ハードディスク、若しくは磁気記憶器及び／又は光記憶器のようなバックグラウンドメモリからロードされることが可能であり、又は、インターネットのようなネットワークによりロードされることが可能である。任意に、特定のアプリケーション用の集積回路は開示された機能性を備えることができる。
【００２３】
図２は、空間改善フィルタ２０２を有する、本発明に従った画像変換器２００の実施形態を模式的に示す図である。アップスケーリング器２０２により演算される中間画像は、空間改善フィルタ２０２に供給される。空間改善フィルタ２０２の出力はノイズ発生器１０６からのノイズ信号と結合される。空間改善フィルタ２０２は、文献“Ｖｉｄｅｏ  Ｐｒｏｃｅｓｓｉｎｇ  ｆｏｒ  ｍｕｌｔｉｍｅｄｉａ  ｓｙｓｔｅｍｓ”，Ｇ．ｄｅ  Ｈａａｎ，Ｕｎｉｖｅｒｓｉｔｙ  Ｐｒｅｓｓ  Ｅｉｎｄｈｏｖｅｎの第２章に記載されているシャープネス改善方法の１つを実行するように備えられている。任意に、一連の処理段階は、示しているブロック図に関連付けて上で説明したことと異なることが可能である。例えば、空間改善フィルタ２０２は、入力に代えて、結合器１０４の出力に接続されることが可能である。
【００２４】
図３は、ノイズ測定器３０２を有する、本発明に従った画像変換器３００の実施形態を模式的に示す図である。ノイズ測定器３０２はノイズ発生器１０８を制御するように設計されている。それは、ノイズ信号の振幅がノイズの測定量に基づいていることを意味している。映像データの場合、ノイズレベルは、画像データストリーム（ブランキング）において情報のないタイムスロットに基づいて演算される。これらのタイムスロットにおける信号のみがノイズであるため、そのノイズは簡単に測定される。文献“Ｉｎｔｅｒｆｉｅｌｄ  ｎｏｉｓｅ  ａｎｄ  ｃｒｏｓｓ  ｃｏｌｏｒ  ｒｅｄｕｃｔｉｏｎ  ＩＣ  ｆｏｒ  ｆｌｉｃｋｅｒ  ｆｒｅｅ  ＴＶ  ｒｅｃｅｉｖｅｒｓ”，Ｔ．Ｇｒａｆｅ  ｅｔ  ａｌ．，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎ  ｏｎ  Ｃｏｎｓｕｍｅｒ  Ｅｌｅｃｔｒｏｎｉｃｓ，Ｖｏｌ．３４，Ｎｏ．３，Ａｕｇ  １９８８，ｐｐ．４０２−４０８を参照されたい。代替として、ノイズ量は、例えば、画像における非常に多数の領域から差異を演算することにより、画像に基づいて演算される。この方法については、文献“Ｖｉｄｅｏ  Ｐｒｏｃｅｓｓｉｎｇ  ｆｏｒ  ｍｕｌｔｉｍｅｄｉａ  ｓｙｓｔｅｍｓ”，Ｇ．ｄｅ  Ｈａａｎ，Ｕｎｉｖｅｒｓｉｔｙ  Ｐｒｅｓｓ  Ｅｉｎｄｈｏｖｅｎの第３章に詳細に記載されている。ノイズレベルは、一連の入力画像における一の画像において測定され、続いて、この一連の入力画像の他の画像においてノイズの付加を制御するために適用されることが可能であることに留意する必要がある。
【００２５】
一般に、測定されたノイズのレベルが比較的高い場合、中間画像に付加されるノイズの量は比較的大きいように、ノイズ発生器１０６は制御される。しかしながら、これら２つの量の関係は線形である必要はない。それに加えて、測定されたノイズのレベルは又、付加されるノイズのスペクトルを制御するように適用されることが可能である。任意に、複数のノイズレベルの測定が実行され、それらの各々は、第１画像の周波数スペクトルの別個の部分にフォーカシングされる。これにより、付加されるノイズのスペクトルの制御は更に改善される。
【００２６】
図４は、本発明に従った画像処理装置４００の実施形態を模式的に示す図であって、次のような構成要素を有する。
−  ＳＤ画像を示す信号を受信するための受信手段。その信号は、アンテナ又はケーブルにより受信された放送信号であることが可能であるが、又、ＶＣＲ（ビデオカセットレコーダ）又はＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）のような記憶装置からの信号であることが可能である。その信号は入力コネクタ４０８において供給される。
−  図１乃至３のいずれに関連付けて、上で記載した画像変換器４０４。
−  画層変換器４０４のＨＤ出力画像を表示するための表示器４０６。この表示器４０６はオプションである。
【００２７】
画像処理装置４００は、例えば、ＴＶであることが可能である。代替として、画像処理装置４００は、オプションの表示器を有しないが、表示器４０６を有しない装置にＨＤ画増を供給する。その場合、画像処理装置４００は、例えば、セットトップボックス、衛星チューナ、ＶＣＲプレーヤ又はＤＶＤプレーヤであることが可能である。しかし、又、映画スタジオ又は放送局により供給されるシステムであることが可能である。
【００２８】
ここで、アップコンバージョン及びノイズの付加の周波数領域における効果について、例により示すことにする。図５Ａ、５Ｂ及び５Ｃを参照されたい。図５Ａは、入力ＳＤ画像の周波数スペクトル｜Ｆ（ｆ）｜を模式的に示している。その図から理解できるように、この入力ＳＤ画像のナイキスト周波数
（外１）
2006506875.tif 000003
より高いスペクトル成分は存在しない。図５Ｂは、入力画像に基づいている、中間ＨＤ画増の周波数スペクトルを模式的に示している。中間ＨＤ画像は、入力ＳＤ画像から抽出された画素値の補間により演算されたものである。この中間ＨＤの精細度は、それが導き出された入力ＳＤ画像の精細度より高いが、入力ＳＤ画像のナイキスト周波数
（外２）
2006506875.tif 000004
より高いいずれのスペクトル成分は殆ど存在しない。この例においては、非線形アップスケーリング器１０２が、空間改善フィルタ２０２と組み合されて用いられている。図５Ｃは、入力ＳＤ画像のナイキスト周波数
（外３）
2006506875.tif 000005
より高い領域の周波数成分を有する付加されたノイズ有する出力ＨＤ画像の周波数スペクトルを模式的に示している。
【００２９】
上記の実施形態は本発明を限定するのではなく、例示しているものであり、当業者は、同時提出の特許請求の範囲から逸脱することなく、代替の実施形態を設計することができるであろうことに留意する必要がある。用語‘を有する’は請求項において列挙されていない要素又は段階を排除するものではない。単数表現の要素は、そのような要素の複数の存在を排除するものではない。本発明は、幾つかの別個の要素を有するハードウェアにより、及び適切にプログラムされたコンピュータにより実行され、幾つかの手段を列挙した個々の請求項において、それらの手段の幾つかは、全く同一のアイテムのハードウェアにより具現化することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明に従った画像変換器の実施形態を模式的に示す図である。
【図２】空間改善フィルタを有する、本発明に従った画像変換器の実施形態を模式的に示す図である。
【図３】ノイズ測定器を有する、本発明に従った画像変換器の実施形態を模式的に示す図である。
【図４】本発明に従った画像処理装置の実施形態を模式的に示す図である。
【図５Ａ】入力ＳＤ画像の周波数スペクトルを模式的に示す図である。
【図５Ｂ】中間ＨＤ画像の周波数スペクトルを模式的に示す図である。
【図５Ｃ】出力ＨＤ画像の周波数スペクトルを模式的に示す図である。
【図１】
2006506875.tif 000006
【図２】
2006506875.tif 000007
【図３】
2006506875.tif 000008
【図４】
2006506875.tif 000009
2006506875.tif 000010
【国際調査報告】
2006506875.tif 000011
2006506875.tif 000012