(57)【要約】  高解像度ビデオコンテンツを表示する前に、ディスプレイ装置又はクライアント側装置によって詳細及び鮮明度を強化することができる。いくつかの実施形態では、画像の解像度をスケーリングすることにより、高解像度ビデオ画像フレームをアップサンプリングすることができる。次に、この今アップサンプリングしたＨＤビデオ画像フレームをローパスフィルタリングして、画像のエネルギー分布をより狭い周波数範囲に集中させることができる。次に、このフィルタリングしたＨＤビデオ画像フレームをサブサンプリングして、画像詳細を損なうことなく元のＨＤ画像のフレーム解像度又はその他のＨＤレベルの解像度などに戻すことができる。このようにして、ビデオコンテンツを既に高解像度品質であるとみなしていたにもかかわらず、この鮮明度及び詳細レベルをさらに改善することができる。【選択図】図３
2012518946.tif 000002
【特許請求の範囲】
【請求項１】
高解像度ビデオコンテンツを強化する方法であって、
元のフレーム解像度を有する複数の高解像度（ＨＤ）ビデオ画像フレームを受け取るステップと、
前記複数のＨＤビデオ画像フレームを、前記元のフレーム解像度の所定の倍数であるアップサイジングされたフレーム解像度にアップサンプリングするステップと、
前記アップサンプリング後に、前記複数のＨＤビデオ画像フレームをローパスフィルタリングするステップと、
前記アップサンプリング及び前記フィルタリング後に、前記複数のＨＤビデオ画像フレームをサブサンプリングするステップと、
前記アップサンプリング、フィルタリング、及びサブサンプリング後に、前記複数のＨＤビデオ画像フレームを表示するステップと、
を含むことを特徴とする方法。
【請求項２】
前記元のフレーム解像度が、少なくとも７２０の垂直ピクセルを含む、
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記複数のＨＤビデオ画像フレームをアップサンプリングするステップが、前記ローパスフィルタリングの前に、前記複数のＨＤビデオ画像フレームに画像強化技術を適用するステップをさらに含む、
ことを特徴とする請求項１に記載の方法。
【請求項４】
前記画像強化技術を適用する前記ステップが、超解像度強化、混合色分離強化、及びパターンマッチング技術のうちの少なくとも１つを適用するステップを含む、
ことを特徴とする請求項３に記載の方法。
【請求項５】
前記所定の倍数が、２の倍数及び３の倍数の一方を含む、
ことを特徴とする請求項１に記載の方法。
【請求項６】
前記複数のＨＤビデオ画像フレームをローパスフィルタリングするステップが、２次元フルフレームのローパスフィルタリング動作を行うステップを含む、
ことを特徴とする請求項１に記載の方法。
【請求項７】
前記複数のＨＤビデオ画像フレームをローパスフィルタリングするステップが、ブロックごとのローパスフィルタリング動作を行うステップを含む、
ことを特徴とする請求項１に記載の方法。
【請求項８】
前記複数のＨＤビデオ画像フレームをサブサンプリングするステップが、前記複数のＨＤビデオ画像フレームをサブサンプリングして前記元のフレーム解像度に戻すステップを含む、
ことを特徴とする請求項１に記載の方法。
【請求項９】
高解像度ビデオコンテンツを強化するように構成された装置であって、
元のフレーム解像度を有する複数の高解像度（ＨＤ）ビデオ画像フレームを受け取るための手段と、
前記複数のＨＤビデオ画像フレームを、前記元のフレーム解像度の所定の倍数であるアップサイジングされたフレーム解像度にアップサンプリングするための手段と、
前記アップサンプリングするための手段に電気的に結合されたローパスフィルタと、
前記ローパスフィルタに電気的に結合された、前記複数のＨＤビデオ画像フレームをサブサンプリングするための手段と、
を備えることを特徴とする装置。
【請求項１０】
前記元のフレーム解像度が、少なくとも７２０の垂直ピクセルを含む、
ことを特徴とする請求項９に記載の装置。
【請求項１１】
前記複数のＨＤビデオ画像フレームをアップサンプリングするための前記手段が、前記ローパスフィルタの前に、前記複数のＨＤビデオ画像フレームに画像強化技術を適用するための手段をさらに含む、
ことを特徴とする請求項９に記載の装置。
【請求項１２】
前記画像強化技術を適用するための前記手段が、超解像度強化、混合色分離強化、及びパターンマッチング技術のうちの少なくとも１つを適用するための手段を含む、
ことを特徴とする請求項１１に記載の装置。
【請求項１３】
前記所定の倍数が、２の倍数及び３の倍数の一方を含む、
ことを特徴とする請求項９に記載の装置。
【請求項１４】
前記ローパスフィルタが、２次元フルフレームのローパスフィルタを含む、
ことを特徴とする請求項９に記載の装置。
【請求項１５】
前記ローパスフィルタが、ブロックごとのローパスフィルタを含む、
ことを特徴とする請求項９に記載の装置。
【請求項１６】
前記複数のＨＤビデオ画像フレームをサブサンプリングするための前記手段が、前記複数のＨＤビデオ画像フレームをサブサンプリングして前記元のフレーム解像度に戻すための手段を含む、
ことを特徴とする請求項９に記載の装置。
【請求項１７】
高解像度ビデオコンテンツを強化するためのコンピュータ実行可能プログラムコードを内部で具体化させたコンピュータ記憶媒体を含むコンピュータプログラム製品であって、前記コンピュータ記憶媒体が、
元のフレーム解像度を有する複数の高解像度（ＨＤ）ビデオ画像フレームを受け取るためのコンピュータ実行可能プログラムコードと、
前記複数のＨＤビデオ画像フレームを、前記元のフレーム解像度の所定の倍数であるアップサイジングされたフレーム解像度にアップサンプリングするためのコンピュータ実行可能プログラムコードと、
アップサンプリングした後に、前記複数のＨＤビデオ画像フレームにローパスフィルタ動作を行うためのコンピュータ実行可能プログラムコードと、
アップサンプリング及びローパスフィルタリングした後に、前記複数のＨＤビデオ画像フレームをサブサンプリングするためのコンピュータ実行可能プログラムコードと、
アップサンプリング、フィルタリング、及びサブサンプリングした後に、前記複数のＨＤビデオ画像フレームをディスプレイに提供するためのコンピュータ実行可能プログラムコードと、
を含むことを特徴とするコンピュータプログラム製品。
【請求項１８】
前記元のフレーム解像度が、少なくとも７２０の垂直ピクセルを含む、
ことを特徴とする請求項１７に記載のコンピュータプログラム製品。
【請求項１９】
前記複数のＨＤビデオ画像フレームをアップサンプリングするための前記コンピュータ実行可能プログラムコードが、ローパスフィルタリングする前に、前記複数のＨＤビデオ画像フレームに画像強化技術を適用するためのコンピュータ実行可能プログラムコードをさらに含む、
ことを特徴とする請求項１７に記載のコンピュータプログラム製品。
【請求項２０】
前記画像強化技術を適用するための前記コンピュータ実行可能プログラムコードが、超解像度強化、混合色分離強化、及びパターンマッチング技術のうちの少なくとも１つを適用するためのコンピュータ実行可能プログラムコードを含む、
ことを特徴とする請求項１９に記載のコンピュータプログラム製品。
【請求項２１】
前記所定の倍数が、２の倍数及び３の倍数の一方を含む、
ことを特徴とする請求項１７に記載のコンピュータプログラム製品。
【請求項２２】
前記複数のＨＤビデオ画像フレームに前記ローパスフィルタ動作を行うための前記コンピュータ実行可能プログラムコードが、２次元フルフレームのローパスフィルタリング動作を行うためのコンピュータ実行可能プログラムコードを含む、
ことを特徴とする請求項１７に記載のコンピュータプログラム製品。
【請求項２３】
前記複数のＨＤビデオ画像フレームに前記ローパスフィルタ動作を行うための前記コンピュータ実行可能プログラムコードが、ブロックごとのローパスフィルタリング動作を行うためのコンピュータ実行可能プログラムコードを含む、
ことを特徴とする請求項１７に記載のコンピュータプログラム製品。
【請求項２４】
前記複数のＨＤビデオ画像フレームをサブサンプリングするための前記コンピュータ実行可能プログラムコードが、前記複数のＨＤビデオ画像フレームをサブサンプリングして前記元のフレーム解像度に戻すためのコンピュータ実行可能プログラムコードを含む、
ことを特徴とする請求項１７に記載のコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般にビデオ画像の強化に関し、より具体的には、高解像度ビデオコンテンツの強化に関する。
【背景技術】
【０００２】
今日では、標準解像度（ＳＤ）信号をアップコンバート又はアップサンプリングして高解像度テレビ（ＨＤＴＶ）上に表示されるようにするための様々な解像度強化技術が存在する。一般にＳＤ画像は、垂直方向に４８０のピクセルを有するとされるのに対し、一般にＨＤ画像は、垂直方向に少なくとも７２０のピクセルを有するとされる。一部の現在使用されている様々なＨＤＴＶフォーマットとしては、１０２４×７６８（ＸＧＡ）、１２８０×７２０（７２０ｐ）、１３６６×７６８（ＷＸＧＡ）、１２８０×１０８０（１０８０ｉ）、及び１９２０×１０８０（１０８０ｐ）が挙げられる。
【０００３】
ＳＤビデオ画像の解像度を強化するための１つの技術は「超解像度」技術と呼ばれ、いくつかの連続画像からの情報を使用して１つのアップサイジングした画像を作成する。基本的に、この技術は、１つのフレームから詳細を抽出して他のフレームを再構築する。他のＳＤ解像度強化技術としては、空間的補間及びサブピクセル動き補正が挙げられる。一般に、このような解像度強化技術は、例えばＤＶＤコンテンツをアップコンバートしてＨＤＴＶ上に表示するためなどに使用される。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、これまで、フルＨＤ画像にも欠点があり、従って画像強化から恩恵を受けることができるという事実はほとんど認識されていなかった。従って、高解像度ビデオコンテンツの強化方法及び装置に対する満たされていないニーズが依然として存在する。
【課題を解決するための手段】
【０００５】
本明細書では、高解像度ビデオコンテンツを強化する方法、装置、コンピュータプログラム製品について開示し、これらについて特許請求する。１つの実施形態では、方法が、元のフレーム解像度を有する高解像度（ＨＤ）ビデオ画像フレームを受け取るステップと、その後このＨＤ画像フレームを、元のフレーム解像度の所定の倍数であるアップサイジングしたフレーム解像度にアップサンプリングするステップとを含む。この方法はまた、ＨＤビデオ画像フレームをローパスフィルタリングするステップと、その後このＨＤビデオ画像フレームをサブサンプリングするステップとを含む。その後、ＨＤビデオ画像フレームを表示することができる。
【０００６】
当業者には、以下の本発明の詳細な説明に照らして本発明の他の態様、特徴、及び技術が明らかになるであろう。
【０００７】
以下に示す詳細な説明を、全体を通じて対応するものを同様の参照符号で識別する図面と併せて読めば、本発明の特徴、目的、及び利点がより明らかになるであろう。
【図面の簡単な説明】
【０００８】
【図１Ａ】ＨＤビデオフレーム画像の典型的なエネルギー分布グラフを示す図である。
【図１Ｂ】本発明の原理による、様々な処理動作及び強化を行った後のＨＤビデオフレーム画像のエネルギー分布の例示的なグラフを示す図である。
【図１Ｃ】本発明の原理による、様々な処理動作及び強化を行った後のＨＤビデオフレーム画像のエネルギー分布の例示的なグラフを示す図である。
【図１Ｄ】本発明の原理による、様々な処理動作及び強化を行った後のＨＤビデオフレーム画像のエネルギー分布の例示的なグラフを示す図である。
【図２Ａ】本発明の１つの実施形態によって強化される前の所与のＨＤビデオフレーム画像のエネルギー分布グラフを示す図である。
【図２Ｂ】本発明の１つの実施形態によって強化された後の所与のＨＤビデオフレーム画像のエネルギー分布グラフを示す図である。
【図３】本発明の１又はそれ以上の実施形態を実施するように構成された処理回路の簡略図である。
【図４】本発明の１又はそれ以上の態様を実施する処理の１つの実施形態を示す図である。
【発明を実施するための形態】
【０００９】
開示の概観
本開示は、ＨＤビデオコンテンツを表示する前に、（テレビなどの）ディスプレイ装置、セットトップボックス、又は同様のクライアント側装置によってＨＤビデオコンテンツが受け取られた後でこれを強化することに関連する。いくつかの実施形態では、最初に画像の解像度をスケーリングすることにより、ＨＤビデオ画像フレームをアップサンプリングすることができる。このアップサンプリング処理は、「超解像度」処理などの画像強化技術の適用を含むことができる。その後、ＨＤビデオ画像フレームをローパスフィルタリングして、画像のエネルギー分布をより狭い周波数範囲に集中させることができる。最後に、今フィルタリングしたＨＤビデオ画像フレームをサブサンプリングして、元のＨＤ画像のフレーム解像度又はその他のいずれかのＨＤレベルの解像度などに戻す。いくつかの実施形態では、上述の処理により、利用可能なエネルギー分布のさらに多くが利用され、従ってより多くの画像詳細を表示に利用できるようになる傾向にある。このようにして、ビデオコンテンツを既に高解像度品質であるとみなしていたにもかかわらず、この鮮明度及び詳細レベルを改善することができる。
【００１０】
本明細書で使用する「ＨＤ」という用語は、垂直方向に少なくとも７２０ピクセルのフレーム解像度を有するビデオコンテンツを意味する。
【００１１】
本明細書で使用する「１つの（英文不定冠詞）」という用語は、１又は１よりも多くの、と定義される。「複数の」という用語は、２又は２よりも多いことを意味する。「別の」という用語は、第２の又はそれ以上の、と定義される。「含む（ｉｎｃｌｕｄｉｎｇ）」及び／又は「有する（ｈａｖｉｎｇ）」という用語には（備える（ｃｏｍｐｒｉｓｉｎｇ）のように）制限がない。本明細書で使用する「又は」という用語は包括的なものとして解釈すべきであり、すなわちいずれか１つ又はあらゆる組み合わせを意味する。従って、「Ａ、Ｂ又はＣ」は、「Ａ、Ｂ、Ｃ、ＡとＢ、ＡとＣ、ＢとＣ、ＡとＢとＣ、のいずれか」を意味する。この定義に対する例外は、要素、機能、ステップ又は行為の組み合わせが何らかの点で本質的に互いに相容れない場合にのみ生じる。
【００１２】
本文書全体を通じて、「１つの実施形態」、「いくつかの実施形態」、「ある実施形態」又は同様の用語への言及は、実施形態に関連して説明する特定の特徴、構造又は特性が、本発明の少なくとも１つの実施形態に含まれることを意味する。従って、本明細書を通じて至るところに出現するこのような語句は、必ずしも全てが同じ実施形態について言及するものではない。さらに、特定の特徴、構造又は特性を、本発明を限定することなく１又はそれ以上の実施形態にあらゆる好適な態様で組み合わせることができる。
【００１３】
コンピュータプログラミングの当業者の手法に従って、以下、コンピュータシステム又は同様の電子システムにより実行される動作を参照しながら本発明について説明する。このような動作を、コンピュータ実行型と呼ぶこともある。なお、符号で表される動作として、中央処理装置などのプロセッサによるデータビットを表す電気信号の操作、及びシステムメモリ内などの記憶場所におけるデータビットの保持、並びにその他の信号の処理が挙げられる。データビットを保持する記憶場所とは、データビットに対応する特定の電気的、磁気的、光学的、又は有機的特性を有する物理的場所のことである。
【００１４】
ソフトウェアの形で実現される場合、基本的に本発明の要素は、必要なタスクを行うためのコードセグメントである。このコードセグメントは、情報を記憶できるあらゆる媒体を含む「プロセッサ記憶媒体」に記憶することができる。プロセッサ記憶媒体の例として、電子回路、半導体メモリ装置、ＲＯＭ、フラッシュメモリ又はその他の不揮発性メモリ、フロッピーディスケット、ＣＤ−ＲＯＭ、光ディスク、ハードディスクなどが挙げられる。
【００１５】
例示的な実施形態の説明
ここで図１Ａを参照すると、ＨＤビデオ画像のエネルギー分布の例示的なグラフ１００を示し、画像のエネルギー（ｙ軸）をスペクトル周波数（ｘ軸）の関数として示している。基本的に、図１Ａは、画像の２次元フーリエ変換のヒストグラムを示すものである。一般に知られているように、ナイキスト周波数１０５は、信号を完全に再構築できるようにするために、所与のサンプリングレートに関して符号化できる最も高い周波数を表す。図１Ａより、例示的な元のＨＤ画像のエネルギー１１０は、利用可能な周波数スペクトル全体を利用しておらず、従って利用可能な帯域幅を与えることができるほど細かくはないことが分かる。
【００１６】
このために、本開示の１つの態様では、最初に画像の解像度を（２倍、３倍などに）スケーリングすることにより、図１Ａの元のＨＤビデオ画像フレームをアップサイジング又はアップサンプリングする。このアップサンプリングには、ナイキスト周波数を（２倍、３倍などに）比例的にスケーリングする効果もあるので、アップサンプリング動作後に結果として得られるナイキスト周波数は、図１Ｂのグラフ１１５内に示す周波数１２０のようになる。
【００１７】
残念ながら、ＨＤビデオ画像フレームの解像度を単純にアップサンプリングするだけでは、画像のエネルギー１１０の周波数分布に有益な効果が与えられることはない。また、この時点（すなわち、アップサンプリングの後）では、使用される周波数が、利用可能な周波数分布よりも少ないので、結果として得られるアップサイジングしたフレーム画像は不鮮明なものとなる。従って、このアップサンプリング手順を、画像詳細を人工的に再生することによりビデオ画像のエネルギーの分布を図１Ｂに示すような領域１２５を含むように拡張して改善する画像強化手順と組み合わせ、或いはこれに関連して実施することができる。例えば、連続するマルチフレーム処理を含む「超解像度」強化などの、事実上あらゆるビデオ画像強化技術を適用することができる。使用する解像度強化は、単一フレーム処理動作での混合色分離、及び／又はエッジ修正に基づくパターンマッチングを用いた統計的手法の適用を含むこともできる。
【００１８】
ここで図１Ｃのグラフ１３０を参照すると、上述したアップサンプリング及び強化動作の後、画像のエネルギー分布をさらに狭い周波数範囲に集中させるために、今アップサンプリングしたＨＤビデオ画像フレームにローパスフィルタリング動作を行うことができる。１つの実施形態では、結果として得られる（すなわち、フィルタリング後の）ビデオ画像のエネルギーを、図１Ｃの領域１３５によって表すことができる。
【００１９】
ＨＤビデオ画像フレームを上述のようにローパスフィルタリングしたら、本開示のさらに別の態様では、今フィルタリングしたＨＤビデオ画像フレームの解像度をサブサンプリングして、通常は７２０ｐ、１０８０ｉ、又は１０８０ｐのいずれかである元のＨＤ画像の解像度に戻す。或いは、今フィルタリングした画像を他の何らかのＨＤレベルの解像度にサブサンプリングすることが望ましい場合もある。いずれにせよ、図１Ｄのグラフ１４０に示すように、サブサンプリングされた新しい画像解像度に対応して、ナイキスト周波数１４５がこの新しい周波数１４５まで比例的に減少するようになる。いくつかの実施形態では、このサブサンプリング動作を、上述したアップサンプリング動作の数学的反転とすることができる。例えば、上述のアップサンプリング動作において元のＨＤ画像の解像度が２倍になった場合、その後のサブサンプリング動作ではこれを２分の１にすることができる。同様に、ナイキスト周波数は、フレーム解像度のサブサンプリングに比例して影響を受けるので、結果として得られる、今サブサンプリングしたビデオ画像フレームのナイキスト周波数１４５は、基本的に元のＨＤビデオ画像のナイキスト周波数（すなわち、図１Ａのナイキスト周波数１０５）と同じになることができる。従って、利用可能なエネルギー分布のさらに多くが利用されることにより、より多くの画像詳細を表示に利用できるようになる。
【００２０】
なお、図１Ｂ〜図１Ｄを参照しながら上述した画像処理は、セットトップボックスによって、又はディスプレイ装置自体において実施することができる。また、上述したアップサンプリング、解像度強化、フィルタリング、及びサブサンプリング動作は、フルフレームベースで実施することができる。しかしながら、フルフレームの処理には比較的多くのメモリが必要となり得るので、別の実施形態ではこれらの動作をブロックごとに実施することができ、この場合、使用するメモリはかなり少なくなるが、処理オーバーヘッドが増加する傾向にある。
【００２１】
ここで図２Ａ〜図２Ｂを参照すると、元のＨＤビデオ画像フレーム（図２Ａのグラフ２００）と、本発明の原理によって強化された処理済みのＨＤビデオ画像フレーム（図２Ｂのグラフ２２０）との間のエネルギー分布の比較を示している。具体的には、グラフ２２０のエネルギー分布は、グラフ２２０（領域２１０を参照）のエネルギー分布よりも、より高い周波数において多くのエネルギーを含むことが分かる。領域２３０の方が領域２１０よりも多くのエネルギーを含むということは、グラフ２２０に関連するビデオ画像フレームの方がグラフ２００の画像フレームよりも多くの詳細を含み、従ってよりシャープかつクリアな画像を生成することを意味する。これは、画像内の細かなテクスチャ領域及びシャープな境界に高い空間周波数エネルギーが含まれるためである。これは、フィルム−ビデオ（テレシネ）変換、サンプルレート変換、又は事実上あらゆる画像操作処理などの変換処理において失われやすい情報である。解像度強化処理では、この失われた情報を人工的に再生することにより、高周波成分エネルギーを押し上げる。
【００２２】
図３は、本発明の１又はそれ以上の態様を実施するように構成された処理回路３００の簡略ブロック図である。１つの実施形態では、処理回路３００を（テレビなどの）ディスプレイ装置内に実装することができるが、同様にＨＤビデオコンテンツをディスプレイに提供する前にこれを受け取って処理するために使用されるセットトップボックス又は同様のクライアント側装置内に実装することもできる。
【００２３】
図３に示すように、処理回路３００が、ＨＤビデオ画像フレーム３１０の形のＨＤビデオコンテンツを受け取る。或いは、ＨＤビデオコンテンツをパケット化データとして受け取って、その後ビデオ画像フレームデータに変換することもできる。ＨＤビデオコンテンツを一連のビデオ画像フレームに変換する方法、又はフレームとして別様に処理する方法の詳細は当業で公知であり、ここで繰り返す必要はない。
【００２４】
処理回路３００は、ディスプレイ装置又はセットトップボックス内の他の回路と結合させてもよいし、或いは一連の別個の回路として構成してもよい。また、回路設計及び実装技術で公知のように、処理回路３００を含む個々の構成要素を結合又は分離してもよく、及び／又は１又はそれ以上の別個のプロセッサ（図示せず）によって制御してもよい。さらに、処理回路３００を含む個々の構成要素の各々は、ハードウェア、ソフトウェア、又はこれらのあらゆる組み合わせの形で実現することができる。
【００２５】
図１Ｂを参照しながら上述したように、本発明の１つの態様では、画像の解像度を（２倍、３倍などに）スケーリングすることにより、受け取ったＨＤビデオ画像フレームをアップサンプリングする。図３の実施形態では、アップサンプラ３２０がこれを行うことができる。このアップサンプラは、図１Ｂに示したように、画像詳細を人工的に再生して、ビデオフレーム画像のエネルギーの分布を高周波数を含むように拡張して改善する解像度エンハンサ構成要素３３０をさらに含むことができる。あらゆる公知の画像強化技術を適用することができる。また、解像度エンハンサ構成要素３３０をアップサンプラ３２０から分離することもできる。
【００２６】
ＨＤビデオ画像フレームをアップサンプリングしたら、この信号をローパスフィルタ３４０に提供することができる。１つの実施形態では、結果として得られる（すなわち、フィルタリング後の）ビデオ画像フレームエネルギーを、先程図１Ｃに示したように表すことができる。
【００２７】
ＨＤビデオフレーム画像をローパスフィルタリングしたら、このＨＤ信号を、今フィルタリングしたＨＤビデオ画像フレームの解像度をダウンサイジングして元のＨＤ画像の解像度又は他の何らかの所望のＨＤレベルの解像度に戻すように構成できるサブサンプラ３５０に提供することができる。いくつかの実施形態では、このサブサンプリング動作を、アップサンプラ３２０により実施されるアップサンプリング動作の数学的反転とすることができる。例えば、元のＨＤ画像の解像度がアップサンプリング３２０によって２倍になった場合、これに対応して、サブサンプラ３５０はこれを２分の１にすることができる。同様に、ナイキスト周波数は、上述したようにフレーム解像度のサブサンプリングに比例して影響を受けるので、結果として得られる、今サブサンプリングしたビデオ画像フレームのナイキスト周波数は、基本的に到来するＨＤビデオ画像フレーム３１０のナイキスト周波数と同じになることができ、このことは、利用可能なエネルギー分布のさらに多くが利用されることにより（図１Ｄを参照）、より多くの画像詳細を表示に利用できるようになることを意味する。
【００２８】
なお、アップサンプラ３２０、解像度エンハンサ３３０、ローパスフィルタ３４０、及びサブサンプラ３５０は、上述したようなこれらのそれぞれの動作をフルフレームベースで、又はシステムのメモリ要件を低減させるためにブロックごとに行うことができる。
【００２９】
図４は、本発明の原理による、ＨＤビデオコンテンツを強化するための処理４００の１つの実施形態を示している。具体的には、処理４００は、図３の処理回路３００によって実施することができ、及び／又は様々なエネルギー分布及び図１Ｂ〜図１Ｄを参照しながら上述した関連する画像強化を実現することができる。
【００３０】
処理４００は、ＨＤビデオコンテンツを受け取るブロック４１０から開始する。上述したように、このＨＤビデオコンテンツを（テレビなどの）ディスプレイ装置が受け取ることができ、又は最初にセットトップボックスが受け取って、その後ディスプレイ装置に提供することができる。ＨＤビデオコンテンツは、ビデオ画像フレームの形であることが好ましいが、最初はパケット化された形で、その後一連のビデオ画像フレームに変換してもよい。
【００３１】
ＨＤビデオ画像フレームを受け取ると、ブロック４２０において、（アップサンプラ３２０などを使用して）最初に画像の解像度をスケーリングすることにより、この画像フレームをアップサイジング又はアップサンプリングすることができる。このアップサンプリングには、ナイキスト周波数を比例的にスケーリングする効果もある（例えば、図１Ｂのナイキスト周波数１２０を参照）。ブロック４２０のアップサンプリング処理と組み合わせて、又はこの処理の後に、ブロック４３０において、画像詳細を人工的に再生して、これによりビデオ画像のエネルギーの分布を拡張して改善する（例えば、図１Ｂの領域１２５を参照）ために、アップサンプリングされたＨＤビデオ画像フレームに（解像度エンハンサ３３０などを使用して）画像強化技術を適用することができる。上述したように、本発明の原理に従う（「超解像度」、混合色分離、パターンマッチングなどの）あらゆるビデオ画像強化技術を適用することができる。
【００３２】
この時点で、処理４００はブロック４４０へ進むことができ、ここで今アップサンプリングして強化したＨＤビデオ画像フレームを（ローパスフィルタ３４０などを使用して）ローパスフィルタリングすることができる。いくつかの実施形態では、このローパスフィルタリング動作の結果を、画像のエネルギー分布をさらに狭い周波数範囲に集中させることとすることができる（例えば、図１Ｃの領域１３５を参照）。
【００３３】
ＨＤビデオ画像フレームをローパスフィルタリングしたら、処理４００はブロック４５０へ進むことができ、今フィルタリングしたＨＤビデオ画像フレームの解像度をサブサンプリングして、元のＨＤ画像のフレーム解像度又は（７２０ｐ、１０８０ｉ、１０８０ｐなどの）他のいずれかのＨＤレベルの解像度のいずれかに戻すことができる。上述した図１Ｄに示すように、これにより利用可能なエネルギー分布のさらに多くが利用されるようになり、従ってより多くの画像詳細を表示に利用できるようになる。
【００３４】
その後、処理４００はブロック４６０へ進むことができ、ここで今強化したＨＤビデオ画像フレームをテレビの画面上などに表示することができる。
【００３５】
様々な実施形態に関連して本発明を説明したが、本発明にはさらなる修正も可能である。本出願は、一般に、本発明の原理に従う本発明のあらゆる変形、使用、又は適応も対象とし、また本発明が関連する技術における公知の及び慣例的な手法に該当するような本開示からの逸脱も含むことが意図されている。
【符号の説明】
【００３６】
３００  処理回路
３１０  ＨＤビデオ画像フレーム
３２０  アップサンプラ
３３０  解像度エンハンサ
３４０  ローパスフィルタ
３５０  サブサンプラ
【図１Ａ】
2012518946.tif 000003
【図１Ｂ】
2012518946.tif 000004
【図１Ｃ】
2012518946.tif 000005
【図１Ｄ】
2012518946.tif 000006
【図２Ａ】
2012518946.tif 000007
【図２Ｂ】
2012518946.tif 000008
【図３】
2012518946.tif 000009
【図４】
2012518946.tif 000010
【国際調査報告】
2012518946.tif 000011
2012518946.tif 000012