(57)【要約】【課題】  色度エイリアジングを低減することによってディスプレイ解像度を改善するためのシステムを提供する。【解決手段】  本発明の方法は、（ａ）第１再サンプリング処理を用いて輝度情報を再サンプリングし、輝度情報の再サンプリングから得られるより高い周波数の色度情報の少なくとも一部に対してより低い周波数の色度情報の少なくとも一部を弱めるステップと、（ｂ）第２再サンプリング処理を用いて画像の色度情報を再サンプリングするステップであって、（ｉ）輝度情報の再サンプリングが色度情報の再サンプリングと異なるか（ｉｉ）第２処理が画像のピクセルを第１処理と異なる態様で処理でするかの少なくとも一方であるステップと、（ｃ）再サンプリングされた輝度情報と再サンプリングされた色度情報とより高い周波数の色度情報の少なくとも一部とを組み合わせて再サンプリング画像にするステップとを含む。【選択図】  図８
2004334195.tif 000002
【特許請求の範囲】
【請求項１】
色度情報および輝度情報を有する画像を再サンプリングするための方法であって、
（ａ）第１再サンプリング処理を用いて該輝度情報を再サンプリングし、該輝度情報の該再サンプリングから得られるより高い周波数の色度情報の少なくとも一部に対してより低い周波数の色度情報の少なくとも一部を弱めるステップと、
（ｂ）第２再サンプリング処理を用いて該画像の該色度情報を再サンプリングするステップであって、
（ｉ）該輝度情報の再サンプリングが該色度情報の該再サンプリングと異なるか、および
（ｉｉ）該第２処理が該画像のピクセルを該第１処理と異なる態様で処理でするか、
の少なくとも一方である、ステップと、
（ｃ）該再サンプリングされた輝度情報と、該再サンプリングされた色度情報と、該より高い周波数の色度情報の少なくとも一部とを組み合わせて再サンプリング画像にするステップと
を含む、方法。
【請求項２】
前記輝度情報の前記再サンプリングステップはピクセル再サンプリングステップを含む、請求項１に記載の方法。
【請求項３】
前記弱めるステップは高域通過フィルタを使用するステップである、請求項１に記載の方法。
【請求項４】
前記輝度情報の前記再サンプリングステップの結果、２つの色度チャネルが生じ、該色度チャネルの各々が異なる態様で弱められる、請求項１に記載の方法。
【請求項５】
前記輝度情報の前記再サンプリングステップは人間の視覚系に基づくモデルに従う、請求項１に記載の方法。
【請求項６】
前記色度情報の前記再サンプリングステップはピクセル再サンプリングステップを含む、請求項１に記載の方法。
【請求項７】
前記画像の前記輝度情報の前記再サンプリングステップは、色度エイリアジングが、仮に該輝度情報の該再サンプリングが前記色度情報の前記再サンプリングと同じ態様で再サンプリングされた場合の色度エイリアジングから低減されるように実行される、請求項１に記載の方法。
【請求項８】
前記輝度情報の前記再サンプリングステップは、前記画像の色度情報の実質的な再サンプリングがされていない該画像の輝度部分上で実行され、前記色度情報の前記再サンプリングは、該画像の輝度情報の実質的な再サンプリングがされていない該画像の色度部分上で実行される、請求項１に記載の方法。
【請求項９】
画像を再サンプリングするための方法であって、
（ａ）該画像の輝度情報を再サンプリングするステップであって、該輝度情報が該画像の輝度の少なくとも６０％である、ステップと、
（ｂ）該輝度情報の該再サンプリングから得られるより高い周波数の色度情報の少なくとも一部に対してより低い周波数の色度情報の少なくとも一部を弱めるステップと
を含む、方法。
【請求項１０】
前記輝度情報の前記再サンプリングステップはピクセル再サンプリングステップを含む、請求項９に記載の方法。
【請求項１１】
前記弱めるステップは高域通過フィルタを使用するステップである、請求項９に記載の方法。
【請求項１２】
前記輝度情報の前記再サンプリングステップの結果、２つの色度チャネルが生じ、該色度チャネルの各々が異なる態様で弱められる、請求項９に記載の方法。
【請求項１３】
複数のチャネルを含む画像を再サンプリングするための方法であって、該チャネルの第１チャネルは該画像の輝度の少なくとも６０％を含む輝度成分を有し、該チャネルの第２チャネルはカラー成分を有し、
（ａ）該画像の該第１チャネルを再サンプリングするステップと、
（ｂ）該画像の該第１チャネルの該再サンプリングから得られるより高い周波数の色度情報の少なくとも一部に対してより低い周波数の色度情報の少なくとも一部を弱めるステップと、
（ｃ）該画像の該第２チャネルを再サンプリングするステップと
を含む方法。
【請求項１４】
前記輝度成分は、前記画像の輝度の少なくとも７０％を含む、請求項１３に記載の方法。
【請求項１５】
前記輝度成分は、前記画像の輝度の少なくとも８０％を含む、請求項１３に記載の方法。
【請求項１６】
前記輝度成分は、前記画像の輝度の少なくとも９０％を含む、請求項１３に記載の方法。
【請求項１７】
前記複数のチャネルは色差チャネルである、請求項１３に記載の方法。
【請求項１８】
画像を再サンプリングするための方法であって、
（ａ）該画像の輝度の少なくとも６０％を含む該画像のチャネルを提供するステップと、
（ｂ）該チャネルのより高い周波数の輝度情報の少なくとも一部に対してより低い周波数の輝度情報の少なくとも一部を弱めるステップと、
（ｃ）該画像の輝度情報を再サンプリングするステップと
を含む、方法。
【請求項１９】
前記輝度情報の前記再サンプリングステップから得られるより高い周波数の色度情報の少なくとも一部に対してより低い周波数の色度情報の少なくとも一部を弱めるステップをさらに含む、請求項１８に記載の方法。
【請求項２０】
前記輝度成分は、前記画像の輝度の少なくとも７０％を含む、請求項１８に記載の方法。
【請求項２１】
前記輝度成分は、前記画像の輝度の少なくとも８０％を含む、請求項１８に記載の方法。
【請求項２２】
前記輝度成分は、前記画像の輝度の少なくとも９０％を含む、請求項１８に記載の方法。
【請求項２３】
前記輝度成分は、前記画像の輝度の少なくとも９５％を含む、請求項１８に記載の方法。
【請求項２４】
色度情報および輝度情報を有する画像を再サンプリングするための方法であって、
（ａ）第１再サンプリング処理を用いて該輝度情報を再サンプリングするステップと、
（ｂ）第２再サンプリング処理を用いて該画像の該色度情報を再サンプリングするステップであって、
（ｉ）該輝度情報の再サンプリングが該色度情報の該再サンプリングと異なるか、および
（ｉｉ）該第２処理は、該画像のピクセルを該第１処理と異なる態様で処理するか、
の少なくとも一方である、ステップと、
（ｃ）該輝度情報の該再サンプリングから得られるより高い周波数の色度情報の少なくとも一部に対してより低い周波数の色度情報の少なくとも一部を弱めるステップと、
（ｄ）該再サンプリングされた輝度情報と、該再サンプリングされた色度情報と、該より高い周波数の色度情報の少なくとも一部とを組み合わせて再サンプリング画像にするステップと
を含む、方法。
【請求項２５】
前記輝度情報の前記再サンプリングステップが前記色度情報の前記再サンプリングの前に実行される、請求項２４に記載の方法。
【請求項２６】
前記弱めるステップは高域通過フィルタを使用するステップである、請求項２４に記載の方法。
【請求項２７】
前記輝度情報の前記再サンプリングステップの結果、２つの色度チャネルが生じ、該色度チャネルの各々が異なる態様で弱められる、請求項２４に記載の方法。
【請求項２８】
前記色度情報の前記再サンプリングステップはピクセル再サンプリングステップを含む、請求項２４に記載の方法。
【請求項２９】
前記画像の前記輝度情報の前記再サンプリングステップは、色度エイリアジングが、仮に該輝度情報の該再サンプリングが前記色度情報の前記再サンプリングと同じ態様で再サンプリングされた場合の色度エイリアジングから低減されるように実行される、請求項２４に記載の方法。
【請求項３０】
前記輝度情報の前記再サンプリングステップは、前記画像の色度情報の実質的な再サンプリングがされていない該画像の輝度部分上で実行され、前記色度情報の前記再サンプリングは、該画像の色度情報の実質的な再サンプリングがされていない該画像の色度部分上で実行される、請求項２４に記載の方法。
【請求項３１】
画像を再サンプリングするための方法であって、
（ａ）該画像を再サンプリングするステップと、
（ｂ）該画像を、輝度情報が不均一なサンプリングレートを有するようにフィルタ処理するステップと、
（ｃ）該画像を、該不均一なサンプリングレートを考慮して、仮に該均一なサンプリングレートを考慮した場合の色度アーチファクトより少なく色度アーチファクトを低減するような方法で変更するステップと
を含む方法。
【請求項３２】
前記画像は水平方向に輝度不均一サンプリングレートを有する、請求項３１に記載の方法。
【請求項３３】
前記画像は、垂直方向に輝度不均一サンプリングレートを有する、請求項３１に記載の方法。
【請求項３４】
前記画像は、対角線方向に輝度不均一サンプリングレートを有する、請求項３１に記載の方法。
【請求項３５】
前記フィルタ処理は、前記再サンプリングの前に実行される、請求項３１に記載の方法。
【請求項３６】
前記変更するステップは、前記フィルタ処理するステップの前に実行される、請求項３１に記載の方法。
【請求項３７】
前記変更するステップは、前記再サンプリングするステップの前に実行される、請求項３１に記載の方法。
【請求項３８】
前記フィルタ処理するステップは、色度情報の高域通過フィルタを含む、請求項３１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、米国仮出願シリアル番号６０／４６９，４３２（出願日２００３年５月９日、発明の名称「Ｓｙｓｔｅｍ  Ｆｏｒ  Ｉｍｐｒｏｖｉｎｇ  Ｄｉｓｐｌａｙ  Ｒｅｓｏｌｕｔｉｏｎ」）の利益を主張し、米国仮出願シリアル番号６０／２１１，０２０（出願日２０００年６月１２日）の利益を主張する米国特許出願シリアル番号０９／７３５，４２４（出願日２０００年１２月１２日）の優先権を主張し、米国仮出願シリアル番号６０／２１１，０２０（出願日２０００年６月１２日）の利益を主張する米国特許出願シリアル番号０９／７３５，４２５（出願日２０００年１２月１２日）の優先権を主張し、米国仮出願シリアル番号６０／２１１，０２０（出願日２０００年６月１２日）の利益を主張する米国特許出願シリアル番号０９／７３５，４５４（出願日２０００年１２月１２日）の優先権を主張する。
【０００２】
本発明は、高解像度画像をより低い解像度を有するディスプレイ上に表示する技術分野に関する。
【背景技術】
【０００３】
高解像度画像をより低い解像度を有するカラーモザイクディスプレイ上に表示するために最も一般に使用される方法は、図１に示すように、高解像度画像４のピクセル２をプレフィルタ処理および再サンプリング処理して低解像度ディスプレイ６の解像度に低減する方法である。この処理では、選択されたカラーピクセル８のＲ、Ｇ、Ｂ値は、対応のディスプレイピクセル１６の別々のＲ、Ｇ、Ｂ要素１０、１２および１４にマッピングされる。１つのディスプレイピクセルのうちのＲ、Ｇ、Ｂ要素１０、１２および１４は、サブピクセルとも呼ばれる。低解像度ディスプレイデバイスはカラー要素を重なり合わせることができないので、サブピクセルは３つのＲ、Ｇ、またはＢカラーのうちの１つを取り得るだけである。しかし、カラーの振幅は、グレースケール範囲全体（例えば、０〜２５５）にわたって変化することができる。サブピクセルのアスペクト比は１：３（幅：高さ）であることが多い。この場合、ピクセル１６は正方形となる。上記のサブサンプリング／マッピング手法は、ディスプレイのＲ、ＧおよびＢサブピクセルが実際には空間的に離れていることを考慮していない。実際には、低解像度画像のピクセルは、高解像度画像と同じように重なり合っているとみなされる。このタイプのサンプリングは、サブサンプリング、従来のサブサンプリング、または、通常のサブサンプリングと呼ばれることもある。
【０００４】
高解像度画像４のピクセルは、３つのわずかにずらしながら積み重ねられた正方形８として図示されており、そのＲ、Ｇ、Ｂ値は空間的に同じ位置（すなわち、ピクセル）に対応付けられる。このピクセルは一般に共通サイト（ｃｏ−ｓｉｔｅｄ）サブピクセルと呼ばれる。カラーモザイクディスプレイ上の１つのディスプレイピクセル１６は、Ｒ、ＧおよびＢサブピクセル１０、１２および１４の各１つずつからなり、図１の低解像度トライアドディスプレイ６の一部として図示される。
【０００５】
図１に示す例において、高解像度画像は、ディスプレイよりも（水平および垂直両方の方向において）３倍高い解像度を有する。フィルタ処理を省く場合、サブサンプリングによって望ましくないエイリアジングアーチファクトが生じ得る。したがって、サンプリングされたピクセルを用いてその近傍のサンプリングされないピクセルを平均化することなどの種々の方法を使用してエイリアジングを低減する。また、図１のサブサンプリング手法では、各々が輝度情報の一部を有するカラーフィールドの位置ずれが生じる。この場合、サブピクセルサンプリングレートで達成可能な輝度解像度が得られなくなる。
【０００６】
なお、サブサンプリングと同時に近傍要素の重み付け平均をとる手法は、高解像度画像をプレフィルタ処理することと数学的に等しい。また、最も左のピクセル（図１参照）とは異なるピクセルを選択する手法は、位相のみに影響するプレフィルタ処理として考えられ得る。したがって、エイリアジングを低減することに関連する処理の多くは、カーネルがそのサンプリングされたピクセル位置でのみ適用されるのであれば、ピクセル位置においてのみ高解像度画像のフィルタ演算と見なされ得る。
【０００７】
上記の手法は潜在的なディスプレイ解像度を利用していないことが認識されている。潜在的なディスプレイ解像度に関する情報は、非特許文献１および非特許文献２において検討されている。これらの文献は本明細書中において参考として援用される。
【０００８】
例えば、図１に示すディスプレイにおいて、ディスプレイピクセル１６の解像度は、高解像度（原画像）４のピクセル解像度の１／３であるが、低解像度画像のサブピクセル１０、１２および１４の解像度は、高解像度画像の解像度と（水平方向において）等しい。これを利用したのが図２の例である。この低解像度ディスプレイを色盲者のみが見る場合は、通常のサブサンプリングが使用される場合よりも高い解像度の画像として認識される。本質的に、低解像度画像の対応するサブピクセルにマッピングされる高解像度画像のそれぞれのピクセルに対して輝度値が存在する。このように、高解像度輝度画像４の一部は低解像度画像のサブピクセルにおいて保存される。この方法を図２に示す。ここでは、低解像度ディスプレイのＲサブピクセル１０、Ｇサブピクセル１２およびＢサブピクセル１４は、高解像度画像の異なるピクセル１１、１３および１５の対応するカラーから得られる。これによって、低解像度ディスプレイのサブピクセル水平解像度を高解像度ディスプレイのピクセル解像度とすることができる。異なる画像ピクセルからのカラー要素をディスプレイピクセルトライアドのサブピクセルにマッピングすることを含むサンプリングをサブピクセルサンプリングと称することもある。
【０００９】
しかし、色盲でないディスプレイの視聴者（すなわち、視聴者の大多数）の場合はどうか。ディスプレイ技術者にとって幸運なことに、完全なカラー視力を有する視聴者でさえ、一般に非常に高い空間周波数では色盲である。このことを図３に示す。図３は、人間の視覚系の理想的な空間周波数応答を示す。
【００１０】
図３において、輝度コントラスト感度関数（ＣＳＦ）１７は、見ている画像の無彩色成分を示し、色度ＣＳＦ１９はカラー成分を示す。カラー成分は、視覚系によって赤から緑、および青から黄の等輝度変調として処理される。通常のビデオの色差信号Ｒ−ＧおよびＢ−Ｙは、これらの変調の大まかな近似である。ほとんどの視聴者にとって、色度周波数応答の帯域は輝度周波数の帯域の１／２である。青−黄変調応答の帯域はさらに低く、輝度の約１／３となることもある。
【００１１】
図４を参照する。ディスプレイの水平方向において、ディスプレイピクセル１６のナイキスト周波数（ディスプレイピクセル＝トライアドピクセル、トライアドピクセル当たり０．５サイクルでトライアドナイキストを与える）とサブピクセル１０、１２および１４のナイキスト周波数（０．５サイクル／サブピクセル＝１．５サイクル／トライアドピクセル）との間に存在する周波数の範囲がある。この周波数領域は、図４に矩形領域２０として示される。高解像度画像と、幅がディスプレイサンプリング間隔に等しい矩形関数との畳み込みの結果を一点鎖線２２で示す。これは、ディスプレイがＬＣＤの場合のディスプレイＭＴＦ（変調伝達関数）をモデル化するために用いられる最も一般的な方法である。
【００１２】
高解像度原画像と、幅がサブピクセル間隔に等しい矩形関数との畳み込みの結果を破線２４で示す。これは、より高い帯域を有する。これは、サブピクセルが１Ｄにおいて矩形であるとするディスプレイによって課される限界である。図示の矩形領域２０において、サブピクセルは、色度情報ではなく輝度情報を表示できる。実際、この領域の色度情報はいずれもエイリアジングされる。したがって、この領域において、色度エイリアジングを許容すれば、ディスプレイは、トライアド（すなわち、ディスプレイ）ピクセルによって可能なものよりも高い周波数の輝度情報を達成し得る。これは、サブピクセルサンプリングによって得られる「有利な」領域である。
【００１３】
サブピクセルサンプリングは、輝度情報を、表示される画像の３カラーフィールドに対して位置決めする。画像を表示する際に位置ずれすると輝度解像度を失うが、他方サブピクセルサブサンプリングは輝度解像度を低減するだけである。画像に適用されるサブサンプリングプレフィルタは、高解像度輝度情報を通過する程度に十分に広帯域であり得る。このさらなる輝度解像度が、輝度情報を著しくエイリアジングすることはない。なぜなら、ナイキスト周波数はサブピクセルサンプリング周期によって決定されるからである。しかし、色度ナイキスト周波数はディスプレイサンプリング周期によって決定されるので著しい色度エイリアジングが生じ得る。「有利な」領域は、著しい色度エイリアジングが生じるが著しい輝度エイリアジングが生じない領域と考えられ得る。
【００１４】
フォント表示をともなう用途については、白黒フォントが図５に示すように一般に前処理される。標準的前処理は、ヒンティング（ｈｉｎｔｉｎｇ）を含む。ヒンティングは、ピクセルの中心上にあるフォントストロークのセンタリング（すなわち、フォントストローク特有位相シフト）をいう。一般に、この処理の後に低域通過フィルタ処理を行う。この低域通過フィルタ処理をグレースケールアンチエイリアジング処理ともいう。
【００１５】
図３に示す視覚周波数応答（ＣＳＦ）は理想化されている。実際には、ＣＳＦは有限のフォールオフ勾配を有する。代表例を図６Ａに示す。輝度ＣＳＦ３０は、サイクル／度の単位からディスプレイピクセルドメイン（１２８０ピクセルのビューイング距離を仮定する）へマッピングされている。実線３０で示すように、１．５サイクル／ピクセル（ディスプレイピクセル）の近傍で最大周波数を有し、０．２サイクル／ピクセルトライアド近傍にピークを有する形状の帯域通過である。Ｒ：Ｇ  ＣＳＦ３２を破線で示す。これは０．５サイクル／ピクセル近傍に最大周波数を有する低域通過である。Ｂ：Ｙ  ＣＳＦ３４を長鎖線ＬＰＦ（低域通過フィルタ）で示す。これは、Ｒ：Ｇ  ＣＳＦと同様の最大周波数を有するが、ピーク応答はより低い。彩度ＣＳＦ３２および３４と輝度ＣＳＦ３０との間のカットオフ周波数の範囲は、輝度解像度を改善するために色度エイリアジングを許容し得る領域である。色度エイリアジングは、色ＣＳＦの外にあるので人間の目には見えない。
【００１６】
図６Ａはまた、理想化画像パワースペクトル３６を１／ｆ関数として示す。この図では、−１の勾配を有する直線として表される（図が対数軸を使用しているため）。このスペクトルは、サンプリング周波数で繰り返す。ピクセル繰り返し３８はピクセルサンプリングレートによるものであり、繰り返し４０はサブピクセルサンプリングレートによるものである。なお、繰り返しスペクトルの形状は、１／ｆに基づく帯域スペクトル３６と異なる。なぜなら、対数−対数軸上にプロットされているからである。これらの繰り返しスペクトル３８および４０のそれぞれのナイキスト周波数よりも低い領域へ延びる部分がエイリアジングを表す。色度エイリアジング３８は、ピクセルサンプリングレートのために左にあり、輝度エイリアジング４０はより高いサブピクセルサンプリングレートに関連するので、より高い周波数で生じる。
【００１７】
図６Ａにおいて、原スペクトルにはプレフィルタ処理を行わなかった。その結果、ピクセルサンプリングによるエイリアジング（すなわち、色度エイリアジング）は非常に低い周波数３５へ延びる。したがって、色度ＣＳＦが輝度ＣＳＦよりも低い帯域を有するとしても、一般にカラーアーチファクトが（ディスプレイのノイズおよびコントラストに依存して）なおも見られる。
【００１８】
図６Ｂにおいて、プレフィルタを（３つの原画像ピクセルに等しい空間ドメインにおける矩形関数）、図４において一点鎖線２２として示すように、原パワースペクトルに適用した。プレフィルタは、０．５サイクル／ピクセル以上の領域においてベース帯域スペクトル４２に影響し、４４で示すようにベース帯域スペクトル４２が−１より急峻な勾配を有するようにする。より急峻な勾配は、色度エイリアジングの効果を実質的に低減する。繰り返しスペクトル３８ａおよび４０ａはまた、このプレフィルタの効果を示す。例えば、尾部３５（図６Ａ）は、このフィルタによって尾部４６（図６Ｂ）のように劇的に低減される。可視の色度エイリアジング（すなわち、２つの色ＣＳＦ３２ａおよび３４ａ下のエイリアジング）が低減される。しかし、この簡単な輝度プレフィルタ処理はまた曲線４５（図６Ａ）に比較して著しく輝度解像度（例えば、曲線４４（図６Ｂ））を除去することが観察され得る。
【００１９】
輝度情報を増加するために、システムは、人間の視覚系の輝度および色帯域における差異を使用し得る。図６Ｂにおける輝度および色（ＣＳＦ）におけるこの帯域差は、「有利な領域」と称され得る。そのような増加を達成するための１つの手法は、非特許文献３（本明細書中において参考として援用され、図７に例示する）に記載されるように、視覚系モデルに基づいてプレフィルタ処理を設計することである。
【００２０】
非特許文献３の手法は、どのカラー層およびどのカラーサブピクセル上で画像がサンプリングされるかに依存して異なるプレフィルタを理想的に使用する。非特許文献４（本明細書中において参考として援用され、図７に示す）には、人間の視覚差モデルを使用して９つのフィルタが設計されている。これは、オフラインで行われ、画像は常に白黒であると仮定されている。最終的なインプリメンテーションでは、得られた９つの最適フィルタではなく３つの矩形関数が計算量を節約するために使用される。また、色度エイリアジングが色度ＣＳＦカットオフよりも低い周波数へ延びるのでなおもある程度の色度エラーが残る（図６Ｂに示す）。
【非特許文献１】Ｒ．Ｆｉｅｇｅｎｂｌａｔｔ、「Ｆｕｌｌ  ｃｏｌｏｒ  ｉｍａｇｉｎｇ  ｏｎ  ａｍｐｌｉｔｕｄｅ  ｃｏｌｏｒ  ｍｏｓａｉｃ  ｄｉｓｐｌａｙｓ」、Ｐｒｏｃ．ＳＰＩＥ，（１９８９），Ｖ．１０７５、１９９〜２０５頁
【非特許文献２】Ｊ．Ｋｒａｎｚ  ａｎｄ  Ｌ．Ｓｉｌｖｅｒｓｔｅｉｎ、「Ｃｏｌｏｒ  ｍａｔｒｉｘ  ｄｉｓｐｌａｙ  ｉｍａｇｅ  ｑｕａｌｉｔｙ：Ｔｈｅ  ｅｆｆｅｃｔｓ  ｏｆ  ｌｕｍｉｎａｎｃｅ  ａｎｄ  ｓｐａｔｉａｌ  ｓａｍｐｌｉｎｇ」、ＳＩＤ  Ｓｙｍｐ．Ｄｉｇｅｓｔ，（１９９０），２９〜３２頁
【非特許文献３】Ｃ．Ｂｅｔｒｉｓｅｙ  ｅｔ  ａｌ、「Ｄｉｓｐｌａｃｅｄ  ｆｉｌｔｅｒｉｎｇ  ｆｏｒ  ｐａｔｔｅｒｎｅｄ  ｄｉｓｐｌａｙｓ」、ＳＩＤ  Ｓｙｍｐｏｓｉｕｍ  ｄｉｇｅｓｔ、（２０００），２９６〜２９９頁
【非特許文献４】Ｚｈａｎｇ  ａｎｄ  Ｂ．Ｗａｎｄｅｌｌ、「Ａ  ｓｐａｔｉａｌ  ｅｘｔｅｎｓｉｏｎ  ｏｆ  ＣＩＥＬＡＢ  ｆｏｒ  ｄｉｇｉｔａｌ  ｃｏｌｏｒ  ｉｍａｇｅ  ｒｅｐｒｏｄｕｃｔｉｏｎ」、ＳＩＤ  Ｓｙｍｐ．Ｄｉｇｅｓｔ、（１９９６），７３１〜７３４頁
【発明の開示】
【発明が解決しようとする課題】
【００２１】
色度エイリアジングを低減することによってディスプレイ解像度を改善するためのシステムが要望されている。
【課題を解決するための手段】
【００２２】
本発明の方法は、色度情報および輝度情報を有する画像を再サンプリングするための方法であって、（ａ）第１再サンプリング処理を用いて該輝度情報を再サンプリングし、該輝度情報の該再サンプリングから得られるより高い周波数の色度情報の少なくとも一部に対してより低い周波数の色度情報の少なくとも一部を弱めるステップと、（ｂ）第２再サンプリング処理を用いて該画像の該色度情報を再サンプリングするステップであって、（ｉ）該輝度情報の再サンプリングが該色度情報の該再サンプリングと異なるか、および（ｉｉ）該第２処理が該画像のピクセルを該第１処理と異なる態様で処理でするか、の少なくとも一方である、ステップと、（ｃ）該再サンプリングされた輝度情報と、該再サンプリングされた色度情報と、該より高い周波数の色度情報の少なくとも一部とを組み合わせて再サンプリング画像にするステップとを含む。
【００２３】
前記輝度情報の前記再サンプリングステップはピクセル再サンプリングステップを含んでもよい。
【００２４】
前記弱めるステップは高域通過フィルタを使用するステップであってもよい。
【００２５】
前記輝度情報の前記再サンプリングステップの結果、２つの色度チャネルが生じ、該色度チャネルの各々が異なる態様で弱められてもよい。
【００２６】
前記輝度情報の前記再サンプリングステップは人間の視覚系に基づくモデルに従ってもよい。
【００２７】
前記色度情報の前記再サンプリングステップはピクセル再サンプリングステップを含んでもよい。
【００２８】
前記画像の前記輝度情報の前記再サンプリングステップは、色度エイリアジングが、仮に該輝度情報の該再サンプリングが前記色度情報の前記再サンプリングと同じ態様で再サンプリングされた場合の色度エイリアジングから低減されるように実行されてもよい。
【００２９】
前記輝度情報の前記再サンプリングステップは、前記画像の色度情報の実質的な再サンプリングがされていない該画像の輝度部分上で実行され、前記色度情報の前記再サンプリングは、該画像の輝度情報の実質的な再サンプリングがされていない該画像の色度部分上で実行されてもよい。
【００３０】
本発明の方法は、画像を再サンプリングするための方法であって、（ａ）該画像の輝度情報を再サンプリングするステップであって、該輝度情報が該画像の輝度の少なくとも６０％である、ステップと、（ｂ）該輝度情報の該再サンプリングから得られるより高い周波数の色度情報の少なくとも一部に対してより低い周波数の色度情報の少なくとも一部を弱めるステップとを含む。
【００３１】
前記輝度情報の前記再サンプリングステップはピクセル再サンプリングステップを含んでもよい。
【００３２】
前記弱めるステップは高域通過フィルタを使用するステップであってもよい。
【００３３】
前記輝度情報の前記再サンプリングステップの結果、２つの色度チャネルが生じ、該色度チャネルの各々が異なる態様で弱められてもよい。
【００３４】
本発明の方法は、複数のチャネルを含む画像を再サンプリングするための方法であって、該チャネルの第１チャネルは該画像の輝度の少なくとも６０％を含む輝度成分を有し、該チャネルの第２チャネルはカラー成分を有し、（ａ）該画像の該第１チャネルを再サンプリングするステップと、（ｂ）該画像の該第１チャネルの該再サンプリングから得られるより高い周波数の色度情報の少なくとも一部に対してより低い周波数の色度情報の少なくとも一部を弱めるステップと、（ｃ）該画像の該第２チャネルを再サンプリングするステップとを含む。
【００３５】
前記輝度成分は、前記画像の輝度の少なくとも７０％を含んでもよい。
【００３６】
前記輝度成分は、前記画像の輝度の少なくとも８０％を含んでもよい。
【００３７】
前記輝度成分は、前記画像の輝度の少なくとも９０％を含んでもよい。
【００３８】
前記複数のチャネルは色差チャネルであってもよい。
【００３９】
本発明の方法は、画像を再サンプリングするための方法であって、（ａ）該画像の輝度の少なくとも６０％を含む該画像のチャネルを提供するステップと、（ｂ）該チャネルのより高い周波数の輝度情報の少なくとも一部に対してより低い周波数の輝度情報の少なくとも一部を弱めるステップと、（ｃ）該画像の輝度情報を再サンプリングするステップとを含む。
【００４０】
前記輝度情報の前記再サンプリングステップから得られるより高い周波数の色度情報の少なくとも一部に対してより低い周波数の色度情報の少なくとも一部を弱めるステップをさらに含んでもよい。
【００４１】
前記輝度成分は、前記画像の輝度の少なくとも７０％を含んでもよい。
【００４２】
前記輝度成分は、前記画像の輝度の少なくとも８０％を含んでもよい。
【００４３】
前記輝度成分は、前記画像の輝度の少なくとも９０％を含んでもよい。
【００４４】
前記輝度成分は、前記画像の輝度の少なくとも９５％を含んでもよい。
【００４５】
本発明の方法は、色度情報および輝度情報を有する画像を再サンプリングするための方法であって、（ａ）第１再サンプリング処理を用いて該輝度情報を再サンプリングするステップと、（ｂ）第２再サンプリング処理を用いて該画像の該色度情報を再サンプリングするステップであって、（ｉ）該輝度情報の再サンプリングが該色度情報の該再サンプリングと異なるか、および（ｉｉ）該第２処理は、該画像のピクセルを該第１処理と異なる態様で処理するか、の少なくとも一方である、ステップと、（ｃ）該輝度情報の該再サンプリングから得られるより高い周波数の色度情報の少なくとも一部に対してより低い周波数の色度情報の少なくとも一部を弱めるステップと、（ｄ）該再サンプリングされた輝度情報と、該再サンプリングされた色度情報と、該より高い周波数の色度情報の少なくとも一部とを組み合わせて再サンプリング画像にするステップとを含む。
【００４６】
前記輝度情報の前記再サンプリングステップが前記色度情報の前記再サンプリングの前に実行されてもよい。
【００４７】
前記弱めるステップは高域通過フィルタを使用するステップであってもよい。
【００４８】
前記輝度情報の前記再サンプリングステップの結果、２つの色度チャネルが生じ、該色度チャネルの各々が異なる態様で弱められてもよい。
【００４９】
前記色度情報の前記再サンプリングステップはピクセル再サンプリングステップを含んでもよい。
【００５０】
前記画像の前記輝度情報の前記再サンプリングステップは、色度エイリアジングが、仮に該輝度情報の該再サンプリングが前記色度情報の前記再サンプリングと同じ態様で再サンプリングされた場合の色度エイリアジングから低減されるように実行されてもよい。
【００５１】
前記輝度情報の前記再サンプリングステップは、前記画像の色度情報の実質的な再サンプリングがされていない該画像の輝度部分上で実行され、前記色度情報の前記再サンプリングは、該画像の色度情報の実質的な再サンプリングがされていない該画像の色度部分上で実行されてもよい。
【００５２】
本発明の方法は、画像を再サンプリングするための方法であって、（ａ）該画像を再サンプリングするステップと、（ｂ）該画像を、輝度情報が不均一なサンプリングレートを有するようにフィルタ処理するステップと、（ｃ）該画像を、該不均一なサンプリングレートを考慮して、仮に該均一なサンプリングレートを考慮した場合の色度アーチファクトより少なく色度アーチファクトを低減するような方法で変更するステップとを含む。
【００５３】
前記画像は、水平方向に輝度不均一サンプリングレートを有してもよい。
【００５４】
前記画像は、垂直方向に輝度不均一サンプリングレートを有してもよい。
【００５５】
前記画像は、対角線方向に輝度不均一サンプリングレートを有してもよい。
【００５６】
前記フィルタ処理は、前記再サンプリングの前に実行されてもよい。
【００５７】
前記変更するステップは、前記フィルタ処理するステップの前に実行されてもよい。
【００５８】
前記変更するステップは、前記再サンプリングするステップの前に実行されてもよい。
【００５９】
前記フィルタ処理するステップは、色度情報の高域通過フィルタを含んでもよい。
【発明の効果】
【００６０】
本発明によれば、色度エイリアジングを低減することによってディスプレイ解像度を改善するためのシステムを提供することができる。
【発明を実施するための最良の形態】
【００６１】
添付の図面は本発明の代表的な実施形態のみを図示し、したがって本発明の範囲を限定することを意図しないことが理解されるべきである。本発明は、添付の図面を使用してさらに具体的かつ詳細に記載される。
【００６２】
好ましい実施形態は図面を参照することによって最も良く理解される。図全体において同様の部分は同様の参照符号で示される。図はこの詳細な説明の一部として明示的に組み込まれる。
【００６３】
本システムの要素は、ハードウェア、ファームウェア、および／またはソフトウェアにおいて実現され得る。本明細書中にて明らかとなった例示的実施形態は、これらの形態の１つを記載するだけであり、これらの要素をこれらの形態のいずれにおいても当業者が実施できることが理解されるべきである。
【００６４】
一般に説明され、図に例示されるような構成要素は、種々の異なる構成に配置および設計され得ることが容易に理解される。したがって、実施形態の以下のより詳細な説明は本発明の範囲を限定することを意図せず、実施形態の代表例を示すだけである。
【００６５】
無彩色画像は、容易に見えるカラーの変化を有さない画像として定義される。この無彩色条件は、画像が複数の同一の層またはカラーチャネルを含む場合に生じ得る。これにより、グレースケール画像が生じる。
【００６６】
実施形態は、「ＲＧＢ」画像またはドメイン、または「加法色ドメイン」、または「加法色画像」を参照して記載され得る。これらの用語は、輝度および色情報が組み込まれた複数成分画像ドメインの任意の形態を意味する。例えば、このドメインは、ＲＧＢドメインを含むが、それに限定されない。
【００６７】
実施形態はまた、「ＹＣｂＣｒ」画像またはドメイン、または「反対色」ドメイン、画像、またはチャネル、あるいは「色差」ドメインまたは画像を参照して記載され得る。これらの用語は、異なる輝度チャネルおよび色チャネルを含むチャネルを有する複数成分画像ドメインの任意の形態を意味する。例えば、このドメインは、ＹＣｂＣｒ、ＬＡＢ、ＹＵＶ、およびＹＩＱドメインを含むが、それらに限定されない。
【００６８】
いくつかの実施形態が図８に示すブロック図に要約される。ここで、ＲＧＢ高解像度画像７０などの高解像度画像が変更される。いくつかの公知方法と異なり、好ましくは、処理は、ＲＧＢドメインにおいてのみ実行されるわけではない（可能ではあるが）。ＹＣｒＣｂカラードメインも使用され得る。ここでは、輝度および色度成分（赤−緑および青−黄）が分離される。例えば、視覚系反対色チャネルに対する近似など、任意のドメインが使用され得る。例えば、ＣＩＥＬＡＢ、ＹＵＶ、およびＹ  Ｒ−Ｇ  Ｂ−Ｙなどがある。また、１以上のチャネルが他のチャネルに対して強められた輝度成分を有するカラードメインが同様に使用され得る。そのような強化の１つの可能な尺度は、チャネルが輝度の＞６０％、＞７０％、＞８０％、＞９０％、または＞９５％を有することである。さらに、輝度カラードメインが強められるのは、別のカラードメインにおける間接的な処理の結果であり得、あるカラー空間から別のカラー空間への従来のカラー変換とは異なる。輝度成分は通常、細部のために使用される。色度成分は、合計７８の後で補償化画像８２が偽の低周波数を有するように変更される。その偽の低周波数は、サブピクセルサンプリングステップ８０において生成されるものとは逆の符号を有するので、ディスプレイに送信される最終画像においてキャンセルされる。したがって、低色度周波数（すなわち、可視周波数）は弱められ、高色度周波数が残る（すなわち、不可視周波数）。その結果、可視色度アーチファクトがより少ないというより良いサブピクセルサンプリング画像が生成される。
【００６９】
重なり合いのないピクセル、またはそれとは異なり空間的に離れたカラーサブピクセル（例えば、カラーモザイクディスプレイ）についての本システムを記載する。しかし、本明細書中に記載の実施形態は、カラーが多少重なり合う場合にも同様に実施され得る。さらに、画像は異なるサイズのピクセルを使用して表示され得る。さらに、好ましい実施形態を矩形のピクセルおよびサブピクセルに対して記載するが、他の形状のピクセルおよびサブピクセルも同様に使用され得る。また、任意の特定のピクセルは、複数のサブピクセルを任意に配置して形成され得る。そのサブピクセルのいくつかは複製され得る。
【００７０】
本システムを用いて、プレフィルタ処理した画像、またはフィルタ処理（低域通過フィルタ処理など）を必要としない形式または状態で存在する画像を変更し得る。これらの特定の実施形態は、ＲＧＢプレフィルタ処理ステップを一切行うことなく、サブピクセルサンプリングを用いて画像を処理するステップから開始してもよい。
【００７１】
図８を参照する。高解像度画像は、低解像度画像に対して高解像度画像がその低解像度画像よりも画像の所定の部分においてより多くの情報内容を有するように定義され得る。変換プロセスは、一般に再サンプリングと称され得る。場合により、低および高解像度画像が同じモニタ、同じピクセル数で同じピクセル空間密度かつ異なるサイズのモニタなどに表示され得る。高解像度画像７０は、サブピクセルサンプリングシミュレーション７２においてサンプリングされ、サブピクセルサンプリングによって生じる可視エラーをシミュレートされる。サンプリングをシミュレートすることが好ましいので、解像度（すなわち、ピクセル数）は、所望ならば、変更する必要がない。エラーは、元の画像７０をサブピクセルサンプリングシミュレーション７２と比較することによって確認され得る。エラーは、シミュレーション７２を元の画像７０から引くこと（７４）によって分離され得る。視覚モデル７６を使用して、カラーエイリアジングなどの望ましくない情報を低減し得る。視覚モデルの結果を用いて、例えば、後段のサブピクセルサンプリング処理において低減することが望ましい可視エラーを表す情報を導入することによって、元の画像７０を変更し得る。変更されたエラー画像は、後段のサブピクセルサンプリング処理の間に低減される可視エラーを表す。この変更されたエラー画像は、元の画像７０から引かれ、その結果は補償化画像８２と称され得、元の画像７０の０〜２５５Ｒ、Ｇ、Ｂの範囲に限定されない（所望ならば、負の値も使用可能である）。例えば、補償化画像は、より大きな範囲のカラーを有するか、または異なる態様で表現され得る。
【００７２】
補償化画像８２は、後段のサブピクセルサンプリング処理８０の間に、導入されたさらなる情報を除去するように変更される。次に、補償化画像８２は、サブピクセルサンプリング処理８０を使用してサンプリングされる。ここで、さらなる付加情報は、サブピクセルサンプリング処理の結果、低減され、その結果、改善されたより低い解像度の画像が生じる。
【００７３】
したがって、サブピクセルサンプリング処理の結果生じる可視エラーの少なくとも一部は、高解像度原画像（またはそこから得られる画像）において、シミュレートされ、特定される。可視エラーのシミュレーションは、好ましくは、より高解像度の原画像と同じ解像度で維持され、複雑性を簡略化する。可視エラーは、好ましくは、ＲＧＢ画像から引かれ、補償化画像８２を生成する。したがって、そのような対応の可視エラーがサブピクセルサンプリング処理８０によって導入される場合、その可視エラーは最終の画像において少なくとも部分的に低減される。
【００７４】
図８に示すシステムは、サブサンプリングの結果としてより低い周波数で生じる色度エイリアジングを低減する。したがって、元々非常に高いのでナイキスト周波数において非常に低い周波数にフォールドオーバーする（そうでないなら、明らかに現れる）色度エイリアジング周波数は、低減される。
【００７５】
視覚モデル７６は、Ｂｅｔｒｉｓｅｙ方法において使用される公知モデルと異なる形態をとり得る。Ｂｅｔｒｉｓｅｙなどの公知モデルにおいて、視覚モデルは、２つの画像が入力され、出力が視覚差の生じる場所を示す画像であるという差異計量法である。Ｂｅｔｒｉｓｅｙ方法では、この可視差画像が、二乗の形態で積分され、単一の数量に達する。これらの公知モデルは、非特許文献３、非特許文献４；およびＳ．Ｄａｌｙ  （１９９３）、「Ｖｉｓｉｂｌｅ  Ｄｉｆｆｅｒｅｎｃｅｓ  Ｐｒｅｄｉｃｔｏｒ」、Ｄｉｇｉｔａｌ  Ｉｍａｇｅｓ  ａｎｄ  Ｈｕｍａｎ  Ｖｉｓｉｏｎの１４章、Ａ．Ｂ．Ｗａｔｓｏｎ（編）、ＭＩＴ  ｐｒｅｓｓに記載される。これらの文献は本明細書中に参考として援用される。
【００７６】
一つの実施形態において、視覚モデル７６は、目にとって一般的に可視でないか、または、可視性が限定される画像内容の可視性を除去、または、低減する。その結果、視覚モデルは、画像間の可視の差異を必ずしも計算する必要はない。むしろ、１つの画像だけに作用し得る。別の実施形態において、上記実施形態は、複数の画像を演算するように拡張され得る。これにより、輝度解像度において同様の結果と色度エイリアジングの低減とを達成する。この結果を達成する１つの方法は、適切なＣＳＦによって画像をフィルタ処理し、閾値によってコアリングすることである。図８において、視覚モデル７６は包括的な形態で示される。
【００７７】
図９を参照する。本システムは、ヒンティング処理および低域通過フィルタ処理といった従来の手法などの標準的前処理方法８４と共に使用され得る。標準的前処理（８４）が実行された後、画像は前処理手法のない方法と同様に処理される。すなわち、高解像度７０は、前処理（８４）された後、サブピクセルサンプリングシミュレーション７２においてサンプリング処理され、サブサンプリング処理によって生じるエラーをシミュレートする。エラーは、シミュレーション７２を元の画像から引くこと（７４）によって分離され得る。次に、視覚モデル７６は、エラー画像から検出不可情報を低減し、可視エラーを表す変更エラー画像を生成する。次に、補償化画像は、元の画像７０から可視エラーを引くことによって得られる。可視エラーは、実際のサブピクセルサンプリング処理８０の間に低減される。補償化画像８２は、サブピクセルサンプリング処理８０を使用してサンプリングされる。ここで引かれた可視エラーは、サブピクセルサンプリング処理の結果、低減されるか、またはそうでなければ除去される。
【００７８】
視覚モデル７６は、本明細書中に記載された別の実施形態と共に使用され得る。図１０を参照すると、画像７０は、所望ならば、ユーザによって前処理（８４）されるか、または前処理なしに直接に処理され得る。画像７０は、サブピクセルサンプリングシミュレーション７２によって処理され、サブピクセルサンプリングに関連するエラーを判定する。次に、元の画像７０からシミュレートされた画像を引いて（７４）、エラー画像を生成し、そのエラー画像は視覚モデル７６を通って処理される。この実施形態では、視覚モデル７６は、ＲＧＢからＬＡＢへの変換処理９０を含む。この変換処理９０の結果、３つのチャネルにおいて表現された画像が生じ、それにより、色度特性から輝度特性を（ある程度）分離する。いくつかのカラーモデルが使用され得るが、ＣＩＥＬＡＢモデルが例示され、等価なモデルが本実施形態では好ましい。線形Ｙ、Ｒ−Ｇ、およびＢ−Ｙ信号を使用する別の実施形態が同様に使用され得る。多くの場合、色度情報に関連する１以上のチャネルにおいて輝度情報を強めるカラー空間への変換（またはそうでなければ演算）が望ましい。
【００７９】
一旦シミュレートされたエラー画像が変換された後、輝度チャネル９２ならびに色チャネル９４および９６はフィルタ処理され、エラー画像から一般に不可視なエラーを除去する。好ましくは、これらのフィルタ処理演算は、フィルタ処理および空間コアリング演算を含み、振幅が小さすぎて有効に認められない局在周波数を除去する。異なるフィルタはチャネルごとに使用されるが、いくつかのチャネルは特定のアプリケーションにおいて所望されるようにフィルタ処理されないこともある。通常、輝度チャネル９２および各カラーチャネル９４および９６は、異なるフィルタを使用してフィルタ処理される。その後、このＬＡＢ可視エラー画像は再変換され（１００）、ＲＧＢ形式の可視エラー画像１０１に戻される。次に、ＲＧＢ可視エラー画像１０１は、元の画像７０から引かれ（７８）、サブピクセルサンプリング処理を通して導入されるエラーを補償する補償化画像８２を形成する。次に、この補償化画像８２は、サブピクセルサンプリング８０を使用してサンプリングされる。ここで付加可視エラー補償１０１はサンプリングプロセスにおいてキャンセルされ、このサンプリング処理は単純にサブピクセルサンプリングのみを介して生成されるよりも色度アーチファクトが少ない、より低解像度の画像を生成する。
【００８０】
別の実施形態において、図１１に例示するように、周波数効果と同様にエッジ効果またはマスキングが処理される。一般に、画像処理は、所望ならば、ＲＧＢ高解像度画像１１０などの高解像度画像に実行される。前処理１１２は、所望ならば実行され得る。
【００８１】
高解像度画像１１０は、サブピクセルサンプリングシミュレーション１１４によって処理される。サブピクセルサンプリングシミュレーション１１４は、サンプリングシミュレーションを行い、サンプリングされた画像を元の解像度に変換して、元の画像と比較することによって、サブピクセルサンプリング処理中に導入されるエラーを分離する。その後は、主に、上記と同様に処理される。視覚モデル７６内において、ＲＧＢまたは同様の形式のエラー画像は、ＬＡＢまたは同様の形式に変換され（１２０）、色データから輝度データが分離される。ＬＡＢなどの輝度強化形式へ変換した後、輝度１２２ならびに色１２４および１２６のチャネルがフィルタ処理される。
【００８２】
フィルタ処理１２２、１２４および１２６の後、マスキング（特に輝度による色のマスキング）の効果が考慮され得る。マスキング信号は、エラー画像ではなく原画像１１０成分から得られるのが好ましい。原画像１１０は、ＬＡＢなどの輝度分離形式に変換され（１２８）、そこから輝度データが抽出される（１３０）。いくつかの実施形態において、輝度チャネル１３６のみがマスキングされる。しかし、色度チャネル１３４および１３２もまた、所望ならばマスキングされ得る。マスキングは、エッジ効果を生じるようにピクセル単位の比較として実行されるのが好ましい。マスキングは、局所コントラストに依存する。局所コントラストは、Ｌ画像から全Ｌ画像の平均を引き、その絶対値をとったものに比例する。所与の位置でのＬにおけるより高いコントラスト信号レベルでは、同じ位置でＬ、Ｒ／Ｇ、およびＢ／Ｙ信号のより多いマスキングが生じる。マスキングは、これらの信号をステップ１３０から出力されたマスク信号によって分割し、次にコアリングすることによってシミュレートされる。コアリングは、信号振幅の絶対値が所定のしきい値より小さくなる場合に、信号値がゼロに変更する処理である。
【００８３】
一旦マスキングが行われた後、ＬＡＢチャネルは、元の画像形式（例えば、ＲＧＢ）に変換されて戻され得る（１４０）。得られた画像は、サブピクセルサンプリングに関連する可視エラー１４２を表す。
【００８４】
その後、この得られたエラー画像１４２は、元の高解像度画像から引かれ（１４４）、補償化画像１４６を生成する。補償化画像１４６において、サブピクセルサンプリング中に導入されるエラーと実質的に同様であるが反対の訂正が導入されている。この補償化画像１４６は、サンプリングされ（１４８）、その結果、エラー訂正なしに直接サンプリングされた画像よりも少ないエラーを含む表示画像１５０が生じる。これは、サンプリング（１４８）の前に導入（１４４）された可視エラー（１４２）によってサンプリングエラーが低減するためである。
【００８５】
実際の視覚マスキング処理は、周波数成分がマスク周波数であり、かつ、空間範囲および位置が同様である信号を主に使用するので、図１１中に例示されるように、本実施形態は、マスキング効果のほんの一部をモデル化できるだけである。エッジおよびラインのみからなる画像に対して、１／ｆパワースペクトルが仮定され得る。したがって、任意に与えられた周波数および方向で、同じ方向でより高い周波数での信号成分は、より小さい。したがって、この方法は、一般にマスキングを過大評価するが、この結果、エラー画像においてより多くのエラー成分が生じるので、正味の効果は、より多くの色度エイリアジングが必要より多く除去される。この結果、輝度シャープネスがより小さくなるが、マスキングを使用しない手法よりはまだ大きい。
【００８６】
図１２を参照すると、別の実施形態は、複数の周波数チャネルを使用することによってより正確にマスキングを予測できるより完全な視覚モデル１５１を使用する。４チャネルだけを図示するが、実際の数は多くてもよいし、少なくてもよい。これらのチャネルは通常、帯域通過であり、かつ空間方向が制限される。チャネルの例が、Ｓ．Ｄａｌｙ  （１９９３）、「Ｖｉｓｉｂｌｅ  Ｄｉｆｆｅｒｅｎｃｅｓ  Ｐｒｅｄｉｃｔｏｒ」、Ｄｉｇｉｔａｌ  Ｉｍａｇｅｓ  ａｎｄ  Ｈｕｍａｎ  Ｖｉｓｉｏｎの１４章、Ａ．Ｂ．Ｗａｔｓｏｎ（編）、ＭＩＴ  ｐｒｅｓｓ、およびＪ．Ｌｕｂｉｎ（１９９５）、「Ａ  Ｖｉｓｕａｌ  Ｄｉｓｃｒｉｍｉｎａｔｉｏｎ  Ｍｏｄｅｌ  ｆｏｒ  Ｉｍａｇｉｎｇ  Ｓｙｓｔｅｍ  Ｄｅｓｉｇｎ  ａｎｄ  Ｅｖａｌｕａｔｉｏｎ」、Ｖｉｓｉｏｎ  Ｍｏｄｅｌｓ  ｆｏｒ  Ｔａｒｇｅｔ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｒｅｃｏｇｎｉｔｉｏｎの１０章、Ｅ．Ｐｅｌｉ（編）、Ｗｏｒｌｄ  Ｓｃｉｅｎｔｉｆｉｃ  Ｐｒｅｓｓに記載される。これらの文献は本明細書中で参考として援用される。
【００８７】
高解像度画像１１０は、必要に応じて、サブピクセルサンプリングシミュレーション１１４の前に前処理され得る（１１２）。上記の実施形態のように、サブピクセルサンプリングシミュレーション１１４は、サブピクセルサンプリングによって導入されるエラーを判定するために使用される。このエラー画像は、「処理された後の」画像を元の画像１１０と元の画像解像度で直接比較することでシミュレーションから分離され得る（１１６）。一般に、より低解像度の「処理された後の」画像は、比較の目的で解像度が増加される。一旦このエラー画像１１８が得られると、エラー画像１１８は本実施形態の視覚モデル１５１において処理され得る。
【００８８】
他の実施形態と同様に、エラー画像１１８は、ＲＧＢまたは同様の形式から、ＬＡＢなどの輝度分離形式に変換されること（１５２）が好ましい。このタイプの形式を使用して、輝度および色チャネルはさらに、フィルタバンク分解１５４、１５６および１５８を使用する周波数範囲に分割される。次に、各チャネル内の各周波数範囲は、帯域スケーリング１６０、１６２および１６４を使用してフィルタ処理される。
【００８９】
エッジ効果はまた、元の原画像を、ＬＡＢなどの輝度分離形式に変換し（１６６）、その後、元の画像１１０からの輝度チャネルをフィルタバンク分解すること（１６８）によって生じる。一般に、分離された色チャネル１６５は、マスキング処理において使用されない。フィルタバンク分解１６８の後、周波数範囲は、主エラー画像チャネル１６０、１６２および１６４について実行されるように帯域スケーリングまたは同様の手順を介してフィルタ処理される。輝度チャネル帯域スケーリング１７０を通して生成されたこれらの信号は、種々の輝度および色チャネル１７２、１７４および１７６をマスキングするために使用され得る。マスキング計算は、図１１と共に記載されるものと同様である。しかし、図１２の計算において、特定の周波数帯域からのマスキング信号は、好ましくは、エラー画像の対応する周波数帯域に影響するだけである。
【００９０】
マスキングが各チャネルの各周波数帯域に対して完了した後、次に、その結果得られるＬＡＢ信号は変換され、ＲＧＢなどの元の画像形式に戻され得る（１８０）。このＲＧＢまたは同様のファイル１８０は、サブピクセルサンプリング中に導入される可視エラーを表す。その後、可視エラー１８０は、元の高解像度ソースファイル１１０から引かれ（１８８）、それにより補償化画像１８２を生成する。
【００９１】
補償化画像１８２をサンプリング処理すると（１８４）、エラー訂正することなく直接サンプリングされた画像よりも少ないエラーを含む表示画像が生じる。これは、サンプリング前に導入された可視エラーによってサンプリングエラーが低減されるためである。この実施形態では、輝度によって彩度をマスキングするマルチチャネル機能を有する視覚モデルを使用する。
【００９２】
図１３を参照する。ここでは、ＲＧＢ高解像度１７０などの高解像度グレースケール画像が変更される。いくつかの公知方法と異なり、処理は、ＲＧＢドメイン以外のドメインにおいて行われ得る。ＹＣｒＣｂカラードメインもまた使用され得る。ここで、輝度成分（赤−緑および青−黄）が分離される。視覚系反対色チャネルに近似の他のドメインが望ましい。例えば、ＣＩＥＬＡＢ、ＹＵＶ、およびＹ  Ｒ−Ｇ  Ｂ−Ｙを含む。色度成分に対して、高い色度周波数と比較して低い色度周波数が弱められるような変更を行う。その結果、可視色度アーチファクトのより少ない、より良いサブピクセルサンプリング画像が得られる。
【００９３】
図１３に例示するように、ＲＧＢ形式の初期高解像度画像１７０は、Ｒのデータ１７２、Ｇのデータ１７４およびＢのデータ１７６を含む。次に、これらの個々のデータセットは、低域通過フィルタ（ＬＰＦ）１７８、１８０および１８２を通過し得る。このフィルタ処理は、サブピクセルサブサンプリング処理にもかかわらずエイリアジングを起こし得る高周波数輝度および色度成分を実質的に除去する。ＲＧＢ低域通過フィルタ処理ステップのバイパス１７１が使用されてもよい。異なるフィルタが異なるカラー層に対して使用され得る。一般に、表示されるピクセルナイキストよりも大きな輝度情報が存在することが許容される。すなわち、有利な領域内の輝度周波数である。
【００９４】
次に、フィルタ処理されたＲＧＢ画像に対して、サブピクセルサブサンプリング処理１８６を行う。その結果、３Ｘダウンサンプリング画像となる（水平方向の輝度解像度はそのダウンサンプリングピクセルナイキスト周波数より高く維持される）。残念ながら、サブピクセルサンプリングは色度アーチファクトを導入する。その一部は、十分に低い空間周波数で発生する際に可視であり得る。目的は、上記水平輝度解像度を維持しながら、可視となる程度に十分低い周波数で発生する色度アーチファクトを低減することである（すなわち、色度ＣＳＦ通過帯域内に入ること）。ＲＧＢ画像は、Ｙ成分１９０、Ｃｂ成分１９２、およびＣｒ成分１９４に変更される（１８８）。他のカラードメインおよび色度チャネルもまた使用され得る。この特定の実施形態において、次に、Ｃｂ成分１９２およびＣｒ成分１９４は高域通過フィルタ処理される（１９６）。このフィルタ処理が実行されると、サブピクセルサブサンプリング中に発生したＣｂおよびＣｒにおける低周波数は、高域通過フィルタ処理によって除去される。高域通過フィルタ処理１９６は、一般に高周波数強化ではなく低周波数弱化によって達成される。フィルタ処理されたＣｂ成分およびＣｒ成分ならびにフィルタ処理されていないＹ成分１９０は、合わせて変換されて（２００）、ＲＧＢに戻され、最終の低解像度画像２０２が生成される。最終の低解像度画像２０２は、元の画像の１／３の大きさであり、通常のサブサンプリングと比べて、色度アーチファクトが著しく低減され、かつ水平輝度解像度が著しく増加される。
【００９５】
図１４を参照すると、輝度ＣＳＦ２１０および色度ＣＳＦ２１２に対して維持される信号が図示される。目に検出されない色度信号２１４は、高域通過領域において保存される。ＨＰＦ（高域通過フィルタ）色度信号２１４は、有効高解像度輝度情報２１６を搬送する色度エイリアジングである。
【００９６】
高域通過フィルタ処理は、シャープでないマスクを介して行われ得る。シャープでないマスクは、低域通過カーネルを使用し得る。通常、入力信号は、その信号の低域通過バージョンを生成する低域通過カーネルを用いて処理される。その後、この低域通過バージョン（または振幅スケールリングバージョン）は、入力信号から引かれ、他方信号平均値を保存する。その結果、高域通過フィルタが生じる。
【００９７】
１つの実施形態は、色度ＣＳＦの補色に等価な高域通過フィルタを使用し得る。これらのＣＳＦは、（ここでモデル化された）サイクル／度のドメインからサイクル／ピクセルのデジタルドメインにマッピングされ得る。実際のマッピング処理は、ビューイング距離を考慮し、異なるアプリケーションに対するカスタマイゼーションを可能とする。異なるアプリケーションは、ピクセル／ｍｍ単位の特定のディスプレイ解像度および異なる目的のビューイング距離を有する。また、これらのフィルタは、特定の輝度強化カラー空間が使用されることを考慮され得る。その結果、色度アーチファクトは、指定のビューイング距離以上離れて見た場合に低減される。しかし、輝度解像度は改善される。
【００９８】
図１５は、輝度ＣＳＦ４３０および色ＣＳＦ４３２に対して維持される信号を示す。保存される色信号は、視覚系に対して検出されない高域通過領域４３４（無彩色処理の結果、図１６参照）および元の画像の有用な低域通過色度成分を含む低域通過領域４３６（色度処理の結果、図１６参照）を含む。ＨＰＦ色度信号４３４は、有効な高解像度輝度情報を搬送する色エイリアジングである。図１５は、これら２つの色度信号の間に重なり合いがないことを示すが、実際に使用されるフィルタによっては、重なり合いが存在する。他の実施形態は、図１５に示す高域通過４３４および低域通過４３６色度信号の重なり合いを可能にするフィルタの使用を含んでもよい。重なり合いは、色エイリアジングを犠牲にしてより大きな色度帯域幅を可能にする。
【００９９】
図１６は、他の処理手法と性質が同様の別の処理手法を示す。ＲＧＢ画像などの入力画像５００は、任意の適切な手法を使用して前処理され得る（５０２）。入力画像５００は、所望ならば、ガンマ補正画像であり得る。ガンマ補正は、所望ならば、反転され得る（５０４）。ガンマ反転画像５０４は、ＬＡＢカラー空間などの輝度強化カラー空間５０６に変換される。次に、輝度チャネル５０８は、ＲＧＢカラー空間５１０に変換される。本質的には、ＲＧＢカラー空間５１０への変換は、輝度情報から構成される画像、またはそうでなければ関連ピクセルの赤、緑、および青成分についてのすべての値（すなわち、ピクセルの輝度値）が同じである画像を生成する。言い換えると、各関連のピクセルについて、そのピクセルのサブピクセルのＲＧＢ値が対応する輝度値に置き換えられる。
【０１００】
ブロック５１０の出力でのＲＧＢ画像は、適切な方法（低域通過フィルタなど）でフィルタ処理され、例えば図２に示すように、サブピクセルサブサンプリングされ得る（５１２）。サブピクセルサブサンプリング５１２の結果は、図２に例示するように輝度情報の空間配置であり、これは３：１ダウンサンプリング比の結果であるが、サブピクセルサブサンプリング処理およびプレフィルタ処理に依存して他の比が使用され得る。輝度情報のサブピクセルサブサンプリング処理は、異なるカラーフィールドが別々にエイリアジングを起こすので偽のカラー情報を生成する。ＲＧＢサブサンプリング画像５１４は、輝度強化カラー空間に変換される（５１６）。サブピクセルサブサンプリング処理５１２の結果として生成されるカラー情報は、色度エイリアジングを含む。色度チャネルＡおよびＢは、フィルタ５１８および５２０によってそれぞれ高域通過フィルタ処理される。フィルタ５１８および５２０は、輝度情報のサブサンプリングの結果である低い周波数の色度情報を（すなわち、高い周波数の色度情報に対して）低減する。輝度チャネルならびに色度ＡおよびＢチャネルは、ＲＧＢ空間に変換され（５２２）、ガンマ補正され（５２４）、およびＬＡＢカラー空間に変換される（５２６）。無彩色処理５２８の主な結果は、輝度情報をサブピクセルサブサンプリングして高輝度帯域を達成すると共に、輝度情報のサブピクセルサブサンプリングの結果の一般に可視の色度エイリアジング（より低い色度周波数）を低減することである。一般に不可視の色度エイリアジング（より高い色度周波数）は、視聴者によって観察され得る高解像度輝度情報を共に搬送するので、維持され得る。なお、輝度ＣＳＦは、色度ＣＳＦよりも実質的に高いカットオフ周波数を有する。
【０１０１】
入力画像がカラー画像の場合、元の色度成分は、別の方法（すなわち、図１６の色度処理枝）で処理され得る。前処理画像５０２は、ＬＡＢなどの輝度強化カラー空間５３０に変換され得る。カラーチャネルＡ５３２およびＢ５３４は、ポテンシャルエイリアジングを低減するために対応する低域通過フィルタ５３６および５３８によってフィルタ処理され得る。フィルタ処理されたカラーチャネルＡ５４０およびＢ５４２は、通常の方法でサブサンプリングされる（５４４）。通常のサブサンプリングをされたチャネル５４６および５４８は、一般に画像のための色度情報を含む。
【０１０２】
輝度チャネル５５０は一般に、ピクセルサンプリングレートに相応の帯域幅での画像のための輝度情報を含む。エイリアジングされた高い周波数の色度チャネル５５２および５５４は、高解像度輝度データを含む。これらは、元の画像からサブサンプリングされた色を含むカラーチャネルＡ５４６およびＢ５４８に付加され得る（またはそうでなければある方法で組み合わされる）。これらの演算の結果が、ピクセルサンプリングレートに通常関連する輝度解像度を超える輝度解像度を有するカラーディスプレイである。得られた画像はＬＡＢからＲＧＢカラー空間へ変換される。
【０１０３】
同様に任意のサブピクセル配置（図１７および１８に例示するものなど）が使用され得ることが理解されるべきである。本明細書中に記載の手法は水平一次元フィルタ処理、垂直一次元フィルタ処理、または二次元フィルタ処理に適用可能である。さらに、１Ｄおよび２Ｄにおけるフィルタ処理は、ピクセルまたはサブピクセルと並ばない軸上で実行され得る。さらに、所望され得る任意の後処理は、再サンプリングの前に実行され得る。さらに、色度エイリアジングは、Ｂｅｔｒｉｓｅｙらと同様の方法で適切なマトリクスのプレフィルタを使用することによって低減され得る。さらに、サブピクセルサブサンプリングは、通常のサブサンプリング演算およびプレフィルタに組み込まれたカラー平面の位相シフトで置き換えられ得る。
【０１０４】
通常のＲ、Ｇ、Ｂサブピクセルの場合、多くの設計者は、Ｂが通常１５％未満であるのでＢの輝度を無視する傾向にある。この場合、設計者は、アルゴリズム設計においてＲおよびＧの寄与を主に使用する傾向にある。しかし、本発明者らは、得られる輝度パターンが均一でないサンプル、すなわち、赤輝度、緑輝度、輝度なしなどであることに気が付いた。従来のシステムは、ディスプレイの不均一性を考慮していない。さらに、図１８に示すパターンは、赤および青サブピクセルによる不均一な輝度サンプルを有する。なぜなら、サブピクセルの重心が中心からずれているからである。改善された再サンプリングを達成するために、特に、輝度および色度特徴が別々にサンプリングされる場合、処理は、色度アーチファクトなどのアーチファクトを不均一サンプリングが考慮されなかった場合よりも低く低減するように不均一サンプリングを考慮する。
【産業上の利用可能性】
【０１０５】
本発明により、色度エイリアジングを低減することによってディスプレイ解像度を改善するためのシステムを提供することが可能になる。
【図面の簡単な説明】
【０１０６】
【図１】トライアドピクセル構成を有するディスプレイのための従来の画像サンプリングを示す図である。
【図２】トライアドピクセル構成を有するディスプレイのためのサブピクセル画像サンプリングを示す図である。
【図３】デジタル周波数軸上にプロットされた理想化ＣＳＦを示すグラフである。
【図４】有利な領域を表すピクセルナイキストおよびサブピクセルナイキスト領域の解析を示すグラフである。
【図５】通常の前処理手法を示す図である。
【図６Ａ】ピクセルサンプリングおよびサブピクセルサンプリング周波数で繰り返される１／ｆパワースペクトルを使用した分析を示すグラフである。
【図６Ｂ】ピクセルサンプリングおよびサブピクセルサンプリング周波数で繰り返される１／ｆパワースペクトルを使用した、前処理による効果を有する、分析を示す図である。
【図７】視覚モデルの公知使用を示すブロック図である。
【図８】本発明の１実施形態を示すブロック図である。
【図９】前処理を使用する本発明の別の実施形態を示すブロック図である。
【図１０】別々の輝度および色チャネルのフィルタ処理を使用する本発明のさらに別の実施形態を示すブロック図である。
【図１１】輝度による彩度のマスキングを利用する視覚モデルを使用する本発明の別の実施形態を示すブロック図である。
【図１２】さらに正確なマルチチャネル、分割周波数範囲視覚モデルを有する、輝度による彩度のマスキングを利用する視覚モデルを使用する本発明の別の実施形態を示すブロック図である。
【図１３】別の実施形態の別のブロック図である。
【図１４】空間周波数応答を例示する図である。
【図１５】別の空間周波数応答を例示する図である。
【図１６】別の実施形態のブロック図である。
【図１７】サブピクセルサンプリングジオメトリを示す図である。
【図１８】別のサブピクセルサンプリングジオメトリを示す図である。
【図１】
2004334195.tif 000003
【図２】
2004334195.tif 000004
【図３】
2004334195.tif 000005
【図４】
2004334195.tif 000006
【図５】
2004334195.tif 000007
【図６Ａ】
2004334195.tif 000008
【図６Ｂ】
2004334195.tif 000009
【図７】
2004334195.tif 000010
【図８】
2004334195.tif 000011
【図９】
2004334195.tif 000012
【図１０】
2004334195.tif 000013
【図１１】
2004334195.tif 000014
【図１２】
2004334195.tif 000015
【図１３】
2004334195.tif 000016
【図１４】
2004334195.tif 000017
【図１５】
2004334195.tif 000018
【図１６】
2004334195.tif 000019
【図１７】
2004334195.tif 000020
【図１８】
2004334195.tif 000021