(57)【要約】  画像のディザリング技術を本明細書に記載する。第１のビット深度の入力画像をルマ成分および１つ以上のクロマ成分に分解する。人間の視覚システム（ＨＶＳ）の光学伝達関数（ＯＴＦ）のモデルを用いてディザノイズを生成し、このディザノイズを入力画像のクロマ成分に付加する。このＯＴＦのモデルは、クロマ成分の空間解像度に基づいて決定される視聴距離に応じて適応化される。オリジナルの入力ルマ成分およびノイズ修飾されたクロマ成分に基づく画像を、第１のビット深度よりも低い第２のビット深度に量子化し、これにより、出力ディザリング済み画像を生成する。【選択図】図２Ａ
2016526312.tif 000002
【特許請求の範囲】
【請求項１】
プロセッサを用いて画像をディザリングする方法であって、
第１のビット深度の入力画像を受信する工程であって、前記入力画像は、ルマ成分および１つ以上のクロマ成分を含む第１の色フォーマットで表されている工程と、
ホワイトノイズを生成する工程と、
人間の視覚システム（ＨＶＳ）の光学伝達関数（ＯＴＦ）の逆数に従って前記ホワイトノイズをフィルタリングし、それにより、ディザノイズを生成する工程であって、前記ＯＴＦは、少なくとも水平視聴距離または垂直視聴距離に従って適応化されている工程と、
前記１つ以上のクロマ成分に前記ディザノイズを付加し、それにより、ノイズ修飾されたクロマ成分を生成する工程と、を包含する方法。
【請求項２】
前記ルマ成分に前記ディザノイズを付加し、それにより、ノイズ修飾されたルマ成分を生成する工程をさらに包含する、請求項１に記載の方法。
【請求項３】
前記ルマ成分および前記ノイズ修飾されたクロマ成分を第２の色フォーマットの第２の画像に変換する工程と、
前記第２の画像を量子化し、それにより、第２のビット深度の出力ディザリング済み画像を生成する工程であって、前記第２のビット深度は前記第１のビット深度よりも低い工程と、をさらに包含する、請求項１に記載の方法。
【請求項４】
前記ノイズ修飾されたルマ成分および前記１つ以上のノイズ修飾されたクロマ成分を量子化し、それにより、第２のビット深度の出力ディザリング済み画像（２５２）を生成する工程であって、前記第２のビット深度は前記第１のビット深度よりも低い工程、をさらに包含する、請求項２に記載の方法。
【請求項５】
前記ルマ成分および前記ノイズ修飾されたクロマ成分を量子化し、それにより、第２のビット深度の出力ディザリング済み画像（２４９）を生成する工程であって、前記第２のビット深度は前記第１のビット深度よりも低い工程、をさらに包含する、請求項１に記載の方法。
【請求項６】
前記ホワイトノイズは２つ以上の別個のホワイトノイズ出力を含み、各ノイズ出力は異なるシード値を用いて生成される、請求項１に記載の方法。
【請求項７】
ＯＴＦのモデルは、以下の関数を含み、
【数１】
2016526312.tif 000008
ただし、ｄは人間の瞳孔の大きさをｍｍで表したものであり、ｆは入力空間周波数をサイクル／度を含むものである、請求項１に記載の方法。
【請求項８】
ｄ＝３ｍｍである、請求項７に記載の方法。
【請求項９】
以下の変換関数、
【数２】
2016526312.tif 000009
ただし、Ｄはピクセル単位で測定された視聴距離である、
を用いて、周波数をサイクル／度からサイクル／ピクセルに変換することによって、前記ＯＴＦモデルがデジタル画像領域に合わせて適応化される、請求項７に記載の方法。
【請求項１０】
前記入力画像の少なくとも１つのクロマ成分は、前記入力画像の輝度成分の空間解像度よりも低い空間解像度を有する、請求項１に記載の方法。
【請求項１１】
前記入力画像の少なくとも１つの色成分の水平解像度は、前記入力画像の輝度成分の水平解像度の半分である、請求項１０に記載の方法。
【請求項１２】
前記第１の色フォーマットは４：２：２または４：２：０ＹＣｂＣｒ色フォーマットを有する、請求項１に記載の方法。
【請求項１３】
前記水平または垂直視聴距離の少なくとも１つは、前記入力画像の前記クロマ成分の１つの空間解像度に基づいて決定される、請求項１に記載の方法。
【請求項１４】
前記ホワイトノイズ出力の各成分を別個にフィルタリングし、それにより、１つ以上のディザノイズ成分を生成する、請求項６に記載の方法。
【請求項１５】
第１のディザノイズ成分を第１のノイズスケール係数によってスケーリングし、それにより、第１のスケーリング済みディザノイズ成分を生成する工程と、
第２のディザノイズ成分を第２のノイズスケール係数によってスケーリングし、それにより、第２のスケーリング済みディザノイズ成分を生成する工程と、をさらに包含し、
前記第１のおよび第２のノイズスケール係数は、前記入力画像の局所領域分析に応じて決定される、請求項１４に記載の方法。
【請求項１６】
前記局所領域分析は、前記入力画像の少なくとも１つのピクセルが１つ以上の所定のピクセル成分値範囲内であるかどうかを検出することを含む、請求項１５に記載の方法。
【請求項１７】
前記ルマ成分および前記ノイズ修飾されたクロマ成分を前記第２の色フォーマットの前記第２の画像に変換する前に、前記ルマ成分の空間解像度に合うように前記ノイズ修飾されたクロマ成分をアップスケーリングする、請求項４に記載の方法。
【請求項１８】
前記第１の色フォーマットは線形化色フォーマットである、請求項１に記載の方法。
【請求項１９】
前記線形化色フォーマットは、線形化ＹＣｂＣｒ、ＬＭＳまたはＣＩＥ  ＸＹＺである、請求項１８に記載の方法。
【請求項２０】
前記ディザノイズを生成するまでの工程は前記プロセッサによってオフラインで演算され、他の工程は前記プロセッサまたは第２のプロセッサによってリアルタイムで演算される、請求項１に記載の方法。
【請求項２１】
プロセッサを用いて画像をディザリングする方法であって、
第１のビット深度の入力画像を受信する工程であって、前記入力画像は、第１の空間解像度のルマ成分および第２の空間解像度の１つ以上のクロマ成分を含む第１の色フォーマットで表されており、前記第２の空間解像度は少なくとも垂直または水平方向において前記第１の空間解像度よりも低い工程と、
ホワイトノイズを生成する工程と、
第１のローパスフィルタの逆数応答に従って前記ホワイトノイズをフィルタリングし、それにより、クロマディザノイズを生成する工程であって、第１のローパスフィルタの応答は、前記第２の空間解像度に従って適応化されている工程と、
第２のローパスフィルタの逆数応答に従って前記ホワイトノイズをフィルタリングし、それにより、ルマディザノイズを生成する工程であって、前記第２のローパスフィルタの応答は、前記第１の空間解像度に従って適応化されている工程と、
前記ルマ成分に前記ルマディザノイズを付加し、それにより、ノイズ修飾されたルマ成分を生成する工程と、
前記１つ以上のクロマ成分に前記クロマディザノイズを付加し、それにより、ノイズ修飾されたクロマ成分を生成する工程と、
前記ノイズ修飾されたルマ成分および前記ノイズ修飾されたクロマ成分の量子化に応じて第２のビット深度の出力ディザリング済み画像を生成する工程であって、前記第２のビット深度は前記第１のビット深度よりも低い工程と、を包含する方法。
【請求項２２】
前記第１のローパスフィルタおよび前記第２のローパスフィルタの応答は、人間の視覚システムの光学伝達関数のモデルの応答に合っている、請求項２１に記載の方法。
【請求項２３】
プロセッサを備え、請求項１から２２に記載の方法のいずれか１つを行うように構成された装置。
【請求項２４】
請求項１から２２のいずれかに記載の方法を実行するためのコンピュータ実行可能な命令を格納した非一時的なコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【関連出願】
【０００１】
本願は、２０１３年４月２９日出願の米国仮出願第６１／８１７，２２２号、および、２０１３年６月４日出願の米国仮出願第６１／８３０，８０６号に基づく優先権を主張するものであり、これらの両方の出願の全体を本願に援用する。
【技術分野】
【０００２】
本発明は、広く画像に関する。より具体的には、本発明のある実施形態は、クロマサブサンプリングされたフォーマットで表現された画像のディザリングに関する。
【背景技術】
【０００３】
本明細書において、用語「ディザリング」は、意図的にノイズを付加して、それにより、静止画または動画であるイメージまたはピクチャ(images or pictures)に適用されるビット深度変換による量子化誤差をランダム化する処理を指す。ディザリングは、信号のビット深度を低減する際に、量子化された出力信号の平均局所値が入力と同じビット深度を有することとなるように適用される。
【０００４】
イメージングへの適用において、Ｎビット画像をＰビット画像に変換した場合（ＰはＮより小さい）、視覚系は平均化処理として作用する。例えば、ディザリングは、多ビット深度信号（例えば、Ｎ＝８）からバイナリ信号（例えば、Ｐ＝２）にする際に使用され得る。このケースは、ハーフトーン処理とも呼ばれる。ディスプレイ技術においては、ディザリングは、入力のビット深度（例えば、１０ビット）を下げて、対象とするディスプレイの、より小さいビット深度（例えば、８ビット）に合わせるために適用され得る。
【０００５】
本明細書において、用語「ダイナミックレンジ」（ＤＲ）は、人間の視覚システム（human visual system（ＨＶＳ））が、画像においてある範囲（例えば、最暗部から最明部まで）の強度（例えば、輝度、ルマ）を知覚する能力に関連し得る。この意味では、ＤＲはシーンリファード（scene-referred）の強度に関する。ＤＲはまた、ディスプレイデバイスが、ある特定の幅を有する強度範囲を適切にまたは近似的に描画する能力にも関連し得る。この意味では、ＤＲは、ディスプレイリファード（display-referred）の強度に関する。本明細書中のいかなる箇所においても、ある特定の意義が特に明示的に指定されている場合を除いて、この用語はどちらの意味としても（例えば、交換可能に）使用できるものとする。
【０００６】
本明細書において、ハイダイナミックレンジ（high dynamic range（ＨＤＲ））という用語は、ＨＶＳにおけるおおよそ１４〜１５桁にわたるＤＲ幅に関する。例えば、しっかりと順応した、（例えば、統計的な意味、バイオメトリック的な意味、または、眼科的な意味の１つ以上において）実質的に正常な視力を持つ人間は、約１５桁にわたる強度範囲を有する。順応した人間は、少量の光子のうす暗い光源を知覚し得る。また、同じ人間が、砂漠、海または雪上における真昼の太陽の、目が痛くなるほどの明るい強度を知覚し得る（また、損傷を受けないような短時間であるとしても太陽を見ることもできる）。ただし、この範囲は、「順応した」人間（例えば、そのＨＶＳをリセットして調節する時間を経た人間）に当てはまるものである。
【０００７】
これに対して、人間が、広範囲の強度範囲を同時に知覚し得るＤＲは、ＨＤＲに対して幾分端折られ得る。本明細書において、「視覚ダイナミックレンジ」（visual dynamic range（ＶＤＲ））またはエンハンストダイナミックレンジ（enhanced dynamic range（ＥＤＲ））という用語は、ＨＶＳによって同時に知覚可能なＤＲに関連し得る。本明細書において、ＶＤＲは、５〜６桁にわたるＤＲに関連し得るが、これは特定のダイナミックレンジ範囲に限定されるものではなく、ＶＤＲ（またはＥＤＲ）は、ＨＤＲよりも狭いか同等であってもよい。
【０００８】
つい最近まで、ディスプレイのＤＲは、ＨＤＲまたはＶＤＲよりも大幅に狭かった。典型的な陰極線管（ＣＲＴ）を用いるテレビ（ＴＶ）およびコンピュータモニタ装置、蛍光灯の一定な白色背面照明の液晶ディスプレイ（ＬＣＤ）、または、プラズマスクリーン技術は、そのＤＲ描画性能がおおよそ３桁に制約され得る。従って、このような従来のディスプレイは、ＶＤＲおよびＨＤＲに対して、ローダイナミックレンジ（ＬＤＲ）またはスタンダードダイナミックレンジ（standard dynamic range（ＳＤＲ））の典型例である。デジタルシネマシステムも、他の表示装置と同じ制限のいくらかを有する。本願において、「視覚ダイナミックレンジ（ＶＤＲ）」は、ＬＤＲまたはＳＤＲよりも広い任意のエンハンストダイナミックレンジを指すものであり、ＨＤＲよりも狭いか同等であり得る。
【０００９】
実際には、画像は、１つ以上の色成分（例えば、ルマ（luma）Ｙおよびクロマ（chroma）ＣｂおよびＣｒあるいはＲ、ＧおよびＢ）を有し、各色成分はＮビット／ピクセルの精度で表される（例えば、Ｎ＝８）。輝度ダイナミックレンジとビット深度は、等価なものではないが、両者は、多くの場合、互いに関連している。Ｎ≦８の画像（例えば、カラー２４ビットＪＰＥＧ画像）はスタンダードダイナミックレンジの画像とされ、他方、Ｎ＞８の画像はハイダイナミックレンジ性能を持つ画像とされ得る。ＶＤＲ画像およびＨＤＲ画像は、Ｉｎｄｕｓｔｒｉａｌ  Ｌｉｇｈｔ  ａｎｄ  Ｍａｇｉｃが開発したＯｐｅｎＥＸＲファイルフォーマットなどの高精度の（例えば、１６ビット）浮動小数点フォーマットを用いて、保存および配信され得る。
【００１０】
近年のディスプレイ処理の進歩にもかかわらず、ＶＤＲ画像および映像の処理パイプラインのビット深度精度は未だにハードウェア上の制限によって制約され得る。本願発明者らも理解しているように、画像をディザリングする改良技術の開発が望まれている。
【００１１】
本節に記載されているアプローチは、探求し得るアプローチではあるが、必ずしもこれまでに着想または探求されてきたアプローチではない。従って、特に反対の記載がない限り、本節に記載されたアプローチのいずれも、本節に記載されているという理由だけで従来技術としての適格性を有すると考えるべきではない。同様に、特に反対の記載がない限り、本節に基づいて、１以上のアプローチに関して特定される問題が、いずれかの先行技術において認識されたことがあると考えるべきではない。
【図面の簡単な説明】
【００１２】
本発明のある実施形態を、限定ではなく例示として、添付図面の各図により示す。これらの図において、類似の要素には同種の参照符号を付している。
【図１Ａ】図１Ａは、人間の視覚システムの光学伝達関数（ＯＴＦ）の一例を示す。
【図１Ｂ】図１Ｂは、人間の視覚システムの光学伝達関数の逆数の一例を示す。
【図２Ａ】図２Ａは、本発明の実施形態による、クロマサブサンプリングされた画像をディザリングする処理の一例を示している。
【図２Ｂ】図２Ｂは、本発明の実施形態による、クロマサブサンプリングされた画像をディザリングする処理の一例を示している。
【発明を実施するための形態】
【００１３】
画像のディザリング技術をここに説明する。クロマサブサンプリングされたビデオ信号の色成分に付加するノイズを形成するために、人間の視覚システム（ＨＶＳ）の光学伝達関数（ＯＴＦ）のモデルが用いられる。以下の説明においては、便宜上、本発明の完全な理解を提供するために、多数の具体的な詳細を示す。ただし、これらの詳細事項が無くても本発明を実施可能であることは明白であろう。他方、本発明の説明が不必要に不明瞭にならないように、周知の構造およびデバイスの網羅的な詳細までは説明しない。
【００１４】
概要
本明細書に記載の実施形態例は、画像のディザリングに関する。第１のビット深度の入力画像は、ルマ成分および１つ以上のクロマ成分に分けられる。人間の視覚システム（ＨＶＳ）の光学伝達関数（ＯＴＦ）のモデルを用いてディザノイズを生成し、このディザノイズを入力画像のクロマ成分に付加することにより、ノイズ修飾されたクロマ成分（noise-modified chroma components）が生成される。このディザノイズは、疑似ランダムホワイトノイズ（pseudo-random white noise）を、ＯＴＦの逆数に基づくフィルタを用いてフィルタリングすることによって生成する。このＯＴＦのモデルは、サブサンプリングされたクロマ成分の空間解像度に基づいて決定される視聴距離に従って適応化されている。
【００１５】
ある実施形態においては、入力ルマ成分およびノイズ修飾されたクロマ成分を第１のビット深度よりも低い第２のビット深度に量子化することによりディザリング済み出力画像を生成する。
【００１６】
他のある実施形態においては、入力ルマ信号成分およびノイズ修飾されたクロマ成分を、第２のビット深度に量子化してディザリング済み出力画像を生成する前に、第２の色フォーマットの第２の画像に変換する。
【００１７】
いくつかの実施形態においては、入力画像信号を、ディザリングする前に、線形化色空間に変換する。
【００１８】
いくつかの実施形態においては、ＯＴＦモデルは、固定の瞳孔の大きさに対するＤｅｅｌｅｙＯＴＦモデルに基づいている。
【００１９】
いくつかの実施形態においては、フィルタリングされたホワイトノイズを、クロマ成分に付加する前に、入力画像の局所領域分析に従ってさらに調節する。
【００２０】
ＯＴＦに基づくディザリングノイズ生成例
デジタルディザリングにおいて、一連のＮビットの入力画像（例えば、Ｎ＝８ビット）をＰビットの画像（Ｐ＜Ｎビット）に量子化する場合、下位ビットを落とすあるいは量子化する前に、これらの画像にノイズを付加する。基本的なエンジニアリング的矛盾（engineering trade-off）は、ビット深度低減処理においてできるだけ多くの有効知覚ビットの維持を可能とするようにできるだけ多くのノイズを付加しながらも、ノイズ自体は不可視としたいことである。不可視性は、ディスプレイおよび視聴距離パラメータに主に依存している。ある実施形態において、画像ディザリングにおいて用いるノイズ源のノイズ特性は、人間の視覚システム（ＨＶＳ）の光学伝達関数（ＯＴＦ）のモデルに基づいて決定される。
【００２１】
ＨＶＳのＯＴＦ（以下、単にＯＴＦと表記する）は、低域通過関数（low-pass function）そのものであるので、ＨＶＳのコントラスト感度関数（ＣＳＦ）よりもより良い、平均化処理の代表である。さらに、ＯＴＦが線形輝度領域におけるシフトに対して不変な線形フィルタであることに対して、ＣＳＦは複雑な非線形処理であり、フィルタおよび振幅の非線形性の組み合わせ処理としてモデリングされる場合もある。そして、ＣＳＦの高周波減衰の大部分はＯＴＦに起因するものである。
【００２２】
ある実施形態例において、ディザノイズは、視覚系のＯＴＦの作用の結果が知覚的に均一なノイズ（全周波数において等しく可視）となるようにするために、ＯＴＦの逆数となるようにスペクトル形成されてもよい。これにより、あらゆるレベルの可視性において、最大のノイズ分散が得られる。一般的に、設計手法としては、ディザノイズを全周波数にわたって等しく不可視にしておくものである。すなわち、網膜に到達したノイズがホワイトノイズとなるように、ノイズに対するＯＴＦの影響を予め補償しておく。
【００２３】
ＯＴＦは、異なるデータセットに由来するいくつかの関数を用いてモデリングすることが可能であり、どの具体的な型を使用するかは重要ではない。例えば、参照により本明細書中に援用する「Ｄｏｕｂｌｅ−ｐａｓｓ  ａｎｄ  ｉｎｔｅｒｆｅｒｏｍｅｔｒｉｃ  ｍｅａｓｕｒｅｓ  ｏｆ  ｔｈｅ  ｏｐｔｉｃａｌ  ｑｕａｌｉｔｙ  ｏｆ  ｔｈ  ｅｙｅ」、ＪＯＳＡ  Ａ  １１．１２（１９９４）：３１２３−３１３５において、Ｗｉｌｌｉａｍｓらは、以下の等式を用いてＯＴＦを記述している。
【数１】
2016526312.tif 000003
ただし、ｓは、視覚周波数（ｃｙ／ｄｅｇ）であり、この式のパラメータは、ａ＝０．１２１２、ｗ1＝０．３４８１、および、ｗ2＝０．６５１９である。
【００２４】
別の一般的なＯＴＦの形式が、参照により本明細書中にその全体を援用するＤｅｅｌｅｙ、Ｒｏｂｉｎ  Ｊ．、Ｎｅｖｉｌｌｅ  Ｄｒａｓｄｏ、およびＷ．Ｎｅｉｌ  Ｃｈａｒｍａｎの「Ａ  ｓｉｍｐｌｅ  ｐａｒａｍｅｔｒｉｃ  ｍｏｄｅｌ  ｏｆ  ｔｈｅ  ｈｕｍａｎ  ｏｃｕｌａｒ  ｍｏｄｕｌａｔｉｏｎ  ｔｒａｎｓｆｅｒ  ｆｕｎｃｔｉｏｎ」、Ｏｐｈｔｈａｌｍｉｃ  ａｎｄ  Ｐｈｙｓｉｏｌｏｇｉｃａｌ  Ｏｐｔｉｃｓ１１．１（１９９１）：９１−９３に記載されている。
【００２５】
Ｄｅｅｌｅｙモデルの利点は、瞳孔の大きさｄについてパラメータ化されている点である。このＯＴＦの等式は以下の通りである。
【数２】
2016526312.tif 000004
ただし、ｆはサイクル／度（ｃｙ／ｄｅｇ）で表した空間周波数であり、ｄはミリメートル（ｍｍ）で表した瞳孔の大きさである。図１Ａは、３ｍｍの瞳孔（ｄ＝３）の場合の、等式（２）によるＯＴＦ関数の一例を示している。図１Ｂは、図１Ａの逆数（１／ＯＴＦ）を示している。
【００２６】
いくつかの実施形態において、ＯＴＦ関数を用いる代わりに、ＨＶＳの周波数スペクトル（例えば、０〜６０ｃｙ／ｄｅｃ）において定義される任意のローパスフィルタを適用してもよい。その場合、１／ＯＴＦノイズフィルタ（２２０）は、ＨＶＳの周波数スペクトルにおいて定義される任意のハイパスフィルタで表され得る。
【００２７】
ＯＴＦをデジタル画像領域に適用するためには、周波数をｃｙ／ｄｅｇからｃｙ／ｐｉｘｅｌへと変換する必要がある。（ただし、０．５ｃｙ／ｐｉｘｅｌは、ナイキスト折り返し周波数、すなわち、デジタル画像に乗せられる最大可能周波数である）。以下の等式を用いて、ｃｙ／ｄｅｇで与えられた視覚の空間周波数をｃｙ／ｍｍのような物理的周波数またはｃｙ／ｐｉｘｅｌで表されたデジタル周波数に変換する。
【数３】
2016526312.tif 000005
【数４】
2016526312.tif 000006
ただし、Ｄは、等式（３）の物理的周波数と同じ単位、例えば、ｍｍで、またはピクセル単位で（等式（４）参照）のいずれかで計測された視聴距離である。例えば、一般的な３Ｈ（three picture heights）の視聴距離からフル高解像度（ＨＤ）（例えば、１９２０×１０８０ピクセルの解像度を用いた）テレビを視聴する場合、Ｄ＝３×１０８０＝３２４０ピクセルである。
【００２８】
クロマサブサンプリングのためのスペクトル形成
ある実施形態例においては、ディザリングは、ＹＣｂＣｒ、ＹＵＶ、Ｌａｂ等の、映像信号の輝度／クロミナンス（ルマ／クロマとも呼ぶ）形式で表された信号に適用される。このような形式において、輝度情報の大部分は、ＹまたはＬ信号に乗せられる。クロミナンス成分信号（例えば、ＣｂＣｒ）には、ほとんど輝度情報が乗っておらず、これらは、近似的に等輝度または擬似等輝度であるとも言われる。
【００２９】
ある実施形態において、ディザノイズは、もっぱら、ＣｒおよびＣｂのような擬似等輝度信号に付加され、輝度成分には付加されない。これは、ノイズその他の空間的パターンの可視性は、色チャンネルよりも輝度チャンネルにおいてずっと高いからである。
【００３０】
ある実施形態において、ノイズのスペクトルは、クロマ成分の空間解像度（ルマ成分の空間解像度とは異なり得る）に基づいて形成される。例えば、４：２：２クロマサンプリングを用いて、水平方向においてクロマ成分を１／２にサブサンプリングする。例えば、１９２０×１０８０映像信号は、１９２０×１０８０空間解像度のルマ信号成分（例えば、Ｙ）と、９６０×１０８０空間解像度のクロマ信号成分（例えば、ＣｂおよびＣｒ）とを含み得る。別の例において、４：２：０クロマサンプリングを用いて、水平方向および垂直方向の両方においてクロマ成分を１／２にサブサンプリングする。すると、１９２０×１０８０映像信号は、９６０×５４０空間解像度のクロマ成分を含み得る。
【００３１】
ある実施形態において、ノイズは、サブサンプリングされた領域において付加される。最終的に表示する前に、クロマサブサンプリングされた画像は、表示の必要に応じて（例えば、４：４：４形式へと）アップサンプリングされ、また、概して、ディスプレイの三原色を駆動するためにルマ／クロマ形式からＲＧＢ形式へと変換される。信号に付加されるディザノイズにも同じ処理が行われ、そのスペクトルは、クロマアップスケーリング処理のジオメトリ（geometry）によって変えられる。従って、アップサンプリング処理後に所望のスペクトル形状を有するように、アップスケーリング処理によって補償されるように設計する。前述のように、所望のスペクトル形状はＯＴＦの逆数である。
【００３２】
図２Ａは、本発明のある実施形態によるクロマサブサンプリングされたＹＣｂＣｒ画像をディザリングする処理例を示している。図２Ａに示すように、ディザリング処理は以下の２つのパートに分割されてもよい：ａ）ディザノイズ発生器のオフライン設計、および、ｂ）量子化されるべき信号にノイズを付加するリアルタイムディザリング処理。
【００３３】
図２Ａに示すように、これに限定はされないが、ディザノイズ生成処理は典型的にはオフラインで行う。ある実施形態において、クロマ成分に対する、得られたディザノイズパターンはメモリに格納してもよいが、もし演算リソースが十分にあるならば、この部分の処理もリアルタイムで行われ得る。
【００３４】
図２Ａに示すように、ディザノイズ生成処理は、工程（２０５）においてＯＴＦモデルを確立することで開始する。ある実施形態例において、これに限定はされないが、ＯＴＦモデルは、固定値ｄを用いた場合の等式（２）のＤｅｅｌｅｙモデルであり得る。ある実施形態において、ｄ＝３ｍｍで、明るい光を表しているが、他の光条件に対してもＯＴＦ関数を簡単に調節することが可能である。工程（２１０）において、オリジナルＯＴＦモデルの出力は、その出力がｃｙ／ｐｉｘｅｌｓで表されるように調節され得る。ここで、等式（４）における視聴距離（例えば、Ｄ）は、対象となる空間方向におけるサブサンプリングされたクロマ成分に対する視聴距離を表している。例えば、４：２：２フォーマットで処理されたＨＤ１９２０×１０８０信号について、垂直周波数に対するＯＴＦモデルに関しては、ＤH＝３Ｈ＝３×１０８０＝３，２４０ピクセルである。同様に、水平周波数に対するＯＴＦモデルに関しては、ＤW＝３Ｈs＝３×（１０８０／２）＝３×５４０＝１６２０ピクセルである。
【００３５】
垂直周波数および水平周波数に対して別個のＯＴＦモデルを用いると（例えば、等式（２）に基づいてＯＴＦ（ｆh，ｄ）およびＯＴＦ（ｆw，ｄ）など）、２次元（２−Ｄ）のＯＴＦモデル（例えば、ＯＴＦ（ｆh，ｆw））を生成し得る。いくつかの実施形態において、２−Ｄモデルはデカルト座標系において分離可能であってもよい（例えば、ＯＴＦ（ｆh，ｆw）＝ＯＴＦ（ｆh，ｄ）＊ＯＴＦ（ｆw，ｄ））。いくつかの他の実施形態において、この結合モデルは、極座標系において分離可能であってもよい。
【００３６】
一般的に、ＯＴＦ関数は回転対称であり、よって、極座標系において分離可能であるが、異なる人間の間には差異があるので、デカルトモデルも有用であり得る。ある実施形態例において、
【数５】
2016526312.tif 000007
とすると、ＯＴＦ（ｆh，ｆw）＝ＯＴＦ（ｒ，ｄ）（等式（２））となる。
【００３７】
工程（２３５）は、２次元のホワイト（例えば、ガウシアン）ノイズ発生器を表している。好ましい実施形態においてノイズ発生器は、２つの別個の疑似ランダム生成シード（pseudo-random generator seeds）を用いて、クロマチャンネルのそれぞれについて別々のノイズ出力（２３７−Ａおよび２３７−Ｂ）を生成する。ある実施形態例において、（０，２５５）範囲内のノイズ出力に対して、ノイズ発生器は、σ＝３０のホワイトノイズを生成し得る。
【００３８】
ノイズ発生器（２３５）の出力（２３７−Ａ，２３７−Ｂ）のそれぞれは、ＯＴＦの逆数（すなわち、１／ＯＴＦ）に基づくフィルタを用いてフィルタリングされる。フィルタリングは、空間領域または周波数領域のいずれで行われてもよい。ＯＴＦ（２１５）は典型的には周波数領域にあるので、周波数領域におけるフィルタリングは、ａ）ノイズ発生器の出力（２３７）を例えば高速フーリエ変換（ＦＦＴ）を用いて周波数領域に変換することと、ｂ）変換工程の出力に逆数ＯＴＦを掛けることと、ｃ）逆ＦＦＴのような逆変換を用いて、この積を変換して空間領域に戻すこととを含む。よって、ノイズフィルタ（２２０）の出力（２２２および２２４）は、ディザリングされるべき入力信号（例えば、信号２０２）のクロマ成分（例えば、２０２−Ｃｒおよび２０２−Ｃｂ）に付加される２組の２次元（２Ｄ）ディザノイズパターンを表している。
【００３９】
図２Ａに示すように、ノイズフィルタ（２２０）の出力は、随意に、重みＷCbおよびＷCrを用いてスケーリングされ得る。ある実施形態においてこれらの重みは、画像には依存せずに、対象とするディスプレイの（ダイナミックレンジおよび原色のような）特性に従って調節されるものであってよい。別の実施形態において、これらの重みは、高度に飽和した入力色の検出時に補償するべく、入力画像（２０２）の局所領域分析に基づいてさらに調節されてもよい。高度に飽和した色の領域の場合、意図された等輝度ノイズ変調は、輝度変調になる。例えば、純粋な緑色（ＲＧＢ＝（０，１，０））に対して意図されたＣｒ変調は、赤に導入される小さな変調が０（すなわち黒）付近であるので、輝度変調として現れる傾向がある。意図された負のＲ変調はクリッピングされ、これらのＲサブピクセルは完全にオンにされたＧサブピクセルの近傍にあるので、赤の正の変調は知覚されない。また、Ｇは最大値であるので、あらゆる正のＧ変調がクリッピングされる。従って、このような色領域においては、色度変調を完全に他のチャンネル（例えば、この例では、Ｃｂチャンネル）にシフトする方が良い。色ノイズ変調の再重み付けの様々な組み合わせを適用し得る。一例として、ある実施形態において、通常処理におけるＷCbおよびＷCrが画像に依存しない重みを示すとすると、「完全な赤」範囲（例えば、Ｒ＞２００、Ｇ＜１０およびＢ＜１０）内であると決定されたピクセルについて、局所領域分析工程２２５は、以下のようにして、２つの重みを調節し得る。
Ｉｆ  ｉｎｐｕｔ  ｐｉｘｅｌ  ｉｓ  “ｆｕｌｌ  ｒｅｄ”
ｔｈｅｎ  ＷCr＝ｃ１＊ ＷCr  ａｎｄ  ＷCb＝ｃ２＊ ＷCb；
ただし、ｃ１およびｃ２は、所定のスケーラ（ｓｃａｌｅｒ）（例えば、ｃ１＝０およびｃ２＝２．０）である。
【００４０】
いくつかの実施形態において、局所領域分析（２２５）は、入力色領域（例えば、ＹＣｂＣｒ）とは異なる色領域（例えば、ＲＧＢ）で動作し得る。いくつかの他の実施形態において、局所領域分析（２２５）は、入力色領域（例えば、ＹＣｂＣｒ）と同じ色領域で動作し得る。
【００４１】
随意の重み付け（２３０−Ａおよび２３０−Ｂ）後、入力信号（２０２）のクロマ成分（２０２−Ｃｂおよび２０２−Ｃｒ）にディザリングノイズを付加して、ノイズ修飾された色成分（noise-modified color components）（２４６−Ｃｂ，２４６−Ｃｒ）を生成する。ディザリングノイズ（２２２および２２４）は、入力信号ビット深度よりも小さいビット深度で表し得る。ある実施形態において、ノイズおよび信号は、２つの信号の最下位ビットを揃えて加算される。
【００４２】
ディザノイズ付加後、オリジナルのルマ信号（２０２−Ｙ）およびノイズ修飾されたクロマ信号（２４６−Ｃｂおよび２４６−Ｃｒ）は、直接量子化されてもよいし、あるいは、工程（２４５）においてディスプレイに依存した色空間（例えば、ＲＧＢ）にまず変換されてもよい。この工程は、ルマ成分の解像度と合うようにクロマ成分をアップサンプリングすることをも含み得る。（随意の）色変換（２４５）後、その出力（２４７）を、当該分野において公知の任意の量子化方式を用いて各色成分について所望のビット深度（例えば、Ｐ＜Ｎ）に量子化して、出力ディザリング済み画像（２４９）を生成してもよい。サブサンプリングされたクロマ成分信号への、フィルタリングされたノイズの付加と、それに続く、ＲＧＢに戻す変換と、ＲＧＢのビット深度の切り捨てとは、図２の下部においてリアルタイム処理として示されている。
【００４３】
いくつかの実施形態において、ディザリングされる入力信号（例えば、２０２）は、ガンマ補正された領域にあり得、これは近似的に輝度のべき関数（例えば、１／２．２）である。いくつかの実施形態において、線形輝度領域においてはＯＴＦフィルタリング処理が線形フィルタの如く作用することを利用して、追加的な信号線形化工程（不図示）を、ノイズ付加工程（２４０−Ａおよび２４０−Ｂ）の前に行ってもよい。そのような実施形態（不図示）において、信号（２０２）は、ａ）オリジナルの入力ＹＣｂＣｒ信号をＲＧＢに変換すること、ｂ）ＲＧＢ信号に逆数ガンマの関数を適用すること、および、ｃ）変換して線形ＹＣｂＣｒ（例えば、Ｙ’Ｃｂ’Ｃｒ’）に戻すこと、によって生成され得る。いくつかの他の実施形態において、ディザノイズ付加工程は、その他の線形化色空間（例えば、ＬＭＳまたはＣＩＥ  ＸＹＺ）において行ってもよい。そのような実施形態においては、色変換工程（２４５）を必要に応じて適応化すればよい（例えば、ＬＭＳからＲＧＢ、または、ＸＹＺからＲＧＢ）。
【００４４】
図２Ｂは、本発明の他の実施形態によるクロマサブサンプリングされたＹＣｂＣｒ画像をディザリングする処理例を示す。図２Ａおよび２Ｂに示す各実施形態の主な差異は、図２Ｂに示すシステムにおいては、ＣｒおよびＣｂのような擬似等輝度信号と輝度成分Ｙ（２０２）との両方にディザノイズを付加する点である。
【００４５】
図２Ｂに示すように、「オフライン設計」の一部として、前述のクロマ関連ディザリング信号（２２２および２２４）を生成するために用いるアプローチと同様のアプローチを用いて、ルマ関連ディザリング信号（２２６）を生成してもよい。あるＯＴＦモデル（２０５）および入力サンプル領域において計算された視聴距離（２０８−Ｙ）が与えられると、入力ＯＴＦモデルは、等式（３）および（４）を用いて、ｃｙ／ｄｅｇからｃｙ／ｐｉｘｅｌ形式へとマッピングされる。マッピング関数（２１０−Ｃ）および（２１０−Ｙ）の間の主要な差異は、（２１０−Ｃ）においては、視聴距離がサブサンプリングされたクロマ領域において計算されるのに対して、（２１０−Ｙ）においては、視聴距離が入力の、つまりフル解像度の領域において演算される点である。
【００４６】
フィルタ（２２０）は、ここでは、３つの（色成分毎に１つ）別個の１／ＯＴＦフィルタを備えており、各フィルタが前述の２Ｄ空間ホワイトノイズ発生器（２３５）によって生成されたホワイトノイズをフィルタリングする。ノイズ発生器（２３５）は、ここでは、３つの（色成分毎に１つ）別々のシードを使用し得る。
【００４７】
図２Ｂに示すように、リアルタイム処理工程中において、ノイズフィルタ（２２０）のルマ関連出力（２２６）を、随意に、重みＷYを用いたスケーラ（２３０−Ｃ）によってスケーリングしてもよい。随意の重み付け（２３０−Ａ，２３０−Ｂ，２３０−Ｃ）の後、入力信号（２０２）のクロマ成分（２０２−Ｃｂおよび２０２−Ｃｒ）およびルマ成分（２０２−Ｙ）の両方にディザリングノイズを付加し、それにより、ノイズ修飾された色成分（２４６−Ｃｂ、２４６−Ｃｒおよび２４６−Ｙ）を生成する。
【００４８】
ディザノイズの付加後、当該分野において公知の任意の量子化方式を用いて、修飾されたルマ信号（modified luma signal）（２４６−Ｙ）およびノイズ修飾されたクロマ信号（２４６−Ｃｂおよび２４６−Ｃｒ）を量子化器（２５０）で所望のビット深度（例えば、Ｐ＜Ｎ）に量子化し、それにより、出力ディザリング済み画像（２５２）を生成する。
【００４９】
いくつかの実施形態において、量子化（２５０）の後に、表示に適した色領域へと変換する随意の色変換（２４５）（例えば、ＹＣｂＣｒからＲＧＢ）またはその他の後処理を行って、ディザリング済み信号（２５４）を生成してもよい。この工程は、ルマ成分の解像度に合うようにクロマ成分をアップサンプリングすることをも含み得る。
【００５０】
いくつかの実施形態において、図２Ａに示すように、量子化工程（２５０）の前に、色変換（２４５）を行ってもよい。
【００５１】
コンピュータシステム実装例
本発明の実施形態は、コンピュータシステム、電子回路および電子部品で構成されたシステム、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のコンフィギュラブルもしくはプログラマブルロジックデバイス（ＰＬＤ）、離散時間もしくはデジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）などの集積回路（ＩＣ）デバイス、および／または、このようなシステム、デバイスまたは要素の１つ以上を含む装置、を用いて実装し得る。このコンピュータおよび／またはＩＣは、本明細書に記載のような画像ディザリングに関する命令を、行い、制御し、または実行し得る。このコンピュータおよび／またはＩＣは、本明細書に記載の画像ディザリングに関する様々なパラメータまたは値のいずれを演算してもよい。画像ディザリングの実施形態は、ハードウェア、ソフトウェア、ファームウェア、および、その様々な組み合わせで実装され得る。
【００５２】
本発明の特定の実装は、本発明の方法をプロセッサに行わせるためのソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどの中の１つ以上のプロセッサは、そのプロセッサがアクセス可能なプログラムメモリ内にあるソフトウェア命令を実行することによって、上記のような画像ディザリングのための方法を実装し得る。本発明は、プログラム製品の形態で提供されてもよい。このプログラム製品は、データプロセッサによって実行された時に本発明の方法をデータプロセッサに実行させるための命令を含むコンピュータ読み取り可能な信号を格納する任意の媒体を含み得る。本発明によるプログラム製品は、様々な形態のいずれをとっていてもよい。例えば、このプログラム製品は、フロッピーディスク、ハードディスクドライブを含む磁気データ記憶媒体、ＣＤ  ＲＯＭ、ＤＶＤを含む光学データ記憶媒体、ＲＯＭ、フラッシュＲＡＭを含む電子データ記憶媒体、などの物理的媒体を含み得る。このプログラム製品上のコンピュータ読み取り可能な信号は、随意に、圧縮または暗号化されていてもよい。
【００５３】
上記において、ある要素（例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など）に言及している場合、その要素への言及（「手段」への言及を含む）は、そうでないと明記されている場合を除いて、当該要素の機能を果たす（例えば、機能的に均等である）いかなる要素（上記に例示した本発明の実施形態例に出てくる機能を果たす開示構造に対して構造的に均等ではない要素も含む）も、当該要素の均等物として含むものと解釈されるべきである。
【００５４】
均等物、拡張例、変形例、および雑記
画像ディザリングに関する実施形態例を上述した。
この明細書中において、各実装毎に異なり得る多数の具体的な詳細に言及しながら本発明の実施形態を説明した。従って、本発明が如何なるものかおよび出願人は本発明が如何なるものであると意図しているかについての唯一且つ排他的な指標は、後の修正を含む、これら請求項が生じる具体的な形態の、本願から生じる１組の請求項である。当該請求項に含まれる用語に対して本明細書中に明示したあらゆる定義が、請求項内で使用される当該用語の意味を決定するものとする。よって、請求項に明示的に記載されていない限定事項、構成要素、特性、特徴、利点または属性は、いかなる形であれ請求の範囲を限定するものではない。従って、本明細書および図面は、限定的ではなく、例示的であると認識されるべきものである。
【図１Ａ】
2016526312.tif 000010
【図１Ｂ】
2016526312.tif 000011
【図２Ａ】
2016526312.tif 000012
【図２Ｂ】
2016526312.tif 000013
【国際調査報告】
2016526312.tif 000014
2016526312.tif 000015
2016526312.tif 000016