(57)【要約】  表示装置の表示パネルに表示する画像データを処理する方法が提供される。当該方法は、メインイメージを表すメインイメージのピクセルデータとサイドイメージを表すサイドイメージのピクセルデータとを受信し、前記表示パネルを駆動する信号へ前記ピクセルデータを対応付ける。前記対応付けは、前記メインイメージのピクセルデータに主に依存する平均軸上輝度と、前記サイドイメージのピクセルデータに少なくともある程度は依存する平均軸外輝度とを生成するようにされている。前記メインイメージのピクセルデータの圧縮は、あらかじめ実行される、または前記対応付けに部分的に包含されて実行され、前記圧縮は、メインイメージのピクセルデータに少なくとも部分的に依存するとともに、前記対応付けに入力されるピクセルデータに伴って、前記軸外輝度がどのように変化するかに少なくとも部分的に依存する。
2013502601.tif 000002
【特許請求の範囲】
【請求項１】
表示装置の表示パネルに表示する画像データを処理する方法であって、
メインイメージを表すメインイメージのピクセルデータとサイドイメージを表すサイドイメージのピクセルデータとを受信し、
前記表示パネルを駆動する信号へ前記ピクセルデータを対応付け、
前記対応付けは、前記メインイメージのピクセルデータに主に依存する平均軸上輝度と、前記サイドイメージのピクセルデータに少なくともある程度は依存する平均軸外輝度とを生成するようにされており、
メインイメージのピクセルデータに少なくとも部分的に依存するとともに、前記対応付けに入力されるピクセルデータに伴って、前記軸外輝度がどのように変化するかに少なくとも部分的に依存するように、前記メインイメージのピクセルデータを圧縮し、
前記圧縮は、あらかじめ実行される、または前記対応付けに部分的に包含されて実行されることを特徴とする方法。
【請求項２】
前記メインイメージのピクセルデータのすべて、または少なくとも所定の割合が、前記メインイメージのピクセルデータに少なくとも部分的に依存して決定される軸上輝度の範囲に圧縮されるように、前記メインイメージのピクセルデータが圧縮されることを特徴とする請求項１に記載の方法。
【請求項３】
前記対応付けは、サイドイメージのピクセルデータの変化によって生成される可能な軸外輝度の範囲の測定値が、メインイメージのピクセルデータとともに変化するように、メインイメージのピクセルデータに少なくともいくらか依存する、サイドイメージのピクセルデータに依存する平均軸外輝度を生成するようにされていることを特徴とする請求項１または２に記載の方法。
【請求項４】
請求項２に従属する場合において、
前記測定値が前記所定のレベルであり、および／または、前記範囲にわたる所定のレベルを下回って変化を発揮するように、前記範囲が決定されることを特徴とする請求項３に記載の方法。
【請求項５】
可能な軸外輝度の前記範囲がより大きくなるところに、より多くのメインイメージのピクセルデータを置くように、前記メインイメージのピクセルデータが圧縮されることを特徴とする請求項３または４に記載の方法。
【請求項６】
前記メインイメージのピクセルデータに対応する前記測定値に依存する値によって、少なくともいくつかのメインイメージのピクセルデータの各々を重み付けし、
前記重み付けされた値の和を最適化するように、前記メインイメージのピクセルデータを圧縮することを特徴とする請求項５に記載の方法。
【請求項７】
前記測定値は、最高となる利用可能な軸外輝度の最低となる利用可能な輝度に対する比率に関連することを特徴とする請求項４から６のいずれか１項に記載の方法。
【請求項８】
前記圧縮は、前記サイドイメージのピクセルデータに少なくとも部分的に依存して実行されることを特徴とする請求項１から７のいずれか１項に記載の方法。
【請求項９】
請求項３に従属する場合において、
少なくとも空間的に対応するサイドイメージのピクセルの等価な輝度値のすべてに同一の圧縮が適用される場合、メインイメージのピクセルの所定の割合のそれぞれに対して、それと空間的に対応するサイドイメージのピクセルと等価な輝度値が、前記メインイメージのピクセルに対する軸外輝度の可能な範囲におさまるように、前記メインイメージのピクセルデータは圧縮されることを特徴とする請求項８に記載の方法。
【請求項１０】
前記対応付けにおいて、前記サイドイメージのピクセルがメインイメージのピクセルとして用いられる場合、サイドイメージのピクセルに対する等価な輝度値は軸外で観測されるものであることを特徴とする請求項９に記載の方法。
【請求項１１】
軸コントラストを維持するために、下限のいくつかの基準は、圧縮されたメインイメージのピクセルデータの広がりに対して設定されることを特徴とする請求項１から１０のいずれか１項に記載の方法。
【請求項１２】
請求項９に従属する場合において、
軸コントラストを維持するために、下限のいくつかの基準は、圧縮された等価な輝度値の広がりに対して設定されることを特徴とする請求項１１に記載の方法。
【請求項１３】
前記圧縮は、繰り返し処理を実行し、
前記繰り返し処理は、サイドイメージの画質の所定の測定値によって導かれることを特徴とする請求項１から１２のいずれか１項に記載の方法。
【請求項１４】
メインイメージの劣化を十分に進めるために、前記サイドイメージの画質の所定の測定値が所定のしきい値に達するまで、複数の圧縮が繰り返し試行されることを特徴とする請求項１３に記載の方法。
【請求項１５】
前記メインイメージのピクセルデータの１回の圧縮は、試行圧縮に基づいて実行されることを特徴とする請求項１４に記載の方法。
【請求項１６】
試行圧縮の各々は、前記メインイメージのピクセルデータの実際の圧縮を実行することを特徴とする請求項１４に記載の方法。
【請求項１７】
請求項６に従属する場合において、
前記所定の測定値は、前記重み付けされた値の和に関連することを特徴とする請求項１３から１６のいずれか１項に記載の方法。
【請求項１８】
前記サイドイメージの画質の所定の測定値は、メインイメージの劣化の測定に対してバランスされていることを特徴とする請求項１３から１７のいずれか１項に記載の方法。
【請求項１９】
前記メインイメージのピクセルデータは、複数のデータ値またはメインイメージのピクセルデータで利用可能なデータ値のレベルの数より少ない輝度範囲にグループ化されており、
前記圧縮は、個別のピクセルのデータ値ではなく、グループ化された前記メインイメージのピクセルデータに基づいて実行されることを特徴とする請求項１から１８のいずれか１項に記載の方法。
【請求項２０】
ヒストグラム平坦化ステップを含むことを特徴とする請求項１９に記載の方法。
【請求項２１】
非線形圧縮を適用することを特徴とする請求項１から２０のいずれか１項に記載の方法。
【請求項２２】
前記メインイメージの複数の領域を識別し、
異なる圧縮を前記異なる領域に適用することを特徴とする請求項１から２１のいずれか１項に記載の方法。
【請求項２３】
少なくとも１つの他の領域にあるメインイメージのデータと、より類似した分布を与える少なくとも１つの領域のメインイメージのデータを反転させる、または処理することを特徴とする請求項２２に記載の方法。
【請求項２４】
メインイメージおよびサイドイメージを特定するフレームであって、時系列に受信した複数のフレームの各々に対して、前記方法を実行することを特徴とする請求項１から２３のいずれか１項に記載の方法。
【請求項２５】
各フレームに対して実行される前記圧縮は、時系列において少なくとも１つ前のフレームに対して実行される圧縮に依存することを特徴とする請求項２４に記載の方法。
【請求項２６】
各フレームに対して実行される前記圧縮は、時系列において、前記メインイメージ、および／または、前記サイドイメージが前のフレームから変化する程度に依存することを特徴とする請求項２４または２５に記載の方法。
【請求項２７】
前記メインイメージの変化と同時に起こることが、所定のしきい値レベルで検知されるまで、および／または、実質的に検知されるまで、圧縮における変化の少なくとも一部を遅延させることを特徴とする請求項２６に記載の方法。
【請求項２８】
前記圧縮がフレーム数に対して変化可能な範囲、および／または、前記フレーム数に対する前記圧縮への変化を適用することについて、限度を設定することを特徴とする請求項２４から２７のいずれか１項に記載の方法。
【請求項２９】
ｎを１より大きいまたは等しい整数とするとき、
前記方法は、すべてのｎフレームに対して実行されることを特徴とする請求項２４から２８のいずれか１項に記載の方法。
【請求項３０】
前記圧縮は、メインイメージのピクセルデータの少なくとも１つの集合に対する、負の圧縮として決定されることを特徴とする請求項１から２９のいずれか１項に記載の方法。
【請求項３１】
表示装置の表示パネルに表示する画像データを処理する装置であって、
メインイメージを表すメインイメージのピクセルデータとサイドイメージを表すサイドイメージのピクセルデータとを受信する手段と、
前記表示パネルを駆動する信号へ前記ピクセルデータを対応付ける手段と、
前記対応付けは、前記メインイメージのピクセルデータに主に依存する平均軸上輝度と、前記サイドイメージのピクセルデータに少なくともある程度は依存する平均軸外輝度とを生成するようにされており、
メインイメージのピクセルデータに少なくとも部分的に依存するとともに、前記対応付けに入力されるピクセルデータに伴って、前記軸外輝度がどのように変化するかに少なくとも部分的に依存するように、前記メインイメージのピクセルデータを圧縮する手段とを備え、
前記圧縮は、あらかじめ実行される、または前記対応付けに部分的に包含されて実行されることを特徴とする装置。
【請求項３２】
請求項３１に記載の装置を含む表示装置。
【請求項３３】
請求項１から３０に記載の方法を実行する装置を制御するプログラム。
【請求項３４】
請求項３３に記載のプログラムであって、搬送媒体によって搬送され、前記搬送媒体は、記録媒体または伝送媒体であるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、アクティブマトリクス型の表示装置のような、プライベートディスプレイモードで動作可能な表示装置の表示パネルに表示する画像データを処理する方法、装置、およびプログラム、および表示装置に関するものである。
【背景技術】
【０００２】
パブリックディスプレイモードとプライベートディスプレイモードとを切り替え可能な表示装置において、第１のモード（パブリックディスプレイモード）では、当該装置は、通常表示するように一般的に動作する。すなわち、当該装置は、できるだけ広い視野角の範囲で、すべての観測者に対して最適な輝度、コントラスト、および解像度となるように、単一の画像を表示する。第２のモード（プライベートディスプレイモード）では、観測者は、表示画面に対する垂線を中心とした、狭めた視野角の範囲のみからメインイメージ（main image）を視認できる。そして、上記狭めた視野角の範囲の外側からは、観測者は、第２の画像（当該メインイメージを見えにくくするマスキングイメージ（masking image））、または劣化させて不明瞭に描画されたメインイメージのいずれかを視認する。
【０００３】
上記コンセプトは、多くの装置に採用されている。そして、プライバシー保護が望まれる公衆の場で使用する場合、通常の広視野角を有するディスプレイにおいてプライバシー機能を選択することで、ユーザは恩恵を享受している。上記装置の例として、携帯電話、ＰＤＡ（Personal Digital Assistants）、ラップトップ型コンピュータ、デスクトップモニタ、ＡＴＭ（Automatic Teller Machine）、および電子決済ＰＯＳ（Electronic Point of Sale）などが挙げられる。例えば、走行中の自動車におけるカーテレビの画面のように、気が散ることで危険にさらされる観測者（例えばドライバー、または重大な機械類を扱う人々）が、特定のタイミングにのみ画像を視認できるような状況においても、上記装置は有益になり得る。
【０００４】
広い視野角のディスプレイに光制御装置を追加する方法は、いくつか存在する。
【０００５】
光の方向を制御する構造の１つに、ルーバフィルム（louvred film）があげられる。当該フィルムは、ベネチアンブラインドに類似する構造をしており、透明の層と不透明の層とを交互に入れ替えることによって構成される。ベネチアンブラインドのように、光が上記層と略平行な方向で入射した場合に、上記フィルムは光を透過させることができる。上記層は、上記フィルムの表面に対して垂直であってもよいし、他の角度をもっていてもよい。上記層の生成法は、下記の特許文献１（F.O. Olsen; 3M 1973）、特許文献２（S.-L. Lu, 3M 1988）、および特許文献３（R.F. Grzywinski; 3M 1998）に記載されている。
【０００６】
上記ルーバフィルムと同様の性質を有するフィルムを生成する他の方法も存在し、それらは例えば下記の特許文献４（P.A. Bellus; 3M 1992）、および特許文献５（R.R. Austin; Photran Corp. 1996）に記載されている。
【０００７】
ディスプレイが視認可能となる視野角の範囲を限定するために、ルーバフィルムは、表示パネルの前面、または透過ディスプレイとそのバックライトとの間に配置される。言い換えれば、上記フィルムはディスプレイを「プライベート」なものにする。
【０００８】
パブリックモード（public mode）の表示とプライベートモード（private mode）の表示とを切り替えるために、機械的操作（フィルムの除去）が必要となる点に、上記フィルムの主な制約がある。
【０００９】
上記の特許文献６（Sharp, 2004）において、１つまたは複数の特別な液晶層および偏光板（polariser）を追加することにより、電気的に切り替え可能なプライバシー装置が考案されている。上記特別な構成による固有の視野角依存性は、公知の方法により上記液晶を電気的に切り替えることで実現できる。この技術を利用する装置には、シャープ製の携帯電話Ｓｈ８５ｌｉおよびＳｈ９０２ｉがある。
【００１０】
上記方法には、電気的に視野角の範囲を切り替える機能を備えるために、特別な装置を当該ディスプレイに追加する必要があるというデメリットがある。上記はコスト（特にディスプレイの体積）を増すため、例えば携帯電話やラップトップ型コンピュータのような、モバイルディスプレイへの応用に対して特に好ましくない。
【００１１】
上記の特許文献７（Sharp, 2005）および特許文献８（Sharp, 2007）では、異なる２つの構成の間でディスプレイの単一液晶層を切り替えることにより、ＬＣＤの視野角の性質を制御し、軸上観測者に対しては高画質の画像を表示可能とする方法が述べられている。上記装置は、ディスプレイの厚みを増すことなく切り替え可能なプライバシー機能を実現するが、標準的なディスプレイに対して、複雑に画素電極を配置し、その他の製造的な変形を行う必要がある。
【００１２】
上記の特許文献９では、ディスプレイのハードウェア的な複雑性を増すことなく、プライバシーモードで動作可能なディスプレイ装置の一例が開示されている。上記の特許文献１０では、他の例が挙げられている。すなわち、異なるレベルの信号電圧が隣接するピクセルに適用され、当該ディスプレイのガンマカーブにしたがう信号電圧に伴って、上記ピクセルの平均輝度が変化するディスプレイにおけるプライバシーモードが開示されている。当該プライバシーモードは、軸上で視認したときには予期される画像が確認でき、軸外から視認したときには、上記平均輝度が特定の電圧範囲において一定水準にあり、明確に同一であることを確認できない程度まで画像のコントラストを変化させる。
【００１３】
ディスプレイのハードウェア的な複雑性を増すことなく、プライバシーモードで動作可能なディスプレイ装置の他の例として、シャープ製携帯電話Ｓｈ７０２ｉＳがあげられ、当該電話のＬＣＤに表示された画像データに対して、処理を行っている。すなわち、当該ディスプレイで用いられる液晶モードに固有のデータ輝度（data-luminance）の性質に連動し、中心から外れた位置から表示を観測する観測者に対して、表示される情報を不明瞭にするプライベートモードを提供する。しかし、プライベートモードで適切に軸上から視認する観測者に対しても、表示画像の画質が極めて悪くなってしまう。上記の特許文献１１および特許文献１２では、Ｓｈ７０２ｉＳで用いられている方法と同様のもの、すなわち第２の画像（マスキング画像）に依存する画像データを操作し、当該画像が表示された場合、軸外観測者にはマスキング画像しか視認されないようにする方法が開示されている。上記文献で開示されている方法では、「アドバンスドスーパービュー（Advanced Super View；ＡＳＶ）（IDW '02 Digest, pp203-206）」またはポリマースタビライズドアライメント（Polymer Stabilised Alignment；ＰＳＡ）（SID '04 Digest, pp1200-1203）」のような、多くの液晶表示モードに固有の視野角に対する輝度カーブへのデータ値の変化が利用される。
【００１４】
上記ＬＣ（liquid crystal）パネルに表示される画像のデータ値は、以下の手順で変化する。すなわち、当該ディスプレイの前面から視認した場合、隣接するピクセルに対して効果的に適用される変更は相殺され、メインイメージが再度提示される。しかし、斜めからの角度で（軸外から）視認した場合、隣接するピクセルに対する上記変更により、適用された上記変更の程度に依存して輝度が変化し、視認される画像が変わる。
【００１５】
したがって、上記の特許文献１１および１２で述べられている方法に改良を施すことが好ましい。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】米国再発行特許発明第２７６，１７号明細書
【特許文献２】米国特許第４，７６６，０２３号明細書
【特許文献３】米国特許第４，７６４，４１０号明細書
【特許文献４】米国特許第５，１４７，７１６号明細書
【特許文献５】米国特許第５，５２８，３１９号明細書
【特許文献６】英国特許第２，４１３，３９４号明細書
【特許文献７】米国特許出願公開第２００７／００４０７８０号明細書
【特許文献８】国際公開２００９／０５７４１７号明細書
【特許文献９】国際公開２００９／０６９０４８号明細書（２００９年６月４日公開）
【特許文献１０】米国特許出願公開第２００９／００７９６７４号明細書（２００９年３月２６日公開）
【特許文献１１】英国特許出願公開第２，４２８，１５２号明細書（２００７年１月１７日公開）
【特許文献１２】英国特許出願公開第２，４５７，１０６号明細書（２００９年８月５日公開）
【発明の概要】
【００１７】
本発明の第１の態様によれば、次の方法が提供される。すなわち、表示装置の表示パネルに表示する画像データを処理する方法であって、メインイメージを表すメインイメージのピクセルデータとサイドイメージを表すサイドイメージのピクセルデータとを受信し、前記表示パネルを駆動する信号へ前記ピクセルデータを対応付け、前記対応付けは、前記メインイメージのピクセルデータに主に依存する平均軸上輝度と、前記サイドイメージのピクセルデータに少なくともある程度は依存する平均軸外輝度とを生成するようにされており、メインイメージのピクセルデータに少なくとも部分的に依存するとともに、前記対応付けに入力されるピクセルデータに伴って、前記軸外輝度がどのように変化するかに少なくとも部分的に依存するように、前記メインイメージのピクセルデータを圧縮し、前記圧縮は、あらかじめ実行される、または前記対応付けに部分的に包含されて実行されることを特徴とする方法である。
【００１８】
本発明の第２の態様によれば、次の装置が提供される。すなわち、表示装置の表示パネルに表示する画像データを処理する装置であって、メインイメージを表すメインイメージのピクセルデータとサイドイメージを表すサイドイメージのピクセルデータとを受信する手段と、前記表示パネルを駆動する信号へ前記ピクセルデータを対応付ける手段と、前記対応付けは、前記メインイメージのピクセルデータに主に依存する平均軸上輝度と、前記サイドイメージのピクセルデータに少なくともある程度は依存する平均軸外輝度とを生成するようにされており、メインイメージのピクセルデータに少なくとも部分的に依存するとともに、前記対応付けに入力されるピクセルデータに伴って、前記軸外輝度がどのように変化するかに少なくとも部分的に依存するように、前記メインイメージのピクセルデータを圧縮する手段とを備え、前記圧縮は、あらかじめ実行される、または前記対応付けに部分的に包含されて実行されることを特徴とする装置である。
【００１９】
本発明の第３の態様によれば、本発明の前記第２の態様による装置を含む表示装置が提供される。
【００２０】
本発明の第４の態様によれば、本発明の前記第１の態様に係る方法を実行する装置を制御するプログラム、または、装置へ読み込んだ場合、前記装置を、装置または本発明の前記第２または第３の態様に係る装置にするプログラムが提供される。前記プログラムは、搬送媒体で搬送される。前記搬送媒体は、記録媒体である。前記搬送媒体は、伝送媒体であってもよい。
【００２１】
本発明の第５の態様によれば、本発明の前記第４の態様に係るプログラムによってプログラムされる装置が提供される。
【００２２】
本発明の第６の態様によれば、本発明の前記第４の態様に係るプログラムを含む記録媒体が提供される。
【００２３】
本発明の前述したおよび他の目的、特徴、そして利点は、以下の発明の詳細な記載を、関連する図とあわせて考慮することで、より容易に理解されるだろう。
【図面の簡単な説明】
【００２４】
【図１】液晶ディスプレイにおいて、マルチビュー効果を発揮するために使われる、従来考案されていた入出力データの対応付けに関するグラフである。
【図２】２つのグラフであり、（ａ）は、輝度応答（例えばガンマカーブ）に関する軸上および軸外のデータ値を示し、（ｂ）は、一般的なＶＡＮタイプのＬＣＤにおける、正規化された軸外輝度の軸上輝度に対するカーブを示す。
【図３】図１の種類の対応付けによって得られる、正規化された軸外輝度の軸上輝度に対する複数のカーブを示すグラフである。
【図４】図３のカーブの軸上輝度の関数として、軸外コントラスト比を示すグラフである。
【図５】少なくとも従来考案された方法において、メインイメージが一般的な方法で圧縮される範囲を網掛けにした図３および図４のグラフである。
【図６】標準的な範囲へ圧縮されるメインイメージの一例の、焦点となるピクセルデータのヒストグラムとともに、メインイメージのデータ値の関数として、最大となるサイドイメージのコントラスト比を示す図である。
【図７】標準的な範囲へ圧縮されるメインイメージの一例の、焦点となるピクセルデータのヒストグラムとともに、メインイメージのデータ値の関数として、最大となるサイドイメージのコントラスト比を示す図である。
【図８】標準的な範囲へ圧縮されるメインイメージの一例の、焦点となるピクセルデータのヒストグラムとともに、メインイメージのデータ値の関数として、最大となるサイドイメージのコントラスト比を示す図である。
【図９】従来考案されていたマルチビュー画像処理機能を表したプロセスフロー図である。
【図１０】本発明にしたがって変更された、図９のプロセスフロー図である。
【図１１】本発明の一実施形態で使われるような、８ビンの画像ヒストグラムを変更するための、事前に計算された係数テーブルの一例を示す図である。
【図１２】好ましい実施形態に係る方法を示すプロセスフロー図である。
【図１３】好ましい実施形態に係る方法によって圧縮されたメインイメージの一例の、焦点となるピクセルデータのヒストグラムとともに、メインイメージのデータ値の関数として、最大となるサイドイメージのコントラスト比を示す図である。
【図１４】好ましい実施形態に係る方法によって圧縮されたメインイメージの一例の、焦点となるピクセルデータのヒストグラムとともに、メインイメージのデータ値の関数として、最大となるサイドイメージのコントラスト比を示す図である。
【図１５】好ましい実施形態に係る方法によって圧縮されたメインイメージの一例の、焦点となるピクセルデータのヒストグラムとともに、メインイメージのデータ値の関数として、最大となるサイドイメージのコントラスト比を示す図である。
【図１６】マルチビュー方法によって定義される利用可能な軸外輝度の軸上輝度に対する空間に関して、入力画像の一例のペアによって定義される、目標となる軸上輝度および軸外輝度の広がりを示すグラフである。
【図１７】マルチビュー方法によって定義される利用可能な軸外輝度の軸上輝度に対する空間に関して、さらなる実施形態に係る方法によって圧縮された後に、入力画像の一例のペアによって定義される、目標となる軸上輝度および軸外輝度の広がりを示すグラフである。
【図１８】同一の入力画像の一例のペアによって定義される、目標となる軸上輝度および軸外輝度の広がりを示すグラフである。
【図１９】上記特許文献１２で説明され、プライベートモードで動作している場合において、本発明の実施形態が基づいているディスプレイの模式図である。
【図２０】プライバシー／マルチビュー方法において、メインイメージを圧縮するために従来考案されていた方法と、本発明の実施形態に係るメインイメージを圧縮する方法とを、ヒストグラムに関連して比較した図である。
【図２１】プライバシー／マルチビュー方法において、メインイメージを圧縮するために従来考案されていた方法と、本発明の実施形態に係るメインイメージを圧縮する方法とを、ヒストグラムに関連して比較した図である。
【図２２】本発明の実施形態にしたがって実行された圧縮の結果であるヒストグラムを示す図である。
【図２３】本発明の実施形態において、ヒストグラム平坦化技術を使った図である。
【図２４】本発明の実施形態において、ヒステリシス技術を使った図である。
【図２５】所定のしきい値に対して、メインイメージの内容の変化と同時に起こる、圧縮の変化を遅延させることを示す図である。
【図２６】メインイメージのある領域の異なる複数のタイプを識別することにより、異なる圧縮方法を異なるそれぞれの領域タイプに適用可能であることを示す図である。
【図２７】メインイメージに対して圧縮が適用されるか否かを制御するために、サイドイメージの内容を用いることを示す図である。
【図２８】領域タイプの識別、およびメインイメージの他の領域に、タイプがより類似するようにする当該領域のメインイメージのデータの変更を示す図である。
【図２９】メインイメージとサイドイメージとが同一である場合に、軸上記度に対する軸外輝度の変化を示す図である。
【図３０】計算された最適値として適用された画像圧縮を徐々に変化させる方法の一例を示すプロセスフロー図である。
【図３１】（ａ）正規化された軸外輝度の軸上輝度に対するカーブ、および（ｂ）図３および図４にあるような２つではなく、４つのピクセルに対して、局所的に輝度を平均化する対応付けによって得られる軸外コントラスト比の変化を示す２つのグラフである。
【図３２】本発明のさらなる態様にしたがって変更された図１０のプロセスフロー図である。
【図３３】本発明の実施に係る装置を示す模式図である。
【発明を実施するための形態】
【００２５】
上記特許文献１１および１２で述べられている方法では、いずれか一方の方向に、少なくとも最小量で当該画像のデータ値（image data value）を変更可能にするために、プライベートモードで軸上観測者（on-axis viewer）に対して表示される画像は圧縮されている。これにより、当該画像は低減された最大輝度（reduced maximum brightness）とコントラスト比（contrast ratio）とを有する。そして、メインイメージ（main image）の内容がどんなものであっても、視認可能なサイドイメージ（side image）を生成するために、軸外からの観測者（off-axis viewer）によって観測される各画像領域の輝度を変更する十分な領域があることが保証される。
【００２６】
プライベートモードにおいて、メインイメージを圧縮する範囲は、上記特許文献１１および１２で示されている。例えば、メインイメージまたはサイドイメージの内容にかかわらず、利用可能な表示輝度の範囲に対して、５％〜５０％の間でのみ値をとるように、当該画像を再設定することである。これにより、すべての種類のメインイメージおよびサイドイメージの内容に対して十分なプライバシー効果が得られることが保証されるが、すべての種類のメインイメージおよびサイドイメージの内容に対して最適な圧縮範囲にならない。
【００２７】
本願の出願人は、上記特許文献１１および１２において概要が示されているプライバシー表示（privacy display）を提供することが好ましいと考えている。上記プライバシー表示は、メインイメージおよびサイドイメージの内容にしたがって、メインイメージに対する最適な圧縮範囲を決定する手段を含む。メインイメージの画質（コントラストや輝度など）をできるだけ高く保ちつつ、所望のサイドイメージの表示を最適に行うために、上記メインイメージおよびサイドイメージは任意の所定時間に表示される。
【００２８】
本発明の一実施形態においては、メインイメージを解析する手段が提供される。サイドイメージに対しても必要である場合、上記手段は、各フレームまたは表示画像のいくつかのフレームにおいて、プライベートモードで動作する切り替え可能なプライバシー表示の内容を解析する。これにより、メインイメージの画質をできるだけ高く保ちつつ、所望のサイドイメージの表示を実現する最適な圧縮パラメータを決定できる。
【００２９】
また、切り替え可能な視野角、マルチビュー（multiview）、またはプライベート／マルチビューモードで動作する場合に使用する手段を含んだ、切り替え可能なプライバシー表示を提供する。
【００３０】
パブリックモードにおいて、ディスプレイは、次の点に関して標準のＬＣＤと実質的に変わらない方法で動作する。すなわち、表示される動画の各フレームにおいて、単一の画像を含むデータが表示制御回路に供給されると、当該制御回路は一連の信号電圧とタイミング信号とをディスプレイのアクティブマトリクス回路（active-matrix array）へ出力し、上記画像を表示させるディスプレイの偏光板（polariser）から必要となる光量を各ピクセルに入射させることにより、上記電圧が各ピクセルにおける液晶ダイレクタを再設定する。
【００３１】
プライベートモードにおいては、上記表示制御器は、２つの入力画像に依存する信号電圧を出力する。ここで、上記２つの入力画像とは、適正な軸上観測者によって観測されるべきメインイメージ、および当該ディスプレイの前面に位置しない観測者によって観測されるべきサイドイメージである。ここで、上記表示制御は、パブリックモードの信号電圧の情報の量（当該ディスプレイにおける各ピクセルの電圧）と、同じ量を出力することに注意する。すなわち、上記出力電圧は、１つの入力画像ではなく、２つの入力画像の画像のデータ値に依存する。
【００３２】
本発明の一実施形態においては、メインイメージの出力信号電圧の変更値を計算する手段が提供される。平均化された変更の効果が感知されることにより、軸上観測者はメインイメージを観測する。一方、軸上と軸外とで異なり、上記平均的な変更の効果が入れ替わる表示の輝度応答のデータ値により、軸外観測者はサイドイメージを観測する。
【００３３】
本発明の一実施形態においては、任意の所定時間に表示されるメインイメージおよびサイドイメージの内容を解析する手段が提供される。また、メインイメージの画質をできるだけ高く保ちつつ、上述した平均化した変更によって所望のサイドイメージの表示を実現可能にするために、メインイメージに適用される上記最適な圧縮パラメータを決定する手段も提供される。プライベートモードを使用するために、標準のものから上記解析手段とパラメータ決定手段とを含むものに変更された制御電子回路によって、ＬＣＤの表示を継続する。
【００３４】
本発明の一実施形態では、上記特許文献１２で詳述された表示装置に、密接に基づく。ここでは上記特許文献１２に係る表示装置を詳細に説明しないが、当該文献のすべての内容は本願に組み込まれるとみなされる。本発明の一実施形態による開示と上記文献による開示との差異は、次のように強調される。すなわち、主な差異は、メインイメージを圧縮する最適なパラメータを決定するための、追加の手段を用いることにある。
【００３５】
図１９は、上記特許文献１２で述べられ、本発明の一実施形態が基づく表示装置を表している。当該表示装置は、空間的な光変調（spatial light modulation）によって画像を表示する液晶表示パネル２を備える。当該装置がプライベートモードで動作する場合、２つの画像のデータセット（メインイメージを構成するメインイメージデータ７、およびサイドイメージを構成するサイドイメージデータ８）は、各フレームの期間における表示制御器１への入力となる。表示制御器１は、信号データ電圧と、ＬＣパネルにおける各ピクセルの１つのデータ電圧の集合とを出力する。表示制御器１は、拡張ルックアップテーブル（expanded look-up table；ＬＵＴ）を利用する。そして、ＬＣパネルの各ピクセルにおける出力信号のデータ電圧は、組み込み画像を構成し、メインイメージ７およびサイドイメージ８の双方において（当該画像における空間的な位置を利用して）対応するピクセルのデータ値に依存する。各ピクセルにおける出力信号のデータ電圧は、当該ディスプレイにおける各ピクセルの空間的な位置にしたがって決まる第３の（空間的に依存する）パラメータに依存してよい。表示制御器１からの信号電圧によって、ＬＣパネル２は、角度を示す幅広の錐体５の範囲に組み込み画像を表示できる。主観測者（main viewer）３によって観測される画像は、メインイメージの画質の劣化を最小限にとどめつつも、視認可能であるようなメインイメージである。しかし、軸外観測者（off-axis viewer）４に対してはＬＣパネルのガンマカーブの性質が異なるため、当該軸外観測者はサイドイメージを最も顕著な画像として視認する。これにより、メインイメージはマスキングされる、および／または、劣化されるため、ディスプレイの垂線を中心とする狭めた錐体９の角度の観測者に提示されるメインイメージの情報を守ることができる。
【００３６】
上記特許文献１２において、入力画像のデータ値と出力画像のデータ値との関係は、以下のように決定される。
【００３７】
第１のステップにおいて、メインイメージおよび第２画像（secondary image）は、等価な輝度値へ変換されたピクセルデータ値を有する。
【００３８】
【数１】
2013502601.tif 000003
【００３９】
ここで、ＭｉｎおよびＳｉｎは、０〜１の間の値をとるように正規化されている。γは、表示の輝度のデータ値に関する指数である。これはディスプレイガンマとして公知であり、一般的に2.2の値をとる。
【００４０】
第２のステップにおいて、メインイメージの上記輝度値は係数βによって圧縮され、オフセット値
2013502601.tif 000004
によってかさ上げされる。
【００４１】
【数２】
2013502601.tif 000005
【００４２】
上記は圧縮パラメータの最適値の計算であって、本発明の一実施形態が上記特許文献１２とは異なる点である。これについては、後でさらに詳述する。
【００４３】
サイドイメージにおける各ピクセルの輝度値は、圧縮されたメインイメージにおいて対応するピクセルの輝度値と、範囲の境界値（０または１、いずれか一方がより近い）との差異に等しい係数によってスケーリングされる。任意の輝度値に対する上記差異は、当該輝度値と当該範囲の中心との差分のr.m.s.（二乗平均平方根）として取得される。したがって、サイドイメージの輝度値は、
【００４４】
【数３】
2013502601.tif 000006
【００４５】
としてスケーリングされる。変換された等価な輝度値の０より大きい最小値は、サイドデータ値（side data value）のために特定される。
【００４６】
上記において、
【００４７】
【数４】
2013502601.tif 000007
【００４８】
は、
【００４９】
【数５】
2013502601.tif 000008
【００５０】
と等価であり、Ｍｃｍｐ（ｘ，ｙ，ｃ）と０．５との差異の絶対値である。
【００５１】
第３のステップにおいて、圧縮されたメインイメージおよびサイドイメージが組み込まれる。ここで、これには、サブピクセルレベル（sub-pixel level）にパターン化された輝度の加算／減算が伴い、例えば前に参照した空間的に変化するパラメータを用いる。カラーサブピクセル（colour sub-pixels）は、ピクセルのペアにグループ化される。当該ピクセルのペアの一方は、当該ピクセルにおける圧縮されたメインイメージおよびサイドイメージの輝度の和と等しい出力輝度を有し、他方は圧縮されたメインイメージの輝度から圧縮されたサイドイメージの輝度を引いたものと等しい出力輝度を有する。したがって、ＳＬｕｍの最大値に対して上記ペアの一方は常に変更され、正規化された範囲（いずれか一方がより近い）の最大値または最小値をとり、他方は反対方向に変更される。Ｍｉｎの特定値に対して、上記分割の量はＳＬｕｍの値によって決定される。
【００５２】
白色の各ピクセルには３色のサブピクセルがある。そして、出力画像の全体的なカラーバランスを維持するために、当該出力画像に加算された輝度を有する上記サブピクセルと減算された輝度を有する上記サブピクセルとが、すべての白色ピクセルにおいて交互に入れ替えられる。ｘ方向およびｙ方向の双方で、上記は行われる。これにより、軸上観測者が視認した場合、出力画像は最適な画質となる。したがって、上記方法の組み合わせパターンにおける繰り返しユニット（repeating unit）は、白色ピクセルの２×２ブロックであり、輝度を有する各色のサブピクセルは、以下のとおりである。
【００５３】
【数６】
2013502601.tif 000009
【００５４】
組み合わせ画像と等価な画像のデータレベルは、ガンマ指数の逆数の計算を適用することによって得られる。
【００５５】
【数７】
2013502601.tif 000010
【００５６】
そして、表示制御電子回路（display control electronics）の拡張ＬＵＴにおける出力電圧は、パブリックモードオフＬＵＴエントリー（public mode off LUT entries）における上記等価なデータレベルに対応する電圧と等しくなる。
【００５７】
ＰＣＴ／ＪＰ２００８／０６８３２４（国際公開２００９／１１０１２８号として２００９年９月１１日に公開されている）は上記特許文献１２を基礎とした出願であり、正確なサイドイメージの効果を得るための方法が開示されている。当該方法によれば、１色ごとに２ビットのサイドイメージ（全部で６ビット）が制御回路に入力され、すべてのメインイメージのデータ値に、出力値の４つのペアが拡張ＬＵＴに含まれる。ここで、上記出力値のペアは以下の方法にしたがって計算される。
【００５８】
【数８】
2013502601.tif 000011
【００５９】
ここで、“Ｓｃｍｐ  ｍａｘ”が利用可能な圧縮されたサイドイメージの最大値であり、前述のように計算される。すなわち、
【００６０】
【数９】
2013502601.tif 000012
【００６１】
である。上記方法で計算された値のグラフィカルな表現を図１に示す。
【００６２】
図２の（ａ）は、ＭＶＡまたはＡＳＶタイプのディスプレイにおいて、軸上および軸外５０°の角度で視認した場合の輝度応答（ガンマカーブ）の典型的なデータ値を示す。上記データ値を正規化し、正規化軸上輝度（normalized on-axis luminance）に沿ってプロットすると、図２の（ｂ）に示すようになる。上記方法が当該性質を有するディスプレイに適用されると、軸外輝度（off-axis luminance）は各サイドイメージの軸上輝度の関数となる。これを図３に示す。メインイメージの圧縮を行わずに
2013502601.tif 000013
達成可能なように、可能な軸上輝度の値の全範囲が、図３に示されていることに注意する。
【００６３】
上記従来考案された計算方法は、サイドイメージの値として４種類とり得る。すなわち、Ｓｉｎ＝０，１，２，および３である。図３に示したように、Ｓｉｎ＝０のとき、各メインイメージのデータ値に最大分割が行われ、軸上輝度の範囲を包摂する軸外で全体輝度が最も低くなる。Ｓｉｎ＝３のとき、分割は行われず、軸上輝度の範囲を包摂する軸外で全体輝度が最も高くなる。中間域のサイドイメージの値Ｓｉｎ＝１および２に対しては、Ｍｃｍｐデータへの可能な最大変化値の０．９８倍および０．８５倍が好ましく、これにより異なる入力サイドイメージの値に対する軸外輝度が、おおよそ増加することが分かる。上記は、全体的な軸上輝度の範囲に対して、上記異なるサイドイメージの状態がお互いと比較して好ましい割合を維持することを意味する。図４は、これをさらに示した図であり、上記方法でＡＳＶタイプのＬＣＤ動作した場合に測定されるように、軸上輝度の関数として軸外５０°の角度で視認した場合の、異なるサイドイメージの状態の相対輝度を示す。言い換えれば、図４は図３のＳｉｎ＝３，２，および１に対する軸外輝度のカーブを示し、これは図３のＳｉｎ＝０に対する軸外輝度のカーブによって分割される。すなわち、図４は、すべての軸上輝度に対する上記異なるサイドイメージの状態の一定比率を示す。軸上輝度の大部分に対してＳｉｎ＝１となる領域は、Ｓｉｎ＝０となる領域よりもおよそ１．３倍輝度が高くなり、Ｓｉｎ＝２となる領域は、Ｓｉｎ＝０となる領域よりもおよそ１．５倍輝度が高くなり、Ｓｉｎ＝３となる領域は、Ｓｉｎ＝０となる領域よりも可能な限り輝度が高くなる（Ｓｉｎ＝０となる領域よりもおよそ１．８倍以上も輝度が高くなる）。
【００６４】
図４から把握できるように、サイドイメージのコントラスト比は、Ｓｉｎ＝０であるサイドイメージの領域に対して、入力値がＳｉｎ＝３である領域の軸外観測者によって観測される場合の輝度比として定義され、上記コントラスト比は、上記領域に対するメインイメージの値に依存する。当該メインイメージが黒色または白色の場合、当該データの範囲には、反対方向（opposite directions、正反対の色をした）にある隣接する２つのピクセルのデータ値を変更する余地がないため、それらを平均化した輝度は同一となり、軸上観測者に対する上記ピクセルの視認輝度（perceived brightness）は変化しない。ピクセルの１つは上記範囲の境界に達し、双方に適用可能な変化を制限する。したがって、サイドイメージは、メインイメージの高いデータ値および低いデータ値に対して、コントラストが低くなる。
【００６５】
最大値のおよそ５０％の輝度（通常のガンマ値である2.2をとるディスプレイにおいては、255のうち190付近のデータ値）を、軸上観測者に与えるデータ値をとるメインイメージの領域において、サイドイメージのコントラストが最大になる。それは、隣接するピクセルに適用される、最大ゼロネット輝度変更（largest zero net luminance change modifications）となる領域である。したがって、サイドイメージのコントラストが高くなるデータ値の大部分でメインイメージが構成される場合、軸外観測者にサイドイメージを再生成することには利点がある。この理由により、従来考案された方法はβ＝0.45およびδ＝0.05の圧縮パラメータを用い、これによりデータ＝255/255となる入力メインイメージの領域が、最大輝度の５０％となるように圧縮される（データはおよそ190/255）。例えば、メール、テキストメッセージ、および文書を読むといった場合、移動体ディスプレイの主要なプライバシーアプリケーションの典型的なコンテンツである、大部分が白いメインイメージ（例えば白い背景に対する黒字のテキスト）に対しては、このようにして最適なサイドイメージの再生成とこれによる堅牢なプライバシーとを実現できる。図５の（ａ）および（ｂ）は、網掛け領域として強調して述べるように、標準的な圧縮を行った後のメインイメージの輝度値の範囲を示した図３および図４のプロットを表す。同図は、網掛け領域のより明るい境界が、サイドイメージのコントラストが最大となるポイントと、どのように一致するかを示している。
【００６６】
一方で、従来考案された方法には、次の欠点がある。すなわち、メインイメージの圧縮パラメータが固定であり、いかなるメインイメージの内容に対しても、適切にサイドイメージを再生成できる圧縮を行っていたことにより、ある種のメインイメージの内容に対しては、圧縮が適切なサイドイメージの再生成に要求される以上のものとなることがある。この場合、メインイメージの画質（輝度およびコントラスト）が必要以上に損なわれる。上記標準的な固定圧縮処理の後のメインイメージの画質を十分に保つために、ある種のメインイメージ（例えば、ほとんどが黒いため、図５の（ｂ）によればサイドイメージのコントラストがわずか1.4にしかならないような広い領域をもつメインイメージ）に対して、サイドイメージの再生成の品質を落とすことを甘受する場合もある。
【００６７】
図６〜図８は上記効果を示す。これらの図面のそれぞれは、図４のサイドイメージのコントラスト関数の最大値を示し、この場合は輝度ではなく、メインイメージのデータ値に沿ってプロットされている。また、標準的なパラメータで圧縮した後のピクセルデータのヒストグラムをあわせて示している。これは、最も一般的なデータ値をとり、それによって特定のメインイメージに対するプライバシー効果がどうなるかについての優れた指標となるメインイメージの領域について、サイドイメージのコントラストを簡単に視覚化できる。
【００６８】
図６は、白い背景に黒いテキストの典型的なウェブブラウザの内容（その隣にグラフを示す）に対して、標準的な圧縮パラメータがうまく動作することを示している。同図は、サイドイメージのコントラストが最大となる点と、当該イメージのヒストグラムの最大ピークとが一致していることを示す。しかし、黒色のピクセルが比較的少なく、サイドイメージ全体に対しては効果が小さい。したがって、黒色ピクセルのデータのレベルを0から約60までかさ上げする、標準的なδパラメータの値0.05の効果は必要でないため、0の値を有する上記ピクセルをそのままにしておけば、サイドイメージの外観に全く悪影響を与えずに、よりコントラストの良いメインイメージが表示できたはずである。
【００６９】
図７は、反転画像に対する同様のプロット、すなわち黒色の背景に白色のテキスト（同様にグラフを示す）を示す。この場合、標準的な圧縮により、画像の大部分の領域でサイドイメージのコントラストが低くなるため、プライバシー効果が弱くなる。
【００７０】
図８は、写真の一例に対する同様のプロットを示す。この場合、圧縮前の画像には、サイドイメージのコントラストを最大化できる輝度値５０％の付近に多数のピクセルがあるが、圧縮処理により、これらがデータ範囲の暗い側の境界へ移動させられている。これにより、メインイメージの画質は劣化し、全体的なサイドイメージのコントラストも悪くなる。
【００７１】
本発明の好ましい実施形態においては、メインイメージを適応的に圧縮する追加的なステップが、プライバシー表示制御回路の既存のソフトウェアの処理フローに含まれる。英国特許出願０８１９１７９．３（英国出願公開２４６４５２１号として２０１０年４月２１日に公開されている）で開示された方法の上記処理フローは、図９に示される。このフローには、「画像処理フィルタ」のステップが含まれている。当該ステップは、メインイメージのデータが変更した表示制御器に入力される前に、色彩に対して人為的な問題（artefact problems）のあるメインイメージの特徴が検出され、交互に入れ替えられる。初期メインイメージデータ入力ステップから、マルチビューまたはプライバシー画像効果を実現するために、メインイメージおよびサイドイメージのデータが組み込まれた表示制御器に、変更されたメインイメージが入力されるまでの間で、適応的メインイメージ圧縮ステップは任意の位置に挿入されてよい。プライベートモード、すなわち、図１０に示した画像フィルタリングステップの前後、または画像フィルタリングステップが含まれていない場合は当該画像フィルタリングステップに代えて、装置が動作しているときでもよい。
【００７２】
本発明で実現される方法においては、表示装置の表示パネルに表示する画像データが処理される。メインイメージを表すメインイメージのピクセルデータとサイドイメージを表すサイドイメージのピクセルデータとが受信される。従来開示されている方法によれば、表示パネルを駆動する信号へピクセルデータを対応付ける。ここで、上記対応付けは、メインイメージのピクセルデータに主に依存する平均軸上輝度と、サイドイメージのピクセルデータ（すなわちプライバシーモード）に少なくともある程度は依存する平均軸外輝度とを生成する。ただし、上記対応付けに加えて、メインイメージのピクセルデータの圧縮が実行される。ここで、上記圧縮は、メインイメージのピクセルデータに少なくとも部分的に依存するとともに、上記対応付けに入力されるピクセルデータに伴って、軸外輝度がどのように変化するかに少なくとも部分的に依存する。また、上記圧縮は、あらかじめ実行される、または上記対応付けに部分的に包含されて実行される。
【００７３】
さらに、上記対応付けは、メインイメージのピクセルデータに少なくとも多少の依存性を有する、サイドイメージのピクセルデータに依存する平均軸外輝度を生成するものであり、メインイメージのピクセルデータにしたがって、上記サイドイメージのピクセルデータの変化によって生成される可能な軸外輝度の範囲は変化すると考えられる。サイドイメージの値が一定であったとしても、メインイメージのピクセルデータ（それ自体が軸上の輝度応答を増加させる）に依存して、軸外輝度が明確に変化することは、例えば図３から明らかである。可能な軸外輝度の範囲の可能な測定値は、最低値となる利用可能な輝度に対する最高値となる利用可能な軸外輝度の比率に関係する（図４に示し、同図を参照して説明したコントラスト比を参照）。
【００７４】
メインイメージのピクセルデータは圧縮され、当該メインイメージのピクセルデータのすべて、または少なくとも所定の割合は、軸上輝度の特定の範囲、すなわちメインイメージのピクセルデータによって、少なくとも部分的に決められた範囲へ圧縮される。上記「測定値」が所定のレベルとなる、および／または、上記範囲にわたる所定のレベル以下で変化するように、上記範囲は設定されてよい。メインイメージのピクセルデータは、可能な軸外輝度の範囲がより大きくなるように、より多くのメインイメージのピクセルデータが配置されるように圧縮されてよい。少なくともいくつかのメインイメージのピクセルデータのそれぞれは、当該メインイメージのピクセルデータに対応する測定値に依存して決められる値によって、重み付けされてもよいし、メインイメージのピクセルデータは上記重み付けされた値の和を最適化（例えば最大化）するように圧縮されてもよい。下限は圧縮されたメインイメージのピクセルデータの幅に位置してもよく、これは軸コントラスト（axis contrast）を保存するためである。
【００７５】
好ましい実施形態においては、上記圧縮は相互作用の過程を実行する。ここで、相互作用の過程は、サイドイメージの画質に対する所定の測定値によって導かれる。メインイメージの劣化を十分に進めるために、サイドイメージの画質の所定の測定値が所定のしきい値に達するまで、複数の圧縮が繰り返し試行されてよい。メインイメージのピクセルデータの１回の圧縮は、上記試行圧縮（trial compression）に基づいて実行される。各試行圧縮は、メインイメージのピクセルデータの実際の圧縮を実行することからなる。サイドイメージの画質の所定の測定値は、上記した重み付けされた値の和に関係する。サイドイメージの画質の所定の測定値は、メインイメージの劣化の測定値に対してバランスされてもよい。
【００７６】
本発明の好ましい実施形態においては、メインイメージのピクセルデータは、複数のデータ値、またはメインイメージのピクセルデータに利用可能なデータ値のレベルの数よりも少ない輝度範囲にグループ化されてもよい。そして、個別のピクセルデータ値ではなく、グループ化されたメインイメージのピクセルデータに基づいて、圧縮が実行される。
【００７７】
相互作用の過程に基づいて、グループ化されたピクセルデータを用いる上記実施形態について、以下で説明する。
【００７８】
好ましい実施形態において、適応的にメインイメージを圧縮するステップ（adaptive main image compression step；適応的メインイメージ圧縮ステップ）は、いくつかのサブステップから構成される。第１のサブステップにおいて、メインイメージのピクセルデータのヒストグラムＨが取得される。上記ヒストグラムは、任意の解像度であってもよいが、実装を容易にするために、所与のデータの範囲をカバーするｈ１からｈｎのビンにグループ化されたデータ値であってよい。カラーチャンネルディスプレイごとの８ビットに対して、３２データ値の幅となる８つのビンであれば、生成される改善圧縮パラメータのヒストグラムとして十分な解像度となる。データレベルのビンの解像度と同様に、上記ヒストグラムの各ビンにおけるカウント値（度数）は、限られたビット深度（例えば、正規化され、および／または、最も近い整数へ値を丸められたもの）からなる。計算複雑性を低減するために、ディスプレイのすべてのカラーサブピクセルを考慮に入れて、またはカラーチャンネルの１つ（例えば、より大きく全体的な輝度に寄与するものにより、他のチャンネルよりもＲＧＢディスプレイにおける緑チャンネル）だけをカウントすることによって、ヒストグラムは計算される。全体的なピクセル輝度、すなわち個別のカラーチャンネルからの重み付け寄与にしたがって、またはＲＧＢデータからＹＣｂＣｒといった他のカラースペースへの変換を用いて、ヒストグラムは計算されてもよい。これらのオプションは、マルチプライマリディスプレイ（従来の赤色、緑色、および青色に加えて、１つまたは複数のカラーを有するサブピクセル（例えば、赤色、緑色、青色、および白色または黄色のサブピクセル）を含むディスプレイ）で用いられる発明に代えて適用してもよい。
【００７９】
第２のサブステップにおいて、変更されたヒストグラムＨ’が、圧縮パラメータのテスト集合にしたがって計算される。
【００８０】
メモリ消費と計算負荷を抑えるという要請があるために、テスト圧縮を実際のメインイメージのデータに適用し、それからヒストグラムを計算するよりも、未圧縮のメインイメージのヒストグラムＨから、変更されたヒストグラムＨ’を計算することについて利点がある。例えば、ピクセルカウントの上位ｃ個のビンを空にするのに十分な量のスケーリング値（β、８個のビンのヒストグラムが使われている例において、２５５から２５５−（ｃ×３２）へ減らされた画像における最大のデータ値）の影響をメインイメージが受ける場合、ビンカウントがどのように変化するかにしたがって、ヒストグラムは再計算される。入力メインイメージのヒストグラムが減らされた解像度（画像データのレベルごとに１つのビンよりも少ない）をとる場合、上記変更されたヒストグラムの計算では、各ビンのピクセルカウントが当該ビンに含まれるデータレベルを通して均等に分布すること、または他に類似のものが仮定されなければならない。上記仮定により発生する不正確さは、適応的な圧縮処理の結果に影響を与えないように思われるが、上記仮定を避けるために必要な追加の計算リソースの方が望ましいこともある。上記仮定が設けられた場合、テスト圧縮にしたがうヒストグラムの再計算は、単純な算術的処理であり、その結果は各時刻を計算するために必要となる処理を保存するためのルックアップテーブル（Look-up table；ＬＵＴ）に格納される。
【００８１】
図１１は、８つのビンのヒストグラムおよび１から７の「ｃ」値（図１１において「Ｃｏｍｐ」と示されている）に対する、上記変更のテーブルの一例を示す。上記テーブルの値は係数を示し、上記変更されたヒストグラムにおける各ビンのカウントを生成するために、初期ヒストグラムにおける各ビンのカウントに乗じられる。例えば、同図においてＣｏｍｐ＝１となるテーブルの場合、上記テーブルは、上位ｃ＝１ビンが空となることを要請される場合に変更されたヒストグラムを生成し、上記変更されたヒストグラムにおけるビンのカウントは、以下のように与えられる。
【００８２】
【数１０】
2013502601.tif 000014
【００８３】
上記において、ｈｎはビンｎに対する現在のカウントであり、ｈｎ’はビンｎに対する新たなカウントである。例えば、ビン３に対する新しいカウントは、「ビン３」の列における０．７１の係数と、「ビン４」の列における０．４３の係数とを発見するために、当該テーブルの「ビン３」の行を読むことによって得られ、次のようになる。
【００８４】
【数１１】
2013502601.tif 000015
【００８５】
当然ながら、係数に関する類似のテーブルが計算され、任意のビン数を有するメインイメージのヒストグラムに基づく同じ処理のために、プロセスハードウェアに格納される。
【００８６】
第３のサブステップにおいて、各ビンにおけるすべてのピクセルカウントを、データ値の範囲におけるｘ番目のビンよりも大きいビンへ移動させるのに、十分なオフセット値
2013502601.tif 000016
の影響をメインイメージが受ける場合、ビンカウントがどのように変化したかにしたがって、さらに変更されたヒストグラムＨ’’が計算される。さらに変更されたヒストグラムＨ’’は、すべてのｎに対してｈｎ’’＝ｈ’（ｎ−ｘ）として計算される。
【００８７】
第４のサブステップにおいて、変更されたヒストグラムにおける各ビンのカウント値は、対応する重み要素に乗じられ、結果として得られる重み付けビンカウント値は合算される。こうしたサイドイメージ（Side Image；ＳＩ）重み付けは、各ビンに含まれるデータ値に対応するメインイメージのデータ値を有する画像領域に対して、効果的なサイドイメージの再生成がどうであるかに基づいてよい。それらは、図６から図８のそれぞれで示される、ヒストグラムにおいてビンの数を量子化したサイドイメージのコントラスト関数を正規化したものから直接的に計算されてよい。重み付けされたビンカウント値の和は、メインイメージのデータ値に基づいて、メインイメージに対する全体のサイドイメージレーティング（Side Image Rating；ＳＩＲ）を与え、全体画像で利用可能な平均的なサイドイメージのコントラストの測定値を生成する。
【００８８】
第５のサブステップにおいて、ＳＩＲ値は目標値と比較される。ＳＩＲ値が目標値と等しいか、目標値を超えている場合、変更されたヒストグラムＨ’’を生成するために用いられる圧縮パラメータが出力され、当該パラメータはメインイメージを圧縮するために使われ、そしてそれは処理を組み込んだマルチビューイメージへ入力する。ＳＩＲ値が目標値を下回っている場合、テスト圧縮パラメータの他の集合が、変更されたヒストグラムを異なるように再計算するために使われ、第２のサブステップ〜第４のサブステップが繰り返される。
【００８９】
目標値に達するまで、試行が成功することでメインイメージの画質が段階的に劣化するように、テスト圧縮パラメータが試行される。このようにして、メインイメージの劣化を最小限に抑えつつ、サイドイメージを十分に再生成できる点が発見される。図１１に示される変更されたヒストグラムの計算の係数テーブルが、同図で示される「Ｃｏｍｐ」値をＣｏｍｐ＝０（すべてのｎに対してｈｎ’＝ｈｎであり、Ｈ’＝Ｈ）からＣｏｍｐ＝７（ｈ１’＝ｈ１＋ｈ２＋ｈ３＋ｈ４＋ｈ５＋ｈ６＋ｈ７＋ｈ８であり、ｈ２〜ｈ８＝０）が増えるごとに、Ｈ’を計算するために使われる場合、この種の効果的な計算処理を可能にする。ヒストグラムのビン幅の増加に対してすべてのオフセットパラメータ
2013502601.tif 000017
を試行することが（例えばｘ×３２、ｘは８つの等しいビン幅を有するヒストグラムに対する０〜７の整数である）、効率的な処理となる場合もある。初期のメインイメージのヒストグラムＨの、高いデータレベルの終端から空のビンの数が計算されることが、処理の効率を上げることもある。任意のピクセルのデータ値が許容される範囲を超過する前に、メインイメージに適用される
2013502601.tif 000018
のビン幅の増分を、この「余地（room）」の値が特定する。このようにして、試行圧縮値の各段階で試行されるオフセットパラメータの値の数は、単純に「余地」の値に「Ｃｏｍｐ」の値を足したものとなる。したがって、各可能なオフセット値は、ＳＩＲ値が目標値を超過するまで、各圧縮値に対して昇順で増加値の順に試行される。これは試行値の各集合を伴うメインイメージの画質に、一定の減少をもたらすことが分かる。そして、試行値の各集合を伴う最新の劣化されたメインイメージを得られる。
【００９０】
上記サブステップを示すプロセスフロー図と試行値の増加順とは、パラメータ値に対して与えられる可能なビット深度とともに、図１２に示される。
【００９１】
上記説明は、可能な圧縮値を繰り返して試行し、十分なサイドイメージを再生成するための試行値にしたがう、圧縮の結果である画像の適用性を評価する特定の方法を概説する一方で、メインイメージの内容に依存するマルチビュー処理のための改良された圧縮パラメータを決定することについて効果的であるとともに、本発明の技術的に範囲に含まれる上記方法のさまざまな変形例があることは明らかである。いくつかの変形例を、以下に示す。
【００９２】
例えば、画像のデータ値の特定の範囲に対するパラメータサーチ処理の正確性を増すために、ヒストグラムＨは隣接するデータ値を、さまざまな幅のビンへ足し込むことによって計算される。
【００９３】
繰り返し圧縮パラメータの順序は、初期メインイメージのヒストグラムＨにおけるカウントのｈ１〜ｈｎの値にしたがって変化してよい。例えば、初期ヒストグラム、または他のメインイメージの内容の解析が、パラメータサーチの順序を導くのに使われる場合、より少ない回数の繰り返しによって最適パラメータを発見できる。
【００９４】
適切なサイドイメージを再生成するために、各ビンにおけるピクセルデータ値の適用性に係る性能指数にしたがって、ヒストグラムの各ビンのカウントを重み付けするよりも、画像におけるすべてのピクセルの一部が、所定の範囲（好ましい実施形態において、２値の重み付け要素を有することと等価である）でデータ値を有するまで、繰り返してメインイメージを圧縮する方が効率的になり得る。また、画像を繰り返し圧縮するよりも、メインイメージのヒストグラムにおいて特定のパーセンタイル（percentile points）を占め、それらのデータ値が所望の範囲の境界にシフトするようにメインイメージを圧縮するピクセルデータ値を識別する方が効率的になり得る。例えば、１０および９０パーセンタイルのデータ値が識別され、１０パーセンタイルのデータ値が特定の範囲の低い側の境界に移動され、９０パーセンタイルのデータ値が特定の範囲の高い側の境界に移動されるように圧縮された画像を終わらせる。上記パーセンタイルの間にあるデータ値の範囲が特定の目標範囲よりも小さい場合、上記パーセンタイルの間の画像の一部は目標範囲を埋めるように拡張され、利用可能な範囲にそれらを維持することが必要である。一方、当該範囲の境界で収束可能であれば、上記パーセンタイルの外側の一部が圧縮される。
【００９５】
図１３は、大部分が白色の画像（例えば、白色の背景に黒字のテキスト）を表すメインイメージのピクセルデータを、本発明の実施形態にしたがって圧縮した結果を示す。これは、同一のメインイメージのピクセルの内容に基づいて、従来考案された方法によって実行される圧縮を示す図６と比較できる。図１３は、本発明を実施した方法を用いることで、δパラメータの値として非常に低い値（ほとんど０）が得られていることを示す。これにより、サイドイメージの見え方に対して有意なコストをかけることなく（低いデータ値をとるメインイメージのピクセル数が比較的小さいため）、メインイメージのコントラストが改善される。等価な視覚圧縮は、図２０に与えられる。同図は、ヒストグラムフォーマットにあるメインイメージのデータ分布を示す。すなわち、図２０の上側の図は、従来考案された圧縮を示し、同図の下側の図は本発明の実施形態による圧縮を示す。
【００９６】
図１４は、大部分が黒色の画像を表すメインイメージのピクセルデータを、本発明の実施形態にしたがって圧縮した結果を示す。これは、同一のメインイメージのピクセルの内容に基づく、従来考案された方法によって実行される圧縮を示す図７と比較できる。図７は、画像領域の主要部においてサイドイメージのコントラストが低くなり、プライバシー効果が弱くなる従来の圧縮を示す。一方、本発明の実施形態にしたがって実行される圧縮は、サイドイメージのコントラストプロットがより高くなるように、メインピクセルの内容（暗いピクセル）に主要部を配置する。図２１は、等価な視覚圧縮を示す。同図は、ヒストグラムフォーマットにあるメインイメージのデータ分布を示す。すなわち、図２１の上側の図は、従来考案された圧縮を示し、同図の下側の図は本発明の実施形態による圧縮を示す。
【００９７】
図１５は、幅広い範囲のデータレベルを有する画像を表すメインイメージのピクセルデータを、本発明の実施形態にしたがって圧縮した結果を示す。同様に、本発明は、メインイメージのデータ範囲の低い側の境界における、当該メインイメージのデータ分布を圧縮するのではない。メインイメージのデータが圧縮され、サイドイメージのコントラストがより高くなるようにより多くのデータを配置する場合、本発明は、サイドイメージのコントラストにとって好ましいと認識する。したがって、より良いプライバシー効果が発揮される。これは、同一のメインイメージのピクセルの内容に基づく、従来考案された方法によって実行される圧縮を示す図８と比較できる。図２２は、同一のメインイメージに対して適用された本発明の実施形態による圧縮の概略を示すが、この例ではヒストグラムフォーマットによる。
【００９８】
同一の平均輝度をもたらすペアに含まれる、個別のピクセル値に異なる設定が可能なピクセルのペアの間で空間的に平均をとることにより、軸上観測者に対してはメインイメージが表示され、軸外観測者に対しては異なる設定の異なる輝度が与えられる、切り替え可能なプライバシー法として上記実施形態が説明された。しかし、当該説明された方法は、２つよりも大きいピクセルグループに対して平均化が実行されるような処理にも等しく適用可能である。
【００９９】
メインイメージの値の範囲に対して、サイドイメージのコントラストを大きくできることには利点がある。この場合、全体のサイドイメージレーティング（Side Image Rating；ＳＩＲ）を計算するために、各ヒストグラムのビンのカウントに対して適用されるサイドイメージ（Side Image；ＳＩ）重み付けが調節される。そして、２つのピクセルの平均化から、より大きいピクセルグループを平均化することにおいて、メインイメージの値の関数として、利用可能なサイドイメージのコントラストの変化を反映する。この効果を図３１に示す。同図の（ａ）は、軸外から軸上にかけて得られる４ピクセルの平均化法に対応する、輝度特性の最大値および最小値について増大する差異を示し（反対に、図３では２ピクセルの平均化法に対応する同様のものを示す）、（ｂ）は、メインイメージの輝度の関数として、平均化可能なサイドイメージのコントラスト比が増大した結果を示す。
【０１００】
グループに属する２つまたは複数のピクセルと同様に、または当該ピクセルに代えて、２つまたは複数のフレームのピクセルの輝度に対して、時間的な、または、空間的な平均化を切り替え可能なプライバシー法が用いる処理に対しても、上記方法を適用可能である。これにより、ピクセルの平均軸上輝度および平均軸外輝度を、独立して制御可能である。時間的な平均化が用いられる場合、ディスプレイで生成可能な軸外から軸上輝度の平均の幅は、空間的平均化法として図３に示したように、画像データを変化させるための限られた反応速度のために、互いに入れ替わってもよいことがある。相対的な画像のコントラスト比は、空間的な平均化法として図４に示したように、やはり入れ替わってもよい。この場合、全体のサイドイメージレーティング（Side Image Rating；ＳＩＲ）を計算するために、各ヒストグラムのビンのカウントに対して適用されるサイドイメージ（Side Image；ＳＩ）重み付けが調節され、時間的平均化法から得られる、入れ替わるサイドイメージのコントラスト関数におけるメインイメージの値の関数として、利用可能なサイドイメージのコントラストの変化を反映する。
【０１０１】
説明された任意の例において、サイドイメージのコントラスト関数にしたがって、イメージ（ＳＩ）重み付けを直接的に計算するのではなく、プライバシーを改善するために、上記重み付けが強い圧縮に設定されてもよいし、メインイメージのコントラストに対して弱い圧縮に設定されてもよい。ディスプレイの使用、または現在のアプリケーションに応じて、重み付けは切り替え可能であってもよいし、ユーザによって選択可能であってもよい。これにより、メインイメージの画質／プライバシーの強さをそれぞれ調節できる。１つのヒストグラムのビンから他へ移動するピクセルカウントとして、ＳＩＲの計算においてより強い信号を生成するために、ＳＩ重み付けパラメータは増幅された差異も有する。
【０１０２】
さらなる実施形態においては、メインイメージのデータにのみ基づくメインイメージの最適な圧縮範囲を識別するよりも、図１０の点線の矢印で示されるように、上記範囲はメインイメージのデータとサイドイメージのデータとの両方の組み合わせを用いて得られる。これにより、メインイメージとサイドイメージとが極めて類似するようなことが起こる場合、意図した視野角の範囲へ正確に双方のイメージを表示するための圧縮は全く、または、ほとんど必要ないという事実を、上記処理は利用できる。
【０１０３】
この種の方法の一例では、メインイメージおよびサイドイメージのピクセルに対応するメインイメージおよびサイドイメージのデータ値にしたがって、表示の各ピクセルに対して、目標となるメインイメージおよびサイドイメージの輝度値が決定される。上記目標となるメインイメージおよびサイドイメージの値は、図３に示されるような軸上から軸外の輝度空間（luminance space）にあるピクセルの目標位置を決定するために使われる。隣接するピクセルのペアによって同時に生成される平均的な軸上および軸外の輝度値の包絡線（envelope）は、同図においてＳｉｎ＝０およびＳｉｎ＝３の場合の軌跡によって描かれる。軸外から軸上の輝度空間におけるピクセルの目標位置は、上記包絡線に対して定義される。目標位置が上記包絡線に含まれる場合、要求される軸上輝度および軸外輝度を正しく表示するための、メインイメージおよびサイドイメージに対するいかなる圧縮も必要ない。目標位置が上記包絡線の外側にある場合、ピクセルを正しく表示するために、片方または両方のイメージに対する圧縮を適用する必要がある。
【０１０４】
イメージのすべてのピクセルに対して、軸外から軸上の輝度空間における位置が決定されると、上記包絡線にあるすべてのピクセルに対して、望ましい割合の目標位置が要求されるメインイメージおよびサイドイメージの圧縮量が決定され、各イメージに対して当該圧縮が適用される。
【０１０５】
図１６は上記処理を示す。同図は、軸上から軸上の包絡線の軌跡と同様に、メインイメージおよびサイドイメージ（図示のために、すべてのピクセルは非常に濃いドットの塊を示す）からランダムに選んだピクセルの、軸外から軸上の輝度を示す。同図から分かるように、メインイメージおよびサイドイメージとして用いられる２つの際立ったイメージにおいて、目標ポイントは、軸外から軸上の輝度領域の大部分をカバーしている。
【０１０６】
図１７は、メインイメージおよびサイドイメージ双方を圧縮した後、ポイントの割合が包絡線においてどのように増加するかを示す。ほとんどの場合、軸外輝度の最大範囲を保持するために、軸上の輝度値に対する軸外輝度の許容範囲のみによって、サイドイメージの圧縮が決定される。しかし、いくつかの場合には、強いプライバシー効果が要求される状況における一例においては、同時係属の英国特許出願第０９１６２４１．３号で説明するように、包絡線から要求される値よりも大きい値でサイドイメージを圧縮することによって、軸外輝度のメインイメージのデータ値に対する依存性は最小化される。
【０１０７】
図１７は、最大の軸外輝度（maximum off-axis luminance）が、軸上輝度が圧縮後の最大値として達成可能な、最大の利用可能な軸外輝度（maximum available off-axis luminance）を下回るレベルまで減らされる状況を示す。これにより、達成可能な範囲に低い軸上輝度と高い軸外輝度（すなわち散布図の左上のポイント）とを有する、目標となる軸外から軸上の輝度のポイントのより大きな割合がもたらされる。これを達成するために、サイドイメージの圧縮は、メインイメージおよびサイドイメージのデータに依存して計算される。そして、図１０に示される処理の一例は、図３２に図示される方式で、サイドイメージにも圧縮計算を含む必要がある。
【０１０８】
図１８は、メインイメージとサイドイメージとが同一の場合に生成される、同一の目標ポイント「クラウド（cloud）」の図を示す。この場合、画像に対して必要ないかなる変形もなしに、すべてのポイントは内側に包絡線を含むことが分かる。
【０１０９】
図１６は単純な散布図である。各点は表示のピクセルを表し、ｘ座標はメインイメージのピクセルの輝度から決定され、ｙ座標はサイドイメージのピクセルの輝度から決定される。図１６は、入力画像に対する軸外から軸上の輝度値の広がりを示し、プライバシー処理は考慮されない。しかし、表示に本質的な軸上および軸外のガンマカーブは考慮されている。灰色（mid-gray）のデータ値をとるメインイメージのピクセルは、ガンマに依存する特定の正規化輝度となり、同一のデータを有するサイドイメージのピクセルは、軸外ガンマに依存する異なる正規化輝度となる。これは次の理由による。すなわち、２つの画像が同一の場合、ポイントの広がりは図３のゼロ分割カーブ（zero-splitting curve）を描く。当該カーブは、表示に本質的な軸外から軸上輝度のカーブであり、いかなるプライバシー処理も考慮されていない。散布図が正規化輝度ではなく、メインイメージとサイドイメージとのデータを示す場合、直線ｙ＝ｘがプロットされる。プロットに基づく上記クラウド圧縮技術（cloud compression technique）を実行することが可能であり、可能なポイントの包絡線が、輝度からデータ空間への変換に応じて鋭く変化する。これにより、直線ｙ＝ｘは包絡線に含まれる。他の場合、メインイメージとサイドイメージとが同一のとき、目標ポイントの散布図は達成可能な包絡線を描くため、メインイメージに対する圧縮は必要ない。圧縮が必要とならない場合であっても、プライバシー処理は正常に動作する。プライバシー処理が適用された後、異なるサイドイメージのレベルはＳｉｎ値に対応するカーブに移動する。前述のように、サイドイメージが４つの等しい輝度範囲に分割されると仮定すると、上記カーブは、プライバシー処理の後で図２９における太点線を描く散布点となる。
【０１１０】
望ましい領域に目標ポイントの特定の割合が要求される最適圧縮は、さまざまな方法で達成される。メインイメージおよびサイドイメージは、上記特定の割合に達するまで、各段階において再評価される包絡線にあるポイントの割合とともに、繰り返し圧縮される。平均値、中央値、または最初に包絡線の外側にある各ポイントの距離に係る他の特定のパーセンタイルは、包絡線の境界から決定されてよく、要求される画像圧縮の計算に使われる。この場合、決定された誤差（error）はベクトル量であってよく、これにより、軸外および軸外コンポーネント（off-axis components）で必要となる圧縮の方向を差し引くことが可能となる。目標となる軸外から軸上輝度のポイント「クラウド」の「質量中心（centre of mass）」が計算され、画像を圧縮し、包絡線の質量中心にこの質量中心を調節するために、画像をオフセットする。当該画像は、包絡線のポイントの特定の割合で要求される量によって、すべての目標ポイントを質量中心に移動させて、さらに圧縮される。上記処理によって加わる計算負荷を軽減するために、軸外から軸上の目標ポイント空間の等価な集合は、輝度ではなく、データの中に生成される。そして、包絡線と等しい当該データの値が計算され、代わりに用いられる。
【０１１１】
軸外から軸上の目標ポイントの広がりと、プライバシー／マルチビュー処理のための最適な圧縮パラメータを発見するための包絡線構築とを利用する、さまざまに可能な方法が存在し、本発明の技術的範囲は上記に列挙したものに限られないことが認められる。しかし、画像における訂正の程度と同様に、コンセプトと、いかなる方法によっても、考慮されるメインイメージとサイドイメージとの双方のピクセル値の広がりを可能にする最適パラメータを計算可能な構築の使用とによって、代わりに定義されるべきである。
【０１１２】
圧縮範囲に沿って線形にメインイメージを圧縮するよりも、上述したように、スケーリングおよびオフセットのパラメータであるβおよび
2013502601.tif 000019
を利用する、上記方法のいずれかを用いて、ひとたび圧縮範囲が識別されれば、目標範囲にのみピクセルのデータ値をもつメインイメージは、非線形な方式で圧縮される（非線形圧縮が適用される）。例えば、目標範囲の境界のデータ値、およびメインイメージのピクセルのデータ値は、公知である表示のガンマ指数を用いる等価な輝度へ変換された後、輝度に圧縮され、等価なもの、すなわち圧縮されたデータ値に再変換される。
【０１１３】
一度圧縮された外観を最適化するために、圧縮された画像に、例えばヒストグラム平坦化（histogram equalisation）や等化（histogram flattening）といった既知の画像処理技術を適用することには利点がある。したがって、ヒストグラム平坦化ステップが含まれていてもよい。上記ヒストグラム平坦化、または画像の外観を改善する他の技術は、上記方法のいずれかを用いて目標圧縮範囲が決定されれば、圧縮ステップに包含されてもよい。図２３はこれを示す。
【０１１４】
さらなる実施形態においては、図２６に示されるように、メインイメージの内容が解析され、異なる画像タイプの領域が検出される。最適な圧縮パラメータは、当該領域の各々で個別に、上記方法のいずれかにしたがって計算される。これにより、メインイメージの画質とサイドイメージの再構成との間で、全体としてより良い和解点を達成できる。上記領域のタイプには、白色の背景領域に対して黒色のテキスト（図２６における領域１）、黒色の背景領域に対して白色のテキスト（図２６における領域３）、画像領域（図２６における領域２）などが含まれる。図２８に示されるように、他のタイプを一致させるために、領域の１つを反転させる処理によって、白に黒の（または明るいところへ暗い）テキスト領域および黒に白の（暗いところへ明るい）テキスト領域が識別されることが好ましい。この反転が、常にテキストの好ましいタイプ、または最初に最大の領域を占めるタイプとなるようにしてよく、これによって画像の変化を最小化できる。これは、全体の結果を改善するために、両方の領域を均一に圧縮することを可能にする。プライバシーが必要とされないという意味で、特定のサイドイメージの値が保存されることも考えられる。この場合、図２７に示されるように、そうした値を有するサイドイメージによってカバーされるイメージの任意の領域に対しては、いかなる画像圧縮も適用されない。
【０１１５】
さらなる実施形態において、前述した圧縮パラメータの任意の計算方法が、フレーム毎を基本として適用されると、全体の結果を改善するために、処理パラメータは、前回のフレームで取得された結果にしたがって調整される。受信したすべてのフレームにおいて、圧縮パラメータの計算を実行する必要はなく、一定数のフレーム集合ごとに実行してよい。例えば、ヒストグラムのデータは、４フレームごとに圧縮処理に入力されてよい。これは、計算を実行するために後続の３フレームを用いる処理とともに行われ、その後新しいデータ集合を再度受信する。異なる内部計算期間（inter-calculation period）のフレームにおいて、ヒストグラムのデータは個別のカラーチャンネルのために集められる。例えば、赤色、緑色、および青色のカラーチャンネルのヒストグラムはフレーム毎に１つ集められ、情報を集めるために３つのフレームをとり、その後和を計算し、後続のフレームにおいて計算が実行される。
【０１１６】
入力画像の内容が好ましい圧縮パラメータとその他との間にあるしきい値の周囲を変動する場合に、圧縮パラメータが往復変化を繰り返すことを防ぐために、前回の結果にしたがう処理パラメータの調節は、処理パラメータにおけるヒステリシスの型をとる。例えば、計算された圧縮パラメータが１つの方向（おそらく増加した圧縮）で変化し、元に戻る変化のしきい値が減少された場合、全体の画像の内容は、再度それらが変化するために、前回のパラメータ集合を生じる過去のポイントに変化する必要がある。図２４は、これを示す。
【０１１７】
特に動画がディスプレイで鑑賞されている場合、圧縮パラメータの任意の変化を、動画のシーン変化とリンクすることも考えられる。例えば、圧縮パラメータの変化が要望どおりに計算された場合、軸上観測者にとって目障りになりすぎないように、適用された圧縮パラメータが変化することを防ぐために、フレーム毎の単位でメインイメージの内容が突然変化するまで、この変化は抑圧される。図２５は、これを示す。これは、適用された圧縮パラメータが、動画の内容とともに徐々に変化することを防ぐ。こうしたシーンの変化は、公知である様々な方法で検知される。例えば、連続的フレームの画像のヒストグラムを比較し、当該ヒストグラムの全体の差異を累積する、すなわちシーン変化として得られる集合の量よりも大きい全体の差異が検知される。
【０１１８】
フレーム毎の圧縮パラメータの変化量を制限することも考えられる。要求どおりに計算された圧縮パラメータが大きく変化する場合、目立たないよう観測画像を明確に変化させるために、一連のフレームに対して適用する圧縮パラメータの中間的な変化が計算される。図３０は、上述され、図１２に示される処理例により、一連のフレームに対して計算された最適パラメータへ向かって、圧縮パラメータが段階的に変化する回路のブロック図の一例を示す。
【０１１９】
パブリックモードとプライベートモードとで動作可能であり、それら２つのモードを切り替え可能な表示装置を提供することは一般的であるが、本発明はプライベートモードでのみ動作可能な表示装置にも適用可能である。
【０１２０】
本発明の実施形態として使用するために、繰り返し圧縮する技術について説明したが、例えばメインイメージの内容とコントラスト比の分布とを比較することにより、最終的な圧縮を単一のステップで決定することは、完璧に実現可能である。繰り返し処理ではなく、上記単一のステップが実行されるとき、図１０は、表示制御器によって実行されるプライバシー／マルチビュー対応付け（privacy/multiview mapping）に先だって、分割されたステップとして実行される適応的圧縮を示すが、少なくとも適応的圧縮のいくつかは、プライバシー／マルチビュー対応付けの一部として実行されてもよい。例えば、上記特許文献１２では、メインイメージデータとサイドイメージデータとの対応付けを行うために、ルックアップテーブル（lookup table；ＬＵＴ）を利用することが記載されている。また、少なくとも適応的圧縮の一部が、ＬＵＴに包含されてもよいことは明らかである。複数の異なるＬＵＴを用いてもよく、画像の内容の識別結果に基づいて選択されたものの１つ、例えば「主に暗い」、「主に明るい」、「混合された明るさ」として、異なるＬＵＴが用いられてもよく、それぞれが異なる種類の適応的な対応付けを包含している。あるいは、メインイメージの内容に基づいてＬＵＴ対応付けを追加してもよい。ただし、これは計算が重い。
【０１２１】
図３３は、本発明の実施形態に係る装置１０の概要を示す。装置１０は、メインイメージのデータを受信する入力１２、サイドイメージのデータを受信する入力１４、画像データ圧縮部１６、対応付け部１８、および出力２０を含む。装置１０は、表示装置の表示パネルに表示する画像データを処理する方法を実行するために適合されている。入力１２および１４は、メインイメージを表すメインイメージのピクセルデータとサイドイメージを表すサイドイメージのピクセルデータとを、それぞれ受信するように備えられている。対応付け部１８は、上記表示パネルを駆動する信号に上記ピクセルデータを対応付けるように備えられている。また、上記対応付けは、メインイメージのピクセルデータに主に依存する平均軸上輝度と、サイドイメージのピクセルデータに少なくともある程度は依存する平均軸外輝度とを生成するようにされている。画像データ圧縮部１６は、メインイメージのピクセルデータに少なくとも部分的に依存するとともに、上記対応付けに入力されるピクセルデータに伴って、軸外輝度がどのように変化するかに少なくとも部分的に依存するように、メインイメージのピクセルデータを圧縮する。また、上記圧縮は、あらかじめ実行される、または上記対応付けに部分的に包含されて実行される。上記対応付けの結果は、出力２０で利用可能となるようにされ、表示装置の表示パネルを駆動するために使われる。部材１２、１４、１６、および１８は、図１０および図３２において「メインイメージのデータ」、「サイドイメージのデータ」、「適応的圧縮」、および「表示制御器」と付された部分にそれぞれ対応する。図３３におけるマーク２０の部分は、図１０および図３２の表示制御器とマークされた部分における出力に対応する。装置１０は、図１０および図３２の表示制御器を効果的に包含し、図１９に示されるように、表示装置における表示制御器１として利用可能である。
【０１２２】
上記説明では、メインイメージのピクセルデータを圧縮することに言及した。一方で、ある種のメインイメージにとっては、当該圧縮が、実際にはメインイメージのデータ範囲に対するネガティブな圧縮（または拡張／伸長）であることが望ましいことは、極めて明らかである。これには、例えばメインイメージのデータが極めて狭い範囲に分布しており、メインイメージが最初から極めて低いコントラストしかないような場合が考えられる。
【０１２３】
上述したコンポーネントの１つまたは複数の動作は、上記機器または装置を動作させるプログラムによって制御されてもよい。上記動作プログラムを、コンピュータ読取り可能な記録媒体に格納できる。例えば、インターネットのウェブサイトで提供されるダウンロード可能なデータ信号として実現可能である。添付の特許請求の範囲は、動作プログラムをカバーするもの、または伝送媒体に記録されたもの、あるいは信号、あるいは任意の他の形式のものとして解釈される。
【０１２４】
本発明のいくつかの実施形態は、前記メインイメージのピクセルデータのすべて、または少なくとも所定の割合が、前記メインイメージのピクセルデータに少なくとも部分的に依存して決定される軸上輝度の範囲に圧縮されるように、前記メインイメージのピクセルデータが圧縮されることを開示する。
【０１２５】
本発明のいくつかの実施形態は、前記対応付けは、サイドイメージのピクセルデータの変化によって生成される可能な軸外輝度の範囲の測定値が、メインイメージのピクセルデータとともに変化するように、メインイメージのピクセルデータに少なくともいくらか依存する、サイドイメージのピクセルデータに依存する平均軸外輝度を生成するようにされていることを開示する。
【０１２６】
本発明のいくつかの実施形態は、前記測定値が前記所定のレベルであり、および／または、前記範囲にわたる所定のレベルを下回って変化を発揮するように、前記範囲が決定されることを開示する。
【０１２７】
本発明のいくつかの実施形態は、可能な軸外輝度の前記範囲がより大きくなるところに、より多くのメインイメージのピクセルデータを置くように、前記メインイメージのピクセルデータが圧縮されることを開示する。
【０１２８】
本発明のいくつかの実施形態は、前記メインイメージのピクセルデータに対応する前記測定値に依存する値によって、少なくともいくつかのメインイメージのピクセルデータの各々を重み付けし、前記重み付けされた値の和を最適化、例えば最大化するように、前記メインイメージのピクセルデータを圧縮することを開示する。
【０１２９】
本発明のいくつかの実施形態は、前記測定値は、最高となる利用可能な軸外輝度の最低となる利用可能な輝度に対する比率に関連することを開示する。
【０１３０】
本発明のいくつかの実施形態は、前記圧縮は、前記サイドイメージのピクセルデータに少なくとも部分的に依存して実行されることを開示する。
【０１３１】
本発明のいくつかの実施形態は、少なくとも空間的に対応するサイドイメージのピクセルの等価な輝度値のすべてに同一の圧縮が適用される場合、メインイメージのピクセルの所定の割合のそれぞれに対して、それと空間的に対応するサイドイメージのピクセルと等価な輝度値が、前記メインイメージのピクセルに対する軸外輝度の可能な範囲におさまるように、前記メインイメージのピクセルデータは圧縮されることを開示する。
【０１３２】
本発明のいくつかの実施形態は、前記対応付けにおいて、前記サイドイメージのピクセルがメインイメージのピクセルとして用いられる場合（例えば、メインイメージのピクセル分布に対していかなる圧縮も行われない場合）、サイドイメージのピクセルに対する等価な輝度値は軸外で観測されるものであることを開示する。
【０１３３】
本発明のいくつかの実施形態は、軸コントラストを維持するために、下限のいくつかの基準は、圧縮されたメインイメージのピクセルデータの広がりに対して設定されることを開示する。
【０１３４】
本発明のいくつかの実施形態は、軸コントラストを維持するために、下限のいくつかの基準は、圧縮された等価な輝度値の広がりに対して設定されることを開示する。ここで、適用される圧縮の量が段階的に増加するように、繰り返し圧縮処理が実行されることによって（以下参照）、過度に圧縮される前に、上記繰り返し処理を停止できる。
【０１３５】
本発明のいくつかの実施形態は、前記圧縮は、繰り返し処理を実行し、前記繰り返し処理は、サイドイメージの画質の所定の測定値によって導かれることを開示する。
【０１３６】
本発明のいくつかの実施形態は、メインイメージの劣化を十分に進めるために、前記サイドイメージの画質の所定の測定値が所定のしきい値に達するまで、複数の圧縮が繰り返し試行されることを開示する。
【０１３７】
本発明のいくつかの実施形態は、前記メインイメージのピクセルデータの１回の圧縮は、試行圧縮に基づいて（例えば、最後に試行した圧縮または試行した圧縮のうちの１回であって、サイドイメージの画質に対する所定の測定値が、所定のしきい値を超過するような圧縮の試行にしたがって）実行されることを開示する。
【０１３８】
本発明のいくつかの実施形態は、試行圧縮の各々は、前記メインイメージのピクセルデータの実際の圧縮を実行することを開示する。
【０１３９】
本発明のいくつかの実施形態は、前記所定の測定値は、前記重み付けされた値の和に関連することを開示する。
【０１４０】
本発明のいくつかの実施形態は、前記サイドイメージの画質の所定の測定値は、メインイメージの劣化の測定値に対してバランスされていることを開示する。
【０１４１】
本発明のいくつかの実施形態は、前記メインイメージのピクセルデータは、複数のデータ値またはメインイメージのピクセルデータで利用可能なデータ値のレベルの数より少ない輝度範囲にグループ化されており、前記圧縮は、個別のピクセルのデータ値ではなく、グループ化された前記メインイメージのピクセルデータに基づいて実行されることを開示する。
【０１４２】
本発明のいくつかの実施形態は、ヒストグラム平坦化ステップを含むことを開示する。
【０１４３】
本発明のいくつかの実施形態は、非線形圧縮を適用することを開示する。
【０１４４】
本発明のいくつかの実施形態は、前記メインイメージの複数の領域を識別し、異なる圧縮を前記異なる領域に適用することを開示する。
【０１４５】
本発明のいくつかの実施形態は、少なくとも１つの他の領域にあるメインイメージのデータと、より類似した分布を与える少なくとも１つの領域のメインイメージのデータを反転させる、または処理することを開示する。
【０１４６】
本発明のいくつかの実施形態は、メインイメージおよびサイドイメージを特定するフレームであって、時系列に受信した複数のフレームの各々に対して、前記方法を実行することを開示する。
【０１４７】
本発明のいくつかの実施形態は、各フレームに対して実行される前記圧縮は、時系列において少なくとも１つ前のフレームに対して実行される圧縮に依存することを開示する。
【０１４８】
本発明のいくつかの実施形態は、各フレームに対して実行される前記圧縮は、時系列において、前記メインイメージ、および／または、前記サイドイメージが前のフレームから変化する程度に依存することを開示する。
【０１４９】
本発明のいくつかの実施形態は、前記メインイメージの変化と同時に起こることが、前記所定のしきい値レベルで検知されるまで、および／または、実質的に検知されるまで、圧縮における変化の少なくとも一部を遅延させることを開示する。
【０１５０】
本発明のいくつかの実施形態は、前記圧縮がフレーム数に対して変化可能な範囲、および／または、前記フレーム数に対する前記圧縮への変化を適用することについて、限度を設定することを開示する。
【０１５１】
本発明のいくつかの実施形態は、ｎを１より大きいまたは等しい整数とするとき、前記方法は、すべてのｎフレームに対して実行されることを開示する。
【０１５２】
本発明のいくつかの実施形態は、前記圧縮は、メインイメージのピクセルデータの少なくとも１つの集合に対する、負の圧縮として決定されることを開示する。
【０１５３】
添付の特許請求の範囲によって定義される本発明の思想および範囲から外れることなく、上述した実施形態に沿って種々の変形が、当業者によってなされてよい。
【図１】
2013502601.tif 000020
【図２】
2013502601.tif 000021
【図３】
2013502601.tif 000022
【図４】
2013502601.tif 000023
【図５】
2013502601.tif 000024
【図６】
2013502601.tif 000025
【図７】
2013502601.tif 000026
【図８】
2013502601.tif 000027
【図９】
2013502601.tif 000028
【図１０】
2013502601.tif 000029
【図１１】
2013502601.tif 000030
【図１２】
2013502601.tif 000031
【図１３】
2013502601.tif 000032
【図１４】
2013502601.tif 000033
【図１５】
2013502601.tif 000034
【図１６】
2013502601.tif 000035
【図１７】
2013502601.tif 000036
【図１８】
2013502601.tif 000037
【図１９】
2013502601.tif 000038
【図２０】
2013502601.tif 000039
【図２１】
2013502601.tif 000040
【図２２】
2013502601.tif 000041
【図２３】
2013502601.tif 000042
【図２４】
2013502601.tif 000043
【図２５】
2013502601.tif 000044
【図２６】
2013502601.tif 000045
【図２７】
2013502601.tif 000046
【図２８】
2013502601.tif 000047
【図２９】
2013502601.tif 000048
【図３０】
2013502601.tif 000049
【図３１】
2013502601.tif 000050
【図３２】
2013502601.tif 000051
【図３３】
2013502601.tif 000052
【国際調査報告】
2013502601.tif 000053
2013502601.tif 000054