(57)【要約】  周囲光源によりエミュレーションのために、演色色空間に符号化されたビデオコンテンツを抽出し処理する方法は、ビデオ信号からドミナントカラー情報を抽出するステップと、周囲分布のための第２の演色色空間を形成するために３刺激原色行列を用いて非演色色空間を通していろ情報を変換するステップとを具える。この方法はさらに、例えば、可能な色状態を削減したり、スーパーピクセルを形成するためにビニングすることによって、指定された色分布を生成するために演色色空間を量子化するステップと、ピクセル色度のモード、平均、メジアン、加重平均を用いてドミナントカラーを選択するステップとを含む。関心色はさらに分析され、真のドミナントカラーを生成し、過去のビデオフレームは後のフレームにおけるドミナントカラーの選択を導出することができる。
2008509453.tif 000002
【特許請求の範囲】
【請求項１】
周囲光源によるエミュレーションのためのドミナントカラーを生成するために演色色空間に符号化されたビデオコンテンツからドミナントカラーを抽出する方法であって、
［１］前記演色色空間内の前記ビデオコンテンツから少なくともいくつかのの色度を量子化して指定された色の分布を形成するステップと、
［２］前記指定された色の分布からのドミナントカラーの抽出を、［ａ］前記指定された色のモード、［ｂ］前記指定された色のメジアン、［ｃ］前記指定された色の色度による加重平均、［ｄ］加重関数を用いる加重平均、のいずれかを抽出することにより行うステップと、
［３］前記ドミナントカラーを、前記演色色空間から、前記周囲光源を駆動可能にするよう形成された第２の演色色空間へ変換するステップと、
を具えることを特徴とするドミナントカラー抽出方法。
【請求項２】
前記量子化ステップは、前記指定された色の一つに複数の前記ピクセル色度を割り当てるステップを具えることを特徴とする請求項１記載の方法。
【請求項３】
前記量子化ステップは、前記複数のピクセル色度をビニングして少なくとも一つのスーパーピクセル（Ｘp）にするステップを具えることを特徴とする請求項１記載の方法。
【請求項４】
前記スーパーピクセルのサイズ、形状又は位置の何れかを画像特徴に従って形成することを特徴とする請求項３記載の方法。
【請求項５】
前記スーパーピクセル内の複数の前記ピクセル色度を前記指定された色の一つに割り当てるステップをさらに具えることを特徴とする請求項３記載の方法。
【請求項６】
前記指定された色の少なくとも一つは前記演色色空間内に必ずしもない局所色ベクトルであることを特徴とする請求項１記載の方法。
【請求項７】
前記局所色ベクトルは前記第２の色空間内にあることを特徴とする請求項６記載の方法。
【請求項８】
前記指定された色の分布内の関心のある少なくとも一つの色を決定し、この色に割り当てられた複数のピクセル色度を抽出して前記ドミナントカラーとして指定すべき真のドミナントカラーを導出するステップをさらに具えることを特徴とする請求項１記載の方法。
【請求項９】
前記複数のピクセル色度は前記複数のピクセル色度をビニングして得られるスーパーピクセルから少なくとも部分的に導出されることを特徴とする請求項８記載の方法。
【請求項１０】
前記ドミナントカラーはドミナントカラーのパレットを具えることを特徴とする請求項１記載の方法。
【請求項１１】
前記ステップ［３］は、
［３ａ］前記ドミナントカラーを、前記演色色空間から非演色色空間（ＸＹＺ）へ変換するステップと、
［３ｂ］前記ドミナントカラーを、前記非演色色空間から前記第２の演色色空間へ変換するステップと、
を具えることを特徴とする請求項１記載の方法。
【請求項１２】
前記ステップ［３ａ］及び［３ｂ］は、
［３ｃ］第１の３刺激原色行列を用いて前記演色色空間の前記非演色色空間への行列変換及び第２の３刺激原色行列を用いて前記非演色色空間の前記第２の演色色空間の原色への行列変換を具え、前記演色色空間の前記原色と、前記第１の３刺激行列と、前記第２の３刺激行列の逆行列とを乗算して前記色情報の前記第２の演色色空間への変換を得るステップをさらに具えることを特徴とする請求項１１記載の方法。
【請求項１３】
前記ステップ［１］のピクセル色度は抽出領域から得て、前記抽出領域に隣接する前記周囲光源から前記ドミナントカラーの周囲光を放射するステップ［４］をさらに具えることを特徴とする請求項１１記載の方法。
【請求項１４】
前記ステップ［１］は、前記ビデオ信号を一組のフレームに復号し、前記一組のフレームの一つのフレームから抽出された画像特徴から複数のピクセル色度を得るステップをさらに具えることを特徴とする請求項１記載の方法。
【請求項１５】
前記ステップ［１］は、前記ビデオ信号を一組のフレームに復号し、各フレームのドミナントカラーを前フレームからの少なくとも一つのドミナントカラーに部分的に依存させることにより得ることを特徴とする請求項１記載の方法。
【請求項１６】
周囲光源によるエミュレーションのためのドミナントカラーを生成するために演色色空間に符号化されたビデオコンテンツからドミナントカラーを抽出する方法であって、
［１］前記演色色空間内の前記ビデオコンテンツを複数のフレームに復号し、前記フレームの一つの抽出領域から少なくともいくつかののピクセル色度を量子化して指定された色の分布を形成するステップと、
［２］前記指定された色の分布からのドミナントカラーの抽出を、［ａ］前記指定された色のモード、［ｂ］前記指定された色のメジアン、［ｃ］前記指定された色の色度による加重平均、［ｄ］加重関数を用いる加重平均のいずれかを抽出することにより行うステップと、
［３ａ］前記ドミナントカラーを、前記演色色空間から非演色色空間へ変換するステップと、
［３ｂ］前記ドミナントカラーを、前記非演色色空間から前記第２の演色色空間へ変換するステップと、
［３ｃ］前記ステップ［３ａ］及び［３ｂ］において、第１の３刺激原色行列を用いて前記演色色空間の原色の前記非演色色空間への行列変換及び第２の３刺激原色行列を用いて前記非演色色空間の前記第２の演色色空間の原色への行列変換を用い、前記演色色空間の前記原色と、前記第１の３刺激行列と、前記第２の３刺激行列の逆行列とを乗算して前記色情報の前記第２の演色色空間への変換を得るステップと、
［４］前記抽出領域に隣接する前記周囲光源から前記ドミナントカラーの周囲光を放射するステップと、
を具えることを特徴とするドミナントカラー抽出方法。
【請求項１７】
前記抽出領域は、一つのフレームから抽出された画像特徴部に選択することを特徴とする請求項１６記載の方法。
【請求項１８】
前記指定された色の分布内の関心のある少なくとも一つの色を決定し、この色に割り当てられた複数のピクセル色度を抽出して前記ドミナントカラーとして指定すべき真のドミナントカラーを導出するステップをさらに具えることを特徴とする請求項１６記載の方法。
【請求項１９】
前記指定された色の少なくとも一つは前記演色色空間内に必ずしもない局所色ベクトルであることを特徴とする請求項１６記載の方法。
【請求項２０】
前記フレームは第１及び第２のフレームを含み、各フレームのドミナントカラーを前フレームからの少なくとも一つのドミナントカラーに部分的に依存させることにより得ることを特徴とする請求項１６記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の光源を用いて周囲照明効果を生成及び設定する技術、典型的には、ビデオディスプレイからのようなビデオコンテンツに基づいて、又は関連して生成又は設定する技術に関する。特に、本発明は、サンプル又はサブサンプルされたビデオコンテンツからドミナントカラー（支配色）情報をリアルタイムに抽出し、ビデオコンテンツの色空間から複数の周囲光源の最適駆動を可能にする色空間へのカラーマッピング変換を実行する方法に関するものである。
【背景技術】
【０００２】
技術者は、ビデオコンテンツを使用して得られる知覚経験を、例えば表示スクリーン及び投映面積の拡大、リアルな３次元効果のための音声変調、及びビデオ画像の向上（ビデオカラー範囲、解像度及びアスペクト比の向上を含む）、例えば高解像度（ＨＤ）ディジタルテレビジョン及びビデオシステムによって広げたいと長年考えてきた。また、フィルム、ＴＶ及びビデオ製造者も、視聴覚手段を使用する視聴者の経験を、例えばカラー、シーンカット、視角、周辺風景及びコンピュータグラフィック表現の巧みな使用によって調整することが試みられている。これは、舞台照明も含む。例えば、照明効果は通常ビデオ又はプレイシーンと同期してスクリプトされ、所望の方法でエンコードされたシーンスクリプトに従ってプログラムされたマシン又はコンピュータによって再現される。
【０００３】
従来のディジタル技術分野では、計画されていない又はスクリプトされていない速いシーン変化に対して照明を自動適応させることは、現在のシステムを用いると、主に大きな高帯域幅ビットストリームのオーバヘッドが必要とされるという理由のために、容易ではない。
【０００４】
フィリップス社やその他の会社が、典型的な家庭用又はビジネス用のビデオコンテンツを向上させるために、ビデオディスプレイから遠く離れた複数の光源を用いて周囲照明又は周辺照明を変化させる手段、及び、多くの用途に対して、所望の照明効果をスクリプト又は符号化する手段を発表している。ビデオディスプレイ又はテレビジョンに付加される周囲照明は視聴者の疲れを軽減するとともに経験のリアリズムと深さを向上する。
【０００５】
知覚経験は人間の視覚機能であること勿論であり、視覚機能は非常に複雑な知覚神経器官を用いて色及び光効果の知覚を生成する。人間はたぶん1000万の異なる色を区別できる。人間の目においては、色受容又は明所視に対して、それぞれ445nm、535nm及び565nmの波長でピークを示し十分にオーバラップする吸収分布を有する錐体という約200万の３組の知覚体がある。これらの３つの錐体は３刺激値系を構成し、歴史的理由のためにそれぞれＢ(青)、Ｇ(緑)及びＲ(赤)と呼ばれ、それぞれのピークはディスプレイに使用されている原色、例えば一般に使用されているＲＧＢ蛍光体のピークと必ずしも一致しない。また、暗順応相互作用、即ち所謂かん体という暗所視体もある。人間の目は一般に１億２千万のかん体があり、これらが特にホームシアター内のような低照度状態に対するビデオ体感に影響する。
【０００６】
カラービデオは人間の視覚の原理に基づいており、人間の視覚の周知の３色説及び反対色説が、元の画像又は予定の画像に対する高い忠実度持つ所望の色及び効果を見るために人間の目にどのような影響が与えられるかを理解するために受け入れられてきた。殆どのカラーモデル及び色空間では、人間の視覚を記述するために３次元又は座標が使用されている。
【０００７】
カラービデオは絶対的にメタメリズムに基づくものであり、所望の色及び性質の実際の光ではなく、少数の基準刺激を用いて色知覚を生成している。このようにすると、全範囲の色が、世界中でビデオ再現に使用されている公知のＲＧＢ（赤、緑、青）３刺激値系を用いて人間の目に再現される。例えば、殆ど全てのビデオディスプレイは各ピクセル又は画素においてほぼ等しい量の赤色光と緑色光を発生させることにより黄色のシーン光を表示することが公知である。画素はそれが含む立体角に関して小さいので、目はだまされて黄色を知覚し、実際に放出されている緑色又は赤色を知覚しない。
【０００８】
ビデオ再現用に色を記述し特定するために、多くのカラーモデル及び色を規定する方法があり、例えば周知のＣＩＥ（国際照明委員会）色座標系がある。本発明を使用すれば、任意の数のカラーモデルを使用でき、ＣＩＥ Ｌ*Ｕ*Ｖ*（ＣＩＥＬＵＶ）又はＣＩＥ Ｌ*a:*b*（ＣＩＥＬＡＢ）系のような非演色反対色空間への適用も可能である。ＣＩＥは、１９３１年に、全ての色管理及び色再現の基礎を定め、その結果が３つの座標ｘ，ｙ，ｚを用いる色度図である。最大輝度におけるこの３次元系のプロットはｘ及びｙの座標で色を記述するのに世界中で使用されており、このプロットは１９３１ｘ，ｙ色度図と呼ばれ、人間の全ての知覚色を記述できるものと信じられている。これは、メタメリズムを用いて目や脳をだます色再現と相違する。今日、３原色または蛍光体を用いて色再現するために多くのカラーモデル又は色空間が使用されており、中でもAdobeＲＧＢ、ＮＴＳＣ ＲＧＢなどが使用されている。
【０００９】
しかし、３刺激値系を用いるビデオシステムにより表示される全ての可能な色の範囲は制限される点に注意することが重要である。ＮＴＳＣ ＲＧＢ系は比較的広い使用可能な色の範囲を有するが、この系は人間の目で知覚しうる全ての色の半分を再現できるのみである。多くの青色、紫色、青緑色、及び橙赤色は従来のビデオシステムの使用可能範囲を用いても適切に演色されない。
【００１０】
更に、人間の視覚系は任意のビデオシステムを設計するのに必要な補償及び識別の性質に恵まれている。人間において色は幾つかの見え方（アペアランスモード）、特に物体モードと光源モードで起こり得る。
【００１１】
物体モードでは、光刺激は光源で照明される物体から反射される光として知覚される。光源モードでは、光刺激は光源の光として知覚される。光源モードは他の刺激よりはるかに明るい複雑な領域内の刺激を含む。光源モードは、シーン又は視野の総合輝度又はそれ以下の輝度又は明るさを有するビデオディスプレイのような光源であると知られている刺激を含まないため、この刺激は物体モードのものにみえる。
【００１２】
特に、物体モードでのみ現れる多くの色、特に茶色、オリーブ色、栗色、灰色及びベージュ肌色がある。例えば、茶色の交通信号のような茶色の光源の光はない。
【００１３】
この理由のために、物体色を加えようとするビデオシステムへの周囲照明の補充は明るい光の直接光源を用いて行うことはできない。近距離の明るい赤色と緑色の光源の組合せは茶色又は栗色を生成し得ず、選択を大幅に制限する。明るい光源の直接観察によっては虹のスペクトル色を変化する強度及び色飽和で再現できるのみである。このことは、周囲照明システムを微調整して光源から出力される低強度光に色相管理に対する特定の配慮を与える必要があることをはっきり示している。現在のところ、この微調整は、現在のデータ構成のもとで高速変化及び微妙な周囲照明を可能とするように努力されていない。
【００１４】
ビデオ再現は多くの形態を取りうる。スペクトル色再現は原刺激のスペクトルパワー分布の正確な再現を可能とするが、これは３原色を使用するビデオ再現では実現不可のである。正確な色再現は人間の視覚刺激値を復元し、原刺激へのメタメリックマッチングを生成するが、画像及び原シーンに対する全体観察条件を類似の見えが得られるように類似させる必要がある。画像及び原シーンに対する全体条件は画像の視角、周囲の輝度及び色度及びグレアを含む。正確な色再現がしばしば達成できない一つの理由は、カラーモニタで生成できる最大輝度の制限にある。
【００１５】
測色的色再現は有用な代替手法を与え、ここでは３刺激値は原シーン内の３刺激値に比例するものとする。色度座標は正確に再現されるが、輝度は比例して低減される。測色的色再現はビデオシステムに対する良好な基準標準であり、原基準白色と再現基準白色は同一の色度を有し、観察条件は同一であり且つシステムは１に等しい総合ガンマを有するものとする。色度と輝度が原シーンにマッチングする等価な色再現は、ビデオディスプレイで生成される輝度の制限のために達成できない。
【００１６】
実際上、殆どのビデオ再現は対応する色再現を達成するよう試みられ、再現された色ともとの色が同一の平均輝度レベルと同一の基準白色度で照明された場合に再現された色がもとの色が持っていた見えと同一の見えを有するようにする。しかし、多くの人が、ディジタルシステムに対する最終的な狙いは実際には好ましい色再現であると主張しており、これは観察者の経験が色の忠実度に影響するものである。例えば、日焼けした肌色の方が平均的な現実の肌色より好まれ、空はより青い方が、葉は現実より濃い緑の方が好まれる。対応する色再現を設計標準として受け入れる場合でも、肌色のような幾つかの色は他の色より重要であり、ＮＴＳＣビーム標準のような多くの再生システムにおける特別処理の主題である。
【００１７】
シーン光の再現においては、白バランスを達成する色順応が重要である。適切に調整されたカメラによれば、白色と自然な灰色がＣＩＥ標準昼光光源Ｄ６５の色度で再現される。白色表面を常に同一の色度で再現することにより、システムは、光源の色度がなんであれ、白色表面が常に同じに見えるように本質的に知覚を順応する人間の視覚系を再現するため、紙の白色片は、それが海岸の明るい昼光の下にあっても、白熱灯で照らされた室内にあっても、白に見える。色再現において、白バランス調整は通常Ｒ，Ｇ，Ｂチャネルの利得制御により行われる。
【００１８】
代表的なカラーレシーバの光出力は一般に線形でなく、印加電圧に対してべき乗則関係に従う。光出力はビデオ駆動電圧のガンマべき乗に比例し、ガンマはＣＲＴに対しては２．５及び他のタイプの光源に対しては１．８が代表的である。このファクタの補償はカメラのビデオ処理増幅器内の３原色ガンマ補正器により行われるため、符号化され、送信され、復号される３原色ビデオ信号は実際にはＲ，Ｇ，Ｂではなく、Ｒ１/γ，Ｇ１/γ，Ｂ１/γである。測色的色再現は、（カメラ、ディスプレイ及び任意のガンマ調整電子機器を含む）ビデオ再現のための総合ガンマを１にするが、対応する色再現を試みるときは、周囲の輝度が優先する。例えば、薄暗い周囲状態は最適色再現のためには約１．２のガンマを必要とし、暗い周囲状態は約１．５のガンマを必要とする。ガンマはＲＧＢ色空間に対する重要な実装問題である。
【００１９】
殆どの色再現符号化は、ｓＲＧＢ，ＲＯＭＭ  ＲＧＢ，Ａｄｏｂｅ  ＲＧＢ，Ａｐｐｌｅ  ＲＧＢ及びＮＴＳＣ標準で使用されているビデオＲＧＢのような標準ＲＧＢ色空間を使用する。一般に、画像はセンサ空間又はソースデバイス空間に取得され、ソースデバイス空間はデバイス及び画像に固有である。ソース画像空間は原測色を記述する標準色空間である非演色画像空間（定義の項参照）に変換される。
【００２０】
しかし、ビデオ画像は、ほぼ常にソースデバイス空間から、ビデオディスプレイのようなリアル又はバーチャル出力デバイスの色空間を記述する演色画像空間（定義項参照）に直接変換される。既存の殆どの標準ＲＧＢ色空間は演色画像空間である。例えば、カメラ及びスキャナにより生成されるソース及び出力空間はＣＩＥベースの色空間ではなく、カメラ又はスキャナのスペクトル感度や他の特性により決まるスペクトル空間である。
【００２１】
演色画像空間はリアル又はバーチャルデバイス特性の測色に基づくデバイス固有の色空間である。画像は演色又は非演色画像空間から演色空間へ変換することができる。これらの変換の複雑度は変化し、複雑な画像依存アルゴリズムを含み得る。変換は、原シーンの情報を符号化して特定デバイスのダイナミックレンジ又は全範囲に合うよう捨てるか圧縮するので、非可逆である。
【００２２】
現在、標準になりつつある非演色ＲＧＢ色空間は一つのみであり、それはディジタルスチルカメラの色特性のために殆どの場合に使用されているＩＳＯ１７３２１に規定されているＩＳＯ  ＲＧＢである。今日、殆どのアプリケーションにおいて、画像はアーカイブ及びデータ（ビデオ信号を含む）転送のために演色色空間に変換される。１つの演色画像又は色空間から別の空間への変換は厳しいイメージアーチファクトを生じ得る。全範囲及び白色点のミスマッチがデバイス間で大きくなればなるほど、悪影響が強くなる。
【００２３】
従来の周囲光ディスプレイシステムの欠点は、ビデオコンテンツからの周囲放射光の代表色の抽出が問題となる点にある。例えば、ピクセル色度の色平均化は、ビデオシーン又はイメージを知覚的に表さない灰色や茶色やその他の色を生じる。簡単な色度の平均化から得られる色は、特に明るい魚のような画像特徴と青空のようなドミナント背景がコントラストをなすとき、不鮮明に見えたり、間違って選択されたりする。
【００２４】
従来の周囲光ディスプレイの別の問題は、演色３刺激値をビデオから周囲光源の３刺激値へ変換して適切な測色及び見えを与える同期リアルタイム処理を提供する特定の方法が与えられていないことにある。例えば、ＬＥＤ周囲光源からの出力はしばしばまぶしく、制限された又は歪曲された色範囲を有し、一般に色相と色度を評価し再生することが難しい。例えば、明石他のＵＳ特許第６６１１２９７号は、周囲光のリアリズムを取扱っているが、正しく心地よい色度を保証する特定の方法を与えるものではない。明石特許の教えは、ビデオのリアルタイムの分析を許さないで、スクリプト又はその等価物を必要とするものである。
【００２５】
更に、ビデオコンテンツからのガンマ補正された色空間を用いる周囲光源の設定はしばしばけばけばしい明るい色を生ずる。従来技術のもっと重大な問題は、良好なカラーマッチングが望まれる場合、周囲光源をリアルタイムビデオコンテンツの関数として駆動し、所望の高速に変化する周囲光環境に適応させるために多量の情報を伝送する必要があることである。
【００２６】
従って、周囲照明により生成される色の可能な全範囲を代表的な３刺激ビデオディスプレイシステムと関連して広げるのが有利である。また、人間の視覚の有利な補償効果、感度及び他の特性を利用する周囲照明システムを用いてビデオユーザに与えられる色及び光特性を変調又は変化させることにより、人間の目の特性、例えば光レベルの関数として変化する種々の色の相対感度を利用するのが望ましい。
【００２７】
また、ガンマ誘発歪みの影響のない高品質周囲環境を生成することも有利である。更に、平均カラー値又は特徴カラー値を符号化する経済的なデータストリームを用いて、選択されたビデオ領域から選択されたドミナントカラー抽出によりエミュレーション周囲照明を与える方法を提供することも望まれている。更に、このようなデータストリームの所要サイズを更に低減することも望まれている。
【００２８】
ビデオ及びテレビジョン技術、圧縮技術、データ転送及び符号化、人間の視覚、色科学及び知覚、色空間、測色及びイメージレンダリング（ビデオ再現を含む）に関する情報は、次の参考文献に見出すことができ、これらの文献はその全体を本明細書に含める。参考文献[１] Color Perception, Alan R. Robertson, Physics Today, December 1992, Vol. 45, No. 12, pp. 24-29；参考文献[２] The Physics and Chemistry of Color, 2ed, Kurt Nassau, John Wiley & Sons, Inc., New York (c) 2001；参考文献[３] Principles of Color Technology, 3ed, Roy S. Berns, John Wiley & Sons, Inc., New York (c) 2000；参考文献[４] Standard Handbook of Video and Television Engineering, 4ed, Jerry Whitaker and K. Blair Benson, McGraw-Hill, New York (c) 2003
【発明の開示】
【００２９】
本発明の種々の実施例に関する所与の方法は、ピクセルレベル統計データ又はその等価物を用いて、一以上のドミナントカラーをできるだけ少ない計算負荷で決定又は抽出すると同時にドミナントカラーであると選択された心地よい適切な色度を与えるものである。
【００３０】
本発明は、周囲光源によるエミュレーションのためのドミナントカラーを生成するために演色色空間に符号化されたビデオコンテンツからドミナントカラーを抽出する方法に関する。本発明の方法は、［１］ビデオコンテンツからの少なくとも幾つかのピクセル色度を量子化して指定された色の分布を生成する演色色空間の量子化ステップと、［２］前記指定された色の分布からのドミナントカラーの抽出を、［ａ］関連する色のモード、［ｂ］指定された色のメジアン、［ｃ］指定された色の色度による加重平均、［ｄ］重み関数を用いる加重平均、の何れかを選択することによって行うステップと、［３］このように形成されたドミナントカラーを、前記演色色空間から、周囲光源を駆動可能にするように形成された第２の演色色空間へ変換するステップとを含む。
【００３１】
前記ピクセル色度（又は前記演色色空間）の量子化は、多くの方法で行うことができ（定義項参照）、その目的は、可能な色の状態の削減によって計算負荷を軽減することにあり、例えば多数の色度（例えばピクセル色度）を少数の指定された色度又は色に指定する、又は選択されたピクセルを選択する選択処理によりピクセル数を低減する、又は代表ピクセル又はスーパーピクセルを生成するようにビニングすることにより達成できる。
【００３２】
前記演色色空間のこの量子化を複数のピクセル色度を少なくとも１つのスーパーピクセルにビニングすることにより部分的に実行する場合、このようにして生成されるスーパーピクセルは画像特徴に従って形成されるサイズ、向き、形状又は位置を有するものとすることができる。量子化処理に使用する指定された色は局所的カラーベクトルを選択でき、これは必ずしも第２の演色色空間のような演色色空間内のものとする必要はない。
【００３３】
ドミナントカラーが指定された色の分布から選択されたら、いわば逆行して実際のピクセル色度を得てドミナントカラーを絞り込むことができる。例えば、指定された色の分布内の関心のある少なくとも１つの色を設定し、関心色に指定されたピクセル色度を抽出して指定された真のドミナントカラーをドミナントカラーとして導出することができる。従って、指定された色はビデオコンテンツの未完成の近似であるが、所要の計算をセーブしながら、真のドミナントカラーによって周囲分布のための正しい色度を与えることができる。また、ドミナントカラーはドミナントカラーのパレットを具えることができる。
【００３４】
変換ステップ［３］の他の可能な実施例は、［3a］ドミナントカラーを演色色空間から非演色色空間へ変換するステップ、及び［3b］ドミナントカラーを非演色色空間から第２の演色色空間へ変換するステップを含む。また、このステップは、さらに、第１及び第２の３刺激原色行列を用いる前記演色色空間及び第２の演色色空間の原色の非演色色空間への行列変換を具え、前記演色色空間の原色と第１の３刺激行列と第２の３刺激行列との行列乗算によりドミナントカラー情報の第２の演色色空間への変換を得ることができる。
【００３５】
ステップ［１］のピクセル色度は抽出領域から得ることができ、抽出領域に隣接する周囲光源からのドミナントカラーの周囲光を放出する追加のステップ［４］を含むことができる。
【００３６】
ステップ［２］の可能な重み関数は、画像特徴部からの複数のピクセル色度の抽出を許容し、過去のフレームが後のビデオフレームのドミナントカラーの選択を案内することができる。任意の抽出領域をビデオフレームから抽出される画像特徴部に選択することができる。
【００３７】
これらのステップはさまざまに組み合わせることができ、非演色色空間はＣＩＥ ＸＹＺ、ＩＳＯ標準１７３２１に規定されているＩＳＯ ＲＧＢ、Ｐｈｏｔｏ ＹＣＣ、ＣＩＥ ＬＡＢ又は他の任意の非演色色空間とすることができ、ステップ［１］，［２］及び［３］はビデオ信号とほぼ同期させて、周囲光を第２の演色色空間の色情報を用いるビデオディスプレイから又はその周囲に放出させることができる。
【発明を実施するための最良の形態】
【００３８】
定義
下記の定義が本明細書全体を通して使用される。
・周囲光源は、特許請求の範囲においては、光生成に必要な任意の光生成回路又はドライバを含む。
・周囲空間は、ビデオディスプレイユニット外部のあらゆる物体又は空間を意味する。
・指定された色分布は、ビデオイメージ又はビデオコンテンツに分布するフルレンジのピクセル色度を表すため（例えば計算のため）に選択される一組の色を示す。
・色度は、周囲光源の駆動との関連で、生成される光の色特性を機械的、数値的又は物理的に規定するものであり、ＮＴＳＣ又はＰＡＬテレビジョン放送で使用されているような特定の方法を意味しない。
・色情報は、色度と輝度のいずれか一方又は両方、又は機能的に等価な量を含む。
・コンピュータは、既知のアーキテクチャを用いるＣＰＵのような全てのプロセッサのみならず、コーディング、デコーディング、リーディング、プロセシング、設定コード又は変更コードの抽出ができる任意のインテリジェントデバイス、例えばディジタルオプティカルデバイス、又はこれらの機能を実行するアナログ電気回路も含む。
・ドミナントカラーは、・・・。
・抽出領域は、全ビデオイメージ又はフレームの任意の一部分を含む。
・フレームは、ビデオコンテンツ内のイメージ情報の時系列提示を含み、業界で使用されているフレームと一致するが、ビデオコンテンツを任意の瞬時に又は規則正しいインターバルで伝達するのに使用される完全なイメージデータ又はその一部分（インターレース部分）も含む。
・ゴニオクロマティック（Goniochromatic）は、玉虫色により生成されるような、視角又は観察角の関数として異なる色又は色度を与える特性をいう。
・ゴニオフォトメトリック（Goniophotometric）は、真珠光沢現象、きらきら輝く現象又は逆反射現象のような、視角又は観察角の関数として異なる光強度、透過率及び／又は色を与える特性をいう。
・補間は、２組の値の間の線形又は数学的補間、並びに、既知の２組の値の間に値を設定する機能規定を含む。
・光特性は、広義には、周囲光源により生成されるような光の性質の明細（光透過度又は反射度のような、輝度及び色度以外の全ての記述子を含む）、又はゴニオフォトメトリック特性の明細（周囲光源の観察時に視角の関数としてきらきら輝く現象又は他の既知の現象が生成する程度を含む）、光出力方向（ポインティングベース又は他の伝播ベクトルを指定することにより与えられる方向、例えば立体角又は立体角分布関数を含む）を意味する。周囲光源上の位置、例えばエレメントピクセル又はランプの位置を指定する座標も含むことができる。
・輝度は、明るさのパラメータ又は尺度、強度又は等価尺度を示し、光生成又は測定の特定の方法、又は生物的心理学的解釈を意味しない。
・ピクセルは、実際の又は仮想のビデオ画素、ピクセル情報の導出を可能とする等価物をいう。
・色空間の量子化は、明細書及び特許請求の範囲においては、例えば多数の色度(例えばピクセル色度)を少数の指定された色度又は色に割り当てることにより得られる多数の可能な色状態の削減、又は選択されたピクセルを抽出する選択プロセスによるピクセル数の削減、又は代表ピクセル又はスーパーピクセルを生成するビニングをいう。
・演色色空間は、センサからキャプチャされる画像又は色空間、又は、ソース又はディジタルデバイスに固有の画像又は色空間を示し、この画像又は色空間はデバイス及び画像に固有である。殆どのＲＧＢ色空間は演色色空間であり、ビデオディスプレイＤを駆動するのに使用されるビデオ色空間を含む。特許請求の範囲では、ビデオディスプレイに固有の色空間も周囲光源８８に固有の色空間もともに演色色空間である。
・色情報の非演色色空間への変換は、特許請求の範囲においては、非演色色空間への直接変換を含み、また、この変換は、非演色色空間への変換により得られる３刺激原色行列の逆行列(例えば図８に示すＭ２−１)を使用する恩恵をもたらす。
・非演色色空間は、標準色空間、すなわち非デバイス固有（デバイスに依存しない）色空間、例えば標準ＣＩＥ ＸＹＺを用いて原画像測色を記述するもの、ＩＳＯ１７３２１標準に規定されているようなＩＳＯ ＲＧＢ、Ｐｈｏｔｏ ＹＣＣ、及びＣＩＥ ＬＡＢ色空間を示す。
・ビデオは、画像又は光生成デバイスを示し、光生成にエネルギーを必要とするアクティブデバイスでも、オフィスビルディングの窓のような画像情報を伝達する透過性媒体でも、又は画像情報を遠隔地で取り出せる光ガイドでもよい。
・ビデオ信号は、ビデオディスプレイユニットを制御するために配信される信号又は情報を示し、オーディオ部分も含む。従って、ビデオコンテンツ分析はオーディオ部分に対するオーディオコンテンツ分析を含むことができる。一般に、ビデオ信号は、任意の数の既知の変調技術を用いる無線周波数信号のような任意のタイプの信号、アナログ及び量子化されたアナログ波形を含む電気信号、パルス幅変調、パルス数変調、パルス位置変調、ＰＣＭ(パルス符号変調)及びパルス振幅変調を用いるディジタル(電気)信号、又は音響信号、オーディオ信号及び光信号（これらのすべての信号もディジタル技術を使用できる）のような他の信号を含むことができる。他の情報と一緒に単に順次に配置されるデータ、例えばコンピュータベースアプリケーション内のデータを使用することもできる。
・重みは、所定の色度及び／又は空間位置に優先状態又は高い数学的重みを与えるここに示す方法に等価な方法をいう。
【００３９】
本発明によりビデオコンテンツから導出される周囲光は、低い計算負荷で、周囲照明に対する自由度の高い特異度を維持しながら、必要に応じ、原ビデオシーン光の色度に高い忠実度を可能とするように形成される。これにより、小さい色範囲及び減縮輝度空間を有する周囲光源で、比較的大きな色範囲及び輝度応答曲線を有する上級光源からのビデオシーン光をエミュレートすることが可能になる。周囲照明用に可能な光源は、任意の数の既知の照明装置、例えばＬＥＤ（発光ダイオード）と関連の半導体ラジエータを含むもの、ハロゲン又は上級化学物質を用いる変形型を含む白熱ランプ、蛍光体及びネオンランプを含むイオン放電ランプ、レーザ、例えばＬＣＤ(液晶ディスプレイ)又は他の光変調器により変調される光源、フォトルミネッセンスエミッタを含むことができ、また機能的にディスプレイに類似するアレイを含む任意の数の既知の制御可能光源を含むことができる。
【００４０】
以下の説明は、最初に、ビデオコンテンツからの色情報の抽出に部分的に関してなされ、その後ビデオイメージ又はシーンを表すドミナントカラー又は真の色を導出する方法に関してなされる。
【００４１】
図１につき説明すると、例示のみを目的として、本発明のビデオディスプレイＤの簡単な正面図が示されている。ディスプレイＤは、ＮＴＳＣ、ＰＡＬ又はＳＥＣＡＭ放送標準のような演色色空間、又はＡｄｏｂｅ ＲＧＢのような色空間からのビデオコンテンツを復号する任意の数の既知のデバイスを具える。ディスプレイＤは、色情報抽出領域Ｒ１，Ｒ２，Ｒ３，Ｒ４，Ｒ５及びＲ６を具えることができ、それらの境界は図示のものと相違させることもできる。これらの色情報抽出領域は任意に予め定められ、特性周囲光Ａ８を発生する目的のために特徴づけられ、例えば背面に装着された可制御周囲照明装置(図示せず)によって、例えばディスプレイＤが取り付けられた壁に部分的に漏れる光により図に示すような周囲光Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５及びＬ６を発生し、放射する。或いは又、図に示すディスプレイ枠Ｄｆ自体が、光を同様に、外方へ（観察者(図示せず)の方へ放射する周囲照明ユニットを具えるようにすることもできる。必要に応じ、各色情報抽出領域Ｒ１−Ｒ６はそれ自身に隣接する周囲光を制御できる。例えば、色情報抽出領域Ｒ４は周囲光Ｌ４を制御できる。
【００４２】
図２につき説明すると、部屋又は周囲空間Ａ０を上から見た部分概略部分断面図が示されており、この周囲空間内では本発明を用いて多数の周囲光源からの周囲光が発生される。周囲空間Ａ０内には、ビデオディスプレイを見るように配列されたいすとテーブル７が配置されている。周囲空間Ａ０内には、本発明を用いて任意に制御される複数の周囲光源も配列され、ライトスピーカ１−４、ソファやいすの下のサブライトＳＬ、並びにディスプレイＤの周囲に配列された一組の特別のエミュレーション周囲光源、即ち図１に示すように周囲光Ｌｘを発生する中心ライトを含む。これらの周囲光源の各々は図に陰影として示す周囲光Ａ８を放出しうる。
【００４３】
本発明と連携して、これらの周囲光源からの周囲光は実際にはビデオディスプレイＤにより放射されない又はそれから導出されない色又は色度で発生させることができる。これは、人間の目及び視覚体系の特性を利用可能とする。種々の可視波長に対する検出感度を与える人間の視覚体系の視感度関数は光源レベルの関数として変化する。
【００４４】
例えば、かん体による暗所視又は暗視は青色及び緑色に感度がいい。錐体を用いる明所視は赤色や黄色などの長波長光を検出するのに適している。暗いホームシアター環境では、このような光源レベルの関数として変化する種々の色の相対視感度の変化は、周囲空間内でビデオユーザに供給される色を変調又は変化させることによりある程度抑えることができる。これは、ライトスピーカ１−４のような周囲光源からの光を光変調器(図示せず)を用いて減色することにより、又は光スピーカ内の付加的要素、即ちフォトルミネッセンスエミッタを用いて光を周囲放出前に変更することにより行うことができる。フォトルミネッセンスエミッタは光源から入来する光を吸収し励起されて所望の高い波長で光を再発光することにより色変換を行う。蛍光色素のようなフォトルミネッセンスエミッタによるこの励起及び再発光は原ビデオイメージ又は光源に本来存在しない新しい色、おそらくディスプレイＤの動作に固有の色の範囲又は色域内にも存在しない新しい色を演色することができる。これは、極めて暗いシーン時のような周囲光Ｌｘの所望の輝度が低いときに役に立ち、光変更なしで通常達成されるより高い所望の知覚レベルを達成できる。
【００４５】
新しい色の生成は新しい興味深い効果を提供することができる。説明のための一つの例はハンターオレンジと呼ばれている橙色光の生成であり、この色に対して使用可能な蛍光染料は周知である（参考文献[2]参照）。この例は、蛍光発光の一般的現象及び関連現象とは対照的に、蛍光色を含む。蛍光オレンジ又は他の蛍光染料の使用は低い光状態に対して特に有用であり、赤色及び橙色の増加により長波長に対する暗所視の感度低下を相殺することができる。
【００４６】
周囲光源に使用できる蛍光染料はペリレン、ナフタルイミド、クマリン、チオキサンテン、アントラキノン、チオインジゴイドのような染料クラス、及び米国オハイオ州クリーブランドにあるDay -Glo Color Corporation製のもののような染料クラス中の既知の染料を含むことができる。利用可能な色は、アパッチイエロー、チグリスイエロー、サバンナイエロー、ポコノ（Pocono）イエロー、モホーク（Mohawk）イエロー、ポトマックイエロー、マリーゴールドオレンジ、オタワレッド、ボルガレッド、サーモンピンク、及びコロンビアブルーを含む。これらの染料クラスは、既知のプロセスを用いてＰＳ、ＰＥＴ、及びＡＢＳのような樹脂に含めることができる。
【００４７】
蛍光染料及び蛍光材料は同じ色度の非蛍光性材料より著しく明るくすることができるので、視覚効果を高めることができる。蛍光色の発生に使用される伝統的な有機材料の所謂耐久性問題の解決に少なくとも２０年間かかり、技術的進歩によって太陽光の下で７−１０年間に亘り鮮明な色を維持する耐久性の高い蛍光色素が開発されている。従って、これらの色素は紫外線の入射が極めて少ないホームシアター環境では殆ど破壊されない。
【００４８】
また、蛍光性光色素を使用することもでき、これらの色素は単純に短波長光を吸収しこの光を赤色や橙色のような長波長光として再発光する。今では、光青色及び紫色のような可視光、例えば４００−４４０ｎｍ光で励起される技術的に進歩した無機色素が容易に入手可能である。
【００４９】
ゴニオフォトメトリック及びゴニオクロマティック効果も同様に用いて観察角の関数として種々の色、強度及び特性の光を発生させることができる。この効果を実現するために、周囲光源源１−４及びＳＬ及びＬｘは、既知のゴニオフォトメトリック素子(図示せず)、例えば金属性又は真珠光沢性の透過型染料、周知の回折効果又は薄膜界面効果を使用する玉虫色物質、例えば魚のうろこ、グアニンの薄いフレーク、又は保存剤入りの２−アミノヒポキサンチンを単独で又は組み合わせて使用することができる。微粉末のマイカ又は他の物質、例えば酸化層、斑銅鉱又は孔雀石からなる光真珠光沢物質、金属フレーク、ガラスフレーク又はプラスチックフレーク、粒子状物質、オイル、研磨ガラス及び研磨プラスチックを用いるディフューザを使用することもできる。
【００５０】
次に図３につき説明すると、図３には周囲光源の駆動を可能にするために色情報（例えばドミナントカラー又は真の色）を抽出し色空間変換を行う本発明のシステムが示されている。第１ステップとして、既知の技術を用いてビデオ信号ＡＶＳから色情報を抽出する。
【００５１】
ビデオ信号ＡＶＳはＭＰＥＧ符号化、オーディオＰＣＭ符号化等で使用される既知のディスプレイデータフレーム又はパケットを具える。可変長データパケットを有するプログラムストリーム又はデータパケットを等分するトランスポートストリームのようなデータパケットのための符号化方式又はシングルプログラムトランスポートストリームのような他の方式を使用することができる。また、本明細書に開示される機能ステップ及びブロックはコンピュータコード及び他の通信標準（アシンクロナスプロトコルを含む）を用いてエミュレートすることができる。
【００５２】
一般例として、図に示すビデオ信号ＡＶＳは図に示すようにビデオコンテンツ分析ＣＡを受け、可能なら既知の方法を用いて選択したコンテンツを図示のハードディスクに記録し該ディスクから転送するとともに、可能なら図に示すメモリＭＥＭに格納されたコンテンツタイプのライブラリ又は他の情報を用いる。これは、選択ビデオコンテンツの独立転送、平行転送、直接転送、遅延転送、連続転送、周期的又は非周期的転送を可能にする。このビデオコンテンツから図のように特徴抽出ＦＥを行うことができ、例えば全体又は画像特徴部から色情報（例えばドミナントカラー）を導出することができる。この色情報はまだ演色色空間に符号化されており、次に図に示すＲＵＲマッピング変換回路１０を用いてＣＩＥ ＸＹＺのような非演色色空間に変換される。ここでＲＵＲは所望の変換タイプ、即ち演色−非演色−演色を表し、従ってＲＵＲマッピング変換回路１０はさらに色情報を図に示すように前記周囲光源８８の駆動を可能にすべく形成された第２の色空間に変換する。ＲＵＲ変換は好適であるが、周囲照明光生成回路又はその等価物が使用可能な第２の色空間内の情報を受信する限り、他のマッピングを使用することもできる。
【００５３】
ＲＵＲマッピング変換回路１０は同一の機能を実行するソフトウエアを使用するコンピュータシステムに機能的に組み込むことができるが、データ伝送プロトコルで送られたパケット化された情報を復号する場合には、回路１０内に、ビデオ演色色空間係数等に相関する又は該係数等を提供する情報を含む又はそのために更新されるメモリ(図示せず)を設けることができる。この新たに生成された第２の演色色空間は周囲光源８８を(図１及び図２に示すように)駆動するのに適切で望ましく、既知の符号化を用いて周囲照明生成回路１８に供給する。周囲照明生成回路１８はＲＵＲマッピング変換回路１０から第２演色色空間情報を受け取り、ユーザインターフェース及び好みメモリ（Ｕ２として示す）からの入力を考慮して、図に示すように可能なら周囲照明（第２演色）色空間ルックアップテーブルＬＵＴを参照して実際の周囲光出力制御パラメータ（例えば印加電圧）を発生する。周囲照明生成回路１８により生成された周囲光出力制御パラメータは図に示すようにランプインターフェースドライバＤ８８に供給されて周囲光源８８を直接制御又は給電する。周囲光源８８は個別の周囲光源１−Ｎ、例えば図１及び図２に示す先に述べた周囲光源１−４又は周囲中心ライトＬｘを具えることができる。
【００５４】
リアルタイム計算負荷を低減するために、ビデオ信号ＡＶＳから導出された色情報は短縮又は制限することができる。図４に、ビデオ抽出領域から平均色情報を計算する方程式が検討のために示されている。以下に述べるように(図１８参照)、ビデオ信号ＡＶＳのビデオコンテンツは一連の時間系列のビデオフレームを具えるが、これは必要ではない。各ビデオフレーム又は等価時間ブロックごとに、各抽出領域(例えばＲ４)から平均色情報又は他の色情報を抽出することができる。各抽出領域は所定のサイズ、例えば１００×３７６ピクセルに設定することができる。例えば、２５フレーム／秒のフレームレートであるものと仮定すると、抽出領域Ｒ１−Ｒ６に対する平均値抽出前のグロスデータ（８ビットカラーを指定するのに１バイトを必要とするのみとする）は、各ビデオＲＧＢ３刺激原色につき、６×１００×３７６×２５、即ち５．６４ミリオンバイト／秒になる。このデータストリームは極めて大きく、ＲＵＲマッピング変換回路１０で処理するのが困難であるため、特徴抽出ＦＥ中に各抽出領域Ｒ１−Ｒ６に対して平均カラーの抽出を行う。具体的には、図に示すように、ｍ×ｎピクセルの各抽出領域に対してＲＧＢ色チャネル値（例えばＲｇ）を加算し、ピクセル数ｍ×ｎで除算して各ＲＧＢ原色に対する平均値、例えば赤色に対するＲavgを求める。このように各ＲＧＢ色チャネルに対してこの加算を繰り返すと、各抽出領域に対する平均値はトリプレットＲavg＝｜Ｒavg，Ｇavg，Ｂavg｜になる。同じ手順を全ての抽出領域Ｒ１−Ｒ６及び各ＲＧＢ色チャネルに対して繰り返す。抽出領域の数及びサイズは図示の例から必要に応じ変えることができる。
【００５５】
ＲＵＲマッピング変換回路１０により色マッピング変換を実行する次のステップは図５に示すような既知の３刺激原色行列を用いて示すことができ、表すことができ、図５においてベクトルＲ，Ｇ，Ｂを有する演色３刺激色空間はＸr,max，Ｙr,max，Ｚr,maxのような要素を有する３刺激原色行列を用いて変換され、ここでＸr,maxは最大出力におけるＲ原色の３刺激値である。
【００５６】
演色色空間から非演色（デバイスに依存しない）色空間への変換はイメージ及び／又はデバイスに固有の既知の線形化であり、行列変換に続いてピクセル再構成ステップ(必要に応じ)及び白点選択ステップを実行することができる。この場合には、単純に演色ビデオ出力空間を非演色色空間測色への変換の出発点として選択する。非演色イメージは観察可能又は印刷可能にする追加の変換を受ける必要があり、従ってＲＵＲ変換は第２の演色色空間への変換を含む。
【００５７】
第１の可能なステップとして、図６及び図７は原色Ｒ，Ｇ，Ｂで表現されるビデオの演色色空間及び原色Ｒ’，Ｇ’，Ｂ’で表現される周囲照明の演色色空間を図に示す非演色色空間Ｘ，Ｙ，Ｚにマッピングする行列方程式を示す。ここで、３刺激原色行列Ｍ1はビデオＲＧＢを非演色ＸＹＺに変換し、３刺激行列Ｍ2は周囲光源Ｒ’Ｇ’Ｂ’を非演色ＸＹＺ色空間に変換する。図８に示すように両演色色空間ＲＧＢ及びＲ’Ｇ’Ｂ’を等式化にすることにより、演色(ビデオ)色空間及び第２の演色(周囲)色空間の原色ＲＧＢ及びＲ’Ｇ’Ｂ’の前記非演色色空間（ＲＵＲマッピング変換）への行列変換が可能になる。即ち、第１及び第２の３刺激原色行列（Ｍ1，Ｍ2）を用い、演色ビデオ色空間のＲＧＢ原色を第１の３刺激強烈Ｍ1と第２の３刺激行列の逆行列を乗算することにより第２の演色色空間（Ｒ’Ｇ’Ｂ’）への色情報の変換を導出することができる。既知のディスプレイデバイスに対する３刺激原色行列が容易に使用可能であり、周囲光源に対する３刺激原色行列は当業者が既知の白色点法を用いて決定することができる。
【００５８】
図９〜１１につき説明すると、白色点法を使用して汎用の３刺激原色行列Mを導出する従来技術が示されている。図９では、SrXrのような量は（周囲光源の）各原色の最大出力における３刺激値を表し、Srは白色点の振幅を表し、Xrは（周囲）光源により生成される原色光源の色度を表す。図１０に、白色点法を使用して、Srを既知の光源色度行列の逆行列を使用して白色点基準値のベクトルと等式化する行列方程式が示されている。図１１の算術乗算は、Xwのような白色点基準値は白色点振幅または輝度と光源色度との積であることを思い起こさせる。全体を通して、３刺激値Ｘは色度ｘに等しく設定され、３刺激値Ｙは色度ｙに等しく設定され、３刺激値Ｚは１−（ｘ＋ｙ）に等しく設定される。第２の演色周囲光源色空間のための原色および基準白色色成分は、色分光計のような、既知の技術を用いて取得することができる。
【００５９】
第１の演色ビデオ色空間についても、同様の量を見出すことができる。例えば、現代のスタジオモニタは北アメリカ、ヨーロッパおよび日本において、わずかに異なる標準規格を有することが知られている。しかし、国際合意は一例として高解像度テレビジョン（HDTV）用の原色について得られており、これらの原色はスタジオ・ビデオ、コンピューティングおよびコンピューターグラフィックスにおける現代のモニタの原色に近いものを表している。この標準規格は公式に表明されたＩＴＵ−Ｒ勧告ＢＴ．７９０であり、必要パラメータを含み、ＲＧＢの関連した３刺激原色行列（M）は、
（ＩＴＵ−Ｒ BT.709用の行列Ｍ）
0.640  0.300  0.150
0.330  0.600  0.060
0.030  0.100  0.790
であり、白色点値も知られている。
【００６０】
図１２につき説明すると、図３に示すのと類似したシステムで、特徴抽出ステップFEの後に、周囲放射光のためのガンマ補正ステップ55をさらに具えるシステムが示されている。代案として、ガンマ補正ステップ55は、ＲＵＲマッピング変換回路10と周囲照明生成回路18との間に実行されるステップでもよい。ＬＥＤ周囲光源のための最適なガンマ値は1.8であることが確かめられているので、典型的ビデオ色空間のガンマ値2.5に対処するための負のガンマ補正を、既知の数学を使用して見出される正確なガンマ値により実行することができる。
【００６１】
通常、ＲＵＲマッピング変換回路10は、任意の適切な知られたソフトウェアプラットフォームにより実行される機能ブロックとすることができ、図１３に示すように全ＲＵＲ変換を実行する。図１３に示す回路図は、ビデオＲＧＢのような演色色空間を具えているビデオ信号ＡＶＳを取得し、このビデオ信号ＡＶＳを、ＣＩＥ  ＸＹＺのような非演色色空間に変換し、次に第２の演色色空間（周囲光源ＲＧＢ）に変換する。このＲＵＲ変換後、周囲光源88を信号処理とは別に駆動できる。
【００６２】
図１４は、本発明により使用される周囲光源の変換行列係数を取得するプロセスステップであり、これらのステップは、図示するように、従来技術において知られている、周囲光源装置を駆動するステップと、出力直線性をチェックするステップとを含む。周囲光源の原色が安定している場合（分岐の左側に示す「安定な原色」）、カラー分光器を用いて、変換行列係数を取得することができ、一方、周囲光源の原色が安定していない場合（分岐の右側に示す「不安定な原色」）、前に与えたガンマ補正をリセットすることができる（図に示す「ガンマ曲線をリセット」）。
【００６３】
一般に、必要なことではないが、R4のような抽出領域の全ピクセルから色情報を抽出することが望ましく、その代わりに、所望すれば、選択されたピクセルの選び出しにより、平均カラーのより高速な推定、あるいは、抽出領域の色特性のより高速な生成が可能となる。図１５は、本発明を用いたビデオの推定値抽出および周囲光の再現のためのプロセスステップであり、このステップは、
[１]（演色色空間、例えばビデオＲＧＢから）ビデオ再現の測色的推定を生成するステップと、
[２]非演色色空間に変換するステップと、
[３] 周囲光再現用の測色的推定に変換する（第２の演色色空間、例えばＬＥＤ  ＲＧＢ）ステップと、
を含む。
【００６４】
本発明によれば、ビデオフレームからビデオコンテンツ（例えばドミナントカラー）の抽出および処理をサポートするのに要求される必要データビットストリーム（図１８参照）は、ビデオフレームの妥当なサブサンプリングによって、削減できるということが発見された。図１６につき説明すると、本発明によるビデオフレーム抽出の概略図が示される。図には、一連の個別の連続したビデオフレームF、すなわち、フレームF1、F2、F3など（例えば、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ標準規格により指定されている個々のインタレースビデオフレームあるいはノンインタレースビデオフレーム）が示されている。フレームF1及びFNのような選択された連続フレームから、コンテンツ分析および／または特徴抽出をすることによって、例えばドミナントカラー情報を抽出することによって、許容可能な周囲光源応答、リアリズムおよび忠実度を維持しながら、データ負荷またはオーバーヘッドを低減することができる。N = 10が良好な結果を与える、すなわち、連続した１０フレームからの１フレームをサブサンプリングするとうまくいくことが確かめられている。このことは、フレーム抽出間に低い処理オーバーヘッドのリフレッシュ周期Pを提供し、この期間中に、フレーム間補間プロセスによって、ディスプレイDにおける色度変化の時間的変化の適切な近似を提供することができる。選択されたフレームF1およびFNは、図に示すように、抽出され（抽出）、G2、G3、G4として示される色度パラメータについての中間の補間値は、前述の周囲光源88用の駆動プロセスに伝える必要のある色情報を提供する。これにより、フレーム2〜N-1までの間中同じ色情報を単に凍結、または維持する必要がなくなる。これらの補間値は直線的に定めることができ、例えば抽出されたフレームF1とFN間の合計色度差を複数の補間フレームGにわたって分散させる。代案として、関数は、抽出されたフレームF1とFN間の色度差を他の任意な方法で分散させることができ、例えば、抽出された色情報の時間的変化のより高次の近似に適合させることである。（例えばＤＶＤプレーヤにおいて）補間の結果を、予めフレームFにアクセスすることによって、補間フレームの制御に用いることができ、あるいは、（例えば放送復号化アプリケーションにおいて）補間を用いて、予めフレームFにアクセスせずに、将来の補間フレームの制御に用いることもできる。
【００６５】
図１７は、本発明による簡略化した色度評価のためのプロセスステップである。フレーム抽出のより高次の解析は、リフレッシュ周期Pをより大きくし、Nをそれまで可能であったよりも大きくすることができる。フレーム抽出時、または抽出領域Rx内の選択されたピクセルの暫定的な選び出し時には、左側に図示する次フレーム抽出の遅延を生じさせるか、あるいは、右側に図示するフレーム全体の抽出の開始するかのいずれかである図示の簡略化した色度評価を導出できる。いずれの場合も、補間が進行し（「補間」）、凍結され遅延された次フレームまたはインクリメントされた色度値が使用される。これは、ビットストリームまたは帯域幅のオーバーヘッドに関してさらに経済的な動作を提供できる。
【００６６】
図１８は、図３および図１２の上部であり、代替の抽出ステップが示され、フレームデコーダFDを用いて、ステップ33では、領域情報を抽出領域（例えばR1）から抽出可能となる。次のプロセスまたはコンポーネントステップ35は、図示のように、色度差を評価するステップと、その情報を用いてビデオフレーム抽出レートを設定するステップとを含む。図４の平均化のような出力計算00あるいは、後述するドミナントカラー抽出を実行する次のプロセスステップは、図に示すように、上述した周囲照明生成回路18へのデータ転送の前に実行される。
【００６７】
図１９に示すように、色情報抽出用のプロセスステップ全体および本発明の処理は、ビデオ信号ＡＶＳを得るステップと、局所的な（色）情報を選択されたビデオフレーム（例えば前述のF1とFN）から抽出するステップと、選択されたビデオフレーム間を補間するステップと、ＲＵＲマッピング変換のステップと、任意のガンマ補正のステップと、この情報を用いて周囲光源（88）を駆動するステップとを含む。図２０に示すように、選択されたフレームからの局所的な情報抽出ステップの後に、２つの追加のプロセスステップを挿入することもでき、１つは予め設定された基準による、選択されたフレームF1とFNの間の色度差の評価を実行することができ、１つは新たなフレーム抽出レートを設定することができる。従って、連続したフレームF1とFNの間の色度差が大きい場合、または急増する（例えば、大きい一次導関数）場合、または色度差の履歴に基づくような他の基準を満たす場合、フレーム抽出レートを増加させることができ、リフレッシュ周期Pを減少させることができる。しかし、連続したフレームF1とFNの間の色度差が小さく安定している場合、または急増していない（例えば、低い値かゼロの一次導関数の絶対値）場合、または色度差の履歴に基づくような他の基準を満たす場合、要求される必要データビットストリームを節約でき、フレーム抽出レートを減少させることができ、リフレッシュ周期Pを増加させることができる。
【００６８】
図２１につき説明すると、本発明の一態様に従ってプロセス全体の概略図が示されている。図示するように、できれば計算負荷を軽減するために、[１]例えば以下の方法を用いて、ビデオコンテンツに対応する演色色空間を量子化し（QCS：色空間の量子化）、[２]ドミナントカラー（またはドミナントカラーのパレット）を選択し（DCE：ドミナントカラー抽出）、[３]発生する周囲光の忠実度、範囲、適切性を改善するために、カラーマッピング変換、例えば、ＲＵＲマッピング変換（10）を実行する（MT：Ｒ’Ｇ’Ｂ’へのマッピング変換）。
【００６９】
色空間の量子化は、対象とする可能な色状態および／またはピクセルの数を削減することと似たようにすることができ、さまざまな方法を用いて実行できる。図２２は、一実施例として、ビデオコンテンツからピクセル色度を量子化する１つの可能な方法を図式的に示す。ここでは、値＝１〜１６の範囲の例示的なビデオ原色値Rを示し、図示するように、これらの原色値Rのどれも指定された色ACに指定する。従って、たとえば、いかなる赤いピクセル色度または１〜１６の値もビデオコンテンツ内に存在するときはいつでも、これを指定された色ACに置き換えて、ビデオ画像を特徴づける際に必要とされる色数を赤色原色については１６分の１に削減する。３原色全てに対して、可能な色状態におけるこのような削減は、この実施例では、計算に使用される色数の１６×１６×１６分の１の削減、即ち、４０９６分の１の削減になりうる。これは、例えば２５６×２５６×２５６または１６７８万色の可能な色状態を表示する８ビットカラーを有するような、多くのビデオシステムにおいて、ドミナントカラーを決定する際の計算負荷を低減するのに特に有用となりうる。
【００７０】
ビデオ色空間を量子化する他の方法は図２３に与えられ、複数のピクセルPi（例えば１６個）からのピクセル色度をスーパーピクセルXPにビニングすることによって、演色色空間を量子化する他の実施例を図式的に示す。ビニングとは、隣接ピクセルが数学的に（または計算的に）加算して、更なる計算または表現に使われるスーパーピクセルを形成する方法である。従って、たとえば、通常７５万ピクセルを有するビデオフォーマットにおいて、ビデオコンテンツを表示するのに選択されるスーパーピクセルの数は、計算のためのピクセル数を５万あるいはその他の所望なより少ない数にも減らすことができる。
【００７１】
このようなスーパーピクセルXPの数、サイズ、向き、形状または位置は、ビデオコンテンツの関数として変えることができる。たとえば、特徴抽出FEの間、スーパーピクセルXPは画像の特徴のみから抽出され、境界領域または背景からは抽出されないことを保証すると有利であり、それに応じたスーパーピクセルXPを形成できる。図２４は、図２３に類似したビニングプロセスを図式的に示すが、スーパーピクセルのサイズ、向き、形状または位置は、図示するように画像特徴J8に従って形成することができる。画像特徴J8は、図示するように、直線的な水平または垂直境界を有さず、でこぼこまたは不規則である。したがって、図示するように、スーパーピクセルXPは、画像特徴形状を模倣するかまたはエミュレートするように選択される。カスタマイズした形状を有することに加えて、このようなスーパーピクセルの位置、サイズおよび向きを、既知のピクセルレベル計算技術を使用して、画像特徴J8によって制御できる。
【００７２】
量子化は、ピクセル色度を取得することができ、それらを指定された色（例えば指定された色AC）と置き換える。それらの指定された色は、好ましいカラーベクトルを用いることを含めて、任意に指定できる。それゆえ、任意あるいは均一の指定された色の組を使用するよりはむしろ、少なくとも、いくつかのビデオ画像のピクセル色度を好ましいカラーベクトルに指定することができる。
【００７３】
図２５は、局所的カラーベクトルおよび標準的なカーテシアンのＣＩＥ  ｘ−ｙ色度図またはカラーマップ上のそれらの色または色度座標を示す。このマップは、最大輝度の、知られている全ての色または知覚できる色を色度座標x、yの関数として示し、光波長はナノメートルで表し、参考のためのＣＩＥ標準光源白色点を示す。このマップ上には３つの局所的カラーベクトルVを示し、１つのカラーベクトルVがＰＡＬ/ＳＥＣＡＭ、ＮＴＳＣおよびアドビＲＧＢ色生成標準規格（範囲を示す）によって得られる色範囲（図示する複数の色範囲）の外側に存在するということが分かる。
【００７４】
明確にするため、図２６は、図２５のＣＩＥプロットの一部の拡大図を示し、ピクセル色度Cpとそれらの局所的カラーベクトルVへの指定をさらに示す。局所的カラーベクトルに対する指定の基準は変えることができ、既知の計算技術を用いた、特定のカラーベクトルVからのユークリッド距離あるいは他の距離の計算を含むことができる。ラベルのついたカラーベクトルVは、ディスプレイシステムの演色色空間または色域の外側に位置し、これにより、周囲照明システムまたは光源88によって容易に生成される好ましい色度が演色（ビデオ）色空間の量子化時に使用する指定された色のうちの１つになりうる。
【００７５】
指定された色の分布を上述した方法の１つ以上を用いて作成したら、次のステップは、［ａ］関連する色のモード、［ｂ］指定された色のメジアン、［ｃ］指定された色の色度による加重平均、［ｄ］重み関数を用いる加重平均、のいずれかを選択することによって、指定された色の分布からドミナントカラー抽出を実行することである。
【００７６】
たとえば、最高頻度で起こる指定された色を選択するために、ヒストグラム法を使用できる。図２７は、最高頻度で起こる、１つかそれ以上の指定されたピクセルの色（指定された色）、すなわち、指定された色分布のモードを与えるヒストグラムを示す（縦軸のピクセルパーセント参照）。このモードまたは最も頻繁に用いられる指定された色は、周囲照明システムによるエミュレーションのために用いるドミナントカラーDC（図示）として選択することができる。
【００７７】
同様に、指定された色分布のメジアンは、ドミナントカラーDCとして選択する、あるいは、ドミナントカラーDCの選択に影響を与えることができる。図２８は指定された色分布のメジアンを図式的に示し、メジアンまたは中間値（指定された色が偶数の場合補間された値）をドミナントカラーDCとして選択することを示している。
【００７８】
代案として、選択されるドミナントカラーを、おそらく周囲照明システムの色域の強さにより良く合わせるように制御するために、加重平均を使用して指定された色にわたる総計を実行できる。図２９は、指定された色の色度による加重平均のための数学的な総和を示す。明確にするため、単一変数Rを示すが、任意の次数または座標（例えばＣＩＥ座標x、y）も使うことができる。色度変数Rは、ピクセル座標（または、必要に応じ、スーパーピクセル座標）i、jにわたって合計され、この例ではi=1〜n、j=1〜mである。色度変数Rに、その合計全体にわたって、指数i、jを有する重み関数Wを掛け算し、その結果を、ピクセル数n×mによって割り算して、加重平均を得る。
【００７９】
図３０は、重み関数を使用している類似した加重平均を示し、図２９と類似するが、Wがピクセル位置i、j、Rの関数であり、従って空間ドミナンス関数を可能にする点が異なる。ピクセル位置も加重することによって、後述するように、ディスプレイDの中央あるいはその他の任意の部分も、ドミナントカラーDCの選択または抽出中に、強調することができる。
【００８０】
加重和は、上述の局所的情報抽出ステップ33において実行でき、Wは、任意の既知の方法で、選択し記憶できる。重み関数Wは、任意の関数あるいは演算子とすることができ、それゆえ例えば、特定のピクセル位置を含めるために１、除外するために０とすることができる。下記の図３４に示すように、画像特徴は既知の技術を使用して認識でき、Wは拡大目的に役立つように変更できる。
【００８１】
一旦、指定された色を、上記方法または任意の等価な方法を使用して、ドミナントに選択すると、周囲照明システムによる表現に適当な色度のより良好な評価を実行できる。その理由は、特に、必要な計算ステップが、全ての色度および／または全てのビデオ・ピクセルを考慮しなければならない場合に比べて、はるかに少なくなるからである。図３１は、指定された色の分布の中で関心色を設定し、関心色に指定されたピクセル色度を抽出してドミナントカラーとして指定すべき真のドミナントカラーを導出することを示す例示的な概略図を与える。図に見られるように、ピクセル色度Cpは２つの指定された色ACに指定される。図の下側に示される指定された色ACはドミナントに選択されず、一方、図の上側の指定された色はドミナント（DC）とみなされて、図示するように関心色COIに選択される。それから更に、関心色COIであるとみなされる指定された色ACに指定されたピクセル（または、少なくともピクセルの一部）を調べ、直接それらの色度を読み込むことによって、（例えば、図４のように平均を使用することによって、またはこの特定の目的ためにすでに小規模に与えられているドミナントカラー抽出ステップを実行することによって、）ドミナントカラーのより良好な演色を得ることができ、ここではこれを真のドミナントカラーTDCとして示す。これのために必要ないかなるプロセスステップも、上で与えられたステップおよび／またはコンポーネントを用いて実行でき、または、既知のソフトウェアプログラム、サブルーチン、タスク回路あるいは等価なものでもよい別個の真の色選択手段を用いて実行できる。
【００８２】
図３２に図式的に示すように、本発明によるドミナントカラー抽出は、多数回実行し、また、別個に並行に実行して、ドミナントカラーのパレットを提供することもでき、図示するように、ドミナントカラーDCは、DC1+DC2+DC3のドミナントカラーを具えることができる。
【００８３】
図３０で言及したように、重み関数または等価なものは、ある表示領域についての特別な考慮あるいは強調を可能にするために、ピクセル位置による重み付けを与えることができる。図３３は図１に示すビデオディスプレイの簡単な正面図を示し、好ましい空間領域内のピクセルPiに不均等な重み付けを与える一実施例を示す。たとえば、ディスプレイの中央域Cは、数値的に大きな重み関数Wを使用して重み付けすることができ、一方、抽出領域（または、バックグラウンドのような任意の領域）は、数値的に小さい重み関数wを使用して重み付けすることができる。
【００８４】
図３３に示すビデオディスプレイの簡単な正面図を与える図３４に示すように、この重み付けまたは強調は画像特徴J8に適用でき、画像特徴J8（魚）を特徴抽出部ステップFE（図３および１２参照）で、既知の技術を用いて選択する。この画像特徴J8は、図示および上述したドミナントカラー抽出DCEの間に使用する唯一のビデオコンテンツでもよいし、使用するビデオコンテンツの単なる一部でもよい。
【００８５】
図３５に関して説明すると、本明細書中で与えられる教示を使用して、ビデオフレームに対して選択されるドミナントカラーを、前フレームから少なくとも１つのドミナントカラーに依存することによって、少なくとも部分的に得ることも可能なことが分かる。フレームF1、F2、F3およびF4は、ドミナントカラー抽出DCEを得るためのプロセスを受けることが図式的に示され、その目的は、図示のドミナントカラーDC1、DC2、DC3、DC4をそれぞれ抽出することであり、この場合には、計算によって、フレームに対して選択されるドミナントカラーDC4を、ドミナントカラーDC1、DC2、DC3の関数（DC4 =F（DC1、DC2、DC3）として設定できる。これは、フレームF4に対してドミナントカラーDC4を選択する短縮手順、あるいは、前フレームF1、F2およびF3に対して選択されたドミナントカラーがドミナントカラーDC4の選択に有益な影響を与えるより良好な情報に基づく手順を可能する。この短縮手順は図３６に示され、ここでは、計算負担を減らすために、暫定的なドミナントカラー抽出DC4*は測色的評価を使用し、これを次のステップで前フレーム（単一または複数）からのドミナントカラー抽出により補助してDC4の選択を有益に生成する（短縮手順を用いたDC4の生成）。
【００８６】
通常、周囲光源88は、例えば、つや消しまたはつや出しの表面を有するランプ構造や、リブつきのガラスまたはプラスチック、または、個々の光源を包囲する金属構造を用いるアパーチャ構造を用いて、光混合を、半透明または他の現象と同様に生じるために、さまざまな拡散効果を具現化できる。興味深い効果を提供するために、任意数の既知の拡散・散乱材または拡散・散乱現象を用いることができ、中には、小さい懸濁物、曇ったプラスチックまたは樹脂、コロイドを用いた調合物、エマルジョン類、１〜５：ｍかそれ以下（例えば１：ｍ未満）の有機溶媒系を含む溶液、ゲル類、ソルから散乱を実施することによって、得られるものが含まれ、これらの生成および製造は当業者にとって既知である。散乱現象は、周囲光の青色強調のための青色生成用のような可視波長用のレイリー散乱を含むように設計することができる。生成される色は、局所的に定めることができ、例えば特定の領域が全体的に青っぽい色合い、あるいは、例えば青色光を生成する最上部（周囲光L1またはL2）のような局所的色合いにできる。
【００８７】
周囲ランプは、また、ランプ構造内に形成、結合、あるいは挿入可能な円筒状プリズムまたはレンズのようなゴニオフォトメトリック要素に嵌合できる。これは、生成される光の特性が観察者の位置の関数として変化するような特殊効果を可能にすることができる。矩形、三角形、不規則な形状のプリズムまたは形を含む他の光学形状および形態も用いることができ、周囲照明装置の上に位置させる、あるいは周囲照明装置と一体にすることができる。その結果は、等方性の出力を生成するよりはむしろ、得られる効果は、無限に多彩でありえ、例えば、周囲光源の周りに位置する周囲壁、物体および面上に放射される関心光の帯が、暗い部屋において、ビデオディスプレイ装置上の場面要素、色および強度変化として一種の光のショーを生成する。この効果は、観察者位置の関数として、非常に敏感に光特性を変える劇場の周囲照明要素とすることができ、例えば、観察者がホームシアターを見るときに椅子から立ち上がったり、視点を移動すると、青っぽいきらめき、そして 次に赤い光を見る効果とすることができる。用いられるゴニオフォトメトリック素子の数および種類はほぼ無限であり、プラスチック片、ガラス片、線刻および軽く破壊する製作技術から生成される光学効果を含む。周囲ランプは、異なるシアター効果に特有に、さらに互換に製作できる。そして、これらの効果は、例えばゴニオフォトメトリック素子を透過できる光量を変えることによって、または（例えば、サブランプまたはＬＥＤ群を使用して）周囲照明装置の異なる部分を照明することによって、調節可能である。
【００８８】
このような方法で、図１に示すように抽出領域R3を模倣するためにL3で発生する周囲光は、例えば図示の移動する魚のように、その領域における現象の知覚的な拡張を提供する色度を有するものとすることができる。これは、視覚的経験を増加でき、派手でなく、過度に不適合でない適切な色相を提供することができる。
【００８９】
ビデオ信号ＡＶＳは、無論、ディジタル・データストリームとすることができ、同期ビット、連結ビット、パリティビット、エラーコード、インターリービング、特殊変調、バーストヘッダ、そして、周囲照明効果の記述（例えば、「電光嵐」、「日の出」など）のような所望のメタデータを含むことができ、当業者は、本明細書で与えられる機能的なステップが単に例示であり、明確にするため、従来のステップまたはデータを含んでいないことは理解しているであろう。
【００９０】
図３、１２に示すユーザインターフェースおよび好みメモリを用いて、システム挙動に関する設定を変更することができ、例えば、所望のビデオディスプレイDのビデオコンテンツに対する色忠実度の程度を変更でき、派手さを変更でき、任意の蛍光色または色域外の色が周囲空間に伝播される範囲あるいは、例えば、強度または光スクリプトコマンドコンテンツの変化における他の品質を誇張することによって、周囲光がビデオコンテンツの変化にいかに急速にまたは大いに応答するかの程度を変更することができる。これは、映画または特定のキャラクタのコンテンツに対して地味な色調を生成することができる高度なコンテンツ分析を含むことができる。コンテンツに多くの暗い場面を含むビデオコンテンツは、周囲光源88の挙動に影響を与えて、放出周囲光の減光を生じさせながら、多くの鮮やかなトーンまたは明るい場面（日当りのよい浜辺、サバンナ上のトラ等）のような特定の他のコンテンツに対して派手なまたは明るい色調を使用できる。
【００９１】
本明細書中では、当業者が本発明を実施できるように説明している。多くの構成が本発明の教示を使用して可能であり、本明細書中で与えられる構成および配置は単なる例示である。実際には、教示および請求される本発明の方法は、娯楽センターまたはホームシアターセンターのようなより大きなシステムの一部として見ることができる。
【００９２】
本明細書中で例示的に教示される機能および計算が、ソフトウェアまたはマシンコードを使用して機能的に再生またはエミュレートできることはよく知られており、当業者は本明細書中で教示される符号化および復号化の方法にかかわらず、これらの教示を使用することが可能である。本明細書中で与えられるように、ビデオ情報をフレームに復号化して、ピクセルレベル統計を実行することは必ずしも必要でないと考えるときに、これは特に当てはまる
【００９３】
当業者は、これらの教示に基づいて、本明細書中で教示されて、請求される装置および方法を変更することが可能であり、例えば、特定のアプリケーションに合わせるためにステップやデータ構造を再構成したり、本明細書中で例示目的で選択されるシステムにほとんど類似しないシステムを創作することができる。
【００９４】
上述した例を用いて説明した本発明は、上述した特徴の一部のみを用いて実施することができる。また、本明細書中で教示し請求項に記載したものは、他の構造または機能要素の追加を排除するものではない。
【００９５】
上記の教示を考慮して、本発明の多くの修正および変更が可能なことは明らかである。それゆえ、本発明が、本明細書中で詳細に記載されているものまたは提案されているもの以外でも、添付の請求の範囲内で実施されうるということを理解されたい。
【図面の簡単な説明】
【００９６】
【図１】本発明による、色情報抽出領域および６つの周囲光源からの関連した周辺放射光を示しているビデオディスプレイの簡単な正面図である。
【図２】本発明を用いて多数の周囲光源からの周囲光が発生される部屋を、上から見た部分概略部分断面図である。
【図３】周囲光源の駆動を可能にするために色情報を抽出し色空間変換を行う本発明のシステムを示す。
【図４】ビデオ抽出領域から平均色情報を計算する方程式を示す。
【図５】演色原色ＲＧＢ色空間を非演色色空間ＸＹＺに変換する従来技術の行列方程式を示す。
【図６】ビデオ演色色空間を非演色色空間にマッピングする行列方程式を示す。
【図７】周囲照明演色色空間を非演色色空間にマッピングする行列方程式を示す。
【図８】既知の逆行列を用いて、非演色色空間ＸＹＺから周囲光３刺激値Ｒ’Ｇ’Ｂ’を導出するための解法を示す。
【図９】白色点法を使用して３刺激原色行列Mを導出する従来技術を示す。
【図１０】白色点法を使用して３刺激原色行列Mを導出する従来技術を示す。
【図１１】白色点法を使用して３刺激原色行列Mを導出する従来技術を示す。
【図１２】図３に示すのと類似したシステムで、周囲放射光のために、ガンマ補正ステップをさらに具えるシステムを示す。
【図１３】本発明で使用する一般的な変換プロセスのための概略図である。
【図１４】本発明で使用する周囲光源のための変換行列係数を得るためのプロセスステップを示す。
【図１５】本発明による、推定されたビデオ抽出および周囲光再現のためのプロセスステップを示す。
【図１６】本発明によるビデオフレーム抽出の概略図である。
【図１７】本発明による短縮色度評価のためのプロセスステップである。
【図１８】図３および図１２に示すような抽出ステップであり、フレームデコーダを使用し、フレーム抽出レートを設定し、周囲光源を駆動するための出力計算を実行するステップを示す。
【図１９】本発明のための、色情報の抽出及び処理のプロセスステップを示す。
【図２０】本発明のための、色情報の抽出及び処理のプロセスステップを示す。
【図２１】本発明による一般的なプロセスの概略図であり、ドミナントカラー抽出および周囲照明色空間への変換を含む。
【図２２】ピクセル色度を指定された色に指定することによって、ビデオコンテンツからのピクセル色度を量子化する１つの可能な方法を図式的に示す。
【図２３】ピクセル色度をスーパーピクセルにビニングすることによって、量子化する一実施例を図式的に示す。
【図２４】図２３に類似したビニングプロセスを図式的に示すが、本例ではスーパーピクセルのサイズ、向き、形状または位置は、画像特徴J8に従って形成することができる。
【図２５】標準カーテシアンのＣＩＥカラーマップ上の局所的カラーベクトルおよびそれらの色または色度座標を示し、ここでは、１つのカラーベクトルがＰＡＬ/ＳＥＣＡＭ、ＮＴＳＣおよびアドビＲＧＢ色生成規格によって得られる色範囲の外側に存在する。
【図２６】図２５のＣＩＥプロットの一部の拡大図を示し、ピクセル色度および局所的カラーベクトルへのそれらの指定をさらに示す。
【図２７】本発明の可能な一方法による、指定された色分布のモードを示すヒストグラムである。
【図２８】本発明の可能な一方法による、指定された色分布のメジアンを図式的に示す。
【図２９】本発明の可能な一方法による、指定された色の色度による加重平均のための数学的和を示す。
【図３０】本発明の可能な一方法による、重み関数を使用した、指定された色の色度による、加重平均のための数学的和を示す。
【図３１】指定された色の分布に対する関心色を設定するステップと、関心色に指定されたピクセル色度を抽出して指定された真のドミナントカラーをドミナントカラーとして導出するステップと、を示す概略図である。
【図３２】本発明によるドミナントカラー抽出を、多数回実行し、あるいは、別個に並行に実行して、ドミナントカラーのパレットを提供できるステップを図式的に示す。
【図３３】図１に示すビデオディスプレイの簡単な正面図を示し、図２９、３０に示した方法のために、好ましい空間領域に与えられる不均等な重み付けの一実施例を示す。
【図３４】図３３に示すビデオディスプレイの簡単な正面図を与え、本発明によるドミナントカラー抽出のために抽出される画像特徴を図式的に示す。
【図３５】一組のフレームに復号化されるビデオコンテンツにより、１フレームのドミナントカラーを前フレームからのドミナントカラーに依存させて、少なくとも部分的に得ることができる、本発明の他の実施形態の概略図を示す。
【図３６】本発明によるドミナントカラーを選択するための短縮手順のプロセスステップを示す。
【図１】
2008509453.tif 000003
【図２】
2008509453.tif 000004
【図３】
2008509453.tif 000005
【図４】
2008509453.tif 000006
【図５】
2008509453.tif 000007
【図６】
2008509453.tif 000008
【図７】
2008509453.tif 000009
【図８】
2008509453.tif 000010
【図９】
2008509453.tif 000011
【図１０】
2008509453.tif 000012
【図１１】
2008509453.tif 000013
【図１２】
2008509453.tif 000014
【図１３】
2008509453.tif 000015
【図１４】
2008509453.tif 000016
【図１５】
2008509453.tif 000017
【図１６】
2008509453.tif 000018
【図１７】
2008509453.tif 000019
【図１８】
2008509453.tif 000020
【図１９】
2008509453.tif 000021
【図２０】
2008509453.tif 000022
【図２１】
2008509453.tif 000023
【図２２】
2008509453.tif 000024
【図２３】
2008509453.tif 000025
【図２４】
2008509453.tif 000026
【図２５】
2008509453.tif 000027
【図２６】
2008509453.tif 000028
【図２７】
2008509453.tif 000029
【図２８】
2008509453.tif 000030
【図２９】
2008509453.tif 000031
【図３０】
2008509453.tif 000032
【図３１】
2008509453.tif 000033
【図３２】
2008509453.tif 000034
【図３３】
2008509453.tif 000035
【図３４】
2008509453.tif 000036
【図３５】
2008509453.tif 000037
【図３６】
2008509453.tif 000038
【国際調査報告】
2008509453.tif 000039
2008509453.tif 000040
2008509453.tif 000041