(57)【要約】デジタル・カメラ・システムにおいて、3×3行列を使う生データの伝統的な入力色変換が、分光反射率特性をよりよく近似する二次元ルックアップテーブル（2D  LUT）によって置き換えられる。色度のような信号および入力スケール因子は生のセンサー出力値に応答して生成される。色度信号および入力スケール因子は2D  LUTを介して予備的出力信号および出力スケーリング因子にマッピングされる。出力色信号の最終的な集合は、予備的出力信号および出力スケール因子に応答して生成される。2D  LUTは、色変換の入力および出力側両方で生成されるスペクトル応答曲線に応じて設計される。
2016541167.tif 000002
【特許請求の範囲】
【請求項１】
入力色信号に応答して色出力信号を生成する方法であって：
第一、第二および第三の入力信号を受領する段階と；
前記入力信号に応答して入力スケール因子を生成する段階と；
前記入力信号に応答して第一および第二の色度信号を生成する段階と；
前記第一および第二の色度信号を第一および第二の予備的色信号にマッピングする段階と；
前記第一および第二の色度信号を予備的スケール因子にマッピングする段階と；
前記予備的スケール因子に前記入力スケール因子を乗算することによって出力スケール因子を生成する段階と；
前記出力スケール因子および前記第一および第二の予備的色信号に応答して出力色信号の集合を生成する段階とを含む、
方法。
【請求項２】
前記第一、第二および第三の入力信号は赤、緑および青の信号に対応する、請求項１記載の方法。
【請求項３】
前記入力スケール因子を生成する段階は前記第一、第二および第三の入力信号を足し合わせることを含む、請求項１記載の方法。
【請求項４】
前記第一および第二の色度信号を生成する段階は、
前記第一の入力信号を前記入力スケール因子で割って前記第一の色度信号を生成する段階と；
前記第二の入力信号を前記入力スケール因子で割って前記第二の色度信号を生成する段階とを含む、
請求項１記載の方法。
【請求項５】
前記第一および第二の予備的色信号がCIEのxおよびy信号に対応し、出力色信号の前記集合がCIEのX、YおよびZ信号に対応する、請求項１記載の方法。
【請求項６】
X出力色信号が、前記第一の（x）予備的色信号に前記出力スケール因子を乗算することによって生成され、Y出力色信号が、前記第二の（y）予備的色信号に前記出力スケール因子を乗算することによって生成される、請求項５記載の方法。
【請求項７】
Z出力信号を、前記出力スケール因子からX信号およびY信号を減算することによって生成することをさらに含む、請求項６記載の方法。
【請求項８】
前記第一および第二の色度信号が、反対色空間における前記第一、第二および第三の入力信号の第一および第二の色差値を含み、前記入力スケール因子が前記反対色空間における前記第一、第二および第三の生の出力信号のルーマ値を含む、請求項１記載の方法。
【請求項９】
前記第一および第二の色度信号が、HSV色空間における前記第一、第二および第三の入力信号のHおよびSの値を含み、前記入力スケール因子がHSV空間における前記第一、第二および第三の生の出力信号のVの値を含む、請求項８記載の方法。
【請求項１０】
出力色信号の前記集合がR、GおよびB値を含み、RGB出力色値を生成する段階が、HSVからRGBへの色変換を使って前記出力スケーリング因子および前記第一および第二の予備的色信号を前記RGB出力値にマッピングすることを含む、請求項９記載の方法。
【請求項１１】
RGB値がACES  RGB値である、請求項１０記載の方法。
【請求項１２】
前記第一の予備的色信号は、前記第一および第二の色度信号をインデックスとする2Dルックアップテーブル（LUT）の出力に対応する、請求項１記載の方法。
【請求項１３】
前記2D  LUTは分光反射率データから導出される入力および出力信号を使って設計される、請求項１２記載の方法。
【請求項１４】
前記2Dルックアップテーブル（LUT）の生成はさらに：
反射率トレーニング・データセットに応答して前記LUTマッピング関数の出力値を生成し；
前記反射率トレーニング・データセットに応答して前記LUTマッピング関数についての入力インデックス値を生成し；
前記LUTマッピング関数の生成された入力インデックス値および出力値に基づいて面を生成し；
生成された面を、規則的にサンプリングされる格子において、ある近似基準に従って近似することによって、前記2D  LUTの値を生成することを含む、
請求項１２記載の方法。
【請求項１５】
入力信号に応答して色出力信号を生成する方法であって、当該方法は：
第一、第二および第三の入力信号を受領する段階と；
前記入力信号に応答して入力スケール因子を生成する段階と；
前記入力信号に応答して第一および第二の色度信号を生成する段階と；
前記入力信号の線形結合として第一の出力色信号を生成する段階と；
前記第一および第二の色度信号を第一および第二の予備的色信号にマッピングする段階と；
前記第一の予備的色信号に前記入力スケール因子を乗算することによって第二の出力色信号を生成する段階と；
前記第二の予備的色信号に前記入力スケール因子を乗算することによって第三の出力色信号を生成する段階とを含む、
方法。
【請求項１６】
前記入力信号は赤（R）、緑（G）および青（B）信号に対応し、前記第一の出力色信号は緑の色出力信号に対応する、請求項１５記載の方法。
【請求項１７】
請求項１ないし１６のうちいずれか一項記載の方法を実行するよう構成されている、プロセッサを有する装置。
【請求項１８】
請求項１ないし１６のうちいずれか一項記載の方法をコンピュータで実行するためのコンピュータ実行可能命令が記憶されている非一時的なコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願への相互参照
本願は2013年10月28日に出願された米国仮特許出願第61/896,595号の優先権を主張するものである。本願は、2013年9月27日に出願された「画像捕捉装置処理のためのスペクトル合成」という名称の米国特許出願第14/039,415号に関連する。同出願の内容はここに参照によってその全体において組み込まれる。
【０００２】
技術
本発明は、画像捕捉装置のための色処理に関する。より詳細には、本発明のある実施形態は、画像捕捉装置からの正確な色出力を達成するための処理方法に関する。
【背景技術】
【０００３】
本稿での用法では、「スペクトル合成」および「画像捕捉装置処理のためのスペクトル合成」は、たとえば画像捕捉装置からの正確な色出力を達成するために実行またはコンピューティングされうる処理方法に関しうる。RGB（赤、緑、青）のような三刺激色処理モデルは一般的である。RGBおよび他の三刺激モデルは色同定、マッチングおよび分類のためには十分であるが、そのようなモデルは、色処理との関係では本来的に制限されうる。その性質上、光は電磁エネルギーのスペクトルを有し、これは一般に、たとえば赤、緑および青の色値によっては完全には表現できない。RGBベースの情報および短波長、中波長および長波長（たとえば青、緑および赤）に感受性のある錐体細胞に対応する三刺激値では、人間の視覚系（HVS:  human  visual  system）はもとの、自然な刺激を推定しようとする。
【０００４】
画像捕捉装置内の処理は一般に、センサー出力を出力画像の色空間に変換する3×3行列に関わる。この行列変換を適用した結果は、画像捕捉装置のセンサーのスペクトル感度がHVS等色関数の線形結合として表現できるのでない限り、一般に、人間の目によって知覚されるものを再現しない。多くの場合、結果として生じる色におけるこれらの誤差の大きさは、些末なことではない。ここで発明者によって理解されるように、デジタル捕捉装置における入力色変換のための改善された技法が望ましい。
【０００５】
このセクションで記述されたアプローチは、追求されることができたが必ずしも以前に着想または追求されたアプローチではない。したがって、特に断りのない限り、このセクションにおいて記述されるアプローチはいずれも、このセクションに含まれているというだけのために従来技術の資格をもつと想定されるべきではない。同様に、特に断りのない限り、一つまたは複数のアプローチに関して特定されている問題は、このセクションに基づいて何らかの従来技術において認識されていたと想定されるべきではない。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】SMPTE  ST  2065-1:2012およびSMPTE  ST  2065-4:2013,  Academy  Color  Encoding  Specification  (ACES)
【非特許文献２】R.  Luther,  "Aus  dem  Gebiet  der  Farbreizmetrik,"  Zeitschrift  fur  technische  Physik  8,  540  (1927)
【非特許文献３】G.  Finlayson,  and  M.  Drew,  White-Point  Preserving  Color  Correction,  Proc.  IS&T  Fifth  Color  Imaging  Conference,  pg.  258.  (1997)
【非特許文献４】P.  Hubel,  J.  Holm,  G.  Finlayson,  and  M.  Drew,  Matrix  Calculations  for  Digital  Photography,  Proc.  IS&T  Fifth  Color  Imaging  Conference,  pg.  105.  (1997)
【非特許文献５】Digital  Negative  (DNG)  Specification,  v.  1.3.0.0,  June  2009,  Adobe（https://www.adobe.com/content/dam/Adobe/en/products/photoshop/pdfs/dng_spec.pdfから入手可能）
【図面の簡単な説明】
【０００７】
本発明の実施形態は、限定ではなく例として、付属の図面において示される。図面において、同様の参照符号は同様の要素を指す。
【図１】デジタル・カメラ・システムのための例示的な信号処理パイプラインを描いている。
【図２】二次元演算を使う色変換パイプラインを描いている。
【図３】本発明のある実施形態に基づくデジタル・カメラのための赤チャネルのための例示的な2D  LUTトレーニング表面を描いている。
【図４】本発明のある実施形態に基づくトレーニング・データから生成される例示的な2D  LUTトレーニング表面を描いている。
【図５】本発明のある例示的実施形態に基づく、カメラのネイティブな値からCIE1931  XYZへの2D色変換を利用する方法を描いている。
【図６】本発明のある例示的実施形態に基づく、反対色インデックス付け（opponent  color  indexing）を使う2D色変換を描いている。
【図７】Ａ〜Ｃは、本発明のある例示的実施形態に基づく、生のR、GおよびBからRGB  ACESへの変換のための2D  LUTを描いている。
【図８】本発明のある例示的実施形態に基づく、カメラのネイティブな値からRGBへの2D色変換を利用する方法を描いている。
【発明を実施するための形態】
【０００８】
カメラ色補正のための二次元変換を使う効率的な入力色変換が本稿で記載される。以下の記述では、説明の目的のため、本発明の十全な理解を提供するために、数多くの個別的詳細が記載される。しかしながら、本発明がそうした個別的詳細なしでも実施されうることは明白であろう。他方、本発明を無用に隠蔽し、かすませ、あるいは埋没させるのを避けるために、よく知られた構造および装置は網羅的な詳細さでは記述されない。
【０００９】
〈概観〉
本稿に記載される例示的実施形態は、カメラ色補正のための二次元変換を使う色変換に関する。デジタル・カメラ・システムにおいて、3×3行列を使う生データの伝統的な入力色変換が、分光反射率（spectral  reflectance）特性をよりよく近似し、色精度を改善する二次元ルックアップテーブル（2D  LUT）によって置き換えられる。色度のような信号および入力スケール因子は生のセンサー出力値に応答して生成される。色度信号および入力スケール因子は2D  LUTを介して予備的出力信号および出力スケーリング因子にマッピングされる。出力色信号の最終的な集合は、予備的出力信号および出力スケール因子に応答して生成される。2D  LUTは、色変換の入力および出力側両方で生成されるスペクトル応答曲線を利用することによって設計される。
【００１０】
ある例示的実施形態では、2D入力色変換は、生のRGBカメラ・データに適用されて、CIE  XYZデータを生成する。該CIE  XYZデータにおいて、入力スケール因子は、生のセンサー・カメラ値の和を含み、予備的出力信号は出力スケール因子に加えてCIEのxおよびy信号を含む。
【００１１】
もう一つの実施形態では、2D入力色変換は入力RGBデータに適用されて、出力RGB値を生成する。ここで、入力スケール因子はHSV色空間における入力カメラ・データのV値を含み、色度信号はHSV色空間における入力データのHおよびS値を含む。
【００１２】
〈カメラ信号処理パイプライン〉
序
近年、たとえば映画制作およびエピソード制作における業務環境において、いくつかの要因が、デジタル捕捉システムのより幅広い採用に寄与している。そのうちには、改善されたノイズ性能、拡張されたダイナミックレンジ機能および重要なことにはコスト効率のよいデジタル作業フロー・エコシステムの生成が含まれる。制作がデジタルに移行し続けるにつれ、より低コストのカメラ・システムが導入され、高品質のコンテンツ生成を、多くの低予算ないし中予算制作にとってアクセス可能にした。たとえば、キャノンC500、RED  Epic、ARRI  AlexaおよびソニーF55/F65は、広範な使用を見出すとともに、現代の映画館映画のライバルとなる品質をもつ画像を作り出した。
【００１３】
典型的なデジタル・カメラ・システムでは、単一センサー設計では、シーンは光学系を通じてセンサー上にイメージングされる。色フィルタ・アレイ（CFA:  color  filter  array）がセンサー上にパターン化され、ベイヤー・デザインの場合、CFAは赤、緑または青応答をもつ個々のピクセルを作り出す。このCFAデザインでは、緑ピクセルの空間的サンプリングが赤または青チャネルの2倍であり、フル・センサー・ピクセル・カウントをもつ別個の赤、緑および青の画像を生成するために、さまざまなデモザイキング・アルゴリズムが用いられる。（放送カメラ・システムにおいて典型的に見出される）三チップ・センサー構成については、赤、緑および青のトリミング・フィルタと関連したダイクロイック・ミラーが、デモザイキングの必要なしに、フル解像度のRGBチャネルを生成する。
【００１４】
初期には各ピクセルに関連付けられたフォトダイオードの井戸における電子の形のアナログRGB信号は、焦点面スペクトル・パワー分布L(λ)およびRGBスペクトル感度関数
【数１】
2016541167.tif 000003
のすべての波長にわたる投影
【数２】
2016541167.tif 000004
を取ることによって形成される。ここで、nR、nG、nBはフォトサイト井戸において生成される信号依存の電子ノイズを指す。これらの電子は、画像読み出しの間にアナログの電流または電圧信号に変換され、その後、アナログ‐デジタル変換段を介してデジタル化される。この時点で生成されるデジタル値は典型的には、RGB信号に対して何の色処理も適用されていないという事実を反映するよう、「ネイティブ生（native  raw）」と記される。
【００１５】
図１は、これらのネイティブ生ピクセル値（１０５）を目的表示装置上での快い画像に変換することに関わる例示的な色信号処理パイプラインを描いている。パイプラインのさまざまな要素は、カメラ・ファームウェア内で、あるいはオフラインでカラリストによって操作されるカラーグレーディング・システムを使って生起してもよい。しばしば、パイプラインは二つの相異なる段に分けることができる：ａ）ネイティブRGB信号の、XYZのような定義された測色系（colorimetry）をもつ空間への変換（たとえば、一次元線形化（１１０）、黒レベル減算（１２０）および入力色変換（１３０））；およびｂ）最終画像を結果的に生成するための、この色空間でのレンダリング（たとえば１４０および１５０）。
【００１６】
特に関心があるのは、入力色変換（１３０）のための処理である。この段での正確さは非常に重要である。ここで導入される色誤差は、補正されなければ、システム・パイプライン全体を通じて伝搬するからである。入力色変換の最も一般的な方法は、3×3行列の使用に関わる。そうした行列はハードウェアでもソフトウェアでも実装が簡単だからである。しかしながら、XYZまたは「SMPTE  ST  2065-1、アカデミー色エンコード仕様（ACES:  Academy  Color  Encoding  Specification）」（2012）仕様への変換のためには、ルーテル・アイヴズ（Luther-Ives）条件（非特許文献２参照）を厳密に満たすカメラ・システムは存在しない。式(1)に描かれたように、源信号および目的信号は、ヒルベルト空間から二つの別個の投影を介して形成され、それらの関係は、最終的には、各ピクセルにおける入射光のパワースペクトル分布によって決定される。このように、3×3行列はよくても近似であり、典型的には回帰方法を使って決定される。
【００１７】
他の一般的なアプローチは、カメラ・スペクトル応答特性の知識との関連で分光反射率データベースを用いる（非特許文献３〜４）。これらのデータから、カメラのネイティブなR、G、B信号の集合が計算されることができる。目的空間（たとえばXYZまたはACES）についても同様である。行列係数を計算するために多様な回帰方法が使用できるが、大半の一般的なアプローチは、白色点保存を、回帰問題への制約条件として課す。
【００１８】
2D  LUTに基づく色変換
先に論じたように、3×3行列はカメラ・ネイティブから作業空間への色変換のための複雑さの低い解決策を提供するが、特により飽和した色について、精度が低下してしまうことがありうる。代替的に、3Dルックアップテーブル（LUT）は非線形な仕方で入力と出力のヒルベルト空間投影の間でマッピングする能力を提供するが、より高い複雑さという代償を伴い、システム・メモリ制約のため量子化アーチファクトを導入する可能性がある。多項式方法は3×3行列に対する実質的な精度向上が可能であるが、ピクセル処理の間のより高い計算量という代償を伴う。
【００１９】
以下で'415出願と称する、ここに参照によってその全体において組み込まれる2013年9月27日に出願された「画像捕捉のためのスペクトル合成」という名称の米国特許出願第14/039,415号では、3D  LUTに匹敵するメモリ・フットプリントを必要とするが、ピクセル処理の間の比較的低い複雑さをもつ代替的なアプローチが提案された。提案されたアーキテクチャの例示的実施形態が図２に描かれている。
【００２０】
図２に描かれるように、入力ネイティブ・カメラRGB信号（２０５）を与えられて、スケール因子（Σ）および色度様の信号（p,q）が計算される（たとえば２１０において）。(p,q)値は、2Dルックアップテーブル（LUT）（２２０）へのインデックスとするために使われる。該2D  LUTから中間出力値
【数３】
2016541167.tif 000005
（２２５）が補間を介して決定される。最終的な出力RGB値（２３０）は
【数４】
2016541167.tif 000006
に入力スケール因子Σを乗算することによって決定される。いくつかの実施形態では、2D  LUT（２２０）は三つの別個の2D  LUTを使って実装されてもよい。
【００２１】
【数５】
2016541167.tif 000007
出力それぞれについて一つである。
【００２２】
2D  LUTノードは、適切なスケーリングをもって値を入れられる必要があり、以下の比を担持するべきである。
【００２３】
【数６】
2016541167.tif 000008
ここで、(pi,qi)はLUTノード座標を表わす。LUTがよく構築されているとすると、LUT出力とΣとの間の乗算は実際の出力RGB値に対する合理的な近似を生じるはずである。
【００２４】
2Dルックアップテーブル（２２０）は、反射率データ、純粋な関数表現（functional  representation）または両者の組み合わせを使って値を入れられることができる。一つの方法は、入力および出力RGB信号の測色系をつなぐための特定のスペクトル・モデルの使用に関わることができる。たとえば、'415出願に記載されるように、長方形のスペクトル表現を使うことができる。それにより、LUT座標(pi,qi)と長方形モデルの波長（λ0,λ1）の間のほぼ一対一のマッピングがある。帯域通過領域で動作しているとすると、RチャネルLUTノードは、積分の次の比を使って構築されることになる。
【００２５】
【数７】
2016541167.tif 000009
ここで、バー付きのr(λ)、g(λ)、b(λ)はそれぞれR、G、Bチャネルについてのスペクトル感度関数を指し、I(λ)は等エネルギー（スペクトル的に平坦）であってもよい発光源（illuminant）である。(p,q)と(λ0,λ1)との間の関係は、非線形連立方程式を解くための標準的な方法を使って決定できる。
【００２６】
2D  LUTに値を入れるためのもう一つのアプローチは、分光反射率データセットを使うことに関わる。この具体化では、変換の入力側および出力側両方でのスペクトル応答曲線の知識が必要とされる。RGB値は、次式を使って入力および出力チャネル両方について計算できる。
【００２７】
【数８】
2016541167.tif 000010
ここで、インデックスiはi番目の反射率サンプルを指す。すると、式(2)における比は、各反射率サンプルについて計算されることができる。たとえば、Rチャネルについて、
【数９】
2016541167.tif 000011
となる。また、各反射率サンプルiについて対応するp,q座標の計算：
【数１０】
2016541167.tif 000012
も重要である。(pi,qi)の関数としての
【数１１】
2016541167.tif 000013
の例示的な偽色彩プロットが図３に示されている。色スケールは、比Rout/Σinの大きさを指している。プロットから明らかなように、データは面によってよく近似できる。平均面からの逸脱を示す若干のサンプルがあるものの、入力および出力カメラ特性の間の異なる条件等色（metameric）挙動のため、これは基本的に避けられない。
【００２８】
明らかに、反射率データセットは、(p,q)空間にマッピングされたときのサンプルにおける不均一な間隔を作り出し、一部のエリアでは、高いレベルのまばらさをもってそうする。2D  LUTを構築するという立場からは、この面を規則的な間隔のサンプリング格子で近似することが要求される。このタスクを達成するために利用可能な多様な異なる2D回帰方法がある。たとえば、面を表わすために(p,q)の二次元多項式関数を使うことができる。トレーニング面（図３）はどこでも完璧になめらかではないため、トレーニング・データに適合しすぎる傾向があるかもしれないので、回帰アルゴリズムにおいて平滑性制約条件を課すことが必要である。図４は、525×525のLUTサイズをもつ、図３から生成される2D  LUTの例を示している。
【００２９】
上述した2D  LUT構造は、米国特許出願第14/039,415号において記述される(p,q)の2D多項式関数によって置換されることができることも注意しておくべきである。この場合、各チャネルR、G、Bについて決定された係数の一つの集合があるであろう。しかしながら、図２に描かれたデータ処理の残りは同じままである。
【００３０】
代替的な2D  LUTベースの実施形態
図５は、本発明の例示的実施形態に基づく、カメラのネイティブな（または生の）RGB値（２０５）からCIE1931  XYZ色値（５１２、５２２、５３２）への2D色変換を利用する代替的な方法を描いている。図５に描かれるように、プロセスは、図２に描かれたのと同様の前処理段階（２１０）をもつ。計算されたネイティブの色度座標(p,q)を与えられて、2D  LUT（５１０）および（５２０）はCEI1931(x,y)色度座標を出力する。(p,q)値は第三の2D  LUT（５３０）にも適用されて、比Σout/Σを表わす
【数１２】
2016541167.tif 000014
を生成する。出力スケール因子Σoutは
【数１３】
2016541167.tif 000015
から、入力スケール因子Σとの乗算によって計算される。ひとたび出力スケール因子が計算されたら、最終的な(X,Y)値は、Σoutの、それぞれxおよびyとの単純な乗算によって決定される。最後に、Z座標はXおよびYをΣoutから減算することによって計算される。開示される、以前の2D色補正方法に比して、このアプローチは、陰に入力スケール因子の関数である出力スケール因子を使って最終的な(X,Y,Z)を計算する。
【００３１】
図６は、反対色表現（たとえばHSV）を使っての、入力RGBデータ（２０５）の目標RGBデータ（たとえばACES  RGB）（６４０）への色変換のもう一つの例示的実施形態を描いている。ここで、色ピクセルは、ルーマまたは強度様の色成分および二つのクロマまたは色差様の成分を使って表現されている。図２および図５に記述された方法とは異なり、2D  LUTへのインデックス付け変数は反対色表現、たとえばHSV表現からの(H,S)である。RGBからHSVへの順変換および逆変換はよく知られており、円筒表現と考えることができる。ここでもまた、(Hin,Sin)座標は、出力(Hout,Sout)値を生成するために二つの別個の2D  LUT（６１０、６２０）中へのインデックスとするために使われる。重要なことに、
【数１４】
2016541167.tif 000016
の比も、入力(Hin,Sin)をインデックスとして使う第三の2D  LUT／関数から計算され、Vinを乗算したときに、Voutの推定値を与える。アドビ・システムズは、そのDNG仕様において色変換における2D  LUTの使用を導入した（非特許文献５）が、重要な違いは、Vチャネル変換および補正のためには2D  LUTが使われないということである。
【００３２】
シグマ（Σout）またはVチャネル（たとえば５３０および６３０）のためのLUTを構築するプロセスは、先に概説した手順と同様であってもよい。たとえば、反射率トレーニング集合を与えられると、スペクトル応答情報は両方について知られているので、ΣoutおよびΣ値は計算されうる。すると、Σout/Σの値およびその対応する(p,q)の値を計算しうる。これは、図３に示したものと同様の、いくつかのエリアにおいて疎であってもよい面を多少なりとも定義するはずである。LUTは、LUTの規則的な間隔のノード位置においてこの面を近似することによって形成される。これは図４と類似である。
【００３３】
【数１５】
2016541167.tif 000017
のためのLUT（６３０）を生成することにおいて、インデックス付け座標が(Hin,Sin)であるというほかは同様の手順が使用されうる。
【００３４】
先に示したように、図５および図６に示される2D  LUTエンティティは、(p,q)または(H,S)の二次元多項式関数によって置き換えられることができる。
【００３５】
当業者は、図６に描かれた変換プロセスはHSI、YCbCrなどのような任意の反対色（opponent  color）表現を利用しうることを理解するであろうことを注意しておく。
【００３６】
図５を参照するに、出力R、G、Bチャネルのそれぞれについて2D変換が指定される。しかしながら、場合によっては、出力チャネルの一つが入力スケール因子（Σ）とよく相関していることがありうる。例として、図７のＡ〜Ｃは、ACES  RGBにネイティブなRGBからのカメラ変換のための2D  LUT面を描いている。赤（７１０）および青チャネルLUT（７３０）はいくらか複雑な表面をもつことが明らかである。しかしながら、緑チャネルLUT（７２０）は、平面状の面によってよく近似される。これは、GoutがΣと高い相関をもつことを示す。この実現では、出力緑チャネルは、（そのチャネルについての2D  LUTを使う代わりに）入力R、G、B信号の単純な線形結合：
Gout＝a*Rin＋b*Gin＋c*Bin        (5)
として計算されてもよい。ここで、a,b,cは平面上の表面を定義する係数である。式(5)に基づいて、ある実施形態では、図２の色変換プロセスは図８に描かれるように単純化されることができる。それにより、(p,q)およびスケール因子（Σ）を計算することに加えて、出力G信号（Gout）が８０５において計算される。この実施形態は、一つ少ないLUT（緑LUTをなくす）ために８０５におけるいくらかの追加的な前処理（式(5)の計算）をトレードオフする。2D色変換技法を他の色空間に適用するときにも同様のアプローチに従うことができる。
【００３７】
〈例示的なコンピュータ・システム実装〉
本発明の実施形態は、コンピュータ・システム、電子回路およびコンポーネントにおいて構成されたシステム、マイクロコントローラ、フィールド・プログラム可能なゲート・アレイ（FPGA）または他の構成設定可能もしくはプログラム可能な論理デバイス（PLD）、離散時間またはデジタル信号プロセッサ（DSP）、特定用途向けIC（ASIC）のような集積回路（IC）装置および／またはそのようなシステム、デバイスまたはコンポーネントの一つまたは複数を含む装置を用いて実装されてもよい。コンピュータおよび／またはICは、本稿に記載したようなカメラ色補正のための二次元変換を使う色変換に関係する命令を実行、制御または執行してもよい。コンピュータおよび／またはICは、本稿に記載したカメラ色補正のための二次元変換を使う色変換に関係する多様なパラメータまたは値の任意のものを計算してもよい。画像およびビデオ実施形態は、ハードウェア、ソフトウェア、ファームウェアおよびそれらのさまざまな組み合わせにおいて実装されうる。
【００３８】
本発明のある種の実装は、プロセッサに本発明の方法を実行させるソフトウェア命令を実行するコンピュータ・プロセッサを有する。たとえば、カメラ、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどにおける一つまたは複数のプロセッサが、該プロセッサにとってアクセス可能なプログラム・メモリ中のソフトウェア命令を実行することによって、上記に記載したようなカメラ色補正のための二次元変換を使う色変換に関係する方法を実装してもよい。本発明は、プログラム・プロダクトの形で提供されてもよい。プログラム・プロダクトは、データ・プロセッサによって実行されたときに該データ・プロセッサに本発明の方法を実行させる命令を含むコンピュータ可読信号のセットを担持する任意の媒体を含みうる。本発明に基づくプログラム・プロダクトは、幅広い多様な形のいかなるものであってもよい。プログラム・プロダクトは、たとえば、フロッピーディスケット、ハードディスクドライブを含む磁気データ記憶媒体、CD-ROM、DVDを含む光データ記憶媒体、ROM、フラッシュRAMを含む電子データ記憶媒体などのような物理的な媒体であってもよい。プログラム・プロダクト上のコンピュータ可読信号は任意的に圧縮または暗号化されていてもよい。
【００３９】
上記でコンポーネント（たとえば、ソフトウェア・モジュール、プロセッサ、組立体、装置、回路など）が言及されるとき、特に断わりのない限り、そのコンポーネントへの言及（「手段」への言及を含む）は、本発明の例示した実施例における機能を実行する開示される構造と構造的に等価ではないコンポーネントも含め、記載されるコンポーネントの機能を実行する（たとえば機能的に等価な）任意のコンポーネントをそのコンポーネントの等価物として含むと解釈されるべきである。
【００４０】
〈等価物、拡張、代替その他〉
このように、カメラ色補正のための二次元変換を使う色変換に関係する例示的な実施形態が記載されている。以上の明細書では、本発明の諸実施形態について、実装によって変わりうる数多くの個別的詳細に言及しつつ述べてきた。このように、何が本発明であるか、何が出願人によって本発明であると意図されているかの唯一にして排他的な指標は、この出願に対して付与される特許の請求項の、その後の訂正があればそれも含めてかかる請求項が特許された特定の形のものである。かかる請求項に含まれる用語について本稿で明示的に記載される定義があったとすればそれは請求項において使用される当該用語の意味を支配する。よって、請求項に明示的に記載されていない限定、要素、属性、特徴、利点もしくは特性は、いかなる仕方であれかかる請求項の範囲を限定すべきではない。よって、明細書および図面は制約する意味ではなく例示的な意味で見なされるべきものである。
【図１】
2016541167.tif 000018
【図２】
2016541167.tif 000019
【図３】
2016541167.tif 000020
【図４】
2016541167.tif 000021
【図５】
2016541167.tif 000022
【図６】
2016541167.tif 000023
【図７】
2016541167.tif 000024
【図８】
2016541167.tif 000025
【手続補正書】
【提出日】平成27年5月7日(2015.5.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像捕捉装置からの入力信号に応答して色出力信号を生成する方法であって：
前記画像捕捉装置から第一、第二および第三の入力信号を受領する段階と；
前記入力信号に応答して入力スケール因子（Σ）を生成する段階と；
前記入力信号に応答して第一および第二の色度信号（p,q）を生成する段階と；
前記第一および第二の色度信号を第一および第二の予備的色信号（x,y）にマッピングする段階であって、該マッピングは、前記第一および第二の色度信号のそれぞれ前記第一および第二の予備的色信号への二次元変換を含む、段階と；
前記第一および第二の色度信号を予備的スケール因子にマッピングする段階であって、該マッピングは、前記第一および第二の前記色度信号の前記予備的スケール因子への二次元変換を含む、段階と；
前記予備的スケール因子に前記入力スケール因子を乗算することによって出力スケール因子（Σout）を生成する段階と；
前記出力スケール因子および前記第一および第二の予備的色信号に応答して出力色信号（X,Y,Z）の集合を生成する段階とを含む、
方法。
【請求項２】
画像捕捉装置からの入力信号に応答して色出力信号を生成する方法であって、当該方法は：
前記画像捕捉装置から第一、第二および第三の入力信号を受領する段階と；
前記入力信号に応答して入力スケール因子（Σ）を生成する段階と；
前記入力信号に応答して第一および第二の色度信号（p,q）を生成する段階と；
前記入力信号の線形結合として第一の出力色信号（Gout）を生成する段階と；
前記第一および第二の色度信号を第一および第二の予備的色信号にマッピングする段階であって、該マッピングは、前記第一および第二の色度信号のそれぞれ前記第一および第二の予備的色信号への二次元変換を含む、段階と；
前記第一の予備的色信号色信号に前記入力スケール因子を乗算することによって第二の出力色信号を生成する段階と；
前記第二の予備的色信号に前記入力スケール因子（Σ）を乗算することによって第三の出力色信号を生成する段階とを含む、
方法。
【請求項３】
前記第一および第二の予備的色信号（x,y）はそれぞれ、前記第一および第二の色度信号をインデックスとする2Dルックアップテーブル（LUT）の出力に対応する、請求項１または２記載の方法。
【請求項４】
前記第一、第二および第三の入力信号は赤、緑および青の信号に対応する、請求項１ないし３のうちいずれか一項記載の方法。
【請求項５】
前記入力スケール因子を生成する段階は前記第一、第二および第三の入力信号を足し合わせることを含む、請求項１ないし４のうちいずれか一項記載の方法。
【請求項６】
前記第一および第二の色度信号を生成する段階は、
前記第一の入力信号を前記入力スケール因子で割って前記第一の色度信号を生成する段階と；
前記第二の入力信号を前記入力スケール因子で割って前記第二の色度信号を生成する段階とを含む、
請求項１ないし５のうちいずれか一項記載の方法。
【請求項７】
前記第一および第二の予備的色信号がCIEのxおよびy信号に対応し、出力色信号の前記集合がCIEのX、YおよびZ信号に対応する、請求項１ないし６のうちいずれか一項記載の方法。
【請求項８】
X出力色信号が、前記第一の（x）予備的色信号に前記出力スケール因子を乗算することによって生成され、Y出力色信号が、前記第二の（y）予備的色信号に前記出力スケール因子を乗算することによって生成される、請求項７記載の方法。
【請求項９】
Z出力信号を、前記出力スケール因子からX信号およびY信号を減算することによって生成することをさらに含む、請求項８記載の方法。
【請求項１０】
前記第一および第二の色度信号が、反対色空間における前記第一、第二および第三の入力信号の第一および第二の色差値を含み、前記入力スケール因子が前記反対色空間における前記第一、第二および第三の生の出力信号のルーマ値を含む、請求項１ないし９のうちいずれか一項記載の方法。
【請求項１１】
前記第一および第二の色度信号が、HSV色空間における前記第一、第二および第三の入力信号のHおよびSの値を含み、前記入力スケール因子がHSV空間における前記第一、第二および第三の生の出力信号のVの値を含む、請求項１０記載の方法。
【請求項１２】
出力色信号の前記集合がR、GおよびB値を含み、RGB出力色値を生成する段階が、HSVからRGBへの色変換を使って前記出力スケーリング因子および前記第一および第二の予備的色信号を前記RGB出力値にマッピングすることを含む、請求項１１記載の方法。
【請求項１３】
RGB値がACES  RGB値である、請求項１１記載の方法。
【請求項１４】
前記2D  LUTは分光反射率データから導出される入力および出力信号を使って設計される、請求項３記載の方法。
【請求項１５】
前記2Dルックアップテーブル（LUT）の生成はさらに：
反射率トレーニング・データセットに応答して前記LUTマッピング関数の出力値を生成し；
前記反射率トレーニング・データセットに応答して前記LUTマッピング関数についての入力インデックス値を生成し；
前記LUTマッピング関数の生成された入力インデックス値および出力値に基づいて面を生成し；
生成された面を、規則的にサンプリングされる格子において、ある近似基準に従って近似することによって、前記2D  LUTの値を生成することを含む、
請求項３記載の方法。
【請求項１６】
前記入力信号は赤（R）、緑（G）および青（B）信号に対応し、前記第一の出力色信号は緑の色出力信号に対応する、請求項１ないし１５のうちいずれか一項記載の方法。
【請求項１７】
請求項１ないし１６のうちいずれか一項記載の方法を実行するよう構成されている、プロセッサを有する装置。
【請求項１８】
請求項１ないし１６のうちいずれか一項記載の方法をコンピュータで実行するためのコンピュータ実行可能命令が記憶されている非一時的なコンピュータ可読記憶媒体。
【国際調査報告】
2016541167.tif 000026
2016541167.tif 000027
2016541167.tif 000028