(57)【要約】【課題】ホワイトバランス調整などの色再現品質を向上するため、センサ応答から撮影シーンの未知の光源の色特性を推定する光源推定装置、光源推定方法、撮像装置および画像処理方法を提供する。【解決手段】光源推定方法は、センサ応答値５に対して、既知である撮像手段４の分光感度特性と仮定したテスト光源１の分光特性とから測色的に近似可能な演算により得られるパラメータを用いた投影変換部６において、撮影光源２に依存しない評価空間の画像分布９へ投影し、評価部１０によりその投影されたシーンのサンプル値の分布状態に基づいて複数のテスト光源１についての正答性を評価することによって正しい撮影光源２を推定する。【選択図】  図１
2004165932.tif 000002
【特許請求の範囲】
【請求項１】
複数の異なる分光感度特性を持つ撮像手段が、不特定の任意の被写体を撮影した際に得るセンサ応答値から、被写体を照射していた未知の撮影光源の色を示す分光特性を推定する光源推定装置において、
上記撮像手段が有する既知である上記複数の異なる分光感度特性と予め仮定した複数のテスト光源の分光特性とから測色的に近似可能な演算を行うことにより上記センサ応答値を上記撮影光源に依存しない評価空間へ投影するためのパラメータをテスト光源毎に記憶した記憶手段と、
上記センサ応答値に対して、上記記憶手段に記憶されたパラメータを用いて上記撮影光源に依存しない評価空間へ投影する投影変換手段と、
上記投影変換手段により投影された画像シーンのサンプル値の画像分布状態に基づいて上記複数のテスト光源についての正答性を評価する評価手段と、
を備えたことによって正しい撮影光源を推定することを特徴とする光源推定装置。
【請求項２】
複数の異なる分光感度特性を持つ撮像手段が、不特定の任意の被写体を撮影した際に得るセンサ応答値から、被写体を照射していた未知の撮影光源の色を示す分光特性を推定する光源推定方法において、
上記センサ応答値に対して、既知である撮像手段の分光感度特性と、仮定したテスト光源の分光特性とから測色的に近似可能な演算により、撮影光源に依存しない評価空間へ投影し、
その投影されたシーンのサンプル値の分布状態に基づいて複数のテスト光源についての正答性を評価することによって正しい撮影光源を推定することを特徴とする光源推定方法。
【請求項３】
請求項２記載の光源推定方法において、
多様な物体表面の分光反射率を複数の反射率基底関数の結合で近似するための重み係数が物体表面に固有の分光反射率特性を表す空間、もしくはその重み係数をさらに一定の演算により変換した値が構成する空間を、上記評価用のベクトル空間とすることを特徴とする光源推定方法。
【請求項４】
請求項３記載の光源推定方法において、
既知の複数の物体表面の分光反射率データを母集団として統計的分析により抽出した分光反射率成分、もしくは意図的に抽出したい分光反射率成分、もしくはそれら両方を組み合わせて、上記分光反射率を近似するための反射率基底関数とすることを特徴とする光源推定方法。
【請求項５】
請求項２記載の光源推定方法において、
特定の分光分布を持つ一つの仮想的な基準光源下で物体表面が反射する光の分光分布値を、一定の演算により複数のチャンネルへ変換した値が構成する空間を、上記評価用のベクトル空間とすることを特徴とする光源推定方法。
【請求項６】
請求項５記載の光源推定方法において、
上記分光分布が波長間で一定である基準光源を用いることを特徴とする光源推定方法。
【請求項７】
請求項２記載の光源推定方法において、
既知の分光分布が異なる複数の光源を上記テスト光源とし、それら各テスト光源の分光分布データもしくはそれらを適用して各テスト光源に対応させた演算用係数をあらかじめ保持しておき、上記光源推定時に参照することを特徴とする光源推定方法。
【請求項８】
請求項２記載の光源推定方法において、
既知の多様な光源の分光分布データ、もしくはそれら分光分布データを複数の光源基底関数の重み付け線形和などの演算で近似するための係数、もしくはそれら分光分布データから一定の演算式で得られる指数の中から、複数の異なる代表的な光源を抽出して上記テスト光源としてあらかじめ保持しておき、それら各テスト光源の分光分布データもしくはそれらを適用して各テスト光源に対応させた演算用係数を上記光源推定時に参照することを特徴とする光源推定方法。
【請求項９】
請求項８記載の光源推定方法において、
予め保持してある複数の異なる光源の情報として、特定の光源の分光分布データもしくはそれを適用して特定の光源に対応させた演算用係数を用いて、上記光源推定時にそれらからの適当な選択や補間演算等により上記複数のテスト光源を生成して参照することを特徴とする光源推定方法。
【請求項１０】
請求項７記載の光源推定方法において、
光源の色温度値、もしくは光源の物理的発光方式、もしくはそれら両方によって分類可能な、上記複数の代表的なテスト光源を構成することを特徴とする光源推定方法。
【請求項１１】
請求項２記載の光源推定方法において、
上記撮像手段のセンサ応答値のうち、全画素、もしくは撮像面の空間的位置について適当な位置、範囲、間隔でサンプリングした画素の値を使用することを特徴とする光源推定方法。
【請求項１２】
請求項２記載の光源推定方法において、
上記撮像手段のセンサ応答値のうち、各チャンネルの値が特定の範囲に在る画素の値のみを使用する、もしくは各チャンネルの値が特定の範囲に在る画素を除いた全ての画素の値を使用することを特徴とする光源推定方法。
【請求項１３】
請求項２記載の光源推定方法において、
上記撮像手段のセンサ応答値に対して、評価空間へ投影する時、またはその前に、一定の任意の比率もしくはあらかじめ撮像結果に応じて決定した適当な比率によって、スケーリングを行うことを特徴とする光源推定方法。
【請求項１４】
請求項２記載の光源推定方法において、
上記撮像手段のセンサ応答値に対して、上記撮像手段に想定されるノイズや露出誤差等の時空間的変動量を付加してから、もしくは同変動量を付加した画素を追加してから使用することを特徴とする光源推定方法。
【請求項１５】
請求項２記載の光源推定方法において、
上記各テスト光源について、評価空間に投影されたサンプル画素の値から得られる統計量、もしくはサンプル画素から生成される評価空間中の頻度分布を示す画像分布から得られる統計量、もしくはサンプル画素が分布する評価空間中の領域を示す画像色域から得られる統計量、もしくはそれらのいずれか２つ以上の組み合わせを、そのまま、もしくはそれらを一定の演算により変換した値を、あらかじめ仮定した正答性の指標として上記推定基準に用いることを特徴とする光源推定方法。
【請求項１６】
請求項２記載の光源推定方法において、
上記センサ応答値のセンサ空間においてサンプル画素の値から得る統計量、もしくはセンサ空間におけるサンプル画素の値を一定の演算により変換した値から得る統計量を、上記各テスト光源について評価空間に投影し、そのまま、もしくはそれらを一定の演算により変換した値を、あらかじめ仮定した正答性の指標として上記推定基準に用いることを特徴とする光源推定方法。
【請求項１７】
請求項１５記載の光源推定方法において、
物体表面の分光反射率に関して、各波長で０〜１の範囲内にあるという物理的実現可能性や、平均的には波長間でフラットな特性を持つ無彩色に近い表面が多く存在するという実世界の仮説的確率分布に基づいて、あらかじめ評価空間中で特定の領域に形成可能な制限や重みを付加した統計量によって上記各テスト光源の正答性の指標を算出することを特徴とする光源推定方法。
【請求項１８】
請求項２記載の光源推定方法において、
上記各テスト光源について、評価空間に投影されたサンプル画素の値、もしくはサンプル画素から生成される評価空間中の頻度分布、もしくはサンプル画素が分布する評価空間中の領域、もしくはそれらのいずれか２つ以上の組み合わせに対し、あらかじめ記録してあり参照可能な同評価空間中の出現範囲を示す参照色域との相関関係を上記推定基準の指標として用いることを特徴とする光源推定方法。
【請求項１９】
請求項１８記載の光源推定方法において、
多様な物体表面の分光反射率データを反射率基底関数により近似する係数へ変換した値、もしくはそれらを一定の演算により変換した値の評価空間内での頻度分布から生成した重み付き分布や領域情報を上記参照色域として用いることを特徴とする光源推定方法。
【請求項２０】
請求項１８記載の光源推定方法において、
実在する多様なシーンを撮像した結果もしくは仮想的な多様なシーンの撮像を数値演算で予測した結果であるセンサ応答値を、上記撮像手段の分光感度特性と、各シーンの撮影時に測定した撮影光源の分光分布特性とから測色的に近似可能な演算によりシーン毎に評価空間へ投影した値の頻度分布から生成した重み付き分布や領域情報を上記参照色域として用いることを特徴とする光源推定方法。
【請求項２１】
請求項１８記載の光源推定方法において、
物体表面の分光反射率に関して、各波長で０〜１の範囲内にあるという物理的実現可能性や、平均的には波長間でフラットな特性を持つ無彩色に近い表面が実際には多く存在するという仮説的確率分布に基づいて決定した頻度分布から生成した重み付き分布や領域情報を上記参照色域として用いることを特徴とする光源推定方法。
【請求項２２】
請求項１９記載の光源推定方法において、
上記頻度分布のいずれか、もしくはそれらの合成により上記参照色域を生成する前後において、評価空間中の分布に対して、一定の基準によって内挿、外挿、除去、空間的フィルタリング等の加工を行うことを特徴とする光源推定方法。
【請求項２３】
請求項１５記載の光源推定方法において、
上記各テスト光源の正答性の指標生成において、評価空間中で各テスト光源間の差分がより大きく現れる高彩度領域を重視するために、画像色域の輪郭上またはその付近で画像分布の抽出や重み付けを行った演算を行うことを特徴とする光源推定方法。
【請求項２４】
請求項１５記載の光源推定方法において、
評価空間に投影されたサンプル画素の画像分布または画像領域に対して、一定の基準によって内挿、外挿、除去、空間的フィルタリング等の加工を行ってから上記各テスト光源についての正答性の指標を算出することを特徴とする光源推定方法。
【請求項２５】
請求項１５記載の光源推定方法において、
一つの評価空間に投影されたサンプル画素の値から生成される複数の異なる指標、もしくは複数の異なる評価空間に投影されたサンプル画素の値から生成される複数の異なる指標を、数式により結合、もしくは条件分岐により選択、もしくはそれら両方の組み合わせにより、新たな指標を生成して上記各テスト光源の正答性を評価することを特徴とする光源推定方法。
【請求項２６】
請求項２記載の光源推定方法において、
上記テスト光源の中で最も正答性の高い指標をもつものを推定光源として決定することを特徴とする光源推定方法。
【請求項２７】
請求項２記載の光源推定方法において、
上記テスト光源の中で正答性の高い２つ以上の重み付け平均を推定光源として決定することを特徴とする光源推定方法。
【請求項２８】
請求項２６記載の光源推定方法において、
上記テスト光源の中で最も正答性の高い指標をもつ光源を一旦選定し、さらにその光源付近で細分化した異なる光源を参照して各光源の正答性の指標を生成することを繰り返すことを特徴とする光源推定方法。
【請求項２９】
請求項２６記載の光源推定方法において、
上記テスト光源が物理的発光方式により分類される２つ以上のカテゴリを含み、各カテゴリ内で撮影光源の色温度に最も近いことを示す指標を基にした色温度判定処理と、これと同じまたは異なる指標を用いて撮影光源の物理的発光方式に最も近いことを示す指標を基にした発光方式判定処理とを行い、これら両方の判定結果により推定光源を決定することを特徴とする光源推定方法。
【請求項３０】
請求項２６記載の光源推定方法において、
上記テスト光源が任意の条件で分類できる２つ以上のカテゴリを含み、ユーザが指定したカテゴリ、もしくは上記推定手段とは異なるカテゴリ判別手段から与えられたカテゴリに属するテスト光源のみを対象に、撮影光源に最も近いことを示す指標を基に推定光源を決定することを特徴とする光源推定方法。
【請求項３１】
請求項２記載の光源推定方法において、
上記推定により決定した撮影光源と、上記推定とは異なる推定手法で決定した光源とを、数式により結合、もしくは条件分岐により選択、もしくはそれら両方の組み合わせにより、最終的な推定光源として決定することを特徴とする光源推定方法。
【請求項３２】
複数の異なる分光感度特性を持つ撮像手段が、不特定の任意の被写体を撮影した際に得るセンサ応答値から、被写体を照射していた未知の撮影光源の色を示す分光特性を推定し、推定した光源の色である分光特性もしくはそれに適したパラメータを、上記撮像手段のセンサ応答に対するカラーバランス処理に利用する撮像装置において、
上記撮像手段が有する既知である上記複数の異なる分光感度特性と予め仮定した複数のテスト光源の分光特性とから測色的に近似可能な演算を行うことにより上記センサ応答値を上記撮影光源に依存しない評価空間へ投影するためのパラメータをテスト光源毎に記憶した記憶手段と、
上記センサ応答値に対して、上記記憶手段に記憶されたパラメータを用いて上記撮影光源に依存しない評価空間へ投影する投影変換手段と、
上記投影変換手段により投影された画像シーンのサンプル値の画像分布状態に基づいて上記複数のテスト光源についての正答性を評価することによって正しい撮影光源を推定する評価手段と、
上記推定により決定した撮影光源と、上記推定とは異なる推定手法で決定した光源とを、数式により結合、もしくは条件分岐により選択、もしくはそれら両方の組み合わせにより、最終的な撮影光源を推定し、推定光源として決定する光源推定手段と、
推定した撮影光源の色である分光特性もしくはそれに適したパラメータを、上記撮像手段のセンサ応答に対するカラーバランス処理に利用するカラーバランス調整手段とを具備したことを特徴とする撮像装置。
【請求項３３】
複数の異なる分光感度特性を持つ撮像手段が、不特定の任意の被写体を撮影した際に得るセンサ応答値から、被写体を照射していた未知の撮影光源の色を示す分光特性を推定し、推定した光源の色である分光特性もしくはそれに適したパラメータを、撮像手段のセンサ応答に対するカラーバランス処理に利用する画像処理方法において、
上記センサ応答値に対して、既知である上記撮像手段の分光感度特性と、仮定したテスト光源の分光特性とから測色的に近似可能な演算により、撮影光源に依存しない評価空間へ投影し、
その投影されたシーンのサンプル値の分布状態に基づいて複数のテスト光源についての正答性を評価することによって正しい撮影光源を推定し、
上記推定により決定した撮影光源と、上記推定とは異なる推定手法で決定した光源とを、数式により結合、もしくは条件分岐により選択、もしくはそれら両方の組み合わせにより、最終的な撮影光源を推定し、推定光源として決定し、
推定した撮影光源の色である分光特性もしくはそれに適したパラメータを、上記撮像手段のセンサ応答に対するカラーバランス処理に利用するようにしたことを特徴とする画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば、複数の異なる分光感度特性を持つ撮像手段が、不特定の任意の被写体を撮影した際に得るセンサ応答値から、被写体を照射していた未知の撮影光源の色を示す分光特性を推定する光源推定装置、光源推定方法、撮像装置および画像処理方法に関するものである。
【０００２】
【従来の技術】
人間の目に入射する光は照明による放射エネルギの一部を視対象である物体が反射して空気中を伝播したものであり、視覚系は物体や照明の特性を直接観測できるわけではないが、どのような未知の色的特性を持つ照明下であってもある程度安定して物体を同定する。この特性は色恒常性と呼ばれており、例えば白い物体表面は白として認識することを可能にする。
【０００３】
一方デジタルスチルカメラやデジタルビデオカメラなどの電子撮像機器では、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）などのフォトセンサの応答によってシーンを画像として形成するが、一般にＲ，  Ｇ，  Ｂ等のカラーチャンネル間でセンサ応答のバランスが一定であるため、シーンの照明に応じて自然に見える状態で画像を形成するためにはチャンネル間のバランスを調整する補正機構が必要となる。バランスの調整が十分に行われないと、画像観察者にとって、本来無彩色であるような物体として認識される箇所に着色して画像が再現されたり、物体の記憶色が異なる色で再現されるなどの不自然な印象を与えるため、画像の色再現にとって非常に重要である。
【０００４】
チャンネル間のバランス調整は、各チャンネルのゲイン調整でホワイトバランスと呼ばれる無彩色の補正をしたり、チャンネル間で信号の線形マトリクス変換によって光源の演色性を補正したり（特許文献１）、撮像機器や視覚系などの異なるセンサの感度応答へマッチングを行うなどが可能である。ただしいずれにしても、そのためには補正機構がシーンに応じた適切な補正パラメータを何らかの手段で得なければならない。例えば光量に対してリニアなＲ，  Ｇ，  Ｂ３チャンネルの応答を得るセンサのホワイトバランス調整のために適当なゲイン値は、撮影シーンの光源の分光分布が既知であれば撮像系の分光感度特性とともに次の数１  式、数２  式のように計算できる。
【０００５】
【数１】
2004165932.tif 000003
【０００６】
【数２】
2004165932.tif 000004
【０００７】
しかし撮像機器にとって、キャリブレーション等を行わない通常の撮影時のシーンに存在する被写体やそれらの照明光源に関する情報は未知であり、専用に設けたセンサもしくは撮像用センサの応答結果からシーンに適した調整パラメータ、もしくはそれを決定するための照明光源の色的特性を特定しなければならず光源推定問題や色恒常性問題として知られている。
【０００８】
視覚研究の分野においては１９８０年ごろから各種アルゴリズムや計算モデルが提案されており、またそれら以外の経験的知識にも基づいた手法などはカラー撮像機器に従来から実装されてきており、その推定性能は年々進歩してきている。さらに最近ではロボット等の人工的視覚系への応用も期待されている。
【０００９】
最もよく利用されているアルゴリズムの一つは、物体の表面反射率はシーンの空間的平均がグレーに近いという仮説に基づいてセンサ応答の平均値やその黒体軌跡上への投影から光源の色成分を抽出するもので（非特許文献１  、非特許文献２  ）、単にセンサ応答を画素間で平均したり、特定の明るさレベル範囲内の画素を平均したり、空間内の位置によってサンプリングする範囲や重みを変えるなど、多様な形式で応用されている。また最も明るさレベルの高いエリアを完全拡散反射面に近い白い表面に対応すると仮定して応答値が高い画素をサンプリングした結果から光源の色成分を抽出したり（特許文献２）、明るさレベルが高いエリアが鏡面反射成分であると仮定して応答値の分布から光源を推定する手法（非特許文献３）などもある。これらは物理的には光源と独立であるはずの物体表面についての仮定に基づいているため、シーンによっては仮定から離れた被写体の状態により光源の推定結果が大きく左右されることが知られている。
【００１０】
さらに物体表面を拡散反射面とした反射モデルを仮定し、光源と物体表面それぞれの分光特性を少数次元の線形モデルで近似することで、センサ応答とは異なるベクトル空間を用いた線形演算により復元を試みるもの（非特許文献４）や、物体表面の分光反射率が物理的に０  〜１  の範囲内に在るなどの制約条件を課して確率の高い光源を選定するもの（非特許文献５）などがあるが、応答チャンネル数が少ない一般的な撮像系において、これらは単独では十分な推定性能が得られない。さらには、演算量は増えるが、光源、物体表面、撮像系など複数の既知の仮定や確率分布を統合して統計的に推定精度を高めることを可能にする提案（非特許文献６）などもある。
【００１１】
特に反射モデルを適用した手法では、全く未知の一つの光源を答として推定するのではなく、事前知識を多用して、あらかじめ候補として設定した幾つかの光源の中から最も確からしいものを分類・検出するという決定方式では、比較的計算が単純で高速に結果を出力できるという点で有利と考えられる。これらが確からしいと判断する基準としては、センサ応答自体を一定の制約条件下で復元した誤差（非特許文献７）を用いたり、センサ空間での色域内の分布状態を広く利用して、あらかじめ基準とした色域や重み付き分布との比較で相関関係を効率的に数値化する提案（非特許文献８、非特許文献９、非特許文献１０、特許文献３）がなされている。
【００１２】
【特許文献１】
特開２００２−１４２２３１号公報
【特許文献２】
特開平９−５５９４８号公報
【特許文献３】
特開平５−１９１８２６号公報
【非特許文献１】
Ｇ．Ｂｕｃｈｓｂａｕｍ，  ”Ａ  Ｓｐａｔｉａｌ  Ｐｒｏｃｅｓｓｏｒ  Ｍｏｄｅｌ  ｆｏｒ  Ｏｂｊｅｃｔ  Ｃｏｌｏｒ  Ｐｅｒｃｅｐｔｉｏｎ”，  Ｊ．Ｆｒａｎｋｌｉｎ  Ｉｎｓｔ．  ３１０，  １９８０
【非特許文献２】
Ｅ．Ｈ．Ｌａｎｄ，  ”Ｒｅｃｅｎｔ  Ａｄｖａｎｃｅｓ  ｉｎ  Ｒｅｔｉｎｅｘ  Ｔｈｅｏｒｙ”，  Ｖｉｓｉｏｎ  Ｒｅｓｅａｒｃｈ，  ２６，  １９８６
【非特許文献３】
Ｈ．Ｃ．Ｌｅｅ，  ”Ｍｅｔｈｏｄ  ｆｏｒ  ｃｏｍｐｕｔｉｎｇ  ｔｈｅ  ｓｃｅｎｅ−ｉｌｌｕｍｉｎａｎｔ  ｃｈｒｏｍａｔｉｃｉｔｙ  ｆｒｏｍ  ｓｐｅｃｕｌａｒ  ｈｉｇｈｌｉｇｈｔｓ”，  Ｊ．Ｏｐｔ．Ｓｏｃ．Ａｍ  Ａ，  Ｖｏｌ．３，  Ｎｏ．１０，  １９８６
【非特許文献４】
Ｌ．Ｔ．Ｍａｌｏｎｅｙ  ＆  Ｂ．Ａ．Ｗａｎｄｅｌｌ，  ”Ｃｏｌｏｒ  Ｃｏｎｓｔａｎｃｙ：  Ａ  ｍｅｔｈｏｄ  ｆｏｒ  ｒｅｃｏｖｅｒｉｎｇ  ｓｕｒｆａｃｅ  ｓｐｅｃｔｒａｌ  ｒｅｆｌｅｃｔａｎｃｅ”，  Ｊ．Ｏｐｔ．Ｓｏｃ．Ａｍ．  Ａ，  １９８６
【非特許文献５】
Ｄ．Ａ．Ｆｏｒｓｙｔｈ，  ”Ａ  ｎｏｖｅｌ  Ａｌｇｏｒｉｔｈｍ  ｆｏｒ  Ｃｏｌｏｒ  Ｃｏｎｓｔａｎｃｙ”，  Ｉｎｔ．Ｊ．Ｃｏｍｐｕｔ．Ｖｉｓｉｏｎ  ５，  １９９０
【非特許文献６】
Ｄ．Ｈ．Ｂｒａｉｎａｒｄ  ＆  Ｗ．Ｔ．Ｆｒｅｅｍａｎ，  ”Ｂａｙｅｓｉａｎ  ｃｏｌｏｒ  ｃｏｎｓｔａｎｃｙ”，  Ｊ．Ｏｐｔ．Ｓｏｃ．Ａｍ．  Ａ，  Ｖｏｌ．１４，  Ｎｏ．７，  １９９７
【非特許文献７】
Ｂ．Ｔａｏ，  Ｉ．Ｔａｓｔｌ  ＆  Ｎ．Ｋａｔｏｈ，  ”Ｉｌｌｕｍｉｎａｔｉｏｎ  Ｄｅｔｅｃｔｉｏｎ  ｉｎ  Ｌｉｎｅａｒ  Ｓｐａｃｅ”，  Ｐｒｏｃ．  ８ｔｈ  Ｃｏｌｏｒ  Ｉｍａｇｉｎｇ  Ｃｏｎｆ．，  ２０００
【非特許文献８】
Ｈｅｗｌｅｔｔ−Ｐａｃｋａｒｄ  Ｃｏｍｐａｎｙ，  Ｈｕｂｅｌ，  ｅｔ  ａｌ．  ，  ”Ｗｈｉｔｅ  ｐｏｉｎｔ  ｄｅｔｅｒｍｉｎａｔｉｏｎ  ｕｓｉｎｇ  ｃｏｒｒｅｌａｔｉｏｎ  ｍａｔｒｉｘ  ｍｅｍｏｒｙ”，  Ｕ．Ｓ．Ｐａｔｅｎｔ  ６０３８３３９
【非特許文献９】
Ｇ．Ｄ．Ｆｉｎｌａｙｓｏｎ，  Ｐ．Ｍ．Ｈｕｂｅｌ，  ＆  Ｓ．Ｈｏｒｄｌｅｙ，  ”Ｃｏｌｏｒ  ｂｙ  ｃｏｒｒｅｌａｔｉｏｎ”，  Ｐｒｏｃ．５ｔｈ  Ｃｏｌｏｒ  Ｉｍａｇｉｎｇ  Ｃｏｎｆ．，  １９９７
【非特許文献１０】
Ｓ．Ｔｏｍｉｎａｇａ  ＆  Ｂ．Ａ．Ｗａｎｄｅｌｌ，  ”Ｎａｔｕｒａｌ  ｓｃｅｎｅ−ｉｌｌｕｍｉｎａｎｔ  ｅｓｔｉｍａｔｉｏｎ  ｕｓｉｎｇ  ｔｈｅ  ｓｅｎｓｏｒ  ｃｏｒｒｅｌａｔｉｏｎ”，  Ｐｒｏｃ．  ＩＥＥＥ，  Ｖｏｌ．９０，  Ｎｏ．１，  ２００２
【００１３】
【発明が解決しようとする課題】
一般的に光源推定アルゴリズムをデジタルカメラ内部のホワイトバランス処理のような画像処理演算で利用するためには、処理速度が速いだけでなくメモリ消費量などのコストが低いことが実装時に求められる。
【００１４】
しかし、上述した従来のアルゴリズムのうち比較的高速に分類・検出を可能にする方式（非特許文献８、非特許文献９、特許文献３）であっても、図１０に従来のセンサ応答空間でのテスト光源の正当性を評価する方式の概念図を示すように、候補として設定するテスト光源１０１の数１〜ｎが多いほど推定精度を高める可能性がある一方で、撮像手段１０４による被写体１０３の撮影画像のセンサ応答１０５に対する画像分布１０６と、それらテスト光源１０１に対応して記憶媒体１０７に記憶された参照分布（１，２、・・・ｎ）１０８との比較部１０９による比較評価を、撮像光源１０２に依存するセンサ空間の画像分布１０６において行って、評価結果のスコア（１，２、・・・ｎ）１１０を出力し、判定部１１１がスコア値１１０に基づいて最も正しいと判断したテスト光源を推定光源Ｏとして判定するために、正しい光源である比較基準としての色域、重み付き分布、ターゲット値などの参照分布（１，２、・・・ｎ）１０８の情報を、設定したテスト光源１０１の数１〜ｎだけ記憶媒体１０７に保持している必要がありＲＯＭ等の記憶媒体１０７のメモリ消費量が増えるという傾向があり、精度とコストの間に一長一短の問題があるという不都合があった。
【００１５】
これらが固定した投影によって、１つの撮像につき１つの画像分布を作成し、それを仮定した複数の光源に対応する複数の参照分布と比較することを判断基準としているのに対して、本願発明では、仮定した複数の光源に対応する投影によって生成される複数の画像分布を、固定した一つの参照分布と比較することを判断基準とする。
【００１６】
そこで、本発明は、かかる点に鑑みてなされたものであり、カラー撮像機器での自動ホワイトバランス調整などの色再現品質を向上するため、センサ応答から撮影シーンの未知の光源の色特性を推定する光源推定装置、光源推定方法、撮像装置および画像処理方法を提供することを課題とする。
【００１７】
【課題を解決するための手段】
本発明の光源推定装置は、センサ応答値に対して、撮像手段が有する既知である複数の異なる分光感度特性と予め仮定した複数のテスト光源の分光特性とから測色的に近似可能な演算を行うことによりセンサ応答値を撮影光源に依存しない評価空間へ投影するためのパラメータをテスト光源毎に記憶した記憶手段と、記憶手段に記憶されたパラメータを用いてセンサ応答値を撮影光源に依存しない評価空間へ投影する投影変換手段と、投影変換手段により投影された画像シーンのサンプル値の画像分布状態に基づいて複数のテスト光源についての正答性を評価する評価手段とを備えたことによって正しい撮影光源を推定するものである。
【００１８】
従って本発明によれば、以下の作用をする。
サンプリングしたセンサ応答に対して、既知である撮像系の分光感度特性とテスト光源の分光特性とから測色的に近似可能な演算により、光源に依存しない評価空間へ投影し、そこでの広く分布したサンプル値の状態に基づいて各テスト光源についての正当性を評価する。
【００１９】
これによれば、センサ空間から評価空間へ投影するための行列等のパラメータのみを各テスト光源について保持しておけばよいため、唯一の評価空間での評価基準をあたえることで、少量のメモリ消費で高い推定精度を得ることができる。
【００２０】
また、本発明の光源推定方法は、センサ応答値に対して、既知である撮像手段の分光感度特性と、仮定したテスト光源の分光特性とから測色的に近似可能な演算により、撮影光源に依存しない評価空間へ投影し、その投影されたシーンのサンプル値の分布状態に基づいて複数のテスト光源についての正答性を評価することによって正しい撮影光源を推定するものである。
【００２１】
従って本発明によれば、以下の作用をする。
光源に依存しない固定した空間を用いて評価を行うために、正しい光源である比較基準としての情報を一つの参照分布の空間についてのみ保持していればよく、評価の処理が簡略化されるため、コストが増大する課題を解決することを可能にする。さらにそのために、正しい光源である基準として参照する情報（条件やデータ）をより多く与えることができるため、推定精度を向上させるための最適化調整も容易になる。
【００２２】
また、本発明の撮像装置は、センサ応答値に対して、撮像手段が有する既知である複数の異なる分光感度特性と予め仮定した複数のテスト光源の分光特性とから測色的に近似可能な演算を行うことによりセンサ応答値を撮影光源に依存しない評価空間へ投影するためのパラメータをテスト光源毎に記憶した記憶手段と、記憶手段に記憶されたパラメータを用いてセンサ応答値を撮影光源に依存しない評価空間へ投影する投影変換手段と、投影変換手段により投影された画像シーンのサンプル値の画像分布状態に基づいて複数のテスト光源についての正答性を評価することによって正しい撮影光源を推定する評価手段と、推定により決定した撮影光源と、推定とは異なる推定手法で決定した光源とを、数式により結合、もしくは条件分岐により選択、もしくはそれら両方の組み合わせにより、最終的な撮影光源を推定し、推定光源として決定する光源推定手段と、推定した撮影光源の色である分光特性もしくはそれに適したパラメータを、撮像手段のセンサ応答に対するカラーバランス処理に利用するカラーバランス調整手段とを具備したものである。
【００２３】
従って本発明によれば、以下の作用をする。
撮像装置において、撮影光源の推定の幅を広げることができ、センサ空間から評価空間へ投影するための行列等のパラメータのみを各テスト光源について保持し、唯一の評価空間での評価基準をあたえることで、少量のメモリ消費で高い推定精度を得ることにより、カラーバランス処理に利用することができる。
【００２４】
また、本発明の画像処理方法は、センサ応答値に対して、既知である撮像手段の分光感度特性と、仮定したテスト光源の分光特性とから測色的に近似可能な演算により、撮影光源に依存しない評価空間へ投影し、その投影されたシーンのサンプル値の分布状態に基づいて複数のテスト光源についての正答性を評価することによって正しい撮影光源を推定し、推定により決定した撮影光源と、推定とは異なる推定手法で決定した光源とを、数式により結合、もしくは条件分岐により選択、もしくはそれら両方の組み合わせにより、最終的な撮影光源を推定し、推定光源として決定し、推定した撮影光源の色である分光特性もしくはそれに適したパラメータを、撮像手段のセンサ応答に対するカラーバランス処理に利用するようにしたものである。
【００２５】
従って本発明によれば、以下の作用をする。
画像処理方法において、撮影光源の推定の幅を広げることができ、センサ空間から評価空間へ投影するための行列等のパラメータのみを各テスト光源について保持し、唯一の評価空間での評価基準をあたえることで、早い処理で高い推定精度を得ることにより、カラーバランス処理に利用することができる。
【００２６】
【発明の実施の形態】
以下に、本発明の実施の形態について適宜図面を参照しながら説明する。
図１に本発明の実施の形態に適用される光源に依存しない評価空間でテスト光源の正当性を評価する方式の概念図を示す。
【００２７】
図１において、撮像手段４により撮影光源２での被写体３を撮像する。このときの撮像手段４によりサンプリングしたセンサ応答５に対して、光源に依存しない評価空間へ投影するために、既知である撮像手段４の分光感度特性とテスト光源（１〜ｎ）１の分光特性とから予め測色的に近似した演算を行い記憶媒体７に記憶された各テスト光源に対応する行列（１〜ｎ）８を用いて、投影変換部６により評価空間の画像分布９へ投影し、その画像分布９に広く分布したサンプル値の状態に基づいて各テスト光源（１〜ｎ）１についての正当性を参照分布１１に基づいて評価部１０により評価しスコア値１２を出力し、判定部１３がスコア値１２に基づいて最も正しいと判断したテスト光源を推定光源Ｏとして判定する。
【００２８】
これによれば、センサ空間から評価空間の画像分布９へ投影するための行列（１〜ｎ）８等のパラメータのみを各テスト光源（１〜ｎ）１について記憶媒体７に保持しておけばよいため、評価空間の画像分布９での唯一の参照分布１１による評価基準をあたえることで、判定部１３が高い精度で判定を行うに十分な情報量を持つスコア（１，２、・・・ｎ）１２を、記憶媒体７は少量のメモリ消費で評価部１０が出力することができる。
【００２９】
図２に本発明の実施の形態に適用されるデジタルスチルカメラ内の画像処理系のブロック図を示す。
【００３０】
各画素で異なる分光感度特性によるＲｅｄ，  Ｂｌｕｅ，  Ｇｒｅｅｎの３チャンネルのセンサ応答を光量に比例した１０ｂｉｔのデジタル値で得ることができ、その同装置内部の画像処理演算器において、各チャンネル毎に適当なゲイン値によってホワイトバランス調整のための処理を施すデジタルスチルカメラを想定する。
【００３１】
センサ応答読み出し部２１で読み出した値から黒補正部２２でオフセット成分を差し引いたセンサ応答に基づいてホワイトバランス調整用の適当なゲイン値を決定するために、サブサンプリング部２３により全画素の中から適当な位置間隔でサブサンプリングを行う。その際に、センサ応答が最小値や最大値付近で飽和していると判断できる範囲にある画素は除外する。これらのサンプル画素に対して光源推定処理部２４により後述の光源推定処理を行う。
【００３２】
その結果、あらかじめ数１式、数２式に示す計算によりゲイン決定部２５に保持してあるテスト光源毎のホワイトバランス調整用のゲイン値から推定光源に対応するものを選択し、ホワイトバランス用ゲイン調整部２６のホワイトバランス処理へ適用する。
【００３３】
その後、階調変換部２７による非線形な階調変換と、色空間変換部２８での３ｘ３のマトリクス変換によりＹ，Ｃｂ，Ｃｒ（輝度式差信号）各８ｂｉｔへ変換し、符号化部２９による画像圧縮処理を含めた符号化を行ってファイル書き込み部３０によりメモリカードへ電子ファイルとして記録する。
【００３４】
本実施の形態での光源推定では、センサ応答に関して、次のような物体表面の線形な反射モデルを数３式で仮定する。
【００３５】
【数３】
2004165932.tif 000005
【００３６】
本実施の形態は物体表面の分光反射率が３つの基底関数の線形結合で近似できるものとした数４式の行列計算によって説明する。
【００３７】
【数４】
2004165932.tif 000006
【００３８】
基底関数の重み係数は分光反射率が既知であれば次の数５式のように近似値を算出できる。
【００３９】
【数５】
2004165932.tif 000007
【００４０】
数５式のｗはセンサや撮影光源には依存しないため、基底関数の重み係数によるベクトル空間（以下、反射率ベクトル空間と呼ぶ）は物体に固有の空間と言える。図５に示す分光反射率基底関数は基底関数の例を波長が４００ｎｍ〜７００ｎｍの範囲において示しており、β１が明るさ成分を表すために第１成分を波長間でフラットに設定し、第２・第３成分は特定の２４枚の色票の分光反射率データから第１成分をオフセットとして除外してから主成分分析を行って上位二成分を抽出したものである。また数３式、数４式より基底数とセンサ応答のチャンネル数が同じ場合、センサ応答から行列により投影した列ベクトルは次の数６式のように計算できる。
【００４１】
【数６】
2004165932.tif 000008
【００４２】
数６式の行列Ｍがセンサ応答を反射率ベクトル空間へ投影するが、光源Ｌに依存する行列であり、ここでは以下で光源行列と呼ぶ。センサ応答から投影したｗ〜は、光源Ｌにセンサ応答を得たシーンと同一の光源を用いれば、被写体の分光反射率が未知であっても近い値を復元することになる。しかし撮影シーンと異なる光源を用いればその復元精度は得られない。したがって任意の光源Ｌｉを仮定し、数７式に示す光源行列Ｍｉを用いる。
【００４３】
【数７】
2004165932.tif 000009
【００４４】
数７式により取得した光源行列Ｍｉを用いて数６式で投影した列ベクトルｗｉ〜と被写体の正しい列ベクトルｗとの関係によって反射率ベクトル空間において撮影光源との類似度を評価できる。図６は反射率ベクトル空間内のβ２−  β３平面で、既知の表面の分光反射率から近似した点の分布と、撮影した同じ表面のセンサ応答から撮影時と同じ光源の光源行列で投影した点の分布がそれに近い状態にあること、撮影時と異なる光源の光源行列で投影した点が異なる分布状態にあることを２４枚の色票についてのシミュレーション結果で示す。
【００４５】
被写体がとり得る列ベクトルｗは反射率ベクトル空間内に広く分布し、単一画素のセンサ応答から得られる列ベクトルｗｉ〜では未知の被写体との関係を評価することが困難である。したがってここでは撮影シーンが一つの光源で一様に照らされていると仮定し、画像全体からサンプリングした画素のセンサ応答を反射率ベクトル空間内へ投影し、それらの分布状態（以下、画像分布と呼ぶ）を評価することによって一つの推定光源を決定する。評価対象とする光源（以下、テスト光源と呼ぶ）は複数設け、全ての光源行列を上述した数式７に従ってあらかじめ算出して保持しておく。
【００４６】
推定処理時には全てのテスト光源について各光源行列を適用して投影した画像分布を評価し、全てのテスト光源の中から正しさを示す評価指標が最も高かったものを推定光源として選択する。ここではテスト光源として色温度が約２８５０〜８０００［Ｋ］の範囲の自然光を想定し、推定誤差のばらつきを少なくするために図７Ａに示すようにＣＩＥ１９７６ＵＣＳ色度図のｕ’  −ｖ’  平面上でできるだけ等間隔になるようなＣＩＥ  昼光軌跡上から７つを設定した。本実施の形態では、テスト光源のいずれかの選択が推定結果となるため、テスト光源は、図７Ｂに示すようにｕ’  −ｖ’  平面上で色温度方向に意図的な特定区間だけ詳細に分割したり、図７Ｃに示すように蛍光灯など物理的な発光方式が異なるものなども加えて多様なシーンで正しい推定結果を得る確率を高めたりしてもよい。
【００４７】
画像分布の分布状態が被写体の正しい状態にあるかどうかを相対的に評価するために、反射率ベクトル空間での比較基準とする固定した一つの分布状態（以下、参照分布と呼ぶ）を参照する。参照分布はβ２−  β３の平面上で均等な間隔に分割した各セルについて重み係数を持たせた２次元の数値テーブルの形式のデータとして保持しておく。この参照分布の生成は例えば次のような手順で作成する。
【００４８】
具体的な参照分布の生成処理のフローチャートを図３に示す。
【００４９】
ステップＳ１で、被写体として想定できる多くの物体表面の分光反射率データを収集し、できるだけ多様な代表的サンプルを抽出する。
【００５０】
ステップＳ２で、分光反射率のサンプルデータを数式５により反射率ベクトル空間へ投影する。（図８）
【００５１】
ステップＳ３で、反射率ベクトル空間のβ２−  β３平面において、長方形領域がサンプルの分布を包含するように各軸の下端ｌｏｗ２，ｌｏｗ３、上端ｈｉｇｈ２，ｈｉｇｈ３、セル分割数ｂｉｎ２，ｂｉｎ３を定めて、セル領域を設定する。
【００５２】
ステップＳ４で、各セル範囲内に位置するサンプルデータの個数を集計して頻度分布を生成する。
【００５３】
セル座標（ｘ，ｙ）は次の数８式で計算する。
【００５４】
【数８】
2004165932.tif 000010
【００５５】
ステップＳ５で、各セルの頻度を適当なビット深度で符号化した値Ｔｒｘｙを記録する。
【００５６】
ステップＳ６で、参照分布の分布範囲の輪郭を形成するために、値が存在するセルを突状に包括する多角形を計算し、その内部に位置して値が存在しないセルに値１  を与えることで、輪郭内のセルに穴埋めを行う。図９にビット深度を２  で生成した参照分布の例をセル内の数値で示す。
【００５７】
具体的な光源推定処理のフローチャートを図４に示す。
推定処理時にはまず各テスト光源について、図４の中で示す次のような手順でスコア値の算出を繰り返す。
【００５８】
ステップＳ１１で、テスト光源別の投影行列を選択する。具体的には、図１に示す投影変換部６は記憶媒体７からテスト光源ｉ  の光源行列Ｍｉを選択する。
【００５９】
ステップＳ１２で、サンプル画素の読み出しを行う。具体的には、図１に示す投影変換部６は撮像手段４からサンプル画素の読み出しを行う。
【００６０】
ステップＳ１３で、行列変換を行う。具体的には、図１に示す投影変換部６はテスト光源ｉ  の光源行列Ｍｉによりサンプル画素のセンサ応答５を反射率ベクトル空間へ投影する。
【００６１】
ステップＳ１４で、画像分布の生成を行う。具体的には、図１に示す投影変換部６は参照分布１１と同一のセル位置での画像分布９を作成する。画像分布９は参照分布１１の生成時と同様に各セルの頻度を適当なビット深度で符号化した値Ｔｈｉｘｙである。ここではビット深度を１  とし、１  画素以上が存在したセルに値１  を与えそれ以外のセルは０  とした画像分布の例を、図９に示す参照分布テーブルのセル内のグレーで表示する。
【００６２】
ステップＳ１５で、全サンプル画素について繰り返しを行って，ステップＳ１２へ戻ってステップＳ１２〜ステップＳ１５までの処理および判断を繰り返す。具体的には、図１に示す投影変換部６は各画素について画像分布９を記録するだけでなく、参照分布１１で値が存在するセル（図９で太枠表示）に位置していた画素をカウントしていく。
【００６３】
ステップＳ１６で、テスト光源別のスコア値を算出する。ここで、スコア値１２は画像分布９と参照分布１１との相関値等である。具体的には、図１に示す評価部１０は、次のような３種類の指標を算出する。
【００６４】
第１に、分布相関として、反射率ベクトル空間内での分布状態に関して、参照分布１１と画像分布９との相関関係を示す一つの指標として、画像分布９をセル毎の参照分布１１の重み付きの和を数９式で算出する。
【００６５】
【数９】
2004165932.tif 000011
【００６６】
第２に、画素数割合として、画素のサンプル数に関して、参照分布１１を基準とした比較指標として、全サンプル画素数のうち参照分布１１の色域内（図９で太枠表示）に在る画素数の比率を数１０式で算出する。
【００６７】
【数１０】
2004165932.tif 000012
【００６８】
第３に、分布サイズとして、反射率ベクトル空間内の画像分布のみについて、誤った光源マトリクスによる投影では正しい光源マトリクスとの差が大きいほどβ２軸方向に分散して分布範囲が広くなるという仮定の基に次のような指標を数１１式で算出する。
【００６９】
【数１１】
2004165932.tif 000013
【００７０】
ここで、図１に示す評価部１０は、３種類の指標の積算で光源ｉ  のスコア値１２を数式１２で取得する。
【００７１】
【数１２】
2004165932.tif 000014
【００７２】
ステップＳ１７で、全テスト光源について繰り返しを行って，ステップＳ１１へ戻ってステップＳ１１〜ステップＳ１７までの処理および判断を繰り返す。
【００７３】
ステップＳ１８で、推定光源の選択を行う。具体的には、図１に示す評価部１０は、全テスト光源１のスコア値１２を取得した後、判定部１３が最も高いスコア値１２を持つ光源ｉ  を推定光源として決定する。
【００７４】
その他のスコア値の高いテスト光源を利用した重み付け平均などによって中間的な光源を推定光源として決定してもよい。
【００７５】
またはスコア値が高かった図７Ａに示すｕ’  −ｖ’  平面上のテスト光源に近い特定区間だけ色温度方向にさらに細分化した複数のテスト光源を新たに生成し、それらの新たに設けたテスト光源に対するスコア計算とそれによる判定を段階的に行うことで、推定結果の分解能を向上させてもよい。
【００７６】
テスト光源として高効率型蛍光ランプや三波長型蛍光ランプなど物理的発光方式などにより異なるカテゴリに分類できるものが複数含まれる場合には、各カテゴリ内での評価と、カテゴリ間の評価とで異なる指標を利用して算出し、別々のスコア値を組み合わせて推定光源を判断してもよい。
【００７７】
時間的に連続してシーンの光源推定処理を続ける場合には、間隔の近い過去に取得された指標や推定結果と組み合わせて最新の推定光源を判断してもよい。
【００７８】
反射率ベクトル空間内でテスト光源の正答性を評価するのに、β２−  β３平面での分布状態だけでなく、β１−  β３やβ１−  β２の他の２次元空間の分布で評価したり、各軸の１次元の分布を評価したり、三次元での分布状態を評価してもよい。
【００７９】
例えば、β２、β３をそれぞれβ１で除算したβ２／β１−  β３／β１平面のようにベクトルチャンネル間の相対値による２次元空間を用いることにより、シーン毎の露出のばらつきや同一シーン内での照明強度のムラなどによる評価への影響を抑えることができる。
【００８０】
なお、上述した本実施の形態に限らず、本発明の特許請求の範囲内であれば適宜他の構成をとりうることはいうまでもない。
【００８１】
【発明の効果】
本発明の光源推定装置は、センサ応答値に対して、撮像手段が有する既知である複数の異なる分光感度特性と予め仮定した複数のテスト光源の分光特性とから測色的に近似可能な演算を行うことによりセンサ応答値を撮影光源に依存しない評価空間へ投影するためのパラメータをテスト光源毎に記憶した記憶手段と、記憶手段に記憶されたパラメータを用いてセンサ応答値を撮影光源に依存しない評価空間へ投影する投影変換手段と投影変換手段により投影された画像シーンのサンプル値の画像分布状態に基づいて複数のテスト光源についての正答性を評価する評価手段とを備えたことによって正しい撮影光源を推定するものであるので、サンプリングしたセンサ応答に対して、既知である撮像系の分光感度特性とテスト光源の分光特性とから測色的に近似可能な演算により、光源に依存しない評価空間へ投影し、そこでの広く分布したサンプル値の状態に基づいて各テスト光源についての正当性を評価することができるという効果を奏する。
【００８２】
これによれば、センサ空間から評価空間へ投影するための行列等のパラメータのみを各テスト光源について保持しておけばよいため、唯一の評価空間での評価基準をあたえることで、少量のメモリ消費で高い推定精度を得ることができるという効果を奏する。
【００８３】
また、本発明の光源推定方法は、センサ応答値に対して、既知である撮像手段の分光感度特性と、仮定したテスト光源の分光特性とから測色的に近似可能な演算により、撮影光源に依存しない評価空間へ投影し、その投影されたシーンのサンプル値の分布状態に基づいて複数のテスト光源についての正答性を評価することによって正しい撮影光源を推定するものであるので、光源に依存しない固定した空間を用いて評価を行うために、正しい光源である比較基準としての情報を一つの参照分布の空間についてのみ保持していればよく、評価の処理が簡略化されるため、コストが増大する課題を解決することができる。さらにそのために、正しい光源である基準として参照する情報（条件やデータ）をより多く与えることができるため、推定精度を向上させるための最適化調整も容易にすることができるという効果を奏する。
【００８４】
本発明は仮定した複数のテスト光源から最も適当な光源を判別する方式であるが、従来から提案されていたように光源に依存する空間で評価を行うには各光源毎に評価基準が必要であり、評価基準としてのデータ量がテスト光源のパターン数に比例して増えるために、評価基準のデータ量かテスト光源の数を減らして推定精度を犠牲にするか、精度を優先してメモリコストを増大させるしかない。本発明では、テスト光源毎に少量のメモリで済む空間変換用の係数を設け、評価は光源に依存しない固定した空間を用いて行うために、正しい光源である比較基準として参照する情報（条件やデータ）を一つの空間についてのみ保持していればよく、コストを増大させずに推定精度を上げることができ、従来の技術に比べて優位なものである。
【００８５】
また、本発明の撮像装置は、センサ応答値に対して、撮像手段が有する既知である複数の異なる分光感度特性と予め仮定した複数のテスト光源の分光特性とから測色的に近似可能な演算を行うことによりセンサ応答値を撮影光源に依存しない評価空間へ投影するためのパラメータをテスト光源毎に記憶した記憶手段と、記憶手段に記憶されたパラメータを用いてセンサ応答値を撮影光源に依存しない評価空間へ投影する投影変換手段と、投影変換手段により投影された画像シーンのサンプル値の画像分布状態に基づいて複数のテスト光源についての正答性を評価することによって正しい撮影光源を推定する評価手段と、推定により決定した撮影光源と、推定とは異なる推定手法で決定した光源とを、数式により結合、もしくは条件分岐により選択、もしくはそれら両方の組み合わせにより、最終的な撮影光源を推定し、推定光源として決定する光源推定手段と、推定した撮影光源の色である分光特性もしくはそれに適したパラメータを、撮像手段のセンサ応答に対するカラーバランス処理に利用するカラーバランス調整手段とを具備したものであるので、撮像装置において、撮影光源の推定の幅を広げることができ、センサ空間から評価空間へ投影するための行列等のパラメータのみを各テスト光源について保持し、唯一の評価空間での評価基準をあたえることで、少量のメモリ消費で高い推定精度を得ることにより、カラーバランス処理に利用することができるという効果を奏する。
【００８６】
また、本発明の画像処理方法は、センサ応答値に対して、既知である撮像手段の分光感度特性と、仮定したテスト光源の分光特性とから測色的に近似可能な演算により、撮影光源に依存しない評価空間へ投影し、その投影されたシーンのサンプル値の分布状態に基づいて複数のテスト光源についての正答性を評価することによって正しい撮影光源を推定し、推定により決定した撮影光源と、推定とは異なる推定手法で決定した光源とを、数式により結合、もしくは条件分岐により選択、もしくはそれら両方の組み合わせにより、最終的な撮影光源を推定し、推定光源として決定し、推定した撮影光源の色である分光特性もしくはそれに適したパラメータを、撮像手段のセンサ応答に対するカラーバランス処理に利用するようにしたものであるので、画像処理方法において、撮影光源の推定の幅を広げることができ、センサ空間から評価空間へ投影するための行列等のパラメータのみを各テスト光源について保持し、唯一の評価空間での評価基準をあたえることで、メモリ消費を抑えた処理で高い推定精度を得ることにより、カラーバランス処理に利用することができるという効果を奏する。
【００８７】
本発明は撮像系の応答から撮影シーンの光源を高精度に推定することを目的とした一つの枠組みを提供することができる。撮像系において未知のシーンの光源を推定することができると、撮像機器での画像のホワイトバランス調整やカラーマッチング調整などのパラメータを正確に決定することが可能であり、撮影シーンの正確な色再現を行ったり、意図する特定の色再現が得られるように正確に補正をして、画像を記録・表示することができる。
【図面の簡単な説明】
【図１】本実施の形態に適用される光源に依存しない評価空間でテスト光源の正当性を評価する方式の概念図である。
【図２】デジタルスチルカメラ内の画像処理ブロック図である。
【図３】参照分布の生成処理を示すフローチャートである。
【図４】光源推定処理を示すフローチャートである。
【図５】分光反射率基底関数を示す図である。
【図６】色票を反射率ベクトル空間へ投影した例を示す図である。
【図７】テスト光源を示す図であり、図７Ａは等間隔、図７Ｂは特定区間の詳細分割、図７Ｃは複数光源タイプである。
【図８】反射率サンプルの分布を示す図である。
【図９】参照分布テーブルを示す図である。
【図１０】従来のセンサ応答空間でテスト光源の正当性を評価する方式の概念図である。
【符号の説明】
１……テスト光源１〜ｎ、２……撮像光源、３……被写体、４……撮像手段、５……センサ応答、６……投影変換部、７……記憶媒体、８……行列１〜ｎ、９……画像分布、１０……評価部、１１……参照分布、１２……スコア１〜ｎ、１３……判定部、２１……センサ応答読み出し部、２２……黒補正部、２３……サンプリング部、２４……光源推定部、２５……ゲイン決定部、２６……ホワイトバランス用ゲイン調整部、２７……諧調変換部、２８……色空間変換部、２９……符号化部、３０……ファイル書き込み部
【図１】
2004165932.tif 000015
【図２】
2004165932.tif 000016
【図３】
2004165932.tif 000017
【図４】
2004165932.tif 000018
【図５】
2004165932.tif 000019
【図６】
2004165932.tif 000020
【図７】
2004165932.tif 000021
【図８】
2004165932.tif 000022
【図９】
2004165932.tif 000023
【図１０】
2004165932.tif 000024