(57)【特許請求の範囲】
【請求項１】
空間内の特定位置を照射する照明光の分光特性を推定する装置であって、
分光反射率が異なる複数の色票を同一平面上に配し、色票の分光反射率が既知である標準板と、
光学系への入射光に対する撮像結果の分光感度特性と階調特性とが既知であり、画像データを画像ファイルに記録する機能を持つ撮像手段と、
前記撮像手段の露光条件を設定する設定手段と、
前記設定手段により複数段階の異なる露光条件に設定された前記撮像手段により得られる複数の画像のうちのいずれかに前記標準板上の全ての色票が適正なダイナミックレンジ内に撮像された複数の画像と、前記設定手段により設定された複数段階の異なる露光条件と、から前記標準板上の全ての色票が適正なダイナミックレンジ内に表現される一枚の画像データを作成する画像合成手段と、
前記画像合成手段により作成された画像データと、前記設定手段により設定された複数の異なる露光条件と、から照明光の分光特性を算出する解析手段、
とを具備することを特徴とする照明光分光特性推定装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、空間内の特定の位置に配した複数の色票をデジタルスチルカメラやデジタルビデオカメラなどのカメラで撮影することによって得られた画像から、その位置を照射する照明光の分光特性を算出する照明光分光推定装置に関する。
【０００２】
推定される照明光の分光特性は、環境照明の分析を行う環境調査や、同一の照明下で同一のカメラにより撮影したシーンや被写体の画像データの色や明るさを校正するカラー画像処理に用いられる。
【０００３】
【従来の技術】
照明光の特性の測定機器として、以下のものが存在する。
（ａ）簡易的に照明の特性を得ることができる測定機器やセンサーがあり、またそれらと撮像系や表示系の画像処理機器とが一体化したものがあり、また撮像系にその機能を持たせたものがある。
しかし、これらはいずれも一つの分光透過率を持つ標準透過面を透過した光または一つの分光反射率を持つ標準反射面から反射した光を測定することにより、照明光の特性を低次元の推定値で得るものであり、一般には一次元から三次元で表される輝度，照度，色温度，色彩値などが得られる。
【０００４】
（ｂ）照明光の分光特性を推定しようとする場合、分光放射計と呼ばれる高精度な分光測定専用の測定機器を用いる必要がある。
【０００５】
【発明が解決しようとする課題】
上記（ａ）（ｂ）に挙げる測定機器は、それぞれ以下の問題を有する。
（ａ）の簡易的なセンサーや測定機器より得られた低次元の推定値からは、多次元の値である分光特性を精度良く推定することが困難であった。
特に、分光特性に輝線を持つ人工光源による照明光など、分光特性が波長による急な変化を持つ照明光は、推定結果に誤差が大きく、またこの推定結果を照明光の分光特性として応用した処理を行った場合、その処理結果の誤差が大きくなるといった傾向があった。
【０００６】
また、（ｂ）の高精度な分光放射計は、一般的に、高価、測定時間が長い、重い、大きい、測定データを処理する装置とのインターフェイスが必要、といった問題がある。
また、これらと撮像系との一体化は価格、重量、サイズ、需要などの観点から合理的ではない。そのために、照明光の分光特性の測定データを容易に取得して応用することは困難である。
【０００７】
本発明は上述した問題を解決するためになされたものであり、専用の測定機器を用いずに、撮像系を利用して照明光の分光特性を推定する方法およびその装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明による照明光分光特性推定装置は、
空間内の特定位置を照射する照明光の分光特性を推定する装置であって、
分光反射率が異なる複数の色票を同一平面上に配し、色票の分光反射率が既知である標準板と、
光学系への入射光に対する撮像結果の分光感度特性と階調特性とが既知であり、画像データを画像ファイルに記録する機能を持つ撮像手段と、
前記撮像手段の露光条件を設定する設定手段と、
前記設定手段により複数段階の異なる露光条件に設定された前記撮像手段により得られる複数の画像のうちのいずれかに前記標準板上の全ての色票が適正なダイナミックレンジ内に撮像された複数の画像と、前記設定手段により設定された複数段階の異なる露光条件と、から前記標準板上の全ての色票が適正なダイナミックレンジ内に表現される一枚の画像データを作成する画像合成手段と、
前記画像合成手段により作成された画像データと、前記設定手段により設定された複数の異なる露光条件と、から照明光の分光特性を算出する解析手段、
とを具備することを特徴とする。
【００１５】
前記解析手段においては、前記画像合成手段により作成された画像データと、前記設定手段により設定された複数の異なる露光条件とに対応して、前記標準板を照射した照明光の分光特性を算出する。
【００１８】
＜作用＞
空間内の測定対象とする位置に標準板を設置し、空間内の測定点とする位置から同一の撮像手段を用いて複数の異なる露光条件で標準板を撮影することによって得られる複数の異なる画像から適切に合成された合成画像を、解析手段において、撮像手段の分光感度特性データと撮像手段の階調特性データと標準板の各色票表面の分光反射率データとに基づいて解析することにより、空間内の測定対象とする位置の照明光の分光特性データを得ることができる。
【００１９】
【発明の実施の形態】
１．構成
以下、図面を参照して本発明の一実施形態を説明する。
図１は、本発明の一実施形態に係る照明光分光特性推定装置の構成を示す説明図である。
【００２０】
同図において、１は空間内の測定対象位置に測定位置の方向へ向けて設置する標準板であり、その表面上には分光反射率が異なるｎ個の色票を配列している。それぞれの色票の表面の反射特性は、拡散性が高く、同一色票内で一様である。
【００２１】
なお、照明光の分光特性は場所・時間によって変わる場合があるが、照明状態が著しく変わらなければ、一つの位置で、１回だけ色票を撮影しておけばよい。
【００２２】
２は、ＲＧＢの３チャンネル型式の光センサーが検出した電位信号を処理して、各画素のＲＧＢ階調値をカラー画像データとして画像ファイルに記録する撮像手段であり、撮像手段の露光条件であるシャッタースピードと絞り値を制御して各露光条件を画像データと共に画像ファイルに記録する設定手段とを兼ね備えたデジタルスチルカメラ（以下、デジタルカメラと呼ぶ）が用いられる。（ディジタル）カメラは、請求項に記載した「装置」の一部としても、あるいは、必要な手段（解析手段など）を備えることにより、「装置」そのものであるとしても、いずれでもよい。
【００２３】
３は、撮像手段で得られた標準板の画像ファイルを入力〜解析して、照明光の分光特性データを所定のバンド数ｐで出力する解析手段であり、計算機（コンピュータ）が用いられる。
【００２４】
解析手段に用いる最適化法の一例としては重回帰分析が、最適解の一例としては偏回帰係数が挙げられる。
【００２５】
２．動作
２−１．全体動作
以下、図面を参照してこの発明の実施形態の全体動作について説明する。
図２は、本実施形態に係る照明光分光特性推定装置を用いた全体の動作フローを示すブロック図である。
【００２６】
（ブロック図のｓ１）
ユーザが、標準板１を測定対象位置に設置し、デジタルカメラ２を、その撮像範囲内で標準板１が適切な大きさに撮像されるような測定位置に設置し、標準板１の法線方向とデジタルカメラ２の撮像系の光軸とが一致するように、標準板１とデジタルカメラ２の方向を調整する。
【００２７】
（ブロック図のｓ２）
ユーザが、標準板１の表面から反射する光がデジタルカメラ２の適性露光範囲に収まるように、デジタルカメラ２の露光条件であるシャッタースピードと絞り値を設定する。
【００２８】
（ブロック図のｓ３）
ユーザが、デジタルカメラ２のシャッターを切り、デジタルカメラ２が撮像を行い、画像データと露光条件を画像ファイルに記録する。
【００２９】
（ブロック図のｓ４）
ユーザが、デジタルカメラ２に記録された画像ファイルを計算機３へ入力する。
【００３０】
（ブロック図のｓ５）
ユーザが、計算機３のモニターへ画像ファイル中の画像データを表示させ、観察して、画像内の表示板が占めている位置を指定する。
【００３１】
（ブロック図のｓ６）
計算機３が、計算機３内にあらかじめ記録されているデジタルカメラ２の分光感度データと、デジタルカメラ２の階調特性データと、標準板１の各色票面の分光反射率データと、標準板１の各色票の配列データとに基づいて、画像ファイル内に記録された標準板の画像データと、画像ファイル内に記録された標準板撮像時のデジタルカメラ２の露光条件とに対応して解析処理を施し、標準板１を照射した照明光の分光特性データを出力する。
【００３２】
（ブロック図のｓ７）
計算機３が、解析処理で出力される分光特性データを計算機３のモニターに表示する。
【００３３】
２−２．解析処理
以下、本実施形態における解析手段が行なう処理について、図３のフローチャートに基づいて説明する。
【００３４】
（フローチャートのｓ８）
デジタルカメラ２で標準板１を含むシーンを撮影した画像データが記載されたファイルを、通信線で接続されたデジタルカメラ２から入力し、計算機３へ記録する。
【００３５】
（フローチャートのｓ９）
標準板１の画像データをモニターへ表示し、撮影された画像内の標準板の位置をユーザに指定させ、この指定位置とあらかじめ標準板内のｎ個の色票の位置を記録した配列データとを対応させ、各色票内で中心位置付近のある一定領域内の画素について階調値Ｒ，Ｇ，Ｂそれぞれの平均値を計算し、ｎ個の色票に対応した階調値ｄＲｉ，ｄＧｉ，ｄＢｉ（ｉ  ：色票番号）から構成される下記に示す３  ×ｎ個の階調値データを得る。
【００３６】
【数１】
0003577977.tif 000002
【００３７】
（フローチャートのｓ１０）
全色票に対応した階調値データＤを、あらかじめ使用するデジタルカメラ２へ入射する光の測色値とデジタルカメラが出力する階調値との非線形な関係を関数Ｆ（ｘ）として記録した階調特性データによって、０〜１の範囲に標準化され測色値に線形なｎ個の色票に対応した応答値ＩＲｉ，ＩＧｉ，ＩＢｉから構成される下記に示す３  ×ｎ個の線形応答値データへ変換する。
【００３８】
【数２】
0003577977.tif 000003
【００３９】
（フローチャートのｓ１１）
標準板１を撮影した際にデジタルカメラ２で設定した露光条件であるシャッタースピードと絞り値とを、画像データが記録されたファイルから読み込み、これらから標準板撮像時の露光量ｅを求める。
【００４０】
（フローチャートのｓ１２）
あらかじめ使用するデジタルカメラ２へ入射する光の分光放射輝度とデジタルカメラが出力するＲ，Ｇ，Ｂ各チャンネルの線形な応答値との関係を露光量ｅの関数Ｇ（ｅ）として記録した分光感度データとを用いて、使用したデジタルカメラ２の標準板１撮影時の露光条件における撮像系のＲ，Ｇ，Ｂ各チャンネルごとの分光感度特性を、所定のバンド数ｐで等間隔な波長幅で表現するように補間し、ｐ個の波長帯域における分光感度値ＳＲｊ，ＳＧｊ，ＳＢｊ（ｊ：波長番号）から構成される下記に示すＳＲ  ，ＳＧ  ，ＳＢ  を決定する。
【００４１】
【数３】
0003577977.tif 000004
【００４２】
（フローチャートのｓ１３）
あらかじめ標準板内の全色票の分光反射率を記録した分光反射率データを、所定のバンド数ｐで等間隔な波長幅で表現するように補間し、ｐ個の波長帯域におけるｎ個の色票に対応した分光感度Ｗｉｊから構成される下記に示すｐ×ｎ次元のＷを作成する。
【００４３】
【数４】
0003577977.tif 000005
【００４４】
分光反射率Ｗ（λ）である特定の色票に対して、分光感度Ｓ（λ）である撮像系の線形応答Ｌは、色票を照射する照明光の分光放射輝度をＥ（λ）とすると、下記の関係が成り立つ。
【００４５】
【数５】
0003577977.tif 000006
【００４６】
ここで、Δλは、対象とする全波長帯域間を所定のバンド数ｐで等間隔に分割した場合の波長帯域幅で、ここでは（７００−４００）／（ｐ−１）とする。
【００４７】
標準板１を照射する照明光の分光放射輝度をｐ個のバンド数で表現すると下記のようになり、
【００４８】
【数６】
0003577977.tif 000007
【００４９】
上記（数５）の関係を、ｎ個の全色票とＲ，Ｇ，Ｂの全チャンネルの合計３  ×ｎ個の線形応答値との関係に適用するために、下記に示すｐ×３ｎ次元の説明変数行列Ｃを作成する。
【００５０】
【数７】
0003577977.tif 000008
【００５１】
（フローチャートのｓ１４）
下記（数８）に示す目的変数のサンプルの関係から、目的変数のサンプルを数８、説明変数のサンプルをＣ、最適解をＥ、定数項を０とする最適化法を行うことにより、未知であった照明光の分光放射輝度Ｅの推定値をｐ個のバンド数で得て、この数値をユーザに示す。
【００５２】
ただし、ｐ個のバンド数で分光放射輝度を得るためには、最低（ｐ＋２）／３以上の数の色票が必要である。
【００５３】
【数８】
0003577977.tif 000009
【００５４】
３．変形例
以上、本発明の一実施形態を説明したが、その他に下記のような変形例が考えられる。
【００５５】
（ａ）解析手段が出力する照明光の分光特性としては、分光放射輝度である必要はなく、分光放射密度などの各種分光分布を解析し、出力してもよい。
【００５６】
（ｂ）解析手段において、標準板を撮影した際の露光条件を使用しなくても、相対分光放射輝度など照明光の相対的な分光特性を解析し、出力することができる。
【００５７】
（ｃ）解析手段が出力する照明光の分光特性を利用して、ＣＩＥ１９３１表色系のＸ，Ｙ，Ｚなどの色彩値で照明光の特性を出力してもよい。
【００５８】
（ｄ）標準板の画像の中で、色票によっては反射光が撮像系のダイナミックレンジ外にあるために、画像データが０もしくは飽和している場合があれば、より適切な推定結果を出力するために、解析手段において、色票部のサンプリング対象から除外してもよい。
【００５９】
（ｅ）標準板の画像の中で、色票によっては反射光が撮像系のダイナミックレンジ外にあるために、画像データが０もしくは飽和している場合があれば、同一の撮像手段によって複数の異なる露光条件で撮像した複数の異なる画像とを適切に合成することによって、ダイナミックレンジを拡大した合成画像を画像データとして解析手段で用いてもよい。
【００６０】
（ｆ）出力する分光特性のバンド数と、標準板上の色票の数とは固定ではなく、適正な推定精度を得られる範囲内であれば、必要に応じて選択することができる。
【００６１】
（ｇ）標準板上の色票の分光反射率の組み合わせは、用途や目的に応じて推定精度を高めるために最適化してもよい。
【００６２】
（ｈ）解析手段において、分光感度は露光条件によらず固定とし、色票の線形応答値の方を露光条件によって適切に補正して、解析してもよい。
【００６３】
（ｉ）標準板の画像データには撮像系のノイズ成分が含まれているため、画像データもしくは色票部をサンプリングした後の各種分析値から、ノイズ成分を除去もしくは低減する処理を解析手段の中に組み込んでもよい。
【００６４】
（ｊ）解析手段において入力する露光条件は、画像データを含むファイルから入力せずに、デジタルカメラから直接入力したり、ユーザに入力させてもよい。
【００６５】
（ｋ）解析手段において使用する標準板の指定位置は、ユーザに入力させなくても、画像データ内を自動分析し標準板の指定位置を検出する処理を解析手段の中へ組み込んでもよい。
【００６６】
（ｌ）撮像系はデジタルスチルカメラではなくても、デジタルビデオカメラやフィルム撮影用カメラとイメージスキャナとを利用するなど、画像データを取得できるならば異なる機器を用いてもよい。
【００６７】
（ｍ）解析手段は計算機ではなくても、独立した専用の装置を設けたり、デジタルカメラの中に撮像系と一体で組み込んでもよい。
【００６８】
（ｎ）推定した照明光の分光特性をユーザに直接表示せず、その他の用途に利用しても良い。
【００６９】
（ｏ）推定した照明光の分光特性を、カラーマネージメントシステムなどのカラー画像処理に利用してもよい。
【００７０】
（ｐ）推定した照明光の分光特性を、撮像された物体表面の分光反射率などの反射特性を推定するのに用いてもよい。
【００７１】
（ｑ）本実施例における設定手段は撮像手段と一体となったデジタルカメラであるが、設定手段が撮像手段とは一体である必要はなく、計算機に装備されることも考えられる。
【００７２】
（ｒ）解析手段において使用する標準板の各色票の配列データは必ずしもあらかじめ解析手段が保持している必要はなく、標準板の分光反射率データなどのその他の情報から各色票の配列を自動的に判別してもよい。
【００７３】
（ｓ）本実施例において施す最適化法では、目的変数となる階調値は撮像系の階調特性データに基づいて線形化されているが、階調値の線形化は行わずに、撮像系の階調特性データを重回帰式へ組み込むことにより非線形な最適化法を行ってもよい。
【００７４】
（ｔ）解析手段が出力する照明光の分光特性は、本実施例の解析手段における最適化法の結果と同一である必要はなく、適当なバンド数や波長範囲や単位による表現形式に変換して出力してもよい。
【００７５】
【発明の効果】
以上説明したように、本発明によれば、空間内の測定対象とする位置に標準板を設置し、空間内の測定点とする位置から撮像手段を用いて複数の異なる露光条件で標準板を撮影することによって得られる複数の異なる画像から適切に合成された合成画像を、解析手段において、撮像手段の分光感度特性データと撮像手段の階調特性データと標準板の各色票表面の分光反射率データとに基づいて解析することにより、空間内の測定対象とする位置の照明光の分光特性を、専用の測定機器を用いずに推定する装置が提供される。
【００７６】
【図面の簡単な説明】
【図１】本発明の照明光分光特性推定装置の構成の一例を示す説明図。
【図２】上記装置の全体の動作フローを示すブロック図。
【図３】上記装置における解析手段が行う処理を説明するフローチャート。
【符号の説明】
１…標準板
２…撮像手段（デジタルカメラ）
３…解析手段（計算機）
【図１】
0003577977.tif 000010
【図２】
0003577977.tif 000011
【図３】
0003577977.tif 000012