(57)【要約】【課題】分光画像取得装置で、照明光の種類による推定精度の悪化を防止して精度よく光反射率を推定できる分光画像を得る。【解決手段】異なる透過率特性を有する複数の分光フィルタ２-1，２-2，２-3…毎に、液晶フィルタ（階調調整手段）３-1，３-2，３-3…を設ける。分光フィルタ２-1，２-2，２-3…を介して撮像素子（撮像手段）４で撮像対象を撮像して撮像対象の画像を取得する。撮像素子（撮像手段）４に取得される画像の階調を液晶フィルタ３-1，３-2，３-3…にて分光フィルタ２-1，２-2，２-3…毎に調整する。制御手段５により、撮像対象を照射する照射光のスペクトルに応じて液晶フィルタ３-1，３-2，３-3…を制御する。【選択図】図１
2019015565.tif 000002
【特許請求の範囲】
【請求項１】
異なる透過率特性を有する複数の分光フィルタと、
前記分光フィルタを介して撮像対象を撮像して撮像対象の画像を取得する撮像手段と、
前記撮像手段に取得される前記画像の階調を前記分光フィルタ毎に調整する階調調整手段と、
前記撮像対象を照射する照射光のスペクトルに応じて前記階調調整手段を制御する制御手段と、
を備えたことを特徴とする分光画像取得装置。
【請求項２】
前記撮像手段は、前記分光フィルタを透過した、前記撮像対象からの光を受光する撮像素子を有し、
前記階調調整手段は前記撮像素子に入射する光量を調整することで前記画像の階調を調整することを特徴とする請求項１に記載の分光画像取得装置。
【請求項３】
前記撮像対象を照射する光の種類を取得する光種類取得手段を有し、
前記制御手段は、前記光種類取得手段で取得した光の種類に応じて前記階調調整手段を制御することを特徴とする請求項１または２に記載の分光画像取得装置。
【請求項４】
前記階調調整手段は、前記光の透過率又は前記光が通過する開口の大きさを調整することで、前記撮像素子に入射する光量を調整することを特徴とする請求項２に記載の分光画像取得装置。
【請求項５】
前記階調調整手段は、前記光が前記撮像素子に入射する時間を調整することで、前記撮像素子に入射する光量を調整することを特徴とする請求項２に記載の分光画像取得装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像対象の分光画像を取得する分光画像取得装置に関する。
【背景技術】
【０００２】
従来、マルチバンドカメラの各チャンネルの撮影感度に応じたノイズ抑制画像処理を施すようにしたマルチバンド画像の画像処理方法が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−８４３６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１のものは、同時に撮影したグレーチャートから推定される各チャンネルでの撮影感度に応じて撮像システムのノイズ抑制画像処理の強度を変化させ、低感度な領域でも信号がノイズに埋もれないようにするものである。また、撮影した画像に対してノイズを抑制し信号が埋もれないようにしているため、信号があるかどうかといった感度の面では効果的である。しかし取得するデータの階調値は入射した光量によるため、高感度な領域での階調値と比較すると小さい値となり、実効的に画像データのビット深度が低下していることを表す。分光反射率の推定においてビット深度の低下とは、すなわち推定精度の低下と同様であり望ましい状態ではない。
【０００５】
そこで、本発明は、上記のような照明光の種類による推定精度の悪化を防止して精度よく分光反射率を推定できる分光画像が得られる分光画像取得装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、請求項１に記載の発明は、異なる透過率特性を有する複数の分光フィルタと、前記分光フィルタを介して撮像対象を撮像して撮像対象の画像を取得する撮像手段と、前記撮像手段に取得される前記画像の階調を前記分光フィルタ毎に調整する階調調整手段と、前記撮像対象を照射する照射光のスペクトルに応じて前記階調調整手段を制御する制御手段と、を備えたことを特徴とする分光画像取得装置である。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施例の分光画像取得装置の概略構成図である。
【図２】分光フィルタのスペクトル例を示す図である。
【図３】照明光のスペクトル例を示す図である。
【図４】分光フィルタを透過するハロゲン光の光量の一例を示す図である。
【発明を実施するための形態】
【０００８】
以下、本発明の一実施形態にかかる分光画像取得装置を説明する。本発明の一実施形態にかかる分光画像取得装置は、異なる透過率特性を有する複数の分光フィルタと、前記分光フィルタを介して撮像対象を撮像して撮像対象の画像を取得する撮像手段と、前記撮像手段に取得される前記画像の階調を前記分光フィルタ毎に調整する階調調整手段と、前記撮像対象を照射する照射光のスペクトルに応じて前記階調調整手段を制御する制御手段と、を備えている。したがって、照射光のスペクトルに応じた階調の画像が分光フィルタ毎に得られるので、撮像対象の画像として精度よく分光反射率を推定できる分光画像が得られる。
【０００９】
また、前記撮像手段は、前記分光フィルタを透過した、前記撮像対象からの光を受光する撮像素子を有し、前記階調調整手段は前記撮像素子に入射する光量を調整することで前記画像の階調を調整する。液晶フィルタや絞り等により光量調整を行うことができるため、階調調整を容易に行うことができる。
【００１０】
また、前記撮像対象を照射する光の種類を取得する光種類取得手段を有し、前記制御手段は、前記光種類取得手段で取得した光の種類に応じて前記階調調整手段を制御する。これにより、太陽光、ハロゲン光、蛍光灯、その他の光源など、各種光源の種類に応じた既知のスペクトルにより階調を選択して制御できるので、制御が簡単になる。
【００１１】
また、階調調整手段は、光の透過率又は光が通過する開口の大きさを調整することで、撮像素子に入射する光量を調整することができる。
【００１２】
また、階調調整手段は、光が撮像素子に入射する時間を調整することで、撮像素子に入射する光量を調整することができる。
【実施例】
【００１３】
本発明の実施例にかかる分光画像取得装置を図面を参照して説明する。図１は本発明の一実施例の分光画像取得装置の概略構成図である。
【００１４】
まず、本実施例の背景について説明する。一般に物体の分光反射率を測定するためには、分光光度計や分光放射輝度計が用いられるが、これらの装置では物体のあるスポットでの分光情報しか得られない。物体の広範囲の各点での分光反射率を求める方法としては、狭帯域の干渉フィルタを多数用いたマルチバンド撮影法があるが、この場合は大量のデータを処理し、保存する必要があった。このため、簡便なデータ取得には向かないという問題がある。また、簡便に分光反射率のデータを取得する方法として、少数のマルチバンド画像から事前に得られている分光反射率サンプルをもとにして、各点の分光反射率を推定する手法もある。
【００１５】
マルチバンド画像は、例えば図２に示す特性の各透過帯域の各チャンネルの分光フィルタを通して撮影した画像であり、撮像素子に入射する光量は、照明光のスペクトルと被写体の分光反射率、そして分光フィルタの透過率の積となる。したがって、照明光のスペクトルが既知の場合は各分光フィルタを通して撮像素子から得られた出力値から計算して、物体の分光反射率を推定することができる。照明光のスペクトルが未知の場合は、そのスペクトルを推定する様々な手法が検討されている。
【００１６】
例えば二色性反射モデルを用い、つやを表す鏡面反射成分と拡散反射成分とを分離し、鏡面反射成分から照明光のスペクトルを推定する手法がある。また、照明光スペクトルおよび反射率分布を基底関数の加重和で表し、近似値と入力値の差分が最小化される係数を探し出して照明光スペクトルを推定する方法がある（最少二乗法による回帰分析）。また、スペクトルが既知の照明光を補助光源として用いることによって、その補助光源の有り無しの画像から照明光のスペクトルを推定する方法などが挙げられる。
【００１７】
被写体を照らして撮像素子に入射する照明光は、その種類によりさまざまなスペクトルの形状を示す。例として、太陽光とハロゲン、そして蛍光灯のスペクトルを図３に示す。撮像素子に入射する光量は、照明光のスペクトルと分光フィルタの透過率、そして被写体の反射率の積となるため、照明光の種類によって大きく異なる。
【００１８】
例えばハロゲン光のスペクトルと分光フィルタの透過率の積を図４に示すが、この場合はフィルタによって例えば１０倍の光量の違いとなるため、マルチバンドカメラで同時に撮影しようとする場合には、各フィルタで入射する光量、すなわち撮像素子での階調値が１／１０の違いになる。これはすなわち、光量の少ないフィルタのエリアでは光量の多いエリアに対してビット深度が低下することを意味しており、表現すべき階調の違いを少ないビット深度で表現しようとすることから、誤差の占める割合が実質的に増大してしまう。また、分光反射率の推定には各フィルタから得られる階調値の比率を基に計算を行うため、この階調値に対する誤差の増加は推定精度の悪化を招くことになる。
【００１９】
そこで、実施例の分光画像取得装置は、上記のような照明光の種類による推定精度の悪化を防止して精度よく光反射率を推定する。
【００２０】
図１に示すように、実施例の分光画像取得装置は、レンズ１-1，１-2，１-3，…、分光フィルタ２-1，２-2，２-3、「階調調整手段」としての液晶フィルタ３-1，３-2，３-3、「撮像手段」としてのＣＣＤ等の撮像素子４、制御手段５を備えている。レンズ１-1，１-2，１-3，…、分光フィルタ２-1，２-2，２-3、液晶フィルタ３-1，３-2，３-及び撮像素子４は、マルチバンドカメラを構成している。
【００２１】
各符号の枝番は帯域チャンネルのチャンネル番号を示しており、レンズ１-1、分光フィルタ２-1及び液晶フィルタ３-1は第１チャンネルに対応する光学系であり、レンズ１-2、分光フィルタ２-2及び液晶フィルタ３-3は第２チャンネルに対応する光学系であり、レンズ１-3、分光フィルタ２-3及び液晶フィルタ３-3は第３チャンネルに対応する光学系である。なお、図１では３チャンネル分の構成を図示してあるが、他の帯域チャンネルも備えている。例えば、前掲の図２に示す特性の各透過帯域では、９チャンネル分を備えている。なお、以下の説明で帯域チャンネルを区別しないときは符号の枝番は省略する。
【００２２】
各分光フィルタ２-1，２-2，２-3，…はそれぞれ帯域チャンネル特有の透過特性を有している。すなわち、各分光フィルタ２-1，２-2，２-3，…は異なる透過率特性を有する複数の分光フィルタである。
【００２３】
「階調調整手段」としての各液晶フィルタ３-1，３-2，３-3，…は、光に対する透過率をそれぞれ独立に可変とされた液晶フィルタであり、対応する分光フィルタ２-1，２-2，２-3，…へ透過させる光の光量を調整する。
【００２４】
「撮像手段」としての撮像素子４は、分光フィルタ２-1，２-2，２-3，…を介して撮像対象を撮像して撮像対象の画像を取得するものである。
【００２５】
制御手段５は、撮像した画像から、撮像対象を照射する照射光のスペクトル（光源の種類等）を推定し、この推定したスペクトルに応じて各液晶フィルタ３-1，３-2，３-3，…
の透過率を制御する。
【００２６】
この実施例の分光画像取得装置は、取得したマルチバンド画像から被写体の分光スペクトルを推定するものであり、推定した照明の種類に応じて階調調整手段（液晶フィルタ３）が階調バランスを適正に調整することによって、高精度に被写体の分光スペクトルを推定することができる。
【００２７】
すなわち、この実施例における制御手段５の具体的な制御動作の一例は以下のとおりである。まず、マルチバンドカメラにより、被写体のマルチバンド画像Ａを取得する。次に、取得した被写体のマルチバンド画像Ａから照明光を推定する。そして、推定した照明光に合わせて、マルチバンドカメラにおける液晶フィルタ３-1，３-2，３-3，…の照明光の透過率を調整することで、各分光フィルタ２-1，２-2，２-3，…を介して得られる画像の階調を調整する。次に、階調を調整したマルチバンドカメラ（レンズ１、分光フィルタ２及び液晶フィルタ３）にて被写体を撮影し、マルチバンド画像Ｂを取得する。そして、階調が調整されたマルチバンド画像Ｂより、高精度に被写体の分光反射率を推定する。
【００２８】
実施例では、各分光フィルタ２-1，２-2，２-3，…に、独立の「階調調整手段」である液晶フィルタ３-1，３-2，３-3，…を設けるようにしている。これにより、各分光フィルタ２-1，２-2，２-3，…から撮像素子４に入射する光量を均一にし、画像データのビット深度を揃えられるため、高精度に分光反射率を推定することが可能となる。
【００２９】
なお、実施例では、「階調調整手段」として各分光フィルタ２-1，２-2，２-3，…毎に透過率を変化させられる液晶フィルタを用いた例について説明したが、この「階調調整手段」としては、例えば、可変絞りにより機械的に入射光量を変化させものを用いることもできる。
【００３０】
（他の実施例）階調を調整する方法としては分光フィルタ毎に露光時間を変更するなど、時間方向の階調を調整する調整方法であっても良い。
【００３１】
また、分光フィルタ毎に可変シャッターを搭載し、その開口時間で階調調整を行うことも可能である。その可変シャッターは、機械的なシャッターでも良く、液晶シャッターでも良い。これにより、例えば、可変絞りを搭載する場合と比較し、分光フィルタ毎に被写界深度が変化してしまうことを防ぐことができる。また、例えば、液晶フィルタで透過率を変化させる場合と比較すると、透過率を任意の値で変化させることに対して、シャッターではＯＮとＯＦＦの２値となるため制御を簡便に行うことが可能である。
【００３２】
また、蛍光灯のような輝線スペクトルを有する照明光が推定されて、分光フィルタ毎の階調比が付きすぎてしまった場合は、その階調レベルが低い分光フィルタからの信号は省き分析の対象とする分光フィルタ数（チャンネル数）を減らして階調調整するようにしてもよい。なお、この場合、階調比が付きすぎる場合の目安はピークに対する０．３％であり、これ以下の場合は信号に対するノイズの割合が増大してしまうため、スペクトルの推定精度が悪化する。
【００３３】
また、明らかに信号が無い領域に引きずられずに、信号がある領域のみで階調を揃えて推定するようにしてもよい。これにより、高精度にスペクトルを推定することが可能になる。
【００３４】
照明光を推定する際には、マルチバンドカメラで撮影したマルチバンド画像から推定することが望ましいが、マルチバンドカメラからのマルチバンド画像でなくても良い。マルチバンド画像ではない場合として下記の２例のような方法でもよい。（１）マルチバンドカメラの撮像素子とは別に設けたＲＧＢセンサを用いて、照明光推定用の信号を取得するものでもよい。（２）マルチバンドカメラの分光フィルタに一部分光フィルタが無い領域を設けて、撮像素子そのもののＲＧＢフィルタから照明光推定用の画像を取得するようにしてもよい。
【００３５】
また、ＲＧＢセンサの階調値のバランスや撮像素子のＲＧＢ画像から、より簡便に照明光の種類の推定を行うことも可能である。
【００３６】
以上のように、本実施例では、推定した光源の種類に応じて各分光フィルタの階調調整手段で階調のバランスを調整するため、撮像素子に入射する光量を均一にすることができ各分光フィルタでのビット深度を揃えて深く保つことが可能となるため、高精度に分光反射率を推定することが可能となる。
【００３７】
本発明は上記実施例に限定されるものではない。即ち、当業者は、従来公知の知見に従い、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。かかる変形によってもなお本発明の眠気推定装置の構成を具備する限り、勿論、本発明の範疇に含まれるものである。
【符号の説明】
【００３８】
１-1，１-2，１-3  レンズ
２-1，２-2，２-3  分光フィルタ
３-1，３-2，３-3  液晶フィルタ（階調調整手段）
４                撮像素子（撮像手段）
５                制御手段
【図１】
2019015565.tif 000003
【図２】
2019015565.tif 000004
【図３】
2019015565.tif 000005
【図４】
2019015565.tif 000006