(57)【要約】  照明部（１２０）は、互いに異なる中心波長を有する単色の照明光を発光する複数の光源（１２１、１２２、１２３）を有し、複数の光源（１２１、１２２、１２３）が発光する複数の照明光（Ｌ１、Ｌ２、Ｌ３）を同時に被写体（１６０）に照射する。撮像部（１３０）は、複数の照明光（Ｌ１、Ｌ２、Ｌ３）が被写体（１６０）によって反射された複数の反射光（Ｒ１、Ｒ２、Ｒ３）を同時に撮像して複数の色の情報を取得し、複数の色の情報を含む撮像画像を生成する。演算部（１５０）は、メモリ（１４０）で記憶されている複数の光源（１２１、１２２、１２３）の各々に対応する撮像部（１３０）の複数の色の感度に関する感度情報を用いて、撮像部（１３０）により生成された撮像画像から、複数の光源（１２１、１２２、１２３）に対応する反射光（Ｒ１、Ｒ２、Ｒ３）の情報のみを各々含む複数の分離画像を演算により生成する。
2017168477.tif 000002
【特許請求の範囲】
【請求項１】
互いに異なる中心波長を有する単色の照明光を発光する複数の光源を有し、前記複数の光源が発光する複数の照明光を同時に被写体に照射する照明部と、
前記複数の照明光が前記被写体によって反射された複数の反射光を同時に撮像して複数の色の情報を取得し、前記複数の色の情報を含む撮像画像を生成する撮像部と、
前記複数の光源の各々に対応する前記撮像部の前記複数の色の感度に関する感度情報を記憶するメモリと、
前記メモリで記憶されている前記複数の光源の各々に対応する前記感度情報を用いて、前記撮像部により生成された前記撮像画像から、前記複数の光源の各々に対応する前記反射光の情報のみを各々含む複数の分離画像を演算により生成する演算部と、
を備える撮像装置。
【請求項２】
前記複数の光源の数は、前記撮像部で取得可能な前記複数の色の数以下である請求項１に記載の撮像装置。
【請求項３】
前記撮像部の少なくとも２色の分光感度特性は、前記複数の光源の各々の中心波長において、互いに重なり合う領域を有する請求項１または２に記載の撮像装置。
【請求項４】
前記複数の光源の各々に対応する前記感度情報は、互いに一次独立である請求項１から３いずれか１項に記載の撮像装置。
【請求項５】
前記演算部は、前記感度情報を係数とした、前記複数の光源の数、もしくは前記複数の色の数の方程式からなる連立方程式を解くことによって、前記複数の分離画像の強度を演算し、前記複数の分離画像の強度を用いて前記複数の分離画像を生成する請求項４に記載の撮像装置。
【請求項６】
前記複数の光源の各々は、前記複数の光源の各々の中心波長を変更できる請求項１から５いずれか１項に記載の撮像装置。
【請求項７】
前記複数の光源の各々の照明光の強度は、当該照明光の中心波長に対応した前記被写体の反射率よりも高い前記被写体の反射率に対応した中心波長を有する照明光の強度よりも強い
請求項１から６いずれか１項に記載の撮像装置。
【請求項８】
前記照明部は、前記複数の光源の各々の照明光の強度を独立に制御する請求項１から７いずれか１項に記載の撮像装置。
【請求項９】
前記演算部は、前記光源の照明光の強度の情報を用いて、前記光源に対応する前記分離画像の強度を補正する請求項１から８いずれか１項に記載の撮像装置。
【請求項１０】
ユーザーが前記複数の光源の各々の照明光の強度を事前に設定するインターフェイスを備える請求項１から９いずれか１項に記載の撮像装置。
【請求項１１】
前記複数の分離画像の各々の強度から、次回の撮像時の前記複数の光源の各々の照明光の強度を決定する光源強度決定部をさらに備える請求項１から１０いずれか１項に記載の撮像装置。
【請求項１２】
前記複数の光源は、前記複数の光源の各々の照明光の強度比率が前記被写体上において一定となるように配置されている請求項１から１１いずれか１項に記載の撮像装置。
【請求項１３】
前記複数の光源の各々の中心波長を含む波長の範囲において、互いに異なる波長に対応する感度情報は、互いに一次独立である請求項１から１２いずれか１項に記載の撮像装置。
【請求項１４】
前記感度情報は、前記複数の光源の各々の照明光を前記撮像部で撮像して取得される請求項１から１３いずれか１項に記載の撮像装置。
【請求項１５】
前記感度情報は、前記複数の光源の各々の中心波長に対応する前記撮像部の複数の色の感度を用いて算出される請求項１から１３いずれか１項に記載の撮像装置。
【請求項１６】
前記複数の光源の各々は、ＬＥＤである請求項１から１５いずれか１項に記載の撮像装置。
【請求項１７】
前記複数の光源の各々は、レーザーである請求項１から１５いずれか１項に記載の撮像装置。
【請求項１８】
前記複数の光源の各々は、特定の波長の光を透過させる光学フィルタを備える請求項１から１５いずれか１項に記載の撮像装置。
【請求項１９】
前記照明部は、前記複数の照明光を生成するモノクロメーターを備える請求項１から１５いずれか１項に記載の撮像装置。
【請求項２０】
互いに異なる中心波長を有する単色の照明光を発光する複数の光源が発光する複数の照明光を同時に被写体に照射する照射ステップと、
撮像部が、前記複数の照明光が前記被写体によって反射された複数の反射光を同時に撮像して複数の色の情報を取得し、前記複数の色の情報を含む撮像画像を生成する撮像ステップと、
前記複数の光源の各々に対応する前記撮像部の前記複数の色の感度に関する感度情報を用いて、前記撮像部により生成された前記撮像画像から、前記複数の光源の各々に対応する前記反射光の情報のみを各々含む複数の分離画像を演算により生成する演算ステップと、
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、被写体によって反射される反射光の情報を含む複数の画像を演算により生成する撮像装置及び画像処理方法に関する。
【背景技術】
【０００２】
特許文献１は、色変換係数算出装置を開示する。色変換係数算出装置は、複数の色信号からなる第１のカラー信号を、複数の色信号からなる第２のカラー信号に変換する色変換係数を算出する色変換係数算出装置であって、色変換係数算出手段と、補正係数算出手段と、係数補正手段とを具備する。色変換係数算出手段は、第１のカラー信号を標準的に特徴付ける第１の分光特性を、第２のカラー信号を特徴付ける第２の分光特性に変換するための色変換係数を算出する。補正係数算出手段は、複数の基準色に対応する第１のカラー信号である基準カラー信号を、複数の基準色に対応して第１の分光特性に基づき得られる参照カラー信号に近似するための補正係数を算出する。係数補正手段は、色変換係数を補正係数を用いて補正する。基準カラー信号は、複数の基準色に対応する複数色の色パッチを撮像することにより得られた第１のカラー信号である。参照カラー信号は、複数色の色パッチの分光特性と第１の分光特性とに基づき得られたカラー信号である。色パッチは、特定の峡帯域の光を発光する色パッチである。【０００３】
これにより、上記の色変換係数算出装置は、機種間の差だけではなく、個体間の差にも応じた高精度な色変換処理を簡単に実現することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１４１６８４号公報
【発明の概要】
【０００５】
本開示は、一枚の撮像画像から単色の反射光の情報のみを各々含む複数の画像を演算により生成する撮像装置および画像処理方法を提供する。
【０００６】
本開示における撮像装置は、照明部と、撮像部と、メモリと、演算部と、を備える。照明部は、互いに異なる中心波長を有する単色の照明光を発光する複数の光源を有し、複数の光源が発光する複数の照明光を同時に被写体に照射する。撮像部は、複数の照明光が被写体によって反射された複数の反射光を同時に撮像して複数の色の情報を取得し、複数の色の情報を含む撮像画像を生成する。メモリは、複数の光源の各々に対応する撮像部の複数の色の感度に関する感度情報を記憶する。演算部は、メモリで記憶されている複数の光源の各々に対応する感度情報を用いて、撮像部により生成された撮像画像から、複数の光源の各々に対応する反射光の情報のみを各々含む複数の分離画像を演算により生成する。
【０００７】
また、本開示における画像処理方法は、照射ステップと、撮像ステップと、演算ステップと、を含む。照射ステップは、互いに異なる中心波長を有する単色の照明光を発光する複数の光源が発光する複数の照明光を同時に被写体に照射するステップである。撮像ステップは、撮像部が、複数の照明光が被写体によって反射された複数の反射光を同時に撮像して複数の色の情報を取得し、複数の色の情報を含む撮像画像を生成するステップである。演算ステップは、複数の光源の各々に対応する撮像部の複数の色の感度に関する感度情報を用いて、撮像部により生成された撮像画像から、複数の光源の各々に対応する反射光の情報のみを各々含む複数の分離画像を演算により生成するステップである。
【０００８】
本開示における撮像装置および画像処理方法は、一枚の撮像画像から単色の反射光の情報のみを各々含む複数の画像を演算により生成することができる。さらに、本開示における撮像装置および画像処理方法は、上記複数の画像の各々に対応する波長の選択の自由度を高くすることができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施の形態１における撮像装置の構成を示すブロック図である。
【図２】図２は、実施の形態１における撮像部の分光感度特性を示す図である。
【図３】図３は、実施の形態１における撮像装置の動作を説明するためのフローチャートである。
【図４】図４は、実施の形態２における撮像装置の構成を示すブロック図である。
【図５】図５は、実施の形態２における撮像装置の動作を説明するためのフローチャートである。
【発明を実施するための形態】
【００１０】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１１】
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。
【００１２】
（実施の形態１）
以下、図１〜図３を用いて、実施の形態１を説明する。
【００１３】
［１−１．構成］
［１−１−１．反射光と分光分布］
反射光は、物質に光が照射された際に、物質が反射する光であり、その物質のもつ特性を反映している。そのため、反射光は、物質の定性的、定量的な解析に利用される。
【００１４】
分光分布は、例えば光を回折格子で連続的に波長ごとに分離して得られる、各波長における光の強度の分布である。反射光の分光分布には、光を反射する物質のもつ特性が反映されている。反射光の分光分布は、横軸を波長とし、縦軸を各波長における反射光の強度としたグラフで表される。そのグラフの分布形状に、その物質のもつ定性的な情報が反映されている。また、そのグラフの全体的な強度に、その物質のもつ定量的な情報が反映されている。また、定性的な情報を表した分光分布を、以下では相対分光分布と標記する。
【００１５】
［１−１−２．ＲＧＢベクトル］
本実施の形態では、ＲＧＢカメラで撮像して生成された撮像画像の各画素のＲＧＢ値を三次元のベクトルとしてとらえ、ＲＧＢ値をＲＧＢベクトルと標記する。以下、ＲＧＢベクトルの方向と長さについて説明する。ここで、Ｒは赤色、Ｇは緑色、Ｂは青色を意味する。
【００１６】
ＲＧＢベクトルの方向とは、ＲＧＢ値の各色の値の比率を反映した情報である。反射光のＲＧＢベクトルの方向は、光を反射する物質の定性的な特性に関する情報を含む。すなわち、反射光のＲＧＢベクトルの方向は相対分光分布に関係する。ＲＧＢベクトルの方向としては、例えば長さを１で正規化したＲＧＢベクトルを用いることができる。一方、ＲＧＢベクトルの長さとは、ＲＧＢ値の全体的な強度を反映した値である。反射光のＲＧＢベクトルの長さは、光を反射する物質の定量的な特性に関する情報を含む。
【００１７】
ある分光分布を有する観測光を、ＲＧＢカメラで撮像した場合、ある画素のＲＧＢベクトルの各値は、以下のような値となる。Ｒの値は、観測光の分光分布にＲＧＢカメラのＲの分光感度特性を掛け算し、さらに積分した値である。Ｇの値は、観測光の分光分布にＲＧＢカメラのＧの分光感度特性を掛け算し、さらに積分した値である。Ｂの値は、観測光の分光分布にＲＧＢカメラのＢの分光感度特性を掛け算し、さらに積分した値である。そのため、同一のＲＧＢカメラで複数の観測光をそれぞれ撮像した場合に、複数の観測光の相対分光分布が同じであれば、対応する複数のＲＧＢベクトルの方向は同じとなる。すなわち、ＲＧＢベクトルの方向は観測光の相対分光分布の情報を含む。また、観測光の相対分光分布が同じまま観測光の強度のみが変化すると、観測光のＲＧＢベクトルの長さのみが変化する。すなわち、ＲＧＢベクトルの長さは、観測光の分光分布の強度に関する情報を含む。なお、本実施の形態では、ＲＧＢベクトルも分光分布の一つであり、またＲＧＢベクトルの方向も相対分光分布の一つであるととらえる。そのため、ＲＧＢベクトルを分光分布とも標記し、ＲＧＢベクトルの方向を相対分光分布とも標記する。
【００１８】
ここで、ある被写体にある強度の光を照射して得られた反射光のＲＧＢベクトルをベクトルＶ１とし、その被写体に２倍の強度の光を照射して得られた反射光のＲＧＢベクトルをベクトルＶ２とする。そうすると、ベクトルＶ１とベクトルＶ２の方向は変わらないが、ベクトルＶ２の長さはベクトルＶ１の長さの２倍となる。
【００１９】
［１−１−３．撮像装置の構成］
図１は、実施の形態１における撮像装置１００の構成を示すブロック図である。
【００２０】
撮像装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１０、照明部１２０、撮像部１３０、メモリ１４０、演算部１５０を備える。照明部１２０は、互いに異なる相対分光分布を有する単色の照明光を発光する光源１２１、光源１２２、光源１２３を有する。
【００２１】
ＣＰＵ１１０は、動作をするよう各部に指示する。例えば、ＣＰＵ１１０は、光源１２１、光源１２２、光源１２３をオンまたはオフにするよう照明部１２０に指示する。また、ＣＰＵ１１０は、撮像するよう撮像部１３０に指示する。また、ＣＰＵ１１０は、演算するよう演算部に指示する。
【００２２】
照明部１２０は、光源１２１、光源１２２、光源１２３が発光する複数の照明光を同時に被写体１６０に照射する。本開示において、光源の数とは、互いに異なる相対分光分布を有する単色の照明光を発光する光源の数を意味する。光源１２１、光源１２２、光源１２３の各々が発光する照明光は、互いに異なる中心波長を有する。ここで、照明光が有する中心波長とは、例えば照明光の分光分布において照明光の強度が最大となる波長である。すなわち、照明部１２０は、互いに異なる中心波長を有する単色の照明光を発光する光源１２１、光源１２２、光源１２３を有し、光源１２１、光源１２２、光源１２３が発光する複数の照明光を同時に被写体１６０に照射する。ここで、単色の光は、単一の波長のみの光に限定されない。単色の光は、通常のＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）が有する程度の波長帯域を有していてもよい。
【００２３】
本実施の形態では、光源１２１、光源１２２、光源１２３の各々は、例えばＬＥＤである。光源１２１は、中心波長が４５０ｎｍの照明光Ｌ１を発光する。また、光源１２２は、中心波長が５５０ｎｍの照明光Ｌ２を発光する。また、光源１２３は、中心波長が６５０ｎｍの照明光Ｌ３を発光する。照明部１２０は、ＣＰＵ１１０の指示に従って、光源１２１、光源１２２、光源１２３を同時に発光させ、照明光Ｌ１、照明光Ｌ２、照明光Ｌ３を同時に被写体１６０に照射する。
【００２４】
被写体１６０は、各光源が発光する照明光をそれぞれ反射する。図１において、照明光Ｌ１が被写体１６０によって反射された光を反射光Ｒ１とする。また、照明光Ｌ２が被写体１６０によって反射された光を反射光Ｒ２とする。また、照明光Ｌ３が被写体１６０によって反射された光を反射光Ｒ３とする。反射光Ｒ１の強度は、照明光Ｌ１の強度に、照明光Ｌ１の波長における被写体１６０の反射率が掛け算されることで得られる。反射光Ｒ２の強度は、照明光Ｌ２の強度に、照明光Ｌ２の波長における被写体１６０の反射率が掛け算されることで得られる。反射光Ｒ３の強度は、照明光Ｌ３の強度に、照明光Ｌ３の波長における被写体１６０の反射率が掛け算されることで得られる。また、照明部１２０は、照明光Ｌ１、照明光Ｌ２、照明光Ｌ３を、同時に被写体１６０に照射しているため、被写体１６０によって反射される光は、反射光Ｒ１、反射光Ｒ２、反射光Ｒ３が混合した光となる。
【００２５】
各照明光の強度は、互いに同じであってもよいし、互いに異なっていてもよい。後述するように、各反射光の強度は、互いに同程度になることが望ましい。そのため、予め被写体１６０の分光反射率が分かっている場合、各照明光の中心波長に対応した被写体１６０の反射率に応じて、各照明光の強度を設定してもよい。具体的には、照明光Ｌ１，Ｌ２，Ｌ３の各中心波長に対応した被写体１６０の反射率の比率が１：２：４の場合、照明光Ｌ１，Ｌ２，Ｌ３の強度比率を４：２：１に設定してもよい。これにより、反射光の強度は照明光の強度と被写体１６０の反射率との積であるため、反射光Ｒ１，Ｒ２，Ｒ３の各強度は互いに同程度になる。すなわち、複数の光源の各々の照明光の強度は、その照明光の中心波長に対応した被写体１６０の反射率よりも高い被写体１６０の反射率に対応した中心波長を有する照明光の強度よりも強くてもよい。例えば、照明光Ｌ２の強度は、照明光Ｌ２の中心波長（５５０ｎｍ）に対応した被写体１６０の反射率よりも高い被写体１６０の反射率に対応した中心波長（６５０ｎｍ）を有する照明光Ｌ３の強度よりも強い。
【００２６】
撮像部１３０は、レンズと撮像素子とを備える。撮像部１３０が備えるレンズは、被写体１６０によって反射された反射光Ｒ１、反射光Ｒ２、反射光Ｒ３による被写体１６０の像を撮像素子に結像させる。撮像部１３０が備える撮像素子は、ＲＧＢのベイヤ配列の画素を有し、３色の色の情報を取得する。すなわち、撮像部１３０は、ＲＧＢカメラとして動作する。撮像部１３０は、反射光Ｒ１、反射光Ｒ２、反射光Ｒ３を同時に撮像して３色の色の情報を取得し、３色の色の情報を含む撮像画像を生成する。そして、撮像部１３０は生成した撮像画像をメモリ１４０に記憶させる。
【００２７】
図２は、本実施の形態における撮像部１３０の分光感度特性を示す図である。図２において、横軸は波長を、縦軸は撮像部１３０のＲＧＢ各色の感度を表す。また、図２において、点線は撮像部１３０のＲの分光感度特性を、実線は撮像部１３０のＧの分光感度特性を、破線は撮像部１３０のＢの分光感度特性をそれぞれ示している。図２に示すように、撮像部１３０の３色の分光感度特性は、互いに重なり合う領域を有する。すなわち、撮像部１３０は、どの中心波長の単色光に対しても、複数の色において感度を有する。
【００２８】
撮像部１３０は、反射光Ｒ１、反射光Ｒ２、反射光Ｒ３を同時に撮像する。すなわち、撮像部１３０は、反射光Ｒ１、反射光Ｒ２、反射光Ｒ３が混合した光を撮像する。また、撮像部１３０は、図２に示すように、３色とも反射光Ｒ１、反射光Ｒ２、反射光Ｒ３の全てに対して感度を有する。そのため、各色の画素では、反射光Ｒ１、反射光Ｒ２、反射光Ｒ３が混合されて撮像される。
【００２９】
次に、図２を用いて、波長λ（ｎｍ）に対応する撮像部１３０の各色の感度について説明する。撮像部１３０のＲの分光感度特性をＲ（λ）とし、撮像部１３０のＧの分光感度特性をＧ（λ）とし、撮像部１３０のＢの分光感度特性をＢ（λ）とする。一例として、波長４５０ｎｍに対応する撮像部１３０の各色の感度である、Ｂ（４５０）、Ｇ（４５０）、Ｒ（４５０）を図２に示す。また、ある波長に対応する撮像部１３０の各色の感度を、ある光源に対応する撮像部１３０の各色の感度とも標記する。これは、ある光源の中心波長に対応する撮像部１３０の各色の感度を意味する。
【００３０】
図２に示すように、撮像部１３０の３色の分光感度特性は、互いに重なり合う領域を有する。光源１２１、光源１２２、光源１２３の中心波長は、それぞれ４５０ｎｍ、５５０ｎｍ、６５０ｎｍである。従って、光源１２１の中心波長（４５０ｎｍ）に対応する撮像部１３０の各色の感度は、ＲＧＢベクトル（Ｂ（４５０）、Ｇ（４５０）、Ｒ（４５０））で表される。また、光源１２２の中心波長（５５０ｎｍ）に対応する撮像部１３０の各色の感度は、ＲＧＢベクトル（Ｂ（５５０）、Ｇ（５５０）、Ｒ（５５０））で表される。また、光源１２３の中心波長（６５０ｎｍ）に対応する撮像部１３０の各色の感度は、ＲＧＢベクトル（Ｂ（６５０）、Ｇ（６５０）、Ｒ（６５０））で表される。これらのＲＧＢベクトルは、互いに一次独立である。すなわち、光源１２１、光源１２２、光源１２３の各々の中心波長に対応する撮像部１３０の各色の感度は、互いに一次独立である。
【００３１】
メモリ１４０は、撮像部１３０が生成した撮像画像を記憶する。また、メモリ１４０は、演算部１５０のワークメモリとして使用される。さらに、メモリ１４０は、各光源に対応する撮像部１３０の各色の感度に関する情報を記憶する。以下、撮像部１３０の各色の感度に関する情報を、感度情報と標記する。本実施の形態においては、メモリ１４０は、各光源に対応する感度情報として、光源１２１、光源１２２、光源１２３の各々に対応する感度情報を記憶する。感度情報は、より詳しくは、照明光Ｌ１、照明光Ｌ２、照明光Ｌ３の各々を撮像部１３０で撮像して取得されるＲＧＢベクトルの方向に関する情報である。各光源に対応する感度情報は、照明光Ｌ１、照明光Ｌ２、照明光Ｌ３の各々の相対分光分布に関する情報と、撮像部１３０の分光感度特性を含んだベクトルである。このベクトルは、長さが１になるように正規化されているとする。なお、感度情報は、予めメモリ１４０で記憶されている。感度情報は、例えば、各光源の照明光を直接、撮像部１３０で撮像して取得される。取得された感度情報は、正規化されて、メモリ１４０で記憶される。
【００３２】
演算部１５０は、メモリ１４０で記憶されている感度情報を用いて、撮像部１３０により生成された撮像画像から、各光源に対応する反射光の情報のみを各々含む複数の分離画像を演算により生成する。演算の詳細については、後述する。光源１２１に対応する反射光は反射光Ｒ１であり、光源１２２に対応する反射光は反射光Ｒ２であり、光源１２３に対応する反射光は反射光Ｒ３である。すなわち、各光源に対応する反射光とは、被写体１６０によって反射された反射光の内、各光源が発光する照明光に由来する反射光を意味する。
【００３３】
すなわち、本実施の形態において、演算部１５０は、光源１２１、光源１２２、光源１２３の各々に対応する感度情報を用いて、撮像部１３０により生成された撮像画像から、反射光Ｒ１の情報のみを含む分離画像、反射光Ｒ２の情報のみを含む分離画像、反射光Ｒ３の情報のみを含む分離画像を演算により生成する。すなわち、演算部１５０は、演算により、複数の分離画像を各光源の中心波長ごとに生成する。
【００３４】
なお、本実施の形態では、被写体１６０の撮像時に用いる光源は、光源１２１、光源１２２、光源１２３のみとし、被写体１６０は暗室内で撮像される。
【００３５】
［１−２．動作］
［１−２−１．撮像装置の動作］
以上のように構成された撮像装置１００について、その動作を以下説明する。
【００３６】
図３は、撮像装置１００の動作を説明するためのフローチャートである。
【００３７】
（ステップＳ２０１）ＣＰＵ１１０は、光源１２１、光源１２２、光源１２３をオンにするよう照明部１２０に指示する。照明部１２０は、光源１２１、光源１２２、光源１２３をオンにし、照明光Ｌ１、照明光Ｌ２、照明光Ｌ３を同時に被写体１６０に照射する。
【００３８】
（ステップＳ２０２）ＣＰＵ１１０は、照明光Ｌ１、照明光Ｌ２、照明光Ｌ３が同時に照射された状態で、被写体１６０を撮像するよう撮像部１３０に指示する。撮像部１３０は、被写体１６０によって反射された、反射光Ｒ１、反射光Ｒ２、反射光Ｒ３が混合した光を撮像する。そして、撮像部１３０は、３色の色の情報を取得し、３色の色の情報を含む撮像画像１を生成する。撮像画像１は、照明光Ｌ１が被写体１６０によって反射された反射光Ｒ１の情報、照明光Ｌ２が被写体１６０によって反射された反射光Ｒ２の情報、照明光Ｌ３が被写体１６０によって反射された反射光Ｒ３の情報を同時に含む。撮像部１３０は、撮像画像１をメモリ１４０に記憶させる。
【００３９】
（ステップＳ２０３）ＣＰＵ１１０は、ステップＳ２０２の撮像が終わると、光源１２１、光源１２２、光源１２３をオフにするよう照明部１２０に指示する。照明部１２０は、光源１２１、光源１２２、光源１２３をオフにする。
【００４０】
（ステップＳ２０４）ＣＰＵ１１０は、演算するよう演算部１５０に指示する。これにより、演算部１５０は、光源１２１、光源１２２、光源１２３の各々に対応する感度情報を用いて、撮像画像１から、各光源に対応する反射光の情報のみを各々含む複数の分離画像を演算により生成する。すなわち、演算部１５０は、撮像画像１から、反射光Ｒ１の情報のみを含む分離画像、反射光Ｒ２の情報のみを含む分離画像、反射光Ｒ３の情報のみを含む分離画像、の３枚の画像を生成する。
【００４１】
また、撮像部１３０が連続で被写体１６０を撮像する場合は、ステップＳ２０３は実施されなくてもよい。その場合には、光源１２１、光源１２２、光源１２３がオンとなっている状態のまま、ステップＳ２０２およびステップＳ２０４が再び実施され、任意のタイミングでステップＳ２０３が実施されてもよい。
【００４２】
［１−２−２．演算］
ステップＳ２０４の演算の詳細を述べる。
【００４３】
演算は、撮像画像１の画素ごとで行われる。また、本実施の形態のように、撮像素子の構造が複数の色フィルタを市松状に配置したベイヤ配列構造である場合、１画素の中には１色の値しか含まれていない。そのため、周辺の画素の情報を用いた補間処理によって、画素に含まれていない色の値を作り出し、１画素中に複数の色の値を持たせる処理を事前に行う。１画素中に複数の色の値を持たせる方法は、これに限らず、任意の方法であってもよい。上記の撮像素子の他にも、１画素中に複数の色の値を含むような撮像素子が存在する。また、上記の方法の他にも、ダイクロイックミラーを用いて光を分離して、光学的な同軸上に複数設置された単色の撮像素子に各色の光を入射させる方法も存在する。そのため、以上のような撮像素子及び方法を用いてもよい。
【００４４】
撮像画像１において、演算の対象としている、ある１画素を、画素ｐとする。各画素には、ＲＧＢ値であるＲＧＢベクトルが記録されている。
【００４５】
画素ｐのＲＧＢベクトルは、反射光Ｒ１のＲＧＢベクトル、反射光Ｒ２のＲＧＢベクトル、反射光Ｒ３のＲＧＢベクトルの和となっている。ここで、光源１２１、光源１２２、光源１２３の各々は、単色の照明光を発光するＬＥＤである。従って、反射光Ｒ１のＲＧＢベクトルの方向と、光源１２１に対応する感度情報であるＲＧＢベクトルの方向とを、同一と見なすことができる。また、反射光Ｒ２のＲＧＢベクトルの方向と、光源１２２に対応する感度情報であるＲＧＢベクトルの方向とを、同一と見なすことができる。また、反射光Ｒ３のＲＧＢベクトルの方向と、光源１２３に対応する感度情報であるＲＧＢベクトルの方向とを、同一と見なすことができる。
【００４６】
このことを利用することによって、画素ｐのＲＧＢベクトルＩｐは、以下のように表現できる。光源１２１に対応する感度情報であるＲＧＢベクトルをｒ１とし、光源１２２に対応する感度情報であるＲＧＢベクトルをｒ２とし、光源１２３に対応する感度情報であるＲＧＢベクトルをｒ３とする。そうすると、ベクトルＩｐは、ベクトルｒ１、ベクトルｒ２、ベクトルｒ３の線形結合として表現できる。すなわち、画素ｐのＲＧＢベクトルをＩｐ＝（ＩｐＲ，ＩｐＧ，ＩｐＢ）とする。また、メモリ１４０で記憶されている、複数のＲＧＢベクトルをｒ１＝（ｒ１Ｒ，ｒ１Ｇ，ｒ１Ｂ）、ｒ２＝（ｒ２Ｒ，ｒ２Ｇ，ｒ２Ｂ）、ｒ３＝（ｒ３Ｒ，ｒ３Ｇ，ｒ３Ｂ）とする。そうすると、ベクトルＩｐは次式で表される。
【００４７】
【数１】
2017168477.tif 000003
【００４８】
ただし、ｗ１は、ベクトルｒ１の重み、ｗ２は、ベクトルｒ２の重み、ｗ３は、ベクトルｒ３の重みである。
【００４９】
（式１）は、未知数がｗ１、ｗ２、ｗ３の３つである３式の連立方程式となる。また、各光源に対応する感度情報であるＲＧＢベクトルは、互いに１次独立である。そのため、連立方程式を解くことが可能となり、各未知数を算出することが可能となる。また、ｗ１、ｗ２、ｗ３を算出するためには、任意の方法を用いて方程式を解けばよい。例えば、方程式を行列で表現し、逆行列を用いた演算により方程式を解けばよい。
【００５０】
さらに、ｗ１とベクトルｒ１の積から、画素ｐにおける反射光Ｒ１のＲＧＢベクトルを算出することができる。また、ｗ２とベクトルｒ２の積から、画素ｐにおける反射光Ｒ２のＲＧＢベクトルを算出することができる。また、ｗ３とベクトルｒ３の積から、画素ｐにおける反射光Ｒ３のＲＧＢベクトルを算出することができる。これらはそれぞれ、（式１）の右辺の第一項、第二項、第三項に相当する。
【００５１】
以上の演算を全画素で行うことにより、演算部１５０は、撮像画像１から、反射光Ｒ１、反射光Ｒ２、反射光Ｒ３それぞれのＲＧＢベクトルの二次元分布情報を算出することができる。すなわち、演算部１５０は、撮像画像１から、反射光Ｒ１の情報のみを含んだ分離画像、反射光Ｒ２の情報のみを含んだ分離画像、反射光Ｒ３の情報のみを含んだ分離画像を演算により生成することができる。すなわち、演算部１５０は、撮像画像１を、反射光Ｒ１の情報のみを含んだ分離画像、反射光Ｒ２の情報のみを含んだ分離画像、反射光Ｒ３の情報のみを含んだ分離画像に分離することができる。分離された各画像は、各画素にＲＧＢベクトルを有しているため、カラー画像となる。以上のように、演算部１５０は、感度情報を係数とした、複数の光源の数、もしくは複数の色の数の方程式からなる連立方程式を解くことによって、複数の分離画像の強度を演算し、複数の分離画像の強度を用いて複数の分離画像を生成する。
【００５２】
さらに、本実施の形態において、複数の光源の各々は、複数の光源の各々の中心波長を変更してもよい。すなわち、光源１２１、光源１２２、光源１２３の任意の光源を、光源１２１、光源１２２、光源１２３とは中心波長が異なる他の光源に変更してもよい。光源を変更した場合、メモリ１４０は、変更した光源に対応する感度情報を新たに記憶する。もしくは、メモリ１４０は、変更した光源に対応する感度情報を事前に記憶しておいてもよい。図２に示すように、撮像部１３０の３色の分光感度特性は、互いに重なり合う領域を有する。複数の光源の各々の中心波長を含む波長の範囲において、任意の互いに異なる波長の組み合わせを選択しても、それらの波長に対応する感度情報は、互いに一次独立である。そのため、任意の光源を変更した後の各光源に対応する感度情報は、互いに一次独立となる。そのため、演算部１５０は、方程式を解くことが可能となる。このため、撮像部１３０自体を変更することなく、光源の中心波長を変更するだけで、波長の組み合わせを自由に選択することが可能となる。これにより、撮像装置１００は、使用できる波長の選択の自由度を高くすることができる。そのため、撮像装置１００は、状況に応じて観測に最適な波長を自由に選択及び変更できる。
【００５３】
［１−３．まとめ］
実施の形態１における撮像装置１００は、照明部１２０と、撮像部１３０と、メモリ１４０と、演算部１５０と、を備える。照明部１２０は、互いに異なる中心波長を有する単色の照明光を発光する複数の光源を有し、複数の光源が発光する複数の照明光を同時に被写体１６０に照射する。撮像部１３０は、複数の照明光が被写体１６０によって反射された複数の反射光を同時に撮像して複数の色の情報を取得し、複数の色の情報を含む撮像画像１を生成する。メモリ１４０は、複数の光源の各々に対応する撮像部１３０の複数の色の感度に関する感度情報を記憶する。演算部１５０は、メモリ１４０で記憶されている複数の光源に対応する感度情報を用いて、撮像部１３０により生成された撮像画像１から、複数の光源の各々に対応する反射光の情報のみを各々含む複数の分離画像を演算により生成する。
【００５４】
すなわち、演算部１５０は、撮像画像１から、各光源の波長に対応する分離画像を演算により生成する。すなわち、演算部１５０は、撮像画像１から、各光源に対応する反射光の情報のみを各々含む複数の分離画像を演算により生成する。そのため、演算部１５０は、１枚の撮像画像から、各光源に対応する反射光の情報のみを各々含む複数の分離画像を演算により生成することができる。
【００５５】
そのため、本開示は、撮像の高速化、および、複数の分離画像に含まれる被写体１６０の情報の時間的な同時性に貢献することができる。
【００５６】
また、使用する各光源に対応する感度情報は、互いに一次独立である。そのため、演算部１５０は、撮像部１３０により生成された１枚の撮像画像から、複数の分離画像を演算により生成することができる。
【００５７】
また、広い波長範囲において、各波長に対応する感度情報は、互いに一次独立である。そのため、撮像装置１００は、複数の分離画像の各々に対応する波長の選択の自由度を高くすることができる。
【００５８】
（実施の形態２）
［２−１．構成］
以下、図４〜図５を用いて、実施の形態２を説明する。
【００５９】
図４は、実施の形態２における撮像装置２００の構成を示すブロック図である。
【００６０】
実施の形態２における撮像装置２００の構成は、実施の形態１の構成に新たな要素、動作が追加された構成である。以下に実施の形態１との差分のみを説明し、同一部分は説明を省略する。
【００６１】
実施の形態２における撮像装置２００は、光源強度決定部１７０をさらに備える。また、撮像装置２００は、ＣＰＵ１１０に代えて、ＣＰＵ１１０と同様の動作及び追加の動作を実施するＣＰＵ２１０を備える。
【００６２】
光源強度決定部１７０は、演算部１５０が生成した複数の分離画像の各々の強度から、次回の撮像時の各光源の照明光の強度を決定する。さらに、光源強度決定部１７０は、決定した照明光の強度の情報をＣＰＵ２１０に出力する。なお、光源強度決定部１７０は、ＣＰＵ２１０の指示により、演算部１５０が生成した複数の分離画像をメモリ１４０から読み出し、次回の撮像時の撮像時の各光源の照明光の強度を決定し、決定した照明光の強度の情報をメモリ１４０に記憶させてもよい。この場合、ＣＰＵ２１０は、メモリ１４０から照明光の強度の情報を読み込んでもよい。演算部１５０は、事前に、生成した複数の分離画像をメモリ１４０に予め記憶させておく。
【００６３】
ＣＰＵ２１０は、光源強度決定部１７０から出力された次回の撮像時の各光源の照明光の強度の情報を基に、各光源の照明光の強度を制御するよう照明部１２０に指示する。照明部１２０は、各光源の照明光の強度を独立に制御する。
【００６４】
照明部１２０は、ＣＰＵ２１０からの指示に従って、決定された照明光の強度で光各源を発光させ、各光源が発光する照明光を同時に被写体１６０に照射する。
【００６５】
［２−２．動作］
［２−２−１．撮像装置の動作］
以上のように構成された撮像装置２００について、その動作を以下説明する。
【００６６】
図５は、撮像装置２００の動作を説明するためのフローチャートである。撮像装置２００の動作は、ステップＳ２０１からステップＳ２０４までは実施の形態１における撮像装置１００の動作と同様である。
【００６７】
（ステップＳ２０５）光源強度決定部１７０は、演算部１５０が生成した複数の分離画像の各々の強度から、次回の撮像時の照明光Ｌ１、照明光Ｌ２、照明光Ｌ３の各々の強度を決定する。光源強度決定部１７０は、決定された各照明光の強度の情報をＣＰＵ２１０に出力する。
【００６８】
（ステップＳ２０６）ＣＰＵ２１０は、光源強度決定部１７０で決定された各照明光の強度で、光源１２１、光源１２２、光源１２３をオンにするよう照明部１２０に指示する。照明部１２０は、決定された各照明光の強度で光源１２１、光源１２２、光源１２３をオンにし、照明光Ｌ１、照明光Ｌ２、照明光Ｌ３を同時に被写体１６０に照射する。この後に、撮像装置２００は、ステップＳ２０２からステップＳ２０４までのステップと同様の動作を行い、新たに複数の分離画像を演算により生成する。
【００６９】
［２−２−２．光源の強度の制御］
光源の強度の制御について、詳細を述べる。
【００７０】
撮像装置２００は、まず任意の照明光の強度で、ステップＳ２０１からステップＳ２０４の動作を実施する。その後に、演算部１５０は、複数の分離画像を、光源強度決定部１７０に出力する。本実施の形態では、光源１２１に対応する分離画像を分離画像Ｉ１、光源１２２に対応する分離画像を分離画像Ｉ２、光源１２３に対応する分離画像を分離画像Ｉ３と標記する。
【００７１】
光源強度決定部１７０は、分離画像Ｉ１、分離画像Ｉ２、分離画像Ｉ３において、空間的に同じ位置に存在する任意の領域の強度の平均値を計算する。本実施の形態では、光源強度決定部１７０は、任意の領域を注目被写体の重心位置を中心とした方形領域と設定する。また、光源強度決定部１７０は、任意の領域の強度として、ＲＧＢベクトルの長さを用いる。
【００７２】
分離画像Ｉ１内において、任意の領域を領域Ａ１とする。分離画像Ｉ２内において、任意の領域Ａ１と空間的に同じ位置に存在する領域を領域Ａ２とする。分離画像Ｉ３内において、任意の領域Ａ１と空間的に同じ位置に存在する領域を領域Ａ３とする。まず、光源強度決定部１７０は、領域Ａ１の強度の平均値と、領域Ａ２の強度の平均値と、領域Ａ３の強度の平均値を算出する。
【００７３】
次に、光源強度決定部１７０は、領域Ａ１、領域Ａ２、領域Ａ３の各々の強度の平均値を用いて、次回の撮像時の各光源の照明光の強度を決定する。ここで、一度目の撮像では、各光源の照明光の強度は同一とする。そうすると、光源１２１、光源１２２、光源１２３の各々の中心波長に対応する被写体１６０の反射率が、１：２：４である場合、領域Ａ１、領域Ａ２、領域Ａ３の各々の強度の平均値の比率は、１：２：４となる。そのため、分離画像Ｉ１、分離画像Ｉ２では、信号の強度が弱く、分離画像Ｉ３と比べて相対的に信号のＳ／Ｎが低くなってしまう。この場合、光源強度決定部１７０は、照明光Ｌ３と比べて相対的に照明光Ｌ１、照明光Ｌ２の強度が強くなるように、次回の撮像時の照明光の強度を決定する。例えば、光源強度決定部１７０は、照明光Ｌ１、照明光Ｌ２、照明光Ｌ３の強度を、それぞれ、１度目の撮像時の４倍、２倍、１倍に決定し、決定した照明光の強度に関する情報をＣＰＵ２１０に出力する。
【００７４】
ＣＰＵ２１０は、光源強度決定部１７０から出力された各光源の照明光の強度の情報を受け取り、各光源の照明光の強度を制御するよう照明部１２０に指示する。例えば、１度目の撮像時の照明光の強度をＬとすると、照明部１２０は、照明光Ｌ１、照明光Ｌ２、照明光Ｌ３の強度が、それぞれ４Ｌ、２Ｌ、１Ｌとなるように、各光源の照明光の強度を制御する。これにより、次回の撮像時において、領域Ａ１、領域Ａ２、領域Ａ３の強度の平均値は、同程度となる。
【００７５】
照明部１２０は、ＣＰＵ２１０からの指示を受け、決定された照明光の強度で各光源の照明光の強度を独立に制御する。すなわち、照明部１２０は、光源１２１、光源１２２、光源１２３を、それぞれ４Ｌ、２Ｌ、１Ｌの照明光の強度で発光させ、各照明光を被写体１６０に照射する。
【００７６】
これにより、相対的に反射光の強度が弱かった光源１２１、光源１２２の照明光の強度を強くしたため、生成された分離画像Ｉ１、分離画像Ｉ２の信号の強度が強くなる。そのため、分離画像Ｉ１、分離画像Ｉ２の信号のＳ／Ｎが向上する。
【００７７】
なお、本実施の形態では、光源強度決定部１７０は、任意の領域を、注目被写体の重心位置を中心とした方形領域と設定したが、これに限らず、任意の空間的位置を中心とした任意の形状の領域と設定してもよい。また、例えば、光源強度決定部１７０は、任意の領域を注目被写体が存在する任意の領域と設定してもよい。光源強度決定部１７０は、任意の領域を注目被写体が存在する任意の領域と設定することにより、注目被写体に対して、任意のもしくは最適な各光源の照明光の強度を決定することが可能となる。
【００７８】
また、本実施の形態では、光源強度決定部１７０は、任意の領域の強度として、ＲＧＢベクトルの長さを用いるとしたが、これに限らず、任意の定義を用いてもよい。例えば、光源強度決定部１７０は、任意の領域の強度として、ＲＧＢベクトルの一つの値の大きさを用いてもよい。すなわち、光源強度決定部１７０は、任意の領域の強度として、ＲＧＢベクトルの一つの値である、Ｒの値のみ、Ｇの値のみ、または、Ｂの値のみを用いてもよい。
【００７９】
また、本実施の形態では、光源強度決定部１７０は、任意の領域の強度の平均値を算出するとしたが、これに限らず、任意の領域の強度の最小値、最大値または中間値を算出してもよい。
【００８０】
また、本実施の形態では、光源強度決定部１７０は、反射光の強度が弱い光源の照明光の強度を強くするように照明光の強度を決定したが、これに限らず、反射光の強度が強い光源の照明光の強度を弱くするように照明光の強度を決定してもよい。例えば、照明部１２０は、それぞれ１Ｌ、０．５Ｌ、０．２５Ｌの強度で、照明光Ｌ１、照明光Ｌ２、照明光Ｌ３を被写体１６０に照射してもよい。また、光源強度決定部１７０は、反射光の強度が弱い光源の照明光の強度を強くするように照明光の強度を決定し、かつ、反射光の強度が強い光源の照明光の強度を弱くするように照明光の強度を決定してもよい。すなわち、光源強度決定部１７０は両方の決定を一度に実施してもよい。
【００８１】
また、本実施の形態では、光源強度決定部１７０は、領域Ａ１、領域Ａ２、領域Ａ３の強度の平均値が同程度になるように各光源の照明光の強度を決定するとしたが、これに限らず、領域Ａ１、領域Ａ２、領域Ａ３の強度の平均値が任意の強度比になるように各光源の照明光の強度を決定してもよい。
【００８２】
また、本実施の形態では、一度目の撮像では、各光源の照明光の強度を同一としていたが、これに限らず、各光源の照明光の強度をユーザーが事前に設定してもよい。例えば、被写体１６０の分光反射率が分かっている場合、ユーザーが事前に、相対的に反射率の低い波長に対応する光源の照明光の強度を、他の光源の照明光の強度よりも強く設定してもよい。ユーザーは、任意の方法で事前に各光源の照明光の強度を設定してもよい。撮像装置２００は、ユーザーが事前に複数の光源の各々の照明光の強度を設定するインターフェイスを備えていてもよい。上記のインターフェイスは、例えばキーボードである。
【００８３】
［２−３．まとめ］
実施の形態２における撮像装置２００では、実施の形態１における撮像装置１００の構成に加えて、さらに光源強度決定部１７０を備える。光源強度決定部１７０は、複数の分離画像の各々の強度から、次回の撮像時の複数の光源の各々の照明光の強度を決定する。
【００８４】
これにより、相対的に他の反射光より強度の低い反射光に対応する分離画像の信号の強度が強くなる。したがって、分離画像の信号のＳ／Ｎが向上する。
【００８５】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１〜２を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態１〜２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【００８６】
そこで、以下、他の実施の形態を例示する。
【００８７】
実施の形態１〜２では、照明光を同時に照射する光源の数を３つとし、撮像部１３０で取得可能な色の数を３色（ＲＧＢ）としたが、これに限らず、未知数の数よりも方程式の数が多ければ、光源の数及び撮像部１３０で取得可能な色の数を任意の数にしてもよい。すなわち、照明光を同時に照射する光源の数を、撮像部１３０で取得可能な色の数以下とすればよい。例えば、撮像部１３０で取得可能な色の数が４色であれば、同時に照射する光源の数を４つ以下とすればよい。ただし、未知数の数に対して、方程式の数が少ない場合、すなわち、照明光を同時に照射する光源の数に対して、撮像部１３０で取得可能な色の数が少ない場合は、演算部１５０は、例えば最小二乗法のような手法を用いて最適解を算出してもよい。また、照明光を同時に照射する光源の数及び撮像部１３０で取得可能な色の数を増やした場合、メモリ１４０で記憶されている、各光源に対応する感度情報も適切に変更する必要がある。例えば、撮像部１３０で取得可能な色の数が４色であれば、各光源に対応する感度情報であるベクトルは、４次元ベクトルとなる。
【００８８】
実施の形態１〜２では、撮像部１３０が取得する複数の色は、Ｒ、Ｇ、Ｂであるが、撮像部１３０が取得する複数の色は、Ｒ、Ｇ、Ｂに限定されない。撮像部１３０が取得する複数の色は、Ｙ（黄色）を含んでいてもよい。また、撮像部１３０が取得する複数の色は、赤外光を含んでいてもよい。すなわち、本開示において、色は必ずしも可視光の波長領域に対応する色に限定されない。撮像部１３０が赤外光の色の情報を取得すると、撮像装置は赤外光に対応した被写体１６０の情報を取得することができる。
【００８９】
実施の形態１〜２では、単色の照明光を発光する光源としてＬＥＤを用いたが、単色の照明光を発光する光源であれば任意の光源を用いてもよい。単色の照明光を発光する光源は、例えばレーザーでもよいし、特定の波長の光を透過させる光学フィルタを備える光源でもよい。また、照明部１２０は、白色光を発光する１つの光源と、複数の照明光を生成するモノクロメーターとを備えていてもよい。モノクロメーターは、白色光を分光して複数の照明光を生成することができる。この場合、白色光を発光する１つの光源が、互いに異なる中心波長を有する単色の照明光を発光する複数の光源に相当する。広義には、方程式を構成するにあたり、被写体１６０の分光反射率分布を含めた反射光のＲＧＢベクトルと、光源に対応する感度情報であるＲＧＢベクトルの方向とを、同一と見なせれば、どのような光源を用いてもよい。ここで、照明光の波長帯域が狭いほど、反射光のＲＧＢベクトルと、感度情報であるＲＧＢベクトルとの誤差が小さくなる。そのため、光源として狭波長帯域のＬＥＤまたはレーザーを用いると、演算部１５０は、各波長に対応する分離画像を、より精度良く演算により生成できる。
【００９０】
実施の形態１〜２では、４５０ｎｍ、５５０ｎｍ、６５０ｎｍの中心波長の光源を用いたが、これに限らず、撮像部１３０の特性と合わせて、方程式を解くことが可能であれば、任意の中心波長の光源を用いてもよい。
【００９１】
実施の形態１〜２では、被写体１６０は、暗室内で撮像されるとしたが、環境光の存在下で撮像されてもよい。その場合、演算部１５０は、例えば、照明光を照射して生成された撮像画像と、照明光を照射しないで生成された撮像画像の差分画像を生成してもよい。その差分画像には、照明光に関連する反射光の情報のみが含まれる。そのため、差分画像は、実質的に暗室内で撮像された撮像画像と同等と見なすことができる。
【００９２】
実施の形態１〜２では、複数の分離画像は、感度情報であるＲＧＢベクトル（ｒ１、ｒ２、ｒ３）と、各ＲＧＢベクトルに対応する重み（ｗ１、ｗ２、ｗ３）との積から生成される画像としたが、これに限らず、重み（ｗ１、ｗ２、ｗ３）のそれぞれから生成される画像としてもよい。
【００９３】
実施の形態１〜２では、感度情報であるＲＧＢベクトルの長さは、１に正規化されているが、これに限らず、任意の長さにされていてもよい。ＲＧＢベクトルの長さに対応して重みも変化するため、重みとＲＧＢベクトルの積は一定のベクトルとなる。
【００９４】
また、ＲＧＢベクトルの長さは、各光源の照明光の強度の情報に基づいて、光源の照明光の強度に応じた値に正規化されていてもよい。例えば、各光源の照明光の強度比が１：２：３である場合、各光源に対応する感度情報であるＲＧＢベクトルの長さは、それぞれ１、２、３に正規化されていてもよい。もしくは、ＲＧＢベクトルの長さの比は、１：２：３となるように任意の長さに正規化されていてもよい。
【００９５】
本開示では、色情報としてＲＧＢ値を用いたが、これに限らず、任意の色情報を用いてよい。例えば、ＲＧＢ値から線形変換によって得られる、輝度信号と色差信号のような値を用いてもよい。
【００９６】
実施の形態１〜２では、演算部１５０は、ステップＳ２０４の演算を、全画素で行うとしたが、これに限らず、例えば画像の一部の画素のみで行ってもよい。
【００９７】
実施の形態１〜２では、感度情報を、各光源を撮像部１３０で撮像して取得したＲＧＢベクトルとしたが、これに限らず、より細かい波長の間隔に対応した各光源の相対分光分布と撮像素子の分光感度特性とを含んだ分光情報としてもよい。その場合、演算部１５０は、上記の分光情報を波長方向に積分することにより、ＲＧＢ値に変換してＲＧＢベクトルを算出する。また、各光源の分光情報と撮像素子の分光情報は、別々でメモリ１４０に記憶され、演算により組み合わされてもよい。
【００９８】
実施の形態１〜２では、感度情報は、各照明光を直接、撮像部１３０で撮像して取得されたＲＧＢ値を正規化して算出されるとしたが、任意の方法を用いて算出されてもよい。ＲＧＢ値の正規化に関しては、上述の通りだが、ＲＧＢ値の取得に関しては、これに限らず、演算部１５０は撮像部１３０の各色の分光感度特性からＲＧＢ値を算出してもよい。その場合、メモリ１４０は、使用する光源の中心波長もしくは、使用する光源の中心波長を含む任意の複数の波長に対応する、撮像部１３０の分光感度特性を予め記憶しておく。感度情報は、複数の光源の各々の中心波長に対応する撮像部１３０の複数の色の感度を用いて算出されてもよい。例えば、メモリ１４０は、４００ｎｍから７００ｎｍの間を５ｎｍの間隔でサンプリングした撮像部１３０の分光感度特性を記憶しておく。演算部１５０は、使用する光源の中心波長に応じて、撮像部１３０の分光感度特性を用いてＲＧＢ値を算出する。また、例えば撮像部１３０は、４００ｎｍから７００ｎｍの間を５ｎｍの間隔で照明光を撮像して取得したＲＧＢ値をメモリ１４０に記憶させておく。演算部１５０は、使用する光源の中心波長に応じて、ＲＧＢ値を算出してもよい。
【００９９】
実施の形態１〜２では、撮像部１３０の分光感度特性は図２に示す特性であるが、図２に示す特性に限らず、使用する各光源に対応する感度情報が互いに一次独立であれば、任意の分光感度特性でもよい。ただし、波長の選択性の自由度を高くするためには、図２に示すように、各色の互いに重なり合う領域が広く、複数の光源の各々の中心波長を含む波長の範囲において、互いに異なる波長に対応する感度情報が互いに一次独立であるような撮像部１３０が適する。ここで、複数の光源の各々の中心波長を含む波長の範囲とは、例えば中心波長４５０ｎｍ、中心波長５５０ｎｍ、中心波長６５０ｎｍを含む波長４５０ｎｍから波長６５０ｎｍまでの連続する範囲を意味する。これにより、複数の光源の中心波長を上記の範囲内の任意の中心波長に変更しても、複数の光源に対応する感度情報は互いに一次独立となる。また、例えば、撮像部１３０の各色の感度が互いに重なり合わない領域では、光は光学的に分離されるが、撮像部１３０の各色の感度が互いに重なり合う領域では、光は光学的に分離されない。一方、本開示は、使用する光源の波長において、撮像部１３０の複数色の感度が重なり合う領域を有する場合に特に有効である。そのため、撮像部１３０で取得可能な色の数の内、撮像部１３０の少なくとも２色の分光感度特性は、複数の光源の各々の中心波長において、互いに重なり合う領域を有してもよい。
【０１００】
また、撮像装置は、判別部をさらに備えてもよい。判別部は、使用する各光源に対応する感度情報が互いに一次独立であるか否かを判別する。判別部は、演算部１５０の演算の前に、メモリ１４０で記憶されている各光源に対応する感度情報が互いに一次独立であるか否かを判別し、判別結果をＣＰＵへ出力する。一次独立であるという判別結果がＣＰＵに入力された場合は、ＣＰＵは演算部１５０に演算を実施させる。一次独立でないという判別結果がＣＰＵに入力された場合は、ＣＰＵは演算部１５０に演算を実施させない。さらに、一次独立でないという判別結果がＣＰＵに入力された場合、ＣＰＵは、使用する光源の組み合わせでは、演算を実施できないことを任意の方法でユーザーに伝えてもよい。
【０１０１】
実施の形態１〜２では、照明部１２０は、３つの光源を有するが、これに限らず、中心波長の異なる２以上の任意の数の光源を有してもよい。そして、照明部１２０は、撮像時に、その複数の光源から撮像部１３０が取得可能な色の数以下の数の任意の光源を選択してもよい。その場合、メモリ１４０は、複数の光源の内、使用する可能性のある光源に対応する、感度情報を記憶する。例えば、照明部１２０は、光源１２１、光源１２２、光源１２３に加えて、さらに光源１２４、光源１２５、光源１２６を有する構成としてもよい。照明部１２０は、ある条件の撮像時には、光源１２１、光源１２３、光源１２５の光源を使用光源として選択及び使用する。また、照明部１２０は、別の条件の撮像時には、使用する光源を切り替えて、光源１２３、光源１２４、光源１２５を使用光源として選択及び使用する。また、照明部１２０は、さらに別の条件の撮像時には、異なる組み合わせの光源を使用光源として選択及び使用してもよい。
【０１０２】
また、実施の形態１〜２では、撮像装置は各光源の照明光の強度の情報を取得することが可能な構成である。そのため、演算部１５０は、取得された各光源の照明光の強度の情報を用いて、各光源に対応する分離画像の強度を補正してもよい。例えば、光源１２１、光源１２２、光源１２３の強度の比率が、１：２：３であった場合、演算部１５０は、分離画像の各強度を、それぞれ、１倍、１／２倍、１／３倍して分離画像を補正する。これにより、各光源の照明光の強度の比率が１：１：１であるとみなすことができる。演算部１５０は、同じ光源の照明光の強度に対応する各分離画像を生成するため、被写体１６０の相対的な分光反射率の情報を算出することができる。また、演算部１５０は、被写体１６０の位置での照度を取得すると、演算部１５０は被写体１６０の絶対的な分光反射率の情報を算出することができる。
【０１０３】
また、実施の形態１〜２における複数の光源は、各光源の照明光の強度比率が被写体１６０上において一定となるように配置されていてもよい。これにより、例えば、被写体１６０上において、各反射光の強度を利用して被写体１６０の解析を行う際、被写体１６０上の各位置の各光源の反射光の強度比率を同様に解析することが可能となる。各光源の反射光の強度比率とは、相対分光分布に相当し、定性的な情報であるため、定性的な解析が可能となる。一方、複数の光源が、各光源の照明光の強度比率が被写体１６０上において一定となるように配置されていない場合、被写体１６０上の各位置によって、照明光の強度比率自体が異なるため、被写体１６０上の各位置の各光源の反射光の強度比率を同様に解析することができない。各光源の照明光の強度比率が、所定の空間において、一定でない場合でも、撮像装置は、事前に各光源に対応する、被写体１６０の所定の空間中の照明光の強度比率の分布を取得し、撮像時に同時に被写体１６０の距離を取得することによって、後から各光源の照明光の三次元的な強度比率の違いを補正することができる。
【０１０４】
また、実施の形態１〜２における撮像装置は、各光源に対応する複数の分離画像を生成するため、複数の波長に対応する被写体１６０の反射特性の分布を取得することが可能となる。そのため、撮像装置は、複数の波長に対応する被写体１６０の反射特性の分布を利用した任意の解析手法により、被写体１６０の解析を行うことが可能となる。撮像装置は、複数の波長に対応する被写体１６０の反射特性の分布から、例えば、被写体１６０の各位置での特性を取得することが可能となる。そのため、撮像装置は、複数の分離画像を用いた任意の解析を実施してもよい。
【０１０５】
なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【０１０６】
本開示は、被写体によって反射される反射光を撮像して被写体の解析を行う装置に適用可能である。具体的には、撮像装置、分析装置などに、本開示は適用可能である。
【符号の説明】
【０１０７】
１００，２００  撮像装置
１１０，２１０  ＣＰＵ
１２０  照明部
１２１，１２２，１２３，１２４，１２５，１２６  光源
１３０  撮像部
１４０  メモリ
１５０  演算部
１６０  被写体
１７０  光源強度決定部
Ｌ１，Ｌ２，Ｌ３  照明光
Ｒ１，Ｒ２，Ｒ３  反射光
【図１】
2017168477.tif 000004
【図２】
2017168477.tif 000005
【図３】
2017168477.tif 000006
【図４】
2017168477.tif 000007
【図５】
2017168477.tif 000008
【国際調査報告】
2017168477.tif 000009
2017168477.tif 000010
2017168477.tif 000011
2017168477.tif 000012