(57)【要約】      （修正有）【課題】基底関数を用いて分光反射率を推定して、複数のフィルター画像から、その複数のフィルター画像よりも細分化された波長区分のフィルター画像を推定する際に、推定精度の向上を図る推定装置、推定方法およびプログラムを提供する。【解決手段】推定装置１０は、撮像特徴量取得部１１１が所定の被写体を撮像することにより得られる複数のフィルター画像から複数のフィルター画像ごとの撮像特徴量を取得し、推定部１３０が取得した撮像特徴量に基づいて、複数のフィルター画像から、その複数のフィルター画像よりも細分化された波長区分のフィルター画像を推定する。【選択図】図２
2019028814.tif 000002
【特許請求の範囲】
【請求項１】
所定の被写体を撮像することにより得られる複数のフィルター画像から該複数のフィルター画像ごとの撮像特徴量を取得する撮像特徴量取得部と、
該取得された撮像特徴量に基づいて、前記複数のフィルター画像から、該複数のフィルター画像よりも細分化された波長区分のフィルター画像を推定する推定部と、
を備えたことを特徴とする推定装置。
【請求項２】
照明光スペクトルまたは分光反射率が既知であるときに、
前記撮像特徴量取得部が前記撮像特徴量としてＳ／Ｎ値を取得し、
前記推定部は、
前記撮像特徴量取得部により取得されたＳ／Ｎ値が、
予め定めたＳ／Ｎ値よりも大きい場合には、基底関数の基底数を前記複数のフィルター画像を取得するためのフィルター数に近づけ、
前記予め定めたＳ／Ｎ値よりも小さい場合には、前記基底関数の基底数を前記複数のフィルター画像を取得するための前記フィルター数よりも小さくして、
前記基底数を決定し、該決定した前記基底数に基づいて、前記フィルター画像ごとの前記所定の被写体の前記照明光スペクトルまたは前記分光反射率を求めて、
前記複数のフィルター画像から、該複数のフィルター画像よりも細分化された波長区分のフィルター画像を推定することを特徴とする請求項１に記載の推定装置。
【請求項３】
所望の前記撮像特徴量と基底関数の基底数とを対応付けたデータテーブルを記憶する記憶部と、
前記撮像特徴量取得部により取得された前記撮像特徴量から、前記所定の被写体の所望の撮像特徴量を算出する第１の算出部と、
を備え、
照明光スペクトルが既知であるときに、
前記推定部が、
前記データテーブルから前記第１の算出部において算出された前記所望の撮像特徴量に対応する前記基底数を決定し、
該決定した前記基底数に基づいて、前記所定の被写体の分光反射率を求めて、
前記複数のフィルター画像から、該複数のフィルター画像よりも細分化された波長区分のフィルター画像を推定することを特徴とする請求項１に記載の推定装置。
【請求項４】
照明光の明るさを変化させ、既知である分光反射率のスペクトルがともに異なる複数の前記被写体を、それぞれ撮像することにより得られる前記複数のフィルター画像ごとの平均輝度値のうち、最も低い平均輝度値を前記所望の前記撮像特徴量として算出する第２の算出部と、
前記最も低い平均輝度値が算出された前記フィルター画像に対して、複数の前記基底数ごとの前記分光反射率のスペクトルを推定するスペクトル推定部と、
前記既知である前記分光反射率のスペクトルと、推定された前記複数の基底数ごとの前記分光反射率のスペクトルと、を対比し、前記既知である前記分光反射率のスペクトルに対する前記推定された前記複数の基底数ごとの前記分光反射率のスペクトルの誤差を算出する誤差算出部と、
を備え、
前記第１の算出部は、前記撮像特徴量として取得された輝度値から各フィルター画像の平均輝度値を算出するとともに、算出された各フィルター画像の平均輝度値のうち最も低い平均輝度値を算出し、
前記記憶部は、前記第２の算出部が算出した最も低い平均輝度値と、前記誤差算出部により算出された誤差が予め定められた閾値以内である前記基底数のうちの最も大きい基底数と、を対応づけた前記データテーブルを記憶することを特徴とする請求項３に記載の推定装置。
【請求項５】
照明光スペクトルが既知であり、
前記撮像特徴量は前記フィルター画像を構成する画素の画素値であり、
前記推定部は、前記撮像特徴量取得部が取得した前記複数のフィルター画像を構成する全ての画素について、前記複数のフィルター画像内の対応座標に位置する画素の画素値を順次取得し、
該取得した画素値を入力とし、フィルター数以下の基底関数の基底数の全てについて、分光反射率の推定を行い、
ノイズ除去処理後の推定された前記分光反射率のスペクトルが所定の条件を満たすときに、該分光反射率のスペクトルの推定に用いられた前記基底数により、前記複数のフィルター画像を構成する画素ごとの分光反射率を推定し、前記複数のフィルター画像から、該複数のフィルター画像よりも細分化された波長区分のフィルター画像を推定することを特徴とする請求項１に記載の推定装置。
【請求項６】
前記推定部は、前記ノイズ除去処理を微分演算により実行することを特徴とする請求項５に記載の推定装置。
【請求項７】
前記所定の条件を満たす前記基底数は、前記推定された分光反射率のスペクトルが、予め定めた第１の閾値あるいは第２の閾値と前記微分演算により求められた微分値との関係において、前記微分値が前記第１の閾値を超えた回数が所定回数以下、あるいは前記微分値の総和が予め定められた第２の閾値を超えない前記推定された分光反射率のスペクトルを推定したときに用いた前記基底数であることを特徴とする請求項６に記載の推定装置。
【請求項８】
照明光スペクトルが既知であるときに、
分光反射率が既知の被写体と所定の被写体とを撮像することにより得られる複数のフィルター画像ごとの撮像特徴量を取得する撮像特徴量取得部と、
該取得された前記複数のフィルター画像ごとの撮像特徴量に基づいて、前記所定の被写体の分光反射率のスペクトルを推定する分光反射率推定部と、
該推定された分光反射率のスペクトルと、前記既知の分光反射率のスペクトルと、の差分から誤差を算出する誤差算出部と、
該算出された誤差に基づいて、基底関数の基底数を決定し、該決定された前記基底数により、前記複数のフィルター画像ごとの分光反射率を推定し、前記複数のフィルター画像から、該複数のフィルター画像よりも細分化された波長区分のフィルター画像を推定する推定部と、
を備えたことを特徴とする推定装置。
【請求項９】
前記推定部が、
全ての前記基底数に対して、前記誤差を求め、該誤差が最小となる前記基底数を決定することを特徴とする請求項８に記載の推定装置。
【請求項１０】
撮像特徴量取得部と、推定部と、を備えた推定装置における推定方法であって、
前記撮像特徴量取得部が、所定の被写体を撮像することにより得られる複数のフィルター画像から前記複数のフィルター画像ごとの撮像特徴量を取得する第１の工程と、
前記推定部が、該取得された撮像特徴量に基づいて、前記複数のフィルター画像から、該複数のフィルター画像よりも細分化された波長区分のフィルター画像を推定する第２の工程と、
を備えたことを特徴とする推定方法。
【請求項１１】
撮像特徴量取得部と、推定部と、を備えた推定装置における推定方法をコンピュータに実行させるためのプログラムであって、
前記撮像特徴量取得部が、所定の被写体を撮像することにより得られる複数のフィルター画像から前記複数のフィルター画像ごとの撮像特徴量を取得する第１の工程と、
前記推定部が、該取得された撮像特徴量に基づいて、前記複数のフィルター画像から、該複数のフィルター画像よりも細分化された波長区分のフィルター画像を推定する第２の工程と、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、推定装置、推定方法およびプログラムに関する。
【背景技術】
【０００２】
近年、進歩の目覚しい分光技術として、ハイパースペクトル情報を取得／解析する技術がある。ここで、ハイパースペクトルとは、数百のスペクトルバンド（分光帯）を意味する。そして、一度に数百のスペクトルバンド（一般的には、１００以上）を使用して、物体のスペクトル情報を取得する。
【０００３】
また、イメージングを行うものとしては、ハイパースペクトルイメージング（ハイパースペクトルカメラ）が知られている。ハイパースペクトルカメラは、主に、リモートセンシング分野で利用されてきたものである。しかし、近年では、医療分野での研究も行われており、組織の評価や、染色技術と組み合わせた病理診断等への応用が行われている。
【０００４】
このハイパースペクトルカメラには、いくつかの方式がある。例えば、ラインセンサを用いた方式は、測定視野一水平ライン分を垂直方向に分光し、スリットを通過した光が、回折格子またはプリズム等の分光素子によって、波長に応じて分離されるものである。分離された波長ごとの光は、二次元イメージセンサによって検出される。しかし、この方式では、一度に、１ライン分の分光情報しか取得できない。そのため、カメラまたは対象物を垂直方向に移動しながら撮影を行う必要がある。
【０００５】
また、ファブリペローを用いた方式は、平行平面板に光を導入し、平行平面板を構成する平面板の間での多重反射と干渉とにより、特定の波長の光のみを取り出すものである。具体的には、２枚の平行平面板の距離を変えることにより、取り出す光の波長を変更するものである。この他にも、音響光学素子（Ａｃｏｕｓｔｏ−Ｏｐｔｉｃ Ｔｕｎａｂｌｅ Ｆｉｌｔｅｒ：ＡＯＴＦ）を用いる方式や、液晶チューナブルフィルターを用いる方式も提案されている。
【０００６】
しかし、いずれの方式も二次元のイメージセンサにより、ｘ、ｙの座標位置において波長方向の情報を取得する手法である点では共通する。このため、いずれの方式も数百の分光情報を取得できる。その一方で、リアルタイムでの撮影は難しく、解像度や波長分解能とのトレードオフとなる。また、ハイパースペクトルカメラは、高額であり、主に、研究用途として使用され、一般的にはあまり普及していないのが現状である。
【０００７】
このような点を考慮し、比較的低価格で、リアルタイムに、数バンドの情報を取得するマルチスペクトルカメラを用いて、ハイパースペクトル情報を推定する研究も行われている。マルチスペクトルカメラによるマルチスペクトル情報からハイパースペクトル情報を推定する手法の１つとして、分光反射率を基底スペクトル群の低次元線形和によって近似する手法が知られている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００９−１７５９２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１に記載の技術は、基底関数を用いて、分光反射率を推定して、マルチスペクトル情報からハイパースペクトル情報を推定する手法である。しかしながら、上記特許文献１には、「分光反射率の低次元線形モデルに必要とされる次元数は、人間の肌等では３程度、より一般的には５〜８程度とされており」との記載があるのみで、最適な基底関数の基底数を取得する方法については、一切言及されていない。そのため、マルチスペクトル情報からハイパースペクトル情報を推定するのに使用する基底関数の基底数の選択によっては、推定精度が大きくばらつくという問題があった。そこで、本発明が解決しようとする課題には、上述した問題が一例として挙げられる。
【００１０】
本発明は、上述の一例として挙げられた問題に鑑みてなされたものであり、基底関数を用いて分光反射率を推定して、複数のフィルター画像から、その複数のフィルター画像よりも細分化された波長区分のフィルター画像を推定する際に、推定精度の向上を図る推定装置を提供することを主な目的とする。
【課題を解決するための手段】
【００１１】
請求項１に記載の発明は、所定の被写体を撮像することにより得られる複数のフィルター画像から該複数のフィルター画像ごとの撮像特徴量を取得する撮像特徴量取得部と、該取得された撮像特徴量に基づいて、前記複数のフィルター画像から、該複数のフィルター画像よりも細分化された波長区分のフィルター画像を推定する推定部と、を備えたことを特徴とする。
【００１２】
請求項８に記載の発明は、照明光スペクトルが既知であるときに、分光反射率が既知の被写体と所定の被写体とを撮像することにより得られる複数のフィルター画像ごとの撮像特徴量を取得する撮像特徴量取得部と、該取得された前記複数のフィルター画像ごとの撮像特徴量に基づいて、前記所定の被写体の分光反射率のスペクトルを推定する分光反射率推定部と、該推定された分光反射率のスペクトルと、前記既知の分光反射率のスペクトルと、の差分から誤差を算出する誤差算出部と、該算出された誤差に基づいて、基底関数の基底数を決定し、該決定された前記基底数により、前記複数のフィルター画像ごとの分光反射率を推定し、前記複数のフィルター画像から、該複数のフィルター画像よりも細分化された波長区分のフィルター画像を推定する推定部と、を備えたことを特徴とする。
【００１３】
請求項１０に記載の発明は、撮像特徴量取得部と、推定部と、を備えた推定装置における推定方法であって、前記撮像特徴量取得部が、所定の被写体を撮像することにより得られる複数のフィルター画像から前記複数のフィルター画像ごとの撮像特徴量を取得する第１の工程と、前記推定部が、該取得された撮像特徴量に基づいて、前記複数のフィルター画像から、該複数のフィルター画像よりも細分化された波長区分のフィルター画像を推定する第２の工程と、を備えたことを特徴とする。
【００１４】
請求項１１に記載の発明は、撮像特徴量取得部と、推定部と、を備えた推定装置における推定方法をコンピュータに実行させるためのプログラムであって、前記撮像特徴量取得部が、所定の被写体を撮像することにより得られる複数のフィルター画像から前記複数のフィルター画像ごとの撮像特徴量を取得する第１の工程と、前記推定部が、該取得された撮像特徴量に基づいて、前記複数のフィルター画像から、該複数のフィルター画像よりも細分化された波長区分のフィルター画像を推定する第２の工程と、を備えたことを特徴とする。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態において、推定に使用する基底数による推定精度の変化を画像データのノイズの有無により分けて説明する図である。
【図２】本発明の実施形態に係る推定装置の一例を示す電気的構成図である。
【図３】本発明の実施形態に係る推定装置の一例を示す処理フロー図である。
【図４】本発明の実施例１に係る推定装置におけるデータテーブルの作成方法を模式的に示した図である。
【図５】本発明の実施例１に係る推定装置の一例を示す電気的構成図である。
【図６】本発明の実施例１に係る推定装置の一例を示す処理フロー図である。
【図７】本発明の実施例２に係る推定装置の一例を示す電気的構成図である。
【図８】本発明の実施例２に係る推定装置の一例を示す処理フロー図である。
【図９】本発明の実施例３に係る推定装置の処理を模式的に示した図である。
【図１０】本発明の実施例３に係る推定装置の一例を示す電気的構成図である。
【図１１】本発明の実施例３に係る推定装置の一例を示す処理フロー図である。
【発明を実施するための形態】
【００１６】
＜実施形態＞
以下、本発明の実施形態について、図１から図３を用いて説明する。
【００１７】
前述のように、撮像することにより得られる複数のフィルター画像から、その複数のフィルター画像よりも細分化された波長区分のフィルター画像を推定する技術が知られている。例えば、基底関数を用いた推定方法では、未知数ｎがフィルター数ｍ以下であれば、撮像することにより得られる複数のフィルター画像から、その複数のフィルター画像よりも細分化された波長区分のフィルター画像を推定することができる。
ここで、この推定方法で使用される基底関数の基底数（以下の記載において、注釈がない限り、単に、基底数と表現する）は、一般に３〜８とされている。
なお、複数のフィルター画像とは、被写体から撮像部に入射する近紫外から近赤外の光を分光して得られる異なる波長バンドからなる画像をいう。以下において、複数のフィルター画像とは、上記の画像を指すものとする。
【００１８】
しかしながら、過去の知見や様々な検証によって、基底数と、フィルター数および撮像することにより得られる複数のフィルター画像のＳ／Ｎ値と、の間には、有意な関係があることを見出した。以下、具体的に、その内容について説明する。
図１は、横軸を波長λ、縦軸を分光反射率Ｓ（λ）とし、波長λに対する分光反射率Ｓ（λ）を基底数ごとに表している。図１は、上段に、フィルター画像にノイズが無い場合を、下段に、フィルター画像にノイズが有る場合を示した図である。さらに、図１では、分光反射率Ｓ（λ）の真値を実線で示し、分光反射率Ｓ（λ）の測定値を破線で示している。
ここで、図１を参照すると、撮像により得られる複数のフィルター画像にノイズが無い理想的なデータ（Ｓ／Ｎ値が大きいデータ）を使用する場合には、使用する基底数をフィルター数に近づけると推定精度が向上することがわかる。一方で、撮像により得られる複数のフィルター画像にノイズが存在するデータ（Ｓ／Ｎ値が小さいデータ）を使用する場合には、基底数を増やすと推定結果が破綻するという傾向にあるとの知見を得ることができる。
【００１９】
すなわち、フィルター画像の推定精度は、撮像することにより得られる複数のフィルター画像のＳ／Ｎ値によって異なる。詳しくは、Ｓ／Ｎ値が大きい場合（取得した画像のノイズが少ない場合）には、使用する基底数をフィルター数ｍに近づけることにより、フィルター画像の推定精度を向上させることができる。一方で、Ｓ／Ｎ値が小さい場合（取得した画像にノイズが多く含まれている場合）には、使用する基底数をフィルター数ｍよりも小さくすることにより、フィルター画像の推定精度を向上させることができる。
以下で、詳述する本実施形態および実施例は、上記の知見に基づくものである。
【００２０】
＜推定装置の電気的構成＞
本実施形態に係る推定装置１０の電気的構成について、図２を用いて説明する。
本実施形態に係る推定装置１０は、図２に示すように、撮像部１１０と、撮像特徴量取得部１１１と、推定部１３０と、制御部１４０とを含んで構成されている。
【００２１】
撮像部１１０は、所定の被写体を撮像することにより、複数のフィルター画像を得る。
撮像特徴量取得部１１１は、撮像部１１０から得られる複数のフィルター画像から複数のフィルター画像ごとの撮像特徴量を取得する。ここで、被写体は、物体であってもよいし、人体や生物あるいは、これらの組織等であってもよい。また、フィルター画像を取得するためのフィルター数ｍには、特に制限はないが、フィルター画像の推定処理効率を考慮すれば、マルチスペクトルカメラ程度のフィルター数が好ましい。また、撮像特徴量としては、例えば、フィルター数ｍ、各画素の画素値、輝度値、Ｓ／Ｎ値、カメラのゲイン等を例示することができる。本実施形態において、撮像特徴量取得部１１１は、撮像特徴量としてフィルター画像のＳ／Ｎ値を取得する。ここで、Ｓ／Ｎ値の取得は、直接的な測定によって取得してもよいし、Ｓ／Ｎ値と有意な関係を有する撮像特徴量を指標として推定してもよい。
【００２２】
推定部１３０は、撮像特徴量取得部１１１により取得された撮像特徴量に基づいて、複数のフィルター画像から、その複数のフィルター画像よりも細分化された波長区分のフィルター画像を推定する。なお、本実施形態においては、推定のための条件として、照明光スペクトルまたは分光反射率のいずれかが既知であるとする。
具体的には、照明光スペクトルが既知であるとすると、撮像特徴量取得部１１１によって撮像特徴量として取得されたＳ／Ｎ値が、予め定められたＳ／Ｎ値に対して、大きい場合には、推定部１３０は、使用する基底数をフィルター数ｍに近づける。一方で、取得されたＳ／Ｎ値が、予め定められたＳ／Ｎ値に対して小さい場合には、推定部１３０は、使用する基底数をフィルター数ｍよりも小さくする。そうして、得られた基底数から基底関数の重み係数を算出し、被写体の分光反射率を推定する。これにより、被写体の画素ごとの色信号スペクトルを導出して、その複数のフィルター画像よりも細分化された波長区分のフィルター画像を推定する。なお、「予め定められたＳ／Ｎ値」とは、例えば、図１に示すノイズが無いと判定されるＳ／Ｎ値を例示することができる。
【００２３】
制御部１４０は、本実施形態に係る推定装置１０の動作を内部に格納された制御プログラムに基づいて制御する。また、制御部１４０は、一例として、撮像部１１０に対して、所定の被写体の撮像を指示する。また、制御部１４０は、撮像部１１０から撮像データを入力し、撮像特徴量取得部１１１の要求に応じて、入力した撮像データを撮像特徴量取得部１１１に出力する。また、制御部１４０は、撮像特徴量取得部１１１が取得した撮像特徴量を入力し、推定部１３０の要求に応じて、入力した撮像特徴量を推定部１３０に出力する等の処理を実行する。
【００２４】
＜推定装置の処理＞
本実施形態に係る推定装置１０の処理について、図３を用いて説明する。
【００２５】
まず、撮像特徴量取得部１１１は、撮像部１１０が所定の被写体を撮像することにより得られる複数のフィルター画像から複数のフィルター画像ごとの撮像特徴量を取得する（Ｓ１０１）。そして、推定部１３０は、取得された撮像特徴量に基づいて、複数のフィルター画像から、その複数のフィルター画像よりも細分化された波長区分のフィルター画像を推定する（Ｓ１０２）。
【００２６】
以上、説明したように、本実施形態に係る推定装置１０によれば、例えば、撮像特徴量として、撮像特徴量取得部１１１が、Ｓ／Ｎ値を取得する場合、この複数のフィルター画像のＳ／Ｎ値に基づいて、取得した複数のフィルター画像よりも細分化された波長区分のフィルター画像を推定するために使用する最適な基底数を決定することができる。
さらに、本実施形態に係る推定装置１０では、決定した最適な基底数を使用して、取得した複数のフィルター画像よりも細分化された波長区分のフィルター画像を推定する。そのため、本実施形態に係る推定装置１０によれば、推定精度の高いフィルター画像を推定することができる。
【００２７】
＜実施例＞
上述した実施形態に対応する具体的な実施例について、図４から図１１を用いて説明する。
【００２８】
なお、具体的な実施例の説明の前に、以下の実施例で例示的に用いる推定手法について説明する。
以下の実施例で例示的に用いる推定手法は、複数の基底関数を組み合わせることにより、近似によって、さらに、細分化された波長区分のフィルター画像の推定を行うものである。
【００２９】
まず、被写体の色信号をモデル化する。例えば、波長をλとし、被写体の表面の分光反射率をＳ（λ）、照明光スペクトルをＥ（λ）、ある位置ｘにおける重み係数をα（ｘ）とした場合、ある位置ｘにおける被写体の色信号Ｃ（ｘ、λ）は、以下の数１に示すようにモデル化することができる。但し、ここでは、説明を簡略化するために、鏡面反射成分を「０」と仮定する。
【００３０】
【数１】
2019028814.tif 000003
【００３１】
次に、分光反射率Ｓ（λ）をｎ個の基底ベクトルの線形和により近似し、数２に示すように表現する。ここで、Ｓｉは、ｉ番目の基底関数であり、σｉはｉ番目の基底関数に対する重み係数である。一般的に、基底関数（基底ベクトル）は、分光反射率が既知であるデータ群に対して主成分分析を行い、算出した固有ベクトル中、寄与率の高いベクトルから順に使用する。
【００３２】
【数２】
2019028814.tif 000004
【００３３】
また、撮像部１１０としてマルチスペクトルカメラを例示する。ここで、マルチスペクトルカメラのｋ番目のセンサ出力信号をρｋ（ｘ）、ｋ番目のマルチスペクトルカメラのセンサ感度をＲｋ（λ）とすると、マルチスペクトルカメラのｋ番目のセンサ出力信号ρｋ（ｘ）は、以下の数３のように表すことができる。
【００３４】
【数３】
2019028814.tif 000005
【００３５】
2019028814.tif 000006
【００３６】
【数４】
2019028814.tif 000007
【００３７】
2019028814.tif 000008
【００３８】
【数５】
2019028814.tif 000009
【００３９】
【数６】
2019028814.tif 000010
【００４０】
2019028814.tif 000011
【００４１】
【数７】
2019028814.tif 000012
【００４２】
ここで、照明光スペクトルＥ（λ）を既知とすると、フィルター数ｍが未知数ｎ以上であれば、基底関数の重み係数σを推定する事により、１画素の分光反射率を推定する事が出来る。なお、未知数ｎは基底関数（基底ベクトル）の重みベクトルの次数であり、推定に使用する基底数（基底ベクトルの次数）により変化する。
以下の実施例では、基底数を決定することにより、分光反射率Ｓ（λ）を推定し、取得した複数のフィルター画像よりも細分化された波長区分のフィルター画像の推定を行うことについて、説明する。
【００４３】
＜実施例１＞
以下、図４〜図６を用いて、実施例１について説明する。
なお、本実施例は、フィルター画像の平均輝度値をＳ／Ｎ値の指標とするものである。例えば、分光反射率が異なる複数の既知の被写体のフィルター画像における平均輝度値と、最適な基底数と、の組からなるデータ群を複数有するデータテーブルを予め用意しておく。
具体的には、図４に示すように、予め測定済みの被写体Ａの分光反射率を真値とする。そして、被写体Ａを撮像して得られた複数のフィルター画像の平均輝度値を求め、最も低い平均輝度値を特定する。さらに、最も低い平均輝度値であったフィルター画像について、全ての基底数における分光反射率を推定し、その推定結果と真値とを比較して、誤差を算出して、当該誤差が閾値以内である基底数のうち、最大の基底数を特定する。
より具体的には、照明光の明るさを変化させながら、上述の処理を複数回実施して、上記の最も低い平均輝度値と最大の基底数とを対応付けたデータの組を得る。さらに、既知である分光反射率のスペクトルがともに異なる被写体Ａ以外の複数の被写体についても、同様の処理を行う。そして、上記の処理から得られる最大の基底数と、最も低い平均輝度値と、を組にした複数のデータ群からなるデータテーブルを作成する。
所定の被写体のフィルター画像の分光反射率を推定する場合には、当該フィルター画像の平均輝度値を算出し、この平均輝度値に基づいて、上記データテーブルを参照して基底数を決定する。そして、この決定した基底数を用いて、複数のフィルター画像を構成する全ての画素について、所定の被写体の分光反射率を求める。そして、複数のフィルター画像から、その複数のフィルター画像よりも細分化された波長区分のフィルター画像を推定する。
つまり、本実施例は、予め用意した上記データテーブルを用いて、決定した基底数をフィルター画像の全ての画素に適用することにより、フィルター画像全体で推定処理を行うものである。
以下、上記の推定処理を行うための構成および詳細な処理内容について説明する。
【００４４】
＜推定装置の電気的構成＞
本実施例に係る推定装置１１の電気的構成について、図５を用いて説明する。
本実施例に係る推定装置１１は、図５に示すように、撮像部１１０と、撮像特徴量取得部１１１と、第１の算出部１２１と、第２の算出部１２２と、スペクトル推定部１２３と、誤差算出部１２４と、記憶部１２５と、推定部１３１と、制御部１４１と、を含んで構成されている。
なお、本実施例では、一例として、第２の算出部１２２と、スペクトル推定部１２３と、誤差算出部１２４と、記憶部１２５と、制御部１４１とが上記データテーブルを作成するために機能し、撮像部１１０と、撮像特徴量取得部１１１と、第１の算出部１２１と、記憶部１２５と、推定部１３１と、制御部１４１とがフィルター画像の推定のために機能する場合について、以下、説明する。
また、本実施例を含め、実施例４を除く、以下の実施例においては、照明光スペクトルが既知であるとする。
【００４５】
撮像部１１０は、所定の被写体を撮像することにより、複数のフィルター画像を得る。なお、本実施例では、推定装置１１内に撮像部１１０を備えることを例示したが、フィルター画像を取得する構成は、これに限らない。例えば、推定装置１１内に撮像部１１０を備えることなく、外部の撮像部が撮像したフィルター画像を取得する構成であってもよい。また、例えば、既に、撮像部１１０が撮像済みのフィルター画像を内部に記憶する推定装置１１内の記憶部や外部のサーバから取得する構成であってもよい。
【００４６】
撮像特徴量取得部１１１は、撮像部１１０から得られる複数のフィルター画像から複数のフィルター画像ごとの撮像特徴量を取得する。
【００４７】
第１の算出部１２１は、撮像特徴量取得部１１１により取得された撮像特徴量から、所定の被写体の所望の撮像特徴量を算出する。本実施例においては、一例として、撮像特徴量取得部１１１により取得された輝度値から各フィルター画像の平均輝度値を算出する。そして、算出された各フィルター画像の平均輝度値のうち最も低い平均輝度値を後述する推定部１３１に出力することを例示できる。
【００４８】
第２の算出部１２２は、照明光の明るさを変化させ、既知である分光反射率のスペクトルがともに異なる複数の被写体をそれぞれ撮像することにより得られる複数のフィルター画像ごとの平均輝度値のうち、最も低い平均輝度値を所望の撮像特徴量として算出する。
そして、第２の算出部１２２は、算出された最も低い平均輝度値を後述する制御部１４１に出力する。
【００４９】
スペクトル推定部１２３は、第２の算出部１２２において、最も低い平均輝度値が算出されたフィルター画像に対して、複数の基底数ごとの分光反射率のスペクトルを推定する。ここで、推定に用いられる基底数は、フィルター数ｍ以下の全ての基底数である。
【００５０】
誤差算出部１２４は、既知である分光反射率のスペクトルと、スペクトル推定部１２３において推定された複数の基底数ごとの分光反射率のスペクトルと、を対比する。
そして、誤差算出部１２４は、既知である分光反射率のスペクトルに対して、推定された複数の基底数ごとの分光反射率のスペクトルの誤差を算出して、後述する制御部１４１に出力する。
【００５１】
制御部１４１は、本実施例に係る推定装置１１の動作を内部に格納された制御プログラムに基づいて制御する。
また、制御部１４１は、一例として、第２の算出部１２２により算出された最も低い平均輝度値と、誤差算出部１２４により算出された誤差のうち、誤差が予め定められた閾値以内である基底数のうちの最も大きい基底数と、を対応づけたデータテーブルを作成し、後述する記憶部１２５に記憶させる。
なお、上記では、平均輝度値を例示したが、カメラのゲインが取得できる場合には、平均輝度値の代わりに、カメラのゲイン値をＳ／Ｎ値の指標として使用してもよい。この場合には、予めカメラのゲイン値と、最適な基底数と、を対応付けたテーブルを後述する記憶部１２５に記憶させておくものとする。
【００５２】
記憶部１２５は、所望の撮像特徴量と基底数とを対応付けたデータテーブルを記憶する。なお、本実施例においては、一例として、制御部１４１が作成したデータテーブルを記憶することを例示できる。また、記憶部１２５は、分光反射率が既知の被写体の分光反射率のスペクトル情報（スペクトルデータ）を記憶する。
また、本実施例においては、上記のように、推定装置１１内に記憶部１２５を有することを例示したが、データテーブルを記憶する構成は、これに限らない。例えば、推定装置１１内に記憶部１２５を備えることなく、外部のサーバに、上記データテーブルやデータを記憶させる構成であってもよい。
【００５３】
推定部１３１は、第１の算出部１２１において算出された各フィルター画像の平均輝度値のうち最も低い平均輝度値をＳ／Ｎ値の指標として、この平均輝度値に基づいて、記憶部１２５内のデータテーブルの情報を参照して基底数を決定する。
【００５４】
また、推定部１３１は、推定処理に使用する基底数を決定すると、ｍ枚のフィルター画像の中で対応座標に位置する画素（ｍ枚のフィルター画像において、同一の座標位置にある画素）の画素値を取得し、取得した画素値を入力とし、上記の数７により、基底関数の重み係数を求める。次いで、推定部１３１は、上記の数２により、分光反射率を基底関数の近似により推定する。さらに、推定部１３１は、推定された分光反射率を上記の数１に代入して、ｍ枚のフィルター画像の中で対応座標に位置する画素の色信号スペクトルを推定する。そして、推定部１３１は、複数のフィルター画像を構成する全ての画素について、このような処理を実施することにより、取得した複数のフィルター画像よりも細分化された波長区分のフィルター画像の推定を行う。
【００５５】
＜推定装置の処理＞
本実施例に係る推定装置１１の処理について、図６を用いて説明する。
なお、以下の説明では、説明をより具体的にするために、撮像部１１０をマルチスペクトルカメラとして例示して、当該マルチスペクトルカメラで撮像したフィルター画像に基づく推定処理を説明する。
【００５６】
まず、図６に示すように、マルチスペクトルカメラによって、フィルター数ｍに相当するｍ枚のフィルター画像を取得する（Ｓ２０１）。第１の算出部１２１は、取得した各フィルター画像の平均輝度値を算出する（Ｓ２０２）。
【００５７】
制御部１４１は、ｍ枚のフィルター画像に対して平均輝度値が第１の算出部１２１により、算出されたか否かを判定し（Ｓ２０３）、算出されていないと判定した場合（Ｓ２０３の「Ｎｏ」）には、次のフィルター画像に対して算出処理を行う。
一方で、制御部１４１は、ｍ枚のフィルター画像に対して平均輝度値が算出済みであると判定した場合（Ｓ２０３の「Ｙｅｓ」）には、Ｓ２０４に処理を進める。
【００５８】
Ｓ２０４では、第１の算出部１２１が、ｍ枚のフィルター画像に対して算出した平均輝度値のうち、最も低い平均輝度値を決定して、推定部１３１に出力する。推定部１３１は、第１の算出部１２１によって、決定された最も低い平均輝度値に基づいて、推定処理に使用する基底数を決定する。より詳細には、推定部１３１は、記憶部１２５に記憶された予め作成済みの最も低い平均輝度値と、推定処理に使用する基底数と、を定義したデータテーブルを参照して基底数を決定する（Ｓ２０４）。
【００５９】
また、Ｓ２０４において、基底数を決定した後、推定部１３１は、ｍ枚のフィルター画像の中で対応座標に位置する画素の画素値を取得する（Ｓ２０５）。そして、推定部１３１は、取得した画素値を入力とし、上記の数７により、基底関数の重み係数を求め、次いで、上記の数２により分光反射率を基底関数の近似により推定する（Ｓ２０６）。分光反射率の推定後、制御部１４１は、画像中の全画素値に対して、分光反射率の推定処理が行われたか否かの判定を行う（Ｓ２０７）。そして、制御部１４１が、全画素値に対して分光反射率の推定処理が行われていないと判断した場合（Ｓ２０７の「Ｎｏ」）には、次の画素値に対して処理を行うため、処理をＳ２０４に戻す。
一方で、制御部１４１が、全画素値に対して、分光反射率の推定処理が行われたと判断した場合（Ｓ２０７の「Ｙｅｓ」）には、分光反射率の推定処理を終了する。
【００６０】
さらに、推定部１３１は、推定された分光反射率を上記の数１に代入して、ｍ枚のフィルター画像の中で対応座標に位置する画素について、被写体の色信号スペクトルを推定する。そして、推定部１３１は、画像を構成する全ての画素について、このような処理を実施することにより、取得した複数のフィルター画像よりも細分化された波長区分のフィルター画像の推定を行う。
【００６１】
以上、説明したように、本実施例に係る推定装置１１では、既知の分光反射率のスペクトルと、最も低い平均輝度値を得たフィルター画像において推定した分光反射率のスペクトルと、の誤差が閾値以内である基底数のうち最大の基底数と、各フィルター画像の平均輝度値のうち最も低い平均輝度値と、を対応付けたデータテーブルを使用する。そして、分光反射率のスペクトルが未知の被写体に対する複数のフィルター画像の平均輝度値のうち、最も低い平均輝度値に対して、上記データテーブルを参照して、フィルター画像の推定に用いる基底数を決定する。
したがって、本実施例に係る推定装置１１によれば、Ｓ／Ｎ値とフィルター画像の推定品質との関係を利用して、所定の被写体を撮像することにより得られる複数のフィルター画像の平均輝度値のうち、最も低い平均輝度値をデータテーブルと照合することによって、簡便な方法で、最適な基底数を自動的に決定することができる。
【００６２】
また、本実施例に係る推定装置１１では、フィルター画像のＳ／Ｎ値の指標として、平均輝度値を用いている。さらに、本実施例に係る推定装置１１では、各フィルター画像の平均輝度値のうち、最も低い平均輝度値と、当該最も低い平均輝度値を得たフィルター画像において既知の分光反射率のスペクトルと複数の基底数ごとの分光反射率のスペクトルとの誤差が所定の閾値以内である基底数のうち最大の基底数と、の組み合わせで最適な基底数を決定する。
つまり、本実施例に係る推定装置１１では、所定の被写体を撮像することにより得られる複数のフィルター画像の平均輝度値のうち、最も低い平均輝度値に対応するデータテーブル上の平均輝度値から基底数を決定し、フィルター画像の推定を行う。
これにより、全てのフィルター画像の推定処理において、図１に示す推定結果に破綻を招くような事態を防止することができる。
また、推定装置１１では、データテーブル上の基底数を、既知の分光反射率のスペクトルと複数の基底数ごとの分光反射率のスペクトルとの誤差が、所定の閾値以内である基底数のうち最大の基底数とする。これにより、フィルター画像の推定誤差を最小とすることができる。
したがって、本実施例に係る推定装置１１によれば、平均輝度値の値に関わらず、推定誤差が最小となるフィルター画像の推定を行うことができ、ひいては、フィルター画像の推定品質の向上を図ることができる。
【００６３】
＜実施例２＞
以下、図７および図８を用いて、実施例２について説明する。
なお、本実施例は、フィルター画像を構成する全ての画素について、個別に、分光反射率を推定し、フィルター画像の推定を行うものである。また、当該分光反射率の推定時には、全ての基底数を使用して分光反射率の推定を行うとともに、推定結果としての分光反射率のスペクトルが所定の条件を満たす基底数を各画素の最適な基底数とする。そして、撮像することにより得られた複数のフィルター画像よりも細分化された波長区分のフィルター画像の推定を行うものである。
以下、上記の推定処理を行うための構成および詳細な処理内容について説明する。
【００６４】
＜推定装置の電気的構成＞
本実施例に係る推定装置１２の電気的構成について、図７を用いて説明する。
本実施例に係る推定装置１２は、図７に示すように、撮像部１１０と、撮像特徴量取得部１１２と、記憶部１２６と、推定部１３２と、制御部１４２とを含んで構成されている。
【００６５】
撮像特徴量取得部１１２は、撮像部１１０により得られる複数のフィルター画像から複数のフィルター画像ごとの撮像特徴量を取得する。本実施例では、撮像特徴量として、複数のフィルター画像を構成する全ての画素の画素値を取得することを例示することができる。
【００６６】
制御部１４２は、本実施例に係る推定装置１２の動作を内部に格納された制御プログラムに基づいて制御する。
また、一例として、制御部１４２は、後述する推定部１３２が基底数を決定するため閾値を記憶部１２６から読み出して、推定部１３２に出力する。また、制御部１４２は、後述する推定装置１２の処理において、基底数の初期設定および基底数の更新処理を行う。さらに、制御部１４２は、所定の条件を満たす推定された複数のフィルター画像内の対応座標に位置する画素の分光反射率を推定部１３２から入力し、これを画素情報とともに、後述する記憶部１２６に記憶させる。
【００６７】
記憶部１２６は、後述する推定部１３２が、基底数を決定するための閾値を記憶する。また、記憶部１２６は、所定の条件を満たす推定された複数のフィルター画像内の対応座標に位置する画素の分光反射率を画素情報とともに記憶する。
【００６８】
推定部１３２は、撮像特徴量取得部１１２が取得した複数のフィルター画像を構成する全ての画素について、複数のフィルター画像内の対応座標に位置する画素の画素値を順次取得する。そして、推定部１３２は、取得した画素値を入力とし、フィルター数ｍ以下の全ての基底数について、分光反射率の推定を行う。また、推定部１３２は、推定された複数のフィルター画像内の対応座標に位置する画素の分光反射率のスペクトルに対して、ノイズ除去処理を行った後に、所定の条件を満たす基底数を用いて推定された画素ごとの分光反射率により、複数のフィルター画像から、その複数のフィルター画像よりも細分化された波長区分のフィルター画像を推定する。
【００６９】
なお、本実施例においては、一例として、推定部１３２は、取得した画素値を入力とし、フィルター数ｍ以下の全ての基底数について、上記の数７により、基底関数の重み係数を求める。次いで、推定部１３２は、上記の数２により分光反射率を基底関数の近似により推定する。そして、推定部１３２は、推定された分光反射率のスペクトルに対して、ノイズ除去処理後の分光反射率のスペクトルが所定の条件を満たす画素ごとの分光反射率を画素と対応付けて制御部１４２に出力する。また、推定部１３２は、記憶部１２６に記憶された画素ごとの分光反射率に基づいて、複数のフィルター画像から、その複数のフィルター画像よりも細分化された波長区分のフィルター画像を推定することを例示できる。
なお、ここで、所定の条件とは、一例として、複数のフィルター画像内の対応座標に位置する画素の分光反射率のスペクトルが予め定めた閾値と、微分演算により求められた微分値との関係において、その微分値が第１の閾値を超えた回数が所定回数以下、あるいは微分値の総和が予め定められた第２の閾値を超えないことをいう。そして、この所定の条件を満足する分光反射率のスペクトルの推定に用いられた基底数を最適な基底数とする。
また、所定の条件を満たす基底数が複数ある場合には、より大きい基底数による推定結果を用いることが好ましい。
【００７０】
＜推定装置の処理＞
本実施例に係る推定装置１２の処理について、図８を用いて説明する。
なお、以下の説明では、説明をより具体的にするために、撮像部１１０をマルチスペクトルカメラとして例示して、当該マルチスペクトルカメラで撮像したフィルター画像に基づく推定処理を説明する。
【００７１】
図８に示すように、まず、制御部１４２は、マルチスペクトルカメラのフィルター数に基づき推定に使用する基底数を決定する（Ｓ３０１）。ここで、マルチスペクトルカメラのフィルター数をｍとすると、基底数には、ｍ以下の値ｍｓが設定される。
【００７２】
次に、所定の被写体を撮像することにより得られるｍ枚のマルチスペクトル画像（複数のフィルター画像）を取得する（Ｓ３０２）。推定部１３２は、撮像特徴量取得部１１２により取得されたｍ枚のフィルター画像内の対応座標に位置する画素の画素値を取得する（Ｓ３０３）。そして、推定部１３２は、Ｓ３０３において取得した画素値を入力とし、Ｓ３０１において決定した基底数を用いて、取得されたｍ枚のフィルター画像内の対応座標に位置する画素の分光反射率の推定を行う（Ｓ３０４）。
【００７３】
そして、推定部１３２は、分光反射率が推定されたフィルター画像内の対応座標に位置する画素の分光反射率のスペクトルに対して、２次微分を行い、この２次微分値の総和を算出する（Ｓ３０５）。次いで、制御部１４２は、その総和が、記憶部１２６に予め記憶されている閾値を超えたか否かを判定し（Ｓ３０６）、その総和が閾値を超える場合（Ｓ３０６の「Ｙｅｓ」）には、推定結果に誤差が多いものと判断する。また、このとき、制御部１４２は、推定に使用する基底数をｍｓ−１に更新する（Ｓ３０７）。
【００７４】
一方で、制御部１４２は、２次微分値の総和が閾値を超えない場合（Ｓ３０６の「Ｎｏ」）には、推定結果に誤差が少ないと判断し、フィルター画像内の対応座標に位置する画素に対する最終推定結果として、その推定された分光反射率を画素情報と対応付けて記憶部１２６に記憶する。そして、制御部１４２は、画像中の全画素に対して分光反射率の推定処理が行われたか否かの判定を行う（Ｓ３０８）。制御部１４２は、全画素に対して分光反射率の推定処理が行われていないと判断した場合（Ｓ３０８の「Ｎｏ」）には、処理をＳ３０３に戻し、次の画素に対して処理を行う。
【００７５】
一方、制御部１４２は、全画素に対して分光反射率の推定処理が行われていると判断した場合（Ｓ３０８の「Ｙｅｓ」）には、記憶部１２６に記憶されている画素ごとに、推定された分光反射率から当該画素に対する被写体の色信号スペクトルを推定する。そして、画像を構成する全ての画素について、この処理を実施することにより、取得したフィルター画像よりも細分化された波長区分のフィルター画像を推定して処理を終了する。
なお、上記では、ノイズ除去処理に２次微分を用いることを示したが、本来のスペクトルに影響を与えず、不要なノイズのみを除去できる方法であれば、これに限るものではない。
【００７６】
また、本実施例では、複数のフィルター画像内の対応座標に位置する画素の分光反射率のスペクトルの微分値の総和が第２の閾値を超えないことを所定の条件として最適な基底数を得る方法を例示した。しかしながら、これに代えて、複数のフィルター画像内の対応座標に位置する画素の分光反射率のスペクトルの微分値が第１の閾値を超えた回数が、所定回数以下であることを所定の条件として最適な基底数を得るようにしてもよい。
【００７７】
以上、説明したように、本実施例に係る推定装置１２では、所定の被写体を撮像することにより得られる複数のフィルター画像を構成する全ての画素について、複数のフィルター画像内の対応座標に位置する画素の画素値を順次取得する。そして、取得した画素値を入力とし、フィルター数ｍ以下の全ての基底数について、分光反射率の推定を行う。また、推定された分光反射率のスペクトルに対して、ノイズ除去処理後の分光反射率のスペクトルが所定の条件を満たす、分光反射率のスペクトル推定時における基底数を画素ごとに決定し、複数のフィルター画像から、その複数のフィルター画像よりも細分化された波長区分のフィルター画像を推定する。つまり、フィルター画像を構成する画素ごとに、最適な基底数を決定し、フィルター画像の推定を行う。
したがって、本実施例に係る推定装置１２によれば、Ｓ／Ｎ値とフィルター画像の推定品質との関係に基づき、画素ごとに推定された分光反射率のスペクトルを評価する。これにより、直接的にフィルター画像の推定品質を評価して、画素ごとの最適な基底数を決定することができる。そのため、フィルター画像よりも細分化された波長区分のフィルター画像の推定に関する推定品質の向上を図ることができる。
【００７８】
また、本実施例に係る推定装置１２によれば、制御部１４２が、推定された複数のフィルター画像内の対応座標に位置する画素における分光反射率のスペクトルに対して、ノイズ除去処理後の分光反射率のスペクトルが所定の条件を満たすか否かにより、フィルター画像の推定結果の誤差の大小を判定し、最適な基底数を決定している。つまり、フィルター画像の推定誤差を撮像された複数のフィルター画像のＳ／Ｎ値の指標としている。このため、フィルター画像の推定に関し、適切な指標でフィルター画像の推定品質を評価することができる。
【００７９】
＜実施例３＞
以下、図９から図１１を用いて、実施例３について説明する。
なお、本実施例は、図９に例示するように、分光反射率が既知の被写体（図中の参照体Ｂ）と、所定の被写体（図中の被写体）と、を同時に撮像して、複数のフィルター画像ごとの撮像特徴量を取得する。また、取得した既知の被写体の画素値を用いて、所定の被写体の分光反射率を推定する。そして、推定した分光反射率のスペクトルと既知の分光反射率のスペクトルとの誤差から基底数を決定し、この基底値を用いて、画像全体で推定処理を行うものである。
以下、上記の推定処理を行うための構成および詳細な処理内容について説明する。
【００８０】
＜推定装置の電気的構成＞
本実施例に係る推定装置１３の電気的構成について、図１０を用いて説明する。
本実施例に係る推定装置１３は、図１０に示すように、撮像部１１０Ａと、撮像特徴量取得部１１３と、分光反射率推定部１２７と、記憶部１２８と、誤差算出部１２９と、推定部１３３と、制御部１４３とを含んで構成されている。
【００８１】
撮像部１１０Ａは、分光反射率が既知の被写体と所定の被写体とを同時に撮像することにより、複数のフィルター画像を得る。
撮像特徴量取得部１１３は、撮像部１１０Ａによって撮像された複数のフィルター画像ごとの撮像特徴量を取得する。ここで、撮像特徴量としては、分光反射率が既知の被写体を撮像することにより得られる画素の画素値を例示することができる。
【００８２】
分光反射率推定部１２７は、撮像特徴量取得部１１３によって取得した複数のフィルター画像ごとの撮像特徴量に基づいて、所定の被写体の分光反射率を推定する。
本実施例では、一例として、分光反射率推定部１２７が、分光反射率が既知の被写体（参照体Ｂ）のフィルター画像から画素値を取得し、基底数をフィルター数ｍ以下の値ｍｓに設定して、設定した全ての基底数に対して、分光反射率を推定することを例示できる（図９参照）。なお、分光反射率の推定方法は、実施例１または実施例２と同様である。
【００８３】
記憶部１２８は、分光反射率が既知の被写体の分光反射率のスペクトル情報や分光反射率推定部１２７における推定処理に使用するｍｓ個の基底数を記憶している。また、後述する誤差算出部１２９が算出する誤差を記憶する。
【００８４】
誤差算出部１２９は、分光反射率推定部１２７において、推定された分光反射率のスペクトルと、既知の分光反射率のスペクトルと、の差分から誤差を算出する。
本実施例では、一例として、制御部１４３を介して、記憶部１２８から既知の分光反射率のスペクトル情報を取得し、取得した分光反射率のスペクトル情報と、分光反射率推定部１２７により推定された分光反射率のスペクトルと、の差分を誤差として算出する（図９参照）。
【００８５】
推定部１３３は、後述する制御部１４３が決定した基底数により、所定の被写体における画像全体の分光反射率を推定することにより、複数のフィルター画像から、その複数のフィルター画像よりも細分化された波長区分のフィルター画像を推定する。なお、フィルター画像の推定方法は、実施例１または実施例２と同様である。
【００８６】
制御部１４３は、本実施例に係る推定装置１３の動作を内部に格納された制御プログラムに基づいて制御する。
また、本実施例では、一例として、分光反射率推定部１２７が使用するｍｓ個の基底数を記憶部１２８からその数の大きい順に読み出し、分光反射率推定部１２７に出力することにより、分光反射率推定部１２７において推定に用いる基底数を設定する。また、制御部１４３は、既知の分光反射率のスペクトル情報を記憶部１２８から読み出して、誤差算出部１２９に出力する。さらに、制御部１４３は、誤差算出部１２９が算出した誤差から、その誤差が最小となる基底数を決定して、推定部１３３に出力する。
【００８７】
＜推定装置の処理＞
本実施例に係る推定装置１３の処理について、図１１を用いて説明する。
なお、以下の説明では、説明をより具体的にするために、撮像部１１０Ａをマルチスペクトルカメラとして例示して、当該マルチスペクトルカメラで撮像したフィルター画像に基づく推定処理を説明する。
【００８８】
まず、制御部１４３は、マルチスペクトルカメラのフィルター数に基づき分光反射率推定部１２７が推定に使用する基底数を決定する（Ｓ４０１）。ここで、マルチスペクトルカメラのフィルター数をｍとすると、基底数には、ｍ以下の値ｍｓが設定される。
【００８９】
次に、マルチスペクトルカメラが、分光反射率が既知の被写体と、所定の被写体と、を撮像してｍ枚のマルチスペクトル画像（複数のフィルター画像）を取得する（Ｓ４０２）。撮像特徴量取得部１１３は、マルチスペクトルカメラによって取得された複数のフィルター画像ごとの撮像特徴量を取得する。（Ｓ４０３）。
【００９０】
分光反射率推定部１２７は、分光反射率が既知の被写体のフィルター画像から画素値を取得して、制御部１４３により設定された基底数に対して、分光反射率を推定する（Ｓ４０４）。
【００９１】
誤差算出部１２９は、制御部１４３を介して、記憶部１２８から既知の分光反射率のスペクトル情報を取得する。そして、誤差算出部１２９は、取得した分光反射率のスペクトル情報と、分光反射率推定部１２７によって推定された分光反射率のスペクトルと、の差分を誤差として算出して、制御部１４３に出力する（Ｓ４０５）。
【００９２】
制御部１４３は、誤差算出部１２９から入力された誤差がこれまでに誤差算出部１２９から入力した誤差よりも小さいか否かを判定する（Ｓ４０６）。そして、小さいと判定した場合（Ｓ４０６の「Ｙｅｓ」）には、記憶部１２８に記憶している誤差を書き換えるとともに、制御部１４３により設定された全ての基底数に対して、分光反射率の推定が完了したか否かを判断する（Ｓ４０８）。
【００９３】
一方で、制御部１４３は、誤差算出部１２９から入力した誤差がこれまでに誤差算出部１２９から入力した誤差よりも大きいと判定した場合（Ｓ４０６の「Ｎｏ」）には、基底数を更新して（Ｓ４０７）、処理をＳ４０４に戻す。
【００９４】
また、Ｓ４０８において、制御部１４３が、制御部１４３により設定された全ての基底数に対して、分光反射率の推定を完了していないと判断した場合（Ｓ４０８の「Ｎｏ」）には、基底数をｍからｍ−１に更新して（Ｓ４０７）、処理をＳ４０４に戻す。
一方で、制御部１４３により設定された全ての基底数に対して、分光反射率の推定が完了していると判断した場合（Ｓ４０８の「Ｙｅｓ」）には、制御部１４３は、記憶部１２８に記憶されている誤差から基底数を決定し、決定した基底数を推定部１３３に出力して処理を終了する。
【００９５】
推定部１３３は、制御部１４３から入力された基底数に基づいて、実施例１と同様の方法で、取得した複数のフィルター画像から、その複数のフィルター画像よりも細分化された波長区分のフィルター画像を推定する。
【００９６】
以上、説明したように、本実施例に係る推定装置１３では、撮像特徴量取得部１１３は、分光反射率が既知の被写体と所定の被写体とを同時に撮像することにより得られる複数のフィルター画像ごとの撮像特徴量を取得する。そして、取得した既知の被写体の画素値を用いて、制御部１４３により設定された全ての基底数について、分光反射率推定部１２７が所定の被写体の分光反射率を推定する。さらに、誤差算出部１２９が、推定された分光反射率のスペクトルと既知の分光反射率のスペクトルとの差分から誤差を算出し、制御部１４３が、誤差が最小となる基底数を決定する。さらに、推定部１３３が、決定した基底数に基づいて、所定の被写体の分光反射率を推定して、複数のフィルター画像から、その複数のフィルター画像よりも細分化された波長区分のフィルター画像を推定する。
そのため、本実施例に係る推定装置１３によれば、Ｓ／Ｎ値とフィルター画像の推定品質との関係に基づき、推定された分光反射率のスペクトルを評価する。これにより、直接的にフィルター画像の推定品質を評価して、最適な基底数を決定することができる。
【００９７】
また、本実施例に係る推定装置１３によれば、取得した既知の被写体の画素値を用いて、推定された分光反射率のスペクトルと既知の分光反射率のスペクトルとの差分である推定結果の誤差の大小を判定し、最適な基底数を決定している。
つまり、推定誤差を撮像された複数のフィルター画像のＳ／Ｎ値の指標としている。このため、フィルター画像の推定に関し、適切な指標で推定品質を評価することができる。
【００９８】
＜実施例４＞
上述の実施例１から実施例３では、照明光スペクトルを既知として、分光反射率を推定することにより、複数のフィルター画像から、その複数のフィルター画像よりも細分化された波長区分のフィルター画像を推定する手法について述べた。
本実施例では、分光反射率を既知として、照明光スペクトルを推定することにより、複数のフィルター画像から、その複数のフィルター画像よりも細分化された波長区分のフィルター画像を推定する。
【００９９】
具体的には、数２、数４を以下の数８、数９とし、任意の画素値を得て、照明光スペクトルの基底関数の重み係数を求める。そして、照明光スペクトルの基底関数の重み係数を数８に代入して照明光スペクトルを基底関数で近似して、照明光スペクトルを推定する。さらに、推定された照明光スペクトルを数１に代入して、任意の画素における色信号スペクトルを推定し、これらの処理を全ての画素について行うことにより、複数のフィルター画像から、その複数のフィルター画像よりも細分化された波長区分のフィルター画像を推定する。
【０１００】
【数８】
2019028814.tif 000013
【０１０１】
【数９】
2019028814.tif 000014
【０１０２】
以上、本実施例によれば、分光反射率を既知とし、照明光スペクトルを推定することにより、実施例１〜実施例３と同様に、複数のフィルター画像から、その複数のフィルター画像よりも細分化された波長区分のフィルター画像を高い推定品質で推定することができる。
【０１０３】
なお、実施形態から実施例に至る上述の記載においては、複数のフィルター画像を被写体から撮像部に入射する近紫外から近赤外の光を分光して得られる異なる波長バンドからなる画像として説明したが、複数のフィルター画像は、被写体から撮像部に入射する近紫外から近赤外の光を分光して得られる異なる周波数バンドからなる画像であってもよい。
【０１０４】
なお、推定装置の処理をコンピュータシステムが読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムを推定装置に読み込ませ、実行することによって本発明の推定装置を実現することができる。ここでいうコンピュータシステムとは、ＯＳや周辺装置等のハードウェアを含む。
【０１０５】
また、「コンピュータシステム」は、ＷＷＷ（Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ）システムを利用している場合であれば、ホームページの提供環境（あるいは表示環境）も含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【０１０６】
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【０１０７】
以上、この発明の実施形態および実施例につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態あるいは実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【０１０８】
１０〜１３；推定装置
１１０、１１０Ａ；撮像部
１１１〜１１３；撮像特徴量取得部
１２１；第１の算出部
１２２；第２の算出部
１２３；スペクトル推定部
１２４；誤差算出部
１２５、１２６、１２８；記憶部
１２７；分光反射率推定部
１２９；誤差算出部
１３０〜１３３；推定部
１４０〜１４３；制御部
【図１】
2019028814.tif 000015
【図２】
2019028814.tif 000016
【図３】
2019028814.tif 000017
【図４】
2019028814.tif 000018
【図５】
2019028814.tif 000019
【図６】
2019028814.tif 000020
【図７】
2019028814.tif 000021
【図８】
2019028814.tif 000022
【図９】
2019028814.tif 000023
【図１０】
2019028814.tif 000024
【図１１】
2019028814.tif 000025