(57)【要約】【課題】分光画像から被写体に含まれる物質の濃度を高精度に推定可能な画像処理方法を提供する。【解決手段】画像処理方法は、被写体の画像と、被写体を撮像した際の環境光データと、被写体に含まれる物質の濃度に依存する反射特性データおよび透過特性データとを取得する取得ステップと、画像と環境光データと反射特性データおよび透過特性データとを用いて、画像から反射光成分と透過光成分とを分離する分離ステップとを有する。【選択図】図３
2020193856.tif 000002
【特許請求の範囲】
【請求項１】
被写体の画像と、前記被写体を撮像した際の環境光データと、前記被写体に含まれる物質の濃度に依存する反射特性データおよび透過特性データと、を取得する取得ステップと、
前記画像と前記環境光データと前記反射特性データおよび前記透過特性データとを用いて、前記画像から反射光成分と透過光成分とを分離する分離ステップと、を有することを特徴とする画像処理方法。
【請求項２】
前記分離ステップは、前記画像の輝度値に対する前記反射光成分および前記透過光成分のそれぞれの割合を最適化により求める最適化ステップを含むことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記環境光データは、第１の環境光センサから取得された第１の照度情報、および、第２の環境光センサから取得された第２の照度情報を含み、
前記画像の輝度値をＩｎ、前記第１の照度情報をＩＴ０，ｎ、前記第２の照度情報をＩＲ０，ｎ、前記物質の前記濃度をｃ、前記反射特性データをＲｎ（ｃ）、前記透過特性データをＴｎ（ｃ）、前記反射光成分の割合をｋＲ、前記透過光成分の割合をｋＴとするとき、
前記最適化ステップは、
【数１】
2020193856.tif 000014
なる式の最適化を行うことを特徴とする請求項２に記載の画像処理方法。
【請求項４】
前記分離ステップは、前記反射光成分の割合、前記透過光の割合、および、前記物質の前記濃度を用いて、前記反射光成分または前記透過光成分の少なくとも一つを算出するステップを含むことを特徴とする請求項２または３に記載の画像処理方法。
【請求項５】
前記反射特性データおよび前記透過特性データは、前記物質の前記濃度の関数であることを特徴とする請求項１乃至４のいずれか一項に記載の画像処理方法。
【請求項６】
前記反射特性データおよび前記透過特性データは、前記物質の前記濃度について微分可能であることを特徴とする請求項５に記載の画像処理方法。
【請求項７】
被写体の画像と、前記被写体を撮像した際の環境光データと、前記被写体に含まれる物質の濃度に依存する反射特性データおよび透過特性データと、を取得する取得手段と、
前記画像と前記環境光データと前記反射特性データおよび前記透過特性データとを用いて、前記画像から反射光成分と透過光成分とを分離する分離手段と、を有することを特徴とする画像処理装置。
【請求項８】
前記分離手段は、前記画像の輝度値に対する前記反射光成分および前記透過光成分のそれぞれの割合を最適化により求めることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記環境光データは、第１の環境光センサから取得された第１の照度情報、および、第２の環境光センサから取得された第２の照度情報を含み、
前記画像の輝度値をＩｎ、前記第１の照度情報をＩＴ０，ｎ、前記第２の照度情報をＩＲ０，ｎ、前記物質の前記濃度をｃ、前記反射特性データをＲｎ（ｃ）、前記透過特性データをＴｎ（ｃ）、前記反射光成分の割合をｋＲ、前記透過光成分の割合をｋＴとするとき、
前記分離手段は、
【数２】
2020193856.tif 000015
なる式の最適化を行うことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記分離手段は、前記反射光成分の割合、前記透過光の割合、および、前記物質の前記濃度を用いて、前記反射光成分または前記透過光成分の少なくとも一つを算出することを特徴とする請求項８または９に記載の画像処理装置。
【請求項１１】
前記反射特性データおよび前記透過特性データは、前記物質の前記濃度の関数であることを特徴とする請求項７乃至１０のいずれか一項に記載の画像処理装置。
【請求項１２】
前記反射特性データおよび前記透過特性データは、前記物質の前記濃度について微分可能であることを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
被写体を撮像する撮像部と、
前記撮像部により前記被写体を撮像した際の環境光データを検出する検出部と、
請求項７乃至１２のいずれか一項に記載の画像処理装置と、を有することを特徴とする撮像システム。
【請求項１４】
前記検出部は、異なる二つの方向に設置された第１の環境光センサおよび第２の環境光センサを有し、
前記環境光データは、前記第１の環境光センサにより検出された第１の照度情報、および、前記第２の環境光センサにより検出された第２の照度情報を含むことを特徴とする請求項１３に記載の撮像システム。
【請求項１５】
前記検出部は、一つの環境光センサのみを有し、
前記環境光データは、前記一つの環境光センサにより検出された照度情報を有することを特徴とする請求項１３に記載の撮像システム。
【請求項１６】
請求項１乃至６のいずれか一項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、分光画像から被写体に含まれる物質の濃度を推定する画像処理方法に関する。
【背景技術】
【０００２】
近年、農作業の効率化、省力化を目的として、リモートセンシング技術を用いた葉色指標の推定手法が提案されている。例えば、特許文献１には、植物により反射された光の分光計測結果からＳＰＡＤ（Ｓｏｉｌ  ＆  Ｐｌａｎｔ  Ａｎａｌｙｚｅｒ  Ｄｅｖｅｌｏｐｍｅｎｔ）値を推定する手法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−１６８７７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示された手法において、受光部に到達する光は、植物により反射された光のみであると想定されている。しかしながら、植物の葉は半透明物体であるため、実際には、植物の葉で反射された反射光に加えて、植物の葉を透過した透過光も受光部に到達する。また、反射光と透過光の混合比率は、天候（晴天、曇天など）や太陽位置（高度、方位）に応じて変化する。このため、特許文献１に開示された手法では、天候や太陽位置が変化した場合に反射光と透過光の混合比率が変化するため、高精度に物質の濃度（葉色、すなわちＳＰＡＤ値）を推定することは困難である。
【０００５】
そこで本発明は、分光画像から被写体に含まれる物質の濃度を高精度に推定可能な画像処理方法、画像処理装置、撮像システム、および、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一側面としての画像処理方法は、被写体の画像と、前記被写体を撮像した際の環境光データと、前記被写体に含まれる物質の濃度に依存する反射特性データおよび透過特性データとを取得する取得ステップと、前記画像と前記環境光データと前記反射特性データおよび前記透過特性データとを用いて、前記画像から反射光成分と透過光成分とを分離する分離ステップとを有する。
【０００７】
本発明の他の側面としての画像処理装置は、被写体の画像と、前記被写体を撮像した際の環境光データと、前記被写体に含まれる物質の濃度に依存する反射特性データおよび透過特性データと、を取得する取得手段と、前記画像と前記環境光データと前記反射特性データおよび前記透過特性データとを用いて、前記画像から反射光成分と透過光成分とを分離する分離手段とを有する。
【０００８】
本発明の他の側面としての撮像システムは、被写体を撮像する撮像部と、前記撮像部により前記被写体を撮像した際の環境光データを検出する検出部と、前記画像処理装置とを有する。
【０００９】
本発明の他の側面としてのプログラムは、前記画像処理方法をコンピュータに実行させる。
【００１０】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１１】
本発明によれば、分光画像から被写体に含まれる物質の濃度を高精度に推定可能な画像処理方法、画像処理装置、撮像システム、および、プログラムを提供することができる。
【図面の簡単な説明】
【００１２】
【図１】実施例１における画像処理システムのブロック図である。
【図２】実施例１におけるカメラ撮影モデルの説明図である。
【図３】実施例１における画像処理方法のフローチャートである。
【図４】実施例１における分離処理のフローチャートである。
【図５】実施例１における反射特性データおよび透過特性データの説明図である。
【図６】実施例１における別の反射特性データおよび透過特性データの説明図である。
【図７】実施例１における分離処理の結果である。
【図８】実施例２における画像処理システムのブロック図である。
【図９】実施例２におけるカメラ撮影モデルの説明図である。
【図１０】実施例２における環境光情報の取得モデルの説明図である。
【図１１】実施例２における環境光情報の時間変化の説明図である。
【図１２】実施例２における標準反射板を用いた環境光情報の取得方法の説明図である。
【図１３】実施例２における画像処理方法のフローチャートである。
【図１４】実施例２における閾値による物質濃度の推定精度の違いの説明図である。
【図１５】実施例２におけるＳＰＡＤ値推定結果の説明図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。
【実施例１】
【００１４】
まず、図２を参照して、本発明の実施例１におけるカメラ撮影モデルについて説明する。図２は、本実施例におけるカメラ撮影モデルの説明図である。図２では、被写体１４０をカメラ（撮像装置）２００で撮影する様子を示している。被写体１４０は、被写体１４０が置かれた半球空間上の各位置から被写体１４０に向かって入射する環境光により照明されている。図２では、この環境光を被写体１４０の裏面を照明する環境光１２０と、被写体１４０の表面を照明する環境光１３０とに分けて示している。
【００１５】
被写体１４０は半透明物体であり、環境光１２０は被写体１４０の内部で拡散、吸収され、透過した一部の光（透過光１２１）がカメラ２００に到達する。一方、環境光１３０は被写体１４０の内部で拡散、吸収され、反射した一部の光（反射光１３１）がカメラ２００に到達する。本実施例では、このような過程により反射された、所謂、拡散反射光を単に反射光と呼び、被写体１４０の表面で反射された正反射光とは区別している。
【００１６】
従って、カメラ２００で撮影された被写体１４０の像は、透過光（透過光成分）１２１と反射光（反射光成分）１３１とが特定の割合で混合した光により形成される。透過光１２１と反射光１３１との混合割合は、環境光１２０、１３０の変動に伴い変化する。特に、屋外環境光下で撮影する場合、天候（晴天、曇天など）や太陽位置（高度、方位）の変化により、透過光１２１と反射光１３１との混合割合は変化する。
【００１７】
このように屋外環境光下で画像を撮影する場合、透過光１２１と反射光１３１との混合割合は未知であり、かつ、その混合割合は撮影時の照明環境により変化する。このため、そのような状態で撮影された画像から、定量的に被写体に含まれる物質（葉緑素など）の濃度を推定することは困難である。本実施例では、このような環境光下で撮影された分光画像から、透過光１２１と反射光１３１とを分離する（分離処理を行う）ことにより、被写体に含まれる物質の濃度を定量的に推定することができる。以下、その分離処理について詳述する。
【００１８】
まず本実施例では、図２に示されるカメラ撮影モデルを、例えば、式（１）のように定式化する。
【００１９】
【数１】
2020193856.tif 000003
【００２０】
式（１）において、Ｉｎはカメラ２００で撮影した画像（分光画像）の輝度値を示し、添え字ｎは分光画像の波長番号を示す。例えば、カメラ２００がＲＧＢカメラである場合、ｎ＝｛１、２、３｝であり、Ｉ１、Ｉ２、Ｉ３はそれぞれＲＧＢの輝度値を示す。ＩＲ，ｎ、ＩＴ，ｎは、反射光１３１および透過光１２１をそれぞれ単独で取得した場合の輝度値を示す。ＩＲ０，ｎ、ＩＴ０，ｎはそれぞれ、被写体１４０を照明する環境光１３０、１２０の照度を示す。また、Ｒｎ（ｃ）、Ｔｎ（ｃ）はそれぞれ、被写体１４０に含まれる物質の濃度ｃに依存する分光反射特性（反射特性データ）および分光透過特性（透過特性データ）をそれぞれ示す。本実施例において、分光反射特性Ｒｎ（ｃ）および分光透過特性Ｔｎ（ｃ）はそれぞれ、メモリなどの記憶装置に、既知のライブラリデータとして予め保持されている。ｋＲは環境光１３０が被写体１４０で反射されてカメラ２００に到達する比率、ｋＴは環境光１２０が被写体１４０を透過してカメラ２００に到達する比率をそれぞれ示している。
【００２１】
撮影時の環境光１３０、１２０の照度情報ＩＲ０，ｎ、ＩＴ０，ｎは、既知であり、例えば図２に示される環境光情報取得部（検出部）１１０により取得される。本実施例において、環境光情報取得部１１０は、異なる二つの方向に設置された環境光センサ（第１の環境光センサ）１１１および環境光センサ（第２の環境光センサ）１１２を有する。環境光センサ１１１は環境光１２０の照度情報ＩＴ０，ｎを取得する。環境光センサ１１２は環境光１３０の照度情報ＩＲ０，ｎを取得する。
【００２２】
本実施例では、このように定式化したカメラ撮影モデルを用いて、以下の式（２）で表される最適化（最適化計算）を行うことにより、反射光（反射光成分）の割合ｋＲ、透過光（透過光成分）の割合ｋＴ、および、被写体１４０に含まれる物質の濃度ｃを求める。
【００２３】
【数２】
2020193856.tif 000004
【００２４】
式（２）において、ここで、「|| ||２」はＬ２ノルムを表す。本実施例の分離処理とは、式（２）の最適化計算を実行することを示すが、本発明はこれに限定されるものではない。また、最適化により求められたｋＲ、ｋＴ、ｃを用いると、反射光（反射光成分）と透過光（透過光成分）はそれぞれ、以下の式（３）、（４）のように分離して表現することができる。
【００２５】
【数３】
2020193856.tif 000005
【００２６】
従って、本実施例によれば、透過光１２１および反射光１３１が未知の混合割合で混ざった分光画像から、透過光１２１と反射光１３１とを分離することができる。また本実施例によれば、被写体１４０に含まれる物質の濃度を定量的に推定することができる。
【００２７】
本実施例は、カメラ（ＲＧＢカメラ）２００により取得された画像（分光画像）から、被写体（水稲の葉）１４０の濃度を推定する画像処理システム（撮像システム）に関する。本実施例において、式（２）の濃度ｃはＳＰＡＤ値に相当する。
【００２８】
次に、図１を参照して、本実施例の画像処理システム１００の構成について説明する。図１は、画像処理システム１００のブロック図である。画像処理システム１００は、撮像部１０１、画像処理部（画像処理装置）１０２、制御部１０３、記憶部１０４、通信部１０５、表示部１０６、および、環境光情報取得部１１０を有する。撮像部１０１は、撮像光学系１０１ａおよび撮像素子１０１ｂを有する。撮像素子１０１ｂは、撮像光学系１０１ａを介して形成された光学像（被写体像）を光電変換して、画像処理部１０２へ画像（画像データ）を出力する。画像処理部１０２は、取得手段１０２ａおよび分離手段１０２ｂを有する。
【００２９】
画像処理システム１００は、カメラ２００の内部に設けることができる。または、画像処理システム１００の画像処理部１０２などの一部の機能を、カメラ２００から離れたコンピュータ（ユーザＰＣ）やクラウドコンピューティング上で実現するように構成してもよい。この場合、カメラ２００は、画像処理システム１００のうち撮像部１０１を含む一部のみの機能を有する。
【００３０】
図２は、画像処理システム１００を用いて、屋外環境光下にて被写体１４０を撮像する様子を示している。画像処理システム１００の環境光情報取得部１１０は、図２に示されるように、被写体１４０の裏面に入射する照度を取得する環境光センサ１１１と、被写体１４０の表面に入射する照度を取得する環境光センサ１１２とを備えて構成されている。
【００３１】
次に、図３を参照して、本実施例における画像処理方法について説明する。図３は、本実施例における画像処理方法のフローチャートである。図３の各ステップは、主に、画像処理部１０２の取得手段１０２ａまたは分離手段１０２ｂにより実行される。
【００３２】
まずステップＳ２０１において、画像処理システム１００の撮像部１０１は、制御部１０３からの信号により、被写体１４０を撮像してＲＧＢ画像（分光画像）を取得する。そして画像処理部１０２の取得手段１０２ａは、撮像部１０１により撮像された画像を取得する。またステップＳ２０１と同時に、ステップＳ２０２において、環境光情報取得部１１０（環境光センサ１１１、１１２）は、制御部１０３からの信号により、画像を撮像した際の環境光情報（環境光データ）ＩＲ０，ｎ、ＩＴ０，ｎを取得（検出）する。本実施例において、環境光情報は、色味に関する情報である。そして取得手段１０２ａは、環境光情報取得部１１０により検出された環境光情報ＩＲ０，ｎ、ＩＴ０，ｎを取得する。
【００３３】
環境光センサ１１１、１１２は、撮像部１０１と同じ分光感度特性を有するセンサ上に拡散板を配置した構成を有し、撮像部１０１と同じ分光波長数の環境光情報を取得する。なお、環境光センサ１１１、１１２を分光放射照度計で構成し、取得した分光放射照度Ｅ（λ）、撮像光学系の分光透過率特性Ｌ（λ）、撮像素子の分光感度特性Ｓｎ（λ）を用いて、以下の式（５）、（６）により環境光情報ＩＲ０，ｎ、ＩＴ０，ｎを求めてもよい。
【００３４】
【数４】
2020193856.tif 000006
【００３５】
式（５）、（６）において、ＥＴ（λ）は環境光１２０の照度、ＥＲ（λ）は環境光１３０の照度、λｎ，１、λｎ，２はそれぞれ、分光感度特性Ｓｎ（λ）の撮像素子１０１ｂが感度を有する波長帯域の最短波長と最長波長である。
【００３６】
続いてステップＳ２１０において、画像処理部１０２の分離手段１０２ｂは、式（２）に基づいて、分離処理を行う。ここで、図４を参照して、本実施例における分離処理について詳述する。図４は、本実施例における分離処理のフローチャートである。図４の各ステップは、主に、画像処理部１０２の分離手段１０２ｂにより実行される。
【００３７】
まずステップＳ２１１において、分離手段１０２ｂは、式（２）に基づいて最適化計算を行う。続いてステップＳ２１２において、分離手段１０２ｂは、式（３）、（４）の反射光成分／透過光成分を算出する。ステップＳ２１１、Ｓ２１２において、分離手段１０２ｂは、予め保持された被写体の反射特性データおよび透過特性データを利用する。
【００３８】
次に、図５を参照して、本実施例における反射特性データおよび透過特性データについて説明する。図５は、反射特性データおよび透過特性データの説明図である。図５（ａ）は、予め取得されたＲＧＢ反射率、ＲＧＢ透過率のＳＰＡＤ値依存性を示すデータである。丸でプロットした点はＲＧＢ反射率、三角でプロットした点はＲＧＢ透過率を示し、塗り潰された色はＳＰＡＤ値の値に対応している。本実施例では、図５（ａ）に示されるように、分光反射特性と分光透過特性とが互いに異なる特徴を有することを利用して反射光と透過光とを分離する。
【００３９】
図５（ｂ）は、図５（ａ）のＲＧＢ反射率、ＲＧＢ透過率を、ＳＰＡＤ値ｃを媒介変数として、最小二乗法により以下の式（７）、（８）にフィッティングした結果をプロットした図である。
【００４０】
【数５】
2020193856.tif 000007
【００４１】
式（７）、（８）において、ａｎ，ｉ、ｂｎ，ｉは最小二乗法により決定される定数である。図５（ｂ）では、図５（ａ）と同様に、丸でプロットした点はＲＧＢ反射率、三角でプロットした点はＲＧＢ透過率を示している。
【００４２】
本実施例では、式（７）、（８）に関する情報を、被写体の反射特性データおよび透過特性データとしてそれぞれ保持している。なお、反射特性データおよび透過特性データは、前述のデータに限定されるものではない。例えば、図６に示されるように、被写体の反射率特性Ｒｆｌ（ｃ、λ）、透過率特性Ｔｒｓ（ｃ、λ）でもよい。図６は、本実施例における別の反射特性データおよび透過特性データの説明図である。図６（ａ）は水稲の葉の分光反射率特性であり、横軸が波長、縦軸が反射率をそれぞれ示す。各線の色は、カラーバーに示すＳＰＡＤ値の値に対応している。同様に、図６（ｂ）は、水稲の透過率特性であり、横軸が波長、縦軸が透過率をそれぞれ示す。
【００４３】
図６に示されるような反射特性データおよび透過特性データを用いる場合、撮像光学系１０１ａの分光透過率特性Ｌ（λ）、撮像素子１０１ｂの分光感度特性Ｓｎ（λ）を用いて、以下の式（９）、（１０）によりＲｎ（ｃ）、Ｔｎ（ｃ）を求めることが好ましい。
【００４４】
【数６】
2020193856.tif 000008
【００４５】
式（９）、（１０）において、λｎ，１、λｎ，２はそれぞれ、分光感度特性Ｓｎ（λ）の撮像素子１０１ｂが感度を有する波長帯域の最短波長および最長波長である。
【００４６】
ステップＳ２１１において、分離手段１０２ｂは、分光画像、環境光情報、および、記憶部１０４に保存された被写体１４０の反射特性データおよび透過特性データを用いて、式（２）の最適化計算を行う。最適化計算は、公知の最適化手法を適用可能であり、例えば勾配法を用いることができる。また、式（７）、（８）に示されるように、Ｒｎ（ｃ）、Ｔｎ（ｃ）が微分可能な関数である場合、式（２）も微分可能な関数となるため、ニュートン法や信頼領域法などのより高速な最適化計算手法を用いることができる。
【００４７】
次に、図７を参照して、最適化計算による分離処理の結果について説明する。図７は、本実施例における分離処理の結果であり、図４のステップＳ２１１にて信頼領域法を用いて最適化計算を行った結果を示す図である。図７（ａ）は、ＲＧＢカメラで撮影した水稲のＲＧＢ画像をグレースケール画像に変換した画像である。図７（ｂ）〜（ｄ）は、水稲の葉の各画素について、反射光の割合ｋＲ、透過光の割合ｋＴ、物質濃度ｃの最適化計算を行った結果をそれぞれ示す図である。図７（ｅ）は、式（２）の最適化評価関数の値ｆを対数スケールで示す図である。
【００４８】
図４のステップＳ２１２において、分離手段１０２ｂは、ステップＳ２１１で求めた反射光の割合ｋＲ、透過光の割合ｋＴ、物質濃度ｃから、式（３）、（４）、（７）、（８）に基づき、反射光成分と透過光成分とを計算する。このように本実施例によれば、被写体の分光画像から、反射光成分と透過光成分とを分離することができる。また、式（２）を算出する過程で、被写体１４０の物質濃度ｃを推定することができる。
【実施例２】
【００４９】
次に、本発明の実施例２について説明する。本実施例は、実施例１と同様に、ＲＧＢカメラにより取得された分光画像から、水稲の葉のＳＰＡＤ値を推定する。
【００５０】
まず、図８および図９を参照して、本実施例の画像処理システム３００の構成およびカメラ撮影モデルについて説明する。図８は、画像処理システム３００のブロック図である。図９は、カメラ撮影モデルの説明図であり、画像処理システム３００を用いて屋外環境光下にて被写体１４０を撮像する様子を示している。本実施例の画像処理システム３００は、環境光情報取得部（検出部）３１０を有する点で、環境光情報取得部１１０を有する実施例１の画像処理システム１００と異なる。図８および図９に示されるように、環境光情報取得部３１０は、一つの環境光センサ１１３のみを有する。なお、画像処理システム３００の他の構成は、画像処理システム１００と同様であるため、その説明を省略する。
【００５１】
次に、本実施例において、一つの環境光センサ１１３のみを用いる理由について説明する。図１０は、本実施例における環境光情報の取得モデルの説明図であり、西向きに配置された環境光センサ１１１、および、東向きに配置された環境光センサ１１２の配置を示している。環境光センサ１１１、１１２は、ＲＧＢカラーセンサに拡散板を取り付けた構成を有する。
【００５２】
図１１は、環境光情報の時間変化の説明図であり、環境光センサ１１１、１１２で取得された環境光情報をプロットした図を示す。図１１において、ＷＢＲ，ｂ、ＷＢＲ，ｒ、ＷＢＴ，ｂ、ＷＢＴ，ｒは、環境光センサ１１２で取得した照度情報ＩＲ０，ｎと環境光センサ１１１で取得した照度情報ＩＴ０，ｎを用いて、以下の式（１１）〜（１４）で算出されるホワイトバランス補正係数である。ただし、ｎ＝｛１、２、３｝であり、順にＲ、Ｇ、Ｂのカラーセンサで取得された値であることを表す。
【００５３】
【数７】
2020193856.tif 000009
【００５４】
図１１（ａ）は、曇天時のホワイトバランス補正係数の時間変化をプロットした図であり、黒丸はＷＢＲ，ｂ、白丸はＷＢＴ，ｂ、黒塗りの四角はＷＢＲ，ｒ、白塗りの四角はＷＢＴ，ｒを表している。図１１（ａ）に示されるように、曇天時は、環境光センサの配置向きによらず、ＷＢＲ，ｂとＷＢＴ，ｂ、ＷＢＲ，ｒとＷＢＴ，ｒは等しい。また、図１１（ｂ）は晴天時のホワイトバランス補正係数の時間変化を図１１（ａ）と同様にプロットした図である。晴天時は、太陽が南中する正午付近においてのみ、ＷＢＲ，ｂ、とＷＢＴ，ｂ、および、ＷＢＲ，ｒとＷＢＴ，ｒは等しい。
【００５５】
そこで本実施例では、ホワイトバランス補正係数が環境光センサの配置向きに依存しない時刻（例えば、太陽の南中時刻の前後２時間以内）に分光画像の撮影を行う。これにより、一つの環境光センサ１１３でも、反射光と透過光との分離処理を実行することができる。
【００５６】
このような時刻（例えば、太陽の南中時刻の前後２時間以内）であれば、ホワイトバランス補正係数は環境光センサの配置向きに依存しない。このため、本実施例の環境光センサ１１３は、例えば、図９に示されるように上向きに設置して、環境光情報を取得することができる。環境光センサ１１３で取得される環境光情報をＩＲ０，ｎとする場合、最適化計算を行うための式（２）は、ＩＴ０，ｃ＝ｍ・ＩＲ０，ｃ（ｍは比例定数）として、以下の式（１５）のように変形することができる。
【００５７】
【数８】
2020193856.tif 000010
【００５８】
式（１５）において、ｋ’Ｔ＝ｍ・ｋＴであり、Ｒｎ（ｃ）、Ｔｎ（ｃ）には、式（７）、（８）のデータを使用している。なお、環境光情報ＩＲ０，ｎの取得方法は前述の方法に限定されるものではなく、図１２に示されるように標準反射板１１４をカメラ２００により撮影し、撮影した標準反射板の画像の画素値から環境光情報ＩＲ０，ｎを取得してもよい。図１２は、標準反射板１１４を用いた環境光情報の取得方法の説明図である。
【００５９】
次に、図１３を参照して、本実施例における画像処理方法について説明する。図１３は、本実施例における画像処理方法（ＳＰＡＤ値の推定方法）のフローチャートである。図１３の各ステップは、主に、画像処理部１０２の取得手段１０２ａまたは分離手段１０２ｂにより実行される。
【００６０】
まずステップＳ４０１において、画像処理システム３００の撮像部１０１は、制御部１０３からの信号により、被写体１４０を撮像してＲＧＢ画像（分光画像）を取得する。そして画像処理部１０２の取得手段１０２ａは、撮像部１０１により撮像された画像を取得する。またステップＳ４０１と同時に、ステップＳ４０２において、環境光情報取得部３１０（環境光センサ１１３）は、制御部１０３からの信号により、画像を撮像した際の環境光情報（環境光データ）ＩＲ０，ｎを取得（検出）する。そして取得手段１０２ａは、環境光情報取得部３１０により検出された環境光情報ＩＲ０，ｎを取得する。
【００６１】
続いてステップＳ４０３において、画像処理部１０２は、被写体１４０である水稲の撮影領域（被写体領域）を抽出する。水稲領域の抽出方法としては、例えば、ＲＧＢ画像をＨＳＶ色空間に変換した画像を生成し、水稲の葉が取りうる色相角の範囲内にある画素を水稲領域として抽出すればよい。
【００６２】
続いてステップＳ４０５、Ｓ４０６において、画像処理部１０２の分離手段１０２ｂは、分離処理を行う。まずステップＳ４０４において、分離手段１０２ｂは、ステップＳ４０３にて抽出された水稲領域の各画素について、式（１５）に基づき最適化計算を行う。続いてステップＳ４０５において、分離手段１０２ｂは、ステップＳ４０４にて計算された反射光の割合ｋＲ、濃度ｃを用いて、以下の式（１６）に基づき、環境光成分が補正された反射光成分Ｉ’Ｒ，ｎを算出する。
【００６３】
【数９】
2020193856.tif 000011
【００６４】
続いてステップＳ４０６において、画像処理部１０２は、ＳＰＡＤ値と相関がある指標（生育指標）として、ＮＧＲＤＩ（Ｎｏｒｍａｌｉｚｅｄ  Ｇｒｅｅｎ  Ｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ  Ｉｎｄｅｘ）を算出する。ＮＧＲＤＩは、ステップＳ４０５にて算出された反射光成分を用いて、以下の式（１７）に基づき算出される。
【００６５】
【数１０】
2020193856.tif 000012
【００６６】
最後に、ステップＳ４０７において、画像処理部１０２は、ＮＧＲＤＩとＳＰＡＤ値との相関関係式である以下の式（１８）を用いて、ＮＧＲＤＩをＳＰＡＤ値へ変換する。
【００６７】
【数１１】
2020193856.tif 000013
【００６８】
式（１８）において、ｄｉは、ＮＧＲＤＩとＳＰＡＤ値との相関関係を表す定数である。
【００６９】
本実施例の分離処理では、式（１５）の最適化計算により物質濃度ｃ（ＳＰＡＤ値に相当）が算出されるが、算出された物質濃度ｃ、反射光の割合ｋＲは誤差を含む。このため本実施例では、より冗長性を持たせた物質濃度の推定を行うため、ステップＳ４０５〜Ｓ４０７の処理を行っている。
【００７０】
また、本実施例の手法では、式（１５）の最適化評価関数の値ｆが閾値ｆｔｈ以下の画素のみの最適化計算結果をＳＰＡＤ値の推定に用いることで、ＳＰＡＤ値の推定精度を向上させることができる。図１４は、閾値ｆｔｈによるＳＰＡＤ値（物質濃度）の推定精度の違いの説明図である。図１４において、横軸は閾値ｆｔｈ、縦軸は閾値ｆｔｈ以下の画素のＳＰＡＤ値推定結果の平均値と正解値との平均平方二乗誤差ＲＭＳＥをそれぞれ示している。図１４に示されるように、閾値ｆｔｈを適切に設定することにより、ＳＰＡＤ値の推定精度を向上させることができる。
【００７１】
図１５は、ＳＰＡＤ値推定結果の説明図であり、定点カメラにより撮影したＲＧＢ画像から、ＳＰＡＤ値の日毎の変化を推定した結果を示す。図１５において、横軸は日付、縦軸はＳＰＡＤ値をそれぞれ示す。図１５において、四角でプロットした点は、本実施例の分離処理を行うステップＳ４０４、Ｓ４０５を実施しなかった場合の推定結果、丸でプロットした点は分離処理を実施した場合の推定結果をそれぞれ示す。また、星印でプロットした点は正解値を示し、ここでは、画像推定領域内の水稲１０株について、ＳＰＡＤ計で計測した結果の平均値を正解値として採用している。また、エラーバーは、標準偏差を表している。従って、図１５に示されるように、本実施例の分離処理を行うことにより、定量的に物質濃度の推定を行うことが可能となる。
【００７２】
（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００７３】
このように各実施例において、画像処理装置（画像処理部１０２）は、取得手段１０２ａおよび分離手段１０２ｂを有する。取得手段は、被写体の画像（分光画像）と、被写体を撮像した際の環境光データ（色味に関する情報）と、被写体に含まれる物質（葉緑素など）の濃度（ＳＰＡＤ値）に依存する反射特性データ（Ｒｎ（ｃ））および透過特性データ（Ｔｎ（ｃ））とを取得する。分離手段は、画像と環境光データと反射特性データおよび透過特性データとを用いて、画像から反射光成分（ＩＲ，ｎ）と透過光成分（ＩＴ，ｎ）とを分離する。これにより、各実施例の画像処理装置は、半透明な被写体を撮像した分光画像から反射光成分と透過光成分とを分離することができる。このため各実施例によれば、分光画像から被写体に含まれる物質の濃度を高精度に推定可能な画像処理方法、画像処理装置、撮像システム、および、プログラムを提供することができる。
【００７４】
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００７５】
特に、各実施例では被写体として水稲の葉を例に挙げたが、その他の被写体にも適用可能である。また、各実施例ではＲＧＢの分光画像を例に挙げたが、分光波長数が４以上のマルチバンド画像、ハイパースペクトラル画像にも適用可能である。また、各実施例では、撮像部と環境光情報取得部とが分離された例を挙げたが、撮像部と環境光情報取得部とが一体となっていてもよい。また、最適化の評価関数は式（２）、（１５）に限定されるものではなく、例えば、Ｌ２ノルムではなく、Ｌ１ノルムを用いても良い。また、各実施例では画像処理装置内で最適化計算を実行する例を挙げたが、処理の重い最適化計算をクラウドコンピューティング上で実行してもよい。
【符号の説明】
【００７６】
１０２  画像処理部（画像処理装置）
１０２ａ  取得手段
１０２ｂ  分離手段
【図１】
2020193856.tif 000016
【図２】
2020193856.tif 000017
【図３】
2020193856.tif 000018
【図４】
2020193856.tif 000019
【図５】
2020193856.tif 000020
【図６】
2020193856.tif 000021
【図７】
2020193856.tif 000022
【図８】
2020193856.tif 000023
【図９】
2020193856.tif 000024
【図１０】
2020193856.tif 000025
【図１１】
2020193856.tif 000026
【図１２】
2020193856.tif 000027
【図１３】
2020193856.tif 000028
【図１４】
2020193856.tif 000029
【図１５】
2020193856.tif 000030