(57)【要約】【課題】被測定物の生長を阻害することなく、広範囲にわたる被測定物の色を測定することが可能な画像処理装置を提供する。【解決手段】画像処理装置（２０）は、被測定物の法線ベクトル情報を取得する取得部（２８）と、法線ベクトル情報に基づく位置に設定された反射板（３０）または照度計（４０）を用いて、撮像部により取得された画像における被測定物領域の統計量に関する色補正を行う処理部（２５）とを有する。【選択図】図１
2019215173.tif 000002
【特許請求の範囲】
【請求項１】
被測定物の法線ベクトル情報を取得する取得部と、
前記法線ベクトル情報に基づく位置に設定された反射板または照度計を用いて、撮像部により取得された画像における被測定物領域の統計量に関する色補正を行う処理部と、を有することを特徴とする画像処理装置。
【請求項２】
前記処理部は、
前記被測定物および前記反射板の撮像により得られた前記画像における反射板領域の統計量に基づいて、前記被測定物領域の前記統計量に関する色補正を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記被測定物および前記反射板の撮像により得られた前記画像に基づいて前記被測定物領域の統計量を計算する第１計算部と、
前記画像に基づいて前記反射板領域の統計量を計算する第２計算部と、を更に有し、
前記処理部は、前記第２計算部により計算された前記反射板領域の統計量に基づいて、前記第１計算部により計算された前記被測定物領域の統計量に関する色補正を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記法線ベクトル情報は、前記被測定物の法線ベクトルの平均値であり、
前記画像は、前記反射板が前記法線ベクトルの平均値と同じ方向を向くように設定された状態で撮影された画像であることを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記処理部は、前記反射板の反射率と前記反射板領域の統計量と前記被測定物領域の統計量とに基づいて、前記被測定物の反射率を計算することを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記被測定物領域の統計量は、前記被測定物領域の画素値の平均値、中央値、または、最頻値であり、
前記反射板領域の統計量は、前記反射板領域の画素値の平均値、中央値、または、最頻値であることを特徴とする請求項２乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記処理部は、
前記照度計により取得される照明光情報に基づいて、前記被測定物領域の前記統計量に関する色補正を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記被測定物の撮像により得られた前記画像に基づいて前記被測定物領域の統計量を計算する第１計算部を更に有し、
前記処理部は、前記照明光情報に基づいて、前記第１計算部により計算された前記被測定物領域の統計量に関する色補正を行うことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記法線ベクトル情報は、前記被測定物の法線ベクトルの平均値であり、
前記照明光情報は、前記照度計の光軸が前記法線ベクトルの平均値と同じ方向を向くように設定された状態で取得されることを特徴とする請求項７または８に記載の画像処理装置。
【請求項１０】
前記処理部は、前記照明光情報と前記被測定物領域の統計量とに基づいて、前記被測定物の反射率を計算することを特徴とする請求項７乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記取得部は、３次元測定部により測定された前記被測定物の３次元測定情報に基づいて、前記法線ベクトル情報を計算することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記取得部は、前記３次元測定情報の加重平均により前記法線ベクトル情報を計算することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記取得部は、前記被測定物に関する情報に基づいてデータベースを参照することにより、前記法線ベクトル情報を取得することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
【請求項１４】
前記画像が複数の被測定物を含む場合に被測定物ごとに前記画像の領域を分割する領域分割部を更に有することを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
【請求項１５】
前記領域分割部は、光学系の焦点距離、画素サイズ、または、俯角に関する情報に基づいて、前記画像の領域を分割することを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
請求項１乃至１５のいずれか１項に記載の画像処理装置と、
前記撮像部と、を有することを特徴とする撮像装置。
【請求項１７】
請求項１６に記載の撮像装置と、
前記反射板と、を有することを特徴とする測定システム。
【請求項１８】
前記法線ベクトル情報に基づいて前記反射板の位置を変更する反射板駆動部を更に有することを特徴とする請求項１７に記載の測定システム。
【請求項１９】
請求項１６に記載の撮像装置と、
前記照度計と、を有することを特徴とする測定システム。
【請求項２０】
前記法線ベクトル情報に基づいて前記照度計の位置を変更する照度計駆動部を更に有することを特徴とする請求項１９に記載の測定システム。
【請求項２１】
被測定物の法線ベクトル情報を取得するステップと、
前記法線ベクトル情報に基づく位置に設定された反射板または照度計を用いて、画像における被測定物領域の統計量に関する色補正を行うステップと、を有することを特徴とする画像処理方法。
【請求項２２】
被測定物の法線ベクトル情報を取得するステップと、
前記法線ベクトル情報に基づく位置に設定された反射板または照度計を用いて、画像における被測定物領域の統計量に関する色補正を行うステップと、をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被測定物の色を測定可能な測定システムに関する。
【背景技術】
【０００２】
特許文献１には、遮蔽物を用いて太陽からの直達光を遮断して被測定物（農作物）と反射板が散乱光のみで照明された状態を意図的に作り出し、この状態で撮影された被測定物と反射板の分光画像を用いて自然光スペクトルの影響を補正する方法が開示されている。この方法によれば、被測定物の向きと反射板の向きが異なる場合にも被測定物の色を精度良く測定することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−３４９１号公報
【特許文献２】特開２００６−３２０２４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された方法では、遮蔽物により直達光が遮断された領域において被測定物の色を測定することはできるが、それ以外の領域において被測定物の色を測定することは困難である。また、遮蔽物により直達光が遮断された領域では、被測定物の生長を阻害する可能性がある。
【０００５】
そこで本発明は、被測定物の生長を阻害することなく、広範囲にわたる被測定物の色を測定することが可能な画像処理装置、撮像装置、測定システム、画像処理方法、および、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一側面としての画像処理装置は、被測定物の法線ベクトル情報を取得する取得部と、前記法線ベクトル情報に基づく位置に設定された反射板または照度計を用いて、撮像部により取得された画像における被測定物領域の統計量に関する色補正を行う処理部とを有する。
【０００７】
本発明の他の側面としての撮像装置は、前記画像処理装置と前記撮像部とを有する。
【０００８】
本発明の他の側面としての測定システムは、前記撮像装置と前記反射板とを有する。
【０００９】
本発明の他の側面としての測定システムは、前記撮像装置と前記照度計とを有する。
【００１０】
本発明の他の側面としての画像処理方法は、被測定物の法線ベクトル情報を取得するステップと、前記法線ベクトル情報に基づく位置に設定された反射板または照度計を用いて、画像における被測定物領域の統計量に関する色補正を行うステップとを有する。
【００１１】
本発明の他の側面としてのプログラムは、前記画像処理方法をコンピュータに実行させる。
【００１２】
本発明の他の目的及び特徴は、以下の実施形態において説明される。
【発明の効果】
【００１３】
本発明によれば、被測定物の生長を阻害することなく、広範囲にわたる被測定物の色を測定することが可能な画像処理装置、撮像装置、測定システム、画像処理方法、および、プログラムを提供することができる。
【図面の簡単な説明】
【００１４】
【図１】実施例１における測定システムのブロック図である。
【図２】各実施例における被測定物の向きによる照明条件の違いの説明図である。
【図３】各実施例における被測定物の法線ベクトルの平均値の説明図である。
【図４】各実施例における被測定物の法線ベクトルの平均値の説明図である。
【図５】各実施例における被測定物領域および反射板領域の抽出の説明図である。
【図６】実施例２における測定システムのブロック図である。
【図７】実施例２における複数の被測定物が存在する場合の画像処理方法の説明図である。
【図８】各実施例における領域分割の説明図である。
【図９】実施例３における測定システムのブロック図である。
【図１０】各実施例におけるデータベースに格納されたデータの説明図である。
【図１１】実施例４における測定システムのブロック図である。
【図１２】実施例５における測定システムのブロック図である。
【図１３】実施例６における測定システムのブロック図である。
【図１４】実施例７における画像処理方法のフローチャートである。
【図１５】実施例８における画像処理方法のフローチャートである。
【図１６】実施例９における画像処理方法のフローチャートである。
【図１７】実施例１０における画像処理方法のフローチャートである。
【図１８】実施例１１における画像処理方法のフローチャートである。
【図１９】実施例１２における画像処理方法のフローチャートである。
【図２０】実施例１３における測定システムのブロック図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【００１６】
近年、農作物（被測定物）を撮影した分光画像から農作物の生育診断を行う技術が提案されている。ここで、分光画像とは、特定の波長帯域にのみ感度を持つイメージセンサにより取得された画像を指す。最も一般的な分光画像としては、可視波長帯域の赤、青、緑に対して感度を持つイメージセンサにより取得された、所謂、ＲＧＢ画像が知られている。
【００１７】
この分光画像は、物体により拡散反射された照明光を光学系によりイメージセンサ上に結像させることで取得される。物体の分光拡散反射特性は、物体を構成する物質の種類やその濃度、物体の構造により変化するため、分光画像から物体の分光拡散反射特性に関する情報を取得することにより、物体情報を知ることができる（以降、物体の分光拡散反射特性を物体の「色」と呼ぶ）。農作物の生育診断では、農作物の分光画像から農作物の色を測定し、農作物の色から取得できる農作物情報を用いて、生育診断を行う。
【００１８】
屋外で栽培されている農作物を撮影する場合、照明光は自然光となる。自然光スペクトルは、撮影時の気象条件や太陽位置により変化する。このため、時系列の農作物の分光画像から農作物の色の変化を確認しようとしても、そのままでは、自然光スペクトルまたは農作物の色のいずれが変化したのか、その違いを区別することができない。従って、農作物の色の変化を精度良く測定するには、自然光（照明光）スペクトルの影響を補正する必要がある。
【００１９】
照明光スペクトルの影響を補正して物体の色を精度良く測定する手法として、反射板を用いた補正手法、または、照度計（分光放射照度計）を用いた補正手法が知られている。反射板を用いた補正手法では、分光反射・拡散特性が既知の反射板を農作物と同時に撮影し、反射板の分光画像の画素値と農作物の分光画像と画素値の比をとることにより、照明光スペクトルの影響を相殺している。分光放射照度計を用いた補正手法では、分光放射照度計により取得した自然光スペクトル情報を用いて、自然光スペクトルの影響を補正する。
【００２０】
反射板または分光放射照度計を用いた補正手法では、農作物と同じ照明条件となるように、反射板または分光放射照度計の向きを農作物の向きと同じ向きに揃える必要がある。例えば、農作物の葉の色を測定する場合、葉の法線ベクトルの向きと、反射板の法線ベクトルの向きまたは分光放射照度計の光軸の向きを揃える必要がる。しかしながら、一つの農作物は複数の葉を有し、各葉は様々な方向に向かって生えているため、一つの反射板や分光放射照度計を用いて農作物の全ての葉の色を精度良く測定することは困難である。そこで本実施形態は、農作物の向きと反射板（または分光放射照度計）の向きが互いに異なる場合でも、農作物の色を精度良く測定する。
【００２１】
まず、図２を参照して、農作物の向きによる照明条件の違いについて説明する。図２は、農作物の向きによる照明条件の違いの説明図である。図２（ａ）は農作物の法線ベクトルが天頂を向いている場合の照明条件、図２（ｂ）は農作物の法線ベクトルが天頂からθｐだけ傾いた場合の照明条件をそれぞれ示している。
【００２２】
図２（ａ）に示されるように半球の中心に置かれた農作物を照らす照明光の分光放射照度（照明光情報）Ｅｉ（λ）は、以下の式（１）により求められる。
【００２３】
【数１】
2019215173.tif 000003
【００２４】
式（１）において、Ωｉは農作物が置かれた半球空間、ｄΩｉは半球空間Ωｉ内の微小立体角、Ｂｉ（λ、ωｉ）はωｉ方向の微小立体角ｄΩｉから農作物に到達する光の放射輝度、θｉはωｉと農作物の法線とがなす角度である。式（１）に示されるように、農作物を照らす照明光の分光放射照度Ｅｉ（λ）は、農作物を囲む半球空間Ωｉの照明環境によって決まる。従って、図２（ｂ）に示されるように農作物の法線ベクトルが天頂から角度θｐだけ傾いた場合、農作物を照らす照明光の分光放射照度Ｅｉ（λ）は変化する。このため、反射板や分光放射照度計を用いて照明光スペクトルの影響を補正するには、反射板の法線ベクトルの向きや分光放射照度計の光軸の向きを農作物の法線ベクトルの向きと揃える必要がある。しかしながら、実際には、農作物の法線ベクトルの向きは一律ではなく、様々な方向を向いている。
【００２５】
そこで本実施形態は、そのような状況においても、反射板や分光放射照度計を用いて農作物の色を精度良く測定する。より具体的には、反射板（または、分光放射照度計）の向きを被測定物（農作物）の法線ベクトルの平均値と同じ方向に配置し、かつ、被測定物領域内の画素値の統計量に対して照明スペクトルの影響を補正することにより、被測定物の色を高精度に測定する。
【００２６】
次に、図３および図４を参照して、被測定物の法線ベクトルの平均値について説明する。図３は被測定物（農作物）の法線ベクトルの平均値の説明図であり、図３（ａ）は農作物を撮影する際の、農作物、画像取得部（撮像部）１０、反射板３０、および、分光放射照度計４０の配置を示している。ここでは、Ｌ１からＬ５の５枚の葉を有する農作物の色を測定する例を示しており、この場合、被測定物は１つの農作物となる。図３（ａ）において、ＮＬ１からＮＬ５は、葉毎の面法線の単位ベクトルを示している。このように、通常、農作物の面法線ベクトルは様々な方向を向いている。
【００２７】
図３（ｂ）は画像取得部１０により撮影された画像の模式図である。図３（ｃ）は、図３（ａ）、（ｂ）に示される農作物の法線ベクトルの平均値ＮＬ，ａｖｅを示す図である。図３（ｃ）は、葉毎の面法線ベクトルＮＬ１からＮＬ５を、始点を揃えて描画した図である。このとき、法線ベクトルの平均値ＮＬ，ａｖｅは、葉毎の面法線ベクトルの平均によって求められるベクトルとして定義される。なお、図３（ｃ）において、ＮＬ，ａｖｅは単位ベクトルで表記している。この例の場合、法線ベクトルの平均値ＮＬ，ａｖｅはＺ軸方向を向いている。
【００２８】
本実施形態では、図３（ａ）に示されるように、反射板３０の面法線ベクトルＮＲ（または、分光放射照度計４０の面法線ベクトルＮＳ）がＮＬ，ａｖｅと同じ向きになるように反射板３０（または、分光放射照度計４０）の向きを揃える。これは、反射板３０（または、分光放射照度計４０）により、農作物を照明する照明スペクトルの平均値を測定することに対応する。
【００２９】
本実施形態では、前述の向きに設置した反射板３０の撮影画像から取得される、農作物を照明する照明スペクトルの平均値情報を用いて、農作物領域の画素値の統計量に関する色補正処理を行う。ここで、農作物領域の画素値の統計量とは、画像取得部１０で取得された分光画像の色毎の画素値に対して計算される、平均値、中央値、または、最頻値のいずれかの値であるが、これらに限定されるものではない。
【００３０】
農作物領域の各画素値は、各画素に対応する被測定物領域における照明スペクトルと農作物の色を反映している。このため、農作物領域の画素値の平均値を計算することは、農作物を照明する照明スペクトルの平均値と農作物の色の平均値が掛け合わされた値を計算することに対応する。従って、反射板３０（または分光放射照度計４０）を用いて取得した農作物の照明スペクトルの平均値を用いて、農作物領域の画素値の平均値の色補正処理を行うことで、照明スペクトルの平均値の影響が低減された農作物の色の平均値情報を取得することができる。本実施形態では、このような手法により、農作物の向きと反射板の向きが異なる場合にも、農作物の色を精度良く測定することができる。
【００３１】
図４は、被測定物（農作物）の法線ベクトルの平均値の別の説明図であり、図３と同じ農作物を画像取得部１０により斜めから撮影した場合の例を示している。図４に示されるような配置の場合、被測定物の法線ベクトルの平均値を計算するにあたって、加重和を用いることが好ましい。図４（ａ）は、農作物を撮影する際の、農作物、画像取得部１０、反射板３０、および、分光放射照度計４０の配置を示している。図４（ｂ）は、図４（ａ）に示される配置における画像取得部１０の撮影画像の模式図である。図４（ｃ）は、図４（ａ）、（ｂ）に示される農作物の法線ベクトルの平均値ＮＬ，ａｖｅを示す図である。
【００３２】
図４（ａ）の配置では、画像取得部１０の光軸とＬ３、Ｌ５の面法線ベクトルが直交するため、図４（ｂ）に示されるように、Ｌ３、Ｌ５の撮影領域が減少する。この場合、被測定物の統計量を計算する際に、Ｌ３、Ｌ５の寄与が減少する。このため、照明スペクトルの平均値情報を測定する際にも、Ｌ３、Ｌ５の寄与の減少を考慮することが望ましい。そこで、このような場合、被測定物の法線ベクトルの平均値を計算する際に、加重平均を用いることが好ましい。例えば、図４（ｂ）の撮影画像の葉毎の面積比を用いて、法線ベクトルの加重和を計算すると、上記影響を考慮した法線ベクトルの平均値ＮＬ，ａｖｅを求めることができる。
【００３３】
また、統計量を計算する際には、統計量を計算する領域を抽出する必要がある。そこで、次に、図５を参照して、被測定物領域（被測定物の画像領域）および反射板領域（反射板の画像領域）を抽出する手法について説明する。図５は、被測定物領域（農作物領域）および反射板領域の抽出の説明図である。図５（ａ）は、画像取得部１０を用いて、農作物と反射板を撮影した画像（撮影画像５３）である。図５（ｂ）は、図５（ａ）の撮影画像５３から被測定物領域（農作物領域）５１を抽出した画像である。図５（ｃ）は、図５（ａ）の撮影画像５３から反射板領域５２を抽出した画像である。被測定物領域５１および反射板領域５２のそれぞれを抽出するには、撮影画像５３の色情報を用いることが好ましい。例えば、撮影画像５３がＲＧＢ画像の場合、ＲＧＢ画像をＨＳＶ画像に変換し、色相、彩度、輝度の範囲を適宜選択することにより、所望の領域を抽出することが可能である。前述の処理は、例えば、後述の測定システム１００（画像処理装置２０）の被測定物領域抽出部２１および反射板領域抽出部２３により実行される。
【００３４】
以下、本発明の各実施例について詳細を説明する。
【００３５】
（実施例１）
まず、図１を参照して、本発明の実施例１における測定システムについて説明する。図１は、測定システム１００のブロック図である。測定システム１００は、画像取得部１０、画像処理装置２０、および、反射板３０を有する。本実施例において、画像取得部１０と画像処理装置２０とにより撮像装置が構成される。
【００３６】
画像取得部１０は、撮像光学系および撮像素子を有し、被測定物（農作物）と反射板３０とを撮影する。画像取得部１０により撮影された画像（撮影画像５３）は、画像処理装置２０へ出力される。画像処理装置２０は、被測定物領域抽出部２１、被測定物統計量計算部２２、反射板領域抽出部２３、反射板統計量計算部２４、色補正処理部（処理部）２５、および、反射板情報格納部２６を有する。被測定物領域抽出部２１は、画像から被測定物領域５１を抽出する。被測定物統計量計算部２２は、被測定物領域５１内の画素値の統計量を計算する。反射板領域抽出部２３は、画像から反射板領域５２を抽出する。反射板統計量計算部２４は、反射板領域５２内の画素値の統計量を計算する。色補正処理部２５は、反射板統計量計算部２４により計算された反射板３０の統計量を用いて、被測定物統計量計算部２２により計算された被測定物の統計量に関する色補正を行う。
【００３７】
本実施例では、まず、撮影する被測定物（農作物）の法線ベクトルの平均値の向きと、反射板３０の法線ベクトルの向きとが略同一になるように、反射板３０の位置（向き）を設定する。ここで略同一とは、厳密に同一である場合に限定されるものではなく、実質的に同一であると評価される場合を含む意味である。すなわち反射板３０は、被測定物領域５１内の被測定物の法線ベクトルの平均値と略同一の方向に法線ベクトルが向けられるように設定される。なお、反射板３０の向きは、測定システム１００が自動的に設定することができ、または、ユーザが手動で設定してもよい。
【００３８】
続いて、画像取得部１０は、被測定物と反射板３０とを同時に撮影し、ＲＧＢ画像を取得する。撮影された画像（撮影画像５３）は、画像処理装置２０に送られる。被測定物領域抽出部２１は画像から被測定物領域５１を抽出し、被測定物統計量計算部２２は被測定物領域５１の画素値の平均値を計算する。なお、画素値の平均値は、ＲＧＢ画像毎に計算される。一方、反射板領域抽出部２３は画像から反射板領域５２を抽出し、反射板統計量計算部２４は反射板領域５２内の画素値の平均値を計算する。
【００３９】
最後に、色補正処理部２５は、被測定物領域５１の画素値の平均値を反射板領域５２の画素値の平均値により除することにより、被測定物の色（反射率）を計算する。反射板情報格納部２６は、事前に測定された反射板３０の反射率（反射率情報）を保持している。色補正処理部２５は、反射板情報格納部２６に保持された反射板３０の反射率情報を用いることにより、被測定物の反射率を計算する（すなわち、色補正処理を行う）ことができる。
【００４０】
（実施例２）
次に、図６を参照して、本発明の実施例２における測定システムについて説明する。図６は、測定システム２００のブロック図である。測定システム２００は、３次元測定部５０および反射板駆動部３１を有する点で、実施例１の測定システム１００とは異なる。また測定システム２００は、実施例１の画像処理装置２０に代えて、領域分割部２７および法線ベクトル算出部２８を備えた画像処理装置２０ａを有する。
【００４１】
本実施例の測定システム２００において、まず、３次元測定部５０は、被測定物（農作物）の形状（形状情報）を測定する。続いて、法線ベクトル算出部２８は、被測定物の形状情報に基づいて被測定物の法線ベクトル（法線ベクトル情報）を取得し、取得した法線ベクトルに基づいて被測定物の法線ベクトルの平均値を計算する。反射板駆動部３１は、法線ベクトルの平均値に基づいて反射板３０の位置を変更する。具体的には、反射板駆動部３１は、計算された被測定物の法線ベクトルの平均値の向きと、反射板３０の法線ベクトルの向きとが略同一になるように、反射板３０を駆動する。以降、本実施例の測定システム２００は、領域分割部２７による領域分割処理を除いて、実施例１の測定システム１００と同様な処理を行う。このため、ここでは領域分割部２７による処理についてのみ詳述する。
【００４２】
図７は、複数の被測定物が存在する場合の画像処理方法の説明図である。測定システム２００は、図７（ａ）に示されるような複数の被測定物の色を測定する。測定システム２００は、複数の被測定物の測定を行う場合、実施例１と同様に、被測定物領域抽出部２１および反射板領域抽出部２３により被測定物領域および反射板領域をそれぞれ抽出する。図７（ｂ）、（ｃ）はそれぞれ、被測定物領域７１を抽出した画像、反射板領域７２を抽出した画像を示している。
【００４３】
続いて、領域分割部２７は、被測定物毎に領域を分割する処理を行う。領域分割方法として、例えば、特許文献２に開示されているように、撮影画像から実際の撮影領域の面積を計算する手法を用いることができる。このような手法を用いることにより、撮影面積が等しくなるように撮影画像の領域を分割することが可能である。
【００４４】
図８は、領域分割の説明図であり、撮影画像と実際の撮影領域との関係を示している。図８では、画像取得部１０が俯角φで設置された状態を示している。図８において、点Ｆは画像取得部１０の光学系の主点、点Ｅは点Ｆから地面に向かって引いた垂線と地面との交点である。ＨはＥ−Ｆ間の距離である。点ｔはイメージセンサの中心位置、点Ｔは線ｔＦを被測定物側に延長した線と地面との交点である。このとき、イメージセンサ上の点ｇ、ｉ、ｊ、ｋで囲まれた矩形領域に対応する、地面上の点Ｇ、Ｉ、Ｊ、Ｋで囲まれた台形領域の面積Ｓは、以下の式（２）により求めることができる。
【００４５】
【数２】
2019215173.tif 000004
【００４６】
式（２）において、ｑは画素の垂直方向と水平方向の長さ、ｆは光学系の焦点距離、θｍは線ＦＭと線ＥＭとがなす角、θｎは線ＦＮと線ＥＮとがなす角である。点Ｍ、Ｎはイメージセンサ上の点ｍ、ｎに対応する地面上の位置を示しており、点ｍは線ｇｉの延長線とイメージセンサの面積を左右に二等分割する線との交点、点ｎは線ｋｊの延長線とイメージセンサの面積を左右に二等分割する線との交点である。本実施例において、領域分割部２７は、前述の手法を用いて被測定物毎に領域を分割する。図７（ｄ）は、被測定物毎に領域が分割された状態を示す。
【００４７】
続いて、被測定物統計量計算部２２は、分割された領域毎の被測定物の画素値の平均値を計算する。そして色補正処理部２５は、被測定物の領域毎に被測定部の画素値の平均値の色補正処理を行う。なお、色補正処理を行う際に被測定物の法線ベクトルの平均値が各分割領域共に等しい場合、法線ベクトルの向きが同じ方向となるように設置された反射板３０の画素値の平均値を用いることができる。一方、分割領域毎に被測定物の法線ベクトルの平均値が異なる場合、反射板３０の向きを変更しながら複数回撮影を行うことで、分割領域毎の被測定物の色を測定することができる。以上のように本実施例によれば、広範囲に植えられた農作物（被測定物）の色を測定することが可能となる。
【００４８】
（実施例３）
次に、図９を参照して、本発明の実施例３における測定システムについて説明する。図９は、測定システム３００のブロック図である。測定システム３００は、被測定物の法線ベクトルの平均値を格納するデータベース２９２およびデータベース参照部２９１を有する点、および、３次元測定部５０および法線ベクトル算出部２８を有しない点で、実施例２の測定システム２００とは異なる。また測定システム３００は、実施例２の画像処理装置２０ａに代えて、データベース２９２およびデータベース参照部２９１を含む画像処理装置２０ｂを有する。
【００４９】
本実施例の測定システム３００において、まず被測定物情報がデータベース参照部２９１に入力される。データベース参照部２９１は、入力された被測定物情報に基づいて、データベース２９２に格納された被測定物の法線ベクトルの平均値を参照する。図１０は、データベース２９２に格納されたデータの説明図である。図１０に示されるように、データベース２９２には、データ番号（１、２、３、４、…）、植物種類、生育ステージ、カメラ俯角（カメラの俯角情報）、および、被測定物の法線ベクトルの平均値との関係を示すデータが格納されている。そしてデータベース２９２から、データベース参照部２９１に入力された被測定物情報（植物種類および生育ステージ）と一致するデータ番号に対応する法線ベクトルの平均値が出力される。
【００５０】
続いて、反射板駆動部３１は、反射板３０の法線ベクトルの向きがデータベース参照部２９１から出力された被測定物の法線ベクトルと略同一の向きとなるように、反射板３０を駆動する。以降の処理については、実施例２と同様である。
【００５１】
なお本実施例において、被測定物情報は植物種類および生育ステージであるが、これらに限定されるものではなく、その他の情報を用いることができる。また、被測定物情報だけでなく（または被測定物情報に代えて）、例えば、図１０に示されるような、撮影時のカメラの俯角情報を用いてもよい。
【００５２】
（実施例４）
次に、図１１を参照して、本発明の実施例４における測定システムについて説明する。図１１は、測定システム４００のブロック図である。測定システム４００は、画像取得部１０、画像処理装置２０ｃ、および、分光放射照度計（照度計）４０を有する。画像処理装置２０ｃは、被測定物領域抽出部２１、被測定物統計量計算部２２、および、色補正処理部２５を有する。このように本実施例の測定システム４００は、実施例１〜３の反射板３０に代えて、照明光スペクトルの影響を補正する分光放射照度計４０を有する。
【００５３】
本実施例の測定システム４００において、まず分光放射照度計４０を、撮影する被測定物の法線ベクトルの平均値の向きと分光放射照度計４０の光軸の向きとが略同一になるように設定（設置）する。続いて画像取得部１０は、被測定物を撮影してＲＧＢ画像を取得する。同時に、分光放射照度計４０は、分光放射照度を測定する。撮影された画像は画像処理装置２０ｃに送られる。そして画像処理装置２０ｃの被測定物領域抽出部２１は、画像から被測定物領域を抽出する。続いて被測定物統計量計算部２２は、被測定物領域の画素値の平均値を計算する。最後に、色補正処理部２５は、分光放射照度計４０により取得された分光放射照度を用いて、被測定物領域の平均値の色補正処理を行う。分光放射照度を用いた色補正処理は、例えば、以下の式（３）を用いることにより行われる。
【００５４】
【数３】
2019215173.tif 000005
【００５５】
式（３）において、Ｉｃは被測定物領域の画素値の平均値、Ｒｃは補正処理後の被測定物領域の画素値の平均値であり、添え字のｃはＲ、Ｇ、Ｂいずれかの画像の値であることを表す。また、Ｅ（λ）は分光放射照度、Ｓｃ（λ）は画像取得部１０の分光感度特性を表している。また、ｋは適当な比例定数である。
【００５６】
（実施例５）
次に、図１２を参照して、本発明の実施例５における測定システムについて説明する。図１２は、測定システム５００のブロック図である。測定システム５００は、３次元測定部５０および分光放射照度計駆動部（照度計駆動部）４１を有する点で、実施例４の測定システム４００とは異なる。また測定システム５００は、実施例４の画像処理装置２０ｃに代えて、領域分割部２７および法線ベクトル算出部２８を備えた画像処理装置２０ｄを有する。
【００５７】
本実施例の測定システム５００において、まず３次元測定部５０は、被測定物の形状（形状情報）を測定する。続いて、法線ベクトル算出部２８は、被測定物の形状情報に基づいて測定物の法線ベクトルを取得し、取得した法線ベクトルに基づいて被測定物の法線ベクトルの平均値を計算する。分光放射照度計駆動部４１は、法線ベクトルの平均値に基づいて分光放射照度計４０の位置を変更する。具体的には、分光放射照度計駆動部４１は、計算された被測定物の法線ベクトルの平均値の向きと、分光放射照度計４０の光軸の向きが略同一になるように、分光放射照度計４０を駆動する。以降、本実施例の測定システム５００は、領域分割部２７による領域分割処理を除いて、実施例４と同様な処理を行う。なお、本実施例の領域分割部２７による処理は、実施例２で説明した領域分割部２７の処理と同様である。
【００５８】
（実施例６）
次に、図１３を参照して、本発明の実施例６における測定システムについて説明する。図１３は、測定システム６００のブロック図である。測定システム６００は、被測定物の法線ベクトルの平均値を格納するデータベース２９２およびデータベース参照部２９１を有する点、および、３次元測定部５０および法線ベクトル算出部２８を有しない点で、実施例５の測定システム５００とは異なる。また測定システム６００は、実施例５の画像処理装置２０ｄに代えて、データベース２９２およびデータベース参照部２９１を含む画像処理装置２０ｅを有する。
【００５９】
本実施例のデータベース参照部２９１により実行される処理は、実施例３で説明したデータベース参照部２９１で実行される処理と同じである。また、分光放射照度計駆動部４１がデータベース参照部２９１から出力された被測定物の法線ベクトルの平均値に従って分光放射照度計４０を駆動することを除き、本実施例の以降の処理は、実施例５と同じである。
【００６０】
（実施例７）
次に、図１４を参照して、本発明の実施例７における画像処理方法（測定方法）について説明する。図１４は、本実施例における画像処理方法のフローチャートである。図１４の各ステップは、測定システム１００の各部により実行される。
【００６１】
まず、ステップＳ１０１において、画像取得部１０は、被測定物と反射板３０とが同時に撮影された画像（撮影画像）を取得する。続いてステップＳ１０２において、被測定物領域抽出部２１は、撮影画像から被測定物領域を抽出する。続いてステップＳ１０３において、被測定物統計量計算部２２は、ステップＳ１０２にて抽出された被測定物領域内の画素値の統計量を計算する。
【００６２】
また、ステップＳ１０２、Ｓ１０３と同時並行、または、順不同で、ステップＳ１０４、Ｓ１０５の処理が実行される。ステップＳ１０４において、反射板領域抽出部２３は、撮影画像から反射板領域を抽出する。続いてステップＳ１０５において、反射板統計量計算部２４は、ステップＳ１０４にて抽出された反射板領域内の画素値の統計量を計算する。
【００６３】
続いてステップＳ１０６において、色補正処理部２５は、反射板領域内の画素値の統計量を用いて、被測定物領域内の画素値の統計量に関する色補正処理を行う。なお、ステップＳ１０６では、事前に格納された反射板の反射率情報を用いることで、被測定物の反射率を計算することも可能である。
【００６４】
（実施例８）
次に、図１５を参照して、本発明の実施例８における画像処理方法（測定方法）について説明する。図１５は、本実施例における画像処理方法のフローチャートである。図１５の各ステップは、測定システム２００の各部により実行される。
【００６５】
まず、ステップＳ２０１において、画像取得部１０は、被測定物と反射板３０とが同時に撮影された画像（撮影画像）を取得する。続いてステップＳ２０２において、被測定物領域抽出部２１は、撮影画像から被測定物領域を抽出する。続いてステップＳ２０３において、領域分割部２７は、撮影画像の領域を被測定物毎に分割する。
【００６６】
また、ステップＳ２０１〜Ｓ２０３と同時並行、または、順不同で、ステップＳ２０４の処理が実行される。ステップＳ２０４において、３次元測定部５０は、被測定物の３次元測定を行い、被測定物の３次元測定情報を取得する。
【００６７】
続いてステップＳ２０５において、法線ベクトル算出部２８は、ステップＳ２０４にて測定された被測定物の３次元測定情報に基づいて被測定物の法線ベクトルを取得し、取得した被測定物の法線ベクトルに基づいて被測定物の法線ベクトルの平均値を計算する。続いてステップＳ２０６において、反射板駆動部３１は、ステップＳ２０５にて計算された被測定物の法線ベクトルの平均値に従って、反射板３０の法線ベクトルの向きが被測定物の法線ベクトルの平均値の向きと略同一となるように反射板３０を駆動する。続いてステップＳ２０７において、画像取得部１０は、被測定物と反射板３０とを同時に撮影した画像（撮影画像）を取得する。
【００６８】
続いてステップＳ２０８において、被測定物領域抽出部２１は、撮影画像から被測定物領域を抽出する。続いてステップＳ２０９において、領域分割部２７は、撮影画像の領域を被測定物毎に分割する。続いてステップＳ２１０において、被測定物統計量計算部２２は、ステップＳ２０８にて分割された領域毎に画素値の統計量を計算する。
【００６９】
また、ステップＳ２０８〜Ｓ２１０と同時並行、または、順不同で、ステップＳ２１１、Ｓ２１２の処理が実行される。ステップＳ２１１において、反射板領域抽出部２３は、撮影画像から反射板領域を抽出する。続いてステップＳ２１２において、反射板統計量計算部２４は、ステップＳ２１１にて抽出された反射板領域内の画素値の統計量を計算する。
【００７０】
続いてステップＳ２１３において、色補正処理部２５は、反射板領域内の画素値の統計量を用いて、各被測定物領域内の画素値の統計量に関する色補正処理を行う。
【００７１】
（実施例９）
次に、図１６を参照して、本発明の実施例９における画像処理方法（測定方法）について説明する。図１６は、本実施例における画像処理方法のフローチャートである。図１６の各ステップは、測定システム３００の各部により実行される。
【００７２】
まず、ステップＳ３０１において、データベース参照部２９１に被測定物情報が入力される。続いてステップＳ３０２において、データベース参照部２９１は、入力された被測定物情報に基づいて、データベース２９２から被測定物の法線ベクトルの平均値を参照する。続いてステップＳ３０３において、反射板駆動部３１は、ステップＳ３０２にて参照された被測定物の法線ベクトルの平均値に従って、反射板３０を駆動する。すなわち反射板駆動部３１は、反射板３０の法線ベクトルの向きと被測定物の法線ベクトルの平均値の向きとが略同一となるように反射板３０を駆動する。以降、ステップＳ３０４〜Ｓ３１０は、実施例８のステップＳ２０７〜Ｓ２１３とそれぞれ同じである。
【００７３】
（実施例１０）
次に、図１７を参照して、本発明の実施例１０における画像処理方法（測定方法）について説明する。図１７は、本実施例における画像処理方法のフローチャートである。図１７の各ステップは、測定システム４００の各部により実行される。
【００７４】
まず、ステップＳ４０１において、画像取得部１０は、被測定物を撮影した画像を取得する。またステップＳ４０２において、分光放射照度計４０は、ステップＳ４０１と同じタイミングで、分光放射照度を測定する。
【００７５】
続いてステップＳ４０３において、被測定物領域抽出部２１は、ステップＳ４０１にて取得された画像から被測定物領域を抽出する。続いてステップＳ４０４において、被測定物統計量計算部２２は、ステップＳ４０３にて抽出された被測定物領域内の画素値の統計量を計算する。
【００７６】
続いてステップＳ４０５において、色補正処理部２５は、ステップＳ４０２にて取得された分光放射照度（照明光情報）を用いて、被測定物領域内の画素値の統計量に関する色補正処理を行う。
【００７７】
（実施例１１）
次に、図１８を参照して、本発明の実施例１１における画像処理方法（測定方法）について説明する。図１８は、本実施例における画像処理方法のフローチャートである。図１８の各ステップは、測定システム５００の各部により実行される。
【００７８】
まず、ステップＳ５０１において、画像取得部１０は、被測定物を撮影した画像（撮影画像）を取得する。続いてステップＳ５０２において、被測定物領域抽出部２１は、撮影画像から被測定物領域を抽出する。続いてステップＳ５０３において、領域分割部２７は、撮影画像の領域を被測定物毎に分割する。
【００７９】
また、ステップＳ５０１〜Ｓ５０３と同時並行、または、順不同で、ステップＳ５０４の処理が実行される。ステップＳ５０４において、３次元測定部５０は、被測定物の３次元測定を行い、被測定物の３次元測定情報を取得する。
【００８０】
続いてステップＳ５０５において、法線ベクトル算出部２８は、ステップＳ５０４にて測定された被測定物の３次元測定情報に基づいて被測定物の法線ベクトルを取得し、取得した被測定物の法線ベクトルに基づいて被測定物の法線ベクトルの平均値を計算する。続いてステップＳ５０６において、分光放射照度計駆動部４１は、ステップＳ５０５にて計算された被測定物の法線ベクトルの平均値に従って、分光放射照度計４０を駆動する。すなわち分光放射照度計駆動部４１は、分光放射照度計４０の光軸の向きと被測定物の法線ベクトルの平均値の向きとが略同一となるように分光放射照度計４０を駆動する。
【００８１】
続いてステップＳ５０４において、画像取得部１０は、被測定物を撮影した画像を取得する。同時に、ステップＳ５０８において、分光放射照度計４０は、分光放射照度を測定する。
【００８２】
続いてステップＳ５０９において、被測定物領域抽出部２１は、画像から被測定物領域を抽出する。続いてステップＳ５１０において、領域分割部２７は、複数の被測定物を撮影した場合、被測定物毎に領域を分割する処理を行う。続いてステップＳ５１１において、被測定物統計量計算部２２は、ステップＳ５１０にて分割された被測定物の領域毎に画素値の統計量を計算する。
【００８３】
続いてステップＳ５０９において、色補正処理部２５は、ステップＳ５０８にて測定された分光放射照度（照明光情報）を用いて、各被測定物領域内の画素値の統計量に関する色補正処理を行う。
【００８４】
（実施例１２）
次に、図１９を参照して、本発明の実施例１２における画像処理方法（測定方法）について説明する。図１９は、本実施例における画像処理方法のフローチャートである。図１９の各ステップは、測定システム６００の各部により実行される。
【００８５】
まず、ステップＳ６０１において、データベース参照部２９１に被測定物情報が入力される。続いてステップＳ６０２において、データベース参照部２９１は、入力された被測定物情報に基づいて、データベース２９２から被測定物の法線ベクトルの平均値を参照する。続いてステップＳ６０３において、分光放射照度計駆動部４１は、ステップＳ６０２にて参照された被測定物の法線ベクトルの平均値に従って、分光放射照度計４０を駆動する。すなわち分光放射照度計駆動部４１は、分光放射照度計４０の光軸の向きと被測定物の法線ベクトルの平均値の向きとが略同一となるように反射板３０を駆動する。以降、ステップＳ６０４〜Ｓ６０９は、実施例１１のステップＳ５０７〜Ｓ５１２とそれぞれ同じである。
【００８６】
（実施例１３）
次に、図２０を参照して、本発明の実施例１３における測定システムについて説明する。図２０は、本実施例における測定システム７００のブロック図である。
【００８７】
測定システム７００は、測定端末６０、データサーバ８０、および、画像処理装置２０ｄを有する。測定端末６０は、画像取得部１０、分光放射照度計４０、分光放射照度計駆動部４１、３次元測定部５０、および、通信部６１を有する。データサーバ８０は、画像格納部８１、３次元情報格納部８２、法線ベクトル情報格納部８３、および、分光放射照度格納部８４を有する。画像処理装置２０ｄは、実施例５の画像処理装置２０ｄと同じである。
【００８８】
画像取得部１０は、被測定物の画像を取得する。３次元測定部５０は、３次元情報を取得する。そして通信部６１は、被測定物の画像および３次元情報をそれぞれデータサーバ８０に送信する。データサーバ８０において、画像格納部８１は被測定物の画像を格納し、３次元情報格納部８２は３次元情報を格納する。
【００８９】
続いて、画像処理装置２０ｄは、データサーバ８０に格納された被測定物の画像および３次元情報を取得する。そして法線ベクトル算出部２８は、実施例５と同様な方法で、被測定物の法線ベクトルの平均値を計算する。法線ベクトル算出部２８により算出された被測定物の法線ベクトルの平均値（法線ベクトル情報）は、法線ベクトル情報格納部８３に格納される。この法線ベクトル情報は、通信部６１を介して分光放射照度計駆動部４１に入力される。分光放射照度計駆動部４１は、入力された法線ベクトル情報に基づいて、分光放射照度計４０の向きを制御する。
【００９０】
画像測定時には、画像取得部１０は被測定物の画像を取得し、分光放射照度計４０は分光放射照度（照明光情報）を取得する。被測定物の画像および分光放射照度はそれぞれ、通信部６１を介してデータサーバ８０に送信される。データサーバ８０において、被測定物の画像は画像格納部８１に格納され、分光放射照度は分光放射照度格納部８４に格納される。続いて、色補正処理部２５は、データサーバ８０に格納された画像および分光放射照度を取得し、実施例５と同様な色補正処理を行う。
【００９１】
本実施例において、データサーバ８０および画像処理装置２０ｄの少なくとも一部は、クラウドコンピューティングとして、測定端末６０と通信可能である。
【００９２】
このように各実施例において、画像処理装置２０（２０ａ、２０ｂ、２０ｃ、２０ｄ、２０ｅ）は、取得部（法線ベクトル算出部２８またはデータベース参照部２９１）および処理部（色補正処理部２５）を有する。取得部は、被測定物（農作物）の法線ベクトル情報を取得する。処理部（）は、法線ベクトル情報に基づく位置に設定された反射板３０または照度計（分光放射照度計４０）を用いて、撮像部（画像取得部１０）により取得された画像における被測定物領域の統計量に関する色補正を行う。
【００９３】
好ましくは、処理部は、被測定物および反射板の撮像により得られた画像における反射板領域の統計量に基づいて、被測定物領域の統計量に関する色補正を行う。より好ましくは、画像処理装置は、被測定物と反射板の撮像により得られた画像に基づいて被測定物領域の統計量を計算する第１計算部（被測定物統計量計算部２２）と画像に基づいて反射板領域の統計量を計算する第２計算部（反射板統計量計算部２４）を有する。そして処理部は、第２計算部により計算された反射板領域の統計量に基づいて、第１計算部により計算された被測定物領域の統計量に関する色補正を行う。
【００９４】
好ましくは、法線ベクトル情報は、被測定物の法線ベクトルの平均値であり、画像は、反射板が法線ベクトルの平均値と同じ方向を向くように設定された状態で撮影された画像である。また好ましくは、処理部は、反射板の反射率と反射板領域の統計量と被測定物領域の統計量とに基づいて、被測定物の反射率を計算する（すなわち被測定物の色補正を行う）。また好ましくは、被測定物領域の統計量は、被測定物領域の画素値の平均値、中央値、または、最頻値であり、反射板領域の統計量は、反射板領域の画素値の平均値、中央値、または、最頻値である。
【００９５】
好ましくは、処理部は、照度計により取得される照明光情報（分光放射照度Ｅｉ（λ））に基づいて、被測定物領域の統計量に関する色補正を行う。より好ましくは、画像処理装置は、被測定物の撮像により得られた画像に基づいて被測定物領域の統計量を計算する第１計算部（被測定物統計量計算部２２）を有する。そして処理部は、照明光情報に基づいて、第１計算部により計算された被測定物領域の統計量に関する色補正を行う。
【００９６】
好ましくは、法線ベクトル情報は、被測定物の法線ベクトルの平均値であり、照明光情報は、照度計の光軸が法線ベクトルの平均値と同じ方向を向くように設定された状態で取得される。より好ましくは、処理部は、照明光情報と被測定物領域の統計量とに基づいて、被測定物の反射率を計算する（すなわち被測定物の色補正を行う）。
【００９７】
好ましくは、取得部（法線ベクトル算出部２８）は、３次元測定部５０により測定された被測定物の３次元測定情報に基づいて、法線ベクトル情報を計算する。より好ましくは、取得部は、３次元測定情報の加重平均により法線ベクトル情報を計算する。好ましくは、法線ベクトル取得部（データベース参照部２９１）は、被測定物に関する情報に基づいてデータベース２９２を参照することにより、法線ベクトル情報を取得する。
【００９８】
好ましくは、画像処理装置は、画像が複数の被測定物を含む場合に被測定物ごとに画像の領域を分割する領域分割部２７を有する。より好ましくは、領域分割部は、光学系（撮像光学系）の焦点距離、画素サイズ、または、俯角に関する情報に基づいて、撮影画像の領域を分割する。
【００９９】
（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１００】
各実施例によれば、被測定物の生長を阻害することなく、広範囲にわたる被測定物の色を測定することが可能な画像処理装置、撮像装置、測定システム、画像処理方法、および、プログラムを提供することができる。
【０１０１】
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【０１０２】
２０  画像処理装置
２５  色補正処理部（処理部）
２８  法線ベクトル算出部（取得部）
２９１  データベース参照部（取得部）
【図１】
2019215173.tif 000006
【図２】
2019215173.tif 000007
【図３】
2019215173.tif 000008
【図４】
2019215173.tif 000009
【図５】
2019215173.tif 000010
【図６】
2019215173.tif 000011
【図７】
2019215173.tif 000012
【図８】
2019215173.tif 000013
【図９】
2019215173.tif 000014
【図１０】
2019215173.tif 000015
【図１１】
2019215173.tif 000016
【図１２】
2019215173.tif 000017
【図１３】
2019215173.tif 000018
【図１４】
2019215173.tif 000019
【図１５】
2019215173.tif 000020
【図１６】
2019215173.tif 000021
【図１７】
2019215173.tif 000022
【図１８】
2019215173.tif 000023
【図１９】
2019215173.tif 000024
【図２０】
2019215173.tif 000025