(57)【要約】      （修正有）【課題】植物の生育環境の制約を受けることなく、植物の画像領域を高精度に抽出し、生育状況を正確に監視できる生育状況監視装置及び生育状況監視方法と、葉の面積を簡易に推定できる生育状況監視装置及び植物の生育状況監視方法を提供する。【解決手段】植物領域特定濃度範囲取得部３２Ｃは、Ｒ画像とＧ画像とＢ画像に共通かつ複数の指定区分領域を設定して、Ｒ画像のＲ濃度成分とＧ画像のＧ濃度成分とＢ画像のＢ濃度成分の組み合わせにより規定される植物領域特定濃度範囲を取得する。植物領域抽出部３２Ｄは、Ｒ画像とＧ画像とＢ画像を走査して、Ｒ画像のＲ濃度成分とＧ画像のＧ濃度成分とＢ画像のＢ濃度成分の組み合わせが植物領域特定濃度範囲に含まれる画素領域を植物領域として抽出する。生育状況監視部３２Ｅは、Ｒ画像のＲ濃度成分とＧ画像のＧ濃度成分とＢ画像のＢ濃度成分の組み合わせの時系列的な推移に基づいて、植物の生育状況を監視する。【選択図】図３
2019037225.tif 000002
【特許請求の範囲】
【請求項１】
植物を撮影した撮影画像を取得する撮影画像取得部と、
前記撮影画像からＲ成分とＧ成分とＢ成分をそれぞれ抽出したＲ画像とＧ画像とＢ画像を取得するＲＧＢ画像取得部と、
前記Ｒ画像と前記Ｇ画像と前記Ｂ画像に共通かつ複数の指定区分領域を設定して、当該指定区分領域において、前記Ｒ画像のＲ濃度成分と前記Ｇ画像のＧ濃度成分と前記Ｂ画像のＢ濃度成分の組み合わせにより規定される植物領域特定濃度範囲を取得する植物領域特定濃度範囲取得部と、
前記Ｒ画像と前記Ｇ画像と前記Ｂ画像を走査して、前記Ｒ画像のＲ濃度成分と前記Ｇ画像のＧ濃度成分と前記Ｂ画像のＢ濃度成分の組み合わせが前記植物領域特定濃度範囲に含まれている画素領域を植物領域として抽出する植物領域抽出部と、
前記植物領域における前記Ｒ画像のＲ濃度成分と前記Ｇ画像のＧ濃度成分と前記Ｂ画像のＢ濃度成分の組み合わせの時系列的な推移に基づいて、前記植物の生育状況を監視する生育状況監視部と、
を有することを特徴とする植物の生育状況監視装置。
【請求項２】
前記生育状況監視部は、前記植物領域特定濃度範囲を予め設定した複数の生育段階に変換して、前記複数の生育段階の中で、前記植物領域における前記Ｒ画像のＲ濃度成分と前記Ｇ画像のＧ濃度成分と前記Ｂ画像のＢ濃度成分の組み合わせにより規定される生育段階の割合が時系列的にどのように推移するかに基づいて、前記植物の生育状況を監視する、
ことを特徴とする請求項１に記載の植物の生育状況監視装置。
【請求項３】
前記生育状況監視部が監視した前記植物の生育状況に基づいて、前記植物としての花の受粉時期を決定する受粉時期決定部をさらに有する、
ことを特徴とする請求項１又は請求項２に記載の植物の生育状況監視装置。
【請求項４】
前記受粉時期決定部は、前記植物としての前記花の生育速度を判定して、当該生育速度に応じて、前記植物としての前記花の受粉時期を推測して決定する、
ことを特徴とする請求項３に記載の植物の生育状況監視装置。
【請求項５】
前記植物としての前記花を表示部に表示するときに、前記受粉時期決定部が決定した受粉時期に応じて、前記植物としての前記花の表示態様を異ならせる表示制御部をさらに有する、
ことを特徴とする請求項３又は請求項４に記載の植物の生育状況監視装置。
【請求項６】
前記生育状況監視部が監視した前記植物の生育状況に基づいて、前記植物としての実の収穫時期を決定する収穫時期決定部をさらに有する、
ことを特徴とする請求項１又は請求項２に記載の植物の生育状況監視装置。
【請求項７】
前記収穫時期決定部は、前記植物としての前記実の生育速度を判定して、当該生育速度に応じて、前記植物としての前記実の収穫時期を推測して決定する、
ことを特徴とする請求項６に記載の植物の生育状況監視装置。
【請求項８】
前記植物としての前記実を表示部に表示するときに、前記収穫時期決定部が決定した収穫時期に応じて、前記植物としての前記実の表示態様を異ならせる表示制御部をさらに有する、
ことを特徴とする請求項６又は請求項７に記載の植物の生育状況監視装置。
【請求項９】
前記植物領域抽出部が抽出した植物領域としての葉の面積を計測する葉面積計測部をさらに有する、
ことを特徴とする請求項１から請求項８のいずれかに記載の植物の生育状況監視装置。
【請求項１０】
前記葉面積計測部は、前記植物としての前記葉を上方向から撮影した上方向撮影画像に基づいた上方向葉面積と、前記植物としての前記葉を横方向から撮影した横方向撮影画像に基づいた横方向葉面積とを算出するとともに、前記横方向葉面積によって前記上方向葉面積を補正する、
ことを特徴とする請求項９に記載の植物の生育状況監視装置。
【請求項１１】
前記葉面積計測部は、前記横方向葉面積の現在値を初期値で除算した横方向葉面積比率ｘを変数として上方向葉面積補正係数ｙを算出し、前記上方向葉面積補正係数ｙを前記上方向葉面積に乗算することにより、前記上方向葉面積を補正する、
ことを特徴とする請求項１０に記載の植物の生育状況監視装置。
【請求項１２】
前記生育状況監視部が監視した前記植物の生育状況に基づいて、前記植物としての葉の葉かき時期を決定する葉かき時期決定部をさらに有する、
ことを特徴とする請求項１又は請求項２に記載の植物の生育状況監視装置。
【請求項１３】
前記葉かき時期決定部は、前記植物としての前記葉の面積比率及び／又は生育異常を判定して、当該面積比率及び／又は生育異常に応じて、前記植物としての前記葉の葉かき時期を推測して決定する、
ことを特徴とする請求項１２に記載の植物の生育状況監視装置。
【請求項１４】
前記植物としての前記葉を表示部に表示するときに、前記葉かき時期決定部が決定した葉かき時期に応じて、前記植物としての前記葉の表示態様を異ならせる表示制御部をさらに有する、
ことを特徴とする請求項１２又は請求項１３に記載の植物の生育状況監視装置。
【請求項１５】
前記植物領域抽出部が抽出した植物領域としての花の個数を計測する花個数計測部をさらに有する、
ことを特徴とする請求項１から請求項１４のいずれかに記載の植物の生育状況監視装置。
【請求項１６】
前記花個数計測部は、計測対象である花の色分布情報に基づいて前記花の共通した特徴を抽象化して定義する花抽象化定義部と、前記花抽象化定義部による定義に従って花候補の中から花を検出する花検出部とを有する、
ことを特徴とする請求項１５に記載の植物の生育状況監視装置。
【請求項１７】
植物を撮影した撮影画像を取得する撮影画像取得ステップと、
前記撮影画像からＲ成分とＧ成分とＢ成分をそれぞれ抽出したＲ画像とＧ画像とＢ画像を取得するＲＧＢ画像取得ステップと、
前記Ｒ画像と前記Ｇ画像と前記Ｂ画像に共通かつ複数の指定区分領域を設定して、当該指定区分領域において、前記Ｒ画像のＲ濃度成分と前記Ｇ画像のＧ濃度成分と前記Ｂ画像のＢ濃度成分の組み合わせにより規定される植物領域特定濃度範囲を取得する植物領域特定濃度範囲取得ステップと、
前記Ｒ画像と前記Ｇ画像と前記Ｂ画像を走査して、前記Ｒ画像のＲ濃度成分と前記Ｇ画像のＧ濃度成分と前記Ｂ画像のＢ濃度成分の組み合わせが前記植物領域特定濃度範囲に含まれている画素領域を植物領域として抽出する植物領域抽出ステップと、
前記植物領域における前記Ｒ画像のＲ濃度成分と前記Ｇ画像のＧ濃度成分と前記Ｂ画像のＢ濃度成分の組み合わせの時系列的な推移に基づいて、前記植物の生育状況を監視する生育状況監視ステップと、
を有することを特徴とする植物の生育状況監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、植物の生育状況監視装置及び植物の生育状況監視方法に関する。
【背景技術】
【０００２】
特許文献１には、植物体を撮像して取得したカラー画像より植物体の画像領域を抽出する方法が開示されている。この方法では、カラー画像の所定の色成分画像について背景の画像領域の濃度値を計測し、その計測値を予め同種の植物体のサンプルを用いて求められた２値化しきい値を算出する演算式に当てはめて背景の画像領域の明るさに応じた２値化しきい値を算出する。そして、２値化しきい値により色成分画像を２値化処理してマスク画像を生成し、そのマスク画像を用いてカラー画像より植物体の画像領域のみを抽出する。カラー画像は、単位画素当たりの面積を求めるための基準板の画像を含んでいる。２値化しきい値を算出する演算式は、色成分画像の背景の画像領域内の最も暗いまたは最も明るい決められた領域の濃度値と基準板の画像領域の濃度値との間の値に２値化しきい値を決定するものである。
【０００３】
特許文献２には、植物を撮像し距離画像を出力する距離画像カメラと、前記距離画像カメラから距離画像を取得して記録部に記録する距離画像記録手段と、前記距離画像から植物の葉に対応する葉距離画像を抽出する葉距離画像抽出手段と、前記葉距離画像に基づいて葉の部分の面積を合計した合計葉面積に基づいて葉面積指数を算出する算出手段とを備えた生育管理装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５７６１７８９号公報
【特許文献２】特開２０１６−１３１４９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１は、植物の生育環境（栽培環境）を制約しなければならないという技術課題がある。例えば、特許文献１は、カラー画像に単位画素当たりの面積を求めるための基準板（指標物）の画像が含まれていること、色成分画像に二値化の基準となる明暗の基準領域が存在することが必須となっており、パレット上に同一環境で植物を生育管理（栽培管理）するような場合に適用範囲が限られている。
【０００６】
また、特許文献２は、距離画像カメラによって葉とカメラの距離から葉面積を補正して葉面積を算出する方式である。しかし、実際の植物の生育環境では、成長と共に、葉同士が複雑に重なり、複数の方向から撮影しても全ての葉を見ることは困難であり、かつ、複数の距離画像から個々の葉を抽出し、面積算出するのは処理が複雑となる。例えば、上部カメラのみで、葉面積を算出する場合、植物の成長初期段階では、葉が重なっている部分が少なく、実際の葉面積との誤差を抑えた計測が可能であるが、成長に伴って葉の重なりが増えるに従い、計測誤差が拡大する課題がある。あるいは、手で葉の寸法、枚数を計測し、葉全体の面積を計測する必要がある。このように、従来の方式は、植物の生育に従い、多方向から撮影する必要があり、それに伴って処理が複雑となる。また、どの方向からも見えない葉については計測することができない。
【０００７】
本発明はかかる点に鑑みてなされたものであり、植物の生育環境の制約を受けることなく、植物の画像領域を高精度に抽出するとともに、植物の生育状況を正確に監視することができる植物の生育状況監視装置及び植物の生育状況監視方法を提供することを目的の１つとする。あるいは、本発明は、監視対象としての植物の葉の面積を簡易に推定することができる植物の生育状況監視装置及び植物の生育状況監視方法を提供することを目的の１つとする。
【課題を解決するための手段】
【０００８】
本実施形態の植物の生育状況監視装置は、その一態様では、植物を撮影した撮影画像を取得する撮影画像取得部と、前記撮影画像からＲ成分とＧ成分とＢ成分をそれぞれ抽出したＲ画像とＧ画像とＢ画像を取得するＲＧＢ画像取得部と、前記Ｒ画像と前記Ｇ画像と前記Ｂ画像に共通かつ複数の指定区分領域を設定して、当該指定区分領域において、前記Ｒ画像のＲ濃度成分と前記Ｇ画像のＧ濃度成分と前記Ｂ画像のＢ濃度成分の組み合わせにより規定される植物領域特定濃度範囲を取得する植物領域特定濃度範囲取得部と、前記Ｒ画像と前記Ｇ画像と前記Ｂ画像を走査して、前記Ｒ画像のＲ濃度成分と前記Ｇ画像のＧ濃度成分と前記Ｂ画像のＢ濃度成分の組み合わせが前記植物領域特定濃度範囲に含まれている画素領域を植物領域として抽出する植物領域抽出部と、前記植物領域における前記Ｒ画像のＲ濃度成分と前記Ｇ画像のＧ濃度成分と前記Ｂ画像のＢ濃度成分の組み合わせの時系列的な推移に基づいて、前記植物の生育状況を監視する生育状況監視部と、を有することを特徴としている。
【０００９】
本実施形態の植物の生育状況監視方法は、その一態様では、植物を撮影した撮影画像を取得する撮影画像取得ステップと、前記撮影画像からＲ成分とＧ成分とＢ成分をそれぞれ抽出したＲ画像とＧ画像とＢ画像を取得するＲＧＢ画像取得ステップと、前記Ｒ画像と前記Ｇ画像と前記Ｂ画像に共通かつ複数の指定区分領域を設定して、当該指定区分領域において、前記Ｒ画像のＲ濃度成分と前記Ｇ画像のＧ濃度成分と前記Ｂ画像のＢ濃度成分の組み合わせにより規定される植物領域特定濃度範囲を取得する植物領域特定濃度範囲取得ステップと、前記Ｒ画像と前記Ｇ画像と前記Ｂ画像を走査して、前記Ｒ画像のＲ濃度成分と前記Ｇ画像のＧ濃度成分と前記Ｂ画像のＢ濃度成分の組み合わせが前記植物領域特定濃度範囲に含まれている画素領域を植物領域として抽出する植物領域抽出ステップと、前記植物領域における前記Ｒ画像のＲ濃度成分と前記Ｇ画像のＧ濃度成分と前記Ｂ画像のＢ濃度成分の組み合わせの時系列的な推移に基づいて、前記植物の生育状況を監視する生育状況監視ステップと、を有することを特徴としている。
【００１０】
本実施形態の植物の生育状況監視装置は、別の態様では、植物としての葉を上方向から撮影した上方向撮影画像と、植物としての葉を横方向から撮影した横方向撮影画像とを取得する撮影画像取得部と、前記上方向撮影画像に基づいた上方向葉面積と、前記横方向撮影画像に基づいた横方向葉面積とを算出するとともに、前記横方向葉面積によって前記上方向葉面積を補正することで、植物としての葉の面積を計測する葉面積計測部と、を有することを特徴としている。
【００１１】
本実施形態の植物の生育状況監視方法は、別の態様では、植物としての葉を上方向から撮影した上方向撮影画像と、植物としての葉を横方向から撮影した横方向撮影画像とを取得する撮影画像取得ステップと、前記上方向撮影画像に基づいた上方向葉面積と、前記横方向撮影画像に基づいた横方向葉面積とを算出するとともに、前記横方向葉面積によって前記上方向葉面積を補正することで、植物としての葉の面積を計測する葉面積計測ステップと、を有することを特徴としている。
【発明の効果】
【００１２】
本発明によれば、植物の生育環境の制約を受けることなく、植物の画像領域を高精度に抽出するとともに、植物の生育状況を正確に監視することができる植物の生育状況監視装置及び植物の生育状況監視方法を提供することができる。また、本発明は、監視対象としての植物の葉の面積を簡易に推定することができる植物の生育状況監視装置及び植物の生育状況監視方法を提供することを目的の１つとする。
【図面の簡単な説明】
【００１３】
【図１】本実施形態による植物の生育状況監視装置を搭載した植物生育管理システムの構成を示す図である。
【図２】植物生育管理装置のハードウェア構成を示す図である。
【図３】ＣＰＵの内部構成を示す機能ブロック図である。
【図４】ＲＧＢ画像取得部が撮影画像からＲ画像とＧ画像とＢ画像を取得する様子、及び、植物領域特定濃度範囲取得部が指定区分領域においてＲ画像のＲ濃度成分とＧ画像のＧ濃度成分とＢ画像のＢ濃度成分の組み合わせにより規定される植物領域特定濃度範囲を取得する様子を示す概念図である。
【図５】植物領域特定濃度範囲を変換した複数の生育段階の一例を示す図である。
【図６】イチゴの花（花中心）の生育段階の時系列的な推移の一例を示す図である。
【図７】イチゴの実の生育段階の時系列的な推移の一例を示す図である。
【図８】イチゴの花（花中心）の生育速度の個別のバラツキの一例を示す図である。
【図９】イチゴの実の生育速度の個別のバラツキの一例を示す図である。
【図１０】横方向葉面積比率ｘと上方向葉面積補正係数ｙの関係の一例を示す図である。
【図１１】所定期間に亘る補正前後の上方向葉面積の一例を示す第１の図である。
【図１２】所定期間に亘る補正前後の上方向葉面積の一例を示す第２の図である。
【図１３】イチゴの葉の生育段階の時系列的な推移の一例を示す第１の図である。
【図１４】イチゴの葉の生育段階の時系列的な推移の一例を示す第２の図である。
【図１５】イチゴの葉の生育段階の時系列的な推移の一例を示す第３の図である。
【図１６】花個数計測部の内部構成の一例を示す機能ブロック図である。
【図１７】花抽象化定義部による花抽象化処理の一例を示す図である。
【図１８】花抽象化定義部による処理の一例を示すフローチャートである。
【図１９】花検出部による処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１４】
図１は、本実施形態による植物の生育状況監視装置を搭載した植物生育管理システムの構成を示す図である。植物生育管理システム１は、例えば、植物工場に設置されて、当該植物工場で生育される野菜や果物等の植物１０（図１ではイチゴを例示して描いている）の画像を抽出し、抽出した植物１０の画像に基づいて、当該植物１０の生育情報を推定して、当該植物１０の生育管理（水や栄養分の調整等）を実行する。
【００１５】
植物生育管理システム１は、カラーカメラ（撮影画像取得部）２０と、植物生育管理装置（制御用ＰＣ）３０とを有している。カラーカメラ２０と植物生育管理装置３０は、互いに通信可能に接続されている。
【００１６】
カラーカメラ２０は、植物１０を撮影した撮影画像（ＲＧＢ画像）を取得する（図１はグレースケールで読み込んでいるが植物１０の撮影画像はカラー画像である）。カラーカメラ２０は、撮影（取得）した撮影画像を植物生育管理装置３０に送信する。カラーカメラ２０は、植物１０を上方向から撮影する上カメラ２１Ｃ、並びに、植物１０を横方向から撮影する第１横カメラ２２Ｃ及び第２横カメラ２３Ｃを有している。例えば、上カメラ２１Ｃにより植物の株の密度を主にモニタリングし、第１横カメラ２２Ｃ及び第２横カメラ２３Ｃにより植物の丈の長さを主にモニタリングすることができる。
【００１７】
なお、カラーカメラ２０の数や配置には自由度があり（図１に描いたものに限定されず）、種々の設計変更が可能である。例えば、カラーカメラを１つ、２つ又は４つ以上設ける態様も可能である。
【００１８】
図２は、植物生育管理装置３０のハードウェア構成を示す図である。植物生育管理装置３０は、インターフェース部（撮影画像取得部）３１Ｉと、ＣＰＵ３２Ｘと、メモリ３３と、記憶部３４と、入力部３５と、表示部３６と、これら構成要素を互いに接続するバス３７とを有している。
【００１９】
インターフェース部３１Ｉは、カラーカメラ２０から送信されてきた撮影画像（ＲＧＢ画像）を受信（取得）する。すなわち、撮影画像を取得する「撮影画像取得部」は、カラーカメラ２０であってもよいし、植物生育管理装置３０のインターフェース部３１Ｉであってもよい。別言すると、本実施形態の「植物の生育状況監視装置」は、カラーカメラ２０と植物生育管理装置３０の組み合わせによって構成されてもよいし、植物生育管理装置３０の単体で構成されてもよい。
【００２０】
ＣＰＵ３２Ｘは、植物生育管理装置３０の全構成要素を制御するための中央処理装置である。ＣＰＵ３２Ｘの詳細構成や具体的制御については後述する。
【００２１】
メモリ３３は、例えばＲＡＭ（Random  Access  Memory）等から構成されており、インターフェース部３１Ｉが受信した撮影画像を記録するとともに、ＣＰＵ３２Ｘが処理中のデータやプログラム等を記録するものである。
【００２２】
記憶部３４は、例えばＨＤＤ（Hard  Disc  Drive）等から構成されており、ＣＰＵ３２Ｘがその機能（特に本実施形態による植物の生育状況監視機能）を実現するための各種のプログラムやデータ等を記憶するものである。
【００２３】
入力部３５は、例えばキーボードやマウス等を有する入力装置から構成されている。
【００２４】
表示部３６は、インターフェース部３１Ｉが受信した撮影画像やその他の画像、植物１０の生育管理情報等を表示する表示装置から構成されている。
【００２５】
図３は、ＣＰＵ３２Ｘの内部構成を示す機能ブロック図である。ＣＰＵ３２Ｘは、フィルタリング部３２Ａと、ＲＧＢ画像取得部３２Ｂと、植物領域特定濃度範囲取得部３２Ｃと、植物領域抽出部３２Ｄと、生育状況監視部３２Ｅと、受粉時期決定部３２Ｆと、収穫時期決定部３２Ｇと、強調表示制御部（表示制御部）３２Ｈと、花個数計測部３２Ｉと、実個数計測部３２Ｊと、葉面積計測部３２Ｋと、葉かき時期決定部３２Ｌとを有している。
【００２６】
フィルタリング部３２Ａは、インターフェース部３１Ｉが受信した撮影画像（ＲＧＢ画像）に画素毎のフィルタリング処理を実行する。インターフェース部３１Ｉが受信した撮影画像は、各画素がＲ成分とＧ成分とＢ成分の濃度値（本実施形態では０〜２５５の２５６段階）を有しており、これらＲ濃度成分とＧ濃度成分とＢ濃度成分の組み合わせによって当該画素の色味が規定される。フィルタリング部３２Ａは、ある特定画素に着目したときに、当該特定画素に隣接する複数画素（例えば当該特定画素を取り囲む８画素）によって当該特定画素のＲ濃度成分とＧ濃度成分とＢ濃度成分を平均化することで、フィルタリング処理を実行する。なお、フィルタリング部３２Ａは本実施形態の必須の構成要素ではなく、フィルタリング部３２Ａを省略することも可能である。
【００２７】
ＲＧＢ画像取得部３２Ｂは、インターフェース部３１Ｉが受信した撮影画像又はフィルタリング部３２Ａがフィルタリング処理を実行した撮影画像からＲ成分とＧ成分とＢ成分をそれぞれ抽出したＲ画像とＧ画像とＢ画像を取得する（撮影画像をＲ画像とＧ画像とＢ画像に分解する）。Ｒ画像には主に撮影画像の赤色成分の濃度が記録されており、Ｇ画像には主に撮影画像の緑色成分の濃度が記録されており、Ｂ画像には主に撮影画像の青色成分の濃度が記録されている。ＲＧＢ画像取得部３２Ｂが取得したＲ画像とＧ画像とＢ画像は、元の撮影画像と対応付けられて、メモリ３３又は記憶部３４に記憶される。
【００２８】
植物領域特定濃度範囲取得部３２Ｃは、ＲＧＢ画像取得部３２Ｂが取得したＲ画像とＧ画像とＢ画像に共通かつ複数の指定区分領域を設定して、当該指定区分領域において、Ｒ画像のＲ濃度成分とＧ画像のＧ濃度成分とＢ画像のＢ濃度成分の組み合わせにより規定される植物領域特定濃度範囲を取得する。
【００２９】
図４は、ＲＧＢ画像取得部３２Ｂが撮影画像からＲ画像とＧ画像とＢ画像を取得する様子、及び、植物領域特定濃度範囲取得部３２Ｃが指定区分領域においてＲ画像のＲ濃度成分とＧ画像のＧ濃度成分とＢ画像のＢ濃度成分の組み合わせにより規定される植物領域特定濃度範囲を取得する様子を示す概念図である。図４はグレースケールで読み込んだものであるため、撮影画像及びＲ画像とＧ画像とＢ画像が判別し難くなっているが、撮影画像はＲＧＢの各色成分を含んでおり、Ｒ画像は主にＲ成分を含んでおり、Ｇ画像は主にＧ成分を含んでおり、Ｂ画像は主にＢ成分を含んでいる。また、撮影画像及びＲ画像とＧ画像とＢ画像は、横方向にｎ画素（Ｘ＝１〜Ｘｎ）かつ縦方向にｎ画素（Ｙ＝１〜Ｙｎ）を含んで構成されている。
【００３０】
図４において、植物領域特定濃度範囲取得部３２Ｃは、ＲＧＢ画像取得部３２Ｂが取得したＲ画像とＧ画像とＢ画像に共通の３つの指定区分領域I、II、IIIを設定する。各指定区分領域I、II、IIIは、例えば、１画素であってもよいし、横方向にａ画素かつ縦方向にａ画素を含んだ複数画素で構成されていてもよい（ａはｎよりも十分に小さい）。なお、指定区分領域I、II、IIIの数や配置については自由度があり、抽出対象や抽出精度に応じて、種々の設計変更が可能である。
【００３１】
植物領域特定濃度範囲取得部３２Ｃは、指定区分領域I、II、IIIにおいて、Ｒ平均濃度の最小値と最大値、Ｇ平均濃度の最小値と最大値、Ｂ平均濃度の最小値と最大値を求めて、Ｒ平均濃度の最小値と最大値の差分（間）をＲ平均濃度範囲、Ｇ平均濃度の最小値と最大値の差分（間）をＧ平均濃度範囲、Ｂ平均濃度の最小値と最大値の差分（間）をＢ平均濃度範囲とする。
【００３２】
植物領域特定濃度範囲取得部３２Ｃは、このようにして求めた指定区分領域I、II、IIIのＲ平均濃度範囲とＧ平均濃度範囲とＢ平均濃度範囲の集合体として、Ｒ画像のＲ濃度成分とＧ画像のＧ濃度成分とＢ画像のＢ濃度成分の組み合わせにより規定される植物領域特定濃度範囲［Ｒ、Ｇ、Ｂ］（Ｒ、Ｇ、Ｂは０〜２５５の２５６段階の濃度値）を取得する。植物領域特定濃度範囲［Ｒ、Ｇ、Ｂ］は、［ＲＭｉｎ〜ＲＭａｘ、ＧＭｉｎ〜ＧＭａｘ、ＢＭｉｎ〜ＢＭａｘ］（ＲＭｉｎ、ＲＭａｘ、ＧＭｉｎ、ＧＭａｘ、ＢＭｉｎ、ＢＭａｘは０〜２５５の２５６段階の濃度値の最小値と最大値）で表現することができる。植物領域特定濃度範囲取得部３２Ｃは、上記のようにして求めた指定区分領域I、II、IIIのＲ平均濃度範囲とＧ平均濃度範囲とＢ平均濃度範囲、及び／又は、植物領域特定濃度範囲［Ｒ、Ｇ、Ｂ］に幅を持たせて、［ＲＭｉｎ±３〜ＲＭａｘ±３、ＧＭｉｎ±３〜ＧＭａｘ±３、ＢＭｉｎ±３〜ＢＭａｘ±３］とすることができる。なお、「±３」の部分については種々の設計変更が可能であり、例えば、「±１」、「±５」、「±７」、「±１０」等に設定することが可能である。植物領域特定濃度範囲取得部３２Ｃが取得した植物領域特定濃度範囲［Ｒ、Ｇ、Ｂ］は、予め、メモリ３３又は記憶部３４に記憶される。
【００３３】
このように、植物領域特定濃度範囲取得部３２Ｃは、例えば、複数画素におけるＲ画像のＲ濃度成分とＧ画像のＧ濃度成分とＢ画像のＢ濃度成分の平均値をとってこれら平均値の組み合わせにより規定される植物領域特定濃度範囲を取得し、且つ／又は、画素毎に取得した植物領域特定濃度範囲を平滑化してこれを植物領域特定濃度範囲とすることが可能である。
【００３４】
あるいは、植物領域特定濃度範囲取得部３２Ｃは、例えば、指定区分領域I、II、IIIが１画素で構成されているような場合には、当該指定区分領域I、II、IIIにおけるＲ画像のＲ濃度成分とＧ画像のＧ濃度成分とＢ画像のＢ濃度成分の組み合わせを［Ｒ１、Ｇ１、Ｂ１］と［Ｒ２、Ｇ２、Ｂ２］と［Ｒ３、Ｇ３、Ｂ３］として求めて、これらの集合体としての植物領域特定濃度範囲［Ｒ、Ｇ、Ｂ］を取得することが可能である。例えば、植物領域特定濃度範囲［Ｒ、Ｇ、Ｂ］は、［Ｒ１〜Ｒ３、Ｇ１〜Ｇ３、Ｂ１〜Ｂ３］で表現することができる。
【００３５】
例えば、イチゴの花（花中心）の場合、初期状態では濃い緑色であり、その後に黄緑色に変化していき、最終的に黄色に変化する。そして、イチゴの花（花中心）の大部分が黄色に変化した段階が、イチゴの花（花中心）の受粉時期とされる。また、イチゴの実の場合、初期状態では全体が白色であり、その後に先端部から順に赤色に変化していき、最終的に全体が赤色に変化する。そして、イチゴの実の大部分が赤色に変化した段階が、イチゴの実の収穫時期とされる。
【００３６】
本実施形態では、異なる生育段階にある複数のイチゴの花（花中心）を指定区分領域に設定して、当該指定区分領域の植物領域特定濃度範囲を取得することで、イチゴの花（花中心）の生育段階は判別できないが、植物領域特定濃度範囲に含まれている画素領域が少なくともイチゴの花（花中心）であることを把握することが可能になる。また、異なる生育段階にある複数のイチゴの実を指定区分領域に設定して、当該指定区分領域の植物領域特定濃度範囲を取得することで、イチゴの実の生育段階は判別できないが、植物領域特定濃度範囲に含まれている画素領域が少なくともイチゴの実であることを把握することが可能になる。
【００３７】
図３に戻って、植物領域抽出部３２Ｄは、ＲＧＢ画像取得部３２Ｂが取得したＲ画像とＧ画像とＢ画像を画素毎に走査して、Ｒ画像のＲ濃度成分とＧ画像のＧ濃度成分とＢ画像のＢ濃度成分の組み合わせが、植物領域特定濃度範囲取得部３２Ｃが取得した植物領域特定濃度範囲に含まれている画素領域を、植物領域として抽出する。例えば、植物領域抽出部３２Ｄは、植物領域として、イチゴの花（花中心）やイチゴの実を抽出する。
【００３８】
より具体的に、植物領域抽出部３２Ｄは、ＲＧＢ画像取得部３２Ｂが取得したＲ画像とＧ画像とＢ画像のＲ濃度成分とＧ濃度成分とＢ濃度成分が［ＲＸ、ＧＸ、ＢＸ］（ＲＸ、ＧＸ、ＢＸは０〜２５５の２５６段階の濃度値）である場合において、［ＲＸ、ＧＸ、ＢＸ］が、植物領域特定濃度範囲取得部３２Ｃが取得した植物領域特定濃度範囲［Ｒ、Ｇ、Ｂ］⇒［ＲＭｉｎ〜ＲＭａｘ、ＧＭｉｎ〜ＧＭａｘ、ＢＭｉｎ〜ＢＭａｘ］又は［Ｒ１〜Ｒ３、Ｇ１〜Ｇ３、Ｂ１〜Ｂ３］に含まれているとき、当該画素領域を植物領域として抽出する。
【００３９】
ここで、植物領域抽出部３２Ｄによる植物領域抽出処理は、時系列に沿って定期的に実行される。これにより、例えば、前回の抽出処理ではその場所（画素）に植物が映り込んでいたが、誤抽出や植物の成長、撮影アングルの変更などによって今回の抽出処理ではその場所（画素）に植物が映り込んでいないような場合にも、適切に対応することができる。さらに、前回の抽出処理でその場所（画素）に存在していた植物が無事に収穫されたような場合にも、適切に対応することができる。植物領域抽出部３２Ｄは、例えば、後述する受粉時期決定部３２Ｆが受粉時期を決定するタイミング、及び／又は、後述する収穫時期決定部３２Ｇが収穫時期を決定するタイミングと同期させて、植物領域抽出処理を実行することができる。
【００４０】
生育状況監視部３２Ｅは、植物領域抽出部３２Ｄが抽出した植物領域におけるＲ画像のＲ濃度成分とＧ画像のＧ濃度成分とＢ画像のＢ濃度成分の組み合わせの時系列的な推移に基づいて、植物（イチゴの花（花中心）やイチゴの実）の生育状況を監視する。
【００４１】
生育状況監視部３２Ｅは、植物領域特定濃度範囲取得部３２Ｃが取得した植物領域特定濃度範囲を予め設定した複数の生育段階に変換する。図５Ａと図５Ｂは植物領域特定濃度範囲を変換した複数の生育段階の一例を示しており、図５Ａはイチゴの花（花中心）の場合を示しており、図５Ｂはイチゴの実の場合を示している。図５Ａでは、イチゴの花（花中心）の複数の生育段階が、色味が濃い緑色である生育段階１１、色味が黄緑色である生育段階１２、及び、色身が黄色である生育段階１３の３段階に設定されている。図５Ｂでは、イチゴの実の複数の生育段階が、色味が白色である生育段階２１、及び、色味が赤色である生育段階２２の２段階に設定されている。なお、ここで設定する植物の生育段階の段階数には自由度があり、種々の設計変更が可能である。
【００４２】
生育状況監視部３２Ｅは、当該生育状況監視部３２Ｅが設定した複数の生育段階の中で、植物領域抽出部３２Ｄが抽出した植物領域におけるＲ画像のＲ濃度成分とＧ画像のＧ濃度成分とＢ画像のＢ濃度成分の組み合わせにより規定される生育段階の割合が時系列的にどのように推移するかに基づいて、植物の生育状況を監視する。
【００４３】
図６は、イチゴの花（花中心）の生育段階の時系列的な推移の一例を示している。図６Ａでは、イチゴの花（花中心）の色味が濃い緑色である生育段階１１となっており、図６Ｂでは、イチゴの花（花中心）の色味が黄緑色である生育段階１２となっており、図６Ｃでは、イチゴの花（花中心）の色味が黄色である生育段階１３となっている。
【００４４】
図７は、イチゴの実の生育段階の時系列的な推移の一例を示している。図７Ａでは、イチゴの実の全体の色味が白色である生育段階２１となっており、図７Ｂでは、イチゴの実の先端側の半分の色味が赤色である生育段階２２且つ基端側の半分の色味が白色である生育段階２１となっており、図７Ｃでは、イチゴの実の全体の色味が赤色である生育段階２２となっている。
【００４５】
受粉時期決定部３２Ｆは、生育状況監視部３２Ｅが監視した植物の生育状況に基づいて、当該植物としての花（花中心）の受粉時期を決定する。図６Ａ〜図６Ｃに示したイチゴの花（花中心）を例に挙げると、受粉時期決定部３２Ｆは、イチゴの花（花中心）を構成する画素領域を時系列的にモニタリングしており、当該画素領域のうちの９０％が、その色味が黄色である生育段階１３となったときに、イチゴの花（花中心）の受粉時期が到来したものと決定することができる。また、受粉時期決定部３２Ｆは、イチゴの花（花中心）を構成する画素領域を時系列的にモニタリングしており、当該画素領域のうちの７０％〜８０％が、その色味が黄色である生育段階１３となったときに、近い将来（例えば数日後）にイチゴの花（花中心）の受粉時期が到来するものと決定することができる。受粉時期決定部３２Ｆが決定した受粉時期に従って、例えば、受粉に必要な人員やミツバチの手配を適切に実行することができる。
【００４６】
受粉時期決定部３２Ｆは、植物としての花（花中心）の生育速度を個別に判定して、生育速度に応じて、花（花中心）の受粉時期を推測して決定することができる。図８Ａ、図８Ｂに示すように、時系列に沿った画像１と画像２と画像３に２つの花（花中心）がそれぞれ映り込んでいるとき、図８Ａの花（花中心）の方が図８Ｂの花（花中心）よりも生育速度が速く、生育段階１１から生育段階１２を経て生育段階１３に到達する割合の変化量が大きくなっている。受粉時期決定部３２Ｆは、このような花（花中心）の生育速度の違いを考慮に入れて、例えば、それぞれの花（花中心）にて生育段階１３に到達する画素が増大する生育速度（％／ｈ）（植物領域抽出部３２Ｄによる植物領域抽出処理を一時間毎に実行したものと仮定）を演算する。そして、受粉時期決定部３２Ｆは、例えば、ある花（花中心）の生育速度が速い場合には、当該花（花中心）を構成する画素領域のうちの８５％が、その色味が黄色である生育段階１３となったときに、当該花（花中心）の受粉時期が到来したものと決定することができる。また、受粉時期決定部３２Ｆは、ある花（花中心）の生育速度が遅い場合には、当該花（花中心）を構成する画素領域のうちの９５％が、その色味が黄色である生育段階１３となったときに、当該花（花中心）の受粉時期が到来したものと決定することができる。また、受粉時期決定部３２Ｆは、例えば、花（花中心）の生育速度を示す傾き曲線の微分値をとることで、あと何時間後あるいは何日後に花（花中心）の受粉時期が到来するかを正確に予測することができる。
【００４７】
収穫時期決定部３２Ｇは、生育状況監視部３２Ｅが監視した植物の生育状況に基づいて、当該植物としての実の収穫時期を決定する。図７Ａ〜図７Ｂに示したイチゴの実を例に挙げると、収穫時期決定部３２Ｇは、イチゴの実を構成する画素領域を時系列的にモニタリングしており、当該画素領域のうちの９０％が、その色味が赤色である生育段階２２となったときに、イチゴの実の収穫時期が到来したものと決定することができる。また、収穫時期決定部３２Ｇは、イチゴの実を構成する画素領域を時系列的にモニタリングしており、当該画素領域のうちの７０％〜８０％が、その色味が赤色である生育段階２２となったときに、近い将来（例えば数日後）にイチゴの実の収穫時期が到来するものと決定することができる。収穫時期決定部３２Ｇが決定した収穫時期に従って、例えば、収穫に必要な人員や機材の手配を適切に実行することができる。
【００４８】
収穫時期決定部３２Ｇは、植物としての実の生育速度を個別に判定して、生育速度に応じて、実の収穫時期を推測して決定することができる。図９Ａ、図９Ｂに示すように、時系列に沿った画像１と画像２と画像３に２つの実がそれぞれ映り込んでいるとき、図９Ａの実の方が図９Ｂの実よりも生育速度が速く、生育段階２１から生育段階２２に到達する割合の変化量が大きくなっている。収穫時期決定部３２Ｇは、このような実の生育速度の違いを考慮に入れて、例えば、それぞれの実にて生育段階２２に到達する画素が増大する生育速度（％／ｈ）（植物領域抽出部３２Ｄによる植物領域抽出処理を一時間毎に実行したものと仮定）を演算する。そして、収穫時期決定部３２Ｇは、例えば、ある実の生育速度が速い場合には、当該実を構成する画素領域のうちの８５％が、その色味が赤色である生育段階２２となったときに、実の収穫時期が到来したものと決定することができる。また、収穫時期決定部３２Ｇは、ある実の生育速度が遅い場合には、当該実を構成する画素領域のうちの９５％が、その色味が赤色である生育段階２２となったときに、実の収穫時期が到来したものと決定することができる。また、収穫時期決定部３２Ｇは、例えば、実の生育速度を示す傾き曲線の微分値をとることで、あと何時間後あるいは何日後に実の収穫時期が到来するかを正確に予測することができる。
【００４９】
強調表示制御部３２Ｈは、植物領域抽出部３２Ｄが抽出した植物領域（例えばイチゴの花（花中心）やイチゴの実）を表示部３６に表示するときに、当該植物領域を枠で囲う等の手法により強調表示する。
【００５０】
強調表示制御部３２Ｈは、例えば、植物領域抽出部３２Ｄが抽出した植物領域としてのイチゴの花（花中心）を表示部３６に表示するときに、受粉時期決定部３２Ｆが決定した受粉時期に応じて、当該植物領域としてのイチゴの花（花中心）の表示態様を異ならせることができる。より具体的に、強調表示制御部３２Ｈは、受粉時期決定部３２Ｆと連動して、今直ぐに受粉させるべき花（花中心）を最も大きい枠で囲って、１〜２日後に受粉させるべき花（花中心）を２番目に大きい枠で囲って、３〜４日後に受粉させるべき花（花中心）を最も小さい枠で囲って、それぞれ異なる態様で強調表示することができる。
【００５１】
強調表示制御部３２Ｈは、例えば、植物領域抽出部３２Ｄが抽出した植物領域としてのイチゴの実を表示部３６に表示するときに、収穫時期決定部３２Ｇが決定した収穫時期に応じて、当該植物領域としてのイチゴの実の表示態様を異ならせることができる。より具体的に、強調表示制御部３２Ｈは、収穫時期決定部３２Ｇと連動して、今直ぐに収穫すべき実を最も大きい枠で囲って、１〜２日後に収穫すべき実を２番目に大きい枠で囲って、３〜４日後に収穫すべき実を最も小さい枠で囲って、それぞれ異なる態様で強調表示することができる。
【００５２】
花個数計測部３２Ｉは、植物領域抽出部３２Ｄが抽出した植物領域としての花（花中心）の個数を計測する。花個数計測部３２Ｉを強調表示制御部３２Ｈと連動させて、花個数計測部３２Ｉが花（花中心）の個数として計測したものに限って強調表示制御部３２Ｈがこれを強調表示してもよい。
【００５３】
実個数計測部３２Ｊは、植物領域抽出部３２Ｄが抽出した植物領域としての実の個数を計測する。実個数計測部３２Ｊを強調表示制御部３２Ｈと連動させて、実個数計測部３２Ｊが実の個数として計測したものに限って強調表示制御部３２Ｈがこれを強調表示してもよい。
【００５４】
葉面積計測部３２Ｋは、植物領域抽出部３２Ｄが抽出した植物領域としての葉の面積を計測する。葉面積計測部３２Ｋを強調表示制御部３２Ｈと連動させて、葉面積計測部３２Ｋが計測した葉の面積が所定面積以上のものに限って、強調表示制御部３２Ｈがこれを強調表示してもよい。
【００５５】
葉面積計測部３２Ｋは、植物としての葉を上方向から撮影した上方向撮影画像に基づいた上方向葉面積と、植物としての葉を横方向から撮影した横方向撮影画像に基づいた横方向葉面積とを算出する。例えば、上方向撮影画像は、上カメラ２１Ｃによって撮影することができ、横方向撮影画像は、第１横カメラ２２Ｃ及び／又は第２横カメラ２３Ｃによって撮影することができる。
【００５６】
葉面積計測部３２Ｋは、横方向葉面積によって上方向葉面積を補正する。より具体的に、図１０に示すように、葉面積計測部３２Ｋは、横方向葉面積の現在値を初期値で除算した横方向葉面積比率ｘを変数として上方向葉面積補正係数ｙを算出する。横方向葉面積比率ｘは、初期状態から現在に至るまでの横方向葉面積の増大分についての時系列的な比率を示している。例えば、初期状態の横方向葉面積を１としたとき、現在の横方向葉面積が２であればｘ＝２となり、現在の横方向葉面積が３であればｘ＝３となり、現在の横方向葉面積が５であればｘ＝５となる。このように求めたｘの値をｙ＝０．３８９７ｘ＋０．６３２６に代入することで、ｙの値を算出することができる。例えば、ｘ＝１のときはｙ＝１．０２２３となり、ｘ＝２のときはｙ＝１．４１２となり、ｘ＝３のときはｙ＝１．８０１７となり、ｘ＝５のときはｙ＝２．５８１１となる。ここでは、所定期間における横方向葉面積の増大比率を一次関数による直線で表すことができる。なお、横方向葉面積比率ｘと上方向葉面積補正係数ｙは、一次関数による直線で表す場合の他、マクロな視点で見た時に、横方向葉面積比率ｘの増加に伴って上方向葉面積補正係数ｙも増加する関係であってもよい。
【００５７】
葉面積計測部３２Ｋは、上記のようにして求めた上方向葉面積補正係数ｙを上方向葉面積に乗算することにより、上方向葉面積を補正する。葉の密集度が低く上下方向に重なっていない状態では、上方向葉面積の正確性（信頼度）が高いが、葉の密集度が高く上下方向に重なっている状態では、上方向葉面積の正確性（信頼性）が低くなる。前者の場合には全ての葉の面積が求められるが、後者の場合には下方に隠れた葉の面積が求められないからである。そこで、本実施形態では、葉の密集度や上下方向の重なり具合を示す指標として横方向葉面積に着目し、横方向葉面積に基づいて、横方向葉面積比率ｘ、さらには上方向葉面積補正係数ｙを求めて、上方向葉面積補正係数ｙにより上方向葉面積を補正することで、常に、正確性（信頼度）が高い上方向葉面積を求めることに成功している。すなわち、上カメラ２１Ｃ、第１横カメラ２２Ｃ及び第２横カメラ２３Ｃの撮影画像に基づく葉面積の時系列的な推移により実葉面積を推定して、植物の生育状況を監視することが可能となる。また、ＬＡＩ（葉面積指数）を本推定値及び／又は上カメラ２１Ｃの全体撮影面積により算出して、栽培管理に活用することも可能である。
【００５８】
図１１、図１２は、所定期間に亘る補正前後の上方向葉面積の一例を示す第１、第２の図である。図１２において、下側の破線は補正前の上方向葉面積を示しており、上側の実線は補正後の上方向葉面積を示し、上側の一点鎖線は手計測した葉面積を示している。
【００５９】
Ａ：１０月２７日において、上方向葉面積は３４０４ｃｍ２であり、横方向葉面積は１６７６ｃｍ２であり、横方向葉面積比率ｘは１．０００であり、上方向葉面積補正係数ｙは１．０２２であり、補正後の上方向葉面積は、３４０４ｃｍ２×１．０２２＝約３４８０ｃｍ２となっている。補正後の上方向葉面積は、手計測の上方向葉面積と一致している。
【００６０】
Ｂ：１１月２８日において、上方向葉面積は５０５０ｃｍ２であり、横方向葉面積は３４７４ｃｍ２であり、横方向葉面積比率ｘは２．０７３であり、上方向葉面積補正係数ｙは１．４４０であり、補正後の上方向葉面積は、５０５０ｃｍ２×１．４４０＝約７２７４ｃｍ２となっている。補正後の上方向葉面積は、手計測の上方向葉面積と誤差があるものの大幅に改善されたもの（補正無しの葉面積よりも実際の葉面積により近いもの）となっている。
【００６１】
Ｃ：１２月１９日において、上方向葉面積は７０３３ｃｍ２であり、横方向葉面積は６４８８ｃｍ２であり、横方向葉面積比率ｘは３．８７１であり、上方向葉面積補正係数ｙは２．１４１であり、補正後の上方向葉面積は、７０３３ｃｍ２×２．１４１＝約１５０５９ｃｍ２となっている。補正後の上方向葉面積は、手計測の上方向葉面積と誤差があるものの大幅に改善されたもの（補正無しの葉面積よりも実際の葉面積により近いもの）となっている。
【００６２】
Ｄ：１月３０日において、上方向葉面積は１０６４３ｃｍ２であり、横方向葉面積は１１０７２ｃｍ２であり、横方向葉面積比率ｘは６．６０６であり、上方向葉面積補正係数ｙは３．２０５であり、補正後の上方向葉面積は、１０６４３ｃｍ２×３．２０５＝約３４１０７ｃｍ２となっている。補正後の上方向葉面積は、手計測の上方向葉面積とほぼ一致している。
【００６３】
Ｅ：２月２７日において、上方向葉面積は１１１５２ｃｍ２であり、横方向葉面積は１１９０７ｃｍ２であり、横方向葉面積比率ｘは７．１０４であり、上方向葉面積補正係数ｙは３．４０１であり、補正後の上方向葉面積は、１１１５２ｃｍ２×３．４０１＝約３７９２８ｃｍ２となっている。補正後の上方向葉面積は、手計測の上方向葉面積とほぼ一致している。
【００６４】
葉かき時期決定部３２Ｌは、生育状況監視部３２Ｅが監視した植物の生育状況に基づいて、当該植物としての葉の葉かき時期を決定する。より具体的に、葉かき時期決定部３２Ｌは、植物としての葉の面積比率及び／又は生育異常を判定して、当該面積比率及び／又は生育異常に応じて、植物としての葉の葉かき時期を推測して決定する。例えば、葉の面積比率を、葉の部分の画素数と画像全体の画素数との比率として規定すると、当該比率は、葉の密集度に影響を受ける（比例する）。葉の密集度が高いときに葉かきを行う場合、葉の面積比率を高めに設定することにより、葉かき時期を決定することができる。また、葉の面積比率の推移から葉かき時期を予測することもできる。
【００６５】
図１３〜図１５は、イチゴの葉の生育段階の時系列的な推移の一例を示している。図１３〜図１５において、生育段階３１はイチゴの葉の色味が薄い緑色から濃い緑色である状態を示しており、生育段階３２はイチゴの葉が黄色や茶色などの生育異常を起こしている状態を示している。
【００６６】
図１３Ａ〜図１３Ｃには、時系列に沿った画像１〜画像３に葉が写り込んでいる。図１３Ａでは葉の面積比率が４０％であり、図１３Ｂでは葉の面積比率が６０％であり、図１３Ｃでは葉の面積比率が８０％である。例えば、図１３Ｃのように、葉の面積比率が８０％に到達したことを以って、葉かきを行うべき時期であると判断することができる。また、葉の面積比率を示す傾き曲線の微分値をとることで、あと何日後に葉かき時期が訪れるかを予測することができる。なお、葉かき時期を決定するための葉の面積比率の基準値には自由度があり、任意の値を設定することが可能である。例えば、葉の面積比率が７０％や７５％に到達したことを以って、葉かきを行うべき時期であると判断してもよい。
【００６７】
図１４Ａ〜図１４Ｃは、葉の面積比率に関しては、図１３Ａ〜図１３Ｃと同様である。しかし、イチゴの葉が黄色や茶色などの生育異常を起こした生育段階３２に該当する部分が混在している。このような正常な生育段階３１と異常な生育段階３２を区別して、生育段階３１の面積比率と生育段階３２の面積比率を別個独立に設定することで、より適切な葉かき時期を決定することができる。例えば、図１４Ａのように、異常な生育段階３２の面積比率が正常な生育段階３１の面積比率の１０％に到達した（ここでは８／４０＝２０％）ときに葉かき時期が訪れたと判断し、且つ／又は、図１４Ｃのように、正常な生育段階３１の面積比率が８０％に到達したときに葉かき時期が訪れたと判断することができる。あるいは、正常な生育段階３１の面積比率が６０％以上、且つ、異常な生育段階３２の面積比率が正常な生育段階３１の面積比率の１０％以上であるときに、葉かき時期が訪れたと判断してもよい。このように、葉かき時期を決定するための正常な生育段階３１の面積比率及び／又は異常な生育段階３２の面積比率の基準値には自由度があり、任意の値を設定することが可能である。
【００６８】
あるいは、図１５に示すように、イチゴの葉を含んだ画像全体を複数の区分（ここでは区分１〜区分３）に分割して、区分毎に、葉の面積比率に基づく葉かき時期の決定を行ってもよい。図１５の例では、区分１では葉の面積比率が６０％で葉かきが不要、区分２では葉の面積比率が５０％で葉かきが不要、区分３では葉の面積比率が８７％で葉かきが必要との判断がなされている。
【００６９】
強調表示制御部３２Ｈは、例えば、植物領域抽出部３２Ｄが抽出した植物領域としてのイチゴの葉を表示部３６に表示するときに、葉かき時期決定部３２Ｌが決定した葉かき時期に応じて、当該植物領域としてのイチゴの葉の表示態様を異ならせることができる。より具体的に、強調表示制御部３２Ｈは、今直ぐに葉かきを行うべき葉を枠で囲って強調表示することができる。強調表示制御部３２Ｈは、例えば、図１５の区分１〜区分３の一部を、今直ぐに葉かきを行うべき区分であるとして、枠で囲って強調表示することができる。
【００７０】
ＲＧＢ画像取得部３２Ｂが取得したＲ画像とＧ画像とＢ画像において、植物領域抽出部３２Ｄが植物領域を抽出したとき、当該植物領域を拡大表示（ズーミング）した上で、生育状況監視部３２Ｅが植物の生育状況を監視し、受粉時期決定部３２Ｆが植物としての花（花中心）の受粉時期を決定し、収穫時期決定部３２Ｇが植物としての実の収穫時期を決定し、葉かき時期決定部３２Ｌが植物としての葉の葉かき時期を決定してもよい。植物領域を拡大表示（ズーミング）することで、当該植物領域の画素数が増大されるので、生育状況監視部３２Ｅによる生育状況監視精度、受粉時期決定部３２Ｆによる受粉時期決定精度、収穫時期決定部３２Ｇによる収穫時期決定精度、及び、葉かき時期決定部３２Ｌによる葉かき時期決定精度を向上させることができる。
【００７１】
図１６は、花個数計測部３２Ｉの内部構成の一例を示す機能ブロック図である。花個数計測部３２Ｉは、花抽象化定義部３２Ｉ１と、花検出部３２Ｉ２とを有している。
【００７２】
花抽象化定義部３２Ｉ１は、計測対象である花の色分布情報に基づいて、当該花の共通した特徴を抽象化して定義する。
【００７３】
図１７Ａ〜図１７Ｄは、花抽象化定義部３２Ｉ１による花抽象化処理の一例を示す図である。
【００７４】
図１７Ａに示すように、花抽象化定義部３２Ｉ１は、計測対象である花を含んだ撮影画像の中に、計測対象の花領域（例えば矩形枠）を抽出する。この花領域のサイズは任意に設定が可能である。花抽象化定義部３２Ｉ１は、抽出した花領域に含まれる花弁部分（白）及び花中心（黄色）の色、並びにこれと類似する色を抽出する。花弁（白）及びその類似色は白画素として抽出され、花中心（黄色）及びその類似色は黄色画素として抽出され、その他の色は黒画素として周出することができる。図１７Ａでは、花中心（黄色）及びその類似色として抽出された黄色画素をドットパターンで描いている。このようにして抽出した花領域画像は、花とその類似色の領域を含んだ画像となる。
【００７５】
図１７Ｂに示すように、花抽象化定義部３２Ｉ１は、抽出した花領域画像を特定区分領域に分割する。ここでは、花領域画像を縦横５ブロックずつの２５ブロックに分割した例を示しているが、特定区分領域の分割ブロック数や分割パターンには自由度があり、種々の設計変更が可能である。例えば、花領域画像を縦横１０ブロックずつの１００ブロックに分割したり、花領域画像を縦横の一方が５ブロック且つ他方が１０ブロックの５０ブロックに分割したりすることができる。なお、１ブロックは１画素であってもよいし、複数画素（例えば２×２の４画素）であってもよい。
【００７６】
図１７Ｃに示すように、花抽象化定義部３２Ｉ１は、花領域画像の各分割ブロックの色分布情報を抽出する。ここでは、花領域画像の各分割ブロックについて、白画素数と黄色画素数の割合が大きい色をその分割ブロックの色（Ｗ：白、Ｙ：黄色）として抽出している。なお、分割ブロックの色（Ｗ：白、Ｙ：黄色）が付されていない部分は、花領域ではない黒画素として抽出されてもよい。
【００７７】
図１７Ｄに示すように、花抽象化定義部３２Ｉ１は、花領域画像の各分割ブロックの色分布情報に基づいて、花の共通した特徴を抽出して、花の抽象化定義を行う。ここでは、一例として、中央部分に２×２の４個の中央ブロックを設定し、周辺部分に１２個の周辺ブロックを設定する。そして、４個の中央ブロックが黄色（Ｙ）であり、１２個の周辺ブロックが白（Ｗ）である場合に、その色ブロック情報の組み合わせを花の抽象化パターンとして定義する。あるいは、４個の中央ブロックの２個以上が黄色（Ｙ）であり、１２個の周辺ブロックの４個以上が白（Ｗ）である場合に、その色ブロック情報の組み合わせを花の抽象化パターンとして定義してもよい。なお、花の抽象化パターンを定義するための色ブロック情報の組み合わせには自由度があり、種々の設計変更が可能である。例えば、人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ）を利用して、経験則や学習機能を踏まえて、花の抽象化パターンを定義するための色ブロック情報の組み合わせを適宜アップデートしてもよい。
【００７８】
花検出部３２Ｉ２は、花抽象化定義部３２Ｉ１による定義に従って、花候補の中から花を検出する。花検出部３２Ｉ２は、カラーカメラ２０が撮影した計測対象画像をブロック単位（例えば１画素ブロック単位または２×２の４画素ブロック単位）で走査する。花検出部３２Ｉ２は、走査画像の中から、黄色（Ｙ）及び／又は白（Ｗ）の画素数が特定以上であるブロックを花候補領域として検出する。花検出部３２Ｉ２は、検出した花候補領域ブロック毎に、当該花候補領域ブロックが、花抽象化定義部３２Ｉ１による花の抽象化パターンと一致しているか否かを判定し、一致している場合に当該花候補領域ブロックを花と認定し、一致していない場合に当該花候補領域ブロックを花と認定しない。
【００７９】
図１８は、花抽象化定義部３２Ｉ１による処理の一例を示すフローチャートである。
【００８０】
ステップＳＴ１では、計測対象である花を含んだ撮影画像を取得する。
【００８１】
ステップＳＴ２では、取得した撮影画像の中から計測対象の花領域（例えば矩形枠）を抽出する。
【００８２】
ステップＳＴ３では、抽出した花領域の中から花の色及びその類似色を抽出する。
【００８３】
ステップＳＴ４では、花領域画像を特定区分領域に分割する。
【００８４】
ステップＳＴ５では、花領域画像の各分割ブロックの色分布情報を抽出する。
【００８５】
ステップＳＴ６では、花領域画像の各分割ブロックの色分布情報に基づいて、花の共通した特徴を抽出して、花の抽象化定義を行う。
【００８６】
図１９は、花検出部３２Ｉ２による処理の一例を示すフローチャートである。
【００８７】
ステップＳＴ１１では、計測対象画像をブロック単位（例えば１画素ブロック単位または２×２の４画素ブロック単位）で走査する。
【００８８】
ステップＳＴ１２では、走査画像の中から花候補領域ブロックを検出する。
【００８９】
ステップＳＴ１３では、花候補領域ブロックが花の抽象化パターンと一致しているか否かを判定する。花候補領域ブロックが花の抽象化パターンと一致している場合（ステップＳＴ１３：ＹＥＳ）、ステップＳＴ１４において花の個数を１だけインクリメントして、ステップＳＴ１５に進む。花候補領域ブロックが花の抽象化パターンと一致していない場合（ステップＳＴ１３：ＮＯ）、ステップＳＴ１４をスキップして花の個数をインクリメントすることなく、ステップＳＴ１５に進む。
【００９０】
ステップＳＴ１５では、全ての花候補領域ブロックについて判定が終了したか否かを判定する。全ての花候補領域ブロックについて判定が終了していない場合（ステップＳＴ１５：ＮＯ）、ステップＳＴ１３に戻り、全ての花候補領域ブロックについて判定が終了している場合（ステップＳＴ１５：ＹＥＳ）は、ステップＳＴ１６に進む。このようにして、全ての花候補領域ブロックについて、当該花候補領域ブロックが花に相当するか否かの判定が行われる。
【００９１】
ステップＳＴ１６では、ステップＳＴ１３〜ステップＳＴ１５の処理ループによって算出された花の個数を出力する。これにより、計測対象画像に含まれる花の個数を高精度で算出することができる。
【００９２】
このように、本実施形態によれば、植物領域特定濃度範囲取得部３２Ｃが、Ｒ画像とＧ画像とＢ画像に共通かつ複数の指定区分領域を設定して、当該指定区分領域において、Ｒ画像のＲ濃度成分とＧ画像のＧ濃度成分とＢ画像のＢ濃度成分の組み合わせにより規定される植物領域特定濃度範囲を取得する。また、植物領域抽出部３２Ｄが、Ｒ画像とＧ画像とＢ画像を走査して、Ｒ画像のＲ濃度成分とＧ画像のＧ濃度成分とＢ画像のＢ濃度成分の組み合わせが植物領域特定濃度範囲に含まれている画素領域を植物領域として抽出する。そして、生育状況監視部３２Ｅが、植物領域におけるＲ画像のＲ濃度成分とＧ画像のＧ濃度成分とＢ画像のＢ濃度成分の組み合わせの時系列的な推移に基づいて、植物の生育状況を監視する。これにより、植物の生育環境の制約を受けることなく、植物の画像領域を高精度に抽出するとともに、植物の生育状況を正確に監視することが可能になる。
【００９３】
なお、本発明は上記実施の形態に限定されず、種々変更して実施することが可能である。上記実施の形態において、添付図面に図示されている構成要素の大きさや形状、機能などについては、これに限定されず、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。
【産業上の利用可能性】
【００９４】
本発明は、植物工場に設置される植物の生育状況監視装置及び植物の生育状況監視方法に適用することができる。
【符号の説明】
【００９５】
１  植物の生育管理システム（植物の生育状況監視装置）
１０  植物
２０  カラーカメラ（撮影画像取得部）
２１Ｃ  上カメラ
２２Ｃ  第１横カメラ
２３Ｃ  第２横カメラ
３０  植物生育管理装置（制御用ＰＣ）
３１Ｉ  インターフェース部（撮影画像取得部）
３２Ｘ  ＣＰＵ
３２Ａ  フィルタリング部
３２Ｂ  ＲＧＢ画像取得部
３２Ｃ  植物領域特定濃度範囲取得部
３２Ｄ  植物領域抽出部
３２Ｅ  生育状況監視部
３２Ｆ  受粉時期決定部
３２Ｇ  収穫時期決定部
３２Ｈ  強調表示制御部（表示制御部）
３２Ｉ  花個数計測部
３２Ｉ１  花抽象化定義部
３２Ｉ２  花検出部
３２Ｊ  実個数計測部
３２Ｋ  葉面積計測部
３２Ｌ  葉かき時期決定部
３３  メモリ
３４  記憶部
３５  入力部
３６  表示部
３７  バス
【図１】
2019037225.tif 000003
【図２】
2019037225.tif 000004
【図３】
2019037225.tif 000005
【図４】
2019037225.tif 000006
【図５】
2019037225.tif 000007
【図６】
2019037225.tif 000008
【図７】
2019037225.tif 000009
【図８】
2019037225.tif 000010
【図９】
2019037225.tif 000011
【図１０】
2019037225.tif 000012
【図１１】
2019037225.tif 000013
【図１２】
2019037225.tif 000014
【図１３】
2019037225.tif 000015
【図１４】
2019037225.tif 000016
【図１５】
2019037225.tif 000017
【図１６】
2019037225.tif 000018
【図１７】
2019037225.tif 000019
【図１８】
2019037225.tif 000020
【図１９】
2019037225.tif 000021