(57)【要約】  自然環境において雑草を認識する方法（１００）を提供可能である。早期生育段階にあり栽培作物中に混ざった雑草のデジタルイメージをキャプチャリングする（１０２）。事前定義された色およびテクスチャの仕様を有する領域の輪郭線を形成して（１０４）、１つの境界輪郭線を定義する。雑草をフレームおよび品質インジケータと共に表示する（１０６）。さらに、事前定義された品質基準が満たされているときにのみ、デジタルイメージを記憶する（１１０）。その後、不要な色情報をリセットすることができ（１１２）、後続検査のためにデジタルイメージを送信し（１１６）、キャプチャリングされたイメージの雑草の雑草名と、その雑草名とキャプチャリングされたデジタルイメージの雑草との整合の確率を表す関連づけられた確率値とを受信する（１１８）。
2019520632.tif 000002
【特許請求の範囲】
【請求項１】
自然環境において雑草の種類を認識する方法であって、前記方法は、
ＢＢＣＨコード１０〜３９により定義された早期生育段階にあり自然環境において栽培作物中に混ざった雑草のデジタルイメージをキャプチャリングするステップと、
前記デジタルイメージ内でＲＧＢ色モデルとして事前定義された色およびテクスチャの仕様を有する領域の輪郭線を形成して、１つの境界輪郭線内で前記雑草に関連する画素を含む少なくとも１つの輪郭線形成領域を生成するステップと、
前記輪郭線形成領域を取り囲む事前定義された最小の凸状フレームと共に、前記デジタルイメージを表示するステップと、
前記デジタルイメージおよび前記事前定義された最小の凸状フレームと共に、
前記事前定義された最小の凸状フレームが使用可能なディスプレイ領域の事前定義された最小領域をカバーしていると判定することと、
前記輪郭線形成領域に関連する前記デジタルイメージの１つの領域のイメージ鮮明度に関連づけられたフォーカス検出器の正の出力値を、前記輪郭線形成領域に関して測定することと、
に基づき前記デジタルイメージの事前定義された品質基準を表すインジケータの値を表示するステップと、
前記デジタルイメージが前記事前定義された品質基準を満たしていることを、前記インジケータの値が表している場合のみ、前記デジタルイメージを記憶するステップと、
再定義された前記凸状フレームの外側にある前記デジタルイメージの色情報をリセットするステップと、
後続検査のために前記デジタルイメージを送信するステップと、
キャプチャリングされた前記イメージの前記雑草の雑草名と、前記雑草名とキャプチャリングされた前記デジタルイメージの前記雑草と、の間の整合の確率を表す関連づけられた確率値とを受信するステップと、
を含む方法。
【請求項２】
前記事前定義された色の仕様は、自然環境における雑草の色範囲に関連し、特に波長４９０〜５７５ｎｍの緑色の色範囲に関連する、
請求項１記載の方法。
【請求項３】
前記事前定義された色およびテクスチャの仕様を有する領域の輪郭線を形成するステップを、
前記デジタルイメージの画素ごとに、前記画素の色成分の組み合わせが事前定義された複数の色の組み合わせのうちの１つに整合しているか否かを判定することにより実施する、
請求項１または２記載の方法。
【請求項４】
前記事前定義された色の仕様を有する領域の輪郭線を形成するステップを、
ｗｉ＝Ｆ（ｐｉ，ｐｉ，ｊ）
の判定によって付加的に実施し、ただし、
ｗｉ＝１または０であり、画素ｉが雑草に属しているのか否かを表し、
Ｆは、ｐｉおよびすべてのｐｊの色属性に基づき雑草／非雑草の確率を計算する関数、
ｐｉ＝画素ｉ、
ｐｉ，ｊ＝画素ｉを取り囲む結合された画素ｊである、
請求項１から３までのいずれか１項記載の方法。
【請求項５】
前記インジケータを、前記事前定義された凸状フレームの色コードとして具現化する、
請求項１から４までのいずれか１項記載の方法。
【請求項６】
キャプチャリングされて表示された前記イメージは、記憶された前記デジタルイメージよりも低い解像度を有する、
請求項１から５までのいずれか１項記載の方法。
【請求項７】
前記デジタルイメージを記憶するステップは、また、
最初にキャプチャリングされた前記デジタルイメージよりも高い解像度で同じデジタルイメージをキャプチャリングするステップを実施することと、
より高い解像度を有する前記デジタルイメージを用いて、輪郭線を形成するステップとフォーカス検出器の正の出力値を測定するステップとを実施することと、
を含む、
請求項１から６までのいずれか１項記載の方法。
【請求項８】
前記フォーカス検出器の正の出力値を測定するステップは、
前記デジタルイメージから導出されたデジタルグレースケールイメージのラプラスフィルタ変換を適用するステップを含み、
前記輪郭線形成領域により覆われた領域内に画素のグレースケール強度の標準偏差が位置し、さらに鮮明度係数を平方標準偏差として導出する、
請求項１から７までのいずれか１項記載の方法。
【請求項９】
色情報をリセットするステップは、また、
関連づけられた前記境界輪郭線の外側にある前記デジタルイメージの領域の色情報をリセットするステップを含む、
請求項１から８までのいずれか１項記載の方法。
【請求項１０】
前記雑草が単子葉類であるケースでは、前記デジタルイメージをキャプチャリングするステップを、事前定義された第１のデルタ角をプラスまたはマイナスした前記単子葉類の長手方向延長線に平行なデジタルイメージ平面を用いて実施する、
請求項１から９までのいずれか１項記載の方法。
【請求項１１】
前記雑草が双子葉類であるケースでは、前記デジタルイメージをキャプチャリングするステップを、事前定義された第２のデルタ角をプラスまたはマイナスした、前記雑草を取り囲む自然環境に平行なデジタルイメージ平面を用いて実施する、かつ／または前記雑草をイメージキャプチャリングデバイスの中央に投影する、
請求項１から１０までのいずれか１項記載の方法。
【請求項１２】
前記後続検査は、
雑草および単葉の両方について、ニューラルネットワーク分類器とサンプルベースの識別子とを含む少なくとも１つのトレーニング済み分類器相関関数を、前記雑草を認識するためにキャプチャリングされた前記デジタルイメージに適用することを含み、
前記相関関数は、雑草の種類ごとの複数のメタデータセットと共に雑草の種類名へのアクセスを有する、
請求項１から１１までのいずれか１項記載の方法。
【請求項１３】
早期生育段階にあり自然環境において栽培作物中に混ざった雑草の種類を認識するシステムであって、前記認識システムは、
前記自然環境における前記雑草のデジタルイメージをキャプチャリングするように適合されたデジタルカメラと、
前記デジタルイメージ内でＲＧＢ色モデルとして事前定義された色およびテクスチャの仕様を有する領域の輪郭線を形成して、１つの境界内で前記雑草に関連する画素を含む少なくとも１つの輪郭線形成領域を生成するように適合された輪郭線形成モジュールと、
前記輪郭線形成領域を取り囲む事前定義された最小の凸状フレームと共に、前記デジタルイメージを表示するように適合されたディスプレイと、
を含み、
前記ディスプレイは、前記デジタルイメージおよび前記事前定義された最小の凸状フレームと共に、
前記事前定義された最小の凸状フレームが使用可能なディスプレイ領域の事前定義された最小領域をカバーしていると判定することと、
前記輪郭線形成領域に関連する前記デジタルイメージの１つの領域のイメージ鮮明度に関連づけられたフォーカス検出器の正の出力値を、前記輪郭線形成領域に関して測定することと、
に基づき前記デジタルイメージの事前定義された品質基準を表すインジケータの値を表示するようにも適合されており、
さらに前記認識システムは、
前記デジタルイメージが前記事前定義された品質基準を満たしていることを、前記インジケータの値が表している場合のみ、前記デジタルイメージを記憶するように適合された記憶装置と、
再定義された前記凸状フレームの外側にある前記デジタルイメージの色情報をリセットするように適合されたリセットユニットと、
後続検査のために前記デジタルイメージを送信するように適合された送信機と、
キャプチャリングされた前記イメージの前記雑草の雑草名と、前記雑草名とキャプチャリングされた前記デジタルイメージの前記雑草と、の間の整合の確率を表す関連づけられた確率値とを受信するように適合された受信機と、
を含むシステム。
【請求項１４】
除草剤の名称をデータベースから選び出し、前記雑草名および前記確率と共に受け取る、
請求項１から１２までのいずれか１項記載の方法を使用する雑草コントロール方法。
【請求項１５】
早期生育段階にあり自然環境において栽培作物中に混ざった雑草の種類を認識するコンピュータプログラム製品であって、前記コンピュータプログラム製品は、コンピュータ可読記憶媒体を含み、前記コンピュータ可読記憶媒体は、前記記憶媒体と共に具現化されるプログラム命令を有しており、
前記プログラム命令は、１つまたは複数のコンピューティングデバイスに以下のことを実施させるために、すなわち、
前記自然環境において前記雑草のデジタルイメージをキャプチャリングするステップと、
前記デジタルイメージ内でＲＧＢ色モデルとして事前定義された色およびテクスチャの仕様を有する領域の輪郭線を形成して、１つの境界輪郭線内で前記雑草に関連する画素を含む少なくとも１つの輪郭線形成領域を生成するステップと、
前記輪郭線形成領域を取り囲む事前定義された最小の凸状フレームと共に、前記デジタルイメージを表示するステップと、
前記デジタルイメージおよび前記事前定義された最小の凸状フレームと共に、
前記事前定義された最小の凸状フレームが使用可能なディスプレイ領域の事前定義された最小領域をカバーしていると判定することと、
前記輪郭線形成領域に関連する前記デジタルイメージの１つの領域のイメージ鮮明度に関連づけられたフォーカス検出器の正の出力値を、前記輪郭線形成領域に関して測定することと、
に基づき前記デジタルイメージの事前定義された品質基準を表すインジケータの値を表示するステップと、
前記デジタルイメージが前記事前定義された品質基準を満たしていることを、前記インジケータの値が表している場合のみ、前記デジタルイメージを記憶するステップと、
再定義された前記凸状フレームの外側にある前記デジタルイメージの色情報をリセットするステップと、
後続検査のために前記デジタルイメージを送信するステップと、
キャプチャリングされた前記イメージの前記雑草の雑草名と、前記雑草名とキャプチャリングされた前記デジタルイメージの前記雑草と、の間の整合の確率を表す関連づけられた確率値とを受信するステップと、
を実施させるために、前記１つまたは複数のコンピューティングデバイスにより実行可能であるコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は全般的には雑草の認識に関するものであり、より具体的には、自然環境において雑草の種類を認識する方法に関する。本発明はさらに、自然環境において雑草の種類を認識する認識システム、雑草コントロール方法およびコンピュータプログラム製品に関する。
【背景技術】
【０００２】
農業は現在、新たな転換期を迎えている。多くの農業プロセスの産業化および一連の自動化戦略の後に続くのは、農業プロセスへのハイテクツールの導入である。インターネット・オブ・シングス（ＩｏＴ）現象が、農業分野の境界線で立ち止まることはない。他方、農家は収穫量を増やすことに大いに関心を抱いている。ただし収穫量は、農地内の害虫および／または雑草にも左右される。それ故、農家は雑草を食い止めるために除草剤を使用してきた。そのような処置のためには通常、多大なコストが必要とされる。したがって農家は、特定の雑草に対し特定の除草剤を使用する判断を下すときに、節約策が講じられることを望んでいる。これまでのところ農家は、除草剤を適用する場合に、雑草を識別するために自身の経験と自身の固有の知識とに頼らざるを得ない。とはいえ、適正な除草剤を正確な量で選択することは、お金を節約しさらには環境を保護するのに役立つ可能性がある。
【０００３】
したがって、農地内に出現する可能性のある雑草の個々の葉を摘み取り、何らかの文献を用い後方業務として雑草の種類の識別を試みる、という手動のプロセスによらずに、農地内の雑草を識別するための技術支援に対するニーズが存在する。よって、本願の課題は、自然環境において作物中に混ざった雑草を識別する方法およびシステムを提供することである。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
独立請求項に記載された、自然環境において雑草の種類を認識する方法、自然環境において雑草の種類を認識する認識システム、雑草コントロール方法、およびコンピュータプログラム製品によって、上述のニーズに対処することができる。
【課題を解決するための手段】
【０００５】
本発明の１つの態様によれば、自然環境において雑草の種類を認識する方法を提供することができる。この方法は、早期生育段階にあり自然環境において栽培作物中に混ざった雑草のデジタルイメージをキャプチャリングすること、およびデジタルイメージ内でＲＧＢ色モデルとして事前定義された色およびテクスチャの仕様を有する領域の輪郭線を形成し、これによって１つの境界輪郭線内で雑草に関連する画素を含む少なくとも１つの輪郭線形成領域を生成することを含むことができる。
【０００６】
デジタルイメージを、輪郭線形成領域を取り囲む事前定義された最小の凸状フレームと共に表示することができる。これに加え、デジタルイメージおよび事前定義された最小の凸状フレームと共に、インジケータの値を表示することができる。インジケータは、デジタルイメージの事前定義された品質基準を、以下のことに基づき表すことができる。すなわち、事前定義された最小の凸状フレームが使用可能なディスプレイ領域の事前定義された最小領域をカバーしていると判定すること、および輪郭線形成領域に関してフォーカス検出器の正の出力値を測定すること、に基づき表すことができる。正の出力値は、輪郭線形成領域内のデジタルイメージの１つの領域のイメージ鮮明度に関連づけられている。
【０００７】
デジタルイメージが事前定義された品質基準を満たしていることを、インジケータ値が表している場合のみ、デジタルイメージを記憶することができ、再定義された凸状フレームの外側にあるデジタルイメージの色情報をリセットすることができる。これに加え、後続検査のためにデジタルイメージを特にサーバへ送信することができ、キャプチャリングされたイメージの雑草の雑草名と、その雑草名とキャプチャリングされたデジタルイメージの雑草との整合の確率を表す関連づけられた確率値とを、折り返し受信することができる。
【０００８】
本発明の別の態様によれば、自然環境において雑草の種類を認識する認識システムを提供することができる。この認識システムは、早期生育段階にあり自然環境において栽培作物中に混ざった雑草のデジタルイメージをキャプチャリングするように適合されたデジタルカメラ特にスマートフォンにおけるデジタルカメラと、デジタルイメージ内でＲＧＢ色モデルとして事前定義された色およびテクスチャの仕様を有する領域の輪郭線を形成し、これによって１つの境界内で雑草に関連する画素を含む少なくとも１つの輪郭線形成領域を生成するように適合された輪郭線形成モジュールとを含むことができる。
【０００９】
さらにこの認識システムは、輪郭線形成領域を取り囲む事前定義された最小の凸状フレームと共にデジタルイメージを表示するように適合されたディスプレイを含むことができ、このディスプレイは、デジタルイメージおよび事前定義された最小の凸状フレームと共に、インジケータの値を表示するようにも適合されている。このインジケータは、デジタルイメージの事前定義された品質基準を、以下のことに基づき表す。すなわち、事前定義された最小の凸状フレームが使用可能なディスプレイ領域の事前定義された最小領域をカバーしていると判定すること、および輪郭線形成領域に関してフォーカス検出器の正の出力値を測定すること、に基づき表す。正の出力値は、輪郭線形成領域に関連するデジタルイメージの１つの領域のイメージ鮮明度に関連づけられている。
【００１０】
この認識システムの一部である付加的な記憶装置を、デジタルイメージが事前定義された品質基準を満たしていることをインジケータ値が表している場合のみ、デジタルイメージを記憶するように適合することができる。事前定義された凸状フレームの外側にあるデジタルイメージの色情報をリセットするように、リセットユニットを適合することができる。
【００１１】
さらにこの認識システムは、後続検査のためにデジタルイメージを送信するように適合された送信機モジュールと、キャプチャリングされたイメージの雑草の雑草名と、この雑草名とキャプチャリングされたデジタルイメージの雑草と、の間の整合の確率を表す関連づけられた確率値とを受信するように適合された受信機とを含むことができる。
【００１２】
ここで述べておくと、この認識システムをスマートフォンの一部分として具現化することができ、自然環境において雑草の種類を認識する方法を、スマートフォンを用いて具現化することができる。
【００１３】
さらに実施形態は、関連づけられたコンピュータプログラム製品の形態をとることができ、このプログラム製品は、コンピュータまたは任意の命令実行システムによって、あるいはコンピュータまたは任意の命令実行システムと連携して使用するためにプログラムコードを提供するコンピュータ可用媒体またはコンピュータ可読媒体からアクセス可能である。ここで説明する目的で、コンピュータ可用媒体またはコンピュータ可読媒体を、命令を実行するシステム、装置またはデバイスによって、あるいは命令を実行するシステム、装置またはデバイスと連携して使用するためにプログラムを記憶、通信、伝播または伝送させるための手段を含むことができる任意の装置とすることができる。
【００１４】
自然環境において雑草の種類を認識するために提案される方法によれば、いくつかの利点および技術的効果をもたらすことができる。
【００１５】
雑草の種類を自動的に検出して正しい雑草名を判定することは、田畑の農家にとって高い価値があるものである。作物畑における雑草は、季節ごとに、気象条件ごとに、さらには年ごとに、異なる可能性がある。これに加え、専門家でも確実な手法で雑草の種類を識別できない場合もあるように、雑草の外見が環境条件次第で異なる可能性がある。特に早期生育段階中にあると、特定の雑草の外観における小さな差異を認識するのが難しい場合もある。例えばスマートフォンなどのカメラを用いて画像を撮影し、スマートフォン内部で予備分析を実施し、かつ／または分析システムへその画像を送信することによって、農家のために多大な価値をもたらすことができる。農家は、自身の作物中に混ざって雑草が生育していくのを食い止める目的で、いずれの除草剤の種類を使用するのかを即座に判断することができる。さらにこのことは、雑草が生長してきた領域だけに除草剤を適用するために役立つ可能性もある。
【００１６】
教育を受けていない農家、雑草を認識する何らかの経験のない支援要員または臨時スタッフによって、出願する可能性のある雑草のイメージをキャプチャリングするタスクを実施することもできる。これにより、農業プロセスにおいて貴重な時間とお金を節約することができる。キャプチャリングされた雑草イメージの一種の前処理をスマートフォンにおいて行うことと、イメージ情報を有用な最小限のものに抑えることとを、ニューラルネットワークシステムの形態をとる高性能で高度に精巧な雑草分析システムを使用することと共に組み合わせることにより、雑草名を判定し、雑草イメージをキャプチャリングした人のスマートフォンに、程度の差こそあれ即座にそれを送り戻すことができる。雑草名を１つまたは複数の雑草の種類の確率と共に生成し、この情報を送信するニューラルネットワークシステムのための入力値としてメタデータを使用することによって、農家とバックエンドシステムとの間で精巧なインタラクションが可能となる。また、その雑草名を高い確率で判定し、どのように進めるのかを農家にアドバイスすることもできる。さらにニューラルネットワーク技術を、高性能のマルチコアベースのスマートフォンまたは専用の雑草分析システムに実装できるようにしてもよい。
【００１７】
しかも、雑草イメージをキャプチャリングし、確率のランク付けと共に雑草名を折り返し受信するこのプロセス全体を、著しく短期間の時間内に、例えば数秒以内に、実施することができる。スマートフォンは今日どこにでもあるので、田畑において専用カメラのような専用設備を不要とすることができる。したがって認識プロセスにかかるコストも、慣用の技術と対比すると比較的低く抑えることができる。
【００１８】
これに加え、画像を撮影する人は、すぐ手に届くところにある雑草を正しく判定および認識するための確率を高めるために最も適切な手法で、イメージをキャプチャリングするための助力および助言を受け取ることができる。イメージキャプチャリングデバイスのユーザは、綿密な分析のためにイメージ品質が十分に高いと見込まれるか否かについて、イメージキャプチャリングプロセス中に即座にアドバイスを受け取ることができる。その後、ユーザは、キャプチャリングされる雑草イメージの品質を高める目的で、自身のイメージキャプチャリング動作を調節することができる。
【００１９】
さらに、提案される方法およびシステムによれば、人工的な条件にある温室内だけではなく、自然環境において雑草を認識および判定することができる。あらゆるものが活動しながら現実の日々の活動条件のもとで成し遂げられる可能性があることから、このことは田畑で働く農家にとって非常に貴重な利点であることがわかる。自然環境において雑草を認識するのは、変量の個数が格段に多くなることから、温室条件のもとで認識するよりもずっと難しいことがわかっている。自然環境における認識を温室内における雑草認識と対比することができない理由としていくつかのパラメータを挙げるにすぎないが、温室内であれば、一定の光が存在し得るし、直射日光または単一光源に関係する強い影がなく、反射および色の外見に変化をもたらし予測不能にする日中の時刻に関連づけられた光の角度変動がなく、雲、霧または霞がなく、または土壌の変動がなく、湿潤度条件の変動がなく、風により引き起こされる植物の動きがなく、昆虫に関係する葉の損傷がない。したがって上述の環境すべては、自然条件のもとでは変動し、このことは、一般的に多くの場合には人工的である最適な環境条件に頼っている部分的に公知のイメージ認識技術との大きな相違点を意味し得るのである。
【００２０】
以下では、自然環境において雑草の種類を認識するために提案される方法の付加的な実施形態について説明する。
【００２１】
本発明の１つの好ましい実施形態によれば、事前定義された色の仕様を、自然環境における雑草の色範囲に関連させることができ、この場合、特に例えば４９０〜５７５ｎｍの波長の緑色の色範囲を中心に可視範囲全体に着目する。このことによって、デジタルイメージの一部として同様にキャプチャリングされた背景情報からの「イメージノイズ」を低減することができる。キャプチャリングされた雑草の背景も、上述の波長範囲に収まる単一の緑色画素または小さい緑色画素群を含む可能性がある。背景にあるこのような緑色情報スポットを、輪郭線形成によって排除することができる。許容可能な波長範囲（例えば４９０〜５７５ｎｍ）を、テーブル、データベース、または他の適切なデータフォーマットで記憶させることができる。
【００２２】
テクスチャの仕様を、葉脈、葉の切片の特徴的形状、特定のパターニングおよび色分布、葉の表面頂面および葉縁における毛茸に関連させることができる。これらの特有のテクスチャおよび付加的な特有のテクスチャのすべてを、明示的にパラメータ化することはできないが、１つまたは複数のトレーニング済み分類器相関関数の「学習済み」コンテキストに属するようにすることができる。
【００２３】
この方法について付加的に好ましい実施形態によれば、事前定義された色およびテクスチャの仕様を有する領域の輪郭線の形成を、デジタルイメージの組み合わせられた色ごとに、その色成分の組み合わせが事前定義された複数の色の組み合わせのうちの１つに整合しているか否かを判定することにより、実施することができる。一般的にイメージ検出器は、公知のＲＧＢ色モデル（赤−緑−青）を用い、１つの画素全体ごとに３つの副画素を使用して動作し、この場合、１つの副画素は、３つの基本色である赤、緑および青のうちの１つのために用いられる。副色画素情報のＲＧＢモデル内で事前規定された色情報および強度分布を用いてこのようにして指定された色空間境界を、基準として記憶することができる。このようにすれば、デジタルイメージの各画素と記憶された基準色情報との高速な比較を実施することができ、この比較によって、キャプチャリングされたデジタルイメージの１つの画素が、輪郭線を形成すべき領域の一部として選択されるかもしれないし、または選択されないかもしれない。
【００２４】
この方法の１つの有利な実施形態によれば、事前定義された色の仕様を有する領域の輪郭線形成を、
ｗｉ＝Ｆ（ｐｉ，ｐｉ，ｊ）          （式１）
を求めることによって付加的に実施することができる。ただし、ｗｉ＝１または０であり、画素ｉが雑草に属しているのか否かを表す。このことを、単一の画素について許容された色情報に対するもっと直接的な比較に加えて実施することができる。Ｆを、ｐｉおよびすべてのｐｊの色属性に基づき、雑草もしくは非雑草についての確率を計算する関数とすることができ、ｐｉ＝画素ｉであり、ｐｉ，ｊ＝画素ｉを取り囲む画素ｊである。画素ｉを取り囲むものとしてカウントされる画素の個数を、変化させることができる。例えば、ただ１つのリングまたは周囲を取り囲む画素を用いることができ、これを８個の画素ｐｉ，ｊとすることができる。さらに第１のリングを取り囲む画素ｐｉ，ｊの次のリングも考慮することができ、この第２のリングは付加的な１６個の画素ｐｉ，ｊを含むことができる。さらに付加的な画素のリングを考慮することができ、種々のリングを、画素ｉから画素リングが離れるにつれて減少する重み付け係数と乗算することができる。これによって、キャプチャリングされたデジタルイメージの画素を雑草画素としてカウントすべきであるのか否かを、いっそう綿密に判定できるようになる。
【００２５】
この方法の付加的に有利な実施形態によれば、事前定義された凸状フレームの色コードとしてインジケータを具現化することができる。この場合、交通信号灯スタイルの色コードを使用することができる。例えば赤色で着色されたフレームによって、イメージの品質またはサイズまたは他の何らかの特性が十分であるといはいえない、ということを表すことができる。緑色のフレームによって、キャプチャリングされたイメージを後続処理に使用可能である、ということを表すことができる。さらに黄色のフレームによって、フレームは比較的良好かもしれないが、後続処理を許可できても最適状態には及ばない結果が予期される可能性がある、ということを表すことができる。イメージキャプチャリングデバイスを移動させるか、またはフォーカシングを改善することによって、フレームの色をただちに変化させることができる。このようにすればユーザは、イメージの品質に関する直接的なフィードバックを得ることができる。ユーザは、キャプチャリングデバイス例えば使われているスマートフォンのポジショニング変更またはフォーカシング再設定によって、イメージ品質を改善する良好な機会を有することができる。カメラの傾斜角度などさらに別のイメージ品質基準によっても、輪郭線形成領域を取り囲むフレームの色コードに影響を与えることができる。
【００２６】
この方法の１つの許容される実施形態によれば、早期生育段階をＢＢＣＨコード１０〜３９によって定義することができる。ＢＢＣＨコード（ドイツ連邦共和国のBiologische Bundesanstalt, Bundessortenamt und CHemische Industrie連邦生物学研究所、連邦品種庁および化学工業協会による国際的に認められたコード）を用いれば、雑草の早期生育段階における比較可能な結果を達成するために役立てることができる。一般的に、１０よりも小さいＢＢＣＨコードによる生育段階にある雑草は、例えば最初の葉が出現している状態は、たとえ専門家であっても認識できない可能性がある。また、４０以上のＢＢＣＨコードを有する雑草は、除草剤によってそれを首尾よく食い止めるには、大きく生長し過ぎている可能性がある。ただし、１０より小さいＢＢＣＨコードを有する雑草であっても、比較的低い確率で認識できる場合もある。輪郭線形成領域の色情報のスペクトル分析を強めれば、このことを達成する手段になり得る。
【００２７】
この方法の１つの最適な実施形態によれば、キャプチャリングされて表示されたイメージは、記憶されたデジタルイメージよりも低い解像度を有することができる。したがって、キャプチャリングされた雑草イメージ周囲の事前定義された凸状フレームも表示可能である表示イメージを、ビデオストリームのような形態でユーザに呈示することができる。それ故、表示されたイメージをスマートフォンの動きに従って変化させることができる。性能上の理由から、最大可能な解像度よりも低い解像度でイメージキャプチャリングプロセスが実施される可能性がある。したがってユーザは、インジケータの増加または減少を、つまりはデジタルイメージの品質の改善または劣化を、即座に認識することができる。ただしこの場合に、例えばユーザがキャプチャボタンを押すことができるのであれば、ビデオストリームから選択されたイメージを、最大限に使用可能なカメラの解像度で再キャプチャリングすることができる。これによって、正確な雑草認識の確率を高めることができる。
【００２８】
よって、この方法の１つの実施形態における１つのオプションとすることができるのは、最初にキャプチャリングされたデジタルイメージよりも高い解像度で同じデジタルイメージをキャプチャリングするステップが、より高い解像度を有するデジタルイメージを用いて、輪郭線を形成するステップとフォーカス検出器の正の出力値を測定するステップとを再び実施することを含むことができる、ということである。このようにすれば、後続処理すなわち雑草認識のために実現し得る最良のイメージ品質を提供する目的で、いっそう高い解像度のイメージを用いてこれらのステップを繰り返すことができる。
【００２９】
この方法の１つの好ましい実施形態によれば、フォーカス検出器の正の出力値の測定には、キャプチャリングされたデジタルイメージから導出可能なデジタルグレースケールイメージのラプラスフィルタ変換の適用を含めることができ、この場合、輪郭線形成領域により覆われた領域内に、画素のグレースケール強度の標準偏差が位置する。これに加え、鮮明度係数を平方標準偏差として導出することができる。ＲＧＢ色モデルから他の色モデル例えばＨＳＶ（色相、彩度、明度）、ＨＳＬ（色相、彩度、輝度／ルミナンス）への変換によって、イメージが導出された可能性もある。平方標準偏差を有する特定の具現化代替案を用いれば、いっそう大きい強度の差をいっそう大きく重み付けすることができ、これによって認識プロセスの品質を改善することができる。
【００３０】
この方法のさらに別の好ましい実施形態によれば、色情報のリセットには、関連づけられた境界輪郭線の外側にあるデジタルイメージの領域の色情報のリセットを含めることもできる。これにより得られる利点とは、キャプチャリングされたデジタルイメージのために必要とされる記憶装置の要求を低減できる、ということである。このことは、デジタルイメージまたはその前処理バージョンを送信するときにも、有利なものとなり得る。輪郭線形成領域のすぐ外側にある色情報の形状除外に加えて、輪郭線のフレーム形成環境もリセットから除外することができる。よって、小さいエッジの環境例えば輪郭線形成領域のエッジにおいて数個の画素幅のものが、色値に関してリセットされる可能性がなく、元の色情報を保持することができる。これによれば、ディスプレイのユーザ例えばスマートフォンのユーザによって、表示されたイメージがいっそう良好に認識される、という利点も得られる。基本的に、リセット領域を黒の色値にリセットすることができる。ただし、例えば緑色とは異なる他の任意のデフォルト色を用いてもよい。
【００３１】
１つのオプションとしての実施形態によれば、この方法は、雑草が単子葉類であるケースでは、デジタルイメージのキャプチャリングを、事前定義された第１のデルタ角をプラスまたはマイナスした、単子葉類の長手方向延長線に平行なデジタルイメージ平面、特にセンサ平面とすることもできるキャプチャリング平面を用いて、実施することを含むことができる。つまり理想的にはこの種の雑草を、例えばイネ科草本などの単子葉類の側方から真っ直ぐのポジションからキャプチャリングすることができる。実用上の理由から、雑草の垂直方向延長線に対し必ずしも完全に平行にカメラを保持しなくてもよい。例えば、プラス１０°またはマイナス１０°を許容することができる。択一的な角度値には、５°、１５°、２０°、２５°または３０°を含めることができる。それ故、イメージ平面またはセンサ平面を（ミラーを用いずに）、土壌と平行にすることができる。単子葉類の種類の雑草をキャプチャリングする際の１つの択一的な実施形態を、単子葉類を摘まんで、地面または土壌の上に程度の差こそあれ平らに横たえることとしてもよい。このケースでは、雑草を上からキャプチャリングすることができる。
【００３２】
さらに別のオプションとしての実施形態によれば、この方法には、雑草が双子葉類であるケースではデジタルイメージのキャプチャリングを、事前定義された第２のデルタ角をプラスまたはマイナスした、雑草を取り囲む自然環境に平行なデジタルイメージ平面を用いて実施する、つまり双子葉類の真上から実施する、ということを含めることができる。この場合も実用上の理由で、完全な平行からプラスまたはマイナスの事前定義された偏差例えば＋１０°または−１０°を許容することができる。上述のものと同じ択一的な角度を、ここでも適用することができる。一般的には、出現する可能性のある雑草を、イメージキャプチャリングデバイスすなわちイメージセンサの中央に投影することができる。良好なポジショニングであれば、ディスプレイによって認識できるようになる。
【００３３】
この方法の１つの付加的に有利な実施形態によれば、後続検査には、雑草および単葉の両方について、ニューラルネットワーク分類器とサンプルベースの識別子とを含む少なくとも１つのトレーニング済み分類器相関関数を、雑草を認識するためにキャプチャリングされたデジタルイメージに適用すること、を含めることができ、この相関関数は、雑草の種類ごとの複数のメタデータセットと共に雑草の種類名へのアクセスを有することができる。使用可能なスマートフォンの性能は、常に向上し続けている。したがってスマートフォンの一部として、ソフトウェアの形態で、またはハードウェアモジュールとして、ニューラルネットワーク分類器を実装することができる。これによって、後続処理すなわち雑草認識のために、高性能のサーバへデジタルイメージを送信する必要がないようにすることができる。その代わりに、雑草認識をスマートフォンにおいて直接、実施することができる。これに加え、キャプチャリングされたデジタルイメージおよび／または１つまたは複数の輪郭線形成領域と共に求められた結果を、スマートフォンからサーバへ一般的にはワイヤレスで伝送することができる。
【００３４】
分類器相関関数により用いられる他のメタデータには、以下に限定されるものではないが、イメージがキャプチャリングされた国、季節情報を導出できる日付、イメージキャプチャリングデバイスのデバイス形式（なぜならばそれぞれ異なるカメラモデルはそれぞれ異なる色表現モデルまたは感度を有する可能性があるので）、デバイスの配向、デバイスから雑草までの距離、カメラの加速度計からのデータ、環境の明るさ、土壌特性（例えば組成、導電率）、気象履歴、同じ環境（同じ場所）からの雑草認識の実績、雑草マップとの比較、除草剤による以前の処置（潜在的な耐性を判定するため）、および雑草による土壌の被覆率（例えばパーセントで測定または推定されたもの）、を含めることができる。
【００３５】
さらに別の強化された方法によれば、自然環境において雑草の種類を認識する方法を雑草のコントロールに用いることができ、この場合、除草剤の名称をデータベースから選び出し、雑草名および確率と共に受け取る。これによって農家は、雑草を食い止めるために特定の除草剤を選択することができる。局所的な気象および季節による条件を反映することができれば、１つの実施形態を有利なものとすることができる。このようにすれば農家は、中央のナレッジハブのナレッジベースまたはデータベースにダイレクトにアクセスすることができ、局所的な気象および季節による条件のもとで必要とされる量の除草剤だけを、使用することができる。これによって、自身の農地における雑草を食い止めるための農家の出費を抑えることができる。
【００３６】
さらに実施形態は、関連づけられたコンピュータプログラム製品の形態をとることができ、このコンピュータプログラム製品は、コンピュータによって、またはスマートフォンのような任意の命令実行システムによって、あるいはそれらと連携して使用するためにプログラムコードを提供するコンピュータ可用媒体またはコンピュータ可読媒体からアクセス可能である。ここで説明する目的で、コンピュータ可用媒体またはコンピュータ可読媒体を、命令を実行するシステム、装置またはデバイスによって、あるいはそれらと連携して使用するためにプログラムを記憶、通信、伝播または伝送するための手段を含むことができる任意の装置とすることができる。
【００３７】
ここで述べておきたいのは、本発明の複数の態様をそれぞれ異なる保護対象に関して説明する、ということである。特に、一部の実施形態を、方法の形式の請求項に関して説明する一方、他の実施形態を、装置の形式の請求項に関して説明する。しかしながら当業者であれば上述の説明および以下の説明から読み取るであろうように、特段の記載がないかぎり、１つの形式の保護対象に属する複数の構成要件の任意の組み合わせに加え、それぞれ異なる保護対象に関連する構成要件両者間の任意の組み合わせも、特に方法の形式の請求項の構成要件と装置の形式の請求項の構成要件両者間の任意の組み合わせも、本明細書に開示されているものとみなされる。
【００３８】
上述の態様および本発明のさらに別の態様は、以下で説明する実施形態の具体例から明らかになる。それらの態様を実施形態の具体例に関して説明するが、本発明はそれらの具体例に限定されるものではない。
【００３９】
本発明の好ましい実施形態を、単に具体例として以下の図面を参照しながら説明する。
【図面の簡単な説明】
【００４０】
【図１】自然環境において雑草の種類を認識する本発明による方法の１つの実施形態を示すブロック図である。
【図２】双子葉類をキャプチャリングするための１つの実施形態を示すブロック図である。
【図３】単子葉類をキャプチャリングするための１つの実施形態を示すブロック図である。
【図４】ａ，ｂ，ｃは、領域輪郭線形成プロセスのステップの実施形態を示す図である。
【図５】ａおよびｂは、輪郭線形成プロセスにさらに複数の画素リングを含めるコンセプトを示す図である。
【図６】雑草のイメージと凸状フレームとを含む表示の１つの実施形態を示す図である。
【図７】雑草認識システムの１つの実施形態を示すブロック図である。
【図８】認識システムを含むコンピューティングシステムの１つの実施形態を示す図である。
【発明を実施するための形態】
【００４１】
本明細書の文脈において、以下の取り決め、用語および／または表現を用いる場合がある。
【００４２】
用語「認識する」、特に「雑草の種類を認識する」によって表すことができるのは、特定の種類の雑草に関する自動化された機械ベースの判定プロセスまたは認識プロセスのことであり、このプロセスは、デジタルカメラによるデジタルイメージからスタートして、デジタルイメージを前処理し、デジタルイメージからメタデータを導出し、さらに例えば、イメージデータの確率ベースの分析のために、ニューラルネットワークベースの分類器によってそれらを使用し、最終的に１つまたは複数の種類の雑草を認識する。
【００４３】
用語「雑草」によって表すことができるのは、いかなる環境にもすぐに適応できてしまう何らかの種の望ましくない植物のことである。ここで雑草という表現を、作物中に混ざった植物、または生長した種子の産物を収穫するという点で有用な栽培植物中または実用植物中に混ざった植物に関連づけることもできる。雑草は、作物生長プロセスを妨害し、農地の収穫量を減少させる可能性がある。
【００４４】
用語「自然環境」によって表すことができるのは、作物または雑草といった植物の文脈においては、自然気象、ならびに湿度および直接的または間接的な太陽光といった環境条件に晒される可能性のある田畑または土地において植物が生長する、ということである。したがって自然環境からは、温室または植物のための他の非自然的な生長環境などのような人工的な環境が除外される。条件がコントロールされたこの種の非自然的な環境によれば、認識プロセスをいっそう難しくさせるかまたは多くのケースでは不可能にする数多くの影響要因を、人工的に除外することができる。このような構成要件ゆえに、ここで提案している方法およびシステムが有利なものであることを証明することができ、その理由は、人工的にコントロールされた環境においては、作物と雑草とをいっそう容易に弁別できるからである。極度にコントロールされた条件のもとでは、特定の種類の雑草をいっそう容易に認識することができ、その理由は、例えば温室などの特定のコントロールされた条件があるならば、多数の種類の雑草を予め排除できるからである。
【００４５】
用語「イメージをキャプチャリングする」によって表すことができるのは、古典的な写真撮影プロセスのことであるが、これはデジタル形式である。最近の一般的なデジタル新製品において見られるように、デジタルイメージをキャプチャリングするためには、イメージセンサと共にいくつかの周知の光学素子が必要とされる場合がある。この種のデジタルカメラは、スマートフォンに実装されることの多い特徴的機能になってきた。この場合、用語「イメージをキャプチャリングする」によって表すことができるのは、デジタル画像撮影プロセスのことである。
【００４６】
用語「早期生育段階」によって表すことができるのは、植物特に雑草が生長しきった段階まで生長したとはいえない状態にある植物の段階のことである。かなり早期の生育段階は、いずれにせよ認識するのが難しい可能性がある。植物例えば雑草の生育段階を記述するときに、「ＢＢＣＨコード」の使用が役に立つ可能性があることが明らかにされた。略語ＢＢＣＨは正式には、"Biologische Bundesanstalt, Bundessortenamt und Chemische Industrie"（連邦生物学研究所、連邦品種庁および化学工業協会）のことを表し、植物の生物季節学的生育段階を記述する。コードは００〜９９まで進む。ＢＢＣＨコード１０〜１９は、葉の様々な早期生育段階を表す。基本生長段階２はＢＢＣＨコード２０〜２９を含み、これはサイドシュート／分蘖の形成に関するものである。基本生長段階３（ＢＢＣＨコード３０〜３９）は、茎の伸長／シュート生育（メインシュート）を含むものである。よって、１０〜３９のＢＢＣＨコードを有する雑草に注目するということは、早期生育段階にある雑草にきちんと焦点が当てられることを意味し得るのである。
【００４７】
用語「輪郭線形成」によって表すことができるのは、デジタル画像において例えば雑草の共通する色および／またはテクスチャ特性を有する特定の領域または表面の輪郭線を決定するプロセスのことである。植物特に雑草の葉各々は、自然境界または外縁または葉縁を有する。輪郭線キャプチャリングプロセスによって、関連づけられた輪郭線形成領域の内側に雑草のすべての画素またはほぼすべての画素を含めることができるように、それらのエッジが認識または決定される。
【００４８】
用語「色およびテクスチャの仕様」によって表すことができるのは、色モデル例えばＲＧＢ色モデル（赤、緑、青）に準拠したデジタルイメージ内の画素に関するデジタル情報のことである。ただし、ＨＳＶ（色相、彩度、明度）、ＨＳＬ（色相、彩度、輝度／ルミナンス）などのように、他の色モデルを用いてもよい。業界でよく知られているように、ある１つの色モデルからのほとんどの色モデル情報を、数学的な行列演算によって他の色モデルに変換することができる。種々の色モデルは、最も自然な色表現である、デジタル処理に最も適している、グレースケール処理に最適に整合されている、エッジ認識つまりは輪郭線形成に最も適している、といった具合に、それぞれ異なる利点を有することができる。
【００４９】
用語「ＲＧＢ色モデル」によって表すことができるのは、赤、緑および青の光が様々な手法で共に加算されて多彩な色を再現する周知の加法色モデルのことである。モデルの名称は、３つの加法原色である赤（red）、緑（green）および青（blue）の頭文字に由来する。ＲＧＢ色モデルは、慣用の写真においても用いられてきたけれども、この色モデルの主要な目的は、テレビジョンやコンピュータなどの電子システムにおけるイメージのセンシング、表現および表示のためである。エレクトロニクス時代になる前にすでにＲＧＢ色モデルは、人間の色知覚に基づきその背後にある確固とした理論をもっていた。ＲＧＢはデバイスに依存する色モデルである。すなわち、それぞれ異なるデバイスは、所与のＲＧＢ値をそれぞれ異なるように検出または再現する可能性があり、その理由は（蛍光体または染料のような）色素および個々のＲ，ＧおよびＢのレベルに対するそれらの反応は、製造業者ごとに異なるからであり、または同じデバイスであったとしても時間の経過につれて異なるからである。したがってＲＧＢ値によっても、ある種の色管理および数学的変換なしでは、すべてのデバイスにわたって同じ色を定義することはできない。
【００５０】
用語「凸状フレーム」によって表すことができるのは、デジタルイメージの一部分としてキャプチャリングされた１つの物体を取り囲む閉じられた枠のことである。このフレームは、閉じられた多角形のように結ばれた個々の線を含むことができる。用語「凸状」によって表すことができるのは、凸状フレームの要素として凹状の小部分は存在しない、ということである。したがって結ばれた線の２つのセット各々が、１８０°よりも大きい内角すなわちフレームの内側に向いた角度をもつ可能性は決してない。三角形、正方形、長方形、五角形、六角形、平行四辺形といった通常のまたは対称のフレームを使用するのが有利になる可能性がある。
【００５１】
用語「焦点検出器」によって表すことができるのは、キャプチャリングされたデジタルイメージが光学的な意味で鮮明であるか否かを判定するように適合されたデバイスのことである。つまりこのことが意味するのは、使用される１つまたは複数のレンズの光学的法則に従って画像平面および投影平面が選択される、ということである。
【００５２】
用語「品質基準」によって表すことができるのは、デジタルイメージ特にキャプチャリングされた雑草のデジタルイメージの品質に関連づけることのできる基準のことである。これによれば、事前定義された最小の凸状フレームは、デジタルイメージの使用可能なサイズ全体のうち最小量を必ず有すること、例えば必ず１０％またはそれ以上（例えば９０％、他の値も可能、典型的には３０〜５０％）であること、および雑草に関連するキャプチャリングされた領域の事前定義された最低鮮明度を達成可能である、ということを要求することができる。１つめの要求（事前定義された最小の凸状フレーム）によって、雑草に関して十分なデジタル画像情報を確実に得ることができるようになり、２つめの要求（鮮明度）によって、デジタルイメージの最低品質を確実に保証できるようになる。不鮮明なデジタルイメージから雑草を認識するのは、極めて難しい可能性があり、または不可能な場合もある。
【００５３】
用語「分類器相関関数」および特に「トレーニング済み分類器相関関数」によって表すことができるのは、キャプチャリングされたイメージのうち１つまたは複数のセクションと、基準イメージデータの事前トレーニング済みセットとの間における特徴の類似度を測定することのできる、１つまたは複数の数学的関数のことである。相関関数の特徴のパラメータ化を手動でプログラミングしなくてもよく、トレーニングすることができ、すなわち既知の複数の入力属性と所望の結果とを含むデータセットを用いて学習することができる。当業者であれば、様々なタイプの相関アプローチに精通しているであろう。
【００５４】
実際にはこのアプローチは、テクスチャの仕様のためにも用いられる。この場合、直接的なパラメータは指定されないが、それらのパラメータは１つまたは複数の分類器相関関数のトレーニングセッション中に自動的に導出される。
【００５５】
以下では、図面の詳細な説明を記載する。それらの図面におけるすべての教示は概略的なものである。最初に、自然環境において雑草の種類を認識する本発明による方法の１つの実施形態のブロック図を示す。その後、さらに別の実施形態、ならびに自然環境において雑草の種類を認識する認識システムの実施形態について説明する。
【００５６】
図１には、自然環境における雑草の種類の認識方法１００に関する１つの実施形態のブロック図が示されている。この方法は以下の複数のステップを有する。すなわち、自然環境において栽培作物中に混ざった雑草のデジタルイメージ特にカラーイメージをキャプチャリングするステップ１０２、ただし自然環境とは、明らかに人工的な環境または温室環境ではないものとする。この場合、雑草は早期生育段階にある。この方法はさらに、デジタルイメージ内でＲＧＢ色モデルとして事前定義された色およびテクスチャの仕様を含む領域の輪郭線を形成するステップ１０４を含む。一般的には、１つの雑草植物から１つの輪郭線形成領域を見込むことができる。ただし、場合によってはつながっていない複数の異なる葉から、２つの雑草植物から、といった具合に、２つ以上の輪郭線形成領域が存在することもあり得る。かかる検出プロセスまたは判定プロセスによって、デジタルイメージの緑色領域の境界が検出される。このプロセス中、１つの境界輪郭線内で雑草に関連する画素を含む少なくとも１つの輪郭線形成領域が、例えば１枚または複数枚の葉、ならびに１つまたは複数の雑草植物などが、形成される可能性がある。しかしながら、デジタルイメージが２枚以上の葉および／または２つ以上の茎をキャプチャリングしていることもあり得る。よって、２つ以上の輪郭線形成領域が決定される場合もある。
【００５７】
次に、ステップ１０６において、キャプチャリングされたデジタルイメージが事前定義された最小の凸状フレームと共に表示される。かかるフレームを、好ましくは長方形のフレームとすることができる。ただし円形、平行四辺形、三角形、五角形、六角形といった具合に、他のフレーム形状も許容することができる。実用上の理由で、凸状フレームは対称的な形状を有することができ、この形状は計算プロセスにおいて有利なものとなり得る。このためにスマートフォンのディスプレイを使用することができる。
【００５８】
ステップ１０８において、デジタルイメージおよび事前定義された最小の凸状フレーム特に事前定義された凸状フレーム形状と共に、インジケータ値が表示される。インジケータ値は、デジタルイメージの事前定義された品質基準を表すものである。これを以下の判定に基づくものとすることができる。すなわち、事前定義された最小の凸状フレームが使用可能なディスプレイ領域の事前定義された最小領域をカバーしており、例えばディスプレイ領域の１０％〜９０％典型的には５０％をカバーしている、という判定に基づくものとすることができる。これによって、最大ディスプレイサイズまたは最大イメージサイズと対比したデジタルイメージの最小サイズを確保することができる。自明のとおり、このパーセンテージが高くなればなるほど、キャプチャリングされた雑草イメージの解像度が良好になる。これに加えインジケータ値は、輪郭線形成領域に関するフォーカス検出器の正の出力値の測定に基づくものである。これによって、キャプチャリングされた雑草の葉の最低限必要な鮮明度を確保することができる。自明のとおり、キャプチャリングされた雑草の光学的鮮明度を確保するためのいくつかの技術を適用することができ、例えば特定の色モデルの単一の輝度値に作用するヒストグラム関数などである。このことが意味するのは、正の出力値は、輪郭線形成領域つまりは１枚の葉または複数枚の葉から成るグループに関連するデジタルイメージの１つの領域のイメージ鮮明度に関連づけられている、ということである。キャプチャリングされた領域すなわち雑草の１枚または複数枚の葉を取り囲む最小フレームをカラーコーディングする形式で、特に交通信号灯色の形式で、インジケータを表示することができる。ただし数値、スライダインジケータ、またはサウンドインジケータタイプの他の表示も適用することができる。
【００５９】
この方法はさらに、デジタルイメージが事前定義された品質基準を満たしていることをインジケータ値が表している場合のみ、デジタルイメージを記憶するステップ１１０を含む。次いでステップ１１２において、再定義された凸状フレームの外側にあるデジタルイメージの色情報がリセットされてから、ステップ１１６においてデジタルイメージを、例えば後続検査のために特にサーバに送信することができる。この後続検査に基づき、キャプチャリングされたイメージにおける雑草の１つまたは複数の雑草名と、関連づけられた確率値とを、ステップ１１８において受信することができる。この確率値を、判定された雑草名とキャプチャリングされたデジタルイメージの雑草と、の間の整合の確率を表すものとすることができる。これに加え、雑草の典型的な画像も受信して、名称および認識正確度に関する確率値と共に表示することができる。雑草名および確率値を決定するために、認知計算技術を適用することができる。これには１つまたは複数のニューラルネットワークシステムを含めることができる。
【００６０】
図２には、植物特に雑草とイメージキャプチャリングデバイス２０２とが示されている。このデバイスをスマートフォンのカメラとすることができる（図示せず）。カメラは、対物レンズと特定の開口角２０４とを有することができる。キャプチャリングされたデジタルイメージは、雑草ここでは双子葉類の１枚または複数枚の葉２０６をキャプチャリングすることができる。茎２０８は例えば、１枚または複数枚の葉２０６によって覆われている可能性がある。断面図として、地表面２１０と雑草の根２１２も示されている。最適なケースでは、カメラのイメージ平面２０２を葉２０６の長手方向延長線と完全に平行にすることができ、つまりは地表面に沿うようにすることができる。しかしながら、角度αによって表される比較的小さい偏差を許容可能としてよい。角度αが事前定義された閾値を超えている可能性があれば、上述のインジケータによってそのことを表すことができる。図２は、双子葉類向けのものである。インジケータは、雑草の葉が土壌表面と平行には生長しない場合もあることを見越して対応することもできる。したがって特別なケースでは、１０°とは異なる別の傾斜角度も許容可能としてよい。例えば赤色のフレームなどによるイメージのキャプチャリングの阻止を、ユーザが書き替えることができる。なお、イメージ検出器２０３はカメラ２０２の対物レンズに対し垂直である、ということを前提とすることができる。
【００６１】
同様にここで述べておいてよいのは、デジタルイメージは１つの雑草の２枚以上の葉をキャプチャリングしている可能性があるだけでなく、出現する可能性のある２つ以上の雑草植物もキャプチャリングしている可能性がある、ということである。ただし理想的には、比較的簡単な認識プロセスとなるよう、キャプチャリングされたイメージ各々が、１つの雑草植物または１枚の葉だけを有するようにしたい。
【００６２】
図３には、単子葉類例えばイネ科草本についての同等の状況が示されている。上方からデジタルイメージをキャプチャリングするのでは、雑草の種類の分類および判定のためには十分な情報を明らかにすることができない可能性がある。したがって単子葉類をこの植物の側方からデジタルで写真撮影してもよいし、または雑草を土壌から引き抜いて、土壌の上に平らに置いてもよい。このケースでは雑草のキャプチャリングを、図２のケースにおいて論じたように実施することができる。このようにするのでなければ、デジタルカメラ２０２の光学的キャプチャリング平面２０３が地表面に対し垂直になるようにしたい。この場合も、角度αによって表される比較的小さい偏差を許容可能としてよい。角度αが事前定義された閾値を超えている可能性があれば、上述のインジケータによってそのことを表すことができる。
【００６３】
図４ａ、図４ｂ、図４ｃには、輪郭線形成プロセスが示されている。図４ａには、イメージセンサ２０３および／または個々の画素マトリックスにおける雑草の葉４０２の投影が示されている。小さい正方形４０３各々が１つの画素を表すことができる。当業者であれば理解できるように、ここでは説明する目的で、非常に粗い粒度のマトリックスが用いられている。一般的には、カメラは数１００万画素の解像度を有することができる。図４ｂには、デジタル化の結果４０４が示されている。ここでは葉４０２の滑らかなエッジがなくなっており、元のアナログの形状がデジタル化されている。次のステップである図４ｃによれば、出現する可能性のある葉の輪郭線をデジタルイメージから抽出することができる。輪郭線４０６の内側すべてを、葉の画素としてカウントすることができる。
【００６４】
図５ａには、ある１つの特定の画素が雑草の葉に属している可能性があるか否かを判定するプロセスの詳細が示されている。最も簡単なケースでは、単一の画素ｐｉ５０２の色値が判定基準として用いられる。関連する色範囲は、例えば４９５〜５７５ｎｍの波長を含むことができる。ただし場合によっては、このような単純な弁別では不十分なこともあり得る。よって、着目対象となっている画素５０２を取り囲む複数の画素も考慮される。図５ｂには、画素５０２をじかに取り囲む複数の付加的な画素から成る第１の「リング」が示されている。画素ｐｉ５０２に関連する情報も用いるために、式（１）を適用することができる。
【００６５】
図５ｂには、画素５０２を取り囲む複数の画素から成る第１の「リング」５０４に加えて、複数の画素を取り囲む第２の「リング」５０６が示されている。画素５０２が葉の画素であると判定されるか否か、という判断に対する影響または重みを、ある特定の画素が着目対象である画素５０２から離れるにつれて小さくすることができる。複数の画素ｐｉ，ｊから成るさらに別のリングを使用してもよく、それらを関数Ｆの変数とすることができる。用いられるリングの個数を、イメージセンサの総解像度の関数とすることができる。
【００６６】
図６によれば、２枚の葉を含む雑草のデジタルイメージ５０２がディスプレイ６０４上に示されている。破線の長方形のフレーム６０６の形態で、最小の凸状フレームが示されている。この長方形のフレーム６０６の色を、インジケータ値として用いることができる。例えば赤色で着色されたフレームによって、雑草６０２のデジタルイメージの品質が十分であるといはいえない、ということを表すことができる。雑草６０２のデジタルイメージの品質が高まったならば、フレーム６０６の色を黄色に切り替えることができる。雑草の後続処理および認識プロセスのための品質基準に鑑み品質が十分であるならば、フレーム６０６の色を緑色に変更することができる。ただし、他の色値を用いてもよい。これに加え、または別の選択肢として、交通信号灯シンボルまたは理解しやすい他の任意のインジケータに対し、画面６００に数値を表示させることも可能である。さらにこれに加え、雑草６０２のデジタルイメージの判定された品質を、サウンドによって表してもよい。これを、音声合成または他の任意の音響信号の組み合わせとすることができる。
【００６７】
図７には、自然環境において雑草の種類を認識する認識システム７００の１つの実施形態のブロック図が示されている。この認識システムは、自然環境において栽培作物中に混ざった雑草のデジタルイメージをキャプチャリングするように適合されたデジタルカメラ７０２を含む。この場合、雑草は早期生育段階にあるものとする。輪郭線形成モジュール７０４は、デジタルイメージ内でＲＧＢ色モデルとして事前定義された色およびテクスチャの仕様を有する領域の輪郭線を形成するように適合されており、これによって１つの境界内で雑草に関連する画素を含む少なくとも１つの輪郭線形成領域が生成される。
【００６８】
ディスプレイ７０６は、輪郭線形成領域を取り囲む事前定義された最小の凸状フレームと共にデジタルイメージを表示するように適合されている。この場合、ディスプレイ７０６は、デジタルイメージおよび事前定義された最小の凸状フレームと共に、インジケータ値を表示するようにも適合されている。インジケータは、デジタルイメージの事前定義された品質基準を表すものである。これを以下のことに基づくものとすることができる。すなわち、事前定義された最小の凸状フレームが使用可能なディスプレイ領域の事前定義された最小領域をカバーしているという判定と、輪郭線形成領域に関するフォーカス検出器の正の出力値の測定とに基づくものとすることができ、この場合、正の出力値は、輪郭線形成領域に関連するデジタルイメージの領域のイメージ鮮明度に関連づけられている。ディスプレイ７０６を、例えばスマートフォンのタッチ感応型ディスプレイとすることができる。
【００６９】
デジタルイメージが事前定義された品質基準を満たしていることをインジケータ値が表している場合のみ、デジタルイメージを記憶装置７０８に記憶することができる。リセットユニット７１０は、再定義された凸状フレームの外側にあるデジタルイメージの色情報をリセットするように適合されており、伝送ユニットまたは送信機７１２は、後続検査のためにデジタルイメージを送信するように適合されており、さらに受信機７１４は、キャプチャリングされたイメージの雑草の雑草名と、この雑草名とキャプチャリングされたデジタルイメージの雑草と、の間の整合の確率を表す関連づけられた確率値とを受信するように適合されている。このようにすれば農家は、たとえ経験豊富な者であっても、自身の田畑において作物中に混ざった様々な種類の雑草を弁別することができる。
【００７０】
本発明の実施形態を、プログラムコードを記憶および／または実行するのに適したプラットフォームがなんであれ、実質的に任意のタイプのコンピュータと共に、特にスマートフォンと共に、具現化することができる。図８には一例として、提案した方法に関連するプログラムコードを実行するのに適したコンピューティングシステム８００が示されている。スマートフォンのほか、カメラ、プログラムコードを実行するプロセッサおよびトランシーバを備えた他のモバイルデバイスも、提案した方法および／または関連する認識システムの具現化に適したものであるといえる。
【００７１】
コンピューティングシステム８００は、適切なコンピュータシステムの一例にすぎず、本明細書で説明した本発明の実施形態の使用または機能の範囲について何らかの限定を示唆することを意図したものではない。ともかくもコンピュータシステム８００は、上述の機能セットのいずれであっても具現化および／または実施することができる。コンピュータシステム８００には、他の多くの汎用または専用のコンピューティングシステム環境またはコンピューティングシステムコンフィギュレーションと共に動作する構成要素が設けられている。コンピュータシステム８００と共に使用するのに適したものといえる周知のコンピューティングシステム、コンピューティング環境および／またはコンピューティングコンフィギュレーションの例には、以下に限定されるものではないが、タブレットコンピュータ、ハンドヘルドデバイスまたはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、プログラミング可能なコンシューマ電子機器、スマートフォン、および上述のシステムまたはデバイスのいずれかを含む小規模なコンピューティング能力を備えたデジタルカメラなどが含まれる。コンピュータシステム８００を、コンピュータシステム８００によって実行されるプログラムモジュールなどのように、コンピュータシステムにより実行可能な命令の汎用的なコンテキストで記述することができる。一般にプログラムモジュールは、ルーチン、プログラム、オブジェクト、コンポーネント、ロジック、データ構造などを含むことができ、これらによって特定のタスクが実施され、または特定の抽象データ型が具現化される。
【００７２】
図面に示されているように、コンピュータシステム８００は汎用コンピューティングデバイスの形態で示されている。コンピュータシステム８００の構成要素は、以下に限定されるものではないが、１つまたは複数のプロセッサまたは処理ユニット８０２、システムメモリ８０４、およびバス８１８を含むことができ、バス８１８によって、システムメモリ８０４を含む様々なシステム構成要素がプロセッサ８０２と結合される。コンピュータシステム８００は一般的には、様々なコンピュータシステム可読媒体を含む。かかる媒体を、コンピュータシステム８００によりアクセス可能である任意の使用可能な媒体とすることができ、これには揮発性媒体および不揮発性媒体、リムーバブル媒体および非リムーバブル媒体の双方が含まれる。
【００７３】
システムメモリ８０４は、ランダムアクセスメモリ（ＲＡＭ）および／またはキャッシュメモリといった揮発性メモリの形態のコンピュータシステム可読媒体を含むことができる。コンピュータシステム８００はさらに、他のリムーバブル／非リムーバブル、揮発性／不揮発性のコンピュータシステム記憶媒体を含むことができる。一例にすぎないが、非リムーバブル記憶チップからの読み出しのために、およびこの記憶チップへの書き込みのために、記憶システム８１２を設けることができる。１つまたは複数のデータ媒体インタフェースを介して、記憶媒体をバス８１８に接続することができる。あとでさらに図面で描いて説明するように、メモリ８０４は少なくとも１つのプログラム製品を含むことができ、このプログラム製品は、本発明の実施形態の機能を実行するように構成されたプログラムモジュールのセット（例えばそれらのモジュールのうちの少なくとも１つ）を有する。
【００７４】
プログラムモジュールのセット（それらのモジュールのうちの少なくとも１つ）を有するプログラム／ユーティリティをメモリ８０４に記憶させることができ、例示目的であって限定ではないが、同様にオペレーティングシステム、１つまたは複数のアプリケーションプログラム、他のプログラムモジュールおよびプログラムデータを記憶させることができる。プログラムモジュールは一般に、本明細書で説明した本発明の実施形態の機能および／または方法論を実行することができる。
【００７５】
コンピュータシステム８００は、ユーザがコンピュータシステム８００とインタラクトできるようにするタッチスクリーン内にまとめることができる１つまたは複数の外部デバイス例えばキーボード、ポインティングデバイス、ディスプレイ８２０等と、および／またはコンピュータシステム８００が１つまたは複数の他のコンピューティングデバイスと通信できるようにする任意のデバイス（例えばネットワークカード、モデム等）と、通信を行うこともできる。かかる通信を、入／出力（Ｉ／Ｏ）インタフェースを介して行うことができる。さらにコンピュータシステム８００は、ローカルエリアネットワーク（ＬＡＮ）、汎用ワイドエリアネットワーク（ＷＡＮ）、および／または移動公衆回線網（例えばインターネット）といった１つまたは複数のネットワークと、ネットワークアダプタ８１４を介して通信することができる。図示されているように、ネットワークアダプタ８１４は、バス８１８を介してコンピュータシステム８００の他の構成要素と通信することができる。自明のとおり、図示されてはいないけれども、他のハードウェアおよび／またはソフトウェアの構成要素をコンピュータシステム８００と共に使用してもよい。以下に限定されるものではないが、その例を挙げると、マイクロコード、デバイスドライバ、冗長処理ユニット等である。
【００７６】
これに加え、自然環境において雑草の種類を認識する認識システム７００を、バスシステム８１８に取り付けることができる。
【００７７】
本発明の様々な実施形態の説明を例示の目的で呈示してきたが、この説明は、開示された実施形態に徹底または限定することを意図したものではない。当業者であれば、ここで説明した実施形態の範囲および着想から逸脱することなく、多くの変形やバリエーションを理解できるであろう。本明細書で用いられた用語は、実施形態の原理、市場で見出される技術に関する実際の適用または技術的改善を最もわかりやすく説明するために、または他の当業者が本明細書で開示された実施形態を理解できるようにするために、選定されたものである。
【００７８】
本発明を、システム、方法および／またはコンピュータプログラム製品として具現化することができる。コンピュータプログラム製品は、１つまたは複数のコンピュータ可読記憶媒体を含むことができ、この媒体は、本発明の態様をプロセッサに実行させるためにそこに格納されたコンピュータ可読プログラム命令を有する。
【００７９】
この媒体を、電子的な、磁気的な、光学的な、電磁的な、赤外線によるシステム、または例えばソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）などのように、伝播媒体のための半導体システムとすることができる。
【００８０】
コンピュータ可読記憶媒体を、命令実行デバイスにより使用するための命令を保持可能および記憶可能な有形デバイスとすることができる。コンピュータ可読記憶媒体を例えば、以下に限定されるものではないが、電子記憶デバイス、磁気記憶デバイス、光学記憶デバイス、電磁記憶デバイス、ＥＰＲＯＭといった半導体記憶デバイス、またはこれらのデバイスの任意の適切な組み合わせ、とすることができる。本明細書で用いられるコンピュータ可読記憶媒体は、電波または自由に伝播する他の電磁波、導波管または他の伝送媒体を介して伝播する電磁波（例えば光ファイバケーブルを通過する光パルス）、またはワイヤを介して伝送される電気信号といった、一時的な信号そのものとして解釈されるべきではない。
【００８１】
本明細書で説明したコンピュータ可読プログラム命令を、個々のコンピューティングデバイスにダウンロードすることができ、例えばサービスプロバイダから移動ネットワークコネクションを介して、スマートフォンアプリとしてダウンロードすることができる。
【００８２】
本発明のオペレーションを実行するためのコンピュータ可読プログラム命令を、機械依存または機械非依存の任意の命令、マイクロコード、ファームウェア命令、状態設定データ、または１つまたは複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれか、とすることができ、そのようなプログラミング言語には、Ｃ＋＋，Ｊａｖａなどのようなオブジェクト指向プログラミング言語、およびＣプログラミング言語またはそれに類似したプログラミング言語などのような慣用の手続き型プログラミング言語が含まれる。コンピュータ可読プログラム命令は、もっぱらコンピュータデバイスにおいて実行可能である。一部の実施形態によれば、例えばプログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブルロジックアレイ（ＰＬＡ）を含む電子回路が、本発明の態様を実施する目的でこの電子回路をパーソナライズするためにコンピュータ可読プログラム命令の状態情報を利用することによって、コンピュータ可読プログラム命令を実行することができる。
【００８３】
本明細書では本発明の複数の態様を、本発明の実施形態による方法、装置（システム）およびコンピュータプログラム製品のフローチャート図および／またはブロック図に関して説明している。自明であるが、フローチャート図および／またはブロック図の各ブロックを、ならびにフローチャート図および／またはブロック図における各ブロックの組み合わせを、コンピュータ可読プログラム命令によって具現化することができる。
【００８４】
これらのコンピュータ可読プログラム命令を、汎用コンピュータ、専用コンピュータ、または１つの機械を作り出すための他のプログラマブルデータ処理装置のプロセッサに供給することができ、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行される命令によって、フローチャートおよび／またはブロック図の１つまたは複数のブロックにおいて指定された機能／アクションを具現化するための手段が生成されるようにする。また、これらのコンピュータ可読プログラム命令を、コンピュータ、プログラマブルデータ処理装置、および／または特定の手法で機能する他のデバイスに命令可能なコンピュータ可読記憶媒体に記憶させることもでき、命令を内部に記憶しているコンピュータ可読記憶媒体が、ブローチャートおよび／またはブロック図の１つまたは複数のブロックにおいて指定された機能／アクションの態様を具現化する命令を含む製品を有するようにする。
【００８５】
コンピュータ実装プロセスを生成するために、コンピュータ、他のプログラマブル装置またはその他のデバイスにおいて一連の動作ステップを実施させるように、コンピュータ、他のプログラマブルデータ処理装置またはその他のデバイスに、コンピュータ可読プログラム命令をロードすることもでき、コンピュータ、他のプログラマブル装置またはその他のデバイスにおいて実行される命令によって、フローチャートおよび／またはブロック図の１つまたは複数のブロックにおいて指定された機能／アクションが具現化されるようにする。
【００８６】
図面に示されたフローチャートおよび／またはブロック図によれば、本発明の様々な実施形態によるシステム、方法およびコンピュータプログラム製品の実現可能な具現化のアーキテクチャ、機能およびオペレーションが描かれている。この点に関して、フローチャートまたはブロック図における各ブロックは、１つまたは複数の指定されたロジック機能を具現化するための１つまたは複数の実行可能な命令を含む１つのモジュール、セグメント、または複数の命令から成る部分を表現することができる。一部の択一的な具現化によれば、ブロック内に記載されている機能を図面に記載された順序とは異なるように生じさせることができる。例えば相前後して示された２つのブロックを、実際には実質的に同時に実行してもよいし、または必要とされる機能に応じて、それらのブロックを場合によっては逆の順序で実行してもよい。また、ブロック図および／またはフローチャート図の各ブロックを、ならびにブロック図および／またはフローチャート図における各ブロックの組み合わせを、指定された機能またはアクションを実施する、または専用ハードウェアとコンピュータの命令との組み合わせを実行する、専用ハードウェアベースのシステムによって具現化することができる、ということも述べておきたい。
【００８７】
以下の請求項に記載されたすべての手段またはステップならびに機能要素の相応の構造、材料、アクションおよび等価物は、特に請求項に記載されているように、請求項に記載された他の要素と組み合わせて機能を実施するための任意の構造、材料またはアクションを含むことが意図されている。本発明についての記述を、例示および説明の目的で呈示してきたけれども、これは本発明を開示された形態で徹底または限定することを意図したものではない。当業者であれば、本発明の範囲および着想から逸脱することなく、多くの変形やバリエーションを理解できるであろう。これらの実施形態は、本発明の原理および実際の適用を最もわかりやすく説明する目的で、また、予期される特定の用途に適するよう様々な変形を伴う様々な実施形態について、他の当業者が本発明を理解できるようにする目的で、選択し説明したものである。
【図１】
2019520632.tif 000003
【図２】
2019520632.tif 000004
【図３】
2019520632.tif 000005
【図４（ａ）】
2019520632.tif 000006
【図４（ｂ）】
2019520632.tif 000007
【図４（ｃ）】
2019520632.tif 000008
【図５ａ】
2019520632.tif 000009
【図５ｂ】
2019520632.tif 000010
【図６】
2019520632.tif 000011
【図７】
2019520632.tif 000012
【図８】
2019520632.tif 000013
【手続補正書】
【提出日】平成31年1月10日(2019.1.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
自然環境において雑草の種類を認識する方法であって、前記方法は、
ＢＢＣＨコード１０〜３９により定義された早期生育段階にあり自然環境において栽培作物中に混ざった雑草のデジタルイメージをキャプチャリングするステップと、
前記デジタルイメージ内でＲＧＢ色モデルとして事前定義された色およびテクスチャの仕様を有する領域の輪郭線を形成して、１つの境界輪郭線内で前記雑草に関連する画素を含む少なくとも１つの輪郭線形成領域を生成するステップと、
後続検査のために前記デジタルイメージを送信するステップと、
前記後続検査に基づき、キャプチャリングされた前記イメージの前記雑草の雑草名と、前記雑草名とキャプチャリングされた前記デジタルイメージの前記雑草と、の間の整合の確率を表す関連づけられた確率値とを受信するステップと、
を含む方法。
【請求項２】
前記方法はさらに、
前記輪郭線形成領域を取り囲む事前定義された最小の凸状フレームと共に、前記デジタルイメージを表示するステップと、
前記デジタルイメージおよび前記事前定義された最小の凸状フレームと共に、
前記事前定義された最小の凸状フレームが使用可能なディスプレイ領域の事前定義された最小領域をカバーしていると判定することと、
前記輪郭線形成領域に関連する前記デジタルイメージの１つの領域のイメージ鮮明度に関連づけられたフォーカス検出器の正の出力値を、前記輪郭線形成領域に関して測定することと、
に基づき前記デジタルイメージの事前定義された品質基準を表すインジケータの値を表示するステップと、
前記デジタルイメージが前記事前定義された品質基準を満たしていることを、前記インジケータの値が表している場合のみ、前記デジタルイメージを記憶するステップと、
を含む、
請求項１記載の方法。
【請求項３】
前記方法はさらに、
再定義された前記凸状フレームの外側にある前記デジタルイメージの色情報をリセットするステップと、および／または
関連づけられた前記境界輪郭線の外側にある前記デジタルイメージの領域の色情報をリセットするステップ
を含む、
請求項１または２記載の方法。
【請求項４】
前記事前定義された色の仕様は、自然環境における雑草の色範囲に関連し、特に波長４９０〜５７５ｎｍの緑色の色範囲に関連する、
請求項１から３までのいずれか１項記載の方法。
【請求項５】
前記事前定義された色およびテクスチャの仕様を有する領域の輪郭線を形成するステップを、
前記デジタルイメージの画素ごとに、前記画素の色成分の組み合わせが事前定義された複数の色の組み合わせのうちの１つに整合しているか否かを判定することにより実施する、
請求項１から４までのいずれか１項記載の方法。
【請求項６】
前記事前定義された色の仕様を有する領域の輪郭線を形成するステップを、
ｗｉ＝Ｆ（ｐｉ，ｐｉ，ｊ）
の判定によって付加的に実施し、ただし、
ｗｉ＝１または０であり、画素ｉが雑草に属しているのか否かを表し、
Ｆは、ｐｉおよびすべてのｐｊの色属性に基づき雑草／非雑草の確率を計算する関数、
ｐｉ＝画素ｉ、
ｐｉ，ｊ＝画素ｉを取り囲む結合された画素ｊである、
請求項１から５までのいずれか１項記載の方法。
【請求項７】
前記インジケータを、前記事前定義された凸状フレームの色コードとして具現化する、
請求項１から６までのいずれか１項記載の方法。
【請求項８】
キャプチャリングされて表示された前記イメージは、記憶された前記デジタルイメージよりも低い解像度を有する、
請求項１から７までのいずれか１項記載の方法。
【請求項９】
前記デジタルイメージを記憶するステップは、また、
最初にキャプチャリングされた前記デジタルイメージよりも高い解像度で同じデジタルイメージをキャプチャリングするステップを実施することと、
より高い解像度を有する前記デジタルイメージを用いて、輪郭線を形成するステップとフォーカス検出器の正の出力値を測定するステップとを実施することと、
を含む、
請求項１から８までのいずれか１項記載の方法。
【請求項１０】
前記フォーカス検出器の正の出力値を測定するステップは、
前記デジタルイメージから導出されたデジタルグレースケールイメージのラプラスフィルタ変換を適用するステップを含み、
前記輪郭線形成領域により覆われた領域内に画素のグレースケール強度の標準偏差が位置し、さらに鮮明度係数を平方標準偏差として導出する、
請求項１から９までのいずれか１項記載の方法。
【請求項１１】
前記雑草が単子葉類であるケースでは、前記デジタルイメージをキャプチャリングするステップを、事前定義された第１のデルタ角をプラスまたはマイナスした前記単子葉類の長手方向延長線に平行なデジタルイメージ平面を用いて実施する、かつ／または
前記雑草が双子葉類であるケースでは、前記デジタルイメージをキャプチャリングするステップを、事前定義された第２のデルタ角をプラスまたはマイナスした、前記雑草を取り囲む自然環境に平行なデジタルイメージ平面を用いて実施し、かつ／または前記雑草をイメージキャプチャリングデバイスの中央に投影する、
請求項１から１０までのいずれか１項記載の方法。
【請求項１２】
前記後続検査は、
雑草および単葉の両方について、ニューラルネットワーク分類器とサンプルベースの識別子とを含む少なくとも１つのトレーニング済み分類器相関関数を、前記雑草を認識するためにキャプチャリングされた前記デジタルイメージに適用することを含み、
前記相関関数は、雑草の種類ごとの複数のメタデータセットと共に雑草の種類名へのアクセスを有する、
請求項１から１１までのいずれか１項記載の方法。
【請求項１３】
除草剤の名称をデータベースから選び出し、前記雑草名および前記確率と共に受け取る、
請求項１から１２までのいずれか１項記載の方法を使用する雑草コントロール方法。
【請求項１４】
早期生育段階にあり自然環境において栽培作物中に混ざった雑草の種類を認識するシステムであって、前記認識システムは、
前記自然環境における前記雑草のデジタルイメージをキャプチャリングするように適合されたデジタルカメラと、
前記デジタルイメージ内でＲＧＢ色モデルとして事前定義された色およびテクスチャの仕様を有する領域の輪郭線を形成して、１つの境界内で前記雑草に関連する画素を含む少なくとも１つの輪郭線形成領域を生成するように適合された輪郭線形成モジュールと、
後続検査のために前記デジタルイメージを送信するように適合された送信機と、
前記後続検査に基づき、キャプチャリングされた前記イメージの前記雑草の雑草名と、前記雑草名とキャプチャリングされた前記デジタルイメージの前記雑草と、の間の整合の確率を表す関連づけられた確率値とを受信するように適合された受信機と、
を含むシステム。
【請求項１５】
前記システムはさらに、
前記輪郭線形成領域を取り囲む事前定義された最小の凸状フレームと共に、前記デジタルイメージを表示するように適合されたディスプレイを含み、
前記ディスプレイは、前記デジタルイメージおよび前記事前定義された最小の凸状フレームと共に、
前記事前定義された最小の凸状フレームが使用可能なディスプレイ領域の事前定義された最小領域をカバーしていると判定することと、
前記輪郭線形成領域に関連する前記デジタルイメージの１つの領域のイメージ鮮明度に関連づけられたフォーカス検出器の正の出力値を、前記輪郭線形成領域に関して測定することと、
に基づき前記デジタルイメージの事前定義された品質基準を表すインジケータの値を表示するようにも適合されており、
前記システムはさらに、前記デジタルイメージが前記事前定義された品質基準を満たしていることを、前記インジケータの値が表している場合のみ、前記デジタルイメージを記憶するように適合された記憶装置を含む、
請求項１４記載のシステム。
【請求項１６】
前記システムはさらに、
再定義された前記凸状フレームの外側にある前記デジタルイメージの色情報をリセットするように、かつ／または
関連づけられた前記境界輪郭線の外側にある前記デジタルイメージの領域の色情報をリセットするように
適合されたリセットユニットを含む、
請求項１４または１５記載のシステム。
【請求項１７】
早期生育段階にあり自然環境において栽培作物中に混ざった雑草の種類を認識するコンピュータプログラムであって、前記コンピュータプログラムは、コンピュータ可読記憶媒体を含み、前記コンピュータ可読記憶媒体は、前記記憶媒体と共に具現化されるプログラム命令を有しており、
前記プログラム命令は、１つまたは複数のコンピューティングデバイスに以下のことを実施させるために、すなわち、
前記自然環境において前記雑草のデジタルイメージをキャプチャリングするステップと、
前記デジタルイメージ内でＲＧＢ色モデルとして事前定義された色およびテクスチャの仕様を有する領域の輪郭線を形成して、１つの境界輪郭線内で前記雑草に関連する画素を含む少なくとも１つの輪郭線形成領域を生成するステップと、
後続検査のために前記デジタルイメージを送信するステップと、
前記後続検査に基づき、キャプチャリングされた前記イメージの前記雑草の雑草名と、前記雑草名とキャプチャリングされた前記デジタルイメージの前記雑草と、の間の整合の確率を表す関連づけられた確率値とを受信するステップと、
を実施させるために、前記１つまたは複数のコンピューティングデバイスにより実行可能であるコンピュータプログラム。
【請求項１８】
前記プログラム命令は、１つまたは複数のコンピューティングデバイスに以下のことを実施させるために、すなわち、
前記輪郭線形成領域を取り囲む事前定義された最小の凸状フレームと共に、前記デジタルイメージを表示するステップと、
前記デジタルイメージおよび前記事前定義された最小の凸状フレームと共に、
前記事前定義された最小の凸状フレームが使用可能なディスプレイ領域の事前定義された最小領域をカバーしていると判定することと、
前記輪郭線形成領域に関連する前記デジタルイメージの１つの領域のイメージ鮮明度に関連づけられたフォーカス検出器の正の出力値を、前記輪郭線形成領域に関して測定することと、
に基づき前記デジタルイメージの事前定義された品質基準を表すインジケータの値を表示するステップと、
前記デジタルイメージが前記事前定義された品質基準を満たしていることを、前記インジケータの値が表している場合のみ、前記デジタルイメージを記憶するステップ
を実施させるために、前記１つまたは複数のコンピューティングデバイスにより実行可能である、
請求項１７記載のコンピュータプログラム。
【請求項１９】
前記プログラム命令は、１つまたは複数のコンピューティングデバイスに以下のことを実施させるために、すなわち、
再定義された前記凸状フレームの外側にある前記デジタルイメージの色情報をリセットするステップ、および／または、
関連づけられた前記境界輪郭線の外側にある前記デジタルイメージの領域の色情報をリセットするステップ、
を実施させるために、前記１つまたは複数のコンピューティングデバイスにより実行可能である、
請求項１７または１８記載のコンピュータプログラム。
【国際調査報告】
2019520632.tif 000014
2019520632.tif 000015
2019520632.tif 000016
2019520632.tif 000017