(57)【要約】植物体耕作データ測定方法、作業経路計画方法及び装置、システムであり、植物保護技術分野に係わっている。該方法は、耕作領域歴史情報を用いて深層ネットワーク・モデルにトレーニング学習を行わせること（Ｓ２１０）と、耕作領域の画像情報を受信すること（Ｓ２２０）と、深層ネットワーク・モデルを用いて、耕作領域の画像情報に対して処理を行って、植物体耕作データを取得すること（Ｓ２３０）と、植物体耕作データを出力すること（Ｓ２４０）と、を含む。上記作業経路計画方法は、上記測定方法で取得した植物体耕作データを用いて作業経路を計画する。
2021516060.tif 000002
【特許請求の範囲】
【請求項１】
耕作領域の画像情報を受信することと、
予め設定された識別モデルを用いて、前記耕作領域の画像情報に対して処理を行って、植物体耕作データを取得することと、を含む植物体耕作データ測定方法。
【請求項２】
前記画像情報が、マッピング画像情報、地図情報、写真情報の中の１種または複種類を含む請求項１に記載の植物体耕作データ測定方法。
【請求項３】
前記予め設定された識別モデルは深層ネットワーク・モデルであり、耕作領域の画像情報を受信する前に、
歴史画像情報と前記歴史画像情報に対応する歴史植物体校正情報とを含む耕作領域歴史情報を受信することと、
前記歴史画像情報から歴史植物体図形特徴を抽出することと、
深層学習方式で前記歴史植物体図形特徴及び前記歴史植物体校正情報に対して処理を行って、深層ネットワーク・モデルの損失値を取得することと、
前記歴史植物体校正情報を用いて、前記深層ネットワーク・モデルの損失値に最適化を行って、最適化後の植物体耕作データの識別戦略を含む深層ネットワーク・モデルを取得することと、
前記深層ネットワーク・モデルを記憶することと、をさらに含む請求項１に記載の植物体耕作データ測定方法。
【請求項４】
前記深層学習方式で歴史植物体図形特徴及び歴史植物体校正情報に対して処理を行って、深層ネットワーク・モデルの損失値を取得することは、
前記歴史植物体校正情報に歴史植物体エッジ部校正情報が含まれた場合に、特徴ピラミッド・モデルを用いて、前記歴史植物体図形特徴に画像分割を行って、植物体歴史画像分割結果を取得し、前記植物体歴史画像分割結果及び前記歴史植物体エッジ部校正情報に基づいて、歴史植物体画像分割損失値を取得することと、
前記歴史植物体校正情報に歴史植物体エッジ部校正情報が含まれた場合に、領域推薦ネットワーク・モデルを用いて、前記歴史植物体図形特徴に対して処理を行って、ターゲット植物体領域結果を取得し、前記ターゲット植物体領域結果及び前記歴史植物体エッジ部校正情報に基づいて、ターゲット植物体領域回帰損失値を取得することと、
前記歴史植物体校正情報に歴史植物体種類校正情報が含まれた場合に、領域推薦ネットワーク・モデルを用いて、前記歴史植物体図形特徴に対して処理を行って、ターゲット植物体種類情報を取得し、前記ターゲット植物体種類情報及び前記歴史植物体種類校正情報に基づいて、ターゲット植物体種類回帰損失値を取得することと、
前記歴史植物体画像分割損失値、前記ターゲット植物体領域回帰損失値、前記ターゲット植物体種類回帰損失値の中の１種または複種類に基づいて、深層ネットワーク・モデルの損失値を取得することと、を含む請求項３に記載の植物体耕作データ測定方法。
【請求項５】
前記予め設定された識別モデルを用いて、前記耕作領域の画像情報に対して処理を行って、植物体耕作データを取得することが、
前記予め設定された識別モデルに基づいて制御して、前記耕作領域の画像情報から測定対象の植物体の図形特徴を抽出することと、
前記予め設定された識別モデルに基づいて制御して、前記測定対象の植物体の図形特徴を処理して、植物体耕作データを取得することと、を含む請求項１乃至４の中のいずれか一項に記載の植物体耕作データ測定方法。
【請求項６】
前記予め設定された識別モデルに基づいて制御して、測定対象の植物体の図形特徴を処理して、植物体耕作データを取得することは、
前記深層ネットワーク・モデルに基づいて、前記測定対象の植物体の図形特徴に画像分割を行うように特徴ピラミッド・モデルを制御して、植物体エッジ部情報を取得すること、
前記深層ネットワーク・モデルに基づいて、前記測定対象の植物体の図形特徴に対して処理を行うように領域推薦ネットワーク・モデルを制御して、植物体の位置情報を取得すること、
前記深層ネットワーク・モデルに基づいて、前記測定対象の植物体の図形特徴に対して処理を行うように領域推薦ネットワーク・モデルを制御して、植物体数量情報を取得すること、
前記深層ネットワーク・モデルに基づいて、前記測定対象の植物体の図形特徴に対して処理を行うように特徴ピラミッド・モデルを制御して、植物体成長情報を取得すること、
前記深層ネットワーク・モデルに基づいて、前記歴史植物体図形特徴に対して処理を行うように領域推薦ネットワーク・モデルを制御して、植物体種類情報を取得することの中の少なくとも一つを含む請求項１乃至４の中のいずれか一項に記載の植物体耕作データ測定方法。
【請求項７】
耕作領域の画像情報を受信するように構成された受信モジュールと、
予め設定された識別モデルを用いて、前記耕作領域の画像情報に対して処理を行って、植物体耕作データを取得するように構成された処理モジュールと、を含む植物体耕作データ測定装置。
【請求項８】
前記画像情報は、マッピング画像情報、地図情報、写真情報の中の１種または複種類を含む請求項７に記載の植物体耕作データ測定装置。
【請求項９】
前記予め設定された識別モデルは深層ネットワーク・モデルであり、
深層ネットワーク・モデルを記憶するように構成された記憶モジュールをさらに含み、
前記受信モジュールはさらに、耕作領域の画像情報を受信する前に、耕作領域歴史情報を受信し、前記植物体の種類領域歴史情報は歴史画像情報と前記歴史画像情報に対応する歴史植物体校正情報とを含み、
前記処理モジュールは、
耕作領域の画像情報を受信する前に、前記歴史画像情報から歴史植物体図形特徴を抽出し、また耕作領域の画像情報を受信した後に、前記深層ネットワーク・モデルに基づいて制御して、前記耕作領域の画像情報から測定対象の植物体の図形特徴を抽出するように構成された特徴抽出ユニットと、
耕作領域の画像情報を受信する前に、深層学習方式で歴史植物体図形特徴及び歴史植物体校正情報に対して処理を行って、深層ネットワーク・モデルの損失値を取得し、また耕作領域の画像情報を受信した後に、前記深層ネットワーク・モデルに基づいて制御して、前記測定対象の植物体の図形特徴を処理して植物体耕作データを取得するように構成された情報識別ユニットと、
耕作領域の画像情報を受信する前に、前記歴史植物体校正情報を用いて、前記深層ネットワーク・モデルの損失値に最適化を行って、最適化後の植物体耕作データの識別戦略を含む深層ネットワーク・モデルを取得するように構成されたモデル最適化ユニットと、を含む請求項７に記載の植物体耕作データ測定装置。
【請求項１０】
前記情報識別ユニットは、第１の識別ユニットと、第２の識別ユニットと、情報計算ユニットとを含み、
前記第１の識別ユニットは、
耕作領域の画像情報を受信する前に、前記歴史植物体校正情報に歴史植物体エッジ部校正情報が含まれていると、特徴ピラミッド・モデルを用いて、前記歴史植物体図形特徴に画像分割を行って、植物体歴史画像分割結果を取得し、また、前記植物体歴史画像分割結果及び前記歴史植物体エッジ部校正情報に基づいて、歴史植物体画像分割損失値を取得し、及び、
耕作領域の画像情報を受信した後に、深層ネットワーク・モデルに基づいて、特徴ピラミッド・モデルを用いて、前記測定対象の植物体の図形特徴に画像分割を行って、植物体エッジ部情報を取得し、また、前記深層ネットワーク・モデルに基づいて、前記測定対象の植物体の図形特徴に対して処理を行うように特徴ピラミッド・モデルを制御して、植物体成長情報を取得するように構成され、
前記第２の識別ユニットは、
耕作領域の画像情報を受信する前に、前記歴史植物体校正情報に歴史植物体エッジ部校正情報が含まれていると、領域推薦ネットワーク・モデルを用いて、前記歴史植物体図形特徴に対して処理を行って、ターゲット植物体領域結果を取得し、また、前記ターゲット植物体領域結果及び前記歴史植物体エッジ部校正情報に基づいて、ターゲット植物体領域回帰損失値を取得し、及び、
耕作領域の画像情報を受信した後に、前記深層ネットワーク・モデルに基づいて、領域推薦ネットワーク・モデルを用いて、前記測定対象の植物体の図形特徴に対して処理を行って、植物体の位置情報を取得し、また、前記深層ネットワーク・モデルに基づいて、前記測定対象の植物体の図形特徴に対して処理を行うように領域推薦ネットワーク・モデルを制御して、植物体数量情報を取得し、
耕作領域の画像情報を受信する前に、前記歴史植物体校正情報に歴史植物体種類校正情報が含まれていると、領域推薦ネットワーク・モデルを用いて、前記歴史植物体図形特徴に対して処理を行って、ターゲット植物体種類情報を取得し、また、前記ターゲット植物体種類情報及び前記歴史植物体種類校正情報に基づいて、ターゲット植物体種類回帰損失値を取得し、及びマッピング装置から伝送された耕作領域の画像情報を受信した後に、深層ネットワーク・モデルに基づいて、領域推薦ネットワーク・モデルを用いて、前記歴史植物体図形特徴に対して処理を行って、植物体種類情報を取得するように構成され、
前記情報計算ユニットは、
耕作領域の画像情報を受信する前に、前記歴史植物体画像分割損失値、前記ターゲット植物体領域回帰損失値、前記ターゲット植物体種類回帰損失値の中の１種または複種類に基づいて、深層ネットワーク・モデルの損失値を取得するように構成され、
前記植物体エッジ部情報、前記植物体の位置情報、前記植物体種類情報、植物体数量情報、植物体成長情報の中の一つまたは複数を植物体耕作データとして出力するように構成された送信モジュールをさらに含み、請求項９に記載の植物体耕作データ測定装置。
【請求項１１】
画像採集装置と、請求項７乃至１０の中のいずれか一項に記載の植物体耕作データ測定装置と、含み、前記画像採集装置の出力端が前記植物体耕作データ測定装置に含まれた受信モジュールに接続される植物体耕作データ測定システム。
【請求項１２】
前記画像採集装置がマッピング・モジュールと飛行制御モジュールとを含むマッピング航空機である場合に、前記植物体耕作データ測定装置が前記飛行制御モジュールに設けられ、前記マッピング・モジュールが前記受信モジュールに接続される請求項１１に記載の植物体耕作データ測定システム。
【請求項１３】
前記画像採集装置は少なくとも、植物体の位置情報の位置決めを行うように構成された位置決めユニットと、画像情報を採集するように構成された画像採集ユニットとを含み、前記位置決めユニット及び前記画像採集ユニットがそれぞれ、前記受信モジュールに接続される請求項１１に記載の植物体耕作データ測定システム。
【請求項１４】
請求項１乃至６の中のいずれか一項に記載の植物体耕作データ測定方法に従って、作業経路計画用の作業領域画像から作業領域における植物体耕作データを取得することと、
前記作業領域における植物体耕作データに基づいて、移動可能な機器の作業領域での作業経路を計画することと、を含む作業経路計画方法。
【請求項１５】
前記植物体耕作データに植物体エッジ部情報と植物体の位置情報とが含まれていると、前記作業領域における植物体耕作データに基づいて、移動可能な機器の作業領域での作業経路を計画することは、
前記作業領域における植物体の位置情報に基づいて、各植物体の作業中心点を決定することと、
前記作業領域における植物体エッジ部情報に基づいて、各植物体の作業半径を決定することと、
各植物体の作業中心点、各植物体の作業半径及び前記移動可能な機器の作業幅に基づいて、前記移動可能な機器の前記作業領域内での作業経路を制御するための植物体作業経路を生成することと、を含む請求項１４に記載の作業経路計画方法。
【請求項１６】
前記植物体耕作データに植物体エッジ部情報と植物体の位置情報とが含まれていると、前記作業領域における植物体耕作データに基づいて、移動可能な機器の作業領域での作業経路を計画することは、
前記植物体の位置情報に基づいて、少なくとも一本の作業中心線を決定することと、
植物体エッジ部情報に基づいて、少なくとも一本の作業中心線に対応する植物体幅を決定することと、
前記移動可能な機器の作業幅、各前記作業中心線及び対応する植物体幅に基づいて、前記移動可能な機器の前記作業領域内での作業経路を制御するための植物体作業経路を生成することと、含む請求項１４に記載の作業経路計画方法。
【請求項１７】
前記作業経路が、弓形経路、螺旋状経路、同心円経路、マンサード経路、その場での回転経路の中の１種または複種類を含む請求項１４に記載の作業経路計画方法。
【請求項１８】
前記作業領域における植物体耕作データを取得した後に、移動可能な機器の作業領域での作業経路を計画する前に、
前記作業領域における植物体耕作データに対して可視化標記を行うことと、
ユーザの選択命令に応じて、可視化標記された前記作業領域における植物体耕作データから作業対象植物体領域の植物体耕作データを取得することと、をさらに含み、
前記作業領域における植物体耕作データに基づいて、移動可能な機器の作業領域での作業経路を計画することは、
前記作業対象植物体領域の植物体耕作データに基づいて、移動可能な機器の作業対象植物体領域での作業経路を計画することを含む請求項１４に記載の作業経路計画方法。
【請求項１９】
請求項１乃至６の中のいずれか一項に記載の植物体耕作データ測定方法に従って、前記作業経路計画の作業領域画像から作業領域における植物体耕作データを取得するように構成された請求項７乃至１０の中のいずれか一項に記載の植物体耕作データ測定装置と、
前記作業領域における植物体耕作データに基づいて、移動可能な機器の作業領域での作業経路を計画するように構成された計画モジュールと、を含む作業経路計画システム。
【請求項２０】
前記植物体耕作データに植物体エッジ部情報と植物体の位置情報とが含まれていると、前記計画モジュールは具体的に、前記作業領域における植物体の位置情報に基づいて、各植物体の作業中心点を決定し、また、前記作業領域における植物体エッジ部情報に基づいて、各植物体の作業半径を決定し、また、各植物体の作業中心点、各植物体の作業半径及び前記移動可能な機器の作業幅に基づいて、前記移動可能な機器の前記作業領域内での作業経路を制御するための植物体作業経路を生成する請求項１９に記載の作業経路計画システム。
【請求項２１】
前記植物体耕作データに植物体エッジ部情報と植物体の位置情報とが含まれていると、前記計画モジュールは具体的に、前記植物体の位置情報に基づいて、少なくとも一本の作業中心線を決定し、
植物体エッジ部情報に基づいて、少なくとも一本の作業中心線に対応する植物体幅を決定し、
前記移動可能な機器の作業幅、各前記作業中心線及び対応する植物体幅に基づいて、前記移動可能な機器の前記作業領域内での作業経路を制御するための植物体作業経路を生成する請求項１９に記載の作業経路計画システム。
【請求項２２】
前記作業経路が、弓形経路、螺旋状経路、同心円経路、マンサード経路、その場での回転経路の中の１種または複種類を含む請求項１９に記載の作業経路計画システム。
【請求項２３】
作業領域における植物体耕作データを取得した後に、且つ移動可能な機器の作業領域での作業経路を計画する前に、前記作業領域における植物体耕作データに対して可視化標記を行うように構成されたデータ標記モジュールと、
ユーザから送信された選択命令に応じて、可視化標記された前記作業領域における植物体耕作データから作業対象植物体領域の植物体耕作データを取得するように構成された選択制御モジュールと、をさらに含み、
前記計画モジュールは、前記作業対象植物体領域の植物体耕作データに基づいて、移動可能な機器の作業対象植物体領域での作業経路を計画する請求項１９に記載の作業経路計画システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、植物保護技術分野に関し、詳しくは、植物体耕作データ測定方法、作業経路計画方法及び装置、システムに関する。
【背景技術】
【０００２】
農業生産において、農産物の生産量は長い間人々の注目を集めていて、それが農業経営者の収入を直接に決定するので、農業経営者はしょっちゅう農産物の生産量を計算することで農産物の経済的利益を推定する。
現在、農産物の生産量に影響を与える要因には、主に、耕作数量や植物体サイズ等の植物体耕作データが含まれ、これらの植物体耕作データは、農業経営者が農産物の経済的利益を予測するに非常に重要なものである。しかし、通常は手動統計の方式によって取得されるため、植物体耕作データの統計効率が比較的に低く、特に、耕作面積の大きい一部の農作物の場合に、植物体耕作データの統計が非常に複雑になる。
【発明の概要】
【０００３】
本願の実施例は、植物体耕作データの統計過程を簡略化して植物体耕作データの統計効率を向上させ、経路計画をさらに正確にさせる植物体耕作データ測定方法、作業経路計画方法及び装置、システムを提供する。
上記目的を実現するため、本願において以下のような技術案を提供する。
【０００４】
第１態様において、本願は、
耕作領域の画像情報を受信することと、
予め設定された識別モデルを用いて、前記耕作領域の画像情報に対して処理を行って、植物体耕作データを取得することと、を含む植物体耕作データ測定方法を提供する。
既存技術に比べ、本願で提供する植物体耕作データ測定方法において、予め設定された識別モデルを用いて、マッピング装置（測量及び図化装置）から伝送された耕作領域の画像情報に対して処理を行って、植物体耕作データを取得することで、植物体耕作データの統計過程を簡略化して植物体耕作データの統計効率を向上させて、経路計画をさらに正確にさせて、耕作領域の植物体耕作データの手動統計による統計効率の低下及び統計過程が複雑である問題を回避する。
【０００５】
第２態様において、本願は、
耕作領域の画像情報を受信するための受信モジュールと、
予め設定された識別モデルを用いて、前記耕作領域の画像情報に対して処理を行って、植物体耕作データを取得するための処理モジュールと、を含む植物体耕作データ測定装置をさらに提供する。
既存技術に比べ、本願で提供する植物体耕作データ測定装置による有益な効果は上記技術案にて提供した植物体耕作データ測定装置による有益な効果と同じであるため、ここでは詳細な説明を省略する。
【０００６】
第３態様において、本願は、上記技術案に記載の植物体耕作データ測定装置と、出力端が前記植物体耕作データ測定装置に含まれた受信モジュールに接続されるマッピング装置と、を含む植物体耕作データ測定システムをさらに提供する。
既存技術に比べ、本願で提供する植物体耕作データ測定システムによる有益な効果は上記技術案にて提供した植物体耕作データ測定方法による有益な効果と同じであるため、ここでは詳細な説明を省略する。
【０００７】
第４態様において、本願は、
上記技術案に記載の植物体耕作データ測定方法に従って、作業経路計画用の作業領域画像から作業領域における植物体耕作データを取得することと、
前記作業領域における植物体耕作データに基づいて、移動可能な機器の作業領域での作業経路を計画することと、を含む作業経路計画方法をさらに提供する。
既存技術に比べ、本願で提供する作業経路計画方法による有益な効果は上記技術案にて提供した植物体耕作データ測定方法の技術案と同じであるため、ここでは詳細な説明を省略する。同時に、測定された植物体耕作データによって作業経路を計画して、作業経路をさらに正確にさせ、働き効率を向上させ、作業実行正確性を向上させることができる。
【０００８】
第５態様において、本願は、
上記技術案で提供した上記植物体耕作データ測定方法に従って、前記作業経路計画の作業領域画像から、作業領域における植物体耕作データを取得するための上記技術案に記載の植物体耕作データ測定装置と、
前記作業領域における植物体耕作データに基づいて、移動可能な機器の作業領域での作業経路を計画するための計画モジュールと、を含む作業経路計画システムをさらに提供する。
既存技術に比べ、本願で提供する作業経路計画装置による有益な効果は上記技術案にて提供した作業経路計画方法による有益な効果と同じであるため、ここでは詳細な説明を省略する。
【０００９】
ここで説明する図面は本願を一層理解させるためのものであり、本願の一部を構成し、本願の例示的な実施例及びその説明は本願を解釈するためのものであり、本願を不当に限定するものではない。
【図面の簡単な説明】
【００１０】
【図１】本願の実施例で提供する作業経路計画方法のプロセスを示すブロック図である。
【図２】本願の実施例において植物体耕作データを選択する操作を行うフロチャートである。
【図３】本願の実施例において移動可能な機器の作業領域での作業経路を計画するフロチャート１である。
【図４】本願の実施例において移動可能な機器の作業領域での作業経路を計画するフロチャート２である。
【図５】本願の実施例で提供する作業経路計画システムの構造を示す図である。
【図６】本願の実施例で提供する植物体耕作データ測定方法のフロチャートである。
【図７】本願の実施例において耕作領域歴史情報を用いて深層ネットワーク・モデルにトレーニング学習を行わせるフロチャートである。
【図８】本願の実施例における深層ネットワーク・モデルの構造原理を示す図である。
【図９】本願の実施例において深層ネットワーク・モデルを用いて耕作領域の画像情報に対して処理を行うフロチャートである。
【図１０】本願の実施例で提供する植物体耕作データ測定装置の構造を示すブロック図である。
【図１１】本願の実施例の深層ネットワーク・モデルの構造を示すブロック図である。
【図１２】本願の実施例で提供する植物体耕作データ測定システムの情報のやり取りを示す図である。
【発明を実施するための形態】
【００１１】
以下、本願の実施例中の図面を結合して、本願の実施例中の技術案を明確且つ完全に説明するが、ここで説明する実施例が本願の実施例の全部ではなく一部であることは言うまでもない。本願の実施例に基づいて、当業者が創造性のある行為を必要とせずに得られる他の実施例はいずれも本願の保護範囲に含まれる。
【００１２】
植物体耕作データを手動で統計することで植物体耕作データの統計効率が低く、特に耕作面積の大きい農作物の場合に、植物体耕作データの統計が非常に複雑になる問題に対して、本願の実施例において問題を解決するために植物体耕作データ測定方法、作業経路計画方法及び装置、システムを提供する。これらは、画像の識別が可能である農作物の耕作データの測定に用いられ、且つ耕作面積の影響を受けず、簡単且つ高速に植物体耕作データを取得することができる。そして、本願の実施例にて測定される植物体耕作データは、植物体の生産量の予測に用いられるだけではなく、植物体の成長状況の観察に用いられ、また植物体に作業を行う必要がある場合に、植物体耕作データによっる作業経路の計画に用いられる。
【００１３】
実施例１
本願の実施例において作業経路計画方法を提供し、図１に示すように、この作業経路計画方法はステップＳ１１０、ステップＳ１３０を含む。
ステップＳ１１０において、植物体耕作データ測定方法を用いて、作業経路計画用の作業領域画像から作業領域における植物体耕作データを取得する。
【００１４】
ステップＳ１３０において、作業領域における植物体耕作データに基づいて、移動可能な機器の作業領域での作業経路を計画する。
ここで、植物体耕作データ測定方法は、トレーニング学習等の画像識別技術に基づいて、植物体耕作データを測定する。画像識別技術は、深層ネットワーク学習技術または他の画像識別技術であることができる。例えば、簡単の色の識別、形状の識別、画像の分割、エッジ部の識別算出方法等によって、作業領域の画像から必要な植物体耕作データを分離することができる。これらの画像識別技術によって、作業領域画像から必要な作業領域における植物体耕作データを高速に分離して、作業領域における植物体耕作データに応じて、移動可能な機器の作業領域での作業経路を計画することができ、作業実行正確性を向上させ、盲目的に作業する現象の出現を回避し、マッピング効率を向上させる。
【００１５】
上述した移動可能な機器には、ドローン、航空機、トラクター、耕耘機、収穫機、知能ロボット等が含まれる。上述したドローンは作業対象領域での農薬、肥料、種子の散布等に用いられることができる。前記トラクター、耕耘機、収穫機は農地に対する耕作と収穫等に用いられることができる。前記知能ロボットは作業対象領域に対する自動採集、綿花の摘心、レーザーによる草や害虫除去等に用いられることができる。
【００１６】
なお、本願の実施例で計画される作業経路には、弓形経路、螺旋状経路、同心円経路、マンサード経路、その場での回転経路のうちの１種または複種類が含まれることができる。本願の一実施例において、前記弓形経路は、まず作業対象領域で作業する幾つかの平行作業経路を決定し、これらの作業経路のヘッドと尾を接続して連通された作業経路を形成する。前記螺旋状経路は、作業中心点から外側へ徐々に回転し、ツブのように外側へ螺旋を形成しているものである。前記同心円経路は、作業中心を中心とする幾つかの同心円を含む経路である。前記マンサード経路は、必要な作業点を順に繋げてなるマンサード経路であり、本願の一実施例においては、マンサード経路を柔軟に自由経路にすることができる。本願の一実施例において、その場での回転経路は、作業機械がその場での回転することを示し、例えば、ドローンが果樹に薬液を散布する際、その場での回転する方式で均一に散布することができる。
【００１７】
本願の実施例で提供する作業計画方法が最も人間中心になるように、作業領域における植物体耕作データを取得した後に、移動可能な機器の作業領域での作業経路を計画する前に、本願の実施例で提供する作業経路計画方法は、図２に示す植物体耕作データを選択する操作を行うステップＳ１２０をさらに含む。ステップＳ１２０は、具体的には以下のステップＳ１２１、ステップＳ１２２を含む。
【００１８】
ステップＳ１２１において、ユーザが植物体耕作データを簡単且つ高速に発見するように、作業領域における植物体耕作データに対して可視化標記を行う。
ステップＳ１２２において、ユーザの選択命令に応じて、可視化標記された作業領域における植物体耕作データから作業対象植物体領域の植物体耕作データを取得する。
【００１９】
応用する際、可視化標記された作業領域における植物体耕作データを携帯電話、タブレットＰＣ等の端末機器に表示し、ユーザが端末機器で可視化標記された作業領域における植物体耕作データを見て、実際の需要に応じて選択命令を出力し、端末機器がユーザの選択命令に従って、可視化標記された作業領域における植物体耕作データから作業対象植物体領域の植物体耕作データを取得することができる。つまり、本願の実施例において、選択する操作の機能を端末機器に集積することができ、経路を計画する方法に対応する機能をプロセッサに集積することもできる。
【００２０】
ここで、作業領域における植物体耕作データに基づいて、移動可能な機器の作業領域での作業経路を計画することは、
作業対象植物体領域の植物体耕作データに基づいて、移動可能な機器の作業植物体領域での作業経路を計画することを含む。
【００２１】
例示的に、作業領域の地形が比較的に平坦であり、且つ植物体の半径が大きい領域の場合に、単一の植物体に対して作業通路を計画することができる。例えば、植物体耕作データに植物体エッジ部情報と植物体の位置情報とが含まれた場合に、図３に示すように、上記作業領域における植物体耕作データに基づいて移動可能な機器の作業領域での作業経路を計画することは、ステップＳ１３１ａ、ステップＳ１３２ａを含む。
【００２２】
ステップＳ１３１ａにおいて、作業領域における植物体の位置情報に基づいて、各植物体の作業中心点を決定し、作業領域における植物体エッジ部情報に基づいて、各植物体の作業半径を決定する。実は植物体それぞれの作業中心点がこの植物体の幾何中心位置である。
ステップＳ１３２ａにおいて、各植物体の作業中心点、各植物体の作業半径及び前記移動可能な機器の作業幅とに基づいて、植物体作業経路を生成する。植物体作業経路は、移動可能な機器の作業領域内の作業経路を制御するに用いられる。
【００２３】
具体的に、植物体それぞれの作業半径及び作業中心点と移動可能な機器の作業幅とに基づいて、植物体それぞれの作業通路を生成し、換言すると、生成される植物体作業経路は、実は植物体それぞれの作業通路の組み合わせからなるものである。
一方、作業領域の地形が階段状であれば、特に作業領域内の各植物体の寸法が小さい場合に、植物体ごとの作業方式を限定することは非現実的であり、階段状の領域の階段ごとに作業経路の計画を行うことが考えられる。これに基づいて、植物体耕作データに植物体エッジ部情報と植物体の位置情報とが含まれた場合に、図４に示すように、上記作業領域における植物体耕作データに基づいて移動可能な機器の作業領域での作業経路を計画することは、ステップＳ１３１ｂ、ステップＳ１３２ｂを含む。
【００２４】
ステップＳ１３１ｂにおいて、植物体の位置情報に基づいて、少なくとも一本の作業中心線を決定し、植物体エッジ部情報に基づいて、少なくとも一本の作業中心線に対応する植物体幅を決定する。具体的に、各植物体の幅方向が位置する直線が対応する作業中心線に垂直する。
具体的に、ここで言う作業中心線とは、各階段の領域の全ての植物体の作業中心点からなる接続線を指し、曲線、直線または波線であることができる。各作業中心線はいずれも植物体幅に対応する。植物体幅はこの作業中心線に対応するすべての植物体の平均幅であることができれば、この作業中心線に対応するすべての植物体の中の幅が最も大きい植物体の幅であることもできる。
【００２５】
ステップＳ１３２ｂにおいて、移動可能な機器の作業幅、各作業中心線及び対応する植物体幅に基づいて、前記移動可能な機器の前記作業領域内の作業経路を制御するための植物体作業経路を生成する。具体的に、本願の一実施例において、植物体作業経路は実は各段階の領域での植物体作業通路の合計である。
【００２６】
なお、本願の実施例中の「作業」は、作業領域における植物体への殺虫剤、栄養剤の散布、または監視ジョブの実行等の操作であることができ、ここでは逐一説明しない。「作業」の最終的な目的は、各植物体の各部分に対して作業を完成できることを最適な目標とし、該最適な目標を如何に実現するかは、移動可能な機器が生成された植物体作業経路に従って作業を繰り返して検出することで実現でき、他の実現可能な検出形態であってもよい。
【００２７】
実施例２
本願の実施例においてさらに植物体耕作データ測定方法を提供する。これは、上述した作業経路を計画して作業領域における植物体耕作データを取得するに用いられ、植物体の成長状況の分析にも適用可能である。図５と図６に示すように、この植物体耕作データ測定方法は、ステップＳ２２０、ステップＳ２３０を含む。
【００２８】
ステップＳ２２０において、耕作領域の画像情報を受信する。耕作領域の画像情報は、マッピング装置、カメラ等の画像採集機器から提供されることができ、画像情報にはマッピング画像情報、地図情報、写真情報の中の１種または複種類が含まれるが、これに限定されることはない。
【００２９】
ステップＳ２３０において、予め設定された識別モデルを用いて、耕作領域の画像情報に対して処理を行って、植物体耕作データを取得する。
ここで、本願の実施例で提供する植物体耕作データ測定方法が、実際の需要に応じて出力することも可能であり、出力が必要な時、実際の需要に応じて植物体耕作データを出力するステップＳ２４０をさらに含むことが可能であることは理解でき、これによりさらなる応用を提供する。
【００３０】
このように、本願の実施例で提供する植物体耕作データ測定方法において、予め設定された識別モデルを用いて、耕作領域の画像情報に対して処理を行うことで、植物体耕作データを取得する。従って、植物体耕作データの統計過程を簡略化し、植物体耕作データの統計効率を向上させ、経路計画をさらに正確にさせ、耕作領域の植物体耕作データを手動で統計することで統計効率が低下し統計過程が複雑である問題を解決する。
【００３１】
また、本願の実施例において予め設定された識別モデルを用いて、耕作領域の画像情報に対して処理を行う場合に、予め設定された識別モデルが画像識別機能付きのモデルであることは理解できることであり、色識別機能付きのアルゴリズムであることもでき、画像から植物体データを識別できればよい。
【００３２】
識別された結果が相対的に正確であるように、本願の実施例における予め設定された識別モデルは深層ネットワーク・モデルであり、一方、深層ネットワーク・モデルはトレーニング学習を行ってから初めて耕作領域の画像情報に効率的な識別を行うことが可能である。つまり、図５乃至図７に示すように、耕作領域の画像情報を受信する前に、本願の実施例で提供する植物体耕作データ測定方法はステップＳ２１０を含む。
【００３３】
ステップＳ２１０において、耕作領域歴史情報を用いて深層ネットワーク・モデルにトレーニング学習を行わせ、具体的にはステップＳ２１１〜ステップＳ２１４を含む。
ステップＳ２１１において、耕作領域歴史情報を受信する。種類領域歴史情報には歴史画像情報と歴史画像情報に対応する歴史植物体校正情報とが含まれる。
ステップＳ２１２において、歴史画像情報から歴史植物体図形特徴を抽出し、具体的には、図３に示す畳み込みニューラル・ネットワーク・モデルＣＮＮで実現することができ、他の画像識別モデルを用いて、識別することも可能である。
【００３４】
ステップＳ２１３において、深層学習方式で歴史植物体図形特徴及び歴史植物体校正情報に対して処理を行って、深層ネットワーク・モデルの損失値を取得する。
ステップＳ２１４において、深層ネットワーク・モデルで耕作領域の画像情報に対して処理を行った結果が相対的に正確になるように、歴史植物体校正情報を用いて深層ネットワーク・モデルの損失値の最適化を行って、最適化後の植物体耕作データの識別戦略を含む深層ネットワーク・モデルを取得する。
【００３５】
具体的に、最適化方法として、逆伝播最適化方法で実現することが可能であり、他の最適化方法を用いることも可能である。
後続する深層ネットワーク・モデルを用いた画像識別の便宜を図るために、図６に示すように、本願の実施例で提供する植物体耕作データ測定方法は、深層ネットワーク・モデルを記憶するステップＳ２５０をさらに含み、深層ネットワーク・モデルを、記憶機能を具備する記憶モジュール１３０またはメモリ内に記憶することができる。
【００３６】
例示的に、本願の実施例で提供する歴史植物体校正情報は、歴史植物体エッジ部校正情報及び／または歴史植物体種類校正情報を含む。図８に示すように、この場合に、深層学習方式で歴史植物体図形特徴及び歴史植物体校正情報に対して処理を行って深層ネットワーク・モデルの損失値を取得することは、
特徴ピラミッド・モデルＦＰＮで歴史植物体図形特徴に画像分割を行って、植物体歴史画像分割結果を得ることを含み、植物体歴史画像分割結果は実は、一連の植物体エッジ部の軌跡点予測情報であり、これらの植物体エッジ部の軌跡点予測情報からなる植物体エッジ部は不規則なエッジ部である。
【００３７】
特徴ピラミッド・モデル(ＦＰＮ)は、特徴抽出ネットワークに基づくものであり、よく見られるＲｅｓＮｅｔまたはＤｅｎｓｅＮｅｔなどのネットワークであることができ、ターゲットの検出、実例の分割、姿勢の識別、顔の識別等の応用に用いられることができる。常用の深層学習フレームから予備トレーニング・モデルを取ってＦＰＮを実現することができる。
【００３８】
画像の中のターゲットの寸法の大きさはさまざまであり、データ集合の中の物体がすべてのスケールをカバーすることができないので、画像ピラミッド(異なる解像度でのダウン・サンプリング)でＣＮＮ学習を支援しなければならない。しかし、このようにする速度が遅いので、単一のスケールで予測するしかできず、中間結果で予測する場合もある。このような構成は、補助情報と補助損失関数がある場合に大量に使用される。
【００３９】
ＦＰＮは巧妙な方法で上記方法を向上させ、横方向の接続以外、上から下への接続も導入し、上から下へ得られた結果と横方向で得られた結果とを加算する方法で一つに融合し、解像度が異なる特徴図を得ることが可能である。これらの特徴図はいずれも元の最も深層の特徴図の意味情報を含む。
植物体歴史画像分割結果と実際の植物体エッジ部校正情報との差異を検証するため、
植物体歴史画像分割結果及び歴史植物体エッジ部校正情報に基づいて、歴史植物体画像分割損失値Ｌｍａｓｋを取得すること、
及び／または、
領域推薦ネットワーク・モデルＲＰＮで歴史植物体図形特徴に対して処理を行って、ターゲット植物体領域結果を取得すること、をさらに含む。ここで、ターゲット植物体領域結果は実は一部の列の植物体エッジ部の軌跡点予測情報であるが、さらにこれらの植物体エッジ部の軌跡点予測情報を用いて植物体位置予測情報を取得するために、植物体歴史画像分割結果とは、これらの植物体エッジ部の軌跡点予測情報からなる植物体エッジ部が規則な円形である点で相違している。
【００４０】
領域推薦ネットワーク・モデル(ＲＰＮ)は、完全畳み込みネットワークであり、特定のジョブのためにエンド・ツー・エンドのトレーニングを行うことで推薦を発生することができる。ＲＰＮネットワークの入力は、１枚の画像であり、出力は二つに分けられ、その一つはターゲット及び非ターゲットの確率であり、他の一つはｂｂｏｘの四つのパラメータであり、それぞれｂｂｏｘの中心座標ｘ,ｙ並びにｂｂｏｘの幅ｗ及び長さｈである。出力領域の推薦を得るために、一つの小さいネットワークで、五つの畳み込み層の中の最後の畳み込み層の特徴図上でスライドし、各スライド・ウィンドウはいずれもより低い次元の特徴にマッピングされ、最後に一つのｂｏｘ回帰層及び一つのｂｏｘ分類層という並列する二つの全接続層を形成する。
【００４１】
ターゲット植物体領域結果に基づいて取得した植物体位置予測情報と実際の植物体エッジ部校正情報との間の差異を検証するため、
ターゲット植物体領域結果及び歴史植物体エッジ部校正情報に基づいて、ターゲット植物体領域回帰損失値Ｌｂｏｘを取得すること、
及び／または、
領域推薦ネットワーク・モデルＲＰＮで、歴史植物体図形特徴に対して処理を行って、ターゲット植物体種類情報を取得し、ターゲット植物体種類情報及び歴史植物体種類校正情報に基づいて、ターゲット植物体種類回帰損失値Ｌｃｌｓを取得すること、
歴史植物体画像分割損失値Ｌｍａｓｋ、ターゲット植物体領域回帰損失値Ｌｂｏｘ、ターゲット植物体種類回帰損失値Ｌｃｌｓの中の１種または複種類に基づいて、深層ネットワーク・モデルの損失値を取得することをさらに含む。
【００４２】
ここで、歴史植物体画像分割損失値Ｌｍａｓｋ、ターゲット植物体領域回帰損失値Ｌｂｏｘ、ターゲット植物体種類回帰損失値Ｌｃｌｓは、実は、一つのスカラーであり、歴史植物体画像分割損失値Ｌｍａｓｋ、ターゲット植物体領域回帰損失値Ｌｂｏｘ、ターゲット植物体種類回帰損失値Ｌｃｌｓの中の１種または複種類に基づいて、深層ネットワーク・モデルの損失値を取得する過程は、歴史植物体画像分割損失値Ｌｍａｓｋ、ターゲット植物体領域回帰損失値Ｌｂｏｘ、ターゲット植物体種類回帰損失値Ｌｃｌｓの中の１種または複種類を加算することである。この場合に、植物体耕作データの識別戦略をさらに正確にさせられるように、前記歴史植物体校正情報を用いて、深層ネットワーク・モデルの損失値の最適化を行う。
【００４３】
あるいはまた、図８と図９に示すように、深層ネットワーク・モデルを用いて、耕作領域の画像情報に対して処理を行って、植物体耕作データを取得することは、ステップＳ２３１、ステップＳ２３２を含む。
ステップＳ２３１において、深層ネットワーク・モデルに基づいて制御して、耕作領域の画像情報から測定対象の植物体の図形特徴を抽出する。
【００４４】
ステップＳ２３２において、深層ネットワーク・モデルに基づいて制御して、測定対象の植物体の図形特徴を処理して、植物体耕作データを取得する。
ここで、深層ネットワーク・モデルに基づいて制御して、測定対象の植物体の図形特徴に対して処理を行って植物体耕作データを取得することは、
深層ネットワーク・モデルに基づいて、測定対象の植物体の図形特徴に画像分割を行うように特徴ピラミッド・モデルＦＰＮを制御して、植物体樹冠形状、植物体大きさ等を含む植物体エッジ部情報を取得することを含む。
【００４５】
及び／または、深層ネットワーク・モデルに基づいて制御して、測定対象の植物体の図形特徴に対して処理を行って植物体耕作データを取得することは、
深層ネットワーク・モデルに基づいて、測定対象の植物体の図形特徴に対して処理を行うように特徴ピラミッド・モデルを制御して、植物体成長情報を取得することを含む。また、植物体エッジ部情報に基づいて、植物体成長状況を取得することもできる。
但し、上述した植物体成長情報は、植物体の成長状況を示し、植物体が発芽したか否か、植物体の発芽率、植物体の開花状況、植物体の受粉状況、植物体が害虫や雑草に被害された状況及び植物体成熟状況等を含む。一実施例において、深層識別モデルによって植物体の病害虫を自動に識別し、上述した耕作領域の歴史画像情報中の害虫被害、雑草被害等の被害写真を校正して、深層識別モデルによって植物体の病害虫を自動に識別でき、植物体の健康状況を監視し、植物体成長情報を生成する。
【００４６】
及び／または、深層ネットワーク・モデルに基づいて制御して、測定対象の植物体の図形特徴に対して処理を行って植物体耕作データを取得することは、
深層ネットワーク・モデルに基づいて、測定対象の植物体の図形特徴に対して処理を行うように領域推薦ネットワーク・モデルＲＰＮを制御して、植物体の位置情報を取得することを含む。
【００４７】
但し、前記深層ネットワーク・モデルに基づいて、耕作領域の画像情報を結合すれば、植物体の密度、植物体の位置、植物体の分布等の情報を取得することができる。例えば、耕作領域の画像情報が地理座標の北緯２３度０６分３２秒、東経１１３度１５分５３秒から得られるとしたら、画像サンプリング地理位置及び画像における植物体の相対位置に基づいて、植物体の地理位置を決定することができる。
【００４８】
及び／または、深層ネットワーク・モデルに基づいて制御して、測定対象の植物体の図形特徴に対して処理を行って植物体耕作データを取得することは、
深層ネットワーク・モデルに基づいて、前記測定対象の植物体の図形特徴に対して処理を行うように領域推薦ネットワーク・モデルを制御して、植物体数量情報を取得することを含む。植物体数量情報を植物体の位置情報に基づいて取得することも可能である。
【００４９】
及び／または、深層ネットワーク・モデルに基づいて制御して、測定対象の植物体の図形特徴に対して処理を行って植物体耕作データを取得することは、
深層ネットワーク・モデルに基づいて、歴史植物体図形特徴に対して処理を行うように領域推薦ネットワーク・モデルＲＰＮを制御して、植物体種類情報を取得することを含む。
【００５０】
なお、植物体耕作データを出力する必要がある場合に、深層ネットワーク・モデルを用いて、耕作領域の画像情報に対して処理を行って、植物体耕作データを取得した後に、本願の実施例で提供する植物体耕作データ測定方法は、
植物体エッジ部情報、植物体の位置情報、植物体成長情報、植物体数量情報、植物体種類情報の中の一つまたは複数を植物体耕作データとして出力することをさらに含む。例示的に、表１に出力される植物体エッジ部情報及び植物体の位置情報を示す。
【００５１】
【表１】
2021516060.tif 000003
【００５２】
表１に示す植物体耕作データから、本願の実施例で提供する植物体耕作データ測定方法に示す植物体耕作データは、植物体中心点位置と植物体半径を含むことが分かる。植物体半径は植物体エッジ部情報と植物体成長情報の一つの表現形態であり、植物体中心点位置は植物体数量情報と植物体の位置情報の一つの表現形態であることが分かる。
【００５３】
実施例３
本願の実施例において作業経路計画システムをさらに提供し、図１と図５に示すように、この作業経路計画システムは、
上記実施例２で提供した植物体耕作データ測定方法に従って、前記作業経路計画の作業領域画像から作業領域における植物体耕作データを取得するための植物体耕作データ測定装置１００と、
作業領域における植物体耕作データに基づいて、移動可能な機器の作業領域での作業経路を計画するための計画モジュール４００と、を含む。
【００５４】
既存技術に対する本願の実施例で提供する作業経路計画システムによる有益な効果は、上記実施例１で提供した作業経路計画方法の有益な効果と同じであるため、ここでは詳細な説明を省略する。
ここで、作業経路は、弓形経路、螺旋状経路、同心円経路、マンサード経路、その場での回転経路の中の１種または複種類を含むが、これに限定されることはない。
【００５５】
あるいはまた、図２と図５に示すように、本願の実施例で提供する作業経路計画システムは、
作業領域における植物体耕作データを取得した後に、移動可能な機器の作業領域での作業経路を計画する前に、前記作業領域における植物体耕作データの可視化標記を行うためのデータ標記モジュール２００と、
ユーザから送信された選択命令に従って、可視化標記された作業領域における植物体耕作データから作業対象植物体領域の植物体耕作データを取得するための選択制御モジュール３００と、
具体的に前記作業対象植物体領域の植物体耕作データに基づいて、移動可能な機器の作業対象植物体領域での作業経路を計画する計画モジュール４００と、をさらに含む。
【００５６】
一種類の実現可能な形態として、地形が比較的に平坦であり且つ植物体が大きい領域の場合に、植物体耕作データに植物体エッジ部情報と植物体の位置情報とが含まれていると、本願の実施例において、計画モジュール４００は、具体的に、作業領域における植物体の位置情報に基づいて、各植物体の作業中心点を決定し、作業領域における植物体エッジ部情報に基づいて、各植物体の作業半径を決定し、
各植物体の作業中心点、各植物体の作業半径及び移動可能な機器の作業幅に基づいて、移動可能な機器の前記作業領域内の作業経路を制御するための植物体作業経路を生成するに用いられる。
【００５７】
他の実現可能な形態として、地形が切り立った階段状であり且つ植物体が小さい場合に、植物体耕作データに植物体エッジ部情報と植物体の位置情報とが含まれていると、本願の実施例において、計画モジュール４００は、具体的に、前記植物体の位置情報に基づいて、少なくとも一本の作業中心線を決定し、植物体エッジ部情報に基づいて、少なくとも一本の作業中心線に対応する植物体幅（各植物体の幅方向が位置する直線が対応する作業中心線に垂直する。）を決定し、前記移動可能な機器の作業幅、各前記作業中心線及び対応する植物体幅に基づいて、前記移動可能な機器の前記作業領域内の作業経路を制御するための植物体作業経路を生成するに用いられる。
【００５８】
実施例４
本願の実施例において植物体耕作データ測定装置１００を提供し、上記実施例３で提供した作業経路計画システムに含まれる植物体耕作データ測定装置１００とすることができる。図６と図１０に示すように、この植物体耕作データ測定装置１００は、
耕作領域の画像情報を受信するための受信モジュール１１０と、
予め設定された識別モデルを用いて、耕作領域の画像情報に対して処理を行って、植物体耕作データを取得するための処理モジュール１２０と、を含む。
【００５９】
既存技術に対する本願の実施例で提供する植物体耕作データ測定装置による有益な効果は上記実施例２で提供した植物体耕作データ測定方法の有益な効果と同じであるため、ここでは詳細な説明を省略する。
ここで、上記画像情報は、マッピング画像情報、地図情報、写真情報の中の１種または複種類を含み、例えば赤外図等の他の形式の画像情報を含むこともでき、ここでは逐一説明しない。
【００６０】
具体的に、図７と図１０に示すように、予め設定された識別モデルが深層ネットワーク・モデルである場合に、本願の実施例で提供する植物体耕作データ測定装置１００は、深層ネットワーク・モデルを記憶するための記憶モジュール１３０をさらに含む。
上記受信モジュール１１０はさらに、耕作領域の画像情報を受信する前に、歴史画像情報と歴史画像情報に対応する歴史植物体校正情報とを含む耕作領域歴史情報を受信する。
【００６１】
図７乃至図１１に示すように、処理モジュール１２０は、特徴抽出ユニット１２１と、情報識別ユニット１２２と、モデル最適化ユニット１２３と、を含む。特徴抽出ユニット１２１は、耕作領域の画像情報を受信する前に、歴史画像情報から歴史植物体図形特徴を抽出し、また、耕作領域の画像情報を受信した後に、深層ネットワーク・モデルに基づいて制御して、耕作領域の画像情報から測定対象の植物体の図形特徴を抽出する。具体的に、実は、情報識別ユニット１２２は歴史画像情報から歴史植物体図形特徴を抽出する役割を果たし、具体的には畳み込みニューラル・ネットワーク・モデルＣＮＮ等の画像識別機能を具備するモデルを用いて、歴史植物体図形特徴を抽出する。
【００６２】
情報識別ユニット１２２は、耕作領域の画像情報を受信する前に、深層学習方式を用いて、歴史植物体図形特徴及び歴史植物体校正情報に対して処理を行って、深層ネットワーク・モデルの損失値を取得し、また、耕作領域の画像情報を受信した後に、深層ネットワーク・モデルに基づいて制御して、測定対象の植物体の図形特徴を処理して、植物体耕作データを取得する。
【００６３】
モデル最適化ユニット１２３は、耕作領域の画像情報を受信する前に、耕作領域の画像情報を受信する前に、歴史植物体校正情報を用いて、深層ネットワーク・モデルの損失値に最適化を行って(最適化方法は、逆伝播最適化方法であることができる)、最適化後の植物体耕作データの識別戦略を含む深層ネットワーク・モデルを取得する。
あるいはまた、本願の実施例において、歴史植物体校正情報は、歴史植物体エッジ部校正情報及び／または歴史植物体種類校正情報を含む。
【００６４】
図７と図１１に示すように、情報識別ユニット１２２は、第１の識別ユニット１２２ａと第２の識別ユニット１２２ｂと情報計算ユニットとを含む。第１の識別ユニット１２２ａは、
耕作領域の画像情報を受信する前に、特徴ピラミッド・モデルＦＰＮを用いて、歴史植物体図形特徴に画像分割を行って、植物体歴史画像分割結果を取得し、植物体歴史画像分割結果及び前記歴史植物体エッジ部校正情報に基づいて、歴史植物体画像分割損失値Ｌｍａｓｋを取得し、及び、
耕作領域の画像情報を受信した後に、深層ネットワーク・モデルに基づいて、特徴ピラミッド・モデルＦＰＮを用いて、前記測定対象の植物体の図形特徴に画像分割を行って、植物体エッジ部情報を取得し、及び／または、深層ネットワーク・モデルに基づいて、前記測定対象の植物体の図形特徴に対して処理を行うように特徴ピラミッド・モデルを制御して、植物体成長情報を取得する。
【００６５】
第２の識別ユニット１２２ｂは、
耕作領域の画像情報を受信する前に、領域推薦ネットワーク・モデルＲＰＮを用いて、歴史植物体図形特徴に対して処理を行って、ターゲット植物体領域結果を取得し、前記ターゲット植物体領域結果及び前記歴史植物体エッジ部校正情報に基づいて、ターゲット植物体領域回帰損失値Ｌｂｏｘを取得し、及び、
前記深層ネットワーク・モデルに基づいて、耕作領域の画像情報を受信した後に、深層ネットワーク・モデルに基づいて、領域推薦ネットワーク・モデルＲＰＮを用いて、前記測定対象の植物体の図形特徴に対して処理を行って、植物体の位置情報を取得し、及び／または、深層ネットワーク・モデルに基づいて、前記測定対象の植物体の図形特徴に対して処理を行うように領域推薦ネットワーク・モデルを制御して、植物体数量情報を取得し、
及び／または、
耕作領域の画像情報を受信する前に、領域推薦ネットワーク・モデルＲＰＮを用いて、前記歴史植物体図形特徴に対して処理を行って、ターゲット植物体種類情報を取得し、前記ターゲット植物体種類情報及び前記歴史植物体種類校正情報に基づいて、ターゲット植物体種類回帰損失値Ｌｃｌｓを取得し、及び耕作領域の画像情報を受信した後に、深層ネットワーク・モデルに基づいて、領域推薦ネットワーク・モデルＲＰＮを用いて、前記歴史植物体図形特徴に対して処理を行って、植物体種類情報を取得する。
【００６６】
情報計算ユニットは、
耕作領域の画像情報を受信する前に、歴史植物体画像分割損失値Ｌｍａｓｋ、ターゲット植物体領域回帰損失値Ｌｂｏｘ、ターゲット植物体種類回帰損失値Ｌｃｌｓの中の１種または複種類に基づいて、深層ネットワーク・モデルの損失値を取得する。
なお、植物体耕作データを出力する必要がある場合に、図１０に示すように、本願の実施例の植物体耕作データ測定装置１００は、植物体エッジ部情報、植物体の位置情報、植物体数量情報、植物体成長情報、植物体種類情報の中の一つまたは複数を植物体耕作データとして出力するための送信モジュール１４０をさらに含む。
【００６７】
実施例５
本願の実施例において植物体耕作データ測定システムをさらに提供し、図１０と図１２に示すように、この植物体耕作データ測定システムは、画像採集装置００１と、上記実施例で提供するメモリ３０２とを含む。画像採集装置００１の出力端は植物体耕作データ測定装置１００に含まれた受信モジュール１１０に接続される。
【００６８】
画像採集装置００１は、耕作領域歴史情報に含まれた歴史画像情報または現在の耕作領域の画像情報を採集して植物体耕作データ測定装置１００に伝送して、植物体耕作データ測定装置１００に、マッピングされた耕作領域歴史情報に含まれた歴史画像情報に基づいて、マッピングされた種類領域歴史情報に含まれた歴史植物体校正情報を結合して、深層ネットワーク・モデルの最適化を実現させられる。これにより、現在の耕作領域の画像情報を受信した場合に、深層ネットワーク・モデルを高速に呼び出して植物体耕作データの測定を完成することができる。
【００６９】
既存技術に対する本願の実施例で提供する植物体耕作データ測定装置１００による有益な効果は上記技術案で提供した植物体耕作データ測定方法の有益な効果と同じであるため、ここでは詳細な説明を省略する。
具体的に、図１２に示すように、本願の実施例で提供する植物体耕作データ測定システムにおいて、画像採集装置００１は通常マッピング航空機であり、他のカメラ等の撮像装置であることもできる。
【００７０】
図６と図９に示すように、上空で耕作領域を撮し、植物体耕作データ測定装置１００はサーバの形態で地面に設けられ、そしてマッピング航空機が採集した耕作領域の画像情報を無線伝送の形態でサーバに伝送することができる。
また、植物体耕作データ測定装置１００がマッピング航空機によって採集された耕作領域の画像情報をリアルタイムに対して処理するように、植物体耕作データ測定装置１００をマッピング航空機内に設置することもできる。植物体耕作データ測定装置１００がマッピング航空機に設置された場合に、マッピング航空機は、マッピング・モジュールと飛行制御モジュールとを含み、本願の実施例で提供する植物体耕作データ測定装置１００は飛行制御モジュール内に設けられ、マッピング・モジュールは受信モジュール１１０に接続される。
【００７１】
あるいはまた、本願の実施例において、画像採集装置は少なくとも位置決めユニットと画像採集ユニットとを含む。位置決めユニットは、植物体の位置情報の位置決めを行う。画像採集ユニットは、画像情報を採集する。位置決めユニットと画像採集ユニットはそれぞれ受信モジュールに接続され、受信モジュールは送信モジュールに接続される。これにより、画像採集装置が耕作領域の画像情報を採集する際に、一つの植物体の画像情報を採集するたびに、その植物体に位置決めを行うことで、その植物体の位置を画像採集段階で取得することができ、その後は採集された画像情報にエッジ部輪郭の分析のみを行えばよい。他の実施例において、前記マッピング航空機の位置を植物体位置を決定する際の参照とすることができ、これにより、マッピング航空機の位置情報によって植物体の位置を間接に決定することができる。植物体の中心位置をさらに精確に決定するため、植物体の中心点位置を分析する必要もある。
【００７２】
以上は、本願の具体的な実施形態にすぎず、本願の保護範囲がこれらに限定されなく、本願に開示された技術範囲内で当業者が容易に得られる変化または置き換えは全部本願の保護範囲に含まれる。よって、本願の保護範囲は特許請求の範囲に依拠するべきである。
【産業上の利用可能性】
【００７３】
本願の実施例で提供する方案は植物保護技術分野に応用できる。本願の実施例において、予め設定された識別モデルを用いて、マッピング装置から伝送された耕作領域の画像情報に対して処理を行って、植物体耕作データを取得することで、植物体耕作データの統計過程を簡略化し、植物体耕作データの統計効率を向上させて、耕作領域の植物体耕作データの手動統計による統計効率の低下及び統計過程が複雑である問題を回避する。
【図１】
2021516060.tif 000004
【図２】
2021516060.tif 000005
【図３】
2021516060.tif 000006
【図４】
2021516060.tif 000007
【図５】
2021516060.tif 000008
【図６】
2021516060.tif 000009
【図７】
2021516060.tif 000010
【図８】
2021516060.tif 000011
【図９】
2021516060.tif 000012
【図１０】
2021516060.tif 000013
【図１１】
2021516060.tif 000014
【図１２】
2021516060.tif 000015
【手続補正書】
【提出日】令和2年9月11日(2020.9.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
耕作領域の画像情報を受信することと、
予め設定された識別モデルを用いて、前記耕作領域の画像情報に対して処理を行って、植物体耕作データを取得することと、を含む植物体耕作データ測定方法。
【請求項２】
前記画像情報が、マッピング画像情報、地図情報、写真情報の中の１種または複種類を含む請求項１に記載の植物体耕作データ測定方法。
【請求項３】
前記予め設定された識別モデルは深層ネットワーク・モデルであり、耕作領域の画像情報を受信する前に、
歴史画像情報と前記歴史画像情報に対応する歴史植物体校正情報とを含む耕作領域歴史情報を受信することと、
前記歴史画像情報から歴史植物体図形特徴を抽出することと、
深層学習方式で前記歴史植物体図形特徴及び前記歴史植物体校正情報に対して処理を行って、深層ネットワーク・モデルの損失値を取得することと、
前記歴史植物体校正情報を用いて、前記深層ネットワーク・モデルの損失値に最適化を行って、最適化後の植物体耕作データの識別戦略を含む深層ネットワーク・モデルを取得することと、
前記深層ネットワーク・モデルを記憶することと、をさらに含む請求項１に記載の植物体耕作データ測定方法。
【請求項４】
前記深層学習方式で歴史植物体図形特徴及び歴史植物体校正情報に対して処理を行って、深層ネットワーク・モデルの損失値を取得することは、
前記歴史植物体校正情報に歴史植物体エッジ部校正情報が含まれた場合に、特徴ピラミッド・モデルを用いて、前記歴史植物体図形特徴に画像分割を行って、植物体歴史画像分割結果を取得し、前記植物体歴史画像分割結果及び前記歴史植物体エッジ部校正情報に基づいて、歴史植物体画像分割損失値を取得することと、
前記歴史植物体校正情報に歴史植物体エッジ部校正情報が含まれた場合に、領域推薦ネットワーク・モデルを用いて、前記歴史植物体図形特徴に対して処理を行って、ターゲット植物体領域結果を取得し、前記ターゲット植物体領域結果及び前記歴史植物体エッジ部校正情報に基づいて、ターゲット植物体領域回帰損失値を取得することと、
前記歴史植物体校正情報に歴史植物体種類校正情報が含まれた場合に、領域推薦ネットワーク・モデルを用いて、前記歴史植物体図形特徴に対して処理を行って、ターゲット植物体種類情報を取得し、前記ターゲット植物体種類情報及び前記歴史植物体種類校正情報に基づいて、ターゲット植物体種類回帰損失値を取得することと、
前記歴史植物体画像分割損失値、前記ターゲット植物体領域回帰損失値、前記ターゲット植物体種類回帰損失値の中の１種または複種類に基づいて、深層ネットワーク・モデルの損失値を取得することと、を含む請求項３に記載の植物体耕作データ測定方法。
【請求項５】
前記予め設定された識別モデルを用いて、前記耕作領域の画像情報に対して処理を行って、植物体耕作データを取得することが、
前記予め設定された識別モデルに基づいて制御して、前記耕作領域の画像情報から測定対象の植物体の図形特徴を抽出することと、
前記予め設定された識別モデルに基づいて制御して、前記測定対象の植物体の図形特徴を処理して、植物体耕作データを取得することと、を含む請求項４に記載の植物体耕作データ測定方法。
【請求項６】
前記予め設定された識別モデルに基づいて制御して、測定対象の植物体の図形特徴を処理して、植物体耕作データを取得することは、
前記深層ネットワーク・モデルに基づいて、前記測定対象の植物体の図形特徴に画像分割を行うように特徴ピラミッド・モデルを制御して、植物体エッジ部情報を取得すること、
前記深層ネットワーク・モデルに基づいて、前記測定対象の植物体の図形特徴に対して処理を行うように領域推薦ネットワーク・モデルを制御して、植物体の位置情報を取得すること、
前記深層ネットワーク・モデルに基づいて、前記測定対象の植物体の図形特徴に対して処理を行うように領域推薦ネットワーク・モデルを制御して、植物体数量情報を取得すること、
前記深層ネットワーク・モデルに基づいて、前記測定対象の植物体の図形特徴に対して処理を行うように特徴ピラミッド・モデルを制御して、植物体成長情報を取得すること、
前記深層ネットワーク・モデルに基づいて、前記歴史植物体図形特徴に対して処理を行うように領域推薦ネットワーク・モデルを制御して、植物体種類情報を取得することの中の少なくとも一つを含む請求項５に記載の植物体耕作データ測定方法。
【請求項７】
耕作領域の画像情報を受信するように構成された受信モジュールと、
予め設定された識別モデルを用いて、前記耕作領域の画像情報に対して処理を行って、植物体耕作データを取得するように構成された処理モジュールと、を含む植物体耕作データ測定装置。
【請求項８】
画像採集装置と、請求項７に記載の植物体耕作データ測定装置と、含み、前記画像採集装置の出力端が前記植物体耕作データ測定装置に含まれた受信モジュールに接続される植物体耕作データ測定システム。
【請求項９】
前記画像採集装置がマッピング・モジュールと飛行制御モジュールとを含むマッピング航空機である場合に、前記植物体耕作データ測定装置が前記飛行制御モジュールに設けられ、前記マッピング・モジュールが前記受信モジュールに接続される請求項８に記載の植物体耕作データ測定システム。
【請求項１０】
請求項１乃至６の中のいずれか一項に記載の植物体耕作データ測定方法に従って、作業経路計画用の作業領域画像から作業領域における植物体耕作データを取得することと、
前記作業領域における植物体耕作データに基づいて、移動可能な機器の作業領域での作業経路を計画することと、を含む作業経路計画方法。
【請求項１１】
前記植物体耕作データに植物体エッジ部情報と植物体の位置情報とが含まれていると、前記作業領域における植物体耕作データに基づいて、移動可能な機器の作業領域での作業経路を計画することは、
前記作業領域における植物体の位置情報に基づいて、各植物体の作業中心点を決定することと、
前記作業領域における植物体エッジ部情報に基づいて、各植物体の作業半径を決定することと、
各植物体の作業中心点、各植物体の作業半径及び前記移動可能な機器の作業幅に基づいて、前記移動可能な機器の前記作業領域内での作業経路を制御するための植物体作業経路を生成することと、を含む請求項１０に記載の作業経路計画方法。
【請求項１２】
前記植物体耕作データに植物体エッジ部情報と植物体の位置情報とが含まれていると、前記作業領域における植物体耕作データに基づいて、移動可能な機器の作業領域での作業経路を計画することは、
前記植物体の位置情報に基づいて、少なくとも一本の作業中心線を決定することと、
植物体エッジ部情報に基づいて、少なくとも一本の作業中心線に対応する植物体幅を決定することと、
前記移動可能な機器の作業幅、各前記作業中心線及び対応する植物体幅に基づいて、前記移動可能な機器の前記作業領域内での作業経路を制御するための植物体作業経路を生成することと、含む請求項１０に記載の作業経路計画方法。
【請求項１３】
前記作業経路が、弓形経路、螺旋状経路、同心円経路、マンサード経路、その場での回転経路の中の１種または複種類を含む請求項１０に記載の作業経路計画方法。
【請求項１４】
前記作業領域における植物体耕作データを取得した後に、移動可能な機器の作業領域での作業経路を計画する前に、
前記作業領域における植物体耕作データに対して可視化標記を行うことと、
ユーザの選択命令に応じて、可視化標記された前記作業領域における植物体耕作データから作業対象植物体領域の植物体耕作データを取得することと、をさらに含み、
前記作業領域における植物体耕作データに基づいて、移動可能な機器の作業領域での作業経路を計画することは、
前記作業対象植物体領域の植物体耕作データに基づいて、移動可能な機器の作業対象植物体領域での作業経路を計画することを含む請求項１０に記載の作業経路計画方法。
【請求項１５】
請求項１乃至６の中のいずれか一項に記載の植物体耕作データ測定方法に従って、作業経路計画用の作業領域画像から作業領域における植物体耕作データを取得するように構成された請求項７に記載の植物体耕作データ測定装置と、
前記作業領域における植物体耕作データに基づいて、移動可能な機器の作業領域での作業経路を計画するように構成された計画モジュールと、を含む作業経路計画システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
第２態様において、本願は、
耕作領域の画像情報を受信するための受信モジュールと、
予め設定された識別モデルを用いて、前記耕作領域の画像情報に対して処理を行って、植物体耕作データを取得するための処理モジュールと、を含む植物体耕作データ測定装置をさらに提供する。
既存技術に比べ、本願で提供する植物体耕作データ測定装置による有益な効果は上記技術案にて提供した植物体耕作データ測定方法による有益な効果と同じであるため、ここでは詳細な説明を省略する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
第５態様において、本願は、
上記技術案で提供した上記植物体耕作データ測定方法に従って、前記作業経路計画の作業領域画像から、作業領域における植物体耕作データを取得するための上記技術案に記載の植物体耕作データ測定装置と、
前記作業領域における植物体耕作データに基づいて、移動可能な機器の作業領域での作業経路を計画するための計画モジュールと、を含む作業経路計画システムをさらに提供する。
既存技術に比べ、本願で提供する作業経路計画システムによる有益な効果は上記技術案にて提供した作業経路計画方法による有益な効果と同じであるため、ここでは詳細な説明を省略する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
ステップＳ２１０において、耕作領域歴史情報を用いて深層ネットワーク・モデルにトレーニング学習を行わせ、具体的にはステップＳ２１１〜ステップＳ２１４を含む。
ステップＳ２１１において、耕作領域歴史情報を受信する。耕作領域歴史情報には歴史画像情報と歴史画像情報に対応する歴史植物体校正情報とが含まれる。
ステップＳ２１２において、歴史画像情報から歴史植物体図形特徴を抽出し、具体的には、図３に示す畳み込みニューラル・ネットワーク・モデルＣＮＮで実現することができ、他の画像識別モデルを用いて、識別することも可能である。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【００３９】
ＦＰＮは巧妙な方法で上記方法を向上させ、横方向の接続以外、上から下への接続も導入し、上から下へ得られた結果と横方向で得られた結果とを加算する方法で一つに融合し、解像度が異なる特徴図を得ることが可能である。これらの特徴図はいずれも元の最も深層の特徴図の意味情報を含む。
植物体歴史画像分割結果と実際の植物体エッジ部校正情報との差異を検証するため、
植物体歴史画像分割結果及び歴史植物体エッジ部校正情報に基づいて、歴史植物体画像分割損失値Ｌｍａｓｋを取得すること、
及び／または、
領域推薦ネットワーク・モデルＲＰＮで歴史植物体図形特徴に対して処理を行って、ターゲット植物体領域結果を取得すること、をさらに含む。ここで、ターゲット植物体領域結果は実は一連の植物体エッジ部の軌跡点予測情報であるが、さらにこれらの植物体エッジ部の軌跡点予測情報を用いて植物体位置予測情報を取得するために、植物体歴史画像分割結果とは、これらの植物体エッジ部の軌跡点予測情報からなる植物体エッジ部が規則な円形である点で相違している。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】変更
【補正の内容】
【００５３】
実施例３
本願の実施例において作業経路計画システムをさらに提供し、図１と図５に示すように、この作業経路計画システムは、
上記実施例２で提供した植物体耕作データ測定方法に従って、前記作業経路計画用の作業領域画像から作業領域における植物体耕作データを取得するための植物体耕作データ測定装置１００と、
作業領域における植物体耕作データに基づいて、移動可能な機器の作業領域での作業経路を計画するための計画モジュール４００と、を含む。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００６１
【補正方法】変更
【補正の内容】
【００６１】
図７乃至図１１に示すように、処理モジュール１２０は、特徴抽出ユニット１２１と、情報識別ユニット１２２と、モデル最適化ユニット１２３と、を含む。特徴抽出ユニット１２１は、耕作領域の画像情報を受信する前に、歴史画像情報から歴史植物体図形特徴を抽出し、また、耕作領域の画像情報を受信した後に、深層ネットワーク・モデルに基づいて制御して、耕作領域の画像情報から測定対象の植物体の図形特徴を抽出する。具体的に、実は、特徴抽出ユニット１２１は歴史画像情報から歴史植物体図形特徴を抽出する役割を果たし、具体的には畳み込みニューラル・ネットワーク・モデルＣＮＮ等の画像識別機能を具備するモデルを用いて、歴史植物体図形特徴を抽出する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００６３
【補正方法】変更
【補正の内容】
【００６３】
モデル最適化ユニット１２３は、耕作領域の画像情報を受信する前に、歴史植物体校正情報を用いて、深層ネットワーク・モデルの損失値に最適化を行って(最適化方法は、逆伝播最適化方法であることができる)、最適化後の植物体耕作データの識別戦略を含む深層ネットワーク・モデルを取得する。
あるいはまた、本願の実施例において、歴史植物体校正情報は、歴史植物体エッジ部校正情報及び／または歴史植物体種類校正情報を含む。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００６８
【補正方法】変更
【補正の内容】
【００６８】
画像採集装置００１は、耕作領域歴史情報に含まれた歴史画像情報または現在の耕作領域の画像情報を採集して植物体耕作データ測定装置１００に伝送して、植物体耕作データ測定装置１００に、マッピングされた耕作領域歴史情報に含まれた歴史画像情報に基づいて、マッピングされた耕作領域歴史情報に含まれた歴史植物体校正情報を結合して、深層ネットワーク・モデルの最適化を実現させられる。これにより、現在の耕作領域の画像情報を受信した場合に、深層ネットワーク・モデルを高速に呼び出して植物体耕作データの測定を完成することができる。
【国際調査報告】
2021516060.tif 000016
2021516060.tif 000017
2021516060.tif 000018
2021516060.tif 000019