(57)【要約】分布情報の確定方法、無人飛行体の制御方法及び装置を提供する。制御方法は、目標エリアの画像情報を取得するステップ（Ｓ１０２）と、画像情報をプリセットモデルに入力して分析を行って、目標エリアにおける目標対象の分布情報を得るステップ（Ｓ１０４）と、分布情報に基づいて目標対象に対して薬物散布を行うように無人飛行体を制御するステップ（Ｓ１０６）とを含み、プリセットモデルが、複数組のデータによってトレーニングされたものであり、複数組のデータのうちの各組のデータが、いずれも目標エリアのサンプル画像情報と、サンプル画像情報における目標対象の分布情報をマークするためのラベルとを含む。したがって、農産物と雑草との区別が困難であることに起因した薬物の浪費や農薬の残留などの技術的課題を解決できる【選択図】図１
2022502794.tif 000002
【特許請求の範囲】
【請求項１】
目標エリアの処理対象画像情報を取得するステップと、
前記処理対象画像情報をプリセットモデルに入力して分析を行って、前記処理対象画像情報における目標対象の分布情報を得るステップとを含み、
前記プリセットモデルが、複数組のデータによってトレーニングされたものであり、前記複数組のデータのうちの各組のデータが、いずれもサンプル画像情報と、サンプル画像情報における目標対象の分布情報をマークするためのラベルを含む
ことを特徴とする分布情報の確定方法。
【請求項２】
前記プリセットモデルをトレーニングするステップは、
サンプル画像情報を取得して前記サンプル画像情報における目標対象の位置をマークし、前記サンプル画像情報に対応する、目標対象の分布情報のラベルを取得し、前記サンプル画像及び対応のラベルをプリセットモデルに入力するステップと、
前記プリセットモデルにおける第１コンボリューションネットワークモデルを用いて前記サンプル画像情報を処理して、前記サンプル画像情報の第１コンボリューション画像を得るステップと、
前記プリセットモデルにおける前記第１コンボリューションネットワークモデルに用いられるコンボリューションカーネルとは異なるコンボリューションカーネルを用いる第２コンボリューションネットワークモデルを用いて前記サンプル画像情報を処理して、前記サンプル画像情報の第２コンボリューション画像を得るステップと、
前記サンプル画像情報の第１コンボリューション画像と第２コンボリューション画像とを統合して、統合画像を得るステップと、
前記統合画像に対してデコンボリューション処理を行い、デコンボリューション処理の結果及び前記サンプル画像のラベルに基づいてバックプロパゲーションを行い、前記プリセットモデルの各部分のパラメータを調整するステップと
を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記処理対象画像情報をプリセットモデルに入力して分析を行って、前記処理対象画像情報における目標対象の分布情報を得るステップは、
処理対象画像情報をトレーニング済みの前記プリセットモデルに入力するステップと、
前記プリセットモデルにおける第１コンボリューションネットワークモデルを用いて前記サンプル画像情報を処理して、前記処理対象画像情報の第１コンボリューション画像を得るステップと、
前記プリセットモデルにおける第２コンボリューションネットワークモデルを用いて前記サンプル画像情報を処理して、前記処理対象画像情報の第２コンボリューション画像を得るステップと、
前記処理対象画像情報の第１コンボリューション画像と第２コンボリューション画像とを統合し、統合した画像に対してデコンボリューション処理を行って、得られた前記処理対象画像に対応する密度図を前記処理対象画像における目標対象の分布情報とするステップと
を含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記密度図における画素の値は、前記画素の対応の位置における前記目標対象の分布密度値であることを特徴とする請求項３に記載の方法。
【請求項５】
前記サンプル画像情報は、前記目標エリアにおける前記目標対象の各分布エリア内の密度を反映するための前記目標対象の密度図を含む
ことを特徴とする請求項２に記載の方法。
【請求項６】
前記密度図は、前記目標対象の密度を示すためのマークを有する。
ことを特徴とする請求項５に記載の方法。
【請求項７】
前記目標エリアが複数あり、かつ、複数の前記目標エリアが異なる販売エリアに位置する場合、複数の目標エリアにおける前記目標対象の密度図に基づいて薬物の目標販売エリアを確定する
ことを特徴とする請求項１〜６のいずれか１項に記載の方法。
【請求項８】
前記分布情報は、前記目標対象の前記目標エリアにおける分布エリアを含み、
前記方法は、前記目標対象の分布エリアの位置に基づいて前記無人飛行体の飛行経路を確定するステップをさらに含む
ことを特徴とする請求項１〜７のいずれか１項に記載の方法。
【請求項９】
前記画像情報をプリセットモデルに入力して分析を行って、前記目標エリアにおける目標対象の分布情報を得たあと、前記方法は、さらに、
前記目標対象の種類を確定するステップと、
前記種類及び前記分布情報に基づいて前記目標エリアにおける各サブエリアの薬物散布情報を確定するステップと、
前記目標エリアの画像情報に前記薬物散布情報をマークするためのマーク情報を加え、前記目標エリアの処方図を得るステップとを含み、
前記薬物散布情報が、前記目標対象の前記目標エリアのサブエリアにおける薬物の種類と薬物の目標散布量とを含む
ことを特徴とする請求項１〜８のいずれか１項に記載の方法。
【請求項１０】
前記目標エリアは薬物を散布する対象である畑であり、前記目標対象は雑草である
ことを特徴とする請求項９に記載の方法。
【請求項１１】
目標エリアの処理対象画像情報を取得するステップと、
前記処理対象画像情報をプリセットモデルに入力して分析を行って、前記処理対象画像情報における目標対象の分布情報を得るステップと、
前記処理対象画像情報に対応する分布情報に基づいて前記目標対象に対して薬物散布を行うように前記無人飛行体を制御するステップとを含み、
前記プリセットモデルが、複数組のデータによってトレーニングされたものであり、前記複数組のデータにおける各組のデータが、いずれもサンプル画像情報と、サンプル画像情報における目標対象の分布情報をマークするためのラベルとを含む
ことを特徴とする無人飛行体の制御方法。
【請求項１２】
前記分布情報は、前記目標対象の前記目標エリアにおける各分布エリア内の密度、前記目標対象が存在する分布エリアの面積のうちの少なくとも１種を含み、
前記分布情報に基づいて前記目標対象に対して薬物散布を行うように前記無人飛行体を制御するステップは、
前記目標対象の分布エリア内の密度に基づいて前記無人飛行体の前記分布エリアに対する薬物散布量又は散布の持続時間を確定すること、及び／又は、
前記目標対象が存在する分布エリアの面積に基づいて薬物の散布幅を確定することを含む
ことを特徴とする請求項１１に記載の方法。
【請求項１３】
前記目標エリアが薬物を散布する対象である畑であり、前記目標対象が雑草であり、
前記分布情報は、前記目標対象の前記目標エリアにおける分布エリアをさらに含み、
前記方法は、前記目標対象の分布エリアの位置に基づいて前記無人飛行体の飛行経路を確定するステップと、前記無人飛行体を前記飛行経路に沿って移動するように制御するステップとをさらに含む
ことを特徴とする請求項１１又は１２に記載の方法。
【請求項１４】
前記分布情報に基づいて前記無人飛行体を制御して前記目標対象に対して薬物散布を行ったあと、前記方法は、さらに、
前記目標エリアにおいて、前記無人飛行体の前記目標エリアにおける薬物未散布の分布エリアである残り分布エリアを検出するステップと、
前記残り分布エリアにおける前記目標対象の密度及び前記残り分布エリアの総面積を確定するステップと、
前記残り分布エリアにおける前記目標対象の密度及び前記残り分布エリアの総面積に基づいて前記残り分布エリアに必要な薬物総量を確定するステップと、
前記無人飛行体における残り薬物量と前記薬物総量との差を確定するステップと、
前記差と予め設定した閾値とを比較し、比較結果に基づいて前記無人飛行体の飛行経路を調整するステップとを含む
ことを特徴とする請求項１１〜１３のいずれか１項に記載の方法。
【請求項１５】
前記分布情報に基づいて前記目標対象に対して薬物散布を行うように前記無人飛行体を制御する前に、前記方法は、
前記分布情報における前記目標対象の前記目標エリアにおける分布エリアの大きさ及び前記目標対象の前記分布エリア内の密度に基づいて前記無人飛行体の目標薬物使用量を確定するステップをさらに含む
ことを特徴とする請求項１１〜１４のいずれか１項に記載の方法。
【請求項１６】
目標エリアの処理対象画像情報を取得するための取得モジュールと、
前記処理対象画像情報をプリセットモデルに入力して分析を行って、前記処理対象画像情報における目標対象の分布情報を得るための分析モジュールと、
前記処理対象画像情報に対応する分布情報に基づいて前記目標対象に対して薬物散布を行うように前記無人飛行体を制御するための制御モジュールとを有し、
前記プリセットモデルが、複数組のデータによってトレーニングされたものであり、前記複数組のデータのうちの各組のデータが、いずれも目標エリアのサンプル画像情報と、サンプル画像情報における目標対象の分布情報をマークするためのラベルとを含む
ことを特徴とする無人飛行体の制御装置。
【請求項１７】
目標エリアの処理対象画像情報を取得するための画像取得装置と、
前記処理対象画像情報をプリセットモデルに入力して分析を行って、前記処理対象画像情報における目標対象の分布情報を取得し、前記処理対象画像情報に対応する分布情報に基づいて前記目標対象に対して薬物散布を行うように前記無人飛行体を制御するためのプロセッサとを有し、
前記プリセットモデルが、複数組のデータによってトレーニングされたものであり、前記複数組のデータのうちの各組のデータが、いずれも、目標エリアのサンプル画像情報と、サンプル画像情報における目標対象の分布情報をマークするためのラベルとを含む
ことを特徴とする無人飛行体。
【請求項１８】
目標エリアの処理対象画像情報を受信するための画像取得装置と、
前記処理対象画像情報をプリセットモデルに入力して分析を行って、前記処理対象画像情報における目標対象の分布情報を取得し、前記処理対象画像情報に対応する分布情報に基づいて前記目標対象に対して薬物散布を行うように前記無人飛行体を制御するためのプロセッサとを有し、
前記プリセットモデルが、複数組のデータによってトレーニングされたものであり、前記複数組のデータのうちの各組のデータが、いずれも、目標エリアのサンプル画像情報と、サンプル画像情報における目標対象の分布情報をマークするためのラベルとを含む
ことを特徴とする無人飛行体の制御設備。
【請求項１９】
設備に配置され、前記設備を制御して請求項１〜１０のいずれか１項に記載の分布情報の確定方法を実行するプログラムが記憶されたことを特徴とする記憶媒体。
【請求項２０】
請求項１〜１０のいずれか１項に記載の分布情報の確定方法を実行するプログラムを実行することを特徴とするプロセッサ。
【発明の詳細な説明】
【技術分野】
【０００１】
関係出願の相互参照
本出願は、２０１８年１０月１８日に中国専利局に提出された、出願番号が２０１８１１２１７９６７．Ｘであり、名称が「分布情報の確定方法、無人飛行体の制御方法及び装置」である中国出願に基づいて優先権を主張し、その全ての内容が、参照により本出願に組み込まれる。
【０００２】
技術分野
本出願は、植物保護の分野に属し、具体的には、分布情報の確定方法、無人飛行体の制御方法及び装置に関する。
【背景技術】
【０００３】
現在、無人飛行体（Unmanned Aerial Vehicle、ドローン）は、除草剤又は落葉剤については、まんべんなく散布する方式を採用しており、まんべんなく散布すれば、農薬の多量の浪費や残留が発生したり、又は一部の雑草害の深刻なところに対して薬散布量が不足したりし、莫大な経済的損失をもたらす。
【発明の概要】
【０００４】
本実施例では、少なくとも従来技術においては農産物と雑草との区別が困難であることに起因した薬物の浪費や農薬の残留などの技術的課題を解決できる分布情報の確定方法、無人飛行体の制御方法及び装置を提供する。
【０００５】
本実施例の一局面によれば、無人飛行体の制御方法が提供される。この無人飛行体の制御方法は、目標エリアの処理対象画像情報を取得するステップと、処理対象画像情報をプリセットモデルに入力して分析を行って、処理対象画像における目標対象の分布情報を得るステップと、処理対象画像情報に対応する分布情報に基づいて目標対象に対して薬物散布を行うように無人飛行体を制御するステップとを含み、プリセットモデルが、複数組のデータ（データセット）によってトレーニング（学習）されたもの（学習済みモデル）であり、複数組のデータのうちの各組のデータが、いずれも目標エリアのサンプル画像情報と、サンプル画像情報における目標対象の分布情報をマークするためのラベルとを含む。
【０００６】
任意で、前記プリセットモデルをトレーニングするステップは、
サンプル画像情報を取得して前記サンプル画像情報における目標対象の位置をマークし、このサンプル画像情報に対応する、目標対象の分布情報のラベルを取得し、前記サンプル画像及び対応のラベルをプリセットモデルに入力するステップと、
前記プリセットモデルにおける第１コンボリューション（畳み込み）ネットワークモデルを用いて前記サンプル画像情報を処理して、前記サンプル画像情報の第１コンボリューション画像を得るステップと、
前記プリセットモデルにおける前記第１コンボリューションネットワークモデルに用いられるコンボリューションカーネルとは異なるコンボリューションカーネルを用いる第２コンボリューションネットワークモデルを用いて前記サンプル画像情報を処理して、前記サンプル画像情報の第２コンボリューション画像を得るステップと、
前記サンプル画像情報の第１コンボリューション画像と第２コンボリューション画像とを統合して、統合画像を得るステップと、
前記統合画像に対してデコンボリューション（逆畳み込み）処理を行い、デコンボリューション処理の結果及び前記サンプル画像のラベルに基づいてバックプロパゲーション（誤差逆伝播法）を行い、前記プリセットモデルの各部分のパラメータを調整するステップとを含んでいてもよい。
【０００７】
任意で、前記処理対象画像情報をプリセットモデルに入力して分析を行って、前記処理対象画像情報における目標対象の分布情報を得るステップは、
処理対象画像情報をトレーニング済みの前記プリセットモデルに入力するステップと、
前記プリセットモデルにおける第１コンボリューションネットワークモデルを用いて前記サンプル画像情報を処理して、前記処理対象画像情報の第１コンボリューション画像を得るステップと、
前記プリセットモデルにおける第２コンボリューションネットワークモデルを用いて前記サンプル画像情報を処理して、前記処理対象画像情報の第２コンボリューション画像を得るステップと、
前記処理対象画像情報の第１コンボリューション画像と第２コンボリューション画像とを統合し、統合した画像に対してデコンボリューション処理を行って、得られた前記処理対象画像に対応する密度図を前記処理対象画像における目標対象の分布情報とするステップとを含んでいてもよい。
【０００８】
任意で、前記密度図における画素の値は、この画素の対応の位置における前記目標対象の分布密度値であってもよい。
【０００９】
任意で、上記サンプル画像情報は、目標エリアにおける目標対象の各分布エリア内の密度を反映するための目標対象の密度図を含んでいてもよい。
【００１０】
任意で、上記密度図は、目標対象の密度を示すためのマークを有してもよい。
【００１１】
任意で、上記分布情報は、目標対象の目標エリアにおける各分布エリア内の密度、目標対象が存在する分布エリアの面積のうちの少なくとも１種を含み、分布情報に基づいて目標対象に対して薬物散布を行うように無人飛行体を制御するステップは、目標対象の分布エリア内の密度に基づいて無人飛行体の分布エリアに対する薬物散布量又は散布の持続時間を確定すること、及び／又は、目標対象が存在する分布エリアの面積に基づいて薬物の散布幅を確定することを含んでいてもよい。
【００１２】
任意で、分布情報は、目標対象の目標エリアにおける分布エリアをさらに含み、この方法は、目標対象の分布エリアの位置に基づいて無人飛行体の飛行経路を確定するステップと、無人飛行体を飛行経路に沿って移動するように制御するするステップとを含んでいてもよい。
【００１３】
任意で、分布情報に基づいて無人飛行体を制御して目標対象に対して薬物散布を行ったあと、この方法は、目標エリアにおいて、無人飛行体の目標エリアにおける薬物未散布の分布エリアである残り分布エリアを検出するステップと、残り分布エリアにおける目標対象の密度及び残り分布エリアの総面積を確定するステップと、残り分布エリアにおける目標対象の密度及び残り分布エリアの総面積に基づいて残り分布エリアに必要な薬物総量を確定するステップと、無人飛行体における残り薬物量と薬物総量との差を確定するステップと、この差と予め設定した閾値とを比較し、比較結果に基づいて無人飛行体の飛行経路を調整するステップとを含んでいてもよい。
【００１４】
任意で、分布情報に基づいて目標対象に対して薬物散布を行うように無人飛行体を制御する前に、この方法は、分布情報における目標対象の目標エリアにおける分布エリアの大きさ及び目標対象の分布エリア内の密度に基づいて無人飛行体の目標薬物使用量を確定するステップをさらに含んでいてもよい。
【００１５】
本実施例の他の局面によれば、無人飛行体の制御装置が提供される。この無人飛行体の制御装置は、目標エリアの画像情報を取得するための取得モジュールと、画像情報をプリセットモデルに入力して分析を行って、目標エリアの目標対象の分布情報を得るための分析モジュールと、分布情報に基づいて目標対象に対して薬物散布を行うように無人飛行体を制御する制御モジュールとを有し、プリセットモデルが、複数組のデータによってトレーニングされたものであり、複数組のデータのうちの各組のデータが、いずれも目標エリアのサンプル画像情報と、サンプル画像情報における目標対象の分布情報をマークするためのラベルとを含む。
【００１６】
本実施例の他の局面によれば、無人飛行体が提供される。この無人飛行体は、目標エリアの画像情報を取得するための画像取得装置と、画像情報をプリセットモデルに入力して分析を行って、目標エリアにおける目標対象の分布情報を取得し、分布情報に基づいて目標対象に対して薬物散布を行うように無人飛行体を制御するためのプロセッサとを有し、プリセットモデルが、複数組のデータによってトレーニングされたものであり、複数組のデータのうちの各組のデータが、いずれも目標エリアのサンプル画像情報と、サンプル画像情報における目標対象の分布情報をマークするためのラベルとを含む。
【００１７】
本実施例の他の局面によれば、無人飛行体が提供される。この無人飛行体は、特定の設備からの目標エリアの画像情報を受信するための通信モジュールと、画像情報をプリセットモデルに入力して分析を行って、目標エリアにおける目標対象の分布情報を取得し、分布情報に基づいて目標対象に対して薬物散布を行うように無人飛行体を制御するためのプロセッサとを有し、特定の設備が、ネットワーク側のサーバ又は測量製図ドローンを含み、プリセットモデルが、複数組のデータによってトレーニングされたものであり、複数組のデータのうちの各組のデータが、いずれも目標エリアのサンプル画像情報と、サンプル画像情報における目標対象の分布情報をマークするためのラベルとを含む。
【００１８】
本実施例の他の局面によれば、設備に配置され、この設備を制御して上記の分布情報の確定方法を実行するプログラムが記憶された記憶媒体が提供される。
【００１９】
本実施例の他の局面によれば、上記の分布情報の確定方法を実行するプログラムを実行するためのプロセッサが提供される。
【００２０】
本実施例の他の局面によれば、目標対象の分布情報の確定方法が提供される。この方法は、目標エリアの画像情報を取得するステップと、画像情報をプリセットモデルに入力して分析を行って、目標エリアにおける目標対象の分布情報を得るステップとを含み、プリセットモデルが、複数組のデータによってトレーニングされたものであり、複数組のデータのうちの各組のデータが、いずれもサンプル画像情報と、サンプル画像情報における目標対象の分布情報をマークするためのラベルとを含む。
【００２１】
任意で、前記プリセットモデルをトレーニングするステップは、
サンプル画像情報を取得して前記サンプル画像情報における目標対象の位置をマークし、このサンプル画像情報に対応する、目標対象の分布情報のラベルを取得し、前記サンプル画像及び対応のラベルをプリセットモデルに入力するステップと、
前記プリセットモデルにおける第１コンボリューションネットワークモデルを用いて前記サンプル画像情報を処理して、前記サンプル画像情報の第１コンボリューション画像を得るステップと、
前記プリセットモデルにおける前記第１コンボリューションネットワークモデルに用いられるコンボリューションカーネルとは異なるコンボリューションカーネルを用いる第２コンボリューションネットワークモデルを用いて前記サンプル画像情報を処理して、前記サンプル画像情報の第２コンボリューション画像を得るステップと、
前記サンプル画像情報の第１コンボリューション画像と第２コンボリューション画像とを統合して、統合画像を得るステップと、
前記統合画像に対してデコンボリューション処理を行い、デコンボリューション処理の結果及び前記サンプル画像のラベルに基づいてバックプロパゲーションを行い、前記プリセットモデルの各部分のパラメータを調整するステップとを含んでいてもよい。
【００２２】
任意で、前記処理対象画像情報をプリセットモデルに入力して分析を行って、前記処理対象画像情報における目標対象の分布情報を得るステップは、
処理対象画像情報をトレーニング済みの前記プリセットモデルに入力するステップと、
前記プリセットモデルにおける第１コンボリューションネットワークモデルを用いて前記サンプル画像情報を処理して、前記処理対象画像情報の第１コンボリューション画像を得るステップと、
前記プリセットモデルにおける第２コンボリューションネットワークモデルを用いて前記サンプル画像情報を処理して、前記処理対象画像情報の第２コンボリューション画像を得るステップと、
前記処理対象画像情報の第１コンボリューション画像と第２コンボリューション画像とを統合し、統合した画像に対してデコンボリューション処理を行って、得られた前記処理対象画像に対応する密度図を前記処理対象画像における目標対象の分布情報とするステップとを含んでいてもよい。
【００２３】
任意で、前記密度図における画素の値は、この画素の対応の位置における前記目標対象の分布密度値であってもよい。
【００２４】
任意で、サンプル画像情報は、目標エリアにおける目標対象の各分布エリア内の密度を反映するための目標対象の密度図を含んでいてもよい。
【００２５】
任意で、密度図は、目標対象の密度を示すためのマークを有してもよい。
【００２６】
任意で、目標エリアが複数あり、かつ、複数の前記目標エリアが異なる販売エリアに位置するとき、複数の目標エリアにおける目標対象の密度図に基づいて薬物の目標販売エリアを確定してもよい。
【００２７】
任意で、分布情報は、目標対象の目標エリアにおける分布エリアをさらに含み、上記方法は、目標対象の分布エリアの位置に基づいて無人飛行体の飛行経路を確定するステップをさらに含んでいてもよい。
【００２８】
任意で、画像情報をプリセットモデルに入力して分析を行って、目標エリアにおける目標対象の分布情報を得たあと、この方法は、目標対象の種類を確定するステップと、種類及び分布情報に基づいて目標エリアにおける各サブエリアの薬物散布情報を確定するステップと、目標エリアの画像情報に薬物散布情報をマークするためのマーク情報を加え、目標エリアの処方図を得るステップとを含み、この薬物散布情報が、目標対象の目標エリアのサブエリアにおける薬物の種類と薬物の目標散布量とを含んでいてもよい。
【００２９】
任意で、前記目標エリアは薬物を散布する対象である畑であり、前記目標対象は雑草であってもよい。
【００３０】
本出願の実施例において、目標エリアの画像情報を取得し、画像情報をプリセットモデルに入力して分析を行って、目標エリアにおける目標対象の分布情報を取得し、分布情報に基づいて目標対象に対して薬物散布を行うように無人飛行体を制御し、プリセットモデルが、複数組のデータによってトレーニングされたものであり、複数組のデータのうちの各組のデータが、いずれも目標エリアの画像情報と、画像情報における目標対象の分布情報をマークするためのラベルとを含む。したがって、無人飛行体が異なるエリア内の雑草の分布密度に応じて薬物の散布量をコントロールするとの目的を達せるので、異なるエリア内の雑草の分布密度を考慮する薬物の散布量の設定、農薬の節約、薬物の散布効率の向上という技術的効果を実現でき、さらに、農産物と雑草との区別が困難であることに起因した薬物の浪費や農薬の残留などの技術的課題を解決できる。
【図面の簡単な説明】
【００３１】
ここで説明する図面は、本出願の一部として、本出願をさらに理解するためのものであり、本出願の例示的な実施例及びその説明は、本出願を解釈するために用いられるものであり、いずれも本出願に対する不当な限定にはならない。
【図１】本出願の実施例に係る無人飛行体の制御方法を模式的に示すフローチャートである。
【図２】本出願の実施例に係るプリセットモデルのトレーニング法を模式的に示すフローチャートである。
【図３】図３ａ及び図３ｂは、本出願の実施例に係るサンプル画像及びそれに対するマークの模式図である。
【図４】本出願の実施例に係る他のプリセットモデルのトレーニング法を模式的に示すフローチャートである。
【図５】本出願の実施例に係る密度図の模式図である。
【図６】本出願の実施例に係る選択可能な無人飛行体の制御装置の模式的構成図である。
【図７】本出願の実施例に係る選択可能な無人飛行体の模式的構成図である。
【図８】本出願の実施例に係る選択可能な他の無人飛行体の模式的構成図である。
【図９】本出願の実施例に係る分布情報の確定方法を模式的に示すフローチャートである。
【発明を実施するための形態】
【００３２】
当業者が本出願の案をよりよく理解できるように、以下、本出願の実施例に用いられる図面を参照しながら、本出願の実施例における技術案を明瞭かつ完全に説明する。説明する実施例は、本出願の一部の実施例にすぎず、全ての実施例ではないことは無論である。本出願の実施例をもとに、当業者が発明能力を用いることなく得られた全ての他の実施例も、本出願の保護範囲に属する。
【００３３】
なお、本出願の明細書、特許請求の範囲及び図面における「第１」、「第２」等の用語は、類似の対象を区別するためのものにすぎず、特定の順序又は順位を限定するものではない。このように限定したデータを適当に入れ替えることができ、つまり、ここで説明する本出願の実施例は、図示又は説明する順序以外の順序で実施することもできる。また、用語「含む」、「有する」及びそれらの類義語は、非排他的包含をカバーすることが意図される。例えば一連のステップ又はユニットを含むプロセス、方法、システム又は設備は、必ずしもこれらの明記した要素のみに限定されず、明記されない、又はこれらのプロセス、方法、製品又は設備の他の固有要素を含んでもよい。
【００３４】
本出願の実施例によれば、無人飛行体の制御方法の一実施例が提供される。ここで、図面におけるフローチャートに示すステップは、例えばコンピュータ実行可能な命令セットなどを含むコンピュータシステムで実行できる。そして、フローチャートには論理順序を示したが、場合によっては、示された又は説明されたステップをここに示された順序とは異なる順序で実行されてもよい。
【００３５】
図１は、本実施例に係る無人飛行体の制御方法を模式的に示すフローチャートである。図１に示すように、この方法は下記のステップを含む。
【００３６】
ステップＳ１０２では、目標エリアの処理対象画像情報を取得する。
【００３７】
なお、この処理対象画像情報は、無人飛行体に設置された画像取得装置により目標エリアの画像を撮影して取得することができる。目標エリアは、１つ又は複数の薬物散布対象としての畑とすることができる。無人飛行体には、現目標エリアの面積情報及び経緯度情報を特定する測位システムが設置されてもよい。
【００３８】
ステップＳ１０４では、処理対象画像情報をプリセットモデルに入力して分析を行って、目標エリアにおける目標対象の分布情報を得る。
【００３９】
任意で、目標対象は畑における雑草であってもよい。
【００４０】
プリセットモデルは、複数組のデータ（データセット）によってトレーニング（学習）されたものであり（学習済みモデル）、複数組のデータのうちの各組のデータは、いずれも目標エリアのサンプル画像情報と、サンプル画像情報における目標対象の分布情報をマークするためのラベルとを含む。
【００４１】
例えば雑草の種類を識別するための雑草識別モデルをトレーニングすることができる。雑草識別モデルは、複数組のデータによってトレーニングされたものであり、複数組のデータのうちの各組のデータは、いずれも目標エリアのサンプル画像情報と、サンプル画像情報における目標対象の種類をマークするためのラベルとを含む。
【００４２】
任意で、目標エリアの画像情報を取得したあと、画像情報を予め設定された雑草識別モデルに入力して分析を行って、目標エリアにおける目標対象の種類を取得することができる。ここでの目標対象は雑草である。
【００４３】
ステップＳ１０６において、前記処理対象画像情報に対応する分布情報に基づいて前記目標対象に対して薬物散布を行うように前記無人飛行体を制御する。
【００４４】
分布情報は、前記目標対象の前記目標エリアにおける各分布エリア内の密度や、前記目標対象が存在する分布エリアの面積とすることができる。
【００４５】
前記分布情報に基づいて前記目標対象に対して薬物散布を行うように前記無人飛行体を制御することは、下記の方式で実現することができる。
【００４６】
前記目標対象の分布エリア内の密度に基づいて前記無人飛行体の前記分布エリアに対する薬物散布量又は散布の持続時間を確定し、及び／又は、前記目標対象が存在する分布エリアの面積に基づいて薬物の散布幅を確定する。
【００４７】
任意で、分布エリアにおける目標対象の密度が高いほど、対応する分布エリアにおいて無人飛行体が散布する薬物の量を多く、散布の持続時間を長くしてもよい。目標対象が存在する分布エリアの面積が大きいほど、無人飛行体による薬物の散布幅を広くしてもよい。分布エリアにおける目標対象の密度及び分布エリアにおける目標対象の面積を総合的に考慮して、対応の分布エリアにおいて無人飛行体が散布する薬物の量を確定する。例えば分布エリアにおける目標対象の密度に基づいて薬物の散布量が確定される。薬物の散布幅は、縦方向の幅であってもよく、水平方向の幅であってもよい。
【００４８】
目標対象の分布情報は、前記目標エリアにおける前記目標対象の分布エリアをさらに含む。具体的には、取得した目標エリアの画像情報に基づいて分布エリアの画像における画素エリアが確定され、及び／又は、測位装置により、目標対象の目標エリアにおける位置の経緯度の範囲が確定される。
【００４９】
任意で、前記目標対象の分布エリアの位置に基づいて前記無人飛行体の飛行経路を確定し、前記無人飛行体が前記飛行経路に沿って移動するように制御されてもよい。
【００５０】
具体的には、雑草のないエリアを避けるように飛行経路を確定して、無人飛行体をこの飛行経路に沿って移動するように制御することができる。
【００５１】
前記分布情報に基づいて無人飛行体を制御して前記目標対象に対して薬物散布を行ったあとには、さらに下記のことを実行することができる。
【００５２】
前記目標エリアにおいて、前記無人飛行体の前記目標エリアにおける薬物未散布の分布エリアである残り分布エリアを検出し、前記残り分布エリアにおける前記目標対象の密度及び前記残り分布エリアの総面積を確定し、前記残り分布エリアにおける前記目標対象の密度及び前記残り分布エリアの総面積に基づいて前記残り分布エリアに必要な薬物総量を確定し、前記無人飛行体における残り薬物量と前記薬物総量との差を確定し、前記差と予め設定した閾値とを比較し、比較結果に基づいて前記無人飛行体の飛行経路を調整する。
【００５３】
任意で、残り薬物量と上記の薬物総量との差が負の値になった場合、農薬を再装填するように無人飛行体の飛行経路を帰還経路に調整してもよい。ここで、帰還途中では、帰還経路に位置する畑に対して薬物の散布が行われてもよい。
【００５４】
任意で、飛行経路を帰還経路に調整する前に、帰還途中に位置する全エリアに対して薬物の散布を行うように、薬物が散布されていない目標対象のエリア及び残り薬物量に基づいて帰還経路の計画を立ててもよい。
【００５５】
任意で、前記分布情報に基づいて前記目標対象に対して薬物散布を行うように前記無人飛行体を制御する前に、画像取得装置により、目標エリアの画像情報を取得し、画像情報をプリセットモデルに入力して、画像情報における目標エリア内の目標対象の分布情報を確定し、分布情報における目標対象の目標エリアにおける分布エリアの大きさ及び前記目標対象の前記分布エリア内の密度に基づいて前記無人飛行体の目標薬物使用量を確定することができる。
【００５６】
任意で、分布情報における目標対象の目標エリアの分布エリアが比較的小さく、かつ、前記目標対象の前記分布エリア内の密度が比較的高い場合の目標薬物使用量を確定し、分布情報における目標対象の目標エリアの分布エリアが比較的大きく、かつ、前記目標対象の前記分布エリア内の密度が比較的低い場合の目標薬物使用量を確定し、分布情報における目標対象の目標エリアの分布エリアが比較的小さく、かつ、前記目標対象の前記分布エリア内の密度が比較的低い場合の目標薬物使用量を確定し、分布情報における目標対象の目標エリアの分布エリアが比較的大きく、かつ、前記目標対象の前記分布エリア内の密度が比較的高い場合の目標薬物使用量を確定する。無人飛行体の目標薬物使用量を確定したあと、農薬が装填される。
【００５７】
図２に示すように、プリセットモデルをトレーニングする方法は、下記のステップを含むものであってもよい。
【００５８】
ステップＳ３０２では、サンプル画像情報を取得して前記サンプル画像情報における目標対象の位置をマークし、このサンプル画像情報に対応する目標対象の分布情報のラベルを取得する。
【００５９】
任意で、サンプル画像情報に該当する画像はＲＧＢ画像である。
【００６０】
必要に応じて、ラベルにより、サンプル画像情報における目標対象の分布情報をマークすることもできる。ラベルは、目標対象の目標エリアにおける経緯度による分布範囲、及び／又は、目標対象の画像における画素による分布範囲を含む。例えば図３ａを参照すると、ばつ「×」で作物エリアを示し、丸「○」で雑草エリアを示すことができる。図３ｂは、実写の電子地図における目標対象のマークを示すものである。その中で、濃い色のエリアは雑草であり、淡い色のエリアは作物である。
【００６１】
ステップＳ３０４では、前記プリセットモデルにおける第１コンボリューション（畳み込み）ネットワークモデルを用いて前記サンプル画像情報を処理して、前記サンプル画像情報の第１コンボリューション画像を得る。
【００６２】
ステップＳ３０６では、前記プリセットモデルにおける前記第１コンボリューションネットワークモデルに用いられるコンボリューションカーネルとは異なるコンボリューションカーネルを用いる第２コンボリューションネットワークモデルを用いて前記サンプル画像情報を処理して、前記サンプル画像情報の第２コンボリューション画像を得る。
【００６３】
任意で、第１コンボリューションネットワークモデルは、コンボリューションカーネルのサイズが３＊３であり、コンボリューションステップサイズを２に設定することができる。
【００６４】
任意で、サンプル画像情報は、ＲＧＢ画像であり、Ｒ、Ｇ、Ｂの３次元のものであり、第１コンボリューションネットワークモデルを用いて前記マーク画像に対してコンボリューション処理を行って、第１コンボリューション画像を得る過程において、ダウンサンプリングを行ってもよい。また、これは、第１コンボリューション画像の各次元に対して設定することもできる。
【００６５】
任意で、第１コンボリューションネットワークモデルを用いて前記マーク画像に対してコンボリューション処理を行って、第１コンボリューション画像を得る過程において、コンボリューション処理が複数回実行されてもよい。各コンボリューション処理時のコンボリューションカーネルのサイズはいずれも３＊３であり、コンボリューションステップサイズが２であり、コンボリューションする度にダウンサンプリングが実行される。毎回ダウンサンプリングされたあと、画像のサイズがダウンサンプリングする前の画像の１／２になるので、データ処理量を大幅に低減し、データの演算速度を向上させることができる。
【００６６】
任意で、第２コンボリューションネットワークモデルは、コンボリューションカーネルのサイズを５＊５に設定し、コンボリューションステップサイズを２に設定することができる。
【００６７】
サンプル画像情報は、ＲＧＢ画像であり、Ｒ、Ｇ、Ｂの３次元のものである。第２コンボリューションネットワークモデルを用いて前記マーク画像に対してコンボリューション処理を行って、第２コンボリューション画像を得る過程において、ダウンサンプリングが行われる。また、これは、第２コンボリューション画像の各次元に対して設定することもできる。
【００６８】
任意で、第２コンボリューションネットワークモデルを用いて前記マーク画像に対してコンボリューション処理を行って、第２コンボリューション画像を得る過程において、コンボリューション処理が複数回実行されてもよい。各コンボリューション処理時のコンボリューションカーネルのサイズはいずれも５＊５であり、コンボリューションステップサイズが２である。コンボリューションする度にダウンサンプリングが実行される。毎回ダウンサンプリングされたあと、画像のサイズがダウンサンプリングする前の画像の１／２になるので、データ処理量を大幅に低減し、データの演算速度を向上させることができる。
【００６９】
第１コンボリューション画像と第２コンボリューション画像とは、画像のサイズが同じである。
【００７０】
ステップＳ３０８では、前記サンプル画像情報の第１コンボリューション画像と第２コンボリューション画像とを統合して、統合画像を得る。
【００７１】
ステップＳ３１０では、前記統合画像に対してデコンボリューション（逆畳み込み）処理を行い、デコンボリューション処理の結果及び前記サンプル画像のラベルに基づいてバックプロパゲーション（誤差逆伝播法）を行い、前記プリセットモデルの各部分のパラメータを調整する。
【００７２】
任意で、第１コンボリューション画像と第２コンボリューション画像とを統合したあと、統合した画像に対して、上記のサンプル画像情報を第１コンボリューション画像にするコンボリューション処理と同回数のデコンボリューションが行われてもよい。そして、デコンボリューションした画像に対して次元が設定される。
【００７３】
統合した画像に対してデコンボリューションを行うとき、デコンボリューションカーネルのサイズが３＊３に設定されてもよい。
【００７４】
統合した画像に対してデコンボリューションを行ったあとの画像サイズは、サンプル画像情報のサイズと同じである。
【００７５】
最後に、デコンボリューション処理の結果及び前記サンプル画像のラベルに基づいてバックプロパゲーションが行われ、プリセットモデルの各層のパラメータが調整される。
【００７６】
複数のサンプル画像を用いてプリセットモデルをトレーニングすることにより、このプリセットモデルに、処理対象となる画像における目標対象の分布位置を識別する能力を付与することができる。
【００７７】
図４は、本実施例に係るもう１種の各組のデータにおける目標エリアのサンプル画像情報の取得方法を模式的に示すフローチャートである。この方法は、下記のステップを含む。
【００７８】
ステップＳ４０２では、サンプル画像情報を取得して前記サンプル画像情報における目標対象の位置をマークし、このサンプル画像情報に対応する目標対象の分布情報のラベルを取得し、前記サンプル画像及び対応のラベルをプリセットモデルに入力する。
【００７９】
任意で、サンプル画像情報に該当する画像はＲＧＢ画像であってもよい。
【００８０】
任意選択で、ラベルにより、サンプル画像情報における目標対象の分布情報がマークされてもよい。ラベルは、目標対象の目標エリアにおける経緯度の分布範囲、及び／又は、画像における画素の分布範囲を含む。
【００８１】
前記プリセットモデルにおける第１コンボリューションネットワークモデルが用いられて前記サンプル画像情報が処理されて、前記サンプル画像情報の第１コンボリューション画像が得られる。
【００８２】
任意で、第１コンボリューションネットワークモデルは、コンボリューションカーネルのサイズが３＊３であり、コンボリューションステップサイズを２に設定してもよい。サンプル画像情報に対応する画像は、ＲＧＢ画像であり、Ｒ、Ｇ、Ｂの３次元のものであり、第１コンボリューションネットワークモデルを用いて前記マーク画像に対してコンボリューション処理を行って、第１コンボリューション画像を得る過程において、ダウンサンプリングを行う。また、これは、第１コンボリューション画像の各次元（ディメンション、ｄｉｍｅｎｓｉｏｎ）に対して設定することもできる。
【００８３】
図４に示すように、第１コンボリューション画像を得る過程において、ステップＳ４０４２、ステップＳ４０４４及びステップＳ４０４６の順に合計３回のコンボリューションが実行される。コンボリューションする度にダウンサンプリングが実行され、コンボリューションステップサイズが２に設定される。毎回ダウンサンプリングされたあと、画像のサイズがダウンサンプリングする前の画像の１／２になるので、データ処理量を大幅に低減し、データの演算速度を向上させることができる。
【００８４】
図４において、ｎ１、ｎ２、ｎ３は、それぞれ毎回のコンボリューション時に対応して設定された次元である。この次元は、第１コンボリューション画像における各画素に対応するデータのベクトルの長さを表すことに用いられる。一例として、ｎ１が１である場合、第１回のコンボリューションが行われる画像の画素に対応する次元が１であり、この画素に対応するデータが階調（グレースケール）値であってもよく、ｎ１が３である場合、第１回のコンボリューションが行われる画像の画素に対応する次元が３であり、この画素に対応するデータがＲＧＢ値であってもよい。第１コンボリューションネットワークモデルを用いて前記マーク画像に対してコンボリューション処理を行って、第１コンボリューション画像を得る過程において、コンボリューション処理を複数回実行することができる。各コンボリューション処理時のコンボリューションカーネルのサイズは３＊３である。
【００８５】
そして、前記プリセットモデルにおける前記第１コンボリューションネットワークモデルに用いられるコンボリューションカーネルとは異なるコンボリューションカーネルを用いる第２コンボリューションネットワークモデルを用いて前記サンプル画像情報を処理して、前記サンプル画像情報の第２コンボリューション画像を得る。
【００８６】
任意で、第２コンボリューションネットワークモデルは、コンボリューションカーネルのサイズを５＊５に設定し、コンボリューションステップサイズを２に設定してもよい。サンプル画像情報に対応する画像は、ＲＧＢ画像であり、Ｒ、Ｇ、Ｂの３次元のものである。第２コンボリューションネットワークモデルを用いて前記マーク画像に対してコンボリューション処理を行って、第２コンボリューション画像を得る過程において、ダウンサンプリングが行われる。また、これは、第２コンボリューション画像の各次元に対して設定することもできる。
【００８７】
任意で、第２コンボリューションネットワークモデルを用いて前記マーク画像に対してコンボリューション処理を行って、第２コンボリューション画像を得る過程において、コンボリューション処理を複数回実行することができる。各コンボリューション処理時のコンボリューションカーネルのサイズはいずれも５＊５であり、コンボリューションステップサイズが２に設定される。コンボリューションする度にダウンサンプリングが実行される。毎回ダウンサンプリングされたあと、画像のサイズがダウンサンプリングする前の画像の１／２になるので、データ処理量を大幅に低減し、データの演算速度を向上させることができる。
【００８８】
図４に示すように、第２コンボリューション画像を得る過程において、ステップＳ４０６２、ステップＳ４０６４及びステップＳ４０６６の順に合計３回のコンボリューションが実行される。コンボリューションする度にダウンサンプリングが実行され、コンボリューションステップサイズが２に設定される。毎回ダウンサンプリングされたあと、画像のサイズがダウンサンプリングする前の画像の１／２になるので、データ処理量を大幅に削減し、データの演算速度を向上させることができる。
【００８９】
図４において、ｍ１、ｍ２、ｍ３は、それぞれ毎回のコンボリューション時に対応して設定された次元である。この次元は、第２コンボリューション画像における各画素に対応するデータのベクトルの長さを表すことに用いられる。一例として、ｍ１が１である場合、第１回のコンボリューションが行われる画像の画素に対応する次元が１であり、この画素に対応するデータが階調値であってもよく、ｍ１が３である場合、第１回のコンボリューションが行われる画像の画素に対応する次元が３であり、この画素に対応するデータがＲＧＢ値であってもよい。第２コンボリューションネットワークモデルを用いて前記マーク画像に対してコンボリューション処理を行って、第２コンボリューション画像を得る過程において、コンボリューション処理を複数回実行することができる。各コンボリューション処理時のコンボリューションカーネルのサイズは５＊５である。
【００９０】
第１コンボリューション画像と第２コンボリューション画像とは、画像のサイズが同じである。
【００９１】
ステップＳ４０８では、前記サンプル画像情報の第１コンボリューション画像と第２コンボリューション画像とを統合して、統合画像を得る。
【００９２】
前記統合画像に対してデコンボリューション処理が行われる。
【００９３】
任意で、統合した画像に対して、上記のサンプル画像情報を第１コンボリューション画像にするコンボリューション処理と同回数のデコンボリューションが行われてもよい。そして、デコンボリューションした画像に対して次元が設定される。統合した画像に対して、ステップＳ４１０２、ステップＳ４１０４及びステップＳ４１０６の３回のデコンボリューションが行われて、ステップＳ４１２の密度図である目標エリアのサンプル画像情報の取得が実行される。
【００９４】
統合した画像に対してデコンボリューションを行うとき、デコンボリューションカーネルのサイズを３＊３に設定することができる。
【００９５】
統合した画像に対してデコンボリューションを行ったあとの画像のサイズは、サンプル画像情報のサイズと同じになる。
【００９６】
前記統合した画像に対してデコンボリューション処理が行われ、かつ、デコンボリューション処理の結果及び前記サンプル画像のラベルに基づいてバックプロパゲーションが行われ、前記プリセットモデルの各部分のパラメータが調整される。
【００９７】
複数のサンプル画像を用いてプリセットモデルをトレーニングすることにより、このプリセットモデルに、処理対象となる画像における目標対象の分布位置を識別する能力を付与することができる。
【００９８】
したがって、プリセットモデルを用いて画像識別処理を行うとき、処理対象画像情報をトレーニング済みの前記プリセットモデルに入力することができる。
【００９９】
前記プリセットモデルにおける第１コンボリューションネットワークモデルが用いられて前記サンプル画像情報が処理されて、前記処理対象画像情報の第１コンボリューション画像が得られる。
【０１００】
前記プリセットモデルにおける第２コンボリューションネットワークモデルが用いられて前記サンプル画像情報が処理されて、前記処理対象画像情報の第２コンボリューション画像が得られる。
【０１０１】
前記処理対象画像情報の第１コンボリューション画像と第２コンボリューション画像とを統合し、統合した画像に対してデコンボリューション処理を行って、得られた前記処理対象画像に対応する密度図が前記処理対象画像における目標対象の分布情報とされる。ここで、前記密度図における画素の値は、この画素の対応の位置における前記目標対象の分布密度値である。
【０１０２】
任意で、密度図は、前記目標対象の密度を示すためのマークを有してもよい。例えば密度図において、前記分布エリアの色が浅い（薄い）ほど、前記分布エリアにおける前記目標対象の密度が高いことになる。図５は、処理後に得られた密度図である。図５において、Ａエリアの色がＢエリアの色より浅い場合、Ａエリアの方が目標対象の密度が高いことになる。他の例として、前記密度図における画素の値は、この画素の対応の位置における前記目標対象の分布密度値である。
【０１０３】
任意で、デコンボリューションして得た密度図は階調図であってもよい。密度図が階調図である場合、画像において、白が階調値を２５５にしたものであり、黒が階調値を０にしたものである。階調値の大きいエリアほど、目標エリアにおける目標対象の分布が密であることを示す。すなわち、色の濃いエリアは、雑草の分布が比較的密であり、色が浅いエリアは、雑草の分布が疎である。
【０１０４】
本実施例では、プリセットモデルを用いて目標エリアの画像情報に対して分析を行って、目標エリアにおける目標対象の分布情報を取得し、この分布情報に基づいて目標対象に対して薬物散布を行うように無人飛行体を制御している。このとき、目標エリアの画像情報を取得し、前記画像情報をプリセットモデルに入力することによって、分析を行って、前記目標エリアにおける目標対象の分布情報を取得し、前記分布情報に基づいて前記目標対象に対して薬物散布を行うように前記無人飛行体を制御する。ここで、前記プリセットモデルは、複数組のデータによってトレーニングされたものである。前記複数組のデータのうちの各組のデータは、いずれも目標エリアの画像情報と、画像情報における目標対象の分布情報をマークするためのラベルとを含む。これによれば、異なるエリアでの雑草の分布密度に応じて薬物の散布量をコントロールする目的を達せるので、異なるエリア内の雑草の分布密度も考慮する薬物の散布量の設定、農薬の節約、薬物散布効率の向上という技術的効果を実現でき、さらに、農産物と雑草との区別が困難であることに起因した薬物の浪費や農薬の残留などの課題を解決できる。
【０１０５】
図６は、本実施例に係る選択可能な無人飛行体の制御装置の模式的構成図である。図６に示すように、この装置は、取得モジュール６２と、分析モジュール６４と、制御モジュール６６とを有する。
【０１０６】
取得モジュール６２は、目標エリアの画像情報を取得するものである。
【０１０７】
分析モジュール６４は、前記処理対象画像情報をプリセットモデルに入力して分析を行って、前記処理対象画像情報における目標対象の分布情報を得るためのものであり、前記プリセットモデルは、複数組のデータによってトレーニングされたものであり、前記複数組のデータのうちの各組のデータは、いずれも目標エリアのサンプル画像情報と、サンプル画像情報における目標対象の分布情報をマークするためのラベルとを含む。
【０１０８】
制御モジュール６６は、前記処理対象画像情報に対応する分布情報に基づいて前記目標対象に対して薬物散布を行うように前記無人飛行体を制御するものである。
【０１０９】
なお、この無人飛行体の制御装置における各モジュールの具体的な機能については、図１に示す各ステップの関連説明を参照できるので、ここでは説明を省略する。
【０１１０】
図７は、本実施例に係る選択可能な無人飛行体の模式的構成図である。図４に示すように、この装置は、画像取得装置７２と、プロセッサ７４とを有する。
【０１１１】
画像取得装置７２は、目標エリアの処理対象画像情報を取得するための装置である。
【０１１２】
プロセッサ７４は、前記処理対象画像情報をプリセットモデルに入力して分析を行って、処理対象画像情報における目標対象の分布情報を取得し、前記処理対象画像情報に対応する分布情報に基づいて前記目標対象に対して薬物散布を行うように前記無人飛行体を制御するためのものであり、前記プリセットモデルは、複数組のデータによってトレーニングされたものであり、前記複数組のデータのうちの各組のデータは、いずれも目標エリアのサンプル画像情報と、サンプル画像情報における目標対象の分布情報をマークするためのラベルとを含む。
【０１１３】
なお、この無人飛行体の具体的な機能については、図１に示す各ステップの関連説明を参照できるので、ここでは説明を省略する。
【０１１４】
図８は、本実施例に係る選択可能な無人飛行体の制御設備の模式的構成図である。図４に示すように、この装置は、画像取得装置８２とプロセッサ８４とを備える。
【０１１５】
通信モジュール８２は、特定の設備からの目標エリアの処理対象画像情報を受信するためのものである。
【０１１６】
プロセッサ８４は、前記処理対象画像情報をプリセットモデルに入力して分析を行って、処理対象画像情報における目標対象の分布情報を取得し、前記処理対象画像情報に対応する分布情報に基づいて前記目標対象に対して薬物散布を行うように前記無人飛行体を制御するためのものであり、前記プリセットモデルは、複数組のデータによってトレーニングされたものである。前記複数組のデータにおける各組のデータは、いずれも目標エリアのサンプル画像情報と、サンプル画像情報における目標対象の分布情報をマークするためのラベルとを含む。
【０１１７】
なお、この無人飛行体の制御設備の機能については、図１に示す各ステップの関連説明を参照できるので、ここでは説明を省略する。
【０１１８】
図９は、本実施例に係る分布情報の確定方法を模式的に示すフローチャートである。図９に示すように、この方法は下記のステップを含む。
【０１１９】
ステップＳ９０２では、目標エリアの処理対象画像情報を取得する。
【０１２０】
ステップＳ９０４では、処理対象画像情報をプリセットモデルに入力して分析を行って、処理対象画像情報における目標対象の分布情報を得るものであり、プリセットモデルは、複数組のデータによってトレーニングされたものであり、複数組のデータのうちの各組のデータは、いずれもサンプル画像情報と、サンプル画像情報における目標対象の分布情報をマークするためのラベルとを含む。
【０１２１】
任意で、前記プリセットモデルをトレーニングするステップは、サンプル画像情報を取得し、前記サンプル画像情報における目標対象の位置をマークして、このサンプル画像情報に対応する目標対象の分布情報のラベルを取得し、前記サンプル画像及び対応のラベルをプリセットモデルに入力するステップと、前記プリセットモデルにおける第１コンボリューションネットワークモデルを用いて前記サンプル画像情報を処理して、前記サンプル画像情報の第１コンボリューション画像を得るステップと、前記プリセットモデルにおける前記第１コンボリューションネットワークモデルに用いられるコンボリューションカーネルとは異なるコンボリューションカーネルを用いる第２コンボリューションネットワークモデルを用いて前記サンプル画像情報を処理して、前記サンプル画像情報の第２コンボリューション画像を得るステップと、前記サンプル画像情報の第１コンボリューション画像と第２コンボリューション画像とを統合して、統合画像を得るステップと、前記統合画像に対してデコンボリューション処理を行い、デコンボリューション処理の結果及び前記サンプル画像のラベルに基づいてバックプロパゲーションを行い、前記プリセットモデルの各部分のパラメータを調整するステップとを含む。
【０１２２】
対応して、プリセットモデルを用いて処理対象画像を処理するステップは、処理対象画像情報をトレーニング済みの前記プリセットモデルに入力するステップと、前記プリセットモデルにおける第１コンボリューションネットワークモデルを用いて前記サンプル画像情報を処理して、前記処理対象画像情報の第１コンボリューション画像を得るステップと、前記プリセットモデルにおける第２コンボリューションネットワークモデルを用いて前記サンプル画像情報を処理して、前記処理対象画像情報の第２コンボリューション画像を得るステップと、前記処理対象画像情報の第１コンボリューション画像と第２コンボリューション画像とを統合し、統合した画像に対してデコンボリューション処理を行って、得られた前記処理対象画像に対応する密度図を前記処理対象画像における目標対象の分布情報とするステップとを含む。
【０１２３】
任意で、前記密度図における画素の値は、この画素の対応の位置における前記目標対象の分布密度値であってもよい。
【０１２４】
任意で、この密度図は、目標エリアにおける目標対象の各分布エリア内の密度を反映する。ここで、密度図は、目標対象の密度を示すためのマークを有し、このマークが、異なる色、又は同じ色の異なる濃さ、あるいは数字情報などを用いるものであってもよい。
【０１２５】
任意で、目標エリアが複数あり、かつ、複数の目標エリアが異なる販売エリアに位置する場合、複数の目標エリアにおける目標対象の密度図に基づいて薬物の目標販売エリアを確定することができる。例えば密度図に示した密度が高い販売エリアは、薬物量を多く必要するので、目標販売エリアを間接的に確定できる。
【０１２６】
上記分布情報は、目標対象の目標エリアにおける分布エリアをさらに含んでいてもよい。この場合、目標対象の分布エリアの位置に基づいて無人飛行体の飛行経路を確定することができる。
【０１２７】
任意で、処理対象画像情報をプリセットモデルに入力して分析を行って、処理対象画像情報における目標対象の分布情報を得たあと、分布情報に基づいて目標エリアの薬物散布情報を示すための処方図を確定することができる。具体的には、目標対象の種類を確定し、種類及び分布情報に基づいて目標エリアにおける各サブエリアの薬物散布情報を確定し、目標エリアの画像情報に薬物散布情報をマークするためのマーク情報を加えることによって、目標エリアの処方図が得られる。ここで、この薬物散布情報は、目標対象の目標エリアのサブエリアにおける薬物の種類と薬物の目標散布量とを含む。
【０１２８】
ここでは、機械学習の方式により目標対象の種類を確定することができる。例えば目標対象の画像をトレーニング済みの予測モデルに入力し、この予測モデルを用いて目標対象の種類を識別することができる。
【０１２９】
なお、分布情報の確定方法の具体的なステップは、図１−７に示すステップの関連説明を参照できるので、ここでは説明を省略する。
【０１３０】
本実施例の他の態様によれば、設備に配置され、この設備を制御して上記の無人飛行体の制御方法を実行するプログラムが記憶された記憶媒体がさらに提供される。
【０１３１】
本実施例の他の態様によれば、上記の無人飛行体の制御方法を実行するプログラムを実行するためのプロセッサがさらに提供される。
【０１３２】
なお、本実施例に開示された技術内容は、他の方式により実現することも可能である。上記に説明された装置の実施例は、例示的なものにすぎない。例えば前記のユニットの区分は、単に論理的な機能区分であり、実際に実施される場合には別の区分であってもよい。例えば複数のユニット若しくはコンポーネントを組み合わせ、又は別のシステムに統合してもよく、あるいは一部の特徴を省略又は不実行にしてもよい。また、図示した若しくは論じた相互結合、直接結合又は通信接続は、いくつかのインターフェース、ユニット若しくはモジュールを介する間接結合又は通信接続であってもよく、また、電気的又は他の形式による接続であってもよい。
【０１３３】
上記の別個の部品として説明されたユニットは、物理的に別個であってもなくてもよい。ユニットとして示した部材は、物理的なユニットであってもなくてもよく、つまり、同一位置に配置してもよく、複数のユニットに分散してもよい。本実施例の案の目的を達成するために実際の要求に応じて一部又は全部のユニットを選択することが可能である。
【０１３４】
また、本出願の各実施例における各機能ユニットは、１つの処理ユニットに統合してもよく、独立した物理的な存在として機能してもよく、２つ以上のユニットを１つのユニットに統合させてもよい。上記の集積したユニットは、ハードウェアの方式で実現してもよく、ソフトウェアによる機能ユニットの方式で実現してもよい。
【０１３５】
前記集積したユニットは、ソフトウェア機能ユニットの形式で実現され、独立した製品として販売されたり使用されたりする場合、コンピュータ読取可能な記憶媒体に格納することが可能である。このような理解から、本出願の技術案のそのもの、あるいは従来技術に寄与できる部分、あるいはこの技術案の全部又は一部は、ソフトウェア製品の形式で実現できる。このコンピュータソフトウェア製品は、記憶媒体に記憶され、コンピュータ設備（パーソナルコンピュータ、サーバあるいはネットワーク設備等）が本出願の各実施例による方法の全部又は一部のステップを実行するための複数のコマンドを含む。上記の記憶媒体は、ＵＳＢディスク、リードオンリーメモリ（ＲＯＭ：Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ−Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、携帯型（リムーバブル）ハードディスク、磁気ディスク又は光ディスク等の各種のプログラムコードを記憶できる媒体を含む。
【０１３６】
上記記載は、本出願の好ましい実施形態にすぎず、当業者は、本出願の原理から逸脱しないかぎり、多少の改良と改善を行うこともでき、これらの改良や改善も本出願の保護範囲に属する。
【０１３７】
産業上の利用可能性
本出願の実施例では、目標エリアの処理対象画像情報を取得し、処理対象画像情報をプリセットモデルに入力して分析を行って、処理対象画像情報における目標対象の分布情報を取得し、分布情報に基づいて目標対象に対して薬物散布を行うように無人飛行体を制御しており、プリセットモデルは、複数組のデータによってトレーニングされたものであり、複数組のデータのうちの各組のデータは、いずれも目標エリアのサンプル画像情報と、サンプル画像情報における目標対象の分布情報をマークするためのラベルとを含む。これによれば、異なるエリア内の雑草の分布密度に応じて薬物の散布量をコントロールする目的を達せるので、異なるエリア内の雑草の分布密度も考慮した薬物の散布量の設定、農薬の節約、薬物散布効率の向上という技術的効果を実現でき、さらに、農産物と雑草との区別が困難であることに起因した薬物の浪費や農薬の残留などの技術的課題を解決できる。
【図１】
2022502794.tif 000003
【図２】
2022502794.tif 000004
【図３ａ】
2022502794.tif 000005
【図３ｂ】
2022502794.tif 000006
【図４】
2022502794.tif 000007
【図５】
2022502794.tif 000008
【図６】
2022502794.tif 000009
【図７】
2022502794.tif 000010
【図８】
2022502794.tif 000011
【図９】
2022502794.tif 000012
【国際調査報告】
2022502794.tif 000013
2022502794.tif 000014
2022502794.tif 000015
2022502794.tif 000016