(57)【特許請求の範囲】
【請求項１】
コンピュータが実行する、
第１神経回路網の学習によって、作物の映像から前記作物の作物列を認識する作物列認識工程と、
前記映像で前記作物列から外れている植物を雑草として認識する第１雑草認識工程と、
前記作物列とその周囲に残留する雑草に対し、第２神経回路網の学習を介して前記作物と分離識別する第２雑草認識工程と
を有する、
神経回路網の学習による作物と雑草を識別する方法。
【請求項２】
前記第１神経回路網と前記第２神経回路網は、複数のコンボリューション（ｃｏｎｖｏｌｕｔｉｏｎ）層で構成され、入力側から徐々に減少するエンコーダー（ｅｎｃｏｄｅｒ）部分と前記エンコーダー部分から出力側まで徐々に増加するデコーダー（ｄｅｃｏｄｅｒ）部分が結合した構造のＣＥＤ神経回路網を含む、
請求項１に記載の神経回路網の学習による作物と雑草を識別する方法。
【請求項３】
前記ＣＥＤ神経回路網は、前記エンコーダー部分の各層の出力が前記デコーダー部分の対応する層の入力として合算される、ユーネット（Ｕｎｅｔ）構造のＣＥＤ神経回路網を含む、
請求項２に記載の神経回路網の学習による作物と雑草を識別する方法。
【請求項４】
前記ＣＥＤ神経回路網には、前記ユーネット構造のＣＥＤ神経回路網を基本構造とし、各層を飛びわたる接続を追加的に有するデンスネット（ＤｅｎｓＮｅｔ）構造のＣＥＤ神経回路網を含む、
請求項３に記載の神経回路網の学習による作物と雑草を識別する方法。
【請求項５】
前記作物列認識工程は、複数の作物映像のそれぞれに対し、前記映像が前記ＣＥＤ神経回路網への入力映像として印加されたら、前記ＣＥＤ神経回路網の出力映像として、前記映像の作物列に該当する位置にグラフィック線で表示した映像を出力するように前記ＣＥＤ神経回路網を反復学習させ、任意のテスト作物映像が印加されたら、前記テスト作物映像の作物列に該当する位置にグラフィック線で表示した映像または前記テスト作物映像上の作物列に該当する位置にグラフィック線を重ねて表示した映像を前記出力映像として出力する工程を含む、
請求項２に記載の神経回路網の学習による作物と雑草を識別する方法。
【請求項６】
前記作物は稲で、前記雑草は稗草であり、
前記第２雑草認識工程は、根元部分の密集度の視覚的差に基づいて前記稲と前記稗草とを識別する工程を含む、
請求項１に記載の神経回路網の学習による作物と雑草を識別する方法。
【請求項７】
前記根元部分の密集度の視覚的差に基づいて前記稲と前記稗草とを識別する工程は、入力映像の前記稲と前記稗草の前記根元部分に該当するところに互いに異なるカラーまたは異なる形状のシンボルで表示し、前記稲と前記稗草とを識別するための学習目標映像を作成する工程を含む、
請求項６に記載の神経回路網の学習による作物と雑草を識別する方法。
【請求項８】
前記第１神経回路網の学習に必要なデータベースは、除草機が進行しようとする方向で撮影した作物の映像を入力映像とし、前記入力映像でのそれぞれの作物列に該当する位置にグラフィック線で作成した映像を学習目標映像とし、前記入力映像と前記学習目標映像が一つのセットで構成された学習データセットを格納する作物列学習用データベースを含む、
請求項５に記載の神経回路網の学習による作物と雑草を識別する方法。
【請求項９】
前記第２神経回路網の学習に必要なデータベースは、作物列上で作物と雑草が共に含まれた、近接撮影映像を入力映像とし、それぞれの入力映像での前記作物と前記雑草に該当する位置に異なる形状または異なるカラーのシンボルを表示した映像を作成して学習目標映像とし、前記入力映像及び前記学習目標映像を一つのセットとする学習データセットを格納する作物・雑草識別学習用データベースを含む、
請求項１に記載の神経回路網の学習による作物と雑草を識別する方法。
【請求項１０】
初期に空（ｂｌａｎｋ）映像または前記入力映像をコピーしたコピー映像の上にそれぞれの客体を複数の異なるカラーを用いた線、図形、またはシンボルでグラフィック化し、前記学習目標映像を作成する工程をさらに備える、
請求項９に記載の神経回路網の学習による作物と雑草を識別する方法。
【請求項１１】
前記シンボルの位置と大きさは、前記入力映像を基準として決定し、前記シンボルの領域内に客体間の区別性が大きい特徴が可能な限り多く含まれるように前記シンボルの中心点の位置と大きさを決定する工程をさらに備える、
請求項９に記載の神経回路網の学習による作物と雑草を識別する方法。
【請求項１２】
複数の作物映像のそれぞれに対し、前記作物映像が前記ＣＥＤ神経回路網への入力映像として入力されると、前記ＣＥＤ神経回路網の出力映像として、前記映像の作物列に該当する位置にグラフィック線で表示した映像を出力するように前記ＣＥＤ神経回路網を反復学習させ、任意のテスト作物映像が入力されると、前記テスト作物映像の作物列に該当する位置にグラフィック線で表示した映像または前記テスト作物映像上の作物列に該当する位置にグラフィック線を重ねて表示した映像を前記出力映像として出力するように作成された作物映像・作物列映像データベースと、
前記作物映像・作物列映像データベースを用いて、作物の映像から前記作物の作物列を認識し、前記映像で前記作物列から外れている植物を雑草として認識するように学習する作物列認識用ＣＥＤ神経回路網と、
作物・雑草種類及び位置のシンボル表示映像を出力する作物映像・作物種類位置映像データベースと、
前記作物映像・作物種類位置映像データベースを用いて、前記作物列とその周囲に残留する雑草に対し、前記作物と分離識別するように学習する作物と雑草の種類及び位置認識用ＣＥＤ神経回路網と、
作物・雑草の映像をリアルタイムで撮影し、前記作物列認識用ＣＥＤ神経回路網及び前記作物と雑草の種類及び位置認識用ＣＥＤ神経回路網に撮影した映像を入力するカメラと、
前記作物列認識用ＣＥＤ神経回路網及び前記作物と雑草の種類及び位置認識用ＣＥＤ神経回路網を実行させ、得られた結果を分析し、分析した結果を用いて外部の除草機の自律除草作業に必要な制御信号を生成し、生成した制御信号を前記除草機に提供するＣＰＵと、
前記ＣＰＵを補助し、前記作物列認識用ＣＥＤ神経回路網及び前記作物と雑草の種類及び位置認識用ＣＥＤ神経回路網を高速で実行させるＧＰＵと
を備える、
神経回路網の学習により作物と雑草を識別する装置。
【請求項１３】
作物の映像から前記作物の作物列を認識し、前記映像で前記作物列から外れている植物を雑草として認識する第１ＣＥＤ神経回路網と、
前記作物列とその周囲に残留する雑草と前記作物とを識別する第２ＣＥＤ神経回路網と、
前記映像をリアルタイムで撮影し、前記第１ＣＥＤ神経回路網及び前記第２ＣＥＤ神経回路網に入力するカメラと、
前記第１ＣＥＤ神経回路網及び前記第２ＣＥＤ神経回路網を実行させ、得られた結果を分析するＣＰＵと、
前記ＣＰＵを補助し、前記第１ＣＥＤ神経回路網及び前記第２ＣＥＤ神経回路網を高速で実行させるＧＰＵと
を備える、
神経回路網の学習により作物と雑草を識別する装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、神経回路網の映像認識分野に属する技術で、ＣＥＤ神経回路網を用いて作物の列を認識し、列以外の植物をすべて雑草と見なして一括除去するようにし、列とその周囲に残留する少数の雑草に対してはもう一つのＣＥＤ神経回路網の学習によって精密に識別し、除草可能にすることを特徴とする雑草識別方法に関する。
【背景技術】
【０００２】
環境にやさしい農作物の栽培において、最も労働力が必要な農作業の一つが除草作業である。除草が効果的に行われないと、農作物の成長に致命的な被害を与え得るので、農夫は農作物の生長期間の間に常に除草作業に気を抜けられなくなる。従って、除草作業の自動化は農夫にとっては夢のようで、このための研究が為されて来た。
【０００３】
Ｚｈａｎｇら（１９９５）は、小麦畑で発見される雑草を見分けられる基準を、カラー、形体、質感の三つの側面から分析及び提示している。Ｗｏｅｂｂｅｃｋｅら（１９９５ａ）は、映像から雑草と背景の分離するためのカラー分析を行っている。特に、修正カラー、２ｇ−ｒ−ｂ、緑色クロマ座標（Ｃｈｒｏｍａｔｉｃ ｃｏｏｒｄｉｎａｔｅ）が周囲環境から雑草を効果的に見分けられることを示している。Ｔｉａｎら（１９９７）は、露地で小さいトマトと雑草の位置を把握できる機械視覚システムを開発して試験している。韓国国内でもこの分野の研究を行っていて、チョ・ソインら（１９９９）は、スベリヒユ、メヒシバ、アカザを対象雑草とし、これらの幾何学的特徴を抽出し、露地から雑草を検出できる可能性を示す研究を行っている。しかし、このような植物のカラー、形体、質感のｓｐｅｃｔｒｕｍを介した違いなどによる雑草認識方法は規則に基づいているので、多様に変化した環境、模様などに適応することができず、実用化には不十分である。
【０００４】
【０００５】
様々な環境においても適用可能な雑草認識技術が必要であるが、最近、Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ神経回路網の技術の発展に伴い、これを用いた雑草認識への試みがある。Ｃｉｃｃｏら（Ｄｅｃ  ２０１６、ＣＶＰＲ）は、グラフィックツールを用いて生成したデータセットをＤｅｅｐ  Ｌｅａｒｎｉｎｇ神経回路網の一つであるＳｅｇＮｅｔ（ＣｏＲＲ２０１５）上で学習させて雑草と作物を区別するようにしている。さらに、Ｐｏｔｅｎａら（Ｆｅｂ  ２０１７）の作物と雑草との区別（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）のためにＤｅｅｐ  Ｌｅａｒｎｉｎｇ神経回路網の技術を用いることで、従来のアルゴリズム的方法に比べると分類の正確性を大きく向上させている。これらの方法では雑草全体の形状を個別的に抽出することを目標としているので、まばらに分布した雑草には適用可能であるが、多くの草と作物が混ざっている環境では植物が互いに重なっていて区別性が無くなるので実用化するのが難しい。他のアプローチとして近距離作物の位置を機械式接触センサーを用いて認識する方法（ＫＲ１０−２０１３−０１１５０５７）も提示されているが、小さい苗に対しては適用するのが難しく、この問題を解決するために小さい苗にも適用可能にレーザセンサーと触覚を用いる方法｛ＫＲ１０―２００９―０１１３９９０｝も開発されているが、風に揺らぐ小さい苗の位置が正確でないので、近距離のみに有効であると言うデメリットがある。
【０００６】
【０００７】
【参考文献】
【０００８】
Ｚｈａｎｇ、Ｎ.  ａｎｄ  Ｃ.Ｃｈａｉｓａｔｔａｐａｇｏｎ、１９９５、Ｅｆｆｅｃｔｉｖｅ  ｃｒｉｔｅｒｉａ  ｆｏｒ  ｗｅｅｄ  ｉｄｅｎｔｉｆｙｉｎｇ  ｉｎ  ｗｈｅａｔ  ｆｉｅｌｄｓ  ｕｓｉｎｇ  ｍａｃｈｉｎｅ  ｖｉｓｉｏｎ、Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｆ  ｔｈｅ  ＡＳＡＥ  ３８（３）：９６５−９７４。
【０００９】
Ｗｏｅｂｂｅｃｋｅ、Ｄ.Ｍ.、Ｇ.Ｅ.Ｍｅｙｅｒ、Ｋ.Ｖｏｎ  Ｂａｒｇｅｎ  ａｎｄ  Ｄ.Ａ.Ｍｏｒｔｅｎｓｅｎ、１９９５ａ、Ｓｈａｐｅ  ｆｅａｔｕｒｅｓ  ｆｏｒ  ｉｄｅｎｔｉｆｙｉｎｇ  ｙｏｕｎｇ  ｗｅｅｄｓ  ｕｓｉｎｇ  ｉｍａｇｅ  ａｎａｌｙｓｉｓ、Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｆ  ｔｈｅ  ＡＳＡＷ ３８（１）：２７１−２８１。
【００１０】
Ｔｉａｎ、Ｌ.、Ｄ.Ｃ.Ｓｌａｕｇｈｔｅｒ  ａｎｄ  Ｒ.Ｆ.Ｎｏｒｒｉｓ、１９９７、Ｏｕｔｄｏｏｒ  ｆｉｅｌｄ  ｖｉｓｉｏｎ  ｉｄｅｎｔｉｆｉｃａｔｉｏｎ  ｏｆ  ｔｏｍａｔｏ  ｓｅｅｄｌｉｎｇｓ  ｆｏｒ  ａｕｔｏｍａｔｅｄ  ｗｅｅｄ  ｃｏｎｔｒｏｌ、Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｆ  ｔｈｅ  ＡＳＡＥ  ４０（６）：１７６１−１７６８。
【００１１】
チョ・ソンイン、リ・デソン、ベ・ヨンミン、１９９９、機械視覚を用いた雑草の識別、韓国農業機械学会誌  第２４巻  第１号、５９−６６
【００１２】
ａｕｒｉｌｉｏ  Ｄｉ  Ｃｉｃｃｏ、Ｃｉｒｏ  Ｐｏｔｅｎａ、Ｇｉｏｒｇｉｏ  Ｇｒｉｓｅｔｔｉ  ａｎｄ  Ａｌｂｅｒｔｏ  Ｐｒｅｔｔｏ、２０１６、Ａｕｔｏｍａｔｉｃ  Ｍｏｄｅｌ  Ｂａｓｅｄ  Ｄａｔａｓｅｔ  Ｇｅｎｅｒａｔｉｏｎ  ｆｏｒ  Ｆａｓｔ  ａｎｄ  Ａｃｃｕｒａｔｅ  Ｃｒｏｐ  ａｎｄ  Ｗｅｅｄｓ  Ｄｅｔｅｃｔｉｏｎ、ＣＶＰＲ、ａｒＸｉｖ：１６１２．０３０１９ｖ１  ［ｃｓ.ＣＶ］９、Ｄｅｃ ２０１６Ｃ。
【００１３】
ｉｒｏ Ｐｏｔｅｎａ、Ｄａｎｉｅｌｅ Ｎａｒｄｉ、ａｎｄ  Ａｌｂｅｒｔｏ  Ｐｒｅｔｔｏ、２０１７、Ｆａｓｔ  ａｎｄ  Ａｃｃｕｒａｔｅ  Ｃｒｏｐ  ａｎｄ  Ｗｅｅｄ  ｉｄｅｎｔｉｆｉｃａｔｉｏｎ  ｗｉｔｈ  Ｓｕｍｍａｒｉｚｅｄ  Ｔｒａｉｎ  Ｓｅｔｓ  ｆｏｒ  Ｐｒｅｃｉｓｉｏｎ  Ａｇｒｉｃｕｌｔｕｒｅ、Ｉｎｔｅｌｌｉｇｅｎｔ  Ａｕｔｏｎｏｍｏｕｓ  Ｓｙｓｔｅｍｓ、ｖｏｌ  １４、１０５−１２１、Ｆｅｂ  ２０１７。
【発明の概要】
【発明が解決しようとする課題】
【００１４】
本発明は上記に鑑みてなされたものであり、本発明は、人工知能技術を用いて作物の映像から作物列を抽出する技術と作物と雑草とを識別する技術を開発し、除草作業をする位置まで指定可能な技術の学習を介して自ら構築できるようにする技術を提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明の少なくとも一つの実施例においては、前記目的を達成するために、Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｅｎｃｏｄｅｒ−ｄｅｃｏｄｅｒ（ＣＥＤ）神経回路網の技術を用いて作物の列を抽出し、除草機が列と列の間の植物を雑草と見なして除去するようにし、作物列上に存在する少数の雑草に対しては追加的なＣＥＤ神経回路網を用いて作物から雑草を識別して除去する。
【００１６】
このためのシステム構造は、作物の列の抽出のために用いるＣＥＤ神経回路網と、作物と雑草との識別に用いるＣＥＤ神経回路網とで構成される。前記ＣＥＤ神経回路網は、入力段から出力段までの間に複数の段で構成され、中間段に行くほど括れた構造を有し、格段にコンボリューション演算を行うＣＥＤ神経回路網で構成される。ＣＥＤ神経回路網には、図１のように基本構造から変形された様々な構造があり、これらの間に性能と特徴の差はあるものの、どのような変形構造のＣＥＤ神経回路網も本発明の目的である作物の列抽出と作物と雑草との識別に使用可能である。
【００１７】
ＣＥＤ神経回路網に上記のように作物の列を抽出させるために、作物の映像をＣＥＤ神経回路網の入力映像とし、入力映像での作物の列の位置をグラフィックで描いて表示した線の映像を学習目標映像とする学習データセットを大量で備え、
【００１８】
前記学習データセットをＣＥＤ神経回路網が繰り返して学習することで、作物の映像から作物列を抽出する技術を自ら習得できるようにする。
【００１９】
さらに、作物・雑草識別ＣＥＤ神経回路網のために、個別の作物と雑草の形状が識別可能である程度に近接撮影した映像を入力映像とし、入力されて映像に作物または雑草の位置に互いに異なる形状或はカラーのシンボルを表示した映像を学習目標映像とする学習データセットを大量に用意し、
【００２０】
前記学習データセットを繰り返して学習することで、ＣＥＤ神経回路網がたんぼ・畑の映像から作物と雑草とを識別し、その位置まで指定する技術を神経回路網の学習を介して自ら習得できるようにする。
【発明の効果】
【００２１】
本発明は、作物列の抽出と作物・雑草を識別する目標を達成するために、従来の映像処理技術によるアルゴリズムに頼らずに、出力映像として現れることを期待する映像を直接グラフィックで作成して学習させる。従って、狙いの映像認識結果を得るために要求される技術をＣＥＤ神経回路網が学習を介して自ら構築できるようにする新しい技術開発方法を開発できる効果がある。さらに、この技術を用いて作物の列を認識し、作物・雑草を識別することで、除草機が精密で自動に除草できるようにする効果がある。
【図面の簡単な説明】
【００２２】
【図１】図１は、本発明に用いるＣｏｎｖｏｌｕｔｉｏｎａｌ  Ｅｎｃｏｄｅｒ−ｄｅｃｏｄｅｒ神経回路網の構造であり、
【００２３】
（Ａ）作物（稲）の列認識に用いるＣｏｎｖｏｌｕｔｉｏｎａｌ  Ｅｎｃｏｄｅｒ−ｄｅｃｏｄｅｒ神経回路網の構造
【００２４】
（Ｂ）作物（稲）と雑草（稗草）との識別及び位置認識に用いるＣｏｎｖｏｌｕｔｉｏｎａｌ  Ｅｎｃｏｄｅｒ−ｄｅｃｏｄｅｒ神経回路網の構造
【００２５】
（Ｃ）Ｕｎｅｔ（ｓｋｉｐ）ＣＥＤ神経回路網、（Ｄ）Ｄｅｎｓｅ  ＣＥＤ神経回路網及びＤｅｎｓＮｅｔブロックを本発明に使用可能な変形されたＣＥＤ神経回路網の構造
【００２６】
【図２】図２は、除草のための作物列と作物・雑草識別及び位置検出システムの構造であり、
【００２７】
【図３】図３は、作物列の抽出のためのＣＥＤ神経回路網の学習データの一部の例示であり、
【００２８】
【図４】図４は、学習された作物列抽出用のＣＥＤ神経回路網のテスト結果の例示であり、
【００２９】
【図５】図５は、苗と稗草とを区別するためのＣＥＤ神経回路網の学習データの一つの例示であり、図６は、学習された作物・稗草識別用のＣＥＤ神経回路網のテスト結果の例示である。
【００３０】
【符号の説明】
【００３１】
１００：ＣＰＵ
【００３２】
１１０：ＧＰＵ
【００３３】
２００：作物・雑草識別システム
【００３４】
２１０：作物列の位置のグラフィック表示映像制作
【００３５】
２２０：作物映像‐作物列映像データベース
【００３６】
２３０：作物列認識用ＣＥＤ神経回路網
【００３７】
２４０：作物‐雑草位置のシンボル表示映像制作
【００３８】
２５０：作物映像‐作物種類位置映像データベース
【００３９】
２６０：作物と雑草の識別及び位置認識用ＣＥＤ神経回路網
【００４０】
２８０：カメラ
【００４１】
２９０：除草機
【発明を実施するための最善の形態】
【００４２】
以下の本発明の実施形態のうち、正確性は図１（Ａ）、（Ｂ）で提示するＣＥＤ神経回路網より図１（Ｃ）のユーネット（Ｕｎｅｔ）を用いたＣＥＤ神経回路網と図１（Ｄ）のデンスネット（ＤｅｎｓＮｅｔ）を用いたＣＥＤ神経回路網が優れていて、ユーネットを用いたＣＥＤ神経回路網よりデンスネットを用いたＣＥＤ神経回路網が多少優れている。しかし、デンスネットを用いたＣＥＤ神経回路網の場合、ユーネットを用いたＣＥＤ神経回路網より必要なパラメーター（ｐａｒａｍｅｔｅｒ）が多く、適切なハイパー・パラメーター（ｈｙｐｅｒ−ｐａｒａｍｅｔｅｒ）の選択も難しいというデメリットがある。さらに、デンスネットを用いたＣＥＤ神経回路網は動作速度がユーネットを用いたＣＥＤ神経回路網より遅いというデメリットがある。
【００４３】
従って、正確性、実現性、及び経済性をすべて考慮した最善の実施形態はユーネットを用いたＣＥＤ神経回路網を含む形態である。
【発明を実施するための形態】
【００４４】
本発明で用いたＣｏｎｖｏｌｕｔｉｏｎａｌ  Ｅｎｃｏｄｅｒ−ｄｅｃｏｄｅｒ(ＣＥＤ)神経回路網は、図１に示すように、入力段から出力段までの間に複数の段で構成され、そのサイズが徐々に減少して増加する構造を有する神経回路網である。前半部の徐々に減少する部分をエンコーダー（ｅｎｃｏｄｅｒ）部分と言い、後半部の徐々に増加する部分をデコーダー（ｄｅｃｏｄｅｒ）部分と言う。図１の（Ａ）と（Ｂ）は、本発明で作物列の認識と作物列上の雑草の検出にそれぞれ用いたＣＥＤ神経回路網の構造であるが、両方を交換して用いても良い。さらに、図１の（Ｃ）に示すように、エンコーダー部分の各層の出力がデコーダー部分の同一の層の入力にスキップ（ｓｋｉｐ）して合算されるＣＥＤ神経回路網、即ち、ユーネット（Ｕｎｅｔ）またはスキップ（ｓｋｉｐ）構造と呼ばれる変形された構造のＣＥＤ神経回路網も用いることができ、図１の（Ｄ）に示すように、ユーネット（Ｕｎｅｔ）構造の各層をわたって接続を有するＤｅｎｓＮｅｔと呼ばれる変形されたＣＥＤ神経回路網構造も用いることが可能である。さらに、ＣＥＤ神経回路網に基づいて変形された神経回路網を用いても良い。この場合、それぞれの構造毎に異なる数の層、異なる数のフィルターを用いて本発明を実現することが可能であり、本発明の目的を達成することが可能である。
【００４５】
本発明は、上述のＣｏｎｖｏｌｕｔｉｏｎａｌ  Ｅｎｃｏｄｅｒ−ｄｅｃｏｄｅｒ(ＣＥＤ)神経回路網の技術を用いて作物の列を認識する作物列認識工程と、作物列上に存在する少数の雑草に対して追加的なＣＥＤ神経回路網を用いて作物から雑草を識別する作物・雑草識別工程で構成される。このためのハードウェアは、図２に示すように、作物の列を認識する工程で用いられるＣＥＤ神経回路網２３０と作物から雑草を識別する工程で用いられるＣＥＤ神経回路網２６０の二つの神経回路網で構成される。
【００４６】
それぞれのＣＥＤ神経回路網には入力映像と共に出力として得ようとする出力を学習データベース（２２０、２５０）化して印加することで、ＣＥＤ神経回路網に実行すべき任務を提示し、神経回路網は学習を介してその任務を実行する技術を習得する。
【００４７】
このために、まず作物映像を大量で獲得し、それぞれの作物映像に対する作物列位置のグラフィック表示映像（２１０）と作物・雑草 位置のシンボル表示映像（２４０）を大量で制作し、作物映像・作物列映像データベース２２０と作物映像・作物と雑草の種類及び位置映像データベース２５０を構成してコンピューターのハードディスク装置に格納する。前記作物映像・作物列映像データベース２２０と作物映像・作物と雑草の種類及び位置映像データベース２５０は、それぞれ作物列認識用ＣＥＤ神経回路網２３０と作物と雑草の識別及び位置認識用ＣＥＤ神経回路網２６０によって学習する。学習された神経回路網は、予め設計された神経回路網の構造に対する各接続パラメーター値のデータの形態を有する。以下、作物列認識用ＣＥＤ神経回路網２３０と作物と雑草の識別及び位置認識用ＣＥＤ神経回路網 ２６０の学習過程に関して詳細に説明する。
【００４８】
【００４９】
作物列認識のための学習
【００５０】
ＣＥＤ神経回路網に作物列を認識する技術を開発させるためには、その例となる学習データを映像の形態で多様に大規模で用意する。図３は、作物のうち苗（稲）の場合を例示したもので、左側の映像のような入力映像が認可された場合、ＣＥＤ神経回路網に右側の映像のような作物の列映像を抽出して提示するように任務を与える例である。より具体的に、学習目標映像は図３の左側の映像のように、苗の各列に該当する位置に沿って図３の右側の映像のようにグラフィックによる線を表示提示する。即ち、左側の映像の上に右側の映像を重ね合わせると、右側の映像の各線は左側の映像での作物列の中央に位置する学習目標映像を作成する。但し、除草機が作物列に沿って除草作業を行う際には正面の作物列に沿って行きながら作業を行うので、学習目標映像の作成時に正面の線に重点を置いて描き、左右両側に向く列は省略しても良い。さらに、図３の（Ｄ）に示すように途中で苗が無くなっている位置まで延長線を引くことで、神経回路網が延長線を引く技術を習得できるようにする。
【００５１】
このような学習データが準備できたら、これに対する学習の際により多様な形態の学習のために、用意された映像を対象に様々な角度での回転、拡大及び回転、縮小及び回転、左右上下移動などと手法（ａｕｇｍｅｎｔａｔｉｏｎ手法）を介してより多くの数の学習データを追加生成して神経回路網を学習させる。このときに用いる学習は、神経回路網の学習に一般的に用いられるｂａｃｋｐｒｏｐａｇａｔｉｏｎ学習方法を用いてエラーが所定の閾値以下になるまでの反復学習である。
【００５２】
図４は、作物列を認識するために学習されたＣＥＤ神経回路網をテストした結果の例示であり、左側の入力映像をＣＥＤ神経回路網に印加すると、その出力として中央の映像が得られる。この出力映像上の線が入力映像の作物列の位置を正確に指定しているか否かを確認するために、このＣＥＤ神経回路網の出力画像を入力映像に重ね合わせた映像が図４の右側の映像である、図４で示すように、ＣＥＤ神経回路網の出力の線の位置が入力映像の作物列の位置を正確に指定していることが分かる。
【００５３】
【００５４】
個別作物と雑草との識別学習
【００５５】
本発明では、作物と雑草との識別も上記のＣｏｎｖｏｌｕｔｉｏｎａｌ  Ｅｎｃｏｄｅｒ−ｄｅｃｏｄｅｒ(ＣＥＤ)と類似した構造の神経回路網を使用している。学習データは、学習目標映像で作物の根元部分を第１種類のシンボルで表示し、雑草の根元部分に第２種類のシンボルで表示した映像を作成して神経回路網がこれを学習するようにする。この根元部分にシンボルを表示する場合、この部分を除草機系によって破砕されるようにすれば、効果的な除草が可能になる。
【００５６】
図５の左側の映像は神経回路網の入力として用いた稲と稗草の映像であり、右側の映像は学習目標映像で、左側の映像で稲の根元部分に該当するところにグレーの円形シンボルで表示し、稗草の根元部分に該当するところに黒の円形シンボルで表示した映像の例である。稲の苗と稗草とを識別するためのＣＥＤ神経回路網の学習データは、左側の映像のような映像を大量で撮影して入力映像として用意し、それぞれの入力映像に対して右側の映像のような学習目標映像を作成する。ここでは学習目標映像は、空（ｂｌａｎｋ）映像に苗や稗草の根元部分の位置にグレーと黒の円形シンボルで表示した映像を作成した例を示しているが、入力映像上に上記のシンボルを重ね合わせて表示しても良い。さらに、表示するシンボルの色や形状も他の色や形状を選択可能である。このような方法で学習データセットを構成し、ｂａｃｋｐｒｏｐａｇａｔｉｏｎ学習方法を用いてエラーが所定の閾値以下になるまで繰り返し学習させる。図６は、作物列認識用ＣＥＤ神経回路網のテスト結果の一部の例である。図６の左側の映像は入力テスト映像で学習データに含まれてない映像である。図６の中央の映像は神経回路網の出力映像であり、右側の映像は入力映像と出力映像を重ね合わせた映像である。出力映像及び重ね合わせ映像でグレーの円形シンボルは稲の位置を表し、黒の円形シンボルは稗草の位置を表す。これらの映像で示すように、苗と稗草の位置を正確に認識して表示していることが分かる。但し、稲が互いに重なって根元部分が見えない場合は稲を識別できないが、これは根元の形状を基準に識別するように学習させたからである。しかし、形状を確実に確認できる大きさと位置の稗草はほとんど識別されて検出されることが分かる。
【００５７】
このように認識された結果映像は除草ロボットに送られ、苗と稗草の実際の位置を見つけて除草可能になる。
【００５８】
【００５９】
除草システムの頭脳としての役割
【００６０】
本発明を除草システムの頭脳として活用するためには、カメラ２８０を介して映像をリアルタイムで獲得し、獲得した映像を作物列認識用ＣＥＤ神経回路網２３０と作物と雑草の識別及び位置認識用ＣＥＤ神経回路網２６０に同時に印加して高速に処理する。このような情報の流れを制御して神経回路網をソフトウェア的に構成して実行するためにＣＰＵ１００を用いる。さらに、ＣＰＵ１００は、神経回路網の出力を後処理し、分析し、その結果を用いて外部の除草機の自律運転に必要な制御信号を生成する。この過程でＣＥＤ神経回路網を構成してその動作を実行させるためには高速の信号処理が必要であり、このためにＧＰＵ１１０が補助装置として用いられる。
【００６１】
【００６２】
除草機制御システムの構成
【００６３】
学習されたＣＥＤ神経回路網のパラメーターにはすでに作物映像・作物列映像データベース２２０と作物映像・作物種類及び位置映像データベース２５０から抽出した作物列認識及び作物・雑草識別に必要な情報が含まれているので、装置の小型化のためにデータベースを除去し、カメラ２８０と、作物列認識用ＣＥＤ神経回路網２３０と、雑草の識別及び位置認識用ＣＥＤ神経回路網２６０と、ＣＰＵ１００と、ＧＰＵ１１０のみで簡単に除草機制御システム３００を構成することができる。
【００６４】
上記のように構成された除草機制御システムが除草機２９０に適切な除草作業命令を送るためには、まずカメラ２８０を介して映像リアルタイムで獲得し、獲得した映像を作物列認識用ＣＥＤ神経回路網２３０と作物と雑草の識別及び位置認識用ＣＥＤ神経回路網２６０に同時に印加して高速で処理する。このような情報の流れを制御して神経回路網をソフトウェア的に構成して実行するためにＣＰＵ１００を用いる。さらに、ＣＰＵ１００は、神経回路網の出力を後処理し、分析し、その結果を用いて外部の除草機２９０の自律除草作業に必要な制御信号を生成する。この過程でＣＥＤ神経回路網を構成してその動作を実行させるためには高速の信号処理が必要であり、このためにＧＰＵ１１０が補助装置として用いられる。
【産業上の利用可能性】
【００６５】
農業において土壌の養分と太陽エネルギーを奪って農作物の生育を妨害する雑草の除去は必要不可欠である。特に、最近の国際的趨勢である環境にやさしい農作物栽培では農薬などの化学製品を使用しないので、除草作業により多くの労働力が必要な状況である。よって、本発明は、農作物の栽培において農夫の労働力の大部分を占める除草作業の自動化と機械化を通じて農作物栽培の効率化と除草作業のための作業員の雇用費用などの生産費用を節減できるようにするためのもので、除草作業が必要な農作物の栽培にはその産業上の利用可能性が大きい。
【図１】
0006771800.tif 000002
【図２】
0006771800.tif 000003
【図３】
0006771800.tif 000004
【図４】
0006771800.tif 000005
【図５】
0006771800.tif 000006
【図６】
0006771800.tif 000007