(57)【要約】【課題】対象となる作物の茎の数を手軽且つ正確に判定すること。【解決手段】作物を撮影した画像情報を複数入力する画像データ入力部１１と、入力した複数の画像情報それぞれについて当該作物の茎数の情報を入力する茎数情報入力部１２と、入力した複数の画像情報と茎数情報とに基づいて、作物の画像と茎数との対応付けの深層学習を行なって学習済モデルを構築する学習部１４及び学習済モデル保持部１５と、茎数の不明な作物を撮影した画像情報を入力する画像入力部１６と、入力した画像情報に対し、学習部１４で構築した学習済モデル保持部１５に基づいて茎数を判定する茎数レベル判定部１０と、判定した茎数の情報を出力する判定結果出力部１７とを備える。【選択図】      図２
2020087286.tif 000002
【特許請求の範囲】
【請求項１】
作物生育判定システムのサーバ装置であって、
作物を撮影した画像情報を複数入力する第１の画像入力部と、
上記第１の画像入力部で入力した複数の画像情報それぞれについて当該作物の茎数の情報を入力する茎数情報入力部と、
上記第１の画像入力部で入力した複数の画像情報と上記茎数情報入力部で入力した茎数情報とに基づいて、作物の画像と茎数との対応付けの深層学習を行なって学習済モデルを構築する学習部と、
茎数の不明な作物を撮影した画像情報を入力する第２の画像入力部と、
上記第２の画像入力部で入力した画像情報に対し、上記学習部で構築した学習済モデルに基づいて茎数を判定する茎数判定部と、
上記茎数判定部で判定した茎数の情報を出力する出力部と、
を備える作物生育判定システムのサーバ装置。
【請求項２】
上記作物は水稲であり、上記学習部は、分げつ期の稈数と水稲の画像との対応付けの深層学習を行なう、請求項１記載の作物生育判定システムのサーバ装置。
【請求項３】
上記第１の画像入力部は、画像情報に作物画像を抽出するマスキング処理を施した後に、反転、回転、及びズーミングの少なくとも一つにより加工を施した画像情報を生成して、入力する画像情報を増大させる、請求項１または２記載の作物生育判定システムのサーバ装置。
【請求項４】
上記出力部は、判定した茎数の情報を複数段階のレベルの１つに分類して出力する、請求項１乃至３いずれか記載の作物生育判定システムのサーバ装置。
【請求項５】
作物を撮影した画像情報を複数入力する第１の画像入力工程と、
上記第１の画像入力工程で入力した複数の画像情報それぞれについて当該作物の茎数の情報を入力する茎数情報入力工程と、
上記第１の画像入力工程で入力した複数の画像情報と上記茎数情報入力工程で入力した茎数情報とに基づいて、作物の画像と茎数との対応付けの深層学習を行なって学習済モデルを構築する学習工程と、
茎数の不明な作物を撮影した画像情報を入力する第２の画像入力工程と、
上記第２の画像入力工程で入力した画像情報に対し、上記学習工程で構築した学習済モデルに基づいて茎数を判定する茎数判定工程と、
上記茎数判定工程で判定した茎数の情報を出力する出力工程と、
を有する作物生育判定方法。
【請求項６】
コンピュータが実行するプログラムであって、上記コンピュータを、
作物を撮影した画像情報を複数入力する第１の画像入力部と、
上記第１の画像入力部で入力した複数の画像情報それぞれについて当該作物の茎数の情報を入力する茎数情報入力部と、
上記第１の画像入力部で入力した複数の画像情報と上記茎数情報入力部で入力した茎数情報とに基づいて、作物の画像と茎数との対応付けの深層学習を行なって学習済モデルを構築する学習部と、
茎数の不明な作物を撮影した画像情報を入力する第２の画像入力部と、
上記第２の画像入力部で入力した画像情報に対し、上記学習部で構築した学習済モデルに基づいて茎数を判定する茎数判定部と、
上記茎数判定部で判定した茎数の情報を出力する出力部と、
して機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作物の生育状況を正しく把握するのに好適な作物生育判定システムのサーバ装置、作物生育判定方法及びプログラムに関する。
【背景技術】
【０００２】
稲作農家にとっての目的は、収穫する米の、量を増やすことと、品質を向上させることである。これらの目的を達成し、イネの倒伏を防ぎつつ多くの穂を実らせるためにも、イネの茎（稈）の数を適正な数、例えば主要な品種であるコシヒカリであれば１株当たり２２本程度に保つことが求められており、それより多すぎても少なすぎても許容されない。
【０００３】
そのために稲作農家は、特に分げつ期と呼ばれる茎数が増加する時期において、日々イネの茎を数え、その結果に応じて圃場の水を一時的に抜く「中干し」、あるいは一時的に水深を深くする「深水」等と称される作業などにより茎数制御を行なっている。
【０００４】
しかしながら、イネの株については茎数に個体差もあるため、１つの圃場に関して多数のイネの株の茎数を数えなければ、その圃場全体の代表値を判断することができない。したがって稲作農家は、実際に茎数を数える作業の度に、水田に入って身を屈めるような、負荷の高い動作を繰り返し行なわなければならず、重労働の作業となっている。
【０００５】
加えて、茎のカウント作業に関しては、その茎に生えている葉の状態等によって、カウントすべき茎とカウントすべきでない茎があるなど、技術的に作業自体がある程度のノウハウを要するものであり、単純ではない。
【０００６】
このような作業性の悪さを避けるべく、スマートフォンなどのモバイル端末を利用して、圃場の農作物の生育状況と施肥量と営農者が即座に把握できるようにした装置等が提案されている。（例えば、特許文献１）
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１７−０４６６３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、前記特許文献１に記載された技術は、モバイル端末で撮影した画像の緑色画素のヒストグラムの形状分析により２値化した画像から植被率や推定生育量、穂肥量等を算出するものである。
【０００９】
そのため、撮影時の光の色温度や、作物に使用している肥料の量や種類等によっても、画像中の緑色画素値が変化するため、前記植被率等の正確な判定を行なうことが困難となるとともに、作物としてイネの茎の数そのものを正確に判定することはできない。
【００１０】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、対象となる作物の茎の数を手軽、且つ正確に判定することが可能な作物生育判定システムのサーバ装置、作物生育判定方法及びプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
本発明の一態様は、作物生育判定システムのサーバ装置であって、作物を撮影した画像情報を複数入力する第１の画像入力部と、上記第１の画像入力部で入力した複数の画像情報それぞれについて当該作物の茎数の情報を入力する茎数情報入力部と、上記第１の画像入力部で入力した複数の画像情報と上記茎数情報入力部で入力した茎数情報とに基づいて、作物の画像と茎数との対応付けの深層学習を行なって学習済モデルを構築する学習部と、茎数の不明な作物を撮影した画像情報を入力する第２の画像入力部と、上記第２の画像入力部で入力した画像情報に対し、上記学習部で構築した学習済モデルに基づいて茎数を判定する茎数判定部と、上記茎数判定部で判定した茎数の情報を出力する出力部と、を備える。
【発明の効果】
【００１２】
本発明によれば、対象となる作物の茎の数を手軽、且つ正確に判定することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】図１は、本発明の一実施形態に係る生育判定システム全体の構成を示す図である。
【図２】図２は、上記実施形態に係るサーバ装置の機能構成を示すブロック図である。
【図３】図３は、上記実施形態に係る学習フェーズで実行する一連の処理内容を示すフローチャートである。
【図４】図４は、上記実施形態に係る学習フェーズでの画像データの増幅処理について説明する図である。
【図５】図５は、上記実施形態に係る学習フェーズで茎数のレベルに応じて分類した結果を例示する図である。
【図６】図６は、上記実施形態に係る判定フェーズで実行する処理内容を示すフローチャートである。
【図７】図７は、上記実施形態に係る判定フェーズでの茎数レベルに基づく検証結果を例示する図である。
【図８】図８は、上記実施形態に係る判定フェーズで用いた画像データの例を示す図である。
【図９】図９は、上記実施形態に係る判定フェーズでの図８の画像データに対する判定結果を例示する図である。
【発明を実施するための形態】
【００１４】
以下、本実施形態を、水稲の生育判定を行なう生育判定システムに適用した場合の一実施形態について、図面を参照して詳細に説明する。
【００１５】
図１は、同実施形態に係る生育判定システム全体の構成を示す図である。同図において、生育の判定対象となる水田ＰＤを、ここでは図示しないユーザが所持する、スマートフォンＳＰのカメラ機能により撮影する。
【００１６】
スマートフォンＳＰには、本システム専用のアプリケーションプログラムを予めインストールしておく。スマートフォンＳＰでそのアプリケーションプログラムを起動した状態で、ディスプレイ画面に表示されるガイドラインに沿った構図、具体的には水田のイネの直上方よりイネの株がガイドライン矩形内に収まるように撮影することで、撮影により得られたイネの静止画像データが判定対象となる画像情報として取得される。
【００１７】
スマートフォンＳＰは、携帯電話網の基地局やインターネットを含むネットワークＮＷを介して、茎数ステージの判定を行なうためのサーバ装置ＳＶと接続される。
【００１８】
なお、判定対象の画像を撮影する手段としては、ユーザが所持するスマートフォンＳＰに限らず、例えば水田ＰＤの上空を飛翔させるドローン等で撮影した画像を、スマートフォンＳＰ経由でサーバ装置ＳＶに送信するものとしても良い。
【００１９】
サーバ装置ＳＶは、格納している学習済モデルに基づいて、スマートフォンＳＰから送られてきた画像情報に対し、撮影対象のイネの株がその葉先を含めて収まる程度の範囲となるように画像をトリミングした後、被写体としてのイネ以外の影響を排除するために、例えばＧＲＶＩ（Ｇｒｅｅｎ−Ｒｅｄ  Ｖｅｇｉｔａｔｉｏｎ  Ｉｎｄｅｘ）等の植生指標値でマスキング処理した上で画像情報中のイネの茎の数を判定し、判定結果を当該スマートフォンＳＰに返送する。なお、マスキング処理では、前記ＧＲＶＩに代えて、他の植生指標値としてＮＤＶＩ（Ｎｏｒｍａｌｉｚｅｄ  Ｄｉｆｆｅｒｅｎｃｅ  Ｖｅｇｉｔａｔｉｏｎ  Ｉｎｄｅｘ）やＥＶＩ（Ｅｎｈａｎｃｅｄ  Ｖｅｇｉｔａｔｉｏｎ  Ｉｎｄｅｘ）を用いることも考えられる。
【００２０】
なお、実際の運用に際しては、スマートフォンＳＰで同一の圃場における多数のイネの株を撮影して、それらの画像情報をサーバ装置ＳＶに一括送信することで、サーバ装置ＳＶにおいて、１株当たりのイネの茎数の平均値とそのレベル、さらにはサーバＳＶで蓄積記憶している、ユーザに紐付く圃場の過去のイネの茎数の履歴から、最適な茎数となるまでに何日程度かかると予想されるか等を算出し、スマートフォンＳＰに返送して提示させるようにしても良い。
【００２１】
図２は、サーバ装置ＳＶ内で実行されるコンピュータプログラムの機能構成を示すブロック図である。  
サーバ装置ＳＶは、茎数レベル判定部１０を主構成要素とし、この茎数レベル判定部１０が、学習フェーズと判定フェーズとに二分される領域に跨がって配置される構成となる。
【００２２】
学習フェーズにおいて、基本の学習モデルを構成するための多くの茎数のイネの画像データが画像データ入力部１１により入力される。一方で、茎数の判定を行なう熟練者により、各画像データと関連付けられた茎数情報が、茎数情報入力部１２により入力される。
【００２３】
画像データ入力部１１から入力されたイネの画像データと、茎数情報入力部１２で入力された、画像データと関連付けられた茎数情報とが、学習画像入力部１３により受け付けられ、関連付けられて茎数レベル判定部１０の学習部１４に入力される。
【００２４】
学習部１４は、例えば５層、すなわち入力層、中間層Ａ、中間層Ｂ、中間層Ｃ、及び出力層を有する畳み込みニューラルネットワーク（ＣＮＮ）による深層学習により、入力される画像データと茎数情報との多数の組を教師データとした学習を実行する。
【００２５】
学習実行時においては、試行錯誤によって各種パラメータが変更設定されながら最適な学習モデルが作成される。十分に実用に適したものとなったと判断された時点で、取得したニューラルネットワークである学習済モデルを構築し、判定フェーズ側の学習済モデル保持部１５に保持させる。
【００２６】
茎数レベル判定部１０の判定フェーズにおいては、ネットワークＮＷを介して同一圃場における複数のイネの画像データが画像入力部１６より入力されると、それらの画像データに対し、それぞれ学習済モデル保持部１５に保持している学習済モデルに基づいて茎数を判定する。そして、判定結果となる、１株当たりのイネの茎数の平均値とそのレベルの情報を判定結果出力部１７によりネットワークＮＷを介して、上記画像データを送ってきたスマートフォンＳＰに返信する。
【００２７】
次に上記実施形態の動作について説明する。  
なお、サーバ装置ＳＶでの学習フェーズで入力する画像データの撮影条件として、風によるイネの倒伏等の除外条件を予め設定することで、例えば風が強くて静止画像中のイネが著しく傾き、あるいはブレて写るなど、学習時間の長期化や学習データとしての精度の低下の要因となり得る画像データの入力を制限するものとする。
【００２８】
まず、水田ＰＤにおける各茎数に対応した水稲を撮影した画像データを順次、茎数の情報と共に入力し、入力した内容により深層学習を行なう学習フェーズでの処理について説明する。
【００２９】
図３は、サーバ装置ＳＶの茎数レベル判定部１０で学習フェーズにおいて実行する、一連の処理内容を示すフローチャートである。その当初に、イネの株が写った画像データを１つ選択して画像データ入力部１１から入力するとともに（ステップＳ１０１）、熟練者によりその画像に対応する茎数の情報を茎数情報入力部１２から入力する（ステップＳ１０２）。画像データには、付帯データの一部に、撮影を行なった年月日と時刻のデータが含まれる。
【００３０】
サーバ装置ＳＶでは、学習画像入力部１３がこれら画像データと茎数の情報とを関連付けて受け付け、その当初に、受け付けた画像データに対し、影や太陽光の反射、番号札丁の映り込み等による影響を極力排除するため、ＧＲＶＩ等の植生指標値でマスキング処理する（ステップＳ１０３）。
【００３１】
図４は、この時点で学習画像入力部１３で実行する、学習フェーズでの画像データの増幅処理について説明する図である。図４（Ａ）に示す、画像データ入力部１１より入力された画像データに対して、上記マスキング処理を施すことで、図４（Ｂ）に示すように、植物体を写した画素部分以外をマスクした画像を得ることができる。
【００３２】
さらに学習画像入力部１３では、上記マスキング処理した画像を元に、画像の左右、上下をそれぞれ反転した画像データや、所定角度単位、例えば３０［ｄｅｇ］で回転させた画像データ、及びトリミング比率を変えてイネの株の範囲をズームインした画像データを作成して、元の画像データに対する画像数を大幅に増加させると共に、それら増幅された画像データに対しても、茎数情報入力部１２より入力した茎数の情報を関連付けて説明する。
【００３３】
図４（Ｃ）は、元の画像データに対して、トリミングする範囲を変えて設定する場合を、２種類のズーム枠と共に例示している。
【００３４】
また図４（Ｄ）は、反転処理及び回転処理により元の画像データから多数の画像データを生成して増加させた場合を例示している。
【００３５】
なお、上記図４（Ｃ）及び図４（Ｄ）で用いた画像データの例は、特許図面上の黒つぶれを回避するためにあえてマスキング処理を施していない画像データで表現しているが、実際にはいずれも上記図４（Ｂ）で示したようなマスキング処理を施した上で、ズーム処理や回転処理を施すものとする。
【００３６】
このように元の画像データから加工して生成した画像データに対しても、元の画像データに対して入力された茎数の情報を関連付けるものとする。
【００３７】
その後に学習画像入力部１３では、全ての画像データが入力されたか否かにより、画像データと茎数の情報の入力をまだ継続するか否か判断する（ステップＳ１０５）。
【００３８】
全ての画像データと茎数の情報の入力を終えておらず、さらに入力があると判断した場合（ステップＳ１０５のＮｏ）、学習画像入力部１３では上記ステップＳ１０１からの処理に戻り、画像データと茎数の情報の入力に対する処理を続行する。
【００３９】
こうしてステップＳ１０１〜Ｓ１０５の処理を繰り返し実行し、全ての画像データを茎数の情報とともに入力し終えたと判断した時点で（ステップＳ１０５のＹｅｓ）、サーバ装置ＳＶの学習部１４において、画像の特徴量と茎数の情報とを対応付けるモデルを構築するべく、ＣＮＮによる深層学習を実行し（ステップＳ１０６）、以上で学習フェーズでの処理を完了する。
【００４０】
なお本実施形態においては、茎数を全体で６つのレベル、すなわちレベルＬ１：１〜９本、レベルＬ２：１０〜１４本、レベルＬ３：１５〜１９本、レベルＬ４：２０〜２４本、レベルＬ５：２５〜２９本、レベルＬ６：３０本以上、に分類し、分類したレベルでの評価等を実施するものとする。
【００４１】
図５は、学習フェーズで画像データ入力部１１により入力した元の画像データを、茎数のレベルに応じて分類した結果の例を示している。
【００４２】
なお本実施形態では、レベルＬ１が１０本未満、レベルＬ６が３０本以上として、レベルＬ２〜Ｌ５では５本ずつの均等な数値の範囲として茎数のレベルを分類する場合について示しているが、稲作における茎数の重要度、具体的にはその品種で最適と考えられている茎数を中心とし、中心に近いレベル程狭く、中心から外れるレベル程に広くなる不均等な数値の範囲を設定してレベルの分類を行なうことも考えられる。
【００４３】
学習部１４では、深層学習を実行することにより、茎数を判定するための水稲画像の特徴を示す特徴情報を抽出した学習済モデルを構築し、構築した学習済モデルを学習済モデル保持部１５に保持させる。
【００４４】
次に、学習済モデル保持部１５に学習済モデルが保持されている状態で、画像入力部１６から茎数の判定を求める対象圃場の画像データが入力された場合の判定フェーズでの処理について説明する。
【００４５】
図６は、サーバ装置ＳＶの茎数レベル判定部１０で判定フェーズにおいて実行する、一連の処理内容を示すフローチャートである。その当初に、ネットワークＮＷを介してユーザから送られてくる、茎数が不明な複数の画像データを画像入力部１６で一括して入力する（ステップＳ２０１）。
【００４６】
茎数レベル判定部１０では、入力された画像データを１つ選択し、その画像中の株範囲をトリミングした上で、ＧＲＶＩ等の植生指標値でマスキング処理する（ステップＳ２０２）。
【００４７】
茎数レベル判定部１０では、マスキング処理した株の画像について学習済モデル保持部１５に保持している学習済モデルを用いて茎数を判定する（ステップＳ２０３）。
【００４８】
次に茎数レベル判定部１０では、まだ判定を行なっていない画像データがあるか否かを判断する（ステップＳ２０４）。
【００４９】
まだ判定を終えていない画像データがあると判断した場合（ステップＳ２０３のＹｅｓ）、茎数レベル判定部１０では上記ステップＳ２０２からの処理に戻り、同様の処理を実行する。
【００５０】
こうしてステップＳ２０２〜Ｓ２０４の処理を繰り返し実行し、送られてきたすべての画像データについて、それぞれ学習済モデル保持部１５が保持する学習済モデルに基づいて茎数を判定する。
【００５１】
入力された画像データのすべてに対する茎数の判定を終え、他に判定が必要な画像データはないと判断すると（ステップＳ２０４のＮｏ）、画像データと茎数の情報を対応付けるような判定結果データ、例えば複数の画像データに対応する各サムネイル画像中に茎数の数値を重畳した上で、分類したレベルに応じて画像自体を着色して表記するような一覧画像のデータを作成して、判定結果出力部１７により、ネットワークＮＷを介して、一連の画像データを送信してきたユーザのスマートフォンＳＰに対して、判定結果としての茎数の情報とそのレベルとを返答として出力し（ステップＳ２０５）、以上でこの図６の処理を終了する。
【００５２】
また、上述したように、判定結果としてユーザのスマートフォンＳＰに送信する返答としては、複数の画像データから判定した１株当たりのイネの茎数の平均値とそのレベル、さらにはサーバＳＶで蓄積記憶している、ユーザに紐付く圃場の過去のイネの茎数の履歴から、最適な茎数となるまでに何日程度かかると予想されるか等を算出して提示させるようにしても良い。
【００５３】
図７は、上記図５に示した画像データと茎数の情報とを元に、上述した如く画像データ数を大幅に増加させる処理を実行し、そのうちの７０［％］の画像データを用いて学習フェーズにおいて深層学習を実行して学習済モデルを作成した上で、残る３０［％］の画像データを検証用に判定フェーズで判定した結果の一例を示している。
【００５４】
ここでは、上記図５で示したように茎数を複数のレベルに分類してレベル毎の判定結果を評価した場合について例示している。個々の画像データの画像サイズが縦１５３画素×横１５３画素、総学習画像データ数が６３２８枚として、２７１２枚の画像データを判定した結果、茎数レベルの判定の正解率は０．９８３４０７となった。
【００５５】
また図８及び図９は、茎数そのものを学習させて回帰問題として学習結果を検証した場合を例示するもので、図８が「１」番乃至「１２」番までの計１２枚の画像データを示し、図９はその判定結果を示す。
【００５６】
図９に示すように、茎数判定で誤差が±１［本］未満を茎数判定における合格（図中の「○」）とするとともに、上記図５に示した茎数のレベル判定の結果が同一レベル内である場合を合格（図中の「○」）、レベルが異なる場合を不合格（図中の「×」）としている。
【００５７】
図示している如く、二乗平均平方根誤差ＲＭＳＥが１．８２［本］となり、比較的に正確に、茎数及び茎数レベルの判定が行なえていることが検証できた。
【００５８】
なお、上記実施形態では、作物として水稲の画像からその茎数を判定する場合について説明したが、判定対象となる作物については、茎数の判定が必要となるものであれば、イネに限らず、他にも麦類（大麦、小麦、ライ麦等）等であっても同様に適用することが可能となる。
【００５９】
以上詳述した如く本実施形態によれば、対象となる作物の茎の数を手軽、且つ正確に判定することが可能となる。
【００６０】
また本実施形態では、対象となる作物として、栄養成長期と生殖成長期とが明確に分かれている水稲について、生育状態の指標である茎数を判定するものとしたので、近年高齢化が著しいと思われる稲作農家において、経験の少ない若者が新規に参入するための一助となり得る。
【００６１】
さらに本実施形態では、学習フェーズで入力した画像データを、反転、回転、ズーミング等の処理により増大させた上で、入力された茎数の情報とともに深層学習を実行するものとしたので、入力した画像データを有効に活用して学習精度を向上させることができる。
【００６２】
また上記実施形態では、判定した茎数の情報に関し、その平均値とともに複数段階のレベルの１つに分類して提示することで、ユーザ側がより容易に茎数の判定結果を理解できる。
【００６３】
なお、上記実施形態では、携帯通信端末であるスマートフォンＳＰとネットワークＮＷを介して無線接続されたサーバ装置ＳＶにより学習と判定とを行なう場合について説明したが、スマートフォンに内蔵されているプログラム自体により判定を行なうものとしてもよい。
【００６４】
さらに、選定した農家の方に画像と判定結果となる茎数の情報を適時入力して貰い、その正当性を確認した後に、教師データとして学習させても良い。
【００６５】
さらに、水稲の茎数の数え方についてのチュートリアルを上記アプリケーションプログラムにより提示可能としても良い。
【００６６】
その他、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【符号の説明】
【００６７】
１０…茎数レベル判定部
１１…画像データ入力部
１２…茎数情報入力部
１３…学習画像入力部
１４…学習部
１５…学習済モデル保持部
１６…画像入力部
１７…判定結果出力部
ＮＷ…ネットワーク
ＰＤ…水田（圃場）
ＳＰ…スマートフォン
ＳＶ…サーバ装置
【図１】
2020087286.tif 000003
【図２】
2020087286.tif 000004
【図３】
2020087286.tif 000005
【図４】
2020087286.tif 000006
【図５】
2020087286.tif 000007
【図６】
2020087286.tif 000008
【図７】
2020087286.tif 000009
【図８】
2020087286.tif 000010
【図９】
2020087286.tif 000011
【手続補正書】
【提出日】令和2年3月19日(2020.3.19)
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、作物の生育状況を正しく把握するのに好適な作物生育判定システムのサーバ装置、作物生育判定装置、作物生育学習装置、作物生育判定方法及びプログラムに関する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、対象となる作物の茎の数を手軽、且つ正確に判定することが可能な作物生育判定システムのサーバ装置、作物生育判定装置、作物生育学習装置、作物生育判定方法及びプログラムを提供することにある。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明の一態様は、作物生育判定システムのサーバ装置であって、作物の株を撮影した画像情報を複数入力する第１の画像入力部と、上記第１の画像入力部で入力した複数の画像情報それぞれについて当該作物の１株毎の茎数の情報を入力する茎数情報入力部と、上記第１の画像入力部で入力した複数の画像情報と上記茎数情報入力部で入力した当該作物の１株毎の茎数情報とに基づいて、作物の画像と茎数との対応付けの深層学習を行なって学習済モデルを構築する学習部と、茎数の不明な作物の株を撮影した画像情報を入力する第２の画像入力部と、上記第２の画像入力部で入力した画像情報に対し、上記学習部で構築した学習済モデルに基づいて茎数を判定する茎数判定部と、上記茎数判定部で判定した茎数の情報を出力する出力部と、を備える。
【手続補正５】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
作物生育判定システムのサーバ装置であって、
作物の株を撮影した画像情報を複数入力する第１の画像入力部と、
上記第１の画像入力部で入力した複数の画像情報それぞれについて当該作物の１株毎の茎数の情報を入力する茎数情報入力部と、
上記第１の画像入力部で入力した複数の画像情報と上記茎数情報入力部で入力した当該作物の１株毎の茎数情報とに基づいて、作物の画像と茎数との対応付けの深層学習を行なって学習済モデルを構築する学習部と、
茎数の不明な作物の株を撮影した画像情報を入力する第２の画像入力部と、
上記第２の画像入力部で入力した画像情報に対し、上記学習部で構築した学習済モデルに基づいて茎数を判定する茎数判定部と、
上記茎数判定部で判定した茎数の情報を出力する出力部と、
を備える作物生育判定システムのサーバ装置。
【請求項２】
上記第１の画像入力部は、画像情報に植生指標値を用いて作物の株の画像を抽出するマスキング処理を施す、請求項１記載の作物生育判定システムのサーバ装置。
【請求項３】
上記作物は水稲であり、上記学習部は、分げつ期の稈数と水稲の株の画像との対応付けの深層学習を行なう、請求項１または２記載の作物生育判定システムのサーバ装置。
【請求項４】
上記第１の画像入力部は、上記マスキング処理を施した後に、反転、回転、及びズーミングの少なくとも一つにより加工を施した画像情報を生成して、入力する画像情報を増大させる、請求項２記載の作物生育判定システムのサーバ装置。
【請求項５】
上記出力部は、判定した茎数の情報を複数段階のレベルの１つに分類して出力する、請求項１乃至４いずれか記載の作物生育判定システムのサーバ装置。
【請求項６】
作物の株を撮影した複数の画像情報と、複数の画像情報それぞれに対応した当該作物の１株毎の茎数の情報とに基づいて、当該作物の株の画像と茎数との対応付けの深層学習を行なって構築する学習済モデルを有する学習部を備えた作物生育判定装置であって、
茎数の不明な作物の株を撮影した画像情報を入力する画像入力部と、
上記画像入力部で入力した画像情報に対し、上記学習部が有する学習済モデルに基づいて茎数を判定する茎数判定部と、
上記茎数判定部で判定した茎数の情報を出力する出力部と、
を備える作物生育判定装置。
【請求項７】
作物の株を撮影した複数の画像情報と、複数の画像情報それぞれに対応した当該作物の１株毎の茎数の情報とに基づいて、当該作物の株の画像と茎数との対応付けの深層学習を行なって学習済モデルを構築する学習部を備える作物生育学習装置。
【請求項８】
作物の株を撮影した画像情報を複数入力する第１の画像入力工程と、
上記第１の画像入力工程で入力した複数の画像情報それぞれについて当該作物の１株毎の茎数の情報を入力する茎数情報入力工程と、
上記第１の画像入力工程で入力した複数の画像情報と上記茎数情報入力工程で入力した当該作物の１株毎の茎数情報とに基づいて、作物の画像と茎数との対応付けの深層学習を行なって学習済モデルを構築する学習工程と、
茎数の不明な作物の株を撮影した画像情報を入力する第２の画像入力工程と、
上記第２の画像入力工程で入力した画像情報に対し、上記学習工程で構築した学習済モデルに基づいて茎数を判定する茎数判定工程と、
上記茎数判定工程で判定した茎数の情報を出力する出力工程と、
を有する作物生育判定方法。
【請求項９】
コンピュータが実行するプログラムであって、上記コンピュータを、
作物の株を撮影した画像情報を複数入力する第１の画像入力部と、
上記第１の画像入力部で入力した複数の画像情報それぞれについて当該作物の１株毎の茎数の情報を入力する茎数情報入力部と、
上記第１の画像入力部で入力した複数の画像情報と上記茎数情報入力部で入力した当該作物の１株毎の茎数情報とに基づいて、作物の画像と茎数との対応付けの深層学習を行なって学習済モデルを構築する学習部と、
茎数の不明な作物の株を撮影した画像情報を入力する第２の画像入力部と、
上記第２の画像入力部で入力した画像情報に対し、上記学習部で構築した学習済モデルに基づいて茎数を判定する茎数判定部と、
上記茎数判定部で判定した茎数の情報を出力する出力部と、
して機能させるプログラム。
【請求項１０】
作物の株を撮影した複数の画像情報と、複数の画像情報それぞれに対応した当該作物の１株毎の茎数の情報とに基づいて、作物の株の画像と茎数との対応付けの深層学習を行なって構築する学習済モデルを有する学習部を備えた作物生育判定装置のコンピュータが実行するプログラムであって、上記コンピュータを、
茎数の不明な作物の株を撮影した画像情報を入力する画像入力部と、
上記画像入力部で入力した画像情報に対し、上記学習部が有する学習済モデルに基づいて茎数を判定する茎数判定部と、
上記茎数判定部で判定した茎数の情報を出力する出力部と、
して機能させるプログラム。
【請求項１１】
コンピュータが実行するプログラムであって、上記コンピュータを、
作物の株を撮影した複数の画像情報と、複数の画像情報それぞれに対応した当該作物の１株毎の茎数の情報とに基づいて、当該作物の株の画像と茎数との対応付けの深層学習を行なって学習済モデルを構築する学習部として機能させるプログラム。