(57)【要約】【課題】撮影画像を利用した収穫作業支援において不適切な撮影画像をできるだけ排除できる技術が要望されている。【解決手段】収穫機は、機体位置を算出する機体位置算出部６６と、走行軌跡を算出する走行軌跡算出部６８と、撮影部７０によって継時的に遂次取得された撮影画像における認識対象物が存在する存在領域を推定し、その推定確率を含む認識出力データを出力する画像認識モジュール５と、走行軌跡に基づいて、前回撮影画像における存在領域が次回撮影画像において位置すべき範囲を予測し、次回撮影画像においてこの範囲と重複する存在領域の推定確率と、前回撮影画像における存在領域の推定確率とが、予め定めた許容量以上に相違している場合、次回撮影画像に基づく認識出力データを不適認識出力データとして判定するデータ判定部５４とを備える。【選択図】図４
2019004773.tif 000002
【特許請求の範囲】
【請求項１】
圃場を走行しながら農作物を収穫する収穫機であって、
衛星測位モジュールからの測位データに基づいて機体の地図座標である機体位置を算出する機体位置算出部と、
前記機体位置から前記機体の走行軌跡を算出する走行軌跡算出部と、
前記機体に設けられ、収穫作業時に圃場を撮影する撮影部と、
前記撮影部によって継時的に遂次取得された撮影画像の画像データが入力され、前記撮影画像における認識対象物が存在する存在領域を推定し、前記存在領域および前記存在領域が推定された際の推定確率を含む認識出力データを出力する画像認識モジュールと、
前記走行軌跡に基づいて、前回撮影画像における前記存在領域が次回撮影画像において位置すべき範囲を予測し、前記次回撮影画像において前記範囲と重複する前記存在領域の前記推定確率と、前記前回撮影画像における前記存在領域の前記推定確率とが、予め定めた許容量以上に相違している場合、前記次回撮影画像に基づく前記認識出力データを不適認識出力データとして判定するデータ判定部と、
を備えた収穫機。
【請求項２】
前記不適認識出力データの前記推定確率を、前記不適認識出力データの継時的に前後となる前記認識出力データの前記推定確率に基づいて得られた補間推定確率で置き換えるデータ補正部が備えられている請求項１に記載の収穫機。
【請求項３】
前記認識対象物は、人物、倒伏穀稈、雑草、畦のうちの少なくとも１つである請求項１または２に記載の収穫機。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圃場を走行しながら農作物を収穫し、撮影部によって取得された撮影画像に基づく収穫作業支援が可能な収穫機に関する。
【背景技術】
【０００２】
圃場での収穫機を用いた農作物の収穫作業では、局所的に異なる農作物の生育状態や人物を含む障害物の存在に注意を払う必要がある。このため、例えば、特許文献１によるコンバインでは、刈取部の前方の穀稈を撮影するテレビカメラと画像処理装置とが備えられている。画像処理装置は、テレビカメラからの画像と、予め記憶させておいた種々の穀稈の植立状態を示す画像とを比較して、穀稈の特定の状態を検出する。例えば、刈取部前方の穀稈の一部が倒伏していることを、画像処理装置が検出すると、掻込みリールが穀稈倒伏側を下方にして傾動される。これにより、倒伏穀稈の刈取性能が向上する。また、特許文献１のコンバインと同様にテレビカメラと画像処理装置が備えられている特許文献２によるコンバインでは、刈取部の前方に穀稈が存在しないことが検出された場合に、コンバインが枕地に達したものとみなし、カッターへの動力伝達を遮断してカッターを上昇させ、走行速度を減速させる。これにより、枕地での回行中におけるカッターの畦等への衝突が回避されるとともに、コンバインの枕地の回行がスムーズに行われる。
【０００３】
さらに、特許文献３によるコンバインでは、機体の後方を撮影するカメラを搭載し、その撮影画像から、刈取部によって切断された穀稈の株列が認識される。認識された株列と機体とのずれに基づいて、株列と株列の間の株間を各分草体が通るように、機体の方向制御が行われる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−１５５３４０号公報
【特許文献２】特開平１１−１３７０６２号公報
【特許文献３】特開２００６−１２１９５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１、２、３によるコンバインでは、いずれも、車載カメラによって取得された撮影画像に基づいて得られる検出結果から、走行装置や作業装置が制御されている。しかしながら、圃場を作業走行するコンバインに設けられたカメラによる撮影においては、その撮影画像が不適切なものとなってしまう種々の状況が生じうる。そのような状況として、例えば、圃場の走行面が道路のように平坦でないことから車載カメラに突発的な振動が伝達されること、方向転換を行いながら作業走行することから車載カメラに対する太陽の向き等が頻繁に変動すること、刈取作業等では作業走行時に粉塵が舞い上がること、などが挙げられる。不適切な撮影画像に基づいて作業装置や走行装置を制御すると、その作業走行が不適切なものとなり、満足すべき結果が得られない。
【０００６】
上述した問題を抑制するため、撮影画像を利用した収穫作業支援において不適切な撮影画像をできるだけ排除できる技術が要望されている。
【課題を解決するための手段】
【０００７】
本発明による、圃場を走行しながら農作物を収穫する収穫機は、衛星測位モジュールからの測位データに基づいて機体の地図座標である機体位置を算出する機体位置算出部と、前記機体位置から前記機体の走行軌跡を算出する走行軌跡算出部と、前記機体に設けられ、収穫作業時に圃場を撮影する撮影部と、前記撮影部によって継時的に遂次取得された撮影画像の画像データが入力され、前記撮影画像における認識対象物が存在する存在領域を推定し、前記存在領域および前記存在領域が推定された際の推定確率を含む認識出力データを出力する画像認識モジュールと、前記走行軌跡に基づいて、前回撮影画像における前記存在領域が次回撮影画像において位置すべき範囲を予測し、前記次回撮影画像において前記範囲と重複する前記存在領域の前記推定確率と、前記前回撮影画像における前記存在領域の前記推定確率とが、予め定めた許容量以上に相違している場合、前記次回撮影画像に基づく前記認識出力データを不適認識出力データとして判定するデータ判定部とを備える。
【０００８】
収穫機が作業走行している途中で、前方に認識対象物が現れた場合、通常、当該認識対象物が写されている撮影画像が複数取得される。したがって、このような複数の撮影画像毎に、当該認識対象物の存在領域が推定され、その推定確率を含む認識出力データが出力される。この複数の撮影画像のそれぞれにおいて認識された認識対象物は、それが実質的に静止体である場合、各撮影画像が撮影された機体位置に応じて、つまり走行軌跡に応じて、それぞれの撮影画像において異なる位置に存在することになる。したがって、走行軌跡に基づいて、撮影画像における認識対象物の存在領域が位置すべき範囲は予測できる。このように予測された範囲に認識対象物の存在領域が位置していない場合、あるいは、位置していてもその推定確率が他の撮影画像に基づく推定確率に比べて大きく異なっている場合、その撮影画像が不適切であるとみなされる。また、撮影画像が不適切であれば、当然それに基づいて出力される認識出力データも不適切であるとみなされる。このことから、走行軌跡に基づいて、前回撮影画像における存在領域が次回撮影画像において位置すべき範囲を予測し、次回撮影画像において当該範囲と重複する存在領域の前記推定確率と、前回撮影画像における存在領域の推定確率とが、予め定めた許容量以上に相違している場合、次回撮影画像に基づく認識出力データを不適認識出力データとして判定することは有益である。
【０００９】
本発明の好適な実施形態の１つでは、前記不適認識出力データの前記推定確率を、前記不適認識出力データの継時的に前後となる前記認識出力データの前記推定確率に基づいて得られた補間推定確率で置き換えるデータ補正部が備えられている。この構成では、不適認識出力データと判定された認識出力データの推定確率を、その前後の認識出力データの推定確率で補間補正することにより、不適認識出力データを適正な認識出力データに置き換えて、利用することができる。これは、同一の認識対象物に関する認識出力データの数が少ない場合に、より効果的である。
【００１０】
圃場を走行しながら農作物を収穫する収穫機にとって重要となる認識対象物は、人物、倒伏穀稈、雑草、畦などである。作業走行の障害物となる人物を認識することは、障害物回避制御や障害物警報報知のトリガーとなるため、圃場における安全走行のために重要である。倒伏穀稈や雑草を認識することは、作業制御における倒伏穀稈対策制御や雑草対策制御のとなるため、高品質の収穫作業を行うために重要である。畦を認識することは、圃場の境界線を検出することになり、圃場の枕地走行制御等にとって重要である。
【図面の簡単な説明】
【００１１】
【図１】コンバインの全体側面図である。
【図２】コンバインの制御系を示す機能ブロック図である。
【図３】画像認識モジュールによる認識出力データの生成の流れを模式的に示す説明図である。
【図４】撮像画像から認識対象物位置情報を生成する際のデータの流れを示すデータ流れ図である。
【図５】不適認識出力データを判定するデータ処理を模式的に説明する説明図である。
【図６】認識対象物位置情報の１つとしての雑草位置情報をマップ化することによって得られた雑草マップを示す模式図である。
【発明を実施するための形態】
【００１２】
以下、本発明に係る収穫機の一例としてのコンバインの実施形態を図面に基づいて説明する。この実施形態で、機体１の前後方向を定義するときは、作業状態における機体進行方向に沿って定義する。図１に符号（Ｆ）で示す方向が機体前側、図１に符号（Ｂ）で示す方向が機体後側である。機体１の左右方向を定義するときは、機体進行方向視で見た状態で左右を定義する。
【００１３】
図１に示すように、コンバインでは、左右一対のクローラ走行装置１０を備えた機体１の前部に横軸芯Ｘ周りで昇降操作自在に刈取部２が連結されている。機体１の後部には、機体横幅方向に並ぶ状態で脱穀装置１１と、穀粒を貯留する穀粒タンク１２とが備えられている。機体１の前部右側箇所に搭乗運転部を覆うキャビン１４が備えられ、このキャビン１４の下方に駆動用のエンジン１５が備えられている。
【００１４】
図１に示すように、脱穀装置１１は、刈取部２で刈り取られて後方に搬送されてくる刈取穀稈を内部に受け入れて、穀稈の株元を脱穀フィードチェーン１１１と挟持レール１１２とによって挟持して搬送しながら穂先側を扱胴１１３にて脱穀処理する。そして、扱胴１１３の下方に備えられた選別部にて脱穀処理物に対する穀粒選別処理が実行され、そこで選別された穀粒が穀粒タンク１２へ搬送され、貯留される。また、詳述はしないが、穀粒タンク１２にて貯留される穀粒を外部に排出する穀粒排出装置１３が備えられている。
【００１５】
刈取部２には、倒伏した植立穀稈を引き起こす複数の引き起こし装置２１、引起された植立穀稈の株元を切断するバリカン型の切断装置２２、穀稈搬送装置２３等が備えられている。穀稈搬送装置２３は、株元が切断された縦姿勢の刈取穀稈を徐々に横倒れ姿勢に変更させながら、機体後方側に位置する脱穀装置１１の脱穀フィードチェーン１１１の始端部に向けて搬送する。
【００１６】
穀稈搬送装置２３は、切断装置２２により刈り取られた複数条の刈取穀稈を刈幅方向中央に寄せ集めながら搬送する合流搬送部２３１、寄せ集めた刈取穀稈の株元を挟持して後方に搬送する株元挟持搬送装置２３２、刈取穀稈の穂先側を係止搬送する穂先係止搬送装置２３３、株元挟持搬送装置２３２の終端部から刈取穀稈の株元を脱穀フィードチェーン１１１に向けて案内する供給搬送装置２３４等を備えている。
【００１７】
キャビン１４の天井部の前端に、カラーカメラを備えた撮影部７０が設けられている。この実施形態では、撮影部７０の撮影視野の前後方向の広がりは、刈取部２の前端領域からほぼ地平線に達している。撮影視野の幅方法の広がりは、１０ｍ程度から数十ｍに達している。撮影部７０によって継時的に遂次取得された撮影画像は、画像データ化され、コンバインの制御系に送られる。
【００１８】
撮影部７０は、収穫作業時に圃場を撮影するが、圃場には種々の物体が撮影対象として存在している。コンバインの制御系は、撮影部７０から送られてきた画像データから特定の物体を認識対象物として認識する機能を有する。そのような認識対象物として、図１では、符号Ｚ０で示された正常な植立穀稈群、符号Ｚ１で示された植立穀稈より高く伸びた雑草群、符号Ｚ２で示された倒伏穀稈群、符号Ｚ３で示された人物が模式的に示されている。
【００１９】
キャビン１４の天井部には、衛星測位モジュール８０も設けられている。衛星測位モジュール８０には、ＧＮＳＳ（global navigation satellite system）信号（ＧＰＳ信号を含む）を受信するための衛星用アンテナが含まれている。衛星測位モジュール８０による衛星航法を補完するために、ジャイロ加速度センサや磁気方位センサを組み込んだ慣性航法ユニットが衛星測位モジュール８０に組み込まれている。もちろん、慣性航法ユニットは別の場所に配置できる。図１において、衛星測位モジュール８０は、作図の便宜上、キャビン１４の天井部における後部に配置されているが、例えば、切断装置２２の左右中央部の直上方位置にできるだけ近づくように、天井部の前端部における機体中央側寄りの位置に配置されていると好適である。
【００２０】
図２には、コンバインの制御系の機能ブロック図が示されている。この実施形態の制御系は、多数のＥＣＵと呼ばれる電子制御ユニットと、各種動作機器、センサ群やスイッチ群、それらの間のデータ伝送を行う車載ＬＡＮなどの配線網から構成されている。報知デバイス９１は、運転者等に作業走行状態や種々の警告を報知するためのデバイスであり、ブザー、ランプ、スピーカ、ディスプレイなどである。通信部９２は、このコンバインの制御系が、遠隔地に設置されているクラウドコンピュータシステム１００や携帯通信端末２００との間でデータ交換するために用いられる。携帯通信端末２００は、ここでは、作業走行現場における監視者（運転者も含む）が操作するタブレットコンピュータである。制御ユニット６は、この制御系の中核要素であり、複数のＥＣＵの集合体として示されている。衛星測位モジュール８０からの測位データ、および、撮影部７０からの画像データは、配線網を通じて制御ユニット６に入力される。
【００２１】
制御ユニット６は、入出力インタフェースとして、出力処理部６Ｂと入力処理部６Ａとを備えている。出力処理部６Ｂは、車両走行機器群７Ａおよび作業装置機器群７Ｂと接続している。車両走行機器群７Ａには、車両走行に関する制御機器、例えばエンジン制御機器、変速制御機器、制動制御機器、操舵制御機器などが含まれている。作業装置機器群７Ｂには、刈取部２、脱穀装置１１、穀粒排出装置１３、穀稈搬送装置２３における動力制御機器などが含まれている。
【００２２】
入力処理部６Ａには、走行系検出センサ群８Ａや作業系検出センサ群８Ｂなどが接続されている。走行系検出センサ群８Ａには、エンジン回転数調整具、アクセルペダル、ブレーキペダル、変速操作具などの状態を検出するセンサが含まれている。作業系検出センサ群８Ｂには、刈取部２、脱穀装置１１、穀粒排出装置１３、穀稈搬送装置２３における装置状態および穀稈や穀粒の状態を検出するセンサが含まれている。
【００２３】
制御ユニット６には、作業走行制御モジュール６０、画像認識モジュール５、データ処理モジュール５０、機体位置算出部６６、報知部６７、走行軌跡算出部６８が備えられている。
【００２４】
報知部６７は、制御ユニット６の各機能部からの指令等に基づいて報知データを生成し、報知デバイス９１に与える。機体位置算出部６６は、衛星測位モジュール８０から逐次送られてくる測位データに基づいて、機体１の地図座標（または圃場座標）である機体位置を算出する。走行軌跡算出部６８は、機体位置算出部６６によって算出された継時的な機体位置から機体１の走行軌跡を算出する。さらに、走行軌跡算出部６８は、最新の機体位置と、その時に操舵制御機器による操舵角あるいは目標走行経路とに基づいて、機体１の直ぐ前方の予想走行軌跡を走行軌跡に付加することができる。
【００２５】
この実施形態のコンバインは自動走行（自動操舵）と手動走行（手動操舵）の両方で走行可能である。作業走行制御モジュール６０には、走行制御部６１と作業制御部６２とに加えて、自動作業走行指令部６３および走行経路設定部６４が備えられている。自動操舵で走行する自動走行モードと、手動操舵で走行する手動操舵モードとのいずれかを選択する走行モードスイッチ（非図示）がキャビン１４内に設けられている。この走行モードスイッチを操作することで、手動操舵走行から自動操舵走行への移行、あるいは自動操舵走行から手動操舵走行への移行が可能である。
【００２６】
走行制御部６１は、エンジン制御機能、操舵制御機能、車速制御機能などを有し、車両走行機器群７Ａに走行制御信号を与える。作業制御部６２は、刈取部２、脱穀装置１１、穀粒排出装置１３、穀稈搬送装置２３などの動きを制御するために、作業装置機器群７Ｂに作業制御信号を与える。
【００２７】
手動操舵モードが選択されている場合、運転者による操作に基づいて、走行制御部６１が制御信号を生成し、車両走行機器群７Ａを制御する。自動操舵モードが選択されている場合、自動作業走行指令部６３によって与えられる自動走行指令に基づいて、走行制御部６１は、操舵に関する車両走行機器群７Ａや車速に関する車両走行機器群７Ａを制御する。
【００２８】
走行経路設定部６４は、制御ユニット６、携帯通信端末２００、クラウドコンピュータシステム１００などのいずれかで作成された自動走行のための走行経路を、走行経路をメモリに展開する。メモリに展開された走行経路は、順次自動走行における目標走行経路として用いられる。この走行経路は、手動走行であっても、コンバインが当該走行経路に沿って走行するためのガイダンスのために利用することも可能である。
【００２９】
自動作業走行指令部６３は、より詳しくは、自動操舵指令および車速指令を生成して、走行制御部６１に与える。自動操舵指令は、走行経路設定部６４によって走行経路と、機体位置算出部６６によって算出された自車位置との間の方位ずれおよび位置ずれを解消するように生成される。車速指令は、前もって設定された車速値に基づいて生成される。さらに、自動作業走行指令部６３は、作業制御部６２に、自車位置や自車の走行状態に応じて、作業装置動作指令を与える。
【００３０】
画像認識モジュール５には、撮影部７０によって継時的に遂次取得された撮影画像の画像データが入力される。画像認識モジュール５は、この撮影画像における認識対象物が存在する存在領域を推定し、存在領域および存在領域が推定された際の推定確率を含む認識出力データを、認識結果として出力する。画像認識モジュール５は、深層学習を採用したニューラルネットワーク技術を用いて構築されている。
【００３１】
画像認識モジュール５による認識出力データの生成の流れが、図３および図４に示されている。画像認識モジュール５には、ＲＧＢ画像データの画素値が入力値として入力される。図３の図例では、推定される認証対象物は、雑草と倒伏穀稈と人物である。したがって、認識結果としての認識出力データには、雑草の存在領域(以下、雑草領域と称する)とその推定確率、倒伏穀稈の存在領域(以下、倒伏穀稈領域と称する)とその推定確率、人物の存在領域(以下、人物領域と称する)とその推定確率が含まれる。
【００３２】
図３では、推定結果は模式化されており、雑草領域は符号Ｆ１を付与された矩形の枠で示され、倒伏穀稈領域は符号Ｆ２を付与された矩形の枠で示され、人物領域は符号Ｆ３を付与された矩形の枠で示されている。それぞれの領域には、その推定確率がリンクされる。雑草領域、倒伏穀稈領域、人物領域は、それぞれ４つのコーナ点で規定されるが、そのような各矩形の４つのコーナ点の撮影画像上の座標位置も推定結果に含まれている。もちろん、認証対象物が推定されなければ、認証対象物の存在領域は出力されず、その推定確率はゼロとなる。
【００３３】
画像認識モジュール５から認識出力データとして出力される認識対象物の存在領域および推定確率は、最終的な認識対象物位置情報の生成にとって重要である。しかしながら、圃場を作業走行するコンバインに設けられたカメラによる撮影では、撮影部７０の突発的な揺れ、瞬間的な逆光、撮影部７０の撮影視野内を横切る粉塵、などに起因して、その撮影画像が不適切なものとなる可能性がある。その場合には、不測に低い推定確率を有する認識出力データが出力されてしまう。あるいは、認識対象物が推定できず、推定確率ゼロという認識出力データが出力されてしまう。このため、画像認識モジュール５から出力された認識出力データを処理するデータ処理モジュール５０には、前処理機能として、画像認識モジュール５から出力された認識出力データの信頼度を調べて、信頼できない認識出力データを不適認識出力データと判定する認識出力データ評価機能が備えられている。
【００３４】
この認識出力データ評価機能は、図４に示すように、データ処理モジュール５０のデータ記憶部５３と、データ判定部５４と、データ補正部５５とによって実現される。データ記憶部５３は、画像認識モジュール５から遂次出力された認識出力データを認識出力データ列として一時的かつ経時的に記憶する。データ判定部５４は、走行軌跡算出部６８によって算出される走行軌跡に基づいて、画像認識モジュール５によって推定された前回撮影画像における存在領域が次回撮影画像において位置すべき範囲（以下、予測範囲とも称する）を予測する。さらに、データ判定部５４は、次回撮影画像においてその予測範囲と重複する前記存在領域の推定確率と、前回撮影画像における存在領域の推定確率とを比較する。この比較で、２つの推定確率が。予め定めた許容量以上に相違している場合、次回撮影画像に基づく認識出力データは不適認識出力データとして判定される。あるいは、推定確率が所定値以下（例えば０．５以下）となっている認識出力データを不適認識出力データとして判定する構成を採用してもよい。
【００３５】
この不適認識出力データを判定するデータ処理を、図５を用いて、以下に説明する。なお、この例では、推定される認識対象物が雑草である。
（ステップ０１）撮影部７０で取得された撮影画像から（＃０１ａ）、画像認識モジュール５によって、符号Ｆ１で示された矩形枠で囲まれた雑草領域が認識され、その推定確率が０．７５である（＃０１ｂ）。推定確率が０．７を超えると高信頼度とみなされる。次に、撮影画像での矩形枠の位置と、走行軌跡算出部６８によって算出される走行軌跡とに基づいて、次に取得される撮影画像において雑草領域が位置すべき予想範囲ＰＡが算定される（＃０１ｃ）。
【００３６】
（ステップ０２）次に、撮影部７０で取得された撮影画像から（＃０２ａ）、画像認識モジュール５によって、符号Ｆ１で示された矩形枠で囲まれた雑草領域が認識され、その推定確率が０．８である（＃０２ｂ）。認識された雑草領域は、予想範囲ＰＡと重複している。ここでの矩形枠の位置と、走行軌跡とに基づいて、次に取得される撮影画像において雑草領域が位置すべき予想範囲ＰＡが算定される（＃０２ｃ）。
【００３７】
（ステップ０３）さらに、次の撮影画像に基づいて（＃０３ａ）、画像認識モジュール５による雑草が存在する存在領域の推定が行われるが、その推定確率は０．２である（＃０３ｂ）。このように、推定確率が０．５より低い場合には、雑草領域を示す矩形枠の位置の信頼度も低いものとなる。したがって、ここでの予想範囲ＰＡの算定には、この信頼度の低い認識出力データの矩形枠の位置を用いる代わりに、ステップ０２における矩形枠の位置と、走行軌跡とを用いてほうが望ましい（＃０３ｃ）。
【００３８】
（ステップ０４）さらに、次の撮影画像に基づいて（＃０４ａ）、画像認識モジュール５による雑草が存在する存在領域の推定が行われ、符号Ｆ１で示された矩形枠で囲まれた雑草領域が認識され、その推定確率が０．９である（＃０４ｂ）。認識された雑草領域は、予想範囲ＰＡと重複している。
【００３９】
画像認識モジュール５が、上述したような推定出力データを出力した場合、データ判定部５４は、ステップ０３のおける推定確率が、前回の推定確率である０．８から０．２まで低下しており、その低下量が予め定めた許容量以上（例えば変化率が５０％以上）に相違しているので、ステップ０３のおける推定出力データは、不適認識出力データと判定される。
【００４０】
データ判定部５４が、ステップ０３のおける推定出力データを、不適認識出力データと判定した場合、データ補正部５５は、その前後の適正な認識出力データの推定確率を用いて、不適認識出力データのための補間推定確率を演算する。ここでは、最も簡単な補間演算として、算術平均が用いられており、０．８５の補間推定確率が得られる。得られた補間推定確率で不適認識出力データの推定確率を置き換えることで、当該不適認識出力データは、以後の処理において、適正な認識出力データとして利用することができる。
【００４１】
上述したように、この実施形態では認識出力データの数が少ない場合に、不適認識出力データと判定された認識出力データの推定確率を、その前後の認識出力データの推定確率で補間補正することができる。これにより、当該不適認識出力データは適切に補正されたことになって、利用可能となり、データ数が確保されるという利点が得られる。もちろん、不適認識出力データと判定された認識出力データを破棄する場合には、補間補正が不要になるので、データ補正部５５は省略される。
【００４２】
この実施形態のデータ処理モジュール５０は、さらに、上述した認識出力データ評価機能によって評価された認識出力データから認識対象物位置情報を生成する機能も有する。この機能は、データ処理モジュール５０の認識対象物位置情報生成部５１と統計処理部５２とによって、実現される。
【００４３】
認識対象物位置情報とは、認識対象物の地図上の位置を示す情報であり、認識対象物位置情報生成部５１、撮影画像が取得された時点の機体位置と認識出力データとから生成する。認識出力データに含まれている認識対象物（雑草、倒伏穀稈、人物）が存在する地図上の位置は、認証対象物の存在領域（雑草領域、倒伏穀稈領域、人物領域）を示す矩形の４つのコーナ点の撮影画像上の座標位置（カメラ座標位置）を、地図上の座標に変換することで得られる。
【００４４】
撮影部７０は、所定時間間隔、例えば０．５秒間隔で撮影画像を取得し、その画像データを画像認識モジュール５に入力するので、画像認識モジュール５も、同じ時間間隔で、認識出力データを出力する。したがって、撮影部７０の撮影視野に認識対象物が入っていた場合には、複数の認識出力データが同一の認識対象物に対する存在領域を含むことになる。その結果、同一の認識対象物に対する複数の認識対象物位置情報が得られる。その際、各元データである認識出力データに含まれている推定確率、つまり認識対象物位置情報に含まれる認識対象物の存在領域の推定確率は、撮影部７０と認識対象物との間の位置関係が相違することから、違う値となることが多い。
【００４５】
したがって、この実施形態では、図４に示すように、そのような複数の認識対象物位置情報が記憶され、記憶された複数の認識対象物位置情報のそれぞれに含まれる推定確率が統計的演算される。統計処理部５２は、複数の認識対象物位置情報の推定確率に対する統計的な演算を用いて、推定確率群の代表値を求める。その代表値を用いて、複数の認識対象物位置情報を、１つの最適認識対象物位置情報（認識対象物補正位置情報）に補正することができる。そのような補正の一例は、各推定確率の算術平均値または重み平均値あるいは中間値を基準値（代表値）として求め、その基準値以上の推定確率を有する存在領域の論理和を求め、それを最適存在領域とする補正認識対象物位置情報を生成することである。もちろん、これ以外の統計的演算を用いて信頼性の高い１つの認識対象物位置情報を生成することも可能である。つまり、複数の認識対象物位置情報が、当該認識対象物位置情報に対応する認識出力データに含まれている推定確率の統計的演算の結果に基づいて補正されるのである。
【００４６】
このようにして求められた認証対象物の存在領域（雑草領域、倒伏穀稈領域、人物領域）の地図上の位置を示す認識対象物位置情報（雑草位置情報、倒伏穀稈位置情報、人物位置情報）を用いることで、雑草、倒伏穀稈、人物の認識時において、それぞれ予め設定された走行作業制御や警告報知が行われる。
【００４７】
なお、認識対象物位置情報生成部５１で生成された各認識対象物位置情報は、視覚的に分かりやすい表示のために、図６に示すようなマップ化が可能である。図６では、雑草位置情報をマップ化した雑草マップが例示されている。雑草位置情報において推定確率が相違する雑草存在領域が含まれている場合、図６に示すように、推定確率値の所定範囲でパターン分けされた形態で雑草存在領域を表示することも可能である。
【００４８】
なお、上記実施形態（別実施形態を含む、以下同じ）で開示される構成は、矛盾が生じない限り、他の実施形態で開示される構成と組み合わせて適用することが可能であり、また、本明細書において開示された実施形態は例示であって、本発明の実施形態はこれに限定されず、本発明の目的を逸脱しない範囲内で適宜改変することが可能である。
【００４９】
〔別実施の形態〕
（１）上述した実施形態では、画像認識モジュール５は、深層学習タイプのニューラルネットワーク技術を用いて構築されている。これに代えて、その他の機械学習技術を用いて構築された画像認識モジュール５が採用されてもよい。
（２）上述した実施形態では、画像認識モジュール５やデータ処理モジュール５０は、コンバインの制御ユニット６に組み込まれていたが、その一部または全部は、コンバインから独立した制御ユニット、例えば、携帯通信端末２００などに構築可能である。
（３）図２および図４で示された各機能部は、主に説明目的で区分けされている。実際には、各機能部は他の機能部と統合してもよいし、またはさらに複数の機能部に分けてもよい。
【産業上の利用可能性】
【００５０】
本発明は、圃場を撮影する機能と機体位置を算出する機能とを有する収穫機であれば、稲や小麦等を収穫するコンバインだけでなく、トウモロコシなど他の農作物を収穫するコンバインや、ニンジンなどを収穫する収穫機にも適用可能である。
【符号の説明】
【００５１】
１      ：機体
２      ：刈取部
５      ：画像認識モジュール
５０    ：データ処理モジュール
５１    ：認識対象物位置情報生成部
５２    ：統計処理部
５３    ：データ記憶部
５４    ：データ判定部
５５    ：データ補正部
６      ：制御ユニット
６０    ：作業走行制御モジュール
６１    ：走行制御部
６２    ：作業制御部
６６    ：機体位置算出部
６８    ：走行軌跡算出部
７０    ：撮影部
８０    ：衛星測位モジュール
【図１】
2019004773.tif 000003
【図２】
2019004773.tif 000004
【図３】
2019004773.tif 000005
【図４】
2019004773.tif 000006
【図５】
2019004773.tif 000007
【図６】
2019004773.tif 000008