(57)【要約】【課題】本発明の課題の一つは、農作業機の耕耘作業の成否を画像により適切に判定することにある。【解決手段】農作業機の耕耘作業の成否を判定する判定方法であって、農作業機の耕耘作業時における圃場の画像データを取得し、画像データを白黒の２値の画像データに変換し、変換された白黒の２値の画像データの全体の面積に対する白または黒の画像データの面積の比率に基づき耕耘作業の成否を判定し、変換された白黒の２値の画像データの全体の面積に対する黒の画像データの面積の比率が所定の値以上となると、耕耘作業が適正に行われたと判定してもよく、変換された白黒の２値の画像データの全体の面積に対する白の画像データの面積の比率が所定の値未満となると、耕耘作業が適正に行われたと判定してもよい。【選択図】図４
2020018257.tif 000002
【特許請求の範囲】
【請求項１】
農作業機の耕耘作業の成否を判定する判定方法であって、
前記農作業機の耕耘作業時における圃場の画像データを取得し、
前記画像データを白黒の２値の画像データに変換し、
変換された白黒の２値の画像データの全体の面積に対する白または黒の画像データの面積の比率に基づき耕耘作業の成否を判定する、
判定方法。
【請求項２】
前記変換された白黒の２値の画像データの全体の面積に対する黒の画像データの面積の前記比率が所定の値以上となる、または、前記変換された白黒の２値の画像データの全体の面積に対する白の画像データの面積の前記比率が所定の値未満となると、前記耕耘作業が適正に行われたと判定する、請求項１に記載の判定方法。
【請求項３】
前記変換された白黒の２値の画像データの全体の面積に対する白または黒の画像データの面積の比率は圃場の有機物と土との存在比率によって決定される、請求項１又は請求項２に記載の判定方法。
【請求項４】
前記耕耘作業の成否を判定することに伴い、前記農作業機が有する耕耘爪の交換の要否を判定する、請求項１乃至請求項３の何れか一項に記載の判定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、農作業機における耕耘作業の成否の判定方法に関する。
【背景技術】
【０００２】
従来、圃場の耕耘作業を行う農作業機としてロータリ作業機が知られている。ロータリ作業機は複数の耕耘爪が設けられた耕耘ロータを備える。ロータリ作業機を用いた圃場の耕耘作業は、例えば、ロータリ作業機をトラクタ等の走行機体の後部に装着し、圃場を牽引することにより、耕耘ロータを回転させ、耕耘ロータに設けられた耕耘爪によって土壌を砕土する、土壌を反転する、または、土壌に作物残渣等をすき込む作業である。
【０００３】
農作業機の耕耘作業において、耕耘作業の成否は、土壌を適正に砕土できているか否か、土壌を適正に反転できているか否か、または、土壌に有機物が適正にすき込まれているか否かで判断される。作業者は耕耘作業を行う度に、圃場を直接確認し、土壌を適正に砕土できているか否か、土壌を適正に反転できているか否か、または、土壌に有機物が適正にすき込まれているか否かを判断している。すなわち、耕耘作業の成否は、作業者の目視によって判定されていた。
【０００４】
特許文献１には、農作業機や土工機において、多くのセンサ類を要することなく、複雑な制御を高い精度で安定良く行うため、撮像手段によって撮像された画像を画像処理することによって、作業装置の地面に対する位置、傾斜姿勢を制御することが開示されている。また、特許文献２には、圃場を耕作する乗用型耕耘機等の走行機体を、未作業地と既作業地との境界線に沿って走行させるために、カラー撮像して得られたカラー画像データを２値化し、前記境界線を検出する技術が開示されている。すなわち、作業者の目視ではなく、撮像された画像を画像処理することによって、耕作する圃場の未作業地と既作業地との境界線を検出することが開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−６１０４２号公報
【特許文献２】特開平０２−２４２４０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１においては、撮像手段によって撮像された画像を画像処理することによって、農作業機や土工機の作業装置の地面に対する位置、傾斜姿勢を制御することが目的である。特許文献１に開示されている技術を耕耘装置に用いることで、画像解析によって計測された実耕深に基づき、実耕深を設定耕深に安定維持することは可能であるが、実耕深を設定耕深に安定維持するだけで耕耘作業が適正に行われたか否かを判定すること、すなわち、耕耘作業の成否を判定することは困難である。
【０００７】
また、特許文献２においては、撮像された画像を画像処理することによって、耕作する圃場の未作業地と既作業地との境界線を正確に検出することが目的である。特許文献２に開示されている技術を用いることで、耕作する圃場の未作業地と既作業地との境界線を検出することは可能であるが、境界線を検出しただけで既作業地の耕耘作業が適正に行われたか否かを判定すること、すなわち、耕耘作業の成否を判定することは困難である。
【０００８】
本発明の課題の一つは、農作業機の耕耘作業の成否を画像により適切に判定することにある。
【課題を解決するための手段】
【０００９】
本発明の一実施形態は、農作業機の耕耘作業の成否を判定する判定方法であって、農作業機の耕耘作業時における圃場の画像データを取得し、画像データを白黒の２値の画像データに変換し、白黒の２値の画像データの全体の面積に対する白または黒の画像データの面積の比率に基づき耕耘作業の成否を判定する。
【００１０】
農作業機の耕耘作業の成否を判定する判定方法において、変換された白黒の２値の画像データの全体の面積に対する黒の画像データの面積の比率が所定の値以上となる、または、変換された白黒の２値の画像データの全体の面積に対する白の画像データの面積の比率が所定の値未満となると、耕耘作業が適正に行われたと判定してもよい。
【００１１】
農作業機の耕耘作業の成否を判定する判定方法において、変換された白黒の２値の画像データの全体の面積に対する白または黒の画像データの面積の比率は圃場の有機物と土との存在比率によって決定されてもよい。
【００１２】
農作業機の耕耘作業の成否を判定する判定方法において、耕耘作業の成否を判定することに伴い、農作業機が有する耕耘爪の交換の要否を判定してもよい。
【発明の効果】
【００１３】
本発明によれば、農作業機の耕耘作業の成否を画像により適切に判定することができる。本発明によれば、作業者は耕耘作業の度に圃場を確認する必要がないため、作業者は走行機体の運転に集中することができる。また、作業者は耕耘作業の度に圃場を確認する必要がないため、作業の負担を減らすことができる。さらに、本発明によって、耕耘作業が可能な農作業機の自動運転において、作業不良の防止及び異常動作を検知することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係るロータリ作業機の構成を示す図である。
【図２】本発明の一実施形態に係るロータリ作業機による耕耘作業の様子を示す図である。
【図３】本発明の一実施形態に係る制御機構を示すブロック図である。
【図４】本発明の一実施形態に係る画像処理の手順を示すフローチャートである。
【図５】本発明の一実施形態に係る画像取得装置によって撮像された取得画像のイメージ図、及び、本発明の一実施形態に係る画像処理装置によって演算された画像を複数の領域に分割し、各領域において各領域の面積に対して土を表す黒の領域の面積の比率を算出し、分割した領域及び算出された比率を取得画像上に表示した画像のイメージ図である。
【図６】本発明の一実施形態に係る画像取得装置によって撮像された取得画像、及び、２値化された画像の一例である。
【図７】本発明の一実施形態に係る画像処理装置によって収縮処理された画像、及び、膨張処理されたフィルタ画像の一例である。
【図８】本発明の一実施形態に係る画像処理装置によって取得画像とフィルタ画像とがＡＮＤ演算された画像の一例である。
【図９】本発明の一実施形態に係る画像処理装置によって、演算された画像を複数の領域に分割し、各領域において藁と土との割合を算出し、分割した領域及び算出された割合を取得画像上に表示した画像の一例である。
【発明を実施するための形態】
【００１５】
以下、図面を参照して本発明の判定方法の実施形態について説明する。但し、本発明の判定方法は多くの異なる態様で実施することが可能であり、以下に示す例の記載内容に限定して解釈されるものではない。なお、本実施の形態で参照する図面において、同一部分または同様な機能を有する部分には同一の符号を付し、その繰り返しの説明は省略する。
【００１６】
また、説明の便宜上、上方（上部）または下方（下部）という語句を用いて説明するが、上方（上部）は圃場から垂直に遠ざかる方向を示し、下方（下部）は圃場に向かって垂直に近づく方向を示す。同様に、前方（前側）または後方（後側）という語句を用いて説明するが、前方（前側）は作業機を基準として走行機体が位置する方向を示し、後方（後側）は前方とは１８０°反対の方向を示す。また、左方（左側）は作業機を基準として走行機体が位置する方向に向かったときの左方（左側）を示し、右方（右側）は左方（左側）とは１８０°反対の方向を示す。
【００１７】
［ロータリ作業機の構成］
図１は、本発明の一実施形態に係るロータリ作業機１００の構成を示す図である。具体的には、図１（Ａ）は、本発明の一実施形態に係るロータリ作業機１００を上方から見た構成を示す平面図である。図１（Ｂ）は、本発明の一実施形態に係るロータリ作業機１００を左側方から見た構成を示す側面図である。本発明の一実施形態に係るロータリ作業機１００は、トップマスト１１０、ロアリンク連結部１１５、メインフレーム１２０、ギヤボックス１３０、耕耘ロータ１４０、シールドカバー１５０、エプロン１６０、リアヒッチ１７０、制御装置１８０を含む。なお、図１（Ｂ）及び図２において、トップマスト１１０及びロアリンク連結部１１５に対して、オートヒッチフレーム１０５が連結されている。
【００１８】
トップマスト１１０及びロアリンク連結部１１５は、トラクタ等の走行機体（図示せず）にロータリ作業機１００を装着するための装着部として機能する。本発明の一実施形態に係るロータリ作業機１００において、トップマスト１１０及びロアリンク連結部１１５をまとめてフロントヒッチと呼ぶ場合がある。フロントヒッチは、トップマスト１１０の頂部に設けられた支持部と、ロアリンク連結部１１５の左右両サイドに設けられた２つの支持部とで走行機体と接続される。
【００１９】
トップマスト１１０及びロアリンク連結部１１５は、図示しない走行機体のトップリンク及び左右二箇所に設けられたロアリンク（すなわち、３点リンクヒッチ機構）にそれぞれ連結され、ロータリ作業機１００は走行機体の後部に昇降可能に装着される。なお、本実施形態では、ロータリ作業機１００と走行機体との連結は、前述のオートヒッチフレーム１０５を介して行われる。
【００２０】
入力軸１２４は、ＰＩＣ（Ｐｏｗｅｒ  Ｉｎｐｕｔ  Ｃｏｎｎｅｃｔｉｏｎ）軸とも呼ばれ、ロータリ作業機１００の前方中央部に設けられたギヤボックス１３０に設けられる。入力軸１２４は、走行機体（図示せず）から伝達された動力をロータリ作業機１００に入力する役割を果たす。入力軸１２４は走行機体のＰＴＯ（Ｐｏｗｅｒ  Ｔａｋｅ  Ｏｆｆ）軸とユニバーサルジョイント等で連結され、伝達された動力をギヤボックス１３０に入力する。
【００２１】
メインフレーム１２０は、ロータリ作業機１００の骨格となるフレームであり、ギヤボックス１３０の左右両側に向かって、走行機体の進行方向に対して略直交する方向（左右方向）に延設されている。ギヤボックス１３０とチェーンケース１２２との間に配置されたメインフレーム１２０の内部には、伝動シャフト（図示せず）が内装されている。この伝動シャフトにより、ギヤボックス１３０からチェーンケース１２２内のチェーンに対して耕耘ロータ１４０を回転させるための動力が伝達される。
【００２２】
耕耘ロータ１４０は、回転自在に軸支された爪軸（図示せず）と、爪軸に対して装着手段（フランジやホルダ等）を用いて装着された複数の耕耘爪１４０ａとを有する。入力軸１２４から入力された動力は、ギヤボックス１３０内で変速され、メインフレーム１２０内の伝動シャフト、チェーンケース１２２内のチェーン等を経由して爪軸に伝達され、耕耘ロータ１４０の回転運動へと変換される。これにより、爪軸の回転に伴って爪軸の周囲に配置された複数の耕耘爪１４０ａが一斉に回転し、圃場の土を砕土及び反転させること、圃場の土に有機物をすき込むことができる。
【００２３】
シールドカバー１５０は、メインフレーム１２０に沿って設けられ、耕耘ロータ１４０の上方を覆うように配置される。シールドカバー１５０は、耕耘ロータ１４０によって跳ね上げられた土の上方への飛散を防止する役割を有する。シールドカバー１５０は、カバー部材とも呼ばれる。
【００２４】
エプロン１６０は、耕耘ロータ１４０の後方に配置され、接続部１５５を介してシールドカバー１５０に対して回動可能に接続されている。エプロン１６０は、耕耘ロータ１４０によって跳ね上げられた土の後方への飛散を防止する役割を有するとともに、圃場の整地作業を行う役割も有する。エプロン１６０は、整地部材とも呼ばれる。
【００２５】
リアヒッチ１７０は、ロータリ作業機１００の後方に、さらに他の作業機等を連結する際に使用される装着部である。具体的には、リアヒッチ１７０は、ツールバー１７１、ネジロッド１７２及びハンドル１７３を含み、ハンドル１７３を回転させることにより、ツールバー１７１の高さを調整することが可能である。
【００２６】
制御装置１８０は、ロータリ作業機１００の制御を行うためのコントローラであり、図示しないリモコン装置から信号を受信して、作業者によるリモコン装置への操作指示に従った制御を実行する。また、本発明の一実施形態に係る制御装置１８０は、後述する画像取得装置１９０により取得した信号に基づく所定の信号処理を行う。制御装置１８０及び所定の信号処理の内容については、以下に説明する。
【００２７】
［耕耘作業の成否の判定方法］
図２は、本発明の一実施形態に係るロータリ作業機１００による耕耘作業の様子を示す図である。ロータリ作業機１００は、走行機体により矢印１０の方向に牽引されて圃場３００を走行する。その際、ロータリ作業機１００の耕耘ロータ１４０が回転することにより、複数の耕耘爪１４０ａによって圃場３００が耕耘される。
【００２８】
ここで、本実施形態では、耕耘ロータ１４０における、回転する複数の耕耘爪１４０ａにより形成される空間を回転空間１４０ｂで表す。耕耘ロータ１４０の回転空間１４０ｂは、複数の耕耘爪１４０ａの回転軌跡の最外縁より内側の空間とも言える。
【００２９】
図２に示されるように、ロータリ作業機１００によって耕耘された圃場３００は、その土壌が耕起される。具体的には、耕耘ロータ１４０の前方に位置する土壌３１０ａが、耕耘ロータ１４０の通過に伴い、複数の耕耘爪１４０ａにより砕土、反転される。土壌３１０ａの耕起によって耕耘ロータ１４０の後方に堆積した土塊は、エプロン１６０によって均平化される。このとき、耕耘ロータ１４０の後方に位置する反転した土壌３１０ｂは、細かく砕かれることにより、土塊と土塊との間に空隙が生まれることになるため、反転前の土壌３１０ａよりも体積が増加する。
【００３０】
また、図示は省略するが、圃場３００の表面には有機物が含まれる。耕耘ロータ１４０の前方に位置する土壌３１０ａは、複数の耕耘爪１４０ａにより砕土、反転されることに伴い、有機物が土にすき込まれる。よって、耕耘される前の圃場３００の表面は、土の占める面積が小さく、有機物の占める面積が大きい。また、耕耘された後の圃場３００の表面は、土の占める面積が耕耘される前に比べて比較的大きく、有機物の占める面積が耕耘される前に比べて比較的小さい。
【００３１】
以上のことから、ロータリ作業機１００によって圃場３００が適正に耕耘された場合、圃場３００の表面は土の占める面積が大きいため、圃場３００の表面の色は茶色、褐色、レンガ色などのように暗い色が多くなる。一方、ロータリ作業機１００によって圃場３００が適正に耕耘されない場合、圃場３００の表面は有機物の占める面積が大きいため、圃場３００の表面の色は白っぽい色、黄色、薄茶色、わかば色などのように明るい色が多くなる。したがって、圃場３００の面積に対して土が占める面積の比率、圃場３００の面積に対して有機物が占める面積の比率、または圃場３００において土が占める面積と有機物が占める面積との比率によって、ロータリ作業機１００の耕耘作業の成否を判定することができる。換言すると、有機物と土との存在比率によって、耕耘作業の成否を判定することができる。なお、圃場３００の面積は、圃場３００の全体の面積であってもよいし、一部の面積であってもよい。
【００３２】
本発明の一実施形態において、有機物とは圃場で生育する作物に関連し、例えば、稲、麦などの収穫後に圃場に堆積する藁や株根、豆類、野菜類などの作物残渣などが含まれる。なお、本実施形態においては、一例として、藁を土にすき込む耕耘作業における耕耘作業の成否の判定方法を説明する。
【００３３】
次に、本発明の一実施形態に係るロータリ作業機１００による耕耘作業において、耕耘作業の成否を判定するための制御機構４００について、図３を用いて説明する。
【００３４】
図３は、本発明の一実施形態に係る制御機構４００を示すブロック図である。図３に示されるように、制御機構４００は、画像取得装置１９０、画像処理装置４３０及び判定結果通知装置４９０を含む。画像取得装置１９０は画像処理装置４３０と電気的に接続されている。画像処理装置４３０は判定結果通知装置４９０と電気的に接続されている。各装置が有線によって電気的に接続されることによって、電波の状態に依存することなく各装置間のデータの転送を確実に行うことができる。
【００３５】
なお、図３に示される制御機構４００では、各装置が有線によって電気的に接続された機構を示したが、各装置は一部が有線によって電気的に接続され、残りの一部が無線のネットワークを介して繋がる機構であってもよい。例えば、画像取得装置１９０と画像処理装置４３０とは有線によって電気的に接続され、画像処理装置４３０と判定結果通知装置４９０とは無線のネットワークを介して繋がっていてもよい。画像処理装置４３０と判定結果通知装置４９０とが無線のネットワークを介して繋がる機構では、作業者は判定結果通知装置４９０を持ち運ぶことができる。したがって、ロータリ作業機１００が自動運転で制御され、作業者が圃場３００から離れた位置に居たとしても、ロータリ作業機１００は耕耘作業の成否を作業者に適切に通知することができる。
【００３６】
画像取得装置１９０は、図２に示されるように、支持部材１２１を介してリアヒッチ１７０のツールバー１７１に固定されている。画像取得装置１９０は、圃場３００の表面の耕耘後の画像を取得する装置である。画像取得装置１９０が取得した画像は、画像処理装置４３０に転送される。画像取得装置１９０は、例えば、デジタルスチルカメラ、デジタルビデオカメラ、マルチスペクトルカメラなど、撮像した画像データをデジタル化することが可能なカメラが挙げられる。画像取得装置１９０は、取得したデータを画像に変換することが可能な装置であってもよい。画像取得装置１９０は、例えば、音波センサ、レーザー距離センサ、赤外線距離センサ、超音波センサ、遠赤外線センサ等のセンサを備え、センサによって取得したデータを画像に変換する機能を備えた装置であってもよい。なお、画像取得装置１９０の配置は、図１（Ａ）に示された位置に限定されない。画像取得装置１９０の配置は、圃場３００の表面の画像を取得することが可能な位置であればよい。
【００３７】
画像処理装置４３０は、図示は省略するが、本実施形態においては、制御装置１８０に備えられており、ＡＤ変換回路４３１、増幅回路４３２、中央演算処理回路４３３、第１記憶回路４３４、第２記憶回路４３５及び第３記憶回路４３６を含む。なお、画像処理装置４３０は、走行機体に備えられていてもよいし、画像取得装置１９０に備えられていてもよいし、後述する判定結果通知装置４９０に備えられていてもよい。
【００３８】
画像処理装置４３０は、画像取得装置１９０によって取得された画像を処理する装置であり、画像取得装置１９０によって取得された画像に基づきロータリ作業機１００の耕耘作業の成否を判定し、判定結果を判定結果通知装置４９０に転送する。詳細は後述するが、画像処理装置４３０は、例えば、画像取得装置１９０によって取得された画像を白黒の２値化された画像にする処理、２値化された画像において白の部分を強調する処理、白の領域の面積または黒の領域の面積との面積の比率を算出する処理、及び、取得された画像データまたは処理された画像データの全体の面積に対する白の領域の面積または黒の領域の面積の比率を算出する処理を実行することができる。上述した処理は、画像処理装置４３０に含まれる、ＡＤ変換回路４３１、増幅回路４３２、中央演算処理回路４３３、第１記憶回路４３４、第２記憶回路４３５及び第３記憶回路４３６によって実行される。
【００３９】
なお、本発明の一実施形態に係る画像処理装置４３０は、第１記憶回路４３４、第２記憶回路４３５及び第３記憶回路４３６の３つの記憶回路を有する例を示すが、記憶回路の数はこの例に限定されない。ロータリ作業機１００の大きさ、圃場３００の広さ、画像取得装置１９０の撮像範囲、または、中央演算処理回路４３３が処理するプログラムなどに基づき、後述する画像データの大きさ及び画像処理の処理量が変わるため、作業者は記憶回路の数を適宜選択することができる。また、記憶回路が有する記憶容量を変えてもよい。
【００４０】
ＡＤ変換回路４３１は、例えば、画像取得装置１９０によって取得されたデジタル化された画像データをアナログ化することができる。増幅回路４３２は、例えば、前記アナログ化された画像データの電流または電圧を増幅することができる。増幅回路４３２は、前記アナログ化された画像データの電流または電圧が増幅された画像データを、増幅回路４３２に電気的に接続された回路に適正に転送することができる。中央演算処理回路４３３は、本明細書中の画像処理を実行することができる。第１記憶回路４３４はメモリであって、例えば、画像処理を実行するためのプログラムを格納することができる。第２記憶回路４３５及び第３記憶回路４３６は、例えば、後述する画像処理された画像データを格納することができる。
【００４１】
判定結果通知装置４９０は、耕耘作業の成否の判定結果を作業者に通知する装置であり、本実施形態において図示は省略するが、走行機体内の作業者の座席の近傍に設けられているものとする。なお、判定結果通知装置４９０は、作業者が目視で確認可能な位置に設けられればよい。例えば、走行機体の外側に設けられてもよいし、ロータリ作業機１００に設けられていてもよい。判定結果通知装置４９０は、例えば、液晶表示装置、ＥＬ表示装置である。詳細は後述するが、判定結果通知装置４９０は、前述したような圃場３００の面積に対して土が占める面積の比率、圃場３００の面積に対して藁が占める面積の比率、または、圃場３００において土が占める面積と藁が占める面積との比率による耕耘作業の成否の判定結果を表示することができる。また、判定結果通知装置４９０は、例えば、ブザーなどの音を発する装置、ＬＥＤなどの光を発する発光装置であってもよい。判定結果通知装置４９０が発光装置の場合、圃場３００が適正に耕耘された判定結果を、緑色のＬＥＤを点灯させることによって作業者に通知してもよいし、圃場３００が適正に耕耘されていない判定結果を、赤色のＬＥＤを点灯させることによって作業者に通知してもよい。また、判定結果通知装置４９０は、液晶表示装置、ＥＬ表示装置などの表示装置、ブザーなどの音を発する装置、ＬＥＤなどの光を発する発光装置などのうち、複数の装置を有していてもよい。
【００４２】
なお、耕耘作業が適正であると判定された場合、作業者はロータリ作業機による耕耘作業を継続する。耕耘作業が適正でないと判定された場合、作業者はロータリ作業機による耕耘作業を終了する、または、作業者はロータリ作業機によって耕耘作業が適正でないと判定された圃場において、耕耘作業をやり直す。耕耘作業のやり直しについて説明する。例えば、とある圃場の耕耘作業が一通り終了するまで、取得された画像データ、処理された画像データ及び判定結果を第２記憶回路４３５、または、第３記憶回路４３６に格納し、とある圃場の耕耘作業が一通り終了したのち、格納されていた判定結果を判定結果通知装置４９０に表示し、耕耘作業が適正でないと判定された圃場内の位置から耕耘作業のやり直しが実施されてもよい。また、例えば、とある圃場の耕耘作業が一通り終了するまで、取得された画像データ、処理された画像データ及び判定結果を第２記憶回路４３５、または、第３記憶回路４３６に格納し、とある圃場の耕耘作業が一通り終了したのち、格納されていた判定結果を判定結果通知装置４９０に表示し、耕耘作業が適正でないと判定された圃場内の位置が一カ所でもあれば、とある圃場の全体に対して耕耘作業のやり直しが実施されてもよい。
【００４３】
次に、本発明の一実施形態に係るロータリ作業機１００による耕耘作業において、制御機構４００を用いて耕耘作業の成否を判定する判定方法の例について、図３乃至図５を用いて説明する。なお、図１乃至図３において、上述した説明と同様の説明は、ここでは省略する。
【００４４】
図４は、第１実施形態における画像処理の手順を示すフローチャートである。図５（Ａ）は、本発明の一実施形態に係る画像取得装置１９０によって撮像された取得画像６００のイメージ図である。図５（Ｂ）は、本発明の一実施形態に係る画像処理装置４３０によって演算された画像を複数の領域に分割し、各領域において各領域の面積に対して土を表す黒の領域の面積の比率を算出し、分割した領域及び算出された比率を取得画像６００上に表示した画像１１００のイメージ図である。
【００４５】
図４に示されるように、Ｓ５０１では、まず、圃場３００の表面の画像が画像取得装置１９０によって取得される。ここで、図５（Ａ）に示すように、取得された画像（取得画像６００）は藁６０２及び土６０４を含む。また、取得画像６００はグレー画像である。グレー画像とはグレースケールで表現された画像である。なお、グレー画像において、土の色は黒に近いグレースケールの画像データで表現され、藁は白に近いグレースケールの画像データで表現されるものとする。なお、取得画像は、土の色は白に近いグレースケールの画像データで表現され、藁は黒に近いグレースケールの画像データで表現されるように設定されていてもよい。グレー画像のグレースケールに基づき、統計処理されたグラフが生成される。統計処理されたグラフは、例えばヒストグラムである。ここで、取得画像６００がカラー画像である場合、カラー画像はグレー画像と比較して色に関連するデータが含まれている。そのため、カラー画像はグレー画像と比較してデータの量が多くなる可能性がある。データの量が多くなることに伴い、画像処理装置４３０が画像を処理する量及び時間が増加するため、画像処理装置４３０の回路規模が大きく、また、耕耘作業の成否の判定に要する時間が長くなる可能性がある。したがって、取得画像６００はグレー画像であることが好ましい。
【００４６】
次に、Ｓ５０３では、Ｓ５０１で生成された統計処理されたグラフに基づき閾値が画像処理装置４３０によって算出される。また、算出された閾値に基づき取得画像６００から画像処理装置４３０によって白と黒の２値化された画像（２値化画像）が生成される。閾値の算出の方法は、例えば、画像の２値化処理手法の１つである判別分析法を用いることができる。判別分析法は公知の技術であるから、ここでの詳細な説明は省略する。簡単に説明すると、ヒストグラムにおいて、前述した黒に近いグレースケールの画像データと、白に近いグレースケールの画像データとは、左右に分布する。判別分析法は、前記閾値を、この左右に分布する度合いが大きくなるように決定する方法である。左右に分布する度合いは分離度と呼ばれ、前述した黒に近いグレースケールの画像データと、白に近いグレースケールの画像データとの、それぞれの平均値及び分散に基づき決定される。判別分析法によって、例えば、取得画像６００に含まれる一つの画素が有する画像データ（グレースケール）が、算出された閾値よりも小さい場合、その画像データは黒に分類され、算出された閾値よりも大きい場合、その画像データは白に分類される。
【００４７】
なお、Ｓ５０３において、作業者は取得画像６００と生成された２値化画像とを判定結果通知装置４９０で確認し、２値化画像において黒の画像データが強調されていると判断した場合、算出された閾値を絶対値が大きくなるように設定し直してもよい。同様にして、作業者は２値化画像において白の画像データが強調されていると判断した場合、算出された閾値を絶対値が小さくなるように設定し直してもよい。Ｓ５０３において、処理された画像に基づき、作業者が算出された閾値を設定し直すことによって、耕耘作業の成否の判定を圃場に合わせてより適切に行うことができる。
【００４８】
Ｓ５０５では、Ｓ５０３で生成された２値化画像が、画像処理装置４３０によって収縮処理され、収縮処理された画像が生成される。画像処理における収縮処理は公知の技術であるから、ここでの詳細な説明は省略する。簡単に説明すると、例えば、取得された画像が３行３列の９個の画素を有し、白の画像データを有する中央の画素（２行目の２列目に位置する画素）に注目した場合、中央の画素を取り囲む残りの８個の画素のうち、少なくとも１個の画素が黒の画像データを有するとき、注目した中央の画素は白の画像データから黒の画像データに置き換えられる。すなわち、黒の画像データを有する画素が増えるため、画像が暗くなる。よって、２値化画像が収縮処理されることによって、微小な藁などを表す白の画像データ、及び、藁以外の微小な物質を表す白の画像データを、黒の画像データに置き換えることができる。すなわち、２値化画像が収縮処理されることによって、土を表す黒の画像データが強調される。
【００４９】
Ｓ５０７では、Ｓ５０５で生成された収縮処理された画像が、画像処理装置４３０によって膨張処理され、膨張処理された画像（フィルタ画像）が生成される。画像処理における膨張処理は公知の技術であるから、ここでの詳細な説明は省略する。簡単に説明すると、例えば、取得された画像が３行３列の９個の画素を有し、黒の画像データを有する中央の画素（２行２列の画素）に注目した場合、中央の画素を取り囲む残りの８個の画素のうち、少なくとも１個の画素が白の画像データを有するとき、注目した中央の画素は黒の画像データから白の画像データに置き換えられる。すなわち、白の画像データを有する画素が増えるため、画像が明るくなる。よって、収縮処理された画像が膨張処理されることによって、２値化画像に含まれる白色のノイズを除去し、微小な藁を除外することができる。
【００５０】
Ｓ５０９では、取得画像とＳ５０７で生成されたフィルタ画像とが、画像処理装置４３０によってＡＮＤ演算され、ＡＮＤ処理画像が生成される。取得画像とＳ５０７で生成されたフィルタ画像とが、画像処理装置４３０によってＡＮＤ演算されることによって、藁を表す白の画像データ及び土を表す黒の画像データを強調することができる。
【００５１】
Ｓ５１１について説明する。初めに、ＡＮＤ処理画像を複数の領域に分割する。次に、各領域における藁を表す白の画像データ及び土を表す黒の画像データに基づき、各領域の面積に対して藁を表す白の画像データの面積の比率、または、各領域の面積に対して土を表す黒の画像データの面積の比率を算出する。前記算出された比率から、耕耘作業の成否を判定することができる。具体的には、各領域の面積に対して土を表す黒の画像データの面積の比率と所定の閾値とを比較し、前記比率が所定の閾値以上のとき、圃場３００における耕耘作業が適正であると判定され、前記比率が所定の閾値未満のとき、圃場３００において耕耘作業が適正でないと判定される。また、各領域の面積に対して藁を表す白の画像データの面積の比率と所定の閾値とを比較し、前記比率が所定の閾値未満のとき、圃場３００における耕耘作業が適正であると判定され、前記比率が所定の閾値以上のとき、圃場３００において耕耘作業が適正でないと判定されてもよい。なお、ＡＮＤ処理画像において土が占める面積と藁が占める面積との比率を算出し、耕耘作業の成否を判定してもよい。ＡＮＤ処理画像を複数の領域に分割することによって、より細かい範囲における耕耘作業の成否の判定が可能となる。したがって、ＡＮＤ処理画像を複数の領域に分割することによって、圃場３００における耕耘作業のムラを認識できる。
【００５２】
上述のように、前記算出された比率に基づき、所定の閾値以上（ＹＥＳ）か所定の閾値未満（ＮＯ）かが判定される。Ｓ５１５では、所定の閾値以上（ＹＥＳ）のとき、圃場３００における耕耘作業が適正であることが、判定結果通知装置４９０に転送される。例えば、判定結果通知装置４９０がブザーの場合、ブザーが音を発しないことによって、耕耘作業が適正であることを作業者に通知する。また、判定結果通知装置４９０が表示装置の場合、耕耘作業が適正であることが表示装置に表示されることによって、判定結果が作業者に通知される。Ｓ５１７では、所定の閾値未満（ＮＯ）のとき、圃場３００において耕耘作業が適正でないことが、判定結果通知装置４９０に転送される。例えば、判定結果通知装置４９０がブザーの場合、ブザーが音を発することによって、耕耘作業が適正でないことを作業者に通知する。また、判定結果通知装置４９０が表示装置の場合、耕耘作業が適正でないことが表示装置に表示されることによって、判定結果が作業者に通知される。
【００５３】
ここで、所定の閾値は、例えば、作業者によってあらかじめ７０％に設定される。各領域の面積に対して土を表す黒の画像データの面積の比率が７５％のとき、各領域の面積に対して土を表す黒の画像データの面積の比率は所定の閾値以上である。したがって、圃場３００における耕耘作業が適正であることが、判定結果通知装置４９０に転送され、作業者に通知される。
【００５４】
なお、本発明の一実施形態に係る所定の閾値は、前記算出された比率が作業者によって確認されたのちに、所定の閾値が作業者によって前記算出された比率に基づき設定されてもよい。また、画像処理装置によって前記算出された比率に基づき自動的に設定されてもよい。さらに、過去の統計データを第２記憶回路４３５または第３記憶回路４３６に予め格納しておき、過去の統計データに基づき中央演算処理回路４３３によって自動的に設定されてもよい。また、所定の閾値は、Ｓ５０１において算出された閾値に基づき設定されてもよい。所定の閾値は、気温、湿度、圃場３００の土壌の状態などに基づき適宜選択されればよい。
【００５５】
ここで、Ｓ５１１の一例を、図５（Ｂ）のイメージ図を用いて説明する。図５（Ｂ）に示すような画像１１００（ＡＮＤ処理画像が６行５列の領域に分割された画像）が判定結果通知装置４９０に通知される。一つの領域１１０２が、６行５列の３０個の領域のうちの一つの領域である。各領域の左上に配置されている数字は、各領域の全体の面積に対する土を表す黒の画像データの面積の比率である。例えば、一つの領域１１０２において、前記比率は２５％である。また、前記一つの領域１１０２の両隣の領域において、前記比率はそれぞれ９２％及び８９％である。例えば、所定の閾値が作業者によって７０％と設定された場合、前記一つの領域１１０２は、Ｓ５１１で所定の閾値未満（ＮＯ）であり、Ｓ５１７で圃場３００における耕耘作業が適正でないことが、判定結果通知装置４９０に転送され、作業者に通知される。前記一つの領域１１０２における両隣の領域は、Ｓ５１１で所定の閾値以上（ＹＥＳ）であり、Ｓ５１５で圃場３００において耕耘作業が適正であることが、判定結果通知装置４９０に転送され、作業者に通知される。
【００５６】
なお、Ｓ５１１では、ＡＮＤ処理画像、各領域における藁を表す白の画像データ及び土を表す黒の画像データに基づき、ＡＮＤ処理画像の全体の面積に対して藁を表す白の画像データの面積の比率、または、ＡＮＤ処理画像の全体の面積に対して土を表す黒の画像データの面積の比率を算出することによって、前記算出された比率と所定の閾値とを比較し、耕耘作業の成否を判定してもよい。ＡＮＤ処理画像の全体に対して耕耘作業の成否を判定することによって、ＡＮＤ処理画像の全体の面積に対して平均化された藁を表す白の画像データの面積の比率、または、ＡＮＤ処理画像の全体の面積に対して平均化された土を表す黒の画像データの面積の比率に基づき、耕耘作業の成否の判定が可能となる。
【００５７】
また、本発明の一実施形態において示されたＡＮＤ処理画像を分割する領域の数は、一例であって、ここで示された数に限定されるものではない。また、作物の種類によって、ＡＮＤ処理画像を分割する領域の数を変えることによって、各作物に適した耕作範囲で耕耘作業の成否を判定することができる。
【００５８】
さらに、上述したような処理は、画像処理装置４３０に備えられた中央演算処理回路４３３が第１記憶回路４３４に記憶されたプログラムを読み出して実行される。当該プログラムは、第１記憶回路４３４に予め格納されていてもよいが、有線または無線のネットワークを介してサーバ等からダウンロードして一時的に第１記憶回路４３４に格納されていてもよい。
【００５９】
なお、藁を表す白の画像データを画像処理装置４３０によって白黒反転し、黒の画像データにし、土を表す黒の画像データを画像処理装置４３０によって白黒反転し、白の画像データにし、各領域の面積に対して藁を表す黒の画像データの面積の比率、または、各領域の面積に対して土を表す白の画像データの面積の比率を算出してもよい。このとき、各領域の面積に対して土を表す白の画像データの面積の比率と所定の閾値とを比較し、前記比率が所定の閾値以上のとき、圃場３００における耕耘作業が適正であると判定され、前記比率が所定の閾値未満のとき、圃場３００において耕耘作業が適正でないと判定されてもよい。また、各領域の面積に対して藁を表す黒の画像データの面積の比率と所定の閾値とを比較し、前記比率が所定の閾値未満のとき、圃場３００における耕耘作業が適正であると判定され、前記比率が所定の閾値以上のとき、圃場３００において耕耘作業が適正でないと判定されてもよい。
【００６０】
上述したように、本発明の一実施形態に係る制御機構４００は、画像取得装置１９０によって、直接、圃場３００の耕耘後の画像を取得することができる。そして、取得された耕耘後の画像（取得画像６００）を、画像処理装置４３０で処理することによって、耕耘作業の成否を判定することができる。
【００６１】
［耕耘作業の成否の判定方法の一実施例］
図４に示されたフローチャートに基づき画像処理を実施した例を、図４、図６乃至図９を用いて説明する。なお、本実施例では、画像取得装置１９０はデジタルスチルカメラを用い、判定結果通知装置４９０は表示装置を用いている。
【００６２】
図６（Ａ）は、図４に示されたＳ５０１において、画像取得装置１９０によって撮像された圃場の表面の画像である取得画像６００の一例である。取得画像６００において、黒い領域は概ね土であり、白い領域は概ね藁である。取得画像６００のサイズは、ロータリ作業機１００の大きさ、圃場３００の広さ、または、画像取得装置１９０の撮像範囲などに基づき、作業者が適宜決定することができる。
【００６３】
図６（Ｂ）は、図４に示されたＳ５０３において、画像処理装置４３０によって、取得画像６００が２値化された画像である２値化画像７００の一例である。２値化画像７００は、取得画像６００と比較して、白と黒がはっきりしていることがわかる。
【００６４】
図７（Ａ）は、図４に示されたＳ５０５において、画像処理装置４３０によって、収縮処理された画像８００の一例である。
【００６５】
図７（Ｂ）は、図４に示されたＳ５０７において、画像処理装置４３０によって、膨張処理された画像であるフィルタ画像９００の一例である。収縮処理された画像８００が膨張処理されることによって、２値化画像に含まれる白色のノイズを除去され、微小な藁が除外されていることがわかる。
【００６６】
図８は、図４に示されたＳ５０９において、画像処理装置４３０によって、取得画像６００とフィルタ画像９００とがＡＮＤ演算された画像であるＡＮＤ処理画像１０００の一例である。ＡＮＤ処理画像１０００は、藁を表す白の画像データ及び土を表す黒の画像データが強調されていることがわかる。
【００６７】
図９（Ａ）は、図４に示されたＳ５１１において、画像処理装置４３０によって、ＡＮＤ処理画像１０００を１０行８列の８０個の領域に分割し、各領域の全体の面積に対する土を表す黒の画像データの面積の比率を算出し、分割した領域及び算出された比率を取得画像６００上に表示した画像１１００の一例である。ここで、画像１１００は判定結果通知装置４９０に表示される。一つの領域１１０２が、１０行８列の８０個の領域のうちの一つの領域である。図９（Ｂ）は、４つの領域の拡大図１１０４である。各領域の左上に配置されている数字は、各領域の全体の面積に対する土を表す黒の画像データの面積の比率である。４つの領域の拡大図１１０４においては、左上の領域の前記比率が８１％、右上の領域の前記比率が７９％、左下の領域の前記比率が６０％、右下の領域の前記比率が６３％である。
【００６８】
ここで、例えば、所定の閾値が作業者によって７０％と設定された場合、４つの領域の拡大図１１０４における左上の領域及び右上の領域は、Ｓ５１１で所定の閾値以上（ＹＥＳ）であり、Ｓ５１５で圃場３００における耕耘作業が適正であることが、判定結果通知装置４９０に転送される。そして、判定結果通知装置４９０によって、耕耘作業が適正であることを作業者に通知される。さらに、４つの領域の拡大図１１０４における左下の領域及び右下の領域は、Ｓ５１１で所定の閾値未満（ＮＯ）であり、Ｓ５１７で圃場３００において耕耘作業が適正でないことが、判定結果通知装置４９０に転送される。そして、判定結果通知装置４９０によって、耕耘作業が適正でないことが作業者に通知される。
【００６９】
なお、本明細書等において、耕耘作業の成否、すなわち、耕耘作業の判定結果が判定結果通知装置４９０に通知されるが、それぞれの過程で画像処理された画像が判定結果通知装置４９０に通知されてもよい。例えば、取得画像、２値化画像、収縮処理された画像、フィルタ画像、または、ＡＮＤ処理画像が判定結果通知装置４９０に通知されてもよい。例えば、判定結果通知装置４９０が表示装置の場合、それぞれの過程で画像処理された画像が判定結果通知装置４９０に通知され、表示されることによって、作業者は圃場３００の状態を確認しながら耕耘作業を進めることができる。具体的には、作業者は圃場３００の状態を確認することによって、圃場３００の状態に合わせて所定の閾値を設定することができる。また、作業者が表示装置に表示されたフィルタ画像において、藁を表す白の画像データの面積が大きいと判断すれば、耕耘作業が適正に行われていない可能性があるため、耕耘作業の判定結果の通知よりも前に作業を終了することができる。
【００７０】
また、本発明の一実施形態においては、圃場３００の耕耘作業を行いながら、図４のフローチャートに基づき取得された画像データ、処理された画像データ及び耕耘作業の成否（耕耘作業の判定結果）を第２記憶回路４３５、または、第３記憶回路４３６に格納することができるため、耕耘作業における時間経過に伴う耕耘作業の成否を解析することができる。そして、時間経過に伴う耕耘作業の成否を解析することによって、ロータリ作業機１００の不具合を把握することができる。例えば、時間経過に伴う耕耘作業の成否を解析することによって、ロータリ作業機１００が有する耕耘爪１４０ａの摩耗又は破損の状態を把握することができ、耕耘爪１４０ａの交換の要否を判定することができる。
【００７１】
本発明の一実施形態に係るロータリ作業機１００においては、画像取得装置１９０が一つ備えられた例を示したが、画像取得装置１９０は２つ以上備えられていてもよい。本発明の一実施形態に係るロータリ作業機１００は、画像取得装置１９０を２つ以上備えることによって、より広範囲の画像を取得することができる。ロータリ作業機１００の大きさ、圃場３００の広さ、または、画像取得装置１９０の撮像範囲などに基づき、作業者は画像取得装置１９０を備える数を適宜選択することができる。
【００７２】
なお、本発明の一実施形態に係る制御機構４００は一つの画像取得装置１９０を有し、本発明の一実施形態において、前記一つの画像取得装置１９０はロータリ作業機のリア側に備えられた例について説明したが、前記制御機構４００はもう一つの画像取得装置を有し、前記もう一つの画像取得装置はロータリ作業機のフロント側または走行機体のフロント側に備えられてもよい。ロータリ作業機のフロント側及びリア側のそれぞれに備えられた画像取得装置を用いることによって、耕耘作業前後の圃場の画像を取得し、耕耘作業前後の画像を処理することによって、耕耘作業の成否を判定してもよい。また、制御機構４００が有する画像取得装置をロータリ作業機のフロント側または走行機体のフロント側に備えることによって、圃場の周辺の異常を検知し、判定結果通知装置に通知することによって、作業者に異常を通知することができる。具体的には、画像取得装置によって、耕耘作業中の圃場への、人や生き物の侵入を検知し、作業者に異常を通知することができる。
【００７３】
以上のように、本発明の一実施形態に係るロータリ作業機によって、撮像された圃場の表面の画像に基づき、分割された圃場の面積に対する圃場の土の占める面積との比率、または、分割された圃場の面積に対する藁の占める面積との比率によって、作業者の目視によらずに、耕耘作業の成否を適切に判定することができる。また、作業者が近くに居ない場合、すなわち、ロータリ作業機が自動運転で制御されているような場合においても、分割された圃場の面積に対する圃場の土の占める面積との比率、または、分割された圃場の面積に対する藁の占める面積との比率が所定の値未満であり耕耘作業が適正に行われていないと判定されても、判定結果に基づき、耕耘作業を停止すること、または、耕耘作業を再度行うことも可能である。すなわち、作業不良の防止及び異常動作を検知し、作業を継続するか否かを判定することが可能となる。
【００７４】
以上、本発明について図面を参照しながら説明したが、本発明は上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更することが可能である。
【符号の説明】
【００７５】
１００…ロータリ作業機、１０５…オートヒッチフレーム、１１０…トップマスト、１１５…ロアリンク連結部、１２０…メインフレーム、１２１…支持部材、１２２…チェーンケース、１２３…支持部材、１２４…入力軸、１３０…ギヤボックス、１４０…耕耘ロータ、１４０ａ…耕耘爪、１４０ｂ…回転空間、１５０…シールドカバー、１５５…接続部、１６０…エプロン、１７０…リアヒッチ、１７１…ツールバー、１７２…ネジロッド、１７３…ハンドル、１８０…制御装置、１９０…画像取得装置、３００…圃場、３１０ａ、３１０ｂ…土壌、４００…制御機構、４３０…画像処理装置、４３１…ＡＤ変換回路、４３２…増幅回路、４３３…中央演算処理回路（ＣＰＵ）、４３４…第１記憶回路、４３５…第２記憶回路、４３６…第３記憶回路、４９０…判定結果通知装置、６００…取得画像、６０２…土、６０４…藁、７００…２値化画像、８００…収縮処理された画像、９００…フィルタ画像、１０００…ＡＮＤ処理画像、１１００…画像、１１０２…一つの領域、１１０４…４つの領域の拡大図
【図１】
2020018257.tif 000003
【図２】
2020018257.tif 000004
【図３】
2020018257.tif 000005
【図４】
2020018257.tif 000006
【図５】
2020018257.tif 000007
【図６】
2020018257.tif 000008
【図７】
2020018257.tif 000009
【図８】
2020018257.tif 000010
【図９】
2020018257.tif 000011