(57)【要約】      （修正有）【課題】安定的な収穫を可能とする主茎の形状推定方法を提供する。【解決手段】撮像装置が取得した撮像画像を解析して、撮像画像内において主茎の画像である主茎画像を抽出するステップと、撮像画像内で撮像画像の外縁の近傍に設定された外縁近傍領域内に位置する主茎画像の一部である外縁近傍部を抽出するステップと、外縁近傍部の傾きを推定し、その傾きに基づいて、撮像画像外における主径の形状を推定するステップと、を有する。【選択図】図６
2020000170.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置が取得した撮像画像を解析して、前記撮像画像内において主茎の画像である主茎画像を抽出するステップと、
前記撮像画像内で前記撮像画像の外縁の近傍に設定された外縁近傍領域内に位置する前記主茎画像の一部である外縁近傍部を抽出するステップと、
前記外縁近傍部の傾きを推定し、前記傾きに基づいて、前記撮像画像外における前記主径の形状を推定するステップと、を有する
主茎の形状推定方法。
【請求項２】
前記主茎画像を細線化するステップをさらに有し、
細線化された前記主茎画像を構成する画素の内、前記外縁に最も近い画素を第一基準画素とし、
前記外縁近傍領域は、前記第一基準画素を中心とした所定長さの半径の円と前記外縁とで取り囲まれる領域である
請求項１記載の主茎の形状推定方法。
【請求項３】
前記所定長さは、前記主茎に形成される節の植生方向の長さの標準値よりも短い長さである
請求項２記載の主茎の形状推定方法。
【請求項４】
細線化された前記主茎画像を構成する画素の内、前記円上に位置する画素を第二基準画素とし、前記第二基準画素と前記第一基準画素とを結んだ線の傾きを、前記外縁近傍部の傾きと推定し、
前記第一基準画素から前記傾きで前記撮像画像外へと延在する直線を、前記撮像画像外における前記主径の形状と推定する
請求項２又は３記載の主茎の形状推定方法。
【請求項５】
細線化される前の前記主茎画像の前記外縁近傍部を構成する画素の分布に対し、又は、細線化された前記主茎画像の前記外縁近傍部を構成する画素の分布に対し、主成分分析を行って、前記傾きを推定し、
細線化された前記主茎画像を構成する画素の内、前記第一基準画素から、前記傾きで前記撮像画像外へと延在する直線を、前記撮像画像外における前記主径の形状と推定する
請求項２又は３記載の主茎の形状推定方法。
【請求項６】
請求項１〜５の何れか一項記載の主茎の形状推定方法により推定された前記撮像画像外における前記主径の形状に基づいて、果実を収穫するための作業アームの移動経路を設定する
作業アームの移動経路の設定方法。
【請求項７】
果実を収穫するための作業アームと、
撮像装置と、
前記作業アームの動作を制御する制御部と、を備え、
前記制御部は、
前記撮像装置が取得した撮像画像を解析して、前記撮像画像内において主茎の画像である主茎画像を抽出し、
前記撮像画像内で前記撮像画像の外縁の近傍に設定された外縁近傍領域内に位置する前記主茎画像の一部である外縁近傍部を抽出し、
前記外縁近傍部の傾きを推定し、前記傾きに基づいて、前記撮像画像外における前記主径の形状を推定し、
推定された前記撮像画像外における前記主径の形状に基づいて、前記果実を収穫するための作業アームの移動経路を設定する
収穫装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、果実周囲に植生している主茎の形状を推定する主茎の形状推定方法及び作業アームの移動経路の設定方法に関する。
【背景技術】
【０００２】
日本の農業を取り巻く環境は、農業従事者の高齢化が進んでいることによる労働力不足の影響で、非常に厳しい状況にある。農林水産省の基本データによると、基幹的農業従事者は、２０１４年において１６８万人であり、５年間で約２３万人の減少となっている。また、農業従事者の平均年齢が６６．５歳であり、新規就農者も減少傾向と、高齢化による労働力不足が浮き彫りになる数字となっている。このことにより、耕作放棄地も４０万ｈａに達する状況であり、地域の営農環境や生活環境にも悪影響を与える状況である。
【０００３】
そのような中、農業の自動化による労働力不足への対応は重要な課題である。経済産業省の「２０１２年ロボット産業の市場動向」によれば、２０１８年から２０２４年にかけて農業関連ロボット国内市場は大きく伸び、約２２００億円の規模になると予想されている。果実を対象にした収穫ロボットに関する技術としては、イメージセンサにより、果実と同時にその周囲の植生環境を撮像し、撮像画像から果実だけでなく、主茎といった収穫する際に障害物になる対象を検出し、それらの位置情報を詳細に把握することで、収穫したい果実にアクセスする際のアームの移動経路（以下「アーム経路」という）を決定する技術がある。（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２０７１１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記従来技術では、アーム経路を決定する際にイメージセンサが撮影した画像を用いて主茎の検出と主茎の位置との把握を行っているが、イメージセンサの画像に収まらない領域の情報は何も考慮してされていない。そのため、決定しうるアーム経路がイメージセンサの画像内に限定されてしまう。また、イメージセンサの画像外をアーム経路とする場合、そこに把握していなかった主茎が存在すると、アームと主茎とが接触してしまう。これにより、アームやアームの先端に取り付けられたエンドエフェクタを破損させたり、主茎を傷つけたりして、安定的な収穫を行えないおそれがある。
【０００６】
本発明は、上記課題を解決するものであり、安定的な収穫を可能とした主茎の形状推定方法、作業アームの移動経路の設定方法及び収穫装置の提供を目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の主茎の形状推定方法は、撮像装置が取得した撮像画像を解析して、前記撮像画像内において主茎の画像である主茎画像を抽出するステップと、前記撮像画像内で前記撮像画像の外縁の近傍に設定された外縁近傍領域内に位置する前記主茎画像の一部である外縁近傍部を抽出するステップと、前記外縁近傍部の傾きを推定し、前記傾きに基づいて、前記撮像画像外における前記主径の形状を推定するステップと、を有する。
【０００８】
上記目的を達成するために、本発明の作業アームの移動経路の設定方法は、前記主茎の形状推定方法により推定された前記撮像画像外における前記主径の形状に基づいて、果実を収穫するための作業アームの移動経路を設定する。
【０００９】
上記目的を達成するために、本発明の収穫装置は、果実を収穫するための作業アームと、撮像装置と、前記作業アームの動作を制御する制御部と、を備え、前記制御部は、前記撮像装置が取得した撮像画像を解析して、前記撮像画像内において主茎の画像である主茎画像を抽出し、前記撮像画像内で前記撮像画像の外縁の近傍に設定された外縁近傍領域内に位置する前記主茎画像の一部である外縁近傍部を抽出し、前記外縁近傍部の傾きを推定し、前記傾きに基づいて、前記撮像画像外における前記主径の形状を推定し、推定された前記撮像画像外における前記主径の形状に基づいて、前記果実を収穫するための作業アームの移動経路を設定する。
【発明の効果】
【００１０】
本発明によれば、安定的な収穫を可能とすることができる。
【図面の簡単な説明】
【００１１】
【図１】本実施の形態における収穫ロボットの構成を示した模式的な側面図
【図２】果実（ミニトマト）の植生環境を示した図
【図３】本実施の形態における収穫手順の一例を説明するためのフローチャート
【図４】本実施の形態における主茎検出の処理の一例を説明するためのフローチャート
【図５Ａ】本実施の形態における主茎画像を抽出するための画像処理を説明するための図
【図５Ｂ】本実施の形態における主茎画像を抽出するための画像処理を説明するための図
【図５Ｃ】本実施の形態における主茎画像を抽出するための画像処理を説明するための図
【図６】本実施の形態における主茎の形状推定の処理の一例を説明するためのフローチャート
【図７Ａ】は本実施の形態における主茎の２値化画像の画像処理を説明するための図
【図７Ｂ】は本実施の形態における主茎の２値化画像の画像処理を説明するための図
【図７Ｃ】は本実施の形態における主茎の２値化画像の画像処理を説明するための図
【図８】本実施の形態における画像左右最近傍画素の探索の様子を説明するための図
【図９】本実施の形態における内側主茎線画素の検出の様子を説明するための図
【図１０】本実施の形態における画像の外領域の主茎を推定した様子を説明するための図
【図１１】本実施の形態における画像の外領域の主茎を推定する領域の考え方について説明するための図
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態ついて、図面を参照しながら説明する。以下に示す実施の形態はあくまでも例示に過ぎず、以下の実施の形態で明示しない種々の変形や技術の適用を排除するものではない。また、実施の形態の各構成は、それらの趣旨を逸脱しない範囲で種々変形して実施することができる。さらに、実施の形態の各構成は、必要に応じて取捨選択することができ、あるいは適宜組み合わせることができる。
【００１３】
なお、実施の形態を説明するための全図において、同一要素は原則として同一の符号を付し、その説明を省略することもある。
【００１４】
１）トマトの植生環境
本実施形態では、トマトを収穫対象として、本発明の主茎の形状推定方法を、トマトの主茎の形状の推定に適用した例を説明する。そこで、まず、本実施の形態における主茎の形状推定方法の理解を助けるために、収穫対象であるトマトの植生環境について説明する。
【００１５】
収穫対象であるミニトマトの植生環境について図２を用いて説明する。図２は、ミニトマトの植生環境を示した図（画像）である。
【００１６】
ミニトマトの果実１００は、図２に示されるように、ぶどうのように房状になっている。それらのミニトマトの果実１００の塊（房）は、果梗１０１と言われる細い茎を中心に構成されている。果梗１０１は主茎１０２と呼ばれる太い茎とつながっている。主茎１０２から果実１００までの果梗１０１の長さは通常それほど長くはないため、果実１００の周囲に主茎１０２が存在する確率は高い。よって、果実１００を収穫する際に障害物となり得る主茎１０２の形状や位置の把握は、収穫ロボット１（収穫装置）において必須の機能となる。
【００１７】
２）収穫ロボットの構成
以下、図１を参照して本実施の形態の収穫ロボット１の構成を説明する。図１は、本実施の形態の収穫ロボット１の構成を示した模式的な側面図である。
【００１８】
収穫ロボット１は、走行部１０と、作業アーム（以下「アーム」ともいう）２０と、エンドエフェクタ３０と、イメージセンサ４０（撮像装置）と、駆動源（動力源）５０と、制御部６０とを含む。
【００１９】
エンドエフェクタ３０は、アーム２０の先端に搭載されており、イメージセンサ４０は収穫ロボット１の前後方向における略中央部に位置している。
【００２０】
走行部１０は、収穫ロボット１を移動させるための機能を有している。走行部１０を備えるので、収穫ロボット１は、農園において、果実１００を栽培するための畝と畝の間を走行することが可能である。走行部１０は、車輪、モータ、モータドライバ、シャフト等の部品で構成される。
【００２１】
アーム２０は、根本部分（基部）の上下方向の位置を制御する１つの制御軸（以下「上下方向用制御軸」という）と、アーム先端の水平方向の位置を制御するための３つの制御軸（以下「水平方向用制御軸」という）とを有している。上下方向用制御軸には、アーム２０全体を直線的に移動させる直動ステージが使用される。水平方向用制御軸は２軸あれば収穫作業において、アーム２０に最低限の機能を持たすことは可能だが、収穫方法や主茎１０２を含む周囲の障害物環境を考慮して、１軸冗長化させている。なお、水平方向用制御軸が４軸以上あってもよい。各制御軸はモータによって制御される。モータは、例えば、ステッピングモータやサーボモータである。
【００２２】
エンドエフェクタ３０は、果梗１０１から果実１００を切り離す機能を有している。収穫の際は、アーム２０の先端を移動させてエンドエフェクタ３０を果実１００に近接させて収穫を行う。
【００２３】
イメージセンサ４０は、果実１００の検出や果実１００の周囲の環境を認識するために使用される。イメージセンサ４０は、ＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ，Ｂｌｕｅ）カラー画像と、ＩＲ（ＩｎｆｒａＲｅｄ）画像と、被写体との距離を表した深度画像とを取得する機能を有しているＴＯＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）カメラである。
【００２４】
イメージセンサ４０は、内部に赤外光を照射する赤外光源を有しており、撮像する際に略同時に赤外光を照射している。従って、イメージセンサ４０が取得するＩＲ画像（撮像画像）と深度画像とは、イメージセンサ４０の内部に搭載された赤外光源から照射された赤外光の反射光を受け取ることで撮像される。
【００２５】
また、イメージセンサ４０のＲＧＢカラー画像は、図示しない白色光源の反射光を用いて撮像される。この白色光源はイメージセンサ４０の内部に搭載された赤外光源と同様のタイミングで発光し、白色光を照射する。なお、この白色光源はイメージセンサ４０に搭載されていてもよいし、イメージセンサ４０の外部に別部品として収穫ロボット１に搭載されていてもよい。
【００２６】
白色光源をイメージセンサ４０とは別部品する場合は、イメージセンサ４０が取得するＲＧＢカラー画像の水平方向の光量の偏りをなくすため、白色光源は、イメージセンサ４０の上部または下部に搭載されることが望ましい。
【００２７】
この白色光源は、例えば、白色のＬＥＤライトである。
【００２８】
イメージセンサ４０は、収穫ロボット１が畝間を走行する際に、果実１００やその周囲環境の画像情報を取得する。このため、イメージセンサ４０は、収穫ロボット１の走行方向に対して垂直な水平方向（すなわち左右方向）に位置する果実１００やその周囲環境の画像を撮像できるよう、収穫ロボット１に搭載されている。
【００２９】
なお、収穫ロボット１は、畝間を走行する際に、往路、復路でそれぞれ別方向の畝の果実１００を収穫することが一般的である。従って、イメージセンサ４０は収穫ロボット１の左右それぞれの方向の画像を取得できるよう搭載されることが望ましい。例えば、イメージセンサ４０は、１８０度回転が可能な回転ステージなどを介して収穫ロボット１に固定されることが考えられる。
【００３０】
また、イメージセンサ４０は、果実１００を撮像できる高さに位置調整できるように、上下方向に移動可能なステージのような上下方向移動機構に固定されていることが望ましい。この上下方向移動機構は、例えば直動ステージである。また、イメージセンサ４０は、前述の上下方向移動機構に直接固定されていてもよいし、前述した回転ステージなどの回転機構、または別の板金等の部品を介して上下方向移動機構に固定されていてもよい。
【００３１】
駆動源５０は、収穫ロボット１の各機器に対して電力を供給する部品（動力源）である。駆動源５０は、例えば、鉛蓄電池やリチウムイオン電池である。その他、駆動源５０は、周囲の環境から独立している必要はない（収穫ロボット１に搭載されている必要はない）。したがって、環境に設置されている外部の電源から収穫ロボット１に有線で電力を供給する構成でもよい。
【００３２】
制御部６０は、収穫ロボット１の制御を行う。制御部６０は、主に、収穫ロボット１の走行制御や収穫動作を決定する制御端末と、アーム２０を稼働させるための各種モータを制御するモーションコントローラやＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｃｏｎｔｒｏｌｌｅｒ）とを備える。また、制御部６０は、後述の主茎１０２の形状の推定や、先端のエンドエフェクタ３０を果実１００にアクセスさせるまでのアームの移動経路（以下「アーム経路」という）の設定を行う。
【００３３】
３）収穫の手順
次に、収穫ロボット１による収穫の手順について、図３を用いて説明する。図３は、本実施の形態における収穫までの手順の一例を説明するためのフローチャートである。
【００３４】
収穫ロボット１の制御部６０は、最初に、ステップＳ１において、果実１００の収穫を予定している方向（収穫方向）に向けて白色光源及び赤外光源をそれぞれ発光させ、収穫方向に白色光と赤外光とを照射する。
【００３５】
次に、制御部６０は、ステップＳ２において、イメージセンサ４０による、ＲＧＢカラー画像と、ＩＲ画像と、深度画像とをそれぞれ取得する。
【００３６】
次に、制御部６０は、ステップＳ３において、ＩＲ画像に画像処理を行い、画像内に存在する果実１００を検出する。果実１００の検出は、例えば、略回転楕円体形状の果実１００の表面に、赤外光源により赤外光を照射すると、この赤外光が、果実１００の表面の略中央部で強く反射することを利用して行われる。すなわち、当該表面の略中央部に強く光る輝点が発生するので、制御部６０は、この輝点を検出することで、果実１００の検出を行う。また、制御部６０は、深度画像を用いて、検出した果実１００と同じ座標の画素の値から、果実１００までの距離を判断する。
【００３７】
次に、制御部６０は、ステップＳ４において、ＩＲ画像の画像処理を行い、果実１００が結実している果梗１０１を検出する。果梗１０１も果実１００と同様に赤外光を強く反射する特性を有している。そこで、制御部６０は、ステップＳ３で求めた果実１００の存在する画像領域以外で、線状に発光する画像領域があれば、この画像領域の中で、細い領域を果梗１０１として判断する。線状で細い領域とは、例えば、１〜１０ｍｍ程度の太さでかつ線状の領域である。
【００３８】
次に、ステップＳ５で、制御部６０は主茎１０２を検出する。この主茎１０２の検出については後述する。
【００３９】
次に、ステップＳ５ａにおいて、ステップＳ５で主茎１０２が検出されたか否かが判定される。
【００４０】
ステップＳ５ａで主茎１０２が検出されたと判定された場合は、制御部６０は、ステップＳ８で主茎１０２の形状推定を行った後、ステップＳ６においてアーム経路を算出する。なお、ステップＳ８で行われる主茎１０２の形状推定の詳細については後述する。
【００４１】
ステップＳ５ａで主茎１０２が検出されなかったと判定された場合は、ステップＳ８はバイパスされて主茎１０２の形状推定は行われず、ステップＳ６の処理（アーム経路の算出）が行われる。
【００４２】
次に、ステップＳ６ａにおいて、ステップＳ６で算出されたアーム経路上に主茎１０２が存在するか否かが判定される。
【００４３】
ステップＳ６ａで、アーム経路上に主茎１０２が存在しないと判定された場合は、ステップＳ７で、制御部６０は、アーム２０とエンドエフェクタ３０とを用いて果実１００を収穫するための動作（収穫動作）を行う。その一方、ステップＳ６ａで、アーム経路上に主茎１０２が存在すると判定された場合は、ステップＳ９に進み、主茎１０２が果実１００の収穫の障害になるため、制御部６０は収穫動作を行わない。
【００４４】
ステップＳ３で複数の果実１００が検出されていた場合において、その中でアーム経路算出が実施されていない果実１００が存在する場合には、次のアーム経路算出が実施されていない果実１００についてステップＳ６以降が繰り返される。ステップＳ３で検出された果実１００の全てに対してステップＳ６以降の処理が行われた後、収穫ロボット１は画像内の房に対する収穫作業を終了する。
【００４５】
４）主茎検出処理
次に、収穫ロボット１の制御部６０が行う主茎検出処理（図３のステップＳ５）について図４，図５Ａ，図５Ｂ及び図５Ｃを用いて詳細に説明する。図４は本実施の形態における主茎検出の処理（ステップＳ５）の一例を説明するためのフローチャートである。図５Ａ〜図５Ｃは本実施の形態における主茎検出するための画像処理を説明するための図である。図５Ａは、イメージセンサ４０によって取得したＩＲ画像（以下「元ＩＲ画像」という）である。図５Ｂ及び図５Ｃは元ＩＲ画像にそれぞれ画像処理を施した画像である。
【００４６】
図４に示すように、主茎検出の処理（図３のステップＳ５）では、先ずステップＳ５１の処理が行われる。具体的には、図５Ａに示される元ＩＲ画像から、ステップＳ３（図３参照）で検出された果実１００の画像１００Ａと、ステップＳ４（図３参照）で検出された果梗１０１の画像１０１Ａとを、消去する処理が行われる。この処理により図５Ｂに示されるＩＲ画像が得られ、このＩＲ画像では、イメージセンサ４０から比較的近い距離にある主茎１０２の画像１０２Ａ（以下「主茎画像１０２Ａ」という）の画素値のみが高い状態となる。
【００４７】
次にステップＳ５２の処理が行われる。具体的には、ステップＳ５１で処理されたＩＲ画像から、画素値が予め設定された閾値を上回る画素のみ抽出して、当該ＩＲ画像を２値化処理する。この処理によって図５Ｃに示される２値化画像が得られる。すなわち、この処理により、図５Ｂに示される画像より、イメージセンサ４０から近い領域にある主茎画像１０２Ａのみが抽出され、イメージセンサ４０から遠くに存在する他物体の情報（画像）が除去される。この処理により、図５Ｃで示されるような二値化された主茎画像２０２が検出された場合は、次に主茎の形状推定（図３に示されるステップＳ８の処理）が行われる。
【００４８】
５）主茎の形状推定処理
次に、収穫ロボット１の制御部６０が行う主茎の形状推定処理（図３のステップＳ８）について、図６〜図１１を用いて詳細に説明する。図６は本実施の形態における主茎の形状推定処理の処理一例を説明するためのフローチャートである。図７Ａ，図７Ｂ及び図７Ｃは、本実施の形態における主茎の形状推定処理の画像処理を説明するための図であって、図４のステップＳ５２にて２値化されたＩＲ画像（図５Ｃ参照）に画像処理を施した図である。図８は画像左右最近傍画素を探索する様子を説明するための図である。図９は内側主茎線画素の検出を説明するための図である。図１０は画像の外領域の主茎の推定について説明するための図である。図１１は画像の外領域の主茎を推定する領域の考え方を説明するための図である。
【００４９】
図６に示すように、主茎の形状推定処理では、先ずステップＳ８１の処理が行われる。具体的には、ステップＳ５２（図４参照）にて抽出した主茎領域（主茎画像２０２）についてラベリング処理が行われる。つまり、図７Ａに示すように、２値化画像である主茎画像２０２を構成する白色の画素に、同じ番号（ここでは「１」）がラベルとして付与される。
【００５０】
次に、ステップＳ８２で、主茎画像２０２の細線化処理が行われ、図７Ｂに示される細線化された主茎画像（以下「主茎線２０２Ａ」という）が得られる。この細線化処理の際、ステップＳ８１で主茎画像２０２に付与されたラベルが、主茎線２０２Ａにも承継される。つまり、主茎線２０２Ａを構成する白色の各画素に「１」がラベルとして付与される。
【００５１】
次に、ステップＳ８３において、主茎線２０２Ａの内、画像の左右端部（外縁）に最も近い画素（第一基準画素、以下「画像左右最近傍画素」という）２１０がどの位置に存在するかが検出される。
【００５２】
画像左右最近傍画素２１０の検出手順を、図８を用いて説明する。図８は、図７Ｃに示される画像の一部を抽出したものを示す模式図であり、図中の格子は画素を表し、主茎線２０２Ａを構成する画素が黒く塗りつぶされて示されている。
【００５３】
まず、図８中に斜線が引かれて示されている領域、すなわち、画像の左端（外縁）で縦一列に並ぶ格子群（以下「格子列」という）と右端（外縁）の格子列とについて探索が行われ、これらの格子列中に主茎線２０２Ａを構成する画素（以下「主茎線画素」という）が存在するか否かが確認される。主茎線画素が存在した場合は、その主茎線画素を画像左右最近傍画素２１０とし、その主茎線画素の位置と主茎線２０２Ａのラベルとを記録する。
【００５４】
この探索処理は、探索対象となる格子列、左端と右端とからそれぞれ一列ずつ内側（左右中心側）に移動させて行われる。そして、左端の１〜５列の左領域、及び、右端の１〜５列までの右領域についてそれぞれ探索が行われると、探索処理が完了する。この際、右領域に同じラベルが付与された主茎線画素が複数存在した場合は、最初に検出された主茎線画素が、画像左右最近傍画素２１０とされ、その主茎線画素の位置が記録される。同様に、左領域に同じラベルが付与された主茎線画素が複数存在した場合は、最初に検出された主茎線画素が、画像左右最近傍画素２１０とされ、その主茎線画素の位置が記録される。
【００５５】
なお、主茎線画素が最初に検出された時点で探索を終了するようにしてもよい。具体的には、例えば、右端から１列目で初めて主茎線画素が検出された場合には、右領域における探索を右１列目で終了させ、左端から２列目で初めて主茎線画素が検出された場合には、左領域における探索を左１列目で終了させてもよい。
【００５６】
次に、ステップＳ８４において、ステップＳ８３の探索処理にて画像左右最近傍画素２１０が検出されたかが判定され、検出されていた場合は、ステップＳ８５に進む。ステップＳ８５で行われる処理を、図９を参照して説明すると、画像内において、画像左右最近傍画素２１０の位置から一定距離ＤＡＢ離れた位置に存在する内側主茎線画素２２０（第二基準画素）が検出される。
【００５７】
ここで、画像左右最近傍画素２１０の座標をＡ（ｘａ，ｙａ）とし、画像左右最近傍画素２１０から一定距離ＤＡＢにある座標をＢ（ｘｂ，ｙｂ）とすると、円の方程式である下式（１）が成り立つ。
【００５８】
【数１】
2020000170.tif 000003
そして、上式（１）を満たす座標Ｂ（ｘｂ，ｙｂ）が作り出す円２３０（つまり画像左右最近傍画素２１０を中心とする半径が一定距離ＤＡＢである円）上に存在する主茎線画素が、内側主茎線画素２２０とされ、その主茎線画素の位置が記録される。
【００５９】
一定距離ＤＡＢは、画素サイズを単位として（画素を単位として）設定されてもよいが、深度画像から得られる被写体までの距離を考慮して、実距離に換算されることが望ましい。すなわち、一定距離ＤＡＢは、画像上の距離ではなく、実際の距離により設定されるのが望ましい。
【００６０】
また、主茎は節の部分でその傾きを大きく変える傾向にあるため、一定距離ＤＡＢは、節を完全に跨がない長さとすることが望ましい。例えば、その果実の主茎の節の植生方向（主茎が伸びている方向）の長さの平均値（すなわち、その品種における、節自体の長さの標準値）よりも短い長さを一定距離ＤＡＢに用いるのが好ましい。
【００６１】
次に、ステップＳ８６において、図１０に示されるように、画像の外領域（撮像画像外）における主茎形状線２５０が推定される。つまり、ステップＳ８３で検出された画像左右最近傍画素２１０と、ステップＳ８５で検出された内側主茎線画素２２０とを通る線分の傾きが求められ、画像左右最近傍画素２１０からこの傾きで画像の外領域へと延在する直線が、主茎形状線２５０として推定される。換言すれば、画像の右端（外縁）と円２３０とで取り囲まれる領域内（外縁近傍領域内）に位置する、画素２１０，２２０間の主茎線画素が、主茎画像２０２Ａの外縁近傍部として抽出され、この外縁近傍部の傾きが求められる。そしてこの傾きに基づいて主茎形状線２５０として推定される。
【００６２】
なお、この際、各画素２１０，２２０の奥行位置（深度）も考慮して、画素２１０，２２０を通る直線が想定される。すなわち、主茎形状線２５０が三次元的に推定される。なお、主茎形状線２５０の上下端は、画像の上下の辺を左右方向に延長した線２４０，２４１と交差する位置とされる。
【００６３】
ここで、画像の外領域における主茎形状線２５０を、画像左右最近傍画素２１０と、内側主茎線画素２２０とを結んで画像の外領域に延長する方法を示したが、他の手法で画像の外領域の主茎形状線を推定してもよい。
【００６４】
例えば、画像左右最近傍画素２１０と内側主茎線画素２２０との間に存在する全ての主茎線画素（画素２１０,２２０を含めてもよい）の分布から、主成分分析によってこれらの画素２１０，２２０の相互間の傾きを求める。そして、画像左右最近傍画素２１０から、その傾きで画像の外領域に延長した線を主茎形状線２５０と推定してもよい。
【００６５】
画像左右最近傍画素２１０と、内側主茎線画素２２０とを単純に結んで延長した直線の傾きは、内側主茎線画素２２０の位置によっては、本来の主茎１０２の傾きとは異なる可能性がある。そこで主成分分析を用いれば、画像左右最近傍画素２１０と、内側主茎線画素２２０との間に存在する主茎線画素の全ての情報を考慮した傾きとなるため、より本来の主茎の形状に沿った傾きを求めることが可能となる。
【００６６】
なお、主成分分析によって主茎１０２の傾きを求める場合には、細線化処理を行う前の主茎画像２０２（図７Ａ参照）に対して主成分分析を行うようにしてもよい。
【００６７】
再び図６を参照すると、ステップＳ８４にて、画像左右最近傍画素２１０が存在しないと判定された場合は、主茎１０２の形状が推定されることなく、画像内の主茎情報（主茎画像２０２又は主茎線２０２Ａ）のみを障害物として、ステップＳ６へ処理（アーム経路の算出、図３参照）が移行する。
【００６８】
なお、ステップＳ８３にて画像の左右側のみ最近傍画素の探索を行ったのは、図１１に示すように、画像の左側の外領域３００又は右側の３０１にアーム２０、またはエンドエフェクタ３０の稼働領域が存在するためである。
【００６９】
この理由を説明する。アーム２０の高さ調整（Ｚ方向の位置調整）は、直動ステージにより直線的に行われ、この際、アーム２０全体が上下する。そして、アーム先端のエンドエフェクタ３０の果実１００へのアクセスは、３つの水平方向用制御軸を使用してエンドエフェクタ３０の水平位置（ＸＹ方向の位置調整）を細かく調整しながら水平方向から行われる。
【００７０】
したがって、エンドエフェクタ３０を果実１００へアクセスする際においては、画像の上下の外領域には、アーム２０やエンドエフェクタ３０の稼働領域が存在せず、アーム２０やエンドエフェクタ３０の移動経路であるアーム経路の算出が不要となるためである。このように、主茎１０２の形状が推定される領域が限定されることで、無駄な処理が行われないようにして、主茎形状線２５０の推定や移動経路の算出に伴う処理量が軽減される。
【００７１】
６）作用効果
このように本実施の形態による主茎の形状推定方法を用いることにより、イメージセンサ４０が取得した画像よりも外側の領域における主茎１０２の形状を考慮してアーム経路を算出することができ、アーム２０やエンドエフェクタ３０が、画像の外領域に存在する主茎１０２に接触してしまうことを防止できる。したがって、安定的な収穫を実施することができる。
【００７２】
７）その他
以上、本発明は上述した実施の形態に限定されるものではない。
ａ）例えば、トマト以外の収穫にも適用できる。
【００７３】
ｂ）上方から又は下方からも果実１００にアクセスできる作業アームを使用する場合には、画像よりも上方又は下方の外領域における主茎１０２を推定するようにしてもよい。
【産業上の利用可能性】
【００７４】
本発明は、トマトをはじめとする果実の安定的な収穫を可能とするものであり、その産業上の利用可能性は多大である。
【符号の説明】
【００７５】
１  収穫ロボット（収穫装置）
１０  走行部
２０  作業アーム
３０  エンドエフェクタ
４０  イメージセンサ（撮像装置）
５０  駆動源
６０  制御部
１００  果実
１００Ａ  ＩＲ画像上の果実画像
１０１  果梗
１０１Ａ  ＩＲ画像上の果梗画像
１０２  主茎
１０２Ａ  ＩＲ画像上の主茎画像
２０２  二値化された主茎画像
２１０  画像左右最近傍画素（第一基準画素）
２２０  内側主茎線画素（第二基準画素）
２５０  主茎形状線
【図１】
2020000170.tif 000004
【図２】
2020000170.tif 000005
【図３】
2020000170.tif 000006
【図４】
2020000170.tif 000007
【図５Ａ】
2020000170.tif 000008
【図５Ｂ】
2020000170.tif 000009
【図５Ｃ】
2020000170.tif 000010
【図６】
2020000170.tif 000011
【図７Ａ】
2020000170.tif 000012
【図７Ｂ】
2020000170.tif 000013
【図７Ｃ】
2020000170.tif 000014
【図８】
2020000170.tif 000015
【図９】
2020000170.tif 000016
【図１０】
2020000170.tif 000017
【図１１】
2020000170.tif 000018