(57)【特許請求の範囲】
【請求項１】
少なくとも１つのセンサがカメラ（１ｃ）である複数のセンサ（１）と、少なくとも１つのモータ（２）とが備えられる自律刈取り機のための制御システム（１０）であって、
前記制御システムは、
前記複数のセンサ（１）のパラメータおよび前記少なくとも１つのモータ（２）のコマンドの複合制御を行なうように適合されるとともに、前記少なくとも１つのカメラ（１ｃ）によって得られる画像に関して計算を行なうように適合され、かつ、
前記少なくとも１つのカメラ（１ｃ）からの画像を使用して、該画像中のピクセルを草であるか又は草でないものとして分類し、それにより、草マップを生成する草検出モジュール（１１）と、
前記草マップと現在のセンサデータとを組み合わせて前記複数のセンサ（１）の前記パラメータを改善するセンサ制御モジュール（１２）であって、草としてマークされたピクセルの強度が前記少なくとも１つのカメラ（１ｃ）の前記パラメータを調整するために使用されるセンサ制御モジュール（１２）と、
前記草マップに従って前記少なくとも１つのモータ（２）により前記自律刈取り機の移動を制御するモータ制御モジュール（１３）であって、前記センサ制御モジュール（１２）により変更可能な前記複数のセンサ（１）のパラメータの影響を受けるモータ制御モジュール（１３）とを備え、
前記センサ制御モジュール（１２）は、前記センサデータを改善するため、前記モータ制御モジュール（１３）のパラメータを変更するように適合される、
制御システム（１０）。
【請求項２】
前記自律刈取り機には照明手段（３）が設けられ、
前記センサ制御モジュール（１２）は、前記少なくとも１つのカメラ（１ｃ）が動作限界に達する場合には前記照明手段（３）をＯＮに切り換えるように適合される、請求項１に記載の制御システム（１０）。
【請求項３】
前記照明手段（３）を調光するように適合される、請求項２に記載の制御システム（１０）。
【請求項４】
前記草検出モジュール（１１）は、色セグメンテーションによって前記草検出を行なうように適合される、請求項１ないし請求項３のいずれか一項に記載の制御システム（１０）。
【請求項５】
変化する照明状態、草状態、または、異なる草タイプに起因する草色の僅かな変化を監視するため、時間経過と共にパラメータを調整するように適合される、請求項４に記載の制御システム（１０）。
【請求項６】
前記センサ制御モジュール（１２）は、前記少なくとも１つのカメラ（１ｃ）の、少なくとも露出、ゲイン、および／または、絞り、を含むパラメータを調整するように適合される、請求項１ないし請求項５のいずれか一項に記載の制御システム（１０）。
【請求項７】
前記センサ制御モジュール（１２）は、ダイナミックレンジを均等化することによりカメラ画像の平均強度を最適化するように適合される、請求項６に記載の制御システム（１０）。
【請求項８】
前記センサ制御モジュール（１２）は、前記自律刈取り機が障害物に近づく場合には、前記自律刈取り機をさらにゆっくりと走行させるように前記モータ制御モジュール（１３）に指示を与えるよう適合される、請求項１ないし請求項７のいずれか一項に記載の制御システム（１０）。
【請求項９】
前記センサ制御モジュール（１２）は、さらに長い露出時間および／またはカメラ露出を適合させるためのさらに長い時間が前記少なくとも１つのカメラ（１ｃ）によって必要とされる場合には、前記自律刈取り機をさらにゆっくりと走行させるように前記モータ制御モジュール（１３）に指示を与えるよう適合される、請求項１ないし請求項８のいずれか一項に記載の制御システム（１０）。
【請求項１０】
前記センサ制御モジュール（１２）は、前記自律刈取り機を特定の時間にわたって停止させるように前記モータ制御モジュール（１３）に指示を与えるよう適合される、請求項１ないし請求項９のいずれか一項に記載の制御システム（１０）。
【請求項１１】
前記自律刈取り機にはソナーセンサ（１ｓ）が設けられ、
前記センサ制御モジュール（１２）は、前記複数のセンサ（１）のうちの１つが所定の閾値を超える風を検出する場合には、前記自律刈取り機をさらにゆっくりと走行させるように前記モータ制御モジュール（１３）に指示を与えるよう適合される、請求項１ないし請求項１０のいずれか一項に記載の制御システム（１０）。
【請求項１２】
前記自律刈取り機には赤外線センサ（１ｉ）と赤外光源（４）とが設けられ、
前記センサ制御モジュール（１２）は、前記赤外線センサ（１ｉ）が所定の閾値を下回る赤外光放射を検出すると前記赤外光源（４）をＯＮ／ＯＦＦ切り換えするあるいは調光するよう適合される、請求項１ないし請求項１１のいずれか一項に記載の制御システム（１０）。
【請求項１３】
前記自律刈取り機は少なくとも２つのカメラ（１ｃ）を有し、好ましくは前記少なくとも２つのカメラ（１ｃ）のうちの一方は前記自律刈取り機の後方に面する、請求項１ないし請求項１２のいずれか一項に記載の制御システム（１０）。
【請求項１４】
前記少なくとも２つのカメラ（１ｃ）はステレオカメラであり、この場合には両方のカメラは同じ方向に面し、好ましくは前方に面している、請求項１ないし請求項１２のいずれか一項に記載の制御システム（１０）。
【請求項１５】
前記少なくとも２つのカメラ（１ｃ）のうちの少なくとも一つはＲＧＢカメラであり、少なくとも１つは近赤外線カメラである、請求項１３または請求項１４に記載の制御システム（１０）。
【請求項１６】
前記照明状態が通常状態であるときには前記少なくとも２つのカメラ（１ｃ）に同じパラメータを設定するよう適合され、
前記照明状態が強いコントラストを示すときには前記少なくとも２つのカメラ（１ｃ）に異なるパラメータを設定するよう適合され、
また、前記少なくとも２つのカメラの画像を組み合わせて高ダイナミックレンジ画像を生成するよう適合される、
請求項１３ないし請求項１５のいずれか一項に記載の制御システム（１０）。
【請求項１７】
複数のセンサ（１）、好ましくはソナーセンサ（１ｓ）および／または赤外線センサ（１ｉ）と、
少なくとも１つのカメラ（１ｃ）と、
少なくとも１つのモータ（２）と、
好ましくは照明手段（３ａ）および／または赤外光源（４）と、
請求項１ないし請求項１５のいずれか一項に記載の制御システム（１０）と
を備える自律刈取り機。
【請求項１８】
少なくとも１つのセンサがカメラ（１ｃ）である複数のセンサ（１）と、少なくとも１つのモータ（２）とが備えられる自律刈取り機のための制御方法（１０）であって、
前記複数のセンサ（１）のパラメータと前記少なくとも１つのモータ（２）のコマンドとの複合制御を行なうステップと、前記少なくとも１つのカメラ（１ｃ）により得られる画像に関して計算を行なうステップと、を含み、
前記計算を行うステップは、
前記少なくとも１つのカメラ（１ｃ）からの画像を使用して該画像中のピクセルを草又は草でないものとして分類し、それにより草マップを作成する草検出ステップを含み、
前記複合制御を行うステップは、
前記複数のセンサ（１）の前記パラメータを改善するために前記草マップと現在のセンサデータとを組み合わせるセンサ制御ステップであって、草としてマークされたピクセルの強度を用いて前記少なくとも１つのカメラ（１ｃ）の前記パラメータを調整するセンサ制御ステップと、
前記草マップに従って前記少なくとも１つのモータ（２）により前記自律刈取り機の移動を制御するためのモータ制御ステップであって、前記センサ制御ステップにおいて変化させることのできる前記複数のセンサ（１）のパラメータの影響を受けるモータ制御ステップと
を含み、
前記センサ制御ステップは、前記センサデータを改善するために、前記モータ制御ステップで使用されるパラメータを修正する、
制御方法（１０）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自律刈取り機、例えば芝刈り機を制御するため、および、刈取り機の知覚を適合させるための、すなわち、刈取り機の環境（「環境」はセンサの入力フィールドである）の複合検出のための、システムおよび方法に関する。特に、本発明は、自律刈取り機のセンサパラメータ、モータコマンド、および、カメラ画像計算の、複合制御を行なうためのものである。また、本発明は、前記制御システムを備える自律刈取り機にも関する。
【背景技術】
【０００２】
自律刈取り機またはロボット刈取り機、例えば芝刈り機は、増加の一途をたどる市場である。そのような刈取り機は、一般に、走行の度に草の小片だけを切断し、無作為で強引な態様で芝生を自律的に刈り取る。小さい草片が芝土内へ落下し、それにより、芝生が肥やされる。この原理はマルチングと呼ばれる。
【０００３】
「自律刈取り機」という用語は、当業者に良く知られており、当該刈取り機（「自己走行刈取り機」）を動かすための自律走行ユニットと、走行ユニットに給電するための機載型エネルギーリザーバと、少なくとも１つのセンサと、センサおよび走行ユニットに機能的に接続される計算ユニットとを有する無人刈取り機のことをいう。
【０００４】
商用の自律芝刈り機の多くは、弱い電磁場を放出する電気境界ワイヤにより刈り取り領域が規定される。自律刈取り機は、この電磁場を利用して、刈り取り許可領域内にとどまったり、再充電のためのベースステーションを見つけることができる。
【０００５】
幾つかの市販の自律刈取り機は、衝突センサおよびソナーセンサを使用して、上記境界ワイヤによっては示されることのない静的または動的な障害物を回避する。しかしながら、そのような刈取り機であっても、草の上に横たわる小さな障害物（例えば、携帯電話機、ホース、または、園芸工具）は乗り越えて走行してしまう。そのような小さな障害物は、境界ラインによっては示されず、衝突またはソナーセンサによっても検出されないからである。その結果、刈り取り刃に著しい損傷を引き起こす可能性を生ずる一方、その小さな障害物を破損させてしまう可能性も生ずる。また、入手が可能な大部分の自律刈取り機では、付加的にソナーセンサを備えた刈取り機であっても、自身の向きを変える前に物体と衝突してしまう。これにより、最終的には刈取り機の外殻に多くの引っかき傷が生ずることとなる。
【０００６】
市販の刈取り機を改良しようとする最近の理論的なおよび／または実験的ないくつかの手法では、特に境界ワイヤが取り外されるようになっている。
【０００７】
特許文献１には、カメラ認識と草センサの出力とを組み合わせた自律芝刈り機が記載されている。草センサは、ピクセルをそのピクセル値（例えば、色）に基づいて草又は草以外のものとして分類する分類器（classifier）を自動で実行したり、当該分類器を更新するために使用される。また、上記出願の特許請求の範囲には、カメラを用いて刈取り機を制御するコンピュータの実施形態が記載されている。しかしながら、この技法は、カメラセンサが持つ動作限界に制限される。カメラに対する高度な制御は行なわれない。
【０００８】
特許文献２には、レーザ光により草でない地面領域を走査して当該領域を回避する刈取り機が記載されている。また、この文献には、カメラと、スペクトル解析のための規準光源を備えた光ユニットと、を有する刈取り機が記載されている。しかしながら、上記特許出願は、照明状態が良好である場合に限定している。
【０００９】
特許文献３には、芝草の状態を認識するための、芝刈り機に搭載される能動的照明について記載されている。この文献には、能動的照明、照明のレイアウト（同心円）、及び照明の種類（ＬＥＤ）を適応的に決定する手法についても記載されている。
【００１０】
特許文献４は、各ピクセルについて色およびテクスチャに関する確率を計算し、当該確率に基づいて各ピクセルを草又は草以外のものとして分類する、草セグメンテーション（grass segmentation）を提案している。しかしながら、上記特許は、この技術を自律芝刈りに適用することを意図してはいない。特に、そこに記載されている処理は、自律的な刈り取り装置の動作を制御するためには用いられていない。
【００１１】
非特許文献１には、露出、ゲイン、輝度、および、ホワイトバランスの複合的な制御について記載されている。しかしながら、シーンに応じた適応動作は行われず、全体画像に基づいた適応動作のみが行われている。
【００１２】
非特許文献２には、オムニカメラの自動露出制御について記載されている。この制御は、バイアスを発生して制御誤りを生じさせるミラー支持体の暗部を排除するためのマスクを用いていることも特徴となっている。このマスクは、各ピクセルの影響を重み付けすることができるように、２値でない（non-binary）マスクとすることができる。しかしながら、この論文は、芝刈り機のための最適なカメラ制御を目的とするものではない。
【００１３】
非特許文献３には、自律芝刈り機（ＣＷＲＵカッター）のための草認識システムについて記載されている。草検出は色およびテクスチャを手掛かり（cue）として行われ、マスクは、シーンレイアウトの変化に応じて時間的に変化するものとはなっていない。この手法では、幾つかのサンプル画像を用いて訓練された分類器が使用される。この手法は学習段階を含むが、セグメンテーション自体は、固定されたパラメータ設定により動作する。
【００１４】
非特許文献４には、テクスチャ分類に基づく草セグメンテーション（grass segmentation）のための視覚アーキテクチャについて記載されている。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】欧州特許出願公開第２  ２８６  ６５３  Ａ２号明細書
【特許文献２】独国特許出願公開第１０３  ２７  ２２３  Ａ１号明細書
【特許文献３】米国特許出願公開２００６／０１５１６８０  Ａ１号明細書
【特許文献４】米国特許６，８３２，０００  Ｂ２号明細書
【非特許文献】
【００１６】
【非特許文献１】Ａｕｔｏｎｏｍｏｕｓ  ｃｏｎｆｉｇｕｒａｔｉｏｎ  ｏｆ  ｐａｒａｍｅｔｅｒｓ  ｉｎ  ｒｏｂｏｔｉｃ  ｄｉｇｉｔａｌ  ｃａｍｅｒａｓ，Ｎｅｖｅｓ  ｅｔ  ａｌ，Ｐｒｏｃ．  ｏｆ  ｔｈｅ  ４ｔｈ  Ｉｂｅｒｉａｎ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  ａｎｄ  Ｉｍａｇｅ  Ａｎａｌｙｓｉｓ，ｉｂＰＲＩＡ  ２００９，Ｐｏｖｏａ  ｄｏ  Ｖａｒｚｉｍ，Ｐｏｒｔｕｇａｌ（Ｊｕｎｅ  ２００９）
【非特許文献２】Ａｕｔｏｍａｔｉｃ  Ｃａｍｅｒａ  Ｅｘｐｏｓｕｒｅ  Ｃｏｎｔｒｏｌ，Ｎ．Ｎｏｕｒａｎｉ−Ｖａｔａｎｉ  ａｎｄ  Ｊ．Ｒｏｂｅｒｔｓ，Ａｕｓｔｒａｌａｓｉａｎ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｒｏｂｏｔｉｃｓ  ａｎｄ  Ａｕｔｏｍａｔｉｏｎ（Ｄｅｃｅｍｂｅｒ  ２００７）
【非特許文献３】Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ  ＆  Ｓｅｇｍｅｎｔａｔｉｏｎ  ｏｆ  Ｌａｗｎ  Ｇｒａｓｓ  Ｂａｓｅｄ  ｏｎ  Ｃｏｌｏｒ  ａｎｄ  Ｖｉｓｕａｌ  Ｔｅｘｔｕｒｅ  Ｃｌａｓｓｉｆｉｅｒｓ，Ａ．Ｓｃｈｅｐｅｌｍａｎｎ，Ｃａｓｅ  Ｗｅｓｔｅｒｎ  Ｒｅｓｅｒｖｅ  Ｕｎｉｖｅｒｓｉｔｙ（ＣＷＲＵ），Ｍａｓｔｅｒ  Ｔｈｅｓｉｓ（Ａｕｇｕｓｔ  ２０１０）
【非特許文献４】Ａｕｔｏｎｏｍｏｕｓ  Ａｇｅｎｔ  Ｎａｖｉｇａｔｉｏｎ  Ｂａｓｅｄ  ｏｎ  Ｔｅｘｔｕｒａｌ  Ａｎａｌｙｓｉｓ，Ｒａｎｄ  Ｃｈａｎｄｌｅｒ，ＰｈＤ  ｔｈｅｓｉｓ，Ｕｎｉｖｅｒｓｉｔｙ  ｏｆ  Ｆｌｏｒｉｄａ（２００３）
【発明の概要】
【発明が解決しようとする課題】
【００１７】
本発明は、市販の自律刈取り機および提案された自律刈取り機の上記欠点に鑑み、現状技術の改良を意図するものである。
【００１８】
総じて、本発明は、自律刈取り機を制御するための改良されたシステムおよび方法を提供することを目的として、改良された自律刈り取り能力を備えた刈り取り機を提供する。非常に望ましい改良点は、最新技術に比べより広範に変化する照明条件において刈取り機を制御できる点である。
【課題を解決するための手段】
【００１９】
本発明は、市販されている最新の刈取り機を、付加的なカメラ検知機能により拡張することで、上記問題を解決する。カメラ検知は、上述したいくつかの従来技術文献において既に提案されているが、通常、その処理はパラメータが固定された撮像および制御アルゴリズムを用いて行われている。その結果、この手法は、実世界の庭において生じる照明変化の下ではうまく機能しない。
【００２０】
特に、本発明は、少なくとも１つのセンサがカメラである複数のセンサと、少なくとも１つのモータとが備えられる自律刈取り機のための制御システムであって、複数のセンサのパラメータおよび少なくとも１つのモータのコマンドの複合制御を行なうように適合されるとともに、少なくとも１つのカメラによって得られる画像に関して計算を行なうように適合される制御システムに関する。
【００２１】
好ましくは、本制御システムは、少なくとも１つのカメラからの画像を使用して該画像中のピクセルを草であるか又は草でないものとして分類し、それにより草マップを作成する草検出モジュールと、草マップと現在のセンサデータとを組み合わせて複数のセンサのパラメータを改善するセンサ制御モジュールであって、草としてマークされたピクセルの強度が前記少なくとも１つのカメラのパラメータを調整するために使用されるセンサ制御モジュールと、草マップに従って少なくとも１つのモータにより自律刈取り機の移動を制御するモータ制御モジュールであって、前記センサ制御モジュールにより変更可能な複数のセンサのパラメータの影響を受けるモータ制御モジュールとを備え、センサ制御モジュールは、センサデータを改善すべく、モータ制御モジュールのパラメータを変更するように適合される。
【００２２】
好ましくは、自律刈取り機には照明手段が設けられ、センサ制御モジュールは、少なくとも１つのカメラが動作限界に達する場合には照明手段をＯＮに切り換えるように適合される。従って、暗い照明状態、例えば夜間若しくは暗い領域または日陰領域で、刈取り機を使用することができる。
【００２３】
好ましくは、制御システムは、照明手段を調光するように適合される。これにより、例えばカメラパラメータを適合させるために、付加的な照明をセンサ制御モジュールによってスムーズに組み入れることができる。
【００２４】
好ましくは、草検出モジュールは、色セグメンテーションによって草検出を行なうように適合される。色セグメンテーションは、実現が容易であるが、信頼性が高い。色セグメンテーションは、緑色を識別するように最適化することができる。
【００２５】
好ましくは、本制御システムは、変化する照明状態、草状態、または異なる草タイプに起因する、草色の僅かな変化を監視すべく、時間経過と共にパラメータを調整するように適合される。
【００２６】
好ましくは、センサ制御モジュールは、少なくとも１つのカメラの、少なくとも露出、ゲイン、および／または、絞り、を含むパラメータを調整するよう適合される。
【００２７】
好ましくは、センサ制御モジュールは、ダイナミックレンジを均等化（equalizing）することによりカメラ画像の平均強度を最適化するように適合される。
【００２８】
好ましくは、センサ制御モジュールは、自律刈取り機が障害物に近づく場合には、自律刈取り機をさらにゆっくりと走行させるようにモータ制御モジュールに指示を与えるよう適合される。
【００２９】
好ましくは、センサ制御モジュールは、さらに長い露出時間および／またはカメラ露出を適合させるためのさらに長い時間が少なくとも１つのカメラにより必要とされる場合には、自律刈取り機をさらにゆっくりと走行させるようにモータ制御モジュールに指示を与えるよう適合される。このようにすると、長い露出時間に起因して画像中に生じるぶれ（blur）アーチファクトを回避あるいは減らすことができる。また、刈取り機が露出過度の領域または露出不足の領域に近づくときに、カメラの調整を十分な時間をもって行なうことができる。
【００３０】
好ましくは、センサ制御モジュールは、自律刈取り機を特定の時間にわたって停止させるようにモータ制御モジュールに指示を与えるよう適合される。停止時間中、カメラは、例えば、異なるパラメータ設定（例えば、異なる露出時間、ゲインおよび／または絞り）により得られた２つ以上の画像を組み合わせることにより、高ダイナミックレンジ画像を取得できる。
【００３１】
好ましくは、自律刈取り機にはソナーセンサが設けられ、センサ制御モジュールは、複数のセンサのうちの１つが所定の閾値を超える風を検出する場合には、自律刈取り機をさらにゆっくりと走行させるようにモータ制御モジュールに指示を与えるよう適合される。このようにすると、風によって損なわれる可能性のあるソナーセンサの安全性を高めることができる。
【００３２】
好ましくは、自律刈取り機には赤外線センサと赤外光源とが設けられ、センサ制御モジュールは、赤外線センサが所定の閾値を下回る赤外光放射を検出すると赤外光源をＯＮ／ＯＦＦ切り換えするあるいは調光するよう適合される。センサが近赤外線（ＮＩＲ）センサである場合には、該センサを、特にＮＩＲ光を反射する障害物を検出するのに使用できる。センサが遠赤外線（ＦＩＲ）センサである場合には、該センサを、人や動物のような熱を放射する障害物を検出するのに使用できる。また、赤外線センサは、赤外光源がＯＮに切り換えられると、反射された赤外光を検出して周囲環境のさらなる情報を得ることもできる。
【００３３】
好ましくは、自律刈取り機が少なくとも２つのカメラを有し、好ましくは、上記少なくとも２つのカメラのうちの一方が、自律刈取り機の後方に面し、すなわち、刈取り機の走行方向に対して後方を見るものとする。
【００３４】
好ましくは、少なくとも２つのカメラはステレオカメラであり、この場合には両方のカメラは同じ方向に面し、好ましくは前方に面している。
【００３５】
好ましくは、上記少なくとも２つのカメラのうちの少なくとも一つはＲＧＢカメラであり、少なくとも一つは近赤外線カメラである。
【００３６】
好ましくは、制御システムは、照明状態が通常状態であるときには上記少なくとも２つのカメラに同じパラメータを設定するよう適合され、照明状態が強いコントラストを示すときには上記少なくとも２つのカメラに異なるパラメータを設定するよう適合され、また、上記少なくとも２つのカメラの画像を組み合わせて高ダイナミックレンジ画像を生成するよう適合される。
【００３７】
また、本発明は、複数のセンサ、好ましくはソナーセンサおよび／または赤外線センサと、少なくとも１つのカメラと、少なくとも１つのモータと、好ましくは照明手段および／または赤外光源と、上述した制御システムと、を備える自律刈取り機に関する。
【００３８】
さらに、本発明は、少なくとも１つのセンサがカメラである複数のセンサと少なくとも１つのモータとが備えられる自律刈取り機のための制御方法であって、上記複数のセンサのパラメータと上記少なくとも１つのモータのコマンドとの複合制御を行なうステップと、上記少なくとも１つのカメラによって得られる画像に関して計算を行なうステップと、を備える制御方法に関する。
【００３９】
好ましくは、本制御方法は、少なくとも１つのカメラからの画像を使用して該画像中のピクセルを草又は草でないものとして分類し、それにより草マップを生成する草検出ステップと、複数のセンサのパラメータを改善すべく草マップと現在のセンサデータとを組み合わせるセンサ制御ステップであって、草としてマークされたピクセルの強度を用いて上記少なくとも１つのカメラのパラメータを調整するセンサ制御ステップと、草マップに従って少なくとも１つのモータにより自律刈取り機の移動を制御するモータ制御ステップであって、センサ制御ステップにおいて変化させることのできる上記複数のセンサのパラメータの影響を受けるモータ制御ステップとを備え、センサ制御ステップは、センサデータを改善すべく、モータ制御ステップで使用されるパラメータを修正する。
【００４０】
上述したように、既知の従来技術の一部は、草色の変化を監視することができる適応的なセグメンテーション機構をも包含する。また、カメラのゲインおよび露出を制御して当該カメラの信号品質を最適化するための、何らかの既存の作業（例えば、ロボットサッカー分野におけるような）がある。
【００４１】
しかしながら、既知のいずれの従来技術も、画像処理、カメラ制御、および、モータ制御を、全体的な問題としては考えていない。そのため、本発明は、ユーザの介入を何ら伴うことなく照明状態の変化に適合する、インテリジェントな刈取り機制御の実現を目的とする。本発明は、特にカメラが物理的限界に達するとき、例えば高ダイナミックコントラストが存在するときに、カメラの信号品質を向上させるべく、移動（モータ）制御にアクセスする。
【００４２】
また、上記カメラ信号品質の最適化は、草セグメンテーションマスク（すなわち、色セグメンテーションを用いた草検出により作成される草マップ）に従い、草ピクセルに関する信号品質の改善のみを扱う。上記最適化は、草でないピクセルの露出過度または露出不足をもたらす場合があるが、それよりもはるかに重要な草ピクセルについての、ロバスト性の更に高い検出を可能にする。要するに、この発明は、以下の４つの主要な貢献をもたらす。
【００４３】
第１に、刈取り機の走行制御（モータ制御モジュール）は、カメラセンサの限界を、ある意味で緩和するように適合される。最近のカメラは、実世界の場面で生じる広範な照明状態をカバーするための取り組みを行っている。２つの主要な問題は、微光状態と、強い強度コントラストである。１番目の問題では、カメラは露出時間を長くすることが必要となって、当該カメラが移動するとモーションブラー（motion blur、被写体ぶれ）が生ずることとなり、あるいは、カメラはゲイン値を高くすることが必要となって、カメラノイズが増加することとなる。このため、いずれの場合も信号品質は悪くなる。本発明は、刈取り機の移動速度を適切に減少させることによりこの問題を軽減する。これにより、モーションブラーに起因するカメラ信号の劣化を生ずることなく、より長い露出時間の使用が可能となる。これは、カメラに必要な露出時間が長ければ長いほど、刈取り機をゆっくりと移動させる、という考え方である。２番目の問題に対する解決策は、刈取り機が強いコントラストに近づくときに、カメラに、その強い照度差に対して適合するのに十分な時間、例えば露出時間を適合させるのに十分な時間が与えられるように、刈取り機の移動速度を減少させることである。これが十分でなければ、刈取り機は停止して、異なる露出時間で２つの画像を取得し、非常に大きな強度範囲をカバーする高ダイナミックレンジ（ＨＤＲ）の画像を生成する。
【００４４】
第２に、本発明は、特に芝刈りの用途に適合するよう構成された、カメラ露出およびゲインのインテリジェント制御を用いる。現在画像の全ピクセル強度を考慮に入れてカメラパラメータを適合させるのではなく、草ピクセルの強度だけを考慮に入れて、特に草領域の視認性を最適化する。これにより、草だけであれば庭全体のシーンほどの大きなダイナミックレンジは不要となるので、草検出のロバスト性がさらに高くなる。
【００４５】
第３に、本発明は、異なる目標値を用いてカメラ信号品質を最適化する。最新技術の手法では、［０．．．１］（すなわち、０〜１）の強度範囲においては平均ピクセル強度の目標値を０．５（または、［０．．．２５５］の強度範囲においては１２５）とするが、本発明では、カメラセンサのダイナミックレンジ内での強度の対数的な平衡点（logarithmic equilibrium）を目標値とする。これは、多量のカメラピクセルが検出限度に達する前に、放射照度を半分にする頻度と２倍にする頻度とを丁度同じにできることを意味する。従って、カメラは、放射照度の増加（例えば、日陰から日向への走行時）および放射照度の減少（例えば、日向から日陰への走行時）の両方にうまく適合することができる。放射照度は、表面上に入射する単位面積当たりの電磁放射（すなわち、放射束）の電力である。放射発散度（radiant emittance or radiant exitance）は、表面により放射される単位面積当たりの電力である。
【００４６】
例えば、カメラピクセルの最小適正強度が１０であり、最大強度が２５５である場合には、平衡値はほぼ５０となる。これは、カメラセンサの限界に達する前に、平衡目標値を半分にする頻度と２倍にする頻度とを丁度同じにできることを意味する。すなわち、５０／２＾２．３４＝１０および５０＊２＾２．３４＝２５５である。
【００４７】
第４に、刈取り機には、照明手段、例えばヘッドライトが、任意選択で設けられる。照明手段は、露出およびゲインを最大としても良好な信号品質が得られない夜間などの、微光状態での刈り取りを可能にする。照明は、カメラの露出およびゲインの制御ならびに刈取り機の走行速度と併せて制御される。カメラパラメータの適合と速度減少との組み合わせにより照明状況に対処できる間は、照明は点灯されない。走行速度を閾値未満に設定する必要が生じた場合や、露出およびゲインがそれらの限界に達する場合には、直ぐに照明が点灯される。照明状態をスムーズに変更できるように、照明は調光できるものであることが好ましい。これにより、カメラの露出およびゲイン、刈取り機の移動速度、ならびに、能動的照明の全体制御が容易になる。
【００４８】
さらなるロバスト性のため、適応的色セグメンテーションなどの、既に知られた技術を用いることもできる。適応的草セグメンテーションは、照明変化（例えば、夕方に太陽光がさらに赤くなる）または草の状態（例えば、雨の後の湿った草はより暗い色となり、乾燥した草はあまり鮮明な色にはならない）に起因して生じる場合がある色の変化に連続的に追従する。また、草セグメンテーションモジュールは、その最初の使用の前に、庭の特定の草色をサンプルビューから学習することによって初期化される。この初期化は、刈取り機の草セグメンテーションモジュールを所定の状態にリセットする際にも使用することができる。
【００４９】
以下、添付図面を参照して、本発明をさらに詳しく説明する。
【図面の簡単な説明】
【００５０】
【図１】本発明に係る自律刈取り機を制御するためのシステムを示す図である。
【図２】本発明のシステムの（全体）センサ制御モジュールを示す図である。
【図３】本発明のシステムの（移動）モータ制御モジュールを示す図である。
【図４】本発明のシステムの草（セグメンテーション）検出モジュールを示す図である。
【発明を実施するための形態】
【００５１】
本発明は、少なくとも１つのカメラ１ｃと、好ましくは、ソナーセンサ１ｓまたは赤外線センサ１ｉのような複数の他のセンサ１と、モータ２のような少なくとも１つの推進システムと、任意選択として少なくとも１つのヘッドライトまたは照明手段３および／またはＩＲ光源と、を有する自動刈取り機に関する。刈取り機は、芝刈り機であることが好ましいが、何らかの他の種類の刈取り機であってもよい。刈取り機は、制御システム１０を備える。
【００５２】
刈取り機の制御システム１０は、草検出のためのモジュール１１と、モータ制御（すなわち、刈取り機の移動制御）のためのモジュール１３とを有し、モジュール１３は、草検出モジュール１１の出力を用いて、例えば刈取り機がその進路上の障害物を回避できるように、あるいは刈取り機が特定の目標、例えば刈取り機を再充電するためのホームベースへと向かうことができるように、モータコマンドを出力する。
【００５３】
図１に示すように、制御システム１０は、インテリジェントな全体制御モジュール１２をさらに備え、全体制御モジュール１２は、カメラパラメータ（例えば、露出、ゲイン、および、絞り）を適合させることにより特に草検出のためカメラ信号品質を最適化し、モータ制御モジュール１３に影響を与え、複数のセンサ１を制御し、および／または、任意選択である照明手段３を他の動作と整合する態様で制御する。草の視認性を最適化するため、全体制御モジュール（センサ制御モジュールとも称される）１２は、草検出モジュール１１により草として判定されたピクセルだけを考慮に入れる。これは、解決すべき実際のタスク（すなわち、草の検出）とは無関係に、むしろ全体の画像信号の向上を目的とする従来の手法とはかなり異なっている。
【００５４】
従来のロボット芝刈りシステムでは、刈取り機の移動制御はカメラ（パラメータ）の制御とは無関係に行われる。すなわち、移動制御機構は、カメラの能力を考慮に入れることなく、それ自身の目標（例えば、障害物回避）を達成しようとする。一方、本発明は、図１に示すセンサ制御モジュール１２を有し、特にカメラ１ｃが特定の限界に達するときには、該センサ制御モジュール１２を用いて、刈取り機を特定の移動速度とするよう要求して刈り取り機移動制御器（モータ制御モジュール１３とも称される）と通信し、草検出のために画質を改善する。
【００５５】
センサ制御モジュール１２は、単純なカメラ画像と、草検出モジュール１１により計算された現在の画像についての草セグメンテーションとを、入力として取得する。草検出モジュール１１は、例えば、カメラ画像の色や彩度についての単純な閾値判定により、草マスクまたは草マップを算出する。草マスクまたは草マップは、ピクセルが草ピクセルであるかどうかを、２進値表現又は信頼度（そのピクセルが草ピクセルである確からしさ）によって示す。
【００５６】
センサ制御モジュール１２は、図２に示すように機能する。最初に、センサ制御モジュール１２は、草マスクとカメラ画像とを用いて、現在のカメラ画像における草ピクセルの現在の平均強度を算出する。この平均強度は、その後、第２のステップにおいて、目標平均強度（草セグメンテーションのため最良の画質をもたらすように予め規定され設定される値）と比較され、その比較結果から、カメラ１ｃのための新たな露出値、ゲイン値、および、絞り値が算出される。また、刈取り機の移動速度、および照明手段３を利用できる場合には照明手段３が、考慮に入れられる。すなわち、速度制御信号が生成され、照明手段３のＯＮ／ＯＦＦまたは調光が行われ得る。これにより、センサ制御モジュール１２は、良好な草視認性が得られるように最適化を行うことができる（例えば、露出過度および露出不足の草ピクセルの数を最小限に抑えることができる）。
【００５７】
刈取り機（移動）制御モジュール１３（図３参照）は、草マスクを用いて自律芝刈り機のインテリジェントな移動を実現する。この移動動作には、障害物回避、進路プランニング、またはマッピングを含むことができる。モータコマンド自体は、複数のセンサ１の任意の入力信号、すなわち、違反される場合がある任意の制約（例えば、動作ぼやけをもたらす非常に速い動き）との関連において発出される。また、刈取り機制御モジュール１３は、センサ制御モジュール１２から速度制御信号を受けとって、モータコマンドを生成する。すなわち、センサ制御モジュール１２は、例えば刈取り機の移動速度を制限することによって（これにより画像ぶれを減少させる）、あるいは、特定の移動シーケンス（例えば、ＨＤＲ撮像を行うための短期間停止）を出力することによって、画像信号の品質を向上させることができる。
【００５８】
図４に示す草セグメンテーションモジュール１１（草検出モジュールとも称する）は、照明状態変化に起因して起こり得る草色の変化に追従すべく、時間の経過につれてそのパラメータを適合、すなわち、更新する。セグメンテーションプロセスは、ＨＳＶ空間内の草色の平均値と分散に基づいて行われる。すなわち、パラメータの更新処理は、草色についての現在の平均値と分散とを再評価する処理である。この再評価を行うため、現在の画像が現在の草マスク（草マップ）と組み合わされる。そして、現在草と見なされている全てのピクセルの、平均的な色と分散とが計算される。新たなパラメータは、予め定義された幾つかの限界との関係がチェックされた後（すなわち、比較された後）、セグメンテーションを行なうセグメンテーションサブモジュールへ送られる。上記限界との比較は、草をもはや特定できなくなってしまうような無効状態へ、システムが移行してしまうのを防止するために必要となる。セグメンテーション処理は、この新しいパラメータを用いて次の画像フレームを処理する。任意選択として、これらのパラメータを、ユーザがデフォルト値（初期化にも用いられる）にリセットするものとすることができる。
【００５９】
要約すれば、本発明の核心は、カメラを備える自律刈取り機のための方法およびシステムであって、当該方法及びシステムでは、上記カメラのパラメータの制御、刈取り機の移動制御、および草検出が、オンライン形態で（動作中に）全体的に最適化される。すなわち、刈取り機の移動速度を適合させることによってカメラの検出制限を緩和する、という考え方を有するものである。また、カメラ制御は、草セグメンテーション（検出）によってもたらされる草マスクを用いて草ピクセルのみから露出値、ゲイン値、および、絞り値の更新値を算出することにより、草の視認性を最適化しようとする。また、草セグメンテーションは、照明の違いによって引き起こされる草色の変化を監視する。任意選択として、このシステムは、好ましくは調光可能な照明手段３が設けられ、該照明手段を用いて、カメラのパラメータおよび刈取り機の移動速度の制御を行うと共にカメラの信号品質をさらに向上させることができる。
【符号の説明】
【００６０】
１  センサ
１ｃ  カメラ
１ｉ  赤外線センサ
１ｓ  ソナーセンサ
２  モータ
３  照明手段
１０  制御システム
１１  草検出モジュール
１２  センサ制御モジュール
１３  刈取り機制御モジュール
ＨＤＲ  高ダイナミックレンジ
【図１】
0005529947.tif 000002
【図２】
0005529947.tif 000003
【図３】
0005529947.tif 000004
【図４】
0005529947.tif 000005