(57)【要約】  本発明は、ロボット清掃デバイスの前方の表面のレベル差を検出する方法、及び本方法を遂行するロボット清掃デバイスに関する。本発明の第１の態様では、ロボット清掃デバイス（１０）のための、ロボット清掃デバイスの前方の表面（３１）のレベル差を検出する方法が提供される。本方法は、表面を光（３０ｂ）で照明すること（Ｓ１０１）と、表面の画像（４０ｂ）を取り込むこと（Ｓ１０２）と、光（３０ｂ）によって生じた取り込まれた画像（４０ｂ）内の光輝区分を検出すること（Ｓ１０３）と、検出された光輝区分を表す少なくとも第１の線分（３０ｂ'）及び第２の線分（３０ｂ''）を識別すること（Ｓ１０４）と、識別された第１及び第２の線分（３０ｂ'、３０ｂ''）の間の位置関係から、表面（３１）のレベル差を検出すること（Ｓ１０４）と、を含む。
2020522288.tif 000002
【特許請求の範囲】
【請求項１】
ロボット清掃デバイスのための、前記ロボット清掃デバイスの前方の表面のレベル差を検出する方法であって、
前記表面を光で照明することと、
前記表面の画像を取り込むことと、
前記光によって生じた前記取り込まれた画像内の光輝区分を検出することと、
前記検出された光輝区分を表す少なくとも第１の線分及び第２の線分を識別することと、
前記識別された第１及び第２の線分の間の位置関係から、前記表面の前記レベル差を検出することと、
を含む方法。
【請求項２】
前記識別された第１及び第２の線分の間の位置関係からの前記表面の前記レベル差の前記検出が、
前記取り込まれた画像内の前記識別された第１及び第２の線分の間に不連続が生じていることを検出することを含み、前記レベル差が、棚部を含むことが検出される、請求項１に記載の方法。
【請求項３】
前記識別された第１及び第２の線分の間の位置関係からの前記表面の前記レベル差の前記検出が、
前記取り込まれた画像内の前記識別された第１及び第２の線分を連結する第３の線分を検出することを含み、前記レベル差が、隆起を含むことが検出される、請求項１又は２に記載の方法。
【請求項４】
前記識別された第１及び第２の線分の間の位置関係からの前記表面の前記レベル差の前記検出が、
前記識別された第２の線分が、前記取り込まれた画像内の前記識別された第１の線分の鉛直下方に位置することを検出することを含み、前記レベル差が、棚部を含むことが検出される、請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記識別された第１及び第２の線分の間の位置関係からの前記表面の前記レベル差の前記検出が、
前記識別された第２の線分が、前記取り込まれた画像内の前記識別された第１の線分の鉛直上方に位置することを検出することを含み、前記レベル差が、隆起を含むことが検出される、請求項１〜４のいずれか一項に記載の方法。
【請求項６】
前記識別された第１及び第２の線分の間の位置関係からの前記表面の前記レベル差の前記検出が、
前記取り込まれた画像の座標から、前記識別された第１の線分の近位端部までの距離、並びに前記識別された第１及び第２の線分の間の鉛直距離を決定することを含み、前記鉛直距離が、前記検出されたレベル差の高さを構成する、請求項１〜５のいずれか一項に記載の方法。
【請求項７】
ロボット清掃デバイスの前方の表面のレベル差を検出するように構成された前記ロボット清掃デバイスであって、
前記ロボット清掃デバイスを移動させるように構成された推進システムと、
前記ロボット清掃デバイスの近傍の画像を記録するように構成されたカメラデバイスと、
前記ロボット清掃デバイスの前方の表面を照明するように構成された少なくとも１つの光源と、
コントローラであって、
前記少なくとも１つの光源を、前記ロボット清掃デバイスの前方の表面を照明するよう制御し、
前記カメラデバイスを、前記照明された表面の画像を取り込むよう制御し、
前記少なくとも１つの光源が前記表面を照明することによって生じた前記取り込まれた画像内の光輝区分を検出し、
前記検出された光輝区分を表す少なくとも第１の線分及び第２の線分を識別し、
前記識別された第１及び第２の線分の間の位置関係から、前記表面の前記レベル差を検出する
ように構成された、コントローラと、
を備えるロボット清掃デバイス。
【請求項８】
前記コントローラが、前記識別された第１及び第２の線分の間の位置関係から前記表面の前記レベル差を検出すると、
前記取り込まれた画像内の前記識別された第１及び第２の線分の間に不連続が生じていることを検出するようにさらに構成されており、前記レベル差が、棚部を含むことが検出される、請求項７に記載のロボット清掃デバイス。
【請求項９】
前記コントローラが、前記識別された第１及び第２の線分の間の位置関係から前記表面の前記レベル差を検出すると、
前記取り込まれた画像内の前記識別された第１及び第２の線分を連結する第３の線分を検出するようにさらに構成されており、前記レベル差が、隆起を含むことが検出される、請求項７又は８に記載のロボット清掃デバイス。
【請求項１０】
前記コントローラが、前記識別された第１及び第２の線分の間の位置関係から前記表面の前記レベル差を検出すると、
前記識別された第２の線分が、前記取り込まれた画像内の前記識別された第１の線分の鉛直下方に位置することを検出するようにさらに構成されており、前記レベル差が、棚部を含むことが検出される、請求項７〜９のいずれか一項に記載のロボット清掃デバイス。
【請求項１１】
前記コントローラが、前記識別された第１及び第２の線分の間の位置関係から前記表面の前記レベル差を検出すると、
前記識別された第２の線分が、前記取り込まれた画像内の前記識別された第１の線分の鉛直上方に位置することを検出するようにさらに構成されており、前記レベル差が、隆起を含むことが検出される、請求項７〜１０のいずれか一項に記載のロボット清掃デバイス。
【請求項１２】
前記コントローラが、前記識別された第１及び第２の線分の間の位置関係から前記表面の前記レベル差を検出すると、
前記取り込まれた画像の座標から、前記識別された第１の線分の近位端部までの距離、並びに前記識別された第１及び第２の線分の間の鉛直距離を決定するようにさらに構成されており、前記鉛直距離が、前記検出されたレベル差の高さを構成する、請求項７〜１１のいずれか一項に記載のロボット清掃デバイス。
【請求項１３】
前記少なくとも１つの光源が、前記ロボット清掃デバイスの前記近傍を照明するように構成された第１及び第２のラインレーザを含む、請求項７〜１２のいずれか一項に記載のロボット清掃デバイス。
【請求項１４】
コンピュータ実行可能命令が、ロボット清掃デバイス内に含まれるコントローラ上で実行されると、前記ロボット清掃デバイスに、請求項１〜６のいずれか一項に記載のステップを遂行させるための前記コンピュータ実行可能命令を含むコンピュータプログラム。
【請求項１５】
コンピュータ可読媒体を含むコンピュータプログラム製品であって、前記コンピュータ可読媒体は、その上に組み込まれた請求項１４に記載のコンピュータプログラムを有する、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロボット清掃デバイスの前方の表面のレベル差を検出する方法、及び本方法を遂行するロボット清掃デバイスに関する。
【０００２】
さらに提供されるのは、コンピュータ実行可能命令が、ロボット清掃デバイス内に含まれるコントローラ上で実行されると、ロボット清掃デバイスに、本方法のステップを遂行させるためのコンピュータ実行可能命令を含むコンピュータプログラムである。
【０００３】
なおさらに提供されるのは、コンピュータ可読媒体を含むコンピュータプログラム製品であって、コンピュータ可読媒体は、その上に組み込まれたコンピュータプログラムを有する、コンピュータプログラム製品である。
【背景技術】
【０００４】
多くの技術分野において、あり得る障害物と衝突することなく空間を自由に動き回ることができるよう、自律的挙動を有するロボットを用いることが望まれる。
【０００５】
当技術分野においては、掃除機を、清掃対象表面を横切って移動させるためのモータの形態の駆動手段を装備した、ロボット真空掃除機が知られている。ロボット真空掃除機は、ロボット真空掃除機が、例えば、床の形態の表面を自由に動き回り、清掃することができるよう、自律的挙動を可能にするための、マイクロプロセッサの形態の知能、及び進路誘導手段をさらに装備する。それゆえ、これらの従来技術のロボット真空掃除機は、テーブル及び椅子などの物体、並びに壁及び階段などの他の障害物が配置された部屋を多かれ少なかれ自律的に真空掃除する能力を有する。
【０００６】
従来技術のロボット真空掃除機の問題は、それらが上り段又は厚いラグなどの障害物で立ち往生しがちであることである。
【０００７】
遭遇する特に問題となる障害物は、典型的には、下の階へ通じる階段の形態の、棚部である。このような棚部がロボット掃除機によって検出されない場合には、ロボットが階段から落ち、棚部から落下し、永久的に損傷を受けるリスクがある。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の目的は、当技術分野におけるこの問題を解決するか、又は少なくとも緩和し、ロボット清掃デバイスの前方の表面のレベル差を検出する及び改善された方法を提供することである。
【課題を解決するための手段】
【０００９】
この目的は、本発明の第１の態様において、ロボット清掃デバイスのための、ロボット清掃デバイスの前方の表面のレベル差を検出する方法によって達成される。本方法は、表面を光で照明することと、表面の画像を取り込むことと、光によって生じた取り込まれた画像内の光輝区分を検出することと、検出された光輝区分を表す少なくとも第１の線分及び第２の線分を識別することと、識別された第１及び第２の線分の間の位置関係から、表面のレベル差を検出することと、を含む。
【００１０】
この目的は、本発明の第２の態様において、ロボット清掃デバイスの前方の表面のレベル差を検出するように構成されたロボット清掃デバイスによって達成される。ロボット清掃デバイスは、ロボット清掃デバイスを移動させるように構成された推進システムと、ロボット清掃デバイスの近傍の画像を記録するように構成されたカメラデバイスと、ロボット清掃デバイスの前方の表面を照明するように構成された少なくとも１つの光源と、を備える。ロボット清掃デバイスは、コントローラであって、少なくとも１つの光源を、ロボット清掃デバイスの前方の表面を照明するよう制御し、カメラデバイスを、照明された表面の画像を取り込むよう制御し、少なくとも１つの光源が表面を照明することによって生じた取り込まれた画像内の光輝区分を検出し、検出された光輝区分を表す少なくとも第１の線分及び第２の線分を識別し、識別された第１及び第２の線分の間の位置関係から、表面のレベル差を検出するように構成された、コントローラをさらに備える。
【００１１】
有利に、ロボットデバイスの前方の表面のレベル差を測定することによって、ロボットデバイスが、清掃プログラムを遂行するためにどのように移動するべきであるかを  −  物体又は表面に遭遇するよりかなり前に  −  適時に計画し、さらに、高さがロボットデバイスが横断するには大きいまでになり得る、例えば、上り段などの物体を横断することを回避することが可能になる。
【００１２】
さらに有利なことは、ロボット清掃デバイスの前方の物体又は表面、例えば、厚いラグの高さを検出することによって、ロボットが、ラグの周囲に沿って移動するように制御され得、これにより、ロボットが備え得る任意のサイドブラシを効果的に使用することである。ラグの周囲に沿って清掃した後に、ロボット清掃デバイスはラグの上に登ることがあり、そこでは、ロボット清掃デバイスは、通常、サイドブラシの使用を控えることになる。その代わりに、ロボットは、ラグの繊維がブラシロールに絡まることを回避するために、ロボットが備え得る回転ブラシロールを前及び後方向に交互に回転させることができる。それゆえ、ロボット清掃デバイスの前方の表面及び物体の決定された高さを考慮することによって、任意のブラシロール及び任意のサイドブラシの運動を有利に制御することができる。
【００１３】
一実施形態では、ロボットデバイスは、取り込まれた画像内の識別された第１及び第２の線分の間に不連続が生じていることを検出し、レベル差が、棚部を含むことが検出される。
【００１４】
より単純なロボットデバイスのために有利に実施することができる本実施形態では、取り込まれた画像から、第１及び第２の線分が不連続であると結論することによって、ロボットデバイスの前方の床のレベル差が検出される。
【００１５】
このような不連続が生じた場合には、ロボット清掃デバイスは、一実施形態では、ロボット清掃デバイスの前方の遠くの床は、ロボット清掃デバイスのすぐ前方の床よりも低いレベルに位置すると結論する。しかし、このような方法が用いられる場合には、ロボットデバイスは、レベル差が存在することを知るのみであり、レベル差の高さを査定することはできない。
【００１６】
別の実施形態では、ロボットデバイスは、第２の線分が、取り込まれた画像内の第１の線分の鉛直下方に位置するかどうかを判定する。この場合には、レベル差は棚部を構成する。
【００１７】
より単純なロボットデバイスのために有利に実施することができるさらなる実施形態では、画像から、第１及び第２の線分が第３の線分によって連結されていると結論することによって、ロボットデバイスの前方の床のレベル差が検出される。
【００１８】
第１及び第２の線分の間のこのような連結線分が、取り込まれた画像内に存在する場合には、ロボットデバイスは、ロボット清掃デバイスから遠くの床は、ロボット清掃デバイスのすぐ前方の床よりも高いレベル上に位置すると結論する。それゆえ、隆起に遭遇した。
【００１９】
別の実施形態では、ロボットデバイスは、第２の線分が第１の線分の鉛直上方に位置するかどうかを判定する。この場合には、レベル差は隆起を構成する。
【００２０】
さらなる実施形態では、ロボットデバイスは、例えば、棚部までの距離、及び棚部の高さを決定する。
【００２１】
それゆえ、より精緻なロボット清掃デバイスは、画像座標を実際の現実世界の距離に変換することによって、ｘ及びｙ画像座標から、棚部までの距離及び棚部の高さを決定することができる。
【００２２】
この情報は、清掃対象区域を区分するために有利に用いられ得る。例えば、ロボットデバイスは、隣の部屋に移動する前に、すなわち、下の床へ棚部を降りる前に、ロボットデバイスは、それが現在位置する部屋の清掃を仕上げなければならないと決定し得る。
【００２３】
ロボットデバイスは、棚部の高さを決定した後に、棚部を全く降りないことがさらに想定され得る。例えば、棚部の高さが所定のレベル閾値を超えると仮定すると、これは、棚部の後に階段室が続くことを指示する。この場合には、ロボットが倒れるのを回避するために、ロボットデバイスは制御される、棚部を横切ることでない。
【００２４】
さらに提供されるのは、コンピュータ実行可能命令が、ロボット清掃デバイス内に含まれるコントローラ上で実行されると、ロボット清掃デバイスに、本方法のステップを遂行させるためのコンピュータ実行可能命令を含むコンピュータプログラムである。
【００２５】
なおさらに提供されるのは、コンピュータ可読媒体を含むコンピュータプログラム製品であって、コンピュータ可読媒体は、その上に組み込まれたコンピュータプログラムを有する、コンピュータプログラム製品である。
【００２６】
概して、請求項において使用される全ての用語は、本明細書において別途明示的に定義されない限り、当技術分野におけるそれらの通常の意味に従って解釈されるべきである。「ａ／ａｎ／ｔｈｅ  ｅｌｅｍｅｎｔ，ａｐｐａｒａｔｕｓ，ｃｏｍｐｏｎｅｎｔ，ｍｅａｎｓ，ｓｔｅｐ，ｅｔｃ．（要素、装置、構成要素、手段、ステップなど）」への言及は全て、別途明示的に断りのない限り、要素、装置、構成要素、手段、ステップなどの少なくとも１つの例に言及するものとしてオープンに解釈される。本明細書において開示される任意の方法のステップは、明示的に断りのない限り、開示されている正確な順序で遂行される必要はない。
【００２７】
次に、添付の図面を参照して本発明を例として説明する。
【図面の簡単な説明】
【００２８】
【図１】図１は、本発明の一実施形態に係る、ロボット清掃デバイスが移動する表面上の物体の検出を示す。
【図２ａ】図２ａは、一実施形態に係る、図１の位置Ｐ１にある時にロボット清掃デバイスのカメラによって取り込まれた画像を示す。
【図２ｂ】図２ｂは、一実施形態に係る、図１の位置Ｐ２にある時にロボット清掃デバイスのカメラによって取り込まれた画像を示す。
【図２ｃ】図２ｃは、位置Ｐ２にある時の図１のロボット清掃デバイスの側面図を示す。
【図３】図３は、ロボット清掃デバイスが移動する表面のレベル差を検出する方法の一実施形態を示すフローチャートを示す。
【図４ａ】図４ａは、図２ｂの取り込まれた画像の拡大図を示す。
【図４ｂ】図４ｂは、一実施形態に係る、遭遇した物体までの距離の計算を示す。
【図４ｃ】図４ｃは、一実施形態に係る、遭遇した物体の高さの計算を示す。
【図５】図５は、隆起に遭遇したロボット清掃デバイスの側面図を示す。
【図６】図６は、図５に示される位置においてロボット清掃デバイスによって取り込まれた画像を示す。
【図７】図７は、一実施形態に係るロボット清掃デバイスの底面図を示す。
【図８】図８は、一実施形態に係るロボット清掃デバイスの正面図を示す。
【発明を実施するための形態】
【００２９】
次に、以下において、本発明の特定の諸実施形態が示された添付の図面を参照して、本発明をより完全に説明する。しかし、本発明は多くの異なる形態で具体化することができ、本明細書において説明されている諸実施形態に限定されるように解釈されるべきではない。むしろ、これらの実施形態は、本開示が徹底的で完全になり、本発明の範囲を当業者に十分に伝えることになるよう、例として提供されている。本記載全体を通じて同様の番号は同様の要素を指す。
【００３０】
本発明は、ロボット清掃デバイス、又は換言すれば、表面を清掃するための自動自己推進式機械、例えば、ロボット真空掃除機、ロボットスイーパ又はロボット床洗浄機に関する。本発明に係るロボット清掃デバイスは、商用電源駆動式でコードを有するか、電池駆動式であるか、又は任意の他の種類の好適なエネルギー源、例えば、太陽エネルギーを用いることができる。
【００３１】
図１は、本発明の一実施形態に係る、ロボット清掃デバイスが移動する表面上の物体の検出を示す。
【００３２】
この特定の例示的実施形態では、ロボットデバイス１００は、ロボットデバイス１００が移動する表面（すなわち、床３１）を照明するために１つの鉛直ラインレーザ１２７を用いる。しかし、任意の適切な光源が、表面３１を照明するために想定され得る。さらに、表面のより小さな、又はより大きな部分が照明されてもよい。
【００３３】
図１において見ることができるように、ラインレーザ１２７はレーザビーム３０ａを清掃対象の部屋の床３１及び第１の壁３２上に投影し、その一方で、ロボットデバイス１００はそのカメラ１２３を用いて、照明された表面の画像を取り込む。
【００３４】
図２ａは、第１の位置Ｐ１にある時にロボットデバイス１００のカメラ１２３によって取り込まれた画像４０ａを示す。
【００３５】
図から分かるように、レーザビーム３０ａは床３１及び壁３２上に落ち、対応する照明された区分３０ａ'を画像内に存在させることになる。床３１が壁３２と会する画像４０ａ内の場所が例示目的のためのみに点線で指示されている。点線は、取り込まれた画像４０ａ内には存在しない。取り込まれた画像４０ａから、ロボットデバイス１００は、レーザビーム３０ａが、壁、ソファ、扉又は同様のものなどの、障害物３２に当たっていることを検出する。多数の画像を取り込むことによって、ロボットデバイス１００は高い信頼性をもって特定の障害物３２を識別する能力を有する。異なる種類の光源が用いられるであろう場合には、照明された区分が、取り込まれた画像全体を覆うことさえ想定され得る。図１に例示されるようにレーザビームを用いる利点は、ロボットデバイス１００によって処理される必要のある画像データ量がより少なくてすむことである。
【００３６】
画像４０ａに示されるように、ロボット清掃デバイス１００が、第１の位置Ｐ１にある時に移動する表面が、平坦で平滑な床３１であり、それゆえ、レベル差が存在しないため、レーザ線３０ａが床３１を照明することによって生じた照明された区分３０ａ'は画像４０ａ内において単一の線分で構成される。
【００３７】
次に、図１を再び参照すると、ロボット清掃デバイス１００が第２の位置Ｐ２内へ移動すると、ロボット清掃デバイス１００は、ステップが下の階３５へ通じる戸口３３に遭遇する。この場合も先と同様に、ロボットデバイス１００は、照明された表面の画像を取り込む。
【００３８】
図２ｂは、第２の位置Ｐ２にある時にロボットデバイス１００のカメラ１２３によって取り込まれた画像４０ｂを示す。
【００３９】
この画像において、レーザビーム３０ｂは、例示目的のために画像４０ｂ内において点線で指示される、（上の）床３１及び棚部３４上に落ちることになる。さらに、棚部３４の向こう側に落ちるレーザビーム３０ｂの部分は下の床３５に入射することになる。これは、画像４０ｂ内において、２本の線分、上の床３１上に落ちる第１の線分３０ｂ'、及び下の床３５上に落ちる第２の線分３０ｂ''として指示される。
【００４０】
図解のために、図２ｃは、位置Ｐ２にある時のロボットデバイス１００の側面図を示す。この場合、レーザビーム３０ａは上の床３１上に落ち、棚部３４を超え、下の床３５に落ち、棚部は陰を生じさせる。すなわち、棚部３４によって隠蔽された下の床３５の区分は照明されないことになる。図２ｃに、取り込まれた画像４０ｂ内に出現することになる第１の線分３０ｂ'及び第２の線分３０ｂ''がさらに指示されている。
【００４１】
それゆえ、図３のフローチャートを参照すると、ロボット清掃デバイス１００の前方の表面のレベル差を検出する方法となる。
【００４２】
上述されたように、ロボットデバイス１００は、ステップＳ１０１において、その前方の表面３１を、光で、この例示の実施形態では、ラインレーザ１２７を用いて、構造化された鉛直光で照明し、カメラ１２３を用いて表面の画像を取り込む。
【００４３】
ロボットデバイス１００が、図１に示されるように、位置Ｐ２にある時には、取り込まれた画像は、図２ｂに示される画像４０ｂの出現を有することになる。
【００４４】
取り込まれた画像４０ｂから、ロボットデバイス１００は、ステップＳ１０３において、放射されたレーザ線３０ｂによって生じた光輝区分を検出し、検出された光輝区分を表す第１の線分３０ｂ'及び第２の線分３０ｂ''を識別する。
【００４５】
次に、ステップＳ１０３において２本の線分３０ｂ'、３０ｂ''を識別した後に、ロボットデバイス１００は、ステップＳ１０４において、識別された第１及び第２の線分３０ｂ'、３０ｂ''の間の位置関係から表面３１のレベル差を検出する。
【００４６】
有利に、ロボットデバイス１００の前方の表面のレベル差を測定することによって、ロボットデバイス１００が、清掃プログラムを遂行するためにどのように移動するべきであるかを  −  物体又は表面に遭遇するよりかなり前に  −  適時に計画し、さらに、高さがロボットデバイス１００が横断するには大きいまでになり得る、例えば、上り段などの物体を横断することを回避することが可能になる。
【００４７】
より単純なロボットデバイスのために有利に実施することができる基本実施形態では、２Ｄ画像４０ｂから、第１及び第２の線分３０ｂ'、３０ｂ'が不連続であると結論することによって、ロボットデバイス１００が移動する床３１のレベル差が検出される。
【００４８】
このような不連続が生じた場合には、ロボットデバイス１００は、（下の）床３５が（上の）床３１よりも低いレベルに位置すると結論する。しかし、このような方法が用いられる場合には、ロボットデバイス１００は、レベル差が存在することを知るのみであり、レベル差の高さを査定することはできない。
【００４９】
別の実施形態では、ロボットデバイス１００は、第２の線分３０ｂ''が第１の線分３０ｂ'の鉛直下方に位置するかどうかを判定する。この場合には、レベル差は棚部を構成する。
【００５０】
さらなる実施形態では、図２ｂの取り込まれた画像４０ｂの拡大図を示す図４ａを参照すると、ロボットデバイス１００は、棚部３４までの距離ｌ及び棚部３４の高さｈを決定し、高さｈは、識別された第１及び第２の線分３０ｂ'、３０ｂ''の間の鉛直距離であるものとして決定される。
【００５１】
それゆえ、より精緻なロボット清掃デバイス１００は、画像座標を実際の現実世界の距離に変換することによって、ｘ及びｙ画像座標から、棚部までの距離ｌ及び棚部の高さｈを決定することができる。有利に、ロボットデバイス１００は、棚部３４までの距離ｌ、及び棚部３４の高さｈを知ることになる。
【００５２】
この情報は、清掃対象区域を区分するためにさらに有利に用いられ得る。例えば、ロボットデバイス１００は、隣の部屋に移動する前に、すなわち、下の床３５へ棚部３４を降りる前に、ロボットデバイス１００は、それが現在位置する部屋の清掃を仕上げなければならないと決定し得る。
【００５３】
ロボットデバイス１００は、棚部３４の高さｈを決定した後に、棚部３４を降りないことがさらに想定され得る。例えば、棚部３４の高さｈが所定のレベル閾値を超えると仮定すると、これは、棚部３４の後に階段室が続くことを指示する。この場合には、ロボットが倒れるのを回避するために、ロボットデバイス１００は制御される、棚部３４を横切ることでない。
【００５４】
図４ｂは、ロボットデバイス１００が、「物体」と参照される点までの距離をどのように計算するのかをより詳細に示す。
【００５５】
点は、カメラ１２３がその点を見るために、レーザ１２７によって照明される。点の画像座標（ピクセル単位で測定される）は、カメラ１２３のセンサ１３０上でｘｉと表されることになる。センサ１３０は適切なレンズ１３１の背後に配置されている。
【００５６】
ロボット清掃デバイス１００の製作の間に、カメラ１２３が、カメラ１２３から無限遠（対応する座標はｘｉ，∞と表される）に位置する物体を観察するとした場合に、カメラセンサ１３０上のどこにレーザ線が当たることになるのかに関する校正が遂行される。
【００５７】
この情報から、以下のことを演繹することができる：
【数１】
2020522288.tif 000003
【００５８】
この関係は逆比例である、つまり、物体までの距離が長いほど、測定は敏感になることに留意されたい。よって、所与の点までの距離Ｄを計算することができる。
【００５９】
図４ｃは、図４ｂの教示を用いて物体の高さをどのように計算することができるのかを示す。
【００６０】
「現実」世界において平行である線は、消失点として知られる、画像内の全く同一の点ｖにおいて交差することになる。ロボット１００が移動する床の上方の高さｈに位置する点ｐがレーザ１２３によって照明される場合には、点ｐ及び消失点ｖを通る点線を引くことができる。この点線は現実世界では床と平行である。
【００６１】
床の上の点線の高さΔｙｉが測定されるｘ座標ｘｉ，０を画像内で選択することができる。画像内の点線の高さΔｙｉが、同じ座標ｘｉ，０において（又は少なくともその座標の近くで）常に測定される場合には、現実世界における高さｈを計算するための比例係数ｋを（通例、ｍ／ピクセルの単位で）校正することができる：
ｈ＝ｋ×Δｙｉ
【００６２】
図５は、ロボットデバイス１００が棚部の代わりに隆起３６に遭遇する別のシナリオを示す。例えば、ロボットデバイス１００が、数センチメートルの高さを有し得る厚いラグ、又は上り段に遭遇すると想定され得る。
【００６３】
図６は、隆起３７に遭遇した際にロボットデバイス１００のカメラ１２３によって取り込まれた画像４０ｃを示す。
【００６４】
この画像内において、レーザビーム３０ｃは、ロボットデバイス１００の前方の床３１上、並びにさらに、隆起３６をもたらすラグの縁部、及び上面３７又はラグ上に落ちることになる。これは、取り込まれた画像４０ｃ内において可視の３本の線分３０ｃ'、３０ｃ''及び３０ｃ'''を生じさせることになる。
【００６５】
図６の取り込まれた画像４０ｃから、ロボットデバイス１００は、放射されたレーザ線３０ｃによって生じた光輝区分を再び検出し、検出された光輝区分を表す、第１の線分３０ｃ'、第２の線分３０ｃ''、並びにさらに、第１及び第２の線分を連結する第３の線分３０ｃ'''を識別する。
【００６６】
次に、第１及び第２の線分３０ｃ'、３０ｃ''を識別した後に、ロボットデバイス１００は、識別された第１及び第２の線分３０ｃ'、３０ｃ''の間の位置関係から表面３１のレベル差を検出する。
【００６７】
より単純なロボットデバイスのために有利に実施することができる基本実施形態では、２Ｄ画像４０ｂから、第１及び第２の線分３０ｃ'、３０ｃ''が第３の線分３０ｃ'''によって連結されていると結論することによって、ロボットデバイス１００が移動する床３１のレベル差が検出される。
【００６８】
第１及び第２の線分３０ｃ'、３０ｃ''の間のこのような連結線分３０ｃ'''が、取り込まれた画像４０ｃ内に存在する場合には、ロボットデバイス１００は、ラグの（上）面３７が、床３１よりも高いレベルに位置すると結論する。しかし、このような方法が用いられる場合には、ロボットデバイス１００は、レベル差が存在することを知るのみであり、実際の高さを査定することはできない。
【００６９】
別の実施形態では、ロボットデバイス１００は、第２の線分３０ｃ''が第１の線分３０ｃ'の鉛直上方に位置するかどうかを判定する。この場合には、レベル差は隆起を構成する。
【００７０】
さらなる実施形態では、図６を再び参照すると、ロボットデバイス１００は、上述されたように、隆起３６までの距離ｌ及び隆起３６の高さｈを決定する。
【００７１】
この情報は、清掃対象区域を区分するために有利に用いられ得る。例えば、ロボットデバイス１００は、ラグに登る前に、ロボットデバイス１００は、それが現在位置する部屋の床の清掃を仕上げなければならないと決定し得る。代替的に、隆起が上り段によって生じている場合には、ロボットデバイス１００は、それが上り段を横切って隣の部屋に入る前に、部屋が仕上げられなければならないと決定し得る。
【００７２】
ロボットデバイス１００は、高さｈを決定した後に、ラグ／上り段を全く登らないことがさらに想定され得る。例えば、隆起の高さｈが所定のレベル閾値を超えると仮定すると、これは、ロボットが上り段で立ち往生するのを回避するために、例えば、上り段が、登るには高すぎることを指示し得る。
【００７３】
ロボット清掃デバイス１００のカメラ１２３はマイクロプロセッサなどのコントローラによって、画像を取り込んで記録するように制御される。コントローラは、ロボット清掃デバイス１００が清掃対象表面を横切って移動している間に、検出された物体を表現する画像から特徴点を抽出することによって、並びに上述されたとおりの本発明の方法を用いて、ロボット清掃デバイス１００からこれらの物体までの距離、及び物体の高さを測定することによって、画像から、ロボット清掃デバイス１００が動作している周囲状況の表現又はレイアウトを作成する。それゆえ、コントローラは、記録された画像の検出された物体から清掃対象表面に対するロボット清掃デバイス１００の位置データを導出し、導出された位置データから周囲状況の３Ｄ表現を生成し、駆動モータを、生成された３Ｄ表現と、生成された３Ｄ表現を考慮することによって清掃対象表面が自律的に進路誘導され得るよう、ロボット清掃デバイス１００に供給された進路誘導情報とに従って、ロボット清掃デバイス１００を、清掃対象表面を横切って移動させるように制御する。導出された位置データはロボット清掃デバイスの進路誘導のための基礎の役割を果たすことになるため、位置付けが正しいことが重要である。さもなければ、ロボットデバイスは、その周囲状況の、誤誘導を招く「地図」に従って走行することになる。
【００７４】
それゆえ、カメラ１２３によって記録された画像から生成された３Ｄ表現は、ロボット清掃デバイスが避けて走行しなければならない、壁、フロアランプ、テーブル脚、並びにロボット清掃デバイス１００が横断しなければならない、ラグ、じゅうたん、上り段などの形態の障害物の検出を促進する。それゆえ、ロボット清掃デバイス１００は、動作／清掃によってその環境又は周囲状況について学習するように構成されている。
【００７５】
ロボット清掃デバイス１００は、検出された棚部及び隆起の指示を、ロボット清掃デバイスの周囲状況の作成された表現に有利に追加してもよい。それゆえ、作成された表現に例えば棚部３４の指示を追加することによって、ロボット清掃デバイスが、横断されるべき清掃経路を十分前もって計画し、さらに、棚部３４がロボット清掃デバイス１００の周囲状況の表現内に含まれるため、棚部３４の間近まで接近し、それに沿って移動することが可能になる。
【００７６】
本発明は、十分な処理知能を具備する様々な適切なロボット清掃デバイスによって遂行され得ることが想定されているものの、図７は、本発明の一実施形態に係るロボット清掃デバイス１００を下面図で示す。すなわち、ロボット清掃デバイスの底部側が示される。矢印は、ロボット真空掃除機の形態で示されるロボット清掃デバイス１００の前方方向を指示する。
【００７７】
ロボット清掃デバイス１００は、清掃デバイスが清掃対象表面上を移動させられ得るよう駆動車輪１１２、１１３の運動を可能にするための２つの電気車輪モータ１１５ａ、１１５ｂの形態の駆動手段を備える推進システムなどの構成要素を収容する本体１１１を備える。各車輪モータ１１５ａ、１１５ｂは、ロボット清掃デバイス１００を、清掃対象表面を横切って移動させるために、それぞれの駆動車輪１１２、１１３を互いに独立して回転するように制御する能力を有する。多数の異なる駆動車輪配置、及び様々な車輪モータ配置が想定され得る。ロボット清掃デバイスは、より伝統的な円形状本体、又は三角形状本体を有するデバイスなどの、任意の適当な形状を有し得ることに留意されたい。代替例として、軌道推進システム、又はさらに、ホバークラフト推進システムが用いられてもよい。推進システムは、ロボット清掃デバイス１００に、ヨー、ピッチ、並進又はロール運動のうちの任意の１つ以上のものを遂行させるようにさらに構成されていてもよい。
【００７８】
マイクロプロセッサなどのコントローラ１１６が、車輪モータ１１５ａ、１１５ｂを、ロボット清掃デバイスが避けて走行しなければならない、壁、フロアランプ、テーブル脚の形態の障害物を検出するための障害物検出デバイス（図７には示されていない）から受信された情報を考慮して必要とされるとおりに駆動車輪１１２、１１３を回転させるように制御する。障害物検出デバイスは、例えば、障害物を検出し、任意の検出された障害物についての情報をマイクロプロセッサ１１６へ通信するための３Ｄカメラ、レーザと組み合わせたカメラ、レーザスキャナなどを用いて実装される、障害物検出デバイスの周囲状況を登録する３Ｄセンサシステムの形態で具体化され得る。マイクロプロセッサ１１６は車輪モータ１１５ａ、１１５ｂと通信し、障害物検出デバイスによって提供された情報に従って、ロボット清掃デバイス１００が所望に応じて清掃対象表面を横切って移動することができるように車輪１１２、１１３の運動を制御する。
【００７９】
さらに、本体１１１には任意選択的に、ロボット掃除機１００の底部における開口部１１８内に配置された回転ブラシロールの形態の、清掃対象表面からごみ及び塵を除去するための清掃部材１１７が配置されていてもよい。それゆえ、回転ブラシロール１１７は、ロボット清掃デバイス１００の塵及びごみ捕集特性を向上させるために、開口部１１８内の水平軸に沿って配置されている。ブラシロール１１７を回転させるために、コントローラ１１６から受信された命令に沿ってその回転を制御するためのブラシロールモータ１１９がブラシロールに動作可能に結合されている。
【００８０】
さらに、ロボット掃除機１００の本体１１１は、本体１１１の底部側内の開口部１１８を介して、ごみを、本体内に収容された集塵袋又はサイクロン機構（図示されていない）へ輸送するための空気流を生み出す吸引ファン１２０を備える。吸引ファン１２０は、コントローラ１１６に通信可能に接続されたファンモータ１２１によって駆動される。ファンモータ１２１はコントローラ１１６から、吸引ファン１２０を制御するための命令を受信する。ごみを集塵袋へ輸送するために、回転ブラシロール１１７及び吸引ファン１２０のどちらか一方を有するロボット清掃デバイスが想定され得ることに留意されたい。しかし、両者の組み合わせはロボット清掃デバイス１００のごみ除去能力を向上させることになる。
【００８１】
ロボット清掃デバイス１００の本体１１１は、例えば、ジャイロスコープ、及び／又は加速度計、及び／又は磁力計、あるいは例えば、向き、回転速度、重力などの形態の、基準位置に対するロボット清掃デバイス１００の変位を測定するための任意の他の適切なデバイスなどの、慣性測定ユニット（ＩＭＵ）１２４をさらに装備してもよい。３軸ジャイロスコープは、ロボット清掃デバイス１００のロール、ピッチ及びヨー運動における回転速度を測定する能力を有する。３軸加速度計は、全方向における加速度を測定する能力を有する。加速度は、ロボット清掃デバイスが突き当たっている、又は持ち上げられているかどうか、あるいはそれが立ち往生しているかどうか（すなわち、たとえ、車輪が回っていても、移動していない）を判定するために主に用いられる。ロボット清掃デバイス１００は、車輪が回る際にパルスを生成するエンコーダ（図７には示されていない）を各駆動車輪１１２、１１３上にさらに備える。エンコーダは、例えば、磁気式又は光学式であり得る。コントローラ１１６においてパルスを計数することによって、各車輪１１２、１１３のスピードを決定することができる。車輪スピードの読み値をジャイロスコープ情報と組み合わせることによって、コントローラ１１６は、清掃デバイス１００の位置及び進行方向を決定するための、いわゆる推測航法を遂行することができる。
【００８２】
本体１１１には、開口部１１８に隣接した回転サイドブラシ１１４がさらに配置されていてもよい。回転サイドブラシ１１４の回転は、駆動モータ１１５ａ、１１５ｂ、ブラシロールモータ１１９、又は代替的に、別個のサイドブラシモータ（図示されていない）によって制御され得るであろう。有利に、回転サイドブラシ１１４は清掃対象表面からごみ及び塵を掃きのけ、それにより、ごみは本体１１１の下において開口部１１８へ行き着き、それゆえ、ロボット清掃デバイスの集塵チャンバへ輸送され得る。さらに有利なことは、ロボット清掃デバイス１００の到達範囲が改善されることになり、例えば、隅部、及び床が壁と交わる区域がはるかにより効果的に清掃されることである。図７に示されるように、回転サイドブラシ１１４は、それがごみを開口部１１８に向けて掃きのけ、それにより、吸引ファン１２０がごみを集塵チャンバへ輸送することができるようにする方向に回転する。ロボット清掃デバイス１００は、開口部１１８の両側において、開口部１１８に隣接して横方向に配置された２つの回転サイドブラシを備えてもよい。
【００８３】
図７をさらに参照すると、１つ以上のマイクロプロセッサの形態で具体化されたコントローラ／処理ユニット１１６は、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ又はハードディスクドライブなどの、マイクロプロセッサに関連付けられた好適な記憶媒体１２６にダウンロードされたコンピュータプログラム１２５を実行するように構成されている。コントローラ１１６は、コンピュータ実行可能命令を含む適切なコンピュータプログラム１２５が記憶媒体１２６にダウンロードされ、コントローラ１１６によって実行されると、本発明の諸実施形態に係る方法を実施するように構成されている。記憶媒体１２６はまた、コンピュータプログラム１２５を含むコンピュータプログラム製品であってもよい。代替的に、コンピュータプログラム１２５は、デジタル多用途ディスク（ＤＶＤ）、コンパクトディスク（ＣＤ）又はメモリスティックなどの、好適なコンピュータプログラム製品を用いて記憶媒体１２６へ転送されてもよい。さらなる代替例として、コンピュータプログラム１２５は有線又は無線ネットワークを通じて記憶媒体１２６にダウンロードされてもよい。コントローラ１１６は、代替的に、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、複合プログラマブル論理デバイス（ＣＰＬＤ）などの形態で具体化されてもよい。
【００８４】
上述されたように、ロボットデバイス１００の前方の表面のレベル差を測定することによって、ロボットデバイス１００が、清掃プログラムを遂行するためにどのように移動するべきであるかを適時に計画することが有利に可能になる。
【００８５】
図７を参照すると、ロボット清掃デバイス１００の前方の物体又は表面、例えば、厚いラグの高さを検出することによって、ロボット１００は、ラグの周囲に沿って移動するように制御され得、これにより、サイドブラシ１１４を効果的に使用する。ラグの周囲に沿って清掃した後に、ロボット清掃デバイス１００はラグの上に登ることがあり、そこでは、ロボット清掃デバイス１００は、通常、サイドブラシ１１４の使用を控えることになる。その代わりに、ロボット１００は、ラグの繊維がブラシロール１１７に絡まることを回避するために、回転ブラシロール１１７を前及び後方向に交互に回転させることができる。それゆえ、ロボット清掃デバイス１００の前方の表面及び物体の決定された高さを考慮することによって、ブラシロール１１７及び任意のサイドブラシ１１４の運動を有利に制御することができる。図８は、カメラ１２３、並びに水平又は鉛直指向のラインレーザであり得る、第１及び第２のラインレーザ１２７、１２８を少なくとも備える３Ｄセンサシステムの形態の、上述された障害物検出デバイスを示す、本発明の一実施形態における図７のロボット清掃デバイス１００の正面図を示す。さらに図示されているのは、図６を参照して上述された、コントローラ１１６、本体１１１、駆動車輪１１２、１１３、及び回転ブラシロール１１７である。コントローラ１１６は、ロボット清掃デバイス１００の近傍の画像を記録するためのカメラ１２３に動作可能に結合されている。第１及び第２のラインレーザ１２７、１２８は好ましくは鉛直ラインレーザであってもよく、カメラ１２３の側方に配置されており、ロボット清掃デバイス１００の高さ及び幅よりも大きい高さ及び幅を照射するように構成されている。さらに、カメラ１２３の視野の角度は好ましくは、第１及び第２のラインレーザ１２７、１２８によって照射される空間よりも小さい。カメラ１２３はコントローラ１１６によって、毎秒複数の画像を取り込んで記録するように制御される。画像からのデータがコントローラ１１６によって抽出され、データは通例、コンピュータプログラム１２５とともにメモリ１２６内に保存される。
【００８６】
第１及び第２のラインレーザ１２７、１２８は通例、カメラの光軸と垂直である軸に沿ったカメラ１２３のそれぞれの側に配置されている。さらに、ラインレーザ１２７、１２８は、それらのそれぞれのレーザビームがカメラ１２３の視野内で交差するように向けられている。通例、交点はカメラ１２３の光軸と一致する。
【００８７】
第１及び第２のラインレーザ１２７、１２８は、通常、ロボット清掃デバイス１００の移動方向の、ロボット清掃デバイス１００の近傍を、好ましくは鉛直の向きに、走査するように構成されている。第１及び第２のラインレーザ１２７、１２８は、例えば、清掃対象の部屋の家具、壁及びその他の物体を照射する、レーザビームを送出するように構成されている。カメラ１２３はコントローラ１１６によって、画像を取り込んで記録するように制御される。コントローラ１１６は、ロボット清掃デバイス１００が清掃対象表面を横切って移動している間に、画像から特徴を抽出することによって、及びロボット清掃デバイス１００が走った距離を測定することによって、画像から、ロボット清掃デバイス１００が動作している周囲状況の表現又はレイアウトを作成する。それゆえ、コントローラ１１６は、記録された画像から清掃対象表面に対するロボット清掃デバイス１００の位置データを導出し、導出された位置データから周囲状況の３Ｄ表現を生成し、駆動モータ１１５ａ、１１５ｂを、生成された３Ｄ表現と、生成された３Ｄ表現を考慮することによって清掃対象表面が進路誘導され得るよう、ロボット清掃デバイス１００に供給された進路誘導情報とに従って、ロボット清掃デバイスを、清掃対象表面を横切って移動させるように制御する。導出された位置データはロボット清掃デバイスの進路誘導のための基礎の役割を果たすことになるため、位置付けが正しいことが重要である。さもなければ、ロボットデバイスは、その周囲状況の、誤誘導を招く「地図」に従って走行することになる。
【００８８】
それゆえ、３Ｄセンサシステムによって記録された画像から生成された３Ｄ表現は、ロボット清掃デバイスが避けて走行しなければならない、壁、フロアランプ、テーブル脚、並びにロボット清掃デバイス１００が横断しなければならない、ラグ、じゅうたん、上り段などの形態の障害物の検出を促進する。それゆえ、ロボット清掃デバイス１００は、動作／清掃によってその環境又は周囲状況について学習するように構成されている。
【００８９】
それゆえ、カメラ１２３並びに第１及び第２の鉛直ラインレーザ１２７、１２８を備える３Ｄセンサシステムは、ロボット清掃の近傍の画像を記録するように構成されており、その画像から物体／障害物が検出され得る。コントローラ１１６は、記録された画像から位置データを導出することによって、ロボット清掃デバイス１００を、検出された障害物、及びそれゆえ、清掃対象表面に対して位置付ける能力を有する。位置付けから、コントローラ１１６は、車輪駆動モータ１１５ａ、１１５ｂを介して車輪１１２、１１３を制御することによって、清掃対象表面を横切るロボット清掃デバイス１００の移動を制御する。
【００９０】
導出された位置データは、清掃デバイスが、物体のすぐそばへ接近し、物体のそばを動き回り、物体が配置されている表面からごみを除去するよう進路誘導され得るように、ロボット清掃デバイス１００の移動の制御を促進する。それゆえ、導出された位置データは、例えば、椅子、テーブル、ソファ、厚いラグ又は壁である、物体にぴったりくっついて移動するために利用される。通例、コントローラ１１６は、ロボット清掃デバイス１００が物体に接近して進路誘導されるよう、制御信号を継続的に生成し、駆動モータ１１５ａ、１１５ｂを介して駆動車輪１１２、１１３へ伝える。
【００９１】
本発明の諸実施形態は、カメラと、ロボット清掃デバイス１００が移動する表面を照明するための１つ又は２つのラインレーザとを用いるという状況で説明されたが、完全に照明されている画像の飛行時間測定を利用する周知の３Ｄセンサを用いることがさらに可能であろうことにさらに留意されたい。このような飛行時間３Ｄセンサを用いる場合、取り込まれた画像内の距離はピクセルごとに決定されることになり、検出された物体までの距離は上記のことに沿って決定され得る。
【００９２】
本発明は以上において数個の実施形態を参照して主に説明された。しかし、当業者によって容易に理解されるように、添付の特許請求項によって定義されるように、以上に開示されているもの以外の実施形態も本発明の範囲内で同等にあり得る。
【図１】
2020522288.tif 000004
【図２ａ】
2020522288.tif 000005
【図２ｂ】
2020522288.tif 000006
【図２ｃ】
2020522288.tif 000007
【図３】
2020522288.tif 000008
【図４ａ】
2020522288.tif 000009
【図４ｂ】
2020522288.tif 000010
【図４ｃ】
2020522288.tif 000011
【図５】
2020522288.tif 000012
【図６】
2020522288.tif 000013
【図７】
2020522288.tif 000014
【図８】
2020522288.tif 000015
【国際調査報告】
2020522288.tif 000016
2020522288.tif 000017
2020522288.tif 000018