(57)【要約】【課題】ケーブル等の巻き込みにより清掃行動が中断されることをできるだけ回避することが可能な自律走行型掃除機を提供する。【解決手段】空間内に存在する物体を撮影するためのカメラ５と、撮影した画像から物体の認識をおこなう物体認識アルゴリズムと、自律走行型掃除機の前進方向の床面に向けられた距離を算出するための測距センサ６と、を備え、物体認識アルゴリズムによって対象物を認識した場合、測距センサ６値の平均を取りながら前進し、その平均値と最新のセンサ値の差分が閾値を上回った場合に対象物の有無と、その対象物までの距離を判定する。【選択図】図３
2020174899.tif 000002
【特許請求の範囲】
【請求項１】
物体の有無を検知する第１のセンサと、物体の位置を検知する第２のセンサと、制御ユニットと、を有し、
前記制御ユニットは、前記第１のセンサの検知結果と前記第２のセンサの検知結果に基づいて物体を認識する、自律走行型掃除機。
【請求項２】
前記第１のセンサは動画又は静止画を撮像する撮像部であり、
前記制御ユニットは、前記撮像部により撮像した画像から物体の認識をおこなう物体認識アルゴリズムを備えている、請求項１に記載の自律走行型掃除機。
【請求項３】
前記第２のセンサは物体までの距離を測定する測距センサであり、
ボディに配された２つの駆動輪を駆動する駆動ユニットを有し、
前記制御ユニットは、前記物体認識アルゴリズムにより対象物を認識すると、前記測距センサからの出力値の平均値を取りながら、前記駆動ユニットを駆動し前記ボディを前進させ、前記平均値と前記測距センサからの最新の出力値との差分が閾値を上回ると、物体の有無と、その物体までの距離を算出する、請求項２に記載の自律走行型掃除機。
【請求項４】
学習用画像データから物体認識アルゴリズムを用いて学習モデルを生成する学習モデル生成装置と、
前記学習モデル生成装置からの学習モデルデータを受信する自律走行型掃除機と、を有するシステムであり、
前記自律走行型掃除機は、前記学習モデル生成装置から受信した学習モデルとカメラで撮像した画像を用いて物体を認識する第１の物体認識機能と、
前記第１の物体認識機能で認識した物体との距離に基づいて、物体を認識する第２の物体認識機能と、を有するシステム。
【請求項５】
学習用画像データから特徴を抽出し、学習し、学習モデルを生成するステップと、
生成された学習モデルとカメラで撮像された画像から物体を認識するステップと、
認識した物体との距離に基づいて物体を認識するステップと、
を有する物体認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は自律走行型掃除機、システム、及び物体認識方法に関する。
【背景技術】
【０００２】
近年、自律走行型掃除機に関する技術が数多く公開特許公報にて公開されている。例えば特許文献１には、撮像装置によって撮像された画像に基づいて物体を検出すると共に物体までの距離を算出し、検出された物体の警戒度を設定し、設定した警戒度と物体までの距離に基づいて移動制御する自律走行型掃除機が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２００７７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に示されるように空間内に存在する物体を撮影するための撮像手段と、距離を算出するためのセンサを備えることで障害物を判定して、その結果を用いて駆動装置を制御する自律走行型掃除機はあるが、画像から物体を認識する際に、例えば、実際に敷物が存在するのか、窓から差し込む光が床面に反射して敷物であるかのように見えているのか判別することが難しい場合もある。また、物体までの距離を算出する場合に、超音波センサやレーザセンサ等が用いられることがあるが、このようなセンサだけでは物体が何であるのか判別は難しい場合があり、家庭内に配置される敷物、ケーブルのような高さの低い対象物は測距のために必要な照射面が確保できず、正確に距離を算出することが難しい場合もある。このため、自律走行型掃除機がケーブル等をブラシなどに巻き込みモータがロックされ、清掃行動が中断されることも考えられる。
【課題を解決するための手段】
【０００５】
このような課題を解決するために、本発明の自律走行型掃除機は、物体の有無を検知する第１のセンサと、物体の位置を検知する第２のセンサと、制御ユニットと、を有し、前記制御ユニットは、前記第１のセンサの検知結果と前記第２のセンサの検知結果に基づいて物体を認識する、自律走行型掃除機である。
【０００６】
本発明のシステムは、学習用画像データから物体認識アルゴリズムを用いて学習モデルを生成する学習モデル生成装置と、前記学習モデル生成装置からの学習モデルデータを受信する自律走行型掃除機と、を有するシステムであり、前記自律走行型掃除機は、前記学習モデル生成装置から受信した学習モデルとカメラで撮像した画像を用いて物体を認識する第１の物体認識機能と、前記第１の物体認識機能で認識した物体との距離に基づいて、物体を認識する第２の物体認識機能と、を有するシステムである。
【０００７】
本発明の物体認識方法は、学習用画像データから特徴を抽出し、学習し、学習モデルを生成するステップと、生成された学習モデルとカメラで撮像された画像から物体を認識するステップと、認識した物体との距離に基づいて物体を認識するステップと、を有する物体認識方法である。
【発明の効果】
【０００８】
本発明によると、敷物、ケーブルのような自律走行型掃除機が巻き込み、清掃行動が中断されやすい対象物を検知して、清掃行動が中断されることをできるだけ回避することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態１における自律走行型掃除機の底面図である。
【図２】本発明の実施の形態１における自律走行型掃除機の断面図である。
【図３】本発明の実施の形態１における自律走行型掃除機のブロック図である。
【図４】本発明の実施の形態１における物体認識アルゴリズムの認識結果例を示す図である。
【発明を実施するための形態】
【００１０】
第１の実施態様は、物体の有無を検知する第１のセンサと、物体の位置を検知する第２のセンサと、制御ユニットと、を有し、前記制御ユニットは、前記第１のセンサの検知結果と前記第２のセンサの検知結果に基づいて物体を認識する自律走行型掃除機である。
【００１１】
このような構成とすることにより、本実施例の自律走行型掃除機では、検知することが難しい敷物、ケーブルのような高さが低く、自律走行型掃除機が巻き込み清掃動作が中断されやすい物体を正確に検知して、清掃行動が中断されることをできるだけ回避することができる。
【００１２】
第２の実施態様は、前記第１のセンサは動画又は静止画を撮像する撮像部であり、前記制御ユニットは、前記撮像部により撮像した画像から物体の認識をおこなう物体認識アルゴリズムを備えている自律走行型掃除機である。
【００１３】
第３の実施態様は、前記第２のセンサは物体までの距離を測定する測距センサであり、ボディに配された２つの駆動輪を駆動する駆動ユニットを有し、前記制御ユニットは、前記物体認識アルゴリズムにより対象物を認識すると、前記測距センサからの出力値の平均値を取りながら、前記駆動ユニットを駆動し前記ボディを前進させ、前記平均値と前記測距センサからの最新の出力値との差分が閾値を上回ると、物体の有無と、その物体までの距離を算出する、自律走行型掃除機である。
【００１４】
第４の実施態様は、学習用画像データから物体認識アルゴリズムを用いて学習モデルを生成する学習モデル生成装置と、前記学習モデル生成装置からの学習モデルデータを受信する自律走行型掃除機と、を有するシステムであり、前記自律走行型掃除機は、前記学習モデル生成装置から受信した学習モデルとカメラで撮像した画像を用いて物体を認識する第１の物体認識機能と、前記第１の物体認識機能で認識した物体との距離に基づいて、物体を認識する第２の物体認識機能と、を有するシステムである。
【００１５】
第５の実施態様は、学習用画像データから特徴を抽出し、学習し、学習モデルを生成するステップと、生成された学習モデルとカメラで撮像された画像から物体を認識するステップと、認識した物体との距離に基づいて物体を認識するステップと、を有する物体認識方法である。
【００１６】
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、この実施の形態によって本発明が限定されるものではない。
【００１７】
（実施の形態１）
図１は、本発明の実施の形態における自律走行型掃除機の底面図である。
【００１８】
図１において、本実施例装置である自律走行型掃除機のボディ１には、ゴミを吸い込むための吸込口２と、２つの駆動輪３と、サイドブラシ４と、カメラ５と、測距センサ６が
搭載されている。更に、ボディ１内部には制御ユニット１００が配置されている。
【００１９】
吸込口２には、絨毯等に付着したゴミをかき上げる為のメインブラシ（図示せず）が配置されており。ボディ１内部に配置されている吸引モータ（図示せず）が発生した吸引風によりメインブラシによりかきかき上げられたゴミが吸込口２に吸込まれるようになっている。
【００２０】
右側の駆動輪３と左側の駆動輪３夫々には駆動輪３用のモータ（後述する駆動部１２）が接続されており、右側の駆動輪３と左側の駆動輪３は、夫々同時に或いは別々に駆動される。
【００２１】
サイドブラシ４は、ボディ１裏面の図１中左側前方に設けられており、吸込口２に向かって、即ち図１において時計周りに回転する。これにより、ボディ１前方に存在するゴミを吸込口２に向けて集めることができる。尚、本実施例ではサイドブラシ４はボディ１裏面の図１中左側前方に設けられているが、ボディ１裏面の図１中右側前方にも設けても良い。
【００２２】
カメラ５は、ボディ１の前方に配置されており、ボディ１前方を撮影するためのカメラである。カメラ５は動画または静止画を撮像するものであり、本実施例装置では、制御ユニット１００が、カメラ５が撮像した情報に基づいて物体の有無を判定することが可能である。
【００２３】
測距センサ６は、例えば赤外線センサ等でありボディ１の前方に配されており、障害物までの距離を検知する。測距センサ６は、本実施例では発光素子と受光素子からなる光学式のセンサを使用しており、赤外線センサ以外にレーザセンサ等を用いても良い。
【００２４】
ボディ１内部に配された制御ユニット１００は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）のような半導体素子であり、この半導体素子そのもの或いは、この半導体素子を搭載した回路基板全体を指している。
【００２５】
図２は、本発明の実施の形態における自律走行型掃除機の側面図である。尚、本発明と関連のある構成の一部は破線により示している。
【００２６】
図２に示すように、ボディ１前面近傍に搭載されている測距センサ６は、ボディ１前面から距離Ｄ先の床面へセンサ軸が向けられている。
【００２７】
測距センサ６から得られる測距値を監視することで、前進方向の床面８までの高さが変化することに加えて、その変化が起こる地点から自律走行型掃除機までの距離Ｄが分かる。
【００２８】
測距センサ６の上方にはカメラ５が配置されている。尚、本実施例では測距センサ６の上方にはカメラ５を配置したが、測距センサ６の下方、或いは左右側に配置しても良い。
【００２９】
図３は本実施例装置である自律走行型掃除機及びシステムのブロック図である。
【００３０】
図４は本発明の実施の形態における物体認識アルゴリズムの認識結果例を示す図である。
【００３１】
図３において、制御ユニット１００は主に第１ブロック１０１と第２ブロック１０２とを有している。第１ブロック１０１は、物体認識アルゴリズムによりカメラ５で撮像され
た画像から物体を認識するためのブロックである。
【００３２】
第２ブロック１０２は、第１ブロック１０１の認識結果から、更に正確に物体を認識するまでの各種処理を行うためのブロックであり、詳細は後述する。
【００３３】
ＰＣ２００は、所謂パーソナルコンピュータであり、複数の学習用画像データを格納しており、この学習用画像データから物体認識アルゴリズムを用いて特徴抽出を行い、学習を行った後に学習モデルを生成する。
【００３４】
制御ユニット１００とＰＣ２００は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ケーブル等により接続可能であり、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）２００で生成された学習モデルは制御ユニット１００に送信することが可能である。
また、制御ユニット１００は、ＰＣ２００から受信した学習モデルを例えばフラッシュメモリのような不揮発性メモリに記憶することが可能である。学習モデルの容量が多くなる程メモリの容量も必要であるため、半導体メモリではなくハードディスクのような記憶媒体を用いても良い。
【００３５】
或いは、ＰＣ２００の図３に示すブロックをサーバー等に設け、ネットワークを介してサーバーと制御ユニット１００を接続する構成としても良い。この場合、サーバーから制御ユニット１００に学習モデルが送信されることになる。
【００３６】
本実施例では、物体認識アルゴリズムと測距センサ６の検知結果に基づいて、物体（対象物１０）の認識を行っている。本実施例のシステムでは、予め、ＰＣ２００側で物体認識アルゴリズムに自律走行型掃除機が巻き込み清掃動作が中断されやすい物体である敷物、ケーブル等の画像データを多数取り込み、特徴抽出を行い、学習モデルを生成する。
【００３７】
次に、ＰＣ２００側から制御ユニット１００に学習モデルを実装する。この制御ユニット１００への実装は、先ほど述べたように例えばＵＳＢケーブル等でＰＣ２００と制御ユニット１００を接続することにより行われる。
【００３８】
本実施例の自律走行型掃除機は清掃中にカメラ５で自律走行型掃除機の前方を撮影し、制御ユニット１００に撮影した画像データを送信する。
【００３９】
制御ユニット１００は、各対象物の特徴を学習した学習モデルを既に有しており、図４に示すように、送信された画像データ９内から学習した種類の対象物１０（例えば敷物）の有無と画像内のどの位置に対象物１０が存在するか、検知枠１１を出力することで表し、この画像データから、検知枠１１の下端から画像下端までの画素数より距離Ｘを算出する。
【００４０】
なお、画像データ９から距離Ｘを取得する処理は制御ユニット１００内部で行われる処理であり必ずしも画像を出力、表示して確認する必要はない。
【００４１】
次に、制御ユニット１００の第１ブロック１０１で対象物１０を認識し、第２ブロック１０２で、自律走行型掃除機から対象物１０までの距離がｘ以下と判定したとき、駆動部１２を制御することにより自律走行型掃除機を減速させ、測距センサ６のセンサ値Ｓを取得し始める。
【００４２】
第２ブロック１０２は、減速走行中のセンサ値は常に平均を取り、その値をＳａｖｅとする。測距センサ６のセンサ値は前進方向床面を向いているが、敷物が敷かれているなど
走行面の高さが変化するとセンサ値に変化が起こる。
【００４３】
第２ブロック１０２は、それを想定した閾値Ｔを用意して、減速中のセンサ値平均と最新のセンサ値の差分が閾値を超える、すなわち、Ｓａｖｅ―Ｓ＞Ｔとなるとき自律走行型掃除機の前進方向の距離Ｄに自律走行型掃除機が巻き込み清掃動作が中断されやすい対象物があると判断できる。
【００４４】
尚、閾値Ｔを用意したのは、例えばゴミ等により測距センサ６の検知した値が変動し、絨毯等があると誤検知することを回避するためである。
【００４５】
また、より確実に対象物を判断するため物体認識アルゴリズムが対象物１０を認識した後、駆動輪３を制御して減速を行っているが、行わなくとも自律走行型掃除機の前進方向の距離Ｄに自律走行型掃除機が巻き込み清掃動作が中断されやすい対象物があると判断できる。
【００４６】
また、測距センサ６のセンサ値取得について、物体認識アルゴリズムを用いず、自律走行型掃除機が走行中、常にセンサ値を取得する方式でも走行面の高さが変化する距離は分かるが、その場合、走行面の凹凸や塵埃のような、自律走行型掃除機が巻き込み清掃動作が中断されやすい対象物以外と区別がつかず、対象物を正確に判断できない。
【００４７】
また、測距センサ６を使用せずに画像データ９から距離Ｘを取得して、対象物の位置を算出することも可能だが、図４に示すような検知枠１１は物体認識技術の性質上、必ずしも対象物１０の下端と検知枠の下端が一致するわけではなく、さらに、本当に対象物が存在するのか、例えば、窓から差し込む光が床面に反射して敷物であるかのように見えているだけなのか、誤認識をする可能性もあるが、本実施の形態であれば、測距センサ６で走行面の高さの変化を見ることで、より正確に対象物を検知できる。
【００４８】
以上のように、本実施の形態においては、従来の技術では検知することが難しかった敷物、ケーブルのような高さが低く、自律走行型掃除機が巻き込み清掃動作が中断されやすい対象物を正確に検知できることで、清掃行動が中断されない自律走行型掃除機を提供できる。
【産業上の利用可能性】
【００４９】
本発明は、家庭用の自律走行型掃除機や業務用の自律走行型掃除機等広く適用できる。
【符号の説明】
【００５０】
１  ボディ
２  吸込口
３  駆動輪
４  サイドブラシ
５  カメラ
６  測距センサ
８  床面
９  画像データ
１０  対象物
１１  検知枠
１２  駆動部
１００  制御ユニット
１０１  第１ブロック
１０２  第２ブロック
２００  ＰＣ
【図１】
2020174899.tif 000003
【図２】
2020174899.tif 000004
【図３】
2020174899.tif 000005
【図４】
2020174899.tif 000006