(57)【要約】環境3内で自律移動する処理装置１の環境マップを作成する方法に関し、検知装置４が環境的特徴５および／または環境３内の物体６を検知し、かつ環境的特徴５および／または物体６の位置データが評価装置により環境マップ２へと処理される。直感的なユーザ−処理装置間の対話を実現するために、本発明は、検知された環境的特徴５および／または物体６が３Ｄ再構成を介して写実的な三次元環境マップ２へと処理される。【選択図】図３
2020502653.tif 000002
【特許請求の範囲】
【請求項１】
環境（３）内で自律移動する処理装置（１）のために環境マップ（２）を作成する方法であって、検知装置（４）が環境（３）内の環境的特徴（５）および／または物体（６）を検知し、かつ環境的特徴（５）および／または物体（６）の位置データが評価装置により環境マップ（２）へと処理される、前記方法において、
検知された環境的特徴（５）および／または物体（６）が、３Ｄ再構成によって写実的な三次元環境マップ（２）へと処理されることを特徴とする方法。
【請求項２】
環境的特徴（５）および／または物体（６）、特に物体点（Ａ、Ｂ）および／または物体面が、検知装置（４）の異なる視点から時系列で記録され、環境マップ（２）が、連続した記録から再構成されることを特徴とする請求項１に記載の方法。
【請求項３】
環境的特徴（５）および／または物体（６）が、特に床を掃除する枠組みの中で、処理装置（１）による移動中に記録されることを特徴とする請求項１または２に記載の方法。
【請求項４】
検知装置（４）が、環境（３）の画像を記録するカメラであることを特徴とする請求項１〜３のいずれかに記載の方法。
【請求項５】
検知された環境的特徴（５）および／または物体（６）が、環境マップ（２）を作成するために、外部装置（８）、特にモバイル装置（８）および／またはサーバで処理されることを特徴とする請求項１〜４のいずれかに記載の方法。
【請求項６】
環境マップ（２）が、外部装置（８）、特にモバイル装置（８）のディスプレイ（７）に表示されることを特徴とする請求項１〜５のいずれかに記載の方法。
【請求項７】
表示された環境マップ（２）の少なくとも１つの部分領域および／または環境マップ（２）に表示された物体（６）を、回転、拡大、および／または移動させることができることを特徴とする請求項６に記載の方法。
【請求項８】
処理装置（１）のユーザが、環境マップ（２）に存在する部屋および／または部屋の部分領域および／または物体（６）に、名称および／またはカラーコードおよび／または記号を割り当て、それらは、処理装置（１）の動作を制御するための制御コマンドに組み込むことができることを特徴とする請求項１〜７のいずれかに記載の方法。
【請求項９】
環境マップ（２）内の物体（６）が、環境マップ（２）から切り取られて抽出され、抽出された物体（６）および／または抽出されたオブジェクト（６）によって縮小された環境マップ（２）が、データ処理プログラムにインポートされ、データ処理プログラムによりさらに処理されることを特徴とする請求項１〜８のいずれかに記載の方法。
【請求項１０】
環境マップ（２）に処理装置（１９）の現在位置が表示されることを特徴とする請求項１〜９のいずれかに記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、環境内を自律移動する処理装置のために環境マップを作成する方法に関し、検知装置が環境内の環境的特徴および／または物体を検知し、環境的特徴および／または物体の位置データが評価装置によって環境マップへと処理される。
【背景技術】
【０００２】
上記のタイプの方法は先行技術において知られている。例えば、床面を清掃するために使用される処理装置は、必要に応じて例えば家庭内などの環境内で、予めプログラムされた移動および処理の方針に従って自律的に移動する。これに関連して、処理装置が家の環境マップを、おそらく家の中のいくつかの部屋のためのいくつかの環境マップを有することも同様に知られている。環境マップは、処理装置のデータメモリまたは外部装置に格納されることが好ましい。環境マップは、例えば障害物および／または家具、仕切り壁などの物体の位置データを含む。
【０００３】
環境マップの作成において、処理装置が学習走行の枠組み内で環境を通過できるようにすることが知られている。しかしながら、環境マップは、同様に、処理装置の処理実行中に作成されるかまたは少なくとも補足されることができる。
【０００４】
環境を検知するための様々な検知装置が従来技術において知られている。例えば、特許文献１は、全方位スキャナを備えた処理装置を開示している。検知は、物体までの距離を計測する光学式三角測量プロセスに基づいている。
【０００５】
従来技術からさらに、処理装置上に配置されたカメラによって記録された、モザイクのようにつなぎ合せた画像から環境マップを作成することが知られている。
【０００６】
例えば、環境マップは、視覚的ＳＬＡＭ（simultaneous localization and mapping：同時位置認識およびマッピング）の既知の方法に基づいて検知装置によって記録されたデータを用いてまとめることができる。ここで、検知装置の新たに記録されたデータは、一方では処理装置を環境マップに位置付けるために、他方では既存の環境マップを拡張または改善するために使用される。
【０００７】
環境マップが既知の方法で作成され得るとしても、ユーザにとっては、読むことが部分的に困難である。これは、処理装置の環境がしばしば２Ｄグリッドマップとして表示されるからである。このグリッドマップは、非常に単純化された、環境の概略図であり、部屋の間取り図に似ている。間取り図は、典型的には、処理装置の作業高さに対応する水平検知面内で記録された情報を専ら含み、そして壁−床間の移行部のような環境的特徴と、家具のアイテムのような物体とを区別しない。ベッド、テーブル、または椅子など、床との隙間がある物体は、通常、その全体が環境マップに記録されず、検知面内にあるテーブルの脚のような部分のみが記録される。その結果、既知のグリッドマップは、人間の知覚を反映していないため、全体的にユーザにとって直感的に把握しにくいものである。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】独国特許録出願公開第10 2008 014 912号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
したがって、本発明の目的は、作成された環境マップが、従来技術で知られている環境マップよりも、ユーザにとって読みやすい環境マップを作成する方法を開発することである。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、本発明は、検知された環境的特徴および／または環境内の物体を３Ｄ再構成によって写実的な三次元環境マップへと処理することを提案する。
【００１１】
本発明による環境の写実的な三次元再構成は、処理装置のユーザに対して環境の直観的な視野を提供し、それは従来技術により以前から作成されていた、しばしば概略的なままの二次元環境マップよりも多くの情報を含む。その結果、ユーザは、環境マップ内で自分の経路を容易に見つけ、処理装置を追って、処理装置に対しタスクを処理するための命令を出すことができる。３Ｄ再構成は、環境的特徴または物体を記録する間に失われた環境に関する深度情報を復活させる。このことは、環境のシーン内で環境的特徴または物体を検知する間に存在する欠点を排除する。作成された写実的な三次元環境マップは、ユーザが自分の目で直接環境を知覚するのと同じ方法で、処理装置のユーザに環境を表示する。ここで、表示される環境の視点は、その環境が記録された視点に依存し、すなわち、ユーザがその環境内の物体に対して有する通常の鳥瞰的視点よりもさらに低い平面上の視点に依存する。しかしながら、壁と部屋天井との間の移行部も、例えば処理装置からの仰視として表示することができる。検知装置は、基本的には、処理装置に対して変位可能な別個の装置、例えば携帯電話のカメラ、タブレットコンピュータなどであってもよい。
【００１２】
例えば、環境的特徴とは、部屋の壁、床、および天井の間の移行部を意味すると意図されている。物体という用語は、先ず何よりも障害物として理解され、例えば、処理装置の移動経路を遮る家具である。
【００１３】
環境的特徴および／または物体、特に物体点および／または物体面が、検知装置の異なる視点から時系列で記録されることが提案される。その場合、環境マップは、連続した記録から再構成される。移動中、ある時間間隔で検知装置により、例えば具体的にはカメラ画像または距離計測装置の距離データであるデータが記録される。連続する記録の間の時間的および／または空間的な距離が認知され、その場合、記録が、規則的な間隔で生じることが特に好ましく、その規則性は、時間成分または検知装置による移動の距離成分のいずれかに関することが可能である。その後、例えばカメラ画像である２つの記録の間における検知装置によりカバーされる範囲の知見が与えられると、特に処理装置の移動距離が与えられると、環境内の環境的特徴および／または物体の三次元位置を２つの連続する記録から計算することができる。空間的な距離は、ここでは例えば処理装置のオドメトリ装置により計算することができる。位置は、例えばコーナーや他の壁−床若しくは壁−天井の移行部である環境的特徴のみに関してではなく、面に関しても推定される。面は、点群または例えば長方形や三角形のプリミティブ面として表現することができる。マップが点群により構築されることも考えられる。それらの点群は、後続の処理ステップにおいてプリミティブ面に変換される。これは、処理すべきデータの量を低減することを可能とする。
【００１４】
環境マップは、視覚的ＳＬＡＭ（simultaneous localization and mapping：同時位置認識およびマッピング）の既知のモデルにしたがって作成することができる。その場合、点群および／またはプリミティブ面を処理するためにアルゴリズムが用いられる。用いられるマップ表現のタイプによって、ＳＬＡＭアルゴリズムは、検知装置より記録されたデータが、ここでは、一方では環境マップを作成し、拡大しまたは改良するために用いられ、そして他方では同時に環境マップ内で処理装置を位置付けるために用いられることにおいて共通する。原則として、新たに記録されたデータは、確率推定法または最適化法を用いて環境マップの既存のデータと融合される。全体として、その後、検知装置の時間的におよび／または空間的に離間した記録を、環境の各環境的特徴および／または物体の世界座標系に関する位置を計算するために用いることができる。特に、物体点および／または物体面が、世界座標系の特定の点を受け取る。
【００１５】
特に、環境的特徴および／または物体が処理装置の移動中に、特に床処理動作の枠組み内で記録されることが提案される。例えば、処理装置の掃除動作中に環境マップを作成することができる。このことは、環境マップを作成するためにデータを記録する処理装置が別途行う検知走行を不要とする。それに替えて、処理装置が例えば床の吸引および／または拭き取りの処理タスクを行わない特定の検知走行を行った後のある時点に、環境マップをまとめることもできる。このような検知走行は、処理装置により自動的に、または処理装置のユーザにより制御することができる。さらに、処理装置の処理活動後のある時点に、例えば処理装置が充電目的でベースステーションに位置する場合、環境マップをまとめることも可能である。検知走行、処理走行、またはそれらの組合せの各走行の終了時、処理装置が、アクセス可能な環境全体をマッピングしかつ対応する３Ｄモデルを演算しており、それによってユーザが対話できるか、または、それが他の用途のための開始点として用いられることが好ましい。
【００１６】
検知装置が、環境の画像を記録するカメラであることが提案される。特に単純な場合、検知装置を、処理装置に（または別のモバイル機器に）搭載された一方向カメラとすることができる。それに替えて、環境の画像を、多方向カメラシステムを用いて、すなわち一方向カメラよりも格段に大きな視野をもつカメラシステムを用いて記録することもできる。例えば、このようなカメラシステムは、３６０°の水平視野を備えたパノラマカメラシステム、または、１８０°またはそれ以上の視野をもつ魚眼レンズを反対方向に備えたカメラシステムとすることができる。さらに、２つのカメラが横並びに配置されるステレオカメラシステムを用いるか、または、既知のドットパターンを投影することによりステレオ演算を行う、しばしばＲＧＢ−Ｄカメラと称される深度カメラを用いることができる。同様に、天井を指向するカメラを用いることもできる。いくつかの光学システムまたは検知装置を互いに組み合わされることが特に好ましい。
【００１７】
カメラを検知装置として用いることに替えてまたは加えて、特に１つの面のみでなく複数の面で旋回することによりデータを取得することが特に好ましいレーザ距離センサを用いることもできる。さらに、例えばカメラからのデータと例えばレーザ距離計である距離計測装置からのデータとを組み合わせることによって、画像センサと距離センサからの情報を互いに融合させることもできる。
【００１８】
環境マップを作成するために検知された環境的特徴および／または物体が、外部装置において、特に携帯装置および／またはサーバにおいて処理されることが提案される。したがって環境マップを作成するために必要な演算を、処理装置の別個の搭載コンピュータのみによってではなく、それに替えて外部サーバすなわちクラウドによって、または例えば携帯電話、ラップトップ、タブレットコンピュータ等の携帯端末のコンピュータによって行うことができる。部分的な解決手段も考えられ、その場合、演算が、部分的に処理装置自体で行われ、そして部分的にサーバのような外部装置で行われる。例えば、点群に基づいたＳＬＡＭ法を処理装置上で行うことができる一方、サーバ上でマップ表現がプリミティブ面に変換される。少なくとも部分的な外部演算が行われる場合、検知された環境的特徴および／または物体、またはそれらから既に演算されたデータが、好適には無線ネットワーク接続を介して、ある量のデータとして外部装置に送信され、そして外部装置が演算を実行する。
【００１９】
環境マップが、外部装置の、特に携帯装置のディスプレイ上に表示されることが提案される。その結果、環境マップとユーザ対話を、処理装置自体ではなく外部装置上で視覚化することができる。特に推奨されることは、携帯端末のディスプレイ上での視覚化である。例えば、環境マップを、携帯電話、ラップトップ、タブレットコンピュータ、テレビ、フードプロセッサ等のディスプレイ上で視覚化することができる。しかしながら、環境マップを、処理装置の対応する動作要素と関係付けて処理装置のディスプレイ上に示すことも考えられる。後者の場合、ネットワークを介したデータ処理は不要となる。環境マップは、そのマップの構築中に既に表示することができ、かつ／または、環境内での処理装置による移動が完了したときにのみ表示することもできる。
【００２０】
表示された環境マップの少なくとも１つの部分領域および／または環境マップに表示されたオブジェクトを、回転、拡大および／または移動させることができるようにしてもよい。その結果、ユーザは環境マップの見え方を変更することができ、例えば、視点を変えたり、視野を拡大したりかつ／または移動させたりすることなどができる。例えば、物体の見え方も変えることができ、それによって、物体を表示している視点が環境内のユーザの現在の見え方を反映するようにできる。それに替えて、処理装置の現在の移動方向を反映した見え方となるように、環境マップ内の物体、または環境マップに表示された全体を回転することができる。
【００２１】
さらに、処理装置のユーザが、環境マップに存在する部屋および／または部屋の部分領域および／または物体に対し名称および／またはカラーコードおよび／または記号を割り当てるようにすることができる。それらは、処理装置の移動を制御するための制御コマンドに組み込むことができる。これによって、処理装置のユーザが環境マップ内で自分自身を方向付けることがより容易になる。例えば色および／または名称を割り当てることによって家の中の部屋をラベル付けすることができ、例えば「台所」という名称および赤い色付けである。各部屋に替えて、部屋の各領域にのみ同様に名称を付けることができ、例えば「犬コーナー」という名称および茶色が与えられる。加えて、例えば「ソファ」、「ベッド」等の名称を割り当てることによって特定の対象物に印付けすることができる。
さらに、環境マップ内の処理装置の現在位置を表示することができる。これは、例えば、処理装置を表すために点またはフラグのような記号を表示することによって行うことが簡単である。環境マップ内の処理装置の３Ｄモデルは、かなり複雑な描画で表示される。名称および／またはカラーコードおよび／または記号に基づいて、処理装置と対話するための機能を実装することができる。例えば、割り当てられる名称および／または割り当てられるカラーコードは、処理装置が接近するべき環境内の開始点または位置を選択するために命名することができる。例えば、環境マップ内のベースステーションの位置は、バッテリを充電するために処理装置をそこに送るために選択することができる。処理装置が接近するべき規定の部屋または規定の領域は、例えば「居間を掃除せよ」または「犬のコーナーを掃除せよ」のようなコマンドを通して選択することができる。さらに、名称またはカラーコードとリンクしていない領域を、例えばスポットクリーニングのための印付けによって選択することができる。同様に、環境マップ内において、処理されずに通過されるべき領域または部屋、処理されるべきでないが通過できる領域または部屋、あるいは、特に念入りにまたは特定の処理パラメータで処理されるべき領域または部屋を選択することも可能である。
【００２２】
処理装置が、ユーザ対話のためにディスプレイ上でユーザに対して表示される環境マップ以外に、ナビゲーション用の環境マップを用いる場合、表示された環境マップ内でユーザにより選択された位置が、例えば処理装置により用いられる環境マップに正確に変換されることが確保されなければならない。例えば、このような変換が必要となるのは、ユーザに表示される環境マップが、例えば点群をプリミティブ面に変換することにより大きく改変されたときである。外れ値の除去、すなわち誤った計測値／障害物点の除去、または点群に対する直線セグメントの調整等が行われる。
【００２３】
環境マップ内の物体が環境マップから切り取られかつ抽出されるようにできる。その場合、抽出された物体および／または抽出された物体によって縮小された環境マップが、データ処理プログラムにインポートされ、データ処理プログラムによってさらに処理される。３Ｄ環境マップから開始して、環境の各物体、例えば各家具を切り取って抽出することができる。例えば、切り取りは、床領域、天井および／または壁、例えば、隆起のない水平面としての床、天井高さとしての壁、鉛直面などをさらに検知することに基づいて行うことができる。以下では、物体が、３Ｄ環境マップから減算される、すなわち除去される。
３Ｄモデル内で背後に残っている構造は、専ら環境内の物体である可能性が高く、例えば約８０ｃｍ〜１２０ｃｍの距離で、適切な高さにおいて床領域に平行な面について探査することにより家具として識別することができる。これにより、テーブル、椅子、キャビネット、棚、その他多数の家具などの物体を識別できる。例えば、ユーザはその後、さらなる処理のために、切り取られた物体を別の３Ｄモデリングプログラムにインポートすることができる。例えば、複数の家具を環境から取り除き、それらの複数の家具のない部屋または家の間取り図を得ることができる。例えば、この間取り図は、部屋を計測したり、家具データベースから別の家具を３Ｄモデルに組み入れたりして、家や部屋の家具をどのように変えるか、他の家具の配置がどのように見えるかを確認するなどために用いることができる。
ユーザは、演算された環境の３Ｄモデルをネットワークにアップロードして他のユーザと共有することができる。これは適切なプラットフォーム、例えばフェイスブックのようなソーシャルメディアプラットフォーム、特別な家具ポータルサイトなどの枠組みの中で行うことができる。
それに替えて、処理装置は、必要に応じて外部装置、サーバなどにアクセスして、既に計算済みの３Ｄモデルを基準として記憶することもできる。例えば処理装置の巡回走行中に環境の変化を検知するために、処理装置はその現在の検知装置を基準モデルと比較することができる。その過程で考えられない変化または動く物体が検知された場合、例えばユーザが携帯端末装置でメッセージを受信することによって、処理装置が警報を出力することができる。
【００２４】
最後に、環境マップ内の処理装置の現在位置を表示することが提案される。このことは、例えばユーザが現在居る部屋とは異なる部屋に処理装置が配置されているためにユーザが処理装置を知覚することができないとき、例えばユーザに対し環境内の処理装置の現在位置に関する情報を提供する。
【図面の簡単な説明】
【００２５】
【図１】図１は、処理装置の外観斜視図である。
【図２】図２は、処理装置が移動経路に沿って移動する環境である。
【図３】図３は、環境計測中の処理装置である。
【図４】図４は、写実的な三次元環境マップである。
【発明を実施するための形態】
【００２６】
以下、実施形態を参照して本発明をさらに詳細に説明する。
図１は、ここでは吸引ロボットとして構成されている自律移動する処理装置１を示す。処理装置１は、処理装置１のハウジングの内部に配置された検知装置４を有する。検知装置４は、ここでは例えばＣＭＯＳまたはＣＣＤチップであるカメラチップであり、それは同じく処理装置１のハウジング内に配置されたミラーを介して環境３の画像を受信する。検知装置４は、例えばここでは３６０°で回転可能にハウジングの内部に配置されることによって、環境の画像を処理装置１の全方位で記録することができる。検知装置４をカメラとして構成することに替えて、検知装置４が光学式三角測量装置等として構成されることもできる。
【００２７】
処理装置１は、走行輪（図示せず）により掃除対象面上を移動することができる。さらに、掃除対象面に対向する処理装置１の底面は、電動モータ駆動ブラシ（同じく図示せず）を有する。さらに、処理装置１のブラシ領域は、吸引口（詳細には図示せず）を有し、それを通して吸引物を含む空気を、モータファンユニットによって処理装置１内に吸引することができる。処理装置１は、個々の電気部品に電気を供給するための、例えば走行輪およびブラシ並びにそれに設けられた他の電子回路を駆動するための再充電可能なバッテリを有する。
【００２８】
検知装置４により記録された環境３の画像は、環境マップ２に組み合わせることができ、そのマップは、視覚的ＳＬＡＭ（simultaneous localization and mapping：同時位置認識およびマッピング）既知の方法によってまとめられる。
【００２９】
図２は、ここでは家の部分領域である処理装置１の環境３を示し、その中で処理装置１は自律移動することができる。処理装置１は、移動経路９に沿って環境３を通って移動し、移動経路９は、等間隔に離間した複数の計測箇所１０を有し、そこで、検知装置４が環境３の環境的特徴５および／または物体６を記録する。２つの計測箇所１０の間の移動距離ｄはオドメトリにより推測することができ、それによって環境３内の処理装置１の現在位置も常に推定することができる。処理装置１の移動中、環境３の画像が上述した距離で記録される。各２つの連続した画像から、物体点Ａ、Ｂまたは物体６および／または環境的特徴５は、世界座標系の座標を与えられる。
【００３０】
図３は、物体点Ａを有する壁−天井の移行部の例についての環境的特徴５の、そして物体点Ｂを有する床近傍の物体６の例についての検知を示している。世界座標系内の物体点ＡおよびＢの位置を、２つの連続した計測箇所１０におけるカメラ画像を先ず記録することにより計算することができる。計測箇所１０のための位置推定は、既に作成された環境マップ２内の位置付けプロセスを介して行うことができる。このような方法は、環境３内の処理装置１のナビゲーションのためにいずれにせよ必要である。２つの連続した計測箇所１０の間の処理装置１によりカバーされる間隔の推定は、オドメトリによりまたは移動経路９に沿った連続する計測箇所１０間のベクトル減算により計算される。各計測箇所１０に対応する検知装置４の現在位置に関する物体点Ａ、Ｂは、計測箇所１０間の距離、検知装置４の各検知開始点Ｃ１、Ｃ２、並びに物体点Ａの２つの角度α１およびα２および物体点Ｂの２つの角度β１およびβ２から計算することができる。処理装置１上の検知装置４の位置が既知であるので、計測箇所１０に関して、したがって世界座標系に関して物体点ＡおよびＢの位置推定を行うことができる。
【００３１】
多数の物体点Ａ、Ｂをこのようにして計算することができ、それにより点群を生成する。この点群は、その後、環境３の三次元表現へ変換することができ、それはプリミティブ面、例えば長方形および三角形からなる。
【００３２】
環境マップ２を作成するための演算は、基本的に処理装置１の内部で搭載コンピュータを用いて実行することができる。しかしながら、図示の例示的実施形態では、検知装置４により記録された画像データが無線通信を介して外部装置８、ここではラップトップに送信される。ラップトップは、点群に基づいたＳＬＡＭプロセスと、点群のプリミティブ面への変換の双方を実行するために用いられ、それから最終的に写実的な三次元環境マップ２が作成される。
【００３３】
図３によれば、外部装置８、特にラップトップがディスプレイ７を有し、作成された環境マップ２をディスプレイ７が表示している。環境マップ２は、一方では処理装置１自体と共に、環境３内に存在するここでは具体的に家具である物体６を表示している。環境マップ２は、処理装置１が環境３を通って移動中であっても、装置８のディスプレイ７上に表示することができる。処理装置１の移動が終了したならば、移動経路９に沿った環境３全体がマッピングされ、そして対応する３Ｄモードが演算され、３Ｄモードによりユーザが対話することができ、そして３Ｄモードはさらなる用途のための開始点として用いることができる。表示された写実的な環境マップ２によって処理装置１のユーザは、環境マップ２内での直感的な方向付けが可能となるので、ユーザは、環境マップ２内で自分の経路を非常に容易に見つけることができ、処理装置１を追って処理装置１に対して命令を与えることができる。
【００３４】
図４は、処理装置１の変化する視点に基づいて作成された、部屋の環境マップ２を示す。この環境マップ２は、環境３の写実的な三次元表現であり、複数の物体６を示し、処理装置１の現在位置も表示している。処理装置１は、部分的に物体６すなわちここでは複数の家具よりも低い高さであるので、環境マップ２が、下から上を見た環境の仰視を含む。
【００３５】
環境マップ２に表示された物体に、名称および／またはカラーコードを与えることができる。例えば表示された部屋の部分を、ここでは「犬コーナー」等と命名できる。さらに、対応する色を割り当てることができ、例えば犬コーナーに「茶色」を割り当てる。環境マップ２は、装置８のディスプレイ７上で回転、拡大、または移動させることができるので、ユーザが各部屋に入ったときにその部屋を見るように環境マップ２の向きを変えることができる。表示された３Ｄモデルに替えて、処理装置１の現在位置を、点、フラグ等として環境マップ２の中に組み入れることができる。
【００３６】
環境マップ２を作成するための上述した機能が起動されると、他の機能も、処理装置１と対話するために実行することができる。例えば、表示された部屋内における処理装置１が特に接近するべき場所を選択することができる。例えば、「犬コーナーを掃除せよ」等のコマンドを与えることができる。
【００３７】
表示された３Ｄ環境マップから開始して、例えば家具である各物体６を、環境マップから切り取って抽出することができる。例えば、切り取りと抽出は、先ず壁および床の領域を水平または鉛直の面として検知し、そしてそれらを環境３の３Ｄモデルから減算することにより行うことができる。３Ｄモデル中で背後に残っている構造が、家具のような物体６である可能性は高い。例えば、約８０ｃｍ〜１２０ｃｍの距離で床領域に平行な面を探査することにより、物体６のタイプを識別することができる。同様に、探査条件を、特定の特徴の椅子、キャビネット、棚等に用いることもできる。その後、ユーザは、さらなる処理のために、切り取られた物体６を異なる３Ｄモデリングプログラムに、例えば部屋内の異なる家具の配置がどのように見えるかを確認するために、インテリアデザイン等を変更するためのプログラムにインポートすることができる。さらにユーザは、演算された環境の３Ｄモデルを汎用的にアクセス可能なソーシャルメディアプラットフォームのサーバにアップロードすることにより、それを他のユーザと共有することができる。
【符号の説明】
【００３８】
１  処理装置
２  環境マップ
３  環境
４  検知装置
５  環境的特徴
６  物体
７  ディスプレイ
８  装置
９  移動経路
１０  計測箇所
Ａ  物体点
Ｂ  物体点
Ｃ１  検知開始点
Ｃ２  検知開始点
ｄ  移動距離
α１  角度
α２  角度
β１  角度
β２  角度
【図１】
2020502653.tif 000003
【図２】
2020502653.tif 000004
【図３】
2020502653.tif 000005
【図４】
2020502653.tif 000006
【手続補正書】
【提出日】平成31年1月10日(2019.1.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
床面を掃除するために用いられる処理装置（１）を動作させる方法であって、処理装置（１）は予めプログラムされた移動および処理の方針にしたがって環境内を自律移動し、処理装置（１）のために環境マップ（２）が作成され、検知装置（４）が環境（３）内の環境的特徴（５）および／または物体（６）を検知し、かつ環境的特徴（５）および／または物体（６）の位置データが評価装置により環境マップ（２）へと処理される、前記方法において、
検知された環境的特徴（５）および／または物体（６）が、３Ｄ再構成によって写実的な三次元環境マップ（２）へと処理され、環境的特徴（５）および／または物体（６）が、床処理動作の枠組み内での処理装置（１）による移動中に記録されることを特徴とする方法。
【請求項２】
環境的特徴（５）および／または物体（６）、特に物体点（Ａ、Ｂ）および／または物体面が、検知装置（４）の異なる視点から時系列で記録され、環境マップ（２）が、連続した記録から再構成されることを特徴とする請求項１に記載の方法。
【請求項３】
検知装置（４）が、環境（３）の画像を記録するカメラであることを特徴とする請求項１または２に記載の方法。
【請求項４】
検知された環境的特徴（５）および／または物体（６）が、環境マップ（２）を作成するために、外部装置（８）、特にモバイル装置（８）および／またはサーバで処理されることを特徴とする請求項１〜３のいずれかに記載の方法。
【請求項５】
環境マップ（２）が、外部装置（８）、特にモバイル装置（８）のディスプレイ（７）に表示されることを特徴とする請求項１〜４のいずれかに記載の方法。
【請求項６】
表示された環境マップ（２）の少なくとも１つの部分領域および／または環境マップ（２）に表示された物体（６）を、回転、拡大、および／または移動させることができることを特徴とする請求項５に記載の方法。
【請求項７】
処理装置（１）のユーザが、環境マップ（２）に存在する部屋および／または部屋の部分領域および／または物体（６）に、名称および／またはカラーコードおよび／または記号を割り当て、それらは、処理装置（１）の動作を制御するための制御コマンドに組み込むことができることを特徴とする請求項１〜６のいずれかに記載の方法。
【請求項８】
環境マップ（２）内の物体（６）が、環境マップ（２）から切り取られて抽出され、抽出された物体（６）および／または抽出されたオブジェクト（６）によって縮小された環境マップ（２）が、データ処理プログラムにインポートされ、データ処理プログラムによりさらに処理されることを特徴とする請求項１〜７のいずれかに記載の方法。
【請求項９】
環境マップ（２）に処理装置（１９）の現在位置が表示されることを特徴とする請求項１〜８のいずれかに記載の方法。
【請求項１０】
処理装置（１）、特に床面を掃除するための掃除機であって、予めプログラムされた移動および処理の方針にしたがって環境内を自律移動し、処理装置（１）が、吸引口を通して吸引物を含む空気を処理装置（１）内に吸引するためのモータファンユニットと、環境内の環境的特徴（５）および／または物体（６）を検知するための検知装置（４）とを有し、処理装置（１）が、環境内でナビゲーションを行うために環境的特徴（５）および／または物体（６）の位置データを含む環境マップ（２）を用いるように構成されている、前記処理装置（１）において、
検知装置（４）が、床処理動作の枠組み内で処理装置（１）の移動中に環境的特徴（５）および／または物体（６）を記録するように構成されており、かつ、環境マップ（２）が写実的な三次元の環境マップ（２）であり、環境的特徴（５）および／または物体（６）が、３Ｄ再構成によって処理されることを特徴とする処理装置。
【請求項１１】
特に掃除機であり、請求項１〜９のいずれかに記載の方法を実行するように構成されている、請求項１０に記載の処理装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、床面を掃除するために用いられる処理装置を動作させる方法に関し、処理装置は予めプログラムされた移動および処理の方針に従って環境内を自律移動し、検知装置が環境内の環境的特徴および／または物体を検知し、環境的特徴および／または物体の位置データが評価装置によって環境マップへと処理される。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
環境マップが既知の方法で作成され得るとしても、ユーザにとっては、読むことが部分的に困難である。これは、処理装置の環境がしばしば２Ｄグリッドマップとして表示されるからである。このグリッドマップは、非常に単純化された、環境の概略図であり、部屋の間取り図に似ている。間取り図は、典型的には、処理装置の作業高さに対応する水平検知面内で記録された情報を専ら含み、そして壁−床間の移行部のような環境的特徴と、家具のアイテムのような物体とを区別しない。ベッド、テーブル、または椅子など、床との隙間がある物体は、通常、その全体が環境マップに記録されず、検知面内にあるテーブルの脚のような部分のみが記録される。その結果、既知のグリッドマップは、人間の知覚を反映していないため、全体的にユーザにとって直感的に把握しにくいものである。
例えばBenjamin Pitzerによる刊行物 “Automatic Reconstruction of Textured 3D Models”, February 22, 2011などの従来技術から、環境の３Ｄ再構成および視覚化を行い、そのために、自律走行するロボットが用いられ、そのロボットが環境内を走行して回り、検知装置を用いて環境的特徴を記録し、それがさらに環境マップへと処理され、続いて３Ｄモデルにまとめるために用いられることが、さらに知られている。、
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明による環境の写実的な三次元再構成は、処理装置のユーザに対して環境の直観的な視野を提供し、それは従来技術により以前から作成されていた、しばしば概略的なままの二次元環境マップよりも多くの情報を含む。その結果、ユーザは、環境マップ内で自分の経路を容易に見つけ、処理装置を追って、処理装置に対しタスクを処理するための命令を出すことができる。３Ｄ再構成は、環境的特徴または物体を記録する間に失われた環境に関する深度情報を復活させる。このことは、環境のシーン内で環境的特徴または物体を検知する間に存在する欠点を排除する。作成された写実的な三次元環境マップは、ユーザが自分の目で直接環境を知覚するのと同じ方法で、処理装置のユーザに環境を表示する。ここで、表示される環境の視点は、その環境が記録された視点に依存し、すなわち、ユーザがその環境内の物体に対して有する通常の鳥瞰的視点よりもさらに低い平面上の視点に依存する。しかしながら、壁と部屋天井との間の移行部も、例えば処理装置からの仰視として表示することができる。検知装置は、基本的には、処理装置に対して変位可能な別個の装置、例えば携帯電話のカメラ、タブレットコンピュータなどであってもよい。
本発明によれば、環境的特徴および／または物体が、例えば床面の吸引および／または拭き取りなどの床処理動作の枠組み内での処理装置の移動中に記録される。その結果、処理装置が、環境マップを作成するためにデータを記録するべく、別途検知走行を行うことが不要となる。特に、処理装置の掃除走行中にさらに環境マップを作成することができる。加えて、処理装置の処理活動後のある時点に、例えば処理装置が充電目的でベースステーションに位置する場合、環境マップをまとめることも可能である。各走行の終了時、処理装置が、アクセス可能な環境全体をマッピングしかつ対応する３Ｄモデルを演算しており、それによってユーザが対話できるか、または、それが他の用途のための開始点として用いられることが好ましい。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】削除
【補正の内容】
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
最後に、環境マップ内の処理装置の現在位置を表示することが提案される。このことは、例えばユーザが現在居る部屋とは異なる部屋に処理装置が配置されているためにユーザが処理装置を知覚することができないとき、例えばユーザに対し環境内の処理装置の現在位置に関する情報を提供する。
上述した方法に加えて、本発明はさらに、予めプログラムされた移動および処理の方針にしたがって環境内で自律移動する処理装置、具体的には床面を掃除するための処理装置に関する。処理装置は、吸引口を通して吸引物を含む空気を処理装置内に吸引するためのモータファンユニットと、環境内の環境的特徴および／または物体を検知するための検知装置とを有する。処理装置は、環境的特徴および／または物体の位置データを含む環境マップを用いて環境内でナビゲーションを行うように構成されている。検知装置は、床処理動作の枠組み内での処理装置の移動中に環境的特徴および／または物体を記録するように構成されている。そして、環境マップは、写実的な三次元環境マップであり、その中に、検知された環境的特徴および／または物体が３Ｄ再構成により処理されている。
本発明による処理装置、具体的には床面を掃除するための掃除機の特徴および利点は、本発明の方法に関して上記で極めて詳細に説明されている。したがって、繰り返しを避けるために上記の説明を参照する。その結果、本発明はさらに、上述した本発明による方法を実施するように構成された床処理装置に関する。
【国際調査報告】
2020502653.tif 000007
2020502653.tif 000008
2020502653.tif 000009
2020502653.tif 000010
2020502653.tif 000011
2020502653.tif 000012