(57)【特許請求の範囲】
【請求項１】
ロボット清掃デバイスの空間情報を取得する方法であって、
ワイヤレス通信デバイスのディスプレイ上で前記ロボット清掃デバイスの視覚的表現を取得することと、
前記視覚的表現において前記ロボット清掃デバイスを識別することと、
前記視覚的表現とロボット清掃デバイス座標系との間の座標変換を計算することと、
ワイヤレス通信を介して前記ロボット清掃デバイスから空間情報を受信することであって、前記空間情報は、前記ロボット清掃デバイスが移動可能であると前記ロボット清掃デバイスが知覚した空間についての情報である、前記受信することと、
前記計算された変換を前記受信された空間情報に適用することであって、前記受信された空間情報が前記視覚的表現の前記座標系に変換される、前記適用することと、
前記ワイヤレス通信デバイスの前記ディスプレイ上に、前記変換された空間情報を前記取得された視覚的表現において提示することと、
前記ディスプレイ上に提示された前記受信された空間情報が正しいことをユーザが確認することを可能にすることと、
確認を前記ロボット清掃デバイスに送信することと、
を含む、方法。
【請求項２】
ロボット清掃デバイスの空間情報を取得する方法であって、
ワイヤレス通信デバイスのディスプレイ上で前記ロボット清掃デバイスの視覚的表現を取得することと、
前記視覚的表現において前記ロボット清掃デバイスを識別することと、
前記視覚的表現とロボット清掃デバイス座標系との間の座標変換を計算することと、
ワイヤレス通信を介して前記ロボット清掃デバイスから空間情報を受信することであって、前記空間情報は、前記ロボット清掃デバイスが移動可能であると前記ロボット清掃デバイスが知覚した空間についての情報である、前記受信することと、
前記計算された変換を前記受信された空間情報に適用することであって、前記受信された空間情報が前記視覚的表現の前記座標系に変換される、前記適用することと、
前記ワイヤレス通信デバイスの前記ディスプレイ上に、前記変換された空間情報を前記取得された視覚的表現において提示することと、
前記提示された変換された空間情報をユーザが修正することを可能にすることと、
前記計算された変換を前記修正後の空間情報に適用することであって、前記修正後の空間情報が、前記ロボット清掃デバイスの前記座標系に変換される、前記適用することと、
ワイヤレス通信を介して前記ロボット清掃デバイスに、前記変換された修正後の空間情報を送信することと、を含む、方法。
【請求項３】
前記ロボット清掃デバイスから前記受信された空間情報が、清掃対象の提案領域を含み、前記提案領域が正しいことを前記ユーザが確認する場合、前記ロボット清掃デバイスが前記確認を受信すると前記提案領域を清掃し、前記ユーザが前記提案領域を修正する場合、前記ロボット清掃デバイスが清掃する命令を受信すると前記修正後の提案領域を清掃する、請求項１又は２に記載の方法。
【請求項４】
前記変換された修正後の空間情報を、前記ロボット清掃デバイスが、実行予定の後の清掃プログラムのために記憶することを可能にすることさらに含む、請求項２又は３に記載の方法。
【請求項５】
前記ロボット清掃デバイスから空間情報を前記受信することが、
前記ロボット清掃デバイスによってキャプチャされる前記ロボット清掃デバイスの周囲の状況の表現を受信することをさらに含む、請求項１〜４のいずれか一項に記載の方法。
【請求項６】
前記周囲の状況の前記表現が、前記ロボット清掃デバイスのカメラによってキャプチャされる画像である、請求項５に記載の方法。
【請求項７】
ロボット清掃デバイスの空間情報を取得するように構成されるワイヤレス通信デバイスであって、前記ワイヤレス通信デバイスが、
ワイヤレス通信デバイスのディスプレイ上で前記ロボット清掃デバイスの視覚的表現を取得し、
前記視覚的表現において前記ロボット清掃デバイスを識別し、
前記視覚的表現とロボット清掃デバイス座標系との間の座標変換を計算し、
ワイヤレス通信を介して前記ロボット清掃デバイスから空間情報を受信し、前記空間情報は、前記ロボット清掃デバイスが移動可能であると前記ロボット清掃デバイスが知覚した空間についての情報であり、
前記計算された変換を前記受信された空間情報に適用し、前記受信された空間情報が前記視覚的表現の前記座標系に変換され、
前記ワイヤレス通信デバイスの前記ディスプレイ上に、前記変換された空間情報を前記取得された視覚的表現において提示し、
前記ディスプレイ上に提示された前記受信された空間情報が正しいことをユーザが確認することを可能にし、
確認を前記ロボット清掃デバイスに送信する、
ように前記ワイヤレス通信デバイスを動作させるように構成される処理ユニットを備える、ワイヤレス通信デバイス。
【請求項８】
ロボット清掃デバイスの空間情報を取得するように構成されるワイヤレス通信デバイスであって、前記ワイヤレス通信デバイスが、
ワイヤレス通信デバイスのディスプレイ上で前記ロボット清掃デバイスの視覚的表現を取得し、
前記視覚的表現において前記ロボット清掃デバイスを識別し、
前記視覚的表現とロボット清掃デバイス座標系との間の座標変換を計算し、
ワイヤレス通信を介して前記ロボット清掃デバイスから空間情報を受信し、前記空間情報は、前記ロボット清掃デバイスが移動可能であると前記ロボット清掃デバイスが知覚した空間についての情報であり、
前記計算された変換を前記受信された空間情報に適用し、前記受信された空間情報が前記視覚的表現の前記座標系に変換され、
前記ワイヤレス通信デバイスの前記ディスプレイ上に、前記変換された空間情報を前記取得された視覚的表現において提示し、
前記ディスプレイにタッチすることによって、前記提示された変換された空間情報をユーザが修正することを可能にし、
前記計算された変換を前記修正後の空間情報に適用し、前記修正後の空間情報が前記ロボット清掃デバイスの前記座標系に変換され、
ワイヤレス通信を介して前記ロボット清掃デバイスに、前記変換された修正後の空間情報を送信する、
ように前記ワイヤレス通信デバイスを動作させるように構成される処理ユニットを備える、ワイヤレス通信デバイス。
【請求項９】
前記ロボット清掃デバイスから前記受信された空間情報が、清掃対象の提案領域を含み、前記提案領域が正しいことを前記ユーザが確認する場合、前記ロボット清掃デバイスが前記確認を受信すると前記提案領域を清掃し、前記ユーザが前記提案領域を修正する場合、前記ロボット清掃デバイスが清掃する命令を受信すると前記修正後の提案領域を清掃する、請求項７又は８に記載のワイヤレス通信デバイス。
【請求項１０】
前記ロボット清掃デバイスから空間情報を前記受信することが、
前記ロボット清掃デバイスによってキャプチャされる前記ロボット清掃デバイスの周囲の状況の表現を受信することをさらに含む、請求項７〜９のいずれか一項に記載のワイヤレス通信デバイス。
【請求項１１】
前記周囲の状況の前記表現が、前記ロボット清掃デバイスのカメラによってキャプチャされる画像である、請求項１０に記載のワイヤレス通信デバイス。
【請求項１２】
コンピュータ実行可能命令がデバイスに含まれる処理回路上で実行されるときに、請求項１〜６のいずれか一項に記載の方法を前記デバイスに実行させる、前記コンピュータ実行可能命令を含む、コンピュータプログラム。
【請求項１３】
請求項１２に記載の前記コンピュータプログラムを有する、コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、清掃対象領域上のロボット清掃デバイスの移動を制御する方法、及び方法を実行するデバイスに関する。本発明は、ロボット清掃デバイスの空間情報を取得する方法、及び方法を実行するデバイスにさらに関する。
【背景技術】
【０００２】
多くの技術分野において、ロボットが、起こり得る障害物と衝突することなく空間を自由に動き回ることができるように、自律的な挙動を有するロボットを使用することが望ましい。
【０００３】
ロボット電気掃除機は、当技術分野において既知であり、それらは、清掃対象面を横切って掃除機を移動するためのモータの形態の駆動手段を具備する。ロボット電気掃除機が、例えば床の形態の面を自由に動き回り清掃し得るように、ロボット電気掃除機は、マイクロプロセッサの形態のインテリジェンス及び自律的な挙動をもたらすナビゲーション手段をさらに具備する。したがって、これらの先行技術のロボット電気掃除機は、テーブル及び椅子などの物体、並びに壁及び階段などの他の障害物が位置する部屋を自律的に掃除するケイパビリティを有する。
【０００４】
ロボット電気掃除機にコマンドを送信し、又はロボット電気掃除機からデータを受信する様々な方法が存在するが、掃除機の環境に関する方法については、共通基準を確立することは困難である。掃除機に指令する最も一般的な方法は、ロボット電気掃除機にマップを描かせ、且つユーザに、マップに情報を追加させることである。しかしながら、そのようなマップは、ロボット電気掃除機がそのプロセスの間に経験する任意のマッピングエラーに悩まされる場合がある。また、マップが小さいか、又は詳細を割愛する場合、経験のないユーザがマップ内の物体を識別することは困難である。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、当技術分野におけるこの問題を解決し、又は少なくとも軽減することであり、したがって、清掃対象領域上のロボット清掃デバイスの移動を制御する改善された方法を提供することである。
【課題を解決するための手段】
【０００６】
この目的は、清掃対象領域上のロボット清掃デバイスの移動を制御する方法によって、本発明の第１の態様において達成される。方法は、ワイヤレス通信デバイスのディスプレイ上でロボット清掃デバイスの視覚的表現を取得することと、視覚的表現においてロボット清掃デバイスを識別することと、視覚的表現とロボット清掃デバイス座標系との間の座標変換を計算することと、ロボット清掃デバイスが清掃対象領域上でどのように移動すべきかについての空間情報を、ユーザが上記ディスプレイ上で指示することを可能にすることにより命令を生成することと、計算された変換を命令の空間情報に適用することであって、命令の空間情報がロボット座標系に変換される、適用することと、ワイヤレス通信を介して命令をロボット清掃デバイスに送信することであって、ロボット清掃デバイスが、変換された命令の空間情報に従って上記領域上を移動する、送信することと、を含む。
【０００７】
この目的は、清掃対象領域上のロボット清掃デバイスの移動を制御するように構成されるワイヤレス通信デバイスによって、本発明の第２の態様において達成される。ワイヤレス通信デバイスは、ワイヤレス通信デバイスのディスプレイ上でロボット清掃デバイスの視覚的表現を取得し、視覚的表現においてロボット清掃デバイスを識別し、視覚的表現とロボット清掃デバイス座標系との間の座標変換を計算し、ロボット清掃デバイスが清掃対象領域上でどのように移動すべきかについての空間情報を、ユーザが上記ディスプレイ上で指示することを可能にすることにより命令を生成し、計算された変換を命令の空間情報に適用し、命令の空間情報がロボット座標系に変換され、ワイヤレス通信を介して命令をロボット清掃デバイスに送信し、ロボット清掃デバイスが、変換された命令の空間情報に従って上記領域上を移動する、ようにワイヤレス通信デバイスを動作させるように構成される処理ユニットを備える。
【０００８】
この目的は、ロボット清掃デバイスの空間情報を取得する方法によって、本発明の第３の態様において達成される。方法は、ワイヤレス通信デバイスのディスプレイ上でロボット清掃デバイスの視覚的表現を取得することと、視覚的表現においてロボット清掃デバイスを識別することと、視覚的表現とロボット清掃デバイス座標系との間の座標変換を計算することと、ワイヤレス通信を介してロボット清掃デバイスから空間情報を受信することと、計算された変換を受信された空間情報に適用することであって、受信された空間情報が視覚的表現の座標系に変換される、適用することと、ワイヤレス通信デバイスのディスプレイ上に、変換された空間情報を取得された視覚的表現において提示することと、を含む。
【０００９】
この目的は、ロボット清掃デバイスの空間情報を取得するように構成されるワイヤレス通信デバイスによって、本発明の第４の態様において達成される。ワイヤレス通信デバイスは、ワイヤレス通信デバイスのディスプレイ上でロボット清掃デバイスの視覚的表現を取得し、視覚的表現においてロボット清掃デバイスを識別し、視覚的表現とロボット清掃デバイス座標系との間の座標変換を計算し、ワイヤレス通信を介してロボット清掃デバイスから空間情報を受信し、計算された変換を受信された空間情報に適用し、受信された空間情報が視覚的表現の座標系に変換され、ワイヤレス通信デバイスのディスプレイ上に、変換された空間情報を取得された視覚的表現において提示する、ようにワイヤレス通信デバイスを動作させるように構成される処理ユニットを備える。
【００１０】
したがって、実施形態において、ユーザは、例えばスマートフォン、タブレット、ラップトップなどの形態のワイヤレス通信デバイスのディスプレイ上でロボット清掃デバイスの視覚的表現を取得する。
【００１１】
例えば、ユーザは、例えばユーザのスマートフォンのカメラを用いて、ロボット清掃デバイスの画像を単にキャプチャする。
【００１２】
スマートフォンは、画像内のロボット清掃デバイスの形状を、例えばロボット清掃デバイスの予めプログラミングされた表現と比較することによって、識別する。この表現は、ロボット清掃デバイスの実際のサイズも含み得る。代替的には、画像内のロボット清掃デバイスの識別は、ロボットデバイスの本体上の既知のパターン若しくはマーカに基づいてもよく、又はそれらによって支援されてもよい。
【００１３】
その後、スマートフォンは、画像の座標系とロボットデバイスの座標系との間の座標変換を計算する。その結果、ロボットデバイスが移動する座標系の座標は、画像座標系の座標に変換され得る。
【００１４】
ユーザは、ロボット清掃デバイスが清掃対象領域上でどのように移動すべきかについての空間情報を、ユーザのスマートフォンのディスプレイ上で指示することにより命令を生成する。これは、スマートフォン上にインストールされたアプリケーション（以下では、「Ａｐｐ」と呼ぶ）を必要としてもよく、そのＡｐｐを介して、ユーザは、単に自分の指を使って、清掃対象領域を示すためにディスプレイ上をタッチすることに留意する。
【００１５】
この例では、ユーザは、例えばパン屑や食物屑が日常的に出てしまうテーブルの周りで、いわゆるスポット清掃プログラムをロボット清掃デバイスに実行して欲しい場合がある。ユーザは、例えば、スマートフォンのディスプレイ上で清掃対象領域を包含する矩形を描いてもよい。
【００１６】
最後に、ユーザは、Ａｐｐ上で「命令送信」を押す。そうすると、スマートフォンは、ロボット清掃デバイスの座標系へ、以前計算された変換を清掃対象領域の画像座標（実際には領域を包含する矩形の頂点）に適用し、次いで、ワイヤレス通信を介して（例えば、ＷｉＦｉを介して）それらをロボット清掃デバイスに送信する。
【００１７】
このようにして、ロボット清掃デバイスは、受信した命令の変換された空間情報に従って指示された領域上を移動及び清掃することによって、スポット清掃プログラムを有利に実行する。
【００１８】
一方、別の実施形態では、空間情報は、ユーザのワイヤレス通信デバイスのディスプレイを介してロボット清掃デバイスからユーザへ通信される。
【００１９】
例えば、ロボット清掃デバイスは、カーペットを接近又は横断すべきでない障害物として知覚し、ユーザには、ロボット清掃デバイスが立往生するリスクなしに実際にカーペットを横断し得ることをロボット清掃デバイスに通信する機会が与えられると考えられ得る。
【００２０】
この場合も、ユーザは、例えばユーザのスマートフォンのカメラを用いてロボット清掃デバイスの画像をキャプチャし、続いてスマートフォンが画像内のロボット清掃デバイスを識別する。
【００２１】
その後、スマートフォンは、画像の座標系とロボットデバイスの座標系との間の座標変換を計算する。その結果、ロボットデバイスが移動する座標系の座標は、画像座標系の座標に変換され得る。
【００２２】
スマートフォンは、ロボット清掃デバイスからワイヤレス通信を介して空間情報を受信し、計算された変換を受信された空間情報に適用する。受信されたロボット清掃デバイスの空間情報は、画像の座標系に変換される。
【００２３】
最後に、変換された空間情報は、スマートフォンのディスプレイ上で、キャプチャされた画像内に提示される。前述の通り、ロボット清掃デバイスは、例えば、カーペットの外形を画像に有利に追加してもよく、ロボット清掃デバイスが、ユーザが訂正する機会を与えられ得る横断不可能な障害物としてカーペットを知覚することを示している。
【００２４】
別の実施形態において、ロボット清掃デバイスは、清掃対象領域の提案をスマートフォンに通信する。
【００２５】
したがって、空間情報は、この特定の例示する実施形態では清掃対象の提案領域の形態で、ロボット清掃デバイスから受信される。空間情報は、変換された後、ユーザのレビューのためにワイヤレス通信デバイスのディスプレイ上のキャプチャされた画像内に提示される。
【００２６】
ユーザは、提案領域が実際に清掃対象領域であることを確認し、それに応じて確認を命令として送信してもよく、又は例えば、ディスプレイ上に示される提案領域を包含する矩形の頂点を所望の方向に移動することによって、提案領域を修正してもよい。ユーザは、線をタッチすること及び押すことによってディスプレイ上の表現にさらなる頂点を追加してもよく、それによって、線が押された位置に新たな頂点が発生することが、さらに考えられ得る。
【００２７】
その後、以前計算された変換が、修正後の清掃対象の提案領域に適用され、修正後の提案領域は、ロボット清掃デバイスの座標系に変換される。
【００２８】
最後に、スマートフォンは、修正後の領域を清掃するように命令をロボット清掃デバイスに送信し、命令は、変換された修正後の提案領域を識別する情報も含む。したがって、ロボット清掃デバイスは、矩形の清掃対象領域を提案してもよく、ユーザは、ロボット清掃デバイスが代わりに清掃するように命令される、例えば五角形の領域にそれを修正する。
【００２９】
代替的な実施形態において、例えば監視カメラなど、スマートフォンとは異なるデバイスが、ロボット清掃デバイスの画像をキャプチャするように制御される。そのような実施形態では、ユーザは、離れた場所からロボット清掃デバイスを有利に制御し得る。
【００３０】
概して、特許請求の範囲において使用される全ての用語は、本明細書において明示的に特段の定義がされない限り、技術分野におけるそれらの通常の意味に従って解釈されるべきである。「ａ／ａｎ／ｔｈｅ  要素、装置、コンポーネント、手段、ステップなど」に対する全ての参照は、明示的に特段の記述がない限り、要素、装置、コンポーネント、手段、ステップなどの少なくとも１つの例を参照するようにオープンに解釈されるべきである。本明細書に開示される任意の方法のステップは、明示されない限り、開示された正確な順序で実行されなくともよい。
【００３１】
本発明は、例として、添付図面を参照してここで説明される。
【図面の簡単な説明】
【００３２】
【図１】本発明の例示する実施形態による、ロボット清掃デバイスを示す。
【図２】図１のロボット清掃デバイスの正面図を示す。
【図３】実施形態による、ロボット清掃デバイスの撮影画像を画像に加えられたユーザ清掃命令と共に示す。
【図４】実施形態による、方法のフローチャートを示す。
【図５】別の実施形態による、方法のフローチャートを示す。
【図６】さらなる別の実施形態による、方法のフローチャートを示す。
【図７】実施形態による、ロボット清掃デバイスが画像内に情報を提供するロボット清掃デバイスの撮影画像を示す。
【図８】さらなる実施形態による、方法のフローチャートを示す。
【図９】実施形態による、ワイヤレス通信デバイスを示す。
【発明を実施するための形態】
【００３３】
本発明は、ここで、添付図面を参照して以下でより完全に説明され、添付図面において、本発明のある実施形態が示されている。本発明は、しかしながら、多くの異なる形態で具現化されてもよく、ここで述べる実施形態に限定されると解釈されるべきではない。むしろ、この開示が完全且つ完璧であり、当業者に対し本発明の範囲を完全に伝達するように、これらの実施形態は、例として提供される。類似の数字は、説明全体を通して類似の要素を参照する。
【００３４】
本発明は、ロボット清掃デバイス、即ち言い換えると、表面を清掃するための自動的な自走式機械、例えば、ロボット電気掃除機、ロボット掃除機、又はロボット床面洗浄機に関する。本発明によるロボット清掃デバイスは、電源で動作し、且つコードを有してもよく、電池で動作してもよく、又は任意の他の種類の適当なエネルギー源、例えば太陽エネルギーを使用してもよい。
【００３５】
本発明は、十分な処理インテリジェンスを具備する様々な適当なロボット清掃デバイスによって実行され得ると考えられるが、図１は、本発明の実施形態によるロボット清掃デバイス１００の底面図を示し、即ちロボット清掃デバイスの底面が示されている。矢印は、ロボット電気掃除機の形態で示されているロボット清掃デバイス１００の前方向を示す。
【００３６】
清掃デバイスが、清掃対象面上で移動され得るように、ロボット清掃デバイス１００は、駆動輪１１２、１１３の移動を可能にするための２つの電気車輪モータ１１５ａ、１１５ｂの形態の駆動手段を含む推進システムなどのコンポーネントを収容する本体１１１を含む。各車輪モータ１１５ａ、１１５ｂは、清掃対象面を横切ってロボット清掃デバイス１００を移動するために、互いに独立して回転するようにそれぞれの駆動輪１１２、１１３を制御することが可能である。いくつかの異なる駆動輪構成及び様々な車輪モータ構成が考えられ得る。ロボット清掃デバイスが、より従来型の円形本体、又は三角形本体を有するデバイスなど、任意の適当な形状を有し得ることに留意すべきである。代替として、トラック推進システムが使用されてもよく、又はホバークラフト推進システムであってもよい。推進システムは、ヨー、ピッチ、並進又はロール移動のうちの任意の１つ又は複数をロボット清掃デバイス１００に実行させるようにさらに構成され得る。
【００３７】
マイクロプロセッサなどのコントローラ１１６は、車輪モータ１１５ａ、１１５ｂを制御して、ロボット清掃デバイスがその周りでナビゲートしなければならない、壁、フロアランプ、テーブルの脚の形態の障害物を検出するための障害物検出デバイス（図１に示されない）から受信される情報を考慮して必要に応じて駆動輪１１２、１１３を回転させる。障害物検出デバイスは、その周囲の状況を登録する３Ｄセンサシステムの形態で具現化されてもよく、障害物を検出し、任意の検出された障害物についての情報をマイクロプロセッサ１１６に通信するための、例えば、レーザ、レーザスキャナと組み合わせた３Ｄカメラ、カメラの手段によって実施される。ロボット清掃デバイス１００が、清掃対象面を横切って所望の通りに移動し得るように、マイクロプロセッサ１１６は、車輪モータ１１５ａ、１１５ｂと通信して、障害物検出デバイスによって提供される情報に従って車輪１１２、１１３の移動を制御する。
【００３８】
さらに、ロボット掃除機１００の本体１１１は、本体１１１の底面の開口部１１８を介してごみを本体内に収容された収塵袋又はサイクロン構成（図示せず）に送るための気流を作り出す吸引ファン１２０を含む。吸引ファン１２０は、コントローラ１１６に通信可能に接続されるファンモータ１２１によって駆動され、ファンモータ１２１は、吸引ファン１２０を制御するための命令をコントローラ１１６から受信する。本体１１１には、開口部１１８に隣接する１つ又は複数の回転サイドブラシ１１４がさらに配置され得る。
【００３９】
図１をさらに参照すると、１つ又は複数のマイクロプロセッサの形態で具現化されるコントローラ／処理ユニット１１６は、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、又はハードディスクドライブなどの、マイクロプロセッサに関連付けられた適当な記憶媒体１２６にダウンロードされるコンピュータプログラム１２５を実行するように構成される。コンピュータ実行可能命令を含む適当なコンピュータプログラム１２５が、記憶媒体１２６にダウンロードされ、コントローラ１１６によって実行されるときに、コントローラ１１６は、本発明の実施形態による方法を実行するように構成される。記憶媒体１２６は、また、コンピュータプログラム１２５を含むコンピュータプログラム製品であってもよい。代替的には、コンピュータプログラム１２５は、デジタル多用途ディスク（ＤＶＤ）、コンパクトディスク（ＣＤ）、又はメモリスティックなどの適当なコンピュータプログラム製品によって、記憶媒体１２６に転送され得る。さらなる代替として、コンピュータプログラム１２５は、有線ネットワーク又は無線ネットワークを経て記憶媒体１２６にダウンロードされ得る。コントローラ１１６は、代替的には、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、複合プログラマブルロジックデバイス（ＣＰＬＤ）などの形態で具現化され得る。
【００４０】
図２は、少なくともカメラ１２３、並びに水平又は垂直配向ラインレーザであり得る第１のラインレーザ１２７及び第２のラインレーザ１２８を含む３Ｄセンサシステムの形態で、前述した障害物検出デバイスを示す本発明の実施形態における図１のロボット清掃デバイス１００の正面図を示す。さらに図示されるのは、コントローラ１１６、本体１１１、及び駆動輪１１２、１１３である。コントローラ１１６は、ロボット清掃デバイス１００の周辺の画像を記録するためのカメラ１２３に動作可能に連結される。第１のラインレーザ１２７及び第２のラインレーザ１２８は、好適には垂直ラインレーザであってもよく、カメラ１２３の側方に配置される。カメラ１２３は、毎秒複数の画像をキャプチャし、記録するようにコントローラ１１６によって制御される。画像からのデータは、コントローラ１１６によって抽出され、データは、典型的には、コンピュータプログラム１２５と共にメモリ１２６内に保存される。
【００４１】
第１のラインレーザ１２７及び第２のラインレーザ１２８は、好適には垂直配向で、ロボット清掃デバイス１００の周辺を通常ロボット清掃デバイス１００の移動方向にスキャンするように構成される。第１のラインレーザ１２７及び第２のラインレーザ１２８は、レーザビームを送出するように構成され、レーザビームは、例えば、清掃対象の部屋の家具、壁、及び他の物体を照明する。カメラ１２３は、ロボット清掃デバイス１００が清掃対象面を横切って移動している間、画像から特徴を抽出することによって、及びロボット清掃デバイス１００によってカバーされる距離を測定することによって、ロボット清掃デバイス１００が動作している周囲の状況の表現又はレイアウトをコントローラ１１６がそこから生成する画像をキャプチャ及び記録するように、コントローラ１１６によって制御される。したがって、コントローラ１１６は、清掃対象面に対するロボット清掃デバイス１００の位置データを記録された画像から導出し、導出された位置データから周囲の状況の３Ｄ表現を生成し、生成された３Ｄ表現、及び生成された３Ｄ表現を考慮することによって清掃対象面がナビゲートされ得るようにロボット清掃デバイス１００に供給されるナビゲーション情報に従って、清掃対象面を横切ってロボット清掃デバイスを移動するように駆動モータ１１５ａ、１１５ｂを制御する。代替的には、完全に照明されている画像の飛行時間型測定を利用する３Ｄセンサを使用することが可能である。そのような飛行時間型３Ｄセンサでは、キャプチャされた画像内の距離は、画素毎に判断され、検出された物体までの距離は、上記に沿って判断され得る。
【００４２】
図３は、図４のフローチャートと共に、実施形態による清掃対象領域上のロボット清掃ロボット清掃デバイスの移動を制御する方法を説明するために使用される、ロボット清掃デバイス１００の撮影画像を示す。
【００４３】
以下において、空間情報は、ロボットデバイスの位置、又はロボットデバイスの周辺の物体の特定の位置などの、ロボット清掃デバイス１００に関する空間位置に関連付けられた情報を指す。
【００４４】
第１のステップＳ１０１において、ユーザは、例えばスマートフォン、タブレット、ラップトップなどの形態のワイヤレス通信デバイスのディスプレイ上でロボット清掃デバイス１００の視覚的表現１０を取得する。
【００４５】
この特定の例示する実施形態において、ユーザは、例えばユーザのスマートフォンのカメラを用いてロボット清掃デバイス１００の画像を単にキャプチャする。
【００４６】
代替的な実施形態において、例えば監視カメラなど、スマートフォンとは異なるデバイスが、ロボット清掃デバイス１００の画像をキャプチャするように制御される。そのような実施形態では、ユーザは、離れた場所からロボット清掃デバイス１００を有利に制御し得る。
【００４７】
図３に示されるように、写真／視覚的表現１０は、例えば、ロボット清掃デバイス１００、椅子１１、テーブル１２、カーペット１３などを含む。
【００４８】
第２のステップＳ１０２において、スマートフォンは、画像内のロボット清掃デバイス１００の形状を、例えばロボット清掃デバイスの予めプログラミングされた表現と比較することによって、識別する。この表現は、ロボット清掃デバイスの実際のサイズも含み得る。代替的には、画像内のロボット清掃デバイス１００の識別は、ロボットデバイスの本体上の既知のパターン若しくはマーカに基づいてもよく、又はそれらによって支援されてもよい。
【００４９】
その後、ステップＳ１０３において、スマートフォンは、画像の座標系とロボットデバイス１００の座標系との間の座標変換を計算する。その結果、ロボットデバイスが移動する座標系の座標は、画像座標系の座標に変換され得る。変換は、ピンホールカメラモデル、又はラジアルレンズの歪みも考慮するより高度なモデルなどの、射影幾何学についての標準モデルを用いて計算され得る。
【００５０】
ステップＳ１０３において、ユーザは、ロボット清掃デバイス１００が清掃対象領域上でどのように移動すべきかについての空間情報を、ユーザのスマートフォンのディスプレイ上で指示することにより命令を生成する。これは、スマートフォン上にインストールされたＡｐｐを必要としてもよく、そのＡｐｐを介して、ユーザは、単に自分の指を使って、清掃対象領域を示すためにディスプレイ上をタッチすることに留意する。スタイラス、コンピュータが使用される場合マウス、音声、又はジェスチャ制御など、他の手段が、ディスプレイ上の清掃対象領域を指示するために考えられる。
【００５１】
この例では、ユーザは、パン屑や食物屑が日常的に出てしまうテーブル１２の周りで、いわゆるスポット清掃プログラムをロボット清掃デバイス１００に実行して欲しいと考える。したがって、ユーザは、スマートフォンのディスプレイ上で清掃対象領域１４を包含する矩形を描く。
【００５２】
最後に、ユーザは、Ａｐｐ上で「命令送信」を押す。そうすると、スマートフォンは、ステップＳ１０４において、ロボット清掃デバイス１００の座標系へ以前計算された変換を清掃対象領域の画像座標（実際には領域を包含する矩形の頂点）に適用し、次いで、ステップＳ１０５において、ワイヤレス通信を介して（例えば、ＷｉＦｉを介して）それらをロボット清掃デバイス１００に送信する。
【００５３】
このようにして、ロボット清掃デバイス１００は、受信した命令の変換された空間情報に従って指示された領域１４上を移動し清掃することによって、スポット清掃プログラムを実行する。
【００５４】
例示される画像１０は、実際の画像であっても、合成画像又は表現が使用されると考えられ得ることに留意する。画像は、また、ロボットが画像内で正しく識別されていることをユーザに示すために、例えば、ロボット清掃デバイスの画像を同じ向きのロボットのコンピュータ生成された画像で置換することによって、部分的に合成であってもよい。
【００５５】
一方、図５を参照すると、実施形態に従って、ロボット清掃デバイス１００からの空間情報をユーザのワイヤレス通信デバイスのディスプレイを介してユーザに通信する方法を説明するフローチャートが、示される。
【００５６】
例えば、ロボット清掃デバイス１００は、図３のカーペット１３を接近又は横断すべきでない障害物として知覚し、ユーザには、ロボット清掃デバイス１００が立往生するリスクなしに実際にカーペット１３を横断し得ることをロボット清掃デバイス１００に通信する機会が与えられると考えられ得る。
【００５７】
第１のステップＳ２０１において、ユーザは、例えば、ユーザのスマートフォンのカメラを用いてロボット清掃デバイス１００の画像１０をキャプチャする。
【００５８】
図３に示されるように、写真／視覚的表現１０は、例えば、ロボット清掃デバイス１００、椅子１１、テーブル１２、カーペット１３などを含む。
【００５９】
第２のステップＳ２０２において、スマートフォンは、前述の通り、画像１０内のロボット清掃デバイス１００の形状を識別する。
【００６０】
その後、ステップＳ２０３において、スマートフォンは、画像の座標系とロボットデバイス１００の座標系との間の座標変換を計算する。その結果、ロボットデバイスが移動する座標系の座標は、画像座標系の座標に変換され得る。
【００６１】
ここで、ステップＳ２０４において、スマートフォンは、ロボット清掃デバイス１００からワイヤレス通信を介して空間情報を受信し、ステップＳ２０５において、計算された変換を受信された空間情報に適用する。受信されたロボット清掃デバイス１００の空間情報は、画像１０の座標系に変換される。
【００６２】
最後に、ステップＳ２０６において、変換された空間情報が、スマートフォンのディスプレイ上で、キャプチャされた画像１０内に提示される。前述の通り、ロボット清掃デバイス１００は、例えば、カーペット１３の外形を画像１０に追加してもよく、ロボット清掃デバイス１００が、（後述されるように、ユーザが訂正する機会を与えられ得る）横断不可能な障害物としてカーペットを知覚することを示している。
【００６３】
図３及びさらに図６のフローチャートを参照して再び説明される別の実施形態において、ロボット清掃デバイスは、清掃対象領域１４の提案を通信する（図４のステップＳ１０４において、同一領域１４が、ユーザからロボットデバイス１００に送信される命令において定義されなかったと仮定する）。この実施形態は、図４及び図５のそれぞれの方法に同様に適用可能である。例として、図５のステップＳ２０４においてロボット清掃デバイス１００からスマートフォンに通信される空間情報は、実際に、ロボットデバイス１００によって提案される領域１４を定義する空間情報を含み得る。
【００６４】
さらに、理解されるように、清掃対象の提案領域１４をロボット清掃デバイスから受信することは、図４のフローチャートのステップＳ１０１〜Ｓ１０６を生じ得る。
【００６５】
ここで、図５のステップＳ２０１〜Ｓ２０５全体を通して既に説明されたように、空間情報は、この特定の例示する実施形態では清掃対象の提案領域１４の形態で、ロボット清掃デバイス１００から受信される。空間情報は、変換された後、ユーザのレビューのためにステップＳ２０６において、スマートフォンのディスプレイ上でキャプチャされた画像１０内に提示される。
【００６６】
ここで、ステップＳ２０７において、ユーザは、提案領域１４が実際に清掃対象領域であることを確認し、それに応じて確認を命令として送信してもよく、又は、図６に示されるように、例えば提案領域１４を包含する矩形の頂点を所望の方向に移動することによって、提案領域１４を修正してもよい。ユーザは、線をタッチすること及び押すことによってディスプレイ上の表現にさらなる頂点を追加してもよく、それによって、線が押された位置に新たな頂点が発生することが、さらに考えられ得る。次いで、新たな頂点が、矩形の領域１４を五角形の領域に修正するように移動され得る。
【００６７】
その後、ステップＳ２０８において、以前計算された変換が、修正後の清掃対象の提案領域に適用され、修正後の提案領域が、ロボット清掃デバイス１００の座標系に変換される。
【００６８】
その後、ステップＳ２０９において、スマートフォンは、修正後の領域を清掃するように命令をロボット清掃デバイス１００に送信し、命令は、変換された修正後の提案領域を識別する情報も含む。したがって、ロボット清掃デバイス１００は、矩形の清掃対象領域１４を提案してもよく、ユーザは、ロボット清掃デバイス１００が元の提案された矩形領域１４の代わりに清掃するように命令される五角形の領域にそれを修正した。
【００６９】
図７は、図８のフローチャートと共に、ロボット清掃デバイスからユーザに空間情報を送信する方法のさらなる例示する実施形態を説明するために使用される、ロボット清掃デバイス１００の撮影画像２０を示す。
【００７０】
この場合も、図５のステップＳ２０１〜Ｓ２０５全体を通して既に説明されたように、空間情報は、この特定の例示する実施形態において、例えば、ドア２１、ドアステップ２２、厚いカーペット２３、タンス２４などのロボット清掃デバイス１００によって識別される潜在的な障害物の外形の形態でロボット清掃デバイス１００から受信される。空間情報は、変換された後、ユーザのレビューのためにステップＳ２０６において、スマートフォンのディスプレイ上のキャプチャされた画像２０内に提示される。
【００７１】
したがって、この特定の例示する実施形態において、ロボット清掃デバイス１００は、ステップＳ２０４においてロボット清掃デバイス１００の周囲の状況の表現を送信し、それは、ステップＳ２０７においてユーザに提示される。このような情報は、ロボット清掃デバイス１００が様々なカテゴリの物体を検出する方法において何らかのシステム上のエラーが存在するかどうかを、ソフトウェア開発者が迅速に理解することを助け得る。それは、また、特定のパターンに従ってロボット清掃デバイス１００が清掃する理由をユーザに説明することもできる。
【００７２】
上記及び図７において説明される手続きが、ビデオストリーム内の画像に対して繰り返し実行され得ることに留意され得る。ロボット清掃デバイス１００は、その際動き回ってもよく、ユーザは、ロボット清掃デバイス１００が知覚する物の更新されたビューを維持し得る。
【００７３】
ステップＳ２０７において、受信した表現をユーザが修正することを可能にすることによって、ユーザは、この特定の例において、ディスプレイ上に提示されているドアステップ２２の外形を押して、ドアステップ２２が高すぎること、及びロボット清掃デバイス１００がドアステップ２２を横断しようとすることを回避するべきであり、それによって立往生を回避することをロボット掃除機１００に指示することによって、その物体検出（及び、したがってナビゲーション）においてロボット清掃デバイス１００をガイドし得る。この情報は、さらに、実行予定の後の清掃プログラムのために記憶され得る。
【００７４】
その後、その座標がロボット清掃デバイス１００によって正しく解釈され得るように、コンピュータ変換が、ドアステップ２２の外形に適用される。
【００７５】
ステップＳ２０８において、ロボット清掃デバイス１００の座標系においてドアステップ２２を定義する情報が、ドアステップ２２を回避する命令と共にロボットデバイスに送信される。
【００７６】
図９は、実施形態による、ワイヤレス通信デバイス２００を示す。ワイヤレス通信デバイス２００は、スマートフォン、タブレット、スマートウォッチなどの形態で具現化され得る。
【００７７】
実施形態によるワイヤレス通信デバイス２００によって実行されるアクションは、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、又はハードディスクドライブなどの、マイクロプロセッサに関連付けられた記憶媒体２２２にダウンロードされるコンピュータプログラム２２１を実行するように構成される、１つ又は複数のマイクロプロセッサの形態で具現化される処理回路２２０によって引き起こされ得る。
【００７８】
コンピュータ実行可能命令を含む適当なコンピュータプログラム２２１が、記憶媒体２２２にダウンロードされ、処理回路２２０によって実行されるときに、処理回路２２０は、実施形態によるアクションをワイヤレス通信デバイス２００に実行させるように構成される。記憶媒体２２２は、また、コンピュータプログラム２２１を含むコンピュータプログラム製品であってもよい。代替的には、コンピュータプログラム２２１は、デジタル多用途ディスク（ＤＶＤ）又はメモリスティックなどの適当なコンピュータプログラム製品によって、記憶媒体２２０に転送され得る。さらなる代替として、コンピュータプログラム２２１は、ネットワークを経て記憶媒体２２２にダウンロードされ得る。処理回路２００は、代替的には、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、複合プログラマブルロジックデバイス（ＣＰＬＤ）などの形態で具現化され得る。
【００７９】
さらに、ワイヤレス通信デバイス２００は、カメラ２３０（典型的には、ワイヤレス通信デバイスの正面上及び背面上の両方）、及びユーザがそれを介してワイヤレス通信デバイス２００に情報を入力し得るタッチスクリーンディスプレイ２１０を具備している。ワイヤレス通信デバイス２００は、信号がそれを介してワイヤレス通信デバイス２００から送信され、且つワイヤレス通信デバイス２００によって受信される、ワイヤレス通信インタフェース（図示せず）と共にさらに構成される。
【００８０】
本発明は、主に、少数の実施形態を参照して上記で説明されている。しかしながら、当業者によって容易に理解されるように、上記で開示された実施形態以外の他の実施形態が、添付された特許請求の範囲によって定義される本発明の範囲内において同様に可能である。
［項目１］
清掃対象領域上のロボット清掃デバイスの移動を制御する方法であって、
ワイヤレス通信デバイスのディスプレイ上で上記ロボット清掃デバイスの視覚的表現を取得することと、
上記視覚的表現において上記ロボット清掃デバイスを識別することと、
上記視覚的表現とロボット清掃デバイス座標系との間の座標変換を計算することと、
上記ロボット清掃デバイスが上記清掃対象領域上でどのように移動すべきかについての空間情報を、ユーザが上記ディスプレイ上で指示することを可能にすることにより命令を生成することと、
上記計算された変換を上記命令の上記空間情報に適用することであって、上記命令の上記空間情報が上記ロボット座標系に変換される、上記適用することと、
ワイヤレス通信を介して上記命令を上記ロボット清掃デバイスに送信することであって、上記ロボット清掃デバイスが、上記命令の上記変換された空間情報に従って上記領域上を移動する、上記送信することと、
を含む、方法。
［項目２］
命令を上記生成することが、
上記ディスプレイ上で、上記ロボット清掃デバイスが移動すべき上記領域を包含する境界の形態で空間情報を指示することを含む、項目１に記載の方法。
［項目３］
視覚的表現を上記取得することが、
上記ワイヤレス通信デバイスのカメラで上記ロボット清掃デバイスの画像をキャプチャすることを含む、項目１又は２に記載の方法。
［項目４］
視覚的表現を上記取得することが、
上記ワイヤレス通信デバイスとは異なるデバイスのカメラで上記ロボット清掃デバイスの画像をキャプチャすることであって、上記画像が上記ワイヤレス通信デバイスに転送される、上記キャプチャすることを含む、項目１又は２に記載の方法。
［項目５］
上記ロボット清掃デバイスの視覚的識別を可能にする差別化特徴から、上記視覚的表現において上記ロボット清掃デバイスを識別することをさらに含む、項目３又は４に記載の方法。
［項目６］
ロボット清掃デバイスの空間情報を取得する方法であって、
ワイヤレス通信デバイスのディスプレイ上で上記ロボット清掃デバイスの視覚的表現を取得することと、
上記視覚的表現において上記ロボット清掃デバイスを識別することと、
上記視覚的表現とロボット清掃デバイス座標系との間の座標変換を計算することと、
ワイヤレス通信を介して上記ロボット清掃デバイスから空間情報を受信することと、
上記計算された変換を上記受信された空間情報に適用することであって、上記受信された空間情報が上記視覚的表現の上記座標系に変換される、上記適用することと、
上記ワイヤレス通信デバイスの上記ディスプレイ上に、上記変換された空間情報を上記取得された視覚的表現において提示することと、を含む、方法。
［項目７］
上記ディスプレイ上に提示された上記受信された空間情報が正しいことをユーザが確認することを可能にすることと、
確認を上記ロボット清掃デバイスに送信することと、
をさらに含む、項目６に記載の方法。
［項目８］
命令を上記生成するステップが、
上記提示された変換された空間情報をユーザが修正することを可能にすることと、
上記計算された変換を上記修正後の空間情報に適用することであって、上記修正後の空間情報が、上記ロボット清掃デバイスの上記座標系に変換される、上記適用することと、
ワイヤレス通信を介して上記ロボット清掃デバイスに、上記変換された修正後の空間情報を送信することと、を含む、項目６又は７に記載の方法。
［項目９］
上記ロボット清掃デバイスから上記受信された空間情報が、清掃対象の提案領域を含み、上記提案領域が正しいことを上記ユーザが確認する場合、上記ロボット清掃デバイスが上記確認を受信すると上記提案領域を清掃し、上記ユーザが上記提案領域を修正する場合、上記ロボット清掃デバイスが清掃する命令を受信すると上記修正後の提案領域を清掃する、項目７又は８に記載の方法。
［項目１０］
上記ロボット清掃デバイスから空間情報を上記受信することが、
上記ロボット清掃デバイスによってキャプチャされる上記ロボット清掃デバイスの周囲の状況の表現を受信することをさらに含む、項目６〜９のいずれか一項に記載の方法。
［項目１１］
上記周囲の状況の上記表現が、上記ロボット清掃デバイスのカメラによってキャプチャされる画像である、項目１０に記載の方法。
［項目１２］
清掃対象領域上のロボット清掃デバイスの移動を制御するように構成されるワイヤレス通信デバイスであって、上記ワイヤレス通信デバイスが、
ワイヤレス通信デバイスのディスプレイ上で上記ロボット清掃デバイスの視覚的表現を取得し、
上記視覚的表現において上記ロボット清掃デバイスを識別し、
上記視覚的表現とロボット清掃デバイス座標系との間の座標変換を計算し、
上記ロボット清掃デバイスが上記清掃対象領域上でどのように移動すべきかについての空間情報を、ユーザが上記ディスプレイ上で指示することを可能にすることにより命令を生成し、
上記計算された変換を上記命令の上記空間情報に適用し、上記命令の上記空間情報が上記ロボット座標系に変換され、
ワイヤレス通信を介して上記命令を上記ロボット清掃デバイスに送信し、上記ロボット清掃デバイスが、上記命令の上記変換された空間情報に従って上記領域上を移動する、
ように上記ワイヤレス通信デバイスを動作させるように構成される処理ユニットを備える、ワイヤレス通信デバイス。
［項目１３］
命令を生成するときに、上記ディスプレイ上で、上記ロボット清掃デバイスが移動すべき上記領域を包含する境界の形態で空間情報を指示するようにさらに動作する、項目１２に記載のワイヤレス通信デバイス。
［項目１４］
視覚的表現を取得するときに、上記ワイヤレス通信デバイスのカメラで上記ロボット清掃デバイスの画像をキャプチャするようにさらに動作する、項目１２又は１３に記載のワイヤレス通信デバイス。
［項目１５］
視覚的表現を取得するときに、上記ワイヤレス通信デバイスとは異なるデバイスのカメラで上記ロボット清掃デバイスの画像をキャプチャし、上記画像が上記ワイヤレス通信デバイスに転送されるようにさらに動作する、項目１２又は１３に記載のワイヤレス通信デバイス。
［項目１６］
上記ロボット清掃デバイスの視覚的識別を可能にする差別化特徴から、上記視覚的表現において上記ロボット清掃デバイスを識別するようにさらに動作する、項目１４又は１５に記載のワイヤレス通信デバイス。
［項目１７］
ロボット清掃デバイスの空間情報を取得するように構成されるワイヤレス通信デバイスであって、上記ワイヤレス通信デバイスが、
ワイヤレス通信デバイスのディスプレイ上で上記ロボット清掃デバイスの視覚的表現を取得し、
上記視覚的表現において上記ロボット清掃デバイスを識別し、
上記視覚的表現とロボット清掃デバイス座標系との間の座標変換を計算し、
ワイヤレス通信を介して上記ロボット清掃デバイスから空間情報を受信し、
上記計算された変換を上記受信された空間情報に適用し、上記受信された空間情報が上記視覚的表現の上記座標系に変換され、
上記ワイヤレス通信デバイスの上記ディスプレイ上に、上記変換された空間情報を上記取得された視覚的表現において提示する、
ように上記ワイヤレス通信デバイスを動作させるように構成される処理ユニットを備える、ワイヤレス通信デバイス。
［項目１８］
上記ディスプレイ上に提示された上記受信された空間情報が正しいことをユーザが確認することを可能にし、
確認を上記ロボット清掃デバイスに送信するようにさらに動作する、項目１７に記載のワイヤレス通信デバイス。
［項目１９］
上記ディスプレイにタッチすることによって、上記提示された変換された空間情報をユーザが修正することを可能にし、
上記計算された変換を上記修正後の空間情報に適用し、上記修正後の空間情報が上記ロボット清掃デバイスの上記座標系に変換され、
ワイヤレス通信を介して上記ロボット清掃デバイスに、上記変換された修正後の空間情報を送信するようにさらに動作する、項目１７又は１８に記載のワイヤレス通信デバイス。
［項目２０］
上記ロボット清掃デバイスから上記受信された空間情報が、清掃対象の提案領域を含み、上記提案領域が正しいことを上記ユーザが確認する場合、上記ロボット清掃デバイスが上記確認を受信すると上記提案領域を清掃し、上記ユーザが上記提案領域を修正する場合、上記ロボット清掃デバイスが清掃する命令を受信すると上記修正後の提案領域を清掃する、項目１８又は１９に記載のワイヤレス通信デバイス。
［項目２１］
上記ロボット清掃デバイスから空間情報を上記受信することが、
上記ロボット清掃デバイスによってキャプチャされる上記ロボット清掃デバイスの周囲の状況の表現を受信することをさらに含む、項目１７〜２０のいずれか一項に記載のワイヤレス通信デバイス。
［項目２２］
上記周囲の状況の上記表現が、上記ロボット清掃デバイスのカメラによってキャプチャされる画像である、項目２１に記載のワイヤレス通信デバイス。
［項目２３］
コンピュータ実行可能命令がデバイスに含まれる処理回路上で実行されるときに、項目１〜１１のうちのいずれか１つに列挙されたステップを上記デバイスに実行させる、上記コンピュータ実行可能命令を含む、コンピュータプログラム。
［項目２４］
コンピュータ可読媒体を含むコンピュータプログラム製品であって、上記コンピュータ可読媒体が、具現化される項目２３に記載の上記コンピュータプログラムを有する、コンピュータプログラム製品。
【図１】
0006950131.tif 000002
【図２】
0006950131.tif 000003
【図３】
0006950131.tif 000004
【図４】
0006950131.tif 000005
【図５】
0006950131.tif 000006
【図６】
0006950131.tif 000007
【図７】
0006950131.tif 000008
【図８】
0006950131.tif 000009
【図９】
0006950131.tif 000010