(57)【要約】      （修正有）【課題】インタラクション・サービス効果を向上させて、使用者に更に良いサービス経験を提供する。【解決手段】画像信号及び／又は音声信号を受取るように配置される受取モジュールと、前記画像信号及び／又は音声信号に基づいて、使用者の意図を確定するように配置されるＡＩモジュールと、当該ロボットの一部から障害物や地面までの距離を示す位置情報を取り込むように配置されるセンサーモジュールと、使用者の意図に基づいて、当該移動ロボットが位置する部屋の地図を描いて、当該部屋の地図により、測位、ナビゲーションと経路計画を行うように配置されるプロセッサモジュールと、制御信号を送信して、部屋にいるロボットの経路に沿った移動を制御するように配置される制御モジュールと、モータの運転を制御して、当該ロボットが使用者の意図を実行させるように配置される移動モジュールと、を含むロボットを開示している。【選択図】図４
2019109872.tif 000002
【特許請求の範囲】
【請求項１】
ロボットが位置する画像信号及び／又は音声信号を受取るように配置される受取モジュールと、
前記受取モジュールにカップリングされて、前記画像信号及び／又は音声信号に基づいて、使用者の意図を確定するように配置されるＡＩモジュールと、
前記ロボットの一部から障害物や地面までの距離を示す位置情報を取り込むように配置されるセンサーモジュールと、
前記受取モジュールと前記ＡＩモジュールにカップリングされて、使用者の意図に基づいて、移動ロボットが位置する部屋の地図を描いて、当該部屋の地図により、測位、ナビゲーションと経路計画を行うように配置されるプロセッサモジュールと、
前記プロセッサモジュールにカップリングされて、制御信号を送信して、使用者の意図により、部屋にいるロボットの経路に沿った移動を制御するように配置される制御モジュールと、
前記制御信号により、モータの運転を制御して、当該ロボットが使用者の意図を実行させる移動モジュールと、
を含む人工知能に基づくロボット。
【請求項２】
前記受取モジュールは前記ロボットの頂上に設けられ、天井画像を取り込むように配置される請求項１に記載のロボット。
【請求項３】
前記センサーモジュールは、障害物から前記ロボットの両側までの距離を感知するように配置される赤外線測距センサーと、前記ロボットの高度変化を感知して、前記高度変化による前記ロボットの落下を防止するように配置される赤外線崖センサーと、を含む請求項１に記載のロボット。
【請求項４】
前記プロセッサモジュールは画像信号と位置信号に基づいて、前記ロボットが第１位置から第２位置までの経路を計画するように配置される請求項１に記載のロボット。
【請求項５】
前記移動モジュールは低速度モーション、高速度モーションと往復モーションを行う請求項１に記載のロボット。
【請求項６】
使用者の意図を確定する前に、前記ＡＩモジュールはフロアの材料、部屋のタイプと家具を識別する請求項１に記載のロボット。
【請求項７】
フロアの材料がカーペットである場合、前記ロボットは低速度で前記移動モジュールを駆動させて、並びに清掃吸引力を向上させる請求項６に記載のロボット。
【請求項８】
使用者の意図を確定する前に、前記ＡＩモジュールは音声信号を識別して、前記音声信号と自然言語とをマッチングさせる請求項１に記載のロボット。
【請求項９】
受取モジュールにより使用者が入力した画像信号及び／又は音声信号を受取る工程と、
AIモジュールにより前記画像信号及び／又は音声信号に基づく使用者の意図を確定する工程と、
センサーモジュールによりロボットの一部から障害物や地面までの距離を示す位置情報を取り込む工程と、
プロセッサモジュールにより、使用者の意図に基づいて、移動ロボットが位置する部屋の地図を描いて、当該部屋の地図により、測位、ナビゲーションと経路計画を行う工程と、
制御モジュールにより、使用者の意図に基づいて、制御信号を送信して、部屋にいるロボットを経路に沿って移動させるように制御する工程と、
移動モジュールにより、制御信号でモータの運転を制御して、当該ロボットを駆動させて、使用者の意図を実現させる工程と、
を含むロボットの制御方法。
【請求項１０】
使用者の意図を確定する前に、フロアの材料、部屋のタイプと家具を識別する請求項９に記載のロボットの制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロボット制御分野、特にホーム・インタラクション・サービスを提供できる人工知能に基づくロボット、及びその操作方法に関する。
【背景技術】
【０００２】
スマートデバイスの普及に伴い、移動ロボットは、例えば物流、ホームケアなど様々な面で一般的になっている。人工知能（ＡＩ、Artificial Intelligence）とは、コンピューターサイエンス、モダンツールで、人間の思考と行為を模倣する技術である。ＡＩ技術の発展に伴い、生活の各方面に用いられている。しかし、ＡＩ技術を備える当該移動ロボットには、当該ロボットが位置する空間の構成やレイアウトに基づく移動経路を正す能力が足りない。従って、ＡＩ技術を備えるロボットを開発して、インタラクション・サービス効果を向上させて、使用者に更に良いサービス経験を提供する必要がある。
【発明の概要】
【０００３】
本発明は、前記ロボットが位置する画像信号及び／又は音声信号を受取るように配置される受取モジュールと、前記受取モジュールにカップリングされて、前記画像信号及び／又は音声信号に基づいて、使用者の意図を確定するように配置されるＡＩモジュールと、当該ロボットの一部から障害物や地面までの距離を示す位置情報を取り込むように配置されるセンサーモジュールと、前記受取モジュールと前記ＡＩモジュールにカップリングされて、使用者の意図に基づいて、当該移動ロボットが位置する部屋の地図を描いて、当該部屋の地図により、測位、ナビゲーションと経路計画を行うように配置されるプロセッサモジュールと、前記プロセッサモジュールにカップリングされて、制御信号を送信して、使用者の意図により部屋にいるロボットの経路に沿った移動を制御するように配置される制御モジュールと、前記制御信号により、モータの運転を制御して、当該ロボットが使用者の意図を実行させるように配置される移動モジュールと、を含むロボットを開示している。
【０００４】
本発明は、受取モジュールにより使用者が入力した画像信号及び／又は音声信号を受取る工程；AIモジュールにより前記画像信号及び／又は音声信号に基づく使用者の意図を確定する工程；センサーモジュールにより前記ロボットの一部から障害物や地面までの距離を示す位置情報を取り込む工程；プロセッサモジュールにより、使用者の意図に基づいて、当該移動ロボットが位置する部屋の地図を描いて、当該部屋の地図により、測位、ナビゲーションと経路計画を行う工程；制御モジュールにより、使用者の意図に基づいて、制御信号を送信して、部屋にいるロボットの経路に沿った移動を制御する工程；移動モジュールにより、モータの運転を制御して、前記制御信号により当該ロボットが使用者の意図を実行させる工程、を含むロボットの制御方法も提供する。
【０００５】
本発明において、前記ロボットとその操作方法が、ホーム・インタラクション・サービスを提供できるのは有利である。
【図面の簡単な説明】
【０００６】
【図１】本発明の一つの実施形態に係る人工知能技術に基づくロボットのブロック図を示す。
【０００７】
【図２】本発明の一つの実施形態に係る人工知能技術に基づくロボットのプロセッサモジュールのブロック図を示す。
【０００８】
【図３】本発明の一つの実施形態に係る人工知能技術に基づくロボットのＡＩモジュールのブロック図を示す。
【０００９】
【図４】本発明の一つの実施形態により人工知能技術に基づくロボットの制御方法のフローチャートを示す。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態を詳細に述べる。これらの実施形態により、本発明を説明するが、本発明をこれらの実施形態に限定しようとするわけではないと理解されるべきである。逆に、本発明は、本発明の精神及び範囲内に含まれ得る代替物、修正物及び均等物を含む旨とする。
【００１１】
更に、本発明の以下の詳細な説明では、本発明の完全な理解を提供するために、多数の具体的な詳細が記載されている。しかし、当業者は、これらの具体的な詳細がなくても、本発明を実施することができると認識する。本発明の実施形態を不必要に分かりにくくさせないために、別の実施形態では、熟知されている方法、手順、構成要素と回路は詳細に記載されていない。
【００１２】
本開示は人工知能に基づく視覚ナビゲーション機能付きのロボットを提供しようとする。障害物（出会うと、当該ロボットが部屋での進行が阻まれる）を避けるために、センサーとマッピング機能の組み合わせで、本発明の実施形態のロボットは部屋を渡ることができる。
【００１３】
図１は本発明の一つの実施形態に係る人工知能技術に基づくロボット１００のブロック図を示す。図１に示されるように、前記ロボット１００は受取モジュール１０１、プロセッサモジュール１０２、センサーモジュール１０３、制御モジュール１０４、補助モジュール１０５、移動モジュール１０６とＡＩ（Artificial Intelligence、以下はＡＩモジュールとする）モジュール１０７を含む。ここに記載の各モジュールは、コンピューティングデバイス（例えば、構造：ハードウェア、非一次的なコンピュータ可読媒体、ファームウェア）を含み得るロジックにより実施されてもよい。別の例として、前記ロジックは、例えば、ここに記載の動作を行うようにプログラムされたＡＳＩＣとして配置されてもよい。別の代替する実施形態により、前記ロジックは、コンピューター・プロセッサに示される、記憶されたコンピュータ実行可能命令として、一時的にメモリに記憶されてから、コンピューター・プロセッサに実行されるデータとして、配置されてもよい。
【００１４】
一つの実施形態において、ロボット１００の前記受取モジュール１０１（例えば、画像収集ユニット及び／又は音声収集ユニット）は、周りの地図の構築に用いる周りの画像（画像信号とも呼ばれる。例えば、天井画像及び／又は前記ロボット１００の前方の画像）を取り込むように配置されてもよい。使用者又は周りから収集された音声信号は使用者の意図を確定するように配置されてもよい。前記受取モジュール１０１の前記画像収集ユニットは少なくとも、例えば、前方カメラ、頂上カメラを含む、１つのカメラを含むように配置されている。例えば、前記センサーモジュール１０３は測距センサー及び／又は崖センサーの少なくとも１つを含み、前記ロボット１００に関わる位置情報（例えば、障害物と地面からの距離）を取り込む制御回路を含んでも含まなくてもよいように配置される。前記センサーモジュール１０３は、ジャイロスコープ、赤外線センサー又は障害物の存在、ロボットの方向及び／又は回転の変化、及び他のロボット１００のナビゲーションに関わる特徴を感知するその他の適するタイプのセンサーを任意に含んでも良い。
【００１５】
前記受取モジュール１０１と前記センサーモジュール１０３に取り込まれたデータにより、前記プロセッサモジュール１０２は、前記ロボットの部屋の地図を描いて、前記ロボットの現在の位置を記憶して、特徴点の座標及びそれに関わる描述情報を記憶して、測位、ナビゲーションと経路計画を行うことができる。例えば、前記プロセッサモジュール１０２は、ロボットに第１位置から第２位置までの経路を計画する。前記プロセッサモジュール１０２にカップリングされた前記制御モジュール１０４（例えば、マイクロ・コントローラーＭＣＵ）は制御信号を送信して、前記ロボット１００の移動を制御するように配置されてもよい。前記移動モジュール１０６は前記制御信号に従って移動するように配置される駆動モータ付きの駆動輪（例えば、キャスターと駆動輪）であってもよい。前記補助モジュール１０５は、使用者の命令により補助機能を提供する外部装置、例えば、トレーとＵＳＢインターフェースであってもよい（図１に示さず）。前記受取モジュール１０１とプロセッサモジュール１０２にカップリングされた前記ＡＩモジュール１０７は前記受取モジュール１０１に受取られた画像信号をマッチングさせて、テンソルフロー（tensorflow）ＡＩモジュールに基づいてモデルをトレーニングして、目標物のタイプを識別するように配置されてもよい。また、前記音声信号と記憶されたデータ命令とをマッチングさせて、命令信号を得て、当該命令信号が前記プロセッサモジュール１０２に送信されて、処理される。
【００１６】
前記ロボット５００の移動方向と前記ロボット１００に期待される機能について、使用者１１０は命令を出すことができる。音声命令を含むが、これに限定されない。
【００１７】
図２は本発明の一つの実施形態に係る前記ロボット１００における前記プロセッサモジュール１０２のブロック図を示す。図１の説明を組み合わせて図２を理解してもよい。図２に示されるように、前記プロセッサモジュール１０２は地図描画ユニット２１０、記憶ユニット２１２、計算ユニット２１４、経路計画ユニット２１６を含む。
【００１８】
前記受取モジュール１０１（図１に示されるように）に取り込まれた画像信号により、前記ロボット１００の部屋の地図（特徴点と障害物などの情報を含む）を描くために、前記地図描画ユニット２１０は前記画像信号、プロセッサモジュール１０２又はそれらの組合せの一部として配置されてもよい。前記画像信号は、前記部屋の地図を描くために、前記地図描画ユニット２１０に任意に組み合わされてもよい。別の実施形態により、縁検出は前記受取モジュール１０１に取り込まれた画像信号から、障害物、基準点及び別の特徴を抽出して前記部屋の地図を描くために任意に行われてもよい。
【００１９】
前記記憶ユニット２１２は前記地図描画ユニット２１０に描かれた部屋の地図における前記ロボットの現在の位置、特徴点の画像座標、及び特徴描述を記憶する。例えば、特徴描述はＯＲＢ（oriented fast and rotated brief）特徴点感知方法を使うことにより、特徴点の多次元的な描述を含み得る。
【００２０】
前記計算ユニット２１４は前記記憶ユニットから特徴描述を抽出して、当該抽出された特徴描述と前記ロボットの現在の位置の特徴描述とをマッチングさせて、前記ロボット１００の確実な位置を計算する。
【００２１】
前記経路計画ユニット２１６は現在の位置を前記ロボット１００の開始点にして、部屋の地図と目的地を参照して、前記ロボット１００の開始点に対する移動経路を計画する。
【００２２】
図３は、本発明の一つの実施形態に係る人工知能技術に基づくロボットのＡＩモジュールのブロック図を示す。図３は図１の説明と組み合わせて理解されてもよい。図３に示されるように、前記ＡＩモジュール１０７は識別ユニット３１２、マッチングユニット３１４と記憶ユニット３１６を含む。
【００２３】
前記識別ユニット３１２は、画像信号、例えば、フロアの材料、家具、部屋のタイプ、部屋に貯蔵の物体を識別するように配置されてもよい。具体的には、前記識別ユニット３１２は画像信号を使って、モデルをトレーニングして、トレーニングモデルを記憶することができる。前記マッチングユニット３１４は、前記画像信号と前記ロボットにおける前記トレーニングモデルとをマッチングさせて、前記画像信号に基づいて、フロアの材料、家具、部屋のタイプ、部屋に貯蔵の物体を確定するように配置されてもよいが、前記決定に限定されない。
【００２４】
一つの実施形態において、前記受取モジュール１０１に受取られた前記画像信号はトレーニングモデルとして、その中に前記ＡＩモジュールに記憶されてもよい。所定時間内に、前記ＡＩモジュール１０７は、前記記憶された画像トレーニングモデル（前記画像信号により最適化された）に基づく識別能力を向上させることができる。一つの実施形態において、前記画像トレーニングモデルはローカル記憶ユニット又はクラウドに記憶される。
【００２５】
更に、前記識別ユニット３１２は前記受取モジュール１０１に取り込まれた音声信号を識別するように配置されてもよい。一つの実施形態において、前記ロボットにおける音声収集ユニット、例えば、マイクロフォンは、前記ロボットの周りの音声信号、例えば、使用者の命令又は突然の音声信号などを取り込むように配置されてもよい。別の実施形態において、使用者の前記音声信号はマイクロフォンにより取り込まれる。前記マッチングユニット３１４は音声信号とローカル又はクラウドにおける自然言語とローカル音声トレーニングモデルをマッチングさせて、前記音声信号の意図を抽出するように配置されてもよい。前記マイクロフォンに取り込まれた前記音声信号は、音声トレーニングモデルとして、前記ＡＩモジュール１０７に記憶されてもよい。所定時間内に、前記ＡＩモジュール１０７は、記憶された音声トレーニングモデル（前記画像信号により最適化された）に基づく前記音声信号の識別機能を向上させることができる。一つの実施形態において、前記音声トレーニングモデルはローカル記憶ユニット又はクラウドに記憶される。
【００２６】
前記記憶ユニット３１６は、以上に記載の画像トレーニングモデル、音声トレーニングモデル、画像信号と音声信号を記憶するように配置されてもよい。
【００２７】
図４は、本発明の一つの実施形態により、人工知能技術に基づくロボットの制御方法４００のフローチャートを示す。図４は図１-３の説明を組み合わせて理解されてもよい。図３に示されるように、前記ロボット１００の前記制御方法４００は、以下のステップを含んでも良い。
【００２８】
ステップ４０２：前記ロボット１００は画像信号及び／又は音声信号を受け取る。具体的には、前記ロボット１００における前記受取モジュール１０１はカメラとマイクロフォンのそれぞれで画像信号と音声信号を収集する。
【００２９】
ステップ４０４：前記画像信号及び／又は音声信号に基づいて、前記ロボット１００は使用者の意図を確定する。具体的には、前記ロボット１００の前記ＡＩモジュール１０７は前記画像信号及び／又は音声信号を分析、処理して、使用者の意図を確定する。前記ＡＩモジュール１０７は画像信号及び／又は音声信号の一方又は画像信号及び／又は音声信号の組合せを分析、処理することができると説明すべきである。
【００３０】
ステップ４０６：前記ロボット１００は前記使用者の意図を実行させる。
【００３１】
一つの実施形態において、使用者は前記音声信号を通じて、前記ロボット１００に、フロアを掃除すると指示する。前記ロボット１００の前記受取モジュール１０１が前記画像信号を取り込むと同時に、前記ＡＩモジュール１０７は、前記画像信号に基づいて、フロアの材料、家具、部屋のタイプ、部屋に貯蔵の物体を識別して、部屋を掃除するプランを立てる。例えば、フロアの材料がカーペット又は類似物である場合、前記ロボット１００は前記移動モジュール１０６を低速度で駆動させて、清掃吸引力を向上させる。前記プロセッサモジュール１０２と前記制御モジュール１０４の組合せで前記移動モジュール１０６を駆動して、具体的な掃除プランを実行させる。低速度モーション、高速度モーション又は往復モーションで前記移動モジュールを駆動してもよい。例えば、フロアが汚れた場合、前記ロボットが駆動速度を落とす或は清掃吸引力を向上させる。
【００３２】
別の実施形態において、前記音声信号を通じて、使用者は前記ロボット１００を指定区域、例えば、台所又は寝室へ行くように指示する。同時に、前記ＡＩモジュール１０７は音声信号を抽出して、処理して、処理された音声信号を前記プロセッサモジュール１０７に送信する。前記ＡＩモジュール１０２の前記経路計画ユニット２１６は指定区域への経路を計画する。さらに具体的には、前記制御モジュール１０４は前記計画経路により、制御信号を送信して、前記移動モジュール１０６を前記指定区域へ駆動させる。
【００３３】
本発明において、人工知能とその制御方法に基づく前記ロボットがホーム・インタラクション・サービスを提供できるのは有利である。
【００３４】
本発明の前記ロボット１００について、先の出願、即ちUS出願番号15/487,461に記載の掃除ロボットであってもよい。又は先の出願、即ちUS出願番号15/592,509に記載の携帯型移動ロボットであってもよい。
【００３５】
以上の説明及び図面は、本発明の実施形態を示すものであるが、本発明の精神及び範囲から逸脱しない限り、さまざまな追加、変更及び置き換えが可能であることが理解できる。当業者であれば、本発明は形態、構造、配置、比率、材料、素子と構成要素の多くの変更（本発明の原則から逸脱することなく、特に特定の環境と操作上の必要に適合する）を使用することができて、また本発明の実践に使用することができると理解する。従って、ここに開示されている実施形態は、全ての点において、限定的なものではなくて、例示的なものであり、以上の説明を限定していないと考えるべきである。
【図１】
2019109872.tif 000003
【図２】
2019109872.tif 000004
【図３】
2019109872.tif 000005
【図４】
2019109872.tif 000006
【外国語明細書】
2019109872000001.pdf