(57)【要約】【課題】サービス対象のユーザ・物品を簡易・確実・迅速に特定し、ロボットが円滑に生活支援サービスを提供する。【解決手段】Ｓ４０において、ユーザ４１が朝一番にロボット１に予定を問い合わせる。次に、Ｓ４１において、ロボットは、パターンマッチングにより顔認証を行う。次に、Ｓ４２において、ユーザが立っているか、座っているか、寝ているかを推定してを推定する。推定が不確実であるときは、Ｓ４３において、ロボット１は例えばユーザの正面に移動する。必要であれば、Ｓ４４においてロボット１は再度移動する。次に、Ｓ４５において、ユーザの姿勢にあわせた服装領域が定まり、服装色が特定される。そこで、Ｓ４６において、ユーザ４１が、服装色により認識されて、Ｓ４７において、ユーザ４１の追尾が開始される。なお、翌日になれば、服装の変化に対応すべく、一連の処理が再度実行される。【選択図】図４
2007156577.tif 000002
【特許請求の範囲】
【請求項１】
１以上のユーザに生活支援サービスを提供するために移動するロボットにおいて、
前記ユーザの顔画像を登録する顔画像データベースＤＢと、
前記ユーザと対面して前記ユーザの顔画像を撮影する顔画像撮影部と、
前記顔画像ＤＢを参照して、前記ロボットと対面している前記ユーザを特定するユーザ特定部と、
当該特定ユーザの体の所定部位に含まれる色を服装色として特定する服装色特定部とを備え、
前記服装色を有する当該特定ユーザに、前記生活支援サービスを提供することを特徴とするロボット。
【請求項２】
請求項１において、
一日の中の服装色が区別出来る所定の時間帯に前記服装色を特定することを特徴とするロボット。
【請求項３】
請求項１において、
前記ユーザ毎の所有物の色を登録する所有物データベースＤＢと、
前記ロボットと対面したとき、前記特定ユーザが所持する物品を認識し、その色を特定する物品色特定部と、
前記所有物ＤＢを参照して、当該特定物品色の前記物品を所持する者を特定することを特徴とするロボット。
【請求項４】
請求項３において、
前記物品毎に、前記ユーザの所持履歴を更新する所持履歴データベースＤＢをさらに備え、
前記所持履歴ＤＢを参照し、
前記物品を所持する前記ユーザであって、前記ロボットと対面している前記ユーザを特定することを特徴とするロボット。
【請求項５】
請求項３において、
前記所有物ＤＢは、前記所有物の寸法及び又は形状を登録することを特徴とするロボット。
【請求項６】
請求項１において、
前記特定ユーザが指し示した前記物品の存在する方向及び又は位置を検出し、
前記所有物ＤＢを参照して、前記物品を特定することを特徴とするロボット。
【請求項７】
請求項１において、
前記物品の動作及び前記特定ユーザの動作を記憶する動作データベースＤＢをさらに備え、
前記物品の動作及び又は前記特定ユーザの動作に基づいて、前記物品を特定することを特徴とするロボット。
【請求項８】
１以上のユーザに対し移動ロボットによる生活支援を提供する方法において、
顔及び服装色によって前記ユーザを特定するユーザ認識ステップと、
前記ロボットに対面している前記ユーザの人間付帯情報、すなわち前記ユーザが着ている服装の色、持っている物品の色、触った物品の色、又は設置・移動した物品の色を記憶する特徴情報作成ステップと、
前記ユーザの音声指示を待ち受ける音声指示待ち受けステップと、
前記音声指示を受けたとき、前記特徴情報を参照して、前記生活支援サービスの対象となる前記物品を特定し、同時に、前記音声指示を認識することにより当該特定物品に対する前記生活支援サービスの内容を決定するサービス特定ステップと、
前記生活支援サービスを提供するステップと、
前記生活支援サービスをロボットの動作履歴として記憶する動作履歴記憶ステップとを含むことを特徴とする生活支援提供方法。
【請求項９】
前記特徴情報作成ステップは、前記ユーザの行動情報、すなわち前記ユーザが立っているか、座っているか、寝ているかを、さらに記憶することを特徴とする請求項８記載の生活支援提供方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動可能なロボットに関し、家族などのユーザの各人を認識することにより、各人からの呼びかけに応答し、又はロボット側から自発的に各人に対して、アクションや各種のサービスサーブを提供し、例えば、自由に移動し、家族の顔を見分けて話しかけ、インターネットにアクセスして天気予報を報告するなど、生活支援を行うことができるロボットに関する。
【背景技術】
【０００２】
従来のロボットは、多関節アームロボットや搬送ロボットなどのように生産現場などにおいて使用される産業用ロボットであった。しかし、産業用ロボットは、その使用目的が溶接、塗装、運搬などといったように限定されており、アームロボットなどのように１箇所に固定されたものや、搬送ロボットのように決められたルートを決められた順序で移動するものがほとんどであった。しかし、最近になって、この自律移動型ロボットが出現し、所定の空間内を自由に移動し、産業活動や生産活動などにおける単純作業や危険作業、難作業など、例えば原子力プラント、火力発電プラントなどにおけるメンテナンス作業、高層ビルにおける清掃作業、火災現場などの災害現場での救助活動などの手助けや代行を行うことができるようになってきた。自律移動型ロボットの活用範囲は、これにとどまらず、例えば１人暮らしの高齢者の家などに設置し、部屋の掃除や住人の体調管理、あるいは住人が家を留守にしたときの屋内安全確認など、人間の生活に密着して生活支援型としたロボットもある。
【０００３】
生活支援型ロボットの基本行動のひとつは、ロボットが見ている対象と関連する情報を参照して、応答文を作成し、発話するということである。
【０００４】
例えば、特許文献１に開示された「情報処理装置および方法、並びに記録媒体」では、ユーザの発話とロボットの応答文の発話が、ロボットが見ている物品などの対象を識別することを介して行われる。具体的には、ロボットが「茶碗」を見ているとき、ユーザが「その茶碗には、どのくらいのお湯が入りますか？」と発話したとする。すると、ロボット側で、「茶碗」の音声認識における属性が検出され、辞書情報から検出された属性と同一又は類似の単語が参照される。また、ユーザの質問は、言語認識され、それに対する応答文が生成される。例えば、「茶碗」に対する知識情報として、色、製造者、容量があるとすると、「どのくらいの」に対する応答として当該容量が入力されるなどして、応答文が構成される。このように、ロボットが識別した物品の情報と、ユーザの発話の言語分析を関連付けることにより、正確且つ高速に応答文が生成され、ユーザとロボットとの対話が正確且つ迅速に行われる。
【０００５】
また、特許文献２に開示された「物体認識装置及び方法並びにロボット装置」では、ロボット自身が、一般家庭などにおいて、学習すべき３次元物体の存在する範囲や大きさに関する事前知識を要することなく、3次元物体を選択し学習する。具体的には、ロボットは、持ち上げ可能な大きさ及び距離にある３次元物品を手のひらに乗せ、当該物品を予め設定された所定の空間位置に移動させる。次いで、手のひらを例えば４５度づつ３６０度回転させ画像切り出し処理を行う。ロボットは、切り出し画像に基づいて３次元物体の特徴を抽出し、これを記憶する。
このように、生活支援ロボットは、ロボットのカメラ情報から人物や物体を認識させ、人間に対して物の持ち運び片付け、記憶補助、気が利いた会話などのサービスを行う。
【特許文献１】特開２００１−１８８７８０号公報（段落００６３、図１）
【特許文献２】特開２００３−３４６１５２号公報（段落００５０、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、ロボットによる人間・物体の認識や分類では、生活空間に限定されているとはいえ、対象物が不特定多数であり、簡易な方法ではサービスにつながる特定が難しい。そのため、更に複雑な情報である形を利用した認識・分類が行われるが、一般的に、システムが複雑となり、照明条件などの観測条件に大きく影響され、結果として認識や分類が困難になる。また、人間の姿勢や物品の置かれた場所や角度などによっても、認識・分類は困難となることがある。
【０００７】
また、認識や分類が複雑化・高度化すれば、計算処理に時間がかかり、特許文献１や特許文献２に開示された発明では、迅速な応答が困難となる虞がある。また、物品そのものや顔などをそれ自身の情報で認識しようとすると、誤判定に陥り、追尾に失敗することも少なくない。
【０００８】
そこで、本発明の課題は、ロボットが、サービス対象のユーザと物品を簡易・確実・迅速に特定し、ユーザに対して円滑に生活支援サービスを提供することである。
【課題を解決するための手段】
【０００９】
本来、生活支援ロボットは人に対してのみ注意を払って認識すべきとの原点に立ち返り、ユーザの服装色やユーザと関連する物品の色のみを手がかりとして、生活支援サービスを行うものである。第１に、ユーザの認知は、顔画像と着服色により行われる。第２に、ユーザの所持品の認知は、その色に基づいて、所持品データベース（ＤＢ）を参照して行われる。第３に、ユーザが指し示している方法や位置を検知し、その方向・位置にある物品の色を識別し、物品配置ＤＢを参照し、ユーザが指し示した物品を認知する。第４に、ユーザの動作と物品の動作の関連を検出した結果を動作ＤＢとして蓄積した上で、ユーザがある動作をしたときに、その意味を認知する。
【００１０】
上述したユーザ認知・物品認知の結果に基づいて、ロボットは、生活支援プログラムに基づいてユーザに生活支援サービスを実行する。
【００１１】
具体的には、上述した課題を解決するための第１の手段は、１以上のユーザに生活支援サービスを提供するために移動するロボットにおいて、前記ユーザの顔画像を登録する顔画像データベースＤＢと、前記ユーザと対面して前記ユーザの顔画像を撮影する顔画像撮影部と、前記顔画像ＤＢを参照して、前記ロボットと対面している前記ユーザを特定するユーザ特定部と、当該特定ユーザの体の所定部位に含まれる色を服装色として特定する服装色特定部とを備え、前記服装色を有する当該特定ユーザに、前記生活支援サービスを提供することである。
【００１２】
第２手段は、第１手段において、一日の中の服装色が区別出来る所定の時間帯に前記服装色を特定することである。
【００１３】
第３手段は、第１手段において、前記ユーザ毎の所有物の色を登録する所有物データベースＤＢと、前記ロボットと対面したとき、前記特定ユーザが所持する物品を認識し、その色を特定する物品色特定部と、前記所有物ＤＢを参照して、当該特定物品色の前記物品を所持する者を特定することである。
【００１４】
第４手段は、第３手段において、前記物品毎に、前記ユーザの所持履歴を更新する所持履歴データベースＤＢをさらに備え、前記所持履歴ＤＢを参照し、前記物品を所持する前記ユーザであって、前記ロボットと対面している前記ユーザを特定することである。
【００１５】
第５手段は、第３差手段において、前記所有物ＤＢは、前記所有物の寸法及び又は形状を登録することである。
【００１６】
第６手段は、第１手段において、前記特定ユーザが指し示した前記物品の存在する方向及び又は位置を検出し、前記所有物ＤＢを参照して、前記物品を特定することである。
【００１７】
第７手段は、第１手段において、前記物品の動作及び前記特定ユーザの動作を記憶する動作データベースＤＢをさらに備え、前記物品の動作及び又は前記特定ユーザの動作に基づいて、前記物品を特定することである。
【００１８】
第８手段は、１以上のユーザに対し移動ロボットによる生活支援を提供する方法において、顔及び服装色によって前記ユーザを特定するユーザ認識ステップと、前記ロボットに対面している前記ユーザの人間付帯情報、すなわち前記ユーザが着ている服装の色、持っている物品の色、触った物品の色、又は設置した物品の色を記憶する特徴情報作成ステップと、前記ユーザの音声指示を待ち受ける音声指示待ち受けステップと、前記音声指示を受けたとき、前記特徴情報を参照して、前記生活支援サービスの対象となる前記物品を特定し、同時に、前記音声指示を認識することにより当該特定物品に対する前記生活支援サービスの内容を決定するサービス特定ステップと、
前記生活支援サービスを提供するステップと、前記生活支援サービスをロボットの動作履歴として記憶する動作履歴記憶ステップとを含むことである。
【００１９】
第９手段は、第８手段において、前記特徴情報作成ステップは、前記ユーザの行動情報、すなわち前記ユーザが立っているか、座っているか、寝ているかをさらに記憶することである。
【００２０】
第１手段により、ロボットが追尾すべきユーザを簡易・確実に認識することができる。
【００２１】
第２手段により、目が覚めてから１日中、生活支援サービスを提供することができる。
【００２２】
第３手段により、特定された物品の片付けなどを容易に行うことができる。
【００２３】
第４手段により、ロボットが認識した物品を現在所持するユーザを迅速に特定することができる。
【００２４】
第５手段により、色だけでなく、寸法や形状に基づいて、所有物を迅速に決定することができる。
【００２５】
第６手段により、色や形状によって物品認識するだけでなく、ユーザが指し示した方向や位置に基づいて物品認識を行うことができ、物品認識を多様な方法で行うことができる。
【００２６】
第７手段により、ユーザの行動に関連して物品の動作を認識し、又は逆に物品の動作に関連してユーザの行動を認識することができ、ユーザと物品からなる生活環境を具体的に把握することができる。そして、そのようなユーザと物品の動作の相互関連を検知した結果である動作データベースを豊富化することにより、ユーザはロボットから円滑に生活支援サービスを受けることができるようになる。
【００２７】
第８手段により、特徴情報を参照しつつ音声指示認識に基づいてサービス対象の物品を特定することができ、サービスを特定することができる。
【００２８】
第９手段により、ユーザの服の色は、ユーザが立っているか、座っているか、寝ているか、に応じて特徴情報として作成するので、ロボットがこれらの行動情報も記憶している。したがって、服の色と行動情報により、ユーザが具体的に特定され得るという利点がある。
【発明の効果】
【００２９】
本発明によれば、顔と服装色で簡易・確実・迅速にユーザを特定することができる。また、特定したユーザに付帯する（ユーザが所持し、設置した）物品が迅速に特定できる。そして、ユーザとサービス対象の物品が迅速・確実に特定できるため、音声指示によりサービス内容を迅速・確実に特定することができる。これにより、ロボットと人間のコミュニケーション（生活支援）を円滑に行うことができる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明を図に示した実施例を用いて詳細に説明する。但し、この実施例に記載されている構成部品の寸法、材質、形状、その相対配置などは特に特定的な記載がない限り、この発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。
【００３１】
図１は、本発明の実施形態の生活支援ロボットの正面図である。
【００３２】
このロボットの頭部２には、頭頂カメラ３と左右１対の正面カメラ５と、額下部の人間の眉の位置に１対のマイクロフォン４が配置される。胸部６には、縦中心線から離れて左右１対のスピーカ７が配置される。両腕９の肘や肩は、関節構造をとり、手先１０で物を把持する。また、首も関節構造をとる。このロボットは、下肢はスカート１２状のカバーであり電気回路などを収め、下肢最下部の左右2つの車輪１４により、移動することができる。また、下肢上部には左右１対の障害物センサ（赤外線検知又は超音波検知）１３により、障害物を自動的に回避して目的地へ自律的に移動する。
【００３３】
図２は、本実施形態のロボットのブロック図である。
【００３４】
ＣＰＵ２１へ入力されるのは、頭頂カメラ３、正面カメラ５、マイクロフォン４、障害物センサ１３、データ入出力２０からの出力である。ＣＰＵ２１は、事故位置認識部２２、指示点認識部２３、音声認識部２４、首・腕・手動認識部２５、体方向認識部２６、過去動作・位置データベースを有し、上述した入力に基づいて、首関節用駆動部２８、スピーカ７、手関節用駆動部２９、胸関節用駆動部３０、車両用駆動部３１を駆動する。コンピュータ制御により、このロボットが備えるコミュニケーション能力は、移動する人を検知したり、顔を検出する人検知能力；顔特徴を検出し、オーナー１人を含む所定数のユーザを識別する個人識別能；ワードスポッティング方式・会話シナリオに必要な連続単語認識や、アコースティックエコーキャンセラーによる人の声の認識などの音声認識能力；テキスト読み上げ方式・声の大きさなどの設定変更が可能な音声合成能力などである。また、移動能力は、生活支援を行うために、人を探し、人に寄って行く能力が与えられる。また、通信能力に関しては、ロボット専用のホームページを有し、家族の名前の登録や行動パターンの変更、遠隔操作、映像閲覧が可能である。例えば、遠隔操作により、指定の時間にお出迎えに来てもらったり、留守宅を巡回して映像を閲覧するなどが可能である。映像は、コンピュータ２１のメモリを利用して、現在のみならず過去の映像も閲覧できる。映像は、正面カメラ５によるカラー画像と、頭頂カメラ３による全方位カメラをパノラマ化した白黒映像がある。また、ロボット自身がインターネット上のホームページなどの検索を実行し、情報を家族などに届けることができる。
【００３５】
図３は、ユーザ認識及び物品認識を中心とする本実施形態のロボットのブロック図である。
【００３６】
［ユーザ認識］
まず、図３を参照して、ユーザ認識について説明する。ユーザ認識は、顔認識と着服色により行う。そのため、１以上のユーザの顔画像を登録する顔画像ＤＢ２２０と、ユーザと対面してユーザの顔画像を撮影する顔画像撮影部２１と、顔画像ＤＢ２２０を参照してロボットと対面しているユーザを特定するユーザ特定部２７０と、当該特定されたユーザの体の所定部位に含まれる色を服装色として特定する服装色特定部２６０とを使用する。
【００３７】
顔画像ＤＢ２２０には、ロボットのユーザの顔画像を格納する。ユーザは、家族のメンバーなどである。
【００３８】
顔画像撮影部２１０は、図１に示したロボットの正面カメラ５であり、ロボットと対面したユーザの顔（顔以外の身体も含む）を撮影し、撮影画像は図示しないメモリに格納される。なお、顔画像が、斜め向き、横向き、後ろ向きであっても、単に追尾するだけなら役に立つことがある。
【００３９】
ユーザ特定部２７０は、現在ロボットと対面しているユーザの顔と、顔画像ＤＢ２２０中の顔画像をパターンマッチングにより比較し、ユーザを特定するものである。顔は、主として正面向きの輪郭や造作により定めるほうがよい。髪の色、目の色、肌の色など照明に依存する要素を用いない方がよい。
【００４０】
服装色特定部２７０は、顔画像撮影部２１０が撮影した身体の部位の色を服装の色とする。そのため、ユーザの姿勢を、その身長に基づいて、「立っている」、「座っている」、「寝ている」に分類する。「立っている」ときは顔の下が服装であり、「座っている」ときは顔の下が服装であるが椅子などの背景と区別するため体の正面から判断する。また、「寝ている」ときは、手足の伸びている方向を検出して、上下左右の服装領域いずれかを又は少なくともひとつを服装領域とする。服装色認識を確実にするには、ユーザ正面に移動したり、光源位置を考慮した移動を行うとよい。
【００４１】
顔と服装色によりユーザが一旦特定された後で、ロボットが、あるユーザに対面したとき、顔と服装色が共に特定ユーザのものであると同定されれば、ロボット側は、コンピュータプログラムに従って、会話やアクッションを通じて生活支援を行う。
【００４２】
また、服装色の特定は、午前中の所定の時間帯に行ってもよい。これにより、ユーザが服を着て以降１日中、ロボットの生活支援サービスを受けることができる。
【００４３】
ロボットは、ユーザに対面すると、指示部２００から顔画像撮影部に対して、その顔画像を撮影するよう指示し、上述したように服装色特定部２６０とユーザ特定部２７０から特定結果を制御部２８０に入力する。その後、制御部２８０は、ユーザからのサービス要求を受付け、出力部２９０を介して、腕を動かすなどの特定の動作を出力する。
【００４４】
図４は、以上説明したユーザ認識をさらに具体的に説明するイラストレーション及びフローチャートである。図４（Ａ）は、２人のユーザのうちの１人（父）４１がロボット１に呼びかけ、その呼びかけイベントに対してロボットが父４１の服装色を特定しようとしているイラストレーションである。また、図４（Ｂ）は、ユーザ認証処理の１例のフローチャートである。図４（Ｂ）を参照すると、まず、Ｓ４０において、ユーザ４１が朝一番にロボット１に予定を問い合わせる。次に、Ｓ４１において、ロボットは、ユーザ４１の顔認証を開始する。顔認証が完了すると、Ｓ４２において、全身姿勢を推定する（「立っている」か、「座っている」か、「寝ている」かを推定する）。推定が不確実であるときは、Ｓ４３において、ロボット１は移動する（例えば「座っている」ときは顔の下が服装であるが椅子などの背景と区別するためユーザの正面に移動する）。必要であれば、Ｓ４４においてロボット１は再度移動する（例えば、「寝ている」ときは、手足の伸びている方向を検出する）。必要な移動が完了すれば、Ｓ４５において、ユーザの姿勢にあわせた服装領域が定まり、服装色が特定される。そこで、Ｓ４６において、服装色が記録される。こうして、Ｓ４７において、ユーザ４１の追尾が開始される。なお、翌日になれば、ユーザ４１の服装の変化に対応すべく、上述したフローチャートの処理が再度実行される。
【００４５】
［物品認識］
次に、再び図３を参照して物品認識について説明する。物品認識は、第１に特定ユーザが所持している物品の認識、第２に特定ユーザが指し示す物品の認定、第３にユーザの行動に関連する物品の認識などが考えられる。これらの物品認識を行うため、１以上のユーザの所有物の色を登録する所有物データベースＤＢ３００と、ロボットが特定ユーザと対面したとき特定ユーザが所持する物品を認識しその色を特定する物品色特定部３１０と、所有物ＤＢ３００を参照される。
【００４６】
所有物ＤＢ３００は、登録されたユーザが所有する物品のリストであり、物品の属性として少なくとも色が何であるかを記載する。
【００４７】
物品色特定部３１０は、ロボットの物品の色を特定する。
【００４８】
ロボットは、特定ユーザ（顔と服装色により特定されたユーザ）のサービス要求に応じ、又は自発的に、所有物ＤＢ３００と所持履歴ＤＢ３１０にアクセスしつつ、物品色判定部２５０によりサービス対象の物品の色を特定し、特定結果を物品色判定部２５０から制御部２８０に入力し、出力部２９０を介して腕を動かすなどの出力動作を行う。
【００４９】
［特定ユーザが所持している物品の認識］
図５を参照して、特定ユーザが所持している物品の認識について説明する。
【００５０】
図５は、物品色特定処理を具体的に説明するイラストレーションであり、図５（Ａ）を参照すると、ロボット１が、携帯電話５２を手に持つお母さん５１を認識する場面が表わされている。特定対象となる物品は、特定ユーザ（特定の顔と特定の服装色とで決まるユーザ）が持っている物である。ロボット１は、物品（この場合は、携帯電話５２）の色を認識した後、所有物ＤＢ３００を参照して当該特定ユーザの所有物を検索し、同じ色の物品を検索する。検索の結果複数の物品があるときは、所有物ＤＢ３００に記憶された寸法、形状などを参照して、ひとつを選ぶ。形状・寸法を手の大きさと比較することにより、迅速に選ぶことができる。さらに、可搬性の物品ごとに所持履歴ＤＢ３１０を設け、所持者が変わる毎に所持者を更新することとしてもよい。これにより、現在ロボットの前にいるユーザがその物品を持っている可能性の高さを推測し、物品の候補をスクリーニングし、迅速にサービス対象物品を特定することができる。また、所有物ＤＢ３００を、ユーザが物品を使用するごとに更新し、使用しなかった物品を所有物ＤＢ３００から削除してもよい。これにより、所有物ＤＢ３００には、使用頻度が高い物品が記憶されるため、サービス対象物品が迅速に特定される。また、物品の画像を所有物ＤＢ３００に格納してもよい。これにより、パターンマッチングで迅速に物品を特定することができる。
【００５１】
図５（Ｂ）は、特定ユーザが所持している物品を認識した結果、ロボット１が提供する生活支援サービスの１例を示すイラストレーションである。ロボット１は、物品配置ＤＢ２４０を参照し、お母さん５１が所持している携帯電話５２が、整理棚５３に片付けられる。
【００５２】
［特定ユーザが指し示す物品の認定］
再び図３を参照して、特定ユーザがロボットの前で現に所持していないが、その物品について生活支援サービスを求めるために指し示す物品の認定（ロボットによる認定）について説明する。この認定を行うため、特定ユーザが指し示した物品の存在する方向及び又は位置を検出し、当該方向・位置に存在する物品の色を特定し、物品配置ＤＢ２４０と物品特定部３２０とを参照して物品を特定する。物品の特定は、所有物ＤＢ３００又は物品配置ＤＢ２４０に格納された物品画像とのパターンマッチングによれば、迅速に実行される。指示方法は、例えば、指やレーザポインタによる指し示し、音声による指示いずれも使用できる。その際、ロボットとユーザの間で、位置を特定する会話を行えば、方向の特定が確実となる。また、ロボット側では、当該物品に対する過去の指示場所という履歴情報も利用する。この利用情報として、後述する動作ＤＢ２３０を利用することもできる。なお、特定方向・位置が分かれば、物品を特定することなく、生活支援サービスに結びつけることも可能である。
【００５３】
物品配置ＤＢ２４０は、室内や整理棚中の物品配置を記憶する。
【００５４】
物品特定部３２０は、顔画像撮影部２１０に撮影されたユーザの指し示し動作に基づいて、物品配置ＤＢ２４０を参照して、指し示された物品を特定する。
【００５５】
図６は、指し示しの具体例を説明するイラストレーションである。図６（Ａ）は、ユーザ６２が、指で、箪笥６１を指し示している場面を表す。ロボット１は、物品配置ＤＢを参照し、生活支援サービスの対照となる物品を特定する。図６（Ｂ）は、ユーザ６３が、レーザポインタ６５を使用して食器棚６４上の自分のコーヒーカップを指し示す場面を表す。レーザポインタ６５とロボット１と通信可能であれば、指し示す位置は自動的にロボット１に入力され、ロボット１は、物品配置ＤＢ２４０を参照し、生活支援サービスの対照となる物品を特定する。
【００５６】
［ユーザの行動に関連する物品の認識］
再び図３を参照して、ユーザの行動に関連する物品の認識について説明する。この認定を行うため、動作ＤＢ２３０、物品配置ＤＢ２４０、物品特定部３２０が使用される。すなわち、物品配置ＤＢ２４０に記載された物品に関連してなされたユーザの動作（行動）に基づいて、サービス対象物品が特定される。
【００５７】
動作ＤＢ２３０は、物品の動作及び特定ユーザの動作（行動）を記憶する。これにより、例えば、ユーザの行動に関連して物品の動作を認識し、又は逆に物品の動作に関連してユーザの行動を認識することができ、ユーザと物品からなる生活環境を具体的に把握することができる。そして、そのようなユーザと物品の動作の相互関連を検知した結果である動作データベースを豊富化することにより、ユーザはロボットから円滑に生活支援サービスを受けることができるようになる。
【００５８】
図７は、動作ＤＢ２３０を作成できる可能性がある場面の幾つかの例を表す。
【００５９】
図７（Ａ）は、ソファに座っているユーザの動作に関連する物品を特定する場面を表す。ユーザはすわっているが、ソファを指し示していないため、ソファはサービス対象物品ではなく、携帯電話７１を持った左腕がロボットに向けられている。したがって、この場面を画像として取り込んで、動作ＤＢ２３０に格納すれば、パターンマッチングにより、直ちにサービス対象物品が特定されうる。しかも、提供すべきサービス、例えば片付けも、直ちに特定されうる。
【００６０】
図７（Ｂ）は、ドア７２を操作しているユーザ７３の動作に関連する物品を特定する場面を表す。ユーザは立っており、ロボット１は、ドア７２を見ている。ここで、ユーザ７３が音声でドア７２を開けるか閉じるかの指示を出すると仮定する。すると、この場面の画像と音声指示を動作ＤＢ２３０に格納すれば、パターンマッチングにより、直ちに、サービス内容（例えば、ロボットによるドア開閉サービス）が特定されうる。
【００６１】
図７（Ｃ）は、ユーザ７３が壁スイッチ７５を操作して照明灯を点灯又は消灯している場面を表す。ロボット１は、ユーザ７３、照明灯７４、ユーザ７３を見ている。スイッチドア７２を見ている。ここで、ユーザ７３が音声で点灯又は消灯の指示を出すると仮定する。すると、この場面の画像と音声指示を動作ＤＢ２３０に格納すれば、パターンマッチングにより、直ちに、サービス内容（例えば、ロボットによるドア開閉サービス）が特定されうる。この例は、図７（Ｂ）と同様ではあるが、スイッチという小さな物品を場面に応じて操作するというロボットにとっては困難な仕事であり、プログラムを使用することなく、パターンマッチングを中心としてロボット１を動作させれば、スイッチの位置や寸法、を特定することなく、スイッチの色だけでロボット１が自立的に動作し得るという利点がある。
【００６２】
［人間付帯情報］
図８は、人間付帯情報とロボットが提供する生活支援サービスの種類との関係の１例を示すブロック図である。ロボットは、ＣＣＤなどにより、人間情報ＩＮＰＵＴ１、ＩＮＰＵＴ２、ＩＮＰＵＴ３、ＩＮＰＵＴ４（それぞれ、人間部位、人間姿勢、人間行動、時間帯）を入力し、人間付帯情報ＯＵＴＰＵＴ１、ＰＵＴＰＵＴ２、ＯＵＴＰＵＴ３、ＯＵＴＰＵＴ４（それぞれ、着ている物、持っている物、触った物、設置した物）を認識する。ここに、ＩＮＰＵＴｉとＯＵＴＰＵＴｊ（ｉ、ｊ＝１〜４）は交互に関係付けられている。人間付帯情報ＯＵＴＰＵＴｊにより、サービス対象の物品が特定されれば、ロボットは、ユーザの音声指示に従って、又は、過去に行ったサービスの蓄積情報に従って、生活支援サービスＳＥＲＶＩＣＥ１、ＳＥＲＶＩＣＥ２、ＳＥＲＶＩＣＥ３、ＳＡＥＲＶＩＣＥ４、ＳＥＲＶＩＣＥ５（それぞれ、スケジュール管理、インターネット検索、片付け、家電製品制御、行動記録作成）を提供する。
【００６３】
［生活支援サービス提供方法］
図９、図１０、図１１を参照して、本実施形態の生活支援サービス提供方法について説明する。本方法は、１以上のユーザに対し移動ロボットによる生活支援を提供する方法である。本方法は、顔及び服装色によってユーザを認識するユーザ認識ステップと、ロボットに対面しているユーザの人間付帯情報、すなわち前記ユーザが着ている物品の色、持っている物品の色、触った物品の色、又は設置した物品の色を記憶し、さらに、ユーザの行動情報、すなわちユーザが立っているか、座っているか、寝ているかを記憶した特徴情報を作成する特徴情報作成ステップと、ユーザの音声指示を待ち受ける音声指示待ち受けステップと、音声指示を受けたとき、特徴情報を参照してサービス対象となる物品を特定し、音声指示を認識することにより当該特定物品に対する特定のサービスを決定するサービス特定ステップと、サービスをロボットの動作履歴として記憶する動作履歴記憶ステップとを含む。
［生活支援サービス提供方法の１例］
図９は、生活支援サービス提供方法の１例を表すイラストレーションである。ユーザは不定の又は予定の時間帯ＴＺ１、ＴＺ２、ＴＺ３、Ｔ４において、ロボットに対して、発話９１、９２、９３、９４を、それぞれ行う。これに対して、ロボットは、時間帯ＴＺ１において顔認証を行う。ＴＺ１では顔認証（服装色特定を含む）を行い、ユーザのスケジュールを聞き又はユーザにスケジュールを知らせ、色特徴記録（服装色記録）を行う。さらに、ＴＺ２，ＴＺ３、ＴＺ４において指示受けを行う。すなわち、ユーザの指示音声が入力されると、顔と服装色によりユーザが誰であるかを特定し、人間付帯情報（図８）に基づいてサービス対象物品を認識し、ユーザの音声指示又は過去のサービス履歴を参照してサービスの内容を決定し、ロボット動作が行われる。生活支援サービスの提供は、特徴情報データベースＤＢ１と動作履歴データベースＤＢ２に基づいて。また、図示しないが、ロボットは自発的に、状況に応じたサービス（例えば、暗くなったら点灯する）や、定刻に定型的なサービス（例えば、正午にＴＶのスイッチを入れる）を行う。
【００６４】
図１０は、特徴情報作成ステップ（図９に示した特徴情報データベースＤＢ１作成ステップ）のためのフローチャートである。まず、Ｓ１０１において、ユーザの画像が入力される。次に、Ｓ１０２において、顔のパターンマッチングと服装色により人物認識が行われる。次に、Ｓ１０３において、人間付帯情報（物品の情報）や行動情報（例えば、ユーザは、ソファに座って携帯電話を持っている。図７（Ａ）参照：ユーザは、立ってドアを開けている。図７（Ｃ）参照）が認識され、画像として、例えば静止画として特徴情報ＤＢ１に取り込まれる。次に、Ｓ１０４において、生活支援サービス対象の物品色と服装色を記録する。これにより、ひとつの特徴が特徴情報データベースＤＢ１に記録される。そして、次の特徴情報（次のユーザ及び又は次の物品に関する特徴情報）を記録するためＳ１０１〜Ｓ１０４が繰り返される。
【００６５】
図１１は、動作履歴記憶ステップ（動作履歴データベースＤＢ２作成ステップ）のためのフローチャートである。まず、Ｓ１１１でユーザからの音声指示などのイベントが発生したら、Ｓ１１２ａ及びＳ１１２ｂにおいて、画像入力、音声認識が、それぞれ同時に行われる。次に、Ｓ１１３ａ及びＳ１１３ｂにおいて、人間付帯情報取得、音声指示理解が、それぞれ同時に行われる。次に、Ｓ１１５において、提供すべきサービスが特定される。次に、Ｓ１１６において、特徴情報ＤＢ１を参照して、色を主たる手がかりとして、図３に示したデータベースのうち必要な全てを動員して、物体探索（物品探索）が開始され、サービス対象物品が特定される（Ｓ１１６）。そして、ロボット動作によりサービスが提供される（Ｓ１１７）。サービス提供が完了すればイベントが終了する（Ｓ１１８）。なお、Ｓ１１７で行われたロボット動作は動作履歴として動作履歴データベースＤＢ２に格納され、必要であれば、次回のサービス特定ステップ（Ｓ１１５）に利用される。
【産業上の利用可能性】
【００６６】
本発明は、移動可能なロボットに関し、特に、家族などのユーザの各人を認識することにより、各人からの呼びかけに応答し、又はロボット側から自発的に、各人に対して生活支援サービスサーブを提供する自律移動ロボットに関する。
【図面の簡単な説明】
【００６７】
【図１】本実施形態のロボットの正面図である。
【図２】本実施形態のロボットのブロック図である。
【図３】ユーザ認知・物品認知を中心とするロボットのブロック図である。
【図４】ユーザ認知を説明するイラストレーション及びフローチャートである。
【図５】ユーザが所持する物品の認知を説明するイラストレーションである。
【図６】ユーザが指し示す物品の認知を説明するイラストレーションである。
【図７】ユーザの行動と関連する物品の認知を説明するイラストレーションである。
【図８】人間付帯情報と生活支援サービスの関係を示すブロック図である。
【図９】生活支援サービスの実行形態の１例を示すイラストレーションである。
【図１０】特徴情報データベース作成フローチャートである。
【図１１】動作履歴情報データベース作成フローチャートである。
【符号の説明】
【００６８】
１    ロボット
２    頭部
３    頭頂カメラ
４    マイクロフォン
５    正面カメラ
６    胸部
７    スピーカ
９    腕
１０    手先
１２    スカート
１３    障害物センサ
１４    車輪
２０    データ入出力
２１    ＣＰＵ
２２    自己位置認識部
２３    指示点認識部
２４    音声認識部
２５    首・腕・手動作認識部
２６    体方方向認識部
２７    過去動作・位置データベース
２８    首関節用駆動部
２９    手関節用駆動部
３０    腕関節用駆動部
３１    車両用駆動部
２００    指示部
２１０    顔画像撮影部
２２０    顔画像ＤＢ
２３０    動作ＤＢ
２４０    物品配置ＤＢ
２５０    物品色特定部
２６０    服装色特定部
２７０    ユーザ特定部
２８０    制御部
２９０    出力部
３００    所有物ＤＢ
３１０    所持履歴ＤＢ
４１、５１、６２、６３、７３  ユーザ
５２、７１    携帯電話（ユーザ所持品）
６１    箪笥
６４    食器棚
６５    レーザポインタ
７２    ドア
７４    蛍光灯
７５    壁スイッチ
９１、９２、９３、９４    発話イベント
ＴＺ１、ＴＺ２、ＴＺ３、ＴＺ４    時間帯
ＤＢ１    特徴情報データベース
ＤＢ２    動作履歴データベース
【図１】
2007156577.tif 000003
【図２】
2007156577.tif 000004
【図３】
2007156577.tif 000005
【図４】
2007156577.tif 000006
【図５】
2007156577.tif 000007
【図６】
2007156577.tif 000008
【図７】
2007156577.tif 000009
【図８】
2007156577.tif 000010
【図９】
2007156577.tif 000011
【図１０】
2007156577.tif 000012
【図１１】
2007156577.tif 000013