(57)【要約】【課題】自律的な動作によるコミュニケーション機能と、遠隔地にいる人からの操作指示に基づく動作によるコミュニケーション機能とを一つのロボットで実現しつつも、自律的に動作するロボットに対して利用者が愛着を抱くことができる技術を提供する。【解決手段】コミュニケーションロボットは、動作部と、第１の動作基準を適用して動作部を自律的に動作させるロボットモードと第２の動作基準を適用して動作部を遠隔操作者からの操作指示に基づいて動作させるアバターモードのいずれかを表出させて、サービス利用者とのコミュニケーションを調停するコミュニケーション調停部とを備え、コミュニケーション調停部は、遠隔操作者からの操作要求に応じてアバターモードを表出させようとする場合に、ロボットモードで動作部を動作させてサービス利用者へアバターモードへの切替え許否の確認を行う。【選択図】図５
2020066094.tif 000002
【特許請求の範囲】
【請求項１】
動作部と、
第１の動作基準を適用して前記動作部を自律的に動作させるロボットモードと第２の動作基準を適用して前記動作部を遠隔操作者からの操作指示に基づいて動作させるアバターモードのいずれかを表出させて、サービス利用者とのコミュニケーションを調停するコミュニケーション調停部と
を備え、
前記コミュニケーション調停部は、前記遠隔操作者からの操作要求に応じて前記アバターモードを表出させようとする場合に、前記ロボットモードで前記動作部を動作させて前記サービス利用者へ前記アバターモードへの切替え許否の確認を行うコミュニケーションロボット。
【請求項２】
前記コミュニケーション調停部は、前記切替え許否の確認を行う場合に、前記ロボットモードによる動作を介して前記遠隔操作者に関する情報を前記サービス利用者へ呈示する請求項１に記載のコミュニケーションロボット。
【請求項３】
前記コミュニケーション調停部は、前記遠隔操作者の属性に応じて、前記情報を前記サービス利用者へ呈示する態様を変化させる請求項２に記載のコミュニケーションロボット。
【請求項４】
前記コミュニケーション調停部は、前記サービス利用者が前記アバターモードへの切替えを許諾した場合に、前記ロボットモードで退去動作を実行してから前記アバターモードを表出させる請求項１から３のいずれか１項に記載のコミュニケーションロボット。
【請求項５】
前記第１の動作基準は、前記コミュニケーションの履歴に基づいて更新される請求項１から４のいずれか１項に記載のコミュニケーションロボット。
【請求項６】
前記ロボットモードと前記アバターモードのいずれが表出しているかを告知する告知部を備える請求項１から５のいずれか１項に記載のコミュニケーションロボット。
【請求項７】
前記コミュニケーション調停部は、予め設定された条件に合致する遠隔操作者から前記操作要求を受けた場合には、前記サービス利用者へ前記確認を行うことなく前記操作要求を拒絶する請求項１から６のいずれか１項に記載のコミュニケーションロボット。
【請求項８】
第１の動作基準を適用して動作部を自律的に動作させるロボットモードと第２の動作基準を適用して前記動作部を遠隔操作者からの操作指示に基づいて動作させるアバターモードのいずれかを表出させて、サービス利用者とのコミュニケーションを調停するコミュニケーション調停ステップをコンピュータに実行させるコミュニケーションロボットの制御プログラムであって、
前記コミュニケーション調停ステップは、前記遠隔操作者からの操作要求に応じて前記アバターモードを表出させようとする場合に、前記ロボットモードで前記動作部を動作させて前記サービス利用者へ前記アバターモードへの切替え許否の確認を行う確認ステップを含む制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コミュニケーションロボットおよびコミュニケーションロボットの制御プログラムに関する。
【背景技術】
【０００２】
離れた場所にいる人同士がコミュニケーションを図れるようにするコミュニケーションロボットが知られている（例えば、特許文献１を参照）。また、人の話し相手になったり、人から指示を聞いて作業をしたりする、自律的な動作が可能なコミュニケーションロボットも知られている（例えば、特許文献２を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２６１９４１号公報
【特許文献２】特開２０１１−６８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば、人が生活する屋内環境で、このようなコミュニケーションロボットを別々に準備することは、占有する空間等の問題から難しい。そこで、遠隔地にいる人からの操作指示に基づいて動作するコミュニケーション機能と、自律的に動作するコミュニケーション機能とを、一つのロボットで実現したいというニーズが生まれつつある。しかし、利用者は、自律的に動作するコミュニケーションロボットに対しては愛着を持てても、遠隔地にいる人に操作されているコミュニケーションロボットに対しては愛着を持ちにくい。特に、ハードウェアとしての一つのロボットがこれら２つの機能を併せ持つと、利用者は、一方が機能しているときでも他方が機能しているかのような感覚を覚え、結果的に、自律的に動作している時のロボットに対しても愛着を感じなくなってしまうことがある。
【０００５】
本発明は、このような問題を解決するためになされたものであり、自律的な動作によるコミュニケーション機能と、遠隔地にいる人からの操作指示に基づく動作によるコミュニケーション機能とを一つのロボットで実現しつつも、自律的に動作するロボットに対して利用者が愛着を抱くことができる技術を提供するものである。
【課題を解決するための手段】
【０００６】
本発明の第１の態様におけるコミュニケーションロボットは、動作部と、第１の動作基準を適用して動作部を自律的に動作させるロボットモードと第２の動作基準を適用して動作部を遠隔操作者からの操作指示に基づいて動作させるアバターモードのいずれかを表出させて、サービス利用者とのコミュニケーションを調停するコミュニケーション調停部とを備え、コミュニケーション調停部は、遠隔操作者からの操作要求に応じてアバターモードを表出させようとする場合に、ロボットモードで動作部を動作させてサービス利用者へアバターモードへの切替え許否の確認を行う。
【０００７】
このように、あたかもロボットモードがモードの切り替えを取り仕切るように動作させることにより、従来技術における遠隔操作の強制的な割り込みやスイッチによる切り替えでは生じにくかった、ロボットモードに対する情愛や共感といった感情を利用者に抱かせることができる。特に、ロボットモードとアバターモードの区切りが明確になるので、利用者は、愛着を抱く対象とそうでない対象とを切り分けて整理することができる。
【０００８】
上記のコミュニケーションロボットにおいてコミュニケーション調停部は、切替え許否の確認を行う場合に、ロボットモードによる動作を介して遠隔操作者に関する情報をサービス利用者へ呈示すると良い。このように動作させることにより、利用者が切り替えを許すまではロボットモードで動作していることを利用者に対して印象づけることができる。また、利用者は、遠隔操作者の情報を確認することができるので、遠隔操作の受け入れ許否を判断しやすい。
【０００９】
この場合、コミュニケーション調停部は、遠隔操作者の属性に応じて、当該情報をサービス利用者へ呈示する態様を変化させても良い。ロボットモードの動作として、例えば、何度も遠隔操作をしている人物であればフレンドリーに、初めての人物であれば警戒感を表わして情報を呈示すれば、ロボットモードにおける利用者とのコミュニケーションの質が向上する。また、利用者が許否を判断する判断材料にもなり得る。
【００１０】
上記のコミュニケーションロボットにおいてコミュニケーション調停部は、サービス利用者がアバターモードへの切替えを許諾した場合に、ロボットモードで退去動作を実行してからアバターモードを表出させると良い。例えば、ロボットモードで「さようなら」と発声してからアバターモードへ切り替えれば、利用者はロボットモードからアバターモードへの切り替わりをより明確に認識できる。
【００１１】
上記のコミュニケーションロボットにおいて第１の動作基準は、コミュニケーションの履歴に基づいて更新されても良い。コミュニケーションを重ねることによりロボットモードの動作に変化を生じれば、利用者は、ロボットモードで動作するコミュニケーションロボットにより深い愛着を抱くことができる。
【００１２】
また、上記のコミュニケーションロボットは、ロボットモードとアバターモードのいずれが表出しているかを告知する告知部を備えると良い。見た目にもロボットモードで動作している時とアバターモードで動作している時の区別がつけば、利用者は、２つの仮想的な人格をより明確に区別することができる。
【００１３】
上記のコミュニケーションロボットにおいてコミュニケーション調停部は、予め設定された条件に合致する遠隔操作者から操作要求を受けた場合には、サービス利用者へ確認を行うことなく操作要求を拒絶しても良い。例えば、コミュニケーションを取りたくない相手を利用者が予め設定しておけば、利用者は、余分な手間を省ける。逆に、登録された者以外からの接続を拒絶する設定にしておけば、不審者等にアクセスされる虞もなくなる。
【００１４】
本発明の第２の態様におけるコミュニケーションロボットの制御プログラムは、第１の動作基準を適用して動作部を自律的に動作させるロボットモードと第２の動作基準を適用して動作部を遠隔操作者からの操作指示に基づいて動作させるアバターモードのいずれかを表出させて、サービス利用者とのコミュニケーションを調停するコミュニケーション調停ステップをコンピュータに実行させるコミュニケーションロボットの制御プログラムであって、コミュニケーション調停ステップは、遠隔操作者からの操作要求に応じてアバターモードを表出させようとする場合に、ロボットモードで動作部を動作させてサービス利用者へアバターモードへの切替え許否の確認を行う確認ステップを含む。このようなプログラムがコンピュータによって実行されるコミュニケーションロボットであれば、第１の態様と同様に、利用者は、ロボットモードで動作するコミュニケーションロボットに愛着を抱くことができる。
【発明の効果】
【００１５】
本発明により、自律的な動作によるコミュニケーション機能と、遠隔地にいる人からの操作指示に基づく動作によるコミュニケーション機能とを一つのロボットで実現しつつも、自律的に動作するロボットに対して利用者が愛着を抱くことができる。
【図面の簡単な説明】
【００１６】
【図１】本実施形態に係るコミュニケーションロボットが利用される全体環境を説明するための概念図である。
【図２】移動ロボットの外観を示す斜視図である。
【図３】移動ロボットの制御ブロック図である。
【図４】動作基準を記述したルックアップテーブルの一例である。
【図５】ロボットモードからアバターモードへ切り替わる様子を示す図である。
【図６】コミュニケーションの処理フロー図である。
【発明を実施するための形態】
【００１７】
以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。
【００１８】
図１は、本実施形態に係るコミュニケーションロボットである移動ロボット１００が利用される全体環境を説明するための概念図である。サービス利用者は、移動ロボット１００が動作する環境に共存しており、移動ロボット１００とコミュニケーションを取ったり、特定の作業を移動ロボット１００に実行させたりする。
【００１９】
移動ロボット１００は、ロボットモードとアバターモードのいずれかが表出させて、サービス利用者に相対する。すなわち、ロボットモードとアバターモードは、サービス利用者が観察する限り、時間的な経過に対して排他的に現れる。ただし、アバターモードが表出している期間に、その後にロボットモードでコミュニケーションを引き継ぐために、当該アバターモードの動作をバックグランドで解析することがある。同様に、ロボットモードが表出している期間に、その後にアバターモードでコミュニケーションを引き継ぐために、ロボットモードの動作に関する情報をバックグランドで遠隔端末３００へ送信することもある。具体的には後述する。
【００２０】
移動ロボット１００は、ロボットモードであるときには、自律的に動作する。例えば、サービス利用者が、ロボタと名付けられた移動ロボット１００に「ロボタ君げんき？」と話しかけると、話しかけられた音声を解析する。そして、それに相応しい応答として、例えば「げんきだよ！おはなしできて嬉しいなあ。」などと合成音で応答する。ロボットモードにおいては、サービス利用者の働きかけに対する応答を、移動ロボット１００が自ら立案して実行する。
【００２１】
移動ロボット１００は、アバターモードであるときには、遠隔操作者の操作指示に基づいて動作する。遠隔操作者は、第１環境から離れた第２環境で、遠隔端末３００を操作することにより操作指示を移動ロボット１００へ送信する。例えば、遠隔操作者が、サービス利用者であるあおいちゃんに話しかけるつもりで遠隔端末３００へ向かって「あおいちゃん、今忙しい？」と話しかけると、移動ロボット１００は、スピーカから「あおいちゃん、今忙しい？」と発話する。アバターモードにおいては、遠隔操作者の操作指示に基づいて動作するが、移動ロボット１００の動作部における動作の全てを遠隔操作者が指示するのではなく、移動ロボット１００は、操作指示を解析して動作部の具体的な動作に変換したり、付随する動作を発生させたりする。
【００２２】
移動ロボット１００は、第１環境において、無線ルータ７００を介してインターネット６００と接続されている。また、遠隔端末３００は、第２環境において、無線ルータ７００を介してインターネット６００と接続されている。システムサーバ５００は、インターネット６００に接続されている。システムサーバ５００は、移動ロボット１００と遠隔端末３００の間に介在し、遠隔端末３００から操作要求や操作指示を移動ロボット１００へ引き渡し、移動ロボット１００から撮像データや音声データを遠隔端末３００へ引き渡す。
【００２３】
なお、本実施形態においては、接続するネットワークとしてインターネットを利用するが、イントラネット等他のネットワークであっても構わない。また、ネットワークを介さず、移動ロボット１００と遠隔端末３００を、例えばＢｌｕｅｔｏｏｔｈ（登録商標）などの近接通信で直接的に接続しても良い。
【００２４】
遠隔端末３００は、例えばタブレット端末であり、入力部と表示部を有する。入力部は、例えばタッチパネルであり、表示部に表示されたメニュー項目を選択することができる。遠隔端末３００は、選択されたメニュー項目に応じて操作要求や操作指示を生成し、これらを移動ロボット１００へ送信する。また、入力部は、マイクを含み、遠隔操作者の音声を取り込んで音声信号に変換し、操作指示の一部として移動ロボット１００へ送信する。表示部には、移動ロボット１００から受信した画像データの画像が表示され、遠隔操作者は、移動ロボット１００の周辺環境やサービス利用者を間接的に視認することができる。また、遠隔端末３００は、スピーカを備え、移動ロボット１００から送られてくる音声信号を再生する。これにより、遠隔端末３００は、サービス利用者の声を間接的に聞くことができる。
【００２５】
図２は、移動ロボット１００の外観斜視図である。移動ロボット１００は、大きく分けて台車部１１０と本体部１２０によって構成される。台車部１１０は、円筒形状の筐体内に、それぞれが走行面に接地する２つの駆動輪１１１と１つのキャスター１１２とを支持している。２つの駆動輪１１１は、互いに回転軸芯が一致するように配設されている。それぞれの駆動輪１１１は、不図示のモータによって独立して回転駆動される。キャスター１１２は、従動輪であり、台車部１１０から鉛直方向に延びる旋回軸が車輪の回転軸から離れて車輪を軸支するように設けられており、台車部１１０の移動方向に倣うように追従する。
【００２６】
台車部１１０は、上面の周縁部にレーザスキャナ１３３を備える。レーザスキャナ１３３は、水平面内の一定の範囲をステップ角ごとにスキャンして、それぞれの方向に障害物が存在するか否かを出力する。さらに、障害物が存在する場合には、その障害物までの距離を出力する。
【００２７】
本体部１２０は、主に、台車部１１０の上面に搭載された胴部１２１、胴部１２１の上面に載置された頭部１２２、胴部１２１の側面に支持されたアーム１２３、アーム１２３の先端部に設置されたハンド１２４、およびＬＥＤバー１４３を備える。アーム１２３とハンド１２４は、不図示のモータを介して駆動され、様々な物体を制御された姿勢で把持したり、感情を表現するジェスチャーを行ったりする。胴部１２１は、不図示のモータの駆動力により、台車部１１０に対して鉛直軸周りに回転することができる。したがって、移動ロボット１００は、胴部１２１の動作を交えて大げさにジャスチャーを行うこともできる。
【００２８】
ＬＥＤバー１４３は、複数のＬＥＤおよび導光材を有する発光装置であり、ＬＥＤのそれぞれが鉛直軸に対して放射方向へ発光するように、胴部１２１の上部の円環状の外周部に設置されている。ＬＥＤバー１４３は、発光色や点滅周期を変化させることができる。例えば、その発光色を予め定めておくことにより、現時点における移動ロボット１００がロボットモードであるのかアバターモードであるのかをサービス利用者に知らせることができる。
【００２９】
頭部１２２は、主に、ステレオカメラ１３１、マイク１３２、スピーカ１４２および表示パネル１４１を備える。ステレオカメラ１３１は、同じ画角を有する２つのカメラユニットが互いに離間して配置された構成を有し、それぞれのカメラユニットで撮像された画像を画像データとして出力する。
【００３０】
マイク１３２は、周辺環境で発生する音やサービス利用者の声を音声信号に変換する。スピーカ１４２は、移動ロボット１００が生成した音声や、遠隔端末３００から受け取った音声を発する。
【００３１】
表示パネル１４１は、例えば液晶パネルであり、ロボットモードに対応して設定されたキャラクターの顔をアニメーションで表示したり、アバターモードに対応して設定された遠隔操作者の顔を動画像で表示したりする。また、移動ロボット１００に関する情報をテキストやアイコンで表示して、サービス利用者に知らせることもできる。表示パネル１４１にキャラクターの顔を表示すれば、表示パネル１４１が擬似的な顔部であるかの印象をサービス利用者に与えることができる。また、表示パネル１４１は、表示面にタッチパネルを設けて、ユーザからの指示入力を受け付けるように構成しても良い。
【００３２】
頭部１２２は、不図示のモータの駆動力により、胴部１２１に対して鉛直軸周りに回転することができる。したがって、ステレオカメラ１３１は、任意の方向の対象物を撮像することができ、また、表示パネル１４１は、任意の方向へ向けて表示内容を呈示することができる。移動ロボット１００は、感情を表現するジェスチャーとして頭部１２２を揺動させることもできる。
【００３３】
図３は、移動ロボット１００の制御ブロック図である。ここでは、サービス利用者とのコミュニケーションに関係する主な要素について説明するが、移動ロボット１００の構成としては他の要素も備え、またコミュニケーションに寄与する他の要素が加えられることもあり得る。
【００３４】
制御部１５０は、例えばＣＰＵであり、例えば胴部１２１に備えられたコントロールユニットに格納されている。台車駆動ユニット１４５、上体駆動ユニット１４６、表示パネル１４１、スピーカ１４２およびＬＥＤバー１４３は、制御部１５０の制御によって動作する動作部１４０の要素である。
【００３５】
台車駆動ユニット１４５は、駆動輪１１１と駆動輪１１１を駆動するための駆動回路やモータを含む。制御部１５０は、台車駆動ユニット１４５へ駆動信号を送ることにより、駆動輪の回転制御を実行する。また、制御部１５０は、台車駆動ユニット１４５からエンコーダ等のフィードバック信号を受け取って、台車部１１０の移動方向や移動速度を把握する。
【００３６】
上体駆動ユニット１４６は、アーム１２３およびハンド１２４を含む把持部、胴部１２１および頭部１２２と、これらを駆動するための駆動回路やモータを含む。制御部１５０は、上体駆動ユニット１４６へ駆動信号を送ることにより、把持動作やジェスチャーを実現する。また、制御部１５０は、上体駆動ユニット１４６からエンコーダ等のフィードバック信号を受け取って、アーム１２３およびハンド１２４の位置や移動速度、胴部１２１および頭部１２２の向きや回転速度を把握する。
【００３７】
表示パネル１４１は、制御部１５０が生成した画像信号を受信して表示する。また、制御部１５０は、上述のように、キャラクターの顔や遠隔操作者の顔の画像信号を生成して、表示パネル１４１へ表示させる。表示パネル１４１がタッチパネルを備える場合には、表示パネル１４１は、タッチ信号を制御部１５０へ送信する。
【００３８】
スピーカ１４２は、制御部１５０が生成した音声信号や遠隔端末３００から受け取った音声信号を可聴音波に変換する。ＬＥＤバー１４３は、制御部１５０から発光信号を受信してＬＥＤを発光させる。本実施形態においては、可動部の物理的な運動に限らず、サービス利用者に対して作用し得る画像の表示、発音／発話、発光についても、移動ロボット１００による動作とする。
【００３９】
ステレオカメラ１３１、マイク１３２およびレーザスキャナ１３３は、移動ロボット１００が外部環境の状態や移動ロボット１００への働きかけを取得する取得部１３０の要素である。ステレオカメラ１３１は、制御部１５０からの要求に従って周辺環境を撮像し、撮像信号を制御部１５０へ引き渡す。制御部１５０は、撮像信号を用いて画像処理を実行したり、遠隔端末３００へ送信するために予め定められたフォーマットに従って撮像データに変換したりする。マイク１３２は、周辺環境で発生する音やサービス利用者の声を音声信号に変換して制御部１５０へ引き渡す。レーザスキャナ１３３は、制御部１５０からの要求に従って移動方向に障害物が存在するか否かを検出し、その結果である検出信号を制御部１５０へ引き渡す。
【００４０】
メモリ１８０は、不揮発性の記憶媒体であり、例えばソリッドステートドライブが用いられる。メモリ１８０は、移動ロボット１００を制御するための制御プログラムの他にも、制御に用いられる様々なパラメータ値、関数、ルックアップテーブル等を記憶している。特に、第１テーブル１８１と、第２テーブル１８２を記憶している。第１テーブル１８１は、ロボットモードを表出させた場合に動作部１４０を動作させる基準となる第１の動作基準を記述したルックアップテーブルである。第２テーブル１８２は、アバターモードを表出させた場合に動作部１４０を動作させる基準となる第２の動作基準を記述したルックアップテーブルである。第１テーブル１８１および第２テーブル１８２は、予め定められた特定パラメータの入力に対して動作基準に合致するように対象となる動作部１４０の動作を決定する、調整された学習済みモデルをそれぞれ含んでいても良い。
【００４１】
応答音声ＤＢ１６１は、応答音声のデータベースであり、例えばハードディスクドライブの記録媒体によって構成されている。応答音声ＤＢ１６１は、例えばコーパスとして体系化されており、個々の用語は、様々な声音ごとに、再生可能な発話データを伴って格納されている。
【００４２】
応答表情ＤＢ３２０は、応答表情のデータベースであり、例えばハードディスクドライブの記録媒体によって構成されている。応答表情ＤＢ３２０は、例えばラッセルの円環図に対応して体系化されており、具体的な顔の表情の動画像データと、その表情が意味する感情とが、様々なキャラクターごとに、互いに対応付けられて格納されている。
【００４３】
通信ユニット１９０は、例えば無線ＬＡＮユニットであり、無線ルータ７００との間で無線通信を行う。通信ユニット１９０は、遠隔端末３００から送られてくる操作要求や操作指示を受信して制御部１５０へ引き渡す。また、通信ユニット１９０は、制御部１５０の制御に従って、ステレオカメラ１３１で取得された撮像データや、スピーカ１４２から発せられる音声の音声データ等を遠隔端末３００へ送信する。なお、この場合の撮像データは、マイク１３２で取得された音声データも含む。
【００４４】
制御部１５０は、制御や処理に関わる様々な演算を実行する機能演算部としての役割も担う。表情生成部１５１、音声生成部１５２、運動制御部１５３、指示解析部１５４、調停部１５５および学習部１５６は、機能演算部の例である。
【００４５】
表情生成部１５１は、ロボットモードにおいて表示パネル１４１に表示するキャラクターの顔の表情を決定し出力する。例えばサービス利用者が示す感情に共感する表情でキャラクターを表示する場合には、まず、表情生成部１５１は、ステレオカメラ１３１から受け取った画像信号を解析してサービス利用者の顔を認識し、その感情を推定する。例えば瞳孔の大きさ、目尻の下がり具合、口角の上がり具合、発汗の有無、皺の寄り具合などを抽出して、サービス利用者の感情を推定する。例えば、これらの特徴とその時の感情を対とする教師データを用いて機械学習によって学習された学習済みモデルを利用して、サービス利用者の感情を推定することができる。次に、表情生成部１５１は、推定したサービス利用者の感情に対応して移動ロボット１００が表出すべき共感感情を判断する。そして、当該共感感情に対応する動画像データを応答表情ＤＢ１６２から取得し、表示信号に変換して表示パネル１４１へ送信する。
【００４６】
本実施形態においては、アバターモードでは、遠隔端末３００が撮像した遠隔操作者の顔画像の画像データを受信して表示パネル１４１に動画像として表示することを想定しているが、遠隔操作者を設定されたキャラクターに置き換えて表示しても良い。キャラクターに置き換えて表示する場合は、表情生成部１５１は、遠隔端末３００から送られてくる画像データや音声データを解析して遠隔操作者の感情を推定し、これに対応する動画像データを応答表情ＤＢ１６２から取得して表示パネル１４１に表示しても良い。
【００４７】
音声生成部１５２は、ロボットモードにおいてスピーカ１４２から発する音声を決定し出力する。例えばサービス利用者の声に応答する場合には、まず、音声生成部１５２は、マイク１３２から受け取った音声信号を一般的な音声認識技術を用いて解析し、サービス利用者の発話を認識する。そして、認識されたユーザの発話内容に対して会話として相応しいセンテンスを選択し、選択したセンテンスに応じた発話データを応答音声ＤＢ１６１から収集する。音声生成部１５２は、収集した発話データを組み合わせ、音声信号に変換してスピーカ１４２へ送信する。
【００４８】
本実施形態においては、アバターモードでは、遠隔端末３００が取得した音声データを受信して音声信号に変換し再生することを想定している。しかし、音声生成部１５２が、遠隔操作者の声を特定の声音の音声信号に変換したり、音声データの代わりに遠隔端末から受信したテキストデータを合成音の音声信号に変換したりして、スピーカ１４２から発声させても良い。
【００４９】
アバターモードにおいて、表情生成部１５１が遠隔操作者の顔をキャラクターに置き換え、音声生成部１５２が遠隔操作者の声を合成音等に変換すれば、サービス利用者は、遠隔操作者の個性を強く認識させられることから解放される。また、遠隔操作者にとっては、個人情報を晒すことがないので、安心して遠隔操作を行うことができる。このような変換処理は、例えば遠隔操作者が介護サービス会社の従業員である場合などにおいて有効である。
【００５０】
運動制御部１５３は、台車駆動ユニット１４５および上体駆動ユニット１４６の可動部をどのように動作させるかを計画し、実行する。例えば、特定のジェスチャーを実行する場合に可動部を動かすそれぞれのモータへ送信する制御信号を生成したり、特定の搬送物を取ってくる指示を受けた場合に環境地図を参照して経路プランを生成し移動を実行したりする。
【００５１】
指示解析部１５４は、通信ユニット１９０を介して取得する遠隔端末３００からの操作要求や操作指示を解析したり、さらには、解析結果に応じて移動ロボット１００が実行し得る動作に変換したりする。例えば、操作指示に同期して実行するジェスチャーを選定する。また、指示解析部１５４は、操作要求や操作指示が遠隔操作者の音声に依る場合には、送られてくる音声信号を解析して、解析結果に対応する動作を開始させたり、次にロボットモードで発話する応答内容に反映させたりする。
【００５２】
調停部１５５は、動作部１４０を自律的に動作させるロボットモードと遠隔操作者からの操作指示に基づいて動作させるアバターモードのいずれかを表出させて、サービス利用者とのコミュニケーションを調停する。特に、調停部１５５は、遠隔操作者からの操作要求に応じてアバターモードを表出させようとする場合に、ロボットモードで動作部１４０を動作させてサービス利用者へアバターモードへの切替え許否の確認を行う。
【００５３】
サービス利用者が遠隔操作者による遠隔操作を受け入れた場合には、その後のコミュニケーションをサービス利用者、自律的に動作するロボットモード、遠隔操作者の操作指示に基づいて動作するアバターモードの三者間でコミュニケーションを取ることもできる。その場合は、調停部１５５は、コミュニケーションの状況を分析してロボットモードとアバターモードのいずれを表出させるかを決定し、サービス利用者を含めた三者間のコミュニケーションを調停する。
【００５４】
学習部１５６は、コミュニケーションの履歴を記録し、当該履歴を利用してロボットモードに対する第１の動作基準を記述した第１テーブル１８１の内容を更新する。コミュニケーションの履歴を記録した記録ファイルはメモリ１８０で保管され、適宜読み出される。学習部１５６は、例えば、コミュニケーションのある時点でロボットモードが示した表情をサービス利用者が褒めた場合に、その表情を現わす頻度が上がるように第１テーブル１８１の内容を更新する。また、指示された作業の実行中に、「速い」や「危ない」などとサービス利用者から指摘された場合に、可動部を動作させる速度が遅くなるように第１テーブル１８１の内容を更新する。
【００５５】
次に、第１テーブルと第２テーブルについて説明する。図４は、ロボットモードに対する第１の動作基準を記述した第１テーブル１８１と、アバターモードに対する第２の動作基準を記述した第２テーブル１８２の一例である。
【００５６】
本実施形態においては、サービス利用者が移動ロボット１００にあたかも人格があるかのように感じるように、動作に対して一定の性格付けを与える動作基準を、ロボットモードとアバターモードのそれぞれに定める。ロボットモードに対して定められているのが第１の動作基準であり、アバターモードに対して定められているのが第２の動作基準である。ロボットモードとアバターモードで動作の内容や動作によって醸し出される雰囲気が異なれば、ハードウェアとしての移動ロボット１００は一つでありながら、サービス利用者は、入れ替わり表出するロボットモードとアバターモードのそれぞれがあたかも異なる人格を有しているように感じる。
【００５７】
本実施形態においては、動作基準の項目として、表示キャラクター、声音、表示色、台車移動速度、アーム移動速度、会話速度、選択用語レベル、気性変化頻度、会話中ジェスチャーを定めている。表示キャラクターは、様々な顔のイラストで表現され、男性の顔、女性の顔に限らず、擬人化した動物や物も含めることができる。図においては、ロボットモードにおいてはＮｏ．３が選択され、アバターモードにおいては遠隔端末３００から受信した画像データから遠隔操作者の顔画像を展開して直接的に表示する「転送」が選択されている。なお、アバターモードにおいては、上述のように遠隔操作者の顔画像を用いるのではなく、キャラクターを選択することもできる。
【００５８】
声音は、男性や女性の様々なトーンとして予め用意されている。図においては、ロボットモードにおいてはＮｏ．５が選択され、アバターモードにおいては遠隔操作者が発した声をそのまま再生する「転送」が選択されている。なお、応答音声ＤＢ１６１に格納される発話データは、上述のように声音ごとに準備されていても良いが、一つの声音のみを準備しておくようにすることもできる。一つの声音のみを準備する場合には、制御部１５０が再生時に、設定された声音に合わせて発話データの周波数等を変換する。
【００５９】
また、ロボットモードの設定については、例えばタッチパネルを介してサービス利用者が選択できるようにしても良い。また、アバターモードの設定については、遠隔操作者が遠隔端末３００から指定できるようにしても良い。
【００６０】
表示色は、ＬＥＤバー１４３の発光色であり、ロボットモードにおいては緑が選択され、アバターモードにおいては青が選択されている。ＬＥＤバー１４３は、移動ロボット１００の動作部としての機能と共に、ロボットモードとアバターモードのいずれが表出しているかを告知する告知部としての機能も担う。サービス利用者は、ＬＥＤバー１４３が緑色に光っていればロボットモードであり、青色に光っていればアバターモードであると認識できる。サービス利用者は、表示パネル１４１の表示によってもＬＥＤバー１４３の発光色によってもロボットモードであるかアバターモードであるかを認識できれば、２つの仮想的な人格をより明確に区別することができる。
【００６１】
台車移動速度およびアーム移動速度は、ロボットモードであればサービス利用者が指定した作業を自律的に実行する場合の台車やアームの移動速度であり、アバターモードであれば遠隔操作者が指定した作業を実行する場合の台車やアームの移動速度である。図においては、ロボットモードにおいては台車移動速度として「低」アーム移動速度として「低」が選択され、アバターモードにおいては台車移動速度として「高」アーム移動速度として「中」が選択されている。このように選択されていると、同じような内容の作業を実行する場合でも、サービス利用者は、ロボットモードであればゆったりとした印象を、アバターモードであればきびきびとした印象を受けることになる。
【００６２】
会話速度は、音声生成部１５２が生成した音声信号をどれくらいの速度によりスピーカ１４２で再生するかを表す。図においては、ロボットモードにおいては「低」が選択され、アバターモードにおいては、遠隔操作者が発した声をそのまま再生するので、選択不可となっている。会話速度の設定により、サービス利用者は、ロボットモードであればのんびりとした印象を受けることになる。
【００６３】
選択用語レベルは、音声生成部１５２が会話として相応しいセンテンスを選択する場合に、丁寧な言い回しを選択するか形式張らない言い回しを選択するかを表す。例えば、丁寧な言い回しを「Ａ」とし、形式張らない言い回しを「Ｃ」とし、その中間を「Ｂ」とする。図においては、ロボットモードにおいては「Ｃ」が選択され、アバターモードにおいては、遠隔操作者が発した声をそのまま再生するので、選択不可となっている。選択用語レベルの設定により、サービス利用者は、ロボットモードであればよりフレンドリーな印象を受けることになる。
【００６４】
気性変化頻度は、表示キャラクターが示す表情や会話中に示すジェスチャーによって表現される喜怒哀楽を、どれくらい頻繁に変化させるかを表す。例えば、サービス利用者が少しからかうような言葉を発したときに、すぐに怒った感情を示すようにするのであれば「高」が選択され、冷静を保つようにするのであれば「低」が選択される。図においては、ロボットモードにおいては「中」が選択され、アバターモードにおいては「低」が選択されている。気性変化頻度の設定により、サービス利用者は、ロボットモードであれば幼い印象を受け、アバターモードであれば冷静な印象を受けることになる。
【００６５】
会話中ジェスチャーは、会話中の内容に合わせて実行するジェスチャーの大きさの度合いを表す。例えば疑問を表現するときに、ハンド１２４をどれ程大きく持ち上げるかを定める。図においては、ロボットモードにおいては「中」が選択され、アバターモードにおいては「小」が選択されている。なお、実行するジェスチャーは、アーム１２３やハンド１２４の動きに限らず、頭部１２２や台車部１１０の揺動を利用しても良い。会話中ジェスチャーの設定により、サービス利用者は、ロボットモードであれば大げさな印象を受け、アバターモードであれば淡々とした印象を受けることになる。
【００６６】
このように、ロボットモードとアバターモードに対して動作基準をそれぞれ定めると、サービス利用者が受ける印象が、ロボットモードによる動作時とアバターモードによる動作時とで大きく異なることになる。したがって、サービス利用者は、ロボットモードからアバターモードへ、あるいはアバターモードからロボットモードへの切り替わりを感覚として認識することができる。
【００６７】
図５は、ロボットモードからアバターモードへ切り替わる様子の一例を示す図である。図は、上から下へ時間の経過を表し、左右方向に会話の内容、その時に調停部１５５が表出させていたモード、その時の表示パネル１４１の様子を表す。会話内容がサービス利用者である女性の発話である場合は、その左隣に女性のイラストを示している。
【００６８】
女性が「ロボタ君、げんき？」と移動ロボット１００へ話しかけると、調停部１５５は、サービス利用者である女性からの話し掛けを認識してロボットモードを表出させ、女性が話している間は待機する。このとき、表示パネル１４１は第１テーブルで設定されているキャラクターを表示し、ＬＥＤバー１４３は第１テーブルで設定されている表示色で発光する。
【００６９】
調停部１５５は、女性の話し掛けが途切れたことを検知すると、ロボットモードによる動作を制御部１５０に開始させる。ここでは、音声生成部１５２が、その話し掛け内容に相応しい返事として「げんきだよ！おはなしできて嬉しいなあ。」と返事する。なお、制御部１５０は、第１テーブル１８１を参照して、嬉しさを表現するジェスチャーを行っても良い。
【００７０】
ここで、調停部１５５は、遠隔端末３００から操作要求を受け付けたとする。調停部１５５は、直ちにアバターモードへ切り替えるのではなく、操作要求の要求信号に含まれる遠隔操作者に関する情報を確認し、ロボットモードのままサービス利用者に対してアバターモードへの切り替え許否を問い合せる。例えば、表情生成部１５１は、問い合せに相応しい表情を応答表情ＤＢ１６２から選択して表示パネル１４１に表示する。また、音声生成部１５２は、遠隔操作者に関する情報を組み入れて、例えば「おっ、今あきお君から連絡があったよ。代わっていいかな？」などのセンテンスを応答音声ＤＢ１６１から収集し、スピーカ１４２から発声する。また、遠隔操作者が予め登録されていて、メモリ１８０にその情報が記憶されていれば、当該情報を読み出して表示パネル１４１に表示しても良い。操作要求の要求信号に含まれている遠隔操作者に関する情報を表示パネル１４１に表示しても良い。
【００７１】
調停部１５５は、サービス利用者からの返答を待ち、図示するように例えばサービス利用者が「いいわよ。代わって。」などとアバターモードへの切り替えを許諾する返答をした場合には、アバターモードへ切り替える準備を開始する。一方、サービス利用者が「断って。」などとアバターモードへの切り替えを拒絶する返答をした場合には、ロボットモードでのコミュニケーションを継続すると共に、バックグランドで遠隔端末３００に対して拒絶通知を送信する。遠隔端末３００は、拒絶通知を受け取ると、その旨を表示部に表示するなどして遠隔操作者に知らせる。
【００７２】
調停部１５５は、サービス利用者がアバターモードへの切り替えを許諾した場合は、アバターモードへ切り替える準備動作の一環として、ロボットモードの退去動作を実行する。退去動作として、例えば、表情生成部１５１は、退去することの悲しさを示す表情を応答表情ＤＢ１６２から選択して表示パネル１４１に表示する。また、音声生成部１５２は、「それじゃ代わるね。バイバイ。」などのセンテンスを応答音声ＤＢ１６１から収集し、スピーカ１４２から発声する。調停部１５５は、ロボットモードによる退去動作が終了したら、アバターモードを表出させる。
【００７３】
アバターモードが表出すると、表示パネル１４１は第２テーブルの設定に従って遠隔操作者の顔画像を表示し、ＬＥＤバー１４３は第２テーブルで設定されている表示色で発光する。そして、「あおいちゃん、こんにちは。」のように、遠隔端末３００から受信する音声信号を再生する。
【００７４】
このように、調停部１５５がロボットモードからアバターモードへの切り替えを調停することにより、サービス利用者は、ロボットモードに対するコミュニケーションからアバターモードに対するコミュニケーションへ、違和感なく移行することができる。また、ロボットモードとアバターモードが明確に区別されるので、サービス利用者は、移動ロボット１００が自律的に動作するロボットモードに対して愛着を持ちやすくなる。特に、ロボットモードが第１の動作基準に従って独特な動作を実行したり雰囲気を醸し出したりすると、サービス利用者は、ロボットモードに仮想的な人格を感じることになるので、ロボットモードが表出している移動ロボット１００に対してより人的な繋がりを感じるようになる。一方で、第１の動作基準とは異なる第２の動作基準に従って動作するアバターモードは、遠隔地から誰かに操作されているという利用者の感覚と結合し、利用が進むにつれ更にその結合が強化される。したがって、利用者のロボットモードに対する愛着は、アバターモードに対する感覚に対して、ますます峻別されたものになると想像される。
【００７５】
次に、コミュニケーションが行われるときの制御部１５０の処理について説明する。図６は、コミュニケーションの処理フロー図である。フローは、制御部１５０がサービス利用者の働きかけを検知するか、遠隔操作者からの操作要求を検知するかにより開始される。
【００７６】
調停部１５５は、ステップＳ１０１で、ロボットモードを表出させる。遠隔操作者からの操作要求を検知して移動ロボット１００が起動する場合も、調停部１５５は、まずロボットモードを表出させる。
【００７７】
そして、ステップＳ１０２へ進み、制御部１５０は、第１テーブル１８１の動作基準を参照してロボットモードによる動作を実行する。例えば、音声生成部１５２はサービス利用者からの話し掛け内容、またはこれまでの会話の流れを解析し、相応しいセンテンスを応答音声ＤＢ１６１から収集して発話する。また、発話内容に合わせて、表示パネル１４１に表示するキャラクターを変化させたり、ジェスチャーを実行したりしても良い。ロボットモードにより一纏まりの動作を実行したら、ステップＳ１０３へ進む。
【００７８】
調停部１５５は、ステップＳ１０３で、遠隔端末３００から操作要求を受けたか否かを確認する。操作要求を受けていないことを確認したら、ステップＳ１０４へ進む。制御部１５０は、ステップＳ１０４で、一連のコミュニケーションが終了したか否かを判断する。例えば、ステップＳ１０２で「バイバイ」と発話した場合には、コミュニケーションが終了したと判断する。コミュニケーションが終了していないと判断したらステップＳ１０２へ戻ってロボットモードによるコミュニケーションを継続し、終了したと判断したら、一連の処理を終える。
【００７９】
ステップＳ１０３で、操作要求を受けていることを確認したら、ステップＳ１０５へ進む。調停部１５５は、ステップＳ１０５で、例えば図５を用いて説明したように、ロボットモードのまま、サービス利用者が遠隔操作者による遠隔操作を受け入れるか否かを確認する。そして、サービス利用者が遠隔操作を拒絶した場合(ステップＳ１０６でＮＯ）は、ステップＳ１０７へ進み、遠隔端末３００へ操作要求を受け付けない旨の拒絶通知を送信し、ロボットモードを継続したままステップＳ１０４へ進む。
【００８０】
サービス利用者が遠隔操作を許諾した場合（ステップＳ１０６でＹＥＳ）は、ステップＳ１０８へ進み、調停部１５５は、例えば図５を用いて説明したように、ロボットモードの退去動作を実行する。調停部１５５は、ロボットモードの退去動作が完了したら、ステップＳ１０９へ進み、アバターモードを表出させる。
【００８１】
続いてステップＳ１１０へ進み、指示解析部１５４は遠隔操作者からの操作指示を解析し、制御部１５０は、その解析結果に従って移動ロボット１００の各所を動作させる。例えば、近くのテーブルに置かれたマグカップをサービス利用者へ手渡せとの操作指示であれば、制御部１５０は、運動制御部１５３に当該動作を実行させる。また、遠隔端末３００から音声信号が送られてくる場合には、当該音声信号を再生する。このときの動作は、いずれも第２テーブル１８２の動作基準に従って実行される。
【００８２】
調停部１５５は、ステップＳ１１１で、遠隔端末３００からの操作指示が途絶えたか、あるいは遠隔操作の終了通知があったかを確認して、アバターモードを終了させるか否かを判断する。アバターモードを継続させると判断した場合には、ステップＳ１１０へ戻る。アバターモードを終了させると判断した場合には、ステップＳ１０１へ戻る。
【００８３】
以上説明した上記の実施形態においては遠隔操作者を一人と想定したが、遠隔操作者は複数のうちのいずれかであっても構わない。その場合、誰が遠隔操作者であるかをサービス利用者が認識できるように、予定された遠隔操作者に応じて第２の動作基準である第２テーブル１８２を複数策定しておくと良い。例えば、遠隔端末３００を操作する遠隔操作者は、まずＩＤを入力する。指示解析部１５４はそのＩＤを認識し、制御部１５０は、当該ＩＤに対応する第２テーブル１８２をアバターモード時に適用する。
【００８４】
このとき、遠隔操作を要求している人物の属性に応じて、当該人物に関する情報をサービス利用者へ呈示する態様を変化させても良い。例えば、遠隔操作を要求している人物が、家族として登録されている人物か、介護サービス会社の従業員として登録されている人物かによって、表示パネル１４１に表示するキャラクターを砕けた表情にしたり、形式張ったりした表情にしたりすることができる。また、実行するジェスチャーを異ならせても良いし、発声する応答文を異ならせても良い。
【００８５】
また、調停部１５５は、予め設定された条件に合致する遠隔操作者から操作要求を受けた場合に、サービス利用者へ確認を行うことなく操作要求を拒絶しても良い。例えば、操作要求を拒絶する人物として「予め登録されている人物以外」との条件が設定されていれば、そのような人物からの操作要求は、サービス利用者に知らせることなく自動的に拒絶通知を操作要求元の遠隔端末へ送る。このように設定しておけば、不審者等にアクセスされる虞もなくなる。また、特定の遠隔操作者に対して操作要求の受け付けを拒絶する時間帯を設定しても良い。例えば、介護サービス会社の従業員に対しては、夜間の操作要求を禁止するように設定しても良い。
【００８６】
また、上記の実施形態において調停部１５５は、ロボットモードで退去動作を実行してからアバターモードを表出させた。このようにロボットモードで退去動作を実行すればサービス利用者はロボットモードからアバターモードへの切り替わりをより明確に認識できる。しかし、退去動作は実行しなくても良い。例えば、アバターモードを表出させる段階で特定のジェスチャーを実行させるなど、アバターモードで表出動作を実行しても、アバターモードへの切り替わりをより明確にサービス利用者に認識させることができる。
【００８７】
また、応答音声ＤＢ１６１および応答表情ＤＢ１６２は、移動ロボット１００が備えず、インターネット６００に接続された記憶装置であっても良い。この場合、表情生成部１５１および音声生成部１５２は、通信ユニット１９０を介して応答音声ＤＢ１６１および応答表情ＤＢ１６２にアクセスする。また、制御部１５０の機能演算部として説明したいくつかの要素を、システムサーバ５００が担っても良い。例えば、音声生成部１５２や学習部１５６が実行する処理は、システムサーバ５００でも処理することができる。この場合も、制御部１５０は、通信ユニット１９０を介して処理の要求と結果の取得を行う。
【００８８】
また、上記の実施形態においては、移動も可能な移動ロボット１００をコミュニケーションロボットの例として説明したが、コミュニケーションロボットとしては、移動ができないロボットであっても構わない。例えば、動物を模した筐体を有するロボットであっても良い。
【符号の説明】
【００８９】
１００  移動ロボット、１１０  台車部、１１１  駆動輪、１１２  キャスター、１２０  本体部、１２１  胴部、１２２  頭部、１２３  アーム、１２４  ハンド、１３０  取得部、１３１  ステレオカメラ、１３２  マイク、１３３  レーザスキャナ、１４０  動作部、１４１  表示パネル、１４２  スピーカ、１４３  ＬＥＤバー、１４５  台車駆動ユニット、１４６  上体駆動ユニット、１５０  制御部、１５１  表情生成部、１５２  音声生成部、１５３  運動制御部、１５４  指示解析部、１５５  調停部、１５６  学習部、１６１  音声応答ＤＢ、１６２  応答表情ＤＢ、１８０  メモリ、１８１  第１テーブル、１８２  第２テーブル、１９０  通信ユニット、３００  遠隔端末、５００  システムサーバ、６００  インターネット、７００  無線ルータ
【図１】
2020066094.tif 000003
【図２】
2020066094.tif 000004
【図３】
2020066094.tif 000005
【図４】
2020066094.tif 000006
【図５】
2020066094.tif 000007
【図６】
2020066094.tif 000008