(57)【要約】      （修正有）【課題】お客様と適切なオペレータを繋いで、テレプレゼンスロボットを介した会話によるサービス提供を行うロボットコールセンタを提供する。【解決手段】テレプレゼンスロボット１０１は、メディア入出力装置１０４と位置判定装置１０５から得た情報に基づいてお客様とロボットとの会話開始のためのコール送信を行い、コールセンタ装置１０２は、アプローチ制御装置１０６から受信したコールに対して、オペレータ端末１０３のうち適切な１台を割り当て、コール元のテレプレゼンスロボット１０１と割り当てられたオペレータ端末１０３との間の音声映像とテレプレゼンスロボット身体動作を用いたコミュニケーションを仲介し記録するマルチモーダルコミュニケーションサーバ１１１を有する。オペレータ端末１０３は、音声入出力装置１１２と、リモート操作装置１１３と、コールセンタ装置１０２との通信を制御するオペレータ通信制御装置１１４を有する。【選択図】図１
2018067785.tif 000002
【特許請求の範囲】
【請求項１】
人間のオペレータによって遠隔操作されるロボットと、コールセンタ装置と、オペレータ端末を有し、前記ロボットは、前記ロボットの近くに居る利用者の映像と音声を取得する映像音声キャプチャ装置と、前記利用者とロボットとの相対位置を取得するための位置判定装置と、前記映像音声キャプチャ装置と前記位置判定装置から得た情報に基づいて前記コールセンタ装置へのコール送信を制御するアプローチ制御装置と、前記オペレータからの入力を前記ロボットの音声として出力して前記利用者へ伝えるロボット音声出力制御装置と、前記オペレータからの身体制御の指示を受ける駆動部制御装置と、前記駆動部制御装置によって制御される駆動部と、前記コールセンタ装置との通信を制御するロボット通信制御装置を有し、前記コールセンタ装置は、前記アプローチ制御装置から受信した前記コールに対して複数台ある前記オペレータ端末のうち１台を割り当てるＡＣＤ装置と、前記コールを送信したロボットと割り当てられた前記オペレータ端末との間の音声映像の中継機能と前記オペレータ端末から前記ロボットへの遠隔操作指示の中継機能を持つマルチモーダルコミュニケーションサーバを有し、前記オペレータ端末は、前記オペレータの音声をキャプチャする音声入力装置と、前記オペレータが前記ロボットを遠隔操作するためのリモート操作装置と、前記利用者の声を出力するオペレータ側音声出力制御装置と、前記利用者の映像を出力するオペレータ側ディスプレイ制御装置と、前記コールセンタ装置との通信を制御するオペレータ通信制御装置を有すること、を特徴とするコミュニケーションロボットシステム。
【請求項２】
前記ＡＣＤが前記コールを複数台ある前記オペレータ端末のうち１台に割り当てる処理は、前記オペレータのロボット操作能力に基づいて判断する方法を有すること、を特徴とする請求項１に記載されたコミュニケーションロボットシステム。
【請求項３】
前記ＡＣＤが前記コールを複数台ある前記オペレータ端末のうち１台に割り当てる処理は、前記ロボットの機種やオプションの違いによる機能差に基づいて判断する方法を有すること、を特徴とする請求項１又は２記載のコミュニケーションロボットシステム。
【請求項４】
前記ロボットは顔認識装置を有し、前記ＡＣＤが前記コールを複数台ある前記オペレータ端末のうち１台に割り当てる処理は、前記映像音声キャプチャ装置によって取得された前記利用者の映像に対して前記顔認識装置を適用した結果から特定することのできる個人の情報を用いて判断する方法を有すること、を特徴とする請求項１乃至３のいずれか一項に記載のコミュニケーションロボットシステム。
【請求項５】
前記ロボットはディスプレイを有し、前記オペレータの指示によって前記ディスプレイ上に文字や図像を表示して前記利用者へ伝える方法を有すること、を特徴とする請求項１乃至４のいずれか一項に記載のコミュニケーションロボットシステム。
【請求項６】
前記ロボットはタッチパネルディスプレイを有し、前記ＡＣＤが前記コールを複数台ある前記オペレータ端末のうち１台に割り当てる処理は、前記利用者が前記タッチパネルディスプレイから入力した内容を用いて判断する方法を有すること、を特徴とする請求項１乃至５のいずれか一項に記載のコミュニケーションロボットシステム。
【請求項７】
前記ロボット音声出力制御装置は、前記オペレータから入力される個人差ある声質をもつ音声を、一定の声質をもつ音声へ変換して出力する方法を有すること、を特徴とする請求項１乃至６のいずれか一項に記載のコミュニケーションロボットシステム。
【請求項８】
前記ロボット音声出力制御装置は、前記オペレータから入力された文字を、一定の声質をもつ音声へ変換して出力する方法を有すること、を特徴とする請求項１乃至６のいずれか一項に記載のコミュニケーションロボットシステム。
【請求項９】
前記アプローチ制御装置は、前記位置判定装置によって前記ロボットの近くに人の居ることが判った場合、すぐさま前記コール送信をする方法を有すること、を特徴とする請求項１乃至８のいずれか一項に記載のコミュニケーションロボットシステム。
【請求項１０】
前記アプローチ制御装置は、前記位置判定装置によって前記ロボットの近くに人の居ることが判った場合、その人に声が届かない距離であれば、前記ロボットが自律的にその人の注意を引くジェスチャを行った後、その人に声が届く距離になるまで自律的に追跡移動し、移動完了後にコール送信する方法を有すること、を特徴とする請求項１乃至８のいずれか一項に記載のコミュニケーションロボットシステム。
【請求項１１】
前記アプローチ制御装置は、前記位置判定装置によって前記ロボットの近くに人の居ることが判った場合、その人に声が届かない距離であれば、前記ロボットが自律的にその人の注意を引くジェスチャを行った後、その人に声が届く距離になるまで自律的に追跡移動し、移動完了後にロボットが自律的にその人に対して音声とジェスチャで挨拶をした後、その人から反応があればコール送信する方法を有すること、を特徴とする請求項１乃至８のいずれか一項に記載のコミュニケーションロボットシステム。
【請求項１２】
前記アプローチ制御装置は、前記位置判定装置によって前記ロボットの近くに人の居ることが判った場合、その人に声が届かない距離であれば、前記ロボットが自律的にその人の注意を引くジェスチャを行った後、その人に声が届く距離になるまで自律的に追跡移動し、移動完了後にロボットが自律的にその人に対して音声とジェスチャで挨拶をした後、その人から反応があればロボットはその人との応対に適正な距離まで自律的に移動して接近し、接近完了後に既定の初期質問をその人に対して自律的に訊いて、その人から回答があれば、その回答とコールを前記コールセンタ装置へ送信をする方法を有すること、を特徴とする請求項１乃至８のいずれか一項に記載のコミュニケーションロボットシステム。
【請求項１３】
前記駆動部は、前記ＡＣＤによって自動的に割り当てられる1名のオペレータから遠隔操作できる移動手段を有すること、を特徴とする請求項１乃至１２のいずれか一項に記載のコミュニケーションロボットシステム。
【請求項１４】
前記駆動部は、前記ＡＣＤによって自動的に割り当てられる1名のオペレータから遠隔操作でジェスチャ動作可能な手と腕を有すること、を特徴とする請求項１乃至１３のいずれか一項に記載のコミュニケーションロボットシステム。
【請求項１５】
前記駆動部は、前記ＡＣＤによって自動的に割り当てられる1名のオペレータから遠隔操作で表情を変更できる顔を有すること、を特徴とする請求項１乃至１４のいずれか一項に記載のコミュニケーションロボットシステム。
【請求項１６】
前記ＡＣＤによって前記オペレータ端末へ割り当てられた前記ロボットを、別のオペレータ端末へ再割り当てすることにより、前記オペレータを途中で交代できる方法を有すること、を特徴とする請求項1乃至１５のいずれか一項に記載のコミュニケーションロボットシステム。
【請求項１７】
前記ＡＣＤは、前記ロボットへ前記オペレータ端末を割り当てることに加え、前記ロボットの近くにあるもう一体のロボットへ別のオペレータ端末を割り当てることによって、前記利用者と２体のロボットの間で会話を行うことのできる方法を有すること、を特徴とする請求項1乃至１６のいずれか一項に記載のコミュニケーションロボットシステム。
【請求項１８】
前記マルチモーダルコミュニケーションサーバは、前記ロボットと前記オペレータ端末との間でやりとりされる音声映像と、前記オペレータ端末から前記ロボットへの遠隔操作指示内容を、第三者がモニタリングできる方法を有すること、を特徴とする請求項1乃至１７のいずれか一項に記載のコミュニケーションロボットシステム。
【請求項１９】
前記マルチモーダルコミュニケーションサーバは、前記ロボットと前記オペレータ端末との間でやりとりされる音声映像と、前記オペレータ端末から前記ロボットへの遠隔操作指示内容を、ログとして記録し、ログに記録された前記音声映像と前記遠隔操作指示内容を後から再生する方法を有すること、を特徴とする請求項1乃至１８のいずれか一項に記載のコミュニケーションロボットシステム。
【請求項２０】
前記ロボットが、身体の転倒を検知したり、身体に強い物理衝撃を受けたことを検知した場合、前記ロボットは身体に危険が迫っていることを示す緊急コールを前記ＡＣＤに対して送信し、前記ＡＣＤは緊急コールに対して問題に対応できるオペレータのオペレータ端末を割り当てる方法を有すること、を特徴とする請求項１乃至１９のいずれか一項に記載のコミュニケーションロボットシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コミュニケーションロボットを構築および運用するためのシステムに関するものである。
【背景技術】
【０００２】
ロボットの中でも人とコミュニケーション可能なロボットはコミュニケーションロボットと呼ばれる。特に人に似た顔と体を持つ人型ロボットは、人のように声で話をしたりジェスチャを用いたりすることによって人の代わりとして会話を遂行できる機能を持つことが期待されている。
【０００３】
コミュニケーションロボットのうちテレプレゼンスロボットと呼ばれるロボットは、完全に自律的に動作するのではなく、人による遠隔操作もしくは遠隔指示に沿って動作することで、その人の代理として本人から離れた場所で行動できる点を特徴とする（非特許文献１参照）。
【０００４】
テレプレゼンスロボットは、人の代理として遠隔地で行動できるよう通信装置を備え、映像音声を遠隔地間でやりとりする装置を備える。テレプレゼンスロボットの機能の一例としては、本人の顔映像を遠隔地のロボット側で表示し、ロボットの前にいる人に見せる機能と、本人の音声をロボット側で出力する機能と、逆にロボットの前にいる人の映像と声を本人へ送信する機能がある。
【０００５】
また、人はテレプレゼンスロボットを移動させて、話をしたい相手のそばへ近づかせることができる。
【０００６】
テレプレゼンスロボットは、遠隔通信の観点からは電話やビデオ会議システムを拡張したものと捉えることができる。人は電話を用いて遠隔地に自分の声を届けることができる。また、ビデオ会議システムを用いれば遠隔地に自分の映像と声を届けることができる。
【０００７】
特に電話はこれまで遠隔通信の手段として日常から業務に至るまで幅広く利用されてきた。例えば、コールセンタシステムは業務で使用される電話サービスの代表例であり、お客様からのコールを、多数待機するオペレータのうち適切な１名に対して自動的に接続することによって、お客様と企業間のコミュニケーションを効率化している（特許文献１参照）。コールセンタシステムにおいて、お客様がコールセンタを呼び出すために発信したコールを適切なオペレータへ分配することは主要な処理であり、この分配を自動的に行う装置は自動呼分配装置（Ａｕｔｏｍａｔｉｃ  Ｃａｌｌ  Ｄｉｓｔｒｉｂｕｔｏｒ：ＡＣＤ）と呼ばれている。
【０００８】
一方、人はテレプレゼンスロボットを用いて遠隔地に自分の分身として行動できるロボットを存在させることができる。テレプレゼンスロボットは、電話のように声を届けるだけでなく、またビデオ会議システムのように声と映像を届けるだけでなく、移動したり表情を示したり手で指さしをするといった、身体を用いたコミュニケーションを行うこともできる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特許第３９３４５４３号
【非特許文献】
【００１０】
【非特許文献１】Guizzo,E.,“When my avatar went to work”,IEEE Spectrum,2010年,p.26-50
【発明の概要】
【発明が解決しようとする課題】
【００１１】
テレプレゼンスロボットを、お客様へサービスを提供する目的の業務に適用することによって、従来の電話やビデオ会議システムを使うだけでは実現できない新たなサービスの創出や問題解決が可能となる。
【００１２】
サービスの一例としては、お客様の道案内をするガイドロボットサービスがある。これは観光地で道が判らずに困っているお客様に対して、別の場所にいる案内人がテレプレゼンスロボットを用いて会話や指さしや先導を行うことによって道案内を行うサービスである。
【００１３】
道案内サービスをテレプレゼンスロボットを介して提供することができれば、案内人は現地に居る必要がなく、自宅やオフィスに居ながら対応することができる。特に道案内のような現地業務はこれまで在宅勤務で行うことが不可能であったが、テレプレゼンスロボットによるサービス提供ができればこの問題を解決することができる。
【００１４】
また、テレプレゼンスロボットの前にお客様がやってきた時のみ案内人がリモート操作で応対し、お客様のいないときはリモート操作から離れて別の作業をすることができれば、お客様のいない空き時間が無駄になっていた問題を解決し、業務効率化が可能となる。
【００１５】
加えて、テレプレゼンスロボットのリモート操作を特定の一人でなく、複数の案内人のうち手の空いている者に自動的に接続して行えるようにすれば、案内人の稼働率を高めることができる。
【００１６】
上記のようなお客様の道案内をするガイドロボットサービスは、観光地のほか、テーマパーク、展示会場、スーパーマーケットといった広い場所での案内業務に適用することができる。
【００１７】
テレプレゼンスロボットを用いたサービスの一例としては、ホテルでのベルスタッフの業務を遂行するベルロボットサービスも考えられる。ベルロボットに求められる業務と利用することの長所は上記のガイドロボットサービスに近いが、ベルロボットにはホテルのお得意様の顔を覚えることの強く求められる点が異なる。テレプレゼンスロボットを用いることで、お客様の顔映像を遠隔地に居る人間のベルスタッフに伝えられるので、このベルスタッフがお得意様であるかどうかを判断してもよいし、ロボットに顔認識機能を持たせれば、ロボット側であらかじめ誰であるかを判断してから、遠隔地にいるそのお客様専任のベルスタッフを呼び出すこともできる。
【００１８】
テレプレゼンスロボットを用いたサービスの一例としては、受付業務を代行できるカウンターロボットサービスも考えられる。銀行の受付や公共機関、自治体の窓口、大手企業受付などの業務において、複数の受付担当者のうち手の空いている者に自動的に接続して行えるようにすれば、業務効率化を実現できる。受付業務ではあまり動きまわる必要がない代わりに、お客様に記入いただく必要のある書類や、お客様の向かうべき場所を地図や案内板で示すなど、詳細の文字・画像をお客様へ提示できる必要がある。この場合、テレプレゼンスロボットに備えられたディスプレイに対してリモート操作によって資料表示可能であることが求められる。
【００１９】
テレプレゼンスロボットを用いたサービスの一例としては、ロボットコンシェルジェサービスも考えられる。図書館、博物館、百貨店、空港、大規模家電販売店、ホームセンターなど敷地が広くかつ専門的な機能やサービスが提供される場所では、敷地内を一緒に歩いて案内できるだけでなく、所蔵物や商品の詳細、必要な手続きの詳細など、お客様からの相談に対して親身に対応できるコンシェルジェサービスが求められる。こうしたコンシェルジェサービスも、上記ガイドロボットやベルロボット、カウンターロボットの機能を総合することで実現できると考えられる。
【００２０】
上記のようなテレプレゼンスロボットによるサービスの提供は、業務の効率化だけでなくサービスの専門性を高めることにも貢献する。専門的な知識を持つ人の数は限られているため、業務の必要な場所へ実際に専門家が居るようにする場合は、専門家の居る場所の数が限られる問題がある。一方、テレプレゼンスロボットを用いて、専門家が現地に居なくても済むようにすれば、少数の専門家で多数の場所にサービス提供することも可能となる。
【００２１】
専門家の専門性の一例として、通訳スキルがある。例えば、通訳のできる案内人、特に英語以外の言語を通訳できる者の数は限られており、全国の観光地にあらかじめ用意しておくことは難しい。テレプレゼンスロボットを用いて必要なときのみ専門家を呼び出す仕組みがあればこの問題を解決できる。通訳スキルはガイドロボットサービスだけでなく、ベルロボットサービス、カウンターロボットサービス、ロボットコンシェルジェサービスでも同様に求められるものと考えられる。
【００２２】
しかし、上記のようなコールセンタ型のテレプレゼンスロボットサービスを実現するためには多数の課題がある。
【００２３】
課題の１つとして、従来の電話・ビデオ会議拡張型のテレプレゼンスロボットは、特定の一人の人間をロボットに割り当てる仕組みであるため、上記のようなお客様サービスを提供する場合に必要な、手の空いている人や必要なスキルを持つ人を自動的にロボットへ割り当てる仕組みを持たないことが挙げられる。
【００２４】
課題の１つとして、従来の自動呼分配装置（ＡＣＤ）は電話用であるため、テレプレゼンスロボットの自動割り当てに用いるには不十分であることが挙げられる。テレプレゼンスロボットは音声のみの電話に比べると、音声のほかにも表情、ジェスチャ、移動といった多様なコミュニケーション手段を持っているため、これらに対応したＡＣＤ処理が必要となる。また、従来の電話コールセンターでは接続相手はかならず電話であり、従来の電話・ビデオ会議拡張型のテレプレゼンスロボットは、特定の機種のロボットに対してだけ接続できれば良いため、接続ごとに接続相手の機能が変わることはないが、複数のテレプレゼンスロボットに対して複数の人を割り当てるコールセンタ型のテレプレゼンスロボットの場合、接続先のロボットの形状やサイズ、腕の数や移動手段の有無などがそれぞれ異なる場合にも対応できることが望ましい。この場合、個々のロボットの機能に対応できるオペレータと接続できるＡＣＤ処理が必要となる。
【００２５】
課題の1つとして、従来の電話・ビデオ会議サービスの場合はお客様が手持ちの電話か据え付けの通信端末に近づいて番号やメニューをプッシュすることによって相手を呼び出す一方、テレプレゼンスロボットの場合は、お客様とロボットのリモート操作者（オペレータ）との会話はお客様がボタン操作で呼び出すような機械的な操作ではなく、人と人の会話に近い手順で開始できることが期待される。
【００２６】
上記の人と人の会話に近い手順の１つとして、会話を始めるためにお客様とテレプレゼンスロボットを会話できる距離へ接近させることが考えられる。
【００２７】
上記の人と人の会話に近い手順の１つとして、お客様がテレプレゼンスロボットの設置場所に現れたとき、お客様が何も操作をしなくともお客様とオペレータとの会話を開始できるようにすることが考えられる。
【００２８】
課題の1つとして、従来の電話・ビデオ会議サービスではサービスを提供する人の声や顔映像をそのままお客様に伝えるが、テレプレゼンスロボットを用いたサービスの場合、オペレータの声や顔映像をそのままお客様に伝えるのは不自然な場合が多いと考えられる。ロボットの身体は開発・製造費や必要な機能、動作効率を考慮すると、必ずしも人間に生き写しの姿が望ましいとは言えない。人型ではあるが人間に生き写しの姿でないロボットが、人間の声で話をしたり、顔の部分のみオペレータの映像を出すことにはずれが存在するため、コミュニケーションにおいて違和感を生むものと考えられる。
【００２９】
課題の1つとして、電話サービスでは音声会話を別の話し相手へ転送する機能がよく利用されるが、一体のテレプレゼンスロボットにおいて、途中で別の声のオペレータに交代することは、ロボットの一貫性や一体のロボットの個性が損なわれる問題がある。
【００３０】
課題の1つとして、電話サービスの場合、サービスの支援やお客様と正しい会話ができているかの確認のため、サービス提供側の第三者が会話内容をモニタリングする機能が求められるが、テレプレゼンスロボットでは、会話内容に加えてロボットの移動状態や表情、ジェスチャなどのリモート操作内容も同様にモニタリングできる必要がある。
【００３１】
課題の1つとして、電話サービスでは会話内容がログとして記録され今後の業務に生かされるが、テレプレゼンスロボットでは、会話内容に加えてロボットのリモート操作ログも記録して、お客様との間で不適切なやりとりがなかったかをあとで再生して確認できる必要がある。
【課題を解決するための手段】
【００３２】
上記課題を解決するために、本発明に係るコミュニケーションロボットシステムは、テレプレゼンスロボットと、コールセンタ装置と、オペレータ端末を有し、前記テレプレゼンスロボットは、お客様の映像音声を取得する映像音声キャプチャ装置と、お客様とロボットとの位置関係を取得するための位置判定装置と、前記映像音声キャプチャ装置と前記位置判定装置から得た情報に基づいてお客様とロボットとの会話開始のためのコール送信を制御するアプローチ制御装置と、オペレータからの入力をロボットの音声として出力するロボット音声出力制御装置と、オペレータからの身体制御の指示を受ける駆動部制御装置と、前記駆動部制御装置によって制御される駆動部と、オペレータによるリモート操作に従って文字や図像を表示するロボットディスプレイ制御装置と、前記コールセンタ装置との通信を制御するロボット通信制御装置を有し、前記コールセンタ装置は、前記アプローチ制御装置から受信した前記コールに対して複数ある前記オペレータ端末のうち適切な１台を割り当てるＡＣＤ装置と、コール元のテレプレゼンスロボットと割り当てられたオペレータ端末との間の音声映像とロボットの身体動作を用いたコミュニケーションを通信で中継・記録するマルチモーダルコミュニケーションサーバを有し、前記オペレータ端末は、オペレータからの音声入力装置と、前記テレプレゼンスロボットをリモート操作するためのリモート操作装置と、前記お客様の声を出力するオペレータ側音声出力制御装置と、前記お客様の映像を出力するオペレータ側ディスプレイ制御装置と、前記コールセンタ装置との通信を制御するオペレータ通信制御装置を有すること、を特徴とする。
【００３３】
プログラムによりコンピュータを上記映像音声キャプチャ装置、上記位置判定装置、上記アプローチ制御装置、上記ロボット音声出力制御装置、上記駆動部制御装置、上記ロボットディスプレイ制御装置、上記ロボット通信制御装置、上記ＡＣＤ装置、上記マルチモーダルコミュニケーションサーバ、上記音声入力装置、上記リモート操作装置、上記オペレータ側音声出力制御装置、上記オペレータ側ディスプレイ制御装置、上記オペレータ通信制御装置、として機能させるようにしてもよい。
【発明の効果】
【００３４】
本発明によって、お客様と適切なオペレータを繋いで、テレプレゼンスロボットを介した会話によるサービス提供を行うロボットコールセンタを実現することができる。
【００３５】
上記会話は、本発明によって、オペレータがテレプレゼンスロボットを用いて遠隔地のお客様の映像と音声を受信し、またオペレータがテレプレゼンスロボットを操作してお客様へ音声出力と表情、ジェスチャ、移動、ディスプレイを用いた情報提示を行うことによって、オペレータとお客様との間のテレプレゼンスロボットを介したリアルタイムでの会話として実現できる。
【００３６】
本発明では、上記ＡＣＤを用いることにより、お客様に対し、手の空いている人や必要なスキルを持つ人を自動的にテレプレゼンスロボットへ割り当てて応対することが可能となる。特にロボットのリモート操作に関するスキルをＡＣＤで処理可能とすることにより、ロボットに対して適切なオペレータを割り当てられるようにする。
【００３７】
本発明では、上記ＡＣＤを用いることにより、お客様に対し、種類の異なるロボットの個々の機能をＡＣＤで処理可能とすることにより、個々のロボットに対応できる適切なオペレータを割り当てられるようにする。
【００３８】
本発明では、上記アプローチ制御装置により、会話を始めるためにお客様とテレプレゼンスロボットを会話できる距離へ接近させ、ロボットから自動的にコールしてオペレータへ接続し、お客様とオペレータとの会話を自然に開始することを可能とする。
【００３９】
本発明では、オペレータの映像と声をそのままお客様に伝える代わりに、映像は用いることなく声のみを上記ロボット音声出力制御装置によってロボットらしい音声として出力することにより、お客様との違和感の少ない会話が可能となる。また、オペレータが会話の途中で交代しても、同じようなロボットらしい音声を出力することにより、ロボットの一貫性や一体のロボットの個性が損なわれる問題を解決する。
【００４０】
本発明では、上記マルチモーダルコミュニケーションサーバを介して音声映像会話とロボットのリモート操作を行うことによって、第三者が上記マルチモーダルコミュニケーションに接続し、音声映像会話に加えテレプレゼンスロボットの移動やジェスチャなどのリモート操作の様子のモニタリングを実現する。
【００４１】
本発明では、上記マルチモーダルコミュニケーションサーバにデータを記録することにより、音声映像会話に加えテレプレゼンスロボットの移動やジェスチャなどリモート操作の様子も記録して、お客様との間で不適切なやりとりがなかったかをあとで再生して確認することを可能とする。
【００４２】
本発明では、上記ＡＣＤを用いてロボットとオペレータの割り当てを制御することにより、オペレータの途中交代や複数体のロボットを用いた利用者との会話を実現する。
【図面の簡単な説明】
【００４３】
【図１】本発明の一実施形態であるコミュニケーションロボットシステムの概略的なブロック図である。
【図２】本発明の一実施形態であるコミュニケーションロボットシステムにおける、テレプレゼンスロボットの身体形状と駆動部とメディア入出力装置の構成を示す図である。
【図３】本発明の一実施形態であるコミュニケーションロボットシステムにおける、テレプレゼンスロボットとコールセンタ装置とオペレータ端末の位置および接続の概念図である。
【図４】本発明の一実施形態であるコミュニケーションロボットシステムにおける、お客様とオペレータがテレプレゼンスロボットを介して会話する場合の、動作フローチャートの一例を示す図である。
【図５】本発明の一実施形態であるコミュニケーションロボットシステムにおける、位置判定装置の概略的なブロック図である。
【図６】本発明の一実施形態であるコミュニケーションロボットシステムにおける、メディア入力装置の概略的なブロック図である。
【図７】本発明の一実施形態であるコミュニケーションロボットシステムにおける、オペレータ端末の概略的なブロック図である。
【図８】本発明の一実施形態であるコミュニケーションロボットシステムにおける、駆動部制御装置の概略的なブロック図である。
【発明を実施するための形態】
【００４４】
以下、本発明の一実施形態を添付の図面を参照しながら説明する。
［第１実施形態］
【００４５】
図1に、第１実施形態によるコミュニケーションロボットシステム１００の概略的なブロック図を示す。コミュニケーションロボットシステム１００は、テレプレゼンスロボット１０１と、コールセンタ装置１０２と、オペレータ端末１０３を有し、テレプレゼンスロボット１０１は、お客様の映像音声のキャプチャとオペレータからの音声出力・ディスプレイ装置出力を行うメディア入出力装置１０４と、お客様とロボットとの位置関係を判定するための位置判定装置１０５と、メディア入出力装置１０４と位置判定装置１０５から得た情報に基づいてお客様とロボットとの会話開始のためのコール送信を制御するアプローチ制御装置１０６と、オペレータからの身体制御の指示を受ける駆動部制御装置１０７と、身体制御によって表情の変化とジェスチャと移動とを行う駆動部１０８と、前記コールセンタ装置１０２との通信を制御するロボット通信制御装置１０９と、を有し、コールセンタ装置１０２は、前記コールに対して複数用意されたオペレータ端末１０３のうち適切な１台を割り当てるＡＣＤ装置１１０と、コール元のテレプレゼンスロボット１０１と割り当てられたオペレータ端末１０３との間の音声映像とロボットの身体動作を用いたコミュニケーションを通信で中継・記録するマルチモーダルコミュニケーションサーバ１１１を有し、オペレータ端末１０３は、音声入出力装置１１２と、リモート操作装置１１３と、コールセンタ装置１０２との通信を制御するオペレータ通信制御装置１１４を有すること、を特徴とする。
【００４６】
図２に、図１のテレプレゼンスロボット１０１の身体形状と駆動部１０８とメディア入出力装置１０４の構成を示す。
【００４７】
テレプレゼンスロボット１０１の身体は、頭２００と胴２０１と車輪２０３と1対の腕２０２から構成される、人の上半身に対して足の代わりに車輪２０３をつけた形状を持つ。
【００４８】
頭２００は瞳２０４と瞼２０５と眉２０６と口２０７とロボット側マイク２０８と環境カメラ・ＧＰＳ２０９とWifi通信装置２１０を有する。
【００４９】
瞳２０４と瞼２０５と眉２０６と口２０７は表情を作ることのできる可動式である。
【００５０】
ロボット側マイク２０８は人間の右耳左耳に相当する位置に対象に設置され、ステレオマイクによる集音を行うことができる。
【００５１】
環境カメラ・ＧＰＳ２０９は周囲360度を撮影可能なカメラと位置情報を取得できるＧＰＳであり、オペレータがロボットをリモート操作する際にロボットの位置と向き、周りの状況を知るために用いられる。
【００５２】
Wifi通信装置２１０は、無線でインターネットに接続するために用いられる。
【００５３】
胴２０１は対人カメラ２１１とロボット側スピーカー２１２とロボット側タッチパネルディスプレイ２１３とジャイロセンサー２２０と衝撃センサー２２１を有する。
【００５４】
対人カメラ２１１はパン・チルト可能なカメラで、カメラの前に立つお客様の映像を取得するために用いられる。
【００５５】
ロボット側スピーカー２１２は、胴２０１の前面に設けられ、ロボットから声を出すために用いられる。口２０７から声を出さないのは、口２０７は可動式で表情を作ることに用いるため、口の開閉が音声出力の妨げとなるのを防ぐためである。
【００５６】
ロボット側タッチパネルディスプレイ２１３は、リモート操作により文字や画像情報を表示できるほか、お客様からのタッチパネル入力を受け付ける。
【００５７】
ジャイロセンサー２２０は、ロボットの転倒を検知することができる。
【００５８】
衝撃センサー２２１は、ロボットの受けた衝撃を測定することができる。
【００５９】
頭２００と胴２０１を接続する首２１４は二軸回転式であり、頭２００を胴２０１に対して水平回転させることで頭２００の向きを変えたり、垂直回転させることでうなづくジェスチャを行うことができる。
【００６０】
腕２０２は肩関節２１５と肘関節２１６と手首２１７と手指２１８を有する。
【００６１】
肩関節２１５は二軸回転式で回転によって腕を上に挙げたり前に出すジェスチャを行うことができる。
【００６２】
肘関節２１６は二軸回転式で腕２０２の上部と下部を接続し、折り曲げることができる。
【００６３】
手首２１７は二軸回転式で腕２０２の下部と手指２１８を接続し、折り曲げることができる。
【００６４】
手指２１８は人間に似た関節構造を持つ5本の指を有し、親指は２つの関節、その他の指は３つの関節で内側へ折り曲げることができる。
【００６５】
車輪２０３は４輪で構成され、道案内のような業務でも安定して走行できる大きさの車輪である。前進、後退のほか、右側２輪と左側２輪を異なる速度で回転させることにより、右回転走行、左回転走行を行うことができる。
【００６６】
図２のうち、車輪２０３と、瞳２０４と、瞼２０５と、眉２０６と、口２０７と、首２１４と、肩関節２１６と、肘関節２１６と、手首２１７と、手指２１８とが駆動部１０８を構成する。
【００６７】
図２のうち、ロボット側マイク２０８と、環境カメラ・ＧＰＳ２０９と、対人カメラ２１１と、ロボット側スピーカー２１２と、ロボット側タッチパネルディスプレイ２１３とが、メディア入出力装置１０４を構成する。
【００６８】
図２のうち、人感センサー２１９は、テレプレゼンスロボット１０１の身体からは物理的には独立しているが、ロボットの近くに設置され、Wifiによってテレプレゼンスロボット１０１へセンシング結果を送信することができる。
【００６９】
図３は、図１に示したコミュニケーションロボットシステム１００における、テレプレゼンスロボット１０１とコールセンタ装置１０２とオペレータ端末１０３の位置および接続の概念図を示す。テレプレゼンスロボット１０１は複数台利用され、それぞれ異なる場所に置かれる。テレプレゼンスロボット１０１はWifi経由でインターネット接続できるものとする。また、テレプレゼンスロボット１０１をリモート操作するオペレータ３００も複数名待機している。1人のオペレータ３００の前には専用のオペレータ端末１０３が1台置かれ、インターネットに接続されている。複数名のオペレータ３００は同じ場所に集まっていてもよいし、それぞれ別の場所に居てもよい。コールセンタ装置１０２はデータセンタのようなインターネットに接続された環境に置かれ、インターネットに接続されたテレプレゼンスロボット１０１とオペレータ端末１０３をＡＣＤ１１０によって自動接続し、マルチモーダルコミュニケーションサーバ１１１で音声映像とリモート操作情報を中継する。
【００７０】
図４は、お客様とオペレータがテレプレゼンスロボットを介して会話する場合の、会話開始までと会話開始から会話終了までの動作フローチャートの一例を示す図である。以下、この図４を参照して、本会話を実現するための動作を説明する。
【００７１】
ステップＳ１はお客様が来訪していない状態であり、テレプレゼンスロボット１０１はスタンバイ状態となる。スタンバイ状態ではテレプレゼンスロボット１０１はコールセンタ装置との間で通信を行わず、オペレータとも接続されないため、省電力状態を保つことができる。また、スタンバイ状態では、ロボットの位置は既定の設置位置にあり、表情とジェスチャも既定の状態で静止する。
【００７２】
ステップＳ２において、テレプレゼンスロボット１０１はロボットの近くに人がやってくるのを待ち、人が来たならステップＳ３へ進み、来ない場合はステップＳ２にとどまる。
【００７３】
ステップＳ２において、ロボットの近くに人がやってきたかどうかを判定するためには位置判定装置１０５を用いる。
【００７４】
図５は、位置判定装置１０５の概略的なブロック図を示す。位置判定装置１０５は、人感センサー２１９のセンシング結果を受信する人感センサー結果受信部５００と、環境カメラ・ＧＰＳ２０９の取得した映像に基づいて映像中の人とテレプレゼンスロボット１０１との距離を認識する映像距離認識装置５０１を有する。
【００７５】
人感センサー２１９はテレプレゼンスロボット１０１の設置される部屋の入口や、近くの天井に設置し、人がロボットの近くにやってきた場合には接近信号を人感センサー結果受信部５００へ送信する。
【００７６】
人感センサー２１９をテレプレゼンスロボット１０１の近くに設置できない場合は、映像距離認識装置５０１が、環境カメラ・ＧＰＳ２０９の取得した映像に基づいて、人の接近を判定する。接近を判定するための方法は、映像の背景差分により移動する物体とその形状を検出することによって行う。
【００７７】
位置判定装置１０５は、人感センサー結果受信部５００が接近信号を受け取るか、あるいは映像距離認識装置５０１が物体が接近していることを判定した場合、アプローチ制御装置１０６に対して人がやってきたことを通知する。
【００７８】
ステップＳ３において、テレプレゼンスロボット１０１は近くへやってきた人へのアプローチ行動を開始する。アプローチ行動の詳細は後述するものとして、ここでは概略のみ示す。アプローチ行動とは、ロボットの近くへやってきた人に対して、ロボットから働きかける行動である。近くへやってきた人は単に通りすがりかも知れないし、目的があってロボットに近づいてきた人かもしれない。アプローチ行動ではロボット側から人に対して接近したりジェスチャをしたり音声で話しかけたりすることによって、近くにやってきた人との会話を試みる。
【００７９】
また、アプローチ行動の間に、適切なタイミングでテレプレゼンスロボット１０１は、コールセンタ装置１０２へコールすることによってオペレータ端末１０３と接続し、オペレータ３００によって操作される。前記タイミングの詳細は後述する。
【００８０】
ステップＳ４において、アプローチ行動の結果として、人がロボットの前からいなくなったり、話すことを拒否されて会話が成立しなければ、アプローチは失敗となり、ステップＳ５へ進む。人との会話が成立すれば、アプローチは成功となり、ステップＳ６へ進む。
【００８１】
ステップＳ５では、アプローチ終了処理を行う。アプローチ行動のためにテレプレゼンスロボット１０１が元の設置位置から移動していた場合は、自動的に規定位置へ戻る。ロボットが自動的に規定位置へ戻る機能を持たない場合は、オペレータがリモート操作で元の位置へ戻す。また、表情とジェスチャは自動的に既定の状態に戻る。以上のアプローチ終了処理を終えた後、ステップＳ１へ戻る。
【００８２】
ステップＳ６では、テレプレゼンスロボット１０１の前に居る人をお客様として、オペレータとの間で、ロボットを介した応対が始まり、ステップＳ７へ進む。応対中は、オペレータがロボットを介して遠隔地のお客様の映像と音声を受信し、またオペレータがロボットを操作してお客様へ音声出力と表情、ジェスチャ、移動による道案内、ディスプレイを用いた情報提示を行うことによって、オペレータとお客様との間のロボットを介したリアルタイムでの会話を行う。
【００８３】
ステップＳ７では、応対の途中で、オペレータ管理者からのモニタリング開始・終了要求があった場合の処理を行う。オペレータ管理者は、オペレータの仕事を管理する立場にあり、オペレータがお客様と問題のない応対ができているかを管理するために、テレプレゼンスロボットを用いた会話の音声映像内容や、ロボットの表情、ジェスチャ、移動の様子をモニタリングできなくてはならない。オペレータ管理者は特定のオペレータの応対をモニタリング開始または終了する要求をオペレータ管理者の持つオペレータ端末から、コールセンタ装置へ送信する。このモニタリング開始・終了要求のあった場合、ステップＳ８へ進む。要求のない場合はステップＳ９へ進む。
【００８４】
ステップＳ８において、要求がモニタリング開始の場合、モニタリングが開始し、終了の場合、モニタリングが終了し、ステップＳ９へ進む。モニタリング実行中は、オペレータ管理者はお客様と特定のオペレータとの応対を自分のオペレータ端末にも出力することにより、モニタリングすることができる。
【００８５】
また、モニタリング実行中は、オペレータ管理者はモニタリングしている特定のオペレータに対して、自分のオペレータ端末から文字チャットを送って、応対内容に対する助言をリアルタイムで行うことができる。
【００８６】
ステップＳ９では、応対の途中で、オペレータが転送要求をしたかどうかの判定を行う。オペレータは、お客様との応対中に自分では対応できない状況、たとえば自分の知らない専門的な知識の求められる話題となったり、自分では判断する権限のない問題が出てきた場合に、別のオペレータへ現在の応対を転送する要求を、ＡＣＤ１１０に対して送信することができる。転送要求は転送先のオペレータ端末に表示され、転送先オペレータがこれを許可すると、転送成功となり、ステップＳ１０へ進む。転送要求をしない場合、あるいは転送先オペレータが許可しない場合はステップ１１へ進む。
【００８７】
ステップＳ１０では、テレプレゼンスロボット１０１から転送元のオペレータは切断され、代わりに転送先オペレータが接続し、リモート操作できるようになる。なお、転送元のオペレータ側の処理はこれで終了となるが、転送先オペレータ側の処理は新たにステップＳ６から始まる。
【００８８】
ステップＳ１１では、オペレータとお客様との応対が終了し、オペレータがオペレータ端末１０３の操作によって、応対終了処理を要求したかどうかの判定を行う。要求ありの場合はステップＳ１２へ進む。要求なしの場合はステップＳ７へ戻って応対を続ける。
【００８９】
ステップＳ１２では、応対終了処理を行う。テレプレゼンスロボット１０１が元の設置位置から移動していた場合は、自動的に規定位置へ戻る。ロボットが自動的に規定位置へ戻る機能を持たない場合は、オペレータがリモート操作で元の位置へ戻す。また、表情とジェスチャは自動的に既定の状態に戻る。応対開始から応対終了処理までの間の、会話の音声映像内容や、ロボットの表情、ジェスチャ、移動の様子は、応対ログとして、マルチモーダルコミュニケーションサーバ１１１に記録される。以上の応対終了処理を終えた後、ステップＳ１へ戻る。
【００９０】
上記ステップＳ６から始まるオペレータによるお客様との応対を行う方法を図６、図７、図8を用いて説明する。
【００９１】
図６は、図１に示したメディア入力装置１０４の概略的なブロック図を示す。メディア入出力装置１０４は、ロボット側マイク２０８と、ロボット側マイク２０８から入力される音声をキャプチャしてロボット通信制御装置１０９経由でオペレータ端末１０３へ送信するロボット音声キャプチャ装置６００と、オペレータからの会話入力を受け取ってロボットの音声に変換して出力するロボット音声出力制御装置６０１と、ロボット音声出力制御装置６０１から音声を受け取って出力するロボット側スピーカー２１２と、対人カメラ２１１と、環境カメラ・ＧＰＳ２０９と、対人カメラ２１１と環境カメラ・ＧＰＳ２０９から入力される映像をキャプチャしてロボット通信制御装置１０９経由でオペレータ端末１０３へ送信する映像キャプチャ装置６０４と、映像キャプチャ装置６０４から前記映像を受け取り顔認識を実行する顔認識装置６０５と、ロボット側タッチパネルディスプレイ２１３と、ロボット通信制御装置１０９を介してオペレータ端末１０３と通信しロボット側タッチパネルディスプレイ２１３の入出力を制御するロボットディスプレイ制御装置６０６とを有する。
【００９２】
ロボット音声キャプチャ装置６００は、音声データをキャプチャするほか、音声認識によって文字データ化する機能も備える。文字データ化された音声は、後述の自動応対コールで利用される。
【００９３】
ロボット音声出力制御装置６０１は、音声合成装置６０２と、音声変換装置６０３を有する。オペレータからの会話入力が文章の場合は、音声合成装置６０２が文章から音声合成を行って音声出力する。オペレータからの会話入力が音声の場合は、音声変換装置６０３が元の人間の声を一定のロボットらしい声にリアルタイムで変換して音声出力する。
【００９４】
オペレータからの会話入力が文章の場合は、音声の場合と比べて会話のリアルタイム性が低下するが、文章から音声合成した声は、個人の音声を音声変換装置で変換した声と比べると個人差のない音声にしやすい利点がある。
【００９５】
非常時にロボットではなく背後にいる人間が話していることを明示したほうが良い場合は、オペレータはリモート操作により音声変換装置６０３の音声変換処理を停止して元の声をそのまま出力することができる。
【００９６】
図７は、オペレータ端末１０３の概略的なブロック図を示す。オペレータ端末１０３は、オペレータがお客様と音声会話するための音声入出力装置１１２と、オペレータがテレプレゼンスロボット１０１からの映像や位置情報を受信したり遠隔操作したりするためのリモート操作装置１１３を有する。
【００９７】
音声入出力装置１１２は、オペレータ側マイク７００と、オペレータ側マイク７００から入力される音声をキャプチャしてオペレータ通信制御装置１１４経由でテレプレゼンスロボット１０１へ送信するオペレータ音声キャプチャ装置７０１と、オペレータ側スピーカー７０２と、お客様からの声をテレプレゼンスロボット１０１からオペレータ通信制御装置１１４経由で受け取ってオペレータ側スピーカー７０２から出力するオペレータ側音声出力制御装置７０３と、キーボード７０４と、キーボード７０４からの文字会話入力を受け取ってオペレータ通信制御装置１１４経由でテレプレゼンスロボット１０１へ送信する文字チャット入力装置７０５を有する。
【００９８】
リモート操作装置１１３は、オペレータ側タッチパネルディスプレイ７０６と、オペレータ側タッチパネルディスプレイ７０６との入出力およびオペレータ通信制御装置１１４を介したテレプレゼンスロボット１０１との通信を制御するオペレータ側ディスプレイ制御装置７０７と、オペレータ側操作パッド７１２と、オペレータ側操作パッド７１２とオペレータ側タッチパネルディスプレイ７０６からの入力を操作信号としてエンコードしてオペレータ通信制御装置１１４経由でテレプレゼンスロボット１０１へ送信する操作信号エンコード装置７１３を有する。
【００９９】
オペレータ側ディスプレイ制御装置７０７は、ロボットモデル表示制御装置７０８と、ロボット環境表示制御装置７０９と、お客様映像表示制御装置７１０と、資料提示制御装置７１１を有する。
【０１００】
ロボットモデル表示制御装置７０８は、テレプレゼンスロボット１０１から通信で現在の駆動部１０８の情報を取得することによって、ロボットの現在の表情とジェスチャを３ＤモデルＣＧを用いてオペレータ側タッチパネルディスプレイ７０６に表示することにより、オペレータへ現在のロボットの身体状態を伝える。
【０１０１】
ロボット環境表示制御装置７０９は、テレプレゼンスロボット１０１が環境カメラ・ＧＰＳ２０９で取得した現在のロボットの位置と向きの情報と360度映像を通信経由で取得し、オペレータ側タッチパネルディスプレイ７０６上に電子地図と重ねて表示することによって、オペレータへロボットの周囲の様子を伝える。
【０１０２】
お客様映像表示制御装置７１０は、テレプレゼンスロボット１０１から通信で現在の対人カメラ２１１の映像を取得し、オペレータ側タッチパネルディスプレイ７０６上に表示することによって、オペレータへロボットの前に居るお客様の映像を伝える。
【０１０３】
資料提示制御装置７１１は、オペレータが応対の際にお客様へ提示するべき資料（写真、書類、地図、映像等の電子データ）を格納し、オペレータがオペレータ側タッチパネルディスプレイ７０６を操作して必要な資料を選択することにより、テレプレゼンスロボット１０１の有するロボット側タッチパネルディスプレイ２１３上に選択資料が表示されるよう制御を行う。
【０１０４】
オペレータは、オペレータ側タッチパネルディスプレイ７０６を操作することによって、応対を転送したり、応対記録の再生を行うことができる
【０１０５】
オペレータは、オペレータ側操作パッド７１２を用いてテレプレゼンスロボット１０１をリモート操作することができる。オペレータ側操作パッドは、ゲーム機で利用されるような2本の方向スティックと複数のボタンを備えるものである。
【０１０６】
オペレータは、オペレータ側操作パッド７１２の有する移動用方向スティックを用いて、テレプレゼンスロボット１０１に前進と、後退と、左回転と、右回転の移動を指示することができる。
【０１０７】
オペレータは、オペレータ側操作パッド７１２の有する視点変更用方向スティックを用いて、テレプレゼンスロボット１０１の対人カメラ２１１をパン・チルト操作することができる。
【０１０８】
オペレータは、オペレータ側操作パッド７１２の有するボタンを押すことによって、各ボタンに登録された表情の実行をテレプレゼンスロボット１０１に指示することができる。定義づけられた表情の例としては、笑顔、泣き顔等がある。
【０１０９】
オペレータは、オペレータ側操作パッド７１２の有するボタンを押すことによって、各ボタンに登録されたジェスチャの実行をテレプレゼンスロボット１０１に指示することができる。定義づけられたジェスチャの例としては、左右を指さす、手を振る、首を振る、うなづく等がある。
【０１１０】
オペレータは、テレプレゼンスロボット１０１に対して表情とジェスチャを指示するために、オペレータ側タッチパネルディスプレイ７０６を用いることもできる。よく使う表情やジェスチャはオペレータ側操作パッド７１２のボタンに登録し、そうでないものはオペレータ側タッチパネルディスプレイ７０６からタッチメニューで選択できる。
【０１１１】
オペレータは、オペレータ側タッチパネルディスプレイ７０６を用いることによって、あらかじめ定義された表情とジェスチャではなく、直接にテレプレゼンスロボット１０１の各駆動部を操作することもできる。
【０１１２】
応対のログは後から応対内容を確認するために、オペレータ端末上で再生することができる。
【０１１３】
図８は、駆動部制御装置１０７の概略的なブロック図を示す。駆動部制御装置１０７は、オペレータからのリモート操作信号をロボット通信制御装置１０９から受信する操作信号受信装置８００と、操作信号をデコードして各駆動部の設定数値データに変換する操作信号デコード装置８０１と、デコードされた設定数値を各駆動部へ伝える移動制御装置８０２、表情制御装置８０３、ジェスチャ制御装置８０４とを有する。
【０１１４】
移動制御装置８０２は、車輪２０３の動作を制御する。
【０１１５】
移動制御装置８０２は、オペレータからのリモート操作指示がない場合も、アプローチ制御装置１０６の処理に従って自律的にロボットを移動させる場合がある。詳細は後述する。
【０１１６】
移動制御装置８０２は、上記のように自律的にロボットを移動させる場合は、環境カメラ・ＧＰＳ２０９を利用して対象を追跡し、また目の前に障害物があれば回避し、障害物に当たった場合は衝撃センサー２２１によって判定しながら、目的地まで移動する。
【０１１７】
表情制御装置８０３は、瞳２０４、瞼２０５、眉２０６、口２０７の動作を制御する。
【０１１８】
ジェスチャ制御装置８０４は、首２１４、肩関節２１５、肘関節２１６、手首２１７、手指２１８の動作を制御する。
【０１１９】
ジェスチャ制御装置８０４は、オペレータからのリモート操作指示がない場合も、ときどき首や関節を少し動かしたり、お客様の発話時には首を動かしてうなづくなど自律的な動作を行う。これは、ロボットが長く静止していると生命らしく見えなくなってしまうことを防ぐためである。
【０１２０】
以下では図４のステップＳ３において簡単に説明したアプローチ行動と、アプローチ行動の間にテレプレゼンスロボット１０１がコールセンタ装置１０２へコールするタイミングの詳細について説明する。
【０１２１】
アプローチ行動とは、テレプレゼンスロボット１０１の近くへやってきた人に対して、ロボット側から接近したりジェスチャをしたり音声で話しかけたりすることによって、会話を試みる行動である。
【０１２２】
テレプレゼンスロボット１０１は、アプローチ行動の途中でコールセンタ装置１０２へコールする。どの状態でコールするかのタイミングによって、アプローチ行動は、、即時コール、自動接近コール、自動挨拶コール、自動応対コールの４つの方式に分けられる。ロボットは４つの方式のうち設定によってあらかじめ指定された１つの方式を用いてアプローチ行動をとる。
【０１２３】
即時コールは、位置判定装置１０５の結果、人が近くに居ることが判った場合、すぐさまコールする。ＡＣＤ１１０は前記コールに対してオペレータ端末１０３を割り当てて、オペレータがロボットのリモート操作を開始する。リモート操作開始後は、お客様に声の届かない距離であればオペレータはロボットを移動させてお客様に近づき、お客様に声の届く距離（２から３メートル程度）であれば声を掛けるものとする。
【０１２４】
即時コールは、テレプレゼンスロボット１０１を小規模店舗に設置する場合のように、店舗入口に人感センサー２１９を設置することによって、何らかの用事のあるお客様の来訪が確実に判るときに適する方式である。
【０１２５】
自動接近コールは、位置判定装置１０５の結果、人が近くに居ることが判った場合、その人に声が届かない距離であれば、ロボットは自律的に手を振るジェスチャをしてその人の注意を引いたあと、その人に声が届く距離になるまで自律的に追跡移動してからコールする。ただし、一定時間追跡移動しても声が届く距離にならなかった場合はアプローチ行動は失敗としてコールをしない。また、人が近くに居ることが判った時点でその人に声が届く距離であればその場でコールする。ＡＣＤ１１０は前記コールに対してオペレータ端末１０３を割り当てて、オペレータがロボットのリモート操作を開始する。リモート操作開始後はお客様に声の届く距離になっているため、オペレータはお客様に声を掛けることができる。
【０１２６】
自動接近コールは、テレプレゼンスロボット１０１が人に近づく行動を、オペレータによる操作ではなくロボットが自律的に行う点が即時コールとは異なる。近くに居る人が単なる通りすがりであって、必ずしもお客様とは限らない街頭や展示会にロボットを設置する場合、オペレータがお客様の可能性が低い人を追いかける無駄を減らすことができる。
【０１２７】
自動挨拶コールは、位置判定装置１０５の結果、人が近くに居ることが判った場合、その人に声が届かない距離であれば、ロボットは自律的に手を振るジェスチャをしてその人の注意を引いたあと、その人に声が届く距離になるまで自律的に追跡移動する。ただし、一定時間追跡移動しても声が届く距離にならなかった場合はアプローチ行動は失敗としてコールをしない。人に声が届く距離になった時点で、ロボットからその人に対して音声とジェスチャで自律的に挨拶をする。挨拶後、顔認識装置６０５で人の顔が一定時間ロボットのほうを向いているかどうかを判定し、顔がロボットのほうを向いているか、音声で回答があればコールをする。顔が一定時間ロボットのほうを向かず、音声でも回答がなければアプローチ行動は失敗としてコールをしない。ＡＣＤ１１０は前記コールに対してオペレータ端末１０３を割り当てて、オペレータがロボットのリモート操作を開始する。リモート操作開始後は、オペレータはお客様との応対に適切な距離（１から１．５メートル程度）までロボットを接近させて会話をすることができる。
【０１２８】
自動挨拶コールは、自動接近コールの場合よりもロボットの自律動作に任せる度合いが増している。ロボットの自律動作に任せる度合いが増えると柔軟なお客様アプローチはできなくなるが、人の数が多い場所ではオペレータがお客様の可能性が低い人を追いかける無駄をいっそう減らすことができる。
【０１２９】
自動応対コールは、位置判定装置１０５の結果、人が近くに居ることが判った場合、その人に声が届かない距離であれば、ロボットは自律的に手を振るジェスチャをしてその人の注意を引いたあと、その人に声が届く距離になるまで自律的に追跡移動する。ただし、一定時間追跡移動しても声が届く距離にならなかった場合はアプローチ行動は失敗としてコールをしない。人に声が届く距離になった時点で、ロボットからその人に対して音声とジェスチャで自律的に挨拶をする。挨拶後、顔認識装置６０５で人の顔が一定時間ロボットのほうを向いているかどうかを判定し、顔がロボットのほうを向いているか、音声で回答があれば、ロボットは人との応対に適正な距離まで自律的に接近し、既定の初期質問をお客様にして、お客様から回答があればコールをする。回答がなければアプローチ行動は失敗としてコールをしない。ＡＣＤ１１０は前記コールに対してオペレータ端末１０３を割り当てて、オペレータがロボットのリモート操作を開始する。リモート操作開始後は、オペレータはそのままお客様と会話を続けることができる。
【０１３０】
自動応対コールでは、あらかじめ初期質問に対するお客様の回答を聞いてからコールするため、回答内容に沿ったＡＣＤ１１０の処理により、お客様の要望に沿ったスキルを持つオペレータを割り当てることができる。お客様からの回答は音声で受けてロボット音声キャプチャ装置６００によって音声認識した結果を用いるか、ロボット側タッチパネルディスプレイ上に表示されるメニューをお客様が選択した結果を用いる。
【０１３１】
上記タッチパネルディスプレイ上に表示されるメニューは、例えば、外国人観光客の案内サービスであれば「English」「Chinese」「Korean」「Spanish」と表示され、ＡＣＤ１１０の処理により、選択した言語のスキルを持つオペレータが割り当てられる。
【０１３２】
なお、アプローチ行動以外でテレプレゼンスロボットがコールを行う場合として、緊急コールがある。これは、ジャイロセンサー２２０がロボットの転倒を検知したとき、あるいは衝撃センサー２２１がロボットへの継続的な攻撃を検知した場合に自動的にコールする機能である。ＡＣＤ１１０は緊急コールに対しては特定の問題対応オペレータのオペレータ端末１０３を割り当てる。問題対応オペレータは人間の音声で話をし、周囲の人に助けを求める。自律動作中のロボットは、人間からいたずらで攻撃を受ける場合のあることが知られており、緊急コールはそうした事態に対応するための機能である。
【０１３３】
以下ではＡＣＤ１１０がテレプレゼンスロボット１０１からのコールを自動的に適切なオペレータ端末１０３へ割り当てる方法について説明する。
【０１３４】
ＡＣＤ１１０にはあからじめ複数のオペレータが登録され、オペレータ個人を示すＩＤと、それぞれが会得している個人スキル情報と、それぞれの操作するオペレータ端末ＩＤが組となって登録されている。
【０１３５】
上記スキルはキーワードで表現される。例えば、営業に関するスキルであれば「sales」、サポート業務に関するスキルであれば「support」、英語に関するスキルであれば「English」とする。
【０１３６】
スキルは、その良しあしを数値化したグレード値を伴う。グレードは１から１６までとし、数値の小さいほうが良いものとする。
【０１３７】
従来の音声電話向けのＡＣＤでは一般に音声会話で必要とされるスキルが登録されるだけであるが、本実施形態におけるＡＣＤ１１０では、音声会話で必要とされるスキルに加えて、ロボットのリモート操作のために必要な、操縦スキル「manipulation」、表情とジェスチャの操作熟練度を示す演技スキル「motion」を登録する。
【０１３８】
操縦スキルは、道案内業務で特に必要とされる。また、演技スキルはテレプレゼンスロボットが特定のキャラクターを持つ場合は特に、それらしく振舞うために必要とされる。
【０１３９】
テレプレゼンスロボット１０１がコールする際は、スキルを指定するか、特定のオペレータ個人を指定するか、あるいは何も指定せずにコールすることができる。
【０１４０】
スキルを指定したコールは、１つあるいは複数のスキルを指定できる。複数の場合は、必要度の高い順に第1スキル、第２スキル、と順位づけをする。
【０１４１】
スキルを指定したコールは、上記自動応対コールにおいて入力されたお客様の要望をスキルとして指定することができる。
【０１４２】
スキルを指定したコールは、特定の場所に設置されたテレプレゼンスロボット１０１にあらかじめ特定のスキルを指定することもできる。例えば、上記ガイドロボットサービスの例では、京都に設置されたガイドロボットには京都観光のスキル「Kyoto」を、東京に設置されたガイドロボットには東京観光のスキル「Tokyo」を指定するといったことができる。またガイドロボットサービスでは土地のスキルを第１スキルとして、道案内のための上記操縦スキル「manipulation」も第２スキルとして同時に指定する。
【０１４３】
特定のオペレータ個人を指定したコールは、お客様の担当者があらかじめ決まっている場合に利用できる。例えば上記ベルロボットサービスの例では、顔認識装置６０５でお客様個人を特定することによって、そのお客様専任のベルスタッフを呼び出すことができる。
【０１４４】
ＡＣＤ１１０が、コールの割り当て先オペレータを選択する方法は、まず登録されているオペレータから、現在テレプレゼンスロボットと接続済みの者を除外し、使用するスキルが指定されている場合は一致するスキルを持つオペレータのみを対象として絞り、一致するスキルを持つオペレータが複数名登録されている場合は、グレードの良いほうのオペレータを対象として絞り、同じグレードのオペレータが複数名登録されている場合は、前回応対が終了してからの待ち時間が長いほうのオペレータを対象に絞り、それでも残ったものが複数名であればランダムに1名を選ぶという手順によって、オペレータを割り当てる。この手順によって、適切なスキルを持つエージェントを、稼働率を高めながらコールに対して割り当てることができる。
【０１４５】
ＡＣＤ１１０が、複数スキルの指定されたコールに対してオペレータを選択する方法は、まず登録されているオペレータから、現在テレプレゼンスロボットと接続済みの者を除外し、第1スキルに一致するスキルを持つオペレータのみを対象として絞り、一致するスキルを持つオペレータが複数名登録されている場合は、グレードの良いほうのオペレータを対象として絞り、同じグレードのオペレータが複数名登録されている場合は、第２スキル以降のグレードも順に比較することで良いほうを対象として絞り、すべての指定スキルに対して同じグレードのオペレータが複数登録されている場合は、前回応対が終了してからの待ち時間が長いほうのオペレータを対象に絞り、それでも残ったものが複数名であればランダムに1名を選ぶという手順によって、オペレータを割り当てる。
[第１実施形態の効果]
【０１４６】
以上のように、第１実施形態では、テレプレゼンスロボット１０１と、コールセンタ装置１０２と、オペレータ端末１０３を有し、テレプレゼンスロボット１０１は、お客様の映像音声のキャプチャとオペレータからの音声出力・ディスプレイ装置出力を行うメディア入出力装置１０４と、お客様とロボットとの位置関係を判定するための位置判定装置１０５と、メディア入出力装置１０４と位置判定装置１０５から得た情報に基づいてお客様とロボットとの会話開始のためのコール送信を制御するアプローチ制御装置１０６と、オペレータからの身体制御の指示を受ける駆動部制御装置１０７と、駆動部制御装置１０７によって表情とジェスチャの変化と身体の移動を行う駆動部１０８と、前記コールセンタ装置１０２との通信を制御するロボット通信制御装置１０９と、を有し、コールセンタ装置１０２は、アプローチ制御装置１０６から送信された前記コールに対して複数用意されたオペレータ端末１０３のうち適切な１台を割り当てるＡＣＤ装置１１０と、コール元のテレプレゼンスロボット１０１と割り当てられたオペレータ端末１０３との間の音声映像とテレプレゼンスロボット身体動作を用いたコミュニケーションを仲介し記録するマルチモーダルコミュニケーションサーバ１１１を有し、オペレータ端末１０３は、音声入力装置１１２と、リモート操作装置１１３と、コールセンタ装置１０２との通信を制御するオペレータ通信制御装置１１４と、を有するようにした。
【０１４７】
この第１実施形態によれば、オペレータがテレプレゼンスロボットを用いて遠隔地のお客様の映像と音声を受信し、またオペレータがテレプレゼンスロボットを操作してお客様へ音声出力と表情、ジェスチャ、移動、ディスプレイを用いた情報提示を行うことによって、オペレータとお客様との間のテレプレゼンスロボットを介したリアルタイムでの会話を実現できる。
【０１４８】
この第1実施形態によれば、ＡＣＤを用いることにより、お客様に対し、手の空いている人や必要なスキルを持つ人を自動的にテレプレゼンスロボットへ割り当てて応対することが可能となる。特にロボットのリモート操作に関する、操縦スキル「manipulation」と演技スキル「motion」をＡＣＤで処理可能とすることにより、ロボットに対して適切なオペレータを割り当てることができる。
【０１４９】
この第1実施形態によれば、アプローチ制御装置により、会話を始めるためにお客様とテレプレゼンスロボットを会話できる距離へ接近させ、ロボットから自動的にコールしてオペレータへ接続する方式として、即時コール、自動接近コール、自動挨拶コール、自動応対コールの４つの方式を用いることができるため、お客様とオペレータとの会話を自然に開始することができる。
【０１５０】
この第１実施形態によれば、ジャイロセンサーがロボットの転倒を検知したとき、あるいは衝撃センサーがテレプレゼンスロボットへの外部からの継続的な攻撃を検知した場合に、ロボットが自動的に緊急コールを発信し、ＡＣＤは緊急コールに対して特定の問題対応オペレータのオペレータ端末を割り当て、問題対応オペレータは人間の音声で話をして、ロボットの周囲の人に助けを求めることができる。
【０１５１】
この第1実施形態によれば、オペレータの映像と声をそのままお客様に伝える代わりに、映像は用いることなく声のみを上記ロボット音声出力制御装置によってロボットらしい音声として出力することにより、お客様との違和感の少ない形でのロボットを介した会話が可能となる。また、オペレータが会話の途中で交代しても、同じようなロボットらしい音声を出力することにより、ロボットの一貫性や一体のロボットの個性が損なわれる問題を解決する。
【０１５２】
この第1実施形態によれば、マルチモーダルコミュニケーションサーバを介して音声映像会話とロボットのリモート操作を行うことによって、第三者が上記マルチモーダルコミュニケーションに接続し、音声映像会話に加えテレプレゼンスロボットの移動やジェスチャなどのリモート操作の様子もモニタリングすることができる。
【０１５３】
この第1実施形態によれば、マルチモーダルコミュニケーションサーバにデータを記録することにより、音声映像会話に加えテレプレゼンスロボットの移動やジェスチャなどリモート操作の様子も記録して、お客様との間で不適切なやりとりがなかったかをあとで再生して確認することができる。
[第２実施形態]
【０１５４】
第２実施形態は、第１実施形態におけるテレプレゼンスロボット１０１が、図２で示される車輪２０３を有することはなく、特定の位置に固定して用いるほかは、第１実施形態と同じ構成をとる。
【０１５５】
第２実施形態は、第１実施形態におけるアプローチ行動のうち移動を行わないこと、リモート操作による移動も行わないことの他は、第１実施形態と同じ手順で動作する。
[第２実施形態の効果]
【０１５６】
第２実施形態では、人に接近して会話をしたり、人と一緒に移動して道案内をするための車輪を持たないため、ロボットを小型化することができる利点がある。例えば上記カウンターロボットサービスの場合はロボットがあまり動き回る必要がないため、ロボットを小型化して机上に設置することで手軽に運用することができる。
[第３実施形態]
【０１５７】
第３実施形態は、第１実施形態におけるテレプレゼンスロボット１０１の代わりにドローン（小型の無人航空機）を用いるほかは、第１実施形態と同じ構成を取る。
【０１５８】
ドローンは対人カメラとマイク、スピーカを備えており、オペレータはドローンを介してドローンの前にいる人と会話することができる。
[第３実施形態の効果]
【０１５９】
コールセンタ型のテレプレゼンスロボットをドローンとすることによって、利用者は一台のドローンを用意するだけで、航空撮影作業、橋梁修理のための高所撮影・確認作業など、様々な専門スキルを持つオペレータからのサービスを受けることが出来るようになる。
[第４実施形態]
【０１６０】
第４実施形態は、第１実施形態におけるテレプレゼンスロボット１０１の代わりにおもちゃの人形を用いるほかは、第１実施形態と同じ構成を取る。
【０１６１】
おもちゃの人形は対人カメラとマイク、スピーカを備えており、オペレータは、おもちゃの人形として演技をして、人形の前にいる子供と話をすることができる。
[第４実施形態の効果]
【０１６２】
コールセンタ型のテレプレゼンスロボットをおもちゃの人形とすることによって、子供が話しかけたときだけオペレータと接続し、会話できるおもちゃの人形を実現することができる。
[第５実施形態]
【０１６３】
第５実施形態では、第１実施形態における車輪のついたテレプレゼンスロボットと、第２実施形態における車輪を持たないテレプレゼンスロボットと、第３実施形態におけるドローンと、第４実施形態におけるおもちゃの人形とが混在し、一人のオペレータがどの種類のテレプレゼンスロボットに対しても接続できるほかは、各ロボット毎の実施形態と同じ構成をとる。
【０１６４】
テレプレゼンスロボットがコールセンタ装置へコールする際、テレプレゼンスロボットの種類を表すスキルを必ず第１スキルとし、他のスキルを優先度順に第２、第３と続けて設定するほかは、各ロボット毎の実施形態と同じ構成をとる。
【０１６５】
車輪のあるロボットの種類を表すスキルを「wheel」、車輪のないロボットの種類を表すスキルを「nowheel」、ドローンを表すスキルを「drone」、人形を表すスキルを「doll」とする。
【０１６６】
オペレータは、車輪のあるロボットを操作する技術を持つ場合は「wheel」スキルを、車輪のないロボットを操作する技術を持つ場合は「nowheel」スキルを、ドローンを操縦する技術を持つ場合は「drone」を、人形を操作するスキルを持つ場合は「doll」を、ＡＣＤに登録する。
[第５実施形態の効果]
【０１６７】
特定の種類のロボットを表すスキルを第１スキルとすることによって、複数の種類のテレプレゼンスロボットを用意し、個々のロボットの操作技術を持つオペレータにだけコールが割り当てられるようにすることができる。複数の種類のロボットの操作技術を持つオペレータと、１つのロボットの操作技術を持つオペレータを混在させて対応できるようになるため、オペレータの稼働率を上げることができる。
[第６実施形態]
【０１６８】
第６実施形態では、第１実施形態と同じ構成と同じ手順で動作することに加えて、各テレプレゼンスロボットの位置情報をＡＣＤ１１０へ登録することにより、オペレータが近隣の別のテレプレゼンスロボットを検索できるようにする。
【０１６９】
オペレータが図４のステップＳ６でお客様と応対開始した後、特定のオペレータに対して、ロボットの近くにある別のテレプレゼンスロボットと接続し、会話に参加するよう追加要求を出すことができる。要求が認められれば、お客様と二名のオペレータによる三者会話を行うことができる。
[第６実施形態の効果]
【０１７０】
個別の専門的なスキルが求められ、個々のオペレータがそれを所持している場合には、三者会話のできることが望ましい。例えば、観光案内のスキルのみを持つオペレータと、通訳のスキルのみを持つオペレータが別々に居る場合、観光案内のスキルのみを持つオペレータが、お客様の母国語に対応できる通訳のスキルを持つオペレータをもう1体のテレプレゼンスロボットに呼び出すことによって、両方のスキルを用いたお客様応対が可能となる。
【符号の説明】
【０１７１】
１００  コミュニケーションロボットシステム
１０１  テレプレゼンスロボット
１０２  コールセンタ装置
１０３  オペレータ端末
１０４  メディア入出力装置
１０５  位置判定装置
１０６  アプローチ制御装置
１０７  駆動部制御装置
１０８  駆動部
１０９  ロボット通信制御装置
１１０  ＡＣＤ
１１１  マルチモーダルコミュニケーションサーバ
１１２  音声入出力装置
１１３  リモート操作装置
１１４  オペレータ通信制御装置
２００  頭
２０１  胴
２０２  腕
２０３  車輪
２０４  瞳
２０５  瞼
２０６  眉
２０７  口
２０８  ロボット側マイク
２０９  環境カメラ・ＧＰＳ
２１０  Wifi通信装置
２１１  対人カメラ
２１２  ロボット側スピーカー
２１３  ロボット側タッチパネルディスプレイ
２１４  首
２１５  肩関節
２１６  肘関節
２１７  手首
２１８  手指
２１９  人感センサー
２２０  ジャイロセンサー
２２１  衝撃センサー
３００  オペレータ
５００  人感センサー結果受信部
５０１  映像距離認識装置
６００  ロボット音声キャプチャ装置
６０１  ロボット音声出力制御装置
６０２  音声合成装置
６０３  音声変換装置
６０４  映像キャプチャ装置
６０５  顔認識装置
６０６  ロボットディスプレイ制御装置
７００  オペレータ側マイク
７０１  オペレータ音声キャプチャ装置
７０２  オペレータ側スピーカー
７０３  オペレータ側音声出力制御装置
７０４  キーボード
７０５  文字チャット入力装置
７０６  オペレータ側タッチパネルディスプレイ
７０７  オペレータ側ディスプレイ制御装置
７０８  ロボットモデル表示制御装置
７０９  ロボット環境表示制御装置
７１０  お客様映像表示制御装置
７１１  資料提示制御装置
７１２  オペレータ側操作パッド
７１３  操作信号エンコード装置
８００  操作信号受信装置
８０１  操作信号デコード装置
８０２  移動制御装置
８０３  表情制御装置
８０４  ジェスチャ制御装置
【図１】
2018067785.tif 000003
【図２】
2018067785.tif 000004
【図３】
2018067785.tif 000005
【図４】
2018067785.tif 000006
【図５】
2018067785.tif 000007
【図６】
2018067785.tif 000008
【図７】
2018067785.tif 000009
【図８】
2018067785.tif 000010