(57)【要約】【課題】作業ロボットの作業中に、ヒトに対話ロボット及び作業ロボットとの対話に参加している感覚を維持させる。【解決手段】ロボットシステムは、作業ロボットと、対話ロボットと、対話ロボットと作業ロボットとの間で情報の送受信を行う通信手段とを備える。作業ロボットは、作業中に、現在進行中の作業工程を識別する作業工程識別情報と、作業工程の進捗具合とを含む進捗状況情報を対話ロボットへ送信する進捗状況報告部を有し、対話ロボットは、作業工程識別情報とその作業工程と対応する発話材料データとを関連付けて記憶した発話材料データベースと、受け取った進捗状況情報と対応する発話材料データを発話材料データベースから読み出し、読み出した発話材料データと進捗具合とに基づいてロボット発話データを生成し、生成したロボット発話データを言語動作部へ出力する言語動作制御部とを有する。【選択図】図５
2018126810.tif 000002
【特許請求の範囲】
【請求項１】
ロボットアームと当該ロボットアームの手先部に装着されたエンドエフェクタとを有し、前記エンドエフェクタを用いてヒトの依頼に基づく作業を行う作業ロボットと、
言語動作部と非言語動作部とを有し、前記作業ロボット及び前記ヒトに向けて言語動作及び非言語動作を行う対話ロボットと、
前記対話ロボットと前記作業ロボットとの間で情報の送受信を行う通信手段とを備え、
前記作業ロボットは、前記作業中に、現在進行中の作業工程を識別する作業工程識別情報と、前記作業工程の進捗具合とを含む進捗状況情報を前記対話ロボットへ送信する進捗状況報告部を有し、
前記対話ロボットは、前記作業工程識別情報とその作業工程と対応する発話材料データとを関連付けて記憶した発話材料データベースと、受け取った前記進捗状況情報と対応する前記発話材料データを前記発話材料データベースから読み出し、読み出した前記発話材料データと前記進捗具合とに基づいてロボット発話データを生成し、生成した前記ロボット発話データを前記言語動作部へ出力する言語動作制御部とを有する、
ロボットシステム。
【請求項２】
前記対話ロボットは、
前記ロボット発話データと、当該ロボット発話データがもたらす言語動作に対応する非言語動作を前記対話ロボットに実行させるロボット動作データとを関連付けて記憶したロボット動作データベースと、
生成した前記ロボット発話データに対応する前記ロボット動作データを前記ロボット動作データベースから読み出し、読み出した前記ロボット動作データを前記非言語動作部へ出力する非言語動作制御部とを、更に有する、
請求項１に記載のロボットシステム。
【請求項３】
前記対話ロボットは、前記作業ロボットの前記作業中に、前記作業ロボットに対し進捗確認信号を送信する作業ロボット管理部を備え、
前記作業ロボットは、前記進捗確認信号を受け取ったことをトリガとして、前記進捗状況情報を前記対話ロボットへ送信する、
請求項１又は２に記載のロボットシステム。
【請求項４】
前記作業ロボットは、前記作業工程の開始及び／又は終了のタイミングで、前記進捗状況情報を前記対話ロボットへ送信する、
請求項１又は２に記載のロボットシステム。
【請求項５】
前記対話ロボットは、所定のスクリプトデータに従って、前記ヒトに向けて言語動作及び非言語動作を行うことにより前記ヒトと対話し、前記対話の内容を解析して前記ヒトから前記依頼を取得し、前記依頼に基づいて前記作業ロボットに対し前記作業の処理開始信号を送信するとともに前記作業ロボットに向けて言語動作及び非言語動作を行う、
請求項１〜４のいずれか一項に記載のロボットシステム。
【請求項６】
ロボットアームと当該ロボットアームの手先部に装着されたエンドエフェクタとを有し、前記エンドエフェクタを用いてヒトの依頼に基づく作業を行う作業ロボットと、
言語動作部と非言語動作部とを有し、前記作業ロボット及び前記ヒトに向けて言語動作及び非言語動作を行う対話ロボットとで行われるロボット対話方法であって、
前記作業ロボットが、前記作業中に、現在進行中の作業工程を識別する作業工程識別情報と、前記作業工程の進捗具合とを含む進捗状況情報を前記対話ロボットへ送信し、
前記対話ロボットが、受け取った前記進捗状況情報と対応する発話材料データを前記作業工程識別情報とその作業工程と対応する前記発話材料データとを関連付けて記憶した発話材料データベースから読み出し、読み出した前記発話材料データと前記進捗具合とに基づいてロボット発話データを生成し、生成した前記ロボット発話データを前記言語動作部で出力する、
ロボット対話方法。
【請求項７】
前記対話ロボットが、生成した前記ロボット発話データがもたらす言語動作に対応する非言語動作を前記対話ロボットに実行させるロボット動作データを前記非言語動作部で出力する、
請求項６に記載のロボット対話方法。
【請求項８】
前記対話ロボットは、前記作業ロボットの前記作業中に、前記作業ロボットに対し進捗確認信号を送信し、
前記作業ロボットは、前記進捗確認信号を受け取ったことをトリガとして、前記進捗状況情報を前記対話ロボットへ送信する、
請求項６又は７に記載のロボット対話方法。
【請求項９】
前記作業ロボットは、前記作業工程の開始及び／又は終了のタイミングで、前記進捗状況情報を前記対話ロボットへ送信する、
請求項６又は７に記載のロボット対話方法。
【請求項１０】
前記対話ロボットは、所定のスクリプトデータに従って、前記ヒトに向けて言語動作及び非言語動作を行うことにより前記ヒトと対話し、前記対話の内容を解析して前記ヒトから前記依頼を取得し、前記依頼に基づいて前記作業ロボットに対し前記作業の処理開始信号を送信するとともに前記作業ロボットに向けて言語動作及び非言語動作を行う、
請求項６〜９のいずれか一項に記載のロボット対話方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロボット同士のコミュニケーション機能を備えたロボットシステム及びロボット対話方法に関する。
【背景技術】
【０００２】
従来から、ヒトと対話をする対話ロボットが知られている。特許文献１，２では、この種の対話ロボットが開示されている。
【０００３】
特許文献１では、複数の対話ロボットを備えた対話システムが開示されている。各対話ロボットの発話動作（言語動作）及び振る舞い（非言語動作）は、予め決められたスクリプトに従って制御される。そして、複数のロボットがスクリプトに沿って対話しながら、時折、参加者であるヒトに対話して問いかける（質問や同意の要求をする）ことで、複数のロボットとの対話に参加している人に、人対話しているときに抱くのと同等の対話感覚を与えるようにしている。
【０００４】
また、特許文献２では、対話ロボットと生活支援ロボットシステムとを備えた対話システムが開示されている。生活支援ロボットシステムは、ヒトの生活を支援するためのサービスを実行するアプライアンス（通信機能を備えた家電機器）を自律的に制御する。対話ロボットは、ユーザの生活環境や行動の情報を取得してユーザの状況を解析し、状況に基づいてユーザに提供するサービスを決定し、サービスを認知させ提供するための音声による問いかけを行い、ユーザの回答に基づいてユーザのロボットとの対話への引込みが成功したと判断した場合に、サービスの実効要求を生活ロボット支援システム又はアプライアンスに送信する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１６−１３３５５７号公報
【特許文献２】国際公開２００５／０８６０５１号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本願の発明者らは、上記のような対話ロボットを、作業ロボットと顧客とを繋ぐインターフェースとして機能させるロボットシステムを検討している。このロボットシステムでは、対話ロボットが顧客から作業の依頼を受け付け、受け付けた依頼を作業ロボットが実行する。
【０００７】
しかしながら、上記ロボットシステムでは、依頼の受付に際して対話ロボットが顧客との間で築いた対話感（即ち、顧客が対話ロボットとの対話に参加している感覚）が、作業ロボットが作業をしている間に損なわれて、顧客が退屈することも想定される。
【０００８】
本発明は以上の事情に鑑みてされたものであり、作業ロボットがヒトに依頼された作業を行っている最中にも、ヒトに対話ロボット及び作業ロボットとの対話に参加している感覚を生じさせ、それを維持させることができるロボットシステム及びロボット対話方法を提案する。
【課題を解決するための手段】
【０００９】
本発明の一態様に係るロボットシステムは、
ロボットアームと当該ロボットアームの手先部に装着されたエンドエフェクタとを有し、前記エンドエフェクタを用いてヒトの依頼に基づく作業を行う作業ロボットと、
言語動作部と非言語動作部とを有し、前記作業ロボット及び前記ヒトに向けて言語動作及び非言語動作を行う対話ロボットと、
前記対話ロボットと前記作業ロボットとの間で情報の送受信を行う通信手段とを備え、
前記作業ロボットは、前記作業中に、現在進行中の作業工程を識別する作業工程識別情報と、前記作業工程の進捗具合とを含む進捗状況情報を前記対話ロボットへ送信する進捗状況報告部を有し、
前記対話ロボットは、前記作業工程識別情報とその作業工程と対応する発話材料データとを関連付けて記憶した発話材料データベースと、受け取った前記進捗状況情報と対応する前記発話材料データを前記発話材料データベースから読み出し、読み出した前記発話材料データと前記進捗具合とに基づいてロボット発話データを生成し、生成した前記ロボット発話データを前記言語動作部へ出力する言語動作制御部とを有することを特徴とする。
【００１０】
また、本発明の一態様に係るロボット対話方法は、
ロボットアームと当該ロボットアームの手先部に装着されたエンドエフェクタとを有し、前記エンドエフェクタを用いてヒトの依頼に基づく作業を行う作業ロボットと、言語動作部と非言語動作部とを有し、前記作業ロボット及び前記ヒトに向けて言語動作及び非言語動作を行う対話ロボットとで行われるロボット対話方法であって、
前記作業ロボットが、前記作業中に、現在進行中の作業工程を識別する作業工程識別情報と、前記作業工程の進捗具合とを含む進捗状況情報を前記対話ロボットへ送信し、
前記対話ロボットが、受け取った前記進捗状況情報と対応する発話材料データを前記作業工程識別情報とその作業工程と対応する前記発話材料データとを関連付けて記憶した発話材料データベースから読み出し、読み出した前記発話材料データと前記進捗具合とに基づいてロボット発話データを生成し、生成した前記ロボット発話データを前記言語動作部で出力することを特徴としている。
【００１１】
上記構成のロボットシステムでは、作業ロボットがヒトに依頼された作業を行っている最中に、対話ロボットが現在進行中の作業工程と対応する発話内容でヒトや作業ロボットに向けて言語動作を行う。つまり、作業ロボットが作業をしている間にも、対話ロボットの発話（言語動作）が途切れず、また、その発話が作業ロボットの作業の内容や状況と対応している。これにより、作業ロボットの作業中に、ヒトは対話ロボット及び作業ロボットとの対話に参加している感覚が生じ、その感覚を維持することができる。
【発明の効果】
【００１２】
本発明によれば、作業ロボットがヒトに依頼された作業を行っている最中にも、ヒトに対話ロボット及び作業ロボットとの対話に参加している感覚を生じさせ、それを維持させることができるロボットシステムを実現することができる。
【図面の簡単な説明】
【００１３】
【図１】図１は、本発明の一実施形態に係るロボットシステムの概略図である。
【図２】図２は、対話ロボットの制御系統の構成を示すブロック図である。
【図３】図３は、作業ロボットの制御系統の構成を示すブロック図である。
【図４】図４は、ロボットシステムが構築されたブースの平面図である。
【図５】図５は、ロボットシステムの動作の流れを示すタイミングチャートである。
【図６】図６は、フィルム貼り処理の流れを示す図である。
【発明を実施するための形態】
【００１４】
次に、図面を参照して本発明の実施の形態を説明する。図１は、本発明の一実施形態に係るロボットシステム１の概略図である。図１に示すロボットシステム１は、ヒト１０と対話する対話ロボット２と、所定の作業を行う作業ロボット４とを備えている。対話ロボット２と作業ロボット４は、互いに情報の送受信を行うことができるように、有線又は無線の通信手段５によって接続されている。
【００１５】
〔対話ロボット２〕
本実施形態に係る対話ロボット２は、ヒト１０と対話するためのヒト型ロボットである。但し、対話ロボット２はヒト型ロボットに限定されず、擬人化された動物型ロボットなどであってもよく、その外観は問わない。
【００１６】
対話ロボット２は、胴部２１と、胴部２１の上部に設けられた頭部２２と、胴部２１の側部に設けられた左右の腕部２３Ｌ，２３Ｒと、胴部２１の下部に設けられた走行装置２４とを備えている。対話ロボット２の頭部２２、腕部２３Ｌ，２３Ｒ、及び走行装置２４は、対話ロボット２の「非言語動作部」として機能する。なお、対話ロボット２の非言語動作部は上記に限定されず、例えば、目、鼻、瞼などによって表情を形成できる対話ロボットにおいては、それらの表情形成要素も非言語動作部に該当する。
【００１７】
頭部２２は、胴部２１に対し首関節を介して回転及び曲げが可能に接続されている。腕部２３Ｌ，２３Ｒは、胴部２１に対し肩関節を介して回転可能に接続されている。各腕部２３Ｌ，２３Ｒは上腕、下腕及び手を有し、上腕と下腕は肘貫設を介して接続され、下腕と手は手首関節を介して接続されている。対話ロボット２は、頭部２２を動作させるための頭駆動部３２、腕部２３Ｌ，２３Ｒを動作させるための腕駆動部３３、走行装置２４を動作させるための走行駆動部３４を備えている（図２、参照）。各駆動部３２，３３，３４は、例えば電動モータなどの少なくとも１つのアクチュエータを備えている。各駆動部３２，３３，３４は、コントローラ２５の制御を受けて動作する。
【００１８】
対話ロボット２は、頭部２２に内蔵されたカメラ６８、マイク６７、及びスピーカ６６と、胴部２１に取り付けられたディスプレイ６９とを備えている。スピーカ６６及びディスプレイ６９は、対話ロボット２の「言語動作部」として機能する。
【００１９】
対話ロボット２の胴部２１には、対話ロボット２の言語動作及び非言語動作を司るコントローラ２５が収容されている。なお、対話ロボット２の「言語動作」とは、対話ロボット２の言語動作部の動作（即ち、スピーカ６６から発される音やディスプレイ６９に表示される文字）による、コミュニケーション発信動作を意味する。また、対話ロボット２の「非言語動作」とは、対話ロボット２の非言語動作部の動作（即ち、頭部２２、腕部２３Ｌ，２３Ｒ、及び走行装置２４の動作による対話ロボット２の外観の変化）による、コミュニケーションの発信動作を意味する。
【００２０】
図２は、対話ロボット２の制御系統の構成を示すブロック図である。図２に示すように、対話ロボット２のコントローラ２５は、いわゆるコンピュータであって、ＣＰＵ等の演算処理装置（プロセッサ）６１、ＲＯＭ、ＲＡＭ等の記憶装置６２、通信装置６３、出入力装置６４、外部記憶装置６５、駆動制御装置７０などを有している。記憶装置６２には、演算処理装置６１が実行するプログラム、各種固定データ等が記憶されている。演算処理装置６１は、通信装置６３を介して無線又は有線で作業ロボット４のコントローラ４５とデータ送受信を行う。また、演算処理装置６１は、出入力装置６４を介して各種センサからの検出信号の入力や各種制御信号の出力を行う。出入力装置６４は、スピーカ６６、マイク６７、カメラ６８、ディスプレイ６９などと接続されている。駆動制御装置７０は、駆動部３２，３３，３４を動作させる。演算処理装置６１は、外部記憶装置６５に対しデータの格納や読み出しを行う。外部記憶装置６５には、後述する各種データベースが構築されていてよい。
【００２１】
コントローラ２５は、画像認識部２５０、音声認識部２５１、言語動作制御部２５２、非言語動作制御部２５３、作業ロボット管理部２５４として機能する。これらの機能は、演算処理装置６１が、記憶装置６２に記憶されたプログラム等のソフトウェアを読み出して実行することにより実現される。なお、コントローラ２５は単一のコンピュータによる集中制御により各処理を実行してもよいし、複数のコンピュータの協働による分散制御により各処理を実行してもよい。また、コントローラ２５は、マイクロコントローラ、プログラマブルロジックコントローラ（ＰＬＣ）等から構成されていてもよい。
【００２２】
画像認識部２５０は、カメラ６８で撮像した画像（又は、映像）を取得し、それを画像処理することにより、ヒト１０の有無を検出する。また、画像認識部２５０は、カメラ６８で撮像した画像（映像）を取得し、ヒト１０の移動、ヒト１０の仕草・表情などを分析し、ヒト動作データを生成する。
【００２３】
音声認識部２５１は、ヒト１０が発話した音声をマイク６７で拾い、その音声データの内容を認識してヒト発話データを生成する。
【００２４】
言語動作制御部２５２は、予め記憶されたスクリプトデータ（台本データ）や、ヒト動作データ、ヒト発話データなどに基づいてヒト１０の状況を解析し、解析した状況に基づいてロボット発話データを生成する。言語動作制御部２５２は、生成したロボット発話データを対話ロボット２の言語動作部（スピーカ６６、又は、スピーカ６６及びディスプレイ６９）へ出力する。これにより、対話ロボット２が言語動作を行う。
【００２５】
上記において言語動作制御部２５２がヒト１０の状況を解析するに際し、ヒト動作データやヒト発話データとヒトの状況とを関連付けて予めヒト状況データベース６５１に記憶しておき、ヒト状況データベース６５１に蓄積された情報を用いてヒト１０の状況を解析してよい。また、上記において言語動作制御部２５２がロボット発話データを生成するに際し、スクリプトデータとヒトの状況とロボット発話データとを関連付けて予めロボット発話データベース６５２に記憶しておき、ロボット発話データベース６５２に蓄積された情報を用いてロボット発話データを生成してよい。
【００２６】
また、言語動作制御部２５２は、後述する進捗状況情報を作業ロボット４から受け取って、ロボット発話データを生成し、そのロボット発話データを対話ロボット２の言語動作部（スピーカ６６、又は、スピーカ６６及びディスプレイ６９）へ出力する。これにより、対話ロボット２が言語動作を行う。
【００２７】
上記において、進捗状況情報には、作業ロボット４が現在進行中の作業工程を識別する作業工程識別情報と、その作業工程の進捗具合とが含まれている。言語動作制御部２５２は、ロボット発話データを生成するに際し、作業工程識別情報とその作業工程と対応する発話材料データとを関連付けて予め発話材料データベース６５３に記憶しておき、発話材料データベース６５３から受け取った進捗状況情報と対応する発話材料データを読み出す。そして、言語動作制御部２５２は、読み出した発話材料データと受け取った進捗具合とに基づいて、ロボット発話データを生成する。
【００２８】
非言語動作制御部２５３は、対話ロボット２が言語動作を行う際に、その言語動作と対応した非言語動作を行うようにロボット動作データを生成する。非言語動作制御部２５３は、生成したロボット動作データを駆動制御装置７０へ出力し、これにより対話ロボット２はロボット動作データに基づいて非言語動作を行う。
【００２９】
言語動作に対応した非言語動作とは、対話ロボット２の言語動作の内容と対応した対話ロボット２の振る舞いのことである。例えば、対話ロボット２が目標物の名称を発音する際に、腕部２３Ｌ，２３Ｒでその目標物を指し示したり、頭部２２を目標物へ向けたりすることが非言語動作に該当する。また、例えば、対話ロボット２がお礼を発音する際に、両手を合わせたり、頭部２２を垂れたりすることが非言語動作に該当する。
【００３０】
上記において非言語動作制御部２５３がロボット動作データを生成するに際し、ロボット発話データと、当該ロボット発話データがもたらす言語動作に対応する非言語動作を対話ロボット２に実行させるロボット動作データとを関連付けてロボット動作データベース６５４に予め記憶しておき、ロボット動作データベース６５４に蓄積された情報からロボット発話データに対応するロボット動作データを読み出し、ロボット発話データを生成してよい。
【００３１】
作業ロボット管理部２５４は、予め記憶されたスクリプトデータに従って、作業ロボット４に対し処理開始信号を送信する。また、作業ロボット管理部２５４は、作業ロボット４に対し処理開始信号を送信してから、作業ロボット４から処理終了信号を受け取るまでの間、任意のタイミングで後述する進捗確認信号を作業ロボット４へ送信する。
【００３２】
〔作業ロボット４〕
作業ロボット４は、少なくとも１本の多関節型ロボットアーム４１と、ロボットアーム４１の手先部に装着されて作業を行うエンドエフェクタ４２と、ロボットアーム４１及びエンドエフェクタ４２の動作を司るコントローラ４５とを備えている。本実施形態に係る作業ロボット４は、協動して作業を行う２本のロボットアーム４１を備えた双腕ロボットである。但し、作業ロボット４は本実施形態に限定されず、１本のロボットアーム４１を備えた単腕ロボットであってもよいし、３以上の複数のロボットアーム４１を備えた多腕ロボットであってもよい。
【００３３】
ロボットアーム４１は、水平多関節型ロボットアームであって、関節を介して直列的に連結された複数のリンクを有する。但し、ロボットアーム４１は本実施形態に限定されず、垂直多関節型であってもよい。
【００３４】
ロボットアーム４１は、ロボットアーム４１を動作させるためのアーム駆動部４４を有する（図３、参照）。アーム駆動部４４は、例えば、各関節に対して設けられた、駆動源としての電動モータと、電動モータの回転出力をリンクへ伝達するギア機構とを含んでいる。アーム駆動部は、コントローラ４５の制御を受けて動作する。
【００３５】
ロボットアーム４１の手先部に装着されるエンドエフェクタ４２は、作業ロボット４が行う作業の内容に応じたものが選択されてよい。また、作業ロボット４は、作業の工程ごとに、エンドエフェクタ４２を付け替えてもよい。
【００３６】
図３は、作業ロボット４の制御系統の構成を示すブロック図である。図３に示すように、作業ロボット４のコントローラ４５は、いわゆるコンピュータであって、ＣＰＵ等の演算処理装置（プロセッサ）８１、ＲＯＭ、ＲＡＭ等の記憶装置８２、通信装置８３、出入力装置８４などを有している。記憶装置８２には、演算処理装置８１が実行するプログラム、各種固定データ等が記憶されている。演算処理装置８１は、通信装置８３を介して無線又は有線で対話ロボット２のコントローラ２５とデータ送受信を行う。また、演算処理装置８１は、出入力装置８４を介してカメラ８８やアーム駆動部４４に設けられた各種センサからの検出信号の入力や各種制御信号の出力を行う。また、演算処理装置８１は、アーム駆動部４４に含まれるアクチュエータを動作させるドライバ９０と接続されている。
【００３７】
コントローラ４５は、アーム制御部４５１、エンドエフェクタ制御部４５２、及び進捗状況報告部４５３などとして機能する。これらの機能は、演算処理装置８１が、予め記憶されたスクリプトデータに従って、記憶装置８２に記憶されたプログラム等のソフトウェアを読み出して実行することにより実現される。なお、コントローラ４５は単一のコンピュータによる集中制御により各処理を実行してもよいし、複数のコンピュータの協働による分散制御により各処理を実行してもよい。また、コントローラ４５は、マイクロコントローラ、プログラマブルロジックコントローラ（ＰＬＣ）等から構成されていてもよい。
【００３８】
アーム制御部４５１は、予め記憶された教示データに基づき、ロボットアーム４１を動作させる。具体的には、アーム制御部４５１は、教示データ及びアーム駆動部４４に設けられた各種センサからの検出情報に基づいて位置指令を生成し、ドライバ９０へ出力する。ドライバ９０は位置指令に従ってアーム駆動部４４に含まれる各アクチュエータを動作させる。
【００３９】
エンドエフェクタ制御部４５２は、予め記憶された動作データに基づき、エンドエフェクタ４２を動作させる。エンドエフェクタ４２は、例えば、電動モータ、エアシリンダ、電磁弁などのうち少なくとも１つのアクチュエータを含んで構成されており、エンドエフェクタ制御部４５２はこれらのアクチュエータをロボットアーム４１の動作に合わせて動作させる。
【００４０】
進捗状況報告部４５３は、作業ロボット４の作業中に、進捗状況情報を生成して対話ロボット２へ送信する。進捗状況情報には、現在進行中の作業工程を識別する作業工程識別情報と、処理の正常・異常や進行などのその作業工程の進捗具合とが少なくとも含まれている。なお、進捗状況情報の生成及び送信は、対話ロボット２から後述する進捗確認信号を取得したタイミング、処理に含まれる各作業工程の開始及び／又は終了のタイミングなど、所定のタイミングで行われてよい。
【００４１】
〔ロボットシステム１の動作の流れ〕
ここで、上記構成のロボットシステム１の動作の一例を説明する。この例では、作業ロボット４が、スマートフォン（タブレット型通信端末）の液晶ディスプレイに保護フィルムを貼る作業を行う。但し、作業ロボット４が行う作業の内容、及び、対話ロボット２の言語動作・非言語動作の内容は、この例に限定されない。
【００４２】
図４は、ロボットシステム１が構築されたブース９２の平面図である。図４に示すように、対話ロボット２及び作業ロボット４は、一つのブース９２内に配置されている。入口９３からブース９２に入ったヒト１０から見て、対話ロボット２は１２時の位置に配置され、作業ロボット４は３時の位置に配置されている。作業ロボット４の前には作業台９４が設けられ、ヒト１０と作業ロボット４との間が作業台９４で仕切られている。作業台９４を挟んで作業ロボット４の正面には、椅子９５が置かれている。
【００４３】
図５は、ロボットシステム１の動作の流れを示すタイミングチャートである。図５に示すように、待機状態の作業ロボット４は、対話ロボット２からの処理開始信号を待っている。一方、待機状態の対話ロボット２は、ブース９２へ来訪するヒト１０を待っている。対話ロボット２は、カメラ６８の撮像画像を監視し、撮像画像からブース９２へ来訪したヒト１０を検出する（ステップＳ１１）。
【００４４】
対話ロボット２は、ヒト１０がブース９２に来訪すると、「いらっしゃいませ、椅子にお座りください」とヒト１０に向けて言語動作（発話）と非言語動作（身振り）とを行い、ヒト１０に着席を促す（ステップＳ１２）。
【００４５】
対話ロボット２は、撮像画像からヒト１０が着席したことを検出すると（ステップＳ１３）、「当ブースでは、あなたのスマートフォンに保護シールを貼るサービスを提供しています」とヒト１０に向けた言語動作及び非言語動作を行い、ヒト１０に作業ロボット４が行う作業の内容を説明する（ステップＳ１４）。
【００４６】
対話ロボット２は、ヒト１０の音声や撮像画像を解析し、ヒト１０の作業の依頼の意志を検出すると（ステップＳ１５）、「それでは、あなたのスマートフォンを作業台の上において下さい」とヒト１０に向けた言語動作及び非言語動作を行い、ヒト１０に作業台９４にスマートフォンを置くように促す（ステップＳ１６）。
【００４７】
更に、対話ロボット２は、作業ロボット４に向けて、処理開始信号を送信する（ステップＳ１７）。対話ロボット２は処理開始信号を送信するにあたり、「ロボット君、準備を始めてください」と作業ロボット４に向けて言語動作を行うとともに、作業ロボット４に顔を向けたり処理の開始を促すように手を振ったりなどの非言語動作を行う（ステップＳ１８）。
【００４８】
処理開始信号を取得した作業ロボット４は（ステップＳ４１）、フィルム貼り処理を開始する（ステップＳ４２）。図６は、フィルム貼り処理の流れを示す図である。図６に示すように、フィルム貼り処理では、作業ロボット４は、作業台９４の所定位置にスマートフォンが置かれたことを検出し（ステップＳ２１）、スマートフォンの種類を認識し（ステップＳ２２）、フィルムホルダにあるフィルムの中からスマートフォンの種類に適切な保護フィルムを選択する（ステップＳ２３）。
【００４９】
作業ロボット４は、作業台９４上のスマートフォンを位置決めし（ステップＳ２４）、スマートフォンのディスプレイを拭き（ステップＳ２５）、フィルムホルダから保護フィルムを取り出し（ステップＳ２６）、保護フィルムから台紙を剥離し（ステップＳ２７）、保護フィルムをスマートフォンのディスプレイに位置決めし（ステップＳ２８）、保護フィルムをスマートフォンのディスプレイに置き（ステップＳ２９）、保護フィルムを拭く（ステップＳ３０）。
【００５０】
作業ロボット４は、フィルム貼り処理で、上記ステップＳ２１〜Ｓ３０の一連の工程を行う。作業ロボット４は、フィルム貼り処理が終了すると、処理終了信号を対話ロボット２へ送信する（ステップＳ４３）。
【００５１】
対話ロボット２は、作業ロボット４がフィルム貼り処理を行っている間、任意のタイミングで進捗確認信号を作業ロボット４へ送信する。例えば、対話ロボット２は、３０秒ごとなどの所定時間間隔で、進捗確認信号を作業ロボット４へ送信してよい。作業ロボット４は、進捗確認信号を取得したことをトリガとして、進捗状況情報を対話ロボット２へ送信する。なお、作業ロボット４は、対話ロボット２からの進捗確認信号の有無にかかわらず、作業工程の開始及び／又は終了のタイミングで進捗状況情報を対話ロボット２へ送るようにしてもよい。
【００５２】
対話ロボット２は、作業ロボット４から進捗状況情報を受け取ると、作業ロボット４が現在進行中の作業工程と対応した言語動作及び非言語動作を行う。但し、対話ロボット２は、進捗状況情報の内容や、前回の言語動作及び非言語動作のタイミングと間隔、ヒト１０の状況などに基づいて、言語動作及び非言語動作を行わないと判断してもよい。
【００５３】
例えば、作業ロボット４が保護フィルムの選択工程（ステップＳ２３）を終えたタイミングで、対話ロボット２が「それではロボット君、よろしくお願いします」と、作業ロボット４に向けた言語動作及び非言語動作を行う。
【００５４】
また、例えば、作業ロボット４がスマートフォンの位置決め工程（ステップＳ２４）から台紙を剥離する工程（ステップＳ２７）を行っている任意のタイミングで、対話ロボット２が「うまく貼れるか、楽しみですね」と、ヒト１０に向けた言語動作及び非言語動作を行う。更に、この対話ロボット２からヒト１０への問いかけに対しヒト１０が発話した場合には、対話ロボット２がヒト１０の発話に対し回答してもよい。
【００５５】
また、例えば、作業ロボット４が保護フィルムの拭き工程（ステップＳ３０）を行って入るタイミングで、対話ロボット２が「もうすぐ終わりですね」と、作業ロボット４及び／又はヒト１０に向けた言語動作及び非言語動作を行う。
【００５６】
上記のように、作業ロボット４が黙々と作業をしている間に、対話ロボット２は作業ロボット４に向けて発話したり、ヒト１０と対話したりする。これにより、作業ロボット４の作業中にも、ヒト１０を飽きさせない。また、対話ロボット２が作業中の作業ロボット４に向けて発話及び身振りを行うことで、ヒト１０の来訪時には対話ロボット２とヒト１０だけであった対話メンバーに作業ロボット４が加わることになる。
【００５７】
以上に説明したように、本実施形態のロボットシステム１は、ロボットアーム４１と当該ロボットアーム４１の手先部に装着されたエンドエフェクタ４２とを有し、エンドエフェクタ４２を用いてヒト１０の依頼に基づく作業を行う作業ロボット４と、言語動作部と非言語動作部とを有し、作業ロボット４及びヒト１０に向けて言語動作及び非言語動作を行う対話ロボット２と、対話ロボット２と作業ロボット４との間で情報の送受信を行う通信手段５とを備えている。そして、作業ロボット４は、作業中に、現在進行中の作業工程を識別する作業工程識別情報と、作業工程の進捗具合とを含む進捗状況情報を対話ロボット２へ送信する進捗状況報告部４５３を有している。また、対話ロボット２は、作業工程識別情報とその作業工程と対応する発話材料データとを関連付けて記憶した発話材料データベース６５３と、受け取った進捗状況情報と対応する発話材料データを発話材料データベース６５３から読み出し、読み出した発話材料データと進捗具合とに基づいてロボット発話データを生成し、生成したロボット発話データを言語動作部へ出力する言語動作制御部２５２とを有している。
【００５８】
また、本実施形態のロボット対話方法は、ロボットアーム４１と当該ロボットアーム４１の手先部に装着されたエンドエフェクタ４２とを有し、エンドエフェクタ４２を用いてヒト１０の依頼に基づく作業を行う作業ロボット４と、言語動作部と非言語動作部とを有し、作業ロボット４及びヒト１０に向けて言語動作及び非言語動作を行う対話ロボット２とで行われるロボット対話方法である。そして、このロボット対話方法は、作業ロボット４が、作業中に、現在進行中の作業工程を識別する作業工程識別情報と、作業工程の進捗具合とを含む進捗状況情報を対話ロボット２へ送信し、対話ロボット２が、受け取った進捗状況情報と対応する発話材料データを作業工程識別情報とその作業工程と対応する発話材料データとを関連付けて記憶した発話材料データベース６５３から読み出し、読み出した発話材料データと進捗具合とに基づいてロボット発話データを生成し、生成したロボット発話データを言語動作部で出力する。
【００５９】
上記において、対話ロボット２は、作業ロボット４の作業中に、作業ロボット４に対し進捗確認信号を送信する作業ロボット管理部２５４を備え、作業ロボット４は、進捗確認信号を受け取ったことをトリガとして、進捗状況情報を対話ロボット２へ送信してよい。
【００６０】
或いは、上記において、作業ロボット４は、作業工程の開始及び／又は終了のタイミングで、進捗状況情報を対話ロボット２へ送信してよい。
【００６１】
上記のロボットシステム１及びロボット対話方法によれば、作業ロボット４がヒト１０に依頼された作業を行っている最中に、対話ロボット２が現在進行中の作業工程と対応する発話内容でヒトや作業ロボットに向けて言語動作を行う。つまり、作業ロボット４が作業をしている間にも、対話ロボット２の発話（言語動作）が途切れず、また、その発話が作業ロボット４の作業の内容や状況と対応している。これにより、作業ロボット４の作業中に、ヒト１０は対話ロボット２及び作業ロボット４との対話に参加している感覚（対話感）が生じ、その感覚を維持することができる。
【００６２】
また、本実施形態に係るロボットシステム１では、上記の対話ロボット２が、ロボット発話データと、当該ロボット発話データがもたらす言語動作に対応する非言語動作を対話ロボットに実行させるロボット動作データとを関連付けて記憶したロボット動作データベース６５４と、生成したロボット発話データに対応するロボット動作データをロボット動作データベース６５４から読み出し、読み出したロボット動作データを非言語動作部へ出力する非言語動作制御部２５３とを、更に有している。
【００６３】
同様に、本本実施形態に係るロボット対話方法では、対話ロボット２が、生成したロボット発話データがもたらす言語動作に対応する非言語動作を対話ロボット２に実行させるロボット動作データを、非言語動作部で出力する。
【００６４】
これにより、対話ロボット２は、言語動作に伴って、言語動作と対応する非言語動作（即ち、振る舞い）を行う。この対話ロボット２の非言語動作を見たヒト１０は、対話ロボット２が言語動作のみを行う場合と比較して、より深くロボット２，４との対話感を感じることができる。
【００６５】
また、本実施形態に係るロボットシステム１及びロボット対話方法では、対話ロボット２が、所定のスクリプトデータに従って、ヒト１０に向けて言語動作及び非言語動作を行うことによりヒト１０と対話し、対話の内容を解析してヒト１０から依頼を取得し、依頼に基づいて作業ロボット４に対し作業の処理開始信号を送信するとともに作業ロボット４に向けて言語動作及び非言語動作を行う。
【００６６】
これにより、作業ロボット４が行う作業の受付を対話ロボット２が行うことにより、作業ロボット４が行う前の段階から、ヒト１０に対話ロボット２との対話に参加している感覚を生じさせることができる。そして、対話ロボット２が作業ロボット４に処理開始信号を送信する際に、対話ロボット２が作業ロボット４に対して言語動作及び非言語動作を行うことで、これを見ているヒト１０に、それまでの対話ロボット２との対話に作業ロボット４が加わったことを感じさせることができる。
【００６７】
以上に本発明の好適な実施の形態を説明したが、本発明の精神を逸脱しない範囲で、上記実施形態の具体的な構造及び／又は機能の詳細を変更したものも本発明に含まれ得る。
【符号の説明】
【００６８】
１      ：ロボットシステム
２      ：対話ロボット
４      ：作業ロボット
５      ：通信手段
１０    ：ヒト
２１    ：胴部
２２    ：頭部
２３Ｌ，２３Ｒ  ：腕部
２４    ：走行装置
２５    ：コントローラ
２５０  ：画像認識部
２５１  ：音声認識部
２５２  ：言語動作制御部
２５３  ：非言語動作制御部
２５４  ：作業ロボット管理部
３２    ：頭駆動部
３３    ：腕駆動部
３４    ：走行駆動部
４１    ：ロボットアーム
４２    ：エンドエフェクタ
４４    ：アーム駆動部
４５    ：コントローラ
４５１  ：アーム制御部
４５２  ：エンドエフェクタ制御部
４５３  ：進捗状況報告部
６１    ：演算処理装置
６２    ：記憶装置
６３    ：通信装置
６４    ：出入力装置
６５    ：外部記憶装置
６５１  ：ヒト状況データベース
６５２  ：ロボット発話データベース
６５３  ：発話材料データベース
６５４  ：ロボット動作データベース
６６    ：スピーカ
６７    ：マイク
６８    ：カメラ
６９    ：ディスプレイ
７０    ：駆動制御装置
８１    ：演算処理装置
８２    ：記憶装置
８３    ：通信装置
８４    ：出入力装置
８８    ：カメラ
９０    ：ドライバ
９２    ：ブース
９３    ：入口
９４    ：作業台
９５    ：椅子
【図１】
2018126810.tif 000003
【図２】
2018126810.tif 000004
【図３】
2018126810.tif 000005
【図４】
2018126810.tif 000006
【図５】
2018126810.tif 000007
【図６】
2018126810.tif 000008