(57)【要約】【課題】音声案内システムで、複数の話者が存在する場合の応答を適切に行うことができるようにする。【解決手段】マイクに入力した質問などの音声に基づいた回答などの音声をスピーカが出力する。ここで、マイクに入力した音声による質問を受け付け、その受け付けた質問に対応するユーザの音声の特徴と、カメラが撮影した画像の特徴に基づいて、質問者や回答者などのユーザを認識する。そして、選択したユーザに対する案内用の音声をスピーカから出力させる。【選択図】図１
2020149264.tif 000002
【特許請求の範囲】
【請求項１】
カメラと、マイクと、スピーカとを備えて、前記マイクに入力した音声に基づいた案内用の音声を前記スピーカから出力する音声案内システムであって、
前記マイクに入力した音声による質問を受け付ける質問受付部と、
前記質問受付部が受け付けた質問に対応するユーザの音声の特徴を記憶し、記憶した音声の特徴に基づいて前記ユーザを認識する音声認識部と、
前記質問受付部が音声を検知した際に、前記カメラで撮影したユーザの画像又は画像の特徴を記憶し、記憶した画像又は画像の特徴に基づいて前記ユーザを認識する画像認識部と、
前記音声認識部が記憶したユーザの音声の特徴と、前記画像認識部が記憶したユーザの画像又は画像の特徴とを用いて案内を行うユーザを選択し、選択したユーザに対する案内用の音声を前記スピーカから出力させる案内部と、を備える
音声案内システム。
【請求項２】
前記案内部は、前記音声認識部が認識したユーザと、前記画像認識部が認識したユーザとが一致したユーザを選択し、選択したユーザと前記マイク及び前記スピーカを使って会話を実行する
請求項１に記載の音声案内システム。
【請求項３】
前記マイクは、複数個設置され、
前記質問受付部は、複数個の前記マイクからの音声入力を受付け、受け付けた音声入力の内で、前記音声認識部が記憶している特徴を持つユーザの音声が最も大きいマイクの音声入力による質問を受け付ける
請求項２に記載の音声案内システム。
【請求項４】
前記案内部は、出力音声を所定の言語に翻訳した音声とする翻訳部を備え、
前記質問受付部での前記マイクに入力した音声の受け付け状況に基づいて、前記案内部は、案内用の音声を出力させる代わりに、前記質問受付部が受け付けた音声を前記翻訳部が所定の言語に翻訳した音声を前記スピーカから出力させる
請求項１に記載の音声案内システム。
【請求項５】
前記質問受付部は、事前に登録されている音声の特徴又は画像の特徴を検出したユーザを非案内対象者とし、事前に登録されていない音声の特徴又は画像の特徴を検出したユーザを案内対象者とし、
前記案内部は、案内対象者の質問にのみ回答を行う
請求項１に記載の音声案内システム。
【請求項６】
前記画像認識部は、前記カメラが撮影した案内対象者の反応を検出する処理を行い、
さらに、非案内対象者の発話回数と前記案内対象者の反応により、非案内対象者の発話が案内対象者の期待する発話でないことを検知する会話破綻判定部と、
前記質問受付部が受け付けた音声による質問の回答の可否を判定する回答可否判定部と、を備え、
前記会話破綻判定部が会話破綻判定し、かつ前記回答可否判定部が回答可能と判定したとき、前記案内は、案内対象者の質問への回答を出力する
請求項５に記載の音声案内システム。
【請求項７】
マイクに入力した音声に基づいた案内用の音声をスピーカが出力することで、音声による案内を行う音声案内方法であって、
質問受付部が、前記マイクに入力した音声による質問を受け付ける質問受付処理と、
音声認識部が、前記質問受付部での質問受付処理により受け付けた質問に対応するユーザの音声の特徴を記憶し、記憶した音声の特徴に基づいて前記ユーザを認識する音声認識処理と、
前記質問受付部での質問受付処理により音声を検知した際に、画像認識部が、カメラで撮影したユーザの画像又は画像の特徴を記憶すると共に、記憶した画像又は画像の特徴に基づいて前記ユーザを認識する画像認識処理と、
案内部が、前記画像認識部での音声認識処理により記憶したユーザの音声と、前記画像認識処理により記憶したユーザの画像又は画像の特徴を用いて案内を行うユーザを選択し、選択したユーザに対する案内用の音声を前記スピーカから出力させる案内処理と、を含む
音声案内方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声案内システム及び音声案内方法に関する。
【背景技術】
【０００２】
近年、音声案内システムとして、利用者の音声による入力に対して、音声認識技術や会話技術を適用して、音声で適切な回答を返すものが知られている。このような音声案内システムの一例として、会話ロボットがある。例えば特許文献１には、会話ロボットにおいて、複数の話者との会話を自然に行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−７６１６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来開発されている音声案内システムでは、同時に複数の案内対象者と会話することができないという問題があった。
例えば、一人の案内対象者Ａと会話中に、別の案内対象者Ｂに質問されると、会話ロボットは、案内対象者Ａとの会話状況を保持したまま案内対象者Ｂへ回答してしまうため、適切な回答をすることがでない。
【０００５】
また、案内対象者と非案内対象者（案内実行者）の会話の補助を行うような利用シーンにおいては、会話ロボットが案内対象者の発話（質問）に対して応答して良いが、案内実行者の発話（回答）に対して応答してしまうと、会話が成立しなくなってしまう。
さらに、非案内対象者が回答できない場合に、代わりに会話ロボットが回答してくれると便利だが、現状では、会話ロボット（音声案内システム）が回答すべきか否かを判断することは困難である。
なお、案内対象者と非案内対象者（案内実行者）の会話の補助を会話ロボットが行う状況としては、例えば案内対象者と非案内対象者との会話を、会話ロボットが翻訳するような場合があるが、このような翻訳時には、回答すべきか否かより複雑な判断が必要である。
【０００６】
本発明は、複数の話者が存在する場合の応答を適切に行うことができる音声案内システム及び音声案内方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。
本願は、上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、カメラと、マイクと、スピーカとを備えて、マイクに入力した音声に基づいた案内用の音声をスピーカが出力する音声案内システムである。
そして、マイクに入力した音声による質問を受け付ける質問受付部と、質問受付部が受け付けた質問に対応するユーザの音声の特徴を記憶し、記憶した音声の特徴に基づいて前記ユーザを認識する音声認識部と、質問受付部が音声を検知した際に、カメラで撮影したユーザの画像又は画像の特徴を記憶し、記憶した画像又は画像の特徴に基づいてユーザを認識する画像認識部と、音声認識部が記憶したユーザの音声の特徴と画像認識部が記憶したユーザの画像又は画像の特徴とを用いて案内を行うユーザを選択し、選択したユーザに対する案内用の音声をスピーカから出力させる案内部と、を備える。
【発明の効果】
【０００８】
本発明によれば、複数のユーザが近くにいるような状況であっても、各ユーザを個別に認識することができ、それぞれのユーザへ適切な回答ができるようになる。また、複数のユーザの間での会話をサポートするような案内も可能になる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施の形態例における音声案内システム全体の構成例を示すブロック図である。
【図２】本発明の第１の実施の形態例におけるロボットの構成例を示すブロック図である。
【図３】本発明の第１の実施の形態例におけるロボット制御装置の構成例を示すブロック図である。
【図４】本発明の第１の実施の形態例におけるロボット管理サーバの構成例を示すブロック図である。
【図５】本発明の第１の実施の形態例におけるロボットの外観例を示す図である。
【図６】本発明の第１の実施の形態例における利用例を示す図である。
【図７】本発明の第１の実施の形態例における使用言語の選択画面を示す図である。
【図８】本発明の第１の実施の形態例におけるサービス全体の流れを示すフローチャートである。
【図９】本発明の第１の実施の形態例における翻訳サービスの処理例を示すフローチャートである。
【図１０】本発明の第１の実施の形態例における会話破綻に基づくロボット回答処理のシーケンス図（前半）である。
【図１１】本発明の第１の実施の形態例における会話破綻に基づくロボット回答処理のシーケンス図（後半：図１０の続き）である。
【図１２】本発明の第１の実施の形態例における回答タイマ満了に基づくロボット回答時のシーケンス図である。
【図１３】本発明の第２の実施の形態例におけるサービス全体の流れを示すフローチャートである。
【図１４】本発明の第２の実施の形態例における会話補助サービスの処理例を示すフローチャートである。
【図１５】本発明の第３の実施の形態例における翻訳サービスの処理例を示すフローチャートである。
【図１６】本発明の第３の実施の形態例における会話破綻時のロボット回答時のシーケンス図（前半）である。
【図１７】本発明の第３の実施の形態例における会話破綻時のロボット回答時のシーケンス図（後半：図１６の続き）である。
【発明を実施するための形態】
【００１０】
＜１．第１の実施の形態例＞
以下、本発明の第１の実施の形態例について、図１〜図１２を参照して説明する。
本発明の第１の実施の形態例の音声案内システムは、案内対象者(施設利用顧客)と案内実行者(施設スタッフ)との間の会話を翻訳するものである。ここで、第１の実施の形態例の音声案内システムは、案内対象者の質問に対して案内実行者が回答できない場合に、代理で回答を行うことができる。
【００１１】
［システム構成］
図１は、本発明の第１の実施の形態例の音声案内システムの全体構成を示す。
音声案内システム１は、ロボット１００と、ロボット制御装置２００と、ロボット管理サーバ３００とで構成される。ロボット１００とロボット制御装置２００とは、ロボット１００を運用するサイト２に設置される。サイト２は、ショッピングセンタなどの施設である。
ロボット１００は、会話による案内を実行する。
ロボット制御装置２００は、ロボット１００を制御する。
ロボット管理サーバ３００は、ロボット１００の運用状況を監視するものであり、例えばシステムを提供する事業者が運用する。ロボット管理サーバ３００は、サイト２に設置されたロボット制御装置２００とネットワークを介して接続される。
【００１２】
音声案内システム１のロボット１００は、商業施設などのサイト２において、案内実行者と、案内実行者と別の言語を話す案内対象者との会話を、互いに翻訳することで案内の補助を行う。また、案内実行者が回答できない場合に、案内実行者に代わり、ロボット１００が案内対象者へ回答を行う。
【００１３】
図２はロボット１００の構成例を示す。
ロボット１００は、音声による案内の処理動作を制御するＣＰＵ（Central Processing Unit：中央処理ユニット）１１０と、各ソフトウェアやデータを格納する記憶装置１２０と、入出力装置１３０と、外部機器と通信を行う通信インターフェース１４０とで構成される。
【００１４】
記憶装置１２０は、入出力部１２１と、シナリオ実行部１２２と、画面処理部１２３とで構成される。
入出力部１２１は、ロボット制御装置２００から受けたデータや指示を保持し、各処理部へ送る。
シナリオ実行部１２２は、ロボット制御装置２００から受けたシナリオ指示に従って、音声の出力や画面の表示指示を行う。また、シナリオ実行部１２２は、入出力装置１３０からのデータ取得などを行う。
画面処理部１２３は、シナリオ実行部１２２から受けた画面の表示指示に従って、ロボット制御装置２００にアクセスして画面表示を行う。また、画面処理部１２３は、入出力装置１３０からのタッチ入力の受付を行う。
【００１５】
入出力装置１３０は、複数のマイクによって構成されるマイクアレイ１３１と、カメラ１３２と、スピーカ１３３と、タッチパネル１３４とで構成される。
マイクアレイ１３１は、複数のマイクで取得した音声データを多チャンネルデータとして取得する。マイクアレイ１３１が備える複数のマイクは、それぞれ異なる到来方向の音声を取得する。カメラ１３２は、映像や画像などの視覚データを取得する。スピーカ１３３は、音声を出力する。タッチパネル１３４は、画面の出力及びタッチ入力のデータを取得する。
【００１６】
ロボット１００は、マイクアレイ１３１及びカメラ１３２で取得したデータを、通信インターフェース１４０を通して、常に一定間隔でロボット制御装置２００へ送信し、通信インターフェース１４０を通して、ロボット制御装置２００からのシナリオ実行指示を受ける。
【００１７】
図３は、ロボット制御装置２００の構成例を示した図であり、ロボット制御装置２００は各部の処理を行うＣＰＵ２１０と、各ソフトウェアやデータが格納される記憶装置２２０と、外部機器との通信を行う通信インターフェース２３０とで構成される。
主記憶装置２２０は、入出力部２２１と、質問受付部２２２と、音声認識部２２３と、画像認識部２２４と、案内部２２５と、翻訳部２２６とで構成される。
入出力部２２１は、ロボット１００や、ロボット制御サーバ３００からの入力データ及び出力データを処理し、データを保持し、ロボット制御装置２００内の各部へ送る。
【００１８】
質問受付部２２２は、ロボット１００から受けた多チャンネルの音声データから、記憶しているユーザの音声が最も大きいマイク（チャンネル）の音声入力を受け付ける質問受付処理を行う。このとき、質問受付部２２２は、そのマイクの設置方向に基づいて音声データの到来方向を推定する。
【００１９】
音声認識部２２３は、音声認識処理を行う。音声認識部２２３での音声認識処理としては、質問受付部２２２が受けた音声の特徴量を計算し、音声に基づいてユーザを識別する。ここでの音声の特徴量の計算は、ロボット１００の周囲にいる複数人の音声を区別するために行う。
また、音声認識部２２３は、質問受付部２２２が受けた音声のテキスト化を行う。
画像認識部２２４は、ロボット１００から受けた画像データを画像処理し、ユーザの画像の特徴量を計算し、画像に基づいてユーザを識別する。画像に複数の人物が写っている場合、それぞれのユーザを個別に認識する。
【００２０】
なお、音声認識部２２３や画像認識部２２４がユーザを認識する場合、事前に登録されたユーザを、特定のユーザとして認識することができる。すなわち、事前に案内実行者４の音声の特徴と画像の特徴を、音声認識部２２３及び画像認識部２２４に登録しておく。このように登録することで、事前に登録されている音声の特徴及び／又は画像の特徴を検出したユーザを非案内対象者（案内実行者４）とし、事前に登録されていない音声の特徴又は画像の特徴を検出したユーザを案内対象者３とすることができる。
【００２１】
案内部２２５は、会話継続判定部２２５ａと、回答可否判定部２２５ｂと、会話破綻判定部２２５ｃと、回答出力部２２５ｄとで構成され、音声処理部２２３と画像認識部２２４でのユーザ識別結果に基づき、ユーザの選択を行い、選択したユーザとの会話を実行する。
会話継続判定部２２５ａは、案内対象者と案内実行者との会話が継続しているかを判定する。
回答可否判定部２２５ｂは、案内対象者の質問に対して、回答可能か否かを判定する。
会話破綻判定部２２５ｃは、案内対象者と案内実行者との会話が破綻しているか否かを判定する。
回答出力部２２５ｄは、案内対象者の質問に対する回答を検索し、出力する。
翻訳部２２６は、音声認識部２２３でテキスト化された発話に対して翻訳を行う。翻訳元言語と翻訳先言語はユーザの立ち位置やタッチパネル１３４の入力に基づき決定される。
【００２２】
図４は、ロボット管理サーバ３００の構成例を示す。
ロボット管理サーバ３００は、各部の処理を制御するＣＰＵ３１０と、各ソフトウェアやデータが記憶される記憶装置３２０と、外部機器との通信を行う通信インターフェース３３０とで構成される。
記憶装置３２０は、ロボット管理部３２１を持ち、ロボット管理部３２１は各ロボットの状態を管理して、保全の計画や修理の通知などを行う。
【００２３】
［ロボット形状と利用形態の例］
図５は、ロボット１００の外観の一例を示す。本実施の形態例のロボット１００はサイネージ型ロボットで、カメラ１３２とスピーカ１３３とタッチパネル１３４とを備えるタブレット１０１と、マイクアレイ１３１を備えるクレドール１０２とで構成される。クレームドール１０２は、タブレット１０１を保持し、保持したタブレット１０１と接続される。
【００２４】
アレイマイク１３１は水平方向に複数のマイクを配置してあり、それぞれのマイクが、音声を集音する方向を異なる方向（水平角度）に設定してある。なお、図５に示すロボット１００の外観は一例であり、その他の外観形状としてもよい。例えばカメラ１３２とスピーカ１３３は、クレドール１０２が備えてもよい。
カメラ１３２は、タブレット１０１の前面に配置され、タブレット１０１の前方にいるユーザを撮影する。スピーカ１３３についても、タブレット１０１の前面に配置される。
【００２５】
タッチパネル１３４は、テキスト表示部１３４ａとアバタ表示部１３４ｂとを備える。テキスト表示部１３４ａには、翻訳結果のテキストもしくは音声案内システムによる回答のテキストが表示される。アバタ表示部１３４ｂには、テキスト表示部１３４ａに表示したテキストに応じて動作するアバタのアニメーションや案内に用いる画像を表示する。図５では、アバタとしてロボットを表示した例を示し、テキスト表示部１３４ａに会話文（ここでは「こんにちは」）が表示され、ロボット（アバタ）が会話したように表示される。
【００２６】
図６は、音声案内システムによる翻訳の利用例を示す。案内対象者３と案内実行者４はロボット１００と向き合った状態で、ロボット１００の前に立ち、音声案内システム１が翻訳した音声やテキストを基に、ロボット１００が案内の補助や翻訳を行いながら、案内対象者３と案内実行者４との間で互いに会話を行う。ここでの案内対象者３は、サイト２の利用者であり、案内実行者４は、サイト２で案内を行うために待機している者（サイト２の従業員など）である。
【００２７】
図７は、案内対象者３と案内実行者４の使用言語を選択する画面を示す。
ボタン１３４ｃは、案内対象者３の言語選択ボタンを示す。ボタン１３４ｄは案内実行者４の言語選択ボタンを示す。ボタン１３４ｅは、案内対象者３と案内実行者４の立ち位置の入れ替えボタンを示す。
【００２８】
立ち位置入れ替えボタン１３４ｅにより、案内対象者３と案内実行者４の入れ替えを行うことで、タッチパネル１３４上の案内対象者言語選択ボタン１３４ｃと案内実行者言語選択ボタン１３４ｄの位置が入れ替わる。
案内対象者３と案内実行者４は、それぞれの言語選択バタン１３４ｃと１３４ｄを選択することによって、各自が音声認識や翻訳に用いる言語を決定する。
【００２９】
[案内サービスの実行例]
図８は、音声案内システム１による案内サービスの実行手順の例を示すフローチャートである。ここでは、図６に示すように、ロボット１００の前に近接して、案内対象者３と案内実行者４とがいる状況である。
【００３０】
まず、ロボット制御装置２００では、ユーザ判定（ステップＳ１００）が行われる。このユーザ判定では、画像と音声とタッチ入力に基づき、ロボット１００の前に立つ複数のユーザがそれぞれ案内対象者３か案内実行者４かの判定が行われる。
この案内対象者３か案内実行者４かの判定は、例えば以下の処理で行われる。
最初に、画像認識部２２４での画像認識処理によって、既登録の案内実行者の顔画像から、案内実行者が右に立っているか左に立っているかを識別する。
次に、音声認識部２２３での音声到来方向検知によって、発話者が左にいるか右にいるかを識別し、発話者が案内実行者か否(案内対象者)かを推定する。
【００３１】
図８のフローチャートの説明に戻ると、ロボット制御装置２００では、言語判定（ステップＳ２００）が行われる。ここでは、案内対象者３の発話言語（第１の言語）並びに案内実行者４の発話言語（第２の言語）が判定される。
この言語判定は、例えば音声認識部２２３が取得した音声に基づく言語識別によって、実行される。あるいは、図７に示すタッチ入力での設定で行われる。
【００３２】
続いて、ロボット制御装置２００では、翻訳サービス（ステップＳ３００）が行われる。ここでは、第１の言語から第２の言語への翻訳、及び第２の言語から第１の言語への翻訳が行われる。ここでは、第１の言語を英語、第２の言語を日本語とした例を説明する。
このように言語を設定することで、案内実行者４が適切な回答を行えない場合に、ロボット１００が第１の言語（英語）を用いて、案内実行者４の代理で回答を行う。
【００３３】
図９は、ステップＳ３００の翻訳サービスの流れを示すフローチャートである。
また、図１０及び図１１（両図は連続した図）は、図９のフローチャートを実行して、会話破綻に基づきロボットが回答する場合のシーケンス図である。図１２は、図９のフローチャートを実行して、回答タイマ満了に基づきロボットが回答する場合のシーケンス図である。これらのシーケンス図では、図９のフローチャートの各ステップに対応する箇所に、同じステップ番号を付与する。
【００３４】
以下に、図９に示す翻訳サービスＳ３００の詳細について説明する。
まず、ロボット制御装置２００の質問受付部２２２は、割り込み処理のチェックを行い（ステップＳ１）、割り込み処理の有無を判断する（ステップＳ２）。ここでの質問受付部２２２が判断する割り込み処理としては、音声の入力による割り込みと、回答タイマ満了による割り込みとがある。
ステップＳ２で割り込み処理がないとき（ステップＳ２の「割込無」）、質問受付部２２２はステップＳ１のチェックに戻る。
【００３５】
また、ステップＳ２で割り込み処理があると判断したとき（ステップＳ２の「割込有」）、質問受付部２２２は、割り込み内容が音声の入力による割り込みと、回答タイマ満了による割り込みの何れかを判断する（ステップＳ３）。
ステップＳ３で、音声の入力による割り込みと判断したとき（ステップＳ３の「音声」）、質問受付部２２２は、複数チャネルの音声データから音声の到来方向を検知し、その発話者が案内対象者３であるか、案内実行者４であるかを判定する（ステップＳ４）。
【００３６】
そして、ステップＳ４で音声方向より判定した発話者が案内対象者３であった場合（ステップＳ４の「顧客」）、音声認識部２２３において英語で音声認識した結果を、翻訳部２２６で日本語に翻訳し、ロボット１００のスピーカ１３３から音声で出力する（ステップＳ５）。このとき、音声の出力と同時、またはその代わりに、タッチパネル１３４での翻訳文を出力してもよい。
【００３７】
案内対象者３の発話の翻訳が終わると、顧客会話破綻検知部２２５ｃは質問回数をインクリメントし（ステップＳ６）、会話継続判定部２２５ａは回答タイマをスタートさせる（ステップＳ７）。
【００３８】
また、ステップＳ４で音声方向より判定した発話者が案内実行者４であった場合（ステップＳ４の「サイト管理者」）、音声認識部２２３において日本語で音声認識した結果を翻訳部２２６で英語に翻訳する。そして、ロボット１００のスピーカ１３３やタッチパネル１３４が、翻訳した音声又は文章を出力する（ステップＳ９）。
【００３９】
ステップＳ９での案内実行者４の発話の翻訳処理が終わると、会話破綻検知部２２５ｃは、ロボット１００から画像を取得し、画像認識部２２４で顔認識して感情の判定を行い、ユーザの反応がポジティブであるかネガティブであるかを判定する（ステップＳ１０）。
ここで、ユーザの反応がポジティブである場合（ステップＳ１０の「ポジティブ」）、会話破綻検知部２２５ｃは顧客質問回数をクリアし（ステップＳ１１）、会話継続判定部２２５ａは回答タイマをクリアする（ステップＳ１２）。
【００４０】
また、ステップＳ１０の判定で、ユーザの反応がネガティブである場合（ステップＳ１０の「ネガティブ」）、会話破綻検知部２２５ｃは、顧客質問回数が閾値以上か否かを判断する（ステップＳ１３）。ここで、閾値以下であれば（ステップＳ１３の「閾値以下」）、ステップＳ１２に移行して、会話判定部２２５ａは回答タイマをクリアする。
【００４１】
また、ステップＳ１３で顧客質問回数が閾値以上であれば（ステップＳ１３の「閾値以上」）、会話破綻検知部２２５ｃは会話が破綻したとみなし、回答可否判定部２２５ｂが回答可能か否かを判定する（ステップＳ１４）。
【００４２】
ステップＳ１４の判定で回答不可の場合（ステップＳ１４の「否」）、会話破綻検知部２２５ｃは顧客質問回数をクリアし（ステップＳ１１）、会話継続判定部２２５ａは回答タイマをクリアする（ステップＳ１２）。
また、ステップＳ１４の判定で回答可能の場合（ステップＳ１４の「可」）、回答出力部２２５ｄは回答の検索を行い（ステップＳ１５）、検索結果をロボット１００のスピーカ１３３及び／又はタッチパネル１３４で出力する（ステップＳ１６）。
【００４３】
ロボット回答後、会話破綻検知部２２５ｃは顧客質問回数をクリアし（ステップＳ１１）、会話継続判定部２２５ａは回答タイマをクリアする（ステップＳ１２）。
【００４４】
また、割り込みチェック（ステップＳ１、Ｓ２）中に、回答タイマが満了した場合、会話継続判定部２２５ａはタイマ満了の割り込みを行い、質問受付部２２２は、タイマ満了割り込みを検知する（ステップＳ３の「回答タイマ満了」）。この場合、回答可否判定部２２５ｂは、直前の案内対象者の質問に対して回答可能か否かを判定する（ステップＳ１４）。
ここで、回答可能の場合（ステップＳ１４の「可」）、回答出力部２２５ｄは回答の検索を行い（ステップＳ１５）、検索結果をロボット１００のスピーカ１３３やタッチパネル１３４で出力する（ステップＳ１６）。
【００４５】
そして、回答タイマスタート（ステップＳ７）の後、並びに回答タイマクリア（ステップＳ１２）後、会話継続判定部２２５ａは、画像認識部２２４の顔認識に基づいて、ユーザがロボット１００の前にいるか否かを判定する使用状態確認を行う（ステップＳ８）。
ここで、会話継続判定部２２５ａは、ユーザがいる場合と判定したとき（ステップＳ８の「使用中」）、再度ステップＳ１の割り込みチェックに戻る。また、ユーザがいない場合と判定したとき（ステップＳ８の「使用終了」）、翻訳サービスを終了する。
【００４６】
図１０と図１１（両図は連続したシーケンス図）は、会話破綻に基づきロボットが回答する場合のシーケンス図である。
この例では、最初に案内対象者３が英語で発話し、ロボット１００はマイクアレイ１３１に入力した音声を、ロボット制御装置２００の質問受付部２２２に送信する。この音声の割り込みが質問受付部２２２で検知され、音声認識部２２３で音声方向が検知され、テキスト化が行われ、翻訳部２２６で英語から日本語に翻訳される。このとき、会話破綻検知部２２５ｃで質問回数がインクリメントされる。
そして、翻訳部２２６での翻訳結果がロボット１００で出力されると共に、会話継続判定部２２５ａで回答タイマがスタートする。ここまでが、図１０の上半分に示す、案内対象者３の発話の翻訳処理である。
【００４７】
続いて、案内実行者４による回答の発話があると、ロボット１００は、マイクアレイ１３１に入力した音声を、ロボット制御装置２００の質問受付部２２２に送信する。この音声の割り込みが質問受付部２２２で検知され、音声認識部２２３で音声方向が検知され、テキスト化が行われ、翻訳部２２６で日本語から英語に翻訳される。
そして、翻訳部２２６での翻訳結果がロボット１００で出力される。ここまでが、図１０の下半分に示す、案内実行者４の発話の翻訳処理である。
【００４８】
本実施の形態例の場合、さらにロボット１００は、案内対象者３の顔の表情に基づいて回答を行う。
すなわち、図１０に示す回答の音声出力後に、図１１に示すように、ロボット１００のカメラ１３２が撮影した画像から、顔認識と、その認識した顔の感情判定を行い、会話破綻検知部２２５ｃが、会話が破綻したか否かを判断する。この判断で、会話が破綻したことを検知したとき、回答可否判定部２２５ｂは、案内対象者３の質問に回答できるか判断し、可能な場合に回答出力部２２５ｄが回答を検索し、検索した回答をロボット１００から出力させる。
【００４９】
また、会話破綻検知部２２５ｃで質問回数がクリアされると共に、会話継続判定部２２５ａで回答タイマがクリアされ、使用状態の確認後に終了する。あるいは、会話が継続しているときには、図１０の最初に戻る。
【００５０】
図１２は、回答タイマ満了に基づくロボット回答時のシーケンス図である。
この例では、図１０の場合と同様に、最初に案内対象者３が英語で発話し、ロボット１００はマイクアレイ１３１に入力した音声が、ロボット制御装置２００の質問受付部２２２に送信される。この音声の割り込みが質問受付部２２２で検知され、音声認識部２２３で音声方向が検知され、テキスト化が行われ、翻訳部２２６で英語から日本語に翻訳される。このとき、会話破綻検知部２２５ｃで質問回数がインクリメントされる。
そして、翻訳部２２６での翻訳結果がロボット１００で出力されると共に、会話継続判定部２２５ａで回答タイマがスタートする。ここまでは、図１０の上半分に示す、案内対象者３の発話の翻訳処理と同じである。
【００５１】
その後、会話継続判定部２２５ａでは、回答タイマ満了となり、質問受付部２２２でタイマ満了の割り込みが検知される。このとき、回答可否判定部２２５ｂで回答可否が判断され、回答可能である場合に、回答出力部２２５ｄで回答が検索され、ロボット１００で回答が音声及び／又は画像で出力される。
また、回答出力部２２５ｄでの回答検索後に、会話破綻検知部２２５ｃで質問回数がクリアされると共に、会話継続判定部２２５ａで回答回数もクリアされ、顔認証結果に基づいた使用状態の確認後に、処理を終了する。
【００５２】
ここで、本実施の形態例での、案内対象者３と案内実行者４とロボット１００による会話及び回答の具体的な例を以下に示す。
案内対象者３の発話：「Hello」
ロボット１００の翻訳：「こんにちは」
案内実行者４の発話：「なにかお困りごとですか？」
ロボット１００の翻訳：「Can you help you with something?」
案内対象者３の発話：「I’m looking for coinlocker」
ロボット１００の翻訳：「コインロッカーを探しています」
案内実行者４の発話：「うーん・・・」
ロボット１００の翻訳：「Umm・・・」
案内対象者３の発話：「Don’t you know?」
案内実行者４の発話：「えーっと・・・」
ロボット１００の翻訳：「Umm・・・」（会話破綻検知）
ロボット１００の回答：「I’m answer behalf of him.
There are coinlockers at 〜〜〜」
案内対象者３の発話：「Oh! Thank you!!」
ロボット１００の翻訳：「おお！ありがとう！」
案内対象者３の立ち去り
ロボット１００の会話終了判断
【００５３】
以上説明したように、本実施の形態例の音声案内システム１によると、案内対象者３の質問とその案内実行者４の回答を、翻訳しながら適切に行うことができる。
特に、案内対象者３と案内実行者４とを、音声認識と画像認識で区別することで、質問の受け付けと、その質問に対する回答の出力とを、適切に実行できるようになる。
また、案内対象者３と案内実行者４とによる会話が破綻した場合、つまり回答が適切でない場合、音声案内システム１が代理で回答することができ、会話による案内を成立させることができる。
【００５４】
＜２．第２の実施の形態例＞
次に、本発明の第２の実施の形態例について、図１３〜図１４を参照して説明する。
本発明の第２の実施の形態例の音声案内システム１の構成は、第１の実施の形態例で図１〜図７で説明した構成と同じであり、重複説明を省略する。
第２の実施の形態例では、音声案内システム１は、案内対象者３と案内実行者４との会話を補助する会話補助サービスを行うものである。
【００５５】
[会話補助サービスの実行例]
図１３は、音声案内システム１による会話補助サービスの流れを示すフローチャートである。
まず、ロボット制御装置２００では、発話言語の判定（ステップＳ４００）が行われる。
続いて、ロボット制御装置２００では、ステップＳ４００で判定した発話言語に基づいて、会話補助サービス（ステップＳ５００）が行われる。
【００５６】
図１４は、ステップＳ５００の会話補助サービスの詳細を示すフローチャートである。
まず、ロボット制御装置２００の質問受付部２２２は、割り込みの有無のチェックを実行し（ステップＳ２１）、割り込みの有無を判断する（ステップＳ２２）。ここで、割り込み無しの場合（ステップＳ２２の「割込無」）には、質問受付部２２２は、ステップＳ２１の割り込みの有無のチェックに戻る。
【００５７】
ステップＳ２２の判断で、音声の割り込みがあった場合（ステップＳ２２の「割込有」）、質問受付部２２２は、割り込み内容が音声の入力による割り込みと、回答タイマ満了による割り込みの何れかを判断する（ステップＳ２３）。
ステップＳ２３で、音声の入力による割り込みと判断したとき（ステップＳ２３の「音声」）、回答可否判定部２２５ｂは、認識した音声の回答可否の判定を行う（ステップＳ２４）。
【００５８】
ここで回答可能な場合（ステップＳ２４の「可」）、回答可否判定部２２５ｂは、回答を検索し（ステップＳ２５）、回答の画像を出力する（ステップＳ２６）。ここでは回答を画像でのみ出力し、音声は出力しない。
【００５９】
ステップＳ２６での回答の画像を出力後、会話破綻判定部２２５ｃは、案内対象者３の反応を判定する（ステップＳ２７）。ここで、反応がポジティブなら（ステップＳ２７の「ポジティブ」）、会話破綻判定部２２５ｃは、顧客質問回数をクリアし（ステップＳ２８）、会話タイマをクリアする（ステップＳ２９）。
【００６０】
そして、ステップＳ２７で判定した反応がネガティブなら（ステップＳ２７の「ネガティブ」）、会話破綻判定部２２５ｃは、顧客質問回数が閾値以上か否かを判断する（ステップＳ３１）。ここで、閾値以下であれば（ステップＳ３１の「閾値以下」）、ステップＳ２９に移行して、会話判定部２２５ａは回答タイマをクリアする。
【００６１】
また、ステップＳ３１で顧客質問回数が閾値以上であれば（ステップＳ３１の「閾値以上」）、会話破綻検知部２２５ｃは会話が破綻したとみなし、回答出力部２２５ｄは、直前の回答（画像による回答）を音声で出力する（ステップＳ３２）。その後、ステップＳ２８に移行して、会話破綻判定部２２５ｃは、顧客質問回数をクリアする。
【００６２】
回答タイマクリア（ステップＳ２９）を行った後、会話継続判定部２２５ａは、画像認識部２２４の顔認識に基づいて、ユーザがロボット１００の前にいるか否かを判定する使用状態確認を行う（ステップＳ３０）。
ここで、会話継続判定部２２５ａは、ユーザがいる場合と判定したとき（ステップＳ３０の「使用中」）、再度ステップＳ２１の割り込みチェックに戻る。また、ユーザがいない場合と判定したとき（ステップＳ３０の「使用終了」）、翻訳サービスを終了する。
【００６３】
以上説明したように、本実施の形態例では、複数人の会話に関連する画像表示によりロボット１００が会話を補助し、その会話が破綻した際には音声で回答することで、会話を継続させることができる。
【００６４】
＜３．第３の実施の形態例＞
次に、本発明の第３の実施の形態例について、図１５〜図１７を参照して説明する。
本発明の第３の実施の形態例の音声案内システム１の構成は、第１の実施の形態例で図１〜図７で説明した構成と同じであり、重複説明を省略する。
第３の実施の形態例では、音声案内システム１は、案内対象者３からの発話（質問）に対して、ロボット１００が回答し、その案内対象者３とロボット１００との会話が破綻したときに、案内実行者４の案内を翻訳して案内対象者３に伝えるようにしたものである。
サービスの全体の流れは、図８に示すように、ユーザ判定（ステップＳ１００）、言語判定（ステップＳ２００）、翻訳サービス（ステップＳ３００）の順で行われ、翻訳サービス時に、図１５のフローチャートで説明する手順で実行されるものである。
【００６５】
[案内サービスの実行例]
図１５は、本実施の形態例での翻訳サービスの流れを示すフローチャートである。
また、図１６及び図１７（両図は連続した図）は、図１５のフローチャートを実行して、会話破綻に基づき案内実行者４が回答する場合のシーケンス図である。これらのシーケンス図では、図１５のフローチャートの各ステップに対応する箇所に、同じステップ番号を付与する。この図１５の例の場合も、案内対象者３は英語で会話し、案内実行者４は日本語で会話する。
【００６６】
以下に、図１５に示す翻訳サービスの詳細について説明する。
まず、ロボット制御装置２００の質問受付部２２２は、割り込み処理のチェックを行い（ステップＳ４１）、割り込み処理の有無を判断する（ステップＳ４２）。ここでの質問受付部２２２が判断する割り込み処理としては、音声の入力による割り込みと、回答タイマ満了による割り込みとがある。
ステップＳ４２で割り込み処理がないとき（ステップＳ４２の「割込無」）、質問受付部２２２はステップＳ４１のチェックに戻る。
【００６７】
また、ステップＳ４２で割り込み処理があると判断したとき（ステップＳ４２の「割込有」）、質問受付部２２２は、複数チャネルの音声データから音声の到来方向を検知する（ステップＳ４３）。そして、音声認識部２２３が入力した音声を認識し（ステップＳ４４）、画像認識部２２４が入力した画像を認識し（ステップＳ４５）、顔認識処理及び識別処理を行う（ステップＳ４６）。
【００６８】
ここで、質問受付部２２２は、発話者が案内対象者３であるか、案内実行者４であるかを判定する（ステップＳ４７）。ステップＳ４７において、判定した発話者が案内対象者３であった場合（ステップＳ４７の「顧客（英語話者）」）、回答可否判定部２２５ｂが回答可能か否かを判定する（ステップＳ４８）。
【００６９】
ステップＳ４８の判定で回答可能の場合（ステップＳ４８の「可」）、回答出力部２２５ｄは、質問に対する回答を検索し（ステップＳ４９）、その検索した回答を音声及び／又は画像でロボット１００から出力させる（ステップＳ５０）。
【００７０】
そして、会話破綻検知部２２５ｃは、画像認識部２２４で顔認識して感情の判定を行い、ユーザの反応がポジティブであるかネガティブであるかを判定する（ステップＳ５１）。
ここで、ユーザの反応がポジティブである場合（ステップＳ５１の「ポジティブ」）、会話継続判定部２２５ａは、画像認識部２２４の顔認識に基づいて、ユーザがロボット１００の前にいるか否かを判定する使用状態確認を行う（ステップＳ５２）。
ここで、会話継続判定部２２５ａは、ユーザがいる場合と判定したとき（ステップＳ５２の「使用中」）、再度ステップＳ４１の割り込みチェックに戻る。また、ユーザがいない場合と判定したとき（ステップＳ４１の「使用終了」）、翻訳サービスを終了する。
【００７１】
ここまでの流れは、案内対象者３からの質問に、ロボット１００が回答して、案内対象者３が、その会話にポジティブな反応をした場合であり、このようなポジティブな反応が続く限り、案内対象者３とロボット１００との会話が継続する。
ところが、ステップＳ５１で判別したユーザの反応がネガティブである場合、ロボット１００による会話が破綻することになる。
【００７２】
すなわち、ステップＳ５１で判別したユーザの反応がネガティブである場合（ステップＳ５１の「ネガティブ」）、画像認識部２２４は、案内実行者４の有無を判断する（ステップＳ５３）。なお、ステップＳ４８で回答できないと判断した場合にも、このステップＳ５３に移行して、案内実行者４の有無を判断する。
【００７３】
そして、案内実行者４がいると判断したとき（ステップＳ５３の「有」）、翻訳部２２６は、案内対象者３からの質問（英語）の日本語への翻訳が行われ（ステップＳ５５）、翻訳結果がロボット１００から音声及び／又は画像で出力される（ステップＳ５６）。また、ステップＳ５３の判断で、案内実行者４がいないと判断したとき（ステップＳ５３の「無」）、案内実行者４を呼び出す処理を行った後（ステップＳ５４）、ステップＳ５５に移行する。翻訳結果を出力した後、ステップＳ５２の使用状態の判断に移る。
【００７４】
また、ステップＳ４７において、判定した発話者が案内実行者４であった場合（ステップＳ４７の「サイト管理者（日本語話者）」）、翻訳部２２６は、案内実行者４からの回答（日本語）の英語への翻訳が行われ（ステップＳ５７）、翻訳結果がロボット１００から音声及び／又は画像で出力される（ステップＳ５８）。翻訳結果を出力した後、ステップＳ５２の使用状態の判断に移る。
【００７５】
図１６と図１７（両図は連続したシーケンス図）は、ロボットでの会話破綻に基づき案内実行者４が回答する場合のシーケンス図である。
この例では、最初に案内対象者３が英語で発話し、ロボット１００はマイクアレイ１３１に入力した音声を、ロボット制御装置２００の質問受付部２２２に送信する。この音声の割り込みが質問受付部２２２で検知される。このとき、音声認識部２２３で音声方向が検知され、さらにロボット１００のカメラ１３２で取得した画像に基づいて、画像認識部２２４で顔認識が行われ、質問受付部２２２で発話者が案内対象者３であると識別される。
【００７６】
案内対象者３であると識別したとき、回答可否判定部２２５ｂは、回答可否が判定され、回答可であるとき、回答出力部２２５ｄで回答の会話が検索され、検索結果としての回答が、ロボット１００から英語の音声及び／又は英語文の画像で出力される。
ここまでが、図１６の上半分に示すロボット１００による回答を行う処理である。
【００７７】
そして、この回答の出力時には、ロボット１００のカメラ１３２で撮影した画像から、画像認識部２２４が案内対象者３の顔認識を行うと共に、案内対象者３の感情判定から、会話破綻検知部２２５ｃが会話の破綻の検知を行う。
ここで、会話破綻検知部２２５ｃが会話の破綻を検知し、案内実行者４がいることを確認したとき、案内対象者３が英語で発話した質問文を日本語に翻訳する処理が行われ、その翻訳結果が出力される。
ここまでが、図１６の下半分に示すロボット１００による会話破綻検出時の処理である。
【００７８】
その後、本実施の形態例の場合、案内実行者４の回答を翻訳する処理が行われる。
すなわち、図１７に示すように、案内実行者４の回答（日本語発話）が、ロボット１００からロボット制御装置２００の質問受付部２２２に送信され、音声の割り込みが質問受付部２２２で検知される。このとき、音声認識部２２３で音声方向が検知されると共に、音声認識が行われ、さらに画像認識部２２４での画像認識が行われ、発話者（案内実行者４）が識別される。
【００７９】
案内実行者４が識別されると、案内実行者４の回答が英語に翻訳され、翻訳結果としての回答が、ロボット１００から英語の音声及び／又は英語文の画像で出力される。
【００８０】
以上説明したように、本実施の形態例では、案内対象者３の質問にロボット１００が回答し、その案内対象者３とロボット１００との会話が破綻したとき、案内実行者４の回答を翻訳する処理が行われる。したがって、案内実行者４により会話を補助しながら、案内対象者３とロボット１００での会話を適切に継続させることができるようになる。
【００８１】
＜４．変形例＞
本発明は、上述した各実施の形態例に限定されるものではなく、様々な変形例が含まれる。
例えば、上述した実施の形態例では、ロボット１００としてアバタを表示するタブレット端末を適用したが、その他の形状のロボットとしてもよい。また、上述した実施の形態例では、ロボット１００はマイクやカメラでの入力処理とスピーカでの出力処理を行い、ユーザの識別、会話処理、並びに翻訳処理などのデータ処理はロボット制御装置２００が行うようにした。これに対して、ロボット１００内で一部のデータ処理又は全てのデータ処理を行うようにしてもよい。
【００８２】
また、ここまで各実施の形態例では、案内対象者３と案内実行者４は、それぞれ１人ずつの例を示したが、案内対象者３や案内実行者４は複数人であってもよい。例えば、案内対象者３が複数人であるとき、それぞれの案内対象者３を音声と画像で識別して、それぞれの案内対象者３の質問に回答できるようになる。
【００８３】
また、上述した実施の形態例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、図１〜図４などの構成図では、制御線や情報線は説明上必要と考えられるものだけを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。また、図８、図９、図１３、図１４、図１５に示すフローチャートや図１０、図１１、図１２、図１６、図１７のシーケンス図において、実施の形態例の処理結果に影響がない範囲で、一部の処理ステップの実行順序を入れ替えたり、一部の処理ステップを同時に実行したりするようにしてもよい。
【００８４】
また、上述した実施の形態例で説明した構成は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラムなどの情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、光ディスク等の記録媒体に置くことができる。
【符号の説明】
【００８５】
１…音声案内システム、２…サイト、３…案内対象者、４…案内実行者、１００…ロボット、１１０…ＣＰＵ、１２０…記憶装置、１２１…入出力部、１２２…シナリオ実行部、１２３…画面処理部、１３０…入出力装置、１３１…マイクアレイ、１３２…カメラ、１３３…スピーカ、１３４…タッチパネル、１３４ａ…テキスト表示部、１３４ｂ…アバタ表示部、１３４ｃ…案内対象者言語選択ボタン、１３４ｄ…案内実行者言語選択ボタン、１３４ｅ…立ち位置入れ替えボタン、１４０…通信インターフェース、２００…ロボット制御装置、２１０…ＣＰＵ、２２０…記憶装置、２２１…入出力装置、２２２…質問受付部、２２３…音声認識部、２２４…画像認識部、２２５…案内部、２２５ａ…会話継続判定部、２２５ｂ…回答可否判定部、２２５ｃ…会話破綻判定部、２２５ｄ…回答出力部、２２６…翻訳部、２３０…ロボット制御装置２００の通信インターフェース、３００…ロボット管理サーバ、３１０…ＣＰＵ、３２０…記憶装置、３２１…ロボット管理部、３３０…通信インターフェース
【図１】
2020149264.tif 000003
【図２】
2020149264.tif 000004
【図３】
2020149264.tif 000005
【図４】
2020149264.tif 000006
【図５】
2020149264.tif 000007
【図６】
2020149264.tif 000008
【図７】
2020149264.tif 000009
【図８】
2020149264.tif 000010
【図９】
2020149264.tif 000011
【図１０】
2020149264.tif 000012
【図１１】
2020149264.tif 000013
【図１２】
2020149264.tif 000014
【図１３】
2020149264.tif 000015
【図１４】
2020149264.tif 000016
【図１５】
2020149264.tif 000017
【図１６】
2020149264.tif 000018
【図１７】
2020149264.tif 000019