(57)【要約】 【課題】ロボットが、顧客の状況又は自動処理機の処理状態に応じて、顧客に適切な自動処理機の操作ガイダンスを提供して自動処理機の操作支援をすることが可能な操作ガイダンスシステムを提供する。【解決手段】操作ガイダンスシステムは、顧客の操作入力に応じて、所定の処理を実行する自動処理機と、自動処理機が配置された周辺環境を自律して移動するとともに、自動処理機を顧客が操作するための操作ガイダンスを実行するロボットと、を備える。ロボットは、顧客状況認識部で認識した顧客の状況が予め規定された基準状況であると判断した場合には、状態取得部により自動処理機の処理状態を取得し、取得した処理状態に応じた操作ガイダンス情報を出力部に出力させる制御部と、を備える。【選択図】図１
2017087411.tif 000002
【特許請求の範囲】
【請求項１】
顧客の操作入力に応じて、所定の処理を実行する自動処理機と、
前記自動処理機が配置された周辺環境を自律して移動するとともに、前記自動処理機を顧客が操作するための操作ガイダンスを実行するロボットと、を備えた自動処理機の操作ガイダンスシステムであって、
前記ロボットは、
前記自動処理機が配置された周辺環境を自律して移動するための移動部と、
前記操作ガイダンスの操作ガイダンス情報を音声で出力する音声出力部、又は、前記操作ガイダンス情報を表示して出力する表示部の少なくとも何れかを含む出力部と、
前記自動処理機の処理状態を取得し、取得した前記処理状態に応じた操作ガイダンス情報を前記出力部に出力させる制御部と、を備える  
ことを特徴とする操作ガイダンスシステム。
【請求項２】
前記ロボットは、
前記自動処理機と通信して、前記自動処理機の処理状態を取得する状態取得部と、
前記自動処理機に近接する顧客の状況を認識する顧客状況認識部と、をさらに備え、
前記制御部は、前記顧客状況認識部で認識した前記顧客の状況が予め規定された基準状況であると判断した場合には、前記状態取得部により前記自動処理機の処理状態を取得し、取得した前記処理状態に応じた操作ガイダンス情報を前記出力部に出力させる
ことを特徴とする請求項１に記載の操作ガイダンスシステム。
【請求項３】
前記状態取得部は、前記自動処理機の現在の処理状態に対して顧客が実行すべき次の操作内容を前記自動処理機から取得し、
前記出力部は、前記状態取得部が取得した前記次の操作内容を含む操作ガイダンス情報を出力する
ことを特徴とする請求項２に記載の操作ガイダンスシステム。
【請求項４】
前記顧客状況認識部は、
顧客の少なくとも顔を撮像して、前記顧客の顔画像を取得する撮像部と、
前記撮像部で撮像された前記顧客の顔画像の特徴に基づいて、前記顧客の表情を認定し、認定した表情が予め設定された状態の基準表情に対応するか否かを判定する表情判定部と、を含み、
前記制御部は、前記表情判定部が認定した表情が前記基準表情に対応すると判定した場合には、前記顧客の状況が前記基準状況であると判断する
ことを特徴とする請求項２又は３に記載の操作ガイダンスシステム。
【請求項５】
前記基準表情は、困った表情であることを特徴とする請求項４に記載の操作ガイダンスシステム。
【請求項６】
前記顧客状況認識部は、
顧客の少なくとも手の動作を撮像する撮像部と、
前記撮像部で撮像された前記顧客の手の動作が、予め設定された規定時間、静止状態か否かを判定する動作判定部と、を含み、
前記制御部は、前記動作判定部が前記撮像部により撮像された手の動作が前記静止状態であると判定した場合には、前記顧客の状況が前記基準状況であると判断する
ことを特徴とする請求項２又は３に記載の操作ガイダンスシステム。
【請求項７】
前記制御部は、前記顧客の状況が前記基準状況であると判断し、且つ、前記自動処理機と通信し、前記自動処理機の顧客の操作入力による処理が、予め規定された停止判定期間、停止していると判断した場合には、前記状態取得部により取得した前記処理状態に応じた操作ガイダンス情報を前記出力部に出力させる
ことを特徴とする請求項６に記載の操作ガイダンスシステム。
【請求項８】
前記静止状態は、前記規定時間、前記撮像部で撮像された前記顧客の手の画像が静止し又は予め規定された規定範囲内で動作している状態である
ことを特徴とする請求項５又は６に記載の操作ガイダンスシステム。
【請求項９】
前記ロボットは、
顧客の音声を認識する音声認識部を有し、
前記制御部は、
前記音声認識部で認識した前記顧客の音声が示す内容に応じて、前記出力部の音声出力部から前記操作ガイダンス情報を音声で出力させる
ことを特徴とする請求項１ないし８のいずれか一項に記載の操作ガイダンスシステム。
【請求項１０】
複数の前記自動処理機を備え、
１台の前記ロボットは、前記複数の自動処理機の各々に対応した操作ガイダンスを実行可能である
ことを特徴とする請求項１ないし９のいずれか一項に記載の操作ガイダンスシステム。
【請求項１１】
前記ロボットは、
前記複数の自動処理機のうち、顧客が近接している自動処理機を選択し、選択した自動処理機の近傍に移動して、前記状態取得部により前記選択した自動処理機の処理状態を取得するとともに、前記選択した自動処理機に近接している前記顧客に対して、前記選択した自動処理機の処理状態に応じた操作ガイダンスを実行する
ことを特徴とする請求項２記載の操作ガイダンスシステム。
【請求項１２】
前記ロボットは、
前記複数の自動処理機のうち、前記ロボットに位置が最も近い自動処理機を選択し、前記選択した自動処理機の近傍に移動して、前記状態取得部により前記選択した自動処理機の処理状態を取得するとともに、前記選択した自動処理機に近接している前記顧客に対して、前記選択した自動処理機の処理状態に応じた操作ガイダンスを実行する
ことを特徴とする請求項１０に記載の操作ガイダンスシステム。
【請求項１３】
前記自動処理機が配置された前記周辺環境における複数の顧客の流れを計測して、前記複数の顧客の流れに関する人流情報を取得する人流計測装置を、さらに備え、
前記ロボットは、前記人流情報に基づいて、前記複数の自動処理機のうち、操作ガイダンスを実行すべき自動処理機を選択し、選択した自動処理機の近傍に移動して、前記状態取得部により前記選択した自動処理機の処理状態を取得するとともに、前記選択した自動処理機に近接している前記顧客に対して、前記選択した自動処理機の処理状態に応じた操作ガイダンスを実行する
ことを特徴とする請求項１０に記載の操作ガイダンスシステム。
【請求項１４】
前記ロボットは、
前記表示部を指示可能な腕部、又は発光可能なＬＥＤ発光部の少なくとも何れかを含み、
前記表示部に前記操作ガイダンス情報を表示させる場合に、顧客を前記表示部に注目させるために、前記腕部を動作させ、又はＬＥＤ発光部を発光させる動作を実行する
ことを特徴とする請求項１ないし１３のいずれか一項に記載の操作ガイダンスシステム。
【請求項１５】
前記自動処理機は、前記自動処理機の処理状態の履歴を記録したログ情報を出力するログ情報出力部を備え、
前記ロボットの前記制御部は、前記ログ情報出力部から出力する前記ログ情報に応じた操作ガイダンス情報を前記出力部に出力させる
ことを特徴とする請求項１に記載の操作ガイダンスシステム。
【請求項１６】
前記ログ情報出力部が出力する前記ログ情報を解析する解析機能を有するアプリケーションをさらに備え、
前記ロボットの前記制御部は、前記アプリケーションにより解析された前記ログ情報に応じた操作ガイダンス情報を前記出力部に出力させる
ことを特徴とする請求項１５に記載の操作ガイダンスシステム。
【請求項１７】
前記アプリケーションは、前記ロボットの前記制御部、前記自動処理機、又は、前記ロボット及び前記自動処理機と通信可能なサーバーに備えられていることを特徴とする請求項１６に記載の操作ガイダンスシステム。
【請求項１８】
前記アプリケーションは、複数の自動処理機の前記ログ情報を解析し、前記複数の自動処理機の前記ログ情報の解析結果に基づいて、操作ガイダンスが必要な処理状態に対応するログ情報の優先度を決定し、
前記ロボットの前記制御部は、前記アプリケーションにより決定された優先度が一番高い自動処理機の前記ログ情報に応じた操作ガイダンス情報を前記出力部に出力させ、又は、前記アプリケーションにより決定された優先度が高い順に自動処理機の前記ログ情報に応じた操作ガイダンス情報を前記出力部に出力させる
ことを特徴とする請求項１５に記載の操作ガイダンスシステム。
【請求項１９】
前記アプリケーションは、前記自動処理機の過去の複数のログ情報を解析し、前記過去の複数のログ情報の解析結果に基づいて、前記過去の複数のログ情報から、操作ガイダンスが必要な処理状態に対応するログ情報を選択し、
前記ロボットの前記制御部は、前記アプリケーションにより選択された前記ログ情報に応じた操作ガイダンス情報を前記出力部に出力させる
ことを特徴とする請求項１５に記載の操作ガイダンスシステム。
【請求項２０】
前記自動処理機が配置された前記周辺環境における複数の顧客の流れを計測して、前記複数の顧客の流れに関する人流情報を取得する人流計測装置を、さらに備え、
前記ロボットは、前記人流情報に基づいて、前記複数の自動処理機のうち、操作ガイダンスを実行すべき処理状態の自動処理機を選択し、選択した自動処理機の近傍に移動して、前記選択した自動処理機に近接している前記顧客に対して、前記選択した自動処理機の前記ログ情報に応じた操作ガイダンスを実行する
ことを特徴とする請求項１５に記載の操作ガイダンスシステム。
【請求項２１】
顧客の操作入力に応じて、所定の処理を実行する自動処理機と、
前記自動処理機が配置された周辺環境を自律して移動するとともに、前記自動処理機を顧客が操作するための操作ガイダンスを実行するロボットと、を備えた自動処理機の操作ガイダンスシステムであって、
前記ロボットは、
前記自動処理機が配置された周辺環境を自律して移動するための移動部と、
顧客の状況を認識する顧客状況認識部と、
前記自動処理機と通信して、前記自動処理機の処理状態を取得する状態取得部と、
前記操作ガイダンスのガイダンス情報を音声で出力する音声出力部、又は、前記ガイダンス情報を表示して出力する表示部の少なくとも何れかを含む出力部と、
前記状態取得部により前記自動処理機の処理状態を取得し、取得した前記自動処理機の処理状態が予め設定された停滞状態であると判断した場合には、前記停滞状態に応じた操作ガイダンス情報を前記出力部に出力させる制御部と、を備える  
ことを特徴とする操作ガイダンスシステム。
【請求項２２】
前記状態取得部は、前記停滞状態に対して顧客が実行すべき次の操作内容を取得し、
前記出力部は、前記状態取得部が取得した前記次の操作内容を含む操作ガイダンス情報を出力する
ことを特徴とする請求項２１に記載の操作ガイダンスシステム。
【請求項２３】
前記停滞状態は、前記自動処理機の動作にエラーが発生したエラー状態、又は、予め設定された期間、前記自動処理機の処理が停止した停止状態であることを特徴とする請求項２１又は２２に記載の操作ガイダンスシステム。
【請求項２４】
前記自動処理機は、両替機、紙幣硬貨入金機、自動窓口受付機、又は電子記帳台の何れかの金融機関のロビー機である
ことを特徴とする請求項１ないし２３のいずれか一項に記載の操作ガイダンスシステム。
【請求項２５】
顧客の操作入力に応じて、所定の処理を実行する自動処理機を備えた、操作ガイダンスシステムに適用され、前記自動処理機が配置された周辺環境を自律して移動するとともに、前記自動処理機を顧客が操作するための操作ガイダンスを実行するロボットであって、
前記ロボットは、
前記自動処理機が配置された周辺環境を自律して移動するための移動部と、
前記自動処理機の処理状態を取得する状態取得部と、
前記操作ガイダンスの操作ガイダンス情報を音声で出力する音声出力部、又は、前記操作ガイダンス情報を表示して出力する表示部の少なくとも何れかを含む出力部と、
前記自動処理機の処理状態を取得し、取得した前記処理状態に応じた操作ガイダンス情報を前記出力部に出力させる制御部と、を備える
ことを特徴とするロボット。
【請求項２６】
顧客の操作入力に応じて、所定の処理を実行する自動処理機を備えた、操作ガイダンスシステムに適用され、前記自動処理機が配置された周辺環境を自律して移動するとともに、前記自動処理機を顧客が操作するための操作ガイダンスを実行するロボットと、
前記ロボットは、
前記自動処理機が配置された周辺環境を自律して移動するための移動部と、
前記操作ガイダンスのガイダンス情報を音声で出力する音声出力部、又は、前記ガイダンス情報を表示して出力する表示部の少なくとも何れかを含む出力部と、
前記自動処理機の処理状態を取得し、取得した前記自動処理機の処理状態が予め設定された停滞状態であると判断した場合には、前記停滞状態に応じた操作ガイダンス情報を前記出力部に出力させる制御部と、を備える
ことを特徴とするロボット。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、金融機関や流通店舗のロビー等に設置され、顧客自らが操作を行って所定の処理を行う自動処理機の操作ガイダンスシステムに関し、特にコミュニケーシンロボットを用いて行う操作ガイダンスシステムに関する。
【背景技術】
【０００２】
金融機関のロビー等に設置され、顧客自らが操作を行って所定の処理を行う自動処理機としては、古いものではＡＴＭや両替機があり、最近のものでは自動窓口受付機や電子記帳台といったものがある（例えば、特許文献１、２参照）。
【０００３】
これらの自動処理機は機械に慣れた人にとっては簡単な操作も始めて使用する人にとつては操作が難しく、ひとりでできない場合や、操作をするのに多大な時間を要するという問題があった。特に高齢者にとっては非常に重要な問題であった。
【０００４】
そこで、これらの問題を解決するために、金融機関ではロビーにロビー係員を配置し、自動処理機の操作がスムーズに行えていない顧客あれば、声掛けをして操作の誘導や支援を行っている。
【０００５】
通常、金融機関では、人権費を減らすために自動処理機を導入しているので、説明要員として係員を配置することは、人権費を削減できないという課題があった。
【０００６】
また、顧客が、操作が分からなくなってロビー係員に助けを求めた場合には、ロビー係員は自動処理機がどこまで進んでいるのか、あるいはどの状態で停止しているのかといったことを直ぐには把握できず、操作支援を行うにしても時間を要するという問題があった。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１５−５０７０号公報
【特許文献２】特開２００１−１３４８０１号公報
【特許文献３】特開２００６−２１２７３２号公報
【特許文献４】特許４６１１６７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
そこで、本発明は、上記問題に鑑みてなされたものであり、ロボットが、顧客の状況又は自動処理機の処理状態に応じて、顧客に適切な自動処理機の操作ガイダンスを提供して自動処理機の操作支援をすることが可能な操作ガイダンスシステムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一態様に係る操作ガイダンスシステムは、顧客の操作入力に応じて、所定の処理を実行する自動処理機と、前記自動処理機が配置された周辺環境を自律して移動するとともに、前記自動処理機を顧客が操作するための操作ガイダンスを実行するロボットと、を備えた自動処理機の操作ガイダンスシステムであって、前記ロボットは、前記自動処理機が配置された周辺環境を自律して移動するための移動部と、前記操作ガイダンスの操作ガイダンス情報を音声で出力する音声出力部、又は、前記操作ガイダンス情報を表示して出力する表示部の少なくとも何れかを含む出力部と、前記自動処理機の処理状態を取得し、取得した前記処理状態に応じた操作ガイダンス情報を前記出力部に出力させる制御部と、を備えることを特徴とする。
【００１０】
前記操作ガイダンスシステムにおいて、前記ロボットは、前記自動処理機と通信して、前記自動処理機の処理状態を取得する状態取得部と、前記自動処理機に近接する顧客の状況を認識する顧客状況認識部と、をさらに備え、前記制御部は、前記顧客状況認識部で認識した前記顧客の状況が予め規定された基準状況であると判断した場合には、前記状態取得部により前記自動処理機の処理状態を取得し、取得した前記処理状態に応じた操作ガイダンス情報を前記出力部に出力させることを特徴とする。
【００１１】
前記操作ガイダンスシステムにおいて、前記状態取得部は、前記自動処理機の現在の処理状態に対して顧客が実行すべき次の操作内容を前記自動処理機から取得し、前記出力部は、前記状態取得部が取得した前記次の操作内容を含む操作ガイダンス情報を出力することを特徴とする。
【００１２】
前記操作ガイダンスシステムにおいて、前記顧客状況認識部は、顧客の少なくとも顔を撮像して、前記顧客の顔画像を取得する撮像部と、前記撮像部で撮像された前記顧客の顔画像の特徴に基づいて、前記顧客の表情を認定し、認定した表情が予め設定された状態の基準表情に対応するか否かを判定する表情判定部と、を含み、前記制御部は、前記表情判定部が認定した表情が前記基準表情に対応すると判定した場合には、前記顧客の状況が前記基準状況であると判断することを特徴とする。
【００１３】
前記操作ガイダンスシステムにおいて、前記基準表情は、困った表情であることを特徴とする。
【００１４】
前記操作ガイダンスシステムにおいて、前記顧客状況認識部は、顧客の少なくとも手の動作を撮像する撮像部と、前記撮像部で撮像された前記顧客の手の動作が、予め設定された規定時間、静止状態か否かを判定する動作判定部と、を含み、前記制御部は、前記動作判定部が前記撮像部により撮像された手の動作が前記静止状態であると判定した場合には、前記顧客の状況が前記基準状況であると判断することを特徴とする。
【００１５】
前記操作ガイダンスシステムにおいて、前記制御部は、前記顧客の状況が前記基準状況であると判断し、且つ、前記自動処理機と通信し、前記自動処理機の顧客の操作入力による処理が、予め規定された停止判定期間、停止していると判断した場合には、前記状態取得部により取得した前記処理状態に応じた操作ガイダンス情報を前記出力部に出力させることを特徴とする。
【００１６】
前記操作ガイダンスシステムにおいて、前記静止状態は、前記規定時間、前記撮像部で撮像された前記顧客の手の画像が静止し又は予め規定された規定範囲内で動作している状態であることを特徴とする。
【００１７】
前記操作ガイダンスシステムにおいて、前記ロボットは、顧客の音声を認識する音声認識部を有し、前記制御部は、前記音声認識部で認識した前記顧客の音声が示す内容に応じて、前記出力部の音声出力部から前記操作ガイダンス情報を音声で出力させることを特徴とする。
【００１８】
前記操作ガイダンスシステムにおいて、前記操作ガイダンスシステムは、複数の前記自動処理機を備え、１台の前記ロボットは、前記複数の自動処理機の各々に対応した操作ガイダンスを実行可能であることを特徴とする。
【００１９】
前記操作ガイダンスシステムにおいて、前記ロボットは、前記複数の自動処理機のうち、顧客が近接している自動処理機を選択し、選択した自動処理機の近傍に移動して、前記状態取得部により前記選択した自動処理機の処理状態を取得するとともに、前記選択した自動処理機に近接している前記顧客に対して、前記選択した自動処理機の処理状態に応じた操作ガイダンスを実行することを特徴とする。
【００２０】
前記操作ガイダンスシステムにおいて、前記ロボットは、前記複数の自動処理機のうち、前記ロボットに位置が最も近い自動処理機を選択し、前記選択した自動処理機の近傍に移動して、前記状態取得部により前記選択した自動処理機の処理状態を取得するとともに、前記選択した自動処理機に近接している前記顧客に対して、前記選択した自動処理機の処理状態に応じた操作ガイダンスを実行することを特徴とする。
【００２１】
前記操作ガイダンスシステムは、前記自動処理機が配置された前記周辺環境における複数の顧客の流れを計測して、前記複数の顧客の流れに関する人流情報を取得する人流計測装置を、さらに備え、前記ロボットは、前記人流情報に基づいて、前記複数の自動処理機のうち、操作ガイダンスを実行すべき自動処理機を選択し、選択した自動処理機の近傍に移動して、前記状態取得部により前記選択した自動処理機の処理状態を取得するとともに、前記選択した自動処理機に近接している前記顧客に対して、前記選択した自動処理機の処理状態に応じた操作ガイダンスを実行することを特徴とする。
【００２２】
前記操作ガイダンスシステムにおいて、前記ロボットは、前記表示部を指示可能な腕部、又は発光可能なＬＥＤ発光部の少なくとも何れかを含み、前記表示部に前記操作ガイダンス情報を表示させる場合に、顧客を前記表示部に注目させるために、前記腕部を動作させ、又はＬＥＤ発光部を発光させる動作を実行することを特徴とする。
【００２３】
前記操作ガイダンスシステムにおいて、前記自動処理機は、前記自動処理機の処理状態の履歴を記録したログ情報を出力するログ情報出力部を備え、前記ロボットの前記制御部は、前記ログ情報出力部から出力する前記ログ情報に応じた操作ガイダンス情報を前記出力部に出力させることを特徴とする。
【００２４】
前記操作ガイダンスシステムにおいて、前記ログ情報出力部が出力する前記ログ情報を解析する解析機能を有するアプリケーションをさらに備え、前記ロボットの前記制御部は、前記アプリケーションにより解析された前記ログ情報に応じた操作ガイダンス情報を前記出力部に出力させることを特徴とする。
【００２５】
前記操作ガイダンスシステムにおいて、前記アプリケーションは、前記ロボットの前記制御部、前記自動処理機、又は、前記ロボット及び前記自動処理機と通信可能なサーバーに備えられていることを特徴とする。
【００２６】
前記操作ガイダンスシステムにおいて、前記アプリケーションは、複数の自動処理機の前記ログ情報を解析し、前記複数の自動処理機の前記ログ情報の解析結果に基づいて、操作ガイダンスが必要な処理状態に対応するログ情報の優先度を決定し、前記ロボットの前記制御部は、前記アプリケーションにより決定された優先度が一番高い自動処理機の前記ログ情報に応じた操作ガイダンス情報を前記出力部に出力させ、又は、前記アプリケーションにより決定された優先度が高い順に自動処理機の前記ログ情報に応じた操作ガイダンス情報を前記出力部に出力させることを特徴とする。
【００２７】
前記操作ガイダンスシステムにおいて、前記アプリケーションは、前記自動処理機の過去の複数のログ情報を解析し、前記過去の複数のログ情報の解析結果に基づいて、前記過去の複数のログ情報から、操作ガイダンスが必要な処理状態に対応するログ情報を選択し、前記ロボットの前記制御部は、前記アプリケーションにより選択された前記ログ情報に応じた操作ガイダンス情報を前記出力部に出力させることを特徴とする。
【００２８】
前記操作ガイダンスシステムにおいて、前記自動処理機が配置された前記周辺環境における複数の顧客の流れを計測して、前記複数の顧客の流れに関する人流情報を取得する人流計測装置を、さらに備え、前記ロボットは、前記人流情報に基づいて、前記複数の自動処理機のうち、操作ガイダンスを実行すべき処理状態の自動処理機を選択し、選択した自動処理機の近傍に移動して、前記選択した自動処理機に近接している前記顧客に対して、前記選択した自動処理機の前記ログ情報に応じた操作ガイダンスを実行することを特徴とする。
【００２９】
本発明の一態様に係る操作ガイダンスシステムは、顧客の操作入力に応じて、所定の処理を実行する自動処理機と、前記自動処理機が配置された周辺環境を自律して移動するとともに、前記自動処理機を顧客が操作するための操作ガイダンスを実行するロボットと、を備えた自動処理機の操作ガイダンスシステムであって、前記ロボットは、前記自動処理機が配置された周辺環境を自律して移動するための移動部と、顧客の状況を認識する顧客状況認識部と、前記自動処理機と通信して、前記自動処理機の処理状態を取得する状態取得部と、前記操作ガイダンスのガイダンス情報を音声で出力する音声出力部、又は、前記ガイダンス情報を表示して出力する表示部の少なくとも何れかを含む出力部と、前記状態取得部により前記自動処理機の処理状態を取得し、取得した前記自動処理機の処理状態が予め設定された停滞状態であると判断した場合には、前記停滞状態に応じた操作ガイダンス情報を前記出力部に出力させる制御部と、を備えることを特徴とする。
【００３０】
前記操作ガイダンスシステムにおいて、前記状態取得部は、前記停滞状態に対して顧客が実行すべき次の操作内容を取得し、前記出力部は、前記状態取得部が取得した前記次の操作内容を含む操作ガイダンス情報を出力することを特徴とする。
【００３１】
前記操作ガイダンスシステムにおいて、前記停滞状態は、前記自動処理機の動作にエラーが発生したエラー状態、又は、予め設定された期間、前記自動処理機の処理が停止した停止状態であることを特徴とする。
【００３２】
前記操作ガイダンスシステムにおいて、前記自動処理機は、両替機、紙幣硬貨入金機、自動窓口受付機、又は電子記帳台の何れかの金融機関のロビー機であることを特徴とする。
【００３３】
本発明の一態様に係るロボットは、顧客の操作入力に応じて、所定の処理を実行する自動処理機を備えた、操作ガイダンスシステムに適用され、前記自動処理機が配置された周辺環境を自律して移動するとともに、前記自動処理機を顧客が操作するための操作ガイダンスを実行するロボットであって、前記ロボットは、前記自動処理機が配置された周辺環境を自律して移動するための移動部と、前記自動処理機の処理状態を取得する状態取得部と、前記操作ガイダンスの操作ガイダンス情報を音声で出力する音声出力部、又は、前記操作ガイダンス情報を表示して出力する表示部の少なくとも何れかを含む出力部と、前記自動処理機の処理状態を取得し、取得した前記処理状態に応じた操作ガイダンス情報を前記出力部に出力させる制御部と、を備えることを特徴とする。
【００３４】
本発明の一態様に係るロボットは、顧客の操作入力に応じて、所定の処理を実行する自動処理機を備えた、操作ガイダンスシステムに適用され、前記自動処理機が配置された周辺環境を自律して移動するとともに、前記自動処理機を顧客が操作するための操作ガイダンスを実行するロボットと、前記ロボットは、前記自動処理機が配置された周辺環境を自律して移動するための移動部と、前記操作ガイダンスのガイダンス情報を音声で出力する音声出力部、又は、前記ガイダンス情報を表示して出力する表示部の少なくとも何れかを含む出力部と、前記自動処理機の処理状態を取得し、取得した前記自動処理機の処理状態が予め設定された停滞状態であると判断した場合には、前記停滞状態に応じた操作ガイダンス情報を前記出力部に出力させる制御部と、を備えることを特徴とする。
【発明の効果】
【００３５】
本発明に係る操作ガイダンスシステムは、ロボットが、顧客の状況又は自動処理機の処理状態に応じて、顧客に適切な自動処理機の操作ガイダンスを提供して自動処理機の操作支援をすることができる。
【図面の簡単な説明】
【００３６】
【図１】図１は、本発明の一態様である第１の実施形態に係る操作ガイダンスシステム１０００の構成の一例を示す図である。
【図２】図２は、図１に示すロボット１００の外観の一例を示す図である。
【図３】図３は、図１に示す操作ガイダンスシステム１０００が適用される金融機関のロビーの一例を示す図である。
【図４】図４は、図１に示す自動処理機Ｘ２の処理状態が停滞状態（停止状態）である場合における、ロボット１００の出力部５０の表示部ＤＩの表示の一例を示す図である。
【図５】図５は、図１に示す自動処理機Ｘ２の処理状態が停滞状態（停止状態）である場合における、ロボット１００の出力部５０の音声出力部ＳＰの音声出力の一例を示す図である。
【図６】図６は、図１に示す自動処理機Ｘ２の処理状態が停滞状態（停止状態）である場合における、ロボット１００の外観の動作の一例を示す図である。
【図７】図７は、図１に示す自動処理機Ｘ２の処理状態が停滞状態（エラー状態）である場合における、ロボット１００の出力部５０の表示部ＤＩの表示の一例を示す図である。
【図８】図８は、図１に示す自動処理機Ｘ２の処理状態が停滞状態（エラー状態）である場合における、ロボット１００の出力部５０の音声出力部ＳＰの音声出力の一例を示す図である。
【図９】図９は、図１に示す自動処理機Ｘ２の処理状態が停滞状態（エラー状態）である場合における、ロボット１００の外観の動作の一例を示す図である。
【図１０】図１０は、図１に示す自動処理機Ｘ２の処理状態が停滞状態又は顧客Ｚの状況が基準状況である場合における、ロボット１００の出力部５０の表示部ＤＩの表示の一例を示す図である。
【図１１】図１１は、図１に示す自動処理機Ｘ２の処理状態が停滞状態又は顧客Ｚの状況が基準状況である場合における、ロボット１００の出力部５０の音声出力部ＳＰの音声出力の一例を示す図である。
【図１２】図１２は、図１に示す自動処理機Ｘ２の処理状態が停滞状態又は顧客Ｚの状況が基準状況である場合における、ロボット１００の外観の動作の一例を示す図である。
【図１３】図１３は、ロボット１００が、顧客Ｚが近接する自動処理機Ｘ２に向かって移動して、自動処理機Ｘ２の操作ガイダンスを実施する一例を示す図である。
【図１４】図１４は、ロボット１００が、顧客Ｚ２が近接する自動処理機Ｘ２に向かって移動して、自動処理機Ｘ２の操作ガイダンスを実施する他の例を示す図である。
【図１５】図１５は、ロボット１００が、近接した顧客Ｚに対して広告を表示する例を示す図である。
【図１６】図１６は、出力部５０の表示部ＤＩに表示した広告の例を示す図である。
【図１７】図１７は、出力部５０の表示部ＤＩに表示した広告の例を示す図である。
【図１８】図１８は、出力部５０の表示部ＤＩに表示した広告の例を示す図である。
【図１９】図１９は、出力部５０の表示部ＤＩに表示した広告の例を示す図である。
【図２０】図２０は、出力部５０の表示部ＤＩに表示した広告の例を示す図である。
【図２１】図２１は、本発明の一態様である第２の実施形態に係る操作ガイダンスシステム２０００の構成を示す図である。
【図２２】図２２は、図２１に示す操作ガイダンスシステム２０００のアプリケーションＡＰの動作フローの一例を示す図である。
【図２３】本発明の一態様である第２の実施形態に係る操作ガイダンスシステム２０００のロボット１００の動作の例を示す図である。
【図２４】本発明の一態様である第２の実施形態に係る操作ガイダンスシステム２０００のロボット１００の動作の例を示す図である。
【図２５】本発明の一態様である第２の実施形態に係る操作ガイダンスシステム２０００のロボット１００の動作の例を示す図である。
【図２６】本発明の一態様である第２の実施形態に係る操作ガイダンスシステム２０００のロボット１００の動作の例を示す図である。
【発明を実施するための形態】
【００３７】
以下、実施形態について図面に基づいて説明する。
【第１の実施形態】
【００３８】
図１は、本発明の一態様である第１の実施形態に係る操作ガイダンスシステム１０００の構成の一例を示す図である。また、図２は、図１に示すロボット１００の外観の一例を示す図である。また、図３は、図１に示す操作ガイダンスシステム１０００が適用される金融機関のロビーの一例を示す図である。
【００３９】
自動処理機の操作ガイダンスシステム１０００は、例えば、図１に示すように、ロボット１００と、複数の自動処理機Ｘ１〜Ｘｎ（ｎ：２以上の整数）と、人流計測装置Ｙと、を備えている。
【００４０】
複数の自動処理機Ｘ１〜Ｘｎは、顧客の操作入力に応じて、所定の処理を実行するようになっている。この自動処理機Ｘ１〜Ｘｎは、例えば、両替機（特開２００１−１３４８０１号公報参照）、電子記帳台（特開２０１５−５０７０号公報参照）、紙幣硬貨入金機、自動窓口受付機、現金自動預け払い機（ＡＴＭ）、又は電子広告機等の金融機関のロビー機である。
【００４１】
ここで、図３に示す例では、操作ガイダンスシステム１０００は、金融機関のロビーにおいて、両替機である自動処理機Ｘ１と、電子記帳台である自動処理機Ｘ２と、紙幣硬貨入金機である自動処理機Ｘ３と、現金自動預け払い機である自動処理機Ｘ４と、自動窓口受付機である自動処理機Ｘ５と、電子広告機である自動処理機Ｘ６と、を備える。
【００４２】
なお、図１、図３の例では、操作ガイダンスシステム１０００に備えられる自動処理機は、複数台であるが、操作ガイダンスシステム１０００に備えられる自動処理機は、１台であってもよい。
【００４３】
このような自動処理機Ｘ１〜Ｘｎ（図１の例では自動処理機Ｘ２で例示）は、ロボット１００と無線通信するための無線通信部ＣＯＸと、各種の処理を実行するためのＣＰＵ１０Ｘと、各種の情報を表示するための表示部ＤＩＸと、顧客Ｚが操作入力するための操作部３０Ｘと、自動処理機の処理を実行するためのプログラムや各種のデータが記憶された記憶部２０Ｘと、を備える。
【００４４】
また、図１、図３に示す人流計測装置Ｙは、複数の自動処理機Ｘ１〜Ｘｎが配置された周辺環境（例えば、金融機関のロビー等）における複数の顧客Ｚの流れ（分布）を計測して、複数の顧客Ｚの流れ（分布）に関する人流情報を取得するようになっている。そして、人流計測装置Ｙは、取得した人流情報を含む信号をロボット１００に送信する。
【００４５】
また、図１、図２に示すロボット１００は、複数の自動処理機Ｘ１〜Ｘｎが配置された周辺環境を自律して移動するとともに、何れかの自動処理機Ｘ１〜Ｘｎを顧客Ｚが操作するための操作ガイダンスを実行するようになっている。
【００４６】
例えば、ロボット１００は、複数の自動処理機Ｘ１〜Ｘｎのうち、顧客Ｚが近接している（例えば、自動処理機を操作可能な位置にいる）自動処理機Ｘ２を選択し、選択した自動処理機Ｘ２の近傍に移動して、選択した自動処理機Ｘ２の処理状態を状態取得部１０ｃにより取得するとともに、選択した自動処理機Ｘ１〜Ｘｎに近接している顧客Ｚに対して、選択した自動処理機Ｘ２の処理状態に応じた操作ガイダンスを実行する。
【００４７】
また、ロボット１００は、複数の自動処理機Ｘ１〜Ｘｎのうち、ロボット１００に位置が最も近い自動処理機Ｘ２を選択し、選択した自動処理機Ｘ２の近傍に移動して、選択した自動処理機Ｘ２の処理状態を状態取得部１０ｃにより取得するとともに、選択した自動処理機Ｘ２に近接している顧客Ｚに対して、選択した自動処理機Ｘ１〜Ｘｎの処理状態に応じた操作ガイダンスを実行するようにしてもよい。
【００４８】
また、ロボット１００は、人流計測装置Ｙから送信された人流情報を含む信号を受信し、この人流計測装置Ｙが取得した人流情報に基づいて、複数の自動処理機Ｘ１〜Ｘｎのうち、操作ガイダンスを実行すべき自動処理機Ｘ２を選択し、選択した自動処理機Ｘ２の近傍に移動して、選択した自動処理機Ｘ２の処理状態を状態取得部１０ｃにより取得するとともに、選択した自動処理機Ｘ２に近接している顧客Ｚに対して、選択した自動処理機Ｘ１〜Ｘｎの処理状態に応じた操作ガイダンスを実行するようにしてもよい。
【００４９】
特に、１台のロボット１００は、複数の自動処理機Ｘ１〜Ｘｎの各々と通信して処理状態を取得し、複数の自動処理機Ｘ１〜Ｘｎの各々の処理状態に対応した操作ガイダンスを実行可能になっている。なお、ロボット１００は、自動処理機Ｘ１〜Ｘｎの設置レイアウトを覚えさせて、その位置に応じて、操作ガイダンスの内容を変更するようにしてもよい。また、予め自動処理機Ｘ１〜Ｘｎにランドマーク付しておき、ロボット１００は、ランドマーク認識で移動して、操作ガイダンスの内容を変更するようにしてもよい。また、ロボット１００は、操作ガイダンスの実行とともに、顧客Ｚが近接している、選択した自動処理機Ｘ２に対して、通信又は操作入力して自動処理機Ｘ２の処理を顧客Ｚの代わりに実行するようにしてもよい。
【００５０】
また、ロボット１００は、自動処理機の台数に応じて、操作ガイダンスシステム１０００に１台又は複数台備えられる。なお、既述の図３に示す例では、操作ガイダンスシステム１０００は、３台のロボット１００を備える。
【００５１】
このロボット１００は、例えば、ソフトバンク社のコミュニケーションロボット「Ｐｅｐｐｅｒ」（登録商標）である。
【００５２】
このロボット１００は、例えば、図１、図２に示すように、ＣＰＵ１０と、記憶部２０と、無線通信部ＣＯと、撮像部（ＲＧＢカメラＣＡ１、深度カメラＣＡ２）ＣＡと、音声入力部ＭＡと、出力部（音声出力部ＳＰ、表示部ＤＩ）５０と、関節駆動部ＡＤと、移動部ＭＯと、ＬＥＤ発光部ＥＭと、腕部ＡＲと、頭部Ｈと、胴部Ｗを備える。
【００５３】
そして、ＣＰＵ１０は、例えば、図１に示すように、音声認識部１０ａと、表情判定部１０ｂ１と、動作判定部１０ｂ２と、年齢・性別判定部１０ｂ３と、状態取得部１０ｃと、制御部１０ｄと、を含む。
【００５４】
なお、撮像部ＣＡと、音声入力部ＭＡと、音声認識部１０ａと、表情判定部１０ｂ１と、動作判定部１０ｂ２と、年齢・性別判定部１０ｂ３と、により顧客状況認識部４０が構成される（図１）。
【００５５】
ここで、移動部ＭＯは、自動処理機Ｘ１〜Ｘｎが配置された周辺環境（金融機関のロビー等）を自律して移動するための車輪や足等の移動手段を含む。この移動部ＭＯは、周辺環境の障害物を認識するセンサーも備えている。
【００５６】
また、記憶部２０は、ロボット１００の所定の動作を制御するためのプログラムや、顧客Ｚの状況を判定するためのデータ等の各種のデータを記憶するようになっている。
【００５７】
また、ＬＥＤ発光部ＥＭは、制御部１０ｄにより制御されて発光可能なＬＥＤランプである。
【００５８】
また、関節駆動部ＡＤは、腕部ＡＲ及び頭部Ｈを駆動させるようになっている。例えば、腕部ＡＲは、関節駆動部ＡＤにより駆動して、例えば、表示部ＤＩを指示可能になっている。そして、頭部Ｈには、ＲＧＢカメラＣＡ１、深度カメラＣＡ２、ＬＥＤ発光部ＥＭ、及び音声出力部ＳＰが配置されている（図２）。
【００５９】
また、顧客状況認識部４０は、複数の自動処理機Ｘ１〜Ｘｎのうち、自動処理機Ｘ２に近接する顧客Ｚの状況を認識するようになっている。この顧客状況認識部４０は、既述のように、撮像部ＣＡと、音声入力部ＭＡと、音声認識部１０ａと、表情判定部１０ｂ１と、動作判定部１０ｂ２と、年齢・性別判定部１０ｂ３と、を含む。
【００６０】
撮像部ＣＡは、顧客Ｚ（顔Ｚａ、手Ｚｂ等）の画像（顧客Ｚの顔Ｚａの顔画像、動画や、顧客Ｚの手Ｚｂの画像、動画等を含む）を取得するようになっている。この撮像部ＣＡは、例えば、図１に示すように、画像を取得するためのＲＧＢカメラＣＡ１と、深度を計測するための深度カメラＣＡ２と、を含む。なお、この撮像部ＣＡを用いて、顧客Ｚや自動処理機Ｘ１〜Ｘｎ等との距離を測定するようにしてもよい。例えば、撮像部ＣＡは、複数の自動処理機Ｘ１〜Ｘｎのうち、何れの自動処理機がロボット１００に位置が最も近いかを、計測し、また、顧客Ｚが自動処理機の近傍に位置しているか計測するようにしてもよい。
【００６１】
また、表情判定部１０ｂ１は、撮像部ＣＡにより撮像された顧客Ｚの画像（顔画像を含む）に基づいて、顧客Ｚの表情を判定するようになっている。
【００６２】
例えば、表情判定部１０ｂ１は、撮像部ＣＡ１で撮像された顧客Ｚの顔画像の特徴に基づいて、顧客Ｚの表情を認定し、認定した表情が予め設定された状態の基準表情（困った表情等）に対応するか否かを判定する。言い換えれば、表情判定部１０ｂ１は、撮像された顧客Ｚの顔画像のデータと、記憶部２０に記憶されている顔画像データと、に基づいて（比較することにより）、顧客Ｚの表情を認定し、認定した表情が予め設定された状態の基準表情（困った表情等）に対応するか否かを判定する。この表情判定部１０ｂ１は、顧客Ｚの顔画像データと、記憶部２０に記憶されている顔画像データと人間の感情とを関連付けた感情データと、に基づいて、顧客Ｚの感情を推定して認識するようにいてもよい。
【００６３】
そして、制御部１０ｄは、後述のように、表情判定部１０ｂ１が認定した表情が既述の基準表情に対応すると判定した場合には、顧客Ｚの状況が基準状況であると判断する。
【００６４】
また、動作判定部１０ｂ２は、撮像部ＣＡにより撮像された顧客Ｚの画像に基づいて、顧客Ｚの動作を判定するようになっている。この動作判定部１０ｂ２は、認識した顧客Ｚの動画像のデータと、記憶部２０に記憶されている動作データと人間の動作とを関連付けた動作データと、に基づいて（比較することにより）、顧客Ｚの動作の内容を判定可能になっている。
【００６５】
例えば、動作判定部１０ｂ２は、撮像部ＣＡ１で撮像された顧客Ｚの手ＺＢの動作が、予め設定された規定時間、静止状態か否かを判定する。
【００６６】
そして、制御部１０ｄは、後述のように、動作判定部１０ｂ２が撮像部ＣＡ１により撮像された手ＺＢの動作が既述の静止状態であると判定した場合には、顧客Ｚの状況が既述の基準状況であると判断する。
【００６７】
なお、上記静止状態は、既述の規定時間、撮像部ＣＡ１で撮像された顧客Ｚの手の画像が静止し又は予め規定された規定範囲内で動作している状態である。
【００６８】
また、年齢・性別判定部１０ｂ３は、撮像部ＣＡにより撮像された顧客Ｚの画像に基づいて、顧客Ｚの年齢・性別を判定するようになっている。
【００６９】
例えば、年齢・性別判定部１０ｂ３は、撮像された顧客Ｚの顔画像の画像データと、記憶部２０に記憶されている顔画像データと年齢・性別とを関連付けた年齢・性別データと、に基づいて（比較することにより）、顧客Ｚの年齢・性別を推定して認識する。
【００７０】
また、音声入力部ＭＡは、顧客Ｚの音声が入力されるマイクである。
【００７１】
また、音声認識部１０ａは、音声入力部（マイク）ＭＡを介して入力された音声（音声が示す内容を含む）を認識するようになっている。
【００７２】
この音声認識部１０ａは、認識した顧客Ｚの音声のデータと、記憶部２０に記憶されている音声データと人間の感情とを関連付けた感情データと、に基づいて、顧客Ｚの感情（音声が示す内容を含む）を推定して認識するようになっている。
【００７３】
また、状態取得部１０ｃは、無線通信部ＣＯを介して、自動処理機Ｘ１〜Ｘｎ（図１の例では、顧客Ｚが近接する自動処理機Ｘ２）と通信して、自動処理機Ｘ１〜Ｘｎ（図１の例では、顧客Ｚが近接する自動処理機Ｘ２）の処理状態を取得するようになっている。
【００７４】
例えば、自動処理機Ｘ２のＣＰＵは、ロボット１００の無線通信部ＣＯから処理状態の問合せがあった場合には、無線通信部ＣＯＸにより、自動処理機Ｘ２の処理状態の情報を含む信号を送信する。上記自動処理機Ｘ２の処理状態の情報には、自動処理機Ｘ２の現在の処理状態に対して顧客Ｚが実行すべき自動処理機Ｘ２の次の操作内容も含まれる。
【００７５】
そして、状態取得部１０ｃは、無線通信部ＣＯで上記自動処理機Ｘ２が出力した信号を受信することにより、自動処理機Ｘ２の現在の処理状態の情報を取得する。さらに、状態取得部１０ｃは、取得した自動処理機Ｘ２の現在の処理状態に対して顧客Ｚが実行すべき自動処理機Ｘ２の次の操作内容も、取得する。
【００７６】
また、出力部５０は、例えば、状態取得部１０ｃが取得した自動処理機Ｘ２の次の操作内容を含む操作ガイダンス情報を出力するようになっている。
【００７７】
この出力部５０は、例えば、図１に示すように、音声出力部ＳＰと、表示部ＤＩと、を含む。
【００７８】
音声出力部ＳＰは、操作ガイダンスの操作ガイダンス情報を音声で出力するようになっている。この音声出力部ＳＰは、例えば、スピーカーである。既述のように、この音声出力部ＳＰは、頭部Ｈに配置されている（図２）。
【００７９】
また、表示部ＤＩは、例えば、液晶画面（タッチパネル）等で構成され、既述の操作ガイダンス情報を表示して出力するようになっている。この表示部ＤＩは、ロボット１００の胴部Ｗに配置されている（図２）。
【００８０】
また、制御部１０ｄは、無線通信部ＣＯと、撮像部ＣＡと、音声入力部ＭＡと、出力部５０と、関節駆動部ＡＤと、移動部ＭＯと、ＬＥＤ発光部ＥＭと、腕部ＡＲと、を制御するようになっている。
【００８１】
この制御部１０ｄは、例えば、顧客状況認識部４０で認識した顧客Ｚの状況が予め規定された基準状況であると判断した場合には、状態取得部１０ｃにより自動処理機Ｘ２の処理状態を取得し、取得した処理状態に応じた操作ガイダンス情報を出力部５０に出力させるようになっている。
【００８２】
ここで、制御部１０ｄは、表情判定部１０ｂ１が認定した表情が既述の基準表情に対応すると判定した場合には、顧客Ｚの状況が上記基準状況であると判断するようになっている。また、制御部１０ｄは、動作判定部１０ｂ２が撮像部ＣＡ１により撮像された手Ｚｂの動作が既述の静止状態であると判定した場合には、顧客Ｚの状況が既述の基準状況であると判断するようにしてもよい。
【００８３】
なお、上記基準状況は、例えば、顧客Ｚが自動処理機Ｘ２の現在の処理状態において自動処理機Ｘ２に対して必要な次の操作入力ができない状況である。
【００８４】
すなわち、顧客Ｚが必要な次の操作入力ができない状況である場合には、制御部１０ｄは、状態取得部１０ｃを制御して、自動処理機Ｘ２の現在の処理状態に対して顧客Ｚが実行すべき次の操作内容を自動処理機Ｘ２から取得する。そして、制御部１０ｄは、状態取得部１０ｃが取得した既述の次の操作内容を含む操作ガイダンス情報を出力部５０に出力させる。
【００８５】
これにより、顧客Ｚは、必要な次の操作入力ができない状況である場合に、出力部５０から出力された操作ガイダンス情報から、実行すべき次の操作内容を知得して、自動処理機Ｘ２に対して適切に操作入力することができる。
【００８６】
また、制御部１０ｄは、状態取得部１０ｃにより自動処理機Ｘ１〜Ｘｎの何れか（ここでは、自動処理機Ｘ２）の処理状態を取得し、取得した予め設定された停滞状態であると判断した場合には、この自動処理機Ｘ２の停滞状態に応じた操作ガイダンス情報を出力部５０に出力させるようにしてもよい。
【００８７】
なお、上述の停滞状態は、例えば、自動処理機Ｘ１〜Ｘｎ（ここでは、自動処理機Ｘ２）の動作にエラーが発生したエラー状態、又は、予め設定された期間、自動処理機Ｘ１〜Ｘｎの処理（ここでは、自動処理機Ｘ２）が停止した停止状態である。
【００８８】
すなわち、自動処理機Ｘ２の処理状態がエラー状態又は停止状態である場合に、制御部１０ｄは、状態取得部１０ｃを制御して、自動処理機Ｘ２のエラー状態又は停止状態に対して顧客Ｚが実行すべき自動処理機Ｘ２の次の操作内容を取得する。そして、制御部１０ｄは、状態取得部１０ｃが取得した自動処理機Ｘ２の次の操作内容を含む操作ガイダンス情報を出力部５０に出力させる。
【００８９】
これにより、顧客Ｚは、自動処理機Ｘ２の処理状態がエラー状態又は停止状態である場合に、出力部５０から出力された操作ガイダンス情報から、実行すべき次の操作内容を知得して、自動処理機Ｘ２に対して適切に操作入力することができる。
【００９０】
なお、制御部１０ｄは、顧客Ｚの状況が既述の基準状況であると判断し、且つ、自動処理機Ｘ１〜Ｘｎと通信し、自動処理機Ｘ１〜Ｘｎの顧客Ｚの操作入力による処理が、予め規定された停止判定期間、停止していると判断した場合には、状態取得部１０ｃにより取得した処理状態に応じた操作ガイダンス情報を出力部５０に出力させるようにしてもよい。
【００９１】
これにより、顧客Ｚは、必要な次の操作入力ができない状況であり且つ自動処理機Ｘ２の処理が進んでいない場合に、出力部５０から出力された操作ガイダンス情報から、実行すべき次の操作内容を知得して、自動処理機Ｘ２に対して適切に操作入力することができる。
【００９２】
また、制御部１０ｄは、音声認識部１０ａで認識した顧客Ｚの音声が示す内容に応じて、出力部５０の音声出力部ＳＰから操作ガイダンス情報を音声で出力するようにしてもよい。
【００９３】
これにより、顧客Ｚは、ロボット１００に対して実行すべき次の操作内容を聞くことにより、音声出力部ＳＰから出力された操作ガイダンス情報から、実行すべき次の操作内容を知得して、自動処理機Ｘ２に対して適切に操作入力することができる。
【００９４】
また、制御部１０ｄは、自動処理機Ｘ２が電子広告機である場合に、表情判定部１０ｂ１が認定した顧客Ｚの表情が基準表情（ここでは関心を示す表情等）であると判断した場合には、当該電子広告機で表示されている広告に関係する情報等を出力部５０から出力させるようにしてもよい。
【００９５】
これにより、例えば、電子広告機に表示された広告に関心を示す顧客Ｚに対して、当該電子広告機で表示されている広告に関係するパンフレットの位置等の情報を提供することができる。
【００９６】
次に、以上のような構成及び機能を有する操作ガイダンスシステム１０００のシステム動作の例について、説明する。
【００９７】
ここで、図４は、図１に示す自動処理機Ｘ２の処理状態が停滞状態（停止状態）である場合における、ロボット１００の出力部５０の表示部ＤＩの表示の一例を示す図である。また、図５は、図１に示す自動処理機Ｘ２の処理状態が停滞状態（停止状態）である場合における、ロボット１００の出力部５０の音声出力部ＳＰの音声出力の一例を示す図である。また、図６は、図１に示す自動処理機Ｘ２の処理状態が停滞状態（停止状態）である場合における、ロボット１００の外観の動作の一例を示す図である。
【００９８】
先ず、制御部１０ｄは、通信部ＣＯ及び状態取得部１０ｃにより、顧客Ｚが近接する自動処理機Ｘ２の処理状態を取得する。
【００９９】
そして、自動処理機Ｘ２の処理状態が停止状態である場合に、制御部１０ｄは、無線通信部ＣＯ及び状態取得部１０ｃを制御して、自動処理機Ｘ２の停止状態に対して顧客Ｚが実行すべき自動処理機Ｘ２の次の操作内容を取得する。
【０１００】
そして、図４に示すように、制御部１０ｄは、状態取得部１０ｃが取得した自動処理機Ｘ２の次の操作内容（住所２の欄に記入不備がある旨の表示と、次に操作入力すべき場所を指示している）を含む操作ガイダンス情報を出力部５０の表示部ＤＩに表示させる。
【０１０１】
さらに、この場合、図５に示すように、制御部１０ｄは、出力部５０の音声出力部ＳＰから操作ガイダンス情報（住所２の欄に記入不備があり、次に操作入力すべき場所が住所２の欄である旨の情報）を音声で出力するようにしてもよい。
【０１０２】
さらに、この場合、図６に示すように、顧客Ｚが操作ガイダンス情報を取得できるように、制御部１０ｄは、ＬＥＤ発光部ＥＭの色を、注意を示す色に変更するように制御し、また、制御１０ｄは、関節駆動部ＡＤにより腕部ＡＲを駆動して表示部ＤＩを指示するようにしてもよい。
【０１０３】
以上のロボット１００の動作により、顧客Ｚは、出力部５０から出力された操作ガイダンス情報から、停止状態において実行すべき次の操作内容を知得して、自動処理機Ｘ２に対して適切に対応することができる。
【０１０４】
次に、図７は、図１に示す自動処理機Ｘ２の処理状態が停滞状態（エラー状態）である場合における、ロボット１００の出力部５０の表示部ＤＩの表示の一例を示す図である。また、図８は、図１に示す自動処理機Ｘ２の処理状態が停滞状態（エラー状態）である場合における、ロボット１００の出力部５０の音声出力部ＳＰの音声出力の一例を示す図である。また、図９は、図１に示す自動処理機Ｘ２の処理状態が停滞状態（エラー状態）である場合における、ロボット１００の外観の動作の一例を示す図である。
【０１０５】
先ず、制御部１０ｄは、無線通信部ＣＯ及び状態取得部１０ｃにより、顧客Ｚが近接する自動処理機Ｘ２の処理状態を取得する。
【０１０６】
そして、自動処理機Ｘ２の処理状態がエラー状態である場合に、制御部１０ｄは、無線通信部ＣＯ及び状態取得部１０ｃを制御して、自動処理機Ｘ２のエラー状態に対して顧客Ｚが実行すべき自動処理機Ｘ２の次の操作内容を取得する。
【０１０７】
そして、図７に示すように、制御部１０ｄは、状態取得部１０ｃが取得した自動処理機Ｘ２の次の操作内容（顧客Ｚにエラー状態の原因である返却口の残留物を取り除かせるように、返却口に残留物がある旨の表示）を含む操作ガイダンス情報を出力部５０の表示部ＤＩに表示させる。
【０１０８】
さらに、この場合、図８に示すように、制御部１０ｄは、出力部５０の音声出力部ＳＰから操作ガイダンス情報（顧客Ｚにエラー状態の原因である返却口の残留物を取り除かせるように、返却口に残留物がある旨の内容）を音声で出力するようにしてもよい。
【０１０９】
さらに、この場合、図９に示すように、顧客Ｚが操作ガイダンス情報に注目できるように、制御部１０ｄは、ＬＥＤ発光部ＥＭの色を、警告を示す色に変更するように制御し、また、制御１０ｄは、関節駆動部ＡＤにより腕部ＡＲを駆動するようにしてもよい。
【０１１０】
すなわち、ロボット１００は、表示部ＤＩに操作ガイダンス情報を表示させる場合に、顧客Ｚを表示部ＤＩに注目させるために、制御部１０ｄによりＬＥＤ発光部ＥＭを発光させる動作を実行する。さらに、ロボット１００は、表示部ＤＩに操作ガイダンス情報を表示させる場合に、顧客Ｚを表示部ＤＩに注目させるために、制御部１０ｄにより関節駆動部ＡＤを制御して腕部ＡＲを動作させる。
【０１１１】
以上のロボット１００の動作により、顧客Ｚは、出力部５０から出力された操作ガイダンス情報から、自動処理機Ｘ２のエラー状態において実行すべき次の操作内容を知得して、自動処理機Ｘ２に対して適切に対応することができる。
【０１１２】
次に、図１０は、図１に示す自動処理機Ｘ２の処理状態が停滞状態又は顧客Ｚの状況が基準状況である場合における、ロボット１００の出力部５０の表示部ＤＩの表示の一例を示す図である。また、図１１は、図１に示す自動処理機Ｘ２の処理状態が停滞状態又は顧客Ｚの状況が基準状況である場合における、ロボット１００の出力部５０の音声出力部ＳＰの音声出力の一例を示す図である。また、図１２は、図１に示す自動処理機Ｘ２の処理状態が停滞状態又は顧客Ｚの状況が基準状況である場合における、ロボット１００の外観の動作の一例を示す図である。
【０１１３】
例えば、自動処理機Ｘ２の処理状態が停滞状態又は顧客Ｚの状況が基準状況である場合に、図１０に示すように、制御部１０ｄは、顧客Ｚに対して操作ガイダンス情報（自動処理機Ｘ２の操作に関する質問を即す旨の表示）を出力部５０の表示部ＤＩに表示させるようにしてもよい。  
さらに、この場合、図１１に示すように、制御部１０ｄは、出力部５０の音声出力部ＳＰから操作ガイダンス情報（自動処理機Ｘ２の操作に関する質問を即す旨の表示）を音声で出力するようにしてもよい。
【０１１４】
さらに、この場合、図１２に示すように、顧客Ｚが操作ガイダンス情報を取得できるように、制御部１０ｄは、ＬＥＤ発光部ＥＭの色を、質問を即す旨を示す色に変更するように制御し、また、制御１０ｄは、関節駆動部ＡＤにより腕部ＡＲ及び頭部Ｈを駆動して尋ねる動作をするようにしてもよい。
【０１１５】
以上のロボット１００の動作により、顧客Ｚは、出力された操作ガイダンス情報に応じて、実行すべき次の操作内容を知得ための問合せをロボット１００にすることができる。
【０１１６】
次に、図１３は、ロボット１００が、顧客Ｚが近接する自動処理機Ｘ２に向かって移動して、自動処理機Ｘ２の操作ガイダンスを実施する一例を示す図である。
【０１１７】
図１３に示すように、先ず、ロボット１００の制御部１０ｄは、撮像部ＣＡを制御して、複数の自動処理機Ｘ１〜Ｘｎのうち、何れの自動処理機に近傍に顧客Ｚが位置しているか計測する。
【０１１８】
そして、ロボット１００は、複数の自動処理機Ｘ１〜Ｘｎのうち、顧客Ｚが近接している自動処理機Ｘ２を選択し、選択した自動処理機Ｘ２の近傍に移動部ＭＯで移動する。
【０１１９】
そして、ロボット１００は、選択した自動処理機Ｘ２と通信して、選択した自動処理機Ｘ２の処理状態を状態取得部１０ｃにより取得する。
【０１２０】
そして、ロボット１００は、選択した自動処理機Ｘ２に近接している顧客Ｚに対して、選択した自動処理機Ｘ２の処理状態に応じた操作ガイダンスを実行する。
【０１２１】
これにより、ロボット１００と顧客Ｚとが離れている場合にも、自動処理機Ｘ２に近接する顧客Ｚに近づいて、自動処理機Ｘ２の処理状態に応じた操作ガイダンスを実行することができる。
【０１２２】
このように、複数の自動処理機Ｘ１〜Ｘｎのうち顧客Ｚが近接する自動処理機Ｘ２に向かって、ロボット１００が移動して、この自動処理機Ｘ２の操作ガイダンスを実施するようにしてもよい。
【０１２３】
次に、図１４は、ロボット１００が、顧客Ｚ２が近接する自動処理機Ｘ２に向かって移動して、自動処理機Ｘ２の操作ガイダンスを実施する他の例を示す図である。
【０１２４】
既述のように、人流計測装置Ｙは、複数の自動処理機Ｘ１〜Ｘｎが配置された周辺環境における複数の顧客Ｚの流れを計測して、複数の顧客Ｚの流れに関する人流情報を取得する。
【０１２５】
図１４の例では、顧客Ｚ１、Ｚ３が自動処理機Ｘ１、Ｘ３の近傍に滞在している時間（１分、５分）よりも、顧客Ｚ２が自動処理機Ｘ２の近傍に滞在している時間が長い（１０分）。ここで、人流計測装置Ｙは、複数の自動処理機Ｘ１〜Ｘ３が配置された周辺環境における複数の顧客Ｚ１〜Ｚ３の流れを計測して、複数の顧客Ｚの流れに関する人流情報（例えば、顧客Ｚ２は滞在時間が一番長い（処理が停滞していると推定される））を取得する。
【０１２６】
そして、ロボット１００は、人流計測装置Ｙが取得した人流情報に基づいて、複数の自動処理機Ｘ１〜Ｘｎのうち、操作ガイダンスを実行すべき自動処理機Ｘ２を選択する。
【０１２７】
そして、ロボット１００は、選択した自動処理機Ｘ２の近傍に移動して、選択した自動処理機Ｘ２の処理状態を状態取得部１０ｃにより取得する。
【０１２８】
そして、ロボット１００は、選択した自動処理機Ｘ２に近接している顧客Ｚ２に対して、選択した自動処理機Ｘ１〜Ｘｎの処理状態に応じた操作ガイダンスを実行する。
【０１２９】
これにより、複数の自動処理機Ｘ１〜Ｘ３にそれぞれ顧客Ｚ１〜Ｚ３が近接する場合にも、人流情報に基づいて、処理が停滞していると推定される顧客Ｚ２に近づいて、自動処理機の処理状態に応じた操作ガイダンスを実行することができる。
【０１３０】
このように、複数の自動処理機Ｘ１〜Ｘ３のうち顧客Ｚ２が近接する自動処理機Ｘ２に向かって、ロボット１００が移動して、この自動処理機Ｘ２の操作ガイダンスを実施するようにしてもよい。
【０１３１】
以上のように、本実施形態に係る操作ガイダンスシステムによれば、ロボット（コミュニケーションロボット）が、顧客の状況又は自動処理機の処理状態に応じて、顧客に適切な自動処理機の操作ガイダンスを提供して自動処理機の操作支援をすることができる。
【０１３２】
特に、ロボットが自動処理機の操作ガイダンスをするので、顧客が自動処理機を使用するための支援員が不要になる。人による口頭での装置使用説明と比べ、ロボットの表示部を使用することで視覚的かつ分かりやすい支援が可能となる。
【０１３３】
さらに、ロボットは、適切な自動処理機の操作支援ができるため、来客の電子機器に対する抵抗度合いを考慮する必要が無くなる。
【０１３４】
また、支援員の口頭説明では支援員のスキルや来客の理解度に左右されるが、ロボットは適切な画面での視覚利用説明手法を標準化することで人によるレベル差を無視できる。
【変形例】
【０１３５】
次に、操作ガイダンスシステム１０００のシステム動作のさらに他の例について、説明する。
【０１３６】
ここで、図１５は、ロボット１００が、近接した顧客Ｚに対して広告を表示する例を示す図である。また、図１６ないし図２０は、出力部５０の表示部ＤＩに表示した広告の例を示す図である。  
図１５に示すように、先ず、ロボット１００の制御部１０ｄは、出力部５０の表示部ＤＩに例えば医療保険に関する広告Ａ１（図１６）等を順次入れ替えるようにループ再生させる（ステップＳ１）。
【０１３７】
そして、制御部１０ｄは、例えば、撮像部ＣＡによりロボット１００と人物（顧客Ｚ）との距離を測定し、ロボット１００と顧客Ｚとの距離が所定値未満であるか否かを判断する（ステップＳ２）。
【０１３８】
そして、制御部１０ｄは、顧客Ｚとの距離が所定値未満である場合（すなわち、顧客Ｚがロボット１００に近接した場合）には、出力部５０の表示部ＤＩに表示した広告のループ再生を停止させる（ステップＳ３）。一方、制御部１０ｄは、顧客Ｚとの距離が所定値未満でない場合は、ステップＳ２に戻り、再度、撮像部ＣＡによりロボット１００と人物（顧客Ｚ）との距離を測定する。
【０１３９】
そして、制御部１０ｄは、ステップＳ３で表示部ＤＩの広告のループ再生を停止させた後、表示部（タッチパネル）ＤＩに、例えば、表示している広告Ａ１のサービスに対応した診断を開始するためのボタンＢ１を表示（図１７）させる（ステップＳ４）。
【０１４０】
その後、制御部１０ｄは、表示部ＤＩに表示されたボタンＢ１（図１７）が顧客Ｚにより押されたか否かを判断する（ステップＳ５）。
【０１４１】
そして、制御部１０ｄは、ステップＳ５において顧客ＺによりボタンＢ１が押されない場合には、撮像部ＣＡによりロボット１００と顧客Ｚとの距離を測定し、ロボット１００と顧客Ｚとの距離が該所定値以上であるか否かを判断する（ステップＳ６）。
【０１４２】
そして、制御部１０ｄは、ロボット１００と顧客Ｚとの距離が所定値以上である場合（すなわち、顧客Ｚがロボット１００から離れた場合）には、フローを終了する（若しくはステップＳ１に戻る）。すなわち、例えば、顧客Ｚが表示部ＤＩに表示した広告に興味を示さずにロボット１００から離れた場合に、表示部ＤＩの広告の表示を終了する。
【０１４３】
一方、制御部１０ｄは、ロボット１００と顧客Ｚとの距離が所定値以上でない場合は、ステップＳ５に戻り、再度、表示部ＤＩに表示されたボタンＢ１が顧客Ｚにより押されたか否かを判断する。すなわち、ロボット１００と顧客Ｚとの距離が所定値未満である限りは、顧客ＺがボタンＢ１を押すまで、表示している広告のサービスに対応した診断を開始するためのボタンＢ１（図１７）を表示部ＤＩに表示させる。
【０１４４】
そして、制御部１０ｄは、ステップＳ５において顧客Ｚにより表示部ＤＩのボタンＢ１が押された場合には、撮像部ＣＡにより顧客Ｚの顔Ｚａを撮影する（ステップＳ７）。
【０１４５】
その後、制御部１０ｄは、年齢・性別判定部１０ｂを制御して、撮像された顧客Ｚの顔画像の画像データと、記憶部２０に記憶されている顔画像データと年齢・性別とを関連付けた年齢・性別データと、に基づいて、顧客Ｚの年齢・性別を推定して認識する（ステップＳ８）。このとき、制御部１０ｄは、出力部５０の表示部ＤＩに、撮像している顧客Ｚの画像Ａ２及び顧客Ｚの年齢・性別を推定中である旨の表示Ｂ２（図１８）を表示させる。
【０１４６】
そして、制御部１０ｄは、推定した顧客Ｚの年齢・性別が有用な値（広告を表示すべき（商品等を推薦すべき）年齢又は性別）であるか否かを判断する（ステップＳ９）。
【０１４７】
制御部１０ｄは、ステップＳ９において推定した顧客Ｚの年齢・性別が有用な値でない場合は、ステップＳ７に戻り、再度、撮像部ＣＡにより顧客Ｚの顔Ｚａを撮影する。
【０１４８】
一方、制御部１０ｄは、ステップＳ９において推定した顧客Ｚの年齢・性別が有用な値である場合は、出力部５０の表示部ＤＩに、ステップＳ９において推定した顧客Ｚの年齢・性別に対応した（推薦すべき商品等の）広告Ａ３（図１９）やより詳細な広告Ａ４（図２０）を表示させる（ステップＳ１０）。
【０１４９】
このように、ロボット１００の表示部ＤＩに年齢性別推定結果に応じた広告を表示し、結果に応じた広告の説明を実行する。
【０１５０】
その後、制御部１０ｄは、表情判定部１０ｂ１を制御して、顧客Ｚの表情を認定し又撮影した顧客Ｚの顔画像データから顧客Ｚの感情を推定して認識し、又は音声認識部１０ａを制御して、顧客Ｚの音声のデータから顧客Ｚの感情を推定して認識する（ステップＳ１１）。
【０１５１】
その後、制御部１０ｄは、広告が表示されている時の顧客Ｚの表情、発される声から認識した感情や表情のデータと、当該顧客Ｚの年齢性別推定結果のデータを所定のデータベースに記憶する（ステップＳ１２）。このデータベースに記憶された情報は、例えば、当該広告が関係するマーケティングに活用される。
【０１５２】
その後、制御部１０ｄは、表示部ＤＩに表示された終了ボタン（図示せず）が顧客Ｚにより押されたか、又は、撮像部ＣＡにより顧客Ｚとの距離を測定し、顧客Ｚとの距離が該所定値（一定）以上であるか否かを判断する（ステップＳ１３）。
【０１５３】
そして、制御部１０ｄは、表示部ＤＩに表示された上記終了ボタンが顧客Ｚにより押されず、且つ、顧客Ｚとの距離が該所定値未満である場合には、再度、ステップＳ１２を実行する。
【０１５４】
一方、制御部１０ｄは、表示部ＤＩに表示された上記終了ボタンが顧客Ｚにより押された場合、及び、顧客Ｚとの距離が該所定値以上である場合には、フローを終了する（若しくはステップＳ１に戻る）。
【０１５５】
以上の動作フローにより、ロボットが、表示した広告に対する顧客の状況に応じて、顧客の推定した年齢・性別の情報を取得し、この顧客の推定した年齢・性別に合った広告を提供するとともに、取得した情報をマーケティングに活用するために保持することができる。
【０１５６】
特に、コミュニケーションロボットの発話（音声出力）機能／音声認識機能／撮影機能により任意トリガによる任意アナウンスを行うことができる。そして、ロボットは、音声認識部１０ａにより、表示された広告に対して「違う」というような否定文言を認識すれば、別の商品を推薦する表示や音声を出力部５０から出力させるようにしてもよい。このように、顧客の動作に応じたアナウンスをリアルタイムで実行することができる。
【０１５７】
また、顧客に適したアナウンス・マーケティングができ、それにより取得できる情報の正確さの向上に期待できる。
【０１５８】
また、このようなコミュニケーションロボットによる主に発話関連機能で、商品に対する顧客Ｚの意思・考えを引き出せる可能性がある。すなわち、年齢・性別推定で推薦商品決定し、その商品説明を発話／表示で行い、それに対する意見などを「対話」によりより詳細に取得することができる。
【第２の実施形態】
【０１５９】
第２の実施形態では、既述のようなロボット１００を用いた操作ガイダンスシステムの他の例について、説明する。
【０１６０】
ここで、図２１は、本発明の一態様である第２の実施形態に係る操作ガイダンスシステム２０００の構成を示す図である。
【０１６１】
この第２の実施形態に係る操作ガイダンスシステム２０００は、例えば、図２１に示すように、第１の実施形態の操作ガイダンスシステム１０００（図１）と比較して、サーバーＳをさらに備えている。このサーバーＳは、自動処理機Ｘ１〜Ｘｎおよびロボット１００と無線通信して、所定の情報を自動処理機Ｘ１〜Ｘｎおよびロボット１００との間で送受信するようになっている。
【０１６２】
そして、自動処理機Ｘ１〜Ｘｎ（図２１の例では自動処理機Ｘ２で例示）は、ロボット１００及びサーバーＳと無線通信するための無線通信部ＣＯＸと、各種の処理を実行するためのＣＰＵ１０Ｘと、各種の情報を表示するための表示部ＤＩＸと、顧客Ｚが操作入力するための操作部３０Ｘと、その自動処理機の処理を実行するためのプログラムや各種のデータが記憶された記憶部２０Ｘと、その自動処理機の処理状態の履歴を記録したログ情報を出力するログ情報出力部４０Ｘと、を備える。
【０１６３】
すなわち、自動処理機Ｘ１〜Ｘｎは、第１の実施形態（図１）と比較して、ログ情報出力部４０Ｘをさらに備える。なお、当該ログ情報には、自動処理機の操作（画面遷移等）に関する操作ログや自動処理機のエラーに関するエラーログなどが含まれる。
【０１６４】
ここで、ロボットの制御部１０ｄは、第１の実施形態（図１）と比較して、自動処理機Ｘ２のログ情報出力部４０Ｘが出力するログ情報を解析する解析機能を有するアプリケーションＡＰをさらに備える。
【０１６５】
そして、ロボット１００の制御部１０ｄは、アプリケーションＡＰにより解析されたログ情報に応じた操作ガイダンス情報を出力部５０に出力させるようになっている。すなわち、ロボット１００の制御部１０ｄは、ログ情報出力部４０Ｘから出力するログ情報に応じた操作ガイダンス情報を出力部５０に出力させるようになっている。
【０１６６】
なお、ログ情報出力部４０Ｘから出力するログ情報に応じた操作ガイダンス情報には、例えば、一定時間以上、次のログ情報がログ情報出力部４０Ｘから出力されない場合に応じた操作ガイダンス情報も含まれる。
【０１６７】
そして、操作ガイダンス情報の内容は、第１の実施形態で定義される操作ガイダンスと同様である。
【０１６８】
また、本実施形態では、アプリケーションＡＰは、ロボット１００の制御部１０ｄに備えられているが、アプリケーションＡＰは、自動処理機Ｘ１〜Ｘｎ、又は、ロボット１００及び自動処理機Ｘ１〜Ｘｎと通信可能なサーバーＳに、備えられていてもよい。
【０１６９】
このように、操作ガイダンスシステム２０００は、第１の実施形態と比較して、ログ情報出力部４０ｘが出力するログ情報を解析する解析機能を有するアプリケーションＡＰをさらに備える。
【０１７０】
なお、この操作ガイダンスシステム２０００のその他の構成・機能は、第１の実施形態の操作ガイダンスシステム１０００（図１）の構成・機能と同様である。
【０１７１】
次に、以上のような構成・機能を有する操作ガイダンスシステム２０００の動作について説明する。
【０１７２】
ここで、図２２は、図２１に示す操作ガイダンスシステム２０００のアプリケーションＡＰの動作フローの一例を示す図である。
【０１７３】
図２２に示すように、先ず、アプリケーションＡＰは、ログ情報出力部４０Ｘが出力するログ情報が含まれるログファイルを読み出す（ステップＳ２１）。なお、このログファイルは、例えば、自動処理機の記憶部２０Ｘに記憶されている。
【０１７４】
次に、アプリケーションＡＰは、当該ログファイルに更新があるか否か（すなわち、ログ情報出力部４０Ｘが新たなログ情報を出力したか否か）を確認する（ステップＳ２２）。
【０１７５】
そして、当該ログファイルに更新が無い場合、アプリケーションＡＰは、ステップＳ２１に戻り、当該ログファイルを再度読み出すこととなる。
【０１７６】
一方、アプリケーションＡＰは、当該ログファイルに更新がある場合には、ロボット１００が操作ガイダンスを実行するトリガになるログ情報が、ログ情報出力部４０Ｘから出力されたか否かを確認（当該ログ情報を解析）する（ステップＳ２３）。
【０１７７】
そして、トリガになるログ情報が出力されていない場合は、アプリケーションＡＰは、ステップＳ２１に戻り、当該ログファイルを再度読み出すこととなる。
【０１７８】
次に、アプリケーションＡＰは、トリガになるログ情報が出力されている場合は、当該ログ情報が自動処理機の処理を終了する終了ログを含むか否かを確認する（ステップＳ２４）。
【０１７９】
そして、当該ログ情報に終了ログが含まれていない場合には、アプリケーションＡＰは、ロボット１００（制御部１０ｄ）に当該ログ情報に応じて決定した操作ガイダンスを実行する旨を指示する（ステップＳ２５）。なお、ここでは、アプリケーションＡＰは制御部１０ｄに備えられているので、制御部１０ｄが、実質的には、このアプリケーションＡＰの機能により、当該ログ情報に応じて操作ガイダンスを決定する。
【０１８０】
そして、ロボット１００の制御部１０ｄは、この指示に応じて、アプリケーションＡＰにより解析されたログ情報に応じた操作ガイダンス情報を出力部５０に出力させる。
【０１８１】
なお、アプリケーションＡＰがサーバーＳ又は自動処理機Ｘ１〜Ｘｎに備えられている場合は、当該アプリケーションＡＰが生成した指示は、サーバーＳ又は自動処理機Ｘ１〜Ｘからロボット１００に送信される。ロボット１００の制御部１０ｄは、受信した指示に基づいて、アプリケーションＡＰにより解析されたログ情報に応じた操作ガイダンス情報を出力部５０に出力させることとなる。
【０１８２】
そして、このステップＳ２５の後、アプリケーションＡＰは、ステップＳ２１に戻り、ログファイルを再度読み出すこととなる。
【０１８３】
一方、ステップＳ２４において、当該ログ情報に終了ログが含まれている場合には、アプリケーションＡＰは、その処理を終了する。
【０１８４】
以上のアプリケーションＡＰのステップＳ２１〜Ｓ２５により、ロボット１００は、アプリケーションＡＰにより解析された自動処理機のログ情報に応じた操作ガイダンス情報を出力部５０に出力させる。
【０１８５】
ここで、図２３ないし図２６は、本発明の一態様である第２の実施形態に係る操作ガイダンスシステム２０００のロボット１００の動作の例を示す図である。
【０１８６】
例えば、図２３に示すように、アプリケーションＡＰは、自動処理機Ｘ２のログファイルＬの更新（差分となる新たなログ情報Ｌｘ）を検知して、ログ情報出力部４０Ｘが出力した新たなログ情報Ｌｘの中にトリガとなるログ情報が含まれていれば、当該ログ情報に応じた操作ガイダンスを決定する。
【０１８７】
そして、ロボット１００は、アプリケーションＡＰにより決定された操作ガイダンスを、当該ログ情報Ｌｘを出力した自動処理機Ｘ２の近傍に位置する顧客に対して、実行することとなる。
【０１８８】
また、図２４に示すように、アプリケーションＡＰは、自動処理機Ｘ２のログファイルの更新を検知（差分となる新たなログ情報Ｌｘ）して、ログ情報出力部４０Ｘが出力したログ情報Ｌａの更新部分のログ情報Ｌｘと同様の内容が、ログ情報Ｌａの過去のログ情報に複数有るときには、選択した当該ログ情報Ｌｘに応じて実行すべき操作ガイダンスを決定する。
【０１８９】
すなわち、アプリケーションＡＰは、自動処理機Ｘ２の過去の複数のログ情報Ｌａを解析し、過去の複数のログ情報Ｌａの解析結果に基づいて、過去の複数のログ情報Ｌａから、操作ガイダンスが必要な処理状態に対応するログ情報Ｌｘを選択する。
【０１９０】
そして、ロボット１００の制御部１０ｄは、アプリケーションＡＰにより選択されたログ情報Ｌｘに応じた操作ガイダンス情報を出力部５０に出力させる。
【０１９１】
これにより、ロボット１００は、過去のログ情報に応じてアプリケーションＡＰにより決定された操作ガイダンスを、当該ログ情報を出力した自動処理機Ｘ２の近傍に位置する顧客に対して、実行することとなる。
【０１９２】
このように、アプリケーションＡＰは、過去のログ情報を解析して、当該ログ情報が出力された場合に顧客が必要な操作ガイダンスを学習し、その結果に基づいて実行すべき操作ガイダンスを決定するようにしてもよい。
【０１９３】
また、図２５に示すように、アプリケーションＡＰは、複数の自動処理機Ｘ１〜Ｘ３のログ情報Ｌ１〜Ｌ３を解析し、複数の自動処理機Ｘ１〜Ｘ３のログ情報Ｌ１〜Ｌ３の解析結果に基づいて、操作ガイダンスが必要な処理状態に対応するログ情報の優先度を決定するようにしてもよい。図２５の例では、自動処理機Ｘ２が出力したログ情報Ｌ２が優先度が高いものとして判断されている。
【０１９４】
そして、ロボット１００の制御部１０ｄは、アプリケーションＡＰにより決定された優先度が一番高い自動処理機Ｘ２のログ情報Ｌ２に応じた操作ガイダンス情報を出力部５０に出力させる。又は、ロボット１００の制御部１０ｄは、アプリケーションＡＰにより決定された優先度が高い順に自動処理機の前記ログ情報に応じた操作ガイダンス情報を前記出力部５０に出力させるようにしてもよい。
【０１９５】
さらに、ロボット１００は、人流計測装置Ｙが取得した人流情報に基づいて、複数の自動処理機Ｘ１〜Ｘ３のうち、操作ガイダンスを実行すべき処理状態の自動処理機Ｘ２を選択し、選択した自動処理機Ｘ２の近傍に移動して、この選択した自動処理機Ｘ２に近接している顧客に対して、選択した自動処理機Ｘ２のログ情報Ｌ２に応じた操作ガイダンスを実行するようにしてもよい。
【０１９６】
このようなロボット１００の動作により、自動処理機の様々な情報がログ情報を通して集まるため、例えば、従来のコンシェルジュのように巡回する必要が無くなる。
【０１９７】
また、図２６に示すように、アプリケーションＡＰは、自動処理機Ｘｎが出力するログ情報Ｌｎがファイル（テキストや画像ファイル）等であれば、その形式に拘わらず、当該自動処理機Ｘｎの処理状態の履歴をログ情報として検知することも可能である。この場合も、アプリケーションＡＰは、自動処理機Ｘ２のログファイルの更新をその形式に拘わらず検知し、ログ情報出力部４０Ｘが出力した新たなログ情報の中にトリガとなるログ情報が含まれていれば、当該ログ情報に応じた操作ガイダンスを決定する。
【０１９８】
このように、アプリケーションＡＰの動作・機能は、各自動処理機のソフトウェアと切り離して設定されるため、自動処理機に対する汎用性は、高いものとなる。
【０１９９】
そして、ロボット１００は、アプリケーションＡＰにより決定された操作ガイダンスを、当該ログ情報を出力した自動処理機Ｘ２の近傍に位置する顧客に対して、実行することとなる。
【０２００】
以上のように、本実施形態に係る操作ガイダンスシステムおよびロボットによれば、ロボット（コミュニケーションロボット）が、自動処理機の処理状態（ログ情報）に応じて、顧客に適切な自動処理機の操作ガイダンスを提供して自動処理機の操作支援をすることができる。
【０２０１】
特に、上述のように自動処理機から出力されるログ情報を解析するだけでよいため、自動処理機のソフトを変更する必要ない。
【０２０２】
また、自動処理機毎ではあるが、ログ情報の内容が大まかに確定している場合が多いため、ロボットの動作の定義が容易となる。
【０２０３】
さらに、当該アプリケーションは、自動処理機のソフトウェアとは切り離した連携方法となるため、ロボットの制御に関する不具合が発生しても自動処理機の動作に影響しない。
【０２０４】
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【０２０５】
１０００、２０００  操作ガイダンスシステム
Ｘ１〜Ｘｎ  自動処理機
Ｙ  人流計測装置
１００  ロボット
１０  ＣＰＵ
２０  記憶部
ＣＯ  無線通信部
ＣＡ  撮像部
ＣＡ１  ＲＧＢカメラ
ＣＡ２  深度カメラ
ＭＡ  音声入力部
４０  顧客状況認識部
５０  出力部
ＳＰ  音声出力部
ＤＩ  表示部
ＡＤ  関節駆動部
ＭＯ  移動部
ＥＭ  ＬＥＤ発光部
ＡＲ  腕部
Ｈ  頭部
１０ａ  音声認識部
１０ｂ１  表情判定部
１０ｂ２  動作判定部
１０ｂ３  年齢・性別判定部
１０ｃ  状態取得部
１０ｄ  制御部
ＡＰ  アプリケーション
４０Ｘ  ログ情報出力部
【図１】
2017087411.tif 000003
【図２】
2017087411.tif 000004
【図３】
2017087411.tif 000005
【図４】
2017087411.tif 000006
【図５】
2017087411.tif 000007
【図６】
2017087411.tif 000008
【図７】
2017087411.tif 000009
【図８】
2017087411.tif 000010
【図９】
2017087411.tif 000011
【図１０】
2017087411.tif 000012
【図１１】
2017087411.tif 000013
【図１２】
2017087411.tif 000014
【図１３】
2017087411.tif 000015
【図１４】
2017087411.tif 000016
【図１５】
2017087411.tif 000017
【図１６】
2017087411.tif 000018
【図１７】
2017087411.tif 000019
【図１８】
2017087411.tif 000020
【図１９】
2017087411.tif 000021
【図２０】
2017087411.tif 000022
【図２１】
2017087411.tif 000023
【図２２】
2017087411.tif 000024
【図２３】
2017087411.tif 000025
【図２４】
2017087411.tif 000026
【図２５】
2017087411.tif 000027
【図２６】
2017087411.tif 000028