(57)【要約】【課題】利用者支援装置、利用者支援方法、プログラム、及び情報処理システムを提供する。【解決手段】複数の利用者によって順次に操作される情報処理装置の操作支援を行うための利用者支援装置であって、前記情報処理装置を操作する第１の利用者の心身状態を示す第１の心身状態情報と、前記情報処理装置を前記第１の利用者より後に操作する第２の利用者に関する待ち行列情報と、を取得する取得部、及び前記第１の心身状態情報と、前記待ち行列情報とに基づく判定により、前記第１の利用者による前記情報処理装置の操作の支援方式を選択する支援判定部、を備える利用者支援装置。【選択図】図１
2019144829.tif 000002
【特許請求の範囲】
【請求項１】
複数の利用者によって順次に操作される情報処理装置の操作支援を行うための利用者支援装置であって、
前記情報処理装置を操作する第１の利用者の心身状態を示す第１の心身状態情報と、前記情報処理装置を前記第１の利用者より後に操作する第２の利用者に関する待ち行列情報と、を取得する取得部、及び
前記第１の心身状態情報と、前記待ち行列情報とに基づく判定により、前記第１の利用者による前記情報処理装置の操作の支援方式を選択する支援判定部、
を備える利用者支援装置。
【請求項２】
前記支援判定部は、第１の心身状態情報及び待ち行列情報と、支援方式とを関連付ける利用者支援判定テーブルを用いて、前記支援方式を選択する、請求項１に記載の利用者支援装置。
【請求項３】
選択された前記支援方式に応じて、前記第１の利用者の支援に関する制御を行う支援制御部をさらに備える、請求項１または２に記載の利用者支援装置。
【請求項４】
前記支援制御部は、選択された前記支援方式に応じて、前記第１の利用者による前記情報処理装置の操作支援に関する支援情報を生成する、請求項３に記載の利用者支援装置。
【請求項５】
前記支援制御部により生成される前記支援情報は、選択された前記支援方式を示す情報を含む、請求項４に記載の利用者支援装置。
【請求項６】
前記支援制御部により生成される前記支援情報は、前記第１の利用者による過去の操作を示す情報を含む、請求項４または５に記載の利用者支援装置。
【請求項７】
前記支援制御部により生成される前記支援情報は、前記第１の利用者との過去のやり取りを示す情報を含む、請求項４〜６のいずれか一項に記載の利用者支援装置。
【請求項８】
選択された前記支援方式が、エージェントによる支援である場合、前記支援制御部により生成される前記支援情報は、前記第１の利用者による操作を支援するエージェントを前記情報処理装置に表示させるためのエージェント制御情報を含む、請求項４〜７のいずれか一項に記載の利用者支援装置。
【請求項９】
前記第１の心身状態情報は、前記第１の利用者の表情の困惑度を示す情報を含む、請求項１〜８のいずれか一項に記載の利用者支援装置。
【請求項１０】
前記待ち行列情報は、前記第２の利用者の人数の情報を含む、請求項１〜９のいずれか一項に記載の利用者支援装置。
【請求項１１】
前記待ち行列情報は、前記第２の利用者の心身状態を示す第２の心身状態情報を含む、請求項１〜１０のいずれか一項に記載の利用者支援装置。
【請求項１２】
前記第２の心身状態情報は、前記第２の利用者のうち、不満度が高い人数の情報を含む、請求項１１に記載の利用者支援装置。
【請求項１３】
複数の利用者によって順次に操作される情報処理装置の操作支援を行うための利用者支援方法であって、
前記情報処理装置を操作する第１の利用者の心身状態を示す第１の心身状態情報と、前記情報処理装置を前記第１の利用者より後に操作する第２の利用者に関する待ち行列情報と、を取得すること、及び
前記第１の心身状態情報と、前記待ち行列情報とに基づく判定により、前記第１の利用者による前記情報処理装置の操作の支援方式を選択すること、
を含む、利用者支援方法。
【請求項１４】
複数の利用者によって順次に操作される情報処理装置の操作支援を行うコンピュータに、
前記情報処理装置を操作する第１の利用者の心身状態を示す第１の心身状態情報と、前記情報処理装置を前記第１の利用者より後に操作する第２の利用者に関する待ち行列情報と、を取得する機能、及び
前記第１の心身状態情報と、前記待ち行列情報とに基づく判定により、前記第１の利用者による前記情報処理装置の操作の支援方式を選択する機能、
を実現させるためのプログラム。
【請求項１５】
複数の利用者によって順次に操作される情報処理装置、
前記情報処理装置を操作する第１の利用者より後に、前記情報処理装置を操作する第２の利用者により形成される待ち行列を認識し、前記第２の利用者に関する待ち行列情報を生成する待ち行列認識装置、
前記情報処理装置の操作支援を行うための利用者支援装置、及び
前記情報処理装置と前記待ち行列認識装置と前記利用者支援装置と、を相互に接続するネットワーク、含む情報処理システムであって、
前記利用者支援装置は、
前記第１の利用者の心身状態を示す第１の心身状態情報と、前記第２の利用者に関する待ち行列情報と、を取得する取得部、及び
前記第１の心身状態情報と、前記待ち行列情報とに基づく判定により、前記第１の利用者による前記情報処理装置の操作の支援方式を選択する支援判定部、
を備える、情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、利用者支援装置、利用者支援方法、プログラム、及び情報処理システム
に関する。
【背景技術】
【０００２】
現在、銀行またはコンビニエンスストア等に設置されている現金自動預け払い機（ＡＴＭ）または駅に設置されている乗車券発券機等の情報処理装置を用いて、利用者は複数の異なる手続を行うことができる。しかし、これらの情報処理装置における手続の中には難解な操作を要する手続もある。そのため、これらのＡＴＭまたは乗車券発券機においては、音声出力、あるいは画像表示によるガイダンスを行うことで、利用者を支援する場合がある。
【０００３】
このようなガイダンスを行うシステムに関して下記の特許文献１が開示されている。特許文献１には、画像情報から情報処理端末の利用者の表情及び身体動作を検出し、検出結果に基づいて判定された心身状態に基づいて、利用者への画像や音声による情報提示を制御する技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２３７５６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した特許文献１に開示されている技術では、情報提供の制御に用いられる心身状態は、情報処理装置を現在操作している利用者一人の心身状態のみに限られる。しかし、例えば乗車券発券機やＡＴＭ等の情報処理装置は、１台の情報処理装置が複数の利用者によって順次に操作され、現在操作している利用者の後に操作する予定の利用者は、例えば待ち行列を形成することがある。このように、１台の情報処理装置が複数の利用者によって順次に操作される場合、情報処理装置を現在操作している利用者のみならず、当該情報処理装置を使用するために待ち行列に並んだ人の状況をも反映して、利用者の支援を行うことが望ましい。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、情報処理装置を操作している利用者一人の心身状態のみならず、待ち行列に並んだ利用者の状況をも反映して利用者の支援を行うことが可能な、新規かつ改良された利用者支援装置、利用者支援方法、プログラム、及び情報処理システムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、複数の利用者によって順次に操作される情報処理装置の操作支援を行うための利用者支援装置であって、前記情報処理装置を操作する第１の利用者の心身状態を示す第１の心身状態情報と、前記情報処理装置を前記第１の利用者より後に操作する第２の利用者に関する待ち行列情報と、を取得する取得部、及び前記第１の心身状態情報と、前記待ち行列情報とに基づく判定により、前記第１の利用者による前記情報処理装置の操作の支援方式を選択する支援判定部、を備える利用者支援装置が提供される。
【０００８】
また、前記支援判定部は、第１の心身状態情報及び待ち行列情報と、支援方式とを関連付ける利用者支援判定テーブルを用いて、前記支援方式を選択してもよい。
【０００９】
選択された前記支援方式に応じて、前記第１の利用者の支援に関する制御を行う支援制御部をさらに備えてもよい。
【００１０】
前記支援制御部は、選択された前記支援方式に応じて、前記第１の利用者による前記情報処理装置の操作支援に関する支援情報を生成してもよい。
【００１１】
前記支援制御部により生成される前記支援情報は、選択された前記支援方式を示す情報を含んでもよい。
【００１２】
前記支援制御部により生成される前記支援情報は、前記第１の利用者による過去の操作を示す情報を含んでもよい。
【００１３】
前記支援制御部により生成される前記支援情報は、前記第１の利用者との過去のやり取りを示す情報を含んでもよい。
【００１４】
選択された前記支援方式が、エージェントによる支援である場合、前記支援制御部により生成される前記支援情報は、前記第１の利用者による操作を支援するエージェントを前記情報処理装置に表示させるためのエージェント制御情報を含んでもよい。
【００１５】
前記第１の心身状態情報は、前記第１の利用者の表情の困惑度を示す情報を含んでもよい。
【００１６】
前記待ち行列情報は、前記第２の利用者の人数の情報を含んでもよい。
【００１７】
前記待ち行列情報は、前記第２の利用者の心身状態を示す第２の心身状態情報を含んでもよい。
【００１８】
前記第２の心身状態情報は、前記第２の利用者のうち、不満度が高い人数の情報を含んでもよい。
【００１９】
また、上記課題を解決するために、本発明の別の観点によれば、複数の利用者によって順次に操作される情報処理装置の操作支援を行うための利用者支援方法であって、前記情報処理装置を操作する第１の利用者の心身状態を示す第１の心身状態情報と、前記情報処理装置を前記第１の利用者より後に操作する第２の利用者に関する待ち行列情報と、を取得すること、及び前記第１の心身状態情報と、前記待ち行列情報とに基づく判定により、前記第１の利用者による前記情報処理装置の操作の支援方式を選択すること、を含む、利用者支援方法が提供される。
【００２０】
また、上記課題を解決するために、本発明の別の観点によれば、複数の利用者によって順次に操作される情報処理装置の操作支援を行うコンピュータに、前記情報処理装置を操作する第１の利用者の心身状態を示す第１の心身状態情報と、前記情報処理装置を前記第１の利用者より後に操作する第２の利用者に関する待ち行列情報と、を取得する機能、及び前記第１の心身状態情報と、前記待ち行列情報とに基づく判定により、前記第１の利用者による前記情報処理装置の操作の支援方式を選択する機能、を実現させるためのプログラムが提供される。
【００２１】
また、上記課題を解決するために、本発明の別の観点によれば、複数の利用者によって順次に操作される情報処理装置、前記情報処理装置を操作する第１の利用者より後に、前記情報処理装置を操作する第２の利用者により形成される待ち行列を認識し、前記第２の利用者に関する待ち行列情報を生成する待ち行列認識装置、前記情報処理装置の操作支援を行うための利用者支援装置、及び前記情報処理装置と前記待ち行列認識装置と前記利用者支援装置と、を相互に接続するネットワーク、含む情報処理システムであって、前記利用者支援装置は、前記第１の利用者の心身状態を示す第１の心身状態情報と、前記第２の利用者に関する待ち行列情報と、を取得する取得部、及び前記第１の心身状態情報と、前記待ち行列情報とに基づく判定により、前記第１の利用者による前記情報処理装置の操作の支援方式を選択する支援判定部、を備える、情報処理システムが提供される。
【発明の効果】
【００２２】
以上説明したように本発明によれば、情報処理装置を操作している利用者一人の心身状態のみならず、待ち行列に並んだ利用者の状況をも反映して利用者の支援を行うことが可能となる。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施形態による情報処理システム１の概略的な構成の一例を示す説明図である。
【図２】同実施形態にかかる情報処理装置１００の構成の一例を示すブロック図である。
【図３】出力制御部１１２が表示部１５０に表示させる画面の一例を示す図である。
【図４】利用者Ｕ１の顔画像から得られる複数の特徴点の例を示す図である。
【図５】ニュートラルな表情と困惑の表情の関係を説明するための図である。
【図６】同実施形態にかかる行列認識装置２００の構成の一例を示すブロック図である。
【図７】同実施形態にかかる監視装置３００の構成の一例を示すブロック図である。
【図８】同実施形態にかかるオペレータ端末４００の構成の一例を示すブロック図である。
【図９】同実施形態にかかる利用者支援装置５００の構成の一例を示すブロック図である。
【図１０】記憶部５２０に記憶された利用者支援判定テーブルの一例を示す表である。
【図１１】同実施形態による情報処理システム１の処理の流れを示すフローチャート図である。
【図１２】支援方式が選択された際に表示部１５０に表示される画面の一例を示す図である。
【図１３】エージェントによる支援が行われる場合に表示部１５０に表示される画面の一例を示す図である。
【図１４】オペレータに接続させる画面の一例を示す図である。
【図１５】オペレータによる支援が行われる場合に表示部１５０に表示される画面の一例を示す図である。
【図１６】変形例１にかかる待ち行列認識装置２００の構成の一例を示すブロック図である。
【図１７】本変形例にかかる記憶部５２０に記憶された利用者支援判定テーブルの一例を示す表である。
【図１８】本変形例の処理の流れを示すフローチャート図である。
【図１９】本発明の実施形態に係る情報処理装置１０００のハードウェア構成を示す説明図である。
【発明を実施するための形態】
【００２４】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２５】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【００２６】
＜＜１．情報処理システムの概要＞＞
まず、図１を参照して、本発明の一実施形態による情報処理システム１の概要について説明する。図１は、情報処理システム１の概略的な構成の一例を示す説明図である。情報処理システム１は、情報処理装置１００、待ち行列認識装置２００、待ち行列撮像部２５０、監視装置３００、通信端末３５０、オペレータ端末４００、利用者支援装置５００、及びネットワーク６００を含む。
【００２７】
情報処理装置１００は、複数の利用者によって順次に操作される情報処理装置である。なお、本実施形態では、情報処理装置１００が駅に設置された乗車券発券機である例を説明する。情報処理装置１００は、撮像部１７０の撮像により取得された、情報処理装置１００を操作する利用者Ｕ１の撮像画像に基づいて、利用者Ｕ１の心身状態を判定する。さらに、情報処理装置１００は、ネットワーク６００を介して、利用者Ｕ１の心身状態を示す情報（以下、第１の心身状態情報と呼ぶ）を、利用者支援装置５００へ送信する。なお、情報処理装置１００の詳細な構成については、図２を参照して後述する。
【００２８】
なお、図１に示す例では、情報処理装置１００を操作している利用者Ｕ１（第１の利用者）より後に情報処理装置１００を操作する予定の利用者Ｕ２〜Ｕｎ（第２の利用者）が、利用者Ｕ１の後ろに並び、待ち行列Ｑを形成している。ただし、待ち行列Ｑは、利用者Ｕ１のすぐ後ろに形成される例に限定されず、利用者Ｕ１とは離れた場所に形成されてもよく、例えば情報処理装置１００が存在する空間とは別の空間（別の部屋等）に形成されてもよい。
【００２９】
待ち行列認識装置２００は、待ち行列撮像部２５０の撮像により取得される待ち行列Ｑの撮像画像に基づいて、待ち行列Ｑに関する認識を行い、待ち行列Ｑを形成する利用者Ｕ２〜Ｕｎ（第２の利用者）に関する待ち行列情報を生成する。待ち行列情報は、例えば、待ち行列Ｑに含まれる利用者Ｕ２〜Ｕｎの数を含んでもよい。また、待ち行列認識装置２００は、ネットワーク６００を介して、待ち行列情報を利用者支援装置５００へ送信する。なお、待ち行列認識装置２００の詳細な構成については、図６を参照して後述する。
【００３０】
待ち行列撮像部２５０は、待ち行列認識装置２００に接続され、利用者Ｕ２〜Ｕｎにより形成される待ち行列Ｑを撮像して取得した撮像画像を、待ち行列認識装置２００へ提供する。なお、待ち行列撮像部２５０は、待ち行列Ｑの撮像画像を取得可能な位置、及び向きに配置され、好ましくは待ち行列Ｑが形成されると想定される範囲の全体を撮像可能であるように配置される。例えば待ち行列Ｑを形成する利用者Ｕ２〜Ｕｎが多く、１台の待ち行列撮像部２５０では待ち行列Ｑの全体を撮像することが困難であると想定される場合には、複数の待ち行列撮像部２５０が配置されて、複数の撮像画像が待ち行列認識装置２００へ提供されてもよい。
【００３１】
監視装置３００は、例えば情報処理装置１００が存在する駅に設置される。監視装置３００は、ネットワーク６００を介して利用者支援装置５００から駅員による支援を示す支援情報を受信した場合に、駅員Ｅ１が有する通信端末３５０へ、利用者Ｕ１を支援する指示を送信する。なお、監視装置３００の詳細な構成については、図７を参照して後述する。
【００３２】
通信端末３５０は、図１に示すように監視装置３００と接続され、駅員Ｅ１が有する端末である。通信端末３５０は、情報処理装置１００の利用者Ｕ１を支援する指示を監視装置３００から受信した場合、当該指示に従って駅員Ｅ１を情報処理装置１００へ誘導する画面を表示する。
【００３３】
オペレータ端末４００は、オペレータＯ１により利用される端末であり、例えばオペレータ端末４００は、例えば情報処理装置１００が存在する駅とは離れた遠隔地に設置されていてもよい。オペレータ端末４００は、いわゆるＴＶ電話機能を有し、ネットワーク６００を介して利用者支援装置５００からオペレータによる支援を示す支援情報を受信した場合に、ネットワーク６００を介して情報処理装置１００と接続してＴＶ電話機能を用いた支援を実現する。なお、オペレータ端末４００の詳細な構成については、図８を参照して後述する。
【００３４】
利用者支援装置５００は、情報処理装置１００の操作支援を行うための装置である。利用者支援装置５００は、ネットワーク６００を介し、第１の心身状態情報を情報処理装置１００から受信（取得）し、待ち行列情報を待ち行列認識装置２００から受信（取得）する。さらに、利用者支援装置５００は、第１の心身状態情報と、待ち行列情報とに基づいて判定を行うことにより、利用者Ｕ１による情報処理装置１００の操作の支援方式（以下、単に支援方式とも呼ぶ）を選択する。さらに、利用者支援装置５００は、選択した支援方式に応じて、利用者Ｕ１の支援に関する制御を行う。なお、利用者支援装置５００の詳細な構成については、図９を参照して後述する。
【００３５】
ネットワーク６００は、情報処理装置１００、待ち行列認識装置２００、監視装置３００、オペレータ端末４００、及び利用者支援装置５００を接続する有線、または無線の通信網である。例えば、ネットワーク６００は、インターネット、電話回線網、衛星通信網等の公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Local  Area  Network）、ＷＡＮ（Wide  Area  Network）等を含んでもよい。また、ネットワーク６００は、ＩＰ−ＶＰＮ（Internet  Protocol−Virtual  Private  Network）等の専用回線網を含んでもよい。
【００３６】
以上、本発明の一実施形態による情報処理システム１の概要について説明した。本実施形態による情報処理システム１によれば、情報処理装置１００を操作している利用者Ｕ１の心身状態のみならず、待ち行列Ｑに並んだ利用者Ｕ２〜Ｕｎの状況に基づいて支援方式を選択して、利用者を支援することが可能である。以下では、上述した情報処理システム１に含まれる情報処理装置１００、待ち行列認識装置２００、監視装置３００、オペレータ端末４００、及び利用者支援装置５００の構成について、より詳細に説明する。
【００３７】
＜＜２．各装置の構成＞＞
＜２−１．情報処理装置＞
図２は、図１に示した情報処理装置１００の構成の一例を示すブロック図である。情報処理装置１００は、制御部１１０、記憶部１２０、スピーカ１３０、マイクロフォン１４０、表示部１５０、操作部１６０、撮像部１７０、及び通信部１８０を備える。
【００３８】
制御部１１０は、情報処理装置１００の各構成を制御する機能を有する。また、制御部１１０は、図２に示すように、出力制御部１１２、操作処理部１１４、及び画像処理部１１６としても機能する。
【００３９】
出力制御部１１２は、情報処理装置１００による出力を制御する。出力制御部１１２は、例えばスピーカ１３０にガイダンス音声等を出力させる。また、出力制御部１１２は、情報処理装置１００が提供するサービスに関する画面や、後述する利用者支援装置５００から受信する支援情報に基づいた画面を表示部１５０に表示させる表示制御部として機能し得る。
【００４０】
図３は、出力制御部１１２が表示部１５０に表示させる画面の一例を示す図である。上述したように、本実施形態において、情報処理装置１００は、駅に設置された乗車券発券機であるため、出力制御部１１２は、図３に示すような乗車券の発券（情報処理装置１００が提供するサービスの一例）のための画面を表示部１５０へ表示させる。
【００４１】
図３に示す画面は、操作の説明を含む操作指示領域Ｖ１２、及びサービスの操作ボタン等を含むコンテンツ領域Ｖ１４からなる。また、操作指示領域Ｖ１２にはエージェントＶ１２１が含まれる。
【００４２】
なお、図３に示したのは一例であって、出力制御部１１２が表示部１５０に表示させる画面は図３に示す例に限定されない。例えば、出力制御部１１２は、後述する操作処理部１１４が取得した操作情報に応じて、出力制御部１１２が表示部１５０に表示させる画面を遷移させる。
【００４３】
また、出力制御部１１２は、後述するように、利用者支援装置５００により選択された支援方式に応じた画面を表示部１５０に表示させる。例えば、エージェントによる支援が選択された場合、出力制御部１１２は、後述する利用者支援装置５００から受信する支援情報に含まれるエージェント制御情報に基づいて、図３に示したエージェントＶ１２１による支援のための画面を表示部１５０に表示させる。支援方式に応じて表示される画面の具体的な例については、後述する。
【００４４】
操作処理部１１４は、操作部１６０から入力された操作情報を取得する。操作処理部１１４は、操作部１６０から入力された操作情報を記憶部１２０に記憶させる。また、操作処理部１１４は、利用者による操作部１６０を介した操作が示す位置に対応する表示部１５０上の表示座標位置を算出する。そして操作処理部１１４は、算出された表示位置座標と対応するオブジェクトが利用者により操作されたと判定する。
【００４５】
画像処理部１１６は、撮像部１７０から入力される撮像画像に関する処理を行う。画像処理部１１６は、画像取得部１１６１、画像解析部１１６２、及び心身状態判定部１１６３、を有する。
【００４６】
画像取得部１１６１は、撮像部１７０から、情報処理装置１００を操作する利用者Ｕ１の撮像画像を取得する。
【００４７】
画像解析部１１６２は、画像取得部１１６１が取得した撮像画像から、情報処理装置１００を現在操作している利用者Ｕ１（第１の利用者）に関する領域を抽出する。例えば、本実施形態に係る画像解析部１１６２は、撮像画像から、利用者Ｕ１の顔を検出し、検出結果に基づいて利用者Ｕ１の顔領域を抽出してもよい。
【００４８】
画像解析部１１６２は、例えばエッジ検出または形状パターン検出によって候補領域を抽出し、抽出された候補領域を小領域に分割し、各領域の特徴点を予め設定された顔領域パターンと照合してもよい。また、画像解析部１１６２は、各候補領域の濃度が所定の閾値に対応する値である場合に胴体候補領域を抽出し、顔および胴体候補領域の濃度または彩度のコントラストを用いて顔領域を抽出してもよい。
【００４９】
心身状態判定部１１６３は、情報処理装置１００を操作している利用者Ｕ１の表情を検出し、利用者Ｕ１の心身状態を示す第１の心身状態情報を生成する。心身状態判定部１１６３により生成される第１の心身状態情報は、上述したように、利用者支援装置５００へ送信され、支援方式の選択に用いられる。例えば、心身状態判定部１１６３は、画像解析部１１６２で検出した顔領域の中で目や口の動きの変化を測定し、測定された変化と、あらかじめ設定された判定ルールを照合して表情を識別してもよい。
【００５０】
図４は、利用者Ｕ１の顔画像から得られる複数の特徴点の例を示す図である。図４に示すように、画像解析部１１６２によって、利用者Ｕ１の顔画像から特徴点として、左眉Ｐ１〜Ｐ３、右眉Ｐ４〜Ｐ６、左目Ｐ７〜Ｐ１０、右目Ｐ１１〜Ｐ１４、口Ｐ１５〜Ｐ１８が検出される。
【００５１】
以下では、具体的な例として、ニュートラルな表情と比較した困惑の表情の特徴について説明する。しかし、他の表情も困惑の表情と同様に固有の特徴を有している。したがって、それぞれの表情は、固有の特徴に基づいて認識され得る。
【００５２】
図５は、ニュートラルな表情と困惑の表情の関係を説明するための図である。画像Ｆ１は、利用者Ｕ１の表情がニュートラルな表情である場合に撮像された左眉毛画像（Ｐ１〜Ｐ３）と左目画像（Ｐ７〜Ｐ１０）である。一方、画像Ｆ２は、利用者Ｕ１の表情が困惑の表情である場合に撮像された左眉毛画像（Ｐ１〜Ｐ３）と左目画像（Ｐ７〜Ｐ１０）である。画像Ｆ１に写るニュートラルな表情と比較すると、画像Ｆ２に写る困惑の表情においては、眉毛と目の距離が短くなり（特に、眉毛の特徴点Ｐ１〜Ｐ３と目の上部の特徴点Ｐ７〜Ｐ９が変化しており）、目の開きが細くなっている（特に、目の特徴点Ｐ８とＰ１０が変化している）。
【００５３】
この例に示したように、それぞれの表情は固有の特徴を有している。したがって、各特徴点の位置が決定されれば、その各特徴点の位置に対して、表情への近さを定義することが可能である。心身状態判定部１１６３は、左眉毛に関する特徴点Ｐ１〜Ｐ３および左目に関する特徴点Ｐ７〜Ｐ１０、右眉毛に関する特徴点Ｐ４〜Ｐ６および右目に関する特徴点Ｐ１１〜Ｐ１４、口に関する特徴点Ｐ１５〜Ｐ１８、それぞれの変化前位置と変化後位置とが、予め指定した閾値を超える場合に、利用者Ｕ１の困惑度が高くなったと推定することが可能である。
【００５４】
心身状態判定部１１６３により生成される第１の心身状態情報は、上述したように推定される利用者Ｕ１の表情の困惑度を示す情報を含んでもよい。ただし、かかる例に限定されず、第１の心身状態情報は、他の心身状態判定部１１６３により判定される様々な心身状態に関する情報を含んでもよい。
【００５５】
図２に戻って説明を続ける。図２に示す記憶部１２０には、各種のプログラムおよびデータが記憶されている。記憶部１２０は、半導体メモリまたはハードディスク装置であってもよく、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）および不揮発性メモリ等で構成されていてもよい。ハードディスク装置には、ＯＳ（Ｏｐｅｒａｔｉｏｎ  Ｓｙｓｔｅｍ）および各種アプリケーションが記憶されていてもよい。ＲＡＭは、制御部１１０がプログラムに基づいて処理を実行するために用いられる各種のデータを記憶するワークメモリであってもよい。ＲＡＭには、表示部１５０に表示される表示画面、操作部１６０から入力された操作情報、撮像部１７０で撮影された利用者Ｕ１の撮像画像等の各種情報が記憶されてもよい。なお、不揮発性メモリは、電源をオフにしても記憶内容が消去されないメモリ（フラッシュメモリ）であり、各種設定情報が記憶される。
【００５６】
スピーカ１３０は、上述した出力制御部１１２の制御に従い、音声を出力する。例えば、スピーカ１３０は、情報処理装置１００が記憶している音声ガイダンス、オペレータ端末４００から受信したオペレータＯ１の音声、及び利用者支援装置５００から受信した支援情報に含まれる音声データ等を出力（再生）してもよい。
【００５７】
マイクロフォン１４０は、情報処理装置１００を操作する利用者Ｕ１の音声を取得する。例えば、利用者支援装置５００により、支援方式としてエージェントによる支援が選択された場合、マイクロフォン１４０により取得された利用者Ｕ１の音声は、制御部１１０の制御によりテキスト情報に変換されて、通信部１８０から利用者支援装置５００へ送信される。また、利用者支援装置５００により、支援方式としてエージェントによる支援が選択された場合、マイクロフォン１４０により取得された利用者Ｕ１の音声は、制御部１１０の制御により通信部１８０からオペレータ端末４００へ送信される。
【００５８】
表示部１５０は、上述した出力制御部１１２の制御に従い、各種画面を表示する。
【００５９】
操作部１６０は、例えばタッチパネルであってもよく、またはテンキー等のハードキーであってもよい。
【００６０】
撮像部１７０は、撮像により、情報処理装置１００を操作する利用者Ｕ１の撮像画像を取得する。上述したように撮像部１７０により取得された撮像画像は、利用者Ｕ１の表情を判定するために用いられ得る。例えば、撮像部１７０は、ＣＣＤ（Ｃｈａｒｇｅｄ
Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）カメラであってもよい。
【００６１】
通信部１８０は、情報処理装置１００による他の装置との間の通信を仲介する通信インタフェースである。通信部１８０は、任意の無線通信プロトコルまたは有線通信プロトコルをサポートし、例えば図１を参照して説明したネットワーク６００を介して、または直接に他の装置との間の通信接続を確立する。
【００６２】
＜２−２．待ち行列認識装置＞
図６は、図１に示した待ち行列認識装置２００の構成の一例を示すブロック図である。待ち行列認識装置２００は、図６に示すように制御部２１０、記憶部２２０、及び通信部２３０を備える。
【００６３】
制御部２１０は、待ち行列認識装置２００の各構成を制御する機能を有する。また、制御部２１０は、図６に示すように、画像取得部２１２、及び画像解析部２１４としても機能する。
【００６４】
画像取得部２１２は、図１に示した待ち行列撮像部２５０から、待ち行列Ｑの撮像画像を取得する。
【００６５】
画像解析部２１４は、画像取得部２１２が取得した撮像画像から、待ち行列Ｑに関する認識を行い、待ち行列Ｑを形成する利用者Ｕ２〜Ｕｎ（第２の利用者）に関する待ち行列情報を生成する。本実施形態において、画像解析部２１４が生成する待ち行列情報は、例えば情報処理装置１００の待ち行列Ｑに並んでいる（含まれる）利用者Ｕ２〜Ｕｎ（第２の利用者）の人数の情報を含んでもよい。画像解析部２１４により生成される待ち行列情報は、通信部２３０により、利用者支援装置５００へ送信される。
【００６６】
画像解析部２１４は、周知の画像認識手法を用いて、映像データから人物を検出し得る。例えば、人の検出範囲に相当するが画像の特徴量を保持し、映像データの中からその特徴量に類似する領域を検出範囲として検出することができる。例えば、画像解析部２１４は、人の全身、または頭部、顔のように人の一部を検出してもよい。画像解析部２１４は、上記のような人物検出の結果を用いて、待ち行列Ｑに並んでいる（含まれる）利用者Ｕ２〜Ｕｎ（第２の利用者）の人数を特定し、待ち行列情報を生成する。
【００６７】
記憶部２２０には、各種のプログラムおよびデータが記憶されている。記憶部２２０は、半導体メモリまたはハードディスク装置であってもよく、ＲＡＭおよび不揮発性メモリ等で構成されていてもよい。
【００６８】
通信部２３０は、待ち行列認識装置２００による他の装置との間の通信を仲介する通信インタフェースである。通信部２３０は、任意の無線通信プロトコルまたは有線通信プロトコルをサポートし、例えば図１を参照して説明したネットワーク６００を介して、または直接に他の装置との間の通信接続を確立する。
【００６９】
＜２−３．監視装置＞
図７は、図１に示した監視装置３００の構成の一例を示すブロック図である。監視装置３００は、図７に示すように制御部３１０、及び通信部３２０を備える。
【００７０】
制御部３１０は、監視装置３００の各構成を制御する機能を有する。また、制御部３１０は、図７に示すように、呼出制御部３１２としても機能する。
【００７１】
呼出制御部３１２は、通信部３２０が、利用者支援装置５００から駅員による支援を示す支援情報を受信した場合に、通信部３２０を制御して、駅員Ｅ１が有する通信端末３５０へ、情報処理装置１００の利用者Ｕ１を支援する指示を送信させる。なお、例えば駅の中に、図１に示した情報処理装置１００を含む複数台の情報処理装置が存在する場合、呼出制御部３１２は、支援が必要な情報処理装置１００を識別するための情報（例えば識別番号）を当該指示に含めて、通信端末３５０へ送信させてもよい。また、利用者支援装置５００から受信した支援情報に、利用者Ｕ１とのやり取りを示すテキスト情報が含まれる場合、呼出制御部３１２は当該テキスト情報を当該指示に含めて、通信端末３５０へ送信させてもよい。
【００７２】
通信部３２０は、監視装置３００による他の装置との間の通信を仲介する通信インタフェースである。通信部３２０は、任意の無線通信プロトコルまたは有線通信プロトコルをサポートし、例えば図１を参照して説明したネットワーク６００を介して、または直接に他の装置との間の通信接続を確立する。
【００７３】
例えば、通信部３２０は、利用者支援装置５００から駅員による支援を示す支援情報を受信し得る。また、通信部３２０は、呼出制御部３１２の制御に従って、情報処理装置１００の利用者Ｕ１を支援する指示を通信端末３５０へ送信する。
【００７４】
＜２−４．オペレータ端末＞
図８は、図１に示したオペレータ端末４００の構成の一例を示すブロック図である。オペレータ端末４００は、図８に示すように制御部４１０、記憶部４２０、ＴＶ電話部４３０、及び通信部４４０を備える。
【００７５】
制御部４１０は、オペレータ端末４００の各構成を制御する機能を有する。また、制御部４１０は、ＴＶ電話機能を有し、例えば通信部４４０が、ネットワーク６００を介して利用者支援装置５００からオペレータによる支援を示す支援情報を受信した場合に、ＴＶ電話機能による情報処理装置１００の利用者Ｕ１への支援を実現する。例えば、制御部４１０は、後述するＴＶ電話部４３０との入出力と通信部４４０による通信とを制御することで、情報処理装置１００の利用者Ｕ１とオペレータＯ１との間のＴＶ電話機能を実現してもよい。
【００７６】
記憶部４２０は、各種のプログラムおよびデータが記憶されている。記憶部４２０は、半導体メモリまたはハードディスク装置であってもよく、ＲＡＭおよび不揮発性メモリ等で構成されていてもよい。
【００７７】
ＴＶ電話部４３０は、図８に示すように、スピーカ４３１、マイクロフォン４３３、表示部４３５、操作部４３７、及び撮像部４３９を含む。ＴＶ電話部４３０は、制御部４１０に制御されて、情報処理装置１００の利用者Ｕ１とのＴＶ電話機能を図１に示したオペレータＯ１に提供する。
【００７８】
スピーカ４３１は、制御部４１０の制御に従い、音声を出力する。例えば、スピーカ４３１は、通信部４４０が受信した利用者Ｕ１の音声を出力する。
【００７９】
マイクロフォン４３３は、オペレータＯ１の音声を取得する。マイクロフォン４３３により取得されたオペレータＯ１の音声は、制御部４１０の制御により通信部４４０から情報処理装置１００へ送信される。
【００８０】
表示部４３５は、制御部４１０の制御に従い、利用者Ｕ１の顔画像を含む画面を表示する。また、表示部４３５に表示される画面には、情報処理装置１００に表示された操作ボタンが、情報処理装置１００と同じレイアウトで含まれていてもよい。かかる構成により、オペレータは、情報処理装置１００の利用者Ｕ１をより支援しやすくなる。
【００８１】
操作部４３７は、例えばタッチパネルであってもよく、オペレータＯ１による入力操作を受け付ける。操作部４３７が受け付ける入力操作は、上述した表示部４３５に表示された画面に含まれる操作ボタンに対する、オペレータＯ１による入力操作を含んでもよい。
【００８２】
撮像部４３９は、撮像により、オペレータＯ１の撮像画像を取得する。撮像部４３９により取得されたオペレータＯ１の撮像画像は、制御部４１０の制御により通信部４４０から情報処理装置１００へ送信される。
【００８３】
通信部４４０は、オペレータ端末４００による他の装置との間の通信を仲介する通信インタフェースである。通信部４４０は、任意の無線通信プロトコルまたは有線通信プロトコルをサポートし、例えば図１を参照して説明したネットワーク６００を介して、または直接に他の装置との間の通信接続を確立する。
【００８４】
＜２−５．利用者支援装置＞
図９は、図１に示した利用者支援装置５００の構成の一例を示すブロック図である。利用者支援装置５００は、図９に示すように制御部５１０、記憶部５２０、及び通信部５３０を備える。
【００８５】
制御部５１０は、利用者支援装置５００の各構成を制御する機能を有する。また、制御部５１０は、図９に示すように、支援判定部５１２、及び支援制御部５１４としても機能する。
【００８６】
支援判定部５１２は、情報処理装置１００から受信される第１の心身状態情報と、待ち行列認識装置２００から受信される待ち行列情報とに基づく判定を行い、情報処理装置１００の操作の支援方式を選択する。
【００８７】
例えば、支援判定部５１２は、記憶部５２０に記憶された利用者支援判定テーブルを用いた判定により、支援方式を選択してもよい。利用者支援判定テーブルは、支援方式を判定するためのテーブルであり、第１の心身状態情報及び待ち行列情報の組み合わせと、支援方式とを関連付けるテーブルである。
【００８８】
図１０は、記憶部５２０に記憶された利用者支援判定テーブルの一例を示す表である。支援判定部５１２は、図１０に示す利用者支援判定テーブルを参照することで、第１の心身状態情報に含まれる利用者Ｕ１の困惑度を示す情報、及び待ち行列情報に含まれる待ち行列Ｑに並ぶ利用者Ｕ２〜Ｕｎの人数の情報から、支援方式を選択することが出来る。
【００８９】
支援制御部５１４は、支援判定部５１２により選択された支援方式に応じて、利用者Ｕ１の支援に関する制御を行う。例えば、支援制御部５１４は、選択された支援方式に応じて、情報処理装置１００の操作支援に関する支援情報を生成する。支援情報は、例えば選択された支援方式を示す情報を含んでもよい。また、支援情報は、利用者Ｕ１による過去の（現在までの）操作を示す情報や、利用者Ｕ１との過去の（現在までの）やり取りを示す情報等を含んでもよい。かかる構成により、スムーズに利用者Ｕ１の支援が行われ得る。
【００９０】
また、支援制御部５１４は、通信部５３０を制御し、選択された支援方式に応じて、情報処理装置１００、監視装置３００、オペレータ端末４００のうち、少なくともいずれか一つへ、生成された支援情報を送信させる。
【００９１】
なお、支援制御部５１４により生成される支援情報と、送信先の装置の組み合わせの具体的な例については、支援判定部５１２により選択された支援方式ごとに後述する。
【００９２】
記憶部５２０は、各種のプログラムおよびデータが記憶されている。記憶部５２０は、半導体メモリまたはハードディスク装置であってもよく、ＲＡＭおよび不揮発性メモリ等で構成されていてもよい。記憶部５２０は、例えば図１０に示す利用者支援判定テーブルや、支援制御部５１４による利用者Ｕ１の支援に関する制御のための情報を記憶する。
【００９３】
通信部５３０は、利用者支援装置５００による他の装置との間の通信を仲介する通信インタフェースである。通信部５３０は、任意の無線通信プロトコルまたは有線通信プロトコルをサポートし、例えば図１を参照して説明したネットワーク６００を介して、または直接に他の装置との間の通信接続を確立する。通信部５３０は、取得部として機能し、第１の心身状態情報を情報処理装置１００から受信（取得）し、待ち行列情報を待ち行列認識装置２００から受信（取得）する。また、通信部５３０は、支援制御部５１４の制御に従い、支援判定部５１２により選択された支援方式に応じた支援情報を、支援方式に応じた装置へ送信する。
【００９４】
＜＜３．動作＞＞
以上、本実施形態による情報処理システム１に含まれる情報処理装置１００、待ち行列認識装置２００、監視装置３００、オペレータ端末４００、及び利用者支援装置５００の構成例について説明した。続いて、本実施形態の動作例を説明する。以下では、まず、情報処理システム１の処理の流れについて説明した後に、操作支援に関する処理の具体例について支援方式ごとに説明を行う。
【００９５】
＜３−１．処理の流れ＞
図１１は、本実施形態による情報処理システム１の処理の流れを示すフローチャート図である。図１１に示すように、まず、情報処理装置１００は、情報処理装置１００を操作する利用者Ｕ１の撮像画像を取得する（Ｓ１０２）。ステップＳ１０２は、利用者Ｕ１の検出をトリガとして開始されてもよい。例えば、情報処理装置１００は不図示の人体センサ等によって利用者を検出し、表示部１５０には記憶部１２０に記憶された操作画面が操作順序に従って表示され、操作開始に合わせて撮像部１７０を起動して撮像画像の取得が開始されてもよい。あるいは、利用者の検出ではなく、表示部１５０に表示された画面の遷移に連動し、所定の画面が表示されたことをトリガとして、ステップＳ１０２が開始されてもよい。
【００９６】
続いて、情報処理装置１００の画像処理部１１６が、ステップＳ１０２で取得された利用者Ｕ１の撮像画像から、利用者Ｕ１の心身状態を判定する（Ｓ１０４）。ステップＳ１０４において、例えば心身状態として、利用者Ｕ１の困惑度が判定されてもよい。
【００９７】
続いて、待ち行列撮像部２５０が、利用者Ｕ１より後に情報処理装置１００を利用する予定の利用者Ｕ２〜Ｕｎにより形成される待ち行列Ｑを撮像して、待ち行列Ｑの撮像画像を取得する（Ｓ１０６）。
【００９８】
続いて、待ち行列認識装置２００の画像解析部２１４が、ステップＳ１０６で取得された待ち行列Ｑの撮像画像から、待ち行列Ｑに並んでいる利用者Ｕ２〜Ｕｎ（第２の利用者）の人数を特定する（Ｓ１０８）。
【００９９】
続いて、利用者支援装置５００の支援判定部５１２が、図１０に示した利用者支援判定テーブルを用いた判定により、支援方式を選択する（Ｓ１１０）。ステップＳ１１０において、支援判定部５１２は、ステップＳ１０４で判定された利用者Ｕ１の困惑度の情報を含む第１の心身情報と、ステップＳ１０８で特定された待ち行列Ｑの人数の情報を含む待ち行列情報とに基づいて判定を行う。なお、ステップＳ１１０において、あるいはそれ以前に、利用者支援装置５００の通信部５３０は、第１の心身状態情報を情報処理装置１００から受信（取得）し、待ち行列情報を待ち行列認識装置２００から受信（取得）する。
【０１００】
続いて、利用者支援装置５００の支援制御部５１４の制御により、ステップＳ１１０で選択された支援方式に応じて、利用者Ｕ１の操作支援が開始される（Ｓ１１２）。ステップＳ１１２で開始される利用者Ｕ１の操作支援に係る処理の具体的な例については、選択された支援方式ごとに後述する。
【０１０１】
なお、ステップＳ１１２の操作支援が開始される前に、利用者Ｕ１が操作支援を希望するか否かを確認する画面が表示部１５０に表示されてもよい。図１２は、ステップＳ１１０で支援方式が選択された際に表示部１５０に表示される画面の一例を示す図である。図１２に示す画面には、利用者Ｕ１が操作支援を希望するか否かを確認するダイアログＶ１２２が含まれている。そして、ダイアログＶ１２２に含まれる「質問します」というボタンＶ１２３が選択された場合に、ステップＳ１１２の操作支援が開始され、「質問しません」というボタンＶ１２４が選択された場合には、ステップＳ１１２の操作支援がスキップされてもよい。
【０１０２】
利用者Ｕ１の支援が完了しても、利用者Ｕ１の操作が終了していない場合（Ｓ１１４においてＮＯ）、処理はステップＳ１０２に戻る。一方、利用者Ｕ１の操作が終了した場合（Ｓ１１４においてＹＥＳ）、処理は終了する。
【０１０３】
＜３−２．操作支援の具体例＞
以上、本実施形態の処理の流れについて説明した。続いて、図１１のステップＳ１１２で開始される利用者Ｕ１の操作支援に係る処理の例について、ステップＳ１１０で選択された支援方式ごとに具体的に説明する。
【０１０４】
（エージェントによる支援）
まず、選択された支援方式が、「エージェントによる支援」である場合の処理の具体的な例について説明する。ステップＳ１１０において支援判定部５１２により、「エージェントによる支援」が選択された場合、支援制御部５１４は、エージェントを情報処理装置１００に表示させるためのエージェント制御情報を含む支援情報を生成する。さらに、支援制御部５１４は通信部５３０を制御し、情報処理装置１００と利用者支援装置５００との間の接続を確立させて、エージェント制御情報を含む支援情報を情報処理装置１００へ送信させる。
【０１０５】
情報処理装置１００がエージェント制御情報を含む支援情報を受信すると、情報処理装置１００の表示部１５０にエージェントが表示される。図１３は、エージェントによる支援が行われる場合に表示部１５０に表示される画面の一例を示す図である。
【０１０６】
図１３に示す画面には、エージェントとの対話ダイアログＶ１４１が含まれる。対話ダイアログＶ１４１は、例えば図１３に示すように、エージェントからのエージェント出力Ｖ１４２、Ｖ１４４、及び利用者Ｕ１による利用者入力Ｖ１４３が含まれる。
【０１０７】
エージェント出力Ｖ１４２は、例えば、エージェント制御情報に含まれるテキスト情報に基づいて表示され得る。そして、エージェント出力Ｖ１４２を見た利用者Ｕ１がマイクロフォン１４０を介して入力した音声が、情報処理装置１００の制御部１１０によりテキスト情報に変換されて利用者支援装置５００へ送信される。かかるテキスト情報に基づいて、図１３に示す利用者入力Ｖ１４３が表示される。また、支援制御部５１４は記憶部５２０に記憶された情報を参照し、かかるテキスト情報に基づいて、回答となるテキスト情報を含むエージェント制御情報を生成する。例えば、支援制御部５１４は、かかるテキスト情報と一致する情報に対応する回答を、記憶部５２０に記憶された情報から抽出してもよい。回答となるテキスト情報を含むエージェント制御情報を生成できた場合、支援制御部５１４は、通信部５３０を制御して生成されたエージェント制御情報を含む支援情報を情報処理装置１００へ送信させる。そして、かかるエージェント制御情報に基づいて、エージェント出力Ｖ１４４が表示される。
【０１０８】
なお、利用者支援装置５００から情報処理装置１００へ送信されたエージェント制御情報に含まれるテキスト情報は、情報処理装置１００の制御部１１０によりテキスト情報から音声情報に変換され、表示部１５０に表示されると共にスピーカ１３０から音声出力されてもよい。
【０１０９】
また、情報処理装置１００から利用者支援装置５００へ送信される利用者Ｕ１の入力に基づくテキスト情報と一致する情報を見つけることが出来ない場合等、支援制御部５１４が回答となるテキスト情報を含むエージェント制御情報を生成困難な場合も考えられる。かかる場合、支援制御部５１４は、オペレータに接続させる画面を表示させるためのエージェント制御情報を生成し、通信部５３０を制御して生成されたエージェント制御情報を含む支援情報を情報処理装置１００へ送信させてもよい。図１４は、オペレータに接続させる画面の一例を示す図である。
【０１１０】
図１４に示す画面には、オペレータに接続するためのボタンＶ１４５が含まれる。利用者Ｕ１が図１４に示すボタンＶ１４５を選択した場合、支援制御部５１４は、当該選択に応じて、オペレータに支援を引き継ぐことを示す支援情報（オペレータによる支援を示す支援情報の一例）を生成する。生成された支援情報はオペレータ端末４００へ送信される。
【０１１１】
オペレータ端末４００のオペレータＯ１から反応があった場合、さらに、支援制御部５１４は、エージェントによる支援での利用者Ｕ１とのやり取りを示すテキスト情報を含む支援情報を生成し、通信部５３０を制御してオペレータ端末４００へ送信させる。かかる構成により、オペレータＯ１は、エージェントによる支援を引き継いで、支援を行うことが可能となる。
【０１１２】
一方、オペレータＯ１から一定時間入力がなかった場合、支援制御部５１４は、監視装置３００へ、駅員に支援を引き継ぐことを示す支援情報（駅員による支援を示す支援情報の一例）を生成する。生成される支援情報には、エージェントによる支援での利用者Ｕ１とのやり取りを示すテキスト情報がさらに含まれてもよい。生成された支援情報は監視装置３００へ送信され、さらに監視装置３００から駅員Ｅ１が有する通信端末３５０へ支援情報に基づく指示が送信される。かかる構成により、駅員Ｅ１は、エージェントによる支援を引き継いで、支援を行うことが可能となる。
【０１１３】
（オペレータによる支援）
続いて、選択された支援方式が、「オペレータによる支援」である場合の処理の具体的な例について説明する。ステップＳ１１０において支援判定部５１２により、「オペレータによる支援」が選択された場合、支援制御部５１４は、オペレータによる支援を示す支援情報を生成する。さらに、支援制御部５１４は通信部５３０を制御し、情報処理装置１００とオペレータ端末４００とへ、接続指示、及び生成された支援情報を送信させる。
【０１１４】
接続指示と支援情報を受信した情報処理装置１００、及びオペレータ端末４００の間で接続が開始されると、情報処理装置１００の表示部１５０にオペレータＯ１の撮像画像が表示され、スピーカ１３０からオペレータＯ１の音声が出力される。
【０１１５】
図１５は、オペレータによる支援が行われる場合に表示部１５０に表示される画面の一例を示す図である。図１５に示す画面には、オペレータ端末４００の撮像部４３９により撮像されたオペレータＯ１の撮像画像を表示するための領域Ｖ１４６が含まれている。
【０１１６】
また、図示しないが、同様にオペレータ端末４００の表示部４３５には利用者Ｕ１の撮像画像が表示される。さらに、情報処理装置１００の表示部１５０に表示されている画面情報がオペレータ端末４００へ共有されてもよい。例えば、情報処理装置１００の表示部１５０に表示されている画面情報が、オペレータ端末４００へ送信されて、表示部４３５に表示されてもよい。かかる構成により、オペレータＯ１は、利用者Ｕ１が見ている画面を把握しながら、支援を行うことが可能となる。
【０１１７】
また、利用者Ｕ１から質問がある場合は、情報処理装置１００のマイクロフォン１４０から音声を入力すると、オペレータ端末４００のスピーカ４３１から利用者Ｕ１の音声が出力される。
【０１１８】
オペレータＯ１が利用者Ｕ１に表示部１５０上で指示を行う場合、オペレータ端末４００の操作部４３７を操作して指示を入力することで、入力した内容が情報処理装置１００の表示部１５０上に表示される。また、図８には図示していないが、オペレータ端末４００に接続されたキーボードから利用者Ｕ１に代わってオペレータＯ１が操作をすることが可能であってもよい。
【０１１９】
（駅員による支援）
【０１２０】
続いて、選択された支援方式が、「駅員による支援」である場合の処理の具体的な例について説明する。ステップＳ１１０において支援判定部５１２により、「駅員による支援」が選択された場合、支援制御部５１４は、駅員による支援を示す支援情報を生成する。さらに、支援制御部５１４は通信部５３０を制御し、生成された支援情報を監視装置３００へ送信させる。
【０１２１】
支援情報を受信した監視装置３００は、駅員Ｅ１が有する通信端末３５０へ、利用者Ｕ１を支援する指示を送信する。当該指示を監視装置３００から受信した通信端末３５０は、当該指示に従って駅員Ｅ１を情報処理装置１００へ誘導する画面を表示する。そして、駅員Ｅ１は情報処理装置１００へ向かい、利用者Ｕ１の操作支援を行う。
【０１２２】
＜＜４．効果＞＞
以上、説明したように、本発明の一実施形態によれば、情報処理装置１００を操作している利用者Ｕ１の心身状態情報（困惑度）に加え、利用者Ｕ１の後に情報処理装置１００を操作する利用者Ｕ２〜Ｕｎにより形成される待ち行列Ｑの長さ（人数）に基づいて支援方式を決定することが可能である。その結果、待ち行列Ｑの長さに合わせて、情報処理装置１００を操作している利用者Ｕ１に対してより適切な支援方式で支援を行うことが可能となる。
【０１２３】
＜＜５．変形例＞＞
以上、本発明の一実施形態について説明した。以下では、上記実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で上記実施形態に適用されてもよいし、組み合わせで上記実施形態に適用されてもよい。また、各変形例は、上記実施形態で説明した構成に代えて適用されてもよいし、上記実施形態で説明した構成に対して追加的に適用されてもよい。
【０１２４】
＜５−１．変形例１＞
上記実施形態では、待ち行列情報に情報処理装置１００の待ち行列Ｑに並んでいる利用者Ｕ２〜Ｕｎの人数が含まれる例を説明したが、本発明はかかる例に限定されない。例えば、待ち行列情報には、待ち行列Ｑに並んでいる利用者Ｕ２〜Ｕｎ（第２の利用者）の心身状態を示す情報（第２の心身状態情報と呼ぶ場合がある）が含まれてもよい。以下では、かかる例について、変形例１として説明を行う。なお、本変形例にかかる情報処理システムの構成、及び動作は、一部を除いて上述した情報処理システム１の構成と同一であるため、重複説明を省略し、主に本変形例特有の構成、及び動作について説明を行う。
【０１２５】
（構成）
まず、変形例１にかかる構成について説明する。本変形例に係る情報処理システムは、待ち行列認識装置２００、及び利用者支援装置５００の構成のうちの一部が、上述した情報処理システム１と異なる。
【０１２６】
図１６は、変形例１にかかる待ち行列認識装置２００の構成の一例を示すブロック図である。本変形例にかかる待ち行列認識装置２００は、図１６に示すように制御部２１０、記憶部２２０、及び通信部２３０を備える。本変形例にかかる記憶部２２０、及び通信部２３０の構成は、図６を参照して説明した本変形例にかかる記憶部２２０、及び通信部２３０の構成と実質的に同一であるため、重複説明を省略する。
【０１２７】
本変形例にかかる制御部２１０は、待ち行列認識装置２００の各構成を制御する機能を有する。また、本変形例にかかる制御部２１０は、画像取得部２１２、及び画像解析部２１４としての機能に加え、心身状態判定部２１６としても機能する
【０１２８】
心身状態判定部２１６は、画像取得部２１２が取得した待ち行列Ｑの撮像画像から、画像解析部２１４により検出された人物領域に基づいて、利用者Ｕ２〜Ｕｎの表情や行動を判定し、その判定結果から利用者Ｕ２〜Ｕｎの心身状態を推定する。
【０１２９】
心身状態判定部２１６が推定する利用者Ｕ２〜Ｕｎの心身状態は、例えば利用者Ｕ２〜Ｕｎの不満度を含んでもよい。例えば、人物領域から、顔をしかめていたり、怒った顔をしていたり、頻繁に情報処理装置１００のほうに顔を向けて利用者Ｕ１の操作状況を確認するような行動等が検出された場合、心身状態判定部２１６は、不満度が高いと推定する。
【０１３０】
本変形例にかかる画像解析部２１４は、上記実施形態で説明した画像解析部２１４の機能に加え、利用者Ｕ２〜Ｕｎのうち心身状態判定部２１６により不満度が高いと推定された利用者の人数を特定する機能を有する。そして、本変形例にかかる画像解析部２１４は、待ち行列Ｑに並んでいる（含まれる）利用者Ｕ２〜Ｕｎ（第２の利用者）の人数の情報と、利用者Ｕ２〜Ｕｎのうち不満度が高い人数の情報（第２の心身状態情報の一例）と、を含む待ち行列情報を生成する。画像解析部２１４により生成される待ち行列情報は、上述したように通信部２３０により利用者支援装置５００へ送信される。
【０１３１】
続いて、本変形例にかかる利用者支援装置５００について、図９を参照して説明する。本変形例にかかる利用者支援装置５００は、支援判定部５１２が待ち行列情報に含まれる不満度が高い人数にさらに基づいて判定を行い、支援方式を選択する点において、上記実施形態で説明した利用者支援装置５００と異なる。また、そのため、本変形例にかかる記憶部５２０に記憶され、本変形例にかかる支援判定部５１２により用いられる利用者支援判定テーブルは、待ち行列情報として、不満度が高い人数に関する情報を含んでもよい。
【０１３２】
図１７は、本変形例にかかる記憶部５２０に記憶された利用者支援判定テーブルの一例を示す表である。支援判定部５１２は、図１７に示す利用者支援判定テーブルを参照することで、利用者Ｕ１の困惑度を示す情報、待ち行列Ｑに並ぶ利用者Ｕ２〜Ｕｎの人数の情報、及び利用者Ｕ２〜Ｕｎのうち不満度が高い人数の情報から、支援方式を選択することが可能である。
【０１３３】
（動作）
図１８は、本変形例の処理の流れを示すフローチャート図である。図１８に示すステップＳ２０２〜Ｓ２０８の処理は、図１１を参照して説明したステップＳ１０２〜１０８の処理と同様であるため、ここでの説明は省略する。
【０１３４】
ステップＳ２０９において、待ち行列認識装置２００の心身状態判定部２１６は、待ち行列Ｑの撮像画像から検出された人物領域に基づいて、各利用者の不満度を推定し、画像解析部２１４が、利用者Ｕ２〜Ｕｎのうち不満度が高い利用者の人数を特定する（Ｓ２０９）。
【０１３５】
続いて、利用者支援装置５００の支援判定部５１２が、図１７に示した利用者支援判定テーブルを用いた判定により、支援方式を選択する（Ｓ２１０）。ステップＳ２１０において、支援判定部５１２は、ステップＳ２０４で判定された利用者Ｕ１の困惑度の情報を含む第１の心身情報、並びに、ステップＳ２０８で特定された待ち行列Ｑの人数の情報、及びステップＳ２０９で特定された不満度が高い人数の情報を含む待ち行列情報、に基づいて判定を行う。なお、ステップＳ２１０において、あるいはそれ以前に、利用者支援装置５００の通信部５３０は、第１の心身状態情報を情報処理装置１００から受信（取得）し、待ち行列情報を待ち行列認識装置２００から受信（取得）する。
【０１３６】
続くステップＳ２１２〜Ｓ２１４の処理は、図１１を参照して説明したステップＳ１１２〜１１４の処理と同様であるため、ここでの説明は省略する。
【０１３７】
（効果）
以上、変形例１について説明した。本変形例によれば、情報処理装置１００を操作している利用者Ｕ１の心身状態情報（困惑度）と、待ち行列Ｑの長さ（人数）に加え、待ち行列に並ぶ利用者の不満度に基づいて支援方式を決定することが可能である。その結果、待ち行列Ｑに並ぶ利用者Ｕ２〜Ｕｎの不満度を低減するために、情報処理装置１００を操作している利用者Ｕ１に対してより適切な支援方式で支援を行うことが可能となる。
【０１３８】
＜５−２．変形例２＞
上記実施形態では、情報処理装置１００が駅に設置されている乗車券発券機である例を説明したが、本発明はかかる例に限定されない。情報処理装置１００は、複数の利用者によって順次に操作される情報処理装置であれば、ＡＴＭ等、他の装置であってもよい。
【０１３９】
＜５−３．変形例３＞
上記実施形態では、情報処理装置１００を操作する利用者Ｕ１の心身状態を、表情から特徴点により検出する手法を説明したが、本発明はこれに限定されるものではない。利用者の頭を傾げる等の行動や、表情と行動を組み合わせて検出するようにしてもよい。
【０１４０】
＜５−４．変形例４＞
また、上記実施形態では、表情認識をするための特徴として、心身状態判定部１１６３によって、利用者Ｕ１の顔画像から特徴点として、左眉・右眉で各３点、左目・右目・口について各４点を検出するとしたが、特徴点の数はこれに限定されるものではない。例えば、口は上唇と下唇に分け、特徴点を検出するようにしてもよい。
【０１４１】
＜５−５．変形例５＞
また、上記実施形態では、情報処理装置１００の利用者Ｕ１の支援方式として、エージェントによる支援、オペレータによる支援、駅員による支援の３つの方式を例にあげて説明したが、本発明はこれに限定されるものではない。
【０１４２】
＜５−６．変形例６＞
また、本発明の実施形態にかかる情報処理システムの構成は、上述した例に限定されない。例えば、上述した複数の装置の機能が、１つの装置に備えられていてもよいし、上述した装置のうち１つの装置の機能が、複数の装置に分割されて備えられてもよい。
【０１４３】
例えば、上記実施形態では、複数の利用者によって順次に操作される情報処理装置１００と、利用者支援装置５００とが別の装置である例を説明したが、本発明はかかる例に限定されない。例えば、上述した利用者支援装置５００の機能のうち、一部、または全ての機能が、情報処理装置１００に備えられていてもよい。上述した利用者支援装置５００の全ての機能が情報処理装置１００に備えられれている場合、情報処理装置１００は、複数の利用者によって順次に操作される情報処理装置であると共に、利用者支援装置でもあると解されてよい。
【０１４４】
＜＜６．ハードウェア構成＞＞
以上、本発明の各実施形態を説明した。上述した情報処理は、ソフトウェアと、情報処理装置１００、待ち行列認識装置２００、監視装置３００、通信端末３５０、オペレータ端末４００、利用者支援装置５００のハードウェアとの協働により実現される。以下では、本発明の実施形態に係る情報処理装置である情報処理装置１００、待ち行列認識装置２００、監視装置３００、通信端末３５０、オペレータ端末４００、利用者支援装置５００のハードウェア構成例として、情報処理装置１０００のハードウェア構成について説明する。
【０１４５】
図１９は、本発明の実施形態に係る情報処理装置１０００のハードウェア構成を示す説明図である。図１９に示したように、情報処理装置１０００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１００１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１００２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１００３と、入力装置１００４と、出力装置１００５と、ストレージ装置１００６と、通信装置１００７とを備える。
【０１４６】
ＣＰＵ１００１は、演算処理装置及び制御装置として機能し、各種プログラムに従って情報処理装置１０００内の動作全般を制御する。また、ＣＰＵ１００１は、マイクロプロセッサであってもよい。ＲＯＭ１００２は、ＣＰＵ１００１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ１００３は、ＣＰＵ１００１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバス等から構成されるホストバスにより相互に接続されている。主に、ＣＰＵ１００１、ＲＯＭ１００２及びＲＡＭ１００３とソフトウェアとの協働により、例えば、制御部１１０、制御部２１０、制御部３１０、制御部４１０、及び制御部５１０等の機能が実現される。
【０１４７】
入力装置１００４は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１００１に出力する入力制御回路等から構成されている。情報処理装置１０００のユーザは、該入力装置１００４を操作することにより、情報処理装置１０００に対して各種のデータを入力したり処理動作を指示したりすることができる。なお、入力装置１００４は、操作部１６０、操作部４３７に対応する。
【０１４８】
出力装置１００５は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ装置及びランプ等の表示装置を含む。さらに、出力装置１００５は、スピーカ及びヘッドホン等の音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像等を表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。なお、出力装置１００５は、表示部１５０、表示部４３５に対応する。
【０１４９】
ストレージ装置１００６は、データ格納用の装置である。ストレージ装置１００６は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置及び記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置１００６は、ＣＰＵ１００１が実行するプログラムや各種データを格納する。なお、ストレージ装置１００６は、記憶部１２０、記憶部２２０、記憶部４２０、記憶部５２０に対応する。
【０１５０】
通信装置１００７は、例えば、通信網に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置１００７は、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）対応通信装置、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）対応通信装置、有線による通信を行うワイヤー通信装置、またはブルートゥース（登録商標）通信装置を含んでもよい。なお、通信装置１００７は、通信部１８０、通信部２３０、通信部３２０、通信部４４０、通信部５３０に対応する。
【０１５１】
＜＜７．むすび＞＞
以上説明したように、本発明の実施形態によれば、情報処理装置を操作している利用者一人の心身状態のみならず、待ち行列に並んだ利用者の状況をも反映して利用者の支援を行うことが可能である。
【０１５２】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１５３】
例えば、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理される必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【０１５４】
また、上記実施形態によれば、ＣＰＵ１００１、ＲＯＭ１００２、及びＲＡＭ１００３等のハードウェアを、上述した情報処理装置１００、待ち行列認識装置２００、監視装置３００、オペレータ端末４００、利用者支援装置５００の各構成と同様の機能を発揮させるためのコンピュータプログラムも提供可能である。また、該コンピュータプログラムが記録された記録媒体も提供される。
【符号の説明】
【０１５５】
１  情報処理システム
１００  情報処理装置
１１０  制御部
１１２  出力制御部
１１４  操作処理部
１１６  画像処理部
１２０  記憶部
１３０  スピーカ
１４０  マイクロフォン
１５０  表示部
１６０  操作部
１７０  撮像部
１８０  通信部
２００  行列認識装置
２１０  制御部
２１２  画像取得部
２１４  画像解析部
２１６  心身状態判定部
２２０  記憶部
２３０  通信部
２５０  行列撮像部
３００  監視装置
３１０  制御部
４００  オペレータ端末
４１０  制御部
５００  利用者支援装置
５１０  制御部
５１２  支援判定部
５１４  支援制御部
５２０  記憶部
５３０  通信部
６００  ネットワーク
１１１４  操作処理部
１１６１  画像取得部
１１６２  画像解析部
１１６３  心身状態判定部
【図１】
2019144829.tif 000003
【図２】
2019144829.tif 000004
【図３】
2019144829.tif 000005
【図４】
2019144829.tif 000006
【図５】
2019144829.tif 000007
【図６】
2019144829.tif 000008
【図７】
2019144829.tif 000009
【図８】
2019144829.tif 000010
【図９】
2019144829.tif 000011
【図１０】
2019144829.tif 000012
【図１１】
2019144829.tif 000013
【図１２】
2019144829.tif 000014
【図１３】
2019144829.tif 000015
【図１４】
2019144829.tif 000016
【図１５】
2019144829.tif 000017
【図１６】
2019144829.tif 000018
【図１７】
2019144829.tif 000019
【図１８】
2019144829.tif 000020
【図１９】
2019144829.tif 000021