(57)【要約】【課題】画面の視認性を向上することを実現する。【解決手段】ユーザが入力した音声情報を取得する音声情報取得部と、前記音声情報をテキストデータに変換する変換部と、前記テキストデータに基づき、応答を決定し、前記応答を実行する応答部と、前記ユーザの対話相手を示す対話相手画像、及び前記応答により前記対話相手が出力する対話内容を表示する第１の表示領域と、前記テキストデータを表示する第２の表示領域と、前記応答により提供されるサービスを表示する第３の表示領域で構成される画面で、前記第３の表示領域を前記第１の表示領域と前記第２の表示領域の間に配置し、前記対話内容を前記対話相手画像よりも前記第３の表示領域側にテキスト表記で配置するように、前記応答の内容に応じて表示処理を制御する制御部と、を備える、情報処理装置。【選択図】図３
2019091151.tif 000002
【特許請求の範囲】
【請求項１】
ユーザが入力した音声情報を取得する音声情報取得部と、
前記音声情報をテキストデータに変換する変換部と、
前記テキストデータに基づき、応答を決定し、前記応答を実行する応答部と、
前記ユーザの対話相手を示す対話相手画像、及び前記応答により前記対話相手が出力する対話内容を表示する第１の表示領域と、前記テキストデータを表示する第２の表示領域と、前記応答により提供されるサービスを表示する第３の表示領域で構成される画面で、前記第３の表示領域を前記第１の表示領域と前記第２の表示領域の間に配置し、前記対話内容を前記対話相手画像よりも前記第３の表示領域側にテキスト表記で配置するように、前記応答の内容に応じて表示処理を制御する制御部と、
を備える、情報処理装置。
【請求項２】
前記制御部は、前記第１の表示領域を前記第３の表示領域の上に配置し、前記第２の表示領域を前記第３の表示領域の下に配置する、請求項１に記載の情報処理装置。
【請求項３】
前記情報処理装置は、前記ユーザを検知することが可能な検知装置と、
前記ユーザの画面操作により入力された画面操作情報を取得する画面操作情報取得部と、
をさらに備え、
前記制御部は、前記検知装置が前記ユーザを検知した際に、前記音声情報、及び前記画面操作情報を受け付け可能な状態で待機する、請求項１に記載の情報処理装置。
【請求項４】
前記応答部は、前記画面操作情報取得部が前記画面操作情報を取得した場合、前記画面操作情報に基づき、前記応答を決定し、前記応答を実行する、請求項３に記載の情報処理装置。
【請求項５】
前記制御部は、前記第３の表示領域に、音声入力による選択、及び画面のタッチによる選択が可能なサービスを表示する、請求項１に記載の情報処理装置。
【請求項６】
前記制御部は、画面切り替え時に、前記第１の表示領域の大きさが変化する場合、前記対話相手画像の表示領域の大きさを、前記第１の表示領域の大きさに合わせて調整する、請求項１または２に記載の情報処理装置。
【請求項７】
前記制御部は、前記第３の表示領域に表示する前記サービスがない場合、前記第３の表示領域を非表示にし、前記第２の表示領域より上の表示領域を前記第１の表示領域とする、請求項１または２に記載の情報処理装置。
【請求項８】
前記制御部は、前記対話内容、及び前記テキストデータを吹き出しの中に表示する、請求項１または２に記載の情報処理装置。
【請求項９】
前記制御部は、前記ユーザを示すユーザ画像を前記第２の表示領域に表示し、前記テキストデータを前記ユーザ画像と前記第３の表示領域の間に表示する、請求項１または２に記載の情報処理装置。
【請求項１０】
前記制御部は、前記ユーザとの対話が不要な処理を前記応答部が実行している場合、前記第２の表示領域と前記第３の表示領域を非表示にし、前記第１の表示領域より下の表示領域を第４の表示領域とする、請求項１または２に記載の情報処理装置。
【請求項１１】
前記情報処理装置は、決済処理を制御する決済処理部と、
発券処理を制御する発券処理部と、
をさらに備え、
前記制御部は、前記決済処理部、または前記発券処理部が処理中である場合、前記第４の表示領域にサービス情報を表示する、請求項１０に記載の情報処理装置。
【請求項１２】
前記制御部は、音声認識機能をオンまたはオフに切り替えが可能である、請求項１に記載の情報処理装置。
【請求項１３】
前記制御部は、音声認識機能がオンであり、前記第４の表示領域を表示中に前記ユーザが発話を行った場合、前記サービス情報を非表示にし、前記第２の表示領域を表示する、請求項１１に記載の情報処理装置。
【請求項１４】
前記サービスは、座席予約サービスである、請求項１に記載の情報処理装置。
【請求項１５】
ユーザが入力した音声情報を取得することと、
前記音声情報をテキストデータに変換することと、
前記テキストデータに基づき、応答を決定し、前記応答を実行することと、
前記ユーザの対話相手を示す対話相手画像、及び前記応答により前記対話相手が出力する対話内容を表示する第１の表示領域と、前記テキストデータを表示する第２の表示領域と、前記応答により提供されるサービスを表示する第３の表示領域で構成される画面で、前記第３の表示領域を前記第１の表示領域と前記第２の表示領域の間に配置し、前記対話内容を前記対話相手画像よりも前記第３の表示領域側にテキスト表記で配置するように、前記応答の内容に応じて表示処理を制御することと、
を含む、プロセッサにより実行される、情報処理方法。
【請求項１６】
コンピュータを、
ユーザが入力した音声情報を取得する音声情報取得部と、
前記音声情報をテキストデータに変換する変換部と、
前記テキストデータに基づき、応答を決定し、前記応答を実行する応答部と、
前記ユーザの対話相手を示す対話相手画像、及び前記応答により前記対話相手が出力する対話内容を表示する第１の表示領域と、前記テキストデータを表示する第２の表示領域と、前記応答により提供されるサービスを表示する第３の表示領域で構成される画面で、前記第３の表示領域を前記第１の表示領域と前記第２の表示領域の間に配置し、前記対話内容を前記対話相手画像よりも前記第３の表示領域側にテキスト表記で配置するように、前記応答の内容に応じて表示処理を制御する制御部と、
として機能させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、様々な場所に顧客操作型端末が設置されており、ユーザは顧客操作型端末を自身で操作することで多様なサービスを受けることができる。例えば、映画館に設置された顧客操作型端末は、ユーザが選択した映画の座席情報を表示し、決済処理を実行し、チケットを発券する。しかし、ユーザ自身が顧客操作型端末を操作する場合、顧客操作型端末が提供可能なサービスの多様化により、ユーザは、目的とするサービスの検索に時間を要してしまうという問題がある。検索に時間を要した上、目的とするサービスを見つけることができなかった場合、ユーザは、途中で操作をあきらめてしまうこともある。また、ユーザ自身が検索する手段の代替手段として、画面共有ソフトを用いてオペレータが遠隔操作を行う手段があるが、無人運用をできないという問題があった。そこで、対話形式により顧客操作型端末を操作可能な方法が開発されている。
【０００３】
対話形式により顧客操作型端末を操作可能な方法として、例えば下記の特許文献１には、音声認識機能によりユーザの発話内容を認識し、ユーザの発話内容から取得した情報に基づき、所定の処理を実行する方法が開示されている。特許文献１の方法により、ユーザは、発話により目的を顧客操作型端末に伝えることで、顧客操作型端末を直接操作することなく、目的とするサービスを受けることが可能である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−０７６０３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１の発明では、画面の視認性が悪いという問題があった。例えば、特許文献１に記載の画面レイアウトでは、アバター画像の右にアバターの発話内容をテキストで表示する吹き出しがあり、ユーザに提供するサービスを表示する領域がアバターの下に表示されている。上述のレイアウトでは、ユーザがアバターから提供された情報を視認する際に、ユーザの視線が吹き出しとサービス内容の間を移動する量が大きくなってしまう。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画面の視認性を向上することが可能な、新規かつ改良された情報処理装置、情報処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、ユーザが入力した音声情報を取得する音声情報取得部と、前記音声情報をテキストデータに変換する変換部と、前記テキストデータに基づき、応答を決定し、前記応答を実行する応答部と、前記ユーザの対話相手を示す対話相手画像、及び前記応答により前記対話相手が出力する対話内容を表示する第１の表示領域と、前記テキストデータを表示する第２の表示領域と、前記応答により提供されるサービスを表示する第３の表示領域で構成される画面で、前記第３の表示領域を前記第１の表示領域と前記第２の表示領域の間に配置し、前記対話内容を前記対話相手画像よりも前記第３の表示領域側にテキスト表記で配置するように、前記応答の内容に応じて表示処理を制御する制御部と、を備える、情報処理装置が提供される。
【０００８】
前記制御部は、前記第１の表示領域を前記第３の表示領域の上に配置し、前記第２の表示領域を前記第３の表示領域の下に配置してもよい。
【０００９】
前記情報処理装置は、前記ユーザを検知することが可能な検知装置と、前記ユーザの画面操作により入力された画面操作情報を取得する画面操作情報取得部と、をさらに備え、前記制御部は、前記検知装置が前記ユーザを検知した際に、前記音声情報、及び前記画面操作情報を受け付け可能な状態で待機してもよい。
【００１０】
前記応答部は、前記画面操作情報取得部が前記画面操作情報を取得した場合、前記画面操作情報に基づき、前記応答を決定し、前記応答を実行してもよい。
【００１１】
前記制御部は、前記第３の表示領域に、音声入力による選択、及び画面のタッチによる選択が可能なサービスを表示してもよい。
【００１２】
前記制御部は、画面切り替え時に、前記第１の表示領域の大きさが変化する場合、前記対話相手画像の表示領域の大きさを、前記第１の表示領域の大きさに合わせて調整してもよい。
【００１３】
前記制御部は、前記第３の表示領域に表示する前記サービスがない場合、前記第３の表示領域を非表示にし、前記第２の表示領域より上の表示領域を前記第１の表示領域としてもよい。
【００１４】
前記制御部は、前記対話内容、及び前記テキストデータを吹き出しの中に表示してもよい。
【００１５】
前記制御部は、前記ユーザを示すユーザ画像を前記第２の表示領域に表示し、前記テキストデータを前記ユーザ画像と前記第３の表示領域の間に表示してもよい。
【００１６】
前記制御部は、前記ユーザとの対話が不要な処理を前記応答部が実行している場合、前記第２の表示領域と前記第３の表示領域を非表示にし、前記第１の表示領域より下の表示領域を第４の表示領域としてもよい。
【００１７】
前記情報処理装置は、決済処理を制御する決済処理部と、発券処理を制御する発券処理部と、をさらに備え、前記制御部は、前記決済処理部、または前記発券処理部が処理中である場合、前記第４の表示領域にサービス情報を表示してもよい。
【００１８】
前記制御部は、音声認識機能をオンまたはオフに切り替えが可能であってもよい。
【００１９】
前記制御部は、音声認識機能がオンであり、前記第４の表示領域を表示中に前記ユーザが発話を行った場合、前記サービス情報を非表示にし、前記第２の表示領域を表示してもよい。
【００２０】
前記サービスは、座席予約サービスであってもよい。
【００２１】
また、上記課題を解決するために、本発明の別の観点によれば、ユーザが入力した音声情報を取得することと、前記音声情報をテキストデータに変換することと、前記テキストデータに基づき、応答を決定し、前記応答を実行することと、前記ユーザの対話相手を示す対話相手画像、及び前記応答により前記対話相手が出力する対話内容を表示する第１の表示領域と、前記テキストデータを表示する第２の表示領域と、前記応答により提供されるサービスを表示する第３の表示領域で構成される画面で、前記第３の表示領域を前記第１の表示領域と前記第２の表示領域の間に配置し、前記対話内容を前記対話相手画像よりも前記第３の表示領域側にテキスト表記で配置するように、前記応答の内容に応じて表示処理を制御することと、を含む、プロセッサにより実行される、情報処理方法が提供される。
【００２２】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、ユーザが入力した音声情報を取得する音声情報取得部と、前記音声情報をテキストデータに変換する変換部と、前記テキストデータに基づき、応答を決定し、前記応答を実行する応答部と、前記ユーザの対話相手を示す対話相手画像、及び前記応答により前記対話相手が出力する対話内容を表示する第１の表示領域と、前記テキストデータを表示する第２の表示領域と、前記応答により提供されるサービスを表示する第３の表示領域で構成される画面で、前記第３の表示領域を前記第１の表示領域と前記第２の表示領域の間に配置し、前記対話内容を前記対話相手画像よりも前記第３の表示領域側にテキスト表記で配置するように、前記応答の内容に応じて表示処理を制御する制御部と、として機能させるための、プログラムが提供される。
【発明の効果】
【００２３】
以上説明したように本発明によれば、画面の視認性を向上することを実現することが可能である。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施形態に係る情報処理システムの概要を示す説明図である。
【図２】同実施形態に係る顧客操作型端末の外観構成例を示す説明図である。
【図３】同実施形態に係る顧客操作型端末の機能構成例を示すブロック図である。
【図４】同実施形態に係るＷｅｂＡＰサーバの機能構成例を示すブロック図である。
【図５】同実施形態に係る画面のレイアウトの構成例を示す説明図である。
【図６】同実施形態に係る対話相手画像の表示例を示す説明図である。
【図７】同実施形態に係る初期画面の表示例を示す説明図である。
【図８】同実施形態に係る対話による画面変化の表示例を示す説明図である。
【図９】同実施形態に係るサービスの表示例を示す説明図である。
【図１０】同実施形態に係るサービスの詳細の表示例を示す説明図である。
【図１１】同実施形態に係る決済処理時の画面の表示例を示す説明図である。
【図１２】同実施形態に係る発券処理中の画面の表示例を示す説明図である。
【図１３】同実施形態に係る発券後の画面の表示例を示す説明図である。
【図１４】同実施形態に係るユーザ検知時の顧客操作型端末の動作例を示すシーケンス図である。
【図１５】同実施形態に係るユーザ検知時のＷｅｂＡＰサーバの動作例を示すシーケンス図である。
【図１６】同実施形態に係る音声情報取得時の顧客操作型端末の動作例を示すシーケンス図である。
【図１７】同実施形態に係る音声情報取得時のＷｅｂＡＰサーバの動作例を示すシーケンス図である。
【図１８】同実施形態に係る画面操作情報取得時の顧客操作型端末の動作例を示すシーケンス図である。
【図１９】同実施形態に係る画面操作情報取得時のＷｅｂＡＰサーバの動作例を示すシーケンス図である。
【図２０】本発明の一実施形態に係る変形例における初期画面の表示例を示す説明図である。
【図２１】本発明の一実施形態に係る変形例における対話による画面変化を示す説明図である。
【図２２】本発明の一実施形態に係る変形例における第３の表示領域の表示例を示す説明図である。
【図２３】本発明の一実施形態に係る変形例における画面操作が行われた時の第３の表示領域の表示例を示す説明図である。
【図２４】本発明の一実施形態に係る変形例における複数のユーザ検知時の第２の表示領域の表示例を示す説明図である。
【図２５】本発明の一実施形態に係る変形例における横画面での操作表示部の表示例を示す説明図である。
【図２６】同実施形態に係る顧客操作型端末のハードウェア構成例を示したブロック図である。
【発明を実施するための形態】
【００２５】
以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２６】
また、本明細書および図面において、実質的に同一の機能構成または論理的意義を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成または論理的意義を有する複数の構成要素の各々を特に区別する必要がない場合、複数の構成要素の各々に同一符号のみを付する。
【００２７】
＜１．情報処理システムの概要＞
本発明の実施形態は、ユーザに多様なサービスを提供するための情報処理システムに関する。以下では、チケットの発券サービスを例に、本発明の実施形態に係る情報処理システムについて説明する。なお、サービスはチケットの発券サービスに限定されず、任意のサービスが提供されてもよい。例えば、座席予約サービスが提供されてもよい。まず、図１を参照しながら、本発明の実施形態に係る情報処理システムの概要を説明する。
【００２８】
図１は、本発明の実施形態に係る情報処理システムの概要を示す説明図である。図１に示すように、顧客操作型端末１０は、ネットワーク１４を介してＷｅｂＡＰ（ＡＰ：Ａｐｐｌｉｃａｔｉｏｎ）サーバ３０と接続されている。
【００２９】
（１）顧客操作型端末１０
顧客操作型端末１０は、ユーザが入力した情報に基づき、チケットを発券するための情報処理装置である。図１に示す顧客操作型端末１０は、ユーザが入力した情報に基づく応答を示すことができる。ここで、応答とは、ユーザの発話に対する次の会話内容、ユーザの要求に対して提供するサービス、及び画面に表示するデータ等である。ここで、発話とは、対話内容を音声で出入力すること、対話内容をテキスト表記で出力すること、対話内容を音声とテキスト表記で出入力することである。例えば、顧客操作型端末１０は、ネットワーク１４を介してユーザの入力情報をＷｅｂＡＰサーバ３０へ送信し、ＷｅｂＡＰサーバ３０が決定した応答の内容をＷｅｂＡＰサーバ３０から受信する。顧客操作型端末１０は、ＷｅｂＡＰサーバ３０から受信した応答の内容に基づき、チケットの検索結果を画面に表示し、ユーザが選択したチケットの決済処理、及び発券処理を行う。
【００３０】
また、顧客操作型端末１０は、音声認識機能を備えており、ユーザの音声を認識することが可能であるため、ユーザは、発話による情報の入力が可能である。また、顧客操作型端末１０は、ユーザの発話に対する次の会話文を音声で再生することができる。よって、ユーザは、顧客操作型端末１０と対話により、顧客操作型端末１０を操作することが可能である。なお、顧客操作型端末１０の操作手段は、音声入力による操作に限定されない。例えば、ユーザは、画面操作による入力も可能である。
【００３１】
（２）ＷｅｂＡＰサーバ３０
ＷｅｂＡＰサーバ３０は、ユーザの入力情報に対する応答を決定する機能を有する。ＷｅｂＡＰサーバ３０は、人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ）を備えており、ＡＩがユーザの入力情報を解析することで応答を決定する。例えば、ＷｅｂＡＰサーバ３０は、ネットワーク１４を介して顧客操作型端末１０からユーザの入力情報を受信し、ＡＩがユーザの入力情報に基づき決定した応答の内容を顧客操作型端末１０へ送信する。
【００３２】
以上、図１を参照しながら、本発明の実施形態に係る情報処理システムの概要を説明した。続いて、本発明の実施形態に係る顧客操作型端末１０の構成例について説明する。
【００３３】
＜２．顧客操作型端末の構成例＞
図２は、本発明の実施形態に係る顧客操作型端末１０の外観構成例を示す説明図である。図３は、本発明の実施形態に係る顧客操作型端末１０の機能構成例を示すブロック図である。なお、本発明の実施形態では、図２に示す顧客操作型端末１０を利用する形態を例に説明するが、本発明に利用する端末は顧客操作型端末１０に限定されず、任意の端末が利用されてもよい。例えば、スマートフォン、タブレット端末等の携帯型端末、タッチ式サイネージ用のディスプレイ等の情報表示装置にアプリケーションをインストールすることで本発明を実施してもよい。以下、図２、及び図３を参照しながら、本発明の実施形態に係る顧客操作型端末１０の構成例について説明する。
【００３４】
図２、及び図３に示したように、本発明の実施形態に係る顧客操作型端末１０は、カメラ１２０、スピーカ１２４、マイク１２８、通信部１３２、操作表示部１３６、決済媒体部１４０、チケット発券部１４４、制御部１５０を備える。
【００３５】
（１）カメラ１２０
カメラ１２０は、人物を撮影する機能を有する検知装置の１つである。例えば、カメラ１２０は、顧客操作型端末１０の前にいるユーザを撮影すると、ユーザを撮影した画像をカメラＡＰ１５４へ送信する。なお、本発明の実施形態では、図２に示すように、操作表示部１３６の上に１台のカメラ１２０が設置されているが、カメラ１２０の台数、及び位置は特に限定されず、顧客操作型端末１０は任意の台数のカメラ１２０を任意の位置に備えてもよい。
【００３６】
（２）スピーカ１２４
スピーカ１２４は、音声を再生する機能を有する。例えば、スピーカ１２４は、画面ＡＰ１５８が取得した音声ファイルを再生することで、ユーザの入力に対する応答を、発話としてユーザへ伝える。なお、本発明の実施形態では、図２に示すように、カメラ１２０の左右に１台ずつスピーカ１２４が設置されているが、スピーカ１２４の台数、及び位置は特に限定されず、顧客操作型端末１０は任意の台数のスピーカ１２４を任意の位置に備えてもよい。なお、顧客操作型端末１０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）といった近距離無線通信機能を搭載してもよい。顧客操作型端末１０は、近距離無線通信機能を用いて、同無線通信機能を搭載したワイヤレスイヤホン等のユーザが所持する無線機器に、スピーカ１２４が再生する音声を送信してもよい。その際、ユーザは、自身の無線機器と顧客操作型端末１０を接続するためのペアリング処理を予め行っておく。上述のように、ユーザが所持する機器が音声の取得、及び再生をすることで、例えば、ユーザは、騒音のある環境下においても応答に関する音声を認識することができる。
【００３７】
（３）マイク１２８
マイク１２８は、音声情報を取得する機能を有する検知装置の１つである。例えば、マイク１２８は、ユーザが発話した音声情報を取得し、取得した音声情報を雑音除去モジュール１６６へ出力する。また、顧客操作型端末１０は、複数のマイク１２８を備えることで音声の到来方向を認識することが可能であり、音声の方向に基づき、発話しているユーザの人数を把握することが可能である。なお、本発明の実施形態では、図２に示すように、操作表示部１３６の左右に１台ずつマイク１２８が設置されているが、マイク１２８の台数、及び位置は特に限定されず、顧客操作型端末１０は任意の台数のマイク１２８を任意の位置に備えてもよい。
【００３８】
（４）通信部１３２
通信部１３２は、ネットワーク１４を介して、ＷｅｂＡＰサーバ３０と各種情報を通信する機能を有する。例えば、通信部１３２は、ネットワーク１４を介して、顧客操作型端末１０が操作表示部１３６を介して取得したユーザの入力情報をＷｅｂＡＰサーバ３０へ送信する。また、通信部１３２は、ネットワーク１４を介して、ＷｅｂＡＰサーバ３０が決定した応答の内容をＷｅｂＡＰサーバ３０から受信する。
【００３９】
（５）操作表示部１３６
操作表示部１３６は、ユーザへの応答、及びユーザが操作入力可能な画面を表示する表示部としての機能を有する。また、操作表示部１３６は、ユーザが操作入力を行うための操作部としての機能を有する。例えば、表示部としての機能は、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）装置により実現される。また、操作部としての機能は、例えばタッチパネルにより実現される。なお、図２において、顧客操作型端末１０は、表示部および操作部の機能を一体化した構成としているが、表示部および操作部の機能を分離した構成としてもよい。
【００４０】
（６）決済媒体部１４０
決済媒体部１４０（決済処理部）は、チケット発券のための決済に利用される取引媒体が授受される開口部としての機能を有する。取引媒体としては、クレジットカードまたは現金が挙げられる。また、決済媒体部１４０は、取引媒体に応じた決済処理を行う機能を有する。例えば、取引媒体がクレジットカードである場合、決済媒体部１４０は、挿入されたクレジットカードに記録された情報を読み取る。また、取引媒体が現金である場合、決済媒体部１４０は、現金の搬送路、現金カセットおよび現金の正当性を鑑別する鑑別部などを有する。入金時に決済媒体部１４０に投入された現金は、搬送路を介して鑑別部へ搬送され、鑑別部により正常な鑑別結果が得られた場合、金種に応じた現金カセットに搬送される。また、出金時には、現金カセットから現金が繰り出され、鑑別部が繰り出された紙幣を鑑別し、正常な鑑別結果が得られた場合に決済媒体部１４０に現金が搬送される。なお、電子マネーおよび仮想通貨を取引媒体として利用可能であり、この場合、決済媒体部１４０は顧客操作型端末１０に設けられなくてもよい。
【００４１】
（７）チケット発券部１４４
チケット発券部１４４（発券処理部）は、チケットを発券する機能をする。例えば、チケット発券部１４４は、ユーザが操作表示部１３６に表示されたチケットの検索結果から選択したチケットの情報を紙状媒体に印刷し、チケットの情報が印刷された紙状媒体であるチケットを排出する。なお、顧客操作型端末１０は、チケット発券部１４４の他に、図示しないプリンタを備えてもよい。例えば、決済媒体部１４０で決済が完了した際に、当該プリンタは、決済に関する内容を紙上媒体に印刷して、レシートとして紙状媒体を排出してもよい。また、当該プリンタは、ユーザが操作入力した内容を紙上媒体に印刷して、紙上媒体を排出してもよい。例えば、提供されるサービスが座席予約サービスの場合、当該プリンタは、ユーザが操作入力した座席予約内容を紙上媒体に印刷して、紙状媒体を排出してもよい。なお、当該プリンタによる印刷処理は、制御部１５０の制御情報により、レシートに決済内容を印刷する処理と予約内容を印刷する処理を切り替えられてもよい。また、顧客操作型端末１０は、レシート発行用のプリンタと予約内容印刷用のプリンタを分けて備えてもよい。
【００４２】
（８）制御部１５０
制御部１５０は、顧客操作型端末１０の動作全般を制御する機能を有する。例えば、制御部１５０は、カメラ１２０、スピーカ１２４、マイク１２８、通信部１３２、操作表示部１３６、決済媒体部１４０、チケット発券部１４４の制御を行う機能を有する。特に、本発明の実施形態に係る制御部１５０は、操作表示部１３６に表示される画面の表示処理を制御する機能を有する。なお、画面の表示処理の詳細については、＜４．画面の表示例＞にて説明する。
【００４３】
また、制御部１５０は、検知装置がユーザを検知すると、ユーザの音声情報、及びユーザの画面操作により入力された画面操作情報の両方を受け付け可能な状態で、顧客操作型端末１０を待機させる機能を有する。顧客操作型端末１０が音声情報、及び画面操作情報の両方を受け付け可能な状態であることにより、ユーザは、音声入力による操作、及び画面操作のどちらでも顧客操作型端末１０を操作することが可能である。なお、本発明の実施形態に係る顧客操作型端末１０は、初期画面表示後の最初の操作では音声入力による操作のみを受け付け可能な状態であるが、受け付け可能な操作は音声入力による操作に限定されず、任意の入力による操作のみを受け付け可能な状態であってもよい。また、初期画面表示後の最初の操作にて、顧客操作型端末１０は、音声入力による操作以外に、別の手段での入力による操作を含む、複数の手段による操作を受け付け可能な状態であってもよい。
【００４４】
上述の機能を実現するために、本発明の実施形態に係る制御部１５０は、カメラＡＰ１５４、画面ＡＰ１５８、ＷｅｂＳｏｃｋｅｔサーバ１６２、雑音除去モジュール１６６、音声認識ＡＰ１７０を備える。
【００４５】
（カメラＡＰ１５４）
カメラＡＰ１５４は、人物検知に関する処理を制御する機能を有する。例えば、カメラＡＰ１５４は、カメラ１２０がユーザを撮影した画像をカメラ１２０から取得すると、取得した画像を解析し、ユーザを検知したか否かを判定する。ユーザを検知したと判定した場合、カメラＡＰ１５４は、ユーザを検知した旨を画面ＡＰ１５８、及び音声認識ＡＰ１７０へ通知する。この時、カメラＡＰ１５４は、検知したユーザの人数に関する情報も合わせて通知する。なお、カメラＡＰ１５４は、撮影した画像から人物の特徴点を検出し、検出した特徴点に基づき画像内に含まれるユーザの人数を取得する。特徴点を検出する際に、カメラＡＰ１５４は、図示しない記憶媒体にあらかじめ保存された人物モデルに含まれる特徴点を参照し、特徴点を検出する。ここで、人物モデルに含まれる特徴点とは、人物に共通して存在する特徴点である。また、制御部１５０は、カメラＡＰ１５４が検知したユーザの人数に関する情報と、マイク１２８が取得する音声情報から把握可能な発話しているユーザの人数に基づき、顧客操作型端末１０を使用しているユーザの人数を決定してもよい。例えば、カメラＡＰ１５４で検知した人数が２人、マイク１２８で検知した人数が２人の場合、制御部１５０は、顧客操作型端末１０を使用しているユーザの人数を２人と決定する。一方で、カメラＡＰ１５４で検知した人数とマイク１２８で検知した人数が異なる場合、制御部１５０は、発話したユーザの人数に重みをつけてユーザの人数を決定してよい。例えば、カメラＡＰ１５４で検知した人数が３人、マイク１２８で検知した人数が２人の場合、制御部１５０は、顧客操作型端末１０を使用しているユーザの人数を２人と決定する。また、ユーザが無線機器と顧客操作型端末１０を近距離無線通信機能によりペアリングしている場合、制御部１５０は、ペアリングされている無線機器の台数をユーザの人数としもよい。
【００４６】
（画面ＡＰ１５８）
画面ＡＰ１５８は、画面に表示する情報を取得し、取得した情報を操作表示部１３６に表示させる機能を有する。例えば、画面ＡＰ１５８は、カメラ１２０がユーザを検知すると、初期画面として表示する画面のＷｅｂページＵＲＬをＷｅｂＡＰサーバ３０の業務ＷｅｂＡＰサーバ３０４から取得し、操作表示部１３６に初期画面を表示する。また、例えば、画面ＡＰ１５８は、音声認識ＡＰ１７０からユーザが入力した音声情報のテキストデータを取得すると、取得したテキストデータを操作表示部１３６に表示する。また、例えば、画面ＡＰ１５８は、応答の内容を業務ＷｅｂＡＰサーバ３０４から取得すると、応答の内容に含まれる画面データＵＲＬが示す画面データ、及びテキストデータを操作表示部１３６に表示する。
【００４７】
また、画面ＡＰ１５８は、音声認識に関する通知をする機能を有する。例えば、画面ＡＰ１５８は、操作表示部１３６に初期画面を表示した後、ユーザからの音声受信待ち状態である旨を、ＷｅｂＳｏｃｋｅｔサーバを介して音声認識ＡＰ１７０へ通知する。また、画面ＡＰ１５８は、音声認識に関する指示を行う機能も有する。例えば、画面ＡＰ１５８は、音声認識機能をＯＮまたはＯＦＦにすることを音声認識ＡＰ１７０に指示する。
【００４８】
（ＷｅｂＳｏｃｋｅｔサーバ１６２）
ＷｅｂＳｏｃｋｅｔサーバ１６２は、端末内のＡＰ間での情報の授受を仲介するサーバとしての機能を有する。例えば、ＷｅｂＳｏｃｋｅｔサーバ１６２は、画面ＡＰ１５８と音声認識ＡＰ１７０の間での情報の授受を仲介する。
【００４９】
（雑音除去モジュール１６６）
雑音除去モジュール１６６は、音声情報から雑音を除去する機能を有する。例えば、雑音除去モジュール１６６は、マイク１２８より取得したユーザの音声情報から雑音を除去する。雑音除去処理後、雑音除去モジュール１６６は、音声情報を音声認識ＡＰ１７０へ出力する。
【００５０】
（音声認識ＡＰ１７０）
音声認識ＡＰ１７０は、ＷｅｂＡＰサーバ３０からユーザの音声情報に対応するテキストデータを取得する機能を有する。例えば、音声認識ＡＰは、雑音除去モジュール１６６から音声情報を受信すると、受信した音声情報をＷｅｂＡＰサーバ３０の音声認識エンジン部３０８へ送信する。その後、音声認識ＡＰ１７０は、音声認識エンジン部３０８が変換したテキストデータを受信すると、ＷｅｂＳｏｃｋｅｔサーバ１６２を介して画面ＡＰ１５８へ受信したテキストデータを送信する。
【００５１】
また、音声認識ＡＰ１７０は、音声認識機能のＯＮ／ＯＦＦを切り替える機能も有する。例えば、音声認識ＡＰ１７０は、画面ＡＰ１５８から音声認識機能をＯＮにする旨の指示を受けた場合、音声認識機能をＯＮにする。また、例えば、音声認識ＡＰ１７０は、画面ＡＰ１５８から音声認識機能をＯＦＦにする旨の指示を受けた場合、音声認識機能をＯＦＦにする。
【００５２】
以上、図２、図３を参照しながら、本発明の実施形態に係る顧客操作型端末１０の構成例について説明した。続いて、本発明の実施形態に係るＷｅｂＡＰサーバ３０の構成例について説明する。
【００５３】
＜３．ＷｅｂＡＰサーバ３０の構成例＞
図４は、本発明の実施形態に係るＷｅｂＡＰサーバ３０の機能構成例を示すブロック図である。図４に示したように、本発明の実施形態に係るＷｅｂＡＰサーバ３０は、通信部３０２、業務ＷｅｂＡＰサーバ３０４、音声認識エンジン部３０８、ＡＩ対話エンジン部３１２、対話データ記憶部３１６、発話音声エンジン部３２０を備える。
【００５４】
（１）通信部３０２
通信部３０２は、ネットワーク１４を介して、顧客操作型端末１０と各種情報を通信する機能を有する。例えば、通信部３０２は、ネットワーク１４を介して、ユーザの入力情報を顧客操作型端末１０から受信する。また、通信部３０２は、ネットワーク１４を介して、ＷｅｂＡＰサーバ３０が決定した応答の内容を顧客操作型端末１０へ送信する。
【００５５】
（２）業務ＷｅｂＡＰサーバ３０４
業務ＷｅｂＡＰサーバ３０４は、顧客操作型端末１０から要求を受信すると、要求に対する応答を返す機能を有する。例えば、業務ＷｅｂＡＰサーバ３０４は、顧客操作型端末１０の画面ＡＰ１５８からＷｅｂページＵＲＬの要求を受信した場合、要求に対応するＷｅｂページＵＲＬを画面ＡＰ１５８へ送信する。
【００５６】
また業務ＷｅｂＡＰサーバ３０４は、顧客操作型端末１０からの要求を受け、ＷｅｂＡＰサーバ３０のＡＩ対話エンジン部３１２、及び発話音声エンジン部３２０から要求に対する応答を取得し、顧客操作型端末１０へ返す機能も有する。例えば、業務ＷｅｂＡＰサーバ３０４は、画面ＡＰ１５８からテキストデータを受信した場合、テキストデータをＡＩ対話エンジン部３１２へ送信し、テキストデータに対する次の会話文をＡＩ対話エンジン部３１２から取得する。さらに、業務ＷｅｂＡＰサーバ３０４は、次の会話文を発話音声エンジン部３２０へ送信し、次の会話文の音声ファイルを発話音声エンジン部３２０から取得し、取得した音声ファイルを画面ＡＰ１５８へ送信する。この時、業務ＷｅｂＡＰサーバ３０４は、応答として返せる画面データがある場合、その画面データＵＲＬも画面ＡＰ１５８へ送信する。
【００５７】
（３）音声認識エンジン部３０８
音声認識エンジン部３０８は、音声情報をテキストデータに変換する機能を有する。例えば、音声認識エンジン部３０８は、顧客操作型端末１０の音声認識ＡＰ１７０からユーザの音声情報を受信すると、音声情報をテキストデータに変換し、変換したテキストデータを音声認識ＡＰ１７０へ送信する。
【００５８】
（４）ＡＩ対話エンジン部３１２
ＡＩ対話エンジン部３１２は、ユーザの音声情報のテキストデータを解析し、ユーザの発話に対する応答となる会話文（次の会話文）を取得する機能を有する。例えば、ＡＩ対話エンジン部３１２は、業務ＷｅｂＡＰサーバ３０４からユーザの音声情報のテキストデータを受信すると、テキストデータを解析し、次の会話文を対話データ記憶部３１６から取得し、取得した会話文を業務ＷｅｂＡＰサーバ３０４へ送信する。
【００５９】
（５）対話データ記憶部３１６
対話データ記憶部３１６は、次の会話文を記憶する機能を有する。例えば、対話データ記憶部３１６は、ユーザとの会話を想定して作成された会話文を、あらかじめ記憶しておく。また、対話データ記憶部３１６は、顧客操作型端末１０がユーザとの会話を繰り返す中で、ＡＩが学習して作成した会話文を記憶してもよい。
【００６０】
（６）発話音声エンジン部３２０
発話音声エンジン部３２０は、発話音声を生成する機能を有する。例えば、発話音声エンジン部３２０は、業務ＷｅｂＡＰサーバ３０４から次の会話文を受信すると、次の会話文を解析し、次の会話文の音声ファイルを生成し、生成した音声ファイルを業務ＷｅｂＡＰサーバ３０４へ送信する。
【００６１】
以上、図４を参照しながら、本発明の実施形態に係るＷｅｂＡＰサーバ３０の機能構成例について説明した。続いて、本発明の実施形態に係る画面の表示例について説明する。
【００６２】
＜４．画面の表示例＞
以下では、本実施形態に係る操作表示部１３６に表示される画面の表示例について説明する。まず、画面のレイアウトの構成例について説明する。
【００６３】
［４−１．画面のレイアウトの構成例］
図５は、本発明の実施形態に係る画面のレイアウトの構成例を示す説明図である。図５に示すように、本発明の実施形態に係る操作表示部１３６に表示される画面のレイアウトには、レイアウト１、レイアウト２、及びレイアウト３の３種類のレイアウトがある。なお、レイアウトの種類は３種類に限定されず、任意の数のレイアウトが用意されてもよい。
【００６４】
各レイアウトは、第１の表示領域、第２の表示領域、第３の表示領域、及び第４の表示領域のいずれかの組み合わせで構成されている。第１の表示領域は、ユーザの対話相手であるＡＩを示すＡＩ画像（対話相手画像）と、ＡＩの発話内容を表示する領域である。第２の表示領域は、ユーザを示す画像と、ユーザの発話内容を表示する領域である。第３の表示領域は、サービスを表示する領域である。第３の表示領域に表示されるサービスは、音声入力による選択、及び画面のタッチによる選択が可能なサービスである。第４の表示領域は、処理に関する処理情報、及びサービス情報等を表示する領域である。なお、各表示領域の詳細な構成については後述する。
【００６５】
レイアウト１は、第１の表示領域４０４、及び第２の表示領域４０８の組み合わせにより構成されている。レイアウト１は、ユーザとＡＩが対話を行う画面のレイアウトに用いられる。例えば、レイアウト１は、初期画面のレイアウトに用いられる。また、第３の表示領域に表示するサービスがない場合にも用いられる。
【００６６】
レイアウト２は、第１の表示領域５０４、及び第２の表示領域５０８、及び第３の表示領域５１２の組み合わせにより構成されている。レイアウト２は、サービスを表示する画面のレイアウトに用いられる。例えば、レイアウト２は、ユーザの発話に基づき、ＡＩが検索したサービスを表示する画面のレイアウトに用いられる。
【００６７】
レイアウト３は、第１の表示領域６０４、及び第４の表示領域６０８の組み合わせにより構成されている。レイアウト３は、ユーザとの対話が生じない画面のレイアウトに用いられる。例えば、レイアウト３は、決済処理中、またはチケット発券処理中等の画面のレイアウトに用いられる。
【００６８】
なお、第１の表示領域は各レイアウトで用いられているが、レイアウト１で用いられる場合と、レイアウト２、及びレイアウト３で用いられる場合で、第１の表示領域を表示する大きさが異なる。例えば、第１の表示領域は、レイアウト２、及びレイアウト３で用いられる場合、レイアウト１で用いられる場合よりも小さく表示される。その際に、操作表示部１３６は、第１の表示領域に表示されるＡＩ画像も小さく表示する。
【００６９】
また、操作表示部１３６は、ＡＩ画像を小さく表示する時にＡＩ画像の丸枠を小さくするが、操作表示部１３６が丸枠内のＡＩを示す人物等の画像も小さくするか否かは、特に限定されない。例えば、操作表示部１３６は、図６のレイアウト２Ａに示すように、レイアウト１のＡＩ画像７０２の丸枠、及び人物の画像を小さくして、ＡＩ画像７０４のように表示してもよい。また、例えば、操作表示部１３６は、図６レイアウト２Ｂに示すように、レイアウト１のＡＩ画像７０２の丸枠のみを小さくして、人物の画像は等倍のまま、ＡＩ画像７０６のように表示してもよい。
【００７０】
また、各レイアウトを構成する各表示領域の組み合わせは、上述した組み合わせに限定されず、任意の組み合わせが用いられてもよい。
【００７１】
以上、図５、及び図６を参照しながら、本発明の実施形態に係る画面のレイアウトの構成例について説明した。続いて、レイアウト１を用いた画面について説明する。
【００７２】
［４−２．レイアウト１を用いた画面］
以下では、レイアウト１を用いた画面の構成例、及び表示例について説明する。レイアウト１は、ユーザとＡＩが対話を行う画面のレイアウトに用いられる。レイアウト１は、ＡＩの発話内容を表示する吹き出しをＡＩ画像の下に、ユーザの発話内容を表示する吹き出しをユーザ画像の上に配置することで、対話内容を示す情報が画面の中央に表示されるようにしている。よって、ユーザは、対話内容を視認する際の視線の移動量を小さくすることができる。
【００７３】
［４−２−１．レイアウト１を用いた画面の構成例］
以下では、レイアウト１を用いた画面の構成例について説明する。図７は、レイアウト１を用いた画面を操作表示部１３６に表示した例を示す図である。図７に示すように、操作表示部１３６に表示された画面には、第１の表示領域４０４、及び第２の表示領域４０８で構成されるレイアウト１が用いられ、第２の表示領域は、第１の表示領域の下に配置されている。第１の表示領域４０４は、ＡＩ画像４１２、及び吹き出し４１６で構成されている。ＡＩ画像４１２には、ＡＩ画像が表示され、吹き出し４１６には、ＡＩが発話した内容が表示されている。また、第２の表示領域４０８は、ユーザ画像４２０、及び吹き出し４２４で構成されている。ユーザ画像４２０には、ユーザ画像が表示され、吹き出し４２４には、ユーザが発話した内容が表示されている。なお、各吹き出しの中には、テキストデータに変換された発話内容がテキスト表記される。以下、他のレイアウトで用いられる吹き出しの中も同様に、テキストデータに変換された発話内容がテキスト表記される。
【００７４】
［４−２−２．レイアウト１を用いた画面の表示例］
以下では、レイアウト１を用いた画面の表示例について説明する。例えば、図７に示す操作表示部１３６は、顧客操作型端末１０がユーザを検知した際の初期画面を表示している。初期画面表示後、例えば、ＡＩは、「いらっしゃいませ。お伺いします。こちらでは、列車の乗換方法および観光地をご案内致します。目的地から検索、ジャンルから検索、お勧めプランのご提案の３種類からご案内できます。」と発話する。ＡＩが発話した内容は、吹き出し４１６に表示される。ＡＩの発話に対して、ユーザが「目的地から検索したい。」と発話すると、ユーザが発話した内容は、吹き出し４２４に表示される。
【００７５】
図８には、図７に示したＡＩとユーザの対話の続きが示されている。図７に示したユーザの「目的地から検索したい。」という発話をＡＩが認識すると、ＡＩは、「目的地から検索ですね。どちらまで行かれますか？」と発話し、図８に示す吹き出し４１６に発話した内容が表示される。さらに、ＡＩの発話に対して、ユーザが「ＡＡＡ駅まで行きたい。」と発話すると、発話した内容は吹き出し４２４に表示される。
【００７６】
以上、図７、及び図８を参照しながら、本発明の実施形態に係るレイアウト１を用いた画面について説明した。続いて、レイアウト２を用いた画面について説明する。
【００７７】
［４−３．レイアウト２を用いた画面］
以下では、レイアウト２を用いた画面の構成例、及び表示例について説明する。レイアウト２は、ユーザの発話に基づき、ＡＩが検索したサービスを表示する画面のレイアウトに用いられる。レイアウト２は、ＡＩの発話内容を表示する吹き出しをＡＩ画像の下に、ユーザの発話内容を表示する吹き出しをユーザ画像の上に配置し、さらに、サービスをＡＩの吹き出しとユーザの吹き出しの間に配置し、サービスと対話内容を示す情報が画面の中央に表示されるようにしている。よって、ユーザは、サービスの操作画面を操作する際に、操作画面から視線をあまり移動することなく、対話内容を視認することができる。また、ユーザは、サービス情報の上にＡＩ画像とＡＩの吹き出しが表示され、サービスの下にユーザの画像と吹き出しが表示されることで、ＡＩとテーブルを挟んで対話しているように感じることができ、より自然に対話をしている感覚を得ることができる。
【００７８】
［４−３−１．レイアウト２を用いた画面の構成例］
以下では、レイアウト２を用いた画面の構成例について説明する。図９は、レイアウト２を用いた画面を操作表示部１３６に表示した例を示す図である。図９に示すように、操作表示部１３６に表示された画面には、第１の表示領域５０４、第２の表示領域５０８、及び第３の表示領域５１２で構成されるレイアウト２が用いられている。また、第３の表示領域は第１の表示領域と第２の表示領域の間に配置され、第１の表示領域は、第３の表示領域より上に配置され、第２の表示領域は、第３の表示領域より下に配置される。第１の表示領域５０４は、ＡＩ画像５１６、及び吹き出し５２０で構成されている。ＡＩ画像５１６には、ＡＩ画像が表示され、吹き出し５２０には、ＡＩが発話した内容が表示されている。また、第２の表示領域５０８は、ユーザ画像５２４、及び吹き出し５２８で構成されている。ユーザ画像５２４には、ユーザ画像が表示され、吹き出し５２８には、ユーザが発話した内容が表示されている。
【００７９】
また、第３の表示領域５１２は、検索結果５３２、及び詳細ボタン５３６で構成されている。検索結果５３２には、画面データＵＲＬにアクセスして得られる画面データが検索結果として表示される。検索結果が複数ある場合、第３の表示領域５１２は、図９に示す検索結果５３２Ａ、検索結果５３２Ｂ、検索結果５３２Ｃのように、複数の検索結果を表示してよい。詳細ボタン５３６は、検索結果５３２の詳細を表示するためのボタンである。図９に示すように、１つの検索結果５３２に対して１つの詳細ボタン５３６が表示される。例えば、ユーザが詳細ボタン５３６Ａを押下すると、操作表示部１３６の画面は、検索結果５３２Ａの詳細を表示する画面に遷移する。また、例えば、ユーザが詳細ボタン５３６Ｂを押下すると、操作表示部１３６の画面は、検索結果５３２Ｂの詳細を表示する画面に遷移する。また、例えば、ユーザが「ルート３の詳細を表示してください。」と発話し、ＡＩがユーザの発話を認識すると、操作表示部１３６の画面は、検索結果５３２Ｃの詳細を表示する画面に遷移する。なお、ユーザが発話した内容は、吹き出し５２８に表示される。
【００８０】
［４−３−２．レイアウト２を用いた画面の表示例］
以下では、レイアウト２を用いた画面の表示例について説明する。例えば、図９に示す操作表示部１３６は、図８のユーザの発話に基づき顧客操作型端末１０が検索した結果を表示している。検索結果表示後、例えば、ＡＩは、「ＡＡＡ駅までですね。以下の３つのルートで行けます。」と発話する。ＡＩが発話した内容は、吹き出し５２０に表示される。ＡＩの発話に対して、ユーザが「ルート１でお願いします。」と発話すると、ユーザが発話した内容は、吹き出し５２８に表示される。ＡＩがユーザの「ルート１でお願いします。」という発話を認識すると、操作表示部１３６は、検索結果の詳細画面を表示する。なお、操作表示部１３６は、ユーザが詳細ボタン５３６を押下しても検索結果の詳細画面を表示することが可能である。
【００８１】
図１０には、図９に示したＡＩとユーザの対話の続きが示されている。図９に示したユーザの「ルート１でお願いします。」という発話をＡＩが認識すると、ＡＩは、「ルート１ですね。このルートのチケットを購入できます。」と発話し、図１０に示す吹き出し５２０に発話した内容が表示される。また、操作表示部１３６は、ユーザが選択したルート１の詳細を検索結果詳細５４０に表示する。さらに、ＡＩの発話に対して、ユーザが「購入します。」と発話すると、発話した内容は吹き出し５２８に表示される。ＡＩがユーザの「購入します。」という発話を認識すると、操作表示部１３６は、チケットの決済処理を行う画面を表示する。なお、操作表示部１３６は、ユーザが第３の表示領域内の購入ボタンを押下してもチケットの決済処理を行う画面を表示することが可能である。
【００８２】
以上、図９、及び図１０を参照しながら、本発明の実施形態に係るレイアウト２を用いた画面について説明した。続いて、レイアウト３を用いた画面について説明する。
【００８３】
［４−４．レイアウト３を用いた画面］
以下では、レイアウト３を用いた画面の構成例、及び表示例について説明する。レイアウト３は、ユーザとの対話が生じない決済処理中、またはチケット発券処理中等の画面のレイアウトに用いられる。レイアウト３は、天気予報等のサービス情報を表示することができる。よって、ユーザは、決済処理、または発券処理が完了するまでの時間を退屈することなく過ごすことができる。
【００８４】
［４−４−１．レイアウト３を用いた画面の構成例］
以下では、レイアウト３を用いた画面の構成例について説明する。図１１は、レイアウト３を用いた画面を操作表示部１３６に表示した例を示す図である。図１１に示すように、操作表示部１３６に表示された画面には、第１の表示領域６０４、及び第４の表示領域６０８で構成されるレイアウト３が用いられ、第４の表示領域は、第１の表示領域の下に配置されている。第１の表示領域６０４は、ＡＩ画像６１２、及び吹き出し６１６で構成されている。ＡＩ画像６１２には、ＡＩ画像が表示され、吹き出し６１６には、ＡＩが発話した内容が表示されている。また、第４の表示領域６０８は、処理情報６２０、及び処理情報６２４で構成されている。処理情報６２０には、決済処理に関する画像として、現金の投入に関する画像が表示され、処理情報６２４には、カードの挿入に関する画像が表示されている。なお、処理情報として表示する画像は、現金の投入、及びカードの挿入に関する画像に限定されず、任意の画像が表示されてもよい。また、処理情報には、アニメーション画像が表示されてもよい。また、図１１では、第４の表示領域に２つの処理情報を表示しているが、第４の表示領域に表示する処理情報の数は限定されず、任意の数の処理情報が表示されてよい。
【００８５】
例えば、図１１に示す操作表示部１３６は、図１０のユーザの発話に基づき顧客操作型端末１０が決済処理を行うための画面を表示している。決済処理画面表示後、例えば、ＡＩは、「現金またはカードをお入れください。」と発話する。ＡＩが発話した内容は、吹き出し６１６に表示される。ＡＩの発話に対して、ユーザが決済媒体部１４０に現金またはカードを入れると、ＡＩは決済処理を実行する。決済処理が完了すると、顧客操作型端末１０はチケットを発券する処理を実行する。
【００８６】
［４−４−２．レイアウト３を用いた画面の表示例］
以下では、レイアウト３を用いた画面の表示例について説明する。例えば、図１２に示す操作表示部１３６は、決済処理後にチケットの発券処理を実行中であることを示すための画面を表示している。チケット発券処理画面表示後、例えば、ＡＩは、「発券しています。」と発話する。ＡＩが発話した内容は、吹き出し６１６に表示される。また、処理情報６２８は、「発券中です。しばらくお待ちください。」と発券中である旨を大きくテキスト表示する。また、処理情報６３２は、ユーザがチケットの発券を待っている間に退屈しないように、天気予報等のサービス情報を表示する。チケットの発券処理が完了すると、操作表示部１３６は、チケット、おつり、及びカードの取り忘れを注意する画面を表示する。
【００８７】
例えば、図１３に示す操作表示部１３６は、チケット、おつり、及びカードの取り忘れを注意する画面を表示している。注意画面表示後、例えば、ＡＩは、「チケットを受け取りください。おつりまたはカードのお取り忘れにご注意ください。」と発話する。ＡＩが発話した内容は、吹き出し６１６に表示される。また、処理情報６３６は、チケットの受け取りを示す画像を表示する。また、処理情報６４０は、おつり、またはカードの受け取りを示す画像を表示する。ユーザがチケットを受け取ると、操作表示部１３６は、初期画面を表示する。
【００８８】
以上、図１１〜図１３を参照しながら、本発明の実施形態に係るレイアウト３を用いた画面について説明した。続いて、本発明の実施形態に係る動作例について説明する。
【００８９】
＜５．動作例＞
以下では、本発明の実施形態に係る顧客操作型端末１０、及びＷｅｂＡＰサーバ３０の動作例について説明する。まず、ユーザ検知時の動作例について説明する。
【００９０】
［５−１．ユーザ検知時の動作例］
以下では、図１４、及び図１５を参照しながら、ユーザ検知時の顧客操作型端末１０、及びＷｅｂＡＰサーバ３０の動作例について説明する。図１４は、ユーザ検知時の顧客操作型端末１０の動作例を示すシーケンス図である。また、図１５は、ユーザ検知時のＷｅｂＡＰサーバ３０の動作例を示すシーケンス図である。
【００９１】
まず、図１４に示すように、顧客操作型端末１０のカメラＡＰ１５４は、人物を検知すると、人物を検知した旨を音声認識ＡＰ１７０へ通知する（ステップＳ１０００）。音声認識ＡＰ１７０は、カメラＡＰから人物を検知した旨の通知を受けると、ＷｅｂＳｏｃｋｅｔサーバ１６２に接続し、ユーザからの音声入力を受け付け可能な状態で待機する（ステップＳ１００４）。また、画面ＡＰ１５８は、ＷｅｂＡＰサーバ３０からＷｅｂページＵＲＬを取得し、Ｗｅｂページを初期画面として表示する（ステップＳ１００８）。
【００９２】
ここで、図１５を参照しながらステップＳ１００８の詳細を説明する。図１５に示すように、顧客操作型端末１０の画面ＡＰ１５８は、ＷｅｂＡＰサーバ３０の業務ＷｅｂＡＰサーバ３０４にＷｅｂページＵＲＬを要求する（ステップＳ１０１０）。要求を受信した業務ＷｅｂＡＰサーバ３０４は、ＷｅｂページＵＲＬを画面ＡＰ１５８へ送信する（ステップＳ１０１２）。ＷｅｂページＵＲＬを受信した画面ＡＰ１５８は、ＷｅｂページＵＲＬにアクセスし、Ｗｅｂページを初期画面として表示する（ステップＳ１０１４）。
【００９３】
初期画面表示後、図１４に示すように、画面ＡＰ１５８は、ＷｅｂＳｏｃｋｅｔサーバ１６２に接続し、ユーザからの画面操作入力を受け付け可能な状態で待機する（ステップＳ１０１８）。また、画面ＡＰ１５８は、音声受信待ち状態である旨を音声認識ＡＰ１７０へＷｅｂＳｏｃｋｅｔサーバ１６２を介して通知する（ステップＳ１０２２、ステップＳ１０２６）。通知を受けた音声認識ＡＰ１７０は、音声受信待ち状態である旨をＷｅｂＡＰサーバ３０へ通知する（ステップＳ１０３０）。
【００９４】
ここで、図１５を参照しながらステップＳ１０３０の詳細を説明する。図１５に示すように、顧客操作型端末１０の画面ＡＰ１５８は、ＷｅｂＡＰサーバ３０の音声認識エンジン部３０８に音声認識を開始する旨を通知する（ステップＳ１０３２）。通知を受けた音声認識エンジン部３０８は、音声を受け付け可能な状態で待機する。
【００９５】
以上、図１４、及び図１５を参照しながら、ユーザ検知時の顧客操作型端末１０、及びＷｅｂＡＰサーバ３０の動作例について説明した。続いて、音声情報取得時の動作例について説明する。
【００９６】
［５−２．音声情報取得時の動作例］
以下では、図１６、及び図１７を参照しながら、音声情報取得時の顧客操作型端末１０、及びＷｅｂＡＰサーバ３０の動作例について説明する。顧客操作型端末１０は、マイク１２８がユーザの音声情報を取得すると、取得した音声情報に基づき応答を決定し、決定した応答を実行する。図１６は、音声情報取得時の顧客操作型端末１０の動作例を示すシーケンス図である。また、図１７は、音声情報取得時のＷｅｂＡＰサーバ３０の動作例を示すシーケンス図である。
【００９７】
まず、図１６に示すように、顧客操作型端末１０のマイク１２８は、ユーザの発話による音声情報を取得すると（ステップＳ１１００）、取得した音声を雑音除去モジュール１６６へ出力する（ステップＳ１１０４）。音声を取得した雑音除去モジュール１６６は、音声から雑音を除去する処理を行い（ステップＳ１１０６）、雑音を除去した音声を音声認識ＡＰ１７０へ出力する（ステップＳ１１０８）。音声を取得した音声認識ＡＰ１７０は、音声をＷｅｂＡＰサーバ３０へ送信し、ＷｅｂＡＰサーバ３０から音声のテキストデータを受信する（ステップＳ１１１２）。
【００９８】
ここで、図１７を参照しながらステップＳ１１１２の詳細を説明する。図１７に示すように、顧客操作型端末１０の音声認識ＡＰ１７０は、ＷｅｂＡＰサーバ３０の音声認識エンジン部３０８に音声を送信する（ステップＳ１１１４）。音声を受信した音声認識エンジン部３０８は、音声をテキストデータに変換する処理を行い（ステップＳ１１１６）、変換されたテキストデータを音声認識ＡＰ１７０へ送信する（ステップＳ１１１８）。
【００９９】
テキストデータ受信後、図１６に示すように、音声認識ＡＰ１７０は、テキストデータを画面ＡＰ１５８へＷｅｂＳｏｃｋｅｔサーバ１６２を介して送信する（ステップＳ１１２２、ステップＳ１１２６）。テキストデータを受信した画面ＡＰ１５８は、テキストデータを画面に表示する（ステップＳ１１３０）。テキストデータを画面に表示した後、画面ＡＰ１５８は、ＷｅｂＡＰサーバ３０から次の会話文の音声ファイルと画面データＵＲＬを受信し、ユーザの発話に対する応答を行う（ステップＳ１１３４）。
【０１００】
ここで、図１７を参照しながらステップＳ１１３４の詳細を説明する。図１７に示すように、顧客操作型端末１０の画面ＡＰ１５８は、ＷｅｂＡＰサーバ３０の業務ＷｅｂＡＰサーバ３０４にテキストデータを送信する（ステップＳ１１３６）。テキストデータを受信した業務ＷｅｂＡＰサーバ３０４は、次の会話文を取得するため、テキストデータをＡＩ対話エンジン部３１２へ送信する（ステップＳ１１３８）。テキストデータを受信したＡＩ対話エンジン部３１２は、テキストデータに対する応答となる次の会話文を対話データ記憶部３１６から取得し（ステップＳ１１４０）、業務ＷｅｂＡＰサーバ３０４へ次の会話文を送信する（ステップＳ１１４２）。
【０１０１】
次の会話文を受信した業務ＷｅｂＡＰサーバ３０４は、次の会話文の音声ファイルを発話音声エンジン部３２０に要求する（ステップＳ１１４４）。業務ＷｅｂＡＰサーバ３０４から要求を受けた発話音声エンジン部３２０は、次の会話文の音声ファイルを業務ＷｅｂＡＰサーバ３０４へ送信する（ステップＳ１１４６）。次の会話文の音声ファイルを受信した業務ＷｅｂＡＰサーバ３０４は、次の会話文の音声ファイルと、ユーザの発話に対する応答となるサービスを表示するための画面データＵＲＬを画面ＡＰ１５８へ送信する（ステップＳ１１４８）。
【０１０２】
画面ＡＰ１５８は、テキストデータ、及び画面データＵＲＬにアクセスして取得した画面データを表示する（ステップＳ１１５０）。また、画面ＡＰ１５８は、音声ファイルを再生し、応答の内容を音声でユーザへ伝える（ステップＳ１１５２）。
【０１０３】
なお、顧客操作型端末１０は、音声認識機能のＯＮとＯＦＦを切り替えることが可能である。図１６に示すように、音声認識機能をＯＮにする場合、画面ＡＰ１５８は、音声認識機能をＯＮにする旨の指示を音声認識ＡＰ１７０へ送信する（ステップＳ１１５６）。指示を受信した音声認識ＡＰ１７０は、音声認識機能をＯＮにし、指示に対する応答として音声認識機能をＯＮにした旨を画面ＡＰ１５８へ送信する（ステップＳ１１６０）。また、音声認識機能をＯＦＦにする場合、画面ＡＰ１５８は、音声認識機能をＯＦＦにする旨の指示を音声認識ＡＰ１７０へ送信する（ステップＳ１１６４）。指示を受信した音声認識ＡＰ１７０は、音声認識機能をＯＦＦにし、指示に対する応答として音声認識機能をＯＦＦにした旨を画面ＡＰ１５８へ送信する（ステップＳ１１６８）。
【０１０４】
なお、音声認識機能がＯＮであり、チケットの発券処理中にユーザが顧客操作型端末１０に話しかけた場合、制御部１５０は、操作表示部１３６に表示されているサービス情報を非表示にし、第２の表示領域を再表示してもよい。
【０１０５】
以上、図１６、及び図１７を参照しながら、音声情報取得時の顧客操作型端末１０、及びＷｅｂＡＰサーバ３０の動作例について説明した。続いて、画面操作情報取得時の動作例について説明する。
【０１０６】
［５−３．画面操作情報取得時の動作例］
以下では、図１８、及び図１９を参照しながら、画面操作情報取得時の顧客操作型端末１０、及びＷｅｂＡＰサーバ３０の動作例について説明する。顧客操作型端末１０は、操作表示部１３６がユーザの画面操作情報を取得すると、取得した画面操作情報に基づき応答を決定し、決定した応答を実行する。図１８は、画面操作情報取得時の顧客操作型端末１０の動作例を示すシーケンス図である。また、図１９は、画面操作情報取得時のＷｅｂＡＰサーバ３０の動作例を示すシーケンス図である。
【０１０７】
まず、図１８に示すように、顧客操作型端末１０の操作表示部１３６は、ユーザの画面操作によりボタンを押下した情報を取得すると（ステップＳ１２００）、取得したボタン情報を画面ＡＰ１５８へ送信する（ステップＳ１２０４）。ボタン情報を取得した画面ＡＰ１５８は、ボタン情報をＷｅｂＡＰサーバ３０へ送信し、ＷｅｂＡＰサーバ３０から次の会話文の音声ファイルと画面データＵＲＬを受信し、ユーザのボタン操作に対する応答を行う（ステップＳ１２０８）。
【０１０８】
ここで、図１９を参照しながらステップＳ１２０８の詳細を説明する。図１９に示すように、顧客操作型端末１０の画面ＡＰ１５８は、ＷｅｂＡＰサーバ３０の業務ＷｅｂＡＰサーバ３０４にボタン情報を送信する（ステップＳ１２１０）。ボタン情報を受信した業務ＷｅｂＡＰサーバ３０４は、次の会話文の音声ファイルを発話音声エンジン部３２０に要求する（ステップＳ１２１２）。業務ＷｅｂＡＰサーバ３０４から要求を受けた発話音声エンジン部３２０は、次の会話文の音声ファイルを業務ＷｅｂＡＰサーバ３０４へ送信する（ステップＳ１２１４）。次の会話文の音声ファイルを受信した業務ＷｅｂＡＰサーバ３０４は、次の会話文の音声ファイルと、ユーザの発話に対する応答となるサービスを表示するための画面データＵＲＬを画面ＡＰ１５８へ送信する（ステップＳ１２１６）。
【０１０９】
画面ＡＰ１５８は、テキストデータ、及び画面データＵＲＬにアクセスして取得した画面データを表示する（ステップＳ１２１８）。また、画面ＡＰ１５８は、音声ファイルを再生し、応答の内容を音声でユーザへ伝える（ステップＳ１２２０）。
【０１１０】
以上、図１８、及び図１９を参照しながら、画面操作情報取得時の顧客操作型端末１０、及びＷｅｂＡＰサーバ３０の動作例について説明した。続いて、本発明の効果について説明する。
【０１１１】
＜６．効果＞
顧客操作型端末１０の制御部１５０は、ユーザの発話に対する応答の内容に応じて、画面のレイアウトを変更することができ、対話の内容、及び応答の内容を画面の中央に寄せて表示することができる。また、顧客操作型端末１０の制御部１５０は、ユーザの画面操作入力に対する応答の内容についても同様に表示することができる。よって、顧客操作型端末１０は、ユーザの視線の移動量を減らすことが可能である。また、顧客操作型端末１０は、ユーザの画像と吹き出しよりも上にＡＩの画像と吹き出しを表示することで、より自然に対話をしている感覚をユーザに与えることが可能である。また、制御部１５０は、ＡＩが発話した内容を表示する吹き出しの表示領域と、ユーザが発話した内容を表示する吹き出しの表示領域を画面横幅方向に対して所定の長さで表示することができる。さらに、制御部１５０は、ＡＩの画像をＡＩが発話した内容を表示する吹き出しよりも上に表示すること、及びユーザの画像をユーザが発話した内容を表示する吹き出しよりも下に表示することができる。よって、制御部１５０は、各吹き出しを画面の中央に寄せて表示することができる。さらに、制御部１５０は、吹き出しの横幅を大きくし、吹き出し内の１行に表示可能な情報量（例えばテキストの文字数など）を多くして全体の行数を減らすことで、吹き出し内に表示される対話内容をより画面の中央に寄せて表示することができる。
【０１１２】
以上、図１〜１９を参照しながら、本発明の実施形態について説明した。続いて、本発明の実施形態に係る変形例について説明する。
【０１１３】
＜７．変形例＞
以下では、本発明の実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本発明の実施形態に適用されてもよいし、組み合わせで本発明の実施形態に適用されてもよい。また、各変形例は、本発明の実施形態で説明した構成に代えて適用されてもよいし、本発明の実施形態で説明した構成に対して追加的に適用されてもよい。
【０１１４】
（１）第１の変形例
上述の実施形態では、制御部１５０は、図５に示すレイアウト１を用いた初期画面を操作表示部１３６に表示する例を説明したが、本発明を既存ＡＰに適用する場合、制御部１５０は、図５に示すレイアウト２を用いた初期画面を操作表示部１３６に表示してもよい。初期画面にレイアウト２を用いることで、操作表示部１３６は、既存ＡＰの画面操作用のインタフェースをレイアウト２の第３の表示領域に表示することができる。操作表示部１３６が既存ＡＰの画面操作用のインタフェースを初期画面に表示することで、ユーザは、初期画面で画面操作による入力が可能となる。なお、既存ＡＰの画面操作用のインタフェースが初期画面に表示されている場合でも、顧客操作型端末１０は、音声入力による操作も可能な状態である。例えば、図２０に示すように、操作表示部１３６は、第３の表示領域８００に既存ＡＰのインタフェースを表示する。ユーザが第３の表示領域に表示されたボタンを押下すると、操作表示部１３６は、図２１に示す次の画面に遷移する。
【０１１５】
図２１に示す次の画面でも、操作表示部１３６は、第３の表示領域８０４に既存ＡＰのインタフェースを表示する。初期画面から既存ＡＰのインタフェースでの画面操作を可能にすることで、既存ＡＰのインタフェースでの画面操作に慣れているユーザは、ストレスなく効率的に顧客操作型端末１０を利用することができる。上述のように、制御部１５０は、初期画面で既存ＡＰのインタフェースによる画面操作を可能にすることで、操作表示部１３６の視認性を向上させることができる。
【０１１６】
（２）第２の変形例
上述の実施形態では、制御部１５０は、画面操作が可能な画面のレイアウトとして、図５に示すレイアウト２を操作表示部１３６に表示する例を説明したが、レイアウト２の画面操作が可能な箇所を明確にする表示をしてもよい。例えば、図２２に示すように、制御部１５０は、詳細ボタンを押下可能であることを示す指のアイコン９００を、詳細ボタンの近くに表示する。具体的に、制御部１５０は、ルート１の詳細ボタンにはアイコン９００Ａ、ルート２の詳細ボタンにはアイコン９００Ｂ、ルート３の詳細ボタンにはアイコン９００Ｃを表示する。上述のように、制御部１５０は、画面操作可能な箇所を明確にする表示を行うことで、操作表示部１３６の操作性を向上させることができる。
【０１１７】
なお、アイコン９００の表示方法は特に限定されず、任意の方法により表示されてよい。例えば、制御部１５０は、レイアウト２の画面表示と同時にアイコン９００を表示し、数秒間でアイコン９００が消えるように設定してもよい。また、制御部１５０は、アイコン９００にアニメーションによる動きをつけてもよい。ここで、アニメーションによる動きとは、例えば、点滅である。制御部１５０は、指のアイコン９００を点滅させることによって、画面操作可能な箇所を、ユーザにとって分かりやすく明確に表示することができる。
【０１１８】
（３）第３の変形例
上述の実施形態では、制御部１５０は、ユーザが項目を選択すると画面を遷移させる例を説明したが、ユーザが選択した項目を強調表示してから画面を遷移させてもよい。例えば、図２３の強調表示１に示すように、制御部１５０は、ユーザが選択した検索結果９２０を丸枠で囲むことで強調表示してもよい。また、例えば、図２３の強調表示２に示すように、制御部１５０は、ユーザが選択した検索結果９２２以外の項目の色の明度を高くすることで、ユーザが選択した検索結果９２２を強調表示してもよい。また、例えば、図２３の強調表示３に示すように、制御部１５０は、ユーザが選択した検索結果９２４を点滅させることで強調表示してもよい。上述のように、制御部１５０は、ユーザが選択した項目を強調表示することで、操作表示部１３６の視認性を向上させることができる。
【０１１９】
（４）第４の変形例
上述の実施形態では、制御部１５０は、第２の表示領域に１つのユーザ画像と１つの吹き出しを表示する例を説明したが、顧客操作型端末１０が複数のユーザを検知した場合、制御部１５０は、第２の表示領域に複数のユーザ画像と複数の吹き出しを表示してもよい。例えば、カメラ１２０とマイク１２８が２人のユーザを検知した場合、図２４に示すように、１人目のユーザのユーザ画像９３０と吹き出し９３２、２人目のユーザのユーザ画像９３４と吹き出し９３８を表示してもよい。上述のように、制御部１５０は、顧客操作型端末１０が検知したユーザの数だけユーザ画像と吹き出しを第２の表示領域に表示することで、操作表示部１３６の視認性を向上させることができる。
【０１２０】
（５）第５の変形例
上述の実施形態では、制御部１５０は、操作表示部１３６に画面を縦表示する例を説明したが、制御部１５０は、操作表示部１３６の向きに応じて、画面の向き、及び画面のレイアウトを変更してもよい。例えば、操作表示部１３６が縦向きの場合、制御部１５０は、上述の実施形態で説明した画面の向き、及び画面のレイアウトを操作表示部１３６に表示する。また、例えば、操作表示部１３６の向きが横向きの場合、制御部１５０は、図２５に示すように、画面を横向きに表示する。また、制御部１５０は、画面の長手方向に沿って第１の表示領域９４０、第２の表示領域９４４、第３の表示領域９４２の順に各表示領域を操作表示部１３６に表示してもよい。上述のように、制御部１５０は、操作表示部１３６の向きに応じて画面を表示する向き、及び画面のレイアウトを変更することで、操作表示部１３６の視認性を向上させることができる。
【０１２１】
（６）第６の変形例
上述の実施形態では、制御部１５０は、チケットを発券した後に、カメラ１２０がユーザを検知しなくなったら画面の表示を初期画面に戻す例を説明したが、制御部１５０は、チケットを発券した後に、チケットに関する情報を表示してもよい。例えば、制御部１５０は、発券したチケットの内容を画面に表示し、チケットの内容を読み上げて音声を出力することでチケットの内容をユーザに伝えて、ユーザがチケットの内容を確認できるようにする。チケットの内容を読み上げる際に、制御部１５０は、画面に表示されたチケットの内容の読み上げた箇所を赤字にすることで、読み上げられた箇所をユーザが分かるようにしてもよい。上述のように、制御部１５０は、発券したチケットの内容を表示することで、操作表示部１３６の視認性を向上させることができる。
【０１２２】
（７）第７の変形例
上述の実施形態では、制御部１５０は、チケットの発券処理中に、レイアウト３の第４の表示領域にサービス情報を表示する例を説明したが、制御部１５０は、ユーザがサービス情報を確認している場合、チケットの発券処理速度を遅くしてもよい。例えば、制御部１５０は、サービス情報の表示中にユーザが画面を操作したことを検知した場合、ユーザがサービス情報を確認していると認識し、チケットの発券処理速度を遅くする。制御部１５０がチケットの発券処理速度を遅くすることで、ユーザは、サービス情報を確認する時間を確保することができる。上述のように、制御部１５０は、チケットの発券処理速度を遅くすることで、操作表示部１３６の視認性を向上させることができる。
【０１２３】
また、制御部１５０は、ユーザがサービス情報を確認している場合、ユーザが確認している情報の内容に応じてＡＩが反応するようにしてもよい。例えば、制御部１５０は、ユーザがサービス情報として天気予報を確認している場合、ＡＩに「天気が心配ですか？より詳細な天気予報を表示しますか？」と発話させてもよい。ユーザが天気予報の詳細を表示してほしい旨の反応をした場合、制御部１５０は、操作表示部１３６に天気予報の詳細を表示する。
【０１２４】
（８）第８の変形例
上述の実施形態では、顧客操作型端末１０における画面構成、動作例について説明したが、情報表示装置を用いる場合、制御部１５０は、画面に表示するサービス情報を時間経過に伴い変化させてもよい。また、制御部１５０は、レイアウト２を用いた初期画面の第３の表示領域に表示される既存ＡＰの操作用画面を時間経過に伴い変化させてもよい。例えば、制御部１５０は、図２０に示す第３の表示領域８００に表示される文字の大きさや、色を時間経過に伴い変化させることで、操作表示部１３６の視認性を向上させることができる。また、情報表示装置を用いる場合、制御部１５０は、ユーザが入力した操作内容に対応したバーコード情報を作成し、操作表示部１３６に表示してもよい。ユーザは、自身が所持する携帯型端末に当該バーコード情報（或いはバーコード情報を含む表示画面）を読み込ませることにより、情報表示装置で入力した操作内容を携帯型端末に取得させることができる。
【０１２５】
以上、本発明の実施形態に係る変形例について説明した。続いて、本発明の実施形態に係るハードウェア構成について説明する。
【０１２６】
＜８．ハードウェア構成＞
上述したサービスの提供に関する情報処理は、ソフトウェアと、以下に説明する顧客操作型端末１０のハードウェアとの協働により実現される。
【０１２７】
図２６は、顧客操作型端末１０のハードウェア構成例を示したブロック図である。顧客操作型端末１０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１０３と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０５を備える。また、顧客操作型端末１０は、入力部１０７と、表示部１０９と、出力部１１１と、ストレージ部１１３と、ネットワークインタフェース１１５とを備える。
【０１２８】
ＣＰＵ１０１は、演算処理装置および制御装置として機能し、各種プログラムに従って顧客操作型端末１０内の動作全般を制御する。また、ＣＰＵ１０１は、マイクロプロセッサであってもよい。ＲＯＭ１０３は、ＣＰＵ１０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ１０５は、ＣＰＵ１０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。ＣＰＵ１０１、ＲＯＭ１０３およびＲＡＭ１０５は、ソフトウェアとの協働により図３を参照して説明した制御部１５０の機能を実現し得る。
【０１２９】
入力部１０７は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、センサ、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１０１に出力する入力制御回路などから構成されている。顧客操作型端末１０のユーザは、該入力部１０７を操作することにより、顧客操作型端末１０に対して各種のデータを入力したり処理動作を指示したりすることができる。
【０１３０】
表示部１０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、プロジェクター装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。また、出力部１１１は、スピーカおよびヘッドホンなどの音声出力装置を含む。
【０１３１】
ストレージ部１１３は、データ格納用の装置である。ストレージ部１１３は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ部１１３は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ  Ｓｔｒａｇｅ  Ｄｒｉｖｅ）、あるいは同等の機能を有するメモリ等で構成される。このストレージ部１１３は、ストレージを駆動し、ＣＰＵ１０１が実行するプログラムや各種データを格納する。
【０１３２】
ネットワークインタフェース１１５は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。かかる通信インタフェースは、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＺｉｇＢｅｅ（登録商標）等の近距離無線通信インタフェースや、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、Ｗｉ−Ｆｉ（登録商標）、または携帯通信網（ＬＴＥ、３Ｇ）等の通信インタフェースである。また、ネットワークインタフェース１１５は、有線による通信を行う有線通信装置であってもよい。
【０１３３】
以上、図２６を参照しながら、顧客操作型端末１０のハードウェア構成例について説明した。
【０１３４】
＜９．むすび＞
以上説明したように、本発明の実施形態によれば、顧客操作型端末１０は、ユーザが発話により入力した音声情報を取得し、音声情報を変換したテキストデータに基づき、ユーザの発話に対する応答を決定することができる。また、顧客操作型端末１０の操作表示部１３６は、ＡＩ画像とＡＩの発話内容を表示する第１の表示領域、ユーザの発話内容を表示する第２の表示領域、及び顧客操作型端末１０がユーザに提供するサービスを表示する第３の表示領域で構成される画面を表示することができる。また、顧客操作型端末１０の制御部１５０は、応答の内容に応じて、ＡＩの発話内容をＡＩ画像とサービスの間に配置し、ユーザの発話内容をユーザ画像とサービスの間に配置することができる。上述のように、顧客操作型端末１０は、ユーザに必要な情報を画面の中央に寄せて表示することで、ユーザの視線の移動量を減らすことができ、画面の視認性を向上することが可能である。
【０１３５】
以上より、画面の視認性を向上することが可能な、新規かつ改良された情報処理装置、情報処理方法、及びプログラムを提供することが可能である。
【０１３６】
＜１０．補足＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１３７】
なお、本明細書の顧客操作型端末１０、及びＷｅｂＡＰサーバ３０の処理における各ステップは、必ずしもシーケンス図に記載された順序に沿って時系列に処理する必要はない。例えば、顧客操作型端末１０の処理における各ステップは、シーケンス図に記載した順序と異なる順序で処理されても、並列的に処理されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
【０１３８】
また、本明細書において説明した顧客操作型端末１０、及びＷｅｂＡＰサーバ３０は、単独の装置として実現されてもよく、一部または全部が別々の装置として実現されてもよい。例えば、図３に示した顧客操作型端末１０、及び図４に示したＷｅｂＡＰサーバ３０のように、機能を別々に備える単独の装置として実現されてもよい。また、例えば、図４に示したＷｅｂＡＰサーバ３０の全ての機能を、顧客操作型端末１０に備えさせ、顧客操作型端末１０のみで実現してもよい。また、一部の機能はネットワーク等を介して接続されたサーバ等の装置に備えられてもよい。
【０１３９】
また、顧客操作型端末１０、及びＷｅｂＡＰサーバ３０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、上述した顧客操作型端末１０、及びＷｅｂＡＰサーバ３０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
【符号の説明】
【０１４０】
１０    顧客操作型端末
３０    ＷｅｂＡＰサーバ
１２０  カメラ
１２４  スピーカ
１２８  マイク
１３２  通信部
１３６  操作表示部
１４０  決済媒体部
１４４  チケット発券部
１５０  制御部
１５４  カメラＡＰ
１５８  画面ＡＰ
１６２  ＷｅｂＳｏｃｋｅｔサーバ
１６６  雑音除去モジュール
１７０  音声認識ＡＰ
３０２  通信部
３０４  業務ＷｅｂＡＰサーバ
３０８  音声認識エンジン部
３１２  ＡＩ対話エンジン部
３１６  対話データ記憶部
３２０  発話音声エンジン部
【図１】
2019091151.tif 000003
【図２】
2019091151.tif 000004
【図３】
2019091151.tif 000005
【図４】
2019091151.tif 000006
【図５】
2019091151.tif 000007
【図６】
2019091151.tif 000008
【図７】
2019091151.tif 000009
【図８】
2019091151.tif 000010
【図９】
2019091151.tif 000011
【図１０】
2019091151.tif 000012
【図１１】
2019091151.tif 000013
【図１２】
2019091151.tif 000014
【図１３】
2019091151.tif 000015
【図１４】
2019091151.tif 000016
【図１５】
2019091151.tif 000017
【図１６】
2019091151.tif 000018
【図１７】
2019091151.tif 000019
【図１８】
2019091151.tif 000020
【図１９】
2019091151.tif 000021
【図２０】
2019091151.tif 000022
【図２１】
2019091151.tif 000023
【図２２】
2019091151.tif 000024
【図２３】
2019091151.tif 000025
【図２４】
2019091151.tif 000026
【図２５】
2019091151.tif 000027
【図２６】
2019091151.tif 000028