(57)【要約】【課題】テキストのみに基づいて会話型の自動応答サービスを利用する場合に比して、より高度なサービスを提供する。【解決手段】情報処理装置は、対話形式により、ユーザから情報を受け付ける受付手段と、ユーザからの情報が自然言語で入力された場合には、自然言語の内容を解析する第１のサービスを情報の送信先として選択し、ユーザからの情報が画像又は音で入力された場合には、受け付けた情報の解析先として第２のサービスを選択する選択手段とを有する。【選択図】図４
2020135822.tif 000002
【特許請求の範囲】
【請求項１】
対話形式により、ユーザから情報を受け付ける受付手段と、
ユーザからの情報が自然言語で入力された場合には、自然言語の内容を解析する第１のサービスを情報の送信先として選択し、ユーザからの情報が画像又は音で入力された場合には、受け付けた情報の解析先として第２のサービスを選択する選択手段と
を有する情報処理装置。
【請求項２】
前記第２のサービスによる解析の結果をユーザに提示する提示手段
を更に有する請求項１に記載の情報処理装置。
【請求項３】
前記第２のサービスによる解析の結果として複数の候補が通知された場合、前記提示手段は、可能性が高い候補を優先的に提示する、請求項２に記載の情報処理装置。
【請求項４】
前記第２のサービスによる解析の結果を対話の履歴に基づいてユーザに提示する提示手段
を更に有する請求項１に記載の情報処理装置。
【請求項５】
前記解析の結果として複数の候補が通知された場合、前記提示手段は、対話の履歴に基づいてユーザに提示する候補を決定する、請求項４に記載の情報処理装置。
【請求項６】
前記提示手段は、前記第２のサービスによる前記解析の結果の信頼度が高くなった場合には、当該解析の結果をユーザに提示することなくシナリオを進める、請求項５に記載の情報処理装置。
【請求項７】
前記第２のサービスによる解析の結果をユーザに提示しない、請求項１に記載の情報処理装置。
【請求項８】
前記第２のサービスによる前記解析の結果を進行中のシナリオに応じて前記第１のサービスに送信し、当該第１のサービスによる解析の結果と当該進行中のシナリオに応じた内容を提示する、請求項７に記載の情報処理装置。
【請求項９】
コンピュータに、
対話形式により、ユーザから情報を受け付ける機能と、
ユーザからの情報が自然言語で入力された場合には、自然言語の内容を解析する第１のサービスを情報の送信先として選択し、ユーザからの情報が画像又は音で入力された場合には、受け付けた情報の解析先として第２のサービスを選択する機能と
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
カスタマーサービスの一部は、オペレータによる口頭での対応からテキストメッセージによる会話型の自動応答サービスに置き換わっている。この技術は、チャットボットとも呼ばれる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−５２４４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ユーザによるメッセージの入力がテキストに限られる場合、問い合わせたい部材、部位、症状等を特定する名称等を知らないユーザは、問い合わせたい事項の特定までの多くの会話が必要になるだけでなく、問い合わせたい事項を特定できない事態も起こり得る。
【０００５】
本発明は、テキストのみに基づいて対話型の自動応答サービスを利用する場合に比して、より高度なサービスを提供することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明は、対話形式により、ユーザから情報を受け付ける受付手段と、ユーザからの情報が自然言語で入力された場合には、自然言語の内容を解析する第１のサービスを情報の送信先として選択し、ユーザからの情報が画像又は音で入力された場合には、受け付けた情報の解析先として第２のサービスを選択する選択手段とを有する情報処理装置である。
請求項２に記載の発明は、前記第２のサービスによる解析の結果をユーザに提示する提示手段を更に有する請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記第２のサービスによる解析の結果として複数の候補が通知された場合、前記提示手段は、可能性が高い候補を優先的に提示する、請求項２に記載の情報処理装置である。
請求項４に記載の発明は、前記第２のサービスによる解析の結果を対話の履歴に基づいてユーザに提示する提示手段を更に有する請求項１に記載の情報処理装置である。
請求項５に記載の発明は、前記解析の結果として複数の候補が通知された場合、前記提示手段は、対話の履歴に基づいてユーザに提示する候補を決定する、請求項４に記載の情報処理装置である。
請求項６に記載の発明は、前記提示手段は、前記第２のサービスによる前記解析の結果の信頼度が高くなった場合には、当該解析の結果をユーザに提示することなくシナリオを進める、請求項５に記載の情報処理装置である。
請求項７に記載の発明は、前記第２のサービスによる解析の結果をユーザに提示しない、請求項１に記載の情報処理装置である。
請求項８に記載の発明は、前記第２のサービスによる前記解析の結果を進行中のシナリオに応じて前記第１のサービスに送信し、当該第１のサービスによる解析の結果と当該進行中のシナリオに応じた内容を提示する、請求項７に記載の情報処理装置である。
請求項９に記載の発明は、コンピュータに、対話形式により、ユーザから情報を受け付ける機能と、ユーザからの情報が自然言語で入力された場合には、自然言語の内容を解析する第１のサービスを情報の送信先として選択し、ユーザからの情報が画像又は音で入力された場合には、受け付けた情報の解析先として第２のサービスを選択する機能とを実行させるプログラムである。
【発明の効果】
【０００７】
請求項１記載の発明によれば、テキストのみに基づいて対話型の自動応答サービスを利用する場合に比して、より高度なサービスを提供できる。
請求項２記載の発明によれば、ユーザの知りたい情報に効率よく導くことができる。
請求項３記載の発明によれば、ユーザによる解析の結果の確認を効率化できる。
請求項４記載の発明によれば、ユーザの理解度を高めて対話を促進できる。
請求項５記載の発明によれば、ユーザによる解析の結果の確認を効率化できる。
請求項６記載の発明によれば、対話の進行を促進できる。
請求項７記載の発明によれば、対話の進行を促進できる。
請求項８記載の発明によれば、対話の進行を促進できる。
請求項９記載の発明によれば、テキストのみに基づいて対話型の自動応答サービスを利用する場合に比して、より高度なサービスを提供できる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１で使用する情報処理システムの概念構成を説明する図である。
【図２】端末装置の構成例を説明する図である。
【図３】実施の形態１で使用する端末装置の制御ユニットによって提供される機能構成を説明する図である。
【図４】実施の形態１で使用する端末装置が実行する処理動作を説明するフローチャートである。
【図５】実施の形態１における端末装置に表示される操作画面の一例を示す図である。
【図６】印刷物に現れる汚れを解決する方法が質問された場合に操作画面に現れるメッセージのうち時点Ｔ１〜時点Ｔ４までを示す図である。
【図７】印刷物に現れる汚れを解決する方法が質問された場合に操作画面に現れるメッセージのうち時点Ｔ５〜時点Ｔ９までを示す図である。
【図８】図６及び図７における時点Ｔ４〜時点Ｔ７までの他の対話例を示す図である。
【図９】図６及び図７における時点Ｔ４〜時点Ｔ７までの他の対話例を示す図である。
【図１０】図６及び図７における時点Ｔ３〜時点Ｔ７までの他の対話例を示す図である。
【図１１】名前を知らない部位の使い方を質問された場合に操作画面に現れるメッセージのうち時点Ｔ１１〜時点Ｔ１４までを示す図である。
【図１２】名前を知らない部位の使い方を質問された場合に操作画面に現れるメッセージのうち時点Ｔ１５〜時点Ｔ１８までを示す図である。
【図１３】エラー画面に対処する方法が質問された場合に操作画面に現れるメッセージのうち時点Ｔ２１〜時点Ｔ２４までを示す図である。
【図１４】エラー画面に対処する方法が質問された場合に操作画面に現れるメッセージのうち時点Ｔ２５〜時点Ｔ２９を示す図である。
【図１５】実施の形態２で使用する情報処理システムの概念構成を説明する図である。
【図１６】本体から異音が聞こえるトラブルを解決する方法が質問された場合に操作画面に現れるメッセージの一部分を示す図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して、本発明の実施の形態を説明する。
＜実施の形態１＞
＜システムの全体構成＞
図１は、実施の形態１で使用する情報処理システム１の概念構成を説明する図である。情報処理システム１は、インターネット１０と、サービスの利用者であるユーザが操作する端末装置２０と、自然言語データを解析するサービスを提供する自然言語処理サーバ３０と、画像データを解析するサービスを提供する画像解析サーバ４０とを有している。
本実施の形態の場合、自然言語データは、文字列で構成されるデータ（以下「テキストデータ」という）とユーザの音声を録音したデータの一方又は両方を含んでいる。音声データは、ＷＡＶ、ＭＰ３、ＡＡＣ（＝Advanced Audio Codingの略）等の既知の音声ファイルフォーマットで表現されている。
画像データは、静止画データと動画データの一方又は両方を含んでいる。
【００１０】
自然言語処理サーバ３０は、テキストデータを自然言語解析し、解析の結果と対話用のシナリオ（以下「対話シナリオ」という）とに基づいて端末装置２０に出力するテキストデータを生成する。自然言語処理の対象とするテキストデータは、端末装置２０で入力されたテキストデータの他、音声データを音声認識技術によりテキスト化したデータを含んでいる。
本実施の形態の場合、音声認識は、自然言語処理サーバ３０内で自然言語処理の前処理として実行される。もっとも、音声認識が端末装置２０側で実行される場合には、自然言語処理サーバ３０は、テキストデータを入力する。
【００１１】
本実施の形態における自然言語処理は、形態素解析、構文解析、意味解析、文脈解析等で構成される。本実施の形態の場合、自然言語処理の一部又は全部は、人工知能により実現される。自然言語処理は、１台のサーバによって実現されてもよいし、複数のサーバの連携によって実現されてもよい。
本実施の形態の場合、自然言語処理サーバ３０の対話シナリオは、対話型の自動応答サービスを提供する事業者によって用意されている。自然言語処理サーバ３０に用意する対話シナリオは、ユーザから入力された自然言語データの解析、対話の進行管理等に使用される。対話シナリオは、対話の進行に応じてユーザに提示するメッセージや選択肢の集まりと、ユーザが選択した又は入力した情報の送信先を規定する情報等で構成される。本実施の形態では、対話型の自動応答サービスの初期画面又は先頭画面で選択されたメッセージに関する対話が終了するまでのメッセージのやり取りを対話シナリオとする。
【００１２】
因みに、本実施の形態の場合、端末装置２０側の対話シナリオは、ユーザの入力を解析するサーバの選択と解析の結果の確認をユーザに求める対話の進行管理に使用される。
本実施の形態では、端末装置２０側で実行される対話シナリオを、確認用の対話シナリオともいう。確認用の対話シナリオは、ユーザが入力した情報の送信先を決定する機能も有している。例えば入力が自然言語データであるテキストの場合には自然言語処理サーバ３０を送信先とし、入力が非自然言語データである画像の場合には画像解析サーバ４０を送信先とする。なお、送信先が画像解析サーバ４０の場合、本実施の形態における確認用の対話シナリオは、解析の目的も画像データとともに送信する。
本実施の形態における自然言語処理サーバ３０は、対話型の自動応答サービスを提供する事業者が運用している。本実施の形態の場合、自然言語処理サーバ３０は、クラウドサーバとして実現されている。もっとも、自然言語処理サーバ３０は、オンプレミス型のサーバでもよい。自然言語処理サーバ３０が提供するサービスは、第１のサービスの一例である。
【００１３】
画像解析サーバ４０は、端末装置２０からの要求に応じて画像を解析し、解析の結果をテキストデータとして端末装置２０に出力する。端末装置２０から画像解析サーバ４０に送信される要求には、例えば画像に含まれるテキストの抽出、撮像されている物体の認識、撮像されている画像に現れている症状や状態の認識等がある。ここでの要求は、端末装置２０側の対話シナリオがユーザの入力に応じて決定する。
本実施の形態では、複数の画像解析を１台の画像解析サーバ４０で実現しているが、テキストの抽出用の画像解析サーバ４０と、物体の認識用の画像解析サーバ４０と、症状や状態の認識用の画像解析サーバ４０を別々に用意してもよい。また、各目的に対応した画像解析を、１台のサーバによって実現してもよいし、複数のサーバの連携によって実現してもよい。
【００１４】
本実施の形態における画像解析サーバ４０も、対話型の自動応答サービスを提供する事業者が運用している。もっとも、画像解析サーバ４０を運用する事業者と、自然言語処理サーバ３０を運用する事業者とは別でもよい。ここでの自然言語処理サーバ３０を運用する事業者と画像解析サーバ４０を運用する事業者とは親会社と子会社との関係でもよいし、資本関係を有していてもよいし、資本関係はなくても人的な関係があってもよいし、資本関係も人的な関係も無くてもよい。例えば一方の事業者は、汎用的な画像認識サービスの提供者でもよい。
本実施の形態の場合も、画像解析サーバ４０は、クラウドサーバとして実現されている。もっとも、画像解析サーバ４０は、オンプレミス型のサーバでもよい。画像解析サーバ４０が提供するサービスは、第２のサービスの一例である。
図１の場合、情報処理システム１は、１台の端末装置２０で構成されているが、端末装置２０は複数台でもよい。ここでの端末装置２０は、情報処理装置の一例である。
【００１５】
＜各装置の構成＞
＜サーバの構成＞
自然言語処理サーバ３０と画像解析サーバ４０は、いずれもインターネットに接続されたコンピュータである。従って、自然言語処理サーバ３０と画像解析サーバ４０は、プログラムを実行するＣＰＵ（＝Central Processing Unitの略）と、基本ソフトウェアやＢＩＯＳ（Basic Input/Output Systemの略）等が記憶されたＲＯＭ（＝Read Only Memoryの略）と、ワークエリアとして用いられるＲＡＭ（＝Random Access Memoryの略）と、記憶ユニットとしてのハードディスク装置と、通信ユニット等で構成されている。
自然言語処理や画像解析を実現する人工知能などは、機械学習等によって生成された学習済みモデル、対話シナリオに基づく対話の進行を管理するアプリケーションプログラムなどは記憶ユニットに格納されている。
【００１６】
＜端末装置の構成＞
端末装置２０は、携帯型の端末である。携帯型の端末には、例えばスマートフォン、ウェアラブル端末、ノート型のコンピュータが含まれる。ウェアラブル端末には、例えば手首に装着する腕輪型、頭部に装着するメガネ型の端末がある。メガネ型の端末には、ホログラム光学素子を組み込んだ透明板を使用する透過式がある。ホログラム光学素子は、前方から入射する光を透過する性質と、透明板の内部を伝搬する映像光を屈折する特性を有している。このため、メガネ型の端末を装着したユーザは、前方の景色に画像やテキストを重ねた像を視認することが可能である。
【００１７】
図２は、端末装置２０の構成例を説明する図である。端末装置２０は、装置全体の動作を制御する制御ユニット２０１と、対話シナリオや自然言語処理サーバ３０（図１参照）等との連携を実現するプログラム等を記憶する記憶ユニット２０２と、ユーザインタフェース画面等の表示に用いられる表示ユニット２０３と、ユーザの操作を受け付ける操作受付ユニット２０４と、インターネット１０を介した通信を実現する通信インタフェース２０５と、画像を撮像するカメラ２０６と、音声や音の録音に使用されるマイク２０７とを有している。
なお、制御ユニット２０１は、プログラムを実行するＣＰＵ２１１と、ファームウェアやＢＩＯＳ等が記憶されたＲＯＭ２１２と、ワークエリアとして用いられるＲＡＭ２１３とを有している。
【００１８】
記憶ユニット２０２は、例えば不揮発性の書き換え可能な記憶媒体であるハードディスク装置や半導体メモリ等によって構成される。記憶ユニット２０２として使用する記憶媒体は、端末装置２０の商品形態によって異なる。
表示ユニット２０３は、例えば液晶ディスプレイや有機ＥＬディスプレイで構成される。
操作受付ユニット２０４は、表示ユニット２０３の表面に配置されるタッチセンサ、装置本体に配置される物理的なスイッチ、ボタン等で構成される。操作受付ユニット２０４は、受付手段の一例である。
因みに、制御ユニット２０１と各ユニット等とは、バス２０８や不図示の信号線を通じて接続されている。
【００１９】
図３は、実施の形態１で使用する端末装置２０の制御ユニット２０１によって提供される機能構成を説明する図である。図３に示す機能モジュールは、ＣＰＵ２１１（図２参照）によるプログラムの実行を通じて実現される。なお、図３に示す機能モジュールは、制御ユニット２０１によって提供される機能モジュールの一例である。
本実施の形態における制御ユニット２０１は、確認用の対話シナリオに基づいて対話の進行を制御するシナリオ制御モジュール２２１と、対話形式でテキストを表示する対話画面表示モジュール２２２と、自然言語処理サーバ３０（図１参照）にテキストデータを送信するテキストデータ送信モジュール２２３と、カメラ２０６（図２参照）による被写体の撮像を制御する撮像制御モジュール２２４と、画像解析サーバ４０（図１参照）に画像データを送信する画像データ送信モジュール２２５と、自然言語処理サーバ３０又は画像解析サーバ４０からテキストデータを受信するテキストデータ受信モジュール２２６としての機能を有している。
【００２０】
シナリオ制御モジュール２２１は、例えば「はい」及び「いいえ」を選択肢とする画面の表示と、ユーザによる選択の受付処理とを分担する。もっとも、選択肢の数は２つに限らず、３つ以上でもよい。シナリオ制御モジュール２２１は、ユーザによる選択的な確認を受け付ける対話シナリオを分担する。対話シナリオの一部を端末装置２０側で分担しない場合には、自然言語処理サーバ３０側の対話シナリオの進行が途中で停止された状態が長く続き、強制的にセッションが切断されてしまう。なお、セッションが切断されると、対話シナリオに基づく対話を最初からやり直す必要が生じる。シナリオ制御モジュール２２１は、受付手段の一例であるとともに、選択手段の一例でもある。
【００２１】
対話画面表示モジュール２２２は、ユーザ側からの入力内容と自動応答サービス側からの問い合わせや応答の内容を区別可能に表示する。本実施の形態における対話画面表示モジュール２２２は、ユーザが入力した内容を画面の右側に時系列に配列し、自動応答サービス側からの問い合わせや応答の内容を画面の左側に時系列に配列する。なお、ユーザが入力した内容が表示される位置と、自動応答サービス側からの問い合わせや応答の内容が表示される位置との間でも時間の前後関係が維持される。対話画面表示モジュール２２２は、提示手段の一例である。
テキストデータ送信モジュール２２３は、ユーザが入力したテキストデータ又は画像解析サーバ４０から受信したテキストデータを自然言語処理サーバ３０に送信する。ここで、ユーザが入力したテキストデータには、ユーザが選択した内容を示すテキストデータも含まれる。また、画像解析サーバ４０から受信されるテキストデータは、画像データの解析の結果を表している。
【００２２】
撮像制御モジュール２２４は、カメラ２０６の起動と撮像された画像の取り込みその他を実行する。静止画としての取り込みの場合は、ユーザがシャッタボタンを操作した時に撮像されている画像を取り込む。また、動画像としての取り込みの場合は、ユーザが録画ボタンをオン状態に操作している期間に撮像されている動画像を取り込む。取り込まれた画像は、予め定められたフォーマット形式のデータファイルとして記憶ユニット２０２（図２参照）に記憶される。
画像データ送信モジュール２２５は、ユーザによって撮像された画像データを画像解析サーバ４０に送信する。なお、画像データ送信モジュール２２５が送信する画像データには、解析の結果として求める出力の内容を指定する情報も含まれる。すなわち、画像の解析の目的を示す情報も含まれる。
テキストデータ受信モジュール２２６は、自動応答サービスを実現する自然言語処理サーバ３０と画像解析サーバ４０からテキストデータを受信する。
【００２３】
図４は、実施の形態１で使用する端末装置２０が実行する処理動作を説明するフローチャートである。図４に示す処理動作は、前述したモジュールの連携により実現される。なお、図４に示す処理動作は、自然言語処理サーバ３０側の対話シナリオと端末装置２０側の確認用の対話シナリオとに基づいて実行される処理動作の一例である。従って、使用する対話シナリオが異なれば、処理動作の内容も異なる。図中の記号Ｓはステップを意味する。
【００２４】
まず、端末装置２０は、対話型の自動応答サービスを呼び出すテキストＡの入力を受け付ける（ステップ１）。ここでのテキストＡは、ユーザが操作した問い合わせボタンやヘルプボタンの内容に対応する。
次に、端末装置２０は、自然言語処理サーバ３０（図１参照）にテキストＡを送信する（ステップ２）。自然言語処理サーバ３０は、受信したテキストＡの意味を解析した結果を対話シナリオに与え、現時点の位置に応じたテキストＡ−１を端末装置２０に送信する。テキストＡ−１は、例えば「どうなさいましたか？」等の問いかけ文を含む。なお、対話シナリオでユーザに提示する選択肢が用意されている場合には、テキストＡ−１に選択肢も含まれる。
端末装置２０は、自然言語処理サーバ３０からテキストＡ−１を受信する（ステップ３）。
【００２５】
次に、端末装置２０は、受信したテキストＡ−１を表示する（ステップ４）。テキストＡ−１は、表示ユニット２０３（図２参照）に表示される。
続いて、端末装置２０は、ユーザによるテキストＡ−２の選択又は入力を受け付ける（ステップ５）。テキストＡ−２を受け付けた端末装置２０は、テキストＡ−２の内容が回答か画像の撮像かを判定する（ステップ６）。この判定は、端末装置２０で実行される確認用の対話シナリオの一部として用意されている。このように、端末装置２０には、送信先を決定する機能が設けられている。
テキストＡ−２の内容が回答であった場合、端末装置２０は、自然言語処理サーバ３０にテキストＡ−２を送信する（ステップ７）。テキストＡ−２を受信した自然言語処理サーバ３０は、この後、対話シナリオに基づいてテキストの入力の受付、送信先の決定、送信、応答の受信、表示等を繰り返す（ステップ８）。
【００２６】
一方、ステップ６でテキストＡ−２の内容が画像の撮像であった場合、端末装置２０は、カメラを起動し、対象物の撮像を待機する（ステップ９）。撮像の待機中に、端末装置２０は、画像を解析する目的を対話シナリオに基づいて決定する（ステップ１０）。ここでの目的は、例えば物体の認識、文字列の抽出等である。
この後、端末装置２０は、解析の目的と解析対象とする画像データを画像解析サーバ４０（図１参照）に送信する（ステップ１１）。なお、画像解析サーバ４０が解析する目的別に用意されている場合には、目的に応じた画像解析サーバ４０に撮像された画像データだけが送信される。
【００２７】
画像解析サーバ４０は、受信した画像データを解析し、解析の結果をテキストとして端末装置２０に送信する。
このように、本実施の形態では、ユーザが入力した情報を処理するサービスを端末装置２０側の対話シナリオに基づいて制御することが可能である。換言すると、本実施の形態の場合、端末装置２０側が、複数の人工知能サービスの利用の方法を選択する。因みに、自然言語処理サーバ３０で提供される人工知能サービスが他の人工知能サービスとの連携を決定する場合には、対話型の自動応答サービスの提供者が他の人工知能サービスの活用を自由に選択できない。
従って、本実施の形態の場合には、対話型の自動応答サービスの提供者が、複数の人工知能サービスの組み合わせを自由に指定して、より高度なサービスを提供できるようになる。
【００２８】
次に、端末装置２０は、画像解析サーバ４０から解析の結果をテキストＡ−３として受信する（ステップ１２）。
図４に示す処理動作の場合、端末装置２０は、自然言語処理サーバ３０にテキストＡ−３を送信する（ステップ１３）。自然言語処理サーバ３０では、受信したテキストＡ−３の意味を解析し、解析の結果を対話シナリオに適用して次に提示するテキストＡ−４を決定する。
端末装置２０は、自然言語処理サーバからテキストＡ−４を受信し（ステップ１４）、続いて受信したテキストＡ−４を表示する（ステップ１５）。
【００２９】
ここで、ステップ１２で受信したテキストＡ−３の正誤をユーザに確認することなく自然言語処理サーバ３０に送信する動作例は、画像解析の結果を示すテキストＡ−３の信頼性が高いためにユーザへの確認が不要な場合や画像解析の結果を示すテキストＡ−３そのものよりもユーザとの対話が自然になるテキストＡ−４を表示させたい場合に実行される。
もっとも、テキストＡ−３の信頼性が高くない間は、テキストＡ−３の正誤又は正しい候補の確認をユーザに促す画面を、自然言語処理サーバ３０へのテキストＡ−３の送信前に表示する。
ここで、信頼性が高いとは、画像解析の結果が正しいとユーザが入力した回数が予め定めた基準を超える場合、画像解析の総実行回に対する画像解析の結果が正しいと入力された回数の比率が予め定めた基準を超える場合等をいう。
【００３０】
画像解析の結果をユーザに確認する方法には、例えばテキストＡ−３の全部をそのまま表示する方法、可能性が高い候補から順番に１つずつ表示する方法等がある。いずれの方法を選択するかは、対話シナリオで決定された画像を解析する目的によって決定してもよい。
ステップ１５でテキストＡ−４が表示されると、端末装置２０は、前述したステップ８に移行する。すなわち、端末装置２０は、対話シナリオに基づいてテキストの入力の受付、送信先の決定、送信、応答の受信、表示等を繰り返す。
【００３１】
＜操作画面例＞
以下では、端末装置２０に表示される操作画面の一例を説明する。
【００３２】
＜表示例＞
図５は、実施の形態１における端末装置２０に表示される操作画面５００の一例を示す図である。
図５に示す操作画面５００は、対話型の自動応答サービスとユーザとの間でやり取りされたメッセージを時系列に表示するメッセージ表示領域５０１と、サービス別のアイコンが表示されるサービス選択領域５０２とで構成される。図５の場合、アイコン５１１は、説明を探すサービスの起動用であり、アイコン５１２は、対話型の自動応答サービスの起動用である。図５においては、アイコン５１２に「質問する」との説明文が付されている。
【００３３】
図５のメッセージ表示領域５０１には、対話型の自動応答サービスでやり取りされたメッセージが時系列に表示されている。図５の場合、対話型の自動応答サービス側からのメッセージ５２１及び５２５は、メッセージ表示領域５０１の左側に揃えるように配列されている。一方、ユーザの入力したメッセージ５２２、５２３、５２４は、メッセージ表示領域５０１の右側に揃えるように配列されている。
ここでのメッセージ５２１〜５２５は、対話シナリオに従って表示されている。
図５の例では、アイコン５１２の操作に対して、「どうなさいましたか？」との質問が自動応答サービス側からあり、それに対してユーザは「機器の使用方法について聞きたい」、「その他の相談をしたい」と順番に入力し、続いて、質問の対象である画像形成装置を撮像した画像を入力している。これに対して、自動応答サービスは、「お使いの機種は、ＡＢＣＤ−ＸＹ３３７５ですか？」と画像解析の結果を出力している。
ここでは、画像内から抽出されたテキストによって、質問の対象になっている機種が特定されている。このように画像の入力が可能であることで、自然言語だけで表現する場合に比して、質問の対象である機器や症状等の特定が促進される可能性が高まる。
【００３４】
＜印刷物に現れる汚れを解決する方法が質問された場合（１）＞
ここでは、図６及び図７を使用して、対話型の自動応答サービスの使用例を説明する。
図６は、印刷物に現れる汚れを解決する方法が質問された場合に操作画面に現れるメッセージのうち時点Ｔ１〜時点Ｔ４までを示す図である。
図７は、印刷物に現れる汚れを解決する方法が質問された場合に操作画面に現れるメッセージのうち時点Ｔ５〜時点Ｔ９までを示す図である。
【００３５】
時点Ｔ１では、アイコン５１２（図５参照）の操作に関連付けられた初期画面が表示される。時点Ｔ１の場合、質問内容の絞り込みに使用する３つの選択肢が表示されている。ここでの選択肢は、「１．機器の使用方法を教えて欲しい」、「２．トラブルの対処方法を聞きたい」、「３．その他」である。時点Ｔ１では、ユーザが「２．トラブルの対処方法を聞きたい」を選択している。
なお、メッセージとして表示されるテキストは、自然言語処理サーバ３０（図１参照）の対話シナリオに基づいて表示されている。以下、同様である。
【００３６】
時点Ｔ２では、トラブルの内容をユーザに問い合わせる画面が表示される。時点Ｔ２の場合、「内容を選んでください」との問い合わせとともに、５つの選択肢が表示されている。ここでの選択肢は、「１．エラーの表示が出ている」、「２．出力のトラブル」、「３．スキャンのトラブル」、「４．機械本体のトラブル」、「５．その他」である。時点Ｔ２では、ユーザが「２．出力のトラブル」を選択している。
【００３７】
時点Ｔ３では、ユーザが希望するアクションの選択を求める画面が表示される。時点Ｔ３の例では、「トラブル箇所、もしくは出力サンプルを撮影してください」との問い合わせとともに、３つの選択肢が表示されている。時点Ｔ３の例は、推奨されるトラブルの特定方法が画像の撮像の場合である。ここでの選択肢は、「１．撮像する」、「２．ヘルプを見る」、「３．コンタクトセンターへ電話する」である。時点Ｔ３では、ユーザが「１．撮像する」を選択している。
本実施の形態の場合、時点Ｔ３における選択により、ユーザが入力する情報の送信先が決定される。因みに、「１．撮像する」が選択された場合は、送信先が画像解析サーバ４０（図１参照）となり、「２．ヘルプを見る」と「３．コンタクトセンターへ電話する」が選択された場合は、送信先が自然言語処理サーバ３０（図１参照）となる。
【００３８】
時点Ｔ４では、端末装置２０がカメラ２０６（図２参照）を起動し、ユーザによる画像の撮像を待機する。
図６の場合、ユーザによって撮像された印刷物の画像が操作画面に表示されている。ユーザによる入力であるので、メッセージは、操作画面の右側に配置されている。図６の場合、元画像には存在しないはずの黒い縦線が、印刷物に現れている。ここでの画像が画像解析サーバ４０に送信される。
【００３９】
時点Ｔ５では、画像解析サーバ４０による解析の結果が、テキストデータとして、画像解析サーバ４０から端末装置２０に通知される。この例の場合、解析の結果は、端末装置２０に表示されない。図７の場合、解析の結果は、推測された画像の種類とそれぞれの確からしさの情報とで構成されている。ここでは、「白黒画像  ６０」、「黒線画像  ３０」、「しわ画像  １０」の３つの可能性が示されている。ここで、「白黒画像  ６０」は、白黒画像である可能性が６０％であることを意味する。
なお、画像解析サーバ４０が送信するテキストデータには、解析の結果の全てが記載されていてもよいし、可能性が高い予め定めた個数未満の解析の結果が記載されてもよい。勿論、解析の結果が１つであれば、テキストデータに記載される画像の種類は１つである。
【００４０】
図７の例では、解析の結果をそのままユーザに提示するのではなく、解析の結果として受信したテキストデータを自然言語処理サーバ３０に送信し、進行中の対話シナリオの観点から解析の結果を評価し、ユーザの意図を反映するメッセージを生成させる。
本実施の形態の場合、ユーザは、時点Ｔ２において、出力のトラブルを指摘している。このため、自然言語処理サーバ３０は、出力サンプルのトラブルとの関係では、黒線画像の可能性が白黒画像よりも高いと判定する。この例では、自然言語処理サーバ３０は、「出力サンプルに黒い線がでて汚れていますね」とのテキストデータを端末装置２０に送信する。
【００４１】
なお、ユーザの意図を反映するテキスト文の生成に際して参照する対話の履歴は、進行中の対話シナリオに限らない。例えば進行中の対話シナリオの直前に進行した１つ又は複数の対話シナリオにおける対話の履歴を参照してもよい。例えば直前の対話シナリオにおいて、「機器の使用方法を教えて欲しい」が選択され、具体的な項目として「機内クリーニング」が選択されていた場合には、トラブルの原因が機内の汚れに関係する可能性が高くなる。このため、ユーザに提示するメッセージの表現を、ユーザの意図により近づけることが可能になる。
【００４２】
時点Ｔ６では、ユーザが撮像した画像から推定されるトラブルの候補をユーザに示し、ユーザに候補の正誤の確認を求める画面が表示される。時点Ｔ６の例では、「出力サンプルに黒い線がでて汚れていますね」との問い合わせとともに、正誤に対応する２つの選択肢が表示されている。具体的には、「１．はい」と「２．いいえ」である。時点Ｔ６では、ユーザが「１．はい」を選択している。
選択の結果は、端末装置２０から自然言語処理サーバ３０に送信される。自然言語処理サーバ３０は、印刷物に黒い線の汚れがでる症状に対応付けられている解決方法の画面の場所の情報をテキストデータとして端末装置２０に返送する。
なお、ユーザによる選択の結果は、画像解析サーバ４０にも送信される。画像解析サーバ４０では、受信した正誤の判断を機械学習に活用する。
【００４３】
時点Ｔ７では、トラブルを解決する方法が記載されている画面の位置がユーザに提示される。時点Ｔ７の例では、「下記のＵＲＬをご確認ください」と「https://xxxxx．xxxx/xx」が表示されている。なお、ＵＲＬには、ハイパーリンクが埋め込まれている。
ここで、ユーザは、ＵＲＬをタップし、リンク先を表示する。これらの操作の内容は、テキストデータとして、端末装置２０から自然言語処理サーバ３０に送信され、対話シナリオの進行に使用される。
ユーザがリンク先の情報を表示するウィンドウを閉じると、ウィンドウを閉じるイベントの発生は、テキストデータとして、端末装置２０から自然言語処理サーバ３０に送信される。
【００４４】
時点Ｔ８では、トラブルの解決に必要な情報が得られたか又はトラブルが解決したかを確認する画面が表示される。時点Ｔ８の例では、「解決しましたか？」との問い合わせとともに、３つの選択肢が表示されている。ここでの選択肢は、「１．解決した」、「２．まだ出力サンプルが汚れる」、「３．コンタクトセンターに電話する」である。
なお、時点Ｔ８で表示される画面を構成するテキストは、自然言語処理サーバ３０から通知されるテキストデータとして送信される。
時点Ｔ８では、ユーザが「２．まだ出力サンプルが汚れる」を選択している。この選択は、テキストデータとして、端末装置２０から自然言語処理サーバ３０に送信される。自然言語処理サーバ３０では、受信したテキストデータを処理して、ユーザに提示するテキスト文をテキストデータとして送信する。
【００４５】
時点Ｔ９では、トラブルに対する対応の方針等を示す画面が表示される。時点Ｔ９の場合、「写真を確認後、改めてご連絡いたします」との連絡文が表示されている。ここでの写真とは、時点Ｔ４で撮像された画像のことである。この実施の形態では、自然言語処理サーバ３０が端末装置２０に対して、時点Ｔ４で撮像された画像データの指定先としてサービススタッフのコンピュータ等を指定する。
【００４６】
＜印刷物に現れる汚れを解決する方法が質問された場合（２）＞
ここでは、図８を使用して、印刷物に現れる汚れを解決する方法が質問された場合における他の対話例について説明する。
図８は、図６及び図７における時点Ｔ４〜時点Ｔ７までの他の対話例を示す図である。
前述した対話例の場合には、画像解析サーバ４０（図１参照）からの解析の結果を進行中の対話シナリオでやり取りされた対話の履歴を参照して生成されたメッセージが表示されているが、本例では、解析の結果のうち可能性が高い候補から優先的にユーザに提示する。
【００４７】
図８の場合も、解析の結果は、白黒画像の可能性が６０％、黒線画像の可能性が３０％、しわ画像の可能性が１０％である。
従って、時点Ｔ５−１では、３つの候補のうちで可能性が最も高い「白黒画像ですか」との問い合わせとともに、正誤に対応する２つの選択肢が表示されている。具体的には、「１．はい」と「２．いいえ」である。時点Ｔ５−１では、ユーザが「２．いいえ」を選択している。
時点Ｔ５−２では、３つの候補のうちで可能性が２番目に高い「黒線画像ですか」との問い合わせとともに、正誤に対応する２つの選択肢が表示されている。具体的には、「１．はい」と「２．いいえ」である。時点Ｔ５−２では、ユーザが「１．はい」を選択している。
この後は、図７で説明した時点Ｔ７〜時点Ｔ９の内容と同じである。
【００４８】
＜印刷物に現れる汚れを解決する方法が質問された場合（３）＞
引き続き、図９を使用して、印刷物に現れる汚れを解決する方法が質問された場合における他の対話例について説明する。
図９は、図６及び図７における時点Ｔ４〜時点Ｔ７までの他の対話例を示す図である。
前述した対話例の場合には、画像解析サーバ４０（図１参照）からの解析の結果を進行中の対話シナリオでやり取りされた対話の履歴を参照して生成されたメッセージが表示されているが、本例では、画像解析サーバ４０から受信した解析の結果をそのままユーザに提示する。
【００４９】
図９の場合も、解析の結果は、白黒画像の可能性が６０％、黒線画像の可能性が３０％、しわ画像の可能性が１０％である。
時点Ｔ６−１では、３つの候補をそのまま表示し、ユーザに選択を求める４つの選択肢が表示されている。時点Ｔ６−１の例では、「以下から選んでください」との問い合わせとともに、「１．白黒画像」、「２．黒線画像」、「３．しわ画像」、「４．その他」の４つの選択肢が表示されている。この表示は、端末装置２０の対話シナリオに基づいて実行してもよいし、自然言語処理サーバ３０による処理の結果として実行してもよい。
時点Ｔ６−１では、ユーザが「２．黒線画像」を選択している。
この後は、図７で説明した時点Ｔ７〜時点Ｔ９の内容と同じである。
【００５０】
＜印刷物に現れる汚れを解決する方法が質問された場合（４）＞
引き続き、図１０を使用して、印刷物に現れる汚れを解決する方法が質問された場合における他の対話例について説明する。
図１０は、図６及び図７における時点Ｔ３〜時点Ｔ７までの他の対話例を示す図である。
前述した対話例の場合には、画像解析サーバ４０（図１参照）からの解析の結果を進行中の対話シナリオでやり取りされた対話の履歴を参照して生成されたメッセージが表示されているが、解析の結果の精度が高くなった後は、ユーザへの確認も不要になる。
本例では、解析の結果に対する正誤等をユーザに確認することなく、対策が表示される。
【００５１】
図１０の場合、解析の結果は、白黒画像の可能性が５％、黒線画像の可能性が９０％、しわ画像の可能性が５％である。
本例の場合も、端末装置２０は、解析の結果として受信したテキストデータを自然言語処理サーバ３０に送信する。自然言語処理サーバ３０は、黒線画像の可能性が予め定めた基準値より高い場合、黒い線による汚れを解決する方法が記載されている画面の位置を示すテキストデータを端末装置２０に送信する。
このため、図１０の場合には、時点Ｔ５の画面の次に時点Ｔ７の画面が表示される。
この後は、図７で説明した時点Ｔ７〜時点Ｔ９の内容と同じである。
【００５２】
＜名前を知らない部位の使い方を知りたい場合＞
ここでは、図１１を使用して、対話型の自動応答サービスの他の使用例を説明する。
図１１は、名前を知らない部位の使い方を質問された場合に操作画面に現れるメッセージのうち時点Ｔ１１〜時点Ｔ１４までを示す図である。
図１２は、名前を知らない部位の使い方を質問された場合に操作画面に現れるメッセージのうち時点Ｔ１５〜時点Ｔ１８までを示す図である。
【００５３】
時点Ｔ１１では、アイコン５１２（図５参照）の操作に関連付けられた初期画面が表示される。時点Ｔ１１の場合、質問内容の絞り込みに使用する３つの選択肢が表示されている。ここでの選択肢は、「１．機器の使用方法を教えて欲しい」、「２．トラブルの対処方法を聞きたい」、「３．その他」である。時点Ｔ１１では、ユーザが「１．機器の使用方法を教えて欲しい」を選択している。
【００５４】
時点Ｔ１２では、使用方法の対象をユーザに問い合わせる画面が表示される。時点Ｔ１２の場合、「内容を選んでください」との問い合わせとともに、３つの選択肢が表示されている。ここでの選択肢は、「１．コピー」、「２．スキャン」、「３．これについて（部位の撮像）」である。時点Ｔ１２では、ユーザが「３．これについて（部位の撮像）」を選択している。
時点Ｔ１３では、端末装置２０がカメラ２０６（図２参照）を起動し、ユーザによる画像の撮像を待機する。
図１１の場合、ユーザによって撮像された原稿の自動搬送機構の画像が操作画面に表示されている。ユーザによる入力であるので、メッセージは、操作画面の右側に配置されている。ここでの画像が画像解析サーバ４０に送信される。
【００５５】
時点Ｔ１４では、画像解析サーバ４０による解析の結果が、テキストデータとして、画像解析サーバ４０から端末装置２０に通知される。この例の場合、解析の結果は、端末装置２０に表示されない。図１１の場合、解析の結果は、「ＤＡＤＦ」のみである。ＤＡＤＦ（Duplex Automatic Document Feederの略）は、原稿の自動搬送機構の名称である。
この解析の結果を表すデータは、端末装置２０から自然言語処理サーバ３０に送信されてもよいし、そのまま端末装置２０側の対話シナリオに従って操作画面に表示されてもよい。
時点Ｔ１５では、ユーザが撮像した画像の被写体である部位の名称をユーザに示し、ユーザに候補の正誤の確認を求める画面が表示される。時点Ｔ１５の例では、「ＤＡＤＦについてですね」との問い合わせとともに、正誤に対応する２つの選択肢が表示されている。具体的には、「１．はい」と「２．いいえ」である。時点Ｔ１５では、ユーザが「１．はい」を選択している。
【００５６】
時点Ｔ１６では、ＤＡＤＦの使用方法が記載されている画面の位置がユーザに提示される。時点Ｔ１６の例では、「下記のＵＲＬをご確認ください」と「https://xxxxx．yyyy/xx」が表示されている。なお、ＵＲＬには、ハイパーリンクが埋め込まれている。
ここで、ユーザは、ＵＲＬをタップし、リンク先を表示する。これらの操作の内容は、テキストデータとして、端末装置２０から自然言語処理サーバ３０に送信され、対話シナリオの進行に使用される。
ユーザがリンク先の情報を表示するウィンドウを閉じると、ウィンドウを閉じるイベントの発生は、テキストデータとして、端末装置２０から自然言語処理サーバ３０に送信される。
【００５７】
時点Ｔ１７では、使用方法について必要な情報が得られたかを確認する画面が表示される。時点Ｔ１７の例では、「解決しましたか？」との問い合わせとともに、３つの選択肢が表示されている。ここでの選択肢は、「１．解決した」、「２．解決しなかった」、「３．もう一度撮像する」である。
なお、時点Ｔ１７で表示される画面を構成するテキストは、自然言語処理サーバ３０から通知されるテキストデータとして送信される。
時点Ｔ１７では、ユーザが「１．解決した」を選択している。この選択は、テキストデータとして、端末装置２０から自然言語処理サーバ３０に送信されてもよいし、端末装置２０側の対話シナリオに与えられてもよい。
時点Ｔ１８では、解決したことに対する感謝の言葉が表示される。時点Ｔ１８の例では、「ありがとうございました」と表示されている。
【００５８】
＜エラー画面に対処する方法が質問された場合＞
ここでは、図１３及び図１４を使用して、対話型の自動応答サービスの他の使用例を説明する。
図１３は、エラー画面に対処する方法が質問された場合に操作画面に現れるメッセージのうち時点Ｔ２１〜時点Ｔ２４までを示す図である。
図１４は、エラー画面に対処する方法が質問された場合に操作画面に現れるメッセージのうち時点Ｔ２５〜時点Ｔ２９を示す図である。
【００５９】
時点Ｔ２１では、アイコン５１２（図５参照）の操作に関連付けられた初期画面が表示される。時点Ｔ２１の場合、質問内容の絞り込みに使用する３つの選択肢が表示されている。ここでの選択肢は、「１．機器の使用方法を教えて欲しい」、「２．トラブルの対処方法を聞きたい」、「３．その他」である。時点Ｔ２１では、ユーザが「２．トラブルの対処方法を聞きたい」を選択している。
時点Ｔ２２では、トラブルの内容をユーザに問い合わせる画面が表示される。時点Ｔ２２の場合、「内容を選んでください」との問い合わせとともに、５つの選択肢が表示されている。ここでの選択肢は、「１．エラーの表示が出ている」、「２．出力のトラブル」、「３．スキャンのトラブル」、「４．機械本体のトラブル」、「５．その他」である。時点Ｔ２２では、ユーザが「１．エラーの表示が出ている」を選択している。
【００６０】
時点Ｔ２３では、エラーの内容をユーザに問い合わせる画面が表示される。時点Ｔ２３の場合、「画面上のエラー表示の内容を教えてください」との問い合わせとともに、３つの選択肢が表示されている。ここでの選択肢は、「１．撮像する」、「２．ヘルプを見る」、「３．コンタクトセンターへ電話する」である。時点Ｔ２３では、ユーザが「１．撮像する」を選択している。
時点Ｔ２４では、端末装置２０がカメラ２０６（図２参照）を起動し、ユーザによる画像の撮像を待機する。
図１３の場合、ユーザによって撮像されたエラー画面の画像が表示されている。
【００６１】
時点Ｔ２５では、画像解析サーバ４０による解析の結果が、テキストデータとして、画像解析サーバ４０から端末装置２０に通知される。この例の場合、解析の結果は、端末装置２０に表示されない。図１４の場合、解析の結果は、エラー画面に含まれる文字列である。ここでは、「０２７−５１３」が読み取られている。
端末装置２０側の対話シナリオは、エラーの内容を表す文字列に対するメッセージを有していないため、ここでの文字列を自然言語処理サーバ３０に送信する。
時点Ｔ２６では、ユーザが撮像したエラー画面の画像から読み取られた文字列をユーザに示し、ユーザに文字列の正誤の確認を求める画面が表示される。時点Ｔ２６の例では、「０２７−５１３ですね。スキャン機能をご利用でしたか？」との問い合わせとともに、正誤に対応する２つの選択肢が表示されている。具体的には、「１．はい」と「２．いいえ」である。時点Ｔ２６では、ユーザが「１．はい」を選択している。
【００６２】
時点Ｔ２７では、トラブルを解決する方法が記載されている画面の位置がユーザに提示される。時点Ｔ２７の例では、「下記のＵＲＬをご確認ください」と「https://xxxxx．zzzz/xx」が表示されている。なお、ＵＲＬには、ハイパーリンクが埋め込まれている。
ここで、ユーザは、ＵＲＬをタップし、リンク先を表示する。これらの操作の内容は、テキストデータとして、端末装置２０から自然言語処理サーバ３０に送信され、対話シナリオの進行に使用される。
【００６３】
時点Ｔ２８では、エラーの解決に必要な情報が得られたかを確認する画面が表示される。時点Ｔ２８の例では、「解決しましたか？」との問い合わせとともに、３つの選択肢が表示されている。ここでの選択肢は、「１．解決した」、「２．解決しなかった」、「３．コンタクトセンターに電話する」である。
時点Ｔ２８では、ユーザが「１．解決した」を選択している。この選択は、テキストデータとして、端末装置２０から自然言語処理サーバ３０に送信されてもよいし、端末装置２０側の対話シナリオに与えられてもよい。
時点Ｔ２９では、解決したことに対する感謝の言葉が表示される。時点Ｔ２９の例では、「ありがとうございました」と表示されている。
【００６４】
＜実施の形態２＞
実施の形態１の場合には、利用可能な人工知能サービスが自然言語処理サービスと画像解析サービスの２つであったが、本実施の形態では、自然言語以外の音を解析するサービスの利用が可能な場合について説明する。
図１５は、実施の形態２で使用する情報処理システム１Ａの概念構成を説明する図である。図１５には、図１との対応部分に対応する符号を付して示している。
情報処理システム１Ａの場合、インターネット１０に、自然言語処理サーバ３０と、画像解析サーバ４０と、音解析サーバ５０とが設けられている。
本実施の形態における音解析サーバ５０は、音声以外の音を解析の対象とする。なお、音声については、実施の形態１と同じく、自然言語処理サーバ３０に送信される。
【００６５】
送信先の指定は、端末装置２０が実行する。
図１６は、本体から異音が聞こえるトラブルを解決する方法が質問された場合に操作画面に現れるメッセージの一部分を示す図である。
時点Ｔ３１では、アイコン５１２（図５参照）の操作に関連付けられた初期画面が表示される。時点Ｔ３１の場合、「どうなさいましたか？」との問い合わせとともに、質問内容の絞り込みに使用する３つの選択肢が表示されている。ここでの選択肢は、「１．機器の使用方法を教えて欲しい」、「２．トラブルの対処方法を聞きたい」、「３．その他」である。時点Ｔ３１では、ユーザが「２．トラブルの対処方法を聞きたい」を選択している。
【００６６】
時点Ｔ３２の場合、トラブルの内容をユーザに問い合わせる画面が表示される。時点Ｔ３２の場合、「内容を選んでください」との問い合わせとともに、５つの選択肢が表示されている。ここでの選択肢は、「１．エラーの表示が出ている」、「２．出力のトラブル」、「３．スキャンのトラブル」、「４．機械本体のトラブル」、「５．その他」である。時点Ｔ３２では、ユーザが「４．機械本体のトラブル」を選択している。
時点Ｔ３３では、より詳しい内容をユーザに問い合わせる画面が表示される。時点Ｔ３３の場合、「内容を選んでください」との問い合わせとともに、３つの選択肢が表示されている。ここでの選択肢は、「１．変な匂いがする」、「２．変な音がする」、「３．その他」である。時点Ｔ３３では、ユーザが「２．変な音がする」を選択している。
【００６７】
時点Ｔ３４では、ユーザが希望するアクションの選択を求める画面が表示される。時点Ｔ３４の例では、「トラブルの内容を教えてください」との問い合わせとともに、３つの選択肢が表示されている。ここでの選択肢は、「１．録音する」、「２．ヘルプを見る」、「３．コンタクトセンターへ電話する」である。時点Ｔ３４では、ユーザが「１．録音する」を選択している。
時点Ｔ３５では、端末装置２０がマイク２０７（図２参照）を起動し、ユーザによる音の録音を待機する。
図１６の場合、録音された音の確認用の再生ボタンが表示されている。録音された音のファイルは音解析サーバ５０に送信され、解析の結果がテキストデータとして端末装置２０に送信される。この後、解析の結果の確認をユーザに求める画面が操作画面に表示される。
【００６８】
＜他の実施の形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上述の実施の形態に記載の範囲に限定されない。上述の実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
前述の実施の形態においては、自然言語処理サーバ３０（図１及び図１５参照）は、対話型の自動応答サービスを提供する事業者が運用しているが、自然言語処理サーバ３０を運用する事業者は、対話型の自動応答サービスを提供する事業者と異なってもよい。
前述の実施の形態においては、図５に示すように、対話型の自動応答サービスからのメッセージを操作画面の左側に沿って配列し、ユーザの入力したメッセージを操作画面の右側に沿って配列する場合について説明したが、背景色等を変更して時系列順に表示してもよい。
【符号の説明】
【００６９】
１、１Ａ…情報処理システム、１０…インターネット、２０…端末装置、３０…自然言語処理サーバ、４０…画像解析サーバ、５０…音解析サーバ、２２１…シナリオ制御モジュール、２２２…対話画面表示モジュール、２２３…テキストデータ送信モジュール、２２４…撮像制御モジュール、２２５…画像データ送信モジュール、２２６…テキストデータ受信モジュール
【図１】
2020135822.tif 000003
【図２】
2020135822.tif 000004
【図３】
2020135822.tif 000005
【図４】
2020135822.tif 000006
【図５】
2020135822.tif 000007
【図６】
2020135822.tif 000008
【図７】
2020135822.tif 000009
【図８】
2020135822.tif 000010
【図９】
2020135822.tif 000011
【図１０】
2020135822.tif 000012
【図１１】
2020135822.tif 000013
【図１２】
2020135822.tif 000014
【図１３】
2020135822.tif 000015
【図１４】
2020135822.tif 000016
【図１５】
2020135822.tif 000017
【図１６】
2020135822.tif 000018