(57)【要約】【課題】ユーザにサポートアプリとともにオペレータによるサポートを提供する場合に、オペレータがユーザに提供されているサポートアプリの画面を確認可能とするサーバを提供する。【解決手段】ユーザ端末4から受信した音声を音声認識処理して取得したユーザ情報を記憶するユーザ情報記憶部と、ユーザ情報に基づき応答音声を生成しユーザ端末に送信する自動音声応答部と、ユーザ情報に基づきユーザ端末にアプリの実行を要求するアプリ実行要求部と、アプリへのユーザの所定の操作に応じてユーザ端末から送信されるオペレータ要求を受信する接続要求受信部と、オペレータ要求の受信に応じて生成された接続識別子をユーザ端末とオペレータ端末3とに送信する接続識別子送信部と、アプリへの命令であるコマンドを接続識別子を指定して接続されたユーザ端末およびオペレータ端末の間で双方向に中継するコマンド中継部と、を備えるようサーバ2を構成する。【選択図】図１
2020010107.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ端末から受信した音声を音声認識処理することにより取得されるユーザ情報を記憶するユーザ情報記憶部と、
前記ユーザ情報に基づいて応答音声を生成し、前記ユーザ端末に送信する自動音声応答部と、
前記ユーザ情報に基づいて前記ユーザ端末にアプリの実行を要求するアプリ実行要求部と、
前記アプリに対するユーザの所定の操作に応じて前記ユーザ端末から送信される、オペレータとの音声通話を要求するオペレータ要求を受信する接続要求受信部と、
前記オペレータ要求の受信に応じて生成された、接続を識別するための接続識別子を、前記ユーザ端末、および、前記オペレータが使用するオペレータ端末に送信する接続識別子送信部と、
前記アプリに所定の処理を実行させる命令であるコマンドを、前記接続識別子を指定して接続された前記ユーザ端末と前記接続識別子を指定して接続された前記オペレータ端末との間で双方向に中継するコマンド中継部と、
を備えるサーバ。
【請求項２】
前記ユーザ情報は、ユーザを識別するためのユーザ識別子を少なくとも含み、
前記オペレータ要求は、前記ユーザ識別子を少なくとも含み、
前記オペレータ要求に含まれる前記ユーザ識別子を含む前記ユーザ情報を前記オペレータ端末に送信するユーザ情報送信部をさらに備える、請求項１に記載のサーバ。
【請求項３】
前記アプリが前記ユーザ端末に画面を表示するための表示情報を、前記ユーザ端末および前記オペレータ端末に提供する表示情報提供部をさらに備える、請求項１または２に記載のサーバ。
【請求項４】
前記コマンド中継部は、前記アプリが前記ユーザ端末に表示させる画面の遷移を要求する命令を含む前記コマンドを、前記ユーザ端末から前記オペレータ端末に中継し、
前記表示情報提供部は、遷移先の画面を表示するための前記表示情報を、前記コマンドを受信した前記オペレータ端末からの要求に応じて前記コマンドを受信した前記オペレータ端末に提供する、請求項３に記載のサーバ。
【請求項５】
前記コマンド中継部は、前記ユーザ端末での撮影を要求する命令を含む前記コマンドを、前記オペレータ端末から前記ユーザ端末に中継し、
前記表示情報提供部は、前記コマンドを受信した前記ユーザ端末から、前記ユーザ端末で撮影された画像である前記表示情報を取得するとともに、前記コマンドを送信した前記オペレータ端末からの要求に応じて、取得した前記表示情報を、前記コマンドを送信した前記オペレータ端末に提供する、請求項３または４に記載のサーバ。
【請求項６】
前記コマンド中継部は、指定されたファイルに対応する画像の前記ユーザ端末での表示を要求する命令を含む前記コマンドを、前記オペレータ端末から前記ユーザ端末に中継し、
前記表示情報提供部は、前記コマンドを受信した前記ユーザ端末からの要求に応じて、前記コマンドを送信した前記オペレータ端末から取得した前記ファイルである前記表示情報を、前記コマンドを受信した前記ユーザ端末に提供する、請求項３ないし５のいずれか一項に記載のサーバ。
【請求項７】
前記コマンド中継部は、中継された前記コマンドに応じて実行される前記所定の処理の実行状況の報告を中継する、請求項１ないし６のいずれか一項に記載のサーバ。
【請求項８】
ユーザ端末から受信した音声を音声認識処理することにより取得されるユーザ情報を記憶するユーザ情報記憶ステップと、
前記ユーザ情報に基づいて応答音声を生成し、前記ユーザ端末に送信する自動音声応答ステップと、
前記ユーザ情報に基づいて前記ユーザ端末にアプリの実行を要求するアプリ実行要求ステップと、
前記アプリに対するユーザの所定の操作に応じて前記ユーザ端末から送信される、オペレータとの音声通話を要求するオペレータ要求を受信する接続要求受信ステップと、
前記オペレータ要求の受信に応じて生成された接続識別子を、前記ユーザ端末、および、前記オペレータが使用するオペレータ端末に送信する接続識別子送信ステップと、
前記アプリに所定の処理を実行させる命令であるコマンドを、前記接続識別子を指定して接続された前記ユーザ端末と前記接続識別子を指定して接続された前記オペレータ端末との間で双方向に中継するコマンド中継ステップと、
を含む、サーバの制御方法。
【請求項９】
ユーザ端末から受信した音声を音声認識処理することにより取得されるユーザ情報を記憶するユーザ情報記憶ステップと、
前記ユーザ情報に基づいて応答音声を生成し、前記ユーザ端末に送信する自動音声応答ステップと、
前記ユーザ情報に基づいて前記ユーザ端末にアプリの実行を要求するアプリ実行要求ステップと、
前記アプリに対するユーザの所定の操作に応じて前記ユーザ端末から送信される、オペレータとの音声通話を要求するオペレータ要求を受信する接続要求受信ステップと、
前記オペレータ要求の受信に応じて生成された接続識別子を、前記ユーザ端末、および、前記オペレータが使用するオペレータ端末に送信する接続識別子送信ステップと、
前記アプリに所定の処理を実行させる命令であるコマンドを、前記接続識別子を指定して接続された前記ユーザ端末と前記接続識別子を指定して接続された前記オペレータ端末との間で双方向に中継するコマンド中継ステップと、
をサーバに実行させる、サーバの制御プログラム。
【請求項１０】
オペレータが使用するオペレータ端末と、前記オペレータ端末に接続可能なサーバとを有する遠隔サポートシステムであって、
前記サーバは、
ユーザ端末から受信した音声を音声認識処理することにより取得されるユーザ情報を記憶するユーザ情報記憶部と、
前記ユーザ情報に基づいて応答音声を生成し、前記ユーザ端末に送信する自動音声応答部と、
前記ユーザ情報に基づいて前記ユーザ端末にアプリの実行を要求するアプリ実行要求部と、
前記アプリに対するユーザの所定の操作に応じて前記ユーザ端末から送信される、前記オペレータとの音声通話を要求するオペレータ要求を受信する接続要求受信部と、
前記オペレータ要求の受信に応じて生成された接続識別子を、前記ユーザ端末、および、前記オペレータ端末に送信する接続識別子送信部と、
前記アプリに所定の処理を実行させる命令であるコマンドを、前記接続識別子を指定して接続された前記ユーザ端末と前記接続識別子を指定して接続された前記オペレータ端末との間で双方向に中継するコマンド中継部と、
を備える、遠隔サポートシステム。
【請求項１１】
前記コマンド中継部は、前記ユーザ端末において前記アプリが表示情報の表示に用いる表示領域の縦方向および横方向の画素数と、前記アプリが前記表示情報を前記ユーザ端末に表示するときの表示倍率とを、前記ユーザ端末から前記オペレータ端末に中継し、
前記画素数と前記表示倍率とを受信した前記オペレータ端末は、前記画素数に応じた縦方向および横方向の画素数を有する共有画面領域に、受信した前記表示倍率で、前記表示情報を表示し、
前記コマンド中継部は、前記アプリが前記ユーザ端末に表示させる画面の所定量のスクロールを要求する命令を含む前記コマンドを、前記ユーザ端末から前記オペレータ端末に中継し、
前記コマンドを受信した前記オペレータ端末は、前記コマンドに含まれる前記所定量を、中継された前記画素数と前記共有画面領域の縦方向および横方向の画素数との比に基づいて変換し、前記コマンドを実行する、請求項１０に記載の遠隔サポートシステム。
【請求項１２】
前記コマンド中継部は、前記ユーザ端末において前記アプリが表示情報の表示に用いる表示領域の縦方向および横方向の画素数を、前記ユーザ端末から前記オペレータ端末に中継し、
前記画素数を受信したオペレータ端末は、前記画素数に応じた縦方向および横方向の画素数を有する共有画面領域において描画対象座標として指定された座標を、中継された前記画素数と、前記共有画面領域の縦方向および横方向の画素数との比に基づいて変換した変換座標を含み、前記変換座標への描画を要求する命令を含む前記コマンドを生成し、前記コマンド中継部に送信し、
前記コマンド中継部は、前記コマンドを、前記オペレータ端末から前記ユーザ端末に中継する、請求項１０に記載の遠隔サポートシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザを遠隔でサポートするサーバ、サーバの制御方法、サーバの制御プログラム、および遠隔サポートシステムに関する。
【背景技術】
【０００２】
ユーザからの問い合わせ電話を受け付ける遠隔サポートシステム、例えばコールセンターでは、オペレータのリソースを節約しつつユーザからの多くの問い合わせに対応するために、音声ガイダンスを自動で行う自動音声応答（Interactive Voice Response、ＩＶＲ）が用いられることがある。
【０００３】
音声通話機能だけでなくブラウザ機能も有する携帯端末等の普及につれて、遠隔サポートシステムでは、ＩＶＲによる音声情報の提供に加えて、端末で実行されるサポートアプリ等による視覚情報の提供も行なわれるようになってきている。
【０００４】
例えば、特許文献１には、端末においてサポートアプリを利用可能と判断するとサポートアプリの起動を促す音声を端末に出力し、端末に表示されるサポートアプリの画面が遷移すると遷移後の画面に応じた音声を端末に出力する自動音声応答システムが記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１７−２８３４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
遠隔サポートシステムでは、サポートアプリによりユーザをサポートする視覚情報の提供に加えて、オペレータとの音声通話によるサポートが提供される場合がある。このとき、遠隔サポートシステムがユーザとオペレータとを音声通話可能に接続するのみでは、オペレータはユーザに提供されている視覚情報を確認できないため、問い合わせに適切に対応することが困難になる。
【０００７】
そこで、本発明では、ユーザにサポートアプリとともにオペレータによるサポートを提供する場合に、オペレータがユーザに提供されているサポートアプリの画面を確認可能とするサーバを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明にかかるサーバは、ユーザ端末から受信した音声を音声認識処理することにより取得されるユーザ情報を記憶するユーザ情報記憶部と、ユーザ情報に基づいて応答音声を生成し、ユーザ端末に送信する自動音声応答部と、ユーザ情報に基づいてユーザ端末にアプリの実行を要求するアプリ実行要求部と、アプリに対するユーザの所定の操作に応じてユーザ端末から送信される、オペレータとの音声通話を要求するオペレータ要求を受信する接続要求受信部と、オペレータ要求の受信に応じて生成された、接続を識別するための接続識別子を、ユーザ端末、および、オペレータが使用するオペレータ端末に送信する接続識別子送信部と、アプリに所定の処理を実行させる命令であるコマンドを、接続識別子を指定して接続されたユーザ端末と接続識別子を指定して接続されたオペレータ端末との間で双方向に中継するコマンド中継部と、を備える。
【０００９】
また、本発明にかかるサーバにおいて、ユーザ情報は、ユーザを識別するためのユーザ識別子を少なくとも含み、オペレータ要求は、ユーザ識別子を少なくとも含み、本発明にかかるサーバは、オペレータ要求に含まれるユーザ識別子を含むユーザ情報をオペレータ端末に送信するユーザ情報送信部をさらに備えることが好ましい。
【００１０】
また、本発明にかかるサーバは、アプリがユーザ端末に画面を表示するための表示情報を、ユーザ端末およびオペレータ端末に提供する表示情報提供部をさらに備えることが好ましい。
【００１１】
また、本発明にかかるサーバにおいて、コマンド中継部は、アプリがユーザ端末に表示させる画面の遷移を要求する命令を含むコマンドを、前記ユーザ端末から前記オペレータ端末に中継し、表示情報提供部は、遷移先の画面を表示するための表示情報を、コマンドを受信したオペレータ端末からの要求に応じてコマンドを受信したオペレータ端末に提供することが好ましい。
【００１２】
また、本発明にかかるサーバにおいて、コマンド中継部は、ユーザ端末での撮影を要求する命令を含むコマンドを、オペレータ端末からユーザ端末に中継し、表示情報提供部は、コマンドを受信したユーザ端末から、ユーザで撮影された画像である表示情報を取得するとともに、コマンドを送信したオペレータ端末からの要求に応じて、取得した表示情報を、コマンドを送信したオペレータ端末に提供することが好ましい。
【００１３】
また、本発明にかかるサーバにおいて、コマンド中継部は、指定されたファイルに対応する画像のユーザ端末での表示を要求する命令を含むコマンドを、オペレータ端末からユーザ端末に中継し、表示情報提供部は、コマンドを受信したユーザ端末からの要求に応じて、コマンドを送信したオペレータ端末から取得したファイルである表示情報を、コマンドを受信したユーザ端末に提供することが好ましい。
【００１４】
また、本発明にかかるサーバにおいて、コマンド中継部は、中継されたコマンドに応じて実行される所定の処理の実行状況の報告を中継することが好ましい。
【００１５】
本発明にかかるサーバの制御方法は、ユーザ端末から受信した音声を音声認識処理することにより取得されるユーザ情報を記憶するユーザ情報記憶ステップと、ユーザ情報に基づいて応答音声を生成し、ユーザ端末に送信する自動音声応答ステップと、ユーザ情報に基づいてユーザ端末にアプリの実行を要求するアプリ実行要求ステップと、アプリに対するユーザの所定の操作に応じてユーザ端末から送信される、オペレータとの音声通話を要求するオペレータ要求を受信する接続要求受信ステップと、オペレータ要求の受信に応じて生成された接続識別子を、ユーザ端末、および、オペレータが使用するオペレータ端末に送信する接続識別子送信ステップと、アプリに所定の処理を実行させる命令であるコマンドを、接続識別子を指定して接続されたユーザ端末と接続識別子を指定して接続されたオペレータ端末との間で双方向に中継するコマンド中継ステップと、を含む。
【００１６】
本発明にかかるサーバの制御プログラムは、ユーザ端末から受信した音声を音声認識処理することにより取得されるユーザ情報を記憶するユーザ情報記憶ステップと、ユーザ情報に基づいて応答音声を生成し、ユーザ端末に送信する自動音声応答ステップと、ユーザ情報に基づいてユーザ端末にアプリの実行を要求するアプリ実行要求ステップと、アプリに対するユーザの所定の操作に応じてユーザ端末から送信される、オペレータとの音声通話を要求するオペレータ要求を受信する接続要求受信ステップと、オペレータ要求の受信に応じて生成された接続識別子を、ユーザ端末、および、オペレータが使用するオペレータ端末に送信する接続識別子送信ステップと、アプリに所定の処理を実行させる命令であるコマンドを、接続識別子を指定して接続されたユーザ端末と接続識別子を指定して接続されたオペレータ端末との間で双方向に中継するコマンド中継ステップと、をサーバに実行させる。
【００１７】
本発明にかかる遠隔サポートシステムは、オペレータが使用するオペレータ端末と、前記オペレータ端末に接続可能なサーバとを有する遠隔サポートシステムであって、サーバは、ユーザ端末から受信した音声を音声認識処理することにより取得されるユーザ情報を記憶するユーザ情報記憶部と、ユーザ情報に基づいて応答音声を生成し、ユーザ端末に送信する自動音声応答部と、ユーザ情報に基づいてユーザ端末にアプリの実行を要求するアプリ実行要求部と、アプリに対するユーザの所定の操作に応じてユーザ端末から送信される、オペレータとの音声通話を要求するオペレータ要求を受信する接続要求受信部と、オペレータ要求の受信に応じて生成された接続識別子を、ユーザ端末、および、オペレータ端末に送信する接続識別子送信部と、アプリに所定の処理を実行させる命令であるコマンドを、接続識別子を指定して接続されたユーザ端末と接続識別子を指定して接続されたオペレータ端末との間で双方向に中継するコマンド中継部と、を備える。
【００１８】
また、本発明にかかる遠隔サポートシステムにおいて、コマンド中継部は、ユーザ端末においてアプリが表示情報の表示に用いる表示領域の縦方向および横方向の画素数と、アプリが表示情報をユーザ画面に表示するときの表示倍率とを、ユーザ端末からオペレータ端末に中継し、画素数と表示倍率とを受信したオペレータ端末は、画素数に応じた縦方向および横方向の画素数を有する共有画面領域に、受信した表示倍率で、表示情報を表示し、コマンド中継部は、アプリがユーザ端末に表示させる画面の所定量のスクロールを要求する命令を含むコマンドを、ユーザ端末からオペレータ端末に中継し、コマンドを受信したオペレータ端末は、コマンドに含まれる所定量を、中継された画素数と共有画面領域の縦方向および横方向の画素数との比に基づいて変換し、コマンドを実行することが好ましい。
【００１９】
また、本発明にかかる遠隔サポートシステムにおいて、コマンド中継部は、ユーザ端末においてアプリが表示情報の表示に用いる表示領域の縦方向および横方向の画素数を、ユーザ端末からオペレータ端末に中継し、画素数を受信したオペレータ端末は、画素数に応じた縦方向および横方向の画素数を有する共有画面領域において描画対象座標として指定された座標を、中継された画素数と、共有画面領域の縦方向および横方向のが総数との比に基づいて変換した変換座標を含み、変換座標への描画を要求する命令を含むコマンドを生成し、コマンド中継部に送信し、コマンド中継部は、コマンドを、オペレータ端末からユーザ端末に中継することが好ましい。
【発明の効果】
【００２０】
本発明によると、ユーザにサポートアプリとともにオペレータによるサポートを提供する場合に、オペレータがユーザに提供されているサポートアプリの画面を確認可能とするサーバを提供することができる。
【図面の簡単な説明】
【００２１】
【図１】遠隔サポートシステムの動作概要を示す模式図である。
【図２】サーバの概略構成を示す模式図である。
【図３】オペレータ端末の概略構成を示す模式図である。
【図４】ユーザ端末の概略構成を示す模式図である。
【図５】中継開始処理のシーケンス図である。
【図６】中継開始処理においてユーザ端末に表示される画面の例を示す図である。
【図７】中継開始処理においてユーザ端末に表示される画面の他の例を示す図である。
【図８】中継開始処理においてユーザ端末に表示される画面の他の例を示す図である。
【図９】中継開始処理においてオペレータ端末に表示される画面の例を示す図である。
【図１０】画面遷移コマンド中継処理のシーケンス図である。
【図１１】画面スクロールコマンド中継処理のシーケンス図である。
【図１２】（ａ）は画面スクロールコマンド中継処理においてユーザ端末に表示される画面の例であり、（ｂ）は画面スクロールコマンド中継処理においてオペレータ端末に表示される画面の例であり、（ｃ）は画面スクロールコマンド中継処理において画面スクロール命令の要求時にユーザ端末に表示される画面の例である。
【図１３】（ａ）は画面スクロールコマンド中継処理において画面スクロール命令の実行後にユーザ端末に表示される画面の例であり、（ｂ）は画面スクロールコマンド中継処理においてユーザ端末での画面スクロール命令を受信した後にオペレータ端末に表示される画面の例であり、（ｃ）は画面スクロールコマンド中継処理においてユーザ端末での画面スクロール命令を受信した後にオペレータ端末に表示される画面の他の例である。
【図１４】（ａ）は画面スクロールコマンド中継処理においてユーザ端末に表示される画面の他の例であり、（ｂ）は画面スクロールコマンド中継処理においてオペレータ端末に表示される画面の他の例であり、（ｃ）は画面スクロールコマンド中継処理において表示倍率変更命令の要求時にユーザ端末に表示される画面の例である。
【図１５】（ａ）は画面スクロールコマンド中継処理において表示倍率変更命令の実行後にユーザ端末に表示される画面の例であり、（ｂ）は画面スクロールコマンド中継処理においてユーザ端末での表示倍率変更命令を受信した後にオペレータ端末に表示される画面の例であり、（ｃ）は画面スクロールコマンド中継処理において画面スクロール命令の実行後にユーザ端末に表示される画面の他の例であり、（ｄ）は画面スクロールコマンド中継処理においてユーザ端末での画面スクロール命令の受信後にオペレータ端末に表示される画面の他の例である。
【図１６】撮影コマンド中継処理のシーケンス図である。
【図１７】撮影コマンド中継処理においてユーザ端末に表示される画面の例を示す図である。
【図１８】撮影コマンド中継処理においてユーザ端末に表示される画面の他の例を示す図である。
【図１９】撮影コマンド中継処理においてオペレータ端末に表示される画面の例を示す図である。
【図２０】撮影コマンド中継処理においてオペレータ端末に表示される画面の他の例を示す図である。
【図２１】画面表示コマンド中継処理のシーケンス図である。
【図２２】画面表示コマンド中継処理においてオペレータ端末に表示される画面の例を示す図である。
【図２３】画面表示コマンド中継処理においてオペレータ端末に表示される画面の他の例を示す図である。
【図２４】画面表示コマンド中継処理においてユーザ端末に表示される画面の例を示す図である。
【図２５】画面表示コマンド中継処理においてユーザ端末に表示される画面の他の例を示す図である。
【図２６】描画コマンド中継処理のシーケンス図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照してサーバおよびサーバの制御方法について詳細に説明する。ただし、本発明は図面または以下に記載される実施形態に限定されないことを理解されたい。
【００２３】
図１は、遠隔サポートシステムの動作概要を示す模式図である。
【００２４】
遠隔サポートシステム１は、サーバ２とオペレータ端末３とを備える。サーバ２は、ＩＶＲサーバ２１と、アプリサーバ２２と、中継サーバ２３とを備える。遠隔サポートシステム１は、ユーザ端末４と接続され、ユーザ端末４を操作するユーザを遠隔でサポートする。
【００２５】
ユーザがユーザ端末４を操作してＩＶＲサーバ２１に接続すると、ＩＶＲサーバ２１はユーザ端末４に、自動音声応答によるサポートを提供する。ＩＶＲサーバ２１は、自動音声応答に対してユーザがユーザ端末４に行った操作に基づく音声を受信することにより、ユーザに関するユーザ情報を取得する。
【００２６】
ユーザ端末４は、ＩＶＲサーバ２１が送信するアプリ実行要求に基づいて、サポートアプリを実行する。
【００２７】
ユーザ端末４で実行されるサポートアプリに対するユーザの所定の操作に応じて、ユーザ端末４は、アプリサーバ２２に、オペレータとの通話を要求するオペレータ要求を送信する。
【００２８】
アプリサーバ２２は、オペレータ要求を受信すると、接続識別子を生成し、オペレータ端末３とユーザ端末４とに送信する。
【００２９】
接続識別子を受信したオペレータ端末３は、中継サーバ２３に対し、接続識別子を指定した接続を要求する。
【００３０】
接続識別子を受信したユーザ端末４は、中継サーバ２３に対し、接続識別子を指定した接続を要求する。
【００３１】
中継サーバ２３は、接続識別子を指定して接続されたオペレータ端末３とユーザ端末４との間で、コマンドの中継を行う。
【００３２】
例えば、ユーザがユーザ端末４に対する所定の操作によって、表示されている画面を画面Ｘに遷移させるコマンドをユーザ端末４に実行させると、中継サーバ２３は画面Ｘに遷移させるコマンドをユーザ端末４からオペレータ端末３に中継する。オペレータ端末３は、受信した画面Ｘに遷移させるコマンドを実行することにより、ユーザ端末４に表示される画面Ｘと同じ画面Ｘを表示することができる。
【００３３】
このように、遠隔サポートシステム１は、ユーザにサポートアプリとともにオペレータによるサポートを提供する場合に、オペレータがユーザに提供されているサポートアプリの画面を確認可能とする。
【００３４】
図２は、サーバの概略構成を示す模式図である。
【００３５】
サーバ２は、ＩＶＲサーバ２１と、アプリサーバ２２と、中継サーバ２３とを備える。
【００３６】
ＩＶＲサーバ２１は、ユーザ端末４に対して自動音声応答によるサポートを提供する。そのために、ＩＶＲサーバ２１は、ＩＶＲ通信部２１１と、ＩＶＲ記憶部２１２と、ＩＶＲ処理部２１３とを備える。
【００３７】
ＩＶＲ通信部２１１は、ＩＶＲサーバ２１をオペレータ端末３およびユーザ端末４に接続するための通信インタフェース回路を有する。ＩＶＲ通信部２１１は、ＩＶＲサーバ２１を、接続された端末が相互に音声通話可能なネットワーク、例えば公衆回線網またはインターネットに接続する。ＩＶＲ通信部２１１は、ユーザ端末４から受信したデータをＩＶＲ処理部２１３に供給する。また、ＩＶＲ通信部２１１は、ＩＶＲ処理部２１３から供給されたデータをユーザ端末４等に送信する。
【００３８】
ＩＶＲ記憶部２１２は、例えば半導体メモリ、磁気ディスク装置および光ディスク装置のうち少なくとも１つを有する。ＩＶＲ記憶部２１２は、ＩＶＲ処理部２１３による処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。例えば、ＩＶＲ記憶部２１２は、ドライバプログラムとして、ＩＶＲ通信部２１１を制御する通信デバイスドライバプログラム等を記憶する。各種プログラムは、例えばＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）、ＤＶＲ−ＲＯＭ（DVD Read-Only Memory）等のコンピュータ読み取り可能な可搬式記録媒体から、公知のセットアッププログラム等を用いてＩＶＲ記憶部２１２にインストールされてよい。
【００３９】
ＩＶＲ処理部２１３は、１以上のプロセッサおよびその周辺回路を備える。ＩＶＲ処理部２１３は、ＩＶＲサーバ２１の全般的な動作を統括的に制御するものであり、例えば、ＣＰＵ（Central Processing Unit）である。ＩＶＲ処理部２１３は、ＩＶＲサーバ２１の各種処理がＩＶＲ記憶部２１２に記憶されているプログラム等に基づいて適切な手段で実行されるように、ＩＶＲ通信部２１１等の動作を制御する。ＩＶＲ処理部２１３は、ＩＶＲ記憶部２１２に記憶されているプログラム（ドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム等）に基づいて処理を実行する。また、ＩＶＲ処理部２１３は、複数のプログラム（アプリケーションプログラム等）を並列に実行することができる。
【００４０】
ＩＶＲ処理部２１３は、ユーザ情報記憶部２１３１と、自動音声応答部２１３２と、アプリ実行要求部２１３３と、ユーザ情報送信部２１３４と、音声中継部２１３５とを有する。ＩＶＲ処理部２１３が有するこれらの各部は、ＩＶＲ処理部２１３が有するプロセッサ上で実行されるプログラムによって実装される機能モジュールである。あるいは、ＩＶＲ処理部２１３が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、またはファームウェアとしてＩＶＲサーバ２１に実装されてもよい。
【００４１】
アプリサーバ２２は、ユーザ端末４で実行されるサポートアプリと連携して、視覚情報によるサポートをユーザに提供する。アプリサーバ２２は、ＨＴＴＰなどの通信プロトコルに従ってデータを送受信する。そのために、アプリサーバ２２は、アプリ通信部２２１と、アプリ記憶部２２２と、アプリ処理部２２３とを備える。
【００４２】
アプリ通信部２２１は、アプリサーバ２２をオペレータ端末３およびユーザ端末４に接続するための通信インタフェース回路を有する。アプリ通信部２２１は、アプリサーバ２２を、接続された端末が相互にデータ通信なネットワーク、例えばインターネットに接続する。アプリ通信部２２１は、ユーザ端末４から受信したデータをアプリ処理部２２３に供給する。また、アプリ通信部２２１は、アプリ処理部２２３から供給されたデータをユーザ端末４等に送信する。
【００４３】
アプリ記憶部２２２は、例えば半導体メモリ、磁気ディスク装置および光ディスク装置のうち少なくとも１つを有する。アプリ記憶部２２２は、アプリ処理部２２３による処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。例えば、アプリ記憶部２２２は、ドライバプログラムとして、アプリ通信部２２１を制御する通信デバイスドライバプログラム等を記憶する。各種プログラムは、例えばＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）、ＤＶＲ−ＲＯＭ（DVD Read-Only Memory）等のコンピュータ読み取り可能な可搬式記録媒体から、公知のセットアッププログラム等を用いてアプリ記憶部２２２にインストールされてよい。
【００４４】
アプリ処理部２２３は、１以上のプロセッサおよびその周辺回路を備える。アプリ処理部２２３は、アプリサーバ２２の全般的な動作を統括的に制御するものであり、例えば、ＣＰＵ（Central Processing Unit）である。アプリ処理部２２３は、アプリサーバ２２の各種処理がアプリ記憶部２２２に記憶されているプログラム等に基づいて適切な手段で実行されるように、アプリ通信部２２１等の動作を制御する。アプリ処理部２２３は、アプリ記憶部２２２に記憶されているプログラム（ドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム等）に基づいて処理を実行する。また、アプリ処理部２２３は、複数のプログラム（アプリケーションプログラム等）を並列に実行することができる。
【００４５】
アプリ処理部２２３は、表示情報提供部２２３１と、接続要求受信部２２３２と、接続識別子送信部２２３３とを有する。アプリ処理部２２３が有するこれらの各部は、アプリ処理部２２３が有するプロセッサ上で実行されるプログラムによって実装される機能モジュールである。あるいは、アプリ処理部２２３が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、またはファームウェアとしてアプリサーバ２２に実装されてもよい。
【００４６】
中継サーバ２３は、所定の識別子を指定してWebSocketプロトコルにより接続されるオペレータ端末３とユーザ端末４との間でコマンドを双方向に中継する。そのために、中継サーバ２３は、中継通信部２３１と、中継記憶部２３２と、中継処理部２３３とを備える。
【００４７】
中継通信部２３１は、中継サーバ２３をオペレータ端末３およびユーザ端末４に接続するための通信インタフェース回路を有する。中継通信部２３１は、中継サーバ２３を、接続された端末が相互にデータ通信なネットワーク、例えばインターネットに接続する。中継通信部２３１は、オペレータ端末３またはユーザ端末４から受信したデータを中継処理部２３３に供給する。また、中継通信部２３１は、中継処理部２３３から供給されたデータをオペレータ端末３またはユーザ端末４に送信する。
【００４８】
中継記憶部２３２は、例えば半導体メモリ、磁気ディスク装置および光ディスク装置のうち少なくとも１つを有する。中継記憶部２３２は、中継処理部２３３による処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。例えば、中継記憶部２３２は、ドライバプログラムとして、中継通信部２３１を制御する通信デバイスドライバプログラム等を記憶する。各種プログラムは、例えばＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）、ＤＶＲ−ＲＯＭ（DVD Read-Only Memory）等のコンピュータ読み取り可能な可搬式記録媒体から、公知のセットアッププログラム等を用いて中継記憶部２３２にインストールされてよい。
【００４９】
中継処理部２３３は、１以上のプロセッサおよびその周辺回路を備える。中継処理部２３３は、中継サーバ２３の全般的な動作を統括的に制御するものであり、例えば、ＣＰＵ（Central Processing Unit）である。中継処理部２３３は、中継サーバ２３の各種処理が中継記憶部２３２に記憶されているプログラム等に基づいて適切な手段で実行されるように、中継通信部２３１等の動作を制御する。中継処理部２３３は、中継記憶部２３２に記憶されているプログラム（ドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム等）に基づいて処理を実行する。また、中継処理部２３３は、複数のプログラム（アプリケーションプログラム等）を並列に実行することができる。
【００５０】
また、中継サーバ２３に接続するためのプロトコルはWebSocketに限られず、識別子を指定して接続される端末間での双方向の中継が可能な他のプロトコルであってもよい。
【００５１】
中継処理部２３３は、コマンド中継部２３３１を有する。コマンド中継部２３３１は、中継処理部２３３が有するプロセッサ上で実行されるプログラムによって実装される機能モジュールである。あるいは、コマンド中継部２３３１は、独立した集積回路、マイクロプロセッサ、またはファームウェアとして中継サーバ２３に実装されてもよい。
【００５２】
本開示のサーバ２は、上述のハードウェア構成を採用することで、ユーザにサポートアプリとともにオペレータによるサポートを提供する場合に、オペレータがユーザに提供されているサポートアプリの画面を確認可能とする。
【００５３】
本実施形態において、サーバ２は、独立したハードウェアであるＩＶＲサーバ２１、アプリサーバ２２、中継サーバ２３を備えている。サーバ２は、これらのサーバの機能を同時に実行可能な単一のハードウェアによって構成されていてもよい。
【００５４】
図３は、オペレータ端末の概略構成を示す模式図である。
【００５５】
オペレータ端末３は、サーバ２に接続し、サーバ２と通信を行う。オペレータ端末３は、オペレータにより操作されることにより、ユーザにサポートを提供する。そのために、オペレータ端末３は、オペレータ通信部３１と、オペレータ記憶部３２と、オペレータ入出力部３３と、オペレータ表示部３４と、オペレータ処理部３５とを備える。オペレータ端末３は、データ通信可能な情報処理装置、例えばパーソナルコンピュータ（Personal Computer, PC）である。
【００５６】
オペレータ通信部３１は、通信インタフェース回路を備え、ネットワークを介してオペレータ端末３をサーバ２に接続する。オペレータ通信部３１は、オペレータ処理部３５から供給されたデータを、ネットワークを介してサーバ２に送信する。また、オペレータ通信部３１は、ネットワークを介してサーバ２から受信したデータをオペレータ処理部３５に供給する。
【００５７】
オペレータ記憶部３２は、例えば、磁気ディスク装置または半導体メモリ装置を備える。オペレータ記憶部３２は、オペレータ処理部３５での処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム、データ等を記憶する。例えば、オペレータ記憶部３２は、ドライバプログラムとして、オペレータ入出力部３３を制御する入力デバイスプログラム等を記憶する。また、オペレータ記憶部３２は、アプリケーションプログラムとして、サーバ２に対して接続識別子を指定した接続を要求するプログラム等を記憶する。また、オペレータ記憶部３２は、所定の処理にかかる一時的なデータを一時的に記憶してもよい。
【００５８】
オペレータ入出力部３３は、オペレータ端末３に対するオペレータの操作を受け付けるデバイスであり、例えばキーボードまたはマウス等である。オペレータは、オペレータ入出力部３３を用いて、文字や数字、記号等、画面上の特定の座標に対する指示等を入力することができる。オペレータ入出力部３３は、オペレータにより操作されると、その操作に対応する信号を発生する。そして、発生した信号は、オペレータの指示としてオペレータ処理部３５に供給される。
【００５９】
オペレータ表示部３４は、映像や画像等の表示を行うデバイスであり、例えば液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等である。オペレータ表示部３４は、オペレータ処理部３５から供給された映像データに応じた映像や、画像データに応じた画像等を表示する。
【００６０】
オペレータ処理部３５は、１以上のプロセッサおよびその周辺回路を備える。オペレータ処理部３５は、オペレータ端末３の全体的な動作を統括的に制御するものであり、例えばＣＰＵである。オペレータ処理部３５は、オペレータ端末３の各種処理がオペレータ記憶部３２に記憶されているプログラムやオペレータ入出力部３３への操作等に基づいて適切な手段で実行されるように、オペレータ通信部３１やオペレータ表示部３４等の動作を制御する。オペレータ処理部３５は、オペレータ記憶部３２に記憶されているプログラム（オペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム等）に基づいて処理を実行する。また、オペレータ処理部３５は、複数のプログラム（アプリケーションプログラム等）を並列に実行することができる。
【００６１】
オペレータ処理部３５は、オペレータ通話部３５１、オペレータコマンド生成部３５２、オペレータコマンド送受信部３５３、オペレータコマンド実行部３５４を備える。これらの各部は、オペレータ処理部３５が備えるプロセッサで実行されるプログラムにより実現される機能モジュールである。あるいは、これらの各部は、ファームウェアとしてオペレータ端末３に実装されてもよい。
【００６２】
図４は、ユーザ端末の概略構成を示す模式図である。
【００６３】
ユーザ端末４は、サーバ２に接続し、サーバ２と通信を行う。ユーザ端末４は、ユーザにより操作され、サーバ２にサポートを要求する。そのために、ユーザ端末４は、ユーザ通信部４１と、ユーザ記憶部４２と、ユーザ入出力部４３と、ユーザ表示部４４と、ユーザ処理部４５とを備える。ユーザ端末４は、データ通信可能な情報処理装置、例えば多機能携帯電話（いわゆる「スマートフォン」）、携帯電話（いわゆる「フィーチャーフォン」）、タブレット端末、パーソナルコンピュータ等である。
【００６４】
ユーザ通信部４１は、通信インタフェース回路を備え、ネットワークを介してユーザ端末４をサーバ２に接続する。ユーザ通信部４１は、ユーザ端末４を、接続された端末が相互に音声通話可能なネットワーク、例えば公衆回線網またはインターネットに接続し、かつ、接続された端末が相互にデータ通信なネットワーク、例えばインターネットに接続する。ユーザ通信部４１は、ユーザ処理部４５から供給されたデータを、ネットワークを介してサーバ２に送信する。また、ユーザ通信部４１は、ネットワークを介してサーバ２から受信したデータをユーザ処理部４５に供給する。
【００６５】
ユーザ記憶部４２は、例えば、半導体メモリ装置を備える。ユーザ記憶部４２は、ユーザ処理部４５での処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム、データ等を記憶する。例えば、ユーザ記憶部４２は、ドライバプログラムとして、ユーザ入出力部４３を制御する入力デバイスプログラム等を記憶する。また、ユーザ記憶部４２は、アプリケーションプログラムとして、サーバ２に対して接続識別子を指定した接続を要求するプログラム等を記憶する。また、ユーザ記憶部４２は、所定の処理にかかる一時的なデータを一時的に記憶してもよい。
【００６６】
ユーザ入出力部４３は、ユーザ端末４に対する入力を受け付け、または出力するデバイスであり、例えばマイク、スピーカ、カメラ、ユーザの操作を受け付けるタッチパネルまたはキーボタン等である。ユーザは、ユーザ入出力部４３を用いて、音声や、文字、数字、記号等、画面上の特定の座標に対する指示等を入力することができる。ユーザ入出力部４３は、ユーザにより操作されると、その操作に対応する信号を発生する。そして、発生した信号は、ユーザの指示としてユーザ処理部４５に供給される。また、ユーザ処理部４５が生成した信号に応じ、音声等を出力する。
【００６７】
ユーザ表示部４４は、音声や画像等の再生を行うデバイスであり、例えばスピーカや液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ等である。ユーザ表示部４４は、ユーザ処理部４５から供給された音声データに応じた音声や、画像データに応じた画像等を再生する。
【００６８】
ユーザ処理部４５は、１以上のプロセッサおよびその周辺回路を備える。ユーザ処理部４５は、ユーザ端末４の全体的な動作を統括的に制御するものであり、例えばＣＰＵである。ユーザ処理部４５は、ユーザ端末４の各種処理がユーザ記憶部４２に記憶されているプログラムやユーザ入出力部４３への操作等に基づいて適切な手段で実行されるように、ユーザ通信部４１やユーザ表示部４４等の動作を制御する。ユーザ処理部４５は、ユーザ記憶部４２に記憶されているプログラム（オペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム等）に基づいて処理を実行する。また、ユーザ処理部４５は、複数のプログラム（アプリケーションプログラム等）を並列に実行することができる。
【００６９】
ユーザ処理部４５は、ユーザ通話部４５１、ユーザコマンド生成部４５２、ユーザコマンド送受信部４５３、ユーザコマンド実行部４５４を備える。これらの各部は、ユーザ処理部４５が備えるプロセッサで実行されるプログラムにより実現される機能モジュールである。あるいは、これらの各部は、ファームウェアとしてユーザ端末４に実装されてもよい。
【００７０】
図５は、中継開始処理のシーケンス図である。
【００７１】
まず、ユーザ端末４は、ＩＶＲサーバ２１にユーザの発話に応じた信号を送信する（ステップＳ１０１）。ユーザ端末４のユーザ通話部４５１は、所定の電話番号を発呼することにより、接続された端末が相互に音声通話可能なネットワークを介してＩＶＲサーバ２１の自動音声応答部２１３２に接続する。そして、ユーザ通話部４５１は、ユーザ入出力部４３により受け付けたユーザの発話音声に基づいて信号を生成し、ネットワークを介して自動音声応答部２１３２に送信する。
【００７２】
次に、ＩＶＲサーバ２１のユーザ情報記憶部２１３１は、受信した音声の音声認識処理を行い、音声認識処理により取得されたユーザ情報を記憶する（ステップＳ１０２）。音声認識処理は、例えば、受信した信号をテキストに変換し、変換されたテキストに所定のキーワードが含まれているかを判定することによって行われる。取得されたユーザ情報は、ＩＶＲ記憶部２１２に記憶される。ユーザ情報は、例えばユーザの質問事項、ユーザの会員番号、会員氏名、年齢、契約状況等である。ＩＶＲサーバ２１は、ユーザの会員番号を音声（例えばユーザ入出力部４３であるキーパッドへの操作に応じて出力されるトーン）により取得し、取得した会員番号により会員データベースを参照して、その他の会員に関する情報を取得するようにしてもよい。なお、ユーザの会員番号は、ユーザを識別するためのユーザ識別子の例である。ユーザ識別子は、ＩＶＲサーバ２１に発呼するユーザ端末４の発信者番号であってもよい。
【００７３】
次に、自動音声応答部２１３２は、認識したユーザ情報とＩＶＲ記憶部２１２に記憶されたデータとに基づいて生成された応答音声に対応するデータをユーザ端末４に送信する（ステップＳ１０３）。ユーザ端末４は、ユーザ通信部４１により受信した応答音声を、ユーザ表示部４４により再生する。ユーザは、応答音声に対する応答を発話することができる。すなわち、ステップＳ１０１〜ステップＳ１０３の処理は、２回以上繰り返されてもよい。
【００７４】
次に、ＩＶＲサーバ２１のアプリ実行要求部２１３３は、ユーザ情報に基づいてユーザ端末４にサポートアプリの実行を要求する（ステップＳ１０４）。ＩＶＲサーバ２１のＩＶＲ通信部２１１は、サポートアプリの実行のための情報を含むメッセージをＳＭＳによりユーザ端末４に送信する。ＩＶＲ通信部２１１は、電子メールによってユーザ端末４にメッセージを送信してもよい。また、ユーザ端末４へのメッセージの送信は、ユーザ情報に基づいてアプリ実行指示を受信したＩＶＲサーバ２１以外のサーバが行ってもよい。
【００７５】
アプリの実行の要求を受信したユーザ端末４は、サポートアプリを実行する（ステップＳ１０５）。サポートアプリは、ユーザ端末のユーザ処理部４５により実行されるアプリケーションプログラムである。サポートアプリは、アプリサーバ２２のアプリ処理部２２３により実行されるアプリケーションプログラムであってもよい。この場合、ユーザ端末４は、アプリ処理部２２３によって生成された画像を、ユーザ通信部４１を介してアプリサーバ２２から受信し、この画像をユーザ表示部４４に表示する。
【００７６】
ユーザ端末４は、アプリ実行の要求を受けていることを通知するメッセージをユーザ表示部４４に表示し、実行を許可するユーザ入出力部４３へのユーザの操作を受け付けた後にアプリを実行するようにしてもよい。
【００７７】
図６は、中継開始処理においてユーザ端末に表示される画面の例を示す図である。
【００７８】
図６に示す画面６００は、ＩＶＲサーバ２１と接続して自動音声応答によるサポートを受けているユーザ端末４が、アプリの実行の要求を受信した場合に、ユーザ表示部４４に表示される。画面６００は、通話時間表示６０１と、通話終了アイコン６０２と、サポートアプリ実行メッセージ６０３とを有する。
【００７９】
通話時間表示６０１は、ＩＶＲサーバ２１と接続して以降経過した時間を示している。通話終了アイコン６０２は、ＩＶＲサーバ２１との通話を終了させるためのユーザの操作を受け付けるアイコンである。サポートアプリ実行メッセージ６０３は、ユーザ端末４がサポートアプリの実行の要求を受けていることをユーザに通知するメッセージである。サポートアプリ実行メッセージ６０３に対する所定のユーザ操作、例えばサポートアプリ実行メッセージ６０３の表示領域に対するタップをユーザ入出力部４３が受け付けた場合、ユーザ端末４は、サポートアプリを実行する。
【００８０】
図５に戻り、サポートアプリを実行するユーザ端末４は、サポートアプリ画面で表示する情報をアプリサーバ２２に要求し、アプリサーバ２２の表示情報提供部２２３１から取得する（ステップＳ１０６）。
【００８１】
図７は、中継開始処理においてユーザ端末に表示される画面の他の例を示す図である。  ユーザ端末４は、ステップＳ１０６でアプリサーバ２２から取得した情報に基づいて、ユーザ表示部４４にサポート画面を表示する。図７に示すサポート画面７００は、サポートアプリがユーザ表示部４４に表示させるサポート画面の一例であり、画面タイトル７０１、メニュー表示アイコン７０２、詳細項目要求エリア７０３−７０５、オペレータ要求アイコン７０６、トップメニュー要求アイコン７０７を有する。
【００８２】
画面タイトル７０１は、現在表示されているサポート画面７００のタイトルを示す。メニュー表示アイコン７０２は、ユーザ表示部４４にメニュー画面を表示させるための所定のユーザ操作（例えば表示領域に対するタップ等）を受け付けるためのアイコンである。詳細項目要求エリア７０３−７０５は、ユーザ表示部４４にそれぞれ対応する詳細項目画面を表示させるための所定のユーザ操作（例えば表示領域に対するタップ等）を受け付けるためのエリアである。オペレータ要求アイコン７０６は、ユーザ通信部４１にオペレータによる電話サポートを要求するオペレータ要求を送信されるための所定のユーザ操作（例えば表示領域に対するタップ等）を受け付けるためのアイコンである。トップメニュー要求アイコン７０７は、ユーザ表示部４４にトップメニューを表示させるための所定のユーザ操作（例えば表示領域に対するタップ等）を受け付けるためのアイコンである。
【００８３】
図５に戻り、ユーザ端末４は、ユーザの所定の操作に基づいて、オペレータによる電話サポートを要求するオペレータ要求をアプリサーバ２２に送信し（ステップＳ１０７）、送信されたオペレータ要求をアプリサーバ２２の接続要求受信部２２３２が受信する。
【００８４】
オペレータ要求には、ユーザ識別子が含まれてよい。例えば、ユーザ識別子が会員番号である場合、ユーザ端末４は、予めユーザ記憶部４２に記憶されている会員番号を読み出してオペレータ要求に含める。
【００８５】
図８は、中継開始処理においてユーザ端末に表示される画面の他の例を示す図である。
【００８６】
図７におけるサポート画面７００において、ユーザがオペレータ要求アイコン７０６に対し所定の操作を行った場合、サポートアプリは、サポート方法選択ダイアログ８００を、サポート画面７００にオーバーレイ表示する。サポート方法選択ダイアログ８００は、ダイアログタイトル８０１と、ダイアログ終了アイコン８０２と、チャットサポート要求エリア８０３と、電話サポート要求エリア８０４とを有する。
【００８７】
ダイアログタイトル８０１は、サポート方法選択ダイアログ８００がユーザにサポート方法の選択を求めていることを通知する。ダイアログ終了アイコン８０２は、サポート方法選択ダイアログ８００を閉じる所定のユーザ操作（例えば表示領域に対するタップ等）を受け付けるためのアイコンである。チャットサポート要求エリア８０３は、オペレータによるチャットサポートを要求するための所定のユーザ操作（例えば表示領域に対するタップ等）を受け付けるためのエリアである。電話サポート要求エリア８０４は、オペレータによる電話サポートを要求するための所定のユーザ操作（例えば表示領域に対するタップ等）を受け付けるためのエリアである。
【００８８】
なお、図７におけるサポート画面７００において、ユーザがオペレータ要求アイコン７０６に対し所定の操作を行った場合に、サポートアプリは、サポート方法選択ダイアログ８００以外のダイアログによって、オペレータによる電話サポートを要求するための所定のユーザ操作を受け付けてもよい。また、サポートアプリは、ユーザがオペレータ要求アイコン７０６に対し所定の操作を行った場合に、ダイアログを表示することなくオペレータ要求を送信してもよい。
【００８９】
図５に戻り、オペレータ要求を受信したアプリサーバ２２は、接続識別子を生成する（ステップＳ１０８）。接続識別子は、中継サーバ２３への接続を識別するための識別子であり、例えば乱数に基づき生成された所定長の英数文字列である。
【００９０】
アプリサーバ２２の接続識別子送信部２２３３は、生成した接続識別子をＩＶＲサーバ２１に送信する（ステップＳ１０９）。
【００９１】
接続識別子を受信したＩＶＲサーバ２１のユーザ情報送信部２１３４は、ＩＶＲ記憶部２１２に記憶された接続識別子に対応するユーザ情報とともに、接続識別子をオペレータ端末３に送信する（ステップＳ１１０）。
【００９２】
接続識別子に対応するユーザ情報は、例えば、ステップＳ１０２でＩＶＲ記憶部２１２がユーザ情報を会員番号に関連づけて記憶し、ステップＳ１０７でユーザ端末４が会員番号を含むオペレータ要求をアプリサーバ２２に送信し、ステップＳ１０９でアプリサーバ２２がＩＶＲサーバ２１に会員番号とともに接続識別子を送信し、ＩＶＲサーバ２１が受信した会員番号によりＩＶＲ記憶部２１２を検索することにより、特定することができる。
【００９３】
また、アプリサーバ２２は、生成した接続識別子をユーザ端末４に送信する（ステップＳ１１１）。
【００９４】
接続識別子を受信したオペレータ端末３は、中継サーバ２３に、接続識別子を指定して接続する（ステップＳ１１２）。
【００９５】
接続識別子を受信したユーザ端末４は、中継サーバ２３に、接続識別子を指定して接続する（ステップＳ１１３）。
【００９６】
中継サーバ２３のコマンド中継部２３３１は、接続詞識別子を指定して接続されたオペレータ端末３と、接続識別子を指定して接続されたユーザ端末４との間で双方向にコマンドを中継する（ステップＳ１１４）。
【００９７】
図９は、中継開始処理においてオペレータ端末に表示される画面の例を示す図である。
【００９８】
中継サーバ２３によりユーザ端末４との間で双方向にコマンドを中継されるオペレータ端末３のオペレータ表示部３４に表示されるオペレータサポート画面９００は、ユーザ情報表示エリア９１０と接続端末表示エリア９２０とを有する。
【００９９】
ユーザ情報表示エリア９１０には、ユーザの氏名、年齢といったユーザ自身に関するユーザ情報を表示するユーザ情報表示欄９１１と、ユーザがサービス提供者と有している契約関係といったユーザとの関係に関するユーザ情報を表示する関係情報表示欄９１２とを有する。
【０１００】
接続端末表示エリア９２０は、接続されたユーザ端末４の端末名、ＯＳ、接続ネットワークといった端末情報を表示する端末情報表示欄９２１と、接続されたユーザ端末に対して処理を要求するコマンドを送信するためのコマンド送信アイコン９２２１−９２２５と、共有画面表示エリア９２３と、補助表示エリア９２５とを有する。
【０１０１】
オペレータのコマンド送信アイコン９２２１−９２２５に対する所定の操作に対応する処理については、後述する。
【０１０２】
共有画面表示エリア９２３には、接続されたユーザ端末４のユーザ表示部４４に表示された画面に対応する共有画面９２４が表示されている。
【０１０３】
このようなオペレータサポート画面９００を参照して、オペレータはユーザに遠隔サポートを提供する。
【０１０４】
また、ＩＶＲサーバ２１の音声中継部２１３５は、オペレータ端末３のオペレータ通話部３５１とユーザ端末４のユーザ通話部４５１との間で、音声を双方向に中継する（ステップＳ１１５）。
【０１０５】
続いて、オペレータ端末３とユーザ端末４との間におけるコマンドの中継処理を具体的に説明する。
【０１０６】
図１０は、画面遷移コマンド中継処理のシーケンス図である。
【０１０７】
まず、ユーザ端末４のユーザコマンド生成部４５２は、ユーザ入出力部４３に対するユーザの所定の操作に基づいて、画面遷移を要求する画面遷移コマンドを生成する（ステップＳ２０１）。画面遷移とは、ユーザ表示部４４に表示される画面を別の画面に変更することである。例えば図７に示すサポート画面７００における詳細項目要求エリア７０３に対するタップに基づいて、「料金」画面への遷移を要求するコマンドが生成される。
【０１０８】
ユーザ端末４のユーザコマンド送受信部４５３は、生成された画面遷移コマンドを、ユーザ通信部４１を介して中継サーバ２３に送信し、中継サーバ２３のコマンド中継部２３３１は、ユーザ端末４から受信した受信した画面遷移コマンドをオペレータ端末３に中継する（ステップＳ２０２）。
【０１０９】
ユーザ端末４は、生成された画面遷移コマンドに基づいて、表示情報をアプリサーバ２２に要求する。アプリサーバ２２の表示情報提供部２２３１は、ユーザ端末４の要求に応じて表示情報を送信し、ユーザ端末４は表示情報を取得する（ステップＳ２０３）。
【０１１０】
画面遷移コマンドを受信したオペレータ端末３は、受信した画面遷移コマンドに基づいて、表示情報をアプリサーバ２２に要求する。アプリサーバ２２の表示情報提供部２２３１は、オペレータ端末３の要求に応じて表示情報を送信し、オペレータ端末３は表示情報を取得する（ステップＳ２０４）。
【０１１１】
ユーザ端末４のユーザコマンド実行部４５４は、アプリサーバ２２から取得した表示情報を用いて、画面遷移を実行する（ステップＳ２０５）。
【０１１２】
オペレータ端末３のオペレータコマンド実行部３５４は、アプリサーバ２２から取得した表示情報を用いて、画面遷移を実行する（ステップＳ２０６）。
【０１１３】
以上のように処理を実行することにより、ユーザ端末４で実行される画面遷移と同様の画面遷移をオペレータ端末３で実行することができる。
【０１１４】
また、オペレータ端末３のオペレータサポート画面９００に表示された画面遷移コマンド送信アイコン９２２１によりオペレータ端末３から画面遷移を要求された場合、上述の処理におけるオペレータ端末３とユーザ端末４とを入れ替えることにより、同様の処理を実行することができる。
【０１１５】
図１１は、画面スクロールコマンド中継処理のシーケンス図である。
【０１１６】
まず、ユーザ端末４のユーザコマンド生成部４５２は、ユーザ入出力部４３に対するユーザの所定の操作に基づいて、画面のスクロールを要求する画面スクロールコマンドを生成する（ステップＳ３０１）。画面のスクロールとは、サポートアプリが生成する画面のうちユーザ表示部４４に表示される領域を変更することである。例えば、タッチパネルであるユーザ入出力部４３に対する上向きのフリックに基づいて、表示される領域を所定量（例えばユーザ表示部４４の上下方向の長さの50%）だけ下側に変更することを要求するコマンドが生成される。
【０１１７】
ユーザ端末４のユーザコマンド生成部４５２は、生成された画面スクロールコマンドを、ユーザ通信部４１を介して中継サーバ２３に送信し、中継サーバ２３のコマンド中継部２３３１は受信した画面スクロールコマンドをオペレータ端末３に中継する（ステップＳ３０２）。
【０１１８】
ユーザ端末４のユーザコマンド実行部４５４は、生成した画面スクロールコマンドに基づいて、画面スクロールを実行する（ステップＳ３０３）。
【０１１９】
オペレータ端末３のオペレータコマンド実行部３５４は、受信した画面スクロールコマンドに基づいて、画面スクロールを実行する（ステップＳ３０４）。
【０１２０】
画面スクロールコマンド中継処理を実行するにあたり、中継サーバ２３のコマンド中継部２３３１は、ユーザ端末４が送信するユーザ表示部４４においてサポートアプリが表示情報の表示に用いる表示領域の縦方向および横方向の画素数（例えば720x1280）と、サポートアプリが表示情報をユーザ端末４に表示するときの表示倍率（例えば150%）とを、オペレータ端末３に中継してよい。
【０１２１】
画素数と表示倍率とを受信したオペレータ端末３は、受信した画素数に応じた縦方向および横方向の画素数を有する共有画面９２４の領域に、受信した表示倍率で、表示情報を表示する。
【０１２２】
オペレータ端末３とユーザ端末４との間での画面スクロールコマンド中継処理について、図１２−図１５を参照してより詳細に説明する。
【０１２３】
図１２（ａ）は、画面スクロールコマンド中継処理においてユーザ端末に表示される画面の例である。
【０１２４】
サポートアプリにより生成された画像１２００は、Ａ−Ｆの６つの領域を有している。ユーザ端末４においてサポートアプリの表示に用いられる領域の横方向の画素数であるW1は例えば800ピクセルであり、縦方向の画素数であるH1は例えば1280ピクセルである。また、領域Ａ−Ｆの高さは、例えばそれぞれ320ピクセルである。このとき、領域Ａ−Ｄの合計の高さは1280ピクセルとなり、ユーザ表示部４４においてサポートアプリが表示情報の表示に用いる表示領域に含まれるため、領域Ａ−Ｄが画面１２０１として表示される。
【０１２５】
図１２（ｂ）は、画面スクロールコマンド中継処理においてオペレータ端末に表示される画面の例である。
【０１２６】
オペレータ端末３は、ユーザ端末４におけるサポートアプリの画面を表示するための共有画面９２４を有している。共有画面９２４の横方向の画素数のW2は例えば1600ピクセルであり、縦方向の画素数のH2は例えば2560ピクセルである。
【０１２７】
オペレータ処理部３５は、ユーザ表示部においてサポートアプリが画像１２００を生成するために使用した表示情報と同一の表示情報を使用して、画像１２１０を生成する。オペレータ処理部３５は、表示対象となる共有画面９２４の画素数に合わせて画像１２１０を生成する。
【０１２８】
画像１２１０は、画像１２００と同様にＡ−Ｆの６つの領域を有する。また、領域Ａ−Ｆの高さは、それぞれ640ピクセルである。このとき、領域Ａ−Ｄの合計の高さは2560ピクセルとなり、共有画面９２４に含まれるため、領域Ａ−Ｄが画面１２１１として表示される。
【０１２９】
図１２（ｃ）は、画面スクロールコマンド中継処理において画面スクロール命令の要求時にユーザ端末に表示される画面の例である。
【０１３０】
タッチパネルであるユーザ入出力部４３が重畳された画面１２０１の上をユーザが上方向に所定距離フリックしたことをユーザ入出力部４３が検出すると、ユーザ処理部４５は、フリックした距離に基づいて、表示される領域をΔH（例えば640ピクセル）だけ下側に変更することを要求する画面スクロール命令を生成する。
【０１３１】
図１３（ａ）は、画面スクロールコマンド中継処理において画面スクロール命令の実行後にユーザ端末に表示される画面の例である。
【０１３２】
ユーザ処理部４５が画面スクロール命令を実行すると、サポートアプリにより生成された画像１２００のうちユーザ表示部４４に表示される領域が変更される。すなわち、ΔHの高さ（例えば640ピクセル）に対応する領域Ａ、Ｂが表示領域よりも上側に移動し、表示画面よりも下側にあった領域Ｅ、Ｆが表示領域の内側に移動する。これにより、領域Ｃ−Ｆがサポートアプリの表示に用いられる領域に含まれることととなり、スクロール後の画面１３０１がユーザ表示部４４に表示される。
【０１３３】
図１３（ｂ）は、画面スクロールコマンド中継処理においてユーザ端末での画面スクロール命令を受信した後にオペレータ端末に表示される画面の例である。
【０１３４】
画面スクロール命令を受信したオペレータ端末３のオペレータ処理部３５が画面スクロール命令を実行すると、画像１２１０のうち、共有画面９２４に表示される領域が変更される。すなわち、ΔHの高さ（例えば640ピクセル）に対応する領域Ａが表示領域よりも上側に移動し、表示画面よりも下側にあった領域Ｅが表示領域の内側に移動する。これにより、領域Ｂ−Ｅが共有画面９２４に含まれることととなり、スクロール後の画面１３１１がオペレータ表示部３４に表示される。
【０１３５】
図１３（ｃ）は、画面スクロールコマンド中継処理においてユーザ端末での画面スクロール命令を受信した後にオペレータ端末に表示される画面の他の例である。
【０１３６】
図１３（ｂ）に示した例と異なり、図１３（ｃ）に示した例では、オペレータ処理部３５は、受信した命令に含まれるスクロール量であるΔHを、ユーザ端末４における表示領域の画素数とオペレータ端末３における表示領域の画素数とに基づいて変換する。
【０１３７】
すなわち、ユーザ端末４における表示領域の縦方向の画素数が1280ピクセルであり、オペレータ端末３における表示領域の縦方向の画素数が2560ピクセルである場合、縦方向の画素比αHは  2560 ÷ 1280 ＝ 2 と求めることができる。
【０１３８】
オペレータ処理部３５は、縦方向の画素比αに基づき、ΔH × αH ＝ 1280 を、オペレータ表示部３４における縦方向のスクロールの移動量として用いる。
【０１３９】
オペレータ処理部３５が1280ピクセルを移動量とする画面スクロール命令を実行すると、画像１２１０のうち、高さ1280ピクセルに対応する領域Ａ、Ｂが表示領域よりも上側に移動し、表示画面よりも下側にあった領域Ｅ、Ｆが表示領域の内側に移動する。これにより、領域Ｃ−Ｆが共有画面９２４に含まれることととなり、スクロール後の画面１３０２がオペレータ表示部３４に表示される。
【０１４０】
図１４（ａ）は、画面スクロールコマンド中継処理においてユーザ端末に表示される画面の他の例である。
【０１４１】
ユーザ端末４は、横方向の画素数であるW1が例えば800ピクセルであり、縦方向の画素数であるH1が例えば1280ピクセルである、サポートアプリの表示に用いられる領域に、画像１４００の全体を含む画面１４０１を表示している。
【０１４２】
図１４（ｂ）は、画面スクロールコマンド中継処理においてオペレータ端末に表示される画面の他の例である。
【０１４３】
オペレータ端末３は、画像１４００を表示するための表示情報を取得して、横方向の画素数のW2が例えば1600ピクセルであり、縦方向の画素数のH2が例えば2560ピクセルである共有画面９２４に、表示情報に基づいて、画像１４１０の全体を含む画面１４１１を表示している。オペレータ処理部３５は、表示対象となる共有画面９２４の画素数に合わせて画像１４１０を生成する。
【０１４４】
図１４（ｃ）は、画面スクロールコマンド中継処理において表示倍率変更命令の要求時にユーザ端末に表示される画面の例である。
【０１４５】
画面１４０１を表示するユーザ表示部４４に重畳されたタッチパネルへのユーザによるピンチアウト操作をユーザ入出力部４３が検出することにより、ユーザ処理部４５は、画面１４０１に表示されている画像１４００の表示倍率を変更する表示倍率変更命令を生成し、ユーザ通信部４１を介して中継サーバ２３に送信する。
【０１４６】
図１５（ａ）は、画面スクロールコマンド中継処理において表示倍率変更命令の実行後にユーザ端末に表示される画面の例である。
【０１４７】
ユーザ処理部４５は、ユーザのピンチアウト操作に基づいて生成された表示倍率変更命令を実行し、画像１４００の表示倍率を変更した、横方向の画素数W3および縦方向の画素数H3を有する画像１５００を生成する。そして、画像１５００の一部を、サポートアプリの表示に用いられる領域に表示する。
【０１４８】
また、図１５（ａ）において、ユーザは、タッチパネルであるユーザ入出力部４３が重畳された画面１５０１の上を上方向に所定距離フリックし、ユーザ入出力部４３がこれを検出し、ユーザ処理部４５が、フリックした距離に基づいて、表示される領域をΔH（例えば640ピクセル）だけ下側に変更することを要求する画面スクロール命令を生成している。
【０１４９】
図１５（ｂ）は、画面スクロールコマンド中継処理においてユーザ端末での表示倍率変更命令を受信した後にオペレータ端末に表示される画面の例である。
【０１５０】
オペレータ処理部３５は、オペレータ通信部３１を介して受信した表示倍率変更命令を実行し、画像１４１０の表示倍率を変更した画像１５１０を生成する。そして、画像１５１０の一部を、共有画面９２４に表示する。
【０１５１】
このとき、画像１４１０は共有画面９２４の画素数に合わせて生成されているので、画像１４１０の表示倍率を表示倍率変更命令で指定された倍率にすることで、オペレータ処理部３５は、ユーザ端末４で表示されている画像と同じ画像をオペレータ表示部３４に表示させることができる。
【０１５２】
図１５（ｃ）は、画面スクロールコマンド中継処理において画面スクロール命令の実行後にユーザ端末に表示される画面の他の例である。
【０１５３】
画像１５００のうち、表示される領域をΔHだけ下側に変更することを要求する画面スクロール命令をユーザ処理部４５が実行することにより、ユーザ表示部４４に表示される画像１５００の領域が変更される。すなわち、ユーザ処理部４５は、画像１５００のうちスクロール後の画面１５０２に表示される領域を、スクロール前の画面１５０１に表示される領域よりもΔHだけ下方向にスライドさせる。
【０１５４】
図１５（ｄ）は、画面スクロールコマンド中継処理においてユーザ端末での画面スクロール命令の受信後にオペレータ端末に表示される画面の他の例である。
オペレータ処理部３５は、オペレータ通信部３１を介して画面スクロール命令を受信した場合、スクロール量であるΔHを、ユーザ端末４における表示領域の画素数とオペレータ端末３における表示領域の画素数とに基づいて変換し、スクロール命令を実行する。
【０１５５】
すなわち、オペレータ処理部３５は、画像１５１０のうち共有画面９２４に表示される領域を、ユーザ端末４における表示領域の画素数とオペレータ端末３における表示領域の画素数との画素比αをΔHに乗じた値だけ下にスライドさせる。
【０１５６】
このように、ユーザ端末４における表示領域の画素数とオペレータ端末３における表示領域の画素数とに基づいてスクロールの移動量を変換することにより、ユーザ表示部４４における表示領域の縦方向および横方向の画素数とオペレータ端末３における共有画面９２４の領域の占める画素数とが一致していない場合において、表示される領域を変更する所定量をユーザ表示部４４の表示領域に対する比率ではなく画素数で指定するコマンドをオペレータ端末３が受信した場合であっても、オペレータ端末３は、ユーザ表示部４４に表示されたサポートアプリの画面と同様のスクロール画面を、オペレータ表示部３４に表示させることができる。
【０１５７】
コマンド中継部２３３１による、ユーザ端末４が送信するユーザ表示部の解像度の情報のオペレータ端末３への中継は、中継開始処理におけるコマンド中継開始時（ステップＳ１１４）に実行されてよい。
【０１５８】
以上のように処理を実行することにより、ユーザ端末４で実行される画面スクロールと同様の画面スクロールをオペレータ端末３で実行することができる。
【０１５９】
また、オペレータ端末３のオペレータサポート画面９００に表示された画面スクロールコマンド送信アイコン９２２２によりオペレータ端末３から画面遷移を要求された場合、上述の処理におけるオペレータ端末３とユーザ端末４とを入れ替えることにより、同様の処理を実行することができる。
【０１６０】
図１６は、撮影コマンド中継処理のシーケンス図である。
【０１６１】
まず、オペレータ端末３のオペレータコマンド生成部３５２は、ユーザ端末４での撮影を要求する撮影コマンドを生成する（ステップＳ４０１）。撮影コマンドは、オペレータ端末３のオペレータサポート画面９００に表示された撮影コマンド送信アイコン９２２３に対するオペレータの所定の操作をオペレータ入出力部３３が取得した場合に生成される。
【０１６２】
オペレータ端末３のオペレータコマンド送受信部３５３は、生成された撮影コマンドを、オペレータ通信部３１を介して中継サーバ２３に送信し、中継サーバ２３のコマンド中継部２３３１は、オペレータ端末３から受信した撮影コマンドをユーザ端末４に中継する（ステップＳ４０２）。
【０１６３】
撮影コマンドを受信したユーザ端末４は、サポートアプリによるカメラへのアクセス許可をユーザに求める撮影許可ダイアログをユーザ表示部４４に表示する（ステップＳ４０３）。
【０１６４】
図１７は、撮影コマンド中継処理においてユーザ端末に表示される画面の例を示す図である。
【０１６５】
図７におけるサポート画面７００を表示しているときに撮影コマンドを受信した場合、ユーザ端末４は、撮影許可ダイアログ１７００を、サポート画面７００にオーバーレイ表示する。撮影許可ダイアログ１７００は、撮影許可要求１７０１と、不許可エリア１７０２と、許可エリア１７０３とを有する。
【０１６６】
撮影許可要求１７０１には、サポートアプリがカメラへのアクセスを求めていることをユーザに示す情報が表示される。ユーザは、ユーザ入出力部４３を介して不許可エリア１７０２または許可エリア１７０３に所定の操作を行うことにより、サポートアプリによるカメラへのアクセス、すなわち撮影を、不許可または許可することができる。
【０１６７】
図１６に戻り、ユーザ端末４のユーザコマンド実行部４５４は、ユーザによりカメラへのアクセスが許可されると、カメラを起動する（ステップＳ４０４）。
【０１６８】
図１８は、撮影コマンド中継処理においてユーザ端末に表示される画面の他の例を示す図である。
【０１６９】
図１７に示す撮影許可ダイアログ１７００が表示されたユーザ端末４において、ユーザが許可エリア１７０３に対して所定の操作を行うと、撮影が許可され、サポートアプリはカメラを起動し、撮影モードに遷移する。図１８に示す撮影画面１８００は、撮影モードにおけるサポートアプリがユーザ表示部４４に表示させる画面である。撮影画面１８００は、撮影画面タイトル１８０１、撮影プレビュー１８０２、撮影アイコン１８０３、撮影終了アイコン１８０４を有する。
【０１７０】
撮影画面タイトル１８０１は、ユーザ表示部４４に表示されている画面が撮影画面であることをユーザに示す。撮影プレビュー１８０２は、ユーザ入出力部４３の１つであるカメラが撮像した画像を表示する。プレビューは、撮影される前にカメラが取得した画像の表示であってよく、撮影指示に基づき取得され、かつ、保存される前の画像の表示であってもよい。撮影アイコン１８０３は、撮影を実行するユーザの操作を受け付けるためのアイコンである。撮影アイコン１８０３に対応する領域に対するユーザの所定の操作をユーザ入出力部４３が受け付けた場合、撮影プレビュー１８０２に表示された画像に対応する画像データがユーザ記憶部４２に記憶される。撮影終了アイコン１８０４は、撮影モードを終了させるユーザの操作を受け付けるためのアイコンである。撮影終了アイコン１８０４に対応する領域に対するユーザの所定の操作をユーザ入出力部４３が受け付けた場合、ユーザ端末４は撮影モードを終了し、元のモードに戻る。
【０１７１】
図１６に戻り、カメラが起動されたユーザ端末４のユーザコマンド送受信部４５３は、コマンドの実行状況として、カメラによる撮影中であることの報告を、ユーザ通信部４１を介して中継サーバ２３に送信し、中継サーバ２３のコマンド中継部２３３１は受信した報告をオペレータ端末３に中継する（ステップＳ４０５）。
【０１７２】
ユーザ端末４が撮影中であることの報告を受信したオペレータ端末３は、オペレータ表示部３４にユーザ端末４の実行状況を表示する（ステップＳ４０６）。
【０１７３】
図１９は、撮影コマンド中継処理においてオペレータ端末に表示される画面の例を示す図である。
【０１７４】
図１９に示すオペレータサポート画面１９００は、図９に示すオペレータサポート画面９００の一部を変更した画面であるので、共通する箇所には同一の符号を付して説明を省略する。
【０１７５】
オペレータサポート画面１９００の接続端末表示エリア１９２０における共有画面表示エリア１９２３では、共有画面１９２４に、ユーザ端末４においてカメラによる撮影が実施されていることを示す内容が表示される。ユーザ端末４でユーザ表示部４４に表示される撮影プレビュー１８０２を中継せずに、撮影実施中であることのみを表示することで、ユーザ端末４とオペレータ端末３との間のデータ通信量を削減することができる。
【０１７６】
また、補助表示エリア１９２５には、ユーザ端末４から受信した画像の一覧およびこれらから選択した一の画像の拡大表示を行う画面が表示される。なお、オペレータサポート画面１９００は、ユーザ端末４から画像をまだ受信していない状態に対応しているため、受信画像一覧には何も表示されていない。このようなユーザ端末から受信した画像を表示する画面は、オペレータ端末３がユーザ端末４から画像を受信した後に補助表示エリア１９２５に表示されてもよい。
【０１７７】
図１６に戻り、ユーザ端末４のユーザコマンド実行部４５４は、ユーザが撮影アイコン１８０３に対して所定の操作を行うことにより撮影を実行すると（ステップＳ４０７）、撮影した画像をユーザ表示部４４の撮影プレビュー１８０２に表示する。
【０１７８】
次に、ユーザ端末４のユーザコマンド送受信部４５３は、コマンドの実行状況として、撮影した画像のプレビュー中であることの報告を、ユーザ通信部４１を介して中継サーバ２３に送信し、中継サーバ２３のコマンド中継部２３３１は受信した報告をオペレータ端末３に中継する（ステップＳ４０８）。
【０１７９】
ユーザ端末４がプレビュー中であることの報告を受信したオペレータ端末３は、オペレータ表示部３４にユーザ端末４の実行状況を表示する（ステップＳ４０９）。
【０１８０】
次に、ユーザ端末４は、ユーザがプレビューした画像の保存を決定すると、ユーザ通信部４１を介して撮影した画像のデータをアプリサーバ２２に送信し、アプリサーバ２２の表示情報提供部２２３１がこれを取得する（ステップＳ４１０）。
【０１８１】
次に、ユーザ端末４のユーザコマンド送受信部４５３は、コマンドの実行状況として、撮影した画像の送信が完了したことの報告を、ユーザ通信部４１を介して中継サーバ２３に送信し、中継サーバ２３のコマンド中継部２３３１は受信した報告をオペレータ端末３に中継する（ステップＳ４１１）。
【０１８２】
ユーザ端末４が画像の送信を完了したことの報告を受信したオペレータ端末３は、アプリサーバ２２に撮影した画像のデータを要求し、アプリサーバ２２の表示情報提供部２２３１がオペレータ端末３からの要求に応じて画像のデータをオペレータ端末３に提供し（ステップＳ４１２）、オペレータ端末３は、受信したデータに対応する画像をオペレータ表示部３４に表示する（ステップＳ４１３）。
【０１８３】
図２０は、撮影コマンド中継処理においてオペレータ端末に表示される画面の他の例を示す図である。
【０１８４】
図２０に示すオペレータサポート画面２０００は、図９に示すオペレータサポート画面９００の一部を変更した画面であるので、共通する箇所には同一の符号を付して説明を省略する。
【０１８５】
オペレータサポート画面２０００の接続端末表示エリア２０２０における共有画面表示エリア２０２３では、共有画面２０２４に、ユーザ端末４において撮影した画像の送信が完了したことを示す内容が表示される。
【０１８６】
また、補助表示エリア２０２５には、ユーザ端末４から受信した画像の一覧およびこれらから選択した一の画像の拡大表示を行う画面が表示される。すなわち、受信画像一覧２０２６には受信した画像のサムネイルが表示され、拡大表示エリア２０２７には、受信画像一覧２０２６に表示されたサムネイルのうち選択されたサムネイルに対応する画像が拡大表示される。
【０１８７】
以上のように処理を実行することにより、ユーザ端末４で撮影を実行させ、撮影した画像をオペレータ端末３で表示することができる。
【０１８８】
図２１は、画像表示コマンド中継処理のシーケンス図である。
【０１８９】
まず、オペレータ端末３のオペレータコマンド生成部３５２は、ユーザ端末４での画像の表示を要求する画像表示コマンドを生成する（ステップＳ５０１）。画像表示コマンドは、オペレータ端末３のオペレータサポート画面９００に表示された画像表示コマンド送信アイコン９２２４に対するオペレータの所定の操作をオペレータ入出力部３３が取得した場合に生成される。
【０１９０】
次に、オペレータ端末３は、表示する画像をユーザが指定するための画面をオペレータ表示部３４に表示する（ステップＳ５０２）。
【０１９１】
図２２は、画面表示コマンド中継処理においてオペレータ端末に表示される画面の例を示す図である。
【０１９２】
図２０におけるオペレータサポート画面２０００において、オペレータが画像表示コマンド送信アイコン９２２４に対し所定の操作を行った場合、オペレータ端末３は、画像ファイル選択ダイアログ２２００を、オペレータサポート画面２０００にオーバーレイ表示する。画像ファイル選択ダイアログ２２００は、ファイル名入力エリア２２１０と、選択決定アイコン２２２０とを有する。
【０１９３】
ファイル名入力エリア２２１０は、ユーザ端末４に表示を要求する画像ファイルのファイル名を入力するエリアである。ファイル名の入力は、キーボード等による直接入力によってもよく、選択可能に表示されたファイル一覧からの選択によってもよい。ファイル名入力エリア２２１０にファイル名が適切に入力された状態で、オペレータが選択決定アイコン２２２０に所定の操作を行うと、ファイル名入力エリア２２１０に入力されたファイル名が、ユーザ端末４に表示される画像ファイルのファイル名として決定される。
【０１９４】
図２１に戻り、オペレータ端末３は、ユーザ端末に表示される画像ファイルをアプリサーバに送信し、アプリサーバ２２の表示情報提供部２２３１がこれを受信する（ステップＳ５０３）。
【０１９５】
図２３は、画面表示コマンド中継処理においてオペレータ端末に表示される画面の他の例を示す図である。
【０１９６】
図２３に示すオペレータサポート画面２３００は、図２０に示すオペレータサポート画面２０００の一部を変更した画面であるので、共通する箇所には同一の符号を付して説明を省略する。
【０１９７】
オペレータサポート画面２３００の補助表示エリア２３２５には、画面表示コマンドに対応する画面が表示される。補助表示エリア２３２５は、画像ファイル表示２３２６と、画像送信アイコン２３２７とを有する。画像ファイル表示２３２６には、ユーザ端末４に表示される画像ファイルとして決定されたファイルに対応する画像が表示される。このように表示することで、ユーザ端末４に表示させる画像の内容を事前に確認することができる。オペレータが画像送信アイコンに対し所定の操作を行った場合、オペレータ端末３は、ユーザ端末４に表示される画像ファイルとして決定されたファイルを、オペレータ通信部３１を介して送信する。
【０１９８】
図２１に戻り、オペレータ端末３のオペレータコマンド送受信部３５３は、画像表示コマンドを、アプリサーバ２２に送信した画像ファイルの情報とともに、オペレータ通信部３１を介して中継サーバ２３に送信し、中継サーバ２３のコマンド中継部２３３１は、受信した撮影コマンドを、画像ファイルの情報とともにユーザ端末４に中継する（ステップＳ５０４）。
【０１９９】
画像表示コマンドを受信したユーザ端末４は、画像表示の許可をユーザに求める表示許可ダイアログをユーザ表示部４４に表示する（ステップＳ５０５）。
【０２００】
図２４は、画面表示コマンド中継処理においてユーザ端末に表示される画面の例を示す図である。
【０２０１】
図７におけるサポート画面７００を表示しているときに画像表示コマンドを受信した場合、ユーザ端末４は、表示許可ダイアログ２４００を、サポート画面７００にオーバーレイ表示する。表示許可ダイアログ２４００は、表示許可要求２４０１と、不許可エリア２４０２と、許可エリア２４０３とを有する。
【０２０２】
表示許可要求２４０１には、サポートアプリがオペレータから送付される画像の表示の許可を求めていることをユーザに示す情報が表示される。ユーザは、ユーザ入出力部４３を介して不許可エリア２４０２または許可エリア２４０３に所定の操作を行うことにより、受信する画像ファイルの表示を、不許可または許可することができる。
【０２０３】
図２１に戻り、受信する画像ファイルの表示をユーザが許可した場合、ユーザ端末４は、ユーザ通信部４１を介してアプリサーバ２２から表示の対象となる画像ファイルを要求し、アプリサーバ２２の表示情報提供部２２３１がユーザ端末４からの要求に応じて画像のデータをユーザ端末４に送信する（ステップ５０６）。
【０２０４】
次に、ユーザ端末４のユーザコマンド実行部４５４は、取得した画像ファイルに対応する画像を、ユーザ表示部４４に表示する（ステップＳ５０７）。
【０２０５】
図２５は、画面表示コマンド中継処理においてユーザ端末に表示される画面の他の例を示す図である。
【０２０６】
図２５に示す資料共有画面２５００は、図７に示すサポート画面７００と共通する要素を一部含むので、共通する箇所には同一の符号を付して説明を省略する。
【０２０７】
資料共有画面２５００は、画面タイトル２５０１と共有資料表示エリア２５０３とを有する。画面タイトル２５０１は、現在表示されている資料共有画面２５００のタイトルを示す。共有資料表示エリア２５０３は、オペレータから送付された資料である画像ファイルの画像が表示されるエリアである。
【０２０８】
以上のように処理を実行することにより、オペレータ端末３で指定した画像ファイルに対応する画像をユーザ端末４で表示させることができる。
【０２０９】
図２６は、描画コマンド中継処理のシーケンス図である。
【０２１０】
まず、オペレータ端末３のオペレータコマンド生成部３５２は、ユーザ端末４のユーザ表示部４４への描画を要求する描画コマンドを生成する（ステップＳ６０１）。描画コマンドは、オペレータ端末３のオペレータサポート画面９００に表示された描画コマンド送信アイコン９２２５に対するオペレータの所定の操作をオペレータ入出力部３３が取得した場合に生成される。
【０２１１】
オペレータ端末３のオペレータコマンド送受信部３５３は、生成された描画コマンドを、オペレータ通信部３１を介して中継サーバ２３に送信し、中継サーバ２３のコマンド中継部２３３１は受信した描画コマンドをユーザ端末４に中継する（ステップＳ６０２）。
【０２１２】
描画コマンドを受信したユーザ端末４は、描画の許可をユーザに求める（ステップＳ６０３）。
【０２１３】
描画をユーザが許可した場合、ユーザ端末４のユーザコマンド送受信部４５３は、描画が許可されたことを、ユーザ通信部４１を介して中継サーバ２３に送信し、中継サーバ２３はオペレータ端末３に中継する（ステップＳ６０４）。
【０２１４】
描画許可を受信したオペレータ端末３は、オペレータ入出力部３３により、描画を実行するオペレータの操作を受け付ける（ステップＳ６０５）。描画を実行するオペレータの操作は、例えば、オペレータサポート画面９００の共有画面９２４の領域でのマウスのドラッグである。
【０２１５】
描画を実行するオペレータの操作を受け付けたオペレータ端末３のオペレータコマンド送受信部３５３は、受け付けたオペレータの操作に対応する描画コマンドを、オペレータ通信部３１を介して中継サーバ２３に送信し、中継サーバ２３のコマンド中継部２３３１は受信した描画コマンドをユーザ端末４に中継する（ステップＳ６０６）。
【０２１６】
描画コマンドを受信したユーザ端末４のユーザコマンド実行部４５４は、受信したコマンドに対応する描画をユーザ表示部４４上で実行する。
【０２１７】
描画コマンド中継処理を実行するにあたり、中継サーバ２３のコマンド中継部２３３１は、ユーザ端末４が送信するユーザ表示部４４においてアプリが表示情報の表示に用いる表示領域の縦方向および横方向の画素数を、ユーザ端末４からオペレータ端末３に中継してよい。ユーザ表示部４４の表示領域の画素数を受信したオペレータ端末３のオペレータ処理部３５は、オペレータ入出力部３３へのオペレータの操作によってオペレータ表示部３４における共有画面９２４の所定の座標が描画対象座標として指定された場合に、受信した画素数と、共有画面９２４の縦方向および横方向の画素数との比に基づいて変換して変換座標を求め、変換座標への描画を要求する命令を含むコマンドを生成し、オペレータ通信部３１を介して中継サーバ２３に送信する。
【０２１８】
すなわち、ユーザ端末４における表示領域の縦方向の画素数が1280ピクセルであり、オペレータ端末３における表示領域の縦方向の画素数が2560ピクセルである場合、縦方向の画素比βHは  2560 ÷ 1280 ＝ 2 と求めることができる。また、ユーザ端末４における表示領域の横方向の画素数が720ピクセルであり、オペレータ端末３における表示領域の縦方向の画素数が1440ピクセルである場合、縦方向の画素比βWは  1440 ÷ 720 ＝ 2 と求めることができる。
【０２１９】
オペレータ処理部３５は、画素比βWおよびβHに基づき、描画された座標（X, Y）を(X ／ βW , Y ／ βH) を、送信する描画要求コマンドに含める。
【０２２０】
このように動作することにより、オペレータ処理部３５は、ユーザ表示部４４の画面解像度とオペレータ端末３における共有画面９２４の領域の占める画素数とが一致していない場合であっても、オペレータ端末３における描画と同様の描画をユーザ端末４に要求するコマンドを、中継サーバ２３に送信することができる。
【０２２１】
以上のように処理を実行することにより、オペレータ端末３上でオペレータが行った描画をユーザ端末４で表示させることができる。
【０２２２】
当業者は、本発明の精神および範囲から外れることなく、種々の変更、置換および修正をこれに加えることが可能であることを理解されたい。
【符号の説明】
【０２２３】
１    遠隔サポートシステム
２    サーバ
２１    ＩＶＲサーバ
２１３１    ユーザ情報記憶部
２１３２    自動音声応答部
２１３３    アプリ実行要求部
２１３４    ユーザ情報送信部
２１３５    音声中継部
２２    アプリサーバ
２２３１    表示情報提供部
２２３２    接続要求受信部
２２３３    接続識別子送信部
２３    中継サーバ
２３３１    コマンド中継部
３    オペレータ端末
４    ユーザ端末
【図１】
2020010107.tif 000003
【図２】
2020010107.tif 000004
【図３】
2020010107.tif 000005
【図４】
2020010107.tif 000006
【図５】
2020010107.tif 000007
【図６】
2020010107.tif 000008
【図７】
2020010107.tif 000009
【図８】
2020010107.tif 000010
【図９】
2020010107.tif 000011
【図１０】
2020010107.tif 000012
【図１１】
2020010107.tif 000013
【図１２】
2020010107.tif 000014
【図１３】
2020010107.tif 000015
【図１４】
2020010107.tif 000016
【図１５】
2020010107.tif 000017
【図１６】
2020010107.tif 000018
【図１７】
2020010107.tif 000019
【図１８】
2020010107.tif 000020
【図１９】
2020010107.tif 000021
【図２０】
2020010107.tif 000022
【図２１】
2020010107.tif 000023
【図２２】
2020010107.tif 000024
【図２３】
2020010107.tif 000025
【図２４】
2020010107.tif 000026
【図２５】
2020010107.tif 000027
【図２６】
2020010107.tif 000028