(57)【要約】【課題】音声デバイスにおける返答メッセージの音声出力動作を画像処理装置における関連画面の表示出力動作に対して適切なタイミングで実行することが可能な技術を提供する。【解決手段】コマンド指示サーバ５０は、ユーザ音声の解析処理の処理結果に基づいてユーザの音声指示を特定する。コマンド指示サーバ５０は、当該音声指示に対応する返答メッセージの音声出力を指示する音声指示コマンドを音声デバイス９０に向けて送信するとともに、当該返答メッセージに関連する関連画面２００の表示出力を指示する表示指示コマンドをＭＦＰ１０に送信する。コマンド指示サーバ５０は、ＭＦＰ１０における関連画面２００の表示出力のタイミングを特定するとともに、音声デバイス９０における返答メッセージの音声出力のタイミングを当該関連画面２００の表示出力のタイミングに基づいて調整する。【選択図】図４
2020120348.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置を音声で操作する音声操作システムであって、
ユーザ音声の入力を受け付ける音声デバイスと、
前記ユーザ音声に関する解析処理の処理結果に基づいてユーザの音声指示を特定するとともに、前記音声指示に応じた指示コマンドを前記画像処理装置に送信するサーバと、
前記サーバからの前記指示コマンドに基づく動作を実行する前記画像処理装置と、
を備え、
前記サーバは、
前記音声指示に対応する返答メッセージの音声出力を指示する音声指示コマンドを前記音声デバイスに向けて送信するとともに、前記返答メッセージに関連する関連画面の表示出力を指示する表示指示コマンドを前記画像処理装置に送信するコマンド送信手段、
を有し、
前記音声デバイスは、前記音声指示コマンドに基づいて前記返答メッセージを音声出力し、
前記画像処理装置は、前記関連画面を前記画像処理装置の表示部に表示出力するための準備処理を前記表示指示コマンドに基づいて実行するとともに、前記準備処理によって準備された前記関連画面を前記表示部に表示出力し、
前記サーバは、
前記画像処理装置における前記関連画面の表示出力のタイミングを特定する特定手段と、
前記音声デバイスにおける前記返答メッセージの音声出力のタイミングを前記関連画面の表示出力のタイミングに基づいて調整する調整処理を実行する調整手段と、
をさらに有することを特徴とする音声操作システム。
【請求項２】
請求項１に記載の音声操作システムにおいて、
前記サーバは、
前記準備処理の推定所要時間を算出する算出手段、
をさらに有し、
前記特定手段は、前記推定所要時間に基づいて前記関連画面の表示出力のタイミングを特定することを特徴とする音声操作システム。
【請求項３】
請求項２に記載の音声操作システムにおいて、
前記算出手段は、前記準備処理に関する前記画像処理装置の処理性能に基づいて前記推定所要時間を算出することを特徴とする音声操作システム。
【請求項４】
請求項２に記載の音声操作システムにおいて、
前記画像処理装置は、複数の種類の画面の中から選択される画面を前記関連画面として表示することが可能であり、
前記複数の種類の画面は、それぞれ、複数の種類の単位処理のうちの１又は２以上の種類の単位処理を用いて準備され、
前記算出手段は、前記複数の種類の単位処理のそれぞれの処理時間を規定したデータテーブルに基づき、前記関連画面の前記準備処理を構成する少なくとも１つの種類の単位処理の処理時間の合計値を取得し、前記合計値に基づき前記推定所要時間を算出することを特徴とする音声操作システム。
【請求項５】
請求項４に記載の音声操作システムにおいて、
前記複数の種類の単位処理は、外部装置と連携して前記外部装置内のデータを取得する連携処理を含み、
前記データテーブルにおいては、前記連携処理の処理時間である連携処理時間が規定されており、
前記算出手段は、前記連携処理が前記準備処理において実行される場合、前記連携処理時間にも基づいて前記推定所要時間を算出することを特徴とする音声操作システム。
【請求項６】
請求項２から請求項５のいずれかに記載の音声操作システムにおいて、
前記調整手段は、前記サーバから前記音声デバイスへのコマンド送信の所要時間と前記サーバから前記画像処理装置へのコマンド送信の所要時間と前記推定所要時間とに基づいて、前記調整処理を実行することを特徴とする音声操作システム。
【請求項７】
請求項１に記載の音声操作システムにおいて、
前記画像処理装置は、前記準備処理の完了に際して、前記準備処理の完了通知を前記サーバに送信し、
前記特定手段は、前記画像処理装置からの前記完了通知に基づいて前記関連画面の表示出力のタイミングを特定することを特徴とする音声操作システム。
【請求項８】
請求項２から請求項５のいずれかに記載の音声操作システムにおいて、
前記調整手段は、前記画像処理装置への前記表示指示コマンドの送信時点から前記推定所要時間が経過する時点以降に前記返答メッセージの音声出力を開始させる処理を、前記調整処理として実行することを特徴とする音声操作システム。
【請求項９】
請求項２から請求項５のいずれかに記載の音声操作システムにおいて、
前記調整手段は、
前記推定所要時間と前記返答メッセージの再生時間との差分時間を算出し、
前記画像処理装置への前記表示指示コマンドの送信時点から前記差分時間が経過する時点以降に前記返答メッセージの音声出力を開始させる処理を、前記調整処理として実行することを特徴とする音声操作システム。
【請求項１０】
請求項８または請求項９に記載の音声操作システムにおいて、
前記調整手段は、前記音声デバイスへの前記音声指示コマンドの送信タイミングを調整することによって、前記調整処理を実行することを特徴とする音声操作システム。
【請求項１１】
請求項７に記載の音声操作システムにおいて、
前記調整手段は、前記画像処理装置からの前記完了通知の受信後に前記返答メッセージの音声出力を開始させる処理を、前記調整処理として実行することを特徴とする音声操作システム。
【請求項１２】
請求項８から請求項１１のいずれかに記載の音声操作システムにおいて、
前記コマンド送信手段は、待機動作を前記ユーザに要求する待機要求メッセージの音声出力を指示する待機音声指示コマンドを、前記音声指示コマンドの送信に先立って前記音声デバイスに向けて送信し、
前記音声デバイスは、前記返答メッセージの音声出力に先立って、当該待機音声指示コマンドに基づいて前記待機要求メッセージを音声出力することを特徴とする音声操作システム。
【請求項１３】
請求項２から請求項５のいずれかに記載の音声操作システムにおいて、
前記調整手段は、前記音声デバイスにおける前記返答メッセージの再生時間を前記推定所要時間よりも長い時間に変更する再生時間増大処理を、前記調整処理として実行することを特徴とする音声操作システム。
【請求項１４】
請求項１３に記載の音声操作システムにおいて、
前記再生時間増大処理は、前記返答メッセージの再生速度を低速化する処理であることを特徴とする音声操作システム。
【請求項１５】
請求項１３に記載の音声操作システムにおいて、
前記再生時間増大処理は、前記返答メッセージの再生中における前記返答メッセージの文節間の無音期間を長大化する処理であることを特徴とする音声操作システム。
【請求項１６】
請求項１から請求項１５のいずれかに記載の音声操作システムにおいて、
前記調整手段は、
前記音声指示コマンドが前記表示指示コマンドの送信を伴うコマンドである場合、前記調整処理を実行し、
前記音声指示コマンドが前記表示指示コマンドの送信を伴わないコマンドである場合、前記調整処理を実行しないことを特徴とする音声操作システム。
【請求項１７】
画像処理装置および音声デバイスと連携することが可能なサーバであって、
ユーザによって音声デバイスを用いて付与されたユーザ音声に関する解析処理の処理結果に基づいて、前記ユーザの音声指示を特定する指示特定手段と、
前記音声指示に対応する返答メッセージに関連する関連画面の表示出力を指示する表示指示コマンドを前記画像処理装置に送信するとともに、前記返答メッセージの音声出力を指示する音声指示コマンドを前記音声デバイスに向けて送信するコマンド送信手段と、
を備え、
前記音声デバイスは、前記音声指示コマンドに基づいて前記返答メッセージを音声出力し、
前記画像処理装置は、前記関連画面を前記画像処理装置の表示部に表示出力するための準備処理を前記表示指示コマンドに基づいて実行するとともに、前記準備処理によって準備された前記関連画面を前記表示部に表示出力し、
前記サーバは、
前記画像処理装置における前記関連画面の表示出力のタイミングを特定するタイミング特定手段と、
前記音声デバイスにおける前記返答メッセージの音声出力のタイミングを前記関連画面の表示出力のタイミングに基づいて調整する調整処理を実行する調整手段と、
をさらに備えることを特徴とするサーバ。
【請求項１８】
画像処理装置および音声デバイスと連携することが可能なサーバに内蔵されたコンピュータに、
ａ）ユーザによって音声デバイスを用いて付与されたユーザ音声に関する解析処理の処理結果に基づいて、前記ユーザの音声指示を特定するステップと、
ｂ）前記音声指示に対応する返答メッセージに関連する関連画面の表示出力を指示する表示指示コマンドを前記画像処理装置に送信するステップと、
ｃ）前記返答メッセージの音声出力を指示する音声指示コマンドを前記音声デバイスに向けて送信するステップと、
を実行させるためのプログラムであって、
前記音声デバイスは、前記音声指示コマンドに基づいて前記返答メッセージを音声出力し、
前記画像処理装置は、前記関連画面を前記画像処理装置の表示部に表示出力するための準備処理を前記表示指示コマンドに基づいて実行するとともに、前記準備処理によって準備された前記関連画面を前記表示部に表示出力し、
前記プログラムは、
ｄ）前記画像処理装置における前記関連画面の表示出力のタイミングを特定するステップと、
ｅ）前記音声デバイスにおける前記返答メッセージの音声出力のタイミングを前記関連画面の表示出力のタイミングに基づいて調整する調整処理を実行するステップと、
を前記コンピュータにさらに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声デバイス等を用いてＭＦＰ（マルチ・ファンクション・ペリフェラル（Multi-Functional Peripheral））などの画像処理装置を音声で操作する音声操作システム、およびそれに関連する技術に関する。
【背景技術】
【０００２】
スマートスピーカ（ＡＩスピーカ）等の音声デバイスを利用してユーザ指示（音声指示）を付与し、対象装置を音声で操作する技術が存在する（特許文献１等参照）。
【０００３】
詳細には、コマンド指示サーバ（機能提供サーバ）において、音声デバイスを用いて入力されたユーザ音声（音声データ）に関する自然言語解析処理に基づきユーザの音声指示（音声指示内容）が特定される。そして、当該音声指示に応じた指示コマンドが当該コマンド指示サーバから対象装置（操作対象装置）に送信され、当該指示コマンドに基づく動作が当該対象装置において実行される。これにより、対象装置の音声操作が実現される。また、コマンド指示サーバは、音声指示に対応する返答メッセージ（音声応答）の音声出力を指示する指示コマンド（音声指示コマンド）を音声デバイスに送信し、音声デバイスにおいて当該返答メッセージが音声出力される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１８−１９５９３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、音声デバイス等を利用してＭＦＰを音声で操作することが考えられる。たとえば、音声デバイス等を利用して、ＭＦＰのコピージョブに関する各種設定操作を音声（「コピーしたい」、「両面印刷」等）で行うこと、が考えられる。
【０００６】
具体的には、コマンド指示サーバは、音声デバイスにおいて入力されたユーザ音声（たとえば「コピーしたい」）に関する解析処理（自然言語解析処理等）の処理結果に基づいて、ユーザの音声指示（たとえば、実行対象のジョブ種類としてコピージョブを指定する音声指示）を特定する。
【０００７】
その後、コマンド指示サーバは、当該音声指示に応じた設定指示コマンド（コピージョブに関する設定動作の実行コマンド）をＭＦＰに送信し、ＭＦＰは、当該設定指示コマンドに基づいてコピージョブに関する設定動作を実行する。
【０００８】
この際、次述するように、コマンド指示サーバがＭＦＰの表示部と音声デバイスとを用いてコピージョブに関する設定内容の確認をユーザに要求することがある。
【０００９】
具体的には、コマンド指示サーバは、コピージョブにおける各設定項目の設定内容を一覧表示する画面（音声デバイスにおいて音声出力される返答メッセージ（後述）に関連する関連画面）の表示出力を指示する表示指示コマンドをもＭＦＰに送信する。そして、ＭＦＰは、当該表示指示コマンドに基づいて当該関連画面の表示出力動作を実行する。
【００１０】
さらに、コマンド指示サーバは、ユーザの音声指示に対応する返答メッセージ（ここでは、ＭＦＰに表示された画面の表示内容の確認をユーザに要求するメッセージ（たとえば「画面に表示された設定でよろしいですか？」））の音声出力を指示する音声指示コマンドを音声デバイスに向けて送信する。そして、音声デバイスは、当該音声指示コマンドに基づいて当該返答メッセージの音声出力動作を実行する。詳細には、音声デバイスにおいて、返答メッセージ「画面に表示された設定でよろしいですか？」の音声出力が開始される。
【００１１】
ここにおいて、特許文献１に記載の技術に係る音声操作システム（音声対話システム）では、コマンド指示サーバと音声デバイスとの間での指示コマンドの授受に基づく動作と、コマンド指示サーバと操作対象装置（ここではＭＦＰ）との間での指示コマンドの授受に基づく動作とは独立して（互いに別個の動作として）実行される。
【００１２】
その結果、音声デバイスにおける返答メッセージの音声出力動作がＭＦＰにおける関連画面の表示出力動作に対して適切なタイミングで実行されない恐れがある。
【００１３】
特に、音声デバイスにおいて、返答メッセージの音声出力がＭＦＰにおける関連画面の表示出力よりも早期に開始される恐れがある。詳細には、ＭＦＰは、コマンド指示サーバからの表示指示コマンドの受信に応答して直ちに関連画面を表示することはできず、当該関連画面を表示出力するための準備処理（関連画面の生成処理等）を経た後に当該関連画面を表示する。その結果、関連画面が音声デバイスにおける返答メッセージの音声出力に対して遅れて表示されることがある。たとえば、音声デバイスにおいて返答メッセージ（「画面に表示された設定でよろしいですか？」）の音声出力（再生）が既に開始されているにもかかわらず、当該返答メッセージに関連する関連画面がＭＦＰの表示部に未だ表示されていないことがある。あるいは、返答メッセージの音声出力が既に終了しているにもかかわらず、関連画面の表示出力が未だ開始されていないことがある。これらの場合、ユーザが違和感を感じてしまう。
【００１４】
そこで、この発明は、音声デバイスにおける返答メッセージの音声出力動作を画像処理装置における関連画面の表示出力動作に対して適切なタイミングで実行することが可能な技術を提供することを課題とする。
【課題を解決するための手段】
【００１５】
上記課題を解決すべく、請求項１の発明は、画像処理装置を音声で操作する音声操作システムであって、ユーザ音声の入力を受け付ける音声デバイスと、前記ユーザ音声に関する解析処理の処理結果に基づいてユーザの音声指示を特定するとともに、前記音声指示に応じた指示コマンドを前記画像処理装置に送信するサーバと、前記サーバからの前記指示コマンドに基づく動作を実行する前記画像処理装置と、を備え、前記サーバは、前記音声指示に対応する返答メッセージの音声出力を指示する音声指示コマンドを前記音声デバイスに向けて送信するとともに、前記返答メッセージに関連する関連画面の表示出力を指示する表示指示コマンドを前記画像処理装置に送信するコマンド送信手段、を有し、前記音声デバイスは、前記音声指示コマンドに基づいて前記返答メッセージを音声出力し、前記画像処理装置は、前記関連画面を前記画像処理装置の表示部に表示出力するための準備処理を前記表示指示コマンドに基づいて実行するとともに、前記準備処理によって準備された前記関連画面を前記表示部に表示出力し、前記サーバは、前記画像処理装置における前記関連画面の表示出力のタイミングを特定する特定手段と、前記音声デバイスにおける前記返答メッセージの音声出力のタイミングを前記関連画面の表示出力のタイミングに基づいて調整する調整処理を実行する調整手段と、をさらに有することを特徴とする。
【００１６】
請求項２の発明は、請求項１の発明に係る音声操作システムにおいて、前記サーバは、前記準備処理の推定所要時間を算出する算出手段、をさらに有し、前記特定手段は、前記推定所要時間に基づいて前記関連画面の表示出力のタイミングを特定することを特徴とする。
【００１７】
請求項３の発明は、請求項２の発明に係る音声操作システムにおいて、前記算出手段は、前記準備処理に関する前記画像処理装置の処理性能に基づいて前記推定所要時間を算出することを特徴とする。
【００１８】
請求項４の発明は、請求項２の発明に係る音声操作システムにおいて、前記画像処理装置は、複数の種類の画面の中から選択される画面を前記関連画面として表示することが可能であり、前記複数の種類の画面は、それぞれ、複数の種類の単位処理のうちの１又は２以上の種類の単位処理を用いて準備され、前記算出手段は、前記複数の種類の単位処理のそれぞれの処理時間を規定したデータテーブルに基づき、前記関連画面の前記準備処理を構成する少なくとも１つの種類の単位処理の処理時間の合計値を取得し、前記合計値に基づき前記推定所要時間を算出することを特徴とする。
【００１９】
請求項５の発明は、請求項４の発明に係る音声操作システムにおいて、前記複数の種類の単位処理は、外部装置と連携して前記外部装置内のデータを取得する連携処理を含み、前記データテーブルにおいては、前記連携処理の処理時間である連携処理時間が規定されており、前記算出手段は、前記連携処理が前記準備処理において実行される場合、前記連携処理時間にも基づいて前記推定所要時間を算出することを特徴とする。
【００２０】
請求項６の発明は、請求項２から請求項５のいずれかの発明に係る音声操作システムにおいて、前記調整手段は、前記サーバから前記音声デバイスへのコマンド送信の所要時間と前記サーバから前記画像処理装置へのコマンド送信の所要時間と前記推定所要時間とに基づいて、前記調整処理を実行することを特徴とする。
【００２１】
請求項７の発明は、請求項１の発明に係る音声操作システムにおいて、前記画像処理装置は、前記準備処理の完了に際して、前記準備処理の完了通知を前記サーバに送信し、前記特定手段は、前記画像処理装置からの前記完了通知に基づいて前記関連画面の表示出力のタイミングを特定することを特徴とする。
【００２２】
請求項８の発明は、請求項２から請求項５のいずれかの発明に係る音声操作システムにおいて、前記調整手段は、前記画像処理装置への前記表示指示コマンドの送信時点から前記推定所要時間が経過する時点以降に前記返答メッセージの音声出力を開始させる処理を、前記調整処理として実行することを特徴とする。
【００２３】
請求項９の発明は、請求項２から請求項５のいずれかの発明に係る音声操作システムにおいて、前記調整手段は、前記推定所要時間と前記返答メッセージの再生時間との差分時間を算出し、前記画像処理装置への前記表示指示コマンドの送信時点から前記差分時間が経過する時点以降に前記返答メッセージの音声出力を開始させる処理を、前記調整処理として実行することを特徴とする。
【００２４】
請求項１０の発明は、請求項８または請求項９の発明に係る音声操作システムにおいて、前記調整手段は、前記音声デバイスへの前記音声指示コマンドの送信タイミングを調整することによって、前記調整処理を実行することを特徴とする。
【００２５】
請求項１１の発明は、請求項７の発明に係る音声操作システムにおいて、前記調整手段は、前記画像処理装置からの前記完了通知の受信後に前記返答メッセージの音声出力を開始させる処理を、前記調整処理として実行することを特徴とする。
【００２６】
請求項１２の発明は、請求項８から請求項１１のいずれかの発明に係る音声操作システムにおいて、前記コマンド送信手段は、待機動作を前記ユーザに要求する待機要求メッセージの音声出力を指示する待機音声指示コマンドを、前記音声指示コマンドの送信に先立って前記音声デバイスに向けて送信し、前記音声デバイスは、前記返答メッセージの音声出力に先立って、当該待機音声指示コマンドに基づいて前記待機要求メッセージを音声出力することを特徴とする。
【００２７】
請求項１３の発明は、請求項２から請求項５のいずれかの発明に係る音声操作システムにおいて、前記調整手段は、前記音声デバイスにおける前記返答メッセージの再生時間を前記推定所要時間よりも長い時間に変更する再生時間増大処理を、前記調整処理として実行することを特徴とする。
【００２８】
請求項１４の発明は、請求項１３の発明に係る音声操作システムにおいて、前記再生時間増大処理は、前記返答メッセージの再生速度を低速化する処理であることを特徴とする。
【００２９】
請求項１５の発明は、請求項１３の発明に係る音声操作システムにおいて、前記再生時間増大処理は、前記返答メッセージの再生中における前記返答メッセージの文節間の無音期間を長大化する処理であることを特徴とする。
【００３０】
請求項１６の発明は、請求項１から請求項１５のいずれかの発明に係る音声操作システムにおいて、前記調整手段は、前記音声指示コマンドが前記表示指示コマンドの送信を伴うコマンドである場合、前記調整処理を実行し、前記音声指示コマンドが前記表示指示コマンドの送信を伴わないコマンドである場合、前記調整処理を実行しないことを特徴とする。
【００３１】
請求項１７の発明は、画像処理装置および音声デバイスと連携することが可能なサーバであって、ユーザによって音声デバイスを用いて付与されたユーザ音声に関する解析処理の処理結果に基づいて、前記ユーザの音声指示を特定する指示特定手段と、前記音声指示に対応する返答メッセージに関連する関連画面の表示出力を指示する表示指示コマンドを前記画像処理装置に送信するとともに、前記返答メッセージの音声出力を指示する音声指示コマンドを前記音声デバイスに向けて送信するコマンド送信手段と、を備え、前記音声デバイスは、前記音声指示コマンドに基づいて前記返答メッセージを音声出力し、前記画像処理装置は、前記関連画面を前記画像処理装置の表示部に表示出力するための準備処理を前記表示指示コマンドに基づいて実行するとともに、前記準備処理によって準備された前記関連画面を前記表示部に表示出力し、前記サーバは、前記画像処理装置における前記関連画面の表示出力のタイミングを特定するタイミング特定手段と、前記音声デバイスにおける前記返答メッセージの音声出力のタイミングを前記関連画面の表示出力のタイミングに基づいて調整する調整処理を実行する調整手段と、をさらに備えることを特徴とする。
【００３２】
請求項１８の発明は、画像処理装置および音声デバイスと連携することが可能なサーバに内蔵されたコンピュータに、ａ）ユーザによって音声デバイスを用いて付与されたユーザ音声に関する解析処理の処理結果に基づいて、前記ユーザの音声指示を特定するステップと、ｂ）前記音声指示に対応する返答メッセージに関連する関連画面の表示出力を指示する表示指示コマンドを前記画像処理装置に送信するステップと、ｃ）前記返答メッセージの音声出力を指示する音声指示コマンドを前記音声デバイスに向けて送信するステップと、を実行させるためのプログラムであって、前記音声デバイスは、前記音声指示コマンドに基づいて前記返答メッセージを音声出力し、前記画像処理装置は、前記関連画面を前記画像処理装置の表示部に表示出力するための準備処理を前記表示指示コマンドに基づいて実行するとともに、前記準備処理によって準備された前記関連画面を前記表示部に表示出力し、前記プログラムは、ｄ）前記画像処理装置における前記関連画面の表示出力のタイミングを特定するステップと、ｅ）前記音声デバイスにおける前記返答メッセージの音声出力のタイミングを前記関連画面の表示出力のタイミングに基づいて調整する調整処理を実行するステップと、を前記コンピュータにさらに実行させることを特徴とする。
【発明の効果】
【００３３】
請求項１から請求項１８に記載の発明によれば、画像処理装置における関連画面の表示出力のタイミングが特定され、音声デバイスにおける返答メッセージの音声出力のタイミングが当該関連画面の表示出力のタイミングに基づいて調整される。したがって、音声デバイスにおける返答メッセージの音声出力動作を画像処理装置における関連画面の表示出力動作に対して適切なタイミングで実行することが可能である。
【図面の簡単な説明】
【００３４】
【図１】音声操作システムの構成を示す概略図である。
【図２】ＭＦＰの機能ブロックを示す図である。
【図３】コマンド指示サーバの機能ブロックを示す図である。
【図４】音声操作システムの動作の概略を示す概念図である。
【図５】タイミング調整処理に関するタイムチャートを示す図である。
【図６】音声操作システムにおける各装置の動作例を示すシーケンス図である。
【図７】コマンド指示サーバの動作を示すフローチャートである。
【図８】コピージョブの設定画面（関連画面）を示す図である。
【図９】処理係数管理テーブルを示す図である。
【図１０】ＡＰＩ管理テーブルを示す図である。
【図１１】第４実施形態に係る調整処理（開始タイミング調整処理）に関するタイムチャートを示す図である。
【図１２】第５実施形態に係る調整処理（終了タイミング調整処理）に関するタイムチャートを示す図である。
【図１３】無音期間調整処理に関する概念図である。
【図１４】音声指示コマンドの送信所要時間および表示指示コマンドの送信所要時間等を示す図である。
【図１５】第３実施形態に係る音声操作システムにおける各装置の動作例を示すシーケンス図である。
【図１６】ファクシミリ送信ジョブの設定画面（関連画面）を示す図である。
【発明を実施するための形態】
【００３５】
以下、本発明の実施形態を図面に基づいて説明する。
【００３６】
＜１．第１実施形態＞
＜１−１．システム構成＞
図１は、本発明の第１実施形態に係る音声操作システム１の構成を示す概略図である。図１に示されるように、音声操作システム１は、複数のＭＦＰ１０（１０Ａ，１０Ｂ，...）とコマンド指示サーバ５０と音声解析サーバ７０と複数の音声デバイス９０（９０Ａ，９０Ｂ...）とを備える。
【００３７】
音声操作システム１では、各要素１０，５０，７０，９０間での連携処理によってＭＦＰ１０を音声で操作することが可能である。
【００３８】
ＭＦＰ１０とコマンド指示サーバ５０とは、ネットワーク１０８を介して互いに接続される。また、音声解析サーバ７０とコマンド指示サーバ５０とは、ネットワーク１０８を介して互いに接続される。また、音声解析サーバ７０と音声デバイス９０とは、ネットワーク１０８を介して互いに接続される。ネットワーク１０８は、ＬＡＮ（Local Area Network）およびインターネットなどによって構成される。なお、ネットワーク１０８に対する接続態様は、有線接続であってもよく、或いは無線接続であってもよい。
【００３９】
音声デバイス９０は、スピーカ（音声出力部）およびマイク（音声入力部）を備える装置である。この音声デバイス９０は、スマートスピーカ（ＡＩスピーカ）などとも称される。音声デバイス９０は、ネットワーク１０８を介して音声解析サーバ７０と通信し、音声解析サーバ７０との間で音声情報等を授受することが可能である。
【００４０】
音声解析サーバ７０は、音声デバイス９０において入力された音声（ユーザ音声）に対する自然言語解析処理を実行することが可能である。
【００４１】
次に、ＭＦＰ１０およびコマンド指示サーバ５０について説明する。
【００４２】
＜１−２．ＭＦＰ１０の構成＞
図２は、ＭＦＰ（マルチ・ファンクション・ペリフェラル（Multi-Functional Peripheral））１０の機能ブロックを示す図である。
【００４３】
ＭＦＰ１０は、スキャン機能、コピー機能、ファクシミリ機能およびボックス格納機能などを備える装置（複合機とも称する）である。具体的には、ＭＦＰ１０は、図２の機能ブロック図に示すように、画像読取部２、印刷出力部３、通信部４、格納部５、操作部６およびコントローラ９等を備えており、これらの各部を複合的に動作させることによって、各種の機能を実現する。なお、ＭＦＰ１０は、画像処理装置あるいは画像形成装置などとも表現される。
【００４４】
画像読取部２は、ＭＦＰ１０の所定の位置に載置された原稿を光学的に読み取って（すなわちスキャンして）、当該原稿の画像データ（原稿画像あるいはスキャン画像とも称する）を生成する処理部である。この画像読取部２は、スキャン部であるとも称される。
【００４５】
印刷出力部３は、印刷対象に関するデータに基づいて紙などの各種の媒体に画像を印刷出力する出力部である。
【００４６】
通信部４は、公衆回線等を介したファクシミリ通信を行うことが可能な処理部である。さらに、通信部４は、ネットワーク１０８を介したネットワーク通信を行うことも可能である。このネットワーク通信では、たとえば、ＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）およびＨＴＴＰ（HyperText Transfer Protocol）等の各種のプロトコルが利用される。当該ネットワーク通信を利用することによって、ＭＦＰ１０は、所望の相手先（たとえば、コマンド指示サーバ５０等）との間で各種のデータを授受することが可能である。通信部４は、各種データを送信する送信部４ａと各種データを受信する受信部４ｂとを有する。
【００４７】
格納部５は、半導体メモリ（ＲＡＭ等）およびハードディスクドライブ（ＨＤＤ）等の記憶装置で構成される。
【００４８】
操作部６は、ＭＦＰ１０に対する操作入力を受け付ける操作入力部６ａと、各種情報の表示出力を行う表示部６ｂとを備えている。このＭＦＰ１０においては、略板状の操作パネル部６ｃ（図１参照）が設けられており、当該操作パネル部６ｃは、その正面側にタッチパネル（操作パネル）２５（図１参照）を有している。タッチパネル２５は、液晶表示パネルに圧電センサ等が埋め込まれて構成され、各種情報を表示するとともに操作者からの操作入力を受け付けることが可能である。たとえば、タッチパネル２５においては、メニュー画面等の各種の画面（ボタン画像等を含む）等が表示される。操作者は、タッチパネル２５内に仮想的に配置されるボタン（ボタン画像で表現されるボタン）を押下することによって、ＭＦＰ１０の各種設定内容を変更することなどが可能である。タッチパネル２５は、操作入力部６ａの一部としても機能するとともに、表示部６ｂの一部としても機能する。
【００４９】
コントローラ（制御部）９は、ＭＦＰ１０に内蔵され、ＭＦＰ１０を統括的に制御する制御装置である。コントローラ９は、ＣＰＵおよび各種の半導体メモリ（ＲＡＭおよびＲＯＭ）等を備えるコンピュータシステムとして構成される。コントローラ９は、ＣＰＵにおいて、ＲＯＭ（例えば、ＥＥＰＲＯＭ（登録商標））内に格納されている所定のソフトウエアプログラム（以下、単にプログラムとも称する）を実行することによって、各種の処理部を実現する。なお、当該プログラム（詳細にはプログラムモジュール群）は、ＵＳＢメモリなどの可搬性の記録媒体に記録され、当該記録媒体から読み出されてＭＦＰ１０にインストールされるようにしてもよい。あるいは、当該プログラムは、ネットワーク等を経由してダウンロードされてＭＦＰ１０にインストールされるようにしてもよい。
【００５０】
ここでは、当該プログラムとして、「音声アプリケーションソフトウエア」Ｑ１（コマンド指示サーバ５０と連携し、音声によってＭＦＰ１０を操作するためのアプリケーションソフトウエア）がＭＦＰ１０にインストールされている。換言すれば、コマンド指示サーバ５０とＭＦＰ１０との連携用のアプリケーションソフトウエア（コマンド指示サーバから送信されてきた設定情報に基づきＭＦＰ１０における設定処理を実行するアプリケーションソフトウエア）がＭＦＰ１０において実装されている。なお、「音声アプリケーションソフトウエア」（Ｑ１）は、「音声アプリケーション」あるいは「音声アプリ」などとも称される。
【００５１】
具体的には、図２に示すように、コントローラ９は、当該プログラム等の実行により、通信制御部９ａと入力制御部９ｂと表示制御部９ｃと設定処理部９ｄとジョブ制御部９ｅとを含む各種の処理部を実現する。
【００５２】
通信制御部９ａは、他の装置（コマンド指示サーバ５０等）との間の通信動作を制御する処理部である。
【００５３】
入力制御部９ｂは、操作入力部６ａに対する操作入力動作を制御する制御部である。
【００５４】
表示制御部９ｃは、表示部６ｂ（タッチパネル２５）における表示動作を制御する処理部である。表示制御部９ｃは、ＭＦＰ１０を操作するための操作画面（ＭＦＰ１０におけるジョブに関する設定画面を含む）等を表示部６ｂに表示させる。たとえば、表示制御部９ｃは、コマンド指示サーバ５０からの表示指示コマンド（後述）に基づいて、各種の表示画面の表示出力処理を実行する。具体的には、表示制御部９ｃは、表示用アプリケーションを利用して、各種の表示画面をタッチパネル２５に表示出力するための準備処理（表示準備処理）を実行する。そして、表示制御部９ｃは、当該準備処理によって準備（生成等）された表示画面をタッチパネル２５に表示する。
【００５５】
設定処理部９ｄは、ＭＦＰ１０の動作（ジョブ）に関する設定情報を設定する処理部である。設定処理部９ｄは、コマンド指示サーバ５０から送信されてくる指示コマンドを含む受信指示とユーザの手指による操作入力指示（操作パネル部６ｃ等を用いた操作入力指示）との少なくとも一方に基づいて、当該設定情報を設定する。
【００５６】
ジョブ制御部９ｅは、ＭＦＰ１０における各種ジョブ（印刷出力ジョブ、スキャンジョブ、ファクシミリ通信ジョブ等）の実行動作を制御する制御部である。
【００５７】
＜１−３．コマンド指示サーバ５０の構成＞
次に、図３を参照しながら、コマンド指示サーバ（コマンド送信サーバ）５０の構成について説明する。図３は、コマンド指示サーバ５０の機能ブロックを示す図である。
【００５８】
コマンド指示サーバ５０は、図３の機能ブロック図に示すように、通信部５４、格納部５５およびコントローラ５９等を備えており、これらの各部を複合的に動作させることによって、各種の機能を実現する。
【００５９】
通信部５４は、ネットワーク１０８を介したネットワーク通信を行うことが可能である。このネットワーク通信では、たとえば、ＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）およびＨＴＴＰ（HyperText Transfer Protocol）等の各種のプロトコルが利用される。当該ネットワーク通信を利用することによって、コマンド指示サーバ５０は、所望の相手先（ＭＦＰ１０および音声解析サーバ７０等）との間で各種のデータを授受することが可能である。通信部５４は、各種データを送信する送信部５４ａと各種データを受信する受信部５４ｂとを有する。
【００６０】
格納部５５は、半導体メモリ（ＲＡＭ等）およびハードディスクドライブ（ＨＤＤ）等の記憶装置で構成される。
【００６１】
図３のコントローラ（制御部）５９は、コマンド指示サーバ５０に内蔵され、コマンド指示サーバ５０を統括的に制御する制御装置である。コントローラ５９は、ＣＰＵおよび各種の半導体メモリ（ＲＡＭおよびＲＯＭ）等を備えるコンピュータシステムとして構成される。コントローラ５９は、ＣＰＵにおいて、記憶部（半導体メモリ等）内に格納されている所定のプログラム（ＯＳおよびアプリケーション等）を実行することによって、各種の処理部を実現する。なお、当該プログラム（詳細にはプログラムモジュール群）は、可搬性の記録媒体（ＣＤ−ＲＯＭおよびＵＳＢメモリなど）に記録され、当該記録媒体から読み出されてコマンド指示サーバ５０にインストールされてもよい。あるいは、当該プログラムは、ネットワーク等を経由して送信され、コマンド指示サーバ５０にインストールされるようにしてもよい。
【００６２】
ここでは、当該プログラムとして、「ＭＦＰ連携用クラウドアプリケーションソフトウエア」Ｑ５（音声解析サーバ７０およびＭＦＰ１０と連携し、音声によってＭＦＰ１０を操作するためのアプリケーションソフトウエア（サーバ用アプリケーション））がインストールされている。なお、「ＭＦＰ連携用クラウドアプリケーションソフトウエア」（Ｑ５）は、「ＭＦＰ連携用クラウドアプリケーション」あるいは「ＭＦＰ連携用クラウドアプリ」などとも称される。
【００６３】
コントローラ５９は、当該プログラム等の実行により、通信制御部５９ａと指示特定部５９ｂとコマンド送信部５９ｃと調整部５９ｄと算出部５９ｅと判定部５９ｆとタイミング特定部５９ｇとを含む各種の処理部を実現する。
【００６４】
通信制御部５９ａは、通信部５４等と協働して、ＭＦＰ１０および音声解析サーバ７０等との通信動作を制御する処理部である。
【００６５】
指示特定部５９ｂは、音声解析サーバ７０における自然言語解析処理（ユーザ音声に対する自然言語解析処理）の処理結果に基づいて、ユーザの音声指示（音声指示内容）を特定する処理（指示特定処理）を実行する処理部である。当該ユーザ音声は、ユーザと音声デバイス９０との間での会話において当該ユーザによって付与される。また、指示特定部５９ｂは、当該音声指示に対応する返答メッセージを複数の返答メッセージ（メッセージデータ群）の中から特定する処理（返答メッセージ特定処理）をも実行する。当該複数の返答メッセージ（メッセージデータ群）は、コマンド指示サーバ５０において管理者等によって予め準備されて格納部５５に格納される。
【００６６】
コマンド送信部５９ｃは、指示特定部５９ｂによって特定された音声指示に基づき指示コマンドを生成し、通信制御部５９ａ等と協働して、当該指示コマンドをＭＦＰ１０あるいは音声デバイス９０（音声解析サーバ７０）に送信する処理部である。たとえば、コマンド送信部５９ｃは、当該音声指示に対応する返答メッセージの音声出力を指示する音声指示コマンド（返答音声指示コマンド）を音声デバイス９０に向けて送信する。なお、当該音声指示コマンドは、音声解析サーバ７０を介して音声デバイス９０に送信される。また、コマンド送信部５９ｃは、当該音声指示に基づく指示コマンド（設定指示コマンド等）をＭＦＰ１０に送信するとともに、当該返答メッセージに関連する関連画面２００の表示出力を指示する表示指示コマンド（表示出力指示コマンド）をＭＦＰ１０に送信する。
【００６７】
算出部５９ｅは、ＭＦＰ１０における準備処理の推定所要時間Ｔ１０（準備処理に要すると推定される時間）を算出する算出処理を実行する処理部である。
【００６８】
タイミング特定部５９ｇは、ＭＦＰ１０における関連画面２００の表示出力のタイミングを特定する処理（タイミング特定処理）を実行する処理部である。当該タイミング特定部５９ｇは、算出部５９ｅによって算出された推定所要時間Ｔ１０に基づいて、当該関連画面２００の表示出力のタイミングを特定（推定）する。
【００６９】
調整部（調整処理部）５９ｄは、音声デバイス９０における返答メッセージの音声出力のタイミングを調整（決定）する調整処理を実行する処理部である。具体的には、調整部５９ｄは、タイミング特定部５９ｇによって特定された表示出力タイミング（関連画面２００の表示出力のタイミング）に基づいて、音声デバイス９０における返答メッセージの音声出力のタイミングを調整する。
【００７０】
判定部５９ｆは、各種の判定処理を実行する処理部である。
【００７１】
ここにおいて、コマンド指示サーバ５０は、単一のサーバ装置（コンピュータ装置）で構成されていることを要さず、複数のサーバ装置で構成されていてもよい。この場合、上記の複数の処理部の一部あるいは全部が互いに異なるサーバ装置で実現されてもよい。また、各処理部で実行される処理が複数のサーバ装置で分散されて実行されてもよい。本願では、単一のサーバ装置のみならず、複数のサーバ装置で構成されるサーバ装置群をも、「サーバ」（あるいは「コマンド指示サーバ」）と称するものとする。
【００７２】
＜１−４．動作概要＞
次に、本システム１における動作の概要について、図４を参照しつつ説明する。図４は、第１実施形態の動作の概略を示す概念図である。
【００７３】
ここでは、ユーザ（Ｕ１）が「ＭＦＰ１０Ａでコピーしたい」との音声を発することを想定する。
【００７４】
音声デバイス９０（９０Ａ）は、ユーザ音声（ユーザの音声）「ＭＦＰ１０Ａでコピーしたい」の入力を受け付ける（ステップＳ１１）。
【００７５】
そして、音声解析サーバ７０は、当該ユーザ音声を音声デバイス９０（９０Ａ）から取得して、当該ユーザ音声に関する音声解析処理を実行する。
【００７６】
その後、コマンド指示サーバ５０は、当該ユーザ音声に関する音声解析処理の処理結果を音声解析サーバ７０から取得し、当該処理結果に基づいてユーザの音声指示（音声指示内容）を特定するとともに、当該音声指示に基づく指示コマンドを生成する（ステップＳ３１）。
【００７７】
具体的には、コマンド指示サーバ５０は、当該音声指示に対応する返答メッセージ（たとえば「画面に表示された設定でよろしいですか？」）の音声出力を指示する音声指示コマンドを生成する。また、コマンド指示サーバ５０は、当該返答メッセージに関連する関連画面２００の表示出力を指示する表示指示コマンドをも生成する。
【００７８】
そして、コマンド指示サーバ５０は、当該音声指示コマンドを音声デバイス９０（９０Ａ）に向けて送信するとともに、当該表示指示コマンドをＭＦＰ１０Ａに送信する。
【００７９】
当該表示指示コマンドは、コマンド指示サーバ５０におけるコマンド生成の完了に応答して直ちにＭＦＰ１０Ａへと送信される（ステップＳ３３）。そして、ＭＦＰ１０Ａは、当該表示指示コマンドに基づいて、関連画面２００を表示出力するための準備処理を実行する（ステップＳ４２）。
【００８０】
これに対して、音声指示コマンドは、コマンド指示サーバ５０におけるコマンド生成の完了に応答して直ちに音声デバイス９０Ａへと送信されるのではなく、音声指示コマンドは、ＭＦＰ１０Ａにおける関連画面２００の表示出力の開始タイミングに合わせて音声デバイス９０Ａへと送信される（ステップＳ３６）。
【００８１】
具体的には、コマンド指示サーバ５０は、ＭＦＰ１０Ａにおける関連画面２００の準備処理の推定所要時間Ｔ１０を算出する（ステップＳ３４）。これにより、コマンド指示サーバ５０は、ＭＦＰ１０Ａにおける関連画面２００の表示出力タイミングを特定（推定）する。そして、コマンド指示サーバ５０は、当該推定所要時間Ｔ１０の経過を待機し（ステップＳ３５）、当該推定所要時間Ｔ１０の経過以降に（詳細には、推定所要時間Ｔ１０の経過に応答して）音声指示コマンドを音声デバイス９０Ａに向けて送信する（ステップＳ３６）。
【００８２】
その後、ＭＦＰ１０Ａにおいて、準備処理の完了に応答して関連画面２００が表示出力されるとともに、音声デバイス９０Ａにおいて、コマンド指示サーバ５０からの音声指示コマンドに基づいて返答メッセージ（「画面に表示された設定でよろしいですか？」）が音声出力（再生）される。
【００８３】
このように、コマンド指示サーバ５０は、ＭＦＰ１０における関連画面２００の表示出力タイミングを特定し、当該表示出力タイミングに基づいて音声デバイス９０における返答メッセージの音声出力のタイミングを調整する。換言すれば、音声デバイス９０における返答メッセージの音声出力動作とＭＦＰ１０における関連画面２００の表示出力動作とが同期される。
【００８４】
以下では、上述の動作（返答メッセージの音声出力のタイミング調整動作等）について更に詳細に説明する。
【００８５】
＜１−５．動作詳細＞
図６は、音声操作システム１における各装置（１０，５０，７０，９０）の動作例を示すシーケンス図である。図５は、タイミング調整処理に関するタイムチャートを示す図である。図７は、コマンド指示サーバ５０の動作を示すフローチャートである。以下、これらの図等を参照しながら、音声操作システム１の動作について詳細に説明する。
【００８６】
ここでは、上述したように、ユーザが音声デバイス９０（９０Ａ）に対して「ＭＦＰ１０Ａでコピーしたい」との音声を発することを想定する（図４参照）。なお、ここでは、コピージョブに関する設定操作が行われる態様が例示される。ただし、これに限定されず、スキャンジョブあるいはファクシミリジョブなどの他のジョブに関する設定操作が行われてもよい。
【００８７】
音声デバイス９０（９０Ａ）は、ユーザ音声「ＭＦＰ１０Ａでコピーしたい」を受け付ける（ステップＳ１１（図６））と、当該ユーザ音声（音声データ）を音声解析サーバ７０送信する（ステップＳ１２）（図４も参照）。
【００８８】
音声解析サーバ７０は、音声デバイス９０（９０Ａ）からユーザ音声を受信する（ステップＳ２１（図６））と、当該ユーザ音声に関して自然言語解析処理等を実行する（ステップＳ２２）。そして、音声解析サーバ７０は、「ＭＦＰ１０Ａでコピーしたい」とのテキストデータ（文字データ）を音声解析結果として取得し、当該音声解析結果をコマンド指示サーバ５０に送信する（ステップＳ２３）（図４も参照）。
【００８９】
コマンド指示サーバ５０は、音声解析サーバ７０から当該音声解析結果を受信すると、図７の動作を開始する。
【００９０】
ステップＳ３１において、コマンド指示サーバ５０は、当該音声解析結果に基づいてユーザの音声指示（音声指示内容）を特定し、当該音声指示に基づく指示コマンドを生成する（図６も参照）。
【００９１】
具体的には、まず、コマンド指示サーバ５０は、音声解析サーバ７０からの音声解析結果（テキストデータ）に基づいて音声指示（音声指示内容）を特定する。ここでは、「コピーしたい」とのテキストデータ（音声解析結果）に基づいて、実行対象のジョブ種類としてコピージョブを指定する指示内容が特定されるとともに、「ＭＦＰ１０Ａで」とのテキストデータに基づいて、ジョブの実行対象装置としてＭＦＰ１０Ａを複数のＭＦＰ１０の中から指定する指示内容が特定される。
【００９２】
そして、コマンド指示サーバ５０は、コマンド指示サーバ５０の格納部５５に予め格納されたメッセージデータ群の中から当該音声指示に対応するメッセージを、ユーザ音声に対して返答すべき返答メッセージとして抽出する。具体的には、音声解析結果に基づき特定された指示内容（実行対象のジョブ種類としてコピージョブを指定する指示内容）に対応付けられた返答メッセージが当該メッセージデータ群の中から抽出される。ここでは、ＭＦＰ１０のタッチパネル２５に表示された画面の表示内容の確認をユーザに要求する確認要求メッセージ（「画面に表示された設定でよろしいですか？」）が返答メッセージとして抽出される。そして、コマンド指示サーバ５０は、当該返答メッセージの音声出力を指示する音声指示コマンド（返答音声指示コマンド）を生成する。
【００９３】
また、コマンド指示サーバ５０は、当該音声指示に対応する設定指示コマンド（「コピー」ジョブに関する設定動作の実行コマンド）を生成するとともに、当該返答メッセージに関連する関連画面（確認要求メッセージにおける確認対象画面）２００の表示出力を指示する表示指示コマンドをも生成する。ここでは、コピージョブにおける各設定項目の設定値を一覧表示するコピー設定一覧画面２１０（関連画面２００）の表示出力を指示する表示指示コマンドが生成される。なお、図８は、コピー設定一覧画面２１０（関連画面２００）を示す図である。
【００９４】
そして、処理はステップＳ３１からステップＳ３２へと進み、コマンド指示サーバ５０は、音声指示コマンドが表示指示コマンドの送信を伴うコマンドであるか否か、を判定する。
【００９５】
たとえば、ユーザの音声指示が、ＭＦＰ１０のＩＰアドレスの通知（返答）を要求（依頼）する通知要求指示（「ＭＦＰのＩＰアドレスを教えて」等）である場合、ＭＦＰ１０において画面遷移は行われない。この場合、音声指示コマンドが表示指示コマンドの送信を伴うコマンドでない旨がステップＳ３２において判定され、処理はステップＳ３２からステップＳ３６へと進む。
【００９６】
一方、ユーザの音声指示がジョブの設定指示等である場合、音声デバイス９０において、ＭＦＰ１０に表示された画面の表示内容（ジョブの設定内容）の確認をユーザに要求する確認要求メッセージが音声出力されるとともに、ＭＦＰ１０において、当該ジョブの設定内容を示す画面（確認要求メッセージにおける確認対象画面）が表示される。この場合、音声指示コマンドが表示指示コマンドの送信を伴うコマンドである旨がステップＳ１２において判定され、処理はステップＳ３２からステップＳ３３へと進む。
【００９７】
ステップＳ３３において、コマンド指示サーバ５０は、関連画面２００（２１０）の表示出力を指示する表示指示コマンドを、設定指示コマンドとともにＭＦＰ１０Ａ（指示コマンドの送信対象のＭＦＰ１０）に送信する（図５の時点Ｔ１も参照）。具体的には、コマンド指示サーバ５０は、音声指示（詳細には、ジョブの実行対象装置としてＭＦＰ１０Ａを複数のＭＦＰ１０の中から指定する指示内容）に基づいて、複数のＭＦＰ１０（１０Ａ，１０Ｂ，...）のうちのＭＦＰ１０Ａを表示指示コマンドの送信対象装置として特定する。そして、コマンド指示サーバ５０は、当該ＭＦＰ１０Ａに対して表示指示コマンドと設定指示コマンドとを送信する。なお、コマンド指示サーバ５０は、ＭＦＰ１０Ａへの表示指示コマンドの送信時点Ｔ１（図５）において計時処理を開始する。当該計時処理によって計時された時間は、推定所要時間Ｔ１０（後述）の経過の有無の判定処理（ステップＳ３５）に利用される。
【００９８】
そして、処理はステップＳ３３からステップＳ３４へと進む。
【００９９】
なお、この時点Ｔ１（図５）では、音声指示コマンドは、コマンド指示サーバ５０から音声デバイス９０（９０Ａ）へと未だ送信されない。後述するように、音声指示コマンドは、ＭＦＰ１０Ａにおける準備処理の推定所要時間Ｔ１０の経過後にコマンド指示サーバ５０から音声デバイス９０Ａに向けて送信される。
【０１００】
ＭＦＰ１０Ａは、コマンド指示サーバ５０からの設定指示コマンドに基づいて、ジョブの設定処理を実行する。具体的には、ＭＦＰ１０Ａは、設定指示コマンドに基づいて、実行対象ジョブとしてコピージョブを指定する指示内容を受け付ける。
【０１０１】
また、ＭＦＰ１０Ａは、コマンド指示サーバ５０からの表示指示コマンドに基づいて、関連画面２００（２１０）（図８）をタッチパネル２５に表示するための準備処理を開始する（ステップＳ４１，Ｓ４２（図６））（図５の時点Ｔ１も参照）。たとえば、ＭＦＰ１０Ａは、画面レイアウト生成処理と内部データ抽出処理と反映処理との３種類の単位処理（サブ処理）を実行することによって、関連画面２００（２１０）を準備する。画面レイアウト生成処理は、表示画面の画面レイアウト（画面背景、および表形式の設定値一覧における枠組み等）を生成する処理（単位処理）である。内部データ抽出処理は、ＭＦＰ１０内の内部メモリから各種データ（各設定項目のデフォルト値等）を抽出（取得）する処理（単位処理）である。反映処理は、内部データ抽出処理等によって取得されたデータ（設定値）を、画面レイアウト生成処理によって生成された設定値一覧における各設定項目の設定値に反映させる処理（単位処理）である。これらの単位処理（画面レイアウト生成処理、抽出処理、反映処理等）は、たとえばＡＰＩ（Application Programming Interface）によって実行される。
【０１０２】
このような準備処理がＭＦＰ１０Ａにおいて実行されている間、コマンド指示サーバ５０は、音声デバイス９０への音声指示コマンドの送信を保留する。
【０１０３】
具体的には、ステップＳ３４，Ｓ３５において、コマンド指示サーバ５０は、ＭＦＰ１０Ａにおける関連画面２１０の表示出力（表示開始）のタイミングを特定し、当該表示出力のタイミングに基づいて、音声デバイス９０（９０Ａ）における返答メッセージの音声出力のタイミング（詳細には開始タイミング）を調整する。
【０１０４】
より具体的には、コマンド指示サーバ５０は、関連画面２１０の準備処理（準備処理全体）の推定所要時間Ｔ１０を算出することによって、ＭＦＰ１０Ａにおける関連画面２１０の表示出力のタイミングを特定（推定）する。そして、コマンド指示サーバ５０は、音声デバイス９０に返答メッセージの音声出力を関連画面２１０の表示出力後に開始させる処理（開始タイミング調整処理）を実行する。
【０１０５】
まず、ステップＳ３４において、コマンド指示サーバ５０は、表示指示コマンドの送信対象のＭＦＰ１０の処理性能（準備処理に関する処理性能）に基づいて、関連画面２１０の準備処理（準備処理全体）の推定所要時間Ｔ１０を算出する。換言すれば、ＭＦＰ１０において表示指示コマンドが受信されてから関連画面２１０がＭＦＰ１０のタッチパネル２５に表示されるまでに要する時間（準備処理の完了タイミング）が推定される。当該推定所要時間Ｔ１０は、音声デバイス９０への音声指示コマンドの送信時点（送信時刻）の到来を待機する待機時間として算出される。
【０１０６】
具体的には、コマンド指示サーバ５０おいては、複数のＭＦＰ１０（１０Ａ，１０Ｂ，１０Ｃ，...）のそれぞれの処理係数Ｋ（Ｋ１，Ｋ２，Ｋ３，...）を規定した処理係数管理テーブル３００（図９）が格納されている。図９は、処理係数管理テーブル３００を示す図である。各ＭＦＰ１０（１０Ａ，１０Ｂ，１０Ｃ，...）の処理係数Ｋ（Ｋ１，Ｋ２，Ｋ３，...）は、準備処理に関する各ＭＦＰ１０の処理性能に応じて予め定められている。
【０１０７】
コマンド指示サーバ５０は、表示指示コマンドの送信先装置（ここではＭＦＰ１０Ａ）に対応する処理係数Ｋ（ここではＫ１（＝２．０））を処理係数管理テーブル３００の中から抽出する。そして、コマンド指示サーバ５０は、当該処理係数Ｋ１と準備処理に関する所定の基準時間（たとえば３秒）とに基づいて、ＭＦＰ１０Ａにおける準備処理の推定所要時間Ｔ１０を算出する（ステップＳ３４）。具体的には、コマンド指示サーバ５０は、当該処理係数Ｋ１（＝２．０）に基準時間（３秒）を乗じて推定所要時間Ｔ１０（６秒（＝２．０×３秒））を算出する。当該基準時間としては、たとえば、複数のＭＦＰ１０のうちの特定のＭＦＰ１０（たとえばＭＦＰ１０Ｃ）における準備処理の所要時間（平均所要時間等）が用いられればよい。
【０１０８】
このように、コマンド指示サーバ５０は、準備処理に関するＭＦＰ１０Ａ（表示指示コマンドの送信先装置）の処理性能に基づいて、当該ＭＦＰ１０Ａにおける準備処理の推定所要時間Ｔ１０を算出する。
【０１０９】
なお、ここでは、表示指示コマンドの送信先装置がＭＦＰ１０Ａであることに基づいてＭＦＰ１０Ａの処理係数Ｋ１が用いられているが、表示指示コマンドの送信先装置が他のＭＦＰ１０である場合には、当該他のＭＦＰ１０の処理係数Ｋを用いて推定所要時間が算出される。たとえば、表示指示コマンドの送信先装置がＭＦＰ１０Ｂである場合には、ＭＦＰ１０Ｂの処理係数Ｋ２（＝１．５）と基準時間（３秒）とに基づいて推定所要時間（＝４．５秒）が算出される。
【０１１０】
このようにして準備処理の推定所要時間Ｔ１０が算出される（ステップＳ３４）。そして、コマンド指示サーバ５０は、ＭＦＰ１０Ａへの表示指示コマンドの送信時点Ｔ１（図５）に対する推定所要時間Ｔ１０（ここでは６秒）の経過予定時点Ｔ２を、ＭＦＰ１０Ａにおける関連画面２１０の表示出力タイミングとして特定（推定）する。なお、準備処理の完了から関連画面２１０の表示出力までの所要時間は微小であるものとする。
【０１１１】
そして、処理はステップＳ３４からステップＳ３５へと進み、コマンド指示サーバ５０は、推定所要時間Ｔ１０（ここでは６秒）の経過を待機する。
【０１１２】
その後、ＭＦＰ１０Ａへの表示指示コマンドの送信時点Ｔ１から推定所要時間Ｔ１０（６秒）が経過する（図５の時点Ｔ２も参照）と、処理はステップＳ３５からステップＳ３６へと進み、コマンド指示サーバ５０は、音声指示コマンドを音声デバイス９０（９０Ａ）に向けて送信する（ステップＳ３６）。
【０１１３】
具体的には、コマンド指示サーバ５０は、音声指示コマンドを音声解析サーバ７０に送信する。より具体的には、コマンド指示サーバ５０は、音声指示コマンドの送信先デバイス（ここでは音声デバイス９０Ａ）を示す情報（送信先デバイス情報）とともに、音声指示コマンドを音声解析サーバ７０に対して送信する。そして、音声解析サーバ７０は、複数の音声デバイス９０（９０Ａ，９０Ｂ，...）のうち、当該音声指示コマンドの送信先デバイス（ここでは音声デバイス９０Ａ）に対して当該音声指示コマンドを送信（転送）する。このようにして、コマンド指示サーバ５０は、音声解析サーバ７０を介して音声指示コマンドを音声デバイス９０Ａに送信する。
【０１１４】
このように、コマンド指示サーバ５０は、音声デバイス９０への音声指示コマンドの送信タイミングを調整する（表示指示コマンドの送信時点Ｔ１に対して遅延させる）ことによって、返答メッセージの音声出力の開始タイミング（再生開始タイミング）を遅延させる。詳細には、コマンド指示サーバ５０は、音声デバイス９０への音声指示コマンドの送信タイミングを表示指示コマンドの送信時点Ｔ１から時点Ｔ２（＝Ｔ１＋Ｔ１０）へと遅延させることによって、返答メッセージの再生開始タイミングを遅延させる。
【０１１５】
音声デバイス９０Ａは、コマンド指示サーバ５０からの音声指示コマンドを受信する（ステップＳ１３（図６））と、当該音声指示コマンドに基づいて返答メッセージ「画面に表示された設定でよろしいですか？」をスピーカを介して音声出力（再生）する（ステップＳ１４）（図４も参照）。
【０１１６】
また、ＭＦＰ１０Ａは、準備処理の完了（図５の時点Ｔ２参照）に応答して、関連画面２１０（ここでは、コピージョブにおける各設定項目の設定値を一覧表示する画面）（図８参照）をタッチパネル２５に表示する。
【０１１７】
なお、その後、たとえばユーザが「はい」等の返事（音声）を発声すると、ジョブの実行開始を指示する指示コマンドがコマンド指示サーバ５０からＭＦＰ１０Ａへと送信される。そして、ＭＦＰ１０Ａにおいてコピージョブが実行される。
【０１１８】
以上のように、第１実施形態では、ＭＦＰ１０における関連画面２１０の表示出力のタイミングが特定され、当該関連画面２１０の表示出力のタイミングに基づいて、音声デバイス９０における返答メッセージの音声出力のタイミングが調整される（ステップＳ３４，Ｓ３５）。したがって、音声デバイス９０における返答メッセージの音声出力動作をＭＦＰ１０における関連画面２００の表示出力動作に対して（相対的に）適切なタイミングで実行することが可能である。
【０１１９】
特に、上記第１実施形態では、ＭＦＰ１０における準備処理の推定所要時間Ｔ１０を算出することによって関連画面２００の表示出力のタイミングが特定（推定）される。したがって、関連画面２００の表示出力のタイミングを実際に取得することができない場合であっても、音声デバイス９０における返答メッセージの音声出力動作をＭＦＰ１０における関連画面２００の表示出力動作に対して適切なタイミングで実行することが可能である。
【０１２０】
また特に、上記第１実施形態では、ＭＦＰ１０への表示指示コマンドの送信時点Ｔ１（図５）から推定所要時間Ｔ１０が経過する予定時点Ｔ２以降（すなわち、関連画面２１０の表示出力以降）に返答メッセージの音声出力を開始させる処理が調整処理として実行される。その結果、ＭＦＰ１０において関連画面２１０が表示出力（表示開始）された後に、音声デバイス９０において返答メッセージの音声出力が開始される。それ故、音声デバイス９０での音声出力の内容（返答メッセージの内容）「画面に表示された設定でよろしいですか？」とＭＦＰ１０での表示内容（コピージョブの設定内容を示す画面）との間の齟齬が生じない。したがって、返答メッセージの音声出力が関連画面２１０の表示出力前に開始されることに起因するユーザの違和感を低減することが可能である。
【０１２１】
なお、上記第１実施形態では、各ＭＦＰ１０に対応する処理係数Ｋを用いて関連画面２１０の準備処理の推定所要時間Ｔ１０が算出されているが、これに限定されない。たとえば、当該処理係数Ｋを用いずに、各ＭＦＰ１０における当該準備処理の平均所要時間がそのまま各ＭＦＰ１０における当該準備処理の推定所要時間Ｔ１０として算出されてもよい。
【０１２２】
＜２．第２実施形態＞
第２実施形態は、第１実施形態の変形例である。以下では、第１実施形態との相違点を中心に説明する。
【０１２３】
ＭＦＰ１０は、複数の種類の画面（各種ジョブの設定画面等）を有しており、当該複数の種類の画面の中から実行対象ジョブ等に応じて選択される画面を関連画面２００として表示することが可能である。
【０１２４】
当該複数の種類の画面のいずれかが関連画面２００として表示される場合、コマンド指示サーバ５０は、当該複数の種類の画面のうち、関連画面２００として表示される画面の準備処理の推定所要時間Ｔ１０を算出することが好ましい。これによれば、関連画面２００として表示される画面の種類に応じた推定所要時間Ｔ１０を算出することが可能である。
【０１２５】
当該推定所要時間Ｔ１０の算出手法としては、当該複数の種類の画面のそれぞれに関する準備処理の平均所要時間を予め格納（登録）しておき、関連画面２００として表示される画面に関して登録されている平均所要時間を推定所要時間Ｔ１０として算出（推定）する手法、が例示される。
【０１２６】
ただし、これに限定されず、たとえば、当該複数の種類の画面が複数の種類の単位処理のうちの１又は２以上の種類の単位処理を用いて準備される場合には、当該複数の種類の単位処理のそれぞれの処理時間を規定したデータテーブル４００（図１０）（後述）に基づいて推定所要時間Ｔ１０が算出されてもよい。より詳細には、関連画面２００の準備処理を構成する少なくとも１つの種類の単位処理（所定の単位処理）の処理時間の合計値がデータテーブル４００に基いて取得され、当該合計値に基づき推定所要時間Ｔ１０が算出されてもよい。
【０１２７】
第２実施形態では、このような態様について説明する。
【０１２８】
また、ここでは、各単位処理は、対応する各ＡＰＩ（Application Programming Interface）によって実現されるものとする。換言すれば、複数の種類の画面のそれぞれが複数の種類のＡＰＩのうちの１又は２以上の種類のＡＰＩを用いて準備されるものとする。また、データテーブル４００（図１０）には、当該複数の種類のＡＰＩのそれぞれの処理時間が予め規定されている。そして、少なくとも１つの種類のＡＰＩ（複数のＡＰＩの組合せ等）によって関連画面２００の準備処理が実現される場合、当該少なくとも１つの種類のＡＰＩの実行時間（処理時間）の合計値がデータテーブル４００に基いて取得され、当該合計値に基づき推定所要時間Ｔ１０が算出される。この場合、全ての種類の画面のそれぞれに関する準備処理の平均所要時間を格納する代わりに、複数の種類のＡＰＩの処理時間を格納しておけばよい。
【０１２９】
図１０は、複数の種類のＡＰＩのそれぞれの処理時間（ＡＰＩの実行に要する時間）等を規定するＡＰＩ管理テーブル４００を示す図である。ここでは、当該ＡＰＩ管理テーブル４００は、コマンド指示サーバ５０内に格納されている。また、ここでは、４種類のＡＰＩ（ＡＰＩ８１〜ＡＰＩ８４）のそれぞれの処理時間がＡＰＩ管理テーブル４００に規定されている。
【０１３０】
たとえば、コピージョブに関する設定画面２１０（図８）は、ＡＰＩ８１とＡＰＩ８２とＡＰＩ８４との３種類のＡＰＩを組み合わせて実行することによって準備される。
【０１３１】
当該設定画面２１０が表示される場合、ＭＦＰ１０は、まず、画面レイアウト生成処理（ＡＰＩ８１）を実行して、当該設定画面２１０の画面背景と表形式の設定値一覧における枠組み（レイアウト）とを生成（描画）する。そして、ＭＦＰ１０は、内部データ抽出処理（ＡＰＩ８２）を実行して、ＭＦＰ１０内の内部メモリからコピージョブの各設定項目のデフォルト値を抽出（取得）する。その後、ＭＦＰ１０は、反映処理（ＡＰＩ８３）を実行して、各設定項目のデフォルト値を当該設定値一覧における各設定項目の設定値に反映させる。そして、ＭＦＰ１０は、各ＡＰＩ８１，８２，８４の実行によって準備された設定画面２１０をタッチパネル２５に表示する。
【０１３２】
ＡＰＩ８１は、画面レイアウト生成処理を実行するＡＰＩである。画面レイアウト生成処理は、表示画面の画面レイアウト（画面背景、および表形式の設定値一覧における枠組み等）を生成する処理（単位処理）である。ＡＰＩ管理テーブル４００においては、当該画面レイアウト生成処理の処理時間（たとえば１．２秒）がＡＰＩ８１の処理時間として規定されている。なお、ＡＰＩ管理テーブル４００においては、基準装置（ここではＭＦＰ１０Ｃ）における各単位処理（ＡＰＩ８１〜８４）の処理時間が規定されている。
【０１３３】
ＡＰＩ８２は、内部データ抽出処理を実行するＡＰＩである。内部データ抽出処理は、ＭＦＰ１０内の内部メモリから各種データ（各設定項目のデフォルト値等）を抽出（取得）する処理（単位処理）である。ＡＰＩ管理テーブル４００においては、当該内部データ抽出処理の処理時間（たとえば０．３秒）がＡＰＩ８２の処理時間として規定されている。
【０１３４】
ＡＰＩ８４は、反映処理を実行するＡＰＩである。反映処理は、ＡＰＩ８２および／またはＡＰＩ８３（後述）によって取得されたデータ（設定値）を、ＡＰＩ８１によって生成された設定値一覧における各設定項目の設定値に反映させる処理（単位処理）である。ＡＰＩ管理テーブル４００においては、ＡＰＩ８４による当該反映処理の処理時間（たとえば０．８秒）が当該ＡＰＩ８４の処理時間として規定されている。
【０１３５】
コピージョブに関する設定指示が付与されたことに応じて設定画面２１０（図８）が関連画面２００として表示される場合、コマンド指示サーバ５０は、当該ＡＰＩ管理テーブル４００に基づいて、当該設定画面（関連画面）２１０の準備処理の推定所要時間Ｔ１０を算出する。なお、ここでは、ＭＦＰ１０Ａに対して表示指示コマンドが送信されることを想定する。
【０１３６】
具体的には、コマンド指示サーバ５０は、当該設定画面（関連画面）２１０の準備処理を構成する単位処理（当該単位処理を実行するＡＰＩ８１，８２，８４）の処理時間をＡＰＩ管理テーブル４００から取得（抽出）する。そして、コマンド指示サーバ５０は、当該ＡＰＩ８１，８２，８４の処理時間の合計値を算出し、当該合計値に基づいて関連画面２１０の準備処理の推定所要時間Ｔ１０を算出する。ここでは、当該ＡＰＩ８１，８２，８４の処理時間とＭＦＰ１０Ａの処理係数Ｋ１とに基づいて推定所要時間Ｔ１０が算出される。詳細には、式「（１．２＋０．３＋０．８）×２．０」によって推定所要時間Ｔ１０（＝４．６秒）が算出される。
【０１３７】
なお、表示指示コマンドが例えばＭＦＰ１０Ｂに送信される場合には、当該ＭＦＰ１０Ｂでの準備処理を構成する単位処理の処理時間の合計値に当該ＭＦＰ１０Ｂの処理係数Ｋ２（＝１．５）を乗じて推定所要時間Ｔ１０が算出される。
【０１３８】
このように、コピージョブに関する設定画面２１０（図８）は、ＡＰＩ８１（画面レイアウト生成処理を実行するＡＰＩ）とＡＰＩ８２（内部データ抽出処理を実行するＡＰＩ）とＡＰＩ８４（反映処理を実行するＡＰＩ）との３種類のＡＰＩを用いて準備される。
【０１３９】
また、ファクシミリ送信ジョブに関する設定画面２２０（図１６参照）は、当該３種類のＡＰＩ（ＡＰＩ８１，８２，８４）のみならず、ＡＰＩ８３（後述）をも用いて準備される。換言すれば、設定画面２１０の準備処理と設定画面２２０の準備処理とでは、利用されるＡＰＩの組合せが異なる。
【０１４０】
ここにおいて、この実施形態に係る音声操作システム１では、ファクシミリ送信ジョブにおける宛先情報（宛先名称等）は、ＭＦＰ１０には格納されておらず、外部装置（クラウドサーバ等）に格納されている。ファクシミリ送信ジョブにおける宛先（たとえば「田中」）がユーザによって指定（入力）されると、ＭＦＰ１０は、宛先情報（「田中」）を当該外部装置から取得する。
【０１４１】
このような動作（宛先情報の取得動作）は、ＡＰＩ８３を実行することによって実現される。
【０１４２】
ＡＰＩ８３は、連携処理を実行するＡＰＩである。連携処理は、外部装置（ファクシミリ送信ジョブにおける宛先情報（宛先候補情報）等を格納する格納サーバ）と連携（通信）して当該外部装置内のデータを取得する処理（単位処理）である。たとえば、ファクシミリ送信ジョブにおける宛先が指定された場合（「ＭＦＰ１０Ａから田中さん宛にファックスを送って」等の音声が入力された場合）、ＡＰＩ８３は、ユーザ音声の解析結果「タナカ」に合致する宛先名称（「田中」）を外部装置に問い合わせて当該外部装置から取得する。ＡＰＩ管理テーブル４００においては、当該連携処理（外部装置に宛先情報を問い合わせて当該宛先情報を取得する処理）の連携処理時間（たとえば１．５秒）が当該ＡＰＩ８３の処理時間として規定されている。
【０１４３】
ファクシミリ送信ジョブにおける宛先が指定されたことに応じて設定画面２２０（図１６）が関連画面２００として表示される場合、コマンド指示サーバ５０は、当該ＡＰＩ管理テーブル４００に基づいて、当該設定画面（関連画面）２２０の準備処理の推定所要時間Ｔ１０を算出する。具体的には、コマンド指示サーバ５０は、当該設定画面（関連画面）２２０の準備処理を構成する単位処理（当該単位処理を実行するＡＰＩ８１〜８４）のそれぞれの処理時間をＡＰＩ管理テーブル４００から取得（抽出）する。そして、コマンド指示サーバ５０は、当該ＡＰＩ８１〜８４の処理時間の合計値を算出し、当該合計値に基づいて関連画面２２０の準備処理の推定所要時間Ｔ１０を算出する。具体的には、式「（１．２＋０．３＋１．５＋０．８）×２．０」によって推定所要時間Ｔ１０（＝７．６秒）が算出される。
【０１４４】
このように、第２実施形態では、複数の種類の画面のいずれかが関連画面２００として表示される場合、当該複数の種類の画面のうち、関連画面２００として表示される画面の準備処理の推定所要時間Ｔ１０が算出される。したがって、関連画面２００として表示される画面の種類に応じた推定所要時間Ｔ１０を算出することが可能である。
【０１４５】
なお、上記第２実施形態では、準備処理に用いられるＡＰＩの処理時間と表示指示コマンドの送信対象装置の処理係数Ｋとに基づいて推定所要時間Ｔ１０が算出されているが、これに限定されない。たとえば、ＭＦＰ１０ごとのＡＰＩの処理時間を予め登録しておき、当該処理係数Ｋを用いずに、表示指示コマンドの送信対象装置におけるＡＰＩの処理時間のみに基づいて推定所要時間Ｔ１０が算出されてもよい。
【０１４６】
＜３．第３実施形態＞
第３実施形態は、第１実施形態の変形例である。以下では、第１実施形態との相違点を中心に説明する。
【０１４７】
上記第１実施形態では、関連画面２１０に関する準備処理の推定所要時間Ｔ１０の経過に応答して音声指示コマンドがコマンド指示サーバ５０から音声デバイス９０（９０Ａ）に向けて送信されている（図６参照）。
【０１４８】
これに対して、この第３実施形態では、当該準備処理の完了通知がＭＦＰ１０（１０Ａ）から受信されたことに応答して、音声指示コマンドがコマンド指示サーバ５０から音声デバイス９０（９０Ａ）に向けて送信される。
【０１４９】
図１５は、第３実施形態に係る音声操作システム１における各装置（１０，５０，７０，９０）の動作例を示すシーケンス図である。
【０１５０】
コマンド指示サーバ５０は、ＭＦＰ１０（１０Ａ）への表示指示コマンドの送信（ステップＳ３３（図７））に際して、完了通知依頼コマンド（次述）をもＭＦＰ１０Ａに対して送信する。完了通知依頼コマンドは、準備処理の完了に応答して（あるいは準備処理の完了直前に）当該準備処理の完了通知をコマンド指示サーバ５０へと送信すべき旨をＭＦＰ１０Ａ（コマンド送信先装置）に依頼（要求）する指示コマンドである。
【０１５１】
ＭＦＰ１０Ａは、当該完了通知依頼コマンドに基づいて、関連画面２００の準備処理の完了（画面レイアウト生成処理と抽出処理と反映処理とのうちの反映処理（最終処理）の完了）に応答して当該準備処理の完了通知をコマンド指示サーバ５０に送信する（図１５参照）。
【０１５２】
コマンド指示サーバ５０は、音声デバイス９０への音声指示コマンドの送信を直ちに行わずに当該完了通知の受信を待機しており、ＭＦＰ１０Ａからの当該完了通知の受信に基づいて、ＭＦＰ１０における関連画面２００の表示出力タイミングを特定する。そして、コマンド指示サーバ５０は、音声指示コマンドを音声デバイス９０に向けて送信する。
【０１５３】
その後、準備処理の完了に応答して、関連画面２１０（コピージョブにおける各設定項目の設定値を一覧表示する画面）（図８）がＭＦＰ１０のタッチパネル２５に表示されるとともに、当該音声指示コマンドに基づいて返答メッセージ「画面に表示された設定でよろしいですか？」が音声デバイス９０において音声出力（再生）される。
【０１５４】
このように、ＭＦＰ１０における準備処理の完了通知が当該ＭＦＰ１０から受信されたことに応答して、音声指示コマンドがコマンド指示サーバ５０から音声デバイス９０に向けて送信される。
【０１５５】
これによれば、関連画面２００の表示出力のタイミングをより確実に特定することが可能である。
【０１５６】
＜４．第４実施形態＞
第４実施形態は、第１実施形態の変形例である。以下では、第１実施形態との相違点を中心に説明する。
【０１５７】
上記第１実施形態では、推定所要時間Ｔ１０の経過予定時点Ｔ２（図５）以降に返答メッセージの音声出力を開始させる処理が、開始タイミング調整処理として実行されている。換言すれば、関連画面２００の表示出力後（表示開始後）に返答メッセージを音声出力させる処理が、開始タイミング調整処理として実行されている。
【０１５８】
ここにおいて、ユーザが返答メッセージ全体を聞き終えてからＭＦＰ１０のタッチパネル２５の表示内容（関連画面２００の表示内容）を確認することもある。このような場合において、返答メッセージの音声出力が終了した時点で関連画面２００が未だ表示されていないときには、当該ユーザは違和感を感じる。一方、関連画面２００が返答メッセージの音声出力の終了までに表示されていれば当該ユーザは違和感を感じないことも多い（当該ユーザに与える違和感が比較的小さい）。
【０１５９】
この点を考慮して、この第４実施形態では、推定所要時間Ｔ１０の経過前に返答メッセージの音声出力を開始させ且つ関連画面２００の表示後に返答メッセージの音声出力を終了させる処理（図１１参照）が、開始タイミング調整処理として実行される。
【０１６０】
図１１は、第４実施形態に係る調整処理（開始タイミング調整処理）に関するタイムチャートを示す図である。
【０１６１】
コマンド指示サーバ５０は、時点Ｔ３（図１１）以降に返答メッセージの音声出力を開始させる処理を、開始タイミング調整処理として実行する。時点Ｔ３は、推定所要時間Ｔ１０の経過予定時点Ｔ２（図１１）よりも返答メッセージの再生時間Ｔ２０前の時点である。なお、コマンド指示サーバ５０において、返答メッセージの再生時間Ｔ２０（たとえば４秒）が予め規定されているものとする。
【０１６２】
具体的には、まず、コマンド指示サーバ５０は、推定所要時間Ｔ１０（たとえば６秒）と返答メッセージの再生時間Ｔ２０（４秒）との差分時間ΔＴ（＝２秒）を算出する。そして、コマンド指示サーバ５０は、ＭＦＰ１０への表示指示コマンドの送信時点Ｔ１から当該差分時間ΔＴ（２秒）が経過する時点Ｔ３以降に返答メッセージの音声出力を開始させる（詳細には、音声指示コマンドを音声デバイス９０に向けて送信する）。
【０１６３】
より具体的には、コマンド指示サーバ５０は、当該差分時間の経過予定時点Ｔ３（推定所要時間Ｔ１０の経過予定時点Ｔ２よりも返答メッセージの再生時間Ｔ２０前の時点）と当該経過予定時点Ｔ２との期間内において（たとえば、当該期間の中間時点Ｔ４で）返答メッセージの音声出力を開始させる処理を実行する。すなわち、返答メッセージの再生時間Ｔ２０内に（返答メッセージの音声出力中に）関連画面２１０の準備処理が完了するように、コマンド指示サーバ５０は、当該返答メッセージの音声出力の開始タイミング（詳細には、音声デバイス９０への音声指示コマンドの送信タイミング）を遅延させる。換言すれば、コマンド指示サーバ５０は、返答メッセージの音声出力の終了タイミング（終了予定時点）Ｔ５を推定所要時間Ｔ１０の経過予定時点Ｔ２（図１１参照）よりも遅らせる。
【０１６４】
このように、第４実施形態では、上述の時点Ｔ３（推定所要時間Ｔ１０の経過予定時点Ｔ２よりも返答メッセージの再生時間Ｔ２０前の時点）の後に返答メッセージの音声出力を開始させる処理が、開始タイミング調整処理として実行される。
【０１６５】
これによれば、返答メッセージの音声出力の終了後に関連画面２００が表示されることに起因するユーザの違和感を低減することが可能である。
【０１６６】
なお、上記第４実施形態では、推定所要時間Ｔ１０が経過する時点Ｔ２よりも前に返答メッセージの音声出力を開始させる処理が実行されているが、これに限定されず、推定所要時間Ｔ１０が経過する時点Ｔ２（図１１）以降に返答メッセージの音声出力を開始させる処理が実行されてもよい。
【０１６７】
＜５．第５実施形態＞
第５実施形態は、第４実施形態の変形例である。以下では、第４実施形態との相違点を中心に説明する。
【０１６８】
上記第４実施形態では、音声デバイス９０における返答メッセージの音声出力の開始タイミングを遅延させることによって、関連画面２００の表示出力後（表示開始後）に当該返答メッセージの音声出力を終了させている。
【０１６９】
これに対して、この第５実施形態では、返答メッセージの音声出力の開始タイミングを遅延させることなく、関連画面２００の表示出力後に当該返答メッセージの音声出力を終了させる。
【０１７０】
具体的には、再生時間増大処理を実行することによって関連画面２００の表示出力後に返答メッセージの音声出力を終了させる処理が、調整処理（終了タイミング調整処理）として実行される。再生時間増大処理（再生時間長大化処理とも称される）は、音声デバイス９０における返答メッセージ（たとえば「画面に表示された設定でよろしいですか？」）の再生時間を準備処理の推定所要時間Ｔ１０よりも長い時間に変更する処理である。
【０１７１】
図１２は、第５実施形態に係るタイミング調整処理のタイムチャートを示す図である。
【０１７２】
まず、コマンド指示サーバ５０は、関連画面２１０に関する準備処理の推定所要時間Ｔ１０（たとえば６秒）を算出し（ステップＳ３４（図７））、当該推定所要時間Ｔ１０の経過を待機することなく、音声指示コマンドを音声デバイス９０に向けて送信する。そして、音声デバイス９０においては、コマンド指示サーバ５０からの音声指示コマンドの受信に応答して、返答メッセージの音声出力（再生）が直ちに開始される。
【０１７３】
ただし、当該返答メッセージは、本来（デフォルト）の再生速度Ｖ２０よりも小さい（遅い）再生速度Ｖ３０（＜Ｖ２０）で音声出力（再生）される。
【０１７４】
具体的には、コマンド指示サーバ５０は、音声指示コマンドの送信に先立って、音声デバイス９０における返答メッセージ（「画面に表示された設定でよろしいですか？」）の再生時間を準備処理の推定所要時間Ｔ１０よりも長い時間に変更する（再生時間増大処理を実行する）。ここでは、音声デバイス９０における返答メッセージ（たとえば「画面に表示された設定でよろしいですか？」）の再生速度（発話速度）を低速化する処理（低速化処理）が、再生時間増大処理として実行される。なお、コマンド指示サーバ５０には、当該返答メッセージのデフォルトの再生速度Ｖ２０が予め規定されている。
【０１７５】
より具体的には、コマンド指示サーバ５０は、推定所要時間Ｔ１０（６秒）よりも長い時間Ｔ３０（たとえば８秒）で返答メッセージ全体を再生する速度Ｖ３０（＜Ｖ２０）を、当該返答メッセージの新たな再生速度として設定する。
【０１７６】
そして、コマンド指示サーバ５０は、低速化処理後の再生速度Ｖ３０で返答メッセージを再生すべき旨を指示する指示コマンド（速度調整コマンド）を、音声指示コマンドとともに音声デバイス９０に向けて送信する。
【０１７７】
音声デバイス９０においては、コマンド指示サーバ５０からの音声指示コマンドの受信に応答して返答メッセージ「画面に表示された設定でよろしいですか？」の音声出力（再生）が開始される。ただし、音声デバイス９０は、速度調整コマンドに基づいて、当該返答メッセージを、返答メッセージのデフォルトの再生速度Ｖ２０ではなく低速化処理後の再生速度Ｖ３０で再生する。詳細には、返答メッセージが、４秒（デフォルトの再生時間Ｔ２０）ではなく８秒（低速化処理後の再生時間Ｔ３０）かけて再生される。
【０１７８】
当該返答メッセージの再生中（詳細には、返答メッセージの再生開始時点から６秒後）において、関連画面２００はＭＦＰ１０のタッチパネル２５に表示出力される。そして、関連画面２００が表示出力されてから２秒後に返答メッセージの再生（音声出力）が終了する。すなわち、推定所要時間Ｔ１０の経過時点Ｔ２（図１２）よりも後に返答メッセージの音声出力が終了する（図１２の時点Ｔ６参照）。
【０１７９】
このように、この第５実施形態では、再生時間増大処理を実行することによって関連画面２００の表示出力後に返答メッセージの音声出力を終了させる処理が、調整処理（終了タイミング調整処理）として実行される。
【０１８０】
なお、これに限定されず、たとえば、無音期間長大化処理（次述）を実行することによって関連画面２００の表示出力後に返答メッセージの音声出力を終了させる処理が、調整処理（終了タイミング調整処理）として実行されてもよい。無音期間長大化処理は、返答メッセージの再生中における当該返答メッセージの文節間の無音期間（空白区間）Ｐ１０を長大化する処理である。
【０１８１】
具体的には、コマンド指示サーバ５０は、返答メッセージの再生中における当該返答メッセージの文節間の無音期間Ｐ１０をデフォルトの無音期間Ｐ１０ａから無音期間Ｐ１０ｂ（＞Ｐ１０ａ）に長大化することによって、返答メッセージの再生時間を推定所要時間Ｔ１０（６秒）よりも長い時間（たとえば８秒）に変更する（図１３参照）。なお、図１３は、無音期間長大化処理に関する概念図である。
【０１８２】
そして、コマンド指示サーバ５０は、返答メッセージの文節間に当該無音期間Ｐ１０ｂを設けて（置いて）当該返答メッセージを音声出力（再生）すべき旨を指示する指示コマンド（無音期間指示コマンド）を、音声指示コマンドとともに音声デバイス９０に向けて送信する。
【０１８３】
その後、音声デバイス９０においては、返答メッセージ内の文節間に当該無音期間Ｐ１０ｂを置いて当該返答メッセージが音声出力され、当該返答メッセージの音声出力は、関連画面２００の表示後に終了する。
【０１８４】
このように、返答メッセージの再生中における当該返答メッセージ内の文節間の無音期間Ｐ１０を長大化する処理が再生時間増大処理（終了タイミング調整処理）として実行されてもよい。
【０１８５】
＜６．変形例等＞
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
【０１８６】
＜指示コマンドの送信所要時間に関する改変例＞
たとえば、上記第１、第２実施形態では、関連画面２００に関する準備処理の推定所要時間Ｔ１０のみに基づいて調整処理（開始タイミング調整処理）が実行されているが、これに限定されない。
【０１８７】
ここにおいて、ＭＦＰ１０および音声デバイス９０では、コマンド指示サーバ５０との間でのデータ通信処理（指示コマンドの通信処理）を経た後に、当該指示コマンドに基づく動作が実行される。
【０１８８】
たとえば、音声デバイス９０では、コマンド指示サーバ５０における音声デバイス９０への音声指示コマンドの送信時点から送信所要時間Ｔ５０（図１４）が経過した時点で、音声指示コマンドが受信される。送信所要時間Ｔ５０は、コマンド指示サーバ５０から送信された指示コマンドが音声デバイス９０に到達するまでに要する時間である。そして、音声デバイス９０は、当該音声指示コマンドに基づく動作を実行する。また、ＭＦＰ１０では、コマンド指示サーバ５０におけるＭＦＰ１０への表示指示コマンドの送信時点から送信所要時間Ｔ６０（図１４）が経過した時点で、表示指示コマンドが受信される。送信所要時間Ｔ６０は、コマンド指示サーバ５０から送信された指示コマンドがＭＦＰ１０に到達するまでに要する時間である。そして、ＭＦＰ１０は、当該表示指示コマンドに基づく動作を実行する。
【０１８９】
それ故、推定所要時間Ｔ１０の経過に応答して音声指示コマンドが音声デバイス９０へと送信された場合であっても、当該送信所要時間Ｔ５０と送信所要時間Ｔ６０との間に差異が存在するときには、返答メッセージの音声出力のタイミングと関連画面２００の表示出力のタイミングとの間に若干のズレが生じてしまうことがある。
【０１９０】
この点を考慮して、推定所要時間Ｔ１０のみならず、当該送信所要時間Ｔ５０，Ｔ６０にも基づいて調整処理が実行されてもよい。
【０１９１】
具体的には、結果的に準備処理の完了タイミング（関連画面２００の表示出力タイミング）で返答メッセージの音声出力が開始されるように、返答メッセージの音声出力のタイミングが調整される。
【０１９２】
より具体的には、コマンド指示サーバ５０は、音声デバイス９０への音声指示コマンドの送信に先立って、コマンド指示サーバ５０から音声デバイス９０へのコマンド送信の送信所要時間Ｔ５０（たとえば０．５秒）（図１４参照）を計測する。
【０１９３】
また、コマンド指示サーバ５０は、ＭＦＰ１０への表示指示コマンドの送信に先立って、コマンド指示サーバ５０からＭＦＰ１０へのコマンド送信の送信所要時間Ｔ６０（たとえば０．３秒）（図１４参照）を計測する。
【０１９４】
なお、送信所要時間Ｔ５０，Ｔ６０の計測処理においては、実際の指示コマンドが用いられるのではなく、テスト用コマンドが用いられることが好ましい。
【０１９５】
そして、コマンド指示サーバ５０は、表示指示コマンドをＭＦＰ１０に送信する。当該表示指示コマンドは、コマンド指示サーバ５０における表示指示コマンドの送信時点から０．３秒（送信所要時間Ｔ６０）後にＭＦＰ１０において受信される。そして、ＭＦＰ１０において、当該表示指示コマンドに基づいて準備処理が開始される。
【０１９６】
コマンド指示サーバ５０は、当該表示指示コマンドの送信後、推定所要時間Ｔ１０（たとえば６秒）のみならず、送信所要時間Ｔ５０，６０をも考慮したタイミングで音声指示コマンドを音声デバイス９０に向けて送信する。
【０１９７】
具体的には、コマンド指示サーバ５０は、推定所要時間Ｔ１０に送信所要時間Ｔ６０を加え且つ送信所要時間Ｔ５０を差し引いた時間（Ｔ１０＋Ｔ６０−Ｔ５０）を待機時間（音声デバイス９０への音声指示コマンドの送信時点（送信時刻）の到来を待機する時間）として算出する。換言すれば、送信所要時間Ｔ５０と送信所要時間Ｔ６０との差分を推定所要時間Ｔ１０に加えた時間が待機時間として算出される。ここでは、５．８秒（＝６．０＋０．３−０．５）が待機時間として算出される。そして、ＭＦＰ１０への表示指示コマンドの送信時点から当該待機時間（５．８秒）が経過した時点で、コマンド指示サーバ５０は音声指示コマンドを音声デバイス９０に向けて送信する。
【０１９８】
その後、当該音声指示コマンドは、コマンド指示サーバ５０における音声指示コマンドの送信時点から０．５秒（送信所要時間Ｔ５０）後に音声デバイス９０において受信される。そして、音声デバイス９０は、当該音声指示コマンドに基づいて返答メッセージを音声出力する。すなわち、結果的に、準備処理の完了タイミング（関連画面２００の表示出力のタイミング）で返答メッセージの音声出力が開始される。
【０１９９】
このように、推定所要時間Ｔ１０のみならず、コマンド指示サーバ５０から各装置１０，９０へのコマンド送信の所要時間Ｔ５０，Ｔ６０をも考慮して調整処理が実行されてもよい。
【０２００】
これによれば、返答メッセージの音声出力のタイミング（開始タイミング）と関連画面２００の表示出力のタイミング（開始タイミング）とのズレ（タイムラグ）をさらに低減することが可能である。
【０２０１】
＜音声出力の開始タイミングの調整手法に関する改変例＞
また、上記第１、第２実施形態においては、音声デバイス９０への音声指示コマンドの送信タイミングを調整することによって、音声デバイス９０における返答メッセージの音声出力の開始タイミングが調整されているが、これに限定されない。
【０２０２】
たとえば、音声指示コマンドの送信タイミングを調整することなく、音声デバイス９０が指定時間の経過を待機することによって音声デバイス９０における返答メッセージの音声出力の開始タイミングが調整されてもよい。
【０２０３】
具体的には、コマンド指示サーバ５０は、準備処理の推定所要時間Ｔ１０（たとえば６秒）を算出すると、推定所要時間Ｔ１０の経過を待機することなく、音声指示コマンドを音声デバイス９０に向けて送信する。ただし、ここでの音声指示コマンドは、「音声指示コマンドの受信時点から指定時間（推定所要時間Ｔ１０（６秒））が経過する時点で返答メッセージの音声出力を開始すべき旨」を指示するコマンドである。当該音声指示コマンドは、音声出力開始の遅延指定を伴う音声指示コマンドである、とも表現される。
【０２０４】
音声デバイス９０は、コマンド指示サーバ５０からの当該音声指示コマンドに基づいて、当該音声指示コマンドの受信時点から指定時間（６秒）が経過した時点で返答メッセージの音声出力を開始する。
【０２０５】
このように、音声デバイス９０が指定時間の経過を待機することによって音声デバイス９０における返答メッセージの音声出力の開始タイミングが調整されてもよい。
【０２０６】
＜待機要求メッセージに関する改変例＞
また、上記第１〜第４実施形態において、さらに、返答メッセージの音声出力に先立って待機要求メッセージ（後述）が音声出力されるようにしてもよい。
【０２０７】
ここにおいて、音声デバイス９０において返答メッセージの音声出力が関連画面２００の表示出力後に開始される場合、当該関連画面２００が表示されるまで、ユーザ音声に対する何らかの応答が音声デバイス９０とＭＦＰ１０とのいずれにおいてもなされない。それ故、ユーザは、ユーザ音声が受け付けられたこと等を関連画面２００の表示出力時点まで認識することができず、ストレスを感じる。
【０２０８】
この点を考慮して、返答メッセージの音声出力に先立って、待機動作（音声指示に対応する応答動作（ＭＦＰ１０および／または音声デバイス９０における応答動作）の待機）をユーザに要求する待機要求メッセージ（「しばらくお待ちください」等）が音声出力されるようにしてもよい。
【０２０９】
具体的には、コマンド指示サーバ５０は、音声指示コマンドの送信に先立って（たとえば、音声指示コマンドの生成完了に応答して）待機要求メッセージの音声出力を指示するコマンド（待機音声指示コマンド）を音声デバイス９０に向けて送信する。音声デバイス９０は、当該待機音声指示コマンドを受信すると、当該待機音声指示コマンドに基づいて、待機要求メッセージ（「しばらくお待ちください」）を音声出力する。
【０２１０】
そして、推定所要時間Ｔ１０の経過後（あるいは、ＭＦＰ１０からの完了通知の受信後）において、コマンド指示サーバ５０は、音声指示コマンドを音声デバイス９０に向けて送信する。その後、関連画面２００がＭＦＰ１０のタッチパネル２５に表示されるとともに、返答メッセージ「画面に表示された設定でよろしいですか？」が音声デバイス９０において音声出力される。
【０２１１】
このように、返答メッセージの音声出力に先立って待機要求メッセージが音声出力されてもよい。
【０２１２】
これによれば、ユーザ音声に対して待機要求メッセージが応答されるので、ユーザは、ユーザ音声が受け付けられたことを早期に認識することができる。したがって、ユーザのストレスの発生を抑制することが可能である。
【０２１３】
＜その他の改変例＞
また、上記各実施形態等においては、画像処理装置としてＭＦＰが例示されているが、これに限定されない。画像処理装置は、コピー装置、印刷出力装置（単機能プリンタ等）、あるいはスキャナ装置などであってもよい。
【符号の説明】
【０２１４】
１  音声操作システム
１０  ＭＦＰ（画像処理装置）
５０  コマンド指示サーバ
７０  音声解析サーバ
９０  音声デバイス
２００  関連画面
【図１】
2020120348.tif 000003
【図２】
2020120348.tif 000004
【図３】
2020120348.tif 000005
【図４】
2020120348.tif 000006
【図５】
2020120348.tif 000007
【図６】
2020120348.tif 000008
【図７】
2020120348.tif 000009
【図８】
2020120348.tif 000010
【図９】
2020120348.tif 000011
【図１０】
2020120348.tif 000012
【図１１】
2020120348.tif 000013
【図１２】
2020120348.tif 000014
【図１３】
2020120348.tif 000015
【図１４】
2020120348.tif 000016
【図１５】
2020120348.tif 000017
【図１６】
2020120348.tif 000018