(57)【要約】      （修正有）【課題】表示言語の変更操作に係る利便性を向上することができる音声操作システム、音声操作方法及び音声操作プログラムを提供する。【解決手段】音声操作システム１において、スマートスピーカー２０を介して入力される音声操作に基づいて、画像形成装置１０の動作を制御するサーバ装置３０は、画像形成装置から当該画像形成装置で表示に使用されている表示言語の言語種別を取得する機器情報取得部と、機器情報取得部で取得された表示言語の言語種別を言語設定記憶部に記憶する言語設定記憶部と、表示言語の変更を指示する音声操作を取得する取得部と、取得部が取得した音声操作に基づいて、変更先の言語種別を特定する言語特定部と、表示言語を変更先の言語種別に変更することを画像形成装置１０に指示する実行指示部と、を備える。実行指示部は、記憶部に記憶された言語種別と、変更先の言語種別とが一致する場合に、前記指示情報の送信を抑制する。【選択図】図１
2020155997.tif 000002
【特許請求の範囲】
【請求項１】
ユーザとの対話により音声操作を受け付けるスピーカーと、当該スピーカーが受け付けた前記音声操作を受信するサーバ装置と、当該サーバ装置からの指示に応じて動作する画像形成装置とを備える音声操作システムであって、
前記サーバ装置は、
前記画像形成装置から当該画像形成装置で表示に使用されている表示言語の言語種別を取得する機器情報取得部と、
前記機器情報取得部が取得した前記表示言語の言語種別を記憶する言語設定記憶部と、
前記スピーカーから前記表示言語の変更を指示した前記音声操作を取得する取得部と、
前記取得部が取得した前記音声操作に基づいて、変更先の言語種別を特定する言語特定部と、
前記表示言語を前記変更先の言語種別に変更することを前記画像形成装置に指示する実行指示部と、
を備え、
前記実行指示部は、前記言語設定記憶部に記憶された言語種別と前記変更先の言語種別とが一致する場合に、前記画像形成装置への前記言語種別の変更指示を抑制する音声操作システム。
【請求項２】
前記言語設定記憶部は、前記画像形成装置を識別する装置識別子に関連付けて、当該画像形成装置での表示に使用される前記表示言語の言語種別を記憶し、
前記言語特定部は、前記取得部が取得した前記音声操作に基づいて、変更対象の装置識別子を特定し、
前記実行指示部は、前記変更対象の装置識別子に関連付けて記憶された言語種別と、前記変更先の言語種別とが一致する場合に、前記画像形成装置への前記言語種別の変更指示を抑制する、請求項１に記載の音声操作システム。
【請求項３】
前記言語設定記憶部は、前記装置識別子に関連付けて、前記音声操作に基づく前記表示言語の変更を有効又は無効とすることを定めた言語変更設定を記憶し、
前記実行指示部は、前記変更対象の装置識別子に関連付けて記憶された前記言語変更設定が無効の場合に、前記画像形成装置への前記言語種別の変更指示を抑制する請求項２に記載の音声操作システム。
【請求項４】
前記機器情報取得部は、前記画像形成装置から当該画像形成装置を使用するユーザのユーザ識別子を取得し、
前記言語設定記憶部は、前記装置識別子に関連付けて当該装置識別子の画像形成装置を使用するユーザのユーザ識別子を記憶するとともに、当該ユーザ識別子毎に前記音声操作に基づく前記表示言語の変更を有効又は無効とすることを定めた言語変更設定を記憶し、
前記実行指示部は、前記変更対象の装置識別子に関連付けられた前記ユーザ識別子のうち、前記機器情報取得部が取得した前記ユーザ識別子の前記言語変更設定が無効の場合に、前記画像形成装置への前記言語種別の変更指示を抑制する請求項２又は３に記載の音声操作システム。
【請求項５】
前記実行指示部は、前記音声操作に前記表示言語の変更指示以外のジョブが含まれる場合には、前記言語設定記憶部に記憶された言語種別と前記変更先の言語種別との関係によらず、前記ジョブの実行を前記画像形成装置に指示する請求項１〜４の何れか一項に記載の音声操作システム。
【請求項６】
前記言語特定部は、前記音声操作に含まれた変更先の言語種別を示す文言に基づいて、前記変更先の言語種別を特定する請求項１に記載の音声操作システム。
【請求項７】
前記言語特定部は、前記スピーカーが解釈可能な特定の言語の言語種別を、前記変更先の言語種別として特定する請求項１に記載の音声操作システム。
【請求項８】
前記言語特定部は、前記音声操作で使用された言語の言語種別を、前記変更先の言語種別として特定する請求項１に記載の音声操作システム。
【請求項９】
スピーカーを介して入力される音声操作に基づいて、画像形成装置の動作を制御するサーバ装置で実行される音声操作方法であって、
前記画像形成装置から当該画像形成装置で表示に使用されている表示言語の言語種別を取得する機器情報取得ステップと、
前記機器情報取得ステップで取得された前記表示言語の言語種別を言語設定記憶部に記憶する記憶ステップと、
前記表示言語の変更を指示する前記音声操作を取得する取得ステップと、
前記取得ステップで取得した前記音声操作に基づいて、変更先の言語種別を特定する特定ステップと、
前記表示言語を前記変更先の言語種別に変更することを前記画像形成装置に指示する指示ステップと、
を含み、
前記指示ステップでは、前記言語設定記憶部に記憶された言語種別と、前記変更先の言語種別とが一致する場合に、前記画像形成装置への前記表示言語の変更指示を抑制する音声操作方法。
【請求項１０】
スピーカーを介して入力される音声操作に基づいて、画像形成装置の動作を制御するサーバ装置のコンピュータを、
前記画像形成装置から当該画像形成装置で表示に使用されている表示言語の言語種別を取得する機器情報取得部と、
前記機器情報取得部で取得された前記表示言語の言語種別を言語設定記憶部に記憶する言語設定記憶部と、
前記表示言語の変更を指示する前記音声操作を取得する取得部と、
前記取得部が取得した前記音声操作に基づいて、変更先の言語種別を特定する言語特定部と、
前記表示言語を前記変更先の言語種別に変更することを前記画像形成装置に指示する実行指示部と、
して機能させ、
前記実行指示部は、前記言語設定記憶部に記憶された言語種別と、前記変更先の言語種別とが一致する場合に、前記画像形成装置への前記表示言語の変更指示を抑制する音声操作プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声操作システム、音声操作方法、及び音声操作プログラムに関する。
【背景技術】
【０００２】
従来、対話型の音声操作により情報の検索や、各種機器を操作するスマートスピーカーが知られている。
【０００３】
また、複合機（ＭＦＰ：Multifunction  Peripheral）等の画像形成装置は、ＧＵＩ（Graphical  User  Interface）により手動で操作されている。例えば、画像形成装置では、ＧＵＩの表示に用いられる言語（表示言語）を、当該ＧＵＩを用いて変更することが可能となっている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上述したスマートスピーカーを介して画像形成装置を操作するような場合、画像形成装置の表示言語を音声操作で変更することが考えられる。しかしながら、従来では、このような表示言語の変更方法について何ら考慮されておらず、例えば、スマートスピーカーを介して、画像形成装置で使用されている表示言語と同一の言語種別を変更先の言語種別として指定したような場合、画像形成装置において不要な処理が発生する可能性がある。
【０００５】
本発明は、上記に鑑みてなされたものであって、表示言語の変更操作に係る利便性を向上させることが可能な音声操作システム、音声操作方法、及び音声操作プログラムの提供を目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明は、ユーザとの対話により音声操作を受け付けるスピーカーと、当該スピーカーが受け付けた前記音声操作を受信するサーバ装置と、当該サーバ装置からの指示に応じて動作する画像形成装置とを備える音声操作システムであって、前記サーバ装置は、前記画像形成装置から当該画像形成装置で表示に使用されている表示言語の言語種別を取得する機器情報取得部と、前記機器情報取得部が取得した前記表示言語の言語種別を記憶する言語設定記憶部と、前記スピーカーから前記表示言語の変更を指示した前記音声操作を取得する取得部と、前記取得部が取得した前記音声操作に基づいて、変更先の言語種別を特定する言語特定部と、前記表示言語を前記変更先の言語種別に変更することを前記画像形成装置に指示する実行指示部と、を備え、前記実行指示部は、前記言語設定記憶部に記憶された言語種別と前記変更先の言語種別とが一致する場合に、前記画像形成装置への前記言語種別の変更指示を抑制する。
【発明の効果】
【０００７】
本発明によれば、表示言語の変更に係る操作性を向上させることができるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】図１は、本実施形態に係る音声操作システムの一例を示す図である。
【図２】図２は、ＭＦＰのハードウェア構成の一例を示す図である。
【図３】図３は、スマートスピーカーのハードウェア構成の一例を示す図である。
【図４】図４は、クラウドサービス装置のハードウェア構成の一例を示す図である。
【図５】図５は、ＭＦＰが備えている機能構成の一例を示すブロック図である。
【図６】図６は、スマートスピーカーが備えている機能構成の一例を示すブロック図である。
【図７】図７は、クラウドサービス装置が備えている機能構成の一例を示すブロック図である。
【図８】図８に、音声操作の全体的な動作を説明するシーケンス図である。
【図９】図９は、エンティティ情報の一例を示す図である。
【図１０】図１０は、発話フレーズに基づいて登録されるエンティティ情報の一例を示す図である。
【図１１】図１１は、対話式の音声操作の流れの一例を示す図である。
【図１２】図１２は、本実施形態に係る音声操作システムが実行する音声操作による起動処理の一例を示すシーケンス図である。
【図１３】図１３は、本実施形態に係る音声操作システムが実行する音声操作によるコピー設定処理の一例を示すシーケンス図である。
【図１４】図１４は、本実施形態に係る音声操作システムが実行する音声操作による部数設定処理の一例を示すシーケンス図である。
【図１５】図１５は、本実施形態に係る音声操作システムが実行する音声操作による確認処理の一例を示すシーケンス図である。
【図１６】図１６は、エラー発生時における対話式の音声操作の流れを示す図である。
【図１７】図１７は、本実施形態に係る音声操作システムが実行する音声操作による確認処理の一例を示すシーケンス図である。
【図１８】図１８は、本実施形態に係る音声操作システムが実行する音声操作による実行判定処理の一例を示すシーケンス図である。
【図１９】図１９は、本実施形態に係る音声操作システムが実行する音声操作による実行可否処理の一例を示すシーケンス図である。
【図２０】図２０は、本実施形態に係る音声操作システムが実行する音声操作による検索処理の一例を示すシーケンス図である。
【図２１】図２１は、本実施形態に係る音声操作システムが実行する音声操作による印刷処理の一例を示すシーケンス図である。
【図２２】図２２は、本実施形態に係る音声操作システムが実行する第１の変更方法による表示言語変更処理の一例を示すシーケンス図である。
【図２３】図２３は、本実施形態に係る音声操作システムが実行する第２の変更方法による表示言語変更処理の一例を示すシーケンス図である。
【図２４】図２４は、変形例１に係る音声操作システムが実行する表示言語の変更に係る設定処理の一例を示すシーケンス図である。
【図２５】図２５は、変形例１に係る音声操作システムが実行する第２の変更方法による表示言語変更処理の一例を示すシーケンス図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して、音声操作システム、音声操作方法、及び音声操作プログラムの実施形態を詳細に説明する。なお、以下に説明する実施形態は、音声操作システム、音声操作方法、及び音声操作プログラムの一実施形態であって、その構成や仕様等を限定するものではない。
【００１０】
（システム構成）
図１は、本実施形態に係る音声操作システム１の一例を示す図である。図１に示すように、音声操作システム１は、１以上のＭＦＰ（Multifunction  Peripheral）１０と、１以上のスマートスピーカー２０と、クラウドサービス装置３０を備えている。ＭＦＰ１０と、スマートスピーカー２０と、クラウドサービス装置３０とは、例えばＬＡＮ（Local  Area  Network）等のネットワーク５０を介して接続されている。
【００１１】
スマートスピーカー２０は、ユーザと対話することで各種情報の入出力を行うスピーカーである。なお、本実施形態においては、スマートスピーカー２０の場合を例に説明するが、スマートフォンやタブレット端末やパーソナルコンピュータ等の機器であってもよい。スマートスピーカー２０は、ＭＦＰ１０を音声操作するため、ユーザから音声入力を受け付ける。また、スマートスピーカー２０は、ユーザへ音声を出力してもよい。また、スマートスピーカー２０は、クラウドサービス装置３０との間のデータ通信（例えば音声データやテキストデータ、画像データなどの送受信）を行う。
【００１２】
クラウドサービス装置３０は、１以上のサーバ装置によって構成されている。クラウドサービス装置３０は、スマートスピーカー２０から受信した音声データを分析し、テキストデータへ変換する。また、クラウドサービス装置３０は、テキストデータと事前登録されている辞書情報とに基づいてユーザの意図を解釈し、解釈結果をＭＦＰ１０で解釈可能な形式であるジョブ実行命令に変換してＭＦＰ１０に送信する。また、クラウドサービス装置３０は、操作音声変換プログラム３１、音声アシスタントプログラム３２、管理プログラム３３、管理ＤＢ（Data  Base）３４、及び紐づけ用ＤＢ３５を備えている。これらの詳細については後述する。
【００１３】
ＭＦＰ１０は、プリンタ機能やスキャナ機能等の複数の機能を備えている複合機である。すなわち、ＭＦＰ１０は、画像形成装置である。ＭＦＰ１０は、クラウドサービス装置３０から送信されるジョブ実行命令を実行する。
【００１４】
（ＭＦＰ１０のハードウェア構成）
図２は、ＭＦＰ１０のハードウェア構成の一例を示す図である。ＭＦＰ１０は、コントローラ１０１、通信部１０２、表示部１０３、スキャナエンジン１０４及びプリンタエンジン１０５を有している。
【００１５】
コントローラ１０１は、ＣＰＵ１１１、ＡＳＩＣ（Application  Specific  Integrated  Circuit）１１２、メモリ１１３、記憶部１１４、及びタイマ１１５を有する。これら各部は、バスラインを介して通信可能に相互に接続されている。
【００１６】
ＣＰＵ１１１は、ＭＦＰ１０を統括的に制御する。ＡＳＩＣ１１２は、例えば大規模集積回路（ＬＳＩ：Large-Scale  Integration）である。ＡＳＩＣ１１２は、スキャナエンジン１０４及びプリンタエンジン１０５が処理する画像に対して各種画像処理を実行する。
【００１７】
メモリ１１３は、プログラムやデータを一時保持する揮発性の半導体メモリである。記憶部１１４は、例えば、ＨＤＤ（Hard  Disk  Drive）やＳＳＤ（Solid  State  Drive）等の記憶装置である。例えば、記憶部１１４は、制御プログラム１１等を記憶する。制御プログラム１１は、ＭＦＰ１０が備えている特徴的な機能の実行を制御するプログラムである。タイマ１１５は、時間を計測する。
【００１８】
通信部１０２は、ネットワーク５０に接続された各装置との通信を実行する。通信部１０２は、例えばスキャン指示又は印刷指示等のジョブ実行命令を取得する。
【００１９】
表示部１０３は、例えば液晶表示部（ＬＣＤ：Liquid  Crystal  Display）とタッチセンサとが一体的に形成されたタッチパネルである。表示部１０３は、表示された操作ボタン等をユーザが接触することで、操作を受け付ける。
【００２０】
スキャナエンジン１０４は、スキャナユニットを制御して、光学的に原稿の読み取りを行う。プリンタエンジン１０５は、画像書き込みユニットを制御して、例えば転写紙等に画像を印刷する。
【００２１】
（スマートスピーカー２０のハードウェア構成）
図３は、スマートスピーカー２０のハードウェア構成の一例を示す図である。スマートスピーカー２０は、ＣＰＵ２０１、ＲＡＭ（Random  Access  Memory）２０２、ＲＯＭ（Read  Only  Memory）２０３、記憶部２０４、インタフェース部２０５、通信部２０６、タッチパネル２０７、スピーカー部２０８、及びマイクロホン部２０９を備えている。これら各部は、バスラインを介して通信可能に相互に接続されている。
【００２２】
ＣＰＵ２０１は、スマートスピーカー２０を統括的に制御する。ＲＡＭ２０２は、プログラムやデータを一時保持する揮発性の半導体メモリである。ＲＯＭ２０３は、プログラムやデータを記憶する不揮発性の半導体メモリである。
【００２３】
記憶部２０４は、例えば、フラッシュメモリ等の記憶装置である。記憶部２０４は、操作音声処理プログラム２１を記憶している。
【００２４】
ＣＰＵ２０１は、操作音声処理プログラム２１を実行することで、各種処理を制御する。例えば、ＣＰＵ２０１は、マイクロホン部２０９からの音声情報の取得を制御する。また、ＣＰＵ２０１は、取得した音声情報のクラウドサービス装置３０への送信を制御する。さらに、ＣＰＵ２０１は、クラウドサービス装置３０から取得したデータ（音声データ、テキストデータ、画像データなど）のタッチパネル２０７による表示出力やスピーカー部２０８による音声出力を制御する。
【００２５】
インタフェース部２０５には、タッチパネル２０７、スピーカー部２０８、及びマイクロホン部２０９が接続される。タッチパネル２０７は、例えば液晶表示部とタッチセンサとが一体的に形成されている。スピーカー部２０８は、音声を出力する。マイクロホン部２０９は、音声を集音（取得）する。マイクロホン部２０９は、例えばＭＦＰ１０に対するジョブの実行命令の入力音声を集音（取得）する。入力音声は、通信部２０６を介してクラウドサービス装置３０に送信される。
【００２６】
通信部２０６は、ネットワーク５０に接続された各装置との通信を実行する。
【００２７】
（クラウドサービス装置３０のハードウェア構成）
図４は、クラウドサービス装置３０のハードウェア構成の一例を示す図である。クラウドサービス装置３０は、ＣＰＵ３０１、ＲＡＭ３０２、ＲＯＭ３０３、記憶部３０４、インタフェース部３０５、通信部３０６、表示部３０７、及び操作部３０８を備えている。これら各部は、バスラインを介して通信可能に相互に接続されている。
【００２８】
ＣＰＵ３０１は、クラウドサービス装置３０を統括的に制御する。ＣＰＵ３０１は、記憶部３０４等に記憶されているプログラムを実行する。ＲＡＭ３０２は、プログラムやデータを一時保持する揮発性の半導体メモリである。ＲＯＭ３０３は、プログラムやデータを記憶する不揮発性の半導体メモリである。
【００２９】
記憶部３０４は、例えば、ＨＤＤやＳＳＤ等の記憶装置である。記憶部３０４は、操作音声変換プログラム３１、音声アシスタントプログラム３２、及び管理プログラム３３を記憶している。
【００３０】
操作音声変換プログラム３１は、音声データをテキストデータに変換し、更にテキストデータを予め定義された辞書情報と一致するか否かを判断してマッチした場合にはテキストデータをユーザの意図を示すインテント及びジョブ条件などの変数を示すパラメータに変換する。音声アシスタントプログラム３２は、辞書情報を保持する。管理プログラム３３は、インテントとパラメータに基づいてＭＦＰ１０が解釈可能な形式であるジョブ実行指示に変換した上で登録されたＭＦＰ１０へ送信する。
【００３１】
なお、操作音声変換プログラム３１、音声アシスタントプログラム３２、管理プログラム３３は、１つのサーバによって実行されてもよいし、それぞれ異なるサーバによって実現されてもよいし、複数のサーバが連携することでこれらのプログラムを実行してもよい。
【００３２】
また、記憶部３０４は、操作音声変換プログラム３１、音声アシスタントプログラム３２、管理プログラム３３が使用するデータとして、例えば、管理ＤＢ３４、紐づけ用ＤＢ３５を、及び言語設定ＤＢ３６記憶する。
【００３３】
管理ＤＢ３４は、テキストデータ、画像データ、音声データなど、クラウドサービス装置３０が提供するコンテンツにかかるデータを記憶するデータベースである。また、紐づけ用ＤＢ３５は、スマートスピーカー２０と紐づくＭＦＰ１０等の外部装置を記憶している。紐づけ用ＤＢ３５は、例えばスマートスピーカー２０を特定するＩＤ（以下、デバイスＩＤ）と、ＭＦＰ１０等の外部装置を特定するＩＤ（以下、装置ＩＤ）とを関連付けて記憶している。言語設定ＤＢ３６は、ＭＦＰ１０等の外部装置毎に、当該外部装置で表示用に用いられている言語の言語種別を記憶している。言語設定ＤＢ３６は、言語設定記憶部の一例である。言語設定ＤＢ３６は、例えばＭＦＰ１０等の外部装置を特定する装置ＩＤと、言語種別を示す言語設定（例えば、言語コードやロケールＩＤ等）とを関連付けて記憶している。なお、管理ＤＢ３４、紐づけ用ＤＢ３５、及び言語設定ＤＢ３６との一部又は全ては、クラウドサービス装置３０からネットワーク５０を介してアクセス可能な別のサーバに記憶されてもよい。
【００３４】
インタフェース部３０５には、表示部３０７及び操作部３０８が接続されている。表示部３０７は、例えば液晶表示部（ＬＣＤ）である。操作部３０８は、キーボードやマウスなどの入力装置である。
【００３５】
通信部３０６は、ネットワーク５０に接続された各装置との通信を実行する。
【００３６】
（ＭＦＰ１０の機能）
図５は、ＭＦＰ１０が備えている機能構成の一例を示すブロック図である。ＭＦＰ１０のＣＰＵ１１１は、記憶部１１４に記憶されている制御プログラム１１を実行することで、図５に示すように通信制御部１２１、ジョブ実行部１２２、言語設定部１２３、及び表示制御部１２４として機能する。
【００３７】
通信制御部１２１は、通信部１０２を制御して、ネットワーク５０に接続された各装置との通信を実行する。例えば、通信制御部１２１は、ＭＦＰ１０が実行するジョブ命令や、ＭＦＰ１０が表示する言語を指定した言語種別（言語変更指示）等を受信する。
【００３８】
ジョブ実行部１２２は、ジョブ命令を受信した場合に、ジョブ命令が示すジョブを実行する。例えば、ジョブ実行部１２２は、ジョブ命令に基づいて、プリンタ機能やスキャン機能を実行する。
【００３９】
言語設定部１２３は、表示部１０３に表示する画面の言語設定を変更する。例えば、言語設定部１２３は、通信制御部１２１が言語変更指示を受信した場合に、その言語変更指示で指示された言語種別に言語設定を変更する。
【００４０】
表示制御部１２４は、ＭＦＰ１０に設けられた表示部１０３に、スマートスピーカー２０が受け付けた音声操作の言語種別で表現された画面を表示させる。例えば、スピーカーが解釈可能な言語種別として設定されている言語設定により特定される言語種別で表現された画面を表示させる。
【００４１】
なお、この例では、通信制御部１２１、ジョブ実行部１２２、言語設定部１２３、及び表示制御部１２４をソフトウェアで実現することとしたが、これらのうち、一部又は全部を、ＩＣ（Integrated  Circuit）等のハードウェアで実現してもよい。また、通信制御部１２１、ジョブ実行部１２２、言語設定部１２３、及び表示制御部１２４が実現する機能は、制御プログラム１１単体で実現してもよいし、他のプログラムに処理の一部を実行させる、又は他のプログラムを用いて間接的に処理を実行させてもよい。
【００４２】
（スマートスピーカー２０の機能）
図６は、スマートスピーカー２０が備えている機能構成の一例を示すブロック図である。スマートスピーカー２０のＣＰＵ２０１は、記憶部２０４に記憶されている操作音声処理プログラム２１を実行することで、図６に示すように取得部２１１、通信制御部２１２、及び音声フィードバック部２１３として機能する。
【００４３】
取得部２１１は、マイクロホン部２０９を介して、ＭＦＰ１０を操作するユーザの指示音声を取得する。なお、取得部２１１は、マイクロホン部２０９に限らず、タッチパネル２０７や物理スイッチ等を介してユーザの操作を取得してもよい。
【００４４】
通信制御部２１２は、スマートスピーカー２０とクラウドサービス装置３０との間の通信を制御する。通信制御部２１２は、取得部２１１が取得した情報をクラウドサービス装置３０へ送信するとともに、クラウドサービス装置３０からテキストデータや画像データ、音声データを取得する。また、通信制御部２１２は、取得部２１１が取得した情報をクラウドサービス装置３０へ送信する場合、スマートスピーカー２０を特定するデバイスＩＤを送信してもよい。
【００４５】
音声フィードバック部２１３は、対話型の音声操作を実現すべく、スピーカー部２０８を制御して、ユーザに音声をフィードバック、つまり音声を出力する。音声フィードバック部２１３は、例えば不足するデータを補う音声入力を促す音声をフィードバックする、又は、音声入力を確認する音声のフィードバック等を行う。なお、音声フィードバック部２１３は、タッチパネル２０７を制御して、テキスト又は画像をユーザに対してフィードバックしてもよい。
【００４６】
なお、この例では、取得部２１１、通信制御部２１２、及び音声フィードバック部２１３をソフトウェアで実現することとしたが、これらのうち、一部又は全部を、ＩＣ等のハードウェアで実現してもよい。また、取得部２１１、通信制御部２１２、及び音声フィードバック部２１３が実現する機能は、操作音声変換プログラム３１単体で実現してもよいし、他のプログラムに処理の一部を実行させる、又は他のプログラムを用いて間接的に処理を実行させてもよい。
【００４７】
（クラウドサービス装置３０の機能）
図７は、クラウドサービス装置３０が備えている機能構成の一例を示すブロック図である。クラウドサービス装置３０のＣＰＵ３０１は、記憶部３０４に記憶されている操作音声変換プログラム３１を実行することで、図７に示すように取得部３１１、テキスト変換部３１２、解釈部３１３、出力部３１４、及び言語特定部３１５として機能する。
【００４８】
取得部３１１は、スマートスピーカー２０が受け付けたユーザの音声操作を示す音声データ等の音声操作情報を取得する。すなわち、取得部３１１は、スマートスピーカー２０から送信される、ユーザにより入力された音声データを取得する。また、取得部３１１は、音声データに限らず、スマートスピーカー２０のタッチパネル２０７ボタンやスイッチなどに対するユーザ操作を取得してもよい。
【００４９】
テキスト変換部３１２は、ユーザにより入力された音声データをテキストデータに変換する。
【００５０】
解釈部３１３は、テキストデータに基づいて、ユーザからの指示を解釈する。具体的には、解釈部３１３は、音声アシスタントプログラム３２から提供された辞書情報に基づき、テキストデータに含まれる単語などが辞書情報にマッチしているか否かを判定する。解釈部３１３は、単語等が辞書情報にマッチしている場合には、ユーザの意図を示すインテントとジョブ条件などの変数を示すパラメータに変換する。解釈部３１３は、インテント及びパラメータを管理プログラム３３に対して送信するが、このとき音声データの取得元であるスマートスピーカー２０を特定するデバイスＩＤと共に送信する。
【００５１】
出力部３１４は、通信部３０６を制御して、通信を実行する。例えば、出力部３１４は、スマートスピーカー２０に対するテキストデータ、音声データ、画像データなどのデータの送信等を実行する。
【００５２】
言語特定部３１５は、スマートスピーカー２０が受け付けた音声操作に基づいて、言語種別の変更要求や変更先の言語種別を特定する。より具体的には、言語特定部３１５は、テキスト変換部３１２で変換されたテキストデータ、解釈部３１３で解釈されたテキストデータの処理結果等から、言語種別の変更を要求する文言を特定するとともに、変更先の言語種別を特定する。そして、ＭＦＰ１０は、スマートスピーカー２０が受け付けた音声操作で指示された変更先の言語種別で各種文言が表現された画面を表示させる。すなわち、言語特定部３１５は、ＭＦＰ１０に表示させる画面の言語種別の設定を変更する。
【００５３】
なお、この例では、取得部３１１、テキスト変換部３１２、解釈部３１３、出力部３１４、及び言語特定部３１５をソフトウェアで実現することとしたが、これらのうち、一部又は全部を、ＩＣ等のハードウェアで実現してもよい。また、取得部３１１、テキスト変換部３１２、解釈部３１３、出力部３１４、及び言語特定部３１５が実現する機能は、操作音声変換プログラム３１単体で実現してもよいし、他のプログラムに処理の一部を実行させてもよいし、他のプログラムを用いて間接的に処理を実行させてもよい。
【００５４】
例えば、操作音声変換プログラム３１の解釈部３１３の機能の一部又は全てを音声アシスタントプログラム３２に実行させてもよい。この場合、音声アシスタントプログラム３２は、例えばテキストデータに含まれる単語などが辞書情報にマッチしているか否かを判定する。また、音声アシスタントプログラム３２は、マッチしている場合にユーザの意図を示すインテントとジョブ条件などの変数を示すパラメータへの変換を実行する。そして、解釈部３１３は、インテント及びパラメータを音声アシスタントプログラム３２から取得するものとしてもよい。
【００５５】
クラウドサービス装置３０のＣＰＵ３０１は、記憶部３０４に記憶されている音声アシスタントプログラム３２を実行することで、図７に示すように提供部３２１として機能する。
【００５６】
提供部３２１は、テキストデータとインテント及びパラメータの関係を予め定義した辞書情報を管理し、操作音声変換プログラム３１に対して提供する。また、提供部３２１は、テキストデータに基づいて、ユーザからの操作指示を解釈してもよい。具体的には、提供部３２１は、操作音声変換プログラム３１からテキストデータを取得し、テキストデータに含まれる単語などが辞書情報にマッチしているか否かを判定して、マッチしている場合にはテキストデータをインテントとパラメータに変換する。その後、提供部３２１は、インテント及びパラメータを操作音声変換プログラム３１に対して提供する。
【００５７】
なお、この例では、提供部３２１をソフトウェアで実現することとしたが、これらのうち、一部又は全部を、ＩＣ等のハードウェアで実現してもよい。また、提供部３２１が実現する機能は、音声アシスタントプログラム３２単体で実現してもよいし、他のプログラムに処理の一部を実行させてもよいし、他のプログラムを用いて間接的に処理を実行させてもよい。
【００５８】
クラウドサービス装置３０のＣＰＵ３０１は、記憶部３０４に記憶されている管理プログラム３３を実行することで、図７に示すように解釈結果変換部３３１、実行指示部３３２、機器情報取得部３３３、実行判定部３３４、通知部３３５、管理部３３６、及び検索部３３７として機能する。
【００５９】
解釈結果変換部３３１は、操作音声変換プログラム３１で変換されたインテント及びパラメータなどの解釈結果を、ＭＦＰ１０が解釈可能なジョブの実行命令に変換する。
【００６０】
実行指示部３３２は、ジョブの実行命令をＭＦＰ１０に送信して、ジョブの実行を指示する。なお、実行指示部３３２は、紐づけ用ＤＢ３５により特定されるスマートスピーカー２０に対応するＭＦＰ１０に対してジョブ実行命令を送信する。つまり、実行指示部３３２は、インテント及びパラメータと共にユーザが使用したスマートスピーカー２０を特定するデバイスＩＤを取得する。実行指示部３３２は、取得したデバイスＩＤと対応するＭＦＰ１０を紐づけ用ＤＢ３５から検索する。実行指示部３３２は、検索したＭＦＰ１０に対してジョブ実行命令を送信する。
【００６１】
機器情報取得部３３３は、ＭＦＰ１０から、当該ＭＦＰ１０に関する情報を取得する。機器情報取得部３３３は、ＭＦＰ１０から、例えば処理可能な最大画素数等の処理能力を取得する。なお、機器情報取得部３３３は、ＭＦＰ１０を含む複数の外部装置から処理能力を取得した場合、外部装置を特定する装置ＩＤなどの情報と紐づけて処理能力を記憶部３０４に記憶する。また、機器情報取得部３３３は、機器状態を取得する。機器状態とは、ＭＦＰ１０との通信接続が確立されているか否かを示す接続状態、ＭＦＰ１０の電源のＯＮ／ＯＦＦ又はスリープモードであるか否かを示す電力状態、エラーの有無とエラーの種類、用紙やトナーなどの消耗品の残余状況、ユーザのログイン状態、ログインユーザに使用が許可された機能を示す権限情報等を含む情報である。
【００６２】
実行判定部３３４は、ＭＦＰ１０の処理能力と、ユーザから指定されたジョブ（即ち、操作音声変換プログラム３１で生成されたインテント及びパラメータ）とを比較することで、ユーザから指定されたジョブをＭＦＰ１０で実行可能か否か判定する。実行判定部３３４は、ユーザから指定されたジョブ実行が実行可能と判断した場合には、ＭＦＰ１０に対してジョブ実行命令を送信する。一方、実行判定部３３４は、実行不可能と判断した場合には、操作音声変換プログラム３１を介してスマートスピーカー２０に対してエラーメッセージなどをレスポンス情報としてフィードバックさせる。
【００６３】
通知部３３５は、ユーザのジョブ実行指示への応答としてテキストデータ、音声データ、画像データなどを操作音声変換プログラム３１へ送信する。また、通知部３３５は、ジョブの実行するためのジョブ条件を示すパラメータが不足している場合には、操作音声変換プログラム３１を介してスマートスピーカー２０に対してフィードバックを行うことでユーザにパラメータの入力を促す。ここで、通知部３３５は、不足しているパラメータを確認するために必要な情報として、パラメータ情報を送信してもよいし、ユーザにパラメータの指定を促すために必要な情報としてテキストデータ、音声データ、又は画像データを送信してもよい。
【００６４】
管理部３３６は、管理ＤＢ３４、紐づけ用ＤＢ３５及び言語設定ＤＢ３６のデータ管理を行う。例えば、管理部３３６は、ＭＦＰ１０、スマートスピーカー２０、又はクラウドサービス装置３０に接続されたクライアントデバイスに入力された情報及び指示に基づいて、スマートスピーカー２０のデバイスＩＤとＭＦＰ１０の装置ＩＤを紐づけて管理ＤＢ３４に登録する。また、紐づけ用ＤＢ３５は、スマートスピーカー２０のデバイスＩＤとＭＦＰ１０の装置ＩＤとを紐づけた情報として例えばテーブルデータなどを保持している。
【００６５】
検索部３３７は、記憶部３０４や管理ＤＢ３４から指定されたファイル等を検索する。なお、検索部３３７は、記憶部３０４に限らず、他の記憶装置からファイル等を検索してもよいし、ネットワーク５０を介して接続されたサーバ等かららファイル等を検索してもよい。
【００６６】
なお、この例では、解釈結果変換部３３１、実行指示部３３２、機器情報取得部３３３、実行判定部３３４、通知部３３５、管理部３３６、及び検索部３３７をソフトウェアで実現することとしたが、これらのうち、一部又は全部を、ＩＣ等のハードウェアで実現してもよい。また、解釈結果変換部３３１、実行指示部３３２、機器情報取得部３３３、実行判定部３３４、通知部３３５、管理部３３６、及び検索部３３７が実現する機能は、管理プログラム３３単体で実現してもよいし、他のプログラムに処理の一部を実行させてもよいし、他のプログラムを用いて間接的に処理を実行させてもよい。
【００６７】
また、操作音声変換プログラム３１、操作音声変換プログラム３１、音声アシスタントプログラム３２、管理プログラム３３は、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）などのコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）、ブルーレイディスク（登録商標）、半導体メモリなどのコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、インターネット等のネットワーク経由でインストールするかたちで提供してもよいし、機器内のＲＯＭ等に予め組み込んで提供してもよい。
【００６８】
（音声操作の全体的な動作）
図８に、音声操作の全体的な動作を説明するシーケンス図である。図８は、ＭＦＰ１０の両面コピー機能を、スマートスピーカー２０を介して音声で操作する例である。
【００６９】
この場合、ユーザは、スマートスピーカー２０の操作音声処理プログラム２１を起動する。例えば、ユーザは、「両面でコピー」と発話する（ステップＳ１）。ここで、操作音声変換プログラム３１は、スマートスピーカー２０の起動と同時に起動してもよいし、スマートスピーカー２０に対して所定の操作や所定の音声入力を行うことによって起動してもよい。スマートスピーカー２０の取得部２１１は、マイクロホン部２０９で集音されたユーザの音声を取得される。
【００７０】
スマートスピーカー２０の通信制御部２１２は、取得部２１１が取得した「両面でコピー」との音声データをクラウドサービス装置３０の操作音声変換プログラム３１に送信する（ステップＳ２）。このとき、通信制御部２１２は、スマートスピーカー２０を特定するデバイスＩＤをクラウドサービス装置３０に送信してもよい。
【００７１】
操作音声変換プログラム３１のテキスト変換部３１２は、「両面でコピー」との音声データをテキストデータに変換する（ステップＳ３）。
【００７２】
操作音声変換プログラム３１の解釈部３１３は、音声アシスタントプログラム３２に辞書情報を要求する（ステップＳ４）。また、解釈部３１３は、音声アシスタントプログラム３２から辞書情報の提供を受ける（ステップＳ５）。操作音声変換プログラム３１の解釈部３１３は、音声アシスタントプログラム３２から提供された辞書情報に基づいて、テキストデータを解釈する（ステップＳ６）。
【００７３】
この例の場合、解釈部３１３は、ＭＦＰ１０に実行を要求する動作は「コピーである（インテント:Ｃｏｐｙ＿Ｅｘｅｃｃｕｔｅ）」と解釈し、「印刷面は両面である（印刷面＝両面）」と解釈する。このように、解釈部３１３は、テキストデータに基づいて、ユーザから指定されたジョブの種別（インテント）及び内容（パラメータ）を示す解釈結果を生成する。
【００７４】
解釈部３１３は、解釈結果を管理プログラム３３に送信する（ステップＳ７）。このとき、解釈部３１３は、解釈結果と対応させて音声データの送信元のスマートスピーカー２０を特定するデバイスＩＤをクラウドサービス装置３０に送信してもよい。
【００７５】
管理プログラム３３の解釈結果変換部３３１は、操作音声変換プログラム３１から取得した解釈結果を、ＭＦＰ１０のジョブ命令に変換する（ステップＳ８）。以下の表１に、解釈結果と、解釈結果から変換処理されたジョブ命令の一例を示す。なお、解釈結果変換部３３１は、解釈結果をジョブ命令に変換するために、表１に相当する情報をクラウドサービス装置３０の記憶部３０４等に記憶し、参照できる構成としてもよい。
【００７６】
【表１】
2020155997.tif 000003
【００７７】
この表１の例の場合、「ＣＯＰＹ＿ＥＸＥＣＵＴＥ」、「ＳＣＡＮ＿ＥＸＥＣＵＴＥ」、「ＰＲＩＮＴ＿ＥＸＥＣＵＴＥ」及び「ＦＡＸ＿ＥＸＥＣＵＴＥ」が、インテント（Ｉｎｔｅｎｔ）の一例として示されている。また、「印刷面」及び「部数」等がパラメータ（Ｐａｒａｍｅｔｅｒ）の一例として示されている。なお、パラメータとしては、ジョブの設定値として指定可能な全てのパラメータが含まれる。
【００７８】
管理プログラム３３の解釈結果変換部３３１は、「ＣＯＰＹ＿ＥＸＥＣＵＴＥ」の解釈結果を、「コピージョブの実行」との、ＭＦＰ１０のジョブ命令に変換する。同様に、解釈結果変換部３３１は、「ＳＣＡＮ＿ＥＸＥＣＵＴＥ」の解釈結果を、「スキャンジョブの実行」との、ＭＦＰ１０のジョブ命令に変換処理する。同様に、解釈結果変換部３３１は、「ＰＲＩＮＴ＿ＥＸＥＣＵＴＥ」の解釈結果を、「印刷ジョブの実行」との、ＭＦＰ１０のジョブ命令に変換処理する。同様に、解釈結果変換部３３１は、「ＦＡＸ＿ＥＸＥＣＵＴＥ」の解釈結果を、「ＦＡＸジョブの実行」との、ＭＦＰ１０のジョブ命令に変換処理する。なお、以上ではＭＦＰ１０で実行される基本的なジョブについて示すが、クラウドサービス装置３０で解釈可能なジョブは上記のジョブに限定されない。例えば、通信対象に対して機器情報を収集させてクラウドサービス装置３０へ送信させるジョブ、通信対象が有する記憶部３０４に記憶された所定の情報を通信対象の表示部３０７に表示させるジョブなどが含まれてもよい。
【００７９】
また、管理プログラム３３の解釈結果変換部３３１は、解釈結果に「印刷面」のパラメータが含まれている場合、「印刷面の設定値の変更」を行うＭＦＰ１０のジョブ命令を生成する。同様に、解釈結果変換部３３１は、解釈結果に「部数」のパラメータが含まれている場合、「部数の設定値の変更」を行うＭＦＰ１０のジョブ命令を生成する。
【００８０】
すなわち、管理プログラム３３の解釈結果変換部３３１は、解釈結果の「Ｉｎｔｅｎｔ」に含まれる情報で、ユーザの意図、例えばＭＦＰ１０に実行させるジョブの種類を判断する。また、解釈結果変換部３３１は、「Ｐａｒａｍｅｔｅｒ」に含まれる値を、ジョブの設定値と判断して、解釈結果をジョブ命令に変換する。
【００８１】
管理プログラム３３の通知部３３５は、このようにして生成されたジョブ命令を、ＭＦＰ１０に送信する（ステップＳ９）。この例の場合、通知部３３５は、「コピージョブ実行（印刷面＝両面）」のジョブ命令がＭＦＰ１０に送信する。なお、通知部３３５は、管理部３３６によって特定されたＭＦＰ１０に対してジョブ命令を送信する。つまり、管理プログラム３３は、音声データの送信元のスマートスピーカー２０を特定するバイスＩＤと紐づいた装置ＩＤで特定されるＭＦＰ１０に対してジョブの実行を指示することができる。これにより、ＭＦＰ１０は両面印刷を実行する。
【００８２】
（クラウドサービス装置３０における解釈動作の詳細）
クラウドサービス装置３０の記憶部３０４には、ユーザが音声入力により指示しているジョブを解釈するために用いられる辞書情報が記憶されている。操作音声変換プログラム３１は、この辞書情報に基づいてインテント及びパラメータを生成する。より具体的には、操作音声変換プログラム３１は、音声データから変換したテキストデータに含まれる単語などが辞書情報とマッチするか否かを判断し、マッチする場合は辞書情報に定義されているインテント及びパラメータを含む解釈結果を生成する。なお、辞書情報は、インテント及びパラメータを生成することができればどのような形態であってもよい。
【００８３】
一例として、この辞書情報は、エンティティ（Ｅｎｔｉｔｙ）情報、インテント（Ｉｎｔｅｎｔ）情報及び関連付け情報が含まれている。エンティティ情報は、ジョブのパラメータと自然言語を関連付ける情報である。エンティティ情報には、１つのパラメータに複数の類義語が登録可能となっている。インテント情報は、ジョブの種類を示す情報である。関連付け情報は、ユーザの発話フレーズ（自然言語）とエンティティ情報、及び、ユーザの発話フレーズ（自然言語）とインテント情報を、それぞれ関連付ける情報である。関連付け情報により、パラメータの発話順序又はニュアンスが多少変わっても、正しい解釈が可能となる。また、関連付け情報により、入力された内容に基づいてレスポンスのテキスト（解釈結果）を生成してもよい。
【００８４】
図９は、エンティティ情報の一例を示す図である。図９は、印刷色（Ｐｒｉｎｔ  Ｃｏｌｏｒ）に対応するエンティティ情報である。図９において、「Ｐｒｉｎｔ  Ｃｏｌｏｒ」の文字は、エンティティ名を示している。また、図９において、左の列の「ａｕｔｏ＿ｃｏｌｏｒ」、「ｍｏｎｏｃｈｒｏｍｅ」、「ｃｏｌｏｒ」・・・等の文字は、パラメータ名を示している。また、図９において、右の列の「ａｕｔｏ＿ｃｏｌｏｒ」、「ｍｏｎｏｃｈｒｏｍｅ，ｂｌａｃｋ  ａｎｄ  ｗｈｉｔｅ」、「ｃｏｌｏｒ，ｆｕｌｌ  ｃｏｌｏｒ」・・・等の文字は、類義語を示している。
【００８５】
図９からわかるように、エンティティ情報としては、パラメータ及び類義語が関連付けられて記憶されている。パラメータと共に、類義語を登録することで、例えばモノクロでのコピーを指示する場合に、「Please  copy  by  black  and  white」と発話しても、「Please  copy  by  monochrome」と発話しても、パラメータを設定することができる。
【００８６】
図１０は、発話フレーズに基づいて登録されるエンティティ情報の一例を示す図である。図１０（ａ）は、ユーザの発話フレーズの例、図１０（ｂ）は、インテント名、図１０（ｃ）は、エンティティ情報を示している。この図１０（ａ）〜図１０（ｃ）に示すように、クラウドサービス装置３０が備える表示部３０７に表示される画面上において、操作部３０８を操作することで、ユーザの発話をドラッグする。または、ネットワーク５０を介してクラウドサービスにアクセスした装置の表示部に表示される画面上において、クラウドサービス装置３０の操作部３０８を操作することで、ユーザの発話をドラッグする。
【００８７】
これにより、関連付け対象となるエンティティ情報を選択できるようになっている。また、選択したエンティティ情報でバリュー（ＶＡＬＵＥ）を設定すると、応答で入るパラメータが変更される。例えば、「Ｐｌｅａｓｅ  ｃｏｐｙ  ｂｙ  ｂｌａｃｋ  ａｎｄ  ｗｈｉｔｅ」と発話した場合、バリューを「＄ｐｒｉｎｔＣｏｌｏｒ」とすると、戻り値として「ｐｒｉｎｔＣｏｌｏｒ＝ｍｏｎｏｃｈｒｏｍｅ」が返る。これに対して、バリューを「＄ｐｒｉｎｔＣｏｌｏｒ．ｏｒｉｇｉｎａｌ」とすると、戻り値として「ｐｒｉｎｔＣｏｌｏｒ＝ｂｌａｃｋ  ａｎｄ  ｗｈｉｔｅ」が返る。ここで、バリューを「＄ｐｒｉｎｔＣｏｌｏｒ．ｏｒｉｇｉｎａｌ」とすると、ユーザの発話内容がそのまま応答のパラメータとして返すことができる。
【００８８】
（対話型動作）
実施の形態の音声操作システム１では、ユーザからの音声入力に対して、音声操作システム１が応答する対話型システムを実現している。実施の形態の音声操作システム１では、対話に必要な定型文を応答する以外に、ＭＦＰ１０の操作特有の応答として、「入力不足フィードバック」及び「入力確認フィードバック」の、２種類の応答を行うことで、対話型ＭＦＰ操作システムを実現している。
【００８９】
「入力不足フィードバック」は、ジョブを実行するために必要な情報が揃っていない場合に出力される応答である。ユーザの入力結果を聞き取れなかった場合、又は、必須パラメータが不足している場合に出力される。つまり、必須パラメータ以外のパラメータについては、指示されていない場合であっても入力不足フィードバックを行う必要はない。また、パラメータ以外にも、コピー機能又はスキャン機能等のうち、利用する機能を確認する処理を含んでもよい。
【００９０】
例えば、クラウドサービス装置３０が通信接続中の外部装置の種類に応じて、ユーザに利用する機能を確認する機能、及びパラメータを変更してもよい。この場合、機器情報取得部３３３が外部装置との通信が確立した後の所定のタイミングで外部装置の種類や機能を示す情報を取得し、取得した情報に基づいてユーザに確認する機能及びパラメータを例えば音声フィードバック部２１３が決定してもよい。
【００９１】
例えば、外部装置の種類がＭＦＰ１０である場合には、コピー、プリント、スキャン、ＦＡＸなどのＭＦＰ１０が有する機能をユーザに確認できる。更に、コピー、プリント、スキャン、ＦＡＸのうちＭＦＰ１０が有している機能について、いずれの機能を使用するかをユーザに確認してもよい。また、ユーザから指定された設定条件に応じて必須パラメータを変更してもよい。つまり、ユーザが指定した印刷条件が変倍印刷の場合は印刷する用紙サイズを必須パラメータとして、両面印刷の場合は原稿が片面か両面かを示す設定を必須パラメータとして、週刊誌綴じ印刷の場合は仕上がりサイズ及び１ページに含めるページ数などの設定を必須パラメータとして設定する。
【００９２】
「入力確認フィードバック」は、ジョブを実行するための必要な情報が揃った場合に出力される応答である。つまり、入力確認フィードバックは、全ての必須パラメータについて指示された場合に行われる。また、入力確認フィードバックは、現在の設定値でジョブを実行するか、又は、設定値を変更するかの選択をユーザに促すために行う。なお、現在の設定値でジョブを実行するか否かを確認するために、ユーザにより指示された全てのパラメータ（必須パラメータか必須パラメータ以外のパラメータかに関わらず）を音声出力することで、ユーザに確認することができる。
【００９３】
図１１は、対話式の音声操作の流れの一例を示す図である。図１１は、モノクロ画像を両面で２部のコピーを行うようにＭＦＰ１０を操作する例である。また、この例の場合、部数（＝２部）が必須パラメータとなっている。なお、必須パラメータは、部数に限定されず、モノクロ、カラー、又は、用紙サイズ等、複数のパラメータを含めてもよい。
【００９４】
なお、パラメータのうち、いずれのパラメータが必須パラメータであるかは、クラウドサービス装置３０が有する記憶部３０４に予め記憶しておくことができる。例えば、管理プログラム３３の実行判定部３３４は、操作音声変換プログラム３１から取得したインテント及びパラメータに基づいて、必須パラメータが満たされているか否かを判断する。また、ユーザが操作部３０８を操作することによって、又はネットワーク５０を介してクラウドサービス装置３０に対してアクセスすることで、いずれのパラメータが必須パラメータであるかは適宜変更することができてもよい。
【００９５】
図１１では、斜線で示す発話がユーザの発話を示しており、斜線の無い発話が音声操作システム１の発話を示している。音声操作システム１が、「コピーしますか？スキャンしますか？」との音声出力を行うと、ユーザは、「コピー」と発話してコピー機能の利用を指示する。音声操作システム１は、ユーザから指定された「コピー」の設定値の入力を求めるべく、「設定値を入力してください」との音声出力を行う。
【００９６】
これに対して、ユーザは、「モノクロ」と発話したとする。この例の場合、上述のようにコピー部数が必須のパラメータとなっている。このため、音声操作システム１は、「部数を指定してください」とのように、コピー部数の入力を求める。これが「入力不足フィードバック」の例である。このような「入力不足フィードバック」に対して、ユーザは、「２部」等のように、コピー部数を指定する。これにより、入力不足が解消するため、音声操作システム１は、「モノクロ、２部でコピーします。よろしいですか？」との応答を行い、コピー開始の指示を促す。これが、ジョブを実行するために必要な情報が揃った場合に出力される「入力確認フィードバック」である。
【００９７】
音声操作システム１は、「設定値を入力してください」との音声出力に対して、ユーザから「モノクロ、２部で」との応答があった場合、ジョブを実行するために必要な情報が揃う。よって、音声操作システム１は、上述の「モノクロ、２部でコピーします。よろしいですか？」との「入力確認フィードバック」を行う。
【００９８】
片面コピーから両面コピーにコピー形態を変更する場合、ユーザは、「両面に変更して」との音声入力を行う。この場合、ジョブを実行するために必要な情報は揃っているため、音声操作システム１は、「モノクロ、２部、両面でコピーします。よろしいですか？」との「入力確認フィードバック」を行う。
【００９９】
「モノクロ、２部でコピーします。よろしいですか？」又は「モノクロ、２部、両面でコピーします。よろしいですか？」との「入力確認フィードバック」に対して、ユーザは「はい」と応答する。この場合、音声操作システム１は、「ジョブを実行します」との応答を行い、ユーザから指示されたジョブを実行する。
【０１００】
（対話型動作の流れ）
図１２は、本実施形態に係る音声操作システム１が実行する音声操作による起動処理の一例を示すシーケンス図である。
【０１０１】
ユーザは、スマートスピーカー２０の操作音声処理プログラム２１を起動した後、例えば音声入力によって音声アシスタントプログラム３２の起動を指示する（ステップＳ２１）。例えば、ユーザは、起動させるための起動ワードを発話する。
【０１０２】
スマートスピーカー２０の通信制御部２１２は、クラウドサービス装置３０に対して起動ワード（音声データ）を送信する（ステップＳ２２）。
【０１０３】
操作音声変換プログラム３１のテキスト変換部３１２は、起動ワード（音声データ）をテキストデータに変換する（ステップＳ２３）。操作音声変換プログラム３１の解釈部３１３は、音声アシスタントプログラム３２から提供された辞書情報に基づいて、テキストデータを解釈する（ステップＳ２４〜ステップＳ２６）。
【０１０４】
解釈部３１３は、解釈結果を管理プログラム３３に送信する（ステップＳ２７）。すなわち、解釈部３１３は、インテント、パラメータ、及びデバイスＩＤを管理プログラム３３へ送信する。
【０１０５】
管理プログラム３３の実行判定部３３４は、レスポンス情報の送信に先立ち、取得したデバイスＩＤと対応するＭＦＰ１０を紐づけ用ＤＢ３５から検索する（ステップＳ２８）。このとき、デバイスＩＤと紐づくＭＦＰ１０が紐づけ用ＤＢ３５に記憶されていない場合、通知部３３５は、スマートスピーカー２０が通信対象と紐づけられていないことをユーザに通知する。例えば、実行判定部３３４は、「このデバイスは機器と紐づけられていません」とのレスポンスを含むレスポンス情報を生成する。ここで、実行判定部３３４は、デバイスと通信対象を紐づけする方法をレスポンスに含めてもよい。なお、紐づけ用ＤＢ３５からのＭＦＰ１０の検索及びレスポンス情報の生成は、デバイスＩＤを取得した他の任意のタイミングで行ってもよい。
【０１０６】
機器情報取得部３３３は、ＭＦＰ１０との通信接続が確立されているか否かを示す接続状態を確認する（ステップＳ２９）。
【０１０７】
実行判定部３３４は、レスポンス情報の送信に先立ち、通信対象にユーザから指定された機能を実行するアプリケーションの状態を確認する（ステップＳ３０）。実行判定部３３４は、機器情報取得部３３３が機器情報を取得することで又は機器情報取得部３３３が予め取得した機器情報を参照することで、アプリケーションがインストールされているか否か、及びアプリケーションが実行可能な状態であるか否かを判断する。
【０１０８】
例えば、実行判定部３３４は、実行を指示された機能がコピーであった場合、コピーに関するアプリケーションがデバイスＩＤと紐づくＭＦＰ１０にインストールされていない場合、又はアプリケーションが起動中などで使用できない場合、ユーザに対して通知を行う。例えば、実行判定部３３４は、「アプリケーションがインストールされていません」又は「アプリケーションは現在利用できません」とのレスポンスを含むレスポンス情報を形成する。ここで、実行判定部３３４は、対策方法をレスポンスに含めてもよい。なお、アプリケーションの状態の確認は、操作音声変換プログラム３１からインテント及びパラメータ、デバイスＩＤを取得した他の任意のタイミングで行ってもよい。
【０１０９】
また、実行判定部３３４は、レスポンス情報の送信に先立ち、機器情報取得部３３３が機器情報を取得することで、又は機器情報取得部３３３が予め取得した機器情報を読み出すことで機器情報を取得する（ステップＳ３１）。取得した機器情報は、例えばユーザが指示したジョブ種類及びジョブ条件が通信対象で実行可能か否かを判断する際に利用される。
【０１１０】
実行判定部３３４は、インテント及びパラメータに基づいて、ジョブ実行に必要な条件が全て揃っているか否かを判断する（ステップＳ３２）。例えば、実行判定部３３４は、必須パラメータを満たしているか否かを判断し、必須パラメータを満たしていない場合には、操作音声変換プログラム３１にレスポンス情報を送信する（ステップＳ３３）。また、操作音声変換プログラム３１は、スマートスピーカー２０に対してレスポンス情報を送信する（ステップＳ３４）。
【０１１１】
ここで、レスポンス情報には、テキストデータ、音声データ、画像データを含むことができる。ここでは一例として、「コピーしますか？スキャンしますか？」のテキストデータを送信する。なお、ユーザに対してジョブの種類又はジョブの設定条件の入力を促すメッセージであれば内容はこれに限定されない。また、スマートスピーカー２０でテキストデータを音声データに変換することができない場合には、音声データとして送信してもよい。
【０１１２】
スマートスピーカー２０の音声フィードバック部２１３は、「コピーしますか？スキャンしますか？」との音声フィードバックを行う（ステップＳ３５）。スマートスピーカー２０は、ユーザに対するフィードバックは、音声出力だけでなく、タッチパネル２０７にテキスト又は画像を表示することで行ってもよい。また、音声アシスタントプログラム３２の起動を指示する際に、ジョブの種類及び設定条件を指定していた場合、上記のステップは省略してもよい。
【０１１３】
図１３は、本実施形態に係る音声操作システム１が実行する音声操作によるコピー設定処理の一例を示すシーケンス図である。
【０１１４】
ユーザは「コピー」と発話する（ステップＳ５１）。または、ユーザは、音声アシスタントプログラム３２の起動指示の際に「コピー」と発話する。この時、スマートスピーカー２０の通信制御部２１２は、クラウドサービス装置３０に対して、「コピー」との音声データを送信する。（ステップＳ５２）。
【０１１５】
操作音声変換プログラム３１のテキスト変換部３１２は、「コピー」との音声データをテキストデータに変換する（ステップＳ５３）。操作音声変換プログラム３１の解釈部３１３は、音声アシスタントプログラム３２から提供された辞書情報に基づいて、テキストデータを解釈する（ステップＳ５４〜ステップＳ５６）。
【０１１６】
ここで、解釈部３１３は、図９及び図１０を用いて説明したように、テキストデータで示されるユーザの発話フレーズに基づいて、インテント及びパラメータを解釈する。ここでは、「Ｃｏｐｙ＿Ｅｘｅｃｕｔｅ」としたインテントを解釈結果として生成し、管理プログラム３３へ送信する。この例の場合、ユーザは、「コピー」としか発話していないため、コピー部数等が不明となる（入力不足）。また、解釈部３１３は、解釈結果を管理プログラム３３に送信する（ステップＳ５７）。
【０１１７】
管理プログラム３３の実行判定部３３４は、解釈結果に基づいて、必須パラメータを満たしていないと判断する（ステップＳ５８）。これにより、クラウドサービス装置３０は、スマートスピーカー２０に対して不足しているパラメータを問い合わせる。
【０１１８】
管理プログラム３３の通知部３３５は、「設定値を入力してください」とのレスポンス情報（Ｒｅｓｐｏｎｓｅ）を、操作音声変換プログラム３１を介して、スマートスピーカー２０に送信する（ステップＳ５９〜ステップＳ６０）。
【０１１９】
ここで、管理プログラム３３の通知部３３５は、操作音声変換プログラム３１に対してレスポンス情報を送信するとき、セッションが継続していることを示す状態情報を送信してもよい。状態情報は、セッションの状況を示す情報である。例えば、通知部３３５は、外部装置に対するジョブ実行命令の送信がまだ行われておらずユーザによるジョブの設定処理が継続中である場合にはセッションが継続していることを示す状態情報を送信する。一方、通知部３３５は、外部装置に対するジョブ実行命令の送信が完了した場合にはセッションが終了したことを示す状態情報を送信する。
【０１２０】
ただし、状態情報はこれに限定されず、より詳細にセッションの状況を示す状態情報を含んでもよい。操作音声変換プログラム３１の解釈部３１３は、状態情報に応じて、セッションを継続するか終了するか否かを判断することができる。つまり、操作音声変換プログラム３１は、セッションが継続中である場合には、ユーザが複数回の発話に分けてジョブ設定条件を指定した場合であっても一つのジョブに属するものであると判断する。また、操作音声変換プログラム３１は、セッションが終了した場合には、ユーザの発話に含まれるジョブ設定条件は新規のジョブに属するものであると判断する。
【０１２１】
これにより、操作音声変換プログラム３１は、ジョブの種類及びジョブ設定条件の指示が複数回の発話に跨るような場合であったとしても、同一のジョブに属するものか、別の新規なジョブに属するものかを判断することができる。なお、操作音声変換プログラム３１は、スマートスピーカー２０から信号を受信しない状況が所定時間以上継続した場合は、セッションの終了を判断してもよい。クラウドサービス装置３０がセッションを管理する場合であっても、通信対象であるＭＦＰ１０は、セッションに関わらずジョブ実行を行ってもよい。
【０１２２】
この場合、ＭＦＰ１０は、ジョブ実行命令を取得すると、ＭＦＰ１０が保持するジョブ条件に対して、ジョブ実行命令に含まれるジョブ条件を上書きして設定する。このとき、ＭＦＰ１０は、ＭＦＰ１０で保持するジョブ条件を全て削除、又はデフォルト条件に戻して、ジョブ実行命令に含まれるジョブ条件を設定してもよい。また、ＭＦＰ１０は、ＭＦＰ１０で保持するジョブ条件と矛盾するジョブ条件についてはジョブ実行命令に含まれるジョブ条件を優先して上書き設定し、矛盾しないジョブ条件は通信対象が予め保持していたジョブ条件を維持してもよい。なお、ＭＦＰ１０は、ジョブを実行した場合はジョブ実行命令に含まれるジョブ条件を削除して、ＭＦＰ１０予め登録されたデフォルト状態にすることができる。
【０１２３】
スマートスピーカー２０の音声フィードバック部２１３は、スピーカー部２０８を介して「設定値を入力してください」との音声出力を行うと共に、タッチパネル２０７に対して「設定値を入力してください」とのテキスト表示を行う（ステップＳ６１）。なお、音声出力又はタッチパネル２０７のテキスト表示の一方は省略してもよい。
【０１２４】
次に、入力不足フィードバックがあったため、ユーザは、例えば「両面で」と発話する（ステップＳ６２）。スマートスピーカー２０の通信制御部２１２は、クラウドサービス装置３０に対して、「両面で」との音声データを送信する（ステップＳ６３）。
【０１２５】
操作音声変換プログラム３１のテキスト変換部３１２は、「両面で」との音声データをテキストデータに変換する（ステップＳ６４）。操作音声変換プログラム３１の解釈部３１３は、音声アシスタントプログラム３２から提供された辞書情報に基づいて、テキストデータを解釈する（ステップＳ６５〜ステップＳ６７）。ここでは、「印刷面＝両面」としたパラメータを解釈結果として生成する。そして、解釈部３１３は、前回の発話に含まれるインテント及びパラメータと合わせて、「Ｃｏｐｙ＿Ｅｘｅｃｕｔｅ」としたインテント、及び「印刷面＝両面」としたパラメータを含む解釈結果を管理プログラム３３へ送信する（ステップＳ６８）。
【０１２６】
実行判定部３３４は、スマートスピーカー２０から取得したパラメータが全ての必須パラメータの設定を行っているか否かを判断する（ステップＳ６９）。この例の場合、ユーザは、「コピー」及び「両面で」としか発話していないため、コピー部数等が不明となる（必須パラメータ不足）。なお、操作音声変換プログラム３１が前回の発話の解釈結果と今回の発話の解釈結果とを統合してインテント及びパラメータを生成する場合について説明したが、これに限定されない。すなわち、管理プログラム３３は、前回の発話の解釈結果を記憶しておき、管理プログラム３３によって前回の発話の解釈結果と今回の発話の解釈結果とを統合してインテント及びパラメータを生成してもよい。この場合、解釈部３１３は、今回の発話によって新たに取得した、「印刷面＝両面」としたパラメータのみを管理プログラム３３へ送信してもよい。
【０１２７】
複数のパラメータのうち、いずれのパラメータが必須パラメータであるかは、クラウドサービス装置３０の記憶部３０４に予め記憶しておくことができる。この場合、実行判定部３３４は、記憶部３０４に記憶された必須パラメータの情報に基づいて、スマートスピーカー２０から取得したパラメータが全ての必須パラメータの設定を行っているか否かを判断する。実行判定部３３４は、必須パラメータについて設定が行われていない場合は、必須パラメータの設定を行うように、スマートスピーカー２０を介してユーザへ促す。
【０１２８】
このため、管理プログラム３３の通知部３３５は、「何部印刷しますか？」とのレスポンス情報（Ｒｅｓｐｏｎｓｅ）を、操作音声変換プログラム３１を介して、スマートスピーカー２０に送信する。（ステップＳ７０〜ステップＳ７１）。
【０１２９】
スマートスピーカー２０の音声フィードバック部２１３は、スピーカー部２０８を介して「何部印刷しますか？」との音声出力を行うと共に、タッチパネル２０７に対して「何部印刷しますか？」とのテキスト表示を行う（ステップＳ７２）。
【０１３０】
図１４は、本実施形態に係る音声操作システム１が実行する音声操作による部数設定処理の一例を示すシーケンス図である。
【０１３１】
再度、入力不足フィードバックがあったため、ユーザは、例えば「２部」と発話する（ステップＳ９１）。スマートスピーカー２０の通信制御部２１２は、クラウドサービス装置３０に対して、「２部」との音声データを送信する（ステップＳ９２）。
【０１３２】
操作音声変換プログラム３１のテキスト変換部３１２は、「２部」との音声データをテキストデータに変換する（ステップＳ９３）。操作音声変換プログラム３１の解釈部３１３は、音声アシスタントプログラム３２から提供された辞書情報に基づいて、テキストデータを解釈する（ステップＳ９４〜ステップＳ９６）。
【０１３３】
ここでは、解釈部３１３は、「部数＝２部」としたパラメータを解釈結果として生成する。そして、解釈部３１３は、以前の発話に含まれるインテント及びパラメータと合わせて、「Ｃｏｐｙ＿Ｅｘｅｃｕｔｅ」としたインテント、及び「印刷面＝両面、部数＝２部」としたパラメータを含む解釈結果を管理プログラム３３へ送信する（ステップＳ９７）。
【０１３４】
実行判定部３３４は、スマートスピーカー２０から取得したパラメータが全ての必須パラメータの設定を行っているか否かを判断する（ステップＳ９８）この例の場合、ユーザが「２部」との音声データを送信することで、コピーのジョブに対する必須パラメータ不足が解消する。
【０１３５】
このため、管理プログラム３３の通知部３３５は、「両面で２部コピーします。よろしいですか？」とのレスポンス情報を、操作音声変換プログラム３１を介して、スマートスピーカー２０に送信する（ステップＳ９９〜ステップＳ１００）。
【０１３６】
スマートスピーカー２０の音声フィードバック部２１３は、必須パラメータ不足が解消し、コピーを開始する準備が整ったためレスポンス情報に含まれるＲｅｓｐｏｎｃｅに基づいて音声出力する（ステップＳ１０１）。例えば、音声フィードバック部２１３は、「両面で２部コピーします。よろしいですか？」との入力確認フィードバックのテキストを音声出力する。
【０１３７】
ここで、スマートスピーカー２０は、レスポンス情報に含まれるテキストデータ及び音声データを出力することに代えて、記憶部２０４に記憶されたテキストデータの中から全て、又は一部を読み出し、組み合わせることで生成してもよい。この入力確認フィードバックに対して、ユーザは、設定値の変更又はコピーの開始を指示する音声入力を行う。
【０１３８】
ここで、ステップＳ１０２〜ステップＳ１１２は、設定値の変更を音声指示した場合の動作の流れを示している。
【０１３９】
ユーザは、設定値を変更する発話を行う（ステップＳ１０２）。スマートスピーカー２０の通信制御部２１２は、クラウドサービス装置３０に対して音声データを送信する（ステップＳ１０３）。
【０１４０】
操作音声変換プログラム３１のテキスト変換部３１２は、設定値を変更する音声データをテキストデータに変換する（ステップＳ１０４）。操作音声変換プログラム３１の解釈部３１３は、音声アシスタントプログラム３２から提供された辞書情報に基づいて、テキストデータを解釈する（ステップＳ１０５〜ステップＳ１０７）。解釈部３１３は、解釈結果を管理プログラム３３に送信する（ステップＳ１０８）。
【０１４１】
実行判定部３３４は、スマートスピーカー２０から取得したパラメータが全ての必須パラメータの設定を行っているか否かを判断する（ステップＳ１０９）。そして、管理プログラム３３の通知部３３５は、判断結果に応じたレスポンス情報を、操作音声変換プログラム３１を介して、スマートスピーカー２０に送信する（ステップＳ１１０〜ステップＳ１１１）。
【０１４２】
スマートスピーカー２０の音声フィードバック部２１３は、レスポンス情報に含まれるＲｅｓｐｏｎｃｅに基づいて、例えば「○○設定でコピーします。よろしいですか？」との音声フィードバックを行う（ステップＳ１１２）。
【０１４３】
図１５のシーケンス図のステップＳ１３１〜ステップＳ１４３が、コピーの開始を指示した際の各部の動作の流れである。上述の入力確認フィードバックにより、ユーザは「はい」と応答する（ステップＳ１３１）。スマートスピーカー２０の通信制御部２１２は、クラウドサービス装置３０に対して音声データを送信する（ステップＳ１３２）。
【０１４４】
操作音声変換プログラム３１のテキスト変換部３１２は、音声データをテキストデータに変換する（ステップＳ１３３）。
【０１４５】
操作音声変換プログラム３１の解釈部３１３は、音声アシスタントプログラム３２から提供された辞書情報に基づいて、テキストデータを解釈する（ステップＳ１３４〜ステップＳ１３６）。ここでは、解釈部３１３は、テキストデータに基づいてコピー開始指示を認識すると、「Ｃｏｐｙ＿Ｅｘｅｃｕｔｅ」としたインテントに、「印刷面＝両面」及び「部数＝２部」とのパラメータを付加した解釈結果を生成する。
【０１４６】
解釈部３１３は、解釈結果を管理プログラム３３に送信する（ステップＳ１３７）。ただし、管理プログラム３３の実行判定部３３４によって解釈結果が必須パラメータを満たしていると判断された場合、入力確認フィードバックは省略してもよい。
【０１４７】
管理プログラム３３の実行判定部３３４は、解釈結果が必須パラメータを満たしているか否かを判定する（ステップＳ１３８）。解釈結果変換部３３１は、解釈結果は必須パラメータを満たしていると判断された場合、解釈結果をＭＦＰ１０のジョブ命令に変換する（ステップＳ１３９）。そして、実行指示部３３２は、変換したジョブ命令をＭＦＰ１０に送信する（ステップＳ１４０）。これにより、ＭＦＰ１０は、音声操作により、コピーを実行する。
【０１４８】
管理プログラム３３の通知部３３５は、ジョブ命令によりジョブの実行をスタートしたことを示すレスポンス情報を、操作音声変換プログラム３１を介して、スマートスピーカー２０に送信する（ステップＳ１４１〜ステップＳ１４２）。
【０１４９】
スマートスピーカー２０の音声フィードバック部２１３は、レスポンス情報に含まれるＲｅｓｐｏｎｃｅに基づいて、例えば「スタートします」との音声フィードバックを行う（ステップＳ１４３）。
【０１５０】
（クラウドサービス装置３０からフィードバックされる情報の例）
図１６は、エラー発生時における対話式の音声操作の流れを示す図である。以上では、スマートスピーカー２０の音声フィードバック部２１３は、レスポンス情報に含まれるテキストデータ及び音声データを出力する場合について説明した。しかしながら、音声フィードバック部２１３は、これらに限定されず、レスポンス情報に含まれる情報に基づいてスマートスピーカー２０の記憶部２０４に記憶されたテキストデータの中から全て、又は一部を読み出し、組み合わせることで生成してもよい。以下の表２に、クラウドサービス装置３０からスマートスピーカー２０にフィードバックされるレスポンス情報とフィードバックの一例を示す。
【０１５１】
【表２】
2020155997.tif 000004
【０１５２】
この表２に示すように、例えばジョブの設定値の入力促すための「Ｃｏｐｙ＿Ｐａｒａｍｅｔｅｒ＿Ｓｅｔｔｉｎｇ」、ジョブの設定値の確認を促すための「Ｃｏｐｙ＿Ｃｏｎｆｉｒｍ」等のインテントが、レスポンス情報に含められて、クラウドサービス装置３０からスマートスピーカー２０にフィードバックされる。
【０１５３】
スマートスピーカー２０の音声フィードバック部２１３は、レスポンス情報に含まれるインテント、パラメータ、レスポンスに応じて、ユーザに対するフィードバックを判断する。音声フィードバック部２１３は、フィードバックする内容を決定するために、表２に相当する情報をスマートスピーカー２０の記憶部２０４に記憶し、参照できる構成としてもよい。なお、表２では、コピーの場合を例に説明したが、プリント、スキャン、ＦＡＸも表２と同様にアクションとして、ジョブの設定値の入力促すための「Ｐａｒａｍｅｔｅｒ＿Ｓｅｔｔｉｎｇ」、ジョブの設定値の確認を促すための「Ｃｏｎｆｉｒｍ」が用いられてもよい。なお、レスポンス情報には、インテント及びパラメータ又はレスポンスの少なくとも一方が含まれていればよい。
【０１５４】
また、クラウドサービス装置３０は、例えば両面又は片面等の印刷面の設定値、又は、コピー部数等のパラメータを、レスポンス情報に含めてスマートスピーカー２０にフィードバックする。さらに、必須パラメータが不足している場合、クラウドサービス装置３０は、不足するパラメータの入力を促すメッセージを、レスポンスとして信号に含めてスマートスピーカー２０にフィードバックする。
【０１５５】
（ジョブの実行動作及びエラー発生時の対話）
次に、図１７は、例えば「ジョブを実行します。よろしいですか？」等の、上述の入力確認フィードバックにより、ユーザが「はい」と応答することで、ジョブが実行され、又は、エラーが発生した場合の対話の一例を示す。
【０１５６】
まず、「ジョブを実行します。」等の、上述の入力確認フィードバックにより、ユーザが「はい」と応答することで、ＭＦＰ１０においてジョブが実行される。何事もなくジョブが完了すれば、例えば「ジョブが完了しました。原稿の取り忘れに注意してください。」等の完了メッセージ（音声及びテキスト）が、スマートスピーカー２０を介して出力される。
【０１５７】
これに対して、例えば用紙不足のエラーが発生した場合、スマートスピーカー２０を介して「用紙がありません。用紙を補充して継続するか、ジョブをキャンセルしてください」等のジョブの確認フィードバックが行われる。この確認フィードバックに対して、ユーザがＭＦＰ１０に用紙を補充し、「継続」との発話により応答した場合、ＭＦＰ１０に対してジョブの継続が指示され、ＭＦＰ１０においてジョブが再開される。これに対して、確認フィードバックにより、ユーザが「キャンセル」との発話することで、ジョブのキャンセルを指示した場合、ＭＦＰ１０に対してジョブのキャンセルが通知され、エラー発生以降のジョブがキャンセルされる。そして、スマートスピーカー２０を介して、例えば「ジョブをキャンセルしました」等の音声及びテキストを出力する確認フィードバックが行われる。
【０１５８】
（ジョブの実行動作及びエラー発生時の対話動作の流れ）
図１７は、本実施形態に係る音声操作システム１が実行する音声操作による確認処理の一例を示すシーケンス図である。
【０１５９】
ＭＦＰ１０は、指示されたジョブを実行することで、正常にジョブが完了した旨の実行結果、又は、エラーが発生したことを示す実行結果をクラウドサービス装置３０の管理プログラム３３に送信する（ステップＳ１６１）。管理プログラム３３は、操作音声変換プログラム３１に実行結果を送信する（ステップＳ１６２）。また、操作音声変換プログラム３１は、スマートスピーカー２０に対して実行結果を送信する（ステップＳ１６３）。
【０１６０】
正常にジョブが完了した旨の実行結果を受信した場合、スマートスピーカー２０の音声フィードバック部２１３は、例えば「ジョブが完了しました」等の音声メッセージを出力する（ステップＳ１６４）。
【０１６１】
これに対して、エラーが発生した旨の実行結果を受信した場合、スマートスピーカー２０の音声フィードバック部２１３は、例えば「エラーが発生しました。ジョブを継続しますか、キャンセルしますか？」等の、ジョブの継続の是非を問う音声メッセージを出力する（ステップＳ１６５）。
【０１６２】
具体的には、ＭＦＰ１０は、ジョブが完了した場合には完了通知を管理プログラム３３に対して送信する。また、ＭＦＰ１０は、エラーが発生した場合にはエラー内容などエラーに関するエラー情報を管理プログラム３３へ送信する。また、管理プログラム３３は、ＭＦＰ１０から取得した情報に応じて、レスポンス情報として、例えば「ジョブが完了しました」又は「エラーが発生しました。ジョブを継続しますか、キャンセルしますか？」等のメッセージを含むレスポンス情報を生成する。そして、管理プログラム３３は、生成したレスポンス情報を、操作音声変換プログラム３１を介して、スマートスピーカー２０へ送信する。
【０１６３】
図１７のステップＳ１６６〜ステップＳ１７６が、ユーザが、継続を指定した場合の各部の動作の流れである。すなわち、「エラーが発生しました。ジョブを継続しますか、キャンセルしますか？」との問い合わせに対し、ユーザは、エラーの発生要因を除去した上で、「継続」と発話する（ステップＳ１６６）。この場合、スマートスピーカー２０の通信制御部２１２は、クラウドサービス装置３０に対して、「継続」との音声データを送信する（ステップＳ１６７）。
【０１６４】
操作音声変換プログラム３１のテキスト変換部３１２は、「継続」との音声データをテキストデータに変換する（ステップＳ１６８）。操作音声変換プログラム３１の解釈部３１３は、音声アシスタントプログラム３２から提供された辞書情報に基づいて、テキストデータで示されるユーザの発話フレーズにしめされたインテント及びパラメータを解釈する（ステップＳ１６９〜ステップＳ１７１）。
【０１６５】
操作音声変換プログラム３１の解釈部３１３は、インテントを「Ｃｏｐｙ＿Ｊｏｂ＿Ｃｏｎｔｉｎｕｅ」とした解釈結果を生成して、管理プログラム３３へ送信する（ステップＳ１７２）。管理プログラム３３の実行指示部３３２は、ＭＦＰ１０に対してジョブの継続を指示する（ステップＳ１７３）。
【０１６６】
さらに、管理プログラム３３の通知部３３５は、レスポンスを「ジョブを継続します」としたレスポンス情報を、操作音声変換プログラム３１を介して、スマートスピーカー２０に送信する（ステップＳ１７４〜ステップＳ１７５）。また、スマートスピーカー２０の音声フィードバック部２１３は、「ジョブを継続します」との入力確認フィードバックを行う（ステップＳ１７６）。
【０１６７】
これに対して、図１７のステップＳ１７７〜ステップＳ１８７が、ユーザが、ジョブのキャンセルを指定した場合の各部の動作の流れである。すなわち、「エラーが発生しました。ジョブを継続しますか、キャンセルしますか？」との問い合わせに対し、ユーザが、「キャンセル」と発話する（ステップＳ１７７）。この場合、スマートスピーカー２０の通信制御部２１２は、クラウドサービス装置３０に対して、「キャンセル」との音声データを送信する（ステップＳ１７８）。
【０１６８】
操作音声変換プログラム３１のテキスト変換部３１２は、「キャンセル」との音声データをテキストデータに変換する（ステップＳ１７９）。操作音声変換プログラム３１の解釈部３１３は、音声アシスタントプログラム３２から提供された辞書情報に基づいて、テキストデータを解釈する（ステップＳ１８０〜ステップＳ１８２）。そして、操作音声変換プログラム３１は、インテントを「Ｃｏｐｙ＿Ｊｏｂ＿Ｃａｎｃｅｌ」とした解釈結果を管理プログラム３３へ送信する（ステップＳ１８３）。
【０１６９】
管理プログラム３３の実行指示部３３２は、ＭＦＰ１０に対してジョブのキャンセルを指示する（ステップＳ１８４）。管理プログラム３３の通知部３３５は、レスポンスを「ジョブをキャンセルします」としたレスポンス情報を、操作音声変換プログラム３１を介して、スマートスピーカー２０に送信する（ステップＳ１８５〜ステップＳ１８６）。
【０１７０】
また、スマートスピーカー２０の音声フィードバック部２１３は、「ジョブをキャンセルします」との入力確認フィードバックを行う（ステップＳ１８７）。
【０１７１】
（対話によるＭＦＰ１０の機器能力に応じたパラメータの調整動作）
次に、実施の形態の音声操作システム１は、ＭＦＰ１０の機器能力に対応したジョブの実行を、対話型操作により実現している。図１８は、本実施形態に係る音声操作システム１が実行する音声操作による実行判定処理の一例を示すシーケンス図である。
【０１７２】
管理プログラム３３の機器情報取得部３３３は、ＭＦＰ１０に対して、例えば処理可能な解像度の問い合わせる（ステップＳ２０１）。すなわち、機器情報取得部３３３は、Ｃａｐａｂｉｌｉｔｙを取得する。
【０１７３】
この問い合わせに対して、ＭＦＰ１０は、「２００ｄｐｉ〜６００ｄｐｉ」等のように、処理可能な解像度を管理プログラム３３に回答する（ステップＳ２０２）。
【０１７４】
管理プログラム３３の通知部３３５は、操作音声変換プログラム３１を介して、解像度をスマートスピーカー２０に送信する（ステップＳ２０３〜ステップＳ２０４）。これにより、スマートスピーカー２０は、ＭＦＰ１０の処理可能な解像度が認識する。
【０１７５】
なお、機器情報取得部３３３は、クラウドサービス装置３０とＭＦＰ１０との通信が確立した後の任意のタイミングで、予め処理能力の情報を取得しておいてもよい。例えば、機器情報取得部３３３は、管理ＤＢ３４にＭＦＰ１０を登録する際に処理能力の情報を取得してもよいし、定期的に処理能力の情報を取得してもよいし、スマートスピーカー２０から音声アシスタントプログラム３２の起動を受け付けたタイミングやスマートスピーカー２０からジョブ命令を受け付けたタイミングで取得してもよい。取得した処理能力の情報は、クラウドサービス装置３０が備える記憶部３０４に記憶しておくことができ、例えば管理ＤＢ３４においてＭＦＰ１０と紐づけて記憶しておいてもよい。また、処理能力の取得は、他のプログラムが実行し、機器情報取得部３３３は他のプログラムが取得した情報を取得することで、間接的にＭＦＰ１０が有する情報を取得してもよい。
【０１７６】
また、機器情報取得部３３３がＭＦＰ１０から取得する処理能力は、解像度の情報に限定されない。機器情報取得部３３３、例えばＭＦＰ１０にインストールされたアプリケーションの種類及びバージョン、印刷速度、処理可能なファイル形式、フィニッシャを含むオプション機器の接続状況など、ＭＦＰ１０で実行可能なジョブの種類やジョブの設定条件に関する情報を取得してもよい。
【０１７７】
ユーザは、スマートスピーカー２０の操作音声変換プログラム３１を起動した後、例えば音声入力によって音声アシスタントプログラム３２の起動を指示する（ステップＳ２０５）。これにより、図１２に示すステップＳ２１からステップＳ３５までの処理と同様の処理が実行される。
【０１７８】
スマートスピーカー２０の音声フィードバック部２１３は、例えば「コピーしますか？スキャンしますか？」等のジョブの指示を促す音声フィードバックを行う（ステップＳ２０６）。これに対して、ユーザは、「スキャン」と発話する（ステップＳ２０７）。スマートスピーカー２０の通信制御部２１２は、クラウドサービス装置３０に対して音声データを送信する（ステップＳ２０８）。
【０１７９】
操作音声変換プログラム３１のテキスト変換部３１２は、音声データをテキストデータに変換する（ステップＳ２０９）。操作音声変換プログラム３１の解釈部３１３は、音声アシスタントプログラム３２から提供された辞書情報に基づいて、テキストデータを解釈する（ステップＳ２１０〜ステップＳ２１２）。そして、解釈部３１３は、インテントを「Ｓｃａｎ＿Ｅｘｅｃｕｔｅ」とした解釈結果を管理プログラム３３へ送信する（ステップＳ２１３）。
【０１８０】
スキャンの指示だけでは、必須パラメータが不足しているため、管理プログラム３３の通知部３３５は、レスポンスを「設定値を入力して下さい」としたレスポンス情報を、操作音声変換プログラム３１を介して、スマートスピーカー２０に送信する（ステップＳ２１４〜ステップＳ２１５）。
【０１８１】
これにより、スマートスピーカー２０の音声フィードバック部２１３は、「設定値を入力して下さい」との入力不足フィードバックを行う（ステップＳ２１６）。
【０１８２】
次に、このような入力不足フィードバックに対して、ユーザが「１０００ｄｐｉで田中さん宛て」と発話する（ステップＳ２１７）。スマートスピーカー２０の通信制御部２１２は、クラウドサービス装置３０に対して音声データを送信する（ステップＳ２１８）。
【０１８３】
操作音声変換プログラム３１のテキスト変換部３１２は、音声データをテキストデータに変換する（ステップＳ２１９）。操作音声変換プログラム３１の解釈部３１３は、音声アシスタントプログラム３２から提供された辞書情報に基づいて、テキストデータを解釈する（ステップＳ２２０〜ステップＳ２２２）。そして、解釈部３１３は、インテントを「Ｓｃａｎ＿Ｅｘｅｃｕｔｅ」、パラメータを「解像度＝１０００ｄｐｉ、宛先＝田中」とした解釈結果を管理プログラム３３に送信する（ステップＳ２２３）。
【０１８４】
管理プログラム３３の実行判定部３３４は、解釈結果に含まれるパラメータに基づいて、ユーザにより指定されたジョブは、ＭＦＰ１０で実行可能か否かを判定する（ステップＳ２２４）。実行判定部３３４は、機器情報取得部３３３によって機器情報を取得することで又は機器情報取得部３３３が予め取得した機器情報を参照することで、通信対象にユーザから指定された設定でジョブ実行可能か否かを判定する。
【０１８５】
図１９は、本実施形態に係る音声操作システム１が実行する音声操作による実行可否処理の一例を示すシーケンス図である。
【０１８６】
ＭＦＰ１０が１０００ｄｐｉの解像度で画像処理が可能であれば、管理プログラム３３の通知部３３５は、レスポンス情報を、操作音声変換プログラム３１を介して、スマートスピーカー２０へ送信する（ステップＳ２４１〜ステップＳ２４２）。レスポンス情報には、「１０００ｄｐｉでスキャンし、田中さん宛てに送信します。よろしいですか？」としたレスポンスが含まれている。
【０１８７】
スマートスピーカー２０の音声フィードバック部２１３は、「１０００ｄｐｉでスキャンし、田中さん宛てに送信します。よろしいですか？」との入力確認フィードバックを行う（ステップＳ２４３）。
【０１８８】
この入力確認フィードバックに対してユーザは「はい」と発話する（ステップＳ２４４）。スマートスピーカー２０の通信制御部２１２は、クラウドサービス装置３０に対して音声データを送信する（ステップＳ２４５）。
【０１８９】
操作音声変換プログラム３１のテキスト変換部３１２は、音声データをテキストデータに変換する（ステップＳ２４６）。操作音声変換プログラム３１の解釈部３１３は、音声アシスタントプログラム３２から提供された辞書情報に基づいて、テキストデータを解釈する（ステップＳ２４７〜ステップＳ２４９）。そして、解釈部３１３は、インテントを「Ｓｃａｎ＿Ｅｘｅｃｕｔｅ」とし、パラメータを「解像度＝１０００、宛先＝田中」とした解釈結果を管理プログラム３３に送信する（ステップＳ２５０）。
【０１９０】
管理プログラム３３の解釈結果変換部３３１は、解釈結果をジョブ命令に変換する（ステップＳ２５１）。管理プログラム３３の実行指示部３３２は、ジョブ命令をＭＦＰ１０に送信する（ステップＳ２５２）。
【０１９１】
さらに、管理プログラム３３は、レスポンスを「ジョブを実行します」としたレスポンス情報を、操作音声変換プログラム３１を介して、スマートスピーカー２０に送信する（ステップＳ２５３〜ステップＳ２５４）。
【０１９２】
また、スマートスピーカー２０の音声フィードバック部２１３は、「ジョブを実行します」との入力確認フィードバックを行う（ステップＳ２５５）。
【０１９３】
これに対して、６００ｄｐｉがＭＦＰ１０の処理能力の限界である場合、ＭＦＰ１０は、ユーザから指定された１０００ｄｐｉの画像処理を実行することは困難である。この場合、実行判定部３３４は、ＭＦＰ１０の処理能力の範囲内で、ユーザが指示した機能又は処理能力値に最も近い機能又は値を選択する（ステップＳ２５６）。
【０１９４】
例えば、実行判定部３３４は、ＭＦＰ１０の処理可能な解像度が２００−６００ｄｐｉの範囲である場合、ユーザが指示した１０００ｄｐｉに最も近い６００ｄｐｉを選択する。つまり、実行判定部３３４は、機器情報又は機器状態に基づいて、解釈結果に含まれるインテント及びパラメータではジョブ実行が不可能と判断した場合、ＭＦＰ１０の処理能力を参照して、ＭＦＰ１０で実行可能な設定条件を選択する。そして、実行判定部３３４は、選択した設定条件に基づいてレスポンス情報を生成する。
【０１９５】
ここで、管理プログラム３３は、操作音声変換プログラム３１から解釈結果に加えて、音声入力元のスマートスピーカー２０を特定するデバイスＩＤを取得することができる。よって、実行判定部３３４は、紐づけ用ＤＢ３５を参照して取得したデバイスＩＤと紐づくＭＦＰ１０を特定し、特定したＭＦＰ１０の処理能力を参照することでジョブ実行の可否を判断することができる。また、ユーザがそもそもＭＦＰ１０の有していない機能の実行を指示した場合、実行判定部３３４は、ジョブを実行できないことを示すレスポンス情報を生成する。
【０１９６】
管理プログラム３３の通知部３３５は、生成したレスポンス情報を、操作音声変換プログラム３１を介して、スマートスピーカー２０に送信する（ステップＳ２５７〜ステップＳ２５８）。なお、管理プログラム３３は、選択した設定条件に関する情報を操作音声変換プログラム３１に送信してもよい。
【０１９７】
スマートスピーカー２０は、「１０００ｄｐｉは指定できません。６００ｄｐｉでスキャンし、田中さん宛てに送信します。よろしいですか？」との確認フィードバックを行う（ステップＳ２５９）。
【０１９８】
このような確認フィードバックに対してユーザは「はい」と発話する（ステップＳ２６０）。スマートスピーカー２０の通信制御部２１２は、クラウドサービス装置３０に対して音声データを送信する（ステップＳ２６１）。
【０１９９】
操作音声変換プログラム３１のテキスト変換部３１２は、音声データをテキストデータに変換する（ステップＳ２６２）。操作音声変換プログラム３１の解釈部３１３は、音声アシスタントプログラム３２から提供された辞書情報に基づいて、テキストデータを解釈する（ステップＳ２６３〜ステップＳ２６５）。解釈部３１３は、インテントを「Ｓｃａｎ＿Ｅｘｅｃｕｔｅ」とし、パラメータを「解像度＝６００、宛先＝田中」とした解釈結果を管理プログラム３３に送信する（ステップＳ２６６）。
【０２００】
管理プログラム３３の解釈結果変換部３３１は、解釈結果をジョブ命令に変換する（ステップＳ２６７）。管理プログラム３３の実行指示部３３２は、ジョブ命令をＭＦＰ１０に送信する（ステップＳ２６８）。
【０２０１】
また、管理プログラム３３の通知部３３５は、レスポンスを「ジョブを実行します」としたレスポンス情報を、操作音声変換プログラム３１を介して、スマートスピーカー２０に送信する（ステップＳ２６９〜ステップＳ２７０）。
【０２０２】
スマートスピーカー２０の音声フィードバック部２１３は、「ジョブを実行します」との入力確認フィードバックを行う（ステップＳ２７１）。これにより、音声入力操作により、処理能力内でジョブが実行されるように、ＭＦＰ１０を操作できる。
【０２０３】
ここで、ＭＦＰ１０は、ＭＦＰ１０内の記憶部１１４に保存されたアドレス帳を参照することで、「田中」に該当する宛先情報を検索する。宛先情報とは、メールアドレスやＦＡＸ番号などの情報である。「田中」に該当する宛先情報がアドレス帳に存在する場合、ＭＦＰ１０は、その宛先に対してＭＦＰ１０でスキャンした画像データを送信する。なお、ＭＦＰ１０は、表示部１０３に宛先情報を表示してユーザに宛先に誤りがないか確認を促す。ユーザがＯＫボタンを押下する等により選択した場合に、宛先に対してスキャンした画像データを送信するものとしてもよい。また、「田中」に該当する宛先がアドレス帳に複数存在する場合は、ＭＦＰ１０は、該当する全ての宛先情報をＭＦＰ１０の表示部１０３に表示して、ユーザに選択させるものとしてもよい。
【０２０４】
（印刷対象を検索して印刷する動作）
次に、所望のファイルを印刷する動作を説明する。図２０は、本実施形態に係る音声操作システム１が実行する音声操作による検索処理の一例を示すシーケンス図である。
【０２０５】
ユーザは、スマートスピーカー２０の操作音声処理プログラム２１を起動した後、例えば音声入力によって音声アシスタントプログラム３２の起動を指示する（ステップＳ２９１）。これにより、図１２に示すステップＳ２１からステップＳ３５までの処理と同様の処理が実行される。
【０２０６】
スマートスピーカー２０の音声フィードバック部２１３は、例えば「コピーしますか？スキャンしますか？」等のジョブの指示を促す音声フィードバックを行う（ステップＳ２９２）。これに対して、ユーザは、「プリント」と発話する（ステップＳ２９３）。
【０２０７】
スマートスピーカー２０の通信制御部２１２は、クラウドサービス装置３０に対して音声データを送信する（ステップＳ２９４）。
【０２０８】
操作音声変換プログラム３１のテキスト変換部３１２は、音声データをテキストデータに変換する（ステップＳ２９５）。操作音声変換プログラム３１の解釈部３１３は、音声アシスタントプログラム３２から提供された辞書情報に基づいて、テキストデータを解釈する（ステップＳ２９６〜ステップＳ２９８）。そして、解釈部３１３は、インテントを「Ｐｒｉｎｔ＿Ｅｘｅｃｕｔｅ」とした解釈結果を管理プログラム３３へ送信する（ステップＳ２９９）。
【０２０９】
「プリント」との指示だけでは、必須パラメータが不足しているため、管理プログラム３３の通知部３３５は、レスポンスを「設定値を入力してください」としたレスポンス情報を、操作音声変換プログラム３１を介して、スマートスピーカー２０に送信する（ステップＳ３００〜ステップＳ３０１）。これにより、スマートスピーカー２０の音声フィードバック部２１３は、「設定値を入力してください」との入力不足フィードバックを行う（ステップＳ３０２）。
【０２１０】
次に、このような入力不足フィードバックに対して、ユーザが「ファイルＡをプリント」と発話する（ステップＳ３０３）。スマートスピーカー２０の通信制御部２１２は、クラウドサービス装置３０に対して音声データを送信する（ステップＳ３０４）。
【０２１１】
操作音声変換プログラム３１のテキスト変換部３１２は、音声データをテキストデータに変換する（ステップＳ３０５）。操作音声変換プログラム３１の解釈部３１３は、音声アシスタントプログラム３２から提供された辞書情報に基づいて、テキストデータを解釈する（ステップＳ３０６〜ステップＳ３０８）。そして、解釈部３１３は、インテントを「Ｐｒｉｎｔ＿Ｅｘｅｔｕｔｅ」、パラメータを「印刷対象＝ファイルＡ」とした解釈結果を管理プログラム３３に送信する（ステップＳ３０９）。
【０２１２】
管理プログラム３３の検索部３３７は、解釈結果に含まれるパラメータに基づいて管理ＤＢ３４からファイルＡを検索する（ステップＳ３１０）。なお、検索する対象は、管理ＤＢ３４に限らずクラウドサービス装置３０とネットワーク５０を介して接続されたサーバであってもよい。また、検索部３３７は、パラメータに含まれる文字列を含むファイル名を検索するだけでなく、ファイルデータ中にパラメータに含まれる文字列を含むファイルを検索してもよい。また、検索部３３７は、ファイルの作成日時やファイル作成者などのファイルの属性に基づいて検索を行ってもよい。
【０２１３】
図２１は、本実施形態に係る音声操作システム１が実行する音声操作による印刷処理の一例を示すシーケンス図である。
【０２１４】
管理ＤＢ３４に、一つだけファイルＡが記録されている場合、検索部３３７は、このファイルＡを印刷データとして設定する（ステップＳ３３１）。また、通知部３３５は、レスポンスとして「ファイルの印刷を開始します。よろしいでしょうか。」のレスポンス情報を、操作音声変換プログラム３１を介して、スマートスピーカー２０へ送信する。
【０２１５】
管理ＤＢ３４に２つ以上のファイルＡが存在する場合、即ち検索部３３７が検索した結果として複数のファイルが見つかる場合がある。このとき、通知部３３５は、レスポンスとして「複数のファイルＡが登録されています。印刷するファイルを選択して下さい。」のレスポンス情報を、操作音声変換プログラム３１を介して、スマートスピーカー２０へ送信する（ステップＳ３３２〜ステップＳ３３３）。このとき、通知部３３５は、それぞれのファイルを特定するための情報として、ファイルの作成日時や作成者、サムネイル画像などをレスポンス情報に含めてもよい。
【０２１６】
スマートスピーカー２０の音声フィードバック部２１３は、「複数のファイルＡが登録されています。印刷するファイルを選択してください」との入力不足フィードバックを行う（ステップＳ３３４）。このとき、音声フィードバック部２１３は、それぞれのファイルを特定するための情報をとしてファイルの作成日時や作成者を音声フィードバックしてもよいし、タッチパネル２０７にファイル一覧を表示してもよい。また、音声フィードバック部２１３は、ファイル一覧としてサムネイル画像を表示することでユーザに選択を促してもよい。
【０２１７】
これに対して、ユーザは、所望のファイルＡを選択する。即ち、ファイルの作成日時や作成者などを発話することでファイルを選択してもよいし、タッチパネル２０７に表示されたファイル一覧から所望のファイルをタッチ操作で選択してもよい。実行指示部３３２は、後述するように、ユーザにより選択されたファイルＡをＭＦＰ１０に送信し印刷要求を行う。
【０２１８】
管理ＤＢ３４にファイルＡが記録されていない場合、通知部３３５は、レスポンスとして「ファイルＡが登録されていません。」のレスポンス情報を、操作音声変換プログラム３１を介してスマートスピーカー２０へ送信する（ステップＳ３３５〜ステップＳ３３６）。スマートスピーカー２０の音声フィードバック部２１３は、「ファイルＡが登録されていません」とのフィードバックを行う（ステップＳ３３７）。
【０２１９】
そして、管理ＤＢ３４に１つだけファイルＡが存在する場合、印刷を希望するファイルＡを選択された場合、又は他のファイルが選択された場合、通知部３３５は、レスポンス情報を送信する。すなわち、通知部３３５は、レスポンスとして「ファイルの印刷を開始します。よろしいでしょうか」のレスポンス情報を、操作音声変換プログラム３１を介して、スマートスピーカー２０へ送信する。スマートスピーカー２０の音声フィードバック部２１３は、例えば「ファイルの印刷を開始します。よろしいでしょうか」との確認フィードバックを行う（ステップＳ３３８）。
【０２２０】
この確認フィードバックに対して、ユーザが「はい」と発話する（ステップＳ３３９）。スマートスピーカー２０の通信制御部２１２は、クラウドサービス装置３０に対して音声データを送信する（ステップＳ３４０）。
【０２２１】
操作音声変換プログラム３１のテキスト変換部３１２は、音声データをテキストデータに変換する（ステップＳ３４１）。操作音声変換プログラム３１の解釈部３１３は、音声アシスタントプログラム３２から提供された辞書情報に基づいて、テキストデータを解釈する（ステップＳ３４２〜ステップＳ３４３）。そして、解釈部３１３は、インテントを「Ｐｒｉｎｔ＿Ｅｘｅｃｕｔｅ」とし、パラメータを「印刷対象＝ファイル、ファイル特定情報Ｘ」とした解釈結果を管理プログラム３３に送信する（ステップＳ３４５）。なお、ファイル特定情報Ｘとは、管理ＤＢ３４に２つ以上のファイルＡが存在した場合に、ユーザが選択したファイルＡを特定するために付加される情報であり、例えばファイルの作成日時や作成者などの情報である。
【０２２２】
管理プログラム３３の解釈結果変換部３３１は、解釈結果をジョブ命令に変換する（ステップＳ３４６）。通知部３３５は、ジョブ命令を、ユーザより選択されたファイルと共にＭＦＰ１０に送信する（ステップＳ３４７）。これにより、ＭＦＰ１０は、ユーザが希望するファイルを印刷する。
【０２２３】
さらに、管理プログラム３３は、レスポンスを「ジョブを実行します」としたレスポンス情報を、操作音声変換プログラム３１を介して、スマートスピーカー２０に送信する（ステップＳ３４８〜ステップＳ３４９）。また、スマートスピーカー２０の音声フィードバック部２１３は、「ジョブを実行します」との入力確認フィードバックを行う（ステップＳ３５０）。
【０２２４】
なお、以上では印刷対象をクラウドサービス装置３０が検索し、検索したファイルをＭＦＰ１０へ送信する場合を例に説明したが、これに限定されない。例えば、クラウドサービス装置３０は、ＭＦＰ１０に対して「印刷対象＝ファイルＡ」としたジョブ命令を送信して、ＭＦＰ１０がファイルＡに該当するファイルを検索してもよい。この場合、ＭＦＰ１０は、ＭＦＰ１０が有する記憶部１１４又はＭＦＰ１０がネットワーク５０を介して接続されたサーバからファイルＡに該当するファイルを検索する。また、ＭＦＰ１０は、検索したファイルが２つ以上存在する場合は、タッチパネル２０７上にファイル一覧を表示させ、ユーザに選択を促す。そして、ＭＦＰ１０は、ユーザが選択したファイルをジョブ実行の対象とする。
【０２２５】
（ＭＦＰの表示言語の変更）
次に、ＭＦＰ１０の表示部１０３に表示される画面の言語種別（表示言語）の変更について説明する。
【０２２６】
音声操作システム１では、ＭＦＰ１０の表示部１０３を用いる第１の変更方法と、スマートスピーカー２０の音声操作による第２の変更方法との何れかの変更方法で、ＭＦＰ１０の表示言語を変更することが可能となっている。ユーザは、所望の変更方法を用いて、ＭＦＰ１０の表示言語を変更することができる。以下、第１の変更方法及び第２の変更方法について説明する。
【０２２７】
図２２は、本実施形態に係る音声操作システム１が実行する第１の変更方法による表示言語変更処理の一例を示すシーケンス図である。
【０２２８】
第１の変更方法では、ユーザは、ＭＦＰ１０の表示部１０３を介して、ＭＦＰ１０の表示言語を他の言語種別に変更する操作を行う（ステップＳ３６１）。
【０２２９】
ＭＦＰ１０の言語設定部１２３は、表示部１０３を介して言語種別を変更する操作を受け付けると、表示部１０３に表示させる各種画面の言語を、変更先の言語種別に変換する（ステップＳ３６２）。表示制御部１２４は、言語設定部１２３が設定した言語種別で表現された画面を表示させる（ステップＳ３６３）。また、言語設定部１２３は、クラウドサービス装置３０に対し、変更後の言語種別を送信する（ステップＳ３６４）。
【０２３０】
管理プログラム３３の機器情報取得部３３３は、ＭＦＰ１０を含む複数の外部装置から言語種別を受信すると、管理部３３６と協働することで、受信した言語種別をその外部装置を特定する装置ＩＤと紐づけて、言語設定ＤＢ３６に登録する（ステップＳ３６５）。
【０２３１】
これにより、クラウドサービス装置３０では、ＭＦＰ１０で使用されている表示言語の言語種別を、ＭＦＰ１０の装置ＩＤと紐づけて記憶し管理する。なお、言語種別と装置ＩＤとの紐づけは、管理ＤＢ３４や３４紐づけ用ＤＢ３５を用いて行ってよい。この場合、機器情報取得部３３３は、デバイスＩＤに紐づけされた装置ＩＤのうち、言語種別を送信したＭＦＰ１０の装置ＩＤに紐づけて言語種別を登録する。
【０２３２】
図２３は、本実施形態に係る音声操作システム１が実行する第２の変更方法による表示言語変更処理の一例を示すシーケンス図である。
【０２３３】
第２の変更方法では、ユーザは、スマートスピーカー２０に対し、例えば、ＭＦＰ１０の表示言語を他の言語種別に変更することを指示する音声（以下、言語変更操作音声）を発話する（ステップＳ３７１）。スマートスピーカー２０の通信制御部２１２は、クラウドサービス装置３０に対して言語変更操作音声の音声データを送信する（ステップＳ３７２）。
【０２３４】
クラウドサービス装置３０では、操作音声変換プログラム３１のテキスト変換部３１２が、音声データをテキストデータに変換する（ステップＳ３７３）。
【０２３５】
操作音声変換プログラム３１の解釈部３１３は、音声アシスタントプログラム３２から提供された辞書情報に基づいて、テキストデータを解釈する（ステップＳ３７４〜ステップＳ３７６）。例えば、テキストデータ中に、コピーの実行等、ＭＦＰ１０に実行させるジョブの内容が含まれている場合には、解釈部３１３は、そのジョブ内容を解釈する。
【０２３６】
また、操作音声変換プログラム３１の言語特定部３１５は、テキストデータや辞書情報等に基づき、表示言語の変更を要求する文言や、変更先の言語種別、変更対象となるＭＦＰ１０を特定する（ステップＳ３７７）。
【０２３７】
例えば、言語変更操作音声が「ＭＦＰの表示を英語に切り替えて」であった場合、言語特定部３１５は、言語変更操作音声中の「英語」及び「切り替えて」の組に基づき、表示言語（言語種別）の変更が要求されたと判断し、変更先の言語種別「英語」を特定する。また、言語特定部３１５は、言語変更操作音声に含まれた「ＭＦＰ」に基づき、変更対象の外部装置（装置ＩＤ）を特定する。
【０２３８】
なお、言語種別の特定方法は、上記の例に限らないものとする。例えば、言語特定部３１５は、スマートスピーカー２０に予め設定された特定の言語種別に基づいて、変更先の言語種別を特定してもよい。この場合、ユーザは、スマートスピーカー２０に対し、当該スマートスピーカー２０が解釈可能な言語、つまりスマートスピーカー２０用に設定された言語種別（例えば、英語）を用いて言語変更操作音声等を発話する。そして、言語特定部３１５は、そのスマートスピーカー２０から送信された音声データが受信又はテキストデータに変換されたことを条件に、当該スマートスピーカー２０に設定された言語種別を、変更先の言語種別として特定する。
【０２３９】
また、例えば、言語特定部３１５は、ユーザが発話に用いた言語種別を、変更先の言語種別として特定してもよい。この場合、ユーザは、スマートスピーカー２０に対し、変更先の言語（例えば、英語）を用いて言語変更操作音声等を発話する。そして、言語特定部３１５は、そのスマートスピーカー２０から送信された音声データのテキストデータ等から発話に使用された言語種別を判別し、判別した言語種別を変更先の言語種別として特定する。
【０２４０】
続いて、解釈部３１３及び言語特定部３１５は、ジョブの解釈結果や、変更先の言語種別、変更対象の装置ＩＤを管理プログラム３３に送信する（ステップＳ３７８）。
【０２４１】
管理プログラム３３の解釈結果変換部３３１は、操作音声変換プログラム３１からジョブの解釈結果、変更先の言語種別、及び変更対象の装置ＩＤを受信すると、言語設定ＤＢ３６に登録された言語種別を参照し、変更先の言語種別と一致するか否かを判定する（ステップＳ３７９）。
【０２４２】
具体的には、解釈結果変換部３３１は、変更対象の装置ＩＤに紐づけされた言語種別を参照し、変更先の言語種別と一致するか否かを判定する。なお、言語設定ＤＢ３６（又は、管理ＤＢ３４、紐づけ用ＤＢ３５）において、デバイスＩＤと装置ＩＤと言語種別とを紐づけて記憶している場合には、解釈結果変換部３３１は、音声データを送信したスマートスピーカー２０のデバイスＩＤに紐づけされた、該当する装置ＩＤの言語種別を参照する。
【０２４３】
ここで、ステップＳ３８０及びステップＳ３８１は、参照した言語種別が、変更先の言語種別と一致した場合の動作の流れを示している。
【０２４４】
解釈結果変換部３３１は、言語種別が一致すると判定した場合、ジョブの解釈結果をジョブ命令に変換する（ステップＳ３８０）。そして、実行指示部３３２は、ジョブ命令を、変更対象の装置ＩＤに対応する外部装置（ＭＦＰ１０）に送信する（ステップＳ３８１）。これにより、ＭＦＰ１０は、管理プログラム３３から受信したジョブ命令を実行する。
【０２４５】
つまり、ＭＦＰ１０で使用されている言語種別が、音声操作で指示された変更先の言語種別と一致する場合には、管理プログラム３３は、表示言語の変更指示を抑制することで、変更先の言語種別がＭＦＰ１０に通知されないよう制御する。また、表示言語の変更以外のジョブが指示されている場合には、そのジョブのジョブ命令のみがＭＦＰ１０に送信される。
【０２４６】
一方、ステップＳ３８２〜ステップＳ３８７は、参照した言語種別が、変更先の言語種別と一致しない場合の動作の流れを示している。
【０２４７】
解釈結果変換部３３１は、言語種別が不一致と判定した場合、変更先の言語種別に言語設定を変更することを指示する言語変更指示を生成するとともに（ステップＳ３８２）、ジョブの解釈結果をジョブ命令に変換する（ステップＳ３８３）。実行指示部３３２は、言語変更指示とジョブ命令とを、変更対象の装置ＩＤに対応する外部装置（ＭＦＰ１０）に送信する（ステップＳ３８４）。なお、言語変更指示は、単一のコマンド文として生成されてもよいし、変更先の言語種別＋表示言語の変更コマンド等の複合文として生成されてもよい。
【０２４８】
ＭＦＰ１０の言語設定部１２３は、管理プログラム３３から受信した言語変更指示に基づき、表示部１０３に表示させる各種画面の言語を、変更先の言語種別に変換する（ステップＳ３８５）。表示制御部１２４は、言語設定部１２３が設定した言語種別で表現された画面を表示させる（ステップＳ３８６）。また、ＭＦＰ１０は、管理プログラム３３から受信したジョブ命令を実行する。
【０２４９】
そして、管理プログラム３３の機器情報取得部３３３は、管理部３３６と協働することで、変更対象の装置ＩＤに紐づけされた言語設定を、変更先の言語種別に更新する（ステップＳ３８７）。
【０２５０】
以上のように、本実施形態に係る音声操作システム１によれば、クラウドサービス装置３０は、ＭＦＰ１０から表示に使用されている表示言語の言語種別を取得して言語設定ＤＢ３６に記憶し、スマートスピーカー２０を介した音声操作により表示言語の変更が指示された場合には、言語設定記憶部に記憶された言語種別と、変更先の言語種別とが一致するか否かを判定し、不一致の場合には、表示言語の変更を指示する指示情報をＭＦＰ１０に送信し、一致した場合には、指示情報の送信を抑制する。
【０２５１】
これにより、音声操作システム１では、ＭＦＰ１０で使用中の言語種別と、音声操作で指示された変更先の言語種別とが一致する場合、ＭＦＰ１０に対し言語種別の変更を指示しないため、クラウドサービス装置３０とＭＦＰ１０との間のデータ量を削減することができる。また、ＭＦＰ１０で使用する言語種別を、音声操作で設定した言語種別に一致させることができるため、表示言語の変更操作に係る利便性を向上させることができる。
【０２５２】
また、音声操作システム１は、音声操作でＭＦＰ１０の表示言語を変更することができるため、手動操作が不要となり、表示言語の変更操作に係る利便性を向上させることができる。
【０２５３】
（変形例１）
上述の実施形態では、スマートスピーカー２０を介した音声操作により、ＭＦＰ１０の表示言語を変更する例を説明した。変形例１では、ＭＦＰ１０の単位又はＭＦＰ１０を使用するユーザの単位で、音声操作による表示言語の変更を有効又は無効とすることが可能な形態について説明する。
【０２５４】
図２４は、変形例１に係る音声操作システム１が実行する表示言語の変更に係る設定処理の一例を示すシーケンス図である。
【０２５５】
ここで、ステップＳ３９１〜ステップＳ３９５は、ＭＦＰ１０（外部装置）の単位で、音声操作による表示言語の変更の有効／無効を設定する場合の動作の流れを示している。
【０２５６】
ユーザは、ＭＦＰ１０の表示部１０３を介して、音声操作による表示言語の変更に係るＭＦＰ１０単位の設定を有効又は無効に設定する（ステップＳ３９１）。
【０２５７】
ここで、表示言語の変更が有効とされた場合には、ＭＦＰ１０の言語設定部１２３は、クラウドサービス装置３０に表示言語の変更が有効にされたことを通知する（ステップＳ３９２）。そして、管理プログラム３３の機器情報取得部３３３は、外部装置（ＭＦＰ１０）から通知を受け付けると、そのＭＦＰ１０の装置ＩＤと紐づけて、音声操作による表示言語の変更を有効に設定する（ステップＳ３９３）。
【０２５８】
一方、表示言語の変更が無効とされた場合には、ＭＦＰ１０の言語設定部１２３は、クラウドサービス装置３０に表示言語の変更が無効にされたことを通知する（ステップＳ３９４）。そして、管理プログラム３３の機器情報取得部３３３は、外部装置（ＭＦＰ１０）から通知を受け付けると、そのＭＦＰ１０の装置ＩＤと紐づけて、音声操作による表示言語の変更を無効に設定する（ステップＳ３９５）。
【０２５９】
また、ステップＳ４０１〜ステップＳ４０６は、ＭＦＰ１０（外部装置）を操作するユーザの単位で、音声操作による表示言語の変更の有効／無効を設定する場合の動作の流れを示している。
【０２６０】
ユーザは、ＭＦＰ１０の表示部１０３を介して、自己を識別可能なユーザＩＤを入力する操作を行う（ステップＳ４０１）。かかる操作は、例えばユーザＩＤとパスワードとを入力するログイン操作であってもよい。
【０２６１】
続いて、ユーザは、ＭＦＰ１０の表示部１０３を介して、音声操作による表示言語の変更に係るユーザ単位の設定を有効又は無効に設定する（ステップＳ４０２）。
【０２６２】
ここで、表示言語の変更が有効とされた場合には、ＭＦＰ１０の言語設定部１２３は、クラウドサービス装置３０に表示言語の変更が有効にされたことを、ユーザＩＤとともに通知する（ステップＳ４０３）。そして、管理プログラム３３の機器情報取得部３３３は、外部装置（ＭＦＰ１０）から通知を受け付けると、そのＭＦＰ１０の装置ＩＤ及び通知されたユーザＩＤと紐づけて、音声操作による表示言語の変更に係る言語変更設定を有効に設定する（ステップＳ４０４）。
【０２６３】
一方、表示言語の変更が無効とされた場合には、ＭＦＰ１０の言語設定部１２３は、クラウドサービス装置３０に表示言語の変更が無効にされたことを、ユーザＩＤとともに通知する（ステップＳ４０５）。そして、管理プログラム３３の機器情報取得部３３３は、外部装置（ＭＦＰ１０）から通知を受け付けると、そのＭＦＰ１０の装置ＩＤ及び通知されたユーザＩＤと紐づけて、言語変更設定を無効に設定する（ステップＳ４０６）。
【０２６４】
以上の処理により、クラウドサービス装置３０では、ＭＦＰ１０の単位で、音声操作による表示言語の変更の有効／無効設定を管理するとともに、当該ＭＦＰ１０を使用するユーザの単位で、音声操作による表示言語の変更の有効／無効設定を管理する。
【０２６５】
なお、ＭＦＰ１０において、ユーザ毎に表示言語を設定可能としてもよく、その場合には、機器情報取得部３３３は、各ユーザが設定した表示言語の言語種別を、該当するユーザＩＤに紐づけるものとする。
【０２６６】
図２５は、変形例１に係る音声操作システム１が実行する第２の変更方法による表示言語変更処理の一例を示すシーケンス図である。なお、ステップＳ４１１〜ステップＳ４１８は、図２３で説明したステップＳ３７１〜ステップＳ３７８の処理と同様であるため、説明を省略する。
【０２６７】
管理プログラム３３の解釈結果変換部３３１は、操作音声変換プログラム３１からジョブの解釈結果、変更先の言語種別、及び変更対象の装置ＩＤを受信すると、その装置ＩＤに紐付された言語変更設定を確認する（ステップＳ４１９）。
【０２６８】
ここで、ステップＳ４２０及びステップＳ４２１は、言語変更設定が無効である場合の動作の流れを示している。
【０２６９】
解釈結果変換部３３１は、装置ＩＤに紐付された言語変更設定が無効と判定した場合、ジョブの解釈結果をジョブ命令に変換する（ステップＳ４２０）。そして、実行指示部３３２は、ジョブ命令を、変更対象の装置ＩＤに対応する外部装置（ＭＦＰ１０）に送信する（ステップＳ４２１）。これにより、ＭＦＰ１０は、管理プログラム３３から受信したジョブ命令を実行する。
【０２７０】
つまり、装置ＩＤに紐付された言語変更設定が無効の場合には、変更先の言語種別はＭＦＰ１０に送信されず、ジョブ命令のみがＭＦＰ１０に送信される。
【０２７１】
一方、ステップＳ４２２〜ステップＳ４２６は、装置ＩＤに紐付された言語変更設定が有効である場合の動作の流れを示している。
【０２７２】
機器情報取得部３３３は、変更対象の装置ＩＤに対応する外部装置（ＭＦＰ１０）から、ＭＦＰ１０を使用しているユーザのユーザＩＤを取得する（ステップＳ４２２）。次いで、解釈結果変換部３３１は、機器情報取得部３３３が取得したユーザＩＤに紐付された言語変更設定を確認する（ステップＳ４２３）。
【０２７３】
ここで、解釈結果変換部３３１は、ユーザＩＤに紐付された言語変更設定が無効と判定した場合、ジョブの解釈結果をジョブ命令に変換する（ステップＳ４２４）。そして、実行指示部３３２は、ジョブ命令を、変更対象の装置ＩＤに対応する外部装置（ＭＦＰ１０）に送信する（ステップＳ４２５）。これにより、ＭＦＰ１０は、管理プログラム３３から受信したジョブ命令を実行する。
【０２７４】
一方、解釈結果変換部３３１は、ユーザＩＤに紐付された言語変更設定が有効と判定した場合、装置ＩＤ又はユーザＩＤに紐付された言語種別を参照し、変更先の言語種別と一致するか否かを判定する（ステップＳ４２６）。そして、音声操作システム１では、図２３で設得したステップＳ３８０〜ステップＳ３８７と同様の処理を実行することで、ステップＳ４２６の判定結果に基づいて、ＭＦＰ１０の表示言語の変更を実行する。
【０２７５】
以上のように、変形例１に係る音声操作システム１によれば、ＭＦＰ１０又はＭＦＰ１０を使用するユーザの単位で、音声操作による表示言語の変更を有効又は無効とすることができる。したがって、変形例１に係る音声操作システム１は、表示言語の変更操作に係る利便性を向上させることができる。
【０２７６】
最後に、上述の実施形態及び変形例は、一例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。
【０２７７】
このような実施形態及び実施形態の変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【０２７８】
１  音声操作システム
１０  ＭＦＰ
２０  スマートスピーカー
３０  クラウドサービス装置
５０  ネットワーク
１１  制御プログラム
２１  操作音声処理プログラム
３１  操作音声変換プログラム
３２  音声アシスタントプログラム
３３  管理プログラム
３４  管理ＤＢ
３５  紐づけ用ＤＢ
３６  言語設定ＤＢ
１２１、２１２  通信制御部
１２２  ジョブ実行部
１２３  言語設定部
１２４  表示制御部
２１１、３１１  取得部
２１３  音声フィードバック部
３１２  テキスト変換部
３１３  解釈部
３１４  出力部
３１５  言語特定部
３２１  提供部
３３１  解釈結果変換部
３３２  実行指示部
３３３  機器情報取得部
３３４  実行判定部
３３５  通知部
３３６  管理部
３３７  検索部
【先行技術文献】
【特許文献】
【０２７９】
【特許文献１】特開２００３−０５１８８７号公報
【図１】
2020155997.tif 000005
【図２】
2020155997.tif 000006
【図３】
2020155997.tif 000007
【図４】
2020155997.tif 000008
【図５】
2020155997.tif 000009
【図６】
2020155997.tif 000010
【図７】
2020155997.tif 000011
【図８】
2020155997.tif 000012
【図９】
2020155997.tif 000013
【図１０】
2020155997.tif 000014
【図１１】
2020155997.tif 000015
【図１２】
2020155997.tif 000016
【図１３】
2020155997.tif 000017
【図１４】
2020155997.tif 000018
【図１５】
2020155997.tif 000019
【図１６】
2020155997.tif 000020
【図１７】
2020155997.tif 000021
【図１８】
2020155997.tif 000022
【図１９】
2020155997.tif 000023
【図２０】
2020155997.tif 000024
【図２１】
2020155997.tif 000025
【図２２】
2020155997.tif 000026
【図２３】
2020155997.tif 000027
【図２４】
2020155997.tif 000028
【図２５】
2020155997.tif 000029