(57)【要約】      （修正有）【課題】利用開始時のスマートスピーカの設定の手間を削減することができる情報処理装置、情報処理システム、制御方法並びにプログラムを提供する。【解決手段】情報処理システムにおいて、スマートスピーカと連携するＭＦＰ（情報処理装置）は、ユーザのスマートカードからユーザの識別ＩＤを読み取るカードリーダを有し、その読み取られた識別ＩＤに紐づく音声制御情報を取得し、その取得した音声制御情報に基づいてスマートスピーカに対し音声設定の変更を要求する。【選択図】図８
2022001997.tif 000002
【特許請求の範囲】
【請求項１】
スマートスピーカと連携する情報処理装置であって、
ユーザの識別情報を取得する第１の取得手段と、
前記取得した識別情報に紐づく音声制御情報を取得する第２の取得手段と、
前記取得した音声制御情報に基づいて前記スマートスピーカに対し音声設定の変更を要求する要求手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記音声設定には、ロケール設定及び音量設定の少なくとも１つが含まれることを特徴とする請求項１記載の情報処理装置。
【請求項３】
前記音声制御情報には、前記ロケール設定の変更に用いられる前記ユーザの使用言語の情報が含まれることを特徴とする請求項２記載の情報処理装置。
【請求項４】
情報処理装置と、スマートスピーカと、スマートスピーカの設定を管理するサーバとが連携する情報処理システムであって、
前記情報処理装置は、
ユーザの識別情報を取得する第１の取得手段と、
前記取得した識別情報に紐づく音声制御情報を取得する第２の取得手段と、
前記取得した音声制御情報に基づいて前記スマートスピーカの音声設定の変更を前記サーバに要求する第１の要求手段とを備え、
前記サーバは、
前記第１の要求手段による要求に基づいて前記スマートスピーカに対し音声設定の変更を要求する第２の要求手段を備え、
前記スマートスピーカは、
前記第２の要求手段による要求に基づいて自機の音声設定を変更する変更手段を備えることを特徴とする情報処理システム。
【請求項５】
前記音声制御情報は、前記ユーザの利用可能ジョブ種の情報を含み、
前記スマートスピーカは、
前記ユーザから前記情報処理システムでジョブを実行させるべく発声することで生じたアナログ音声を検知する検知手段と、
前記検知されたアナログ音声を音声データに変換する変換手段とを更に備え、
前記サーバは、
前記音声データから前記ジョブのジョブ種類を特定する特定手段と、
前記特定されたジョブ種類が、前記ユーザの利用可能ジョブ種の情報に含まれる場合のみ、前記情報処理装置に前記ジョブを実行するためのジョブ情報を生成する生成手段と、
前記ジョブ情報を前記情報処理装置に送信する送信手段とを更に備えることを特徴とする請求項４記載の情報処理システム。
【請求項６】
スマートスピーカと連携する情報処理装置の制御方法であって、
ユーザの識別情報を取得する第１の取得ステップと、
前記取得した識別情報に紐づく音声制御情報を取得する第２の取得ステップと、
前記取得した音声制御情報に基づいて前記スマートスピーカに対し音声設定の変更を要求する要求ステップと、
を有することを特徴とする制御方法。
【請求項７】
情報処理装置と、スマートスピーカと、スマートスピーカの設定を管理するサーバとが連携する情報処理システムの制御方法であって、
前記情報処理装置において、
ユーザの識別情報を取得する第１の取得ステップと、
前記取得した識別情報に紐づく音声制御情報を取得する第２の取得ステップと、
前記取得した音声制御情報に基づいて前記スマートスピーカの音声設定の変更を前記サーバに要求する第１の要求ステップとを実行し、
前記サーバにおいて、
前記第１の要求ステップにおける要求に基づいて前記スマートスピーカに対し音声設定の変更を要求する第２の要求ステップを実行し、
前記スマートスピーカにおいて、
前記第２の要求ステップにおける要求に基づいて自機の音声設定を変更する変更ステップを実行することを特徴とする制御方法。
【請求項８】
請求項６又は７記載の制御方法を実行することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理システム、制御方法、並びにプログラムに関し、特に、音声による操作が可能なスマートスピーカと連携する情報処理装置、これらを含む情報処理システム、制御方法、並びにプログラムに関する。
【背景技術】
【０００２】
スマートスピーカと連携するプリンタ等の事務機器が普及してきている（例えば、特許文献１参照）。
【０００３】
このようなスマートスピーカを快適に使いこなすには、スマートスピーカの設定を適切に調節することが望ましい。その一方、これと連携する事務機器は、オフィス内に置かれる場合、様々なユーザによって利用される。そのため、連携機能を利用するユーザによって、スマートスピーカの快適な操作環境は人によって異なる。例えば、ユーザがスマートスピーカに発話する際の言語、およびスマートスピーカがユーザに対する発話に用いるべき言語は、ユーザによって異なる。そのため、利用ユーザ毎に適切にスマートスピーカの設定をおこなうことが望ましい。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１９−１８３９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、異なるユーザがスマートスピーカの利用を開始する毎に、そのユーザの指示で設定を変更するのは手間である。
【０００６】
そこで、本発明の目的は、利用開始時のスマートスピーカの設定の手間を削減することができる情報処理装置、情報処理システム、制御方法、並びにプログラムを提供することである。
【課題を解決するための手段】
【０００７】
本発明の請求項１に係る情報処理装置は、スマートスピーカと連携する情報処理装置であって、ユーザの識別情報を取得する第１の取得手段と、前記取得した識別情報に紐づく音声制御情報を取得する第２の取得手段と、前記取得した音声制御情報に基づいて前記スマートスピーカに対し音声設定の変更を要求する要求手段と、を備えることを特徴とする。
【０００８】
本発明の請求項４に係る情報処理システムは、情報処理装置と、スマートスピーカと、スマートスピーカの設定を管理するサーバとが連携する情報処理システムであって、前記情報処理装置は、ユーザの識別情報を取得する第１の取得手段と、前記取得した識別情報に紐づく音声制御情報を取得する第２の取得手段と、前記取得した音声制御情報に基づいて前記スマートスピーカの音声設定の変更を前記サーバに要求する第１の要求手段とを備え、前記サーバは、前記第１の要求手段による要求に基づいて前記スマートスピーカに対し音声設定の変更を要求する第２の要求手段を備え、前記スマートスピーカは、前記第２の要求手段による要求に基づいて自機の音声設定を変更する変更手段とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、ユーザが必要な撮影枚数を意識することなく得たい効果が十分な合成画像を得ることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る情報処理システム全体構成の一例を示す図である。
【図２】図１におけるＭＦＰのハードウェアの概略構成例を示すブロック図である。
【図３】図１におけるスマートスピーカのハードウェアの概略構成例を示すブロック図である。
【図４】図１におけるクラウドサーバのコントローラ部のハードウェアの概略構成例を示すブロック図である。
【図５】ＭＦＰのデバイス制御プログラムの機能構成を示すブロック図である。
【図６】スマートスピーカの音声デバイス制御プログラムの機能構成を示すブロック図である。
【図７】クラウドサーバの音声データ変換制御プログラムの機能構成を示すブロック図である。
【図８】情報処理システムにおいて実行される実施例１に係るユーザログイン時の制御シーケンスである。
【図９】図８のステップＳ８０１〜Ｓ８０３においてＭＦＰが実行する、ログイン実行時処理のフローチャートである。
【図１０】図９のステップＳ９０５においてＭＦＰが実行する、ロケール情報取得処理のフローチャートである。
【図１１】図９のステップＳ９０６においてＭＦＰが実行する、音量設定情報取得処理のフローチャートである。
【図１２】図８のステップＳ８０４においてクラウドサーバが実行する、音声デバイス制御設定変更処理のフローチャートである。
【図１３】図８のステップＳ８０５においてスマートスピーカが実行する、音声制御設定変更処理のフローチャートである。
【図１４】情報処理システムにおいて実行される実施例２に係るユーザログイン時の制御シーケンスである。
【図１５】情報処理システムにおいて実行される実施例２に係るジョブ実行時の制御シーケンスである。
【図１６】図１４のステップＳ１４０１〜Ｓ１４０３においてＭＦＰが実行する、ログイン実行時処理のフローチャートである。
【図１７】図１４のステップＳ１４０４においてクラウドサーバが実行する、利用可能ジョブ種変更処理のフローチャートである。
【図１８】図１５のステップＳ１５０６においてクラウドサーバが実行するジョブ実行処理の一部である、ジョブ投入処理のフローチャートである。
【図１９】ＭＦＰにおいてユーザ認証が成功した場合に実行される、ステップＳ９１０での操作パネルのホーム画面の表示切替を示す図である。
【図２０】ＭＦＰ内で保持されるログインユーザ情報テーブルを示す図である。
【図２１】ＭＦＰ内で保持される国設定テーブル、ロケールコードテーブル、ロケールコードルックアップテーブル、音量設定テーブル、及び音量設定ルックアップテーブルを示す図である。
【図２２】ＭＦＰからクラウドサーバに送信される音声制御情報の例を示す図である。
【図２３】クラウドサーバからスマートスピーカに送信される音声デバイス制御情報の例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について図面を用いて説明する。
【００１２】
＜全体構成＞
図１は、本発明の実施形態に係る情報処理システム１００の全体構成の一例を示す図である。
【００１３】
図１において、情報処理システム１００は、情報処理装置として、プリントやスキャン機能を有する複合機（以下、ＭＦＰという）１０１、音声制御装置としてスマートスピーカ１０２、及びクラウドサーバ１０３を含む。ＭＦＰ１０１及びスマートスピーカ１０２は、ネットワーク１０４を介して通信可能である。また、クラウドサーバ１０３は、ゲートウェイ１０５及びネットワーク１０４を介して、ＭＦＰ１０１及びスマートスピーカ１０２と通信可能である。
【００１４】
情報処理システム１００において、クラウドサーバ１０３は、例えば「ジョブ実行」「ジョブ設定」といったスマートスピーカ１０２からＭＦＰ１０１を操作するためのサービスを保持する。また、クラウドサーバ１０３は、スマートスピーカ１０２からネットワーク１０４を介して所定の音声データを受信する。
【００１５】
クラウドサーバ１０３は音声データを受信すると、音声データに対応したサービスを実行し、ネットワーク１０４を介してそのサービスが生成したデバイス操作データをＭＦＰ１０１に送信する。
【００１６】
ＭＦＰ１０１はクラウドサーバ１０３よりデバイス操作データを受信すると、デバイス操作データに対応した処理を実行する。ＭＦＰ１０１は、ネットワーク１０４を介してクラウドサーバ１０３に実行した処理の応答を送信する。
【００１７】
クラウドサーバ１０３はＭＦＰ１０１より実行した処理の応答を受信すると、応答メッセージデータを生成してネットワーク１０４を介してスマートスピーカ１０２に送信する。
【００１８】
スマートスピーカ１０２はクラウドサーバ１０３より応答メッセージデータを受信すると、応答メッセージデータに対応した音声を発声する。
【００１９】
ＭＦＰ１０１は、ＭＦＰ他装置データ１０７及びＭＦＰ自装置データ１０６等の情報を保持する。
【００２０】
ＭＦＰ他装置データ１０７は、サービスを利用するユーザのアカウント情報や、各サービスの結果をクラウドサーバ１０３に通知するための応答通知用ＵＲＬ情報等から成る。
【００２１】
ＭＦＰ自装置データ１０６は、ＭＦＰ１０１にネットワーク経由でアクセスするためのＩＰアドレスやＭＡＣアドレス等から成る。
【００２２】
スマートスピーカ１０２は、スマートスピーカ他装置データ１０９及びスマートスピーカ自装置データ１０８等の情報を保持する。
【００２３】
スマートスピーカ他装置データ１０９は、サービスを利用するアカウント情報、サービス起動ワード、サービス起動ワードに対応するクラウドサーバ１０３のサービスＵＲＬ等から成る。
【００２４】
スマートスピーカ自装置データ１０８は、スマートスピーカ１０２にネットワーク経由でアクセスするためのＩＰアドレスやＭＡＣアドレス等から成る。
【００２５】
クラウドサーバ１０３は、ＭＦＰ１０１、スマートスピーカ１０２がサービスをネットワーク経由でクラウドサーバ１０３のサービスを利用するためのサービスＵＲＬ情報を保持する。
【００２６】
クラウドサーバ１０３は、クラウドサーバ自装置データ１１０及びクラウドサーバ他装置データ１１１等の情報を保持する。
【００２７】
クラウドサーバ自装置データ１１０は、ＭＦＰ１０１が各サービスの結果をクラウドサーバ１０３に通知するための応答通知用ＵＲＬ情報から成る。
【００２８】
クラウドサーバ他装置データ１１１は、サービスを利用するユーザのアカウント、情報処理システム１００において利用するＭＦＰ１０１、スマートスピーカ１０２のＩＰアドレス及びＭＡＣアドレス等から成る。
【００２９】
クラウドサーバ１０３は、クラウドサーバ他装置データ１１１に保持されているＩＰアドレス、ＭＡＣアドレスを利用してＭＦＰ１０１、スマートスピーカ１０２と通信を行う。
【００３０】
ネットワーク１０４は、スマートスピーカ１０２で取得した音声データを、クラウドサーバ１０３へ送信する。また、ネットワーク１０４は、クラウドサーバ１０３からスマートスピーカ１０２に各種データを送信し、クラウドサーバ１０３からプリントジョブやスキャンジョブなどの各種データを送受信する。
【００３１】
ゲートウェイ１０５は、例えば、ＩＥＥＥ８０２．１１規格シリーズに準拠した無線ＬＡＮルータなどである。ただし、他の無線通信方式に従って動作する能力を有してもよい。また、無線ＬＡＮルータではなく、１０ＢＡＳＥ−Ｔ、１００ＢＡＳＥ−Ｔ、１２００ＢＡＳＥ−Ｔなどに代表されるＥｔｈｅｒｎｅｔ規格に準拠した有線ＬＡＮルータなどであってもよく、他の有線通信方式に従って動作する能力を有してもよい。尚、前記ＩＥＥＥ８０２．１１規格シリーズとは、ＩＥＥＥ８０２．１１ａやＩＥＥＥ８０２．１１ｂ等のように、ＩＥＥＥ８０２．１１に属する一連の規格を含む。
【００３２】
尚、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。
【００３３】
＜ＭＦＰの構成＞
図２は、ＭＦＰ１０１のハードウェアの概略構成例を示すブロック図である。
【００３４】
図２において、ＭＦＰ１０１は、コントローラ部２００、これに接続する操作パネル２０９、プリントエンジン２１１、スキャナ２１３、及びカードリーダ２１４を備える。
【００３５】
コントローラ部２００は、ＣＰＵ２０２、ＲＡＭ２０３、ＲＯＭ２０４、ストレージ２０５、ネットワークＩ／Ｆ２０６、ディスプレイコントローラ２０７、操作Ｉ／Ｆ２０８、プリントコントローラ２１０、及びスキャンコントローラ２１２を備える。各構成は、システムバス２０１に接続されており、互いに通信可能である。
【００３６】
ＣＰＵ２０２は、ＭＦＰ１０１全体の動作を制御する。ＣＰＵ２０２は、ＲＯＭ２０４またはストレージ２０５に記憶された制御プログラムを読み出して、読取制御や印刷制御などの各種制御を行う。
【００３７】
ＲＡＭ２０３は、揮発性メモリであり、ＣＰＵ２０２の主記憶メモリ及びワークエリアや、ＲＯＭ２０４に記憶された各種制御プログラムを展開するための一時記憶領域として用いられる。
【００３８】
ＲＯＭ２０４は、不揮発性メモリであり、ＣＰＵ２０２で実行可能な制御プログラムを記憶する。
【００３９】
ストレージ２０５は、ＲＡＭ２０３と比較して大容量な記憶デバイス（例えばハードディスクドライブ：ＨＤＤ）であり、印刷データ、画像データ、各種プログラム、及び各種設定情報（ＭＦＰ他装置データ１０７及びＭＦＰ自装置データ１０６等）を記憶する。尚、ストレージ２０５はソリッドステートドライブ（ＳＳＤ）などでもよく、ハードディスクドライブと同等の機能を有する他の記憶装置に置き換えてもよい。
【００４０】
尚、本実施形態のＭＦＰ１０１では、１つのＣＰＵ２０２が１つのメモリ（ＲＡＭ２０３）を用いて後述するフローチャートに示す各処理を実行するものとするが、他の様態であっても構わない。例えば複数のＣＰＵ、ＲＡＭ、ＲＯＭ、及びストレージを協働させて後述するフローチャートに示す各処理を実行することもできる。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）等のハードウェア回路を用いて一部の処理を実行するようにしてもよい。
【００４１】
ネットワークＩ／Ｆ２０６は、ネットワーク１０４を介してＭＦＰ１０１を外部の装置と通信させるためのインタフェースである。また、ＭＦＰ１０１は、ネットワークＩ／Ｆ２０６を介して受信した印刷データを、ストレージ２０５又はＲＯＭ２０４に記憶された印刷データを解析するためのソフトウェアモジュール（ＰＤＬ解析部、不図示）によって解析する。ＰＤＬ解析部は、様々な種類のページ記述言語（Ｐａｇｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｌａｎｇｕａｇｅ）で表現された印刷データに基づいてプリントエンジン２１１で印刷するためのデータを生成する。
【００４２】
ディスプレイコントローラ２０７は、操作パネル２０９とカードリーダ２１４と接続される。操作Ｉ／Ｆ２０８によって制御された画面を操作パネル２０９に表示し、ユーザが操作パネル２０９を操作すると、ＣＰＵ２０２はディスプレイコントローラ２０７を介してユーザ操作に対応したイベントを取得する。
【００４３】
操作パネル２０９は、タッチパネルにより構成され、操作Ｉ／Ｆ２０８によって制御された画面を表示すると共に、その画面へのユーザ入力を検知する。
【００４４】
プリントコントローラ２１０は、プリントエンジン２１１と接続される。印刷すべき画像データはプリントコントローラ２１０を介してプリントエンジン２１１に転送される。プリントエンジン２１１は制御コマンド及び印刷すべき画像データを受信し、この画像データに基づいた画像をシート上に形成する。プリントエンジン２１１の印刷方式は、電子写真方式であってもよいし、インクジェット方式であってもよい。電子写真方式の場合は、感光体上に静電潜像を形成した後トナーにより現像し、そのトナー像をシートに転写し、転写されたトナー像を定着することにより画像を形成する。一方、インクジェット方式の場合は、インクを吐出してシートに画像を形成する。
【００４５】
スキャンコントローラ２１２は、スキャナ２１３と接続される。スキャナ２１３はシート上の画像を読み取って、画像データを生成する。スキャナ２１３によって生成された画像データはストレージ２０５に記憶される。また、ＭＦＰ１０１では、スキャナ２１３により生成された画像データをプリントエンジン２１１に転送することでシート上に画像を形成することができる。スキャナ２１３は、原稿フィーダ（不図示）を有しており、原稿フィーダに載置されたシートを１枚ずつ搬送させながら読み取ることが可能である。
【００４６】
カードリーダ２１４は、ユーザによりその近傍にスマートカードが近づけられた際、スマートカードから情報を読み取ってユーザ認証を行う。カードリーダ２１４でユーザ認証が成功すると、ユーザはＭＦＰ１０１においてコピー、プリント、スキャンといった複数の機能を利用することが可能となる。
【００４７】
＜スマートスピーカの構成＞
図３は、スマートスピーカ１０２のハードウェア構成例を示すブロック図である。
【００４８】
図３において、スマートスピーカ１０２は、コントローラ部３００と、これに付随するデバイスとして、音声入力デバイスとしてのマイクロフォン３０８、音声出力デバイスとしてのスピーカ３１０、及び通知デバイスとしてのＬＥＤ３１２とを備える。
【００４９】
コントローラ部３００は、ＣＰＵ３０２、ＲＡＭ３０３、ＲＯＭ３０４、ストレージ３０５、ネットワークＩ／Ｆ３０６、マイクＩ／Ｆ３０７、オーディオコントローラ３０９、および表示コントローラ３１１を含む。各構成は、システムバス３０１に接続されており、互いに通信可能である。
【００５０】
ＣＰＵ３０２はコントローラ部３００全体の動作を制御する中央演算装置である。
【００５１】
ＲＡＭ３０３は、揮発性メモリであり、ＣＰＵ３０２の主記憶メモリ及びワークエリアや、ストレージ３０５に記憶された各種制御プログラムを展開するための一時記憶領域として用いられる。
【００５２】
ＲＯＭ３０４は、不揮発性メモリであり、ＣＰＵ３０２の起動用プログラムが格納されている。
【００５３】
ストレージ３０５は、ＲＡＭ３０３と比較して大容量な記憶デバイス（例えばＳＤカード）である。ストレージ３０５にはコントローラ部３００が実行する、スマートスピーカ１０２の制御用プログラムが格納されている。尚、ストレージ３０５はＳＤカード以外のフラッシュＲＯＭなどに置き換えてもよく、ＳＤカードと同等の機能を有する他の記憶デバイスに置き換えてもよい。
【００５４】
ＣＰＵ３０２は電源ＯＮ等の起動時、ＲＯＭ３０４に格納されている起動用プログラムを実行する。この起動用プログラムを実行することにより、ＣＰＵ３０２は、ストレージ３０５に格納されている制御用プログラムを読み出し、ＲＡＭ３０３上に展開する。ＣＰＵ３０２は起動用プログラムを実行すると、続けてＲＡＭ３０３上に展開した制御用プログラムを実行し、制御を行う。また、ＣＰＵ３０２は制御用プログラム実行時に用いるデータもＲＡＭ３０３上に格納して読み書きを行う。ストレージ３０５上にはさらに、制御用プログラム実行時に必要な各種設定などを格納することができ、ＣＰＵ３０２によって読み書きされる。
【００５５】
ネットワークＩ／Ｆ３０６は、ネットワーク１０４を介してスマートスピーカ１０２を外部の装置と通信させるためのインタフェースである。ネットワークＩ／Ｆ３０６は、ＩＥＥＥ８０２．１１規格シリーズに準拠した無線通信方式に従って通信を行うための回路やアンテナを含んで構成される。ただし、無線通信方式でなくＥｔｈｅｒｎｅｔ規格に準拠した有線通信方式であってもよく、無線通信方式に限定するものではない。
【００５６】
マイクＩ／Ｆ３０７は、マイクロフォン３０８に接続され、マイクロフォン３０８から入力されたユーザが発した音声を、符号化された音声データに変換し、ＣＰＵ３０２の指示に応じてＲＡＭ３０３に保持する。
【００５７】
マイクロフォン３０８は、本実施形態においては、スマートフォンなどに搭載される小型のＭＥＭＳマイクロフォンであるが、ユーザの音声を取得できるものであれば他のデバイスに置き換えてもよい。また、マイクロフォン３０８は、ユーザが発した音声の到来方向を算出できるように、３個以上を所定の位置に配して用いることが好ましい。ただし、マイクロフォン３０８が１個であっても本実施形態に係る情報処理システム１００は実現でき、３個以上にこだわるものではない。
【００５８】
オーディオコントローラ３０９は、スピーカ３１０に接続され、ＣＰＵ３０２の指示に応じて音声データをアナログ音声信号に変換し、スピーカ３１０を通じて音声を出力する。
【００５９】
スピーカ３１０は、ユーザが発した音声に対してスマートスピーカ１０２が応答していることを示す応答音、及び、クラウドサーバ１０３によって合成された音声を再生する。スピーカ３１０は音声を再生するための汎用のデバイスである。
【００６０】
表示コントローラ３１１は、ＬＥＤ３１２に接続され、ＣＰＵ３０２の指示に応じてＬＥＤ３１２の表示を制御する。ここでは、表示コントローラ３１１は、スマートスピーカ１０２がユーザの音声を正しく入力していることを示すためのＬＥＤ３１２の点灯制御を主に行う。ＬＥＤ３１２は、例えば、ユーザが可視可能な青色などのＬＥＤである。ＬＥＤ３１２は汎用のデバイスである。尚、スマートスピーカ１０２において、ＬＥＤ３１２の代わりに、文字や絵を表示可能なディスプレイ装置を用いてもよい。
【００６１】
＜クラウドサーバのハードウェア構成＞
図４は、クラウドサーバ１０３のコントローラ部４００のハードウェアの概略構成例を示すブロック図である。
【００６２】
図４に示すように、コントローラ部４００は、ＣＰＵ４０２、ＲＡＭ４０３、ＲＯＭ４０４、ストレージ４０５、ネットワークＩ／Ｆ４０６を含む。各構成は、システムバス４０１に接続されており、互いに通信可能である。
【００６３】
ＣＰＵ４０２は、コントローラ部４００全体の動作を制御する中央演算装置である。
【００６４】
ＲＡＭ４０３は、揮発性メモリである。
【００６５】
ＲＯＭ４０４は、不揮発性メモリであり、ＣＰＵ４０２の起動用プログラムが格納されている。
【００６６】
ストレージ４０５は、ＲＡＭ４０３と比較して大容量な記憶装置（例えばハードディスクドライブ：ＨＤＤ）である。ストレージ４０５にはコントローラ部４００が実行する、クラウドサーバ１０３の制御用プログラムが格納されている。尚、ストレージ４０５はソリッドステートドライブ（ＳＳＤ）などでもよく、ハードディスクドライブと同等の機能を有する他の記憶装置に置き換えてもよい。
【００６７】
ＣＰＵ４０２は電源ＯＮ等の起動時、ＲＯＭ４０４に格納されている起動用プログラムを実行する。この起動用プログラムを実行することにより、ＣＰＵ４０２は、ストレージ４０５に格納されている制御用プログラムを読み出し、ＲＡＭ４０３上に展開する。ＣＰＵ４０２は起動用プログラムを実行すると、続けてＲＡＭ４０３上に展開した制御用プログラムを実行し、制御を行う。また、ＣＰＵ４０２は制御用プログラム実行時に用いるデータもＲＡＭ４０３上に格納して読み書きを行う。ストレージ４０５上にはさらに、制御用プログラム実行時に必要な各種設定を格納することができ、ＣＰＵ４０２によって読み書きされる。
【００６８】
ネットワークＩ／Ｆ４０６は、ネットワーク１０４を介してクラウドサーバ１０３を外部の装置と通信させるためのインタフェースである。
【００６９】
＜ＭＦＰのデバイス制御プログラムの機能構成＞
図５は、ＭＦＰ１０１のデバイス制御プログラム５００の機能構成を示すブロック図である。
【００７０】
デバイス制御プログラム５００は、前述したＲＯＭ２０４に格納される制御プログラムの１つであり、ＣＰＵ２０２がその起動時にＲＡＭ２０３上に展開して実行する。
【００７１】
図５に示すように、デバイス制御プログラム５００は、データ送受信部５０１、データ解析部５０２、ジョブ制御部５０３、データ管理部５０４、表示部５０５、操作対象判定部５０６、スキャン部５０７、及びプリンタ部５０８を備える。
【００７２】
データ送受信部５０１は、ネットワークＩ／Ｆ２０６を介して、ネットワーク１０４に直接又は間接的に接続するスマートスピーカ１０２及びクラウドサーバ１０３とＴＣＰ／ＩＰによるデータの送受信を行う。データ送受信部５０１は、クラウドサーバ１０３が生成するデバイス操作データを受信する。また、データ送受信部５０１は、ジョブ実行結果、デバイス操作結果の応答の画面表示内容が更新されたことを示す画面更新通知、及び、ジョブの状態を示すジョブ実行状態通知をクラウドサーバ１０３へ送信する。画面更新通知やジョブ実行状態通知の内容に関しては図８、図１４のシーケンスを用いて後述する。
【００７３】
データ解析部５０２は、データ送受信部５０１が受信したデバイス操作データや操作対象判定部５０６から受信したジョブパラメータ及びジョブ開始指示をデバイス制御プログラム５００内の各モジュールが通信するコマンドに変換する。その後、データ解析部５０２は、その変換後のコマンドをジョブ制御部５０３、データ管理部５０４、及び表示部５０５のうちの少なくとも１つの対応するデバイスに送信する。
【００７４】
ジョブ制御部５０３は、プリンタ部５０８に対し、プリントコントローラ２１０を介したプリントエンジン２１１の制御指示を行うと共に、スキャン部５０７に対し、スキャンコントローラ２１２を介したスキャナ２１３の制御指示を行う。例えば、表示部５０５が操作パネル２０９にコピー機能画面を表示中に、操作対象判定部５０６がその画面中のスタートキーの押下を検知した場合、データ解析部５０２は操作対象判定部５０６からコピージョブのジョブパラメータとジョブ開始指示を受信する。データ解析部５０２は、受信したジョブパラメータからスキャンジョブパラメータを含むスキャンコマンド及びプリンタジョブパラメータを含むプリントコマンドを生成する。その後、データ解析部５０２は、生成したスキャンコマンドをスキャン部５０７へ送信し、プリントコマンドをプリンタ部５０８へ送信する。これにより、スキャナ２１３によって読取られた画像データをプリントエンジン２１１でシートに印刷するよう制御する。尚、スキャン、及び、プリント制御の仕組みについては、主旨ではないため、これ以上の説明は割愛する。
【００７５】
データ管理部５０４は、デバイス制御プログラム５００の実行において生成した作業データや、各デバイス制御に必要な設定パラメータ（ＭＦＰ設定情報）など様々なデータをＲＡＭ２０３およびストレージ２０５上の所定の領域へ保存し、管理する。例えば、後述するジョブ制御部５０３で生成する各種ジョブのパラメータ設定項目及びその設定値の組み合わせから成るジョブデータや、操作パネル２０９に表示する言語の情報である表示言語設定情報などがデータ管理部５０４で保存・管理される。また、データ管理部５０４は、ゲートウェイ１０５との通信に必要な認証情報、クラウドサーバ１０３と通信するために必要なデバイス情報などを保存し、管理する。データ管理部５０４は、また、ＭＦＰ１０１で画像形成する対象の画像データを保存し、管理する。また、データ管理部５０４は、表示部５０５が画面表示制御に用いる画面制御情報と、操作対象判定部５０６が操作対象を判定するために用いる操作対象判定情報とを、表示部５０５が表示制御する操作パネル２０９の画面ごとに管理する。
【００７６】
さらに、データ管理部５０４は、ログインユーザ情報テーブル２００１及びユーザログインフラグを保持し管理する。ここで、ログインユーザ情報テーブル２００１は、図２０に示すように、ユーザの識別ＩＤ（識別情報）、ユーザ名、ユーザの使用言語情報、及びユーザの利用機能制限情報が含まれるユーザ毎のレコード情報のリストからなる。尚、ログインユーザ情報テーブル２００１には、ユーザ毎にスマートスピーカ１０２の喋るスピード（早い〜遅い）、性別（男性、女性、無性）、音声の高低（高い〜低い）、キャラクター（子供、老人、ロボット）等のスマートスピーカ情報を含んでもよい。またデータ管理部５０４は、図２１の国設定テーブル２１０１、ロケールコードテーブル２１０２、ロケールコードルックアップテーブル２１０３も保持し、管理する。尚、国設定テーブル２１０１は、その中の１つの国が選択された状態でＲＡＭ２０３に保存される。
【００７７】
また、データ管理部５０４は、音量設定テーブル２１０４及び音量設定ルックアップテーブル２１０５をＲＡＭ２０３に保持し、管理する。
【００７８】
表示部５０５は、ディスプレイコントローラ２０７を介して、操作パネル２０９の制御を行う。より具体的には、ユーザが操作可能なＵＩ部品（ボタン、プルダウンリスト、チェックボックスなど）を操作パネル２０９に表示する。表示部５０５は、操作パネル２０９の画面をデータ管理部５０４に保存されている画面表示制御情報及び言語設定に基づいて更新する。具体的には、この画面更新の際、データ管理部５０４に保存されている言語設定に対応する言語辞書をストレージ２０５から取得し、その言語辞書を元にしたテキストデータからなる画面に操作パネル２０９の画面が更新される。
【００７９】
操作対象判定部５０６は、操作Ｉ／Ｆ２０８を介して、操作パネル２０９上のタッチされた座標を取得し、その座標に位置するＵＩ部品をユーザが現在操作している対象として判定する。また、ユーザの持つスマートカードがカードリーダ２１４の通信可能エリア内に入った場合、そのスマートカードをユーザが現在操作している対象として判定する。
【００８０】
さらに、操作対象判定部５０６は、操作対象として判定したＵＩ部品に対応する画面表示制御情報を読み出し、当該情報に基づいて操作受付時の処理内容を決定する。例えば、操作対象判定部５０６は、表示部５０５に対して操作パネル２０９の画面の表示内容の更新指示を出したり、ユーザ操作により設定されたジョブのパラメータおよび当該ジョブの開始指示をデータ解析部５０２に送信したりする。
【００８１】
スキャン部５０７は、ジョブ制御部５０３から送信されたスキャンジョブパラメータ設定に基づいて、スキャンコントローラ２１２を介してスキャナ２１３でスキャンを実行し、読み取った画像データをデータ管理部５０４に保存する。
【００８２】
プリンタ部５０８は、ジョブ制御部５０３から送信されたプリントジョブパラメータ設定に基づいて、プリントコントローラ２１０を介してプリントエンジン２１１で印刷を実行する。
【００８３】
＜スマートスピーカの音声デバイス制御プログラムの機能構成＞
図６は、スマートスピーカ１０２の音声デバイス制御プログラム６００の機能構成を示すブロック図である。
【００８４】
音声デバイス制御プログラム６００は、前述したストレージ３０５に格納される制御プログラムの１つであり、ＣＰＵ３０２がスマートスピーカ１０２の起動時にＲＡＭ３０３上に展開して実行する。
【００８５】
図６に示すように、音声デバイス制御プログラム６００は、データ送受信部６０１、データ管理部６０２、音声制御部６０３、音声取得部６０４、音声再生部６０５、表示部６０６、音声操作開始検知部６０７、及び発話終了判定部６０８を備える。
【００８６】
データ送受信部６０１は、ネットワークＩ／Ｆ３０６を介して、ネットワーク１０４に直接又は間接的に接続するＭＦＰ１０１及びクラウドサーバ１０３とＴＣＰ／ＩＰによるデータの送受信を行う。データ送受信部６０１は、音声取得部６０４で取得されたユーザの発した音声データをクラウドサーバ１０３に送信し、また、ユーザへの応答となる、クラウドサーバ１０３上で生成される音声合成データをクラウドサーバ１０３から受信する。
【００８７】
データ管理部６０２は、音声デバイス制御プログラム６００の実行において生成した作業データなど様々なデータをストレージ３０５上の所定の領域へ保存し、管理する。ここでデータ管理部６０２で保存・管理されるデータには、音声再生部６０５で再生する音声の音量設定データや、ゲートウェイ１０５との通信に必要な認証情報が含まれる。さらにデータ管理部６０２は、ＭＦＰ１０１、及び、クラウドサーバ１０３と通信するために必要な各デバイス情報などを保存し、管理する。
【００８８】
音声取得部６０４は、マイクロフォン３０８で取得されるスマートスピーカ１０２の近辺にいるユーザのアナログ音声を、音声データに変換した後、ＲＡＭ３０３上に一時保存する。音声取得部６０４は、ユーザのアナログ音声は、例えば、ＭＰ３などの所定のフォーマットにおいて変換した後、クラウドサーバ１０３に送信するための符号化された音声データとしＲＡＭ３０３上に一時的に保存する。音声取得部６０４の処理開始及びその終了のタイミングは音声制御部６０３によって管理される。また、音声データの符号化は汎用のストリーミング用フォーマットでもよい。この場合、音声取得部６０４は符号化された音声データを順次、データ送受信部６０１に送信し、ＭＦＰ１０１及びクラウドサーバ１０３の少なくとも一方にその音声データを送信するようにしてもよい。
【００８９】
音声再生部６０５は、データ送受信部６０１が受信した音声合成データ（音声メッセージ）を、オーディオコントローラ３０９を介してスピーカ３１０で再生する。音声再生部６０５の音声再生のタイミングは音声制御部６０３によって管理される。
【００９０】
表示部６０６は、表示コントローラ３１１を介して、ＬＥＤ３１２の表示を行う。例えば、音声操作開始検知部６０７で音声操作が開始したことを検知した場合にＬＥＤ３１２を点灯制御する。表示部６０６の表示のタイミングは音声制御部６０３によって管理される。
【００９１】
音声操作開始検知部６０７は、ユーザの発したウェイクワード、または、スマートスピーカ１０２の操作開始キー（不図示）の押下を検知し、音声制御部６０３へ操作開始通知を送信する。ここで、ウェイクワードとは、予め決められている音声ワードである。音声操作開始検知部６０７は、マイクロフォン３０８で取得されるスマートスピーカ１０２の近辺にいるユーザのアナログ音声から、常時ウェイクワードを検知する。ユーザはウェイクワードを話し、続いて自身が行いたいことを話すことでＭＦＰ１０１の操作を行うことができる。音声操作開始検知部６０７がウェイクワードを検知してからの音声処理については後述する。
【００９２】
発話終了判定部６０８は、音声取得部６０４での処理の終了タイミングを判定する。例えば、音声取得部６０４でユーザのアナログ音声が取得された後、ユーザの発話が無い時間（以降、空白時間と呼ぶ）が所定時間（例えば３秒）となったときにユーザの発話が終了したと判定し、音声制御部６０３へ発話終了通知を送信する。尚、終了タイミングの判定は、空白時間に基づいて行う他、ユーザが発した所定の語句に基づいて行ってもよい。例えば、「はい」、「いいえ」、「ＯＫ」、「キャンセル」、「終了」、「スタート」、「開始」などをその所定の語句に予め設定しておくことができる。これにより、かかる所定の語句のいずれかがユーザにより発せられた場合は、空白時間が所定時間を経過する前にユーザの発話が終了したと判定してもよい。また、終了タイミングの判定は、スマートスピーカ１０２ではなく、クラウドサーバ１０３で行うようにしてもよく、ユーザの発話内容の意味や文脈から発話の終了を判定するようにしてもよい。
【００９３】
音声制御部６０３は、音声デバイス制御プログラム６００における制御の中心であり、音声デバイス制御プログラム６００内の他の各モジュールが相互に連携して動作するよう制御する。具体的には、音声取得部６０４、音声再生部６０５、表示部６０６の処理開始・終了の制御を行う。また、音声取得部６０４で音声データが取得された後、音声データをデータ送受信部６０１でクラウドサーバ１０３へ送信するよう制御する。また、クラウドサーバ１０３からの音声合成データをデータ送受信部６０１で受信後、音声再生部６０５で音声合成データを再生するよう制御する。
【００９４】
ここで、音声取得部６０４、音声再生部６０５、表示部６０６の処理開始・終了のタイミングについて述べる。
【００９５】
音声制御部６０３は、音声操作開始検知部６０７からの操作開始通知を受信すると、音声取得部６０４の処理を開始する。また、発話終了判定部６０８からの発話終了通知を受信すると、音声取得部６０４の処理を終了する。
【００９６】
例えば、ユーザがウェイクワードを発話し、続いて「コピーしたい」と発話したとする。このとき、音声操作開始検知部６０７が、ウェイクワードのアナログ音声を検知し、音声制御部６０３に操作開始通知を送信する。音声制御部６０３は、操作開始通知を受信すると、音声取得部６０４に処理を開始させ、ユーザとの対話セッションを開始する。これにより処理を開始した音声取得部６０４は、ユーザが発声した「コピーしたい」というアナログ音声を取得し、音声データへ変換した後その変換後の音声データをＲＡＭ３０３上に一時保存する。
【００９７】
その後、発話終了判定部６０８が、音声取得部６０４が「コピーしたい」というアナログ音声を取得した後の空白時間が所定時間となったと判定すると、発話終了通知を音声制御部６０３に送信する。音声制御部６０３は、発話終了通知を受信すると、音声取得部６０４に処理を終了させる。以下、音声制御部６０３が音声取得部６０４に処理を開始させてから終了させるまでのスマートスピーカ１０２の状態を発話処理状態と呼ぶ。音声制御部６０３は、発話処理状態中にＬＥＤ３１２を点灯表示させるよう表示部６０６を制御する。
【００９８】
音声制御部６０３は、発話終了判定部６０８より発話終了通知を受信すると、音声取得部６０４がＲＡＭ２０２上に一時保存された音声データをデータ送受信部６０１でクラウドサーバ１０３へ送信する。その後、データ送受信部６０１がクラウドサーバ１０３からの応答メッセージを受信するのを待つ。ここでクラウドサーバ１０３からの応答メッセージには、例えば、応答であることを示すヘッダ部と、音声合成データとが含まれる。音声制御部６０３は、データ送受信部６０１でクラウドサーバ１０３からの応答メッセージを受信すると、音声再生部６０５で応答メッセージに含まれる音声合成データ（例えば「コピー画面を表示します」）を再生する。その後、音声制御部６０３は、データ送受信部６０１でクラウドサーバ１０３から応答メッセージと同時に対話セッション終了通知を受信すると、音声再生部６０５で応答メッセージに含まれる音声合成データ（例えば「コピーを終了しました」）を再生する。また受信した対話セッション終了通知に応じて、音声制御部６０３は、ユーザとの対話セッションを終了する。尚、音声制御部６０３が、発話終了判定部６０８からの発話終了通知を受信してから、クラウドサーバ１０３から対話セッション終了通知を受信するまでの状態を応答処理状態と呼ぶ。音声制御部６０３は、応答処理状態中にＬＥＤ３１２を点滅表示させるよう表示部６０６を制御する。
【００９９】
応答処理状態の終了後も、ユーザとの対話セッションが継続している間は、ユーザは再度ウェイクワードを発話せずとも、「コピーしたい」と発話した後に続けてＭＦＰ１０１においてユーザが行いたいことを発話することができる。尚、対話セッションの終了は、クラウドサーバ１０３が判定して、スマートスピーカ１０２に対話セッション終了通知を送信する。音声制御部６０３は、クラウドサーバ１０３から対話セッション終了通知が送信されると、ユーザとの対話セッションを終了するようデータ送受信部６０１を制御する。以下、音声制御部６０３がデータ送受信部６０１に対話セッションを終了させてから次の対話セッションを開始させるまでのスマートスピーカ１０２の状態を待機状態と呼ぶ。また、スマートスピーカ１０２の起動後、音声制御部６０３が音声操作開始検知部６０７からの操作開始通知を受信するまでは、常時待機状態である。音声制御部６０３は、待機状態の間、ＬＥＤ３１２を消灯させるよう表示部６０６を制御する。
【０１００】
＜クラウドサーバの音声データ変換制御プログラムの機能構成＞
図７は、クラウドサーバ１０３の音声データ変換制御プログラム７００の機能構成を示すブロック図である。
【０１０１】
音声データ変換制御プログラム７００は、前述したストレージ４０５に格納される制御プログラムの１つであり、ＣＰＵ４０２がクラウドサーバ１０３の起動時にＲＡＭ４０３上に展開して実行する。
【０１０２】
図７に示すように、音声データ変換制御プログラム７００は、データ送受信部７０１、データ管理部７０２、デバイス操作データ生成部７０３、及び音声データ変換部７１０を備える。また音声データ変換部７１０は、音声認識部７０５、形態素解析部７０６、グループＩＤ判定部７０７、及び音声合成部７０８を備える。
【０１０３】
データ送受信部７０１は、ネットワークＩ／Ｆ４０６及びクラウドサーバ１０３の外部のゲートウェイ１０５を介して、ネットワーク１０４に接続するＭＦＰ１０１及びスマートスピーカ１０２とＴＣＰ／ＩＰによるデータの送受信を行う。データ送受信部７０１は、スマートスピーカ１０２からユーザの音声データを受信する。また、データ送受信部７０１は、グループＩＤ判定部７０７で判定されたグループＩＤや音声認識部７０５で音声認識処理して生成されるテキストデータを送信する。
【０１０４】
データ管理部７０２は、音声データ変換制御プログラム７００の実行において生成した作業データや、音声データ変換部７１０で用いられる音声認識処理用データなど様々なデータをストレージ４０５上の所定の領域へ保存し、管理する。尚、データ管理部７０２で保存・管理される音声認識処理用データには、音声認識部７０５での音声データのテキスト変換用の音響モデルや言語モデルや、形態素解析部７０６でのテキストの形態素解析用の辞書が含まれる。また、グループＩＤ判定部７０７でのグループＩＤの判定用のグループＩＤリストや、音声合成部７０８での音声合成用の音声データベースも、データ管理部７０２で管理される音声認識処理用データに含まれる。さらにデータ管理部７０２は、スマートスピーカ１０２、及び、ＭＦＰ１０１と通信するために必要な各デバイス情報などを保存し、管理する。
【０１０５】
音声認識部７０５は、データ送受信部７０１よりユーザの音声データが入力されると、その音声データをテキストに変換するための音声認識処理を行う。音声認識処理は、音響モデルを用いてユーザの音声データを音素に変換し、さらに言語モデルを用いて音素を実際のテキストデータに変換する。尚、本実施形態においては、ユーザの音声データの言語は複数存在してよい。そのため、音声認識部７０５は、入力された音声データの言語を判定して、その判定された言語に沿ったテキストデータに変換する第一の音声認識方式を用いても良い。また、音声認識部７０５は、入力された音声データを複数の言語の音響モデルを用いて音素に変換し、夫々の音響モデルに対応する言語モデルを用いて、複数の言語ごとのテキストデータに変換して出力する第二の音声認識方式を用いても良い。第二の音声認識方式の場合、複数の言語形式で入力された音声データをテキストデータに変換するため、音声認識部７０５は音声認識処理の結果として、テキストデータとその言語形式から成る複数の音声認識データを出力する。以下、本実施形態においては第二の音声認識方式が用いられる場合について説明する。
【０１０６】
本実施例では、音声認識部７０５は、入力された音声データを、日本語及び英語の２つの言語形式で音声認識する。この結果、１つ以上のカナから構成されるテキストデータと言語設定「日本語」から成る音声認識データと、１つ以上のアルファベットから構成されるテキストデータと言語設定「英語」から成る音声認識データとが、音声認識部７０５より出力する。
【０１０７】
但し、音声データがテキストに変換されるのであれば、音声認識部７０５で用いられる音声認識処理はこれに限定されない。音声認識処理の詳細は主旨ではないため、これ以上の説明は割愛する。
【０１０８】
形態素解析部７０６は、音声認識部７０５から出力された音声認識データに含まれるテキストデータを、その言語設定に沿って形態素解析する。具体的には、形態素解析部７０６は、言語設定の文法や、品詞などの情報をもつ辞書からテキストデータに含まれる形態素列を導出し、さらに各形態素の品詞などを判別する。形態素解析部７０６は、例えば、ＪＵＭＡＮ、茶筒、ＭｅＣａｂ等の公知の形態素解析ソフトウェアを用いて実現することができる。
【０１０９】
形態素解析ソフトウェアに関しては公知の技術であるため、ここでの詳細な記載は行わない。
【０１１０】
＜実施例１＞
＜ログイン時の制御シーケンス＞
図８は、情報処理システム１００において実行される本実施例に係るユーザログイン時の制御シーケンスである。
【０１１１】
本処理は、情報処理システム１００を構成するＭＦＰ１０１、スマートスピーカ１０２、クラウドサーバ１０３間でのデータのやり取りにより実行される。より具体的には、ＭＦＰ１０１にユーザがログインする認証動作時にＭＦＰ１０１が内部に保持する設定情報をクラウドサーバ１０３およびスマートスピーカ１０２に通知することで、それぞれの設定が変更される。
【０１１２】
図８で示すシーケンスの例では、ＭＦＰ１０１、クラウドサーバ１０３、スマートスピーカ１０２は互いに通信可能な状態である。また、ＭＦＰ１０１は初期設定を完了し、電源ＯＮの起動後にコピー、スキャン、プリントといった機能を呼び出し可能なホーム画面を標準言語設定で表示している状態である。ここで、本実施例の標準言語設定は日本語である。
【０１１３】
以下、ＭＦＰ１０１を実行主体とする動作は、実際は図５を用いて上述したデバイス制御プログラム５００をＣＰＵ２０２が実行することにより行われる。また、スマートスピーカ１０２を実行主体とする動作は、実際は図６を用いて上述した音声デバイス制御プログラム６００をＣＰＵ３０２が実行することにより行われる。同様に、クラウドサーバ１０３を実行主体とする動作は、実際は図７を用いて上述した音声データ変換制御プログラム７００をＣＰＵ４０２が実行することにより行われる。
【０１１４】
まず、ステップＳ８０１では、ＭＦＰ１０１は、ユーザよりログイン操作を受け付ける（第１の取得手段）。本実施例では、ログイン操作とは、スマートカードをカードリーダ２１４に近づけるユーザ操作を指すが、これに限定されない。例えば、ユーザ名およびパスワード、個人識別番号（ＰＩＮ）、もしくはユーザと関連付けられた他の情報を操作パネル２０９に入力するユーザ操作がログイン操作であってもよい。
【０１１５】
ステップＳ８０２では、まず、ＭＦＰ１０１は、ステップＳ８０１で受け付けたログイン操作に応じてログイン処理を行う。その結果、ユーザの認証に成功すると、次にＭＦＰ１０１は、音声制御情報を取得する（第２の取得手段）。ここで、音声制御情報とは、ストレージ２０５に保持している情報から、認証に成功したユーザのユーザ情報や、ＭＦＰ１０１で保持しているＭＦＰ設定情報のうちクラウドサーバ１０３やスマートスピーカ１０２へ通知する情報からなる。また、ＭＦＰ１０１は、取得したユーザ情報にユーザの使用言語が含まれる場合、操作パネル２０９の表示言語をユーザの使用言語へと変更することで、スマートスピーカ１０２の音声設定の変更をクラウドサーバ１０３に要求する（第１の要求手段）。
【０１１６】
ステップＳ８０３では、ＭＦＰ１０１は、ステップＳ８０２で取得した音声制御情報を、ネットワークＩ／Ｆ４０７を通してクラウドサーバ１０３に送信する。ステップＳ８０１〜Ｓ８０３の処理の詳細は図９を用いて後述する。
【０１１７】
ステップＳ８０４では、クラウドサーバ１０３は、データ送受信部７０１でステップＳ８０３において送信された音声制御情報を受信すると、その音声制御情報に応じて音声データ処理に関する設定値（以下、音声デバイス制御情報という）を変更する。ステップＳ８０４の処理の詳細は図１２のフローチャートを用いて後述する。
【０１１８】
ステップＳ８０５では、クラウドサーバ１０３は、ステップＳ８０４で変更された音声デバイス制御情報をデータ送受信部７０１でスマートスピーカ１０２に送信する。これにより、クラウドサーバ１０３は、スマートスピーカ１０２に対して音声設定の変更を要求する（要求手段，第２の要求手段）。
【０１１９】
ステップＳ８０６では、スマートスピーカ１０２は、データ送受信部６０１でステップＳ８０５において送信された音声デバイス制御情報を受信すると、これに応じて音声制御部６０３のロケール設定や音量設定等の設定を変更する（変更手段）。ステップＳ８０５の処理の詳細は図１３のフローチャートを用いて後述する。
【０１２０】
図９は、図８のステップＳ８０１〜Ｓ８０３においてＭＦＰ１０１が実行する、ログイン実行時処理のフローチャートである。以下説明する通り、ステップＳ９０１，Ｓ９０７の処理が夫々、ステップＳ８０１，Ｓ８０３の処理に該当し、図９のそれ以外のステップの処理がステップＳ８０２の処理に該当する。
【０１２１】
ステップＳ９０１では、ステップＳ８０１の処理を実行する。すなわち、ユーザの持つスマートカードがカードリーダ２１４の通信可能エリア内に入ると、操作対象判定部５０６がカードリーダ２１４によりそのスマートカードを検知し、ユーザ情報を取得する。次に、操作対象判定部５０６はデータ管理部５０４に保持されているログインユーザ情報テーブル２００１と、取得したユーザ情報を照合する。
【０１２２】
ステップＳ９０２では、データ解析部５０２は、ステップＳ９０１での照合の結果、一致する情報がある場合、データ解析部５０２はユーザの認証に成功したと判断し、ステップＳ９０３へ遷移する。そうでない場合、データ解析部５０２はユーザの認証に成功しなかったと判断し、ステップＳ９１２へ遷移する。
【０１２３】
ステップＳ９０３では、データ管理部５０４は、ユーザログインフラグをユーザがログイン状態であることを示すＯＮに変更し、その変更後のユーザログインフラグをＲＡＭ２０３に保存する。
【０１２４】
ステップＳ９０４では、データ管理部５０４は、ユーザ情報をログインユーザ情報テーブル２００１から取得する。例えば、ログインユーザが識別ＩＤが１のユーザである場合、識別ＩＤが１のレコード情報をユーザ情報としてログインユーザ情報テーブル２００１から取得し、ＲＡＭ２０３に保存する。
【０１２５】
ステップＳ９０５では、データ解析部５０２は、ステップＳ９０４でデータ管理部５０４が取得したユーザ情報及びＭＦＰ１０１で保持しているＭＦＰ設定情報から、ロケール情報を取得するロケール情報取得処理を実行する。ロケール情報取得処理の詳細は図１０のフローチャートを用いて後述する。データ解析部５０２は、取得したロケール情報をＲＡＭ２０３に保存する。
【０１２６】
ステップＳ９０６では、データ解析部５０２は、ＭＦＰ１０１で保持しているＭＦＰ設定情報から音量設定情報を取得する。音量設定情報取得処理の詳細は後述の図１１のフローチャートを用いて後述する。データ解析部５０２は、取得した音量設定情報をＲＡＭ２０３に保存する。
【０１２７】
ステップＳ９０７では、ステップＳ８０３の処理を実行する。すなわち、データ送受信部５０１は、ステップＳ９０３〜Ｓ９０６でＲＡＭ２０３に保存された、ユーザログインフラグ、ユーザ情報、ロケール情報、及び音量設定情報を含む音声制御情報を、クラウドサーバ１０３に送信する。本実施例では、この送信の際、図２２に示すＪｓｏｎデータ方式を用いるが、かかるデータ方式に限定されない。例えばＸＭＬといったデータ方式を用いても良い。また、ログインユーザ情報テーブルにスマートスピーカ情報が含まれる場合、音声制御情報にスマートスピーカ情報を含めるようにしてもよい。
【０１２８】
ステップＳ９０８では、データ解析部５０２はステップＳ９０４でデータ管理部５０４が取得したユーザ情報に、使用言語情報が設定されているかを判断する。設定されている場合はステップＳ９０９へ遷移する。設定されていない場合はステップＳ９１０へと遷移する。
【０１２９】
ステップＳ９０９では、データ解析部５０２は、データ管理部５０４で保存・管理されている、操作パネル２０９に表示する言語の情報である表示言語設定情報を、ユーザ情報に設定されている使用言語情報に基づき変更する。
【０１３０】
ステップＳ９１０では、表示部５０５は、ＲＡＭ２０３の表示言語設定情報を参照し、ディスプレイコントローラ２０７を介して操作パネル２０９のホーム画面の表示を切り替え、本処理を終了する。これにより、操作パネル２０９のホーム画面の表示言語は、ログインユーザの使用言語に切り替わる。この切り替えについては図１９を用いて後述する。
【０１３１】
ステップＳ９１１では、表示部５０５は、ディスプレイコントローラ２０７を制御して操作パネル２０９にログインエラー発生画面を表示し、本処理を終了する。
【０１３２】
図１０は、図９のステップＳ９０５においてＭＦＰ１０１が実行する、ロケール情報取得処理のフローチャートである。
【０１３３】
ステップＳ１００１では、ユーザ情報、すなわち、データ管理部５０４がステップＳ９０４でＲＡＭ２０３に保存したレコード情報から、使用言語情報を取得する。ここでは、識別ＩＤが１のユーザがログインしている場合、ステップＳ１００１にて図２０のログインユーザ情報テーブルから識別ＩＤが１に紐づく使用言語情報として「Ｅｎ」を取得した場合について、以下説明する。
【０１３４】
ステップＳ１００２では、データ管理部５０４がＲＡＭ２０３に保持・管理している国設定テーブル２１０１において選択されている国設定情報を取得する。
【０１３５】
ステップＳ１００３では、データ解析部５０２がステップＳ１００１，Ｓ１００２で取得した使用言語情報「Ｅｎ」と国設定情報の組み合わせのロケール情報が、ＲＡＭ２０３に保持されているロケールコードテーブル２１０２にあるか否か判断する。この判断の結果、ある場合はステップＳ１００５に遷移し、ない場合はステップＳ１００４へ遷移する。例えば、ステップＳ１００２で取得した国設定情報が「アメリカ」である場合、これと使用言語情報「Ｅｎ」の組み合わせである、「ｅｎ−ＵＳ：英語（アメリカ）」がロケールコードテーブル２１０２にあると判断される。また、ステップＳ１００２で取得した国設定情報が「カナダ」である場合、これと使用言語情報「Ｅｎ」の組み合わせである、「ｅｎ−ＣＡ：英語（カナダ）」がロケールコードテーブル２１０２にあると判断される。一方、例えばステップＳ１００２で取得した国設定情報が「日本」である場合、これと使用言語情報「Ｅｎ」の組み合わせであるロケール情報はロケールコードテーブル２１０２にないと判断される。
【０１３６】
ステップＳ１００４では、データ解析部５０２がステップＳ１００１で取得した使用言語情報である「Ｅｎ」に対応するロケール情報が、ＲＡＭ２０３に保持されているロケールコードルックアップテーブル２１０３にあるか否かを判断する。図２１に示すように、ロケールコードルックアップテーブル２１０３には、「Ｅｎ」に対応するロケール情報「ｅｎ−ＵＳ」があるので、この場合はステップＳ１００５へと遷移する。一方、ステップＳ１００１で取得した使用言語情報がロケールコードルックアップテーブル２１０３にない場合、ステップＳ１００６へ遷移する。
【０１３７】
ステップＳ１００５では、データ解析部５０２がステップＳ１００３でロケールコードテーブル２１０２にあったロケール情報もしくはステップＳ１００４でロケールコードルックアップテーブル２１０３にあったロケール情報を取得する。この時、これまでにロケール設定として保持していたロケール情報をデフォルトのロケール情報としてＲＡＭ２０３へ保持し、本処理を終了する。
【０１３８】
ステップＳ１００６では、データ解析部５０２がデフォルトのロケール情報を取得し、本処理を終了する。
【０１３９】
図１１は、図９のステップＳ９０６においてＭＦＰ１０１が実行する、音量設定情報取得処理のフローチャートである。
【０１４０】
ステップＳ１１０１では、データ解析部５０２が、ＲＡＭ２０３に保持されている音量設定テーブル２１０４の情報を取得する。
【０１４１】
ステップＳ１１０２では、データ解析部５０２がＲＡＭ２０３上のカウンタｎを０に初期化する。
【０１４２】
ステップＳ１１０３では、データ解析部５０２が音量設定テーブル２１０４のｎ行目のレコードデータを取得する。
【０１４３】
ステップＳ１１０４では、データ解析部５０２が音量設定テーブル２１０４のｎ行目のレコードデータにある音量設定値をＲＡＭ２０３上に用意した音量合計値に加算する。
【０１４４】
ステップＳ１１０５では、データ解析部５０２がＲＡＭ２０３上のカウンタｎを１加算する。
【０１４５】
ステップＳ１１０６では、ｎがＮ−１である場合、データ解析部５０２は音量設定テーブル２１０４の全ての行のレコードデータの参照は終了したと判断し、ステップＳ１１０７へ遷移する。一方、ｎがＮ−１未満の場合、レコードデータの参照を継続すべく、ステップＳ１１０３へ戻る。尚、Ｎは、音量設定テーブル２１０４の全レコードデータ数（本実施例では７）である。
【０１４６】
このように、ステップＳ１１０３〜Ｓ１１０６までの動作を繰り返し行い、すべてのレコードデータにある音量設定値を合計した音量合計値を算出する。
【０１４７】
ステップＳ１１０７では、データ解析部５０２は、上記算出された音量合計値をＮで割った音量平均値を算出する。
【０１４８】
ステップＳ１１０８では、データ解析部５０２がステップＳ１１０７で算出された音量平均値を入力値とした場合の出力値を、音量設定ルックアップテーブル２１０５から取得する。
【０１４９】
ステップＳ１１０９では、データ解析部５０２がステップＳ１１０８で取得した出力値を音量設定情報として取得し、本処理を終了する。
【０１５０】
図１１の処理によれば、図２１の音量設定テーブル２１０４にあるＭＦＰ１０１側で保持している通知音や警告音の平均値を算出し、その平均値からスマートスピーカ１０２側で必要となる音量を推測して設定する。これにより、スマートスピーカ１０２側の音量を適切に設定することができる。
【０１５１】
図１２は、図８のステップＳ８０４においてクラウドサーバ１０３が実行する、音声デバイス制御設定変更処理のフローチャートである。
【０１５２】
本処理は、データ送受信部７０１が、ステップＳ９０７でデータ送受信部５０１が送信した音声制御情報をネットワークＩ／Ｆ４０６を通じて受信した際に、ＣＰＵ４０２により開始される処理である。
【０１５３】
ステップＳ１２０１では、音声認識部７０５がデータ送受信部７０１で受信した音声制御情報のユーザログインフラグがＯＮかＯＦＦかを確認する。確認の結果、ＯＮの場合は（ステップＳ１２０１でＹＥＳ）、ステップＳ１２０２へ遷移する一方、ＯＦＦの場合は（ステップＳ１２０１でＮＯ）、ステップＳ１２０９へ遷移する。
【０１５４】
ステップＳ１２０２では、音声認識部７０５がデータ送受信部７０１で受信した音声制御情報にロケール情報があるか否かを判断する。判断の結果、ある場合は（ステップＳ１２０２でＹＥＳ）、ステップＳ１２０３へ遷移する一方、無い場合は（ステップＳ１２０２でＮＯ）、ステップＳ１２０５へ遷移する。
【０１５５】
ステップＳ１２０３では、音声認識部７０５が、音声制御情報にあったロケール情報に基づき、ＲＡＭ４０３が保持しているロケール設定を変更する。この時、変更前のロケール設定は、標準言語設定としてＲＡＭ４０３へ保持しておく。
【０１５６】
ステップＳ１２０４では、データ管理部７０２が、ステップＳ１２０３で変更されたロケール設定を、スマートスピーカ１０２へ送信するデータとしてＲＡＭ４０３へ保持する。
【０１５７】
ステップＳ１２０５では、音声認識部７０５が、データ送受信部７０１で受信した音声制御情報に音量設定情報があるか否かを判断する。判断の結果、ある場合は（ステップＳ１２０５でＹＥＳ）、ステップＳ１２０６へ遷移する一方、無い場合は（ステップＳ１２０５でＮＯ）、ステップＳ１２０７へ遷移する。
【０１５８】
ステップＳ１２０６では、データ管理部７０２が、音声制御情報にあった音量設定情報に、スマートスピーカ１０２へ送信するデータとしてＲＡＭ４０３が保持している音量設定を変更する。この時、変更前の音量設定は、標準音量設定としてＲＡＭ４０３へ保持しておく。
【０１５９】
ステップＳ１２０７では、音声認識部７０５が、データ送受信部７０１で受信した音声制御情報のユーザ情報に利用機能制限情報があるか否かを判断する。判断の結果、ある場合は（ステップＳ１２０７でＹＥＳ）、ステップＳ１２０８へ遷移する一方、無い場合は（ステップＳ１２０７でＮＯ）、ステップＳ１２１０へ遷移する。
【０１６０】
ステップＳ１２０８では、データ管理部７０２が、音声制御情報にあった利用機能制限情報に基づき、ＲＡＭ４０３が保持しているジョブ種の制限設定を変更する。この時、変更前のジョブ種の制限設定は、標準ジョブ種設定としてＲＡＭ４０３へ保持しておく。その後、ステップＳ１２１０へ遷移する。
【０１６１】
ステップＳ１２０９では、ＲＡＭ４０３から標準言語設定及び標準音量設定を取得する。その後、取得した標準言語設定及び標準音量設定に基づき、スマートスピーカ１０２へ送信するデータとしてＲＡＭ４０３が保持しているロケール設定及び音量設定を変更し、ステップＳ１２１０へ遷移する。また、ＲＡＭ４０３に保持されている標準ジョブ種設定に、ＲＡＭ４０３が保持しているジョブ種の制限設定を変更する。
【０１６２】
ステップＳ１２１０では、音声認識部７０５が、ＲＡＭ４０３にスマートスピーカ１０２へ送信するデータが存在するか判断する。判断の結果、ある場合は（ステップＳ１２１０でＹＥＳ）、ステップＳ１２１１へ遷移する一方、無い場合は（ステップＳ１２１０でＮＯ）、本処理をそのまま終了する。
【０１６３】
ステップＳ１２１１では、データ送受信部７０１が、ＲＡＭ４０３にスマートスピーカ１０２へ送信するデータとして保持されているデータを音声デバイス制御情報としてネットワークＩ／Ｆ４０６から送信し、本処理を終了する。この時送信するデータ方式としては図２３に示したＪｓｏｎデータ方式を１つの例として示すが、これに限らずとも良い。例えばＸＭＬといった方式でも良い。
【０１６４】
図１３は、図８のステップＳ８０５においてスマートスピーカ１０２が実行する、音声制御設定変更処理のフローチャートである。
【０１６５】
本処理は、データ送受信部６０１が、ステップＳ１２１１でデータ送受信部７０１が送信した音声デバイス制御情報をネットワークＩ／Ｆ３０６を通じて受信した際に、ＣＰＵ３０２により開始される処理である。
【０１６６】
ステップＳ１３０１では、音声制御部６０３が、データ送受信部６０１で受信した音声デバイス制御情報にロケール設定が存在するか判断する。判断の結果、ある場合は（ステップＳ１３０１でＹＥＳ）、ステップＳ１３０２へ遷移する一方、無い場合は（ステップＳ１３０１でＮＯ）、ステップＳ１３０３へ遷移する。
【０１６７】
ステップＳ１３０２では、音声制御部６０３が、音声デバイス制御情報のロケール設定にＲＡＭ３０３が保持しているロケール設定を変更する。
【０１６８】
ステップＳ１３０３では、音声制御部６０３が、データ送受信部６０１で受信した音声デバイス制御情報に音量設定が存在するか判断する。判断の結果、ある場合は（ステップＳ１３０３でＹＥＳ）、ステップＳ１３０４へ遷移する一方、無い場合は（ステップＳ１３０１でＮＯ）、本処理を終了する。
【０１６９】
ステップＳ１３０４では、音声制御部６０３が、音声デバイス制御情報の音量設定に、ＲＡＭ３０３が保持している音量設定を変更し、本処理を終了する。
【０１７０】
図１９は、ＭＦＰ１０１でユーザ認証が成功した場合に実行される、ステップＳ９１０での操作パネル２０９のホーム画面の表示切替を示す図である。
【０１７１】
ここでは、操作パネル２０９に標準言語設定である日本語のホーム画面１９０１が表示された状態で、ユーザがカードリーダ２１４にスマートカードを近づけた結果、ＭＦＰ１０１がそのユーザのユーザ認証に成功した場合について説明する。
【０１７２】
スマートカードから取得したユーザ情報に含まれる使用言語情報が「Ｅｎ」である場合、ステップＳ９０９においてＭＦＰ１０１における表示言語設定情報が英語に変更される。この場合、ステップＳ９１０において表示部５０５はディスプレイコントローラ２０７を制御し、操作パネル２０９に表示されるホーム画面１９０１を、表示言語が英語のホーム画面１９０２に切り替える。
【０１７３】
一方、スマートカードから取得したユーザ情報に含まれる使用言語情報が「Ｊｐ」である場合、ステップＳ９０９においてＭＦＰ１０１における表示言語設定情報が日本語に変更される。この場合、ステップＳ９１０において表示部５０５はディスプレイコントローラ２０７を制御し、操作パネル２０９に表示されるホーム画面１９０１を、表示言語が日本語のホーム画面１９０１のままとする。
【０１７４】
以上説明した通り、本実施例では、ログインユーザが使用する言語でスマートスピーカ１０２におけるウェイクワードの判定やクラウドサーバ１０３における音声認識を行うことが可能となるため、ユーザビリティの向上に付与する。
【０１７５】
＜実施例２＞
実施例１では、ＭＦＰ１０１へのログイン時のユーザ認証がＭＦＰ１０１内で実行された。これに対し本実施例では、ＭＦＰ１０１へのログイン時のユーザ認証がクラウドサーバ１０３で実行される。これにより本実施例では、従来はＭＦＰ１０１で判断していたログインユーザごとに利用可能なジョブ種類の判断をクラウドサーバ１０３上で実行可能となる。
【０１７６】
＜ログイン時の制御シーケンス＞
図１４は、情報処理システム１００において実行される本実施例に係るユーザログイン時の制御シーケンスである。
【０１７７】
本処理は、情報処理システム１００を構成するＭＦＰ１０１、スマートスピーカ１０２、クラウドサーバ１０３間でのデータのやり取りにより実行される。より具体的には、ＭＦＰ１０１にユーザがログインする認証動作時にＭＦＰ１０１が内部に保持する設定情報をクラウドサーバ１０３に通知することで、その設定が変更される。
【０１７８】
図１４で示すシーケンスの例では、ＭＦＰ１０１、クラウドサーバ１０３は互いに通信可能な状態である。また、ＭＦＰ１０１は初期設定を完了し、電源ＯＮの起動後にコピー、スキャン、プリントといった機能を呼び出し可能なホーム画面を標準言語設定で表示している状態である。ここで、本実施例の標準言語設定は日本語である。
【０１７９】
実施例１と同様、以下、ＭＦＰ１０１を実行主体とする動作は、実際は図５を用いて上述したデバイス制御プログラム５００をＣＰＵ２０２が実行することにより行われる。また、スマートスピーカ１０２を実行主体とする動作は、実際は図６を用いて上述した音声デバイス制御プログラム６００をＣＰＵ３０２が実行することにより行われる。同様に、クラウドサーバ１０３を実行主体とする動作は、実際は図７を用いて上述した音声データ変換制御プログラム７００をＣＰＵ４０２が実行することにより行われる。
【０１８０】
まず、ステップＳ１４０１では、ＭＦＰ１０１は、ユーザよりログイン操作を受け付ける。本実施例では、ログイン操作とは、スマートカードをカードリーダ２１４に近づけるユーザ操作を指すが、これに限定されない。例えば、ユーザ名およびパスワード、個人識別番号（ＰＩＮ）、もしくはユーザと関連付けられた他の情報を操作パネル２０９に入力するユーザ操作がログイン操作であってもよい。
【０１８１】
ステップＳ１４０２では、まず、ＭＦＰ１０１は、ステップＳ１４０１で受け付けたログイン操作に応じてログイン処理を行う。その結果、ユーザ認証に成功すると、次にＭＦＰ１０１は、音声制御情報を取得する。ここで、音声制御情報とは、ストレージ２０５に保持している情報から、認証に成功したユーザのユーザ情報や、ＭＦＰ１０１で保持しているＭＦＰ設定情報のうちクラウドサーバ１０３やスマートスピーカ１０２へ通知する情報からなる。また、ＭＦＰ１０１は、取得したユーザ情報にユーザの使用言語が含まれる場合、操作パネル２０９の表示言語をユーザの使用言語へと変更する。
【０１８２】
ステップＳ１４０３では、ＭＦＰ１０１は、ステップＳ１４０２で取得した音声制御情報を、ネットワークＩ／Ｆ４０７を通してクラウドサーバ１０３に送信する。ステップＳ１４０１〜Ｓ１４０３の処理の詳細は図１６を用いて後述する。
【０１８３】
ステップＳ１４０４では、クラウドサーバ１０３は、データ送受信部７０１でステップＳ８０３において送信された音声制御情報を受信すると、その音声制御情報に応じてスマートスピーカ１０２に対して音声操作するユーザの利用可能ジョブ種を変更する。ステップＳ１４０４の処理の詳細は図１７のフローチャートを用いて後述する。
【０１８４】
尚、図１４では不図示だが、本実施例においても図１２と同様の処理により、音声制御情報に応じて音声デバイス制御情報を生成し、スマートスピーカ１０２に送信する。
【０１８５】
＜ジョブ実行の制御シーケンス＞
図１５は、情報処理システム１００において実行される本実施例に係るジョブ実行時の制御シーケンスである。
【０１８６】
本処理は、情報処理システム１００を構成するＭＦＰ１０１、スマートスピーカ１０２、クラウドサーバ１０３間でのデータのやりとりにより実行される。より具体的には、本制御シーケンスでは、スマートスピーカ１０２がユーザから音声操作を受けると、その音声操作に応じてＭＦＰ１０１が各処理を実行し、その後スマートスピーカ１０２がその実行結果を示す応答をユーザに音声で返す。
【０１８７】
尚、図１５で示すシーケンスの例では、図１４のユーザログイン時の制御シーケンスが終了しており、且つスマートスピーカ１０２、ＭＦＰ１０１、クラウドサーバ１０３は互いに通信可能な状態である。さらに、ＭＦＰ１０１は、ログインユーザの使用言語でホーム画面１９０１を表示している状態である。また、スマートスピーカ１０２の音声操作開始検知部６０７は、自機の近辺にいるユーザのアナログ音声からマイクロフォン３０８で常時ウェイクワードを検知する状態である。
【０１８８】
まず、ステップＳ１５０１では、スマートスピーカ１０２は、ユーザによる音声操作開始指示操作を音声操作開始検知部６０７で検知する。本実施例では、音声操作開始指示操作とは、ユーザがスマートスピーカ１０２に対してウェイクワードを発声する操作を指すがこれに限定されない。例えば、スマートスピーカ１０２の操作開始キーのユーザ押下が音声操作開始指示操作であってもよい。
【０１８９】
ステップＳ１５０２では、スマートスピーカ１０２は、表示部６０６でスマートスピーカ１０２が発話処理状態となったことを示すべくＬＥＤ３１２を点灯させると同時に、音声取得部６０４に処理を開始させ、ユーザとの対話セッションを開始する。
【０１９０】
ステップＳ１５０３では、スマートスピーカ１０２は、ユーザによるジョブ実行指示の操作を音声取得部６０４（検知手段）で検知する。ここでジョブ実行指示の操作とは、発話処理状態中にユーザが情報処理システム１００でジョブを実行させるべく、例えば、「４部コピーをして」や「Ｆｏｕｒ  Ｃｏｐｉｅｓ」と発声する操作を指す。音声取得部６０４（変換手段）は、ジョブ実行指示の操作のアナログ音声を取得すると、これを音声データに変換してＲＡＭ３０３上に一時保存する。その後、空白時間が所定時間経過し、発話終了判定部６０８がユーザの発話が終了したと判定した場合、ステップＳ１５０４に進む。
【０１９１】
ステップＳ１５０４では、スマートスピーカ１０２は、表示部６０６でスマートスピーカ１０２が応答処理状態となることを示すべくＬＥＤ３１２を点滅させると同時に音声取得部６０４に処理を終了させる。
【０１９２】
ステップＳ１５０５では、スマートスピーカ１０２は、データ送受信部６０１で、ステップＳ１５０３においてＲＡＭ３０３上で一時保存された音声データをクラウドサーバ１０３に送信する。
【０１９３】
ステップＳ１５０６では、クラウドサーバ１０３は、データ送受信部７０１で受信した音声データに基づくジョブ実行処理を開始する。
【０１９４】
ジョブ実行処理は、音声認識処理及び言語判定処理と、それ以降に実行されるジョブ投入処理により構成される。
【０１９５】
音声認識処理とは、音声認識部７０５が、データ送受信部７０１で受信した音声データから、上述した第二の音声認識方式を用いてテキストデータとその言語形式から成る複数の音声認識データを出力する処理である。
【０１９６】
言語判定処理とは、形態素解析部７０６（特定手段）が、音声認識処理より出力された音声認識データに含まれるテキストデータを、その言語設定に沿って形態素解析する処理である。これにより、ステップＳ１５０３のジョブ実行指示操作において、ユーザが実行を指示したジョブのジョブ種類や各種キーワードが特定される。
【０１９７】
ジョブ投入処理は、オペレーション判定処理、ジョブ情報生成処理、利用可能ジョブ判定処理、及びＭＦＰ１０１へのジョブ情報の送信を行う。さらにその後、ジョブ投入処理では、ＭＦＰ１０１からのジョブ実行開始通知及びジョブ実行終了通知の受信、これらの通知に応じた音声合成処理及びその音声合成データのスマートスピーカ１０２への送信を実行する。ジョブ投入処理の詳細は図１８のフローチャートを用いて後述する。
【０１９８】
ステップＳ１５０７では、ＭＦＰ１０１は、ステップＳ１５０６で開始したジョブ実行処理においてクラウドサーバ１０３から送信された言語設定付ジョブ情報に応じた処理を行う。
【０１９９】
ステップＳ１５０８では、スマートスピーカ１０２は、データ送受信部６０１で、ステップＳ１５０６で開始したジョブ実行処理においてクラウドサーバ１０３から送信された音声合成データを受信する。
【０２００】
ステップＳ１５０９では、スマートスピーカ１０２は、音声再生部６０５で、ステップＳ１５０８で受信した音声合成データ（例えば「コピーを開始します」という音声合成データ）を、スピーカ３１０を通じて再生する。
【０２０１】
ステップＳ１５１０では、スマートスピーカ１０２は、データ送受信部６０１で、ステップＳ１５０６で開始したジョブ実行処理においてクラウドサーバ１０３から送信された音声合成データ及び対話セッション終了通知を受信する。ここで、対話セッション終了通知とは、クラウドサーバ１０３からスマートスピーカ１０２に対して、ユーザとの対話セッションを終了するよう指示する通知である。
【０２０２】
ステップＳ１５１１では、スマートスピーカ１０２は、音声再生部６０５で、ステップＳ１５１０で受信した音声合成データ（例えば「コピーを終了しました」という音声合成データ）を、スピーカ３１０を通じて再生する。
【０２０３】
ステップＳ１５１２では、スマートスピーカ１０２は、表示部６０６でスマートスピーカ１０２が応答処理状態を終了し、待機状態となることを示すべくＬＥＤ３１２を消灯させる。
【０２０４】
ステップＳ１５１３では、スマートスピーカ１０２は、待機状態へ移行し、ユーザとの対話セッションを終了する。
【０２０５】
尚、図１５のシーケンスにおいて、スマートスピーカ１０２が応答処理状態である（すなわち、ＬＥＤ３１２が点滅中である）場合であっても、音声操作開始検知部６０７はウェイクワードを検知する。これにより、ユーザは、応答処理状態にあるスマートスピーカ１０２に対してウェイクワードの発話に続いて機能呼び出し指示操作として「キャンセル」、または「中止」などと発声することで、対話セッションを強制的に終了することができる。
【０２０６】
図１６は、図１４のステップＳ１４０１〜Ｓ１４０３においてＭＦＰ１０１が実行する、ログイン実行時処理のフローチャートである。以下説明する通り、ステップＳ１６０１，Ｓ１６０６の処理が夫々、ステップＳ１４０１，Ｓ１４０３の処理に該当し、図１６のそれ以外のステップの処理がステップＳ１４０２の処理に該当する。
【０２０７】
ステップＳ１６０１では、ステップＳ１４０１の処理を実行する。すなわち、ユーザの持つスマートカードがカードリーダ２１４の通信可能エリア内に入ると、操作対象判定部５０６がカードリーダ２１４によりそのスマートカードを検知し、ユーザ情報を取得する。次に、操作対象判定部５０６はデータ管理部５０４に保持されているログインユーザ情報テーブル２００１と、取得したユーザ情報を照合する。
【０２０８】
ステップＳ１６０２では、データ解析部５０２は、ステップＳ１６０１での照合の結果、一致する情報がある場合、データ解析部５０２はユーザの認証に成功したと判断し、ステップＳ１６０３へ遷移する。そうでない場合、データ解析部５０２はユーザの認証に成功しなかったと判断し、ステップＳ１６０７へ遷移する。
【０２０９】
ステップＳ１６０３では、データ管理部５０４は、ユーザログインフラグをユーザがログイン状態であることを示すＯＮに変更し、その変更後のユーザログインフラグをＲＡＭ２０３に保存する。
【０２１０】
ステップＳ１６０４では、データ管理部５０４は、ユーザ情報をログインユーザ情報テーブル２００１から取得する。例えば、ログインユーザが識別ＩＤが１のユーザである場合、識別ＩＤが１のレコード情報をユーザ情報としてログインユーザ情報テーブル２００１から取得し、ＲＡＭ２０３に保存する。
【０２１１】
ステップＳ１６０５では、データ解析部５０２は、ステップＳ１６０４でデータ管理部５０４が取得したユーザ情報からログインユーザの利用可能ジョブ種を取得する。例えば、ログインユーザが識別ＩＤが１のユーザである場合、ログインユーザの利用可能ジョブ種の情報としてＳＥＮＤ／ＰＲＩＮＴ／ＳＣＡＮ／ＦＡＸを取得し、ＲＡＭ２０３に保存する。また、データ解析部５０２は、ステップＳ９０５，Ｓ９０６と同様の処理により、ロケール情報、音量設定情報を取得し、ＲＡＭ２０３に保存する。
【０２１２】
ステップＳ１６０６では、ステップＳ１４０３の処理を実行する。すなわち、データ送受信部５０１は、ステップＳ１６０３，Ｓ１６０５でＲＡＭ２０３に保存された、ユーザログインフラグ、ログインユーザの利用可能ジョブ種の情報、ロケール情報、及び音量設定情報を含む音声制御情報を、クラウドサーバ１０３に送信する。その後、本処理を終了する。
【０２１３】
ステップＳ１６０７では、表示部５０５は、ディスプレイコントローラ２０７を制御して操作パネル２０９にログインエラー発生画面を表示し、本処理を終了する。
【０２１４】
図１７は、図１４のステップＳ１４０４においてクラウドサーバ１０３が実行する、利用可能ジョブ種変更処理のフローチャートである。
【０２１５】
本処理は、データ送受信部７０１が、ステップＳ１６０６でデータ送受信部５０１が送信した音声制御情報をネットワークＩ／Ｆ４０６を通じて受信した際に、ＣＰＵ４０２により開始される処理である。
【０２１６】
ステップＳ１７０１では、音声認識部７０５がデータ送受信部７０１で受信した音声制御情報をユーザログインフラグがＯＮかＯＦＦか確認する。確認の結果、ＯＮの場合は（ステップＳ１７０１でＹＥＳ）、ステップＳ１７０２へ遷移する一方、ＯＦＦの場合は（ステップＳ１７０１でＮＯ）、ステップＳ１７０４へ遷移する。
【０２１７】
ステップＳ１７０２では、音声認識部７０５が、データ送受信部７０１で受信した音声制御情報にログインユーザの利用可能ジョブ種の情報があるか否かを判断する。判断の結果、ある場合は（ステップＳ１７０２でＹＥＳ）、ステップＳ１７０３へ遷移する一方、無い場合は（ステップＳ１７０２でＮＯ）、ステップＳ１７０５へ遷移する。
【０２１８】
ステップＳ１７０３では、データ管理部７０２が、音声制御情報にあったログインユーザの利用可能ジョブ種の情報に基づき、ＲＡＭ４０３が保持している利用可能ジョブ種の設定を変更する。この時、変更前の利用可能ジョブ種の設定は、標準ジョブ種設定としてＲＡＭ４０３へ保持し、本処理を終了する。
【０２１９】
ステップＳ１７０４では、ＲＡＭ４０３に保持されている標準ジョブ種設定に、ＲＡＭ４０３が保持している利用可能ジョブ種の設定を変更し、本処理を終了する。
【０２２０】
図１８は、図１５のステップＳ１５０６においてクラウドサーバ１０３が実行するジョブ実行処理の一部である、ジョブ投入処理のフローチャートである。
【０２２１】
本処理は、クラウドサーバ１０３が、ステップＳ１５０５でスマートスピーカ１０２からユーザからのジョブ実行指示の操作の音声データを受信し、音声認識処理でこれをテキストデータとし、言語判定処理でテキストデータを形態素解析した後に実行される。
【０２２２】
まず、ステップＳ１８０１で、ＣＰＵ４０２は、オペレーション判定処理を実行する。具体的には、言語判定処理での形態素解析結果に、ＲＡＭ４０３に保存されているグループＩＤリストのジョブ必須設定キーワードが揃っているかどうかを判断する。ジョブ必須設定キーワードは、ステップＳ１５０３でのジョブ実行指示の操作を行う際に必ずユーザが設定しなければならない設定を示すキーワードである。例えば、形態素解析結果にジョブ種類として「ＥＭＡＩＬＳＥＮＤ」が含まれる場合、形態素解析結果には宛先を意味するキーワード（例えば「ＣＮＦ００００４」）ジョブ必須設定キーワードがなければならない。尚、ジョブ必須設定キーワードはジョブ種類によって異なり、ジョブ必須設定キーワードが無いジョブ種類もあれば、複数のジョブ必須設定キーワードが存在するジョブ種類もあっても良い。
【０２２３】
ステップＳ１８０１でジョブ必須設定キーワードが揃っていると判断された場合、ステップＳ１８０２に遷移し、ＣＰＵ４０２（生成手段）は、形態素解析結果に基づきジョブ情報生成処理を実行する。この処理により、ＭＦＰ１０１がジョブを実行するためのデバイス操作データである言語設定付ジョブ情報が生成される。
【０２２４】
ステップＳ１８０３で、ＣＰＵ４０２は、利用可能ジョブ判定処理を実行する。具体的には、ＲＡＭ４０３が保持している利用可能ジョブ種の設定に、形態素解析結果に含まれるジョブ種類が含まれる場合、ステップＳ１８０４に遷移し、そうでない場合、ステップＳ１８０９に遷移する。
【０２２５】
ステップＳ１８０４で、データ送受信部７０１（送信手段）はステップＳ１８０２で生成した言語設定付ジョブ情報を、ネットワークＩ／Ｆ４０６を介してＭＦＰ１０１に送信する。ＭＦＰ１０１はこの言語設定付ジョブ情報を受信すると、図１５のステップＳ１５０７の処理を開始する。
【０２２６】
ステップＳ１８０５で、データ送受信部７０１はネットワークＩ／Ｆ４０６を介してＭＦＰ１０１からのジョブ終了通知の受信を待ち、この受信があったときにステップＳ１８０６に遷移する。尚、図１８においては不図示だが、データ送受信部７０１がＭＦＰ１０１からジョブ実行開始通知を受信した場合、ＣＰＵ４０２は、ジョブ開始通知に対応したテキストメッセージであるジョブ開始音声を生成してスマートスピーカ１０２に送信してもよい。ジョブ開始音声の例として、「ジョブが開始しました」が挙げられる。
【０２２７】
ステップＳ１８０６でジョブ終了通知を受信すると、ＣＰＵ４０２は受信したジョブ終了通知に対応したジョブ終了音声メッセージを生成し、ＲＡＭ４０３上の音声データにセットする。ここで、ジョブ終了通知がジョブが正常に終了した旨の通知である場合は、「ジョブが終了しました」という音声メッセージがジョブ終了音声メッセージとして生成される。一方、ジョブ終了通知がＭＦＰ１０１で用紙Ｊａｍやエラーが発生した旨の通知である場合は、「エラー終了しました」という音声メッセージがジョブ終了音声メッセージとして生成される。
【０２２８】
ステップＳ１８０７で、データ送受信部７０１はネットワークＩ／Ｆ４０６を介して、ＲＡＭ４０３上にセットされた音声データをスマートスピーカ１０２に送信し、本処理を終了する。ここで、ＲＡＭ４０３上にセットされた音声データとは、ステップＳ１８０６又は後述のステップＳ１８０８，Ｓ１８０９のうちのいずれかにおいてＲＡＭ４０３上にセットされた音声データを指す。
【０２２９】
ステップＳ１８０１でジョブ必須設定キーワードが揃っていないと判断された場合、ステップＳ１８０８に遷移する。ステップＳ１８０８では、ＣＰＵ４０２はジョブ必須設定キーワードの入力を促すためのテキストメッセージであるジョブ設定誘導音声メッセージを生成し、ＲＡＭ４０３上の音声データにセットする。ジョブ設定誘導音声メッセージの一例として、ユーザがＥＭＡＩＬＳＥＮＤを指定した状態で宛先が指定されていない場合に、「送信先の宛先を入力してください」が挙げられる。
【０２３０】
ステップＳ１８０３でログインユーザが利用可能なジョブ種類ではないと判断された場合、ステップＳ１８０９に遷移する。ステップＳ１８０９では、ＣＰＵ４０２はジョブ利用が不可であることを通知するテキストメッセージであるジョブ利用不可音声メッセージを生成し、ＲＡＭ４０３上の音声データにセットする。ジョブ利用不可音声メッセージの一例として、ユーザが利用不可となっているＳＥＮＤを指定した状態で宛先が指定されていない場合に、「その機能は利用できません」が挙げられる。
【０２３１】
以上説明した通り、ログインユーザごとに利用可能なジョブ種類の判定をクラウドサーバ１０３で行うことが可能となる。
【０２３２】
尚、本実施形態に係る情報処理システム１００においては、ＭＦＰ１０１とクラウドサーバ１０３は別装置としたが、一体化された情報処理装置であってもよい。
【０２３３】
また、本実施形態に係る情報処理システム１００においては、クラウドサーバ１０３がスマートスピーカ１０２の設定を管理したが、クラウド上ではないサーバがスマートスピーカ１０２の設定を管理してもよい。
【０２３４】
（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶（格納）した記録媒体は本発明を構成することになる。
【符号の説明】
【０２３５】
１００  情報処理システム
１０１  ＭＦＰ
１０２  スマートスピーカ
１０３  クラウドサーバ
１０４  ネットワーク
１０５  ゲートウェイ
２１４  カードリーダ
５００  デバイス制御プログラム
６００  音声デバイス制御プログラム
７００  音声データ変換制御プログラム
【図１】
2022001997.tif 000003
【図２】
2022001997.tif 000004
【図３】
2022001997.tif 000005
【図４】
2022001997.tif 000006
【図５】
2022001997.tif 000007
【図６】
2022001997.tif 000008
【図７】
2022001997.tif 000009
【図８】
2022001997.tif 000010
【図９】
2022001997.tif 000011
【図１０】
2022001997.tif 000012
【図１１】
2022001997.tif 000013
【図１２】
2022001997.tif 000014
【図１３】
2022001997.tif 000015
【図１４】
2022001997.tif 000016
【図１５】
2022001997.tif 000017
【図１６】
2022001997.tif 000018
【図１７】
2022001997.tif 000019
【図１８】
2022001997.tif 000020
【図１９】
2022001997.tif 000021
【図２０】
2022001997.tif 000022
【図２１】
2022001997.tif 000023
【図２２】
2022001997.tif 000024
【図２３】
2022001997.tif 000025