(57)【要約】【課題】発話音声によって複数の設定項目を同時に指示することを可能とし、操作性を向上させる。【解決手段】設定画面を介して設定された複数の設定項目に基づいて画像形成処理を実行する画像形成装置において、前記複数の設定項目および当該複数の設定項目にかかる要求に関する発話音声を取得する音声取得部と、前記発話音声に含まれるキーワードに対応する前記複数の設定項目が指定された設定画面を生成する表示制御部と、を備える。【選択図】図５
2020131478.tif 000002
【特許請求の範囲】
【請求項１】
設定画面を介して設定された複数の設定項目に基づいて画像形成処理を実行する画像形成装置において、
前記複数の設定項目および当該複数の設定項目にかかる要求に関する発話音声を取得する音声取得部と、
前記発話音声に含まれるキーワードに対応する前記複数の設定項目が指定された設定画面を生成する表示制御部と、
を備えることを特徴とする画像形成装置。
【請求項２】
前記表示制御部は、前記設定画面において前記複数の設定項目を同時に表示させる、
ことを特徴とする請求項１に記載の画像形成装置。
【請求項３】
前記表示制御部は、前記設定画面において前記複数の設定項目を順次に表示させる、
ことを特徴とする請求項１に記載の画像形成装置。
【請求項４】
前記音声取得部は、前記表示制御部において表示する前記設定画面にかかる表示態様に関する発話音声を取得し、
前記表示制御部は、前記発話音声に含まれるキーワードに対応して前記設定画面を更新する、
ことを特徴とする請求項１ないし３のいずれか一項に記載の画像形成装置。
【請求項５】
前記設定画面にかかる表示態様に関する操作を受け付ける操作制御部を更に備え、
前記音声取得部は、前記表示制御部において表示する前記設定画面にかかる表示態様に関する操作を取得し、
前記表示制御部は、前記操作に対応して前記設定画面を更新する、
ことを特徴とする請求項１ないし３のいずれか一項に記載の画像形成装置。
【請求項６】
設定画面を介して設定された複数の設定項目に基づいて画像形成処理を実行する画像形成装置の画像形成方法であって、
前記複数の設定項目および当該複数の設定項目にかかる要求に関する発話音声を取得する取得工程と、
前記発話音声に含まれるキーワードに対応する前記複数の設定項目および要求を認識する認識工程と、
前記発話音声に含まれるキーワードに対応する前記複数の設定項目が指定された設定画面を生成する表示制御工程と、
を含むことを特徴とする画像形成方法。
【請求項７】
設定画面を介して設定された複数の設定項目に基づいて画像形成処理を実行する画像形成装置を制御するコンピュータを、
前記複数の設定項目および当該複数の設定項目にかかる要求に関する発話音声を取得する音声取得部と、
前記発話音声に含まれるキーワードに対応する前記複数の設定項目が指定された設定画面を生成する表示制御部と、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像形成装置、画像形成方法およびプログラムに関する。
【背景技術】
【０００２】
従来、操作パネルに対して操作指示が行われるＭＦＰ（Ｍultifunction  Peripheral/Product/Printer）などの画像形成装置が知られている。
【０００３】
一方、特許文献１には、ユーザの発話音声に従って操作パネルに表示される設定項目の画面を遷移させながら画像形成装置に対する印刷設定を行う音声操作技術が開示されている。また、特許文献１には、音声で指示した設定項目の画面の階層より上位の階層の設定項目を確認・変更する目的で、途中の階層を少なくとも１つ以上表示する構成が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の音声操作技術によれば、一つの設定項目について階層を辿りながら設定内容を確認することはできる。しかしながら、既存の画面フローに縛られているため、複数の設定項目を同時に設定しようとすることは原理的にできないという問題があった。
【０００５】
本発明は、上記に鑑みてなされたものであって、発話音声によって複数の設定項目を同時に指示することを可能とし、操作性を向上させることを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明は、設定画面を介して設定された複数の設定項目に基づいて画像形成処理を実行する画像形成装置において、前記複数の設定項目および当該複数の設定項目にかかる要求に関する発話音声を取得する音声取得部と、前記発話音声に含まれるキーワードに対応する前記複数の設定項目が指定された設定画面を生成する表示制御部と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、発話音声によって複数の設定項目を同時に指示することを可能とし、操作性を向上させることができる、という効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施の形態にかかる印刷システムの構成を示すブロック図である。
【図２】図２は、ＭＦＰのハードウェア構成図である。
【図３】図３は、サーバのハードウェア構成図である。
【図４】図４は、印刷システムの機能構成を示す機能ブロック図である。
【図５】図５は、印刷システムにおける設定処理を示すシーケンス図である。
【図６】図６は、設定項目および要求にかかる音声キーワードの例を示す図である。
【図７】図７は、画面の一例を示す図である。
【図８】図８は、更新画面の一例を示す図である。
【図９】図９は、設定項目をページ単位で表示する画面の一例を示す図である。
【図１０】図１０は、更新画面の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下に添付図面を参照して、画像形成装置、画像形成方法およびプログラムの実施の形態を詳細に説明する。
【００１０】
図１は、実施の形態にかかる印刷システム１の構成を示すブロック図である。図１に示すように、印刷システム１は、画像形成装置であるＭＦＰ（Ｍultifunction  Peripheral/Product/Printer）９と、音声認識サーバ５と、を備える。ＭＦＰ９と、音声認識サーバ５とは、通信ネットワーク７を介して接続されている。
【００１１】
概略的には、印刷システム１においては、ＭＦＰ９は、ユーザが発話した音声をＭＦＰ９に設けられたマイク／スピーカ９７０のマイク９７１を通じて取り込む（１）。ＭＦＰ９は、音声データをデジタル化し、デジタル化した音声データを音声認識サーバ５に送る（２）。
【００１２】
音声認識サーバ５は、音声認識処理を行い（３）、音声認識結果をＭＦＰ９に対して送信する（４）。
【００１３】
ＭＦＰ９は、音声認識サーバ５から送信された音声認識結果から設定内容を変更し、画面に反映して表示する（５）。また、ＭＦＰ９は、変更した設定内容等を音声でマイク／スピーカ９７０のスピーカ９７２から出力する（６）。
【００１４】
まず、ＭＦＰ９のハードウェア構成について説明する。
【００１５】
ここで、図２はＭＦＰ９のハードウェア構成図である。図２に示されているように、ＭＦＰ９は、コントローラ９１０、近距離通信回路９２０、エンジン制御部９３０、操作パネル９４０、ネットワークＩ／Ｆ９５０、ＵＳＢ（Universal  Serial  Bus）Ｉ／Ｆ９６０を備えている。
【００１６】
これらのうち、コントローラ９１０は、コンピュータの主要部であるＣＰＵ（Central  Processing  Unit）９０１、システムメモリ（ＭＥＭ−Ｐ）９０２、ノースブリッジ（ＮＢ）９０３、サウスブリッジ（ＳＢ）９０４、ＡＳＩＣ（Application  Specific  Integrated  Circuit）９０６、記憶部であるローカルメモリ（ＭＥＭ−Ｃ）９０７、ＨＤＤ（Hard  Disk  Drive）コントローラ９０８、及び、記憶部であるＨＤ（Hard  Disk）９０９を有し、ＮＢ９０３とＡＳＩＣ９０６との間をＡＧＰ（Accelerated  Graphics  Port）バス９２１で接続した構成となっている。
【００１７】
これらのうち、ＣＰＵ９０１は、ＯＳ（Operating  System）やアプリケーションを実行し、ＭＦＰ９の全体制御を行う制御部である。ＮＢ９０３は、ＣＰＵ９０１と、ＭＥＭ−Ｐ９０２、ＳＢ９０４、及びＡＧＰバス９２１とを接続するためのブリッジであり、ＭＥＭ−Ｐ９０２に対する読み書きなどを制御するメモリコントローラと、ＰＣＩ（Peripheral  Component  Interconnect）マスタ及びＡＧＰターゲットとを有する。
【００１８】
ＭＥＭ−Ｐ９０２は、コントローラ９１０の各機能を実現させるプログラムやデータの格納用メモリであるＲＯＭ９０２ａ、プログラムやデータの展開、及びメモリ印刷時の描画用メモリなどとして用いるＲＡＭ９０２ｂとからなる。ＲＯＭ９０２ａやＲＡＭ９０２ｂは、ＭＦＰ９のＯＳやアプリケーション等のプログラムを記憶する。また、ＲＯＭ９０２ａやＲＡＭ９０２ｂは、機器の設定値や、同期対象機器のＩＰアドレスも記憶する。なお、ＲＡＭ９０２ｂに記憶されているプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００１９】
さらに、ＭＦＰ９で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、ＭＦＰ９で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００２０】
ＳＢ９０４は、ＮＢ９０３とＰＣＩデバイス、周辺デバイスとを接続するためのブリッジである。ＡＳＩＣ９０６は、画像処理用のハードウェア要素を有する画像処理用途向けのＩＣ（Integrated  Circuit）であり、操作パネル９４０、ＵＳＢ  Ｉ／Ｆ９６０、ＡＧＰバス９２１、ＰＣＩバス９２２、ＨＤＤ９０８およびＭＥＭ−Ｃ９０７をそれぞれ接続するブリッジの役割を有する。このＡＳＩＣ９０６は、ＰＣＩターゲットおよびＡＧＰマスタ、ＡＳＩＣ９０６の中核をなすアービタ（ＡＲＢ）、ＭＥＭ−Ｃ９０７を制御するメモリコントローラ、ハードウェアロジックなどにより画像データの回転などを行う複数のＤＭＡＣ（Direct  Memory  Access  Controller）、並びに、スキャナ部９３１及びプリンタ部９３２との間でＰＣＩバス９２２を介したデータ転送を行うＰＣＩユニットとからなる。なお、ＡＳＩＣ９０６には、ＵＳＢ（Universal  Serial  Bus）のインターフェースや、ＩＥＥＥ１３９４（Institute  of  Electrical  and  Electronics  Engineers  1394）のインターフェースを接続するようにしてもよい。
【００２１】
ＭＥＭ−Ｃ９０７は、コピー用画像バッファ及び符号バッファとして用いるローカルメモリである。ＨＤ９０９は、画像データの蓄積、印刷時に用いるフォントデータの蓄積、フォームの蓄積を行うためのストレージである。ＨＤ９０９は、ＣＰＵ９０１の制御にしたがってＨＤ９０９に対するデータの読出又は書込を制御する。ＡＧＰバス９２１は、グラフィック処理を高速化するために提案されたグラフィックスアクセラレータカード用のバスインタフェースであり、ＭＥＭ−Ｐ９０２に高スループットで直接アクセスすることにより、グラフィックスアクセラレータカードを高速にすることができる。
【００２２】
また、近距離通信回路９２０には、近距離通信回路用のアンテナ９２０ａが備わっている。近距離通信回路９２０は、ＮＦＣ（Near  Field  Communication）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。
【００２３】
更に、エンジン制御部９３０は、スキャナ部９３１及びプリンタ部９３２によって構成されている。スキャナ部９３１は、紙原稿を読み取るデバイスである。プリンタ部９３２は、スキャナ部９３１で読み取った紙原稿またはＰＣ等の外部装置から送られた電子画像を転写紙に印刷するデバイスである。スキャナ部９３１又はプリンタ部９３２には、誤差拡散やガンマ変換などの画像処理部分が含まれている。
【００２４】
また、操作パネル９４０は、ＯＳやアプリケーションがユーザに対して何かを表示したり、ユーザから何か指示を受け取ったりする際に用いられる。操作パネル９４０は、現在の設定値や選択画面等を表示させ、ユーザからの入力を受け付けるタッチパネル等のパネル表示部９４０ａ、並びに、濃度の設定条件などの画像形成に関する条件の設定値を受け付けるテンキー及びコピー開始指示を受け付けるスタートキー等からなる操作パネル９４０ｂを備えている。コントローラ９１０は、ＭＦＰ９全体の制御を行い、例えば、描画、通信、操作パネル９４０からの入力等を制御する。
【００２５】
なお、ＭＦＰ９は、操作パネル９４０のアプリケーション切り替えキーにより、ドキュメントボックス機能、コピー機能、プリンタ機能、およびファクシミリ機能を順次に切り替えて選択することが可能となる。ドキュメントボックス機能の選択時にはドキュメントボックスモードとなり、コピー機能の選択時にはコピーモードとなり、プリンタ機能の選択時にはプリンタモードとなり、ファクシミリモードの選択時にはファクシミリモードとなる。
【００２６】
また、ネットワークＩ／Ｆ９５０は、通信ネットワーク７上の他の装置（本実施の形態においては、音声認識サーバ５）とデータ通信をするためのインターフェースである。ネットワークＩ／Ｆ９５０は、Ｅｔｈｅｒｎｅｔ（登録商標）、Ｗｉ−Ｆｉ（登録商標）等のネットワーク通信手段である。
【００２７】
また、ＵＳＢ  Ｉ／Ｆ９６０は、例えばマイク／スピーカ９７０を接続するためのインターフェースである。マイク／スピーカ９７０は、音声を取り込むマイク９７１と、音声を出力するスピーカ９７２とを備えている。マイク／スピーカ９７０は、アナログ音声をデジタル化するＡ／Ｄコンバータなども備えている。なお、マイク／スピーカ９７０とＭＦＰ９とは、必ずしも直接接続されている必要はない。
【００２８】
次に、音声認識サーバ５のハードウェア構成について説明する。例えば、音声認識サーバ５は、サーバ（ＰＣ）である。なお、音声認識サーバ５は、サーバ（ＰＣ）に限るものではなく、例えばＭＦＰ９と一体になっていて、ＭＦＰ９の内部で音声認識を行うようにしてもよい。
【００２９】
図３は、音声認識サーバ５のハードウェア構成図である。図３に示されているように、音声認識サーバ５は、コンピュータによって構築されており、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤ５０４、ＨＤＤコントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ／Ｆ５０８、ネットワークＩ／Ｆ５０９、データバス５１０、キーボード５１１、ポインティングデバイス５１２、ＤＶＤ−ＲＷ（Digital  Versatile  Disk  Rewritable）ドライブ５１４、メディアＩ／Ｆ５１６を備えている。
【００３０】
これらのうち、ＣＰＵ５０１は、音声認識サーバ５全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ５０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ／Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ（Universal  Serial  Bus）メモリやプリンタ等である。ネットワークＩ／Ｆ５０９は、通信ネットワーク１００を利用してデータ通信をするためのインターフェースである。データバス５１０は、図３に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【００３１】
また、キーボード５１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ−ＲＷドライブ５１４は、着脱可能な記録媒体の一例としてのＤＶＤ−ＲＷ５１３に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ−ＲＷに限らず、ＤＶＤ−Ｒ等であってもよい。メディアＩ／Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。
【００３２】
音声認識サーバ５で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００３３】
さらに、音声認識サーバ５で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、音声認識サーバ５で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００３４】
次に、印刷システム１により発揮される機能について説明する。印刷システム１により発揮される各機能は、各装置の記憶装置に記憶されたプログラムに従って各装置のＣＰＵが動作することにより実現される。ただし、これに限るものではなく、印刷システム１により発揮される機能の一部または全部は、ＦＰＧＡやＡＳＩＣ等のハードウェア機能として実行されるものであっても良い。
【００３５】
ここで、図４は印刷システム１の機能構成を示す機能ブロック図である。なお、ここでは、印刷システム１が発揮する機能のうち、本実施の形態における特徴的な機能について説明する。
【００３６】
ＭＦＰ９は、音声取得部９１と、表示制御部９２と、操作制御部９３と、音声出力部９４と、を備える。
【００３７】
音声取得部９１は、画像形成処理の実行にかかる複数の設定項目および当該複数の設定項目にかかる要求に関する発話音声を、マイク９７１を介して取得する。
【００３８】
表示制御部９２は、発話音声に含まれるキーワードに対応する複数の設定項目が指定された設定画面やコピートップ画面を生成する。また、表示制御部９２は、設定画面において複数の設定項目を同時に表示させる。また、表示制御部９２は、設定画面において複数の設定項目を順次に表示させる。
【００３９】
なお、音声取得部９１は、表示制御部９２において表示する設定画面にかかる表示態様に関する発話音声を、マイク９７１を介して取得する。この場合、表示制御部９２は、表示態様に関する発話音声に含まれるキーワードに対応して設定画面を更新する。
【００４０】
加えて、表示制御部９２は、複数の設定項目にかかる発話内容の音声出力を音声出力部９４に指示する。音声出力部９４は、スピーカ９７２を制御して、表示制御部９２により指示された発話内容を音声出力する。
【００４１】
操作制御部９３は、表示制御部９２において生成・更新された設定画面を、操作パネル９４０に表示する。また、操作制御部９３は、表示制御部９２において生成されたコピートップ画面を、操作パネル９４０に表示する。
【００４２】
操作制御部９３は、設定画面にかかる表示態様に関する操作を、操作パネル９４０を介して受け付ける。音声取得部９１は、操作パネル９４０において表示する設定画面にかかる表示態様に関する操作を取得し、表示制御部９２は、操作に対応して設定画面を更新する。
【００４３】
一方、音声認識サーバ５は、音声認識部５１を備える。
【００４４】
音声認識部５１は、発話音声に含まれるキーワードに対応する複数の設定項目および要求を認識する。また、音声認識部５１は、発話音声に含まれるキーワードに対応する複数の設定項目にかかる表示態様を認識する。
【００４５】
次に、印刷システム１における処理について詳述する。
【００４６】
ここで、図５は印刷システム１における設定処理を示すシーケンス図である。図５に示すように、まず、ＭＦＰ１のマイク９７１に向けて、ユーザが画像形成処理についての複数の設定項目にかかる発話をする（ステップＳ１）。ここでは、ユーザが「カラーで両面コピーをステープル止めしたい」と発話したものとする。
【００４７】
音声取得部９１は、表示制御部９２に対してユーザ発話の音声データを通知する（ステップＳ２）。
【００４８】
表示制御部９２は、音声データを音声認識サーバ５の音声認識部５１に送り（ステップＳ３）、音声認識サーバ５の音声認識部５１は、音声認識処理を実行する（ステップＳ４）。
【００４９】
音声認識サーバ５の音声認識部５１は、表示制御部９２に対し、ユーザの発話内容がどのような種類の要求かと、当該要求にかかる設定項目との認識結果を通知する（ステップＳ５）。
【００５０】
ここで、図６は設定項目および要求にかかる音声キーワードの例を示す図である。図６に示すように、「カラー」や「両面」といった、ＭＦＰ９のコピー機能の設定項目の値を示す音声キーワードは、その値を設定したいものだと解釈する。図６に示すように、似た言葉である「カラーコピー」「フルカラー」や「両面コピー」といった音声キーワードでも同様に判断する。ＭＦＰ９のコピー機能を使い慣れたユーザは原稿面も意識して「片面から両面」という音声キーワードを発話するかもしれないので、その場合も同様である。
【００５１】
なお、図６に示す例では、単に「片面」「両面」と発話した場合には、それぞれ「片面→片面コピー」「片面→両面コピー」のことであるとしているが、これはユーザがコピーしようとする原稿は片面であることが多いと想定しているためである。また、「ステープル」と発話したときには「左斜め上ステープル」としているが、これも左斜め上のステープル止めが最もよく使われると想定しているためである。
【００５２】
また、「両面→両面コピー」や「左２箇所ステープル」を行いたい場合には、後述するように、画面で確認および変更できるので、「両面」と発話したときに音声で「原稿面は片面ですか？両面ですか？」といった問いかけは行わない。何でも音声だけで操作・確認しようとすると鬱陶しく、時間もかかるが、本発明の構成ではそのようなデメリットを解消することができる。
【００５３】
図６に示すように、設定要求、表示要求、開始要求についても、同様に関連する音声キーワードが定義されている。
【００５４】
図６に示す例によれば、ユーザが「カラーで両面コピーをステープル止めしたい」と発話した場合、音声認識サーバ５の音声認識部５１は、ユーザの発話が「設定要求」であることと、その対象となる設定項目が「カラー」「両面」「ステープル」であると認識して表示制御部９２に通知する。
【００５５】
表示制御部９２は、「カラー」と「両面」と「ステープル」の設定項目を連続的に並べた画面を生成し、操作制御部９３に渡す（ステップＳ６）。
【００５６】
操作制御部９３は、「カラー」と「両面」と「ステープル」の設定項目を連続的に並べた画面を操作パネル９４０に表示する（ステップＳ７）。
【００５７】
加えて、表示制御部９２は、「カラー」と「両面」と「ステープル」のそれぞれの設定を行ったことを示す発話内容を音声出力部９４に指示する（ステップＳ８）。
【００５８】
音声出力部９４は、スピーカ９７２を制御して、「カラーモードと両面コピーとステープルの設定を行いました。詳細は画面を確認してください」と発話する（ステップＳ９）。
【００５９】
ここで、図７は画面の一例を示す図である。図７は、「カラー」と「両面」と「ステープル」についての設定項目を横に並べた画面の初期状態を示す。なお、図７においては、「カラー」と「両面」と「ステープル」についての設定項目を横に並べているが、これに限るものではなく、「カラー」と「両面」と「ステープル」についての設定項目を縦に並べてもよいし、「カラー」と「両面」と「ステープル」についての設定項目をタイル状に並べても構わない。
【００６０】
ところで、図７に示す画面においては、「ステープル」についての設定項目が部分的に隠れている状態で操作パネル９４０に表示されている。
【００６１】
そこで、本実施の形態においては、ユーザが、一部または全体が隠れている項目を表示するような発話をした場合には、その項目の全体が見える位置にスクロールして画面を更新する。
【００６２】
図５に戻り、「ステープル」についての設定項目が部分的に隠れている状態で表示されているので（図７参照）、ユーザは、ＭＦＰ１のマイク９７１に向けて「ステープルの設定を見せて」と、設定画面にかかる表示態様について発話する（ステップＳ１０）。
【００６３】
音声取得部９１は、表示制御部９２に対してユーザ発話の音声データを通知する（ステップＳ１１）。
【００６４】
表示制御部９２は、音声データを音声認識サーバ５の音声認識部５１に送り（ステップＳ１２）、音声認識サーバ５の音声認識部５１は、音声認識処理を実行する（ステップＳ１３）。
【００６５】
音声認識サーバ５の音声認識部５１は、表示制御部９２に対し、ユーザの発話内容がどのような種類の要求かと、その対象（複数）に認識した結果を通知する（ステップＳ１４）。本実施の形態においては、ユーザが「ステープルの設定を見せて」と発話したので、音声認識サーバ５の音声認識部５１は、ユーザの発話が「表示要求」であることと、その対象が「ステープル」であると認識して表示制御部９２に通知する。
【００６６】
表示制御部９２は、「ステープル」の設定項目が見えるような画面を更新して、操作制御部９３に渡す（ステップＳ１５）。
【００６７】
操作制御部９３は、「ステープル」の設定項目が見えるように更新した画面を操作パネル９４０に表示する（ステップＳ１６）。
【００６８】
ここで、図８は更新画面の一例を示す図である。図８は、図７の状態から「ステープル」の設定項目が見えるようにスクロールした状態を示す。図８に示す画面においては、図７に示す画面では部分的に隠れていた「ステープル」の設定項目が見えるようになっている。
【００６９】
加えて、表示制御部９２は、「ステープル」の設定項目が見えるように更新したことを示す発話内容を音声出力部９４に指示する（ステップＳ１７）。
【００７０】
音声出力部９４は、スピーカ９７２を制御して、現在のステープルの設定値と、ユーザがこの後何をすればよいかの内容を発話する（ステップＳ１８）。音声出力部９４は、例えば、「左斜め上にステープルします。コピーを開始するときは「コピーを開始」と言ってください。他の設定を行うときはその設定内容を言うか、ＯＫボタンを押してください」とスピーカ９７２から発話させる。
【００７１】
なお、図５に示すように、ユーザは、操作パネル９４０に対して、発話ではなく画面を「ステープル」の設定項目が見えるようにフリックする操作を行ってもよい（ステップＳ１９）。この場合、操作制御部９３は、ユーザが操作したフリック操作内容を表示制御部９２に通知する（ステップＳ２０）。
【００７２】
表示制御部９２は、操作パネル９４０におけるフリック操作内容に従って「ステープル」の設定項目が見えるような画面を更新し、操作制御部９３に渡す（ステップＳ２１）。
【００７３】
操作制御部９３は、「ステープル」の設定項目が見えるように更新した画面を操作パネル９４０に表示する（ステップＳ２２）。
【００７４】
以上のようにして「ステープル」の設定項目が見えるように更新した画面を表示した状態で、ユーザは、操作パネル９４０に表示された画面上のＯＫボタンを操作する（ステップＳ２３）。
【００７５】
操作制御部９３は、操作パネル９４０を介したユーザによるボタン操作内容を表示制御部９２に通知する（ステップＳ２４）。
【００７６】
表示制御部９２は、ボタン操作内容に従ってコピートップ画面を生成し、操作制御部９３に渡す（ステップＳ２５）。
【００７７】
そして、操作制御部９３は、コピートップ画面を操作パネル９４０に表示する（ステップＳ２６）。
【００７８】
このように本実施の形態によれば、発話音声によって複数の設定項目を同時に指示することを可能とし、操作性を向上させることができる。また、発話した複数の項目の設定画面を同時または順次表示させて、ユーザがやりたいことだけを画面に表示することで、迷いなく必要な設定の確認と変更を行うことができる。
【００７９】
なお、本実施の形態においては、操作パネル９４０は、「カラー」と「両面」と「ステープル」の設定項目を連続的に並べた画面を操作パネル９４０に表示するようにしたが、これに限るものではなく、「カラー」と「両面」と「ステープル」の設定項目の画面をページ単位で操作パネル９４０に表示するようにしてもよい。
【００８０】
ここで、図９は設定項目をページ単位で表示する画面の一例を示す図である。図９は、１ページ目である「カラー」と「両面」についての設定項目を横に並べた画面の初期状態を示す。なお、図９においては、「カラー」と「両面」についての設定項目を横に並べているが、これに限るものではなく、各設定項目を縦に並べてもよいし、各設定項目をタイル状に並べても構わない。図９に示す画面においては、「ステープル」についての設定項目のページが隠れている状態で操作パネル９４０に表示されている。
【００８１】
そこで、ユーザが、表示されていない「ステープル」についての設定項目を表示するような発話をした場合には、「ステープル」についての設定項目が見えるページにページ遷移させて画面を更新する。
【００８２】
ここで、図１０は更新画面の一例を示す図である。図１０は、図９の状態から「ステープル」の設定項目が見えるようにページ遷移した状態を示す。図１０に示す画面においては、図９に示す画面では見えていなかった「ステープル」の設定項目が見えるようになっている。
【００８３】
なお、上記実施の形態では、本発明の画像形成装置を、コピー機能、プリンタ機能、スキャナ機能およびファクシミリ機能のうち少なくとも２つの機能を有する複合機（ＭＦＰ）に適用した例を挙げて説明するが、複写機、プリンタ、スキャナ装置、ファクシミリ装置等の画像形成装置であればいずれにも適用することができる。
【００８４】
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ（Application  Specific  Integrated  Circuit）、ＤＳＰ（Digital  Signal  Processor）、ＦＰＧＡ（Field  Programmable  Gate  Array）や従来の回路モジュール等のデバイスを含むものとする。
【符号の説明】
【００８５】
９      画像形成装置
９１    音声取得部
９２    表示制御部
９３    操作制御部
【先行技術文献】
【特許文献】
【００８６】
【特許文献１】特開２００７−０１８０９０号公報
【図１】
2020131478.tif 000003
【図２】
2020131478.tif 000004
【図３】
2020131478.tif 000005
【図４】
2020131478.tif 000006
【図５】
2020131478.tif 000007
【図６】
2020131478.tif 000008
【図７】
2020131478.tif 000009
【図８】
2020131478.tif 000010
【図９】
2020131478.tif 000011
【図１０】
2020131478.tif 000012