(57)【要約】【課題】印刷設定を短時間で行うことが可能な操作受付装置を提供する。【解決手段】表示部と、ユーザーの音声に関する認識結果を取得する取得部と、表示部に重ねて配置された、ユーザーの手操作を受け付ける操作受付部と、表示部に、ユーザーからの手操作による指示を受け付け可能な項目を表示した第１の表示領域を表示する制御、及び、認識結果に基づいてユーザーの音声による指示が可能な項目を表示した第２の表示領域を表示する制御を行う制御部とを備える操作受付装置を構成する。【選択図】図３
2020177261.tif 000002
【特許請求の範囲】
【請求項１】
表示部と、
ユーザーの音声に関する認識結果を取得する取得部と、
前記表示部に重ねて配置された、ユーザーの手操作を受け付ける操作受付部と、
前記表示部に、ユーザーからの手操作による指示を受け付け可能な項目を表示した第１の表示領域を表示する制御、及び、前記認識結果に基づいてユーザーの音声による指示が可能な項目を表示した第２の表示領域を表示する制御を行う制御部と、を備える
操作受付装置。
【請求項２】
前記制御部は、前記第１の表示領域と前記第２の表示領域とが表示された状態で、前記第２の表示領域に対する手操作を受け付けた場合には、前記第２の表示領域に表示された項目が反映された、ユーザーからの手操作による指示を受け付け可能な項目を表示した第３の表示領域を前記表示部に表示する
請求項１に記載の操作受付装置。
【請求項３】
前記制御部は、前記操作受付部に対して、前記第３の表示領域の表示内容への手操作による入力のみを受け付ける制御を行う
請求項２に記載の操作受付装置。
【請求項４】
前記制御部は、前記第１の表示領域と前記第２の表示領域とが表示された状態で、前記第２の表示領域に対する手操作を受け付けた場合には、前記表示部に単一の表示領域を表示する制御を行う
請求項１に記載の操作受付装置。
【請求項５】
前記制御部は、前記第１の表示領域と前記第２の表示領域とが表示された状態で、前記第２の表示領域に対する手操作を受け付けた場合には、前記第２の表示領域に表示された項目が反映された、ユーザーからの手操作による指示を受け付け可能な項目を表示した第３の表示領域のみを前記表示部に表示する制御を行う
請求項４に記載の操作受付装置。
【請求項６】
前記制御部は、前記第１の表示領域と前記第２の表示領域とが表示された状態で、前記第２の表示領域に対する手操作を受け付けた場合には、前記表示領域に前記第１の表示領域のみを表示する制御を行う
請求項４に記載の操作受付装置。
【請求項７】
前記制御部は、前記第１の表示領域と前記第２の表示領域とが表示された状態で、前記認識結果として、前記第２の表示領域に表示された項目に対する音声操作を受け付けた場合には、前記第２の表示領域に表示された項目が反映された、ユーザーからの手操作による指示を受け付け可能な項目を表示した第３の表示領域のみを前記制御部に表示する制御を行う
請求項１に記載の操作受付装置。
【請求項８】
前記制御部は、前記第１の表示領域と前記第２の表示領域とが表示された状態で、前記認識結果として前記第２の表示領域に表示された項目に対する音声操作を受け付けた場合、又は、前記第２の表示領域に対する手操作を受け付けた場合には、受け付けた操作の内容を音声出力する制御、及び、受け付けた操作の内容を前記表示部に表示する制御のいずれか１つ以上の制御を行う
請求項１〜７のいずれかに記載の操作受付装置。
【請求項９】
前記制御部は、前記第３の表示領域が表示された状態で、前記認識結果として音声操作を受け付け、前記音声操作により設定値が確定した場合には、前記設定値を音声出力するとともに、前記第３の表示領域の表示を停止する制御を行う
請求項２に記載の操作受付装置。
【請求項１０】
前記制御部は、前記音声出力の制御中に、前記操作受付部に対する手操作を受け付けた場合には、前記音声出力を停止する制御を行う
請求項８又は９に記載の操作受付装置。
【請求項１１】
ユーザーの音声を電気信号に変換する信号変換部と、
送受信機能を有し、前記信号変換部で変換された前記電気信号を外部サーバーへ送信する通信部と、を更に備え、
前記取得部は、前記外部サーバーが前記通信部から受信した前記電気信号を解析した結果を、ユーザーの音声に関する認識結果として前記通信部を介して取得する
請求項１に記載の操作受付装置。
【請求項１２】
操作受付装置と、画像形成装置とを有する画像形成システムであって、
前記画像形成装置が、記録材に画像を形成する画像形成部を備え、
前記操作受付装置が、表示部と、ユーザーの音声に関する認識結果を取得する取得部と、前記表示部に重ねて配置された、ユーザーの手操作を受け付ける操作受付部と、前記表示部に、ユーザーからの手操作による指示を受け付け可能な項目を表示した第１の表示領域を表示する制御、及び、前記認識結果に基づいてユーザーの音声による指示が可能な項目を表示した第２の表示領域を表示する制御を行う制御部と、を備える
画像形成システム。
【請求項１３】
表示部と、取得部と、操作受付部と、制御部とを備える操作受付装置の制御方法であって、
前記取得部において、ユーザーの音声に関する認識結果を取得し、
前記操作受付部において、前記表示部に重ねて配置されたユーザーの手操作を受け付け、
前記制御部において、ユーザーからの手操作による指示を受け付け可能な項目を表示した第１の表示領域を前記表示部に表示する制御、及び、前記認識結果に基づいてユーザーの音声による指示が可能な項目を表示した第２の表示領域を前記表示部に表示する制御を行う
制御方法。
【請求項１４】
ユーザーの音声に関する認識結果を取得する手順と、
表示部に重ねて配置された操作受付部によりユーザーの手操作を受け付ける手順と、
ユーザーからの手操作による指示を受け付け可能な項目を表示した第１の表示領域を前記表示部に表示する制御、及び、前記認識結果に基づいてユーザーの音声による指示が可能な項目を表示した第２の表示領域を前記表示部に表示する制御を行う手順と、をコンピューターに実行させるための
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作受付装置、制御方法、画像形成システム、及び、プログラムに係わる。
【背景技術】
【０００２】
プリントショップや大企業内のプリント専門部署（以下、プリントショップ等）では、複数の画像形成装置が設置されている。例えば、大型のプロダクションプリンタ（ＰＰ機）は高額であるため、ダウンタイムを最小化して投資効果を高めることが求められている。このため、プリントショップ等におけるオペレーターは、複数台のＰＰ機についてダウンタイムを最小化し、連続的にＰＰ機を稼働させるために複雑な印刷設定を短時間で行うことが求められている。
【０００３】
しかしながら、画像形成装置を稼働させる際には、ジョブを実行するために数多くの複雑な印刷設定をする必要がある。特にＰＰ機は、利用可能な用紙種類や後処理の種類も多く、ジョブを実行するために数多くの複雑な印刷設定をする必要がある。このような複雑な印刷設定を行う際に、手動による印刷設定の入力を補助するために、音声を利用して印刷設定を入力する画像形成装置が提案されている（例えば、特許文献１、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１８０９０号公報
【特許文献２】特開２０１２−２６６０３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、画像形成装置においては、機能数が多い場合や、用紙名等の長く複雑な設定値が多い場合があるため、音声を用いて印刷設定の入力を補助した場合においても、短時間で印刷設定を行うことが難しい。このため、より短時間で印刷設定を行うことが可能な操作受付装置や画像形成システムが求められている。
【０００６】
上述した問題の解決のため、本発明においては、印刷設定を短時間で行うことが可能な、操作受付装置、制御方法、画像形成システム、及び、プログラムを提供する。
【課題を解決するための手段】
【０００７】
本発明の操作受付装置は、表示部と、ユーザーの音声に関する認識結果を取得する取得部と、表示部に重ねて配置された、ユーザーの手操作を受け付ける操作受付部と、表示部に、ユーザーからの手操作による指示を受け付け可能な項目を表示した第１の表示領域を表示する制御、及び、認識結果に基づいてユーザーの音声による指示が可能な項目を表示した第２の表示領域を表示する制御を行う制御部とを備える。
また、本発明の画像形成システムは、上記操作受付装置と、画像形成装置とを備える。
【０００８】
本発明の制御方法は、表示部と、取得部と、操作受付部と、制御部とを備える操作受付装置の制御方法であって、取得部において、ユーザーの音声に関する認識結果を取得し、操作受付部において、表示部に重ねて配置されたユーザーの手操作を受け付け、制御部において、ユーザーからの手操作による指示を受け付け可能な項目を表示した第１の表示領域を表示部に表示する制御、及び、認識結果に基づいてユーザーの音声による指示が可能な項目を表示した第２の表示領域を表示部に表示する制御を行う。
【０００９】
また、本発明のプログラムは、ユーザーの音声に関する認識結果を取得する手順と、表示部に重ねて配置された操作受付部によりユーザーの手操作を受け付ける手順と、ユーザーからの手操作による指示を受け付け可能な項目を表示した第１の表示領域を表示部に表示する制御、及び、認識結果に基づいてユーザーの音声による指示が可能な項目を表示した第２の表示領域を表示部に表示する制御を行う手順とをコンピューターに実行させる。
【発明の効果】
【００１０】
本発明によれば、印刷設定を短時間で行うことが可能な、操作受付装置、制御方法、画像形成システム、及び、プログラムを提供することができる。
【図面の簡単な説明】
【００１１】
【図１】画像形成システムの構成を示す図である。
【図２】画像形成装置の構成を表すブロック図である。
【図３】操作受付装置の構成を表すブロック図である。
【図４】画像形成装置の操作受付部の構成を表すブロック図である。
【図５】外部サーバーの構成を表すブロック図である。
【図６】制御部の構成を表すブロック図である。
【図７】ユーザーの操作開始時に表示される初期画面を表す図である。
【図８】表示部に第１の表示領域と第２の表示領域とが表示された様子を示す図である。
【図９】表示部に第１の表示領域と第２の表示領域とが表示された様子と、第３の表示領域とが単一表示された様子とを示す図である。
【図１０】表示部に第１の表示領域と第２の表示領域とが表示された様子と、第３の表示領域とが単一表示された様子とを示す図である。
【図１１】表示部に第１の表示領域と第２の表示領域とが表示された様子と、第１の表示領域とが単一表示された様子とを示す図である。
【図１２】表示部に第１の表示領域と第２の表示領域とが表示された様子と、第３の表示領域と第１の表示領域とが表示された様子と、初期画面が単一表示された様子を示す図である。
【図１３】操作受付の制御方法のフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための形態の例を説明するが、本発明は以下の例に限定されるものではない。
【００１３】
［画像形成システムの構成］
図１に、本実施の形態の画像形成システムの概略構成図として、操作受付装置を備える画像形成システムのブロック図を示す。
【００１４】
図１は、画像形成システムの構成例を示すブロック図である。図１に示す画像形成システム１は、操作受付装置１０、画像形成装置２０、及び、外部サーバー３０が、ＬＡＮ（Local Area Network）等のネットワーク２を介して通信可能に接続されている。ネットワーク２は有線であっても無線であってもよい。例えば、操作受付装置１０が画像形成装置２０や外部サーバー３０と無線ＬＡＮを介して接続され、画像形成装置２０が外部サーバー３０と有線ＬＡＮを介して接続されている例が挙げられる。
【００１５】
画像形成システム１は、例えば、ネットワークに接続された図示しないＰＣ（Personal Computer）等やタブレット端末、操作受付装置１０等から印刷ジョブを受け取り、ジョブに応じた各種印刷を行う。ＰＣ等の端末装置には印刷原稿を作成するアプリケーションや、印刷ジョブを生成するプリンタードライバーが含まれる。
【００１６】
［画像形成装置の構成］
次に、画像形成システム１における画像形成装置２０の構成例を表すブロック図を、図２に示す。図２に示す画像形成装置２０は、表示部２１、操作受付部２２、画像形成部２３、ネットワーク接続部２４、音声入出力部２５、及び、制御部２６を備える。これらのブロックは、図示しないシステムバスにより相互に通信可能に接続されている。
【００１７】
制御部２６は、取得部２７と、表示制御部２８とを備える。取得部２７は、ユーザーの音声に関する認識結果を取得する。ユーザーの音声に関する音声認識は、後述する外部サーバー３０の音声認識部３１（図５参照）において行われる。そして、外部サーバー３０の音声認識部３１における音声認識結果をから音声に関する認識結果をネットワーク２及びネットワーク接続部１４を介して、取得部２７が取得する。
表示制御部２８は、表示部２１における画面表示動作を制御する処理部である。例えば、表示制御部２８は、画像形成装置２０を操作するための操作画面等を表示部２１に表示する。
【００１８】
操作受付部２２は、タッチパネルや操作キー群を含む。表示部２１は、表示装置を備える。表示部２１及び操作受付部２２は、例えば、液晶表示装置などの表示装置と光学式や静電容量式等のタッチパネルの位置指示装置とが重なって構成され、表示装置に操作画面を表示してその操作画面上のユーザーによる指示位置を特定する。制御部２６は、予め記憶されている画面表示をさせるためのデータに基づいて表示部２１に操作画面を表示させる。特定された操作画面上での指示位置（タッチされた位置）や、押下されたキーを示す操作信号は制御部２６に入力される。制御部２６は押下されたキー、又は、表示している操作画面と指示位置とから操作内容を特定し、操作内容に基づいて処理を実行する。
【００１９】
画像形成部２３は、画像を用紙上に印刷する画像形成を行う。音声入出力部２５は、ユーザーの音声を電気信号に変換する、及び、制御部２６に指示された電気信号を音声に変換する信号変換部であり、音声入力の受付や、制御部２６の指示による音声出力を行う。ネットワーク接続部２４は、上記ネットワーク２を介した通信を行う通信部である。
【００２０】
［操作受付装置の構成］
次に、画像形成システム１における操作受付装置１０の構成例を表すブロック図を、図３に示す。図３に示す操作受付装置１０は、表示部１１、操作受付部１２、制御部１３、ネットワーク接続部１４、及び、音声入出力部１６を備える。制御部１３は、取得部１５と、表示制御部１７とを備える。
【００２１】
操作受付装置１０において、表示部１１、操作受付部１２、制御部１３、ネットワーク接続部１４、及び、音声入出力部１６は、上記画像形成装置２０の表示部２１、操作受付部２２、制御部２６、ネットワーク接続部２４、及び、音声入出力部２５と同様の構成である。また、操作受付装置１０の制御部１３における、取得部１５、及び、表示制御部１７は、上記画像形成装置２０の制御部２６における、取得部１５、及び、表示制御部１７と同様の構成である。
【００２２】
［操作受付部］
画像形成装置２０における操作受付部２２の構成例を表すブロック図を、図４に示す。図４に示す操作受付部２２は、タッチ操作部２２１、ハードキー操作部２２２、及び、音声操作部２２３を備える。なお、操作受付装置１０における操作受付部１２も、下記の画像形成装置２０における操作受付部２２と同様の構成とすることができる。
【００２３】
タッチ操作部２２１は、表示部２１に重ねて配置された光学式や静電容量式等のタッチパネルの位置指示装置によって入力された操作に応じた操作信号を生成し、制御部２６に入力する。ハードキー操作部２２２は、画像形成装置２０に配置されたハードキーに入力された操作を認識する。音声操作部２２３は、後述する外部サーバー３０の音声認識部３１（図５参照）において行われた音声認識結果から音声入力された操作に応じた操作信号を生成し、制御部２６に入力する。
【００２４】
［サーバーの構成］
次に、画像形成システム１における外部サーバー３０の構成例を表すブロック図を、図５に示す。図５に示す外部サーバー３０は、音声認識部３１と、補正部３２とを備える。なお、音声認識部３１と補正部３２とは、外部サーバーではなく操作受付装置１０や、画像形成装置２０が有していてもよい。
【００２５】
音声認識部３１は、画像形成装置２０の音声入出力部２５（図２）に入力された音声信号を、ネットワーク２を介して受信する。そして、受信した音声信号から、画像形成システム１に対する操作指示の音声を認識する。そして、認識した操作指示内容を操作受付装置１０の制御部１３や、画像形成装置２０の制御部２６に通知する。操作受付装置１０の制御部１３及び画像形成装置２０の制御部２６は、音声認識部３１から通知された操作指示内容に従って所定の処理の実行を操作受付装置１０や画像形成装置２０に指示する。
【００２６】
補正部３２は、入力された音声信号を、音声認識部３１が認識できる操作内容と一致するように、音声信号の情報（内容）とより近い操作可能な内容に補正する。例えば、音声認識で失敗する語を学習させ、この学習データを基に音声信号の情報を操作可能な内容と一致するように補正する。
【００２７】
外部サーバー３０は、パーソナルコンピューター等の、一般的なコンピューターで実現することができる。そのため、外部サーバー３０のハードウェア構成は、一般的なコンピューターのハードウェア構成と同様とすることができる。このため、外部サーバー３０のハードウェア構成の詳細な説明は省略する。例えば、後述する図６に示す制御部１３と同様に、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ネットワーク接続部等によって構成できる。
【００２８】
［制御部］
次に、操作受付装置１０の制御部１３、及び、画像形成装置２０の制御部２６の構成について説明する。以下の説明では、操作受付装置１０の制御部１３を例に説明するが、画像形成装置２０の制御部２６も同様の構成とすることができる。
【００２９】
図６に示すように、制御部１３は、ＣＰＵ１３１、ＲＯＭ１３２、及びＲＡＭ１３３によって構成される。制御部１３は、操作受付装置１０内の各部の動作を制御するコンピューターの一例として用いられる。
【００３０】
ＣＰＵ１３１は、例えば入力部１３６を通じて行われるユーザーの入力操作に応じて、プリンタードライバーを動作させて印刷ジョブを生成する。ＣＰＵ１３１は、制御部の一例であり、本実施形態に係る各機能を実現するソフトウェアのプログラムコードをＲＯＭ１３２（記録媒体の一例）から読み出して実行する。なお、ＣＰＵ１３１に代えて、ＭＰＵ（Micro Processing Unit）等の他の演算装置を演算部として用いてもよい。
ＲＯＭ１３２は、不揮発性メモリの一例として用いられ、ＣＰＵ１３１が動作するために必要なプログラムやデータ等を記憶している。
ＲＡＭ１３３は、揮発性メモリの一例として用いられ、ＣＰＵ１３１が行う各処理に必要な情報（データ）を一時的に記憶する。
【００３１】
出力部１３５は、例えば、液晶ディスプレイモニタ等の表示装置やスピーカー等によって構成される。出力部１３５は、表示部１１や音声入出力部１６の機能に相当し、制御部１３で行われる処理の結果等を出力する。
【００３２】
入力部１３６は、例えば、キーボード、マウス又はタッチパネル等によって構成される。入力部１３６は、操作受付部１２や音声入出力部１６の機能に相当し、ユーザーが所定の操作を行い、操作指示を入力を受け付ける。
【００３３】
不揮発性ストレージ１３４は、記録材の一例であり、ＣＰＵ１３１が各部を制御するためのプログラム、ＯＳ等のプログラム、及びデータを記憶する。不揮発性ストレージ１３４としては、例えば、ＨＤＤ、ＳＳＤ（Solid State Drive）、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等が用いられる。
【００３４】
ネットワークＩ／Ｆ（interface）１３７は、例えばＮＩＣ（Network Interface Card）やモデム等で構成され、ＬＡＮ等のネットワーク２を介して通信相手の装置との接続を確立し、各種データの送受信を実行する。
【００３５】
［制御部による表示部の制御］
次に、操作受付装置１０の制御部１３による表示部１１の画面表示の制御、及び、画像形成装置２０の制御部２６による表示部２１の画面表示の制御について説明する。以下の説明では、操作受付装置１０の制御部１３による表示部１１の画面表示の制御を例に説明するが、画像形成装置２０の制御部２６による表示部２１の画面表示も同様に制御することができる。
【００３６】
（制御−１）
操作受付装置１０の表示部１１において、ユーザーによる操作開始時に表示される初期画面例を図７に示す。図７に示す初期画面４０は、表示部１１の表示領域に、ユーザーからの手操作による指示を受け付け可能な項目（操作項目）を表示した、単一の手操作画面５１のみが表示されている。
【００３７】
操作受付装置１０において、ユーザーの音声入力による画像形成システム１に対する操作指示の認識結果を、音声認識部３１から取得した場合の表示部１１の画面表示を図８に示す。図８に示すように、操作受付装置１０の制御部１３は、ユーザーからの手操作による指示を受け付け可能な項目を表示した第１の表示領域４１と、ユーザーの音声による指示が可能な項目を表示した第２の表示領域４２とを、表示部１１に表示する制御を行う。図８では、第１の表示領域４１にユーザーによる手操作が可能な項目を表示した手操作画面５１が縮小して表示され、第２の表示領域４２にユーザーによる音声指示が可能な項目を表示した音声操作画面５２が表示されている。第２の表示領域４２には、音声入力により表示された画面であることが分かるようにマイクのアイコン５６が表示されている。また、マイクのアイコン５６が表示されているときは、音声入出力部１６による音声入力が可能であることを示す。
【００３８】
図８に示すように、制御部１３が表示部１１に、手操作画面５１と音声操作画面５２とを並列して操作可能に表示することにより、音声操作と手操作とを並列で行うことが可能となる。このため、操作受付装置１０において、複雑な印刷設定を短時間で行うことができる。
また、音声操作画面においてユーザーが意図する動作が音声操作によって行われなかった場合や、音声操作によってユーザーが意図する音声操作画面が表示されなかった場合においても、通常の手操作画面５１が並列表示されているため、容易に音声操作や手操作をやり直すことができる。
【００３９】
（制御−２）
また、制御部１３は、第１の表示領域４１と第２の表示領域４２とが表示された状態（図８）で、第２の表示領域４２に対する手操作を受け付けた場合には、ユーザーからの手操作による指示を受け付け可能な項目を表示した第３の表示領域４３を表示部１１に表示する制御を行う。第３の表示領域４３を表示部１１に表示する制御を行った場合の表示部１１の画面表示例を図９に示す。
【００４０】
図９（a）に第１の表示領域４１に手操作画面５１が表示され、第２の表示領域４２に音声操作画面５２が表示された状態を示す。この状態において、第２の表示領域４２の音声操作画面５２にユーザーが手操作を行った場合、制御部１３は、図９（ｂ）に示すように、表示部１１において、第２の表示領域４２の表示内容が反映された、ユーザーが手操作可能な項目を表示した手操作画面５３を第３の表示領域４３に表示する制御を行う。
【００４１】
また、制御部１３は、図９（ｂ）に示すように、第３の表示領域４３において手操作画面５３を表示する制御を行う場合には、表示部１１に第３の表示領域４３のみを単一表示する制御を行うことが好ましい。
さらに、制御部１３は、図９（ｂ）に示す第３の表示領域４３において手操作画面５３を表示する制御を行う場合には、第３の表示領域４３の表示内容に対しては、手操作による入力のみを受け付ける制御を行うことが好ましい。図９（ｂ）では、マイクのアイコン５６をグレーアウト表示して、音声入力ができないことを示している。
【００４２】
なお、第３の表示領域４３には、音声操作モードに切り替えるためのマイクのアイコン５６を表示するようにしてもよい。マイクのアイコン５６を表示することにより、手操作画面に変更された後であっても、音声操作モードに速やかに切り替えることができる。
【００４３】
上記の制御を行うことにより、音声入力画面を立ち上げた後に、音声入力画面に表示されている項目に対して、手操作による入力を行うことができる。例えば、画面の立ち上げのみを音声で行い、その後の操作を手操作で行う場合において、速やかに音声操作画面を手操作画面に切り替えることができる。このため、操作受付装置１０における複雑な印刷設定を短時間で行う際に有効となる。
【００４４】
（制御−３）
また、制御部１３は、第１の表示領域４１と第２の表示領域４２とが表示された状態（図８）で、第２の表示領域４２に対する手操作を受け付けた場合には、ユーザーからの手操作による指示を受け付け可能な項目を表示した第３の表示領域４３を表示部１１に表示する制御を行う。第３の表示領域４３を表示部１１に表示する制御を行った場合の表示部１１の画面表示例を図１０に示す。
【００４５】
図１０（a）に第１の表示領域４１に手操作画面５１が表示され、第２の表示領域４２に音声操作画面５２が表示された状態を示す。この状態において、第２の表示領域４２の音声操作画面５２にユーザーが手操作を行った場合、制御部１３は、図１０（ｂ）に示すように、表示部１１において、第１の表示領域４１の表示内容が反映された、ユーザーが手操作可能な項目を表示した手操作画面５４を第３の表示領域４４に表示する制御を行う。
【００４６】
また、制御部１３は、図１０（ｂ）に示すように、第３の表示領域４４において手操作画面５４を表示する制御を行う場合には、表示部１１に第３の表示領域４４のみを単一表示する制御を行うことが好ましい。
【００４７】
上記の制御を行うことにより、音声入力画面を立ち上げた後においても、音声操作画面を消去して手操作画面のみの表示、即ち初期画面に戻ることができる。このため、操作受付装置１０の操作において、不要な音声操作画面が表示された場合に、速やかに音声操作画面を消去して、初期画面のみを表示することができる。
【００４８】
（制御−４）
また、制御部１３は、第１の表示領域４１と第２の表示領域４２とが表示された状態（図８）で、第１の表示領域４１に対する手操作を受け付けた場合には、ユーザーからの手操作による指示を受け付け可能な項目を表示した第３の表示領域４３を表示部１１に表示する制御を行う。第３の表示領域４３を表示部１１に表示する制御を行った場合の表示部１１の画面表示例を図１１に示す。
【００４９】
図１１（a）に第１の表示領域４１に手操作画面５１が表示され、第２の表示領域４２に音声操作画面５２が表示された状態を示す。この状態において、第１の表示領域４１の手操作画面５１にユーザーが手操作を行った場合、制御部１３は、図１１（ｂ）に示すように、表示部１１において、第１の表示領域４１の表示内容が反映された、ユーザーが手操作可能な項目を表示する手操作画面５４を第３の表示領域４４に表示する制御を行う。
【００５０】
また、制御部１３は、図１１（ｂ）に示すように、第３の表示領域４４において手操作画面５４を表示する制御を行う場合には、表示部１１に第３の表示領域４４のみを単一表示する制御を行うことが好ましい。
【００５１】
上記の制御を行うことにより、音声入力画面を立ち上げた後においても、音声操作画面を消去して手操作画面のみの表示、即ち初期画面に戻ることができる。このため、操作受付装置１０の操作において、不要な音声操作画面が表示された場合に、速やかに音声操作画面を消去して、初期画面のみを表示することができる。
【００５２】
（制御−５）
また、制御部１３は、第１の表示領域４１と第２の表示領域４２とが表示された状態（図８）で、第２の表示領域４２に対する音声操作又は手操作を受け付けた場合には、受け付けた操作の内容を音声出力する制御や、受け付けた操作の内容を表示部１１に表示する制御を行う。制御部１３は、音声出力する制御と表示部１１に表示する制御との両方、又は、いずれか一方の制御を行ってもよい。音声出力する制御と表示部１１に表示する制御とを行った場合の表示部１１の画面表示例を図１２に示す。
【００５３】
図１２（a）に第１の表示領域４１に手操作画面５１が表示され、第２の表示領域４２に音声操作画面５２が表示された状態を示す。この状態において、第２の表示領域４２の音声操作画面５２にユーザーが手操作、又は、音声操作を行った場合、制御部１３は、図１２（ｂ）に示すように、表示部１１の第２の表示領域４２に対する操作内容を表示する音声操作画面５５を、第３の表示領域４５に表示する制御を行う。さらに、制御部１３は、第３の表示領域４５に音声操作画面５５を表示する制御に合わせて、操作受付装置１０の音声入出力部１６から、表示部１１の第２の表示領域４２に対する操作内容を音声出力する制御を行う。
【００５４】
また、制御部１３は、第２の表示領域４２に対する音声操作又は手操作を受け付け、設定項目に対する設定値が確定した場合にも、図１２（ｂ）に示すように、確定した設定値を第３の表示領域４５に表示する制御を行う。さらに、制御部１３は、確定した設定値を第３の表示領域４５に表示する制御に合わせて、確定した設定値を音声出力する制御を行う。
【００５５】
さらに、設定値が確定した後、制御部１３は、第３の表示領域４５の表示を停止する制御を行い、図１２（ｃ）に示すように、表示部１１の表示内容を、表示領域に単一の手操作画面５１のみが表示された初期画面４０（図７と同じ画面）に戻る制御を行う。
【００５６】
また、制御部１３は、図１２（ｂ）に示す音声出力の制御中に、第１の表示領域４１の手操作画面５１に対する手操作を受け付けた場合には、音声出力を停止する制御を行うことができる。この場合、制御部１３は、音声出力を停止した後、図１２（ｃ）に示すように、表示部１１の表示内容を、表示領域に単一の手操作画面５１のみが表示された初期画面４０に戻る制御を行う。
【００５７】
上記のように、第２の表示領域４２の音声操作画面５２にユーザーが手操作、又は、音声操作を行った場合、第３の表示領域４５において操作内容を表示する、及び、操作内容を音声出力する。これにより、ユーザーが操作内容を確認することができる。
【００５８】
また、音声出力中に手操作が行われた場合に、音声出力を停止して手操作画面を表示することにより、速やかに次の設定操作を行うことができる。さらに、設定値が確定した場合に、表示画面を初期画面に戻す制御を行うことにより、速やかに次の設定操作を行うことができる。
【００５９】
［操作受付の制御方法のフローチャート］
次に、操作受付装置１０の制御部１３が表示部１１の画面表示の制御を行う際の動作例、及び、画像形成装置２０の制御部２６による表示部２１の画面表示の制御を行う際の動作例のフローチャートを図１３に示す。図１３に示すフローチャートの処理は、操作受付装置１０の制御部１３、又は、画像形成装置２０の制御部２６がユーザーによる操作を受け付けたときに実行される。以下の説明では、操作受付装置１０の制御部１３による表示部１１の画面表示の制御を例に説明する。操作受付装置１０のＣＰＵ１３１がＲＯＭ１３２に記憶されているプログラムを実行することにより、図１３に示すフローチャートの処理が実現される。同様にして、画像形成装置２０の制御部２６による表示部２１の画面表示も実現される。
【００６０】
まず、制御部１３は、ユーザーによる操作受付装置１０の操作の開始に合わせて、図７に示すように表示部１１に初期画面４０を表示する（ステップＳ１）。
次に、操作受付装置１０は、音声認識部３１によるユーザーの音声入力の認識結果を外部サーバー３０から取得したかどうかを判定する（ステップＳ２）。操作受付装置１０が、音声入力の認識結果を外部サーバー３０から取得していない場合（ステップＳ２のＮＯ）、制御部１３は、認識結果を取得するまで初期画面４０の表示を継続する。
【００６１】
操作受付装置１０が、音声入力の認識結果を外部サーバー３０から取得した場合（ステップＳ２のＹＥＳ）、制御部１３は、図８に示すように、表示部１１にユーザーからの手操作による指示を受け付け可能な第１の表示領域４１と、ユーザーの音声による指示が可能な項目を表示した第２の表示領域４２とを並列表示する（ステップＳ３）。
【００６２】
次に、操作受付装置１０の制御部１３は、外部サーバー３０からユーザーの音声操作の認識結果を取得したかどうかを判定する（ステップＳ４）。
操作受付装置１０が外部サーバー３０からユーザーの音声操作の認識結果を取得した場合（ステップＳ４のＹＥＳ）、制御部１３はユーザーの音声操作を受け付ける（ステップＳ５）。そして、制御部１３は、図１２（ｂ）に示すように、表示部１１の第２の表示領域４２に対する操作内容を表示する音声操作画面５５を、第３の表示領域４５に表示する制御を行う（ステップＳ６）。
【００６３】
次に、操作受付装置１０の制御部１３は、ユーザーの手操作又は音声操作によって、第３の表示領域４５の表示内容に対して設定値が確定したかどうかを判定する（ステップＳ７）。設定値が確定していない場合（ステップＳ７のＮＯ）、制御部１３は、設定値が確定するまで第３の表示領域４５の表示を継続する。
【００６４】
一方、操作受付装置１０が外部サーバー３０からユーザーの音声操作の認識結果を取得しなかった場合（ステップＳ４のＮＯ）、操作受付装置１０の制御部１３は、第２の表示領域４２に対する手操作が行われたかどうかを判定する（ステップＳ８）。
【００６５】
第２の表示領域４２に対する手操作が行われた場合（ステップＳ８のＹＥＳ）、制御部１３は、表示部１１に第３の表示領域４３を表示する（ステップＳ９）。制御部１３は、第３の表示領域４３として、図９（ｂ）に示す、第２の表示領域４２の表示内容が反映された、ユーザーが手操作可能な項目を表示する手操作画面５３を含む第３の表示領域４３を表示部１１に表示する。また、制御部１３は、図１０（ｂ）に示すように、第１の表示領域４１の表示内容が反映された、ユーザーが手操作可能な項目を表示する手操作画面５４を含む第３の表示領域４４を表示部１１に表示してもよい。
【００６６】
次に、操作受付装置１０の制御部１３は、ユーザーの手操作によって、第３の表示領域４３，４４の表示内容に対して設定値が確定したかどうかを判定する（ステップＳ１０）。設定値が確定していない場合（ステップＳ１０のＮＯ）には、設定値が確定するまで第３の表示領域４３，４４の表示を継続する。
【００６７】
第２の表示領域４２に対する手操作が行われない場合（ステップＳ８のＮＯ）、操作受付装置１０の制御部１３は、第１の表示領域４１に対する手操作が行われたかどうかを判定する（ステップＳ１１）。第１の表示領域４１に対する手操作が行われていない場合（ステップＳ１１のＮＯ）、外部サーバー３０からユーザーの音声操作の認識結果を取得したかどうかを判定する処理（ステップＳ４）を繰り返す。
【００６８】
第１の表示領域４１に対する手操作が行われた場合（ステップＳ１１のＹＥＳ）、制御部１３は、表示部１１に第１の表示領域４１を表示する（ステップＳ１２）。このとき、制御部１３は、図１１（ｂ）に示すように、表示部１１に第１の表示領域４１のみを単一表示することが好ましい。
【００６９】
次に、操作受付装置１０の制御部１３は、ユーザーの手操作によって、第１の表示領域４１の表示内容に対して設定値が確定したかどうかを判定する（ステップＳ１３）。設定値が確定していない場合（ステップＳ１３のＮＯ）、制御部１３は、設定値が確定するまで第１の表示領域４１の表示を継続する。
【００７０】
第３の表示領域４５の表示内容に対して設定値が確定した場合（ステップＳ７のＹＥＳ）、第３の表示領域４３，４４の表示内容に対して設定値が確定した場合（ステップＳ１０のＹＥＳ）、又は、第１の表示領域４１の表示内容に対して設定値が確定した場合（ステップＳ１３のＹＥＳ）、制御部１３は、表示部１１確定した設定値を表示する制御と、確定した設定値を操作受付装置１０の音声入出力部１６から音声出力する制御とを行う（ステップＳ１４）。
【００７１】
さらに、制御部１３は、ステップＳ１４の音声出力中に手操作が行われたかどうかを判定する（ステップＳ１５）。音声出力中に手操作が行われたか場合（ステップＳ１５のＹＥＳ）、制御部１３は、音声出力を停止する制御を行う（ステップＳ１６）。このとき、制御部１３は、図１２（ｃ）に示すように、音声出力の停止に合わせて初期画面４０を表示する制御を行ってもよい。
【００７２】
音声出力中に手操作が行われなかった場合（ステップＳ１５のＹＥＳ）、及び、ステップＳ１６の音声出力を停止する制御を行った後、操作受付装置１０の制御部１３は、確定した設定値を操作指示内容として受け取り、確定した設定値の設定を実行する（ステップＳ１７）。設定値の設定を実行した後、制御部１３は、表示部１１に初期画面４０を表示するステップＳ１に戻り、本フローチャートによる処理を終了する。
【００７３】
なお、本発明は上述の実施形態例において説明した構成に限定されるものではなく、その他本発明の構成を逸脱しない範囲において種々の変形、変更が可能である。
【符号の説明】
【００７４】
１  画像形成システム、１０  操作受付装置、１１，２１  表示部、１２，２２  操作受付部、１３，２６  制御部、１４，２４  ネットワーク接続部、１５  取得部、１６，２５  音声入出力部、２  ネットワーク、２０  画像形成装置、２３  画像形成部、３０  外部サーバー、３１  音声認識部、３２  補正部、４０  初期画面、４１  第１の表示領域、４２  第２の表示領域、４３，４４，４５  第３の表示領域、５１，５３，５４  手操作画面、５２，５５  音声操作画面、５６  アイコン、１３１  ＣＰＵ、１３２  ＲＯＭ、１３３  ＲＡＭ、１３７  不揮発性ストレージ、２２１  タッチ操作部、２２２  ハードキー操作部、２２３  音声操作部
【図１】
2020177261.tif 000003
【図２】
2020177261.tif 000004
【図３】
2020177261.tif 000005
【図４】
2020177261.tif 000006
【図５】
2020177261.tif 000007
【図６】
2020177261.tif 000008
【図７】
2020177261.tif 000009
【図８】
2020177261.tif 000010
【図９】
2020177261.tif 000011
【図１０】
2020177261.tif 000012
【図１１】
2020177261.tif 000013
【図１２】
2020177261.tif 000014
【図１３】
2020177261.tif 000015