(57)【要約】【課題】ユーザーによる音声操作が行われているときにユーザーに対して音声によるフィードバックが困難な場合であっても、ユーザーに対してフィードバックすべき情報を正確に伝えることができるようにする。【解決手段】情報処理システム１は、表示部３０と、ユーザーの音声を音声操作として受け付ける音声操作受付部５１と、音声操作受付部５１によって受け付けられる音声操作に基づき、表示部３０に表示させる画面を更新する画面更新部５４と、画面更新部５４によって更新された画面を表示部３０に表示させるか否かを判定する画面判定部５７と、画面判定部５７によって、更新された画面を表示部３０に表示させると判定された場合に、画面更新部５４によって更新された画面を表示部３０に表示させる表示制御部５５と、を備える構成である。【選択図】図４
2020182099.tif 000002
【特許請求の範囲】
【請求項１】
表示手段と、
ユーザーの音声を音声操作として受け付ける音声操作受付手段と、
前記音声操作受付手段によって受け付けられる音声操作に基づき、前記表示手段に表示させる画面を更新する画面更新手段と、
前記画面更新手段によって更新された画面を前記表示手段に表示させるか否かを判定する画面判定手段と、
前記画面判定手段によって、更新された画面を前記表示手段に表示させると判定された場合に、前記画面更新手段によって更新された画面を前記表示手段に表示させる表示制御手段と、
を備えることを特徴とする情報処理システム。
【請求項２】
前記画面判定手段によって、更新された画面を前記表示手段に表示させると判定された場合に、ユーザーに対して前記表示手段に表示される画面を確認することを促す音声案内を行う案内手段、
をさらに備えることを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記画面判定手段は、前記音声操作受付手段によって受け付けられる音声操作に基づき、前記画面更新手段によって更新される画面の表示内容を特定し、該表示内容に基づいて前記画面更新手段によって更新された画面を前記表示手段に表示させるか否かを判定することを特徴とする請求項１又は２に記載の情報処理システム。
【請求項４】
前記画面判定手段は、前記画面更新手段によって更新される画面が画像のプレビュー表示を行う画面である場合に、前記画面更新手段によって更新された画面を前記表示手段に表示させると判定することを特徴とする請求項１乃至３のいずれかに記載の情報処理システム。
【請求項５】
電子ファイルを記憶するファイル記憶手段、
をさらに備え、
前記画面判定手段は、前記画面更新手段によって更新される画面が前記ファイル記憶手段に記憶されている前記電子ファイルのサムネイル表示を行う画面である場合に、前記画面更新手段によって更新された画面を前記表示手段に表示させると判定することを特徴とする請求項１乃至３のいずれかに記載の情報処理システム。
【請求項６】
画像の画質調整を行う画像処理手段、
をさらに備え、
前記画面判定手段は、前記画面更新手段によって更新される画面が前記画像処理手段によって画質調整された画像を表示する画面である場合に、前記画面更新手段によって更新された画面を前記表示手段に表示させると判定することを特徴とする請求項１乃至３のいずれかに記載の情報処理システム。
【請求項７】
シートに印刷を行う印刷手段と、
前記印刷手段によって印刷されたシートの指定された位置に後処理を行う後処理手段と、
をさらに備え、
前記画面判定手段は、前記画面更新手段によって更新される画面が前記後処理手段による後処理を行う位置を指定する画面である場合に、前記画面更新手段によって更新された画面を前記表示手段に表示させると判定することを特徴とする請求項１乃至３のいずれかに記載の情報処理システム。
【請求項８】
シートに印刷を行う印刷手段と、
をさらに備え、
前記画面判定手段は、前記画面更新手段によって更新される画面が前記印刷手段による印刷時に地紋又は透かしを重畳させる設定を行うための画面である場合に、前記画面更新手段によって更新された画面を前記表示手段に表示させると判定することを特徴とする請求項１乃至３のいずれかに記載の情報処理システム。
【請求項９】
前記画面判定手段は、前記画面更新手段によって更新される画面が複数のジョブを一覧表示するジョブリスト画面である場合に、前記画面更新手段によって更新された画面を前記表示手段に表示させると判定することを特徴とする請求項１乃至３のいずれかに記載の情報処理システム。
【請求項１０】
前記画面判定手段は、前記画面更新手段によって更新される画面が複数のアドレスを一覧表示するアドレス選択画面である場合に、前記画面更新手段によって更新された画面を前記表示手段に表示させると判定することを特徴とする請求項１乃至３のいずれかに記載の情報処理システム。
【請求項１１】
予約ジョブを登録して管理するジョブ管理手段、
をさらに備え、
前記画面判定手段は、前記ジョブ管理手段によって複数の予約ジョブが管理されている状態において、前記画面更新手段によって更新される画面が前記複数の予約ジョブのうちからキャンセル対象となる予約ジョブを選択する画面である場合に、前記画面更新手段によって更新された画面を前記表示手段に表示させると判定することを特徴とする請求項１乃至３のいずれかに記載の情報処理システム。
【請求項１２】
予約ジョブを登録して管理するジョブ管理手段、
をさらに備え、
前記画面判定手段は、前記ジョブ管理手段によって複数の予約ジョブが管理されている状態において、前記画面更新手段によって更新される画面が前記複数の予約ジョブのうちから設定変更対象となる予約ジョブを選択する画面である場合に、前記画面更新手段によって更新された画面を前記表示手段に表示させると判定することを特徴とする請求項１乃至３のいずれかに記載の情報処理システム。
【請求項１３】
前記画面判定手段は、前記画面更新手段によって更新される画面に所定数以上の文字又は文字列が含まれる場合に、前記画面更新手段によって更新された画面を前記表示手段に表示させると判定することを特徴とする請求項１乃至３のいずれかに記載の情報処理システム。
【請求項１４】
前記画面判定手段によって、更新された画面を前記表示手段に表示させると判定された場合に、音声操作として受け付けられた音声を発したユーザーが前記表示手段を視認可能な状態であるか否かを判定するユーザー状態判定手段、
をさらに備え、
前記表示制御手段は、前記ユーザー状態判定手段によってユーザーが前記表示手段を視認可能な状態であると判定されることに伴い、前記画面更新手段によって更新された画面を前記表示手段に表示させることを特徴とする請求項１乃至１３のいずれかに記載の情報処理システム。
【請求項１５】
前記表示手段の近傍に配置される音声入力手段、
をさらに備え、
前記ユーザー状態判定手段は、前記音声入力手段によって検知される音声に基づいてユーザーが前記表示手段を視認可能な状態であるか否かを判定することを特徴とする請求項１４に記載の情報処理システム。
【請求項１６】
前記表示手段の近傍に配置される人感センサー、
をさらに備え、
前記ユーザー状態判定手段は、前記人感センサーからの出力信号に基づいてユーザーが前記表示手段を視認可能な状態であるか否かを判定することを特徴とする請求項１４又は１５に記載の情報処理システム。
【請求項１７】
前記表示手段の近傍に配置される撮像手段、
をさらに備え、
前記ユーザー状態判定手段は、前記撮像手段によって撮影された画像に基づいてユーザーが前記表示手段を視認可能な状態であるか否かを判定することを特徴とする請求項１４乃至１６のいずれかに記載の情報処理システム。
【請求項１８】
前記ユーザー状態判定手段は、前記撮像手段によって撮影された画像からユーザーの顔画像を抽出し、前記顔画像に基づいてユーザーの視線方向を特定し、ユーザーの視線方向が前記表示手段の設置方向に一致する場合にユーザーが前記表示手段を視認可能な状態であると判定することを特徴とする請求項１７に記載の情報処理システム。
【請求項１９】
前記表示手段は、姿勢変化させることが可能であり、
前記ユーザー状態判定手段は、前記顔画像に基づいて特定されるユーザーの視線方向が前記表示手段の姿勢に応じた表示方向と一致する場合にユーザーが前記表示手段を視認可能な状態であると判定することを特徴とする請求項１８に記載の情報処理システム。
【請求項２０】
前記画面更新手段によって更新された画面を記憶する画面記憶手段、
をさらに備え、
前記表示制御手段は、前記画面判定手段によって、更新された画面を前記表示手段に表示させると判定された場合に、前記画面更新手段によって更新された画面を前記画面記憶手段から読み出して前記表示手段に表示させることを特徴とする請求項１乃至１９のいずれかに記載の情報処理システム。
【請求項２１】
前記表示制御手段は、前記画面記憶手段に複数の画面が記憶されているとき、前記表示手段に対して前記複数の画面を順次表示させることを特徴とする請求項２０に記載の情報処理システム。
【請求項２２】
前記表示制御手段は、前記画面記憶手段に複数の画面が記憶されているとき、前記画面記憶手段に対して最後に記憶された画面を優先的に読み出して前記表示手段に表示させることを特徴とする請求項２０又は２１に記載の情報処理システム。
【請求項２３】
前記表示制御手段は、前記画面記憶手段に複数の画面が記憶されているとき、前記複数の画面のそれぞれから少なくとも一部の画面構成要素を切り出し、前記画面構成要素を一画面内に合成した画面を前記表示手段に表示させることを特徴とする請求項２０に記載の情報処理システム。
【請求項２４】
前記表示制御手段は、前記画面更新手段によって更新された画面を前記表示手段に表示させるとき、前記画面更新手段によって更新された画面の少なくとも一部を強調表示させることを特徴とする請求項１乃至２３のいずれかに記載の情報処理システム。
【請求項２５】
前記情報処理システムは、ユーザーによって指定されたジョブを実行する画像処理装置によって構成されることを特徴とする請求項１乃至２４のいずれかに記載の情報処理システム。
【請求項２６】
前記情報処理システムは、
ユーザーによって指定されたジョブを実行する画像処理装置と、
ユーザーの音声を検知する音声入力装置と、
が互いに通信可能な構成であり、
前記画像処理装置が、前記表示手段と、前記音声操作受付手段と、前記画面更新手段と、前記画面判定手段と、前記表示制御手段と、を備えており、
前記音声入力装置は、ユーザーの音声を前記画像処理装置へ出力することを特徴とする請求項１乃至２４のいずれかに記載の情報処理システム。
【請求項２７】
前記情報処理システムは、
ユーザーによって指定されたジョブを実行する画像処理装置と、
ユーザーの音声を検知する音声入力装置と、
サーバーと、
が互いに通信可能な構成であり、
前記サーバーは、前記画面判定手段を備えており、前記音声入力装置によって検知されるユーザーの音声に基づいて前記画面更新手段によって更新された画面を前記表示手段に表示させるか否かを判定し、
前記画像処理装置は、前記表示手段と、前記音声操作受付手段と、前記画面更新手段と、前記表示制御手段とを備えており、
前記表示制御手段は、前記サーバーにおける判定結果に基づいて、前記画面更新手段によって更新された画面を前記表示手段に表示させることを特徴とする請求項１乃至２４のいずれかに記載の情報処理システム。
【請求項２８】
表示手段を備えるコンピュータにおいて実行されるプログラムであって、前記コンピュータに、
ユーザーの音声を音声操作として受け付ける音声操作受付ステップと、
前記音声操作受付ステップによって受け付けられる音声操作に基づき、前記表示手段に表示させる画面を更新する画面更新ステップと、
前記画面更新ステップによって更新された画面を前記表示手段に表示させるか否かを判定する画面判定ステップと、
前記画面判定ステップによって、更新された画面を前記表示手段に表示させると判定された場合に、前記画面更新ステップによって更新された画面を前記表示手段に表示させる表示制御ステップと、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム及びプログラムに関し、特にユーザーの音声操作を反映させた情報をユーザーにフィードバックする技術に関する。
【背景技術】
【０００２】
近年、ＡＩスピーカーなどと呼ばれる音声入力装置の普及が著しい。この種の音声入力装置は、有線又は無線でネットワークに接続可能であり、例えばＭＦＰ（Multifunction Peripherals）などのように印刷ジョブなどの各種のジョブを実行する画像処理装置とネットワークを介して通信を行うことができる。そのため、ユーザーは、音声入力装置に向かって音声を発することにより、画像処理装置に対するジョブの設定操作などを画像処理装置から離れた場所で行うことができる。また、この種の音声入力装置は音声出力を行うこともできる。そのため、画像処理装置は、ユーザーの音声操作を反映させた情報を、音声入力装置を介してユーザーに音声でフィードバックすることができる。そのため、ユーザーは音声入力装置と対話を行うことにより各種設定項目に対する設定値を確認しながら設定操作を進めていくことができる。
【０００３】
ところが、ユーザーの音声操作に基づいて画像処理装置がジョブの設定処理を進行させているとき、音声入力装置から音声を出力するだけではユーザーに対して十分な情報をフィードバックすることができないことがある。例えば、ユーザーが画像の画質調整を指示した場合、その画質調整を反映させた画像を音声でユーザーに伝えることはできない。また、画像処理装置に複数の予約ジョブが登録されている状態でユーザーが予約ジョブのキャンセルを指示した場合、画像処理装置は、キャンセル対象となる予約ジョブを特定するために、音声入力装置を介して、画像処理装置に登録されている複数の予約ジョブの詳細を音声でユーザーに案内することなる。しかし、画像処理装置に多くの予約ジョブが登録されている場合には、音声入力装置から出力される音声が長くなるため、ユーザーにとっては理解することが困難になり、キャンセルすべき予約ジョブを指示することができなくなる。
【０００４】
一方、従来、上記のように画像処理装置を音声で遠隔操作する技術として、画像処理装置と通信可能な端末装置を用いる技術が知られている（例えば特許文献１）。この従来技術では、画像処理装置の操作パネルに表示される画面の画像データを画像処理装置から端末装置へ送信し、端末装置がその画像データに含まれるテキストを抽出する。端末装置は、ユーザーの音声を検知すると、その音声をテキストに変換し、画像データから抽出したテキストと照合する。音声から変換したテキストが画像データから抽出したテキストに一致した場合、端末装置は、画面内において当該テキストが含まれる位置を特定し、その位置を示す情報を画像処理装置へ送信することにより画像処理装置を遠隔操作する。
【０００５】
しかしながら、この従来技術においても、ユーザーの音声に基づいて操作パネルに表示される画面を更新した場合にその更新後の画面の内容をユーザーに正確にフィードバックすることができない。例えば、画像処理装置の操作パネルに、ユーザーの指示に基づく画質調整がなされた画像のプレビュー表示を行う画面が表示された場合、端末装置において、その画面に基づく画像データからテキストを抽出する処理を行ったとしても、ユーザーに対してプレビュー表示された画像の詳細を正確にフィードバックすることができない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１５−１６６９１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、上記課題を解決するためになされたものであり、ユーザーによる音声操作が行われているときにユーザーに対して音声によるフィードバックが困難な場合であっても、ユーザーに対してフィードバックすべき情報を正確に伝えることができるようにした情報処理システム及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、請求項１に係る発明は、情報処理システムであって、表示手段と、ユーザーの音声を音声操作として受け付ける音声操作受付手段と、前記音声操作受付手段によって受け付けられる音声操作に基づき、前記表示手段に表示させる画面を更新する画面更新手段と、前記画面更新手段によって更新された画面を前記表示手段に表示させるか否かを判定する画面判定手段と、前記画面判定手段によって、更新された画面を前記表示手段に表示させると判定された場合に、前記画面更新手段によって更新された画面を前記表示手段に表示させる表示制御手段と、を備えることを特徴とする構成である。
【０００９】
請求項２に係る発明は、請求項１の情報処理システムにおいて、前記画面判定手段によって、更新された画面を前記表示手段に表示させると判定された場合に、ユーザーに対して前記表示手段に表示される画面を確認することを促す音声案内を行う案内手段、をさらに備えることを特徴とする構成である。
【００１０】
請求項３に係る発明は、請求項１又は２の情報処理システムにおいて、前記画面判定手段は、前記音声操作受付手段によって受け付けられる音声操作に基づき、前記画面更新手段によって更新される画面の表示内容を特定し、該表示内容に基づいて前記画面更新手段によって更新された画面を前記表示手段に表示させるか否かを判定することを特徴とする構成である。
【００１１】
請求項４に係る発明は、請求項１乃至３のいずれかの情報処理システムにおいて、前記画面判定手段は、前記画面更新手段によって更新される画面が画像のプレビュー表示を行う画面である場合に、前記画面更新手段によって更新された画面を前記表示手段に表示させると判定することを特徴とする構成である。
【００１２】
請求項５に係る発明は、請求項１乃至３のいずれかの情報処理システムにおいて、電子ファイルを記憶するファイル記憶手段、をさらに備え、前記画面判定手段は、前記画面更新手段によって更新される画面が前記ファイル記憶手段に記憶されている前記電子ファイルのサムネイル表示を行う画面である場合に、前記画面更新手段によって更新された画面を前記表示手段に表示させると判定することを特徴とする構成である。
【００１３】
請求項６に係る発明は、請求項１乃至３のいずれかの情報処理システムにおいて、画像の画質調整を行う画像処理手段、をさらに備え、前記画面判定手段は、前記画面更新手段によって更新される画面が前記画像処理手段によって画質調整された画像を表示する画面である場合に、前記画面更新手段によって更新された画面を前記表示手段に表示させると判定することを特徴とする構成である。
【００１４】
請求項７に係る発明は、請求項１乃至３のいずれかの情報処理システムにおいて、シートに印刷を行う印刷手段と、前記印刷手段によって印刷されたシートの指定された位置に後処理を行う後処理手段と、をさらに備え、前記画面判定手段は、前記画面更新手段によって更新される画面が前記後処理手段による後処理を行う位置を指定する画面である場合に、前記画面更新手段によって更新された画面を前記表示手段に表示させると判定することを特徴とする構成である。
【００１５】
請求項８に係る発明は、請求項１乃至３のいずれかの情報処理システムにおいて、シートに印刷を行う印刷手段と、をさらに備え、前記画面判定手段は、前記画面更新手段によって更新される画面が前記印刷手段による印刷時に地紋又は透かしを重畳させる設定を行うための画面である場合に、前記画面更新手段によって更新された画面を前記表示手段に表示させると判定することを特徴とする構成である。
【００１６】
請求項９に係る発明は、請求項１乃至３のいずれかの情報処理システムにおいて、前記画面判定手段は、前記画面更新手段によって更新される画面が複数のジョブを一覧表示するジョブリスト画面である場合に、前記画面更新手段によって更新された画面を前記表示手段に表示させると判定することを特徴とする構成である。
【００１７】
請求項１０に係る発明は、請求項１乃至３のいずれかの情報処理システムにおいて、前記画面判定手段は、前記画面更新手段によって更新される画面が複数のアドレスを一覧表示するアドレス選択画面である場合に、前記画面更新手段によって更新された画面を前記表示手段に表示させると判定することを特徴とする構成である。
【００１８】
請求項１１に係る発明は、請求項１乃至３のいずれかの情報処理システムにおいて、予約ジョブを登録して管理するジョブ管理手段、をさらに備え、前記画面判定手段は、前記ジョブ管理手段によって複数の予約ジョブが管理されている状態において、前記画面更新手段によって更新される画面が前記複数の予約ジョブのうちからキャンセル対象となる予約ジョブを選択する画面である場合に、前記画面更新手段によって更新された画面を前記表示手段に表示させると判定することを特徴とする構成である。
【００１９】
請求項１２に係る発明は、請求項１乃至３のいずれかの情報処理システムにおいて、予約ジョブを登録して管理するジョブ管理手段、をさらに備え、前記画面判定手段は、前記ジョブ管理手段によって複数の予約ジョブが管理されている状態において、前記画面更新手段によって更新される画面が前記複数の予約ジョブのうちから設定変更対象となる予約ジョブを選択する画面である場合に、前記画面更新手段によって更新された画面を前記表示手段に表示させると判定することを特徴とする構成である。
【００２０】
請求項１３に係る発明は、請求項１乃至３のいずれかの情報処理システムにおいて、前記画面判定手段は、前記画面更新手段によって更新される画面に所定数以上の文字又は文字列が含まれる場合に、前記画面更新手段によって更新された画面を前記表示手段に表示させると判定することを特徴とする構成である。
【００２１】
請求項１４に係る発明は、請求項１乃至１３のいずれかの情報処理システムにおいて、前記画面判定手段によって、更新された画面を前記表示手段に表示させると判定された場合に、音声操作として受け付けられた音声を発したユーザーが前記表示手段を視認可能な状態であるか否かを判定するユーザー状態判定手段、をさらに備え、前記表示制御手段は、前記ユーザー状態判定手段によってユーザーが前記表示手段を視認可能な状態であると判定されることに伴い、前記画面更新手段によって更新された画面を前記表示手段に表示させることを特徴とする構成である。
【００２２】
請求項１５に係る発明は、請求項１４の情報処理システムにおいて、前記表示手段の近傍に配置される音声入力手段、をさらに備え、前記ユーザー状態判定手段は、前記音声入力手段によって検知される音声に基づいてユーザーが前記表示手段を視認可能な状態であるか否かを判定することを特徴とする構成である。
【００２３】
請求項１６に係る発明は、請求項１４又は１５の情報処理システムにおいて、前記表示手段の近傍に配置される人感センサー、をさらに備え、前記ユーザー状態判定手段は、前記人感センサーからの出力信号に基づいてユーザーが前記表示手段を視認可能な状態であるか否かを判定することを特徴とする構成である。
【００２４】
請求項１７に係る発明は、請求項１４乃至１６のいずれかの情報処理システムにおいて、前記表示手段の近傍に配置される撮像手段、をさらに備え、前記ユーザー状態判定手段は、前記撮像手段によって撮影された画像に基づいてユーザーが前記表示手段を視認可能な状態であるか否かを判定することを特徴とする構成である。
【００２５】
請求項１８に係る発明は、請求項１７の情報処理システムにおいて、前記ユーザー状態判定手段は、前記撮像手段によって撮影された画像からユーザーの顔画像を抽出し、前記顔画像に基づいてユーザーの視線方向を特定し、ユーザーの視線方向が前記表示手段の設置方向に一致する場合にユーザーが前記表示手段を視認可能な状態であると判定することを特徴とする構成である。
【００２６】
請求項１９に係る発明は、請求項１８の情報処理システムにおいて、前記表示手段は、姿勢変化させることが可能であり、前記ユーザー状態判定手段は、前記顔画像に基づいて特定されるユーザーの視線方向が前記表示手段の姿勢に応じた表示方向と一致する場合にユーザーが前記表示手段を視認可能な状態であると判定することを特徴とする構成である。
【００２７】
請求項２０に係る発明は、請求項１乃至１９のいずれかの情報処理システムにおいて、前記画面更新手段によって更新された画面を記憶する画面記憶手段、をさらに備え、前記表示制御手段は、前記画面判定手段によって、更新された画面を前記表示手段に表示させると判定された場合に、前記画面更新手段によって更新された画面を前記画面記憶手段から読み出して前記表示手段に表示させることを特徴とする構成である。
【００２８】
請求項２１に係る発明は、請求項２０の情報処理システムにおいて、前記表示制御手段は、前記画面記憶手段に複数の画面が記憶されているとき、前記表示手段に対して前記複数の画面を順次表示させることを特徴とする構成である。
【００２９】
請求項２２に係る発明は、請求項２０又は２１の情報処理システムにおいて、前記表示制御手段は、前記画面記憶手段に複数の画面が記憶されているとき、前記画面記憶手段に対して最後に記憶された画面を優先的に読み出して前記表示手段に表示させることを特徴とする構成である。
【００３０】
請求項２３に係る発明は、請求項２０の情報処理システムにおいて、前記表示制御手段は、前記画面記憶手段に複数の画面が記憶されているとき、前記複数の画面のそれぞれから少なくとも一部の画面構成要素を切り出し、前記画面構成要素を一画面内に合成した画面を前記表示手段に表示させることを特徴とする構成である。
【００３１】
請求項２４に係る発明は、請求項１乃至２３のいずれかの情報処理システムにおいて、前記表示制御手段は、前記画面更新手段によって更新された画面を前記表示手段に表示させるとき、前記画面更新手段によって更新された画面の少なくとも一部を強調表示させることを特徴とする構成である。
【００３２】
請求項２５に係る発明は、請求項１乃至２４のいずれかの情報処理システムにおいて、前記情報処理システムが、ユーザーによって指定されたジョブを実行する画像処理装置によって構成されることを特徴としている。
【００３３】
請求項２６に係る発明は、請求項１乃至２４のいずれかの情報処理システムにおいて、前記情報処理システムは、ユーザーによって指定されたジョブを実行する画像処理装置と、ユーザーの音声を検知する音声入力装置と、が互いに通信可能な構成であり、前記画像処理装置が、前記表示手段と、前記音声操作受付手段と、前記画面更新手段と、前記画面判定手段と、前記表示制御手段と、を備えており、前記音声入力装置は、ユーザーの音声を前記画像処理装置へ出力することを特徴とする構成である。
【００３４】
請求項２７に係る発明は、請求項１乃至２４のいずれかの情報処理システムにおいて、前記情報処理システムは、ユーザーによって指定されたジョブを実行する画像処理装置と、ユーザーの音声を検知する音声入力装置と、サーバーと、が互いに通信可能な構成であり、前記サーバーは、前記画面判定手段を備えており、前記音声入力装置によって検知されるユーザーの音声に基づいて前記画面更新手段によって更新された画面を前記表示手段に表示させるか否かを判定し、前記画像処理装置は、前記表示手段と、前記音声操作受付手段と、前記画面更新手段と、前記表示制御手段とを備えており、前記表示制御手段は、前記サーバーにおける判定結果に基づいて、前記画面更新手段によって更新された画面を前記表示手段に表示させることを特徴とする構成である。
【００３５】
請求項２８に係る発明は、表示手段を備えるコンピュータにおいて実行されるプログラムであって、前記コンピュータに、ユーザーの音声を音声操作として受け付ける音声操作受付ステップと、前記音声操作受付ステップによって受け付けられる音声操作に基づき、前記表示手段に表示させる画面を更新する画面更新ステップと、前記画面更新ステップによって更新された画面を前記表示手段に表示させるか否かを判定する画面判定ステップと、前記画面判定ステップによって、更新された画面を前記表示手段に表示させると判定された場合に、前記画面更新ステップによって更新された画面を前記表示手段に表示させる表示制御ステップと、を実行させることを特徴とする構成である。
【発明の効果】
【００３６】
本発明によれば、ユーザーによる音声操作が行われているときにユーザーに対して音声によるフィードバックが困難な場合であっても、ユーザーに対してフィードバックすべき情報を正確に伝えることができるようになる。
【図面の簡単な説明】
【００３７】
【図１】第１実施形態における情報処理システムの一構成例を示す図である。
【図２】画像処理装置の構成例を示す図である。
【図３】情報処理システムのハードウェア構成を示す図である
【図４】画像処理装置における制御部の機能構成を示すブロック図である。
【図５】画像処理装置において行われる主たる処理手順の一例を示すフローチャートである。
【図６】画面判定処理の詳細な処理手順の一例を示す第１のフローチャートである。
【図７】画面判定処理の詳細な処理手順の一例を示す第２のフローチャートである。
【図８】プレビュー表示画面の一例を示す図である。
【図９】サムネイル表示画面の一例を示す図である。
【図１０】ジョブリスト画面の一例を示す図である。
【図１１】アドレス選択画面の一例を示す図である。
【図１２】応用設定画面の一例を示す図である。
【図１３】画像の画質調整が行われた画面の一例を示す図である。
【図１４】後処理設定画面の一例を示す図である。
【図１５】地紋又は透かしの設定を行う画面の一例を示す図である。
【図１６】ユーザー状態判定処理の詳細な処理手順の一例を示すフローチャートである。
【図１７】画像表示処理の詳細な処理手順の一例を示すフローチャートである。
【図１８】確認用表示画面の一例を示す図である。
【図１９】画面に対する強調処理の概念を示す図である。
【図２０】第２実施形態における情報処理システムの一構成例を示す図である。
【図２１】第３実施形態における情報処理システムの一構成例を示す図である。
【発明を実施するための形態】
【００３８】
以下、本発明に関する好ましい実施形態について図面を参照しつつ詳細に説明する。尚、以下に説明する実施形態において互いに共通する要素には同一符号を付しており、それらについての重複する説明は省略する。
【００３９】
（第１実施形態）
図１は、本発明の第１実施形態である情報処理システム１の一構成例を示す図である。この情報処理システム１は、ＭＦＰなどで構成される画像処理装置２と、ＡＩスピーカーなどと呼ばれる音声入力装置３とが、ＬＡＮ（Local Area Network）などのネットワーク４を介して通信可能に接続された構成である。ネットワーク４は、有線ネットワークであっても良いし、無線ネットワークであっても良い。また、ネットワーク４には、図示を省略するパーソナルコンピュータなどの他の機器が接続されていても良い。
【００４０】
画像処理装置２は、例えばスキャン機能、プリント機能、コピー機能、ＦＡＸ機能、ＢＯＸ機能、電子メール送受信機能などの複数の機能を有しており、ユーザーによって指定されたジョブを実行する。例えば、ユーザーによってコピー機能が選択された場合、画像処理装置２は、ユーザーの指示に基づいてコピー機能に関する各種設定を行い、ユーザーによってジョブの実行が指示されることに伴ってコピージョブの実行を開始する。尚、ＢＯＸ機能は、所定の記憶領域に画像データなどの電子ファイルを記憶しておく機能である。
【００４１】
音声入力装置３は、例えば画像処理装置２から離れた場所に設置されている。音声入力装置３は、画像処理装置２と連携動作することが可能である。すなわち、音声入力装置３は、ユーザーの音声に基づいて画像処理装置２を遠隔操作する機能を有している。例えば、音声入力装置３は、ユーザーの音声を検知すると、その音声に基づく音声情報を生成して画像処理装置２へ送信する。
【００４２】
画像処理装置２は、音声入力装置３から音声情報を受信すると、その音声情報に対応するユーザーの音声を音声操作として受け付ける。そして画像処理装置２は、その音声操作
を装置内部に反映させる処理を行う。例えば、ユーザーによる音声操作がジョブの設定を行う操作であった場合、画像処理装置２は、音声操作に基づく設定処理を行う。また、ユーザーによる音声操作がジョブの実行開始を指示する操作であった場合、画像処理装置２は、ユーザーによって指定されたジョブを実行する。
【００４３】
画像処理装置２は、音声入力装置３から受信した音声情報に基づく処理を行った場合、ユーザーに対して処理結果をフィードバックするための音声情報を生成し、その音声情報を音声入力装置３へ送信する。音声入力装置３は、画像処理装置２からユーザーにフィードバックするための音声情報を取得すると、その音声情報に基づく音声をスピーカーから出力する。したがって、ユーザーは、画像処理装置２から離れた場所に居る場合であっても、音声入力装置３と音声による対話を行いながら画像処理装置２に対するジョブの設定操作などを行うことができる。
【００４４】
図２は、画像処理装置２を示す図である。図２（ａ）に示すように、画像処理装置２は、装置本体の下部に、プリンタ部１２を備えている。プリンタ部１２は、画像形成部１０と、給紙部１１とを備えており、印刷用紙などのシートに対する印刷処理を行う。例えば、給紙部１１は、複数枚のシートの束を収容しておき、印刷ジョブやコピージョブの実行中にシートを１枚ずつ画像形成部１０に対して給紙する。画像形成部１０は、給紙部１１から給紙されるシートにトナー像を転写して定着させることにより、印刷対象となる画像をシートに印刷する。
【００４５】
また、画像処理装置２は、装置本体の上部に、スキャナ部１５を備えている。例えばスキャナ部１５は、原稿の画像を光学的に読み取る画像読取部１３と、原稿を自動搬送する自動原稿搬送部１４とを備えている。ユーザーによってスキャンジョブやコピージョブの実行が指示されると、自動原稿搬送部１４は、ユーザーによってセットされた原稿を１枚ずつ取り出して画像読取部１３による読取位置へ自動搬送し、画像読取部１３は、自動原稿搬送部１４によって搬送される原稿が読取位置を通過する際に原稿の画像を読み取り、画像データを生成する。
【００４６】
また、画像処理装置２は、スキャナ部１５の正面側に、操作パネル１６を備えている。操作パネル１６は、ユーザーが画像処理装置２を操作する際のユーザーインタフェースとなるものである。操作パネル１６は、ユーザーが操作可能な各種の画面を表示し、ユーザーによる操作を受け付ける。操作パネル１６は、各種の画面に対するユーザーの手動操作を受け付け可能であると共に、ユーザーによる音声操作を受け付けることも可能である。また操作パネル１６の近傍位置には、操作パネル１６を操作するユーザーの顔画像を撮影するための撮像部１７が設けられている。
【００４７】
図２（ｂ）は、操作パネル１６を横から図である。操作パネル１６は、装置本体の左右方向に伸びる回転軸を中心に回動可能であり、その姿勢を変化させることが可能である。例えば、操作パネル１６は、図２（ｂ）に示すように、所定角度θの範囲内で姿勢を変化させることが可能である。そのため、操作パネル１６は、その姿勢に応じた方向に向かって各種の画面を表示する。ユーザーは、操作パネル１６に対する操作を行うとき、自身の身長や姿勢に併せて操作パネル１６の姿勢を変化させることにより、各種の画面を視認しやすくすることができる。
【００４８】
また、画像処理装置２は、図２（ａ）に示すように、装置本体の正面側に、人感センサー１８を備えている。人感センサー１８は、画像処理装置２の正面側の所定距離の範囲内に存在する人物を検知するセンサーであり、例えば赤外線センサーなどによって構成される。
【００４９】
図３は、情報処理システム１のハードウェア構成を示す図である。まず、音声入力装置３は、そのハードウェア構成として、制御部４０と、通信インタフェース４１と、マイク４２と、スピーカー４３とを備えている。制御部４０は、図示を省略するＣＰＵとメモリとを備えて構成され、各部の動作を制御する。通信インタフェース４１は、音声入力装置３をネットワーク４に接続し、画像処理装置２との通信を行うためのものである。例えば、マイク４２によってユーザーの音声が検出され、マイク４２からユーザーの音声に基づく音声情報が出力されると、制御部４０は、通信インタフェース４１を介して、その音声情報を画像処理装置２へ送信する。これにより、画像処理装置２においてユーザーの音声に基づく処理が行われる。また、制御部４０は、通信インタフェース４１を介してユーザーに対してフィードバックするための音声情報を画像処理装置２から受信すると、その音声情報に基づいてスピーカー４３を駆動することによってスピーカー４３から音声を出力させる。例えば、ユーザーが音声でジョブの設定項目の設定値をデフォルト値から変更した場合、画像処理装置２から変更後の設定値に対応する音声情報が出力される。制御部４０は、その音声情報に基づく音声をスピーカー４３から出力させることにより、ユーザーは、自身で指定した設定値が画像処理装置２において正しく設定されているか否かを確認することができる。したがって、ユーザーは、音声入力装置３と対話を行いながら、画像処理装置２に対する操作を遠隔で行うことができる。
【００５０】
次に画像処理装置２は、そのハードウェア構成として、上述したプリンタ部１２、スキャナ部１５、操作パネル１６、撮像部１７及び人感センサー１８の他に、制御部２０と、通信インタフェース２３と、画像処理部２４と、ＦＡＸ部２５と、パネル姿勢検知部２６と、記憶装置２８とを備えており、それら各部が内部バスを介して相互にデータの入出力を行うことができる構成である。また、画像処理装置２は、内部バスに後処理装置２９を接続可能である。後処理装置２９は、プリンタ部１２によって出力される印刷されたシートを取り込み、そのシートに対してステープルやパンチなどの後処理を行う装置である。
【００５１】
操作パネル１６は、表示部３０と、操作部３１と、マイク３２と、スピーカー３３とを備えている。表示部３０は、例えばカラー液晶ディスプレイによって構成され、ユーザーが操作可能な各種の画面を表示する。操作部３１は、ユーザーの手動操作を検知するためのものであり、例えば表示部３０の表示画面上に配置されるタッチパネルセンサーや、表示部３０の表示画面の周囲に配置される押しボタンキーなどによって構成される。マイク３２は、操作パネル１６を操作するユーザーの音声を検知して音声情報を生成する。またスピーカー３３は、ユーザーに対して各種の案内を音声で出力する。
【００５２】
例えば、人感センサー１８によって画像処理装置２の正面側の所定距離の範囲内において人物が検知されていない場合、操作パネル１６は、表示部３０に対する電力供給を遮断して画面表示機能を停止させるようにしても良い。この場合、操作パネル１６の画面表示機能が停止している状態であっても、ユーザーが音声で画像処理装置２に対する遠隔操作を行ったときには、画像処理装置２の内部において、表示部３０に表示すべき画面がユーザーの操作に応じて逐次更新される。
【００５３】
制御部２０は、ＣＰＵ２１とメモリ２２とを備えており、各部の動作を制御する。ＣＰＵ２１は、記憶装置２８に記憶されているプログラム３５を読み出して実行する。メモリ２２は、ＣＰＵ２１がプログラム３５を実行することに伴い、一時的なデータなどを記憶するためのものである。ＣＰＵ２１は、プログラム３５を実行することにより、制御部２０を後述する各種の処理部として機能させる。
【００５４】
通信インタフェース２３は、画像処理装置２をネットワーク４に接続し、ネットワーク４に接続されている他の機器と通信を行う。例えば、通信インタフェース２３は、音声入力装置３から送信される音声情報を受信したり、制御部２０から出力される音声情報を音声入力装置３へ送信したりする。
【００５５】
画像処理部２４は、画像データに対して各種の画像処理を行うものである。例えば、画像処理部２４は、カラー画像に対して色調などを変化させる画質調整処理を行うことが可能である。また、画像処理部２４は、画像データに対してユーザーによって指定された画像を地紋や透かしなどとして重畳させる処理を行うことも可能である。
【００５６】
ＦＡＸ部２５は、図示を省略する公衆電話網を介してＦＡＸデータの送受信を行うものである。例えば、ユーザーによってＦＡＸ送信が指定された場合、ＦＡＸ部２５は、送信対象となる画像データに基づいてＦＡＸデータを生成し、そのＦＡＸデータをユーザーによって指定された送信先へ送信する。
【００５７】
パネル姿勢検知部２６は、操作パネル１６の姿勢を検知するものである。上述のように操作パネル１６は、所定角度θの範囲内で姿勢を任意に変化させることが可能である。パネル姿勢検知部２６は、そのような操作パネル１６の姿勢（角度）を検知する。
【００５８】
記憶装置２８は、ハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）などで構成される不揮発性の記憶手段である。記憶装置２８には、上述したプログラム３５が予め記憶される。また、記憶装置２８には、各種データを記憶する記憶領域として、ファイル記憶部３６と、ジョブ記憶部３７と、画面記憶部３８とが設けられる。
【００５９】
ファイル記憶部３６は、ＢＯＸ機能で利用される記憶領域である。すなわち、ファイル記憶部３６は、画像データや文書データなどの電子ファイルを記憶しておく記憶領域である。ファイル記憶部３６には、複数の電子ファイルを記憶しておくことが可能である。例えば、制御部２０は、ユーザーによる電子ファイルの登録操作を受け付けると、ユーザーによって指定された電子ファイルをファイル記憶部３６に保存する。
【００６０】
ジョブ記憶部３７は、ユーザーによって登録される予約ジョブを記憶しておくための記憶領域である。ジョブ記憶部３７には、複数の予約ジョブを記憶しておくことができる。例えば、制御部２０は、ユーザーによる予約ジョブの登録操作を受け付けると、ユーザーによって指定されたジョブを予約ジョブとしてジョブ記憶部３７に保存する。
【００６１】
画面記憶部３８は、表示部３０に表示するための画面に関する情報（画面情報）を記憶しておくための記憶領域である。例えば、制御部２０は、ユーザーの音声を音声操作として受け付けた場合、操作パネル１６の表示部３０に表示すべき画面を更新する。このとき、表示部３０の画面表示機能が停止していれば、更新後の画面を表示部３０に表示させることができない。そのため、制御部２０は、ユーザーの操作に基づいて更新した画面に関する画面情報を画面記憶部３８に保存して管理する。
【００６２】
次に図４は、画像処理装置２における制御部２０の機能構成を示すブロック図である。制御部２０のＣＰＵ２１は、プログラム３５を実行することにより、制御部２０を、操作受付部５０、ユーザー認証部５２、ジョブ管理部５３、画面更新部５４、表示制御部５５、音声案内部５６、画面判定部５７及びユーザー状態判定部５８として機能させる。
【００６３】
操作受付部５０は、ユーザーの操作を受け付ける処理部である。ユーザーが画像処理装置２に対して行う操作には、手動操作と音声操作との２種類がある。操作受付部５０は、それら２種類の操作を受け付けることができる。例えば、操作パネル１６の操作部３１に対してユーザーが手動操作を行った場合、操作受付部５０は、操作部３１から出力される操作情報に基づきユーザーの手動操作を受け付ける。この操作受付部５０は、音声操作受付部５１を有している。音声操作受付部５１は、ユーザーの音声を音声操作として受け付ける処理部である。例えば、音声操作受付部５１は、通信インタフェース２３を介して、音声入力装置３から出力される音声情報を受信した場合、その音声情報に基づくユーザーの音声を音声操作として受け付ける。また、音声操作受付部５１は、操作パネル１６に搭載されているマイク３２から出力される音声情報を取得した場合、その音声情報に基づくユーザーの音声を音声操作として受け付けることもできる。
【００６４】
ユーザー認証部５２は、画像処理装置２を使用しようとするユーザーを認証する処理部である。ユーザー認証部５２は、操作受付部５０から操作情報又は音声情報を取得し、その取得した情報に基づいて認証処理を行う。例えば、ユーザー認証部５２は、操作パネル１６の操作部３１に対して入力されるユーザーＩＤやパスワードを予め登録されている認証情報と照合することにより認証処理を行う。また、ユーザー認証部５２は、ユーザーの音声に基づく音声情報から声紋情報を抽出し、その声紋情報を予め登録されている声紋特徴情報と照合することにより声紋認証を行う。認証処理に成功すると、ユーザー認証部５２は、画像処理装置２を使用しようとしているユーザーを特定することができる。画像処理装置２がログアウト状態であるときに認証処理に成功すると、ユーザー認証部５２は、認証処理において特定したユーザーをログインユーザーと認定し、画像処理装置２をログインユーザーが使用可能なログイン状態へと移行させる。これにより、ユーザーは、画像処理装置２に対してジョブの設定操作やジョブの実行指示を行うことができるようになる。
【００６５】
画像処理装置２がログイン状態へ移行すると、音声操作受付部５１は、音声入力装置３から音声情報を受信すると、その音声情報に基づく音声認識処理を行う。音声認識処理では、ユーザーの発したワードを抽出する処理が行われる。音声認識処理においてユーザーの発したワードが抽出されると、音声操作受付部５１は、その抽出したワードが予め登録されている音声操作用キーワードに一致するか否かを判断する。抽出したワードが音声操作用キーワードに一致する場合、音声操作受付部５１は、画像処理装置２において行うべき処理を特定することができる。そのため、抽出したワードが音声操作用キーワードに一致する場合、音声操作受付部５１は、音声入力装置３から受信した音声情報を音声操作として受け付ける。そして音声操作受付部５１は、抽出したワードに一致する音声操作用キーワードをジョブ管理部５３及び画面更新部５４のそれぞれに出力する。
【００６６】
ジョブ管理部５３は、ジョブを管理する処理部である。ジョブ管理部５３は、音声操作受付部５１から出力される音声操作用キーワードに基づき、ジョブの設定や実行制御を行う。また、ユーザーがジョブを予約ジョブとして登録しておくことを指定している場合、ジョブ管理部５３は、音声操作に基づくジョブ設定を反映させた予約ジョブをジョブ記憶部３７に保存して管理する。また、ユーザーが画像データに対する画質調整を行うことを指示している場合、ジョブ管理部５３は、画像処理部２４を動作させ、画像処理部２４にユーザーが指示した画質調整を行わせる。また、ユーザーが画像データに対して地紋や透かしなどを重畳させることを指示している場合、ジョブ管理部５３は、画像処理部２４を機能させ、画像処理部２４に、ユーザーが指定した画像を地紋や透かしとして画像データに重畳させる処理を行わせる。
【００６７】
画面更新部５４は、表示部３０に表示する画面を生成し、その画面をユーザーの操作に応じて逐次更新する処理部である。画面更新部５４は、音声操作受付部５１から出力される音声操作用キーワードに基づき、表示部３０に表示すべき画面を更新する。例えば、ユーザーがコピー機能を選択した場合、画面更新部５４は、表示部３０に表示すべき画面として、コピー機能に関するジョブの設定を行うための設定画面を生成する。そして、その設定画面に含まれる設定項目がユーザーによって設定変更されると、画面更新部５４は、その設定項目の設定値をデフォルト値からユーザーによって指定された値に変更し、設定画面を更新する。また、ユーザーが画像のプレビュー表示を指示した場合、画面更新部５４は、表示部３０に表示すべき画面として、ユーザーによって指定された画像をプレビュー表示するプレビュー表示画面を生成する。その後、ユーザーによってプレビュー表示されている画像の画質調整が指示された場合、画面更新部５４は、プレビュー対象の画像を画像処理部２４によって画質調整された画像に変更し、プレビュー表示画面を更新する。このように画面更新部５４は、ユーザーの指示に基づき、表示部３０に表示するための画面を逐次更新する。そして画面更新部５４は、表示制御部５５に対して画面情報を出力する。
【００６８】
表示制御部５５は、表示部３０における画面の表示制御を行う。表示制御部５５は、表示部３０の画面表示機能が有効に動作しているとき、画面更新部５４から出力される画面情報に基づいて表示部３０に画面を表示させる。したがって、ユーザーは、表示部３０に表示される画面を確認しながら、画像処理装置２に対する操作を行うことができる。また、ユーザーが音声入力装置３に対して音声を入力することによって画像処理装置２を遠隔操作している場合、表示制御部５５は、表示部３０の画面表示機能を停止させておいても良い。その場合、表示制御部５５は、画面更新部５４から出力される画面情報を取得しても、その画面情報に基づく画面表示を行わない。
【００６９】
音声案内部５６は、ユーザーに対する音声案内を行うための音声情報を生成して出力する処理部である。例えば、ユーザーの音声操作に基づいて画面更新部５４による画面更新が行われた場合に、音声案内部５６は、少なくとも画面内の更新された部分をユーザーに対して音声でフィードバックするための音声情報を生成して出力する。ユーザーの音声に基づく音声情報が音声入力装置３から受信したものである場合、音声案内部５６は、通信インタフェース２３を介して音声入力装置３に音声情報を出力する。音声入力装置３は、画像処理装置２から音声情報を取得すると、その音声情報に基づく音声出力を行う。
【００７０】
例えば、ユーザーが音声入力装置３に対して「部数３」という音声を発した場合、画像処理装置２において「部数」の設定項目の値がデフォルト値である「１」から「３」に変更され、設定画面が更新される。この場合、音声案内部５６は、例えば「部数を３に設定しました。」といった音声情報を生成し、音声入力装置３へ送信する。これにより、音声入力装置３は、スピーカー４３から「部数を３に設定しました。」という音声出力を行う。したがって、ユーザーは、音声で指定した設定が画像処理装置２において正しく反映されているか否かを判断することができる。
【００７１】
また、音声案内部５６は、ユーザーの音声に基づく音声情報が操作パネル１６のマイク３２から取得したものである場合、ユーザーに対して音声案内するための音声情報をスピーカー３３へ出力する。つまり、音声案内部５６は、ユーザーの音声に基づく音声情報の入手先に応じて、音声案内のための音声情報の出力先を切り替えることが可能である。そのため、ユーザーが操作パネル１６の表示部３０に表示される画面を見ながら音声操作を行っている場合には、操作パネル１６のスピーカー３３から音声案内のための音声を出力することができる。
【００７２】
画面判定部５７は、画面更新部５４によって更新される画面を表示部３０に表示させるか否かを判定する処理部である。例えば、画面判定部５７は、表示部３０の画面表示機能が停止している状態のときに画面更新部５４によって画面が更新されると、その更新後の画面を表示部３０に表示させる必要があるか否かを判定する。また、これに限らず、画面判定部５７は、音声入力装置３から受信した音声情報に基づいて画面が更新された場合に、その更新後の画面を表示部３０に表示させる必要があるか否かを常に判定するようにしても良い。この画面判定部５７は、音声操作受付部５１によって受け付けられる音声操作に基づき、画面更新部５４によって更新される画面の表示内容を特定し、その表示内容に基づいて表示部３０に画面を表示させるか否かを判定する。
【００７３】
具体的に説明すると、画面判定部５７は、画面更新部５４によって更新された画面をユーザーに直接見てもらうことが好ましい場合に、更新後の画面を表示部３０に表示させる必要のある画面であると判定する。これに対し、画面更新部５４による更新後の画面がユーザーに見てもらう必要のない画面である場合、画面判定部５７は、更新後の画面を表示部３０に表示させる必要のない画面であると判定する。
【００７４】
上述した音声案内部５６は、画面更新部５４によって画面が更新されると、少なくとも画面内の更新された部分をユーザーに対して音声でフィードバックするための音声情報を生成して出力する。しかし、画面更新部５４によって更新された部分を音声で表現することが困難なケースが発生する。例えば、ユーザーが画像のプレビュー表示を指示し、画面更新部５４によって画面がプレビュー表示画面に更新された場合、プレビュー表示画面に表示される画像を音声で表現することは困難であり、ユーザーに対して更新された画面の内容を正確にフィードバックすることができない。また、画面更新部５４によって更新された部分が多岐に亘り、更新された部分を全て音声で表現すると、音声の再生時間が長くなり、ユーザーに対して更新された部分の全てを正確にフィードバックすることが困難なケースも発生する。例えば、ユーザーが画面遷移を指示し、画面更新部５４によって画面が多数の設定項目を含む画面に更新された場合、更新後の画面内に含まれる多数の設定項目の全てをユーザーに対して音声でフィードバックしようとすると、音声の再生時間が長くなり、多数の設定項目の全てをユーザーに対して正確に伝えることができなくなる。
【００７５】
そのため、画面判定部５７は、画面更新部５４によって更新された部分を音声で適格に表現することが可能であり、しかも音声の再生時間が所定時間以下となる場合に、音声でフィードバックすることが可能であることから、更新後の画面を表示部３０に表示させる必要のない画面であると判定する。これに対し、画面判定部５７は、画面更新部５４によって更新された部分を音声で適格に表現することが困難である場合、又は、音声の再生時間が所定時間を超える場合に、音声でフィードバックすることが困難であることから、更新後の画面を表示部３０に表示させる必要のある画面であると判定する。そして、画面判定部５７は、その判定結果を、表示制御部５５、音声案内部５６、及び、ユーザー状態判定部５８のそれぞれに出力する。
【００７６】
表示制御部５５は、画面判定部５７において更新後の画面が表示部３０に表示させる必要のある画面であると判定された場合、画面更新部５４から出力される更新後の画面情報に基づき、表示部３０に表示する画面を更新して表示させる。ただし、表示部３０の画面表示機能が停止しているとき、表示制御部５５は、表示部３０に更新後の画面を直ぐには表示させない。この場合、表示制御部５５は、画面更新部５４から出力される更新後の画面情報を画面記憶部３８に保存して管理する。そして、所定の条件が成立したとき、表示制御部５５は、表示部３０の画面表示機能を有効に動作させると共に、画面記憶部３８から画面情報を読み出して表示部３０に表示させる。
【００７７】
音声案内部５６は、画面判定部５７において更新後の画面が表示部３０に表示させる必要のある画面であると判定された場合、ユーザーに対して表示部３０に表示される画面を確認することを促す音声案内のための音声情報を生成し、その音声情報を出力する。ユーザーが音声入力装置３に対して音声入力を行っている場合、音声案内部５６は、音声案内のための音声情報を、音声入力装置３に対して送信する。そのため、ユーザーは、音声入力装置３から出力される音声案内により、画像処理装置２の設置場所まで移動して操作パネル１６に表示される画面を確認することが好ましい状況であることを把握することができる。
【００７８】
ユーザー状態判定部５８は、画面判定部５７において更新後の画面が表示部３０に表示させる必要のある画面であると判定された場合に、音声操作を行っているユーザーが操作パネル１６の表示部３０を視認可能な状態であるか否かを判定する処理部である。ユーザー状態判定部５８は、人感センサー１８、操作パネル１６のマイク３２、撮像部１７、及び、パネル姿勢検知部２６のうちの少なくとも１つのから出力される情報に基づいてユーザーが表示部３０を視認可能な状態であるか否かを判定する。
【００７９】
例えば、ユーザー状態判定部５８は、人感センサー１８によって画像処理装置２の正面側の所定距離の範囲内で人物が検知された場合、ユーザーが表示部３０を視認可能であると判定するようにしても良い。ただし、この場合は、人感センサー１８によって検知された人物が、画像処理装置２に対する音声操作を行っているユーザーであるか否かを特定することができない。
【００８０】
またユーザー状態判定部５８は、操作パネル１６のマイク３２によってユーザーの音声が検知された場合に、ユーザーが表示部３０を視認可能であると判定するようにしても良い。この場合、ユーザー状態判定部５８は、マイク３２によって所定音量レベル以上の音声が検知されることを条件として、ユーザーが表示部３０を視認可能であると判定することが好ましい。所定音量レベル以上の音声であれば、ユーザーが画像処理装置２の近傍に位置することが判るからである。また、ユーザー状態判定部５８は、マイク３２が複数のマイクを備えている場合、それら複数のマイクが検知する音量レベルに基づいて音声が発せられた方向を検知することによりユーザーが位置する方向を特定し、ユーザーが操作パネル１６の正面に位置している場合に、ユーザーが表示部３０を視認可能であると判定するようにしても良い。また、ユーザー状態判定部５８は、マイク３２によってユーザーの音声が検知された場合、その音声に基づく声紋認証を行うようにすることが好ましい。この声紋認証により、マイク３２によって検知された音声が、現在音声操作を行っているユーザーによって発せられた音声であるか否かを判定することができるようになる。尚、ユーザー状態判定部５８は、マイク３２によって検知された音声に基づく音声情報をユーザー認証部５２へ出力し、ユーザー認証部５２に声紋認証を依頼しても構わない。
【００８１】
またユーザー状態判定部５８は、撮像部１７を駆動して操作パネル１６を操作するユーザーの顔画像を撮影し、ユーザーが表示部３０を視認可能な状態であるか否かを判定するようにしても良い。例えば、ユーザー状態判定部５８は、撮像部１７から得られる撮影画像から顔画像を抽出する。撮影画像から顔画像を抽出できない場合、ユーザーが表示部３０を視認可能な状態ではない。また、撮影画像から顔画像を抽出することができた場合、ユーザー状態判定部５８は、その顔画像に基づいて顔認証を行い、撮影画像に写っているユーザーが音声操作を行っているユーザーに一致するか否かを判定する。撮影画像に写っているユーザーが音声操作を行っているユーザーに一致する場合、ユーザー状態判定部５８は、音声操作を行っているユーザーが表示部３０を視認可能な状態であると判定することができる。
【００８２】
またユーザー状態判定部５８は、顔画像を解析することによってユーザーの視線方向を特定し、ユーザーの視線が表示部３０を向いている場合に、音声操作を行っているユーザーが表示部３０を視認可能な状態であると判定するようにしても良い。さらに、ユーザー状態判定部５８は、パネル姿勢検知部２６によって検知される操作パネル１６の姿勢に基づき、表示部３０の表示方向を特定し、ユーザーの視線方向と表示部３０の表示方向とが一致する場合に、音声操作を行っているユーザーが表示部３０を視認可能な状態であると判定するようにしても良い。
【００８３】
ユーザー状態判定部５８は、音声入力装置３を介して遠隔操作を行っていたユーザーが画像処理装置２の設置場所まで移動してきて表示部３０を視認することが可能な状態になったことを検知すると、表示制御部５５に対して画面表示を指示する。ただし、表示部３０の画面表示機能が停止しておらず、表示部３０において既に画面表示が行われている場合には、ユーザー状態判定部５８による判定は行う必要がない。そのため、ユーザー状態判定部５８による判定処理は、少なくとも表示部３０の画面表示機能が停止しているときに行われる。
【００８４】
表示制御部５５は、ユーザー状態判定部５８からの指示に基づき、表示部３０の画面表示機能を有効に動作させる。そして表示制御部５５は、画面記憶部３８に記憶しておいた画面情報を読み出し、その画面情報に基づく画面を表示部３０に表示させる。これにより、音声でフィードバックすることが困難な画面をユーザーに視認させることができ、ユーザーに対して情報を正確に伝えることができるようになる。
【００８５】
次に、画像処理装置２における具体的な動作について説明する。図５は、画像処理装置２において行われる主たる処理手順の一例を示すフローチャートである。この処理は、画像処理装置２の制御部２０においてＣＰＵ２１がプログラム３５を実行することによって行われる処理である。画像処理装置２は、この処理を開始すると、音声入力装置３から音声情報を受信したか否かを判断する（ステップＳ１０）。音声情報を受信していない場合（ステップＳ１０でＮＯ）、音声情報を受信するまで待機する。音声入力装置３から音声情報を受信した場合（ステップＳ１０でＹＥＳ）、画像処理装置２は、音声情報に基づく声紋認証を行い（ステップＳ１１）、ユーザーを特定することができたか否かを判断する（ステップＳ１２）。ユーザーを特定することができなかった場合（ステップＳ１２でＮＯ）、画像処理装置２による処理は、ステップＳ１０へ戻る。これに対し、ユーザーを特定することができた場合（ステップＳ１２でＹＥＳ）、画像処理装置２は、ログイン状態へ移行済みであるか否かを判断する（ステップＳ１３）。ログイン状態へ移行していない場合（ステップＳ１３でＮＯ）、画像処理装置２は、声紋認証で特定できたユーザーをログインユーザーとしてログイン状態へ移行させる（ステップＳ１４）。尚、声紋認証で特定できたユーザーをログインユーザーとするログイン状態へ移行済みである場合（ステップＳ１３でＹＥＳ）、ステップＳ１４の処理はスキップする。
【００８６】
ログイン状態へ移行すると、画像処理装置２は、ステップＳ１０で受信した音声情報に基づく音声認識処理を行い（ステップＳ１５）、ユーザーの発した音声が音声操作用キーワードに一致するか否かを判断する（ステップＳ１６）。ユーザーの発した音声が音声操作用キーワードに一致しない場合（ステップＳ１６でＮＯ）、画像処理装置２は、音声情報を音声操作として受け付けない。この場合、画像処理装置２による処理は、ステップＳ１０に戻る。
【００８７】
ユーザーの発した音声が音声操作用キーワードに一致した場合（ステップＳ１６でＹＥＳ）、画像処理装置２は、音声情報を音声操作として受け付ける（ステップＳ１７）。そして画像処理装置２は、ユーザーの音声操作を装置内部に反映させるための音声操作反映処理を行う（ステップＳ１８）。音声操作反映処理では、ジョブ管理部５３によってユーザーの指示に基づくジョブの設定などが行われる。また音声操作反映処理では、画面更新部５４によって表示部３０に表示すべき画面が必要に応じて更新される。
【００８８】
画像処理装置２は、音声操作反映処理を行うと、画面更新部５４によって画面が更新されたか否かを判断する（ステップＳ１９）。画面更新が行われていない場合（ステップＳ１９でＮＯ）、画像処理装置２は、ユーザーの音声操作に基づく処理結果を音声でフィードバックするための音声フィードバック処理を行う（ステップＳ２０）。例えば、ユーザーによる音声操作に基づいてジョブ管理部５３がジョブの実行を開始した場合、画像処理装置２は、例えば「ジョブの実行を開始しました。」などの音声を出力するための音声情報を生成し、その音声情報を音声入力装置３に対して送信する。
【００８９】
また、画面更新部５４による画面更新が行われた場合（ステップＳ１９でＹＥＳ）、画像処理装置２は、画面判定部５７を機能させ、更新された画面を表示部３０に表示させる必要があるか否かを判定する画面判定処理を実行する（ステップＳ２１）。尚、画面判定処理（ステップＳ２１）の詳細については後述する。
【００９０】
画像処理装置２は、画面判定処理の結果として画面表示を行うか否かを判断する（ステップＳ２２）。画面更新部５４によって更新された画面を表示部３０に表示させる必要がない場合（ステップＳ２２でＮＯ）、画像処理装置２は、音声フィードバック処理を行う（ステップＳ２０）。例えば、ユーザーの音声操作によってひとつの設定項目の設定値がデフォルト値から変更された場合、画像処理装置２は、設定変更後の設定値を音声でフィードバックするための音声情報を生成し、その音声情報を音声入力装置３に対して送信する。
【００９１】
一方、画面更新部５４によって更新された画面を表示部３０に表示させる必要がある場合（ステップＳ２２でＹＥＳ）、画像処理装置２は、ユーザーに対して表示部３０に表示される画面を確認することを促す音声案内を行う（ステップＳ２３）。これにより、音声入力装置３を介して遠隔操作を行っているユーザーは、画像処理装置２の操作パネル１６に表示される画面を視認する必要があることを把握することができる。
【００９２】
画像処理装置２は、ユーザーに対する音声案内を行うと、ユーザー状態判定部５８を機能させ、ユーザー状態判定処理を実行する（ステップＳ２４）。すなわち、画像処理装置２は、音声操作を行っているユーザーが操作パネル１６の表示部３０に表示される画面を視認可能な状態であるか否かを判定する処理を行う。尚、このユーザー状態判定処理（ステップＳ２４）の詳細については後述する。そして画像処理装置２は、ユーザー状態判定処理の結果、ユーザーが表示部３０を視認可能であると判断すると（ステップＳ２５でＹＥＳ）、画面表示処理を実行する（ステップＳ２６）。すなわち、表示制御部５５が、表示部３０の画面表示機能を有効に動作させ、画面更新部５４によって更新された画面を表示部３０に表示させるのである。したがって、ユーザーは、表示部３０に表示される画面を視認することにより、自身の音声操作が反映された状態を視覚的に確認することができる。尚、この画面表示処理（ステップＳ２６）の詳細については後述する。
【００９３】
その後、画像処理装置２は、ユーザーによってログアウト操作が行われたか否かを判断し（ステップＳ２７）、ログアウト操作が行われた場合（ステップＳ２７でＹＥＳ）、画像処理装置２による処理が終了する。また、ログアウト操作が行われていない場合（ステップＳ２７でＮＯ）、画像処理装置２による処理は、ステップＳ１０に戻り、上述した処理を繰り返す。
【００９４】
図６は、画面判定処理（ステップＳ２１）の詳細な処理手順の一例を示すフローチャートである。この画面判定処理は、上述した画面判定部５７によって行われる処理である。画面判定部５７は、画面判定処理（ステップＳ２１）を開始すると、画面更新によってそれ以前の画面が別の画面に遷移したか否かを判断する（ステップＳ３０）。画面更新によって画面が遷移した場合（ステップＳ３０でＹＥＳ）、画面判定部５７は、遷移後の画面がプレビュー表示画面であるか否かを判断する（ステップＳ３１）。図８は、プレビュー表示画面Ｇ１の一例を示す図である。プレビュー表示画面Ｇ１は、図８に示すようにユーザーによって指定された画像６１をプレビュー表示する画面である。例えば、ユーザーによってひとつの画像６１が選択され、その画像６１のプレビュー表示が指示されると、画面更新部５４によって図８に示すようなプレビュー表示画面Ｇ１が表示される。このプレビュー表示画面Ｇ１は、ユーザーに画像６１を確認させるための画面である。プレビュー表示画面Ｇ１において表示される画像６１の詳細は、音声で表現することができない。そのため、画面判定部５７は、遷移後の画面がプレビュー表示画面Ｇ１である場合（ステップＳ３１でＹＥＳ）、画面更新部５４によって更新された画面を表示部３０に表示させることが必要であると決定する（ステップＳ３２）。
【００９５】
また、遷移後の画面がプレビュー表示画面Ｇ１でない場合（ステップＳ３１でＮＯ）、画面判定部５７は、遷移後の画面がサムネイル表示画面であるか否かを判断する（ステップＳ３３）。図９は、サムネイル表示画面Ｇ２の一例を示す図である。図９に示すように、サムネイル表示画面Ｇ２は、サムネイル表示領域６２を有している。そしてサムネイル表示画面Ｇ２は、そのサムネイル表示領域６２に、ユーザーによって指定されたファイル記憶部３６に保存されている電子ファイルのサムネイル画像６３を表示する。ファイル記憶部３６に複数の電子ファイルが保存されている場合、サムネイル表示領域６２には、それら複数の電子ファイルのサムネイル画像６３が一定間隔で配置される。そしてユーザーは、サムネイル表示領域６２に表示されるサムネイル画像６３に対する操作を行うことで、複数の電子ファイルの中から少なくとも１つの電子ファイルを選択することができる。このようなサムネイル表示画面Ｇ２において表示されるサムネイル画像６３は、その詳細を音声で表現することができない。そのため、画面判定部５７は、遷移後の画面がサムネイル表示画面Ｇ２である場合（ステップＳ３３でＹＥＳ）、画面更新部５４によって更新された画面を表示部３０に表示させることが必要であると決定する（ステップＳ３２）。
【００９６】
また、遷移後の画面がサムネイル表示画面Ｇ２でない場合（ステップＳ３３でＮＯ）、画面判定部５７は、遷移後の画面がジョブリスト画面であるか否かを判断する（ステップＳ３４）。図１０は、ジョブリスト画面Ｇ３の一例を示す図である。図１０に示すように、ジョブリスト画面Ｇ３は、ジョブリスト表示領域６４を有しており、そのジョブリスト表示領域６４に少なくとも１つのジョブに関する情報を表示することができる。例えば、ジョブ記憶部３７に複数の予約ジョブが登録されているときに、ユーザーによってジョブリストを表示させる指示が行われると、画面更新部５４は、ジョブ記憶部３７から複数の予約ジョブのそれぞれに関する情報を取得し、図１０に示すようなジョブリスト画面Ｇ３を生成し、それ以前の画面をジョブリスト画面Ｇ３に更新する。ジョブリスト表示領域６４に１つの予約ジョブに関する情報が表示される場合には、ユーザーに対して音声でフィードバックを行うようにしても良い。しかし、図１０に示すようにジョブリスト表示領域６４に複数の予約ジョブに関する情報が表示される場合には、音声の再生時間が長くなるため、音声によるフィードバックは好ましくない。そのため、画面判定部５７は、遷移後の画面がジョブリスト画面Ｇ３である場合（ステップＳ３４でＹＥＳ）、画面更新部５４によって更新された画面を表示部３０に表示させることが必要であると決定する（ステップＳ３２）。
【００９７】
また、遷移後の画面がジョブリスト画面Ｇ３でない場合（ステップＳ３４でＮＯ）、画面判定部５７は、遷移後の画面がアドレス選択画面であるか否かを判断する（ステップＳ３５）。図１１は、アドレス選択画面Ｇ４の一例を示す図である。図１１に示すように、アドレス選択画面Ｇ４は、アドレス表示領域６５を有しており、そのアドレス表示領域６５に、少なくとも１つのアドレス情報を表示することができる。例えば、画像処理装置２に予め複数のアドレス情報が登録されている場合、アドレス表示領域６５には、複数のアドレス情報が表示される。アドレス表示領域６５に１つのアドレス情報だけが表示される場合には、ユーザーに対して音声でアドレス情報をフィードバックするようにしても良い。しかし、図１１に示すようにアドレス表示領域６５に複数のアドレス情報が表示される場合には、音声の再生時間が長くなるため、音声によるフィードバックは好ましくない。そのため、画面判定部５７は、遷移後の画面がアドレス選択画面Ｇ４である場合（ステップＳ３５でＹＥＳ）、画面更新部５４によって更新された画面を表示部３０に表示させることが必要であると決定する（ステップＳ３２）。
【００９８】
また、遷移後の画面がアドレス選択画面Ｇ４でない場合（ステップＳ３５でＮＯ）、画面判定部５７は、遷移後の画面に含まれる文字数をカウントし（ステップＳ３６）、その文字数が所定数以上であるか否かを判断する（ステップＳ３７）。遷移後の画面に含まれる文字数が所定数以上であると、音声でフィードバックするときの再生時間が長くなり、ユーザーがフィードバックされる情報を十分に理解することができない可能性がある。そのため、遷移後の画面に含まれる文字数が所定数以上である場合（ステップＳ３７でＹＥＳ）、画面判定部５７は、画面更新部５４によって更新された画面を表示部３０に表示させることが必要であると決定する（ステップＳ３２）。尚、この場合の所定数は、適宜設定可能であり、例えば１００文字程度として予め設定しておいても良い。
【００９９】
図１２は、応用設定画面Ｇ５の一例を示す図である。この応用設定画面Ｇ５は、例えばユーザーが応用設定を行う指示を行った場合に、それ以前の画面から遷移する画面である。この応用設定画面Ｇ５には、多数の設定項目が含まれており、各設定項目の名称を示す文字や、各設定項目の現在の設定値を示す文字が含まれている。画面判定部５７は、応用設定画面Ｇ５に含まれる文字の文字数を算出し、その文字数が所定数以上であるか否かを判定するのである。
【０１００】
また、遷移後の画面に含まれる文字数が所定数以上でない場合（ステップＳ３７でＮＯ）、画面判定部５７は、遷移後の画面に含まれる文字列の数をカウントし（ステップＳ３８）、文字列の数が所定数以上であるか否かを判断する（ステップＳ３９）。遷移後の画面に含まれる文字列の数が所定数以上であると、音声でフィードバックするときの再生時間が長くなり、ユーザーがフィードバックされる情報を十分に理解することができない可能性がある。そのため、遷移後の画面に含まれる文字列の数が所定数以上である場合（ステップＳ３９でＹＥＳ）、画面判定部５７は、画面更新部５４によって更新された画面を表示部３０に表示させることが必要であると決定する（ステップＳ３２）。尚、この場合の所定数は、適宜設定可能であり、例えば１０程度として予め設定しておいても良い。例えば、図１２に示すような応用設定画面Ｇ５の場合、設定項目の数が多く、文字列の数が多い。そのため、画面判定部５７は、画面更新部５４によって画面が図１２に示すような応用設定画面Ｇ５に遷移した場合、応用設定画面Ｇ５を表示部３０に表示させることが必要であると決定する（ステップＳ３２）。
【０１０１】
また、遷移後の画面に含まれる文字列の数が所定数未満である場合（ステップＳ３９でＮＯ）、画面判定部５７は、ステップＳ３２の処理を行わない。この場合、画面判定部５７は、遷移後の画面を表示部３０に表示させることが必要でないと決定する。
【０１０２】
一方、画面更新部５４によって画面遷移が行われることなく、画面が更新された場合（ステップＳ３０でＮＯ）、画面判定部５７による処理は、図７のフローチャートに進む。この場合、画面判定部５７は、ユーザーによる指示に基づいて画像の画質調整が行われたか否かを判断する（ステップＳ４０）。例えば、図１３に示すように、プレビュー表示画面Ｇ１に含まれる画像６１の画質調整がユーザーによって指示されると、画面更新部５４は、画像処理部２４によって画質調整された画像に基づき、プレビュー表示画面Ｇ１の画像６１を更新する。図１３の例では、画像に含まれる一部の色が別に変換された場合を例示している。画像６１に対する画質調整が行われた場合、画像６１のどの部分がどのように変化したかを音声で表現することは困難である。そのため、画面判定部５７は、ユーザーによって画質調整が指示され、画面内に含まれる画像が更新された場合（ステップＳ４０でＹＥＳ）、画面更新部５４によって更新された画面を表示部３０に表示させることが必要であると決定する（ステップＳ４１）。
【０１０３】
また、画像の画質調整が行われていない場合（ステップＳ４０でＮＯ）、画面判定部５７は、ユーザーによる指示に基づいて後処理設定が行われたか否かを判断する（ステップＳ４２）。例えば、後処理設定には、シートに対してステープルやパンチ孔などの加工を施す設定が含まれる。シートに対してステープルやパンチ孔などの加工を施す場合、画面更新部５４によってユーザーにステープル位置やパンチ位置などを確認するための後処理設定画面が生成される。図１４は、その後処理設定画面Ｇ６の一例を示す図である。例えば、ユーザーによってパンチがオンに設定されると、画面更新部５４は、シート画像６６にデフォルトのパンチ位置などを示す画像成分を付加して後処理設定画面Ｇ６を更新する。そしてユーザーは、後処理設定画面Ｇ６に対する操作を行うことで、デフォルトのパンチ位置を変更して別の位置に指定することが可能である。ところが、シートに対するパンチ位置は、音声で表現することが難しい。そのため、画面判定部５７は、ユーザーによって後処理設定が行われた場合（ステップＳ４２でＹＥＳ）、画面更新部５４によって更新された画面を表示部３０に表示させることが必要であると決定する（ステップＳ４１）。
【０１０４】
また、後処理設定が行われていない場合（ステップＳ４２でＮＯ）、画面判定部５７は、印刷ジョブの設定中に、印刷対象画像に対して地紋又は透かしを重畳させる設定を行うための画面に更新されたか否かを判断する（ステップＳ４３）。図１５は、地紋又は透かしの設定を行う画面Ｇ７の一例を示す図である。例えば、ユーザーによって地紋又は透かしの項目がオンに設定されると、画面更新部５４は、シート画像６７の所定位置にデフォルトの画像成分６７ａを付加して画面Ｇ７を更新する。そしてユーザーは、画面Ｇ７に対する操作を行うことで、地紋又は透かしとして付加する画像を変更したり、地紋又は透かしを印刷する位置を変更したりすることができる。ところが、シート画像６７に対する画像成分６７ａに内容や印刷位置を音声で正確に表現することは難しい。そのため、画面判定部５７は、ユーザーによって印刷対象画像に対して地紋又は透かしを重畳させる設定が行われた場合（ステップＳ４３でＹＥＳ）、画面更新部５４によって更新された画面を表示部３０に表示させることが必要であると決定する（ステップＳ４１）。
【０１０５】
また、ユーザーによって地紋又は透かしの設定が行われていない場合（ステップＳ４３でＮＯ）、画面判定部５７は、ユーザーによる指示が予約ジョブのキャンセル指示であるか否かを判断する（ステップＳ４４）。ユーザーによる指示が予約ジョブのキャンセル指示である場合（ステップＳ４４でＹＥＳ）、画面判定部５７は、さらにジョブ記憶部３７に複数の予約ジョブが記憶されているか否かを判断する（ステップＳ４５）。ジョブ記憶部３７に複数の予約ジョブが記憶されている場合、画像処理装置２は、それら複数の予約ジョブのうちから、キャンセル対象となる予約ジョブを特定する必要がある。この場合、画面更新部５４は、表示部３０に表示すべき画面を、キャンセル対象となる予約ジョブをユーザーに選択させるための画面（例えば図１０のジョブリスト画面Ｇ３と同様の画面）に更新する。そのため、画面判定部５７は、ユーザーによって予約ジョブのキャンセル指示が行われたとき（ステップＳ４４でＹＥＳ）、複数の予約ジョブが登録されていれば（ステップＳ４５でＹＥＳ）、図１０のジョブリスト画面Ｇ３に遷移した場合と同様に、画面更新部５４によって更新された画面を表示部３０に表示させることが必要であると決定する（ステップＳ４１）。
【０１０６】
また、ユーザーによって予約ジョブのキャンセル指示が行われていない場合（ステップＳ４４でＮＯ）、画面判定部５７は、ユーザーによる指示が予約ジョブの設定変更指示であるか否かを判断する（ステップＳ４６）。ユーザーによる指示が予約ジョブの設定変更指示である場合（ステップＳ４６でＹＥＳ）、画面判定部５７は、さらにジョブ記憶部３７に複数の予約ジョブが記憶されているか否かを判断する（ステップＳ４７）。ジョブ記憶部３７に複数の予約ジョブが記憶されている場合、画像処理装置２は、それら複数の予約ジョブのうちから、設定変更対象となる予約ジョブを特定する必要がある。この場合、画面更新部５４は、表示部３０に表示すべき画面を、設定変更対象となる予約ジョブをユーザーに選択させるための画面（例えば図１０のジョブリスト画面Ｇ３と同様の画面）に更新する。そのため、画面判定部５７は、ユーザーによって予約ジョブの設定変更指示が行われたとき（ステップＳ４６でＹＥＳ）、複数の予約ジョブが登録されていれば（ステップＳ４７でＹＥＳ）、図１０のジョブリスト画面Ｇ３に遷移した場合と同様に、画面更新部５４によって更新された画面を表示部３０に表示させることが必要であると決定する（ステップＳ４１）。
【０１０７】
また、ユーザーによる指示が予約ジョブの設定変更指示でない場合（ステップＳ４６でＮＯ）、又は、ジョブ記憶部３７に複数の予約ジョブが記憶されていない場合（ステップＳ４７でＮＯ）、画面判定部５７は、ステップＳ４１の処理を行わない。この場合、画面判定部５７は、遷移後の画面を表示部３０に表示させることが必要でないと決定する。以上で、画面判定処理（ステップＳ２１）が終了する。
【０１０８】
次に、図１６は、ユーザー状態判定処理（ステップＳ２４）の詳細な処理手順の一例を示すフローチャートである。この処理は、上述したユーザー状態判定部５８によって行われる処理である。ユーザー状態判定部５８は、ユーザー状態判定処理（ステップＳ２４）を開始すると、人感センサー１８がオンしているか否かを判断する（ステップＳ５０）。人感センサー１８がオフである場合（ステップＳ５０でＮＯ）、画像処理装置２の正面側に人物が存在しないことになる。そのため、人感センサー１８がオフであれば、表示部３０を視認可能なユーザーが存在しないため、ユーザー状態判定処理が終了する。これに対し、人感センサー１８がオンである場合（ステップＳ５０でＹＥＳ）、画像処理装置２の正面側に人物が存在することになる。この場合、ユーザー状態判定部５８は、ステップＳ５１以降の処理を実行する。
【０１０９】
人感センサー１８がオンしている場合、ユーザー状態判定部５８は、操作パネル１６に搭載されているマイク３２が音声を検知したか否かを判断する（ステップＳ５１）。このとき、ユーザー状態判定部５８は、周囲の雑音を除去するため、マイク３２が所定音量レベル以上の音声を検知したか否かを判断するようにしても良い。マイク３２が音声を検知した場合（ステップＳ５１でＹＥＳ）、ユーザー状態判定部５８は、マイク３２から出力される音声情報に基づいて声紋認証を行う（ステップＳ５２）。この声紋認証により、音声を発したユーザーがログインユーザーに一致するか否かが判定される。
【０１１０】
また、マイク３２が音声を検知していない場合（ステップＳ５１でＮＯ）、ユーザー状態判定部５８は、撮像部１７に撮影動作を行わせ、撮像部１７から撮影画像を取得する（ステップＳ５３）。そしてユーザー状態判定部５８は、その撮影画像からユーザーの顔画像を抽出して顔認証を行う（ステップＳ５４）。この顔認証により、撮影画像に写っているユーザーがログインユーザーに一致するか否かが判定される。尚、撮影画像から顔画像を抽出できなかった場合には、顔認証においてログインユーザーに一致するユーザーが検知されないことになる。
【０１１１】
ユーザー状態判定部５８は、声紋認証又は顔認証を行うと、ログインユーザーに一致するユーザーが検知されたか否かを判断する（ステップＳ５５）。ログインユーザーに一致するユーザーが検知されなかった場合（ステップＳ５５でＮＯ）、ユーザー状態判定処理が終了する。
【０１１２】
ログインユーザーに一致するユーザーが検知された場合（ステップＳ５５でＹＥＳ）、ユーザー状態判定部５８は、撮像部１７に撮影動作を行わせ、撮像部１７から撮影画像を取得する（ステップＳ５６）。ただし、上記ステップＳ５３で既に撮影画像が取得されている場合は、ステップＳ５６をスキップしても良い。ユーザー状態判定部５８は、撮像部１７から取得した撮影画像から顔画像を抽出し、その顔画像を解析することによりユーザーの視線方向を検出する（ステップＳ５７）。また、ユーザー状態判定部５８は、パネル姿勢検知部２６から出力される情報に基づき、操作パネル１６の姿勢を検知する（ステップＳ５８）。操作パネル１６の姿勢を検知することにより、ユーザー状態判定部５８は、表示部３０の表示方向を特定することができる。そしてユーザー状態判定部５８は、ユーザーの視線方向と表示部３０の表示方向とが一致するか否かを判断する（ステップＳ５９）。すなわち、ユーザー状態判定部５８は、ユーザーの視線方向の延長線上において表示部３０が視認可能な姿勢で位置しているか否かを判断するのである。ユーザーの視線方向と表示部３０の表示方向とが一致する場合（ステップＳ５９でＹＥＳ）、ユーザー状態判定部５８は、音声操作を行っているユーザーが表示部３０を視認可能な状態であると判定する（ステップＳ６０）。これに対し、ユーザーの視線方向と表示部３０の表示方向とが一致しない場合（ステップＳ５９でＹＥＳ）、ユーザー状態判定部５８は、ステップＳ６０の処理を行わない。この場合、ユーザー状態判定部５８は、音声操作を行っているユーザーが表示部３０を視認可能な状態でないと判定する。以上で、ユーザー状態判定処理（ステップＳ２４）が終了する。
【０１１３】
次に、図１７は、画像表示処理（ステップＳ２６）の詳細な処理手順の一例を示すフローチャートである。この処理は、上述した表示制御部５５によって行われる処理である。表示制御部５５は、画面表示処理（ステップＳ２６）を開始すると、画面記憶部３８に複数の画面情報が記憶されているか否かを判断する（ステップＳ７０）。例えば、ユーザーが音声入力装置３を介して画像処理装置２を遠隔操作しているとき、画面記憶部３８に対して複数の画面情報が記憶されることがある。そのため、表示制御部５５は、ユーザーが表示部３０を視認可能な状態となったときに、画面記憶部３８に複数の画面情報が記憶されているか否かを判断する。
【０１１４】
画面記憶部３８に記憶されている画面情報が１つだけである場合（ステップＳ７０でＮＯ）、表示制御部５５による処理はステップＳ７５に進む。これに対し、画面記憶部３８に複数の画面情報が記憶されている場合（ステップＳ７０でＹＥＳ）、表示制御部５５は、それら複数の画面情報を一画面に合成するか否かを判断する（ステップＳ７１）。例えば、画面記憶部３８に記憶されている画面の数が所定数以下である場合、表示制御部５５は、複数の画面情報を一画面内に合成すると判断する。これに対し、画面記憶部３８に記憶されている画面の数が所定数を超えている場合、表示制御部５５は、一画面に合成しないと判断する。この場合の所定数は適宜設定可能であり、例えば予め３画面程度に設定しておいても良い。
【０１１５】
表示制御部５５は、複数の画面情報を一画面に合成すると判断した場合（ステップＳ７１でＹＥＳ）、画面記憶部３８に記憶されている複数の画面情報のそれぞれから表示対象領域を抽出する（ステップＳ７２）。例えば、プレビュー表示画面Ｇ１であれば、プレビュー表示される画像部分を表示対象領域として抽出する。また、サムネイル表示画面Ｇ２であれば、サムネイル表示領域を表示対象領域として抽出する。このように表示制御部５５は、画面全体の中からユーザーによる確認が必要な領域だけを表示抽出する。そして表示制御部５５は、ステップＳ７２で抽出した表示対象領域を一画面内に配置した確認用表示画面を生成する（ステップＳ７３）。
【０１１６】
図１８は、表示制御部５５によって生成される確認用表示画面Ｇ８の一例を示す図である。図１８では、プレビュー表示画面Ｇ１とジョブリスト画面Ｇ３との２つの画面から確認用表示画面Ｇ８を生成する場合を例示している。図１８に示すように、表示制御部５５は、プレビュー表示画面Ｇ１から画像６１を表示対象領域として抽出し、ジョブリスト画面Ｇ３からジョブリスト表示領域６４を表示対象領域として抽出する。そして表示制御部５５は、画像６１とジョブリスト表示領域６４とを一画面内に配置した確認用表示画面Ｇ８を生成する。このとき、表示制御部５５は、画像６１と、ジョブリスト表示領域６４とのそれぞれを必要に応じて縮小して一画面内に配置できるように加工しても良い。また、表示制御部５５は、上下方向又は左右方向にスクロール可能な確認用表示画面Ｇ８を生成し、複数の表示対象領域を縮小することなく配置するようにしても良い。
【０１１７】
また、表示制御部５５は、複数の画面情報を一画面に合成しないと判断した場合（ステップＳ７１でＮＯ）、画面記憶部３８に記憶されている複数の画面情報の表示順序を決定する（ステップＳ７４）。このとき、表示制御部５５は、例えば画面記憶部３８に対して最後に記憶された画面情報を優先的に読み出す表示順序を決定するようにしても良い。この場合、ユーザーは、直近の操作が反映された画面から順に確認作業を行うことができる。ただし、これに限られるものではなく、表示制御部５５は、画面記憶部３８に記憶された順に、表示順序を決定するようにしても良い。
【０１１８】
次に表示制御部５５は、画面に対する強調表示を行うか否かを判断する（ステップＳ７５）。例えば、画面に対する強調表示を行うか否かは予め設定されている。表示制御部５５は、その設定に基づき、強調表示を行うか否かを判断する。強調表示を行わない場合（ステップＳ７５でＮＯ）、表示制御部５５による処理は、ステップＳ７８へ進む。これに対し、強調表示を行う場合（ステップＳ７５でＹＥＳ）、表示制御部５５は、強調対象領域を特定する（ステップＳ７６）。例えば、表示制御部５５は、画面内において、ユーザーが注目すべき領域を強調対象領域として特定する。そして表示制御部５５は、特定した強調対象領域に対して強調処理を施す（ステップＳ７７）。
【０１１９】
図１９は、画面に対する強調処理の概念を示す図である。例えば図１９（ａ）に示すように、プレビュー表示画面Ｇ１に含まれる画像６１に対してユーザーの指示に基づく画質調整が行われた場合、表示制御部５５は、画像６１において画質調整が行われた部分を強調対象領域として特定する。そして表示制御部５５は、その強調対象領域の外縁に対して太線を付与するなどの強調処理を施し、ユーザーが注目しやすい画面を生成する。
【０１２０】
また、例えば図１９（ｂ）に示すように、ユーザーＡが予約ジョブのキャンセルを指示した場合、表示制御部５５は、ジョブリスト画面Ｇ３に含まれる複数の予約ジョブのうち、ユーザーＡによって登録された予約ジョブが表示されている領域を強調対象領域として特定する。このとき、画面内から複数の強調対象領域が特定されることもある。そして表示制御部５５は、特定した強調対象領域の外縁に対して太枠を付与するなどの強調処理を施し、ユーザーが注目しやすい画面を生成する。
【０１２１】
次に表示制御部５５は、上記のようにして得られる画面を表示部３０に表示する処理を行う（ステップＳ７８）。例えば、表示部３０の画面表示機能が停止している場合、表示制御部５５は、ステップＳ７８において表示部３０の画面表示機能を有効に動作させ、ユーザーの確認が必要な画面を表示部３０に表示させる。また、例えばステップＳ７４において表示順序が決定された場合、表示制御部５５は、その表示順序に基づき、表示部３０に表示する画面を一定時間ごとに更新していく。
【０１２２】
ステップＳ７８において表示部３０に画面が表示されることにより、ユーザーは、自身の音声操作に基づいて更新された画面を確認することができ、音声によるフィードバックでは正確に伝わらない情報であっても画面を確認することで簡単に把握することができるようになる。
【０１２３】
このように本実施形態の情報処理システム１は、ユーザーが音声で画像処理装置２を遠隔操作しているとき、ユーザーの音声操作に基づく処理を実行すると、その処理の結果を音声でユーザーにフィードバックする。しかし、音声によるフィードバックでは、正確に処理の結果をユーザーに伝えることができないことがある。そのため、情報処理システム１は、ユーザーの音声操作に基づいて表示部３０に表示すべき画面を逐次更新していき、更新された画面を表示部３０に表示させてユーザーに画面の内容を確認してもらうことが必要であるか否かを判定する。そして情報処理システム１は、ユーザーに画面の内容を確認してもらうことが必要であると判定すると、ユーザーに対して画面を確認することを促し、表示部３０に対して音声操作の内容を反映させた画面を表示する。このような情報処理システム１によれば、ユーザーによる音声操作が行われているときに、ユーザーに対して音声によるフィードバックが困難な場合であっても、ユーザーに対してフィードバックすべき情報を、画面表示によって正確に伝えることができるようになる。
【０１２４】
尚、画像処理装置２は、ユーザーが表示部３０を視認可能な状態でユーザーの音声操作を受け付けるとき、音声の入力源を音声入力装置３から操作パネル１６に搭載されているマイク３２に切り替えるようにしても良い。
【０１２５】
（第２実施形態）
次に本発明の第２実施形態について説明する。図２０は、本発明の第２実施形態である情報処理システム１の一構成例を示す図である。図２０に示す情報処理システム１は、画像処理装置２と、音声入力装置３と、サーバー５とが、ネットワーク４を介して通信可能に接続された構成である。
【０１２６】
本実施形態では、サーバー５が、第１実施形態で説明した画像処理装置２の一部の機能を備えている。例えば、サーバー５は、第１実施形態で説明した画面判定部５７の機能を備えている。音声入力装置３は、ユーザーの音声を検知すると、その音声に基づく音声情報を生成し、画像処理装置２とサーバー５へ送信する。サーバー５は、音声入力装置３から音声情報を受信すると、画像処理装置２に対する音声操作であるか否かを判定し、音声操作である場合に画面判定部５７を機能させる。サーバー５は、画面判定部５７を機能させることにより、画像処理装置２の画面更新部５４において更新される画面を表示部３０に表示させる必要があるか否かを判定する。そしてサーバー５は、画面判定部５７による判定結果を画像処理装置２へ送信する。
【０１２７】
一方、画像処理装置２は、画面判定部５７の機能を備えていない。この画像処理装置２は、音声入力装置３から音声情報を受信すると、音声操作であるか否かを判定し、音声操作である場合にその音声操作の内容を反映させる処理を行う。このとき、画像処理装置２において画面更新部５４が機能し、表示部３０に表示すべき画面が更新される。そして表示制御部５５は、サーバー５から送信される判定結果に基づき、画面更新部５４によって更新された画面を表示部３０に表示させるか否かを判断する。サーバー５において画面を表示部３０に表示させる必要があると判定された場合、表示制御部５５は、ユーザーが表示部３０を視認可能な状態となったときに、画面更新部５４によって更新された画面を表示部３０に表示させる。
【０１２８】
このように本実施形態の情報処理システム１は、サーバー５において画面表示が必要であるか否かを判定するように構成されるため、画像処理装置２の処理負担を軽減することができるという利点がある。
【０１２９】
また、サーバー５は、画面判定部５７の機能に加え、さらに画面更新部５４の機能を備えていても良い。この場合、サーバー５は、音声入力装置３から受信する音声情報に基づいて表示部３０に表示すべき画面を更新することができる。そのため、ユーザーが遠隔操作を行っている画像処理装置２とは別の画像処理装置２に近づいて操作パネル１６に対する操作を開始した場合、サーバー５は、ユーザーが操作している画像処理装置２に対して更新後の画面情報を送信し、表示部３０に表示させることができる。そのため、ユーザーは、自身が居る場所に近い画像処理装置２を利用して音声操作の内容を確認することができ、利便性が向上する。
【０１３０】
尚、本実施形態において上述した点以外については、第１実施形態で説明したものと同様である。
【０１３１】
（第３実施形態）
次に本発明の第３実施形態について説明する。図２１は、本発明の第３実施形態である情報処理システム１の一構成例を示す図である。図２１に示す情報処理システム１は、画像処理装置２によって構成である。すなわち、画像処理装置２は、操作パネル１６にマイク３２を搭載しており、そのマイク３２が検知するユーザーの音声を音声操作として受け付けることができる。したがって、第１実施形態で説明したように音声入力装置３を備えていない場合であっても、画像処理装置２は、それ単体で情報処理システム１を構成し、第１実施形態で説明した動作を行うことができる。
【０１３２】
（変形例）
以上、本発明に関する幾つかの好ましい実施形態について説明した。しかし、本発明は、上記各実施形態において説明した内容のものに限られるものではなく、種々の変形例が適用可能である。
【０１３３】
例えば、上記実施形態では、画像処理装置２が、スキャン機能、プリント機能、コピー機能、ＦＡＸ機能、ＢＯＸ機能、電子メール送受信機能などの複数の機能を有するＭＦＰによって構成される場合を例示した。しかし、画像処理装置２は、ＭＦＰに限られるものではない。例えば、画像処理装置２は、プリント機能のみを備えたプリンタ、スキャン機能のみを備えたスキャナー、ＦＡＸ機能のみを備えたＦＡＸ装置などであっても構わない。また、画像処理装置２は、スキャン機能、プリント機能、コピー機能、ＦＡＸ機能、ＢＯＸ機能、電子メール送受信機能などとは異なる機能を備えた装置であっても構わない。
【０１３４】
また、上記実施形態では、音声入力装置３が、ＡＩスピーカーなどと呼ばれる装置である場合を例示した。しかし、音声入力装置３は、これに限られるものではない。例えば、音声入力装置３は、スマートフォンやタブレット端末などのユーザーが携帯可能な装置であっても構わない。
【０１３５】
また、上記実施形態では、制御部２０のＣＰＵ２１によって実行されるプログラム３５が予め記憶装置２８に格納されている場合を例示した。しかし、プログラム３５、例えば通信インタフェース２３などを介して画像処理装置２にインストールされるものであっても構わない。この場合、プログラム３５は、インターネットなどを介してダウンロード可能な態様で提供される。また、これに限らず、プログラム３５は、ＣＤ−ＲＯＭやＵＳＢメモリなどのコンピュータ読み取り可能な記録媒体に記録された態様で提供されるものであっても構わない。
【符号の説明】
【０１３６】
１  情報処理システム
２  画像処理装置
３  音声入力装置
４  ネットワーク
５  サーバー
１２  プリンタ部（印刷手段）
１７  撮像部（撮像手段）
１８  人感センサー
２４  画像処理部（画像処理手段）
２９  後処理装置（後処理）
３０  表示部（表示手段）
３２  マイク（音声入力手段）
３５  プログラム
３６  ファイル記憶部（ファイル記憶手段）
３８  画面記憶部（画面記憶手段）
５１  音声操作受付部（音声操作受付手段）
５３  ジョブ管理部（ジョブ管理手段）
５４  画面更新部（画面更新手段）
５６  音声案内部（案内手段）
５５  表示制御部（表示制御手段）
５７  画面判定部（画面判定手段）
５８  ユーザー状態判定部（ユーザー状態判定手段）
【図１】
2020182099.tif 000003
【図２】
2020182099.tif 000004
【図３】
2020182099.tif 000005
【図４】
2020182099.tif 000006
【図５】
2020182099.tif 000007
【図６】
2020182099.tif 000008
【図７】
2020182099.tif 000009
【図８】
2020182099.tif 000010
【図９】
2020182099.tif 000011
【図１０】
2020182099.tif 000012
【図１１】
2020182099.tif 000013
【図１２】
2020182099.tif 000014
【図１３】
2020182099.tif 000015
【図１４】
2020182099.tif 000016
【図１５】
2020182099.tif 000017
【図１６】
2020182099.tif 000018
【図１７】
2020182099.tif 000019
【図１８】
2020182099.tif 000020
【図１９】
2020182099.tif 000021
【図２０】
2020182099.tif 000022
【図２１】
2020182099.tif 000023