(57)【要約】【課題】読み出されたパラメータの組み合わせをユーザが逐一確認する場合に比して、ユーザの意図するパラメータの組み合わせを効率的に作成できるようにする。【解決手段】情報処理装置は、操作の対象とする画像形成装置に保存されている、画像の形成に関するパラメータの組み合わせ情報のうち、初期設定と異なるパラメータを抽出する抽出手段と、抽出されたパラメータをユーザに提示し、変更の希望をユーザに確認する確認手段とを有する。【選択図】図９
2020155030.tif 000002
【特許請求の範囲】
【請求項１】
操作の対象とする画像形成装置に保存されている、画像の形成に関するパラメータの組み合わせ情報のうち、初期設定と異なるパラメータを抽出する抽出手段と、
抽出されたパラメータをユーザに提示し、変更の希望をユーザに確認する確認手段と
を有する情報処理装置。
【請求項２】
ユーザによるパラメータの変更の指示を、音声入力を通じて受け付ける受付手段を更に有する、請求項１に記載の情報処理装置。
【請求項３】
ユーザが発話したパラメータ名が前記画像形成装置で使用されるパラメータ名と異なる場合、前記受付手段は、発話されたパラメータ名を当該画像形成装置で使用されるパラメータ名に変換する、請求項２に記載の情報処理装置。
【請求項４】
画像の出力後に受け付けたユーザの発話の内容が画像の再出力を求める内容である場合、ユーザとの対話を通じて、推奨されるパラメータの変更内容を提示する、請求項２に記載の情報処理装置。
【請求項５】
変更内容を確定する前に、変更前のパラメータを用いる場合の画像イメージと、変更後のパラメータを用いる場合に想定される画像イメージを対比的に提示する画面をユーザに提示する、請求項４に記載の情報処理装置。
【請求項６】
前記確認手段は、抽出されたパラメータの提示後に、推奨される変更内容をユーザに提示する、請求項１に記載の情報処理装置。
【請求項７】
前記確認手段は、読み出されたパラメータの組み合わせと当該組み合わせに対する変更の履歴に基づいて、前記変更内容の候補を決定する、請求項６に記載の情報処理装置。
【請求項８】
ユーザから受け付けた変更の内容が予め定めた禁止事項に該当する場合、変更を受け付けない旨をユーザに提示する、請求項１に記載の情報処理装置。
【請求項９】
読み出されたパラメータの組み合わせに宛先に関するパラメータが含まれる場合、現在の宛先をユーザに確認する、請求項１に記載の情報処理装置。
【請求項１０】
操作の対象とする前記画像形成装置は、ユーザが頭部に装着するメガネ型の端末で撮像される画像に基づいて特定される、請求項１に記載の情報処理装置。
【請求項１１】
請求項１に記載の情報処理装置は、ユーザが頭部に装着するメガネ型の端末又は携帯型の端末である。
【請求項１２】
コンピュータに、
操作の対象とする画像形成装置に保存されている、画像の形成に関するパラメータの組み合わせ情報のうち、初期設定と異なるパラメータを抽出する機能と、
抽出されたパラメータをユーザに提示し、変更の希望をユーザに確認する機能と
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
例えば画像形成装置には、ユーザを支援する機能として、繰り返し用いる操作やパラメータの値をジョブメモリとして保存する機能が用意されている。ジョブメモリとして保存された設定は、ボタンひとつで読み出すことができる。また、ジョブメモリには、一連の操作の過程で表示される画面の階層なども記憶することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−４６４１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
パラメータの１つでも異なると、別のジョブメモリとして保存する必要がある。このため、ジョブメモリの数が増えると、ユーザの操作性が低下する。また、保存名には、パラメータの全てを含めることができないため、保存名だけではパラメータの内容を把握できない。このため、ジョブメモリを選択した後でなければ、設定内容を確認できない。選択した保存名のジョブメモリがユーザの意図と異なる場合には、選択を繰り返す必要があり、この点でも操作性が低下する。
【０００５】
本発明は、読み出されたパラメータの組み合わせをユーザが逐一確認する場合に比して、ユーザの意図するパラメータの組み合わせを効率的に作成できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明は、操作の対象とする画像形成装置に保存されている、画像の形成に関するパラメータの組み合わせ情報のうち、初期設定と異なるパラメータを抽出する抽出手段と、抽出されたパラメータをユーザに提示し、変更の希望をユーザに確認する確認手段とを有する情報処理装置である。
請求項２に記載の発明は、ユーザによるパラメータの変更の指示を、音声入力を通じて受け付ける受付手段を更に有する、請求項１に記載の情報処理装置である。
請求項３に記載の発明は、ユーザが発話したパラメータ名が前記画像形成装置で使用されるパラメータ名と異なる場合、前記受付手段は、発話されたパラメータ名を当該画像形成装置で使用されるパラメータ名に変換する、請求項２に記載の情報処理装置である。
請求項４に記載の発明は、画像の出力後に受け付けたユーザの発話の内容が画像の再出力を求める内容である場合、ユーザとの対話を通じて、推奨されるパラメータの変更内容を提示する、請求項２に記載の情報処理装置である。
請求項５に記載の発明は、変更内容を確定する前に、変更前のパラメータを用いる場合の画像イメージと、変更後のパラメータを用いる場合に想定される画像イメージを対比的に提示する画面をユーザに提示する、請求項４に記載の情報処理装置である。
請求項６に記載の発明は、前記確認手段は、抽出されたパラメータの提示後に、推奨される変更内容をユーザに提示する、請求項１に記載の情報処理装置である。
請求項７に記載の発明は、前記確認手段は、読み出されたパラメータの組み合わせと当該組み合わせに対する変更の履歴に基づいて、前記変更内容の候補を決定する、請求項６に記載の情報処理装置である。
請求項８に記載の発明は、ユーザから受け付けた変更の内容が予め定めた禁止事項に該当する場合、変更を受け付けない旨をユーザに提示する、請求項１に記載の情報処理装置である。
請求項９に記載の発明は、読み出されたパラメータの組み合わせに宛先に関するパラメータが含まれる場合、現在の宛先をユーザに確認する、請求項１に記載の情報処理装置である。
請求項１０に記載の発明は、操作の対象とする前記画像形成装置は、ユーザが頭部に装着するメガネ型の端末で撮像される画像に基づいて特定される、請求項１に記載の情報処理装置である。
請求項１１に記載の発明は、請求項１に記載の情報処理装置は、ユーザが頭部に装着するメガネ型の端末又は携帯型の端末である。
請求項１２に記載の発明は、コンピュータに、操作の対象とする画像形成装置に保存されている、画像の形成に関するパラメータの組み合わせ情報のうち、初期設定と異なるパラメータを抽出する機能と、抽出されたパラメータをユーザに提示し、変更の希望をユーザに確認する機能とを実行させるプログラムである。
【発明の効果】
【０００７】
請求項１記載の発明によれば、読み出されたパラメータの組み合わせをユーザが逐一確認する場合に比して、ユーザの意図するパラメータの組み合わせを効率的に作成できる。
請求項２記載の発明によれば、操作するボタンの位置を正確に覚えている必要がなく、ユーザの作業負担を低減できる。
請求項３記載の発明によれば、操作するボタンの読み名を正確に覚えている必要がなく、ユーザの作業負担を低減できる。
請求項４記載の発明によれば、再出力時のパラメータの変更も効率的に指示できる。
請求項５記載の発明によれば、再出力時のパラメータの変更も効率的に指示できる。
請求項６記載の発明によれば、ユーザの作業負担を低減できる。
請求項７記載の発明によれば、ユーザの作業負担を低減できる。
請求項８記載の発明によれば、ユーザが望まない、又は、組み合わせの目的に反する、又は、機械的に矛盾する変更を未然に防ぐことができる。
請求項９記載の発明によれば、宛先表の内容が知らない間に変更されている場合にも、予期せぬ送信等を未然に防ぐことができる。
請求項１０記載の発明によれば、組み合わせ情報を取得する画像形成装置の選択をユーザの視認により実現できる。
請求項１１記載の発明によれば、実機を見ながらの操作を効率化できる。
請求項１２記載の発明によれば、読み出されたパラメータの組み合わせをユーザが逐一確認する場合に比して、ユーザの意図するパラメータの組み合わせを効率的に作成できる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１で想定するシステム構成の一例を説明する図である。
【図２】実施の形態１で使用する画像形成装置の構成例を説明する図である。
【図３】実施の形態１で使用する制御ユニットの機能構成例を説明する図である。
【図４】実施の形態１で使用する端末装置の構成例を示す図である。
【図５】端末装置の制御ユニットにより実現される機能構成例を説明する図である。
【図６】再実行受付モジュールに設けられている機能構成の一例を説明する図である。
【図７】原稿の種類とパラメータ名の候補の関係を記憶したテーブルの例を示す図である。
【図８】予測部が使用する不良のパターンの例を説明する図である。
【図９】画像形成装置と端末装置の連携により実行される処理動作の一例を説明する図である。
【図１０】画像形成装置と端末装置の連携により実行される処理動作の他の一例を説明する図である。
【図１１】画像形成装置と端末装置の連携により実行される処理動作の他の一例を説明する図である。
【図１２】ユーザの発話の内容からジョブメモリの候補を１つに特定できる場合の操作画面の例を説明する図である。
【図１３】ユーザの発話の内容からジョブメモリの候補が複数見つかる場合の操作画面の遷移の例を説明する図である。
【図１４】ユーザの発話の内容から見つかったジョブメモリの候補の一部に変更の履歴が多く見つかる場合の操作画面の例を説明する図である。
【図１５】見つかった候補のパラメータ値の一部をユーザが変更する場合の操作画面の遷移の例を説明する図である。
【図１６】複数の候補のうちの１つを選択し、同時にパラメータ値の一部の変更を指示する場合の操作画面の遷移の例を説明する図である。
【図１７】複数の候補のうちの１つの選択とパラメータ値の一部の変更を指示する場合の操作画面の遷移の例を説明する図である。
【図１８】ジョブメモリのパラメータ値に宛先が含まれる場合の操作画面の遷移の例を説明する図である。
【図１９】パラメータ値に宛先を含むジョブメモリが複数回読み出される場合の操作画面の例を説明する図である。
【図２０】パラメータ値の一部が変更されたジョブメモリを新たなジョブメモリとして保存する場合の操作画面の遷移の例を説明する図である。
【図２１】ジョブメモリの再実行を意図する発話があった場合の操作画面の遷移の例を説明する図である。
【図２２】ジョブメモリの再実行を意図する発話があった場合の操作画面の例を説明する図である。
【図２３】図２２に示す操作画面以降に表示される操作画面の例を説明する図である。
【図２４】出力不良の原因の解析により画像形成装置の清掃等が対策案として提示される場合の操作画面の例を説明する図である。
【図２５】出力不良の原因の解析により画像形成装置の清掃等が対策案として提示される場合の操作画面の他の例を説明する図である。
【図２６】実施の形態２で想定するシステム構成の一例を説明する図である。
【図２７】ユーザインタフェース画面の構造の特定に用いられる操作の例を説明する図である。
【図２８】特定された機種をユーザに通知する画面の例を説明する図である。
【図２９】ユーザがウェアラブル端末を使用してジョブメモリを読み出す場合の操作画面の遷移の例を説明する図である。
【図３０】パラメータ値の変更を指示する場合の操作画面の例を説明する図である。
【図３１】ユーザが視認している対象物の画像を通じて不良の原因を解析する手法を説明する図である。
【図３２】不良の原因の解消に清掃などの対策が必要になる場合におけるガイドの手法を説明する図である。
【図３３】画質を改善するために推奨されるパラメータの提示を説明する図である。
【図３４】操作すべき又は確認すべきボタン等の位置をユーザに示唆する手法の例を説明する図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して、本発明の実施の形態を説明する。
＜実施の形態１＞
＜システム構成＞
図１は、実施の形態１で想定するシステム構成の一例を説明する図である。実施の形態１で想定するシステムは、用紙などの媒体に画像を形成する画像形成装置１０と、画像形成装置１０を操作するユーザが携帯する端末装置２０とで構成される。
本実施の形態の場合、ユーザは、基本的に、端末装置２０を操作の対象とする。換言すると、ユーザは、スタートボタンを除き、画像形成装置１０を直接には操作しない。ユーザは、端末装置２０を操作し、画像形成装置１０にジョブメモリの読み出しと実行を指示する。
【００１０】
ジョブメモリは、いわゆるコピー、スキャン、ファックス等のジョブに関するパラメータの設定の記録である。ジョブメモリは、ジョブメモリ名で区別される。使用の頻度が高いパラメータの設定の組み合わせをジョブメモリとして記録することで、使用の頻度が高いパラメータの設定をワンタッチで読み出すことが可能となり、結果として設定の作業が簡略化される。なお、ジョブメモリは、画像の形成に関するパラメータの組み合わせ情報の一例である。
【００１１】
１つのジョブメモリには、ジョブメモリ名、操作名、パラメータ名、パラメータ値が含まれる。操作名は、ジョブメモリが関連する機能の名称であり、例えばコピー、スキャン、ファックスである。パラメータ名は、パラメータ値の大分類である。コピーに関するパラメータ名には、例えばカラーモード、濃度、用紙サイズがある。パラメータ値は、ユーザが設定する個々の値である。例えばカラーモードのパラメータ値には「カラー」、「白黒」、濃度のパラメータ値には「濃く」、「薄く」、用紙サイズのパラメータ値には「Ａ４」、「Ａ３」がある。
本実施の形態における端末装置２０には、ユーザによるジョブメモリの特定を支援する機能が用意されている。ここでの端末装置２０は、情報処理装置の一例である。
【００１２】
図１に示す画像形成装置１０と端末装置２０は、近距離無線通信により接続が可能である。近距離無線通信には、例えばブルートゥース（登録商標）、無線ＬＡＮ（＝Local Area Network）、ＮＦＣ（＝Near Field Communication）を使用する。
無線ＬＡＮでは、例えばＷｉ−Ｆｉ ＤＩＲＥＣＴ（登録商標）を使用する。Ｗｉ−Ｆｉ ＤＩＲＥＣＴは、アクセスポイントとしての画像形成装置１０と端末装置２０とが一対一に通信するモードである。
ＮＦＣでは、複数の規格のうちＩＳＯ／ＩＥＣ  １４４４３を使用する。この規格に準拠する機器どうしは、おおよそ１０ｃｍ以内に近づけることで通信が可能になる。
本実施の形態における端末装置２０は、携帯型の端末である。携帯型の端末には、例えばスマートフォン、ウェアラブル端末、ノート型のコンピュータが含まれる。図１では、端末装置２０がスマートフォンを例示している。
【００１３】
＜各装置の構成＞
以下では、画像形成装置１０と端末装置２０の装置構成を個別に説明する。
【００１４】
＜画像形成装置の構成＞
図２は、実施の形態１で使用する画像形成装置１０の構成例を説明する図である。
画像形成装置１０は、原稿の画像を読み取る画像読取ユニット１０１と、用紙などの媒体に画像を形成する画像形成ユニット１０２と、画像データが表す画像に色補正や階調補正等の処理を加える画像処理ユニット１０３と、装置全体の動作を制御する制御ユニット１０４と、画像データ等を記憶する記憶ユニット１０５と、ユーザインタフェース画面等の表示に用いられる表示ユニット１０６と、ユーザの操作を受け付ける操作受付ユニット１０７と、近距離無線通信その他の通信を実現する通信インタフェース（＝通信ＩＦ）１０８を有している。
【００１５】
画像読取ユニット１０１は、いわゆるスキャナであり、原稿を自動搬送する機構を有していてもよい。
画像形成ユニット１０２は、電子写真方式やインクジェット方式等により媒体に画像を形成するユニットであり、画像の形成方式に応じた機構を有している。
画像処理ユニット１０３は、画像データを処理するための専用のプロセサや処理回路等で構成されている。
制御ユニット１０４は、ＣＰＵ（＝Central Processing Unit）１１１と、ファームウェアやＢＩＯＳ（＝Basic Input Output System）等が記憶されたＲＯＭ（＝Read Only Memory）１１２と、ワークエリアとして用いられるＲＡＭ（＝Random Access Memory）１１３とを有している。制御ユニット１０４は、いわゆるコンピュータとして機能する。なお、ＲＯＭ１１２は、不揮発性の書き換え可能な半導体メモリでもよい。
【００１６】
また、記憶ユニット１０５は、不揮発性の記憶装置であるハードディスク装置（＝ＨＤＤ）等によって構成される。記憶ユニット１０５には、画像読取ユニット１０１で読み取られた画像データ、通信により外部から与えられる画像データ、ＦＡＸ通信を通じて受信された画像データ、ジョブメモリ名のリスト（以下「ジョブメモリ名リスト」という）、ジョブメモリ毎のパラメータリスト、デフォルトのパラメータリスト（以下「デフォルトパラメータリスト」という）、端末装置２０で読み出したジョブメモリの履歴等が保存される。
【００１７】
また、表示ユニット１０６は、例えば液晶ディスプレイや有機ＥＬ（＝Electro Luminescence）ディスプレイで構成される。
通信インタフェース１０８は、前述したブルートゥース、無線ＬＡＮ、ＮＦＣ等の通信規格に対応するインタフェース回路で構成される。
操作受付ユニット１０７は、表示ユニット１０６の表面に配置されるタッチセンサ、スイッチ、ボタン等で構成される。
因みに、制御ユニット１０４と各ユニット等とは、バス１０９や不図示の信号線を通じて接続されている。
【００１８】
図３は、実施の形態１で使用する制御ユニット１０４の機能構成例を説明する図である。図３に示す機能モジュールは、ＣＰＵ１１１（図２参照）によるプログラムの実行を通じて実現される。なお、図３に示す機能モジュールは、制御ユニット１０４によって提供される機能モジュールの一例である。
本実施の形態における制御ユニット１０４は、ジョブメモリに関する情報（以下「ジョブメモリ情報」ともいう）を管理するジョブメモリ管理モジュール１２１と、ジョブメモリの実行を管理するジョブメモリ実行管理モジュール１２２としての機能を有している。
【００１９】
ジョブメモリ管理モジュール１２１は、ジョブメモリの保存、読み出し、変更の受付、履歴の管理、ジョブメモリ名リストの管理その他を実行する。
本実施の形態におけるジョブメモリ管理モジュール１２１は、ユーザ認証により権限が認められたユーザが操作する端末装置２０（図１参照）からジョブメモリ名リストが要求された場合、ジョブメモリ名リストを端末装置２０に送信する。
また、ジョブメモリ管理モジュール１２１は、端末装置２０側から読み出しを指示された特定のジョブメモリのパラメータリストと対応するデフォルトパラメータリストを、端末装置２０に送信する機能も備える。
本実施の形態の場合、パラメータリストとは、ジョブメモリ名に対応付けられて管理される操作名、パラメータ名、パラメータ値である。従って、１つのジョブメモリは、ジョブメモリ名とパラメータリストとで構成される。
また、本実施の形態の場合、デフォルトパラメータリストは、画像形成装置１０のメーカ側が用意している又は画像形成装置１０の管理者が設定しているパラメータリストをいう。
【００２０】
ジョブメモリ実行管理モジュール１２２は、端末装置２０から特定のジョブメモリの読み出しの要求を受け付けた時点から予め定めた時間が経過するまでの間、読み出したジョブメモリの実行を保留する。本実施の形態では、実行が保留される時間を、パラメータリストの変更を受け付ける期間（以下「変更受付期間」という）として活用する。
変更受付期間の長さは、ユーザによる調整が可能である。もっとも、変更の必要性がない場合には、端末装置２０から変更受付期間をゼロとする指示が入力されてもよい。
【００２１】
＜端末装置の構成＞
図４は、実施の形態１で使用する端末装置２０の構成例を示す図である。
図４に示す端末装置２０は、装置全体の動作を制御する制御ユニット２０１と、画像データ等を記憶する記憶ユニット２０２と、ユーザインタフェース画面等の表示に用いられる表示ユニット２０３と、ユーザの操作を受け付ける操作受付ユニット２０４と、画像を撮像するカメラ２０５と、ユーザの音声を電気信号に変換するマイク２０６と、通信インタフェース（＝通信ＩＦ）２０７とを有している。
【００２２】
本実施の形態における制御ユニット２０１は、ＣＰＵ２１１と、ファームウェアやＢＩＯＳ等が記憶されたＲＯＭ２１２と、ワークエリアとして用いられるＲＡＭ２１３とを有している。制御ユニット２０１は、いわゆるコンピュータとして機能する。なお、ＲＯＭ２１２は、不揮発性の書き換え可能な半導体メモリでもよい。
記憶ユニット２０２は、不揮発性の書き換え可能な半導体メモリ等によって構成される。記憶ユニット２０２には、例えばカメラ２０５で撮像された画像データ、マイク２０６で収録された音声データ、画像形成装置１０から読み出したジョブメモリ名リスト、画像形成装置１０から読み出したジョブメモリの履歴、画像形成装置１０に対するパラメータの設定を支援するアプリケーションプログラムが保存される。
【００２３】
表示ユニット２０３は、例えば液晶ディスプレイや有機ＥＬディスプレイで構成される。表示ユニット２０３には、ユーザによる操作を支援する情報が表示される。
操作受付ユニット２０４は、表示ユニット２０３の表面に配置されるタッチセンサ、スイッチ、ボタン等で構成さる。
因みに、制御ユニット２０１と各ユニット等とは、バス２０８や不図示の信号線を通じて接続されている。
本実施の形態におけるカメラ２０５は、静止画像又は動画像による撮像が可能である。
マイク２０６は、ユーザが発話した音声を電気信号に変換する。マイク２０６は、音声によるユーザの操作を可能とする。もっとも、操作受付ユニット２０４による操作の受付を排除しない。
【００２４】
図５は、端末装置２０の制御ユニット２０１により実現される機能構成例を説明する図である。図５に示す機能モジュールは、ＣＰＵ２１１（図４参照）によるプログラムの実行を通じて実現される。ここでのプログラムは、画像形成装置１０に対するパラメータの設定を支援するアプリケーションプログラムである。なお、図５に示す機能モジュールは、制御ユニット２０１によって提供される機能モジュールの一例である。
実施の形態における制御ユニット２０１は、ユーザの音声を認識する音声認識モジュール２２１と、操作の対象である画像形成装置１０（図１参照）からジョブメモリ情報を取得するジョブメモリ情報取得モジュール２２２と、ユーザの発話した内容に基づいてジョブメモリを検索するジョブメモリ検索モジュール２２３と、ジョブメモリに保存されているパラメータ値と対応するデフォルト値との差分を抽出する差分抽出モジュール２２４と、抽出された差分をユーザに提示して確認を求める差分確認モジュール２２５と、パラメータ値の変更を受け付ける変更受付モジュール２２６、過去に実行されたジョブメモリの再実行を受け付ける再実行受付モジュール２２７として機能する。
【００２５】
音声認識モジュール２２１は、ユーザの音声を文字列に変換するプログラムである。音声認識モジュール２２１は、例えば音声の特徴を抽出する特徴抽出ユニットと、メル周波数ケプストラム係数（＝Mel-Frequency Cepstrum Coefficients）等の特徴量から文字列を生成する認識エンジンとで構成される。音声認識の技術は既に実用化されているので、詳細な説明は省略する。
本実施の形態では、音声認識モジュール２２１により音声認識の処理を完結しているが、クラウドサービス等を活用して音声認識の結果を取得してもよい。
なお、ユーザは、音声認識モジュール２２１を使用しない入力を選択することも可能である。音声認識モジュール２２１を使用しない入力とは、操作画面に表示されるボタン類のタップである。
【００２６】
ジョブメモリ情報取得モジュール２２２は、操作の対象である画像形成装置１０からジョブメモリ情報を取得する。本実施の形態の場合、ジョブメモリ情報には、ジョブメモリとデフォルトパラメータリストが含まれる。
本実施の形態の場合、ジョブメモリ情報取得モジュール２２２は、操作の対象とする画像形成装置１０との間で通信が確立した時点で、通信対象である画像形成装置１０に、ジョブメモリ情報を要求する。なお、通信可能な画像形成装置１０が複数存在する場合、ユーザが選択した１台の画像形成装置１０が通信対象に設定される。通信対象とする画像形成装置１０は、例えば装置名のリストの中から選択される。
【００２７】
ジョブメモリ検索モジュール２２３は、画像形成装置１０から取得されたジョブメモリ情報のうちジョブメモリを検索の対象とする。ジョブメモリ検索モジュール２２３は、ユーザの発話に含まれる言葉を検索キーに用い、ユーザが希望しているジョブメモリの候補を検索する。例えばユーザが「コピーをお願い」と発話した場合、ジョブメモリ検索モジュール２２３は、ジョブメモリ名やパラメータリストに「コピー」を含むジョブメモリを検索する。
なお、ユーザの発話に含まれるパラメータ名やパラメータ値の呼び名は、通信対象とする画像形成装置１０で使用されるデフォルトのパラメータ名やパラメータ値の呼び名と異なる場合がある。例えばメーカによって、パラメータ名やパタメータ値の呼び名が異なることがある。例えば複数枚の原稿の縮尺を変更して１枚の用紙にコピーする機能に対応するパラメータ名は、あるメーカでは「まとめて１枚」と呼ばれ、パラメータ値は「２アップ」、「４アップ」等と呼ばれる。
【００２８】
このため、本実施の形態におけるジョブメモリ検索モジュール２２３には、発話に含まれるパラメータ名やパラメータ値の呼び名を他のメーカの呼び名と対応づけたテーブルが設けられている。このテーブルを使用し、ジョブメモリ検索モジュール２２３は、ユーザの意図に近い、ジョブメモリを検索する。なお、ユーザの発話に含まれる呼び名がテーブル内に存在しない場合には、最終的にユーザが指定したパラメータ名やパラメータ値をユーザが発話した呼び名に対応付けて保存することが望ましい。
ちなみに、呼び名の対応関係を記録するテーブルは、呼び名の対応関係を機械学習した学習済みモデルとして用意されてもよい。
【００２９】
学習済みモデルは、ユーザの発話から抽出された呼び名が入力されると、入力された呼び名に関連する１つ又は複数の呼び名を出力する。
学習済みモデルは、未知の呼び名に対して最終的に対応付けられた既存の呼び名を教師データとして与え、その対応関係が逐次更新されることが望ましい。
学習済みモデルの更新は、ユーザに固有な学習済みモデルとして、端末装置２０（図１参照）内で実行されてもよいし、不特定のユーザの操作履歴を集約する不図示のクラウドサーバにおいて実行されてもよい。ここでのテーブルや学習済みモデルは、変更受付モジュール２２６も使用する。
【００３０】
本実施の形態におけるジョブメモリ検索モジュール２２３は、検索の結果を例えばリスト形式で提示する。この場合、ジョブメモリ検索モジュール２２３は、ジョブメモリ名に関連付けて、保存されているパラメータ値を表示する。
また、本実施の形態におけるジョブメモリ検索モジュール２２３は、変更受付モジュール２２６との連携により、ユーザが利用する可能性が高い未保存のジョブメモリも検索の結果として表示する機能も有している。この機能は、端末装置２０に蓄積されている変更履歴を参照することにより実現される。例えばユーザが保存済みのジョブメモリの一部を変更して用いることが多い場合、未保存である変更後の内容も候補の１つとして画面上に表示される。
【００３１】
差分抽出モジュール２２４は、ユーザが読み出しの対象に指定したジョブメモリのパラメータリストとデフォルトパラメータリストとの差分を抽出する。換言すると、ユーザが読み出しの対象に指定したジョブメモリのパラメータ値のうち、デフォルトのパラメータ値から変更されている内容を抽出する。この差分が分かれば、ユーザによるジョブメモリの特徴の理解が容易になる。差分抽出モジュール２２４は、抽出手段の一例である。
実際、ジョブメモリは、多数のパラメータ値の集合として定義される。ジョブメモリ名は、この特徴の理解を容易にする目的で付されている。
【００３２】
しかし、類似するジョブメモリ名が多く保存されている場合、ジョブメモリ名だけからは、ジョブメモリ間の違いを理解することは難しくなる。また、パラメータ値の一覧を画面に表示しても、表示される項目が多いと、類似するジョブメモリのパラメータ値を比較することもできず、ジョブメモリ間の違いの把握が難しい。結局、ジョブメモリの実行の結果とユーザの意図とが異なる場合が起こり得る。また、ジョブメモリの実行前にジョブメモリ間の違いを把握できる場合でも、確認に多くの時間を必要とする。
【００３３】
差分確認モジュール２２５は、差分抽出モジュール２２４によって抽出された差分をユーザに提示し、その確認をユーザに求める。例えばユーザが特定したジョブメモリのパラメータ値のうちデフォルトのパラメータ値とは異なるパラメータ値が、選択的にユーザに提示される。
例えばデフォルトのパラメータ値が「カラー」、「Ａ４サイズ」であり、ユーザが特定したジョブメモリのパラメータ値が「白黒」、「Ａ５サイズ」である場合、差分確認モジュール２２５は、差分の情報として「白黒」、「Ａ５サイズ」を抽出する。この場合、差分確認モジュール２２５は、「白黒でＡ５に出力します。よろしければ本体のスタートボタンを押してください。」等と画面上に表示する。
提示される差分の情報は、ジョブメモリの特徴を端的に表している。このため、ジョブメモリ名が類似するジョブメモリが複数存在する場合にも、ユーザの意図との違いの確認が効率的になる。差分確認モジュール２２５は、確認手段の一例である。
【００３４】
変更受付モジュール２２６は、自身の意図との違いに気づいたユーザからのパラメータ値の変更の指示を受け付け、画像形成装置１０に対して変更を指示する一連の処理を担当する。変更受付モジュール２２６は、例えば音声認識モジュール２２１との連携により、変更の指示を受け付ける。従って、変更受付モジュール２２６は、受付手段の一例である。前述したように、変更受付モジュール２２６は、ジョブメモリ検索モジュール２２３が利用するテーブルや学習済みモデルも使用する。
本実施の形態における変更受付モジュール２２６は、指定されたパラメータ値の変更が許容されているか否かを確認する機能も有している。変更が許容されていない場合には、例えば変更が禁止されているパラメータがある。変更が禁止されているパラメータは、ジョブメモリとの関係で定まる場合とユーザの使用環境から定まる場合がある。
【００３５】
ジョブメモリとの関係で定まる例には、ジョブメモリの本来の意図に反する変更がある。例えばジョブメモリの操作名がコピーである場合に操作名をスキャンに変更する場合、ジョブメモリのジョブメモリ名が２アップコピーである場合にパラメータ値を４アップに変更する場合がある。
ユーザの使用環境から定まる例には、経済性の観点から白黒での出力しか許可されていない場合にパラメータ値がカラーに変更される場合がある。
これらの禁止事項は、画像形成装置１０との通信が可能になった状態で端末装置２０に通知されてもよいし、変更受付モジュール２２６の機能の一部として、インストール時に端末装置２０に設定されてもよいし、不図示のクラウドサービスとの連携により通知されてもよい。
もっとも、禁止事項に変更を伴う場合にも、画像形成装置１０を操作するときには、新たなジョブメモリとしての記録を許可してもよい。
【００３６】
本実施の形態における変更受付モジュール２２６は、上述した禁止事項に当たらない場合にも、指定されたパラメータ値の変更を受け付けるか否かを確認する機能を更に有している。
例えば変更受付モジュール２２６は、変更受付期間を経過した後の変更の指示の受付を拒否する。ジョブメモリの実行が既に開始されているためである。
例えば変更受付モジュール２２６は、指定されたパラメータ値の変更が対応するジョブメモリの操作名とは無関係なパラメータ値に関する場合、変更の指示の受付を拒否する。例えばジョブメモリの操作名が「メール」である場合に、「ステープルあり」、「穴あけ処理」、「折り処理」等の後処理の追加を指示する変更は拒否される。
【００３７】
例えば変更受付モジュール２２６は、通信先の画像形成装置１０の機構上、実行不能なパラメータ値への変更を拒否する。例えばステープル処理等の後処理装置が画像形成装置１０に取り付けられていない場合に、パラメータ値を「ステープル処理あり」に変更する指示は拒否される。
なお、画像形成装置１０側のジョブメモリ実行管理モジュール１２２（図３参照）の機能として、ジョブメモリの実行を指示した端末装置２０と変更を指示する端末装置２０の一致を確認する機能を設けてもよい。この機能は、ジョブメモリの実行を指示した端末装置２０とは異なる端末装置２０からのパラメータ値の変更を拒否する。
【００３８】
また、本実施の形態における変更受付モジュール２２６は、画像形成装置１０に保存されている宛先表と連携する機能も有している。ここでの宛先表は、記憶ユニット１０５（図２参照）に保存されている。
ジョブメモリには、パラメータ値として宛先を含む場合がある。パラメータ値で指定されている宛先とユーザが想定している宛先とが異なっていると、予期せぬ支障が生じる可能性がある。
このため、本実施の形態における変更受付モジュール２２６には、パラメータ値に宛先が含まれる場合に、画像形成装置１０からジョブメモリに対応する宛先表を取得する機能が設けられている。
【００３９】
画像形成装置１０から読み出された宛先表のファイル名は、例えばリスト形式でユーザに提示される。ユーザが特定のファイル名を指定すると、変更受付モジュール２２６は、指定されたファイル名への変更を画像形成装置１０に要求する。
なお、変更受付モジュール２２６は、宛先表の連携に関するユーザの操作の結果を操作履歴に追加する。例えばジョブメモリ名と、変更後の宛先表のファイル名と、ユーザとが紐づけられた状態で保存される。
前述したように、ユーザの発話の内容、ユーザが選択したジョブメモリ名、ユーザが指示したパラメータ値の変更の各履歴は、端末装置２０の記憶ユニット２０２（図４参照）に保存され、次回以降のジョブメモリの読み出し時や変更時に利用される。具体的には、履歴に基づいて、ジョブメモリの候補や変更の候補が提示される。なお、提示される候補の内容は、ジョブメモリとして保存されているとは限らない。
【００４０】
また、本実施の形態における変更受付モジュール２２６には、ユーザがパラメータ値の変更を指示した場合に、変更後のパラメータ値の組み合わせを新たなジョブメモリとして保存を希望するかを確認する機能が設けられている。
なお、新たなジョブメモリとしての保存が希望される場合、変更前のジョブメモリ名を使用することも可能であるが、それではジョブメモリ名が同じジョブメモリが複数保存されることになる。
このため、本実施の形態における変更受付モジュール２２６は、新たなジョブメモリのデフォルト名として、変更前のジョブメモリ名のパラメータ値に、変更の指示があったパラメータ名を付加した名称を使用する。なお、ユーザは、デフォルト名の変更が可能である。
【００４１】
再実行受付モジュール２２７は、音声認識モジュール２２１との連携により、ユーザの発話の内容がジョブメモリの再実行を意図していると判定された場合に実行される。換言すると、再実行受付モジュール２２７は、ユーザの発話の内容が直前に実行されたジョブメモリの再度の読み出し、パラメータ値の変更を希望する読み出し等と判定された場合に実行される。
ここでの判定には、発話の内容として認識された文脈の意図として、ジョブメモリのやり直しが示唆されているか否かが用いられる。発話の内容が例えば「もう一度実行したい」、「もう少しきれいに出したい」、「白黒で出しなおしたい」の場合、ジョブメモリのやり直しが示唆されていると解される。ちなみに「もう一度実行したい」は単純な再実行と解される。一方、「もう少しきれいに出したい」や「白黒で出しなおしたい」は、パラメータ値の変更等を伴う再実行と解される。
【００４２】
再実行受付モジュール２２７は、直前に実行されたジョブメモリをユーザに提示する。直前に実行されたジョブメモリが基準になるためである。もっとも、再実行の対象であるジョブメモリの特定が可能であれば、直前に実行されたジョブメモリに限定する必要はない。
発話の内容にパラメータに関する指定が含まれている場合、再実行受付モジュール２２７は、ユーザの希望を実現するパラメータ値の変更の候補を提示する。ここでの発話の例には、「もう少し濃くしたい」がある。この例では、パラメータ名の「濃さ」に関する指示が含まれている。
この例の場合、再実行受付モジュール２２７は、推奨されるパラメータ値の変更の候補として、濃度についての「濃く ＋１」や「薄く −１」等を提示する。
【００４３】
発話の内容に処理結果の画質に関する内容が含まれている場合、再実行受付モジュール２２７は、例えばユーザとの対話により、又は、イメージログの解析により、又は、これらの組み合わせにより、変更が推奨されるパラメータ名の絞り込みや対策を提示する。
ユーザとの対話により、変更が推奨されるパラメータ名を絞り込む例には、ユーザが「もうちょっときれいに出したいんだけれど。」と発話した場合に、「原稿は何ですか。」と質問する例がある。ここでの「きれい」は、画質に関する内容である。「きれい」を実現するパラメータ値は、原稿の種類によっても異なる。そこで、画質の改善に寄与するパラメータ値を絞り込む手法の１つとして対話を使用する。
【００４４】
イメージログを解析する手法は、画像形成装置１０の出力結果のイメージログを入手できる場合やカメラ２０５（図４参照）によって画像を撮像できる場合に用いられる。
図６は、再実行受付モジュール２２７に設けられている機能構成の一例を説明する図である。図６に示す再実行受付モジュール２２７は、イメージログの解析により原稿の種類を判別する判別部２２７Ａと、パラメータ値の変更が推奨されるパラメータ名の候補を抽出する抽出部２２７Ｂとを有している。
判別部２２７Ａは、イメージログに現れる特徴的なパターンに基づいて原稿の種類を判別する。例えば判別部２２７Ａは、種類別に用意されているパターン画像とイメージログとを比較し、各パターン画像との一致度を計算する。本実施の形態では、原稿の種類として、文字、写真、地図、伝票、冊子を想定する。判別部２２７Ａは、最も一致度が高いパターン画像に基づいて、原稿の種類を特定する。原稿の種類が特定されると、対話形式の手法と同様に画質の改善に寄与するパラメータ値の絞り込みが可能になる。
【００４５】
抽出部２２７Ｂは、原稿の種類に応じ、パラメータ値の変更が推奨されるパラメータ名の候補を抽出する。
図７は、原稿の種類とパラメータ名の候補との関係を記憶したテーブルの例を示す図である。
図７に示す例では、原稿の種類の「文字」に対して、原稿の種類と濃度が対応付けられている。また、原稿の種類の「写真」に対して、原稿の種類と彩度又はシャープネスが対応付けられている。また、原稿の種類の「地図」に対して、原稿の種類と濃度が対応付けられている。また、原稿の種類の「伝票」に対して、裏写り防止と濃度が対応付けられている。また、原稿の種類の「冊子」に対して、中消しと枠消しが対応付けられている。
本実施の形態の場合、抽出部２２７Ｂは、抽出されたパラメータ名の候補毎に推奨されるパラメータ値を決定して提示する機能も備えている。推奨されるパラメータ値は、直前に実行されたジョブメモリにおけるパラメータ値、ユーザの発話の内容、画像解析の結果等に応じて決定される。
【００４６】
図６の説明に戻る。再実行受付モジュール２２７には、イメージログの解析に用いる他の機能として、不良の原因を予測し、予測に応じて推奨される対策を提示する予測部２２７Ｃの機能が設けられている。
図８は、予測部２２７Ｃが使用する不良のパターンの例を説明する図である。図８には、コピー時の汚れの典型パターン２３１、コピー出力の不正パターン２３２、コピーがずれるパターン２３３、薄いパターン２３４、他のパターンとしてのＸＸＸＸパターン２３５、過去の汚れの実績２３６が例示されている。なお、不良のパターンとして認識されたイメージログは、過去の汚れの実績２３６として保存される。
ここでは、コピー時の汚れの典型パターン２３１の例として、線、筋、点が例示されている。ちなみに、汚れが黒線として現れている場合、ガラス面の汚れが原因と考えられるので、対策としてはガラス面の清掃が提示される。また、汚れが白い筋として現れている場合、対策としてはレーザスキャナの清掃が提示される。
【００４７】
＜処理動作＞
以下では、画像形成装置１０と連携する端末装置２０の処理動作を説明する。
＜希望のパラメータの設定を支援する動作＞
図９は、画像形成装置１０と端末装置２０の連携により実行される処理動作の一例を説明する図である。なお、図中の記号Ｓは、ステップを意味する。
図９に示す処理動作は、画像形成装置１０と端末装置２０が無線通信により接続されることで開始される。例えば端末装置２０を携帯するユーザが画像形成装置１０に近づくことで、端末装置２０と画像形成装置１０との通信が開始される。前述したように、接続対象の画像形成装置１０は１台である。
【００４８】
通信が可能な状態になると、端末装置２０では、ユーザによるジョブメモリの読み出しとパラメータの設定を支援するアプリケーションプログラムが起動される。アプリケーションプログラムが起動すると、端末装置２０から画像形成装置１０に対して、ジョブメモリ情報が要求される。
要求を受信した画像形成装置１０は、ジョブメモリ情報を読み出す（ステップ１）。読み出されたジョブメモリ情報は、画像形成装置１０から要求元である端末装置２０に送信される。同じ空間に複数台の端末装置２０が存在しても、ジョブメモリ情報が送信されるのは、ジョブメモリ情報を要求した端末装置２０に限られる。
【００４９】
図９の例では、この段階で、ユーザが端末装置２０に対し、「会議用のコピーがしたい。」と話し掛けている。発話を検知した端末装置２０は、発話された音声を認識し、音声に含まれる単語を検索キーに用いてジョブメモリの候補を検索する（ステップ２）。
次に、端末装置２０は、検索により見つかったジョブメモリの候補を提示する（ステップ３）。ジョブメモリの候補は１つだけ見つかる場合もあれば、複数見つかる場合もある。ジョブメモリの候補の提示は、例えばジョブメモリ名のみ、ジョブメモリ名と代表的なパラメータ値の表示を伴う。表示されるパラメータ値の数は、候補の表示に割り当てられる表示領域のサイズに依存する。
【００５０】
この後、端末装置２０は、ユーザによるジョブメモリの指定を受け付ける（ステップ４）。指定を受け付けた端末装置２０は、該当するジョブメモリの読み出しを、画像形成装置１０に対して要求する。読み出しの要求には、例えばジョブメモリを特定する番号とジョブメモリ名が含まれる。
要求を受信した画像形成装置１０は、記憶ユニット１０５（図２参照）から該当するジョブメモリを読み出す（ステップ５）。ジョブメモリの読み出しにより、画像形成装置１０には、該当するジョブメモリのパラメータ値が設定される。
本実施の形態の場合、画像形成装置１０は、該当するジョブメモリを読み出した時点から変更受付期間を開始し、ジョブメモリの実行を保留する。
一方、ユーザによる特定のジョブメモリの指定を受け付けた端末装置２０では、指定されたジョブメモリのパラメータリストとデフォルトパラメータリストとが比較される。
端末装置２０は、比較の結果として、ユーザが指定したジョブメモリのパラメータリストとデフォルトパラメータリストとの差分を提示する（ステップ６）。
差分の提示により、指定されたジョブメモリの特徴の把握が容易になる。
【００５１】
図９の例では、ユーザが変更を希望し、「２アップで。」と発話している。すなわち、ユーザは、２枚の原稿を１枚の用紙にまとめる設定への変更を希望している。
ユーザの発話を認識した端末装置２０は、認識した変更の可否を確認する（ステップ７）。
変更が可能である場合、端末装置２０は、画像形成装置１０に対してパラメータの変更を要求する。パラメータの要求を受け付けた画像形成装置１０では、要求元の端末装置２０が、保留中のジョブメモリを読み出した端末装置２０と一致するかを確認する。一致が確認された場合、画像形成装置１０は、要求に従ってパラメータを変更する（ステップ８）。この例では、パラメータ値が「１アップ」から「２アップ」に変更される。変更の受付は、画像形成装置１０から端末装置２０にフィードバックされる。
フィードバックを受信した端末装置２０は、変更の受付を提示する（ステップ９）。一方の画像形成装置１０は、変更受付期間の経過を待って保留状態を解除し、変更後の内容でジョブを実行する（ステップ１０）。なお、変更の指示がない場合には、変更受付期間の経過後に、ステップ５で読み出されたジョブメモリで設定されたパラメータ値に基づいてジョブが実行される。
【００５２】
＜ジョブメモリの再実行を支援する動作＞
図１０は、画像形成装置１０と端末装置２０の連携により実行される処理動作の他の一例を説明する図である。なお、図中の記号Ｓは、ステップを意味する。
前述したように、ユーザは、ジョブメモリを実行した結果、又は、ジョブメモリの一部を変更して実行した結果に満足できない場合がある。図１０に示す動作は、実行されたジョブの内容に満足できない場合を想定している。
画像形成装置１０と無線通信で接続された端末装置２０は、ユーザの発話の内容がジョブメモリの再実行の指示であるか否かを判定している（ステップ２１）。再実行の指示であるかは、前述したように、発話された内容の文脈から判定される。ステップ２１で否定結果が得られた場合、端末装置２０は、次の発話を待ち受ける。
【００５３】
ステップ２１で肯定結果が得られた場合、端末装置２０は、発話の内容にパラメータの指定が含まれるか否かを判定する（ステップ２２）。例えば「もっと濃くしたい」、「もっと薄くしたい」のようにパラメータの変更を直接指定する表現が含まれている場合、端末装置２０は、肯定結果を得る。
ステップ２２で肯定結果が得られた場合、端末装置２０は、指定されたパラメータに関するパラメータ値の推奨値を提示する（ステップ２３）。例えば濃度のパラメータ値として「＋１」、「−１」をユーザの希望に近づけるための推奨値として提示する。
【００５４】
一方、ステップ２２で否定結果が得られた場合、端末装置２０は、ステップ２４に移行する。ユーザの発話に画質に関する内容が含まれる場合、ステップ２２で否定結果が得られる。
イメージログ等の画像データを利用できない場合にはユーザとの対話により、イメージログ等の画像データを利用できる場合にはイメージログ等の解析により、ユーザが画質の不良を認めた原因が推定される。
原因の推定の後、端末装置２０は、パラメータ値の推奨値を提示する、又は、対策を提示する（ステップ２４）。
【００５５】
ステップ２３又はステップ２４による提示の後、端末装置２０は、ユーザによる変更を受け付ける。すなわち、端末装置２０は、前回実行されたジョブで用いたパラメータ値に対する変更を受け付ける（ステップ２５）。
この後、端末装置２０は、該当するジョブメモリの読み出しと変更を画像形成装置１０に要求する。要求を受信した画像形成装置１０は、要求に基づいて、ジョブメモリの読み出しと変更を実行する（ステップ２６）。具体的には、読み出したジョブメモリのパラメータ値の一部が要求に従って変更される。変更の受付は、画像形成装置１０から端末装置２０にフィードバックされる。
フィードバックを受信した端末装置２０は、変更の受付を提示する（ステップ２７）。一方の画像形成装置１０は、変更後の内容でジョブを実行する（ステップ２８）。再実行の場合には、変更受付期間が設けられていない。
【００５６】
＜新たなジョブメモリとしての保存を支援する動作＞
図１１は、画像形成装置１０と端末装置２０の連携により実行される処理動作の他の一例を説明する図である。なお、図中の記号Ｓは、ステップを意味する。
図１１に示す動作は、例えば図９におけるステップ９に続いて、又は、図１０に示すステップ２７に続いて実行される。
変更の受付を提示した端末装置２０は、変更内容の保存が希望されているか否かを判定する（ステップ３１）。
【００５７】
ステップ３１で否定結果が得られた場合、端末装置２０は、変更後の内容を新たなジョブメモリとして画像形成装置１０に保存することなく動作を終了する。
ステップ３１で肯定結果が得られた場合、端末装置２０は、画像形成装置１０に対し、変更後の内容で新たなジョブメモリの保存を要求する。
要求を受信した画像形成装置１０は、要求に従い、新たなジョブメモリを保存する（ステップ３２）。
図１１の例では、ユーザの自発的な発話を前提として変更の保存を判定しているが、端末装置２０側から、変更後の内容を新たなジョブメモリとして保存するかを、ユーザに問い合わせてもよい。
【００５８】
＜操作画面の例＞
以下では、前述した動作の実行に伴い端末装置２０に表示される操作画面の例を説明する。
【００５９】
＜画面１：ジョブメモリの候補が１つの場合＞
図１２は、ユーザの発話の内容からジョブメモリの候補を１つに特定できる場合の操作画面の例を説明する図である。なお、図１２に示す操作画面は、ステップ７（図９参照）の時点に対応する。
図１２の場合、操作画面の左側に沿って、端末装置２０で実行されるアプリケーションプログラムからの発話の内容が表示され、操作画面の右側に沿ってユーザからの発話の内容が表示されている。
【００６０】
図１２の場合、端末装置２０の操作画面には、アプリケーションプログラムによる「何かご用ですか？」との発話２００１に続き、ユーザによる「会議用のコピーがしたい。」との発話２００２が表示されている。
端末装置２０の操作画面には、この発話の内容が時間順序に表示される。この例では、該当するジョブメモリが１つだけである。このため、ユーザの発話を受け付けた段階で、画像形成装置１０に対して「会議用コピー」に対応するジョブメモリの読み出しが要求される。
【００６１】
ジョブメモリの読み出しにより、画像形成装置１０の操作画面には、該当するジョブメモリのパラメータ値の一部が表示されている。図１２の例では、「１アップ」、「白黒」である。なお、画像形成装置１０の操作画面には「スタート」ボタンも表示されている。
本実施の形態の場合、「会議用コピー」のパラメータリストとデフォルトパラメータリストとの差分は、カラーモードのパラメータ値と用紙サイズのパラメータ値である。このため、図１２の操作画面には、アプリケーションプログラム側からの発話２００３として「白黒でＡ５に出力します。よろしければ本体のスタートボタンを押してください。」が表示されている。
【００６２】
＜画面２：ジョブメモリの候補が複数の場合＞
図１３は、ユーザの発話の内容に対応するジョブメモリの候補が複数見つかる場合の操作画面の遷移の例を説明する図である。
時点Ｔ１の操作画面には、アプリケーションプログラムによる「何かご用ですか？」との発話２０１１に続き、ユーザによる「コピーがしたい。」との発話２０１２が表示されている。
時点Ｔ２の操作画面には、検索により見つかった候補の提示欄２０１３と、アプリケーションプログラムによる「いくつか候補が見つかりました。」との発話２０１４が示されている。時点Ｔ２の操作画面は、ステップ３（図９参照）に対応する。
【００６３】
図１３の場合、提示欄２０１３には、３つの候補が示されている。すなわち、「会議用コピー」、「プレゼンコピー」、「節約コピー」の３つである。
図１３の場合、各候補には、該当するジョブメモリのパラメータ値の一部が表示されている。例えば「会議用コピー」には、「白黒」が表示されている。また、「プレゼンコピー」には、「フルカラー」、「ステープル」が表示されている。また、「節約コピー」には、「白黒」、「両面」、「２アップ」が表示されている。この時点で示されるパラメータ値は、デフォルトパラメータリストとの差分ではない。
時点Ｔ３の操作画面は、ユーザによる候補の選択の様子を表している。上段の操作画面は、提示欄２０１３に表示された特定のボタンをタップすることにより、候補の選択を指示する場合に対応する。ここでは、「節約コピー」が選択されている。下段の操作画面は、音声により候補の選択を指示する場合に対応する。図１３の例では、「節約コピーで。」との発話２０１５が表示されている。
【００６４】
＜画面３：ジョブメモリの候補が複数あり、かつ、変更の履歴が多い場合＞
図１４は、ユーザの発話の内容から見つかったジョブメモリの候補の一部に変更の履歴が多く見つかる場合の操作画面の例を説明する図である。図１４に示す操作画面は、図１３における時点Ｔ２の操作画面に対応する。
図１４に示す操作画面は、「節約コピー」のパラメータ値の一部を変更する履歴が、予め定めた基準を満たす場合に表示される。ここでは、パラメータ値を「２アップ」から「４アップ」に変更した履歴の回数が予め定めた閾値を超える場合を想定している。
図中の太線２０１６は、変更の履歴に基づいて表示された架空の候補である。架空の候補は、画像形成装置１０（図１参照）には実在しないが、ユーザが使用する可能性が高い候補である。この候補がユーザに指定された場合、端末装置２０は、「節約コピー」の読み出しとパラメータ値の変更とを画像形成装置１０に要求することになる。
【００６５】
＜画面４：ユーザの発話によるパラメータ値の変更＞
図１５は、見つかった候補のパラメータ値の一部をユーザが変更する場合の操作画面の遷移の例を説明する図である。
時点Ｔ１に示す操作画面は、図１２に示す操作画面と同じである。時点Ｔ１に示す操作画面には、候補のパラメータリストとデフォルトパラメータリストとの差分が表示されている。具体的には、「白黒でＡ５に出力します。よろしければ本体のスタートボタンを押してください。」と表示されている。この時点で、端末装置２０は、画像形成装置１０に対して、該当するジョブメモリの読み出しを要求する。
【００６６】
時点Ｔ２に示す操作画面は、ユーザが用紙サイズの変更を指示した場合である。ここでは、ユーザの発話２０２１として「Ａ４にして。」と表示されている。ユーザの発話２０２１を受け付けた端末装置２０は、画像形成装置１０に対して、パラメータ値の変更を要求する。
時点Ｔ３に示す操作画面は、パラメータ値の変更が画像形成装置１０で受け付けられたことを示している。ここでは、アプリケーションプログラム側からの発話２０２２として「Ａ４に設定しました。」が表示されている。
【００６７】
＜画面５：ユーザの発話による候補の選択とパラメータ値の変更の同時指定＞
図１６は、複数の候補のうちの１つを選択し、同時にパラメータ値の一部の変更を指示する場合の操作画面の遷移の例を説明する図である。
時点Ｔ２に示す操作画面は、図１３の時点Ｔ２における操作画面と同じである。
時点Ｔ３において、ユーザは、音声により指示を与える。図１６の場合、ユーザは、候補の選択とパラメータ値の変更を一度に指示している。このため、時点Ｔ３における操作画面には、ユーザによる「節約コピー４アップで。」との発話２０２３が表示されている。この時点で、端末装置２０は、画像形成装置１０に対して、該当するジョブメモリの読み出しとパラメータ値の変更を要求する。
時点Ｔ４に示す操作画面は、パラメータ値の変更が画像形成装置１０で受け付けられたことを示している。ここでは、アプリケーションプログラム側からの発話２０２４として「節約コピーで４アップに設定しました。よろしければスタートボタンを押してください。」が表示されている。
【００６８】
＜画面６：ジョブメモリの候補とパラメータ値の変更の候補の表示＞
図１７は、複数の候補のうちの１つの選択とパラメータ値の一部の変更を指示する場合の操作画面の遷移の例を説明する図である。
時点Ｔ１の操作画面には、アプリケーションプログラムによる「何かご用ですか？」との発話２００１に続き、ユーザによる「会議用のコピーがしたい。」との発話２００２が表示されている。
【００６９】
図１７の場合、ユーザの発話２００２に対応するジョブメモリは１つだけである。
このため、時点Ｔ２の操作画面には、特定されたジョブメモリのパラメータリストとデフォルトパラメータリストとの差分を示す発話２００３が表示されている。更に、時点Ｔ２の操作画面には、操作の履歴から抽出されたパラメータ値の変更の候補を表す２つのボタン２０３１及び２０３２が表示されている。ボタン２０３１は「カラー」であり、ボタン２０３２は「Ａ４」である。
この時点で、端末装置２０は、画像形成装置１０に対して、該当するジョブメモリの読み出しを要求する。
【００７０】
時点Ｔ３の操作画面は、ユーザによる候補の選択の様子を表している。上段の操作画面は、パラメータ値の変更の候補に対応するボタンの１つをタップすることにより、パラメータ値の変更を指示する場合に対応する。ここでは、ボタン２０３２がタップされ、「Ａ４」への変更が選択されている。下段の操作画面は、音声によりパラメータ値の変更を指示する場合に対応する。図１７の例では、「Ａ４で。」との発話２０３３が表示されている。
この時点で、端末装置２０は、画像形成装置１０に対して、パラメータ値の変更を要求する。
なお、パラメータ値は、複数の変更を一度に指示することも可能である。例えば「カラーでＡ４。」と発話すればよい。また、音声により、操作画面上に表示されていないパラメータ値の変更を指示することも可能である。例えば「片面で。」や「４アップで。」と指示してもよい。
【００７１】
＜画面７：ジョブメモリのパラメータ値に宛先が含まれる場合＞
図１８は、ジョブメモリのパラメータ値に宛先が含まれる場合の操作画面の遷移の例を説明する図である。
時点Ｔ１の操作画面には、アプリケーションプログラムによる「何かご用ですか？」との発話２００１に続き、ユーザによる「スキャンしてＰＣ保存」との発話２０４１が表示されている。
図１８の場合、ユーザの発話２０４１に対応するジョブメモリは１つだけである。
このため、端末装置２０は、画像形成装置１０に対して、該当するジョブメモリの読み出しを要求している。
【００７２】
ここでのジョブメモリには、スキャンデータの保存先を指定するパラメータ値が含まれている。保存先は、宛先の一例である。本実施の形態における宛先には、例えばデータが読み出される場所、データが送信される場所、通信先、書面等の送り先も含まれる。送り先は、例えば宛名と住所で与えられる。
前述したように、パラメータ値の宛先とユーザが想定している宛先とが異なると、予期せぬ支障が生じる可能性がある。
時点Ｔ２の操作画面は、ユーザに宛先の確認を求める画面の一例である。ここでの操作画面の１行目には、保存先とファイル名の確認欄２０４２が表示されている。ここでは、保存先として「サーバＡ」、ファイル名として「ｆｉｌｅＡ」が表示されている。
なお、２行目には、アプリケーションプログラムからの発話２０４３として「宛先、ファイル名は変更しますか？」が表示されている。
３行目には、ユーザからの発話２０４４として「宛先表から選びます。」が表示されている。
端末装置２０は、ユーザの発話２０４４を認識すると、画像形成装置１０から宛先表を取得する。
【００７３】
時点Ｔ３の操作画面は、宛先の候補の一覧が表示される画面の一例である。ここでの操作画面の１行目には、宛先の候補のリスト２０４５が表示されている。ここでは、保存先の候補として「１．請求書フォルダ」、「２．納品書フォルダ」、「３．契約書フォルダ」の３つが表示されている。
なお、２行目には、アプリケーションプログラムからの発話２０４６として「宛先を選択してください。」が表示されている。
時点Ｔ４の操作画面は、ユーザによる宛先の選択の例を示す画面の一例である。ここでは、タップ操作により、ユーザの選択が入力されている。具体的には、「２．納品書フォルダ」が選択されている。なお、画面６（図１７参照）のように音声により宛先の選択を入力することも可能である。
ここでは、選択を認識したアプリケーションプログラムからの発話２０４７として「ファイル名の先頭に「納品書」をつけて保存します。」が表示されている。
【００７４】
この時点で、端末装置２０は、画像形成装置１０に対して、パラメータ値の変更を要求する。また、端末装置２０は、記憶ユニット２０２（図４参照）に変更の履歴を保存する。本実施の形態における端末装置２０は、ユーザの発話の内容に対し、読み出されたジョブメモリの履歴と宛先の変更の履歴とを紐付けて保存する。この例の場合、「スキャンしてＰＣ保存。」との発話２０４１に対し、「スキャンＰＣ保存」の読み出しと「納品書フォルダ」の選択とが紐付けられる。
この履歴の保存により、次回の提示の簡略化が実現される。
【００７５】
図１９は、パラメータ値に宛先を含むジョブメモリが複数回読み出される場合の操作画面の例を説明する図である。
図１９の操作画面は、図１８の時点Ｔ１における操作画面に対応する。図１９の操作画面では、前回までの変更の履歴を参照することにより、対話の回数が短縮されている。
図１９の場合、アプリケーションプログラムによる「何かご用ですか？」との発話２００１に対し、ユーザによる発話２０４８は「納品書を保存。」である。
発話２０４８の内容はジョブメモリ名と異なっているが、端末装置２０は、発話２０４８に含まれる「納品書」と「保存」と変更の履歴との照合により、ユーザの希望は「スキャンＰＣ保存」であると推定する。
そこで、図１９の例では、アプリケーションプログラムからの発話２０４９として「納品書フォルダに保存します。よろしいですか？」が表示されている。
この表示は、変更の履歴を用いた候補の提示の一例である。
【００７６】
＜画面８：変更後のジョブメモリの保存＞
図２０は、パラメータ値の一部が変更されたジョブメモリを新たなジョブメモリとして保存する場合の操作画面の遷移の例を説明する図である。
時点Ｔ３に示す操作画面は、図１７の時点Ｔ３の操作画面に対応する。
前述したパラメータ値の変更は、実行回限りの変更であり、画像形成装置１０（図１参照）に保存されているジョブメモリの内容には変更がない。
ここでは、変更後の内容を次回以降の実行に備えて新たなジョブメモリとして画像形成装置１０に保存する場合の操作の一例について説明する。
【００７７】
時点Ｔ４では、ユーザによる変更の指示が画像形成装置１０に反映されたことを示すフィードバック２０５１として「Ａ４に設定しました。」が表示されている。
時点Ｔ５の場合、フィードバック２０５１を確認したユーザが、変更されたパラメータ値を反映したジョブメモリの保存を口頭で指示している。具体的には、ユーザの発話２０５２として「今の保存しておいて。」が表示されている。
ユーザの指示を受け付けた端末装置２０は、画像形成装置１０に対して、パラメータ値の変更を反映した新たなジョブメモリの保存を要求する。この結果、画像形成装置１０には、既存の「会議用コピー」とは用紙サイズの値が異なる新たな「会議用コピー」が保存される。
図２０の例では、ユーザの発話２０５２があった場合に、パラメータ値の変更を反映した新たなジョブメモリの保存を要求しているが、端末装置２０側からユーザにパラメータ値の変更を反映した新たなジョブメモリの保存を希望するかを問い合わせてもよい。例えばアプリケーションプログラム側から「新たなジョブメモリとして保存しますか？」と問い合わせてもよい。
【００７８】
＜画面９：ジョブメモリの再実行時に表示される画面の例＞
図２１は、ジョブメモリの再実行を意図する発話があった場合の操作画面の遷移の例を説明する図である。
時点Ｔ１１は、画像形成装置１０（図１参照）において何らかのジョブメモリが実行された後の時点に当たる。
時点Ｔ１１の操作画面には、アプリケーションプログラムによる「何かご用ですか？」との発話２０６１に続き、ユーザによる「もうちょっときれいに出したいんだけど。」との発話２０６２が表示されている。この発話２０６２は、処理結果の画質に関する内容を含んでいる。
このため、アプリケーションプログラムは、ユーザが再実行を希望していると解析し、推奨されるパラメータ値の提示に必要な情報を問い合わせる。この例では、「原稿は何ですか？」との発話２０６３とともに、原稿の一覧２０６４が表示される。一覧２０６４には、「文字文書」、「写真」、「伝票」、「冊子」、「地図」、「新聞」に対応する６つのボタンが配列されている。
この例では、「伝票」がユーザにより選択されている。
【００７９】
時点Ｔ１２の操作画面の１行目には、推奨されるパラメータ値の提示欄２０６５が表示される。図２１の場合、原稿の種類のパラメータ値として「伝票」、濃度のパラメータ値として「濃く＋１」が推奨されている。
また、操作画面の２行目には、「上記パラメータで実行します。よろしいですか？」との発話２０６６がアプリケーションプログラムから提示される。この時点で、ユーザから「はい。」との発話があると、端末装置２０は、画像形成装置１０に対して、該当するジョブメモリの読み出しとパラメータ値の変更を要求する。
【００８０】
図２１の場合には、ユーザから「はい。」以外の発話があった場合を想定している。
時点Ｔ１３の操作画面は、アプリケーションプログラム側からの発話２０６６に続いて、ユーザから「裏写りしているようなんだけど。」との発話２０６７があった場合である。
時点Ｔ１４の操作画面では、推奨されたパラメータ値の提示欄２０６５の内容が更新されている。具体的には、「裏写り防止」の項目と、対応するパラメータ値の「オン」が追加されている。
また、操作画面には、「裏写り防止をセットします。よろしいですか？」との発話２０６８がアプリケーションプログラムから提示される。
この時点で、ユーザから「はい。」との発話があると、端末装置２０は、画像形成装置１０に対して、該当するジョブメモリの読み出しとパラメータ値の変更を要求する。
なお、再実行に伴う変更の内容は操作の履歴として保存され、次回以降のジョブメモリの読み出しの際に参照される。
【００８１】
＜画面１０：ジョブメモリの再実行時に表示される画面の例＞
図２１の場合には、ユーザの発話を利用して推奨されるパラメータ値を推定しているが、ここでは、出力イメージログの利用が可能な場合について説明する。出力イメージログは、出力物のイメージのログである。
図２２は、ジョブメモリの再実行を意図する発話があった場合の操作画面の例を説明する図である。
時点Ｔ１１の操作画面では、アプリケーションプログラムによる「何かご用ですか？」との発話２０６１に続き、ユーザによる「もうちょっときれいに出したいんだけど。」との発話２０６２が表示されている。この発話２０６２は、処理結果の画質に関する内容を含んでいる。
ただし、ここでの操作画面では、出力イメージログを利用できるため、原稿の種類を問い合わせる発話２０６３（図２１参照）はない。
【００８２】
この例では、バックグラウンド処理として、直前に実行されたパラメータの取得と出力イメージログの取得が実行される。出力イメージログは、画像形成装置１０（図１参照）から取得される。
次に、端末装置２０は、取得されたパラメータと出力イメージログとに基づいて、出力不良の原因を解析する。
図２３は、図２２に示す操作画面以降に表示される操作画面の例を説明する図である。
時点Ｔ１２の操作画面には、解析の結果として推奨されるパラメータ値の提示欄２０７１が表示される。図２３の場合、原稿の種類のパラメータ値として「文字」、濃度のパラメータ値として「濃く＋２」、裏写り防止のパラメータ値として「オン」が推奨されている。
【００８３】
また、操作画面の２行目には、「上記で再度実行します。よろしいですか？」との発話２０７２がアプリケーションプログラムから提示される。また、操作画面の３行目には、推奨されるパラメータの適用により予想される画質の改善例２０７３が表示されている。この例では、改善前の画像と改善後の予想の画像とが対比的に表示される。ここでの画像は、現実の画像である必要はなく、提示用に予め用意されているサンプル画像でもよい。画像として提示されることで、推奨されたパラメータ値を適用するか否かの判断が容易になる。
時点Ｔ１３の操作画面では、アプリケーションプログラム側からの発話２０７２に続いて、ユーザからの「はい。」との発話２０７４が表示されている。
ユーザから「はい。」との発話があると、端末装置２０は、画像形成装置１０に対して、該当するジョブメモリの読み出しとパラメータ値の変更を要求する。
【００８４】
更に、この例では、アプリケーションプログラム側から「出力結果に問題なければ伝票用コピーとして保存します。」との発話２０７５が提示されている。ここでは、ユーザが保存を望んでいる。このため、「お願い。」との発話２０７６が表示される。
ユーザから「お願い」との発話があると、端末装置２０は、画像形成装置１０に対して、パラメータ値の変更を反映した新たなジョブメモリの保存を要求する。
なお、再実行に伴う変更の内容は操作の履歴として保存され、次回以降のジョブメモリの読み出しの際に参照される。
【００８５】
図２４は、出力不良の原因の解析により画像形成装置１０の清掃等が対策案として提示される場合の操作画面の例を説明する図である。
図２４に示す操作画面の例は、図２２に続く時点Ｔ１２に対応する。図２３の例は、パラメータ値の変更により画質を改善することが可能な場合であったが、パラメータ値の変更では画質を改善できない場合もある。
ここでは、出力イメージ２０８１に黒い線状の汚れ２０８２が含まれている。このため、解析結果として「黒線あり」が出力され、その原因として「ガラス面の汚れ」が予測されている。
このため、ユーザからの「もうちょっときれいに出したいんだけど。」との発話２０６２に対し、アプリケーションプログラムは、「ガラス面の汚れを取ってください。詳細は以下の動画をご覧ください。http://装置の掃除/」との発話２０８３を表示している。
【００８６】
図２５は、出力不良の原因の解析により画像形成装置１０の清掃等が対策案として提示される場合の操作画面の他の例を説明する図である。
図２５に示す操作画面も、図２２に続く時点Ｔ１２に対応する。
ここでは、出力イメージ２０９１に白い線状の筋２０９２が含まれている。このため、解析結果として「白線あり」が出力され、その原因として「スキャナの汚れ」が予測されている。
このため、ユーザからの「もうちょっときれいに出したいんだけど。」との発話２０６２に対し、アプリケーションプログラムは、「レーザスキャナを清掃してください。詳細は以下の動画をご覧ください。http://装置の掃除/」との発話２０９３を表示している。
【００８７】
＜実施の形態２＞
＜システム構成＞
前述の実施の形態１においては、端末装置２０がスマートフォンである場合を想定していたが、本実施の形態では、端末装置２０がウェアラブル端末である場合を想定する。
ウェアラブル端末には、例えば手首装着型のウェアラブル端末、頭部に装着されるメガネ型のウェアラブル端末がある。
メガネ型の端末には、ホログラム光学素子を組み込んだ透明板を使用する透過式と呼ばれる端末がある。ホログラム光学素子は、前方から入射する光を透過する性質と、透明板の内部を伝搬する映像光を屈折してユーザの眼球方向に出力する性質とを有している。このため、メガネ型の端末を装着したユーザは、実在する物体に仮想の画像やテキストを重ねた像を視認することが可能である。
【００８８】
図２６は、実施の形態２で想定するシステム構成の一例を説明する図である。実施の形態２で想定するシステムは、用紙などの媒体に画像を形成する画像形成装置１０と、画像形成装置１０を操作するユーザが頭部に装着する端末装置２０とで構成される。以下では、端末装置２０をウェアラブル端末と呼ぶ。
なお、本実施の形態で使用するウェアラブル端末のハードウェア構成や機能構成は、実施の形態１で説明した端末装置２０と同じである。
【００８９】
図２６では、ウェアラブル端末を頭部に装着したユーザが見ているイメージを吹き出しで示している。本実施の形態の場合、ユーザは、目の前に実在する画像形成装置１０を裸眼で確認している。
この例は、ユーザが「コピーがしたい。」と発話することで処理が開始される。ユーザの発話を認識したウェアラブル端末は、操作の対象である画像形成装置１０を特定するために「利用する画像形成装置を見てください。」との音声を出力する。音声はスピーカから出力される。なお、ウェアラブル端末は、「利用する画像形成装置を見てください。」との文字列をユーザの視界内に表示してもよい。
図中の吹き出し３００１は、ユーザが視認している空間のイメージを表している。吹き出し中の枠線３００２は、ウェアラブル端末が認識の対象としている物体を表している。この枠線３００２は、実空間には存在しない仮想の画像である。このように、実在する物体にコンピュータが作成した仮想の視覚情報を重ねる技術は、拡張現実（＝Augmented Reality：ＡＲ）又は複合現実（＝Mixed Reality：ＭＲ）と呼ばれる。
ウェアラブル端末は、仮想の枠線３００２で囲まれた範囲の画像を解析して操作の対象である画像形成装置１０の機種の大分類を特定する。画像の解析は、ウェアラブル端末内で実行されてもよいし、不図示のクラウドサーバ等が提供する解析サービスを利用してもよい。
【００９０】
＜操作画面の例＞
＜画面１：機種の特定＞
図２７は、ユーザインタフェース画面の構造の特定に用いられる操作の例を説明する図である。図２７に示す吹き出し３００１には、ユーザが見ている画像形成装置１０の操作パネル３００３が描かれている。ウェアラブル端末は、ユーザに操作させたいボタンの位置に仮想の画像３００４を表示するとともに「ボタンを押してください。」との仮想の文字列３００５を表示する。仮想の文字列は、空間内に浮かぶように表示される。ウェアラブル端末は、ユーザが指定のボタンを操作するたびに、次に操作を求めるボタンの位置に仮想の画像３００４を表示する。一連のボタン操作に伴う操作画面の遷移により、画像形成装置１０の機種が具体的に特定される。この処理も、ウェアラブル端末内で実行されてもよいし、不図示のクラウドサーバ等が提供する解析サービスを利用してもよい。
図２８は、特定された機種をユーザに通知する画面の例を説明する図である。図２８の場合、吹き出し３００１内には、「画像形成装置を登録しました。ご利用いただけます。」との文字列３００６とともに、機種を物理的に特定する情報３００７とが表示されている。図２８の場合、機械番号は「ＸＸＸ」であり、アドレスは「ＹＹＹ」である。
【００９１】
＜画面２：ジョブメモリの候補が１つの場合＞
図２９は、ユーザがウェアラブル端末を使用してジョブメモリを読み出す場合の操作画面の遷移の例を説明する図である。
時点Ｔ２１は、ユーザによる「コピーがしたい。」との発話の後の時点に対応する。実施の形態１の場合と同様に、「コピーがしたい。」との発話を検知したウェアラブル端末は、画像形成装置１０からジョブメモリ情報を読み出し、ユーザの希望に近いジョブメモリの候補を検索する。
【００９２】
時点Ｔ２１においては、３つの候補が見つかっている。そこで、吹き出し３００１には「幾つかの候補が見つかりました。」との文字列３０１１と、ジョブメモリの候補３０１２とが表示されている。ジョブメモリの候補３０１２には、「１．会議用コピー」、「２．プレゼンコピー」、「３．節約コピー」が表示されている。
時点Ｔ２２において、ユーザは、選択する候補の番号を発話している。具体的には「１番」と発話している。この発話の内容は、ウェアラブル端末によって検知される。
時点Ｔ２３に示す操作画面は、ジョブメモリの選択を受け付けたことをユーザに通知する画面の例である。吹き出し３００１には、「白黒でＡ５に出力します。よろしければ、本体のスタートボタンを押してください。」との文字列３０１３と、選択されたジョブメモリを示すボタン３０１４とが表示される。
文字列３０１３は、図１５における時点Ｔ１の表示画面と同じく、デフォルトパラメータとの差分を表している。このため、選択したジョブメモリにおけるパラメータ値の設定が自身の希望と一致しているかの確認が容易になる。
【００９３】
図３０は、パラメータ値の変更を指示する場合の操作画面の例を説明する図である。
ここでは、用紙サイズがユーザの希望とは異なっている。このため、時点Ｔ２４において、ユーザは、「Ａ４にして。」と発話している。この発話の内容は、ウェアラブル端末において検知される。時点Ｔ２４は、図１５の時点Ｔ２に対応する。
時点Ｔ２５では、ウェアラブル端末からの応答が吹き出し３００１に表示される。ここでの吹き出し３００１には、「Ａ４に変更しました。」との文字列３０１３が表示されている。時点Ｔ２５は、図１５の時点Ｔ３に対応する。
【００９４】
＜画面３：ジョブメモリの再実行＞
以下では、ウェアラブル端末を用いて再実行を指示する場合の操作画面の例について説明する。
図３１は、ユーザが視認している対象物の画像を通じて不良の原因を解析する手法を説明する図である。
時点Ｔ３１において、ユーザは「もう少しきれいに出してほしいのだけれど。」と発話し、ジョブメモリの再実行の希望をウェアラブル端末に伝達する。ユーザがウェアラブル端末を装着している場合、出力イメージログを用いなくても、対象物の画像をその場で取得することが可能である。
そこで、時点Ｔ３２において、ウェアラブル端末は、「原稿と出力されたコピーをもう一度見てもらえますか？」とのメッセージをスピーカから出力する。なお、他の例のように、空間中に仮想の文字列を表示することで、ユーザの行動を促すことも可能である。
【００９５】
時点Ｔ３３において、ユーザは、ウェアラブル端末を装着した状態で原稿３０２１を見る。原稿３０２１の画像は、ウェアラブル端末に取り付けられているカメラ２０５（図４参照）によって撮像される。
時点Ｔ３４において、ユーザは、ウェアラブル端末を装着した状態で出力されたコピー３０２２を見る。コピー３０２２の画像も、ウェアラブル端末に取り付けられているカメラ２０５によって撮像される。図３１の場合、原稿３０２１の文字は濃く、くっきり表現されているが、コピー３０２２の文字は薄く、裏写りの症状も認められる。
なお、原稿３０２１とコピー３０２２の区別が可能であれば、原稿３０２１の撮像とコピー３０２２は一度に撮像されてもよい。また、撮像の順序は、コピー３０２２が先で、原稿３０２１が後でもよい。
両方の撮像が確認されると、時点Ｔ３５に示すように、ウェアラブル端末から「確認しました。しばらくお待ちください。」等のメッセージが出力される。
取り込まれた画像の解析は、出力イメージログを解析する場合と同じである。
【００９６】
＜画面４：対策のための作業の支援＞
図３２は、不良の原因の解消に清掃などの対策が必要になる場合におけるガイドの手法を説明する図である。
スマートフォンなどの携帯型の端末装置２０（図１参照）を用いる場合、ユーザによる積極的な関与が求められる。例えば対策について公開するＵＲＬ（＝Uniform Resource Locator）へのアクセス、スライドの切り替え、動画像の再生や一時停止等の作業が対策のための作業とは別に必要になる。
一方、ウェアラブル端末を装着している場合、対策の進捗の様子は、カメラ２０５で撮像される。このため、ユーザは対策に集中することが可能になる。
【００９７】
時点Ｔ４１では、ユーザに求められる対策が示されている。まず、ウェアラブル端末から「トナーの交換が必要です。対応の方法は動画を御覧ください。」とのメッセージが出力される。同時に、吹き出し３００１に示すように、トナーの交換の方法を説明する動画３０３１が表示され、自動的に再生が開始される。なお、動画３０３１の再生は、操作の対象である画像形成装置１０をユーザが視認していることの検知が前提である。
ウェアラブル端末のカメラ２０５は、ユーザの作業の様子を撮像している。ウェアラブル端末は、画像の解析の結果を使用して、ユーザの作業の内容と再生中の画像の内容とが一致するように再生を制御する。例えば時点Ｔ４１では、ユーザに画像形成装置１０の扉を開く指示を与えた時点で動画３０３１の再生を一時停止する。
時点Ｔ４２では、画像形成装置１０の扉が開かれている。そこで、ウェアラブル端末は、動画３０３１の再生を再開し、トナーカートリッジの本体からの取り外し方を作業中のユーザに案内する。
【００９８】
＜画面５：画質を改善するパラメータ値の提示＞
図３３は、画質を改善するために推奨されるパラメータの提示を説明する図である。
ウェアラブル端末を装着しているユーザには、吹き出し３００１に示すように、推奨されるパラメータ値のリスト３０４１とともに、出力されたコピー３０４２と推奨されるパラメータ値の適用後のイメージ３０４３とが提示される。
図３３の場合、コピー３０４２の文字は薄く、裏写りの症状も認められる。このため、推奨されるパラメータ値のリスト３０４１には、原稿の種類のパラメータ値として「文字」、濃度のパラメータ値として「濃く＋１」、「裏写り防止」のパラメータ値として「オン」が表示されている。
なお、図３３の例では、ウェアラブル端末から「ご覧のパラメータで実行します。よろしいですか？」とのメッセージが出力されている。
【００９９】
＜画面６：操作すべき又は確認すべきボタン等の位置の示唆＞
図３４は、操作すべき又は確認すべきボタン等の位置をユーザに示唆する手法の例を説明する図である。
前述したように、ウェアラブル端末は、操作の対象である画像形成装置１０（図１参照）の機種だけでなく、ユーザインタフェース画面の構造に関する情報も取得している。このため、ユーザが実際に視認している操作パネル３０５１の画像があれば、ユーザが操作すべきボタンの位置も特定が可能である。
【０１００】
時点Ｔ５１では、実在する操作パネル３０５１を構成する特定のボタンの上に重ねるように仮想のアイコン３０５２を表示している。なお、ウェアラブル端末からは「用紙トレイの設定を確認してください。」とのメッセージが出力されている。アイコン３０５２は、ユーザの注意を引く形状、色、輝度、点滅パターン等の組み合わせで表示される。
アイコン３０５２の表示により、ユーザは、確認すべきボタンの位置にすぐに気づくことが可能になる。この例では、アイコン３０５２が表示されている位置のボタンを、ユーザがタップする。
【０１０１】
時点Ｔ５２では、用紙トレイに収容される用紙の種類を指定する画面が操作パネル３０５１に表示されている。このため、操作パネル３０５１には、用紙の種類毎にボタンが配列されている。
図３４の例では、ウェアラブル端末から「ラベル紙を選択し、ＯＫを押してください。」とのメッセージが出力されている。このため、操作パネル３０５１には、ラベル紙に対応するボタンの上に仮想のアイコン３０５３が表示され、ＯＫボタンの上に仮想のアイコン３０５４が表示される。アイコン３０５３及び３０５４の表示により、ユーザは、確認すべきボタンの位置にすぐに気づくことが可能である。
【０１０２】
＜他の実施の形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上述の実施の形態に記載の範囲に限定されない。上述の実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
【０１０３】
前述の実施の形態においては、端末装置２０の一例として実施の形態１ではスマートフォンを例示し、実施の形態２ではウェアラブル端末を例示しているが、端末装置２０で実行されているアプリケーションプログラムは、端末装置２０と通信可能なサーバ上で実行されてもよい。この場合は、サーバが情報処理装置の一例となる。サーバは、クラウドサーバでもオンプレミスサーバでもよい。
もっとも、前述したアプリケーションプログラムの実行を通じて提供されるサービスは、端末装置２０と不図示のサーバとの連携によって実現してもよい。その場合には、連携する端末装置２０と不図示のサーバが情報処理装置の一例となる。
【符号の説明】
【０１０４】
１０…画像形成装置、２０…端末装置、１２１…ジョブメモリ管理モジュール、１２２…ジョブメモリ実行管理モジュール、２２１…音声認識モジュール、２２２…ジョブメモリ情報取得モジュール、２２３…ジョブメモリ検索モジュール、２２４…差分抽出モジュール、２２５…差分確認モジュール、２２６…変更受付モジュール、２２７…再実行受付モジュール
【図１】
2020155030.tif 000003
【図２】
2020155030.tif 000004
【図３】
2020155030.tif 000005
【図４】
2020155030.tif 000006
【図５】
2020155030.tif 000007
【図６】
2020155030.tif 000008
【図７】
2020155030.tif 000009
【図８】
2020155030.tif 000010
【図９】
2020155030.tif 000011
【図１０】
2020155030.tif 000012
【図１１】
2020155030.tif 000013
【図１２】
2020155030.tif 000014
【図１３】
2020155030.tif 000015
【図１４】
2020155030.tif 000016
【図１５】
2020155030.tif 000017
【図１６】
2020155030.tif 000018
【図１７】
2020155030.tif 000019
【図１８】
2020155030.tif 000020
【図１９】
2020155030.tif 000021
【図２０】
2020155030.tif 000022
【図２１】
2020155030.tif 000023
【図２２】
2020155030.tif 000024
【図２３】
2020155030.tif 000025
【図２４】
2020155030.tif 000026
【図２５】
2020155030.tif 000027
【図２６】
2020155030.tif 000028
【図２７】
2020155030.tif 000029
【図２８】
2020155030.tif 000030
【図２９】
2020155030.tif 000031
【図３０】
2020155030.tif 000032
【図３１】
2020155030.tif 000033
【図３２】
2020155030.tif 000034
【図３３】
2020155030.tif 000035
【図３４】
2020155030.tif 000036