(57)【要約】【課題】ユーザが設定した条件を従来よりも効率的にユーザに確認させる。【解決手段】画像形成装置１に、タッチパネルディスプレイ１０ｇと、ユーザがタッチパネルディスプレイ１０ｇに対してジェスチャをし終えた際に、タッチパネルディスプレイ１０ｇにおける、少なくともユーザの手によってユーザが見ることができない遮蔽領域４Ｃを推定する、遮蔽領域推定部１０５と、ジェスチャに対応する指定条件を判別する条件判別部１０２と、遮蔽領域４Ｃとタッチパネルディスプレイ１０ｇにおける指定条件が表示される表示領域とが重なるという要件を満たす場合に、指定条件に従って処理を実行する前に指定条件を改めてタッチパネルディスプレイ１０ｇに表示させる、確認画面表示部１０８と、を設ける。【選択図】図３
2018124847.tif 000002
【特許請求の範囲】
【請求項１】
タッチパネルディスプレイと、
ユーザが前記タッチパネルディスプレイに対してジェスチャをし終えた際に、当該タッチパネルディスプレイにおける、少なくとも当該ユーザの手によって当該ユーザが見ることができない遮蔽領域を推定する、推定手段と、
前記ジェスチャに対応する条件を判別する判別手段と、
前記遮蔽領域と前記タッチパネルディスプレイにおける前記条件が表示される表示領域とが重なるという要件を満たす場合に、当該条件に従って処理を実行する前に当該条件を改めて当該タッチパネルディスプレイに表示させる、条件表示手段と、
を有することを特徴とする、画像処理装置。
【請求項２】
前記条件表示手段は、前記要件を満たす場合に、前記ユーザが前記ジェスチャをし終えてから所定の時間が経過するまでに次のジェスチャを行うと、前記条件を改めて表示させる、
請求項１に記載の画像処理装置。
【請求項３】
前記タッチパネルディスプレイは、前記ジェスチャとして前記ユーザが自身の指または物体を当該タッチパネルディスプレイに接触させて行ったジェスチャを受け付け、
前記条件表示手段は、前記要件を満たす場合に、前記ユーザが前記ジェスチャをし終えてから前記指または前記物体を前記タッチパネルディスプレイから一定の距離以上離さないで次のジェスチャを行うと、前記条件を改めて表示させる、
請求項１に記載の画像処理装置。
【請求項４】
前記推定手段は、前記ユーザが前記ジェスチャをし終えるごとに前記遮蔽領域を推定し、
前記判別手段は、前記ユーザが前記ジェスチャをし終えるごとに当該ジェスチャに対応する前記条件を判別し、
前記条件表示手段は、複数の前記条件のうちの前記要件を満たす条件をまとめて改めて表示させる、
請求項１ないし請求項３の何れかに記載の画像処理装置。
【請求項５】
前記推定手段は、前記ユーザが前記ジェスチャをし終えるごとに前記遮蔽領域を推定し、
前記判別手段は、前記ユーザが前記ジェスチャをし終えるごとに当該ジェスチャに対応する前記条件を判別し、
前記条件表示手段は、複数の前記条件のうちの前記要件を満たす条件を他の条件より優越する態様で当該他の条件とともに改めて表示させる、
請求項１ないし請求項３のいずれかに記載の画像処理装置。
【請求項６】
前記タッチパネルディスプレイにおける、前記ユーザが前記ジェスチャをし終えた時点での当該ユーザが注目していた注目位置を特定する特定手段、を有し、
前記条件表示手段は、前記要件を満たした後、前記表示領域と前記遮蔽領域とが重ならなくなってから前記注目位置が当該表示領域に重なる時間が所定の時間未満であれば、当該条件を表示させる、
請求項１に記載の画像処理装置。
【請求項７】
前記ユーザが前記ジェスチャをし終えるごとに、前記タッチパネルディスプレイにおいて当該ユーザが注目していた注目位置を特定する特定手段、を有し、
前記推定手段は、前記ユーザが前記ジェスチャをし終えるごとに前記遮蔽領域を推定し、
前記判別手段は、前記ユーザが前記ジェスチャをし終えるごとに当該ジェスチャに対応する前記条件を判別し、
前記条件表示手段は、複数の前記条件のうちの、前記要件を満たした後に前記表示領域と前記遮蔽領域とが重ならなくなってから前記注目位置が当該表示領域に重なる時間が所定の時間未満である条件を、まとめて改めて表示させる、
請求項１に記載の画像処理装置。
【請求項８】
前記ユーザが前記ジェスチャをし終えるごとに、前記タッチパネルディスプレイにおいて当該ユーザが注目していた注目位置を特定する特定手段、を有し、
前記推定手段は、前記ユーザが前記ジェスチャをし終えるごとに前記遮蔽領域を推定し、
前記判別手段は、前記ユーザが前記ジェスチャをし終えるごとに当該ジェスチャに対応する前記条件を判別し、
前記条件表示手段は、複数の前記条件のうちの、前記要件を満たした後に前記表示領域と前記遮蔽領域とが重ならなくなってから前記注目位置が当該表示領域に重なる時間が所定の時間未満である条件を、他の条件より優越する態様で当該他の条件とともに改めて表示させる、
請求項１に記載の画像処理装置。
【請求項９】
複数の前記条件のうちの２つ以上の条件が禁則である場合に、当該２つ以上の条件を改めて表示させる、再表示手段、を有する、
請求項４、請求項５、請求項７および請求項８のいずれかに記載の画像処理装置。
【請求項１０】
タッチパネルディスプレイを有する画像処理装置で実行される条件表示方法であって、
前記画像処理装置に、
ユーザが前記タッチパネルディスプレイに対してジェスチャをし終えた際に、当該タッチパネルディスプレイにおける、少なくとも当該ユーザの手によって当該ユーザが見ることができない遮蔽領域を推定させ、
前記ジェスチャに対応する条件を判別させ、
前記遮蔽領域と前記タッチパネルディスプレイにおける前記条件が表示される表示領域とが重なるという要件を満たす場合に、当該条件に従って処理を実行する前に当該条件を改めて当該タッチパネルディスプレイに表示させる、
ことを特徴とする条件表示方法。
【請求項１１】
タッチパネルディスプレイを有する画像処理装置に用いられるコンピュータプログラムであって、
前記画像処理装置に、
ユーザが前記タッチパネルディスプレイに対してジェスチャをし終えた際に、当該タッチパネルディスプレイにおける、少なくとも当該ユーザの手によって当該ユーザが見ることができない遮蔽領域を推定する処理を実行させ、
前記ジェスチャに対応する条件を判別する処理を実行させ、
前記遮蔽領域と前記タッチパネルディスプレイにおける前記条件が表示される表示領域とが重なるという要件を満たす場合に、当該条件に従って処理を実行する前に当該条件を改めて当該タッチパネルディスプレイに表示させる処理を実行させる、
ことを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置が有するタッチパネルディスプレイに情報を表示させる技術に関する。
【背景技術】
【０００２】
従来、複合機またはＭＦＰ（Multi Function Peripherals）と呼ばれる画像形成装置が普及している。画像形成装置には通常、タッチパネルディスプレイが備わっている。画像形成装置は、タッチパネルディスプレイは、によって、ジョブの条件を設定する画面を表示し、ユーザの指によってなされたジェスチャを介して条件を受け付ける。
【０００３】
具体的な流れとして、画像形成装置は、図４に示すようなジョブの条件を設定する画面を表示する。そして、図５および図６に示すようなユーザの指によって描かれた「１０」のジェスチャおよび図６に示すような「て」のジェスチャを検知し、印刷部数を「１０部」とする条件および給紙トレイを「手差し」のトレイとする条件を受け付ける。そして、図７および図８に示すように、条件を反映させて画面を表示し直す。
【０００４】
このようなタッチパネルディスプレイでは、情報が表示される部分に指が接触することがあるので、ユーザの視認性が低下する場合がある。このような問題を解決する技術として、以下のようなものが提案されている。
【０００５】
特許文献１に記載される画像処理装置は、表示装置が有する所定の表示領域に第１の画像を表示する第１表示部と、表示領域内において指定された位置を検出する位置検出部と、第１の画像から、位置検出部によって検出された位置を含む所定範囲内の第２の画像を複製し、この第２の画像を、第１の画像上の、検出された位置から離れた所定の位置に表示する第２表示部とを備える。
【０００６】
特許文献２に記載される画像処理装置は、項目を一覧表示し、ユーザの指示操作により一覧表示している項目をスライド表示し、一覧表示すべき項目に変化があると判定すると、例えばスライド表示を停止するか、或いは強調表示により、一覧表示している項目に変化があることをユーザに通知する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１３−９３０４３号公報
【特許文献２】特開２０１３−１６４６７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、ジョブを実行する前に、ユーザから与えられた条件を図７および図８のような画面とは別の画面によって改めて表示提示してユーザに確認させることは、より確実に指示通りにジョブを実行するうえで望ましい。他方でしかし、条件をすべて表示すると、ユーザがいい加減に確認してしまうという問題が生じる。特許文献１に記載される画像処理装置および特許文献２に記載される画像形成装置は、この問題を解決することができない。
【０００９】
本発明は、このような問題点に鑑み、ユーザが設定した条件を従来よりも効率的にユーザに確認させることを、目的とする。
【課題を解決するための手段】
【００１０】
本発明の一実施形態に係る画像処理装置は、タッチパネルディスプレイと、ユーザが前記タッチパネルディスプレイに対してジェスチャをし終えた際に、当該タッチパネルディスプレイにおける、少なくとも当該ユーザの手によって当該ユーザが見ることができない遮蔽領域を推定する、推定手段と、前記ジェスチャに対応する条件を判別する判別手段と、前記遮蔽領域と前記タッチパネルディスプレイにおける前記条件が表示される表示領域とが重なるという要件を満たす場合に、当該条件に従って処理を実行する前に当該条件を改めて表示する、条件表示手段と、を有することを特徴とする。
【００１１】
好ましくは、前記条件表示手段は、前記要件を満たす場合に、前記ユーザが前記ジェスチャをし終えてから所定の時間が経過するまでに次のジェスチャを行うと、前記条件を改めて表示する。
【００１２】
好ましくは、前記タッチパネルディスプレイは、前記ジェスチャとして前記ユーザが自身の指または物体を当該タッチパネルディスプレイに接触させて行ったジェスチャを受け付け、前記条件表示手段は、前記要件を満たす場合に、前記ユーザが前記ジェスチャをし終えてから前記指または前記物体を前記タッチパネルディスプレイから一定の距離以上離さないで前記次のジェスチャを行うと、前記条件を改めて表示する。
【００１３】
好ましくは、前記推定手段は、前記ユーザが前記ジェスチャをし終えるごとに前記遮蔽領域を推定し、前記判別手段は、前記ユーザが前記ジェスチャをし終えるごとに当該ジェスチャに対応する前記条件を判別し、前記条件表示手段は、複数の前記条件のうちの前記要件を満たす条件をまとめて改めて表示する。
【発明の効果】
【００１４】
本発明によると、ユーザが設定した条件を従来よりも効率的にユーザに確認させることができる。
【図面の簡単な説明】
【００１５】
【図１】画像形成装置を含むネットワークシステムの全体的な構成の例を示す図である。
【図２】画像形成装置のハードウェア構成の例を示す図である。
【図３】画像形成装置の機能的構成の例を示す図である。
【図４】条件指定画面の例を示す図である。
【図５】手書きジェスチャの第一の例を示す図である。
【図６】手書きジェスチャの第二の例を示す図である。
【図７】条件指定画面の遷移後の状態の第一の例を示す図である。
【図８】条件指定画面の遷移後の状態の第二の例を示す図である。
【図９】遮蔽領域およびその判別方法の例を示す図である。
【図１０】条件確認画面の例を示す図である。
【図１１】コピージョブを実行する際の全体的な処理の流れの例を説明するフローチャートである。
【図１２】画像形成装置の全体的な構成の第二の例を示す図である。
【図１３】注目位置と反映部分との位置関係の例を示す図である。
【図１４】コピージョブを実行する際の全体的な処理の流れの第二の例を説明するフローチャートである。
【発明を実施するための形態】
【００１６】
〔第一の実施形態〕
図１は、画像形成装置１を含むネットワークシステムの全体的な構成の例を示す図である。図２は、画像形成装置１のハードウェア構成の例を示す図である。
【００１７】
図１に示す画像形成装置１は、一般に「複合機」または「ＭＦＰ（Multi Function Peripherals）」などと呼ばれる画像処理装置であって、コピー、ＰＣプリント、ファックス、スキャナ、およびボックスなどの機能を集約した装置である。
【００１８】
ＰＣプリント機能は、後述する端末装置２から受信した画像データに基づいて画像を用紙に印刷する機能である。
【００１９】
ボックス機能は、ユーザごとに「ボックス」または「パーソナルボックス」などと呼ばれる記憶領域を与えておき、各ユーザが自分の記憶領域によって画像データなどを保存し管理するための機能である。ボックスは、パーソナルコンピュータにおける「フォルダ」または「ディレクトリ」に相当する。
【００２０】
画像形成装置１は、通信回線３を介して端末装置２などと装置と通信する。通信回線３として、インターネット、ＬＡＮ（Local Area Network）回線、または公衆回線などが用いられる。端末装置２として、パーソナルコンピュータ、タブレットコンピュータ、またはスマートフォンなどが用いられる。
【００２１】
画像形成装置１は、図２に示すように、ＣＰＵ（Central Processing Unit）１０ａ、Ｄ−ＲＡＭ（Dynamic Random Access Memory）１０ｂ、Ｓ−ＲＡＭ（Static Random Access Memory）１０ｃ、ＮＶ−ＲＡＭ（Nonvolatile Random Access Memory）１０ｄ、ＲＯＭ（Read Only Memory）１０ｅ、補助記憶装置１０ｆ、タッチパネルディスプレイ１０ｇ、操作キーパネル１０ｈ、ＮＩＣ（Network Interface Card）１０ｉ、モデム１０ｊ、スキャンユニット１０ｋ、プリントユニット１０ｍ、フィニッシャ１０ｎ、視線センサ１０ｐ、および近接センサ１０ｑなどによって構成される。
【００２２】
タッチパネルディスプレイ１０ｇは、ユーザに対するメッセージを示す画面、ユーザがコマンドまたは情報を入力するための画面、およびＣＰＵ１０ａが実行した処理の結果を示す画面などを表示する。また、タッチされた位置を示す信号をＣＰＵ１０ａへ送る。
【００２３】
操作キーパネル１０ｈは、いわゆるハードウェアキーボードであって、テンキー、スタートキー、ストップキー、およびファンクションキーなどによって構成される。
【００２４】
ＮＩＣ１０ｉは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などのプロトコルで端末装置２などと通信する。
【００２５】
モデム１０ｊは、公衆回線を介してファックス端末との間でＧ３などのプロトコルで画像データをやり取りする。
【００２６】
スキャンユニット１０ｋは、プラテンガラスの上にセットされた用紙に記されている画像を読み取って画像データを生成する。
【００２７】
プリントユニット１０ｍは、スキャンユニット１０ｋによって読み取られた画像のほか、他の装置から受信した画像データに示される画像を用紙に印刷する。
【００２８】
フィニッシャ１０ｎは、プリントユニット１０ｍによって得られた印刷物に対して、必要に応じて後処理を施す。後処理は、ステープルで綴じる処理、パンチ穴を開ける処理、または折り曲げる処理などである。
【００２９】
視線センサ１０ｐは、ユーザの視線の方向を検知するセンサであって、タッチパネルディスプレイ１０ｇの所定の位置に設けられている。そして、検知した方向および視線センサ１０ｐとタッチパネルディスプレイ１０ｇとの位置関係に基づいて、ユーザがタッチパネルディスプレイ１０ｇの表示面のどこを見ているかを特定する。なお、特定する処理は、ＣＰＵ１０ａが行ってもよい。
【００３０】
視線センサ１０ｐは、外付けの視線センサであってもよい。この場合は、画像形成装置１に無線通信装置を設け、無線通信装置を介してＣＰＵ１０ａと視線センサ１０ｐとの間で無線によって通信を行えばよい。視線センサ１０ｐとして、例えば、トビー・テクノロジー社の「Ｔｏｂｉｉ  Ｐｒｏ  Ｘ３−１２０」のような視線計測器が用いられる。
【００３１】
近接センサ１０ｑは、タッチパネルディスプレイ１０ｇの面から所定の距離（例えば、１センチメートル）以内に物体が存在するか否かを検知する。近接センサ１０ｑとして、例えば赤外線センサが用いられる。
【００３２】
ＮＶ−ＲＡＭ１０ｄ、ＲＯＭ１０ｅ、または補助記憶装置１０ｆには、上述のコピーなどの機能を実現するためのプログラムが記憶されている。これらのプログラムには、コピージョブプログラム１００が含まれている。コピージョブプログラム１００は、原稿の用紙から画像を読み取って他の用紙に印刷する（複写する）ジョブを実行するためのプログラムである。以下、このジョブを「コピージョブ」と記載する。
【００３３】
これらのプログラムは、Ｄ−ＲＡＭ１０ｂにロードされ、ＣＰＵ１０ａによって実行される。補助記憶装置１０ｆとして、ハードディスクまたはＳＳＤ（Solid State Drive）などが用いられる。
【００３４】
Ｓ−ＲＡＭ１０ｃは、ＣＰＵ１０ａがプログラムを実行する際のキャッシュ用のメモリとして用いられる。
【００３５】
コピージョブプログラム１００によると、ユーザは、ジェスチャを行うによってコピージョブの条件を入力することができる。
【００３６】
「ジェスチャ」とは、タッチパネルディスプレイ１０ｇのタッチ面（表示面）を指でタッチし適宜指を動かすことによってなされるアクションである。ジェスチャの一例として、タップ、ダブルタップ、フリック、ピンチイン、ピンチアウト、およびホールド（長押し）が挙げられる。
【００３７】
そのほか、タッチ面に指で数字または文字などを書く動作も、ジェスチャに該当する。以下、このジェスチャを「手書きジェスチャ」と記載する。
【００３８】
さらに、コピージョブプログラム１００によると、ユーザがタッチパネルディスプレイ１０ｇに対して指定した条件を従来よりも効率的にユーザに確認させることができる。以下、この仕組みについて、説明する。
【００３９】
図３は、画像形成装置１の機能的構成の例を示す図である。図４は、条件指定画面４Ａの例を示す図である。図５は、手書きジェスチャの第一の例を示す図である。図６は、手書きジェスチャの第二の例を示す図である。図７は、条件指定画面４Ａの遷移後の状態の第一の例を示す図である。図８は、条件指定画面４Ａの遷移後の状態の第二の例を示す図である。図９は、遮蔽領域４Ｃおよびその判別方法の例を示す図である。図１０は、条件確認画面４Ｅの例を示す図である。
【００４０】
コピージョブプログラム１００によると、図３に示す条件指定画面表示部１０１、ジェスチャ判別部１０２、条件判別部１０３、条件記憶部１０４、遮蔽領域推定部１０５、重畳有無判別部１０６、フラグ記憶部１０７、確認画面表示部１０８、およびジョブ実行部１０９などが画像形成装置１に実現される。
【００４１】
条件指定画面表示部１０１は、所定のコマンドが入力されまたはコピージョブプログラム１００が起動されると、図４のような条件指定画面４Ａをタッチパネルディスプレイ１０ｇに表示させる。条件指定画面４Ａは、コピージョブの条件をユーザが指定するための画面である。
【００４２】
部数領域４Ａ１には、原稿の用紙から読み取った画像を何部複写するかが示される。つまり、いわゆる印刷部数が示される。
【００４３】
デフォルトでは、印刷部数として「１」が設定されている。したがって、部数領域４Ａ１には「１」が示される。
【００４４】
ユーザは、従来通り、操作キーパネル１０ｈのテンキーを操作することによって印刷部数を指定することができる。また、テンキーを操作する代わりに、後述するようにジェスチャすることよって指定することができる。
【００４５】
用紙領域４Ａ２は、画像を印刷（複写）する用紙の供給元の候補を示す。具体的には、選択ボタン４Ａ２１〜４Ａ２６が用紙領域４Ａ２に配置されている。選択ボタン４Ａ２１〜４Ａ２４は、それぞれ、プリントユニット１０ｍの上から１〜４段目の給紙トレイに対応する。選択ボタン４Ａ２５は、プリントユニット１０ｍの手差しトレイに対応する。選択ボタン４Ａ２６は、供給元とする給紙トレイを原稿の用紙のサイズなどに応じて画像形成装置１に自動的に選択させるためのボタンである。
【００４６】
さらに、用紙領域４Ａ２は、これらの候補のうちの供給元として現在設定（指定）されているものを、それに対応するボタンを他のボタンと異なる形態にすることによって示す。
【００４７】
デフォルトでは、給紙トレイを画像形成装置１に自動的に選択させるように設定されている。したがって、選択ボタン４Ａ２６が、選択された形態（例えば、背景を黄色にした状態）で表示され、選択ボタン４Ａ２１〜４Ａ２５が、選択されていない状態（例えば、背景を黄色にした状態）で表示される。
【００４８】
ユーザは、従来通り、供給元とする給紙トレイを、選択ボタン４Ａ２１〜４Ａ２６のうちの、それに対応する選択ボタンをタップすることによって、指定することができる。さらに、後述するように、文字を書くジェスチャによって指定することができる。
【００４９】
このように、部数領域４Ａ１および用紙領域４Ａ２は、ともに、コピージョブの条件をユーザが指定したり確認したりするための領域である。
【００５０】
そのほか、条件指定画面４Ａには、他の項目に関するこのような領域として、印刷の濃度を指定しまたは確認する領域（濃度領域４Ａ３）、下地の補正の条件を指定しまたは確認する領域（下地領域４Ａ４）、画像の倍率を指定しまたは確認する領域（倍率領域４Ａ５）、原稿の用紙の読取面および印刷先の用紙の印刷面それぞれを指定しまたは確認する領域（面領域４Ａ６）、集約印刷（Ｎ−ｕｐ印刷）の条件を指定しまたは確認する領域（集約印刷領域４Ａ７）などが設けられている。
【００５１】
ユーザは、条件指定画面４Ａがタッチパネルディスプレイ１０ｇに表示されているときに、条件指定画面４Ａに配置されているボタンをタップするなどして、コピージョブの条件を指定することができる。タッチパネルディスプレイ１０ｇに指６で所定の文字または数字を書くことによっても、指定することができる。以下、特に、ユーザが所定の文字または数字を書く場合の処理を中心に、説明する。
【００５２】
図３に戻って、ジェスチャ判別部１０２は、ユーザがタッチパネルディスプレイ１０ｇに対して行ったジェスチャの種類などを公知の方法によって判別する。
【００５３】
例えば、図５のようにユーザが「１」および「０」の各数字を順に連続的に書いた場合は、ジェスチャ判別部１０２は、ユーザが行ったジェスチャが「１０」という数の手書きジェスチャであると、判別する。または、図６のように「て」の文字を書いた場合は、ユーザが行ったジェスチャが「て」という文字の手書きジェスチャであると、判別する。図５または図６に示す軌跡４００、４０１、４０２は、ユーザがタッチパネルディスプレイ１０ｇを指６でなぞった軌跡である。
【００５４】
条件判別部１０３は、ジェスチャ判別部１０２によって判別された手書きジェスチャに対応する条件つまりユーザが指定した条件（以下、「指定条件」と記載する。）を、予め決められた規則に基づいて判別する。本実施形態では、数の手書きジェスチャが印刷部数を指定するジェスチャであると、予め決められている。また、「て」の手書きジェスチャが、用紙の供給元として手差しトレイを指定するジェスチャであると、予め決められている。
【００５５】
したがって、条件判別部１０３は、ジェスチャ判別部１０２によって判別された手書きジェスチャが「１０」の手書きジェスチャである場合は、指定条件が、印刷部数を１０部にするという条件であると、判別する。または、「て」の手書きジェスチャである場合は、指定条件が、用紙の供給元を手差しトレイにするという条件であると、判別する。
【００５６】
条件判別部１０３は、指定条件を判別するごとに、ユニークな識別コードを発行し、その識別コードおよび指定条件（項目名および条件の内容）を示す指定条件データ５Ａを生成し条件記憶部１０４に記憶させる。１つ目の例の場合は、指定条件データ５Ａとして、「００１，印刷部数，１０部」を示すデータを生成し記憶させる。２つ目の例の場合は、「００２，供給元，手差しトレイ」を示すデータを生成し記憶させる。
【００５７】
条件指定画面表示部１０１は、条件判別部１０３によって指定条件が判別されるごとに、判別された指定条件が反映されるように条件指定画面４Ａを更新する。
【００５８】
例えば、判別された指定条件が、印刷部数を１０部にするという条件である場合は、条件指定画面表示部１０１は、図７のように、部数領域４Ａ１に「１０」が示されるように条件指定画面４Ａを更新する。
【００５９】
さらにその後、指定条件が新たに判別され、その指定条件が、用紙の供給元を手差しトレイにするという条件である場合は、条件指定画面表示部１０１は、図８のように、選択ボタン４Ａ２１〜４Ａ２６のうちの選択ボタン４Ａ２５だけが選択された状態になるように条件指定画面４Ａを更新する。
【００６０】
以下、条件指定画面４Ａの中の、指定条件が反映された部分を「反映部分４Ｂ」と記載する。上述の１つ目の例の場合は、部数領域４Ａ１が反映部分４Ｂである。２つ目の例の場合は、選択ボタン４Ａ２５が反映部分４Ｂである。
【００６１】
遮蔽領域推定部１０５は、条件指定画面４Ａの中の、手書きジェスチャを終えた時点においてユーザが自分の手で隠れて見えない領域（以下、「遮蔽領域４Ｃ」と記載する。）を、例えば次のように推定する。
【００６２】
図９（Ａ）のような、手画像４Ｄの画像データ５Ｂを予め用意しておく。手画像４Ｄは、５本の指のうちのタッチパネルディスプレイ１０ｇにタッチする指（例えば、人差し指）を少なくとも伸ばした形状の画像である。手画像４Ｄのサイズは、標準的な体型の人間の手のサイズである。手画像４Ｄとして、標準的な体型の人間の手の画像に近似する多角形（三角形、四角形、長方形、または五角形など）を用いてもよい。
【００６３】
遮蔽領域推定部１０５は、図９（Ｂ）のように、手画像４Ｄを条件指定画面４Ａへ、条件指定画面４Ａの中の手書きジェスチャを終えた時点にタッチされている座標に人差し指の指先４Ｃ１が位置するように重ねる。そして、条件指定画面４Ａの中の、手画像４Ｄが重なった領域（太線で囲った領域）が遮蔽領域４Ｃであると、推定する。
【００６４】
重畳有無判別部１０６は、指定条件ごとに、その指定条件の反映部分４Ｂが遮蔽領域４Ｃに重なっているか否かを判別する。そして、指定条件ごとに、重なっているか否かの判別の結果を示すフラグ５Ｃを生成し、指定条件の識別コードと対応付けてフラグ記憶部１０７に記憶させる。フラグ５Ｃが「１」であれば重なっていることを示し、「０」であれば重なっていないことを示す。識別コードとして、条件判別部１０３が発行した識別コードが用いられる。
【００６５】
なお、重畳有無判別部１０６は、反映部分４Ｂの少なくとも一部分が遮蔽領域４Ｃに重なっていれば、両者が重なっていると判別する。または、反映部分４Ｂの全部分が遮蔽領域４Ｃに重なっている場合に、両者が重なっていると判別してもよい。
【００６６】
条件指定画面表示部１０１ないし重畳有無判別部１０６による上述の処理によると、ユーザが手書きジェスチャを行うごとに、指定条件データ５Ａが生成され条件記憶部１０４に記憶され、フラグ５Ｃが生成されフラグ記憶部１０７に記憶される。
【００６７】
ユーザは、コピージョブの条件を指定し終えたら、所定の操作を行うことによってコピージョブの実行の指令を画像形成装置１へ与える。例えば、操作キーパネル１０ｈの中のスタートキーを押す。
【００６８】
すると、確認画面表示部１０８は、条件指定画面４Ａに代えて図１０のような条件確認画面４Ｅを表示させる。条件確認画面４Ｅには、フラグ５Ｃの値が「１」である指定条件（項目名および内容）が示されている。つまり、反映部分４Ｂが遮蔽領域４Ｃに重なっている指定条件が示されている。
【００６９】
指定条件の項目名および内容は、条件記憶部１０４に記憶される指定条件データ５Ａに示されるものである。つまり、例えば、あるフラグ５Ｃの値が「１」であり、そのフラグ５Ｃに「００１」が対応付けられている場合は、確認画面表示部１０８は、「００１」を識別コードとして示す指定条件データ５Ａを条件記憶部１０４から読み出す。そして、その指定条件データ５Ａに示される項目名および内容が示されるように条件確認画面４Ｅを生成し表示させる。
【００７０】
ユーザは、条件確認画面４Ｅを見ることによって指定条件を確認する。そして、指定条件の通りにコピージョブを実行してもよい場合は、実行ボタン４Ｅ１をタップする。条件を指定し直したい場合は、キャンセルボタン４Ｅ２をタップする。
【００７１】
ジョブ実行部１０９は、実行ボタン４Ｅ１がタップされると、条件記憶部１０４から指定条件データ５Ａを読み出し、指定条件データ５Ａに示される指定条件に従ってコピージョブが実行されるようにスキャンユニット１０ｋおよびプリントユニット１０ｍなどを制御する。なお、ユーザが条件を指定していない項目については、デフォルトの条件に従う。
【００７２】
コピージョブが開始されたら、指定条件データ５Ａが条件記憶部１０４から削除され、フラグ５Ｃがフラグ記憶部１０７から削除される。また、条件確認画面４Ｅに代えて条件指定画面４Ａがデフォルトの状態で条件指定画面表示部１０１によって表示される。
【００７３】
キャンセルボタン４Ｅ２がタップされた場合は、条件確認画面４Ｅに代えて条件指定画面４Ａが、直前の状態で（つまり、指定条件が反映された状態で）条件指定画面表示部１０１によって表示される。
【００７４】
図１１は、コピージョブを実行する際の全体的な処理の流れの例を説明するフローチャートである。
【００７５】
次に、ユーザが手書きジェスチャで条件を指定する場合における画像形成装置１の全体的な処理の流れを、フローチャートを参照しながら説明する。
【００７６】
画像形成装置１は、コピージョブプログラム１００に基づいて、図１１に示す手順で処理を実行する。
【００７７】
画像形成装置１は、コピージョブプログラム１００の起動後または所定のコマンドの入力後、条件指定画面４Ａを表示する（図１１の＃１１）。
【００７８】
スタートキーが押されるまでの間（＃１２でＮｏ）、画像形成装置１は、ユーザがタッチパネルディスプレイ１０ｇに対してジェスチャを行うごとに、ステップ＃１４〜＃２３の処理を適宜、次のように実行する。
【００７９】
画像形成装置１は、ユーザがジェスチャを行ったら（＃１３でＹｅｓ）、そのジェスチャの種類などを判別する（＃１４）。特に、そのジェスチャが手書きジェスチャである場合は、そのジェスチャが表わす数字または文字などをも判別する。
【００８０】
ステップ＃１４での判別の結果および所定の規則に基づいて、画像形成装置１は、そのジェスチャによって指定される条件を判別する（＃１５）。そして、識別コードを発行し、判別した条件（指定条件）とともに指定条件データ５Ａとして記憶する（＃１６）。
【００８１】
ステップ＃１６の処理と前後してまたは並行して、画像形成装置１は、判別した指定条件が反映されるように、条件指定画面４Ａを更新する（＃１７）。
【００８２】
さらに、画像形成装置１は、条件指定画面４Ａの中の、ユーザの手によってユーザの視界から遮られる領域（遮蔽領域４Ｃ）および指定条件が反映された部分（反映部分４Ｂ）を特定する（＃１８、＃１９）。そして、遮蔽領域４Ｃが反映部分４Ｂに重なるか否かを判別する（＃２０）。
【００８３】
遮蔽領域４Ｃが反映部分４Ｂに重なる場合は（＃２１でＹｅｓ）、画像形成装置１は、「１」を示すフラグ５Ｃを生成し、ステップ＃１６で発行した識別コードと対応付けて記憶する（＃２２）。重ならない場合は（＃２２でＮｏ）、「０」を示すフラグ５Ｃを生成し、ステップ＃１６で発行した識別コードと対応付けて記憶する（＃２３）。
【００８４】
ユーザがスタートキーを押したら（＃１２でＹｅｓ）、画像形成装置１は、「１」を示すフラグ５Ｃを１つでも記憶していれば（＃２４でＹｅｓ）、条件指定画面４Ａに代えて条件確認画面４Ｅを表示する（＃２５）。条件確認画面４Ｅには、値が「１」であるフラグ５Ｃそれぞれに対応する指定条件データ５Ａの指定条件が示される。
【００８５】
ユーザが実行ボタン４Ｅ１をタップした場合は（＃２６でＹｅｓ）、画像形成装置１は、ステップ＃１６で記憶した指定条件データ５Ａに示される指定条件などに従ってコピージョブを実行する（＃２７）。
【００８６】
そして、画像形成装置１は、指定条件データ５Ａおよびフラグ５Ｃをすべて削除し（＃２８）、条件確認画面４Ｅに代えてデフォルトの状態で条件指定画面４Ａを再び表示する（＃２９）。
【００８７】
「１」を示すフラグ５Ｃを１つも記憶していない場合は（＃２４でＮｏ）、画像形成装置１は、条件確認画面４Ｅを表示することなく、ステップ＃１６で記憶した指定条件データ５Ａに示される指定条件などに従ってコピージョブを実行する（＃２７）。
【００８８】
そして、画像形成装置１は、指定条件データ５Ａおよびフラグ５Ｃをすべて削除し（＃２８）、デフォルトの状態で条件指定画面４Ａを再び表示する（＃２９）。
【００８９】
または、ユーザがキャンセルボタン４Ｅ２をタップした場合は（＃２６でＮｏ）、条件確認画面４Ｅを表示する直前の状態で、条件確認画面４Ｅに代えて条件指定画面４Ａを表示する（＃２９）。
【００９０】
〔第二の実施形態〕
図１２は、画像形成装置１の全体的な構成の第二の例を示す図である。図１３は、注目位置４Ｆと反映部分４Ｂとの位置関係の例を示す図である。
【００９１】
第一の実施形態では、画像形成装置１は、反映部分４Ｂをユーザが確認したか否かを、反映部分４Ｂと遮蔽領域４Ｃとの位置関係に基づいて推定した。第二の実施形態では、視線センサ１０ｐを用いて推定する。
【００９２】
第二の実施形態において、画像形成装置１のハードウェアの構成は第一の実施形態の場合と同様であり、図２に示した通りである。ただし、ＮＶ−ＲＡＭ１０ｄ、ＲＯＭ１０ｅ、またはＮＶ−ＲＡＭ１０ｄには、コピージョブプログラム１００の代わりにコピージョブプログラム１００’記憶されている。
【００９３】
コピージョブプログラム１００’によると、図１２に示す条件指定画面表示部１２１、ジェスチャ判別部１２２、条件判別部１２３、条件記憶部１２４、確認有無推定部１２５、フラグ記憶部１２６、確認画面表示部１２７、およびジョブ実行部１２８などが画像形成装置１に実現される。
【００９４】
以下、条件指定画面表示部１２１ないしジョブ実行部１２８の各部の処理を説明する。第一の実施形態と重複する点は、説明を省略する。
【００９５】
条件指定画面表示部１２１、ジェスチャ判別部１２２、条件判別部１２３、および条件記憶部１２４は、それぞれ、第一の実施形態の条件指定画面表示部１０１、ジェスチャ判別部１０２、条件判別部１０３、および条件記憶部１０４（図３参照）と同様の処理を行う。
【００９６】
確認有無推定部１２５は、ジェスチャを終えた時点にユーザが指定条件を確認したか否かを次のように推定する。
【００９７】
確認有無推定部１２５は、視線センサ１０ｐから、ジェスチャを終えた時点に視線センサ１０ｐが検知した視線を示す視線データ５Ｄを取得する。視線データ５Ｄに基づいて、条件指定画面４Ａのどの位置をユーザが見ているのかを公知の方法によって特定する。
【００９８】
以下、ユーザが見ている位置を「注目位置４Ｆ」と記載し、その座標を（Ａｘ，Ａｙ）と記載する。また、反映部分４Ｂの形状が矩形であり、反映部分４Ｂの左上の座標および右下の座標をそれぞれ（Ｂｘ１，Ｂｙ１）および（Ｂｘ２，Ｂｙ２）と記載する。
【００９９】
確認有無推定部１２５は、図１３（Ａ）のように注目位置４Ｆが反映部分４Ｂの中にある場合、つまり、次の（１）式および（２）式の両方を満たす場合は、ユーザが指定条件を確認したと、推定する。
Ｂｘ１≦Ａｘ≦Ｂｘ２  ……  （１）
Ｂｙ１≦Ａｙ≦Ｂｙ２  ……  （２）
一方、図１３（Ｂ）のように注目位置４Ｆが反映部分４Ｂの中にない場合、つまり、（１）式および（２）式のうちの少なくとも一方を満たさない場合は、確認有無推定部１２５は、ユーザが指定条件を確認していないと、推定する。
【０１００】
そして、確認有無推定部１２５は、確認したか否かの推定の結果を示すフラグ５Ｃ’を生成し、指定条件の識別コードと対応付けてフラグ記憶部１２６に記憶させる。フラグ５Ｃ’が「０」であれば確認したことを示す、「１」であれば確認していないことを示す。識別コードとして、条件判別部１２３が発行した識別コードが用いられる。
【０１０１】
条件指定画面表示部１２１ないし確認有無推定部１２５による上述の処理によると、ユーザが手書きジェスチャを行うごとに、指定条件データ５Ａが生成され条件記憶部１２４に記憶され、フラグ５Ｃ’が生成されフラグ記憶部１２６に記憶される。
【０１０２】
ユーザは、コピージョブの条件を指定し終えたら、第一の実施形態の場合と同様に、所定の操作を行うことによってコピージョブの実行の指令を画像形成装置１へ与える。
【０１０３】
すると、確認画面表示部１２７は、確認画面表示部１０８と同様に、条件指定画面４Ａ（図４参照）に代えて条件確認画面４Ｅ（図１０参照）を表示させる。ただし、フラグ５Ｃの代わりにフラグ５Ｃ’が用いられる。したがって、条件確認画面４Ｅには、未確認であると推定される指定条件が示される。条件確認画面４Ｅが表示された後の処理は、第一の実施形態と同様である。
【０１０４】
図１４は、コピージョブを実行する際の全体的な処理の流れの第二の例を説明するフローチャートである。
【０１０５】
次に、第二の実施形態における画像形成装置１の全体的な処理の流れを、フローチャートを参照しながら説明する。
【０１０６】
画像形成装置１は、コピージョブプログラム１００’に基づいて、図１４に示す手順で処理を実行する。
【０１０７】
画像形成装置１は、コピージョブプログラム１００’の起動後または所定のコマンドの入力後、第一の実施形態の場合と同様に、条件指定画面４Ａを表示する（図１４の＃３１）。
【０１０８】
その後の処理も、第一の実施形態のステップ＃１２〜＃２９と基本的に同様である（＃３２〜＃４９）。
【０１０９】
ただし、画像形成装置１は、ステップ＃３８において、遮蔽領域４Ｃを判別するのではなく、注目位置４Ｆを推定する。また、ステップ＃４０において、注目位置４Ｆが反映部分４Ｂの中にあるか否か（重なるか否か）を特定する。そして、注目位置４Ｆが反映部分４Ｂの中にある場合は（＃４１でＹｅｓ）、「０」を示すフラグ５Ｃ’を生成し（＃４２）、ない場合は（＃４１でＮｏ）、「１」を示すフラグ５Ｃ’を生成する（＃４３）。また、ステップ＃４５において、フラグ５Ｃの代わりにフラグ５Ｃ’を使用する。
【０１１０】
第一の実施形態および第二の実施形態によると、ユーザがタッチパネルディスプレイ１０ｇに対して指定した、コピージョブの条件を、従来よりも効率的にユーザに確認させることができる。
【０１１１】
〔変形例〕
第一の実施形態では、画像形成装置１は、指定条件のフラグ５Ｃを、反映部分４Ｂが遮蔽領域４Ｃに重なっているときに「１」に設定したが、その後、そのフラグ５Ｃの値を更新しなかった。しかし、例えば次のように「１」から「０」に更新してもよい。
【０１１２】
フラグ更新部を画像形成装置１に設ける。フラグ更新部は、コピージョブプログラム１００によって実現される。
【０１１３】
ユーザがジェスチャを行っている間、近接センサ１０ｑによって物体（具体的には、指６）が検知され続けている。そのジェスチャに対応する指定条件が判別され、その指定条件のフラグ５Ｃが生成されて条件記憶部１０４に記憶された後、ユーザが次のジェスチャを行う前にタッチパネルディスプレイ１０ｇから自分の手を遠ざけることがある。手が遠ざかると、近接センサ１０ｑによって物体が検知されなくなる。また、このときに、遮蔽物がなくなるので、反映部分４Ｂがユーザの視界に入り、ユーザが指定条件を確認することができる。
【０１１４】
そこで、あるジェスチャに対応する指定条件が判別され、その指定条件のフラグ５Ｃが生成されて条件記憶部１０４に記憶された後、近接センサ１０ｑによって物体が検知されなくなったら、フラグ更新部は、そのフラグ５Ｃの値を「０」に更新する。物体が引き続き検知されている場合は、更新しない。
【０１１５】
または、近接センサ１０ｑによって物体が検知されなくなってから所定の時間（例えば、２〜５秒）が経過したら、フラグ更新部は、そのフラグ５Ｃの値を「０」に更新してもよい。
【０１１６】
または、近接センサ１０ｑによる検知の有無に関わらず、そのジェスチャが判別されてから次のジェスチャが開始されるまでの時間が所定の時間（例えば、２〜５秒）以上であれば、フラグ更新部は、そのフラグ５Ｃの値を「０」に更新してもよい。所定の時間未満であれば、更新しない。
【０１１７】
第二の実施形態において、確認有無推定部１２５は、ジェスチャを終えた時点にユーザが指定条件を確認したか否かを判別したが、ジェスチャを終えた時点（または、ジェスチャを終えた後、手画像４Ｄに反映部分４Ｂが重ならなくなった時点）から所定の時間が経過するまでの時間帯にユーザが指定条件を確認したか否かを判別してもよい。この場合は、確認有無推定部１２５は、この時間帯に視線センサ１０ｐから視線データ５Ｄを取得し続け、上述の（１）式および（２）式を満たすか否かをチェックし続ける。そして、１回でも２つの式を満たしたら、ユーザが指定条件を確認したと推定し、１回も満たさなかったら、ユーザが指定条件を確認しなかったと推定すればよい。
【０１１８】
または、指定条件の方向へ偶然に視線が向いた場合にフラグ５Ｃ’を「０」に設定することを防ぐために、確認有無推定部１２５は、この時間帯において所定の時間（例えば、１〜２秒）、連続的に２つの式を満たした場合は、ユーザが指定条件を確認したと推定し、そうでない場合は、ユーザが指定条件を確認しなかったと推定してもよい。
【０１１９】
第二の実施形態では、確認有無推定部１２５は、反映部分４Ｂをユーザが確認したか否かを、視線センサ１０ｐによって得られた視線データ５Ｄに基づいて推定したが、さらに、反映部分４Ｂと遮蔽領域４Ｃとの位置関係に鑑みて次のように推定してもよい。
【０１２０】
確認有無推定部１２５は、上述の方法で、視線データ５Ｄに基づいて注目位置４Ｆを特定し、注目位置４Ｆが反映部分４Ｂの中にあるか否かを判別する。さらに、第一の実施形態で説明した方法で、反映部分４Ｂが遮蔽領域４Ｃに重なっているか否かを判別する。
【０１２１】
そして、確認有無推定部１２５は、注目位置４Ｆが反映部分４Ｂの中にあるが、反映部分４Ｂが遮蔽領域４Ｃに重なっていない場合は、反映部分４Ｂをユーザが確認したと判別する。一方、注目位置４Ｆが反映部分４Ｂの中にない場合および反映部分４Ｂが遮蔽領域４Ｃに重なっている場合は、確認していないと判別する。
【０１２２】
第一の実施形態および第二の実施形態では、コピージョブの条件をユーザが指定する場合を例に説明したが、他の種類のジョブ、例えば、ファックスによって画像を送信するジョブ、ボックスに保存されている画像を送信するジョブ、ボックスに保存されている画像を印刷するジョブの条件をユーザが指定する場合にも、本発明を適用することができる。
【０１２３】
第一の実施形態および第二の実施形態では、手書きジェスチャによる条件の指定を受け付ける場合を例に説明したが、タップ、ダブルタップ、またはフリックなどによる条件の指定を受け付ける場合にも、本発明を適用することができる。
【０１２４】
例えば、あるボタンをタップすることによって印刷部数が１部ずつ増えるが、印刷部数を示す領域がそのボタンの下方にあり、ユーザの手に隠れて見えない場合がある。このような場合は、画像形成装置１は、条件確認画面４Ｅに印刷部数を示すようにすればよい。
【０１２５】
第一の実施形態では、手画像４Ｄとして、標準的な体型の人間の手の画像またはそれに近似する多角形の画像を用いたが、幾つかのサイズの画像を用意しておき、ユーザの手のサイズに応じて使い分けてもよい。さらに、右手および左手それぞれの画像を用意しておき、ユーザの利き手に応じて使い分けてもよい。
【０１２６】
または、ユーザがタッチペンなどの物体を手に持ってジェスチャする場合は、手画像４Ｄとして、その物体およびそれを持った状態の手の画像を用いればよい。
【０１２７】
第一の実施形態および第二の実施形態では、フラグ５Ｃまたは５Ｃ’の値が「１」である指定条件のみを条件確認画面４Ｅに示したが、「０」である指定条件をも示すようにしてもよい。ただし、この場合は、「１」である指定条件を、「０」である指定条件よりも優越されるようにする。例えば、「１」である指定条件のフォントのサイズを、「０」である指定条件のフォントのサイズよりも大きくする。または、「１」である指定条件を上方に配置し、「０」である指定条件を下方に配置する。
【０１２８】
第一の実施形態および第二の実施形態において、同時に適用することができない複数の指定条件がある場合は、これらの条件（禁則に該当する条件）を無条件に条件確認画面４Ｅに示すようにしてもよい。または、条件確認画面４Ｅとは別の画面によってユーザに提示してもよい。
【０１２９】
その他、画像形成装置１の全体または各部の構成、処理の内容、処理の順序、画面の構成などは、本発明の趣旨に沿って適宜変更することができる。
【符号の説明】
【０１３０】
１  画像形成装置（画像処理装置）
１０３  条件判別部（判別手段）
１０５  遮蔽領域推定部（推定手段）
１０８  確認画面表示部（条件表示手段）
１０ｇ  タッチパネルディスプレイ
１２３  条件判別部（判別手段）
１２５  確認有無推定部（特定手段、推定手段）
１２７  確認画面表示部（条件表示手段）
４Ｅ  条件確認画面
【図１】
2018124847.tif 000003
【図２】
2018124847.tif 000004
【図３】
2018124847.tif 000005
【図４】
2018124847.tif 000006
【図５】
2018124847.tif 000007
【図６】
2018124847.tif 000008
【図７】
2018124847.tif 000009
【図８】
2018124847.tif 000010
【図９】
2018124847.tif 000011
【図１０】
2018124847.tif 000012
【図１１】
2018124847.tif 000013
【図１２】
2018124847.tif 000014
【図１３】
2018124847.tif 000015
【図１４】
2018124847.tif 000016