(57)【要約】【課題】並べて表示した複数の画面の操作性を従来よりも向上させる。【解決手段】サーバ画面７Ｂと、指示体をサーバ画面７Ｂの方向へスライドさせるスライド操作に対応する横スライド領域７Ｅおよびスライド操作に対応しない非横スライド領域７Ｆが設けられるＭＦＰ画面７Ａとを、互いに隣接させてタッチパネルディスプレイに表示させ、スライド操作が横スライド領域７Ｅからサーバ画面７Ｂまで行われた場合に、サーバ画面７Ｂではなく横スライド領域７Ｅに対してスライド操作が行われたと判別し、判別結果に基づいて処理を行う。【選択図】図１８
2019139679.tif 000002
【特許請求の範囲】
【請求項１】
第一の画面と、指示体を当該第一の画面の方向へスライドさせるスライド操作に対応する第一の領域および当該スライド操作に対応しない第二の領域が設けられる第二の画面とを、互いに隣接させてタッチパネルディスプレイに表示させる表示手段と、
前記スライド操作が前記第一の領域から前記第一の画面まで行われた場合に、当該第一の画面ではなく当該第一の領域に対して当該スライド操作が行われたと判別する、判別手段と、
前記判別手段による判別結果に基づいて処理を行う処理手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記判別手段は、前記スライド操作が前記第二の領域から前記第一の画面まで行われた場合に、当該第二の領域および当該第一の画面に対して当該スライド操作が行われたと判別する、
請求項１に記載の画像処理装置。
【請求項３】
前記判別手段は、前記スライド操作が前記第二の領域から前記第一の画面まで行われた場合であっても、前記第二の画面に対して他の操作が行われている際に当該スライド操作が行われたのであれば、当該第二の領域に対してのみ当該スライド操作が行われたと判別する、
請求項２に記載の画像処理装置。
【請求項４】
前記判別手段は、前記スライド操作が前記第一の領域から前記第一の画面まで行われた後、所定の時間内に次の前記スライド操作が当該第一の領域から当該第一の画面まで行われた場合は、当該次のスライド操作が当該第一の領域ではなく当該第一の画面に対して行われたと判別する、
請求項１または請求項２に記載の画像処理装置。
【請求項５】
前記判別手段は、前記スライド操作が前記第一の領域から前記第一の画面まで行われた後、他の操作が行われることなく所定の時間内に次の前記スライド操作が当該第一の領域から当該第一の画面まで行われた場合は、当該次のスライド操作が当該第一の領域ではなく当該第一の画面に対して行われたと判別する、
請求項１または請求項２に記載の画像処理装置。
【請求項６】
前記判別手段は、前記第一の画面に前記指示体がタッチされている時間が所定の時間を越える場合は、当該第一の画面に対して前記スライド操作が行われたと判別する、
請求項１ないし請求項５のいずれかに記載の画像処理装置。
【請求項７】
前記表示手段は、前記スライド操作が行われた後、所定の時間、前記第二の画面を通常よりも低い明度で表示させる、
請求項１ないし請求項６のいずれかに記載の画像処理装置。
【請求項８】
前記第一の領域にはスクロール用のスクロールバーが配置されており、
前記表示手段は、前記スライド操作が前記スクロールバーの両端のうちの前記第一の画面に近い方の端から行われた場合に、当該スライド操作が前記第一の画面と前記第二の画面とを跨がって行われたことをユーザに知らせるための出力を行う、
請求項１ないし請求項７のいずれかに記載の画像処理装置。
【請求項９】
前記判別手段は、前記スライド操作が前記第二の領域から前記第一の領域まで行われた場合に、当該スライド操作が当該第二の領域ではなく当該第一の領域に対して行われたと判別する、
請求項１ないし請求項８のいずれかに記載の画像処理装置。
【請求項１０】
前記判別手段は、前記スライド操作が前記第二の領域から前記第一の領域を経由して前記第一の画面まで行われた場合に、当該スライド操作が当該第二の領域でも当該第一の領域でもなく当該第一の画面に対して行われたと判別する、
請求項１ないし請求項９のいずれかに記載の画像処理装置。
【請求項１１】
前記判別手段は、前記スライド操作が前記第一の領域から前記第一の画面まで行われた場合であっても、当該スライド操作を開始した位置が前記第一の画面と前記第二の画面との境界から所定の距離以内であれば、当該スライド操作が当該第二の画面ではなく当該第一の画面に対して行われたと判別する、
請求項１ないし請求項１０のいずれかに記載の画像処理装置。
【請求項１２】
前記判別手段は、前記スライド操作が所定の時間以上経過しても終了しない場合は、当該スライド操作がキャンセルされたと判別する、
請求項１ないし請求項１１のいずれかに記載の画像処理装置。
【請求項１３】
前記判別手段は、前記スライド操作が前記第一の領域で行われている際に他の操作が前記第一の画面で行われた場合は、当該スライド操作がキャンセルされたと判別する、
請求項１ないし請求項１２のいずれかに記載の画像処理装置。
【請求項１４】
前記第一の領域は、前記スライド操作が所定の時間以内の間隔で連続して行われた場合に狭められる、
請求項１ないし請求項１３のいずれかに記載の画像処理装置。
【請求項１５】
複数の画面を並べてタッチパネルディスプレイに表示させる表示手段と、
指示体をスライドさせるスライド操作が前記複数の画面を跨いで行われた場合に、当該スライド操作が当該複数の画面のうちのいずれか１つに対して行われたと判別する、判別手段と、
前記判別手段による判別結果に基づいて処理を行う処理手段と、
を有することを特徴とする画像処理装置。
【請求項１６】
前記判別手段は、前記複数の画面のうちの前記指示体が最後にタッチされていた画面に対して前記スライド操作が行われたと判別する、
請求項１５に記載の画像処理装置。
【請求項１７】
前記判別手段は、前記複数の画面のうちの前記指示体が最も長い距離を移動した画面に対して前記スライド操作が行われたと判別する、
請求項１５に記載の画像処理装置。
【請求項１８】
第一の画面と、指示体を当該第一の画面の方向へスライドさせるスライド操作に対応する第一の領域および当該スライド操作に対応しない第二の領域が設けられる第二の画面とを、互いに隣接させてタッチパネルディスプレイに表示させる表示処理を実行し、
前記スライド操作が前記第一の領域から前記第一の画面まで行われた場合に、当該第一の画面ではなく当該第一の領域に対して当該スライド操作が行われたと判別する判別処理を実行し、
前記判別処理による判別結果に基づいて処理を行う、
ことを特徴とする画面取扱い方法。
【請求項１９】
タッチパネルディスプレイを制御するコンピュータに用いられるコンピュータプログラムであって、
前記コンピュータに、
第一の画面と、指示体を当該第一の画面の方向へスライドさせるスライド操作に対応する第一の領域および当該スライド操作に対応しない第二の領域が設けられる第二の画面とを、互いに隣接させてタッチパネルディスプレイに表示させる表示処理を実行させ、
前記スライド操作が前記第一の領域から前記第一の画面まで行われた場合に、当該第一の画面ではなく当該第一の領域に対して当該スライド操作が行われたと判別する、判別処理を実行させ、
前記判別処理の結果に対応する処理を実行させる、
ことを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、並んで同時に表示される複数の画面を有するユーザインタフェースの技術に関する。
【背景技術】
【０００２】
コピー、スキャン、ファックス、およびボックスなどの様々な機能を備えた画像形成装置が普及している。このような画像形成装置は「ＭＦＰ（Multi Function Peripherals）」と呼ばれることがある。
【０００３】
また、近年、画像形成装置を物理的なサーバ（いわゆるサーバ機またはサーバユニット）と一体的に構成する技術が提案されている。これにより、画像形成装置の機能の拡張性を従来よりも容易に向上させることができる。以下、画像形成装置とサーバとを一体化した装置を「複合機」と記載する。
【０００４】
画像形成装置およびサーバには、それぞれ異なるオペレーティングシステムがインストールされている。
【０００５】
複合機のタッチパネルディスプレイは、画像形成装置およびサーバそれぞれの画面を並べて同時に表示し、ユーザによる画像形成装置およびサーバそれぞれに対する操作を受け付ける。
【０００６】
そのほか、ディスプレイを複数に分割して使用する技術として、次のような技術が提案されている。
【０００７】
表示画面を有する表示システムの制御部を、画像を表示させる第１画像表示制御部、表示画面上でスライド操作が行われたときに第１画像表示制御部による画像を消去する画像消去制御部、画像が消去されたときに、スライド操作の始点と終点とから、表示画面を２分割する仮想的な直線を設定し、その仮想的な直線によって２分割される表示画面のそれぞれに画像を表示させる第２画像表示制御部として機能させる（特許文献１）。
【０００８】
タッチスクリーンを使用することによって入力されたタッチスクリーンにそった水平スライド信号またはタッチスクリーンにそった垂直スライド信号が得られ、タッチスクリーンの現在の表示領域を、水平スライド信号に従って上下に配置構成された少なくとも２つの表示ウィンドウに分ける。または、タッチスクリーンの現在の表示領域を、垂直スライド信号に従って横に並べて配置構成された少なくとも２つの表示ウィンドウに分ける。そして、複数のアプリケーションプログラムを画面上で上下に、または横に並べて同時に表示する（特許文献２）。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１３−２２５２３２号公報
【特許文献２】特表２０１５−５２０４６５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
タッチパネルディスプレイの操作に、フリック、ドラッグ、およびスワイプインなど、タッチパネルディスプレイにタッチさせたまま指をスライドさせる操作がある。複数の画面が並んでいると、指をスライドさせている最中に、操作の対象の画面だけでなく、本来タッチすべきでない画面に指が跨がってしまうことがある。すると、ユーザの意図せぬ処理が行われてしまうことがある。
【００１１】
本発明は、このような問題点に鑑み、並べて表示した複数の画面の操作性を従来よりも向上させることを目的とする。
【課題を解決するための手段】
【００１２】
本発明の一形態に係る画像処理装置は、第一の画面と、指示体を当該第一の画面の方向へスライドさせるスライド操作に対応する第一の領域および当該スライド操作に対応しない第二の領域が設けられる第二の画面とを、互いに隣接させてタッチパネルディスプレイに表示させる表示手段と、前記スライド操作が前記第一の領域から前記第一の画面まで行われた場合に、当該第一の画面ではなく当該第一の領域に対して当該スライド操作が行われたと判別する、判別手段と、前記判別手段による判別結果に基づいて処理を行う処理手段と、を有する。
【００１３】
本発明の他の一形態に係る画像処理装置は、複数の画面を並べてタッチパネルディスプレイに表示させる表示手段と、指示体をスライドさせるスライド操作が前記複数の画面を跨いで行われた場合に、当該スライド操作が当該複数の画面のうちのいずれか１つに対して行われたと判別する、判別手段と、前記判別手段による判別結果に基づいて処理を行う処理手段と、を有する。
【発明の効果】
【００１４】
本発明によると、並べて表示した複数の画面の操作性を従来よりも向上させることができる。
【図面の簡単な説明】
【００１５】
【図１】複合機を含むネットワークシステムの例を示す図である。
【図２】複合機のハードウェア構成の例を示す図である。
【図３】ＭＦＰユニットのハードウェア構成の例を示す図である。
【図４】サーバユニットのハードウェア構成の例を示す図である。
【図５】パネルコントローラのハードウェア構成の例を示す図である。
【図６】ＭＦＰユニット、サーバユニット、およびパネルコントローラそれぞれの機能的構成の例を示す図である。
【図７】コピージョブ画面の例を示す図である。
【図８】コピージョブ画面とバッジ列との関係の例を示す図である。
【図９】コピージョブ画面における横スライド領域の位置の例を示す図である。
【図１０】デスクトップ画面の例を示す図である。
【図１１】表示面およびタッチ面における左領域、右領域、および境界それぞれの位置の例を示す図である。
【図１２】合成画面の例を示す図である。
【図１３】指をスライドさせる操作の例を示す図である。
【図１４】ＭＦＰユニットまたはサーバユニットの全体的な処理の流れの例を説明するフローチャートである。
【図１５】パネルコントローラの全体的な処理の流れの例を説明するフローチャートである。
【図１６】警告用のアイコンを表示させる例を示す図である。
【図１７】指を斜め方向へスライドさせる例を示す図である。
【図１８】非横スライド領域から横スライド領域を経由してサーバ画面へ指をスライドさせる例を示す図である。
【図１９】横スライド領域から非横スライド領域を経由してサーバ画面へ指をスライドさせる例を示す図である。
【図２０】ＭＦＰ画面を暗くする例を示す図である。
【図２１】４つの画面が並んで表示される形態の例を示す図である。
【図２２】横スライド領域を徐々に狭める例を示す図である。
【発明を実施するための形態】
【００１６】
図１は、複合機１を含むネットワークシステムの例を示す図である。図２は、複合機１のハードウェア構成の例を示す図である。図３は、ＭＦＰユニット２のハードウェア構成の例を示す図である。図４は、サーバユニット３のハードウェア構成の例を示す図である。図５は、パネルコントローラ５のハードウェア構成の例を示す図である。図６は、ＭＦＰユニット２、サーバユニット３、およびパネルコントローラ５それぞれの機能的構成の例を示す図である。
【００１７】
図１に示す複合機１は、様々な機能を集約した装置である。複合機１は、端末装置６１などと通信回線６２を介して通信することができる。通信回線６２として、インターネット、ＬＡＮ（Local Area Network）回線、または専用線などが用いられる。
【００１８】
複合機１は、図２に示すように、ＭＦＰユニット２、サーバユニット３、タッチパネルディスプレイ４、およびパネルコントローラ５などによって構成される。
【００１９】
サーバユニット３は、ＭＦＰユニット２の筐体に収納されている。タッチパネルディスプレイ４は、表示面４ＡＳおよびタッチ面４ＢＳがほぼ水平になるように複合機１の筐体の正面に配置されている。
【００２０】
ＭＦＰユニット２は、一般に「ＭＦＰ（Multi Function Peripherals）」などと呼ばれる画像形成装置に相当する装置であって、コピー、ＰＣプリント、ファックス、スキャン、およびボックスなどの機能を有する。
【００２１】
ＰＣプリント機能は、複合機１の外部の装置またはサーバユニット３から受信した画像データに基づいて画像を用紙に印刷する機能である。
【００２２】
ボックス機能は、ユーザごとに「ボックス」または「パーソナルボックス」などと呼ばれる記憶領域を与えておき、各ユーザが自分の記憶領域によって画像データなどを保存し管理するための機能である。ボックスは、パーソナルコンピュータにおける「フォルダ」または「ディレクトリ」に相当する。
【００２３】
サーバユニット３は、サーバ機またはパーソナルコンピュータに相当する装置であって、ウェブサーバまたはＦＴＰ（File Transfer Protocol）サーバなどの機能を有する。サーバユニット３として、組込みコンピュータ（例えば、組込みＬｉｎｕｘ（登録商標）または組込みＷｉｎｄｏｗｓ（登録商標）など）が用いられる。組込みコンピュータは、「組込みコンピュータシステム」または「ビルトインサーバ」などと呼ばれることもある。
【００２４】
タッチパネルディスプレイ４は、ＭＦＰユニット２およびサーバユニット３によって共用される。そして、複合機１を直接操作するユーザのために、ＭＦＰユニット２の画面およびサーバユニット３の画面を左右に並べて表示面４ＡＳに表示する。また、タッチ面４ＢＳのタッチされた位置の座標を示すデータをパネルコントローラ５へ送信する。
【００２５】
パネルコントローラ５は、ＭＦＰユニット２およびサーバユニット３とタッチパネルディスプレイ４とを連携させるためのコンピュータである。ＭＦＰユニット２またはサーバユニット３から受信した、画面を表示するための画面データを映像信号に変換し、タッチパネルディスプレイ４へ送信する。または、ＭＦＰユニット２およびサーバユニット３それぞれの画面を並べることによって合成画面を生成し、それを表示するための映像信号をタッチパネルディスプレイ４へ送信する。また、タッチパネルディスプレイ４から受信した座標データをＭＦＰユニット２またはサーバユニット３へ送信する。または、ユーザが行ったジェスチャをＭＦＰユニット２またはサーバユニット３へ通知する。
【００２６】
ＭＦＰユニット２およびサーバユニット３それぞれの機能によって基本的なサービスがユーザへ提供される。さらに、これらの機能を組み合わせることによって、応用的なサービスがユーザへ提供される。
【００２７】
ＭＦＰユニット２は、図３に示すように、ＣＰＵ（Central Processing Unit）２０ａ、ＲＡＭ（Random Access Memory）２０ｂ、ＲＯＭ（Read Only Memory）２０ｃ、補助記憶装置２０ｄ、ＮＩＣ（Network Interface Card）２０ｅ、モデム２０ｆ、スキャンユニット２０ｇ、プリントユニット２０ｈ、およびフィニッシャ２０ｉなどによって構成される。
【００２８】
ＮＩＣ２０ｅは、サーバユニット３のハブ３０ｆ（図４参照）にツイストペアケーブルで繋がれており、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などのプロトコルでサーバユニット３またはパネルコントローラ５と通信する。さらに、ハブ３０ｆを介して複合機１の外部の装置、例えば端末装置６１またはインターネット上のサーバなどと通信する。
【００２９】
モデム２０ｆは、ファクシミリ端末との間でＧ３などのプロトコルで画像データをやり取りする。
【００３０】
スキャンユニット２０ｇは、プラテンガラスの上にセットされた用紙に記されている画像を読み取って画像データを生成する。
【００３１】
プリントユニット２０ｈは、スキャンユニット２０ｇによって読み取られた画像のほか、複合機１の外部の装置またはサーバユニット３から受信した画像データに示される画像を用紙に印刷する。
【００３２】
フィニッシャ２０ｉは、プリントユニット２０ｈによって得られた印刷物に対して、必要に応じて後処理を施す。後処理は、ステープルで綴じる処理、パンチ穴を開ける処理、または折り曲げる処理などである。
【００３３】
ＣＰＵ２０ａは、ＭＦＰユニット２のメインＣＰＵである。ＲＡＭ２０ｂは、ＭＦＰユニット２のメインメモリである。
【００３４】
ＲＯＭ２０ｃまたは補助記憶装置２０ｄには、オペレーティングシステムのほか、上述のコピーなどの機能を実現したりサービスを提供したりするためのアプリケーションが記憶されている。さらに、第一のクライアントプログラム２０Ｐ（図６参照）が記憶されている。第一のクライアントプログラム２０Ｐは、タッチパネルディスプレイ４をサーバユニット３と共用するサービスを受けるためのプログラムである。
【００３５】
これらのプログラムは、ＲＡＭ２０ｂにロードされ、ＣＰＵ２０ａによって実行される。補助記憶装置２０ｄとして、ハードディスクまたはＳＳＤ（Solid State Drive）などが用いられる。
【００３６】
サーバユニット３は、図４に示すように、ＣＰＵ３０ａ、ＲＡＭ３０ｂ、ＲＯＭ３０ｃ、補助記憶装置３０ｄ、ＮＩＣ３０ｅ、およびハブ３０ｆなどによって構成される。
【００３７】
ＮＩＣ３０ｅは、ハブ３０ｆにケーブルで繋がれており、ハブ３０ｆを介してＴＣＰ／ＩＰなどのプロトコルでＭＦＰユニット２およびパネルコントローラ５のほか、複合機１の外部の装置と通信する。
【００３８】
ハブ３０ｆには、上述の通り、ＮＩＣ３０ｅおよびＭＦＰユニット２のＮＩＣ２０ｅがケーブルで繋がれている。さらに、ルータおよびパネルコントローラ５のＮＩＣ５０ｅ（図５参照）にケーブルで繋がれている。そして、ハブ３０ｆは、これらの機器の間でやり取りされるデータを中継する。
【００３９】
ＣＰＵ３０ａは、サーバユニット３のメインＣＰＵである。ＲＡＭ３０ｂは、サーバユニット３のメインメモリである。
【００４０】
ＲＯＭ３０ｃまたは補助記憶装置３０ｄには、オペレーティングシステムのほか、上述の機能を実現しまたはサービスを提供するためのアプリケーションなどのプログラムが記憶されている。さらに、第二のクライアントプログラム３０Ｐ（図６参照）が記憶されている。第二のクライアントプログラム３０Ｐは、タッチパネルディスプレイ４をＭＦＰユニット２と共用するサービスを受けるためのプログラムである。
【００４１】
これらのプログラムは、ＲＡＭ３０ｂにロードされ、ＣＰＵ３０ａによって実行される。補助記憶装置３０ｄとして、ハードディスクドライブまたはＳＳＤなどが用いられる。
【００４２】
タッチパネルディスプレイ４は、図２に示すように、ディスプレイモジュール４Ａおよびタッチパネルモジュール４Ｂなどによって構成される。
【００４３】
ディスプレイモジュール４Ａは、パネルコントローラ５から送信されてきた映像信号に基づいて画面を表示する。ディスプレイモジュール４Ａとして、有機ＥＬ（Electro Luminescence）ディスプレイまたは液晶ディスプレイなどのフラットパネルディスプレイが用いられる。
【００４４】
タッチパネルモジュール４Ｂは、タッチ面４ＢＳがタッチされたことを検知するごとに、タッチされた位置の座標を示すデータをパネルコントローラ５へ送信する。
【００４５】
パネルコントローラ５は、図５に示すように、ＣＰＵ５０ａ、ＲＡＭ５０ｂ、ＲＯＭ５０ｃ、補助記憶装置５０ｄ、ＮＩＣ５０ｅ、ＶＲＡＭ（Video RAM）５０ｆ、ビデオボード５０ｇ、および入力インタフェース５０ｈなどによって構成される。
【００４６】
ＮＩＣ５０ｅは、サーバユニット３のハブ３０ｆ（図４参照）にツイストペアケーブルで繋がれており、ＴＣＰ／ＩＰなどのプロトコルでＭＦＰユニット２またはサーバユニット３と通信する。
【００４７】
ＶＲＡＭ５０ｆは、タッチパネルディスプレイ４に表示させる画面の画面データを記憶するためのグラフィックメモリである。
【００４８】
ビデオボード５０ｇは、画面データを映像信号に変換して、ディスプレイモジュール４Ａへ送信する。「グラフィックボード」、「ＬＣＤ（liquid crystal display）コントローラ」、または「ビデオカード」などと呼ばれることもある。ＶＲＡＭ５０ｆがビデオボード５０ｇに内蔵されている場合がある。
【００４９】
ビデオボード５０ｇのインタフェースとして、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）またはＤ−ＳＵＢ（D-Subminiature）などが用いられる。
【００５０】
入力インタフェース５０ｈは、タッチパネルモジュール４Ｂにケーブルによって繋がれており、タッチパネルモジュール４Ｂから信号が入力される。
【００５１】
入力インタフェース５０ｈのインタフェースとして、ＩＥＥＥ１３９４またはＵＳＢ（Universal Serial Bus）などが用いられる。
【００５２】
ＲＯＭ５０ｃまたは補助記憶装置５０ｄには、オペレーティングシステムなどが記憶されている。中継プログラム５０Ｐ（図６参照）が記憶されている。中継プログラム５０Ｐは、ＭＦＰユニット２の画面およびサーバユニット３の画面を合成して映像信号としてディスプレイモジュール４Ａへ送信する処理、ならびに、タッチパネルモジュール４Ｂに対して行われた操作の内容をＭＦＰユニット２およびサーバユニット３のいずれかへ通知する処理を行うための、プログラムである。
【００５３】
これらのプログラムは、必要に応じてＲＡＭ５０ｂにロードされ、ＣＰＵ５０ａによって実行される。補助記憶装置５０ｄとして、ハードディスクドライブまたはＳＳＤなどが用いられる。
【００５４】
第一のクライアントプログラム２０Ｐによると、図６に示す構成データ記憶部２０１、ＭＦＰ画面生成部２０２、画面データ送信部２０３、領域データ送信部２０４、および次処理決定部２０５などがＭＦＰユニット２に実現される。
【００５５】
第二のクライアントプログラム３０Ｐによると、構成データ記憶部３０１、サーバ画面生成部３０２、画面データ送信部３０３、領域データ送信部３０４、および次処理決定部３０５などがサーバユニット３に実現される。
【００５６】
中継プログラム５０Ｐによると、領域データ記憶部５０１、画面合成部５０２、映像出力処理部５０３、ジェスチャ判別部５０４、およびタッチ位置通知部５０５などがパネルコントローラ５に実現される。
【００５７】
以下、図６に示すＭＦＰユニット２の各部、サーバユニット３の各部、およびパネルコントローラ５の各部を、合成画面の表示のための処理およびタッチに応答するための処理に大別して説明する。
【００５８】
〔合成画面の表示〕
図７は、コピージョブ画面７Ａ１の例を示す図である。図８は、コピージョブ画面７Ａ１とバッジ列７０Ｌとの関係の例を示す図である。図９は、コピージョブ画面７Ａ１における横スライド領域７Ｅ１、７Ｅ２の位置の例を示す図である。図１０は、デスクトップ画面７Ｂ１の例を示す図である。図１１は、表示面４ＡＳおよびタッチ面４ＢＳにおける左領域４０Ｌ、右領域４０Ｒ、および境界４０Ｃそれぞれの位置の例を示す図である。図１２は、合成画面７Ｃの例を示す図である。
【００５９】
ＭＦＰユニット２において、構成データ記憶部２０１には、ユーザがＭＦＰユニット２を操作するための画面であるＭＦＰ画面７Ａごとに、ＭＦＰ画面７Ａを構成するオブジェクトごとの識別子およびデフォルト位置などを示す画面構成データ６Ａ１が予め記憶されている。なお、「デフォルト位置」は、ＭＦＰ画面７Ａがディスプレイモジュール４Ａに表示された当初の、ＭＦＰ画面７Ａの原点を基準とする位置である。以下、原点が、ＭＦＰ画面７Ａの左上の頂点である場合を例に説明する。
【００６０】
例えば、ＭＦＰ画面７Ａの１つであるコピージョブ画面７Ａ１には、図７に示すように、オブジェクトとして、クローズボタン７１、右スクロールボタン７２１、左スクロールボタン７２２、複数のオプション機能バッジ７３、複数のマーカ７４、およびスライドゲージ７５などが配置されている。
【００６１】
クローズボタン７１は、コピージョブ画面７Ａ１を閉じて１つ前の画面を再び表示させるためのボタンである。
【００６２】
オプション機能バッジ７３は、オプション機能を表わすアイコンであり、ＭＦＰユニット２に備わっているオプション機能ごとに１つずつ用意されている。オプション機能バッジ７３は、横一列に並んでおり、バッジ列７０Ｌを形成している。しかし、すべてのオプション機能バッジ７３を、同時に配置することができない。つまり、コピージョブ画面７Ａ１には、図８に示すように、一部のオプション機能バッジ７３のみが現われ、残りのオプション機能バッジ７３が現われない。
【００６３】
ユーザは、バッジ列７０Ｌをスクロールさせることによって、残りのオプション機能バッジ７３を順次表示させることができる。以下、各オプション機能バッジ７３を左から順に「オプション機能バッジ７３ａ」、「オプション機能バッジ７３ｂ」、…、「オプション機能バッジ７３ｚ」と区別して記載する。
【００６４】
右スクロールボタン７２１は、バッジ列７０Ｌを右から左へスクロールさせるためのボタンである。左スクロールボタン７２２は、バッジ列７０Ｌを左から右へスクロールさせるためのボタンである。
【００６５】
マーカ７４も、オプション機能バッジ７３と同様、横一列に並んでいる。マーカ７４の個数は、オプション機能バッジ７３の個数と同じである。そして、左のマーカ７４から順にオプション機能バッジ７３ａ、７３ｂ、…、７３ｚに対応している。ただし、すべてのマーカ７４が、同時にコピージョブ画面７Ａ１に現われている。以下、オプション機能バッジ７３ａ、オプション機能バッジ７３ｂ、…、オプション機能バッジ７３ｚに対応するマーカ７４をそれぞれ「マーカ７４ａ」、「マーカ７４ｂ」、…、「マーカ７４ｚ」と区別して記載する。
【００６６】
スライドゲージ７５は、スライドバー７５１およびウィンドウ７５２によって構成される。スライドゲージ７５は、スライドバー７５１の上で指をスライドさせる操作、例えばドラッグまたはフリックに応じて、左または右に移動する。
【００６７】
ウィンドウ７５２は、スライドバー７５１の真上に設けられている。さらに、コピージョブ画面７Ａ１に現在配置されているオプション機能バッジ７３に対応するマーカ７４を囲っている。
【００６８】
ウィンドウ７５２は、スライドバー７５１に固定されている。したがって、ウィンドウ７５２は、スライドバー７５１が移動すると、一緒に移動する。ユーザは、ウィンドウ７５２に囲われるマーカ７４を、スライドバー７５１を操作することによって変えることができる。ウィンドウ７５２に囲われているマーカ７４が変わると、それに伴い、バッジ列７０Ｌがスクロールし、コピージョブ画面７Ａ１に配置されるオプション機能バッジ７３が変わる。
【００６９】
ユーザは、バッジ列７０Ｌを、ドラッグしまたはフリックすることによってスクロールさせることもできるし、右スクロールボタン７２１または左スクロールボタン７２２をタップすることによってスクロールさせることもできる。バッジ列７０Ｌがスクロールした場合は、コピージョブ画面７Ａ１におけるオプション機能バッジ７３の新たな配置に応じて、スライドゲージ７５が移動する。
【００７０】
このように、コピージョブ画面７Ａ１には、指を横にスライドさせることによって指令などを入力することができる領域と、そうでない領域とが、ある。以下、前者を「横スライド領域７Ｅ」と記載し、後者を「非横スライド領域７Ｆ」と記載する。
【００７１】
したがって、図９に示すように、バッジ列７０Ｌが配置される領域およびスライドバー７５１が配置される領域が横スライド領域７Ｅである。以下、前者および後者を「横スライド領域７Ｅ１」と記載し、後者を「横スライド領域７Ｅ２」と記載する。横スライド領域７Ｅ１は位置が固定されており、横スライド領域７Ｅ２は位置が変わる。横スライド領域７Ｅ１および横スライド領域７Ｅ２以外の領域が非横スライド領域７Ｆである。
【００７２】
さらに、構成データ記憶部２０１には、オブジェクトごとの画像データ６Ａ２が識別子と対応付けられて予め記憶されている。
【００７３】
ＭＦＰ画面生成部２０２は、ＭＦＰ画面７Ａをディスプレイモジュール４Ａに表示させるための画面データ６Ａ３を、そのＭＦＰ画面７Ａの画面構成データ６Ａ１およびそのＭＦＰ画面７Ａを構成するオブジェクトそれぞれの画像データ６Ａ２に基づいて生成する。
【００７４】
画面データ６Ａ３のフォーマットは、例えばビットマップである。ＧＩＦ（Graphics Interchange Format）またはＪＰＥＧ（Joint Photographic Experts Group）などであってもよい。
【００７５】
なお、これらの画面構成データ６Ａ１および画像データ６Ａ２は、構成データ記憶部２０１から読み出される。
【００７６】
画面データ送信部２０３は、ＭＦＰ画面生成部２０２によって生成された画面データ６Ａ３をパネルコントローラ５へ送信する。
【００７７】
または、ＭＦＰ画面生成部２０２は、所定のフレームレートでＭＦＰ画面７Ａを描画することによって動画像のデータを画面データ６Ａ３として生成してもよい。そして、画面データ送信部２０３は、ライブストリーミングによって画面データ６Ａ３をパネルコントローラ５へ送信する。以下、所定のフレームレートでＭＦＰ画面７Ａを描画する場合を例に説明する。後述する画面データ６Ｂ３についても、同様である。
【００７８】
領域データ送信部２０４は、新たにＭＦＰ画面７Ａの画面データ６Ａ３が画面データ送信部２０３によって送信され始めると、そのＭＦＰ画面７Ａの中の横スライド領域７Ｅそれぞれの現在の位置を示す領域データ６Ａ４をパネルコントローラ５へ送信する。ただし、そのＭＦＰ画面７Ａに横スライド領域７Ｅがなければ、領域データ６Ａ４を送信しない。
【００７９】
サーバユニット３において、構成データ記憶部３０１には、ユーザがサーバユニット３を操作するための画面であるサーバ画面７Ｂごとに、サーバ画面７Ｂを構成するオブジェクトごとの識別子およびデフォルト位置などを示す画面構成データ６Ｂ１が予め記憶されている。なお、「デフォルト位置」は、サーバ画面７Ｂがディスプレイモジュール４Ａに表示された当初の、サーバ画面７Ｂの原点を基準とする位置である。以下、原点がサーバ画面７Ｂの左上の頂点である場合を例に説明する。
【００８０】
例えば、サーバ画面７Ｂの１つであるデスクトップ画面７Ｂ１には、図１０に示すように、オブジェクトとして、メニューバー７７および複数のアイコン７６などが配置されている。以下、説明の簡単のためデスクトップ画面７Ｂ１には、横スライド領域７Ｅが設けられていない場合を例に説明する。
【００８１】
さらに、構成データ記憶部３０１には、オブジェクトごとの画像データ６Ｂ２が識別子と対応付けられて予め記憶されている。
【００８２】
サーバ画面生成部３０２は、サーバ画面７Ｂをディスプレイモジュール４Ａに表示させるための画面データ６Ｂ３を、そのサーバ画面７Ｂの画面構成データ６Ｂ１およびそのサーバ画面７Ｂを構成するオブジェクトそれぞれの画像データ６Ｂ２に基づいて生成する。なお、これらの画面構成データ６Ｂ１および画像データ６Ｂ２は、構成データ記憶部３０１から読み出される。
【００８３】
画面データ送信部３０３は、サーバ画面生成部３０２によって生成された画面データ６Ｂ３をパネルコントローラ５へ送信する。
【００８４】
領域データ送信部３０４は、新たにサーバ画面７Ｂの画面データ６Ｂ３が画面データ送信部３０３によって送信され始めると、そのサーバ画面７Ｂの中の横スライド領域７Ｅそれぞれの現在の位置を示す領域データ６Ｂ４をパネルコントローラ５へ送信する。ただし、そのサーバ画面７Ｂに横スライド領域７Ｅがなければ、領域データ６Ｂ４を送信しない。
【００８５】
ところで、ディスプレイモジュール４Ａの表示面４ＡＳおよびタッチパネルモジュール４Ｂのタッチ面４ＢＳは、図１１のように、境界４０Ｃによって左右２つの領域に等分される。そして、左側の領域である左領域４０Ｌは、原則として、ＭＦＰ画面７Ａの表示または操作のために用いられる。右側の領域である右領域４０Ｒは、原則として、サーバ画面７Ｂの表示および操作のために用いられる。
【００８６】
なお、本実施形態では、各ＭＦＰ画面７Ａのサイズ（縦、横それぞれの長さ）は予め共通に決められており、ディスプレイモジュール４Ａの表示面４ＡＳと同じサイズである。サーバ画面７Ｂも、同様である。また、説明の簡単のため、表示面４ＡＳの解像度およびタッチパネルモジュール４Ｂのタッチ面４ＢＳの解像度が同じである場合を例に説明する。また、表示面４ＡＳ、タッチ面４ＢＳ、ＭＦＰ画面７Ａ、およびサーバ画面７Ｂのいずれにおいても、左上の頂点を原点とし、縦方向の軸をＹ軸とし、横方向をＸ軸とする。
【００８７】
パネルコントローラ５において、領域データ記憶部５０１には、ＭＦＰユニット２から送信されてきた画面構成データ６Ａ１およびサーバユニット３から送信されてきた画面構成データ６Ｂ１が記憶される。
【００８８】
画面合成部５０２は、ＭＦＰユニット２から受信した画面データ６Ａ３およびサーバユニット３から受信した画面データ６Ｂ３に基づいて合成画面７Ｃの画面データ６Ｃ３を生成する。合成画面７Ｃは、図１２に示すように、ＭＦＰ画面７Ａおよびサーバ画面７Ｂそれぞれの左半分を並べることによって合成したものである。
【００８９】
以下、図７のコピージョブ画面７Ａ１および図１０のデスクトップ画面７Ｂ１を合成する場合を例に説明する。
【００９０】
映像出力制御部５０３は、画面合成部５０２によって画面データ６Ｃ３が生成されると、画面データ６Ｃ３を映像信号６Ｃ４に変換してディスプレイモジュール４Ａへ出力する処理をビデオボード５０ｇに実行させる。
【００９１】
そして、ディスプレイモジュール４Ａは、映像信号６Ｃ４に基づいて合成画面７Ｃを表示する。
【００９２】
〔タッチに応答するための処理〕
図１３は、指をスライドさせる操作の例を示す図である。
【００９３】
タッチパネルモジュール４Ｂは、タッチ面４ＢＳがタッチされている間、定期的に、例えば、０．１秒ごとに、タッチされた位置の座標を示す座標データ６Ｅをパネルコントローラ５へ送信する。
【００９４】
ジェスチャ判別部５０４は、座標データ６Ｅが受信され始めると、これらの座標データ６Ｅに基づいて、ユーザが行ったジェスチャ（以下、「ユーザジェスチャ」と記載する。）のタイプを次のように判別する。
【００９５】
同じ座標を示す座標データ６Ｅを１回だけ受信しまたは所定の時間Ｔａに連続して受信し、所定のインターバルＴｂの後、再び同じ座標を示す座標データ６Ｅを１回だけ受信しまたは所定の時間Ｔａに連続して受信した場合は、ジェスチャ判別部５０４は、ユーザジェスチャがダブルタップであると、判別する。
【００９６】
または、連続して受信した座標データ６Ｅそれぞれに示される座標の変化が一定の方向でありかつ所定の速さＳａ以上である場合は、ジェスチャ判別部５０４は、ユーザジェスチャがフリックであると、判別する。所定の速さＳａ未満である場合は、ドラッグであると、判別する。
【００９７】
なお、ユーザジェスチャのタイプを判別するこれらの方法は、一例であり、他の方法であってもよい。
【００９８】
タッチ位置通知部５０５は、パネルコントローラ５から受信した座標データ６Ｅを、ジェスチャ判別部５０４による判別の結果などに応じてＭＦＰユニット２またはサーバユニット３のいずれかに次のように送信する。
【００９９】
ジェスチャ判別部５０４によってユーザジェスチャが、指をスライドさせないジェスチャ（例えば、タップまたはダブルタップ）であると判別された場合は、タッチ位置通知部５０５は、受信した座標データ６Ｅを、これに示される座標が左領域４０Ｌに属するならば、ＭＦＰユニット２へ送信する。一方、この座標が右領域４０Ｒに属するならば、サーバユニット３へ送信する。
【０１００】
ところで、この座標は、タッチ面４ＢＳの原点を基準とするものであって、コピージョブ画面７Ａ１の原点を基準とするものでもないし、デスクトップ画面７Ｂ１の原点を基準とするものでもない。ただし、タッチ面４ＢＳの原点とコピージョブ画面７Ａ１の原点とは、一致する。タッチ面４ＢＳの原点とデスクトップ画面７Ｂ１の原点とは、一致しない。
【０１０１】
そこで、タッチ位置通知部５０５は、この座標が右領域４０Ｒに属する場合は、この座標をサーバ画面７Ｂの原点を基準とするものになるように補正して、座標データ６Ｅをサーバユニット３へ送信する。具体的には、この座標を、左領域４０Ｌの幅だけ左へシフトさせる。つまり、この座標のＸ座標の値を、左領域４０Ｌの幅だけ引く。以下、このように、タッチ面４ＢＳにおける座標をサーバ画面７Ｂにおける座標に補正する処理を「シフト処理」と記載する。
【０１０２】
または、ジェスチャ判別部５０４によってユーザジェスチャが、指をスライドさせるジェスチャ（例えば、フリックまたはドラッグ）であると判別された場合は、タッチ位置通知部５０５は、１番目に受信された座標データ６Ｅに示される座標が左領域４０Ｌに属するならば、領域データ記憶部５０１に記憶されている領域データ６Ａ４に基づいて、この座標が横スライド領域７Ｅに属するか否かを判別する。
【０１０３】
そして、横スライド領域７Ｅに属すると判別した場合は、ジェスチャ判別部５０４は、このユーザジェスチャに係る一連の座標データ６Ｅ、つまり、連続して受信した座標データ６Ｅを順次、ＭＦＰユニット２へ送信する。これらの座標データ６Ｅのうちのいずれかに、右領域４０Ｒに属する座標が示されても、ＭＦＰユニット２へ送信する。
【０１０４】
このように座標データ６Ｅを送信することによって、例えば図１３のようにスライドバー７５１が左領域４０Ｌから右領域４０Ｒへフリックされまたはドラッグされた場合であっても、これらの座標データ６Ｅのうちの、境界４０Ｃを越える前の座標データ６Ｅだけでなく境界４０Ｃを越えた後の座標データ６Ｅも、ＭＦＰユニット２へ送信される。
【０１０５】
ＭＦＰユニット２において、次処理決定部２０５は、パネルコントローラ５から送信されてきた座標データ６Ｅに基づいて、次に実行すべき処理（以下、「次処理」と記載する。）を決定する。そして、次処理がＭＦＰユニット２において実行される。
【０１０６】
サーバユニット３においても同様に、次処理決定部３０５は、パネルコントローラ５から送信されてきた座標データ６Ｅに基づいて次処理を決定する。そして、次処理が実行される。
【０１０７】
ＭＦＰユニット２には、図１３に示したように、境界４０Ｃを跨いでフリックまたはドラッグがなされた場合であっても、フリックまたはドラッグが横スライド領域７Ｅにおいて開始されたのであれば、境界４０Ｃを越える前の座標データ６Ｅだけでなく境界４０Ｃを越えた後の座標データ６Ｅも送信されてくる。よって、フリックまたはドラッグの起点４０Ｐ１から境界４０Ｃまでの距離ではなく起点４０Ｐ１から終点４０Ｐ２までの距離に応じて次処理が決定され、実行される。
【０１０８】
しかし、フリックまたはドラッグが非横スライド領域７Ｆにおいて開始されたのであれば、境界４０Ｃを越える前の座標データ６ＥはＭＦＰユニット２へ送信されるが、境界４０Ｃを越えた後の座標データ６Ｅはサーバユニット３へ送信される。よって、次処理決定部３０５は、サーバ画面７Ｂの左端からのスワイプインが行われたと認識し、次処理を、このスワイプインに対応する処理（例えば、メニューの表示）に決定する。
【０１０９】
なお、次処理を実行する際にＭＦＰ画面７Ａの構成を変化させる必要がある場合は、変化に応じてそのＭＦＰ画面７Ａの画面構成データ６Ａ１が更新される。そして、更新後の画面構成データ６Ａ１に基づいてＭＦＰ画面生成部２０２によって画面データ６Ａ３が生成される。または、他のＭＦＰ画面７Ａに変更する必要がある場合は、当該他のＭＦＰ画面７Ａの画面構成データ６Ａ１に基づいてＭＦＰ画面生成部２０２によって画面データ６Ａ３が生成される。サーバユニット３においても同様に、サーバ画面７Ｂが更新され、または、他のサーバ画面７Ｂに変更される。
【０１１０】
図１４は、ＭＦＰユニット２またはサーバユニット３の全体的な処理の流れの例を説明するフローチャートである。図１５は、パネルコントローラ５の全体的な処理の流れの例を説明するフローチャートである。
【０１１１】
次に、ＭＦＰユニット２、サーバユニット３、およびパネルコントローラ５それぞれの全体的な処理の流れを、フローチャートを参照しながら説明する。
【０１１２】
ＭＦＰユニット２は、第一のクライアントプログラム２０Ｐに基づいて、図１４に示す手順で処理を実行する。サーバユニット３は、第二のクライアントプログラム３０Ｐに基づいて、図１４に示す手順で処理を実行する。つまり、ＭＦＰユニット２の全体的な処理の流れおよびサーバユニット３の全体的な処理の流れは、基本的に同じである。
【０１１３】
パネルコントローラ５は、中継プログラム５０Ｐに基づいて、図１５に示す手順で処理を実行する。
【０１１４】
ＭＦＰユニット２は、オペレーティングシステムの起動後、所定のＭＦＰ画面７Ａ（例えば、図７のコピージョブ画面７Ａ１）の画面データ６Ａ３の生成およびパネルコントローラ５への送信を開始する（図１４の＃８０１）。
【０１１５】
サーバユニット３は、オペレーティングシステムの起動後、所定のサーバ画面７Ｂ（例えば、図１０のデスクトップ画面７Ｂ１）の画面データ６Ｂ３の生成およびパネルコントローラ５への送信を開始する（＃８０１）。
【０１１６】
パネルコントローラ５は、画面データ６Ａ３および画面データ６Ｂ３を受信すると（図１５の＃８２１）、図１２のような合成画面７Ｃの画面データ６Ｃ３を生成し（＃８２２）、画面データ６Ｃ３を映像信号６Ｃ４に変換してディスプレイモジュール４Ａへ出力する（＃８２３）。すると、合成画面７Ｃがディスプレイモジュール４Ａによって表示される。
【０１１７】
ユーザがタッチ面４ＢＳをタッチすることによってジェスチャを行っている間、定期的に、タッチされている位置を示すデータが座標データ６Ｅとしてタッチパネルモジュール４Ｂからパネルコントローラ５へ送信される。
【０１１８】
パネルコントローラ５は、座標データ６Ｅを受信し始めると（＃８２４でＹｅｓ）、ユーザが行ったジェスチャすなわちユーザジェスチャのタイプを判別する（＃８２５）。
【０１１９】
ユーザジェスチャがドラッグまたはフリックなど指をスライドさせることによって行われるジェスチャであり（＃８２６でＹｅｓ）、１番目の座標データ６Ｅに示される座標が左領域４０Ｌに属するのであり、つまり、ユーザジェスチャが左領域４０Ｌにおいて開始されたのであり、かつ、その座標が横スライド領域７Ｅに属するのであれば（＃８２７でＹｅｓ）、パネルコントローラ５は、ユーザジェスチャ中の一連の座標データ６ＥをＭＦＰユニット２へ送信する（＃８２８）。
【０１２０】
ユーザジェスチャが、スライドさせることによって行われるジェスチャでない場合は（＃８２６でＮｏ）、パネルコントローラ５は、受信した各座標データ６Ｅを、それに示される座標に応じてＭＦＰユニット２またはサーバユニット３へ送信する（＃８２９）。つまり、その座標が左領域４０Ｌに属するのであれば、ＭＦＰユニット２へ送信する。右領域４０Ｒに属するのであれば、シフト処理を施してサーバユニット３へ送信する。ユーザジェスチャが、スライドさせることによって行われるジェスチャであるが（＃８２６でＹｅｓ）、１番目の座標データ６Ｅに示される座標が右領域４０ＲまたはＭＦＰ画面７Ａの非横スライド領域７Ｆに属する場合も（＃８２７でＮｏ）、同様に送信する（＃８２９）。
【０１２１】
ＭＦＰユニット２は、パネルコントローラ５から座標データ６Ｅを受信すると（＃８０２でＹｅｓ）、次処理を決定する（＃８０３）。そして、ＭＦＰユニット２において次処理が実行される。次処理の際にＭＦＰ画面７Ａを遷移させる必要があれば（＃８０４でＹｅｓ）、ステップ＃８０１に戻って、新たな構成のＭＦＰ画面７Ａの画面データ６Ａ３を生成しパネルコントローラ５へ送信し始める。または、新たなＭＦＰ画面７Ａの画面データ６Ａ３を生成しパネルコントローラ５へ送信し始める。
【０１２２】
サーバユニット３も同様に、パネルコントローラ５から座標データ６Ｅを受信すると（＃８０２でＹｅｓ）、次処理を決定する（＃８０３）。そして、適宜、ステップ＃８０１に戻って、サーバ画面７Ｂを遷移させるための処理を行う。
【０１２３】
ＭＦＰユニット２は、第一のクライアントプログラム２０Ｐによるサービスを継続している間（＃８０５でＹｅｓ）、適宜、ステップ＃８０１〜＃８０４を実行する。サーバユニット３も同様に、第二のクライアントプログラム３０Ｐによるサービスを継続している間（＃８０５でＹｅｓ）、適宜、上述の処理を実行する。
【０１２４】
パネルコントローラ５は、中継プログラム５０Ｐによるサービスを継続している間（＃８３０でＹｅｓ）、適宜、ステップ＃８２１〜＃８２９を実行する。
【０１２５】
本実施形態によると、ＭＦＰ画面７Ａおよびサーバ画面７Ｂを並べて表示しても、ＭＦＰ画面７Ａおよびサーバ画面７Ｂの操作性を従来よりも向上させることができる。
【０１２６】
図１６は、警告用のアイコン７Ｄを表示させる例を示す図である。図１７は、指を斜め方向へスライドさせる例を示す図である。図１８は、非横スライド領域７Ｆから横スライド領域７Ｅを経由してサーバ画面７Ｂへ指をスライドさせる例を示す図である。図１９は、横スライド領域７Ｅから非横スライド領域７Ｆを経由してサーバ画面７Ｂへ指をスライドさせる例を示す図である。図２０は、ＭＦＰ画面７Ａを暗くする例を示す図である。図２１は、４つの画面が並んで表示される形態の例を示す図である。図２２は、横スライド領域７Ｅを徐々に狭める例を示す図である。
【０１２７】
本実施形態では、左方向へのドラッグまたはフリックおよび右方向へのドラッグまたはフリックに対応している領域を横スライド領域７Ｅとして用いたが、２つの方向のうちの右方向つまりＭＦＰ画面７Ａからサーバ画面７Ｂへの方向へのドラッグまたはフリックのみに対応している領域を横スライド領域７Ｅとして用いてもよい。
【０１２８】
本実施形態では、タッチ位置通知部５０５は、フリックまたはドラッグの際に指が横スライド領域７Ｅからサーバ画面７Ｂに進入した場合に、座標データ６ＥをＭＦＰユニット２へ送信しサーバユニット３へ送信しなかった。これにより、このフリックまたはドラッグが、ＭＦＰ画面７Ａに対する操作として取り扱われた。しかし、本来、ＭＦＰ画面７Ａに対する操作がサーバ画面７Ｂに及ぶのは、好ましくない。
【０１２９】
そこで、画面合成部５０２は、このような場合に、図１６のように境界４０Ｃに警告用のアイコン７Ｄを重畳させた状態の合成画面７Ｃの画面データ６Ｃ３を生成してもよい。そして、ディスプレイモジュール４Ａは、この状態の合成画面７Ｃを表示する。または、フリックまたはドラッグがなされたオブジェクトを点滅させてもよい。例えば、スライドバー７５１の右端がフリックまたはドラッグされた際に、スライドバー７５１の右端を点滅させてもよい。または、画面合成部５０２は、警告音をスピーカから出力させるようにしてもよい。
【０１３０】
ユーザが２回、連続的にフリックまたはドラッグを行い、２回とも、指が横スライド領域７Ｅからサーバ画面７Ｂへ進入する場合がある。本実施形態によると、この場合に、２回とも、パネルコントローラ５のタッチ位置通知部５０５は、フリックまたはドラッグが行われている間にタッチパネルモジュール４Ｂによって生成された座標データ６ＥをＭＦＰユニット２へ送信した。
【０１３１】
しかし、この場合において、１回目のフリックまたはドラッグと２回目のフリックまたはドラッグとの時間の間隔が所定の時間Ｔ１（例えば、５秒）未満である場合は、タッチ位置通知部５０５は、２回目のフリックまたはドラッグをサーバ画面７Ｂへのスワイプインであると認識し、境界４０Ｃを越えた後、座標データ６Ｅをサーバユニット３へ送信してもよい。境界４０Ｃを越える前は、ＭＦＰユニット２およびサーバユニット３のいずれにも送信しなくてもよい。
【０１３２】
なお、２回目のフリックまたはドラッグの起点と境界４０Ｃとの距離が所定の距離Ｌ１未満である場合にのみ、サーバ画面７Ｂへのスワイプインである認識してもよい。所定の距離Ｌ１は、例えば指の幅程度であり、１〜２センチメートル程度である。
【０１３３】
２回目のフリックまたはドラッグの後、所定の時間Ｔ１が経過するまでに３回目のフリックまたはドラッグが行われた場合も同様に、タッチ位置通知部５０５は、サーバ画面７Ｂへのスワイプインであると認識してもよい。４回目以降のフリックまたはドラッグについても、同様である。
【０１３４】
ただし、Ｎ回目のフリックまたはドラッグと（Ｎ＋１）回目のフリックまたはドラッグとの間に他のジェスチャが行われた場合は、タッチ位置通知部５０５は、サーバ画面７Ｂへのスワイプインであるとみなさない。そして、当該他のジェスチャに応じて座標データ６ＥをＭＦＰユニット２またはサーバユニット３へ送信する。
【０１３５】
または、２回目以降のフリックまたはドラッグであっても、ＭＦＰ画面７Ａの横スライド領域７Ｅの上で指がスライドしている時間が所定の時間を経過した場合は、その後、指がサーバ画面７Ｂに進入しても、タッチ位置通知部５０５は、横スライド領域７Ｅに対する操作であるとみなし、座標データ６ＥをＭＦＰユニット２へ送信し続けてもよい。
【０１３６】
または、非横スライド領域７Ｆに対してタップが行われた後、所定の時間Ｔ１が経過するまでにフリックまたはドラッグが行われ、その際にＭＦＰ画面７Ａからサーバ画面７Ｂへ指が進入した場合も同様に、そのフリックまたはドラッグをサーバ画面７Ｂへのスワイプインであるとみなし、境界４０Ｃを越えた後、座標データ６Ｅをサーバユニット３へ送信してもよい。
【０１３７】
ユーザが指を真横にスライドさせることもあれば、図１７に示すように、斜め向きにスライドさせることもある。後者の場合において、指が移動する方向とＸ軸との角度が所定の角度（例えば、３０度）であり、かつ、次処理決定部２０５が次処理を、ＭＦＰ画面７Ａを横方向にスクロールさせる処理に決定したならば、ＭＦＰ画面生成部２０２は、縦方向（つまり、Ｙ成分）の変化の量には基づかず、横方向（つまり、Ｘ成分）の変化の量だけＭＦＰ画面７Ａをスクロールさせてもよい。同様に、サーバユニット３において次処理決定部３０５が次処理を、スワイプインに対応する処理に決定したならば、縦方向の変化の量に基づかず横方向の変化の量に基づいて次処理が実行されるようにしてもよい。所定の角度は、ユーザが任意に設定することができる。
【０１３８】
図１８に示すように、フリックまたはドラッグが非横スライド領域７Ｆから開始し、指が横スライド領域７Ｅの中のオブジェクトを経由し、フリックまたはドラッグがサーバ画面７Ｂで終了する場合がある。この場合に、タッチ位置通知部５０５は、フリックまたはドラッグの間にタッチパネルモジュール４Ｂから得られる座標データ６Ｅをすべて、ＭＦＰユニット２へ送信してもよい。そして、ＭＦＰユニット２において、次処理決定部２０５は、そのオブジェクトに対してフリックまたはドラッグが実際の起点から行われたものとみなして次処理を決定してもよいし、そのオブジェクトに達した位置からフリックまたはドラッグが行われたものとみなして次処理を決定してもよい。
【０１３９】
または、図１９に示すように、フリックまたはドラッグが横スライド領域７Ｅの中のオブジェクトから開始し、指が非横スライド領域７Ｆを経由し、フリックまたはドラッグがサーバ画面７Ｂで終了する場合がある。この場合は、次処理決定部２０５は、フリックまたはドラッグが開始された位置から指が非横スライド領域７Ｆに達するまでの座標データ６Ｅに基づいて次処理を決定すればよい。
【０１４０】
タッチ位置通知部５０５によってサーバ画面７Ｂへのスワイプインであると認識され座標データ６Ｅがサーバユニット３へ送信されている間、画面合成部５０２は、図２０のようにＭＦＰ画面７Ａの明度を通常よりも低くした状態（つまり、ＭＦＰ画面７Ａを暗くした状態）の合成画面７Ｃの画面データ６Ｃ３を生成してもよい。そして、ディスプレイモジュール４Ａは、この状態の合成画面７Ｃを表示する。
【０１４１】
ＭＦＰ画面７Ａまたはサーバ画面７Ｂへのタッチが一定時間以上、続いた場合は、タッチ位置通知部５０５は、タッチが終了したものとみなし、座標データ６ＥをＭＦＰユニット２またはサーバユニット３へ送信するのを終了してもよい。または、この場合に、次処理決定部２０５または次処理決定部３０５は、そのタッチによってなされたジェスチャに対応する次処理を決定するのを中止してもよい。
【０１４２】
ＭＦＰ画面７Ａがタッチされているときにサーバ画面７Ｂがタッチされ始めたら、タッチ位置通知部５０５は、ＭＦＰユニット２へ座標データ６Ｅを送信するのを中止してもよい。
【０１４３】
３つ以上の画面がディスプレイモジュール４Ａに表示されることがある。例えば、図２１に示すように第一の画面７Ｇ１、第二の画面７Ｇ２、第三の画面７Ｇ３、および第四の画面７Ｇ４が並んで、ディスプレイモジュール４Ａに表示されることがある。
【０１４４】
ユーザが指をこれら４つの画面のうちの３つまたは４つの画面に跨がってスライドさせる場合は、タッチ位置通知部５０５は、スライドさせている間にタッチパネルモジュール４Ｂから得られる座標データ６Ｅを次のように送信する。
【０１４５】
例えば、図２１（Ａ）のように第三の画面７Ｇ３の中の横スライド領域７Ｅからスライドが始まった場合は、その後、どの画面を通るかに関わらず、タッチ位置通知部５０５は、ＭＦＰユニット２およびサーバユニット３のうちの第三の画面７Ｇ３を有するユニットへ座標データ６Ｅを送信する。
【０１４６】
または、図２１（Ｂ）のように第三の画面７Ｇ３の中の非横スライド領域７Ｆからスライドが始まり、第四の画面７Ｇ４を経由し、第二の画面７Ｇ２でスライドが終了したとする。この場合は、第二の画面７Ｇ２つまりスライドが終了した画面に対するスワイプインであるものと認識し、座標データ６Ｅを第二の画面７Ｇ２を有するユニットへ座標データ６Ｅを送信する。または、これらの画面のうちの、指が通った距離が最も長い画面（本例では、第四の画面７Ｇ４）に対する操作であると認識し、その画面を有するユニットへ座標データ６Ｅを送信してもよい。
【０１４７】
本実施形態では、指が横スライド領域７Ｅからサーバ画面７Ｂへ進入した場合であっても、タッチ位置通知部５０５は、横スライド領域７Ｅに対するドラッグまたはフリックであるとみなし、サーバ画面７Ｂへ進入した後も、座標データ６ＥをＭＦＰユニット２へ送信した。しかし、進入後、所定の時間（例えば、２〜５秒）が経過したら、サーバ画面７Ｂに対するスワイプインであるとみなし、サーバユニット３へ座標データ６Ｅを送信するようにしてもよい。
【０１４８】
所定の時間（例えば、３〜１５秒）内に所定の回数（例えば、３回）以上、連続的に横スライド領域７Ｅをフリックされまたはドラッグされた場合に、ジェスチャ判別部５０４は、図２２に示すように、徐々に横スライド領域７Ｅの範囲を狭めることによって、スワイプインを優先的に受け付けられるようにしてもよい。この際に、画面合成部５０２は、横スライド領域７Ｅの色を他の領域の色と区別するなどして、横スライド領域７Ｅを可視化してもよい。
【０１４９】
ボタンまたはアイコンなどタップして使用されるオブジェクトがドラッグされまたはフリックされた場合は、ジェスチャ判別部５０４は、指がサーバ画面７Ｂへ進入しても常に、このオブジェクトに対するジェスチャであると判別し、サーバ画面７Ｂに対するスワイプインであると判別しないようにしてもよい。
【０１５０】
横方向へのドラッグまたはフリックが無効であるが縦方向へのドラッグまたはフリックが有効なオブジェクトに対して横方向のジェスチャが行われた、指がサーバ画面７Ｂに進入した場合は、ジェスチャ判別部５０４は、サーバ画面７Ｂへのスワイプインが行われたと判別してもよい。
【０１５１】
本実施形態では、横スライド領域７Ｅは、指を横にスライドさせることによって指令などを入力することができる領域であった。しかし、左右のうち右方向つまりサーバ画面７Ｂ方向にスライドさせることによって指令などを入力することができる領域であってもよい。
【０１５２】
本実施形態では、横スライド領域７Ｅにおいて指をスライドさせることによってなされるジェスチャとしてドラッグおよびフリックを例に挙げたが、ピンチアウトなどが行われる場合にも、本発明を適用することができる。
【０１５３】
ジェスチャ判別部５０４は、ＭＦＰ画面７Ａがタッチされている時間が一定の時間を経過したら、ＭＦＰ画面７Ａに対する操作を無効にし、その後、指がサーバ画面７Ｂへ進入してきたら、サーバ画面７Ｂへのスライドインが行われたと判別してもよい。
【０１５４】
または、ジェスチャ判別部５０４は、指を非横スライド領域７Ｆからサーバ画面７Ｂまでスライドさせる操作が行われたであっても、ＭＦＰ画面７Ａに対して他の操作が行われているのであれば、このスライドさせる操作が非横スライド領域７Ｆに対してのみ行われたものとして、ジェスチャを判別してもよい。
【０１５５】
その他、複合機１、ＭＦＰユニット２、サーバユニット３、パネルコントローラ５の全体または各部の構成、処理の内容、処理の順序、画面の構成などは、本発明の趣旨に沿って適宜変更することができる。
【符号の説明】
【０１５６】
１  複合機（画像処理装置）
４  タッチパネルディスプレイ
５０３  映像出力処理部（表示手段）
５０４  ジェスチャ判別部（判別手段）
５０５  タッチ位置通知部（処理手段）
７Ａ  ＭＦＰ画面（第二の画面）
７Ｂ  サーバ画面（第一の画面）
７Ｅ  横スライド領域（第一の領域）
７Ｆ  非横スライド領域（第二の領域）
【図１】
2019139679.tif 000003
【図２】
2019139679.tif 000004
【図３】
2019139679.tif 000005
【図４】
2019139679.tif 000006
【図５】
2019139679.tif 000007
【図６】
2019139679.tif 000008
【図７】
2019139679.tif 000009
【図８】
2019139679.tif 000010
【図９】
2019139679.tif 000011
【図１０】
2019139679.tif 000012
【図１１】
2019139679.tif 000013
【図１２】
2019139679.tif 000014
【図１３】
2019139679.tif 000015
【図１４】
2019139679.tif 000016
【図１５】
2019139679.tif 000017
【図１６】
2019139679.tif 000018
【図１７】
2019139679.tif 000019
【図１８】
2019139679.tif 000020
【図１９】
2019139679.tif 000021
【図２０】
2019139679.tif 000022
【図２１】
2019139679.tif 000023
【図２２】
2019139679.tif 000024