(57)【要約】      （修正有）【課題】携帯端末に表示されたリモート画面が拡大された状態で、ユーザによりポップアップ部を表示させる操作がなされたときに、携帯端末の表示部に表示される次画面領域内にポップアップ部を確実に表示させ得る表示処理装置等を提供する。【解決手段】操作用画面データに基づく表示処理装置側のリモート画面を表示した携帯端末から、リモート画面に対してユーザによりなされた操作を示す操作情報を受信し、画面が拡大された状態でリモート画面に対してユーザ操作がなされたときには、携帯端末から操作情報と拡大された表示状態を示す拡大表示情報を受信する。受信した操作情報で示される操作が、ポップアップ部４００を表示させる操作である場合には、画像拡大状態でポップアップ部４００が携帯端末に表示されるように、ポップアップ部４００の表示位置を調整して次画面データを生成し、送信する。【選択図】図６
2014126955.tif 000002
【特許請求の範囲】
【請求項１】
携帯端末装置に接続可能な接続手段と、
前記接続手段により接続された携帯端末装置に、自装置操作用の画面データを送信する送信手段と、
前記画面データに基づく表示処理装置側のリモート画面を表示手段に表示した携帯端末装置から、前記リモート画面に対してユーザによりなされた操作を示す操作情報を受信するとともに、画面が拡大された状態で一部が欠けて表示された前記リモート画面に対してユーザ操作がなされたときには、携帯端末装置から操作情報と拡大された表示状態を示す拡大表示情報を受信する受信手段と、
前記受信手段により受信した前記操作情報で示される操作が、ポップアップ部を表示させる操作であるかどうかを判断する判断手段と、
前記受信手段により受信した操作情報に対応する次画面データを生成するとともに、前記受信手段により前記操作情報と拡大表示情報を受信し、かつ前記判断手段により、前記操作情報で示される操作がポップアップ部を表示させる操作であると判断された場合には、前記拡大表示情報に基づく画像拡大状態でポップアップ部が前記携帯端末装置の表示手段に表示されるように、ポップアップ部の表示位置を調整して次画面データを生成する画面生成手段と、
を備え、
前記送信手段は、前記画面生成手段により生成された次画面データを前記携帯端末装置に送信することを特徴とする表示処理装置。
【請求項２】
前記画面生成手段は、ポップアップ部のサイズ、画面全体のサイズ、画面の隠蔽不可エリア、画面内の表示領域の優先度、の少なくともいずれかに基づいて、ポップアップ部の表示可能領域を決定し、該決定した表示可能領域にポップアップ部を配置する請求項１に記載の表示処理装置。
【請求項３】
前記画面生成手段は、ポップアップ部の表示位置を調整しても、画像拡大状態でポップアップ部を前記携帯端末装置の表示手段に表示できない場合は、ポップアップ部のサイズを変更する請求項１または２に記載の表示処理装置。
【請求項４】
前記画面生成手段は、ポップアップ部の表示位置を調整しても、画像拡大状態でポップアップ部を前記携帯端末装置の表示手段に表示できない場合は、ポップアップ部の形状を変更する請求項１〜３のいずれかに記載の表示処理装置。
【請求項５】
前記画面生成手段は、ポップアップ部の表示位置を調整しても、画像拡大状態でポップアップ部を前記携帯端末装置の表示手段に表示できない場合は、拡大率の変更を携帯端末装置に通知する請求項１〜４のいずれかに記載の表示処理装置。
【請求項６】
前記画面生成手段は、ポップアップ部の表示位置を調整しても、画像拡大状態でポップアップ部を前記携帯端末装置の表示手段に表示できない場合は、画面のスクロールを携帯端末装置に要求する請求項１〜４のいずれかに記載の表示処理装置。
【請求項７】
前記画面生成手段は、ポップアップ部の表示位置に隠蔽不可の画像が存在する場合は、ポップアップ部を透過表示させる請求項１〜３のいずれかに記載の表示処理装置。
【請求項８】
前記画面生成手段は、ポップアップ部内の文字のサイズを変更する請求項３に記載の表示処理装置。
【請求項９】
前記ポップアップ部には入力キーが表示される請求項１〜８のいずれかに記載の表示処理装置。
【請求項１０】
請求項１〜９のいずれかに記載の表示処理装置を備えた画像形成装置。
【請求項１１】
前記自装置操作用の画面は自装置の設定を行うための画面であり、前記ポップアップ部は設定値の入力に用いられる請求項１０に記載の画像形成装置。
【請求項１２】
相互に接続可能な表示処理装置と携帯端末装置とを備えたリモート画面の表示処理システムであって、
前記表示処理装置は、
携帯端末装置に接続可能な接続手段と、
前記接続手段により接続された携帯端末装置に、自装置操作用の画面データを送信する送信手段と、
前記操作用画面データに基づく表示処理装置側のリモート画面を表示手段に表示した携帯端末装置から、前記リモート画面に対してユーザによりなされた操作を示す操作情報を受信するとともに、画面が拡大された状態で一部が欠けて表示された前記リモート画面に対してユーザ操作がなされたときには、携帯端末装置から操作情報と拡大された表示状態を示す拡大表示情報を受信する受信手段と、
前記受信手段により受信した前記操作情報で示される操作が、ポップアップ部を表示させる操作であるかどうかを判断する判断手段と、
前記受信手段により受信した操作情報に対応する次画面データを生成するとともに、前記受信手段により前記操作情報と拡大表示情報を受信し、かつ前記判断手段により、前記操作情報で示される操作がポップアップ部を表示させる操作であると判断された場合には、前記拡大表示情報に基づく画像拡大状態でポップアップ部が前記携帯端末装置の表示手段に表示されるように、ポップアップ部の表示位置を調整して次画面データを生成する画面生成手段と、
を備え、前記送信手段は、前記画面生成手段により生成された次画面データを前記携帯端末装置に送信し、
前記携帯端末装置は、
前記表示処理装置から送信された画面データを受信する受信手段と、
前記画面データに基づく表示処理装置側のリモート画面を表示する表示手段と、
前記リモート画面に対してユーザにより操作がなされると操作情報を表示処理装置に送信するとともに、画面が拡大された状態でリモート画面に対してユーザ操作がなされたときには、操作情報と拡大された表示状態を示す拡大表示情報を表示処理装置に送信する送信手段と、
を備えていることを特徴とするリモート画面の表示処理システム。
【請求項１３】
携帯端末装置と接続手段により接続された表示処理装置において実行されるリモート画面の表示処理方法であって、
前記携帯端末装置に自装置操作用の画面データを送信する送信ステップと、
前記画面データに基づく表示処理装置側のリモート画面を表示手段に表示した携帯端末装置から、前記リモート画面に対してユーザによりなされた操作を示す操作情報を受信するとともに、画面が拡大された状態で一部が欠けて表示された前記リモート画面に対してユーザ操作がなされたときには、携帯端末装置から操作情報と拡大された表示状態を示す拡大表示情報を受信する受信ステップと、
前記受信ステップにおいて受信した前記操作情報で示される操作が、ポップアップ部を表示させる操作であるかどうかを判断する判断ステップと、
前記受信ステップにおいて受信した操作情報に対応する次画面データを生成するとともに、前記受信ステップにおいて前記操作情報と拡大表示情報を受信し、かつ前記判断ステップにおいて、前記操作情報で示される操作がポップアップ部を表示させる操作であると判断された場合には、前記拡大表示情報に基づく画像拡大状態でポップアップ部が前記携帯端末装置の表示手段に表示されるように、ポップアップ部の表示位置を調整して次画面データを生成する画面生成ステップと、
を備え、
前記送信ステップでは、前記画面生成ステップにおいて生成された次画面データを前記携帯端末装置に送信することを特徴とするリモート画面の表示処理方法。
【請求項１４】
相互に接続可能な表示処理装置と携帯端末装置とを備えたリモート画面の表示処理システムにおいて実行されるリモート画面の表示処理方法であって、
前記表示処理装置は、
前記携帯端末装置に自装置操作用の画面データを送信する送信ステップと、
前記画面データに基づく表示処理装置側のリモート画面を表示手段に表示した携帯端末装置から、前記リモート画面に対してユーザによりなされた操作を示す操作情報を受信するとともに、画面が拡大された状態で一部が欠けて表示された前記リモート画面に対してユーザ操作がなされたときには、携帯端末装置から操作情報と拡大された表示状態を示す拡大表示情報を受信する受信ステップと、
前記受信ステップにおいて受信した前記操作情報で示される操作が、ポップアップ部を表示させる操作であるかどうかを判断する判断ステップと、
前記受信ステップにおいて受信した操作情報に対応する次画面データを生成するとともに、前記受信ステップにおいて前記操作情報と拡大表示情報を受信し、かつ前記判断ステップにおいて、前記操作情報で示される操作がポップアップ部を表示させる操作であると判断された場合には、前記拡大表示情報に基づく画像拡大状態でポップアップ部が前記携帯端末装置の表示手段に表示されるように、ポップアップ部の表示位置を調整して次画面データを生成する画面生成ステップと、
を実行し、前記送信ステップでは、前記画面生成ステップにおいて生成された次画面データを前記携帯端末装置に送信し、
前記携帯端末装置は、
前記表示処理装置から送信された画面データを受信する受信ステップと、
前記画面データに基づく表示処理装置側のリモート画面を表示手段に表示するステップと、
前記リモート画面に対してユーザにより操作がなされると操作情報を表示処理装置に送信するとともに、画面が拡大された状態でリモート画面に対してユーザ操作がなされたときには、操作情報と拡大された表示状態を示す拡大表示情報を表示処理装置に送信するステップと、
を備えていることを特徴とするリモート画面の表示処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、スマートフォン、タブレット端末等の携帯端末装置を無線通信等により接続可能な表示処理装置、該表示処理装置を備えた多機能デジタル複合機であるＭＦＰ（Multi Function Peripherals）等の画像形成装置、リモート画面の表示処理システム及び表示処理方法に関する。
【背景技術】
【０００２】
近年、スマートフォン、タブレット端末等の携帯端末装置は、電子化された文書を記憶可能であり、時と場所を選ばず、文書を閲覧したり編集したりできる。また、携帯端末装置で編集等したファイルを前記ＭＦＰ等の画像形成装置に送信し、画像形成装置で印刷または保存等の処理を実行させることができる。さらに、画像形成装置のスキャナ部で読み取った原稿の画像データ等からなるファイルを携帯端末装置に送信し、携帯端末装置で編集等を行うこともできる。
【０００３】
しかし、携帯端末装置と画像形成装置とを、それぞれ別個に操作する必要があり、操作が煩雑になるといった問題がある。
【０００４】
そこで、最近、画像形成装置の操作用画面を携帯端末装置の表示部にリモート画面として表示し、携帯端末装置から画像形成装置を連携操作できるようにした、画像形成装置と携帯端末装置との連携システムが提案されている。この連携システムでは、携帯端末装置の表示部に表示される画像形成装置側のリモート画面は、画像形成装置から送信される画面データに基づいて表示される。
【０００５】
つまり、操作が行われたことを示す情報が携帯端末装置から画像形成装置に送信され、画像形成装置はこの情報に基づいて次の画面データを生成し、この画面データを携帯端末装置に送信し、携帯端末装置はこの画面データに基づいてリモート画面を更新表示する。
【０００６】
一方、携帯端末装置はタッチパネルを備えており、ユーザは表示画面に対してピンチイン、ピンチアウト等のジェスチャー操作を行うことにより、画像を変倍することが可能となっている。つまり、携帯端末装置に表示されたリモート画面の画像を、ユーザの拡大操作に応じ携帯端末装置で拡大して表示することができる。
【０００７】
ところが、リモート画面の画像が拡大された状態で携帯端末装置に表示されているときに、リモート画面に対してユーザによりなされた操作が別ウィンドウのポップアップ部を表示させる操作である場合、次のような問題が発生していた。
【０００８】
なお、特許文献１には、操作設定ボタンが操作対象画像と重なった場合にも、操作対象画像が隠れないようにした表示装置が開示されている。
【０００９】
また、特許文献２には、一つの画面上に複数のウィンドウを重ならないように最適に配置する技術が開示されている。
【００１０】
また、特許文献３には、制御コンピュータ及び被制御コンピュータのディスプレイサイズが異なる場合に、制御コンピュータに表示されない領域の画像情報は被制御コンピュータに転送されないように制御する技術が開示されている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００６−０３９４６９号公報
【特許文献２】特開２０１０−２４４１８９号公報
【特許文献３】特開２００４−００５５８２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
即ち、リモート画面の画像が拡大された状態で携帯端末装置に表示されているときに、リモート画面に対してユーザによりポップアップ部を表示させる操作がなされると、操作情報が携帯端末装置から画像形成装置へ転送され、画像形成装置は操作情報に対応するポップアップ部を含む次画面データを生成する。
【００１３】
しかし、画面内におけるポップアップ部の配置位置は、画像形成装置の表示パネルへの表示に適した位置に設定されているため、その配置を保持したまま携帯端末装置で次画面を拡大して表示部に表示させると、ポップアップ部の一部または全部が画面から外れてしまうおそれがある。この場合、携帯端末装置のユーザは画面をスクロールしたりポップアップ部をドラッグして、ポップアップ部を画面内に位置させる必要があるが、その操作が面倒であった。
【００１４】
しかも、ポップアップ部の全部が表示領域から外れてしまうと、ユーザはポップアップ部の存在すらも認識できない恐れがあった。
【００１５】
なお、前述した特許文献１〜３に記載の技術は、携帯端末装置に表示されたリモート画面の画像が拡大された状態で、ユーザによりポップアップ部を表示させる操作がなされたときの上記問題点に対して、解決策を提供しうるものではない。
【００１６】
この発明は、上記の問題を解決するためになされたものであり、携帯端末装置に表示されたリモート画面の画像が拡大された状態で、ユーザによりポップアップ部を表示させる操作がなされたときに、携帯端末の表示部に表示される次画面の表示領域内にポップアップ部を確実に表示させることができる表示処理装置及び画像形成装置を提供し、さらにはリモート画面の表示処理システム及び表示処理方法を提供とすることを課題とする。
【課題を解決するための手段】
【００１７】
上記課題は、以下の手段によって解決される。
（１）携帯端末装置に接続可能な接続手段と、前記接続手段により接続された携帯端末装置に、自装置操作用の画面データを送信する送信手段と、前記画面データに基づく表示処理装置側のリモート画面を表示手段に表示した携帯端末装置から、前記リモート画面に対してユーザによりなされた操作を示す操作情報を受信するとともに、画面が拡大された状態で一部が欠けて表示された前記リモート画面に対してユーザ操作がなされたときには、携帯端末装置から操作情報と拡大された表示状態を示す拡大表示情報を受信する受信手段と、前記受信手段により受信した前記操作情報で示される操作が、ポップアップ部を表示させる操作であるかどうかを判断する判断手段と、前記受信手段により受信した操作情報に対応する次画面データを生成するとともに、前記受信手段により前記操作情報と拡大表示情報を受信し、かつ前記判断手段により、前記操作情報で示される操作がポップアップ部を表示させる操作であると判断された場合には、前記拡大表示情報に基づく画像拡大状態でポップアップ部が前記携帯端末装置の表示手段に表示されるように、ポップアップ部の表示位置を調整して次画面データを生成する画面生成手段と、を備え、前記送信手段は、前記画面生成手段により生成された次画面データを前記携帯端末装置に送信することを特徴とする表示処理装置。
（２）前記画面生成手段は、ポップアップ部のサイズ、画面全体のサイズ、画面の隠蔽不可エリア、画面内の表示領域の優先度、の少なくともいずれかに基づいて、ポップアップ部の表示可能領域を決定し、該決定した表示可能領域にポップアップ部を配置する前項１に記載の表示処理装置。
（３）前記画面生成手段は、ポップアップ部の表示位置を調整しても、画像拡大状態でポップアップ部を前記携帯端末装置の表示手段に表示できない場合は、ポップアップ部のサイズを変更する前項１または２に記載の表示処理装置。
（４）前記画面生成手段は、ポップアップ部の表示位置を調整しても、画像拡大状態でポップアップ部を前記携帯端末装置の表示手段に表示できない場合は、ポップアップ部の形状を変更する前項１〜３のいずれかに記載の表示処理装置。
（５）前記画面生成手段は、ポップアップ部の表示位置を調整しても、画像拡大状態でポップアップ部を前記携帯端末装置の表示手段に表示できない場合は、拡大率の変更を携帯端末装置に通知する前項１〜４のいずれかに記載の表示処理装置。
（６）前記画面生成手段は、ポップアップ部の表示位置を調整しても、画像拡大状態でポップアップ部を前記携帯端末装置の表示手段に表示できない場合は、画面のスクロールを携帯端末装置に要求する前項１〜４のいずれかに記載の表示処理装置。
（７）前記画面生成手段は、ポップアップ部の表示位置に隠蔽不可の画像が存在する場合は、ポップアップ部を透過表示させる前項１〜３のいずれかに記載の表示処理装置。
（８）前記画面生成手段は、ポップアップ部内の文字のサイズを変更する前項３に記載の表示処理装置。
（９）前記ポップアップ部には入力キーが表示される前項１〜８のいずれかに記載の表示処理装置。
（１０）前項１〜９のいずれかに記載の表示処理装置を備えた画像形成装置。
（１１）前記自装置操作用の画面は自装置の設定を行うための画面であり、前記ポップアップ部は設定値の入力に用いられる前項１０に記載の画像形成装置。
（１２）相互に接続可能な表示処理装置と携帯端末装置とを備えたリモート画面の表示処理システムであって、前記表示処理装置は、携帯端末装置に接続可能な接続手段と、前記接続手段により接続された携帯端末装置に、自装置操作用の画面データを送信する送信手段と、前記操作用画面データに基づく表示処理装置側のリモート画面を表示手段に表示した携帯端末装置から、前記リモート画面に対してユーザによりなされた操作を示す操作情報を受信するとともに、画面が拡大された状態で一部が欠けて表示された前記リモート画面に対してユーザ操作がなされたときには、携帯端末装置から操作情報と拡大された表示状態を示す拡大表示情報を受信する受信手段と、前記受信手段により受信した前記操作情報で示される操作が、ポップアップ部を表示させる操作であるかどうかを判断する判断手段と、前記受信手段により受信した操作情報に対応する次画面データを生成するとともに、前記受信手段により前記操作情報と拡大表示情報を受信し、かつ前記判断手段により、前記操作情報で示される操作がポップアップ部を表示させる操作であると判断された場合には、前記拡大表示情報に基づく画像拡大状態でポップアップ部が前記携帯端末装置の表示手段に表示されるように、ポップアップ部の表示位置を調整して次画面データを生成する画面生成手段と、を備え、前記送信手段は、前記画面生成手段により生成された次画面データを前記携帯端末装置に送信し、前記携帯端末装置は、前記表示処理装置から送信された画面データを受信する受信手段と、前記画面データに基づく表示処理装置側のリモート画面を表示する表示手段と、前記リモート画面に対してユーザにより操作がなされると操作情報を表示処理装置に送信するとともに、画面が拡大された状態でリモート画面に対してユーザ操作がなされたときには、操作情報と拡大された表示状態を示す拡大表示情報を表示処理装置に送信する送信手段と、を備えていることを特徴とするリモート画面の表示処理システム。
（１３）携帯端末装置と接続手段により接続された表示処理装置において実行されるリモート画面の表示処理方法であって、前記携帯端末装置に自装置操作用の画面データを送信する送信ステップと、前記画面データに基づく表示処理装置側のリモート画面を表示手段に表示した携帯端末装置から、前記リモート画面に対してユーザによりなされた操作を示す操作情報を受信するとともに、画面が拡大された状態で一部が欠けて表示された前記リモート画面に対してユーザ操作がなされたときには、携帯端末装置から操作情報と拡大された表示状態を示す拡大表示情報を受信する受信ステップと、前記受信ステップにおいて受信した前記操作情報で示される操作が、ポップアップ部を表示させる操作であるかどうかを判断する判断ステップと、前記受信ステップにおいて受信した操作情報に対応する次画面データを生成するとともに、前記受信ステップにおいて前記操作情報と拡大表示情報を受信し、かつ前記判断ステップにおいて、前記操作情報で示される操作がポップアップ部を表示させる操作であると判断された場合には、前記拡大表示情報に基づく画像拡大状態でポップアップ部が前記携帯端末装置の表示手段に表示されるように、ポップアップ部の表示位置を調整して次画面データを生成する画面生成ステップと、を備え、前記送信ステップでは、前記画面生成ステップにおいて生成された次画面データを前記携帯端末装置に送信することを特徴とするリモート画面の表示処理方法。
（１４）相互に接続可能な表示処理装置と携帯端末装置とを備えたリモート画面の表示処理システムにおいて実行されるリモート画面の表示処理方法であって、前記表示処理装置は、前記携帯端末装置に自装置操作用の画面データを送信する送信ステップと、前記画面データに基づく表示処理装置側のリモート画面を表示手段に表示した携帯端末装置から、前記リモート画面に対してユーザによりなされた操作を示す操作情報を受信するとともに、画面が拡大された状態で一部が欠けて表示された前記リモート画面に対してユーザ操作がなされたときには、携帯端末装置から操作情報と拡大された表示状態を示す拡大表示情報を受信する受信ステップと、前記受信ステップにおいて受信した前記操作情報で示される操作が、ポップアップ部を表示させる操作であるかどうかを判断する判断ステップと、前記受信ステップにおいて受信した操作情報に対応する次画面データを生成するとともに、前記受信ステップにおいて前記操作情報と拡大表示情報を受信し、かつ前記判断ステップにおいて、前記操作情報で示される操作がポップアップ部を表示させる操作であると判断された場合には、前記拡大表示情報に基づく画像拡大状態でポップアップ部が前記携帯端末装置の表示手段に表示されるように、ポップアップ部の表示位置を調整して次画面データを生成する画面生成ステップと、を実行し、前記送信ステップでは、前記画面生成ステップにおいて生成された次画面データを前記携帯端末装置に送信し、前記携帯端末装置は、前記表示処理装置から送信された画面データを受信する受信ステップと、前記画面データに基づく表示処理装置側のリモート画面を表示手段に表示するステップと、前記リモート画面に対してユーザにより操作がなされると操作情報を表示処理装置に送信するとともに、画面が拡大された状態でリモート画面に対してユーザ操作がなされたときには、操作情報と拡大された表示状態を示す拡大表示情報を表示処理装置に送信するステップと、を備えていることを特徴とするリモート画面の表示処理方法。
【発明の効果】
【００１８】
前項（１）に記載の発明によれば、携帯端末装置の表示部に表示された画像処理装置のリモート画面に対してユーザが画像の拡大操作を行うと、携帯端末装置はリモート画面の操作された画像部分を拡大して表示する。この状態で、リモート画面に対してユーザ操作がなされたときには、表示処理装置は携帯端末装置からの操作情報と拡大された表示状態を示す拡大表示情報を受信する。表示処理装置は、受信した操作情報で示される操作が、ポップアップ部を表示させる操作であるかどうかを判断し、ポップアップ部を表示させる操作であると判断された場合には、ポップアップ部を含む次画面データを生成する。
【００１９】
この際に、画像拡大状態でポップアップ部が携帯端末装置の表示手段に表示されるように、ポップアップ部の表示位置が調整されるから、携帯端末装置の表示手段に表示される次画面の表示領域内にポップアップ部を確実に表示させることができ、従ってユーザは画面から外れたポップアップ部を画面内に位置させるために、携帯端末装置の画面をスクロール操作等する必要はなくなるとともに、ポップアップ部が表示されていることを確実に認識することができる。
【００２０】
前項（２）に記載の発明によれば、ポップアップ部のサイズ、画面全体のサイズ、画面の隠蔽不可エリア、画面内の表示領域の優先度、の少なくともいずれかに基づいて、ポップアップ部の表示可能領域が決定され、該決定された表示可能領域にポップアップ部が配置されるから、携帯端末の表示部に表示される次画面の表示領域内にポップアップ部をさらに確実に表示させることができる。
【００２１】
前項（３）に記載の発明によれば、ポップアップ部の表示位置を調整しても、画像拡大状態でポップアップ部を前記携帯端末装置の表示手段に表示できない場合は、ポップアップ部のサイズを変更することにより、ポップアップ部を携帯端末の表示手段に確実に表示することができる。
【００２２】
前項（４）に記載の発明によれば、ポップアップ部の表示位置を調整しても、画像拡大状態でポップアップ部を前記携帯端末装置の表示手段に表示できない場合は、ポップアップ部の形状を変更することにより、ポップアップ部を携帯端末の表示手段に確実に表示することができる。
【００２３】
前項（５）に記載の発明によれば、ポップアップ部の表示位置を調整しても、画像拡大状態でポップアップ部を前記携帯端末装置の表示手段に表示できない場合は、拡大率のの変更要求により携帯端末側で拡大率が変更されるから、ポップアップ部を携帯端末の表示手段に確実に表示することができる。
【００２４】
前項（６）に記載の発明によれば、ポップアップ部の表示位置を調整しても、ポップアップ部を前記携帯端末装置の表示手段に表示できない場合は、画面のスクロールを携帯端末装置に要求するから、携帯端末装置は画像拡大後の画面をスクロールすることで、ポップアップ部を表示手段に確実に表示できる。
【００２５】
前項（７）に記載の発明によれば、ポップアップ部の表示位置に隠蔽不可の画像が存在する場合は、ポップアップ部が透過表示されるから、ポップアップ部によって隠蔽不可の画像が隠蔽されるのを防止することができる。
【００２６】
前項（８）に記載の発明によれば、ポップアップ部内の文字のサイズを変更することで、ポップアップ部のサイズ変更の自由度が増大する。
【００２７】
前項（９）に記載の発明によれば、ソフトキーやソフトキーボード等の入力キーがポップアップ部に表示されるから、ユーザはこの入力キーを用いて数値等の入力を行うことができる。
【００２８】
前項（１０）に記載の発明によれば、携帯端末装置の表示手段に表示されたリモート画面の画像が拡大されている状態で、ユーザによってポップアップ部を表示させる操作がなされた場合に、画像拡大状態で携帯端末装置の表示領域内にポップアップ部が確実に表示される次画面データを生成して、携帯端末装置に送信できる画像形成装置となし得る。
【００２９】
前項（１１）に記載の発明によれば、ユーザは携帯端末装置に表示された操作画面及びポップアップ部により、画像形成装置の設定を行うことができる。
【００３０】
前項（１２）に記載の発明によれば、携帯端末の表示部に表示されたリモート画面が拡大されている状態で、ユーザによってポップアップ部を表示させる操作がなされた場合に、表示処理装置は、画像拡大状態で携帯端末装置の表示領域内にポップアップ部が表示される次画面データを生成して、携帯端末装置に送信できるシステムとなる。
【００３１】
前項（１３）および（１４）に記載の発明によれば、携帯端末の表示部に表示されたリモート画面が拡大されている状態で、ユーザによってポップアップ部を表示させる操作がなされた場合に、表示処理装置は、画像拡大状態で携帯端末装置の表示領域内にポップアップ部が表示される次画面データを生成して、携帯端末装置に送信できるから、ユーザは携帯端末に表示された画面内でポップアップ部を確実に認識できる。
【図面の簡単な説明】
【００３２】
【図１】この発明の一実施形態に係るリモート画面の表示処理システムの構成図である。
【図２】画像処理装置及び携帯端末装置の電気的な構成を示すブロック図である。
【図３】画像処理装置及び携帯端末装置のファームウェア構成を示すブロック図である。
【図４】画像処理装置及び携帯端末装置の各ソフトウェアの関係を示す図である。
【図５】ポップアップ部が表示され画面の一例を示す図である。
【図６】ポップアップ部の表示位置の調整方法を説明するための図である。
【図７】ポップアップ部の表示可能領域の決定方法を説明するための図である。
【図８】画像形成装置と携帯端末装置で実行されるリモート画面の表示処理動作を示すフローチャートである。
【発明を実施するための形態】
【００３３】
以下、この発明の実施形態を図面に基づいて説明する。
【００３４】
図１は、この発明の一実施形態に係る表示処理装置としての画像形成装置が用いられた表示処理システムの構成図である。
【００３５】
この表示処理システムは、表示処理装置としての画像形成装置１と、スマートフォンやタブレット端末等からなる携帯端末装置２等を備え、これらの画像形成装置１と携帯端末装置２は、無線ＬＡＮルータ３、ネットワーク４を介して相互に接続可能となされている。なお、画像形成装置１と携帯端末装置２は、ＵＳＢインターフェース等により有線接続も可能であるが、この実施形態では、無線通信により相互に接続されるものとなされている。
【００３６】
この実施形態では、画像形成装置１としてコピー機能、プリント機能、スキャン機能、ファクシミリ機能等を備えた前述のＭＦＰが用いられている。以下、画像形成装置をＭＦＰとも記す。また、携帯端末装置を携帯端末とも記す。
【００３７】
図２は、前記ＭＦＰ１と携帯端末２の電気的な構成を示すブロック図である。
【００３８】
ＭＦＰ１は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３，スキャナ部１０４、プリント部１０５、記憶部１０６、操作パネル部１０７、ＷＩＦＩ（Wireless Fidelity）モジュール１０９、ＬＡＮ（Local Area Network）コントローラ１１０、ＵＳＢインターフェース（ＵＳＢＩ／Ｆ）１１１等を備えている。
【００３９】
前記ＣＰＵ１０１は、ＲＯＭ１０２等に記憶された動作プログラムに従って動作することにより、ＭＦＰ１の全体を統括的に制御するものである。例えば、ＭＦＰ１の各種機能を使用可能に制御するほか、この実施形態では、携帯端末２からの要求に基づいて、携帯端末２に表示するＭＦＰ１の操作画面の画面データを作成して携帯端末２に送信したり、携帯端末２から送信された操作情報に対応する次画面データを生成して携帯端末２に送信する。また、前記操作情報で示される操作が、ポップアップ部を表示させる操作であるかどうかを判断し、ポップアップ部を表示させる操作であると判断した場合は、ポップアップ部を含む次画面データを生成して携帯端末２に送信する等の処理を実行するが、これらの点については後述する。
【００４０】
前記ＲＯＭ１０２は、ＣＰＵ１０１の動作プログラム等を記憶するメモリであり、ＲＡＭ１０３はＣＰＵ１０１が動作プログラムに従って動作するときの作業領域を提供するメモリである。
【００４１】
前記スキャナ部１０４は、図示しないプラテンガラス上にセットされた原稿や、同じく図示しない自動原稿搬送装置にセットされた原稿の画像を読み取って、電子データである画像データを出力するものである。
【００４２】
前記プリント部１０５は、スキャナ部１０４により読み取られた原稿の画像データや、携帯端末２等から送信されたプリントデータを、用紙に印刷するものである。
【００４３】
前記記憶部１０６は、各種のデータやアプリケーション等を記憶するものであり、ハードディスク装置などが用いられている。特に、この実施形態では、操作パネル部１０７に表示される各種の操作画面の表示用データ（画面データ）が記憶されており、ユーザーの操作に応じた操作画面の表示用データがＣＰＵ１０１によって記憶部１０６から呼び出され、操作パネル部１０７に表示されたり、携帯端末２に送信される。また、スキャナ部１０４で読み取られた画像データからなる文書ファイルや、外部装置から送信された文書ファイル等の複数のファイルが保存されている。
【００４４】
操作パネル部１０７は、ＭＦＰ１を操作したりユーザーにメッセージ等を表示するものであり、スタートキー、テンキー等を有するキー部１０７ａと、液晶等のタッチパネルからなる表示部１０７ｂを備えている。
【００４５】
前記ＷＩＦＩモジュール１０９は、携帯端末２と無線接続するためのインターフェースであり、前記ＬＡＮコントローラ１１０は、パーソナルコンピュータや他のＭＦＰ等の外部装置との間の通信を制御するものである。
【００４６】
前記ＵＳＢインターフェース１１１は携帯端末２と有線接続するためのインターフェースである。
【００４７】
一方、携帯端末２には、スマートフォン、タブレット端末、電子ペーパー等が用いられる。携帯端末２は、ＣＰＵ２０１、ＲＡＭ２０２、記憶部２０３、表示部２０４ａ、操作部２０４ｂ、ＷＩＦＩモジュール２０５、ＬＡＮコントローラ２０６、ＵＳＢインターフェース２０７、ファイル処理部２０８ａ、２０８ｂ、連携部２０９等を備えている。
【００４８】
前記ＣＰＵ２０１は、携帯端末２の全体を統括的に制御するものであり、基本ソフトウェアであるＯＳ（Operating System）や、後述する連携アプリケーションあるいは汎用アプリケーションに従って動作する。
【００４９】
前記ＲＡＭ２０２は、ＣＰＵ２０１が動作プログラムに従って動作するときの作業領域となるメモリである。
【００５０】
前記記憶部２０３は、各種のデータやアプリケーション等を記憶するものであり、ハードディスク装置などが用いられている。この実施形態では、ＭＦＰ１から送信された画面データや、基本ＯＳ、連携アプリケーション、汎用アプリケーション等のプログラムを記憶している。なお、以下の説明ではアプリケーションを単にアプリともいう。
【００５１】
前記表示部２０４ａは液晶等のデバイスからなり、操作部２０４ｂは表示部２０４ａに設けられタッチ操作入力が可能なタッチパネルからなる。タッチ操作は通常、タッチした指の数や指の移動に応じて操作内容を規定するジェスチャー操作によって行われる。ジェスチャー操作の一例として、画面に表示された画像に対して、変倍（拡大または縮小）や回転等の編集加工を指示するためのピンチイン操作、ピンチアウト操作などを例示できる。
【００５２】
前記ＷＩＦＩモジュール２０５は、携帯端末２をＭＦＰ１と無線接続するためのインターフェースであり、前記ＬＡＮコントローラ２０６は、ユーザー端末等の外部装置との間の通信を制御するものである。また、前記ＵＳＢインターフェース２０７は、携帯端末装置２をＭＦＰ１と有線接続するためのインターフェースである。
【００５３】
前記ファイル処理部２０８ａ、２０８ｂは、ファイルに編集、転送あるいはメール配信等の処理を実施する。以下、ファイル処理部２０８ａ、２０８ｂをいずれもファイル処理部２０８と記す。
【００５４】
前記連携部２０９は、ＭＦＰ１と携帯端末２の間の機能連携を円滑に行うために、ＭＦＰ１の機能を使用できるようにするためのものである。具体的には、ＭＦＰ１のコピー機能、プリント機能、スキャン機能、ファクシミリ機能等を使用するためにＭＦＰ１の操作パネル部１０７に表示される画面と同じ画面を再生するための画面データ等を、ＭＦＰ１から受信してリモート画面として表示部２０４ａに表示したり、表示されたリモート画面をユーザが操作したときに、操作部２０４ｂにより画面（タッチパネル）上の操作位置の座標を検出し操作情報としてＭＦＰ１に送信する。ＭＦＰ１は前記操作位置の座標を解析することにより、ユーザの操作指示を特定し、操作指示に応じた動作を実行する。
【００５５】
また、表示部２０４ａにはＭＦＰ１から受信した画面データに基づくリモート画面の全部（全領域）を表示しているとは限らず、ジェスチャー操作に応じて拡大表示した様な場合にはリモート画面の一部が欠けた状態で表示している場合がある。ＭＦＰ１側では、送信した画面データの全部が表示されているのか、あるいは一部が欠けた状態でどのように表示されているのかを知る必要があり、携帯端末２に、「リモート画面の表示状態を示す情報」の送信要求を行う。
【００５６】
ＭＦＰ１からの要求に応じて連携部２０９は表示部２０４ａに表示している「リモート画面の表示状態を示す情報」をＭＦＰ１に送信する。「リモート画面の表示状態を示す情報」としては、例えば表示部２０４ａの表示領域の画面サイズ（縦横の表示画素数）、リモート画面の表示領域に対する表示位置や、その拡大率（拡大縮小率、アスペクト比固定可否)、の情報がある。
【００５７】
前記ファイル処理部２０８は、ＣＰＵ２０１が汎用アプリを実行することによりその機能が実現される。つまり、汎用アプリは各種ファイルを処理するファイル処理部２０８を実現するためのソフトウェアであり、例えばファイル編集用アプリ、ファイルを電子メールで配信する機能を有するアプリ、ウェブ上にファイルをストレージする機能を有するアプリ等、各種のアプリを用いることができる。
【００５８】
また、前記連携部２０９は、ＣＰＵ２０１が前述した連携アプリを実行することによりそれらの機能が実現される。つまり、連携アプリはＭＦＰ１と携帯端末２とのスムーズな機能連携を図るためのソフトウェアである。また、連携アプリと汎用アプリとの間で、ファイルの転送やダウンロードを行うことができる。
【００５９】
図３は、ＭＦＰ１と携帯端末２のファームウェア構成を示すブロック図である。
【００６０】
ＭＦＰ１は、アプリ層に、操作パネル（アプリ）１２１やオープンＡＰＩ（Open Application Program Interface）１２２等を備え、共通ＡＰＩ層に、共通ＡＰＩ（Common API）１２５やパネル表示画像生成部１２６等を備え、ハードウェア依存層に、パネル画面生成部１２３、パネル制御部１２４、携帯端末用制御部１２７等を備えている。
【００６１】
さらに、カーネル層に、パネル入力制御部１２９、パネルＬＣＤ制御部１３０、ＪＰＥＧコーダドライバ１３１等を備え、デバイス層に、操作パネル部１０７、ＵＳＢインターフェース部１１１、ＪＰＥＧ圧縮部１３３、ＷＩＦＩモジュール１０９等を備えている。
【００６２】
パネル画面生成部１２３は、携帯端末２から連携操作が行われた場合に、操作パネル部１０７に表示されるＭＦＰ１側の画面データを作成する。
【００６３】
パネル制御部１２４は操作パネル部１０７との通信状態の制御等を行う。また、パネル表示画像生成部１２６は、携帯端末２からの操作情報に基づいて、携帯端末２に表示される次画面データを生成するが、連携操作時に携帯端末２に表示されたリモート画面が携帯端末２側で拡大されており、かつ携帯端末２から通知された操作情報で示される操作がポップアップ部を表示させる操作である場合には、画像拡大状態でポップアップ部が携帯端末２の表示部２０４ａに表示されるように、次画面データを生成する。つまり、画像拡大状態でポップアップ部の一部または全部が携帯端末２の表示部２０４ａに表示されない場合は、ポップアップ部の位置を調整し、更に必要に応じてポップアップ部のサイズや形状等を変更する。
【００６４】
携帯端末用制御部１２７は、携帯端末２との連携処理時に、携帯端末２と通信を行うためのインターフェース等を制御する。
【００６５】
パネル入力制御部１２９は、操作パネル部１０７の操作入力に関する制御を行い、パネルＬＣＤ制御部１３０は、操作パネル部１０７の表示部１０７ｂの表示制御を行う。ＪＰＥＧ圧縮部１３３は、ＪＰＥＧコーダドライバ１３１を介して携帯端末用制御部１２７から送信されてきた画面データ等をＪＰＥＧ圧縮するものであり、圧縮されたデータはＵＳＢインターフェース１１１やＷＩＦＩモジュール１０９を介して、携帯端末２に送信される。
【００６６】
一方、携帯端末２は、画像表示アプリ２２１、表示画像生成アプリ２２２、ＪＰＥＧ展開アプリ２２３、ブラウザ等の各種アプリケーションを備えたアプリケーション層と、各種のマネージャー２２５、２２６等を備えたプラットフォーム層と、各種のライブラリ２２７及びカーネル２２８を備えたＯＳ層と、ハードウェア２２９によって構成されている。
【００６７】
前記ＪＰＥＧ展開アプリ２２３は、ＭＦＰ１から送信されてきた圧縮データを伸張するものである。
【００６８】
表示画像生成アプリ２２２は、携帯端末２の表示部２０４ａに表示されたリモート画面に対して、ユーザが画像の拡大・縮小操作等を行ったときに、現在表示され記憶部２０３に記憶されている画面データを用いて、自装置で編集加工を行い、表示部２０４に表示させるものである。
【００６９】
前記画像表示アプリ２２１は、ＭＦＰ１から送信されＪＰＥＧ展開アプリ２２３で伸張された画面データを用いて、ＭＦＰ１の画面をリモート画面として生成し表示部２０４に表示させるものである。
【００７０】
なお、この実施形態では、画像表示アプリ２２１、表示画像生成アプリ２２２、ＪＰＥＧ展開アプリ２２３は、連携アプリで実現される機能の一部として構成されている。
【００７１】
次に、ＭＦＰ１と携帯端末２を連携操作する場合の処理について説明する。
【００７２】
ユーザが携帯端末２をＭＦＰ１にネットワーク経由にて無線接続し、携帯端末２からＭＦＰ１をリモート操作しようとしている。携帯端末２とＭＦＰ１の連携操作は、ユーザーが携帯端末２にインストールされている連携アプリを起動することにより、開始される。
【００７３】
図４は、ＭＦＰ１及び携帯端末２の各ソフトウェアの関係を示すものであり、左側にＭＦＰ１側のソフトウェアを、右側に携帯端末２のソフトウェアをそれぞれ示す。
【００７４】
携帯端末２の連携アプリは、携帯端末２のＯＳと汎用のソフトウェアであるアプリソフトの中間に位置しており、ユーザの操作情報、携帯端末２との送受信データ、携帯端末２側の画面データを取得することができ、必要に応じてこれらのデータをＭＦＰ１へ送信することができる。つまり、携帯端末２の連携ソフトは、アプリの呼び出し等の携帯端末２側でのユーザ操作受付処理、ＭＦＰ１の操作画面表示用の画面データの受信・表示処理（携帯端末側操作画面処理）、連携操作関連処理等を実行する。連携操作関連処理としては、ユーザが操作部２０４ｂを介して行った操作の内容を示す操作情報のＭＦＰ１との通信等が挙げられる。
【００７５】
一方、ＭＦＰ１の連携アプリは、ＭＦＰ１側のＯＳやＭＦＰ１用のアプリソフトが全て自社設計／自社カスタマイズであって必要な情報をすべて得られる場合は、ＯＳ−アプリソフト間に位置しなくても良く、ＯＳやアプリソフトと独立でありながら、ＯＳやアプリソフトと通信することにより、必要な情報を入手してもよい。ＭＦＰ１の連携アプリは、アプリの呼び出し等のＭＦＰ１側のユーザ操作受付処理、携帯端末２へのＭＦＰ側画面データの送信処理（ＭＦＰ側操作画面処理）、連携操作関連処理等を実行する。連携操作関連処理としては、携帯端末２からの操作情報等の受信・実行処理等が挙げられる。
【００７６】
ユーザが携帯端末２の表示部２０４に表示された操作画面中のリモート操作アイコンを選択し、ＭＦＰ連携を指示すると、携帯端末２の連携ソフトは、登録されているＭＦＰ１への通信を行い、ＭＦＰ１の連携ソフトを呼び出し、画面データの取得を要求する。それにより、リモート操作モードが開始され、ＭＦＰ１から初期画面の画面データが転送効率の向上のためＪＰＥＧ等で圧縮された状態で携帯端末２に送信される。
【００７７】
携帯端末２は、受信したＭＦＰ側の画面データを表示部２０４ａにリモート画面として表示する。携帯端末２の表示部２０４ａの画面サイズがＭＦＰ１の表示部１０７ｂの画面サイズと異なる場合は、携帯端末２は自己の表示部２０４ａの画面サイズに合わせて画面データを調整し表示する。
【００７８】
なお、携帯端末２での画面表示と同時に、同一の画面をＭＦＰ１の表示部１０５ａに表示しても良いし、表示しなくても良い。
【００７９】
ユーザが携帯端末２に表示されているＭＦＰ１側の画面であるリモート画面をタッチ操作すると、タッチ操作が画面データの拡大・縮小を指示するジェスチャー操作であるか、通常のボタン操作であるかが判断される。そして、タッチ操作が画面データの拡大・縮小を指示するジェスチャー操作であると判断されると、指示された部位を拡大・縮小して表示部２０４ａに表示する。
【００８０】
一方、通常のボタン操作であると判断されると、携帯端末２は操作部２０４ｂ上のタッチ位置の座標データを操作情報としてＭＦＰ１に送信する。
【００８１】
ＭＦＰ１は受信した座標データからなる操作情報を解析して、画面上のどのボタンが押されたかを判定し、そのボタン押下に対応する次画面データを生成して携帯端末２に送信し、あるいはボタン押下に対応するジョブ処理等を実行する。携帯端末２は受信した次画面データを表示部２０４ｂに表示して画面を更新する。
【００８２】
こうして、携帯端末２によってＭＦＰ１をリモート操作することができる。
【００８３】
ところで、携帯端末２に表示されたリモート画面に対してユーザによりなされた操作が、別ウィンドウからなるポップアップ部を表示させる操作である場合がある。
【００８４】
ポップアップ部は画面表示領域の有効活用のため、ＭＦＰ１の機能設定を行う必要があるとき、例えば数値入力時等に表示される。図５は、このような数値入力時にポップアップ部４００が表示される場合を示すものであり、ＭＦＰ１の表示部１０７ｂに表示されている状態で示す。なお、どのような場面でポップアップ部３０１を表示させるかは限定されない。
【００８５】
図５（Ａ）に示すように、表示部１０７ｂには、数値入力エリア３００を有する画面Ｄ１が表示されている。この数値入力エリア３００をユーザがタッチすると、同図（Ｂ）の画面Ｄ２に示すように、ポップアップ部４００としてソフトテンキーからなる入力キーが表示される。なお、ソフトテンキーではなくソフトキーボード等の入力キーであっても良い。
【００８６】
ポップアップ部４００は、ＭＦＰ１の表示部１０７ｂにおいて、表示された数値入力エリア３００の隠蔽を防ぎかつユーザの視線移動が少なく操作しやすい位置に配置されるように、予め設定されており、この実施形態では例えば数値入力エリア３００の右側に配置される。
【００８７】
ユーザはポップアップ部４００に表示された入力キーを用いて数値入力エリア３００への数値入力が可能である。
【００８８】
図５では、ポップアップ部４００がＭＦＰ１の表示部１０７ｂに表示される場合を示したが、リモート操作時には、同一の画面がリモート画面として携帯端末２の表示部２０４ａに表示される。
【００８９】
ところが、ポップアップ部４００を表示させるための操作が行われる前の画面（図５（Ａ）の画面）が、携帯端末２側で拡大して表示されていた場合、ユーザがポップアップ部４００を表示させるための操作を行ったとしても、ポップアップ部４００が画面内に表示されない場合がある。これを図６で説明する。
【００９０】
図６（Ａ）は、ユーザがピンチ操作による画像拡大操作を行って、画像が拡大された状態の画面Ｄ３を示しており、拡大された結果、表示部２０４ａの表示領域にはリモート画面の一部が欠けた状態で表示されており、数値入力エリア３００よりも右側の一部が表示領域から外れている。
【００９１】
図６（Ｂ）に示すように、ユーザが拡大された画面において数値入力エリア３００をタッチすると、タッチ位置の座標データが操作情報としてＭＦＰ１に送信される。このとき、携帯端末２で画像が拡大されていることから、携帯端末２は現在の表示状態を示す拡大表示情報として、拡大率と中心座標を含む情報を操作情報と共にＭＦＰ１へ送信する。
【００９２】
ＭＦＰ１は、操作情報に対応してポップアップ部４００が表示された次画面データを生成する。生成された次画面データは、拡大されると数値入力エリア３００よりも右側の一部が携帯端末２の表示部２０４ａの表示領域から外れるが、図５（Ｂ）で示したように、ポップアップ部４００は数値入力エリア３００の右側に配置されるようにＭＦＰ１で予め設定されているから、このままでは図５（Ｃ）に破線×印で示すように、ポップアップ部４００のもその全部あるいは一部が携帯端末２の表示部２０４ａの表示領域から外れることになる。これでは、ユーザはポップアップ部４００を認識することができない恐れがあり、また数値入力操作を行うこともできない。
【００９３】
そこで、この実施形態では、拡大後のポップアップ部４００が携帯端末２の表示部２０４ａに表示されるように、ポップアップ部４００の表示位置を、例えば図６（Ｃ）の画面Ｄ４に示すように数値入力エリア３００の左側に移動調整した状態で、次画面データを生成する。
【００９４】
これによって、画像拡大状態でポップアップ部４００を携帯端末２に表示させることができ、ユーザはポップアップ部４００を確実に認識でき、数値入力を行うことができる。
【００９５】
ポップアップ部４００の表示位置の調整については、ポップアップ部４００のサイズ、画面全体のサイズ、画面の隠蔽不可エリア、画面内の表示領域の優先度、の少なくともいずれかに基づいて、ポップアップ部４００の表示可能領域を決定し、該決定した表示可能領域にポップアップ部４００を配置する。
【００９６】
これらのポップアップ部４００のサイズ、画面全体のサイズ、画面の隠蔽不可エリア、画面内の表示領域の優先度は、予め設定され記憶部１０６に記憶されている。
【００９７】
ポップアップ部４００の表示可能領域の決定方法の一例を、図７を用いて説明する。
【００９８】
図７において、画面全体のサイズは８００（横）×４８０（縦）ｄｏｔ、ポップアップ部４００のサイズは２００（横）×２４０（縦）ｄｏｔ、数値入カエリアのサイズは１６０（横）×６０（縦）ｄｏｔであり、数値入カエリアの中心が画面の中心に配置されている。
【００９９】
携帯端末２側で１．３３倍に拡大されたとすると、画面左上を座標原点（０，０）として、元の画像の６００（横）×３６０（縦）ｄｏｔの部分が表示部２０４ａに拡大表示され、画面の中心座標は（ｘ，ｙ）＝（３００，１８０）である。
【０１００】
ここで、数値入力エリア３００がポップアップ部４００で隠蔽されると、ユーザは入力された数値の確認を行えないため、数値入力エリア３００をポップアップ部４００で隠蔽することは好ましくない。また、拡大後の数値入力エリア３００の右側には、１２０ｄｏｔ（横）の表示可能領域しか無く、ポップアップ部４００を表示できない。
【０１０１】
一方、数値入力エリア３００の左側には拡大前と同様に３２０ｄｏｔ（横）の表示可能領域があるので、ポップアップ部４００の表示が可能であり、このため数値入力エリア３００の左側にポップアップ部４００を配置する。さらに、ポップアップ部４００の表示領域の優先度を加味する。ここでは、上下方向に表示可能領域が存在するためポップアップ部４００を上下にずらして配置できるが、ユーザの視線移動を軽減するために、数値入力エリア３００の中心線とポップアップ部４００の中心線を同じとしている。
【０１０２】
なお、図７の例では、数値入力エリア３００の左側にポップアップ部４００の表示可能領域が存在したが、数値入力エリア３００の左側の領域サイズが小さい場合、例えば１６０ｄｏｔ（横）の場合、ポップアップ部４００のサイズを例えば１５０（横）×１８０（縦）ｄｏｔに縮小して配置してもよい。また、縦方向に領域が小さい場合等は、ポップアップ部４００の形状を１５０（横）×１５０（縦）ｄｏｔ等のように変形させてもよい。
【０１０３】
また、ポップアップ部４００の表示位置を調整しても、画像拡大状態でポップアップ部４００を携帯端末２の表示部２０４ａに表示できない場合は、次画面データの送信と共に拡大率の変更を携帯端末２に通知しても良い。変更する拡大率はＭＦＰ１が決定する。この通知を受けた携帯端末２は、次画面データを通知された拡大率で拡大することにより、ポップアップ部４００を確実に表示することができる。
【０１０４】
また、ポップアップ部４００の表示位置を調整しても、画像拡大状態でポップアップ部４００を携帯端末２の表示部２０４ａに表示できない場合は、画面スクロールの要求を携帯端末２に通知しても良い。スクロール量はＭＦＰ１が決定する。この通知を受けた携帯端末２は、通知されたスクロール量だけ画像拡大後の画面をスクロールして表示することにより、ポップアップ部４００を確実に表示することができる。
【０１０５】
また、ポップアップ部４００の調整後の表示位置に隠蔽不可の画像が存在する場合は、ポップアップ部４００を透過表示させることにより、隠蔽不可の背景画像とポップアップ部４００のどちらも視認可能に構成するのが望ましい。
【０１０６】
また、ユーザが携帯端末２で画像を拡大したことは、画像を見えやすくするためであると考えられることから、ポップアップ部４００内の文字サイズを、画面中央部付近の最も小さい文字サイズに変更した上で、ポップアップ部４００のサイズを極力小さくして、ポップアップの表示位置の調整の自由度を増大し、調整を容易にしても良い。サイズが変更されたポップアップ部４００内の文字は、画像拡大後に、画面中央部付近の文字と同様の大きさに拡大表示され、見やすい大きさとなる。
【０１０７】
なお、ポップアップ部４００のサイズの変更、形状の変更、文字の変更等を任意に組み合わせて実行しても良い。
【０１０８】
次に、リモートモードにおいて、ＭＦＰ１と携帯端末２で実行されるリモート画面の表示処理動作を、図８のフローチャートを参照して説明する。なお、これらの動作はＭＦＰ１のＣＰＵ１０１及び携帯端末２のＣＰＵ２０１がそれぞれの動作プログラムに従って動作することにより実行される。
【０１０９】
携帯端末２からの画面取得要求に基づいて、ＭＦＰ１はステップＳ１０１で表示画面データを作成し、ステップＳ１０２で携帯端末２に転送する。
【０１１０】
このとき転送する画面データは、画像形成装置において操作画面として表示部１０７ｂに表示する画面データに基づいて作成される。作成する画面データのファイル形式は、基本的には携帯端末２のＯＳやアプリケーションに対応した固有のものではなく、画像形成装置の操作部に表示する操作用の画面データをそのまま、ＪＰＥＧ、ＴＩＦＦ等のイメージデータの汎用的なファイル形式に変換したものである。
【０１１１】
なお、ＭＦＰ１では、図８のフローチャートに先だって、あるいは逐次、携帯端末２の表示部２０４ａに表示している「リモート画面の表示状態を示す情報」を携帯端末２から受信している。
【０１１２】
携帯端末２はステップＳ２０１で、受信した画面データに基づくリモート画面を表示部２０４ａに表示する。
【０１１３】
ユーザがポップアップ部４００を表示させる操作を行うと、携帯端末２はステップＳ２０２で、操作部２０４ｂにおけるタッチパネル上の操作位置の座標データを取得し、ステップＳ２０３でその座標データを操作情報としてＭＦＰ１に通知する。
【０１１４】
操作情報を受信したＭＦＰ１は、ステップＳ１０３で操作情報を解析し、通常の処理に従い、操作に応じたポップアップ部４００を有する次画面データを生成する。そして、ステップＳ１０５で、生成した次画面データを携帯端末２に転送し、携帯端末２はステップＳ２０４で画面を更新する。
【０１１５】
ここまでが、携帯端末２でリモート画面に対する画像拡大操作が行われていない状態で、ポップアップ部４００を表示させる操作が行われたときの処理であり、通常の画面更新処理である。
【０１１６】
次に、ユーザによりリモート画面に対して画像拡大操作がなされると、携帯端末２はステップＳ２０５で、画像を拡大する。
【０１１７】
拡大後、リモート画面に対してユーザがポップアップ部４００を表示させる操作を行うと、携帯端末２はステップＳ２０６で、操作部２０４ｂにおけるタッチパネル上の操作位置の座標データを取得し、ステップＳ２０７で、その座標データからなる操作情報と、画像の拡大率及び中心座標を含む拡大表示情報とをＭＦＰ１に通知する。
【０１１８】
ＭＦＰ１はステップＳ１０６で、操作情報を解析して、ユーザに視認させる必要のあるポップアップ部４００を表示させる操作であるかどうかを判断する。さらに拡大表示情報から画像拡大状態での操作であることを認識する。ユーザに視認させる必要のあるポップアップ部４００とは、数値入力等ユーザが次の操作で確実に使用（タッチ）するポップアップ部４００である。ユーザに視認させる必要のないポップアップ部４００については、ポップアップ部４００の表示位置の調整を行うことなく前述したステップＳ１０４、ステップＳ２０４で説明した通常の処理を行う。ユーザに視認させる必要のあるポップアップ部４００かどうかは、予め設定されている。
【０１１９】
ユーザに視認させる必要のあるポップアップ部４００については、ステップＳ１０７で、携帯端末２で次画面が拡大表示されたときにポップアップ部４００も表示部２０４ａの画面内に表示されるように、ポップアップ部４００の次画面データ内での表示位置を調整し、さらにはポップアップ部４００のサイズや形状の変更、文字サイズの変更、ポップアップ部４００の透過表示の各必要性の有無を判断する。また、ポップアップ部４００の表示位置を調整しても画像拡大状態でポップアップ部４００を携帯端末２に表示できない場合の、拡大率の変更や画面スクロールの要求が必要であるかどうかも判断する。
【０１２０】
そして、ステップＳ１０８で、上述したポップアップ部４００の表示位置の調整結果や判断結果を反映して、次画面データを生成したのち、ステップＳ１０９で、携帯端末２に送信する。拡大率の変更や画面スクロールが必要である場合は、その旨の要求も併せて行う。
【０１２１】
携帯端末２は次画面データを受信すると、ステップＳ２０８で、該次画面データの画像を前画面と同じ拡大率で拡大し、表示部２０４ａに表示して画面を更新する。拡大率の変更や画面スクロールが要求されたときは、指定された拡大率で拡大しあるいは指定された量の画面スクロールを行い、ポップアップ部４００を確実に表示部２０４ａに表示する。
【０１２２】
このように、この実施形態では、画像拡大状態でポップアップ部４００が携帯端末２の表示部２０４ａに表示されるように、ＭＦＰ１によりポップアップ部４００の表示位置が調整されるから、携帯端末２の表示部２０４ａに拡大表示される次画面の表示領域内にポップアップ部４００を確実に表示させることができる。従って、ユーザは表示領域外に隠れているポップアップ部４００を表示するために、携帯端末２の画面をスクロール操作等する必要はなくなるとともに、ポップアップ部４００が表示されていることを確実に認識することができ、操作性を向上することができる。
【符号の説明】
【０１２３】
１        画像形成装置
２        携帯端末装置
１０１    ＣＰＵ
１０２    ＲＯＭ
１０４    スキャナ部
１０５    プリント部
１０６    記憶部
１０７    操作パネル部
１０７ｂ  表示部
１０９    ＷＩＦＩモジュール
１１１    ＵＳＢインターフェース
２０１    ＣＰＵ
２０２    ＲＡＭ
２０３    記憶部
２０４ａ  表示部
２０４ｂ  操作部
２０５    ＷＩＦＩモジュール
２０７    ＵＳＢインターフェース
２０９    連携部
３００    数値入力エリア
４００    ポップアップ部
【図１】
2014126955.tif 000003
【図２】
2014126955.tif 000004
【図３】
2014126955.tif 000005
【図４】
2014126955.tif 000006
【図５】
2014126955.tif 000007
【図６】
2014126955.tif 000008
【図７】
2014126955.tif 000009
【図８】
2014126955.tif 000010