(57)【要約】【課題】画像形成装置に関する操作において外部端末側の機能を容易に利用することが可能な画像形成システムおよびそれに関連する技術を提供する。【解決手段】画像形成システムは、画像形成装置と、画像形成装置との通信が可能な外部端末５０とを備える。外部端末５０は、操作画面ＧＳ１の情報である操作画面情報を画像形成装置から受信し、当該操作画面情報に基づいて操作画面をタッチパネル７５に表示する。操作画面情報は、外部端末５０の機能であって操作画面ＧＳ１内の入力欄に関する入力操作にて拡張機能として利用可能な機能である利用対象機能の種別情報を有する。タッチパネル７５は、当該種別情報に基づいて特定された利用対象機能（アドレス帳機能等）を利用して、入力欄に対する操作入力を受け付ける。【選択図】図９
2013150273.tif 000002
【特許請求の範囲】
【請求項１】
画像形成システムであって、
画像形成装置と、
前記画像形成装置との通信が可能な外部端末と、
を備え、
前記画像形成装置は、
操作画面の情報である操作画面情報を生成する生成手段と、
前記操作画面情報を前記外部端末に送信する送信手段と、
前記操作画面への入力情報を前記外部端末から受信する受信手段と、
を有し、
前記外部端末は、
前記画像形成装置から送信されてきた前記操作画面情報に基づいて、前記操作画面を表示する操作手段と、
前記操作手段に表示される前記操作画面を用いた操作入力に基づく操作入力情報を、前記画像形成装置に送信する通信手段と、
を有し、
前記操作画面は、入力欄を有し、
前記操作画面情報は、前記外部端末の機能であって前記入力欄に関する入力操作にて拡張機能として利用可能な機能である利用対象機能の種別情報を有し、
前記操作手段は、前記種別情報に基づいて特定された前記利用対象機能を利用して、前記入力欄に対する操作入力を受け付けることを特徴とする画像形成システム。
【請求項２】
請求項１に記載の画像形成システムにおいて、
前記操作手段は、前記利用対象機能による表示内容を有する部分操作画面を前記操作画面内に合成表示し、前記入力欄に対する操作入力を受け付けることを特徴とする画像形成システム。
【請求項３】
請求項２に記載の画像形成システムにおいて、
前記操作画面情報は、
前記入力欄の部品画像の情報である部品画像関連情報、
をさらに有し、
前記部品画像関連情報は、前記部品画像の位置に関する情報を有し、
前記操作手段は、前記部品画像関連情報に基づき、前記部分操作画面を前記操作画面内における前記部品画像の近傍位置に合成表示し、前記入力欄に対する操作入力を受け付けることを特徴とする画像形成システム。
【請求項４】
請求項３に記載の画像形成システムにおいて、
前記部品画像関連情報は、前記部品画像のサイズに関する情報をも有し、
前記操作手段は、前記部品画像関連情報に基づき前記部分操作画面の大きさを決定し、前記部分操作画面を前記操作画面に合成表示し、前記入力欄に対する操作入力を受け付けることを特徴とする画像形成システム。
【請求項５】
請求項２ないし請求項４のいずれかに記載の画像形成システムにおいて、
前記通信手段は、前記部分操作画面に対する操作入力の操作位置の情報を、前記画像形成装置と共通の座標系表現による位置情報に変換して、前記画像形成装置に向けて送信することを特徴とする画像形成システム。
【請求項６】
請求項５に記載の画像形成システムにおいて、
前記通信手段は、前記利用対象機能を利用して前記入力欄に入力された文字列情報を構成する複数の文字の情報をそれぞれ前記共通の座標系表現による仮想キーボード領域内の対応仮想キーの仮想位置情報に変換して、前記画像形成装置に向けて送信することを特徴とする画像形成システム。
【請求項７】
請求項１に記載の画像形成システムにおいて、
前記通信手段は、前記利用対象機能を利用して前記入力欄に入力された文字列情報を構成する複数の文字の情報をそれぞれ仮想キーボード領域内の対応仮想キーの仮想位置情報に変換して、前記画像形成装置に向けて送信することを特徴とする画像形成システム。
【請求項８】
請求項２に記載の画像形成システムにおいて、
前記操作手段は、
前記利用対象機能の呼出画像を前記操作手段に表示し、
前記操作手段に表示された前記呼出画像に対する操作入力が受け付けられると、前記部分操作画面を含む前記操作画面を表示することを特徴とする画像形成システム。
【請求項９】
請求項１に記載の画像形成システムにおいて、
前記利用対象機能は、アドレス帳機能を含むことを特徴とする画像形成システム。
【請求項１０】
請求項１に記載の画像形成システムにおいて、
前記利用対象機能は、文字入力パネル機能を含むことを特徴とする画像形成システム。
【請求項１１】
請求項１に記載の画像形成システムにおいて、
前記利用対象機能は、テンキーパネル機能を含むことを特徴とする画像形成システム。
【請求項１２】
画像形成装置であって、
操作画面の情報である操作画面情報を生成する生成手段と、
前記操作画面情報を外部端末に送信して、前記外部端末の操作手段に前記操作画面を表示させる送信手段と、
前記操作画面への入力情報を前記外部端末から受信する受信手段と、
を備え、
前記操作画面は、入力欄を有し、
前記操作画面情報は、前記外部端末の機能であって前記入力欄に関する入力操作にて拡張機能として利用可能な機能である利用対象機能の種別情報を有し、
前記送信手段は、前記種別情報を含む前記操作画面情報を前記外部端末に送信し、前記種別情報に基づいて特定された前記利用対象機能を利用して、前記入力欄に対する操作入力を前記操作手段に受け付けさせることを特徴とする画像形成装置。
【請求項１３】
画像形成装置の外部端末であって、
操作画面の情報である操作画面情報を前記画像形成装置から受信する受信手段と、
前記画像形成装置から送信されてきた前記操作画面情報に基づいて、前記操作画面を表示する操作手段と、
前記操作画面を用いて入力された操作入力情報を前記画像形成装置に送信する送信手段と、
を備え、
前記操作画面は、入力欄を有し、
前記操作画面情報は、前記外部端末の機能であって前記入力欄に関する入力操作にて拡張機能として利用可能な機能である利用対象機能の種別情報を有し、
前記操作手段は、前記種別情報に基づいて特定された前記利用対象機能を利用して、前記入力欄に対する操作入力を受け付けることを特徴とする外部端末。
【請求項１４】
画像形成装置の外部端末に内蔵されたコンピュータに、
ａ）操作画面の情報である操作画面情報を前記画像形成装置から受信するステップと、
ｂ）前記操作画面情報に基づいて、操作画面を表示するステップと、
ｃ）前記操作画面を用いて入力された操作入力情報を前記画像形成装置に送信するステップと、
を実行させるためのプログラムであって、
前記操作画面は、入力欄を有し、
前記操作画面情報は、前記外部端末の機能であって前記入力欄に関する入力操作にて拡張機能として利用可能な機能である利用対象機能の種別情報を有し、
前記ステップｂ）においては、前記種別情報に基づいて特定された前記利用対象機能を利用して、前記入力欄に対する操作入力が受け付けられることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＭＦＰ（マルチ・ファンクション・ペリフェラル（Multi-Functional Peripheral））などの画像形成装置を備える画像形成システム、およびそれに関連する技術に関する。
【背景技術】
【０００２】
画像形成装置を外部端末によって操作する技術が存在する。
【０００３】
たとえば、特許文献１においては、画像形成装置から外部端末へと操作画面データ自体（ビットマップ画像データ等）をそのまま送信して当該操作画面を外部端末の表示部に表示するとともに、当該操作画面内での操作位置情報（押下位置情報等）を送受信して操作画面内における操作入力を受け付ける技術が示されている。いわゆるリモート接続による操作入力技術である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０５−１２２４２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、外部端末の中には、アドレス帳などの種々の機能を有するものが存在する。そして、このような外部端末のアドレス帳などを利用することによれば、操作画面における操作性を向上させることが可能である。
【０００６】
しかしながら、上記のようなリモート接続による操作入力技術においては、外部端末は、操作画面を画像データとして表示しているに過ぎず、外部端末は当該操作画面の部品的な構成を知らない。そのため、外部端末における操作入力において、外部端末側の各種の機能（アドレス帳等）を利用することは困難である。
【０００７】
そこで、本発明は、画像形成装置に関する操作において外部端末側の機能を容易に利用することが可能な画像形成システムおよびそれに関連する技術を提供することを課題とする。
【課題を解決するための手段】
【０００８】
上記課題を解決すべく、請求項１の発明は、画像形成システムであって、画像形成装置と、前記画像形成装置との通信が可能な外部端末と、を備え、前記画像形成装置は、操作画面の情報である操作画面情報を生成する生成手段と、前記操作画面情報を前記外部端末に送信する送信手段と、前記操作画面への入力情報を前記外部端末から受信する受信手段と、を有し、前記外部端末は、前記画像形成装置から送信されてきた前記操作画面情報に基づいて、前記操作画面を表示する操作手段と、前記操作手段に表示される前記操作画面を用いた操作入力に基づく操作入力情報を、前記画像形成装置に送信する通信手段と、を有し、前記操作画面は、入力欄を有し、前記操作画面情報は、前記外部端末の機能であって前記入力欄に関する入力操作にて拡張機能として利用可能な機能である利用対象機能の種別情報を有し、前記操作手段は、前記種別情報に基づいて特定された前記利用対象機能を利用して、前記入力欄に対する操作入力を受け付けることを特徴とする。
【０００９】
請求項２の発明は、請求項１の発明に係る画像形成システムにおいて、前記操作手段は、前記利用対象機能による表示内容を有する部分操作画面を前記操作画面内に合成表示し、前記入力欄に対する操作入力を受け付けることを特徴とする。
【００１０】
請求項３の発明は、請求項２の発明に係る画像形成システムにおいて、前記操作画面情報は、前記入力欄の部品画像の情報である部品画像関連情報、をさらに有し、前記部品画像関連情報は、前記部品画像の位置に関する情報を有し、前記操作手段は、前記部品画像関連情報に基づき、前記部分操作画面を前記操作画面内における前記部品画像の近傍位置に合成表示し、前記入力欄に対する操作入力を受け付けることを特徴とする。
【００１１】
請求項４の発明は、請求項３の発明に係る画像形成システムにおいて、前記部品画像関連情報は、前記部品画像のサイズに関する情報をも有し、前記操作手段は、前記部品画像関連情報に基づき前記部分操作画面の大きさを決定し、前記部分操作画面を前記操作画面に合成表示し、前記入力欄に対する操作入力を受け付けることを特徴とする。
【００１２】
請求項５の発明は、請求項２ないし請求項４のいずれかの発明に係る画像形成システムにおいて、前記通信手段は、前記部分操作画面に対する操作入力の操作位置の情報を、前記画像形成装置と共通の座標系表現による位置情報に変換して、前記画像形成装置に向けて送信することを特徴とする。
【００１３】
請求項６の発明は、請求項５の発明に係る画像形成システムにおいて、前記通信手段は、前記利用対象機能を利用して前記入力欄に入力された文字列情報を構成する複数の文字の情報をそれぞれ前記共通の座標系表現による仮想キーボード領域内の対応仮想キーの仮想位置情報に変換して、前記画像形成装置に向けて送信することを特徴とする。
【００１４】
請求項７の発明は、請求項１の発明に係る画像形成システムにおいて、前記通信手段は、前記利用対象機能を利用して前記入力欄に入力された文字列情報を構成する複数の文字の情報をそれぞれ仮想キーボード領域内の対応仮想キーの仮想位置情報に変換して、前記画像形成装置に向けて送信することを特徴とする。
【００１５】
請求項８の発明は、請求項２の発明に係る画像形成システムにおいて、前記操作手段は、前記利用対象機能の呼出画像を前記操作手段に表示し、前記操作手段に表示された前記呼出画像に対する操作入力が受け付けられると、前記部分操作画面を含む前記操作画面を表示することを特徴とする。
【００１６】
請求項９の発明は、請求項１の発明に係る画像形成システムにおいて、前記利用対象機能は、アドレス帳機能を含むことを特徴とする。
【００１７】
請求項１０の発明は、請求項１の発明に係る画像形成システムにおいて、前記利用対象機能は、文字入力パネル機能を含むことを特徴とする。
【００１８】
請求項１１の発明は、請求項１の発明に係る画像形成システムにおいて、前記利用対象機能は、テンキーパネル機能を含むことを特徴とする。
【００１９】
請求項１２の発明は、画像形成装置であって、操作画面の情報である操作画面情報を生成する生成手段と、前記操作画面情報を外部端末に送信して、前記外部端末の操作手段に前記操作画面を表示させる送信手段と、前記操作画面への入力情報を前記外部端末から受信する受信手段と、を備え、前記操作画面は、入力欄を有し、前記操作画面情報は、前記外部端末の機能であって前記入力欄に関する入力操作にて拡張機能として利用可能な機能である利用対象機能の種別情報を有し、前記送信手段は、前記種別情報を含む前記操作画面情報を前記外部端末に送信し、前記種別情報に基づいて特定された前記利用対象機能を利用して、前記入力欄に対する操作入力を前記操作手段に受け付けさせることを特徴とする。
【００２０】
請求項１３の発明は、画像形成装置の外部端末であって、操作画面の情報である操作画面情報を前記画像形成装置から受信する受信手段と、前記画像形成装置から送信されてきた前記操作画面情報に基づいて、前記操作画面を表示する操作手段と、前記操作画面を用いて入力された操作入力情報を前記画像形成装置に送信する送信手段と、を備え、前記操作画面は、入力欄を有し、前記操作画面情報は、前記外部端末の機能であって前記入力欄に関する入力操作にて拡張機能として利用可能な機能である利用対象機能の種別情報を有し、前記操作手段は、前記種別情報に基づいて特定された前記利用対象機能を利用して、前記入力欄に対する操作入力を受け付けることを特徴とする。
【００２１】
請求項１４の発明は、画像形成装置の外部端末に内蔵されたコンピュータに、ａ）操作画面の情報である操作画面情報を前記画像形成装置から受信するステップと、ｂ）前記操作画面情報に基づいて、操作画面を表示するステップと、ｃ）前記操作画面を用いて入力された操作入力情報を前記画像形成装置に送信するステップと、を実行させるためのプログラムであって、前記操作画面は、入力欄を有し、前記操作画面情報は、前記外部端末の機能であって前記入力欄に関する入力操作にて拡張機能として利用可能な機能である利用対象機能の種別情報を有し、前記ステップｂ）においては、前記種別情報に基づいて特定された前記利用対象機能を利用して、前記入力欄に対する操作入力が受け付けられることを特徴とする。
【発明の効果】
【００２２】
請求項１ないし請求項１１に記載の発明によれば、操作画面情報は、外部端末に設けられた機能であって入力欄に関する操作入力で拡張機能として利用可能な機能（利用対象機能）の種別情報を有し、操作手段は、当該種別情報に基づいて特定された利用対象機能を利用して、入力欄に対する操作入力を受け付けるので、画像形成装置に関する操作において外部端末側の機能を容易に利用することが可能である。
【００２３】
請求項１２に記載の発明によれば、操作画面情報は、外部端末に設けられた機能であって入力欄に関する操作入力で拡張機能として利用可能な機能（利用対象機能）の種別情報を有し、送信手段は、当該種別情報を含む操作画面情報を外部端末に送信し、当該種別情報に基づいて特定された利用対象機能を利用して、入力欄に対する操作入力を操作手段に受け付けさせるので、画像形成装置に関する操作において外部端末側の機能を容易に利用することが可能である。
【００２４】
請求項１３および請求項１４に記載の発明によれば、操作画面情報は、外部端末に設けられた機能であって入力欄に関する操作入力で拡張機能として利用可能な機能（利用対象機能）の種別情報を有し、操作手段は、当該種別情報に基づいて特定された利用対象機能を利用して、入力欄に対する操作入力を受け付けるので、画像形成装置に関する操作において外部端末側の機能を容易に利用することが可能である。
【図面の簡単な説明】
【００２５】
【図１】画像形成システムを示す図である。
【図２】画像形成装置の機能ブロックを示す図である。
【図３】外部端末の機能ブロックを示す図である。
【図４】画像形成システムの動作を示す図である。
【図５】外部端末の動作を示すフローチャートである。
【図６】画像形成装置の動作を示すフローチャートである。
【図７】画像形成装置の操作部の正面図である。
【図８】外部端末の正面図である。
【図９】アドレス帳機能を利用した操作画面を示す図である。
【図１０】アドレス入力後における外部端末の操作画面を示す図である。
【図１１】アドレス入力後における画像形成装置の操作部を示す図である。
【図１２】基準座標系（共通座標系）を示す図である。
【図１３】部品画像関連情報を示す図である。
【図１４】部分操作画面を示す図である。
【図１５】部分画像を示す図である。
【図１６】拡張機能呼出キー画像を有する操作画面を示す図である。
【図１７】文字入力パネル機能を利用した操作画面を示す図である。
【発明を実施するための形態】
【００２６】
以下、本発明の実施形態を図面に基づいて説明する。
【００２７】
＜１．構成＞
＜１−１．概要＞
図１は、画像形成システム１を示す図である。図１に示すように、画像形成システム１は、画像形成装置１０と外部端末装置５０とを備える。
【００２８】
画像形成装置１０と外部端末装置（単に外部端末とも称する）５０とは、ネットワークＮＷを介して互いに通信可能に接続される。ネットワークＮＷは、ＬＡＮ（Local Area Network）およびインターネットなどによって構成される。たとえば、画像形成装置１０と外部端末５０とはネットワークＮＷ（無線ＬＡＮ等を含む）を介して無線接続される。
【００２９】
外部端末５０は、画像形成装置１０を操作（遠隔操作）することが可能な装置である。画像形成システム１におけるユーザは、画像形成装置１０に対する各種の操作を外部端末５０を用いて行うことが可能である。なお、外部端末５０は、操作装置（ないし遠隔操作装置）などとも称される。
【００３０】
＜１−２．画像形成装置１０の構成＞
図２は、画像形成装置１０の機能ブロックを示す図である。ここでは、画像形成装置１０として、ＭＦＰ（マルチ・ファンクション・ペリフェラル（Multi-Functional Peripheral））を例示する。図２においては、ＭＦＰ１０の機能ブロックが示されている。
【００３１】
ＭＦＰ１０は、スキャン機能、コピー機能、ファクシミリ機能およびボックス格納機能などを備える装置（複合機とも称する）である。具体的には、ＭＦＰ１０は、図２の機能ブロック図に示すように、画像読取部２、印刷出力部３、通信部４、格納部５、操作部６、およびコントローラ９等を備えており、これらの各部を複合的に動作させることによって、各種の機能を実現する。
【００３２】
画像読取部２は、ＭＦＰ１０の所定の位置に載置された原稿を光学的に読み取って（すなわちスキャンして）、当該原稿の画像データ（原稿画像なしいスキャン画像とも称する）を生成する処理部である。この画像読取部２は、スキャン部であるとも称される。
【００３３】
印刷出力部３は、印刷対象に関するデータに基づいて紙などの各種の媒体に画像を印刷出力する出力部である。
【００３４】
通信部４は、公衆回線等を介したファクシミリ通信を行うことが可能な処理部である。さらに、通信部４は、ネットワークＮＷを介したネットワーク通信を行うことも可能である。このネットワーク通信では、たとえば、ＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）等の各種のプロトコルが利用される。当該ネットワーク通信を利用することによって、ＭＦＰ１０は、所望の相手先（たとえば、外部端末５０）との間で各種のデータを授受することが可能である。通信部４は、送信部および受信部を有する。
【００３５】
格納部５は、ハードディスクドライブ（ＨＤＤ）等の記憶装置で構成される。格納部５は、印刷ジョブに係るデータ等を記憶する。
【００３６】
操作部６は、ＭＦＰ１０に対する入力を受け付ける操作入力部６ａと、各種情報の表示出力を行う表示部６ｂとを備えている。このＭＦＰ１０においては、液晶表示パネルに圧電センサ等が埋め込まれて構成されたタッチパネル（タッチスクリーンとも称する）２５（図１参照）が設けられている。このタッチパネル２５は、操作入力部６ａの一部としても機能するとともに、表示部６ｂの一部としても機能する。
【００３７】
コントローラ９は、ＭＦＰ１０に内蔵され、ＭＦＰ１０を統括的に制御する制御装置である。コントローラ９は、ＣＰＵおよび各種の半導体メモリ（ＲＡＭおよびＲＯＭ）等を備えるコンピュータシステムとして構成される。コントローラ９は、ＣＰＵにおいて、ＲＯＭ（例えば、ＥＥＰＲＯＭ）内に格納されている所定のソフトウエアプログラム（以下、単にプログラムとも称する）ＰＧ１を実行することによって、各種の処理部を実現する。なお、当該プログラム（詳細にはプログラムモジュール群）ＰＧ１は、ＵＳＢメモリなどの可搬性の記録媒体、あるいはネットワークＮＷ等を介してＭＦＰ１０にインストールされてもよい。
【００３８】
具体的には、図２に示すように、コントローラ９は、プログラムＰＧ１の実行により、通信制御部１１とデータ生成部１３と表示制御部１５と動作制御部１７とを含む各種の処理部を実現する。
【００３９】
通信制御部１１は、他の装置（外部端末５０等）との間の通信動作を制御する処理部である。
【００４０】
データ生成部１３は、タッチパネル２５で表示される操作画面の情報である操作画面情報を生成する処理部である。データ生成部１３は、タッチパネル７５で表示される操作画面の情報である操作画面情報をも生成する。
【００４１】
表示制御部１５は、画像形成装置１０のタッチパネル２５における表示内容を制御する処理部である。表示制御部１５は、外部端末５０のタッチパネル７５における表示内容をも制御する。具体的には、表示制御部１５は、通信部４および通信制御部１１を用いて外部端末５０と通信し、外部端末５０の表示制御部６５等とも協働してタッチパネル７５の表示内容を制御する。
【００４２】
動作制御部１７は、画像形成装置１０における印刷出力動作などの各種動作を制御する。動作制御部１７は、画像形成装置１０自身の操作部６を用いた操作入力、および外部端末５０の操作部５６を用いた操作入力に基づいて、各種動作を制御する。
【００４３】
＜１−３．外部端末５０の構成＞
次に外部端末５０の構成について説明する。ここでは、外部端末５０として、タブレット型端末（携帯端末）を例示する。ただし、これに限定されず、外部端末５０は、スマートフォンであってもよく、パーソナルコンピュータなどであってもよい。また、外部端末５０は、携帯式の装置であってもよく、据置型の装置であってもよい。
【００４４】
図３は、外部端末５０の概略構成を示す機能ブロック図である。
【００４５】
外部端末５０は、図３の機能ブロック図に示すように、通信部５４、格納部５５、操作部５６およびコントローラ５９等を備えており、これらの各部を複合的に動作させることによって、各種の機能を実現する。
【００４６】
通信部５４は、ネットワークＮＷを介したネットワーク通信を行うことが可能である。このネットワーク通信では、たとえば、ＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）等の各種のプロトコルが利用される。当該ネットワーク通信を利用することによって、外部端末５０は、所望の相手先（画像形成装置１０等）との間で各種のデータを授受することが可能である。通信部５４は、送信部および受信部を有する。
【００４７】
通信部５４は、画像形成装置１０に関する操作情報等を画像形成装置１０との間で授受する。たとえば、通信部５４（詳細にはその受信部）は、操作画面情報ＭＳを画像形成装置１０から受信する。また、通信部５４（詳細にはその送信部）は、外部端末５０の操作部５６により受け付けられた操作入力情報ＥＭを画像形成装置１０へと送信する。
【００４８】
格納部５５は、不揮発性の半導体メモリ等の記憶装置で構成される。格納部５５は、画面データ格納部５５ｃを有する。
【００４９】
操作部５６は、外部端末５０に対する入力を受け付ける操作入力部５６ａと、各種情報の表示出力を行う表示部５６ｂとを備えている。この外部端末５０においては、液晶表示パネルに圧電センサ等が埋め込まれて構成されたタッチパネル（タッチスクリーン）７５（図１参照）が設けられている。このタッチパネル７５は、操作入力部５６ａの一部としても機能するとともに、表示部５６ｂの一部としても機能する。
【００５０】
後述するように、表示部５６ｂ（タッチパネル７５）には、画像形成装置１０の操作部６に類似する画面を表す画像（図８〜図１０等参照）が表示される。
【００５１】
コントローラ５９は、外部端末５０に内蔵され、外部端末５０を統括的に制御する制御装置である。コントローラ５９は、ＣＰＵおよび各種の半導体メモリ（ＲＡＭおよびＲＯＭ）等を備えるコンピュータシステムとして構成される。コントローラ５９は、ＣＰＵにおいて、記憶部（半導体メモリ等）内に格納されている所定のソフトウエアプログラム（以下、単にプログラムとも称する）ＰＧ２を実行することによって、各種の処理部を実現する。なお、当該プログラムＰＧ２は、ＵＳＢメモリなどの可搬性の記録媒体、あるいはネットワークＮＷ等を介して外部端末５０にインストールされるようにしてもよい。
【００５２】
プログラムＰＧ２は、画像形成装置１０を操作（遠隔操作）するアプリケーションソフトウエアであり、画像形成装置１０の操作に関する諸機能を実現する。
【００５３】
具体的には、図３に示すように、コントローラ５９は、プログラムＰＧ２の実行により、通信制御部６１と表示制御部６５とを含む各種の処理部を実現する。
【００５４】
通信制御部６１は、通信部５４等と協働して、画像形成装置１０等との通信動作を制御する処理部である。
【００５５】
表示制御部６５は、表示部５６ｂ（タッチパネル７５等）における表示動作を制御する処理部である。たとえば、表示制御部６５は、画像形成装置１０を遠隔操作するための操作画面ＧＳを生成し、当該操作画面ＧＳをタッチパネル７５に表示する。
【００５６】
＜１−４．画像形成装置１０の操作部の構成＞
図７は、画像形成装置１０の操作部６（図１参照）の詳細構成を示す正面図である。図７に示すように、操作部６は、その正面側に矩形状のタッチパネル２５を有している。タッチパネル２５においては、各種のメニュー画像（キー画像等を含む）が表示される。操作者は、タッチパネル２５内に仮想的に配置されるキー（キー画像（ボタン画像とも称する）で表現されるソフトウエアキー（ソフトウエアボタンとも称する））を押下することによって、各種の操作入力を画像形成装置１０に対して付与し、画像形成装置１０の各種動作内容を設定することなどが可能である。なお、タッチパネル２５の周囲（ここでは右側および下側）には、電源キー、メニューキー、スタートキーおよびリセットキーなどのハードウエアキー（ハードウエアボタンとも称する）が設けられている。操作者は、これらのハードウエアキーを押下することによっても、各種の操作入力を画像形成装置１０に対して付与すること等が可能である。
【００５７】
＜１−５．外部端末５０の操作部の構成＞
図８は、外部端末５０（詳細には操作部５６）の詳細構成を示す正面図である。図８に示すように、外部端末５０は、その正面に操作部５６を備えている。具体的には、略板状の外部端末５０の正面側において、その周縁部（枠部）を除くほぼ全面にわたって矩形状のタッチパネル７５が設けられている。
【００５８】
ここにおいて、図７および図８は、「スキャンtoメール」動作（スキャン動作により生成した電子文書を電子メールに添付し、当該電子メールを送信する動作）における設定画面を示す図である。
【００５９】
また、図８に示すように、外部端末５０が画像形成装置１０に通信接続された状態においては、外部端末５０の操作部５６内のタッチパネル７５には、画像形成装置１０の操作部６（図７参照）を表す操作画面ＧＳ（ＧＳ１）が表示される。
【００６０】
操作画面ＧＳは、タッチパネル画像ＧＡとハードウエア画像ＧＢと部品画像ＧＰとを備えて構成される。
【００６１】
タッチパネル画像ＧＡ内には、タッチパネル２５内の画像と同様に、ソフトウエアキーが設けられている。当該ソフトウエアキーを用いた操作入力が受け付けられると、外部端末５０は、操作入力情報ＥＭ（詳細には、押下位置情報等）を画像形成装置１０に送信する。画像形成装置１０は、当該操作入力情報ＥＭを受信すると、当該ソフトウエアキーを用いた操作入力に対応する処理を実行する。具体的には、画像形成装置１０は、タッチパネル２５内にて押下されたソフトウエアキーを押下位置情報に基づいて特定し、当該ソフトウエアキーの押下に予め割り当てられている処理を実行する。たとえば、画像ＧＡ内の送信キーＧＱ（図１０も参照）が押下されると、送信キーＧＱに対する押下位置の位置情報が外部端末５０から画像形成装置１０に送信され、画像形成装置１０は受信した位置情報に基づいて、送信キーＧＱに対応する指示（すなわちメール送信指示）が付与されたものと判断して、メール送信処理を実行する。
【００６２】
ハードウエア画像ＧＢ内には、画像形成装置１０の操作部６内のハードウエアキーを模したハードウエアキー画像等が表示される。ハードウエア画像ＧＢ内のハードウエアキー画像に対する押下操作が受け付けられると、外部端末５０は、操作入力情報ＥＭ（詳細には、押下位置情報等）を画像形成装置１０に送信する。画像形成装置１０は、当該操作入力情報ＥＭを受信すると、当該ハードウエアキー画像を用いた操作入力に対応する処理を実行する。具体的には、画像形成装置１０は、タッチパネル２５内にて押下されたハードウエアキー画像を押下位置情報に基づいて特定し、当該ハードウエアキー画像の押下に予め割り当てられている処理を実行する。なお、このようなハードウエアキー画像もソフトウエアキーと称される。
【００６３】
たとえば、ハードウエア画像ＧＢ内のリセットキーＧＲが押下されると、リセットキーＧＲに対する押下位置の位置情報が外部端末５０から画像形成装置１０に送信され、画像形成装置１０は、受信した位置情報に基づいて、リセットキーＧＲに対応する指示（すなわちリセット処理（メール送信の解除指示））が付与されたものとみなして、メール送信の解除処理を実行する。
【００６４】
また、操作画面ＧＳ内には部品画像ＧＰも配置されている。この部品画像ＧＰについては後述する。
【００６５】
なお、ここでは、操作画面ＧＳ内において、部品画像ＧＰ以外の領域が２つの画像ＧＡ，ＧＢによって主に構成される態様が例示されるが、これに限定されない。部品画像ＧＰ以外の領域は、さらに多数の画像によって構成されるようにしてもよく、あるいは、逆に、単一の画像で構成されるようにしてもよい。
【００６６】
＜２．動作＞
図４は、画像形成システム１の動作を示す図である。図４を参照しながら、画像形成システム１の動作について説明する。
【００６７】
まず、外部端末５０にてプログラムＰＧ２が起動される（ステップＳ１）と、外部端末５０から画像形成装置１０へと接続要求が送信される。画像形成装置１０は、当該接続要求に応じて外部端末５０との間で接続処理を実行する（ステップＳ２）。これにより、画像形成装置１０と外部端末５０との通信接続が確立される。
【００６８】
その後、画像形成装置１０は、外部端末５０のタッチパネル７５で表示される操作画面の情報（操作画面情報ＭＳ）を生成し、外部端末５０へと操作画面情報ＭＳを送信する（ステップＳ３）。外部端末５０は、画像形成装置１０から送信されてきた操作画面情報ＭＳに基づいて、操作画面をタッチパネル７５に表示する（ステップＳ４）。
【００６９】
そして、操作者がタッチパネル７５に表示された操作画面ＧＳを用いて操作入力を行うと、外部端末５０は、当該操作入力に基づく操作入力情報ＥＭを画像形成装置１０に送信する（ステップＳ５）。画像形成装置１０は、当該操作入力情報ＥＭを受信し、当該操作入力情報ＥＭに応じた処理（次の設定画面への遷移動作等）を実行する（ステップＳ６）。具体的には、画像形成装置１０は、外部端末５０のタッチパネル７５で表示される次の操作画面の情報（操作画面情報）ＭＳを生成し、外部端末５０へと当該操作画面情報ＭＳを送信する。そして、外部端末５０は、画像形成装置１０から送信されてきた操作画面情報ＭＳに基づいて、操作画面をタッチパネル７５に表示する（ステップＳ７）。
【００７０】
以後、ステップＳ５〜Ｓ７の処理が繰り返し実行される。たとえば、「スキャンtoメール」動作（スキャン動作により生成した電子文書を電子メールに添付し、当該電子メールを送信する動作）における画面遷移においては、或る時点で、図７のような操作画面がタッチパネル２５に表示される。また、同時点において、画像形成装置１０からの操作画面情報ＭＳに基づき、図８に示すような操作画面ＧＳ１がタッチパネル７５に表示される。上述したように、図７は、画像形成装置１０の操作部６を示す図であり、図８は、外部端末５０の操作部５６を示す図である。以下では、これらの図に示す操作画面が表示されている状況を中心に説明する。
【００７１】
図５および図６は、ステップＳ５〜Ｓ７の動作を示す詳細なフローチャートである。図５は、外部端末５０の動作を示すフローチャートであり、図６は、画像形成装置１０の動作を示すフローチャートである。以下では、図５および図６を参照しつつ、当該動作について詳細に説明する。
【００７２】
ここでは、操作画面ＧＳ１（図８参照）がタッチパネル７５に表示されている状況を想定する。
【００７３】
この操作画面ＧＳ１は、タッチパネル画像ＧＡ（ＧＡ１）とハードウエア画像ＧＢ（ＧＢ１）と部品画像ＧＰ（ＧＰ１〜ＧＰ５）とを備えて構成される。この操作画面ＧＳ１は、ステップＳ５の処理の直前の処理（ステップＳ４あるいはステップＳ７）において受信された操作画面情報ＭＳに基づいてタッチパネル７５に表示される。操作画面の情報（操作画面情報）ＭＳは、各画像ＧＡ，ＧＢ，ＧＰの情報ＭＡ，ＭＢ，ＭＰ（次述）を有して構成される。なお、ここでは、当該操作画面ＧＳは、画像形成装置１０の操作部６を模した画面として形成されている。
【００７４】
タッチパネル画像ＧＡは、画像形成装置１０のタッチパネル２５に関する画像（操作用画像）であり、タッチパネル２５における表示画像と同様の画像である。図８に示すように、タッチパネル画像ＧＡ（ＧＡ１）は、タッチパネル７５の一部領域（ここではタッチパネル７５内の中央部から上部にわたる比較的広範囲の領域）に表示される。タッチパネル画像ＧＡ１は、基準座標系（Ｘ−Ｙ）（図１２参照）における当該タッチパネル画像ＧＡ１の位置情報と、当該タッチパネル画像ＧＡ１の大きさ情報とを含む情報（タッチパネル画像関連情報）ＭＡに付随して送信される。位置情報は、たとえば、矩形形状を有する画像ＧＡ１の左上端の座標位置の情報を含む。また、大きさ情報は、たとえば、矩形形状を有する画像ＧＡ１の水平方向長さおよび垂直方向長さの情報を含む。
【００７５】
ハードウエア画像ＧＢ（ＧＢ１）は、操作部６のハードウエア構成を模した画像である。図８のハードウエア画像ＧＢ１は、タッチパネル画像ＧＡを除いた部分で構成されている。詳細には、ハードウエア画像ＧＢ１は、操作部６のハードウエア構成を模した背景画像（タッチパネル２５の周囲の枠部を模した画像等）と操作部６のハードウエアキー（電源キー、スタートキー、ストップキー、リセットキー、メニューキー等）を模したハードウエアキー画像とを有して構成されている。ハードウエア画像ＧＢ１は、基準座標系における当該画像ＧＢ１の位置情報と、当該画像ＧＢ１の大きさ情報とを含む情報（ハードウエア画像関連情報）に付随して送信される。
【００７６】
また、部品画像（パーツ画像とも称する）ＧＰ（ＧＰ１〜ＧＰ５）は、操作画面ＧＳ内の部分画像である。詳細には、部品画像ＧＰ１〜ＧＰ５は、入力欄に関する部品画像（入力パーツ画像）である。より詳細には、部品画像ＧＰ１は、文書名の入力欄に関する矩形状の画像であり、部品画像ＧＰ２は、件名の入力欄に関する矩形状の画像である。また、部品画像ＧＰ３は、メール送信先の入力欄に関する矩形状の画像であり、部品画像ＧＰ４は、メール件名の入力欄に関する矩形状の画像であり、部品画像ＧＰ５は、メール本文の入力欄に関する矩形状の画像である。
【００７７】
部品画像ＧＰは、部品画像に関連する情報（部品画像関連情報）ＭＰに付随して送信される。
【００７８】
図１３は、各部品画像ＧＰに関連付けられて画像形成装置１０から外部端末５０へ送信される部品画像関連情報ＭＰを示す図である。
【００７９】
図１３に示すように、各部品画像関連情報ＭＰは、当該部品画像ＧＰの合成先の位置情報（座標情報）と当該部品画像ＧＰの大きさ情報とを有している。位置情報は、たとえば、矩形形状を有する画像ＧＰの左上端の座標位置（Ｘ，Ｙ）の情報を含む。また、大きさ情報は、たとえば、矩形形状を有する画像ＧＰの水平方向長さＨおよび垂直方向長さＶの情報を含む。
【００８０】
さらに、各部品画像関連情報ＭＰは、各部品画像ＧＰの「属性情報」と「詳細属性情報」と「拡張機能情報」とを有している。属性情報は、たとえば「文字入力」属性、「呼出キー」属性などの各種の部品属性を示す情報を含む。詳細属性情報は、属性情報に関する詳細属性（下位属性）を示す情報である。たとえば、「文字入力」属性を有する部品画像に関する詳細な属性情報（たとえば、「英数字」、「数字」、「メールアドレス」、「ＰＣアドレス（ＩＰアドレス）」等）が詳細属性情報として記録される。また、拡張機能情報は、外部端末５０の所有機能（端末側機能）であってその部品画像を用いた入力欄に関する入力操作にて拡張機能（入力支援機能）として利用可能な機能（利用対象機能とも称する）の種別（機能属性値）を示す情報（種別情報）である。たとえば、外部端末５０における既存の入力支援機能（「文字入力パネル」、「テンキーパネル」、「メールアドレス帳」、「ＰＣアドレス帳（ＩＰアドレス帳）」）が、拡張機能情報（種別情報）として記録される。
【００８１】
図１３に示すように、この操作画面情報ＭＳには、部品画像ＧＰ１は「文字入力」属性および「英数字」詳細属性を有し且つ外部端末５０における既存の入力支援機能「文字入力パネル」を利用可能である旨、が記述されている。部品画像ＧＰ２，ＧＰ５についても同様である。また、操作画面情報ＭＳには、部品画像ＧＰ３が「文字入力」属性および「メールアドレス」詳細属性を有し且つ外部端末５０における既存の入力支援機能「メールアドレス帳」を利用可能である旨、も記述されている。部品画像ＧＰ４についても同様である。
【００８２】
なお、これに限定されず、たとえば、「文字入力」属性および「数字」詳細属性を有する部品画像ＧＰに対しては、外部端末５０における既存の入力支援機能「テンキーパネル」を利用可能である旨、が記述されてもよい。あるいは、「文字入力」属性および「ＰＣアドレス（ＩＰアドレス）」詳細属性を有する部品画像ＧＰに対しては、外部端末５０における既存の入力支援機能「ＰＣアドレス帳（ＩＰアドレス帳）」を利用可能である旨、が記述されてもよい。
【００８３】
このような操作画面ＧＳ１がタッチパネル７５に表示されている状態（図８参照）において、操作者が操作入力を行うと、外部端末５０はタッチパネル７５に対する操作入力を検知する（ステップＳ１１（図５））。そして、操作入力に関する操作入力情報ＥＭが生成される。より詳細には、操作入力位置（座標位置）の座標系変換処理（画像形成装置１０でも利用される共通座標系（基準座標系）による座標系表現へと、操作入力位置の座標値等を変換する変換処理）が行われて、操作入力位置情報を含む操作入力情報ＥＭが生成される（ステップＳ１２）。その後、外部端末５０は当該操作入力情報ＥＭを画像形成装置１０に送信する（ステップＳ１３）。なお、ステップＳ１２での座標系変換処理は、共通座標系（基準座標系）とタッチパネル７５の固有座標系との間の変換テーブルに基づいて行われればよい。また、当該変換テーブルは、プログラムＰＧ２に予め内蔵されるか、或いは画像形成装置１０と外部端末５０との通信確立（ステップＳ２）の直後に画像形成装置１０から外部端末５０へと送信されればよい。
【００８４】
一方、画像形成装置１０は、外部端末５０からの操作入力情報ＥＭを受信する（ステップＳ２１（図６））と、当該操作入力情報ＥＭに基づく分岐処理（ステップＳ２２）を行う。具体的には、操作入力位置の所属領域が、パネル領域ＰＲ（タッチパネルに対応する領域）、ハードキー領域ＨＲ（ハードウエアキーに対応する領域）および仮想キーボード領域ＫＲ（文字入力に関する仮想領域）（図１２参照）のいずれであるかが判定され、その判定結果に基づく分岐処理が実行される。
【００８５】
操作入力位置がパネル領域ＰＲ内であるときには、ステップＳ２３に進み、タッチパネル画像ＧＡに対する操作入力であることが判定され、タッチパネル領域内の対応位置に関する処理が実行される。その後、ステップＳ２８に進む。
【００８６】
操作入力位置がハードキー領域ＨＲ内であるときには、ステップＳ２４，Ｓ２５に進む。ステップＳ２４では、操作入力位置に対応するハードウエアキーのキーコードが取得され、ステップＳ２５では、当該キーコードのハードウエアキー入力が受け付けられたものとみなされて処理が実行される。その後、ステップＳ２８に進む。
【００８７】
操作入力位置が仮想キーボード領域ＫＲ内であるときには、ステップＳ２６，Ｓ２７に進む。ステップＳ２６では、操作入力位置に対応する（仮想キーボードの）仮想キーのキーコードが取得され、ステップＳ２７では、当該仮想キー入力が受け付けられたものとみなされて処理が実行される。その後、ステップＳ２８に進む。
【００８８】
ステップＳ２８においては、タッチパネル２５の表示内容が更新される。また、次のステップＳ２９においては、タッチパネル７５の更新表示用のデータ（操作画面情報ＭＳ）が生成され、外部端末５０に送信される。
【００８９】
外部端末５０は、画像形成装置１０から操作画面情報ＭＳを受信する（ステップＳ３１（図５））と、操作画面情報ＭＳに基づいて、更新後の操作画面をタッチパネル７５に表示する（ステップＳ３２）。
【００９０】
たとえば、タッチパネル７５に表示された操作画面ＧＳ１（図８）において、操作者が画像ＧＰ３（「メール送信先」の入力欄の画像）に対する押下操作を行うと、外部端末５０は、拡張機能として利用可能な端末側機能（利用対象機能ないし利用可能機能とも称する）の存否を判定する。この判定処理は、操作画面情報ＭＳ（詳細には画像ＧＰ３の部品画像関連情報ＭＰ）に基づいて行われる。操作画面情報ＭＳ内の画像ＧＰ３に対応して利用可能な端末側機能が記録されているときには、外部端末５０は、拡張機能として利用可能な端末側機能が存在すると判定するとともに、当該端末側機能の種別情報をさらに取得し、当該種別情報に基づいて利用対象機能を特定する。さらに、外部端末５０は、特定された利用対象機能（画像ＧＰ３に対応する端末側機能（詳細には「メールアドレス帳」機能））を利用する旨を決定し、外部端末５０内の「メールアドレス帳」に登録されている（１又は）複数のメールアドレスを入力欄に対する入力候補として表示する。なお、拡張機能として利用可能な端末側機能が存在しないと判定されるときには、通常の押下操作として処理される。
【００９１】
そして、図９に示すように、タッチパネル７５は、端末側機能による表示内容を有する部分操作画面ＰＳ（図９にて太枠で囲まれた領域）を、操作画面ＧＳ１内に合成表示する。具体的には、外部端末５０は、当該外部端末５０内のアドレス帳（メールアドレス帳）データに登録されているユーザアドレス（各ユーザのメールアドレス）を、当該アドレス帳データから取得し、メール送信先の候補（入力内容の選択肢）として部分操作画面ＰＳにおいて列挙する。詳細には、メールアドレス帳に登録されているユーザＵＢ〜ＵＥのメールアドレスが、「メール送信先」の入力欄に対する入力候補として表示される。より詳細には、ＬＤＡＰ（Lightweight Directory Access Protocol）等を利用して、外部端末５０内の情報にアクセスすることなどによって、このような表示が実現される。
【００９２】
このとき、タッチパネル７５においては、部品画像ＧＰ３の部品画像関連情報ＭＰに基づき、部分操作画面ＰＳが操作画面ＧＳ１内における部品画像ＧＰ３の近傍位置に合成表示される。たとえば、部分操作画面ＰＳの位置（左上端位置Ｐ０（Ｘ，Ｙ））は、部品画像ＧＰ３の位置（左上端位置）Ｐ３（Ｘ，Ｙ）と同じ位置に設置され、部分操作画面ＰＳの幅ｗ０は、部品画像ＧＰ３の幅Ｗ３と同じ値に設定される（図１４および図１５参照）。また、部分操作画面ＰＳ内の文字のフォントサイズは、部品画像ＧＰ３内の文字のフォントサイズと同じ値に設定される。さらに、部分操作画面ＰＳの高さｈ０は、部品画像ＧＰ３の高さＨ３の所定数倍（たとえば５倍）に設定される。このように、部品画像関連情報ＭＰ（詳細にはその位置情報および大きさ情報）に基づき、部分操作画面ＰＳの大きさが調整され且つ部分操作画面ＰＳが操作画面ＧＳ１内において部品画像ＧＰ３の近傍位置に合成表示される。なお、部分操作画面ＰＳの画像データは、外部端末５０内に予め格納されればよい。ただし、これに限定されず、部分操作画面ＰＳの画像データは、たとえば、その都度、画像形成装置１０から外部端末５０へ送信されるようにしてもよい。
【００９３】
そして、複数の入力候補（選択肢）のうちの一の選択肢が操作者による所定の操作（長押し操作あるいはダブルタップ操作等）によってメール送信先として決定される。上述のようなアドレスの表示動作およびアドレス選択操作等は、外部端末５０のアドレス帳機能を利用して、外部端末５０側で実行される。このようにして、外部端末５０は、入力欄（部位画像ＧＰ３）に対する操作入力を受け付ける。換言すれば、入力欄に対する操作入力が、外部端末５０の所有機能を利用して実行される。
【００９４】
外部端末５０は、この操作に応答して、送信先として決定されたアドレス情報を文字列情報として取得し、当該アドレス情報（文字列情報）を操作画面ＧＳ１内の部品画像ＧＰ３に重畳して仮表示するとともに、これらの文字列情報を画像形成装置１０に向けて送信する（ステップＳ１１〜Ｓ１３）。
【００９５】
また、この実施形態においては、この文字列情報を複数の文字に分解するとともに、複数の文字の情報のそれぞれを仮想キーボード領域内の対応仮想キーの位置情報（仮想位置情報）に変換して画像形成装置１０に向けて送信する。すなわち、当該文字列情報は、文字コードとして送信されるのではなく、対応仮想キーの位置情報として送信される。たとえば、アドレス情報が「userb@abc.xxx」であるときには、当該アドレス情報が文字列「u」，「s」，「e」，「r」，「b」，「@」，「a」，「b」，「c」，「.」，「x」，「x」，「x」に分解されるとともに、当該文字列の各文字を各仮想キーの仮想位置情報に変換して送信する（図１２参照）。詳細には、文字「u」は、仮想キー位置Ｐｕ（Ｘ，Ｙ）に変換され、文字「s」は、仮想キー位置Ｐｓ（Ｘ，Ｙ）に変換され、文字「e」は仮想キー位置Ｐｅ（Ｘ，Ｙ）に変換される。他の文字も同様である。なお、ここでは、各仮想キーの位置情報は、画像形成装置１０における座標系（外部端末５０と画像形成装置１０との共通座標系）で表現された値で送信される。
【００９６】
そして、画像形成装置１０は、ステップＳ２２で仮想キーボード領域に関する操作入力が行われた旨を判定し、ステップＳ２６，Ｓ２７で、画像ＧＰ３に関する入力受付処理が実行される。具体的には、複数の文字列（「u」，「s」，「e」，「r」，「b」，「@」，「a」，「b」，「c」，「.」，「x」，「x」，「x」）の入力が仮想キーボード入力として受け付けられる。
【００９７】
ここにおいて、仮想キーボード領域は、仮想的な領域であり「見えない領域」である。仮想キーボード領域ＫＲは、パネル領域ＰＲおよびハードキー領域ＨＲ等などの領域（実在領域）とは重複しないように配置されることが好ましい。拡張機能による操作入力情報を概念的な仮想キーボード領域ＫＲ内の仮想位置情報として取り扱うことによれば、当該操作入力情報をその他の領域（パネル領域ＰＲおよびハードキー領域ＨＲ等）に関する位置情報と同様に取り扱うことが可能である。すなわち、各種の操作入力情報を位置情報として統一的に取り扱うことが可能である。
【００９８】
その後、ステップＳ２８，Ｓ２９，Ｓ３１，Ｓ３２において表示更新処理等が実行される。これにより、図１１のような更新画面がタッチパネル２５に表示されるとともに、図１０のような更新画面ＧＳ１（ＧＳ１ｂ）がタッチパネル７５に表示される。部品画像ＧＰ３において、タッチパネル７５に仮表示されていた文字列は、この時点において画像形成装置１０にて受信された情報（確定情報）として正式に表示（本表示ないし確定表示とも称する）される。なお、部品画像ＧＰ３における仮表示中の文字列を点滅表示させることなどによって、当該アドレス情報が画像形成装置１０によって未だ受信されていないことが示されるようにしてもよい。
【００９９】
このようなステップＳ５〜Ｓ７の処理が適宜繰り返され、メール送信用の情報が入力される。その後、送信キーＧＱ（図１０参照）が押下されると、再びステップＳ５〜Ｓ７の処理が実行される。具体的には、押下位置の情報が外部端末５０から画像形成装置１０へと送信され（ステップＳ１１〜Ｓ１３）、当該押下位置の情報が送信キーＧＱの押下処理であることが判定され（ステップＳ２１，Ｓ２２，Ｓ２４，Ｓ２５）、メール送信処理が行われる。そして、メール送信の完了等を示す画面（不図示）がタッチパネル２５に表示される（ステップＳ２８）とともに、同様の画面がタッチパネル７５にも表示される（ステップＳ２９，Ｓ３１，Ｓ３２）。
【０１００】
以上のような態様によれば、操作画面情報ＭＳは、外部端末５０に設けられた機能であって入力欄（部品画像ＧＰ３）に関する入力操作にて拡張機能として利用可能な機能（利用対象機能）の種別情報を有するとともに、タッチパネル７５は、当該種別情報に基づいて特定された利用対象機能を拡張機能として利用して、当該入力欄に対する操作入力を受け付ける。したがって、タッチパネル７５を用いて画像形成装置１０を操作する際に、外部端末５０側の各種の機能を容易に利用することが可能である。
【０１０１】
なお、ここでは、画像ＧＰ３に関する操作入力情報ＥＭを構成する文字列の各文字の情報が仮想キーボード領域内の対応仮想キーの仮想位置情報として送信される態様が例示されているが、これに限定されない。たとえば、画像ＧＰ３に関する操作入力情報ＥＭが外部端末５０から画像形成装置１０へとテキスト情報（文字コード）として送信されるようにしてもよい。この場合には、画像形成装置１０が位置情報（座標値）のみならず、テキスト情報（文字コード）をも受け付けるようにすればよい。具体的には、画像形成装置１０において、外部端末５０から送信されてきた情報がテキスト情報であるか座標情報であるかを判定した上で、当該情報を受信するようにすればよい。
【０１０２】
ただし、上記実施形態のように操作入力情報ＥＭを仮想キー等の位置情報に変換して画像形成装置１０へ向けて送信することによれば、画像形成装置１０は、座標値のみを受信すればよく文字コードをも取り扱うことを要しない。すなわち、画像形成装置１０は操作入力情報ＥＭを位置情報に統一して受信することが可能である。換言すれば、入力内容に係る文字列情報を仮想キーボードの座標情報に変換して送信することによって、座標情報による統一的な取り扱いが可能である。
【０１０３】
＜３．変形例等＞
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
【０１０４】
たとえば、上記実施形態においては、外部端末５０側における操作入力情報ＥＭが外部端末５０のタッチパネル７５における座標系表現から画像形成装置１０のタッチパネル２５における座標系表現（共通の座標系による座標値）へと変換された後に、画像形成装置１０へ送信されている。しかしながら、これに限定されず、外部端末５０側における操作入力情報ＥＭが外部端末５０のタッチパネル７５における座標系表現のまま画像形成装置１０へ送信された後、画像形成装置１０における座標系表現へと変換されるようにしてもよい。この場合には、外部端末５０で利用される座標系（外部端末側座標系）と画像形成装置１０で利用される座標系（画像形成装置側座標系）との変換テーブル等が予め画像形成装置１０に構築されればよい。
【０１０５】
また、上記実施形態においては、部品画像ＧＰ３の部分を押下することによってメールアドレス帳内のアドレスが選択肢として表示される態様が例示されているが、これに限定されない。たとえば、図１６に示すように、タッチパネル７５内に拡張機能呼出キー画像ＧＰ１１を表示し、タッチパネル７５に表示された拡張機能呼出キー画像ＧＰ１１に対する操作入力が受け付けられると、部分操作画面ＰＳを含む操作画面ＧＳ１（図９）が表示されるようにしてもよい。より詳細には、部品画像ＧＰ３の仮選択操作後の画像ＧＰ１１の押下処理に応答して、拡張機能が呼び出されて、メールアドレス帳内のユーザアドレスが選択肢として表示されるようにしてもよい。拡張機能呼出キー画像ＧＰ１１は、拡張機能（入力支援機能）を呼び出すための部品画像（呼出パーツ画像）であり、拡張機能の呼出画像（ソフトウエアキー）であるとも表現される。なお、部品画像ＧＰ１１に関する情報は、部品画像関連情報ＭＰにて規定されるようにすればよい。詳細には、部品画像ＧＰ１１が「呼出キー」属性を有する旨等が、部品画像関連情報ＭＰにて規定されるようにすればよい。
【０１０６】
また、上記実施形態においては、部分操作画面ＰＳは、部品画像ＧＰ３（入力欄）に重畳して表示されるとともに当該入力欄の下側にも表示される態様が例示されているが、これに限定されない。たとえば、部分操作画面ＰＳは、部品画像ＧＰ３（入力欄）に重畳して表示されるとともに当該入力欄の上側に表示されるようにしてもよい。より詳細には、部品画像ＧＰ３が操作画面ＧＳ内において下寄りに配置されるときには、部品画像ＧＰ３の上側に部分操作画面が表示されるようにしてもよい。
【０１０７】
また、部分操作画面ＰＳは、部品画像ＧＰ３とともに表示される態様が例示されているが、これに限定されない。たとえば、部分操作画面ＰＳは、部品画像ＧＰ３を一旦非表示にした状態で表示されるようにしてもよい。この場合、部分操作画面ＰＳは、部品画像ＧＰ３が表示されていた位置付近に表示されることが好ましい。
【０１０８】
また、上記実施形態においては、外部端末５０のアドレス帳機能（メールアドレス帳機能）が拡張機能として利用される態様が主に例示されているが、これに限定されない。
【０１０９】
たとえば、「ＰＣアドレス（ＩＰアドレス）帳機能」が画像形成装置１０によって利用されるようにしてもよい。
【０１１０】
あるいは、英数字等を入力する文字入力パネル機能（外部端末５０の所有機能）が拡張機能として利用されるようにしてもよい。具体的には、図１７に示すように、文字入力パネルを有する部分操作画面ＰＳ２が表示され、当該文字入力パネルを利用して文字（英数字等）が入力されるようにしてもよい。部分操作画面ＰＳ２は、外部端末５０内の文字入力パネル機能を利用して文字入力パネルを表示する画面である。
【０１１１】
あるいは、数字を入力するテンキーパネル機能が、拡張機能として利用されるようにしてもよい。たとえば、コピー枚数を入力する入力欄において、テンキーパネル機能を利用した操作入力が行われるようにすればよい。
【符号の説明】
【０１１２】
１  画像形成システム
６  操作部
１０  画像形成装置
２５  タッチパネル
５０  外部端末
５６  操作部
７５  タッチパネル
ＧＱ  送信キー
ＧＳ  操作画面
ＭＰ  部品画像関連情報
ＭＳ  操作画面情報
ＰＳ  部分操作画面
【図１】
2013150273.tif 000003
【図２】
2013150273.tif 000004
【図３】
2013150273.tif 000005
【図４】
2013150273.tif 000006
【図５】
2013150273.tif 000007
【図６】
2013150273.tif 000008
【図７】
2013150273.tif 000009
【図８】
2013150273.tif 000010
【図９】
2013150273.tif 000011
【図１０】
2013150273.tif 000012
【図１１】
2013150273.tif 000013
【図１２】
2013150273.tif 000014
【図１３】
2013150273.tif 000015
【図１４】
2013150273.tif 000016
【図１５】
2013150273.tif 000017
【図１６】
2013150273.tif 000018
【図１７】
2013150273.tif 000019