(57)【特許請求の範囲】
【請求項１】
画像に関連する処理の操作を受け付ける操作画面を表示制御する本体側表示制御部と、
前記本体側表示制御部により表示制御されている前記操作画面を介して操作され得る第１の操作内容に相当する操作信号を受信する本体側受信部と、
前記本体側受信部により受信された前記操作信号に基づいて前記画像に関連する処理を実行する画像処理部と
を備え、
前記操作信号は、
前記操作画面が撮像された撮像データの表示画面を介して操作された第２の操作内容に基づいて生成され、
前記第２の操作内容は、
前記操作画面の第１の操作項目と、前記表示画面の第２の操作項目とを関連付ける操作項目位置情報と、
前記操作画面と、前記表示画面とを関連付ける画面識別情報と
を含み、
前記画像処理部は、
前記画像に関連する処理を実行する際、
前記本体側受信部による前記操作信号の受信を契機として、前記画面識別情報として前記操作画面及び前記表示画面のそれぞれに識別子が含まれるものであって、且つ前記操作画面に含まれる識別子と、前記表示画面に含まれる識別子とが一致している場合、前記操作項目位置情報と、前記画面識別情報と、に基づいて、前記第１の操作内容と、前記第２の操作内容とを関連付ける、
画像形成装置。
【請求項２】
前記画面識別情報は、
前記操作画面及び前記表示画面のそれぞれに識別子が含まれない場合、前記操作画面の表示時間及び前記撮像データの撮像時間に基づいて生成される、
請求項１に記載の画像形成装置。
【請求項３】
前記操作項目位置情報は、
前記第２の操作項目の座標情報に基づいて生成される、
請求項２に記載の画像形成装置。
【請求項４】
前記操作項目位置情報は、
前記表示画面と、前記操作画面とのずれ量に応じて補正される、
請求項３に記載の画像形成装置。
【請求項５】
前記ずれ量は、
前記操作画面が撮像されたときの画角に基づいて求められる、
請求項４に記載の画像形成装置。
【請求項６】
前記ずれ量は、
前記操作画面の輪郭情報を基準情報として、
前記第１の操作項目の座標情報と、前記第２の操作項目の座標情報と、に基づいて求められる、
請求項４に記載の画像形成装置。
【請求項７】
前記ずれ量は、
前記操作画面の撮影倍率に起因して生じている場合、該撮影倍率に基づいて補正され、又は前記表示画面の表示倍率に起因して生じている場合、該表示倍率に基づいて補正される、
請求項４に記載の画像形成装置。
【請求項８】
前記画像処理部は、
前記表示画面にハードキーに相当するものが含まれ、前記第２の操作内容が前記ハードキーに対応したものである場合、前記ハードキーに対応する前記画像に関連する処理を実行する、
請求項５〜７の何れか一項に記載の画像形成装置。
【請求項９】
前記第２の操作内容は、
前記操作画面が、第１の設定画面から第２の設定画面に遷移するものである場合、前記第１の設定画面から前記第２の設定画面に遷移する際の前記操作項目位置情報及び前記画面識別情報が含まれる、
請求項８に記載の画像形成装置。
【請求項１０】
前記操作画面の表示に要する電力を制御する電力制御部
をさらに備え、
前記電力制御部は、
前記操作画面の撮像を契機として、前記操作画面の表示に要する電力の供給状態を、通常状態から待機状態に移行させる、
請求項１〜９の何れか一項に記載の画像形成装置。
【請求項１１】
請求項１〜１０の何れか一項に記載の画像形成装置と、
情報端末と
を備える画像形成システムであって、
前記情報端末は、
前記操作画面を撮像する撮像部と、
前記撮像部により撮像された前記操作画面に基づいて前記表示画面を表示する表示部と、
前記表示部により表示された前記表示画面の前記第２の操作内容を受け付ける操作部と、
前記操作部により受け付けられた前記第２の操作内容に基づいて生成された前記操作信号を送信する端末側インターフェース部と
を備える、
画像形成システム。
【請求項１２】
コンピュータに、
画像に関連する処理の操作を受け付ける操作画面を表示制御する本体側表示制御機能と、
前記本体側表示制御機能により表示制御されている前記操作画面を介して操作され得る第１の操作内容に相当する操作信号を受信する本体側受信機能と、
前記本体側受信機能により受信された前記操作信号に基づいて前記画像に関連する処理を実行する画像処理機能と
を実行させるためのプログラムであって、
前記操作信号は、
前記操作画面が撮像された撮像データの表示画面を介して操作された第２の操作内容に基づいて生成され、
前記第２の操作内容は、
前記操作画面の第１の操作項目と、前記表示画面の第２の操作項目とを関連付ける操作項目位置情報と、
前記操作画面と、前記表示画面とを関連付ける画面識別情報と
を含み、
前記画像処理機能は、
前記画像に関連する処理を実行する際、
前記本体側受信機能による前記操作信号の受信を契機として、前記画面識別情報として前記操作画面及び前記表示画面のそれぞれに識別子が含まれるものであって、且つ前記操作画面に含まれる識別子と、前記表示画面に含まれる識別子とが一致している場合、前記操作項目位置情報と、前記画面識別情報と、に基づいて、前記第１の操作内容と、前記第２の操作内容とを関連付ける、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像形成装置、画像形成システム、及びプログラムに関する。
【背景技術】
【０００２】
近年、ＭＦＰ（Ｍｕｌｔｉ  Ｆｕｎｃｔｉｏｎ  Ｐｅｒｉｐｈｅｒａｌ）の機能が複雑化しており、操作画面及び操作項目が多岐にわたるようになってきている。一方、個人に携帯して使用されている情報端末の機能も複雑化しているが、ＭＦＰと比べて操作する機会が多いこともあり、複雑な操作手順が要求される場合であっても操作の習得にはそれほどの困難は伴わない。
【０００３】
このような情報端末を利用して、ＭＦＰを遠隔操作する技術が開発されている（例えば、特許文献１参照）。また、情報端末に搭載されている撮像部の機能を利用することにより、ＭＦＰを過去に操作していた状態に容易に設定するものがある（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２１９３５１号公報
【特許文献２】特開２０１４−３６３５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載のような従来技術は、情報端末から画像形成装置として機能するＭＦＰを遠隔操作する際、画像形成装置が通信により情報端末に操作画面を提供している。よって、ＭＦＰは、情報端末により遠隔操作される際、情報端末との通信を維持する必要がある。
【０００６】
特許文献２に記載のような従来技術は、操作画面の撮像通知がＭＦＰに送信され、その時点での操作画面に関連した操作内容が保持されることにより、情報端末を介して過去の操作画面が選択されれば、現在のＭＦＰの設定を過去のＭＦＰの設定にすることができるものである。よって、ＭＦＰを過去に操作していた状態に設定するためには、操作画面が撮像されるつど、ＭＦＰとの通信が行われる必要がある。
【０００７】
よって、特許文献１，２に記載のような従来技術は、情報端末を介してＭＦＰの遠隔操作が実行される際、ＭＦＰとの通信が頻繁に実施される必要があるため、遠隔操作時の消費電力を抑制することができない恐れがある。
【０００８】
本発明は、従来の課題を解決するためになされたものであり、その目的とするところは、遠隔操作時の消費電力を抑制することができる画像形成装置、画像形成システム、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明に係る画像形成装置は、画像に関連する処理の操作を受け付ける操作画面を表示制御する本体側表示制御部と、前記本体側表示制御部により表示制御されている前記操作画面を介して操作され得る第１の操作内容に相当する操作信号を受信する本体側受信部と、前記本体側受信部により受信された前記操作信号に基づいて前記画像に関連する処理を実行する画像処理部とを備え、前記操作信号は、前記操作画面が撮像された撮像データの表示画面を介して操作された第２の操作内容に基づいて生成され、前記第２の操作内容は、前記操作画面の第１の操作項目と、前記表示画面の第２の操作項目とを関連付ける操作項目位置情報と、前記操作画面と、前記表示画面とを関連付ける画面識別情報とを含み、前記画像処理部は、前記画像に関連する処理を実行する際、前記本体側受信部による前記操作信号の受信を契機として、前記画面識別情報として前記操作画面及び前記表示画面のそれぞれに識別子が含まれるものであって、且つ前記操作画面に含まれる識別子と、前記表示画面に含まれる識別子とが一致している場合、前記操作項目位置情報と、前記画面識別情報と、に基づいて、前記第１の操作内容と、前記第２の操作内容とを関連付ける、ことを特徴とするものである。
【００１０】
この画像形成装置によれば、遠隔操作時の消費電力を抑制することができる。
【００１１】
また、本発明に係る画像形成装置において、前記画面識別情報は、前記操作画面及び前記表示画面のそれぞれに識別子が含まれない場合、前記操作画面の表示時間及び前記撮像データの撮像時間に基づいて生成される、ことが好ましい。
【００１２】
この画像形成装置によれば、遠隔操作の主体との通信量及び処理内容を大幅に削減することができる。
【００１３】
また、本発明に係る画像形成装置において、前記操作項目位置情報は、前記第２の操作項目の座標情報に基づいて生成される、ことが好ましい。
【００１４】
この画像形成装置によれば、遠隔操作の主体との通信量及び処理内容を大幅に削減することができる。
【００１５】
また、本発明に係る画像形成装置において、前記操作項目位置情報は、前記表示画面と、前記操作画面とのずれ量に応じて補正される、ことが好ましい。
【００１６】
この画像形成装置によれば、表示画面と、操作画面とを正確に関連付け、遠隔操作を意図した通りに実施することができる。
【００１７】
また、本発明に係る画像形成装置において、前記ずれ量は、前記操作画面が撮像されたときの画角に基づいて求められる、ことが好ましい。
【００１８】
この画像形成装置によれば、情報端末の撮像時の設定に依存することなく、遠隔操作を実施することができる。
【００１９】
また、本発明に係る画像形成装置において、前記ずれ量は、前記操作画面の輪郭情報を基準情報として、前記第１の操作項目の座標情報と、前記第２の操作項目の座標情報と、に基づいて求められる、ことが好ましい。
【００２０】
この画像形成装置によれば、操作項目の位置を正確に特定できる。
【００２１】
また、本発明に係る画像形成装置において、前記ずれ量は、前記操作画面の撮影倍率に起因して生じている場合、該撮影倍率に基づいて補正され、又は前記表示画面の表示倍率に起因して生じている場合、該表示倍率に基づいて補正される、ことが好ましい。
【００２２】
この画像形成装置によれば、ユーザーの嗜好に適した環境で遠隔操作を実現することができる。
【００２３】
また、本発明に係る画像形成装置において、前記画像処理部は、前記表示画面にハードキーに相当するものが含まれ、前記第２の操作内容が前記ハードキーに対応したものである場合、前記ハードキーに対応する前記画像に関連する処理を実行する、ことが好ましい。
【００２４】
この画像形成装置によれば、遠隔操作できる操作内容を充実化させることができる。
【００２５】
また、本発明に係る画像形成装置において、前記第２の操作内容は、前記操作画面が、第１の設定画面から第２の設定画面に遷移するものである場合、前記第１の設定画面から前記第２の設定画面に遷移する際の前記操作項目位置情報及び前記画面識別情報が含まれる、ことが好ましい。
【００２６】
この画像形成装置によれば、画面遷移も含めた遠隔操作を実現することができる。
【００２７】
また、本発明に係る画像形成装置において、前記操作画面の表示に要する電力を制御する電力制御部をさらに備え、前記電力制御部は、前記操作画面の撮像を契機として、前記操作画面の表示に要する電力の供給状態を、通常状態から待機状態に移行させる、ことが好ましい。
【００２８】
この画像形成装置によれば、遠隔操作時の消費電力を大幅に削減することができる。
【００２９】
また、上記目的を達成するため、本発明に係る画像形成システムは、上記記載の画像形成装置と、情報端末とを備える画像形成システムであって、前記情報端末は、前記操作画面を撮像する撮像部と、前記撮像部により撮像された前記操作画面に基づいて前記表示画面を表示する表示部と、前記表示部により表示された前記表示画面の前記第２の操作内容を受け付ける操作部と、前記操作部により受け付けられた前記第２の操作内容に基づいて生成された前記操作信号を送信する端末側インターフェース部とを備える、ことを特徴とするものである。
【００３０】
この画像形成システムによれば、簡易な構成の端末を利用して遠隔操作を実現することができる。
【００３１】
また、上記目的を達成するため、本発明に係るプログラムは、コンピュータに、画像に関連する処理の操作を受け付ける操作画面を表示制御する本体側表示制御機能と、前記本体側表示制御機能により表示制御されている前記操作画面を介して操作され得る第１の操作内容に相当する操作信号を受信する本体側受信機能と、前記本体側受信機能により受信された前記操作信号に基づいて前記画像に関連する処理を実行する画像処理機能とを実行させるためのプログラムであって、前記操作信号は、前記操作画面が撮像された撮像データの表示画面を介して操作された第２の操作内容に基づいて生成され、前記第２の操作内容は、前記操作画面の第１の操作項目と、前記表示画面の第２の操作項目とを関連付ける操作項目位置情報と、前記操作画面と、前記表示画面とを関連付ける画面識別情報とを含み、前記画像処理機能は、前記画像に関連する処理を実行する際、前記本体側受信機能による前記操作信号の受信を契機として、前記画面識別情報として前記操作画面及び前記表示画面のそれぞれに識別子が含まれるものであって、且つ前記操作画面に含まれる識別子と、前記表示画面に含まれる識別子とが一致している場合、前記操作項目位置情報と、前記画面識別情報と、に基づいて、前記第１の操作内容と、前記第２の操作内容とを関連付ける、ことを特徴とするものである。
【００３２】
このプログラムによれば、本発明に係る画像形成装置における場合と同様に、遠隔操作時の消費電力を抑制することができるようになる。
【発明の効果】
【００３３】
本発明によれば、遠隔操作時の消費電力を抑制することができる。
【図面の簡単な説明】
【００３４】
【図１】本実施形態に係る画像形成システム１の全体構成の一例を示す図である。
【図２】ＭＦＰ１０が情報端末２０に遠隔操作されるときの一形態を示す図である。
【図３】ＭＦＰ１０のハードウェア構成の一例を示すブロック図である。
【図４】情報端末２０のハードウェア構成の一例を示すブロック図である。
【図５】ＭＦＰ１０の機能構成の一例を示すブロック図である。
【図６】情報端末２０の機能構成の一例を示すブロック図である。
【図７】画像形成システム１の制御例を説明するフローチャートである。
【図８】操作信号生成処理の詳細動作を説明するフローチャートである。
【図９】関連付け処理の詳細動作を説明するフローチャートである。
【図１０】情報端末２０の表示部２０６に表示された表示画面に識別子Ａが含まれている一例を示す図である。
【図１１】情報端末２０の表示部２０６に表示された表示画面にハードキーＢに該当するものが含まれている一例を示す図である。
【発明を実施するための形態】
【００３５】
以下、図面に基づいて本発明の実施形態を説明するが、本発明は以下の実施形態に限られるものではない。
【００３６】
図１は、本実施形態に係る画像形成システム１の全体構成の一例を示す図である。図１に示すように、画像形成システム１は、画像形成装置として機能するＭＦＰ（Ｍｕｌｔｉ  Ｆｕｎｃｔｉｏｎ  Ｐｅｒｉｐｈｅｒａｌ）１０ａ〜１０ｃ及び情報端末２０を含み、それぞれが通信媒体３に接続されている。また、画像形成システム１は、パーソナルコンピュータ１２及び無線局３０を含み、それぞれが通信媒体３に接続されている。
【００３７】
パーソナルコンピュータ１２は、ＭＦＰ１０ａ〜１０ｃを制御するための各種ドライバプログラムがインストールされている。なお、ＭＦＰ１０ａ〜１０ｃの種類が異なる場合、パーソナルコンピュータ１２には、ＭＦＰ１０ａ〜１０ｃを制御するための３種類の各種ドライバプログラムがそれぞれインストールされる。
【００３８】
ＭＦＰ１０ａ〜１０ｃのそれぞれは、原稿を読み取るための原稿読取機能、画像データに基づいて紙等の記録媒体に画像を形成するための画像形成機能、及びファクシミリデータを送受信するファクシミリ送受信機能が実現される。なお、ＭＦＰ１０ａ〜ＭＦＰ１０ｃのそれぞれは同一の機能が実現されるものであり、何れか１台を特に限定しない場合、ＭＦＰ１０と称する。
【００３９】
通信媒体３は、例えば、ローカルエリアネットワークを構成し、接続形態は有線及び無線の何れであってもよい。また、通信媒体３は、インターネット等のワイドエリアネットワークに接続されている。なお、通信媒体３は、ローカルエリアネットワークに限定されず、公衆交換電話網（Ｐｕｂｌｉｃ  Ｓｗｉｔｃｈｅｄ  Ｔｅｌｅｐｈｏｎｅ  Ｎｅｔｗｏｒｋｓ）を構成してもよい。
【００４０】
情報端末２０は、携帯電話の機能が実現される端末であり、携帯電話用基地局と無線を介して通信することにより携帯電話網に接続し、通話が可能となる。また、情報端末２０は、無線ＬＡＮ通信機能が実現される端末である。
【００４１】
無線局３０は、通信媒体３に接続された中継装置であり、無線ＬＡＮ通信機能が実現される情報端末２０と通信することにより、情報端末２０と接続する。なお、ＭＦＰ１０は、通信媒体３を介してパーソナルコンピュータ１２とデータの送受信が可能であり、通信媒体３及び無線局３０を介して情報端末２０とデータの送受信が可能となる。
【００４２】
なお、ＭＦＰ１０に無線ＬＡＮ通信機能が実装されている場合、ＭＦＰ１０は、無線局３０を介さずに、情報端末２０とデータの送受信が可能となる。
【００４３】
次に、情報端末２０によるＭＦＰ１０の遠隔操作の概要について説明する。図２は、ＭＦＰ１０が情報端末２０に遠隔操作されるときの一形態を示す図である。図３は、ＭＦＰ１０のハードウェア構成の一例を示すブロック図である。
【００４４】
まず、ＭＦＰ１０について具体的に説明する。図２，３に示すように、ＭＦＰ１０は、メイン回路１１０と、自動原稿搬送装置１２０と、原稿読取部１３０と、画像形成部１４０と、給紙部１５０と、操作パネル１６０とを含む。自動原稿搬送装置１２０は、原稿を原稿読取部１３０に搬送する。原稿読取部１３０は、自動原稿搬送装置１２０により搬送された原稿を読み取る。画像形成部１４０は、原稿読取部１３０により読み取られた原稿の画像データに基づいて用紙等の記録媒体に画像を形成する。給紙部１５０は、画像形成部１４０に用紙等の記録媒体を供給する。
【００４５】
操作パネル１６０は、ＭＦＰ１０の上面側に設けられ、表示部１６１及び操作部１６３を含む。表示部１６１は、表示装置であり、例えば、液晶表示装置からなる。表示部１６１は、ユーザーへの指示メニュー及び原稿読取部１３０により読み取られた原稿の画像データに関する情報等を表示する。
【００４６】
操作部１６３は、ユーザーの操作による指示を受け付ける。操作部１６３は、ハードキー部１６７を含む。ハードキー部１６７は、複数のキーからなる。複数のキーのそれぞれは、各種の指示、文字、及び数字等のデータの入力を受け付けるものである。操作部１６３は、タッチパネル１６５を含む。タッチパネル１６５は、表示部１６１上に設けられ、表示部１６１の表示画面が触れられた場所に対応する座標を検出する。
【００４７】
メイン回路１１０は、ＣＰＵ１１１と、本体側インターフェース部１１２と、ＲＯＭ１１３と、ＲＡＭ１１４と、ＨＤＤ１１５と、ファクシミリ部１１６と、外部記憶装置１１７とを含む。ＣＰＵ１１１は、自動原稿搬送装置１２０、原稿読取部１３０、画像形成部１４０、給紙部１５０、及び操作パネル１６０と接続され、ＭＦＰ１０全体を制御する。
【００４８】
本体側インターフェース部１１２は、ＭＦＰ１０を通信媒体３に接続するインターフェースである。よって、ＣＰＵ１１１は、本体側インターフェース部１１２を介して、ＭＦＰ１０ａ〜１０ｃ又は情報端末２０と通信することにより、各種データを送受信する。本体側インターフェース部１１２は、通信媒体３を介してインターネットに接続された各種機器と通信が可能である。
【００４９】
ＲＯＭ１１３は、ＣＰＵ１１１が実行するプログラム又はそのプログラムを実行するために必要なデータを記憶する。ＲＡＭ１１４は、ＣＰＵ１１１がプログラムを実行する際の作業領域として用いられる。ＲＡＭ１１４は、原稿読取部１３０から連続的に送られてくる原稿の画像データを一時的に記憶する。
【００５０】
ファクシミリ部１１６は、公衆交換電話網（ＰＳＴＮ）に接続される。ファクシミリ部１１６は、公衆交換電話網にファクシミリデータを送信する。ファクシミリ部１１６は、公衆交換電話網からファクシミリデータを受信する。ファクシミリ部１１６は、受信したファクシミリデータをＨＤＤ１１５に記憶する、又は画像形成部１４０に出力する。
【００５１】
よって、画像形成部１４０は、ファクシミリ部１１６により受信されたファクシミリデータを用紙にプリントすることができる。ファクシミリ部１１６は、ＨＤＤ１１５に記憶されたデータをファクシミリデータに変換し、公衆交換電話網に接続された不図示のファクシミリ装置に送信する。なお、ＨＤＤ１１５は、大容量記憶装置として機能するものであり、例えば、ハードディスクドライブからなる。
【００５２】
外部記憶装置１１７は、ＣＤ−ＲＯＭ１１８が装着される。これにより、ＣＰＵ１１１は、外部記憶装置１１７を介してＣＤ−ＲＯＭ１１８にアクセス可能である。ＣＰＵ１１１は、外部記憶装置１１７に装着されたＣＤ−ＲＯＭ１１８に記憶されたプログラムを、ＲＡＭ１１４にロードして実行する。
【００５３】
なお、画像形成システム１において、ＭＦＰ１０と、情報端末２０との間で、データが送受信される際、データを送受信するプロトコルは、受信側の装置において送信元を特定することができれば、任意のプロトコルを用いることができる。データを送受信するプロトコルは、例えば、ＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）、ＦＴＰ（Ｆｉｌｅ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）、ＳＭＰＴ（Ｓｉｍｐｌｅ  Ｍａｉｌ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）、及びＰＯＰ（Ｐｏｓｔ  Ｏｆｆｉｃｅ  Ｐｒｏｔｏｃｏｌ）等が用いられる。
【００５４】
次に、情報端末２０について具体的に説明する。図４は、情報端末２０のハードウェア構成の一例を示すブロック図である。図４に示すように、情報端末２０は、ＣＰＵ２０１と、撮像部２０２と、フラッシュメモリ２０３と、無線通信部２０４と、通話部２０５と、表示部２０６と、操作部２０７と、端末側インターフェース部２０８とを含む。
【００５５】
撮像部２０２は、レンズ及び光電変換素子を備え、レンズで集光した光を光電変換素子に結像する。光電変換素子は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサから構成され、受光した光を光電変換した画像データを撮像データとしてＣＰＵ２０１又はフラッシュメモリ２０３に出力する。
【００５６】
フラッシュメモリ２０３は、ＣＰＵ２０１が実行するプログラム、又はそのプログラムを実行するために必要なデータを記憶する。ＣＰＵ２０１は、フラッシュメモリ２０３に記憶されたプログラムを、ＣＰＵ２０１が含まれる不図示のＲＡＭにロードして実行する。
【００５７】
無線通信部２０４は、電話通信網に接続された携帯電話用基地局と無線通信する。無線通信部２０４は、情報端末２０を電話通信網に接続し、通話部２０５を用いた通話を可能とする。無線通信部２０４は、携帯電話用基地局から受信した無線信号を音声信号に復調する。無線通信部２０４は、復調した音声信号を複合して通話部２０５に出力する。
【００５８】
無線通信部２０４は、通話部２０５から入力される音声を符号化し、携帯電話用基地局に送信する。通話部２０５は、マイク及びスピーカを備える。スピーカは、無線通信部２０４から入力される音声を出力する。マイクは、入力される音声を無線通信部２０４に出力する。無線通信部２０４は、ＣＰＵ２０１により制御され、情報端末２０を電子メールサーバーに接続し、電子メールを送受信する。
【００５９】
表示部２０６は、表示装置であり、例えば、液晶表示装置からなる。表示部２０６は、ユーザーへの指示メニューを表示する。表示部２０６は、撮像部２０２又は端末側インターフェース部２０８により取得された画像データに関する情報等を表示する。
【００６０】
操作部２０７は、ユーザーの操作による指示を受け付ける。操作部２０７は、ハードキー部２１２を含む。ハードキー部２１２は、複数のキーからなる。複数のキーのそれぞれは、各種の指示、文字、及び数字等のデータの入力を受け付けるものである。操作部２０７は、タッチパネル２１１を含む。タッチパネル２１１は、表示部２０６上に設けられ、表示部２０６の表示画面が触れられた場所に対応する座標を検出する。
【００６１】
端末側インターフェース部２０８は、無線局３０と通信し、情報端末２０を通信媒体３に接続するためのインターフェースである。情報端末２０に予めＭＦＰ１０ａ〜１０ｃのそれぞれのＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）アドレスを登録しておくことにより、情報端末２０と、ＭＦＰ１０ａ〜１０ｃのそれぞれと通信することができ、データの送受信が可能となる。
【００６２】
ここで、ＭＦＰ１０の表示部１６１に操作画面が表示されている場合、情報端末２０は、ＭＦＰ１０の表示部１６１に表示されている操作画面を撮像部２０２により撮像可能である。ＭＦＰ１０の表示部１６１に表示されている操作画面が撮像部２０２により撮像されることにより、情報端末２０は、ＭＦＰ１０の表示部１６１に表示されている操作画面の撮像データを取得することができる。
【００６３】
さらに、情報端末２０は、操作画面の撮像データを表示部２０６に表示画面として表示させる場合、操作部２０７を介して表示画面の操作内容を受け付けることができる。表示画面の操作内容は、位置情報である。
【００６４】
ところで、ＭＦＰ１０の表示部１６１には複数の操作画面が表示され得る。よって、図２に示すように、情報端末２０の表示部２０６に表示されている表示画面が、複数の操作画面のうちの何れかであるかを特定する識別情報が取得され、位置情報及び識別情報が情報端末２０からＭＦＰ１０に送信されることにより、操作画面の撮像データを利用して、ＭＦＰ１０を遠隔操作することが可能となる。
【００６５】
次に、情報端末２０によりＭＦＰ１０を遠隔操作する機能構成について説明する。図５は、ＭＦＰ１０の機能構成の一例を示すブロック図である。図６は、情報端末２０の機能構成の一例を示すブロック図である。
【００６６】
ＣＰＵ１１１が、ＲＯＭ１１３、ＨＤＤ１１５、又はＣＤ−ＲＯＭ１１８に記憶された各種プログラムを実行することにより、図５に示すような、画像処理部５１、本体側表示制御部５２、電力制御部５３、本体側受信部５４、本体側送信部５５、及び計時部５６を含む各種機能が実現される。
【００６７】
画像処理部５１は、各種指令に応じて、画像形成部１４０に画像形成指令を出力する。画像処理部５１は、本体側受信部５４により受信された操作信号に基づいて画像に関連する処理を実行する。操作信号は、遠隔操作の主体となり得る情報端末２０から送信される。例えば、情報端末２０において表示されている表示画面が操作された場合、操作信号が生成され、遠隔操作対象であるＭＦＰ１０にその操作信号が送信される。
【００６８】
画像処理部５１は、画像に関連する処理を実行する際、操作信号の受信を契機として、操作信号に含まれる、操作項目位置情報と、画面識別情報と、に基づいて、表示画面を介して操作された操作内容と、操作画面を介して操作され得る操作内容とを関連付ける。
【００６９】
画像処理部５１は、表示画面にハードキーＢに相当するものが含まれ、表示画面を介して操作された操作内容がそのハードキーＢに対応したものである場合、ハードキーＢに対応する画像に関連する処理を実行する。例えば、ハードキーＢに対応したものが、予めプリセットされた内容に基づくスキャンに相当する機能である場合、画像処理部５１は、該当する機能を実現させる処理を実行する。具体的には、画像処理部５１は、操作項目位置情報と、画面識別情報とに基づいて、表示画面を介して操作された操作内容が、タッチパネル１６５に相当するものであるか、ハードキー部１６７に相当するものであるかを判別することができる。よって、画像処理部５１は、ハードキー部１６７の位置関係を特定できる位置関係対応表がプリセットされることにより、どのハードキーＢが操作されたかを特定することができる。なお、位置関係対応表は、絶対座標であってもよく、相対座標であってもよい。
【００７０】
また、操作画面が、第１の設定画面から第２の設定画面に遷移するものである場合、第１の設定画面から第２の設定画面に遷移する際、操作内容は動的に変化する。この場合、情報端末２０がその遷移していく過程を動画撮影すれば、情報端末２０ではその動画が再生可能である。例えば、情報端末２０の表示部２０６には、第１の設定画面から第２の設定画面に遷移する動画が表示され、第２の設定画面になったときに第２の設定画面に含まれる操作項目が操作された場合、その操作項目に基づいて操作信号が、ＭＦＰ１０に送信される。この場合であっても、画像処理部５１は、操作信号に含まれる、操作項目位置情報と、画面識別情報と、に基づいて、表示画面を介して操作された操作内容と、操作画面を介して操作され得る操作内容とを関連付ければよい。
【００７１】
本体側表示制御部５２は、ＨＤＤ１１５に予め記憶された複数の操作画面の何れか１つを表示部１６１に表示させる。複数の操作画面は、互いに関連付けられており、１つの操作画面が他の操作画面に遷移する機能を実現させる操作項目が構成されている。本体側表示制御部５２は、操作項目が選択される操作が操作部１６３により検出されると、その選択された操作項目に関連付けられた操作画面をＨＤＤ１１５から読み出し、表示部１６１に表示させる。
【００７２】
つまり、操作画面は、画像に関連する処理の操作を受け付ける。よって、本体側表示制御部５２は、操作画面を表示制御する。
【００７３】
電力制御部５３は、操作画面の表示に要する電力を制御する。電力制御部５３は、操作画面の撮像を契機として、操作画面の表示に要する電力の供給状態を、通常状態から待機状態に移行させる。
【００７４】
本体側受信部５４は、本体側表示制御部５２により表示制御されている操作画面を介して操作され得る操作内容に相当する操作信号を受信する。操作信号は、遠隔操作の主体となり得る情報端末２０から送信される。例えば、情報端末２０において表示されている表示画面が操作された場合、操作信号が生成され、遠隔操作対象であるＭＦＰ１０にその操作信号が送信され、本体側受信部５４は、本体側インターフェース部１１２を介して、その操作信号を受信する。
【００７５】
本体側受信部５４は、表示部１６１に表示されている操作画面が撮像された旨を受信した場合、その旨を電力制御部５３に伝達する。
【００７６】
本体側送信部５５は、本体側インターフェース部１１２を介して、情報端末２０等に各種信号を送信する。
【００７７】
計時部５６は、予め設定されたタイムゾーンに応じて時間を計時し、計時結果を予め設定したタイミングで画像処理部５１に出力する。なお、計時部５６は、ある基準に基づいて時間を計時すればよい。例えば、標準電波により設定された時間を計時してもよい。
【００７８】
ＣＰＵ２０１が、フラッシュメモリ２０３等に記憶された各種プログラムを実行することにより、図６に示すような、撮像制御部７１、端末側表示制御部７２、座標検出部７３、演算部７４、計時部７５、端末側送信部７６、及び端末側受信部７７を含む各種機能が実現される。
【００７９】
撮像制御部７１は、操作部２０７の操作内容に応じて、撮像部２０２に制御指令を出力することにより、撮像部２０２に被写体を撮像させる。被写体がＭＦＰ１０の表示部１６１に表示されている操作画面であれば、撮像部２０２は、撮像制御部７１の制御指令により、操作画面を撮像する。
【００８０】
端末側表示制御部７２は、フラッシュメモリ２０３に記憶されたデータを表示部２０６に表示させる。ＭＦＰ１０の表示部１６１に表示されている操作画面が撮像された撮像データがフラッシュメモリ２０３に記憶されてあって、その撮像データが選択された場合、端末側表示制御部７２は、撮像データに基づいた表示画面を表示させる制御指令を表示部２０６に出力する。表示部２０６は、端末側表示制御部７２の制御指令により、撮像データを取得し、操作画面に基づいて表示画面を表示する。
【００８１】
座標検出部７３は、表示部２０６により表示された表示画面の操作内容を操作部２０７が受け付けた場合、操作部２０７が操作された位置情報を座標情報として検出する。例えば、表示画面に複数の操作項目が表示され、その複数の操作項目の何れかが操作された場合、座標検出部７３は、その操作された操作項目位置情報を、座標情報として検出する。
【００８２】
演算部７４は、操作画面が撮像された撮像データの表示画面を介して操作された操作内容に基づいて、操作信号を生成する。表示画面を介して操作された操作内容は、第１に、操作画面の操作項目と、表示画面の操作項目とを関連付ける操作項目位置情報である。表示画面を介して操作された操作内容は、第２に、操作画面と、表示画面とを関連付ける画面識別情報である。
【００８３】
操作項目位置情報は、表示画面に含まれる操作項目の座標情報に基づいて生成される。例えば、表示画面に含まれる操作項目として、コピー、スキャン、及びＦＡＸの動作指令機能が含まれ、そのうち、コピーの動作指令機能が選択された場合、選択された場所に対応する座標情報を含む情報が、操作項目位置情報として生成される。
【００８４】
操作項目位置情報は、表示画面と、操作画面とにずれがある場合、補正される。具体的には、操作項目位置情報は、表示画面と、操作画面とのずれ量に応じて補正される。ずれ量は、例えば、ＭＦＰ１０の表示部１６１に表示されている操作画面が撮像部２０２により撮像されたときの画角に基づいて求められる。画角は、撮影時には撮像部２０２に予め設定されているため、演算部７４は、撮像部２０２に設定されている画角に基づいて、ずれ量を求め、求めたずれ量に応じて、操作画面にある操作項目と、表示画面にある操作項目とが、１対１の対応関係となるようにする。
【００８５】
また、ずれ量は、例えば、操作画面の輪郭情報を基準情報として、操作画面にある操作項目の座標情報と、表示画面にある操作項目の座標情報と、に基づいて求められる。操作画面の輪郭情報は、操作画面による操作が可能な境界情報となる。よって、操作画面の輪郭情報を得ることにより、表示画面にある操作項目と、操作画面にある操作項目とのずれ量を求めることができる。
【００８６】
また、ずれ量は、例えば、表示画面と、操作画面との撮影倍率又は表示倍率に起因して生じている場合、その撮影倍率に基づいて補正される。例えば、表示画面は、操作画面の３００％表示である場合、表示画面にある操作項目の座標情報と、操作画面にある操作項目の座標情報とは、一致しない。この場合、表示倍率に基づいてずれ量が補正されれば、表示画面にある操作項目と、操作画面にある操作項目との対応付けが可能となる。つまり、ずれ量は、表示画面と、操作画面との相対的な位置ずれに起因して生じている場合、その相対的な位置ずれに基づいて補正される。
【００８７】
なお、上記で説明したずれ量の具体的な算出については、当業者であれば容易に実施できるものであるため、ここではその詳細な説明については省略する。例えば、表示画面と、操作画面とのそれぞれをアフィン空間上に定義し、操作画面と、表示画面との間にアフィン写像の関係を成立させ、ずれ量を求めてもよい。
【００８８】
画面識別情報は、操作画面及び表示画面のそれぞれに含まれる場合、その含まれているものが利用される。例えば、共通の識別子Ａとして、操作画面に通し番号が含まれ、表示画面に通し番号が含まれ、両者の通し番号が同一である場合、その通し番号が画面識別情報として利用されればよい。
【００８９】
また、操作画面に含まれる番号と、表示画面に含まれる番号との間、予め設定された写像関係が成立する場合、それらの番号が画面識別情報として利用されればよい。例えば、操作画面に含まれる番号に予め設定された値を加算したものが、表示画面に含まれる番号となる場合であっても、操作画面と、表示画面とを関連付けることができる。
【００９０】
また、操作画面に含まれる記号と、表示画面に含まれる記号とに対応関係が成立すれば、その記号が画面識別情報として利用されてもよい。
【００９１】
つまり、操作画面に含まれる識別子Ａと、表示画面に含まれる識別子Ａとに対応関係が成立すれば、その識別子Ａが画面識別情報として利用可能である。識別子Ａの抽出は、当業者であれば容易に実施できるため、その詳細な説明については省略する。例えば、識別子Ａが予め対応表として設定されていれば、表示画面が表示部２０６により表示されると共に、表示画面に該当する識別子Ａが存在するか否かをパターンマッチングにより検査してもよい。例えば、テンプレートマッチング法により、表示画面に含まれる識別子Ａと、操作画面に含まれる識別子Ａとの類似度を求め、両者が一致するとみなせるか否かにより、画面識別情報を検出してもよい。
【００９２】
なお、操作画面及び表示画面の両方を関連付ける識別子Ａが存在しない場合、操作画面と、表示画面とを関連付ける識別子Ａを生成すればよい。具体的には、操作画面が撮像されたとき、撮像データの撮像時間により画面識別情報が生成されてもよい。この場合、ＭＦＰ１０が操作画面の表示時間を予め設定されたタイミングで記憶しておけば、表示画面と、操作画面とを関連付けることができる。
【００９３】
計時部７５は、予め設定されたタイムゾーンに応じて時間を計時し、計時結果を予め設定したタイミングで演算部７４に出力する。なお、計時部７５は、ある基準に基づいて時間を計時すればよい。例えば、標準電波により設定された時間を計時してもよい。
【００９４】
端末側送信部７６は、演算部７４により生成された操作信号を送信する。例えば、端末側送信部７６は、端末側インターフェース部２０８を介して、操作信号をＭＦＰ１０に送信する。
【００９５】
端末側受信部７７は、端末側インターフェース部２０８を介して、各種信号を受信する。例えば、端末側受信部７７は、端末側インターフェース部２０８を介して、ＭＦＰ１０から送信されてきた各種信号を受信する。
【００９６】
なお、計時部５６と、計時部７５とは、同一のタイムゾーンに基づいて設定されていることを想定するが、異なるタイムゾーンであれば、何れか一方が、時差分に応じて調整されればよい。
【００９７】
次に、上記で説明した一連の処理について説明する。図７は、画像形成システム１の制御例を説明するフローチャートである。図８は、操作信号生成処理の詳細動作を説明するフローチャートである。図９は、関連付け処理の詳細動作を説明するフローチャートである。図１０は、情報端末２０の表示部２０６に表示された表示画面に識別子Ａが含まれている一例を示す図である。図１１は、情報端末２０の表示部２０６に表示された表示画面にハードキーＢに該当するものが含まれている一例を示す図である。
【００９８】
なお、画像形成装置として機能するＭＦＰ１０は、待機状態であって、省エネモードを実行中であると想定する。
【００９９】
（画像形成装置側処理）
（ステップＳ１１）
ＣＰＵ１１１は、操作がされたか否かを判定する。操作がされた場合、ステップＳ１２に移行する。一方、操作がされていない場合、そのまま待機する。
【０１００】
（ステップＳ１２）
ＣＰＵ１１１により、待機状態から通常状態に移行される。これにより、ＭＦＰ１０は、省エネモードが解除される。
【０１０１】
（ステップＳ１３）
ＣＰＵ１１１により、表示部１６１に操作画面が表示される。これにより、操作画面を介して操作部１６３による操作の受付が可能な状態となる。
【０１０２】
（ステップＳ１４）
ＣＰＵ１１１は、操作画面が撮像された旨を受信したか否かを判定する。操作画面が撮像された旨を受信した場合、ステップＳ１５に移行する。一方、操作画面が撮像された旨を受信しない場合、そのまま待機する。
【０１０３】
（ステップＳ１５）
ＣＰＵ１１１により、通常状態から待機状態に移行される。これにより、ＭＦＰ１０は、省エネモードに移行する。
【０１０４】
（ステップＳ１６）
ＣＰＵ１１１は、操作信号を受信したか否かを判定する。操作信号を受信した場合、ステップＳ１７に移行する。一方、操作信号を受信しない場合、そのまま待機する。
【０１０５】
（ステップＳ１７）
ＣＰＵ１１１により、待機状態から通常状態に移行される。これにより、ＭＦＰ１０は、省エネモードが解除される。
【０１０６】
（ステップＳ１８）
ＣＰＵ１１１は、関連付け処理を実行する。なお、関連付け処理の詳細については後述する。
【０１０７】
（ステップＳ１９）
ＣＰＵ１１１は、関連付けた内容に応じた処理を実行する。例えば、図１０に示すように、情報端末２０の表示部２０６に表示画面が表示され、コピーという操作項目が操作された場合、ＭＦＰ１０は、図１０の識別子Ａに対応する操作画面を特定した上で、特定した操作画面に含まれるコピーという操作項目の機能を実施する。
【０１０８】
なお、図１１に示すように、ハードキーＢのうち、スキャンというハードキーＢが操作された場合、ＭＦＰ１０は、該当するハードキーＢに対応する機能を実施する。
【０１０９】
（ステップＳ２０）
ＣＰＵ１１１は、省エネ指令があるか否かを判定する。省エネ指令がある場合、ステップＳ２１に移行する。一方、省エネ指令がない場合、そのまま処理は終了される。
【０１１０】
省エネ指令は、ユーザーから操作されるものであってもよく、ＭＦＰ１０にデフォルト設定に従うものであってもよい。デフォルト設定は、例えば、ユーザーからの操作が、予め設定された待ち時間を経過してもない場合、省エネモードに移行するようなものであるが、特にこれに限定されるものではない。
【０１１１】
（ステップＳ２１）
ＣＰＵ１１１により、通常状態から待機状態に移行される。これにより、ＭＦＰ１０は、省エネモードに移行し、そのまま処理は終了される。
【０１１２】
なお、処理の終了とは、図７に示す画像形成装置側処理の終了であって、ＭＦＰ１０自体の動作が終了するという意味ではない。
【０１１３】
（情報端末側処理）
（ステップＳ４１）
ＣＰＵ２０１は、撮像指令があるか否かを判定する。撮像指令がある場合、ステップＳ４２に移行する。一方、撮像指令がない場合、そのまま待機する。
【０１１４】
（ステップＳ４２）
ＣＰＵ２０１により、撮像部２０２が作動し、ＭＦＰ１０の表示部１６１に表示されている操作画面が撮像される。
【０１１５】
（ステップＳ４３）
ＣＰＵ２０１により、ＭＦＰ１０の表示部１６１に表示されている操作画面が撮像された旨がＭＦＰ１０に送信される。
【０１１６】
（ステップＳ４４）
ＣＰＵ２０１により、撮像部２０２により撮像された撮像結果として、表示部２０６により表示画面が表示される。
【０１１７】
（ステップＳ４５）
ＣＰＵ２０１は、表示画面を介して操作されたか否かを判定する。表示画面を介して操作された場合、ステップＳ４６に移行する。一方、表示画面を介して操作されない場合、そのまま待機する。
【０１１８】
（ステップＳ４６）
ＣＰＵ２０１は、操作信号生成処理を実行する。なお、操作信号生成処理の詳細については後述する。
【０１１９】
（ステップＳ４７）
ＣＰＵ２０１により、生成した操作信号が送信され、処理は終了する。
【０１２０】
なお、ステップＳ４１からステップＳ４７の一連の処理が逐次実行される説明をしたが、特にこれに限定されない。例えば、撮像だけが実施され、遠隔操作を実行する旨が選択された場合にステップＳ４４移行の処理が実施されてもよい。
【０１２１】
また、処理の終了とは、図７に示す情報端末側処理の終了であって、情報端末２０自体の動作が終了するという意味ではない。
【０１２２】
（操作信号生成処理）
（ステップＳ６１）
ＣＰＵ２０１は、表示画面及び操作画面のそれぞれに画面識別情報が含まれるか否かを判定する。表示画面及び操作画面のそれぞれに画面識別情報が含まれる場合、ステップＳ６２に移行する。一方、表示画面及び操作画面のそれぞれに画面識別情報が含まれない場合、ステップＳ６８に移行する。
【０１２３】
（ステップＳ６２）
ＣＰＵ２０１は、表示画面と、操作画面とのずれ量を求める。
【０１２４】
（ステップＳ６３）
ＣＰＵ２０１は、表示画面と、操作画面とのずれ量が閾値を超えるか否かを判定する。表示画面と、操作画面とのずれ量が閾値を超える場合、ステップＳ６４に移行する。一方、表示画面と、操作画面とのずれ量が閾値を超えない場合、ステップＳ６７に移行する。ここでいう閾値は、表示画面と、操作画面とのずれ量が、表示画面と、操作画面との関連付けに影響を与えない程度に設定されたものである。よって、閾値を超えれば、表示画面と、操作画面とのずれ量が、表示画面と、操作画面との関連付けに影響を与えることを意味する。
【０１２５】
（ステップＳ６４）
ＣＰＵ２０１は、表示画面の操作項目の座標情報の補正量を求める。
【０１２６】
（ステップＳ６５）
ＣＰＵ２０１は、表示画面に対応させて座標情報の補正量を保存する。例えば、表示画面と、座標情報とが組みとなって保存される。
【０１２７】
（ステップＳ６６）
ＣＰＵ２０１は、補正量に基づいて表示画面の操作項目の座標情報を補正する。
【０１２８】
（ステップＳ６７）
ＣＰＵ２０１は、表示画面の操作項目の座標情報に基づいて操作項目位置情報を生成する。
【０１２９】
（ステップＳ６８）
ＣＰＵ２０１は、操作項目位置情報と、画面識別情報とに基づいて操作信号を生成し、処理を終了する。
【０１３０】
なお、処理の終了とは、図８に示す操作信号生成処理の終了であって、情報端末２０自体の動作が終了するという意味ではない。
【０１３１】
また、操作信号は、操作項目位置情報と、画面識別情報とが含まれ、ＭＦＰ１０により、操作項目位置情報と、画面識別情報とが抽出されることが可能であればよいものであり、特にその形式は限定されない。
【０１３２】
（関連付け処理）
（ステップＳ８１）
ＣＰＵ１１１は、複数の操作画面のうち、操作信号に含まれる画面識別情報に基づいて、表示画面に対応する操作画面を確定する。
【０１３３】
（ステップＳ８２）
ＣＰＵ１１１は、確定した操作画面に含まれる操作項目のうち、操作信号に含まれる操作項目位置情報に基づいて、表示画面の操作項目に対応する操作画面の操作項目を確定し、処理を終了する。
【０１３４】
なお、処理の終了とは、図９に示す関連付け処理の終了であって、情報端末２０自体の動作が終了するという意味ではない。
【０１３５】
以上、画像形成装置として機能するＭＦＰ１０は、情報端末２０により操作画面が撮像され、その撮像された撮像データの表示画面を介して操作された操作内容に基づいた操作信号を受信する。操作信号には、操作画面を特定する画面識別情報と、操作画面に含まれる操作項目のうち、どの操作項目が操作されたかを特定する操作項目位置情報と、が含まれている。画像形成装置は、操作信号を受信すれば、操作画面を介して操作され得る操作内容と、情報端末２０で表示されている表示画面を介して操作された操作内容とを、関連付ける。
【０１３６】
よって、ＭＦＰ１０は、遠隔操作の主体である情報端末２０と頻繁に通信をすることなく、遠隔操作されるため、遠隔操作されているときに消費電力が大幅に増加することがない。
【０１３７】
換言すれば、画像形成装置は、操作画面が撮像された撮像データの表示画面の操作内容である操作画面の画面識別情報及び操作項目位置情報に基づいて、撮像データの表示画面が操作された操作内容と、操作画面が操作され得る操作内容とを関連付けることにより、通信量及び処理内容が削減されるため、遠隔操作時の消費電力を抑制することができる。
【０１３８】
また、画像形成装置において、画面識別情報は、操作画面と、表示画面とにそれぞれ含まれる識別子Ａである。また、画面識別情報は、撮像データの撮像時間と、操作画面の表示時間とに基づいて生成される。よって、単純な内容で容易に操作画面を特定することができるため、遠隔操作の主体との通信量及び処理内容を大幅に削減することができる。
【０１３９】
また、画像形成装置において、操作項目位置情報は、情報端末２０の表示部２０６に表示されている表示画面に含まれる操作項目の座標情報に基づいて生成される。よって、単純な内容で容易に操作画面に含まれる操作項目のうち、どの操作項目が操作されたかを特定できるため、遠隔操作の主体との通信量及び処理内容を大幅に削減することができる。
【０１４０】
また、画像形成装置において、操作項目位置情報は、情報端末２０の表示部２０６により表示されている表示画面と、ＭＦＰ１０の表示部１６１により表示されている操作画面とのずれ量に応じて補正される。よって、撮像部２０２の撮影位置が、操作画面を正面と対向しない場合であっても、撮像部２０２による撮像時のずれが補正されるため、表示画面と、操作画面とを正確に関連付け、遠隔操作を意図した通りに実施することができる。
【０１４１】
また、画像形成装置において、ずれ量は、ＭＦＰ１０の表示部１６１により表示されている操作画面が撮像されたとき、情報端末２０の撮像部２０２の画角に基づいて求められるものである。よって、情報端末２０の撮像時の設定に依存することなく、遠隔操作を実施することができる。
【０１４２】
また、画像形成装置において、ずれ量は、ＭＦＰ１０の表示部１６１により表示されている操作画面の輪郭を基準として、ＭＦＰ１０の表示部１６１により表示されている操作画面にある操作項目の座標情報と、情報端末２０の表示部２０６により表示されている表示画面にある操作項目の座標情報と、に基づいて求められるものである。よって、操作画面の輪郭を基準座標軸として、ずれ量を求めることができるため、操作項目の位置を正確に特定できる。
【０１４３】
また、画像形成装置において、ずれ量は、ＭＦＰ１０の表示部１６１により表示されている操作画面の撮影倍率に起因して生じている場合にはその撮影倍率に基づいて補正され、情報端末２０の表示部２０６により表示されている表示画面の表示倍率に起因して生じている場合にはその表示倍率に基づいて補正される。よって、操作画面と、表示画面との相対的な位置ずれに基づいて補正が実施されるため、ユーザーの嗜好に適した環境で遠隔操作を実現することができる。
【０１４４】
また、画像形成装置において、ＭＦＰ１０のハードキーＢに相当するものが、情報端末２０の表示部２０６により表示されている表示画面に含まれている場合、そのハードキーＢに対応する処理が実行される。よって、ＭＦＰ１０のタッチパネル１６５以外の操作も遠隔で実施できるため、遠隔操作できる操作内容を充実化させることができる。
【０１４５】
また、画像形成装置において、ＭＦＰ１０の表示部１６１により表示されている操作画面が、第１の設定画面から第２の設定画面に遷移するものである場合、第１の設定画面から第２の設定画面に遷移する際の操作項目位置情報及び画面識別情報に基づいて、操作信号が生成される。よって、設定画面の遷移を動画撮影した場合であっても、遠隔操作を実施できるため、画面遷移も含めた遠隔操作を実現することができる。
【０１４６】
また、画像形成装置において、ＭＦＰ１０の表示部１６１により表示されている操作画面が、情報端末２０により撮像されたことを契機として、操作画面の表示に要する電力の供給状態を、通常状態から待機状態に移行させる。よって、操作画面を常時表示させている必要がなくなるため、遠隔操作時の消費電力を大幅に削減することができる。
【０１４７】
また、画像形成システム１において、情報端末２０は、撮像部２０２を備え、撮像部２０２により撮像された撮像データを表示部２０６に表示させ、表示部２０６に表示された表示画面の操作内容に応じて、遠隔操作が実現される。よって、簡易な構成の端末を利用して遠隔操作を実現することができる。
【０１４８】
このようにして、本実施形態に係る画像形成装置によれば、画像に関連する処理の操作を受け付ける操作画面を表示制御する本体側表示制御部５２と、本体側表示制御部５２により表示制御されている操作画面を介して操作され得る第１の操作内容に相当する操作信号を受信する本体側受信部５４と、本体側受信部５４により受信された操作信号に基づいて画像に関連する処理を実行する画像処理部５１とを備え、操作信号は、操作画面が撮像された撮像データの表示画面を介して操作された第２の操作内容に基づいて生成され、第２の操作内容は、操作画面の第１の操作項目と、表示画面の第２の操作項目とを関連付ける操作項目位置情報と、操作画面と、表示画面とを関連付ける画面識別情報とを含み、画像処理部５１は、画像に関連する処理を実行する際、本体側受信部５４による操作信号の受信を契機として、操作項目位置情報と、画面識別情報と、に基づいて、第１の操作内容と、第２の操作内容とを関連付ける。
【０１４９】
これにより、画像形成装置は、遠隔操作時の消費電力を抑制することができる。
【０１５０】
また、本実施形態に係る画像形成装置によれば、画面識別情報は、操作画面及び表示画面のそれぞれに含まれる、又は操作画面の表示時間及び撮像データの撮像時間に基づいて生成される。
【０１５１】
これにより、画像形成装置は、遠隔操作の主体との通信量及び処理内容を大幅に削減することができる。
【０１５２】
また、本実施形態に係る画像形成装置によれば、操作項目位置情報は、第２の操作項目の座標情報に基づいて生成される。
【０１５３】
これにより、画像形成装置は、遠隔操作の主体との通信量及び処理内容を大幅に削減することができる。
【０１５４】
また、本実施形態に係る画像形成装置によれば、操作項目位置情報は、表示画面と、操作画面とのずれ量に応じて補正される。
【０１５５】
これにより、画像形成装置は、表示画面と、操作画面とを正確に関連付け、遠隔操作を意図した通りに実施することができる。
【０１５６】
また、本実施形態に係る画像形成装置によれば、ずれ量は、操作画面が撮像されたときの画角に基づいて求められる。
【０１５７】
これにより、画像形成装置は、情報端末２０の撮像時の設定に依存することなく、遠隔操作を実施することができる。
【０１５８】
また、本実施形態に係る画像形成装置によれば、ずれ量は、操作画面の輪郭情報を基準情報として、第１の操作項目の座標情報と、第２の操作項目の座標情報と、に基づいて求められる。
【０１５９】
これにより、画像形成装置は、操作項目の位置を正確に特定できる。
【０１６０】
また、本実施形態に係る画像形成装置によれば、ずれ量は、操作画面の撮影倍率に起因して生じている場合、撮影倍率に基づいて補正され、又は表示画面の表示倍率に起因して生じている場合、表示倍率に基づいて補正される。
【０１６１】
これにより、画像形成装置は、ユーザーの嗜好に適した環境で遠隔操作を実現することができる。
【０１６２】
また、本実施形態に係る画像形成装置によれば、画像処理部５１は、表示画面にハードキーＢに相当するものが含まれ、第２の操作内容がハードキーＢに対応したものである場合、ハードキーＢに対応する画像に関連する処理を実行する。
【０１６３】
これにより、画像形成装置は、遠隔操作できる操作内容を充実化させることができる。
【０１６４】
また、本実施形態に係る画像形成装置によれば、第２の操作内容は、操作画面が、第１の設定画面から第２の設定画面に遷移するものである場合、第１の設定画面から第２の設定画面に遷移する際の操作項目位置情報及び画面識別情報が含まれる。
【０１６５】
これにより、画像形成装置は、画面遷移も含めた遠隔操作を実現することができる。
【０１６６】
また、本実施形態に係る画像形成装置によれば、操作画面の表示に要する電力を制御する電力制御部５３をさらに備え、電力制御部５３は、操作画面の撮像を契機として、操作画面の表示に要する電力の供給状態を、通常状態から待機状態に移行させる。
【０１６７】
これにより、画像形成装置は、遠隔操作時の消費電力を大幅に削減することができる。
【０１６８】
また、本実施形態に係る画像形成システム１によれば、画像形成装置と、情報端末２０とを備える画像形成システム１であって、情報端末２０は、操作画面を撮像する撮像部２０２と、撮像部２０２により撮像された操作画面に基づいて表示画面を表示する表示部２０６と、表示部２０６により表示された表示画面の第２の操作内容を受け付ける操作部２０７と、操作部２０７により受け付けられた第２の操作内容に基づいて生成された操作信号を送信する端末側インターフェース部２０８とを備える。
【０１６９】
これにより、画像形成システム１は、簡易な構成の端末を利用して遠隔操作を実現することができる。
【０１７０】
また、本実施形態に係るプログラムによれば、コンピュータに、画像に関連する処理の操作を受け付ける操作画面を表示制御する本体側表示制御機能と、本体側表示制御機能により表示制御されている操作画面を介して操作され得る第１の操作内容に相当する操作信号を受信する本体側受信機能と、本体側受信機能により受信された操作信号に基づいて画像に関連する処理を実行する画像処理機能とを実行させるためのプログラムであって、操作信号は、操作画面が撮像された撮像データの表示画面を介して操作された第２の操作内容に基づいて生成され、第２の操作内容は、操作画面の第１の操作項目と、表示画面の第２の操作項目とを関連付ける操作項目位置情報と、操作画面と、表示画面とを関連付ける画面識別情報とを含み、画像処理機能は、画像に関連する処理を実行する際、本体側受信機能による操作信号の受信を契機として、操作項目位置情報と、画面識別情報と、に基づいて、第１の操作内容と、第２の操作内容とを関連付ける。
【０１７１】
これにより、画像形成装置における場合と同様に、遠隔操作時の消費電力を抑制することができるようになる。
【０１７２】
以上、本発明に係る画像形成装置を実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。
【０１７３】
例えば、画像形成装置として機能するＭＦＰ１０によるネットワークが構成された画像形成システム１の一例について説明したが、これに限らず、画像形成システム１を構成するネットワークの構成要素は、画像形成装置として機能するものであればよい。例えば、画像形成装置として機能するプリンタ又はファクシミリが画像形成システム１を構成するネットワークの構成要素であってもよい。
【０１７４】
また、情報端末２０に携帯電話の機能が実現される一例について説明したが、これに限らず、情報端末２０は、携帯電話の機能の有無にかかわらず、撮像部２０２を含み、撮像部２０２により撮像された撮像データが表示可能であって、表示された撮像データから生成される表示画面が操作可能であり、ＭＦＰ１０に表示画面の操作内容が送信できるものであればよい。
【０１７５】
また、表示部１６１，２０６のそれぞれが液晶表示装置からなる一例について説明したが、これに限らず、有機ＥＬＤ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ  Ｄｉｓｐｌａｙ）からなるものであってもよい。
【０１７６】
また、ＣＰＵ１１１が実行するプログラムを記憶する記録媒体としてＣＤ−ＲＯＭ１１８を用いる一例について説明したが、これに限らず、光ディスク、ＩＣカード、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｄｉｓｃ）、及びＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  ＥＰＲＯＭ）等の半導体メモリであってもよい。
【０１７７】
また、ＣＰＵ１１１が実行するプログラムが、ＣＤ−ＲＯＭ１１８に記憶されたプログラムである一例について説明したが、これに限らず、ＨＤＤ１１５に記憶されたプログラムをＲＡＭ１１４にロードして実行してもよい。この場合、通信媒体３に接続された不図示の他のコンピュータが、ＭＦＰ１０のＨＤＤ１１５に記憶されたプログラムを書き換える、又は新たなプログラムを追加して書き込むようにしてもよい。さらに、ＭＦＰ１０が、通信媒体３に接続された不図示の他のコンピュータからプログラムをダウンロードし、そのダウンロードしたプログラムをＨＤＤ１１５に記憶してもよい。このようプログラムは、ＣＰＵ１１１が直接実行可能なプログラムだけではなく、ソースプログラム、圧縮処理されたプログラム、又は暗号化されたプログラム等であってもよい。
【０１７８】
また、ＣＰＵ２０１が実行するプログラムを記憶する記録媒体としてフラッシュメモリ２０３を用いる一例について説明したが、これに限らず、光ディスク、ＩＣカード、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｄｉｓｃ）、及びＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  ＥＰＲＯＭ）等の半導体メモリであってもよい。
【０１７９】
また、通信媒体３に接続された不図示の他のコンピュータが、情報端末２０のフラッシュメモリ２０３に記憶されたプログラムを書き換える、又は新たなプログラムを追加して書き込むようにしてもよい。さらに、情報端末２０が、通信媒体３に接続された不図示の他のコンピュータからプログラムをダウンロードし、そのダウンロードしたプログラムをフラッシュメモリ２０３に記憶してもよい。このようプログラムは、ＣＰＵ２０１が直接実行可能なプログラムだけではなく、ソースプログラム、圧縮処理されたプログラム、又は暗号化されたプログラム等であってもよい。
【０１８０】
また、情報端末２０の撮像部２０２が備える光電変換素子がＣＭＯＳセンサである一例について説明したが、これに限らず、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサであってもよい。
【０１８１】
また、情報端末２０が、端末側インターフェース部２０８を用いることにより、ＭＦＰ１０ａ〜１０ｃのそれぞれと通信可能である一例について説明したが、これに限らず、他の通信形態であってもよい。例えば、情報端末２０及びＭＦＰ１０ａ〜１０ｃのそれぞれが、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信装置を搭載する場合、情報端末２０が、ＭＦＰ１０ａ〜１０ｃの何れか１台と、１対１で通信してもよい。また、例えば、情報端末２０と、ＭＦＰ１０ａ〜１０ｃの何れか１台とを、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ケーブル等の有線で接続させることにより、情報端末２０が、ＭＦＰ１０ａ〜１０ｃの何れか１台と、１対１で通信してもよい。
【０１８２】
なお、本実施形態においては説明を省略したが、情報端末２０と、ＭＦＰ１０とが通信を開始する際、パスワード等による認証処理が実行され、情報端末２０と、ＭＦＰ１０との間の接続認証が許可された場合、情報端末２０と、ＭＦＰ１０との通信を確立させてもよい。
【０１８３】
なお、上記で説明した一連の処理は、ハードウェアにより実行させることもでき、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合は、そのソフトウェアを構成するプログラムが、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータに、プログラムを記録する記録媒体から、又は、インターネット等を介して、インストールされるものである。
【符号の説明】
【０１８４】
１          画像形成システム
３          通信媒体
１０，１０ａ〜１０ｃ  ＭＦＰ
１１０      メイン回路
１１１      ＣＰＵ
１１２      本体側インターフェース部
１１３      ＲＯＭ
１１４      ＲＡＭ
１１５      ＨＤＤ
１１６      ファクシミリ部
１１７      外部記憶装置
１１８      ＣＤ−ＲＯＭ
１２０      自動原稿搬送装置
１３０      原稿読取部
１４０      画像形成部
１５０      給紙部
１６０      操作パネル
１６１      表示部
１６３      操作部
１６５      タッチパネル
１６７      ハードキー部
１２        パーソナルコンピュータ
２０        情報端末
２０１      ＣＰＵ
２０２      撮像部
２０３      フラッシュメモリ
２０４      無線通信部
２０５      通話部
２０６      表示部
２０７      操作部
２０８      端末側インターフェース部
２１１      タッチパネル
２１２      ハードキー部
３０        無線局
５１        画像処理部
５２        本体側表示制御部
５３        電力制御部
５４        本体側受信部
５５        本体側送信部
５６        計時部
７１        撮像制御部
７２        端末側表示制御部
７３        座標検出部
７４        演算部
７５        計時部
７６        端末側送信部
７７        端末側受信部
【図１】
0006274186.tif 000002
【図２】
0006274186.tif 000003
【図３】
0006274186.tif 000004
【図４】
0006274186.tif 000005
【図５】
0006274186.tif 000006
【図６】
0006274186.tif 000007
【図７】
0006274186.tif 000008
【図８】
0006274186.tif 000009
【図９】
0006274186.tif 000010
【図１０】
0006274186.tif 000011
【図１１】
0006274186.tif 000012