(57)【要約】【課題】処理装置の操作用のインタフェースを従来よりも容易にカスタマイズできるようにする。【解決手段】端末装置２は、画像形成装置１に設けられかつ画像形成装置１を操作するためのキーごとに対応するマーカが描かれた用紙を、ユーザが用紙に対して作業を行っている際に撮影することによって、用紙の画像を取得する。この画像に基づいて、マーカのうちのユーザによって選択されたマーカである選択マーカを判別する。そして、選択マーカを画像形成装置１へ通知する。画像形成装置１は、通知された選択マーカに対応するキーが押されたものとして、処理を実行する。【選択図】図１
2016134863.tif 000002
【特許請求の範囲】
【請求項１】
処理装置と、前記処理装置を遠隔的に操作するための端末装置と、を有する処理システムであって、
前記端末装置に、
前記処理装置に設けられかつ当該処理装置を操作するためのオブジェクトごとに対応するマーカが描かれた面を、ユーザが当該面に対して作業を行っている際に撮影することによって、当該面の画像を取得する撮影手段と、
前記画像に基づいて、前記マーカのうちの前記ユーザによって選択されたマーカである選択マーカを判別する、選択マーカ判別手段と、
前記選択マーカまたは当該選択マーカに対応する前記オブジェクトの識別子を前記処理装置へ通知する通知手段と、
が設けられ、
前記処理装置に、
前記端末装置から通知された前記選択マーカに対応する前記オブジェクトまたは通知された前記識別子に対応する前記オブジェクトに基づいて処理を実行する処理手段、
が設けられる、
ことを特徴とする処理システム。
【請求項２】
前記端末装置に、
前記マーカと前記オブジェクトとの対応関係を取得する取得手段、が設けられ、
前記通知手段は、前記対応関係に基づいて前記識別子を通知する、
請求項１に記載の処理システム。
【請求項３】
前記端末装置に、さらに、
前記画像に基づいて、前記選択マーカに対して行われたジェスチャを判別するジェスチャ判別手段、
が設けられ、
前記通知手段は、前記選択マーカまたは前記識別子に対応付けて前記ジェスチャを前記処理装置へ通知し、
前記処理手段は、前記端末装置から通知された前記ジェスチャに基づいて前記処理を実行する、
請求項１または請求項２に記載の処理システム。
【請求項４】
前記処理装置に、さらに、
印刷手段と、
画像読取手段と、
が設けられ、
前記処理手段は、前記処理として、画像を用紙に印刷する処理を前記印刷手段によって実行し、または、用紙から画像を読み取る処理を前記画像読取手段によって実行する、
請求項１ないし請求項３のいずれかに記載の処理システム。
【請求項５】
処理装置を遠隔的に操作するための端末装置であって、
前記処理装置に設けられかつ当該処理装置を操作するためのオブジェクトごとに対応するマーカが描かれた面を、ユーザが当該面に対して作業を行っている際に撮影することによって、当該面の画像を取得する撮影手段と、
前記画像に基づいて、前記マーカのうちの前記ユーザによって選択されたマーカである選択マーカを判別する、選択マーカ判別手段と、
前記選択マーカまたは当該選択マーカに対応する前記オブジェクトの識別子を前記処理装置へ通知する通知手段と、
を有することを特徴とする端末装置。
【請求項６】
端末装置によって撮影された画像に基づいて処理を実行する処理装置であって、
当該処理装置に設けられかつ当該処理装置を操作するためのオブジェクトごとに対応するマーカが描かれた面を、ユーザが当該面に対して作業を行っている際に前記端末装置が撮影することによって得られた撮影画像を、前記画像として取得する、画像取得手段と、
前記撮影画像に基づいて、前記マーカのうちの前記ユーザによって選択されたマーカである選択マーカを判別する、選択マーカ判別手段と、
前記選択マーカに対応する前記オブジェクトに基づいて前記処理を実行する処理手段と、
を有することを特徴とする処理装置。
【請求項７】
処理装置を端末装置によって遠隔的に操作する遠隔操作方法であって、
前記処理装置に設けられかつ当該処理装置を操作するためのオブジェクトごとに対応するマーカが描かれた面を、ユーザが当該面に対して作業を行っている際に撮影することによって、当該面の画像を取得する取得処理を、前記端末装置に実行させ、
前記画像に基づいて、前記マーカのうちの前記ユーザによって選択されたマーカである選択マーカを前記端末装置に判別する判別処理を、前記端末装置に実行させ、
前記選択マーカまたは当該選択マーカに対応する前記オブジェクトの識別子を前記処理装置へ通知する通知処理を、前記端末装置に実行させ、
前記端末装置から通知された前記選択マーカに対応する前記オブジェクトまたは通知された前記識別子に対応する前記オブジェクトに応じた特定の処理を前記処理装置に実行させる、
ことを特徴とする遠隔操作方法。
【請求項８】
処理装置を遠隔的に操作するためのコンピュータに用いられるコンピュータプログラムであって、
前記処理装置に設けられかつ当該処理装置を操作するためのオブジェクトごとに対応するマーカが描かれた面を、ユーザが当該面に対して作業を行っている際に撮影することによって、当該面の画像を取得する撮影処理を、前記コンピュータに実行させ、
前記画像に基づいて、前記マーカのうちの前記ユーザによって選択されたマーカである選択マーカを判別する判別処理を、前記コンピュータに実行させ、
前記選択マーカまたは当該選択マーカに対応する前記オブジェクトの識別子を前記処理装置へ通知する通知処理を、前記コンピュータに実行させる、
ことを特徴とするコンピュータプログラム。
【請求項９】
端末装置によって撮影された画像に基づいて処理を実行する処理装置に用いられるコンピュータプログラムであって、
当該処理装置に設けられかつ当該処理装置を操作するためのオブジェクトごとに対応するマーカが描かれた面を、ユーザが当該面に対して作業を行っている際に前記端末装置が撮影することによって得られた撮影画像を、前記画像として取得する取得処理を、当該処理装置に実行させ、
前記撮影画像に基づいて、前記マーカのうちの前記ユーザによって選択されたマーカである選択マーカを判別する判別処理を、当該処理装置に実行させ、
前記選択マーカに対応する前記オブジェクトに応じた特定の処理を当該処理装置に実行させる、
ことを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像形成装置などの処理装置を操作するためのインタフェースの技術に関する。
【背景技術】
【０００２】
コピー、スキャン、ファックス、ドキュメントサーバ、またはＰＣプリントなどの機能を備えた画像形成装置が普及している。このような画像形成装置は、「複合機」または「ＭＦＰ（Multi Function Peripherals）」などと呼ばれる。
【０００３】
画像形成装置には、パーソナルコンピュータにおけるキーボードに相当する操作パネルが設けられている。操作パネルには、テンキー、スタートキー、ストップキー、電源キー、および種々のファンクションキーなどのキーが設けられている。
【０００４】
また、ＡＲ（Augmented Reality）を用いた入力方法が提案されている。特許文献１に記載される方法によると、背景映像を取得する。設置する画像形成装置の表示位置情報を取得する。表示位置情報と画像形成装置のサイズに関する情報とに基づいて、画像形成装置の装置画像を生成する。手または指の位置情報を取得する。手または指の位置情報に基づいて、手または指の位置を示すポインタ画像を生成する。背景映像、装置画像、およびポインタ画像を合成して出力映像を生成する。画像形成装置を設置する位置と手または指の位置情報とに基づいて、画像形成装置の動作を模擬するシミュレーションモデルの所定の動作を実行する。前記出力映像を表示する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−１０５３３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
操作パネルには、特定のユーザしか使用しないキーが配置されている。また、キーの配置の好みは、ユーザごとに異なる。
【０００７】
しかし、キーは、固定的に配置されており、並び換えることができない。例えば、テンキーを構成する各数字のキーの配置を、電卓タイプから電話タイプに並び換えることは、できない。また、不要なキーをなくすことも、できない。特許文献１に記載される入力方法であっても、この解決することができない。
【０００８】
本発明は、このような問題点に鑑み、画像形成装置などの処理装置の操作用のインタフェースを従来よりも容易にカスタマイズできるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一形態に係る処理システムは、処理装置と、前記処理装置を遠隔的に操作するための端末装置と、を有する処理システムであって、前記端末装置に、前記処理装置に設けられかつ当該処理装置を操作するためのオブジェクトごとに対応するマーカが描かれた面を、ユーザが当該面に対して作業を行っている際に撮影することによって、当該面の画像を取得する撮影手段と、前記画像に基づいて、前記マーカのうちの前記ユーザによって選択されたマーカである選択マーカを判別する、選択マーカ判別手段と、前記選択マーカまたは当該選択マーカに対応する前記オブジェクトの識別子を前記処理装置へ通知する通知手段と、が設けられ、前記処理装置に、前記端末装置から通知された前記選択マーカに対応する前記オブジェクトまたは通知された前記識別子に対応する前記オブジェクトに基づいて処理を実行する処理手段、が設けられる。
【００１０】
好ましくは、前記端末装置に、前記マーカと前記オブジェクトとの対応関係を取得する取得手段、が設けられ、前記通知手段は、前記対応関係に基づいて前記識別子を通知する。
【００１１】
または、前記端末装置に、さらに、前記画像に基づいて、前記選択マーカに対して行われたジェスチャを判別するジェスチャ判別手段、が設けられ、前記通知手段は、前記選択マーカまたは前記識別子に対応付けて前記ジェスチャを前記処理装置へ通知し、前記処理手段は、前記端末装置から通知された前記ジェスチャに基づいて前記処理を実行する。
【００１２】
または、前記処理装置に、さらに、印刷手段と、画像読取手段と、が設けられ、前記処理手段は、前記処理として、画像を用紙に印刷する処理を前記印刷手段によって実行し、または、用紙から画像を読み取る処理を前記画像読取手段によって実行する。
【発明の効果】
【００１３】
本発明によると、画像形成装置などの処理装置の操作用のインタフェースを従来よりも容易にカスタマイズすることができる。
【図面の簡単な説明】
【００１４】
【図１】画像処理システムの全体的な構成の例を示す図である。
【図２】画像形成装置のハードウェア構成の例を示す図である。
【図３】操作キーパネルのキーの配置の例を示す図である。
【図４】タブレット型端末装置のハードウェア構成の例を示す図である。
【図５】眼鏡型端末装置のハードウェア構成の例を示す図である。
【図６】画像形成装置の機能的構成の例および端末装置の機能的構成の例を示す図である。
【図７】準備の際のユーザの作業ならびに画像形成装置および端末装置の処理の手順の例を示すシーケンス図である。
【図８】用紙の例を示す図である。
【図９】設定画面の例を示す図である。
【図１０】マーカデータベースの例を示す図である。
【図１１】リモート操作の際のユーザの作業ならびに画像形成装置および端末装置の処理の手順の例を示すシーケンス図である。
【図１２】画像形成装置および端末装置の機能的構成の例を示す図である。
【図１３】リモート操作の際のユーザの作業ならびに画像形成装置および端末装置の処理の手順の例を示すシーケンス図である。
【発明を実施するための形態】
【００１５】
〔第一の実施形態〕
図１は、画像処理システム１００の全体的な構成の例を示す図である。図２は、画像形成装置１のハードウェア構成の例を示す図である。図３は、操作キーパネル１０ｆのキー１５の配置の例を示す図である。図４は、タブレット型端末装置２Ｔのハードウェア構成の例を示す図である。図５は、眼鏡型端末装置２Ｍのハードウェア構成の例を示す図である。
【００１６】
画像処理システム１００は、図１に示すように画像形成装置１、端末装置２、および通信回線３などによって構成される。
【００１７】
画像形成装置１と端末装置２とは、通信回線３を介して通信を行うことができる。通信回線３として、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、ＬＡＮ（Local Area Network）、インターネット、または携帯電話回線などが用いられる。
【００１８】
画像形成装置１は、コピー、スキャン、ファックス、ドキュメントサーバ、またはＰＣプリントなどの機能を備えた画像処理装置である。「複合機」または「ＭＦＰ（Multi Function Peripherals）」などと呼ばれることもある。
【００１９】
画像形成装置１は、図２に示すように、ＣＰＵ（Central Processing Unit）１０ａ、ＲＡＭ（Random Access Memory）１０ｂ、ＲＯＭ（Read Only Memory）１０ｃ、補助記憶装置１０ｄ、タッチパネルディスプレイ１０ｅ、操作キーパネル１０ｆ、ＮＩＣ（Network Interface Card）１０ｇ、モデム１０ｈ、スキャンユニット１０ｉ、画像処理部１０ｊ、およびプリントユニット１０ｋなどによって構成される。
【００２０】
タッチパネルディスプレイ１０ｅは、ユーザに対するメッセージを示す画面、ユーザがコマンドまたは情報を入力するための画面、およびＣＰＵ１０ａなどが実行した処理の結果を示す画面などを表示する。また、タッチパネルディスプレイ１０ｅは、タッチされた位置を示す信号をＣＰＵ１０ａへ送る。
【００２１】
操作キーパネル１０ｆは、いわゆるハードウェアキーボードであって、図３に示すように、「０」〜「９」の各数字のキー、スタートキー、ストップキー、電源キー、および種々のファンクションキーなどのキー１５によって構成される。また、これらのキー１５のうちの一部または全部が、複数の押し方に対応している。押し方には、所定の時間よりも短い時間（例えば、１秒未満）だけ押す「ノーマル押し」、所定の時間以上（例えば、１秒以上）押す「長押し」、およびノーマル押しを短時間で（例えば、０．５秒以内で）２回連続して繰り返す「連続押し」などがある。
【００２２】
ＮＩＣ１０ｇは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などのプロトコルによって端末装置２などの装置と通信を行う。
【００２３】
モデム１０ｈは、ファクシミリ端末との間でＧ３などのプロトコルで画像データをやり取りする。
【００２４】
スキャンユニット１０ｉは、プラテンガラスの上にセットされた用紙に記されている画像を読み取って画像データを生成する。
【００２５】
画像処理部１０ｊは、ＮＩＣ１０ｇ、モデム１０ｈ、またはスキャンユニット１０ｉによって得られた画像データに対して解像度の変換、傾き補正、および天地補正などの処理を行う。
【００２６】
プリントユニット１０ｋは、スキャンユニット１０ｉによって読み取られた画像のほか、他の装置から受信した画像を、画像処理部１０ｊによって処理が必要に応じて施された後、用紙に印刷する。
【００２７】
ＲＯＭ１０ｃまたは補助記憶装置１０ｄには、上述のコピーなどの機能を実現するためのプログラムが記憶されている。さらに、リモート操作用プログラム１Ｐが記憶されている。
【００２８】
これらのプログラムは、必要に応じてＲＡＭ１０ｂにロードされ、ＣＰＵ１０ａによって実行される。補助記憶装置１０ｄとして、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）などが用いられる。
【００２９】
端末装置２は、画像形成装置１の上述の種々の機能を使用するためのクライアントである。また、操作キーパネル１０ｆの代わりの入力装置としても、用いられる。
【００３０】
端末装置２として、パーソナルコンピュータ、タブレットコンピュータ、スマートフォン、または眼鏡型コンピュータなどが用いられる。
【００３１】
「眼鏡型コンピュータ」は、ウェアラブルコンピュータの一種であり、グーグル社のグーグルグラスのような、眼鏡のように顔に装着するタイプのコンピュータである。
【００３２】
以下、端末装置２として、タブレットコンピュータまたは眼鏡型コンピュータが用いられる場合を例に説明する。前者および後者をそれぞれ「タブレット型端末装置２Ｔ」および「眼鏡型端末装置２Ｍ」と区別して記載することがある。
【００３３】
タブレット型端末装置２Ｔは、図４に示すように、ＣＰＵ２０ａ、ＲＡＭ２０ｂ、ＲＯＭ２０ｃ、フラッシュメモリ２０ｄ、タッチパネルディスプレイ２０ｅ、操作ボタン群２０ｆ、デジタルカメラ２０ｇ、および無線通信装置２０ｈなどが用いられる。
【００３４】
タッチパネルディスプレイ２０ｅは、フラット型ディスプレイ（例えば、液晶ディスプレイ）およびタッチパネルによって構成される。フラット型ディスプレイは、種々の画像を表示する。特にドキュメントを表示するために用いられる。タッチパネルは、ユーザがタッチした位置を検知し、その位置をＣＰＵ２０ａへ通知する。
【００３５】
操作ボタン群２０ｆは、ホーム画面に戻るためのボタン、入力した内容を確定するためのボタン、音量を調整するためのボタン、および電源のオン／オフを切り換えるためのボタンなどによって構成される。
【００３６】
デジタルカメラ２０ｇは、種々の画像を撮影する。特にドキュメントが印刷された用紙を撮影するために用いられる。
【００３７】
無線通信装置２０ｈは、基地局を介してＴＣＰ／ＩＰなどのプロトコルによって画像形成装置１などの装置と通信を行う。無線通信装置２０ｈの通信方式として、例えば、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）、ＬＴＥ（Long Term Evolution）、またはＰＨＳ（Personal Handy-phone System）などが用いられる。
【００３８】
ＲＯＭ２０ｃまたはフラッシュメモリ２０ｄには、リモート操作用プログラム２Ｐが記憶されている。リモート操作用プログラム２Ｐは、ＲＡＭ２０ｂにロードされ、ＣＰＵ２０ａによって実行される。
【００３９】
眼鏡型端末装置２Ｍは、図５に示すように、ＣＰＵ２０ｐ、ＲＡＭ２０ｑ、ＲＯＭ２０ｒ、フラッシュメモリ２０ｓ、ディスプレイ２０ｔ、操作ボタン群２０ｕ、デジタルカメラ２０ｖ、および無線通信装置２０ｗなどが用いられる。
【００４０】
ＣＰＵ２０ｐ、ＲＡＭ２０ｑ、ＲＯＭ２０ｒ、フラッシュメモリ２０ｓ、ディスプレイ２０ｔ、操作ボタン群２０ｕ、デジタルカメラ２０ｖ、および無線通信装置２０ｗの役割は、それぞれ、タブレット型端末装置２ＴのＣＰＵ２０ａ、ＲＡＭ２０ｂ、ＲＯＭ２０ｃ、フラッシュメモリ２０ｄ、タッチパネルディスプレイ２０ｅ、操作ボタン群２０ｆ、デジタルカメラ２０ｇ、および無線通信装置２０ｈと基本的に同様である。
【００４１】
ただし、画像を再現する方式が、タッチパネルディスプレイ２０ｅとディスプレイ２０ｔとでは、相違する。タッチパネルディスプレイ２０ｅは、上述の通り、液晶ディスプレイのような平面型のディスプレイが用いられる。一方、ディスプレイ２０ｔは、柄の根元に設けられたプロジェクタからレンズの端部付近に設けられたプリズムへ光を発することによって、画像を再現する。
【００４２】
リモート操作用プログラム２Ｐが、ＲＯＭ２０ｒまたはフラッシュメモリ２０ｓに記憶されており、ＲＡＭ２０ｑにロードされ、ＣＰＵ２０ｐによって実行される。
【００４３】
リモート操作用プログラム１Ｐおよびリモート操作用プログラム２Ｐによると、ユーザは、操作キーパネル１０ｆの代わりに端末装置２を使用して画像形成装置１を遠隔的に操作することができる。しかも、その際に、用紙に任意に描いたマーカに触れることによって操作することができる（図８参照）。以下、この仕組みについて、説明する。
【００４４】
図６は、画像形成装置１の機能的構成の例および端末装置２の機能的構成の例を示す図である。
【００４５】
リモート操作用プログラム１Ｐによると、図６に示す設定画面表示部１０１、マーカデータ設定部１０２、マーカデータ記憶部１０３、マーカデータ送信部１０４、実行処理判別部１０５、表示制御部１０６、およびジョブ実行制御部１０７などが画像形成装置１に実現される。
【００４６】
また、リモート操作用プログラム２Ｐによると、図６に示す設定開始要求部２０１、設定マーカ送信部２０２、マーカデータ取得部２０３、タッチマーカ判別部２０４、ジェスチャ判別部２０５、および制御信号送信部２０６などが端末装置２に実現される。
【００４７】
〔準備〕
図７は、準備の際のユーザの作業ならびに画像形成装置１および端末装置２の処理の手順の例を示すシーケンス図である。図８は、用紙４の例を示す図である。図９は、設定画面６の例を示す図である。図１０は、マーカデータベース７０の例を示す図である。
【００４８】
用紙に任意に描いたマーカに触れることによって画像形成装置１を操作するには、事前に準備が必要である。準備の際のユーザの作業および図６の各部の処理は、図７に示す手順で行われる。なお、図７に示す画像形成装置１の処理は、リモート操作用プログラム１Ｐに基づいて実行され、端末装置２の処理は、リモート操作用プログラム２Ｐに基づいて実行される。
【００４９】
ユーザは、図８のような、複数のマーカ５（５０１、５０２、…、５１２）を描いた用紙４を用意する（図７の＃８０１）。これらのマーカ５を配置したドキュメントを端末装置２のアプリケーションソフトによって作成し、このドキュメントを画像形成装置１によって白紙に印刷することによって用紙４を用意してもよい。または、白紙にペンで手描きすることによって用紙４を用意してもよい。
【００５０】
そして、ユーザは、端末装置２を持って画像形成装置１のところへ移動し、端末装置２に、画像形成装置１への接続のコマンドを入力する（＃８０２）。例えば、Ｂｌｕｅｔｏｏｔｈによって端末装置２と画像形成装置１とを接続させる場合は、ペアリングのコマンドを入力する。
【００５１】
端末装置２は、このコマンドが入力されると（＃８１１）、画像形成装置１へアクセスし、画像形成装置１と端末装置２との接続を確立する（＃８１２、＃８２１、＃８１３、＃８２２）。例えばＢｌｕｅｔｏｏｔｈによる場合は、公知の方法によってペアリングを行う。
【００５２】
接続が確立されたら、ユーザは、設定モードへの切換えのコマンドを端末装置２へ入力する（＃８０３）。
【００５３】
端末装置２において、このコマンドが入力されると（＃８１４）、設定開始要求部２０１は、設定の処理を開始するように画像形成装置１に対して要求する（＃８１５）。
【００５４】
画像形成装置１において、設定画面表示部１０１は、端末装置２からの要求を受け付けると（＃８２３）、図９のような設定画面６をタッチパネルディスプレイ１０ｅに表示させる（＃８２４）。なお、設定画面６が表示された当初、撮影キー領域６２には、何も示されていない。
【００５５】
ユーザは、マーカ５ごとに、それに対応付けるキー１５を指定する。ここで、マーカ５１２に電源キー１５１を対応付ける場合を例に、指定の仕方およびその際の処理を説明する。
【００５６】
端末装置２において、設定モードへの切換えのコマンドが入力されると、デジタルカメラ２０ｇまたは２０ｖは、撮影を開始する（＃８１６）。
【００５７】
ユーザは、デジタルカメラ２０ｇまたは２０ｖをマーカ５１２にフォーカスさせ（＃８０４）、シャッタボタンを押す（＃８０５）。
【００５８】
すると、設定マーカ送信部２０２は、マーカ５１２をキャプチャする（＃８１７）。これにより、マーカ５１２の画像データが得られる。そして、マーカ５１２の画像データを画像形成装置１へ送信する（＃８１８）。
【００５９】
画像形成装置１において、設定画面表示部１０１は、マーカ５１２の画像データを受信すると（＃８２５）、設定画面６の撮影キー領域６２にマーカ５１２を反映（表示）させる（＃８２６）。
【００６０】
ところで、キーリスト６１は、操作キーパネル１０ｆ（図３参照）に配置されているキー１５の一覧である。
【００６１】
ユーザは、マーカ５１２に割り当てるキー１５（本例では、電源キー１５１）をキーリスト６１の中からタッチして選択し、設定ボタン６３をタッチする（＃８０６）。本例では、「電源」をタッチすることによって電源キー１５１を選択する。
【００６２】
すると、マーカデータ設定部１０２は、選択を受け付け（＃８２７）、撮影されたマーカ５つまりマーカ５１２を、選択されたキー１５つまり電源キー１５１と対応付けてマーカデータ記憶部１０３に記憶させる（＃８２８）。
【００６３】
ユーザは、ステップ＃８０４〜＃８０６の作業を、他のマーカ５についても同様に行う。すると、端末装置２および画像形成装置１は、それぞれ、ステップ＃８１７〜＃８１８およびステップ＃８２５〜＃８２８の処理を実行する。
【００６４】
以上の作業および処理によって、マーカデータ記憶部１０３には、図１０のように、各マーカ５が、キー１５の識別子と対応付けられて記憶される。これにより、準備が完了する。以下、これらのマーカ５とキー１５の識別子との対応付けのデータの集まりを「マーカデータベース７０」と記載する。
【００６５】
〔リモート操作〕
図１１は、リモート操作の際のユーザの作業ならびに画像形成装置１および端末装置２の処理の手順の例を示すシーケンス図である。
【００６６】
上述の準備が完了したら、ユーザは、操作キーパネル１０ｆの代わりに端末装置２を使用して画像形成装置１を遠隔的に操作することができる。遠隔操作（リモートコントロール）の際のユーザの作業および図６の各部の処理は、図１１に示す手順で行われる。なお、図１１に示す画像形成装置１の処理は、リモート操作用プログラム１Ｐに基づいて実行され、端末装置２の処理は、リモート操作用プログラム２Ｐに基づいて実行される。
【００６７】
準備の場合と同様に、ユーザが端末装置２に、画像形成装置１への接続のコマンドを入力すると、画像形成装置１と端末装置２との接続が確立される（＃８３１、８４１〜＃８４３、＃８６１〜＃８６２）。
【００６８】
接続が確立されたら、ユーザは、遠隔操作モードへの切換えのコマンドを端末装置２へ入力する（＃８３２）。
【００６９】
端末装置２において、このコマンドが入力されると（＃８４４）、マーカデータ取得部２０３は、マーカ５に関する情報を画像形成装置１に対して要求する（＃８４５）。
【００７０】
画像形成装置１において、マーカデータ送信部１０４は、端末装置２からの要求を受け付けると（＃８６３）、マーカデータ記憶部１０３に記憶されているマーカデータベース７０を端末装置２へ送信する（＃８６４）。
【００７１】
そして、端末装置２において、マーカデータ取得部２０３は、マーカデータベース７０を受信する（＃８４６）。
【００７２】
マーカデータベース７０の取得の処理と前後してまたは並行して、デジタルカメラ２０ｇまたは２０ｖが撮影を開始する（＃８４７）。これにより、所定の時間（例えば、０．１秒）ごとに画像が得られる。
【００７３】
ここで、ユーザは、用紙４が撮影されるように、デジタルカメラ２０ｇまたは２０ｖの位置および姿勢を調整する（＃８３３）。タブレット型端末装置２Ｔを使用している場合は、タッチパネルディスプレイ２０ｅに用紙４が表示されるようにデジタルカメラ２０ｇを調整すればよい。眼鏡型端末装置２Ｍを使用している場合は、眼鏡型端末装置２Ｍを掛け、レンズ越しに用紙４が見えるように調整すればよい。そして、用紙４の撮影を続けながら、用紙４の中のいずれかのマーカ５に対して、ノーマル押し、長押し、および連続押しのいずれかを行う（＃８３４）。
【００７４】
タッチマーカ判別部２０４は、どのマーカ５が押された（タッチされた）のかを判別する（＃８４８）。
【００７５】
ジェスチャ判別部２０５は、タッチされたマーカ５に対してどのような押し方がなされたのかを判別する（＃８４９）。
【００７６】
マーカ５および押し方の判別は、公知の方法で、次々に撮影される用紙４の画像を解析することによって行うことができる。ここで、判別の方法の一例を説明する。
【００７７】
タッチマーカ判別部２０４は、あるマーカ５の上でユーザの指の先端が止まった場合、つまり、連続する所定の個数の画像において、そのマーカ５の上に先端が写っている場合（そのマーカ５の一部分または全部分が指によって欠けている場合）に、そのマーカ５が押されたと判別する。
【００７８】
ジェスチャ判別部２０５は、あるマーカ５の上でユーザの指の先端が止まってから所定の時間が経過するまでに先端がそのマーカ５から離れた（マーカ５の全部分が画像に再び写った）場合に、押し方がノーマル押しであると判別する。または、あるマーカ５の上で先端が止まってから所定の時間が経過した後でそのマーカ５から離れた場合は、押し方が長押しであると判別する。または、あるマーカ５の上で先端が止まってから所定の時間が経過するまでにそのマーカ５から離れ、再びそのマーカ５の上で先端が止まってから所定の時間が経過するまでにそのマーカ５から離れた場合は、押し方が連続押しであると判別する。
【００７９】
なお、タッチマーカ判別部２０４は、各マーカ５を、マーカデータ取得部２０３によって取得されたマーカデータベース７０に基づいて次のように識別することができる。
【００８０】
タッチマーカ判別部２０４は、撮影された画像の中から、円または多角形で囲まれた領域を認識する。各領域の画像を、マーカデータベース７０に示されるマーカとマッチングする。そして、ある領域の画像があるマーカと一致すれば、その領域の画像がそのマーカであると判別する。
【００８１】
制御信号送信部２０６は、タッチされたマーカ５がタッチマーカ判別部２０４によって判別され、そのマーカ５に対する押し方がジェスチャ判別部２０５によって判別されると、そのマーカ５に対応するキー１５の識別子およびその押し方を示す制御データ７１を生成し（＃８５０）、画像形成装置１へ送信する（＃８５１）。
【００８２】
画像形成装置１において、実行処理判別部１０５は、制御データ７１を受信すると（＃８６５）、制御データ７１に基づいて、画像形成装置１が実行すべき処理を判別する（＃８６６）。判別の方法は、操作キーパネル１０ｆに対する操作が行われた場合と同様である。例えば、制御データ７１として、電源キー１５１の識別子および長押しを示すデータを受信した場合は、操作キーパネル１０ｆにおいて電源キー１５１が長押しされた場合と同様に、判別を行う。
【００８３】
この制御データ７１だけでは、実行すべき処理を判別できない場合がある。この場合は、この制御データ７１を記憶しておき、この制御データ７１およびその後に受信する１つまたは複数の他の制御データ７１に基づいて判別する。
【００８４】
表示制御部１０６は、実行処理判別部１０５によって判別された処理が表示に関する処理である場合は、判別された表示の処理を実行する（＃８６７）。例えば、コピーの画面に切り換える処理を実行すべきであると実行処理判別部１０５によって判別された場合は、コピーの画面をタッチパネルディスプレイ１０ｅに表示させる。
【００８５】
ジョブ実行制御部１０７は、実行処理判別部１０５によって判別された処理がジョブである場合は、そのジョブが実行されるように各部を制御する（＃８６７）。例えば、コピーのジョブを実行すべきであると実行処理判別部１０５によって判別された場合は、原稿の用紙から画像をスキャンし白紙に印刷（複写）するように、スキャンユニット１０ｉおよびプリントユニット１０ｋなどを制御する。
【００８６】
第一の実施形態によると、用紙４に描かれたマーカ５に対してノーマル押しなどのジェスチャを行うことによって、画像形成装置１を操作することができる。マーカ５は用紙４へ自由に配置することができる。よって、画像形成装置１を操作するためのインタフェースを従来よりも容易にカスタマイズすることができる。
【００８７】
しかも、マーカ５を投影装置によって用紙または卓上に投影したり、マーカ５をタブレット型端末装置２Ｔまたは眼鏡型端末装置２ＭによってＡＲタグとして表示したりする場合よりも、マーカ５の視認性がよく、操作しやすい。
【００８８】
第一の実施形態では、端末装置２は、選択されたマーカ５に対応するキー１５の識別子を画像形成装置１へ送信したが、マーカ５の画像データを画像形成装置１へ送信してもよい。そして、画像形成装置１が、このマーカ５に対応するキー１５を、マーカデータベース７０に基づいて判別してもよい。
【００８９】
〔第二の実施形態〕
図１２は、画像形成装置１および端末装置２の機能的構成の例を示す図である。図１３は、リモート操作の際のユーザの作業ならびに画像形成装置１および端末装置２の処理の手順の例を示すシーケンス図である。
【００９０】
第一の実施形態では、押された（選択された）マーカ５およびその押し方を端末装置２が判別した。第二の実施形態では、これらを画像形成装置１が判別する。以下、この仕組みについて、説明する。第一の実施形態と重複する点は、説明を省略する。
【００９１】
画像処理システム１００の全体的な構成は、第一の実施形態の場合と同様であり、図１に示した通りである。画像形成装置１、タブレット型端末装置２Ｔ、および眼鏡型端末装置２Ｍのハードウェアの構成も、第一の実施形態の場合と同様であり、それぞれ、図２、図４、および図５に示した通りである。ただし、画像形成装置１のＲＯＭ１０ｃまたは補助記憶装置１０ｄには、リモート操作用プログラム１Ｐの代わりにリモート操作用プログラム１Ｐ２が記憶されている。また、タブレット型端末装置２ＴのＲＯＭ２０ｃまたはフラッシュメモリ２０ｄには、リモート操作用プログラム２Ｐの代わりにリモート操作用プログラム２Ｐ２が記憶されている。同様に、眼鏡型端末装置２ＭのＲＯＭ２０ｒまたはフラッシュメモリ２０ｓにも、リモート操作用プログラム２Ｐ２が記憶されている。
【００９２】
リモート操作用プログラム１Ｐ２によると、図１２に示す設定画面表示部１３１、マーカデータ設定部１３２、マーカデータ記憶部１３３、撮影画像受付部１３４、タッチマーカ判別部１３５、ジェスチャ判別部１３６、実行処理判別部１３７、ジョブ実行制御部１３８、およびジョブ実行制御部１３９などが実現される。
【００９３】
リモート操作用プログラム２Ｐ２によると、図１２に示す設定開始要求部２３１、設定マーカ送信部２３２、および撮影画像送信部２３３などが実現される。
【００９４】
設定画面表示部１３１、マーカデータ設定部１３２、マーカデータ記憶部１３３、設定開始要求部２３１、および設定マーカ送信部２３２は、それぞれ、第一の実施形態の設定画面表示部１０１、マーカデータ設定部１０２、マーカデータ記憶部１０３、設定開始要求部２０１、および設定マーカ送信部２０２（図６参照）と同様の機能を有する。つまり、これらによって、マーカデータベース７０（図１０参照）がマーカデータ記憶部１３３に準備される。
【００９５】
第一の実施形態の場合と同様に、準備が完了したら、ユーザは、操作キーパネル１０ｆの代わりに端末装置２を使用して画像形成装置１を遠隔的に操作することができる。遠隔操作（リモートコントロール）の際のユーザの作業および図１２の各部の処理は、図１３に示す手順で行われる。なお、図１３に示す画像形成装置１の処理は、リモート操作用プログラム１Ｐ２に基づいて実行され、端末装置２の処理は、リモート操作用プログラム２Ｐ２に基づいて実行される。ユーザの作業は、第一の実施形態の場合と同様である。
【００９６】
第一の実施形態の場合と同様、ユーザは、画像形成装置１と端末装置２とを接続させておく（図１３の＃８７１、＃８８１〜＃８８３、＃８９１〜＃８９２）。そして、ユーザは、遠隔操作モードへの切換えのコマンドを端末装置２へ入力する（＃８７２）。
【００９７】
端末装置２において、このコマンドが入力されると（＃８８４）、デジタルカメラ２０ｇまたは２０ｖは、撮影を開始する（＃８８５）。これにより、所定の時間（例えば、０．１秒）ごとに画像データ７２が得られる。撮影画像送信部２３３は、画像データ７２が得られるごとに、それを画像形成装置１へ送信する（＃８８６）。
【００９８】
ユーザは、第一の実施形態の場合と同様に、用紙４が撮影されるように、デジタルカメラ２０ｇまたは２０ｖの位置および姿勢を調整し（＃８７３）、用紙４の撮影を続けながら所望のマーカ５に対してノーマル押し、長押し、および連続押しのいずれかを行う（＃８７４）。これにより、ユーザによるマーカ５に対する作業の様子を表わす画像データ７２が画像形成装置１へ送信される。
【００９９】
画像形成装置１において、撮影画像受付部１３４は、端末装置２からの画像データ７２を次々に受け付ける（＃８９４）。
【０１００】
タッチマーカ判別部１３５は、撮影画像受付部１３４によって受け付けられた画像データ７２に示される画像、つまり、端末装置２によって撮影された画像に基づいて、どのマーカ５が押された（タッチされた）のかを判別する（＃８９４）。ジェスチャ判別部１３６は、タッチされたマーカ５に対してどのような押し方がなされたのかを判別する（＃８９５）。マーカ５および押し方の判別は、第一の実施形態の場合と同様である。
【０１０１】
実行処理判別部１３７は、タッチマーカ判別部１３５によって判別されたマーカ５およびジェスチャ判別部１３６によって判別された押し方に応じて、画像形成装置１が実行すべき処理を判別する（＃８９６）。判別の方法は、操作キーパネル１０ｆに対する操作が行われた場合と同様である。
【０１０２】
表示制御部１３８は、第一の実施形態の表示制御部１０６と同様に、実行処理判別部１３７によって判別された処理が表示に関する処理である場合は、判別された表示の処理を実行する（＃８９７）。
【０１０３】
ジョブ実行制御部１３９は、第一の実施形態のジョブ実行制御部１０７と同様に、実行処理判別部１３７によって判別された処理がジョブである場合は、そのジョブが実行されるように各部を制御する（＃８９７）。
【０１０４】
第二の実施形態によると、第一の実施形態と同様に、画像形成装置１を操作するためのインタフェースを従来よりも容易にカスタマイズすることができる。
【０１０５】
第一の実施形態および第二の実施形態では、用紙４を、操作キーパネル１０ｆの代わりに使用する場合を例に説明したが、タッチパネルディスプレイ１０ｅに表示される画面に代わりに使用する場合にも、本発明を適用することができる。この場合は、この画面に配置されているボタンに対応するマーカを用紙４に記しておけばよい。そして、各マーカを、それに対応するボタンの識別子と対応付けてマーカデータ記憶部１０３に記憶させておけばよい。また、この場合は、ノーマル押し、長押し、および連続押しだけでなく、フリックおよびドラッグなどを検知してもよい。
【０１０６】
第一の実施形態および第二の実施形態では、画像形成装置１の操作用のオブジェクトとしてキー１５が操作キーパネル１０ｆに設けられている場合を例に説明したが、レバーまたはダイアルなどのオブジェクトが設けられている場合にも、本発明を適用することができる。この場合は、レバーまたはダイアルなどの絵を用紙４に記しておく。そして、ジェスチャ判別部２０５またはジェスチャ判別部１３６は、撮影された画像に基づいて、レバーに対する操作の種類（ジェスチャ）を判別すればよい。
【０１０７】
その他、画像処理システム１００、画像形成装置１、端末装置２の全体または各部の構成、処理内容、処理順序、マーカ５の配置、設定画面６の構成、データベースの構成などは、本発明の趣旨に沿って適宜変更することができる。
【符号の説明】
【０１０８】
１００  画像処理システム
１  画像形成装置（処理装置）
１０６  表示制御部（処理手段）
１０７  ジョブ実行制御部（処理手段）
１０ｉ  スキャンユニット（画像読取手段）
１０ｋ  プリントユニット（印刷手段）
２  端末装置
２０３  マーカデータ取得部（取得手段）
２０４  タッチマーカ判別部（選択マーカ判別手段）
２０５  ジェスチャ判別部（ジェスチャ判別手段）
２０６  制御信号送信部（通知手段）
２０ｇ、２０ｖ  デジタルカメラ（撮影手段）
４  用紙
５  マーカ
７０  マーカデータベース
７１  制御データ
７２  画像データ
【図１】
2016134863.tif 000003
【図２】
2016134863.tif 000004
【図３】
2016134863.tif 000005
【図４】
2016134863.tif 000006
【図５】
2016134863.tif 000007
【図６】
2016134863.tif 000008
【図７】
2016134863.tif 000009
【図８】
2016134863.tif 000010
【図９】
2016134863.tif 000011
【図１０】
2016134863.tif 000012
【図１１】
2016134863.tif 000013
【図１２】
2016134863.tif 000014
【図１３】
2016134863.tif 000015