(57)【要約】【課題】携帯端末を、操作部に近付けて使用する場合に、携帯端末の背後に隠れてユーザが操作できない操作部に対する操作と同様の操作をユーザから受け付けることのできる操作表示装置、操作表示システム、携帯端末、およびそのプログラムを提供する。【解決手段】  所定の携帯端末と、操作表示装置の表示部のうちの少なくともいずれか一方の表示画面の空き領域を検出する。そして該携帯端末の位置を検出し、該操作表示装置の操作部の正面側に該携帯端末が位置する場合に、操作部の画像（代替釦）を該空き領域に表示させる。そして、携帯端末、もしくは操作表示装置の表示部の空き領域に表示された代替釦に対する操作を、操作部で受けた操作として受け付ける。【選択図】図７
2016062326.tif 000002
【特許請求の範囲】
【請求項１】
操作部と、
表示部と、
所定の携帯端末の位置を検出する位置検出部と、
前記表示部と前記携帯端末のうちの少なくともいずれか１つの表示画面の空き領域を検出する空き領域検出部と、
前記位置検出部によって検出された前記携帯端末の位置が前記操作部の正面の前方である場合に、前記空き領域検出部が検出した空き領域に、前記操作部の画像を表示させ、前記画像に対する操作を前記操作部で受けた操作として受け付ける操作制御部と
を備える
ことを特徴とする操作表示装置。
【請求項２】
前記操作制御部は、前記操作部のうちの前記携帯端末が正面の前方に位置する部分の画像を、前記空き領域に表示させる
ことを特徴とする請求項１に記載の操作表示装置。
【請求項３】
前記操作制御部は、前記位置検出部の検出した前記携帯端末の位置が前記操作部の正面の前方の所定距離内であるか否かに基づいて、前記表示を行わせるか否かを切り替える
ことを特徴とする請求項１または２に記載の操作表示装置。
【請求項４】
前記操作制御部は、前記空き領域に前記操作部の画像を表示している間は、前記操作部のうち前記画像に現れている部分に対する操作の受け付けを無効にする
ことを特徴とする請求項１乃至３のいずれか1つに記載の操作表示装置。
【請求項５】
前記操作制御部は、前記空き領域検出部が複数の空き領域を検出した場合は、該複数の空き領域の中で最も大きい空き領域を、前記表示を行わせる空き領域として選択する
ことを特徴とする請求項１乃至４のいずれか１つに記載の操作表示装置。
【請求項６】
前記操作制御部は、前記空き領域検出部が複数の空き領域を検出した場合は、該複数の空き領域をユーザに通知するとともに、前記複数の空き領域の中から前記表示を行わせる空き領域の指定を受け、前記指定された空き領域を、前記表示を行わせる空き領域として選択する
ことを特徴とする請求項１乃至４のいずれか１つに記載の操作表示装置。
【請求項７】
前記操作制御部は、前記操作部の画像を縮小して前記空き領域に表示させる
ことを特徴とする請求項１乃至６のいずれか１つに記載の操作表示装置。
【請求項８】
前記操作部は、複数の操作釦を含み、
前記操作制御部は、前記携帯端末が正面の前方に位置する操作釦のうちの一部の操作釦の画像を前記空き領域に表示させる
ことを特徴とする請求項１乃至７のいずれか１つに記載の操作表示装置。
【請求項９】
前記操作制御部は、前記携帯端末が正面の前方に位置する操作釦のうち、前記表示部が表示中の画面での操作で使用される操作釦の画像を優先して、前記空き領域に表示させる
ことを特徴とする請求項８に記載の操作表示装置。
【請求項１０】
前記位置検出部は、前記検出を繰り返し行い、
前記操作制御部は、前記検出の結果に変化があった場合は、前記変化に応じて前記表示の内容を変更する
ことを特徴とする請求項１乃至９のいずれか１つに記載の操作表示装置。
【請求項１１】
携帯端末と、操作部および表示部を備えた操作表示装置を有する操作表示システムであって、
前記操作表示装置に対する前記携帯端末の位置を検出する位置検出部と、
前記表示部と前記携帯端末のうちの少なくともいずれか１つの表示画面の空き領域を検出する空き領域検出部と、
前記位置検出部によって検出された前記携帯端末の位置が前記操作部の正面の前方である場合に、前記空き領域検出部が検出した空き領域に、前記操作部の画像を表示させ、前記画像に対する操作を前記操作部で受けた操作として受け付ける操作制御部と
を備える
ことを特徴とする操作表示システム。
【請求項１２】
前記操作制御部は、前記操作部のうちの前記携帯端末が正面の前方に位置する部分の画像を、前記空き領域に表示させる
ことを特徴とする請求項１１に記載の操作表示システム。
【請求項１３】
前記操作制御部は、前記位置検出部の検出した前記携帯端末の位置が前記操作部の正面の前方の所定距離内であるか否かに基づいて、前記表示を行わせるか否かを切り替える
ことを特徴とする請求項１１または１２に記載の操作表示システム。
【請求項１４】
前記操作制御部は、前記空き領域に前記操作部の画像を表示している間は、前記操作部のうち前記画像に現れている部分に対する操作の受け付けを無効にする
ことを特徴とする請求項１１乃至１３のいずれか1つに記載の操作表示システム。
【請求項１５】
前記操作制御部は、前記空き領域検出部が複数の空き領域を検出した場合は、該複数の空き領域の中で最も大きい空き領域を、前記表示を行わせる空き領域として選択する
ことを特徴とする請求項１１乃至１４のいずれか１つに記載の操作表示システム。
【請求項１６】
前記操作制御部は、前記空き領域検出部が複数の空き領域を検出した場合は、該複数の空き領域をユーザに通知するとともに、前記複数の空き領域の中から前記表示を行わせる空き領域の指定を受け、前記指定された空き領域を、前記表示を行わせる空き領域として選択する
ことを特徴とする請求項１１乃至１４のいずれか１つに記載の操作表示システム。
【請求項１７】
前記操作制御部は、前記操作部の画像を縮小して前記空き領域に表示させる
ことを特徴とする請求項１１乃至１６のいずれか１つに記載の操作表示システム。
【請求項１８】
前記操作部は、複数の操作釦を含み、
前記操作制御部は、前記携帯端末が正面の前方に位置する操作釦のうちの一部の操作釦の画像を前記空き領域に表示させる
ことを特徴とする請求項１１乃至１７のいずれか１つに記載の操作表示システム。
【請求項１９】
前記操作制御部は、前記携帯端末が正面の前方に位置する操作釦のうち、前記表示部が表示中の画面での操作で使用される操作釦の画像を優先して、前記空き領域に表示させる
ことを特徴とする請求項１８に記載の操作表示システム。
【請求項２０】
前記位置検出部は、前記検出を繰り返し行い、
前記操作制御部は、前記検出の結果に変化があった場合は、前記変化に応じて前記表示の内容を変更する
ことを特徴とする請求項１１乃至１９のいずれか１つに記載の操作表示システム。
【請求項２１】
操作入力部と、
表示部と、
自端末の位置を検出する位置検出部と、
操作部を備える所定の操作表示装置と前記表示部のうちの少なくともいずれか１つの表示画面の空き領域を検出する空き領域検出部と、
前記位置検出部によって検出された自端末の位置が、前記操作部の正面の前方である場合に、前記空き領域検出部が検出した空き領域に、前記操作部の画像を表示させ、前記画像に対する操作を前記操作部で受けた操作として受け付ける制御部と
を備える
ことを特徴とする携帯端末。
【請求項２２】
前記制御部は、前記操作部のうちの自端末が正面の前方に位置する部分の画像を、前記空き領域に表示させる
ことを特徴とする請求項２１に記載の携帯端末。
【請求項２３】
前記制御部は、前記位置検出部の検出した自端末の位置が前記操作入力部の正面の前方の所定距離内であるか否かに基づいて、前記表示を行わせるか否かを切り替える
ことを特徴とする請求項２１または２２に記載の携帯端末。
【請求項２４】
前記制御部は、前記空き領域に前記操作部の画像を表示している間は、前記操作部のうち前記画像に現れている部分に対する操作の受け付けを無効にする
ことを特徴とする請求項２１乃至２３のいずれか１つに記載の携帯端末。
【請求項２５】
前記制御部は、前記空き領域検出部が複数の空き領域を検出した場合は、該複数の空き領域の中で最も大きい空き領域を、前記表示を行わせる空き領域として選択する
ことを特徴とする請求項２１乃至２４のいずれか１つに記載の携帯端末。
【請求項２６】
前記制御部は、前記空き領域検出部が複数の空き領域を検出した場合は、該複数の空き領域をユーザに通知するとともに、前記複数の空き領域の中から前記表示を行わせる空き領域の指定を受け、前記指定された空き領域を、前記表示を行わせる空き領域として選択する
ことを特徴とする請求項２１乃至２４のいずれか１つに記載の携帯端末。
【請求項２７】
前記制御部は、前記操作部の画像を縮小して前記空き領域に表示させる
ことを特徴とする請求項２１乃至２６のいずれか１つに記載の携帯端末。
【請求項２８】
前記操作部は、複数の操作釦を含み、
前記制御部は、前記携帯端末が正面の前方に位置する操作釦のうちの一部の操作釦の画像を前記空き領域に表示させる
ことを特徴とする請求項２１乃至２７のいずれか１つに記載の携帯端末。
【請求項２９】
前記制御部は、自端末が正面の前方に位置する操作釦のうち、前記表示部が表示中の画面での操作で使用される操作釦の画像を優先して、前記空き領域に表示させる
ことを特徴とする請求項２８に記載の携帯端末。
【請求項３０】
前記位置検出部は、前記検出を繰り返し行い、
前記制御部は、前記検出の結果に変化があった場合は、前記変化に応じて前記表示の内容を変更する
ことを特徴とする請求項２１乃至２９のいずれか１つに記載の携帯端末。
【請求項３１】
情報処理装置を
請求項１乃至１０のいずれか１つに記載の操作表示装置として機能させる
ことを特徴とするプログラム。
【請求項３２】
携帯型情報処理装置を
請求項２１乃至３０のいずれか１つに記載の携帯端末として機能させる
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末を併用する操作表示装置、携帯端末、それらのプログラム、および操作表示システムに関する。
【背景技術】
【０００２】
複合機などの画像処理装置が備える操作パネルと、ユーザの携帯端末とを連携動作させて使用する方法が特許文献１に開示されている。特許文献１では、操作パネルに表示した画像の続きを、該操作パネルに並置された携帯端末に表示させることで、一つの大きな画像を表示すること等が可能となる。
【０００３】
この方法では、操作パネルと携帯端末を連携動作させて使用する場合、ユーザが操作パネルの画面と携帯端末の画面の双方を一望できるような位置に携帯端末を設置することが望まれる。たとえば、図１７は、画像処理装置の備える操作パネルの画面の隣に携帯端末の画面が位置する場合の様子を示しており、この状態では、ユーザは両者の画面を一望することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−０８８５０６号公報
【特許文献２】特開２００４−２１５２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、多くの操作パネルは、画面の隣にハードキーが設置されているので、設置位置によっては、携帯端末が操作パネル上のハードキーに重なってしまい、ユーザが該ハードキーを押下することができなくなる。なお、ハードキーに限らず、画面上に表示されるソフトキーにおいても同様の問題は発生する。
【０００６】
本発明は、上記の問題を解決しようとするものであり、操作部に近づけられた携帯端末の背後に隠れてユーザが該操作部を操作できない状態になっても、その隠れた操作部に対する操作と同様の操作をユーザから受け付けることのできる操作表示装置、携帯端末、それらのプログラム、および操作表示システムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
【０００８】
［１］操作部と、
表示部と、
所定の携帯端末の位置を検出する位置検出部と、
前記表示部と前記携帯端末のうちの少なくともいずれか１つの表示画面の空き領域を検出する空き領域検出部と、
前記位置検出部によって検出された前記携帯端末の位置が前記操作部の正面の前方である場合に、前記空き領域検出部が検出した空き領域に、前記操作部の画像を表示させ、前記画像に対する操作を前記操作部で受けた操作として受け付ける操作制御部と
を備える
ことを特徴とする操作表示装置。
【０００９】
上記［１］および下記［１１］及び［２１］に係る発明では、表示部と携帯端末のうち少なくともいずれか１つの表示画面の空き領域を検出し、操作部の正面の前方に携帯端末が位置する場合に、ユーザから見て携帯端末で隠れた操作部の画像（代替釦）を、検出した空き領域に表示させる。そして、その代替釦が受けた操作を、操作部で受けた操作として受け付ける。これにより、携帯端末の背後に隠れてユーザが操作できなくなった操作部に対する操作と同様の操作をユーザから受け付けることができる。なお、操作部の一部と携帯端末が重なった場合に、操作部全体の画像を空き領域に表示させてもよいし、操作部のうち、その重なった部分の画像のみを空き領域に表示させてもよい。
【００１０】
［２］前記操作制御部は、前記操作部のうちの前記携帯端末が正面の前方に位置する部分の画像を、前記空き領域に表示させる
ことを特徴とする［１］に記載の操作表示装置。
【００１１】
［３］前記操作制御部は、前記位置検出部の検出した前記携帯端末の位置が前記操作部の正面の前方の所定距離内であるか否かに基づいて、前記表示を行わせるか否かを切り替える
ことを特徴とする［１］または［２］に記載の操作表示装置。
【００１２】
上記［３］および下記［１３］及び［２３］に係る発明では、操作部と携帯端末との間の距離によって、代替釦の表示を行うか否かを切り替える。たとえば、操作部と携帯端末が重なっていても、両者が離れている場合（所定距離以上離れている場合）は、ユーザは操作部と携帯端末との間の空間に手を入れて操作部への操作が可能なので、代替釦の表示を行わないようにする。
【００１３】
［４］前記操作制御部は、前記空き領域に前記操作部の画像を表示している間は、前記操作部のうち前記画像に現れている部分に対する操作の受け付けを無効にする
ことを特徴とする［１］乃至［３］のいずれか1つに記載の操作表示装置。
【００１４】
上記［４］および下記［１４］及び［２４］に係る発明では、空き領域に代替釦を表示している間は、操作部のうち代替釦として現れている部分に対する操作の受け付けを無効にする。これにより、携帯端末を、操作部に近付けて使用する場合に、携帯端末やその持ち手が操作部に触れることによる誤操作の発生を防ぐことができる。
【００１５】
［５］前記操作制御部は、前記空き領域検出部が複数の空き領域を検出した場合は、該複数の空き領域の中で最も大きい空き領域を、前記表示を行わせる空き領域として選択する
ことを特徴とする［１］乃至［４］のいずれか１つに記載の操作表示装置。
【００１６】
［６］前記操作制御部は、前記空き領域検出部が複数の空き領域を検出した場合は、該複数の空き領域をユーザに通知するとともに、前記複数の空き領域の中から前記表示を行わせる空き領域の指定を受け、前記指定された空き領域を、前記表示を行わせる空き領域として選択する
ことを特徴とする［１］乃至［４］のいずれか１つに記載の操作表示装置。
【００１７】
上記［６］および下記［１６］及び［２６］に係る発明では、空き領域が複数ある場合、どの空き領域を使用するのかの選択をユーザから受ける。
【００１８】
［７］前記操作制御部は、前記操作部の画像を縮小して前記空き領域に表示させる
ことを特徴とする［１］乃至［６］のいずれか１つに記載の操作表示装置。
【００１９】
上記［７］および下記［１７］及び［２７］に係る発明では、代替釦を縮小して空き領域に表示させる。これにより、元のサイズで代替釦を表示するには空き領域が足りない場合であっても、代替釦を表示することができる。
【００２０】
［８］前記操作部は、複数の操作釦を含み、
前記操作制御部は、前記携帯端末が正面の前方に位置する操作釦のうちの一部の操作釦の画像を前記空き領域に表示させる
ことを特徴とする［１］乃至［７］のいずれか１つに記載の操作表示装置。
【００２１】
上記［８］および下記［１８］及び［２８］に係る発明では、操作部は複数の操作釦を含み、一部の操作釦の画像（一部の代替釦）を空き領域に表示させる。たとえば、表示中の画面に対する操作で必要な操作釦のみ、代替釦を表示させるようにすれば、空き領域が小さくとも操作に必要な代替釦は表示される。各操作釦に優先度を付与しておき、該優先度に応じて、代替釦を表示する操作釦を選出するようにしてもよい。
【００２２】
［９］前記操作制御部は、前記携帯端末が正面の前方に位置する操作釦のうち、前記表示部が表示中の画面での操作で使用される操作釦の画像を優先して、前記空き領域に表示させる
ことを特徴とする［８］に記載の操作表示装置。
【００２３】
上記［９］および下記［１９］及び［２９］に係る発明では、携帯端末が正面の前方に位置する操作釦のうち、操作表示装置の表示部が表示中の画面での操作で使用される操作釦の画像を優先して、空き領域に表示させる。すなわち、空き領域が小さくとも、操作に必要な代替釦は優先的に表示されるので、すべての操作釦の画像を表示するには空き領域が足りない場合でも、操作に支障を与えない。
【００２４】
［１０］前記位置検出部は、前記検出を繰り返し行い、
前記操作制御部は、前記検出の結果に変化があった場合は、前記変化に応じて前記表示の内容を変更する
ことを特徴とする［１］乃至［９］のいずれか１つに記載の操作表示装置。
【００２５】
上記［１０］および下記［２０］及び［３０］に係る発明では、空き領域の検出を繰り返し行い、その検出の結果に変化があった場合は、該変化に応じて代替釦の表示内容を変更する。携帯端末を動かした場合や、空き領域の大きさに変化が合った場合であっても、常に最適な位置に代替釦が表示される。
【００２６】
［１１］携帯端末と、操作部および表示部を備えた操作表示装置を有する操作表示システムであって、
前記操作表示装置に対する前記携帯端末の位置を検出する位置検出部と、
前記表示部と前記携帯端末のうちの少なくともいずれか１つの表示画面の空き領域を検出する空き領域検出部と、
前記位置検出部によって検出された前記携帯端末の位置が前記操作部の正面の前方である場合に、前記空き領域検出部が検出した空き領域に、前記操作部の画像を表示させ、前記画像に対する操作を前記操作部で受けた操作として受け付ける操作制御部と
を備える
ことを特徴とする操作表示システム。
【００２７】
［１２］前記操作制御部は、前記操作部のうちの前記携帯端末が正面の前方に位置する部分の画像を、前記空き領域に表示させる
ことを特徴とする［１１］に記載の操作表示システム。
【００２８】
［１３］前記操作制御部は、前記位置検出部の検出した前記携帯端末の位置が前記操作部の正面の前方の所定距離内であるか否かに基づいて、前記表示を行わせるか否かを切り替える
ことを特徴とする［１１］または［１２］に記載の操作表示システム。
【００２９】
［１４］前記操作制御部は、前記空き領域に前記操作部の画像を表示している間は、前記操作部のうち前記画像に現れている部分に対する操作の受け付けを無効にする
ことを特徴とする［１１］乃至［１３］のいずれか1つに記載の操作表示システム。
【００３０】
［１５］前記操作制御部は、前記空き領域検出部が複数の空き領域を検出した場合は、該複数の空き領域の中で最も大きい空き領域を、前記表示を行わせる空き領域として選択する
ことを特徴とする［１１］乃至［１４］のいずれか１つに記載の操作表示システム。
【００３１】
［１６］前記操作制御部は、前記空き領域検出部が複数の空き領域を検出した場合は、該複数の空き領域をユーザに通知するとともに、前記複数の空き領域の中から前記表示を行わせる空き領域の指定を受け、前記指定された空き領域を、前記表示を行わせる空き領域として選択する
ことを特徴とする［１１］乃至［１４］のいずれか１つに記載の操作表示システム。
【００３２】
［１７］前記操作制御部は、前記操作部の画像を縮小して前記空き領域に表示させる
ことを特徴とする［１１］乃至［１６］のいずれか１つに記載の操作表示システム。
【００３３】
［１８］前記操作部は、複数の操作釦を含み、
前記操作制御部は、前記携帯端末が正面の前方に位置する操作釦のうちの一部の操作釦の画像を前記空き領域に表示させる
ことを特徴とする［１１］乃至［１７］のいずれか１つに記載の操作表示システム。
【００３４】
［１９］前記操作制御部は、前記携帯端末が正面の前方に位置する操作釦のうち、前記表示部が表示中の画面での操作で使用される操作釦の画像を優先して、前記空き領域に表示させる
ことを特徴とする［１８］に記載の操作表示システム。
【００３５】
［２０］前記位置検出部は、前記検出を繰り返し行い、
前記操作制御部は、前記検出の結果に変化があった場合は、前記変化に応じて前記表示の内容を変更する
ことを特徴とする［１１］乃至［１９］のいずれか１つに記載の操作表示システム。
【００３６】
［２１］操作入力部と、
表示部と、
自端末の位置を検出する位置検出部と、
操作部を備える所定の操作表示装置と前記表示部のうちの少なくともいずれか１つの表示画面の空き領域を検出する空き領域検出部と、
前記位置検出部によって検出された自端末の位置が、前記操作部の正面の前方である場合に、前記空き領域検出部が検出した空き領域に、前記操作部の画像を表示させ、前記画像に対する操作を前記操作部で受けた操作として受け付ける制御部と
を備える
ことを特徴とする携帯端末。
【００３７】
［２２］前記制御部は、前記操作部のうちの自端末が正面の前方に位置する部分の画像を、前記空き領域に表示させる
ことを特徴とする［２１］に記載の携帯端末。
【００３８】
［２３］前記制御部は、前記位置検出部の検出した自端末の位置が前記操作入力部の正面の前方の所定距離内であるか否かに基づいて、前記表示を行わせるか否かを切り替える
ことを特徴とする［２１］または［２２］に記載の携帯端末。
【００３９】
［２４］前記制御部は、前記空き領域に前記操作部の画像を表示している間は、前記操作部のうち前記画像に現れている部分に対する操作の受け付けを無効にする
ことを特徴とする［２１］乃至［２３］のいずれか１つに記載の携帯端末。
【００４０】
［２５］前記制御部は、前記空き領域検出部が複数の空き領域を検出した場合は、該複数の空き領域の中で最も大きい空き領域を、前記表示を行わせる空き領域として選択する
ことを特徴とする［２１］乃至［２４］のいずれか１つに記載の携帯端末。
【００４１】
［２６］前記制御部は、前記空き領域検出部が複数の空き領域を検出した場合は、該複数の空き領域をユーザに通知するとともに、前記複数の空き領域の中から前記表示を行わせる空き領域の指定を受け、前記指定された空き領域を、前記表示を行わせる空き領域として選択する
ことを特徴とする［２１］乃至［２４］のいずれか１つに記載の携帯端末。
【００４２】
［２７］前記制御部は、前記操作部の画像を縮小して前記空き領域に表示させる
ことを特徴とする［２１］乃至［２６］のいずれか１つに記載の携帯端末。
【００４３】
［２８］前記操作部は、複数の操作釦を含み、
前記制御部は、前記携帯端末が正面の前方に位置する操作釦のうちの一部の操作釦の画像を前記空き領域に表示させる
ことを特徴とする［２１］乃至［２７］のいずれか１つに記載の携帯端末。
【００４４】
［２９］前記制御部は、自端末が正面の前方に位置する操作釦のうち、前記表示部が表示中の画面での操作で使用される操作釦の画像を優先して、前記空き領域に表示させる
ことを特徴とする［２８］に記載の携帯端末。
【００４５】
［３０］前記位置検出部は、前記検出を繰り返し行い、
前記制御部は、前記検出の結果に変化があった場合は、前記変化に応じて前記表示の内容を変更する
ことを特徴とする［２１］乃至［２９］のいずれか１つに記載の携帯端末。
【００４６】
［３１］情報処理装置を
［１］乃至［１０］のいずれか１つに記載の操作表示装置として機能させる
ことを特徴とするプログラム。
【００４７】
［３２］携帯型情報処理装置を
［２１］乃至［３０］のいずれか１つに記載の携帯端末として機能させる
ことを特徴とするプログラム。
【発明の効果】
【００４８】
本発明に係る操作表示装置、携帯端末、そのプログラム、および操作表示システムによれば、携帯端末を、操作部に近付けて使用する場合に、携帯端末の背後に隠れてユーザが操作できない操作部に対する操作と同様の操作をユーザから受け付けることができる。
【図面の簡単な説明】
【００４９】
【図１】本発明の実施の形態に係る操作表示システムの構成例を示す図である。
【図２】画像処理装置の概略構成を示すブロック図である。
【図３】携帯端末の概略構成を示すブロック図である。
【図４】操作パネルと携帯端末を重ねる直前の様子を示す図である。
【図５】操作パネルと携帯端末が重なった場合の様子を示す図である。
【図６】代替釦の画像を携帯端末に表示させた場合の様子を示す図である。
【図７】複数の代替釦の一部を、元の操作釦の正面の前方に対応する表示画面上の位置に表示させた場合の様子を示す図である。
【図８】操作パネルと携帯端末が離れている場合の様子を示す図である。
【図９】操作パネルの近くに携帯端末が位置している場合の様子を示す図である。
【図１０】操作パネルと携帯端末上の空き領域を示す図である
【図１１】代替釦を表示する空き領域の選択を受ける場合の様子を示す図である。
【図１２】複数の代替釦のうち、表示中の画面への操作で必要な代替釦を優先して表示した場合の様子を示す図である。
【図１３】画像処理装置が行う処理を示す流れ図である。
【図１４】空き領域を自動で選択して代替釦を配置する処理を示す流れ図である。
【図１５】空き領域の選択を受けて、代替釦を配置する処理を示す流れ図である。
【図１６】唯一の空き領域に代替釦を配置する処理を示す流れ図である。
【図１７】画像処理装置の備える操作パネルの隣に携帯端末を位置させる場合の様子を示す図である。
【発明を実施するための形態】
【００５０】
以下、図面に基づき本発明の実施の形態を説明する。
【００５１】
図１は、本発明の実施の形態に係る操作表示システム５の構成例を示している。操作表示システム５は、本発明の操作表示装置としての役割を果たす画像処理装置１０と、無線通信を通じて画像処理装置１０と表示内容を連動可能な携帯端末４０を備えている。携帯端末４０は、ＬＡＮ（Local Area Network）などのネットワーク、あるいは近距離無線通信により画像処理装置１０と無線通信可能に接続される。
【００５２】
画像処理装置１０は、原稿を光学的に読み取ってその複製画像を記録紙に印刷するコピー機能、読み取った原稿の画像データをファイルにして保存したり外部端末へネットワークを通じて送信したりするスキャン機能、ＰＣ（Personal Computer）などからネットワークを通じて受信した印刷データに係る画像を記録紙上に形成して印刷出力するプリンタ機能、ファクシミリ手順に従って画像データを送受信するファクシミリ機能などを備えた、所謂、複合機（ＭＦＰ）である。本発明の実施の形態では、画像処理装置１０は、表示部３１と操作部３２を含む操作パネル３０（図２参照）を備えており、印刷に係る設定操作等を、該操作パネル３０にて受け付ける。
【００５３】
携帯端末４０は、タブレット等の携帯型情報処理装置である。本発明の実施の形態では、携帯端末４０は、画像処理装置１０と連携動作を行う。本発明の実施の形態では、後述する携帯端末４０の表示部４８と、操作パネル３０の表示部３１の表示内容を連動させ、一つの大きな画像を表示させる連動表示を連携動作の一例とする。
【００５４】
連動表示を行う場合、ユーザは、携帯端末４０を操作パネル３０に近付けて、表示部３１と表示部４８を一望できるようにすることで、該画像を確認する。このとき、携帯端末４０が、操作部３２を含む操作パネル３０の正面の前方に位置する場合、携帯端末４０のユーザからみると操作部３２が携帯端末４０に隠れてしまうので、ユーザは操作部３２に対する操作ができなくなる。ここで、操作パネル３０の正面とは、ユーザが操作可能な操作釦等が配置されている面であり、図１に示された画像形成装置１０の状態において、操作パネル３０を上側から見た面である。
【００５５】
そこで、操作表示システム５では、操作パネル３０の正面の前方にくるようユーザが携帯端末４０を操作パネル３０に近付けると、該操作パネル３０上に設置されている操作部３２の画像を、携帯端末４０、もしくは表示部３１の表示画面に代替釦として表示させる代替釦表示処理を行う。そして、その代替釦（操作部３２の画像）に対する操作を操作部３２で受けた操作として受け付ける。これにより、ユーザは、携帯端末４０の背後に操作部３２が隠れて操作部３２に対する操作を行えない状態であっても、操作部３２に対する操作と同様の操作を、空き領域に表示された代替釦に対して行うことができる。
【００５６】
図２は、画像処理装置１０の概略構成を示すブロック図である。画像処理装置１０は、当該画像処理装置１０の動作を統括的に制御する制御部としてのＣＰＵ(Central Processing Unit)１１を有している。ＣＰＵ１１にはバスを通じてＲＯＭ(Read Only Memory)１２、ＲＡＭ(Random Access Memory)１３、不揮発メモリ１４、ハードディスク装置１５、画像読取部１６、自動原稿搬送部（ＡＤＦ：Auto Document Feeder）１７、画像処理部１８、プリンタ部１９、ネットワーク通信部２１、ファクシミリ通信部２２、近距離無線通信部２３、操作パネル３０などが接続されている。
【００５７】
ＣＰＵ１１は、ＯＳプログラムをベースとし、その上で、ミドルウェアやアプリケーションプログラムなどを実行する。ＲＯＭ１２には、各種のプログラムが格納されており、これらのプログラムに従ってＣＰＵ１１が各種処理を実行することで画像処理装置１０の各機能が実現される。ＣＰＵ１１は、本発明の操作制御部としての役割を果たす。
【００５８】
ＲＡＭ１３は、ＣＰＵ１１がプログラムに基づいて処理を実行する際に各種のデータを一時的に格納するワークメモリや画像データを格納する画像メモリなどとして使用される。
【００５９】
不揮発メモリ１４は、電源をオフにしても記憶内容が破壊されないメモリ（フラッシュメモリ）であり、各種設定情報の保存などに使用される。
【００６０】
ハードディスク装置１５は大容量不揮発の記憶装置であり、印刷データ、表示画面のデータのほか各種のプログラムやデータが記憶される。本発明の実施の形態では、後述する管理テーブルなどが記憶される。
【００６１】
画像読取部１６は、原稿を光学的に読み取って画像データを取得する機能を果たす。画像読取部１６は、例えば、原稿に光を照射する光源と、その反射光を受けて原稿を幅方向に１ライン分読み取るラインイメージセンサと、ライン単位の読み取り位置を原稿の長さ方向に順次移動させる移動ユニットと、原稿からの反射光をラインイメージセンサに導いて結像させるレンズやミラーなどからなる光学経路と、ラインイメージセンサの出力するアナログ画像信号をデジタルの画像データに変換する変換部などを備えて構成される。
【００６２】
自動原稿搬送部１７は、原稿台にセットされた原稿をその最上のものから１枚ずつ順に繰り出して搬送し、画像読取部１６の読み取り位置を通過させて所定の排紙位置へ排紙する機能を果たす。画像読取部１６は、プラテンガラス上に載置された原稿を読み取る機能と、自動原稿搬送部１７によって搬送される原稿を順次読み取る機能を備えている。
【００６３】
画像処理部１８は、画像の拡大縮小、回転などの処理のほか、印刷データをイメージデータに変換するラスタライズ処理、画像データの圧縮、伸張処理などを行う。
【００６４】
プリンタ部１９は、画像データに応じた画像を記録紙上に画像形成する機能を果たす。ここでは、記録紙の搬送装置と、感光体ドラムと、帯電装置と、レーザーユニットと、現像装置と、転写分離装置と、クリーニング装置と、定着装置とを有し、電子写真プロセスによって画像形成を行う、所謂、レーザープリンタとして構成されている。画像形成は他の方式でもかまわない。
【００６５】
ネットワーク通信部２１は、ＬＡＮなどのネットワークを通じて携帯端末４０や外部のＰＣ、サーバなどと通信する機能を果たす。
【００６６】
ファクシミリ通信部２２は、ファクシミリ機能を備えた外部装置と電話回線を通じて画像データを送受信する機能を果たす。
【００６７】
近距離無線通信部２３は、携帯端末４０などの外部装置と近距離無線通信を行う。通信可能距離は、たとえば、１５ｃｍ以内等である。近距離無線通信部２３は操作パネル３０上に設けられており、操作パネル３０から１５ｃｍ以内にある装置とのみ通信を可能とする。
【００６８】
操作パネル３０は、表示部３１、操作部３２、距離測定部３３、カメラ３４を備えて構成される。操作パネル３０の制御は、ＣＰＵ１１あるいは操作パネル３０が別途備えるＣＰＵが行う。
【００６９】
表示部３１は、各種の操作画面、設定画面等を表示する機能を果たす。表示部３１は液晶ディスプレイ（ＬＣＤ…Liquid Crystal Display）とそのドライバなどで構成される。操作部３２はユーザから各種の操作を受ける機能を果たす。操作部３２は、スタートボタンやテンキーなどの各種ハードスイッチ（ハードキー３６）と、表示部３１の表示面上に設けられたタッチパネル３５を備えている。タッチパネル３５は、表示部３１の表示面がタッチペンや指などで接触操作された座標位置を検出する。
【００７０】
距離測定部３３は、操作パネル３０から所定の距離以内に存在する携帯端末４０との距離を測定する。距離の測定方法は既知の任意の方法でよい。
【００７１】
カメラ３４は、画像処理装置１０の周囲の所定の範囲を撮影する。そして該撮影で得た画像をＣＰＵ１１が解析し、該範囲内における物体（ここでは携帯端末４０）の有無を認識する。たとえば、カメラ３４は、操作パネル３０の正面側（前方）を、水平方向約１５０度の範囲を撮影する。カメラ３４とＣＰＵ１１は、本発明の位置検出部としての役割を果たす。
【００７２】
なお、画像処理装置１０が、操作パネル３０の正面の前方に携帯端末４０が位置していると認識可能な距離には制限があり、操作パネル３０と携帯端末４０の間の距離が、該制限を越えている場合は、画像処理装置１０は、操作パネル３０の正面の前方に携帯端末４０が位置していないと認識する。
【００７３】
本発明の実施の形態では、ＣＰＵ１１表示部３１の表示画面における空き領域を検出する。また、携帯端末４０に問い合わせて、携帯端末４０の表示画面における空き領域の情報を取得する。そして、代替釦表示処理を行う場合に、いずれの空き領域を代替釦の表示場所とするかを判断する。判断方法は後述する。ＣＰＵ１１は、本発明の空き領域検出部としての役割を果たす。
【００７４】
ＣＰＵ１１は、操作パネル３０の表示画面上の空き領域を代替釦の表示場所とする場合は、該空き領域に代替釦を表示させる。携帯端末４０の表示画面上の空き領域を代替釦の表示場所とする場合は、該空き領域に代替釦を表示させるよう携帯端末４０に指示する。
【００７５】
図３は、携帯端末４０の概略構成を示すブロック図である。携帯端末４０は、当該携帯端末４０の動作を統括制御するＣＰＵ４１を有している。ＣＰＵにはバスを通じてＲＯＭ４２と、ＲＡＭ４３と、不揮発メモリ４４と、カメラ４５と、距離測定部４６と、操作部４７と、表示部４８と、ネットワーク通信部４９と、近距離無線通信部５１と、方位センサ部５２が接続されている。
【００７６】
ＣＰＵ４１は、ＯＳ（Operating System）プログラムをベースとし、その上で、ミドルウェアやアプリケーションプログラムなどを実行する。ＲＯＭ４２には、各種のプログラムが格納されており、これらのプログラムに従ってＣＰＵ４１が各種処理を実行することで携帯端末４０の機能が実現される。
【００７７】
ＲＡＭ４３は、ＣＰＵ４１がプログラムに基づいて処理を実行する際に各種のデータを一時的に格納したり、表示用のデータを格納したりするためのワークメモリとして使用される。
【００７８】
不揮発メモリ４４は、電源をオフにしても記憶内容が破壊されないメモリ（フラッシュメモリ）であり、各種設定情報の保存などに使用される。
【００７９】
表示部４８は、各種の操作画面、設定画面を表示する機能を果たす。表示部４８は液晶ディスプレイとそのドライバなどで構成される。操作部４７は操作者から各種の操作を受ける機能を果たす。操作部４７は、少数のハードスイッチと、表示部４８の表示面上に設けられたタッチパネル４７ａを備えている。
【００８０】
カメラ４５は、当該携帯端末４０の表示部４８を見るユーザの視線方向、すなわち、表示部４８の裏面側を撮影する。携帯端末４０は、薄板形状であり、表面側のほぼ全部が表示部４８の表示面になっている。カメラ４５は携帯端末４０の裏面側（背面側）に外向きに設けてあり、携帯端末４０の裏面側を撮影する。
【００８１】
距離測定部４６は、当該携帯端末４０から所定の距離以内に存在する画像処理装置１０との距離を測定する。距離の測定方法は既知の任意の方法でよい。ここでは、カメラ４５が撮影する方向、すなわち、携帯端末４０の裏面側に存在する操作パネル３０までの距離を測定する。
【００８２】
ネットワーク通信部４９は、画像処理装置１０や外部のＰＣ、サーバなどと通信する機能を果たす。近距離無線通信部５１は、画像処理装置１０などの外部装置と近距離無線通信を行う。通信可能距離は、たとえば、１５ｃｍ以内等である。
【００８３】
方位センサ部５２は、複数の地磁気センサと複数の加速度センサを組み合わせるなどして構成される。方位センサ部５２は、携帯端末４０の姿勢や角度を検出する。また、方位センサ部５２は、携帯端末４０が傾けられたり移動されたりしたときにその変位の向きや速さを検出して、検出結果をＣＰＵ４１へ通知する。
【００８４】
本発明の実施の形態では、ＣＰＵ４１が、表示部４８の表示画面における空き領域を検出し、その空き領域に係る情報を画像処理装置１０に通知する。また、表示部４８の表示画面に表示された代替釦にて操作を受けた場合は、携帯端末４０がその操作内容を画像処理装置１０に送信する。
【００８５】
次に、操作パネル３０に携帯端末４０を近づけて使用する場合、および、代替釦表示処理により代替釦を表示する場合の具体例について説明する。
【００８６】
図４は、操作パネル３０を正面から見た様子を示す。図４では、操作パネル３０の正面には、ユーザから見て左側に表示部３１（タッチパネル３５）が、右側にハードキー３６が配置されている。なお、表示部３１（タッチパネル３５）の右下部分には、ソフトキー３７が表示されている。ここでは、ハードキー３６と、ソフトキー３７（タッチパネル３５上に表示された操作釦）とが、操作部３２を構成している。
【００８７】
本発明の実施の形態では、連携動作の一例として、前述した連動表示を行う。連動表示を行う場合、ユーザは、表示部３１の右隣に携帯端末４０の表示部４８を並べて、表示部３１と表示部４８の双方を一望可能にする。しかし、表示部３１の右隣にはハードキー３６が設置されているので、携帯端末４０を表示部３１の右隣、すなわちハードキー３６付近に近づけた場合、ユーザは、ハードキー３６に対する操作を行うことができなくなる。
【００８８】
図５は、携帯端末４０を操作パネル３０に近付けた場合の様子を示す。図５では、ハードキー３６およびソフトキー３７（操作部３２）の正面の前方に携帯端末４０が位置しており、両者は携帯端末４０に隠れてユーザから見えなくなっている（両者に対する操作が困難になっている）。
【００８９】
図６は、図５の状態にて代替釦表示処理を行った場合の一例を示す。図６では、携帯端末４０の空き領域を代替釦の表示場所としている。携帯端末４０の表示画面には、中央部分に電話番号のリスト（電話番号は左詰めで表示されている）が表示されており、表示画面の上部分と下部分は空き領域になっている。そして、ハードキー３６の代替釦３６Ａは表示画面の上部分の空き領域に、ソフトキー３７の代替釦３７Ａは表示画面の下部分の空き領域に表示されている。
【００９０】
携帯端末４０は、代替釦３６Ａ、代替釦３７Ａへの操作を受け付けたら、その受け付けた操作内容を画像処理装置１０に通知する。そして、画像処理装置１０はその通知の示す操作内容を、操作部３２で受け付けた操作として受け付ける。これにより、携帯端末４０の背後に隠れたハードキー３６やソフトキー３７に対する操作を行うことができない場合であっても、ハードキー３６やソフトキー３７に対する操作と同様の操作を代替釦３６Ａ、３７Ａに対して行うことができる。なお、本発明の実施の形態では、代替釦表示処理は、連携動作中は稼働し、連動動作していない状態では稼働しないものとする。
【００９１】
なお、図６では、ＣＰＵ１１は携帯端末４０の表示画面において、上部分と下部分のみを空き領域として検出していたが、電話番号のリストの右側部分など、特に文字情報等がない領域も空き領域として検出してもよい。
【００９２】
以下に、代替釦表示処理を行う場合についての６つの態様例を示す。
【００９３】
＜態様例１＞
態様例１では、代替釦を表示する場合、表示画面において、なるべく元の操作釦の正面の前方に対応する位置に表示させる。具体的には、ＣＰＵ１１が携帯端末４０の空き領域の情報を取得し、代替釦として画像を表示する予定の操作釦の正面の前方に対応する位置が空き領域となっている場合は、その位置に代替釦を表示させる。
【００９４】
図７は、態様例１において代替釦表示処理により表示された代替釦の具体例を示す。図７では、ハードキー３６の代替釦３６Ａ（ａ、ｂ）が携帯端末４０に表示されている。
【００９５】
図７では、ハードキー３６のテンキー部分に対応する代替釦３６Ａａと、その他の部分（スタートキーなど）に対応する代替釦３６Ａｂは、それぞれ別の空き領域に表示されている。
【００９６】
図７では、携帯端末４０の表示画面において、テンキー部分の正面の前方に対応する位置には電話番号が表示されており、空き領域ではない。よって、テンキー部分に対応する代替釦３６Ａａは、表示画面の上部分にある空き領域に表示されている。
【００９７】
携帯端末４０の表示画面において、テンキー以外の部分の正面の前方に対応する位置（中段右部分）は空き領域になっている。よって、テンキー以外の部分に対応する代替釦３６Ａｂは、その位置に表示される。
【００９８】
図７のように、ハードキー３６やソフトキー３７を複数のグループに分けて、そのグループ単位で、元の操作釦の正面の前方に対応する位置に代替釦を表示可能か否か（空き領域があるか否か）を判断してもよいし、全ての操作釦が、正面の前方に対応する位置に代替釦を表示可能な場合のみ、該位置への代替釦の表示を行ってもよい。
【００９９】
このように、態様例１では、代替釦が、表示画面において、元の操作釦の正面の前方に対応する位置に表示される。操作パネル３０における操作釦配置と同じ位置に代替釦が表示されるので、ユーザは、元の操作釦に対応する代替釦を探す手間を省略することができ、操作性が向上する。
【０１００】
＜態様例２＞
態様例２では、操作パネル３０から携帯端末４０までの距離を算出し、その距離が所定値未満である場合のみ、代替釦表示処理を行う場合について説明する。
【０１０１】
操作表示システム５では、操作パネル３０と携帯端末４０の間の距離が所定値以上か否かを判断する。たとえば、以下の方法等によって該距離が所定値未満であるか否かを判断する。
方法１、近距離無線通信部２３と、近距離無線通信部５１による通信が可能であれば、該距離が所定値未満であると判断し、不可能であれば、該距離が所定値以上であると判断する。なお、この方法を採用する場合、近距離無線通信部２３と近距離無線通信部５１にて通信不可能な最短の距離を所定値の値とする。
方法２、カメラ３４が撮像した画像を解析し、距離測定部３３が操作パネル３０から携帯端末４０までの距離を算出し、その算出された距離が所定値未満であるか否かを判断する。
操作パネル３０と携帯端末４０の間の距離の判断方法は、上記の方法１．２以外の方法であってもよい。
【０１０２】
図８、図９は、操作パネル３０の正面側に携帯端末４０が位置する場合の例であり、図８は操作パネル３０から携帯端末４０までの距離が１５ｃｍ以上である場合を、図９は操作パネル３０から携帯端末４０までの距離が１５ｃｍ未満である場合を示す。
【０１０３】
所定値を１５ｃｍとした場合、図８では、操作パネル３０と携帯端末４０の間の距離が１５ｃｍ以上、すなわち、所定値以上なので、操作パネル３０の正面側に携帯端末４０が位置していても、代替釦表示処理を行わない。
【０１０４】
所定値を１５ｃｍとした場合、図９では、操作パネル３０と携帯端末４０の間の距離が１５ｃｍ未満、すなわち、所定値未満なので、操作パネル３０の正面側に携帯端末４０が位置している場合には、代替釦表示処理を行う。
【０１０５】
所定値は、予め設定された値でもよいし、ユーザによって変更可能であってもよい。
【０１０６】
このように、態様例２では、操作パネル３０の正面側に携帯端末４０が位置する場合であっても、操作パネル３０と携帯端末４０の間の距離が所定値未満か否かによって、代替釦表示処理を行うか否かを切り替える。操作パネル３０から携帯端末４０を離せば、代替釦（３６、Ａ、３７Ａ）ではなく、ハードキー３６やソフトキー３７を使用することができ、ユーザの利便性が向上する。
【０１０７】
＜態様例３＞
態様例３では、代替釦表示処理を行う場合、代替釦に対応する操作釦（ハードキー３６やソフトキー３７）による操作の受け付けを無効にする。
【０１０８】
操作パネル３０の正面の前方に携帯端末４０が位置すると、携帯端末４０のユーザからみると操作部３２（たとえば、ハードキー３６やソフトキー３７）が携帯端末４０に隠れてしまうので、ユーザは操作部３２に対する操作が困難になり、携帯端末４０やその持ち手が操作部３２に接触して誤操作が生じ得る。そこで、代替釦表示処理を行うときは、すなわち、操作部３２の正面の前方に携帯端末４０が位置するときは、操作部３２による操作の受け付けを無効にする。これにより携帯端末４０を、操作部３２に近付けて使用する場合に、携帯端末４０やその持ち手が操作部３２に触れることによる誤操作の発生を防ぐことができる。
【０１０９】
なお、代替釦の表示中は、操作部３２の全ての操作釦（ハードキー３６とソフトキー３７）にて操作の受け付けを無効にしてもよいが、本発明の実施の形態では、表示している代替釦の元の操作釦のみ、操作の受け付けを無効にするものとする。
【０１１０】
＜態様例４＞
態様例４では、表示部３１と携帯端末４０の表示画面上に複数の空き領域がある場合に、いずれの空き領域を、代替釦を表示する空き領域として決定するかについて説明する。
【０１１１】
画像処理装置１０は、空き領域が複数ある場合に代替釦を表示する空き領域を自動的に決定する動作モードである自動配置モードを持ち、そのオン・オフを切り替えることができる。自動配置モードがオンであれば、画像処理装置１０は自動的に代替釦を表示させる空き領域を決定する。自動配置モードがオフであれば、画像処理装置１０はユーザから空き領域の選択を受け、その選択された空き領域を、代替釦を表示させる空き領域として決定する。自動配置モードのオン、オフはユーザが切り替え可能である。
【０１１２】
（自動配置モードがオンの場合）
図１０は、表示部３１と携帯端末４０の表示画面上に３つの空き領域（７１〜７３）がある場合を示す。図１０では、空き領域７１は携帯端末４０の表示画面の上部分に、空き領域７２は携帯端末４０の表示画面の下部分に、空き領域７３は表示部３１の表示画面の右部分にあり、広さ（面積）は空き領域７１＞空き領域７３＞空き領域７２となっている。
【０１１３】
自動配置モードがオンの場合、画像処理装置１０は、たとえば、一番面積の大きい空き領域や、表示予定の代替釦が収まる最小の空き領域を、代替釦を表示させる空き領域として決定したりする。他の基準で空き領域を決定してもよい。たとえば、表示画面において、元の操作釦の正面の前方に対応する位置に、代替釦を表示可能ならば、その位置の空き領域を代替釦の表示場所とし、該位置への代替釦の表示が不可能ならば、その位置から最も近い空き領域や、最も広い空き領域を、代替釦の表示場所として決定する。
【０１１４】
（自動配置モードがオフの場合）
図１１は、表示部３１と携帯端末４０の表示画面上に３つの空き領域（７１〜７３）がある場合に、ユーザから空き領域の選択を受ける様子を示す。操作表示システム５は、代替釦を表示する場合に、各空き領域の場所をユーザに通知し、ユーザから選択を受ける。図１１では、空き領域（７１〜７３）部分に、選択釦（７１Ａ〜７３Ａ）を表示しており、いずれかの選択釦が選択された場合に、その選択釦が表示されている空き領域を、代替釦を表示させる空き領域として決定する。
【０１１５】
＜態様例５＞
態様例５では、代替釦を縮小して空き領域に表示させる場合について説明する。たとえば、操作表示システム５では、代替釦は、基本的には元の操作釦と同サイズの画像である。しかし、空き領域の面積が、代替釦を表示するために必要な面積に満たない場合、画像処理装置１０は代替釦を縮小して空き領域に表示させる。
【０１１６】
これにより、空き領域のサイズが小さくとも代替釦を表示することができる。なお、代替釦を縮小する他にも、複数の代替釦がある場合にそれらの間隔を詰めることで表示に必要なスペースを減らしてもよい。
【０１１７】
なお、態様例５では、空き領域の面積が、元の操作釦よりも大きい場合、操作釦に対応する代替釦を拡大して空き領域に表示させてもよい。また、ここでは、代替釦の元の操作釦に対する縮小率／拡大率を表示させてもよい。また、代替釦を元の操作釦に対し縮小／拡大した場合のプレビュー画像を表示させて、ユーザに、縮小／拡大するか否かを決定させてもよい。
【０１１８】
＜態様例６＞
態様例６では、複数の代替釦のうち、一部の代替釦のみを表示させる場合について説明する。たとえば、操作表示システム５では、複数の代替釦を表示するための空き領域が足りない場合、表示中の内容に対する操作で使用する操作釦に対応する代替釦のみを空き領域に表示させる。
【０１１９】
図１２は、一部の代替釦（代替釦３６Ａｂ）のみを空き領域に表示させた場合の様子を示す。図１２では、表示部３１と表示部４８には、ＦＡＸ送信の宛先に係る情報が表示されており、ユーザはこの画面にて宛先を選択し、スタート釦を押下することで、ＦＡＸ送信を画像処理装置１０に開始させる。すなわち、図１２の状態ではユーザが新たにＦＡＸ送信の宛先の番号を入力する必要がないので、テンキーに対応する代替釦３６Ａａは表示されず、その他の操作釦（スタートキー等）に対応する代替釦３６Ａｂが空き領域に表示される。
【０１２０】
このように、画像処理装置１０は、携帯端末４０で隠された操作釦について、表示中の画面に対する操作で使用され得る操作釦か否かを判断し、使用され得ると判断した操作釦のみ、その代替釦を空き領域に表示させる。前述の判断は、たとえば、表示中の画面で使用される可能性の大小に応じた優先度を各操作釦（ハードキー３６やソフトキー３７）に対して設定し、該優先度に基づいて、空き領域に表示する代替釦を決定する。
【０１２１】
これにより、空き領域のサイズが小さくとも、ユーザが使用する操作釦に対応する代替釦は表示されるので、ユーザの利便性は確保される。
【０１２２】
なお、優先度が一定以上の操作釦のみを空き領域に表示してもよいし、空き領域に収まるのなら、優先度が一定以下の操作釦も、空き領域に表示してもよい。優先度が一定以上の操作釦が空き領域に収まらない場合は、優先度が一定以上の操作釦の代替釦を縮小して表示すればよい。優先度は、２段階以上あればよい。２段階の場合は、表示の要/不要のみを設定することになる。空き領域に表示する一部の代替釦の選出は他の基準で行ってもよい。
【０１２３】
次に、操作表示システム５が代替釦表示処理を行う場合の処理の流れについて説明する。図１３は、操作表示システム５が代替釦表示処理を行う場合の処理の流れを示す。
【０１２４】
まず、操作パネル３０が画面表示を行っていない場合は（ステップＳ１０１；Ｎｏ）、ステップＳ１０１に戻って処理を継続する。操作パネル３０が画面表示を行っている場合は（ステップＳ１０１；Ｙｅｓ）、携帯端末４０と連携動作中か否かを調べる（ステップＳ１０２）。
【０１２５】
連携動作中でなければ（ステップＳ１０２；Ｎｏ）、ステップＳ１０１に戻って処理を継続する。連携動作中である場合は（ステップＳ１０２；Ｙｅｓ）、携帯端末４０が画面表示を行っているか否かを調べる（ステップＳ１０３）。
【０１２６】
携帯端末４０が画面表示を行っていない場合は（ステップＳ１０３；Ｎｏ）、ステップＳ１０１に戻って処理を継続する。携帯端末４０が画面表示を行っている場合は（ステップＳ１０３；Ｙｅｓ）、携帯端末４０が、操作部３２の正面の前方に位置しているか否かを調べる（ステップＳ１０４）。
【０１２７】
携帯端末４０が、操作部３２の正面の前方に位置していなければ（ステップＳ１０４；Ｎｏ）、ステップＳ１０１に戻って処理を継続する。携帯端末４０が、操作部３２の正面の前方に位置している場合は（ステップＳ１０４；Ｙｅｓ）、携帯端末４０が正面の前方に位置している（携帯端末４０に隠れている）操作釦の個数や、代替釦の表示に必要な面積を算出する（ステップＳ１０５）。
【０１２８】
次に、操作パネル３０と携帯端末４０の表示画面上における空き領域の数と、面積を検出する（ステップＳ１０６）。空き領域が一つの場合は（ステップＳ１０７；Ｎｏ）、空き領域が一つの場合の表示処理にて代替釦を空き領域に表示し（ステップＳ１０８）、本処理を終了する。
【０１２９】
空き領域が複数ある場合は（ステップＳ１０７；Ｙｅｓ）、自動配置モードがオンであれば（ステップＳ１０９；Ｙｅｓ）、自動選択表示処理にて代替釦を空き領域に表示し（ステップＳ１１０）、本処理を終了する。自動配置モードがオフであれば（ステップＳ１０９；Ｎｏ）、手動選択表示処理にて代替釦を空き領域に表示し（ステップＳ１１１）、本処理を終了する。
【０１３０】
ステップＳ１０８、ステップＳ１１０、ステップＳ１１１にて、代替釦の表示場所となる空き領域が、操作パネル３０の表示画面上の空き領域である場合は、ＣＰＵ１１が代替釦を該空き領域に表示させる。代替釦の表示場所となる空き領域が、携帯端末４０の表示画面上の空き領域である場合は、ＣＰＵ１１が、該空き領域に代替釦を表示する指示を携帯端末４０に送信する。
【０１３１】
ステップＳ１０４にて、携帯端末４０と操作パネル３０の間の距離が所定値未満か否かを調べ、所定値以上である場合は、操作パネル３０の正面の前方に携帯端末４０が位置していてもステップＳ１０１に戻って処理を継続するようにしてもよい。
【０１３２】
なお、図１３の処理は繰り返し実行される。本発明の実施の形態では、空き領域の面積や数、携帯端末に隠れている操作釦などの検出を繰り返し行い、変化があった場合は、その変化に応じて、空き領域に表示させる内容を変更する。これにより、携帯端末４０を動かした場合や、操作パネル３０と携帯端末４０の表示内容が変化した場合などであっても、常に、最適な位置に代替釦が表示される。
【０１３３】
図１４は、図１３のステップＳ１１０にて行われる自動選択表示処理の流れを示す。まず、画像処理装置１０は、複数ある空き領域の中から、面積が一番大きい空き領域を選定する（ステップＳ２０１）。
【０１３４】
次に、選定された空き領域の面積と、表示予定の代替釦の面積を比較する（ステップＳ２０２）。そして、代替釦が空き領域に収まるのならば（ステップＳ２０３；Ｙｅｓ）、該空き領域に代替釦を表示させ（ステップＳ２０４）、ステップＳ２０９に進む。なお、ここでは、空き領域が表示予定の代替釦よりも面積が大きい場合、表示予定の代替釦を拡大して表示させてもよい。空き領域が表示予定の代替釦よりも面積が大きい場合に表示予定の代替釦を拡大するか否かは、予め、ユーザによって設定されていてもよいし、その都度、ユーザに選択させてもよい。
【０１３５】
代替釦が空き領域に収まらない場合は（ステップＳ２０３；Ｎｏ）、代替釦を縮小するか否かを調べる（ステップＳ２０５）。代替釦が空き領域に収まらない場合に代替釦を縮小するか否かは、予めユーザによって設定されていてもよいし、その都度、ユーザに選択させてもよい。
【０１３６】
代替釦の縮小を行う場合は（ステップＳ２０５；Ｙｅｓ）、ステップＳ２０１で選定された空き領域に収まるように代替釦を縮小して表示させ（ステップＳ２０６）、ステップＳ２０９に進む。
【０１３７】
代替釦の縮小を行わない場合は（ステップＳ２０５；Ｎｏ）、代替釦に対応する操作釦に対して、表示中の画面に応じて必要な順に優先度を設定し（ステップＳ２０７）、優先度が高い順に、ステップＳ２０１で選定された空き領域に収まる分だけ代替釦を表示させ（ステップＳ２０８）、代替釦の元の操作釦での操作の受け付けを無効としたら（ステップＳ２０９）、本処理を終了する。
【０１３８】
図１５は、図１３のステップＳ１１１にて行われる手動選択表示処理の流れを示す。まず、画像処理装置１０が、複数の空き領域に、選択釦を表示させる（ステップＳ３０１）。携帯端末４０の表示画面に空き領域がある場合、画像処理装置１０は、該空き領域に選択釦を表示するよう指示する。
【０１３９】
いずれかの選択釦が選択されるまでは（ステップＳ３０２；Ｎｏ）、ステップＳ３０１に戻って処理を継続する。なお、いずれかの選択釦が押下された場合、携帯端末４０が画像処理装置１０にその旨を通知する。
【０１４０】
いずれかの選択釦が押下されたら（ステップＳ３０２；Ｙｅｓ）、代替釦が表示予定の空き領域に収まらない場合に、代替釦の縮小を行うか否かを調べる（ステップＳ３０３）。代替釦が表示予定の空き領域に収まらない場合に、代替釦の縮小を行うか否かの設定は予め成されているものとする。
【０１４１】
代替釦の縮小を行う設定ならば（ステップＳ３０３；Ｙｅｓ）、空き領域に代替釦が収まらない場合は代替釦を縮小して表示させ、空き領域に代替釦が収まるのなら代替釦を縮小せずに表示させ（ステップＳ３０４）ステップＳ３０７に進む。
【０１４２】
代替釦の縮小を行わない設定ならば（ステップＳ３０３；Ｎｏ）、代替釦に対応する操作釦に対して、表示中の画面に応じて必要な順に優先度を設定する（ステップＳ３０５）。その後、優先度が高い順に、ステップＳ３０２で押下された選択釦が表示されていた空き領域に収まる分だけ代替釦を表示させ（ステップＳ３０６）、表示させた代替釦の元の操作釦での操作の受け付けを無効としたら（ステップＳ３０７）、本処理を終了する。
【０１４３】
図１６は、図１３のステップＳ１０８にて行われる配置処理の流れを示す。まず、空き領域の面積と、表示予定の代替釦の面積を比較する（ステップＳ４０１）。代替釦が空き領域に収まるのなら（ステップＳ４０２；Ｙｅｓ）、該空き領域に代替釦を表示させ（ステップＳ４０３）、ステップＳ４０８に進む。
【０１４４】
代替釦が空き領域に収まらない場合は（ステップＳ４０２；Ｎｏ）、代替釦を縮小するか否かを調べる（ステップＳ４０４）。代替釦の縮小を行う場合は（ステップＳ４０４；Ｙｅｓ）、空き領域に収まるように代替釦を縮小して表示させ（ステップＳ４０５）、ステップＳ４０８に進む。
【０１４５】
代替釦の縮小を行わない場合は（ステップＳ４０４；Ｎｏ）、代替釦に対応する操作釦に対して、表示中の画面に応じて必要な順に優先度を設定し（ステップＳ４０６）、優先度が高い順に、空き領域に収まる分だけ代替釦を表示させ（ステップＳ４０７）、代替釦の元の操作釦での操作の受け付けを無効としたら（ステップＳ４０８）、本処理を終了する。
【０１４６】
以上、本発明の実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。
【０１４７】
本発明の実施の形態では、複数の空き領域が検出された場合に、そのうちのいずれか１つに代替釦を表示させたが、複数の空き領域に代替釦を分散させて表示させてもよい。また、本発明の実施の形態では、操作パネル３０と携帯端末４０の表示画面の双方にて空き領域を検出していたが、少なくともいずれか一方から空き領域を検出すればよい。
【０１４８】
本発明の実施の形態では、操作部３２のうち携帯端末４０が正面の前方に位置する部分の画像を、代替釦として空き領域に表示させていた（携帯端末４０が操作部３２の一部と重なっている場合は、その一部の画像のみを代替釦として空き領域に表示させていた）。しかし、携帯端末４０が操作部３２の一部と重なっている場合であっても、操作部３２全体の画像を空き領域に表示させてもよい。
【０１４９】
本発明の実施の形態では、連携動作中のみ、代替釦表示処理を行ったが、連携動作中でなくとも代替釦表示処理を行ってもよい。
【０１５０】
本発明の実施の形態では、空き領域に代替釦が収まらない場合のみ、代替釦を縮小して表示したり、複数の代替釦のうちの一部のみを表示させたりしていたが、空き領域に代替釦が十分収まる場合であっても代替釦を縮小して表示したり、複数の代替釦のうちの一部のみを表示させたりしてもよい。
【０１５１】
本発明の実施の形態では、画像処理装置１０を本発明の操作表示装置の例としたが、本発明の操作表示装置はこれに限定されるものではなく、操作部と表示部を備える任意の装置でよい。また、操作部と表示部とを備える情報処理装置を実施の形態での画像処理装置１０のように機能させるプログラムも本発明に含まれる。
【０１５２】
また、本発明の実施の形態では、画像処理装置１０のカメラ３４が携帯端末４０の位置を検出していたが、携帯端末４０が自端末の位置を検出してもよい。外部の装置を設けて携帯端末４０の位置を検出させてもよい。
【０１５３】
本発明の実施の形態では、画像処理装置１０が、操作パネル３０と携帯端末４０の表示画面内の空き領域の情報を取得していたが、携帯端末４０がこれを取得し、いずれの空き領域に代替釦を表示させるかを決定してもよい。この場合では、ＣＰＵ４１が本発明の空き領域検出部、および操作制御部としての役割を果たす。また、外部の装置を設けて、操作パネル３０と携帯端末４０の表示画面内の空き領域の情報を取得させ、いずれの空き領域に代替釦を表示させるかを決定してもよい。この場合では、該外部の装置が空き領域検出部、および操作制御部としての役割を果たす。空き領域の情報を取得し、いずれの空き領域に代替釦を表示させるか決定する携帯端末、およびそのプログラムも本発明に含まれる。
【０１５４】
本発明の実施の形態では、画像処理装置１０が、操作パネル３０の正面側に携帯端末４０が位置しているか否かを判断し、携帯端末４０が正面の前方に位置する操作釦の画像（代替釦）を、空き領域に表示させていたが、携帯端末４０が、カメラ４５が撮影して得た画像を解析する等によって操作パネル３０の正面側に自端末が位置しているか否かを判断し、自端末が正面の前方に位置する操作釦の画像（代替釦）を、空き領域に表示させてもよい。この場合では、カメラ４５とＣＰＵ４１が本発明の位置検出部としての役割を果たす。たとえば、図１３における処理を携帯端末４０が実行し、操作パネル３０の表示画面の空き領域を代替釦の表示場所とする場合に、該空き領域に代替釦を表示する指示を画像処理装置１０に送信するようにしてもよい。外部の装置を設けて前述の判断と、指示の送信を行わせてもよい。この場合では、該外部の装置が本発明の位置検出部としての役割を果たす。前述の判断と指示を行う携帯端末、およびそのプログラムも本発明に含まれる。
【符号の説明】
【０１５５】
５…操作表示システム
１０…画像処理装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
１４…不揮発メモリ
１５…ハードディスク装置
１６…画像読取部
１７…自動原稿搬送部
１８…画像処理部
１９…プリンタ部
２１…ネットワーク通信部
２２…ファクシミリ通信部
２３…近距離無線通信部
３０…操作パネル
３１…表示部
３２…操作部
３３…距離測定部
３４…カメラ
３５…タッチパネル
３６…ハードキー
３６Ａ…代替釦
３６Ａａ…代替釦（テンキー）
３６Ａｂ…代替釦（テンキー以外の操作釦）
３７…ソフトキー
３７Ａ…代替釦
４０…携帯端末
４１…ＣＰＵ
４２…ＲＯＭ
４３…ＲＡＭ
４４…不揮発メモリ
４５…カメラ
４６…距離測定部
４７…操作部
４７ａ…タッチパネル
４８…表示部
４９…ネットワーク通信部
５１…近距離無線通信部
５２…方位センサ部
７１…空き領域
７１Ａ…選択釦
７２…空き領域
７２Ａ…選択釦
７３…空き領域
７３Ａ…選択釦
【図１】
2016062326.tif 000003
【図２】
2016062326.tif 000004
【図３】
2016062326.tif 000005
【図４】
2016062326.tif 000006
【図５】
2016062326.tif 000007
【図６】
2016062326.tif 000008
【図７】
2016062326.tif 000009
【図８】
2016062326.tif 000010
【図９】
2016062326.tif 000011
【図１０】
2016062326.tif 000012
【図１１】
2016062326.tif 000013
【図１２】
2016062326.tif 000014
【図１３】
2016062326.tif 000015
【図１４】
2016062326.tif 000016
【図１５】
2016062326.tif 000017
【図１６】
2016062326.tif 000018
【図１７】
2016062326.tif 000019