(57)【要約】【課題】操作パネルを操作するユーザーの利便性を向上させる。【解決手段】表示装置は、項目ボタンを配した画面を表示してユーザーから項目ボタンに対する操作を受け付ける操作パネルの撮影を行うカメラ部と、操作パネルをユーザーに視認させつつ情報の表示を行う表示部と、カメラ部による操作パネルの撮影によって得られた撮影データに基づき、表示部の表示エリアにおける操作パネルの位置および操作パネルが現在表示している画面である表示中画面を認識し、表示中画面から遷移可能な画面に配される項目ボタンの項目内容を示す項目情報を操作パネルと重ならないように表示部に表示させる制御部と、を備える。【選択図】図８
2018181261.tif 000002
【特許請求の範囲】
【請求項１】
項目ボタンを配した画面を表示してユーザーから前記項目ボタンに対する操作を受け付ける操作パネルの撮影を行うカメラ部と、
前記操作パネルをユーザーに視認させつつ情報の表示を行う表示部と、
前記カメラ部による前記操作パネルの撮影によって得られた撮影データに基づき、前記表示部の表示エリアにおける前記操作パネルの位置および前記操作パネルが現在表示している画面である表示中画面を認識し、前記表示中画面から遷移可能な画面に配される前記項目ボタンの項目内容を示す項目情報を前記操作パネルと重ならないように前記表示部に表示させる制御部と、を備えることを特徴とする表示装置。
【請求項２】
前記制御部は、前記表示中画面の下位階層の画面に配される前記項目ボタンの項目内容を示す情報を前記項目情報として前記表示部に表示させることを特徴とする請求項１に記載の表示装置。
【請求項３】
前記制御部は、前記表示中画面の上位階層の画面に配され、前記表示中画面に遷移するときに操作される前記項目ボタンの項目内容を示す情報を前記項目情報として前記表示部に表示させることを特徴とする請求項１または２に記載の表示装置。
【請求項４】
前記制御部は、前記表示部の表示エリアにおける前記表示中画面に配された前記項目ボタンの位置を基準位置として認識し、前記基準位置と前記項目情報とを繋ぐ線を前記表示部に表示させることを特徴とする請求項１〜３のいずれか１項に記載の表示装置。
【請求項５】
前記制御部は、前記表示部の表示エリアに表示し切れない前記項目情報である非表示項目情報が存在するとき、前記非表示項目情報が存在することをユーザーに報知するための報知情報を前記表示部に表示させることを特徴とする請求項１〜４のいずれか１項に記載の表示装置。
【請求項６】
外部機器と通信するための通信部を備え、
前記制御部は、前記カメラ部による撮影によって得られた撮影データに基づき、項目指定操作として予め定められたジェスチャー操作が行われたと判断した場合、前記項目指定操作により指定された前記項目情報である指定項目情報を認識し、前記通信部を用いて、前記指定項目情報に対応する前記項目ボタンが操作されたときに表示すべき画面への遷移を前記操作パネルに行わせるための情報を前記操作パネルに向けて送信することを特徴とする請求項１〜５のいずれか１項に記載の表示装置。
【請求項７】
外部機器と通信するための通信部を備え、
前記制御部は、前記カメラ部による撮影によって得られた撮影データに基づき、予め定められた第１ジェスチャー操作が行われたと判断した場合、前記通信部を用いて、前記表示中画面の上位階層の画面のうち直近に表示されていた画面への遷移を前記操作パネルに行わせるための情報を前記操作パネルに向けて送信することを特徴とする請求項１〜６のいずれか１項に記載の表示装置。
【請求項８】
外部機器と通信するための通信部を備え、
前記制御部は、前記カメラ部による撮影によって得られた撮影データに基づき、予め定められた第２ジェスチャー操作が行われたと判断した場合、前記通信部を用いて、前記表示中画面の下位階層の画面のうち直近に表示されていた画面への遷移を前記操作パネルに行わせるための情報を前記操作パネルに向けて送信することを特徴とする請求項１〜７のいずれか１項に記載の表示装置。
【請求項９】
外部機器と通信するための通信部を備え、
前記制御部は、前記カメラ部による撮影によって得られた撮影データに基づき、予め定められた第３ジェスチャー操作が行われたと判断した場合、前記通信部を用いて、前記表示中画面の１つ上の階層の画面への遷移を前記操作パネルに行わせるための情報を前記操作パネルに向けて送信することを特徴とする請求項１〜８のいずれか１項に記載の表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作パネルを操作するユーザーを支援する表示装置に関する。
【背景技術】
【０００２】
複合機や複写機のような装置には、操作パネルが設置される（たとえば、特許文献１参照）。操作パネルは、ボタンを配した画面を表示し、印刷に関する設定や指示を行うための操作（ボタンに対する操作）をユーザーから受け付ける。
【０００３】
特許文献１の操作パネルは、現在表示中の画面に対して所定操作が行われると、現在表示中の画面の下位階層の画面の一部を表示する。これにより、操作パネルに現在表示されている画面の下位階層の画面にどのようなボタンが配されているかをユーザーは知ることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−６２３９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１では、下位階層の画面（ここでは、下位画面と称する）がウィンドウ形式で表示される。そして、ウィンドウ形式で表示されている下位画面が見難い場合には、ウィドウサイズを大きくすることができる。
【０００６】
しかし、ウィンドウサイズを大きくすると、ウィンドウ形式で表示されている下位画面の上位階層の画面（ここでは、上位画面と称する）が見難くなる。この場合には、ウィンドウサイズを小さくして上位画面を確認し、再度、ウィンドウサイズを大きくして下位画面を確認する、という作業を繰り返さなければならない。その結果、数多くの操作を行わなければならず、ユーザーにとっては利便性が悪い。
【０００７】
本発明は、上記課題を解決するためになされたものであり、操作パネルを操作するユーザーの利便性を向上させることが可能な表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の表示装置は、項目ボタンを配した画面を表示してユーザーから項目ボタンに対する操作を受け付ける操作パネルの撮影を行うカメラ部と、操作パネルをユーザーに視認させつつ情報の表示を行う表示部と、カメラ部による操作パネルの撮影によって得られた撮影データに基づき、表示部の表示エリアにおける操作パネルの位置および操作パネルが現在表示している画面である表示中画面を認識し、表示中画面から遷移可能な画面に配される項目ボタンの項目内容を示す項目情報を操作パネルと重ならないように表示部に表示させる制御部と、を備える。
【０００９】
本発明の構成では、ユーザーが表示装置を用いて操作パネルを撮影すると、操作パネルに現在表示されている画面から遷移可能な画面に配される項目ボタンの項目内容を示す項目情報が表示装置に表示される。このため、操作パネルに現在表示されている画面から遷移可能な画面（たとえば、操作パネルに現在表示されている画面の下位階層の画面）にどのような項目ボタンが配されているかをユーザーは知ることができる。ここで、項目情報は操作パネルに表示されるのではなく表示装置に表示される。また、項目情報は操作パネルと重ならないように表示される。したがって、操作パネルに現在表示されている画面が項目情報と重なって見え難くなるという不都合は発生しない。すなわち、操作パネルに現在表示されている画面と項目情報との重なりを回避するための操作をユーザーが行う必要はない。その結果、ユーザーの利便性が向上する。
【発明の効果】
【００１０】
本発明によれば、操作パネルを操作するユーザーの利便性を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態による表示装置の構成を示す図
【図２】操作パネルの表示画面（ホーム画面）を示す図
【図３】操作パネルの表示画面（基本／応用選択画面）を示す図
【図４】操作パネルの表示画面（基本設定画面）を示す図
【図５】操作パネルの表示画面（用紙サイズ画面）を示す図
【図６】操作パネルの表示画面の階層構造を示す図
【図７】本発明の一実施形態による表示装置が行う操作支援処理の流れを示す図
【図８】本発明の一実施形態による表示装置が表示処理を行う前後のユーザーからの見え方の違いを示す図
【図９】図８に示す項目情報に対応する項目ボタンが配された操作パネルの画面について説明するための図
【図１０】本発明の一実施形態による表示装置が表示処理を行う前後のユーザーからの見え方の違いを示す図
【図１１】図１０に示す項目情報に対応する項目ボタンが配された操作パネルの画面について説明するための図
【図１２】本発明の一実施形態による表示装置の表示エリアにおける操作パネルの位置が移動した場合に行われる制御について説明するための図
【図１３】本発明の一実施形態による表示装置が表示する報知情報を示す図
【図１４】本発明の一実施形態による表示装置が受け付ける項目指定操作について説明するための図
【図１５】本発明の一実施形態による表示装置が受け付ける第１ジェスチャー操作について説明するための図
【図１６】本発明の一実施形態による表示装置が受け付ける第２ジェスチャー操作について説明するための図
【発明を実施するための形態】
【００１２】
以下、本発明の一実施形態による表示装置について、ヘッドマウントディスプレイを例にとって説明する。以下の説明では、本実施形態のヘッドマウントディスプレイをＨＭＤと称し、符号１を付す。
【００１３】
たとえば、ＨＭＤ１は、画像形成装置（複合機や複写機などの印刷装置）のユーザーにより装着される。当該画像形成装置は、特に限定されないが、コピー機能や、スキャンデータを外部機器に送信する送信機能など、複数種の機能を搭載する複合機である。以下の説明では、ＨＭＤ１を装着したユーザーが実際に使用する画像形成装置に符号２を付す。
【００１４】
＜ＨＭＤの構成＞
ＨＭＤ１は、眼鏡型であり、眼鏡のレンズに相当する部分に種々の情報を表示する（ユーザーの眼前に情報を表示する）。また、ＨＭＤ１は、ユーザーの眼前の風景（物体）を撮影する。
【００１５】
このＨＭＤ１は、図１に示すように、表示部１１、カメラ部１２、操作部１３、制御部１４、通信部１５および記憶部１６を備える。表示部１１、カメラ部１２、操作部１３、制御部１４、通信部１５および記憶部１６は、図示しないが、眼鏡型のフレームに設置される。
【００１６】
表示部１１は、表示を行う。表示部１１は、ＨＭＤ１を装着したユーザーの眼と対向する位置に配置される。これにより、種々の情報がユーザーの眼前に表示される。ＨＭＤ１を装着したユーザーの眼前に画像形成装置２が存在する場合には、画像形成装置２（後述する操作パネル２０を含む）をユーザーに視認させつつ、ユーザーに提供する情報を表示することができる。たとえば、外光を透過させる光学透過型（光学シースルー型）のディスプレイ装置が表示部１１として用いられる。
【００１７】
カメラ部１２は、撮影を行う。カメラ部１２は、ＣＣＤカメラなどを含み、ＨＭＤ１を装着したユーザーの視界方向の撮影が可能な位置に配置される。これにより、ユーザーの眼前の風景（物体）が撮影される。ＨＭＤ１を装着したユーザーの眼前に画像形成装置２が存在する場合には、画像形成装置２（後述する操作パネル２０を含む）を撮影することができる。カメラ部１２は、撮影によって得られた撮影データを出力する。
【００１８】
操作部１３は、ＨＭＤ１による表示や撮影に関する各種設定を行うための操作をユーザーから受け付ける。なお、ユーザーが所有するスマートフォンなどの携帯端末をＨＭＤ１と通信可能に接続すれば、当該携帯端末からでも、ＨＭＤ１による表示や撮影に関する各種設定を行うことが可能となる。
【００１９】
制御部１４は、制御用のプログラムおよびデータに基づき動作するＣＰＵを含み、ＨＭＤ１を制御するための各種処理を実行する。たとえば、制御部１４は、表示部１１による表示を制御するとともに、カメラ部１２による撮影を制御する。また、制御部１１は、操作部１３がユーザーから受け付けた各種操作を検知する。
【００２０】
通信部１５は、ＨＭＤ１を外部機器に通信可能に接続するための通信インターフェースであり、通信回路などを含む。特に限定されないが、ＨＭＤ１と外部機器との間では、近距離無線通信規格に基づく通信や無線ＬＡＮ規格に基づく通信が可能である。制御部１４は、通信部１５を用いて外部機器と通信する。たとえば、制御部１４は、通信部１５を用いて画像形成装置２と通信し、画像形成装置２との間で各種情報を送受信する。
【００２１】
記憶部１６は、不揮発性メモリー（ＲＯＭ）および揮発性メモリー（ＲＡＭ）を含み、制御部１４（ＣＰＵ）を動作させるためのプログラムやデータを記憶する。また、記憶部１６は、後述する項目情報３を表示するための表示データを記憶する。
【００２２】
＜操作パネルの表示画面＞
画像形成装置２は、操作パネル２０を備える。操作パネル２０は、画像形成装置２のユーザー（ＨＭＤ１を装着したユーザー）により操作される。
【００２３】
操作パネル２０は、タッチパネルディスプレイ２１を含む。タッチパネルディスプレイ２１は、ソフトウェアボタン（ユーザーからタッチ操作を受け付ける操作受付領域）を配した画面を表示し、ソフトウェアボタンに対するタッチ操作を受け付ける。たとえば、操作パネル２０は、図２〜図５に示すような画面２００（画面２１１、２２１Ａ、２３１Ａおよび２４１Ａ）をタッチパネルディスプレイ２１に表示させる。なお、操作パネル２０が表示する画面２００は他にも種々ある。また、操作パネル２００が表示する各画面２００に配されるソフトウェアボタンの形態は様々である。たとえば、画面２００の操作受付領域にボタン形状の画像（アイコンなども含む）が表示される場合もあるし、画面２００の操作受付領域にテキスト画像だけが表示される場合もある。
【００２４】
ここで、図６に示すように、操作パネル２０が表示する各画面２００は階層的な構造（階層構造）となっている。そして、操作パネル２０に対して所定の操作を行うと、現在の画面２００から異なる階層の画面２００に切り替わる。なお、図６に示す階層構造は一例であり、特に限定されるものではない。
【００２５】
具体的に、操作パネル２０が表示する各画面２００には、項目ボタンＩＢ（図２〜図４参照）が配されるものがある。項目ボタンＩＢは、最下位階層の画面２００には配されない。ユーザーが項目ボタンＩＢに対してタッチ操作を行うと、現在の画面２００から１つ下の階層の画面２００に遷移する。
【００２６】
図６に示す例において、最上位階層である第１階層の画面２００（画面２１１）の表示中に項目ボタンＩＢに対するタッチ操作をユーザーが行った場合には、第１階層の画面２１１から第２階層の画面２００（画面２２１Ａおよび２２１Ｂのいずれか）に遷移する。
【００２７】
第２階層の画面２２１Ａの表示中に項目ボタンＩＢに対するタッチ操作をユーザーが行った場合には、第２階層の画面２２１Ａから第３階層の画面２００（画面２３１Ａおよび２３２Ａのいずれか）に遷移する。
【００２８】
第２階層の画面２２１Ｂの表示中に項目ボタンＩＢに対するタッチ操作をユーザーが行った場合には、第２階層の画面２２１Ｂから第３階層の画面２００（画面２３１Ｂ、２３２Ｂおよび２３３Ｂのいずれか）に遷移する。たとえば、画面２３１Ｂ、２３２Ｂおよび２３３Ｂは最下位階層の画面であり、画面２３１Ｂ、２３２Ｂおよび２３３Ｂに項目ボタンＩＢは配されない。
【００２９】
第３階層の画面２３１Ａの表示中に項目ボタンＩＢに対するタッチ操作をユーザーが行った場合には、第４階層の画面２００（画面２４１Ａ、２４２Ａおよび２４３Ａのいずれか）に遷移する。たとえば、画面２４１Ａ、２４２Ａおよび２４３Ａは最下位階層の画面であり、画面２４１Ａ、２４２Ａおよび２４３Ａに項目ボタンＩＢは配されない。
【００３０】
第３階層の画面２３２Ａの表示中に項目ボタンＩＢに対するタッチ操作をユーザーが行った場合には、第４階層の画面２００（画面２４４Ａおよび２４５Ａのいずれか）に遷移する。たとえば、画面２４４Ａおよび２４５Ａは最下位階層の画面であり、画面２４４Ａおよび２４５Ａに項目ボタンＩＢは配されない。
【００３１】
また、操作パネル２０が表示する各画面２００には、戻るボタンＢＢ（図３〜図５参照）が配されるものがある。戻るボタンＢＢは、最上位階層の画面２００には配されない。ユーザーが戻るボタンＢＢに対してタッチ操作を行うと、現在の画面２００から１つ上の階層の画面２００に遷移する。なお、戻るボタンＢＢに相当するハードウェアボタンが操作パネル２０に設けられてもよい。
【００３２】
図２に示した操作パネル２０の画面２１１は、画像形成装置１００の複数種の機能のうち使用する機能の指定をユーザーから受け付けるためのホーム画面であり、第１階層（最上位階層）の画面に相当する。ホーム画面２１１には、項目ボタンＩＢとして、コピー機能を使用機能として指定するためのコピーボタン、および、送信機能を使用機能として指定するための送信ボタンが配される。
【００３３】
図３に示した操作パネル２０の画面２２１Ａは、基本設定を行うか応用設定を行うかの選択をユーザーから受け付けるための基本／応用選択画面であり、第２階層の画面に相当する。基本／応用選択画面２２１Ａは、ホーム画面２１１（図２参照）に項目ボタンＩＢとして配されたコピーボタンに対するタッチ操作によって表示される。基本／応用選択画面２２１Ａには、項目ボタンＩＢとして、基本設定を行う旨を指示するための基本設定ボタン、および、応用設定を行う旨を指示するための応用設定ボタンが配される。
【００３４】
図４に示した操作パネル２０の画面２３１Ａは、コピー機能に関する設定項目のうち設定値を設定（変更）したい設定項目の選択をユーザーから受け付けるための基本設定画面であり、第３階層の画面に相当する。基本設定画面２３１Ａは、基本／応用選択画面２２１Ａ（図３参照）に項目ボタンＩＢとして配された基本設定ボタンに対するタッチ操作によって表示される。基本設定画面２３１Ａには、項目ボタンＩＢとして、用紙サイズ設定を行う旨を指示するための用紙サイズボタン、ズーム設定を行う旨を指示するためのズームボタン、および、濃度設定を行う旨を指示するための濃度ボタンが配される。
【００３５】
図５に示した操作パネル２０の画面２４１Ａは、用紙サイズの設定をユーザーから受け付けるための用紙サイズ画面であり、第４階層の画面に相当する。用紙サイズ画面２４１Ａは、基本設定画面２３１Ａ（図４参照）に項目ボタンＩＢとして配された用紙サイズボタンに対するタッチ操作によって表示される。
【００３６】
基本／応用選択画面２２１Ａ（図３参照）、基本設定画面２３１Ａ（図４参照）および用紙サイズ画面２４１Ａ（図５参照）には、戻るボタンＢＢが配される。なお、ホーム画面２１１（図２参照）は最上位階層の画面であるので、ホーム画面２１１に戻るボタンＢＢは配されない。
【００３７】
基本／応用選択画面２２１Ａの表示中に戻るボタンＢＢに対するタッチ操作をユーザーが行った場合には、ホーム画面２１１が表示され、基本設定画面２３１Ａの表示中に戻るボタンＢＢに対するタッチ操作をユーザーが行った場合には、基本／応用選択画面２２１Ａが表示され、用紙サイズ画面２４１Ａの表示中に戻るボタンＢＢに対するタッチ操作をユーザーが行った場合には、基本設定画面２３１Ａが表示される。
【００３８】
＜パネル操作の支援＞
（概要）
画像形成装置２のメーカーにおいて、操作パネル２０を操作するユーザーを支援するためのパネルアプリケーション（以下、パネルアプリと称する）が準備される。パネルアプリがインストールされたＨＭＤ１をユーザーが装着し、その状態でＨＭＤ１を通してユーザーが操作パネル２０を見ると、当該ユーザーの操作パネル２０に対する操作を支援するための情報がＨＭＤ１に表示される。言い換えると、ＨＭＤ１（制御部１４）は、パネル操作を支援するための操作支援処理を行う。
【００３９】
以下に、図７に示すフローチャートを参照し、制御部１４により行われる操作支援処理の流れを説明する。図７に示すフローチャートは、ＨＭＤ１にインストールされたパネルアプリを起動するための操作を操作部１３がユーザーから受け付けたとき（当該操作を制御部１４が検知したとき）にスタートする。
【００４０】
ステップＳ１において、制御部１４は、カメラ部１２による撮影を開始させる。このとき、ユーザーは操作パネル２０を操作しようとしているので、操作パネル２０に近づき、操作パネル２０の方を見る。
【００４１】
ステップＳ２において、制御部１４は、カメラ部１２による撮影によって得られた撮影データを取得し、当該取得した撮影データに基づき、カメラ部１２の撮影エリアに操作パネル２０が存在するか否かを判断する。言い換えると、制御部１４は、操作パネル２０がユーザーの視界に入ったか否かを判断する。たとえば、記憶部１６には、操作パネル２０の特徴点（操作パネル２０の輪郭や色など）を示すパネル情報が記憶される。そして、制御部１４は、撮影データに対して所定の画像認識処理を行い、パネル情報で示される特徴点を検知したとき、カメラ部１２の撮影エリアに操作パネル２０が存在する（操作パネル２０がユーザーの視界に入った）と判断する。
【００４２】
ステップＳ２において、カメラ部１２の撮影エリアに操作パネル２０が存在すると制御部１４が判断した場合、ステップＳ３に移行する。一方で、カメラ部１２の撮影エリアに操作パネル２０が存在しないと制御部１４が判断した場合、ステップＳ２の処理（制御部１４による判断）が繰り返される。
【００４３】
ステップＳ３において、制御部１４は、カメラ部１２による操作パネル２０の撮影によって得られた撮影データに基づき、操作パネル２０に現在表示されている画面２００（以下、表示中画面２００と称する場合がある）を認識する。たとえば、記憶部１６には、操作パネル２０が表示し得る各画面２００の特徴点（画面２００に配されたボタンの形状や色、ボタンに付された記号（文字および数字を含む）、および、ボタンの位置など）を示す画面情報が記憶される。そして、制御部１４は、画面情報に基づき表示中画面２００を認識する。このとき、制御部１４は、表示中画面２００を対象画面に設定する。
【００４４】
ステップＳ４において、制御部１４は、表示中画面２００（対象画面）から遷移可能な画面２００および当該画面２００に配される項目ボタンＩＢを認識する。表示中画面２００が最上位階層の画面２００である場合には、表示中画面２００の下位階層の画面２００だけが遷移可能な画面２００となるとともに、表示中画面２００が最下位階層の画面２００である場合には、表示中画面２００の上位階層の画面２００だけが遷移可能な画面２００となる。表示中画面２００が最上位階層の画面２００でもなく最下位階層の画面２００でもなければ、表示中画面２００の下位階層の画面２００および表示中画面２００の上位階層の画面２００の両方が遷移可能な画面２００となる。
【００４５】
たとえば、記憶部１６には、操作パネル２０が表示し得る各画面２００について、画面２００の階層位置、上の階層に位置する画面２００および下の階層に位置する画面２００などを示す階層情報（操作パネル２０が表示する各画面２００の階層構造を示す情報）が記憶される。また、階層情報には、操作パネル２０が表示し得る各画面２００に配される項目ボタンＩＢを示す情報も含まれる。そして、制御部１４は、階層情報に基づき、表示中画面２００から遷移可能な画面２００および当該画面２００に配される項目ボタンＩＢを認識する。
【００４６】
ステップＳ５において、制御部１４は、表示中画面２００（対象画面）から遷移可能な画面２００に配される項目ボタンＩＢの項目内容を示す項目情報３（図８下図や図１０下図など参照）を表示部１１に表示させる表示処理を操作支援処理の一処理として行う。詳細は後述する。
【００４７】
ステップＳ６において、制御部１４は、表示処理を終了する条件（処理終了条件）が満たされたか否かを判断する。その結果、処理終了条件が満たされたと制御部１４が判断した場合には、ステップＳ７に移行し、処理終了条件が満たされていないと制御部１４が判断した場合には、ステップＳ８に移行する。
【００４８】
たとえば、制御部１４は、パネルアプリを終了するための操作を操作部１３がユーザーから受け付けたことを検知したとき、処理終了条件が満たされたと判断する。また、制御部１４は、カメラ部１２による撮影を停止するための操作を操作部１３がユーザーから受け付けたことを検知したとき、処理終了条件が満たされたと判断する。さらに、制御部１４は、カメラ部１２の撮影エリアに操作パネル２０が存在しなくなったことを検知したとき、処理終了条件が満たされたと判断する。カメラ部１２の撮影エリアに操作パネル２０が存在しなくなったということは、ユーザーが操作パネル２０から離れた（ユーザーが操作パネル２０を見ていない）ということである。
【００４９】
ステップＳ７に移行すると、制御部１４は、表示処理を終了する。すなわち、制御部１４は、表示部１１に指示し、項目情報３の表示を停止させる。
【００５０】
ステップＳ８に移行すると、制御部１４は、カメラ部１２による操作パネル２０の撮影によって得られた撮影データに基づき、操作パネル２０が画面２００の遷移を行ったか否かを判断する。
【００５１】
操作パネル２０が画面２００の遷移を行ったと制御部１４が判断した場合には、ステップＳ３に移行する。この場合、制御部１４は、表示部１１による項目情報３の表示を一旦停止させ、ステップＳ３およびＳ４の処理を行う。そして、ステップＳ５において、制御部１４は、表示処理を再度行う。
【００５２】
一方で、操作パネル２０が画面２００の遷移を行っていないと制御部１４が判断した場合、ステップＳ５に移行する。この場合には、項目情報３の表示が続行される。
【００５３】
（項目情報の表示）
制御部１４により行われる表示処理には、第１処理および第２処理がある。以下に具体的に説明する。
【００５４】
制御部１４は、第１処理を行うとき、対象画面に設定した画面２００の下位階層の画面２００（対象画面に設定した画面２００から遷移可能な画面２００）のうち、項目ボタンＩＢが配された画面２００を認識する。そして、制御部１４は、対象画面に設定した画面２００の下位階層の画面２００に配される項目ボタンＩＢの項目内容を示す項目情報３（図８下図および図１０下図など参照）を表示部１１に表示させる処理を第１処理として行う。
【００５５】
たとえば、ホーム画面２１１（図２参照）が対象画面に設定されたとする。この場合、ユーザーからの見え方は、図８に示すように変化する。制御部１４による表示処理が行われる前の段階では、図８上図に示すように、ユーザーからは操作パネル２０がそのまま見える。その後、制御部１４による表示処理が行われると、図８下図に示すように、ユーザーの眼前に項目情報３が表示される。図８では、ユーザーの視界（表示部１１の表示エリア）を破線で示す。以下の説明で参照する図１０および図１２〜図１６についても同様である。
【００５６】
ホーム画面２１１を対象画面に設定したとき、制御部１４は、ホーム画面２１１の下位階層の画面２００に配される項目ボタンＩＢを対象ボタンに設定する。このときに対象ボタンに設定されるのは、図９に示すように、操作パネル２０が表示し得る各画面２００のうち破線で囲む画面２００に配される項目ボタンＩＢである。
【００５７】
たとえば、基本／応用選択画面２２１Ａには、項目ボタンＩＢとして、基本設定ボタンおよび応用設定ボタンが配される（当該ボタンが対象ボタンに設定される）。基本設定画面２３１Ａには、項目ボタンＩＢとして、用紙サイズボタン、ズームボタンおよび濃度ボタンが配される（当該ボタンが対象ボタンに設定される）。
【００５８】
したがって、制御部１４は、ホーム画面２１１を対象画面に設定した場合、基本設定ボタンの項目内容を示す項目情報３（図８下図では、文字列「ａ２１」で示す）、応用設定ボタンの項目内容を示す項目情報３（図８下図では、文字列「ａ２２」で示す）、用紙サイズボタンの項目内容を示す項目情報３（図８下図では、文字列「ａ３１」で示す）、ズームボタンの項目内容を示す項目情報３（図８図では、文字列「ａ３２」で示す）、および、濃度ボタンの項目内容を示す項目情報３（図８下図では、文字列「ａ３３」で示す）を表示部１１に表示させる。
【００５９】
特に限定されないが、表示部１１は、項目ボタンＩＢの項目内容を示すテキスト情報を項目情報３として表示する。あるいは、表示部１１は、項目ボタンＩＢの絵柄（アイコン）を項目情報３として表示する。
【００６０】
ホーム画面２１１が対象画面に設定された場合には、画面２３２Ａに配される項目ボタンＩＢも対象ボタンとなる（図９参照）。このため、画面２３２Ａに配される項目ボタンＩＢの項目内容を示す項目情報３（図８下図では、文字列「ａ３４」および文字列「ａ３５」で示す）も表示される。
【００６１】
さらに、ホーム画面２１１が対象画面に設定された場合には、画面２２１Ｂに配される項目ボタンＩＢも対象ボタンとなる（図９参照）。このため、画面２２１Ｂに配される項目ボタンＩＢの項目内容を示す項目情報３（図８下図では、文字列「ｂ２１」、文字列「ｂ２２」および文字列「ｂ２３」で示す）も表示される。
【００６２】
制御部１４は、第２処理を行うとき、対象画面に設定した画面２００の上位階層の画面２００（対象画面に設定した画面２００から遷移可能な画面２００）に配される項目ボタンＩＢであって、対象画面に設定した画面２００に遷移するときに操作される項目ボタンＩＢを認識する。そして、制御部１４は、対象画面に設定した画面２００に遷移するときに操作される項目ボタンＩＢの項目内容を示す項目情報３（図１０下図参照）を表示部１１に表示させる処理を第２処理として行う。
【００６３】
たとえば、基本／応用選択画面２２１Ａ（図３参照）が対象画面に設定されたとする。この場合、制御部１４は、第１処理および第２処理の両方を行う。このため、ユーザーからの見え方は、図１０に示すように変化する。制御部１４による表示処理が行われる前の段階では、図１０上図に示すように、ユーザーからは操作パネル２０がそのまま見える。その後、制御部１４による表示処理が行われると、図１０下図に示すように、ユーザーの眼前に項目情報３が表示される。
【００６４】
基本／応用選択画面２２１Ａを対象画面に設定したとき、制御部１４は、基本／応用選択画面２２１Ａの下位階層の画面２００に配される項目ボタンＩＢを対象ボタンに設定する。このときに対象ボタンに設定されるのは、図１１に示すように、操作パネル２０が表示し得る各画面２００のうち破線で囲む画面２００に配される項目ボタンＩＢである。
【００６５】
したがって、制御部１４は、文字列「ａ３１」で示す項目情報３（用紙サイズボタンの項目内容を示す情報）、文字列「ａ３２」で示す項目情報３（ズームボタンの項目内容を示す情報）、および、文字列「ａ３３」で示す項目情報３（濃度ボタンの項目内容を示す情報）を表示部１１に表示させる。また、制御部１４は、画面２３２Ａに配される項目ボタンＩＢの項目内容を示す情報も項目情報３として表示部１１に表示させる。すなわち、文字列「ａ３４」で示す項目情報３および文字列「ａ３５」で示す項目情報３も表示される。
【００６６】
また、基本／応用選択画面２２１Ａを対象画面に設定したとき、制御部１４は、基本／応用選択画面２２１Ａに遷移するときに操作される項目ボタンＩＢも対象ボタンに設定する。このときに対象ボタンに設定されるのは、ホーム画面２１１に項目ボタンＩＢとして配されるコピーボタンである。
【００６７】
したがって、制御部１４は、基本／応用選択画面２２１Ａを対象画面に設定した場合、コピーボタンの項目内容を示す項目情報（図１０下図では、文字列「ａ１１」で示す）を表示部１１にさらに表示させる。たとえば、表示部１１は、基本／応用選択画面２２１Ａの下位階層に配される項目ボタンＩＢの項目内容を示す項目情報３を表示エリアの上側に表示し、基本／応用選択画面２２１Ａの上位階層に配される項目ボタンＩＢの項目内容を示す項目情報３を表示エリアの下側に表示する。
【００６８】
制御部１４は、項目情報３の表示中、カメラ部１２による操作パネル２０の撮影によって得られた撮影データに基づき、表示部１１の表示エリアにおける項目ボタンＩＢの位置を基準位置として認識する。図８に示す例では、ホーム画面２１１に項目ボタンＩＢとして配されたコピーボタンおよび送信ボタンの各位置（表示部１１の表示エリアにおける位置）が基準位置となる。図１０に示す例では、基本／応用設定画面２２１Ａに項目ボタンＩＢとして配された基本設定ボタンおよび応用設定ボタンの各位置（表示部１１の表示エリアにおける位置）が基準位置となる。そして、図８および図１０に示すように、制御部１４は、項目情報３と基準位置とを繋ぐ線Ｌを表示部１１に表示させる。図８および図１０では、当該線Ｌを太線で示す。以下の説明で参照する図１２〜図１６についても同様である。
【００６９】
具体的に、表示部１１は、操作パネル２０に現在表示されている画面２００（対象画面）の１つ下の階層の画面２００（ここでは、第１下位画面２００と称する）に配される項目ボタンＩＢに対応する項目情報３（ここでは、第１下位項目情報３と称する）と基準位置とを直接繋ぐ線Ｌを表示する。また、表示部１１は、第１下位画面の下位階層の画面２００（ここでは、第２下位画面２００と称する）に配される項目ボタンＩＢに対応する項目情報３（ここでは、第２下位項目情報３と称する）と第１下位項目情報３とを繋ぐ線Ｌを表示する。すなわち、第１下位項目情報３を経由して第２下位項目情報３と基準位置とを繋ぐ線Ｌが表示される。
【００７０】
また、表示部１１は、操作パネル２０に現在表示されている画面２００（対象画面）の１つ上の階層の画面２００（ここでは、上位画面２００と称する）に配される項目ボタンＩＢに対応する項目情報３（ここでは、上位項目情報３と称する）と基準位置とを直接繋ぐ線Ｌを表示する。
【００７１】
図８に示す例では、文字列「ａ２１」、文字列「ａ２２」、文字列「ｂ２１」、文字列「ｂ２２」、および、文字列「ｂ２３」で示す各項目情報３が第１下位項目情報に相当する。文字列「ａ３１」、文字列「ａ３２」、文字列「ａ３３」、文字列「ａ３４」、および、文字列「ａ３５」で示す各項目情報３が第２下位項目情報に相当する。
【００７２】
なお、文字列「ａ２１」および文字列「ａ２２」の各項目情報３に対応する項目ボタンＩＢがホーム画面２１１のコピーボタンに対する操作により表示されることを明確にするため、当該項目情報３から延びる線Ｌはコピーボタンに対応する基準位置に繋げられる。同様に、文字列「ｂ２１」、文字列「ｂ２２」および文字列「ｂ２３」に対応する項目ボタンＩＢがホーム画面２１１の送信ボタンに対する操作により表示されることを明確にするため、当該項目情報３から延びる線Ｌは送信ボタンに対応する基準位置に繋げられる。
【００７３】
図１０に示す例では、文字列「ａ３１」、文字列「ａ３２」、文字列「ａ３３」、文字列「ａ３４」、および、文字列「ａ３５」で示す各項目情報３が第１下位項目情報に相当する。文字列「ａ１１」で示される項目情報３が上位項目情報に相当する。
【００７４】
なお、文字列「ａ３１」、文字列「ａ３２」、および、文字列「ａ３３」の各項目情報３に対応する項目ボタンＩＢが基本／応用選択画面２２１Ａの基本設定ボタンに対する操作によって表示されることを明確にするため、当該項目情報３から延びる線Ｌは基本設定ボタンに対応する基準位置に繋げられる。同様に、文字列「ａ３４」および文字列「ａ３５」に対応する項目ボタンＩＢが基本／応用選択画面２２１Ａの応用設定ボタンに対する操作によって表示されることを明確にするため、当該項目情報３から延びる線Ｌは応用設定ボタンに対応する基準位置に繋げられる。
【００７５】
また、制御部１４は、カメラ部１２による操作パネル２０の撮影によって得られた撮影データに基づき、表示部１１の表示エリアにおける操作パネル２０の位置を認識する。そして、制御部１４は、表示部１１の表示エリアにおいて操作パネル２０と項目情報３とが重ならないように項目情報３の表示位置を制御する。また、制御部１４は、線Ｌの表示位置（線Ｌの長さ、延伸方向および屈曲位置）を制御する。
【００７６】
たとえば、図１２に示すように、表示部１１の表示エリアにおける操作パネル２０の位置が右上方向に移動した（上図の状態から下図の状態に変更した）とする。すなわち、ユーザーが視線を左下方向に移動させたとする。この場合、制御部１４は、項目情報３の表示位置を変更する。また、制御部１４は、線Ｌの長さ、延伸方向および屈曲位置などを変更する。
【００７７】
ここで、場合によっては、表示部１１に表示すべき項目情報３の全てを表示部１１の表示エリアに表示し切れないことがある。たとえば、図１３に示すように、文字列「ｂ２４」で示す項目情報３が表示部１１の表示エリアに表示し切れなかったとする（当該項目情報３を破線で囲み、他の項目情報３と区別する）。この場合、制御部１４は、表示部１１の表示エリアに表示し切れない項目情報３（以下、非表示項目情報３と称する）が存在することをユーザーに報知するための報知情報３０を表示部１１に表示させる。
【００７８】
図１３に示す例では、非表示項目情報３（文字列「ｂ２４」で示す情報）を表示すべき位置は文字列「ｂ２３」で示す項目情報３の右側である。この場合、表示部１１は、文字列「ｂ２３」で示す項目情報３の右側に報知情報３０を表示する。図示しないが、非表示項目情報３を表示すべき位置が文字列「ａ３１」で示す項目情報３の上側であった場合には、文字列「ａ３１」で示す項目情報３の上側に報知情報３０が表示される。
【００７９】
（ジェスチャー操作の検知）
制御部１４は、項目情報３の表示中、カメラ部１２による撮影によって得られた撮影データに基づき、ユーザーが項目情報３に対して行った仮想的な操作（ジェスチャー操作）を検知する。そして、制御部１４は、ジェスチャー操作が行われたことを検知したとき、通信部１５を用いて画像形成装置２（操作パネル２０）と通信し、操作パネル２０の画面２００を遷移させるための情報を操作パネル２０に向けて送信する。
【００８０】
制御部１４は、項目情報３の表示中、項目指定操作として予め定められたジェスチャー操作が行われたか否かを判断する。たとえば、制御部１４は、表示中のいずれかの項目情報３を仮想的にタップする操作を項目指定操作として検知する。
【００８１】
項目指定操作が行われたと判断した場合、制御部１４は、項目指定操作により指定された項目情報３である指定項目情報（仮想的にタップされた項目情報３）を認識する。そして、制御部１４は、指定項目情報３に対応する項目ボタンＩＢが操作されたときに表示すべき画面２００への遷移を操作パネル２０に行わせるための情報（画面遷移命令）を操作パネル２０に向けて送信する。たとえば、画面遷移命令には、指定項目情報３に対応する項目ボタンＩＢが操作されたときに表示すべき画面２００を遷移先として示す情報が含まれる。画面遷移命令を受けた画像形成装置２の操作パネル２０は、画面遷移命令に含まれる遷移先の画面２００への遷移を行う。
【００８２】
たとえば、図１４上図に示すように、操作パネル２０がホーム画面２１１を表示しているとき、文字列「ａ２１」で示す項目情報３に対して項目指定操作が行われたとする。図１４上図では、項目指定操作が行われた項目情報３を二重線で囲む。文字列「ａ２１」で示す項目情報３に対応する項目ボタンＩＢは、基本／応用選択画面２２１Ａに配される基本設定ボタンである。この場合、図１４下図に示すように、操作パネル２０は、現在の画面２００（ホーム画面２１１）から、基本設定ボタンが操作されたときに表示すべき画面２００である基本設定画面２３１Ａに遷移する。
【００８３】
また、制御部１４は、項目情報３の表示中、予め定められた第１ジェスチャー操作が行われたか否かを判断する。たとえば、制御部１４は、カメラ部１２の撮影エリアで左から右へ仮想的にフリックする操作を第１ジェスチャー操作として検知する。
【００８４】
第１ジェスチャー操作が行われたと判断した場合、制御部１４は、操作パネル２０が現在表示している表示中画面２００を認識し、表示中画面２００の上位階層の画面２００のうち直近に表示されていた画面２００への遷移を操作パネル２０に行わせるための第１命令を含む情報を操作パネル２０に向けて送信する。第１命令を受けた画像形成装置２の操作パネル２０は、表示中画面２００の上位階層の画面２００のうち直近に表示していた画面２００への遷移を行う。
【００８５】
たとえば、ＨＭＤ１から操作パネル２０への画面遷移命令により、操作パネル２０がホーム画面２１１から基本設定画面２３１Ａに遷移したとする（図１４参照）。それ以降、図１５上図に示すように、操作パネル２０が基本設定画面２３１Ａの表示を続行している状態で、第１ジェスチャー操作が行われたとする。この場合、図１５下図に示すように、操作パネル２０は、基本設定画面２３１Ａからホーム画面２１１に遷移する。
【００８６】
また、制御部１４は、項目情報３の表示中、予め定められた第２ジェスチャー操作が行われたか否かを判断する。たとえば、制御部１４は、カメラ部１２の撮影エリアで右から左へ仮想的にフリックする操作を第２ジェスチャー操作として検知する。
【００８７】
第２ジェスチャー操作が行われたと判断した場合、制御部１４は、操作パネル２０が現在表示している表示中画面２００を認識し、表示中画面２００の下位階層の画面２００のうち直近に表示されていた画面２００への遷移を操作パネル２０に行わせるための第２命令を含む情報を操作パネル２０に向けて送信する。第２命令を受けた画像形成装置２の操作パネル２０は、表示中画面２００の下位階層の画面２００のうち直近に表示していた画面２００への遷移を行う。
【００８８】
たとえば、操作パネル２０が基本設定画面２３１Ａから基本／応用選択画面２２１Ａに遷移したとする。それ以降、図１６上図に示すように、操作パネル２０が基本／応用選択画面２２１Ａの表示を続行している状態で、第２ジェスチャー操作が行われたとする。この場合、図１６下図に示すように、操作パネル２０は、基本／応用選択画面２２１Ａから基本設定画面２３１Ａに遷移する。
【００８９】
また、制御部１４は、項目情報３の表示中、予め定められた第３ジェスチャー操作が行われたか否かを判断する。たとえば、制御部１４は、カメラ部１２の撮影エリアで上下方向に仮想的にフリックする操作を第３ジェスチャー操作として検知する。
【００９０】
第３ジェスチャー操作が行われたと判断した場合、制御部１４は、操作パネル２０が現在表示している表示中画面２００を認識し、表示中画面２００の１つ上の階層の画面２００への遷移を操作パネル２０に行わせるための第３命令を含む情報を操作パネル２０に向けて送信する。第３命令を受けた画像形成装置２の操作パネル２０は、表示中画面２００の１つ上の階層の画面２００への遷移を行う。たとえば、用紙サイズ画面２４１Ａの表示中に第３ジェスチャー操作を行った場合には、操作パネル２０は用紙サイズ画面２４１Ａから基本設定画面２３１Ａに遷移し、基本設定画面２３１Ａの表示中に第３ジェスチャー操作を行った場合には、操作パネル２０は基本設定画面２３１Ａから基本／応用選択画面２２１Ａに遷移し、基本／応用選択画面２２１Ａの表示中に第３ジェスチャー操作を行った場合には、操作パネル２０は基本／応用選択画面２２１Ａからホーム画面２１１に遷移する。
【００９１】
本実施形態のＨＭＤ１（表示装置）は、上記のように、項目ボタンＩＢを配した画面２００を表示してユーザーから項目ボタンＩＢに対する操作を受け付ける操作パネル２０の撮影を行うカメラ部１２と、操作パネル２０をユーザーに視認させつつ情報の表示を行う表示部１１と、カメラ部１２による操作パネル２０の撮影によって得られた撮影データに基づき、表示部１１の表示エリアにおける操作パネル２０の位置および操作パネル２０が現在表示している画面２００である表示中画面を認識し、表示中画面２００から遷移可能な画面２００に配される項目ボタンＩＢの項目内容を示す項目情報３を操作パネル２０と重ならないように表示部１１に表示させる制御部１４と、を備える。
【００９２】
本実施形態の構成では、ユーザーがＨＭＤ１を用いて操作パネル２０を撮影すると（ユーザーがＨＭＤ１を装着して操作パネル２０を見ると）、操作パネル２０に現在表されている画面２００から遷移可能な画面２００に配される項目ボタンＩＢの項目内容を示す項目情報３が表示される。このため、操作パネル２０に現在表示されている画面２００から遷移可能な画面２００にどのような項目ボタンＩＢが配されているかをユーザーは知ることができる。ここで、項目情報３は操作パネル２０に表示されるのではなくＨＭＤ１に表示される。また、項目情報３は操作パネル２０と重ならないように表示される。したがって、操作パネル２０に現在表示されている画面２００が項目情報３と重なって見え難くなるという不都合は発生しない。すなわち、操作パネル２０に現在表示されている画面２００と項目情報３との重なりを回避するための操作をユーザーが行う必要はない。その結果、ユーザーの利便性が向上する。
【００９３】
また、本実施形態では、上記のように、制御部１４は、操作パネル２０に現在表示されている画面２００の下位階層の画面２００に配される項目ボタンＩＢの項目内容を示す情報を項目情報３として表示部１１に表示させる。これにより、操作パネル２０に現在表示されている画面２００の下位階層の画面２００にどのような項目ボタンＩＢが配されているかを知ることができるので、ユーザーの利便性が向上する。
【００９４】
また、本実施形態では、上記のように、制御部１４は、操作パネル２０に現在表示されている画面２００の上位階層の画面２００に配され、操作パネル２００に現在表示されている画面２００に遷移するときに操作される項目ボタンＩＢの項目内容を示す情報を項目情報３として表示部１１に表示させる。これにより、操作パネル２０に現在表示されている画面２００に遷移するときに操作した項目ボタンＩＢを知ることができるので、ユーザーの利便性が向上する。
【００９５】
また、本実施形態では、上記のように、制御部１４は、表示部１１の表示エリアにおける項目ボタンＩＢの位置を基準位置として認識し、項目情報３と基準位置とを繋ぐ線Ｌを表示部１１に表示させる。これにより、ＨＭＤ１に表示されている項目情報３と項目ボタンＩＢとの対応関係を知ることができるので、ユーザーの利便性が向上する。
【００９６】
また、本実施形態では、上記のように、制御部１４は、表示部１１の表示エリアに表示し切れない項目情報３（非表示項目情報）が存在するとき、報知情報３０を表示部１１に表示させる。これにより、非表示項目情報３が存在する場合、その旨をユーザーに報知することができる。
【００９７】
また、本実施形態では、上記のように、制御部１４は、カメラ部１２による撮影によって得られた撮影データに基づき、項目指定操作として予め定められたジェスチャー操作が行われたと判断した場合、項目指定操作により指定された項目情報３である指定項目情報を認識し、通信部１５を用いて、指定項目情報３に対応する項目ボタンＩＢが操作されたときに表示すべき画面２００への遷移を操作パネル２００に行わせるための情報を操作パネル２０に向けて送信する。これにより、操作パネル２０を直接操作しなくても、操作パネル２０の現在の画面２００をユーザー所望の画面２００に遷移することができるので、ユーザーの利便性が向上する。
【００９８】
また、本実施形態では、上記のように、制御部１４は、第１〜第３ジェスチャー操作のいずれかが行われたことを検知したとき、当該検知した操作に対応付けられた画面遷移処理を行うよう画像形成装置２（操作パネル２０）に命令を与える。これにより、操作パネル２０に現在表示されている画面２００から上位階層の画面２００や下位階層の画面２００に遷移したいときに、操作パネル２０を直接操作しなくてもよくなるので、ユーザーの利便性が向上する。
【００９９】
今回開示された実施形態は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記実施形態の説明ではなく特許請求の範囲によって示され、さらに、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。
【符号の説明】
【０１００】
１  ＨＭＤ（表示装置）
３  項目情報
１１  表示部
１２  カメラ部
１４  制御部
１５  通信部
２０  操作パネル
３０  報知情報
２００  画面
ＩＢ  項目ボタン
Ｌ  線
【図１】
2018181261.tif 000003
【図２】
2018181261.tif 000004
【図３】
2018181261.tif 000005
【図４】
2018181261.tif 000006
【図５】
2018181261.tif 000007
【図６】
2018181261.tif 000008
【図７】
2018181261.tif 000009
【図８】
2018181261.tif 000010
【図９】
2018181261.tif 000011
【図１０】
2018181261.tif 000012
【図１１】
2018181261.tif 000013
【図１２】
2018181261.tif 000014
【図１３】
2018181261.tif 000015
【図１４】
2018181261.tif 000016
【図１５】
2018181261.tif 000017
【図１６】
2018181261.tif 000018