(57)【要約】【課題】操作子を常に確認することができる表示装置を提供する。【解決手段】表示装置２０は、表示画面４１Ａを有するデータ処理装置４０と通信する。表示装置２０は、受信部２５と、算出部３１と、形成部３３とを備える。受信部２５は、データ処理装置４０から対応付情報を受信する。算出部３１は、表示装置２０に対する表示画面４１Ａの姿勢を示す姿勢情報を算出する。形成部３３は、拡張現実画像ＡＧを形成する。対応付情報は、操作子と、表示画面４１Ａの内の操作子が対応付けられた領域との関係を示す。形成部３３は、対応付情報及び姿勢情報に基づいて、領域上に操作子を示す拡張現実画像ＡＧを形成する。【選択図】図１
2020057190.tif 000002
【特許請求の範囲】
【請求項１】
表示画面を有するデータ処理装置と通信する表示装置であって、
前記データ処理装置から対応付情報を受信する受信部と、
前記表示装置に対する前記表示画面の姿勢を示す姿勢情報を算出する算出部と、
拡張現実画像を形成する形成部と
を備え、
前記対応付情報は、操作子と、前記表示画面の内の前記操作子が対応付けられた領域との関係を示し、
前記形成部は、前記対応付情報及び前記姿勢情報に基づいて、前記領域上に前記操作子を示す前記拡張現実画像を形成する、表示装置。
【請求項２】
前記データ処理装置に取り付けられた少なくとも３個の発光素子を検出する検出部を更に備え、
前記算出部は、前記検出部の検出結果に基づいて、前記姿勢情報を算出する、請求項１に記載の表示装置。
【請求項３】
前記対応付情報は、複数の前記操作子と、前記複数の操作子がそれぞれ対応付けられた互いに異なる複数の前記領域との関係を示す、請求項１又は請求項２に記載の表示装置。
【請求項４】
前記操作子は、前記データ処理装置の機能の選択を受付ける、請求項１から請求項３のいずれか１項に記載の表示装置。
【請求項５】
ユーザーの手を撮像して、撮像画像を出力する撮像部と、
前記撮像画像に基づいて前記手と重なる前記表示画面の領域を決定する決定部と
を更に備え、
前記表示画面の領域に前記操作子を示す操作子画像が表示されており、
前記形成部は、前記手と重なる前記表示画面の領域に表示された前記操作子画像を表す前記拡張現実画像を形成する、請求項１から請求項４のいずれか１項に記載の表示装置。
【請求項６】
前記形成部は、
ユーザーの右眼及び左眼の前方に配置される透明な導光部材と、
前記拡張現実画像を形成するための右眼用画像表示光を前記導光部材に向かって出射する右眼用表示器と、
前記拡張現実画像を形成するための左眼用画像表示光を前記導光部材に向かって出射する左眼用表示器と
を有し、
前記右眼用画像表示光が前記右眼に前記導光部材を介して導かれるとともに、前記左眼用画像表示光が前記左眼に前記導光部材を介して導かれることにより、前記拡張現実画像が形成される、請求項１から請求項５のいずれか１項に記載の表示装置。
【請求項７】
請求項１から請求項６のいずれか１項に記載の表示装置と、
前記データ処理装置と
を含み、
前記データ処理装置は、
前記領域に前記操作子を対応付ける対応付部と、
前記表示装置に前記対応付情報を送信する送信部と
を備える、表示システム。
【請求項８】
表示画面を有するデータ処理装置と通信する表示装置によって実行される表示方法であって、
前記データ処理装置から前記対応付情報を受信する受信工程と、
前記表示装置に対する前記表示画面の姿勢を示す姿勢情報を算出する算出工程と、
拡張現実画像を形成する形成工程と
を含み、
前記対応付情報は、操作子と、前記表示画面の内の前記操作子が対応付けられた領域との関係を示し、
前記形成工程において、前記対応付情報及び前記姿勢情報に基づいて、前記領域上に前記操作子を示す前記拡張現実画像を形成する、表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置、表示システム及び表示方法に関する。
【背景技術】
【０００２】
データ処理装置は、タッチパネルに表示される操作アイコンへの操作を受付けて各種処理を実行する。例えば、操作アイコンが選択されるとデータ処理装置はアプリケーションを起動する。タッチパネルには複数の操作アイコンが表示される。選択中に数個の操作アイコンとユーザーの指とが重複するときがあり、ユーザーにとって数個の操作アイコンが指で見えづらくなることがある。特許文献１に記載の表示制御装置は、プロセッサーとメモリーとを有する。プロセッサーは、タッチパネルを介して指による操作アイコンの選択を受付ける。プロセッサーは、タッチパネルと指との接触に基づいて、指の移動方向を予測する。予測された指の移動方向に基づいて、操作アイコンと指とが重複しないタッチパネルの領域をプロセッサーは特定する。プロセッサーは、特定した領域に操作アイコンに関する代替情報を表示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１７／１５４１１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、タッチパネルの面積は小さい。よって、特許文献１に記載の表示制御装置では、プロセッサーがタッチパネル中で重複しない領域を特定することができないことがあった。タッチパネル中で重複しない領域が存在しないため、プロセッサーはタッチパネルに代替情報を表示することができなかった。その結果、ユーザーは操作中に数個の操作アイコンを確認することができなかった。
【０００５】
本発明は上記課題に鑑みてなされたものであり、操作子を常に確認することができる表示装置、表示システム及び表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る表示装置は、表示画面を有するデータ処理装置と通信する。表示装置は、受信部と、算出部と、形成部とを備える。受信部は、データ処理装置から対応付情報を受信する。算出部は、表示装置に対する表示画面の姿勢を示す姿勢情報を算出する。形成部は、拡張現実画像を形成する。対応付情報は、操作子と、表示画面の内の操作子が対応付けられた領域との関係を示す。形成部は、対応付情報及び姿勢情報に基づいて、領域上に操作子を示す拡張現実画像を形成する。
【０００７】
本発明に係る表示システムは、上記に記載の表示装置と、データ処理装置とを含む。データ処理装置は、対応付部と、送信部とを備える。対応付部は、領域に操作子を対応付ける。送信部は、表示装置に対応付情報を送信する。
【０００８】
本発明に係る表示方法は、表示画面を有するデータ処理装置と通信する表示装置によって実行される。表示方法は、受信工程と、算出工程と、形成工程とを含む。受信工程は、データ処理装置から対応付情報を受信する。算出工程は、表示装置に対する表示画面の姿勢を示す姿勢情報を算出する。形成工程は、拡張現実画像を形成する。対応付情報は、操作子と、表示画面の内の操作子が対応付けられた領域との関係を示す。形成工程において、対応付情報及び姿勢情報に基づいて、領域上に操作子を示す拡張現実画像を形成する。
【発明の効果】
【０００９】
本発明によれば、操作子を常に確認することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態１に係る表示システムを示す図である。
【図２】実施形態１に係る画像形成装置を示す模式断面図である。
【図３】実施形態１に係る画像形成装置を示すブロック図である。
【図４】実施形態１に係るタッチパネルを示す図である。
【図５】実施形態１に係る表示装置を示す構成図である。
【図６】実施形態１に係る表示装置を示す構成図である。
【図７】実施形態１に係る表示装置を示すブロック図である。
【図８】実施形態１に係る撮像画像を示す図である。
【図９】実施形態１に係る外界を示す図である。
【図１０】実施形態１に係る表示装置が実行する、表示処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について、図面を参照しながら説明する。なお、図中、同一又は相当部分については同一の参照符号を付して説明を繰り返さない。
【００１２】
［実施形態１］
図１を参照して、本発明の実施形態１に係る表示システム１０の全体構成を説明する。図１は、表示システム１０を示す図である。図１に示すように、表示システム１０は、表示装置２０と、画像形成装置４０とを備える。表示装置２０は、例えば、光学透過式のヘッドマウントディスプレーである。画像形成装置４０は、データ処理装置の一例である。画像形成装置４０は、例えば、複写機、プリンター又は複合機である。表示装置２０は、表示画面４１Ａを有する画像形成装置４０との間で無線通信する。
【００１３】
図２及び図３を参照して、画像形成装置４０について説明する。図２は、画像形成装置４０を示す模式断面図である。図３は、画像形成装置４０を示すブロック図である。図２及び図３に示すように、画像形成装置４０は、画像形成部４３、タッチパネル４１、装置無線通信インターフェイス（Ｉ／Ｆ）４４、装置制御部４５及び装置記憶部４６を備える。装置無線通信Ｉ／Ｆ４４は、送信部の一例である。
【００１４】
画像形成部４３は、シートに画像を形成する。画像形成部４３は、例えば電子写真方式の画像形成部、又は、インクジェット方式の画像形成部であり得る。
【００１５】
装置記憶部４６は、プログラム、対応付情報及び装置情報を記憶する。装置記憶部４６は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）が備える磁気ディスク、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）である。
【００１６】
装置制御部４５は、対応付部５１を含む。装置制御部４５は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）又はＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）のようなプロセッサーを含み得る。装置制御部４５のプロセッサーは、装置記憶部４６に記憶されたプログラムを実行することで、対応付部５１として機能する。
【００１７】
タッチパネル４１は、表示画面４１Ａと、タッチセンサー４１Ｂと、光学マーカー群４２とを含む。表示画面４１Ａは、複数の操作子画像を表示する。表示画面４１Ａは、表示面を有する。表示画面４１Ａは、例えば、液晶ディスプレーである。なお、表示画面４１Ａは、有機ＥＬディスプレー（Ｏｒｇａｎｉｃ  ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ  ｄｉｓｐｌａｙ）であってもよい。
【００１８】
タッチセンサー４１Ｂは、タッチ面を有する。タッチ面は、表示面上に配置される。タッチセンサー４１Ｂは、タッチ面に対する接触を検出すると、接触された位置を示す接触位置信号を生成する。接触位置信号は、装置制御部４５へ出力される。タッチセンサー４１Ｂは、例えば、抵抗膜方式のタッチセンサーである。なお、タッチセンサー４１Ｂは、静電容量方式であってもよい。
【００１９】
対応付部５１は、操作子を領域に対応付ける。具体的には、対応付部５１は、表示画面４１Ａの内、複数の操作子をそれぞれ互いに異なる複数の領域に対応付ける。複数の操作子は、それぞれ互いに異なる複数の機能の選択を受付ける。従って、画像形成装置４０に複数の機能を実行させることができる。複数の機能は、プリンター機能、複写機能及びファクシミリ機能を含む。対応付部５１は、対応付情報を作成する。対応付情報は、複数の操作子と、表示画面４１Ａの内、複数の操作子がそれぞれ対応付けられた互いに異なる複数の領域との関係を示す。対応付部５１は、対応付情報を作成すると、装置記憶部４６に記憶された対応付情報を更新する。
【００２０】
対応付部５１は、複数の操作子をそれぞれ示す複数の操作子画像を表示画面４１Ａに表示する。操作子画像は、操作子画像が示す操作子が対応付けられた領域に表示される。操作子画像は、例えば、操作アイコンを示す画像である。
【００２１】
図４を参照して、表示画面４１Ａに表示される画像について説明する。図４は、タッチパネル４１を示す図である。図４に示すように、複数の操作子画像は、操作アイコン「１」〜操作アイコン「１６」を含む。操作アイコン「１」〜操作アイコン「１６」は、４行４列で配置されている。
【００２２】
操作アイコン「１」〜操作アイコン「１６」の各々は、ユーザーから機能の選択を受け付ける。ユーザーによって選択された操作アイコンに対応付けられた画像形成部４３の機能を実行するように、装置制御部４５は画像形成部４３を制御する。
【００２３】
光学マーカー群４２は、少なくとも３個の発光素子を含む。発光素子は、例えば、ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）である。詳細には、光学マーカー群４２は、第１ＬＥＤ４２ａと、第２ＬＥＤ４２ｂと、第３ＬＥＤ４２ｃと、第４ＬＥＤ４２ｄとを含む。第１ＬＥＤ４２ａと第２ＬＥＤ４２ｂと第３ＬＥＤ４２ｃと第４ＬＥＤ４２ｄとは、互いに異なる波長の赤外光を発光する。例えば、第１ＬＥＤ４２ａは、波長λａｎｍの赤外光を発光する。第２ＬＥＤ４２ｂは、波長λｂｎｍの赤外光を発光する。第３ＬＥＤ４２ｃは、波長λｃｎｍの赤外光を発光する。第４ＬＥＤ４２ｄは、波長λｄｎｍの赤外光を発光する。なお、第１ＬＥＤ４２ａと第２ＬＥＤ４２ｂと第３ＬＥＤ４２ｃと第４ＬＥＤ４２ｄとは、それぞれ互いに異なる波長の赤外光を発光することにより、識別されるが、それぞれ互いに異なる時間間隔で点滅することにより、識別されてもよい。
【００２４】
第１ＬＥＤ４２ａと第２ＬＥＤ４２ｂと第３ＬＥＤ４２ｃと第４ＬＥＤ４２ｄとは、互いに離隔するようにして、タッチパネル４１の前面の周縁部に取り付けられている。例えば、第１ＬＥＤ４２ａは、タッチパネル４１の前面の左上に配置されている。第２ＬＥＤ４２ｂは、タッチパネル４１の前面の右上に配置されている。第３ＬＥＤ４２ｃは、タッチパネル４１の前面の左下に配置されている。第４ＬＥＤ４２ｄは、タッチパネル４１の前面の右下に配置されている。
【００２５】
図３に示すように、装置無線通信インターフェイス４４は、表示装置２０との間の無線通信に使用される。無線通信方式は特に限定されず、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）のような近距離無線通信方式が採用され得る。
【００２６】
装置無線通信インターフェイス４４は、対応付情報及び装置情報を表示装置２０へ送信する。装置無線通信インターフェイス４４が対応付情報及び装置情報を表示装置２０へ送信するので、表示装置２０は画像形成装置４０の情報を取得することができる。装置情報は、タッチパネル４１中の第１ＬＥＤ４２ａの位置と第２ＬＥＤ４２ｂの位置と第３ＬＥＤ４２ｃの位置と第４ＬＥＤ４２ｄの位置とを示す。
【００２７】
次に、図５〜図７を参照して、表示装置２０について説明する。図５及び図６は、表示装置２０を示す構成図である。図７は、表示装置２０を示すブロック図である。実施形態１において、Ｘ軸、Ｙ軸及びＺ軸は互いに直交し、Ｘ軸及びＹ軸は水平面に平行であり、Ｚ軸は鉛直線に平行である。表示装置２０は、ユーザーが視認できるように拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）で画像を形成する。
【００２８】
図５及び図６に示すように、表示装置２０は双眼型である。具体的には、表示装置２０は、フレーム部２３と、右眼用ライトガイド２１Ｒと、左眼用ライトガイド２１Ｌと、右眼用表示器２２Ｒと、左眼用表示器２２Ｌと、検出部２４と、撮像部２８と、制御装置２６とを備える。右眼用ライトガイド２１Ｒ及び左眼用ライトガイド２１Ｌは、導光部材の一例である。
【００２９】
フレーム部２３は、ユーザーの顔に装着される。右眼用ライトガイド２１Ｒは、例えば、ビームスプリッタ面２１ａを有する透明なガラス基板である。右眼用ライトガイド２１Ｒは、ユーザーの右眼ＥＲの前方に配置される。また、左眼用ライトガイド２１Ｌは、例えば、ビームスプリッタ面２１ｂを有する透明なガラス基板である。左眼用ライトガイド２１Ｌは、ユーザーの左眼ＥＬの前方に配置される。従って、ユーザーは、右眼用ライトガイド２１Ｒ及び左眼用ライトガイド２１Ｌを透過した光により、前方実在物を立体認することができる。
【００３０】
検出部２４は、第１赤外線カメラ２４Ｒと第２赤外線カメラ２４Ｌとを含む。第１赤外線カメラ２４Ｒは、フレーム部２３の右端部に取り付けられている。第１赤外線カメラ２４Ｒで第１赤外光画像が所定時間間隔で作成される。第２赤外線カメラ２４Ｌは、フレーム部２３の左端部に取り付けられている。第１赤外線カメラ２４Ｒと第２赤外線カメラ２４Ｌとの間の距離は、距離ｄである。第２赤外線カメラ２４Ｌで第２赤外光画像が所定時間間隔で作成される。
【００３１】
撮像部２８は、ユーザーの手を撮像して、撮像画像を出力する。撮像部２８は、可視光カメラを含む。可視光カメラは、フレーム部２３の中央部に取り付けられている。可視光カメラで撮像画像が所定時間間隔で出力される。
【００３２】
図６に示すように、右眼用表示器２２Ｒは、制御装置２６からの画像信号に基づいて、拡張現実画像を形成するための右眼用画像表示光を右眼用ライトガイド２１Ｒに向かって出射する。右眼用表示器２２Ｒからの右眼用画像表示光は右眼用ライトガイド２１Ｒの内部で反射されながら、ユーザーの右眼ＥＲに導かれる。また、左眼用表示器２２Ｌは、制御装置２６からの画像信号に基づいて、拡張現実画像を形成するための左眼用画像表示光を左眼用ライトガイド２１Ｌに向かって出射する。左眼用表示器２２Ｌからの左眼用画像表示光は左眼用ライトガイド２１Ｌの内部で反射されながら、ユーザーの左眼ＥＬに導かれる。従って、ユーザーは、拡張現実画像を立体視することができる。
【００３３】
図７に示すように、表示装置２０は、制御装置２６と、無線通信インターフェイス（Ｉ／Ｆ）２５と、記憶部２７とを更に備える。無線通信Ｉ／Ｆ２５は、受信部の一例である。
【００３４】
無線通信インターフェイス２５は、画像形成装置４０との間の無線通信に使用される。無線通信インターフェイス２５は、無線通信で画像形成装置４０と接続されると、画像形成装置４０へ情報要求信号を送信する。情報要求信号は、対応付情報及び装置情報を要求する信号を含む。無線通信インターフェイス２５は、画像形成装置４０から装置情報を受信する。無線通信インターフェイス２５は、画像形成装置４０から対応付情報を所定時間間隔で受信する。
【００３５】
記憶部２７は、プログラム及び各種データを記憶する。記憶部２７は、例えば、ＨＤＤが備える磁気ディスク、ＲＡＭ及びＲＯＭである。
【００３６】
制御装置２６は、算出部３１、決定部３２と、形成部３３とを含む。制御装置２６は、ＣＰＵ又はＭＰＵのようなプロセッサーを含み得る。制御装置２６のプロセッサーは、記憶部２７に記憶されたプログラムを実行することによって、算出部３１と、決定部３２と、形成部３３ととして機能する。
【００３７】
算出部３１は、表示装置２０に対するタッチパネル４１の姿勢を示す姿勢情報を算出する。詳細には、算出部３１は、第１赤外光画像及び第２赤外光画像に基づいて、タッチパネル４１の姿勢を示す姿勢情報を算出する。第１赤外光画像及び第２赤外光画像は、検出結果の一例である。タッチパネル４１の現在の姿勢は、表示装置２０に対するタッチパネル４１の現在位置及び現在角度を示す。タッチパネル４１の現在角度は、ロール角（Ｘ軸に対する回転角度）、ピッチ角（Ｙ軸に対する回転角度）及びヨー角（Ｚ軸に対する回転角度）を含む。第１赤外光画像及び第２赤外光画像の各々は、第１ＬＥＤ画像と、第２ＬＥＤ画像と、第３ＬＥＤ画像とを含む。第１ＬＥＤ画像は、波長λａｎｍを有する光点画像であり、第１ＬＥＤ４２ａを示す画像である。第２ＬＥＤ画像は、波長λｂｎｍを有する光点画像であり、第２ＬＥＤ４２ｂを示す画像である。第３ＬＥＤ画像は、波長λｃｎｍを有する光点画像であり、第３ＬＥＤ４２ｃを示す画像である。
【００３８】
算出部３１は、時間ｔ１の第１赤外光画像中の第１ＬＥＤ画像の位置に基づいて、第１赤外線カメラ２４Ｒに対する第１ＬＥＤ４２ａの方向角度を算出する。また、算出部３１は、時間ｔ１の第２赤外光画像中の第１ＬＥＤ画像の位置に基づいて、第２赤外線カメラ２４Ｌに対する第１ＬＥＤ４２ａの方向角度を算出する。更に、算出部３１は、第１赤外線カメラ２４Ｒと第２赤外線カメラ２４Ｌとの間の距離ｄを用いて、三角測量の手法で、検出部２４に対する第１ＬＥＤ４２ａの時間ｔ１の位置を算出する。同様に、算出部３１は、検出部２４に対する第２ＬＥＤ４２ｂの時間ｔ１の位置と第３ＬＥＤ４２ｃの時間ｔ１の位置とを算出する。算出部３１が、少なくとも３個の発光素子を含む検出結果に基づいて、検出部２４に対するタッチパネル４１の時間ｔ１の位置及び角度を算出するので、表示装置２０は検出部２４に対するタッチパネル４１の時間ｔ１の位置及び角度を正確に算出することができる。
【００３９】
なお、検出部２４に対するタッチパネル４１の時間ｔ１の位置及び角度を算出するためには、第１赤外光画像及び第２赤外光画像中に、第１ＬＥＤ画像と第２ＬＥＤ画像と第３ＬＥＤ画像と第４ＬＥＤ画像との内の少なくとも３個のＬＥＤ画像が存在すればよい。
【００４０】
また、検出部２４が時間ｔ２の第１赤外光画像及び第２赤外光画像を作成したときには、算出部３１は、検出部２４に対するタッチパネル４１の時間ｔ２の位置及び角度を算出する。時間ｔ２は、時間ｔ１から所定時間後の時間である。すなわち、時間が経過していくと、検出部２４は検出部２４に対するタッチパネル４１の新たな位置及び角度を算出していく。
【００４１】
次に、図８を参照して、撮像画像について説明する。図８は、撮像画像を示す図である。図８に示すように、撮像画像は、第１ＬＥＤ画像４２ａ’と、第２ＬＥＤ画像４２ｂ’と、第３ＬＥＤ画像４２ｃ’と、表示画面画像４１Ａ’と、手画像とを含む。表示画面画像４１Ａ’は、表示画面４１Ａを示す画像である。手画像は、ユーザーの手を示す画像である。
【００４２】
決定部３２は、撮像画像に基づいて、ユーザーの手と重なる表示画面４１Ａの領域を決定する。詳細には、決定部３２は、時間ｔ１の撮像画像中に手画像が含まれている場合に、時間ｔ１の撮像画像中の手画像の位置を抽出する。また、決定部３２は、検出部２４に対するタッチパネル４１の時間ｔ１の位置及び角度に基づいて、撮像画像中に含まれるはずの表示画面画像４１Ａ’の位置を算出する。その結果、決定部３２は、含まれるはずの表示画面画像４１Ａ’の位置と、抽出された手画像の位置とに基づいて、ユーザーの手と重なる表示画面４１Ａの領域を決定する。
【００４３】
形成部３３は、対応付情報及び姿勢情報に基づいて、表示画面４１Ａの領域上に操作子を示す拡張現実画像を形成する。詳細には、形成部３３は、対応付情報に基づいて、ユーザーの手と重なる表示画面４１Ａの領域に表示された操作子画像を表す拡張現実画像ＡＧを形成する。例えば、図８に示す撮像画像では、ユーザーの手と重なる表示画面４１Ａの領域に表示された操作子画像は、操作アイコン「７」と操作アイコン「１１」と操作アイコン「１２」と操作アイコン「１６」とであると形成部３３は判定する。形成部３３は、右眼用拡張現実画像を生成して画像信号を右眼用表示器２２Ｒに出力する。右眼用拡張現実画像は、操作アイコン「７」と操作アイコン「１１」と操作アイコン「１２」と操作アイコン「１６」とを表す。また、形成部３３は、左眼用拡張現実画像を生成して画像信号を左眼用表示器２２Ｌに出力する。左眼用拡張現実画像は、操作アイコン「７」と操作アイコン「１１」と操作アイコン「１２」と操作アイコン「１６」とを表す。
【００４４】
形成部３３は、姿勢情報に基づいて、表示画面４１Ａと拡張現実画像とを重畳して表示するように、右眼用表示器２２Ｒ及び左眼用表示器２２Ｌを制御する。例えば、右眼用表示器２２Ｒ及び左眼用表示器２２Ｌの液晶表示器、光源の位置、光源の方向、レンズの種類、レンズの位置及びレンズの方向を制御する。
【００４５】
続けて、図９を参照して、ユーザーが視認する外界について説明する。図９は、外界を示す図である。図９に示すように、外界は、第１ＬＥＤ４２ａと、第２ＬＥＤ４２ｂと、第３ＬＥＤ４２ｃと、表示画面４１Ａと、手と、拡張現実画像ＡＧとを含む。なお、図９に示す状態では、検出部２４に対する表示画面４１Ａの角度は、ロール角０°、ピッチ角０°及びヨー角０°である。すなわち、表示画面４１Ａと表示装置２０とは正対している。
【００４６】
拡張現実画像ＡＧは、操作アイコン「７」７ＡＧと操作アイコン「１１」１１ＡＧと操作アイコン「１２」１２ＡＧと操作アイコン「１６」１６ＡＧとを表す。操作アイコン「７」７ＡＧは、表示画面４１Ａに表示された操作アイコン「７」上に合わせられるように、虚像として形成されている。操作アイコン「１１」１１ＡＧは、表示画面４１Ａに表示された操作アイコン「１１」上に合わせられるように、虚像として形成されている。操作アイコン「１２」１２ＡＧは、表示画面４１Ａに表示された操作アイコン「１２」上に合わせられるように、虚像として形成されている。操作アイコン「１６」１６ＡＧは、表示画面４１Ａに表示された操作アイコン「１６」上に合わせられるように、虚像として形成されている。従って、ユーザーは、ユーザーの手と重なった操作子画像を拡張現実画像ＡＧとして目視することができる。その結果、ユーザーは、操作子を常に確認することができる。
【００４７】
以上、図１〜図９を参照して説明したように、本実施形態によれば、ユーザーは、ユーザーの手と重なった操作アイコン「７」７ＡＧ、「１１」１１ＡＧ、「１２」１２ＡＧ、「１６」１６ＡＧを拡張現実画像ＡＧとして目視することができる。更に、形成部３３は、操作アイコン「７」７ＡＧ、「１１」１１ＡＧ、「１２」１２ＡＧ、「１６」１６ＡＧの各々を、表示画面４１Ａの対応する領域上に拡張現実画像ＡＧとして形成する。従って、ユーザーは操作アイコン「７」７ＡＧ、「１１」１１ＡＧ、「１２」１２ＡＧ、「１６」１６ＡＧに指を重ねると、指と操作アイコン「７」、「１１」、「１２」、「１６」とが接触する。その結果、ユーザーは操作アイコン「７」、「１１」、「１２」、「１６」に対応する画像形成部４３の機能を実行することができる。
【００４８】
更に、図６を参照して、ユーザーが視認する外界の別の一例について説明する。図６に示すように、検出部２４に対する表示画面４１Ａの角度は、ロール角０°、ピッチ角０°及びヨー角α°である。すなわち、表示画面４１Ａと表示装置２０とは正対していない。
【００４９】
算出部３１は、第１赤外光画像及び第２赤外光画像に基づいて、タッチパネル４１の現在の姿勢を示す姿勢情報を算出する。つまり、算出部３１は、検出部２４に対する表示画面４１Ａの角度は、ロール角０°、ピッチ角０°及びヨー角α°であると算出する。
【００５０】
形成部３３は、姿勢情報に基づいて、表示画面４１Ａと拡張現実画像ＡＧとを重畳して表示するように、右眼用表示器２２Ｒ及び左眼用表示器２２Ｌを制御する。つまり、検出部２４に対する角度がロール角０°、ピッチ角０°及びヨー角α°である表示画面４１Ａ上に拡張現実画像ＡＧを形成するように、形成部３３は右眼用表示器２２Ｒ及び左眼用表示器２２Ｌを制御する。
【００５１】
例えば、拡張現実画像ＡＧは、操作アイコン「７」７ＡＧと操作アイコン「１１」１１ＡＧと操作アイコン「１２」１２ＡＧと操作アイコン「１６」１６ＡＧとを表す。操作アイコン「７」７ＡＧと操作アイコン「１１」１１ＡＧと操作アイコン「１２」１２ＡＧと操作アイコン「１６」１６ＡＧとの各々は、検出部２４に対してロール角０°、ピッチ角０°及びヨー角α°となる角度を有する。操作アイコン「７」７ＡＧは、検出部２４に対する角度がロール角０°、ピッチ角０°及びヨー角α°である操作アイコン「７」上に合わせられるように、虚像として形成される。操作アイコン「１１」１１ＡＧは、検出部２４に対する角度がロール角０°、ピッチ角０°及びヨー角α°である操作アイコン「１１」上に合わせられるように、虚像として形成される。操作アイコン「１２」１２ＡＧは、検出部２４に対する角度がロール角０°、ピッチ角０°及びヨー角α°である操作アイコン「１２」上に合わせられるように、虚像として形成される。操作アイコン「１６」１６ＡＧは、検出部２４に対する角度がロール角０°、ピッチ角０°及びヨー角α°である操作アイコン「１６」上に合わせられるように、虚像として形成される。
【００５２】
以上、図６を参照して説明したように、本実施形態によれば、表示画面４１Ａと表示装置２０とは正対していなくても、すなわちロール角とピッチ角とヨー角との内の少なくとも１つが傾いていても、形成部３３は、操作アイコン「７」７ＡＧ、「１１」１１ＡＧ、「１２」１２ＡＧ、「１５」１５ＡＧ、「１６」１６ＡＧの各々を、表示画面４１Ａの対応する領域上に拡張現実画像ＡＧとして形成することができる。従って、ユーザーは操作アイコン「７」７ＡＧ、「１１」１１ＡＧ、「１２」１２ＡＧ、「１６」１６ＡＧに指を重ねると、指と操作アイコン「７」、「１１」、「１２」、「１６」とが接触する。その結果、ユーザーは操作アイコン「７」、「１１」、「１２」、「１６」に対応する画像形成部４３の機能を実行することができる。
【００５３】
続いて、図１〜図１０を参照して、表示システム１０の動作（表示方法）を説明する。図１０は、表示装置２０が実行する、表示処理の一例を示すフローチャートである。ステップＳ１０１〜ステップＳ１１０が実行されることによって、表示装置２０は、拡張現実画像ＡＧの表示処理を実行する。具体的には、以下の通りである。
【００５４】
図１０に示すように、ステップＳ１０１において、表示装置２０は、無線通信で画像形成装置４０と接続する。表示装置２０は、画像形成装置４０へ情報要求信号を送信する。処理はステップＳ１０２に進む。
【００５５】
次に、ステップＳ１０２において、表示装置２０は、画像形成装置４０から装置情報を受信する。処理はステップＳ１０３に進む。
【００５６】
次に、ステップＳ１０３において、表示装置２０は、画像形成装置４０から対応付情報を受信する（受信工程）。処理はステップＳ１０４に進む。
【００５７】
次に、ステップＳ１０４において、算出部３１は、第１赤外光画像及び第２赤外光画像を取得する。処理はステップＳ１０５に進む。
【００５８】
次に、ステップＳ１０５において、算出部３１は、第１赤外光画像及び第２赤外光画像に基づいて姿勢情報を算出する（算出工程）。処理はステップＳ１０６に進む。
【００５９】
次に、ステップＳ１０６において、決定部３２は、撮像画像を取得する。処理はステップＳ１０７に進む。
【００６０】
次に、ステップＳ１０７において、決定部３２は、ユーザーの手と重なる表示画面４１Ａの領域が存在するか否かを判定する。ユーザーの手と重なる表示画面４１Ａの領域が存在しない場合（ステップＳ１０７でＮｏ）に、処理はステップＳ１０８に進む。
【００６１】
ステップＳ１０８において、画像形成装置４０と接続することを停止するか否かを判定する。画像形成装置４０と接続することを停止しない場合（ステップＳ１０８でＮｏ）、処理はステップＳ１０３に戻る。
【００６２】
一方、画像形成装置４０と接続することを停止する場合（ステップＳ１０８でＹｅｓ）、処理は終了する。
【００６３】
一方、ユーザーの手と重なる表示画面４１Ａの領域が存在する場合（ステップＳ１０７でＹｅｓ）、処理はステップＳ１０９に進む。
【００６４】
ステップＳ１０９において、形成部３３は、ユーザーの手と重なる表示画面４１Ａの領域に表示された操作子画像を表す拡張現実画像ＡＧを生成する。処理はステップＳ１１０に進む。
【００６５】
次に、ステップＳ１１０において、形成部３３は、拡張現実画像ＡＧを形成する（形成工程）。具体的には、形成部３３は、姿勢情報に基づいて、表示画面４１Ａと拡張現実画像ＡＧとを重畳して表示するように、右眼用表示器２２Ｒ及び左眼用表示器２２Ｌを制御する。
【００６６】
［実施形態２］
次に、本発明の実施形態２に係る画像形成装置４０について説明する。実施形態２では、対応付部５１は、表示画面４１Ａに操作アイコン「１」〜操作アイコン「１６」を表示しない点で、実施形態２は実施形態１と異なる。また、実施形態２では、表示装置２０は、撮像部２８及び決定部３２を備えず、形成部３３は、全ての操作アイコン「１」１ＡＧ〜「１６」１６ＡＧを表す拡張現実画像ＡＧを形成する点で、実施形態２は実施形態１と異なる。以下、実施形態２について、実施形態１と異なる事項について説明し、実施形態１と重複する部分についての説明は割愛する。
【００６７】
対応付部５１は、表示画面４１Ａの内、複数の操作子をそれぞれ互いに異なる複数の領域に対応付ける。複数の操作子は、それぞれ互いに異なる複数の機能の選択を受付ける。対応付部５１は、対応付情報を作成する。対応付情報は、複数の操作子と、表示画面４１Ａの内の複数の操作子がそれぞれ対応付けられた互いに異なる複数の領域との関係を示す。対応付部５１は、対応付情報を作成すると、装置記憶部４６に記憶された対応付情報を更新する。なお、実施形態２では、対応付部５１は、表示画面４１Ａに操作アイコン「１」〜操作アイコン「１６」を表示しない。すなわち、表示画面４１Ａに操作子が対応付けられているが、表示画面４１Ａに操作アイコン「１」〜操作アイコン「１６」が表示されない。
【００６８】
形成部３３は、全ての操作アイコン「１」１ＡＧ〜「１６」１６ＡＧを表す拡張現実画像ＡＧを形成する。形成部３３は、右眼用拡張現実画像を生成する。右眼用拡張現実画像は、全ての操作アイコン「１」１ＡＧ〜「１６」１６ＡＧを表す。また、形成部３３は、左眼用拡張現実画像を生成する。左眼用拡張現実画像は、全ての操作アイコン「１」１ＡＧ〜「１６」１６ＡＧを表す。
【００６９】
形成部３３は、姿勢情報に基づいて、表示画面４１Ａと拡張現実画像ＡＧとを重畳して表示するように、右眼用表示器２２Ｒ及び左眼用表示器２２Ｌを制御する。拡張現実画像ＡＧは、全ての操作アイコン「１」１ＡＧ〜「１６」１６ＡＧを表す。全ての操作アイコン「１」１ＡＧ〜「１６」１６ＡＧは、表示画面４１Ａに表示された操作アイコン「１」〜「１６」上に合わせられるように、拡張現実画像ＡＧとして形成される。
【００７０】
以上、本実施形態によれば、表示装置２０を装着したユーザーは、全ての操作アイコン「１」１ＡＧ〜「１６」１６ＡＧを拡張現実画像ＡＧとして目視する。また、形成部３３は、全ての操作アイコン「１」１ＡＧ〜「１６」１６ＡＧの各々を、表示画面４１Ａの対応する領域上に拡張現実画像ＡＧとして形成する。従って、ユーザーは操作アイコン「１」１ＡＧ〜「１６」１６ＡＧに指を重ねると、指と操作子とが接触する。その結果、ユーザーは操作子に対応する画像形成部４３の機能を実行することができる。更に、表示装置２０を装着していない第三者は操作アイコン「１」１ＡＧ〜「１６」１６ＡＧを視認できないため、ユーザーの操作内容も認識できない。第三者は操作内容を認識できないので、パスワードの漏れ防止のようなセキュリティーに役立つ。
【００７１】
以上、図面を参照しながら本発明の実施形態を説明した。但し、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能である。また、上記の各実施形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明の形成が可能である。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。図面は、理解しやすくするために、それぞれの構成要素を主体に模式的に示しており、図示された各構成要素の厚み、長さ、個数、間隔等は、図面作成の都合上から実際とは異なる。また、上記の実施形態で示す各構成要素の形状、方向等は一例であって、特に限定されるものではなく、本発明の構成から実質的に逸脱しない範囲で種々の変更が可能である。
【００７２】
（１）図５を参照して説明した表示装置２０は、双眼型のヘッドマウントディスプレーであったが、本発明はこれに限られない。表示装置２０は、拡張現実画像ＡＧを形成する拡張現実表示処理を実行可能な携帯端末装置であってもよい。表示装置２０が携帯端末装置である実施形態において、ユーザーは、表示装置２０としての携帯端末装置をグーグルカードボード（登録商標）のような装着補助具を用いて頭部に装着してもよいし、手で直接支持して眼前にかざしてもよい。
【００７３】
（２）図５を参照して説明した表示装置２０の形成部３３は、右眼用ライトガイド２１Ｒと、左眼用ライトガイド２１Ｌと、右眼用表示器２２Ｒと、左眼用表示器２２Ｌとを備えたが、本発明はこれに限られない。形成部３３は、拡張現実で画像を形成することができる公知のものが挙げられ、例えば、液晶ディスプレー又は有機エレクトロルミネッセンス（有機ＥＬ）ディスプレーのような表示素子を備えてもよい。表示領域は、ユーザーの視線方向に基づいて設定されてもよい。
【００７４】
（３）図１〜図１０を参照して説明したデータ処理装置は、画像形成装置４０であったが、本発明はこれに限られない。データ処理装置は、タッチパネルを備える装置であればよい。例えば、データ処理装置が、スマートフォン、タブレット型コンピューター、ＣＤプレイヤー、ＤＶＤプレイヤー、及び、各種家電機器のような装置でもよい。
【００７５】
（４）図１〜図１０を参照して説明した表示装置２０は、算出部３１は、第１赤外光画像及び第２赤外光画像に基づいて、タッチパネル４１の現在の姿勢を示す姿勢情報を算出したが、本発明はこれに限られない。例えば、表示装置２０及び画像形成装置４０の各々は、ＧＰＳ機能を有する位置検出部と、電子コンパスを含む向き検出部とを備えてもよい。
【００７６】
（５）実施形態２を参照して説明した表示装置２０は、撮像部２８及び決定部３２を備えてもよい。決定部３２は、撮像画像中から手画像の位置を抽出する。ユーザーの指が近づいた表示画面４１Ａの領域に表示された画像を表す拡張現実画像ＡＧを、形成部３３は形成してもよい。
【００７７】
（６）図１〜図１０を参照して説明した操作子は、機能（操作アイコン）の選択を受付けたが、本発明はこれに限られない。例えば、操作子は、数字又は文字のような記号を含む情報を受付けてもよい。
【産業上の利用可能性】
【００７８】
本発明は、表示装置の分野に利用可能である。
【符号の説明】
【００７９】
１０      表示システム
２０      表示装置
２４      検出部
２５      無線通信インターフェイス
２６      制御装置
２７      記憶部
２８      撮像部
３１      算出部
３２      決定部
３３      形成部
４０      画像形成装置（データ処理装置）
４１      タッチパネル
４１Ａ    表示画面
４２      光学マーカー群
４３      画像形成部
４４      装置無線通信インターフェイス
４５      装置制御部
４６      装置記憶部
５１      対応付部
ＡＧ      拡張現実画像
【図１】
2020057190.tif 000003
【図２】
2020057190.tif 000004
【図３】
2020057190.tif 000005
【図４】
2020057190.tif 000006
【図５】
2020057190.tif 000007
【図６】
2020057190.tif 000008
【図７】
2020057190.tif 000009
【図８】
2020057190.tif 000010
【図９】
2020057190.tif 000011
【図１０】
2020057190.tif 000012