(57)【要約】【課題】シースルー型の頭部装着型表示装置において、ユーザが操作キー等の煩雑な操作を不要とした上で、ユーザの意思や状況に応じて的確な機器の動作制御を行なえるようにする。【解決手段】  シースルー型の頭部装着型表示装置であって、投影対象データ（表示データ）を表示するＡＲ表示領域（ＡＲ）に向けて投影する投影部と、前記頭部装着型表示装置を装着したユーザの現実視界画像領域（Ｒ）内にある外部機器（ＭＦＰ、プリンタ、プロジェクタ等）を特定し、前記特定した外部機器との通信接続情報を取得する機器検出部と、前記通信接続情報に基づき前記外部機器と通信を行う通信部と、前記特定した外部機器へ前記表示データを送信する送信部を備える。【選択図】図３
2016170528.tif 000002
【特許請求の範囲】
【請求項１】
ＡＲ表示領域と現実視界画像領域とを備えたシースルー型の頭部装着型表示装置であって、
前記ＡＲ表示領域に対して表示データを投影する投影部と、
前記頭部装着型表示装置を装着したユーザの現実視界画像領域内にある外部機器を特定し、前記特定した外部機器との通信接続情報を取得する機器検出部と、
前記通信接続情報に基づき前記外部機器と通信を行う通信部と、
前記特定した外部機器へ前記表示データを送信する送信部と、
を備えることを特徴とする頭部装着型表示装置。
【請求項２】
請求項１に記載された頭部装着型表示装置において、
前記機器検出部は、前記ＡＲ表示領域中の表示データが前記ユーザの現実視界画像領域内にある外部機器に重畳したことを条件に前記外部機器を特定する頭部装着型表示装置。
【請求項３】
請求項１に記載された頭部装着型表示装置において、
前記機器検出部は、前記頭部装着型表示装置を装着したユーザが注視したことを条件に、当該注視した外部機器を特定する頭部装着型表示装置。
【請求項４】
請求項１ないし３のいずれかに記載された頭部装着型表示装置において、
前記特定した外部機器の機能情報を、ＡＲ表示領域に文字又はアイコンで表示する頭部装着型表示装置。
【請求項５】
請求項１ないし３のいずれかに記載された頭部装着型表示装置であって、
ユーザの行動状態を判定するユーザ状況判定部を備え、
前記ユーザ状況判定部の判定結果に基づいて、前記外部機器の動作を制御する頭部装着型表示装置。
【請求項６】
請求項１ないし３のいずれかに記載された頭部装着型表示装置であって、
前記特定した外部機器の特性に応じて、前記外部機器の動作を制御する頭部装着型表示装置。
【請求項７】
ＡＲ表示領域と現実視界画像領域とを備えたシースルー型の頭部装着型表示装置における外部機器との接続方法であって、
投影部により前記ＡＲ表示領域に対して表示データを投影する工程と、
機器検出部による、前記頭部装着型表示装置を装着したユーザの現実視界画像領域内にある外部機器を特定し、前記特定した外部機器との通信接続情報を取得する工程と、
通信部により前記通信接続情報に基づき前記外部機器と通信を行う工程と
送信部により前記特定した外部機器へ前記表示データを送信する工程を有することを特徴とする頭部装着型表示装置における外部機器との接続方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、頭部装着型表示装置及び頭部装着型表示装置における外部機器との接続方法に関する。
【背景技術】
【０００２】
近年、身体に装着してハンズフリーな状態で使用可能なウェアラブル機器が開発されており、多種多様な製品・サービスが既に知られている。ウェアラブル機器の代表的な製品としては、例えば、頭部に装着して用いられる表示装置であるヘッドマウントディスプレイ（ＨＭＤ）（スマートグラスとも呼ばれる）が挙げられる。ヘッドマウントディスプレイは、表示画像の観察方式によって、表示画像に重ねて現実視界を視認することが可能なシースルー型（透過型）と、現実視界からの入射光を遮断して、表示画像のみを観察することが可能な非シースルー型（密閉型）とに分類される。
【０００３】
一方、従来、オフィスなどでは、プリンタ装置、ＦＡＸ（ファクシミリ）装置、複写機といった単機能の機器や、これらの複数機能を１台の筐体で実現したＭＦＰ（Multi Function Peripheral；画像処理装置）、さらには、プロジェクタ装置、会議システムなど様々な情報機器が用いられている。また、これら様々な情報機器をネットワーク接続して互いに連携させたシステムも既に知られている。
今後、ウェアラブル機器が普及し、オフィスの様々な場面で使用されるようになった場合、ウェアラブル機器においても、複数の情報機器と連携させることでその利便性の向上が図られていくことが想定される。
【０００４】
しかしながら、このようなウェアラブル機器では、例えば情報機器の動作を制御するに当たって、従来のコンピュータのようなキーボードやマウス、又は多数のキーを有する複雑なリモコンなどの入力手段をウェアラブル機器に搭載することは、機器の性質上困難である。
なお、入力手段としては音声によるものも考えられるが、音声による入力の場合は、ユーザの音声をコンピュータプログラムが理解し、それにより必要な制御を実行する必要がある。そのため、制御に要する時間が長くなるとともに、その正確さにおいても現時点では十分とは云えない。
【０００５】
また、ユーザが複雑な入力操作、接続設定をすることなく他機器と連携した動作制御を行なう技術も未だ開発されていない。
ここで従来技術の一例を挙げれば、特許文献１（特開２００３−１７９７９０号公報）には、携帯型の取込画像をレビューする装置が開示されている。この装置は、静止画や動画を取込む画像取込装置と、画像取込装置からの取込画像を、無線通信経路を介して印刷装置等に直接送信する送信機とを備え、ユーザが、印刷装置などを遠隔操作することができるようにしている。
【０００６】
しかし、特許文献１に記載された画像取込装置では、取り込んだ画像を記憶、表示する必要がある場合、ユーザは、視線を遠隔装置に向けてボタンを押す。それに応答して、遠隔装置内の送受信機が画像取込装置内の送受信機にそこからのデータ転送を開始するために信号を送る。また、それに応答して、画像取込装置内の送受信機が、取り込まれた画像を表す画像データのストリームを、遠隔装置による自動表示、記憶のため第２の送受信機に送信するようになっている。
つまり、この画像取込装置では、取り込んだデータの送信にはボタン操作などが必要である。つまり、ユーザが操作キー等の煩雑な操作を不要とした上で、ユーザの意思や状況に応じた的確な機器の動作制御を行なうという問題は解消できていない。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、前記従来の問題に鑑みてなされたものであって、その目的は、シースルー型の頭部装着型表示装置において、ユーザが操作キー等の煩雑な操作を不要とした上で、ユーザの意思や状況に応じて的確な機器の動作制御を行なえるようにすることである。
【課題を解決するための手段】
【０００８】
本発明は、ＡＲ表示領域と現実視界画像領域とを備えたシースルー型の頭部装着型表示装置であって、前記ＡＲ表示領域に対して表示データを投影する投影部と、前記頭部装着型表示装置を装着したユーザの現実視界画像領域内にある外部機器を特定し、前記特定した外部機器との通信接続情報を取得する機器検出部と、前記通信接続情報に基づき前記外部機器と通信を行う通信部と、前記特定した外部機器へ前記表示データを送信する送信部と、を備えることを特徴とする頭部装着型表示装置である。
【発明の効果】
【０００９】
本発明によれば、シースルー型の頭部装着型表示装置において、ユーザが操作キー等の煩雑な操作を不要とした上で、ユーザの意思や状況に応じて的確な機器の動作制御を行なうことができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係るシースルー型の表示装置（頭部装着型表示装置）の構成例を示し、図１Ａはそのハードウェア構成を、また図１Ｂはソフトウェアによる機能ブロック図を示す。
【図２】図１に示す表示装置で操作する外部機器の一例として画像処理装置（ＭＦＰ）の構成例を示す図であり、図２Ａはそのハードウェア構成を、また、図２Ｂはソフトウェア構成を示す。
【図３】ユーザがオフィス空間で表示装置を装着し、現実視界と現実視界内に情報を重ねて表示している様子を示す図である。
【図４】ＡＲ表示領域内の表示データを現実空間の外部機器へ重ね合わせることで表示データを処理する手順を示すフロー図である。
【図５】ＡＲ表示領域内の表示データを現実空間の外部機器へ重ね合わせることで表示データを処理する処理手順を示すフロー図である。
【図６】現実視界内に表示された表示データ領域を、検出した外部機器に重ね合わせる様子を示す図である。
【図７】表示データを現実空間の外部機器へ重ね合わせることで表示データを送信する処理手順を示すフロー図である。
【図８】ユーザが注視している外部機器へ表示データを送信処理する処理手順を示すフロー図である。
【図９】検出した画像処理装置（ＭＦＰ）をユーザが注視している様子を示す図である。
【図１０】外部機器の機能一覧をＡＲ表示し、外部機器の動作制御を処理する場合の処理手順を示すフロー図である。
【図１１】検出した外部機器の機能一覧をＡＲ表示している様子を示す図である。
【図１２】ＡＲ表示されている機能一覧からユーザの視線により機能選択を行う様子を示す図である。
【図１３】ユーザの行動状態により外部機器の動作制御処理を行う場合の処理手順を示すフロー図である。
【図１４】外部機器の特性に適合した動作制御処理を行う場合の処理手順を示すフロー図である。
【発明を実施するための形態】
【００１１】
本発明の実施形態について、以下、図面を参照して説明する。
図１は、本発明の実施形態に係るシースルー型の頭部装着型表示装置（ヘッドマウントディスプレイ；以下、単に「表示装置」という）の構成例を示し、図１Ａはそのハードウェア構成を、また図１Ｂはソフトウェアによる機能ブロック図を示す。
表示装置１は、ハードウェア構成として、制御部であるＣＰＵ１０１と、制御部１０１に、バス１００を介して接続されたＲＯＭ１０２、ＲＡＭ１０３、不揮発性メモリ１０４、方位センサ部１０５、投影部１０６、撮像部１０７、操作部１０８、表示部１０９、通信部１１０、などで構成されている。表示部１０９にはハーフミラー１１１が配置される。
【００１２】
表示装置１は、ソフトウェア構成として、ＣＰＵ１０１がＲＯＭ１０２に格納されているプログラムに基づき実現する機能実現手段である画像処理部１０１Ａ、ユーザ状況判定部１０１Ｂ、機器検出部１０１Ｃを有している。
ＣＰＵ１０１は、ＲＯＭ１０２に格納されているプログラムに従って表示装置１の動作を制御する。
ＲＯＭ１０２にはプログラムや固定データが記憶されている。ＲＡＭ１０３は、ＣＰＵ１０１がプログラムを実行する際に各種のデータを一時的に格納するワークメモリなどとして使用される。不揮発性メモリ１０４には、各種の設定情報が記憶されている。
【００１３】
方位センサ部１０５は、複数の地磁気センサと複数の加速度センサを組み合わせて構成される。方位センサ部１０５は、表示装置１を装着しているユーザの姿勢やユーザが向いている方向や角度を検出する。また、方位センサ部１０５は、表示装置１が傾けられたりした場合の動作の向きや速さを検出し、その検出結果をＣＰＵ１０１へ通知する。
ＣＰＵ１０１は、方位センサ部１０５からの通知に基づいて、表示装置１を装着しているユーザの姿勢、角度、傾けられたりした動作の向きや速さを認識する。
【００１４】
投影部１０６は、投射対象の画像をハーフミラー１１１に向けて投影する。これにより、あたかも目の前に半透明なディスプレイがあるかのような感覚で、実際の視野に重ねて、投影部１０６が投影した画像（表示データ）を見ることができる。
撮像部１０７は、表示装置１のユーザの視界方向の現実空間を撮影する（この場合ユーザが前方を見たときの視野と同じ範囲を撮影する）。
操作部１０８は、表示装置１を操作するために設けられたボタン等であり、投影画像の明るさなどの調整に使用される。
【００１５】
表示部１０９は、表示データを投影する部分であり、上述のようにハーフミラー１１１が配置される。
通信部１１０は、無線ＬＡＮを含むネットワークを通じて、又はネットワークを介さない近距離無線通信により他の外部機器等との間でデータを通信する機能を有する。通信部１１０は、頭部装着型表示装置を装着したユーザの現実視界画像領域内で特定した外部機器へ、ＡＲ表示領域（拡張現実空間）（ＡＲ）に対して投影した表示データを送信する送信部を含む。
画像処理部１０１Ａは、投影部１０６から表示部１０９のハーフミラー１１１に向けて投影する投射対象の表示データに基づく投影画像の拡大・縮小、変形などを行う。
ユーザ状況判定部１０１Ｂは、ユーザの行動状態（ユーザの頭部の姿勢、視線の動き、瞼の開閉状態など）を検出判定し、ＣＰＵ１０１へ通知する。ＣＰＵ１０１は、それに応じて動作プログラムを実行して各部の動作制御を実行する。
【００１６】
ユーザ状況判定部１０１Ｂは、ユーザの行動状態をユーザから取得するために、ＧＰＳセンサ、ジャイロ・センサ、圧力センサ、筋電センサ、眼電センサ、ユーザの顔側に向けられた内部カメラ、ユーザが発した音声を入力するマイクロフォンなどの各種センサを備える。
例えば、ユーザ状況判定部１０１Ｂは、ユーザの視線（眼球の運動）を、筋電センサや眼電センサ、あるいは内部カメラからの出力情報に基づいて取得することができる。
【００１７】
機器検出部１０１Ｃは、撮像部１０７により撮像されたユーザの視野画像を取得し、取得した視野画像を解析して、取得した視野画像内に存在する外部機器を特定し、特定した外部機器の機器情報の取得や撮像画像における外部機器の位置を検出する。なお、機器情報は、少なくとも通信接続情報（ＩＰアドレスやＭＡＣアドレス等）を含む他、機器の製品名、製造番号、機器のシリアル番号、機器の種別情報（複合機、プリンタ等）、機器の有する機能情報（コピー機能、プリント機能、スキャナ機能等の機器に関する情報）を適宜含むことができる。
【００１８】
図２は、図１に示す表示装置１で操作する外部機器の一例として、画像処理装置（ＭＦＰ）２の構成例を示す図であり、図２Ａはそのハードウェア構成を、また、図２Ｂはソフトウェア構成を示す。
＜ハードウェア構成＞
画像処理装置（ＭＦＰ）２は、制御部であるＣＰＵ２０１にバス２００を介してＲＯＭ２０２、ＲＡＭ２０３、不揮発性メモリ２０４、ハードディスク装置２０５、画像読取部２０６、自動原稿搬送部２０７、複数の接続Ｉ／Ｆ（インターフェース）部２０８、操作部２０９、表示部２１０、通信部２１１、プリンタ部２１２、ファクシミリ通信部２１３などが接続されている。
【００１９】
ＣＰＵ２０１はＲＯＭ２０２に格納されているプログラムに従って画像処理装置（ＭＦＰ）２の動作を制御する。ＲＯＭ２０２にはプログラムや固定データが記憶されている。ＲＡＭ２０３はＣＰＵ２０１がプログラムを実行する際に各種のデータを一時的に格納するワークメモリなどとして使用される。不揮発性メモリ２０４には、各種の設定情報が記憶されている。
ハードディスク装置２０５は、大容量不揮発性の記憶装置であり、印刷データ、画像データなどのほか各種のプログラムやデータが記憶されている。
【００２０】
画像読取部２０６は、原稿を光学的に読み取って画像データを取得する機能を有する。画像読取部２０６は、例えば、原稿に光を照射する光源と、その反射光を受けて原稿を幅方向に１ライン分読み取るラインイメージセンサと、ライン単位の読取位置を原稿の長さ方向に順次移動させる移動ユニットと、原稿からの反射光をラインイメージセンサに導いて結像させるレンズやミラーなどからなる光学経路と、ラインイメージセンサが出力するアナログ画像信号をデジタルの画像データに変換する変換部などを備えて構成される。
【００２１】
自動原稿搬送部２０７は、原稿台にセットされた原稿をその最上のものから１枚ずつ順に繰り出して搬送し、画像読取部２０６の読み取り位置を通過させて所定の排紙位置へ排紙する機能を有する。また、原稿の表裏を自動的に反転させる機能を有し、これにより原稿の両面自動読み取りを可能にする。
接続Ｉ／Ｆ部２０８は、外部メモリが着脱可能に接続される接続口であり、複数設けてある。接続される外部メモリの種類には、ＵＳＢメモリやＳＤメモリカードなどがある。
【００２２】
操作部２０９と表示部２１０は、ユーザからジョブ投入などの操作を受ける操作パネルを構成する。表示部２１０は、液晶ディスプレイなどで構成され、各種の操作画面、設定画面などを表示する機能を有する。操作部２０９は、スタートボタンなどの各種操作ボタンと、表示部２１０の物理的画面上に設けられたタッチパネルとを備えている。タッチパネルは、表示部２１０の物理的画面がタッチペンや指などで接触操作された座標位置を検出する。
通信部２１１は、無線ＬＡＮを含むネットワークを通じて、又はネットワークを介さないで近距離無線通信により他の外部機器等との間でデータを通信する機能を有する。
【００２３】
プリンタ部２１２は、画像データに応じた画像を記録紙上に画像形成する機能を有する。プリンタ部２１２は、例えば、記録紙の搬送装置と、感光体ドラムと、帯電装置と、レーザーユニットと、現像装置と、転写分離装置と、クリーニング装置と、定着装置などを備えて構成され、電子写真プロセスによって画像形成を行う。
ファクシミリ通信部２１３は、ファクシミリ機能を備えた外部装置と電話回線を通じて画像データを送受信する機能を有する。
【００２４】
＜ソフトウェアの機能＞
画像処理装置２は、図２Ｂに示すように、ＣＰＵ２０１がＲＯＭ２０２に格納されているプログラムにより実現する機能実現手段として画像処理部２０１Ａ、と認証部２０１Ｂを有している。
画像処理部２０１Ａは、画像の拡大縮小、回転などの処理のほか、印刷データをイメージデータに変換するラスタライズ処理、画像データの圧縮、伸張処理などを行う。
認証部２０１Ｂは、画像処理装置（ＭＦＰ）２を使用するユーザを認証する。認証方法は、パスワード、指紋、静脈、ＩＣカードによる認証など任意でよい。
なお、外部機器はこれに限らず、単機能又は複数機能を備えた他の情報処理装置などであってもよい。
【００２５】
図３は、ユーザがオフィス空間（現実空間）で表示装置１を装着し、現実視界（視界画像領域）と現実視界内に情報（表示データ）を重ねて表示している様子を示す図である。
図中、現実視界画像（ユーザの視野画像）領域（Ｒ）は表示装置１を介してユーザが視認している現実空間の領域である。ＡＲ表示領域は表示装置１により取得された表示データを表示する領域であって、コンピュータに付加された情報が現実視界内に重なって表示されている。
ここで、表示データは、通信部１１０から頭部装着型表示装置に取り込まれたデータ、もしくは頭部装着型表示装置内のハードディスク等の記憶部に予め記憶されているデータ、ＵＳＢメモリやＳＤメモリカード等の着脱可能に接続される外部メモリに記憶されているデータ等である。
【００２６】
なお、ユーザは、表示装置１を介して視認している現実視界画像領域（Ｒ）のうち、ＡＲ表示領域（ＡＲ）と重複する部分についても、ＡＲ表示領域（ＡＲ）の背後に現実空間を視認することができる。
またこの例では、オフィス空間（現実空間）に、各種外部機器（ＭＦＰ、プリンタ、プロジェクタ、ファクシミリ等）がユーザの視野内（ユーザの視野画像領域（Ｒ）内）に存在している。
【００２７】
図４は、ＡＲ表示領域内の表示データを現実空間の外部機器へ重ね合わせることで表示データを処理する手順を示すフロー図である。
図４を参照して、ＡＲ表示領域内の表示データを現実空間の外部機器へ重ね合わせることで表示データを処理する手順を説明する。
まず、表示装置１の撮像部１０７は、ユーザの視線上で表示装置１に表示されている画像と重なる領域を撮像する（Ｓ１０１）。表示装置１は、撮像した画像の中に、機器情報のうちの外部機器と通信するための通信接続情報（例えば、ＩＰアドレスを格納したＱＲコード（登録商標））が存在するか定期的に判定する（Ｓ１０２）。ここで、通信接続情報が存在している場合は（Ｓ１０２、ＹＥＳ）、表示装置１は、その通信接続情報に基づき外部機器と通信して外部機器が実行可能な機能（例えば、印刷、表示、ＦＡＸ送信、保存など）を取得する。
【００２８】
また、取得した機能をユーザが選択可能な機能として表示装置１のＡＲ表示領域（ＡＲ）（選択画面）に表示する（Ｓ１０３）。ここで、外部機器において実行可能な機能が単機能である場合は（Ｓ１０４、ＹＥＳ）、そのまま後述するステップＳ１０９の処理に遷移する。
ステップＳ１０４において、外部機器において実行可能な機能が複数機能（例えば、印刷、表示、ＦＡＸ送信、保存などの機能）である場合は（Ｓ１０４、ＮＯ）、表示装置１は、ユーザの行動状態を検出して、複数機能のうちどの機能を選択したかを確認する（Ｓ１０５）。
【００２９】
なお、ユーザが機能を選択するための手段としては、例えば、表示装置１にＡＲ表示された機能アイコンを注視（視線を重ねる）することによる機能選択、手や足、視線の動き、瞼の開閉状態などによるジェスチャー入力などの、操作キーの操作などの煩雑な操作を不要とする公知の手段を用いることができる。
【００３０】
選択した機能を確認したときは（Ｓ１０５、ＹＥＳ）、表示装置１は、その機能を使用するか否かの確認を行う（Ｓ１０６）。ここでは例えば、「印刷しますか？」の質問を表示する。ユーザが例えば注視することで、使用する「印刷する」を選んだときは（Ｓ１０６、ＹＥＳ）、表示データを外部機器へ送信し、選択した機能を実行させる（Ｓ１０９）。
ステップＳ１０６で、ユーザが使用する（印刷する）を選択しないときは（Ｓ１０６、ＮＯ）、外部機器と通信するための通信接続情報が撮像した画像（撮像範囲）から外れていない限り（Ｓ１０７、ＮＯ）、ステップＳ１０５に戻り、表示装置１は、ユーザが機能を使用することを選択するまで選択画面を表示し続ける。
【００３１】
外部機器と通信するための通信接続情報が撮像した画像（撮像範囲）から外れたときは（Ｓ１０７、ＹＥＳ）、選択画面の表示を中止し（Ｓ１０８）、ステップＳ１０１に戻り、その後の処理をくり返す。
このように、ユーザに対して機能の使用の有無を確認することにより、たまたまユーザの視界に入った外部機器からユーザの意図しない機能（印刷等）の選択がなされた場合でも、外部機器の機能を誤作動させることを防止することができる。
【００３２】
次に、ＡＲ表示領域内の表示データを現実空間の外部機器へ重ね合わせることで表示データを外部機器へ送信する処理手順について具体的に説明する。
図５は、ＡＲ表示領域内の表示データを現実空間の外部機器へ重ね合わせることで表示データを処理する処理手順を示すフロー図である。
表示装置１は、撮像部１０７によって得られた現実視界の撮像画像を取得し（又は読み込み）（Ｓ２０１）、表示装置１に予め記憶された機器識別情報を読み出す（Ｓ２０２）。
なお、機器識別情報は、ここでは、機器の外見上の特徴（大きさ、形状、色や模様等）を記憶した情報、機器の表面に設けられた識別子（バーコード等のパターン）を記憶した情報を意味する。
この機器識別情報と撮影した画像情報（機器の撮影画像）とに基づいて、対象機器が例えば複写機XYZ、プリンタABC等のように特定する。
【００３３】
表示装置１は、現実視界の撮像画像と機器識別情報とに基づいて、例えば画像解析処理してパターン照合による画像認識を行い、ユーザの視野内に存在する外部機器を特定（識別）し（Ｓ２０３）、特定（識別）した外部機器の機器情報（通信接続情報（機器のＩＰアドレスやパスワードなど））を取得する（Ｓ２０４）。また併せて、ユーザの視野画像における外部機器の位置や領域情報を検出する。
視野内の外部機器の特定（識別）、および外部機器の位置や領域情報は、表示装置１の移動に応じて更新処理が行われ、各情報は表示装置１に記憶される。
【００３４】
次に、表示装置１のＡＲ表示領域（ＡＲ）内の表示データ、ここではＡＲ表示領域（ＡＲ）内の所定のポイントが、検出された外部機器の領域に重畳されたかどうかを認識（又は検出）する（Ｓ２０５：図６参照）。例えば、ＡＲ表示されているデータ領域の四隅、又は中央等の所定のポイントが外部機器領域内に掛かったことを検出することで重畳状態を認識する。
表示装置１は、ＡＲ表示領域（ＡＲ）内の表示データが、外部機器の領域に重ね合わされたことを認識すると（Ｓ２０５、ＹＥＳ）、特定（識別）した外部機器の機器情報に基づいて外部機器との通信を確立し、ＡＲ表示領域（ＡＲ）内に表示されている表示データを外部機器へ送信する（Ｓ２０６）。外部機器は、外部機器の特性（又は特質；例えばプロジェクタであれば「表示」、プリンタであれば「印刷」、記憶装置であれば「保存」することを云う。以下同じ）、又はユーザの要求に従い、送信された表示データの印刷、表示、記憶等の処理を実行する。
【００３５】
図６は、現実視界（現実視界画像領域（Ｒ））内に表示された表示データ領域を、検出した外部機器、ここでは画像処理装置（ＭＦＰ）２に重ね合わせる様子を示す図である。
図中、線Ｌ（１）は、表示装置１による現実視界画像領域（Ｒ）の移動軌跡を表している。つまり、現実視界画像は、図中手前側から奥側の点線で区画した画像に移動する。
図中、破線部分は、表示データの一部を撮像している現実空間のＭＦＰ２に重ね合わせている。
【００３６】
図７は、表示データを現実空間（現実視界画像領域（Ｒ））の外部機器へ重ね合わせることで表示データを送信する他の処理手順を示すフロー図である。
先の機器識別情報取得方法では、説明上、撮像画像の画像解析処理（パターン照合による画像認識）により外部機器との通信接続情報を取得している。しかし、外部機器に表示された或いは外部機器の筐体に貼り付けられている識別情報（ＱＲコード（登録商標）など）を撮像することにより、外部機器の通信接続情報を取得する方法を採用しても処理の基本的な構成は変わらない。
【００３７】
即ち、図７の処理手順では、表示装置１の撮像部１０７により、外部機器が有する識別情報（ＱＲコード（登録商標）など）を撮像し（Ｓ３０１）、外部機器の通信接続情報（機器のＩＰアドレスやパスワードなど）を取得して特定する（Ｓ３０２）。
次に、表示装置１のＡＲ表示領域（ＡＲ）内の表示データが、検出された外部機器の領域に重畳されたかどうか検出する（Ｓ３０３）。具体的には、例えば、ＡＲ表示されているデータ領域の四隅、又は中央等の所定のポイントが外部機器の領域内に掛かったことを検出することで、重畳状態を認識する（Ｓ３０４）。
【００３８】
表示装置１は、ＡＲ表示領域（ＡＲ）内の表示データが、外部機器の領域に重ね合わされたことを認識すると（Ｓ３０４、ＹＥＳ）、特定（識別）した外部機器の機器情報に基づいて、外部機器との通信を確立し、ＡＲ表示領域（ＡＲ）内に表示されている表示データを外部機器へ送信する（Ｓ３０５）。送信された表示データは、外部機器の特質、又はユーザの要求に従い、外部機器により印刷、表示、記憶等の処理を実行することができる。これによりこの処理を終了する。
【００３９】
図８は、ユーザが注視している外部機器へ表示データを送信処理するさらに他の処理手順を示すフロー図である。
即ち、表示装置１は、撮像部１０７によって得られた現実視界の撮像画像を読み込み（又は取得し）（Ｓ４０１）、表示装置１に記憶された機器識別情報を読み出す（Ｓ４０２）。
表示装置１は、現実視界の撮像画像と機器識別情報とに基づいて画像解析処理を行い、ユーザの視界の存在する外部機器を画像認識（パターン照合）により（Ｓ４０３）特定（識別）し、特定（識別）した外部機器の機器情報を取得する（Ｓ４０４）。また、併せて、ユーザの視野画像における外部機器の領域情報を検出する。
視野内の外部機器の特定（識別）、および外部機器の位置や領域情報は、表示装置１の移動に応じて更新処理が行われ、各情報は表示装置１に記憶される。
【００４０】
次に、ユーザの状況判定に基づいて、ユーザの視線位置の検出処理を行い（Ｓ４０５）、現実視界画像（ユーザの視野画像）領域（Ｒ）における注目領域を特定する（ユーザの視線と交差する現実視界画像領域を注目領域として特定する）。ユーザの注目領域に所定時間、検出された外部機器が存在するときは、ユーザがその外部機器を注視している状態であると判定する（Ｓ４０６、ＹＥＳ；図９参照）。次に、表示装置１は、特定（識別）した外部機器の機器情報に基づいて外部機器との通信を確立し、表示データを外部機器へ送信する（Ｓ４０７）。送信されたデータは、外部機器の特質、又はユーザの要求に従い、外部機器により印刷、表示、記憶等の処理を実行することができる。
ステップＳ４０６において、ユーザがその外部機器を注視している状態でないと判定すると（Ｓ４０６、ＮＯ）、ステップＳ４０５のユーザの視線検出処理に戻り、処理を繰り返す。
【００４１】
図９は、検出した画像処理装置（ＭＦＰ）をユーザが注視している様子を示す図である。
ユーザの目から引かれた矢印が視線を表し、その視線の先に、ここでは画像処理装置（ＭＦＰ）が写し出されている。
【００４２】
図１０は、外部機器の機能一覧をＡＲ表示し、外部機器の動作制御を処理する場合の処理手順を示すフロー図である。
この処理では、まず、表示装置１が撮像部１０７によって得られた現実視界の撮像画像を読み込む（又は取得する）（Ｓ５０１）。次に、表示装置１に記憶された機器識別情報を読み出す（Ｓ５０２）。
表示装置１は、現実視界の撮像画像とユーザの視界に存在する外部機器の機器識別情報とに基づいて、その外部機器を画像認識（パターン照合による画像認識）により特定（識別）し（Ｓ５０３）、特定した外部機器の機器情報を取得する（Ｓ５０４）。また、併せて、ユーザの視野画像における外部機器の位置や領域を検出する。視野内の外部機器の特定（識別）、および外部機器の位置の領域情報は、表示装置１の移動に応じて更新処理が行われ、各情報は表示装置１に記憶される。
【００４３】
次に、表示装置１は、取得した外部機器の機器情報に基づいて、外部機器に対して実行可能な機能（例えば、プリント、スキャン、保存、ＦＡＸ、プロジェクションなど）を示す機能アイコン（及び／又は文字）を、対象とする外部機器の近辺領域にＡＲ表示する（Ｓ５０５）。図１１は、検出した外部機器の機能一覧をＡＲ表示している様子を示す図である。
【００４４】
次に、ユーザの視線検出処理によりユーザの視線位置を検出し（Ｓ５０６）、ユーザが表示されている所定の機能アイコンを注視しているか否か認識する（Ｓ５０７）。ここで、ユーザが機能アイコンを注視していることを認識したときは（Ｓ５０７、ＹＥＳ）、外部機器に表示データを送信する（Ｓ５０８）。外部機器はその機能アイコンが選択されたものと判断し、選択された機能を実行する（Ｓ５０９；図１２参照）。
ステップＳ５０７において、ユーザが所定の機能アイコンを注視していない（視線により機能選択がなされない）と判定すると（Ｓ５０７、ＮＯ）、ステップＳ５０６のユーザの視線検出処理に戻り、処理を繰り返す。
【００４５】
図１２は、ＡＲ表示されている機能一覧からユーザの視線により機能選択を行う様子を示す図である。なお、ここでは、選択された機能をユーザが直観的に認識できるよう判定表示している。
【００４６】
図１３は、ユーザの行動状態により外部機器の動作制御処理を行う場合の処理手順を示すフロー図である。
即ち、表示装置１は、撮像部１０７によって得られた現実視界の撮像画像を読み込み（又は取得し）（Ｓ６０１）、表示装置１に記憶された機器識別情報を読み出す（Ｓ６０２）。
表示装置１は、現実視界の撮像画像と機器識別情報とに基づいて画像解析処理を行い、ユーザの視野に存在する外部機器を画像認識（パターン照合）により特定（識別）し（Ｓ６０３）、特定（識別）した外部機器の機器情報を取得する（Ｓ６０４）。表示装置１は、併せて、ユーザの視野画像における外部機器の位置や領域情報を検出する。視野内の外部機器の特定（識別）、および外部機器の位置や領域情報は、表示装置１の移動に応じて更新処理が行われ、各情報は表示装置１に記憶される。
【００４７】
次に、表示装置１のＡＲ表示領域（ＡＲ）内の表示データが、検出された外部機器の領域に重畳されたかどうかの検出（重畳検出処理）を行う（Ｓ６０５）。具体的には、例えば、ＡＲ表示されているデータ領域（表示データの表示領域）の四隅、又は中央等の所定のポイントが外部機器領域内にかかったことを検出することで重畳状態を認識する。表示装置１は、ＡＲ表示領域（ＡＲ）内に表示されている情報が、外部機器の領域に重ね合わされたことを認識すると（Ｓ６０６、ＹＥＳ）、特定（識別）した外部機器の機器情報に基づいて外部機器との通信を確立し、表示されている表示データを外部機器へ送信する（Ｓ６０７）。
【００４８】
次に、ユーザの行動状態検出処理を行う（Ｓ６０８）。例えば、ユーザ自身を撮像する撮像部１０７の出力情報から、ユーザの視線の動き（眼球の運動）、瞼の開閉状態などの所定の動作をユーザ動作として検出する。ここでは、ユーザの行動状態として、ユーザの視線の動きとしているが、手や足などのジェスチャー行動をユーザ動作として検出してもよい。又は、音声入力や表示装置１、あるいはリモコン等に配置された物理的な操作ボタンやタッチパネルによる入力情報をユーザの行動状態としてもよい。
ここで、ユーザの行動状態が検出されたときは（Ｓ６０９、ＹＥＳ）、表示装置１は、ユーザ動作に対応する所定の機器動作を実行させる外部機器の動作指令（例えば、ウィンクで印刷実行などのコマンド）を外部機器へ出力（送信）する（Ｓ６１０）。
ステップＳ６０９において、ユーザの行動状態が検出されないと判定すると（Ｓ６０９、ＮＯ）、ステップＳ６０８のユーザの行動状態検出処理に戻り、処理を繰り返す。
【００４９】
図１４は外部機器の特性（「外部機器の機能に応じて、適切な制御が行える」という効果がある（プロジェクタであれば表示、プリンタであれば印刷、記憶装置であれば保存する、など））に適合した動作制御処理を行う場合の処理手順を示すフロー図である。
即ち、表示装置１は、撮像部１０７によって得られた現実視界の撮像画像を読み込み（Ｓ７０１）、表示装置１に記憶された機器識別情報を読み出す（Ｓ７０２）。
表示装置１は、現実視界の撮像画像と機器識別情報とに基づいて画像解析処理を行い、ユーザの視野に存在する外部機器を画像認識（パターン照合）で特定（識別）し（Ｓ７０３）、特定（識別）した外部機器の機器情報を取得する（Ｓ７０４）。また併せて、ユーザの視野画像における外部機器の位置や領域情報を検出する。
視野内の外部機器の特定（識別）、および外部機器の位置や領域情報は、表示装置１の移動に応じて更新処理が行われ、各情報は表示装置１に記憶される。
【００５０】
次に、表示装置１のＡＲ表示領域（ＡＲ）内に表示されている表示データ領域が、検出された外部機器の領域に重畳されたかどうかを検出する処理（重畳検出処理）を行う（Ｓ７０５）。例えば、ＡＲ表示されているデータ領域の四隅、又は中央等の所定のポイントが外部機器領域内に掛かったことを検出することで重畳状態を認識する。表示装置１は、ＡＲ表示領域（ＡＲ）内に表示されている情報が、外部機器の領域に重ね合わされたことを認識すると（Ｓ７０６、ＹＥＳ）、特定（識別）した外部機器の機器情報に基づいて外部機器との通信を確立し、ＡＲ表示領域（ＡＲ）内に表示されている表示データを外部機器へ送信する（Ｓ７０７）。送信されたデータは、外部機器の特質、又はユーザの要求に従い、外部機器により印刷、表示、記憶等の処理を実行することができる。
【００５１】
次に、取得した機器情報に基づいて、外部機器の特質に適合した所定の機器動作を実行させるコマンドを外部機器へ出力する（例えば、操作対象の外部機器がプロジェクタであれば、送信したデータをスクリーンへ投写、ファクシミリであればＦＡＸ送信を、プリンタであればプリントを実行するよう、外部機器へコマンドを出力する）。これにより、機器の特質に適合した機器の動作処理を実行して（Ｓ７０８）、この処理を終了する。
【００５２】
以上説明したように、本実施形態によれば、表示装置において、例えば、表示装置に表示している情報を現実空間の外部機器へ重ね合わせるなどの簡易な操作で外部装置と通信接続し、ユーザの意志や状況に応じてデータの送受信（さらには、表示、印刷、記憶など）を行うことができる。それにより、ユーザが操作キー等の煩雑な操作を行うことなく、ユーザの意思や状況に応じた直観性に優れた的確な機器の動作制御を行うことができる。
【符号の説明】
【００５３】
１・・・表示装置（ヘッドマウントディスプレイ）、１０１・・・ＣＰＵ(制御部)、１０２・・・ＲＯＭ、１０３・・・ＲＡＭ、１０４・・・不揮発性メモリ、１０５・・・方位センサ部、１０６・・・投影部、１０７・・・撮像部、１０８・・・操作部、１０９・・・表示部、１１０・・・通信部、１１１・・・ハーフミラー、１０１Ａ・・・画像処理部、１０１Ｂ・・・ユーザ状況判定部、１０１Ｃ・・・機器検出部、２・・・画像処理装置。
【先行技術文献】
【特許文献】
【００５４】
【特許文献１】特開２００３−１７９７９０号公報
【図１】
2016170528.tif 000003
【図２】
2016170528.tif 000004
【図３】
2016170528.tif 000005
【図４】
2016170528.tif 000006
【図５】
2016170528.tif 000007
【図６】
2016170528.tif 000008
【図７】
2016170528.tif 000009
【図８】
2016170528.tif 000010
【図９】
2016170528.tif 000011
【図１０】
2016170528.tif 000012
【図１１】
2016170528.tif 000013
【図１２】
2016170528.tif 000014
【図１３】
2016170528.tif 000015
【図１４】
2016170528.tif 000016