(57)【要約】【課題】装着者の動作状態に適切に対応しながら装着者の意図に沿った電子情報を表示できるようにする。【解決手段】実風景に電子情報を重畳して表示する頭部装着型情報表示装置であって、前記装置の装着者の動きに関する情報を取得し、前記装置の装着者が少なくとも停止中もしくは移動中であるか推定するための状態情報として出力する状態検出手段と、前記装着者の視点に関する情報を取得し、前記装着者から前記装着者が注視している物体までの距離を推定し距離情報として出力する距離検出手段と、前記状態情報と前記距離情報とに基づいて、実風景に重畳する文字や画像に関する電子情報を画像情報として出力する制御手段と、前記画像情報を表示装置に表示する表示手段とを有し、前記制御手段は、前記状態情報と前記距離情報から実風景に重畳する電子情報の表示について透過度を推定し前記画像情報に反映する。【選択図】図１
2015228095.tif 000002
【特許請求の範囲】
【請求項１】
実風景に電子情報を重畳して表示する頭部装着型情報表示装置であって、
前記装置の装着者の動きに関する情報を取得し、前記装置の装着者が少なくとも停止中もしくは移動中であるか推定するための状態情報として出力する状態検出手段と、
前記装着者の視点に関する情報を取得し、前記装着者から前記装着者が注視している物体までの距離を推定し距離情報として出力する距離検出手段と、
前記状態情報と前記距離情報とに基づいて、実風景に重畳する文字や画像に関する電子情報を画像情報として出力する制御手段と、
前記画像情報を表示装置に表示する表示手段とを有し、
前記制御手段は、
前記状態情報と前記距離情報から実風景に重畳する電子情報の表示について透過度を推定し前記画像情報に反映することを特徴とする頭部装着型情報表示装置。
【請求項２】
前記制御手段は、
前記状態情報が移動中であり、前記距離情報が第１の所定の距離以上であった場合に前記電子情報を第１の透過度によって透過させて表示し、第１の所定の距離未満であった場合は前記電子情報を非透過もしくは第１の透過よりも透過度が低い第２の透過度により表示することを特徴とする請求項１に記載の頭部装着型情報表示装置。
【請求項３】
前記装着者の視点に関する情報を取得し前記装着者から前記装着者が注視する物体への視線方向を推定し、視線情報として出力する視点検知手段を有し、
前記制御手段は、
前記視線情報から前記画像情報の表示可能な範囲のうち実風景に重畳する電子情報を透過させる範囲の中心位置を推定し、前記中心位置から所定の大きさの範囲を透過対象範囲として前記画像情報に反映させることを特徴とする請求項１または２に記載の頭部装着型情報表示装置。
【請求項４】
前記制御手段は、
前記画像情報に複数の情報の画像がある場合に、前記複数の情報の画像のうち、どの画像を透過させて表示するか、非透過にして表示するかを前記透過対象範囲から推定して各情報ごとに透過の状態を判断し、判断結果を前記画像情報に反映させることを特徴とする請求項３に記載の頭部装着型情報表示装置。
【請求項５】
前記制御手段は、
前記透過対象範囲と重なる情報を透過させ、前記透過対象範囲と重ならない情報を透過させないと判断することを特徴とする請求項４に記載の頭部装着型情報表示装置。
【請求項６】
前記制御手段は、
前記透過対象範囲の大きさを前記距離情報に応じて決定することを特徴とする請求項３〜５の何れか１項に記載の頭部装着型情報表示装置。
【請求項７】
前記制御手段は、
前記距離情報の示す距離が第２の所定の距離以上の場合には第１の大きさを選択し、前記距離情報の示す距離が第２の所定の距離未満の場合には第２の大きさを選択し、前記選択された大きさを前記透過対象範囲の大きさに設定することを特徴とする請求項６に記載の頭部装着型情報表示装置。
【請求項８】
前記第１の大きさが前記第２の大きさより大きいことを特徴とする請求項７に記載の頭部装着型情報表示装置。
【請求項９】
実風景に電子情報を重畳して表示する頭部装着型情報表示装置の制御方法であって、
前記装置の装着者の動きに関する情報を取得し、前記装置の装着者が少なくとも停止中もしくは移動中であるか推定するための状態情報として出力する状態検出工程と、
前記装着者の視点に関する情報を取得し、前記装着者から前記装着者が注視している物体までの距離を推定し距離情報として出力する距離検出工程と、
前記状態情報と前記距離情報とに基づいて、実風景に重畳する文字や画像に関する電子情報を画像情報として出力する制御工程と、
前記画像情報を表示装置に表示する表示工程とを有し、
前記制御工程は、
前記状態情報と前記距離情報から実風景に重畳する電子情報の表示について透過度を推定し前記画像情報に反映することを特徴とする頭部装着型情報表示装置の制御方法。
【請求項１０】
実風景に電子情報を重畳して表示する頭部装着型情報表示装置の制御方法をコンピュータに実行させるプログラムであって、
前記装置の装着者の動きに関する情報を取得し、前記装置の装着者が少なくとも停止中もしくは移動中であるか推定するための状態情報として出力する状態検出工程と、
前記装着者の視点に関する情報を取得し、前記装着者から前記装着者が注視している物体までの距離を推定し距離情報として出力する距離検出工程と、
前記状態情報と前記距離情報とに基づいて、実風景に重畳する文字や画像に関する電子情報を画像情報として出力する制御工程と、
前記画像情報を表示装置に表示する表示工程とをコンピュータに実行させ、
前記制御工程は、
前記状態情報と前記距離情報から実風景に重畳する電子情報の表示について透過度を推定し前記画像情報に反映するようコンピュータを制御することを特徴とするプログラム。
【請求項１１】
請求項１０に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は頭部装着型情報表示装置及び頭部装着型情報表示装置の制御方法に関し、特に、装着者の意図に沿った電子情報を実風景に重畳する画像の表示に用いて好適な技術に関するものである。
【背景技術】
【０００２】
実風景に電子情報を付加して表示する透過型ヘッドマウントディスプレイが実用化されている。使用者は、透過型ヘッドマウントディスプレイを装着すると眼前にディスプレイが配置される状態になるので意識的に視線や顔を向けなくても電子情報を視認可能である。
【０００３】
さらに、ディスプレイが透過型のため、ディスプレイ越しに実風景を視認できる。従って、使用者にとっては実風景に電子情報を付加する拡張現実技術として視認が可能なので、透過型ヘッドマウントディスプレイを装着しながら移動も可能である。しかし、移動中においては電子情報が常にディスプレイに表示されると実風景を視認しづらいという課題がある。
【０００４】
この課題を解決するため、透過型ヘッドマウントディスプレイにおいて、装着者の動作状態に応じて実風景に重畳させる画像の表示を制御する技術が提案されていた。
例えば、特許文献１では加速度センサや接触センサを用いて装着者が静止、歩行、走行など身体の活動状態を計測して、静止状態の際に実風景に重畳させる画像が表示される装着型情報呈示装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１０９９９５号公報
【非特許文献】
【０００６】
【非特許文献１】Inside-out カメラにおける眼球の輻輳量からの注視点距離推定、情報処理学会研究報告. CVIM, [コンピュータビジョンとイメージメディア]、2011-CVIM-177(15)
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、前述の特許文献１に開示された従来の技術では、装着者の動作状態に応じて画一的に重畳させる画像表示のＯＮ／ＯＦＦが決定されてしまうため、特に、移動中において装着者が意図していない表示動作になってしまう状況も発生してしまう。
【０００８】
例えば、特許文献１に記載の技術をナビゲーションシステムや通話の可能な通信機能が搭載されたヘッドマウントディスプレイに適用した場合、移動中でも確認できることが好ましい機能の情報の画像表示がＯＦＦとなってしまう。
【０００９】
移動中でも確認できることが好ましい機能の情報とは、例えば、ナビゲーションシステムにおける実風景に対して付加する補助情報や、通話機能における通話着信または電子メールの受信の通知情報等である。
本発明は前述の問題点に鑑み、装着者の動作状態に適切に対応しながら装着者の意図に沿った画像を表示できるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明の頭部装着型情報表示装置は、実風景に電子情報を重畳して表示する頭部装着型情報表示装置であって、前記装置の装着者の動きに関する情報を取得し、前記装置の装着者が少なくとも停止中もしくは移動中であるか推定するための状態情報として出力する状態検出手段と、前記装着者の視点に関する情報を取得し、前記装着者から前記装着者が注視している物体までの距離を推定し距離情報として出力する距離検出手段と、前記状態情報と前記距離情報とに基づいて、実風景に重畳する文字や画像に関する電子情報を画像情報として出力する制御手段と、前記画像情報を表示装置に表示する表示手段とを有し、前記制御手段は、前記状態情報と前記距離情報から実風景に重畳する電子情報の表示について透過度を推定し前記画像情報に反映することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、装着者の動作状態に適切に対応しながら装着者の意図に沿った画像を表示できるようにすることができる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態に係る頭部装着型情報表示装置の構成例を示すブロック図である。
【図２Ａ】第１の実施形態に係る実風景のみの画像のイメージ図である。
【図２Ｂ】第１の実施形態に係る実風景に重畳される画像が非透過で表示されている状態を表す図である。
【図２Ｃ】第１の実施形態に係る実風景に重畳される画像が所定の透過度で表示されていることを表す図である。
【図３】第１の実施形態に係る画像の表示方法において時間に対する表示画像の透過度の推移の一例を表す特性図である。
【図４】第１の実施形態に係る制御部の制御手順を説明するフローチャートである。
【図５】第２の実施形態と第３の実施形態に係る頭部装着型情報表示装置の構成例を示すブロック図である。
【図６Ａ】第２の実施形態に係る視線情報と実風景に重畳する画像のイメージを説明する図であり、透過範囲に含まれる画像が１つの場合の関係を示す図である。
【図６Ｂ】第２の実施形態に係る視線情報と実風景に重畳する画像のイメージを説明する図であり、透過範囲に含まれる画像が２つの場合の関係を示す図である。
【図７】第２の実施形態に係る制御部の制御手順を説明するフローチャートである。
【図８Ａ】第３の実施形態に係る視線情報と実風景に重畳する画像のイメージを説明する図であり、透過範囲に含まれる画像が１つの場合のイメージを説明する図である。
【図８Ｂ】第３の実施形態に係る視線情報と実風景に重畳する画像の関係を示す図であり、透過範囲に含まれる画像が２つの場合の関係を示す図である。
【図９】第３の実施形態に係る制御部の制御手順を説明するフローチャートである。
【発明を実施するための形態】
【００１３】
以下に、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。
［第１の実施形態］
以下、図１乃至図４を参照して、本発明の第1の実施形態による、頭部装着型情報表示装置である透過型ヘッドマウントディスプレイにおける実風景に重畳させる画像の透過方法と表示方法について説明する。
【００１４】
図１は、本実施形態の透過型ヘッドマウントディスプレイの構成例を表すブロック図である。以下、図１を参照して本実施形態に係る構成について説明する。
１００は、マイク部材から音声情報を取得する音声入力部である。
１０１は、タッチパネルやスイッチ部材による装置の入力情報を取得する操作部である。入力情報は装置の操作指示に用いられる。
【００１５】
１０２は、カメラ部材の撮像素子から撮像画像情報を取得する撮像部である。撮像画像は、静止画や動画像としての画像として用いられる。
１０４は、例えば加速度センサやＧＰＳで、本実施形態の透過型ヘッドマウントディスプレイの装着者の動作状態を停止中もしくは移動中か推定するための状態情報を取得する状態検出部である。
【００１６】
１０５は、透過型ヘッドマウントディスプレイの装着者の視線に関する情報を用いて装着者と注視している物体までの距離情報を取得する距離検出部である。距離情報の具体的な取得方法は、例えば、眼球の輻輳量から注視する物体までの距離を推定する技術である、非特許文献１を用いることで距離情報を取得することが可能である。
【００１７】
非特許文献１によれば、装着者の両方の眼球の画像を赤外線カメラで撮影し、撮影画像から瞳孔中心座標、視線ベクトル、瞳孔の輻輳量、瞳孔の長径と短径、瞳孔の長径の回転角を用いて、回帰分析による注視点の距離と方向が推定可能である。
【００１８】
１０７は、スピーカーやヘッドフォンやイヤホン部材に対して音声を出力する音声出力部である。
１０８は、表示装置であるディスプレイ部材に実風景に重畳する画像を表示する表示部である。
【００１９】
１０３は、外部機器との通信におけるデータの送受信を行う通信部である。通信方法は、例えばＵＳＢのような有線による通信、ＮＦＣ（Near field communication）のような近距離無線通信、またはＣＤＭＡ（Code Division Multiple Access）やＬＴＥ（Long Term Evolution）など携帯電話で用いられる遠距離無線通信である。
【００２０】
１０６は、装置全体の制御を行う制御部である。制御部１０６の主な制御内容は、音声入力部１００や操作部１０１からの操作指示内容に従って撮影、録音、静止画や動画像の画像生成と画像表示、音声出力、外部機器との通信制御である。静止画や動画像の画像生成においては、状態検出部１０４と距離検出部１０５から得られる動作情報と距離情報を用いて実風景に重畳する画像の透過度を設定して、設定された透過度に応じて画像を生成する。
ただし、制御内容はこれだけに限らず他にも必要に応じて装置に必要な制御を行うものとする。制御部１０６は、実風景に重畳する電子情報を判断して画像情報として出力する。
【００２１】
図２は、表示部１０８の表示装置であるディスプレイ部材を通して装置の装着者により視認されるイメージ画像を表す図である。視認されるイメージ画像とは、実風景と実風景に重畳される制御部１０６にて生成されてディスプレイ部材に表示された画像の合成結果である。
【００２２】
図２Ａは、実風景のみの状態を表しており、表示部１０８によるディスプレイ部材への表示が無い状態である。すなわち、ユーザは、透過型ヘッドマウントディスプレイを装着していない状態と同じ風景を視認する。
【００２３】
図２Ｂは、表示部１０８のディスプレイ部材に実風景に重畳される画像が非透過の状態で表示されている状態を表す図である。表示部１０８では複数の情報の画像を同時に表示可能であり、図２Ｂでは例として３つの情報が同時に表示されている。
【００２４】
この３つの情報のうち、２０１は、通話中の相手の動画像を表している。
２０２は、時刻情報を表示した時計を表している。
２０３は、文字情報としてスケジュールに関する予定情報の表示を表している。
装置の装着者が停止中の状況において、図２Ｂのように重畳される画像は非透過で表示される。
【００２５】
図２Ｃは、図２Ｂの重畳される画像が所定の透過度で表示されていることを表す図である。
２１１は、動画像２０１が所定の透過度で表示された動画像を表す。
２１２は、時計２０２が所定の透過度で表示された時計を表す。
２１３は、予定情報２０３が所定の透過度で表示された予定情報を表す。
【００２６】
図２Ｃの状態は、状態検出部１０４が出力する動作状態が歩行中で、距離検出部１０５が出力する距離情報が所定の距離以上だった場合に、制御部１０６は画像を透過させると判断する。そして、表示部１０８に画像を透過させて表示し、それ以外の場合（所定の距離未満だった場合）は非透過にして表示する。
この所定の距離とは、装着者が他の物体と衝突しない距離が望ましく、歩行による１歩以内程度の距離が想定される。ただし、個人差があるため、装着者によってこの所定の距離を設定できるようにしてもよい。
図２Ｃの状態にて装置の装着者は、所定の透過度で重畳される画像が表示されることで、重畳される画像に加え実風景が視認できる。
【００２７】
次に、本実施形態に係る透過型ヘッドマウントディスプレイが表示部１０８に表示する画像の透過または非透過の判断と表示画像へ反映させる制御について、図４のフローチャートに沿って具体的に説明する。
【００２８】
Ｓ４００にて、制御部１０６は、装着者によって操作部１０１による起動操作の入力を検出して、本実施形態の装置の起動を行う。この時点で表示部１０８には何も表示されていない。
【００２９】
Ｓ４０１では、制御部１０６は、状態検出部１０４から出力される装着者の動作状態を取得する。装着者の動作状態とは、停止中もしくは移動中である。
Ｓ４０２では、制御部１０６は、Ｓ４０１で取得した動作状態が移動中か否かを判断する。移動中である場合は、表示部１０８に表示する画像を透過させる必要があるため、Ｓ４０３の処理を行う。
【００３０】
移動中ではないと判断した場合、装着者に視認可能な状態で画像の表示が必要なので、制御部１０６は、Ｓ４０４に進んで表示部１０８に非透過で動画像２０１、時計２０２、予定情報２０３を表示させる。Ｓ４０４の処理が終了したら、制御部１０６は、Ｓ４０１に戻って再度処理を実行する。
【００３１】
Ｓ４０３では、制御部１０６は、表示部１０８に所定の透過度に従って動画像２１１、時計２１２、予定情報２１３を表示させる。この所定の透過度は、透過もしくは非透過で画一的に行ってもよいが、切り替えが頻繁であると装着者に煩わしく感じさせてしまうため、一定の時間で目標とする透過度に推移させることが望ましい。
【００３２】
図３を用いて透過度を推移させる方法について説明する。
図３は、透過の推移完了時間Ti302までの時間Tiに対して透過度Trを目標とする透過度Tr312までどのように推移させるかを表した透過度の推移特性の一例を示す図である。
【００３３】
図３において、透過度Tr311は非透過状態を表す。時間Ti301は透過の開始、つまり制御部１０６が非透過による表示から所定の透過度による表示に切り替えると判断し、制御部１０６が非透過による表示からの切り替え後、最初の所定の透過度による表示を表示部１０８へ指示を出した時間である。
【００３４】
透過度Trは、透過の推移完了時間Ti302に対して直線的に透過度Tr312まで透過度を変化させている。ただし、透過度Trの推移はこれに限らず段階的に行ってもよいし、２次曲線的に行ってもよい。
【００３５】
Ｓ４０５では、制御部１０６は、距離検出部１０５から距離情報を取得する。この距離情報は、装着者から装着者の注視している物体までの距離として扱うことができる。
Ｓ４０６では、制御部１０６は、距離情報と所定の距離ｄ１とを比較して注視している物体が表示画像であるかどうかを判断する。
【００３６】
この所定の距離ｄ１は、非透過度による表示であっても装着者が他の物体と衝突しない距離が望ましく、歩行による１歩以内程度の距離が想定される。ただし、個人差があるため、装着者によってこの所定の距離ｄ１を設定できるようにしてもよい。なお、一般に透過型ヘッドマウントディスプレイに表示されるオブジェクトは、透過型ヘッドマウントディスプレイを装着するユーザの目からある程度の距離を置いた位置に焦点があうように表示される。言い換えれば、ユーザからは少し離れた位置にオブジェクトが浮いているように見える。このオブジェクトの表示における、ある程度の距離については、少なくとも所定の距離ｄ１よりも近い距離であることを前提として以降の説明を行う。
距離情報が距離ｄ１以上であった場合、制御部１０６は、表示画像でなく実風景を注視いると判断して、Ｓ４０７に進んで目標とする透過度を透過度TrAと設定する。透過度TrAは図３の透過度Tr312である。これにより、オブジェクトが邪魔で実風景を視認できないことを防ぐことができる。
【００３７】
距離情報が距離ｄ１未満であった場合、制御部１０６は、表示画像に注視していると判断して、Ｓ４０８に進んで目標とする透過度を透過度TrBと設定する。透過度TrBは非透過もしくはTrAよりも透過度が低い所定の透過度である。これにより、オブジェクトの透過によってオブジェクトが視認しづらいとユーザに感じさせてしまう可能性を低減することができる。
【００３８】
Ｓ４０９では、制御部１０６は、操作部１０１の操作制御の状態を確認して本実施形態の装置の動作を終了させる終了指示を受け取っているか否かを判断する。
終了指示を受け取っていると判断した場合は、制御部１０６は、Ｓ４１０にて本実施形態の装置の終了動作を行う。
終了指示を受け取っていないと判断した場合は、制御部１０６は、Ｓ４０１に戻って再度処理を実行する。
以上の方法によって、表示部１０８への画像の表示を、装着者の意図に沿って制御することが可能となる。
【００３９】
［第２の実施形態］
以下、図２と図５乃至図７を参照して、第1の実施形態より装着者の意図に沿った、本発明の第２の実施形態による、透過型ヘッドマウントディスプレイにおける実風景に重畳させる画像の透過方法と表示方法について説明する。
【００４０】
図５は、本実施形態の構成例を表すブロック図である。以下、図５を参照して本実施形態に係る構成について説明する。
制御部１０６を除く、音声入力部１００乃至表示部１０８の各部の構成は、第1の実施形態で説明した図1の同番号と同様である。
【００４１】
５０１は、本実施形態の装置の装着者の視線に関する情報を取得して装着者から注視する物体への視線の方向を推定し視線情報を出力する視点検知部である。視線方向は、距離検出部１０５の距離情報と同様の技術によって推定可能である。
【００４２】
１０６は、装置全体の制御を行う制御部であり、第1の実施形態で説明した制御内容に加え、視点検知部５０１より視線情報を用いて実風景に重畳する画像の透過させる範囲を設定して、設定された透過対象範囲と透過度に応じて画像を生成する制御を行う。
【００４３】
図６は、図２Ｂに対して視点検知部５０１によって得られる視線情報の結果と、表示部１０８のディスプレイ部材を通して装置の装着者が視認できるイメージ画像の関係を表す図である。視認できるイメージ画像とは、実風景と実風景に重畳される制御部１０６にて生成されて表示部１０８のディスプレイ部材に表示された画像の合成結果である。
【００４４】
図６Ａは、図２Ｂの動画像２０１上に視線があり、透過範囲に含まれる画像が１つの場合の関係を示す図である。
図６Ｂは、図２Ｂの動画像２０１と予定情報２０３の間に視線があり、透過範囲に含まれる画像が２つの場合の関係を示す図である。
【００４５】
６１０と６１１は、装着者が注視している物体への視線の方向とそれに伴う表示画像の透過させる範囲を表す透過対象範囲である。
透過対象範囲６１０と透過対象範囲６１１は、視線情報で指示された視線方向を中心とした所定の範囲とする。
透過対象範囲６１０と透過対象範囲６１１は、十字に限らず視線方向を中心とした円であったり、四角であったりしてもよい。透過対象範囲６１０と透過対象範囲６１１は、表示部１０８のディスプレイ部材に表示しないことが望ましい。
【００４６】
２０２は、第1の実施形態の時計２０２と同様である。
２０３は、第1の実施形態の予定情報２０３と同様である。
【００４７】
６０１は、第１の実施形態の動画像２０１が所定の透過度で表示された動画像を表す。
６０５は、第１の実施形態の動画像２０１が所定の透過度で表示された動画像を表す。
６０６は、第1の実施形態の予定情報２０３が所定の透過度で表示された予定情報を表す。
以上のように、本実施形態では画像毎に透過もしくは非透過の表示を行うため、制御部１０６は、同時に表示される画像毎に透過設定を保持する。
【００４８】
次に、本実施形態に係る装置が表示部１０８に表示する画像の透過または非透過の判断と透過させる画像の選択方法と表示画像へ反映させる制御について、図７のフローチャートに沿って具体的に説明する。
【００４９】
Ｓ４００〜Ｓ４０１は、図４の同番号が付されているステップと同様の処理が実行される。
Ｓ４０２は、第1の実施形態で説明した同番号と同様の判断を行い、移動中である場合は、表示部１０８に表示する画像を透過させる必要があるため、制御部１０６はＳ７０１の処理を行う。
【００５０】
Ｓ４０４は、第1の実施形態で説明した同番号と同様である。
Ｓ７０１では、制御部１０６は、表示画像毎に保持された透過設定に従い、表示する画像を生成し、表示部１０８に表示させる。
【００５１】
Ｓ４０５〜Ｓ４０８は、図４の同番号が付されているステップと同様の処理が実行される。
Ｓ７０２にて、制御部１０６は、視点検知部５０１より視線情報を取得する。
【００５２】
Ｓ７０３にて、制御部１０６は、視点を中心に所定の範囲を透過対象範囲として判断して、透過対象範囲に含まれる画像を透過有りとして該当する画像の透過設定に判断結果を反映させる。例えば、図６Ａの場合の透過設定は、透過対象範囲６１０に含まれる画像は動画像６０１のため、動画像６０１は透過であり、時計２０２と予定情報２０３は非透過に設定されている。
【００５３】
また、図６Ｂの場合の透過設定は、透過対象範囲６１０に含まれる画像は動画像６０５と予定情報６０６のため、動画像６０５と予定情報６０６は透過であり、時計２０２は非透過に設定されている。
【００５４】
なお、透過対象範囲は、表示部１０８で画像が表示可能な範囲を所定の数に分割して、視点が含まれる個所を透過対象範囲としてもよい。
Ｓ４０９は〜Ｓ４１０は、図４の同番号が付されているステップと同様の処理が実行される。
【００５５】
以上の方法によって、所定の透過度による表示が必要な画像のみ透過させることで、表示部１０８への画像の表示を、装着者の意図にさらに沿って制御することが可能となる。
【００５６】
［第３の実施形態］
以下、図２と図５と図８と図９を参照して、本発明の第２の実施形態よりも装着者の意図にさらに沿った、本発明の第３の実施形態による、透過型ヘッドマウントディスプレイにおける実風景に重畳させる画像の透過方法と表示方法について説明する。
【００５７】
図５は、本実施形態に係る構成例を示すブロック図であり、本発明の第２の実施形態と同様である。ただし、制御部１０６が判断する透過対象範囲は、視点検知部５０１より取得した視線情報に加え距離検出部１０５より取得した距離情報にて決定される。
【００５８】
図８は、図２Ｂに対して、視点検知部５０１によって得られる視線情報の結果と、表示部１０８を通して装置の装着者が視認できるイメージ画像の関係を表す図である。視認できるイメージ画像とは、実風景と実風景に重畳される制御部１０６にて生成されて表示部１０８に表示された画像の合成結果である。
【００５９】
図８Ａは、図２Ｂの動画像２０１上に視線があり、透過範囲に含まれる画像が１つの場合の関係を示す図である。
図８Ｂは、図２Ｂの動画像２０１と予定情報２０３の間に視線があり、透過範囲に含まれる画像が２つの場合の関係を示す図である。
【００６０】
８１１と８１２は、装着者が注視している物体への視線の方向とそれに伴う表示画像の透過させる範囲を表す透過対象範囲である。実際の視線の方向は、透過対象範囲８１１と透過対象範囲８１２の中心位置とする。
【００６１】
透過対象範囲８１１と透過対象範囲８１２は十字に限らず視線方向を中心とした円であったり、四角であったりしてもよく、範囲は制御部１０６が距離検出部１０５から取得した距離情報に応じて判断する。透過対象範囲８１１と透過対象範囲８１２は表示部１０８のディスプレイ部材に表示しないことが望ましい。
【００６２】
２０２は、第１の実施形態の時計２０２と同様である。
２０３は、第1の実施形態の予定情報２０３と同様である。
【００６３】
８０１は、第1の実施形態の動画像２０１が所定の透過度で表示された動画像を表す。
８０５は、第1の実施形態の動画像２０１が所定の透過度で表示された動画像を表す。
８０６は、第1の実施形態の予定情報２０３が所定の透過度で表示された予定情報を表す。
【００６４】
以上のように、本実施形態では距離情報に応じて透過対象範囲が変化する。さらに変化した透過対象範囲に応じて画像毎に透過もしくは非透過の表示を行う。
【００６５】
次に、本実施形態に係る装置が表示部１０８に表示する画像の透過または非透過の判断と透過させる画像の選択方法と表示画像へ反映させる制御について、図９のフローチャートに沿って具体的に説明する。
【００６６】
Ｓ４００〜Ｓ４０８は、図４の同番号が付されているステップと同様の処理が実行される。
【００６７】
Ｓ９０１にて、制御部１０６は、Ｓ４０５にて取得した距離情報と任意の距離ｄ２を比較する。任意の距離ｄ２は、装着者からある程度離れた物体や風景に注視しているか判断できる距離であることが望ましい。
【００６８】
任意の距離ｄ２以上の場合、Ｓ９０２に進んで、制御部１０６は、透過対象範囲を範囲Ar1に設定する。一方、任意の距離ｄ２未満の場合は、Ｓ９０３に進み、制御部１０６は、透過対象範囲を範囲Ar2と設定する。範囲Ar1は遠方を注視しているので、風景など広い範囲を見たいと考えられるため、範囲Ar2よりも広い範囲であることが望ましい。
【００６９】
Ｓ７０２は、第２の実施形態で説明した同番号と同様である。
Ｓ７０３は、第２の実施形態で説明した同番号と同様である。
例えば、図８Ａの場合の透過設定は、透過対象範囲８１１に含まれる画像は動画像８０１のため、動画像８０１は透過であり、時計２０２と予定情報２０３は非透過に設定されている。
また、図８Ｂの場合の透過設定は、透過対象範囲８１２に含まれる画像は動画像８０５と予定情報８０６のため、動画像８０５と予定情報８０６は透過であり、時計２０２は非透過に設定されている。
【００７０】
Ｓ４０９は、第1の実施形態で説明した同番号と同様である。
Ｓ４１０は、第1の実施形態で説明した同番号と同様である。
Ｓ９０１では、判断基準を１つで説明しているが、複数の閾値を以って各閾値毎に透過対象範囲を変えてもよい。
【００７１】
以上の方法によって、距離情報に応じて透過対象範囲を決定して、表示が必要な画像のみ透過させることで、前述した第２の実施形態より装着者の意図に沿った表示部１０８への画像の表示を制御することが可能となる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００７２】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００７３】
１００  音声入力部
１０１  操作部
１０２  撮像部
１０３  通信部
１０４  状態検出部
１０５  距離検出部
１０６  制御部
１０７  音声出力部
１０８  表示部
【図１】
2015228095.tif 000003
【図２Ａ】
2015228095.tif 000004
【図２Ｂ】
2015228095.tif 000005
【図２Ｃ】
2015228095.tif 000006
【図３】
2015228095.tif 000007
【図４】
2015228095.tif 000008
【図５】
2015228095.tif 000009
【図６Ａ】
2015228095.tif 000010
【図６Ｂ】
2015228095.tif 000011
【図７】
2015228095.tif 000012
【図８Ａ】
2015228095.tif 000013
【図８Ｂ】
2015228095.tif 000014
【図９】
2015228095.tif 000015