(57)【要約】  【課題】ＨＭＤを装着した観察者が人と対面した際に、観察者が対話に集中したい場合に、画像光による画像が観察者の対話の邪魔にならないように、撮像部の撮像範囲において観察者により視認される画像光による画像の位置または大きさを制御する。  【解決手段】ＣＣＤ５の撮像範囲Ｓに顔画像Ｆが検出されたか否かが判断される（ＳＡ３）。撮像範囲Ｓに顔画像Ｆが入り、顔画像Ｆが検出されたと判断されると（ＳＡ３：Ｙｅｓ）、顔画像Ｆとコンテンツ画像Ｃとが撮像範囲Ｓ内で少なくとも一部重複しているか否かが判断される（ＳＡ４）。そして、バックアップデータが記憶された（ＳＡ５）後、表示するコンテンツ画像Ｃの位置や大きさなどが制御される（ＳＡ６）。【選択図】図３（ａ）
2010211662.tif 000002
【特許請求の範囲】
【請求項１】
観察者の頭部近傍に装着され、画像情報に基づいた画像光による画像が外光による外景とともに前記観察者により視認されるように構成されたヘッドマウントディスプレイ装置であって、
少なくとも前記画像光による画像が観察者により視認される範囲内において、前記外景の画像を撮像する撮像部と、
前記撮像部により撮像された前記外景の画像から人の顔画像を検出する顔検出部と、
前記顔検出部により前記顔画像が検出された場合に、前記撮像部の撮像範囲内において前記顔画像と前記画像光による画像とが少なくとも一部重複しているか否かを判断する重複判断部と、
前記重複判断部により前記撮像部の撮像範囲内において前記顔画像と前記画像光による画像とが少なくとも一部重複していると判断された場合に、前記画像光による画像が前記顔画像と重複しないように、前記撮像部の撮像範囲内において前記画像光による画像の位置または大きさを制御する制御部と、
を備えたことを特徴とするヘッドマウントディスプレイ装置。
【請求項２】
前記画像情報の重要度を判定する重要度判定部を備え、
前記制御部は、前記重複判断部により前記撮像部の撮像範囲内において前記顔画像と前記画像光による画像とが少なくとも一部重複していると判断された場合に、前記重要度判定部により判定された前記画像情報の重要度に基づいて、前記画像光による画像が前記顔画像と重複しないように、前記撮像部の撮像範囲内において前記観察者により視認される前記画像光による画像の位置または大きさを制御することを特徴とする請求項１に記載のヘッドマウントディスプレイ装置。
【請求項３】
前記重要度判定部は、前記画像情報の内容から、前記観察者が行っている作業内容を判定し、その判定結果に基づいて、前記画像情報の重要度を判定することを特徴とする請求項２に記載のヘッドマウントディスプレイ装置。
【請求項４】
前記画像情報は前記画像情報を識別するための識別子情報を含んでおり、
前記重要度判定部は、前記識別子情報に基づいて、前記画像情報の重要度を判定することを特徴とする請求項２または３に記載のヘッドマウントディスプレイ装置。
【請求項５】
前記画像情報の各々は前記画像情報を識別するための識別子情報を含んでおり、
前記識別子情報の各々に対応するアイコンをあらかじめ記憶しているアイコン記憶部を備え、
前記制御部は、前記重複判断部により前記撮像部の撮像範囲内において前記顔画像と前記画像光による画像とが少なくとも一部重複していると判断された場合に、前記重要度判定部により前記画像情報の重要度が低いと判定されると、前記アイコン記憶部から前記画像情報に含まれる前記識別子情報に対応する前記アイコンを読み出し、読み出した前記アイコンが前記顔画像と重複しない位置または大きさで前記観察者により視認されるように制御することを特徴とする請求項２〜４のいずれかに記載のヘッドマウントディスプレイ装置。
【請求項６】
前記制御部は、前記重複判断部により前記撮像部の撮像範囲内において前記顔画像と前記画像光による画像とが少なくとも一部重複していると判断された場合に、前記重要度判定部により前記画像情報の重要度が高いと判定されると、重複部分における前記画像光による画像の輝度を上げることを特徴とする請求項２〜４のいずれかに記載のヘッドマウントディスプレイ装置。
【請求項７】
前記制御部は、前記重複判断部により前記撮像部の撮像範囲内において前記顔画像と前記画像光による画像とが少なくとも一部重複していると判断された場合に、前記重要度判定部により前記画像情報の重要度が中程度と判定されると、前記画像光による画像と前記顔画像とが重複しないように前記画像光による画像を、大きさを保持した状態で移動させることを特徴とする請求項２〜４のいずれかに記載のヘッドマウントディスプレイ装置。
【請求項８】
前記画像情報と前記観察者により視認される前記画像光による画像の位置または大きさに関する属性情報とを記憶するための情報記憶部を備え、
前記顔検出部は、所定の時間の間隔で前記撮像部により撮像された前記外景から前記顔画像を検出し、
前記制御部は、前記重複判断部により前記撮像部の撮像範囲内において前記顔画像と前記画像光による画像とが少なくとも一部重複していると判断された場合に、前記観察者により現在視認されている前記画像光による画像に関する前記画像情報と前記属性情報とを前記情報記憶部に記憶させ、前記画像光による画像が前記顔画像と重複しないように、前記撮像部の撮像範囲内において前記観察者により視認される前記画像光による画像の位置または大きさを制御し、前記重複判断部により前記撮像部の撮像範囲内において前記顔画像と前記画像光による画像とが少なくとも一部重複していると判断された時点から前記所定の時間が経過した後、前記顔検出部により前記顔画像が検出されなかった場合に、前記情報記憶部に記憶された前記画像情報と前記属性情報とを読み出し、読み出した前記画像情報に基づいた前記画像光による画像が、読み出した前記属性情報に基づいた位置または大きさで、前記観察者により視認されるように制御することを特徴とする請求項１〜７のいずれかに記載のヘッドマウントディスプレイ装置。
【請求項９】
前記重要度判定部により判定された前記画像情報の重要度を前記観察者以外の他者に通知する通知部を備える請求項２〜８のいずれかに記載のヘッドマウントディスプレイ装置。
【請求項１０】
観察者の頭部近傍に装着され、画像情報に基づいた画像光による画像が外光による外景とともに前記観察者により視認されるように構成されたヘッドマウントディスプレイ装置に使用される画像制御方法であって、
少なくとも前記画像光による画像が観察者により視認される範囲を含む範囲内において、前記外景の画像を撮像する撮像ステップと、
前記撮像ステップにより撮像された前記外景の画像から人の顔画像を検出する顔検出ステップと、
前記顔検出ステップにより前記顔画像が検出された場合に、前記所定の撮像範囲内において前記顔画像と前記画像光による画像とが少なくとも一部重複しているか否かを判断する重複判断ステップと、
前記重複判断ステップにより前記所定の撮像範囲内において前記顔画像と前記画像光による画像とが少なくとも一部重複していると判断された場合に、前記画像光による画像が前記顔画像と重複しないように、前記所定の撮像範囲内において前記観察者により視認される前記画像光による画像の位置または大きさを制御する制御ステップと、
を備えたことを特徴とする画像制御方法。
【請求項１１】
観察者の頭部近傍に装着され、画像情報に基づいた画像光による画像が外光による外景とともに前記観察者により視認されるように構成されたヘッドマウントディスプレイ装置に使用される画像制御プログラムであって、
少なくとも前記画像光による画像が観察者により視認される範囲を含む範囲内において、前記外景の画像を撮像する撮像ステップと、
前記撮像ステップにより撮像された前記外景の画像から人の顔画像を検出する顔検出ステップと、
前記顔検出ステップにより前記顔画像が検出された場合に、前記所定の撮像範囲内において前記顔画像と前記画像光による画像とが少なくとも一部重複しているか否かを判断する重複判断ステップと、
前記重複判断ステップにより前記所定の撮像範囲内において前記顔画像と前記画像光による画像とが少なくとも一部重複していると判断された場合に、前記画像光による画像が前記顔画像と重複しないように、前記所定の撮像範囲内において前記観察者により視認される前記画像光による画像の位置または大きさを制御する制御ステップと、
をコンピュータにより実現する画像制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、観察者の頭部近傍に装着され、画像情報に基づいた画像光による画像が外光による外景とともに観察者により視認されるように構成されたヘッドマウントディスプレイ装置（以後、「ＨＭＤ」と記す。）に関する。
【背景技術】
【０００２】
従来より、画像情報に基づいた画像光による画像が外光による外景とともに観察者により視認されるように構成されたＨＭＤが、特許文献１に提案されている。
【０００３】
このようなＨＭＤを頭部近傍に装着すれば、観察者は、例えば、ＨＭＤをモニターの代わりとして用い、パソコン上で通常行うような作業を行いながら、同時に観察者の視線方向にいる他者と対話することが可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平５−３０３０５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、観察者がＨＭＤを装着しながら作業をしているときに、観察者と人とが対面し、画像光による画像と人の顔の画像とが重なると、観察者が対話に集中したい場合に画像光による画像が邪魔になり、対話に集中することができない。この場合、観察者が手動にてＨＭＤの電源をＯＦＦにする解決法が考えられるが、対話後、動作復帰をさせるまでに時間がかかる等の問題があり、得策でない。
【０００６】
本発明は、上述した問題点を解決するためになされたものであり、ＨＭＤを装着した観察者が人と対面した際に、観察者が対話に集中したい場合に、画像光による画像が観察者の対話の邪魔にならないように、撮像部の撮像範囲において観察者により視認される画像光による画像の位置または大きさを制御することができるＨＭＤを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１記載の本発明は、観察者の頭部近傍に装着され、画像情報に基づいた画像光による画像が外光による外景とともに前記観察者により視認されるように構成されたヘッドマウントディスプレイ装置であって、少なくとも前記画像光による画像が観察者により視認される範囲内において、前記外景の画像を撮像する撮像部と、前記撮像部により撮像された前記外景の画像から人の顔画像を検出する顔検出部と、前記顔検出部により前記顔画像が検出された場合に、前記撮像部の撮像範囲内において前記顔画像と前記画像光による画像とが少なくとも一部重複しているか否かを判断する重複判断部と、前記重複判断部により前記撮像部の撮像範囲内において前記顔画像と前記画像光による画像とが少なくとも一部重複していると判断された場合に、前記画像光による画像が前記顔画像と重複しないように、前記撮像部の撮像範囲内において前記画像光による画像の位置または大きさを制御する制御部と、を備えたことを特徴とするものである。
【０００８】
請求項２記載の本発明は、請求項１に記載の発明において、前記画像情報の重要度を判定する重要度判定部を備え、前記制御部は、前記重複判断部により前記撮像部の撮像範囲内において前記顔画像と前記画像光による画像とが少なくとも一部重複していると判断された場合に、前記重要度判定部により判定された前記画像情報の重要度に基づいて、前記画像光による画像が前記顔画像と重複しないように、前記撮像部の撮像範囲内において前記観察者により視認される前記画像光による画像の位置または大きさを制御することを特徴とするものである。
【０００９】
請求項３記載の本発明は、請求項２に記載の発明において、前記重要度判定部は、前記画像情報の内容から、前記観察者が行っている作業内容を判定し、その判定結果に基づいて、前記画像情報の重要度を判定することを特徴とするものである。
【００１０】
請求項４記載の本発明は、請求項２または３に記載の発明において、前記画像情報は前記画像情報を識別するための識別子情報を含んでおり、前記重要度判定部は、前記識別子情報に基づいて、前記画像情報の重要度を判定することを特徴とするものである。
【００１１】
請求項５記載の本発明は、請求項２〜４のいずれかに記載の発明において、前記画像情報の各々は前記画像情報を識別するための識別子情報を含んでおり、前記識別子情報の各々に対応するアイコンをあらかじめ記憶しているアイコン記憶部を備え、前記制御部は、前記重複判断部により前記撮像部の撮像範囲内において前記顔画像と前記画像光による画像とが少なくとも一部重複していると判断された場合に、前記重要度判定部により前記画像情報の重要度が低いと判定されると、前記アイコン記憶部から前記画像情報に含まれる前記識別子情報に対応する前記アイコンを読み出し、読み出した前記アイコンが前記顔画像と重複しない位置または大きさで前記観察者により視認されるように制御することを特徴とするものである。
【００１２】
請求項６記載の本発明は、請求項２〜４のいずれかに記載の発明において、前記制御部は、前記重複判断部により前記撮像部の撮像範囲内において前記顔画像と前記画像光による画像とが少なくとも一部重複していると判断された場合に、前記重要度判定部により前記画像情報の重要度が高いと判定されると、重複部分における前記画像光による画像の輝度を上げることを特徴とするものである。
【００１３】
請求項７記載の本発明は、請求項２〜４のいずれかに記載の発明において、前記制御部は、前記重複判断部により前記撮像部の撮像範囲内において前記顔画像と前記画像光による画像とが少なくとも一部重複していると判断された場合に、前記重要度判定部により前記画像情報の重要度が中程度と判定されると、前記画像光による画像と前記顔画像とが重複しないように前記画像光による画像を、大きさを保持した状態で移動させることを特徴とするものである。
【００１４】
請求項８記載の本発明は、請求項１〜７のいずれかに記載の発明において、前記画像情報と前記観察者により視認される前記画像光による画像の位置または大きさに関する属性情報とを記憶するための情報記憶部を備え、前記顔検出部は、所定の時間の間隔で前記撮像部により撮像された前記外景から前記顔画像を検出し、前記制御部は、前記重複判断部により前記撮像部の撮像範囲内において前記顔画像と前記画像光による画像とが少なくとも一部重複していると判断された場合に、前記観察者により現在視認されている前記画像光による画像に関する前記画像情報と前記属性情報とを前記情報記憶部に記憶させ、前記画像光による画像が前記顔画像と重複しないように、前記撮像部の撮像範囲内において前記観察者により視認される前記画像光による画像の位置または大きさを制御し、前記重複判断部により前記撮像部の撮像範囲内において前記顔画像と前記画像光による画像とが少なくとも一部重複していると判断された時点から前記所定の時間が経過した後、前記顔検出部により前記顔画像が検出されなかった場合に、前記情報記憶部に記憶された前記画像情報と前記属性情報とを読み出し、読み出した前記画像情報に基づいた前記画像光による画像が、読み出した前記属性情報に基づいた位置または大きさで、前記観察者により視認されるように制御することを特徴とするものである。
【００１５】
請求項９記載の本発明は、請求項２〜８のいずれかに記載の発明において、前記重要度判定部により判定された前記画像情報の重要度を前記観察者以外の他者に通知する通知部を備えることを特徴とするものである。
【００１６】
上記目的を達成するために、請求項１０記載の本発明は、観察者の頭部近傍に装着され、画像情報に基づいた画像光による画像が外光による外景とともに前記観察者により視認されるように構成されたヘッドマウントディスプレイ装置に使用される画像制御方法であって、少なくとも前記画像光による画像が観察者により視認される範囲を含む範囲内において、前記外景の画像を撮像する撮像ステップと、前記撮像ステップにより撮像された前記外景の画像から人の顔画像を検出する顔検出ステップと、前記顔検出ステップにより前記顔画像が検出された場合に、前記所定の撮像範囲内において前記顔画像と前記画像光による画像とが少なくとも一部重複しているか否かを判断する重複判断ステップと、前記重複判断ステップにより前記所定の撮像範囲内において前記顔画像と前記画像光による画像とが少なくとも一部重複していると判断された場合に、前記画像光による画像が前記顔画像と重複しないように、前記所定の撮像範囲内において前記観察者により視認される前記画像光による画像の位置または大きさを制御する制御ステップと、を備えたことを特徴とするものである。
【００１７】
上記目的を達成するために、請求項１１記載の本発明は、観察者の頭部近傍に装着され、画像情報に基づいた画像光による画像が外光による外景とともに前記観察者により視認されるように構成されたヘッドマウントディスプレイ装置に使用される画像制御プログラムであって、少なくとも前記画像光による画像が観察者により視認される範囲を含む範囲内において、前記外景の画像を撮像する撮像ステップと、前記撮像ステップにより撮像された前記外景の画像から人の顔画像を検出する顔検出ステップと、前記顔検出ステップにより前記顔画像が検出された場合に、前記所定の撮像範囲内において前記顔画像と前記画像光による画像とが少なくとも一部重複しているか否かを判断する重複判断ステップと、前記重複判断ステップにより前記所定の撮像範囲内において前記顔画像と前記画像光による画像とが少なくとも一部重複していると判断された場合に、前記画像光による画像が前記顔画像と重複しないように、前記所定の撮像範囲内において前記観察者により視認される前記画像光による画像の位置または大きさを制御する制御ステップと、をコンピュータにより実現することを特徴とするものである。
【発明の効果】
【００１８】
請求項１記載のヘッドマウントディスプレイ装置によれば、ＨＭＤを装着した観察者が人と対面した際に、観察者が対話に集中したい場合には、画像光による画像が人の顔の画像と重複しないように、撮像部の撮像範囲において観察者により視認される画像光による画像の位置または大きさが制御される。これにより、画像光による画像が観察者の対話の邪魔にならず、観察者が対話に集中することが可能となる。
【００１９】
ところで、観察者がＨＭＤを装着することにより視認する画像情報には、重要度が存在する。例えば、観察者がＨＭＤに設置された通信手段を用い、他者と電子メールなどを通じて通信を行う際に視認する画像に関する画像情報は、文書作成ソフトや表計算ソフトを用いる場合の画像情報よりも重要度が高い。
【００２０】
請求項２記載のヘッドマウントディスプレイ装置によれば、画像情報の重要度に応じて画像光による画像の位置または大きさが制御される。これにより、画像情報の重要度に応じて、画像光による画像が、観察者がおかれている状況に適した位置または大きさに制御される。この結果、観察者が画像情報の重要度を判定し手動にて画像光による画像の位置または大きさを変更するという手間を省くことができる。
【００２１】
請求項３記載のヘッドマウントディスプレイ装置によれば、画像光による画像に関する画像情報の内容から、観察者が行っている作業内容が判定され、その判定結果に基づいて、画像情報の重要度が判定される。これにより、画像光による画像が、観察者の作業状況に適した位置または大きさに制御される。この結果、観察者が自分の作業状況に応じて手動にて画像光による画像の位置または大きさを変更するという手間を省くことができる。
【００２２】
請求項４記載のヘッドマウントディスプレイ装置によれば、画像情報の重要度の判定が識別子情報に基づいて行われる。これにより、画像情報の重要度の判定を確実に行うことができる。
【００２３】
請求項５記載のヘッドマウントディスプレイ装置によれば、画像光による画像を視認して作業を行うよりも対話を優先して行うべき状況で、観察者は対話に集中することができる。また、観察者が対話後に画像情報に含まれる識別子情報に対応したアイコンを視認することで、対話前に画像光による画像を視認して行っていた作業の状況を思い出すことができる。
【００２４】
請求項６記載のヘッドマウントディスプレイ装置によれば、重複部分における画像光による画像の輝度が上がる。従って、画像光による画像が重複部分において観察者に鮮明に視認されるようになり、対話よりも画像光による画像を視認して作業を行うことを優先すべき状況で、観察者は、対話相手が目前にいる場合にも、画像光による画像を集中して視認することができる。
【００２５】
請求項７記載のヘッドマウントディスプレイ装置によれば、観察者が対話可能な状況で、画像光による画像が大きさを保持した状態で移動されるので、対話に集中したい場合には、対話相手に注目することが可能であり、画像光による画像を集中して視認したい場合には、画像光による画像に注目することができる。即ち、観察者は、人の顔の画像と画像光による画像とのどちらに注目するかの選択を行うことが可能となる。
【００２６】
請求項８記載のヘッドマウントディスプレイ装置によれば、観察者は画像光による画像に対して位置または大きさの制御が行われる直前に視認していた画像光による画像を、対話終了後に、対話前の状態で視認することが可能となる。これにより、観察者が対話に備え、画像光による画像を手動にて消去する場合に比べ、画像光による画像の検索や呼び戻しといった、手動による動作復帰の手間が不要となる。
【００２７】
請求項９記載のヘッドマウントディスプレイ装置によれば、観察者が対話に集中できる状況なのか、または、画像光による画像を集中して視認すべき状況なのかを観察者以外の他者に通知し、理解させることができる。これにより、観察者が対話に集中できる状況のときには円滑に対話に入ることができ、観察者が画像光による画像を集中して視認すべき状況の場合には観察者以外の他者から邪魔を受けることなく集中できる。
【００２８】
請求項１０記載の画像制御方法および請求項１１記載の画像制御プログラムによれば、ＨＭＤを装着した観察者が人と対面した際に、観察者が対話に集中したい場合には、画像光による画像が人の顔の画像と重複しないように、所定の撮像範囲において観察者により視認される画像光による画像の位置または大きさが制御される。これにより、画像光による画像が観察者の対話の邪魔にならず、観察者が対話に集中することが可能となる。
【図面の簡単な説明】
【００２９】
【図１】本発明の一実施形態に係るＨＭＤ１の外観を示す図である。
【図２】上記ＨＭＤ１の電気的及び光学的構成を示す説明図である。
【図３（ａ）】本実施形態に係るメイン処理を示すフローチャートである。
【図３（ｂ）】本実施形態に係るバックアップデータを記憶する処理を示すフローチャートである。
【図３（ｃ）】本実施形態に係る対話表示モードで表示する処理を示すフローチャートである。
【図３（ｄ）】本実施形態に係る対話優先モード時の表示制御を示すフローチャートである。
【図３（ｅ）】本実施形態に係る対話可能モード時の表示制御を示すフローチャートである。
【図３（ｆ）】本実施形態に係る対話不可モード時の表示制御を示すフローチャートである。
【図４】上記ＨＭＤ１を装着した観察者が視認することとなる外景とコンテンツ画像とが重畳した合成画像の一例である。
【図５】上記ＨＭＤ１の撮像範囲に顔画像が入ったことを示す図である。
【図６】本実施形態において複数のアプリケーションが起動している際の、バックアップデータの一例を示す図である。
【図７】本実施形態に係るＲＯＭ１３に記憶されている判断テーブルの一例を示す図である。
【図８】上記対話優先モード時の表示制御の一例を示す図である。
【図９】上記対話優先モード時の表示制御の一例を示す図である。
【図１０】上記対話可能モード時の表示制御の一例を示す図である。
【図１１】上記対話可能モード時の表示制御の一例を示す図である。
【図１２（ａ）】通常のガンマテーブルを示す図である。
【図１２（ｂ）】本実施形態に係る高出力用ガンマテーブルを示す図である。
【図１３】上記対話不可モード時の表示制御の一例を示す図である。
【図１４】図３（ｃ）に示した対話表示モードの変形例を示すフローチャートである。
【発明を実施するための形態】
【００３０】
以下、本発明の一実施形態について、図面を参照して具体的に説明する。本実施形態は本発明を網膜走査型ディスプレイに具体化したものである。
【００３１】
網膜走査型ディスプレイとは、観察者の頭部近傍に装着され、画像光を観察者の眼に導き、観察者の網膜上で２次元方向に走査することにより、コンテンツ情報に対応する画像（以後、「コンテンツ画像」と記す。）が観察者により視認されるように構成されたものである。
【００３２】
なお、「視認」とは画像光が観察者の網膜上で２次元方向に走査され、観察者が画像を認識する態様と、画像が表示パネル等に表示され、観察者が表示パネル等に表示された画像から発生する画像光による画像を認識する態様の２つの態様を含む意味である。
【００３３】
以後、「表示」という用語を用いた場合、観察者に対して画像光による画像を認識可能に動作することを意味するものとする。その点で上述のいずれの態様も画像光による画像を表示しているものと言える。
【００３４】
[ＨＭＤ外観]
図１は、本実施形態のヘッドマウントディスプレイ装置の外観を示す図である。図１に示すように、ヘッドマウントディスプレイ装置（以後、「ＨＭＤ」と記す。）１は、フレーム部２と、画像表示部３と、ハーフミラー４と、ＣＣＤ５と、通知部６と、システムボックス７と、伝送ケーブル８とを備えている。
【００３５】
ＨＭＤ１は、観察者Ｐがフレーム部２を頭部に装着した状態で、文書ファイル、画像ファイル、動画ファイル等の各種コンテンツ情報を画像としてその観察者Ｐに視認可能に表示する網膜走査型ディスプレイである。
【００３６】
フレーム部２は、図１に示す通り、眼鏡のフレーム形状をしており、フロント部２ａと、一対のテンプル部２ｂとからなる。
【００３７】
画像表示部３は、図１に示す通り、観察者Ｐから見て左側のテンプル部２ｂに取り付けられている。画像表示部３は、画像光を２次元的に走査することで、コンテンツ画像を表示するための画像光を生成する。
【００３８】
ハーフミラー４は、図１に示す通り、画像表示部３に設けられている。ハーフミラー４は、画像表示部３から発せられた画像光を反射し、観察者Ｐの網膜に導く。また、ハーフミラー４は半透明であり、外光を透過するため、観察者Ｐは、ＨＭＤ１の装着時に、コンテンツ画像と同時に外景を視認できる。
【００３９】
なお、画像表示部３は、後述のＲＯＭに記憶されたデータを基に、あらかじめ設定されたハーフミラー４の所定位置で、画像光を反射し、網膜に導く。ハーフミラー４の反射範囲及び設置位置により、観察者Ｐがコンテンツ画像を視認する範囲と位置と方向とがあらかじめ決定される。
【００４０】
ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅｓ）５は、画像表示部３上に取り付けられている。本実施形態におけるＣＣＤ５は、本発明の撮像部の一例である。
【００４１】
ＣＣＤ５は、観察者Ｐがコンテンツ画像を視認する範囲において、外景画像の中の観察者Ｐの対話相手の顔画像を撮像することが主な目的である。通常、人と人との対話は、約１〜３ｍの間隔で両者が向かい合うことにより行われる。ＣＣＤ５の光軸は、観察者Ｐから見て前方約１〜３ｍの位置で、観察者Ｐがコンテンツ画像を視認する方向と交点を結ぶように設定される。これにより、観察者ＰがＨＭＤ１を装着して他者と対話を行う場合、ＣＣＤ５は、観察者Ｐがコンテンツ画像を視認する範囲において、外景画像の中の顔画像を撮像することが可能となる。
【００４２】
通知部６は、ＣＣＤ５上に設けられている。通知部６の向きはＣＣＤ５の撮像方向と一致している。通知部６は複数のＬＥＤから構成され、文字を表示することができる。観察者ＰがＨＭＤ１をモニタ代わりに使用するなどして行う、情報処理の状況や情報閲覧の状況といった、観察者Ｐの状況に応じた３種類の信号が、通知部６に供給される。これにより、通知部６は、観察者Ｐの状況に応じた文字を表示し、観察者Ｐに対向している他者に観察者Ｐの状況を通知することができる。本実施形態における通知部６が、本発明の通信部の一例である。
【００４３】
システムボックス７は、画像表示部３と伝送ケーブル８を介して接続されている。システムボックス７は、ＨＭＤ１の全体の動作を統括制御し、コンテンツ画像を形成するための画像光を生成する。伝送ケーブル８は、光ファイバや各種信号を伝送するためのケーブルを備える。
【００４４】
［ＨＭＤ電気的構成］
本実施形態に係るＨＭＤ１の電気的構成について、図２を参照して説明する。図２は、本実施形態に係るＨＭＤ１の電気的及び光学的構成を示す説明図である。
【００４５】
図２に示すように、ＨＭＤ１は、ＨＭＤ１全体の動作を統括制御する統括制御部１０と、コンテンツ画像の画像光を生成する光生成部２０と、コンテンツ画像が観察者Ｐにより視認されるように画像光を走査する光走査部５０と、を備えている。統括制御部１０と、光生成部２０とは、システムボックス７に内蔵され、光走査部５０は、画像表示部３に内蔵されている。
【００４６】
統括制御部１０は、パーソナルコンピュータ等の外部装置と接続可能なインターフェース１１と接続されている。統括制御部１０は、インターフェース１１を介し受け取った画像データを光生成部２０へ供給する。ここで、画像データとは、観察者Ｐが視認することとなるコンテンツ画像を表すデータである。光生成部２０は、統括制御部１０から供給される画像データに基づいて画像光を生成し、光走査部５０に供給する。光走査部５０は、光生成部２０により生成された画像光を２次元的に走査することで、コンテンツ画像を表示し、観察者Ｐに視認させる。
【００４７】
統括制御部１０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１２と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１３と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１４と、ＶＲＡＭ（Ｖｉｄｅｏ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１５と、バス１６と、を備えている。
【００４８】
ＣＰＵ１２は、ＲＯＭ１３に記憶されている各種情報処理プログラムを実行することにより、ＨＭＤ１が備える各種機能を実行する演算処理装置である。ＲＯＭ１３は、不揮発性メモリであるフラッシュメモリにより構成されている。ＲＯＭ１３は、ＨＭＤ１により表示するコンテンツの再生、停止、早送り、巻き戻し等の制御を行う際に光生成部２０、光走査部５０等を動作させるための情報処理プログラム等、ＣＰＵ１２により実行される各種情報処理プログラムを記憶している。ＲＯＭ１３は、統括制御部１０が各種表示制御を行う際に参照する複数種類のテーブルも記憶している。ＲＡＭ１４は画像データ等の各種データを一時的に記憶する領域である。ＶＲＡＭ１５は、画像を表示する際に、表示される画像が表示前に一時的に描画される領域である。ＣＰＵ１２、ＲＯＭ１３、ＲＡＭ１４、及びＶＲＡＭ１５は、データ通信用のバス１６にそれぞれ接続されており、バス１６を介して各種情報の送受信を行う。
【００４９】
統括制御部１０は、ＨＭＤ１の電源スイッチＳＷ、ＣＣＤ５、通知部６、及び通信制御回路９と接続されている。通信制御回路９は、パーソナルコンピューター等とメールなどのやり取りを行う。
【００５０】
インターフェース１１は、パーソナルコンピュータ等の外部装置から供給される画像データを統括制御部１０に供給する。供給された画像データはＲＡＭ１４により記憶される。
【００５１】
光生成部２０は、信号処理回路２１と、光源部３０と、光合成部４０と、を備えている。
【００５２】
画像データが、インターフェース１１と統括制御部１０とを介して、信号処理回路２１に供給される。信号処理回路２１は、供給された画像データに基づいて、画像を合成するための要素となる青、緑、赤の各画像信号２２ａ〜２２ｃを生成し、光源部３０に供給する。信号処理回路２１は、水平走査部７０を駆動するための水平駆動信号２３を水平走査部７０に供給し、垂直走査部８０を駆動するための垂直駆動信号２４を垂直走査部８０に供給する。
【００５３】
光源部３０は、信号処理回路２１から供給される３つの画像信号２２ａ〜２２ｃをそれぞれ画像光にする画像光出力部として機能する。光源部３０は、青色の画像光を発生するＢレーザ３４及びＢレーザ３４を駆動するＢレーザドライバ３１と、緑色の画像光を発生するＧレーザ３５及びＧレーザ３５を駆動するＧレーザドライバ３２と、赤色の画像光を発生するＲレーザ３６及びＲレーザ３６を駆動するＲレーザドライバ３３とを備えている。
【００５４】
光合成部４０は、光源部３０から出力された３つの画像光を供給され、３つの画像光を１つの画像光に合成して任意の画像光を生成する。光合成部４０は、光源部３０から入射する画像光を平行光にコリメートする。光合成部４０は、コリメート光学系４１、４２、４３と、このコリメートされた画像光を合成するためのダイクロイックミラー４４、４５、４６と、合成された画像光を伝送ケーブル８に導く結合光学系４７とを備えている。各レーザ３４、３５、３６から出射したレーザ光は、コリメート光学系４１、４２、４３によってそれぞれ平行光化された後に、ダイクロイックミラー４４、４５、４６に入射される。その後、これらのダイクロイックミラー４４、４５、４６により、各画像光が波長に関して選択的に反射または透過される。
【００５５】
光走査部５０は、コリメート光学系６０と、水平走査部７０と、垂直走査部８０と、リレー光学系７５、９０と、を備えている。
【００５６】
コリメート光学系６０は、伝送ケーブル８を介して出射される画像光を平行光化し、水平走査部７０に導く。水平走査部７０は、コリメート光学系６０で平行光化された画像光を画像表示のために水平方向に往復走査する。垂直走査部８０は、水平走査部７０で水平方向に走査された画像光を垂直方向に往復走査する。リレー光学系７５は、水平走査部７０と垂直走査部８０との間に設けられ、水平走査部７０により走査された画像光を、垂直走査部８０に導く。リレー光学系９０は、水平方向と垂直方向とに走査（２次元的に走査）された画像光を瞳孔Ｅａへ出射する。
【００５７】
水平走査部７０は、共振型偏向素子７１と、水平走査制御回路７２と、水平走査角検出回路７３と、を備えている。
【００５８】
共振型偏向素子７１は、画像光を水平方向に走査するための反射面を有する。水平走査制御回路７２は、信号処理回路２１から供給される水平駆動信号２３に基づいて、共振型偏向素子７１を共振させる。水平走査角検出回路７３は、共振型偏向素子７１から供給される変位信号に基づいて、共振型偏向素子７１の反射面の揺動範囲及び揺動周波数等の揺動状態を検出する。水平走査角検出回路７３は、検出した共振型偏向素子７１の揺動状態を示す信号を統括制御部１１０へ供給する。
【００５９】
リレー光学系７５は、水平走査部７０と垂直走査部８０との間で画像光を中継する。共振型偏向素子７１によって水平方向に走査された光は、リレー光学系７５によって垂直走査部８０内の偏向素子８１の反射面に収束される。
【００６０】
垂直走査部８０は、偏向素子８１と、垂直走査制御回路８２と、を備えている。
【００６１】
偏向素子８１は、リレー光学系７５により導かれた画像光を垂直方向に走査する。垂直走査制御回路８２は、信号処理回路２１から供給される垂直駆動信号２４に基づいて、偏向素子８１を揺動させる。
【００６２】
共振型偏向素子７１により水平方向に走査され、偏向素子８１によって垂直方向に走査された画像光は、２次元的に走査された走査画像光としてリレー光学系９０へ出射される。
【００６３】
共振型偏向素子７１と偏向素子８１とにより走査される画像光は、あるタイミングに、ある走査角度で走査される。即ち、あるタイミングにおいて、画像光は一本である。従って、以後便宜上、「走査画像光は走査された複数の画像光より成る」といった内容の表現を用いるが、実際には、走査画像光は、あるタイミングにおいて一本の画像光より成るものである。
【００６４】
リレー光学系９０は、正の屈折力を持つレンズ系９１、９２を備えている。レンズ系９１は、共振型偏向素子７１と偏向素子８１とにより走査された各々の画像光を、各々の中心線が相互に略平行になるよう変換し、尚且つ、各々の画像光を、レンズ系９１とレンズ系９２との中間位置に一度収束させる。中間位置に一度収束された各々の画像光は、再び拡散し、レンズ系９２に供給される。
【００６５】
レンズ系９２は、レンズ系９１から供給された各々の画像光を、平行光化する。そして、レンズ系９２は、各々の画像光を、各々の中心線が観察者の瞳孔Ｅａに収束するように、変換する。
【００６６】
レンズ系９２から供給された画像光は、ハーフミラー４で一度反射された後、観察者の瞳孔Ｅａに収束される。このようにして、観察者Ｐはコンテンツ画像を視認することができる。
【００６７】
統括制御部１０は、共振型偏向素子７１の揺動状態に基づいた信号を、水平走査角検出回路７３から受け取る。そして、統括制御部１０は、受け取った信号に基づいて、信号処理回路２１の動作を制御する。信号処理回路２１は、水平走査制御回路７２へ水平駆動信号２３を供給し、垂直走査制御回路８２へ垂直駆動信号２４を供給する。水平走査制御回路７２は、供給された水平駆動信号２３に基づき、共振型偏向素子７１の動きを制御する。垂直走査制御回路８２は供給された垂直駆動信号２４に基づき、偏向素子８１の動きを制御する。以上の一連の流れにより、水平走査と垂直走査との同期が成される。
【００６８】
[ＨＭＤ動作制御]
次に、図３（ａ）〜図３（ｆ）を参照して、ＨＭＤ１の動作制御について説明する。本実施形態におけるＣＰＵ１２、及び、図３（ａ）〜図３（ｆ）に示すフローチャートの各ステップが、本発明の制御部の一例である。
【００６９】
（メイン処理）
図３（ａ）は、ＨＭＤ１の制御処理を示すフローチャートである。一連の制御処理はＣＰＵ１２により実行される。
【００７０】
メイン処理では、先ず、通常の表示モードでコンテンツ画像ＣＯが表示される（ステップＳＡ１、以下ＳＡ１と記す）。このとき、観察者Ｐは図４に示すように、外景画像ＢＧとコンテンツ画像ＣＯとが重畳した合成画像を視認することとなる。
【００７１】
通常の表示モードでコンテンツ画像ＣＯが表示されると、ＣＣＤ５による外景ＢＧの撮像が開始される（ＳＡ２）。ＣＣＤ５は、ＣＣＤ５に内蔵された駆動回路にて生成された読み出しクロックに基づき、撮像された画像の画像信号を読み出す。従って、ＣＣＤ５による外景ＢＧの撮像は、ＣＣＤ５の駆動回路にて生成される読み出しクロックに基づき、所定の時間間隔で行われる。このとき、ＣＣＤ５は図４に示すように、観察者Ｐがコンテンツ画像ＣＯを視認している範囲（以下、表示範囲と記す。）ＥＲより広い範囲ＳＲにある外景ＢＧを撮像する。
【００７２】
外景ＢＧが撮像されると、顔画像ＦＡがＣＣＤ５の撮像範囲ＳＲ内で検出されたか否かが判断される（ＳＡ３）。このステップには特開２００４−５４４４２号公報に開示されている公知の顔検出技術が用いられる。本実施形態におけるＣＰＵ１２及びステップＳＡ２、ＳＡ３が、本発明の顔検出部の一例である。
【００７３】
図５に示すように、撮像範囲ＳＲに顔画像ＦＡが入り、顔画像ＦＡが検出されたと判断されると（ＳＡ３：Ｙｅｓ）、顔画像ＦＡとコンテンツ画像ＣＯとが撮像範囲ＳＲ内で少なくとも一部重複しているか否かが判断される（ＳＡ４）。本実施形態におけるＣＰＵ１２及びステップＳＡ４が、本発明の重複判断部の一例である。
【００７４】
顔画像ＦＡとコンテンツ画像ＣＯとが撮像範囲ＳＲ内で少なくとも一部重複していると判断される（ＳＡ４：Ｙｅｓ）と、ＳＡ１において通常の表示モードで表示されたコンテンツ画像ＣＯのコンテンツデータ（以後、「バックアップデータ」と記す。）が、ＲＡＭ１４に一時的に記憶される（ＳＡ５）。
【００７５】
この際、ＲＡＭ１４に記憶されるバックアップデータとは、図６に示すようなデータである。図６は複数のアプリケーションが起動している際の、バックアップデータを示す。バックアップデータは、図６に示す通り、表示しているコンテンツ画像ＣＯを構成する各アプリケーションの識別子と、各アプリケーションの表示ウィンドウの左上端の座標及び右下端の座標と、各ウィンドウの階層とを有する。
【００７６】
バックアップデータがＲＡＭ１４に記憶されると、対話表示モードで表示する処理に入り（ＳＡ６）、表示するコンテンツ画像ＣＯが図３（ｂ）に示すフローチャートに従って、制御される。
【００７７】
対話表示モードで表示する処理が終了すると、ＲＡＭ１４に記憶されたバックアップデータと、対話表示制御後に観察者Ｐが現在視認しているコンテンツ画像ＣＯのデータとが比較される。この際、対話表示モードで制御され、変更された部分以外の点で、コンテンツ画像ＣＯのデータとバックアップデータとに差異があるか否かが判断される（ＳＡ７）。
【００７８】
差異があると判断されると（ＳＡ７：Ｙｅｓ）、図６に示すバックアップデータの更新を行う（ＳＡ８）。更新内容は、バックアップしているアプリケーションの追加や削除、及び各ウィンドウの階層データの更新などである。
【００７９】
バックアップデータの更新が行われると、電源スイッチＳＷにより電源ＯＦＦの指令が入力されたか否かが判断される（ＳＡ９）。電源ＯＦＦの指令が入力されたと判断されると（ＳＡ９：Ｙｅｓ）、処理が終了する。
【００８０】
ＳＡ７において、コンテンツ画像ＣＯのデータとバックアップデータとに差異がないものと判断されると（ＳＡ７：Ｎｏ）、ＳＡ９に移り、電源スイッチＳＷにより電源ＯＦＦの指令が入力されたか否かが判断される（ＳＡ９）。
【００８１】
ＳＡ９において、電源スイッチＳＷにより電源ＯＦＦの指令が入力されていないと判断されると（ＳＡ９：Ｎｏ）、ＳＡ３に戻る。
【００８２】
ＳＡ３において、顔画像ＦＡが検出されていないと判断されると（ＳＡ３：Ｎｏ）、対話表示モード中であるか否かが判断される（ＳＡ１０）。対話表示モード中であると判断されると（ＳＡ１０：Ｙｅｓ）、ＲＡＭ１４にバックアップデータがあるか否かが判断される（ＳＡ１１）。ＲＡＭ１４にバックアップデータがあると判断される（ＳＡ１１：Ｙｅｓ）と、バックアップデータが取得され（ＳＡ１２）、バックアップデータに基づき、通常の表示モードで表示が行われる（ＳＡ１３）。ＳＡ１１において、ＲＡＭ１４にバックアップデータがないと判断されると（ＳＡ１１：Ｎｏ）、ＳＡ１３に移り、通常の表示モードで表示が行われる。通常の表示モードで表示が行われると、通常の表示モードに設定される（ＳＡ１４）。通常の表示モードに設定されると、ＳＡ９に移り、電源スイッチＳＷにより電源ＯＦＦの指令が入力されたか否かが判断される（ＳＡ９）。
【００８３】
ＳＡ１０において、対話表示モード中でないと判断されると（ＳＡ１０：Ｎｏ）、処理がＳＡ９に移り、電源スイッチＳＷにより電源ＯＦＦの指令が入力されたか否かが判断される。また、ＳＡ４において、顔画像ＦＡとコンテンツ画像ＣＯとが撮像範囲ＳＲ内で重複していないと判断される（ＳＡ４：Ｎｏ）と、ＳＡ１１に移り、ＲＡＭ１４にバックアップデータがあるか否かが判断される。
【００８４】
（バックアップデータ記憶処理）
図３（ｂ）は、図３（ａ）に示すメイン処理のＳＡ５であるバックアップデータが記憶される処理の概要を示すフローチャートである。
【００８５】
このバックアップデータ記憶処理では、先ず、起動中のアプリケーションの識別子の取得が行われる（ＳＢ１）。
【００８６】
識別子の取得が行われると、各アプリケーションのウィンドウ情報の取得が行われる（ＳＢ２）。ウィンドウ情報は、各ウィンドウの座標や階層等の情報を含む。
【００８７】
ウィンドウ情報の取得が行われると、各情報がバックアップデータとして、図６に示すようなテーブルにまとめられ、ＲＡＭ１４に記憶される（ＳＢ３）。
【００８８】
バックアップデータが記憶されると、バックアップデータが記憶される処理が終了し、次の処理が、図３（ａ）に示すメイン処理のＳＡ６に戻る。本実施形態において、画像データ及びバックアップデータを記憶するＲＡＭ１４が、本発明の情報記憶部の一例である。
【００８９】
（対話表示モード）
図３（ｃ）は、図３（ａ）に示すメイン処理のＳＡ６である対話表示モードで表示する処理の概要を示すフローチャートである。
【００９０】
この処理では、先ず、表示中のコンテンツ画像ＣＯのコンテンツデータに含まれる識別子の情報が認識され、図７に示すＲＯＭ１３に記憶されている判断テーブルが読み出され、参照される（ＳＣ１）。
【００９１】
図７に示す判断テーブルが参照されることで、表示中のコンテンツ画像ＣＯのコンテンツデータに含まれる識別子情報から、観察者Ｐが対話可能な状態（以後、「対話可能」と記す）か、対話できない状態（以後、「対話不可」と記す）か、対話を優先して行うべき状態（以後、「対話優先」と記す）なのかの判定が行われる。
【００９２】
なお、ここで「対話可能」、「対話不可」、「対話優先」は、本発明における画像情報の重要度に対応する。即ち、画像情報の重要度が低い場合、観察者Ｐは対話に集中すべき状況であるため「対話優先」、重要度が高い場合、観察者Ｐは対話よりコンテンツ画像ＣＯを集中して視認すべき状況であるため「対話不可」、重要度が中程度の場合、観察者Ｐはコンテンツ画像ＣＯを視認しながら対話することができる状況であるため「対話可能」、と各々判定される。
【００９３】
図７の判断テーブルについて、一例を挙げて詳細に説明する。一般的に通信制御回路９を使用する通信が実行される必要のあるコンテンツ画像ＣＯは、観察者Ｐが目を離すことのできないものであり、重要度が高い。そのため、本処理では、ＣＰＵ１２により、「対話不可」と判定される。
【００９４】
判断テーブルが参照されると、判断テーブルから、観察者Ｐが「対話優先」の状態か否かが判断される（ＳＣ２）。「対話優先」であると判断されると（ＳＣ２：Ｙｅｓ）、対話優先モードに入り、図３（ｄ）に示すフローチャートに従って、表示制御が行われる（ＳＣ３）。
【００９５】
観察者Ｐが「対話優先」の状態ではないと判断されると（ＳＣ２：Ｎｏ）、判断テーブルから、観察者Ｐが「対話可能」な状態か否かが判断される（ＳＣ４）。「対話可能」であると判断されると（ＳＣ４：Ｙｅｓ）、対話可能モードに入り、図３（ｅ）に示すフローチャートに従って、表示制御が行われる（ＳＣ５）。
【００９６】
観察者Ｐが「対話可能」な状態ではないと判断されると（ＳＣ４：Ｎｏ）、判断テーブルから、観察者Ｐが「対話不可」な状態であると判断される。そして、対話不可モードに入り、図３（ｆ）に示すフローチャートに従って、表示制御が行われる（ＳＣ６）。
【００９７】
対話優先モード、対話可能モード、または対話不可モードでの表示制御が終了すると、対話表示モードに設定される（ＳＣ７）。対話表示モードに設定されると、対話表示モードで表示する処理が終了し、次の処理が図３（ａ）に示すメイン処理のＳＡ７に戻る。本実施形態におけるＣＰＵ１２及びステップＳＣ１、ＳＣ２、ＳＣ４が、本発明の重要度判定部の一例である。
【００９８】
以後、対話優先モード、対話可能モード、対話不可モードの説明を行う。ここまでは、コンテンツ画像ＣＯが複数のアプリケーションの表示ウィンドウにより構成されていることを前提としていたが、以後、各モードに対し、コンテンツ画像ＣＯは１個のアプリケーションの表示ウィンドウにより構成されていることを前提とする。これは、説明の簡略化のためのものであって、本実施形態において、コンテンツ画像ＣＯは複数の表示ウィンドウで構成されていても、１個の表示ウィンドウで構成されていても問題ではない。
【００９９】
（対話優先モード）
図３（ｄ）は、図３（ｃ）に示す対話表示モードで表示する処理のＳＣ３である対話優先モードの概要を示すフローチャートである。
【０１００】
この対話優先モードの処理では、先ず、ＣＣＤ５により撮像された顔画像ＦＡとコンテンツ画像ＣＯとの重複する領域が算出される（ＳＤ１）。ここで算出されるのは、ＣＣＤ５の撮像範囲ＳＲ内における重複領域の位置や面積等である。
【０１０１】
重複領域の算出が行われると、算出された重複領域の面積の、コンテンツ画像ＣＯの表示範囲ＥＲの面積に対する比率があらかじめ設定された所定値より大きいか否かが判断される（ＳＤ２）。
【０１０２】
比率が所定値より大きいと判断されると（ＳＤ２：Ｙｅｓ）、図８に示すように、表示しているコンテンツ画像ＣＯが所定のアイコンＩＣに置き換えられ、アイコンＩＣがコンテンツ画像ＣＯの表示範囲ＥＲの左下端に表示される（ＳＤ３）。本実施形態では、画像光が観察者Ｐの左眼に照射されているため、観察者Ｐは視線方向の左側にコンテンツ画像ＣＯを視認している。従って、通常対話相手と真正面に向き合い対話する場合において、アイコンＩＣが表示範囲ＥＲの左下端に表示されることにより、アイコンＩＣは顔画像ＦＡから可及的に遠ざけられ、対話の邪魔にならない。
【０１０３】
なお、アイコンＩＣとは、アプリケーションの内容を図または絵で表現したものである。例えば、図８に示すアイコンＩＣは、アプリケーションが文書ファイルであることを示すものである。
【０１０４】
ＳＤ３において、表示されるアイコンＩＣは、各アプリケーション毎に決まっている。アイコンＩＣの画像データはＲＯＭ１３にあらかじめ記憶されており、ＳＤ３において、コンテンツ画像ＣＯのアプリケーションに対応するアイコンＩＣの画像データがＲＯＭ１３から読み出され、表示される。本実施形態におけるＲＯＭ１３が、本発明のアイコン記憶部の一例である。
【０１０５】
コンテンツ画像ＣＯがアイコンＩＣに置き換えられ、アイコンＩＣが表示範囲ＥＲの隅に表示されることで、観察者Ｐは対向している他者、即ち、顔画像ＦＡに対応する人物との対話に集中することが可能となる。また、コンテンツ画像ＣＯをアイコン化することで、対話終了後、観察者Ｐが、対話開始前に何を視認していたかを思い出すことができる。
【０１０６】
ＳＤ２において、重複領域の面積の、コンテンツ画像ＣＯの表示範囲ＥＲの面積に対する比率があらかじめ設定された所定値以下であると判断されると、図９に示すように、コンテンツ画像ＣＯが表示範囲ＥＲ内で占めている領域のうち、顔画像ＦＡと重複しない領域が算出され、この領域にコンテンツ画像ＣＯが収まる様、コンテンツ画像ＣＯが縮小される（ＳＤ４）。
【０１０７】
顔画像ＦＡとコンテンツ画像ＣＯとが重複しない大きさに、コンテンツ画像ＣＯが縮小されることで、観察者Ｐは対向している他者、即ち、顔画像ＦＡに対応する人物との対話に集中することが可能となる。また、コンテンツ画像ＣＯを縮小して、残しておくことで、対話終了後、観察者Ｐが、対話開始前に何を視認していたかを思い出すことができる。
【０１０８】
なお、重複領域が大きい場合、顔画像ＦＡとコンテンツ画像ＣＯとが重複しない大きさに、コンテンツ画像ＣＯが縮小されると、観察者Ｐが、コンテンツ画像ＣＯの内容を把握できなくなるほど、コンテンツ画像ＣＯが小さくなる。このため、重複領域が大きい場合に、コンテンツ画像ＣＯが縮小されるのでなく、アイコン化されることで、観察者Ｐは対話後に、対話開始前に何を視認していたかを即座に思い出すことができる。
【０１０９】
ＳＤ３またはＳＤ４の表示制御が行われると、対向している他者に観察者Ｐが「対話優先」の状態であることを、通知部６が通知する（ＳＤ５）。
【０１１０】
具体的には、通知部６に「対話優先」と表示させるための信号が通知部６に送信され、「対話優先」と表示され、観察者Ｐが「対話優先」の状態であることが対向している他者に通知される。
【０１１１】
ＳＤ５において、「対話優先」の状態であることの通知が行われると、対話優先モードが終了し、次の処理が図３（ｃ）に示す対話表示モードで表示する処理のＳＣ７に戻る。
【０１１２】
（対話可能モード）
図３（ｅ）は、図３（ｃ）に示す対話表示モードで表示する処理のＳＣ５である対話可能モードの概要を示すフローチャートである。
【０１１３】
この対話可能モード処理では、ＳＤ１と同様、先ず、ＣＣＤ５により撮像された顔画像ＦＡとコンテンツ画像ＣＯとの重複する領域が算出される（ＳＥ１）。
【０１１４】
重複領域の算出が行われると、図１０に示すように、顔画像ＦＡとコンテンツ画像ＣＯとが重複しない位置まで、コンテンツ画像ＣＯが大きさを保持した状態で平行移動させられた場合に、コンテンツ画像ＣＯが表示範囲ＥＲを越えるか否かが判断される（ＳＥ２）。
【０１１５】
コンテンツ画像ＣＯが表示範囲ＥＲを越えると判断されると、図１０に示すように、顔画像ＦＡとコンテンツ画像ＣＯとが重複しない位置まで、コンテンツ画像ＣＯが大きさを保持した状態で、平行移動させられた後、表示範囲ＥＲを越える分だけ、表示ウィンドウが縮小する（ＳＥ３）。表示ウィンドウを縮小すると、図１０に示すように、コンテンツ画像ＣＯを顔画像ＦＡと重複しない位置まで、移動する（ＳＥ４）。
【０１１６】
顔画像ＦＡとコンテンツ画像ＣＯとが重複しない位置まで、コンテンツ画像ＣＯが大きさを保持した状態で、平行移動させられた場合に、コンテンツ画像ＣＯが表示範囲ＥＲを越えないと判断されると（ＳＥ２：Ｎｏ）、図１１に示すように、顔画像ＦＡとコンテンツ画像ＣＯとが重複しない位置まで、コンテンツ画像ＣＯが大きさを保持した状態で、平行移動させられる（ＳＥ４）。
【０１１７】
ＳＥ４の表示制御が行われると、対向している他者に観察者Ｐが「対話可能」の状態であることを、通知部６が通知する（ＳＥ５）。
【０１１８】
具体的には、通知部６に「対話可能」と表示させるための信号が通知部６に送信され、「対話可能」と表示させられ、観察者Ｐが「対話可能」の状態であることが伝えられる。
【０１１９】
「対話可能」の状態であることの通知が行われると、対話可能モードが終了し、次の処理が図３（ｃ）に示す対話表示モードで表示する処理のＳＣ７に戻る。
【０１２０】
（対話不可モード）
図３（ｆ）は、図３（ｃ）に示す対話表示モードで表示する処理のＳＡ６である対話不可モードの概要を示すフローチャートである。
【０１２１】
この対話不可モード処理では、ＳＤ１、ＳＥ１と同様、先ず、ＣＣＤ５により撮像された顔画像ＦＡとコンテンツ画像ＣＯとの重複する領域が算出される（ＳＦ１）。
【０１２２】
重複領域の算出が行われると、重複領域におけるコンテンツ画像ＣＯの輝度値が、ＲＯＭ１３に記憶されている閾値以下か否かが判断される（ＳＦ２）。
【０１２３】
重複領域におけるコンテンツ画像ＣＯの輝度値が、閾値以下であると判断される（ＳＦ２：Ｙｅｓ）と、あらかじめＲＯＭ１３に記憶されている高出力用のガンマテーブルが読み出される。そして、読み出された高出力用ガンマテーブルを用いて重複領域におけるコンテンツ画像ＣＯが表示される（ＳＦ３）。
【０１２４】
ガンマテーブルとは、図１２（ａ）に示すような、Ｒレーザ、Ｇレーザ、Ｂレーザの各レーザの、各階調に対する出力パワーを示すテーブルである。ガンマテーブルには出力パワーの最大値が設定されている。高出力用ガンマテーブルでは、図１２（ｂ）に示すように、出力パワーの最大値が、図１２（ａ）に示した通常のガンマテーブルで設定されているものよりも大きな値で設定されている。従って、高出力用ガンマテーブルを用いて重複領域におけるコンテンツ画像ＣＯが表示されることで、図１３に示すように、重複領域におけるコンテンツ画像ＣＯがはっきりと表示されるようになる。
【０１２５】
ＳＦ３の表示制御が行われると、対向している他人に観察者Ｐが「対話不可」の状態であることを、通知部６が通知する（ＳＦ４）。
【０１２６】
具体的には、通知部６に「対話不可」と表示させるための信号が通知部６に送信され、「対話不可」と表示され、観察者Ｐが「対話不可」の状態であることが伝えられる。
【０１２７】
重複領域におけるコンテンツ画像ＣＯの輝度値が、閾値より大きいと判断される（ＳＦ２：Ｎｏ）と、高出力用のガンマテーブルが用いられずとも、観察者Ｐがコンテンツ画像ＣＯを明確に視認できる状況であるため、そのままＳＦ４に進み、観察者Ｐが「対話不可」の状態であることが対向している他人に通知される。
【０１２８】
「対話不可」の状態であることの通知が行われると、対話不可モードが終了し、次の処理が図３（ｃ）に示す対話表示モードで表示する処理のＳＣ７に戻る。
【０１２９】
ここまで、対話優先モード、対話可能モード、対話不可モードの説明を行ってきた。ＶＲＡＭ１５は、各モードにおいて、コンテンツ画像ＣＯやアイコン画像ＩＣ等が表示される際に、ＲＯＭ１３やＲＡＭ１４から読み出されたコンテンツ画像ＣＯやアイコン画像ＩＣ等が表示の前に一度描画される領域である。
【０１３０】
ＶＲＡＭ１５に描画されたコンテンツ画像ＣＯやアイコン画像ＩＣ等のデータは、信号処理回路２１に供給され、観察者Ｐに視認される。
【０１３１】
（変形例）
本実施形態において、観察者Ｐが「対話優先」、「対話可能」、「対話不可」のいずれの状態にあるかは、図８に示すような判断テーブルに則って、判定されていたが、これに限らず、例えば、図１４に示すように判定されてもよい。
【０１３２】
図１４は対話表示モードで表示する処理の変形例を示すフローチャートである。図１４は、図３（ｃ）に示した対話表示モードで表示する処理に相当する部分についての変形例である。
【０１３３】
この対話表示モードで表示する処理では、先ず、通信制御回路９が起動し、ＨＭＤ１が外部装置と通信を行っているか否かが判断される（ＳＸ１）。
【０１３４】
外部装置と通信中であると判断されると（ＳＸ１：Ｙｅｓ）、観察者Ｐは、「対話不可」であると判定され、図３（ｆ）に示す対話不可モードに入る（ＳＸ２）。
【０１３５】
外部装置と通信中でないと判断されると（ＳＸ１：Ｎｏ）、観察者ＰがＨＭＤ１をモニターとして用い、文書を書くなどの操作を行っているか否かが判断される（ＳＸ３）。
【０１３６】
観察者Ｐが文書作成のために操作中であると判断される（ＳＸ３：Ｙｅｓ）と、観察者Ｐは、「対話可能」であると判定され、図３（ｅ）に示す対話可能モードに入る（ＳＸ４）。
【０１３７】
観察者Ｐが文書作成のために操作中でないと判断される（ＳＸ３：Ｎｏ）と、観察者Ｐは、「対話優先」であると判定され、図３（ｄ）に示す対話優先モードに入る（ＳＸ５）。対話優先モード、対話可能モード、または対話不可モードでの表示制御を実施すると、対話表示モードに設定される（ＳＸ６）。対話表示モードに設定されると、対話表示モードで表示する処理が終了し、次の処理が図３（ａ）に示すメイン処理のＳＡ７に戻る。本変形例におけるＣＰＵ１２及びステップＳＸ２、ＳＸ４、ＳＸ５が、本発明の制御部の一例であり、本変形例におけるＣＰＵ１２及びステップＳＸ１、ＳＸ３が、本発明の重要度判定部の一例である。
【０１３８】
本実施形態においては、ＨＭＤ１は、網膜走査型ディスプレイであったが、これに限らず、ＨＭＤ１は、ＬＣＤ表示パネル等を用いたヘッドマウントディスプレイ装置であってもよい。
【０１３９】
本実施形態においては、光ファイバ８から入射された画像光が、水平走査部７０で水平方向に走査された後、垂直走査部８０によって垂直方向に走査される構成である。この構成に代えて、水平走査部７０と垂直走査部８０との配置が入れ替えられ、画像光が垂直走査部８０によって垂直方向に走査された後、水平走査部７０で水平方向に走査されるように構成してもよい。
【０１４０】
本実施形態は観察者Ｐの左眼に対し、コンテンツ画像ＣＯの表示を行う片眼モデルであったが、両眼モデルであってもよい。
【０１４１】
本実施形態において、通信制御回路９は、主に、ＰＣとメールなどの通信を行うためのものであったが、これに限らず、例えば、ＨＭＤ１を装着している他者に通信を行うためのものであってもよい。
【０１４２】
本実施形態において、観察者Ｐの状況は、「対話優先」、「対話可能」、「対話不可」の３種類の状態のいずれかに分類され、判定されていたが、これに限らず、例えば、６種、７種といった具合に細かく分類され、判定されてもよい。また、対話できるか、否かといった判定に限らず、例えば、観察者Ｐが通信を用いた作業をしているか、または文書作成を行っているかといった観察者Ｐの作業内容を判定するものであってもよい。
【０１４３】
本実施形態において、観察者Ｐが「対話優先」の状態であると判定された場合、コンテンツ画像ＣＯはアイコン化されるか、または縮小されるかであったが、これに限らず、例えば、一度バックアップデータがＲＡＭ１４に記憶された後、表示範囲ＥＲから消去されてもよい。「対話可能」、「対話不可」いずれの場合も同様に、表示制御の仕方は本実施形態のものだけに限らない。
【０１４４】
本実施形態において、撮像方向と観察者Ｐがコンテンツ画像ＣＯを視認する方向とはあらかじめ決められていたが、これに限らず、例えば、特開平７−４９７４４号公報に開示されているように観察者Ｐの視線方向を検知する手段がＨＭＤ１に設けられ、検出された観察者Ｐの視線方向と撮像部の撮像方向とを一致させるよう制御する構成であってもよい。
【０１４５】
本実施形態において、観察者Ｐが「対話優先」、または「対話可能」な場合、コンテンツ画像ＣＯは、顔画像ＦＡと重複しないように表示制御されていたが、これに限らず、例えば、コンテンツ画像ＣＯを暗くするなどの表示制御であってもよい。
【符号の説明】
【０１４６】
１    ＨＭＤ
２    フレーム部
３    画像表示部
４    ハーフミラー
５    ＣＣＤ
６    通知部
７    システムボックス
１０  統括制御部
１２  ＣＰＵ
１３  ＲＯＭ
１４  ＲＡＭ
１５  ＶＲＡＭ
２１  信号処理回路
Ｐ    観察者
Ｅａ  瞳孔
ＣＯ  コンテンツ画像
ＢＧ  外景
ＥＲ  表示範囲
ＳＲ  撮像範囲
ＦＡ  顔画像
ＩＣ  アイコン
【図１】
2010211662.tif 000003
【図２】
2010211662.tif 000004
【図３（ａ）】
2010211662.tif 000005
【図３（ｂ）】
2010211662.tif 000006
【図３（ｃ）】
2010211662.tif 000007
【図３（ｄ）】
2010211662.tif 000008
【図３（ｅ）】
2010211662.tif 000009
【図３（ｆ）】
2010211662.tif 000010
【図４】
2010211662.tif 000011
【図５】
2010211662.tif 000012
【図６】
2010211662.tif 000013
【図７】
2010211662.tif 000014
【図８】
2010211662.tif 000015
【図９】
2010211662.tif 000016
【図１０】
2010211662.tif 000017
【図１１】
2010211662.tif 000018
【図１２（ａ）】
2010211662.tif 000019
【図１２（ｂ）】
2010211662.tif 000020
【図１３】
2010211662.tif 000021
【図１４】
2010211662.tif 000022