(57)【要約】      （修正有）【課題】ユーザの視界を確保しつつ、情報を適切に表示する。【解決手段】背景に重畳させてオブジェクトを表示するための表示／投影部と、使用者の両眼を撮像する撮像部と、を備える透過型ヘッドマウントディスプレイを有する情報表示システムであって、制御部は、前記使用者の両眼の撮像データに基づいて、前記使用者の注視点を検出する注視点検出部と、前記注視点に基づいて、前記使用者が前記仮想スクリーン上を注視しているか、前記仮想スクリーンの先の背景を注視しているかを判定する第１判定部と、前記使用者の視線領域と、前記仮想スクリーン上の前記オブジェクトの表示位置と、が重なっているかを判定する第２判定部と、前記注視点が移動した場合に、前記第１判定部及び前記第２判定部の判定結果に基づいて、前記オブジェクトの表示位置及び／又は表示形態を変更する表示制御部と、を備える。【選択図】図２
2015090635.tif 000002
【特許請求の範囲】
【請求項１】
仮想スクリーン上に、背景に重畳させてオブジェクトを表示するための表示／投影部と、使用者の両眼を撮像する撮像部と、を備える透過型ヘッドマウントディスプレイを有する情報表示システムであって、
前記透過型ヘッドマウントディスプレイを制御する制御部は、
前記撮像部が撮像した前記使用者の両眼の撮像データに基づいて、前記使用者の注視点を検出する注視点検出部と、
前記注視点に基づいて、前記使用者が前記仮想スクリーン上を注視しているか、前記仮想スクリーンの先の背景を注視しているかを判定する第１判定部と、
前記使用者の両眼の中間点と前記注視点とを結ぶ直線が前記仮想スクリーンと交差する点近傍の視線領域と、前記仮想スクリーン上の前記オブジェクトの表示位置と、が重なっているかを判定する第２判定部と、
前記注視点が移動した場合に、前記第１判定部及び前記第２判定部の判定結果に基づいて、前記オブジェクトの表示位置及び／又は表示形態を変更する表示制御部と、を備える、
ことを特徴とする情報表示システム。
【請求項２】
前記表示制御部は、前記第１判定部が、前記使用者が前記仮想スクリーンの先の背景を注視していると判定し、かつ、前記第２判定部が、前記視線領域と前記オブジェクトの表示位置とが重なっていると判定した場合に、前記オブジェクトの表示位置及び／又は表示形態を変更する、
ことを特徴とする請求項１に記載の情報表示システム。
【請求項３】
前記仮想スクリーン上に表示される各々のオブジェクトと、当該オブジェクトの属性とを対応付けるオブジェクト属性テーブルが記憶部に記憶されており、
前記制御部は、更に、
前記オブジェクト属性テーブルに基づいて、前記視線領域に重なって表示されている前記オブジェクトが、背景を考慮して表示するオブジェクトであることを示す第１属性を有するか、背景を考慮せずに表示するオブジェクトであることを示す第２属性を有するかを判定する第３判定部を備え、
前記表示制御部は、前記第３判定部が、前記オブジェクトが前記第２属性を有すると判定した場合に、前記オブジェクトの表示位置及び／又は表示形態を変更する、
ことを特徴とする請求項２に記載の情報表示システム。
【請求項４】
前記表示制御部は、前記第３判定部が、前記オブジェクトが前記第１属性を有すると判定した場合に、前記オブジェクトの表示形態を変更する、
ことを特徴とする請求項３に記載の情報表示システム。
【請求項５】
前記オブジェクトの表示位置及び／又は表示形態が変更された後に、前記注視点検出部が、前記使用者の注視点の移動を検出した場合、
前記表示制御部は、前記第１判定部が、前記使用者が前記仮想スクリーン上を注視していると判定、又は、前記第２判定部が、前記視線領域と前記オブジェクトの表示位置とが重なっていないと判定した場合は、前記オブジェクトの表示位置及び／又は表示形態を元の状態に戻す、
ことを特徴とする請求項２乃至４のいずれか一に記載の情報表示システム。
【請求項６】
前記表示制御部は、前記オブジェクトの表示位置及び／又は表示形態を変更したことを示す所定のフラグが設定されている場合に、前記オブジェクトの表示位置及び／又は表示形態を元の状態に戻す、
ことを特徴とする請求項５に記載の情報表示システム。
【請求項７】
前記表示制御部は、前記オブジェクトの表示位置及び／又は表示形態を変更又は元の状態に戻す際に、前記オブジェクトの表示位置及び／又は表示形態を徐々に変化させる、
ことを特徴とする請求項１乃至６のいずれか一に記載の情報表示システム。
【請求項８】
前記表示制御部は、前記注視点の変化速度に応じて、前記オブジェクトの表示位置及び／又は表示形態の変化速度を増減する、
ことを特徴とする請求項７に記載の情報表示システム。
【請求項９】
前記オブジェクトの表示位置の変更とは、前記オブジェクトの表示位置が前記視線領域と重ならないように前記オブジェクトを移動させる処理であり、
前記オブジェクトの表示形態の変更とは、前記オブジェクトの透過率を大きくする処理、前記オブジェクトのサイズを小さくする処理、文字オブジェクトの線を細くする処理、前記オブジェクトの表示時間を短くする処理、前記オブジェクトを部分表示する処理の中から選択される１以上の処理である、
ことを特徴とする請求項１乃至８のいずれか一に記載の情報表示システム。
【請求項１０】
仮想スクリーン上に、背景に重畳させてオブジェクトを表示するための表示／投影部と、使用者の両眼を撮像する撮像部と、を備える透過型ヘッドマウントディスプレイを制御する制御装置で動作する表示制御プログラムであって、
前記制御装置に、
前記撮像部から取得した前記使用者の両眼の撮像データに基づいて、前記使用者の注視点を検出する注視点検出ステップ、
前記注視点に基づいて、前記使用者が前記仮想スクリーン上を注視しているか、前記仮想スクリーンの先の背景を注視しているかを判定する第１判定ステップ、
前記使用者の両眼の中間点と前記注視点とを結ぶ直線が前記仮想スクリーンと交差する点近傍の視線領域と、前記仮想スクリーン上の前記オブジェクトの表示位置と、が重なっているかを判定する第２判定ステップ、
前記注視点が移動した場合に、前記第１判定ステップ及び前記第２判定ステップの判定結果に基づいて、前記オブジェクトの表示位置及び／又は表示形態を変更する表示制御ステップ、を実行させる、
ことを特徴とする表示制御プログラム。
【請求項１１】
前記表示制御ステップでは、前記第１判定ステップで、前記使用者が前記仮想スクリーンの先の背景を注視していると判定され、かつ、前記第２判定ステップで、前記視線領域と前記オブジェクトの表示位置とが重なっていると判定された場合に、前記オブジェクトの表示位置及び／又は表示形態を変更する、
ことを特徴とする請求項１０に記載の表示制御プログラム。
【請求項１２】
前記制御装置に、更に、
予め記憶部に記憶された、前記仮想スクリーン上に表示される各々のオブジェクトと当該オブジェクトの属性とを対応付けるオブジェクト属性テーブルに基づいて、前記視線領域に重なって表示されている前記オブジェクトが、背景を考慮して表示するオブジェクトであることを示す第１属性を有するか、背景を考慮せずに表示するオブジェクトであることを示す第２属性を有するかを判定する第３判定ステップを実行させ、
前記表示制御ステップでは、前記第３判定ステップで、前記オブジェクトが前記第２属性を有すると判定された場合に、前記オブジェクトの表示位置及び／又は表示形態を変更する、
ことを特徴とする請求項１１に記載の表示制御プログラム。
【請求項１３】
前記表示制御ステップでは、前記第３判定ステップで、前記オブジェクトが前記第１属性を有すると判定された場合に、前記オブジェクトの表示形態を変更する、
ことを特徴とする請求項１２に記載の表示制御プログラム。
【請求項１４】
前記オブジェクトの表示位置及び／又は表示形態が変更された後に、前記注視点検出ステップで、前記使用者の注視点の移動を検出した場合、
前記表示制御ステップでは、前記第１判定ステップで、前記使用者が前記仮想スクリーン上を注視していると判定、又は、前記第２判定ステップで、前記視線領域と前記オブジェクトの表示位置とが重なっていないと判定された場合は、前記オブジェクトの表示位置及び／又は表示形態を元の状態に戻す、
ことを特徴とする請求項１１乃至１３のいずれか一に記載の表示制御プログラム。
【請求項１５】
前記表示制御ステップでは、前記オブジェクトの表示位置及び／又は表示形態を変更したことを示す所定のフラグが設定されている場合に、前記オブジェクトの表示位置及び／又は表示形態を元の状態に戻す、
ことを特徴とする請求項１４に記載の表示制御プログラム。
【請求項１６】
前記表示制御ステップでは、前記オブジェクトの表示位置及び／又は表示形態を変更又は復元する際に、前記オブジェクトの表示位置及び／又は表示形態を徐々に変化させる、
ことを特徴とする請求項１０乃至１５のいずれか一に記載の表示制御プログラム。
【請求項１７】
前記表示制御ステップでは、前記注視点の変化速度に応じて、前記オブジェクトの表示位置及び／又は表示形態の変化速度を増減する、
ことを特徴とする請求項１６に記載の表示制御プログラム。
【請求項１８】
前記オブジェクトの表示位置の変更とは、前記オブジェクトの表示位置が前記視線領域と重ならないように前記オブジェクトを移動させる処理であり、
前記オブジェクトの表示形態の変更とは、前記オブジェクトの透過率を大きくする処理、前記オブジェクトのサイズを小さくする処理、文字オブジェクトの線を細くする処理、前記オブジェクトの表示時間を短くする処理、前記オブジェクトを部分表示する処理の中から選択される１以上の処理である、
ことを特徴とする請求項１０乃至１７のいずれか一に記載の表示制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報表示システム及び制御プログラムに関し、特に、透過型ＨＭＤを有する情報表示システム及び透過型ＨＭＤの表示を制御する表示制御プログラムに関する。
【背景技術】
【０００２】
近年、センサ等のデバイスの小型化が進むにつれ、スマートグラスなどと呼ばれるウェアラブルな透過型ＨＭＤ（Head Mounted Display）の開発が活発化している。一般に、透過型ＨＭＤを用いた情報表示システムでは、透過型の仮想スクリーン（眼鏡のレンズ、サングラスやゴーグルの前面のガラスやプラスティックなど）に情報を投影表示することで、装着者（ユーザ）は背景を見ながら情報を確認することができる。すなわち、透過型ＨＭＤは、周囲環境である背景に情報を重ねて表示（重畳表示）できることが特徴の一つである。
【０００３】
しかしながら、従来の透過型ＨＭＤでは、当該重畳表示が行われるが故の課題として、ユーザの視線位置によっては、仮想スクリーン上に表示される情報が装着者（ユーザ）の視界の妨げになるという問題があり、この問題を回避するための技術が提案されている。
【０００４】
ウェアラブルな透過型ＨＭＤに関する技術ではないが、透過型の仮想スクリーンに情報を投影表示する技術として、例えば、下記特許文献１には、ドライバの視線方向を検出すると共に、ドライバが認知すべき情報について所定の種類の情報であるか、又はそれ以外の情報であるかを判定し、この判定された情報種と検出されたドライバの視線方向とに基づき、上記所定の種類の情報（ドライバに対する警報情報と車両制御を行っている旨の車両制御情報）が入手されたときには、表示手段による該情報の表示位置を、フロントガラス上におけるドライバの視線方向の軸上ないしその近傍位置に設定し、上記所定の種類以外の情報（警報情報及び車両制御情報以外の情報提供に係る情報）が入手されたときには、該情報の表示位置を上記フロントガラス上における予め決められた基本表示位置に設定する車両の表示装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第０４６９８００２号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、この従来技術では、仮想スクリーン上における情報の表示位置は、情報の種類に応じて視線位置近傍あるいは基本表示位置のいずれかに設定され、かつ、基本表示位置は固定されている。このような制御を行うのは、この従来技術が車両におけるＨＵＤ（Head Up Display）用途を想定しており、基本表示位置がドライバの視界の邪魔にならないことを暗に前提条件として含んでいるからである。そのため、例えばユーザが仮想スクリーン上の基本表示位置に表示された情報の奥にある背景を参照したい場合には、当該情報の表示が視界の妨げになることを防ぐことはできない。
【０００７】
このような問題に対して、視線位置に重なる情報を仮想スクリーン上で移動させる方法が考えられるが、視線位置に重なる情報を仮想スクリーン上で単に移動させると、ユーザの意図に反する結果になる場合がある。
【０００８】
例えば、ユーザが仮想スクリーン上の情報の先の背景（周辺環境）を注視しているときは、表示されている情報が視界の妨げになるが、ユーザが仮想スクリーン上の情報を注視しているときは、情報の表示位置を移動すると情報を確認しづらくなる。すなわち、ユーザがどこを注視しているかに基づいて、仮想スクリーン上の情報を移動させるか否かを判断する必要がある。そのため、このような判断を行うことなく一律に情報を移動させる制御では、ユーザの視界を確保しつつ、情報を適切に表示することができない。
【０００９】
また、背景との関連性のない（低い）情報が表示されている場合は、その情報の表示位置を移動させても問題は生じないと考えられるが、背景に重ね合わせることを意図した情報を表示している場合は、その情報の表示位置を移動させると情報の価値がなくなってしまう。すなわち、表示されている情報がどのような情報であるかに基づいて、仮想スクリーン上の情報を移動させるか否かを判断する必要がある。そのため、このような判断を行うことなく一律に情報を移動させる制御では、ユーザの視界を確保しつつ、情報を適切に表示することができない。
【００１０】
本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、ユーザの視界を確保しつつ、情報を適切に表示することができる透過型ＨＭＤを有する情報表示システム及び表示制御プログラムを提供することにある。
【課題を解決するための手段】
【００１１】
本発明の一側面は、透仮想スクリーン上に、背景に重畳させてオブジェクトを表示するための表示／投影部と、使用者の両眼を撮像する撮像部と、を備える透過型ヘッドマウントディスプレイを有する情報表示システムであって、前記透過型ヘッドマウントディスプレイを制御する制御部は、前記撮像部が撮像した前記使用者の両眼の撮像データに基づいて、前記使用者の注視点を検出する注視点検出部と、前記注視点に基づいて、前記使用者が前記仮想スクリーン上を注視しているか、前記仮想スクリーンの先の背景を注視しているかを判定する第１判定部と、前記使用者の両眼の中間点と前記注視点とを結ぶ直線が前記仮想スクリーンと交差する点近傍の視線領域と、前記仮想スクリーン上の前記オブジェクトの表示位置と、が重なっているかを判定する第２判定部と、前記注視点が移動した場合に、前記第１判定部及び前記第２判定部の判定結果に基づいて、前記オブジェクトの表示位置及び／又は表示形態を変更する表示制御部と、を備える、ことを特徴とする。
【００１２】
本発明の一側面は、仮想スクリーン上に、背景に重畳させてオブジェクトを表示するための表示／投影部と、使用者の両眼を撮像する撮像部と、を備える透過型ヘッドマウントディスプレイを制御する制御装置で動作する表示制御プログラムであって、前記制御装置に、前記撮像部から取得した前記使用者の両眼の撮像データに基づいて、前記使用者の注視点を検出する注視点検出ステップ、前記注視点に基づいて、前記使用者が前記仮想スクリーン上を注視しているか、前記仮想スクリーンの先の背景を注視しているかを判定する第１判定ステップ、前記使用者の両眼の中間点と前記注視点とを結ぶ直線が前記仮想スクリーンと交差する点近傍の視線領域と、前記仮想スクリーン上の前記オブジェクトの表示位置と、が重なっているかを判定する第２判定ステップ、前記注視点が移動した場合に、前記第１判定ステップ及び前記第２判定ステップの判定結果に基づいて、前記オブジェクトの表示位置及び／又は表示形態を変更する表示制御ステップ、を実行させることを特徴とする。
【発明の効果】
【００１３】
本発明の透過型ＨＭＤを有する情報表示システム及び表示制御プログラムによれば、ユーザの視界を確保しつつ、情報を適切に表示することができる。
【００１４】
その理由は、透過型ＨＭＤを制御する制御部（制御プログラム）は、ユーザの両眼を撮像した撮像データに基づいてユーザの注視点を検出し、検出した注視点に基づいて、ユーザが仮想スクリーン上を注視しているのか、仮想スクリーンの先の背景を注視しているのかを判定すると共に、ユーザの視線が仮想スクリーン上のオブジェクトに重なっているか否かを判定し、双方の判定結果に応じて、オブジェクトの表示位置及び／又は表示形態を変更する制御を行うからである。
【００１５】
また、透過型ＨＭＤを制御する制御部（制御プログラム）は、更に、ユーザの視線に重なっているオブジェクトの属性を判定し、その判定結果に応じて、オブジェクトの表示位置及び／又は表示形態を変更する制御を行うからである。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施例に係る情報表示システムの構成を模式的に示す図である。
【図２】本発明の一実施例に係る透過型ＨＭＤの構成を示すブロック図である。
【図３】本発明の一実施例に係る透過型ＨＭＤの設定条件を説明する図である。
【図４】本発明の一実施例に係る透過型ＨＭＤにおける注視点を説明する図である。
【図５】本発明の一実施例に係るオブジェクト属性の定義の一例である。
【図６】本発明の一実施例に係るオブジェクト属性テーブルの一例である。
【図７】本発明の一実施例に係る透過型ＨＭＤの動作を示すフローチャート図である。
【図８】本発明の一実施例に係る透過型ＨＭＤの動作（オブジェクト表示変更処理）を示すフローチャート図である。
【図９】本発明の一実施例に係る透過型ＨＭＤの動作（オブジェクト表示透過率変更処理）を示すフローチャート図である。
【図１０】本発明の一実施例に係る透過型ＨＭＤの動作（オブジェクト表示位置変更処理）を示すフローチャート図である。
【図１１】本発明の一実施例に係る透過型ＨＭＤに表示されるオブジェクトの透過率の変更例を模式的に示す図である。
【図１２】本発明の一実施例に係る透過型ＨＭＤに表示されるオブジェクトの透過率の他の変更例を模式的に示す図である。
【図１３】本発明の一実施例に係る透過型ＨＭＤに表示されるオブジェクトの透過率の他の変更例を模式的に示す図である。
【図１４】本発明の一実施例に係る透過型ＨＭＤに表示されるオブジェクトの表示位置の変更例を模式的に示す図である。
【図１５】本発明の一実施例に係る透過型ＨＭＤに表示されるオブジェクトの表示位置の他の変更例を模式的に示す図である。
【図１６】本発明の一実施例に係る透過型ＨＭＤに表示されるオブジェクトの表示位置の他の変更例を模式的に示す図である。
【図１７】本発明の一実施例に係る透過型ＨＭＤの動作（オブジェクト表示復元処理）を示すフローチャート図である。
【図１８】本発明の一実施例に係る透過型ＨＭＤの動作（オブジェクト表示透過率復元処理）を示すフローチャート図である。
【図１９】本発明の一実施例に係る透過型ＨＭＤの動作（オブジェクト表示位置復元処理）を示すフローチャート図である。
【発明を実施するための形態】
【００１７】
背景技術で示したように、ウェアラブルな透過型ＨＭＤでは、仮想スクリーン上に情報を表示し、周囲環境である背景に重ねて表示（重畳表示）することによって、装着者（ユーザ）は背景を見ながら各種情報を確認することができる。しかしながら、従来の透過型ＨＭＤを用いた情報表示システムでは、ユーザの意図する視線位置によっては、仮想スクリーン上に表示される情報がユーザの視界を妨げる場合がある。例えば、ユーザが仮想スクリーンの奥の背景を注視しており、かつ仮想スクリーン上の情報がその視線上に位置している場合、この情報の表示によってユーザの視界が妨げられるという問題があった。
【００１８】
一方で、仮想スクリーン上に表示される情報は様々であり、情報表示システムの特徴から背景に重畳表示することを意図した情報であり、表示位置を変更すると情報としての価値が損なわれてしまうものもある。例えば、ＣＧ（Computer Graphics）合成等により仮想的に背景（実空間上）のある特定の位置に重畳表示されることを意図して作成された情報などがこれに当たる。このような情報の場合、ユーザの視界の妨げとなるからといって、単純に情報の表示位置を変更することが好ましくない場合もある。
【００１９】
すなわち、ユーザがどこを注視しているか、表示されている情報がどのような情報であるかなどに応じて、仮想スクリーン上の情報の表示形態をどのように変化させかを判断する必要があるが、従来の情報表示システムは、このような判断を行うことなく一律に情報を移動させるか、情報の種類を判断したとしても固定の表示位置に移動させるだけであるため、ユーザの視界を確保しつつ、情報を適切に表示することができないという問題があった。
【００２０】
そこで、本発明の一実施の形態では、ユーザの両眼を撮像した撮像データに基づいてユーザが注視点（両眼の視線が重なる点）を検出し、取得した注視点に基づいて、ユーザが仮想スクリーン上を注視しているか、仮想スクリーンの先の背景を注視しているのかを判定すると共に、注視点を仮想スクリーン上にマッピングした点（両眼の中間点と注視点を結ぶ線と仮想スクリーン平面との交差点）の近傍の領域と文字や図形、画像などの情報（以下、オブジェクトと呼ぶ。）の表示領域とが重なっているか（すなわち、ユーザの視線領域にオブジェクトが表示されているか）を判定し、双方の判定結果に応じて、オブジェクトの表示位置及び／又は表示形態を変更する。例えば、ユーザが仮想スクリーンの先の背景を注視していると判定し、かつ、上記視線領域とオブジェクトの表示領域とが重なっていると判定した場合は、そのオブジェクトの表示位置を視線領域外に移動させたり、オブジェクトの透過率を大きく（オブジェクトを薄く表示）したりする。なお、視線領域はユーザの注視点を仮想スクリーン上にマッピングした位置を基準とする、仮想スクリーン上における所定の範囲のことであり詳細は後述する。
【００２１】
更に、視線領域と重なるオブジェクトの属性を判定し、その判定結果に応じて、オブジェクトの表示位置及び／又は表示形態を変更する。例えば、そのオブジェクトが、背景とは関係なく独立して表示するオブジェクトである旨の属性を有すると判定した場合は、オブジェクトの表示位置を視線領域外に移動させたり、オブジェクトの透過率を大きく（オブジェクトを薄く表示）したりし、背景と重畳表示するオブジェクトである旨の属性を有すると判定した場合は、オブジェクトの透過率を大きく（オブジェクトを薄く表示）する。
【００２２】
また、ユーザの注視点の移動により、ユーザが仮想スクリーン上を注視していると判定、又は、視線領域とオブジェクトの表示領域とが重なっていないと判定した場合は、オブジェクトの表示位置及び／又は表示形態を元の状態に戻す。
【００２３】
このように、ユーザの意図やオブジェクトの情報価値を考慮することにより、仮想スクリーン上のオブジェクトがユーザの視界の妨げにならないようにしつつ、オブジェクトを適切に表示することができる。また、オブジェクトの表示位置及び／又は表示形態を変更したり元の状態に戻したりする際に、表示位置及び／又は表示形態を徐々に変化させることにより、不用意にユーザの注意を引かないようにすることができる。
【実施例】
【００２４】
上記した本発明の実施の形態についてさらに詳細に説明すべく、本発明の一実施例に係る透過型ＨＭＤを有する情報表示システム及び表示制御プログラムについて、図１乃至図１９を参照して説明する。図１は、本実施例の情報表示システムの構成を模式的に示す図であり、図２は、透過型ＨＭＤの構成を示すブロック図である。また、図３及び図４は、注視点を説明する図であり、図５は、オブジェクト属性の定義の一例、図６は、オブジェクト属性テーブルの一例である。また、図７乃至図１０、図１７乃至図１９は、本実施例の透過型ＨＭＤの動作を示すフローチャート図であり、図１１乃至図１６は、オブジェクトの表示位置／表示形態の変更例を模式的に示す図である。
【００２５】
本実施例の情報表示システムは、透過型ＨＭＤ１０を有するシステムであり、種々な構成が考えられる。代表的な構成は、図１（ａ）に示すように、透過型ＨＭＤ１０が単独で動作する構成、若しくは、図１（ｂ）に示すように、透過型ＨＭＤ１０が透過型ＨＭＤ１０本体１０ａと制御部１１とに分かれており、これらが有線又は無線で接続された構成である。また、透過型ＨＭＤ１０の仮想スクリーン上に表示するオブジェクトを他の装置で生成／編集／利用する場合は、図１（ｃ）に示すように、透過型ＨＭＤ１０と、通信端末２０と、オブジェクトの生成／編集を行うコンピュータ装置３０や、オブジェクトの印刷／ＦＡＸ送信などを行う画像形成装置４０とがネットワークで接続された構成とすることができる。更に、ネットワーク上にサーバ５０を配置し、インターネット６０を介して外部のネットワーク上のコンピュータ装置７０などと接続された構成とすることもできる。
【００２６】
なお、ネットワークの種類は任意であり、図１（ｃ）の構成における通信端末２０、コンピュータ装置３０、画像形成装置４０、サーバ５０は、イーサネット（登録商標）、ＦＤＤＩ（Fiber-Distributed Data Interface）やトークンリング等の規格で定められるＬＡＮ（Local Area Network）などで接続することができる。また、透過型ＨＭＤ１０側のネットワークと外部のネットワークとは、インターネット回線、あるいは公衆ＦＡＸ回線などを利用して接続することができる。また、透過型ＨＤＭ１０は、例えばＬＴＥ（Long Term Evolution）／３Ｇといった移動体通信回線、あるいはWiMAXといった無線通信回線を通じてネットワークに接続する構成としてもよい。また、図１（ｂ）の構成における透過型ＨＭＤ１０本体１０ａと制御部１１との通信、若しくは、図１（ｃ）の構成における透過型ＨＤＭ１０と通信端末２０との通信は、Bluetooth（登録商標）やＮＦＣ（Near Field Communication）、TransferJet、Wibree、IrDA等の規格で定められる近距離無線通信を利用することもできる。
【００２７】
以下、本実施例の情報表示システムの特徴部分である透過型ＨＭＤ１０について詳細に説明する。なお、本実施例では図１（ａ）の構成を前提にして説明する。
【００２８】
本実施例の情報表示システムは、ユーザが装着する部材（例えば、眼鏡やサングラス、ゴーグル、帽子など）と一体となったものであり、図２（ａ）に示すように、制御部１１と、記憶部１５と、通信Ｉ／Ｆ部１６と、撮像部１７と、表示／投影部１８などで構成される。
【００２９】
制御部１１は、ＣＰＵ（Central Processing Unit）１２と、ＲＯＭ（Read Only Memory）１３やＲＡＭ（Random Access Memory）１４などのメモリとで構成され、透過型ＨＭＤ１０の筐体（眼鏡やサングラス、ゴーグルのツル（テンプル）など）の内外に固定又は配置される。ＣＰＵ１２は、透過型ＨＭＤ１０の動作を制御する制御プログラムなどをＲＯＭ１３又は記憶部１５から読み出し、ＲＡＭ１４に展開して実行する。上記制御部は、図２（ｂ）に示すように、注視点検出部１１ａ、第１判定部１１ｂ、第２判定部１１ｃ、第３判定部１１ｄ、表示制御部１１ｅなどとしても機能する。
【００３０】
注視点検出部１１ａは、後述する撮像部１７から取得した装着者（ユーザ）の両眼の撮像データに基づいて、後述する公知の手法を用いて、ユーザの注視点（両眼の視線が交差する点）を検出し、検出した注視点の位置（座標）を第１判定部１１ｂ、第２判定部１１ｃ及び表示制御部１１ｅに通知する。
【００３１】
第１判定部１１ｂは、ユーザの注視点を判定する部分であり、注視点検出部１１ａから通知された注視点の位置（座標）と透過型ＨＭＤ１０の構成情報（ユーザの両眼と仮想スクリーンとの間隔）とに基づいて、ユーサが表示／投影部１８（仮想スクリーン）上を注視しているか、あるいは仮想スクリーンの奥にある背景を注視しているのかを判定する。そして、判定結果を表示制御部１１ｅに通知する。
【００３２】
第２判定部１１ｃは、ユーザの視線とオブジェクトとの重なりを判定する部分であり、注視点検出部１１ａから通知された注視点の位置（座標）と透過型ＨＭＤ１０の構成情報（ユーザの両眼の位置）とに基づいて、ユーザの注視点を仮想スクリーン上にマッピングした位置（両眼の中心点と注視点を結ぶ線が仮想スクリーンと交差する点）を特定し、当該マッピングした位置を基準とする所定の範囲（以下、視線領域と呼ぶ。）と、仮想スクリーン上に表示されているオブジェクトの表示位置とが重なっているか否かを判定する。そして、判定結果を表示制御部１１ｅに通知する。
【００３３】
第３判定部１１ｄは、予め記憶部１５に記憶されたオブジェクト属性テーブルに基づいて、上記視線領域に重なっているオブジェクトに対応付けられた属性を取得し、取得した属性に基づいて、当該オブジェクトが、背景とは関係なく独立して表示するオブジェクトであるか、背景と重畳表示するオブジェクトであるかを判定する。そして、判定結果を表示制御部１１ｅに通知する。
【００３４】
表示制御部１１ｅは、記憶部１５からオブジェクトのデータを読み出し、表示／投影部１８にオブジェクトを表示させる。また、表示制御部１１ｅは、注視点検出部１１ａがユーザの注視点の移動を検出した場合、第１判定部１１ｂ、第２判定部１１ｃ及び、必要に応じて第３判定部１１ｄの判定結果に基づき、オブジェクトの表示位置及び／又は表示形態を変更／復元する。例えば、ユーサが仮想スクリーンの奥にある背景を注視しており、かつ、視線領域とオブジェクトの表示位置とが重なっている（必要に応じて、そのオブジェクトが背景を考慮せずに表示するオブジェクトである）場合は、オブジェクトの表示位置及び／又は表示形態を変更する。また、表示制御部１１ｅは、オブジェクトの表示位置及び／又は表示形態の変更後、注視点検出部１１ａがユーザの注視点の移動を検出した場合、注視点の移動により、ユーサが仮想スクリーン上を注視しているか、または、視線領域とオブジェクトの表示位置とが重なっていない場合は、オブジェクトの表示位置及び／又は表示形態を元の状態に戻す。
【００３５】
本発明において、オブジェクトの表示位置の変更とは、例えば、オブジェクトを視線領域外に移動させることである。また、オブジェクトの表示形態の変更とは、オブジェクトの視認性を低下させることであり、例えば、オブジェクトの表示輝度や投影光量を小さくしたり（本実施例では、オブジェクトの透過率を上げると記載する。）、オブジェクトのサイズを縮小（相似形の縮小及び変形の縮小の双方を含む。）したり、文字オブジェクトの線を細くしたり、オブジェクトの表示時間を短くするために点滅表示したり、オブジェクトを部分的に表示（メッシュ状やドット状の表示を含む。）したりすることである。また、本発明において、オブジェクトの表示位置の復元とは、例えば、オブジェクトを元の表示位置（視線領域と重なる位置）に戻すことである。また、オブジェクトの表示形態の復元とは、例えば、オブジェクトの透過率やサイズ、線の太さを元に戻したり、オブジェクトを常に表示するようにしたり、オブジェクトの全体を表示したりすることである。
【００３６】
なお、上記注視点検出部１１ａ、第１判定部１１ｂ、第２判定部１１ｃ、第３判定部１１ｄ及び表示制御部１１ｅは、ハードウェアとして構成してもよいし、制御部１１を注視点検出部１１ａ、第１判定部１１ｂ、第２判定部１１ｃ、第３判定部１１ｄ及び表示制御部１１ｅとして機能させる表示制御プログラムとして構成し、当該表示制御プログラムをＣＰＵ１２に実行させる構成としてもよい。また、図１（ｃ）の構成の場合は、表示制御プログラムを、コンピュータ装置３０、７０やサーバ５０などで動作させる構成としてもよい。
【００３７】
記憶部１５は、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＳＤ（Secure Digital）カードなどであり、透過型ＨＭＤ１０の筐体（眼鏡やサングラス、ゴーグルのツル（テンプル）など）の内外に固定又は配置され、表示／投影部１８に表示するオブジェクトのデータ、両眼の位置や仮想スクリーンの位置などを特定するための設定情報、各オブジェクトにオブジェクトの属性や表示変更の有無を示すフラグ、表示位置座標などを対応付けたオブジェクト属性テーブルなどを記憶する。
【００３８】
通信Ｉ／Ｆ部１６は、ＮＩＣ（Network Interface Card）やモデムなどであり、透過型ＨＭＤ１０の筐体（眼鏡やサングラス、ゴーグルのツル（テンプル）など）の内外に固定又は配置され、上述した無線ＬＡＮ通信や移動体通信、近距離無線通信などによって、外部の機器との通信を行う。なお、透過型ＨＭＤ１０が外部の機器と通信する必要がない場合（例えば、ＳＤカードで外部の機器とデータのやりとりを行う場合）は、通信Ｉ／Ｆ部１６を省略することができる。また、透過型ＨＭＤ１０が透過型ＨＭＤ本体１０ａと制御部１１とに分かれている場合は、双方に通信Ｉ／Ｆ部１６を設け、双方の通信Ｉ／Ｆ部１６を介して、制御部１１が透過型ＨＭＤ本体１０ａを制御するようにしてもよい。
【００３９】
撮像部１７は、ＣＣＤ（Charge Coupled Devices）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラなどであり、透過型ＨＭＤ１０の筐体（例えば、眼鏡やサングラス、ゴーグルのヨロイ（智）やブリッジなど）に固定され、直接若しくはハーフミラーなどを用いて装着者（ユーザ）の両眼の瞳の位置や動きなどを撮像し、撮像データを制御部１１に通知する。
【００４０】
表示／投影部１８は、制御部１１から受け取ったオブジェクトのデータに基づいてオブジェクトの像を仮想スクリーン上に表示するための表示装置若しくは投影装置である。オブジェクトの表示方法として、表示部自体が透過性を有し、その表示部にオブジェクトを表示させるディスプレイ方式と、透過性を有する部材に情報を投影させる投影方式とがある。ディスプレイ方式の場合は、眼鏡やサングラス、ゴーグルのレンズやガラスの表面に透過型の液晶表示装置などを配置し、その液晶表示装置を透過型ＨＭＤ１０の筐体に固定又は配置した駆動回路で駆動してオブジェクトを表示することによって仮想スクリーン上にオブジェクトの像を表示する。また、投影方式の場合は、眼鏡やサングラス、ゴーグルのヨロイなどに投影装置を配置し、レンズやガラスなどにオブジェクトを投影することによって仮想スクリーン上にオブジェクトの像を表示する。
【００４１】
なお、図２は、本実施例の透過型ＨＭＤ１０の一例であり、仮想スクリーン上に表示されるオブジェクトと仮想スクリーンを通して見える背景とが重畳表示可能であり、ユーザの注視点位置、視線領域とオブジェクトの表示領域との重なり、オブジェクトの属性に基づいて、オブジェクトの表示位置及び／又は表示形態を変更／復元可能な限りにおいて、その構成は適宜変更可能である。
【００４２】
以下、本実施例の透過型ＨＭＤ１０を用いてユーザの注視点を検出する方法について、図３及び図４を参照して説明する。図３は、ユーザの注視点と仮想スクリーンとの位置関係を模式的に斜視図及び平面図である。また、図４は、注視距離と輻輳角との関係を模式的に示す図であり、（ａ）はユーザの注視点が遠い場合、（ｂ）はユーザの注視点が近い場合を示している。
【００４３】
図３に示すように、情報表示システムの基準座標系（X，Y，Z）を設定する。ここでは、ＸＹ平面に仮想スクリーンが配置され、ユーザはＺ方向を見ているものとする。図中のＳは表示／投影部１８によってオブジェクトの像が表示される仮想スクリーン平面、Ｅはユーザの注視点、Ｃは両眼の中点Ｍとユーザの注視点Ｅを結ぶ線分と仮想スクリーン平面Ｓとの交点である。なお、ユーザの両眼は仮想スクリーン平面Ｓと平行であり、両眼の距離及び中点Ｍの位置、両眼から仮想スクリーン平面Ｓまでの距離は予め設定されているものとする。
【００４４】
このような情報表示システムにおいて、公知の技術を利用することによって注視点の３次元位置（座標）を検出することができる。例えば、図４に示すように、両眼の瞳の位置に基づいて両眼の視線方向を特定することができ、視線方向の差分から輻輳角を求めることができ、両眼の距離と輻輳角から注視点の座標を検出することができる。なお、注視点の検出方法に関しては、例えば、Thies Pfeiffer，Marc E. Latoschik，Ipke Wachsmuth，"Evaluation of Binocular Eye Tracker and Algorithms for 3D Gaze Interaction in Virtual Reality Environments"，Journal of Virtual Reality and Broadcasting，Volume 5，no.16，2008等に開示されている。
【００４５】
従って、制御部１１（注視点検出部１１ａ）は、撮像部１５が両眼の眼球を撮像した撮像データを取得し、取得した撮像データを解析して瞳の位置に基づいて輻輳角を特定することにより、ユーザの両眼の距離から、ユーザの注視点Ｅの座標を検出することができ、制御部１１（第１判定部１１ｂ）は、この注視点Ｅの座標に基づき、ユーザが仮想スクリーン上を注視しているのか、仮想スクリーンの先の背景を注視しているのかを判定することができる。また、制御部１１（第２判定部１１ｃ）は、注視点Ｅの座標及び両眼の中点Ｍの座標に基づいて仮想スクリーン上のＣの座標を計算で求めることができ、Ｃの座標と仮想スクリーン上に表示されているオブジェクトの座標とを比較することにより、視線領域にオブジェクトが表示されているか否かを判定することができる。
【００４６】
次に、仮想スクリーン上に表示されるオブジェクトの属性について説明する。図５はオブジェクト属性の定義の一例である。図５に示すように、仮想スクリーン上に表示されるオブジェクトは、背景に重畳表示する（背景を考慮して表示する）ことを意図した情報（例えば、背景にある物や建物等の認識結果など）と、背景とは関係なく独立して表示する（背景を考慮せずに表示する）情報（例えば、文書や写真、動画など）とがある。ユーザが背景を注視しており、かつ、これらのオブジェクトがユーザの視線と重なった場合、前者は背景と相関があるため、オブジェクトを移動させずに、背景を見やすくするために透過率を上げることが好ましく、後者は背景と相関がないため、ユーザの視線と重ならないようにオブジェクトを移動させるか、背景を見やすくするために透過率を上げるか、その双方を行うことが好ましい。
【００４７】
そこで、本実施例では、制御部１１（表示制御部１１ｅ）は、表示／投影部１８にオブジェクトを表示させる際に、全てのオブジェクトに対して、そのオブジェクトを生成／取得したアプリケーションの種類や、オブジェクトデータの拡張子などに基づいて、そのオブジェクトが上記のどちらの種類の情報であるかを判定し、オブジェクトとそのオブジェクトの属性とを対応付けて図６のオブジェクト属性テーブルに記述して、記憶部１５などに保存する。そして、制御部１１（第３判定部１１ｄ）は、図６のオブジェクト属性テーブルを参照して、注視点近傍領域に表示されているオブジェクトの属性を判定し、制御部１１（表示制御部１１ｅ）は、オブジェクトの属性が「１」の場合は、そのオブジェクトの表示形態を変更し、オブジェクトの属性が「２」の場合は、そのオブジェクトの表示位置及び／又は表示形態を変更する。
【００４８】
また、制御部１１（表示制御部１１ｅ）は、オブジェクトの表示位置及び／又は表示形態を変更した場合に、オブジェクト属性テーブルの表示変更フラグに「true」を書き込むと共に、オブジェクトの表示位置に変更が生じた場合は、仮想スクリーン上の元の表示位置座標（X，Y）もオブジェクト属性テーブルに書き込む。
【００４９】
このように、オブジェクトの性質に応じて属性を設定し、その属性をオブジェクト属性テーブルに記述しておくことにより、視線領域にオブジェクトが表示されている場合に、オブジェクトの表示位置及び／又は表示形態を適切に変更することができる。また、表示変更フラグや元の表示位置座標をオブジェクト属性テーブルに記述しておくことにより、視線領域にオブジェクトが表示されている場合に、ユーザの注視点が移動した場合に、表示位置及び／又は表示形態を変更したオブジェクトを適切に元の状態に戻すことができる。
【００５０】
以下、上記構成の透過型ＨＭＤ１０の動作について説明する。ＣＰＵ１２は、ＲＯＭ１３又は記憶部１５に記憶した表示制御プログラムを読み出し、ＲＡＭ１４に展開して実行することにより、図７乃至１０、図１７乃至図１９のフローチャート図に示す各ステップの処理を実行する。なお、以下のフローにおいて、表示／投影部１８に表示されるオブジェクトの属性は予めオブジェクト属性テーブルに登録されているものとする。
【００５１】
図７に示すように、制御部１１は、タイマーを０に設定し、タイマーの計測時間が予め定めた時間Ｔを越えるまで、所定時間（Δｔ）を加算する（Ｓ１０１〜Ｓ１０３）。タイマーの計測時間が予め定めた時間Ｔを越えたら、制御部１１（注視点検出部１１ａ）は、撮像部１７から通知された撮像データに基づいて、ユーザの注視点位置を検出する（Ｓ１０４）。この注視点位置の検出処理は上述した通りであり、撮像部１５が両眼の眼球を撮像した撮像データを解析し、瞳の位置に基づいて輻輳角を特定し、ユーザの両眼の距離からユーザの注視点位置Ｅの座標を検出する。
【００５２】
次に、制御部１１（第１検出部１１ｂ）は、検出したユーザの注視点位置（Ｚｅ）が仮想スクリーン上の点（Ｚｃ）よりも大きいか（すなわち、ユーザが仮想スクリーンの先の背景を注視しているか）を判断する。Ｚｃ＜Ｚｅの場合（ユーザが仮想スクリーンの先の背景を注視している場合）は、制御部１１（表示制御部１１ｅ）は、オブジェクトの表示位置及び／又は表示形態の変更処理を実施し（Ｓ１０６）、Ｚｃ≧Ｚｅの場合（ユーザが仮想スクリーン上のオブジェクトを注視している場合）は、制御部１１（表示制御部１１ｅ）は、オブジェクトの表示位置及び／又は表示形態の復元処理を実施する（Ｓ１０７）。この表示位置及び／又は表示形態の変更処理及び復元処理の詳細は後述する。
【００５３】
そして、制御部１１は、透過型ＨＭＤ１０の電源がオフでなければ（Ｓ１０８のＮｏ）、Ｓ１０１に戻って同様の処理を繰り返す。
【００５４】
次に、オブジェクトの表示位置及び／又は表示形態の変更処理について説明する。図８に示すように、制御部１１は、表示／投影部１８にオブジェクトが表示されているかを判断する（Ｓ２０１）。オブジェクトが表示されていない場合は、表示位置及び／又は表示形態を変更する必要がないため、処理を終了する。
【００５５】
オブジェクトが表示されている場合は、制御部１１（第２判定部１１ｂ）は、そのオブジェクトの表示位置が、ユーザの視線の仮想スクリーン上の点Ｃを中心とした半径ｒの領域Ｒと重なっているかを判断する（Ｓ２０２）。オブジェクトの表示位置が領域Ｒと重なっていない場合は、そのオブジェクトの表示位置及び／又は表示形態を変更する必要がないため、処理を終了する。
【００５６】
オブジェクトの表示位置が領域Ｒと重なっている場合は、制御部１１（第３判定部１１ｄ）は、予め記憶したオブジェクト属性テーブルを参照して、そのオブジェクトの属性が、背景に重畳表示することを意図したオブジェクトであることを示す「１」であるか、背景とは関係なく表示されるオブジェクトであることを示す「２」であるかを判定する（Ｓ２０３）。
【００５７】
オブジェクトの属性が「１」の場合は、オブジェクトを背景に重畳表示しつつ、背景を視認しやすくするために、制御部１１（表示制御部１１ｅ）は、そのオブジェクトの透過率を変更する（透過率を大きくして透明度を高くする）処理を実施する（Ｓ２０４）。その際、オブジェクトの透過率を目標とする透過率に一気に変化させてもよいが、透過率を一気に変化させると、ユーザの注意を惹いてしまう恐れがある。そこで、本実施例では、図９のフローチャート図に示すように、オブジェクトの透過率を徐々に大きくする制御を行う。具体的には、制御部１１（表示制御部１１ｅ）は、オブジェクトの透過率（transparency）が予め定めた透過率（Tmax、例えば８０％）以上になるまで、オブジェクトの透過率（transparency）に予め定めた値（fadespeed、例えば５％）を徐々に加算する（Ｓ２１１、Ｓ２１２）。
【００５８】
なお、上記Tmaxやfadespeedの値はオブジェクトのサイズや注視点の変化速度などに応じて適宜設定することができる。例えば、オブジェクトのサイズが大きい場合は、ユーザの注意を惹きやすいと考えられるため、Tmaxの値を大きくし、fadespeedの値を小さくする（透過率をゆっくり変化させて透明にする）ようにしてもよい。また、注視点の変化速度が大きい（ユーザが急に背景を注視した）場合は、オブジェクトが視界の妨げになる可能性が高いと考えられるため、Tmax及びfadespeedの値を大きくする（透過率を素早く変化させて透明にする）ようにしてもよい。
【００５９】
一方、オブジェクトの属性が「０」の場合は、オブジェクトによって視界が妨げられないようにするために、制御部１１（表示制御部１１ｅ）は、そのオブジェクトの表示位置を変更する処理を実施する（Ｓ２０５）。その際、オブジェクトの位置を目標とする位置に一気に移動させてもよいが、一気に移動させるとユーザの注意を惹いてしまう恐れがある。また、オブジェクトの透過率をそのままにして位置を移動させてもよいが、オブジェクトの透過率が低い状態でオブジェクトを移動させると、ユーザの注意を惹いてしまう恐れがある。そこで、本実施例では、図１０のフローチャート図に従ってオブジェクトの透過率を徐々に上げながら表示位置を変更している。
【００６０】
具体的には、図１０に示すように、制御部１１（表示制御部１１ｅ）は、オブジェクトの透過率（transparency）が予め定めた透過率（Tmax）よりも小さいかを判断し（Ｓ２２１）、予め定めた透過率（Tmax）よりも小さければ、オブジェクトの透過率（transparency）に予め定めた値（fadespeed）を加算する（Ｓ２２２）。次に、制御部１１（表示制御部１１ｅ）は、オブジェクトが目標位置（視線領域と重ならない位置）に到達しているかを判断し（Ｓ２２３）、到達していない場合は、オブジェクトの移動速度に予め定めた値（ΔＶ）を加算し（Ｓ２２４）、ΔＶを加算した移動速度でオブジェクトを移動させる（Ｓ２２５）。そして、制御部１１（表示制御部１１ｅ）は、オブジェクトの透過率（transparency）が予め定めた透過率（Tmax）以上であり、かつ、オブジェクトが目標位置に到達しているかを判断し（Ｓ２２６）、オブジェクトの透過率（transparency）が予め定めた透過率（Tmax）よりも小さいか、若しくは、オブジェクトが目標位置に到達していない場合は、Ｓ２２１に戻って同様の処理を繰り返す。
【００６１】
なお、図１０では、オブジェクトの透過率を大きくしながら位置を移動させたが、オブジェクトの透過率を大きくするか、オブジェクトの位置を移動させるかのいずれか一方の処理のみを行ってもよい。また、上記Tmaxやfadespeed、ΔＶの値はオブジェクトのサイズや注視点の変化速度などに応じて適宜設定することができる。例えば、オブジェクトのサイズが大きい場合は、ユーザの注意を惹きやすいと考えられるため、Tmaxの値を大きく（図９のTmaxよりも大きく）し、fadespeed及びΔＶの値を小さくする（透過率をゆっくり変化させて透明にし、ゆっくり移動させる）ようにしてもよい。また、注視点の変化速度が大きい（ユーザが急に背景を注視した）場合は、オブジェクトが視界の妨げになる可能性が高いと考えられるため、Tmax、fadespeed及びΔＶの値を大きくする（透過率を素早く変化させて透明にし、素早く移動させる）ようにしてもよい。
【００６２】
図８のフローチャート図に戻って、制御部１１（表示制御部１１ｅ）は、オブジェクト属性テーブルの表示変更フラグを「true」に設定し（Ｓ２０６）、オブジェクトを移動させた場合は、オブジェクト属性テーブルの元の表示位置座標に、そのオブジェクトの移動前の座標を設定して、オブジェクト表示変更処理を終了する。例えば、図６のオブジェクト属性テーブルでは、「オブジェクトＡ」に対してＳ２０４のオブジェクト表示透過率変更処理を行ったために表示変更フラグが「true」なっている。また、「オブジェクトＣ」に対してＳ２０５のオブジェクト表示変更処理を行ったために表示変更フラグが「true」なっており、元の表示位置の座標が（80,300）であることが示されている。
【００６３】
図１１乃至図１６は、上記フローに従ってオブジェクトの表示位置又は表示形態を変更した例を示している。例えば、図１１に示すように、仮想スクリーンＳ上にオブジェクト属性が「１」のオブジェクトが表示されており、ユーザがそのオブジェクトの先の背景を注視した場合、制御部１１（表示制御部１１ｅ）は、そのオブジェクトの内、ユーザの視線の仮想スクリーン上の位置Ｃを中心とした半径ｒの領域Ｒと重なっている部分の透過率を大きくして（ハッチングの濃度で透過率の変化を示している。）、そのオブジェクトがユーザの視界の妨げにならないようにする。
【００６４】
なお、図１１では、オブジェクトの内の領域Ｒと重なっている部分の透過率のみを大きくしたが、例えば、図１２に示すように、領域Ｒと一部が重なるオブジェクトの全部の透過率を大きくしてもよい。また、図１１及び図１２では、オブジェクトの透過率を一様に大きくしたが、例えば、図１３に示すように、領域Ｒを位置Ｃからの距離に応じて複数の領域（図では２つの領域）に分け、位置Ｃに近くなるほど透過率が大きくなるようにしてもよい。
【００６５】
また、図１４に示すように、仮想スクリーンＳ上にオブジェクト属性が「２」のオブジェクトが表示されており、ユーザがそのオブジェクトの先の背景を注視した場合、制御部１１（表示制御部１１ｅ）は、ユーザの視線の仮想スクリーン上の位置Ｃを中心とした半径ｒの領域Ｒと重ならない位置まで、そのオブジェクトを移動させ、また、必要に応じて、オブジェクトの透過率を大きくして、そのオブジェクトがユーザの視界の妨げにならないようにする。
【００６６】
なお、図１４では、仮想スクリーンＳの右側に表示されているオブジェクトを仮想スクリーンＳの左側に移動させたが、オブジェクトの移動方向は任意である。例えば、図１５に示すように、仮想スクリーンＳの右側に表示されているオブジェクトを仮想スクリーンＳの更に右側に移動させてもよい。その場合、オブジェクトを領域Ｒと重ならないように移動させるとオブジェクトの全部が表示できない場合は、オブジェクトの一部のみを表示してもよく、オブジェクトの一部のみを表示することによってユーザの視界を確保することができる。また、ユーザの視線の移動方向を考慮してオブジェクトの移動方向を設定することもできる。例えば、図１６に示すように、ユーザの視線位置が仮想スクリーンＳの中央から右側に移動した場合、ユーザは仮想スクリーンＳの右側に意識が集中すると考えられるため、オブジェクトは仮想スクリーンＳの左側に移動させてユーザの注意を惹かないようにすることができる。その場合、ユーザの視線位置の移動距離や移動速度に応じてオブジェクトの移動距離や移動速度を変化させることができる。
【００６７】
上記処理によって、ユーザの視界を確保することができるが、ユーザが再び仮想スクリーン上を注視した場合に、オブジェクトの表示位置や表示形態をそのままにすると、ユーザはオブジェクトを確認することができなくなってしまう。そこで、本実施例では、図７のフローチャート図のＳ１０５で、注視点ＥのＺ座標が仮想スクリーン上の点ＣのＺ座標よりも小さくなった場合、オブジェクト表示復元処理を実施する。以下、図１７乃至図１９を参照して具体的に説明する。
【００６８】
図１７に示すように、制御部１１は、表示／投影部１８にオブジェクトが表示されているかを判断する（Ｓ３０１）。オブジェクトが表示されていない場合は、表示位置及び／又は表示形態を復元する必要がないため、処理を終了する。
【００６９】
オブジェクトが表示されている場合は、制御部１１（表示制御部１１ｅ）は、オブジェクト属性テーブルを参照して、そのオブジェクトの表示変更フラグが「true」であるかを判断する（Ｓ３０２）。表示変更フラグが「true」でない場合は、そのオブジェクトは表示位置及び／又は表示形態が変更されたオブジェクトではないため、処理を終了する。
【００７０】
オブジェクトの表示変更フラグが「true」の場合は、制御部１１（第３判定部１１ｄ）は、オブジェクト属性テーブルを参照して、そのオブジェクトの属性が「１」であるか「２」であるかを判定する（Ｓ３０３）。
【００７１】
オブジェクトの属性が「１」の場合は、制御部１１（表示制御部１１ｅ）は、そのオブジェクトの透過率を復元する（透過率を小さくして透明度を低くする）処理を実施する（Ｓ３０４）。その際、オブジェクトの透過率を元の透過率に一気に変化させてもよいが、透過率に一気に変化させると、ユーザの注意を惹いてしまう恐れがある。そこで、本実施例では、図１８のフローチャート図に示すように、オブジェクトの透過率を徐々に小さくする制御を行う。具体的には、制御部１１（表示制御部１１ｅ）は、オブジェクトの透過率（transparency）が元の透過率（Tmin、例えば５０％）以下になるまで、オブジェクトの透過率（transparency）から予め定めた値（fadespeed、例えば５％）を徐々に減算する（Ｓ３１１、Ｓ３１２）。
【００７２】
なお、上記fadespeedの値はオブジェクトのサイズや注視点の変化速度などに応じて適宜設定することができる。例えば、オブジェクトのサイズが大きい場合は、ユーザの注意を惹きやすいと考えられるため、fadespeedの値を小さくする（透過率をゆっくり変化させて元に戻す）ようにしてもよい。また、注視点の変化速度が大きい（ユーザが急に仮想スクリーンを注視した）場合は、オブジェクトを確認する意図があると考えられるため、fadespeedの値を大きくする（透過率を素早く変化させて元に戻す）ようにしてもよい。
【００７３】
一方、オブジェクトの属性が「０」の場合は、制御部１１（表示制御部１１ｅ）は、そのオブジェクトの表示位置を復元する処理を実施する（Ｓ３０５）。その際、オブジェクトの表示位置を元の表示位置に一気に移動させてもよいが、一気に移動させるとユーザの注意を惹いてしまう恐れがある。また、オブジェクトの透過率を元の透過率に一気に戻してもよいが、透過率に一気に戻すとユーザの注意を惹いてしまう恐れがある。そこで、本実施例では、図１９のフローチャート図に従ってオブジェクトの透過率を徐々に下げながら元の表示位置に移動させている。
【００７４】
具体的には、図１９に示すように、制御部１１（表示制御部１１ｅ）は、オブジェクトの透過率（transparency）が予め定めた透過率（Tmin）よりも大きいかを判断し（Ｓ３２１）、予め定めた透過率（Tmin）以上であれば、オブジェクトの透過率（transparency）から予め定めた値（fadespeed）を減算する（Ｓ３２２）。次に、制御部１１（表示制御部１１ｅ）は、オブジェクトが元の表示位置に到達しているかを判断し（Ｓ３２３）、到達していない場合は、オブジェクトの移動速度に予め定めた値（ΔＶ）を加算し（Ｓ３２４）、ΔＶを加算した移動速度でオブジェクトを移動させる（Ｓ３２５）。そして、制御部１１（表示制御部１１ｅ）は、オブジェクトの透過率（transparency）が予め定めた透過率（Tmin）以下であり、かつ、オブジェクトが元の表示位置に到達しているかを判断し（Ｓ３２６）、オブジェクトの透過率（transparency）が予め定めた透過率（Tmin）よりも大きいか、若しくは、オブジェクトが元の表示位置に到達していない場合は、Ｓ３２１に戻って同様の処理を繰り返す。
【００７５】
なお、図１９では、オブジェクトの透過率を徐々に小さくしながら位置を移動させたが、オブジェクトの透過率は一気に戻し、オブジェクトの表示位置をのみを徐々に移動させるようにしてもよいし、オブジェクトの透過率は徐々に戻し、オブジェクトの表示位置を一気に移動させるようにしてもよい。また、上記fadespeedやΔＶの値はオブジェクトのサイズや注視点の変化速度などに応じて適宜設定することができる。例えば、オブジェクトのサイズが大きい場合は、ユーザの注意を惹きやすいと考えられるため、fadespeed及びΔＶの値を小さくする（透過率をゆっくり小さくして、ゆっくり移動させる）ようにしてもよい。また、注視点の変化速度が大きい（ユーザが急に仮想スクリーンを注視した）場合は、オブジェクトを早く確認したいと考えている可能性が高いため、fadespeed及びΔＶの値を大きくする（透過率及び表示位置を素早く元に戻す）ようにしてもよい。
【００７６】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、透過型ＨＭＤ１０の構成や制御方法は適宜変更可能である。
【００７７】
例えば、上記実施例では、オブジェクトの表示形態の変更としてオブジェクトの透過率を上げる場合を例示したが、透過率を上げる制御に代えて、若しくは、透過率を上げる制御に加えて、オブジェクトのサイズを縮小したり、文字オブジェクトの線を細くしたり、オブジェクトの表示時間を短くしたり、オブジェクトを部分的に表示したりしてもよい。
【００７８】
また、表示／投影部１８を用いて、眼鏡やサングラス、ゴーグルのレンズやガラスなどにオブジェクトを表示する際に、左右２つのレンズやガラスにオブジェクトを表示してもよいし、一方のレンズやガラスのみにオブジェクトを表示してもよい。
【００７９】
また、上記実施例では、眼鏡やサングラス、ゴーグル、帽子などと一体となったウェアラブルな透過型ＨＭＤ１０について説明したが、ユーザの両眼と仮想スクリーンの位置間隔を一定に保つことができれば、機器に固定される装置（透過型ＨＵＤなど）に対しても、本発明の表示制御方法を同様に適用することができる。
【産業上の利用可能性】
【００８０】
本発明は、透過型ＨＭＤを有する情報表示システム及び透過型ＨＭＤにおけるオブジェクトの表示を制御する表示制御プログラム並びに当該表示制御プログラムを記録した記録媒体に利用可能である。
【符号の説明】
【００８１】
１０  透過型ＨＭＤ
１１  制御部
１１ａ  注視点検出部
１１ｂ  第１判定部
１１ｃ  第２判定部
１１ｄ  第３判定部
１１ｅ  表示制御部
１２  ＣＰＵ
１３  ＲＯＭ
１４  ＲＡＭ
１５  記憶部
１６  通信Ｉ／Ｆ部
１７  撮像部
１８  表示／投影部
２０  通信端末
３０  コンピュータ装置
４０  画像形成装置
５０  サーバ
６０  インターネット
７０  コンピュータ装置
【図１】
2015090635.tif 000003
【図２】
2015090635.tif 000004
【図３】
2015090635.tif 000005
【図４】
2015090635.tif 000006
【図５】
2015090635.tif 000007
【図６】
2015090635.tif 000008
【図７】
2015090635.tif 000009
【図８】
2015090635.tif 000010
【図９】
2015090635.tif 000011
【図１０】
2015090635.tif 000012
【図１１】
2015090635.tif 000013
【図１２】
2015090635.tif 000014
【図１３】
2015090635.tif 000015
【図１４】
2015090635.tif 000016
【図１５】
2015090635.tif 000017
【図１６】
2015090635.tif 000018
【図１７】
2015090635.tif 000019
【図１８】
2015090635.tif 000020
【図１９】
2015090635.tif 000021