(57)【特許請求の範囲】
【請求項１】
ａ）−ユーザの左眼（１６ａ）を補足するように配置された少なくとも第１のカメラ（１４ａ）、及び
−ユーザの右眼（１６ｂ）を補足するように配置された少なくとも第２のカメラ（１４ｂ）、
を備える両眼視線追跡システム（１４ａ，１４ｂ）と、
ｂ）−ユーザの左眼（１６ａ）に画像を提示するよう配置された第１の表示手段（１８ａ）、及び
−ユーザの右眼（１６ｂ）に画像を提示するよう配置された第２の表示手段（
１８ｂ）、
を備えるヘッドマウントディスプレイ（１０）と、
ｃ）−前記視線追跡システム（１４ａ，１４ｂ）からの画像を処理し、少なくとも、前記左眼（１６ａ）及び右眼（１６ｂ）の３Ｄ位置及び前記左眼（１６ａ）及び右眼（１６ｂ）の方向ベクトルを計算し、
−前記ヘッドマウントディスプレイによって前記ユーザの左眼及び右眼（１６ａ，１６ｂ）に投影すべきディジタル画像のストリームを計算及びレンダリングする、
ように設計された処理装置（２４，２４ａ，２４ｂ）と、
を備えるヘッドマウントシステム（１０）において、
前記処理装置（２４，２４ａ，２４ｂ）は、更に、前記ディジタル画像のストリームを計算及びレンダリングする際に、仮想３Ｄシーンをレンダリングする際及び／又は仮想シーンのどの部分をインフォーカスでレンダリングするかを決定する際に仮想カメラを位置決めするために、前記左眼及び右眼（１６ａ，１６ｂ）の３Ｄ位置及び前記左眼及び右眼（１６ａ，１６ｂ）の方向ベクトルを考慮するように設計されている、
ことを特徴とするヘッドマウントシステム（１０）。
【請求項２】
前記ヘッドマウントシステム（１０）は装着手段（１２）を備え、前記処理装置（２４，２４ａ、２４ｂ）は前記前記装着手段（１２）に機械的に結合される、
ことを特徴とする請求項１記載のヘッドマウントシステム（１０）。
【請求項３】
前記ヘッドマウントシステム（１０）は、装着手段（１２）及び前記装着手段（１２）に機械的に結合されたデータインタフェースを備え、前記処理装置（２４，２４ａ、２４ｂ）は前記データインタフェースと有線で又は無線で結合される、
ことを特徴とする請求項１記載のヘッドマウントシステム（１０）。
【請求項４】
前記ヘッドマウントシステム（１０）は、画像を前記ユーザの眼（１６ａ，１６ｂ）に投影する光導波手段を備え、前記画像は前記視線追跡システム（１４ａ，１４ｂ）により使用される光路とは実質的に別の光路を辿る、
ことを特徴とする請求項１−３のいずれか一項に記載のヘッドマウントシステム（１０）。
【請求項５】
前記処理装置（２４，２４ａ，２４ｂ）は、注視点（ＰＯＲ）の３Ｄ位置及び各眼までの距離を、前記左眼及び右眼（１６ａ，１６ｂ）の３Ｄ位置及び前記左眼及び右眼（１６ａ，１６ｂ）の方向ベクトルを用いて計算するように設計されている、
ことを特徴とする請求項１−４のいずれか一項に記載のヘッドマウントシステム（１０）。
【請求項６】
前記処理装置（２４，２４ａ，２４ｂ）は、前記注視点（ＰＯＲ）の３Ｄ位置を前記左眼及び右眼（１６ａ，１６ｂ）の前記計算された３Ｄ位置及び方向ベクトルにより決まる前記左眼及び右眼の方向光線の間の最近点として推定するように設計されている、ことを特徴とする請求項５に記載のヘッドマウントシステム（１０）。
【請求項７】
前記処理装置（２４，２４ａ，２４ｂ）は、前記左眼及び右眼方向光線及び位置をマッピング関数によって、オフセット、線形又は非線形変換を用いてフィルタ処理するように設計されている、
ことを特徴とする請求項６記載のヘッドマウントシステム（１０）。
【請求項８】
前記処理装置（２４，２４ａ，２４ｂ）は、前記ヘッドマウントシステム（１０）を校正する校正プロシージャを特定のユーザに対して実行するように設計され、前記マッピング関数は、前記校正プロシージャの結果である、
ことを特徴とする請求項７記載のヘッドマウントシステム（１０）。
【請求項９】
前記処理装置（２４，２４ａ，２４ｂ）は、前記ヘッドマウントディスプレイによりユーザに注視すべき仮想目標として仮想刺激（２８）を示し、前記左眼及び右眼（１６ａ，１６ｂ）の３Ｄ位置及び方向ベクトルにより計算された前記注視点（ＰＯＲ）と前記仮想刺激（２８）の位置との間の差を決定することによって前記校正プロシージャを実行するように設計されている、
ことを特徴とする請求項８記載のヘッドマウントシステム（１０）。
【請求項１０】
前記処理装置（２４，２４ａ，２４ｂ）は、予め決められた経路又はランダムな経路に沿って移動する前記仮想目標を提供するように設計されている、
ことを特徴とする請求項９記載のヘッドマウントシステム（１０）。
【請求項１１】
前記処理装置（２４，２４ａ，２４ｂ）は、前記左眼及び右眼（１６ａ，１６ｂ）の３Ｄ位置及び方向ベクトルにより計算された前記注視点（ＰＯＲ）と前記ヘッドマウントディスプレイに投影された画像内の頻出する関心物体及び／又は視覚的アンカーとの間の差を時間と共に連続的に計算することによって前記校正プロシージャを実行するように設計されている、
ことを特徴とする請求項９記載のヘッドマウントシステム（１０）。
【請求項１２】
前記処理装置（２４，２４ａ，２４ｂ）は、瞳孔間距離を計算するように設計され、更に、前記瞳孔間距離及び左眼及び前記右眼（１６ａ，１６ｂ）の３Ｄ位置に基づいて仮想視点を計算し、３Ｄ仮想シーンを模擬するために左眼及び右眼（１６ａ，１６ｂ）用の１対の画像をレンダリングする際に、これらの仮想視点を用いるように設計されている、ことを特徴とする請求項５記載のヘッドマウントシステム（１０）。
【請求項１３】
前記処理装置（２４，２４ａ，２４ｂ）は、前記注視点（ＰＯＲ）の距離に基づいて、レンダリングされた仮想画像内にインフォーカスで示される領域を決定するように設計され、前記処理装置（２４，２４ａ，２４ｂ）は、更に、それに応じて仮想画像をレンダリングして、現実の物体を現実のシーン内の注視点（ＰＯＲ）と同じ３Ｄ座標に見る場合に人間の眼が観察する全体画像に対する焦点深度を模擬するように設計されている、ことを特徴とする請求項５記載のヘッドマウントシステム（１０）。
【請求項１４】
前記処理装置（２４，２４ａ，２４ｂ）は、一方では前記左眼及び右眼（１６ａ，１６ｂ）の３Ｄ位置に基づいて、他方では前記注視点（ＰＯＲ）までの距離に基づいて、前記ヘッドマウントシステム（１０）を装着するユーザによって見られるシーンに融合する少なくとも１つの複合現実要素をレンダリングするように設計されている、
ことを特徴とする請求項１３記載のヘッドマウントシステム（１０）。
【請求項１５】
前記処理装置（２４，２４ａ，２４ｂ）は、前記ユーザの眼（１６ａ、１６ｂ）に投影されるシーンの画像に示されるように少なくとも１つの仮想活性化要素（３０）をレンダリングするように設計され、前記処理装置（２４，２４ａ，２４ｂ）は、更に、所定の活性化条件が満たされる場合に、前記仮想活性化要素（３０）と関連する所定の機能を活性化するように設計されている、
ことを特徴とする請求項５−１４のいずれか一項に記載のヘッドマウントシステム（１０）。
【請求項１６】
前記処理装置（２４，２４ａ，２４ｂ）は、前記少なくとも１つの仮想活性化要素（３０）を、前記シーン内に所定の時間中所定の３Ｄ方向を持つ所定の位置に位置する有限の多角形の３Ｄ又は２Ｄ形状としてレンダリングするように設計されている、ことを特徴とする請求項１５に記載のヘッドマウントシステム（１０）。
【請求項１７】
前記処理装置（２４，２４ａ，２４ｂ）は、前記少なくとも１つの仮想活性化要素（３０）を、所定の色で、及び／又は、それ自体にテキスト及び／又は画像を含めて、及び／又は、全く不透明と完全に透明との間の種々の透明度でレンダリングするように設計されている、
ことを特徴とする請求項１５又は１６記載のヘッドマウントシステム（１０）。
【請求項１８】
前記処理装置（２４，２４ａ，２４ｂ）は、前記少なくとも１つの仮想活性化要素（３０）を、ユーザの注視点距離に応じて、不透明と完全に透明との間の種々の透明度でレンダリングするように設計されている、
ことを特徴とする請求項１５又は１６記載のヘッドマウントシステム（１０）。
【請求項１９】
前記処理装置（２４，２４ａ，２４ｂ）は、前記活性化条件は前記注視点（ＰＯＲ）が前記活性化要素（３０）により決まる仮想空間領域に入ることであるように設計されている、
ことを特徴とする請求項１５−１８のいずれか一項に記載のヘッドマウントシステム（１０）。
【請求項２０】
前記処理装置（２４，２４ａ，２４ｂ）は、前記活性化条件は前記注視点（ＰＯＲ）が前記活性化要素（３０）により決まる仮想空間領域内に所定の時間量の間存在することであるように設計されている、
ことを特徴とする請求項１５−１９のいずれか一項に記載のヘッドマウントシステム（１０）。
【請求項２１】
前記処理装置（２４，２４ａ，２４ｂ）は、前記活性化条件は前記注視点（ＰＯＲ）が前記活性化要素（３０）により決まる仮想空間領域に入り所定の時間量以内に出ることであるように設計されている、
ことを特徴とする請求項１５−２０のいずれか一項に記載のヘッドマウントシステム（１０）。
【請求項２２】
前記処理装置（２４，２４ａ，２４ｂ）は、前記活性化条件は前記注視点（ＰＯＲ）が前記活性化要素（３０）により決まる仮想空間領域に入り、その後まばたきが所定の時間窓内に前記視線追跡システム（１４ａ、１４ｂ）により検出されることであるように設計されている、
ことを特徴とする請求項１５−２１のいずれか一項に記載のヘッドマウントシステム（１０）。
【請求項２３】
前記処理装置（２４，２４ａ，２４ｂ）は、前記活性化条件は前記注視点（ＰＯＲ）が前記活性化要素（３０）により決まる仮想空間領域に入り、その後外部インタフェースからのトリガイベントが活性化されることであるように設計されている、ことを特徴とする請求項１５−２２のいずれか一項に記載のヘッドマウントシステム（１０）。
【請求項２４】
外部インタフェースからの前記トリガイベントは、
−機械的トリガ、ボタン又はタッチセンシティブ表面の押圧、
−ユーザの体に接続された筋電図インタフェースにおける変化の検出、
−音声コマンドの発行、
−生物学的モニタリング機能の閾値レベルへの到達（生物学的モニタリング機能はＥＥＧインタフェースにおける脈拍数／心拍数、血圧、チャネルである）、及び／又は
−ジェスチャセンサで検出される指、手及び腕ジェスチャ、
である、
ことを特徴とする請求項２３記載のヘッドマウントシステム（１０）。
【請求項２５】
前記処理装置（２４，２４ａ，２４ｂ）は、同じ仮想距離に位置する一群の活性化要素（３０ａ−３０ｄ）を、前記左眼（１６ａ）、前記右眼（１６ｂ）及び前記注視点（ＰＯＲ）の３Ｄ位置から計算される画像視差及び疑似焦点深度に基づいて強調表示及び／又は事前活性化するように設計されている、
ことを特徴とする請求項５−２４のいずれか一項に記載のヘッドマウントシステム（１０）。
【請求項２６】
前記処理装置（２４，２４ａ，２４ｂ）は、同じ仮想距離に位置する一群の活性化要素（３０ａ−３０ｄ）のすべてを、前記左眼（１６ａ）、前記右眼（１６ｂ）及び前記注視点（ＰＯＲ）の３Ｄ位置から計算される画像視差及び疑似焦点深度に基づいて強調表示及び／又は事前活性化するように設計されている、
ことを特徴とする請求項５−２５のいずれか一項に記載のヘッドマウントシステム（１０）。
【請求項２７】
前記処理装置（２４，２４ａ，２４ｂ）は、あるグループの活性化要素（３０ａ−３０ｄ）をそのすべての要素に実質的に焦点を合わせることによって強調表示するが、他のグループ（３０ｉ−２，３０ｉ−１，３０ｉ）内のすべての他の活性化要素はピント外れでレンダリングされるように設計されている、
ことを特徴とする請求項２５又は２６記載のヘッドマウントシステム（１０）。
【請求項２８】
前記処理装置（２４，２４ａ，２４ｂ）は、更に、他のグループ内のすべての他の活性化要素（３０ｉ−２，３０ｉ−１，３０ｉ）を部分的に又は完全に透明にレンダリングするように設計されている、
ことを特徴とする請求項２７記載のヘッドマウントシステム（１０）。
【請求項２９】
前記処理装置（２４，２４ａ，２４ｂ）は、前記それぞれのカメラ（１４ａ，１４ｂ）に対する前記左眼（１６ａ）及び右眼（１６ｂ）の３Ｄ位置を計算するように設計され、前記それぞれの眼（１６ａ，１６ｂ）までの前記それぞれのカメラ（１６ａ、１６ｂ）の距離が動的に変化しない眼の特徴の寸法から計算される、ことを特徴とする請求項１−２８のいずれか一項に記載のヘッドマウントシステム。
【請求項３０】
ユーザの左眼（１６ａ）を補足するように配置された少なくとも第１のカメラ（１４ａ）、及びユーザの右眼（１６ｂ）を補足するように配置された少なくとも第２のカメラ（１４ｂ）を備える両眼視線追跡システム（１４ａ，１４ｂ）と、ユーザの左眼（１６ａ）に画像を提示するよう配置された第１の表示手段（１８ａ）、及びユーザの右眼（１６ｂ）に画像を提示するよう配置された第２の表示手段（１８ｂ）を備えるヘッドマウントディスプレイ（１０）と、前記視線追跡システム（１４ａ，１４ｂ）からの画像を処理し、少なくとも、前記左眼（１６ａ）及び右眼（１６ｂ）の３Ｄ位置及び前記左眼（１６ａ）及び右眼（１６ｂ）の方向ベクトルを計算し、前記ヘッドマウントディスプレイによって前記ユーザの左眼及び右眼（１６ａ，１６ｂ）に投影すべきディジタル画像のストリームを計算及びレンダリングするように設計された処理装置（２４，２４ａ，２４ｂ）と、を備えるヘッドマウントシステム（１０）を用いてディジタル画像のストリームを計算しレンダリングする方法において、
前記ディジタル画像のストリームを計算及びレンダリングする際に、仮想３Ｄシーンをレンダリングする際及び／又は仮想シーンのどの部分をインフォーカスでレンダリングするかを決定する際に仮想カメラを位置決めするために、前記左眼及び右眼（１６ａ，１６ｂ）の３Ｄ位置及び前記左眼及び右眼（１６ａ，１６ｂ）の方向ベクトルを考慮するステップを含む、
ことを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの左眼を捕捉するように配置された少なくとも第１のカメラ及びユーザの右眼を捕捉するように配置された少なくとも第２のカメラを備える両眼視線追跡システムを備えたヘッドマウントシステムに関する。ヘッドマウントシステムは、更に、ユーザの左眼に画像を提示する第１の表示手段及びユーザの右眼に画像を提示する第２の表示手段を備えたヘッドマウントディスプレイを備える。ヘッドマウントシステムは、更に、視線追跡システムからの画像を処理し、少なくとも左眼及び右眼の３Ｄ位置及び左眼及び右眼の方向ベクトルを計算するように設計された処理装置を備える。処理装置は、更に、ディジタル画像のストリームを計算及びレンダリング処理してヘッドマウントディスプレイによりユーザの左眼及び右眼に投影するにように設計される。本発明は、更に、このようなヘッドマウントシステムを用いてディジタル画像のストリームを計算及びレンダリング処理する方法に関する。
【背景技術】
【０００２】
このようなヘッドマウントシステムは、フリーレンジ動作セットアップにおいて人間の動作をできるだけ十分に測定および分類するために、視線追跡、眼球測定(oculometrics)、生物測定及び位置及び運動測定を行うのに使用される。
【０００３】
特許文献１は、ヘッドマウントデバイス（ＨＭＤ）を用いるとともにプロセッサを組み込んだパーソナルナビゲーションデバイスを開示している。このデバイスはヘッド方位及びポータブル座標位置センサ（ＧＰＳ）を使用する。特許文献２は、第１の光伝達基板及び光波が全反射で伝播する２つの主表面を有する透明層を備えた光学装置を開示している。特許文献３は、互いに平行な少なくとも２つの主表面及び端面を有する基板、視野内に位置する光波を内部反射により前記基板内へ結合する第１の光学素子、及び前記捕捉された光を前記基板から外へ結合する第２の光学素子を備え、前記主表面の少なくとも１つが角度感応被膜で被覆されている、光学装置を開示している。特許文献４から、ＨＭＤ及び狭帯域無線チャネルで通信する別個の制御ユニットの２つのユニットからなる電子光学システムが既知である。特許文献５は、導波路、入力結合用ミラーの一次元アレイ及び出力結合用ミラーの二次元アレイを備えるＨＭＤ用光学装置を開示している。特許文献６は、ヘッドマウントディスプレイを視線追跡装置と一体化した装置を開示している。この文献は極めて特殊の視線追跡技術を示し、この技術では４つの閃光を発生する４つの光源を使用し、視線追跡装置とＨＭＤ投影機構はビームスプリッタを使って同じ光路を共用する。特許文献７は、直交配置の発光素子対及び光検出素子対を用いた眼球運動検出技術を教示している。特許文献８はディスプレイと光検出器アレイとの組み合わせを開示している。発光素子及び光検出素子は同じ場所に配置され、眼に向けて放出され及び眼から反射された光は同じ光路を共有する。ディスプレイはヘルメットに装着してよい。特許文献９は、オペレータの眼の動きを追跡する方法を教示し、この方法はアイカメラ、処理装置、前記眼の少なくとも一部分、例えば形、大きさ及び照明などを模擬するカスタムテンプレートを用いる。特許文献１０は、ユーザの頭部に装着するアイテムとして構成されたヘッドマウントディスプレイユニットを備えた音声発生装置に関し、ヘッドマウントディスプレイユニットは、ユーザの視野内に１以上の画像を表示するディスプレイ装置、オーディオ出力を発生するスピーカ、及びヘッドマウントディスプレイユニット及びスピーカに通信可能に結合された処理装置を含む。視線追跡は任意選択要素であり、音声発生を制御するカーソルとして使用し得るのみである。特許文献１１は、視線追跡機能を有する投影型ヘッドマウントディスプレイ装置を教示する。この装置は、眼を照明して多角形の複数の閃光、暗い瞳孔及び明るい瞳孔を交互に生成するための複数の光源、ヘッドマウントディスプレイパス及び視線追跡装置パスのための光路を提供する光学系、視線追跡装置パス内に位置し、赤外光を反射し、可視光を界面を介して外部コントローラに送る第１及び第２のホットミラーを用いる。これは一つの特定の技術的解決法に関し、ＨＭＤと視線追跡（ＥＴ）装置は画像を眼に向けて投影し眼を観察して視線追跡を行うために同じ光路を共有する。この技術はホットミラーを用いて軸外照明及び軸上照明を交互にし、検出のための暗い瞳孔及び明るい瞳孔効果を達成する。ＨＭＤとＥＴを組み合わせた別の装置が特許文献１２から既知である。この文献は、滑らかに移動する物体を表示し、装置のロックを解除しモードを切り替えるために、この移動物体を実質的に追わなければならない眼の経路を追跡することによって、「アクティブ」、即ちハイパワー動作モードと、「ロック」、即ち低パワー状態との間で装置を切り替える方法を開示している。この照合は、オフセットを決定し、スケーリングし、回転調整することによって、視線追跡装置により計算される視線経路の変換を校正するためにも使用される。特許文献１３はゴーグル形態のヘッドマウント視線追跡装置に関する。これはＨＭＤを含まない。
【０００４】
特許文献１４は、第１及び第２のアイピースソケットを有し、第１の眼と関連する前記第１のアイピースソケットに第１のディスプレイが内蔵されている少なくとも１つのアイピースと、第１のアイカメラが前記第１の眼の基準点を追跡し、第２のアイカメラが第２の眼の基準点を追跡するように装着された２つのアイカメラと、前記少なくとも１つのアイピースの全制御を提供するプロセッサと、第２のディスプレイと、メインプロセッサとを含む３Ｄディスプレイ用システムを開示している。信号が前記メインプロセッサと前記少なくとも１つのアイピースとの間で伝送され、前記２つのアイカメラが前記基準点を追跡し、前記アイピーストランシーバが前記基準点を前記メイントランシーバを介して前記メインプロセッサに送信する。前記メインプロセッサが前記基準点に基づいて画像データを生成し、前記画像を前記ディスプレイに送信して３Ｄ画像を発生させる。この文献は本願の独立請求項の前置きを明確に表すために使用されている。
【０００５】
特許文献１５は、３Ｄ目標位置決定システム及び方法に関する。これによれば、目標は２つ以上のビデオカメラを用いて３次元空間内に結像される。２つ以上のビデオカメラの２つのビデオカメラから合成される３Ｄ画像空間は立体ディスプレイによってユーザに表示される。ユーザが立体ビデオディスプレイ中の目標を観察するとき、ユーザの右眼及び左目が像を形成し、右眼の視線及び左眼の視線が３Ｄ画像空間内で計算され、３Ｄ画像空間内の注視点が両眼視線追跡装置によって右眼視線及び左眼視線の交点として計算される。リアル目標位置は３Ｄ画像空間内の注視点を２つのビデオカメラの場所及び位置からプロセッサによって３Ｄリアル空間内のリアル目標位置に変換される。アイマウントディスプレイを用いたシステムが特許文献１６から既知である。この文献は眼の外部及び／又は内部に装着されたディスプレイ装置を教示している。アイマウントディスプレイは複数のサブディスプレイを含み、これらのサブディスプレイの各々は網膜の対応する部分内の異なる網膜位置に光を投影する。投影光は瞳孔中を伝搬するが、瞳孔全体を満たさない。このようにして、複数のサブディスプレイはそれらの光を網膜の関連部分に投影することができる。光は瞳孔から隔膜へ移動し、隔膜への瞳孔の投影は隔膜アパーチャと称される。投影された光は全隔膜アパーチャの一部分を通って伝搬する。サブディスプレイは角膜表面で空間多重を利用する。様々な電子機器がアイマウントディスプレイにインタフェースする。特許文献１７は、異なる画像をユーザの各眼に提示する立体３Ｄビジョン技術を、各画像を観察者の各眼の位置に対して調整するために、運動視差技術と組み合わせて使用するハイブリッド立体画像／運動視差システムを対象にしている。このように、観察者は、３Ｄシーンを見ながら移動するとき、立体キューと視差キューの両方を受信し、これは視聴者により大きな視覚的快適性／低疲労性をもたらす。観察者位置を追跡するゴーグルの使用についても、頭／眼のみの代わりにゴーグルを認識するようにコンピュータビジョンアルゴリズムを訓練することについても記載されている。
【０００６】
他の関連先行技術が以下の非特許文献１−４から知られている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】米国特許出願公開第２０１２／０１７９３６９号
【特許文献２】米国特許第８，００４，７６５号
【特許文献３】米国特許第７，６７２，０５５号
【特許文献４】米国特許出願公開第２０１０／０１７１６８０号
【特許文献５】米国特許第８，１８９，２６３号
【特許文献６】米国特許第６，４３３，７６０号
【特許文献７】米国特許第４，９５８，９２５号
【特許文献８】米国特許第５，３３１，１４９号
【特許文献９】米国特許第７，７８３，０７７号
【特許文献１０】国際公開第２０１１／１５６１９６号
【特許文献１１】米国特許第７，５２２，３４４号
【特許文献１２】米国特許第８，２３５，５２９号
【特許文献１３】欧州特許公開第２４９９９６２号
【特許文献１４】米国特許第８，１３０，２６０号
【特許文献１５】米国特許出願公開第２０１０／０３２２４７９号
【特許文献１６】米国特許出願公開第２００９／０１８９９７４号
【特許文献１７】米国特許出願公開第２０１２／０２０００６７６号
【非特許文献】
【０００８】
【非特許文献１】“Interactingwith eye movements in virtual environments” by Vildan Tanriverdi and Robert J. K. Jacob, published on Proceedings of the SIGCHI conference on Human Factors in Computing Systems in 2000
【非特許文献２】"Binocular eye tracking in virtual reality for inspection training" by Andrew T. Duchowsky, Vinay Shivashankaraiah and Tim Rawls, published on ETRA'OO Proceedings of the 2000 symposium on Eye tracking research & applications in 2000
【非特許文献３】"Development of a head mounted device for point-of-gaze estimation in three dimensions" by Morten Lidegaard, the Maersk McKinney Moller Institute of University of Southern Denmark of June 1, 2012
【非特許文献４】"Eye tracking in advanced interface design" by Robert J. K. Jacob, published on Virtual Environments and Advanced Interface Design in 1995
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明の目的は、請求項１の前文に示されたヘッドマウントシステムの能力を更に高めることにある。同様に、本発明の他の目的は、ヘッドマウントシステムを用いてディジタル画像のストリームを計算しレンダリングする方法を改良することにある。
【課題を解決するための手段】
【００１０】
これらの目的は、請求項１の特徴を有するヘッドマウントシステム及び請求項２７の特徴を有するディジタル画像のストリームを計算しレンダリングする方法によって達成される。
【００１１】
本発明の目的は、請求項１の前文に記載したヘッドマウントシステムの機能を更に向上させることにある。同様に、本発明の他の目的は、ヘッドマウントシステムを用いてディジタル画像のストリームを計算しレンダリングする改良された方法を提供することにある。
【００１２】
これらの目的は、請求項１の特徴を有する、ヘッドマウントシステム、及び請求項２７の特徴を有する、ディジタル画像ストリームを計算及びレンダリングする方法によって解決される。
【００１３】
本発明は、既知のヘッドマウントシステムは画像を標準的な人により見られるようにレンダリングするために人の目の位置を標準の固定位置と仮定している、という所見に基づいている。しかしながら、瞳孔間距離及び鼻に対する眼の位置には大きな個人差がある。ある最新技術のシステムはある種の手動校正プロシージャを用いてこの問題を改善しようと試みているが、この試みは極めて不正確であるとともに多大な時間を必要とする。これに基づいて、本発明によるヘッドマウントシステムでは、処理装置は、更に、ディジタル画像ストリームを計算及びレンダリングする際に、左眼及び右眼の３Ｄ位置及び左眼及び右眼の方向を考慮するように設計される。この情報は両眼視線追跡システムによって提供される。そうすれば、処理装置により提供されるディジタル画像は、個人の瞳孔間距離及び鼻に対する眼の位置に正確にフィットするように計算及びレンダリングされたものとすることができる。その結果として、仮想現実３Ｄシーンの左／右画像のレンダリングのために使用される仮想の視点の３Ｄ位置は、（最新技術の装置における標準固定位置又は手動的に校正される瞳孔間距離の代わりに）両眼視線追跡システムにより測定されたユーザの眼の正確な位置に一致する。これはストレスやめまいを和らげ、奥行知覚を向上する。
【００１４】
好ましい実施形態では、前記ヘッドマウントシステムは装着手段を備え、前記処理装置は前記装着手段に機械的に結合される。装着手段が更に電池や蓄電池のようなエネルギー蓄積器を備える場合には、ユーザにとって極めて高い自由度が達成される。
【００１５】
代案では、前記ヘッドマウントシステムは、装着手段及び前記装着手段に機械的に結合されたデータインタフェースを備え、前記処理装置は前記データインタフェースと特に有線で又は無線で結合される。このようにすると、本発明によるヘッドマウントシステムは、相応に大きな計算能力を提供するとともにユーザにより容易に機能的な障害なしで使いつくされるように設計されている大型コンピュータ装置を使用する又はそれにアクセスすることができる。大型コンピュータ装置との結合によって、本発明で必要とされる計算を特に高速に高精度で実行することができる。
【００１６】
特に好ましい実施形態においては、前記ヘッドマウントシステムは、画像を前記ユーザの眼に投影する光導波手段を備え、前記画像は前記視線追跡システムにより使用される光路とは実質的に別の光路を辿る。特に暗い瞳孔技術に関して、異なる光路に基づけば、ビームスプリッタが不用になり、光透過率が高くなって、画像のより良い信号対雑音比が達成されるという利点を達成できる。
【００１７】
前記処理装置は、注視点の３Ｄ位置、特にユーザが注視している眼の注視点及び各眼までの距離を、前記左眼及び右眼の３Ｄ位置及び前記左眼及び右眼の方向ベクトルを用いて計算するように設計するとき、有利であることが判明した。これは、シーンのどの部分を合焦（インフォーカス）でレンダリングし、どの部分を焦点外れ（アウトオブフォーカス）でレンダリングすべきかを決定することを可能にする。更に、これは、以下に更に詳細に記載するように、ＧＵＩ活性化機構の一部分とすることができる。これに基づいて、本発明によれば奥行知覚を各個人に正確に適合させることができるため、向上した奥行知覚を提供することができる。
【００１８】
前記処理装置は、前記注視点の３Ｄ位置を前記左眼及び右眼の前記計算された３Ｄ位置及び方向ベクトルにより決まる前記左眼及び右眼の方向光線の間の最近点として推定するように設計するのが有利である。注視点を知ることによって、システムを各個人に適合させることが可能になる。この点に関して、前記処理装置は前記左眼及び右眼方向光線及び位置をマッピング関数によって、特にオフセット、線形又は非線形変換を用いてフィルタ処理するように設計すると有利である。
【００１９】
前記マッピング関数は、前記ヘッドマウントシステムを特定のユーザに対して校正する校正プロシージャの結果とするとき、特に有利であることが判明した。この点に関して、前記処理装置は、前記ヘッドマウントディスプレイによりユーザに注視すべき仮想刺激、特に仮想目標を示し、前記左眼及び右眼の３Ｄ位置及び方向ベクトルにより計算された前記注視点と前記仮想刺激の位置との間の差を決定することによって前記校正プロシージャを実行するように設計することができる。
【００２０】
これに関連して、前記処理装置は、予め決められた経路又はランダムな経路に沿って移動する前記仮想目標を提供するように設計することができる。また、前記処理装置は、前記左眼及び右眼の３Ｄ位置及び方向ベクトルにより計算された前記注視点と前記ヘッドマウントディスプレイに投影された画像内の頻出する関心物体及び／又は視覚的アンカーとの間の差を時間と共に連続的に計算することによって前記校正プロシージャを実行するように設計することもできる。最後に述べた変形例によれば、校正プロシージャはヘッドマウントシステムの通常の使用中に行われ、前記連続的計算によって、前記左眼及び右眼の３Ｄ位置及び方向ベクトルにより計算された前記注視点と前記ヘッドマウントディスプレイに投影された画像内の頻出する関心物体及び／又は視覚的アンカーとの間の差をますます小さくすることができる。
【００２１】
前記処理装置は、更に、瞳孔間距離を計算するように設計し、更に、前記瞳孔間距離及び左眼及び前記右眼の３Ｄ位置に基づいて仮想視点を計算し、３Ｄ仮想シーンを模擬するために左眼及び右眼用の１対の画像をレンダリングする際に、これらの仮想視点を用いるように設計することができる。これは、ユーザは標準母集団平均の視点又は不正確な手動校正推定の視点からではなく、自分の眼の視点から仮想シーンを見るという利点をもたらす。このシーンは、ユーザは実際のシーン（模擬されたものでない）を見るとき見るシーンに非常によく合致するので、ユーザの脳は自分の期待により非常によく合致するシーンを見つけ、このシーンはより「自然」であり、あまりストレスやめまいを伴わない。
【００２２】
有利な実施形態においては、前記処理装置は、前記注視点の距離に基づいて、レンダリングされた仮想画像内にインフォーカスで示される領域を決定するように設計され、前記処理装置は、更に、それに応じて仮想画像をレンダリングして、人間の眼が現実のシーン内の注視点と同じ３Ｄ座標にある現実の物体を見る場合に人間の眼が観察する全体画像に対する焦点深度を模擬するように設計される。合焦距離を輻輳により（視線追跡装置）により計算することによって、ユーザによる焦点順応を現実的に模擬することができる。更に、ユーザが仮想シーンを実際に見ている場合に、所定の合焦距離の代わりに、焦点深度の模擬が可能であり、ユーザ自身の焦点順応を模擬することができる。
【００２３】
これに関連して、前記処理装置は、一方では前記左眼及び右眼の３Ｄ位置に基づいて、他方では前記注視点までの距離に基づいて、前記ヘッドマウントシステムを装着するユーザによって見られるシーンに融合する少なくとも１つの複合現実要素をレンダリングするように設計することができる。これに関連して、前記装着手段に装着されたシーンカメラを用い、ユーザ前方のシーンの画像を提供することができる。この関連で、このシーンカメラは物体検出及び認識を実行するために用いることができる。この場合、若干のコンテキスト特殊情報を複合現実感の使用に際して融合させて、ユーザが見ているシーンに融合されたこのような情報をユーザに見せることができる。例えば、ユーザは外国語のテキスト又は道路標識を見るかもしれず、シーンカメラはテキストの画像を捕捉することができ、これらの画像は処理装置でＯＣＲ処理され、次いで機械翻訳され、翻訳されたテキストが原テキストのすぐ傍に複合現実的に示される。また、ユーザは市内でモニュメントを見るかもしれず、そのモニュメントは処理装置上のソフトウェアで認識され、そのドキュメントに関する情報（歴史、芸術スタイル等）がデータベースから検索され、そのテキストはモニュメントの近くに吹き出しの形で複合現実的に表示される。
【００２４】
特に好ましい実施形態によれば、前記処理装置は、ユーザの眼に投影される画像、特にシーンの画像内に示されるように少なくとも１つの仮想活性化要素をレンダリングするように設計され、前記処理装置は、更に、所定の活性化条件が満たされる場合に、前記仮想活性化要素と関連する所定の機能を活性化するように設計される。
【００２５】
従来から知られているＨＭＤはその機能を制御するために通常タッチインタフェース又はボタンインタフェースを使用しているが、本発明においては、３Ｄグラフィックユーザインタフェース（ＧＵＩ）を設け、このような３Ｄ  ＧＵＩで前記活性化要素を活性化するために前記視線追跡及び深度推定を使用する。
【００２６】
これに関連して、前記処理装置は、前記少なくとも１つの仮想活性化要素を、前記シーン内に所定の時間中所定の３Ｄ方向を持つ所定の位置に位置する有限の多角形の３Ｄ又は２Ｄ形状としてレンダリングするように設計すると有利であることが判明した。前記処理装置は、前記少なくとも１つの仮想活性化要素を、所定の色で、及び／又は、それ自体にテキスト及び／又は画像を含めて、及び／又は、不透明と完全に透明との間の種々の透明度でレンダリングするように設計することができる。変化する透明度を用いて、ユーザから異なる仮想距離の位置に積み重ねられる活性化要素を強調表示又はフェードアウトすることができる。従って、例えば、ユーザが視線を短い距離の活性化要素に向ける場合には、これらの活性化要素を不透明にすることができ、ユーザが遠距離の活性化要素に焦点を合わせる場合には、前にある活性化要素を半透明又は完全に透明にして、ユーザが今焦点を合わせている活性化要素のクリアな視界をふさがないようにすることができる。
【００２７】
前記活性化要素の活性化に関連して、前記処理装置は、前記活性化条件は前記３Ｄ注視点が前記活性化要素により決まる仮想空間領域に入ることにあるように設計することができる。代わりに又は加えて、前記処理装置は、前記活性化条件は前記３Ｄ注視点が前記活性化要素により決まる仮想空間領域内に所定の時間量の間存在することにあるように設計することができる。更に、前記処理装置は、前記活性化条件は前記３Ｄ注視点が前記活性化要素により決まる仮想空間領域に入り所定の時間量以内に出ることにあるように設計することができる。
【００２８】
前記処理装置は、前記活性化条件は前記３Ｄ注視点が前記活性化要素により決まる仮想空間領域に入り、その後まばたきが所定の時間窓内に前記視線追跡システムにより検出されることにあるように設計することもできる。前記処理装置は、前記活性化条件は前記３Ｄ注視点が前記活性化要素により決まる仮想空間領域に入り、その後外部インタフェースからのトリガイベントが活性化されることにあるように設計することもできる。この点において、外部インタフェースからの前記トリガイベントは、以下のもの：機械的トリガ、ボタン又はタッチセンシティブ表面の押圧；ユーザの体に接続された筋電図インタフェースにおける変化の検出；音声コマンドの発行；生物学的モニタリング機能の閾値レベルへの到達（生物学的モニタリング機能は特にＥＥＧインタフェースにおける脈拍数／心拍数、血圧、チャネルである）；及び／又はジェスチャセンサで検出される指、手及び腕ジェスチャ；のうちの１つとすることができる。利用可能な場合、外部活性化信号の使用はいくつかのコンテキストで活性化をより容易にすることができ、例えばボタンをクリックする方が注視点を活性化要素内に所定の時間存在させることより速くすることができる。
【００２９】
有利には、前記処理装置は、同じ仮想距離に位置する一群の活性化要素を、前記左眼、前記右眼及び前記注視点の３Ｄ位置から計算される画像視差及び模擬焦点深度に基づいて強調表示及び／又は事前活性化するように設計される。一群の活性化要素を強調表示又は事前活性化することによって、そのアクションを共通のコンテキストでグループ化することができ、例えばあるグループは電子メール（例えば開く、作成、返信等）に関連づけることができる。事前活性化機構は、所定のコンテキストに含まれる機能を活性化することを別のコンテキスト（グループ）に含まれる機能より容易にするので、偶発的な活性化を防止することができる。また、事前活性化は、（例えば事前活性化された要素を不透明にするとともに、事前活性化されてない要素を透明にすることによって）一グループ内のすべての要素を他のグループ内の要素に比較してよく見えるようにすることもでき、これもそれらの活性化を容易にし、他のブロックループ内の要素の偶発的な誤活性化を防止する。
【００３０】
本発明によれば、前記処理装置は、あるグループの活性化要素をそのすべての要素に実質的に焦点を合わせることによって強調表示するが、他のグループ内のすべての他の活性化要素はピント外れでレンダリングされるように設計することができる。更に又は代わりに、前記処理装置は、他のグループ内のすべての他の活性化要素を部分的に又は完全に透明にレンダリングするように設計することができる。これはユーザが関連機能に対応する所望のグループの活性化要素を活性化する上で特に有利である。
【００３１】
本発明によるヘッドマウントシステムに関して記載した好ましい実施形態及びその利点は本発明による方法に等しく当てはまり、特に処理装置の実施形態は本発明による方法の好ましい実施形態のステップを構成する。
【００３２】
以下に、本発明の有利な実施形態が添付図面を参照してより詳細に説明される。
【図面の簡単な説明】
【００３３】
【図１ａ】本発明によるヘッドマウントシステムの第１の実施形態の概略図である。
【図１ｂ】遠隔配置された処理装置の一実施形態の設計の概略図である。
【図２】本発明による注視点に基づく各眼の合焦距離の決定方法を示す図である。
【図３】本発明による注視点の推定方法を示す図である。
【図４】注視点に基づいて決定されるインフォーカス領域内の物体ははっきり見えるが、インフォーカス領域外の物体はぼやけて見えることを示す図である。
【図５】注視点の３Ｄ位置と校正刺激の位置との差を示す概略図である。
【図６】本発明によるヘッドマウントシステムによってどのように第１のグループの活性化要素を事前選択することができるかを示す図である。
【発明を実施するための形態】
【００３４】
図１は本発明によるヘッドマウントシステム１０の第１の実施形態の概略図である。本システムは、装着手段１２、即ちヘッドマウントシステムをユーザの頭部に装着するメカニズムを備え、これは（限定はされないが）眼鏡フレーム又はヘルメット又はノーズクリップ又はイヤピースの形態とすることができる。本システムは、更に、ユーザの左眼１６ａを捕捉するように配置された第１のカメラ１４ａ、及びユーザの右眼１６ｂを捕捉するように配置された第２のカメラ１４ｂ備えた両眼視線追跡システムを備える。本発明で使用される「カメラ」という語には、ユーザの眼の画像を捕捉し得るあらゆる種類の画像センサが含まれる。
【００３５】
更に、ヘッドマウントシステムは、必要に応じ、ユーザの眼に向けて可視光、例えば赤外スペクトル、を放射するＬＥＤ等の１以上の発光体を備えることができ、その場合にはカメラ１４ａ、１４ｂはこのスペクトルに調整される。ヘッドマウントシステム１０は、更に、第１の発光素子アレイ１８ａ及びユーザの左眼１６ａに画像を投影する第１の投影手段２０ａ、並びに、第２の発光素子アレイ１８ｂ及びユーザの右眼１６ｂに画像を投影する第２の投影手段２０ｂを備える。それぞれの光導波路２２ａ及び２２ｂは、投影手段２０ａ，２０ｂから表示すべき情報と相関するそれぞれの情報を発光素子アレイ１８ａ，１８ｂに向ける目的を果たす。発光素子アレイ１８ａ，１８ｂは不透明又は透明又は部分的に透明とすることができる。それらはＬＣＤ又はＡＭＯＬＥＤスクリーン等のスクリーンとして実現することができ、即ちユーザの眼に画像を提示し得る任意の種類の表示手段を本発明で使用することができる。
【００３６】
ヘッドマウントシステム１０は、更に、それぞれ左眼１６ａ用及び右眼１６ｂ用の処理装置２４ａ，２４ｂを備える。処理装置２４ａ，２４ｂはそれぞれのカメラ１４ａ，１４ｂからの画像を処理し、左眼１６ａ及び右眼１６ｂの少なくとも３Ｄ位置及び左眼１６ａ及び右眼１６ｂの方向ベクトルを計算する。処理装置２４ａ，２４ｂはまた、ヘッドマウントディスプレイによってユーザの右眼１６ａ及び左眼１６ｂに投影すべきディジタル画像のストリームを計算しレンダリングするように設計される。
【００３７】
図１ａに示す実施形態では、処理装置２４ａ、２４ｂは装着手段１２に装着されるが、図１ｂは、ヘッドマウントシステム１０が装着手段１２に機械的に結合されたデータインタフェース(図示せず)を備えるが、単一の処理装置２４が有線で又は無線で前記データインタフェースと結合される実施形態を示す。
【００３８】
一般的に、処理装置２４，２４ａ，２４ｂは好ましくはＣＰＵ及びメモリを含み、必要に応じ、特定の計算の速度を向上させるために、ＧＰＵ，ＤＳＰ，ＦＰＧＡ又は専用ＡＳＩＣ等のコプロセッサを含むことができる。上述の処理装置２４ａ、２４ｂはヘッドマウント装置１０に組み込むことができ、また処理装置２４として、ヘッドマウント装置１０から取り外し、ケーブルを介してヘッドマウント装置１０に物理的に接続することができ、又はヘッドマウント装置１０から物理的に取り外し、無線接続、例えばＧＳＭ、ＣＤＭＡ，ＬＴＥ等のＷＩＦＩ（８０２．１１）、ブルートゥース、セルラネットワークを介してヘッドマウント装置１０と通信することができる。
【００３９】
更に、処理装置２４，２４ａ、２４ｂは、外部データ信号、例えば機械的トリガ、ボタン又はタッチセンシティブ表面、ユーザの体に接続された筋電計インタフェース、マイクロフォン及び音声検出ソフトウェアからの信号、脈拍数／心拍数、血圧及びＥＥＧインタフェースの１以上のチャネル等の生体信号、を受信し処理するためにインタフェースを含むのが好ましい。
【００４０】
視線追跡システムは標準的な最新技術を使用する。最大の精度を保証する好ましい実施形態では、１以上の光源が各眼１６ａ，１６ｂに向けて赤外光を放射し、それらの光源は角膜上で反射光（閃光という）を発生し、それらの閃光は、それぞれのカメラ１４ａ，１４ｂに対する眼の位置とともに、検出した瞳孔の輪郭及び中心、眼の方向を決定するための基準点として、使用することができる。
【００４１】
別の方法では、閃光及びＩＲ照明を使用しないで眼の位置及び方向を決定することができる。例えば、眼の方向は瞳孔の輪郭又は角膜輪部の輪郭のパースペクティブ歪から推測することができる。それぞれの眼１６ａ，１６ｂまでの距離は、角膜輪部の長軸及び短軸、又は眼球径等の動的に変化しない眼の特徴の画像内寸法から計算することができる。
【００４２】
ヘッドマウントディスプレイは通常ゴーグル又はヘルメットのフレームに埋め込まれる装置であり、一対の可視画像をユーザの眼１６ａ，１６ｂに投影する。装置がユーザの眼１６ａ，１６ｂが周囲を見ることができないように設計されているか否かに応じて、このような仮想画像は模擬環境（仮想現実感）又は自然環境内の混合模擬仮想要素（複合現実感）への没入体験を生成するために使用することができる。
【００４３】
従来のヘッドマウントシステムは単なる投影装置又はスクリーンであって、本質的には一種の携帯パーソナルコンピュータモニタ又はＴＶセットである。表示される画像は予め記録されたビデオ（例えば映画又は３Ｄ映画）又はコンピュータでリアルタイムに発生されるビデオとすることができる。表示される画像コンテンツが予め記録されたビデオであるかリアルタイムに発生されるビデオであるかとは無関係に、画像が発生される時点では、観察者の眼に関する重要な情報、即ち
ａ）スクリーンに対するそれぞれ眼の位置、及び一方の眼の他方の眼に対する位置（瞳孔間距離）、及び
ｂ）それぞれの眼が注視している場合の距離と位置、
は現在の技術状態では未知である。
【００４４】
自然でリラックスでき現実的であり、ストレスやめまいを起こさない鑑賞体験のためには、上述した眼の情報の知識が極めて重要であり、その理由は、
ａ）観察者のそれぞれの眼１６ａ，１６ｂの位置がシーンに関して変化するにつれて、シーンのパースペクティブが変化するため、及び
ｂ）距離に応じて、人の眼は現在見ている物体への完全なフォーカスを維持するように屈折力を変化するためである。この過程は順応と呼ばれている。異なる距離にある他の物体及び領域はぼやけて又はピンがずれて見える。
【００４５】
既知のシステムでは、ヘッドマウントシステムで提示されるシーンに対して観察者の眼の位置は固定され、眼の位置及び瞳孔間距離の母集団の標準平均値を用いている。あるユーザを考えると、このユーザの経験の質又はこのユーザが経験するストレス及びめまいは、このユーザの眼の位置が予め決められたパラメータ又は母集団平均からどのくらいはずれているかに依存する。
【００４６】
一部の既知の装置では、ヘッドマウントシステムの手動調整を行うことが可能で、ユーザ自身により瞳孔間距離を手動調整できる。しかしながら、この方法はかなり正確さに欠け、一般にユーザが数度の回転のずれ又は１ミリメートルの平行移動のずれを調整することは不可能である。
【００４７】
物体焦点合わせに関する既知のシステムでは、合焦点はビデオクリエータにより筋書き又は芸術的目標に従って決定されるか、或いは拡大された焦点深度が使用され、この場合にはシーン内の全ての物体が完全に鮮明にはっきり見える。しかしながら、シーン内のすべての物体が同時にはっきり見えることは不自然であり、平坦な印象を与え、立体感がなくなる。現実世界では、シーン内の全ての物体が同時にはっきり見えるとき、それは通常、ユーザが平面画像又は絵画を見ていることを意味する。
【００４８】
代わりに、映画のように、１つの物体のみがはっきり見えるが、焦点がビデオクリエータにより決定されている場合には、ユーザが他の場所を見て不鮮明なもののみを見る場合、ユーザは混乱し、いずれにしても立体感が破棄される。
【００４９】
本発明によるヘッドマウントシステムでは、上述したように、ヘッドマウントシステム１０に対するユーザの眼１６ａ，１６ｂの各々の３Ｄ位置を決定することができる視線追跡システムを使用する。この情報はその後仮想現実又は複合現実画像をレンダリングする処理装置２４，２４ａ，２４ｂにより使用される。
【００５０】
本発明によるヘッドマウントシステム１０は自動ユーザ校正を実行するように設計され、この校正はその後ユーザにより経験される複合／仮想現実の現実感を高めるために使用される。処理装置２４，２４ａ，２４ｂによりレンダリングされる各画像は、ユーザの各眼１６ａ，１６ｂが見るべきシーンを表し、視線追跡システムにより決定されたユーザの眼１６ａ，１６ｂの正確な座標を仮想のカメラ座標として用いてレンダリングされる。
【００５１】
このアプローチの利点は、ユーザの左右の眼１６ａ，１６ｂに示されるシーンは、瞳孔間距離が母集団統計に基づく固定の標準視点からレンダリングされないで、各観察者に対してカスタマイズされ最適化され、ユーザの脳が見ることを期待するものと完全に一致する。
【００５２】
任意選択要素であるシーンカメラ２６は、ユーザが見ているシーンの画像を提供するために使用でき、更に以下で述べるように、これらの画像は複合現実感との関連で使用することができる。
【００５３】
加えて、本発明によるヘッドマウントシステム１０によれば、ユーザの眼１６ａ、１６ｂが焦点を合わせている注視点（ＰＯＲ）を決定し、これを各眼１６ａ、１６ｂの合焦距離を決定するために使用することができ、この点に関しては図２を参照されたい。
【００５４】
注視点Ｐ０Ｒを決定する第１の方法は、視線追跡システムにより決定されるユーザの眼の位置から発生する光線の交点を見つけることにあり、各光線は前記視線追跡システムにより決定される眼の方向に向いている。しかしながら、図３に示すように、実際には、場合によっては、これらの光線は３Ｄ空間内で交差し得ない、即ち同一平面に存在しないことがある。本発明によれば、これらの光線間の最小距離を表す線分を決定し、この線分の中点の３Ｄ位置を注視点ＰＯＲとする。
【００５５】
片方の眼のみが機能し得るユーザ又は強い斜視のあるユーザ、即ち脳が１つの眼からの視覚的入力を事実上無視するユーザに対しても、機能し得る眼から発する光線がシーン内の最初の物体と交差する点を見つけることによって仮想シーン内の３Ｄ注視点を決定することができる。
【００５６】
３Ｄ注視点が分かれば(図４参照)、物体がはっきり示されるインフォーカス領域を矩形として規定することができるが、この領域外の物体はぼやけて示される（アウトオブフォーカス）。注視点からの距離が増大するにつれて物体が徐々にぼやけて示される場合、特に現実的な画像が得られる。
【００５７】
更に、いわゆる「視線」又は視軸、即ち網膜中心窩、即ち最も鮮明に見える点と注視点とを結ぶ仮想線と、瞳孔の中心を通る軸（視線追跡文献では瞳孔軸又は光軸として知られている）との間にオフセットが存在することが当業者に知られている。
【００５８】
視軸は実際には注視点への方向を表すが、網膜中心窩は視覚入力に関与するので、視線追跡器は網膜中心窩を見ることはできず、よって視線追跡器は光軸を測定し得るのみである。
【００５９】
個人ごとに変化するとともに同一人に対して瞳孔拡張、感情の状態及び他の要因に依存して変化する視軸と光軸との間のオフセットを補償するために、視線追跡システムは校正プロシージャによって一組のサンプルから補正モデルの１以上のパラメータを学習するように改良することができる。
【００６０】
本発明の好ましい実施形態で使用する校正プロシージャは、他の誤差又は不確実性の源、例えばシステム自体、その光学要素及びその構造の不正確さ、即ちカメラ、カメラ光学系などの位置、方向及び特性、視線追跡アルゴリズム及び画像における不正確さ、ユーザの眼１６ａ，１６ｂのパラメータ、例えば限定されないが、眼球輻輳運動欠陥（斜視、弱視）、前面及び背面の曲率半径、飛点収差、瞳孔径、角膜長軸及び短軸、角膜表面の屈折率、房水（角膜と水晶体レンズとの間の房内を満たす流体）の屈折率、水晶体レンズ前面及び背面の半径、硝子体（後腔を満たす流体）の屈折率を補償するために使用する情報も提供する。
【００６１】
校正プロシージャの対象である上述したパラメータの集合又は部分集合を以後校正パラメータセットという。
【００６２】
図５に関して、このような校正プロシージャを実現する１つの方法は、ヘッドマウントシステム１０によってユーザに注視を要求する特別の視覚的な校正刺激２８をユーザに示すことにある。例えば、このような刺激２８はユーザの注意を引くように設計された点、円又は十字又は他の任意の画像とすることができる。この刺激２８は個々のユーザの実際の注視点に対応する。しかし、図５に示す注視点ＰＯＲは視線追跡システムが推定する注視点に対応する。
【００６３】
視覚的な校正刺激は一組の離散位置Ｓ＝｛ｓ１，ｓ２，．．．ｓｍ｝に示すことができるが、この刺激は、ユーザを混乱させないために、１つの特定の時間間隔で（この一組の中から取り出される）１つの特定の位置にのみ現れる。これらの位置は、視覚的な校正刺激の滑らかな動きの錯覚を与えるように、空間的に分布させると共に時間的に分布させることができるが、これはすべて任意選択である。
【００６４】
一組の既知の位置の視覚的な刺激、関連する時間間隔及び視覚的な校正刺激２８が示される仮想空間におけるユーザの注視点の最初の不正確な推定が与えられると、視線追跡システムは、既知の視覚的な刺激位置２８と校正パラメータセットを用いて得られる注視点ＰＯＲとの間の偏差を最小にする校正パラメータセットの最適値を決定することによって校正される。
【００６５】
より形式的には、校正すべき一組のパラメータｐ１，．．．ｐｎが与えられると、例えば５段落前に述べたように、これは校正プロシージャＸ＝（ｐ１，．．．ｐｎ）のための状態空間を規定する。
【００６６】
校正プロシージャは、校正パラメータの状態空間における点Ｘ０から開始し、これは目標ユーザ母集団に対する平均値の標準集合及び視線追跡システムの幾何学的及び光学的セットアップに対する予測値を表す。次に、パラメータとして刺激位置のセット及びパラメータＸｉのセットを用いて計算された測定注視点ＰＯＲｊ(Xi)を取り、いわゆるＰＯＲの基準Ｓ＝｛ｓ１，ｓ２，．．．ｓｍ｝からの偏差又は誤差の測定値である適応度関数Ｆ(Xi,S)を最小にする状態空間内の位置を見つけ出すために、現在の最適化及び回帰技術、例えば最急降下法、ガウス・ニュートン法、レーベンベルグ・マーカート法、模擬アニーリング法、進化論的ストラテジ等を適用する。
【００６７】
そのような関数の一つの可能な例は平均二乗誤差：
【数１】
0005887026.tif 000002
である。
【００６８】
ある環境の下では、ｎ≠ｍのために、セットＳ＝｛ｓ１，ｓ２，．．．ｓｍ｝をＰＯＲ位置のセットＰＯＲ＝｛ＰＯＲ１，ＰＯＲ２，．．．ＰＯＲｎ｝と正確に一致させることができないことが起こり得る。この場合には、データセットを再サンプリングし、他のセットと一致するようにデータセットをより少数のサンプルで補間し、１つのセットのサンプルと他のセットのサンプルとの間の最良且つ最もありそうな一致を見つけ出すことができる。
【００６９】
いずれにせよ、当業者にとって、実際の適用環境に応じて代替適応度関数及び校正ストラテジを使用することは自明である。
【００７０】
離散的校正刺激を所定の時間間隔で示す明示的校正を必ずしも実行する必要はない。一般的には、一組の位置を時間とともに比較することによって暗黙の校正を行うこともでき、この場合には凝視された未校正の注視点及び前記凝視の間の経路をサンプル期間に亘ってユーザに表示されるシーン内容に対して比較する。これにより、一方ではユーザの注意を引くと期待されるシーン内の物体及び経路と他方では実際の注視点経路との一致を決定することができる。
【００７１】
例えば、ユーザが均一な背景上にテキストを見せられている場合、ユーザはそれを読み始め、ユーザが読んでいるテキストの行を表す平行な行で編成される特徴的な注視点経路を生成する。この注視点経路を実際のテキストと、例えば期待値最大化アルゴリズムを用いて期待尤度を最大化する方法で、一致させ、次いで上述した方法論を適用して一致データ点を校正に使用することができる。
【００７２】
本発明の別の態様として、ヘッドマウントディスプレイ用の３Ｄグラフィックユーザインタフェースが開示され、このインタフェースは視線追跡システムを用いて制御される。この点については、３Ｄ仮想活性化要素が、処理装置２４，２４ａ，２４ｂによりレンダリングされ、ヘッドマウントディスプレイにより表示される、ユーザの眼１６ａ，１６ｂの前方の仮想空間内に一定の時刻に所定の３Ｄ位置に位置し所定の３Ｄ方向を有する有限の多角形の２Ｄ又は３Ｄ形状として定義される。
【００７３】
図６に関して、３Ｄ仮想活性化要素３０が示され、それらは異なる色にしても、テキスト又は画像を含んでいても、異なる透明度を有してもよい。それらは完全に不透明として、それらの背後のシーン要素のビューを遮断してもよく、またそれらは完全に透明（従って可視）にしても、任意の半透明度にしてもよい。
【００７４】
３Ｄ活性化要素３０は、ユーザインタフェースの１以上の活性化、例えばアプリケーションの活性化（ウェブブラウザ又は電子メールクライアント等の起動）又はヘッドマウントシステムに接続されたコンピュータのファイルシステムの(データ)ファイル（例えばビデオ又は音声ファイル）の提示と関連する。
【００７５】
このような３Ｄ仮想活性化要素３０は、所定の活性化条件が満足される場合に処理装置２４，２４ａ，２４ｂでの所定の機能又は方法の使用というイベント又はトリガと関連させることができ、また前記イベントはいくつかの仮想活性化要素３０の逐次的活性化と関連させることができる。例えば、活性化されたビデオの再生をトリガするために、最初にビデオ要素を活性化し、続いてビデオプレーヤ素子を活性化することができる。
【００７６】
活性化条件自体は任意の可能な方法で実行することができる。
【００７７】
一つの可能な実施形態では、図６に活性化要素３０ｃについて示すように、ユーザの注視点が仮想活性化要素３０により規定される仮想空間に入るとき、活性化がトリガされる。そうでない場合、ユーザの注視点が３Ｄ仮想活性化要素３０により規定される仮想空間に入り、この空間内に所定の時間量の間存在するとき、活性化が起こるようにし得る。そうでない場合、ユーザの注視点が３Ｄ仮想活性化要素３０により規定される仮想空間に入り、この空間内に所定の時間存在し、その後この空間を所定の退出時間内に退出するとき活性化が起こるようにし得る。そうでない場合、ユーザの注視点が３Ｄ仮想活性化要素３０により規定される仮想空間に入り、その後ユーザが活性化をトリガするために意図的にまばたきをするとき、活性化が起こるようにし得る。
【００７８】
まばたきは自然現象であり、殆どの人は長時間まばたきしないでいられないため、意図的な活性化まばたきが許される時間窓（最小、最大）を規定し、この時間窓外のまばたきは無視されるだけとすることができる。
【００７９】
そうでない場合、視線追跡システム自体から発生しないが視線追跡システムと協働して所定の機能を活性化する外部トリガ信号を含むことができる。このような外部信号は、（限定されないが）以下のものとし得る。
・トリガ又はボタン（キーボード又はマウス上の同等物又はヘッドマウントシステム１０に組み込まれた又はケーブル又は無線で接続された機械的ボタン）の押圧又はタッチセンシティブインタフェースへの接触：
・ユーザの体に接続された筋電図インタフェース（ＥＭＧ）により測定される、所定のパターンと適合する信号の変化：心電図インタフェースは筋肉内の電気的活動を測定し、運動ニューロンの活動の結果である。表面ＥＭＧは、誰にでも、例えば腕に装着して使用できるが、このタイプのインタフェースは身体障害者や肢切断者に対して特に関連が深く、電極を用いる筋肉内ＥＭＧの形で使用することもできる。活性化パラメータの認識は、機械学習分類装置を、例えば人口ニューラルネットワーク又はサポートベクタマシンを用いて訓練することによって行うことができる。このインタフェースを使用すると、体（例えば腕）の筋肉を収縮又は緩和させることによりＧＵＩ内の３Ｄ仮想活性化要素３０を活性化することができ、これはユーザの手を自由にする利点を有する。
・ユーザにより発行され、音声認識ソフトウェア及びマイクロフォンを用いてシステムで認識される音声コマンド、例えばコマンド「プレイ」又は「スタート」；
・動作検知装置（キネクト、リープモーション等）により認識される指、手又は腕のジェスチャ、例えば手指でスワイプ又はピンチすることによって活性化を実行する；
・一以上の生物学的モニタリング機能は閾値レベルに達する。このような生物学的レベルは所定の物理的状態（疲労、休息等）又は情動状態（覚醒、緩和、ストレス、幸福、恐怖等）を表し、このような生物学的モニタリング機能は脳の電気的活動をモニタする脳波検査（ＥＥＧ）、心臓の電気的活動をモニタする心電図検査（ＥＫＧ）からの信号、心拍数、血圧；瞳孔拡張とすることができ、そこで、例えばある機能の活性化はその機能に意識を集中し、その機能について考えることによって行うことができ、またユーザのムードに応じて異なる音楽及びビデオが再生される別の機能があり、またジョギング中に過度の疲労が検出される場合にスローダウンするようにユーザに視覚的フィードバックを与えることができる。
【００８０】
図６を更に参照することにより、３Ｄ仮想活性化要素３０はグループに配置し、グループ内の要素は密接に関連する機能（例えば、電子メールの開、電子メールの作成、電子メールの削除）を実行し、仮想空間内に互いに近接して位置するとともに眼から狭い距離範囲内に位置するものとし得る。図６に関して、第１のグループは活性化要素３０１−３０ｄよりなるが、第２のグループは活性化要素３０i-2,３０i-1，３０ｉよりなる。この場合には、すべての３Ｄ仮想活性化要素３０ａ−３０ｄを「インフォーカス」内にレンダリングすることによって特定のグループを強調表示することができるが、他のグループの要素３０i-2,３０i-1，３０ｉは「アウトオブフォーカス」とし、必要に応じ次第に不透明（部分的に又は完全に不透明）にして強調表示グループのビューを遮蔽する、その注意をそらす、又は妨害することがないようにすることができる。
【００８１】
このように、活性化要素３０ａ−３０ｄのグループは、例えばユーザがそれらの活性化要素のうちの１つ３０ｃを注視し、検出された注視点がその境界内あるとき、事前選択される。この場合、同じグループに属する全ての他の要素３０ａ，３０ｂ，３０ｄを事前選択することができる（「インフォーカス」内に置き、必要に応じ関連するイベントをいつでも発火できるようにすることができる）。
【００８２】
このように、３Ｄ  ＧＵＩを階層化インタフェースとして編成することができ、各層は１以上のグループの活性化層要素３０を含み、ユーザは単に自分の視線を異なる距離に集中させることにより異なる層を検索することができる。
【００８３】
ここに記載するアプローチの特別の場合として、活性化要素３０をすべて３Ｄシーン内の同じ仮想平面上に位置する単純な２Ｄ平面物体として表示することもできる。これにより事実上３Ｄ仮想／複合現実システムのための２Ｄユーザインタフェースが実現される。３Ｄユーザインタフェースは能力及びフレキシビリティの点で明らかに有利であるが、一部のアプリケーションにおいては２Ｄインタフェースがその単純さのために好ましいこともある。
【００８４】
既知のヘッドマウントシステムを改良するために、本発明は特に仮想カメラの最適位置決めを可能にするとともに、仮想カメラの最適な現実的な合焦を可能にする。前者の場合には、シーンを見ている眼の３Ｄ位置に応じて画像がどのように見えるかが考量されるが、後者の場合には、眼で見られている点を中心に合焦が現実的に調整される。
【図１ａ】
0005887026.tif 000003
【図１ｂ】
0005887026.tif 000004
【図２】
0005887026.tif 000005
【図３】
0005887026.tif 000006
【図４】
0005887026.tif 000007
【図５】
0005887026.tif 000008
【図６】
0005887026.tif 000009