(57)【特許請求の範囲】
【請求項１】
被検者がタスクを行っている間における、当該被検者の眼球運動及び身体運動を検査又は訓練する方法において、
前記眼球運動に関連する眼球運動データを生成するために、前記被検者が前記タスクを行っている間に前記被検者の眼球運動を追跡する、ステップと、
前記身体運動に関連する身体運動データを生成するために、前記被検者が前記タスクを行っている間に前記被検者の身体運動を追跡する、ステップと、
当該被検者の生理学的機能に関連する生理学的データを生成するために、前記被検者が前記タスクを行なっている間に生理学的データを収集するステップと、
前記被検者の生理学的データ、前記被検者の眼球運動データ、及び前記被検者の身体運動データの間の相関関係を求めるステップと、
を含む方法。
【請求項２】
被検者がタスクを行っている間における、当該被検者の眼球運動及び身体運動を検査又は訓練する方法において、
前記眼球運動に関連する眼球運動データを生成するために、前記被検者が前記タスクを行っている間に前記被検者の眼球運動を追跡する、ステップと、
前記身体運動に関連する身体運動データを生成するために、前記被検者が前記タスクを行っている間に前記被検者の身体運動を追跡する、ステップと、
前記被検者の眼球運動データと前記被検者の身体運動データとの間の相関関係を求めるステップと、
を含み、
前記被検者の身体運動を追跡するステップは、前記被検者の身体に取り付けられた追跡マーク又は送信マーカーを追跡して、前記身体運動データを生成することを含む、方法。
【請求項３】
請求項１又は２に記載の方法において、
前記被検者の眼球運動は、視線追跡装置により追跡される、方法。
【請求項４】
請求項１又は２に記載の方法において、
前記被検者の身体運動は、身体追跡装置により追跡される、方法。
【請求項５】
請求項１又は２に記載の方法において、
前記被検者の眼球運動を追跡するステップは、前記被検者の少なくとも一方の眼の水晶体を追跡することを含む、方法。
【請求項６】
請求項２に記載の方法において、
当該被検者の生理学的機能に関連する生理学的データを生成するために、前記被検者が前記タスクを行なっている間に生理学的データを収集するステップと、
前記被検者の生理学的データ、前記被検者の眼球運動データ、及び前記被検者の身体運動データの間の相関関係を求めるステップと、
をさらに含む、方法。
【請求項７】
請求項４に記載の方法において、
前記身体追跡装置が、光学系装置、慣性式装置、機械式装置、及び磁気式装置のうち少なくともいずれか１つを含む、方法。
【請求項８】
請求項１又は２に記載の方法において、
前記被検者の眼球運動データと前記被検者の身体運動データとの間の相関関係を求めるステップは、前記眼球運動及び前記身体運動を時間に対してプロットすることを含む、方法。
【請求項９】
請求項１又は２に記載の方法において、
前記眼球運動データ及び前記身体運動データを、記憶装置に格納するステップをさらに含む、方法。
【請求項１０】
請求項１又は２に記載の方法において、
前記眼球運動データ及び前記身体運動データに基づいて情報を表示装置に表示するステップをさらに含む、方法。
【請求項１１】
被検者の眼球運動及び身体運動を検査又は訓練するシステムにおいて、
被検者の眼球運動を追跡し、前記被検者の眼球運動に関連する眼球運動データを収集する、視線追跡装置と、
被検者の身体運動を追跡し、前記被検者の身体運動に関連する身体運動データを収集する、身体追跡装置と、
前記被検者の生理学的機能に関連する生理学的データを収集する生理学的データ収集装置と、
前記眼球運動データ、前記身体運動データ及び前記生理学的データを解析するコンピュータデバイスと、
を備えたシステム。
【請求項１２】
被検者の眼球運動及び身体運動を検査又は訓練するシステムにおいて、
被検者の眼球運動を追跡し、前記被検者の眼球運動に関連する眼球運動データを収集する、視線追跡装置と、
被検者の身体運動を追跡し、前記被検者の身体運動に関連する身体運動データを収集する、身体追跡装置と、
前記眼球運動データ及び前記身体運動データを解析するコンピュータデバイスと、
を備え、
前記身体追跡装置は、前記被検者の身体に取り付けられた追跡マーク又は送信マーカーを追跡して、前記身体運動データを生成する、システム。
【請求項１３】
請求項１２に記載のシステムにおいて、
前記被検者の生理学的機能に関連する生理学的データを収集する生理学的データ収集装置をさらに備え、
前記コンピュータデバイスは、さらに、前記生理学的データも解析する、システム。
【請求項１４】
請求項１１又は１２に記載のシステムにおいて、
前記視線追跡装置は、前記被検者の少なくとも一方の眼の水晶体を追跡することにより、前記被検者の眼球運動を追跡する、システム。
【請求項１５】
請求項１１又は１２に記載のシステムにおいて、
前記身体追跡装置は、光学系装置を含む、システム。
【請求項１６】
請求項１１又は１２に記載のシステムにおいて、
前記身体追跡装置は、慣性式装置、機械式装置、及び磁気式装置のうち少なくともいずれか１つを含む、システム。
【請求項１７】
請求項１１又は１２に記載のシステムにおいて、
前記眼球運動データ及び前記身体運動データに基づいて情報を表示する表示装置をさらに備えた、システム。
【請求項１８】
請求項１７に記載のシステムにおいて、
前記コンピュータデバイスは、前記情報を前記表示装置に表示させるために、前記眼球運動データ及び前記身体運動データを、時間に対してプロットする、システム。
【請求項１９】
請求項１１又は１２に記載のシステムにおいて、
前記眼球運動データ及び前記身体運動データが格納される記憶装置をさらに備えた、システム。
【請求項２０】
身体的活動中における当該被検者の視覚能力及び意図を検査又は訓練する方法において、
前記被検者を身体的活動に従事させるステップと、
前記身体的活動中における第１の所定の複数の時刻で、前記被検者から離れた所定の固定位置を基準とした、前記被検者の少なくとも１つの身体部位に取り付けられた追跡マーク又は送信マーカーの位置を求めるステップと、
前記身体的活動中における第２の所定の複数の時刻で、前記被検者の少なくとも一方の眼の眼球運動における位置を求めるステップと、
前記第１の所定の複数の時刻における前記追跡マーク又は送信マーカーの位置と、前記第２の所定の複数の時刻における前記少なくとも一方の眼の眼球運動における位置との時間的な相関をとるステップと、
を含む方法。
【請求項２１】
請求項２０に記載の方法において、
前記被検者の少なくとも一方の眼の位置を求めるステップは、前記被検者の少なくとも一方の眼の水晶体を追跡することを含む、方法。
【請求項２２】
請求項２０に記載の方法において、
前記追跡マーク又は送信マーカーの位置と、前記少なくとも一方の眼の眼球運動における位置とを、記憶装置に格納するステップをさらに含む、方法。
【請求項２３】
請求項２０に記載の方法において、
前記追跡マーク又は送信マーカーの位置と、前記少なくとも一方の眼の眼球運動における位置とに基づいて、情報を表示装置に表示するステップをさらに含む、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被検者の眼球運動の追跡及び検査に関する。より具体的に、本発明は、被検者が特定の活動をしている間における被検者の身体運動及び眼球運動の相関追跡及び検査に関する。
【背景技術】
【０００２】
被検者が特定の活動をしている間又はスポーツをしている間における被検者の眼球運動を追跡することは、活動又はスポーツ中における被検者の視覚追跡に関する有利な情報を提供することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、このようなデータを収集しても、被検者が例えば野球でボールを打とうとしている間における追跡において、被検者が有し得る全ての欠点が明らかになるとは限らない。
【課題を解決するための手段】
【０００４】
本発明の態様によれば、被検者の身体運動及び眼球運動を同時に検査及び／又は訓練するシステム及び方法が提供される。被検者の眼球運動は、被検者が活動又はスポーツをしている間に、追跡することができる。特定の活動又はスポーツに依っては、被検者が当該活動又はスポーツをしている間に、被検者の身体運動も追跡することができる。その後、被検者の眼球運動及び身体運動の双方からの追跡データを用いて、被検者の眼球運動、凝視角、及び被検者の身体運動の間の相関関係を同定することができる。さらに、被検者が活動又はスポーツをしている間における生理学的データを、被検者から収集することができる。生理学的データを、解析して、生理学的データ、眼球運動データ、及び／又は身体運動データの間の相関関係を同定することができる。かかる相関関係を、一定期間に渡って解析して、被検者がスポーツその他の活動をしている間に起こるスポーツ又は活動に関するタスク、例えばボールのキャッチすることなどを行うための被検者の能力の遅れや、不足を究明することができる。
【０００５】
本発明によれば、様々な種類のデータを、収集し、相関をとることができる。眼球運動データは、例えば、追跡眼球運動(pursuit)、衝動性眼球運動(saccadic)、焦点、両眼転導(vergence)、瞳孔拡張及び狭窄などの測定値を含むことができる。身体運動データは、全体的な身体運動、微細な身体運動、及び特定の身体部位（頭、両手、両足など）の運動などのデータを含むことができる。生理学的データは、バランスデータ、血圧、心拍数などを含むことができる。生理学的データも、収集し、眼球運動データ及び／又は身体運動データとの相関をとることができる。さらに、収集したデータどうしを、あらゆる方法により、比較し及び／又は相関をとることができる。
【０００６】
本発明によるデータの相関及び／又は他の解析は、様々な用途に有用であり得る。例えば、本発明は、他の個人のスキルレベルに対する個人のスキルレベルを同定するために、使用することができる。他の例として、本発明は、個人の潜在的改善部位を同定するために、使用することができる。さらに他の例として、本発明は、例えば成功したパフォーマー又は上級のパフォーマーとして認められた人達がいかにタスクを行うかについての情報を取得するなどして、所定タスクについて最適なパフォーマンスパラメーター及び／又は技術を同定するために、使用することができる。自身のタスクのパフォーマンスを向上させようとする者は、本発明を使用して、訓練し、及び／又は訓練の進行状況を評価することができる。さらに、本発明は、個人の認知度及び／又は精神集中度を検査又は訓練するために、使用することができる。なぜなら、個人の眼球運動は、しばしば当該個人の認知度及び／又は精神集中度を示すからである。当然ながら、本発明によるシステム及び方法を、あらゆる用途に使用することができる。
【０００７】
なお、この発明の概要の欄では、以下の発明を実施するための形態の欄で説明する概念のうちいくつかを簡単に説明している。発明の概要の欄は、請求項に規定する事項の重要な特徴及び／又は必須の特徴を特定するものではなく、請求項に記載した事項の範囲を決定するために使用されるものでもない。
【０００８】
以下、図面を参照しながら本発明を詳細に説明する。
【図面の簡単な説明】
【０００９】
【図１】本発明による個人のパフォーマンスを評価するシステムの一実施形態を示す図である。
【図２】本発明による個人のパフォーマンスを評価するシステムの他の実施形態を示す図である。
【図３】本発明による個人のパフォーマンスを評価するシステムのさらに他の実施形態を示す図である。
【図４】本発明の一実施形態による被検者の眼球運動及び身体運動を追跡する方法を示すフローチャートである。
【図５】本発明の一実施形態による身体的活動中における被検者の視覚能力及び認識能力を検査する方法を示すフローチャートである。
【図６】本発明による個人の相対的スキルを評価する方法を示すフローチャートである。
【図７】本発明による個人のパフォーマンスを評価するシステムの他の実施形態を示す図である。
【図８】本発明による個人の相対的スキルを評価するデータ解析システムを示す図である。
【図９】本発明によるデータの表示を示す図である。
【発明を実施するための形態】
【００１０】
一般的に、被検者は、被検者が取り組む特定のスポーツ又は活動に特有の活動又はタスクを行うことがある。例えば、被検者が野球をする場合、被検者に対してボールがピッチングされている間に視線追跡装置が被検者の眼球運動を追跡する間におけるバッティング中の身体運動を把握するために、被検者の両手を、追跡することができる。同時に、被検者の両手を、身体追跡装置により追跡して、ピッチングされたボールに対する動き及び反応をモニタリングする。その結果どうしの相関をとって、被検者が身体運動（バットを振ること）をしながら（野球などの）動く対象物を追跡する能力を、評価することができる。以下に説明するように、本発明を、任意のスポーツ又は活動に使用可能であることは、明らかである。
【００１１】
視線追跡装置は、２次元の凝視位置、３次元の凝視位置、サンプリング時間、瞳孔径、眼の開閉状態などのデータを、測定及び収集することができる。より具体的に、凝視情報は、特定の凝視に関する位置、継続時間、潜時(latency)、精度、安定性、滑らかさ、その他の情報、ならびに固視、衝動性眼球運動、比較的滑らかな追跡眼球運動、輻輳・発散運動、スキャンパス、小停止(dwell)、まばたき等を含み得る。
【００１２】
本発明によれば、任意の種類の視線追跡装置を、使用することができる。例えば、非接触式の光学的方法を、眼球運動データの測定に使用することができる。当該非接触式の光学的方法では、眼からの光を反射させて、その後、ビデオカメラなどの光学的センサーデバイスを用いて当該反射光を感知する。かかる視線追跡装置は、角膜反射及び瞳孔中心を要部として利用して、一定期間追跡することができる。非接触式の視線追跡装置の他の例として、デュアル・パーキンジェ・アイトラッカー(dual-Purkinje eye tracker)がある。デュアル・パーキンジェ・アイトラッカーは、角膜中心及び水晶体の後ろからの反射光を要部として利用して、追跡する。
【００１３】
一実施形態では、視線追跡装置を、ビデオベースとすることができる。すなわち、カメラは、一方又は両方の眼に焦点を当てて、ビューアが何らかの刺激物を見るときにおける眼の動きを記録する。視線追跡装置は、コントラストを用いて瞳孔中心の位置を特定することができ、次に、赤外線及び近赤外線の非コリメート光を用いて、角膜反射を生じさせることができる。一般的に、上記２つの要部の間のベクトルを、個人のための単純な校正の後に、表面との凝視交点を計算するために、用いることができる。
【００１４】
他の視線追跡装置の例として、眼に付着させるもの、例えば鏡又は磁場センサーが組み込まれた特別なコンタクトレンズを用いるものがある。そして、当該付着物の運動を、眼球運動とともに測定することができる。代替的に、測定電位を有する接触電極を使用することができる。かかる電極は、眼の付近に配置され、眼の内部の電位を測定することができる。眼の内部では、角膜が、網膜に対してプラスに荷電する。
【００１５】
本発明に使用し得る視線追跡装置どうしの構造は、互いに大きく異なる。一部の構造は、頭部装着型であり、一部の構造は、遠隔に機能して、動いている頭部を自動的に追跡する。遠隔視線追跡装置は、身体が動いていて追跡されている間における、本発明での使用を容易にする。一般的に、視線追跡装置は、少なくとも３０Ｈｚのサンプリングレートを用いる。５０／６０Ｈｚが最も一般的であるが、今日では多くのビデオベースのアイトラッカーが、２４０、３５０、又は１０００／１２５０Ｈｚで稼動する。かかるサンプリングレートは、非常に高速な眼球運動の細部を捉えるために、必要である。
【００１６】
典型的に、眼球運動は、追跡眼球運動と衝動性眼球運動とに分けることができる。一方、固視中では、視線が一定の位置で停止する。追跡眼球運動、衝動性眼球運動、及び固視によってもたらされる一連の経路は、スキャンパスと呼ばれる。眼を通じた情報のほとんどは、追跡眼球運動及び固視をする間に得られるが、衝動性眼球運動をする間には得られない。凝視角の中心の１〜２度（中心窩）は、微細部の情報や色情報のほとんどを与える。スキャンパス上の固視点の位置は、眼追跡時間中に処理された刺激物上の情報位置を示す。固視は、平均的に、言語テキストを読む間に約２００ｍｓ続き、背景を見る間に約３５０ｍｓ続く。新たな終点に向けた衝動性眼球運動の準備には、約２００ミリ秒かかる。視点の動きの周辺領域からの入力情報は、スポーツにおいて特に重要である目標物の検出、バランス基準情報、及び空間認識をもたらす。なぜなら、被検者がスポーツなどの活動をしている間に被検者が観察する動作のほとんどが、被検者の周辺視野で起こるからである。
【００１７】
スキャンパスは、認識の意図、関心、及び顕著性を解析するために、有用であり得る。他の生物学的ファクターも、スキャンパスに影響を与え得る。ＨＣＩを用いた眼追跡では、典型的に、有用性目的のために、又は凝視付随表示（凝視ベースのインタフェースとしても知られる）への入力方法として、スキャンパスを調査する。眼追跡は、初級者の挙動と上級者の挙動とを区別するために、並びにパフォーマンスが上がるように個人を訓練するために、使用することができる。
【００１８】
本発明では、任意の適切な身体追跡装置を使用し得ることは、明らかである。身体追跡装置は、光学系装置と非光学系装置を含むことができる。例示的な光学系装置は、受動的なマーカー、能動的なマーカー、時間変調式の能動的なマーカー、半受動的な感知できない(imperceptible)マーカー、及びマーカーを用いないシステムを使用することができる。例示的な非光学系装置は、慣性式システム、機械式システム、及び磁気式システムを含むことができる。例えば、床反力計(force plate)を用いて、圧力を測定し、被検者の身体運動を追跡することができる。
【００１９】
さらに、被検者の身体運動の追跡を、ジェスチャー認識を用いて達成することができる。ジェスチャー認識は、アルゴリズムを用いて、被検者の身体部位のジェスチャーを、解釈し得るようにする。かかる身体追跡方法は、ジェスチャーの解釈のために、被検者上のマークを追跡することを、必ずしも要しない。その代わりに、様々なツールと方法を使用することができる。例えば、深度感知(depth aware)カメラは、当該カメラから見えるものの深度マップを生成し、次にこのデータを用いて被検者の３次元表現を近似することができる。他の例では、ステレオカメラを使用することができる。ステレオカメラは、２つのカメラを用いて被検者の身体部位を追跡し、カメラ位置に基づいて、被検者の身体運動の表現を近似することができる。かかる例では、位置付け基準（例えば、赤外線放射器など）を用いて、カメラどうしの相対位置を求めることができる。
【００２０】
他の実施形態では、眼球運動及び身体運動以外の情報であって被検者に関する他の情報を、追跡することができる。本明細書では、一般的に、かかる情報を、生理学的データと称す。生理学的データは、例えば、バランスデータ、安定性データ、及び／又は姿勢データを含むことができる。生理学的データの他の例として、眼追跡データ及び身体追跡データと併せて追跡及び解析し得るような、バイオフィードバック情報がある。例示的なバイオフィードバック情報は、足底（足）圧力、バランス、発汗、温度、心拍数、呼吸数、心電図（ＥＫＧ）データ、及び脳波検査（ＥＥＧ）データなどを含むことができる。
【００２１】
図１は、本発明による眼及び身体を追跡するシステムを例示している。被検者は、視線追跡装置及び身体追跡装置によりモニタリングされる間、様々な活動をすることができる。この例では、視線追跡装置１０９を、眼鏡又はゴーグルとして例示している。ただし、身体追跡装置と併せて使用するのに適した任意の視線追跡装置を使用し得ることは、明らかである。例えば、被検者の眼球運動を追跡するカメラを、用具を用いて、被検者の全体領域に装着することができる。本発明の特定実施形態のために選択される視線追跡装置は、追跡に望ましい眼の特徴に依って異なる場合があり、追跡に望ましい身体的特徴にも依って異なる場合がある。なぜなら、視線追跡装置は、特定の身体追跡装置の使用、及び被検者１０１により着用又は使用される他の用具などに、適合しなければならないからである。
【００２２】
図１に示すように、シャツ１０１は、胸部追跡マーカー１０３、左腕追跡マーカー１０５、及び右腕追跡マーカー１０７を含む。図１において、各追跡マーク１０３〜１０７は、暗色の十字形状の外観を有する。しかし、任意の種類のマーキングを、本発明に使用することができる。様々な種類のマークが、特定の種類の動き追跡にとって、特に有用又は必要であり得る。さらに、本例において、各追跡マーク１０３〜１０７は、シャツ１０１の前方（すなわち、シャツ１０１を着用するユーザの前方）を向いている。これにより、追跡マーク１０３〜１０７は、被検者の前に置かれる１つ以上のカメラにより撮像される映像の中に現れる。追跡マークの外観及び位置は、使用する特定の身体追跡装置に依って異なる。さらに、本発明で使用する動き追跡システムは、いかなる種類の追跡マークをも用いる必要が無い。無線周波数マーカーなどの送信マーカーを用いた動き追跡システムを、本発明に使用することができる。レーザー、カメラ、その他の技術を用いて、マークされていない物体又は身体部位を追跡する動き追跡システムも、本発明に使用することができる。
【００２３】
本実施形態では、シャツ１０１における追跡マーク１０３、１０５、１０７以外の部分は、比較的明るいため、追跡マーク１０３、１０５、１０７とシャツ１０１自体との間に、明確なコントラストがある。例えば、追跡マーク１０３、１０５、１０７を、紺色、茶色、又は黒色とし、シャツ１０１におけるその他の部分を、白一色とすることができる。このような追跡マーク１０３、１０５、１０７とシャツ１０１の下地との間の高いコントラストは、身体追跡装置がカメラを利用して追跡マーク１０３、１０５、１０７をシャツ１０１の下地から区別するのを、助ける。さらに、追跡マーク１０３、１０５、１０７の際立った十字形状は、身体追跡装置が、当該マーク１０３、１０５、１０７をシャツ１０１の下地から同定及び区別するのを、助けることができる。例えば、十字型の追跡マーク１０３、１０５、１０７を、身体追跡装置と併せて用いて、カメラにより撮像される他の形状から十字形状を区別することができる。
【００２４】
追跡マーク１０３、１０５、１０７を、様々な技術を用いてシャツ１０１に付着可能であることは、当業者にとって明らかである。例えば、追跡マーク１０３、１０５、１０７を、シャツ１０１に縫い付けるか、任意の接着剤を用いてシャツ１０１に接着させるか、又はシャツ１０１の素材に織り込み若しくは編み込むことができる。さらに、追跡マーク１０３、１０５、１０７を、パッド印刷技術を使用して、シャツ１０１に印刷することができる。追跡マーク１０３、１０５、１０７を、シャツ１０１に熱転写するか、シャツ１０１に昇華型印刷するか、又は単にシャツ１０１の素材に染めることもできる。
【００２５】
さらに、図１には、被検者１００と併せて、被検者１００の眼球運動を追跡するために使用される視線追跡装置１０９を示す。本例において、被検者１００は、アメリカンフットボールをしている。より具体的に、被検者１００は、フットボール１１１をキャッチするという動作を行っている。フットボール１１１が被検者１００に向けて投げられると、視線追跡装置１０９は、被検者の眼球運動を追跡する。身体追跡装置を構成する様々な追跡マーク１０３、１０５、１０７は、身体の各領域における動きを追跡する。
【００２６】
図２は、本発明の他の実施形態による眼及び身体の追跡システムを例示している。図に見られるように、被検者２００は、シャツ２０１を着用しており、シャツ２０１上の様々な位置に追跡マーク２０３、２０５、２０７が配置されている。ここで、被検者２００は、サッカー活動をしており、ボール２１３を蹴っている。よって、被検者２００が様々なサッカー活動をする間における各足の動きを追跡するために、他の追跡マーク２０９、２１１を、被検者２００の各足上に配置している。例えば、被検者２００は、フリーキックなどのタスクを行い得る。
【００２７】
より具体的に、被検者２００は、身体追跡装置のために規定されたプレイ領域内に立っている。身体追跡装置は、一対のビデオカメラ２２１を含む。表示装置などの他のコンポーネントを、本発明によるシステムの一部として、用いることもできる。身体追跡装置は、処理ユニット２１７も含むことができる。処理ユニット２１７は、追跡マーク認識モジュール２１９を有することができる。追跡マーク認識モジュール２１９は、プロセッサ、コンピュータ可読指令が組み込まれたコンピュータ可読媒体、記憶装置、入力装置、出力装置、ネットワーク接続などを有する、汎用コンピュータ又は専用コンピュータを備えることができる。さらに、追跡認識モジュール２１９は、別個の１つの装置又は複数の装置を備えることができる。追跡マーク認識モジュール２１９は、カメラ２２１から映像を受信する。当該映像から、追跡マーク認識モジュール２１９は、カメラ２２１の視覚領域内に１つ以上の追跡マークを認識し、認識した追跡マークに動きがあれば、当該動きを判定する。
【００２８】
例えば、追跡マーク認識モジュール２１９は、アルゴリズムを利用して、カメラ２２１から得た映像内における特定色のピクセルを、映像内における他色のピクセルから区別することにより、追跡マークを認識することができる。代替的に、追跡マーク認識モジュール２１９は、追跡マークの明色のピクセルを、カメラ２２１から得た映像内における他のピクセルから区別することにより、追跡マークを認識することができる。さらに、認識モジュール２１９は、比較的均一な明るさ、濃淡(shade)、又は色を有するとともに特定形状に配列されたピクセルを区別することにより、追跡マークを認識することができる。
【００２９】
追跡マーク認識モジュール２１９は、１つ以上の追跡マークを認識すると、次に、認識した追跡マークの動きを判定する。当該認識した映像の動きを判定するためのアルゴリズムは、公知であるため、本明細書では説明を省略する。例えば、追跡マーク認識モジュール２１９は、撮像された追跡マークの３次元位置を求める方法を使用することができる。当該方法では、一方のカメラ２２１からの映像内におけるマーク上の特定箇所の位置と、他のカメラ２２１からの同時映像内における追跡マーク上の同じ箇所の位置との比較を、追跡マークの全領域に渡って行う。同様に、ボール２１３などの用具の動き及び／又は位置を、例えばマーク２２３を用いるなどして、追跡することができる。
【００３０】
本発明の一部の実施形態において、追跡マーク認識モジュール２１９は、さらに、追跡マークにおいて検出された動きに基づいて、ユーザの肢の動きを判定することができる。例えば、逆運動学を用いて、追跡マーク認識モジュール２１９は、（ユーザの手首に配置された）一方の追跡マークにおいて検出される、（ユーザの肘に配置された）他の静止した追跡マーク周りの回転に基づいて、ユーザが右前腕を動かしたことを判定することができる。逆運動学を用いる技術もまた公知であるため、本明細書ではその説明を省略する。
【００３１】
図２に見られるように、被検者２００の眼球運動は、視線追跡装置２１５を用いて追跡することができる。視線追跡装置２１５を、身体追跡装置の処理ユニット２１７に接続することができる。又は、代替的に、視線追跡装置２１５により収集されるデータを、他の場所で収集して、その後に身体追跡データと比較することができる。
【００３２】
図３は、本発明の他の実施形態を例示している。より具体的に、野球をしている被検者３００と併せて、身体追跡装置及び視線追跡装置を示す。上記の例と同様、被検者の眼球運動を、視線追跡装置３２５を用いて追跡することができる。
【００３３】
本例において、被検者３００は、野球（図示せず）がピッチングされるのを待つバッターである。図３に見られるように、被検者３００は、シャツ３０１とパンツ３０３を着用している。シャツ３０１とパンツ３０３のいずれもが、様々な追跡マークを含む。シャツ３０１は、右肩追跡マーク３０５と左肩追跡マーク３０７を含む。パンツ３０３は、右膝上に追跡マーク３１１を含み、左膝上に追跡マーク３１３を含む。さらに、被検者の両手とバットの位置が、野球を打つ上で重要であることから、各バッティンググローブは、追跡マーク、例えば被検者の右グローブに示すマーク３０９などを含むことができる。右グローブを介して、被検者は、追跡マーク３２１を有するバット３１９を持っている。
【００３４】
同様に、被検者の両足を、右足上のマーク３１５と左足上のマーク３１７を用いて、追跡することができる。被検者が野球を打つという活動をしている間において、被検者の両足の動きを追跡することは、被検者がバット３１９を振る間における被検者の両足の動きを解析するのに有利であり得る。さらに、追跡マーク３２３を、被検者３００のヘルメット上に設けて、被検者３００の頭部の動きを追跡することができる。被検者の動きを、本発明のシステム及び方法を使用して、捉えることができる。
【００３５】
上記の例において、身体追跡装置のための追跡マークの数及び位置は、あくまで例示にすぎず、本発明の範囲を限定するものではない。一般的に、より多数のマーカーを用いることにより、所定の物体又は身体部位の動き追跡の精度を向上することができる。
【００３６】
図４は、本発明の様々な実施形態による被検者の眼球運動及び身体運動を追跡する方法を例示している。まず、ブロック４１０に示すように、使用する身体追跡装置の種類に応じて、被検者の様々な身体部位をマーキングし、及び／又は、被検者が用いる用具をマーキングすることができる。例えば、被検者の服を、図１〜３に示すような追跡マークを用いて、マーキングすることができる。被検者は、追跡マークを有する用具、例えば靴、グローブ、帽子などを、着用することもできる。代替的に、身体追跡装置がジェスチャー認識などの他の方法を使用して被検者の身体部位を追跡する場合、追跡マークが、必須ではないことがある。
【００３７】
次に、ブロック４２０において、被検者は活動に携わる。ブロック４２０の活動は、所定スポーツの一部におけるタスクとすることができる。当該活動は、任意の活動であり得るが、より具体的に、眼で物体を追跡することを要する活動、例えばフットボールをキャッチすること、サッカーボールを防御すること、野球を打つことなどである。このとき、被検者の眼球運動を、例えば視線追跡装置などにより、追跡する。被検者が活動に携わるとき、ブロック４４０において、被検者の眼球運動を追跡する。ブロック４３０では、被検者が活動に携わる間における被検者の身体及び／又は用具を追跡する。ブロック４５０では、ブロック４３０及び４４０で収集したデータを、解析して、例えば被検者の眼球運動と身体運動との間に相関関係があるか否かなどを、判断する。例えば、互いにスキルレベルが異なる個人についてのデータ点を、併せて、活動の継続時間に渡って、時間に対するグラフに表すことができる。これにより、スキルレベルが異なる個人の視覚的挙動どうしを区別して、当該個人のスキルレベルを向上させるのを助けることができる。データを一定時間に渡って相関をとることは、被検者による眼及び手の共調運動におけるあらゆるギャップ又は弱みを示すために行うことができ、ゆえにあらゆる欠点を克服するように被検者をさらに訓練するために行うことができる。追跡データの収集において、データを、任意の種類の記憶装置及び／又は出力装置に出力することができる。かかる装置を、１つ以上の追跡システムに接続することができる。又は、代替的に、データを、遠隔の記憶装置又は出力装置に送信することができる。
【００３８】
図５は、本発明による、身体的活動中における被検者の視覚能力及び認識能力を検査する方法を示す。まず、ブロック５１０に示すように、被検者は、身体的活動に携わる。上述したように、身体的活動は、任意のスポーツその他の活動、又はスポーツ若しくは活動に関する任意の特定のタスクとすることができる。次に、ブロック５２０において、被検者が身体的活動に携わる間における被検者の身体部位及び／又は用具の位置を求める。より具体的に、位置を、所定の複数の時刻で求めることができる。被検者のあらゆる身体部位を追跡し得ることは、当業者に明らかである。例えば、活動が被検者の右腕のみで行われる場合、この１つの身体部位のみの位置を、追跡することができる。代替的に、特定の活動が全身で行われる場合、各身体部位の位置を、求めることができる。
【００３９】
ブロック５３０では、被検者が身体的活動中に、被検者の少なくとも一方の眼の位置を求める。ブロック５４０では、被検者の身体的活動中に、被検者の生理学的データを求める。ブロック５２０では、活動中における所定の複数の時刻で、少なくとも一方の眼の位置を求めることができる。同様に、活動中における所定の複数の時刻で、生理学的データを測定することができる。眼の位置を求める複数の時刻、及び／又は生理学的データを測定する複数の時刻は、身体部位の位置を求める複数の時刻と同じである必要はない。生理学的データは、眼の位置を求める時刻と同じ時刻で測定する必要はない。次に、身体部位及び／又は用具の位置、眼の位置、及び／又は生理学的データを、ブロック５５０に示すように、時間的な相関をとることができる。
【００４０】
図６は、本発明による他の方法６００を例示している。ステップ６１０において、タスクを行っている個人の眼球運動データ、身体運動データ、及び／又は生理学的データを有するデータベースを、生成する。ステップ６１０で生成するデータベースは、他の種類のデータ、例えば個人が使用する用具に関連する運動データなどを含むことができる。ステップ６１０において、データベースは、少なくとも第１のスキルレベルを有する個人から収集されるデータを含むことができる。ステップ６１０では、互いに異なるスキルレベルを有していてタスクを行っている複数の個人を、対象にすることができる。例えば、所定タスクを行う場合に初級者、中級者、及び／又は上級者のスキルレベルにそれぞれ同定される複数の個人から、データを収集して、当該データをデータベースに含めることができる。特定のスキルレベルにある所定個人と、当該個人に対応するデータとの分類は、収集されるデータ自体の解析結果に基づいて行うことができ、又は個人の客観的なパフォーマンスレベルに基づいて行うことができる。例えば、プロレベルでスポーツをする個人を上級者と同定することができ、大学レベルでスポーツをする個人を中級者と同定することができ、高校レベルでスポーツをする個人を初級者と同定することができる。当然ながら、あらゆる様々なレベルを同定することができる。所定レベルに付ける肩書きは、本明細書で述べるものでなくてもよい。例えば、スキルレベルは、実際に、オールスターのプロレベル、プロレベル、主要大学レベル、大学レベル、短期大学レベル、主要高校レベル、高校レベル、中学レベル、その他のアマチュアレベル、世界クラスのエリートレベル、娯楽レベル、又は他の任意の種類のスキルレベルの肩書きを含むことができる。
【００４１】
ステップ６２０では、被検者がタスクを行う間における眼球運動データ、身体運動データ、及び／又は生理学的データを、被検者から収集することができる。ステップ６２０で収集するデータと、ステップ６１０で収集してデータベースに格納するデータとは、本明細書で説明する方法及びシステムを使用して、収集することができる。ただし、他の種類のシステム及び方法を使用することもできる。さらに、ステップ６２０で収集するデータと、ステップ６１０でデータベースに格納するデータは、様々な種類の眼球運動データ、身体運動データ、及び／又は生理学的データを含むことができ、これら３種類全てのデータを含む必要はなく、これらの広範な種類のいずれか１つに該当する可能性がある全分類のデータを含む必要もない。さらに、被検者が用いる用具の動きを表すデータなどの他の種類のデータを含むことができる。
【００４２】
ステップ６３０では、被検者から収集された眼球運動データ、身体運動データ、及び／又は生理学的データを、データベースに記憶された眼球運動データ、身体運動データ、及び／又は生理学的データと比較して、被検者が第１のスキルレベルでタスクを行っているか否かを判断する。他の種類のデータが、ステップ６１０で記憶され、ステップ６２０で被検者から収集された場合、当該データも、ステップ６３０で比較することができる。当然ながら、ステップ６１０で生成するデータベースに複数のスキルレベルを含めた場合、ステップ６３０では、複数のスキルレベルのうちいずれのスキルレベルで被検者がタスクを行っているかを、判断することができる。ステップ６３０では、互いに異なる種類のデータに基づいて、一人の個人が、様々なスキルレベルで当該タスクを行うということを、判断することができる。例えば、被検者は、身体運動データに依れば、上級者レベルでタスクを行うが、眼球運動データに依れば、中級者レベルでタスクを行い得る。かかる解析は、被検者の向上点を特定するのに有利であり得る。
【００４３】
図７は、本発明による動きデータ、眼球運動データ、及び生理学的データを収集する他のシステム７００を例示している。図７で行われるタスクは、被検者によりアメリカンフットボールをキャッチすることである。フットボール７１０は、大まかに、手７２０に向かって移動している。フットボール７１０は、第１の複数の動きマーカー７１１、第２の複数の動きマーカー７１２、及び第３の複数の動きマーカー７１３を有する。当然ながら、図７に示す場合より多数又は少数の動きマーカーを使用することができる。手７２０における様々な箇所をマーキングして、身体運動の追跡をし易くすることができる。例えば、第１の指マーカー７２２、第２の指マーカー７２３、第３の指マーカー７２４、第５の指マーカー７２５、及び親指マーカー７２６に加えて、手のひらマーカー７２１を、手７２０に設けることができる。より多数又は少数のマーカーを使用することができるが、一般的に、手７２０における付加的な動きマーカーは、手７２０の各部位の動きにおける解像度の精度の向上をもたらす。図の例では、一方の手７２０のみにマーカーを付しているが、両手をマーキングし、及び／又はタスク中に両手を追跡することができる。眼球運動モニタリング装置７４０を設けて、両眼７３２をモニタリングすることができる。当然ながら、任意の種類の眼球運動モニタリング装置を、本発明に使用することができる。なお、図７は、頭部装着型の眼球運動モニタリング装置７４０を示している。さらに、頭７３０の位置を、追跡マーカー７３１を用いて、モニタリングすることができる。生理学的データ収集パッド７５０を、被検者の腕７４０などの被検者７３０の一部分に接着させることができる。生理学的データ収集パッド７５０は、例えば生理学的データを収集することができる。生理学的データとして、本明細書で述べるような、脈数、呼吸数、及び／又は他の生理学的データなどがある。当然ながら、生理学的データを、パッド７５０以外の装置を用いて、収集することができる。パッド７５０は、生理学的データを、有線接続又は無線接続（図示せず）を介して、コンピュータデバイス（図示せず）に送信することができる。図７に示すシステムは、被検者７３０が手７２０でフットボール７１０をキャッチする間における動きデータ、眼球運動データ、及び生理学的データを収集することができる。さらに、被検者７３０の他の身体部位を、動きマーカーによりマーキングすることができる。又は、図７に示すようなマーカーを要しない身体運動データ収集システムを、使用することができる。システム７００などのシステムを用いて、例えば、被検者によるタスクの完了、例えば被検者がキャッチする際に、ボールを覗き込みつつ頭を上に飛び出すか否かなどを、評価することができる。
【００４４】
図８は、本発明によるデータを収集及び解析するシステム８００を例示している。データベース８１０は、被検者がスポーツ活動又はタスクをしている間、様々なスキルレベルを有する被検者から収集されたデータを含むことができる。データベース８１０内の眼球運動データ８２０を、上級者レベル８２２、中級者レベル８２４、及び初級者レベル８２６に細分化することができる。ただし、他のレベルを使用することもできる。同様に、データベース８１０内の身体運動データを、上級者レベル８３２、中級者レベル８３４、及び初級者レベル８３６に分割することができる。データベース８１０内の生理学的データ８４０を、上級者レベル８４２、中級者レベル８４４、及び初級者レベル８４６に分割することができる。ただし、他のレベルを使用することができる。上述したように、図６に示す例に関して、図８に例示するスキルレベル以外のスキルレベルを使用することができる。なぜなら、「上級者」、「中級者」、及び「初級者」という表現は、説明をし易くするために使用しているにすぎず、タスクの種類で検索する際にそのまま使用可能ではない場合があるからである。
【００４５】
データ収集コンポーネント８５０を使用して、被検者がスポーツ、活動、又はタスクをしている間における被検者からデータを収集することができる。データ収集コンポーネント８５０は、例えば、上記で図面を参照しつつ説明したようなシステムなどを備えることができる。ただし、他のシステムを使用することもできる。データ収集コンポーネントは、スポーツ、活動、又はタスクを行っている被検者の眼球運動データ８６０、被検者の身体運動データ８７０、及び被検者の生理学的データを、与えることができる。解析コンポーネント８９０は、データ収集コンポーネント８５０からのデータを、データベース８１０内のデータと、比較することができる。解析コンポーネントは、（眼球運動データ、身体運動データ、及び／又は生理学的データなどの）任意の所定種類のデータについて、又は全体的に、被検者のパフォーマンスレベルを同定及び／又は分類したレポート８９２を与えることができる。解析コンポーネント８９０は、被検者の訓練プランを与えることができる。訓練プラン８９４は、向上を試みるために被検者における領域を特定することができ、被検者のパフォーマンスの向上を試みるために、被検者が行い得る一連の活動を特定することができる。解析コンポーネント８９０は、プロセッサ及びコンピュータ可読媒体を有する任意の種類のコンピュータ上で動作するソフトウェアを備えて、被検者のデータとデータベースコンポーネント８１０内に記憶されたデータとの比較を行うことができる
【００４６】
図９は、本発明に使用可能な解析表示９００を例示している。解析表示９００は、本発明により収集されたデータの例示的な表示を示している。解析表示９００は、ティーからゴルフボールを打つなどのタスクをしている被検者９０５の動きや、被検者９０５が使用するゴルフクラブ９４０などの用具の動きを、グラフィカルに示す身体運動データを、与えることができる表示９００は、被検者９０５がタスク（本例では、ゴルフボールを打つこと）を行う間における被検者９０５の動き、例えば第１の脚９０８及び第２の脚９０９などの被検者９０５の身体部位の動き、並びにゴルフクラブ９４０などの用具の動きを、示すことができる。
【００４７】
図９では、動きを矢印で示しているが、表示９００は、動的アニメーションを含むことができる。同様に、表示９００は、被検者９０５の第１の眼９０６及び第２の眼９０７の動き、方向、及び／又は焦点を示すことができる。図９の例に示すように、第１の眼９０６は、矢印で示すように移動する破線９２０で示される凝視角を有する。第２の眼９０７は、他方の矢印で示すように移動する破線９２２で特定される凝視角を有する。凝視角の移動を示すのに矢印を用いているが、表示９００は、動的アニメーションを含むことができる。表示９００内には、生理学的データ表示９５０も例示している。本例において、生理学的データ表示９５０は、被検者９０５の１分間当たりの心拍数を表示している。表示９００は、本発明により収集されたデータを、専門家に対して解析のために提示し、又は被検者自身に対して被検者が訓練を通じてパフォーマンスを向上し易くするために提示し得る方法の一例を示している。
【００４８】
本明細書では、特定実施形態により、本発明を説明している。当該実施形態は、あくまで例示的なものであり、本発明を限定するものではない。本発明の範囲を逸脱しないような代案実施形態は、当業者にとって明らかである。
【図１】
0005609973.tif 000002
【図２】
0005609973.tif 000003
【図３】
0005609973.tif 000004
【図４】
0005609973.tif 000005
【図５】
0005609973.tif 000006
【図６】
0005609973.tif 000007
【図７】
0005609973.tif 000008
【図８】
0005609973.tif 000009
【図９】
0005609973.tif 000010