(57)【要約】  本発明の実施形態は、複数のフレームを有するビデオ映像から眼球運動速度情報を抽出する方法であって、ビデオ映像の少なくとも２つのフレームで眼球の少なくとも一部を検出することと、オプティカルフローアルゴリズムをビデオ映像の少なくとも２つのフレームに適用してピクセル速度情報を抽出することと、検出された眼球の少なくとも一部内のピクセル速度情報から統計的基準を決定することと、を含む方法に関する。本発明の他の実施形態は、複数のフレームを有するビデオ映像から頭部画像軌道情報を抽出する方法であって、ビデオ映像の少なくとも２つのフレームで頭部画像の顔面領域の少なくとも一部を検出することと、少なくとも２つのフレーム間の顔面領域の少なくとも一部の運動の基準を決定することと、運動の基準から変換写像を決定することと、を含む方法に関する。【選択図】図３
2016521411.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレームを有するビデオ映像から眼球運動速度情報を抽出する方法であって、
前記ビデオ映像の少なくとも２つのフレームで眼球の少なくとも一部を検出することと、
オプティカルフローアルゴリズムを前記ビデオ映像の前記少なくとも２つのフレームに適用してピクセル速度情報を抽出することと、
前記検出された前記眼球の少なくとも一部内の前記ピクセル速度情報から統計的基準を決定することと、を含む、方法。
【請求項２】
眼球の映像を捕捉するために配置されたカメラと、
前記眼球の前記映像を受信し、かつ、
前記映像の少なくとも２つのフレームで眼球の少なくとも一部を検出するステップ、
オプティカルフローアルゴリズムを前記映像に適用し、それによって前記映像の少なくとも２つのフレーム間のピクセル速度情報を決定するステップ、及び
前記検出された前記眼球の少なくとも一部内の前記ピクセル速度情報から統計的基準を決定するステップを行うように構成されたコントローラと、を備える、眼球追跡システム。
【請求項３】
前記映像の少なくとも２つのフレームで眼球の少なくとも一部を検出するステップ、
オプティカルフローアルゴリズムを前記映像に適用し、それによって前記映像の少なくとも２つのフレーム間のピクセル速度情報を決定するステップ、及び
前記検出された前記眼球の少なくとも一部内の前記ピクセル速度情報の統計的基準を決定するステップを行うようにプログラムされた、コントローラデバイス。
【請求項４】
前記速度情報から眼球の少なくとも一部の速度度合い及び方向を決定するステップ、
前記速度情報から任意の速度最大値及び最小値を決定するステップ、
任意の最大値または最小値と下側速度閾値とを比較して前記閾値未満の任意の最大値または最小値を切り捨てるステップ、
任意の最大値または最小値と上側速度閾値とを比較して前記閾値を超える任意の最大値または最小値を切り捨てるステップ、
近接する最大値または最小値間のフレーム間距離とフレーム閾値とを比較して前記フレーム閾値未満の任意の最大値または最小値を切り捨てるステップ、
前記速度情報における任意の単独最大値または単独最小値を決定して単独最大値または単独最小値を切り捨てるステップ、
前記最大または最小速度度合いを平均化するステップ、及び／または
前記最大または最小速度度合いを正規化するステップのうちの１つ以上を（任意の順番で）さらに含む、請求項１〜３のいずれか一項に記載の前記方法、システム、またはデバイス。
【請求項５】
前記ピクセル速度情報の前記統計的基準が平均ピクセル速度である、請求項１〜４のいずれか一項に記載の前記方法、システム、またはデバイス。
【請求項６】
前記眼球の少なくとも一部が前記眼球のコントラスト不連続の領域である、請求項１〜５のいずれか一項に記載の前記方法、システム、またはデバイス。
【請求項７】
前記眼球の少なくとも一部が前記眼球の角膜輪部部分である、請求項１〜６のいずれか一項に記載の前記方法、システム、またはデバイス。
【請求項８】
前記ビデオ映像における各連続フレームのピクセル速度平均のリストを作成することをさらに含む、請求項１〜７のいずれか一項に記載の前記方法、システム、またはデバイス。
【請求項９】
前記決定された速度情報と健全な速度情報とを比較して、前記眼球及び／または視覚経路の健康状態を決定することをさらに含む、請求項１〜８のいずれか一項に記載の前記方法、システム、またはデバイス。
【請求項１０】
前記決定された速度情報と健全な速度情報とを比較して、ＯＫＮの存在及び／または強度を決定することをさらに含む、請求項１〜９のいずれか一項に記載の前記方法、システム、またはデバイス。
【請求項１１】
前記眼球の前記角膜輪部部分が縁部検出アルゴリズムによって決定される、請求項１〜１０のいずれか一項に記載の前記方法、システム、またはデバイス。
【請求項１２】
縁部検出がＰｒｅｗｉｔｔ演算子を適用することによって実行される、請求項１１に記載の前記方法、システム、またはデバイス。
【請求項１３】
前記オプティカルフローアルゴリズムがＬｕｃａｓ−Ｋａｎａｄｅオプティカルフローアルゴリズムである、請求項１〜１２のいずれか一項に記載の前記方法、システム、またはデバイス。
【請求項１４】
前記オプティカルフローアルゴリズムが適用されて、いくつかのリセットイベントに対応するある長さのビデオ映像の連続フレーム間のピクセル速度情報を決定する、請求項１〜１３のいずれか一項に記載の前記方法、システム、またはデバイス。
【請求項１５】
前記眼球の前に配置された視覚刺激物をさらに含み、前記刺激物が視運動性眼振を引き起こすように動作可能である、請求項１〜１４のいずれか一項に記載の前記方法、システム、またはデバイス。
【請求項１６】
前記平均速度情報と既知の視運動性眼振速度情報とを比較して、前記刺激物に反応する眼球の健康状態を決定することをさらに含む、請求項１５に記載の前記方法、システム、またはデバイス。
【請求項１７】
前記ビデオ映像が、刺激物を注視する対象から得られる、請求項１〜１６のいずれか一項に記載の前記方法、システム、またはデバイス。
【請求項１８】
前記刺激物がスクリーンである、請求項１７に記載の前記方法、システム、またはデバイス。
【請求項１９】
前記カメラ及びスクリーンが筺体内に含まれる、請求項１８に記載の前記方法、システム、またはデバイス。
【請求項２０】
前記カメラ、スクリーン、及びコントローラが筺体内で一体化される、請求項１８に記載の前記方法、システム、またはデバイス。
【請求項２１】
前記筺体がスマートフォン、タブレット、またはポータブル計算デバイスのうちの任意の１つ以上である、請求項１９または２０に記載の前記方法、システム、またはデバイス。
【請求項２２】
眼球の少なくとも一部を検出することは、前記眼球の特徴を検出することを含まない、請求項１〜２１のいずれか一項に記載の前記方法、システム、またはデバイス。
【請求項２３】
少なくとも１つのディスプレイを動作させて、機能的に視聴者の注目を得るビデオのビデオを表示させることと、
少なくとも１つのディスプレイを動作させて、ＯＫＮ刺激ビデオを表示させることと、
前記ＯＫＮ刺激ビデオを注視する眼球を、カメラを用いて記録することと、を含む、眼球追跡の対象の注目を改善する方法。
【請求項２４】
視聴者の注目を機能的に得る前記ビデオがアニメビデオである、請求項２３に記載の前記方法。
【請求項２５】
請求項１に記載の前記眼球の前記記録から眼球運動速度情報を抽出する方法をさらに含む、請求項２３または２４に記載の前記方法。
【請求項２６】
前記統計的基準が適用されて、人の行動、広告に対する人の反応、セキュリティ目的、または顧客注目のうちの１つ以上に関する情報を決定する、請求項１〜２５のいずれか一項に記載の前記方法、システム、またはデバイス。
【請求項２７】
前記ビデオ映像の少なくとも２つのフレームで頭部の顔面領域の少なくとも一部を検出すること、
前記少なくとも２つのフレーム間の前記顔面領域の少なくとも一部の運動の基準を決定すること、及び
前記運動の前記基準から変換写像を決定することを含む方法によって前記ビデオ映像から頭部画像軌道情報を抽出することをさらに含む、請求項１〜２６のいずれか一項に記載の前記方法、システム、またはデバイス。
【請求項２８】
前記変換写像の逆元を決定することと、
前記変換の逆元を前記ビデオ映像内の各フレームに適用することにより、前記フレームの前記顔面領域が、実質的に一定に保持されることと、をさらに含む、請求項２７に記載の前記方法、システム、またはデバイス。
【請求項２９】
Ｖｉｏｌａ−Ｊｏｎｅｓアルゴリズムを用いて、前記顔面領域を前記ビデオ映像のフレーム内から検出することをさらに含む、請求項２７または２８のいずれか一項に記載の前記方法、システム、またはデバイス。
【請求項３０】
Ｈａｒｒｉｓコーナー検出アルゴリズムを用いて、前記フレーム内の前記顔面領域の１つ以上の特定部分を識別することをさらに含む、請求項２７〜２９のいずれか一項に記載の前記方法、システム、またはデバイス。
【請求項３１】
Ｋａｎａｄｅ  Ｌｕｃａｓ  Ｔｏｍａｓｉ（ＫＬＴ）ポイントトラッカーを用いて、前記顔面領域の前記運動の基準、または連続ビデオフレーム間の顔面領域の１つ以上の特定部分を決定することをさらに含む、請求項２７〜３０のいずれか一項に記載の前記方法、システム、またはデバイス。
【請求項３２】
前記運動の前記基準が、回転、スケール、及び／または並進運動のうちの１つ以上を含む、請求項２７〜３１のいずれか一項に記載の前記方法、システム、またはデバイス。
【請求項３３】
相似変換写像が前記運動情報から作成される、請求項２７〜３２のいずれか一項に記載の前記方法、システム、またはデバイス。
【請求項３４】
前記相似変換写像を適用して前記ビデオ映像内の各フレームをオフセットすることにより、前記フレームの前記顔面領域が、各フレームに対して実質的に一定に保持されることをさらに含む、請求項３３に記載の前記方法、システム、またはデバイス。
【請求項３５】
逆相似変換を適用して前記ビデオ映像内の各フレームを切り取って新しいフレームを作成することによって、前記フレームの前記顔面領域が各フレームに対して実質的に一定に保持されることをさらに含む、請求項２７〜３４のいずれか一項に記載の前記方法、システム、またはデバイス。
【請求項３６】
前記頭部軌道情報を使用して前記眼球運動速度情報を改善する、請求項２７〜３５のいずれか一項に記載の前記方法、システム、またはデバイス。
【請求項３７】
頭部軌道情報を前記眼球追跡情報に対してオフセットして、頭部運動によって生じる眼球運動速度情報を実質的に排除する、請求項２７〜３５のいずれか一項に記載の前記方法、システム、またはデバイス。
【請求項３８】
複数のフレームを有するビデオ映像を処理してＯＫＮの存在を決定する方法であって、
前記ビデオ映像の少なくとも２つのフレームで頭部画像の顔面領域の少なくとも一部を検出すること、
前記少なくとも２つのフレーム間の前記顔面領域の少なくとも一部の運動の基準を決定すること、及び
前記運動の前記基準から変換写像を決定することを含む方法によって、頭部軌道情報を抽出することと、
前記ビデオ映像の少なくとも２つのフレームで眼球の少なくとも一部を検出すること、
オプティカルフローアルゴリズムを前記ビデオ映像の前記少なくとも２つのフレームに適用して、ピクセル速度情報を抽出すること、及び
前記検出された前記眼球の少なくとも一部内の前記ピクセル速度情報から統計的基準を決定することを含む方法によって眼球運動速度情報を抽出することと、を含む前記方法。
【請求項３９】
前記頭部軌道情報が前記眼球追跡情報に対してオフセットされ、頭部運動によって生じる眼球運動速度情報を実質的に排除する、請求項３８に記載の前記方法。
【請求項４０】
複数のフレームを有するビデオ映像から頭部画像軌道情報を抽出する方法であって、
前記ビデオ映像の少なくとも２つのフレームで前記頭部画像の顔面領域の少なくとも一部を検出することと、
前記少なくとも２つのフレーム間の前記顔面領域の少なくとも一部の運動の基準を決定することと、
前記運動の前記基準から変換写像を決定することと、を含む前記方法。
【請求項４１】
頭部画像軌道情報を抽出するための頭部追跡システムであって、
頭部の映像を捕捉するために配置されたカメラと、前記頭部の前記映像を受信し、かつ、
前記ビデオ映像の少なくとも２つのフレームで前記頭部の顔面領域の少なくとも一部を検出するステップ、
前記少なくとも２つのフレーム間の前記顔面領域の少なくとも一部の運動の基準を決定するステップ、及び
前記運動の前記基準から変換写像を決定するステップを行うように構成されたコントローラと、を含む前記システム。
【請求項４２】
前記ビデオ映像の少なくとも２つのフレームで頭部の顔面領域の少なくとも一部を検出するステップ、
前記少なくとも２つのフレーム間の前記顔面領域の少なくとも一部の運動の基準を決定するステップ、及び
前記運動の前記基準から変換写像を決定するステップ、を行うように構成された、コントローラデバイス。
【請求項４３】
前記方法またはステップが、
前記変換写像の逆元を決定することと、
前記変換の逆元を前記ビデオ映像内の各フレームに適用することによって、前記フレームの前記顔面領域が実質的に一定に保持されることと、をさらに含む、請求項４０〜４２のいずれか一項に記載の前記方法、システム、またはデバイス。
【請求項４４】
Ｖｉｏｌａ−Ｊｏｎｅｓアルゴリズムを用いて、前記ビデオ映像のフレーム内から前記顔面領域を検出することをさらに含む、請求項４０〜４３のいずれか一項に記載の前記方法、システム、またはデバイス。
【請求項４５】
Ｈａｒｒｉｓコーナー検出アルゴリズムを用いて、前記フレームの前記顔面領域の１つ以上の特定部分を識別することをさらに含む、請求項４０〜４４のいずれか一項に記載の前記方法、システム、またはデバイス。
【請求項４６】
Ｋａｎａｄｅ  Ｌｕｃａｓ  Ｔｏｍａｓｉ（ＫＬＴ）ポイントトラッカーを用いて、前記顔面領域の前記運動の前記基準、または連続ビデオフレーム間の顔面領域の１つ以上の特定部分を決定することをさらに含む、請求項４０〜４５のいずれか一項に記載の前記方法、システム、またはデバイス。
【請求項４７】
前記運動の前記基準が、回転、スケール、及び／または並進運動のうちの１つ以上を含む、請求項４０〜４６のいずれか一項に記載の前記方法、システム、またはデバイス。
【請求項４８】
相似変換写像が前記運動情報から作成される、請求項４０〜４７のいずれか一項に記載の前記方法、システム、またはデバイス。
【請求項４９】
前記相似変換写像を適用して前記ビデオ映像内の各フレームをオフセットすることによって、前記フレームの前記顔面領域が各フレームに対して実質的に一定に保持されることをさらに含む、請求項４９に記載の前記方法、システム、またはデバイス。
【請求項５０】
逆相似変換を適用して前記ビデオ映像内の各フレームを切り取って新たなフレームを作成することによって、前記フレームの前記顔面領域が各フレームに対して実質的に一定に保持されることをさらに含む、請求項４０〜４９のいずれか一項に記載の前記方法、システム、またはデバイス。
【請求項５１】
請求項４０〜５０のいずれか一項に記載の前記方法、システム、またはデバイスと組み合わせた請求項１〜３５のいずれか一項に記載の前記方法、システム、またはデバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般に、視運動性眼振及び頭部運動を決定するのに有用なビデオ情報を処理するためのシステム及び方法に関する。
【背景技術】
【０００２】
幼児の視覚機能を正確に評価することは特に困難である。利用可能な方法はほとんど存在せず、小児眼科、視力検定、及び／または視覚電気生理学において広範囲な訓練を受けていない医療供給者が使用するのに特に好適なものも存在しない。
【０００３】
視運動性眼振（ＯＫＮ）は、連続的な運動パターンまたは刺激によって誘発される眼球固視微動の現象であり、視覚機能を評価するために使用可能である。ＯＫＮは眼球運動の反復であり、視覚刺激物内の対象を円滑に追跡し、その後、眼球が刺激物の新たな対象に視線を固定する場合は、イベント（断続性運動（ｓａｃｃａｄｅ））をリセットする。図１（ｂ）は経時的な眼球変位のグラフを示し、グラフはＯＫＮ眼球運動の特徴である鋸歯状ＯＫＮプロファイルを示す。
【０００４】
ＯＫＮが存在することまたは不在であることは視覚性能の客観的指標であり、また、神経学的疾患を判断することでも有用であり得る。また、人々の生活において視覚障害を早急に検出することは、継続する治療の転帰を著しく改善することとしても知られている。
【０００５】
ＯＫＮ視覚刺激は、コントラスト、周波数、またはコヒーレンスを含む修復可能な特性を有するラインまたはドットを配置することからなる。それらのパラメータを操作することによって、ＯＫＮがもはや不在である閾値を測定することが可能になる。この閾値は視覚性能の基準である。
【０００６】
ＯＫＮを引き起こす１つの方法は、視覚刺激物を備える回転ハンドヘルドドラムを使用することである。臨床医は眼球運動を注視して、ＯＫＮが存在するか不在であるかについて決定する。
【０００７】
ＯＫＮを検出する別の方法は、電気眼球運動記録法として知られている。眼球測定器周辺に設置された電極は、眼球（強力な双極子）が視覚刺激物に反応して動くと、電位が変化する。電極によって生成された信号を解析して、ＯＫＮが存在するかまたは不在であるかを決定する。
【０００８】
ＯＫＮを検出する別の方法は、ビデオ眼球運動記録法技術を使用することである。眼球の位置は、ライブビデオまたは記録されたビデオをレビューすることによって追跡される。ビデオ眼球運動記録法は、非侵襲性であり、低コストかつ基本的なビデオハードウェアを用いて実装可能であるため、魅力的である。米国特許第７、３８０、９３８号にはビデオ眼球運動記録法技術について記載されており、この技術では、眼球のビデオ映像が記録され、眼球の水平及び垂直運動が分離し、水平及び垂直方向における眼球の変位が測定されている。変位測定を解析して、ＯＫＮパターンが存在するかまたは不在であるかを決定することができる。
【０００９】
ビデオ眼球運動記録法技術の１つの欠点は、頭部運動によって導入された性能誤差を排除するために、カメラと眼球との間に固定位置関係を必要することである。頭部運動を防止するために、対象は頭部に固定顎当てを置いて、またはカメラもしくは照明機器等の頭部に装着する機器を装着してビデオ記録を改善する必要が多い。幼児及び乳児が頭部を固定されることまたは頭部にギアを取り付けられることを許容しないことは、ビデオ眼球運動記録法技術を用いて幼児及び乳児の視覚機能を客観的に判断する妨げになる。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明の目的は、上述の欠点のうちのいくつかを克服するまたは少なくともそれらを改良する、もしくは少なくとも公衆に有用な選択を提供する視運動性眼振を判断する手段に関する。
【００１１】
本明細書中では、特許明細書及びその他の書類を含む外部情報源を参照している場合、これは一般に、本発明の特徴を考察するための背景を提供することを目的とする。別途記載されていない限り、そのような情報源への参照は、いかなる権限においても、そのような情報は従来技術であること、または当該業界における共通の一般知識の一部を形成することを認めるものとして解釈されない。
【課題を解決するための手段】
【００１２】
広範な一態様では、本発明は、眼球運動速度情報を複数のフレームを有するビデオ映像から抽出する方法に存しており、ビデオ映像の少なくとも２つのフレームで眼球の少なくとも一部を検出することと、オプティカルフローアルゴリズムをビデオ映像の少なくとも２つのフレームに適用してピクセル速度情報を抽出することと、検出された眼球の少なくとも一部のピクセル速度情報から統計的基準を決定することと、を含む。
【００１３】
別の広範な態様では、本発明は眼球追跡システムに存しており、眼球の映像を捕捉するために配置されたカメラと、眼球の映像を受信し、かつ映像の少なくとも２つのフレームで眼球の少なくとも一部を検出するステップ、オプティカルフローアルゴリズムを映像に適用し、それによって映像の少なくとも２つのフレーム間のピクセル速度情報を決定するステップ、及び検出された眼球の少なくとも一部のピクセル速度情報から統計的基準を決定するステップを行うように構成されたコントローラと、を含む。
【００１４】
別の広範な態様では、本発明はコントローラデバイスに存し、そのデバイスは、映像の少なくとも２つのフレームで眼球の少なくとも一部を検出するステップ、オプティカルフローアルゴリズムを映像に適用し、それによって、映像の少なくとも２つのフレーム間のピクセル速度情報を決定するステップ、及び検出された眼球の少なくとも一部のピクセル速度情報の統計的基準を決定するステップを行うようにプログラムされている。
【００１５】
いくつかの実施形態は、眼球の少なくとも一部の速度度合い及び方向を速度情報から決定するステップ、任意の速度最大値び最小値を速度情報から決定するステップ、任意の最大値または最小値と下側速度閾値とを比較して閾値未満の任意の最大値または最小値を切り捨てるステップ、任意の最大値または最小値と上側速度閾値とを比較して閾値を超える任意の最大値または最小値を切り捨てるステップ、近接する最大値または最小値間のフレーム間距離とフレーム閾値とを比較してフレーム閾値未満の任意の最大値または最小値を切り捨てるステップ、速度情報における任意の単独最大値または単独最小値を決定して単独最大値または単独最小値を切り捨てるステップ、最大または最小速度度合いを平均化するステップ、及び／または最大もしくは最小速度度合いを正規化するステップのうちの１つ以上を（任意の順番で）さらに含む。
【００１６】
いくつかの実施形態では、ピクセル速度情報の統計的基準は平均ピクセル速度である。
【００１７】
いくつかの実施形態では、眼球の少なくとも一部は眼球のコントラスト不連続の領域である。
【００１８】
いくつかの実施形態では、眼球の少なくとも一部は眼球の角膜輪部部分である。
【００１９】
いくつかの実施形態は、ビデオ映像における各連続フレームのピクセル速度平均のリストを作成することをさらに含む。
【００２０】
いくつかの実施形態は、決定された速度情報と健全な速度情報とを比較して、眼球及び／または視覚経路の健康状態を決定することをさらに含む。
【００２１】
決定された速度情報と健全な速度情報とを比較して、ＯＫＮの存在及び／または強度を決定することをさらに含むいくつかの実施形態。
【００２２】
いくつかの実施形態では、眼球の角膜輪部部分は縁部検出アルゴリズムによって決定される。
【００２３】
いくつかの実施形態では、縁部検出は、Ｐｒｅｗｉｔｔ演算子を適用することによって行われる。
【００２４】
いくつかの実施形態では、オプティカルフローアルゴリズムはＬｕｃａｓ−Ｋａｎａｄｅオプティカルフローアルゴリズムである。
【００２５】
いくつかの実施形態では、オプティカルフローアルゴリズムを適用して、リセットイベントに対応するある長さのビデオ映像の連続フレーム間のピクセル速度情報を決定する。
【００２６】
いくつかの実施形態では、眼球の前に配置された視覚刺激物がさらに含まれ、その刺激物は視運動性眼振を引き起こすように動作可能である。
【００２７】
いくつかの実施形態は、平均速度情報と既知の視運動性眼振速度情報とを比較して、刺激物に反応する眼球の健康状態を決定することをさらに含む。
【００２８】
いくつかの実施形態では、ビデオ映像は刺激物を注視する対象から得られる。
【００２９】
いくつかの実施形態では、刺激物はスクリーンである。
【００３０】
いくつかの実施形態では、カメラ及びスクリーンは筺体内に含まれる。
【００３１】
いくつかの実施形態では、カメラ、スクリーン、及びコントローラは筺体内で一体化される。
【００３２】
いくつかの実施形態では、筺体はスマートフォン、タブレット、またはポータブル計算デバイスのうちの任意の１つ以上である。
【００３３】
いくつかの実施形態では、眼球の少なくとも一部を検出することは、眼球の特徴を検出することを含まない。
【００３４】
別の広範な態様では、本発明は、眼球追跡の対象の注目を改善する方法に存し、少なくとも１つのディスプレイを動作させて視聴者の注目を機能的に得るビデオのビデオを表示させることと、少なくとも１つのディスプレイを動作させてＯＫＮ刺激ビデオを表示させることと、カメラを用いてＯＫＮ刺激ビデオを注視する眼球を記録することと、を含む。
【００３５】
いくつかの実施形態では、視聴者の注目を機能的に得るビデオはアニメビデオである。
【００３６】
いくつかの実施形態では、本方法は、請求項１に記載の眼球の記録から眼球運動速度情報を抽出する方法をさらに含む。
【００３７】
いくつかの実施形態では、統計的基準を適用して、人の行動、広告に対する人の反応、セキュリティ目的、または顧客注目のうちの１つ以上に関する情報を決定する。
【００３８】
いくつかの実施形態は、ビデオ映像の少なくとも２つのフレームで頭部の顔面領域の少なくとも一部を検出することと、少なくとも２つのフレーム間の顔面領域の少なくとも一部の運動の基準を決定することと、運動の基準から変換写像を決定することと、を含む方法によって、ビデオ映像から頭部画像軌道情報を抽出することをさらに含む。
【００３９】
いくつかの実施形態は、変換写像の逆元を決定することと、変換の逆元をビデオ映像内の各フレームに適用することによってフレームの顔面領域が実質的に一定に保持されることと、をさらに含む。
【００４０】
いくつかの実施形態は、Ｖｉｏｌａ−Ｊｏｎｅｓアルゴリズムを用いて、ビデオ映像のフレーム内から顔面領域を検出することをさらに含む。
【００４１】
いくつかの実施形態は、Ｈａｒｒｉｓコーナー検出アルゴリズムを用いて、フレームの顔面領域の１つ以上の特定部分を識別することをさらに含む。
【００４２】
いくつかの実施形態は、Ｋａｎａｄｅ  Ｌｕｃａｓ  Ｔｏｍａｓｉ（ＫＬＴ）ポイントトラッカーを用いて、顔面領域の運動の基準、または連続ビデオフレーム間の顔面領域の１つ以上の特定部分を決定することをさらに含む。
【００４３】
いくつかの実施形態では、運動の基準は、回転、スケール、及び／または並進運動のうちの１つ以上を含む。
【００４４】
いくつかの実施形態では、変換写像は運動情報から形成される。
【００４５】
いくつかの実施形態は、逆相似変換を適用してビデオ映像内の各フレームをオフセットすることによって、フレームの顔面領域が各フレームに対して実質的に一定に保持されることをさらに含む。
【００４６】
いくつかの実施形態は、逆相似変換を適用してビデオ映像内の各フレームを切り取って新たなフレームを作成することによって、フレームの顔面領域が各フレームに対して実質的に一定に保持されることをさらに含む。
【００４７】
いくつかの実施形態では、頭部軌道情報を使用して眼球運動速度情報を改善する。
【００４８】
いくつかの実施形態では、頭部軌道情報を眼球追跡情報に対してオフセットして、頭部運動によって生じる眼球運動速度情報を実質的に排除する。
【００４９】
別の広範な態様では、本発明は、ＯＫＮの存在を決定するための複数のフレームを有するビデオ映像を処理する方法に存し、
ビデオ映像の少なくとも２つのフレームで頭部画像の顔面領域の少なくとも一部を検出すること、少なくとも２つのフレーム間の顔面領域の少なくとも一部の運動の基準を決定すること、及び運動の基準から変換写像を決定することを含む方法によって頭部軌道情報を抽出することと、ビデオ映像の少なくとも２つのフレームで眼球の少なくとも一部を検出すること、オプティカルフローアルゴリズムをビデオ映像の少なくとも２つのフレームに適用してピクセル速度情報を抽出すること、及び検出された眼球の少なくとも一部内のピクセル速度情報から統計的基準を決定することを含む方法によって眼球運動速度情報を抽出することと、を含む。
【００５０】
いくつかの実施形態では、頭部軌道情報を眼球追跡情報に対してオフセットして、頭部運動によって生じる眼球運動速度情報を実質的に排除する。
【００５１】
別の広範な態様では、本発明は、複数のフレームを有するビデオ映像から頭部画像軌道情報を抽出する方法に存し、
ビデオ映像の少なくとも２つのフレームで頭部画像の顔面領域の少なくとも一部を検出することと、少なくとも２つのフレーム間の顔面領域の少なくとも一部の運動の基準を決定することと、運動の基準から変換写像を決定することと、を含む。
【００５２】
別の態様では、本発明は、複数のフレームを有するビデオ映像から頭部画像軌道情報を抽出する方法に存し、ビデオ映像の少なくとも２つのフレームで頭部画像の顔面領域の少なくとも一部を検出することと、２つのフレーム間の顔面領域の少なくとも一部の運動の基準を決定することと、運動の基準から変換写像を決定することと、を含む。
【００５３】
別の態様では、本発明は、頭部画像軌道情報を抽出するための頭部追跡システムに存し、頭部の映像を捕捉するために設置されたカメラと、頭部の映像を受信し、かつビデオ映像の少なくとも２つのフレームで頭部の顔面領域の少なくとも一部を検出するステップ、少なくとも２つのフレーム間の顔面領域の少なくとも一部の運動の基準を決定するステップ、及び運動の基準から変換写像を決定するステップを行うように構成されたコントローラと、を含む。
【００５４】
別の態様では、本発明は、ビデオ映像の少なくとも２つのフレームで頭部の顔面領域の少なくとも一部を検出するステップ、少なくとも２つのフレーム間の顔面領域の少なくとも一部の運動の基準を決定するステップ、及び運動の基準から変換写像を決定するステップを行うように構成されたコントローラデバイスに存する。
【００５５】
いくつかの実施形態では、方法またはステップは、変換写像の逆元を決定することと、変換の逆元をビデオ映像内の各フレームに適用することによって、フレームの顔面領域が実質的に一定に保持されることと、をさらに含む。
【００５６】
いくつかの実施形態は、Ｖｉｏｌａ−Ｊｏｎｅｓアルゴリズムを用いて、ビデオ映像のフレーム内から顔面領域を検出することをさらに含む。
【００５７】
いくつかの実施形態は、Ｈａｒｒｉｓコーナー検出アルゴリズムを用いてフレームの顔面領域の１つ以上の特定部分を識別することをさらに含む。
【００５８】
いくつかの実施形態は、Ｋａｎａｄｅ  Ｌｕｃａｓ  Ｔｏｍａｓｉ（ＫＬＴ）ポイントトラッカーを用いて顔面領域の運動の基準、または連続ビデオフレーム間の顔面領域の１つ以上の特定部分を決定することをさらに含む。
【００５９】
いくつかの実施形態では、運動の基準は、回転、スケール、及び／または並進運動のうちの１つ以上を含む。
【００６０】
いくつかの実施形態では、変換写像は運動情報から形成される。
【００６１】
いくつかの実施形態は、逆相似変換を適用してビデオ映像内の各フレームをオフセットすることによって、各フレームの顔面領域が各フレームに対して実質的に一定に保持されることをさらに含む。
【００６２】
いくつかの実施形態は、逆相似変換を適用してビデオ映像内の各フレームを切り取って新たなフレームを作成することによって、フレームの顔面領域が各フレームに対して実質的に一定に保持されることをさらに含む。
【００６３】
いくつかの実施形態では、システムまたは方法は、乳児、幼児、または障害がある人に適用される。
【００６４】
いくつかの実施形態では、システムまたは方法は、１０歳未満の子供に適用される。
【００６５】
いくつかの実施形態では、システムまたは方法は、８歳未満の子供に適用される。
【００６６】
いくつかの実施形態では、システムまたは方法は、６歳未満の子供に適用される。
【００６７】
いくつかの実施形態では、システムまたは方法は、４歳未満の子供に適用される。
【００６８】
いくつかの実施形態では、システムまたは方法は、２歳未満の子供に適用される。
【００６９】
いくつかの実施形態では、システムまたは方法は、２歳までの子供に適用される。
【００７０】
いくつかの実施形態では、システムまたは方法は、３歳までの子供に適用される。
【００７１】
いくつかの実施形態では、システムまたは方法は、４歳までの子供に適用される。
【００７２】
以下の実施形態は上述の態様のいずれかに関連し得る。本発明の他の態様は、実施例の手段のみによって得られる以下の記載から、かつ添付の図面を参照することによって明らかになり得る。
【００７３】
本明細書中で使用する用語「及び／または」は、「及び」、または「または」、もしくはそれらのいずれをも意味する。
【００７４】
本明細書中で使用する、名詞に続く「（複数可）」は、名詞の複数形及び／または単数形を意味する。
【００７５】
本明細書中で使用する用語「含んでいる」は、「少なくとも〜の一部からなる」を意味する。その用語を含む本明細中の記述を解釈するとき、各記述または特許請求の範囲内のその用語によって前置きされる特徴のすべてが存在する必要があるが、他の特徴が存在してもよい。「含む」及び「含まれた」等の関連する用語は、同様の様式で解釈されるべきである。
【００７６】
また、本発明は広範に、本出願の本明細中で個別にまたは集合的に参照されるもしくは示される部品、要素、及び特徴、ならびに該部品、要素、または特徴の任意の２つ以上の任意のまたは全ての組み合わせからなるとも考えられ得て、特定の整数が本明細書中に記載され、その整数が、本発明が関連する当該業界において既知の同値を有する場合、そのような既知の同値は、あたかも説明されているように、本明細中に組み込まれていると見なされる。
【００７７】
本発明に関連する当業者には、構成、及び広く異なる実施形態ならびに本発明の適用における多くの変更が、特許請求の範囲で定義される本発明の範囲を逸脱することなく、提案されるであろう。本明細書中の開示及び記載は単に例示的なものであり、決して限定的なものではない。
【００７８】
ここで、本発明は、一例として、図面を参照することによって記載されるであろう。
【図面の簡単な説明】
【００７９】
【図１】眼球の写真を示す。図１（ａ）は、変位における変化が典型的にモニタされた眼球の領域を示す。図１（ｂ）は、健全な眼球運動の特徴である鋸歯状プロファイルを呈する経時的な眼球変位のグラフを示す。図１（ｃ）は、眼球変位信号から得られる眼球運動速度のグラフを示す。
【図２】連続画像フレームがピクセル速度の推定値に転換される実施例を示す。図２（ａ）は、カメラから受信した眼球の例示的な画像である。図２（ｂ）は、オプティカルフローアルゴリズムによって提供されたピクセル速度ベクトルの実施例を示す。図２（ｃ）は、オプティカルフロー速度ベクトルの局所的速度平均のグラフの実施例である。
【図３】本発明の好ましい方法ステップの概要を示す。
【図４】模擬角膜輪部縁部及び検出器反応のグラフを示す。図４（ａ）は、大きさ（σ＝５）が観測されているものに類似する、例示的な入力端部を示す。図４（ｂ）は、実施中に対面するものを示す断続性運動速度値を用いて算出された反応曲線を示す。（３つの実施例の速度用（それぞれ、ｖ＝１；３；５ピクセル／フレーム）。
【図５】眼球を観測する視物の鮮明なラインを示すディスプレイの近くに位置付けられたカメラを含む構成要素の一実施例の配置を示す。図５（左の挿入図）は、低コヒーレンス刺激物の実施例を示す。図５（右の挿入図）は、完全コヒーレンス刺激物の実施例を示す。
【図６】検出方法の態様を示す較正検査から得た一連のビデオフレームを示す。
【図７】（ａ）〜（ｅ）は、ピクセル速度情報及びＯＫＮ整合値Ｋを示す。
【図８】ＯＫＮ整合値Ｋの分布の要約を示す。
【図９】速度情報におけるピークのグラフを示す。
【図１０】ビデオ映像の一部分内の単一フレームであるフレーム００５５に適用された図３の方法を示す。
【図１１】カメラ、スクリーン、及び計算デバイスを含むシステムの構成要素の概観図を示す。
【図１２】本発明の別の実施形態による、加工されていない安定化された頭部軌道を示す。
【図１３】頭部３Ｄ姿勢推定及び安定化手順を示す。
【図１４】３Ｄ空間内のある長さのビデオ映像の頭部軌道推定を示す。
【発明を実施するための形態】
【００８０】
上記図７、図８の説明中、「Ｋ」は正しくは
2016521411.tif 000003
である。
【００８１】
眼球追跡
従来技術のビデオ眼球運動記録法技術は、主に画像内のコントラスト遷移に影響する縁部検出アルゴリズムによって処理するために、画像内の位置を必要とする。したがって、位置は、瞳孔、角膜輪部の端部、または眼瞼等の眼球の高コントラスト特徴である必要がある。それらの特徴の運動をフレームからフレームへ追跡して、変位信号を決定することができる。標準ＲＧＢカメラによって記録された映像は、典型的には、眼球の特徴間で、特に虹彩のための不十分なコントラストを形成するであろう。図１（ａ）は、ビデオ記録におけるフレームの不十分なコントラストを示す。また、図１（ａ）は、角膜反応、まつ毛、及び眼瞼によって、どのように画質がさらに悪化し得るかを示す。ビデオ記録内のそれらの特徴のコントラスト、ひいては縁部検出アルゴリズムの性能を改善するために、赤外線を使用して眼球を照射する。頭部装着物または顎当てを使用して、記録機器に対して眼球を安定させることができる。しかしながら、幼い対象は、頭部に装着する機器に抵抗感があり、それらを頭部の定位置に固定することを拒絶する。
【００８２】
特定の一実施形態は、ビデオ映像からＯＫＮを検出することを可能にするビデオ眼球運動記録法システム及び方法である。対象が視覚刺激物を注視しているときのビデオ映像を使用して、眼球の変位ではなく、速度を推定する。特に、本発明は、オプティカルフローとして知られる画像処理アルゴリズムを適用することによって、粗決定された眼球の角膜輪部領域値内のピクセル速度推定値を決定することを含む。好ましい実施形態では、Ｌｕｃａｓ−Ｋａｎａｄｅオプティカルフローアルゴリズムが使用される。本アプローチの重要な利点は、画像の歪みを発生させる不十分な画像コントラスト及び他の問題点に対処するとき、システム及び方法のロバスト性を改善する正確な縁部検出が不要な点である。また、本システム及び方法は、従来技術の変位ベースのアプローチを困難にすることが多い眼瞼またはまつ毛等の固定障害物の影響を受けない。さらに、眼球の特定の態様または特徴、例えば、眼球内に存在するスペック、ライン、または鮮明な端部を検出することが不要である。さらに、回旋運動の測定が不要である。
【００８３】
オプティカルフローアルゴリズムによって提供される速度推定値は、粗決定された角膜輪部領域内のピクセル速度の平均である。発見的解析を、決定された速度推定値に適用してＯＫＮの存在及び方向を決定することができる。また、図１（ｃ）に示すもの等の速度推定値情報と、健全な眼球運動速度情報、特に、ＯＫＮがもはや存在しない速度閾値とを手動で比較して、眼球及び／または視覚経路の健康状態の比較判定を行うこともできる。また、速度推定を用いて、人が注視する方向を追跡することもできる。また、注視の方向を用いて、どの視覚刺激物が注目を得るか等の情報を含む人の行動特徴を判定することもできる。
【００８４】
一実施形態では、システムは、予め記録されたビデオ映像に適用する。一方、別の実施形態では、システムは、実時間でカメラからのビデオ信号に適用する。様々な実施形態は、ＯＫＮ反応を引き起こすように設計された視覚刺激提示システムと組み合わせる。カメラと計算能力のいずれをも有するスマートフォン、タブレット、またはラップトップデバイス等のポータブルもしくはハンドヘルドデバイスは使用可能であり得る。しかしながら、単独で適切な刺激物を表示することができ、かつビデオ映像を記録することができるデバイスを使用可能であることを、当業者は認識するであろう。
【００８５】
オプティカルフローアルゴリズムから得た速度情報を使用して、刺激物が対象の眼球内でＯＫＮを引き起こしているか否かを検知する。ＯＫＮがもはや検出されない閾値での刺激パラメータによって、視覚性能の指標が提供される。臨床医は、眼球運動から決定された速度情報をレビューすることができる。代替として、統計的解析方法を速度情報に適用して、ＯＫＮが存在するかまたは不在であるかを決定することができる。
【００８６】
いくつかの実施形態によると、統計的方法は、眼球の領域から決定されたオプティカルフローフィールドの局所的平均速度を算出している。角膜輪部領域が縁部検出方法から粗決定されるいくつかの実施形態では、眼球の角膜輪部領域が使用される。他の実施形態では、他の領域または眼球の領域の組み合わせを使用し、それによって、少なくとも虹彩等のコントラスト不連続がもたらされる。コントラスト不連続を用いて、速度情報が解析される眼球の領域を追跡する。
【００８７】
また、Ｌｕｃａｓ‐Ｋａｎａｄｅ特徴追跡を用いて頭部運動を追跡することもできる。眼球運動は数値化可能であり、また、頭部運動も数値化可能である。頭部運動を決定することによって、頭部に装着するビデオ機器の必要性をなくすことが可能である。
【００８８】
ＯＫＮを引き起こすために使用される視覚刺激物の一実施例は、図５に示す１６インチ陰極線管（ＣＲＴ）上に２５０個の白い移動ドットを有する視覚ディスプレイである。ディスプレイは、表示される刺激ビデオの大きさ及び解像度に対して適した大きさ及び解像度を有する任意のスクリーンであり得ることを、当業者は認識するであろう。例えば、ＣＲＴスクリーン、ＬＣＤ、またはハンドヘルドディスプレイを使用することができる。いくつかの実施形態では、ドットは、約０：５°の大きさで、８：３°の円形窓内に約８秒間示される。いくつかの実施形態では、ドットは約８．３°／秒で移動する。いくつかの実施形態では、一斉に移動するドット対ドットの全母集団の割合は調整可能である。完全ドットコヒーレンスは、図５の右の挿入図に示す同じ方向に移動するドットの１００％を有する一方で、低ドットコヒーレンスは、一斉に移動する全ドットの３０〜３８％を有し、図５の左の挿入図に示す残りはランダムに移動する。いくつかの実施形態では、ドットのコヒーレンスもまた調整可能である。
【００８９】
一実施例では、ＣＲＴディスプレイは、対象の眼球から約６０ｃｍの距離に設置する。ＳＯＮＹデジタル高解像カメラ（ＨＤＲ−ＣＸ７ＥＫ，Ｓｏｎｙ  Ｃｏｒｐｏｒａｔｉｏｎ，Ｔｏｋｙｏ，Ｊａｐａｎ）を使用してビデオ映像を収集し、ＲＧＢ画像（１９２０×１０８０ピクセル）のビデオ映像を１秒あたり２５フレームで配信する。カメラをディスプレイの近くに位置付けて、眼球を観測する視物の鮮明なラインを示す。この配置（対象は含まない）は一般に、図５に示される。
【００９０】
別の実施例では、特に幼い試験対象の注目を改善するために、漫画等の子供の心に訴えるビデオセグメントとともに視覚刺激ビデオを分在させる。漫画または他の種類のアニメビデオは、幼い対象の注目を得るのに適した時間にわたって表示されるが、これは、視覚刺激ビデオがＯＫＮデータを取得するのに適した時間にわたって表示される前に行われる。注目が薄れてきたとき、または代替として、ＯＫＮビデオが終了したとき、漫画を表示することができる。コントロールデバイスによって、またはオペレータによる手動で、ディスプレイにかつディスプレイから漫画を自動的に切り替えることができる。別の実施例では、漫画は第１のスクリーン上に表示可能であり、ＯＫＮ刺激ビデオは第２のスクリーン上に表示可能である。対象の注目を得るために第１のスクリーンの電源を入れて動作させ、次いで、第２のスクリーンの電源を入れて動作させて第１のスクリーンの電源を落とすことによって、対象がＯＫＮ刺激物を観測する。
【００９１】
いくつかの実施形態では、ビデオデータを処理することできる計算デバイス等のシステムにビデオ映像を入力する。そのようなシステムの一実施例は、ＰＣ動作ＭＡＴＬＡＢソフトウェアである。計算デバイスには、ビデオ映像を受信し、かつ、その映像の操作及び解析を行うためのハードウェア及びソフトウェアが装備されている。代替として、計算デバイスは、マイクロプロセッサまたはマイクロコントローラ等のスタンドアローン型システムであってよい。図１１は、眼球映像を記録するためのカメラ６０と、刺激物を表示するためのスクリーン７０と、計算デバイス８０を含むシステムの構成要素の概観図を示す。それらの各構成要素は、上述のスマートフォンまたはタブレット等の筺体９０内に含むことができる。
【００９２】
様々な実施形態によるＯＫＮを決定する方法は、以下のステップに従って実施される。眼球が刺激物を注視する間、眼球の映像を含むビデオシーケンスは記録される。いくつかの実施形態では、ビデオはカラーかつ高解像度、例えば、１９２０×１０８０ピクセルであるが、白黒及び／または低解像度であってもよい。いくつかの実施形態では、計算複雑性を低減するために、ビデオ映像をグレースケールまで減力する。オプティカルフロー画像処理アルゴリズムをビデオ映像に適用して、シーケンシャルフレームからのピクセル速度情報を決定する。眼球の限定領域から速度情報が決定されるが、その領域は眼球の角膜輪部及び／または角膜輪部縁部部分である。その領域は、縁部検出アルゴリズムによって決定された眼球の角膜輪部領域が粗推定されたものである。画像処理アルゴリズムは、ビデオ映像内の２つの連続フレームにわたる眼球の決定された角膜輪部領域内のピクセル速度情報によって表されるオプティカルフロー情報を出力する。速力及び方向を含むピクセル速度情報を直接決定して、ＯＫＮの存在及び方向を決定することができる。
【００９３】
本方法のステップの一実施例は図３に示され、そこで、２つの連続画像フレームをピクセル速度の推定値に変換することが示される。第１のステップ１０では、連続ビデオフレームＩ（ｔ）及びＩ（ｔ＋１）を高解像カラービデオ映像から採取して、グレースケールまで減力する。第２のステップ２０では、縁部検出方法をビデオ映像に適用して縁部マップを決定することによって、眼球の角膜輪部領域を粗決定したものを決定する。この縁部マップは、眼球の角膜輪部部分の位置を決定することを表し、つまりビデオ映像の範囲を表し、その範囲からオプティカルフロー情報を決定する。オプティカルフロー情報を有用にするために、縁部マップを正確に決定する必要はない。本方法は、ビデオ映像のフレーム全体で得た角膜輪部縁部マップの変動に対してロバストである。理想的には、ヒステリシス閾値を有するＰｒｅｗｉｔｔ演算子を適用することによって縁部検出を行う。しかしながら、他の縁部検出ストラテジーまたは演算子を使用して角膜輪部領域を決定可能であることを、当業者は認識するであろう。一定の重量未満の連結領域及び画像境界に連結した領域は除去される。第２のステップ２０と同時にまたはそれよりも前に処理され得る第３のステップ３０では、オプティカルフロー推定方法によって、ピクセル明度における空間的及び時間的変化からピクセル速度情報を決定する。図１（ｃ）に示すように、刺激物が観測されるとき、眼球のイベント（断続性運動）を早急にリセットする間は、角膜輪部領域は速度スパイクを呈さなければならない、かつ、他の期間中は円滑なまたは一定の速度変更を呈さなければならない。
【００９４】
図２は、オプティカルフロー方法をより詳細に示す。図２（ａ）は、眼球を示すビデオ映像の一部分の画像または単一フレームを示す。図２（ｂ）は、連続フレーム間のピクセル移動の度合い及び方向を示す複数のベクトルを示す。図２（ｃ）は、図２（ｂ）の複数の連続フレーム用のピクセルベクトルの平均速度のグラフである。
【００９５】
図３の第４のステップ４０では、縁部検出方法２０によって提供された角膜輪部領域情報と、オプティカルフロー方法３０によって提供されたピクセル速度情報とを組み合わせて、マスク速度フィールドを作成する。マスク速度フィールドは、検出された角膜輪部領域内の速度情報のみを表す。第５のステップ５０では、マスク速度フィールドからの速度情報を平均化して、ビデオ映像内の所定の一対の連続フレームの速度値を得る。所望のビデオ映像内の多くの連続フレームによって速度のグラフが時間の関数として提供されるように、図３の方法が実行される。グラフを解析してＯＫＮ情報を決定することができる。
【００９６】
図１０は、単一フレームであるビデオ映像の一部分内のフレーム００５５に適用された図３の方法を示す。図１０（ａ）は、本方法に入力された眼球の画像を示す。図８（ｂ）は、縁部検出方法によって識別された角膜輪部領域を示す。図１０（ｃ）は、ピクセル速度のオプティカルフロー推定を示す。図１０（ｄ）は、検出された速度情報でオーバーレイされた検出された角膜輪部領域を示す。図１０（ｅ）は、検出された角膜輪部領域内で得られたオプティカルフロー速度情報の平均速度情報を示す。
【００９７】
オプティカルフロー推定式を、式（１）として以下に提供する。
【数１】
2016521411.tif 000004
【００９８】
さらに、単純な１Ｄでは、式（２）を形成する。
【数２】
2016521411.tif 000005
【００９９】
式（３）は、経時的に右に移動する、明度が上昇している端部を有するＳ字状の１Ｄ端部（角膜輪部を表す）を表す。
【数３】
2016521411.tif 000006
【０１００】
Ｖ＝ｖは式（３）の導関数によって確認され、式（２）に代入される。ピクセル速度推定における誤差は、ノイズ、デジタル化、及び式（１）を導き出すのに使用するわずかな時間的または空間的変位の仮定から生じるであろう。しかしながら、予測された反応は式（２）から観測することができる。
【０１０１】
図４（ａ）は、例示的な入力端部を示し、この入力端部は、ｔ＝−１、０、１（この場合、端部はｖ＝１ピクセル／フレームの速度を有する）によってインデックスされた３つの連続フレームで実施中に観測されたものに大きさ（σ＝５）が類似する。また、明度
2016521411.tif 000007
（例示的な目的のために５でスケールされた）のスケールされた空間導関数が示され、この関数では、ｔ＝０と考えられる。
【０１０２】
図４（ｂ）は、実施中に対面するものを示す断続性運動速度値を用いた３つの例示的な速度（それぞれｖ＝１；３；５ピクセル／フレーム）の算出された反応曲線（［−２０；＋２０］ピクセルインターバルにわたる）を示す。反応曲線は速度推定値を位置の関数として示す。反応曲線の平均値
2016521411.tif 000008
及び標準偏差値
2016521411.tif 000009
によって、所定のフレームに反応の記述子が提供される。ｖ＝１端部への反応はいずれも統一されており、正確な速度推定
2016521411.tif 000010
を示す。
【０１０３】
端部への測定可能な反応がサッカード（ｓａｃｃａｄｉｃ）速度で予測される。または、上述の解析によって、（飽和に対する）実流速からの偏差値上昇を実流速上昇として用いて、より低い速度でより正確に速度を推定することが提案される。得た速度情報は、サッカード運動を検出するのに十分であるため、ＯＫＮが存在するか不在であるかを決定する。
【０１０４】
一次元描写を修正して二次元ビデオでサッカード運動を容易に検出することが可能である。いくつかの実施形態では、オプティカルフローアルゴリズムはＬｕｃａｓ−Ｋａｎａｄｅ方法である。しかしながら、他のオプティカルフロー測定方法も適宜使用可能であることも、当業者は認識するであろう。Ｌｕｃａｓ−Ｋａｎａｄｅオプティカルフローアルゴリズムは、Ｖがピクセルｐを中心に置く小さな領域（ｉ＝１、．．．、ｎとインデックスされたピクセルを有する）にわたって一定であると仮定する。ｐでの速度の最小二乗推定値を式（４）に示す。
【数４】
2016521411.tif 000011
式中、
【数５】
2016521411.tif 000012
であり、Ｗは、式（５）に示す、対角ｎ×ｎマトリックスである。
【数６】
2016521411.tif 000013
【０１０５】
Ｗは、ｐ周辺の局部的領域内ピクセルの望ましい重量寄与である。ガウス窓を使用することができる。角膜輪部速度は、角膜輪部領域にわたる全Ｖ（ｐ）の平均値であり、式（６）によって表され、
【数７】
2016521411.tif 000014
式中、ｐは、眼球を含む画像内のピクセル全体で変動する。いくつかの実施形態では、式（７）に示す以下の重量係数ｑ（ｐ）を使用し、
【数８】
2016521411.tif 000015
式中、Ωは、角膜輪部として分類される画像内の一組のピクセルインデックスである。
【０１０６】
眼球運動速度情報を決定するためのビデオ眼球運動記録法技術が記載された。本技術は、一般成人の凝視、まだたき、反射、及び他の誤差を誘発する要因に見られる頭部運動によって誘発された誤差に対して実質的にロバストである。さらに、本技術は、幼児または頭部に機器を装着することを許容しない対象に使用するための頭部を安定させるものと組み合わせることができる。したがって、本技術はビデオ眼球運動記録法技術であり、別の手段では判定不可能である幼児に容易に適用することができる。本技術を標準的な既製のビデオ機器を用いて実施し、それによって、高価なサポートハードウェアを使用する必要がなくなる。上述の技術に起因する速度情報グラフは、熟練した臨床専門家によって直接解析可能である、及び／または以下に記載するＯＫＮ検出方法によってさらに処理可能である。
【０１０７】
ＯＫＮ強度は以下によって決定可能である。ＯＫＮを示さないピークは、例えば、それらと閾値とが比較されて、それらの閾値未満のピークが切り捨てられることによって、拒絶される。残存ピークの高さの平均は、適切な正規化値
2016521411.tif 000016
によって決定されてスケールされる。ピークが弱くかつ正負間で等しく分布している場合は、低い値が発生するであろう。反対に、ピークが一貫して正または負である場合は、基準は平均高さとスケールし、サインはリセットイベントの方向と相関するであろう。図９は、速度情報内のピークのグラフを示す。
【０１０８】
様々な実施形態による、得た速度情報からＯＫＮを検出するための方法ステップのより詳細な説明を以下に提供する：
１．Ｖｘ（ｔ）信号の所定のインターバル内の全最大値及び最小値を検出してそれらをＱ（ｊ）と標識し、式中、ｊ＝１．．．Ｍとなる。最大値（または最小値）を、フレームごとに
2016521411.tif 000017
ピクセルの絶対閾値によってテスト点未満の（またはテスト点を超える）隣接点を有する点として定義する。
２．閾値とそれらのピークとを比較して、実験的に決定された速度閾値よりも小さい全ピーク
2016521411.tif 000018
を除外する。Ｍを残存するピークの数にリセットする。
３．最小値または最大値が眼球方向における反転を示さない場合、軸を超える（または軸未満の）最小値（または最大値）を拒絶する。有効速度ピークは原則として、ゼロ速度によって定義された軸を超える必要がある：緩徐相及び急速相が反対方向に生じる（したがって反対サインを有する）。また、この規則は、有効速度ピーク上に発生し得る「のこぎり歯状の端部」またはノイズを識別することも補助する。再度、Ｍを残存するピークの数にリセットする。
４．離れたフレームの所定の数（σt）未満のピークを拒絶する。サッカード運動は円滑追跡の期間に続かなければならない。非常に短い潜伏期間はＯＫＮでは稀である。いくつかの実施形態では、１３３〜１６０ｍｓに対応する（３０Ｈｚ及び２５Ｈｚのカメラフレームレートの）４つのフレームの閾値を使用する。いくつかの実施形態では、１０ｄｅｇ／秒で移動する刺激物の予測された緩徐相は２５０ｍｓを超えると推定する。再度、Ｍを残存するピークの数にリセットする。
５．いくつかの実施形態では、単独最大値または最小値もしくは最小値（すなわち、データ内の同じサインの他のピークを有さない値）を拒絶する。分離ピークはＯＫＮの決定を支援するのに十分な証拠ではないことが多い。再度、Ｍを残存するピークの数にリセットする。
６．正規化された平均ピーク速度
2016521411.tif 000019
を決定する。残存するピークが存在する場合は、速度閾値
2016521411.tif 000020
によって正規化後、
2016521411.tif 000021
を速度の平均値とする。いくつかの実施形態では、フレームごとに閾値を０．５ピクセルに設定する。残存するピークが存在しない場合は、式（８）に示すように、
2016521411.tif 000022
値をゼロに設定する。
【数９】
2016521411.tif 000023
【０１０９】
2016521411.tif 000024
のサインによってＯＫＮリセットイベントの方向が決定する。正の
2016521411.tif 000025
ではリセットイベントは右方向であるのに対して、負の
2016521411.tif 000026
では左方向となるであろう。度合いはデータ内のＯＫＮの整合を示すであろう。
2016521411.tif 000027
の１未満の絶対値は、ＯＫＮを示す一貫したサッカード運動が不在であることを示す。
2016521411.tif 000028
の１以上の値は、一貫したサッカード運動が存在すること、つまりＯＫＮを示す。
【０１１０】
本発明は実験研究についての以下の記載を示す。
【０１１１】
実験データパート１
検出方法の性能を試験するために、平均年齢が２５歳である６名の参加者の健全な眼球のビデオ映像を記録した。得た映像をさらに処理するために、各眼球周辺でビデオを手動で切り取って準備した。ビデオ記録を、刺激の時間的長さに対応する時間的長さに短縮した。この場合、刺激は８秒であった。合計１１５の焦点検査結果を参加者から得たところ、その中には、７０の完全コヒーレンス刺激及び４２の低コヒーレンス刺激が存在した。刺激コヒーレンスによって眼球のＯＫＮ反応が変化すると予測した。
【０１１２】
速度推定器及びＯＫＮ検出器を、得たビデオ記録のそれぞれに適用した。得たＯＫＮ強度基準のサインをＯＫＮ方向の指標として使用した。使用したオプティカルフローアルゴリズムは、Ｄｏｌｌａｒ（２０１２）によって書き込まれたバージョンで、Ｌｕｃａｓ−Ｋａｎａｄｅオプティカルフローソルバと呼ばれるものであった。
【０１１３】
第１の１７の検査を１００％のコヒーレンスを有する純刺激パターンを用いて記録した。それらの検査を用いて、後に使用するパラメータを較正した。アルゴリズムパラメータを適切に調整した後、１７の検査の較正セットの検査精度は１００％であった（９つの正確な左検出、及び８つの正確な右検出）。
【０１１４】
図６は、本検出方法の態様を示す較正検査から得た一連のビデオフレームを示す。推定された角膜輪部領域は、眼球のグレースケール画像全体にオーバーレイされる。フレーム１０は静止する眼球を示し、一方、フレーム５４〜５６はＯＫＮリセットイベントの発生を示す。フレーム２６は、まばたき中に角膜輪部の端部が失われたことを実証する。それらの観測を、図７（ａ）及び７（ｂ）に示す本シーケンスの垂直及び水平速度トレースを調査することによって、さらに確認する。図６内のスチール写真の左下角に出現するフレームの数は、図７（ａ）及び７（ｂ）の垂直軸に直接対応する。ＯＫＮデータとして容認されたピークはボックス内に示す。
【０１１５】
また、フレームごとに０．５ピクセルと実験的に設定された速度閾値は点線として示される。１１５に及ぶ検査での検出器の性能は９３％であり、５２の正確な左検出、５３の正確な右検出、及び１０のエラーをもたらした。完全コヒーレンス群の検出器の性能は９６％であり、３８の正確な左検出、３２の正確な右検出、及び３つのエラーをもたらした。低コヒーレンス群の性能は８８％であり、１４の正確な左検出、２１の正確な右検出、及び７つのエラーをもたらした。
【０１１６】
ＯＫＮ整合値
2016521411.tif 000029
の分布実態を図８で要約する。ヒストグラムは、２つの群にわたる
2016521411.tif 000030
の分布を示し、それによって、正確及び不正確な分布の分布が示される。不正確な検出値を低ＯＫＮ値と相関させることができる。この観測には２つの可能性が存在し得る。それは、ＯＫＮスパイクが稀にかつ低い度合いで発生すること、及び／またはＯＫＮスパイクが約ゼロ速度で分布して低平均値をもたらすことである。
【０１１７】
３つの不正確な検出値を、図７（ｃ）、（ｄ）、及び（ｅ）に示し、最後のパネル、（ｆ）は、限界ＯＫＮ判断を用いた正確な検出値を示す（すなわち、不正確な検出値の平均値近く）。双方向ピークが出現して互いに無効にすることによって、低ＯＫＮ整合基準がもたらされる。この観測を確認するために、熟達した観測者がそれらのケースのビデオをレビューして記録することによって、方向が変化するＯＫＮのシーケンスが事実上含まれたとみなした。したがって、ピークは本方法に特有の誤ったエラーに起因した。
【０１１８】
実験データパート２
本実験の目的は、ＯＫＮ検出アルゴリズムが左または右に動くＯＫＮ眼球運動を分類することができるか否かを判断し、かつＯＫＮ検出器の性能と経験豊富な人間観測者（ＴＹ）の能力とを比較することであった。この実験では、可変モーションコヒーレンスを用いたランダムドットキネマトグラフ（ＲＤＫ）を利用して、ＯＫＮを引き起こした。この刺激を選択したのは、そのような刺激中のグローバルモーションを知覚することが、特に異常に発達しやすい可能性がある線条体外視覚野の背側範囲に依拠すると考えられているためである。ＲＤＫによって、信頼性が高い緩徐相及び急速相視線運動性眼球運動を引き起こして、精神物理学的タスクに対する行動反応をまだ提供することができない幼児のモーションコヒーレンス閾値を測定することができる。
【０１１９】
ＲＤＫは、１６インチのＣＲＴディスプレイ上で１００％のコントラストで示される２５０個の白い移動ドット（０．５ｄｅｇの直径、８ｄｅｇ／秒の速力）からなった。ドットは８．３°の円形窓中で８秒間示され、限定された寿命を有しており、それにより、各ドットは任意の所定のフレーム上で消滅し、刺激物内の新たなランダム位置にリプロットされる可能性が２５％あった。刺激物開口部の端部に到達したドットをラップアラウンドした。刺激物のコヒーレンスレベル、すなわち、同じ方向に移動するドット対ドットの全母集団の割合を調整して、刺激物内に存在するコヒーレントモーションの強度を変化させることができた。完全コヒーレンス（すなわち、同じ方向に移動する１００％のドット）及び低コヒーレンス（全ドットの１２〜１５％は一斉に移動し、残りはランダムに移動する）を試験した。コヒーレントモーションの方向検査全体でランダム化した。観測者の閾上となるように低コヒーレンスレベルを選択する一方で（すなわち、グローバルモーション方向はさらに鮮明に視覚可能であった）、性能が低下したモーション信号によって引き起こされた眼球運動上のアルゴリズムを試験することが可能であった。１６００ＣＲＴディスプレイを５０ｃｍの距離で観測する。１秒につき２５フレームのＲＧＢ画像（１９２０×１０８０ピクセル）からなるビデオを配信するＳＯＮＹデジタル高解像カメラ（ＨＤＲ−ＣＸ７ＥＫ，Ｓｏｎｙ  Ｃｏｒｐｏｒａｔｉｏｎ，Ｔｏｋｙｏ，Ｊａｐａｎ）を用いてビデオ映像を収集した。カメラをＣＲＴ側に設置して、最も近い眼球を中心に置いた。
【０１２０】
通常の視覚を有する平均年齢２５歳の６名の参加者は、頭部を顎当てで拘束した状態でＲＤＫ刺激を両目で観測した。ＲＤＫ表示検査の前後に、ＲＴスクリーンの中心に凝視点が示された。参加者には、検査の間は点を凝視し、かつ検査の間はスクリーンの中心を見つめるよう指示した。検査の間、凝視点は示されなかった。検査から得た映像を用意して、各検査の各眼球周辺のビデオを手動で切り取ることによってさらに処理した。各検査のビデオを時間的に切り取って、参加者がモーション刺激物を観測しているときに記録されたフレームのみを含ませた。全１１５の検査（８秒の長さ）を参加者（完全コヒーレンスの７３名及び低コヒーレンスの４２名）から得た。試験中にもたらされた行動反応によって示されたように、参加者は各検査における信号ドットの方向を知覚することができた。
【０１２１】
速度推定器及びＯＫＮ検出器は、得たビデオ記録のそれぞれにオフラインで適用した。検出器は
2016521411.tif 000031
を推定した。
2016521411.tif 000032
の絶対値の閾値を決定して、ＯＫＮが存在するか
2016521411.tif 000033
または不在であるか
2016521411.tif 000034
を示した。基準のサインによって方向を示した。第１の１７の検査は１００％のコヒーレンス刺激物を用いて記録して、方法のパラメータを較正するために使用した。ＭＡＴＬＡＢを用いてソフトウェアを書き込み、Ｌｕｃａｓ−Ｋａｎａｄｅオプティカルフローソルバの実装を使用した。また、経験豊富な人間観測者（ＴＹ）がビデオ映像を観測し、ＯＫＮ反応は左または右運動ＲＤＫと一貫しているかに関しての二肢強制選択決定を行った。観測者はビデオを観測したとき、検出アルゴリズムによって作成された結果を知らなかった。全アルゴリズムパラメータを適切に調整した後、１７の検査（９つの正確な左検出、８つの正確な右検出）の較正セットで、１００％の精度を達成した。
【０１２２】
全１１５の検査にわたる検出器の性能は９３％であり（５４の正確な左検出、５３の正確な右検出、及び８つのエラー）、それと比較して、人間観察者の性能は９８％であった（５３の正確な左検出、６０の正確な右検出、及び２つのエラー）。全完全コヒーレンス検査にわたる検出器の性能は９６％であり（３８の正確な左検出、３２の正確な右検出、及び３つのエラー）、それと比較して、人間観察者の性能は１００％であった（３８の正確な左検出、及び３５の正確な右１４の検出）。
【０１２３】
低コヒーレンス検査では、検出器は８８％の正確性で機能し（１６の正確な左検出、２１の正確な右検出、及び５つのエラー）、それと比較して、人間観測者は９５％の正確性で機能し（１５の正確な左検出、２５の正確な右検出、及び２つのエラー）、また、大きな差もなかった（カイ二乗＝１．４０、ｐ＝０．２４）。完全コヒーレンス検査３／３（１００％）では、不正確に分類された検査は１未満のＫ値を有し、それと比較して、正確に分類された検査では１８／７０（２６％）であった（カイ二乗＝７．７、ｐ＜０：００５）。同様に、低コヒーレンス検査５／５（１００％）では、不正確に分類された検査は１未満のＫ値を有し、それと比較して、正確に識別された検査では１７／３７（４６％）であった（カイ二乗＝５．０、ｐ＝０．０２）。不正確に分類された検査の速度トレースの調査によって、低い値はゼロ付近で比較的均等に分類された速度ピークに起因することが示された。それらの双方向ピークが出現することによって互いを無効にして低ＯＫＮ整合基準をもたらす。その観測を確認するために、検出器によって不正確に分類された８つの検査のビデオ映像を経験豊富な人間観測者（ＴＹ）が再度レビューした。双方向速度スパイクはビデオ映像内で視覚可能な眼球運動に起因し、本方法の誤ったエラーが原因ではないことを確認した。また、記録には方向が変化するＯＫＮのシーケンスが事実上含まれることを見出した。
【０１２４】
実験データパート３
本実験は３つの目的：ＯＫＮ整合基準が刺激速度の影響を受けるか否かを判断すること、参加者が固定刺激物を受動的に観測する検査を、検出器が拒絶するか否かを判断すること、及び検出技術は標準ウェブカメラを用いて得た映像に適用可能であるか否かを判断すること、を有した。高コントラスト矩形波格子刺激を実験に用いたのは、この種類の刺激はＯＫＮを誘発するために臨床研究で日常的に用いられているためである。
【０１２５】
ＩＢＭＰ２７５陰極線スクリーン（１６００×１２００の解像度及び６０Ｈｚのリフレッシュレートの２０００スクリーン）スクリーンを１．９ｍの距離で観測し、そのスクリーン上では、３．８サイクル／ｄｅｇ（０．９ＬｏｇＭＡＲに等しい）の基本空間周波数を有する１００％のコントラスト矩形波格子が示された。３つの表示速度（０ｄｅｇ／秒、５ｄｅｇ／秒、及び１０ｄｅｇ／秒）が使用され、格子は常に右から左へ移動した。参加者の眼球から１０ｃｍのところに設置されたＨＤ  Ｐｒｏ９２０Ｌｏｇｉｔｅｃｈウェブカメラ（３０Ｈｚフレームレートで設定した）を用いて、ＯＫＮ眼球反応のビデオ映像を得た。ウェブカメラからのビデオフィードを同時に記録する間、刺激が示された。
【０１２６】
平均年齢＝２３で通常の視覚を有する５名の観測者の群に、刺激物が表示される間、刺激物パターンを両目で観測し、かつ漂う刺激物パターンの中心を見つめるよう指示した。顎当てを用いて観測者の頭部を拘束した。各観測者は、各刺激速度（０、５、及び１０ｄｅｇ／秒）の１つの検査を完了させた。最低８秒間眼球運動を記録して、その記録は上述のオプティックフロー方法を用いて処理した。
【０１２７】
カメラを眼球の近くに位置付けることによって得られる眼球の画像をより大きくするように、角膜輪部検出パラメータを修正した。実験１では、重量２０未満のピクセルの群を切り捨てた。本実験では、閾値は３００ピクセルまで上昇して、記録された角膜輪部の大きさが増大する主因となった。また、追加の発見的規則を本実験に導入したことにも留意されたい。２つの（同じ方向の）後続ピークを検出したが後続のサッカードピークの間の時間インターバルが第２の閾値４を超える場合、ピーク間のインターバルはＯＫＮの緩徐相に起因することと一致しないとされた。それらの２つのピークは、追加の隣接ピーク（同じサインの）が存在しない場合、切り捨てられたであろう。
【０１２８】
固定刺激では、速度トレースはアルゴリズムを通過せず、
2016521411.tif 000035
の推定値を許容せず、また
2016521411.tif 000036
は閾値
2016521411.tif 000037
を超えなかった。刺激が移動する方向を検出器によって正確に分類し、５ｄｅｇ／秒の検査の
2016521411.tif 000038
値は、１０ｄｅｇ／秒の検査の値と大きく変わらなかった。
2016521411.tif 000039
2016521411.tif 000040
ｔ＝１．４５、ｐ＝０．２２）
【０１２９】
ＯＫＮ検出器は、矩形波格子刺激物を観測する参加者のウェブカメラ映像が提供されたとき、ＯＫＮの存在または不在の影響を受けやすかった。その場合は、有効ＯＫＮが検出された場合、刺激速度が倍増して、ＯＫＮを検出するための基準が刺激速度に対して比較的ロバストであることを示唆するとき、ＯＫＮ検出器によって算出された
2016521411.tif 000041
値は変化しなかった。
【０１３０】
したがって、試験によって、本明細書中の実施形態が、ＲＤＫ及び矩形波格子によって引き起こされたＯＫＮを検出可能であること、ならびに、経験豊富な人間観察者の精度と同等の精度を有することが示される。したがって、ＯＫＮの不随意及び反射眼球運動を用いることで、幼児の視覚機能を客観的に評価することが可能である。特に、２または約２歳の子供は特に、本発明が提供可能な情報の利益を享受可能であることが見出されている。
【０１３１】
上述の実施形態は、広告及びセキュリティの分野で使用する。例えば、人が注視する方向を追跡して、顧客の興味または行動に関する情報を判断することができる。
【０１３２】
頭部追跡
以上で考察されたように、子供は顎当てまたは眼球追跡機器を頭部に装着することを許容しない。さらに、上述のＯＫＮ検出方法を有するビデオ映像内の頭部運動は、不注意に眼球運動と解釈される可能性があり、眼球運動測定の精度に悪影響を及ぼす可能性がある。しかしながら、そのような機器はこれまで、静止することができない人からの眼球運動の安定したビデオ映像を読み出す唯一の方法と考えられている。
【０１３３】
本発明のさらなる実施形態は、ビデオ映像内の頭部運動を決定することに関し、任意には、決定された頭部運動を補償することに関する。頭部運動を正確に決定することによって、顎当てまたは頭部に装着する機器を度外視し、上述の方法を最適化することが可能となる。
【０１３４】
いつかの用途では、頭部運動情報は数値化して上述のＯＫＮ解析システムと併用して、不注意に眼球運動と決定された過度の頭部運動によって発生したエラーを低減する。他の用途では、頭部運動情報は、上述のＯＫＮ解析システムから独立して使用する。
【０１３５】
特定の実施形態によると、頭部運動情報は、理想的には：
●同じ顔面領域の少なくとも一部をビデオ映像の少なくとも２つのフレームで検出することと、
●少なくとも２つのフレーム間の顔面領域の少なくとも一部の運動の基準を決定することと、
●決定された運動の基準の変換情報を決定することと、
を含む計算システムによって行われる方法によって、ビデオ映像から得る。
【０１３６】
ロバストな顔面特徴は、独特のカラーまたは陰影コントラストの範囲を含み、それらはカメラによって容易に識別される。光の調整は選択的に対象に適用する、及び／またはビデオ映像を処理して、顔面特徴を区別することを改善する。いくつかの実施形態では、顔面領域内の１つ以上のロバストな顔面特徴を決定することによって、顔面の運動を追跡することができる。
【０１３７】
顔面特徴は、少なくとも２つのフレーム間のそれらの顔面特徴に関する運動情報を決定することによって、ビデオ映像の少なくとも２つのフレームで識別されて追跡される。運動情報は、フレームのピクセル数等の測定基準によって数値化される。運動情報は平面運動に関し、さらに、選択的に、回転またはスケール運動に関し得る。
【０１３８】
変換情報はビデオフレームの頭部の運動に関する。変換情報を使用して、フレームを移動させてまたは切り取って頭部の運動を補償することによって、フレームの頭部運動を安定化させる。
【０１３９】
いくつかの実施形態では、運動情報を用いて、ビデオ映像内の顔面特徴、つまり頭部の回転、スケール、及び並進運動の１つ以上に関するデータを含む変換写像を形成する。ビデオ映像の各フレームで決定した、第１のまたは以前のフレームに対する相似変換写像は、そのフレームの頭部画像に回転、スケール、及び並進運動情報を提供する。
【０１４０】
いくつかの実施形態では、計算指示を行うことができるコンピュータまたはコントロールデバイス（コントローラ）によって、ビデオ映像を処理する。コントローラは、変換写像の逆元を算出しかつそれを適用して、ビデオ映像内の各フレームをオフセットして新たなフレームを作成する。その結果、フレームの映像の頭部部分が比較的静止した状態である、つまりは１つの位置で安定化された状態である一方で、フレームが転換された量だけ移動する。いくつかの実施形態では、コントローラは変換写像の逆元を算出して適用して、顔面領域または眼球領域等の対象の領域周辺の各フレームを積極的に切り取り、それらを中心に置き、その各フレームで中心に置かれ安定化された部分を用いて新たなビデオ映像を作製する。
【０１４１】
頭部運動は処理された画像から得た眼球運動データにもはや実質的に影響を与えないので、安定化された頭部位置は、例えば上述のＯＫＮ検出方法の性能を改善するのに有用である。いくつかの実施形態では、眼球を含むフレームの部分を切り取ることによって、眼球の安定した映像を得て、上述の自動ＯＫＮ検出方法等で使用するＯＫＮ解析をさらに行う。本方法によって収集された情報は、人が顎当てで頭部を定位置に固定したときに収集されている情報、または頭部に装着する機器を使用した場合に収集された情報に類似する、またはそれらの情報と同じである。しかしながら、本方法はそのような機器を負担する必要がない。
【０１４２】
いくつかの実施形態では、２Ｄビデオフレームから３Ｄ物体の並進及び回転情報を推定するＰＯＳＩＴアルゴリズムを使用して、無反射相似変換写像を形成する。正確な推定を行うために、少なくとも４つの３Ｄモデル点（ワールド空間座標）、及びカメラの対応する２Ｄ画像点、焦点距離、ならびに主点が必要である。それらの３Ｄモデル点座標、例えば、マーカーコーナーを固定して、対応する２Ｄ画像点は識別した。以下に示す式（９）〜（１１）を用いて、カメラ特性を推定する。
【数１０】
2016521411.tif 000042
【数１１】
2016521411.tif 000043
【数１２】
2016521411.tif 000044
【０１４３】
これらの式では、用語ｆx及びｆyはそれぞれ、（等しいと推定される）ｘならびにｙ方向における焦点距離であり、ピクセルユニット内で表される。（ｗ，ｈ）と、（ｃx，ｃy）によるカメラの主点とによって、画像次元が付与される。ロドリゲスの回転公式を使用して、Ｘ、Ｙ、及びＺ方向への回転をそれぞれ読み出す。式（１２）によって表される変換を用いて３Ｄモデル点を２Ｄ画像平面に再投影することによって、ＰＯＳＩＴエラー判定を行う。
【数１３】
2016521411.tif 000045
【０１４４】
式（１２）では、ｓはピクセルの大きさであり、ｘ及びｙは２Ｄ画像点であり、Ｘ、Ｙ、ならびにＺは３Ｄモデル座標であり、ｒijは回転パラメータであり、Ｔx、Ｔy、及びＴzは並進である。
【０１４５】
一例示的な実施形態では、Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ＴｏｏｌＢｏｘ  ＭＡＴＬＡＢ（ＭａｔｈＷｏｒｋｓ，Ｎａｔｉｃｋ，ＶＡ）及びＰｉｔｔＰａｔｔ  ＳＤＫ  ｖｅｒｓｉｏｎ５．２．２（Ｇｏｏｇｌｅによって買収された）によって提供されるＶｉｏｌａ−Ｊｏｎｅｓアルゴリズムを用いて、ビデオ映像のビデオフレーム内から顔面領域を検出する。Ｈａｒｒｉｓコーナー検出アルゴリズムを用いて、フレームのロバストな顔面特徴を識別する。ＭＡＴＬＡＢでも利用可能なＫａｎａｄｅ  Ｌｕｃａｓ  Ｔｏｍａｓｉ（ＫＬＴ）ポイントトラッカーを用いて、連続フレーム間でロバストな顔面特徴を追跡する。いくつかの実施形態では、ＰＯＳＩＴアルゴリズムを使用して、後続フレーム間の追跡された点の変動から無反射相似変換を作成する。次いで、各フレームをオフセットして後続フレーム間の顔面特徴の位置の変化を補償するものとして、逆相似変換を適用する。それによって、顔面特徴を初期位置に計算的に保持する。眼球周辺の領域を各フレームで切り取り、眼球運動を頭部運動から分離させることができる。
【０１４６】
図１３は、例示的な自動方法の精度と比較するための手動方法の概要を説明する。図１３（ｄ）は、ビデオ映像を記録する前に対象の顔面上に手動で設置された視覚マーカーを示す。視覚マーカーは鮮明な点を提供し、その点から、記録された映像内で運動を測定することができる。記録された映像内の各フレームでは、ＭＡＴＬＡＢ  ｇｉｎｐｕｔコマンドを用いて、各マーカーの５つのコーナー点を手動で選択した。特徴が選択された順序は、フレーム全体で一貫し、フレームからフレームまでの特徴の対応関係を維持した。点を手動で選択することによってノイズが発生するために、Ｋａｌｍａｎフィルターを使用して特徴追跡を円滑に行った。４つの参照点を各記録内に挿入して、各ビデオフレームにわたって追跡した。それらの点を重ね合わせることによって、手動安定化と自動安定化との間の相違を算出することが可能になった。それらの点の座標を、手動で安定化されたフレームと自動的に安定化されたフレームとの間で比較した。
【０１４７】
図１３（ａ）は、自動的に検出された顔面領域内に位置付けられるＨａｒｒｉｓコーナーを示す。図１３（ｂ）は、眼球領域が各フレームの中心に「ロックされている」安定化されたビデオを示す。図１３（ｃ）は、眼球周辺の領域が切り取られたことを示す。図１３（ｄ）は、手動で選択された中心点を有するマーカーを示す。図１３（ｅ）は、３Ｄ姿勢推定がＰＯＳＩＴアルゴリズムによって決定され、単位はセンチメートルであることを示す。図１３（ｆ）は、推定された頭部姿勢を示す手動で選択されたマーカー点を再投影することを示す。図１４は、３Ｄ空間におけるある長さのビデオ映像の頭部軌道推定を示す。
【０１４８】
図１２は、例示的な長さのビデオ映像内の決定された顔面特徴の軌道を示す「＋」符号を有する。「＊」符号は、逆元変換写像が各フレームに適用された後に効果的に安定化された結果を示す。
【０１４９】
図１２では、顔面を、安定化前に、（５２３．８０３７，２５３．３５５８）±（１８．６６７６，８．９０８８）ピクセルの座標に限局し、安定化後は、（５００．４１１４，２６０．０３０９）±（１．８８２８，１．４２８２）に限局する。得られた安定化された映像は、元の映像と比較して頭部部分が十分に安定化されていることを順に示す顔面特徴位置の密接な群を呈する。その安定化された映像を、望ましい幅に連続して切り取ることができる。
【０１５０】
自動安定化と手動安定化との間の平均二乗誤差は、７．７４９４ピクセルであった。３Ｄ姿勢推定のパーセント誤差は０．２４２８％であった。このデータによって、マーカーに関わる、より労働集約的な手動追跡アプローチは、ロバストではあるが、多くの目的、特に、上述のＯＫＮ検出方法とともに使用することに有用であるビデオ映像の安定化にはもはや不要であることを示す。
【０１５１】
いくつかの実施形態では、頭部軌道情報を使用して眼球運動速度情報を改善する。いくつかの実施形態では、頭部軌道情報を眼球追跡情報に対してオフセットして、頭部運動によってもたらされた眼球運動速度情報を実質的に排除する。例えば、頭部運動の速度に関するデータを、眼球運動に関するデータに対してオフセットすることによって、非ゼロ頭部速度によってもたらされたエラーを実質的に減少させることができる、または眼球運動速度情報から排除することができる。
【０１５２】
上述の記載で、既知の同値を有する要素または整数に対して参照を行う場合は、そのような同値は、あたかも個別に設定されたかのように含まれる。本発明は、実施例によって、かつ、特定の実施形態を参照して記載されているが、特許請求の範囲で設定する本発明の範囲から逸脱することなく修正及び／または改善を行うことが可能であることを理解されたい。
【図３】
2016521411.tif 000046
【図４】
2016521411.tif 000047
【図６】
2016521411.tif 000048
【図７】
2016521411.tif 000049
【図１１】
2016521411.tif 000050
【図１３】
2016521411.tif 000051
【図１４】
2016521411.tif 000052
【図１】
2016521411.tif 000053
【図２】
2016521411.tif 000054
【図５】
2016521411.tif 000055
【図８】
2016521411.tif 000056
【図９】
2016521411.tif 000057
【図１０】
2016521411.tif 000058
【図１２】
2016521411.tif 000059
【国際調査報告】
2016521411.tif 000060
2016521411.tif 000061
2016521411.tif 000062
2016521411.tif 000063
2016521411.tif 000064
2016521411.tif 000065