【手続補正書】
【提出日】令和2年10月20日(2020.10.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ユーザの視線の移動を追跡する方法であって、前記方法は、
カメラを使用して、前記ユーザの眼のビデオ画像を記録することであって、前記ビデオ画像は、前記眼の瞳孔の移動を示す、ことと、
前記眼の前記ビデオ画像に基づいて、開始視線を決定することであって、前記開始視線は、事前に較正された原点に対する前記瞳孔の中心の座標によって特徴づけられる、ことと、
前記開始視線を決定することに応答して、
光ビームを前記眼に向かわせることであって、前記眼は、前記光ビームの一部を反射する、ことと、
前記眼によって反射された前記光ビームの一部によって検出器において形成されたスペックルパターンを検出することであって、前記スペックルパターンは、所定のフレームレートで検出される、ことと、
フレーム毎に前記スペックルパターンを追跡することによって、前記開始視線に対する前記視線の移動を追跡することと
を含む、方法。
【請求項２】
前記眼によって反射された前記光ビームの一部は、前記眼によって拡散反射または鏡面反射される、請求項１に記載の方法。
【請求項３】
前記所定のフレームレートは、約５０フレーム／秒より大きく、好ましくは、約５，０００フレーム／秒より大きく、約１５，０００フレーム／秒より小さく、好ましくは、約１０，０００フレーム／秒である、請求項１に記載の方法。
【請求項４】
前記スペックルパターンを追跡することは、オプティカルフローアルゴリズムを使用して実施される、請求項１に記載の方法。
【請求項５】
前記オプティカルフローアルゴリズムは、位相相関アルゴリズムを備えている、請求項４に記載の方法。
【請求項６】
前記光ビームは、赤外線放射を備えている、請求項１に記載の方法。
【請求項７】
前記眼の前記ビデオ画像は、第１のフレームレートで記録され、
前記複数のスペックルパターンは、前記第１のフレームレートより大きい第２のフレームレートで検出される、請求項１、２、４、５、または、６に記載の方法。
【請求項８】
前記第１のフレームレートは、約１０フレーム／秒より小さく、前記第２のフレームレートは、約５０フレーム／秒より大きく、約１５，０００フレーム／秒より小さい、請求項７に記載の方法。
【請求項９】
前記眼が瞬目したことを決定することと、
新しい開始視線を決定することであって、前記決定することは、
前記眼の第２のビデオ画像を前記カメラを使用して記録することと、
前記眼の前記第２のビデオ画像に基づいて、前記新しい開始視線を決定することと
による、ことと、
前記新しい開始視線に対する前記視線の移動を追跡することであって、前記追跡することは、
前記検出器において形成された第２のスペックルパターンを前記第２のフレームレートで検出することと、
フレーム毎に前記第２のスペックルパターンを追跡することと
による、ことと
をさらに含む、請求項７に記載の方法。
【請求項１０】
ユーザの眼の視線を追跡する方法であって、前記方法は、
前記ユーザの前記眼の前記視線の事前に較正されたスペックルマップを取得することであって、前記取得することは、
第１の光ビームを前記眼に向かわせることであって、前記眼は、前記第１の光ビームの一部を反射する、ことと、
前記眼によって反射された前記第１の光ビームの一部によって検出器において形成された複数の第１のスペックルパターンを検出することであって、前記複数の第１のスペックルパターンの各々は、前記眼のそれぞれの第１の視線に対応する、ことと、
カメラを使用して、前記眼の複数の画像を記録することであって、前記眼の前記複数の画像の各それぞれの画像は、それぞれの第１のスペックルパターンが検出されると同時に記録され、各それぞれの画像は、事前に較正された原点に対する前記眼の瞳孔の中心のそれぞれの位置を示す、ことと、
前記眼の前記それぞれの画像内の前記眼の前記瞳孔の前記中心の前記それぞれの位置に基づいて、各それぞれの第１のスペックルパターンに対応する前記眼の前記それぞれの第１の視線を決定することと
による、ことと、
前記ユーザの前記眼の前記視線の前記事前に較正されたスペックルマップを記憶することであって、前記事前に較正されたスペックルマップは、前記複数の第１のスペックルパターンおよび前記眼の前記対応する第１の視線を含む、ことと、
前記事前に較正されたスペックルマップを使用して前記眼の開始視線を決定することであって、前記決定することは、
第２の光ビームを前記眼に向かわせることであって、前記眼は、前記第２の光ビームの一部を反射する、ことと、
前記眼によって反射された前記第２の光ビームの一部によって前記検出器において形成された複数の第２のスペックルパターンを検出することと、
前記複数の第２のスペックルパターンと前記事前に較正されたスペックルマップ内の前記複数の第１のスペックルパターンおよび前記眼の前記対応する第１の視線との間の比較に基づいて、前記眼の前記開始視線を決定することと
による、ことと、
前記開始視線に対する前記眼の前記視線を追跡することであって、前記追跡することは、
第３の光ビームを前記眼に向かわせることであって、前記眼は、前記第３の光ビームの一部を反射する、ことと、
前記眼によって反射された前記第３の光ビームの一部によって前記検出器において形成された複数の第３のスペックルパターンを検出することであって、前記複数の第３のスペックルパターンは、所定のフレームレートで検出される、ことと、
前記第３の複数のスペックルパターンを追跡することによって、前記開始視線に対する前記眼の前記視線を追跡することと
による、ことと
を含む、方法。
【請求項１１】
前記眼によって反射された前記第１の光ビームの一部、前記眼によって反射された前記第２の光ビームの一部、および前記眼によって反射された前記第３の光ビームの一部の各々は、前記眼によって拡散反射または鏡面反射される、請求項１０に記載の方法。
【請求項１２】
前記第３の複数のスペックルパターンを追跡することは、オプティカルフローアルゴリズムを使用して実施される、請求項１０に記載の方法。
【請求項１３】
前記オプティカルフローアルゴリズムは、位相相関アルゴリズムを備えている、請求項１２に記載の方法。
【請求項１４】
前記所定のフレームレートは、約５０フレーム／秒より大きく、約１５，０００フレーム／秒より小さい、請求項１０に記載の方法。
【請求項１５】
前記眼が瞬目したことを決定することと、
前記眼の新しい開始視線を決定することであって、前記決定することは、
第４の光ビームを前記眼に向かわせることであって、前記眼は、前記第４の光ビームの一部を反射する、ことと、
前記眼によって反射された前記第４の光ビームの一部によって前記検出器において形成された複数の第４のスペックルパターンを検出することと、
前記複数の第４のスペックルパターンと前記記憶された複数の第１のスペックルパターンおよび前記眼の前記記憶された対応する第１の視線との間の比較に基づいて、前記眼の前記新しい開始視線を決定することと
による、ことと、
前記新しい開始視線に対する前記眼の前記視線を追跡することであって、前記追跡することは、
第５の光ビームを前記眼に向かわせることであって、前記眼は、前記第５の光ビームの一部を反射する、ことと、
前記眼によって反射された前記第５の光ビームの一部によって前記検出器において形成された複数の第５のスペックルパターンを検出することであって、前記複数の第５のスペックルパターンは、前記所定のフレームレートで検出される、ことと、
フレーム毎に前記第５の複数のスペックルパターンを追跡することによって、前記新しい開始視線に対する前記眼の前記視線を追跡することと
による、ことと
をさらに含む、請求項１０に記載の方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
従来の技法に優る多数の利点が、本発明の方法によって達成される。例えば、本発明の実施形態は、スペックルパターンの移動を追跡することによって、例えば、ミクロンスケール以下における、わずかな視線移動の正確な検出のための方法およびシステムを提供することができる。スペックルを使用した視線追跡は、非常にロバストであり得、追跡品質は、眼に対するセンサ場所に対して比較的に鈍感であり得る。本発明の実施形態による視線追跡の方法は、より少ない量の算出およびより少ない数の光源が要求される（例えば、１つのみの光が、カメラベースの眼追跡において典型的に必要とされる４つのＬＥＤと比較して要求される）ので、従来の方法と比較して、より低い電力消費をもたらし得る。方法は、それらが１つの光源および１つの検出器のみを要求し、カメラレンズを要求しないので、より低いコストももたらし得る。
本発明は、例えば、以下を提供する。
（項目１）
ユーザの眼の移動を追跡する方法であって、前記方法は、
光ビームを前記眼に向かわせることであって、前記眼は、前記光ビームの一部を反射する、ことと、
前記眼によって反射された前記光ビームの一部によって検出器において形成された複数のスペックルパターンを検出することであって、前記複数のスペックルパターンは、所定のフレームレートで検出される、ことと、
フレーム毎に前記複数のスペックルパターンを追跡することによって、前記眼の移動を追跡することと
を含む、方法。
（項目２）
前記眼によって反射された前記光ビームの一部は、前記眼によって拡散反射または鏡面反射される、項目１に記載の方法。
（項目３）
前記所定のフレームレートは、約５，０００フレーム／秒より大きく、約１５，０００フレーム／秒より小さい、項目１に記載の方法。
（項目４）
前記所定のフレームレートは、約１０，０００フレーム／秒である、項目３に記載の方法。
（項目５）
前記所定のフレームレートは、約５０フレーム／秒より大きく、約１５，０００フレーム／秒より小さい、項目１に記載の方法。
（項目６）
前記複数のスペックルパターンを追跡することは、オプティカルフローアルゴリズムを使用して実施される、項目１に記載の方法。
（項目７）
前記オプティカルフローアルゴリズムは、位相相関アルゴリズムを備えている、項目６に記載の方法。
（項目８）
前記光ビームは、赤外線放射を備えている、項目１に記載の方法。
（項目９）
ユーザの眼の視線を追跡する方法であって、前記方法は、
前記眼の第１の複数の画像をカメラを使用して第１のフレームレートで記録することと、
前記眼の前記第１の複数の画像に基づいて、前記眼の開始位置を決定することと、
光ビームを前記眼に向かわせることであって、前記眼は、前記光ビームの一部を反射する、ことと、
前記眼によって反射された前記光ビームの一部によって検出器において形成された第１の複数のスペックルパターンを検出することであって、前記複数のスペックルパターンは、前記第１のフレームレートより大きい第２のフレームレートで検出される、ことと、
フレーム毎に前記第１の複数のスペックルパターンを追跡することによって、前記開始位置に対する前記眼の移動を追跡することと
を含む、方法。
（項目１０）
前記眼によって反射された前記光ビームの一部は、前記眼によって拡散反射または鏡面反射される、項目９に記載の方法。
（項目１１）
前記複数のスペックルパターンを追跡することは、オプティカルフローアルゴリズムを使用して実施される、項目９に記載の方法。
（項目１２）
前記オプティカルフローアルゴリズムは、位相相関アルゴリズムを備えている、項目１１に記載の方法。
（項目１３）
前記第１のフレームレートは、約１０フレーム／秒より小さく、前記第２のフレームレートは、約５０フレーム／秒より大きく、約１５，０００フレーム／秒より小さい、項目９に記載の方法。
（項目１４）
前記眼が瞬目したことを決定することと、
新しい開始位置を決定することであって、前記決定することは、
前記眼の第２の複数の画像を前記カメラを使用して記録することと、
前記眼の前記第２の複数の画像に基づいて、前記新しい開始位置を決定することと
による、ことと、
前記新しい開始位置に対する前記眼の移動を追跡することであって、前記追跡することは、
前記検出器において形成された第２の複数のスペックルパターンを前記第２のフレームレートで検出することと、
フレーム毎に前記第２の複数のスペックルパターンを追跡することと
による、ことと
をさらに含む、項目９に記載の方法。
（項目１５）
ユーザの眼の視線を追跡する方法であって、前記方法は、
前記ユーザの眼の事前に較正されたスペックルマップを取得することであって、前記取得することは、
第１の光ビームを前記眼に向かわせることであって、前記眼は、前記第１の光ビームの一部を反射する、ことと、
前記眼によって反射された前記第１の光ビームの一部によって検出器において形成された複数の第１のスペックルパターンを検出することであって、前記複数の第１のスペックルパターンの各々は、前記眼のそれぞれの第１の位置に対応する、ことと、
カメラを使用して、前記眼の複数の画像を記録することであって、前記眼の複数の画像の各々は、それぞれの第１のスペックルパターンが検出されると記録される、ことと、
前記眼の前記それぞれの画像に基づいて、各それぞれの第１のスペックルパターンに対応する前記眼の前記それぞれの第１の位置を決定することと、
前記複数の第１のスペックルパターンおよび前記眼の前記対応する第１の位置を記憶することと
による、ことと、
前記事前に較正されたスペックルマップを使用して前記眼の開始位置を決定することであって、前記決定することは、
第２の光ビームを前記眼に向かわせることであって、前記眼は、前記第２の光ビームの一部を反射する、ことと、
前記眼によって反射された前記第２の光ビームの一部によって前記検出器において形成された複数の第２のスペックルパターンを検出することと、
前記複数の第２のスペックルパターンと前記記憶された複数の第１のスペックルパターンおよび前記眼の前記記憶された対応する第１の位置との間の比較に基づいて、前記眼の前記開始位置を決定することと
による、ことと、
前記開始位置に対する前記眼の移動を追跡することであって、前記追跡することは、
第３の光ビームを前記眼に向かわせることであって、前記眼は、前記第３の光ビームの一部を反射する、ことと、
前記眼によって反射された前記第３の光ビームの一部によって前記検出器において形成された複数の第３のスペックルパターンを検出することであって、前記複数の第３のスペックルパターンは、所定のフレームレートで検出される、ことと、
フレーム毎に前記第３の複数のスペックルパターンを追跡することによって、前記開始位置に対する前記眼の移動を追跡することと
による、ことと
を含む、方法。
（項目１６）
前記眼によって反射された前記第１の光ビームの一部、前記眼によって反射された前記第２の光ビームの一部、および前記眼によって反射された前記第３の光ビームの一部の各々は、前記眼によって拡散反射または鏡面反射される、項目１５に記載の方法。
（項目１７）
前記第３の複数のスペックルパターンを追跡することは、オプティカルフローアルゴリズムを使用して実施される、項目１５に記載の方法。
（項目１８）
前記オプティカルフローアルゴリズムは、位相相関アルゴリズムを備えている、項目１７に記載の方法。
（項目１９）
前記所定のフレームレートは、約５０フレーム／秒より大きく、約１５，０００フレーム／秒より小さい、項目１５に記載の方法。
（項目２０）
前記眼が瞬目したことを決定することと、
前記眼の新しい開始位置を決定することであって、前記決定することは、
第４の光ビームを前記眼に向かわせることであって、前記眼は、前記第４の光ビームの一部を反射する、ことと、
前記眼によって反射された前記第４の光ビームの一部によって前記検出器において形成された複数の第４のスペックルパターンを検出することと、
前記複数の第４のスペックルパターンと前記記憶された複数の第１のスペックルパターンおよび前記眼の前記記憶された対応する第１の位置との間の比較に基づいて、前記眼の前記新しい開始位置を決定することと
による、ことと、
前記新しい開始位置に対する前記眼の移動を追跡することであって、前記追跡することは、
第５の光ビームを前記眼に向かわせることであって、前記眼は、前記第５の光ビームの一部を反射する、ことと、
前記眼によって反射された前記第５の光ビームの一部によって前記検出器において形成された複数の第５のスペックルパターンを検出することであって、前記複数の第５のスペックルパターンは、前記所定のフレームレートで検出される、ことと、
フレーム毎に前記第５の複数のスペックルパターンを追跡することによって、前記新しい開始位置に対する前記眼の移動を追跡することと
による、ことと
をさらに含む、項目１５に記載の方法。