【手続補正書】
【提出日】平成27年12月22日(2015.12.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
表示面を少なくとも１つの光学部材を介して観察するユーザの眼球に対して光を照射する光源と、
前記光の前記眼球からの反射光を検出することにより、前記ユーザの前記表示面に対する視線の検出に用いられる前記眼球の撮像画像を取得する撮像部と、
を備え、
前記眼球からの反射光は、前記表示面からの光が前記表示面から前記ユーザの眼球に至るまでの光路に設けられる前記光学部材を少なくとも通過して前記撮像部に入射する、
視線検出装置。
【請求項２】
前記光源は、前記ユーザの眼球に対して互いに異なる方向から光を照射する位置に複数設けられる、
請求項１に記載の視線検出装置。
【請求項３】
複数の前記光源は、前記ユーザが前記表示面を観察する状態についての観察状態情報に応じた駆動条件に基づいて選択的に駆動される、
請求項２に記載の視線検出装置。
【請求項４】
前記観察状態情報は、前記ユーザの目の形状についての情報、前記ユーザの眼鏡の装着有無についての情報及び前記ユーザが前記表示面を観察する向きについての情報の少なくともいずれかを含む、
請求項３に記載の視線検出装置。
【請求項５】
複数の前記光源は、前記ユーザの眼球に対して上下方向又は左右方向から光を照射する、
請求項２〜４のいずれか１項に記載の視線検出装置。
【請求項６】
複数の前記光源は、前記ユーザの眼球に対して互いに異なる４方向から光を照射する、
請求項２〜４のいずれか１項に記載の視線検出装置。
【請求項７】
前記撮像部によって取得される前記眼球の前記撮像画像に含まれる瞳孔の像とプルキニエ像とに基づいて前記ユーザの眼球の向きを表す視線ベクトルが算出されることにより、前記ユーザの前記表示面に対する視線が検出される、
請求項１〜６のいずれか１項に記載の視線検出装置。
【請求項８】
前記視線ベクトルと前記ユーザが前記表示面を視認している方向との相関関係を少なくとも含む前記ユーザの眼球についての眼球情報に基づいて前記視線ベクトルに対して補正処理が行われることにより、前記ユーザの前記表示面に対する視線が検出される、
請求項７に記載の視線検出装置。
【請求項９】
前記眼球情報は、前記ユーザごとに行われるキャリブレーション処理によって取得され、
前記表示面を観察する前記ユーザに応じて、当該ユーザに対応する前記眼球情報が読み出され、読み出された前記眼球情報が前記補正処理において用いられる、
請求項８に記載の視線検出装置。
【請求項１０】
前記撮像部によって取得される撮像画像に含まれる前記ユーザの眼球の虹彩に基づいて前記ユーザの認証処理が行われ、当該認証処理の結果に基づいて当該ユーザに対応する前記眼球情報が読み出される、
請求項９に記載の視線検出装置。
【請求項１１】
前記表示面からの光が前記表示面から前記ユーザの眼球に至るまでの光路に設けられる前記光学部材は、前記表示面に表示されるコンテンツを前記ユーザに対して拡大して表示するルーペユニットを含む、
請求項１〜１０のいずれか１項に記載の視線検出装置。
【請求項１２】
前記ユーザが前記表示面を観察する際に当該ユーザに接眼されるアイカップ、
を更に備え、
前記アイカップへの前記ユーザの接眼が検出された場合に、前記表示面にコンテンツが表示される、
請求項１〜１１のいずれか１項に記載の視線検出装置。
【請求項１３】
前記光源は赤外帯域の光を前記ユーザの眼球に対して照射し、
前記眼球からの反射光が前記眼球から前記撮像部に至るまでの光路における前記撮像部の前段には、赤外帯域以外の波長帯域の光を遮蔽する赤外光パス機構が設けられる、
請求項１〜１２のいずれか１項に記載の視線検出装置。
【請求項１４】
前記撮像部によって取得される前記眼球の前記撮像画像に含まれる瞳孔の像とプルキニエ像とに基づいて、前記ユーザの眼球の向きを表す視線ベクトルを算出する視線検出処理部と、
前記視線ベクトルと前記ユーザが前記表示面を視認している方向との相関関係を少なくとも含む前記ユーザの眼球についての情報である眼球情報を取得するキャリブレーション処理部と、
を更に備え、
前記視線検出処理部は、前記眼球情報に基づいて前記視線ベクトルに対して補正処理を行うことにより、前記ユーザの前記表示面に対する視線を検出する、
請求項１〜１３のいずれか１項に記載の視線検出装置。
【請求項１５】
前記視線検出装置は、撮影対象の撮像画像を取得する撮像装置に接続される電子ビューファインダーであり、
前記表示面には、当該撮像装置に備えられる撮像素子によって取得される前記撮影対象が映されたスルー画が表示される、
請求項１〜１４のいずれか１項に記載の視線検出装置。
【請求項１６】
前記視線検出装置は、前記ユーザの前記眼球の前面を少なくとも覆う眼鏡型のウェアラブルデバイスであり、
前記表示面には、当該ウェアラブルデバイスに備えられる表示部によって任意のコンテンツが表示される、
請求項１〜１４のいずれか１項に記載の視線検出装置。
【請求項１７】
前記視線検出装置は、前記ユーザの頭部に装着され、前記表示面が前記眼球と対向する位置に設けられるヘッドマウントディスプレイ装置であり、
前記表示面には、当該ヘッドマウントディスプレイ装置に備えられる表示部によって任意のコンテンツが表示される、
請求項１〜１４のいずれか１項に記載の視線検出装置。
【請求項１８】
表示面からの光が少なくとも１つの光学部材を通過してユーザの眼球に入射することと、
前記表示面を観察する前記ユーザの前記眼球に対して光を照射することと、
前記光の前記眼球からの反射光を検出することにより、前記ユーザの前記表示面に対する視線の検出に用いられる前記眼球の撮像画像を取得することと、
を含み、
前記眼球からの反射光は、前記表示面からの光が前記表示面から前記ユーザの眼球に至るまでの光路に設けられる前記光学部材を少なくとも通過して検出される、
視線検出方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
本開示の好適な一実施形態においては、表示面を少なくとも１つの光学部材を介して観察するユーザの眼球に対して光が照射される。そして、照射された光のユーザの眼球からの反射光が検出されることにより、ユーザの当該表示面に対する視線の検出に用いられる眼球の撮像画像が取得される。また、照射された光のユーザの眼球からの反射光は、表示面からの光が当該表示面からユーザの眼球に至るまでの光路に設けられる光学部材を通過して検出される。このようにして取得されたユーザの眼球の撮像画像を用いて、当該表示面に対するユーザの視線が検出される。ここで、表示面を観察する又は視認するとは、表示面に表示される各種のコンテンツを観察する又は視認することを意味していてもよい。以下の説明では、上述した各処理を少なくとも含む本実施形態に係る一連の処理のことを、視線検出処理と呼称する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００５５
【補正方法】変更
【補正の内容】
【００５５】
視線検出処理部２１３は、本実施形態に係る視線検出処理に関する各種の処理を視線検出装置１０の撮像部１６０によって取得されるユーザの眼球５００の撮像画像に基づいて、表示部１１０の表示面に対するユーザの視線を検出する処理を行うとともに、当該視線検出処理に係る各種の処理を制御する。本実施形態では、視線検出処理において、いわゆる瞳孔角膜反射法を用いた視線ベクトルの算出処理が行われる。具体的には、視線検出処理部２１３は、眼球５００の撮像画像に含まれる瞳孔の像とプルキニエ像とに基づいて、眼球の向き（回転角度）を表すユーザの視線ベクトルを算出する。そして、視線検出処理部２１３は、後述するキャリブレーション処理部２１４によって取得されるユーザの眼球情報に基づいて、算出された視線ベクトルを補正する処理を行うことにより、表示部１１０の表示面に対するユーザの視線を検出する。なお、眼球情報には、ユーザの視線ベクトルとユーザが当該表示面を視認している方向との相関関係が少なくとも含まれる。視線検出処理部２１３による視線ベクトルの算出処理及び視線ベクトルの補正処理については、下記［３−１．視線ベクトルの算出処理］で詳しく説明する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００８４
【補正方法】変更
【補正の内容】
【００８４】
図５Ｅ及び図５Ｆを参照すると、ＬＥＤ１４１〜１４８のうち４つのＬＥＤのみが駆動される発光パターンが図示されている。図５Ｅに示す例では、ＬＥＤ１４１〜１４８のうち上下左右の方向に位置するＬＥＤ１４２、１４４、１４６、１４８のみが駆動されている。また、図５Ｆに示す例では、ＬＥＤ１４１〜１４８のうち略四角形の開口部１４９の頂点近傍に位置するＬＥＤ１４１、１４３、１４５、１４７のみが駆動されている。このように、光源駆動制御部２１２は、ユーザの眼球に対して上下左右方向に位置する４つのＬＥＤ又は斜め方向に位置する４つのＬＥＤのみを駆動させることにより、ユーザの眼球に対して対称的な４方向から光を照射させることができる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１６９
【補正方法】変更
【補正の内容】
【０１６９】
＜６．まとめ＞
以上説明したように、本実施形態においては、表示面を少なくとも１つの光学部材を介して観察するユーザの眼球に対して光が照射される。そして、照射された光のユーザの眼球からの反射光が検出されることにより、ユーザの当該表示面に対する視線の検出に用いられる眼球の撮像画像が取得される。また、照射された光のユーザの眼球からの反射光は、表示面からの光が当該表示面からユーザの眼球に至るまでの第１の光路に設けられる光学部材を少なくとも通過する第２の光路を辿って検出される。そして、このようにして取得されたユーザの眼球の撮像画像に基づいて、表示面に対するユーザの視線が検出される。本実施形態では、上記の構成を有することにより、第１の光路と第２の光路とが、ほぼ同一の光学部材を含むこととなり、光学的に類似した光路となる。従って、視線検出の精度がより向上される。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１７５
【補正方法】変更
【補正の内容】
【０１７５】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）表示面を少なくとも１つの光学部材を介して観察するユーザの眼球に対して光を照射する光源と、前記光の前記眼球からの反射光を検出することにより、前記ユーザの前記表示面に対する視線の検出に用いられる前記眼球の撮像画像を取得する撮像部と、を備え、前記眼球からの反射光は、前記表示面からの光が前記表示面から前記ユーザの眼球に至るまでの光路に設けられる前記光学部材を少なくとも通過して前記撮像部に入射する、視線検出装置。
（２）前記光源は、前記ユーザの眼球に対して互いに異なる方向から光を照射する位置に複数設けられる、前記（１）に記載の視線検出装置。
（３）複数の前記光源は、前記ユーザが前記表示面を観察する状態についての観察状態情報に応じた駆動条件に基づいて選択的に駆動される、前記（２）に記載の視線検出装置。
（４）前記観察状態情報は、前記ユーザの目の形状についての情報、前記ユーザの眼鏡の装着有無についての情報及び前記ユーザが前記表示面を観察する向きについての情報の少なくともいずれかを含む、前記（３）に記載の視線検出装置。
（５）複数の前記光源は、前記ユーザの眼球に対して上下方向又は左右方向から光を照射する、前記（２）〜（４）のいずれか１項に記載の視線検出装置。
（６）複数の前記光源は、前記ユーザの眼球に対して互いに異なる４方向から光を照射する、前記（２）〜（４）のいずれか１項に記載の視線検出装置。
（７）前記撮像部によって取得される前記眼球の前記撮像画像に含まれる瞳孔の像とプルキニエ像とに基づいて前記ユーザの眼球の向きを表す視線ベクトルが算出されることにより、前記ユーザの前記表示面に対する視線が検出される、前記（１）〜（６）のいずれか１項に記載の視線検出装置。
（８）前記視線ベクトルと前記ユーザが前記表示面を視認している方向との相関関係を少なくとも含む前記ユーザの眼球についての眼球情報に基づいて前記視線ベクトルに対して補正処理が行われることにより、前記ユーザの前記表示面に対する視線が検出される、前記（７）に記載の視線検出装置。
（９）前記眼球情報は、前記ユーザごとに行われるキャリブレーション処理によって取得され、前記表示面を観察する前記ユーザに応じて、当該ユーザに対応する前記眼球情報が読み出され、読み出された前記眼球情報が前記補正処理において用いられる、前記（８）に記載の視線検出装置。
（１０）前記撮像部によって取得される撮像画像に含まれる前記ユーザの眼球の虹彩に基づいて前記ユーザの認証処理が行われ、当該認証処理の結果に基づいて当該ユーザに対応する前記眼球情報が読み出される、前記（９）に記載の視線検出装置。
（１１）前記表示面からの光が前記表示面から前記ユーザの眼球に至るまでの光路に設けられる前記光学部材は、前記表示面に表示されるコンテンツを前記ユーザに対して拡大して表示するルーペユニットを含む、前記（１）〜（１０）のいずれか１項に記載の視線検出装置。
（１２）前記ユーザが前記表示面を観察する際に当該ユーザに接眼されるアイカップ、を更に備え、前記アイカップへの前記ユーザの接眼が検出された場合に、前記表示面にコンテンツが表示される、前記（１）〜（１１）のいずれか１項に記載の視線検出装置。
（１３）前記光源は赤外帯域の光を前記ユーザの眼球に対して照射し、前記眼球からの反射光が前記眼球から前記撮像部に至るまでの光路における前記撮像部の前段には、赤外帯域以外の波長帯域の光を遮蔽する赤外光パス機構が設けられる、前記（１）〜（１２）のいずれか１項に記載の視線検出装置。
（１４）前記撮像部によって取得される前記眼球の前記撮像画像に含まれる瞳孔の像とプルキニエ像とに基づいて、前記ユーザの眼球の向きを表す視線ベクトルを算出する視線検出処理部と、前記視線ベクトルと前記ユーザが前記表示面を視認している方向との相関関係を少なくとも含む前記ユーザの眼球についての情報である眼球情報を取得するキャリブレーション処理部と、を更に備え、前記視線検出処理部は、前記眼球情報に基づいて前記視線ベクトルに対して補正処理を行うことにより、前記ユーザの前記表示面に対する視線を検出する、前記（１）〜（１３）のいずれか１項に記載の視線検出装置。
（１５）前記視線検出装置は、撮影対象の撮像画像を取得する撮像装置に接続される電子ビューファインダーであり、前記表示面には、当該撮像装置に備えられる撮像素子によって取得される前記撮影対象が映されたスルー画が表示される、前記（１）〜（１４）のいずれか１項に記載の視線検出装置。
（１６）前記視線検出装置は、前記ユーザの前記眼球の前面を少なくとも覆う眼鏡型のウェアラブルデバイスであり、前記表示面には、当該ウェアラブルデバイスに備えられる表示部によって任意のコンテンツが表示される、前記（１）〜（１４）のいずれか１項に記載の視線検出装置。
（１７）前記視線検出装置は、前記ユーザの頭部に装着され、前記表示面が前記眼球と対向する位置に設けられるヘッドマウントディスプレイ装置であり、前記表示面には、当該ヘッドマウントディスプレイ装置に備えられる表示部によって任意のコンテンツが表示される、前記（１）〜（１４）のいずれか１項に記載の視線検出装置。
（１８）表示面からの光が少なくとも１つの光学部材を通過してユーザの眼球に入射することと、前記表示面を観察する前記ユーザの前記眼球に対して光を照射することと、前記光の前記眼球からの反射光を検出することにより、前記ユーザの前記表示面に対する視線の検出に用いられる前記眼球の撮像画像を取得することと、を含み、前記眼球からの反射光は、前記表示面からの光が前記表示面から前記ユーザの眼球に至るまでの光路に設けられる前記光学部材を少なくとも通過して検出される、視線検出方法。